CN112542171A - 使用语音识别功能执行动作的电子装置及其方法 - Google Patents

使用语音识别功能执行动作的电子装置及其方法 Download PDF

Info

Publication number
CN112542171A
CN112542171A CN202010817381.8A CN202010817381A CN112542171A CN 112542171 A CN112542171 A CN 112542171A CN 202010817381 A CN202010817381 A CN 202010817381A CN 112542171 A CN112542171 A CN 112542171A
Authority
CN
China
Prior art keywords
application
electronic device
specified event
event
user utterance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010817381.8A
Other languages
English (en)
Inventor
金兑九
宋佳进
余在永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN112542171A publication Critical patent/CN112542171A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G06F16/90332—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/221—Announcement of recognition results
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)

Abstract

提供了一种使用语音识别功能执行动作的电子装置及其方法。所述方法包括：当在显示器上显示第一应用的执行屏幕时，接收与第二应用相关的指定事件。该方法还包括：响应于所述指定事件，执行人工智能应用。该方法还包括：基于执行的人工智能应用，将与所述指定事件相关的数据发送到外部服务器。另外，该方法包括：在指定时间段内感测与所述指定事件相关的用户话语。该方法还包括：将所述用户话语发送到外部服务器。该方法还包括：从外部服务器接收用于执行与用户话语相关的功能的动作顺序。该方法还包括：至少基于接收的动作顺序来执行第二应用。该方法还包括：输出通过使用第二应用执行功能的结果。

Description

使用语音识别功能执行动作的电子装置及其方法
技术领域
各种实施例涉及一种被配置为使用语音识别功能来执行人工智能动作的电子装置，以及一种用于使用该电子装置来提供与动作相关的通知的方法。
背景技术
根据语音识别技术的最新发展，语音识别功能可在具有语音输入装置(例如，麦克风)的各种电子装置中实现。例如，电子装置可通过语音识别功能识别用户话语，确定用户话语的意图，并且执行与意图相应的动作。
上述信息被呈现为背景信息仅用于帮助理解本公开。关于上述内容中的任何内容是否可适用于关于本公开的现有技术，尚未做出确定，也未做出断言。
发明内容
在根据现有技术的具有语音识别功能的电子装置的情况下，如果发生事件，并且如果相应的事件将被识别，或者如果与事件相关的动作将通过智能应用被执行，则可能需要用于执行智能应用的单独输入。例如，作为用于激活智能应用的方法，可能需要另外的用户输入，诸如唤醒话语或按下物理按钮。
为了解决上述问题，各种实施例可提供一种电子装置和方法，其中，如果发生事件，则可更容易地执行使用语音识别功能的人工智能动作。
一种根据实施方式的电子装置可包括：通信电路；显示器；麦克风；处理器，可操作地连接到通信电路、显示器和麦克风；以及存储器，可操作地连接到处理器。存储器可被配置为存储指令，所述指令在被执行时使处理器进行以下操作：当在显示器上显示第一应用的执行屏幕时，接收与第二应用相关的指定事件；响应于所述指定事件，执行人工智能应用；基于执行的人工智能应用，通过通信电路将与所述指定事件相关的数据发送到外部服务器；在指定时间段内通过麦克风感测与所述指定事件相关的用户话语；在感测到用户话语的情况下，通过通信电路将用户话语发送到外部服务器；通过通信电路从外部服务器接收用于执行与用户话语相关的功能的动作顺序；至少基于接收到的动作顺序来执行第二应用；以及输出通过使用第二应用执行功能的结果。
一种根据实施方式的电子装置可包括：通信电路；显示器；麦克风；处理器，可操作地连接到通信电路、显示器和麦克风；以及存储器，可操作地连接到处理器。存储器可被配置为存储指令，所述指令在被执行时使处理器进行以下操作：当在显示器上显示第一应用的执行屏幕时，接收与第二应用相关的指定事件；响应于所述指定事件，执行人工智能应用；基于执行的人工智能应用，对与所述指定事件相关的数据进行预分析；在指定时间段内通过麦克风感测与所述指定事件相关的用户话语；在感测到用户话语的情况下，基于对所述数据进行预分析的结果来确定用于执行与用户话语相关的功能的动作顺序；至少基于确定的动作顺序来执行第二应用；以及输出通过使用第二应用执行功能的结果。
一种根据实施例的用于由电子装置使用语音识别功能执行动作的方法可包括以下操作：在显示器上显示第一应用的执行屏幕时，接收与第二应用相关的指定事件；响应于所述指定事件，执行人工智能应用；基于执行的人工智能应用，通过通信电路将与所述指定事件相关的数据发送到外部服务器；在指定时间段内通过麦克风感测与所述指定事件相关的用户话语；在感测到用户话语的情况下，通过通信电路将用户话语发送到外部服务器；通过通信电路从外部服务器接收用于执行与用户话语相关的功能的动作顺序；至少基于接收到的动作顺序来执行第二应用；以及输出通过使用第二应用执行功能的结果。
一种根据实施例的用于由电子装置使用语音识别功能执行动作的方法可包括以下操作：在显示器上显示第一应用的执行屏幕时，接收与第二应用相关的指定事件；响应于所述指定事件，执行人工智能应用；基于执行的人工智能应用，对与所述指定事件相关的数据进行预分析；在指定时间段内通过麦克风感测与所述指定事件相关的用户话语；在感测到用户话语的情况下，基于对所述数据进行预分析的结果来确定用于执行与用户话语相关的功能的动作顺序；至少基于确定的动作顺序来执行第二应用；以及输出通过使用第二应用执行功能的结果。
根据各种实施例的被配置为使用语音识别功能执行人工智能动作的电子装置和用于使用该电子装置提供与动作相关的通知的方法，如果发生事件，则可更容易地使用语音识别功能执行人工智能动作。
在描述下面的具体实施例之前，阐述贯穿本专利文档使用的某些词语和短语的定义可能是有利的：术语“包括”和“包含”及其派生词指包括而不限于；术语“或”是包含性的，指和/或；短语“与……相关联”和“与其相关联”及其派生词可指包括、被包括在……内、与……互连、包含、被包含在……内、连接到或与……连接、耦合到或与……耦合、可与……通信、与……协作、交错、并置、接近于、绑定到或与……绑定、具有、具有……的属性等；并且术语“控制器”指控制至少一个操作的任何装置、系统或其部分，这样的装置可以以硬件、固件或软件、或硬件、固件或软件中的至少两个的一些组合来实现。应当注意，与任何特定控制器相关联的功能无论是本地的还是远程的，都可以是集中式的或分布式的。
另外，下面描述的各种功能可由一个或更多个计算机程序实现或支持，所述一个或更多个计算机程序中的每一个由计算机可读程序代码形成并且被实现在计算机可读介质中。术语“应用”和“程序”是指一个或更多个计算机程序、软件组件、指令集、过程、函数、对象、类、实例、相关数据，或者一个或更多个计算机程序、软件组件、指令集、过程、函数、对象、类、实例、相关数据中的适于在合适的计算机可读程序代码中实现的部分。短语“计算机可读程序代码”包括任何类型的计算机代码，包括源代码、目标代码和可执行代码。短语“计算机可读介质”包括能够由计算机访问的任何类型的介质，诸如只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、压缩盘(CD)、数字视频盘(DVD)或任何其他类型的存储器。“非暂时性”计算机可读介质不包括传输暂时性电信号或其它信号的有线、无线、光学或其它通信链路。非暂时性计算机可读介质包括数据可被永久存储的介质以及数据可被存储并且稍后被覆写的介质，诸如可重写光盘或可擦除存储器装置。
本专利文件通篇提供了某些词语和短语的定义，本领域普通技术人员应当理解，在许多(即使不是大多数)情况下，这样的定义适用于使用这样定义的词语和短语的先前和将来情况。
附图说明
为了更完整地理解本公开及其优点，现在结合附图参考以下描述，其中，相同的附图标记表示相同的部件：
图1示出根据实施例的网络内部的电子装置的框图；
图2A示出根据实施例的集成智能系统的框图；
图2B示出根据实施例的关于数据库中的概念和动作之间的关系的信息的存储类型的示图；
图3示出由根据实施例的电子装置使用的用于通过智能应用处理接收的语音输入的屏幕的示图；
图4示出由根据比较示例的电子装置使用的用于通过智能应用处理接收的事件的屏幕的示图；
图5示出由根据实施例的电子装置使用的用于通过智能应用处理接收的事件的屏幕的示图；
图6示出根据实施例的电子装置响应于接收事件而输出用于选择应用的用户界面的示例性操作的示图；
图7示出根据实施例的电子装置的操作系统架构的框图；
图8示出根据实施例的嵌入在电子装置中的示例性人工智能(AI)平台的框图；
图9示出由根据实施例的电子装置使用的用于配置是否基于与事件相关的语音识别来执行AI动作的示例性屏幕的示图；
图10示出用于描述根据实施例的电子装置的操作的流程图；
图11示出用于描述根据实施例的具有嵌入式AI平台的电子装置的操作的流程图；
图12示出用于描述根据实施例的电子装置在没有智能应用被执行时处理接收到的事件的操作的流程图；
图13示出用于描述根据实施例的电子装置在智能应用被执行时处理接收到的事件的操作的流程图；
图14示出用于描述根据实施例的电子装置基于用于选择应用的用户界面执行语音识别功能的操作的流程图；以及
图15示出由根据实施例的电子装置使用的用于将特定智能应用配置为默认AI服务的示例性用户界面。
具体实施方式
下面讨论的图1至图15以及本专利文档中用于描述本公开的原理的各种实施例仅出于说明的目的，并且不应以任何方式被解释为限制本公开的范围。本领域技术人员将理解，本公开的原理可在任何适当布置的系统或装置中实现。
图1是示出根据各种实施例的网络环境100中的电子装置101的框图。参照图1，网络环境100中的电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108进行通信。根据实施例，电子装置101可经由服务器108与电子装置104进行通信。根据实施例，电子装置101可包括处理器120、存储器130、输入装置150、声音输出装置155、显示装置160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中，可从电子装置101中省略所述部件中的至少一个(例如，显示装置160或相机模块180)，或者可将一个或更多个其它部件添加到电子装置101中。在一些实施例中，可将所述部件中的一些部件实现为单个集成电路。例如，可将传感器模块176(例如，指纹传感器、虹膜传感器、或照度传感器)实现为嵌入在显示装置160(例如，显示器)中。
处理器120可运行例如软件(例如，程序140)来控制电子装置101的与处理器120连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据一个实施例，作为数据处理或计算的至少部分，处理器120可将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据加载到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可包括主处理器121(例如，中央处理器(CPU)或应用处理器(AP))以及与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(GPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。另外地或者可选择地，辅助处理器123可被适配为比主处理器121耗电更少，或者被适配为具体用于指定的功能。可将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。
在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123(而非主处理器121)可控制与电子装置101的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。
存储器130可存储由电子装置101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统(OS)142、中间件144或应用146。
输入装置150可从电子装置101的外部(例如，用户)接收将由电子装置101的其它部件(例如，处理器120)使用的命令或数据。输入装置150可包括例如麦克风、鼠标、键盘或数字笔(例如，手写笔)。
声音输出装置155可将声音信号输出到电子装置101的外部。声音输出装置155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的，接收器可用于呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。
显示装置160可向电子装置101的外部(例如，用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示装置160可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。
音频模块170可将声音转换为电信号，反之亦可。根据实施例，音频模块170可经由输入装置150获得声音，或者经由声音输出装置155或与电子装置101直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置102)的耳机输出声音。
传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施例，接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可包括连接器，其中，电子装置101可经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施例，连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可包括例如电机、压电元件或电刺激器。
相机模块180可捕获静止图像或运动图像。根据实施例，相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可管理对电子装置101的供电。根据实施例，可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。
电池189可对电子装置101的至少一个部件供电。根据实施例，电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如，长距离通信网络，诸如蜂窝网络、互联网、或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
天线模块197可将信号或电力发送到电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块197可包括天线，所述天线包括辐射元件，所述辐射元件由形成在基底(例如，PCB)中或形成在基底上的导电材料或导电图案构成。根据实施例，天线模块197可包括多个天线。在这种情况下，可由例如通信模块190(例如，无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据实施例，除了辐射元件之外的另外的组件(例如，射频集成电路(RFIC))可附加地形成为天线模块197的一部分。
上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。
根据实施例，可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102和电子装置104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。根据实施例，将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或更多个外部电子装置执行功能或服务中的至少部分，而不是运行功能或服务，或者电子装置101除了运行功能或服务以外，还可请求所述一个或更多个外部电子装置执行功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。
根据实施例的电子装置(例如，图1中的101)可包括：通信电路(例如，图1中的通信模块190)；显示器(例如，图1中的160)；麦克风(例如，图2A中的173)；处理器(例如，图1中的120)，可操作地连接到通信电路(例如，图1中的通信模块190)、显示器(例如，图1中的160)和麦克风(例如，图2A中的173)；以及存储器(例如，图1中的130)，可操作地连接到处理器120。存储器130可存储指令，所述指令在被执行时使处理器120执行以下操作：当在显示器160上显示第一应用(例如，图2A中的135_1)的执行屏幕时，接收与第二应用(例如，图2A中的135_2)相关的指定事件；响应于指定事件执行人工智能应用(例如，图7中的752)；基于执行的人工智能应用752，通过通信模块190将与指定事件相关的数据发送到外部服务器(例如，图2A中的201)；在指定时间段内通过麦克风173感测与指定事件相关的用户话语；如果感测到用户话语，则通过通信模块190将用户话语发送到智能服务器201；通过通信模块190从智能服务器201接收用于执行与用户话语相关的功能的动作顺序；至少基于接收到的动作顺序来执行第二应用135_2；并且输出通过使用第二应用135_2执行功能的结果。所述指令可被配置为使处理器120执行以下操作：如果响应于指定事件而执行人工智能应用752，则激活麦克风173；并且将通过激活的麦克风173获取的用户话语传递到人工智能应用752。与指定事件相关的数据可包括第二应用135_2的标识信息、指定事件发生的时间或指定事件的类型中的至少一个。所述指令可被配置为使处理器120执行以下操作：响应于接收到指定事件，在显示器160上显示选择应用的用户界面；以及如果通过用户界面接收到选择第二应用135_2的用户输入，则开始在指定时间段内感测用户话语。所述指令可被配置为使处理器120执行以下操作：以语音类型、图形类型或文本类型输出通过使用第二应用135_2执行功能的结果。所述指令可被配置为使处理器120执行以下操作：响应于在显示器160被去激活时接收到与第二应用135_2相关的指定事件，执行人工智能应用752；基于执行的人工智能应用752，通过通信模块190将与指定事件相关的数据发送到智能服务器201；在指定时间段内通过麦克风173感测与指定事件相关的用户话语；如果感测到用户话语，则通过通信模块190将用户话语发送到智能服务器201；通过通信模块190从智能服务器201接收用于执行与用户话语相关的功能的动作顺序；至少基于接收到的动作顺序来执行第二应用135_2；并且输出通过使用第二应用135_2执行功能的结果。所述指令可被配置为使处理器120执行以下操作：如果在显示器160上显示第一应用135_1的执行屏幕时接收到指定事件，则识别关于第一应用135_1的用户配置；以及基于用户配置确定是否执行人工智能应用752。
根据实施例的电子装置101可包括：通信模块190；显示器160；麦克风173；处理器120，可操作地连接到通信模块190、显示器160和麦克风173；以及存储器130，可操作地连接到处理器120。存储器130可存储指令，所述指令在被执行时使处理器120执行以下操作：在显示器160上显示第一应用135_1的执行屏幕时，接收与第二应用135_2相关的指定事件；响应于指定事件执行人工智能应用752；基于执行的人工智能应用752，对与指定事件相关的数据进行预分析；在指定时间段内通过麦克风173感测与指定事件相关的用户话语；如果感测到用户话语，则基于对数据进行预分析的结果来确定用于执行与用户话语相关的功能的动作顺序；至少基于确定的动作顺序来执行第二应用135_2；并且输出通过使用第二应用135_2执行功能的结果。所述指令可被配置为使处理器120执行以下操作：如果响应于指定事件而执行人工智能应用752，则激活麦克风173；并且将通过激活的麦克风173获取的用户话语传递到人工智能应用752。与指定事件相关的数据可包括第二应用135_2的标识信息、指定事件发生的时间或指定事件的类型中的至少一个。所述指令可被配置为使处理器120执行以下操作：响应于接收到指定事件，在显示器160上显示选择应用的用户界面；以及如果通过用户界面接收到选择第二应用135_2的用户输入，则开始在指定时间段内感测用户话语。所述指令可被配置为使处理器120执行以下操作：响应于在显示器160被去激活时接收到与第二应用135_2相关的指定事件，执行人工智能应用752；基于执行的人工智能应用752，对与指定事件相关的数据进行预分析；在指定时间段内通过麦克风173感测与指定事件相关的用户话语；如果感测到用户话语，则基于对数据进行预分析的结果来确定用于执行与用户话语相关的功能的动作顺序；至少基于确定的动作顺序来执行第二应用135_2；并且输出通过使用第二应用135_2执行功能的结果。所述指令可被配置为使处理器120执行以下操作：如果在显示器160上显示第一应用135_1的执行屏幕时接收到指定事件，则识别关于第一应用135_1的用户配置；以及基于用户配置确定是否执行人工智能应用752。
图2A示出根据实施例的集成智能系统的框图200。
参照图2A，根据实施例的框图200的集成智能系统可包括电子装置101、智能服务器201和服务伺服器260。
在实施例中，电子装置101可以是能够连接到互联网的终端装置，并且可以是例如移动电话、智能电话、个人数字助理(PDA)、膝上型计算机、TV、家用电器、HMD或智能扬声器。
根据实施例，电子装置101可包括接口(例如，图1中的接口177)、麦克风173、扬声器171、显示器(例如，图1中的显示器160)、存储器(例如，图1中的存储器130)或处理器(例如，图1中的处理器120)。所列举的元件可以彼此可操作地连接或电连接。
根据实施例，接口177可被连接到外部装置(例如，图1中的电子装置102或电子装置104或服务器108)并且被配置为发送/接收数据。根据实施例，麦克风173可接收声音(例如，用户话语)并将接收的声音转换为电信号。根据实施例，扬声器171可将电信号输出为声音(例如，语音)。根据实施例，显示器160可被配置为显示图像或视频。根据实施例，显示器160可显示被执行的应用(或应用程序)的图形用户界面(GUI)。
根据实施例，存储器130可存储客户端模块131、软件开发工具包133和多个应用135。客户端模块131和SDK 133可构成用于执行多功能的框架(或解决方案)。另外，存储器130和客户端模块131或SDK 133可构成用于处理语音输入的框架。
根据实施例，存储在存储器130中的多个应用135可以是用于执行指定功能的程序。根据实施例，多个应用135可包括第一应用135_1、第二应用135_2或事件管理器137。根据实施例，多个应用135中的每一个可包括用于执行指定功能的多个动作。例如，多个应用135可包括警报应用、消息应用和日程应用中的至少一个。根据实施例，多个应用135可由处理器120执行，以连续地执行多个动作中的至少一些动作。
根据实施例，事件管理器137可基于由用户输入的配置值来确定用于处理在电子装置101中发生的事件的应用(或域)。例如，如果在电子装置101中发生指定事件，则根据实施例的事件管理器137可识别关于当前被执行的应用的配置值，并且可基于该配置值确定是否执行与指定事件相关的后续动作。根据实施例，事件管理器137可基于与当前被执行的应用相应的配置值忽略指定事件，或者可通过客户端模块131将与指定事件相关的信息(或数据)发送到人工智能(AI)系统(例如，事件主动模块(EPM)265)。
根据实施例，电子装置101的存储器130可存储多个智能应用。根据实施例，多个智能应用可基于语音识别，并且电子装置101可基于用户输入从多个智能应用中预先配置默认应用(或根应用)。例如，电子装置101可具有安装在其中的多个智能应用，诸如BIXBYTM或GOOGLE ASSISTANTTM，并且可基于用户输入将BIXBYTM应用配置为默认应用。根据实施例，事件管理器137可安排基于当前被执行的应用的配置值指定的事件，使得该事件由被配置为默认应用的智能应用处理。因此，即使在电子装置101中安装有多个智能应用，电子装置101也可灵活地处理用户话语。例如，如果在执行GOOGLE ASSISTANTTM应用时发生指定事件(例如，消息接收)，并且如果在发生指定事件之后接收到用户话语，则根据实施例的电子装置101可在被配置为默认应用的BIXBYTM应用中处理用户话语。
根据实施例，处理器120可控制电子装置101的全部动作。例如，处理器120可被电连接到接口177、麦克风173、扬声器171、显示器160和存储器130，以执行指定动作。
根据实施例，处理器120还可执行存储在存储器130中的程序，从而执行指定功能。例如，处理器120可执行客户端模块131或SDK 133中的至少一个，从而执行用于处理语音输入的后续动作。例如，处理器120可通过SDK133控制多个应用135的动作。被描述为客户端模块131或SDK 133的动作的后续动作可以是由处理器120的执行而产生的动作。
根据实施例，客户端模块131可接收语音输入。例如，客户端模块131可接收与通过麦克风173感测到的用户话语相应的语音信号。客户端模块131可将接收到的语音输入发送到智能服务器201。根据实施例，客户端模块131可将电子装置101的状态信息与接收到的语音输入一起发送到智能服务器201。例如，状态信息可以是关于执行应用的状态的信息。
根据实施例，客户端模块131可接收与接收到的语音输入相应的结果。例如，客户端模块131可从智能服务器201接收与语音输入相应的结果。客户端模块131可在显示器160上显示接收到的结果。
根据实施例，客户端模块131可接收与接收到的语音输入相应的计划。客户端模块131可在显示器160上显示根据计划执行应用的多个动作的结果。例如，客户端模块131可在显示器160上连续地显示执行多个动作的结果。作为另一示例，电子装置101可在显示器160上仅显示执行多个动作的结果中的一些结果(例如，最后动作的结果)。
根据实施例，客户端模块131可从智能服务器201接收用于获取用于获得与语音输入相应的结果的信息的请求。该用于获得结果的信息可以是例如电子装置101的状态信息。根据实施例，客户端模块131可响应于该请求向智能服务器201发送必要的信息。
根据实施例，客户端模块131可将关于根据计划执行多个动作的结果的信息发送到智能服务器201。智能服务器201可基于结果信息确认接收到的语音输入已被正确地处理。
根据实施例，客户端模块131可包括语音识别模块(未示出)。根据实施例，客户端模块131可通过语音识别模块(未示出)接收用于执行有限功能的语音输入。例如，客户端模块131可执行用于处理用于通过指定输入(例如，唤醒！)执行有机动作的语音输入的智能应用(或AI应用)(例如，BIXBYTM)。
根据实施例，智能服务器201可通过通信网络从电子装置101接收与用户语音输入相关的信息。根据实施例，智能服务器201可将与接收到的用户语音输入相关的数据转换为文本数据。根据实施例，智能服务器201可基于文本数据产生用于执行与用户语音输入相应的任务(例如，功能)的计划。
根据实施例，计划(例如，动作顺序)可由人工智能(AI)系统产生。AI系统可以是基于规则的系统，或者可以是基于神经网络的系统(例如，前馈神经网络(FNN)或递归神经网络(RNN))。可选地，AI系统可以是上述系统的组合，或者可以是与上述系统不同的AI系统。根据实施例，可从预定义的计划集合中选择计划，或者可响应于用户请求而实时地产生计划。例如，AI系统可从多个预定义的计划中选择至少一个计划。
根据实施例，智能服务器201可将遵循所产生的计划的结果发送到电子装置101，或者可将所产生的计划发送到电子装置101。根据实施例，电子装置101可在显示器160上显示根据计划获得的结果。根据实施例，电子装置101可在显示器160上显示根据计划执行动作的结果。根据实施例，电子装置101可以以语音类型、图形类型或文本类型输出根据计划执行动作的结果。
根据实施例的智能服务器201可包括前端210、自然语言平台220、封装体(capsule)DB 230、执行引擎235、终端用户接口240、管理平台245、大数据平台250、分析平台255或事件主动模块(EPM)265。
根据实施例，前端210可从电子装置101接收语音输入。前端210可发送与语音输入相应的响应。
根据实施例，自然语言平台220可包括自动语音识别(ASR)模块221、自然语言理解(NLU)模块223、计划器模块225、自然语言生成器(NLG)模块227或文本到语音(TTS)模块229。
根据实施例，ASR模块221可将从电子装置101接收的语音输入转换成文本数据。根据实施例，NLU模块223可通过使用语音输入的文本数据来识别用户的意图。例如，NLU模块223可通过执行句法分析或语义分析来识别用户的意图。根据实施例，NLU模块223可通过使用语素或短语的语言特征(例如，句法元素)来识别从语音输入提取的单词的含义，并且可将所识别的单词的含义与意图匹配，从而确定用户的意图。
根据实施例，计划器模块225可通过使用由NLU模块223确定的意图和参数来产生计划。根据实施例，计划器模块225可基于所确定的意图来确定执行任务所需的多个域。计划器模块225可确定包括在基于意图确定的多个域中的每一个域中的多个动作。根据实施例，计划器模块225可确定执行确定的多个动作所需的参数，或者可确定通过执行多个动作输出的结果值。参数和结果值可被定义为与指定格式(或类)相关的概念。因此，计划可包括由用户的意图确定的多个动作和多个概念。计划器模块225可以以步进(或分层)方式确定多个动作与多个概念之间的关系。例如，计划器模块225可基于多个概念来确定执行基于用户的意图确定的多个动作的顺序。换句话说，计划器模块225可基于执行多个动作所需的参数和通过执行多个动作输出的结果来确定执行多个动作的顺序。因此，计划器模块225可产生包括多个动作与多个概念之间的关联信息(例如，本体)的计划。计划器模块225可通过使用存储在封装体DB 230中的信息来产生计划，其中，封装体DB 230存储概念和动作之间的关系的集合。
根据实施例，NLG模块227可将指定信息转换成文本类型。被转换成文本类型的信息可以是自然语言话语类型。实施例中的TTS模块229可将文本类型信息转换成语音类型信息。
根据实施例，封装体DB 230可存储关于与多个域相应的多个概念和动作之间的关系的信息。例如，封装体DB 230可包括计划的多个动作对象(或动作信息)及多个动作对象的概念对象(或概念信息)。根据实施例，封装体DB 230可以以概念动作网络(CAN)类型存储多个封装体。根据实施例，多个封装体可被存储在包括在封装体DB 230中的功能注册表中。
根据实施例，封装体DB 230可包括策略注册表，其中，该策略注册表存储确定与语音输入相应的计划所需的策略信息。如果存在与语音输入相应的多个计划，则策略信息可包括用于确定一个计划的参考信息。根据实施例，封装体DB 230可包括后续注册表，其中，该后续注册表存储用于在指定情况下向用户提议后续动作的后续动作信息。后续动作可包括例如后续话语。根据实施例，封装体DB 230可包括布局注册表，其中，该布局注册表存储通过电子装置101输出的信息的布局信息。根据实施例，封装体DB 230可包括词汇注册表，其中，该汇注册表存储包括在封装体信息中的词汇信息。根据实施例，封装体DB 230可包括对话注册表，其中，该对话注册表存储关于与用户的对话(或交互)的信息。
根据实施例，封装体DB 230可通过开发者工具更新存储的对象。开发者工具可包括例如用于更新动作对象或概念对象的功能编辑器。开发者工具可包括用于更新词汇的词汇编辑器。开发者工具可包括用于产生和注册用于确定计划的策略的策略编辑器。开发者工具可包括用于产生与用户的对话的对话编辑器。开发者工具可包括能够激活后续目标并且编辑提供提示的后续话语的后续编辑器。可基于当前配置的目标、用户的偏好或环境条件来确定后续目标。
根据实施例，封装体DB 230也可在电子装置101内部实现。换句话说，电子装置101可包括存储用于确定与语音输入相应的动作的信息的封装体DB 230。
根据实施例，执行引擎235可通过使用所产生的计划来获得结果。根据实施例，终端用户接口240可将所获得的结果发送到电子装置101。因此，电子装置101可接收结果且将接收的结果提供给用户。根据实施例，管理平台245可管理由智能服务器201使用的信息。根据实施例，大数据平台250可收集用户的数据。
根据实施例，分析平台255可管理智能服务器201的服务质量(QoS)。例如，分析平台255可管理智能服务器201的元件及处理速率(或效率)。
根据实施例，服务伺服器260可向电子装置101提供指定服务(例如，食物订购或酒店预订)。根据实施例，服务伺服器260可由第三方运行。例如，服务伺服器260可包括由不同的第三方运行的第一服务伺服器261、第二服务伺服器262和第三服务伺服器263。根据实施例，服务伺服器260可向智能服务器201提供用于产生与接收到的语音输入相应的计划的信息。所提供的信息可被存储在例如封装体DB 230中。另外，服务伺服器260可向智能服务器201提供关于遵循计划的结果的信息。
根据实施例，如果在电子装置101中发生了指定事件(例如，消息接收)，则EPM 265可预先分析与事件相关的数据，并且可确定用于处理在事件发生之后由电子装置101接收的用户话语的应用(或域)。例如，EPM 265可根据数据来确定是由电子装置101中当前被执行的应用处理在事件发生之后接收到的用户话语，还是将用户话语确定为根话语使得由新的应用(或域)处理该用户话语。
根据实施例，与事件相关的数据可包括电子装置101中当前执行的第一应用的标识信息、与事件相关的第二应用的标识信息、事件发生时间或事件类型中的至少一个。EPM265可从电子装置101接收数据，并且可在用户话语之前对接收到的数据进行预先分析。根据实施例，如果电子装置101感测到用户话语，则EPM 265可基于预先分析的结果来确定用于处理用户话语的应用(或域)。例如，如果当前在电子装置101中执行第一应用，并且如果可通过第二应用执行与用户话语相应的任务，则根据实施例的EPM 265可确定任务将由第二应用执行。
根据实施例，如果电子装置101具有嵌入式智能平台，则EPM 265可被包括在电子装置101中。在这种情况下，电子装置101可独立于智能服务器201对与事件相关的数据进行预先分析，并且可确定用于处理在事件发生之后由电子装置101接收的用户话语的域(例如，应用)(参见图8)。
结合上述框图200的集成智能系统，电子装置101可响应于用户输入向用户提供各种智能服务。用户输入可包括例如通过物理按钮的输入、触摸输入或语音输入。
根据实施例，电子装置101可通过存储在电子装置101中的智能应用(或语音识别应用)提供语音识别服务。在这种情况下，例如，电子装置101可识别通过麦克风173接收的用户话语或语音输入，并可向用户提供与识别的语音输入相应的服务。
根据实施例，基于接收到的语音输入，电子装置101可单独地执行指定动作或与智能服务器201和/或服务伺服器260一起执行指定动作。例如，电子装置101可执行与接收到的语音输入相应的应用，并且可通过执行的应用执行指定动作。
根据实施例，当电子装置101与智能服务器201和/或服务伺服器260一起提供服务时，电子装置101可通过使用麦克风173来感测用户话语，并且可产生与感测到的用户话语相应的信号(或语音数据)。电子装置101可通过使用接口177将语音数据发送到智能服务器201。
根据实施例，响应于从电子装置101接收的语音输入，智能服务器201可产生用于执行与语音输入相应的任务的计划，或者产生根据计划执行动作的结果。计划可包括例如用于执行与用户的语音输入相应的任务的多个动作以及与多个动作相关的多个概念。概念可与被输入以执行多个动作的参数或通过执行多个动作输出的结果值的定义相应。计划可包括关于多个动作与多个概念之间的关联的信息。
实施例中的电子装置101可通过使用接口177来接收响应。电子装置101可使用扬声器171将在电子装置101内部产生的语音信号输出到外部，或者可使用显示器160将在电子装置101内部产生的图像输出到外部。
图2B示出关于数据库中的概念和动作之间的关系的信息的存储类型的示图270。
参照图2B，智能服务器(例如，图2A中的智能服务器201)的封装体数据库(例如，图2A中的封装体数据库230)可以以概念行动网络(CAN)类型存储封装体。封装体数据库可以以CAN类型存储用于处理与用户的语音输入相应的任务的动作和动作所需的参数。CAN可表示动作与概念之间的有机关系，其中，概念定义了执行动作所需的参数。
封装体数据库可存储分别与多个域(例如，应用)相应的多个封装体(例如，封装体A271和封装体B 274)。根据实施例，一个封装体(例如，封装体A 271)可与一个域(例如，应用)相应。另外，一个封装体可与用于执行与封装体相关的域的功能的至少一个服务提供商(例如，CP1 272、CP2 273、CP3 276或CP4 275)相应。根据实施例，一个封装体可包括用于执行指定功能的至少一个动作280和至少一个概念290。
根据实施例，自然语言平台(例如，图2A中的自然语言平台220)可通过使用存储在封装体数据库中的封装体来产生用于执行与接收到的语音输入相应的任务的计划。例如，自然语言平台的计划器模块(例如，图2A中的计划器模块225)可通过使用存储在封装体数据库中的封装体来产生计划。例如，可通过使用封装体A 271的动作2711和2713以及概念2712和2714以及封装体B 274的动作2714和概念2742来产生计划277。
图3示出由电子装置使用的用于通过智能应用处理接收的语音输入的屏幕的示图300。
电子装置101可执行智能应用，以便通过智能服务器201处理用户输入。
根据实施例，在屏幕310上，当接收到指定的语音输入(例如，唤醒！)或者当通过硬体键(例如，专用硬体键或指定物理键)接收到输入时，电子装置101可执行用于处理语音输入的智能应用。例如，电子装置101可在执行日程应用时执行智能应用。根据实施例，电子装置101可在显示器160上显示与智能应用相应的对象(例如，图标)311。根据实施例，电子装置101可接收由用户话语产生的语音输入。例如，电子装置101可接收语音输入“让我知道这个星期的安排！”。根据实施例，电子装置101可在显示器160上显示其上显示接收到的语音输入的文本数据的用户界面(UI)313(例如，输入窗口)。
根据实施例，在屏幕320上，电子装置101可在显示器160上显示与接收到的语音输入相应的结果。例如，电子装置101可接收与接收到的用户输入相应的计划，并且可根据该计划在显示器160上显示“本周日程”。
图4示出由根据比较示例的电子装置使用的用于通过智能应用处理接收的事件的屏幕的示图。图5示出由根据实施例的电子装置使用的用于通过智能应用处理接收的事件的屏幕的示图。
参照图4，根据比较示例，在屏幕410上，电子装置可响应于接收到唤醒话语(例如，Hi Bixby！！)或者接收到通过按压物理按钮做出的输入而执行智能应用，并且可在智能应用被执行之后通过激活语音识别功能来感测用户话语。例如，在根据比较示例的屏幕410上，如果电子装置接收到诸如“Hi Bixby，播放音乐应用中的音乐1”的用户话语，则电子装置可执行音乐应用并播放音乐1。
根据比较示例，在屏幕420上，电子装置可在执行音乐应用时接收另外的用户话语，并且如果相应的用户话语与音乐应用相关，则电子装置可通过音乐应用处理与用户话语相关的功能。例如，在根据比较示例的屏幕420上，如果电子装置接收到诸如“播放下一首歌曲”的用户话语，则电子装置可通过音乐应用播放下一首歌曲(例如，音乐2)。
在操作425，根据比较示例的电子装置可在执行音乐应用时接收指定事件，例如，消息。例如，根据比较示例，指定事件可与不能由当前在电子装置中执行的应用(例如，音乐应用)处理的另一应用(例如，消息应用)相关。
根据比较示例，在屏幕430上，电子装置可在接收到指定事件之后接收与指定事件相关的用户话语。例如，在屏幕430上，电子装置可接收诸如“读取刚到达的消息”的用户话语。这样的用户话语可与先前发生的指定事件相关，但是指定事件和用户话语可不被当前在电子装置中执行的音乐应用(或音乐域)处理。
根据比较示例，在屏幕440上，在确认指定事件和用户话语不能被当前在电子装置中执行的音乐应用(或音乐域)处理时，电子装置可通知相应的用户话语不能被处理。例如，根据比较示例的电子装置可输出诸如“找不到它，请再说一遍”的错误消息。
如此，根据比较示例的电子装置可能具有的不便之处在于，如果发生事件，并且如果用户想要检查相应的事件或者想要通过智能应用通过使用语音识别功能来执行与事件相关的动作，则用户必须重新输入唤醒话语或物理键。
参照图5，根据实施例的电子装置(例如，图2A中的电子装置101)可解决根据图4中的比较示例的电子装置的不便。例如，基于诸如通知或呼入的事件，根据实施例的电子装置101可保证根据实际意图更清楚地处理用户的话语，即使1)终端空闲(例如，显示器被去激活)，2)如果终端进入特定应用并且稳定下来(例如，除了“打卡下班(punch out)”之外的状态)，或者3)如果特定应用具有嵌入式语音识别服务并且因此占用语音处理模块(例如，图2A中的麦克风173)(例如，“打卡下班”状态)。因此，识别出发生事件的用户可输入与事件相关的话语，而不管电子装置101中的应用的当前状态，或者不管存在多种语音服务的混合的任何状态，从而从电子装置101接收与话语相关的任务的结果。例如，根据实施例，如果发生事件，并且如果用户想要检查相应的事件或者想要通过智能应用(例如，图7中的BIXBYTM应用752)通过使用语音识别功能来执行与事件相关的动作，则电子装置101可通过智能应用752提供语音识别功能，而无需请求用户重新输入唤醒话语或物理键。应当注意，如本文所使用的，BIXBYTM应用752和智能应用752可互换地使用。
根据实施例，在屏幕510上，电子装置101可响应于接收到唤醒话语(例如，HiBixby！！)或者接收到通过按压物理按钮做出的输入而执行智能应用752，并且可在智能应用752被执行之后通过激活语音识别功能来感测用户话语。例如，在屏幕510上，如果电子装置101接收到诸如“Hi Bixby，播放音乐应用中的音乐1”的用户话语，则电子装置101可执行音乐应用(例如，图2A中的第一应用135_1)并且播放音乐1。
根据实施例，在屏幕520上，电子装置101可在执行音乐应用135_1时接收另外的用户话语，并且如果相应的用户话语与音乐应用135_1相关，则电子装置101可通过音乐应用135_1处理与用户话语相关的功能。例如，在屏幕520上，如果电子装置101接收到诸如“播放下一首歌曲”的用户话语，则电子装置101可通过音乐应用135_1播放下一首歌曲(例如，音乐2)。
在操作525，根据实施例的电子装置101可在执行音乐应用135_1时接收指定事件，例如，消息。例如，指定事件可与不能由当前在电子装置101中执行的应用(例如，音乐应用135_1)处理的另一应用(例如，图2A中的第二应用135_2)(例如，消息应用)相关。
根据实施例，在屏幕530上，电子装置101可在接收到指定事件之后接收与指定事件相关的用户话语。例如，在屏幕530上，电子装置101可接收诸如“读取刚到达的消息”的用户话语。这样的用户话语可与先前发生的指定事件相关，但是指定事件和用户话语可不被当前在电子装置101中执行的音乐应用135_1(或音乐域)处理。根据实施例，在屏幕530上，电子装置101可在接收到指定事件之后的指定时间段内感测用户话语。例如，电子装置101可在接收到消息之后的指定时间段(例如，十秒)内感测用户话语。根据实施例，在屏幕530上，如果在接收到指定事件之后的指定时间段内没有感测到用户话语，则电子装置101可保持在接收到事件之前的应用(例如，音乐应用135_1)的执行屏幕。根据实施例，作为指定时间段的十秒仅是示例，并且可对指定时间段进行各种修改或配置。根据实施例，指定时间段可与显示器(例如，图1中的显示器160)的激活和显示器的去激活之间的时间段基本上相同。例如，电子装置101可响应于接收到事件而在指定时间段内激活显示器160，并且如果显示器160在指定时间段过去之后被去激活，则可停止语音接收动作。
根据实施例，在屏幕540上，在确认指定事件和用户话语可不被当前在电子装置101中执行的应用(或第一应用)(例如，音乐应用135_1)处理时，电子装置101可临时执行能够处理指定事件和用户话语的另一应用(或第二应用)(例如，消息应用135_2)。根据实施例的电子装置101可执行与用户话语相应的任务，并且可通过另一应用(例如，消息应用135_2)输出执行任务的结果。例如，在屏幕540上，根据实施例的电子装置101可以以语音类型、图形类型或文本类型输出在操作525中接收到的消息的内容，诸如“发送者是Jane，明天9点的约会是……”。根据实施例，在屏幕540上，如果在执行与用户话语相应的任务并且输出执行任务的结果之后经过了指定时间段，则电子装置101可返回到在接收到事件之前的应用(例如，音乐应用135_1)的执行屏幕。根据实施例，在屏幕540上，电子装置101可显示用于返回到在接收到事件之前的应用(例如，音乐应用135_1)的执行屏幕的用户界面541，并且如果通过用户界面541感测到用户输入，则可显示先前应用(例如，音乐应用135_1)的执行屏幕。
根据实施例，为了返回到先前应用(例如，音乐应用135_1)的执行屏幕，电子装置101可存储用于从事件发生的时间点开始与智能服务器(例如，图2A中的智能服务器201)进行连接(例如，会话)的时间配置(例如，定时器配置)，或者关于事件发生之前的电子装置的状态的信息。
图6示出了示出根据实施例的电子装置响应于接收到事件而输出用于选择应用的用户界面的示例性操作的示图。
参照图6，当发生事件时，根据实施例的电子装置(例如，图2A中的电子装置101)可基于通过用户界面631的用户输入来确定用于处理与事件相关的用户话语的应用(或域)。
根据实施例，在屏幕610上，电子装置101可响应于接收到唤醒话语(例如，HiBixby！！)或者接收到通过按压物理按钮做出的输入而执行智能应用(例如，图7中的BIXBYTM应用752)，并且可在智能应用752被执行之后通过激活语音识别功能来感测用户话语。例如，在屏幕610上，如果电子装置101接收到诸如“Hi Bixby，播放音乐应用中的音乐1”的用户话语，则电子装置101可执行音乐应用(例如，图2A中的第一应用135_1)并且播放音乐1。
根据实施例，在屏幕620上，电子装置101可在执行音乐应用135_1时接收另外的用户话语，并且如果相应的用户话语与音乐应用135_1相关，则可通过音乐应用135_1处理与用户话语相关的功能。例如，在屏幕620上，如果电子装置101接收到诸如“播放下一首歌曲”的用户话语，则电子装置101可通过音乐应用135_1播放下一首歌曲(例如，音乐2)。
在操作625，根据实施例的电子装置101可在执行音乐应用135_1时接收指定事件，例如，消息。例如，指定事件可与不能由当前在电子装置101中执行的应用(例如，音乐应用135_1)处理的另一应用(例如，图2A中的第二应用135_2)(例如，消息应用)相关。
根据实施例，在屏幕630上，电子装置101可响应于接收到指定事件而显示用于将当前被执行的应用(例如，第一应用135_1或当前域)替换为与指定事件相关的另一应用(例如，第二应用135_2或另一域)的用户界面631。例如，如果接收到事件，则电子装置101可基于人工智能(AI)系统(例如，图2A中的事件主动模块(EPM)265)确定能够处理与事件相关的任务的应用(例如，第二应用135_2或另一域)，并且可显示能够选择与所确定的应用135_2进行替换的用户界面631。例如，用户界面631可包括如在屏幕630上的能够选择消息应用135_2或音乐应用135_1的对象6311。
根据实施例，在屏幕630上，在通过用户界面631接收到用于选择改变为另一应用(例如，第二应用135_2或另一域)的用户输入时，电子装置101可在指定时间段内感测用户话语。例如，在屏幕630上，电子装置101可接收诸如“读取刚到达的消息”的用户话语。例如，电子装置101可在通过用户界面631接收到用户输入之后，在指定时间段(例如，十秒)内感测用户话语。根据实施例，在屏幕630上，如果在指定时间段内没有感测到用户话语，则电子装置101可保持在接收到事件之前的应用(例如，音乐应用135_1)的执行屏幕。根据实施例，作为指定时间段的十秒仅是示例，并且可对指定时间段进行各种修改或配置。
根据实施例，在屏幕640上，电子装置101可执行能够处理指定事件和用户话语的另一应用(或第二应用135_2)(例如，消息应用135_2)。根据实施例的电子装置101可通过另一应用135_2执行与用户话语相应的任务，并且可输出执行任务的结果。例如，在屏幕640上，根据实施例的电子装置101可以以语音类型、图形类型或文本类型输出在操作625中接收到的消息的内容，诸如“发送者是Jane，明天9点的约会是……”。根据实施例，在屏幕640上，如果在执行与用户话语相应的任务并且输出执行任务的结果之后经过了指定时间段，则电子装置101可返回到在接收到事件之前的应用(例如，音乐应用135_1)的执行屏幕。根据实施例，在屏幕640上，电子装置101可显示用于返回到在接收到事件之前的应用(例如，音乐应用135_1)的执行屏幕的用户界面641，并且如果通过用户界面641感测到用户输入，则可显示先前应用(例如，音乐应用135_1)的执行屏幕。
图7示出根据实施例的电子装置的操作系统架构的框图。
参照图7，根据实施例的电子装置101的操作系统架构700可包括硬件710、Linux内核720、硬件抽象层(HAL)730、应用框架740或多个应用750。根据实施例的电子装置101的操作系统架构700可以是例如ANDROID架构。
根据实施例，硬件710可包括构成电子装置101的物理组件。例如，硬件710可包括麦克风173(例如，图2A中的173)、显示器(未示出)(例如，图2A中的160)、扬声器(未示出)(例如，图2A中的171)或相机模块(未示出)(例如，图1中的180)。
根据实施例，Linux内核720(即，驱动器721、722和723)可包括控制硬件710所需的一组指令。例如，Linux内核720可包括用于控制麦克风173的麦克风驱动器721、用于控制显示器160的显示器驱动器722或用于控制扬声器171的音频驱动器723。
根据实施例，HAL 730可以是扮演硬件710与软件之间的抽象层的角色的逻辑代码分段。HAL 730可包括关于硬件710的通用指令集，并且可提供硬件710的库模块和装置驱动器接口，使得程序可与硬件通信。
根据实施例，应用框架740可以是以类或库类型实现用于操作系统的应用的标准结构的聚合体。根据实施例，应用框架740可以是JAVATM API框架。根据实施例，应用框架740可包括通知管理器741、资源管理器742或包管理器743。
根据实施例，多个应用750(例如，图2A中的135)可以是用于执行指定功能的程序。例如，多个应用750中的每一个可包括用于执行指定功能的多个动作。例如，多个应用750可包括警报应用754、消息应用753或地图应用751中的至少一个。根据实施例，多个应用750可由处理器(例如，图1或图2A中的120)执行，以连续地执行多个动作中的至少一些动作。
根据实施例，多个应用750可存储彼此不同的多个智能应用。根据实施例，多个应用可以是基于语音识别的智能应用(例如，BIXBYTM应用752)，并且电子装置101可基于用户输入在多个智能应用中预先配置默认应用(或根应用)。例如，电子装置101可具有安装在其中的多个智能应用，诸如BIXBYTM应用752或GOOGLE ASSISTANTTM应用(未示出)，并且可基于用户输入将BIXBYTM应用752配置为默认应用。根据实施例，被配置为默认应用的智能应用752(例如，BIXBYTM应用)可包括事件管理器(例如，图2A中的137)。
根据实施例，如果在电子装置101中发生指定事件，则事件管理器137可识别与当前被执行的应用相关的配置值，并且可基于配置值确定是否执行与指定事件相关的后续动作。根据实施例，事件管理器137可基于与当前被执行的应用相应的配置值忽略指定事件，或者可将关于指定事件的信息(或数据)发送到人工智能(AI)系统。根据实施例，AI系统可以是包括事件主动模块265的智能服务器201。根据实施例，电子装置101可具有嵌入式AI系统(例如，图8中的810)，并且在这种情况下，电子装置101可将与指定事件相关的信息(或数据)发送到嵌入式AI系统(例如，图8中的810)的主动模块(例如，图8中的840)。
在下文中，将参照图7描述根据实施例的电子装置101的操作。
在操作761，事件可发生在多个应用750之中的特定应用(例如，警报应用754)中，并且根据实施例的电子装置101可将相应的事件发生信息传递到应用框架740的通知管理器741。
在操作762，根据实施例的电子装置101可与作为根服务的智能应用752共享关于在特定应用(例如，警报应用754)中发生的事件的信息(向智能应用传递关于在特定应用(例如，警报应用754)中发生的事件的信息)。例如，电子装置101可存储多个智能应用(例如，BIXBYTM应用或GOOGLE ASSISTANTTM应用)，并且多个智能应用中的特定智能应用(例如，BIXBYTM应用752)可通过用户配置被配置为默认应用(或根服务)。根据实施例，当在特定应用(例如，警报应用754)中发生事件时，电子装置101可将事件发生信息传递到被配置为默认应用的智能应用(例如，BIXBYTM应用752)。例如，在警报应用754中发生的警报事件可被传递到被配置为默认应用的BIXBYTM应用752。
在操作763，根据实施例的电子装置101可改变使用麦克风173的权限，使得接收到事件发生信息的智能应用752(例如，BIXBYTM)执行语音识别功能。例如，响应于接收到事件发生信息，智能应用752可请求应用框架740分配使用麦克风173的权限。
在操作764，根据实施例的电子装置101可使从智能应用752接收到使用麦克风173的请求的应用框架740将占用麦克风173的权限分配给智能应用752。例如，如果在事件发生之前已执行的应用(例如，地图应用751)已经持有占用麦克风173的权限，则应用框架740可将占用麦克风173的权限从地图应用751转移到智能应用752。因此，关于通过麦克风173获取的用户话语的信息可被传递到智能应用752。
在操作765，根据实施例的电子装置101可基于用户预先输入的配置值(或默认配置的值)来确定智能应用752的事件管理器137是否应该执行与指定事件相关的后续动作。根据实施例，事件管理器137可基于与当前被执行的应用(例如，地图应用751)相应的配置值忽略指定事件，或者可将与指定事件相关的信息(或数据)发送到智能服务器(例如，图2A中的201)的事件主动模块265。根据实施例，由电子装置101的智能应用752发送到智能服务器201的信息可包括事件发生的应用(例如，警报应用754)的识别信息、事件发生的时间或事件的类型中的至少一个。
根据实施例，在通过麦克风173获取用户话语时，电子装置101可将与获取的用户话语相应的数据发送到智能服务器201。
根据实施例，电子装置101可具有嵌入式人工智能(AI)平台，并且可并入例如嵌入在智能服务器201中的元件中的至少一些。在这种情况下，电子装置101可将与发生的事件相关的信息发送到嵌入在电子装置101中的AI平台(例如，图8中的810)，而不是发送到智能服务器201，并且AI平台810可包括事件主动模块(例如，图8中的840)。稍后将在本文档中参照图8更详细地描述电子装置101具有嵌入式AI平台的实施例。
根据实施例，智能服务器201的事件主动模块265可对从电子装置101接收的信息进行预分析，并且可确定用于处理在事件发生之后从电子装置101接收的用户话语的应用(或域)。
根据实施例，如果在事件主动模块265确定用于处理用户话语的应用(或域)之后从电子装置101接收到用户话语，则智能服务器201可确定用于执行与语音输入相应的任务的计划，并且可将所确定的计划发送到电子装置101。根据实施例，电子装置101可具有嵌入式AI平台，该嵌入式AI平台具有与智能服务器201的功能和元件相同或相似的功能和元件，并且在这种情况下，嵌入在电子装置101中的AI平台可单独地确定用于处理用户话语的应用(或域)，并且可确定用于执行与接收到的语音输入相应的任务的计划。
图8示出根据实施例的嵌入在电子装置中的示例性AI平台的框图。
参照图8，根据实施例的智能服务器201可包括前端210、自然语言平台220、执行引擎235或终端用户接口240。根据实施例，自然语言平台220可包括自动语音识别模块221、自然语言理解模块223、计划器模块225或文本到语音模块229。图8所示的智能服务器201可与图2A所示的智能服务器201基本相同或相似。因此，这里将省略嵌入在图8中的智能服务器201中的与图2A中的智能服务器201的元件相同的描述。
根据实施例，电子装置101可具有嵌入式AI平台810。根据实施例，电子装置101可包括AI平台810、执行引擎820、终端用户接口830、事件主动模块840、至少一个智能应用850(例如，BIXBYTM应用)、事件管理器(例如，图7中的137)或多个应用(例如，图2A中的第一应用135_1或第二应用135_2)。根据实施例，AI平台810可包括自动语音识别模块811、自然语言理解模块812、计划器模块813或文本到语音模块814，并且这些元件可分别执行与嵌入在智能服务器201中的元件221、223、225和227的功能基本相同的功能。根据实施例，嵌入在电子装置101中的执行引擎820或终端用户接口830可执行与嵌入在智能服务器201中的执行引擎235或终端用户接口240的功能相同的功能。
根据实施例，事件主动模块840或事件管理器137中的至少一些可被嵌入智能应用850中。
在下文中，将参照图8描述根据实施例的电子装置101的操作。
在操作861，根据实施例的电子装置101可响应于接收到唤醒话语(例如，HiBixby！！)或者接收到通过按压物理按钮做出的输入而执行智能应用850，并且可在智能应用850被执行之后通过激活语音识别功能来感测用户话语。根据实施例，如在图5中的屏幕510上，电子装置101可接收诸如“Hi Bixby，播放音乐应用中的音乐1”的第一用户话语，并且可将与接收到的第一用户话语相应的数据(或信息)发送到智能服务器201。
在操作862和操作863，根据实施例的电子装置101可从智能服务器201接收用于执行与第一用户话语相关的任务的计划，并且可至少基于接收到的计划来执行第一应用135_1(例如，音乐应用)。根据实施例，电子装置101可至少基于接收到的计划输出通过使用第一应用135_1执行任务的结果。例如，电子装置101可执行音乐应用，并且可通过音乐应用播放“音乐1”。根据实施例，电子装置101可在执行与第一用户话语相关的所有任务之后结束智能应用752的执行。
在操作864，根据实施例的电子装置101可在显示第一应用135_1的执行屏幕时接收与第二应用135_2(例如，消息应用)相关的指定事件，并且接收到的事件可与作为根服务的智能应用850共享(接收到的事件可被传递到智能应用850)。根据实施例，智能应用850可将事件相关信息发送到事件管理器137。根据实施例的事件管理器137可识别关于当前被执行的应用(例如，第一应用135_1)的配置值，并且可基于配置值确定是否执行与指定事件相关的后续动作。根据实施例，事件管理器137可基于与当前被执行的应用(例如，第一应用135_1)相关的用户配置值将关于事件的信息传递到嵌入在电子装置101中的事件主动模块840。
在操作865，根据实施例的电子装置101可使事件主动模块840预分析与从事件管理器137接收的事件相关的信息，并且确定用于处理在事件发生之后从电子装置101接收的用户话语的应用(或域)。根据实施例，事件主动模块840可基于对事件相关信息进行预分析的结果来执行智能应用850，并且可将占用电子装置101的麦克风(例如，图7中的173)的权限分配给智能应用850。
在操作866，根据实施例的电子装置101可使获取了占用麦克风(例如，图7中的173)的权限的智能应用850接收第二用户话语并且将接收到的第二用户话语传递到AI平台810。根据实施例，如在图5中的屏幕530上，电子装置101可接收诸如“读取刚到达的消息”的第二用户话语，并且可将与接收到的第二用户话语相应的数据(或信息)传递到AI平台810。
在操作867，根据实施例的电子装置101可使AI平台810确定用于执行与第二用户话语相应的任务的计划。根据实施例的电子装置101可基于所确定的计划执行第二应用135_2，并且可输出通过使用第二应用135_2执行任务的结果。根据实施例，电子装置101可在显示器(例如，图1中的显示器160)上显示执行与第二用户话语相应的任务的结果，或者通过扬声器(例如，图2A中的171)输出语音消息。根据实施例，如在图5中的屏幕540上，电子装置101可以以语音类型、图形类型或文本类型输出消息的内容，诸如“发件人是Jane，明天9点的约会是……”。
根据实施例，电子装置101可在执行与第二用户话语相关的所有任务之后结束智能应用850的执行，并且可返回到在接收到与第二应用135_2相关的事件之前的状态。例如，电子装置101可将第一应用135_1从后台状态切换到前台状态，并且可在显示器160上显示第一应用135_1的执行屏幕。
图9示出由根据实施例的电子装置使用的用于配置是否基于与事件相关的语音识别来执行AI动作的示例性配置屏幕910的示图。
参照图9，当发生事件时，根据实施例的电子装置(例如，图2A中的电子装置101)可提供用于配置是否基于与事件相关的语音识别来执行AI动作的配置屏幕910(例如，用户界面)。根据实施例，配置屏幕910可包括指示用户状态的多个状态菜单911、912和913。例如，多个状态菜单911、912和913可包括用户可预先配置的用户状态，诸如“请勿打扰”911、驾驶912或听音乐913。根据实施例，多个状态菜单911、912和913可包括用于做出关于是否基于语音识别执行AI动作的开/关配置的快速配置图标921。根据实施例，快速配置图标921可用于针对相应状态菜单(例如，驾驶912)快速配置是否基于由用户预先配置的语音识别来执行AI动作。例如，多个状态菜单911、912和913可包括子菜单931，使得可针对存储在电子装置101中的多个应用(例如，图2A中的第一应用135_1或第二应用135_2)中的每一个应用配置是否基于语音识别来执行AI动作。用户可通过子菜单931选择多个应用9311、9312和9313中的至少一些(例如，图2A中的第一应用135_1或第二应用135_2)，并且可输入关于是否基于语音识别执行AI动作的选择。例如，在多个状态菜单911、912和913之中的驾驶912的情况下，用户可进行配置，以基于与关于安装在电子装置101中的多个应用9311、9312和9313之中的地图应用9311的事件相关的语音识别执行AI动作，并且不基于与关于日历应用9312的事件相关的语音识别执行AI动作。在这种情况下，如果在执行地图应用9311时发生与另一应用(例如，音乐应用9313)相关的事件，则电子装置101可通过作为根服务的智能应用752基于语音识别来提供AI服务。另一方面，如果在执行在配置屏幕上被配置为去激活的日历应用9312时发生与另一应用(例如，音乐应用9313)相关的事件，则电子装置101可不基于语音识别执行AI动作。
根据实施例，如果基于通过如图9所示的配置屏幕910的用户输入而发生事件，则电子装置(例如，图2A中的电子装置101)的事件管理器(例如，图2A中的事件管理器137)可确定是否基于语音识别来执行AI动作。
用于由根据实施例的电子装置(例如，图1中的101)使用语音识别功能执行动作的方法可包括以下操作：在显示器(例如，图1中的160)上显示第一应用(例如，图2A中的135_1)的执行屏幕时，接收与第二应用(例如，图2A中的135_2)相关的指定事件；响应于指定事件执行人工智能应用(例如，图7中的752)；基于执行的人工智能应用752，通过通信电路(例如，图1中的通信模块190)将与指定事件相关的数据发送到外部服务器(例如，图2A中的201)；在指定时间段内通过麦克风(例如，图2A中的173)感测与指定事件相关的用户话语；如果感测到用户话语，则通过通信模块190将用户话语发送到智能服务器201；通过通信模块190从智能服务器201接收用于执行与用户话语相关的功能的动作顺序；至少基于接收的动作顺序来执行第二应用135_2；以及输出通过使用第二应用135_2执行功能的结果。该方法还可包括以下操作：如果响应于指定事件执行人工智能应用752，则激活麦克风173；以及将通过激活的麦克风173获取的信息传递到人工智能应用752。该方法还可包括以下操作：响应于接收到指定事件，在显示器160上显示选择应用的用户界面；以及如果通过用户界面接收到选择第二应用135_2的用户输入，则开始在指定时间段内感测用户话语。该方法还可包括以下操作：响应于在显示器160被去激活时接收到与第二应用135_2相关的指定事件，执行人工智能应用752；基于执行的人工智能应用752，通过通信模块190将与指定事件相关的数据发送到智能服务器201；通过麦克风173在指定时间段内感测与指定事件相关的用户话语；如果感测到用户话语，则通过通信模块190将用户话语发送到智能服务器201；通过通信模块190从智能服务器201接收用于执行与用户话语相关的功能的动作顺序；至少基于接收的动作顺序来执行第二应用135_2；以及输出通过使用第二应用135_2执行功能的结果。
用于由根据实施例的电子装置101使用语音识别功能执行动作的方法可包括以下操作：在显示器160上显示第一应用135_1的执行屏幕时，接收与第二应用135_2相关的指定事件；响应于指定事件执行人工智能应用752；基于执行的人工智能应用752，对与指定事件相关的数据进行预分析；在指定时间段内通过麦克风173感测与指定事件相关的用户话语；如果感测到用户话语，则基于对数据进行预分析的结果来确定用于执行与用户话语相关的功能的动作顺序；至少基于所确定的动作顺序来执行第二应用135_2；以及输出通过使用第二应用135_2执行功能的结果。该方法还可包括以下操作：如果响应于指定事件执行人工智能应用752，则激活麦克风173；以及将通过激活的麦克风173获取的用户话语传递到人工智能应用752。该方法还可包括以下操作：响应于接收到指定事件，在显示器160上显示选择应用的用户界面；以及如果通过用户界面接收到选择第二应用135_2的用户输入，则开始在指定时间段内感测用户话语。
图10示出用于描述根据实施例的电子装置的操作的流程图。
在操作1010，根据实施例的电子装置(例如，图2A中的电子装置101)可在显示第一应用(例如，图2A中的第一应用135_1)的执行屏幕时接收与第二应用(例如，图2A中的第二应用135_2)相关的指定事件。例如，可在电子装置101显示音乐应用执行屏幕时发生消息接收事件。
在操作1020，根据实施例的电子装置101可响应于指定事件执行AI应用(在下文中，被称为智能应用752)。根据实施例，电子装置101可基于指定事件的发生来执行多个智能应用(例如，BIXBYTM应用、GOOGLE ASSISTANTTM应用)中被指定为默认应用的智能应用752(例如，BIXBYTM应用)。
在操作1030，根据实施例的电子装置101可基于执行的智能应用752通过通信电路(例如，图1中的通信模块190)将与指定事件相关的数据发送到外部服务器，例如智能服务器(例如，图2A中的智能服务器201)。根据实施例，电子装置101可使智能应用752的事件管理器(例如，图7中的事件管理器137)基于由用户预先输入的配置值(或默认配置的值)来确定是否执行与指定事件相关的后续动作。根据实施例，事件管理器137可基于与当前被执行的应用(例如，图7中的地图应用751)相应的配置值忽略指定事件，或者可将与指定事件相关的信息(或数据)发送到智能服务器(例如，图2A中的201)的事件主动模块(例如，图2A中的265)。例如，如果在显示音乐应用执行屏幕时发生消息接收事件，则电子装置101可识别与音乐应用相关的用户配置，并且可基于用户配置将与音乐接收事件相关的信息发送到智能服务器(例如，图2A中的201)的事件主动模块265。
根据实施例，由电子装置101的智能应用752发送到智能服务器201的信息可包括发生事件的应用(例如，警报应用754)的识别信息、事件发生的时间或事件的类型中的至少一个。
根据实施例，智能服务器201的事件主动模块265可预先分析从电子装置101接收的信息，并且可确定用于处理在事件发生之后从电子装置101接收的用户话语的应用(或域)。
在操作1040，根据实施例的电子装置101可在指定时间段内感测与指定事件相关的用户话语，并且如果感测到用户话语，则可通过通信电路(例如，图1中的通信模块190)将用户话语发送到外部服务器(例如，智能服务器201)。根据实施例，根据实施例的电子装置101可使接收到事件发生信息的智能应用752(例如，BIXBYTM)改变使用麦克风173的权限，以便执行语音识别功能。例如，响应于接收到事件发生信息，智能应用752可请求应用框架(例如，图7中的740)分配使用麦克风(例如，图7中的173)的权限。根据实施例，在通过麦克风173获取用户话语时，电子装置101可将与获取的用户话语相应的数据发送到智能服务器201。
在操作1050，根据实施例的电子装置101可通过通信电路(例如，图1中的通信模块190)从外部服务器(例如，智能服务器)接收用于执行与用户话语相关的任务(例如，功能)的计划(例如，动作顺序)。根据实施例，如果在事件主动模块265确定了用于处理用户话语的应用(或域)之后从电子装置101接收到用户话语，则智能服务器201可确定用于执行与语音输入相应的任务(例如，功能)的计划(例如，动作顺序)，并且可将所确定的计划(例如，动作顺序)发送到电子装置101。例如，如在图5中的屏幕530上，电子装置101可接收诸如“读取刚到达的消息”的用户话语，并且可将与接收到的用户话语相应的数据(或信息)传递到智能服务器201。
在操作1060和操作1070，根据实施例的电子装置101可至少基于接收到的计划(例如，动作顺序)执行第二应用135_2，并且可输出通过使用第二应用135_2执行任务(例如，功能)的结果。根据实施例，电子装置101可在显示器(例如，图1中的显示装置160)上显示执行与第二用户话语相应的任务(例如，功能)的结果，或者可通过扬声器(例如，图2A中的171)输出语音消息。例如，如在图5中的屏幕540上，电子装置101可以以语音类型、图形类型或文本类型输出消息的内容，诸如“发件人是Jane，明天9点的约会是……”。
图11示出用于描述根据实施例的具有嵌入式人工智能(AI)平台的电子装置的操作的流程图。
在操作1110，根据实施例的电子装置(例如，图2A中的电子装置101)可在显示第一应用(例如，图2A中的第一应用135_1)的执行屏幕时接收与第二应用(例如，图2A中的第二应用135_2)相关的指定事件。例如，可在电子装置101显示音乐应用执行屏幕时发生消息接收事件。
在操作1120，根据实施例的电子装置101可响应于指定事件执行AI应用(例如，图7中的智能应用752)。根据实施例，电子装置101可基于事件的发生执行多个智能应用(例如，BIXBYTM应用、GOOGLE ASSISTANTTM应用)中被指定为默认应用的智能应用752(例如，BIXBYTM应用)。
在操作1130，根据实施例的电子装置101可基于执行的智能应用752来对与指定事件相关的数据进行预分析。根据实施例，电子装置101的事件管理器137可基于与当前被执行的应用(例如，图7中的地图应用751)相应的配置值忽略指定事件，或者可将与指定事件相关的信息(或数据)发送到嵌入在电子装置101中的事件主动模块(例如，图8中的840)。根据实施例，嵌入在电子装置101中的事件主动模块840可对与接收到的事件相关的信息进行预分析，并且可确定用于处理在事件发生之后由电子装置101接收到的用户话语的应用(或域)。
在操作1140，根据实施例的电子装置101可在指定时间段内感测与指定事件相关的用户话语，并且如果感测到用户话语，则可基于预分析的结果来确定用于执行与用户话语相关的任务(例如，功能)的计划(例如，动作顺序)。根据实施例，电子装置101可执行智能应用752，并且可将占用电子装置101的麦克风(例如，图7中的173)的权限分配给智能应用752。根据实施例，电子装置101可使获取了占用麦克风(例如，图7中的173)的权限的智能应用752接收用户话语并且将接收到的用户话语传递到嵌入在电子装置101中的AI平台(例如，图8中的810)。根据实施例，AI平台810可确定用于执行与第二用户话语相应的任务(例如，功能)的计划(例如，动作顺序)。
在操作1150和操作1160，根据实施例的电子装置101可至少基于所确定的计划(例如，动作顺序)执行第二应用135_2，并且可输出通过使用第二应用135_2执行任务(例如，功能)的结果。
图12示出用于描述根据实施例的电子装置在没有执行智能应用时处理接收到的事件的操作的流程图。
在操作1210和操作1220，根据实施例的电子装置101可在没有执行AI服务(例如，图7中的智能应用752)(例如，BIXBYTM应用)时接收指定事件。例如，消息接收事件可在电子装置101不执行智能应用752时发生。
在操作1230，根据实施例的电子装置101可响应于指定事件执行AI服务(例如，智能应用752)，并且可将与指定事件相关的信息传递到AI服务(例如，智能应用752)。
在操作1240，根据实施例的电子装置101使AI服务(例如，智能应用752)识别关于当前应用的状态配置值。根据实施例，电子装置101可识别用户的配置状态而不是当前应用的状态配置值。例如，电子装置101的AI服务(例如，智能应用752)可识别用户可预先配置的用户状态，诸如“请勿打扰”、驾驶或听音乐。
在操作1250，根据实施例的电子装置101可基于与当前被执行的应用(例如，地图应用751)相应的配置值来确定是否执行与指定事件相关的AI服务。根据实施例，电子装置101可识别用户的配置状态而不是当前应用的状态配置值。例如，AI服务(例如，智能应用752)可识别用户可预先配置的用户状态，诸如“请勿打扰”、驾驶或听音乐，并且可基于用户状态确定是否执行与指定事件相关的AI动作。
在操作1260，如果确定执行与指定事件相关的AI服务(例如，操作1250的结果为“是”)，则根据实施例的电子装置101可在指定时间段内接收用户话语。例如，电子装置101可在指定时间段(例如，十秒)内感测与指定事件相关的用户话语。如果确定不执行与指定事件相关的AI服务(例如，操作1250的结果为“否”)，则根据实施例的电子装置101可进行到操作1210。
图13示出用于描述根据实施例的电子装置101在智能应用752被执行时处理接收到的事件的操作的流程图。
在操作1310，根据实施例的电子装置(例如，图2A中的电子装置101)可响应于接收到唤醒话语(例如，Hi Bixby！！)或者接收到通过按压物理按钮做出的输入而执行智能应用(例如，图7中的752)，并且可在执行智能应用752之后通过激活语音识别功能来接收第一用户话语。
在操作1320，根据实施例的电子装置101可从智能服务器(例如，图2A中的智能服务器201)接收用于执行与第一用户话语相关的任务(例如，功能)的计划(例如，动作顺序)，并且可至少基于接收到的计划(例如，动作顺序)来执行第一应用(例如，图2A中的135_1)(例如，音乐应用)。根据实施例，电子装置101可至少基于接收到的计划(例如，动作顺序)输出通过使用第一应用135_1执行任务(例如，功能)的结果。
在操作1330和操作1340，根据实施例的电子装置101可在显示第一应用135_1的执行屏幕时接收与第二应用(例如，图2A中的135_2)(例如，消息应用)相关的指定事件，并且接收到的事件可与作为根服务的智能应用752共享(接收到的事件可被传递到智能应用752)。根据实施例，智能应用752可将事件相关信息发送到事件管理器(例如，图7中的137)。根据实施例的事件管理器137可识别关于当前被执行的应用(例如，第一应用135_1)的配置值，并且可基于配置值确定是否执行与指定事件相关的后续动作。根据实施例，事件管理器137可基于关于当前被执行的应用(例如，第一应用135_1)的用户配置值，将与事件相关的信息传递到嵌入在电子装置101中的事件主动模块(例如，图8中的840)。
在操作1350，根据实施例的电子装置101可在指定时间段内接收第二用户话语。例如，电子装置101可在消息接收事件发生之后的指定时间段内(例如十秒)内感测用户话语。根据实施例，如果在接收到指定事件之后的指定时间段内没有感测到用户话语，则电子装置101可保持在接收到事件之前的应用执行屏幕。根据实施例，作为指定时间段内的十秒仅是示例，并且可进行各种修改或配置。根据实施例，电子装置101可将通过麦克风173获取的用户的话语信息传递到智能服务器201。根据实施例，电子装置101可将通过麦克风173获取的用户的话语信息传递到嵌入在电子装置101中的AI平台(例如，图8中的810)。
在操作1360，根据实施例的电子装置101(或智能服务器)可确认第二用户话语是否与指定事件相关。
在操作1370，当电子装置101(或智能服务器201)确定第二用户话语与指定事件相关时(例如，操作1360的结果为“是”)，根据实施例的电子装置101可确定用于执行与第二用户话语相应的任务(例如，功能)的计划(例如，动作顺序)，可基于所确定的计划(例如，动作顺序)执行第二应用135_2，并且可输出通过使用第二应用135_2执行任务(例如，功能)的结果。
根据实施例，当电子装置101(或智能服务器201)确定第二用户话语与指定事件不相关时(例如，操作1360的结果为“否”)，电子装置101可进行到操作1320并且显示第一应用135_1的执行屏幕。
图14示出用于描述根据实施例的电子装置基于用于选择应用的用户界面执行语音识别功能的操作的流程图。
根据实施例，图14中示出的操作1410至操作1440可与图13中示出的操作1310至操作1340相同或相似。因此，这里将省略与图13中示出的操作1310至操作1340的描述重复的图14中示出的操作1410至操作1440的描述。
在操作1450，根据实施例的电子装置101可显示用于选择应用的用户界面(例如，图6中的631)。例如，如在图6中的屏幕630上，电子装置101可响应于接收到指定事件而显示用于将当前被执行的应用(例如，第一应用135_1或当前域)替换为与指定事件相关的另一应用(例如，第二应用135_2或另一域)的用户界面631。
在操作1460，根据实施例的电子装置101可确认用户是否选择第二应用135_2。
在操作1470，如果接收到选择第二应用135_2的用户输入(例如，操作1460的结果为“是”)，则根据实施例的电子装置101可在指定时间段内感测第二用户话语。例如，在图6中的屏幕630上，如果电子装置101通过用户界面631接收到选择对另一应用(例如，第二应用135_2或另一域)的改变的用户输入，则电子装置101可在指定时间段内感测第二用户话语。
如果没有接收到选择第二应用135_2的用户输入(例如，操作1460的结果是“否”)，则根据实施例的电子装置101可进行到操作1420并且显示第一应用135_1的执行屏幕。
在操作1480，根据实施例的电子装置101可确定用于执行与第二用户话语相应的任务(例如，功能)的计划(例如，动作顺序)，可基于所确定的计划(例如，动作顺序)执行第二应用135_2，并且可输出通过使用第二应用135_2执行任务(例如，功能)的结果。根据实施例，电子装置101可从智能服务器201接收用于执行与第二用户话语相应的任务(例如，功能)的计划(例如，动作顺序)，可基于接收到的计划(例如，动作顺序)执行第二应用135_2，并且可输出通过使用第二应用135_2执行任务(例如，功能)的结果。
图15示出由根据实施例的电子装置使用的用于将特定智能应用配置为默认AI服务的示例性用户界面。
参照图15，根据实施例的电子装置101可存储多个智能应用(例如，BIXBYTM或GOOGLE ASSISTANTTM)，并且可将一个智能应用(例如，图7中的BIXBYTM应用752)配置为默认应用。根据实施例，电子装置101可提供用于将特定智能应用752配置为默认应用的配置屏幕1510。例如，当如图15所示初始执行智能应用752时，电子装置101可显示用于将相应智能应用(诸如BIXBYTM应用752)配置为默认应用的用户界面1511。
根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例，电子装置不限于以上所述的那些电子装置。
应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可用来指代相似或相关的元件。将理解的是，与术语相应的单数形式的名词可包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
如这里所使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(ASIC)的形式来实现模块。
可将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子装置101)读取的一个或更多个指令的软件(例如，程序140)。例如，在处理器的控制下，所述机器(例如，电子装置101)的处理器(例如，处理器120)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施例，可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可经由应用商店(例如，Play StoreTM)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个用户装置(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品中的至少部分可以是临时产生的，或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施例，上述部件中的每个部件(例如，模块或程序)可包括单个实体或多个实体。根据各种实施例，可省略上述部件中的一个或更多个部件，或者可添加一个或更多个其它部件。可选择地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各种实施例，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例，由模块、程序或另一部件执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略，或者可添加一个或更多个其它操作。

Claims (20)

1.一种电子装置，包括：
通信电路；
显示器；
麦克风；
存储器；以及
处理器，可操作地连接到通信电路、显示器、麦克风和存储器；
其中，处理器被配置为：
当第一应用的执行屏幕被显示在显示器上时，接收与第二应用相关的指定事件；
响应于所述指定事件，执行人工智能应用；
基于执行的人工智能应用，通过通信电路将与所述指定事件相关的数据发送到外部服务器；
在指定时间段内通过麦克风感测与所述指定事件相关的用户话语；
在感测到用户话语的情况下，通过通信电路将用户话语发送到外部服务器；
通过通信电路从外部服务器接收用于执行与用户话语相关的功能的动作顺序；
至少基于接收到的动作顺序来执行第二应用；以及
输出通过使用第二应用执行所述功能的结果。
2.根据权利要求1所述的电子装置，其中，处理器还被配置为：
在响应于所述指定事件执行人工智能应用的情况下，激活麦克风；以及
将通过激活的麦克风获取的用户话语传递给人工智能应用。
3.根据权利要求1所述的电子装置，其中，与所述指定事件相关的数据包括第二应用的标识信息、所述指定事件发生的时间或所述指定事件的类型中的至少一个。
4.根据权利要求1所述的电子装置，其中，处理器还被配置为：
响应于接收到所述指定事件，在显示器上显示选择应用的用户界面；以及
在通过所述用户界面接收到选择第二应用的用户输入的情况下，开始在所述指定时间段内感测用户话语。
5.根据权利要求1所述的电子装置，其中，处理器还被配置为：
以语音类型、图形类型或文本类型输出通过使用第二应用执行所述功能的结果。
6.根据权利要求1所述的电子装置，其中，处理器还被配置为：
响应于在显示器被去激活时接收到与第二应用相关的所述指定事件，执行人工智能应用；
基于执行的人工智能应用，通过通信电路将与所述指定事件相关的数据发送到外部服务器；
在所述指定时间段内通过麦克风感测与所述指定事件相关的用户话语；
在感测到用户话语的情况下，通过通信电路将用户话语发送到外部服务器；
通过通信电路从外部服务器接收用于执行与用户话语相关的所述功能的动作顺序；
至少基于接收到的动作顺序来执行第二应用；以及
输出通过使用第二应用执行所述功能的结果。
7.根据权利要求1所述的电子装置，其中，处理器还被配置为：
在第一应用的执行屏幕被显示在显示器上时接收到所述指定事件的情况下，识别关于第一应用的用户配置；以及
基于所述用户配置确定是否执行人工智能应用。
8.一种电子装置，包括：
通信电路；
显示器；
麦克风；
存储器；以及
处理器，可操作地连接到通信电路、显示器、麦克风和存储器，其中，处理器被配置为：
当第一应用的执行屏幕被显示在显示器上时，接收与第二应用相关的指定事件；
响应于所述指定事件，执行人工智能应用；
基于执行的人工智能应用，对与所述指定事件相关的数据进行预分析；
在指定时间段内通过麦克风感测与所述指定事件相关的用户话语；
在感测到用户话语的情况下，基于对所述数据进行预分析的结果来确定用于执行与用户话语相关的功能的动作顺序；
至少基于确定的动作顺序来执行第二应用；以及
输出通过使用第二应用执行所述功能的结果。
9.根据权利要求8所述的电子装置，其中，处理器还被配置为：
在响应于所述指定事件执行人工智能应用的情况下激活麦克风；以及
将通过激活的麦克风获取的用户话语传递给人工智能应用。
10.根据权利要求8所述的电子装置，其中，与所述指定事件相关的数据包括第二应用的标识信息、所述指定事件发生的时间或所述指定事件的类型中的至少一个。
11.根据权利要求8所述的电子装置，其中，处理器还被配置为：
响应于接收到所述指定事件，在显示器上显示选择应用的用户界面；以及
在通过所述用户界面接收到选择第二应用的用户输入的情况下，开始在所述指定时间段内感测用户话语。
12.根据权利要求8所述的电子装置，其中，处理器还被配置为：
响应于在显示器被去激活时接收到与第二应用相关的所述指定事件，执行人工智能应用；
基于执行的人工智能应用，对与所述指定事件相关的数据进行预分析；
在所述指定时间段内通过麦克风感测与所述指定事件相关的用户话语；
在感测到用户话语的情况下，基于对所述数据进行预分析的结果来确定用于执行与用户话语相关的所述功能的动作顺序；
至少基于确定的动作顺序来执行第二应用；以及
输出通过使用第二应用执行所述功能的结果。
13.根据权利要求8所述的电子装置，其中，处理器还被配置为：
在第一应用的执行屏幕被显示在显示器上时接收到所述指定事件的情况下，识别关于第一应用的用户配置；以及
基于所述用户配置确定是否执行人工智能应用。
14.一种用于由电子装置使用语音识别功能执行动作的方法，所述方法包括：
当第一应用的执行屏幕被显示在显示器上时，接收与第二应用相关的指定事件；
响应于所述指定事件，执行人工智能应用；
基于执行的人工智能应用，通过通信电路将与所述指定事件相关的数据发送到外部服务器；
在指定时间段内通过麦克风感测与所述指定事件相关的用户话语；
在感测到用户话语的情况下，通过通信电路将用户话语发送到外部服务器；
通过通信电路从外部服务器接收用于执行与用户话语相关的功能的动作顺序；
至少基于接收到的动作顺序来执行第二应用；以及
输出通过使用第二应用执行所述功能的结果。
15.根据权利要求14所述的方法，还包括：
在响应于指定事件执行人工智能应用的情况下，激活麦克风；以及
将通过激活的麦克风获取的信息传递给人工智能应用。
16.根据权利要求14所述的方法，还包括：
响应于接收到所述指定事件，在显示器上显示选择应用的用户界面；以及
在通过所述用户界面接收到选择第二应用的用户输入的情况下，开始在所述指定时间段内感测用户话语。
17.根据权利要求14所述的方法，还包括：
响应于在显示器被去激活时接收到与第二应用相关的所述指定事件，执行人工智能应用；
基于执行的人工智能应用，通过通信电路将与所述指定事件相关的数据发送到外部服务器；
在所述指定时间段内通过麦克风感测与所述指定事件相关的用户话语；
在感测到用户话语的情况下，通过通信电路将用户话语发送到外部服务器；
通过通信电路从外部服务器接收用于执行与用户话语相关的所述功能的动作顺序；
至少基于接收到的动作顺序来执行第二应用；以及
输出通过使用第二应用执行所述功能的结果。
18.一种用于由电子装置使用语音识别功能执行动作的方法，所述方法包括：
当第一应用的执行屏幕被显示在显示器上时，接收与第二应用相关的指定事件；
响应于所述指定事件，执行人工智能应用；
基于执行的人工智能应用，对与所述指定事件相关的数据进行预分析；
在指定时间段内通过麦克风感测与所述指定事件相关的用户话语；
在感测到所述用户话语的情况下，基于对所述数据进行预分析的结果来确定用于执行与用户话语相关的功能的动作顺序；
至少基于确定的动作顺序来执行第二应用；以及
输出通过使用第二应用执行所述功能的结果。
19.根据权利要求18所述的方法，还包括：
在响应于所述指定事件执行人工智能应用的情况下，激活麦克风；以及
将通过激活的麦克风获取的用户话语传递给人工智能应用。
20.根据权利要求18所述的方法，还包括：
响应于接收到所述指定事件，在显示器上显示选择应用的用户界面；以及
在通过所述用户界面接收到选择第二应用的用户输入的情况下，开始在所述指定时间段内感测用户话语。
CN202010817381.8A 2019-09-04 2020-08-14 使用语音识别功能执行动作的电子装置及其方法 Pending CN112542171A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0109371 2019-09-04
KR1020190109371A KR20210028380A (ko) 2019-09-04 2019-09-04 음성 인식 기능을 이용한 동작을 수행하는 전자 장치 및 이를 이용한 동작과 관련된 알림을 제공하는 방법

Publications (1)

Publication Number Publication Date
CN112542171A true CN112542171A (zh) 2021-03-23

Family

ID=72355906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010817381.8A Pending CN112542171A (zh) 2019-09-04 2020-08-14 使用语音识别功能执行动作的电子装置及其方法

Country Status (5)

Country Link
US (3) US11580987B2 (zh)
EP (1) EP3790003A3 (zh)
KR (1) KR20210028380A (zh)
CN (1) CN112542171A (zh)
WO (1) WO2021045406A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11462216B2 (en) * 2019-03-28 2022-10-04 Cerence Operating Company Hybrid arbitration system

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040078440A1 (en) * 2002-05-01 2004-04-22 Tim Potter High availability event topic
KR20130032966A (ko) * 2011-09-26 2013-04-03 엘지전자 주식회사 사용자 인터페이스 방법 및 장치
US9530409B2 (en) * 2013-01-23 2016-12-27 Blackberry Limited Event-triggered hands-free multitasking for media playback
KR20140105340A (ko) 2013-02-22 2014-09-01 삼성전자주식회사 휴대 단말기의 멀티 태스킹 운용 방법 및 장치
KR20150029197A (ko) 2013-09-09 2015-03-18 엘지전자 주식회사 이동 단말기 및 그 동작 방법
US9886953B2 (en) * 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10156978B2 (en) * 2015-03-31 2018-12-18 Lg Electronics Inc. Terminal and operating method thereof
KR20170010494A (ko) * 2015-07-20 2017-02-01 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR20170135623A (ko) * 2016-05-30 2017-12-08 삼성전자주식회사 전자 장치 및 그의 제어 방법
US10228906B2 (en) 2016-05-30 2019-03-12 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof
US9947319B1 (en) 2016-09-27 2018-04-17 Google Llc Forming chatbot output based on user state
KR102011036B1 (ko) 2017-03-23 2019-08-14 네이버랩스 주식회사 알림에 대한 음성 조작 방법 및 시스템
US9865260B1 (en) 2017-05-03 2018-01-09 Google Llc Proactive incorporation of unsolicited content into human-to-computer dialogs
US10313845B2 (en) * 2017-06-06 2019-06-04 Microsoft Technology Licensing, Llc Proactive speech detection and alerting
KR102060775B1 (ko) * 2017-06-27 2019-12-30 삼성전자주식회사 음성 입력에 대응하는 동작을 수행하는 전자 장치
KR102007478B1 (ko) 2017-06-28 2019-08-05 크리스토퍼 재현 윤 특정 조건에서 음성인식을 이용한 어플리케이션 제어 장치 및 방법
KR102389041B1 (ko) * 2017-08-11 2022-04-21 엘지전자 주식회사 이동단말기 및 머신 러닝을 이용한 이동 단말기의 제어방법
KR20190068133A (ko) * 2017-12-08 2019-06-18 삼성전자주식회사 오디오 데이터에 포함된 음소 정보를 이용하여 어플리케이션을 실행하기 위한 전자 장치 및 그의 동작 방법

Also Published As

Publication number Publication date
US11810571B2 (en) 2023-11-07
US11580987B2 (en) 2023-02-14
US20210065714A1 (en) 2021-03-04
US20240071390A1 (en) 2024-02-29
US20230197083A1 (en) 2023-06-22
KR20210028380A (ko) 2021-03-12
WO2021045406A1 (en) 2021-03-11
EP3790003A3 (en) 2021-06-02
EP3790003A2 (en) 2021-03-10

Similar Documents

Publication Publication Date Title
US11393474B2 (en) Electronic device managing plurality of intelligent agents and operation method thereof
US11662976B2 (en) Electronic device and method for sharing voice command thereof
CN112970059B (zh) 用于处理用户话语的电子装置及其控制方法
US11474780B2 (en) Method of providing speech recognition service and electronic device for same
US11216245B2 (en) Electronic device and multitasking supporting method thereof
US20220172722A1 (en) Electronic device for processing user utterance and method for operating same
US20240071390A1 (en) Electronic device configured to perform action using speech recognition function and method for providing notification related to action using same
US11151995B2 (en) Electronic device for mapping an invoke word to a sequence of inputs for generating a personalized command
KR20210116897A (ko) 외부 장치의 음성 기반 제어를 위한 방법 및 그 전자 장치
US11557285B2 (en) Electronic device for providing intelligent assistance service and operating method thereof
US20200258520A1 (en) Speech recognition function-equipped electronic device and operation-related notification method thereof
US20200051555A1 (en) Electronic apparatus for processing user utterance and controlling method thereof
KR20200107058A (ko) 복수 개의 엔드 포인트가 포함된 플랜들을 처리하는 방법 및 그 방법을 적용한 전자 장치
KR20220126544A (ko) 사용자 명령을 처리하는 장치 및 그 동작 방법
US20220413988A1 (en) Electronic device and method for processing user input
US11756575B2 (en) Electronic device and method for speech recognition processing of electronic device
US11948579B2 (en) Electronic device performing operation based on user speech in multi device environment and operating method thereof
US20220415325A1 (en) Electronic device and method for processing user input
KR20210015428A (ko) 사용자 인터페이스를 제공하는 전자 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination