CN110476150B - 用于操作语音辨识服务的方法和支持其的电子装置 - Google Patents

用于操作语音辨识服务的方法和支持其的电子装置 Download PDF

Info

Publication number
CN110476150B
CN110476150B CN201880021912.3A CN201880021912A CN110476150B CN 110476150 B CN110476150 B CN 110476150B CN 201880021912 A CN201880021912 A CN 201880021912A CN 110476150 B CN110476150 B CN 110476150B
Authority
CN
China
Prior art keywords
user
module
parameter
gui
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880021912.3A
Other languages
English (en)
Other versions
CN110476150A (zh
Inventor
尹永旼
吴荣一
姜炫宇
金镇热
金知贤
李多顺
全镛俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110476150A publication Critical patent/CN110476150A/zh
Application granted granted Critical
Publication of CN110476150B publication Critical patent/CN110476150B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种电子装置。电子装置包括处理器和存储器，其中存储器存储指令，指令在执行时使处理器：接收用户输入，该用户输入包括对需要至少一个参数的用于执行第一任务的请求但不包括全部至少一个参数；将与用户输入相关的第一数据发送到外部服务器；从外部服务器接收用于执行第一任务的电子装置的状态的第一序列；执行状态的第一序列中的并非全部而是一些，并同时显示第一序列中改变的状态中的至少一些；并且在执行第一序列中的一些之后，显示GUI，需要该GUI用于执行第一任务且GUI表示请求用户提供用户输入中省略的至少一个参数。

Description

用于操作语音辨识服务的方法和支持其的电子装置
技术领域
本公开涉及语音输入处理技术。
背景技术
近来的电子装置已提出各个方面的输入方案，作为针对与用户交互的一部分。例如，电子装置可操作语音输入方案，通过该语音输入方案，基于执行应用来输入根据用户的话语的语音数据。此外，电子装置可以通过辨识输入语音数据来导出用户的话语意图，并且可以执行对应于导出的话语意图的操作。这可以基于系统来实现。人工智能系统是一种实现人类智能的计算机系统，并且机器在自我训练的同时做出决定，并且机器的辨识速率随着时间的推移而得到提高。人工智能技术包括元素技术(例如，通过确定语言理解技术和用于辨识人类语言/字母的信息，在逻辑上进行推理和预测的推理/预测技术)，其通过利用机器学习(深度学习)技术来模拟人类大脑的功能，例如辨识和确定，这些技术使用自行分类/学习输入数据特征的算法和机器学习算法。
上述信息仅作为背景信息呈现以帮助理解本公开。对于上述任何内容是否可以用于相对于本公开的现有技术，没有做出确定，也没有做出断言。
发明内容
技术问题
本公开的方面旨在至少解决上述问题和/或缺点，并且至少提供下文所描述的优点。因此，本公开的一方面旨在提供一种用于操作语音辨识服务的方法，通过该方法，当用户的话语不足以引起用户的附加输入时，可以通过为用户的话语提供图形用户界面(GUI)来可靠地处理根据用户的话语的语音输入，并且还提供了支持操作语音辨识服务的电子装置。
对应于用户的话语的执行电子装置的操作可以基于一系列序列，所述序列基于用户的话语中包括的信息而创建。因此，当用户的话语不充分或不明确时，不可能获得明确的信息，从而可能以不完整的状态生成序列。因此，电子装置不能完成对应于用户的话语意图的操作的执行，使得用户的语音输入无法得到处理或者处理的可靠性可能降低。
解决方案
根据本公开的方面，提供了一种电子装置。电子装置包括：壳体；显示器，其通过壳体的至少一部分暴露；麦克风；扬声器；通信电路；处理器，其电连接到显示器、麦克风、扬声器和通信电路；以及存储器，其电连接到处理器，其中所述存储器配置成存储至少一个应用程序，以及其中所述处理器在执行所述至少一个应用程序的指令时配置成：接收第一用户输入，所述第一用户输入包括对执行需要用于运行的至少一个参数的第一任务的请求但不包括全部至少一个参数，通过所述通信电路将与所述第一用户输入相关的第一数据发送到外部服务器，通过所述通信电路从所述外部服务器接收用于执行所述第一任务的、所述电子装置的状态的第一序列，由所述电子装置执行所述状态的所述第一序列中的一些状态而并非全部，同时通过所述显示器显示在所述第一序列中改变的状态中的至少一些，以及在执行所述第一序列中的所述一些状态之后，显示图形用户界面(GUI)，所述图形用户界面被需要用于执行所述第一任务并且表示请求用户在所述显示器的一部分中提供所述第一用户输入中所省略的至少一个参数。
根据本公开的另一方面，提供一种支持语音辨识服务的操作的电子装置。电子装置包括：存储器，其被配置成存储至少一个应用；显示器，其被配置成输出应用的执行屏幕；麦克风，其被配置成接收语音信号；通信电路，其被配置成执行与至少一个外部装置的通信；以及处理器，其电连接到存储器、显示器、麦克风和通信电路。处理器被配置成：与执行所述电子装置的任务的请求相关地，接收第一用户输入，所述第一用户输入不包括执行所述任务所需的一条或多条参数信息中的至少一些，并将所述第一用户输入发送到第一外部装置，从所述第一外部装置接收第一序列，所述第一序列包括与执行所述电子装置的任务相关地、基于所述第一用户输入而创建的至少一个单元操作，通过执行包括在所述第一序列中的第一单元操作来输出结果屏幕，在执行第二单元操作的时间点处确定所述第一用户输入中的第一参数信息是否被省略，其中所述第二单元操作是基于在所述第一单元操作之后顺次包括在所述第一序列中但不包括在所述第一用户输入中的所述第一参数信息而执行的，确定所述第一参数信息的属性，以及在所述第一单元操作的所述结果屏幕的区域中显示特定GUI，所述特定GUI对应于所述第一参数信息的属性。
根据本公开的另一方面，提供一种用于操作电子装置的语音辨识服务的方法。方法包括：与执行所述电子装置的任务的命令相关地，接收第一用户输入，所述第一用户输入不包括执行所述任务所需的一条或多条参数信息中的至少一些；将所述第一用户输入发送到第一外部装置；从所述第一外部装置接收第一序列，所述第一序列包括与执行所述电子装置的所述任务相关地、基于所述第一用户输入而创建的至少一个单元操作；在执行第二单元操作的时间点处确定所述第一用户输入中的第一参数信息是否被省略，其中所述第二单元操作是基于在所述第一单元操作之后顺次包括在所述第一序列中但不包括在所述第一用户输入中的所述第一参数信息而执行的；确定所述第一参数信息的属性；以及在所述电子装置的屏幕的区域中显示特定GUI，所述特定GUI对应于所述第一参数信息的属性。
有益效果
根据各种实施方式，当用户的话语不充分时，可以借助于通过GUI引入附加输入来提高根据用户的话语的语音输入的处理效率。
根据各种实施方式，可以通过在与从用户的话语中省略的信息的属性相关的屏幕区域中显示GUI来明确地提供对附加输入的请求。
此外，本公开可以提供直接或间接辨识的各种效果。
从以下结合附图公开了本公开的各种实施方式的详细描述中，本公开的其他方面、优点和显著特征对于本领域技术人员将变得显而易见。
附图说明
从以下结合附图的描述中，本公开的某些实施方式的以上和其他方面、特征和优点将变得更加明显，在附图中：
图1是示出根据本公开的实施方式的集成智能系统的视图；
图2是示出根据本公开的实施方式的集成智能系统的用户终端的视图；
图3是示出根据本公开的实施方式执行用户终端的智能应用的视图；
图4是示出根据本公开的实施方式的集成智能系统的智能服务器的视图；
图5是示出根据本公开的实施方式的由自然语言理解模块创建路径规则的方式的视图；
图6是示出根据本公开的实施方式的建议模块的视图；
图7是示意性地示出根据本公开的实施方式的针对不充分话语的用户终端操作的视图；
图8a是示出根据本公开的实施方式的用户终端的元件与智能服务器以及相关的第一界面和第二界面之间的第一信号流的视图；
图8b是示出根据本公开的实施方式的用户终端的元件与智能服务器以及相关的第三界面之间的第二信号流的视图；
图8c是示出根据本公开的实施方式的用户终端的元件与智能服务器以及相关的第四界面到第六界面之间的第三信号流的视图；
图8d是示出根据本公开的实施方式的用户终端的元件与智能服务器以及相关的第七界面到第九界面之间的第四信号流的视图；
图9a是示出根据本公开的实施方式的第一形式的附加用户输入的视图；
图9b是示出根据本公开的实施方式的第二形式的附加用户输入的视图；
图9c是示出根据本公开的实施方式的第三形式的附加用户输入的视图；
图10a是示出根据本公开的实施方式的操作用户终端的语音辨识服务的示例的视图；
图10b是示出根据本公开的实施方式的操作用户终端的语音辨识服务的方法的视图；以及
图11是示出根据本公开的实施方式的网络环境中的电子装置(或用户终端)的视图。
在所有附图中，应当注意，相同的附图标记用于描述相同或相似的元件、特征和结构。
具体实施方式
参考附图提供以下描述以帮助全面理解由权利要求及其等同限定的本公开的各种实施方式。其包括有助于理解的各种具体细节，但这些仅仅是示例性的。因此，本领域普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对本文中所描述的各种实施方式进行各种改变和修改。此外，为了清楚和简明起见，可以省略对众所周知的功能和结构的描述。
在以下描述和权利要求中使用的术语和词语不限于文献意义，而是仅由发明人使用，以使得能够清楚和一致地理解本公开。因此，对于本领域技术人员显而易见的是，提供本公开的各种实施方式的以下描述仅仅是为了说明的目的，而不是为了限制由所附权利要求和其等同限定的本公开。
应当理解，除非上下文明确地另有说明，否则单数形式“一个(a、an)”和“所述(the)”包括复数指示物。因此，例如，对“部件表面”的提及包括对一个或多个这种表面的提及。
术语“基本上”意指所述特征、参数或值不需要精确地实现，而是偏差或变化，包括例如公差、测量误差、测量精度限制和本领域技术人员已知的其他因素可以以不排除特征旨在提供的效果的量发生。
本文中所使用的术语“包含”、“包括”、“具有”或“可以包含”或“可以包括”和“可以具有”指示所公开的功能、操作或元件的存在，但不排除其他功能、操作或元件。
例如，表达“A或B”或“A和/或B中的至少一个”可以指示A和B、A或B。例如，表达“A或B”或“A和/或B中的至少一个”可以指示(1)至少一个A，(2)至少一个B，或(3)至少一个A和至少一个B两者。
本文中所使用的例如“第一个”、“第二个”、“第一”、“第二”等术语可以指修改本公开的各种实施方式的各种不同元件，但是并不试图限制这些元件。例如，“第一用户装置”和“第二用户装置”可以指示不同的用户，而不管其顺序或重要性。例如，在不脱离本公开的范围的情况下，第一部件可被称为为第二部件，且反之亦然。
在本公开的各种实施方式中，意图当部件(例如，第一部件)被称为“可操作地或通信地与另一部件联接/联接到”或“连接到”另一部件(例如，第二部件)时，该部件可以直接连接到另一部件或通过另一部件(例如，第三部件)连接。在本公开的各种实施方式中，意图当部件(例如，第一部件)被称为“直接连接到”或“直接达到”另一部件(例如，第二部件)时，另一部件(例如，第三部件)并不存在于部件(例如，第一部件)与另一部件(例如，第二部件)之间。
在本公开的各种实施方式中使用的表述“配置成”可以根据情况与例如“适合于”、“具有……能力”、“设计以”、“适于”、“进行”或“能够”可互换地使用。术语“配置成”可能不一定指示在硬件上“专门被设计以……”。相反，表达“配置成……的装置”在某些情况下可以指示装置和另一装置或部分“能够……”。例如，表达“配置成执行A、B和C的处理器”可以指示用于执行对应操作的专用处理器(例如，嵌入式处理器)，或用于通过执行存储于存储器装置中的至少一个软件程序来执行对应操作的通用处理器(例如，中央处理单元(CPU)或应用处理器(AP))。
在本公开的各种实施方式中使用的术语用于描述本公开的某些实施方式，但是不旨在限制其他实施方式的范围。单数形式的术语可以包括复数形式，除非它们在上下文中具有明显不同的含义。否则，本文使用的所有术语可以具有本领域技术人员通常理解的相同含义。通常，词典中定义的术语应被视为具有与相关技术的上下文含义相同的含义，并且除非在本文中明确定义，否则不应被不同地理解或具有过于正式的含义。在任何情况下，即使说明书中定义的术语也不意图被解释为排除本公开的实施方式。
根据本公开的各种实施方式的电子装置可以包括智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式PC、膝上型PC、上网本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、运动图像专家组(MPEG-1或MPEG-2)音频层3(MP3)播放器、移动医疗装置、相机或可穿戴装置中的至少一者。可穿戴装置可以包括附件型装置(例如，手表、戒指、手镯、脚链、项链、眼镜、隐形眼镜或头戴式装置(HMD))、织物或衣服集成装置(例如，电子衣服)、身体附着型装置(例如，护皮垫或纹身)或生物可植入装置(例如可植入电路)中的至少一者。
在本发明的一些各种实施方式中，电子装置可以是家用电器。智能家用电器可以包括例如电视机(TV)、数字视频光盘(DVD)播放器、音频播放器、冰箱、空调、吸尘器、烤箱、微波炉、洗衣机、烘干机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、TV盒(例如，Samsung HomeSync、Apple TV或Google TV)、游戏控制台(Xbox、PlayStation)、电子词典、电子钥匙、摄像机或电子相框中的至少一者。
在本公开的其它各种实施方式中，电子装置可以包括以下各项中的至少一项：医疗装置(例如，各种便携式医疗测量装置(血糖监测装置、心率监测装置、血压测量装置、体温测量装置等)、磁共振血管成像(MRA)、磁共振成像(MRI)、计算机断层扫描(CT)、扫描仪和超声波装置等)、导航装置、全球导航卫星系统(GNSS)、事件数据记录器(EDR)、飞行数据记录器(FDR)、车辆信息娱乐装置、用于船舶的电子装备(例如，导航系统和陀螺罗盘)、航空电子装置、安全装置、汽车车头单元、工业或家庭机器人、自动取款机(ATM)、商店的销售点(POS)装置或物联网(IoT)装置(例如，灯泡、各种传感器、电动或燃气表、喷洒器、火灾报警器、恒温器、路灯、烤面包机、运动装备、热水箱、加热器、锅炉等)。
根据本公开的各种实施方式，电子装置可以包括家具或建筑物/结构的一部分、电子板、电子签名接收装置、投影仪或者测量仪器(例如水表、电表、燃气表和无线电波表)中的至少一者。电子装置可以是上述装置的一种或多种组合。根据本公开的一些各种实施方式的电子装置可以是柔性装置。根据本公开的实施方式的电子装置不限于上述装置，并且可以包括随着新技术的发展而产生的新电子装置。
在下文中，将参考附图详细描述根据本公开的各种实施方式的电子装置。本文中所使用的术语“用户”可以指使用电子装置的人或者可以指使用电子装置的装置(例如，人工智能电子装置)。
在描述本公开的各种实施方式之前，将参考图1至图6描述能够应用本公开的各种实施方式的集成智能系统。
图1是示出根据本公开的实施方式的集成智能系统的视图。
参考图1，集成智能系统10可以包括用户终端100、智能服务器200、个人信息服务器300、建议服务器400和通信网络500。
用户终端100可以通过存储在用户终端100中的应用(或应用程序)(例如，警报应用、消息应用、图片(图库)应用等)提供对用户是必要的服务。例如，用户终端100可以通过存储在用户终端100中的智能应用(或语音辨识应用)来执行和操作其他应用。可以接收用于通过用户终端100的智能应用启动和操作其他应用的用户输入。例如，可以通过物理按钮、触摸板、语音输入、远程输入等来接收用户输入。
根据本公开的实施方式，与互联网连接的各种类型的终端装置(或电子装置)，例如移动电话、智能手机、个人数字助理(PDA)、笔记本计算机等可以是用户终端100。
根据本公开的实施方式，用户终端100可以接收用户话语作为用户输入。用户终端100可以接收用户话语并且可以基于用户话语生成用于操作应用的指令。如此，用户终端100可以通过使用指令来操作应用。
智能服务器200可以通过通信网络从用户终端100接收用户的语音输入，并且可以将语音输入改变为文本数据。在另一实施方式中，智能服务器200可以基于文本数据生成(或选择)路径规则。路径规则可以包括关于用于执行应用的功能的动作(或操作)的信息或关于执行动作所需的参数的信息。此外，路径规则可以包括应用的动作序列(或状态序列)。
用户终端100可以接收路径规则，可以根据路径规则选择应用，并且可以执行在所选择的应用中的路径规则中包括的动作。例如，用户终端100可以执行动作并且可以在显示器中显示对应于执行动作的用户终端100的状态的屏幕。又例如，用户终端100可以执行动作并且可以在显示器中不显示通过执行动作而获得的结果。例如，用户终端100可以执行多个动作，并且可以仅在显示器中显示多个动作的一部分的结果。例如，用户终端100可以仅在显示器中显示通过执行多个动作中的最后一个动作而获得的结果。又例如，用户终端100可以响应于用户输入而在显示器中显示通过执行动作而获得的结果。
个人信息服务器300可以包括存储关于用户或用户终端100的信息的数据库。例如，个人信息服务器300可以从用户终端100接收用户信息(例如，上下文信息、姓名信息、年龄信息、性别信息、地址信息、职业信息、健康信息、财务信息、用户偏好信息等)以将用户信息存储在数据库中。可替换地，个人信息服务器300可以从用户终端100接收用户终端100的使用信息(例如，应用安装信息、应用执行信息、呼叫信息、电池信息、位置信息或通信信息)以将使用信息存储在数据库中。
智能服务器200可以用于通过通信网络从个人信息服务器300接收用户信息或用户终端100的信息，并生成与用户输入相关联的路径规则。
根据本公开的实施方式，用户终端100可以通过通信网络从个人信息服务器300接收用户信息，并且可以使用用户信息作为用于管理数据库的信息。
建议服务器400可以包括存储关于终端中的功能、应用介绍或要提供的功能的信息的数据库。例如，建议服务器400可以包括与用户通过从个人信息服务器300接收用户终端100的用户信息而使用的功能相关联的数据库。用户终端100可以通过通信网络从建议服务器400接收关于要提供的功能的信息，并且可以将接收的信息提供给用户。
图2是示出根据本公开的实施方式的集成智能系统的用户终端的视图。
参考图2，用户终端100可以包括输入模块110、显示器120、扬声器130、存储器140、处理器150或通信电路160。用户终端100的一些元件(例如，110、120、130、140或160)可以电连接到处理器150。用户终端100还可以包括壳体，并且用户终端100的元件可以安置在壳体中或者可以定位在壳体上。在各种实施方式中，用户终端100可以被称为“电子装置(或用户装置)”。此外，用户终端100可以不包括上述元件中的至少一个，或者还可以包括任何其他元件。例如，用户终端100可以包括图11中所示出的电子装置1101的元件。
根据本公开的实施方式，输入模块110可以从用户接收用户输入。例如，输入模块110可以从连接的外部装置(例如，键盘或耳机)接收用户输入。又例如，输入模块110可以包括联接到显示器120的触摸屏(例如，触摸屏显示器)。又例如，输入模块110可以包括放置在用户终端100(或用户终端100的壳体)中的硬件键(或物理键)。根据实施方式，输入模块110可以包括麦克风111，其能够接收用户的语音作为语音信号。例如，输入模块110可以包括语音输入系统，并且可以通过语音输入系统接收用户的语音作为语音信号。
根据本公开的实施方式，显示器120可以显示应用的图像、视频和/或执行屏幕。例如，显示器120可以显示应用的图形用户界面(GUI)。在实施方式中，显示器120的至少部分可以通过壳体的一个区域暴露。
根据本公开的实施方式，扬声器130可以输出声音信号。例如，扬声器130可以将在用户终端100中生成的声音信号或从外部装置接收的声音信号输出到外部。
根据本公开的实施方式，存储器140可以存储多个应用141和143。可以根据用户输入来选择、启动和执行存储在存储器140中的多个应用141和143。多个应用141和143可以包括支持用户终端100的功能执行的应用(例如，照片应用、音乐应用、日历应用、消息应用、呼叫应用等)和支持语音辨识服务操作的智能应用。
根据本公开的实施方式，存储器140可以包括能够存储辨识用户输入所必需的信息的数据库。例如，存储器140可以包括能够存储日志信息的日志数据库。又例如，存储器140可以包括能够存储用户信息的角色数据库。
根据本公开的实施方式，存储器140可以存储多个应用141和143，并且可以加载多个应用141和143以进行操作。例如，存储在存储器140中的多个应用141和143可以由处理器150的执行管理器模块153加载以进行操作。多个应用141和143可以分别包括执行功能的执行服务141a和143a或者多个动作(或单元动作)141b和143b。执行服务141a和143a可以由处理器150的执行管理器模块153生成，且接着可以执行多个动作141b和143b。
根据本公开的实施方式，当执行应用141的动作141b和应用143的动作143b时，可以在显示器120中显示根据动作141b和143b的执行的执行状态屏幕。例如，执行状态屏幕可以是其中动作141b和143b已完成的状态的屏幕。又例如，执行状态屏幕可以是动作141b和143b的执行处于部分着陆的状态的屏幕(例如，在未输入动作141b和143b所需的参数的情况下)。
根据本公开的实施方式，执行服务141a和143a可以根据路径规则来执行动作141b和143b。例如，执行服务141a和143a可以由执行管理器模块153激活，可以根据路径规则从执行管理器模块153接收执行请求，并且可以根据执行请求来执行应用141和143的动作141b和143b。如果动作141b和143b的执行完成，那么执行服务141a和143a可以将完成信息发送到执行管理器模块153。
根据本公开的实施方式，当在应用141和143中分别执行多个动作141b和143b的情况下，可以依序执行多个动作141b和143b。如果完成了一个动作(动作1)的执行，那么执行服务141a和143a可以打开下一个动作(动作2)并且可以将完成信息发送到执行管理器模块153。此处，应理解，打开任意动作是将任意动作的状态改变为可执行状态或准备执行任意动作。换句话说，如果未打开任意动作，那么可以不执行相应的动作。如果接收到完成信息，那么执行管理器模块153可以将对随后动作141b和143b的执行请求发送到执行服务(例如，动作2)。根据本公开的实施方式，在执行多个应用141和143的情况下，可以依序执行多个应用141和143。例如，如果在执行第一应用141的最后一个动作之后接收完成信息，那么执行管理器模块153可以将第二应用143的第一动作的执行请求发送到执行服务143a。
根据本公开的实施方式，当在应用141和143中执行多个动作141b和143b的情况下，可以在显示器120中显示根据所执行的多个动作141b和143b中的每一个的执行的结果屏幕。根据实施方式，可以在显示器120中显示根据所执行的多个动作141b和143b的多个结果屏幕中的仅一部分。
根据本公开的实施方式，存储器140可以存储结合智能代理151操作的智能应用(例如，语音辨识应用)。结合智能代理151操作的应用可以接收并处理用户的话语作为语音信号。根据实施方式，结合智能代理151操作的应用可以由通过输入模块110输入的特定输入(例如，通过硬件键的输入，通过触摸屏的输入或特定语音的输入)来操作。
根据本公开的实施方式，处理器150可以控制用户终端100的整体动作。例如，处理器150可以控制输入模块110以接收用户输入。处理器150可以控制显示器120以显示图像。处理器150可以控制扬声器130以输出语音信号。处理器150可以控制存储器140以读取或存储所需信息。
根据本公开的实施方式，处理器150可以包括智能代理151、执行管理器模块153或智能服务模块155。在一个实施方式中，处理器150可以通过执行存储在存储器140中的指令来驱动智能代理151、执行管理器模块153或智能服务模块155。在本公开的各种实施方式中描述的模块可以由硬件或由软件来实施。在本公开的各种实施方式中，应理解，由智能代理151、执行管理器模块153或智能服务模块155执行的动作是由处理器150执行的动作。
根据本公开的实施方式，智能代理151可以基于接收为用户输入的语音信号生成用于操作应用的指令。根据实施方式，执行管理器模块153可以从智能代理151接收所生成的指令，并且可以选择、启动和操作存储在存储器140中的应用141和143。根据实施方式，智能服务模块155可以管理用户的信息，并且可以使用用户的信息来处理用户输入。
智能代理151可以将通过输入模块110接收的用户输入发送和处理到智能服务器200。根据实施方式，在将用户输入发送到智能服务器200之前，智能代理151可以预处理用户输入。根据实施方式，为了预处理用户输入，智能代理151可以包括自适应回声消除器(AEC)模块、噪声抑制(NS)模块、结束点检测(EPD)模块或自动增益控制(AGC)模块。AEC可以移除用户输入中包括的回声。NS模块可以抑制用户输入中包括的背景噪声。EPD模块可以检测用户输入中包括的用户语音的结束点，以搜索存在用户语音的部分。AGC模块可以调整用户输入的音量，以便适合于辨识和处理用户输入。根据实施方式，智能代理151可以包括用于执行的所有预处理元件。然而，在另一实施方式中，智能代理151可以包括预处理元件的一部分以在低功率下操作。
根据本公开的实施方式，智能代理151可以包括辨识用户的呼叫的唤醒辨识模块。唤醒辨识模块可以通过语音辨识模块辨识用户的唤醒指令。在唤醒辨识模块接收到唤醒指令的情况下，唤醒辨识模块可以激活智能代理151以接收用户输入。根据实施方式，智能代理151的唤醒辨识模块可以用低功率处理器(例如，包括在音频编解码器中的处理器)来实施。根据实施方式，可以根据通过硬件键输入的用户输入来激活智能代理151。在激活智能代理151的情况下，可以执行结合智能代理151操作的智能应用(例如，语音辨识应用)。根据本公开的实施方式，智能代理151可以包括用于执行用户输入的语音辨识模块。语音辨识模块可以辨识用于执行应用中动作的用户输入。例如，语音辨识模块可以辨识用于执行例如应用141和143中的唤醒指令等动作的受限用户(语音)输入(例如，用于在执行相机应用时执行捕获动作的例如“点击”等话语)。例如，用于在辅助智能服务器200时辨识用户输入的语音辨识模块可以辨识并快速处理能够在用户终端100中处理的用户指令。根据实施方式，用于执行智能代理151的用户输入的语音辨识模块可以在应用处理器中实施。
根据本公开的实施方式，智能代理151的语音辨识模块(包括唤醒模块的语音辨识模块)可以通过使用用于辨识语音的算法来识别用户输入。例如，用于识别语音的算法可以是隐马尔可夫模型(HMM)算法、人工神经网络(ANN)算法或动态时间规整(DTW)算法中的至少一种。
根据本公开的实施方式，智能代理151可以将用户的语音输入改变为文本数据。根据实施方式，智能代理151可以将用户的语音发送到智能服务器200以接收改变的文本数据。如此，智能代理151可以在显示器120中显示文本数据。
根据本公开的实施方式，智能代理151可以从智能服务器200接收路径规则。根据实施方式，智能代理151可以将路径规则发送到执行管理器模块153。
根据本公开的实施方式，智能代理151可以根据从智能服务器200接收的路径规则将执行结果日志发送到智能服务模块155，并且可以在角色模块155b的用户的偏好信息中累计和管理发送的执行结果日志。
根据本公开的实施方式，执行管理器模块153可以从智能代理151接收路径规则以执行应用141和143，并且可以允许应用141和143执行包括在路径规则中的动作141b和143b。例如，执行管理器模块153可以将用于执行动作141b和143b的指令信息发送到应用141和143，并且可以从应用141和143接收动作141b和143b的完成信息。
根据本公开的实施方式，执行管理器模块153可以在智能代理151与应用141和143之间发送或接收用于执行应用141和143的动作141b和143b的指令信息。执行管理器模块153可以根据路径规则绑定待执行的应用141和143，并且可以将包括在路径规则中的动作141b和143b的指令信息发送到应用141和143。例如，执行管理器模块153可以依次将包括在路径规则中的动作141b和143b发送到应用141和143，并且可以根据路径规则依次执行应用141和143的动作141b和143b。
根据本公开的实施方式，执行管理器模块153可以管理应用141和143的动作141b和143b的执行状态。例如，执行管理器模块153可以从应用141和143接收关于动作141b和143b的执行状态的信息。例如，在动作141b和143b的执行状态处于部分着陆的情况下(例如，在未输入动作141b和143b所需的参数的情况下)，执行管理器模块153可以将关于部分着陆的信息发送到智能代理151。智能代理151可以通过使用所接收的信息向用户请求输入所需信息(例如，参数信息)。再例如，在动作141b和143b的执行状态处于操作状态的情况下，可以从用户接收话语，并且执行管理器模块153可以将关于正在执行的应用141和143以及应用141和143的执行状态的信息发送到智能代理151。智能代理151可以通过智能服务器200接收用户的话语的参数信息，并且可以将接收的参数信息发送到执行管理器模块153。执行管理器模块153可以通过使用接收的参数信息将动作141b和143b中的每一个的参数改变为新参数。
根据本公开的实施方式，执行管理器模块153可以将包括在路径规则中的参数信息发送到应用141和143。在根据路径规则依次执行多个应用141和143的情况下，执行管理器模块153可以将包括在路径规则中的参数信息从一个应用发送到另一应用。
根据本公开的实施方式，执行管理器模块153可以接收多个路径规则。执行管理器模块153可以基于用户的话语选择多个路径规则。例如，在用户话语指定执行动作141b的一部分的应用141但未指定执行任何其他动作143b的应用143的情况下，执行管理器模块153可以接收多个不同的路径规则，其中执行用于执行动作141b的一部分的相同应用141(例如，图库应用)，以及其中执行用于执行其他动作143b的不同应用143(例如，消息应用或电报应用)。例如，执行管理器模块153可以执行多个路径规则的相同动作141b和143b(例如，相同的连续动作141b和143b)。在执行管理器模块153执行相同动作的情况下，执行管理器模块153可以在显示器120中显示用于选择包括在多个路径规则中的不同应用141和143的状态屏幕。
根据本公开的实施方式，智能服务模块155可以包括上下文模块155a、角色模块155b或建议模块155c。
上下文模块155a可以从应用141和143收集应用141和143的当前状态。例如，上下文模块155a可以接收指示应用141和143的当前状态的上下文信息，以收集应用141和143的当前状态。
角色模块155b可以利用用户终端100管理用户的个人信息。例如，角色模块155b可以收集用户终端100的使用信息和执行结果，以管理用户的个人信息。
建议模块155c可以预测用户意图以向用户推荐指令。例如，建议模块155c可以考虑用户的当前状态(例如，时间、地点、上下文或应用)向用户推荐指令。
根据实施方式的通信电路160(或通信模块)可以根据所定义的协议与集成智能系统10的至少一个外部装置(例如，智能服务器200、个人信息服务器300或服务器400)建立有线通信或无线通信。通信电路160可以基于有线通信或无线通信发送或接收与语音辨识服务的操作相关联的至少一个信息。
图3是示出根据本公开的实施方式执行用户终端的智能应用的视图。
图3示出用户终端100接收用户输入以执行结合智能代理151操作的智能应用(例如，语音辨识应用)。
根据本公开的实施方式，用户终端100可以执行用于通过硬件键112辨识语音的智能应用。例如，在用户终端100通过硬件键112接收用户输入的情况下，用户终端100可以在显示器120中显示智能应用的UI 121。例如，用户可以触摸智能应用的UI 121的语音辨识按钮121a，以便在智能应用的UI 121显示在显示器120中的状态下输入语音111b。又例如，在连续按下硬件键112以输入语音111b时，用户可以输入语音111b。
根据本公开的实施方式，用户终端100可以执行用于通过麦克风111辨识语音的智能应用。例如，在通过麦克风111输入指定语音111a(例如，唤醒！)的情况下，用户终端100可以在显示器120中显示智能应用的UI 121。
图4是示出根据本公开的实施方式的集成智能系统的智能服务器的视图。
参考图4，智能服务器200可以包括自动语音辨识(ASR)模块210、自然语言理解(NLU)模块220、路径规划器模块230、对话管理器(DM)模块240、自然语言生成器(NLG)模块250或文本到语音(TTS)模块260。上述智能服务器200的元件210、220、230、240、250或260可以单独地实施，或者可以集成这些元件中的至少一些。在实施方式中，智能服务器200可以包括控制器(或处理器)，其通常控制元件210、220、230、240、250或260的功能操作，还可包括支持通信网络访问的通信界面(或通信模块)。此外，智能服务器200可以包括存储装置(或存储器)，所述存储装置包括元件210、220、230、240、250或260。
智能服务器200的NLU模块220或路径规划器模块230可以生成路径规则。
根据本公开的实施方式，ASR模块210可以将从用户终端100接收的用户输入转换为文本数据。例如，ASR模块210可以包括语音辨识模块。语音辨识模块可以包括声学模型和语言模型。例如，声学模型可以包括与语音相关联的信息，并且语言模型可以包括单位音素信息和关于单位音素信息的组合的信息。语音辨识模块可以通过使用与语音和单位音素信息相关联的信息将用户语音改变为文本数据。例如，关于声学模型和语言模型的信息可以存储在自动语音辨识数据库(ASR DB)211中。在一个实施方式中，ASR模块210可以基于首先接收的用户输入生成与说话者相关的辨识模型，并且可以将所生成的模型存储在数据库ASR DB 211中。
根据本公开的实施方式，NLU模块220可以通过执行句法分析或语义分析来掌握用户意图。句法分析可以将用户输入划分为句法单元(例如，单词、短语、语素等)并确定划分的单元具有哪些句法元素。可以通过使用语义匹配、规则匹配、公式匹配等来执行语义分析。如此，NLU模块220可以获得用户输入以表达意图所需的域、意图或参数(或时隙)。
根据本公开的实施方式，NLU模块220可以通过使用匹配规则来确定用户的意图和参数，所述匹配规则被划分为掌握意图所需的域、意图和参数(或时隙)。例如，一个域(例如，警报)可以包括多个意图(例如，警报设置、警报取消等)，并且一个意图可以包括多个参数(例如，时间、迭代次、警报声等)。例如，多个规则可以包括一个或多个所需参数。匹配规则可以存储在自然语言理解数据库(NLU DB)221中。
根据本公开的实施方式，NLU模块220可以通过使用例如语素、短语等的语言特征(例如，语法元素)来掌握从用户输入提取的单词的含义，并且可以将所掌握单词的含义与域和意图匹配以确定用户意图。例如，NLU模块220可以计算从用户输入中提取的多少单词包括在域和意图中的每一个中，以便确定用户意图。根据实施方式，NLU模块220可以通过使用作为掌握意图基础的单词来确定用户输入的参数。根据实施方式，NLU模块220可以通过使用存储用于掌握用户输入的意图的语言特征的NLU DB 221来确定用户意图。根据另一实施方式，NLU模块220可通过使用个人语言模型(PLM)来确定用户意图。例如，NLU模块220可以通过使用个性化信息(例如，联系人列表或音乐列表)来确定用户意图。例如，PLM可以存储在NLU DB 221中。根据实施方式，ASR模块210以及NLU模块220可以参考存储在NLU DB221中的PLM来辨识用户的语音。
根据本公开的实施方式，NLU模块220可以基于用户输入的意图和参数来生成路径规则。例如，NLU模块220可以基于用户输入的意图选择待执行的应用，并且可以在所选择的应用中确定待执行的动作。NLU模块220可以确定对应于所确定的动作的参数以生成路径规则。根据实施方式，由NLU模块220生成的路径规则可以包括关于待执行的应用、在应用中待执行的动作以及执行动作所需的参数的信息。
根据本公开的实施方式，NLU模块220可以基于用户输入的意图和参数生成一个路径规则或多个路径规则。例如，NLU模块220可以从路径规划器模块230接收对应于用户终端100的路径规则集，并且可以将用户输入的意图和参数映射到接收的路径规则集，以便确定路径规则。
根据本公开的另一实施方式，NLU模块220可以基于用户输入的意图和参数用于输入的来确定待执行的应用、在应用中待执行的动作以及执行动作所需的参数，以便生成一个路径规则或多个路径规则。例如，NLU模块220可以根据表现为本体或图形模型形式的用户输入的意图，通过使用用户终端100的信息来布置待执行的应用和在应用中待执行的动作，以便生成路径规则。例如，生成的路径规则可以通过路径规划器模块230存储在路径规则数据库(PR DB)231中。生成的路径规则可以添加到PR DB 231的路径规则集。
根据本公开的实施方式，NLU模块220可以选择所生成的多个路径规则中的至少一个路径规则。例如，NLU模块220可以选择多个路径规则的最优路径规则。又例如，在基于用户话语仅指定动作的一部分的情况下，NLU模块220可以选择多个路径规则。NLU模块220可以根据用户的附加输入来确定多个路径规则中的一个路径规则。
根据本公开的实施方式，NLU模块220可以响应于对用户输入的请求而将路径规则发送到用户终端100。例如，NLU模块220可以将对应于用户输入的一个路径规则发送到用户终端100。又例如，NLU模块220可以将对应于用户输入的多个路径规则发送到用户终端100。例如，在基于用户话语仅指定动作的一部分的情况下，可以由NLU模块220生成多个路径规则。
根据本公开的实施方式，路径规划器模块230可以选择多个路径规则中的至少一个路径规则。
根据本公开的实施方式，路径规划器模块230可以将包括多个路径规则的路径规则集发送到NLU模块220。路径规则集的多个路径规则可以以表的形式存储在连接到路径规划器模块230的PR DB 231中。例如，路径规划器模块230可以将对应于从智能代理151接收的、用户终端100的信息(例如，OS信息或应用信息)的路径规则集发送到NLU模块220。例如，可以针对每个域或每个版本的域存储在PR DB 231中所存储的表。
根据本公开的实施方式，路径规划器模块230可以从路径规则集中选择一个路径规则或多个路径规则，以将所选择的一个路径规则或所选择的多个路径规则发送到NLU模块220。例如，路径规划器模块230可以将用户意图和参数与对应于用户终端100的路径规则集匹配，以选择一个路径规则或多个路径规则，并且可以将所选择的一个路径规则或所选择的多个路径规则发送到NLU模块220。
根据本公开的实施方式，路径规划器模块230可以通过使用用户意图和参数来生成一个路径规则或多个路径规则。例如，路径规划器模块230可以基于用户意图和参数来确定待执行的应用和在应用中待执行的动作，以便生成一个路径规则或多个路径规则。根据实施方式，路径规划器模块230可以将所生成的路径规则存储在PR DB 231中。
根据本公开的实施方式，路径规划器模块230可以将由NLU模块220生成的路径规则存储在PR DB 231中。所生成的路径规则可以添加到存储在PR DB 231中的路径规则集。
根据本公开的实施方式，存储在PR DB 231中的表可以包括多个路径规则或多个路径规则集。多个路径规则或多个路径规则集可以反映执行每个路径规则的装置的种类、版本、类型或特性。
根据本公开的实施方式，DM模块240可以确定由NLU模块220所掌握的用户意图是否清楚。例如，DM模块240可以基于参数的信息是否足够来确定用户意图是否清楚。DM模块240可以确定由NLU模块220所掌握的参数是否足以执行任务。根据实施方式，在用户意图不清楚的情况下，DM模块240可以执行反馈以向用户请求必要的信息。例如，DM模块240可以执行反馈以用于请求关于用于掌握用户意图的参数的信息。
根据本公开的实施方式，DM模块240可以包括内容提供者模块。在内容提供者模块基于由NLU模块220掌握的意图和参数执行动作的情况下，内容提供者模块可以生成通过执行对应于用户输入的任务而获得的结果。根据实施方式，DM模块240可以将由内容提供者模块生成的结果作为对用户输入的响应发送到用户终端100。
根据本公开的实施方式，NLG模块250可以将指定信息改变为文本形式。改变为文本形式的信息可以是自然语言话语的形式。例如，指定信息可以是关于附加输入的信息、用于指导完成与用户输入对应的动作的信息，或用于指导用户的附加输入的信息(例如，关于用户输入的反馈信息)。改变为文本形式的信息可以在被发送到用户终端100之后显示在显示器120中，或者可以在被发送到TTS模块260之后改变为语音形式。
根据本公开的实施方式，TTS模块260可以将文本形式的信息改变为语音形式的信息。TTS模块260可以从NLG模块250接收文本形式的信息，可以将文本形式的信息改变为语音形式的信息，并且可以将语音形式的信息发送到用户终端100。用户终端100可以将语音形式的信息输出到扬声器130。
根据本公开的实施方式，NLU模块220、路径规划器模块230和DM模块240可以用一个模块实施。例如，NLU模块220、路径规划器模块230和DM模块240可以用一个模块实施，可以确定用户意图和参数，并且可以生成对应于所确定的用户意图和参数的响应(例如，路径规则)。如此，可以将生成的响应发送到用户终端100。
图5是示出根据本公开的实施方式的由自然语言理解模块创建路径规则的方式的视图。
参考图5，根据实施方式，NLU模块220可以将应用的功能划分为单元动作(例如，A到F)，并且可以将划分的单元动作存储在PR DB 231中。例如，NLU模块220可以将路径规则集存储在PR DB 231中，所述路径规则集包括划分成单元动作的多个路径规则A-B1-C1、A-B1-C2、A-B1-C3-D-F和A-B1-C3-D-E-F。
根据本公开的实施方式，路径规划器模块230的PR DB 231可以存储用于执行应用的功能的路径规则集。路径规则集可以包括多个路径规则，其中每个路径规则包括多个动作。根据输入到多个动作中的每个动作的参数而执行的动作可以顺序地布置在多个路径规则中。根据实施方式，以本体或图形模型的形式实施的多个路径规则可以存储在PR DB 231中。
根据本公开的实施方式，NLU模块220可以选择对应于用户输入的意图和参数的多个路径规则A-B1-C1、A-B1-C2、A-B1-C3-D-F和A-B1-C3-D-E-F中的最优路径规则A-B1-C3-D-F。
根据本公开的实施方式，在没有完全匹配用户输入的路径规则的情况下，NLU模块220可以向用户终端100发送多个规则。例如，NLU模块220可以选择部分地对应于用户输入的路径规则(例如，A-B1)。NLU模块220可以选择包括部分地对应于用户输入的路径规则(例如，A-B1)的一个或多个路径规则(例如，A-B1-C1、A-B1-C2、A-B1-C3-D-F和A-B1-C3-D-E-F)，并且可以将一个或多个路径规则发送到用户终端100。
根据本公开的实施方式，NLU模块220可以基于由用户终端100添加的输入来选择多个路径规则中的一个，并且可以将所选择的一个路径规则发送到用户终端100。例如，NLU模块220可以根据由用户终端100附加输入的用户输入(例如，用于选择C3的输入)来选择多个路径规则(例如，A-B1-C1、A-B1-C2、A-B1-C3-D-F和A-B1-C3-D-E-F)中的一个路径规则(例如，A-B1-C3-D-F)，以便将所选择的一个路径规则发送到用户终端100。
根据本公开的另一实施方式，NLU模块220可以确定对应于由用户终端100另外输入的用户输入(例如，用于选择C3的输入)的用户意图和参数，以便将用户意图或参数发送到用户终端100。用户终端100可以基于发送的意图或发送的参数选择多个路径规则(例如，A-B1-C1、A-B1-C2、A-B1-C3-D-F和A-B1-C3-D-E-F)中的一个路径规则(例如，A-B1-C3-D-F)。
如此，用户终端100可以基于所选择的一个路径规则来完成应用141和143的动作。
根据本公开的实施方式，在智能服务器200接收到信息不足的用户输入的情况下，NLU模块220可以生成部分地对应于所接收的用户输入的路径规则。例如，NLU模块220可以将部分对应的路径规则发送到智能代理151。智能代理151可以将部分对应的路径规则发送到执行管理器模块153，并且执行管理器模块153可以根据路径规则执行第一应用141。执行管理器模块153可以在执行第一应用141的同时将关于不充分参数的信息发送到智能代理151。智能代理151可以通过使用关于不充分参数的信息向用户请求附加输入。如果用户接收到附加输入，那么智能代理151可以将附加输入发送并处理到智能服务器200。NLU模块220可以基于另外输入的用户输入的意图和参数信息生成待添加的路径规则，并且可以将待添加的路径规则发送到智能代理151。智能代理151可以将路径规则发送到执行管理器模块153，并且可以执行第二应用143。
根据本公开的实施方式，在智能服务器200接收其中遗漏了部分信息的用户输入的情况下，NLU模块220可以将用户信息请求发送到个人信息服务器300。个人信息服务器300可以将输入存储在角色数据库中的用户输入的用户的信息发送到NLU模块220。NLU模块220可以通过使用用户信息来选择对应于其中遗漏动作的一部分的用户输入的路径规则。如此，即使智能服务器200接收到其中遗漏一部分信息的用户输入，NLU模块220也可以请求被遗漏信息以接收附加输入，或者可以通过使用用户信息来确定对应于用户输入的路径规则。
图6是示出根据本公开的实施方式的建议模块的视图。
参考图6，建议模块155c可以包括提示提供模块155c_1、上下文提示创建模块155c_2、条件检查模块155c_3、条件模型模块155c_4、复用提示创建模块155c_5或介绍提示创建模块155c_6。
根据本公开的实施方式，提示提供模块155c_1可以向用户提供提示。例如，提示提供模块155c_1可以从上下文提示创建模块155c_2、复用提示创建模块155c_5或介绍提示创建模块155c_6接收创建的提示，并且可以向用户提供提示。
根据本公开的实施方式，上下文提示创建模块155c_2可以通过条件检查模块155c_3或条件模型模块155c_4创建可以根据当前状态推荐的提示。条件检查模块155c_3可以通过智能服务模块155接收对应于当前状态的信息，并且条件模型模块155c_4可以通过使用接收到的信息来设定条件模型。例如，条件模型模块155c_4可以在向用户提供提示的时间点处提供时间、位置、情况和使用的应用，并且可以按优先级顺序向用户提供可以在对应条件中使用的提示。
根据本公开的实施方式，复用提示创建模块155c_5可以创建可以根据当前状态考虑使用频率而推荐的提示。例如，复用提示创建模块155c_5可以考虑用户的使用模式来创建提示。
根据本公开的实施方式，介绍提示创建模块155c_6可以创建介绍新功能或由另一用户经常使用的功能的提示。例如，介绍新功能的提示可以包括对智能代理151的介绍(例如，操作方法)。
根据本公开的实施方式，建议模块155c的上下文提示创建模块155c_2、条件检查模块155c_3，条件模型模块155c_4，复用提示创建模块155c_5或介绍提示创建模块155c_6可以包括在个性化信息服务器300中。例如，建议模块155c的提示提供模块155c_1可以从用户个性化信息服务器300的上下文提示创建模块155c_2、复用提示创建模块155c_5或介绍提示创建模块155c_6接收提示，并且可以将接收的提示提供给用户。
根据本公开的实施方式，用户终端100可以根据以下一系列过程提供提示。例如，如果从智能代理151接收到提供提示的请求，那么提示提供模块155c_1可以向上下文提示创建模块155c_2发送用于创建提示的请求。如果接收到创建提示的请求，那么上下文提示创建模块155c_2可以通过使用条件检查模块155c_3从上下文模块155a和角色模块155b接收对应于当前状态的信息。条件检查模块155c_3可以将接收到的信息发送到条件模型模块155c_4，并且条件模型模块155c_4可以按条件中使用的高可能性的顺序赋予提供给用户的提示优先级。上下文提示创建模块155c_2可以识别条件，并且可以创建对应于当前状态的提示。上下文提示创建模块155c_2可以将创建的提示发送到提示提供模块155c_1。提示提供模块155c_1可以根据特定规则布置提示，并且可以将提示发送到智能代理151。
根据本公开的实施方式，提示提供模块155c_1可以创建多个上下文提示，并且可以根据特定规则指定多个上下文提示的优先级。根据实施方式，提示提供模块155c_1可以向用户提供多个上下文提示中具有最高优先级的第一个。
根据本公开的实施方式，用户终端100可以根据使用频率建议提示。例如，如果从智能代理151接收到提供提示的请求，那么提示提供模块155c_1可以向复用提示创建模块155c_5发送用于创建提示的请求。如果接收到创建提示的请求，那么复用提示创建模块155c_5可以从角色模块155b接收用户信息。例如，复用提示创建模块155c_5可以接收包括在角色模块155b的用户的偏好信息中的路径规则、包括在路径规则中的参数、应用的执行频率以及关于使用应用的空间-时间的信息。复用提示创建模块155c_5可以创建对应于所接收的用户信息的提示。复用提示创建模块155c_5可以将创建的提示发送到提示提供模块155c_1。提示提供模块155c_1可以布置提示，并且可以将提示发送到智能代理151。
根据本公开的实施方式，用户终端100可以建议新功能的提示。例如，如果从智能代理151接收到提供提示的请求，那么提示提供模块155c_1可以向介绍提示创建模块155c_6发送用于创建提示的请求。介绍提示创建模块155c_6可以向建议服务器400发送提供介绍提示的请求，并且可以从建议服务器400接收关于要介绍的功能的信息。例如，建议服务器400可以存储关于要介绍的功能的信息，并且可以由服务运营商更新要介绍的功能的提示列表。介绍提示创建模块155c_6可以将创建的提示发送到提示提供模块155c_1。提示提供模块155c_1可以布置提示，并且可以将提示发送到智能代理151。
因此，建议模块155c可以向用户提供由上下文提示创建模块155c_2、复用提示创建模块155c_5或介绍提示创建模块155c_6创建的提示。例如，建议模块155c可以在操作智能代理151的应用中显示所创建的提示，并且可以通过应用接收用于从用户选择提示的输入。
图7是示意性地示出根据本公开的实施方式的针对不充分话语的用户终端操作的视图。
如上所述，用户终端100(参见图1)可以根据与特定功能(或任务)的执行相关的用户话语向智能服务器200(参见图1)发送用户输入(或语音输入)，并且可以从智能服务器200接收对应于用户话语的路径规则(或序列)。在此操作中，当用户的话语简单或模糊时，用户终端100可以从智能服务器200接收处于不完整状态的路径规则。例如，当用户说出“发送消息！”时，从话语中省略了例如消息接收者或消息内容的信息(处理用户话语所需的措辞)，从而可以从构成路径规则的至少一个单元操作(或用户终端100的状态)的至少一方中省略用于执行对应操作的参数信息。在此方面，当从智能服务器200接收到不完整路径规则时，根据实施方式的用户终端100可以通过在特定时间点(例如，可执行的单元操作(或状态)的执行完成时间点)输出特定GUI来请求用户的附加信息输入。用户终端100可以基于输入的附加信息支持对智能服务器200的路径规则的细化，并且可以基于细化的路径规则(或者添加从附加信息获取的参数信息)来完成对用户的话语的处理。在下文中，将描述获得用户终端100的用于不完整路径规则的附加信息的实施方式，以及实现此实施方式的用户终端100和智能服务器200的功能操作。
参考图7，用户终端100可以根据包括特定意图或命令的用户的话语从智能服务器200接收路径规则233(或序列)，并且可以基于路径规则233执行至少一个单元操作(例如，状态1到状态5)。在实施方式中，由用户终端100接收的路径规则233可以被理解为根据用户话语不充分省略在路径规则233中执行特定单元操作(例如，状态5)所需的参数信息的状态。
根据本公开的实施方式，用户终端100可以执行对应于包括在路径规则中的参数信息的第一到第四单元操作(例如，状态1到状态4)。例如，用户终端100可以通过执行第一单元操作来执行对应于用户的话语意图的特定应用，并且可以借助于通过特定应用逐步执行第二到第四单元操作来对根据用户的话语意图的任务进行处理。此后，用户终端100可以识别出省略在第五单元操作(例如，状态5)转变为可执行状态的时间点处执行第五单元操作所需的参数信息，并且可以根据第四单元操作的执行输出GUI，所述GUI请求用户在屏幕上进行附加信息输入。在实施方式中，GUI可以显示为与第四单元操作相关的屏幕区域的区域，所述GUI对应于所需参数信息的属性。在本公开中，由于省略了执行第五单元操作所需的参数信息，因此可以将第五单元操作的执行或用户的附加信息输入所处的状态命名为停止状态或部分着陆状态。
根据本公开的实施方式，响应于GUI的输出，用户可以辨识话语的不充分并且可以执行附加信息输入。例如，用户可以基于通过话语的语音输入或使用用户的身体的触摸输入来输入附加信息。以这种方式，用户输入附加信息(或参数信息)的状态可以在本公开中被命名为参数填充状态。
根据本公开的实施方式，用户终端100可以将输入的附加信息(或参数信息)和预先接收到的关于路径规则的信息(例如，执行的单元操作的信息)发送到智能服务器200，智能服务器200可以基于所接收的附加信息来细化路径规则(或者根据路径规则添加参数信息)以向用户终端100提供细化的路径规则。因此，用户终端100可以基于满足第五单元操作中所需的参数信息的路径规则来执行第五单元操作。在实施方式中，可以根据另外从用户附加输入的信息(或参数)来确定第五单元操作。例如，当用户的附加信息是关于消息接收者的信息时，第五单元操作可以是由用户终端100搜索和选择接收器的操作。此外，当附加信息是关于消息内容的信息时，用户终端100可以执行输出和发送消息内容的操作以作为第五单元操作。
图8a至图8d是示出根据本公开的各种实施方式的用户终端的元件与智能服务器以及用户终端的各种界面输出之间的信号流的视图。图8a至图8d中描述的信号流可以被理解为一系列过程，其中在路径规则(或序列)的特定单元操作中生成部分着陆状态，且接着经由参数填充状态完成根据路径规则的至少一个单元操作的执行。
参考图8a，在本公开的实施方式中，用户可以操纵与用户语音辨识服务的操作相关的、设置在用户终端100的区域中的硬件键112(例如，图3的112)。在此情况下，可以触发智能代理151的激活。另外，用户可以执行特定唤醒命令的话语以允许智能代理151的唤醒辨识模块(未示出)激活智能代理151。激活的智能代理151可以在显示器120的屏幕区域的至少一个区域中输出表示用户的话语(例如，包括用于执行任务的命令或意图的话语)的待机状态的第一界面121(参见图2)。例如，智能代理151可以输出第一界面121，其中包括表示待机状态的内容(例如，文本(收听))。
根据本公开的实施方式，响应于第一界面121的输出，在操作1中，用户可以执行包括特定意图或命令的话语。在操作2中，可以通过麦克风(例如，图2的111)将根据用户的话语的用户输入(或语音输入)传递到智能代理151，并且可以通过通信网络将用户输入(或语音输入数据)发送到智能服务器200。在操作4中，智能服务器200的ASR模块210(参见图4)可以执行对所接收的用户输入的语音的辨识，以将用户输入转换为文本数据。在一个实施方式中，由ASR模块210转换的文本数据可以被发送到用户终端100，且因此，智能代理151可以在显示器120的屏幕区域中输出包括文本数据的第二界面122。在图8a中，包括在第二界面122中的文本数据(例如，“用户说什么”)是示例性的，并且第二界面122可以显示实际对应于用户的话语的文本。
参考图8b，在操作5中，智能服务器200的NLU模块220(参见图4)可以基于包括域、意图和参数的匹配规则来确定用户对用户输入(或转换的文本数据)的话语意图。NLU模块220可以基于用户的话语意图来选择将由用户终端100执行的应用，并且可以通过确定对应于将由应用执行的操作(或用户终端100的状态)的参数来创建或选择路径规则。接着，智能代理151可以输出第三界面123，所述第三界面用作处理用户话语的通知。例如，智能代理151可以输出第三界面123，其中包含请求用户待机作为通知的一部分的内容(例如，文本(保持接通))。在操作6中，NLU模块220可以将创建或选择的路径规则发送到用户终端100的智能代理151，并且在操作7中，智能代理151可以将发送的路径规则传送到执行管理器模块153。
根据本公开的实施方式，在操作8中，执行管理器模块153可以基于路径规则在特定应用(例如，图2的第一应用141)中创建(或激活)对应于用户话语意图的执行服务141a。执行管理器模块153可以将包括在路径规则中的一系列顺序布置中的至少一个单元操作(或至少一个状态)的第一单元操作(例如，顺序布置上的第一单元操作)传递到执行服务141A。在操作9中，执行服务141a可以搜索应用141的对应于第一单元操作的合适功能，并且可以通过基于对应于第一单元操作的参数信息执行功能来处理第一单元操作。在操作10中，执行服务141a可以将关于第一单元操作的执行的完成信息传递到执行管理器模块153。
根据本公开的实施方式，执行管理器模块153可以响应于关于第一单元操作的完成信息的接收，将在路径规则中的第一单元操作之后顺序布置的第二单元操作传递到执行服务141a。执行服务141a可以通过操作9和10处理与上述类似的第二单元操作，以将完成信息传送到执行管理器模块153。在实施方式中，执行管理器模块153和执行服务141a可以针对包括参数信息的至少一个单元操作重复类似于操作8到10的过程。
根据本公开的实施方式，在操作11中，执行服务141a可以搜索从执行管理器模块153传递的特定单元操作的功能，并且可以识别在待执行功能的时间点处省略与执行特定单元操作对应的参数信息。此外，在各种实施方式中，执行服务141a可以识别包括在特定单元操作中的参数信息的有效性(例如，参数信息是否是适合于执行特定单元操作的参数信息)。执行服务141a可以确定从特定单元操作中省略与对应操作的执行相关的参数(或者确定参数信息无效)，执行管理器模块153可以如在操作12中那样提供确定信息，并且执行管理器模块153可以将提供的确定信息传递到智能代理151。
根据本公开的实施方式，在操作13中，当智能代理151确定从特定单元操作中省略参数信息(或确定参数信息无效)时，智能代理151可以请求从智能服务器200的NLG模块250(参见图4)创建反馈。在实施方式中，反馈可以是文本形式的内容(例如，消息)，其请求附加信息输入以允许用户辨识话语的不充分，以允许用户提供执行特定单位操作所需的参数信息。在操作14中，自然语言创建模块150可以创建反馈以将反馈发送到智能代理151。
参考图8c，在操作15中，智能代理151可以输出从NLG模块250发送的反馈。例如，智能代理151可以通过在显示器120的屏幕区域中输出包括反馈的第四界面124来请求来自用户的附加信息输入。在图8c中，第四界面124中示出的反馈(例如，Bixby的反馈)是示例性的，并且对应于省略的参数信息的文本可以显示在第四界面124中。在实施方式中，上述第一界面121到第四界面124可以被理解为支持智能代理151(或根据智能代理151的执行激活的人工智能助理(例如，Bixby))与用户之间的交互(例如，会话)的对话界面。此外，除了对话界面之外，显示器120的屏幕区域的区域可以根据单元操作的执行显示为结果屏幕。
根据本公开的实施方式，在操作16中，如果从输出反馈起经过特定时间，那么当反馈熄灭时，可以输出第一形式的按钮125a(或敲击件)(例如，包括文本、短语、符号或字母的按钮，下文被称为包含“下一步”或“继续”的按钮)。例如，可以输出第一形式的按钮125a以至少部分地与特定图标125b(例如，Bixby图标或B)重叠。根据实施方式，第一形式例如可以包括黑白和非闪烁的处理，作为表示按钮的停用的显示效果。在一个实施方式中，第一形式的按钮125a可以显示在第五界面125中，并且第五界面125可以是用于在至少一个单元操作的特定单元操作之前的单元操作的执行结果屏幕，其中确定参数信息被省略。
根据本公开的实施方式，在操作17中，用户可以根据第一形式的反馈或按钮输出125a辨识初始话语不充分，并且可以输入对应于反馈的附加信息。例如，用户可以通过附加话语或触摸输入(例如，软件输入面板(SIP)、键盘触摸或特定内容触摸)输入附加信息，并且智能代理151可以接收用户的附加输入。在一个实施方式中，在附加话语的情况下，可以通过长按用户终端100的硬件键(例如，图3的112)或特定图标125b(例如，B)的操作来执行附加话语。在操作18中，智能代理151可以响应于附加输入的接收，将第五界面125中显示的第一形式的按钮125a转换为第二形式的按钮125c。例如，智能代理151可以在开始用户的附加话语或触摸输入的时间点处转换按钮。此外，智能代理151可以在从附加话语或触摸输入的开始起经过特定时间之后，在接收到附加话语或触摸输入的时间点，或者在附加话语或触摸输入完成的时间点处转换按钮。第二形式是第一形式的按钮125a被激活的方面，并且例如可以包括着色或闪烁。在一个实施方式中，激活方面的第二形式的按钮125c可以用作表示执行用户的附加输入的通知。在操作19中，智能代理151可以将根据用户的附加信息输入的参数信息发送到智能服务器200。例如，当用户选择第二形式的按钮125c，选择第五界面125的区域(例如，图标125b)，或者另外操纵硬件键112时，智能代理151可以将根据附加输入的信息发送到智能服务器200。
参考图8d，在操作20中，智能服务器200的NLU模块220可以通过将从智能代理151提供的参数信息应用(或添加)到预先创建的路径规则来创建细化的路径规则。接着，智能代理151可以在显示器120的屏幕区域中输出第六界面126，第六界面126用作用于处理用户的附加输入的通知。例如，第六界面126可以是与上述第三界面123相同或相似的方面。在操作21中，NLU模块220可以将细化的路径规则发送到智能代理151，并且在操作22中，智能代理151可以将细化的路径规则传递到执行管理器模块153。
根据本公开的实施方式，在操作23中，执行管理器模块153可以参考细分的路径规则识别从其中省略参数信息的第n操作(例如，上述单元操作)，并且可以将第n单元操作传递到执行服务141a。在操作24和25中，执行服务141a可以执行与用于第n单元操作的操作9和10类似的过程。例如，执行服务141a可以搜索应用141的对应于第n单元操作的功能，可以基于附加应用的第n单元操作的参数信息来执行功能，并且可以将关于第n单元操作的执行的完成信息传递到执行管理器模块153。
在本公开的实施方式中，如果对顺序布置的最终单元操作执行与操作23到25类似的过程，那么在操作26中包括在路径规则中的至少一个单元操作中，执行管理器模块153可以将关于从执行服务141a传递的最终操作的执行的完成信息传递到智能代理151，并且智能代理151可以将所传递的完整信息发送到智能服务器200。在操作27中，智能服务器200的NLG模块250可以以文本的形式创建反馈，所述反馈指导基于关于最终单元操作的执行的完成信息来完成包括在路径规则中的至少一个单元操作的执行，并且可以在操作28中将创建的反馈发送到智能代理151。因此，智能代理151可以通过第七界面127输出反馈(例如，完成任务的执行)。在实施方式中，第六界面126和第七界面127可以理解为对话界面。在经过特定时间之后，第七界面127中显示的反馈可以熄灭，并且作为响应，帮助用户表达对用户的话语处理满意或不满的内容(例如，图标)可以显示在第八界面128中，第八界面128对应于最终单元操作的执行结果屏幕。
图9a至图9c是示出根据本公开的各种实施方式的各种形式的附加用户输入的视图。参考图9a至图9c，可以省略或相对简要地提及重复描述。
参考图9a，在本公开的实施方式中，用户可以基于附加话语执行附加信息输入，以支持用户终端100对不完全创建的路径规则的处理。
在此方面，根据本公开的实施方式，根据用户的话语(例如，“给John(约翰)发送消息”)，智能代理151(参见图2)可以接收用户输入并向智能服务器200(参见图4)发送用户输入，并且可以从智能服务器200的NLU模块220(参见图4)接收对应于话语的路径规则(或序列)。可以将路径规则从智能代理151传递到执行管理器模块153(参见图2)，并且可以由执行管理器模块153将第一单元操作(例如，消息应用执行操作)(或状态)传递到应用(例如，消息应用)中对应于用户的话语意图的执行服务。执行服务可以基于对应于第一单元操作的参数信息执行第一单元操作，且因此，可以在用户终端100的显示器120(参见图2)的屏幕区域中输出第一单元操作的执行的结果屏幕28(例如，消息应用开始屏幕)。
根据本公开的实施方式，执行服务可以将第一单元操作的执行的完成信息传递给执行管理器模块153，并且可以从执行管理器模块153接收在第一单元操作之后依序布置的第二单元操作(例如，消息接收搜索操作)。当由执行服务执行第二单元操作时，可以在显示器120的屏幕区域中输出第二单元操作的执行的结果屏幕29(例如，约翰搜索屏幕)。此后，执行管理器模块153可以基于关于完成执行从执行服务传递的第二单元操作的信息，将第三单元操作(例如，开始与约翰的消息界面的操作)传递到执行服务。根据执行服务的第三单元操作的执行，可以在显示器120的屏幕区域中输出执行第三单元操作的结果屏幕30(例如，与约翰的消息界面的屏幕)。
根据本公开的实施方式，执行服务可以识别在一时间点处执行第四单元操作所需的参数信息(例如，消息的内容)的省略，该状态在所述时间点处转变成可执行从执行管理器模块153传递的第四单元操作(例如，消息内容输入操作)的状态，且因此，智能服务器200的NLG模块250(参见图4)可以创建请求用户的附加信息输入的反馈。智能代理151可以在执行第三单元操作的结果屏幕30的区域(例如，对话界面区域)中接收反馈和显示31(例如，会话的输入内容)。
在本公开的实施方式中，如果从反馈的显示器31起经过特定时间，那么可以在反馈熄灭时显示第一形式的按钮32(例如，非活动的“下一步”或非活动的“继续”)。用户可以根据显示辨识初始话语(例如，“给约翰发送消息”)的不充分作为反馈的显示31或第一形式的按钮32的显示，并且可以通过执行附加话语(例如，“生日快乐约翰”)来输入对应于反馈的显示31的附加信息。在此情况下，智能代理151可以在用户的附加话语开始的时间点处(或在从开始附加话语起经过特定时间之后或在完成附加话语的时间点处)将第一形式的按钮32转换为第二形式的按钮33(例如，活动的“下一步”或活动的“继续”)。在一个实施方式中，用户可以执行长按用户终端100的硬件键(例如，图3的112)或对话界面的特定区域(例如，图标B 125b(参见图8c))的操作以执行附加话语，并且在此情况下，可以驱动用户终端100的麦克风111(参见图2)。此外，麦克风111可以在智能代理151的激活时段期间始终开启。在实施方式中，当用户的附加话语不明确或不充分(或者所请求的参数信息不包括在附加话语中)时，智能代理151可以再次执行反馈的显示31(例如，会话的输入内容)。在实施方式中，当用户选择第二形式的按钮33或特定图标(例如，图8c的125b)或者对硬件键(例如，图3的112)施加附加操纵时，智能代理151可以将根据附加话语的用户输入传送到智能服务器200。
根据本公开的实施方式，智能服务器200的NLU模块220可以通过将根据从智能代理151发送的附加用户输入的参数信息应用(或添加)到预先创建的路径规则，来创建细化的路径规则。细化的路径规则被发送到智能代理151，并且执行管理器模块153可以从智能代理151接收细化的路径规则并且识别已从中省略参数信息的第四单元操作(例如，消息内容输入操作)。执行管理器模块153可以将所识别的第四单元操作传递到应用的执行服务，并且可以根据执行服务的第四单元操作的执行，在第三单元操作的执行的结果屏幕30(与约翰的消息界面的屏幕)的区域(例如，对话界面区域)中显示34消息的内容。
根据本公开的实施方式，执行管理器模块153可以从执行服务接收关于第四单元操作的执行完成的信息，并且可以将与在第四单元操作之后的最终单元操作对应的第五单元操作(例如，消息内容发送操作)传递到执行服务。根据执行服务的第五单元操作的执行，执行管理器模块153可以接收关于完成第五操作的执行的信息，并且可以在第三单元操作的执行的结果屏幕30中显示35消息的发送。可以将关于完成第五单元操作的执行的信息发送到智能服务器200的NLG模块250，以便完成包括在路径规则中的、引导执行最终单元操作(例如，第五单元操作)的文本形式的反馈，并且可以将反馈发送到智能代理151并输出(未示出)。
参考图9b，在本公开的实施方式中，用户可以基于触摸输入(例如，软件输入面板(SIP)键盘触摸)执行附加信息输入。细化根据用户的附加信息输入而预先创建的路径规则的过程可以类似于或对应于参考图9a描述的过程，并且可以主要参考图9b描述用户的触摸输入。
根据本公开的实施方式，基于根据用户的话语(例如，“给约翰发送图片”)而创建的路径规则(或序列)，应用(例如，图库应用)中对应于话语的执行服务可以执行至少一个单元操作(或状态)。根据执行服务的第一单元操作(例如，图库应用执行操作)的执行，可以在显示器120的屏幕区域中输出第一单元操作的执行的结果屏幕36(例如，图库应用开始屏幕)。此后，执行服务可以识别对应于第二单元操作(例如，图片选择操作)的参数信息的省略，并且因此，由智能服务器200的NLG模块250创建的反馈37(例如，选择图片)可以显示在第一单元操作的执行的结果屏幕36中。如果从显示反馈37起经过特定时间并且反馈37熄灭并且输出第一形式的按钮38(例如，非活动的“下一步”或非活动的“继续”)，那么可以通过使用用户身体的至少一部分(例如，手指)在第一单元操作的执行的结果屏幕36上触摸(或选择)要发送的至少一个图片39。可以在开始用户的触摸输入的时间点处将第一形式的按钮38转换为第二形式的按钮40(例如，活动的“下一步”或活动的“继续”)。当完成触摸输入时，用户可以表达出通过触摸第二形式的按钮40来完成附加信息输入。在此情况下，智能代理151可以根据用户的附加信息输入将参数信息(例如，所选择的图片信息)发送到智能服务器200的NLU模块220，并且可以从NLU模块220接收细化的路径规则。执行管理器模块153可以识别第二单元操作，从所述第二单元操作，已在细化的路径规则中省略了参数信息，并且可以将第二单元操作传递到待执行的执行服务。在实施方式中，关于在第二单元操作之后至少一个单元操作(例如，图片附着操作或图片发送操作)的执行，可以在显示器120的屏幕区域中进一步输出相关反馈(例如，选择将向其发送图片的应用)(未示出))，并且用户可以通过附加输入提供参数信息(例如，所选择的应用信息)。基于此，执行管理器模块可以在第二单元操作之后将单元操作传递给与对应于第一单元操作和第二单元操作的应用分离的应用(例如，消息应用)。单独的应用中的执行服务完全执行最终的单元操作(例如，图片发送操作)，可以在显示器120的屏幕区域中输出附着有至少一个图片39的最终单元操作的执行的结果屏幕41。
参考图9c，第一形式的按钮(例如，非活动的“下一步”或非活动的“继续”)或第二形式的按钮(例如，活动的“下一步”或活动的“继续”)的显示不限于对话界面区域，而是可以显示在对应于要从用户的附加信息输入获取的参数信息的区域中。
在本公开的实施方式中，对应于用户的话语的特定应用中的执行服务可以确定用于特定单元操作的参数信息的省略(或者确定包括在特定单元操作中的参数信息无效)。可以经由执行管理器模块153和智能代理151将确定信息传递到智能服务器的NLG模块250。NLG模块250可以基于所传递的确定信息创建文本反馈，所述文本反馈请求用户执行附加信息输入(或提供附加参数)。反馈可以传递给智能代理151并在显示器120上显示42。
在本公开的实施方式中，当从显示反馈起经过特定时间时，智能代理151可以熄灭反馈的显示并显示第一形式的按钮43。在此方面，智能代理151可以基于从执行服务传递的确定信息来确定针对特定单元操作的省略参数信息的属性(或者将从用户的附加信息输入获得的参数信息的种类)。智能代理151可以将第一形式的按钮43的显示区域确定为对应于所确定的参数信息的属性的区域。例如，当参数信息的属性被确定为消息接收者时，智能代理151可以在菜单区域44或在其邻近区域中显示第一形式的按钮43，在菜单区域44中可以从应用了根据路径规则(或序列)的至少一个单元操作(或状态)的应用(例如，消息应用)指定或选择消息接收者。因此，用户可以明确地辨识附加请求的信息。
根据本公开的实施方式，在开始用户的附加信息输入的时间点(或者在从开始起经过特定时间之后或在完成附加信息输入的时间点)，例如，第一形式的按钮43可以被转换为被赋予显示效果(例如，着色或闪烁)的第二形式的按钮45，并且附加输入的信息(或参数信息)可以被传送到智能服务器200并应用于路径规则的细化。可以将细化的路径规则传递到用户终端100，并且可以在执行特定的单元操作之后执行单元操作。接着，如果确定在执行特定单元操作之后的单元操作时再次省略对应的参数信息，那么可以与上述类似地显示46反馈。在一个实施方式中，智能代理151可以确定所请求的参数信息的属性(例如，消息的内容)，以在对应区域47(例如，文本输入区域)中显示第一形式的按钮48。以此方式，当要从用户附加获得多条参数信息时，可以基于构成路径规则的单元操作的顺序布置来顺序地提供对应于数条参数信息的反馈和第一形式的按钮。
在本公开的各种实施方式中，尽管未示出，第一形式的按钮或第二形式的按钮(例如，GUI)可以包括除了响应于省略用于特定单元操作的参数信息而输出的信息之外的敏感信息(例如，私人信息或财务信息)，或者可以在执行需要用户注意或批准的单元操作时输出。在此情况下，当将用户的触摸输入应用于GUI时，可以执行以下单元操作。
图10a是示出根据本公开的实施方式的操作用户终端的语音辨识服务的示例的视图。
参考图10a，在操作1001中，用户终端(例如，图2中的100)可以通过用户的话语来接收用户输入，所述用户的话语包括与用户终端100的特定功能(或任务)的执行(消息的发送和音乐的复制)相关的意图或命令。例如，用户终端100的智能代理151(参见图2)可以将所接收的用户输入发送到智能服务器200(参见图4)的ASR模块210(参见图4)。ASR模块210可以通过执行用户输入的辨识来将数据转换为文本数据，并且可以再次将文本数据提供到用户终端100以在显示器120(参见图2)上输出。
根据本公开的实施方式，在操作1003中，用户终端100可以从智能服务器200接收路径规则。例如，智能服务器200的NLU模块220(参见图4)可以基于特定匹配规则确定针对用户输入的用户话语的意图，并且可以基于话语的意图创建路径规则(或序列)，所述路径规则(或序列)包括将由用户终端100执行的至少一个单元操作(或状态)。至少一个单元操作可以包括执行操作所需的参数信息。NLU模块220可以将创建的路径规则发送到用户终端100的智能代理151。
根据本公开的实施方式，在操作1005中，用户终端100可以识别关于特定单元操作的参数信息被省略或无效。例如，智能代理151可以将路径规则传递到执行管理器模块153(参见图2)，并且执行管理器模块153可以在对应于路径规则的特定应用中创建执行服务141a或143a(参见图2)。执行管理器模块153可以将包括在路径规则中的一系列顺序布置中的至少一个单元操作的第一单元操作(例如，顺序布置上的第一单元操作)传递到执行服务。执行服务可以执行第一单元操作。在实施方式中，执行服务可以识别并确定关于特定单元操作的参数信息被省略或无效。
根据本公开的实施方式，在操作1007中，用户终端100可以从智能服务器200请求创建反馈。例如，智能代理151可以从执行管理器模块153接收确定信息，并且可以请求创建反馈，所述反馈从智能服务器200的NLG模块250(参见图4)请求用户的附加信息输入。由NLG模块250创建的反馈可以被发送到智能代理151，并且可以在在特定单元操作之前的单元操作的结果屏幕上输出。在实施方式中，当从输出或显示反馈起经过特定时间时，可以熄灭反馈并且可以输出第一GUI。例如，第一GUI可以是包括特定文本、短语、符号或字母的对象或敲击件，并且可以显示在对应于执行特定单位操作所需的参数信息的属性的区域中。此外，第一GUI处于非活动状态，并且可以包括表示非活动状态的第一显示效果(例如，黑白或非闪烁的处理)。
根据本公开的实施方式，在操作1009中，用户终端100可以接收来自用户的附加信息输入。例如，用户终端100的智能代理151可以接收由根据反馈或第一GUI辨识初始话语不充分的用户执行的附加信息(例如，参数信息)输入。
根据本公开的实施方式，在操作1011中，用户终端100可以响应于附加信息输入来转换第一GUI。例如，智能代理151可以在接收到附加信息输入的时间点(或者在从附加信息输入起经过特定时间之后或在完成附加信息输入的时间点)处将第一GUI转换为第二GUI。第二GUI是活动状态，并且例如可以包括显示效果，例如着色或闪烁。当完成用于附加信息输入的用户话语时(或者当检测到话语的结束点时)，可以熄灭第二GUI。此外，当用户对第二GUI施加触摸时，可以熄灭第二GUI。
根据本公开的实施方式，在操作1013中，用户终端100可以将用户的附加信息输入发送到智能服务器200。例如，用户终端100的智能代理151可以将所接收的附加信息输入和关于路径规则的信息(例如，关于包括在路径规则中的至少一个单元操作的单元操作的信息，其已被完全执行)发送到智能服务器200的NLU模块220。因此，NLU模块220可以通过将所发送的附加信息应用(或添加)到预先创建的路径规则来细化路径规则。另外，在各种实施方式中，NLU模块220可以创建新路径规则，从所述新路径规则排除了现有路径规则并且应用了附加信息。
根据本公开的实施方式，在操作1015中，用户终端100可以从智能服务器200接收细化的路径规则。例如，智能代理151可以从NLU模块220接收细化的路径规则，并将细化的路径规则传递给执行管理器模块153。执行管理器模块153可以确定已经执行的至少一个单元操作是否包括在细化的路径规则中，并且可以识别已经从中省略了参数信息的特定单元操作。执行管理器模块153可以将所识别的特定单元操作传递到应用中的执行服务，并且执行服务可以执行特定单元操作。
图10b是示出根据本公开的实施方式的操作用户终端的语音辨识服务的方法的视图。
参考图10b，在操作1017中，用户终端100(参见图2)可以接收第一用户输入。例如，在根据用户的控制(例如，操纵用户终端的硬件键(例如，图3的112)或执行特定唤醒命令的话语)激活智能代理151(参见图2)之后，用户终端的处理器150(参见图2)(或智能代理151(参见图2))可以接收包括用于执行用户终端的第一任务(例如，特定应用的执行和控制)的请求的第一用户输入。在实施方式中，第一用户输入可以是不包括执行第一任务所需的所有至少一个参数的输入。例如，第一用户输入可以是这样的用户输入，从该用户输入省略了执行第一任务所需的所有至少一个参数，或者省略了用于至少一个参数的特定参数的所有信息。
根据本公开的实施方式，在操作1019中，用户终端可以将用于第一用户输入的第一数据发送到外部服务器。例如，用户终端的处理器可以通过通信电路160(参见图2)将与第一用户输入有关的第一数据发送到包括智能系统(例如，集成智能系统10(参见图1))的外部服务器(例如，智能服务器200(参见图1))。
根据本公开的实施方式，在操作1021中，用户终端可以从外部服务器接收第一序列。在实施方式中，第一序列可以包括用于在用户终端中执行第一任务的至少一个用户终端状态。
根据本公开的实施方式，在操作1023中，用户终端可以执行第一序列。例如，用户终端的处理器可以执行包括在第一序列中的至少一个用户终端状态中的一些，并且可以在显示器120上输出与执行的一些状态相关的屏幕(参见图2)。
根据本公开的实施方式，在操作1025中，用户终端可以在显示器的区域中输出特定GUI。例如，在执行至少一个用户终端状态中的一些之后，用户终端的处理器可以输出表示提供至少一个参数的请求的GUI，所述参数已从第一用户输入中省略。在实施方式中，省略的至少一个参数对于执行用户终端的第一任务可能是必需的。
根据各种实施方式的电子装置包括壳体、通过壳体的至少一部分暴露的显示器、麦克风、扬声器、通信电路、电连接到显示器、麦克风、扬声器和通信电路的处理器以及电连接到处理器的存储器。
根据本公开的各种实施方式，存储器可以被配置成存储至少一个应用。
根据本公开的各种实施方式，处理器在执行至少一个应用程序的指令时可以被配置成：接收第一用户输入，第一用户输入包括对执行要求用于执行的至少一个参数的第一任务的请求且不包括全部至少一个参数(例如，多个参数中的所有或参数信息中的所有)；通过通信电路将与第一用户输入相关的第一数据发送到外部服务器；通过通信电路从外部服务器接收用于执行第一任务的电子装置的状态的第一序列；由电子装置执行状态的第一序列中的并非全部而是其中一些，并同时通过显示器显示第一序列中被改变的状态中的至少一些；并且在执行第一序列中的一些状态之后，显示GUI，GUI被要求执行第一任务且表示请求用户在显示器的一部分中提供用户输入中省略的至少一个参数。
根据本公开的各种实施方式，GUI可以包括文本或符号中的至少一个。
根据本公开的各种实施方式，处理器可以还配置为在显示GUI之前，通过通信电路将与电子装置的状态相关的第二数据发送到外部服务器，所述第二数据是第一序列中的一些的执行结果。
根据本公开的各种实施方式，第二数据可以包括表示电子装置的状态的识别符。
根据本公开的各种实施方式，处理器可以还配置为通过麦克风或显示器上的用户界面接收包括被省略的参数的第二用户输入，通过通信电路将与第二用户输入相关的第三数据发送到外部服务器，并通过通信电路从外部服务器接收电子装置的状态的第二序列。
根据本公开的各种实施方式，处理器可以还配置为根据第二用户输入的接收来改变GUI。
根据本公开的各种实施方式，处理器可以还配置为在完全接收到第二用户输入之后移除GUI。
根据本公开的各种实施方式，处理器可以还配置为确定状态的第二序列是否包括已经为执行第一任务而执行的状态的第一序列中的一些，并且通过使用状态的第二序列来完成第一任务，同时不重复第一序列中已执行的一些。
根据各种实施方式的电子装置包括：存储器，其被配置成存储至少一个应用；显示器，其被配置成输出应用的执行屏幕；麦克风，其被配置成接收语音信号；通信电路，其被配置成执行与至少一个外部装置的通信；以及处理器，其电连接到存储器、显示器、麦克风和通信电路。
根据本公开的各种实施方式，处理器可以与执行电子装置的任务的请求相关地，接收第一用户输入，第一用户输入不包括执行任务所需的一条或多条参数信息中的至少一些，并将第一用户输入发送到第一外部装置；从第一外部装置接收第一序列，所述第一序列包括与执行电子装置的任务相关地、基于第一用户输入而创建的至少一个单元操作；通过执行包括在第一序列中的第一单元操作来输出结果屏幕；在执行第二单元操作的时间点处确定第一用户输入中的第一参数信息是否被省略，其中第二单元操作是基于在第一单元操作之后顺次包括在第一序列中但不包括在第一用户输入中的第一参数信息而执行的；确定第一参数信息的属性；并且在第一单元操作的结果屏幕的区域中显示特定GUI，其中特定GUI对应于第一参数信息的属性。
根据本公开的各种实施方式，处理器在显示GUI之后，可接收第二用户输入，所述第二用户输入包括语音输入或触摸输入中的至少一个，所述语音输入或触摸输入包括第一参数信息。
根据本公开的各种实施方式，处理器可以在接收第二用户输入的时间点处赋予GUI以特定效果。
用于操作根据本各种实施方式的电子装置的语音辨识服务的方法包括：与执行电子装置的任务的命令相关地，接收第一用户输入，第一用户输入不包括执行任务所需的一条或多条参数信息中的至少一些，将第一用户输入发送到第一外部装置；从第一外部装置接收第一序列，第一序列包括与执行电子装置的任务相关地、基于第一用户输入而创建的至少一个单元操作；在执行第二单元操作的时间点处确定第一用户输入中的第一参数信息是否被省略，其中第二单元操作是基于在第一单元操作之后顺次包括在第一序列中但不包括在第一用户输入中的第一参数信息而执行的；确定第一参数信息的属性；并且在电子装置的屏幕的区域中显示特定GUI，特定GUI对应于第一参数信息的属性。
根据本公开的各种实施方式，确定是否省略第一用户输入的第一参数信息可以包括将关于第一单元操作的执行结果的信息或关于确定是否省略第一参数信息的信息中的至少一个发送到第一个外部装置。
根据本公开的各种实施方式，用于操作语音辨识服务的方法还可以包括在显示GUI之后，接收包括第一参数信息的第二用户输入并将第二用户输入发送到第一外部装置。
根据本公开的各种实施方式，接收第二用户输入和将第二输入发送到第一外部装置可以包括在接收第二用户输入的时间点赋予GUI以特定效果。
根据本公开的各种实施方式，赋予GUI以特定效果可以包括熄灭所显示的第一GUI并显示赋予特定效果的第二GUI。
根据本公开的各种实施方式，用于操作语音辨识服务的方法还可以包括通过从第一外部装置接收反映第二用户输入的第二序列来完成电子装置的任务的执行。
根据本公开的各种实施方式，完成电子装置的任务的执行可以包括确定是否包括预先执行的第二序列中包括的至少一个单元操作的第一单元操作。
根据本公开的各种实施方式，GUI的显示可以包括显示包括字母、文本和符号中的至少一个的GUI。
根据本公开的各种实施方式，用于操作语音辨识服务的方法还可以包括输出对应于已经执行的第一序列中包括的至少一个单元操作的单元操作的结果屏幕。
根据本公开的各种实施方式，特定GUI的显示可以在第一单元操作的执行完成时间点发生。
图11是示出根据本公开的实施方式的网络环境中的电子装置(或用户终端)的视图。
参考图11，在网络环境1100下，电子装置1101(例如，图2的电子装置100)可以通过本地无线通信1198与第一外部电子装置1102通信，或者可以通过网络1199与第二外部电子装置1104或服务器1108通信。根据实施方式，电子装置1101可以通过服务器1108与第二外部电子装置1104通信。
根据本公开的实施方式，电子装置1101可以包括总线1110、处理器1120、存储器1130、输入装置1150(例如，微型电话或鼠标)、显示器1160、音频模块1170、传感器模块1176、接口1177、触觉模块1179、相机模块1180、电源管理模块1188、电池1189、通信模块1190和订户识别模块1196。根据实施方式，电子装置1101可以不包括上述元件中的至少一个(例如，显示器1160或相机模块1180)，或者还可以包括其他元件。
例如，总线1110可以互连上述元件1120、1130、1150、1160、1170、1176、1177、1179、1180、1188、1189和1190，并且可以包括用于在上述元件之间传送信号(例如，控制消息或数据)的电路。处理器1120可以包括CPU、AP、图形处理单元(GPU)、相机的图像信号处理器(ISP)或通信处理器(CP)中的一个或多个。根据实施方式，处理器1120可以用片上系统(SoC)或系统级封装(SiP)来实施。例如，处理器1120可以驱动操作系统(OS)或应用来控制连接到处理器1120的另一元件(例如，硬件或软件元件)中的至少一个，并且可以处理和计算各种数据。处理器1120可以将从其他元件(例如，通信模块1190)中的至少一个接收的命令或数据加载到易失性存储器1132中以处理命令或数据，并且可以将处理结果数据存储到非易失性存储器1134中。
存储器1130可以包括例如易失性存储器1132或非易失性存储器1134。易失性存储器1132可以包括例如随机存取存储器(RAM)(例如，动态RAM(DRAM)、静态RAM(SRAM)或同步动态RAM(SDRAM))。非易失性存储器1134可以包括例如一次性可编程只读存储器(OTPROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、掩模ROM、闪存ROM、闪存存储器、硬盘驱动器或固态驱动器(SSD)。此外，根据与电子装置1101的连接，非易失性存储器1134可以以内部存储器1136的形式或外部存储器1138的形式配置外部存储器仅在必要时可通过连接获得。外部存储器1138还可以包括闪存驱动器，例如紧凑型闪存((CF)、安全数字(SD)、微型安全数字(Micro-SD)、迷你安全数字(Mini-SD)、极限数字(xD)、多媒体卡(MMC)或记忆棒。外部存储器1138可以以有线方式(例如，电缆或通用串行总线(USB))或无线(例如，蓝牙)方式与电子装置1101可操作地或物理地连接。
例如，存储器1130可以存储例如电子装置1101的至少一个不同的软件元件，例如与程序1140相关联的指令或数据。程序1140可以包括例如内核1141、库1143、应用框架1145或应用程序(可互换地，“应用”)1147。
输入装置1150可以包括麦克风、鼠标或键盘。根据实施方式，键盘可以包括物理连接的键盘或通过显示器1160虚拟显示的键盘。
显示器1160可以包括显示器、全息图装置或投影仪，以及控制相关装置的控制电路。显示器可以包括例如液晶显示器(LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器、微机电系统(MEMS)显示器或电子纸显示器。根据实施方式，显示器可以柔性地、透明地或可穿戴地实现。显示器可以包括能够检测用户的输入(例如手势输入、接近输入或悬停输入)的触摸电路，或者能够通过触摸测量压力强度的压力传感器(可互换地称为力传感器)。触摸电路或压力传感器可以与显示器整体实现，或者可以与显示器分开用至少一个传感器实现。全息设备可以利用光的干涉在空间中显示立体图像。投影仪可以将光投射到屏幕上以显示图像。屏幕可以位于电子装置1101内部或外部。
音频模块1170可以例如将声音转换为电信号或者将电信号转换为声音。根据实施方式，音频模块1170可以通过输入装置1150(例如，麦克风)获取声音，或者可以通过包括在电子装置1101中的输出装置(未示出)(例如，扬声器或接收器)、外部电子装置(例如，第一外部电子装置1102(例如，无线扬声器或无线头戴式耳机))或与电子装置1101连接的第三外部电子装置1106(例如，有线扬声器或有线耳机)输出声音。
传感器模块1176可以测量或检测例如电子装置1101的内部操作状态(例如，功率或温度)或外部环境状态(例如，高度、湿度或亮度)以生成对应于测量状态或检测状态的信息的电信号或数据值。传感器模块1176可以包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁传感器、加速度传感器、握持传感器、接近传感器、颜色传感器(例如，红色、绿色、蓝色(RGB)传感器)、红外传感器、生物传感器(例如，光圈传感器、指纹传感器、心跳速率监测(HRM)传感器、电子鼻传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器)、温度传感器、湿度传感器、照度传感器或UV传感器中的至少一个。传感器模块1176还可以包括用于控制包括在其中的至少一个或多个传感器的控制电路。根据实施方式，可以通过使用处理器1120或与处理器1120分开的处理器(例如，传感器集线器)来控制传感器模块1176。在使用单独的处理器(例如，传感器集线器)的情况下，当处理器1120处于睡眠状态时，单独的处理器可以在不唤醒处理器1120的情况下操作以控制传感器模块1176的操作或状态的至少一部分。
根据本公开的实施方式，接口1177可以包括高清晰度多媒体接口(HDMI)、USB、光学接口、推荐标准232(RS-232)、D-超小型(D-sub)、移动高清链接(MHL)接口、SD卡/MMC接口或音频接口。连接器1178可以物理地连接电子装置1101与第三外部电子装置1106。根据实施方式，连接器1178可包括例如USB连接器、SD卡/MMC连接器，或音频连接器(例如，耳机连接器)。
触觉模块1179可以将电信号转换为机械刺激(例如，振动或运动)或电刺激。例如，触觉模块1179可以向用户施加触觉或动觉刺激。触觉模块1179可以包括例如电动机、压电元件或电刺激器。
相机模块1180可以捕获例如静止图像和运动图像。根据实施方式，相机模块1180可包括至少一个镜头(例如，广角镜头和远摄镜头，或前镜头和后镜头)、图像传感器、图像信号处理器或闪光灯(例如，发光二极管或氙灯)。
用于管理电子装置1101的功率的功率管理模块1188可以构成功率管理集成电路(PMIC)的至少一部分。
电池1189可以包括主电池、二次电池或燃料电池，并且可以通过外部电源再充电，以向电子装置1101的至少一个元件供电。
通信模块1190可以在电子装置1101与外部装置(例如，第一外部电子装置1102、第二外部电子装置1104或服务器1108)之间建立通信信道。通信模块1190可以通过建立的通信信道支持有线通信或无线通信。根据实施方式，通信模块1190可以包括无线通信模块1192或有线通信模块1194。通信模块1190可以通过第一网络1198(例如，例如蓝牙或红外数据关联(IrDA)的无线局域网)或第二网络1199(例如，例如蜂窝网络的无线广域网)通过无线通信模块1192或有线通信模块1194中的相关模块与外部装置(例如，第一外部电子装置1102、第二外部电子装置1104或服务器1108)通信。
无线通信模块1192可以支持例如蜂窝通信、本地无线通信和全球导航卫星系统(GNSS)通信。蜂窝通信可以包括例如长期演进(LTE)、LTE高级(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)或全球移动通信系统(GSM)。本地无线通信可以包括无线保真(Wi-Fi)、Wi-Fi直连、光保真(Li-Fi)、蓝牙、蓝牙低功耗(BLE)、Zigbee、近场通信(NFC)、磁安全传输(MST)、射频(RF)或体域网(BAN)。GNSS可以包括全球定位系统(GPS)、全球导航卫星系统(Glonass)、北斗导航卫星系统(Beidou)、欧洲全球卫星导航系统(Galileo)等中的至少一个。在本公开中，“GPS”和“GNSS”可以互换使用。
根据本公开的实施方式，当无线通信模块1192支持蜂窝通信时，无线通信模块1192可以例如使用订户识别模块(例如，SIM卡)1196来识别或认证通信网络内的电子装置1101。根据实施方式，无线通信模块1192可以包括与处理器1120分开的CP(例如，AP)。在此情况下，通信处理器可以当处理器1120处于非活动(睡眠)状态时代替处理器1120且当处理器1120处于活动状态时与处理器1120一起执行与电子装置1101的元件1110、1120、1130、1150、1160、1170、1176、1177、1179、1180、1188、1189、1190、1192、1194和1196中的至少一个相关联的功能的至少一部分。根据实施方式，无线通信模块1192可以包括多个通信模块，每个通信模块仅支持蜂窝通信、短程无线通信或GNSS通信方案中的相关通信方案。
有线通信模块1194可包括例如包括局域网(LAN)服务、电力线通信或普通老式电话服务(POTS)。
例如，第一网络1198可以采用例如Wi-Fi直连或蓝牙，以用于通过电子装置1101与第一外部电子装置1102之间的无线直接连接来发送或接收指令或数据。第二网络1199可以包括用于在电子装置1101与第二电子装置1104之间发送或接收指令或数据的电信网络(例如，例如LAN或WAN的计算机网络、因特网或电话网络)。
根据本公开的实施方式，可以通过与第二网络连接的服务器1108，在电子装置1101与第二外部电子装置1104之间发送或接收指令或数据。第一外部电子装置1102和第二外部电子装置1104中的每一个可以是类型与电子装置1101的类型不同或相同的装置。根据各种实施方式，电子装置1101将执行的全部或部分操作可以由另一个或多个电子装置(例如，第一外部电子装置1102和第二外部电子装置1104或服务器1108)执行。
根据本公开的实施方式，在电子装置1101自动地或响应于请求执行任何功能或服务的情况下，电子装置1101可以不在内部执行功能或服务，但是可以替代地或另外地将对与电子装置1101相关联的功能的至少一部分的请求发送到任何其他装置(例如，第一外部电子装置1102和第二外部电子装置或1104或服务器1108)。其他电子装置(例如，第一外部电子装置1102和第二外部电子装置1104或服务器1108)可以执行所请求的功能或附加功能，并且可以将执行结果发送到电子装置1101。电子装置1101可以使用所接收的结果来提供所请求的功能或服务，或者可以附加处理所接收的结果以提供所请求的功能或服务。为此，例如，可使用云计算、分布式计算或客户端服务器计算。
本公开的各种实施方式和在本文中使用的术语不试图将本公开中描述的技术限制于特定实施方式，并且应当理解，实施方式和术语包括在本文描述的相应实施方式的修改、等同和/或替代。关于附图的描述，相同的元件可由相同的参考标号指示。除非另有说明，否则表示为单数形式的术语可包括复数形式。在本文公开的公开内容中，本文使用的表达“A或B”、“A和/或B中的至少一个”、“A、B或C”，或“A、B和/或C中的至少一个”可以包括相关联的列出项目中的一个或多个的任何和所有组合。例如“第一”或“第二”等表达可以表达它们的元件而不管它们的优先级或重要性，并且可以用于将一个元件与另一个元件区分开，但不限于这些部件。当元件(例如，第一元件)被称为(操作性地或通信地)“与另一元件(例如，第二元件)联接”或“连接到另一元件”时，其可以直接与另一元件联接/联接或连接到另一元件，或者可以存在介入元件(例如，第三元件)。
根据情况，本文使用的表达“适于或被配置成”可以互换地用作例如表达“适用于”、“具有……能力”、“改变以”、“进行”、“能够”或“设计以”。相反，表达“被配置成……的装置”可以意指装置“能够”与另一装置或其他部件一起操作。例如，“被配置成(被设置成)执行A、B和C的处理器”可以意指用于执行对应操作的专用处理器(例如，嵌入式处理器)，或者通过执行存储在存储器装置(例如，存储器1130)中的一个或多个软件程序来执行对应操作的通用处理器(例如，CPU或应用处理器)。
本文使用的术语“模块”可以包括用硬件、软件或固件实施的单元，并且可以与术语“逻辑”、“逻辑块”、“部件”、“电路”等可互换地使用。“模块”可以是集成部件或其一部分的最小单元，或者可以是用于执行一个或多个功能或其一部分的最小单元。“模块”可以机械地或电子地实施，并且可以包括例如专用IC(ASIC)芯片、现场可编程门阵列(FPGA)和用于执行已知或将要开发的某些操作的可编程逻辑装置。
根据本公开的各种实施例，设备的至少一部分(例如，其模块或功能)或方法(例如，操作)可以例如由以程序模块的形式存储在计算机可读存储介质(例如，存储器1130)中的指令实施。所述指令在由处理器(例如，处理器1120)执行时可以致使处理器执行与所述指令对应的功能。计算机可读记录介质可以包括硬盘、软盘、磁性介质(例如，磁带)、光学介质(例如，压缩光盘只读存储器(CD-ROM)和数字多功能光盘(DVD))、磁光介质(例如，光磁盘)和嵌入式存储器。一个或多个指令可包含由编译器产生的代码或可由解释器执行的代码。
根据各种实施例的每个元件(例如，模块或程序模块)可以由单个实体或多个实体组成，上述子元件的一部分可以被省略或者还可以包括其他元件。替代地或另外地，在集成在一个实体中之后，一些元件(例如，模块或程序模块)可以在集成之前相同或类似地执行由每个对应元件执行的功能。根据各种实施方式，由模块、程序模块或其他元件执行的操作可以通过连续方法、并行方法、重复方法或启发式方法来执行，或者操作的至少一部分可以以不同的序列执行或者被省略。替代地，可以添加其他操作。
虽然已经参考本公开的各种实施例示出和描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求及其等同限定的本公开的精神和范围的情况下，可以在形式和细节上对其进行各种改变。

Claims (8)

1.一种电子装置，包括：
壳体；
显示器，通过所述壳体的至少一部分暴露；
麦克风；
扬声器；
通信电路；
处理器，电连接到所述显示器、所述麦克风、所述扬声器和所述通信电路；以及
存储器，电连接到所述处理器，
其中所述存储器配置成存储至少一个应用程序，以及
其中所述处理器在执行所述至少一个应用程序的指令时配置成：
接收第一用户输入，所述第一用户输入包括对执行第一任务的请求，所述第一任务需要用于运行的多个参数，所述第一用户输入遗漏所述多个参数中的至少一个参数，
通过所述通信电路将与所述第一用户输入相关的第一数据发送到外部服务器，
通过所述通信电路从所述外部服务器接收包括用于执行所述第一任务的多个单元操作的第一路径规则，
由所述电子装置执行包括所述多个单元操作中的一些而非全部的部分序列，同时通过所述显示器显示由执行所述部分序列而改变的状态中的至少一些，
在执行所述部分序列之后，显示第一图形用户界面GUI，所述第一GUI用于请求用户在所述显示器的一部分上提供所述至少一个参数，
基于从显示所述第一GUI起经过特定时间，显示包括第一按钮和第二按钮的第二GUI来代替显示所述第一GUI，其中所述第一按钮被停用并与所述第二按钮部分重叠，
在显示所述第二GUI之后，当在按下所述第二按钮之后接收到用于所述至少一个参数的第二用户输入时，激活所述第一按钮并将与所述至少一个参数有关的参数信息发送到所述外部服务器，
从所述外部服务器接收由所述外部服务器通过将所述参数信息应用或添加至所述第一路径规则而细化的第二路径规则，
基于所述第二路径规则，从所述第一路径规则中识别省略了所述至少一个参数的用于执行所述第一任务的单元操作，以及
基于所述第二路径规则，通过执行所述单元操作来执行所述第一任务。
2.根据权利要求1所述的电子装置，其中所述处理器还配置成：
在显示所述第一GUI之前，通过所述通信电路将作为所述部分序列的执行结果的、与所述电子装置的状态相关的第二数据发送到所述外部服务器。
3.根据权利要求1所述的电子装置，其中所述指令使所述处理器：在接收到所述第二用户输入之后移除所述第一GUI。
4.根据权利要求1所述的电子装置，其中所述处理器还配置成：
确定所述第二路径规则是否包括已为执行所述第一任务而执行的所述部分序列中的一些；以及
通过使用所述第二路径且同时不重复进行所述第一路径规则的所述部分序列来完成所述第一任务。
5.一种操作电子装置的语音辨识服务的方法，所述方法包括：
接收包括对执行第一任务的请求的第一用户输入，所述第一任务需要用于运行的多个参数，所述第一用户输入遗漏所述多个参数中的至少一个参数，
将与所述第一用户输入相关的第一数据发送到外部服务器，
从所述外部服务器接收包括用于执行所述第一任务的多个单元操作的第一路径规则，
由所述电子装置执行包括所述多个单元操作中的一些而非全部的部分序列，同时显示由执行所述部分序列而改变的状态中的至少一些，
在执行所述部分序列之后，显示第一图形用户界面GUI，所述第一GUI用于请求用户在所述电子装置的显示器的一部分上提供所述至少一个参数，
基于从显示所述第一GUI起经过特定时间，显示包括第一按钮和第二按钮的第二GUI来代替显示所述第一GUI，其中所述第一按钮被停用并与所述第二按钮部分重叠，
在显示所述第二GUI之后，当在按下所述第二按钮之后接收到用于所述至少一个参数的第二用户输入时，激活所述第一按钮并将与所述至少一个参数有关的参数信息发送到所述外部服务器，
从所述外部服务器接收由所述外部服务器通过将所述参数信息应用或添加至所述第一路径规则而细化的第二路径规则，
基于所述第二路径规则，从所述第一路径规则中识别省略了所述至少一个参数的用于执行所述第一任务的单元操作，以及
基于所述第二路径规则，通过执行所述单元操作来执行所述第一任务。
6.根据权利要求5所述的方法，还包括：
在接收到所述第二用户输入的时间点处赋予所述第二按钮以特定效果。
7.一种电子装置，包括：
显示器；
通信电路；
处理器，电连接到所述显示器和所述通信电路；以及
存储器，电连接到所述处理器，
其中所述存储器配置成存储至少一个应用程序，以及
其中所述处理器在执行所述至少一个应用程序的指令时配置成：
接收第一用户输入，所述第一用户输入包括对执行第一任务的请求，所述第一任务需要多个参数，所述第一用户输入遗漏所述多个参数中的至少一个参数，
通过所述通信电路将与所述第一用户输入相关的第一数据发送到外部服务器，
通过所述通信电路从所述外部服务器接收包括用于执行所述第一任务的多个单元操作的第一路径规则，
由所述电子装置执行包括所述多个单元操作中的一些而非全部的部分序列，同时通过所述显示器显示由执行所述部分序列而改变的状态中的至少一些，
在执行所述部分序列之后，显示图形用户界面GUI，所述第一GUI用于请求用户在所述显示器上提供所述至少一个参数，
基于从显示所述GUI起经过特定时间，显示包括第一按钮和第二按钮的另一GUI来代替显示所述GUI，其中所述第一按钮被停用并与所述第二按钮部分重叠，
在显示所述另一GUI之后，当在按下所述第二按钮之后接收到用于所述至少一个参数的另一用户输入时，激活所述第一按钮并将与所述至少一个参数有关的参数信息发送到所述外部服务器，
从所述外部服务器接收由所述外部服务器通过将所述参数信息应用或添加至所述第一路径规则而细化的另一路径规则，
基于所述另一路径规则，从所述第一路径规则中识别省略了所述至少一个参数的用于执行所述第一任务的单元操作，以及
基于所述另一路径规则，执行所识别的用于执行所述第一任务的单元操作。
8.一种包括指令的计算机可读介质，所述指令在由处理器执行时使所述处理器执行操作电子装置的语音辨识服务的方法，所述方法包括：
接收包括对执行第一任务的请求的第一用户输入，所述第一任务需要用于运行的多个参数，所述第一用户输入遗漏所述多个参数中的至少一个参数，
将与所述第一用户输入相关的第一数据发送到外部服务器，
从所述外部服务器接收包括用于执行所述第一任务的多个单元操作的第一路径规则，
由所述电子装置执行包括所述多个单元操作中的一些而非全部的部分序列，同时显示由执行所述部分序列而改变的状态中的至少一些，
在执行所述部分序列之后，显示第一图形用户界面GUI，所述第一GUI用于请求用户在所述电子装置的显示器的一部分上提供所述至少一个参数，
基于从显示所述第一GUI起经过特定时间，显示包括第一按钮和第二按钮的第二GUI来代替显示所述第一GUI，其中所述第一按钮被停用并与所述第二按钮部分重叠，
在显示所述第二GUI之后，当在按下所述第二按钮之后接收到用于所述至少一个参数的第二用户输入时，激活所述第一按钮并将与所述至少一个参数有关的参数信息发送到所述外部服务器，
从所述外部服务器接收由所述外部服务器通过将所述参数信息应用或添加至所述第一路径规则而细化的第二路径规则，
基于所述第二路径规则，从所述第一路径规则中识别省略了所述至少一个参数的用于执行所述第一任务的单元操作，以及
基于所述第二路径规则，通过执行所述单元操作来执行所述第一任务。
CN201880021912.3A 2017-03-28 2018-03-27 用于操作语音辨识服务的方法和支持其的电子装置 Active CN110476150B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020170039593A KR102416782B1 (ko) 2017-03-28 2017-03-28 음성 인식 서비스 운용 방법 및 이를 지원하는 전자 장치
KR10-2017-0039593 2017-03-28
PCT/KR2018/003616 WO2018182298A1 (en) 2017-03-28 2018-03-27 Method for operating speech recognition service and electronic device supporting the same

Publications (2)

Publication Number Publication Date
CN110476150A CN110476150A (zh) 2019-11-19
CN110476150B true CN110476150B (zh) 2023-12-29

Family

ID=63669507

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880021912.3A Active CN110476150B (zh) 2017-03-28 2018-03-27 用于操作语音辨识服务的方法和支持其的电子装置

Country Status (5)

Country Link
US (1) US11733964B2 (zh)
EP (1) EP3586333B1 (zh)
KR (1) KR102416782B1 (zh)
CN (1) CN110476150B (zh)
WO (1) WO2018182298A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180060328A (ko) * 2016-11-28 2018-06-07 삼성전자주식회사 멀티 모달 입력을 처리하는 전자 장치, 멀티 모달 입력을 처리하는 방법 및 멀티 모달 입력을 처리하는 서버
US11170768B2 (en) * 2017-04-17 2021-11-09 Samsung Electronics Co., Ltd Device for performing task corresponding to user utterance
EP4343534A3 (en) * 2018-08-23 2024-05-29 Google Llc Regulating assistant responsiveness according to characteristics of a multi-assistant environment
KR20200050373A (ko) * 2018-11-01 2020-05-11 삼성전자주식회사 전자 장치 및 그의 제어 방법
EP3647936B1 (en) * 2018-11-01 2024-02-21 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
KR20210110650A (ko) * 2018-12-28 2021-09-08 구글 엘엘씨 선택된 제안에 따라 자동 어시스턴트에 음성 입력 보충하기
JP7497652B2 (ja) * 2020-09-08 2024-06-11 コニカミノルタ株式会社 音声設定システム、音声設定支援装置および音声設定支援プログラム
TWI753576B (zh) * 2020-09-21 2022-01-21 亞旭電腦股份有限公司 用於音訊辨識的模型建構方法
US12039996B2 (en) * 2021-07-28 2024-07-16 Google Llc Dynamic adaptation of graphical user interface elements by an automated assistant as a user iteratively provides a spoken utterance, or sequence of spoken utterances
EP4150441A1 (en) * 2021-07-28 2023-03-22 Google LLC Dynamic adaptation of graphical user interface elements by an automated assistant as a user iteratively provides a spoken utterance, or sequence of spoken utterances
US12093293B2 (en) * 2022-02-28 2024-09-17 International Business Machines Corporation Synchronizing a sensor network and an ontology
CN116016578B (zh) * 2022-11-22 2024-04-16 中国第一汽车股份有限公司 一种基于设备状态和用户行为的智能语音引导方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1329739A (zh) * 1998-10-16 2002-01-02 艾利森电话股份有限公司 到服务应用程序上的用户接口的声音控制
CN101366075A (zh) * 2005-08-09 2009-02-11 移动声控有限公司 话音控制式无线通信装置系统的控制中心
KR20090115599A (ko) * 2008-05-02 2009-11-05 엘지전자 주식회사 이동 단말기 및 그 정보 처리방법
KR20130068303A (ko) * 2011-12-15 2013-06-26 포항공과대학교 산학협력단 음성 명령 수행장치, 이를 구비한 이동 단말기 및 음성 명령 수행방법
WO2014162703A1 (ja) * 2013-04-05 2014-10-09 株式会社デンソー 表示制御装置
CN105027197A (zh) * 2013-03-15 2015-11-04 苹果公司 训练至少部分语音命令系统

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020080163A1 (en) * 1998-02-23 2002-06-27 Morey Dale D. Information retrieval system
WO2002033541A2 (en) * 2000-10-16 2002-04-25 Tangis Corporation Dynamically determining appropriate computer interfaces
US7752546B2 (en) * 2001-06-29 2010-07-06 Thomson Licensing Method and system for providing an acoustic interface
US20030033153A1 (en) * 2001-08-08 2003-02-13 Apple Computer, Inc. Microphone elements for a computing system
US7693720B2 (en) * 2002-07-15 2010-04-06 Voicebox Technologies, Inc. Mobile systems and methods for responding to natural language speech utterance
ES2470976T3 (es) * 2003-09-12 2014-06-24 Open Tv, Inc. Método y sistema para controlar la grabación y reproducción de aplicaciones interactivas
US7707167B2 (en) * 2004-09-20 2010-04-27 Microsoft Corporation Method, system, and apparatus for creating a knowledge interchange profile
US7778632B2 (en) * 2005-10-28 2010-08-17 Microsoft Corporation Multi-modal device capable of automated actions
JP4810609B2 (ja) * 2006-06-13 2011-11-09 マイクロソフト コーポレーション サーチエンジンダッシュボード
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8190627B2 (en) 2007-06-28 2012-05-29 Microsoft Corporation Machine assisted query formulation
US8862622B2 (en) * 2007-12-10 2014-10-14 Sprylogics International Corp. Analysis, inference, and visualization of social networks
US10872322B2 (en) * 2008-03-21 2020-12-22 Dressbot, Inc. System and method for collaborative shopping, business and entertainment
US8190604B2 (en) * 2008-04-03 2012-05-29 Microsoft Corporation User intention modeling for interactive image retrieval
US8374986B2 (en) * 2008-05-15 2013-02-12 Exegy Incorporated Method and system for accelerated stream processing
US8073693B2 (en) * 2008-12-04 2011-12-06 At&T Intellectual Property I, L.P. System and method for pronunciation modeling
US8635068B2 (en) * 2008-12-23 2014-01-21 At&T Intellectual Property I, L.P. System and method for recognizing speech with dialect grammars
US20110172873A1 (en) * 2010-01-08 2011-07-14 Ford Global Technologies, Llc Emotive advisory system vehicle maintenance advisor
US10276170B2 (en) * 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US20120313854A1 (en) * 2011-06-10 2012-12-13 Rukman Senanayake Adaptable input/output device
US8682906B1 (en) * 2013-01-23 2014-03-25 Splunk Inc. Real time display of data field values based on manual editing of regular expressions
US10394946B2 (en) * 2012-09-07 2019-08-27 Splunk Inc. Refining extraction rules based on selected text within events
US10276157B2 (en) * 2012-10-01 2019-04-30 Nuance Communications, Inc. Systems and methods for providing a voice agent user interface
US9085303B2 (en) * 2012-11-15 2015-07-21 Sri International Vehicle personal assistant
KR101772152B1 (ko) * 2013-06-09 2017-08-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US10170123B2 (en) * 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
CN110797019B (zh) * 2014-05-30 2023-08-29 苹果公司 多命令单一话语输入方法
US9747896B2 (en) * 2014-10-15 2017-08-29 Voicebox Technologies Corporation System and method for providing follow-up responses to prior natural language inputs of a user
KR102298767B1 (ko) * 2014-11-17 2021-09-06 삼성전자주식회사 음성 인식 시스템, 서버, 디스플레이 장치 및 그 제어 방법
US9485265B1 (en) * 2015-08-28 2016-11-01 Palantir Technologies Inc. Malicious activity detection system capable of efficiently processing data accessed from databases and generating alerts for display in interactive user interfaces
US10223066B2 (en) * 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10249207B2 (en) * 2016-01-19 2019-04-02 TheBeamer, LLC Educational teaching system and method utilizing interactive avatars with learning manager and authoring manager functions
US10249300B2 (en) * 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10586535B2 (en) * 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10217462B2 (en) * 2016-08-31 2019-02-26 Microsoft Technology Licensing, Llc Automating natural language task/dialog authoring by leveraging existing content
US10276161B2 (en) * 2016-12-27 2019-04-30 Google Llc Contextual hotwords
DK201770383A1 (en) * 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US20180336275A1 (en) * 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US10176171B1 (en) * 2017-12-29 2019-01-08 Aiqudo, Inc. Language agnostic command-understanding digital assistant
US10909331B2 (en) * 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1329739A (zh) * 1998-10-16 2002-01-02 艾利森电话股份有限公司 到服务应用程序上的用户接口的声音控制
CN101366075A (zh) * 2005-08-09 2009-02-11 移动声控有限公司 话音控制式无线通信装置系统的控制中心
KR20090115599A (ko) * 2008-05-02 2009-11-05 엘지전자 주식회사 이동 단말기 및 그 정보 처리방법
KR20130068303A (ko) * 2011-12-15 2013-06-26 포항공과대학교 산학협력단 음성 명령 수행장치, 이를 구비한 이동 단말기 및 음성 명령 수행방법
CN105027197A (zh) * 2013-03-15 2015-11-04 苹果公司 训练至少部分语音命令系统
WO2014162703A1 (ja) * 2013-04-05 2014-10-09 株式会社デンソー 表示制御装置

Also Published As

Publication number Publication date
US20180285070A1 (en) 2018-10-04
EP3586333A4 (en) 2020-03-18
CN110476150A (zh) 2019-11-19
KR102416782B1 (ko) 2022-07-05
US11733964B2 (en) 2023-08-22
WO2018182298A1 (en) 2018-10-04
KR20180109625A (ko) 2018-10-08
EP3586333A1 (en) 2020-01-01
EP3586333B1 (en) 2023-04-26

Similar Documents

Publication Publication Date Title
CN110476150B (zh) 用于操作语音辨识服务的方法和支持其的电子装置
EP3396665B1 (en) Voice data processing method and electronic device supporting the same
US11955124B2 (en) Electronic device for processing user speech and operating method therefor
KR102414122B1 (ko) 사용자 발화를 처리하는 전자 장치 및 그 동작 방법
EP3593347B1 (en) Method for operating speech recognition service and electronic device supporting the same
US10788955B2 (en) Method for controlling display and electronic device supporting the same
EP3528243A1 (en) System for processing user utterance and controlling method thereof
CN109102802B (zh) 用于处理用户话语的系统
US11137978B2 (en) Method for operating speech recognition service and electronic device supporting the same
US11360791B2 (en) Electronic device and screen control method for processing user input by using same
CN108735208B (zh) 用于提供语音识别服务的电子设备及其方法
KR20190113130A (ko) 사용자 음성 입력을 처리하는 장치
US10929009B2 (en) Electronic device for outputting graphic indication
KR20180116725A (ko) 음성 인식 서비스의 운용 화면 표시 방법 및 이를 지원하는 전자 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant