CN116457874A - 用于理解自然语言的电子装置和参数获取方法 - Google Patents

用于理解自然语言的电子装置和参数获取方法 Download PDF

Info

Publication number
CN116457874A
CN116457874A CN202180068939.XA CN202180068939A CN116457874A CN 116457874 A CN116457874 A CN 116457874A CN 202180068939 A CN202180068939 A CN 202180068939A CN 116457874 A CN116457874 A CN 116457874A
Authority
CN
China
Prior art keywords
parameter
electronic device
processor
intent
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180068939.XA
Other languages
English (en)
Inventor
金基哲
卞周容
李钟源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020200129133A external-priority patent/KR20220046103A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN116457874A publication Critical patent/CN116457874A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G10L17/24—Interactive procedures; Man-machine interfaces the user being prompted to utter a password or a predefined phrase
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种电子装置。所述电子装置包括：显示器，其包括触摸屏；麦克风，其被配置为从用户接收语音输入；存储器，以及至少一个处理器。所述至少一个处理器操作地连接到所述显示器、所述麦克风和所述存储器，其中，所述至少一个处理器可以被配置为：基于通过对所述显示器的触摸输入而输入的文本或通过所述麦克风输入的语音输入，获取指令；获取与所述指令相对应的意图；识别为了执行与所获得的意图相对应的操作另外所需的至少一个参数；以及从存储在所述存储器中的至少一个应用获得所述另外所需的至少一个参数。

Description

用于理解自然语言的电子装置和参数获取方法
技术领域
本公开涉及一种电子装置。更具体地，本公开涉及一种通过用于获得诸如语音和文本等的用户输入的电子设备来获得自然语言理解(NLU)参数并输出NLU的处理结果的电子装置和方法。
背景技术
随着移动通信技术和处理器技术的发展，便携式电子装置(在下文，电子装置)可以实现除常规呼叫功能之外的各种功能。此外，各种平台可以基于人工智能或自然语言理解(NLU)为电子装置提供交互式服务，诸如语音助理或聊天机器人等。
用户可以通过借助于话音或文本对电子装置给出命令来执行期望的功能。例如，可以通过电子装置来提供用于执行指定的意图而不是简单对话的服务，诸如面向任务的聊天机器人。提供这种服务的人工智能(AI)引擎需要理解用户的命令、理解用户的意图，并获得所需的参数。
上述信息仅作为背景信息来呈现，并且以上信息仅用于帮助理解本公开。关于上述的任何一项是否可以适合于作为本公开的现有技术，没有作出判定，且没有作出断言。
发明内容
技术问题
AI引擎(例如，语音助理或聊天机器人)可能缺乏理解和处理来自用户的命令所需的参数。在这种情况下，为了获得所需的参数，AI引擎需要向用户发送另外的询问，并且需要用户作出适当的响应。这种不断向用户询问处理用户的命令所需的信息的过程可能会使用户感到疲劳，并且可能对用户的整体体验产生负面影响。
本公开的各方面将至少解决上述问题和/或缺点，并且至少提供下述优点。因此，本公开的一方面提供了一种电子装置和获得自然语言理解的参数的方法，该方法能够执行与用户输入相对应的功能，即使在缺乏从用户输入提取的意图所需的参数时，也无需另外的查询。
技术方案
附加的方面将在随后的描述中部分地阐述，并且部分地根据描述将是清楚的，或者可以通过所呈现的实施例的实践而被习得。
根据本公开的一方面，提供一种电子装置。所述电子装置包括：显示器，所述显示器包括触摸屏；麦克风，所述麦克风被配置为从用户接收语音输入；存储器；以及，至少一个处理器，所述至少一个处理器被配置为操作地连接到所述显示器、所述麦克风和所述存储器。其中，所述至少一个处理器可以被配置为：基于通过对所述显示器的触摸输入而输入的文本或通过所述麦克风输入的语音输入，获得指令；获得与所述指令相对应的意图；识别为了执行与所获得的意图相对应的操作另外所需的至少一个参数；以及从存储在所述存储器中的至少一个应用获得所述另外所需的至少一个参数。
根据本公开的另一个方面，提供了一种由电子装置获得用于自然语言理解的参数的方法。所述方法包括：基于来自用户的触摸输入或语音输入来获得指令，获得与所述指令相对应的意图，识别为了执行与所获得的意图相对应的操作另外所需的至少一个参数，以及从至少一个应用获得所述另外所需的至少一个参数。
技术效果
根据本公开的各个方面，可以提供一种电子装置和获得用于自然语言理解的参数的方法，该方法能够执行与用户输入相对应的功能，即使在缺乏从用户输入提取的意图所需的参数时，也无需另外的查询。
根据结合附图公开了本公开的各个实施例的以下详细描述，本公开的其他效果、优点和显著的特征将对于本领域技术人员变得清楚。
附图说明
根据结合附图所进行的以下描述，本公开的某些实施例的上述及其他方面、特征和优点将变得更清楚，在附图中：
图1是示出了根据本公开的实施例的网络环境中的电子装置的框图。
图2是示出了根据本公开的实施例的集成智能系统的框图。
图3示出了根据本公开的实施例的关于概念与操作之间的关系的信息存储在数据库中的形式。
图4示出了根据本公开的实施例的形成集成智能系统的装置。
图5示出了根据本公开的实施例的向用户请求NLU参数的情况。
图6是示出了根据本公开的实施例的电子装置的框图。
图7示出了根据本公开的实施例的集成智能系统的体系结构。
图8示出了根据本公开的实施例的AI引擎被嵌入在电子装置中的情况。
图9示出了根据本公开的实施例的请求所需的参数的示例。
图10示出了根据本公开的实施例的AI引擎向应用请求并从应用接收参数信息的示例。
图11是示出了根据本公开的实施例的获得参数的方法的流程图。
图12示出了根据本公开的实施例的集成智能系统的体系结构。
图13示出了根据本公开的实施例的注册和批准电子装置应用的操作。
图14示出了根据本公开的实施例的在电子装置中推荐参数的画面。
图15示出了根据本公开的实施例的多个应用在电子装置中提供另外的参数的画面。
图16示出了根据本公开的实施例的注册所需的参数的示例。
图17示出了根据本公开的实施例的注册用于提供参数的应用信息的示例。
图18是示出了根据本公开的实施例的获得用于基于自然语言理解提供智能服务的参数的方法的流程图。
贯穿整个附图，应当注意的是，相同的附图标记用来表示相同的或类似的元件、特征和结构。
具体实施方式
提供参考附图的以下描述以帮助全面理解如权利要求及其等同形式所限定的本公开的各种实施例。它包括各种特定细节以帮助进行理解，但是这些将被认为仅仅是示例性的。因此，本领域技术人员将认识到，可以对本文描述的各种实施例进行各种改变和修改，而不会背离本公开的范围和精神。另外，为了清楚和简明，可以省略对众所周知的功能和构造的描述。
在以下描述和权利要求中使用的术语和词语不限于书面上的含义，而是仅用于使得能够清楚和一致地理解本公开。因此，对本领域的技术人员应当清楚的是，提供本公开的各种实施例的以下描述仅用于说明的目的，而不是为了限制如所附权利要求及其等同形式所限定的本公开。
应当理解，单数形式“一”和“该”包括复数指示物，除非上下文另有明确的其他指示。由此，例如，对“一组件表面”的引用包括对一个或更多个这样的表面的引用。
图1是示出了根据各种实施例的网络环境100中的电子装置101的框图。参考图1，网络环境100中的电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108中的至少一个进行通信。根据实施例，电子装置101可经由服务器108与电子装置104进行通信。根据实施例，电子装置101可包括处理器120、存储器130、输入模块150、声音输出模块155、显示模块160、音频模块170、传感器模块176、接口177、连接端178、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中，可从电子装置101中省略上述部件中的至少一个(例如，连接端178)，或者可将一个或更多个其它部件添加到电子装置101中。在一些实施例中，可将上述部件中的一些部件(例如，传感器模块176、相机模块180或天线模块197)实现为单个集成部件(例如，显示模块160)。
处理器120可运行例如软件(例如，程序140)来控制电子装置101的与处理器120连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少部分，处理器120可将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据存储到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可包括主处理器121(例如，中央处理器(CPU)或应用处理器(AP))或者与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(GPU)、神经处理单元(NPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。例如，当电子装置101包括主处理器121和辅助处理器123时，辅助处理器123可被适配为比主处理器121耗电更少，或者被适配为专用于特定的功能。可将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。
在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123(而非主处理器121)可控制与电子装置101的部件之中的至少一个部件(例如，显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如，显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。根据实施例，辅助处理器123(例如，神经处理单元)可包括专用于人工智能模型处理的硬件结构。可通过机器学习来生成人工智能模型。例如，可通过人工智能被执行之处的电子装置101或经由单独的服务器(例如，服务器108)来执行这样的学习。学习算法可包括但不限于例如监督学习、无监督学习、半监督学习或强化学习。人工智能模型可包括多个人工神经网络层。人工神经网络可以是深度神经网络(DNN)、卷积神经网络(CNN)、循环神经网络(RNN)、受限玻尔兹曼机(RBM)、深度置信网络(DBN)、双向循环深度神经网络(BRDNN)或深度Q网络或其两个或更多个的组合，但不限于此。另外地或可选地，人工智能模型可包括除了硬件结构以外的软件结构。
存储器130可存储由电子装置101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统(OS)142、中间件144或应用146。
输入模块150可从电子装置101的外部(例如，用户)接收将由电子装置101的其它部件(例如，处理器120)使用的命令或数据。输入模块150可包括例如麦克风、鼠标、键盘、键(例如，按钮)或数字笔(例如，手写笔)。
声音输出模块155可将声音信号输出到电子装置101的外部。声音输出模块155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的。接收器可用于接收呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。
显示模块160可向电子装置101的外部(例如，用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示模块160可包括被适配为检测触摸的触摸传感器或被适配为测量由触摸引起的力的强度的压力传感器。
音频模块170可将声音转换为电信号，反之亦可。根据实施例，音频模块170可经由输入模块150获得声音，或者经由声音输出模块155或与电子装置101直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置102)的耳机输出声音。
传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施例，接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可包括连接器，其中，电子装置101可经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施例，连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可包括例如电机、压电元件或电刺激器。
相机模块180可捕获静止图像或运动图像。根据实施例，相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可管理对电子装置101的供电。根据实施例，可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。
电池189可对电子装置101的至少一个部件供电。根据实施例，电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如，长距离通信网络，诸如传统蜂窝网络、5G网络、下一代通信网络、互联网或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
无线通信模块192可支持在4G网络之后的5G网络以及下一代通信技术(例如新无线电(NR)接入技术)。NR接入技术可支持增强型移动宽带(eMBB)、大规模机器类型通信(mMTC)或超可靠低延时通信(URLLC)。无线通信模块192可支持高频带(例如，毫米波带)以实现例如高数据传输速率。无线通信模块192可支持用于确保高频带上的性能的各种技术，诸如例如波束成形、大规模多输入多输出(大规模MIMO)、全维MIMO(FD-MIMO)、阵列天线、模拟波束成形或大规模天线。无线通信模块192可支持在电子装置101、外部电子装置(例如，电子装置104)或网络系统(例如，第二网络199)中指定的各种要求。根据实施例，无线通信模块192可支持用于实现eMBB的峰值数据速率(例如，20Gbps或更大)、用于实现mMTC的丢失覆盖(例如，164dB或更小)或者用于实现URLLC的U平面延迟(例如，对于下行链路(DL)和上行链路(UL)中的每一个为0.5ms或更小，或者1ms或更小的往返)。
天线模块197可将信号或电力发送到电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块197可包括天线，所述天线包括辐射元件，所述辐射元件由形成在基底(例如，印刷电路板(PCB))中或形成在基底上的导电材料或导电图案构成。根据实施例，天线模块197可包括多个天线(例如，阵列天线)。在这种情况下，可由例如通信模块190(例如，无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据实施例，除了辐射元件之外的另外的组件(例如，射频集成电路(RFIC))可附加地形成为天线模块197的一部分。
根据各种实施例，天线模块197可形成毫米波天线模块。根据实施例，毫米波天线模块可包括印刷电路板、射频集成电路(RFIC)和多个天线(例如，阵列天线)，其中，RFIC设置在印刷电路板的第一表面(例如，底表面)上，或与第一表面相邻并且能够支持指定的高频带(例如，毫米波带)，所述多个天线设置在印刷电路板的第二表面(例如，顶部表面或侧表面)上，或与第二表面相邻并且能够发送或接收指定高频带的信号。
上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。
根据实施例，可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102或电子装置104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。根据实施例，将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术、移动边缘计算(MEC)技术或客户机-服务器计算技术。电子装置101可使用例如分布式计算或移动边缘计算来提供超低延迟服务。在另一实施例中，外部电子装置104可包括物联网(IoT)装置。服务器108可以是使用机器学习和/或神经网络的智能服务器。根据实施例，外部电子装置104或服务器108可被包括在第二网络199中。电子装置101可应用于基于5G通信技术或IoT相关技术的智能服务(例如，智能家居、智能城市、智能汽车或医疗保健)。
根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例，电子装置不限于以上所述的那些电子装置。
应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可用来指代相似或相关的元件。将理解的是，与术语相应的单数形式的名词可包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
如与本公开的各种实施例关联使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(ASIC)的形式来实现模块。
可将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子装置101)读取的一个或更多个指令的软件(例如，程序140)。例如，在处理器的控制下，所述机器(例如，电子装置101)的处理器(例如，处理器120)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施例，可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可经由应用商店(例如，Play StoreTM)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个用户装置(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品中的至少部分可以是临时产生的，或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施例，上述部件中的每个部件(例如，模块或程序)可包括单个实体或多个实体，并且多个实体中的一些实体可分离地设置在不同的部件中。根据各种实施例，可省略上述部件中的一个或更多个部件，或者可添加一个或更多个其它部件。可选择地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各种实施例，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例，由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略，或者可添加一个或更多个其它操作。
图2是示出了根据本公开的实施例的集成智能系统的框图。
参考图2，根据实施例的集成智能系统可以包括用户终端210、智能服务器230和服务服务器250。
实施例的用户终端210可以是能够连接到因特网的终端装置(或电子装置)，例如，移动电话、智能电话、个人数字助理(PDA)、笔记本计算机、TV、家用电器、可穿戴装置、HMD或智能扬声器。
根据所示的实施例，用户终端210可以包括通信接口213、麦克风212、扬声器216、显示器211、存储器215和/或至少一个处理器214。列出的组件可以可操作地连接到彼此或电连接到彼此。用户终端210可以包括图1的电子装置100的组件和/或功能中的至少一些。
根据实施例的通信接口213可以被配置为连接到外部装置以发送和接收数据。根据实施例的麦克风212可以接收声音(例如，用户的话音)，并且可以将声音转换为电信号。根据实施例的扬声器216可以将电信号输出为声音(例如，语音)。根据实施例的显示器211可以被配置为显示图像或视频。此外，根据实施例的显示器211可以显示运行的应用(或应用程序)的图形用户界面(GUI)。
根据实施例的存储器215可以存储客户端模块218、软件开发套件(SDK)217以及多个应用219a和219b。客户端模块218和SDK 217可以形成用于执行通用功能的框架(或解决方案程序)。此外，客户端模块218或SDK 217可以形成用于处理语音输入的框架。
根据实施例的存储器215中的多个应用219a和219b可以是用于执行指定的功能的程序。根据实施例，多个应用可以包括第一应用219a和第二应用219b。根据实施例，多个应用219a和219b中的每一者可以包括用于执行指定的功能的多个操作。例如，应用219a和219b可以包括警报应用、消息应用和/或日程应用。根据实施例，可以通过至少一个处理器214执行多个应用219a和219b以依次执行多个操作中的至少一些操作。
根据实施例的至少一个处理器214可以控制用户终端210的总体操作。例如，至少一个处理器214可以电连接到通信接口213、麦克风212、扬声器216和显示器211以执行指定的操作。
根据实施例的至少一个处理器214也可以执行存储在存储器215中的程序以执行指定的功能。例如，至少一个处理器214可以执行客户端模块218或SDK 217中的至少一者以执行用于处理语音输入的以下操作。至少一个处理器214可以例如通过SDK 217来控制多个应用219a和219b的操作。在以下将被描述为客户端模块218或SDK 217的操作的操作可以是由至少一个处理器214执行的操作。
根据实施例的客户端模块218可以接收语音输入。例如，客户端模块218可以接收与通过麦克风212检测到的用户的话音相对应的语音信号。客户端模块218可以向智能服务器230发送接收到的语音输入。客户端模块218可以将关于用户终端210的状态信息与接收到的语音输入一起发送给智能服务器230。状态信息例如可以是关于应用的执行状态信息。
根据实施例的客户端模块218也可以接收与接收到的语音输入相对应的结果。例如，当智能服务器230可以产生与接收到的语音输入相对应的结果时，客户端模块218可以接收与接收到的语音输入相对应的结果。客户端模块218可以将接收到的结果显示在显示器211上。
根据实施例的客户端模块218也可以接收与接收到的语音输入相对应的计划。客户端模块218可以在显示器211上显示根据计划执行应用的多个操作的结果。例如，客户端模块218可以在显示器211上依次显示执行多个操作的结果。在另一个示例中，用户终端210可以在显示器211上仅显示执行多个操作的结果中的一些结果(例如，执行最后操作的结果)。
根据实施例，客户端模块218也可以从智能服务器230接收用于获得产生与语音输入相对应的结果所需的信息的请求。根据实施例，客户端模块218可以响应于该请求向智能服务器230发送所需信息。
根据实施例的客户端模块218可以向智能服务器230发送关于根据计划执行多个操作的结果的信息。智能服务器230可以利用关于结果的信息识别出接收到的语音输入已经被适当地处理。
根据实施例的客户端模块218可以包括语音识别模块。根据实施例，客户端模块218可以通过语音识别模块来识别用于执行有限功能的语音输入。例如，客户端模块218可以执行用于处理语音输入的智能应用，以用于通过指定的输入(例如，醒来！)来执行有机(organic)操作。
根据实施例的智能服务器230可以通过通信网络从用户终端210接收与用户语音输入相关的信息。根据实施例，智能服务器230可以将与接收到的语音输入相关的数据改变为文本数据。根据实施例，智能服务器230可以基于文本数据来生成用于执行与用户语音输入相对应的任务的计划。
根据一个实施例，计划可以由人工智能(AI)系统来生成。人工智能系统可以是基于规则的系统或基于神经网络的系统(例如，前馈神经网络(FNN))或循环神经网络(RNN)。或者，人工智能系统可以是上述系统或不同人工智能系统的组合。根据实施例，计划可以是从预定义的计划的集合中选择的，或可以响应于用户请求被实时地生成。例如，人工智能系统可以从多个预定义的计划之中至少选择该计划。
根据实施例的智能服务器230可以向用户终端210发送根据所生成的计划的结果或者可以向用户终端210发送所生成的计划。根据实施例，用户终端210可以在显示器211上显示根据计划的结果。根据实施例，用户终端210可以在显示器211上显示根据计划执行操作的结果。
根据实施例的智能服务器230可以包括前端231、自然语言平台232、胶囊数据库(DB)238、执行引擎233、端用户接口234、管理平台235、大数据平台236、和/或分析平台237。
根据实施例的前端231可以接收经由网络240从用户终端210接收到的语音输入。前端231可以发送与语音输入相对应的响应。
根据实施例，自然语言平台232可以包括自动语音识别模块(ASR模块)232a、自然语言理解模块(NLU模块)232b、规划模块232c、自然语言生成模块(NLG模块)232d和/或文本至语音模块(TTS模块)232e。
根据实施例的ASR模块232a可以将从用户终端210接收到的语音输入转换为文本数据。根据实施例的NLU模块232b可以使用语音输入的文本数据来理解用户的意图。例如，NLU模块232b可以通过执行语法分析或语义分析来理解用户的意图。根据实施例的NLU模块232b可以使用语素或短语的语言特征(例如，语法元素)来理解从语音输入中提取的词语的含义，并且可以通过将所理解的词语的含义与意图进行匹配来确定用户的意图。
根据实施例的规划模块232c可以使用由NLU模块232b确定的意图生成计划以及生成参数。根据实施例，规划模块232c可以基于确定的意图来确定执行任务所需的多个域。规划模块232c可以确定分别包括在基于意图确定的多个域中的多个操作。根据实施例，规划模块232c可以确定执行多个确定的操作所需的参数或通过执行多个操作输出的结果值。参数和结果值可以被定义为指定格式(或类)的概念。因此，计划可以包括通过用户的意图确定的多个操作以及多个概念。规划模块232c可以按级(或分层次地)确定多个操作与多个概念之间的关系。例如，规划模块232c可以基于多个概念来确定基于用户的意图确定的多个操作的执行顺序。也就是说，规划模块232c可以基于执行多个操作所需的参数来确定多个操作的执行顺序，以及确定通过执行多个操作输出的结果。因此，规划模块232c可以生成包括多个操作与多个概念之间的关联信息(例如，本体论)的计划。规划模块232c可以使用存储在胶囊数据库中的信息生成计划，在该胶囊数据库中存储有概念与操作之间的关系的集合。
根据实施例的NLG模块232d可以将指定的信息改变为文本形式。改变为文本形式的信息可以是自然语言话音的形式。根据实施例的TTS模块232e可以将文本形式的信息改变为语音形式的信息。
根据实施例，自然语言平台232的一些或所有功能也可以实现在用户终端210中。
胶囊数据库可以存储与多个域相对应的关于多个概念和多个操作之间的关系的信息。根据实施例的胶囊可以包括计划中所包括的多个动作对象(或若干条动作信息)和多个概念对象(若干条概念信息)。根据实施例，胶囊数据库可以存储概念动作网络(CAN)形式的多个胶囊。根据实施例，多个胶囊可以被存储在胶囊数据库中所包括的功能注册表中。
胶囊数据库可以包括策略注册表，该策略注册表存储确定与语音输入相对应的计划所需的策略信息。策略信息可以包括用于当存在与语音输入相对应的多个计划时确定一个计划的参考信息。根据实施例，胶囊数据库可以包括后续操作注册表，该后续注册表存储在指定的情形中用于向用户建议后续操作的关于后续操作的信息。后续操作例如可以包括随后的话音。根据实施例，胶囊数据库可以包括布局注册表，该布局注册表存储关于通过用户终端210输出的信息的布局信息。根据实施例，胶囊数据库可以包括词汇注册表，该词汇注册表存储胶囊信息中所包括的词汇信息。根据实施例，胶囊数据库可以包括对话注册表，该对话注册表存储关于与用户的对话(或交互)的信息。胶囊数据库可以通过开发工具来更新存储的对象。开发工具可以包括例如用于更新动作对象或概念对象的功能编辑器。开发工具可以包括用于更新词汇的词汇编辑器。开发工具可以包括策略编辑器，该策略编辑器用于生成和注册用于确定计划的策略。开发工具可以包括对话编辑器，该对话编辑器生成与用户的对话。开发工具可以包括后续编辑器，该后续编辑器能够激活随后的目标并对提供提示的随后的话音进行编辑。随后的目标可以基于当前设置的目标、用户偏好或环境条件来确定。在实施例中，胶囊数据库也可以实现在用户终端210中。
根据实施例的执行引擎233可以利用所生成的计划来产生结果。端用户接口234可以向用户终端210发送所产生的结果。因此，用户终端210可以接收结果，并且可以将接收到的结果提供给用户。根据实施例的管理平台235可以管理在智能服务器230中使用的信息。根据实施例的大数据平台236可以收集用户数据。根据实施例的分析平台237可以管理智能服务器230的服务质量(QoS)。例如，分析平台237可以管理智能服务器230的组件和处理速度(或效率)。
根据实施例的服务服务器250可以向用户终端210提供指定的服务(例如，食品配送服务或酒店预订服务)，例如包括CP服务A 251、CP服务B 252、和/或CP服务C 253。根据实施例，服务服务器250可以是由第三方运行的服务器。根据实施例的服务服务器250可以向智能服务器230提供用于生成与接收到的语音输入相对应的计划的信息。提供的信息可以被存储在胶囊数据库中。此外，服务服务器250可以向智能服务器230提供根据计划的结果信息。
在上述集成智能系统中，用户终端210可以响应于用户输入向用户提供各种智能服务。用户输入例如可以包括通过物理按钮的输入、触摸输入或语音输入。
在实施例中，用户终端210可以通过存储于其中的智能应用(或语音识别应用)来提供语音识别服务。在这种情况下，例如用户终端210可以识别通过麦克风212接收到的用户话音或语音输入，并且可以向用户提供与识别出的语音输入相对应的服务。
在实施例中，用户终端210可以基于接收到的语音输入单独地或与智能服务器230和/或服务服务器250一起执行指定的操作。例如，用户终端210可以执行与接收到的语音输入相对应的应用，并且可以通过所执行的应用来执行指定的操作。
在实施例中，当用户终端210与智能服务器230和/或服务服务器250一起提供服务时，用户终端210可以利用麦克风212检测用户话音并且可以生成与检测到的用户语音相对应的信号(或语音数据)。用户终端210可以利用通信接口213向智能服务器230发送语音数据。
根据实施例的智能服务器230可以在从用户终端210接收到语音输入时生成用于执行与语音输入相对应的任务的计划或根据计划执行操作的结果。计划可以包括例如用于执行与用户的语音输入相对应的任务的多个操作以及与多个操作相关的多个概念。概念可以定义为执行多个操作所输入的参数或通过执行多个操作输出的结果值。计划可以包括关于多个操作与多个概念之间的关联的信息。
根据实施例的用户终端210可以利用通信接口213接收响应。用户终端210可以利用扬声器216向外部输出在用户终端210内部生成的音频信号，或者可以利用显示器211向外部输出在用户终端210内部生成的图像。
尽管图2示出了在智能服务器230中执行对从用户终端接收到的语音输入210的语音识别、自然语言理解和生成、以及使用计划产生结果的示例，但本公开的各种实施例不限于此。例如，智能服务器230的至少一些组件(例如，自然语言平台232、执行引擎233和胶囊数据库238)可以嵌入在用户终端210(或图1的电子装置101)中，并且其操作可以由用户终端210来执行。
图3示出了根据本公开的实施例的关于概念与操作之间的关系的信息存储在数据库中的形式。
智能服务器(例如，图2的智能服务器230)的胶囊数据库(例如，图2的胶囊数据库238)可以存储概念动作网络(CAN)形式的胶囊。胶囊数据库可以以概念动作网络(CAN)的形式存储处理与来自用户的语音输入相对应的任务的操作和操作所需的参数。
参考图3，胶囊数据库300可以存储分别与多个域(例如，应用)相对应的多个胶囊(胶囊A 310和胶囊B 320)。也可以提供另外的或替代的胶囊333和334。根据实施例，一个胶囊(例如，胶囊A 310)可以对应于一个域(例如，位置(geo)或应用)。此外，一个胶囊可以对应于用于执行与胶囊相关的域的功能的至少一个服务提供者(例如，CP 1 331或CP 2332)。根据实施例，一个胶囊可以包括用于执行指定的功能的至少一个操作350和至少一个概念360。
自然语言平台(例如，图2的自然语言平台232)可以利用存储在胶囊数据库中的胶囊来生成用于执行与接收到的语音输入相对应的任务的计划。例如，自然语言平台的规划模块(例如，图2的规划模块232c)可以利用存储在胶囊数据库中的胶囊来生成计划。例如，可以利用胶囊A 310的操作311和313和概念312和314以及胶囊B 320的操作321和概念322来生成计划。
图4示出了根据本公开的实施例的形成集成智能系统的装置。
参考图4，集成智能系统可以包括电子装置410(例如，图2的用户终端210)和智能服务器420(例如，图2的智能服务器230)。电子装置410和智能服务器420可以通过网络发送和接收数据。
根据各种实施例，在执行智能服务应用(例如，语音助理或聊天机器人)的情况下，电子装置410可以获得根据来自用户490的输入的指令。例如，用户490可以在电子装置410的显示器上通过触摸输入来输入文本或可以通过麦克风输入语音。
根据各种实施例，电子装置410或智能服务器420可以从用户490的指令识别用户490的意图，可以确定用于执行与意图相对应的操作的参数，并且可以在执行意图的域上执行与意图相对应的操作。
根据各种实施例，域是执行与指令相对应的操作的代理，并且可以包括应用、子任务、包括在平台中的播放机，或服务。意图可以包括关于输入指令的用户490要求哪个操作的意向。
参数可以是执行指定的意图的操作所需的至少一个变量的值。例如，当电子装置410的用户490说出“请从商店A订购咖啡”时，域可以是商店A执行对应操作的订购应用，意图可以是订购咖啡，或者参数可以是咖啡。在另一个示例中，当用户490说出“显示最后的文本消息”时，域可以是管理文本消息的联系人应用，并且意图可以是文本消息输出。域、意图和参数不限于上述定义，并且可以由智能服务中可用的不同术语来替换。
在下文中，处理诸如确定意图、参数和域和/或执行操作等的功能的硬件和/或软件组件的集合将被定义为人工智能引擎(AI)。AI引擎可以被配置在智能服务器420(例如，图7的智能服务器750)中或可以嵌入在电子装置410(例如，图8的AI引擎850)上。在AI引擎被配置在智能服务器420中的实施例和AI引擎被配置在电子装置410中的实施例中的每一者中，AI引擎的至少一些组件和/或功能可以被配置在不同的装置中。AI引擎可以包括图2的自然语言平台232、执行引擎233、管理平台235、大数据平台236、分析平台237和胶囊数据库238中的至少一些。
根据各种实施例，可能不存在充足的参数来执行由用户490通过电子装置410输入的指令中的意图的操作。例如，当用于执行指定的意图的操作的参数是日期、时间和地点，但是用户490仅通过文本或语音输入了日期和地点时，可能还需要时间参数以执行操作。
图5示出根据本公开的实施例的向用户请求NLU参数的情况。
参考图5，在执行智能服务应用的情况下，用户590可以说出“告诉我足球赛的结果”(511)。AI引擎580可以利用语音识别模块(例如，图2的ASR模块232a)将来自用户590的语音输入转换为文本数据，并且可以利用自然语言理解模块(例如，图2的NLU模块232b)识别用户590的意图和执行意图的操作所需的参数。
例如，AI引擎580可以将足球比赛结果检索识别为与话音相对应的意图，并将团队名称(Team_Name)和日期信息(Date)识别为所需的参数。在这种情况下，因为团队名称和日期信息都不存在于从用户590的话音中提取的参数中并且由于缺乏参数而不能执行意图，所以AI引擎580可以确定团队名称和日期信息为另外所需的参数512。
根据实施例，AI引擎580可以通过电子装置的显示器(例如，图1的显示器模块160)或扬声器(例如，图1的声音输出模块155)输出用于获得另外所需的参数512的查询513。
用户590可以响应于电子装置的查询513而另外说出“三星队”作为与团队名称有关的信息(521)。AI引擎580可以通过分析用户590的另外的话音来另外获得团队名称参数。然而，AI引擎580可以在用户590的初始话音511和另外的话音521中识别出还需要足球比赛结果检索的意图所需的参数之中的日期信息。AI引擎580可以进一步输出用于获得另外所需的参数的查询523。
用户590可以响应于电子装置的查询523，说出带有与日期有关的信息的“5月5日的比赛”(531)。AI引擎580可以通过分析用户590的另外的话音531来另外获得日期信息参数。AI引擎580可以识别出获得了足球比赛结果检索的意图所需的所有参数(532)，并且可以在与意图相对应的域(例如，因特网检索)上识别三星队在5月5日的足球比赛结果。
AI引擎580可以输出指示正在进行与意图相对应的操作的消息533，并且当获得了执行操作的结果值时，AI引擎580可以通过显示器或扬声器输出结果(534)。
参考图5，AI引擎580可以识别意图和执行意图的操作所需的参数，并且当由用户590输入的指令中不存在识别的所需的参数时，可以另外从另外的查询和用户590的随后的另外的话音获得参数。这种不断向用户590询问智能服务所需的信息的过程可能会导致用户感到疲劳，并且可能对用户590的整体体验产生负面影响。
根据各种实施例，在图5的示例中，电子装置可以在即使没有另外的查询513和523的情况下也获得执行意图的操作所需的参数，并且可以执行意图的操作。在下文中，将参考图6至图18对本公开的各种实施例进行详细地描述。
图6是示出了根据本公开的实施例的电子装置的框图。
参考图6，电子装置600可以包括显示器620、麦克风630、收发器或其他通信模块640、存储器650和至少一个处理器610。在本公开的各种实施例中，可以省略或替换一些所示的组件。电子装置600可以包括图1的电子装置101的至少一些组件和/或功能和/或图2的用户终端210。电子装置600的至少一些示出(或未示出的)组件可以操作地、在功能上和/或电连接。
根据各种实施例，显示器620可以在至少一个处理器610的控制下显示各种图像。例如，显示器620可以被配置为液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、微电子机械系统(MEMS)显示器或电子纸显示器中的一者，但是不限于此。显示器620可以被配置为检测利用用户的身体部分(例如，手指)或输入装置(例如，手写笔)输入的触摸和/或接近触摸(或悬停)的触摸屏。显示器620可以包括图1的显示模块160的至少一些组件和/或功能和/或图2的显示器211。
根据各种实施例，麦克风630可以收集诸如用户的语音等的外部声音，并且可以将外部声音转换为作为数字数据的语音信号。根据各种实施例，电子装置600可以将麦克风630包括在壳体(未示出)的一部分中，或可以接收通过有线方式/无线方式连接的外部麦克风630收集的语音信号。
根据各种实施例，通信模块640可以通过无线网络(例如，4G(或长期演进(LTE))网络或5G(或新无线(NR))网络)与外部装置(例如，图4的智能服务器420)进行通信。通信模块640可以包括图1的通信模块190的至少一些组件和/或功能和/或图2的通信接口213。
根据各种实施例，存储器650可以包括易失性存储器和非易失性存储器，并且可以暂时地或永久地存储各种类型的数据。存储器650可以包括图1的存储器130的至少一些组件和/或功能和/或图2的存储器215，并且可以存储图1的程序140。存储器650可以存储支持智能服务的各种应用(例如，图2的第一应用219a和第二应用219b)和客户端模块(例如，图2的客户端模块218)。
存储器650可以存储可以由至少一个处理器610执行的各种指令。指令可以包括可以由至少一个处理器610识别出的用于算术和逻辑运算、数据传送和/或输入/输出的控制命令。
根据各种实施例，至少一个处理器610是能够执行用于电子装置600的每一个组件的控制和/或通信的操作或数据处理的组件，并且可以包括一个或更多个处理器。至少一个处理器610可以包括图1的至少一个处理器120的至少一些组件和/或功能和/或图2的至少一个处理器214。
根据各种实施例，尽管至少一个处理器610可以在电子装置600中实现的操作和数据处理功能不受限制，但在下文描述了用于从应用(或域)获得智能服务所需的参数的各种实施例。可以通过加载存储在存储器650中的指令来执行至少一个处理器610的以下操作。
根据各种实施例，至少一个处理器610可以执行提供智能服务的应用(例如，语音助理或聊天机器人)。至少一个处理器610可以利用所执行的应用来接收用户输入并且可以基于用户输入获得指令。例如，至少一个处理器610可以通过麦克风630接收用户的语音输入或可以通过显示器620(例如，触摸屏)上的触摸输入来获得文本输入。
根据各种实施例，至少一个处理器610可以通过显示器620和/或扬声器输出与由用户输入的指令相对应的结果值。生成与用户的指令相对应的结果值的操作可以由人工智能(AI)引擎来执行，并且AI引擎可以被配置在智能服务器上，或可以嵌入在电子装置600中。
首先，将描述一个实施例，其中AI引擎被配置在电子装置600中，并且因此至少一个处理器610通过AI引擎来执行自然语言处理和生成指令的结果，而不依赖于外部服务器(例如，图2的智能服务器230或图4的智能服务器420)。
根据实施例，至少一个处理器610可以获得与由用户输入的指令相对应的意图。例如，AI引擎可以通过对输入指令执行语法或语义分析来识别用户的意图。
根据实施例，至少一个处理器610可以从指令中提取至少一个参数。在这里，参数可以是执行意图的指定的操作所需的至少一个变量值。在本公开的各种实施例中，为了区分在AI引擎的运行期间提取出或所需的参数，执行意图的指定的操作所需的参数可以被定义为意图执行参数，从形成指令的词语中提取的参数可以被定义为指令提取参数，并且执行意图另外所需的参数可以被定义为另外所需的参数(或另外的参数)。
根据实施例，至少一个处理器610可以识别执行与意图相对应的操作所需的至少一个意图执行参数。至少一个处理器610可以从外部装置(例如，图4的智能服务器420)接收关于执行各种意图所需的意图执行参数的信息并对其进行存储。根据另一个实施例，至少一个处理器610可以根据自然语言理解处理来确定意图执行参数。例如，如图5的实施例中所示，至少一个处理器610可以将足球比赛结果检索确定为与指令相对应的意图，并且可以将团队名称和日期信息识别为执行意图所需的参数。
根据实施例，至少一个处理器610可以识别执行与意图相对应的操作另外所需的至少一个参数。例如，至少一个处理器610可以将识别出的意图所需的意图执行参数之中的、不能从通过指令获得的指令提取参数获得的至少一个参数确定为另外所需的参数。例如，当足球比赛结果检索的意图的意图执行参数包括团队名称和日期信息并且指令提取参数包括了通过用户输入与团队名称相关的信息(例如，语音或文本)的团队名称时，可以将日期信息确定为另外所需的参数。
根据实施例，至少一个处理器610可以从存储在存储器650中的应用识别另外所需的参数。在这里，该应用是区别于智能服务应用的应用，并且可以包括能够在电子装置600中被安装和执行的任何应用。
根据实施例，至少一个处理器610可以向正执行中的应用发送参数请求，该参数请求包括关于所确定的意图的信息以及另外所需的参数的类型和名称中的至少一者。例如，至少一个处理器610可以以广播方式向正执行中的所有应用发送参数请求，或可以根据从外部服务器(例如，管理员服务器)接收到的信息向至少一个预定应用发送参数请求。
根据实施例，至少一个处理器610可以响应于参数请求从应用接收参数。例如，至少一个处理器610可以从因特网应用接收与三星队相对应的日期信息。
根据实施例，当从应用获得了另外所需的参数时，至少一个处理器610可以验证所获得的另外所需的参数的有效性。例如，至少一个处理器610可以识别参数是否是从批准的应用发送的或者接收到的参数是否是可适用于意图的类型。
根据实施例，当另外所需的参数是从该应用获得的并且其有效性得到了验证时，至少一个处理器610可以识别是否可以执行意图，如果不可以，则可以再次向应用请求另外所需的参数。
根据实施例，当获得了所有意图执行参数时，至少一个处理器610可以利用获得的参数来执行与意图相对应的操作，并且可以通过显示器620或扬声器输出结果值。
将参考图8更详细地描述AI引擎被配置在电子装置600中的上述实施例。
在下文中，将描述在AI引擎被配置在外部服务器(例如，图2的智能服务器230和图4的智能服务器420)中的情况下至少一个处理器610的操作。
根据实施例，至少一个处理器610可以向外部服务器发送利用通信模块640输入的文本或语音输入。
根据实施例，当从电子装置600接收到语音信息时，外部服务器可以利用语音识别模块(例如，图2的ASR模块232a)将语音信息转换为文本信息。
根据实施例，外部服务器可以获得与由用户输入的指令相对应的意图，并且可以从指令中提取至少一个参数。外部服务器可以识别执行与意图相对应的操作所需的至少一个意图执行参数，并且可以向电子装置600发送意图执行参数。
根据实施例，至少一个处理器610可以基于从外部服务器接收到的信息来识别执行与意图相对应的操作另外所需的至少一个参数，并且可以向应用发送参数请求。
根据实施例，当从应用获得了参数时，至少一个处理器610可以利用通信模块640向外部服务器发送参数。外部服务器可以基于接收到的参数执行与意图相对应的操作，并且可以向电子装置600发送结果值。
根据实施例，至少一个处理器610可以通过显示器620或扬声器输出从外部服务器接收到的结果值。
将参考图7更详细地描述AI引擎被配置在外部服务器中的上述实施例。
根据各种实施例，当从应用获得了另外的参数时，至少一个处理器610可以在显示器620上显示包括所获得的另外的参数和/或关于应用的信息的图形对象。至少一个处理器610可以响应于图形对象上的用户输入，使用所选择的另外的参数来执行与意图相对应的操作。将参考图14和图15更详细地描述该实施例。
图7示出了根据本公开的实施例的集成智能系统的体系结构。
参考图7，集成智能系统可以包括智能服务器750(该智能服务器750包括AI引擎)和电子装置700，并且智能服务器750可以包括图2的智能服务器230或图4的智能服务器420的至少一些组件和/或功能，并且电子装置700可以包括图1的电子装置101、图2的用户终端210或图6的电子装置600的至少一些组件和/或功能。
根据各种实施例，智能服务器750可以包括自然语言理解(NLU)模块760、对话管理器(DM)770和响应生成器模块780，并且电子装置700可以包括可以由处理器(例如，图6的至少一个处理器610)执行的各种应用720和AI客户端710。
根据各种实施例，NLU模块760可以对从电子装置700接收到的指令执行自然语言理解。NLU模块760可以通过执行语法分析或语义分析来理解用户的意图。例如，NLU模块760可以利用语素或短语的语言特征(例如，语法元素)来理解从语音输入中提取的词语的含义，并且可以通过将理解的词语的含义与意图进行匹配来确定用户的意图。
根据各种实施例，管理对话的状态的对话管理器770可以包括：对话状态跟踪器772，用于跟踪向电子装置700发送的和从电子装置700接收到的会话消息的状态；词槽解析器774，用于获得和处理与用户的意图相对应的参数(或词槽)；以及，动作验证器模块776，用于验证执行与意图相对应的操作的有效性。
根据各种实施例，词槽解析器774可以将用于执行由NLU模块760确定的意图的参数与从用户的指令中提取参数进行比较，并且可以识别出执行意图另外所需的参数。词槽解析器774可以向电子装置700发送对另外所需的参数的请求，并且当从电子装置700接收到另外的参数时，词槽解析器774可以向动作验证器模块776和/或响应生成器模块780发送另外的参数。
根据各种实施例，动作验证器模块776可以识别是否可以利用所获得的参数来执行与意图相对应的操作。例如，动作验证器模块776可以识别是否可以利用从用户的指令中提取的参数和从电子装置700接收到的另外的参数来执行与意图相对应的操作。当识别出可以执行意图时，动作验证器模块776可以向响应生成器模块780提供意图和/或所获得的参数，并且当存在执行意图所需的另外的参数时，动作验证器模块776可以向词槽解析器774请求另外的参数。
根据各种实施例，响应生成器模块780可以基于用户的意图来确定执行任务所需的域，可以在域中使用参数执行操作，并且可以生成结果值。响应生成器模块780可以向电子装置700发送结果值。例如，响应生成器模块780可以以文本的形式向电子装置700发送结果值。根据各种实施例，电子装置700可以包括AI客户端710，该AI客户端710从用户获得输入并执行与智能服务相关的操作。AI客户端710可以包括提供者收集模块712、广播发送者模块714和验证检查模块716。
根据各种实施例，提供者收集模块712可以收集向其请求执行意图所需的参数的应用的列表。例如，提供者收集模块712可以向管理服务器请求意图名称和参数名称以收集应用的列表。
根据实施例，管理服务器可以被包括为智能服务器750的一部分，或者可以被配置为单独的外部服务器(例如，图1的服务器108)。
根据各种实施例，管理服务器可以识别出能够对参数进行响应的应用，并且可以识别出所识别的应用是否被安装在电子装置700中或正在电子装置700中运行或先前已被管理服务器或电子装置700的用户批准。应用信息可以包括数据包名称，并且可以存在多个检索到的和被批准的应用。管理服务器可以向电子装置700的提供者收集模块712发送收集到的应用的列表。
根据各种实施例，广播发送者模块714可以向包括在从提供者收集模块712接收到的应用列表中的应用请求执行意图所需的另外的参数。广播发送者模块714可以基本上以广播方式同时地(或依次)向多个应用720发送参数请求，并且参数请求可以包括数据包名称来指代指定应用。当发送参数请求时，广播发送者模块714也可以发送发送者ID、意图名称、参数类型和参数名称中的至少一些来引导多个应用720找出适于参数的值。在这里，发送者ID可以指执行意图的代理或域的标识符。
根据各种实施例，当从多个应用720接收到另外的参数时，验证检查模块716可以验证另外的参数是否适合在智能服务器750的AI引擎(例如，NLU模块760、对话管理器770、或响应生成器模块780)中使用。
AI客户端710可以向智能服务器750发送被验证为无效的参数(例如，不能用于执行意图的参数或从未注册的或未被批准的应用发送的参数)以外的、被验证为有效的参数。当存在多个被验证为有效的参数时，AI客户端710可以向智能服务器750发送根据用户选择所选择的至少一个参数。
图8示出了根据本公开的实施例的AI引擎被嵌入在电子装置中的情况。
根据实施例，响应于用户的指令来执行生成结果值的操作的AI引擎850可以被配置在电子装置800中。
根据实施例，电子装置800可以包括图1的电子装置101的至少一些组件和/或功能、图2的用户终端210、或图6的电子装置600。
参考图8，形成AI引擎850的NLU模块860、对话管理器870和响应生成器模块880可以被包括在电子装置800中，并且集成智能系统可以仅包括电子装置800而不包括单独的智能系统(例如，图7的智能服务器750)。图示的AI引擎850、AI客户端810和应用820可以存储在存储器(例如，图6的存储器650)中，并且可以由处理器(例如，图6的至少一个处理器610)来执行。
根据实施例，AI客户端810和应用820可以包括AI客户端710的至少一些组件和/或功能以及图7的多个应用720。
根据实施例，AI客户端810可以向AI引擎850发送根据来自用户的输入的指令。AI引擎850可以包括与图7的NLU模块760、对话管理器770和响应生成器模块780相对应的组件。
例如，NLU模块860可以执行对指令的自然语言理解并且可以生成用户的意图。对话管理器870可以执行对话跟踪、参数采集和处理，以及执行操作的有效性验证，并且响应生成器模块880可以使用域、意图和参数来生成结果值。
图9示出了根据本公开的实施例的请求所需的参数的示例。
参考图9，用户990可以通过麦克风(例如，图6的麦克风630)输入话音“预订5月5日的飞机票”。电子装置(例如，图8的电子装置800)的AI引擎950或智能服务器(例如，图7的智能服务器750)可以分析由用户输入的指令990，并且可以确定BOOK_TICKET为用户990的意图。为了执行意图BOOK_TICKET，出发日期参数和目的地参数是所需的，并且可以从指令5月5日中获得出发日期参数。
根据各种实施例，AI引擎950可以将目的地参数作为另外所需的参数发送给AI客户端910，并且AI客户端910的广播发送者模块(例如，图7的广播发送者模块714)可以向电子装置的应用发送包括发送者ID、意图名称、参数类型和参数名称的参数请求。在图9的示例中，接收参数请求的应用的数据包名称可以是“com.air.reservation.app.”。应用可以识别参数信息的意图名称、参数类型和参数名称，并且可以识别参数是否是能够通过应用获得和提供的参数。
图10示出了根据本公开的实施例的AI引擎向应用请求并从应用接收参数信息的示例。
参考图10，根据各种实施例，AI引擎1050和对话管理器1055可以向AI客户端1010的参数策略管理器1030发送当前对话状态。例如，AI引擎1050可以记录从由用户输入的指令识别出的意图以及关于执行意图所需的参数的信息，并且可以向参数策略管理器1030发送意图和信息。当AI引擎1050从指令识别出另外所需的参数以及接收到来自AI客户端1010的参数以执行意图时，AI引擎1050可以记录并发送来自指令的另外所需的参数和/或从AI客户端1010获得的参数。
根据各种实施例，参数策略管理器1030可以识别是否存在来自AI引擎1050的执行意图所需的另外的参数。
根据各种实施例，当存在另外所需的参数时，参数策略管理器1030可以确定是否向多个应用1020请求另外的参数。
根据各种实施例，当确定请求另外的参数时，广播发送者模块1014可以通过提供者收集模块1012获得关于已注册和被批准的应用的信息。在本文，提供者收集模块1012可以向外部服务器(例如，管理员服务器1070)发送从指令获得的意图和关于另外所需的参数的信息，并且可以接收能够提供另外的参数的应用的列表。
根据各种实施例，广播发送者模块1014向从外部服务器接收到的列表中的多个应用1020发送对另外的参数的请求，并且可以从多个应用1020接收另外的参数。
根据各种实施例，验证检查模块1016可以检查从多个应用接收到的另外的参数1020的有效性。AI客户端1010可以通过显示器(例如，图1的显示模块160、图2的显示器211或图6的显示器620)或扬声器(例如，图1的声音输出模块155或图2的扬声器216)向用户提供被确定为有效值的至少一个另外的参数，并且可以根据用户的选择向AI引擎1050提供另外的参数。AI引擎1050可以使用从指令中提取的提取参数和从多个应用1020获得的另外的参数来执行与指令相对应的意图的操作。
例如，当用户说出“预订在旅行期间入住的酒店”时，AI引擎1050可以向AI客户端1010发送当前对话状态。发送的对话状态可以包括指示关于酒店位置的参数被省略的信息。参数策略管理器1030可以识别出省略的参数，并且可以向通过广播发送者模块1014预先批准的多个应用1020请求参数。当在接收参数请求的多个应用1020当中存在包括与机票预订相关的信息的应用并且在应用1020中由用户最近预订为目的地的地点是济州岛时，应用1020可以向AI客户端1010发送对应的值(例如，济州岛)。AI客户端1010可以确定目的地信息(作为指令“预订在旅行期间入住的酒店”中所缺乏的参数)是从应用1020获得的济州岛。AI客户端1010可以在显示器上显示指示济州岛和应用的图形对象，并且可以根据用户的选择向AI引擎1050提供参数。
图11是示出了根据本公开的实施例的获得参数的方法的流程图。
图示的方法可以由上述AI引擎和上述AI客户端来执行，将省略对上述技术特征的描述。
参考图11，根据各种实施例，在操作1110中，电子装置(例如，AI客户端)可以执行提供智能服务的应用(例如，语音助理或聊天机器人)，并且可以从用户接收话音输入(或文本输入)。电子装置可以从接收到的话音输入获得作为文本信息的指令。
根据各种实施例，在操作1120中，智能服务器(例如，图7的智能服务器750)或电子装置(例如，图8的电子装置800)的AI引擎可以获得与由用户输入的指令相对应的意图和执行意图所需的参数(例如，意图执行参数)。
根据各种实施例，在操作1130中，AI引擎可以确定用于执行意图的参数信息是否满足。例如，AI引擎可以识别是否能够利用执行获得的意图所需的意图执行参数当中的从指令中提取的指令提取参数来执行意图。
根据各种实施例，当不能执行意图时，在操作1140中，AI客户端可以识别向其请求另外所需的参数的应用。例如，AI客户端可以从外部服务器(例如，管理员服务器)接收关于能够对参数作出响应的应用的信息。
根据各种实施例，在操作1150中，AI客户端可以向识别出的应用请求执行意图所需的另外的参数。例如，AI客户端可以以广播方式基本上同时地(或依次)向多个应用发送参数请求，并且可以使用数据包名称来指代指定应用。
根据各种实施例，当从应用接收到另外的参数时，在操作1160中，AI客户端可以验证另外的参数是否是适合于在智能服务器的AI引擎中使用的参数。AI客户端可以向AI引擎发送被验证为有效的参数，不发送被验证为无效的参数(例如，不能用于执行意图的参数或从未注册的应用发送的参数)。
根据各种实施例，在操作1130中，当用于执行意图的参数信息满足时，则在操作1170中，AI引擎可以使用从指令中提取参数来执行意图的操作。
例如，当在操作1130中可以利用执行获得的意图所需的意图执行参数当中的从指令中提取的指令提取参数来执行意图时，在操作1170中，AI引擎可以利用从指令中提取的参数来执行意图的操作。
图12示出了根据本公开的实施例的集成智能系统的体系结构。
参考图12，集成智能系统可以包括电子装置1200、AI引擎1250和AI门户服务器1270。可以在电子装置(例如，图8的电子装置800)或智能服务器(例如，图7的智能服务器750)中配置AI引擎1250。电子装置可以包括用于运行的各种应用App。
AI引擎1250可以包括NLU模块1252(例如，图7的NLU模块760)、对话管理器1254(例如，图7的对话管理器770)和响应生成器模块1256(例如，图7的响应生成器模块780)，并且AI引擎1250的操作可以与图7的AI引擎750和/或图8的AI引擎850的操作相同。
电子装置1200可以包括AI客户端1210，AI客户端1210的操作可以与图7的AI客户端710和/或图8的AI客户端810的操作相同。AI客户端1210可以包括显示模块1220、词槽策略管理器1230、提供者收集模块1212、广播发送者模块1214和验证检查模块1216。
根据各种实施例，AI门户服务器1270是这样的组件，其预先注册并批准应用来在集成智能系统中向AI引擎1250提供执行意图的操作所缺乏的(或另外所需的)参数，并且可以包括多个装置。如所示出的，AI门户服务器1270可以包括管理员服务器1280和开发人员网站服务器1290。管理员服务器1280和开发人员网站服务器1290可以被配置为单独的服务器装置，或管理员服务器1280和开发人员网站服务器1290的功能可以在一个服务器装置内执行。
根据各种实施例，管理员服务器1280可以包括请求信息管理器1282和提供者管理器1284。请求信息管理器1282可以是注册智能服务管理员执行智能服务(例如，语音助理)的指定的任务(或意图)所需的参数信息的模块。例如，请求信息管理器1282可以存储关于参数所用于的意图的信息、参数类型、参数名称或样本参数。应用开发人员可以识别由请求信息管理器1282注册的参数信息，并且可以识别由应用开发人员开发的应用是否可以提供参数信息。
根据各种实施例，提供者管理器1284可以是批准由智能服务管理员注册的应用的模块。例如，当所注册的应用的参数可以用于意图的操作时，智能服务管理员可以批准该应用。可以将关于由提供者管理器1284批准的应用的信息发送给AI客户端1210(例如，提供者收集模块1212)。
根据各种实施例，开发人员网站服务器1290可以提供注册表形式模块1292，使得应用开发人员可以注册由应用开发人员开发的应用。应用开发人员可以在由开发人员网站服务器1290提供的网址上识别由智能服务管理员注册的参数信息，并且可以确定由应用开发人员开发的应用是否可以提供对应的参数。可以从请求信息管理器1282接收开发人员网站服务器1290的参数信息。当应用被应用开发人员注册了时，所注册的信息可以被发送给提供者管理器1284并且可以由智能服务管理员批准。关于所注册的应用的信息可以包括应用名称、下载地址和数据包名称。
图13示出了根据本公开的实施例的注册和批准电子装置应用的操作。
参考图13，管理员服务器1380和开发人员网站服务器1390可以包括图12的管理员服务器1280和开发人员网站服务器1290的至少一些功能和/或组件。
根据各种实施例，AI客户端1310和提供者收集器1312可以包括图7的AI客户端710和/或图8的AI客户端810的至少一些功能和/或组件。
根据各种实施例，智能服务管理员(例如，AI开发人员)可以通过请求信息管理器1382注册请求信息，诸如执行智能服务(例如，语音助理或聊天机器人)的指定的任务(或意图)所需的参数信息。例如，请求信息管理器1382可以存储关于由管理员输入的参数所用于的意图的信息、参数类型、参数名称或样本参数。
根据各种实施例，请求信息管理器1382可以通过开发人员网站服务器1390来提供包括注册的意图和所需的参数信息的请求信息的列表，并且开发人员可以通过由开发人员网站服务器1390提供的网站来识别列表。
根据各种实施例，应用开发人员可以通过开发人员网站服务器1390的注册表形式模块1392来注册由应用开发人员开发的应用。例如，关于注册的应用(或提供者)的信息可以包括应用名称、下载地址和数据包名称。
根据各种实施例，关于由应用开发人员在开发人员网站上注册的应用的信息可以被注册在提供者管理器1384中。提供者管理器1384可以存储关于每个应用的信息。
根据各种实施例，当注册的应用的参数能够被用于意图的操作时，智能服务管理员可以批准该应用。关于注册的和被批准的应用的信息可以由提供者管理器1384来存储和管理。
根据各种实施例，AI客户端1310可以请求提供者(或应用)列表。针对提供者列表的请求可以包括意图类型和参数类型。提供者管理器1384可以向AI客户端1310提供可以从其获得另外的参数的应用的列表。在这里，提供者管理器1384可以向AI客户端1310提供应用的数据包名称。
图14示出了根据本公开的实施例的在电子装置中推荐参数的画面。
根据各种实施例，当从应用获得另外的参数时，电子装置1400(例如，图6的至少一个处理器610)可以在显示器(例如，图6的显示器620)上显示包括获得的另外的参数和/或关于应用的信息的图形对象。电子装置1400可以响应于图形对象上的用户输入，使用所选择的另外的参数来执行与意图相对应的操作。
参考图14，当用户通过语音输入或文本输入输入指令“找到在旅行期间入住的酒店”(1410)时，电子装置1400(例如，图8的电子装置800)或智能服务器(例如，图7的智能服务器750)的AI引擎可以通过对指令的自然语言理解识别出意图是酒店搜索。根据实施例，AI引擎可以识别出在执行意图的操作所需要的参数当中省略了酒店位置信息。AI引擎可以将执行意图的操作所需的参数当中的被省略的参数(例如，酒店位置信息)识别为另外所需的参数信息。AI引擎可以向AI客户端(例如，图7的AI客户端710或图8的AI客户端810)提供另外所需的参数信息，并且AI客户端可以向电子装置1400中安装和运行的至少一个应用请求参数。
参考图14，当航空应用被安装在电子装置1400中并且存在用户通过该航空应用最近已预订了飞往济州岛的航班的记录时，该航空应用可以将济州岛作为一个参数值提供给AI客户端。在这种情况下，电子装置1400可以在显示器上显示图形对象1420，该图形对象1420包括另外的参数和关于发送另外的参数的应用的信息。根据实施例，电子装置1400还可以显示链接信息1425以转到该应用(或执行该应用)。另外，电子装置1400可以显示用于选择由航空应用提供的参数的图形对象1430，并且可以基于用户的选择来使用另外的参数以用于执行意图。
图15示出了根据本公开的实施例的多个应用在电子装置中提供另外的参数的画面。
参考图15，当输入指令是“找到好的餐馆”(1510)时，电子装置1500(例如，图8的电子装置800)或智能服务器(例如，图7的智能服务器750)的AI引擎可以通过对指令的自然语言理解而识别出意图是餐馆搜索。AI引擎可以将餐馆位置信息识别为另外所需的参数。AI客户端(例如，图7的AI客户端710或图8的AI客户端810)可以向应用请求参数，并且可以从电子装置1500的应用当中的导航应用、配送应用和语音助理应用(例如，Bixby)发送位置信息参数。电子装置1500可以显示包括从相应应用获得的参数及关于应用的若干条信息的多个图形对象1532、1534和1536以及请求用户选择的图形对象1520，并且可以接收用户选择。
推荐参数的实施例不限于图14和图15，并且根据各种实施例的电子装置也可以提供与另外的参数相关的信息，该另外的参数是执行与通过扬声器输入的指令相对应的意图所需的参数。
图16示出了根据本公开的实施例的注册所需的参数的示例。
根据各种实施例，智能服务管理员可以在请求信息管理器(例如，图12的请求信息管理器1282)中在开发人员网站(例如，图12的开发人员网站1290)上注册应用的注册所需的信息，因此向应用开发人员提供信息。例如，可以注册意图名称、参数名称、参数类型信息和样本参数值。参考图16，对于意图book_hotel，可以注册作为由应用提供的所需的参数的位置、作为参数类型的字符串，以及作为样本参数值的首尔、水原、江东区、Mangpo-dong、光化门站、东大门站。应用开发人员可以识别该信息，并且当由应用开发人员开发的应用能够提供位置信息的字符串类型时可以注册该应用。
根据实施例，对于意图order_food，可以注册作为由应用提供的所需的参数的food_type、作为参数类型的字符串，以及作为样本参数值的韩国料理、零食、甜品、日本料理、快餐和便当。应用开发人员可以识别该信息，并且当由应用开发人员开发的应用能够提供食品类型的字符串类型(food_type)信息时可以注册该应用。
图17示出了根据本公开的实施例的注册用于提供参数的应用信息的示例。
根据各种实施例，应用开发人员可以识别在开发人员网站(例如，图12的开发人员网站1290)中注册的信息，并且当由应用开发人员开发的应用满足注册条件时可以注册该应用。
参考图17，作为关于针对酒店预订意图所需的参数的位置信息所注册的应用的信息，可以注册作为应用名称的“奈良航空公司”、作为数据包名称的“com.travel.reservation.main”和作为下载URL的“http://app.download/travel_nara_airplane”。当所注册的应用被批准时，该应用可以被注册在管理员服务器(例如，图12的管理员服务器1280)中，并且可以将关于该应用的信息提供给每个电子装置的AI客户端。
根据各种实施例的电子装置可以包括：包括触摸屏的显示器、被配置为接收来自用户的语音输入的麦克风、存储器、以及至少一个处理器，其被配置为操作地连接到显示器、麦克风和存储器，其中，至少一个处理器可以被配置为基于通过对显示器的触摸输入而输入的文本或通过麦克风输入的语音输入来获得指令，获得与指令相对应的意图，识别执行与意图相对应的操作另外所需的至少一个参数，以及从存储在存储器中的至少一个应用获得另外所需的至少一个参数。
根据各种实施例，至少一个处理器可以被配置为从指令确定意图，并且确定执行与识别出的意图相对应的操作所需的至少一个意图执行参数。
根据各种实施例，至少一个处理器可以被配置为从指令中提取与意图相关的至少一个指令提取参数，并且将不可能从意图执行参数的指令提取参数获得的至少一个参数确定为另外所需的参数。
根据各种实施例，至少一个处理器可以被配置为向至少一个应用发送包括关于确定的意图的信息、另外所需的参数的类型和参数的名称中的至少一者的参数请求。
根据各种实施例，至少一个处理器可以被配置为向存储在存储器中的应用中的预定应用发送参数请求。
根据各种实施例，当从应用获得了另外所需的参数时，至少一个处理器可以被配置为利用指令提取参数和另外所需的参数来执行与意图相对应的操作。
根据各种实施例，电子装置还可以包括被配置为与外部装置进行通信的通信模块，其中，至少一个处理器可以被配置为利用通信模块向外部服务器发送输入文本或语音输入，并且从外部服务器接收与另外所需的至少一个参数相关的信息，该另外所需的至少一个参数用于执行与意图相对应的操作。
根据各种实施例，至少一个处理器可以被配置为通过通信模块向外部服务器发送从应用获得的另外所需的参数，并且从外部服务器接收执行意图的结果值。
根据各种实施例，至少一个处理器可以被配置为验证从应用获得的另外所需的参数的有效性。
根据各种实施例，当发送另外所需的参数的应用是预先注册的应用时，至少一个处理器可以被配置为确定另外所需的参数是有效的。
根据各种实施例，当从应用获得了另外所需的参数时，至少一个处理器可以被配置为在显示器上显示图形对象，该图形对象包括所获得的另外所需的参数和关于应用的信息。
根据各种实施例，至少一个处理器可以被配置为响应于针对图形对象的用户输入，利用从应用获得的另外所需的参数来执行与意图相对应的操作。
根据各种实施例，当没有从存储在存储器中的应用获得另外所需的参数时，至少一个处理器可以被配置为在显示器上显示用于获得另外所需的参数的查询。
图18是示出了根据本公开的实施例的获得用于基于自然语言理解提供智能服务的参数的方法的流程图。
图示的方法可以由参考图6至图17所描述的电子装置来执行，并且以下将省略对上述技术特征的描述。
参考图18，根据各种实施例，在操作1810中，电子装置可以基于用户输入获得指令。例如，电子装置可以执行提供智能服务(例如，语音助理或聊天机器人)的应用，并且可以通过麦克风从用户接收语音输入或可以通过在显示器(例如，触摸屏)上的触摸输入获得文本输入。
根据各种实施例，在操作1820中，电子装置可以获得与指令相对应的意图。根据实施例，电子装置可以通过借助于AI引擎对输入指令执行语法分析或语义分析来识别用户的意图。根据另一个实施例，电子装置可以向外部服务器(例如，图7的智能服务器750)发送指令，并且智能服务器的AI引擎可以通过处理自然语言理解来获得意图，并且可以将意图提供给电子装置。
根据各种实施例，在操作1830中，电子装置可以识别执行与意图相对应的操作另外所需的参数。例如，电子装置(或智能服务器)可以将识别出的意图所需的意图执行参数当中的、不能从通过指令获得的指令提取参数获得的至少一个参数，确定为另外所需的参数。例如，当足球比赛结果检索的意图的意图执行参数包括团队名称和日期信息，并且指令提取参数包括了通过用户输入与团队名称相关的信息(例如，语音或文本)的团队名称时，可以将日期信息确定为另外所需的参数。
根据各种实施例，在操作1840中，电子装置可以从电子装置的应用获得另外所需的参数。例如，电子装置可以向正在运行的应用发送参数请求，该参数请求包括以下至少一者：关于确定的意图的信息，另外所需的参数的类型和名称。当从应用发送了另外的参数时，电子装置可以验证有效性，并可以在显示器上显示包括所获得的另外的参数和/或关于应用的信息的图形对象。电子装置可以响应于图形对象上的用户输入，使用所选择的另外的参数来执行与意图相对应的操作。
根据各种实施例的由电子装置获得用于自然语言理解的参数的方法可以包括：基于来自用户的触摸输入或语音输入来获得指令，获得与指令相对应的意图，识别执行与意图相对应的操作另外所需的至少一个参数，并且从至少一个应用获得另外所需的至少一个参数。
根据各种实施例，获得意图可以包括：由电子装置从指令确定意图，以及确定执行与识别的意图相对应的操作所需的至少一个意图执行参数。
根据各种实施例，识别另外所需的至少一个参数可以包括：由电子装置从指令中提取与意图相关的至少一个指令提取参数，以及将不可能从意图执行参数的指令提取参数获得的至少一个参数确定为另外所需的参数。
根据各种实施例，该方法可以进一步包括向至少一个应用发送包括关于确定的意图的信息，另外所需的参数的类型和参数的名称中的至少一者的参数请求。
根据各种实施例，获得意图可以包括：将输入文本或语音输入发送到外部服务器，以及从外部服务器接收与执行与意图相对应的操作另外所需的至少一个参数相关的信息。
根据各种实施例，该方法可以进一步包括验证从应用获得的另外所需的参数的有效性。
根据各种实施例，该方法可以进一步包括：当从应用获得了另外所需的参数时，显示包括所获得的另外所需的参数和关于应用的信息的图形对象。
尽管已经参考本公开的各种实施例示出和描述了本公开，但本领域技术人员将理解，在不背离如所附权利要求及其等同形式所限定的本公开的精神和范围的情况下，可以在其中作出形式和细节方面的各种改变。

Claims (15)

1.一种电子装置，所述电子装置包括：
显示器，所述显示器包括触摸屏；
麦克风，所述麦克风被配置为从用户接收语音输入；
存储器；以及
至少一个处理器，所述至少一个处理器被配置为操作地连接到所述显示器、所述麦克风和所述存储器，
其中，所述至少一个处理器还被配置为：
基于通过对所述显示器的触摸输入而输入的文本或通过所述麦克风输入的语音输入，获得指令，
获得与所述指令相对应的意图，
识别为了执行与所获得的意图相对应的操作另外所需的至少一个参数，以及
从存储在所述存储器中的至少一个应用获得所述另外所需的至少一个参数。
2.根据权利要求1所述的电子装置，其中，所述至少一个处理器还被配置为：
确定为了执行与所获得的意图相对应的操作所需的至少一个意图执行参数。
3.根据权利要求2所述的电子装置，其中，所述至少一个处理器还被配置为：
从所获得的指令中提取与所获得的意图相关的至少一个指令提取参数；以及
将所确定的至少一个意图执行参数中的没有从提取出的至少一个指令提取参数确定出的至少一个参数确定为所述另外所需的至少一个参数。
4.根据权利要求2所述的电子装置，其中，所述至少一个处理器还被配置为向存储在所述存储器中的所述至少一个应用发送参数请求，所述参数请求包括以下中的至少一者：关于所获得的意图的信息、所述另外所需的至少一个参数的类型或所述另外所需的至少一个参数的名称。
5.根据权利要求4所述的电子装置，其中，所述至少一个处理器还被配置为向存储在所述存储器中的所述至少一个应用中的预定应用发送所述参数请求。
6.根据权利要求3所述的电子装置，其中，所述至少一个处理器还被配置为：当从存储在所述存储器中的至少一个应用获得了所述另外所需的至少一个参数时，使用所提取的至少一个指令提取参数和所述另外所需的至少一个参数来执行与所获得的意图相对应的操作。
7.根据权利要求1所述的电子装置，所述电子装置还包括：
收发器，所述收发器被配置为与外部服务器通信，
其中，所述至少一个处理器还被配置为：
利用所述收发器向所述外部服务器发送所述文本输入或所述语音输入，以及
从所述外部服务器接收与所述另外所需的至少一个参数相关的信息，所述另外所需的至少一个参数是执行与所获得的意图相对应的操作所需的。
8.根据权利要求7所述的电子装置，其中，所述至少一个处理器还被配置为：
通过所述收发器向所述外部服务器发送从存储在所述存储器中的所述至少一个应用获得的所述另外所需的至少一个参数；以及
从所述外部服务器接收执行所获得的意图的结果值。
9.根据权利要求1所述的电子装置，其中，所述至少一个处理器还被配置为验证从存储在所述存储器中的所述至少一个应用获得的所述另外所需的至少一个参数的有效性。
10.根据权利要求9所述的电子装置，其中，所述至少一个处理器还被配置为：当存储在所述存储器中的提供所述另外所需的至少一个参数的所述至少一个应用是预先注册的应用时，确定所述另外所需的至少一个参数是有效的。
11.根据权利要求1所述的电子装置，其中，所述至少一个处理器还被配置为：当从存储在所述存储器中的所述至少一个应用获得了所述另外所需的至少一个参数时，在所述显示器上显示图形对象，该图形对象包括所获得的另外所需的至少一个参数和关于存储在所述存储器中的所述至少一个应用的信息。
12.根据权利要求11所述的电子装置，其中，所述至少一个处理器还被配置为：响应于针对所述图形对象的用户输入，利用从存储在所述存储器中的所述至少一个应用获得的所述另外所需的至少一个参数来执行与所获得的意图相对应的操作。
13.根据权利要求1所述的电子装置，其中，所述至少一个处理器还被配置为：当没有从存储在所述存储器中的所述至少一个应用获得所述另外所需的至少一个参数时，在所述显示器上显示用于获得所述另外所需的至少一个参数的查询。
14.一种由电子装置获得用于自然语言理解的参数的方法，所述方法包括：
基于来自用户的触摸输入或语音输入来获得指令；
获得与所述指令相对应的意图；
识别为了执行与所获得的意图相对应的操作另外所需的至少一个参数；以及
从至少一个应用获得所述另外所需的至少一个参数。
15.根据权利要求14所述的方法，所述方法还包括：
确定为了执行与所获得的意图相对应的操作所需的至少一个意图执行参数。
CN202180068939.XA 2020-10-07 2021-10-06 用于理解自然语言的电子装置和参数获取方法 Pending CN116457874A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020200129133A KR20220046103A (ko) 2020-10-07 2020-10-07 전자 장치 및 자연어 이해를 위한 파라미터의 획득 방법
KR10-2020-0129133 2020-10-07
PCT/KR2021/013716 WO2022075751A1 (ko) 2020-10-07 2021-10-06 전자 장치 및 자연어 이해를 위한 파라미터의 획득 방법

Publications (1)

Publication Number Publication Date
CN116457874A true CN116457874A (zh) 2023-07-18

Family

ID=80931623

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180068939.XA Pending CN116457874A (zh) 2020-10-07 2021-10-06 用于理解自然语言的电子装置和参数获取方法

Country Status (3)

Country Link
US (1) US20220108690A1 (zh)
EP (1) EP4191578A4 (zh)
CN (1) CN116457874A (zh)

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030023463A1 (en) * 2001-04-16 2003-01-30 Frank Dombroski Method and system for automatically planning, booking, and calendaring travel arrangements
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US10276170B2 (en) * 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
EP2624180A1 (en) * 2012-02-06 2013-08-07 Xabier Uribe-Etxebarria Jimenez System of integrating remote third party services
US10170123B2 (en) * 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US10083688B2 (en) * 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US9578173B2 (en) * 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10691473B2 (en) * 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10382568B2 (en) * 2015-12-18 2019-08-13 Hipmunk, Inc. Display of calendar-based single user, single event travel options
JP6686226B2 (ja) * 2016-04-18 2020-04-22 グーグル エルエルシー 適切なエージェントの自動化アシスタント呼び出し
DK201670540A1 (en) * 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
WO2018023106A1 (en) * 2016-07-29 2018-02-01 Erik SWART System and method of disambiguating natural language processing requests
US20180054523A1 (en) * 2016-08-16 2018-02-22 Rulai, Inc. Method and system for context sensitive intelligent virtual agents
KR20180060328A (ko) * 2016-11-28 2018-06-07 삼성전자주식회사 멀티 모달 입력을 처리하는 전자 장치, 멀티 모달 입력을 처리하는 방법 및 멀티 모달 입력을 처리하는 서버
US11204787B2 (en) * 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
KR20180101063A (ko) * 2017-03-03 2018-09-12 삼성전자주식회사 사용자 입력을 처리하는 전자 장치 및 그 방법
CN109102802B (zh) * 2017-06-21 2023-10-17 三星电子株式会社 用于处理用户话语的系统
US10275451B2 (en) * 2017-07-11 2019-04-30 International Business Machines Corporation Counterintuitive recommendations based upon temporary conditions
KR20190101630A (ko) * 2018-02-23 2019-09-02 삼성전자주식회사 사용자 발화를 처리하는 시스템 및 그 시스템의 제어 방법
DE112019003189T5 (de) * 2018-06-25 2021-04-08 Sony Corporation Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und informationsverarbeitungssystem
US11861674B1 (en) * 2019-10-18 2024-01-02 Meta Platforms Technologies, Llc Method, one or more computer-readable non-transitory storage media, and a system for generating comprehensive information for products of interest by assistant systems
US11640823B1 (en) * 2020-09-30 2023-05-02 Amazon Technologies, Inc. Natural language processing routing

Also Published As

Publication number Publication date
EP4191578A4 (en) 2024-01-17
EP4191578A1 (en) 2023-06-07
US20220108690A1 (en) 2022-04-07

Similar Documents

Publication Publication Date Title
CN112970059B (zh) 用于处理用户话语的电子装置及其控制方法
US11662976B2 (en) Electronic device and method for sharing voice command thereof
US11216245B2 (en) Electronic device and multitasking supporting method thereof
US20220164071A1 (en) Method and device for providing user-selection-based information
US11756547B2 (en) Method for providing screen in artificial intelligence virtual assistant service, and user terminal device and server for supporting same
US20220172722A1 (en) Electronic device for processing user utterance and method for operating same
US20220238099A1 (en) Electronic device and method for performing shortcut command in electronic device
US11264031B2 (en) Method for processing plans having multiple end points and electronic device applying the same method
US20220383873A1 (en) Apparatus for processing user commands and operation method thereof
US11670294B2 (en) Method of generating wakeup model and electronic device therefor
US20220108690A1 (en) Electronic device and method for acquiring parameter of natural language understanding
US20230027222A1 (en) Electronic device for managing inappropriate answer and operating method thereof
US20240096331A1 (en) Electronic device and method for providing operating state of plurality of devices
US20230095294A1 (en) Server and electronic device for processing user utterance and operating method thereof
US20230197066A1 (en) Electronic device and method of providing responses
US20230186031A1 (en) Electronic device for providing voice recognition service using user data and operating method thereof
US11756575B2 (en) Electronic device and method for speech recognition processing of electronic device
US20230179675A1 (en) Electronic device and method for operating thereof
US20220335946A1 (en) Electronic device and method for analyzing speech recognition results
US20230267929A1 (en) Electronic device and utterance processing method thereof
US20220301544A1 (en) Electronic device including personalized text to speech module and method for controlling the same
US20220399022A1 (en) Electronic device and method for operating thereof
US11978449B2 (en) Electronic device for processing user utterance and operation method therefor
US20230088601A1 (en) Method for processing incomplete continuous utterance and server and electronic device for performing the method
US20230139088A1 (en) Electronic device for providing voice recognition service and operating method thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination