CN108536416A - 处理用户输入的电子设备和处理用户输入的方法 - Google Patents

处理用户输入的电子设备和处理用户输入的方法 Download PDF

Info

Publication number
CN108536416A
CN108536416A CN201810177333.XA CN201810177333A CN108536416A CN 108536416 A CN108536416 A CN 108536416A CN 201810177333 A CN201810177333 A CN 201810177333A CN 108536416 A CN108536416 A CN 108536416A
Authority
CN
China
Prior art keywords
state
application
user
electronic equipment
application program
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810177333.XA
Other languages
English (en)
Inventor
诸葛祜准
禹景久
宋佳进
诸成民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN108536416A publication Critical patent/CN108536416A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72433—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for voice messaging, e.g. dictaphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72436—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. short messaging services [SMS] or e-mails
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/74—Details of telephonic subscriber devices with voice recognition means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种电子设备。该电子设备包括：壳体；位于壳体内部并通过壳体的第一部分暴露的触摸屏显示器；位于壳体内部并通过壳体的第二部分暴露的麦克风；位于壳体内部并通过壳体的第三部分暴露的至少一个扬声器；位于壳体内部的通信电路；位于壳体内部并且被配置为存储包括具有第一用户界面(UI)的第一应用程序和具有第二UI的第二应用程序在内的指令的存储器；以及位于壳体内部并与触摸屏显示器、麦克风、扬声器、通信电路以及存储器电连接的至少一个处理器。

Description

处理用户输入的电子设备和处理用户输入的方法
相关申请的交叉引用
本申请要求于2017年3月3日向韩国知识产权局递交的分配的申请号为10-2017-0027804的韩国专利申请的符合35 U.S.C.§119(a)的权益，将其全部公开内容以引用方式并入本文中。
技术领域
本公开涉及用于处理用户输入的电子设备和用于处理用户输入的方法。
背景技术
现代电子设备可以支持各种输入方法，诸如语音输入以及根据相关技术使用键盘或鼠标的输入方法。例如，诸如智能电话或平板电脑之类的电子设备可以识别用户的语音输入，并且可以在执行语音识别服务的同时执行动作或提供与语音输入相对应的搜索结果。
语音识别服务可以识别用户输入并且可以通过使用用户输入中包括的特定文本向用户提供用户输入的结果，或者可以基于自然语言处理技术来确定用户的意图，并且可以向用户提供适合于所确定意图的结果。
提出以上信息作为背景信息仅仅是为了辅助理解本公开。并未确定和断言上述任何内容是否可用作关于本公开的现有技术。
发明内容
由于语音识别服务在识别和处理用户的语音时仅给出根据用户输入的结果，所以语音识别服务仅可以处理诸如执行程序之类的简单用户语音，而可能无法提供根据针对用户输入的多个应用程序的动作的处理结果。
语音识别服务可能无法通过顺序地执行应用来提供与用户输入相对应的结果，并且也可能无法通过如下操作根据针对用户输入的多个应用程序的动作来提供处理结果：通过执行另一应用来获得一个正在运行的应用的信息，来控制获得信息的有机操作。
本公开的各个方面是为了至少解决上述问题和/或缺点，并且至少提供以下描述的优点。因此，本公开的一方面在于提供一种用于处理用户输入的电子设备、方法和服务器，其中，与用户输入相对应的任务由多个应用来执行。
根据本公开的一个方面，提供了一种电子设备。所述电子设备包括：壳体；位于壳体内部并通过壳体的第一部分暴露的触摸屏显示器；位于壳体内部并通过壳体的第二部分暴露的麦克风；位于壳体内部并通过壳体的第三部分暴露的至少一个扬声器；位于壳体内部的通信电路；位于壳体内部并与触摸屏显示器、麦克风、扬声器以及通信电路电连接的至少一个处理器；以及位于壳体内部并与处理器电连接的存储器。所述存储器存储包括第一用户界面(UI)在内的第一应用程序和包括第二UI在内的第二应用程序。当执行存储器中存储的至少一个指令时，所述至少一个处理器执行以下操作：进行控制以通过触摸屏显示器或麦克风中的至少一个来接收用户输入，所述用户输入包括通过使用第一应用程序和第二应用程序来执行任务的请求，进行控制以经由所述通信电路向外部服务器发送与所述用户输入有关的数据，进行控制以经由所述通信电路从外部服务器接收响应，所述响应包括与用于执行任务的电子设备的状态序列相关的信息，所述信息包括与各个状态相对应的多个状态标识符(ID)，并且所述多个状态ID包括彼此不同的第一状态ID、第二状态ID、第三状态ID和第四状态ID，在接收到所述响应之后，执行所述第一应用程序并进行控制以基于所述第一状态ID在所述触摸屏显示器上显示所述第一UI，在显示所述第一UI之后，基于第二状态ID来执行第二应用程序，在执行所述第二应用程序之后，进行控制以基于所述第三状态ID在所述触摸屏显示器上显示所述第二UI，并获得要在所述第一UI中使用的至少一个参数，以及在显示所述第二UI之后，进行控制以基于所述第四状态ID在触摸屏显示器上显示所述第一UI，并用所获得的至少一个参数来填充所述第一UI。
根据本公开的另一方面，提供了一种电子设备的控制方法。该控制方法包括：通过触摸屏显示器或麦克风中的至少一个来接收用户输入，所述用户输入包括通过使用第一应用程序和第二应用程序来执行任务的请求；通过通信电路向外部服务器发送与所述用户输入有关的数据；通过所述通信电路从外部服务器接收响应，所述响应包括与用于执行任务的所述电子设备的状态序列相关的信息；在接收到所述响应之后，基于所述信息中包括的第一状态ID来执行所述第一应用程序并且在所述触摸屏显示器上显示第一UI；在显示第一UI之后，基于所述信息中包括的第二状态ID来执行所述第二应用程序；在执行所述第二应用程序之后，基于所述信息中包括的第三状态ID在所述触摸屏显示器上显示所述第二应用程序的第二UI，并且获得要在所述第一UI中使用的至少一个参数；以及在显示所述第二UI之后，基于所述信息中包括的第四状态ID在触摸屏显示器上显示所述第一UI，并用获得的至少一个参数来填充所述第一UI。
根据本公开的另一方面，一种服务器进行控制以从外部电子设备接收与用户输入有关的数据，所述用户输入包括通过使用第一应用程序和第二应用程序来执行任务的请求；基于与用户输入有关的数据来生成文本数据，基于文本数据来确定用户输入的意图和与意图相对应并用于执行任务的参数；基于所述意图和参数来生成包括与执行任务的电子设备的状态序列相关的信息在内的响应；以及进行控制以向外部电子设备发送该响应。
根据本公开的另一方面，提供了一种电子设备。所述电子设备包括：显示器；一个或多个麦克风；存储包括第一UI在内的第一应用程序和包括第二UI在内的第二应用程序的存储器；以及与显示器、一个或多个麦克风电连接的至少一个处理器。当通过显示器或麦克风中的至少一个来接收包括通过使用第一应用程序和第二应用程序来执行任务的请求在内的用户输入时，处理器执行第一应用程序并进行控制以在显示器上显示第一UI，以及在显示第一UI之后执行第二应用程序。
根据本公开的另一方面，提供了一种电子设备的控制方法。所述控制方法包括：通过显示器或麦克风中的至少一个来接收包括通过使用第一应用程序和第二应用程序来执行任务的请求在内的用户输入；执行第一应用程序；在显示器上显示第一UI；以及在显示第一UI之后执行第二应用程序。
根据本公开的各种实施例，当根据路径规则来执行应用时，电子设备可以通过执行嵌套动作(或回归动作)来获得用于一个正在运行的应用的参数，该嵌套动作是执行另一应用以获得值的动作。因此，电子设备可以有组织地控制电子设备中存储的应用，由此向用户提供各种方法来提供与用户输入相对应的结果。
根据以下结合附图公开了本公开的各种实施例的详细描述，本公开的其它方面、优点和显著特征对于本领域技术人员将变得显而易见。
附图说明
根据结合附图的以下描述，本公开的特定实施例的上述和其它方面、特征以及优点将更清楚，在附图中：
图1示出了根据本公开各种实施例的集成智能系统；
图2是示出了根据本公开实施例的集成智能系统的用户设备的配置的框图；
图3是示出了根据本公开实施例的执行用户设备的存储器中存储的应用的框图；
图4是示出了根据本公开实施例的集成智能系统的智能服务器的配置的框图；
图5示出了根据本公开实施例的在用户设备中执行多个应用的情况；
图6是示出了根据本公开实施例的用户设备的嵌套动作的流程图；
图7A和7B示出了根据本公开实施例的用户设备执行嵌套动作一次的情况；
图8A和8B示出了根据本公开实施例的用户设备执行嵌套动作两次的情况；
图9是示出了根据本公开实施例的由智能服务器来生成新路径规则的方法的流程图；
图10是示出了根据本公开实施例的用于生成集成智能系统的智能服务器的路径规则的配置的框图；
图11示出了根据本公开各种实施例的网络环境中的电子设备；
图12是根据本公开各种实施例的电子设备的框图；以及
图13是根据本公开的各种实施例的程序模块的框图。
应注意：在整个附图中，相似的附图标记用于描绘相同或相似的元素、特征和结构。
具体实施方式
提供以下参考附图的描述以帮助全面理解由权利要求及其等同物限定的本公开的各实施例。以下描述包括各种具体细节以帮助理解，但这些具体细节应被视为仅仅是示例性的。因此，本领域普通技术人员将认识到：在不脱离本公开的范围和精神的情况下，可以对本文所述的各种实施例进行各种改变和修改。另外，为了清楚和简洁起见，可以省略对已知功能和结构的描述。
以下描述和权利要求中使用的术语和词语不限于其书面含义，而是仅仅被发明人用来实现对本公开清楚一致的理解。因此，对于本领域技术人员来说应当清楚明白的是：提供本公开的各种实施例的以下描述以仅用于说明的目的，而不是用于限制由所附权利要求及其等同物限定的本公开的目的。
应当理解的是：除非上下文中另有清楚指示，否则单数形式“一”、“一个”和“所述”包括复数指示物。因此，例如，对“部件表面”的引用包括对一个或多个这样的表面的引用。
在本公开中，本文中所使用的表述“具有”、“可以具有”、“包含”和“包括”、或“可以包含”和“可以包括”指示存在对应的特征(例如，诸如数值、功能、操作或组件之类的元素)，但是不排除存在附加的特征。
在本公开中，表述“A或B”、“A或/和B中的至少一个”、或者“A或/和B中的一个或多个”等可包括相关列出项中一个或多个的任意组合以及所有组合。例如，术语“A或B”、“A和B中的至少一个”或“A或B中的至少一个”可以指代以下所有情况：(1)包括至少一个A，(2)包括至少一个B，或(3)包括至少一个A和至少一个B这二者。
在本公开中使用的诸如“第一”、“第二”之类的术语可用于在不管顺序和/或优先级的情况下指代各种元素，并且将相关元素与其它元素区分开，但是不限制元素。例如，“第一用户设备”和“第二用户设备”指示不同的用户设备，而不管顺序或优先级如何。例如，在不脱离本公开的范围的情况下，可以将第一元素称为第二元素，并且类似地，可以将第二元素称为第一元素。
将要理解的是：当一个元素(例如，第一元素)被称为“(操作或通信地)耦接到”或“连接到”另一个元素(例如，第二元素)时，其可以直接耦接或连接到该另一元素，或者可以存在中间元素(例如，第三元素)。相反，当一个元素(例如，第一元素)被称为“直接耦接到”或“直接连接到”另一个元素(例如，第二元素)时，应理解：不存在中间元素(例如，第三元素)。
根据这种情况，本公开中使用的表述“(被)配置为...”可以用作例如表述“适合于...”、“具有...的能力”、“被设计为...”、“适于...”、“被制造为...”或“能够...”。术语“(被)配置为”不仅仅意味着在硬件方面“被专门设计为”。相反，表述“(被)配置为...的设备”可以意指该设备“能够”与另一设备或其它组件一起操作。例如，“被配置为(或被设置为)执行A、B和C的处理器”可以意味着用于执行对应操作的专用处理器(例如，嵌入式处理器)、或通过执行存储设备中所存储的一个或多个软件程序来执行对应操作的通用处理器(例如，中央处理单元(CPU)或应用处理器(AP))。
本公开中使用的术语用于描述指定实施例，而非意在限制另一实施例的范围。除非另有规定，否则单数形式的术语可以包括复数形式。本文使用的所有术语(包括技术或科学术语)可以具有与本领域技术人员通常理解的含义相同的含义。还应当理解：在字典中定义并且常用的术语还应当被解释为相关技术中的惯用术语，而不应该解释为具有理想化或过度刻板的含义，除非在本公开的各种实施例中明确地如此定义。在一些情况下，即使术语是在本公开中定义的术语，也不应将它们解释为排除本公开的实施例。
根据本公开的各种实施例的电子设备可以包括以下至少一项：例如智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式PC、膝上型PC、上网本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、运动图像专家组阶段1或阶段2(MPEG-1或MPEG-2)音频层3(MP3)播放器、移动医疗设备、相机、或可穿戴设备。根据各种实施例，可穿戴设备可以包括以下至少一项：饰品型(例如，手表、戒指、手环、脚环、项链、眼镜、隐形眼镜或头戴式设备(HMD))、衣料或服饰集成型(例如，电子服饰)、身体附着型(例如，皮肤贴或纹身)、或生物植入型(例如，可植入电路)。
根据各种实施例，电子设备可以是家用电器。家用电器可以包括以下至少一项：例如电视(TV)、数字多功能盘(DVD)播放器、音响、冰箱、空调、吸尘器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动控制面板、安保控制面板、TV盒(例如Samsung HomeSyncTM、Apple TVTM、或Google TVTM)、游戏机(例如XboxTM或PlayStationTM)、电子词典、电子钥匙、便携式摄像机、电子相框等。
根据另一实施例，电子设备可以包括以下至少一项：各种医疗设备(例如，各种便携式医疗测量设备(例如，血糖监视设备、心率测量设备、血压测量设备、体温测量设备等)、磁共振血管造影(MRA)、磁共振成像(MRI)、计算断层扫描(CT)、扫描仪和超声波设备)、导航设备、全球导航卫星系统(GNSS)、事件数据记录仪(EDR)、飞行数据记录仪(FDR)、车辆信息娱乐设备、船用电子设备(例如，导航系统和陀螺仪罗盘)、航空电子设备、安保设备、车头单元、工业或家用机器人、自动柜员机(ATM)、商店销售点(POS)或物联网(例如，灯泡、各种传感器、电表或气表、洒水器设备、火警、恒温器、街灯、烤面包机、运动器材、热水箱、加热器、锅炉等)。
根据实施例，电子设备可以包括以下至少一项：家具或建筑物/结构的一部分、电子板、电子签名接收设备、投影仪或各种测量仪表(例如，水表、电表、气表或测波计等)。根据各种实施例，电子设备可以是上述设备之一或其组合。根据实施例的电子设备可以是柔性电子设备。此外，根据本公开实施例的电子设备可以不限于上述电子设备，并且可以包括其它电子设备和根据技术发展的新的电子设备。
下文中将参考附图来描述根据各种实施例的电子设备。在本公开中，术语“用户”可以指代使用电子设备的人，或者可以指代使用电子设备的设备(例如，人工智能电子设备)。
图1示出了根据本公开各种实施例的集成智能系统。
参考图1，集成智能系统10可以包括用户设备(或电子设备)100和智能服务器200。
用户设备100可以通过用户设备100中存储的应用(或应用程序)(例如，消息应用、联系人应用和图库应用)向用户提供服务。例如，用户设备100可以接收用户输入并且可以通过执行用户设备100中存储的应用向用户提供服务。用户输入可以通过例如物理按钮、触摸板、麦克风等来接收。根据实施例，用户设备100可以包括可连接到互联网的各种类型的终端设备(或电子设备)，诸如移动电话、智能电话、PDA、笔记本电脑等。
根据实施例，用户设备100可以接收用户输入以操作用户设备100中存储的应用。例如，用户设备100可以接收作为用户输入的用户语音，并且可以基于接收到的用户语音来操作用户设备100中存储的应用。例如，用户设备100可以通过智能服务器200来识别接收到的用户语音，并且可以基于识别出的用户语音来生成执行请求信息。用户设备100可以通过使用该执行请求信息来操作应用。
智能服务器200可以通过通信网络从用户设备100接收用户语音输入，并且可以将接收到的用户语音输入改变为文本数据。根据实施例，智能服务器200可以基于该文本数据来生成(或确定)路径规则。路径规则可以包括与通过使用应用来执行任务的动作相关的信息以及与用于执行动作的参数相关的信息。例如，路径规则可以包括与将被顺序执行的多个动作相关的信息以及与用于执行多个动作的参数相关的信息。用户设备100可以从智能服务器200接收路径规则，并且可以根据路径规则来选择应用以执行路径规则中包括的动作。
根据实施例，集成智能系统10还可以包括个性化信息服务器(未示出)，在该个性化信息服务器中包括用户信息。例如，个性化信息服务器可以从用户设备100接收用户信息(例如，应用执行信息)并且可以将接收到的用户信息存储在数据库中。数据库中存储的用户信息可以用于生成路径规则。
图2是示出了根据本公开实施例的集成智能系统的用户设备的配置的框图。
参考图2，集成智能系统10的用户设备100可以包括输入模块110、显示器120、扬声器130、存储器140、通信接口150或处理器160。用户设备100还可以包括壳体，并且用户设备100的组件可以位于壳体内。
输入模块110可以接收来自用户的用户输入。例如，输入模块110可以从连接的外部设备(例如，键盘或头戴式耳机)接收用户输入。在另一个示例中，输入模块110可以通过与显示器120组合的触摸屏(例如，触摸屏显示器)来接收用户输入。在另一个示例中，输入模块110可以通过位于用户设备100(或用户设备100的壳体)上的硬件按键(或物理按键)来接收用户输入。用户输入可以包括例如通过使用存储器140中存储的多个应用来执行任务的请求。
根据实施例，输入模块110可以包括用于接收作为语音信号的用户语音的麦克风111。例如，输入模块110可以包括语音输入系统并且可以通过语音输入系统接收作为语音信号的用户语音。根据实施例，输入模块110可以通过用户设备100的壳体的一部分暴露。例如，输入模块110中包括的麦克风111可以通过壳体的一部分(或第一部分)暴露。
显示器120可以显示图像、视频和/或应用的执行画面。例如，显示器120可以显示应用的用户界面(UI)(或图形用户界面(GUI))。根据实施例，显示器120可以是与触摸屏结合的触摸屏显示器。根据实施例，显示器120可以通过用户设备100的壳体的一部分暴露。例如，与触摸屏结合的显示器120可以通过壳体的一部分(或第二部分)暴露。
扬声器130可以输出语音信号。例如，扬声器130可以向外部输出在用户设备100中生成的语音信号。根据实施例，扬声器130可以通过用户设备100的壳体的一部分(或第三部分)暴露。
存储器140可以存储多个应用141、143和145。存储器140中存储的多个应用141、143和145可以根据用户输入来执行。例如，存储器140可以包括非易失性存储器(例如，闪存、硬盘等)和易失性存储器(例如，随机存取存储器(RAM))，并且非易失性存储器中存储的多个应用141、143和145可以被加载到(或绑定到)易失性存储器以进行操作。
根据实施例，存储器140可以存储用于识别用户输入的信息。例如，存储器140可以存储日志信息和用户信息。可以向个性化信息服务器发送存储器140中存储的日志信息和用户信息并且可以将该日志信息和用户信息存储在数据库中。个性化信息服务器的数据库中存储的用户信息可以被智能服务器200用来生成路径规则。
通信接口(或通信电路)150可以与外部电子设备连接以发送和接收信号(或数据)。例如，通信接口150可以包括无线通信接口(例如，蓝牙(BT)、无线保真(Wi-Fi)等)。无线通信接口可以与智能服务器200连接以发送和接收信号(例如，用户输入和与用户输入相对应的路径规则)。
处理器160可以控制用户设备100的整体操作。例如，处理器160可以与输入模块110、显示器120、扬声器130、存储器140和通信接口150电连接。处理器160可以控制输入模块110、显示器120、扬声器130、存储器140和通信接口150，以从智能服务器200接收与用户输入相对应的路径规则，并且在应用中顺序地执行路径规则中包括的动作。根据实施例，处理器160可以执行存储器140中存储的指令以控制用户设备100的整体操作。处理器160可以包括多个处理器。
根据实施例，处理器160可以通过执行存储器140中存储的指令来驱动智能代理161和执行管理器163。根据另一个实施例，处理器160可以包括用硬件实现的智能代理161和执行管理器163。例如，处理器160可以包括执行至少一个功能的多个处理器。智能代理161和执行管理器163可以用例如各个处理器来实现。
智能代理161可以向智能服务器200发送通过输入模块110接收的用户输入。例如，智能代理161可以通过通信接口150向智能服务器200发送与接收的用户输入有关的数据。用户输入可以包括例如通过使用存储器140中存储的多个应用141、143和145来执行任务的请求。根据实施例，智能代理161可以在向智能服务器200发送用户输入之前对用户输入执行预处理操作。例如，智能代理161可以通过使用自适应回声消除器(AEC)、噪声抑制(NS)模块、端点检测(EPD)或自动增益控制(AGC)中的至少一个来预处理用户输入。
根据实施例，智能代理161可以请求用户输入信息。例如，在应用141、143和145的动作停止操作(部分着落(landing))的情况下(例如，在未输入用于应用141、143和145的动作的参数的情况下)，智能代理161可以从执行管理器163接收与暂停状态相关的信息，并且可以通过使用所接收的信息来请求用户输入信息。
根据实施例，智能代理161可以向智能服务器200发送用户设备100的信息。例如，智能代理161可以向智能服务器200发送用户设备100的操作系统(OS)信息或应用信息中的至少一个。
根据实施例，智能代理161可以从智能服务器200接收路径规则并且可以向执行管理器163转发(或提供)所接收的路径规则。例如，智能代理161可以通过通信接口150接收与用户输入中包括的请求相对应的路径规则(或响应)。
根据实施例，智能代理161可以从智能服务器200接收被转换成文本数据的用户语音输入。智能代理161可以将经转换的文本数据显示在显示器120上。
根据实施例，执行管理器163可以向应用141、143或145发送用于执行路径规则中包括的动作的执行请求信息。例如，如果接收到路径规则，则执行管理器163可以根据路径规则来执行应用141、143或145，并且可以向应用141、143或145发送路径规则中包括的执行请求信息。执行请求信息可以包括例如状态ID(例如，用于编写消息的状态ID(MessageComposer)、用于选择联系人号码的状态ID(ContactPicker)，或用于选择图像的状态ID(ImagePicker))，以及可以包括用于状态ID的参数(例如，“我有点晚了”的消息，“母亲”的联系人号码或“夏威夷”的图像)。执行管理器163可以向应用141、143和145顺序发送路径规则中包括的执行请求信息，以根据路径规则来操作应用141、143和145。
根据实施例，执行管理器163可以管理应用141、143和145的动作的执行状态。执行管理器163可以从应用141、143或145接收与动作的执行状态相关的信息。例如，在动作被完全执行的情况下，执行管理器163可以从相应的应用接收与执行完成状态相关的信息。执行管理器163可以根据路径规则向对应的应用发送下一个执行请求信息。在另一个示例中，在动作停止操作(部分着落)的情况下(例如，在没有输入用于对应应用的动作的参数的情况下)，执行管理器163可以从动作停止操作的应用接收与暂停状态相关的信息。执行管理器163可以向智能代理161转发与暂停状态相关的信息。
根据实施例，执行管理器163可以从智能服务器200接收多个路径规则。例如，智能服务器200可以基于用户语音将一些动作指定为将执行的第一应用141(例如，图库应用)的动作141b，而可以不将剩余动作指定为第二应用143(例如，消息应用或电子邮件应用)的动作143b。相应地，智能服务器200可以向用户设备100发送由第一应用141的动作141b指定的多个路径规则。根据实施例，执行管理器163可以执行对于多个接收到的路径规则共同的部分。例如，执行管理器163可以执行第一应用141的动作141b，然后可以在显示器120上显示用于选择多个路径规则中包括的不同应用的画面。用户可以选择在显示器120上显示的不同应用之一。因此，执行管理器163可以执行与用户输入相对应的剩余动作。
图3是示出了根据本公开实施例的执行用户设备的存储器中存储的应用的框图。
参考图3，存储器140可以存储多个应用141、143和145。例如，存储器140可以包括第一应用141、第二应用143和第三应用145。第一应用141、第二应用143和第三应用145可以分别提供(或包括)例如第一UI、第二UI和第三UI。
根据实施例，存储器140中存储的多个应用141、143和145可以由处理器160的执行管理器163执行和操作。多个应用141、143和145可以包括用于执行任务的执行服务141a、143a和145a以及包括多个动作(或单元动作)141b、143b和145b。执行服务141a、143a和145a可以由处理器160的执行管理器163生成，以执行多个动作141b、143b和145b。根据实施例，应用141、143和145的执行服务141a、143a和145a可以用程序语言来实现。
根据实施例，当执行应用141、143和145的动作141b、143b和145b时，可以在显示器120上显示根据动作141b、143b和145b的执行的画面。例如，可以在显示器120上显示与应用141、143和145的动作141b、143b和145b相对应的UI。在显示器120上显示的画面可以是例如完全执行动作141b、143b和145b的状态下的画面。
执行服务141a、143a和145a可以根据路径规则来执行动作141b、143b和145b。例如，执行服务141a、143a和145a可以根据路径规则从执行管理器163接收执行请求信息(例如，状态ID和参数)，并且可以根据执行请求信息来执行动作141b、143b和145b。如果动作141b、143b和145b被完全执行，则执行服务141a、143a和145a可以向执行管理器163发送执行完成信息。
根据实施例，可以在应用141、143和145中顺序执行多个动作141b、143b和145b。如果一个动作被完全执行，则执行服务141a、143a和145a可以向执行管理器163发送执行完成信息。如果接收到执行完成信息，则执行管理器163可以向应用141、143和145发送用于接下来的动作141b、143b和145b的执行请求信息。
根据实施例，在执行多个应用141、143和145的情况下，可以顺序地执行多个应用141、143和145。例如，如果在完全执行第一应用141的最后动作之后接收到执行完成信息，则执行管理器163可以向执行服务143a发送针对第二应用143的第一动作的执行请求信息。根据实施例，当执行应用141、143和145的动作141b、143b和145b时，可以在显示器120上显示根据动作141b、143b和145b的执行的画面。
图4是示出了根据本公开实施例的集成智能系统的智能服务器的配置的框图。
参考图4，智能服务器200可以包括自动语音识别(ASR)模块210、自然语言理解(NLU)模块220、路径规划器模块230、自然语言生成器(NLG)模块240、以及文本至语音(TTS)模块250。
根据实施例，智能服务器200可以通过ASR模块210、NLU模块220和路径规划器模块230来生成与用户输入相对应的路径规则。
根据实施例，ASR模块210可以将从用户设备100接收到的用户输入转换为文本数据。例如，ASR模块210可以包括语音识别模块。语音识别模块可以包括声学模型和语言模型。例如，声学模型可以包括与发声有关的信息，而语言模型可以包括单位音素信息和与单位音素信息的组合相关的信息。语音识别模块可以通过使用与发声有关的信息和与单位音素信息的组合相关的信息将用户语音转换为文本数据。与声学模型和语言模型相关的信息可被存储在例如ASR数据库(ASR DB)211中。
根据实施例，智能服务器200还可以包括讲话者识别模块。讲话者识别模块可以通过基于数据库中存储的讲话者识别模型分析用户语音来识别讲话者。讲话者识别模块可以基于用户第一次输入的语音来生成用户的讲话者识别模型，并且可以将生成的讲话者识别模型存储在数据库中。根据实施例，讲话者识别模块可基于讲话者识别模型来确定用户输入是否对应于已注册的讲话者输入。例如，在确定用户输入对应于已注册的讲话者输入的情况下，智能服务器200可以生成用于执行与用户输入相对应的所有任务的路径规则。在另一示例中，在确定用户输入对应于未注册的讲话者输入的情况下，智能服务器200可以生成用于仅执行与用户输入相对应的受限任务的路径规则。
根据实施例，NLU模块220可以通过使用被划分成域、意图和用于确定意图的参数(或时隙)的匹配规则来确定用户的意图和参数。例如，域(例如，闹钟)可以包括多个意图(例如，设置闹钟、取消闹钟等)，并且一个意图可以包括多个参数(例如，时间、重复次数、闹钟声音等)。多个规则可以包括例如一个或多个元素参数。匹配规则可被存储在NLU数据库(NLU DB)221中。
根据实施例，NLU模块220可以通过使用诸如语素、短语等的语言学特征(例如，语法元素)来理解从用户输入中提取的词的含义，并且可以将词的理解含义与域和意图相匹配以确定用户的意图。例如，NLU模块220可以通过计算在每个域和意图中包括多少提取的词来确定用户的意图。根据实施例，NLU模块220可以通过使用确定意图所基于的词来确定用户输入的参数。根据实施例，NLU模块220可以通过使用NLU数据库221来确定用户的意图，NLU数据库221中存储了用于确定用户输入的意图的语言学特征。
根据实施例，NLU模块220可以基于用户输入的意图和参数来生成路径规则。例如，基于用户输入的意图，NLU模块220可以选择要执行的应用，并且可以确定与将在选择的应用中执行的任务相对应的动作。NLU模型220可以确定与所确定的动作相对应的参数，以生成路径规则。根据实施例，NLU模块220可以生成与用户输入的意图和参数相对应的一个或多个路径规则。
根据实施例，由NLU模块220生成的路径规则可以包括要执行的应用、要在每个应用中执行的动作、以及用于执行动作的参数。此外，路径规则可以包括与要在应用中执行的动作的序列相关的信息。例如，路径规则可以包括当执行应用的动作时与用户设备100的状态相关的信息。与用户设备100的状态相关的信息可以包括例如与用户设备100的状态相对应的状态ID(例如，用于编写消息的状态ID(例如，MessageComposer)、用于选择联系人号码的状态ID(例如ContactPicker)，以及用于选择图像的状态ID(例如ImagePicker))。这些参数可以对应于状态ID。状态ID可以各自包括用于执行与状态ID相对应的动作的应用的名称的至少一部分(例如，消息应用的MessageComposer、联系人应用的ContactPicker或者图像(或者图库应用)的ImagePicker)。
根据实施例，NLU模块220可以通过将用户输入的意图和参数映射到包括多个路径规则在内的规则集上来生成一个或多个路径规则。例如，NLU模块220可以从路径规划器模块230接收与用户设备100相对应的规则集，并且可以将用户输入的意图和参数映射到所接收的规则集上以确定路径规则。
根据另一个实施例，NLU模块220可以通过基于用户输入的意图和参数确定要执行的应用、要在每个应用中执行的动作以及用于执行动作的参数来生成一个或多个路径规则。例如，通过使用用户设备100的信息，NLU模块220可以用取决于用户输入的意图的本体(ontology)或图论模型形式布置要执行的应用和要在应用中执行的动作来生成路径规则。所生成的路径规则可以通过路径规划器模块230存储在例如路径规则数据库(PR DB)231中。所生成的路径规则可以被添加到路径规则数据库231的规则集中。
根据实施例，NLU模块220可以从多个生成的路径规则中选择要向用户设备100发送的至少一个路径规则。例如，NLU模块220可以从多个路径规则中选择最优路径规则。在另一个示例中，在基于用户语音仅指定一些动作的情况下，NLU模块220可以选择多个路径规则。NLU模块220可以响应于附加的用户输入来确定多个路径规则中的一个路径规则。
根据实施例，NLU模块220可以向用户设备100发送路径规则。例如，NLU模块220可以向用户设备100发送与用户输入相对应的一个路径规则。在另一个示例中，NLU模块220可以向用户设备100发送与用户输入相对应的多个路径规则。在基于用户语音仅指定一些动作的情况下，NLU模块220可以生成多个路径规则。
根据实施例，路径规划器模块230可以向NLU模块220发送包括多个路径规则在内的规则集。规则集中的多个路径规则可以用表格形式存储在连接到路径规划器模块230的路径规则数据库231中。例如，路径规划器模块230可以从智能代理161接收用户设备100的信息(例如，OS信息和应用信息)，并且可以向NLU模块220发送与接收到的用户设备100的信息相对应的规则集。
根据实施例，路径规划器模块230可以将NLU模块220生成的路径规则存储在路径规则数据库231中。所生成的路径规则可被添加到路径规则数据库231中存储的规则集。
根据实施例，NLG模块240可以以文本形式来改变指定的信息。文本形式可以是自然语言语音形式。指定的信息可以是例如用于附加输入的信息，用于通知动作完成的信息等。
根据实施例，TTS模块250可以将文本形式的信息改变为语音形式的信息。TTS模块250可以从NLG模块240接收文本形式的信息，可以将文本形式的信息改变为语音形式的信息，以及可以向用户设备100发送语音形式的信息。
根据另一个实施例，NLU模块220可以向路径规划器模块230发送用户的意图和参数。例如，路径规划器模块230可以通过将用户的意图和参数与规则集匹配来生成一个或多个路径规则。路径规划器模块230可以通过使用路径规则数据库231中存储的规则集来生成路径规则。在另一个示例中，路径规划器模块230可以通过基于用户的意图和参数确定要执行的应用以及要在应用中执行的动作来生成一个或多个路径规则。路径规划器模块230可以将所生成的路径规则存储在路径规则数据库231中。路径规划器模块230可以向用户设备100发送所生成的路径规则。
根据另一个实施例，NLU模块220和路径规划器模块230可以用单个模块来实现。例如，NLU模块220和路径规划器模块230可以用单个模块来实现以确定用户的意图和参数并且生成与用户的意图和参数相对应的一个或多个路径规则。因此，可以向用户设备100发送所生成的路径规则。
图5示出了根据本公开实施例的在用户设备中执行多个应用的情况。
参考图5，用户设备100可以接收用户输入，并且可以通过智能服务器200接收与用户输入相对应的路径规则来执行第一应用141和第二应用143。
根据实施例，用户设备100的智能代理161可以接收用户输入并将其向智能服务器200发送。例如，智能代理161可以接收语音信号作为用户输入并且可以向智能服务器200发送接收到的语音信号。
根据实施例，智能服务器200可以确定与用户输入相对应的路径规则。例如，智能服务器200可以基于用户输入的意图和用于确定意图的参数来生成路径规则。所生成的路径规则可以是例如用于执行第一应用141的三个动作141b和第二应用143的三个动作143b的路径规则。根据实施例，智能服务器200可以向用户设备100发送所确定的路径规则。
根据实施例，用户设备100的智能代理161可以接收路径规则并且可以基于路径规则生成执行应用的指令。例如，智能代理161可以向执行管理器163发送路径规则。执行管理器163可以基于路径规则来选择应用141和143，并且可以执行选择的应用141和143。执行管理器163可以向第一应用141的执行服务141a发送用于执行第一动作的执行请求信息(例如，状态ID和参数)。执行服务141a可以执行第一动作，并且如果第一动作被完全执行，则可以向执行管理器163发送执行完成信息。如果接收到执行完成信息，则执行管理器163可以向第一应用141的执行服务141a发送用于执行第二动作的执行请求信息。执行服务141a可以执行第二动作，并且如果第二动作被完全执行，则可以向执行管理器163发送执行完成信息。如果接收到执行完成信息，则执行管理器163可以向第一应用141的执行服务141a发送用于执行第三动作的执行请求信息。执行服务141a可以执行第三动作，并且如果第三动作被完全执行，则可以向执行管理器163发送执行完成信息。如果接收到执行完成信息，则执行管理器163可以向第二应用143的执行服务143a发送用于执行第二应用143的第一动作的执行请求信息。可以向第二应用143发送通过执行第一应用141的第三动作所生成的结果。第二应用143可以使用所生成的结果作为用于第二应用143的动作的参数。类似于第一应用141，第二应用143可以顺序地执行第一动作、第二动作和第三动作。
图6是示出了根据本公开实施例的用户设备的嵌套动作的流程图。
参考图6，用户设备100的嵌套动作可以是如下动作：调用第二应用143以获得值以及调用第一应用141以获取从第二应用143获得的值作为用于执行第一应用141的动作的参数。智能服务器200可以生成包括嵌套动作在内的路径规则。例如，包括嵌套动作在内的路径规则可以包括与嵌套动作相对应的状态ID(或嵌套ID)(例如，用于执行联系人应用的状态ID(CrossContactPicker)或用于执行图像应用的状态ID(CrossImagePicker))。
根据实施例，在操作610中，执行管理器163可以接收路径规则。路径规则可以包括例如嵌套ID以及与嵌套ID相对应的参数。
根据实施例，在操作620中，执行管理器163可根据路径规则来执行第一应用141(例如，消息应用、电子邮件应用或网页浏览器应用)。例如，执行管理器163可以根据路径规则将第一应用141和第二应用143绑定到存储器140(例如，易失性存储器)，并且可以根据路径规则来执行第一应用1.41。可以基于第一状态ID在显示器120上显示被执行的第一应用141的第一UI。
根据实施例，在操作630中，执行管理器163可以根据路径规则向第一应用141发送(或提供)执行请求信息。执行请求信息可以包括例如第二状态ID和用于第二状态ID的第一参数。
根据实施例，在操作640中，第一应用141的执行服务141a可以确定所接收的第二状态ID是否对应于嵌套ID。
根据实施例，如果所接收的第二状态ID不对应于嵌套ID，则第一应用141在操作641中可以使用所接收的第一参数作为用于与第二状态ID相对应的动作的值。第一应用141可以通过使用第一参数来执行与第二状态ID相对应的动作。
根据实施例，如果所接收的第二状态ID对应于嵌套ID，则第一应用141可以在操作643中调用第二应用143(例如，联系人应用、图库应用、日历应用或云服务应用)。基于嵌套ID，可以不在显示器120上显示第一应用141的UI图像。换句话说，嵌套ID可以不与第一应用141的UI相关联。嵌套ID(例如，CrossContactPicker)可以包括对向第二应用143发送的状态ID(例如，ContactPicker)加以指定的部分。因此，第一应用141可以调用第二应用143来执行与对向第二应用143发送的状态ID加以指定的部分相对应的动作。
根据实施例，在操作650中，执行管理器163可以根据路径规则向第二应用143发送执行请求信息。执行请求信息可以包括例如与嵌套ID相对应的第三状态ID和用于第三状态ID的第二参数。第二参数可以与和嵌套ID一起接收的第一参数相同。
根据实施例，在操作660中，第二应用143可以使用所接收的第一参数来获得值。例如，第二应用143可以通过使用与嵌套ID一起接收的第一参数来执行与第三状态ID相对应的动作从而获得该值。基于第三状态ID，可以在显示器120上显示第二应用143的第二UI。
根据实施例，在操作670中，第二应用143可以根据路径规则来调用第一应用141。例如，第二应用143可以从执行管理器163接收用于调用第一应用141的状态ID。
根据实施例，在操作680中，执行管理器163可以根据路径规则向第一应用141发送执行请求信息。当执行嵌套动作时，执行管理器163可以向第一应用141发送与第一应用141的状态相对应的第四状态ID以及与由第二应用143获得的值相同的第三参数。基于第四状态ID，可以在显示器120上显示第一应用141的第一UI。
因此，用户设备100可以通过嵌套动作使用由第二应用143获得的值作为用于执行第一应用141的动作的参数。
图7A和图7B示出了根据本公开实施例的用户设备执行嵌套动作一次的情况。
参考7A和图7B，用户设备100可以从用户接收用户输入，并且可以通过经由智能服务器200接收包括嵌套动作在内的路径规则来执行消息应用141和联系人应用143。消息应用141和联系人应用143可以与图5的第一应用141和第二应用143相同。
参考图7A，用户设备100的智能代理161可以从用户接收用户输入“向我的母亲发送我今天晚点的消息”。智能代理161可以向智能服务器200发送用户输入的语音信号。
根据实施例，智能服务器200可以确定用户输入的意图以及与该意图相对应的参数。例如，智能服务器200可以通过ASR模块210将语音信号改变为文本数据“向我的母亲发送我今天晚点的消息”。智能服务器200可以通过NLU模块220将“消息”选择为域，并且可以将“发送消息”确定为意图，以及将“我的母亲”和“我今天晚点”确定为参数。
根据实施例，NLU模块220可以基于用户输入的意图和参数来生成路径规则。例如，智能服务器200可以通过NLU模块220来生成多个路径规则。根据实施例，智能服务器200可以通过路径规划器模块230来确定要向用户设备100发送的路径规则。
例如，路径规则可以包括由消息应用141编写消息的动作(或第一动作)、由消息应用141嵌套到联系人应用143中的动作(或第二动作)、以及由消息应用141发送消息的动作(或第三动作)。路径规则可以包括用于编写消息的状态ID(例如，MessageComposer)、用于嵌套到联系人应用143中的状态ID(例如，CrossContactPicker)、以及用于发送消息的状态ID(例如SendMessage)，其中，状态ID(例如，MessageComposer)、状态ID(例如CrossContactPicker)和状态ID(例如，SendMessage)分别对应于编写消息的动作、嵌套到联系人应用143中的动作以及发送消息的动作。此外，路径规则可以包括与用于嵌套到联系人应用143的状态ID(例如，CrossContactPicker)和用于发送消息的状态ID(例如SendMessage)分别对应的参数“我的母亲”和“我今天晚点”。
路径规则可以包括由联系人应用143搜索联系人号码的动作(或第一动作)和由联系人应用143选择联系人号码的动作(或第二动作)。路径规则可以包括用于搜索联系人号码的状态ID(例如，ContactPicker)以及用于选择联系人号码的状态ID(例如，ChooseReceipient)，其中，状态ID(例如，ContactPicker)和状态ID(例如，ChooseReceipient)分别对应于搜索联系人号码的动作和选择联系人号码的动作。用于搜索联系人号码的状态ID(例如，ContactPicker)可以对应于用于由消息应用141嵌套到联系人应用143中的状态ID(例如，CrossContactPicker)。
根据实施例，智能服务器200可以向用户设备100发送所确定的路径规则。
根据实施例，用户设备100的智能代理161可以接收路径规则并且可以向执行管理器163转发接收到的路径规则。执行管理器163可以基于路径规则来执行消息应用141的动作141b和联系人应用143的动作143b。
根据实施例，消息应用141可以执行编写消息的动作(或第一动作)。例如，执行管理器163可以向消息应用141发送包括用于编写消息的状态ID(例如，MessageComposer)的执行请求信息。如果消息应用141的执行服务141a接收到状态ID，则消息应用141可以执行允许输入接收者的联系人号码和消息的状态的动作。如果动作被完全执行，则执行服务141a可以向执行管理器163发送动作完成信息。
根据实施例，消息应用141可以执行嵌套到联系人应用143中的动作(或第二动作)。例如，执行管理器163可以向消息应用141发送执行请求信息，该执行请求信息包括用于嵌套到联系人应用143中的状态ID(例如，CrossContactPicker)和参数“我的母亲”。如果消息应用141的执行服务141a接收到状态ID，则消息应用141可以执行调用联系人应用143的动作。如果动作被完全执行，则执行服务141a可以向执行管理器163发送动作完成信息。
根据实施例，联系人应用143可以执行搜索联系人号码的动作(联系人应用143的第一动作)。例如，执行管理器163可以向联系人应用143发送执行请求信息，该执行请求信息包括用于搜索联系人号码的状态ID(例如，ContactPicker)以及参数“我的母亲”，该参数“我的母亲”是消息应用141的嵌套ID的参数。如果联系人应用143的执行服务143a接收到状态ID，则联系人应用143可以执行搜索“我的母亲”的联系人号码的动作。如果动作被完全执行，则执行服务143a可以向执行管理器163发送动作完成信息。
根据实施例，联系人应用143可以执行选择联系人号码的动作(联系人应用143的第二动作)。例如，执行管理器163可以向联系人应用143发送包括用于选择联系人号码的状态ID(例如，ChooseRecipient)在内的执行请求信息。如果接收到状态ID，则联系人应用143的执行服务143a可以执行选择找到的联系人号码(或值)的动作。如果动作被完全执行，则执行服务143a可以向执行管理器163发送动作完成信息。根据实施例，联系人应用143可以向消息应用141发送所选择的联系人号码。
根据实施例，消息应用141可以再次执行编写消息的动作(消息应用141的第一动作)。例如，消息应用141可以由联系人应用143调用以执行编写消息的动作。例如，执行管理器163可以向消息应用141发送包括用于编写消息的状态ID(例如，MessageComposer)在内的执行请求信息。如果接收到状态ID，则消息应用141的执行服务141a可以使用从联系人应用143接收的联系人号码作为用于执行与状态ID相对应的动作的参数。消息应用141的执行服务141a可以将所选择的联系人号码(例如，母亲的联系人号码)输入到消息应用141的接收者字段中。如果动作被完全执行，则执行服务141a可以向执行管理器163发送动作完成信息。
根据实施例，消息应用141可以执行发送消息的动作(消息应用141的第三动作)。例如，执行管理器163可以向消息应用141发送包括用于发送消息的状态ID(例如SendMessage)和参数“我今天晚点”的执行请求信息。如果接收到状态ID，则消息应用141的执行服务141a可以在消息应用141的消息字段中输入“我今天晚点”并且可以发送该输入消息。如果动作被完全执行，则执行服务141a可以向执行管理器163发送动作完成信息。
参考7B，随着执行路径规则中包括的动作，用户设备100的消息应用141和联系人应用143可以改变状态。因此，可以在用户设备100的显示器120上显示应用141和143的经改变的状态的画面。
根据实施例，当消息应用141接收到用于编写消息的状态ID(MessageComposer)时，可以在显示器120上显示将编写消息的状态710的画面。根据实施例，当消息应用141接收到用于嵌套到联系人应用143的状态ID(CrossContactPicker)时，可以在显示器120上显示执行联系人应用143的状态720的画面。
根据实施例，当联系人应用143接收到用于搜索联系人号码的状态ID(ContactPicker)时，可以在显示器120上显示通过使用参数找到联系人号码的状态730的画面。根据实施例，当联系人应用143接收到用于选择联系人号码的状态ID(ChooseRecipient)时，可以在显示器120上显示选择联系人号码的状态740的画面。
根据实施例，当消息应用141接收到用于编写消息的状态ID(MessageComposer)时，可以在显示器120上显示消息将被编写以及所选择的联系人号码被输入到接收者字段中的状态710’的画面。根据实施例，当消息应用141接收到用于发送消息的状态ID(SendMessage)时，可以在显示器120上显示消息被输入并发送的状态750的画面。
根据另一个实施例，用户设备100可以从用户接收用户输入“向Hong Gil-Dong发送我今天晚点的消息”。用户设备100可以在消息应用141中执行嵌套动作，并且可以执行联系人应用143来搜索“Hong Gil-Dong”的联系人号码。在联系人应用143中找到“Hong Gil-Dong”的多个联系人号码的情况下，用户设备100可以停止执行选择联系人号码的动作。可以在显示器120上维持找到联系人号码的状态730的画面。用户设备100可以从用户接收附加输入以选择多个联系人号码之一。联系人应用143的执行服务143a可以通过执行管理器163向智能代理161发送与所暂停的动作和执行了嵌套动作的消息应用141相关的信息。智能代理161可以通过智能服务器200的NLG模块240和TTS模块250基于与所暂停的动作相关的信息向用户反馈附加信息(例如，通过扬声器130向用户通知附加信息)。如果从用户接收到附加输入(例如，附加语音输入或附加触摸输入)，则智能代理161可以通过智能服务器200来接收用于所暂停的动作的参数。执行管理器163可以通过使用所接收的参数在联系人应用143中执行所暂停的动作，并且可以通过使用与执行了嵌套动作的消息应用141相关的信息向消息应用141发送从联系人应用143获得的“Hong Gil-Dong”的联系人号码。
图8A和8B示出了根据本公开实施例的用户设备执行嵌套动作两次的情况。
参考图8A和图8B，用户设备100可以从用户接收用户输入，并且可以通过经由智能服务器200接收包括嵌套动作在内的路径规则来执行第一应用141、第二应用143和第三应用145。
参考图8A，用户设备100的智能代理161可以从用户接收用户输入“向我的母亲发送在夏威夷拍摄的照片以及我今天晚点的消息”。智能代理161可以向智能服务器200发送用户输入的语音信号。
根据实施例，智能服务器200可以确定用户输入的意图以及与意图相对应的参数。例如，智能服务器200可以通过ASR模块210将语音信号改变为文本数据“向我的母亲发送在夏威夷拍摄的照片以及我今天晚点的消息”。智能服务器200可以通过NLU模块220来选择“消息”作为域，以及可以确定将“发送照片和消息”作为意图，并且将“我的母亲”、“夏威夷”和“我今天晚点”作为参数。
根据实施例，智能服务器200通过NLU模块220生成路径规则的过程可以对应于图7A的智能服务器200的NLU模块220生成路径规则的过程，且因此省略对其的描述。
由图8A的NLU模块220生成的路径规则可以包括：例如由消息应用(或第一应用)141编写消息的动作(第一应用141的第一动作)、嵌套到联系人应用(或第二应用)143中的动作(第一应用141的第二动作)、嵌套到图库应用(或第三应用)145中的动作(第一应用141的第三动作)、以及发送消息的动作(第一应用141的第四动作)。路径规则可以包括：用于编写消息的状态ID(例如，MessageComposer)、用于嵌套到联系人应用143中的状态ID(例如，CrossContactPicker)、用于嵌套到图库应用145中的状态ID(例如，CrossImagePicker)和用于发送消息的状态ID(例如，SendMessage)，其中，状态ID(例如，MessageComposer)、状态ID(例如CrossContactPicker)、状态ID(例如CrossImagePicker)和状态ID(例如，SendMessage)分别对应于编写消息的动作、嵌套到联系人应用143中的动作、嵌套到图库应用145中的动作以及发送消息的动作。此外，路径规则可以包括参数“我的母亲”、“夏威夷”和“我今天晚点”，其与用于嵌套到联系人应用143的状态ID(例如，CrossContactPicker)、用于嵌套到图库应用145中的状态ID(例如，CrossImagePicker)、以及用于发送消息的状态ID(例如，SendMessage)分别对应。
根据路径规则在联系人应用(或第二应用)143中执行动作的过程可对应于在图7A的联系人应用143中执行动作的过程，且因此将省略对其的描述。
与图7A的路径规则相比，该路径规则还可以包括由图库应用(或第三应用)145搜索图像的动作(第三应用145的第一动作)和选择图像的动作(第三应用145的第二动作)。该路径规则可以包括用于搜索图像的状态ID(例如，ImagePicker)和用于选择图像的状态ID(例如，ChooseImage)，其中，状态ID(例如ImagePicker)和状态ID(例如，ChooseImage)分别对应于搜索图像的动作和选择图像的动作。用于搜索图像的状态ID(例如ImagePicker)可以对应于用于嵌套到图库应用145中的状态ID(例如，CrossImagePicker)。
根据实施例，智能服务器200可以向用户设备100发送所确定的路径规则。根据实施例，执行管理器163可以基于路径规则来执行消息应用141的动作141b、联系人应用143的动作143b和图库应用145的动作145b。
根据实施例，消息应用141嵌套到联系人应用143中的过程可以对应于图7A中的消息应用141嵌套到联系人应用143的过程，且因此将省略对其的描述。
根据实施例，消息应用141可以执行嵌套到图库应用145中的动作(第一应用141的第三动作)。例如，执行管理器163可以向消息应用141发送包括用于嵌套到图库应用145中的状态ID(例如，CrossImagePicker)和参数“夏威夷”的执行请求信息。如果消息应用141的执行服务141a接收到状态ID，则消息应用141可以执行调用图库应用145的动作。如果动作被完全执行，则执行服务141a可以向执行管理器163发送动作完成信息。
根据实施例，图库应用145可以执行搜索图像的动作(第三应用145的第一动作)。例如，执行管理器163可以向图库应用145发送执行请求信息，该执行请求信息包括用于搜索图像的状态ID(例如ImagePicker)和参数“夏威夷”，该参数“夏威夷”是消息应用141的嵌套ID的参数。如果图库应用145的执行服务145a接收到状态ID，则图库应用145可以搜索在“夏威夷”拍摄的图像。如果动作被完全执行，则执行服务145a可以向执行管理器163发送动作完成信息。
根据实施例，图库应用145可以执行选择图像的动作(第三应用145的第二动作)。例如，执行管理器163可以向图库应用145发送包括用于选择图像的状态ID(例如，ChooseImage)的执行请求信息。如果图库应用145的执行服务145a接收到状态ID，则图库应用145可以选择找到的图像(或值)。如果动作被完全执行，则执行服务145a可以向执行管理器163发送动作完成信息。根据实施例，图库应用145可以向消息应用141发送所选择的图像。
根据实施例，消息应用141可以再次执行编写消息的动作(第一应用1.41的第一动作)。例如，消息应用141可以由图库应用145调用以执行编写消息的动作。例如，执行管理器163可以向消息应用141发送执行请求信息，该执行请求信息包括用于编写消息的状态ID(例如，MessageComposer)以及与由图库应用145选择的图像的参数相同的参数。如果消息应用141的执行服务141a接收到状态ID，则消息应用141可执行附加所选图像(例如，在夏威夷拍摄的照片)的动作。如果动作被完全执行，则执行服务141a可以向执行管理器163发送动作完成信息。
根据实施例，消息应用141可以执行发送消息的动作(第一应用141的第三动作)。例如，执行管理器163可以向消息应用141发送包括用于发送消息的状态ID(例如SendMessage)和参数“我今天晚点”在内的执行请求信息。如果接收到状态ID，则消息应用141的执行服务141a可以在消息应用141的消息字段中输入“我今天晚点”并且可以发送该输入消息。如果动作被完全执行，则执行服务141a可以向执行管理器163发送动作完成信息。
参考图8B，随着执行路径中包括的动作，用户设备100的消息应用141、联系人应用143和图库应用145可以改变状态。因此，可以在用户设备100的显示器120上显示应用141、143和145的经改变的状态的画面。
根据实施例，消息将被编写的状态810的画面、执行联系人应用143的状态820的画面、找到联系人号码的状态830的画面、选择联系人号码的状态840的画面、以及将所选择的联系人号码输入到接收者字段中的状态810′的画面可以分别对应于图7B中所示的消息将被编写的状态710的画面、执行联系人应用143的状态720的画面、找到联系人号码的状态730的画面、选择联系人号码的状态740的画面以及将所选择的联系人号码输入到接收者字段中的状态710’的画面，且因此将省略对其的描述。
根据实施例，当消息应用141接收到用于嵌套到图库应用145中的状态ID(CrossImagePicker)时，可以在显示器120上显示执行图库应用145的状态850的画面。
根据实施例，当图库应用145接收到用于搜索图像的状态ID(ImagePicker)时，可以在显示器120上显示要搜索图像的状态860的画面。根据实施例，当图库应用145接收到用于选择图像的状态ID(ChooseImage)时，可以在显示器120上显示选择图像的状态870的画面。
根据实施例，当消息应用141接收到用于编写消息的状态ID(MessageComposer)时，可以在显示器120上显示消息将被编写并且所选择的联系人号码被输入到接收者字段中的状态810”的画面。根据实施例，当图库应用145接收到用于发送消息的状态ID(SendMessage)时，可以在显示器120上显示输入和发送消息的状态880的画面。
根据以上参照图1至8B描述的本公开的各种实施例，用户设备100可以识别用户的语音以确定用户的意图，并且可以生成与所确定的意图相对应的路径规则以执行用户设备100中存储的应用，从而向用户提供与通过执行触摸所获得的UI相同的UI。
当根据路径规则来执行应用时，用户设备100可以通过执行以下嵌套动作(或回归动作)来获得用于执行第一应用141中的动作的参数：实施第二应用143以生成值，然后再次执行第一应用141以向第一应用141发送所生成的值。因此，用户设备100可以有组织地控制用户设备100中存储的应用，以提供各种方法来提供与用户输入相对应的结果。
图9是示出了根据本公开实施例的由智能服务器生成新路径规则的方法的流程图。
参考图9，在数据库中不存在与用户输入相对应的路径规则的情况下，智能服务器200可以生成路径规则。
根据实施例，在操作910中，智能服务器200可以从用户设备100接收用户输入。例如，智能服务器200可以从用户设备100接收语音信号。
根据实施例，在操作920中，智能服务器200可以将用户输入改变为文本数据。例如，智能服务器200的ASR模块210可以从用户设备100接收语音信号并且可以将语音信号改变为文本数据。
根据实施例，在操作930中，智能服务器200可以确定与用户输入相对应的域和意图以及用于确定意图的参数。例如，智能服务器200的NLU模块220可以通过使用被划分成域、意图和用于确定意图的参数的匹配规则来确定与用户输入相对应的域、意图和参数。
根据实施例，在操作940中，智能服务器200可以确定是否存在与用户输入相对应的路径规则。例如，NLU模块220可以从连接到路径规划器模块230的路径规则数据库231接收包括多个路径规则在内的规则集。NLU模块220可以确定规则集中是否存在与用户输入的意图和参数相对应的路径规则。
根据实施例，在操作941中，如果存在与用户输入相对应的路径规则(是)，则智能服务器200可以选择现有路径规则。例如，NLU模块220可以从接收的规则集中选择与用户输入的意图和参数相对应的路径规则。
根据实施例，在操作943中，如果与用户输入相对应的路径规则不存在(否)，则智能服务器200可以生成新的路径规则。例如，路径规划器模块230可以生成与用户输入相对应的路径规则。以下将参照图10详细描述用于生成路径规则的方法。
根据实施例，在操作950中，智能服务器200可以将生成的新路径规则存储在数据库中。例如，路径规划器模块230可以将生成的新路径规则存储在路径规则数据库231中。
图10是示出了根据本公开实施例的用于生成集成智能系统的智能服务器的路径规则的配置的框图。
参考图10，智能服务器200还可以包括连接到路径规则数据库231的应用路径规则数据库260。路径规划器模块230可以通过应用路径规则数据库260来生成路径规则。
应用路径规则数据库260可以包括规则编写器260a和多个应用路径规则数据库260b、260c和260d。
规则编写器260a可以基于用户的意图和用于确定用户的意图的参数来生成路径规则。例如，在路径规则数据库231中存储的规则集没有与用户的意图和参数相对应的路径规则的情况下，规则编写器260a可以生成与用户的意图和参数相对应的路径规则。
根据实施例，规则编写器260a可以基于用户的意图和参数来生成路径规则(或全路径规则)。例如，规则编写器260a可以从NLU模块220接收根据用户的意图要执行的应用以及应用中要执行的任务，并且可以选择与要执行的应用以及要在应用中执行的任务相对应的多个路径规则(例如，部分路径规则)并执行应用的动作。规则编写器260a可以通过布置所选择的应用路径规则来生成与用户输入相对应的路径规则。根据实施例，规则编写器260a可以将生成的路径规则存储在路径规则数据库231中。例如，规则编写器260a可以手动地或自动地将生成的路径规则存储在路径规则数据库231中。例如，在不存在与路径规则数据库231中存储的规则集中包括的多个路径规则相匹配的路径规则的情况下，规则编写器260a可以将所生成的路径规则自动存储在路径规则数据库231中。
根据实施例，路径规划器模块230可以向NLU模块220发送路径规则数据库231中存储的路径规则。例如，路径规划器模块230可以向NLU模块220发送由规则编写器260a生成并在路径规则数据库231中存储的路径规则。
根据实施例，规则编写器260a可以从应用数据库260b、260c和260d接收应用路径规则。应用数据库260b、260c和260d可以存储与用户设备100中存储的应用中要执行的任务相对应的路径规则。应用数据库260b、260c和260d可以包括例如第一应用数据库260b、第二应用数据库260c和第三应用数据库260d，其存储与应用中要执行的任务相对应的路径规则。第一应用数据库260b、第二应用数据库260c和第三应用数据库260d可以存储与第一应用141、第二应用143和第三应用145中要执行的任务相对应的路径规则。
根据实施例，应用数据库260b、260c和260d可以根据应用路径规则的类型来存储应用路径规则。例如，应用数据库260b、260c和260d可根据另一应用路径规则是否位于该应用路径规则之前和/或之后来区分应用路径规则。应用路径规则的类型可以包括例如正常规则、调用者规则、被调用者规则以及调用者/被调用者规则。
正常规则可以是在正常规则之前和之后没有规则的路径规则。例如，正常规则可以不包括用于调用与正在运行的应用不同的应用的状态ID(例如，嵌套ID)。
调用者规则可以是能够在调用者规则之后布置另一个路径规则的路径规则。例如，调用者规则可以包括用于调用与正在运行的应用不同的应用的状态ID(例如，CrossImagePicker)。在用户输入“将夏威夷的照片更改为黑白照片并使用消息应用将其发送给我的母亲”的情况下，用于在图库应用中选择夏威夷图像的路径规则可以是调用者规则。
被调用者规则可以是能够在被调用者规则之前布置另一路径规则的路径规则。例如，在被调用者规则之前布置的路径规则可以包括用于调用与正在运行的应用不同的应用的状态ID。被调用者规则可以包括在被调用者规则之前布置的路径规则中包括的状态ID(例如，ImagePicker)，并且该状态ID对应于用于调用另一应用的状态ID(例如，CrossImagePicker)。在用户输入“将夏威夷的照片更改为黑白照片并使用消息应用将其发送给我的母亲”的情况下，使用消息应用向母亲发送图像的路径规则可以是被调用者规则。
被调用者/调用者规则可以是能够在被调用者/调用者规则之前和之后布置其他路径规则的路径规则。例如，调用者规则可以包括用于调用与正在运行的应用不同的应用的状态ID。在被调用者规则之前布置的路径规则可以包括用于调用与正在运行的应用不同的应用的状态ID。在用户输入“将夏威夷的照片更改为黑白照片并使用消息应用将其发送给我的母亲”的情况下，用于将夏威夷的照片更改为黑白照片的路径规则可以是被调用者/调用者规则。
根据实施例，规则编写器260a可以通过布置单独存储的应用路径规则来生成组合路径规则。根据用户输入，可以将组合路径规则分为例如普通规则、静态调用者规则、静态被调用者规则、动态调用者规则、动态被调用者规则、静态被调用者/静态调用者规则、静态被调用者/动态调用者规则、动态被调用者/静态调用者规则、以及动态被调用者/调用者规则。
正常规则可以是如下组合路径规则：其足以根据用户输入来执行应用的动作，并且在正常规则之前和之后没有路径规则。在用户输入“将夏威夷的照片更改为黑白照片”的情况下，通过布置图库应用的路径规则和图像编辑应用的路径规则而生成的路径规则可以是正常规则。
静态调用者规则可以是如下组合路径规则：其足以根据用户输入来执行应用的动作，并且能够在静态调用者规则之后布置另一路径规则。在用户输入“将夏威夷的照片更改为黑白照片并使用消息应用将其发送给我的母亲”的情况下，用于在图库应用中选择夏威夷的图像并在图像编辑应用中将所选择的图像更改为黑白图像的组合路径规则可以是静态调用者规则。用于在消息应用中发送图像的路径规则可被布置在静态调用者规则之后。
静态被调用者规则可以是如下组合路径规则：其足以根据用户输入来执行应用的动作，并且能够在静态被调用者规则之前布置另一路径规则。在用户输入“将夏威夷的照片更改为黑白照片并使用消息应用将其发送给我的母亲”的情况下，用于在图像编辑应用中将图像更改为黑白图像并在消息应用中发送编辑后的图像的组合路径规则可以是静态被调用者规则。用于在图库应用中选择夏威夷图像的路径规则可以被布置在静态被调用者规则之前。
动态调用者规则可以是如下组合路径规则：其不足以根据用户输入来执行应用的动作，并且能够在动态调用者规则之前布置另一路径规则。在用户输入“将夏威夷的照片更改为黑白照片并将其与我的母亲分享”的情况下，用于在图库应用中选择夏威夷的图像并在图像编辑应用中将所选择的图像更改为黑白图像的组合路径规则可以是动态调用者规则。由于用户输入没有关于哪个应用用于共享图像的足够信息，所以动态调用者规则可以通过使用消息应用和电子邮件应用中的任何一个来发送经编辑的图像。
静态被调用者/静态调用者规则可以是如下组合路径规则：其不足以根据用户输入来执行应用的动作，并且能够在静态被调用者/静态调用者规则之前和之后布置其他路径规则。在静态被调用者/静态调用者规则之前和之后布置的路径规则可以是指定的路径规则。例如，可以通过组合静态被调用者规则和静态调用者规则来生成静态被调用者/静态调用者规则。
静态被调用者/动态调用者规则可以是如下组合路径规则：其不足以根据用户输入来执行应用的动作，并且能够在静态被调用者/动态调用者规则之前和之后布置其他路径规则。可以在静态被调用者/动态调用者规则之前布置指定的路径规则，并且可以在静态被调用者/动态调用者规则之后布置多个应用路径规则之一。例如，可以通过组合静态被调用者规则和动态调用者规则来生成静态被调用者/动态调用者规则。
动态被调用者/静态调用者规则可以是如下组合路径规则：其不足以根据用户输入来执行应用的动作，并且能够在动态被调用者/静态调用者规则之前和之后布置其他路径规则。可以在动态被调用者/静态调用者规则之前布置多个应用路径规则之一，并且可以在动态被调用者/静态调用者规则之后布置指定的路径规则。例如，可以通过组合动态被调用者规则和静态调用者规则来生成动态被调用者/静态调用者规则。
动态被调用者/动态调用者规则可以是如下组合路径规则：其不足以根据用户输入来执行应用的动作，并且能够在动态被调用者/动态调用者规则之前和之后布置其他路径规则。多个应用路径规则之一可被布置在动态被调用者/动态调用者规则之前和之后。例如，可以通过组合动态被调用者规则和动态调用者规则来生成动态被调用者/动态调用者规则。
因此，规则编写器260a可以通过布置应用数据库260b、260c和260d中分别存储的多个应用路径规则来生成与用户输入相对应的路径规则(或全路径规则)。
根据以上参照图9和图10描述的本公开的各种实施例，智能服务器200可以通过布置数据库260中存储的并与用户设备100的应用的动作相对应的路径规则来生成与用户输入相对应的路径规则，从而有效地生成与各种复杂的用户输入相对应的路径规则。
根据各种实施例的电子设备可以包括：壳体；位于壳体内部并且通过壳体的第一部分暴露的触摸屏显示器；位于壳体内部并且通过壳体的第二部分暴露的麦克风；位于壳体内部并通过壳体的第三部分暴露的至少一个扬声器；位于壳体内部的通信电路；位于壳体内部并与触摸屏显示器、麦克风、扬声器、通信电路电连接的至少一个处理器；以及位于壳体内部并与处理器电连接的存储器。所述存储器存储包括第一用户界面(UI)在内的第一应用程序和包括第二UI在内的第二应用程序。当执行存储器中存储的至少一个指令时，所述至少一个处理器执行以下操作：通过触摸屏显示器或麦克风中的至少一个来接收用户输入，所述用户输入包括通过使用第一应用程序和第二应用程序来执行任务的请求，进行控制以经由所述通信电路向外部服务器发送与所述用户输入有关的数据，进行控制以经由所述通信电路从外部服务器接收响应，所述响应包括与用于执行任务的电子设备的状态序列相关的信息，所述信息包括与各个状态相对应的多个状态标识符(ID)，并且所述多个状态ID包括彼此不同的第一状态ID、第二状态ID、第三状态ID和第四状态ID，在接收到所述响应之后，执行所述第一应用程序并进行控制以基于所述第一状态ID在所述触摸屏显示器上显示所述第一UI，在显示所述第一UI之后，基于第二状态ID来执行第二应用程序，在执行所述第二应用程序之后，进行控制以基于所述第三状态ID在所述触摸屏显示器上显示所述第二UI，并获得要在所述第一UI中使用的至少一个参数，以及在显示所述第二UI之后，进行控制以基于所述第四状态ID在触摸屏显示器上显示所述第一UI，并用所获得的至少一个参数来填充所述第一UI。
根据各种实施例，第一应用程序可以包括消息应用程序、电子邮件应用程序或网页浏览器应用程序中的至少一个。
根据各种实施例，第二应用程序可以包括联系人应用程序、图库应用程序、日历应用程序或云服务应用程序中的至少一个。
根据各种实施例，多个状态ID中的至少一个可以包括应用程序的名称的至少一部分。
根据各种实施例，多个状态ID中的至少一个可以不与应用程序的UI相关联。
根据各种实施例，响应可以由外部服务器基于与用户输入有关的数据来生成。
根据各种实施例，当执行存储器中存储的至少一个指令时，至少一个处理器可以被配置为进行控制以通过通信电路向外部服务器发送电子设备的信息，并且响应可以是由外部服务器基于与用户输入有关的数据以及电子设备的信息来生成的。
根据各种实施例，电子设备的信息可以包括OS信息或应用程序信息中的至少一个。
根据各种实施例，当执行存储器中存储的至少一个指令时，至少一个处理器可以被配置为通过使用与第二状态ID相对应的参数来生成在触摸屏显示器上显示的第二UI中的值，并且可以获得所生成的值作为要在第一UI中使用的参数。
根据各种实施例，第二状态ID可以包括指定第三状态ID的部分，并且当执行存储器中存储的至少一个指令时，至少一个处理器可以被配置为执行第二应用程序以执行与指定第三状态ID的部分相对应的动作。
根据各种实施例，根据执行任务的第一和第二应用程序的动作，请求中包括的多个状态ID可以对应于电子设备的状态。
根据各种实施例的电子设备的控制方法可以包括：通过触摸屏显示器或麦克风中的至少一个来接收用户输入，所述用户输入包括通过使用第一应用程序和第二应用程序来执行任务的请求；通过通信电路向外部服务器发送与所述用户输入有关的数据；通过所述通信电路从外部服务器接收响应，所述响应包括与用于执行任务的所述电子设备的状态序列相关的信息；在接收到所述响应之后，基于所述信息中包括的第一状态ID来执行所述第一应用程序并且在所述触摸屏显示器上显示第一UI；在显示第一UI之后，基于所述信息中包括的第二状态ID来执行所述第二应用程序；在执行所述第二应用程序之后，基于所述信息中包括的第三状态ID，在所述触摸屏显示器上显示所述第二应用程序的第二UI，并且获得要在所述第一UI中使用的至少一个参数；以及在显示所述第二UI之后，基于所述信息中包括的第四状态ID在触摸屏显示器上显示所述第一UI，并用获得的至少一个参数来填充所述第一UI。
根据各种实施例，第一至第四状态ID中的至少一个可以包括应用程序的名称的至少一部分。
根据各种实施例，第一至第四状态ID中的至少一个可以不与应用程序的UI相关联。
根据各种实施例，响应可以由外部服务器基于与用户输入有关的数据来生成。
根据各种实施例，该方法还可以包括通过通信电路向外部服务器发送电子设备的信息，并且该响应可以由外部服务器基于与用户输入有关的数据以及电子设备的信息来生成。
根据各种实施例，获得要在第一UI中使用的至少一个参数可以包括：通过使用与第二状态ID相对应的参数来生成在触摸屏显示器上显示的第二UI中的值，并且获得所生成的值作为要在第一UI中使用的参数。
根据各种实施例，第二状态ID可以包括指定第三状态ID的部分，并且基于信息中包括的第一状态ID来执行第二应用程序可以包括：执行第二应用程序以执行与指定第三状态ID的部分相对应的动作。
根据各种实施例，根据执行任务的第一和第二应用程序的动作，请求中包括的第一至第四状态ID可以对应于电子设备的状态。
根据各种实施例的服务器可以包括通信电路、被配置为存储指令的存储器，以及与通信电路和存储器电连接的至少一个处理器。当执行存储器中存储的至少一个指令时，所述至少一个处理器被配置为：进行控制以从外部电子设备接收与用户输入有关的数据，所述用户输入包括通过使用第一应用程序和第二应用程序来执行任务的请求；可以基于与用户输入有关的数据来生成文本数据，可以基于文本数据来确定用户输入的意图和与意图相对应的并用于执行任务的参数；可以基于所述意图和参数来生成包括与执行任务的电子设备的状态序列相关的信息在内的响应；以及可以进行控制以向外部电子设备发送响应。
根据各种实施例的电子设备可以包括显示器、一个或多个麦克风、存储包括第一UI在内的第一应用程序和包括第二UI在内的第二应用程序的存储器、以及与显示器和一个或多个麦克风电连接的处理器。当通过显示器或麦克风中的至少一个接收包括通过使用第一应用程序和第二应用程序来执行任务的请求在内的用户输入时，处理器可以执行第一应用程序，可以在显示器上显示第一UI，以及可以在显示第一UI之后执行第二应用程序。
根据各种实施例，当执行存储器中存储的至少一个指令时，至少一个处理器可以被配置为：进行控制以在显示器上显示第二UI，并在第二应用程序被执行后获得在第一UI中将被使用的至少一个参数，以及可以在显示第二UI之后，进行控制以在显示器上显示第一UI并用所获得的至少一个参数来填充第一UI。
根据各种实施例的电子设备的控制方法可以包括：通过显示器或麦克风中的至少一个来接收包括通过使用第一应用程序和第二应用程序来执行任务的请求在内的用户输入，执行第一应用程序，在显示器上显示第一UI，以及在显示第一UI之后执行第二应用程序。
根据各种实施例，该方法还可以包括：在显示器上显示第二UI并且在执行第二应用程序之后获得要在第一UI中使用的至少一个参数，并且在显示第二UI之后，在显示器上显示第一UI，以及用获得的至少一个参数来填充第一UI。
图11示出了根据本公开各种实施例的网络环境中的电子设备。
参考图11，根据各种实施例，电子设备1101、第一电子设备1102、第二电子设备1104或服务器1106可以通过网络1162或本地无线通信1164彼此连接。电子设备1101可以包括总线1110、处理器1120、存储器1130、输入/输出接口1150、显示器1160和通信接口1170。根据实施例，电子设备1101可以不包括上述元件中的至少一个，或者还可以包括其他元件。
例如，总线1110可以与上述元件1110至1170互连，并且可以包括用于在上述元件之间传送通信(例如，控制消息和/或数据)的电路。
处理器1120可以包括CPU、AP或通信处理器(CP)中的一个或多个。例如，处理器1120可以执行与电子设备1101的至少其他元件的控制和/或通信相关联的算术运算或数据处理。
存储器1130可以包括易失性和/或非易失性存储器。例如，存储器1130可以存储与电子设备1101的至少一个其他元件相关联的指令或数据。根据实施例，存储器1130可以存储软件和/或程序1140。程序1140可以包括例如内核1141、中间件1143、应用编程接口(API)1145和/或应用程序(或“应用”)1147。内核1141、中间件1143或API 1145中的至少一部分可以被称为“OS”。
例如，内核1141可以控制或管理用于执行其它程序(例如，中间件1143、API 1145和应用程序1147)的操作或功能的系统资源(例如，总线1110、处理器1120、存储器1130等)。此外，内核1141可以提供允许中间件1143、API 1145或应用程序1147访间电子设备1101的分立元件以便控制或管理系统资源的接口。
中间件1143可以执行例如中介角色，使得API 1145或应用程序1147与内核1141进行通信以交换数据。
此外，中间件1143可以根据优先级来处理从应用程序1147接收到的一个或多个任务请求。例如，中间件1143可以向应用程序1147中的至少一个分配使得可以使用电子设备1101的系统资源(例如，总线1110、处理器1120、存储器1130等)的优先级。例如，中间件1143可以根据向至少一个应用程序分配的优先级来处理一个或多个任务请求，这使得可以对该一个或多个任务请求执行调度或负载均衡。
API 1145可以例如是接口，应用程序1147通过该接口控制由内核1141或中间件1143提供的功能，并且API 1145例如可以包括用于文件控制、窗口控制、图像处理、字符控制等的至少一个接口或功能(例如，指令)。
输入/输出接口1150可以用作例如向电子设备1101的其他元件发送从用户或其他外部设备输入的指令或数据的接口。此外，输入/输出接口1150可以向用户或另一个外部设备输出从电子设备1101的其它元件接收到的指令或数据。
显示器1160可以包括例如液晶显示器(LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器、微机电系统(MEMS)显示器或电子纸显示器。显示器1160可以向用户显示例如各种内容(例如，文本、图像、视频、图标、符号等)。显示器1160可以包括触摸屏，并且可以接收例如使用电子笔或用户的身体部位进行的触摸、手势、接近或悬停输入。
例如，通信接口1170可以建立电子设备1101与外部设备(例如，第一电子设备1102、第二电子设备1104或服务器1106)之间的通信。例如，通信接口1170可以通过无线通信或有线通信与网络1162相连，以与外部设备(例如，第二电子设备1104或服务器1106)通信。
无线通信可以使用以下至少一项作为蜂窝通信协议：例如，长期演进(LTE)、LTE-高级(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)、全球移动通信系统(GSM)等。此外，无线通信可以包括例如本地无线通信1164。本地无线通信1164可以包括以下至少一项：Wi-Fi、光保真(Li-Fi)、BT、近场通信(NFC)、磁条传输(MST)、GNSS等。
MST可以响应于传输数据使用电磁信号来生成脉冲，并且该脉冲可以生成磁场信号。电子设备1101可以向POS设备传输磁场信号，并且POS设备可以使用MST读取器来检测该磁场信号。POS可以通过将检测到的磁场信号转换为电信号来恢复数据。
基于可用区域、带宽等，GNSS可以包括以下至少一项：例如，全球定位系统(GPS)、全球导航卫星系统(Glonass)、北斗导航卫星系统(下文中称为“北斗”)或欧洲基于全球卫星的导航系统(下文中称为“伽利略”)。在下文中，在本公开中，“GPS”和“GNSS”可以互换使用。有线通信可以包括例如以下至少一项：通用串行总线(USB)、高清多媒体接口(HDMI)、推荐标准-232(RS-232)、普通老式电话服务(POTS)等等。网络1162可以包括电信网络、互联网或电话网中的至少一项，电信网络是例如计算机网络(例如，局域网(LAN)或广域网(WAN))。
第一电子设备1102和第二电子设备1104中的每一个可以是在类型上与电子设备1101不同或相同的设备。根据实施例，服务器1106可以包括具有一个或多个服务器的组。根据各种实施例，可以由另一电子设备或多个电子设备(例如，第一电子设备1102、第二电子设备1104或服务器1106)来执行电子设备1101将执行的操作的全部或一部分。根据实施例，在电子设备1101自动执行或响应于请求来执行任何功能或服务的情况下，电子设备1101可以不在内部执行该功能或服务，而是备选地或附加地其可以请求在其它电子设备(例如，电子设备1102或1104或服务器1106)处的与电子设备1101相关联的功能的至少一部分。其它电子设备可以执行所请求的功能或附加功能，并且可以向电子设备1101发送执行结果。电子设备1101可以使用接收到的结果来提供所请求的功能或服务，或者可以附加地处理接收到的结果以提供所请求的功能或服务。为此，可以使用例如云计算、分布式计算或客户端-服务器计算。
图12示出了根据本公开各种实施例的电子设备的框图。
参考图12，电子设备1201可以包括例如图11所示的电子设备1101的全部或一部分。电子设备1201可以包括一个或多个处理器(例如，AP)1210、通信模块1220、订户识别模块(SIM)1229、存储器1230、传感器模块1240、输入设备1250、显示器1260、接口1270、音频模块1280、相机模块1291、电源管理模块1295、电池1296、指示器1297和电机1298。
处理器1210可以例如驱动OS或应用，以控制与处理器1210相连的多个硬件或软件元件，并可以处理和计算各种数据。例如，处理器1210可以利用系统级芯片(SoC)来实现。根据实施例，处理器1210还可以包括图形处理单元(GPU)和/或图像信号处理器(ISP)。处理器1210可以包括图12所示的元件的至少一部分(例如，蜂窝模块1221)。处理器1210可以将从至少一个其它元件(例如，非易失性存储器)接收到的指令或数据加载到易失性存储器中，并且处理所加载的指令或数据。处理器1210可以将各种数据存储在非易失性存储器中。
通信模块1220可以被配置为与图11的通信接口1170相同或相似。通信模块1220可以包括蜂窝模块1221、Wi-Fi模块1222、BT模块1223、GNSS模块1224(例如，GPS模块、Glonass模块、北斗模块或伽利略模块)、NFC模块1225、MST模块1226和射频(RF)模块1227。
蜂窝模块1221可以通过通信网络来提供例如语音通信、视频通信、字符服务、互联网服务等。根据实施例，蜂窝模块1221可以通过使用SIM(例如，SIM卡)1229来执行在通信网络中对电子设备1201的区分和认证。根据实施例，蜂窝模块1221可以至少执行处理器1210提供的功能的一部分。根据实施例，蜂窝模块1221可以包括CP。
例如，Wi-Fi模块1222、BT模块1223、GNSS模块1224、NFC模块1225或MST模块1226中的每一个可以包括用于处理通过对应模块交换的数据的处理器。根据实施例，蜂窝模块1221、Wi-Fi模块1222、BT模块1223、GNSS模块1224、NFC模块1225或MST模块1226中的至少一部分(例如，两个或更多个)可被包括在一个集成电路(IC)或IC封装中。
例如，RF模块1227可以发送并接收通信信号(例如，RF信号)。例如，RF模块1227可以包括收发机、功率放大模块(PAM)、频率滤波器、低噪声放大器(LNA)、天线等。根据另一实施例，蜂窝模块1221、Wi-Fi模块1222、BT模块1223、GNSS模块1224、NFC模块1225、或MST模块1226中的至少一项可以通过单独的RF模块来发送和接收RF信号。
SIM 1229可以包括例如包含SIM在内的卡和/或嵌入式SIM，并且可以包括唯一识别信息(例如集成电路卡标识符(ICCID))或订户信息(例如国际移动订户身份(IMSI))。
存储器1230(例如，存储器1130)可以包括内部存储器1232或外部存储器1234。例如，内部存储器1232可以包括以下至少一项：易失性存储器(例如，动态RAM(DRAM)、静态RAM(SRAM)、同步DRAM(SDRAM)等)、非易失性存储器(例如，一次性可编程只读存储器(OTPROM)、可编程ROM(PROM)、可擦除和可编程ROM(EPROM)、电可擦除和可编程ROM(EEPROM)、掩模ROM、闪存ROM、闪存(例如，NAND闪存或NOR闪存等)、硬盘驱动器、或固态驱动器(SSD)。
外部存储器1234还可以包括闪存驱动，例如，高密度闪存(CF)、安全数字(SD)、微型SD、迷你SD、极限数字(xD)、多媒体卡(MMC)、记忆棒等。外部存储器1234可以通过各种接口与电子设备1201有效连接和/或物理连接。
安全模块1236可以是包括其安全等级比存储器1230的安全等级高的存储空间在内的模块，并且可以是确保安全的数据存储和受保护的执行环境的电路。安全模块1236可以用单独的电路来实现，并且可以包括单独的处理器。例如，安全模块1236可以在可拆卸的智能芯片或SD卡中，或可以包括电子设备1201的固定芯片中嵌入的嵌入式安全元件(eSE)。此外，安全模块1236可以基于与电子设备1201的OS不同的OS来操作。例如，安全模块1236可以基于java卡开放平台(JCOP)OS来操作。
传感器模块1240可以测量例如物理量或者可以检测电子设备1201的操作状态。传感器模块1240可以将测量到的或检测到的信息转换为电信号。例如，传感器模块1240可以包括以下至少一项：手势传感器1240A、陀螺仪传感器1240B、气压传感器1240C、磁传感器1240D、加速度传感器1240E、握持传感器1240F、接近传感器1240G、颜色传感器1240H(例如，红绿蓝(RGB)传感器)、生物特征传感器1240I、温度/湿度传感器1240J、照度传感器1240K或紫外(UV)传感器1240M。尽管未示出，但是附加地或通常地，传感器模块1240还可以包括例如电子鼻传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、红外(IR)传感器、虹膜传感器、和/或指纹传感器。传感器模块1240还可以包括用于控制其中包括的至少一个或多个传感器的控制电路。根据实施例，电子设备1201还可以包括作为处理器1210的一部分或独立于处理器1210且被配置为控制传感器模块1240的处理器。该处理器可以在处理器1210保持睡眠状态的同时控制传感器模块1240。
输入设备1250可以包括例如触摸面板1252、(数字)笔传感器1254、按键1256或超声输入单元1258。例如，触摸面板1252可以使用电容型、电阻型、红外型或超声型检测方法中的至少一个方法。此外，触摸面板1252还可以包括控制电路。触摸面板1252还可以包括用于向用户提供触觉反应的触觉层。
(数字)笔传感器1254可以是例如触摸面板的一部分或可以包括用于识别的附加片。按键1256可以包括例如物理按钮、光学按键或键区。超声输入设备1258可以通过麦克风(例如，麦克风1288)来检测(或感测)由输入设备生成的超声信号，并可以检查与所检测到的超声信号相对应的数据。
显示器1260(例如，显示器1160)可以包括面板1262、全息设备1264或投影仪1266。面板1262可以与图11所示的显示器1160相同或相似。面板1262可以例如被实现为柔性的、透明的或可穿戴的。面板1262和触摸面板1252可被集成在单个模块中。全息设备1264可以使用光的干涉现象在空中显示立体图像。投影仪1266可以将光投射到屏幕上以显示图像。例如，屏幕可被布置在电子设备1201的内部或外部。根据实施例，显示器1260还可以包括用于控制面板1262、全息设备1264或投影仪1266的控制电路。
接口1270可以包括例如HDMI 1272、USB 1274、光学接口1276或D-超小型(D-sub)1278。接口1270可被包括在例如图11中示出的通信接口1170中。附加地或者一般地，接口1270可以包括例如移动高清链路(MHL)接口、SD卡/MMC接口或者红外数据协会(IrDA)标准接口。
音频模块1280可以双向转换声音和电信号。音频模块1280的至少一部分可被包括在例如图11所示的输入/输出接口1150中。音频模块1280可以处理例如通过扬声器1282、听筒1284、耳机1286或麦克风1288输入或输出的声音信息。
例如，相机模块1291可以拍摄静态图像或视频。根据实施例，相机模块1291可以至少包括一个或多个图像传感器(例如，前置传感器或后置传感器)、镜头、ISP或闪光灯(例如，LED或氙气灯)。
电源管理模块1295可以管理例如电子设备1201的电源。根据实施例，电源管理集成电路(PMIC)、充电器IC、或电池表或燃料表可被包括在电源管理模块1295中。PMIC可以具有有线充电方法和/或无线充电方法。无线充电方法可以包括例如磁共振方法、磁感应方法或电磁方法，并且还可以包括附加电路，例如，线圈环路、谐振电路、整流器等。例如，当对电池充电时，电池量表可以测量电池1296的剩余容量及其电压、电流或温度。例如，电池1296可以包括可充电电池和/或太阳能电池。
指示器1297可以显示电子设备1201或其一部分(例如，处理器1210)的特定状态(例如引导状态、消息状态、充电状态等)。电机1298可以将电信号转换为机械振动，并且可以生成以下效果：振动、触觉等。尽管未示出，但是电子设备1201中可以包括用于支持移动TV的处理设备(例如，GPU)。用于支撑移动TV的处理设备可以根据数字多媒体广播(DMB)、数字视频广播(DVB)、MediaFLOTM等的标准来处理媒体数据。
根据本公开各种实施例的电子设备的上述元件中的每一个元件可以被配置为一个或多个组件，且元件名称可以根据电子设备的类型而改变。在各种实施例中，电子设备可以包括上述元件中的至少一个，并且可以省略一些元件或可以添加其它附加元件。此外，可以将根据各种实施例的电子设备的元件中的某些元件彼此组合，以便形成一个实体，使得可以以与组合之前相同的方式来执行元件的功能。
图13示出了根据本公开各种实施例的程序模块的框图。
根据实施例，程序模块1310(例如，程序1140)可以包括OS，用于控制与电子设备(例如，电子设备1101)相关联的资源和/或在OS上驱动的各种应用(例如，应用程序1147)。OS可以是例如Android、iOS、Windows、Symbian或Tizen。
程序模块1310可以包括内核1320、中间件1330、API 1360和/或应用1370。程序模块1310的至少一部分可以被预加载在电子设备上，或者可以从外部电子设备(例如，第一电子设备1102、第二电子设备1104、服务器1106等)下载。
内核1320(例如，内核1141)可以包括例如系统资源管理器1321或设备驱动程序1323。系统资源管理器1321可以控制、分配或取回系统资源。根据实施例，系统资源管理器1321可以包括进程管理单元、存储器管理单元、文件系统管理单元等。设备驱动程序1323可以包括例如显示器驱动程序、相机驱动程序、BT驱动程序、共享存储器驱动程序、USB驱动程序、键区驱动程序、Wi-Fi驱动程序、音频驱动程序或进程间通信(IPC)驱动程序。
中间件1330可以提供例如应用1370通常使用的功能、或者可以通过API 1360向应用1370提供各种功能，以便允许应用1370能够高效地使用电子设备的有限系统资源。根据实施例，中间件1330(例如中间件1143)可以包括以下至少一项：运行库1335、应用管理器1341、窗口管理器1342、多媒体管理器1343、资源管理器1344、电源管理器1345、数据库管理器1346、包管理器1347、连接管理器1348、通知管理器1349、位置管理器1350、图形管理器1351、安全管理器1352或支付管理器1354。
运行库1335可以包括例如由编译器使用的库模块，以便在执行应用1370的同时通过编程语言来添加新的功能。运行库1335可以执行输入/输出管理、存储器管理或与算术功能相关的能力。
应用管理器1341可以管理例如应用1370的至少一个应用的生命周期。窗口管理器1342可以管理在屏幕中使用的GUI资源。多媒体管理器1343可以识别用于播放各种媒体文件的格式，并且可以通过使用适用于该格式的编解码器对媒体文件进行编码或解码。资源管理器1344可以管理诸如应用1370的至少一个应用的存储空间、存储器或源代码之类的资源。
电源管理器1345可以例如与基本输入/输出系统(BIOS)一同操作，以管理电池容量、温度或电源，并且可以通过使用来自多条信息中的对应信息来确定或提供操作电子设备的电源信息。数据库管理器1346可以生成、搜索或修改要在应用1370中的至少一个应用中使用的数据库。包管理器1347可以安装或更新以包文件形式分发的应用。
连接管理器1348可以管理例如无线连接，诸如Wi-Fi或BT。通知管理器1349可以在不干扰用户的模式下显示或通知事件(例如到达消息、预约或接近通知)。位置管理器1350可以管理与电子设备相关的位置信息。图形管理器1351可以管理向用户提供的图形效果，或管理与图形效果相关的UI。安全管理器1352可以提供用于系统安全、用户认证等的通常的安全功能。根据实施例，在电子设备(例如，电子设备1101)包括电话功能的情况下，中间件1330还可以包括用于管理电子设备的语音或视频呼叫功能的电话管理器。
中间件1330可以包括组合上述元件的各种功能的中间件模块。中间件1330可以提供根据每个OS类型而被专门化的模块，以便提供差异化的功能。附加地，中间件1330可以动态地移除已有元件的一部分，或者可以向其添加新的元件。
API 1360(例如，API 1145)可以例如是编程功能的集合，并且可以具有根据OS可变的配置。例如，在OS是安卓或iOS的情况下，可以为每个平台提供一个API集合。在OS是Tizen的情况下，它可以针对每个平台提供两个或更多个API集合。
应用1370(例如应用程序1147)可包括例如能够提供以下功能的一个或多个应用：主页1371、拨号盘1372、短消息服务(SMS)/多媒体消息服务(MMS)1373、即时消息(IM)1374、浏览器1375、相机1376、闹钟1377、联系人1378、语音拨号1379、电子邮件1380、日历1381、媒体播放器1382、相册1383、时钟1384、支付1385、保健(例如，测量运动量、血糖等)或提供环境信息(例如，气压、湿度、温度等的信息)。
根据实施例，应用1370可以包括用于支持在电子设备(例如，电子设备1101)和外部电子设备(例如，第一电子设备1102或第二电子设备1104)之间的信息交换的应用(下文中，为了便于描述，将其称作“信息交换应用”)。例如，信息交换应用可以包括用于向外部电子设备发送特定信息的通知中继应用或者用于管理外部电子设备的设备管理应用。
例如，通知中继应用可以包括向外部电子设备发送从其它应用(例如，SMS/MMS应用、电子邮件应用、保健应用或环境信息应用)处产生的通知信息的功能。附加地，通知中继应用可以从外部电子设备接收例如通知信息，并向用户提供通知信息。
设备管理应用可以管理(例如，安装、删除或更新)例如与电子设备通信的外部电子设备的至少一个功能(例如，打开/关闭外部电子设备自身(或其组件的一部分)或调整显示器的亮度(或分辨率))、在外部电子设备中运行的应用、或从外部电子设备提供的服务(例如，呼叫服务、消息服务等)。
根据实施例，应用1370可以包括根据外部电子设备的属性来分配的应用(例如，移动医疗设备的保健应用)。根据实施例，应用1370可以包括从外部电子设备(例如，第一电子设备1102、第二电子设备1104或服务器1106)接收到的应用。根据实施例，应用1370可以包括预加载的应用或从服务器可下载的第三方应用。根据实施例的程序模块1310的元件的名称可以根据OS的种类而可修改。
根据各种实施例，编程模块1310中的至少一部分可以用软件、固件、硬件或它们中的两个或更多个的组合来实现。程序模块1310的至少一部分可以例如由处理器(例如，处理器1210)来实现(例如，执行)。程序模块1310的至少一部分可以包括例如用于执行一个或多个功能的模块、程序、例程、指令集、进程等。
在本公开中使用的术语“模块”可以表示例如包括硬件、软件和固件的一个或多个组合在内的单元。术语“模块”可以与术语“单元”、“逻辑”、“逻辑块”、“组件”和“电路”互换使用。“模块”可以是集成组件的最小单元或者可以是其一部分。“模块”可以是用于执行一个或多个功能的最小单元或其一部分。可以用机械方式或电子方式来实现“模块”。例如，“模块”可以包括用于执行已知的或将来开发的一些操作的专用IC(ASIC)芯片、现场可编程门阵列(FPGA)和可编程逻辑器件中的至少一种。
根据各种实施例的装置的至少一部分(例如，其模块或功能)或方法的至少一部分(例如，操作)可以例如通过以程序模块形式存储在非瞬时计算机可读存储介质中的指令来实现。在由处理器(例如，处理器1120)执行时，指令可以使一个或多个处理器执行与该指令相对应的功能。例如，非瞬时计算机可读存储介质可以是存储器1130。
非瞬时计算机可读记录介质可以包括硬盘、软盘、磁介质(例如，磁带)、光学介质(例如，高密度盘ROM(CD-ROM)和DVD、磁光介质(例如，软光盘))和硬件设备(例如，ROM、RAM或闪存)。此外，程序指令不仅可以包括诸如由编译器生成的事物之类的机器代码，而且包括使用解释器在计算机上可执行的高级语言代码。以上硬件单元可以被配置为经由用于执行本公开的各种实施例的操作的一个或多个软件模块来操作，并且反之亦然。
根据各种实施例的模块或程序模块可以包括上述元件中的至少一个，或者可以省略上述元件的一部分，或者还可以包括附加的其它元件。由根据各种实施例的模块、程序模块或其它元件执行的操作可以顺序地、并行地、重复地或者按照启发性的方式来执行。附加地，一些操作可以以不同顺序执行，或者可以省略。备选地可以添加其它操作。
虽然参考本公开各实施例示出并描述了本公开，但是本领域技术人员将理解：在不脱离由所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以进行形式和细节上的各种改变。

Claims (15)

1.一种电子设备，包括：
壳体；
触摸屏显示器，位于所述壳体内部并且通过所述壳体的第一部分暴露；
麦克风，位于所述壳体内部并通过所述壳体的第二部分暴露；
至少一个扬声器，位于所述壳体内部并且通过所述壳体的第三部分暴露；
通信电路，位于所述壳体内部；
至少一个处理器，位于所述壳体内部并且与所述触摸屏显示器、所述麦克风、所述扬声器以及所述通信电路电连接；以及
存储器，位于所述壳体内部并与所述处理器电连接，
其中，所述存储器被配置为存储包括第一用户界面“UI”在内的第一应用程序和包括第二UI在内的第二应用程序，以及
其中，当执行所述存储器中存储的至少一个指令时，所述至少一个处理器：
进行控制以通过所述触摸屏显示器或所述麦克风中的至少一个来接收用户输入，所述用户输入包括通过使用所述第一应用程序和所述第二应用程序来执行任务的请求，
进行控制以经由所述通信电路向外部服务器发送与所述用户输入有关的数据，
进行控制以经由所述通信电路从所述外部服务器接收响应，所述响应包括与用于执行所述任务的电子设备的状态序列相关的信息，所述信息包括与各个状态相对应的多个状态标识符“ID”，并且所述多个状态ID包括彼此不同的第一状态ID、第二状态ID、第三状态ID和第四状态ID，
在接收到所述响应之后，执行所述第一应用程序并进行控制以基于所述第一状态ID在所述触摸屏显示器上显示所述第一UI，
在显示所述第一UI之后，基于所述第二状态ID来执行所述第二应用程序，
在执行所述第二应用程序之后，进行控制以基于所述第三状态ID在所述触摸屏显示器上显示所述第二UI，并获得要在所述第一UI中使用的至少一个参数，以及
在显示所述第二UI之后，进行控制以基于所述第四状态ID在所述触摸屏显示器上显示所述第一UI，并用所获得的至少一个参数来填充所述第一UI。
2.根据权利要求1所述的电子设备，其中，所述第一应用程序包括消息应用程序、电子邮件应用程序或网页浏览器应用程序中的至少一个。
3.根据权利要求2所述的电子设备，其中，所述第二应用程序包括联系人应用程序、图库应用程序、日历应用程序或云服务应用程序中的至少一个。
4.根据权利要求1所述的电子设备，其中，所述多个状态ID中的至少一个包括应用程序的名称的至少一部分。
5.根据权利要求1所述的电子设备，其中，所述多个状态ID中的至少一个不与应用程序的UI相关联。
6.根据权利要求1所述的电子设备，其中，所述响应是由所述外部服务器基于与所述用户输入有关的数据来生成的。
7.根据权利要求6所述的电子设备，
其中，当执行所述存储器中存储的所述至少一个指令时，所述至少一个处理器进行控制以经由所述通信电路向所述外部服务器发送所述电子设备的信息，以及
其中，所述响应是由所述外部服务器基于与所述用户输入有关的数据和所述电子设备的信息来生成的。
8.根据权利要求7所述的电子设备，其中，所述电子设备的信息包括操作系统(OS)信息或应用程序信息中的至少一个。
9.根据权利要求1所述的电子设备，其中，当执行所述存储器中存储的所述至少一个指令时，所述至少一个处理器：
通过使用与所述第二状态ID相对应的参数来生成在所述触摸屏显示器上显示的所述第二UI中的值；以及
获得所生成的值作为要在所述第一UI中使用的参数。
10.根据权利要求1所述的电子设备，
其中，所述第二状态ID包括指定所述第三状态ID的部分，以及
其中，当执行所述存储器中存储的所述至少一个指令时，所述至少一个处理器执行所述第二应用程序以执行与指定所述第三状态ID的所述部分相对应的动作。
11.根据权利要求1所述的电子设备，其中，根据执行所述任务的所述第一应用程序和所述第二应用程序的动作，所述请求中包括的所述多个状态ID对应于所述电子设备的状态。
12.一种用于处理用户输入的电子设备的控制方法，所述方法包括：
通过触摸屏显示器或麦克风中的至少一个来接收用户输入，所述用户输入包括通过使用第一应用程序和第二应用程序来执行任务的请求；
经由通信电路向外部服务器发送与所述用户输入有关的数据；
经由所述通信电路从所述外部服务器接收响应，所述响应包括与用于执行所述任务的所述电子设备的状态序列相关的信息；
在接收到所述响应之后，基于所述信息中包括的第一状态标识符“ID”来执行所述第一应用程序并且在所述触摸屏显示器上显示第一用户界面“UI”；
在显示所述第一UI之后，基于所述信息中包括的第二状态ID来执行所述第二应用程序；
在执行所述第二应用程序之后，基于所述信息中包括的第三状态ID在所述触摸屏显示器上显示所述第二应用程序的第二UI，并且获得要在所述第一UI中使用的至少一个参数；以及
在显示所述第二UI之后，基于所述信息中包括的第四状态ID在所述触摸屏显示器上显示所述第一UI，并用所获得的至少一个参数来填充所述第一UI。
13.根据权利要求12所述的方法，其中，所述第一状态ID至所述第四状态ID中的至少一个包括应用程序的名称的至少一部分。
14.根据权利要求12所述的方法，其中，所述第一状态ID至所述第四状态ID中的至少一个不与应用程序的UI相关联。
15.根据权利要求12所述的方法，其中，所述响应是由所述外部服务器基于与所述用户输入有关的数据来生成的。
CN201810177333.XA 2017-03-03 2018-03-02 处理用户输入的电子设备和处理用户输入的方法 Withdrawn CN108536416A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0027804 2017-03-03
KR1020170027804A KR20180101063A (ko) 2017-03-03 2017-03-03 사용자 입력을 처리하는 전자 장치 및 그 방법

Publications (1)

Publication Number Publication Date
CN108536416A true CN108536416A (zh) 2018-09-14

Family

ID=61622313

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810177333.XA Withdrawn CN108536416A (zh) 2017-03-03 2018-03-02 处理用户输入的电子设备和处理用户输入的方法

Country Status (5)

Country Link
US (1) US10969954B2 (zh)
EP (1) EP3370144A1 (zh)
KR (1) KR20180101063A (zh)
CN (1) CN108536416A (zh)
WO (1) WO2018159962A1 (zh)

Families Citing this family (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
CN113470640B (zh) 2013-02-07 2022-04-26 苹果公司 数字助理的语音触发器
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
CN105453026A (zh) 2013-08-06 2016-03-30 苹果公司 基于来自远程设备的活动自动激活智能响应
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
DK179549B1 (en) * 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10599377B2 (en) 2017-07-11 2020-03-24 Roku, Inc. Controlling visual indicators in an audio responsive electronic device, and capturing and providing audio using an API, by native and non-native computing devices and services
US11062710B2 (en) 2017-08-28 2021-07-13 Roku, Inc. Local and cloud speech recognition
US11062702B2 (en) * 2017-08-28 2021-07-13 Roku, Inc. Media system with multiple digital assistants
USD900135S1 (en) * 2017-09-27 2020-10-27 Toyota Research Institute, Inc. Vehicle display screen or portion thereof with a graphical user interface
US11145298B2 (en) 2018-02-13 2021-10-12 Roku, Inc. Trigger word detection with multiple digital assistants
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
US11803765B2 (en) * 2019-05-31 2023-10-31 At&T Intellectual Property I, L.P. Public policy rule enhancement of machine learning/artificial intelligence solutions
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
KR20210017098A (ko) * 2019-08-06 2021-02-17 삼성전자주식회사 전자 장치 및 전자 장치의 어플리케이션 서비스 제공 방법
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11704602B2 (en) * 2020-01-02 2023-07-18 Intuit Inc. Method for serving parameter efficient NLP models through adaptive architectures
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11568284B2 (en) 2020-06-26 2023-01-31 Intuit Inc. System and method for determining a structured representation of a form document utilizing multiple machine learning models
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11922372B2 (en) 2020-08-31 2024-03-05 Walgreen Co. Systems and methods for voice assisted goods delivery
US11663415B2 (en) * 2020-08-31 2023-05-30 Walgreen Co. Systems and methods for voice assisted healthcare
EP4191578A4 (en) * 2020-10-07 2024-01-17 Samsung Electronics Co Ltd ELECTRONIC DEVICE AND METHOD FOR ACQUIRING PARAMETERS TO UNDERSTAND A NATURAL LANGUAGE
US11526235B1 (en) * 2021-05-18 2022-12-13 Microsoft Technology Licensing, Llc Artificial intelligence model for enhancing a touch driver operation
US11972764B2 (en) * 2021-11-10 2024-04-30 Google Llc Providing related queries to a secondary automated assistant based on past interactions
US20230244479A1 (en) * 2022-01-28 2023-08-03 Mikroelektronika D.O.O. Natural language code and comment completion generator

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007256297A (ja) 2004-03-18 2007-10-04 Nec Corp 音声処理方法と通信システム並びに通信端末およびサーバとプログラム
US7769142B2 (en) * 2005-07-14 2010-08-03 Microsoft Corporation Asynchronous discrete manageable instant voice messages
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
KR101370323B1 (ko) * 2007-10-22 2014-03-06 에스케이플래닛 주식회사 어플리케이션의 ｕｉ 이벤트 처리 방법 및 이를 위한이동통신 단말기
US20130275899A1 (en) * 2010-01-18 2013-10-17 Apple Inc. Application Gateway for Providing Different User Interfaces for Limited Distraction and Non-Limited Distraction Contexts
US10496753B2 (en) * 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US20090327953A1 (en) * 2008-06-30 2009-12-31 Nokia Corporation Unified navigation model between multiple applications
KR101277051B1 (ko) * 2009-02-13 2013-06-20 에스케이플래닛 주식회사 구동중인 어플리케이션 표시 방법과 그를 위한 터치 스크린단말기, 단말기 및 컴퓨터로 읽을 수 있는 기록매체
US10241752B2 (en) * 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10241644B2 (en) * 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US9111538B2 (en) * 2009-09-30 2015-08-18 T-Mobile Usa, Inc. Genius button secondary commands
US9413869B2 (en) * 2010-02-10 2016-08-09 Qualcomm Incorporated Mobile device having plurality of input modes
US8713571B2 (en) * 2010-02-17 2014-04-29 Microsoft Corporation Asynchronous task execution
US20120259633A1 (en) * 2011-04-07 2012-10-11 Microsoft Corporation Audio-interactive message exchange
US9493130B2 (en) * 2011-04-22 2016-11-15 Angel A. Penilla Methods and systems for communicating content to connected vehicle users based detected tone/mood in voice input
CN103377405A (zh) * 2012-04-24 2013-10-30 国际商业机器公司 部署和修改面向服务架构部署环境模型的方法和系统
US10649622B2 (en) * 2012-05-09 2020-05-12 Apple Inc. Electronic message user interface
US9230556B2 (en) * 2012-06-05 2016-01-05 Apple Inc. Voice instructions during navigation
US20130346347A1 (en) * 2012-06-22 2013-12-26 Google Inc. Method to Predict a Communicative Action that is Most Likely to be Executed Given a Context
KR20140001031A (ko) * 2012-06-27 2014-01-06 삼성전자주식회사 단말 장치 및 단말 장치의 제어 방법
US10742692B2 (en) * 2012-08-09 2020-08-11 Avaya Inc. Snap-in invocation for call reconstruction
US10276157B2 (en) * 2012-10-01 2019-04-30 Nuance Communications, Inc. Systems and methods for providing a voice agent user interface
US9244720B2 (en) * 2012-10-17 2016-01-26 Cisco Technology, Inc. Automated technique to configure and provision components of a converged infrastructure
US11393461B2 (en) * 2013-03-12 2022-07-19 Cerence Operating Company Methods and apparatus for detecting a voice command
US9542947B2 (en) * 2013-03-12 2017-01-10 Google Technology Holdings LLC Method and apparatus including parallell processes for voice recognition
US10652394B2 (en) * 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
WO2014197335A1 (en) * 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
KR102141116B1 (ko) 2013-08-05 2020-08-04 삼성전자주식회사 음성 대화 서비스를 지원하는 인터페이스 장치 및 방법
US9842592B2 (en) * 2014-02-12 2017-12-12 Google Inc. Language models using non-linguistic context
US9966065B2 (en) * 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US9812126B2 (en) * 2014-11-28 2017-11-07 Microsoft Technology Licensing, Llc Device arbitration for listening devices
US9583097B2 (en) * 2015-01-30 2017-02-28 Google Inc. Dynamic inference of voice command for software operation from help information
US9865280B2 (en) * 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US10114676B2 (en) * 2015-05-05 2018-10-30 Microsoft Technology Licensing, Llc Building multimodal collaborative dialogs with task frames
US9966073B2 (en) * 2015-05-27 2018-05-08 Google Llc Context-sensitive dynamic update of voice to text model in a voice-enabled electronic device
CN104967557B (zh) * 2015-05-28 2017-03-01 腾讯科技（深圳）有限公司 通信消息发送方法及装置
US10146592B2 (en) * 2015-09-18 2018-12-04 Salesforce.Com, Inc. Managing resource allocation in a stream processing framework
US9934782B2 (en) * 2015-09-22 2018-04-03 Meshrose Ltd. Automatic performance of user interaction operations on a computing device
US20170098180A1 (en) * 2015-10-05 2017-04-06 Yahoo! Inc. Method and system for automatically generating and completing a task
US20170236330A1 (en) * 2016-02-15 2017-08-17 Julie Maria Seif Novel dual hmd and vr device with novel control methods and software

Also Published As

Publication number Publication date
EP3370144A1 (en) 2018-09-05
US20180253209A1 (en) 2018-09-06
WO2018159962A1 (en) 2018-09-07
US10969954B2 (en) 2021-04-06
KR20180101063A (ko) 2018-09-12

Similar Documents

Publication Publication Date Title
CN108536416A (zh) 处理用户输入的电子设备和处理用户输入的方法
KR102414122B1 (ko) 사용자 발화를 처리하는 전자 장치 및 그 동작 방법
US10217349B2 (en) Electronic device and method for controlling the electronic device
CN108027952A (zh) 用于提供内容的方法和电子设备
CN109874365A (zh) 用于执行无线充电的设备及其方法
US11137978B2 (en) Method for operating speech recognition service and electronic device supporting the same
CN108574975A (zh) 无线路由器、物联网设备和用于支持连接到物联网设备的无线路由器的系统
CN108664829A (zh) 用于提供与图像中对象有关的信息的设备
CN107016038A (zh) 执行应用的方法和支持该方法的电子设备
CN106354451A (zh) 用于操作电子设备的方法和电子设备
CN107257954A (zh) 用于提供屏幕镜像服务的设备和方法
CN107637025A (zh) 用于输出消息的电子装置及其控制方法
KR102389996B1 (ko) 전자 장치 및 이를 이용한 사용자 입력을 처리하기 위한 화면 제어 방법
CN110168471A (zh) 电子设备以及用于显示其运行的应用的历史的方法
CN108376546A (zh) 语音输入方法以及用于支持该方法的电子设备和系统
CN107066473A (zh) 网页操作方法和支持该网页操作方法的电子设备
CN108288471A (zh) 用于识别语音的电子设备
CN108475272A (zh) 内容识别设备及其操作方法
CN108604190A (zh) 用于控制应用的电子装置及其操作方法
CN108351692A (zh) 手势感测方法和支持其的电子设备
CN107852440A (zh) 用于由电子设备处理声音的方法及其电子设备
KR102358849B1 (ko) 스마트 워치에 대한 정보를 제공하는 전자 장치와 이의 동작 방법
CN106940635A (zh) 用于输出声音的方法以及支持该方法的电子设备
CN108761513A (zh) 定位方法、电子设备和存储介质
CN108652594B (zh) 用于测量生物计量信息的电子设备和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20180914

WW01 Invention patent application withdrawn after publication