CN110462647B - 电子设备及执行电子设备的功能的方法 - Google Patents

电子设备及执行电子设备的功能的方法 Download PDF

Info

Publication number
CN110462647B
CN110462647B CN201880021990.3A CN201880021990A CN110462647B CN 110462647 B CN110462647 B CN 110462647B CN 201880021990 A CN201880021990 A CN 201880021990A CN 110462647 B CN110462647 B CN 110462647B
Authority
CN
China
Prior art keywords
electronic device
user
input
information
path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880021990.3A
Other languages
English (en)
Other versions
CN110462647A (zh
Inventor
崔溢焕
姜相旭
金英晕
朴承埙
徐贤周
严泰光
李在用
崔镇浩
李多顺
余在永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority claimed from PCT/KR2018/002862 external-priority patent/WO2018182202A1/en
Publication of CN110462647A publication Critical patent/CN110462647A/zh
Application granted granted Critical
Publication of CN110462647B publication Critical patent/CN110462647B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/74—Details of telephonic subscriber devices with voice recognition means

Abstract

本文公开了一种人工智能系统和方法。所述系统包括实现所述方法的处理器，所述方法包括：通过输入单元接收包括使用电子设备或外部设备中的至少一个来执行任务的请求的第一用户输入；通过无线通信单元向外部服务器发送与第一用户输入相关联的第一数据；从外部服务器接收第一响应，所述第一响应包括与第一用户数据和用于执行至少一部分任务的电子设备状态的序列中的至少一个相关联的信息；接收分配语音命令和通过触摸屏显示器接收到的触摸操作中的至少一个的第二用户输入，作为用于执行任务的请求；以及向外部设备发送与第二用户数据相关联的第二数据。

Description

电子设备及执行电子设备的功能的方法
技术领域
本公开涉及电子设备及执行电子设备的功能的方法。
背景技术
人工智能系统是试图实现人类水平的智能的各个方面的计算机系统，其中，机器可以学习并形成判断以提高对其所使用的信息的识别率。
人工智能技术包括使用对输入数据的特征自行进行分类/学习的算法的机器学习(深度学习)技术和利用机器学习算法模拟诸如人脑的识别、判断等功能的基本技术。
基本技术可以包括例如用于识别人类语言/字符的语言理解技术、用于识别如人类视觉中的对象的视觉理解技术、用于判断和逻辑推理以及预测信息的推理/预测技术、用于处理人类体验信息作为知识数据的知识表达技术以及用于控制车辆的自动驾驶或机器人的运动的操作控制技术中的至少一种技术。
例如，语言理解技术是对人类语言/字符进行识别和应用/处理的技术，并且可以包括自然语言处理、机器翻译、对话系统、查询响应、语音识别/合成等。
例如，视觉理解技术是对如人类视觉中的对象进行识别和处理的技术，并且可以包括对象识别、对象跟踪、图像检索、人类识别、场景理解、空间理解、图像增强等。
例如，推理/预测技术是对信息进行判断和逻辑推理以及预测的技术，并且可以包括基于知识/概率的推理、优化预测、基于偏好的规划、推荐等。
例如，知识表达技术是自动将人类体验信息的处理转换为知识数据的技术，并且可以包括知识构建(数据生成/分类)、知识管理(数据利用)等。
例如，操作控制技术是控制自主车辆运动和机器人运动的技术，并且可以包括运动控制(导航、推力、运行)、操作控制(行为控制)等。
发明内容
技术问题
当电子设备提供虚拟化的计算机实现的“智能代理”时，用户可能缺乏智能代理的功能的先验知识，并且还可能难以明确地识别智能代理。因此，可能期望用户学习使用智能代理，并且电子设备可能错误地识别用户的问题、请求或命令等并且可能执行与用户的意图不同的操作。此外，为了容易地使用智能代理的功能，可以向用户提供提示以向用户通知用户可以输入的语音，使得可以通过语音输入来执行电子设备的操作。
即使在执行电子设备的特定功能的情况下，不熟悉电子设备的使用或者不熟悉通过语音命令执行电子设备的功能的用户可能难以知晓要执行什么功能或应该请求哪个话语来执行该功能。此外，当用户希望通过语音命令执行电子设备的任何一个功能时，用户的话语可能与相应的功能有关以执行相应的功能。
问题的解决方案
根据各种实施例，一种电子设备包括：壳体；触摸屏显示器，所述触摸屏显示器通过所述壳体的一部分暴露；无线通信电路；麦克风；扬声器；至少一个处理器，所述至少一个处理器位于壳体内部并且电连接到所述触摸屏显示器、所述无线通信电路、所述麦克风和所述扬声器；以及存储器，所述存储器位于所述壳体内部并且电耦接到所述至少一个处理器，其中，所述存储器被配置为至少临时存储状态的多个参考序列，所述状态的多个参考序列中的每一个参考序列与电子设备的各个操作或操作的各个组合相关联，并且当执行所述存储器时，所述至少一个处理器通过触摸屏显示器从用户接收第一序列的触摸输入、顺序地改变所述电子设备的状态以响应于所述第一序列的触摸输入来执行所述电子设备的操作或所述操作的组合、在所述存储器中存储改变后的状态的第一序列、将改变后的状态的第一序列与所述状态的多个参考序列中的至少一个参考序列的至少一部分进行比较以及存储用于使得所述比较产生的至少一个结果存储在所述存储器中的指令。
根据各种实施例，一种电子系统包括：触摸屏显示器；至少一个无线通信电路；麦克风；扬声器；一个或更多个处理器，所述一个或更多个处理器可操作地连接所述触摸屏显示器、所述无线通信电路、所述麦克风和所述扬声器；以及至少一个存储器，所述至少一个存储器可操作地连接所述一个或更多个处理器，其中，所述存储器被配置为至少临时存储状态的多个参考序列，所述状态的多个参考序列中的每一个参考序列与所述电子设备的各个操作或所述操作的各个组合相关联，并且当执行所述存储器时，所述一个或更多个处理器通过所述触摸屏显示器从用户获取第一序列的触摸输入、顺序地改变所述电子设备的状态以响应于所述第一序列的触摸输入来执行所述电子设备的操作或所述操作的组合、在所述存储器中存储改变后的状态的第一序列、将改变后的状态的所述第一序列与所述状态的多个参考序列中的至少一个参考序列的至少一部分进行比较以及存储用于使得所述比较产生的至少一个结果存储在所述存储器中的指令。
根据各种实施例，一种电子设备包括：壳体；触摸屏显示器，所述触摸屏显示器通过所述壳体的一部分暴露；无线通信电路；麦克风；扬声器；至少一个处理器，所述至少一个处理器位于所述壳体内部并且电连接到所述触摸屏显示器、所述无线通信电路、所述麦克风和所述扬声器；以及存储器，所述存储器位于所述壳体内部并且电连接到所述至少一个处理器，其中，所述存储器被配置为至少临时存储状态的多个参考序列，所述状态的多个参考序列与所述电子设备的各个操作或所述操作的各个组合相关联，并且当执行所述存储器时，所述至少一个处理器从用户接收第一序列的输入、顺序地改变所述电子设备的状态以响应于所述第一序列的输入来执行所述电子设备的操作或所述操作的组合、在所述存储器中存储改变后的状态的第一序列、将改变后的状态的第一序列与所述状态的多个参考序列中的至少一个参考序列的至少一部分进行比较以及存储用于使得所述比较产生的至少一个结果存储在所述存储器中的指令。
根据各种实施例，一种电子设备包括：壳体；触摸屏显示器，所述触摸屏显示器通过所述壳体的一部分暴露；无线通信电路；麦克风；扬声器；至少一个处理器，所述至少一个扬声器位于所述壳体内部并且电连接到所述触摸屏显示器、所述无线通信电路、所述麦克风和所述扬声器；以及存储器，所述存储器位于所述壳体内部并且电连接到所述至少一个处理器，其中，所述存储器被配置为至少临时存储状态的多个参考序列，所述状态的多个参考序列与所述电子设备的各个操作或所述操作的各个组合相关联，并且当执行所述存储器时，所述至少一个处理器通过所述触摸屏显示器从用户接收一个或更多个触摸输入、顺序地改变所述电子设备的状态以响应于所述一个或更多个触摸输入来执行所述电子设备的操作或所述操作的组合、在所述存储器中存储改变后的状态的第一序列、将改变后的状态的所述第一序列与所述状态的多个参考序列中的至少一个参考序列的至少一部分进行比较以及存储用于使得所述比较产生的至少一个结果存储在所述存储器中的指令。
根据各种实施例，一种电子设备包括：壳体；触摸屏显示器，所述触摸屏显示器通过所述壳体的一部分暴露；输入设备；至少一个处理器，所述至少一个处理器位于所述壳体内部并且电连接到所述触摸屏显示器和所述输入设备；以及存储器，所述存储器位于所述壳体内部并且电连接到所述至少一个处理器；其中，当执行所述存储器时，所述至少一个处理器通过所述输入设备从用户接收第一序列的输入、顺序地改变所述电子设备的状态的第一序列以响应于所述第一序列的输入来执行所述电子设备的第一操作、在所述存储器中存储与所述状态的第一序列相关联的信息、至少基于所述存储器中存储的与所述状态的第一序列相关联的信息通过所述触摸屏显示器来提供指示以及当所述指示被选择时，存储使得在不顺序改变所述状态的第一序列的情况下执行所述第一操作的指令，其中，所述指示表示所述第一操作的可用性。
根据各种实施例，在机器可读存储介质中记录了用于执行生成执行电子设备的操作的提示的方法的程序，所述方法包括：从用户接收第一序列的输入；顺序地改变所述电子设备的状态的第一序列，以响应于所述第一序列的输入来执行所述电子设备的第一操作；存储与状态的第一序列相关联的信息；至少基于所存储的与状态的第一序列相关联的信息通过所述电子设备的所述触摸屏显示器来提供指示，其中，所述指示表示所述第一操作的可用性；以及当所述指示被选择时，执行所述第一操作而不顺序改变状态的第一序列。
根据各种实施例，一种电子设备包括：壳体；触摸屏显示器，所述触摸屏显示器位于所述壳体内部并通过所述壳体的第一部分暴露；麦克风，所述麦克风位于所述壳体内部并且通过所述壳体的第二部分暴露；至少一个扬声器，所述至少一个扬声器位于所述壳体内部并通过所述壳体的第三部分暴露；无线通信电路，所述无线通信电路位于所述壳体内部；处理器，所述处理器位于所述壳体内部并且电连接到所述触摸屏显示器、所述麦克风、所述扬声器和所述无线通信电路；以及存储器，所述存储器位于所述壳体内部并且电连接到所述处理器，其中，当执行所述存储器时，所述处理器通过所述触摸屏显示器和所述麦克风中的至少一个来接收第一用户输入，所述第一用户输入包括使用电子设备和外部设备中的至少一个来执行任务的请求；通过所述无线通信电路向外部服务器发送与所述第一用户输入相关的第一数据；通过所述无线通信电路从所述外部服务器接收第一响应，所述第一响应包括与所述第一用户输入相关联的信息和/或所述电子设备的用于执行所述任务的至少一部分的状态的序列信息；通过所述触摸屏显示器接收用于分配话语和/或用户操作的第二用户输入作为执行所述任务的请求；以及存储使得通过所述无线通信电路向所述外部服务器发送与所述第二用户输入相关联的第二数据的指令。
根据各种实施例，一种执行电子设备的操作的方法包括：接收第一用户输入，其中，所述第一用户输入包括使用电子设备或外部设备中的至少一个来执行任务的请求；向外部服务器发送与所述第一用户输入相关联的第一数据；从所述外部服务器接收第一响应，其中，所述第一响应包括与所述第一用户输入相关联的信息和/或所述电子设备的用于执行所述任务的至少一部分的状态的序列信息；通过所述电子设备的触摸屏显示器接收用于分配话语和/或用户操作的第二用户输入作为执行所述任务的请求；以及向所述外部服务器发送与所述第二用户输入相关联的第二数据。
根据各种实施例，一种机器可读存储介质记录了用于执行进行电子设备的操作的方法的程序，所述方法包括：接收第一用户输入，其中，所述第一用户输入包括使用所述电子设备或外部设备中的至少一个来执行任务的请求；向外部服务器发送与所述第一用户输入相关联的第一数据；从所述外部服务器接收第一响应，其中，所述第一响应包括与所述第一用户输入相关联的信息和/或所述电子设备的用于执行所述任务的至少一部分的状态的序列信息；通过所述电子设备的所述触摸屏显示器接收用于分配话语和/或用户操作的第二用户输入作为执行所述任务的请求；以及向所述外部服务器发送与所述第二用户输入相关联的第二数据。
根据各种实施例，一种电子设备包括：壳体；触摸屏显示器，所述触摸屏显示器位于所述壳体内部并且通过所述壳体的第一部分暴露；麦克风，所述麦克风位于所述壳体内部并且通过所述壳体的第二部分暴露；至少一个扬声器，所述至少一个扬声器位于所述壳体内部并且通过所述壳体的第三部分暴露；无线通信电路，所述无线通信电路位于所述壳体内部；处理器，所述处理器位于所述壳体内部并且电连接到所述触摸屏显示器、所述麦克风、所述扬声器和所述无线通信电路；以及存储器，所述存储器位于所述壳体内部并且电连接到所述处理器，其中，存储器存储有指令，所述指令在被执行时使得所述处理器：通过所述触摸屏显示器和所述麦克风中的至少一个接收第一用户输入，所述第一用户输入包括使用所述电子设备和外部设备中的至少一个来执行任务的请求；通过所述无线通信电路向外部服务器发送与所述第一用户输入相关联的第一数据；基于与所述第一用户输入相关联的所述第一数据来获取第一响应，所述第一响应包括与所述第一用户输入相关联的信息和/或所述电子设备的用于执行所述任务的至少一部分的状态的序列信息；通过所述触摸屏显示器接收用于分配话语和/或用户操作的第二用户输入作为执行所述任务的请求；以及通过所述无线通信电路基于与所述第二用户输入相关联的第二数据来获取第二响应，所述第二响应存储有指令，所述指令包括所述电子设备的用于执行所述任务的至少一部分的状态的序列信息。
如上所述，根据各种实施例，电子设备可以集成用户的控制历史(控制经验)，以便电子设备向用户提供提示，使得用户可以以各种方式控制电子设备。
此外，电子设备可以根据用户的场合和/或用户对特定功能的使用模式来提供高度可用的提示，从而增加用户的提示利用率。
此外，可以通过使用针对用户的个性化对话来执行电子设备的功能。
本发明的有益效果
根据各种实施例，提供了电子设备以及操作电子设备的方法，该电子设备提供了向用户通知用户能够输入的语音输入的提示，使得可以通过语音输入来执行电子设备的操作。
附图说明
通过下面结合附图所做的详细描述，将更加清楚地理解本公开的以上和其它方面、特征和优点，在附图中：
图1示出了根据各种实施例的包括电子设备的网络环境；
图2是示出根据各种实施例的电子设备的框图；
图3是示出根据各种实施例的程序模块的框图；
图4是示出根据各种实施例的用于执行电子设备的提示生成操作的流程图；
图5是示出根据各种实施例的用于提供电子设备的操作的提示的画面的视图；
图6是示出根据各种实施例的用于执行电子设备的提示生成操作的流程图；
图7是示出根据各种实施例的电子设备通过电子设备的用户日志收集来生成路径规则的操作的流程图；
图8是示出根据各种实施例的根据用户输入确定电子设备的路径规则的操作的视图；
图9是示出根据各种实施例的电子设备通过电子设备的用户日志收集来生成路径规则的操作的流程图；
图10是示出根据各种实施例的电子设备通过电子设备的用户日志收集来生成路径规则的操作的流程图；
图11是示出根据各种实施例的用于执行电子设备的提示生成操作的流程图；
图12是示出根据各种实施例的电子设备通过电子设备的用户日志收集来生成路径规则的操作的流程图；
图13是示出根据各种实施例的电子设备通过电子设备的用户日志收集来生成路径规则的操作的流程图；
图14是示出根据各种实施例的电子设备通过电子设备的用户日志收集来生成路径规则的操作的流程图；
图15是示出根据各种实施例的电子设备通过电子设备的用户日志收集来生成路径规则的操作的流程图；
图16是示出根据各种实施例的电子设备通过电子设备的用户日志收集来生成路径规则的操作的流程图；
图17是示出根据各种实施例的与电子设备的路径规则相对应的提示表的视图；
图18至图20是示出用于提供提示的系统的框图；
图21是示出根据各种实施例的利用私有云来提供个性化提示的系统的视图；
图22是示出根据各种实施例的用于提供提示的系统的框图；
图23是示出根据各种实施例的用于服务器的提示生成的操作的流程图；
图24是示出根据各种实施例的考虑电子设备提供的提示的使用时间和该提示的出现(exposure)频率而提供的提示类型的曲线图；
图25是示出根据本公开的各种实施例的集成智能系统的视图；
图26是示出根据本公开的实施例的集成智能系统的用户终端的框图；
图27是示出根据本公开的实施例的执行用户终端的智能应用的视图；
图28是示出根据本公开的实施例的集成智能系统的智能服务器的框图；
图29是示出根据本公开的实施例的生成路径规划器模块的路径规则的方法的视图；
图30是示出根据本公开的实施例的处理器的情景模块收集当前状态的情况的视图；
图31是示出根据本公开的实施例的角色(persona)模块管理用户信息的情况的视图；
图32是示出根据本公开的实施例的建议模块的框图；
图33是示出根据本公开的实施例的电子设备提供提示的示例的视图；
图34是示出根据各种实施例的用于执行电子设备的功能的系统的视图；
图35是示出根据各种实施例的电子设备的用于执行电子设备的功能的操作的流程图；
图36是示出根据各种实施例的用于执行电子设备的功能的宏设置操作的流程图；
图37A和图37B是示出根据各种实施例的用于执行电子设备的功能的操作的流程图；
图38是示出根据各种实施例的用于执行电子设备的功能的操作的流程图；
图39是示出根据各种实施例的用于执行电子设备的功能的系统的视图；
图40是示出根据各种实施例的用于执行电子设备的功能的操作的流程图；
图41是示出根据各种实施例的用于执行电子设备的功能的操作的流程图；
图42是示出根据各种实施例的用于执行电子设备的功能的操作的流程图；
图43是示出根据各种实施例的用于执行电子设备的功能的操作的流程图；
图44A、图44B和图44C是示出根据各种实施例的注册用于执行电子设备的功能的命令快捷方式的视图；
图45A和图45B是示出根据各种实施例的注册用于执行电子设备的功能的命令快捷方式的视图；
图46A、图46B和图46C是示出根据各种实施例的注册用于执行电子设备的功能的命令快捷方式的视图；
图47A、图47B和图47C是示出根据各种实施例的注册用于执行电子设备的功能的命令快捷方式的视图；以及
图48是示出根据各种实施例的电子设备的命令快捷方式执行画面的视图。
具体实施方式
下文中，将参考附图描述本公开的各种实施例。实施例和其中使用的术语并不旨在将本文公开的技术限制为特定形式，并且应该被理解为包括相应实施例的各种修改、等同物和/或替代物。在描述附图时，类似的附图标记可用于表示类似的组成元件。单数形式的表述可以包括复数形式的表述，除非在上下文中被定义为不同的。如本文所使用的，单数形式也可以包括复数形式，除非上下文另有明确指示。在本公开的各种实施例中所使用的表述“第一”、“第二”、“所述第一”或“所述第二”可以修饰各种组件，而不管其顺序或重要性，但不限制相应的组件。当元件(例如，第一元件)被称为“(功能上或通信地)连接”或“直接耦接”另一元件(第二元件)时，该元件可以直接连接到另一元件或通过又一元件(例如，第三元件)连接到该另一元件。
如本公开的各种实施例中所使用的表述“被配置为”可以根据情况在硬件或软件上与例如“适合于”、“具有……的能力”、“被设计为”、“适于”、“被制作为”或“能够”互换使用。可选地，在一些情况下，表述“设备被配置为”可以表示该设备“能够”与其他设备或组件一起。例如，短语“适于(或被配置为)执行A、B和C的处理器”可以表示用于执行相应操作的专用处理器(例如，嵌入式处理器)或可以能够通过执行存储设备中存储的一个或更多个软件程序来执行相应操作的通用处理器(例如，中央处理单元(CPU)或应用处理器(AP))。
根据本公开的各种实施例的电子设备可以包括例如智能电话机、平板个人计算机(PC)、移动电话机、视频电话机、电子书阅读器(e-book阅读器)、台式PC、笔记本PC、上网本计算机、工作站、服务器、个人数字助手(PDA)、便携式多媒体播放器(PMP)、MEPEG-1音频层-3(MP3)播放器、移动医疗设备、相机和可穿戴设备中的至少一个。根据各种实施例，可穿戴设备可以包括配件型(例如，手表、戒指、手环、脚环、项链、眼镜、隐形眼镜或头戴式设备(HMD))、纺织或服装集成型(例如，电子服装)、身体安装型(例如，皮肤垫或纹身)和生物可植入型(例如，可植入电路)中的至少一个。在一些实施例中，电子设备可以包括例如电视机、数字视频光盘(DVD)播放器、音响、冰箱、空调、真空吸尘器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、电视盒(例如，Samsung HomeSyncTM、Apple TVTM或Google TVTM)、游戏控制台(例如，XboxTM和PlayStationTM)、电子词典、电子钥匙、摄录机和电子相框中的至少一个。
在其他实施例中，电子设备可以包括各种医疗设备(例如，各种便携式医疗测量设备(血糖监测设备、心率监测设备、血压测量设备、体温测量设备等)、磁共振血管造影(MRA)机器、磁共振成像(MRI)机器、计算机断层扫描(CT)机器和超声波机器)、导航设备、全球定位系统(GPS)接收器、事件数据记录器(EDR)、飞行数据记录器(FDR)、车辆信息娱乐设备、船舶电子设备(例如，船舶的导航设备和陀螺仪罗盘)、航空电子设备、安全设备、汽车头单元、用于家庭或工业的机器人、银行的自动柜员机(ATM)、商店中的销售点(POS)或物联网设备(例如，灯泡、各种传感器、电或燃气表、喷洒设备、火灾报警器、恒温器、路灯、烤面包机、体育用品、热水箱、加热器、锅炉等)中的至少一个。根据一些实施例，电子设备可以包括家具或建筑物/结构的一部分、电子板、电子签名接收设备、投影仪和各种类型的测量仪器(例如，水表、电表、煤气表、无线电波表等)中的至少一个。在各种实施例中，电子设备可以是柔性的，或者可以是前述各种设备中的一个或更多个的组合。根据本公开的一个实施例的电子设备不限于上述设备。在本公开中，术语“用户”可以表示使用电子设备的人或使用电子设备的设备(例如，人工智能电子设备)。
参考图1，在各种实施例中，描述了网络环境100中的电子设备101。电子设备101可以包括总线110、处理器120、存储器130、输入/输出接口150、显示器160和实现网络连接164的通信接口170。在某些实施例中，电子设备101可以省略至少一个组件，或者还可以包括其他组件。总线110可以包括用于连接组件110至组件170并在组件之间传输通信(例如，控制消息或数据)的电路。处理器120可以包括中央处理器(CPU)、应用处理器(AP)和通信处理器(CP)中的一个或更多个。例如，处理器120可以执行与电子设备101的至少一个其他组件的控制和/或通信相关的操作或数据处理。
存储器130可以包括易失性存储器和/或非易失性存储器。存储器130可以存储例如与电子设备101的至少一个其他组件相关的指令或数据。根据实施例，存储器130可以存储软件和/或程序140。程序140可以包括例如内核141、中间件143、应用编程接口(API)145和/或应用程序(或“应用”)147。内核141、中间件143和API 145中的至少一些可以被称为操作系统(OS)。内核141可以控制或管理用于执行其他程序(例如，中间件143、API 145或应用程序147)实施的操作或功能的系统资源(例如，总线510、处理器120或存储器130)。此外，内核141可以提供接口，中间件143、API 145或应用程序147可以通过该接口访问电子设备101的各个组件以控制或管理系统资源。
中间件143例如可以用作允许API 145或应用程序147与内核141进行通信以交换数据的中介。此外，中间件143可以根据其优先级处理从应用程序147接收到的一个或更多个任务请求。例如，中间件143可以为至少一个应用程序147分配使用电子设备101的系统资源(例如，总线110、处理器120或存储器130等)的优先级，并且可以处理一个或更多个任务请求。API145是应用147通过其控制由内核141或中间件143提供的功能的接口，并且可以包括例如用于文件控制、窗口控制、图像处理或文本控制的至少一个接口或功能(例如，指令)。
输入/输出接口150可以用于向电子设备101的其他组件传输来自用户或另一外部设备的例如指令或数据输入，或者可以向用户或另一外部设备输出从电子设备101的其他元件接收到的指令或数据。
显示器160的示例可以包括例如液晶显示器(LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器、微机电系统(MEMS)显示器和电子纸显示器。显示器160可以例如向用户呈现各种类型的内容(例如，文本、图像、视频、图标和/或符号等)。显示器160可以包括触摸屏，并且可以通过使用电子笔或用户身体的一部分来接收例如触摸、手势、接近或悬停输入。通信接口170可以例如在电子设备101与外部设备(例如，第一外部电子设备102、第二外部电子设备104或服务器106)之间建立通信。例如，通信接口170可以通过无线或有线通信连接到网络162，以与外部设备(例如，第二外部电子设备104或服务器106)通信。
无线通信可以包括使用以下各项中的至少一项的蜂窝通信协议：例如，长期演进(LTE)、高级LTE(LTE-A)、码分多址接入(CDMA)、宽带CDMA(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)或全球移动通信系统(GSM)。根据实施例，无线通信可以包括例如无线保真(Wi-Fi)、蓝牙、蓝牙低功耗(BLE)、Zigbee、近场通信(NFC)、磁安全传输、射频(RF)和体域网(BAN)中的至少一个。根据实施例，无线通信可以包括全球导航卫星系统(GNSS)。GNSS可以是例如全球定位系统(GPS)、全球导航卫星系统(GLONASS)、北斗导航卫星系统(下文中称为“北斗”)或欧洲全球卫星导航系统(伽利略)。在下文中，在本说明书中，“GPS”可以与“GNSS”互换使用。有线通信可以包括例如通用串行总线(USB)、高清多媒体接口(HDMI)、推荐标准232(RS-232)、电力线通信或普通老式电话业务(POTS)中的至少一个。网络162可以包括诸如计算机网络(例如，LAN或WAN)、互联网或电话网络的电信网络中的至少一个。
第一外部电子设备102和第二外部电子设备104的类型均可以与电子设备101的类型相同或不同。根据各种实施例，在电子设备1501中执行的全部操作或部分操作可以在另一个电子设备或多个电子设备(例如，第一外部电子设备102或第二外部电子设备104，或服务器106)中执行。根据实施例，当电子设备101必须自动地或通过请求执行一些功能或服务时，电子设备101可以向另一设备(例如，第一外部电子设备102或第二外部电子设备104，或服务器106)请求执行与其相关的至少一些功能来代替自身执行功能或服务，或者除了自身执行功能或服务外，电子设备101执行上述过程。另一电子设备(例如，第一外部电子设备102或第二外部电子设备104，或服务器106)可以执行所请求的功能或额外功能，并且可以向电子设备101传递所执行的结果。电子设备101可以原样地或另外地处理所接收到的结果，并且可以提供所请求的功能或服务。为此目的，可以使用诸如云计算技术、分布式计算技术或客户端-服务器计算技术。
图2是示出根据各种实施例的电子设备201的框图。电子设备200可以包括例如图1中所示的电子设备101的全部或部分。电子设备201可以包括至少一个处理器(例如，AP)210、通信模块220、用户识别模块(SIM)224、存储器230、传感器模块240、输入设备250、显示器260、接口270、音频模块280、相机模块291、电源管理模块295、电池296、指示器297和马达298。处理器210可以通过驱动例如操作系统或应用程序来控制与处理器210连接的多个硬件或软件组件，并且可以进行各种数据处理和计算。处理器210可被实现为例如片上系统(SoC)。根据实施例，处理器210还可以包括图形处理单元(GPU)和/或图像信号处理器。处理器210可以包括图2中示出的组件中的至少一些组件(例如，蜂窝模块221)。处理器210可以将从至少一个其他组件(例如，非易失性存储器)接收到的指令或数据加载到易失性存储器中，并且可以处理所加载的指令或数据，并且可以将结果数据存储在非易失性存储器中。
通信模块220的配置可以与图1的通信接口170的配置相同或类似。通信模块220可以包括例如蜂窝模块221、Wi-Fi模块223、蓝牙模块225、GNSS模块227、NFC模块328和RF模块229。蜂窝模块221可以通过例如通信网络来提供语音通话、视频通话、文字消息服务或互联网服务。根据实施例，蜂窝模块221可以使用SIM(例如，SIM卡)224来区分和认证通信网络内的电子设备201。根据实施例，蜂窝模块221可以执行可由处理器210提供的功能中的至少一些。根据实施例，蜂窝模块221可以包括通信处理器(CP)。根据一些实施例，蜂窝模块221、Wi-Fi模块223、蓝牙模块225、GNSS模块227和NFC模块228中的至少一些(两个或更多个元件)可以包括在一个集成芯片(IC)或IC封装中。RF模块229可以发送/接收例如通信信号(例如，RF信号)。RF模块229可以包括例如收发器、功率放大(amp)模块(PAM)、频率滤波器、低噪声放大器(LNA)和天线等。根据另一实施例，蜂窝模块221、Wi-Fi模块223、蓝牙模块225、GNSS模块227和NFC模块228中的至少一个可以通过单独的RF模块来发送/接收RF信号。SIM224可以包括例如包含SIM和/或嵌入式SIM的卡，并且可以包括唯一标识信息(例如，集成电路卡标识符(ICCID))或用户信息(例如，国际移动用户标识(IMSI))。
存储器230(例如，存储器130)可以包括例如嵌入式存储器232和/或外部存储器234。嵌入式存储器232可以包括例如易失性存储器(例如，动态随机存储器(DRAM)、静态RAM(SRAM)、同步动态RAM(SDRAM))或非易失性存储器(例如，一次性可编程只读存储器(OTPROM)、PROM、可擦除可编程ROM(EPROM)、电可擦可编程ROM(EEPROM)、掩模ROM、闪存ROM、闪存、硬盘驱动器或固态硬盘(SSD))中的至少一个。外部存储器234可以包括诸如紧凑型闪存(CF)、安全数字(SD)、微SD、迷你SD、极限数字(xD)、多媒体卡(MMC)、记忆棒等的闪存驱动器。外部存储器234可以通过各种接口功能性地和/或物理地连接到电子设备201。
传感器模块240可以例如测量物理量或检测电子设备201的操作状态，并且可以将测量到的或检测到的信息转换为电信号。传感器模块240可以包括例如姿势传感器240A、陀螺仪传感器240B、大气压力传感器240C、磁传感器240D、加速度传感器240E、握持传感器240F、接近传感器240G、颜色传感器240H(例如，红绿蓝(RGB)传感器)、生物特征传感器240I、温度/湿度传感器240J、照度传感器240K和紫外线(UV)传感器240M中的至少一个。另外地或可替代地，传感器模块240可以包括例如电子鼻传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、红外(IR)传感器、虹膜识别传感器和/或指纹传感器。传感器模块240还可以包括用于控制其中包括的至少一个或更多个传感器的控制电路。根据一些实施例，电子设备201还可以包括被配置为控制传感器模块240的处理器，作为处理器210的一部分或与处理器210分开，并且可以在处理器210处于睡眠状态时控制传感器模块240。
输入设备250可以包括例如触摸面板252、(数字)笔传感器254、键256和超声波输入设备258。触摸面板252可以使用例如电容式方案、电阻式方案、红外式方案和超声波方案中的至少一种。此外，触摸面板252还可以包括控制电路。触摸面板252还可以包括触觉层并向用户提供触觉反应。(数字)笔传感器254可以包括例如作为触摸面板的一部分或与触摸面板分离的识别层。键256可以包括例如物理按钮、光学键或小键盘。超声波输入设备258可以使用电子设备201的麦克风(如，麦克风288)检测由输入工具生成的超声波，并且可以确定与检测到的超声波相对应的数据。
显示器260(例如，显示器160)可以包括面板262、全息图设备264、投影仪266和/或用于控制它们的控制电路。面板262可以被实施为例如柔性的、透明的或可穿戴的。面板262和触摸面板252可以被实施为一个或更多个模块。根据实施例，面板262可以包括能够针对用户的触摸来测量压力强度的压力传感器(或力传感器)。压力传感器可以与触摸面板252一体形成，或者可以被实施为与触摸面板252分离的一个或更多个传感器。全息图设备264可以通过使用光干涉现象在空中呈现三维图像。投影仪266可以通过将光投影到屏幕上来显示图像。屏幕可以位于例如电子设备201的内部或外部。接口270可以包括例如HDMI 272、USB 274、光学接口276或D-超小型接口(D-sub)278。接口270可以被包括在例如图1中所示的通信接口170中。另外地或可选择地，接口270可以包括例如移动高清链接(MHL)接口、SD卡/多媒体卡(MMC)接口或红外数据协会(IrDA)标准接口。
音频模块280可以双向转换例如声音和电信号。可以在例如图1中所示出的输入/输出接口150中包括音频模块280的至少一些组件。音频模块280可以处理通过例如扬声器282、接收器284、耳机286和麦克风288等输入或输出的声音信息。相机模块291是能够拍摄静止图像和动态图像的设备。根据是实施例，相机模块291可以包括一个或更多个图像传感器(诸如，前置传感器或后置传感器)、镜头、图像信号处理器(ISP)或闪光灯(诸如，LED或氙灯)。电源管理模块295可以管理例如电子设备201的电力。根据示实施例，电源管理模块295可以包括电源管理IC(PMIC)、充电器IC、电池电量计或燃料计。PMIC可以使用有线和/或无线充电方法。无线充电方法的示例可以包括例如磁共振方法、磁感应方法和电磁波方法等，并且还可以包括用于无线充电的附加电路，例如，线圈回路、谐振电路或整流器。电池电量计可以测量例如电池296的剩余电量以及充电期间的电压、电流和温度。电池296可以包括例如可再充电电池和/或太阳能电池。
指示器297可以指示电子设备201或电子设备201的一部分(例如，处理器210)的特定状态(例如，启动状态、消息状态和充电状态等)。马达298可以将电信号转换为机械振动，并且可以生成振动、触觉效果等。电子设备200可以包括可以根据诸如数字多媒体广播(DMB)、数字视频广播(DVB)或mediaFloTM等的某些标准来处理媒体数据的移动TV支持设备(例如，GPU)。根据本说明书的每个上述组成元件可以配置有一个或更多个组件，并且相应组成元件的名称可以基于电子设备的类型而变化。根据各种实施例，可以省略一些元件，或者可以在电子设备(例如，电子设备201)中进一步包括其他附加元件。可选择地，可以组合一些组件以形成单个实体，并且因此该单个实体可以等效地执行相应元件组合之前的功能。
图3是示出根据各种实施例的程序模块的框图。根据实施例，程序模块310(例如，程序140)可以包括用于控制与电子设备(例如，电子设备101)相关的资源的操作系统(OS)和/或在OS中运行的各种应用(例如，应用程序147)。OS可以包括例如AndroidTM、iOSTM、WindowsTM、SymbianTM、TizenTM、BadaTM等。参考图3，程序模块310可以包括内核320(例如，内核141)、中间件330(例如，中间件143)、API 360(例如，API 145)和/或应用370(例如，应用程序147)。程序模块310的至少一部分可以被预加载在电子设备上，或可以从外部电子设备(例如，外部电子设备102或外部电子设备104、或服务器104)下载。
内核320可以包括例如系统资源管理器321和/或设备驱动器323。系统资源管理器321可以控制、分配或收集系统资源。根据实施例，系统资源管理器321可以包括进程管理器、存储器管理器、文件系统管理器等。设备驱动器223可以包括例如显示器驱动器、相机驱动器、蓝牙驱动器、共用存储器驱动器、USB驱动器、小键盘驱动器、Wi-Fi驱动器、音频驱动器或进程间通信(IPC)驱动器。中间件330可以提供由应用370共同实现的功能或者可以通过API 360向应用370提供各种功能，使得应用370可以使用电子设备中的有限的系统资源。根据实施例，中间件330可以包括例如运行时库335、应用管理器341、窗口管理器342、多媒体管理器343、资源管理器344、电源管理器345、数据库管理器346、包管理器347、连接管理器348、通知管理器349、位置管理器350、图形管理器351和安全管理器352中的至少一个。
运行时库335可以包括编译器使用的库模块，以便在运行应用370时通过编程语言来添加新的功能。运行时库335可以执行输出/输出管理、存储管理或算数函数处理。应用管理器341可以管理例如应用370中的至少一个的生命周期。窗口管理器342可以管理屏幕上的图形用户界面(GUI)资源。多媒体管理器343可以识别用于再现各种媒体文件的格式，并且可以使用适于相应格式的编解码器对媒体文件进行编码或解码。资源管理器344可以管理应用370的源代码或存储器的空间。电源管理器345可以管理例如电池的容量或电力，并且可以提供用于电子设备的操作的电力信息。根据实施例，电源管理器345可以与基本输入/输出系统(BIOS)一同操作。数据库管理器346可以生成、搜索或改变例如在应用370中使用的数据库。包管理器347可以管理以包文件的形式分发的应用的安装或更新。
连接管理器348可以管理例如无线连接。通知管理器349可以向用户提供诸如到达消息、约会、接近通知等的事件。位置管理器350可以管理例如电子设备的位置信息。图形管理器351可以管理例如要提供给用户的图形效果及与图形效果相关的用户界面。安全管理器352可以提供例如系统安全性或用户认证。根据实施例，中间件330还可以包括用于管理电子设备的语音通话功能或视频通话功能的电话管理器或者形成上述组件的功能的组合的中间件模块。根据实施例，中间件330可以提供专用于每种类型的OS的模块。此外，中间件330可以动态地删除一些现有组件或添加新组件。API 360是例如API编程功能集，并且可以根据OS而具有不同的配置。例如，在Android或iOS的情况下，可以为每个平台提供一个API集，而在Tizen的情况下，可以为每个平台提供两个或更多个API集。
应用370可以包括：例如，主页应用371、拨号器应用372、短消息服务(SMS)/多媒体消息服务(MMS)应用373、即时消息(IM)应用374、浏览器应用375、相机应用376、闹钟应用377、联系人应用378、语音拨号应用379、电子邮件应用380、日历应用381、媒体播放器应用382、相册应用383、手表应用384、健康护理应用(例如，测量运动量或血糖)和环境信息(例如，大气压力、湿度、温度信息等)。根据实施例，应用370可以包括信息交换应用，该信息交换应用支持电子设备与外部电子设备之间的信息交换。信息交换应用可以包括例如用于通知外部电子设备特定信息的通知转发应用或者用于管理外部电子设备的设备管理应用。例如，通知转发应用可以向外部电子设备传送从电子设备的其他应用生成的通知信息，或者可以从外部电子设备接收通知信息并向用户提供所接收到的通知信息。设备管理应用可以安装、删除或更新与电子设备通信的外部电子设备的功能(例如，打开/关闭外部电子设备本身(或一些组件)的功能或者调整显示器的亮度(或者分辨率)的功能)，该应用运行于外部电子设备中。根据实施例，应用370可以包括根据外部电子设备的属性指定的应用(例如，移动医疗设备的健康护理应用)。根据实施例，应用370可以包括从外部电子设备接收到的应用。可以以软件、固件、硬件(例如，处理器210)或其中至少两个或更多个的组合来实现(例如，运行)程序模块310的至少一部分，并且程序模块310的至少一部分可以包括例如用于执行至少一个或更多个功能的模块、程序、例程、指令集和/或进程。
根据各种实施例，电子设备(例如，电子设备101)可以包括：壳体；触摸屏显示器(例如，显示器160)，该触摸屏显示器通过壳体的一部分暴露；无线通信电路(例如，通信接口170)；麦克风(例如，麦克风288)；扬声器(例如，扬声器282)；至少一个处理器(例如，处理器120)，该至少一个处理器位于壳体内并且电连接到触摸屏显示器、无线通信电路、麦克风和扬声器；以及存储器(例如，存储器130)，该存储器位于壳体内并且电耦接到该至少一个处理器，使得存储器被配置为至少临时存储状态的多个参考序列，该状态的多个参考序列中的每一个参考序列与电子设备的各个操作或操作的各个组合相关联，并且当执行存储器时，至少一个处理器通过触摸屏显示器从用户接收第一序列的触摸输入；顺序地改变电子设备的状态以响应于第一序列的触摸输入来执行电子设备的操作或操作的组合；在存储器中存储改变后的状态的第一序列；将改变后的状态的第一序列与状态的多个参考多个序列中的至少一个序列的至少一部分进行比较；以及存储用于使得该比较产生的至少一个结果存储在存储器中的指令。
根据各种实施例，指令可以使得该至少一个处理器在存储至少一个结果之后通过触摸屏显示器接收小于第一序列的触摸输入的至少一个触摸输入、确定该至少一个触摸输入与至少一个结果和/或状态的多个参考序列中的至少一个参考序列相关联并且通过触摸屏显示器和/或扬声器提供指示，该指示可以表示在用户不提供第一序列的触摸输入的情况下使用该指示来重复改变后的状态的第一序列的至少一部分。
根据各种实施例，该指令可以使得至少一个处理器在顺序地改变电子设备的状态时收集指示电子设备的内部操作或外部情景的第一情景信息、在存储器中存储情景信息以对应与改变后的状态的第一序列、在至少一个触摸输入时收集指示电子设备的内部操作或外部情景的第二情景信息并且当第一情景信息和第二情景信息彼此对应时，通过触摸屏显示器和/或扬声器提供指示。
根据各种实施例，该指令可以使得至少一个处理器更新改变后的状态的第一序列的执行次数以在存储器中存储所更新的执行次数，并且当所更新的执行次数与指定条件相对应时，通过触摸屏显示器和/或扬声器提供指示。
根据各种实施例，该指令可以使得至少一个处理器在一个或更多个操作用于电子设备的功能的时间点与指定的条件相对应时，通过触摸屏显示器和/或扬声器提供指示。
根据各种实施例，该指令可以使得至少一个处理器在完全接收到第一序列的触摸输入之前开始顺序地改变状态。
根据各种实施例，指令可以使得至少一个处理器在存储至少一个结果之后通过麦克风接收语音输入、确定语音输入与至少一个结果和/或状态的多个参考序列中的至少一个参考序列相关联并且通过触摸屏显示器和/或扬声器提供指示，该指示可以表示在用户不提供第一序列的触摸输入的情况下使用该指示来重复改变后的状态的第一序列的至少一部分。
根据各种实施例，该指令可以使得至少一个处理器提供建议指定与至少一个结果相对应的宏的指示并且根据通过麦克风的语音输入或通过触摸屏显示器的触摸输入针对建议指定宏的指示来指定与至少一个结果相对应的宏，通过触摸屏显示器和/或扬声器所提供的指示表示被指定为对应于至少一个结果的宏。
根据各种实施例，指令可以使得至少一个处理器基于电子设备的指定的条件确定至少一个指示的优先级，并且基于所确定的优先级通过触摸屏显示器和/或扬声器提供至少一个指示，该指示可以表示在不提供第一序列的触摸输入的情况下使用该指示来重复改变后的状态的第一序列的一部分。
根据各种实施例，指令可以使得至少一个处理器：基于使用应用域的次数来确定执行电子设备的操作或者操作的组合的应用域；在用于执行电子设备的操作或操作的组合的通过麦克风的语音输入或通过触摸屏显示器的触摸输入时，生成包括应用域的信息的指示；以及通过触摸屏显示器和/或扬声器提供至少一个指示，其中，指示可以表示在不提供第一序列的触摸输入的情况下使用该指示在应用域中重复改变后的状态的第一序列的一部分。
根据各种实施例，电子系统可以包括：触摸屏显示器(例如，显示器160)；至少一个无线通信电路(例如，通信接口170)；麦克风(例如，麦克风288)；扬声器(例如，扬声器282)；一个或更多个处理器(例如，处理器120)，该一个或更多个处理器可操作地连接到触摸屏显示器、无线通信电路、麦克风和扬声器；以及至少一个存储器(例如，存储器130)，该至少一个存储器可操作地连接一个或更多个处理器，使得存储器被配置为至少临时地存储状态的多个参考序列，状态的多个参考序列中的每一个参考序列与电子设备的各个操作或操作的各个组合相关联，并且当执行存储器时，一个或更多个处理器通过触摸屏显示器从用户获取第一序列的触摸输入；顺序地改变电子系统的状态以响应于第一序列的触摸输入来执行电子系统的操作或操作的组合；在存储器中存储改变后的状态的第一序列；将改变后的状态的第一序列与状态的多个参考序列中的至少一个参考序列的至少一部分进行比较；以及存储用于使得该比较产生的至少一个结果存储在存储器中的指令。
根据各种实施例，电子系统还可以包括：包括第一处理器的移动设备；以及包括第二处理器的服务器，使得指令使第一处理器通过所述触摸屏显示器获取第一序列的触摸输入并且使第二处理器顺序地改变电子设备的状态以响应于第一序列的触摸输入来执行电子设备的操作或操作的组合。
根据各种实施例，指令可以使第二处理器将改变后的状态的第一序列存储在存储器中、将改变后的状态的第一序列与状态的多个参考序列中的至少一个参考序列的至少一部分进行比较并且将比较产生的至少一个结果存储在存储器中。
根据各种实施例，指令可以使得一个或更多个处理器在存储至少一个结果之后通过触摸屏显示器接收小于第一序列的触摸输入的至少一个触摸输入、确定至少一个触摸输入与至少一个结果和/或状态的多个参考序列中的至少一个参考序列相关联、通过触摸屏显示器和/或扬声器提供指示、接收通过触摸屏显示器或扬声器的指示的选择并且至少部分地响应于选择来至少部分地重复改变后的状态的第一序列的至少一部分。
根据各种实施例，该指令可以使得一个或更多个处理器在完全接收到第一序列的触摸输入之前开始顺序地改变状态。
根据各种实施例，电子设备可以包括：壳体；触摸屏显示器(例如，显示器160)，该触摸屏显示器通过壳体的一部分暴露；无线通信电路(例如，通信接口170)；麦克风(例如，麦克风288)；扬声器(例如，扬声器282)；至少一个处理器(例如，处理器120)，该至少一个处理器位于壳体内部并且电连接到触摸屏显示器、无线通信电路、麦克风和扬声器；以及存储器(例如，存储器130)，该存储器位于壳体内部并且电连接到至少一个处理器，使得存储器被配置为至少临时存储状态的多个参考序列，状态的多个参考序列与电子设备的各个操作或操作的各个组合相关联，并且当执行存储器时，至少一个处理器从用户接收第一序列的输入；顺序地改变电子设备的状态以响应于第一序列的输入来执行电子设备的操作或操作的组合；在存储器中存储改变后的状态的第一序列；将改变后的状态的第一序列与状态的多个参考序列中的至少一个参考序列的至少一部分进行比较；以及存储用于使得比较产生的至少一个结果存储在存储器中的指令。
根据各种实施例，电子设备可以包括：壳体；触摸屏显示器(例如，显示器160)，该触摸屏显示器通过壳体的一部分暴露；无线通信电路(例如，通信接口170)；麦克风(例如，麦克风288)；扬声器(例如，扬声器282)；至少一个处理器(例如，处理器120)，该至少一个处理器位于壳体内部并且电连接到触摸屏显示器、无线通信电路、麦克风和扬声器；以及存储器(例如，存储器130)，该存储器位于壳体内部并且电连接到至少一个处理器，使得存储器被配置为至少临时存储状态的多个参考序列，状态的多个参考序列与电子设备的各个操作或操作的各个组合相关联；并且当执行存储器时，至少一个处理器通过触摸屏显示器从用户接收一个或更多个触摸输入；顺序地改变电子设备的状态以响应于一个或更多个触摸输入来执行电子设备的操作或操作的组合；在存储器中存储改变后的状态的第一序列；将改变后的状态的第一序列与状态的多个参考序列中的至少一个参考序列的至少一部分进行比较；以及存储用于使得比较产生的至少一个结果存储在存储器中的指令。
根据各种实施例，电子设备(例如，电子设备101)可以包括：壳体；触摸屏显示器(例如，显示器160)，该触摸屏显示器通过的壳体的一部分暴露；输入设备(例如，输入/输出接口150)；至少一个处理器(例如，处理器120)，该至少一个处理器位于壳体内并且电连接到触摸屏显示器(例如，显示器160)和输入设备；以及存储器(例如，存储器130)，该存储器位于壳体内并且电连接到至少一个处理器，使得当执行存储器时，至少一个处理器通过输入设备从用户接收第一序列的输入、顺序地改变电子设备的状态的第一序列以响应于第一序列的输入来执行电子设备的第一操作、在存储器中存储与状态的第一序列相关联的信息、至少基于存储器中存储的与状态的第一序列相关联的信息通过触摸屏显示器提供指示以及当指示被选择时，存储使得在不顺序改变状态的第一序列的情况下执行第一操作的指令，其中，指示表示第一操作的可用性。
根据各种实施例，该指令可以使得至少一个处理器接收与输入的第一序列相对应的至少一个输入，并且当指示被选择时，通过改变电子设备的至少一个状态进行第一操作，并且至少一个状态的第一数量小于状态的第一序列的第二数量。
根据各种实施例，存储器可以被配置为至少临时存储状态的多个参考序列，并且状态的多个参考序列可以与电子设备的各个操作或操作的各个组合相关联，指令可以使至少一个处理器将状态的第一序列与状态的多个参考序列中的至少一个参考序列的至少一部分进行比较并将比较产生的至少一个结果存储在存储器中作为与第一序列相关联的信息。
根据各种实施例，该指令可以使得至少一个处理器基于与第一序列相关联的信息来提供建议指定与状态的第一序列相对应的宏的指示、基于通过输入设备建议指定宏的指示的输入来指定与第一序列相对应的宏并且通过触摸屏显示器提供与宏相对应的指示。
根据各种实施例，该指令可以使至少一个处理器在状态的第一序列被顺序改变时收集指示电子设备的内部操作或外部情景的第一情景信息以将所收集的第一情景信息存储在存储器中，并且使至少一个处理器根据第二情景信息与第一情景信息的比较结果确定指示，第二情景信息指示在执行电子设备时或在执行电子设备的应用时收集的电子设备的内部操作或者外部情景。
根据各种实施例，该指令可以使得至少一个处理器根据执行存储器中存储的第一操作的次数来确定指示。
根据各种实施例，该指令可以使得至少一个处理器根据第一操作被应用为电子设备的功能的时间点来确定指示。
根据各种实施例，在机器可读存储介质中记录了用于执行生成执行电子设备(例如，电子设备101)的操作的提示的方法的程序，该方法可以包括：从用户接收来第一序列的输入；顺序地改变电子设备的状态的第一序列，以响应于第一输入的序列来执行电子设备的第一操作；存储与状态的第一序列相关联的信息；至少基于存储的与状态的第一序列相关联的信息通过电子设备的触摸屏显示器来提供指示，使得该指示表示第一操作的可用性；以及当指示被选择时，执行第一操作而不顺序地改变状态的第一序列。
图4是示出根据各种实施例的用于执行电子设备(例如，电子设备101)的提示生成操作的流程图。参考图4，电子设备可以基于用户的使用模式在电子设备的处理器(例如，处理器120)中生成提示(也称为指示)并向用户提供该提示。例如，提示可以是通知用户来输入语音的文本，以便可以通过语音输入执行电子设备的操作。例如，电子设备的操作可以是用户预期执行的电子设备的操作。
在操作410中，电子设备(例如，处理器120)可以收集电子设备的日志。
根据实施例，电子设备可以在操作期间(例如，当用户使用电子设备时)收集电子设备的日志。例如，当根据用户输入执行至少一个操作时，电子设备可以收集与执行至少一个操作相关的日志。例如，电子设备可以收集在用户使用电子设备时显示的画面变换信息。
即，根据实施例，日志可以包括由电子设备顺序显示的画面的记录(以便电子设备根据用户输入执行包括至少一个操作的功能)和/或由电子设备顺序执行的操作(以及“画面变换信息”)的记录。例如，根据由电子设备执行的一个操作或者一个操作的执行所显示的单个画面可以被称为状态，并且由电子设备顺序地执行的操作的记录或者与顺序地执行的操作相对应的顺序显示的画面的记录可以称为状态序列日志(下文中，也称为状态序列)。例如，可以通过顺序地排列根据用户输入执行的操作来获得状态序列日志。
根据实施例，日志还可以包括关于用户输入的信息。例如，用户输入可以是各式各样的，例如，使用麦克风的语音输入、触摸屏上的触摸输入、用户对按钮(或键)的操纵和/或使用遥控器的输入。
根据实施例，日志还可以包括当电子设备从用户接收使得电子设备执行特定功能的用户输入时的情景信息(也称为情景)。例如，情景信息可以表示电子设备的内部操作或外部情况，并且可以是各式各样的，例如，在电子设备中存储的位置、日期、时间和/或日程信息。
在操作420中，电子设备(例如，处理器120)可以分析收集的日志，并且可以检测指示电子设备的顺序改变的状态的路径规则。例如，可以通过电子设备将应用的功能划分为单元操作来获得路径规则。
根据实施例，电子设备可以选择与电子设备的使用意图或目的相对应的状态，以此方式使得所收集的日志与先前存储的状态序列日志(也称为状态参考序列)完全地或部分地匹配，并且可以查找允许顺序地执行所选状态的路径规则。例如，可以根据电子设备基于用户输入的操作来更新先前存储的状态序列日志。例如，根据路径规则的检测，电子设备可以确认使用电子设备的哪个功能、在哪个情景中使用该功能和/或通过哪种输入方式来使用该功能。
根据另一实施例，电子设备可以通过对收集的状态日志的模式分析来分析重复使用的状态日志，从而提取新的路径规则。例如，当状态日志被执行指定的参考次数或更多次时，电子设备可以通过分析所收集的状态日志来确认用户已经重复执行了上述功能，并且可以新获取包括状态序列的路径规则。
稍后将参考图28描述上述路径规则。
在操作430中，电子设备(例如，处理器120)可以确定路径规则的优先级，并且可以基于优先级选择路径规则。
根据实施例，电子设备可以基于日志中包括的信息来确定和/或改变与向用户提供的提示相对应的路径规则的优先级。例如，日志中包括的信息可以包括关于用户输入的信息和/或情景信息。
根据实施例，可以确定路径规则的优先级，使得可以根据用户场合以各种方式向用户提供被转换为与路径规则相对应的自然语言的提示。例如，电子设备可以基于情景信息和/或路径规则的使用频率来确定用户场合。
根据实施例，当通过日志分析检测到多个路径规则时，电子设备可以根据多个路径规则向用户提供提示的目的以各种方式确定多个路径规则的优先级。例如，当可以提供提示使得用户能够通过触摸输入以自然语言容易地处理通过触摸输入经常使用的路径规则时，可以将高优先级分配给通过触摸输入所使用但通过语音输入无法很好使用的路径规则。这可以通过减少常用功能的界面步骤来增加提示的利用率。以另一示例的方式，假设用户在家中主要通过语音输入来使用相同的路径规则并且在办公室通过触摸输入控制相同的路径规则，当用户的位置是在办公室且向用户提供提示时，电子设备可以排除建议用户输入语音的提示的路径规则。
在操作440中，电子设备(例如，处理器120)可以将基于优先级选择的路径规则转换为自然语言提示。
根据实施例，电子设备可以通过自然语言生成(NLG)技术或者映射与路径规则匹配的标准话语来将基于优先级选择的路径转换为自然语言形式的提示。
在操作450中，电子设备(例如，处理器120)可以提供被转换为自然语言的提示。
根据实施例，电子设备可以在电子设备被激活时或者当执行电子设备的应用时自动地提供提示。
根据另一实施例，电子设备可以根据诸如触摸输入、语音输入、用户对硬件按钮(或键)的操纵和/或使用遥控器的输入的用户输入来提供提示。根据实施例，电子设备可以通过显示器提供被转换为自然语言的提示。例如，如图5所示，当根据上述操作以转换的自然语言形式的提示是“播放最新音乐”、“呼叫Amy”等时，电子设备可以在显示器的预定区域510上显示诸如“播放最新音乐”、“呼叫Amy”等的提示。
根据另一实施例，电子设备可以使用文本到语音(TTS)技术通过扬声器将被转换为自然语言的提示输出为语音。
根据又一实施例，电子设备可以通过显示器和扬声器提供被转换为自然语言的提示。
根据实施例，当用户说出或触摸显示器上显示的提示时，电子设备可以顺序地并自动地执行与提示相对应的路径规则的状态。例如，电子设备可以在触摸屏上显示顺序执行状态的最终状态。通过另一示例的方式，电子设备可以在触摸屏上顺序地显示状态的所有顺序执行。
根据实施例，电子设备可以在执行电子设备或执行电子设备的应用时自动执行图4的上述操作。可选择地，电子设备可以根据诸如触摸输入、语音输入、用户对按钮(或键)的操作和/或使用遥控器的输入的用户输入来执行图4的上述操作。
图6是示出根据各种实施例的用于执行电子设备(例如，服务器106的处理器)的提示生成操作的流程图。参考图6，电子设备可以从外部电子设备接收日志、可以基于外部电子设备的用户的使用模式生成外部电子设备的提示并且可以向外部电子设备发送所生成的提示。
在操作610中，电子设备(例如，服务器106的处理器)可以通过无线通信电路从外部电子设备接收外部电子设备的日志。
根据实施例，日志可以包括由外部电子设备顺序显示的画面的记录(其中外部电子设备根据用户输入执行包括至少一个操作的功能)和/或由外部电子设备顺序执行的操作的记录。例如，根据由外部电子设备执行的一个操作或者一个操作的执行所显示的单个画面可以被称为状态，并且由外部电子设备顺序执行的操作的记录或者与顺序执行的操作相对应的顺序显示的画面的记录可以称为状态序列日志。例如，可以通过顺序排列根据用户输入执行的操作来获得状态序列日志。
根据实施例，日志还可以包括与外部电子设备的用户输入有关的信息。例如，外部电子设备的用户输入可以是各式各样的，例如，通过使用麦克风的语音输入、触摸屏上的触摸输入、用户对按钮(或键)的操纵和/或使用遥控器的输入。
根据实施例，日志还可以包括当外部电子设备从用户接收使得外部电子设备执行特定功能的用户输入时的情景信息(也称为情景)。例如，情景信息可以是各式各样的，例如，在电子设备中存储的位置、日期、时间和/或日程信息。
在操作620中，电子设备(例如，服务器106的处理器)可以分析所接收到的日志并且可以检测外部电子设备的路径规则，从而路径规则指示外部电子设备的操作状态的顺序改变。例如，可以通过电子设备将应用的功能划分为单元操作来获得路径规则。
根据实施例，电子设备可以预测外部电子设备的使用意图或用户定义的目的、可以选择与外部电子设备的使用意图或目的相对应的状态(以此方式使得所接收到的日志与先前存储的状态序列日志完全或部分匹配)并且可以查找允许顺序执行所选状态的路径规则。例如，可以根据外部电子设备来更新先前存储的状态序列日志。例如，根据路径规则的检测，电子设备可以确认使用外部电子设备的哪个功能、在哪个情景中使用该功能和/或通过哪种输入方式来使用该功能。
根据另一实施例，电子设备可以通过对所接收到的外部电子设备的状态日志的模式分析来分析重复使用的状态日志，从而提取新的路径规则。例如，当状态日志被执行指定的参考次数或更多次时，电子设备可以通过分析所接收到的外部电子设备的状态日志来确认外部电子设备的用户已经重复执行了上述功能，并且可以新获取包括状态序列的路径规则。
在操作630中，电子设备(例如，服务器106的处理器)可以确定外部电子设备的路径规则的优先级，并且可以基于所确定的优先级选择外部电子设备的路径规则。
根据实施例，电子设备可以基于外部电子设备的日志中包括的信息来设置和/或改变与向外部电子设备的用户提供的提示相对应的路径规则的优先级。
根据实施例，可以确定路径规则的优先级，使得可以根据外部电子设备的用户场合以各种方式向用户提供被转换为与外部电子设备的路径规则相对应的自然语言的提示。例如，电子设备可以基于外部电子设备的情景信息和/或外部电子设备的路径规则的使用频率来确定外部电子设备的用户场合。
根据实施例，当通过日志分析检测到外部电子设备的多个路径规则时，电子设备可以根据多个路径规则向外部电子设备的用户提供提示的目的以各种方式来确定多个路径规则的优先级。
在操作640中，电子设备(例如，服务器106的处理器)可以将基于优先级选择的外部电子设备的路径规则转换为自然语言提示。
根据实施例，电子设备可以通过自然语言生成技术或者映射与路径规则匹配的标准话语来将基于优先级选择的外部电子设备的路径转换为自然语言形式的提示。
在操作650中，电子设备(例如，服务器106的处理器)可以通过无线通信电路向外部电子设备发送提示(例如，被转为自然语言)。
根据实施例，当从外部电子设备接收到提供提示的请求时，电子设备可以向外部电子设备发送提示。例如，当执行电子设备时或者当执行电子设备的应用时，外部电子设备可以自动地请求从电子设备提供提示。通过另一示例的方式，外部电子设备可以根据诸如触摸输入、语音输入、用户对硬件按钮(或键)的操纵和/或使用遥控器的输入的用户输入来请求从外部电子设备提供提示。
图7是示出根据各种实施例的电子设备(例如，电子设备101)通过电子设备的用户日志收集生成路径规则的操作的流程图。参考图7，电子设备可以生成和/或确定用于生成向用户提供的提示的路径规则。
在操作710中，电子设备(例如，电子设备101)可以接收用户输入。
根据实施例，用户输入可以是各式各样的，例如，语音输入、触摸输入、用户对按钮(或键)的操纵和/或使用遥控器的输入。
根据实施例，用户输入可以是使电子设备执行一个操作的单个输入，或者是使电子设备连续执行操作的多个连续输入。
根据实施例，在操作720中，当用户输入包括通过麦克风的至少一个语音输入时，电子设备(例如，处理器120)可以基于语音输入来收集电子设备的话语路径规则。例如，电子设备可以使用自然语言理解(NLU)确定将哪个话语路径规则作为语音输入以使电子设备顺序地执行特定操作。例如，话语路径规则可以是用于电子设备的顺序操作的日志数据。
在操作730中，电子设备(例如，处理器120)可以将收集的话语路径规则存储在话语路径规则表中。例如，话语路径规则表可以存储在电子设备的存储器中。
根据实施例，在操作740中，当用户输入包括触摸屏上的至少一个触摸输入时，电子设备(例如，处理器120)可以基于触摸输入生成触摸状态日志。例如，电子设备可以生成通过顺序组合与连续接收的每个触摸输入相对应执行的操作而获得的触摸状态日志。例如，电子设备可以生成通过顺序组合电子设备的通过触摸输入改变的状态而获得的触摸状态日志。
在操作750中，电子设备(例如，处理器120)可以基于触摸状态日志确定触摸路径规则。例如，基于规则映射器处理通过将触摸状态日志与在现有规则数据库(或电子设备的存储器)中存储的状态序列日志进行比较，电子设备可以确认与存储触摸状态日志的状态序列日志相对应的部分对应于哪个部分，并且电子设备可以从存储的状态序列日志中提取与触摸状态日志相对应的触摸路径规则。
规则映射器处理是通过分析所收集的日志(例如，触摸状态日志)来查找先前定义的路径规则的处理，并且将参考图8详细描述该处理。
图8是示出根据各种实施例的根据用户输入确定电子设备(例如，电子设备101)的路径规则的操作的视图。
根据实施例，可以以表格的形式存储路径规则，该表格定义包括用于最终结果的代表性对话和包括用于顺序执行各种操作的状态序列的信息的路径规则，可以通过用于执行电子设备的特定功能的各种操作的组合来实现该最终结果。例如，代表性对话可以包括用于执行特定功能的用户意图。
例如，路径规则可以符合用户通过其使用电子设备的特定功能的用户界面(UI)的层级结构，并且可以根据画面和/或功能以状态结构展示(express)层级结构。可以通过定义可以在UI的层级结构中在前向方向上处理的路径的状态序列来获得路径规则。
例如，如图8的(a)所示，可以以表格的形式定义路径规则，该表格包括可以通过用于执行电子设备的功能的各种操作的组合实现的最终结果的代表性对话801、用于识别路径规则的路径规则ID 803、用于指示为了电子设备实现最终结果而顺序执行的操作的路径规则(名称)805以及指示与每个操作相对应的状态ID的组合的路径规则(状态)807。
根据实施例，电子设备可以为电子设备的每个操作分配状态ID。例如，电子设备可以预先为应用的每个操作分配状态ID。参考图8的(b)，图库应用可以包括执行、照片视图、照片搜索、照片选择、所选照片删除、相册视图、相册选择、动画效果的执行(对所选择的相册中包括的照片应用动画效果)以及拼贴功能的执行(对图库应用的所选择的相册中包括的照片进行组合)，或者可以包括关闭图库应用的关闭功能的执行。此外，例如，状态_1的状态ID可以被分配给图库应用的执行，状态_2的状态ID可以被分配给照片视图，状态_3的状态ID可以被分配给照片搜索，状态_4的状态ID可以被分配给照片选择，状态_5的状态ID可以被分配给所选照片删除，状态_6的状态ID可以被分配给相册视图，状态_7的状态ID可以被分配给相册选择，状态_8的状态ID可以被分配给动画功能的执行，状态_9的状态ID可以别分配给拼贴功能的执行，并且状态_10的状态ID可以被分配给关闭功能的执行。
根据实施例，电子设备可以存储状态序列日志，该状态序列日志是根据先前用户输入预先设置或生成的电子设备的顺序操作记录。此外，电子设备可以存储用于允许执行每个操作的用户输入信息和执行每个操作的应用信息。
根据另一实施例，如图8的(c)所示，电子设备可以将状态序列日志存储为与每个操作相对应的状态ID。参考图8的(c)，电子设备可以将状态ID813与对应的用户输入811(与已经根据顺序的用户输入811顺序地执行的各个操作相对应)相关联，并且可以存储结果。此外，电子设备甚至可以将通过其执行操作的应用信息815与状态ID 813相关联，并且可以存储结果。例如，电子设备可以将与各个操作对应的应用信息815(例如，“...图库、图库、图库、图库、图库、图库、图库、图库、图库、图库、图库...”)、顺序的用户输入811(例如，“...触摸、触摸、触摸、触摸、键盘、触摸、语音、触摸、触摸、触摸、触摸...”)以及状态ID 813(例如，“...状态_2、状态_10、状态_1、状态_2、状态_3、状态_4、状态_5、状态_6、状态_7、状态_2、状态_4...”)相关联，状态ID 813是与根据用户输入811执行的各个操作相对应的状态ID的组合。
根据实施例，当用户输入(例如，多输入)的应用的状态被改变时，可以收集状态序列日志，并且可以与应用的名称、用户输入的类型、时间情景以及状态ID等一起收集状态序列日志。电子设备可以使用所收集的状态序列日志以各种方式从状态序列日志查找与用户输入匹配的模式，以生成路径规则。
根据实施例，电子设备可以基于先前存储的上述状态序列日志来确定用于对用户的对话进行处理的路径规则。
例如，参考图8的(a)，为了处理“删除昨天拍摄的照片”的第一对话，电子设备可能期望选择该图库应用。例如，电子设备可以以根据“应用执行-照片视图-搜索-照片选择-删除”的路径规则的顺序来预测操作，以便处理第一对话。例如，电子设备可以从先前存储的电子设备的图库应用的状态序列日志中查找“应用执行-照片视图-搜索-照片选择-删除”，其是与Path_Rule_1相对应的操作路径规则，Path_Rule_1是第一对话的路径规则ID和/或与指示与操作路径规则相对应的状态ID的组合的路径规则匹配的部分，并且电子设备可以生成与第一对话相对应的路径规则。例如，电子设备可以从如图8的(d)所示的状态序列日志中查找与第一对话的路径规则完全匹配的部分821，并且可以生成查找的部分821作为与第一对话相对应的路径规则。
例如，参考图8的(a)，电子设备可以预测选择图库应用以便处理第二对话“将我的夏威夷照片显示为相册动画”。例如，电子设备可以以根据“应用执行-相册视图-相册选择-动画”的路径规则的顺序来预测操作，以便处理第二对话。例如，电子设备可以从先前存储的电子设备的图库应用的状态序列日志中查找“应用执行-相册视图-相册选择-动画”，其是与Path_Rule_2相对应的操作路径规则，Path_Rule_2是第二对话的ID和/或与指示与操作路径规则相对应的状态ID的组合的路径规则匹配的部分，并且电子设备可以生成与第二对话相对应的路径规则。例如，当没有部分与先前存储的状态序列日志中的第二对话的路径规则完全匹配时，电子设备可以查找与其部分匹配的部分823，并且可以生成与第二对话相对应的路径规则。
根据另一实施例，当假设由电子设备通过触摸输入执行用户通过短消息服务(SMS)向熟人发送新消息时，根据上述实施例，电子设备可以生成用于消息应用的操作状态的日志，并且用户可以通过规则映射器处理来提取与对话“用户通过SMS发送新消息”相对应的路径规则，并且可以在触摸路径规则中存储对应的路径规则。
在操作760中，电子设备(例如，处理器120)可以将触摸路径规则存储在触摸路径规则表中。例如，触摸路径规则表可以存储在电子设备的存储器中。
在操作770中，电子设备(例如，处理器120)可以对话语路径规则表的话语路径规则和触摸路径规则表的触摸路径规则进行组合，并且可以将组合结果存储在话语/触摸组合路径规则表。例如，话语/触摸组合路径规则表可以存储在电子设备的存储器中。例如，当电子设备根据第一触摸输入执行第一操作、根据第二触摸输入执行第二操作、根据第一语音输入执行第三操作并根据第三触摸执行第四操作时，电子设备可以将第一操作-第二操作-第三操作-第四操作存储为单个路径规则。例如，电子设备可以与执行每个路径规则的次数等一起制作数据库，并且可以存储数据库。例如，电子设备还可以存储指示是否已经通过触摸或语音输入执行每个路径规则以便被区分的信息。
根据实施例，当通过上述操作生成多个路径规则时或者当根据重复执行的上述操作710至操作770生成多个路径规则时，电子设备(例如，处理器120)可以根据指定条件为话语/触摸组合路径规则表中包括的每个路径规则提供提示来分配优先级，并且可以在操作780中将结果存储在提示路径规则表中。例如，电子设备可以通过对用户在现有触摸方法中频繁使用但不通过语音话语使用的路径规则分配优先级来向用户提供提示，以便将用户体验扩展到语音话语。例如，电子设备执行图库应用以根据对单个相册的用户输入来执行在特定地点收集照片的操作。这里，每次执行操作时的用户输入可以是触摸输入而不是语音输入。在这种情况下，电子设备可以提供指示能够通过语音发声来执行操作的提示，这可以帮助用户容易地操作通过语音命令使用的功能。
同时，在图7的上述实施例中，已经描述了电子设备通过电子设备的用户日志收集来生成路径规则。然而，根据另一实施例，电子设备(例如，服务器106)可以通过无线通信电路从外部电子设备接收外部电子设备根据用户输入执行的操作或者操作的记录，并且可以以与上述操作类似的方法(相应的方法)操作电子设备。例如，电子设备可以执行收集外部电子设备的话语路径规则的操作、将话语路径规则存储在话语路径规则表中的操作、生成外部电子设备的触摸状态日志的操作、基于触摸状态日志确定触摸路径规则的操作、在触摸路径规则表中存储触摸路径规则的操作、将话语路径规则和触摸路规则径进行组合以在话语/触摸组合路径规则表中存储组合结果的操作以及对向话语/触摸组合路径规则表中包括的每个路径规则提供提示来分配优先权以在提示路径规则表中存储分配结果的操作。例如，电子设备可以通过日志收集为多个外部设备(用户)中的每一个生成路径规则，从而为多个外部设备(用户)中的每一个存储提示路径规则表。
图9是示出根据各种实施例的电子设备(例如，电子设备101)通过电子设备的用户日志收集生成路径规则的操作的流程图。参考图9，电子设备可以根据用户输入生成和/或确定路径规则，并且可以收集和存储情景信息。电子设备可以分配基于情景信息用于向每个路径规则提供提示的优先级，以便可以向用户场合提供适当的提示。
在操作910中，电子设备(例如，处理器120)可以接收用户输入。
根据实施例，用户输入可以是各式各样的，例如，语音输入、触摸输入、用户对按钮(或键)的操纵和/或使用遥控器的输入。
根据实施例，用户输入可以是使电子设备执行一个操作的单个输入，或者是使电子设备连续执行操作的多个连续输入。
在操作920中，电子设备(例如，处理器120)可以收集情景信息。例如，情景信息可以是各式各样的，例如，在电子设备中存储的当前日期、当前时间、电子设备所在的位置和/或日程信息。
根据实施例，在操作930中，当用户输入包括至少一个通过麦克风的语音输入时，电子设备(例如，处理器120)可以基于语音输入来收集电子设备的话语路径规则。例如，电子设备可以使用自然语言理解确定将哪个话语路径规则作为语音输入以使电子设备顺序地执行特定操作。例如，话语路径规则可以是用于电子设备的顺序操作的日志数据。
在操作940中，电子设备(例如，处理器120)可以将收集的话语路径规则以及情景信息存储在话语路径规则表中。
根据实施例，在操作950中，当用户输入包括触摸屏上的至少一个触摸输入时，电子设备(例如，处理器120)可以基于触摸输入生成触摸状态日志。例如，电子设备可以生成通过顺序组合与连续接收到的每个触摸输入相对应执行的操作而获得的触摸状态日志。例如，电子设备可以生成通过顺序组合电子设备的通过触摸输入改变的状态而获得的触摸状态日志。
在操作960中，电子设备(例如，处理器120)可以基于触摸状态日志确定触摸路径规则。例如，通过基于规则映射器处理将触摸状态日志与存储在现有规则数据库中的状态序列日志进行比较，电子设备可以确认与存储触摸状态日志的状态序列日志对应的部分对应于哪个部分；电子设备可以从存储的状态序列日志中提取与触摸状态日志相对应的触摸路径规则。已经参考图8详细描述了规则映射器处理，因此将省略其进一步的描述。
在操作970中，电子设备(例如，处理器120)可以将收集的触摸路径规则以及情景信息存储在触摸路径规则表中。
例如，当用户在早晨于汽车内通过触摸输入执行了使用SMS向熟人发送新消息的操作时，电子设备可以在消息应用中生成消息应用的状态的日志(即，生成路径规则)、可以分析路径规则以提取用户已经执行了“使用SMS传输新消息”的路径规则的事实，并且可以将相应的路径规则存储在触摸路径规则表中。电子设备还可以在存储路径规则的同时存储指示在早晨于汽车内执行了上述操作的情景信息。
在操作980中，电子设备(例如，处理器120)可以通过对话语路径规则表的话语路径规则和触摸路径规则表的触摸路径规则进行组合来生成路径规则，并且可以将所生成的路径规则以及情景信息存储在话语/触摸组合路径规则表中。例如，当电子设备根据第一触摸输入执行第一操作、根据第二触摸输入执行第二操作、根据第一语音输入执行第三操作并根据第三触摸执行第四操作时，电子设备可以将第一操作-第二操作-第三操作-第四操作存储为单个路径规则。例如，电子设备可以与执行每个路径规则的次数等一起制作数据库，并且可以存储数据库。例如，电子设备还可以存储指示是否已经通过触摸或语音输入执行每个路径规则以便被区分的信息。
根据实施例，当通过上述操作生成多个路径规则时或者当根据重复执行的上述操作910至操作980生成多个路径规则时，电子设备(例如，处理器120)可以根据指定条件基于情景信息为话语/触摸组合路径规则表中包括的每个路径规则来分配提供提示的优先级，并且可以在操作990中将结果存储在提示路径规则表中。
根据实施例，电子设备可以通过对用户在现有触摸方法中频繁使用但不通过语音话语使用的路径规则分配优先级来向用户提供提示，以便将用户体验扩展到语音话语。例如，用户经常执行收集图库应用中存储的特定区域的照片以使其成为相册的操作。这里，当用户主要执行通过触摸收集照片的操作并且不试图通过语音说出收集照片的操作时，电子设备可以提供这样的事实：可以通过将用户的语音话语作为提示来执行相应的功能，从而通过语音命令帮助使用常用功能。
根据实施例，电子设备可以通过根据情景信息将用户输入方法分类为触摸输入方法和语音输入方法来分配优先级。例如，假设用户试图执行诸如电影的媒体内容，例如，当用户主要通过语音在特定地点(例如，用户的公司以外的用户住宅)来试图执行媒体内容并且通过触摸在诸如用户公司的地点执行相同媒体内容时，当用户在确定提示(用于介绍语音话语)的优先级时位于公司时，可以将用于执行媒体内容的路径规则设置为在提示中具有较低的优先级，从而降低提供提示的可能性。
同时，在图9的实施例中，已经描述了电子设备通过电子设备的用户日志收集来生成路径规则。然而，根据另一实施例，电子设备(例如，服务器106)可以通过无线通信电路从外部电子设备接收外部电子设备根据用户输入执行的操作或者操作的记录，并且可以以与上述操作类似(相应的方法)的方法操作电子设备。例如，电子设备可以执行收集外部电子设备的话语路径规则的操作、将话语路径规则与外部电子设备的情景信息存储在话语路径规则表中的操作、生成外部电子设备的触摸状态日志的操作、基于触摸状态日志确定触摸路径规则的操作、在触摸路径规则表中存储触摸路径规则以及外部电子设备的情景信息的操作、将话语路径规则和触摸路径进行组合以在话语/触摸组合路径规则表中存储组合结果的操作以及基于外部电子设备的情景信息分配向话语/触摸组合路径规则表中包括的每个路径规则提供提示的优先权的操作，并且可以以在提示路径规则表中存储分配结果。例如，电子设备可以通过日志收集为多个外部设备(用户)中的每一个生成路径规则，从而使多个外部设备(用户)中的每一个具有提示路径规则表。
图10是示出根据各种实施例的电子设备(例如，电子设备101)通过电子设备的用户日志收集生成路径规则的操作的流程图。参考图10，电子设备可以根据用户输入生成和/或确定路径规则，并且可以收集根据用户输入执行的任何一个应用的使用日志。电子设备可以基于应用的使用日志来分配用于向每个路径规则提供提示的优先级，从而可以适当地提供应用的提示。
在操作1005中，电子设备(例如，处理器120)可以接收用户输入。
根据实施例，用户输入可以是各式各样的，例如，语音输入、触摸输入、用户对按钮(或键)的操纵和/或使用遥控器的输入。
根据实施例，用户输入可以是使电子设备执行一个操作的单个输入，或者是使电子设备连续执行操作的多个连续输入。
在操作1010中，电子设备(例如，处理器120)可以收集根据用输入执行的应用的使用日志。
根据实施例，应用的使用日志可以包括情景信息。例如，应用的使用日志可以包括诸如在何时使用应用的信息、在何处使用应用的信息、在何种情景中使用应用的信息和/或哪个应用与该应用一起使用的信息。
根据实施例，电子设备可以在特定时段将所收集的每个应用的使用日志汇总。例如，电子设备可以以各种单位(例如，每日、每月、每小时或季节性单位)汇总每个应用的使用日志。通过另一示例的方式，电子设备可以通过定义特定时段来管理用户特征数据作为特定时段的每个应用的使用日志的汇总结果。例如，当用户在工作日早晨在特定时段使用第一应用但在周末期间不使用第一应用时，电子设备可以基于特定时段的第一个应用的使用日志的汇总结果，管理用户特征数据作为用户在工作日早晨主要使用第一操作的事实。通过又一示例的方式，电子设备可以通过将多个时段划分为时段A、时段B等来管理第一应用的使用日志。例如，电子设备可以通过将数据库划分为一周的汇总和一天的汇总来管理第一应用的使用日志，并且可以利用所管理的使用日志来进行提示生成。
根据实施例，在操作1015中，当用户输入包括至少一个通过麦克风的语音输入时，电子设备(例如，处理器120)可以基于语音输入来收集电子设备的话语路径规则。例如，电子设备可以使用自然语言理解技术确定将哪个话语路径规则作为语音输入以使电子设备顺序地执行特定操作。例如，话语路径规则可以是用于电子设备的顺序操作的日志数据。
在操作1020中，电子设备(例如，处理器120)可以将收集的话语路径规则存储在话语路径规则表中。
根据实施例，在操作1025中，当用户输入包括触摸屏上的至少一个触摸输入时，电子设备(例如，处理器120)可以基于触摸输入生成触摸状态日志。例如，电子设备可以生成通过顺序组合与连续接收到的每个触摸输入相对应执行的操作而获得的触摸状态日志。例如，电子设备可以生成通过顺序组合电子设备的通过触摸输入改变的状态而获得的触摸状态日志。
在操作1030中，电子设备(例如，处理器120)可以基于触摸状态日志确定应用的触摸路径规则。例如，通过基于规则映射器处理将触摸状态日志与存储在现有规则数据库中的状态序列日志进行比较，电子设备可以确认与存储触摸状态日志的状态序列日志对应的部分对应于哪个部分；电子设备可以从存储的状态序列日志中提取与触摸状态日志相对应的触摸路径规则。已经参考图8详细描述了规则映射器处理，因此将省略其进一步的描述。
在操作1035中，电子设备(例如，处理器120)可以将触摸路径规则存储在应用的触摸路径规则表中。
在操作1040中，电子设备(例如，处理器120)可以对话语路径规则表的话语路径规则和触摸路径规则表的触摸路径规则进行组合，并且可以将组合结果存储在话语/触摸组合路径规则表中。例如，当电子设备根据第一触摸输入执行第一操作、根据第二触摸输入执行第二操作、根据第一语音输入执行第三操作并根据第三触摸执行第四操作时，电子设备可以将第一操作-第二操作-第三操作-第四操作存储为单个路径规则。例如，电子设备可以与执行每个路径规则的次数等一起制作数据库，并且可以存储数据库。例如，电子设备还可以存储指示是否已经通过触摸或语音输入执行每个路径规则以便被区分的信息。
在操作1045中，电子设备(例如，处理器120)可以基于组合的路径规则更新话语/触摸路径规则的每日汇总表。例如，电子设备可以汇总每日生成的路径规则，并且可以将汇总的路径规则存储在每日汇总表中。
在操作1050中，电子设备(例如，处理器120)可以基于每日汇总表生成时段A的话语/触摸路径规则表，或者可以更新时段A的先前生成的话语表/触摸路径规则表。例如，电子设备可以通过收集每日汇总表中存储的与时段A相对应的路径规则来生成时段A的话语/触摸路径规则表，以便管理在时段A期间的路径规则。作为另一示例，电子设备可以使用在每日汇总表中存储的与时段A相对应的路径规则来更新时段A的先前生成的话语/触摸路径规则表。
在操作1055中，电子设备(例如，处理器120)可以生成用户的偏好路径规则(基于应用的使用日志向该偏好路径规则分配优先级分数)以及时段A的偏好路径规则表(包括与用户的偏好路径规则相对应的时间、地点、场合及应用(TPOA)信息)，或者可以更新时段A的先前生成的偏好路径规则表。例如，电子设备可以基于第一应用的使用日志(被称为用户简档(profile)信息)向时段A的话语/触摸路径规则表中包括的每个路径规则分配优先级分数。例如，TPOA信息可以是基于使用的信息，并且可以是路径规则的生成时间、路径规则的生成位置、生成路径规则时的情景和/或路径规则的应用信息。
在操作1060中，电子设备(例如，处理器120)可以基于每日汇总表生成时段A的话语/触摸路径规则表，或者可以更新时段B的先前生成的话语/触摸路径规则表。例如，电子设备可以通过收集每日汇总表中存储的与时段B相对应的路径规则来生成时段B的话语/触摸路径规则表，以便管理在时段B期间的路径规则。
在操作1065中，电子设备(例如，处理器120)可以生成用户的偏好路径规则(基于应用的使用日志向该偏好路径规则分配优先级分数)以及时段B的偏好路径规则表(包括TPOA信息)，或者可以更新时段B的先前生成的偏好路径规则表。例如，电子设备可以基于第一应用的使用日志(被称为用户简档信息)向时段B的话语/触摸路径规则表中包括的每个路径规则分配优先级分数。例如，TPOA信息可以是基于使用的信息，并且可以是路径规则的生成时间、路径规则的生成位置、生成路径规则时的情景和/或路径规则的应用信息。
根据实施例，当时段A被设置为六个月、时段B被设置为一周并且较大的优先级分数被分配给时段A而不是时段B时，用户优选的路径规则(与向用户提供的提示相对应的路径规则)可以是六个月内经常使用的路径规则。
根据另一实施例，当时段A被设置为六个月、时段B被设置为一周并且较大的优先级分数被分配给时段B而不是时段A时，用户优选的路径规则可以是最近频繁使用的路径规则，并且在时段A中包括的路径规则可以被包括在用户偏好规则列表中具有较高优先级分数的向上推荐路径规则中。
在操作1070中，电子设备(例如，处理器120)可以基于时段A的偏好路径规则表和时段B的偏好路径规则表来生成最终偏好路径规则表，或者可以更新先前生成的最终偏好路径规则表。例如，电子设备可以生成最终偏好路径规则表，其包括时段A的偏好路径规则表、时段B中包括的路径规则以及TPOA信息。例如，电子设备可以管理最终偏好路径规则表中包括的路径规则以及TPOA信息，以根据用户场合提供提示。例如，电子设备可以使用TPOA信息推荐关于在用户场合频繁使用的功能的提示，并且当用户难以输入语音输入时，可以针对所提供的提示根据用户的语音输入来执行功能。
同时，根据上述实施例，已经描述了电子设备在操作1045中以每日为单位汇总所生成的路径规则，但是根据另一实施例，电子设备可以汇总并存储在各个单位(例如，每月、每小时、季节性单位等)期间所生成的路径规则。
在图10的上述实施例中，关于应用的使用日志的收集，已经描述了电子设备在操作1010中收集根据用户输入所执行的应用的使用日志；但是根据另一实施例，电子设备可以在执行电子设备的操作和/或执行应用期间收集应用的使用日志。
在图10的上述实施例中，已经描述了电子设备通过电子设备的用户日志收集来生成路径规则。然而，根据另一实施例，电子设备(例如，服务器106)可以通过无线通信电路从外部电子设备接收由外部电子设备根据用户输入所执行的操作或操作的记录以及第一应用的使用日志，并且可以以与上述操作(相应的方法)类似的方法操作。例如，电子设备可以执行收集外部电子设备的话语路径规则的操作、将话语路径规则存储在话语路径规则表中的操作、生成外部电子设备的触摸状态日志的操作、基于触摸状态日志确定触摸路径规则的操作、将触摸路径规则存储在触摸路径规则表中的操作、对话语路径规则和触摸路径规则进行组合以在话语/触摸组合路径规则表中存储组合结果的操作、基于组合的触摸路径规则更新话语/触摸路径规则的每日汇总表的操作、生成时段A的话语/触摸路径规则表的操作、生成时段A的偏好路径规则表的操作、生成时段B的话语/触摸路径规则表的操作、生成时段B的偏好路径规则表的操作以及基于时段A的偏好路径规则表和时段B的偏好路径规则表来生成最终偏好路径规则表的操作。例如，电子设备可以通过日志收集为多个外部设备(用户)中的每一个生成路径规则，从而多个外部设备(用户)中的每一个具有最终偏好路径规则表。
图11是示出根据各种实施例的用于执行电子设备(例如，电子设备101)的提示生成操作的流程图。参考图11，电子设备可以基于用户的使用模式在电子设备的处理器(例如，处理器120)中生成对于电子设备的使用有效的特定域提示，并且可以向用户提供生成的提示。
在操作1110中，电子设备(例如，处理器120)可以收集电子设备的日志。
根据实施例，电子设备可以收集电子设备的日志。例如，当根据用户输入执行至少一个操作时，电子设备可以根据执行至少一个操作的执行来收集日志。例如，电子设备可以收集在用户使用电子设备时显示的画面变换信息。
根据实施例，日志可以包括由电子设备顺序显示的画面的记录(以便电子设备根据用户输入执行包括至少一个操作的功能)和/或由电子设备顺序执行的操作的记录。例如，根据由电子设备执行的一个操作或者一个操作的执行所显示的单个画面可以被称为状态，并且由电子设备顺序执行的操作的记录或者与顺序执行的操作相对应的顺序显示的画面的记录可以称为状态序列日志(下文中，也称为状态序列)。
根据实施例，日志还可以包括关于用户输入的信息。例如，用户输入可以是各式各样的，例如，通过使用麦克风的语音输入、触摸屏上的触摸输入、用户对按钮(或键)的操纵和/或使用遥控器的输入。
根据实施例，日志还可以包括当电子设备从用户接收使得电子设备执行任意一个功能的用户输入时的情景信息(也称为情景)。例如，情景信息可以是各式各样的，例如，在电子设备中存储的位置、日期、时间和/或日程信息。
在操作1120中，电子设备(例如，处理器120)可以分析收集的日志，并且可以检测指示顺序改变的状态的至少一个路径规则。
根据实施例，电子设备可以选择与电子设备的使用意图或目的相对应的状态，以此方式使得所收集的日志与先前存储的状态序列日志(也称为状态参考序列)完全或部分匹配，并且可以查找允许顺序地执行所选状态的路径规则。例如，可以根据电子设备基于用户输入的操作来更新先前存储的状态序列日志。例如，根据路径规则的检测，电子设备可以确认使用电子设备的哪个功能、在哪个情景下使用该功能和/或通过哪种输入方式来使用该功能。
根据另一实施例，电子设备可以通过对收集的状态日志的模式分析来分析重复使用的状态日志，从而提取新的路径规则。例如，当状态日志被执行指定的参考次数或更多次时，电子设备可以通过分析所收集的状态日志来确认用户已经重复执行了上述功能，并且可以新获取包括状态序列的路径规则。
在操作1130中，电子设备(例如，处理器120)可以针对每个域将所检测到的路径规则进行分类。例如，电子设备可以将检测到的路径规则分类为属于哪个域。
根据实施例，电子设备可以以功能单元对域进行分类。例如，域可以被分类为消息域、游戏域和互联网银行域等。例如，消息域可以包括在KakaoTalk、Line Messenger、Allo和Facebook Messenger等中执行的路径规则。
根据另一实施例，电子设备可以以应用单元对域进行分类。例如，电子设备可以确定相应的路径规则是否属于KakaoTalk、Line等。
在操作1140中，电子设备(例如，处理器120)可以确定针对每个域所分类的路径规则的优先级，并且可以基于每个域的优先级来选择路径规则。
根据实施例，电子设备可以基于日志中包括的信息来改变与向用户提供的提示相对应的针对每个域所分类的路径规则的优先级。
根据实施例，可以确定优先级，使得可以根据用户场合以各种方式向用户提供被转换为与每个域的路径规则对应的自然语言的提示。例如，电子设备可以基于情景信息来确定用户场合。
根据实施例，当通过日志分析检测到针对多个域中的每个域所分类的路径规则时，电子设备可以根据多个路径规则向提供提示的目的以各种方式确定多个路径规则的优先级。例如，当有提供提示的目的使得用户能够以自然语言容易地处理通过触摸输入经常使用的路径规则时，可以将高优先级分配给通过触摸输入所使用但通过语音输入无法很好使用的路径规则。这可以通过减少常用功能的界面步骤来增加提示的利用率。以另一示例的方式，假设用户在家中主要通过语音输入来使用相同的路径规则并且在办公室通过触摸输入控制相同的路径规则，当用户的位置是在办公室且向用户提供提示时，电子设备可以排除建议用户输入语音的提示的路径规则。
在操作1150中，电子设备(例如，处理器120)可以将基于每个域的优先级选择的路径规则转换为自然语言提示。
根据实施例，电子设备可以通过自然语言生成技术或者映射与路径规则匹配的标准话语来将基于每个域的优先级选择的路径转换为自然语言形式的提示。
在操作1160中，电子设备(例如，处理器120)可以提供被转换为自然语言的提示。
根据实施例，电子设备可以通过显示器提供被转换为自然语言的提示。
根据另一实施例，电子设备可以使用字符到语音(TTS)转换技术通过扬声器将被转换为自然语言的提示输出为语音。
根据又一实施例，电子设备可以通过显示器和扬声器提供被转换为自然语言的提示。
根据实施例，当用户发出或触摸显示器上显示的提示时，电子设备可以顺序地执行与提示相对应的路径规则的状态。例如，电子设备可以在触摸屏上显示顺序执行状态的最终状态。通过另一示例的方式，电子设备可以在触摸屏上顺序地显示状态的所有顺序执行。
根据实施例，电子设备可以在执行电子设备时自动执行图11的上述操作，或者可以根据诸如触摸输入、语音输入和/或用户对按钮(或键)的操纵(可以使得图11的上述操作被执行)的用户输入来执行图11的上述操作。
同时，在图11的上述实施例中，已经描述了电子设备通过电子设备的日志收集来执行提供被转换为自然语言的提示的所有操作。然而，根据另一实施例，电子设备(例如，服务器106)可以通过无线通信电路从外部电子设备接收外部电子设备根据用户输入执行的操作或者操作的记录，并且可以以与上述操作(相应的方法)类似的方法操作。例如，电子设备可以执行收集外部电子设备的日志的操作、分析收集的外部电子设备的日志以检测路径规则的操作、针对每个域对检测到的路径规则进行分类的操作、确定针对每个域所分类的路径规则的优先级的操作、根据每个域的优先级选择路径规则的操作以及将选择的路径规则转换为自然语言提示的操作。此外，电子设备可以通过无线通信电路向外部电子设备发送被转为自然语言的提示。
图12是示出根据各种实施例的电子设备(例如，电子设备101)通过电子设备的用户日志收集生成路径规则的操作的流程图。
在操作1210中，电子设备(例如，处理器120)可以收集其中输入方式被分类的应用状态日志。
根据实施例，当电子设备通过用户使用麦克风的语音输入、通过用户使用触摸屏的触摸输入或者通过用户语音和触摸的混合输入来执行应用的至少一个操作时，电子设备可以对相应的输入方式进行分类。
根据实施例，根据由电子设备执行的一个操作或者一个操作的执行所显示的单个画面可以被称为状态，并且由电子设备执行的操作的记录或者与执行的操作相对应的显示的画面的记录可以称为状态日志。
在操作1220中，电子设备(例如，处理器120)可以通过路径映射器处理根据应用状态日志确定路径规则。
根据实施例，电子设备可以通过规则映射器处理对应用状态日志和现有规则数据库中存储的状态序列日志进行比较来确认应用状态日志对应于状态序列日志的部分对应于哪部分，并且可以从状态序列日志确定与应用状态日志相对应的触摸路径规则。
根据实施例，路径规则可以包括输入方式的信息，使得可以知晓用户通过哪个界面执行输入。
根据实施例，在操作1230中，当路径规则是话语路径规则时，电子设备(例如，处理器120)可以将路径规则存储在话语路径规则表中。例如，当在路径规则中包括的输入方式的信息是使用麦克风的语音输入时，电子设备可以确定路径规则是话语路径规则。
根据实施例，在操作1240中，当路径规则是触摸路径规则时，电子设备(例如，处理器120)可以将路径规则存储在触摸路径规则表中。例如，当在路径规则中包括的输入方式信息是使用触摸屏的触摸输入时，电子设备可以确定路径规则是触摸路径规则。
根据实施例，在操作1250中，当路径规则是触摸和话语路径规则时，电子设备(例如，处理器120)可以将路径规则存储在触摸和话语路径规则表中。例如，当在路径规则中包括的输入方式的信息是使用麦克风的语音输入和使用触摸屏的触摸输入时，电子设备可以确定路径规则是触摸和话语路径规则。
在操作1260中，电子设备(例如，处理器120)可以确认包括路径规则的域。
根据实施例，电子设备可以将路径规则分类为属于哪个域。例如，域可以被分类为消息域、游戏域和互联网银行域等。例如，消息域可以包括在KakaoTalk、Line Messenger、Allo和Facebook Messenger等中执行的路径规则。
根据另一实施例，电子设备可以以应用单元对域进行分类。例如，电子设备可以确定相应的路径规则是否属于KakaoTalk或Line。
在操作1270中，电子设备(例如，处理器120)可以对话语路径规则表的路径规则、触摸路径规则表的路径规则以及触摸和话语路径规则表中的触摸和话语路径规则进行组合，并且可以将组合结果存储在话语/触摸组合路径规则表。此外，电子设备还可以在话语/触摸路径规则表中存储组合路径规则所属的至少一个域。
根据实施例，当通过上述操作生成多个路径规则时或者当根据重复执行的上述操作1210至1270生成多个路径规则时，电子设备(例如，处理器120)可以根据指定条件为话语/触摸组合路径规则表中包括的每个域的每个路径规则分配提供提示的优先级，并且可以在操作1280中将结果存储在提示路径规则表中。例如，指定条件可以是每个域的每个路径规则的使用频率。
根据实施例，可以假设存在电子设备中的用户所使用的应用和提供相应的应用中频繁使用的功能作为提示的系统。电子设备可以确定进行呼叫的情景的应用的域，并且可以在相应应用的路径规则表(例如，话语/触摸组合路径规则表)中包括的域中将所确定的域提供为与用户最频繁地实际使用的路径规则相对应的提示。例如，假设用户在图库应用域中最常使用的路径规则是“删除最近的照片”或“相册创建”，当电子设备根据用户输入执行图库应用并且调用人工智能代理以允许电子设备提供提示时，电子设备可以提供均对应路径规则的“你想删除最近的照片吗？”或者“你想创建一张新相册吗？”作为提示。通过另一示例的方式，可以将在对应域中最频繁使用的路径规则作为另一域中的提示提供给用户。
同时，在图12的上述实施例中，已经描述了电子设备通过电子设备的用户日志收集来生成路径规则。然而，根据另一实施例，电子设备(例如，服务器106)可以通过无线通信电路从外部电子设备接收外部电子设备根据用户输入执行的操作或者操作的记录，并且可以以与上述操作(相应的方法)类似的方法操作。例如，电子设备可以执行收集其中外部电子设备的输入方式被分类的应用状态日志的操作；确定路径规则的操作；在话语路径规则表、触摸路径规则表和/或话语和触摸路径规则表中存储路径规则的操作；确认包括路径规则的域的操作；组合路径规则以在话语/触摸组合路径规则表中存储组合结果的操作；以及向话语/触摸组合路径规则表中包括的每个域的每个路径规则分配用于提供提示的优先级以在提示路径规则表中存储结果的操作。
图13是示出根据各种实施例的电子设备(例如，电子设备101)通过电子设备的用户日志收集来生成路径规则的操作的流程图。参考图13，电子设备可以存储由至少一个操作生成的参数的频率和类型，并且可以使用所存储的频率及类型来生成与路径规则相对应的提示。例如，参数可以是与电子设备的操作相关的信息和用于执行操作的信息，并且可以是用户的反映用户意图的输入值。例如，消息应用中的参数可以是消息内容或接收者。作为另一示例，参数可以是特定应用中的搜索目标。
在操作1310中，电子设备(例如，处理器120)可以收集其中输入方式被分类的应用状态日志。
根据实施例，当电子设备通过用户使用麦克风的语音输入、通过用户使用触摸屏的触摸输入或者通过用户语音和触摸的混合输入来执行应用的至少一个操作时，电子设备可以对相应的输入方式进行分类。
根据实施例，根据由电子设备执行的一个操作或者一个操作的执行所显示的单个画面可以被称为状态，并且由电子设备执行的操作的记录或者与执行的操作相对应的显示的画面的记录可以称为状态日志。
在操作1320中，电子设备(例如，处理器120)可以收集每个状态中生成的参数。例如，电子设备可以根据用户输入来收集参数(这些参数是根据状态的变化与状态日志的收集一起生成的)，并且可以存储收集的参数。
在操作1330中，电子设备(例如，处理器120)可以通过路径映射器处理根据应用状态日志确定路径规则。
根据实施例，电子设备可以通过规则映射器处理对应用状态日志和现有规则数据库中存储的状态序列日志进行比较来确认应用状态日志对应于状态序列日志的部分对应于哪部分，并且可以从状态序列日志确定与应用状态日志相对应的路径规则。
根据实施例，路径规则可以包括输入方式的信息，使得可以知晓用户通过哪个界面执行输入。
根据实施例，电子设备的路径规则可以包括所收集的参数。
根据实施例，在操作1340中，当路径规则是话语路径规则时，电子设备(例如，处理器120)可以将路径规则存储在话语路径规则表中。此外，当存储路径规则时，电子设备还可以存储所收集的参数。例如，当在路径规则中包括的输入方式的信息是使用麦克风的语音输入时，电子设备可以确定路径规则是话语路径规则。
根据实施例，在操作1350中，当路径规则是触摸路径规则时，电子设备(例如，处理器120)可以将路径规则存储在触摸路径规则表中。此外，当存储路径规则时，电子设备还可以存储所收集的参数。例如，当在路径规则中包括的输入方式信息是使用触摸屏的触摸输入时，电子设备可以确定路径规则是触摸路径规则。
根据实施例，在操作1360中，当路径规则是触摸和话语路径规则时，电子设备(例如，处理器120)可以将路径规则存储在触摸和话语路径规则表中。此外，当存储路径规则时，电子设备还可以存储所收集的参数。例如，当在路径规则中包括的输入方式的信息是使用麦克风的语音输入和使用触摸屏的触摸输入时，电子设备可以确定路径规则是触摸和话语路径规则。
在操作1370中，电子设备(例如，处理器120)可以对话语路径规则表的路径规则、触摸路径规则表的路径规则以及触摸和话语路径规则表中的触摸和话语路径规则进行组合，并且可以将组合结果存储在话语/触摸组合路径规则表。此外，当存储路径规则时，电子设备还可以存储所收集的参数。
根据实施例，当通过上述操作生成多个路径规则时或者当根据重复执行的上述操作1310至1370生成多个路径规则时，电子设备可以根据指定条件为话语/触摸组合路径规则表中包括的每个路径规则分配提供提示的优先级，并且可以在操作1380中将结果存储在提示路径规则表中。
例如，当用户说“向J发送消息说我今天迟到”作为语音话语时，电子设备可以进一步询问问题以便在执行用于发送消息的路径规则时从用户获取参数，或者可以接收用于通过来自用户的输入字段发送消息的应用。例如，当用户使用“Kakao Talk”作为发送消息的方式并且“Kakao Talk”被重复用作发送消息的方式时，电子设备可以允许该参数被包括在路径规则中，并且可以会产生一个提示(例如“你想用Kakao Talk向J发送消息说‘我今天迟到了’吗？”)。
下表1是可以代表性地在根据各种实施例的应用中使用的参数的示例。
【表1】
在图13的上述实施例中，关于参数的收集，已经描述了电子设备在操作1320中收集在每个状态中生成的参数。然而，根据另一实施例，电子设备可以收集电子设备操作期间的参数。
在图13的上述实施例中，已经描述了电子设备通过电子设备的用户日志收集来生成路径规则。然而，根据另一实施例，电子设备(例如，服务器106)可以通过无线通信电路从外部电子设备接收由外部电子设备根据用户输入所执行的操作或操作的记录以及参数信息，并且可以以与上述操作(相应的方法)类似的方法操作。例如，电子设备可以执行收集应用的状态日志(其中，外部电子设备的输入方式被分类)的操作；收集在每个状态中生成的参数的操作；确定外部电子设备的路径规则的操作；在话语路径规则表、触摸路径规则表和/或触摸和话语路径规则表中存储路径规则的操作；组合路径规则以在话语/触摸组合路径规则表中存储组合结果的操作；分配用于向话语/触摸组合路径规则表中包含的每个路径规则提供提示的优先级的操作；以及基于该参数生成与路径规则对应的提示以在提示路径规则表中存储生成的提示的操作。例如，电子设备可以通过应用的状态日志收集为多个外部设备(用户)中的每一个来生成路径规则，从而使多个外部设备(用户)中的每一个具有提示路径规则表。
图14是示出根据各种实施例的电子设备(例如，电子设备101)通过电子设备的用户日志收集生成路径规则的操作的流程图。参考图14，电子设备可以根据用户输入生成和/或确定路径规则，并且可以收集和存储情景信息。电子设备可以分配基于情景信息用于向每个路径规则提供提示的优先级，并且可以提供适于用户场合的提示。
在操作1410中，电子设备(例如，处理器120)可以收集其中输入方式被分类的应用状态日志以及情景信息。
根据实施例，情景信息可以是各式各样的，例如，在电子设备中存储的当前日期、当前时间、电子设备所在的位置和/或日程信息。
根据实施例，当电子设备通过用户使用麦克风的语音输入、通过用户使用触摸屏的触摸输入或者通过用户语音和触摸的混合输入来执行应用的至少一个操作时，电子设备可以对相应的输入方式进行分类。
根据实施例，根据由电子设备执行的一个操作或者一个操作的执行所显示的单个画面可以被称为状态，并且由电子设备执行的操作的记录或者与执行的操作相对应的显示的画面的记录可以称为状态日志。
在操作1420中，电子设备(例如，处理器120)可以通过路径映射器处理根据应用状态日志确定路径规则。
根据实施例，电子设备可以通过规则映射器处理对应用状态日志和现有规则数据库中存储的状态序列日志进行比较来确认应用状态日志对应于状态序列日志的部分对应于哪部分，并且可以从状态序列日志确定与应用状态日志相对应的路径规则。
根据实施例，路径规则可以包括输入方式的信息，使得可以知晓用户通过哪个界面执行输入。
根据实施例，在操作1430中，当路径规则是话语路径规则时，电子设备(例如，处理器120)可以将路径规则以及情景信息存储在话语路径规则表中。例如，当在路径规则中包括的输入方式的信息是使用麦克风的语音输入时，电子设备可以确定路径规则是话语路径规则。
根据实施例，在操作1440中，当路径规则是触摸路径规则时，电子设备(例如，处理器120)可以将路径规则以及情景信息存储在触摸路径规则表中。例如，当在路径规则中包括的输入方式的信息是使用触摸屏的触摸输入时，电子设备可以确定路径规则是触摸路径规则。
根据实施例，在操作1450中，当路径规则是触摸和话语路径规则时，电子设备(例如，处理器120)可以将路径规则以及情景信息存储在触摸和话语路径规则表中。例如，当在路径规则中包括的输入方式的信息是使用麦克风的语音输入和使用触摸屏的触摸输入时，电子设备可以确定路径规则是触摸和话语路径规则。
根据实施例，假设用户在公司输入待通过SMS向熟人发送的新消息，当用户首先以语音话语开始并通过触摸输入合成消息的内容时，电子设备可以收集消息应用中的状态日志，可以根据上述操作确定已经执行了“通过SMS发送新消息”的路径规则，并且可以在触摸和话语路径规则表中存储所确定的路径规则。此外，电子设备还可以在触摸和话语路径规则表中存储地点(例如，公司)的情景信息。
在操作1460中，电子设备(例如，处理器120)可以对话语路径规则表的路径规则、触摸路径规则表的路径规则以及触摸和话语路径规则表中的触摸和话语路径规则进行组合，并且可以将组合结果以及情景信息存储在话语/触摸组合路径规则表。例如，电子设备还可以与用户执行路径规则的次数(频率)一起制作数据库，并且可以存储数据库。例如，电子设备还可以存储指示是否已经通过触摸输入或语音输入执行了路径规则的信息或者是否已经通过两种输入的组合执行了路径规则的信息。例如，电子设备还可以存储指示在路径规则的每个状态中应用了哪个用户输入(称为输入方式或界面)以便被区分的信息。
根据实施例，当通过上述操作生成多个路径规则时或者当根据重复执行的上述操作1410至1460生成多个路径规则时，电子设备(例如，处理器120)可以根据指定条件基于情景信息为话语/触摸组合路径规则表中包括的每个路径规则分配提供提示的优先级，并且可以在操作1470中将结果存储在提示路径规则表中。
同时，在图14的上述实施例中，已经描述了电子设备通过电子设备的用户日志收集来生成路径规则。然而，根据另一实施例，电子设备(例如，服务器106)可以通过无线通信电路从外部电子设备接收由外部电子设备根据用户输入所执行的操作或者操作的记录以及情景信息，并且可以以与上述操作(相应的方法)类似的方法操作。例如，电子设备可以执行收集应用的状态日志(其中，外部电子设备的输入方式被分类)以及外部电子设备的情景信息的操作；确定外部电子设备的路径规则的操作；在话语路径规则表、触摸路径规则表和/或触摸和话语路径规则表中存储路径规则的操作；组合路径规则以在话语/触摸组合路径规则表中存储组合结果的操作；以及分配基于情景信息用于向话语/触摸组合路径规则表中包含的每个路径规则提供提示的优先级以在提示路径规则表中存储结果的操作。例如，电子设备可以通过应用的状态日志收集为多个外部设备(用户)中的每一个来生成路径规则，从而使多个外部设备(用户)中的每一个具有提示路径规则表。
图15是示出根据各种实施例的电子设备(例如，电子设备101)通过电子设备的用户日志收集生成路径规则的操作的流程图。参考图15，电子设备可以根据用户输入生成和/或确定路径规则，并且可以针对与路径规则对应的提示来生成宏指定建议提示。
在操作1510中，电子设备(例如，处理器120)可以收集其中输入方式被分类的应用状态日志。
根据实施例，当电子设备通过用户使用麦克风的语音输入、通过用户使用触摸屏的触摸输入或者通过用户语音和触摸的混合输入来执行应用的至少一个操作时，电子设备可以对相应的输入方式进行分类。
根据实施例，根据由电子设备执行的一个操作或者一个操作的执行所显示的单个画面可以被称为状态，并且由电子设备执行的操作的记录或者与执行的操作相对应的显示的画面的记录可以称为状态日志。
根据实施例，电子设备可以收集情景信息以及状态日志。例如，情景信息可以是各式各样的，例如，在电子设备中存储的当前日期、当前时间、电子设备所在的位置和/或日程信息。
在操作1520中，电子设备(例如，处理器120)可以通过路径映射器处理根据应用状态日志确定路径规则。
根据实施例，电子设备可以通过规则映射器处理对应用状态日志和现有规则数据库中存储的状态序列日志进行比较来确认应用状态日志对应于状态序列日志的部分对应于哪部分，并且可以从状态序列日志确定与应用状态日志相对应的路径规则。
根据实施例，路径规则可以包括输入方式的信息，使得可以知晓用户通过哪个界面执行输入。
根据实施例，在操作1530中，当路径规则是话语路径规则时，电子设备(例如，处理器120)可以将路径规则存储在话语路径规则表中。例如，当在路径规则中包括的输入方式的信息是使用麦克风的语音输入时，电子设备可以确定路径规则是话语路径规则。例如，电子设备可以将情景信息与路径规则一起存储在话语路径规则表中。
根据实施例，在操作1540中，当路径规则是触摸路径规则时，电子设备(例如，处理器120)可以将路径规则存储在触摸路径规则表中。例如，当在路径规则中包括的输入方式的信息是使用触摸屏的触摸输入时，电子设备可以确定路径规则是触摸路径规则。例如，电子设备可以将情景信息与路径规则一起存储在触摸路径规则表中。
根据实施例，在操作1550中，当路径规则是触摸和话语路径规则时，电子设备(例如，处理器120)可以将路径规则存储在触摸和话语路径规则表中。例如，当在路径规则中包括的输入方式的信息是使用麦克风的语音输入和使用触摸屏的触摸输入时，电子设备可以确定路径规则是触摸和话语路径规则。例如，电子设备可以将情景信息与路径规则一起存储在触摸和话语路径规则表中。
在操作1560中，电子设备(例如，处理器120)可以对话语路径规则表的路径规则、触摸路径规则表的路径规则以及触摸和话语路径规则表中的触摸和话语路径规则进行组合，并且可以将组合结果存储在话语/触摸组合路径规则表。例如，电子设备还可以将情景信息一起存储。例如，电子设备可以与用户执行路径规则的次数(频率)一起制作数据库，并且可以存储数据库。例如，电子设备还可以存储指示是否已经通过触摸输入或语音输入执行了路径规则的信息或者是否已经通过两种输入的组合执行了路径规则的信息。例如，电子设备还可以存储指示在路径规则的每个状态中应用了哪个用户输入(称为输入方式或界面)以便被区分的信息。
在操作1570中，电子设备(例如，处理器120)可以针对与路径规则对应的提示来生成宏指定建议提示。
根据实施例，电子设备可以提供宏功能，该宏功能可以用个性化短句替换与路径规则对应的提示。例如，假设存在能够执行“将与J昨日拍摄的照片制成相册并将在云端存储相册”的路径规则的提示，当通过设置将该提示指定为诸如“J相册”的宏并且用户说出宏时，即使用户没有说出对应于整个路径规则的提示，电子设备也可以执行相应的功能。
根据实施例，电子设备或电子设备的处理器(例如，处理器120)可以包括宏建议提示生成器(未示出)。宏建议提示生成器可以生成提示，该提示帮助用户容易地设置与路径规则的提示相对应的宏。例如，宏建议提示生成器可以向用户推荐能够指定宏(具有指定标准)的路径。例如，指定的标准可以是各种各样的，例如，执行路径规则的次数和/或路径规则的复杂性。
例如，当路径规则(将与J昨日拍摄的照片制成相册并将在云端存储相册)被使用指定的参考次数或更多次时，电子设备可以通过自然语言生成技术等将相应的路径转换成句子形式，并且可以提供结果作为提示。此外，电子设备可以生成宏指定建议提示，诸如“将与J昨日拍摄的照片制成相册并将在云端存储相册的功能可以被宏存储并快速执行”，这暗示为该提示指定宏，并且可以允许用户轻松地为提示指定宏。
同时，在图15的上述实施例中，已经描述了电子设备通过电子设备的用户日志收集来生成路径规则。然而，根据另一实施例，电子设备(例如，服务器106)可以通过无线通信电路从外部电子设备接收由外部电子设备根据用户输入所执行的操作或操作的记录，并且可以以与上述操作(相应的方法)类似的方法操作。例如，电子设备可以执行收集应用的状态日志(其中，外部电子设备的输入方式被分类)的操作；确定外部电子设备的路径规则的操作；在话语路径规则表、触摸路径规则表和/或触摸和话语路径规则表中存储路径规则的操作；组合路径规则以在话语/触摸组合路径规则表中存储组合结果的操作；以及生成用于针对与路径规则对应的提示建议宏指定的提示的操作。
图16是示出根据各种实施例的电子设备(例如，电子设备101)通过电子设备的用户日志收集生成路径规则的操作的流程图。参考图16，电子设备可以通过模式分析生成现有规则数据库中不存在的路径规则。
在操作1610中，电子设备(例如，处理器120)可以收集其中输入方式被分类的应用状态日志。
根据实施例，当电子设备通过用户使用麦克风的语音输入、通过用户使用触摸屏的触摸输入或者通过用户语音和触摸的混合输入来执行应用的至少一个操作时，电子设备可以对相应的输入方式进行分类。
根据实施例，根据由电子设备执行的一个操作或者一个操作的执行所显示的单个画面可以被称为状态，并且由电子设备执行的操作的记录或者与执行的操作相对应的显示的画面的记录可以称为状态日志。
根据实施例，电子设备可以收集情景信息以及状态日志。例如，情景信息可以是各式各样的，例如，在电子设备中存储的当前日期、当前时间、电子设备所在的位置和/或日程信息。
在操作1620中，电子设备(例如，处理器120)可以确定在规则数据库中是否存在与收集的状态日志相对应的状态序列日志。在操作1620中，当确定在规则数据库中存在与收集的状态日志相对应的状态序列日志时，电子设备会执行操作1640；否则，电子设备会执行操作1630。
根据实施例，电子设备可以通过规则映射器处理对应用状态日志和现有规则数据库中存储的状态序列日志进行比较来确定是否存在应用状态日志对应于状态序列日志的部分。例如，当存在应用状态日志对应于状态序列日志的部分时，电子设备会执行操作1640；否则，否则电子设备执行操作1630。
在操作1630中，电子设备(例如，处理器120)可以通过对收集的状态日志的模式分析来生成新的路径规则。
根据实施例，电子设备或电子设备的处理器(例如，处理器120)可以包括规则模式查找器(未示出)，并且规则模式查找器可以通过所述收集的状态日志的模式分析来对重复使用的状态日志进行分析，以提取新的路径规则。
例如，当电子设备根据用户的触摸输入等执行图库应用并且在现有路径规则数据库中不存在将照片附加到笔记应用的状态序列日志时，或者当规则模式查找器对根据电子设备的操作所收集的状态日志进行分析并且状态日志被执行了指定的参考次数或更多次时，可以确认用户重复执行了上述功能，并且可以新获取包括状态序列的路径规则。例如，电子设备可以将新获取的路径规则存储在规则数据库中，并且可以更新规则数据库。例如，电子设备可以对新获取的路径规则执行确认处理，然后可以将结果存储在规则数据库中。
在操作1640，电子设备(例如，处理器120)可以通过路径映射器处理根据应用日志确定路径规则。
根据实施例，电子设备可以通过规则映射器处理对应用状态日志和现有规则数据库中存储的状态序列日志进行比较来确认应用状态日志对应与状态序列日志的部分对应于哪部分，并且可以从状态序列日志确定与应用状态日志相对应的路径规则。
根据实施例，路径规则可以包括输入方式的信息，使得可以知晓用户通过哪个界面执行输入。
根据实施例，在操作1650中，当路径规则是话语路径规则时，电子设备(例如，处理器120)可以将路径规则存储在话语路径规则表中。例如，当在路径规则中包括的输入方式的信息是使用麦克风的语音输入时，电子设备可以确定路径规则是话语路径规则。例如，电子设备可以将情景信息与路径规则一起存储在话语路径规则表中。
根据实施例，在操作1660中，当路径规则是触摸路径规则时，电子设备(例如，处理器120)可以将路径规则存储在触摸路径规则表中。例如，当在路径规则中包括的输入方式的信息是使用触摸屏的触摸输入时，电子设备可以确定路径规则是触摸路径规则。例如，电子设备可以将情景信息与路径规则一起存储在触摸路径规则表中。
根据实施例，在操作1670中，当路径规则是触摸和话语路径规则时，电子设备(例如，处理器120)可以将路径规则存储在触摸和话语路径规则表中。例如，当在路径规则中包括的输入方式的信息是使用麦克风的语音输入和使用触摸屏的触摸输入时，电子设备可以确定路径规则是触摸和话语路径规则。例如，电子设备可以将情景信息与路径规则一起存储在触摸路径规则表中。
在操作1680种，电子设备(例如，处理器120)可以对话语路径规则表的路径规则、触摸路径规则表的路径规则以及触摸和话语路径规则表中的触摸和话语路径规则进行组合，并且可以将组合结果存储在话语/触摸组合路径规则表。例如，电子设备还可以将情景信息一起存储。例如，电子设备可以与用户执行路径规则的次数(频率)一起制作数据库，并且可以存储数据库。例如，电子设备还可以存储指示是否已经通过触摸输入或语音输入执行了路径规则的信息或者是否已经通过两种输入的组合执行了路径规则的信息。例如，电子设备还可以存储指示在路径规则的每个状态中应用了哪个用户输入(称为输入方式或界面)以便被区分的信息。
在操作1690中，电子设备(例如，处理器120)可以根据指定条件为话语/触摸组合路径规则表中包括的每个路径规则分配提供提示的优先级，并且可以在操作1690中将结果存储在提示路径规则表中。例如，指定条件可以是每个路径规则的使用频率。
同时，在图16的上述实施例中，已经描述了电子设备通过电子设备的用户日志收集来生成路径规则。然而，根据另一实施例，电子设备(例如，服务器106)可以通过无线通信电路从外部电子设备接收外部电子设备根据用户输入执行的操作或者操作的记录，并且可以在与上述操作(相应的方法)类似的方法操作。例如，电子设备可以执行收集应用的状态日志(其中，外部电子设备的输入方式被分类)以及外部电子设备的情景信息的操作；确定在规则数据库中是否存在与所收集的状态日志相对应的状态序列日志的操作；通过状态日志模式分析生成新路径的操作；通过日志映射器处理确定路径规则的操作；在话语路径规则表、触摸路径规则表和/或触摸和话语路径规则表中存储路径规则的操作；组合路径规则以在话语/触摸组合路径规则表中存储组合结果的操作；以及分配用于向话语/触摸组合路径规则表中包含的每个路径规则提供提示的优先级以在提示路径规则表中存储结果的操作。例如，电子设备可以通过应用的状态日志收集为多个外部设备(用户)中的每一个生成路径规则，从而使多个外部设备(用户)中的每一个具有提示路径规则表。
根据又一实施例，当电子设备(例如，服务器106)通过无线通信电路从外部电子设备接收由外部电子设备根据用户输入执行的操作或操作的记录，并且电子设备以类似于上述操作(相应的方法)的方法操作时，通过外部电子设备的上述状态日志模式分析来检测新路径规则的操作可以不限于所接收操作或操作记录的相应的单个外部电子设备。例如，通过状态日志模式分析，可以通过与电子设备相关联的所有外部电子设备的状态日志模式生成新路径规则。例如，电子设备可以匿名化并存储外部电子设备的应用状态日志，并且可以通过模式分析在匿名状态日志中获取现有状态序列日志中未包括的新路径规则。以这种方式获得的新路径规则可以新添加到电子设备或外部电子设备的规则数据库中并且可以被管理。
图17是示出根据各种实施例的与电子设备(例如，电子设备101)的路径规则对应的提示表的视图。图18至图20是示出用于提供提示的系统的框图。
根据实施例，电子设备可以将与根据上述实施例的任何一个实施例生成的路径规则相对应的至少一个提示分类为功能指引提示表1701、基于用户使用的提示表1703或者用于存储结果的情景信息提示表1705，并且可以允许在功能指引提示表1701、基于用户使用的提示表1703和情景信息提示表1705中包括的提示被包括在提示表1710中。
根据实施例，当生成的路径规则是电子设备的新功能的路径规则和/或其他人在电子设备中频繁使用的功能的路径规则时，电子设备可以在功能指引提示表1701中存储与所生成的路径规则相对应的提示。因此，功能指引提示表1701中包括的提示可以用于向用户介绍电子设备的新功能或者介绍其他人经常在电子设备中使用的功能，并且用户可以提供在电子设备所有功能的未使用的功能中预计被使用的功能作为提示或提示列表。例如，电子设备可以不提供用户甚至使用过一次的提示或者在功能指引提示表1701中存储的提示中与使用的功能相对应的提示。
例如，在功能指引提示表1701中存储的提示(称为功能指引提示)可以如下面的表2所示。
【表2】
例如，功能指引提示旨在鼓励用户使用该功能，因此最初显示简短提示可能是有效的。
根据上述实施例，尽管已经描述了表2的提示是存储在功能指引提示表1701中的功能指引提示，但是根据另一实施例，表2的至少一些功能指引提示可以是包括在基于用户使用的提示表1703和/或情景信息提示表1705中的提示。例如，诸如“制作拼贴画”、“将重要数据保存在安全文件夹中”和/或“您想将其切换到新主题吗？”的提示可以是功能指引提示表1701、基于用户使用的提示表1703和/或情景信息提示表1705中包括的提示。
参考图18，当第一电子设备1801(例如，电子设备101)请求提供提示时，第二电子设备(例如，服务器)1803的建议管理器1805中的提示提供模块1807可以接收相应的请求，并且可以请求从功能指引提示生成模块1809生成和/或提供提示。功能指引提示生成模块1809可以每隔预定时段与第三电子设备(例如，外部提示建议服务器)1811同步以更新提示列表。例如，功能指引提示生成模块1809可以以功能指引提示表1701的形式生成提示列表。当功能指引提示生成模块1809将生成的提示返回到提示提供模块1807时，提示提供模块1807可以根据指定条件对要显示给用户的提示进行排列，并且可以向第一电子设备1801提供排列的提示。指定条件可以是基于电子设备的情景信息和/或提示的使用频率所确定的优先级。
在上述图18中，已经描述了根据第一电子设备1801、第二电子设备1803和第三电子设备1811的相互操作以功能指引提示表的形式生成提示列表，并且排列和提供向用户显示的提示。然而，根据另一实施例，第一电子设备1801可以以功能指引提示表的形式生成提示列表，并且可以排列并提供向用户显示的提示。
根据实施例，当生成的路径规则是与用户的特定情景中暴露的提示相对应的路径规则时，电子设备可以在情景信息提示表1705中存储与所生成的路径规则相对应的提示。例如，情景信息提示表1705可以包括与考虑时间、地点和/或情景信息而生成的路径规则相对应的提示。例如，当基于时间、地点、场合(TPO)信息满足预定义条件时，电子设备可以考虑TOP信息(即，使用电子设备的时间、使用电子设备的地点和/或使用电子设备时的情景信息)提供推荐提示或提示列表。例如，电子设备可以基于预设提示池中的TPOA信息选择适合于预定义条件的至少一个提示，并且可以向用户提供所选择的提示。
例如，在情景信息提示表1705中存储的提示(称为情景信息提示)可以如下面的表3中所示。
【表3】
/>
例如，表3的房屋识别、公司识别、是否登上车辆、醒来时间、就寝时间、出勤时间和下班时间可以使用通过稍后将描述的图19的个人管理器1919获得的值，并且表4中所示的初始值可用于该时间。
【表4】
例如，当提供情景信息提示时，电子设备可以在根据当前情景信息提供适当的命令提示的同时指定用户的情景信息的优先级，并且可以优先提供具有更高优先级的提示。例如，电子设备可以为每个情景信息分配优先级，如下面的表5所示。
【表5】
参考图19，当第一电子设备1901(例如，电子设备101)请求提供提示时，第二电子设备1903的建议管理器1905中的提示提供模块1907可以接收请求，并且可以请求从情景信息提示生成模块1909生成和/或提供提示。情景信息提示生成模块1909可以通过使用条件检查模块1913使用情景信息管理器1915或个人管理器1919中的模块来接收TPO信息。例如，情景信息管理器1915可以包括确定地点接近度的位置接近模块1917，并且个人管理器1919可以包括存储地点的位置信息的地点信息模块1921和推断与地点相关的位置信息和情景信息的推理引擎1923。例如，地点信息模块1921可以存储由用户输入的家庭和/或公司的地址。例如，推理引擎1923可以从用户输入的信息和/或使用电子设备的一个或更多个传感器收集的信息中推理用户的家庭和/或公司的位置或位置相关的情景信息(例如，在通勤、旅行、驾驶期间等)。
根据实施例，情景信息提示生成模块1909可以使用所接收的TPO信息设置建议管理器1905中的功能指引提示生成模块1911，并且条件检查模块1913可以检查功能指引提示生成模块1911，使得情景信息提示生成模块1909可以生成适合于该场合的提示。
根据另一实施例，情景信息提示生成模块1909可以使用所接收的TPO信息设置建议管理器1905中的基于用户使用的提示选择模块1912，并且条件检查模块1913可以检查基于用户使用的提示选择模块1912，使得基于用户使用的提示选择模块1912可以选择用户的基于使用的提示。例如，假设第一电子设备1901的用户在家中频繁使用“播放音乐”的语音命令，当确定电子设备的位置是家时，基于用户使用的提示选择模块1912可以选择考虑频繁使用的“播放音乐”作为用户的基于使用的提示。
当根据上述实施例生成的提示返回到提示提供模块1907时，提示提供模块1907可以根据内部规则排列和/或选择待提供的提示，并且可以向第一电子设备1901发送所选择的提示。
在上述图19中，已经描述了根据第一电子设备1901和第二电子设备1903的相互操作生成情景信息提示，并且可以排列并提供向用户显示的提示。然而，根据另一实施例，第一电子设备1901可以生成情景信息提示，并且可以排列并提供要向用户显示的提示。
根据实施例，当所生成的路径规则是与考虑使用频率(或频率)的提示相对应的路径规则时，电子设备可以在基于用户使用的提示表1703中存储所生成的路径规则。例如，基于用户使用的提示表1703可以包括考虑到提示的再使用频率的与路径规则相对应的提示。
根据实施例，虽然未示出，但是可以通过操作员任意地将手册输入到用于管理的外部提示建议服务器(例如，第三电子设备1811)的方法，或者通过外部提示建议服务器提取在电子设备(例如，第一电子设备1801)中频繁使用的流行话语列表和/或提示列表以更新外部提示建议服务器的方法，来管理向用户提供的提示或提示列表。
参考图20，当生成的路径规则是与考虑使用频率(或频率)的提示相对应的路径规则时，电子设备(例如，电子设备101)可以存储与所生成的路径规则相对应的提示作为基于用户使用的提示。例如，电子设备可以根据基于用户个人TPO信息的使用频率来提供用于推荐功能(其是通常通过用户话语或文本输入使用的功能)的提示。例如，电子设备可以推荐用户经常使用的功能，使得在用户当前不能说话或在长句中的情况下，可以通过执行单个触摸输入而不是说出长句来执行期望的功能。
参考图20，当第一电子设备2001(例如，电子设备101)请求提供提示时，第二电子设备2003的建议管理器2005中的提示提供模块2007可以接收请求，并且可以请求从基于用户使用的提示生成模块2009生成和/或提供提示。基于用户使用的提示生成模块2009可以通过使用个人管理器2011中的用户话语偏好记录模块2013中记录的用户对话、路径规则ID、参数、使用频率、使用时间和位置信息等来生成基于用户使用的提示。当向提示提供模块2007发送所生成的基于用户使用的提示时，提示提供模块2007可以根据内部规则对待向用户显示的提示进行排列，并且可以向第一电子设备2001提供所选择的基于用户使用的提示。
根据实施例，第二电子设备2003可以根据第一电子设备2001的用户使用模式来推荐提示。例如，当第二电子设备2003周期性地从第一电子设备2001接收通知天气的请求时，可以同时管理进行请求的情景信息和第一电子设备2001的用户输入(用户命令)，使得当获得相同的情景信息时可以预测用户要执行的功能以提供提示。例如，在执行的功能没有意义的情况下(因为它是一次性功能或者所执行的功能与其他自动化功能重叠)，该功能可能不会被存储为提示。
根据实施例，虽然未示出，但是可以通过操作员任意地将手册输入到用于管理的外部提示建议服务器(例如，第三电子设备1811)的方法，或者通过外部提示建议服务器提取在电子设备(例如，第一电子设备1801)中频繁使用的流行话语列表和/或提示列表以更新外部提示建议服务器的方法，来管理向用户提供的提示或提示列表。
图21是示出根据各种实施例的利用私有云来提供个性化提示的系统的视图。
参考图21，在将服务器2111中存储的提示表2110(例如，提示表1710)提供给电子设备2131之前可以将提示表2110存储在私有云2121中，并且提示表2110可以与电子设备2131同步。例如，服务器2111可以通过执行上述提示生成操作来生成和/或更新提示表2110，并且可以生成和/或更新与提示表2110相对应的提示表2120，使得提示表2120可以存储于电子设备2131的相应私有云2121(其是个性化提示的存储空间)中。例如，提示表2110可以包括功能指引提示表2101(例如，功能指引提示表1701)中包括的所有提示、基于用户使用的提示表2103(例如，基于用户使用的提示表1703)以及情景信息提示表2105(相关提示表1705)。可以结合情景信息、个人简档信息和私有云2121的提示表2120向电子设备2131提供提示或提示列表。
图22是示出根据各种实施例的用于提供提示的系统的框图。
参考图22，用于提供提示的系统可以包括电子设备2201和服务器2231。
根据实施例，可以基于OS框架2205来开发和操作电子设备2201。
根据实施例，电子设备2201可以包括大数据收集客户端2210，并且大数据收集客户端2210可以包括日志收集器2211、推理引擎2213、情景信息管理器2215、个人管理器2216、建议管理器2217以及内容提供应用编程接口(API)2219。
根据实施例，日志收集器2211可以收集电子设备2201的日志(也称为日志数据)。例如，日志收集器2211可以根据电子设备2201处的用户输入来收集电子设备2201的状态日志。例如，用户输入可以是各式各样的，例如，语音输入、触摸输入、用户对按钮(或键)的操纵和/或使用遥控器的输入。
根据实施例，推理引擎2213可以从由用户输入的信息和/或通过使用电子设备2201的一个或更多个传感器收集的信息中推理用户和/或电子设备2203的情景信息。例如，推理引擎2213可以基于通过日志收集器2211收集的电子设备2201的日志来推理用户和/或电子设备2201的情景信息。例如，推理引擎2213可以推理用户的家庭和/或公司的位置或位置相关的情景信息(例如，在通勤、旅行、驾驶期间等)。
根据实施例，情景信息管理器2215可以收集电子设备2201的情景信息。例如，情景信息管理器2215可以来收集通过使用推理引擎2213所推理的电子设备2201的情景信息。例如，情景信息可以包括一般情景信息、用户情景信息和/或设备情景信息。
例如，一般情景信息可以包括电子设备2201的一般情景信息。可以通过内部算法通过设备平台的传感器集线器等接收数据来确认一般情景信息。例如，一般情景信息可以包括关于当前时间和空间的信息。关于当前时间和空间的信息可以包括例如关于电子设备2201的当前时间和当前位置的信息。可以通过电子设备2201的时间确认当前时间，并且可以通过全球定位系统(GPS)确认关于当前位置的信息。通过另一示例的方式，一般情景信息可以包括关于物理运动的信息。关于物理运动的信息可以包括例如关于步行、跑步、驾驶等的信息。可以通过运动传感器确认关于物理运动的信息。可以通过运动传感器确认关于驾驶的信息，并且可以通过感测车辆中的蓝牙连接来确认乘车和停车。通过另一示例的方式，一般情景信息可以包括用户活动信息。用户活动信息可以包括例如关于通勤、购物、旅行等的信息。可以使用关于由应用在数据库中注册的用户或地点的信息来确认用户活动信息。
例如，用户情景信息可以包括关于用户的信息。例如，用户情景信息可以包括关于用户的情绪状态的信息。关于情绪状态的信息可以包括例如关于用户的快乐、悲伤、愤怒等的信息。通过另一示例的方式，用户情景信息可以包括关于用户的当前状态的信息。关于当前状态的信息可以包括关于例如兴趣、意图等(例如，购物)的信息。
例如，设备情景信息可以包括关于电子设备2201的状态的信息。例如，设备情景信息可以包括关于由电子设备2201执行的路径规则的信息。通过另一示例的方式，设备情景信息可以包括关于电池的信息。可以通过例如电池的充电和放电状态来确认关于电池的信息。通过另一示例的方式，设备情景信息可以包括关于连接的设备和网络的信息。可以例如通过设备所连接的通信接口来确认关于所连接的设备的信息。
根据实施例，情景信息管理器2215可以向建议管理器2217发送情景信息。
根据实施例，个人管理器2216可以使用电子设备2201管理用户的个人信息。例如，个人管理器2216可以收集电子设备2201的使用信息和性能结果以管理用户的个人信息。例如，个人管理器2216可以基于使用推理引擎2213推理的电子设备2201的情景信息来收集用户的个人信息。例如，使用电子设备2201的用户的个人信息可以包括关于由电子设备2201执行的应用的操作结果信息的信息和/或关于电子设备2201的当前状态的信息。
根据实施例，个人管理器2216可以向建议管理器2217发送用户使用电子设备2201的个人信息。
根据实施例，个人管理器2216可以向服务器2231发送用户个人信息。例如，个人管理器2216可以周期性地向服务器2231发送所接收和所积累的用户个人信息。
根据实施例，建议管理器2217可以预测用户的意图并且可以向用户推荐提示以执行电子设备的操作。例如，建议管理器2217可以考虑用户的当前状态(例如，时间、地点、场合、使用的应用)向用户推荐提示。例如，建议管理器2217可以使用通过情景信息管理器2215接收的电子设备2201的情景信息、通过个人管理器2216接收的电子设备2201的用户个人信息和/或由推理引擎2213推理的用户情景信息来推荐用于执行电子设备2201的操作的提示。
根据实施例，电子设备2201可以包括第一应用2221、第二应用2223、第三应用2225和/或第四应用2227。
根据实施例，内容提供应用编程接口(API)2219可以向电子设备2201的第一应用2221、第二应用2223、第三应用2225和第四应用2227发送由大数据收集客户端2210收集和生成的信息。
根据实施例，服务器2231可以通过服务器2231的前端API 2233与电子设备2201通信，并且可以被电子设备2201请求提供提示。
根据实施例，服务器2231可以包括分析模块2235(也称为智能模块)、服务管理模块2245和日志/情景信息管理模块2249。
根据实施例，分析模块2235可以包括通用简档引擎2237、基于反馈的用户简档引擎2239、域特定简档引擎2241和优先级平台API 2243。
根据实施例，通用简档引擎2237可以基于从电子设备2201接收的信息生成通用简档。
根据实施例，基于反馈的用户简档引擎2239可以基于从电子设备2201接收的关于反馈的信息来生成基于反馈的简档。例如，基于反馈的用户简档引擎2239可以使用强化学习方法生成基于反馈的简档。
根据实施例，域特定简档引擎2241可以通过针对每个域对从电子设备2201接收的信息进行分类来为每个域生成简档。域可以是各式各样的，例如，健康和意图提取等。
根据实施例，优先级平台API 2243可以生成用于基于时间、位置和/或场合来确定向电子设备2201提供的提示的优先级条件。例如，优先级平台API 2243可以被称为基于TPO的分析器。
根据实施例，服务管理模块2245可以包括用户/设备管理管理器2247。例如，用户/设备管理管理器2247可以管理电子设备2201的设备情景信息。例如，设备情景信息可以包括关于电子设备2201的电池的信息、关于电子设备2201的CPU的信息和/或关于连接到电子设备2201的设备和网络的信息。
根据实施例，日志/情景信息管理模块2249可以包括日志收集管理器2251和情景信息管理器2253。例如，日志收集管理器2251可以收集并存储电子设备2201的日志。例如，情景信息管理器2253可以在电子设备2201的日志收集时存储情景信息。
根据实施例，服务器2231还可以包括服务器到服务器API 2255，并且可以通过服务器到服务器API 2255与第三方应用2261通信。例如，服务器2231可以从第三方应用2261接收关于电子设备2201的信息(例如，电子设备2201在第三方应用2261中使用的信息)。例如，第三方应用2261可以是各式各样的，诸如“viv”、服务服务器或物联网(IOT)云等。
图23是示出根据各种实施例的服务器的提示生成的操作的流程图。
在操作2301中，服务器可以收集电子设备的数据。
根据实施例，电子设备的数据可以包括设备信息、电子设备的应用使用信息和/或服务使用信息。例如，设备信息可以包括诸如电子设备的位置、电子设备的移动、电子设备的蓝牙连接、电子设备的屏幕显示和/或电子设备的设置改变的信息。例如，电子设备的应用使用信息可以包括前端应用、应用设置改变、联系人使用、命令、应用触摸、URL、搜索关键词和音乐等。例如，服务使用信息可以包括服务的使用日志(例如，例如使用IOT设备和Samsung Pay)。
在操作2303中，服务器可以生成电子设备的简档。
根据实施例，服务器可以长时间汇总电子设备的日志数据，并且可以基于汇总的日志数据生成电子设备的简档。
根据实施例，简档可以包括位置简档、行为简档和/或用户简档。例如，位置简档可以包括家庭、工作场所、车辆、频繁访问的位置和/或用户输入位置。例如，行为简档可以包括睡眠时间和/或通勤时间。例如，用户简档可以包括用户的兴趣类别和关键字、人口统计学数据和/或服务特定用户简档。
在操作2305中，服务器可以生成电子设备的情景信息。
根据实施例，服务器可以将所生成的简档与电子设备的日志数据组合以生成电子设备的情景信息。
根据实施例，情景信息可以包括位置情景信息和/或情景信息。例如，位置情景信息可以包括诸如…内部、…外部、…中、…附近、例外路径、日常生活、不常去的地点、国内、国外和/或旅行的信息。例如，情景信息可以包括诸如睡觉之前、睡觉之后、通勤之前、通勤之后、通勤期间、驾驶之前、驾驶之后、驾驶期间和/或天气的信息。
在操作2307中，服务器可以生成用于确定向电子设备提供的提示的优先级条件。
根据实施例，服务器可以组合情景信息和日志数据以生成优先级条件。
根据实施例，优先级条件可以包括一般优先级条件、服务特定优先级条件和/或建议优先级条件。例如，一般优先级条件可以包括应用程序偏好、联系人偏好、设置偏好、位置偏好、音乐偏好、URL和/或搜索关键字。例如，服务特定优先级条件可以包括提示命令偏好、IOT偏好和/或服务偏好。例如，建议优先级条件可以包括基于内容和/或内容协同的过滤。
图24是示出考虑根据各种实施例的电子设备提供的提示的使用时间和该提示的出现频率而提供的提示的类型的曲线图。
参考图24，在开始根据上述实施例提供提示的功能时，由于登录电子设备的用户的个人数据很小，因此主要出现功能指引提示2401(例如，功能指引提示表1701中包括的指示)以及情景信息提示2403(例如，情景信息提示表1705中包括的提示)。然而，随着用户对上述功能的使用增加，推荐基于用户使用的提示2405(例如，在基于用户使用的提示表1703中包括的提示)的概率增加，从而提供个性化提示。然而，即使基于用户使用的提示的比率增加，也可能希望将功能指引提示2401的出现率保持在预定水平或更高水平。这可以用于通过在较少出现的提示中介绍用户未使用的功能来指引使用相应的功能。
根据实施例，假设重复使用用户的任何特定提示，可以最优先地显示基于用户使用的提示。可以将已经向用户显示多次但未被选择的提示的优先级减小。此外，一旦用户达到目的，可以在一段时间阻止该提示出现。
根据实施例，在电子设备向用户提供提示的操作中，电子设备可以根据每个提示的类型向用户提供具有不同优先级的提示。例如，可以按个性化提示、情景信息提示和应用提示的顺序来确定提示的显示优先级，并且可以限制待显示的提示的总数。在个性化提示的情况下，可以根据每个情景信息的优先级通过旋转来生成提示。在情景信息提示的情况下，当没有个性化提示时，可以根据优先级显示提示。
根据实施例，当基于用户使用的提示非常短时，可以排除推荐。
根据实施例，上述状态序列日志可以与服务器上的用户帐户互锁。例如，用户的账户可以具有多个电子设备ID，并且可以存在相同或不同的设备类型。
根据各种实施例，可以与用户的其他电子设备共享用户的电子设备的提示。例如，当电子设备与另一电子设备结合执行操作(例如，在电视上执行终端的视频)时或者当电子设备独立操作时(例如，在电视上进行视频搜索)，可以从另一电子设备(例如，移动设备)提供提示。
图25是示出根据本公开的各种实施例的集成智能系统的视图。
参考图25，集成智能系统251可以包括用户终端2500(例如，电子设备101)、智能服务器2600(例如，服务器106)、个性化信息服务器2700(例如，服务器106)或建议服务器2800(例如，服务器106)。
用户终端2500可以通过在用户终端2500存储中的应用(或应用程序或也称为应用(例如，闹钟应用、消息应用、照片(图库)应用等)向用户提供服务。例如，用户终端2500可以通过在用户终端2500中存储的智能应用(或语音识别应用)来执行和操作其他应用。可以接收用于通过用户终端2500的智能应用执行其他应用的操作的用户输入。可以通过例如物理按钮、触摸板、语音输入或远程输入等来接收用户输入。根据实施例，用户终端2500可以对应于可以连接到互联网的诸如移动电话机、智能手机、个人数字助理(PDA)或笔记本电脑的各种终端设备(或电子设备)。
根据实施例，用户终端2500可以接收用户的话语作为用户输入。用户终端2500可以接收用户的话语，并且可以基于用户的话语生成操作应用的命令。因此，用户终端2500可以使用该命令来操作应用。
智能服务器2600可以通过通信网络从用户终端2500接收用户语音输入，并且可以将接收的用户语音输入转换为文本数据。根据另一实施例，智能服务器2600可以基于文本数据生成(或选择)路径规则。路径规则可以包括关于用于执行应用的功能的动作(或操作)的信息或关于用于执行操作的参数的信息。此外，路径规则还可以包括应用的一系列操作。用户终端2500可以接收路径规则、可以根据路径规则选择应用并且可以执行所选应用中的路径规则中包括的操作。
例如，用户终端2500可以执行上述操作，并且可以在显示器上显示与已经执行了操作的用户终端2500的状态相对应的画面。以另一示例的方式，用户终端2500可以执行操作，并且可以不在显示器上显示执行操作的结果。用户终端2500可以例如执行多个操作并且可以在显示器上显示操作的一些结果。用户终端2500可以例如在显示器上显示执行最后操作的结果。以又一示例的方式，用户终端2500可以接收用户输入并且可以在显示器上显示执行上述操作的结果。
个性化信息服务器2700可以包括存储用户信息的数据库。例如，个性化信息服务器2700可以从用户终端2500接收用户信息(例如，情景信息、应用执行等)，并且可以将接收的用户信息存储在数据库中。当通过通信网络从个性化信息服务器2700接收用户信息并生成用户输入的路径规则时，可以使用智能服务器2600。根据实施例，用户终端2500可以通过通信网络从个性化信息服务器2700接收用户信息，并且可以使用所接收的用户信息作为用于管理数据库的信息。
建议服务器2800可以包括数据库，其中关于介绍功能或应用的信息或关于待提供的功能的信息存储在终端中。例如，建议服务器2800可以包括用于从个性化信息服务器2700接收用户终端2500的用户信息的功能的数据库，使得用户可以使用用户信息。用户终端2500可以通过通信网络从建议服务器2800接收关于待提供的功能的信息，并且可以向用户提供所接收的信息。
图26是示出了根据本公开的实施例的集成智能系统251的用户终端的框图。
参考图26，用户终端2500可以包括输入模块2510(例如，输入设备250)、显示器2520(例如，显示器260)、扬声器2530(例如，扬声器282)、存储器2540(例如，存储器230)或处理器2550(例如，处理器210)。用户终端2500还可以包括壳体，并且用户终端2500的配置可以放置在壳体内或壳体上。
根据实施例，输入模块2510可以接收来自用户的用户输入。例如，输入模块2510可以从连接的外部设备(例如，键盘、耳机)接收用户输入。以另一示例的方式，输入模块2510可以包括与显示器2520耦接的触摸屏(例如，触摸屏显示器)。以又一示例的方式，输入模块2510可以包括位于用户终端2500(或用户终端2500的壳体)中的硬件键(例如，图27中的2512)(或物理键)。
根据实施例，输入模块2510可以包括能够接收用户的话语作为语音信号的麦克风(例如，图27中的2513a或2513b)。例如，输入模块2510可以包括语音输入系统，并且可以通过语音输入系统接收用户的话语作为语音信号。
根据实施例，显示器2520可以显示应用的图像、视频和/或执行画面。例如，显示器2520可以显示应用的图形用户界面(GUI)。
根据实施例，扬声器2530可以输出语音信号。例如，扬声器2530可以向外部输出在用户终端2500内部生成的语音信号。
根据实施例，存储器2540可以存储多个应用2541和2543。可以根据用户输入来选择、执行和操作存储器2540中存储的多个应用2541和2543。
根据实施例，存储器2540可以包括能够存储用于识别用户输入的信息的数据库。例如，存储器2540可以包括能够存储日志信息的日志数据库。以另一示例的方式，存储器2540可以包括能够存储用户信息的角色数据库。
根据实施例，存储器2540可以存储多个应用2541和2543，并且多个应用2541和2543可以被加载和操作。例如，可以由处理器2550的执行管理器模块2553来加载和操作存储器2540中存储的多个应用2541和2543。多个应用2541和2543可以包括执行服务2541a和2543a或执行功能的多个操作(或单元操作)2541b和2543b。可以由处理器2550的执行管理器模块2553生成执行服务2541a和2543a，以执行多个操作2541b和2543b。
根据实施例，当执行应用2541和2543的操作2541b和2543b时，可以在显示器2520上显示根据操作2541b和2543b的执行的执行状态画面。执行状态画面可以是例如完成操作2541b和2543b的画面。以另一示例的方式，执行状态画可以是用于部分登录的画面(例如，当没有输入用于操作2541b和2543b的参数时)，其中，停止执行操作2541b和2543b。
根据实施例，执行服务2541a和2543a可以根据路径规则执行操作2541b和2543b。例如，执行服务2541a和2543a可以由执行管理器模块2553激活，可以根据来自执行管理器模块2553的路径规则接收执行请求，并且可以执行应用2541和2543的操作。当完成操作2541b和2543b的执行时，执行服务2541a和2543a可以向执行管理器模块2553发送完成信息。
根据实施例，当在应用2541和2543中执行多个操作2541b和2543b时，可以顺序地执行多个操作2541b和2543b。在完成一个操作(操作1)的执行时，执行服务2541a和2543a可以打开下一个操作(操作2)，并且可以向执行管理器模块2553发送完成信息。在本文中，打开任意操作可以被理解为将任意操作转换为可执行状态或准备执行任意操作。换而言之，当未打开任意操作时，不会执行相应的操作。当接收到完成信息时，执行管理器模块2553可以向执行服务(例如，操作2)发送用于下一个操作2541b和2543b的执行请求。根据实施例，当执行多个应用2541和2543时，可以顺序执行多个应用2541和2543。例如，当完成第一应用2541的最后操作的执行并且接收到相应的完成信息时，执行管理器模块2553可以向执行服务2543a发送执行第二应用2543的第一操作的请求。
根据实施例，当在应用2541和2543中执行多个操作2541b和2543b时，可以在显示器2520上显示根据多个执行操作2541b和2543b中的每一个的执行的结果画面。根据实施例，可以在显示器2520上显示由执行多个执行操作2541b和2543b得到的多个结果画面的一部分。
根据实施例，存储器2540可以存储与智能代理2551互锁的智能应用(例如，语音识别应用)。与智能代理2551互锁的应用可以接收并处理用户的话语作为语音信号。根据实施例，可以由通过输入模块2510输入的特定输入(例如，通过硬件键的输入、通过触摸屏的输入、特定语音输入等)来操作与智能代理2551互锁的应用。
根据实施例，存储器2550可以控制用户终端2500的整体操作。例如，处理器2550可以控制输入模块2510以接收用户输入。处理器2550可以控制显示器2520显示图像。处理器2550可以控制扬声器2530输出语音信号。处理器2550可以控制存储器2540以检索或存储相关信息。
根据实施例，处理器2550可以包括智能代理2551、执行管理器模块2553或智能服务模块2555。在实施例中，处理器2550可以执行存储器2540中存储的命令以驱动智能代理2551、执行管理器模块2553或智能服务模块2555。可以以硬件或软件来实现在本公开的各种实施例中涉及的各种模块。在本公开的各种实施例中由智能代理2551、执行管理器模块2553或智能服务模块2555执行的操作可以被理解为由处理器2550执行的操作。
根据实施例，智能代理2551可以基于作为用户输入接收的语音信号生成操作应用的命令。根据实施例，执行管理器模块2553可以从智能代理2551接收所生成的命令，并且可以选择、执行和操作存储器2540中存储的应用2541和2543。根据实施例，智能服务模块2555可用于管理用户信息并处理用户输入。
智能代理2551可以向智能服务器2600发送通过输入模块2510接收的用户输入以进行处理。
根据实施例，在向智能服务器2600发送用户输入之前，智能代理2551可以预处理用户输入。根据实施例，智能代理2551可以包括自适应回声消除器(AEC)模块、噪声抑制(NS)模块、端点检测(EPD)模块或自动增益控制(AGC)模块，以便预处理用户输入。AEC模块可以移除用户输入中包括的回声。NS模块可以抑制用户输入中包括的背景噪声。EPD模块可以检测用户输入中包括的用户语音的端点，以查找用户语音存在的部分。AGC模块可以调整用户输入的音量以适合于识别和处理用户输入。根据实施例，智能代理2551可以包括所有上述预处理配置以用于执行。然而，根据另一实施例，智能代理2551可以包括一些预处理配置以在低功率下操作。
根据实施例，智能代理2551可以包括识别用户呼叫的唤醒识别模块。唤醒识别模块可以通过语音识别模块识别用户的唤醒命令，并且可以在接收到唤醒命令时激活智能代理2551以接收用户输入。根据实施例，可以在低功率处理器(例如，包括在音频编解码器中的处理器)中来实现智能代理2551的唤醒识别模块。根据实施例，可以根据用户输入通过硬件键来激活智能代理2551。当智能代理2551被激活时，可以执行与智能代理2551互锁的智能应用(例如，语音识别应用)。
根据实施例，智能代理2551可以包括用于执行用户输入的语音识别模块。语音识别模块可以识别用于使应用执行相应操作的用户输入。例如，语音识别模块可以通过应用2541和2543执行诸如唤醒命令的操作来识别有限的用户(语音)输入(例如，诸如“点击”的允许在执行相机应用时执行拍摄操作的话语)。协助智能服务器2600并识别用户输入的语音识别模块可以识别并快速处理可以在用户终端250中处理的用户命令。根据实施例，可以在应用处理器中实现用于执行智能代理2551的用户输入的语音识别模块。
根据实施例，智能代理2551的语音识别模块(包括唤醒模块的语音识别模块)可以使用用于识别语音的算法来识别用户输入。用于识别语音的算法可以是例如隐马尔可夫模型(HMM)算法、人工神经网络(ANN)算法和动态时间规整(DTW)算法中的至少一种。
根据实施例，智能代理2551可以将用户的语音输入转换为文本数据。根据实施例，智能代理2551可以向智能服务器2600转发用户的语音以接收转换的文本数据。因此，智能代理2551可以在显示器2520上显示文本数据。
根据实施例，智能代理2551可以接收从智能服务器2600发送的路径规则。根据实施例，智能代理2551可以向执行管理器模块2553发送路径规则。
根据实施例，智能代理2551可以根据从智能服务器2600接收的路径规则向智能服务模块2555发送执行结果日志。接下来，可以在角色模块2555b的用户偏好信息中累积和管理发送的执行结果日志。
根据实施例，执行管理器模块2553可以从智能代理2551接收路径规则以执行应用2541和2543，并且可以使应用2541和2543执行路径规则中包括的操作2541b和2543b。例如，执行管理器模块2553可以向应用2541和2543发送用于执行操作2541b和2543b的命令信息，并且可以从应用2541和2543接收操作2541b和2543b的完成信息。
根据实施例，执行管理器模块2553可以发送和接收用于在智能代理2551与应用2541和2543之间执行应用2541和2543的操作2541b和2543b的命令信息。执行管理器模块2553可以根据路径规则绑定待执行的应用2541和2543，并且可以向应用2541和2543发送路径规则中的操作2541b和2543b中包括的命令信息。例如，执行管理器模块2553可以顺序地向应用2541和2543发送路径规则中包括的操作2541b和2543b，从而根据路径规则顺序地执行应用2541和2543的操作2541b和2543b。
根据实施例，执行管理器模块2553可以管理应用2541和2543的操作2541b和2543b的执行状态。例如，执行管理器模块2553可以从应用2541和2543接收关于操作2541b和2543b的执行状态的信息。当操作2541b和2543b中的每一个的执行状态是例如部分登录状态时(例如，当未输入用于操作2541b和2543b的参数时)，执行管理器模块2553可以向智能代理2551发送关于暂停状态的信息。智能代理2551可以使用所接收的信息来请求用户输入相关信息(例如，参数信息)。以另一示例的方式，当操作2541b和2543b中的每一个的执行状态是可操作状态时，可以从用户接收话语，并且执行管理器模块2553可以向智能代理2551发送关于执行的应用2541和2543的信息以及关于应用2541和2543的执行状态的信息。智能代理2551可以通过智能服务器2600接收用户的话语的参数信息，并且可以向执行管理器模块2553发送所接收的参数信息。执行管理器模块2553可以通过使用所接收的参数信息将操作2541b和2543b的参数改变为新参数。
根据实施例，执行管理器模块2553可以向应用2541和2543发送路径规则中包括的参数信息。当根据路径规则顺序执行多个应用2541和2543时，执行管理器模块2553可以从一个应用向另一个应用发送路径规则中包括的参数信息。
根据实施例，执行管理器模块2553可以接收多个路径规则。执行管理器模块2553可以基于用户的话语来选择多个路径规则。例如，当用户的话语指定一个应用2541来执行一个操作2541b但是没有指定另一个应用2543来执行剩余操作2543b时，执行管理器模块2553可以接收多个不同的路径规则，其中执行一个操作2541b的相同的应用2541(例如，图库应用)被执行，而执行剩余操作2543b另一个应用程序2543(例如，消息应用或电报应用)被执行。执行管理器模块2553可以执行多个路径规则的相同操作2541b和2543b(例如，相同的连续操作2541b和2543b)。当已经执行相同的操作时，执行管理器模块2553可以在显示器2520上显示用于选择多个路径规则中分别包括的不同应用2541和2543的状态画面。
根据实施例，智能服务模块2555可以包括情景模块2555a、角色模块2555b或建议模块2555c。
情景模块2555a可以从应用2541和2543收集应用2541和2543的当前状态。例如，情景模块2555a可以接收指示应用2541和2543的当前状态的情景信息，并且可以收集应用2541和2543的当前状态。
角色模块2555b可以使用用户终端2500来管理用户的个人信息。例如，角色模块2555b可以收集用户终端2500的使用信息和执行结果以管理用户的个人信息。
建议模块2555c可以预测用户的意图并且可以向用户推荐命令。例如，建议模块2555c可以考虑用户的当前状态(例如，时间、地点、场合或应用)向用户推荐命令。
参考图27，用户终端2500可以接收用户输入以执行与智能代理2551交互的智能应用(例如，语音识别应用)。
根据实施例，当检测到硬件键2512被激活时，用户终端2500可以执行包括语音识别的智能应用。例如，作为响应，当通过硬件键2512接收用户输入时，用户终端2500可以在显示器2520上显示智能应用的用户界面(UI)2521。类似地，用户可以触摸智能应用的UI2521中的语音识别按钮2521a，以便当智能应用的UI 2521显示在显示器2520上时启用语音输入2511a和2511b。以另一示例的方式，用户可以连续按压(例如，长按)硬件键2512以激活语音输入2511b功能。
根据实施例，用户终端2500可以响应于通过麦克风2513a和2513b检测到的输入来执行用于识别语音的智能应用。例如，当通过麦克风2513a和2513b检测到包括指定的语音输入命令(例如，唤醒！)的输入2511a时，用户终端2500可以在显示器2520上显示智能应用的UI 2521。
图28是示出根据本公开的实施例的集成智能系统251的智能服务器的框图。
参考图28，智能服务器2600可以包括自动语音识别(ASR)模块2610、自然语言理解(NLU)模块2620、路径规划器模块2630、对话管理器(DM)模块2640、自然语言生成器(NLG)模块2650或文本到语音(TTS)模块2660。
智能服务器2600的NLU模块2620或路径规划器模块2630可以生成路径规则。
根据实施例，ASR模块2610可以将从用户终端2500接收的用户输入转换为文本数据。
根据实施例，ASR模块2610可以将从用户终端2500接收的用户输入转换为文本数据。例如，ASR模块2610可以包括话语识别模块。话语识别模块可以包括声学模型和语言模型。例如，声学模型可以包括关于话语的信息，并且语言模型可以包括关于单元音素信息和单元音素信息的组合的信息。话语识别模块可以使用关于话语和单元音素信息的信息将用户的话语转换为文本数据。关于声学模型和语言模型的信息可以存储在例如自动语音识别数据库(ASR DB)2611中。
根据实施例，NLU模块2620可以执行句法分析或语义分析以确定用户的意图。句法分析可以将用户输入划分为句法单元(例如，字、短语、语素等)，并且可以确定划分的单元具有哪些句法元素。可以使用语义匹配、规则匹配、公式匹配等来执行语义分析。因此，NLU模块2620可以获得用户表达任何一个域或意图的参数(或时隙)。
根据实施例，NLU模块2620可以使用划分为域、意图和用于确定意图的参数(或时隙)的匹配规则来确定用户的意图和参数。例如，一个域(例如，闹钟)可以包括多个意图(例如，闹钟设置、闹钟取消等)，并且一个意图可以包括多个参数(例如，时间、重复次数、闹钟音)等)。多个规则可以包括例如一个或更多个基本元素参数。匹配规则可以存储于NLU DB2621。
根据实施例，NLU模块2620可以使用诸如语素、短语等的语言特征(例如，句法元素)来识别从用户输入提取的字的含义，并且可以通过对该词的公认含义与域和意图进行匹配来确定用户的意图。例如，NLU模块2620可以通过计算从每个域和意图中包括从用户输入提取的字数来确定用户的意图。根据实施例，NLU模块2620可以通过使用用于理解意图的字来确定用户输入的参数。根据实施例，NLU模块2620可以使用NLU DB 2621(其中存储用于确定用户输入的意图的语言特征)确定用户的意图。根据另一实施例，NLU模块2620可使用个人语言模型(PLM)确定用户的意图。例如，NLU模块2620可以使用个性化信息(例如，联系人列表或音乐列表)来确定用户的意图。PLM可以存储于例如NLU DB 2621中。根据实施例，NLU模块2620和ASR模块2610均可以通过参考NLU DB 2621中存储的PLM来识别用户的语音。
根据实施例，NLU模块2620可以基于用户输入的意图和参数来生成路径规则。例如，NLU模块2620可以基于用户输入的意图来选择待执行的应用，并且可以确定在所选择的应用中执行的操作。NLU模块2620可以通过确定与所确定的操作相对应的参数来生成路径规则。根据实施例，由NLU模块2620生成的路径规则可以包括关于待执行的应用的信息、在应用中待执行的操作的信息以及用于执行操作的参数的信息。
根据实施例，NLU模块2620可以基于用户输入的意图和参数来生成一个或更多个路径规则。例如，NLU模块2620可以从路径规划器模块2630接收与用户终端2500相对应的路径规则集，并且可以将用户输入的意图和参数映射到接收的路径规则集上以确定路径规则。
根据另一实施例，NLU模块2620可通过确定待执行的应用、在应用中待执行的操作以及用于执行操作的参数基于用户输入的意图和参数来生成一个路径规则或更多个路径规则。例如，NLU模块2620可以使用用户终端2500的信息根据用户输入的意图、以本体或图形模型的形式通过排列待执行的应用和在应用中待执行的操作来生成路径规则。生成的路径规则可以通过例如路径规划器模块2630存储在路径规则数据库(PR DB)2631中。生成的路径规则可以添加到PR DB 2631的路径规则集。
根据实施例，NLU模块2620可以在所生成的多个路径规则中选择至少一个路径规则。例如，NLU模块2620可以从多个路径规则中选择最佳路径规则。以另一示例的方式，当基于用户的话语指定一些操作时，NLU模块2620可以选择多个路径规则。NLU模块2620可以通过用户的进一步输入来确定多个路径规则中的一个。
根据实施例，NLU模块2620可以响应于用户输入向用户终端2500发送路径规则。例如，NLU模块2620可以向用户终端2500发送与用户输入相对应的一个路径规则。以另一示例的方式，NLU模块2620可以向用户终端2500发送与用户输入相对应的多个路径规则。例如，当基于用户的话语指定一些操作时，NLU模块2620可以生成多个路径规则。
根据实施例，路径规划器模块2630可以在多个路径规则中选择至少一个路径规则。
根据实施例，路径规划器模块2630可以向NLU模块2620发送包括多个路径规则的路径规则集。路径规则集的多个路径规则可以以表格的形式存储域与路径规划器模块2630连接的PR DB 2631中。例如，路径规划器模块2630可以向NLU模块2620发送与从智能代理2551接收的用户终端2500的信息(例如，OS信息、应用信息等)相对应的路径规则集。例如，可以针对每个域或域版本存储PR DB 2631中存储的表。
根据实施例，路径规划器模块2630可以从路径规则集中选择一个路径规则或更多个路径规则，并且可以向NLU模块2620发送所选择的路径规则。例如，路径规划器模块2630可以通过将用户的意图和参数与对应于用户终端101的路径规则集进行匹配来选择一个路径规则或更多个路径规则，并且可以向NLU模块2620发送所选择的路径规则。
根据实施例，路径规划器模块2630可以通过使用用户的意图和参数来生成一个或更多个路径规则。例如，路径规划器模块2630可以通过基于用户的意图和参数确定要执行的应用和要在应用中执行的操作来生成一个路径规则或更多个路径规则。根据实施例，路径规划器模块2630可以将所生成的路径规则存储在PR DB 2631中。
根据实施例，路径规划器模块2630可以将NLU模块2620生成的路径规则存储在PRDB 2631中。可以将生成的路径规则添加到PR DB 2631中存储的路径规则集。
根据实施例，PR DB 2631中存储的表可以包括多个路径规则或多个路径规则集。多个路径规则或多个路径规则集可以反映执行每个路径规则的设备的种类、版本、类型或特性。
根据实施例，DM模块2640可以确定NLU模块2620确定的用户意图是否清楚。例如，DM模块2640可以基于是否有足够参数的信息来确定用户的意图是否清楚。DM模块2640可以确定NLU模块2620确定的参数是否足以执行任务。根据实施例，DM模块2640可以在用户的意图不清楚时执行反馈，该反馈请求来自用户的信息。例如，DM模块2640可以执行反馈，该反馈请求关于参数的信息以确定用户的意图。
根据实施例，DM模块2640可以包括内容提供器模块。当可以基于由NLU模块2620确定的意图和参数来执行操作时，内容提供器模块可以生成执行与用户输入相对应的任务的结果。根据实施例，DM模块2640可以响应于用户输入向用户终端2500发送由内容提供器模块生成的结果。
根据实施例，NLG模块2650可以将指定信息改变为文本形式。可以以自然语言话语的形式提供改变为文本形式的信息。改变为文本形式的指定信息可以是例如关于附加输入的信息、用于指导完成与用户输入对应的操作的信息或者用于指导用户的其他输入的信息(例如，关于用户输入的反馈信息)。可以向用户终端2500发送改变为文本形式的信息以将其显示在显示器2520上，或者可以向TTS模块2660发送改变为文本形式的信息以将其改变为语音形式。
根据实施例，TTS模块2660可以将文本形式的信息改变为语音形式的信息。TTL模块2660可以从NLG模块2650接收文本形式的信息，可以将文本形式的信息转换为语音形式的信息，并且可以向用户终端2500发送结果信息。用户终端2500可以向扬声器2530输出语音形式的信息。
根据实施例，NLU模块2620、路径规划器模块2630和DM模块2640可以被实现为单个模块。例如，NLU模块2620、路径规划器模块2630和DM模块2640可以被实现为单个模块以确定用户的意图和参数，并且可以生成与所确定的用户意图和参数相对应的响应(例如，路径规则)。因此，可以向用户终端2500发送所生成的响应。
图29是示出根据本公开的实施例的生成路径规划器模块的路径规则的方法的视图。
参考图29，根据实施例的NLU模块2620可以将应用的功能划分为单元操作(A至F)，并且可以将它们存储于PR DB 2631。例如，NLU模块2620可以存储路径规则集，该路径规则集包括PR DB 2631中的分成单元操作的多个路径规则A-B1-C1、A-B1-C2、A-B1-C3-D-F和A-B1-C3-D-E-F。
根据实施例，路径规划器模块2630的PR DB 2631可以存储用于执行应用的功能的路径规则集。路径规则集可以包括多个路径规则(包括多个操作)。可以根据输入到多个操作中的每个操作的参数来顺序地布置多个路径规则。根据实施例，多个路径规则可以以本体或图形模型的形式配置以存储于PR DB 2631。
根据实施例，NLU模块2620可以在多个路径规则A-B1-C1、A-B1-C2、A-B1-C3-D-F和A-B1-C3-D-E-F中选择与用户输入的意图和参数相对应的最优路径规则A-B1-C3-D-F。
根据实施例，当没有与用户输入完全匹配的路径规则时，NLU模块2620可以向用户终端2500发送多个规则。例如，NLU模块2620可以选择与用户输入部分对应的路径规则(例如，A-B1)。NLU模块2620可以选择包括与用户输入部分对应的路径规则(例如，A-B1)的一个或更多个路径规则(例如，A-B1-C1、A-B1-C2、A-B1-C3-D-F和A-B1-C3-D-E-F)，并且可以向用户终端发送所选择的路径规则。
根据实施例，NLU模块2620可以基于对用户终端2500的额外输入来选择多个路径规则中的一个，并且可以向用户终端2500发送所选择的一个路径规则。例如，NLU模块2620可以根据另外输入到用户终端2500的用户输入(例如，选择C3的输入)在多个路径规则(例如，A-B1-C1、A-B1-C2、A-B1-C3-D-F和A-B1-C3-D-E-F)中选择一个路径规则(例如，A-B1-C3-D-F)，并且可以向用户终端2500发送所选择的路径规则。
根据又一实施例，NLU模块2620可以通过NLU模块2620确定与另外输入到用户终端2500的用户输入(例如，选择C3的输入)相对应的用户意图或参数，并且可以向用户终端2500发送所确定的用户的意图或参数。用户终端2500可以基于发送的意图或参数在多个路径规则(例如，A-B1-C1、A-B1-C2、A-B1-C3-D-F以及A-B1-C3-D-E-F)中选择一个路径规则(例如，A-B1-C3-D-F)。
因此，用户终端2500可以通过所选择的一个路径规则来完成应用2541和2543的操作。
根据实施例，当智能服务器2600接收到缺少信息的用户输入时，NLU模块2620可以生成与所接收的用户输入部分对应的路径规则。例如，NLU模块2620可以向智能代理2551发送①部分对应的路径规则。智能代理2551可以向执行管理器模块2553发送②部分对应的路径规则，并且执行管理器模块2553可以根据路径规则执行第一应用2541。执行管理器模块2553可以在执行第一应用2541的同时向智能代理2551发送③关于不充分参数的信息。智能代理2551可以使用关于不充分参数的信息来请求来自用户的附加输入。当用户接收到④附加输入时，智能代理2551可以向到智能服务器2600发送所接收的附加输入并处理所接收的附加输入。NLU模块2620可以生成基于关于附加输入的用户输入的意图和参数的信息添加的路径规则，并且可以向智能代理2551发送⑤所生成的路径规则。智能代理2551可以向执行管理器模块2553发送路径规则⑥以执行第二应用2543。
根据实施例，当在智能服务器2600处接收到缺少某些信息的用户输入时，NLU模块2620可以向个性化信息服务器2700发送用户信息请求。个性化信息服务器2700可以向NLU模块2620发送输入角色数据库中存储的用户输入的信息。NLU模块2620可以使用用户信息来选择与缺少某些操作的用户输入相对应的路径规则。因此，即使在智能服务器2600处接收到缺少某些信息的用户输入，NLU模块2620也可以请求缺失信息以接收进一步的输入，或者可以使用该用户信息来确定与用户输入相对应的路径规则。
图30是示出根据本公开的实施例的处理器的情景模块收集当前状态的情况的视图。
参考图30，当从智能代理2551接收①情景请求时，情景模块2555a可以从应用2541和2543请求②指示应用2541和2543的当前状态的情景信息。根据实施例，情景模块2555a可以从应用2541和2543接收③情景信息，并且可以向智能代理2551发送④所接收的情景信息。
根据实施例，情景模块2555a可以通过应用2541和2543接收多条情景信息。例如，情景信息可以是关于最近执行的应用2541和2543的信息。以另一示例的方式，情景信息可以是关于应用2541和2543的当前状态的信息(例如，当在图库中查看照片时关于照片的信息)。
根据实施例，情景模块2555a可以从设备平台以及应用2541和2543接收指示用户终端2500的当前状态的情景信息。情景信息可以包括一般情景信息、用户情景信息或设备情景信息。
例如，一般情景信息可以包括电子设备2500的一般情景信息。可以通过内部算法通过设备平台的传感器集线器接收数据来确认一般情景信息。例如，一般情景信息可以包括关于当前时间和空间的信息。关于当前时间和空间的信息可以包括例如关于用户终端2500的当前时间和当前位置的信息。可以通过用户终端2500的时间确认当前时间，并且可以通过GPS确认关于当前位置的信息。通过另一示例的方式，一般情景信息可以包括关于物理运动的信息。关于物理运动的信息可以包括例如关于步行、跑步、驾驶等的信息。可以通过运动传感器确认关于物理运动的信息。可以通过运动传感器确认关于驾驶的信息，并且可以通过感测车辆中的蓝牙连接来确认乘车和停车。通过另一示例的方式，一般情景信息可以包括用户活动信息。用户活动信息可以包括例如关于通勤、购物、旅行等的信息。可以使用关于由应用在数据库中注册的用户或地点的信息来确认用户活动信息。
用户情景信息可以包括关于用户的信息。例如，用户情景信息可以包括关于用户的情绪状态的信息。关于情绪状态的信息可以包括例如关于用户的快乐、悲伤、愤怒等的信息。通过另一示例的方式，用户情景信息可以包括关于用户的当前状态的信息。关于当前状态的信息可以包括关于例如兴趣、意图(例如，购物)等的信息。
设备情景信息可以包括关于用户终端2500的状态的信息。例如，设备情景信息可以包括关于由执行管理器模块2553执行的路径规则的信息。通过另一示例的方式，设备信息可以包括关于电池的信息。可以通过例如电池的充电和放电状态来确认关于电池的信息。通过另一示例的方式，设备信息可以包括关于连接的设备和网络的信息。可以例如通过设备所连接的通信接口来确认关于所连接的设备的信息。
图31是示出根据本公开的实施例的角色模块管理用户信息的情况的视图。
参考图31，角色模块2555b可以从应用2541和2543、执行管理器模块2553或情景模块2555a接收用户终端2500的信息。应用2541和2543以及执行管理器模块2553可以将关于通过执行应用2541b和2543b的操作而获得的结果的信息存储在操作日志数据库中。情景模块2555a可以将关于用户终端2500的当前状态的信息存储在情景数据库中。角色模块2555b可以从操作日志数据库或情景数据库接收存储的信息。可以由例如分析引擎分析操作日志数据库和情景数据库中存储的数据，并且可以向角色模块2555b发送存储的数据。
根据实施例，角色模块2555b可以向建议模块2555c发送从应用2541和2543、执行管理器模块2553或情景模块2555a接收的信息。例如，角色模块2555b可以向建议模块2555c发送在操作日志数据库或情景数据库中存储的数据。
根据实施例，角色模块2555b可以向个性化信息服务器2700发送从应用2541和2543、执行管理器模块2553或情景模块2555a接收的信息。例如，角色模块2555b可以周期性地向个性化信息服务器2700发送在操作日志数据库或情景数据库中累积并存储的数据。
根据实施例，角色模块2555b可以向建议模块2555c发送在操作日志数据库或情景数据库中存储的数据。由角色模块2555b生成的用户信息可以存储在角色数据库中。角色模块2555b可以周期性地向个性化信息服务器2700发送角色数据库中存储的用户信息。根据实施例，由角色模块2555b向个性化信息服务器2700发送的信息可以存储在角色数据库中。个性化信息服务器2700可以使用角色数据库中存储的信息来推理用于生成智能服务器2600的路径规则的用户信息。
根据实施例，使用由角色模块2555b发送的信息推理的用户信息可以包括简档信息或偏好信息。可以通过用户的帐户和累积的信息来推理简档信息或偏好信息。
简档信息可以包括用户的个人信息。例如，简档信息可以包括用户的人口统计学信息。人口统计学信息可以包括例如用户的性别和年龄等。通过另一示例的方式，简档信息可以包括生活事件信息。可以通过将日志信息与生活事件模型进行比较来推理生活事件信息，并且可以通过分析行为模式来加强生活事件信息。通过另一示例的方式，简档信息可以包括感兴趣信息。感兴趣信息可以包括例如感兴趣的购物项目、感兴趣的区域(例如，体育，政治等)。通过另一示例的方式，简档信息可以包括活动区域信息。活动区域信息可以包括关于例如家庭和工作场所等的信息。活动区域信息可以包括关于基于累积停留时间和访问频率记录优先级的位置的信息，以及关于该地点的位置的信息。通过另一示例的方式，简档信息可以包括活动时间信息。活动时间信息可以包括关于例如唤醒时间、通勤时间、睡眠时间等的信息。可以使用活动区域信息(例如，关于家庭和工作场所的信息)来推理关于通勤时间的信息。可以通过用户终端2500的未使用时间来推理关于睡眠时间的信息。
偏好信息可以包括用户偏好信息。例如，偏好信息可以包括关于应用偏好的信息。可以例如通过应用的使用历史(例如，每个时间和地点的使用历史)来推理应用偏好。应用偏好可以根据用户的当前状态(例如，时间和地点)用于确定待执行的应用。在另一示例中，偏好信息可以包括关于联系人偏好的信息。可以通过分析联系人的联系频率(例如，每个时间或地点的联系频率)来推理联系人偏好。联系人偏好可以用于根据用户的当前状态确定要联系的联系人(例如，重复姓名的联系人)。在另一示例中，偏好信息可以包括设置信息。可以通过分析关于特定设置值的设置频率的信息(例如，为每个时间或地点的设置值的设置频率)来推理设置信息。设置信息可以用于根据用户的当前状态(例如，时间、地点或场合)设置特定设置值。在另一示例中，偏好信息可以包括位置偏好。可以例如通过特定地点的访问历史(例如，每个地点的访问历史)来推理地点偏好。位置偏好可以用于根据用户的当前状态(例如，时间)确定访问位置。在另一示例中，偏好信息可以包括命令偏好。可以通过例如命令使用频率(例如，每个时间和地点的使用频率)来推理命令偏好。命令偏好可以用于根据用户的当前状态(例如，时间和位置)确定要使用的命令模式。具体地，命令偏好可以包括关于用户在通过分析日志信息而执行的应用的当前状态中最频繁选择的菜单的信息。
图32是示出根据本公开的实施例的建议模块的框图。
参考图32，建议模块2555c可以包括提示提供模块2555c_1、情景提示生成模块2555c_2、条件检查模块2555c_3、条件模型模块2555c_4、重用提示生成模块2555c_5或介绍提示生成模块2555c_6。
根据实施例，提示提供模块2555c_1可以向用户提供提示。例如，提示提供模块2555c_1可以接收从情景提示生成模块2555c_2、重用提示生成模块2555c_5或介绍提示生成模块2555c_6生成的提示，以向用户提供所生成的提示。
根据实施例，情景提示生成模块2555c_2可以通过条件检查模块2555c_3或条件模型模块2555c_4生成可以根据当前状态推荐的提示。条件检查模块2555c_3可以通过智能服务模块2555接收与当前状态对应的信息，并且条件模型模块2555c_4可以使用接收到的信息来设置条件模型。例如，条件模型模块2555c_4可以在向用户提供提示时确定使用的时间、位置、场合和应用，并且可以按优先级降序向用户提供极有可能在相应条件下使用的提示。
根据实施例，重用提示生成模块2555c_5可以根据当前状态生成可以考虑使用频率而推荐的提示。例如，重用提示生成模块2555c_5可以考虑用户的使用模式来生成提示。
根据实施例，介绍提示生成模块2555c_6可以生成提示以向用户介绍新功能或另一用户经常使用的功能。例如，介绍新功能的提示可以包括对智能代理2551的介绍(例如，操作方法)。
根据另一实施例，建议模块2555c的情景提示生成模块2555c_2、条件检查模块2555c_3、条件模型模块2555c_4、重用提示生成模块2555c_5或介绍提示生成模块2555c_6可以包括在个性化信息服务器2700中。例如，建议模块2555c的提示提供模块2555c_1可以从用户个性化信息服务器2700的情景提示生成模块2555c_2、重用提示生成模块2555c_5或介绍提示生成模块2555c_6接收提示，并且可以提供收到的提示给用户。
根据实施例，用户终端2500可以根据以下处理顺序来提供提示。例如，当从智能代理2551接收到①提示提供请求时，提示提供模块2555c_1可以向情景提示生成模块2555c_2发送②提示生成请求。当接收到提示生成请求时，情景提示生成模块2555c_2可以使用③条件检查模块2555c_3以从情景模块2555a和角色模块2555b接收④与当前状态对应的信息。条件检查模块2555c_3可以向条件模型模块2555c_4发送⑤所接收的信息，并且条件模型模块2555c_4可以在向使用信息的用户提供的提示中，以相应条件下可用性下降的顺序来向提示分配优先级。情景提示生成模块2555c_2可以确认⑥条件并且可以生成与当前状态相对应的提示。情景提示生成模块2555c_2可以向提示提供模块2555c_1发送⑦所生成的提示。提示提供模块2555c_1可以根据指定的规则排列提示，并且可以向智能代理2551发送⑧提示。
根据实施例，提示提供模块2555c_1可以生成多个情景提示，并且可以根据指定的规则将优先级分配给多个情景提示。根据实施例，提示提供模块2555c_1可以首先向用户提供多个情景提示中具有较高优先级的情景提示。
根据实施例，用户终端2500可以根据使用频率建议提示。例如，当从智能代理2551接收到①提示请求时，提示提供模块2555c_1可以向重用提示生成模块2555c_5发送②提示生成请求。当接收到提示生成请求时，重用提示生成模块2555c_5可以从角色模块2555b接收③用户信息。例如，重用提示生成模块2555c_5可以接收角色模块2555b的用户偏好信息中包括的路径规则、路径规则中包括的参数、应用的执行频率以及使用应用的时间和空间信息。重用提示生成模块2555c_5可以生成与所接收的用户信息相对应的提示。重用提示生成模块2555c_5可以向提示提供模块2555c_1发送④所生成的提示。提示提供模块2555c_1可以排列提示，并且可以向智能代理2551发送⑤提示。
根据实施例，用户终端2500可以为新功能建议提示。例如，当从智能代理2551接收到①提示提供请求时，提示提供模块2555c_1可以向介绍提示生成模块2555c_6发送②提示提供请求。介绍提示生成模块2555c_6可以向建议服务器2800发送③介绍提示提供请求，以接收④待从建议服务器2800介绍的功能有关的信息。例如，建议服务器2800可以存储关于待介绍的功能的信息，并且可以由服务运营商更新待介绍的功能的提示列表。介绍提示生成模块2555c_6可以向提示提供模块2555c_1发送⑤所生成的提示。提示提供模块2555c_1可以排列提示，并且可以向智能代理2551发送⑥所排列的提示。
因此，建议模块2555c可以向用户提供在情景提示生成模块2555c_2、重用提示生成模块2555c_5或介绍提示生成模块2555c_6中生成的提示。例如，建议模块2555c可以在操作智能代理2551的应用中显示所生成的提示，并且可以通过应用从用户接收用于选择提示的输入。
图33是示出根据本公开的实施例的电子设备提供提示的示例的视图。
参考图33，当接收到来电时，电子设备可以根据上述实施例提供与来电的接收相对应的提示。例如，可以在电子设备的屏幕上显示作为弹出窗口3301的提示，该弹出窗口3301包括引导用户输入的信息，例如，在按下按钮时说“在Hi Bixby免提电话上接听电话”或者在免提电话上说“接听电话”。例如，当用户在触摸按钮3303时说“在Hi Bixby免提电话上接听电话”或说“接听电话”时，可以执行电子设备的免提电话功能。
图34是示出根据各种实施例的用于执行电子设备(例如，用户终端2500)的功能的系统的视图。
参考图34，当接收用户的话语输入或文本输入时，电子设备3401可以通过智能代理3405(例如，智能代理2551)向服务器3411(例如，智能服务器2600)发送相应的语音或文本。
根据实施例，当从电子设备3401接收语音时，服务器3411的ASR模块3413(例如，ASR模块2610)可以将接收的语音转换为文本数据，并且NLU模块3415(例如，NLU模块2620)可以确定如何处理转换的文本数据。例如，NLU模块3415可以通过根据文本数据的内容执行句法分析或语义分析来确定用户的意图。例如，NLU模块3415可以使用划分为域、意图和用于确定意图的参数(或时隙)的匹配规则来确定用户的意图和参数。响应生成器3419可以基于NLU模块3415的分析结果生成与从电子设备3401接收的语音相对应的响应，并且可以向电子设备3401的智能代理3405发送所生成的响应。例如，响应生成器3419的内容提供模块3425可以基于由NLU模块3415确定的意图和参数来生成通过执行与用户输入相对应的任务而获得的结果。例如，响应生成器3419的路径规划器模块3427(例如，路径规划器模块2630)可以基于由NLU模块3415确定的意图和参数来生成与用户输入相对应的路径规则。
根据实施例，当从电子设备3401接收文本数据时，服务器3411的NLU模块3415可以确定如何处理文本数据。例如，NLU模块3415可以使用划分为域、意图、用于确定意图的参数(或时隙)的匹配规则来确定用户的意图和参数。响应生成器3419可以基于NLU模块3415的分析结果生成与从电子设备3401接收的文本数据相对应的响应，并且可以向电子设备3401的智能代理3405发送所生成的响应。例如，响应生成器3419的内容提供模块3425可以基于由NLU模块3415确定的意图和参数来生成通过执行与用户输入相对应的任务而获得的结果。例如，响应生成器3419的路径规划器模块3427可以基于由NLU模块3415确定的意图和参数来生成与用户输入相对应的路径规则。
智能代理3405可以向执行管理器模块3407(例如，执行管理器模块2553)发送从响应生成器3419接收的响应，以基于所接收的响应来执行与话语相对应的功能(也称为任务)。例如，执行管理器模块3407可以基于所接收的响应顺序地执行与应用3409(称为应用，例如，第一应用2541或第二应用2543)中的话语相对应的操作。当完全执行操作时，智能代理3405可以生成操作完成消息，并向NLG模块3421(例如，NLG模块2650)发送该操作完成消息。NLG模块3421可以生成适合于场合的反馈，并且可以向TTS模块3423(例如，TTS模块2660)发送所生成的反馈。接下来，TTS模块3423可以针对所接收的反馈向智能代理3405发送语音数据。电子设备3401可以以语音和/或文本的形式向用户提供从TTS模块3423接收的反馈的语音数据。
根据实施例，电子设备3401可以包括客户端内容提供器3403(以下称为客户端CP)。客户端CP 3403可以作为电子设备3401中的单独模块存在，并且可以包括在智能代理3405中。客户端CP 3403可以包括用于存储与用户生成的宏相关联的数据的数据库，并且可以与服务器3411中的个人语言模型(PLM)模块3417实时同步。
例如，宏可以是被映射到用于执行电子设备的任何一个功能的代表性对话以执行该功能的命令快捷方式。
例如，包括在客户端CP 3403中的数据库可以存储至少一个命令快捷方式和映射到命令快捷方式的至少一个代表性对话。例如，数据库可以以表格的形式存储至少一个命令快捷方式和映射到命令快捷方式的至少一个代表性对话。例如，命令快捷方式可以是用户预设的命令，并且可以存储为文本数据。例如，代表性对话可以对应于路径规则，该路径规则包括用于执行电子设备的任何一个功能(称为任务)的电子设备的状态序列的信息。代表性对话可以是用于执行电子设备的任何一个功能的自然语言，并且可以存储为文本数据。代表性对话可以对应于上述提示，并且可以是指示用户要输入的语音的文本数据，使得可以通过语音输入来执行电子设备的操作。此外，代表性对话可以包括与相应功能相关的术语，并且可以改变代表性对话中包括的参数。
例如，PLM模块3417(例如，ASR DB 2611)可以存储用户和/或电子设备3401的个性化话语信息，并且PLM模块3417和命令快捷方式可以在用户注册、修改和删除命令快捷方式的宏时与客户端CP 3403实时同步。例如，与PLM模块3417的客户端CP 3403实时同步的命令快捷方式可以支持在操作ASR模块3413时改善性能。
图35是示出根据各种实施例的电子设备的用于执行功能的电子设备(例如，用户终端2500)的操作的流程图。参考图35，电子设备可以基于用户生成的宏来控制电子设备的功能执行。
在操作3510中，电子设备(例如，图26的处理器2550)可以接收用户输入。
根据实施例，用户输入可以是使用麦克风的语音输入和/或文本输入、触摸屏上的触摸、按钮(或键)上的用户操作和/或遥控器。例如，用户输入可以是被设置为宏以便执行电子设备的任何一个功能的命令快捷方式，或者可以是被设置为执行电子设备的任何一个功能的代表性对话。该功能可以包括至少一个单元操作。
根据实施例，电子设备可以通过触摸屏和/或扬声器提供提示，使得用户可以精确地选择要由电子设备执行的功能。例如，提示可以是以文本和/或语音的形式提供以执行电子设备的特定功能的代表性对话。例如，为了执行电子设备的特定功能，用户可以基于提示执行用户输入，例如，说出作为代表性话语的提示、触摸提示、输入对应于提示的文本等。
例如，可以准备提示以预测用户的意图并更顺利地执行用户命令。该提示可用于在用户可以执行的所有命令中考虑用户的当前状态来推荐用户定制的命令。用户的当前状态可以包括时间、地点和/或场合信息(TPO)，并且可以包括当前在电子设备中执行的应用的类型。
例如，提示可以是具有介绍新功能的目的的介绍提示、考虑用户的TPO的情景信息提示或者用于建议用户经常使用的功能的重用提示。
在上述实施例中已经详细描述了用于产生提示的电子设备的操作，因此将省略其进一步的描述。
在操作3520中，电子设备(例如，图26的处理器2550)可以基于与用户输入相对应的文本来确认代表性对话。
根据实施例，当用户输入是语音输入时，电子设备可以向服务器发送语音输入，已经接收到语音输入的服务器可以使用自动语音识别(ARS)技术将语音输入转换为文本数据并且然后向电子设备发送转换后的文本数据。电子设备可以选择映射到数据库中的转换后的文本数据的代表性对话。
根据实施例，当用户输入是文本输入时，电子设备可以选择映射到在数据库中输入的文本数据的代表性对话。
根据实施例，数据库可以在电子设备中，并且数据库可以存储至少一个命令快捷方式和映射到命令快捷方式的至少一个代表性对话。例如，数据库可以包括在客户端CP(例如，客户端CP 3403)中。数据库可以以表格的形式存储至少一个命令快捷方式和映射到命令快捷方式的至少一个代表性对话。命令快捷方式可以是用户预设的命令，并且可以存储为文本数据。代表性对话可以是用于执行电子设备的特定功能的自然语言，并且可以存储为文本数据。另外，代表性对话可以包括与功能相关的术语。
在操作3530中，电子设备(例如，图26的处理器2550)可以使用基于代表性对话确定的路径规则来执行与用户输入相对应的功能的操作。
根据实施例，电子设备可以向服务器(例如，智能服务器2600)发送代表性对话。服务器可以使用代表性对话确定用于执行与代表性对话相对应的功能的路径规则，并且可以向电子设备发送确定的路径规则。例如，路径规则可以是电子设备将应用的功能划分为单元操作。例如，服务器可以确认与代表性对话相对应的预设路径规则。以另一示例的方式，服务器可以生成与代表性对话相对应的路径规则，服务器包括NLU模块(例如，NLU模块2620)和路径规划器模块(例如，路径规划器模块2630)。由于在上述实施例中已经描述了用于生成(提取)路径规则的详细操作，因此省略其详细描述。
电子设备可以基于路径规则执行与路径规则相对应的操作。
图36是示出根据各种实施例的用于执行电子设备(例如，用户终端2500)功能的宏设置操作的流程图。
根据实施例，电子设备的用户可以说出与提示相对应的整个对话，使得电子设备执行与提示相对应的功能。然而，参考图36，通过执行被指定为与对话相对应的一些字或句子的话语输入或执行触摸输入，电子设备可以执行与提示相对应的功能。例如，电子设备可以提供能够将与用于执行电子设备的任何一个功能的路径规则相对应的提示(下文中，也称为代表性对话)改变为由用户指定的短句子的宏功能。例如，电子设备可以将一些字或句子设置为执行电子设备的任何一个功能的宏。例如，电子设备可以将一些字或句子设置为与代表性对话匹配，该代表性对话被设置为执行电子设备的任何一个功能。
在操作3610中，电子设备(例如，图26的处理器2550)可以接收用于宏注册、修改或删除的用户输入。
根据实施例，可以以各种形式之一接收用户输入，例如，通过使用麦克风的语音输入、触摸屏上的触摸输入、用户对按钮(或键)的操纵和/或使用遥控器的输入。
在操作3630中，电子设备(例如，图26的处理器2550)可以基于用户输入将宏存储在数据库中、修改数据库中存储的宏或者删除数据库中存储的宏。
根据实施例，当接收用于宏注册的用户输入时，电子设备可以在数据库中存储用户期望的命令快捷方式和用于执行相应功能的代表性对话。例如，电子设备可以提取与电子设备执行的功能相关联的代表性对话，并且可以将代表性对话与命令快捷方式匹配，以将映射的信息与命令快捷方式一起存储在数据库中。可以根据用户输入来设置命令快捷方式，并且可以以语音数据或文本数据的形式存储该命令快捷方式。代表性对话可以是上述实施例中的提示的内容，或者是与路径规则(包括电子设备的状态序列信息)映射的提示的内容。
根据实施例，电子设备可以使得命令快捷方式能够被修改或被删除。例如，电子设备可以接收用户输入，并且可以修改命令快捷方式以修改宏或删除命令快捷方式以删除宏。
根据实施例，电子设备可以生成用户经常使用的功能的命令快捷方式，并且可以将所生成的命令快捷方式存储在数据库中。
根据实施例，数据库可以包括在电子设备中。
在操作3650中，电子设备(例如，图26的处理器2550)可以与服务器(例如，智能服务器2600或智能服务器的ASR DB 2611)实时同步文本数据(即，宏的注册、修改或删除产生的与宏相对应的文本数据)。
根据实施例，电子设备可以使电子设备的数据库中存储的命令快捷方式与电子设备通信的服务器实时同步，使得当用户说出相应的命令快捷方式或执行触摸输入时可以改进服务器的识别性能。
图37A和图37B是示出根据各种实施例的用于执行电子设备(例如，用户终端2500)功能的操作的流程图。
参考图37A和图37B，电子设备可以存储被设置为执行电子设备的任何一个功能的代表性对话和与代表性对话映射的命令快捷方式。代表性对话可以与包括电子设备的状态序列信息的路径规则相对应。当接收到用户输入时，电子设备可以确认用户输入是否是设置为宏的命令快捷方式，并且可以通过与服务器的通信来执行与命令快捷方式相对应的功能。
在操作3710中，电子设备3701(例如，图26的处理器2550)可以接收用户输入。
根据实施例，用户输入可以是使用麦克风的语音输入和/或文本输入、触摸屏上的触摸、按钮(或键)上的用户操作和/或遥控器。
在操作3715中，电子设备3701(例如，图26的处理器2550)可以确定所接收的用户输入是否与预先存储的命令快捷方式对应。当在操作3715确定所接收的用户输入与预先存储的命令快捷方式对应时，电子设备3701可以执行操作3720，否则，电子设备3701可以执行操作3745。
根据实施例，电子设备可以确认用户输入是否是将用户输入设置为宏的命令快捷方式。可以将命令快捷方式预先存储在电子设备的数据库中。例如，命令快捷方式可以与请求执行电子设备的任何一个功能(任务)的代表对话一起映射，并且可以与代表性对话一起预先存储在数据库中。例如，代表性对话可以被映射到路径规则，该路径规则包括用于执行功能的电子设备的状态序列的信息。例如，当用户输入是语音输入时，可以确认与语音输入对应的文本数据是否与预先存储的命令快捷方式对应。例如，当用户输入是文本输入时，可以确认文本输入是否与预先存储的命令快捷方式对应。
在操作3720中，电子设备(例如，图26的处理器2550)可以确认与命令快捷方式对应的代表性对话。
根据实施例，在“音乐提示”被预设并存储为命令快捷方式的情况下，该命令快捷方式被映射为“在音乐播放器中播放实时流行图表”，其是电子设备的执行音乐播放器中的实时流行图表的代表性对话；当通过用户的文本或语音输入接收“音乐提示”时，电子设备可以确定所接收的用户输入与预先存储的命令快捷方式对应，并且可以确认“播放音乐播放器中的实时流行图表”(即与“音乐提示”对应的代表性对话)。
在操作3725中，电子设备3701(例如，图26的处理器2550)可以向服务器3703(例如，智能服务器2600)发送代表性对话。
根据实施例，电子设备3701可以使用无线通信电路向服务器3703发送代表性对话。
在操作3730中，服务器3703(例如，智能服务器2600)可以提取与代表性对话相对应的路径规则。
根据实施例，服务器3703可以确认与代表性对话相对应的预设路径规则。
根据另一实施例，服务器3703可以包括NLU模块(例如，NLU模块2620)和路径规划器模块(例如，路径规划器模块2630)，以生成与代表性对话相对应的路径规则。由于在上述实施例中已经描述了用于生成(提取)路径规则的详细操作，因此省略其详细描述。
在操作3735中，服务器3703(例如，智能服务器2600)可以向电子设备3701发送提取的路径规则。
根据实施例，服务器3703可以使用无线通信电路向电子设备3701发送路径规则。
在操作3740中，电子设备(例如，图26的处理器2550)可以执行与路径规则对应的操作。
根据实施例，电子设备3701可以包括执行管理器模块(例如，执行管理器模块2553)以执行与路径规则相对应的操作。
在操作3745中，电子设备3701(例如，图26的处理器2550)可以向服务器3703(例如，智能服务器2600)发送用户输入。
根据实施例，电子设备3701可以使用无线通信电路向服务器3703发送用户输入。
根据实施例，在“音乐提示”被预设并存储为命令快捷方式的情况下，该命令快捷方式被映射为“在音乐播放器中播放实时流行图表”，其是电子设备的执行音乐播放器中的实时流行图表的代表性对话；当通过用户的文本或语音输入接收“播放音乐播放器中的的实时流行图表”时，电子设备可以确定所接收的用户输入与预先存储的命令快捷方式不对应，并且可以向服务器发送文本或语音输入。
在操作3750中，服务器3703(例如，智能服务器2600)可以通过使用用户输入来提取路径规则。
根据实施例，用户输入可以与代表性对话相对应，并且服务器3703可以确认与代表性对话相对应的预设路径规则。
根据另一实施例，服务器3703可以包括NLU模块(例如，NLU模块2620)和路径规划器模块(例如，路径规划器模块2630)，以生成与用户输入相对应的路径规则。由于在上述实施例中已经描述了用于生成(提取)路径规则的详细操作，因此省略其详细描述。
在操作3750之后，服务器3703(例如，智能服务器2600)可以执行上述操作3735。
图38是示出根据各种实施例的用于执行电子设备(例如，用户终端2500)的功能的操作的流程图。
参考图38，服务器可以存储被设置为用于执行电子设备的任何一个功能的代表性对话和映射到代表性对话的命令快捷方式，并且代表性对话可以与包括电子设备的状态序列信息的路径规则对应。已经从电子设备接收用户输入的服务器可以确认用户输入是否是被设备为宏的命令快捷方式，并且可以向电子设备发送与命令快捷方式对应的路径规则。
在操作3810中，电子设备3801(例如，图26的处理器2550)可以接收用户输入。
根据实施例，用户输入可以是使用麦克风的语音输入和/或文本输入、触摸屏上的触摸、用户在按钮(或键)上的操纵和/或遥控器。
在操作3815中，电子设备3701(例如，图26的处理器2550)可以向服务器3803(例如，智能服务器2600)发送用户输入。
根据实施例，电子设备3801可以通过使用无线通信电路向服务器3803发送个人信息。
在操作3820中，服务器3803(例如，智能服务器2600)可以确定用户输入是否与预先存储的命令快捷方式对应。
根据实施例，服务器可以确认存储具有宏功能的至少一个命令快捷方式和映射到命令快捷方式的至少一个代表性对话的数据库，以确定用户输入是否是为执行宏功能而存储的命令快捷方式。
当确定用户输入与预先存储的命令快捷方式对应时，服务器3803(例如，智能服务器2600)可以执行操作3825，否则，服务器3803可以执行操作3845。
在操作3825中，服务器3803(例如，智能服务器2600)可以确认与命令快捷方式对应的代表性对话。
根据实施例，在“音乐提示”是预设存储的与代表性对话(例如，用于在音乐播放器中执行实时流行图表的“播放音乐播放器中的实时流行图表”)映射的命令快捷方式的情况下，当用户提示为“音乐提示”时，服务器3803可以确定用户输入与预存储的命令快捷方式对应，并且可以确认“播放音乐播放器中的实时流行图表”是与“音乐提示”相对应的代表性对话。
在操作3830中，服务器3803(例如，智能服务器2600)可以通过使用代表性对话来提取路径规则。
根据实施例，服务器3803可以确认与代表性对话相对应的预设路径规则。
根据另一实施例，服务器3803可以包括NLU模块(例如，NLU模块2620)和路径规划器模块(例如，路径规划器模块2630)，以生成与代表性对话相对应的路径规则。由于在上述实施例中已经描述了用于生成(提取)路径规则的详细操作，因此省略其详细描述。
在操作3835中，服务器3803(例如，智能服务器2600)可以向电子设备3801(例如，图26的处理器2550)发送路径规则。
根据实施例，服务器3803可以使用无线通信电路向电子设备3801发送路径规则。
在操作3840中，电子设备3801(例如，图26的处理器2550)可以执行与路径规则对应的操作。
根据实施例，电子设备3801可以包括执行管理器模块(例如，执行管理器模块2553)以执行与路径规则相对应的操作。
在操作3845中，服务器3803(例如，智能服务器2600)可以通过使用用户输入来提取路径规则。
根据实施例，用户输入可以与代表性对话相对应，并且服务器3803可以检查与代表性对话相对应的预设路径规则。
根据另一实施例，服务器3803可以包括NLU模块(例如，NLU模块2620)和路径规划器模块(例如，路径规划器模块2630)，以生成与用户输入相对应的路径规则。由于在上述实施例中已经描述了用于生成(提取)路径规则的详细操作，因此省略其详细描述。
在操作3845之后，服务器3803(例如，智能服务器2600)可以执行上述操作3835。
图39是示出根据各种实施例的用于执行电子设备的功能的系统的视图。
参考图39，取决于用户输入，电子设备3901(例如，用户终端2500)可以通过使用单命令快捷方式对客户端CP 3903中宏进行注册、修改或删除以执行电子设备的任何一个功能。例如，客户端CP 3903可以包括数据库，并且电子设备可以注册、修改或删除数据库中的宏。客户端CP 3903和服务器3905(例如，智能服务器2600)可以实时同步，并且当在客户端CP 3903中注册、修改或删除宏时，可以与使用服务器3905的PLM模块3909同步具有宏功能的命令快捷方式。例如，当服务器3905的ASR模块3907(例如，ASR模块2610)将接收的话语内容转换为文本数据时，PLM模块3909可以通过提供命令快捷方式来改善ASR模块3907的操作性能。当由用户指定为宏的命令快捷方式是语音输入时，电子设备3901可以实时地与服务器3905的ASR模块3907通信，以将用户执行的话语内容确认为文本数据。例如，电子设备3901可以实时地与服务器3905的ASR模块3907通信，并且ASR模块3907可以实时地将接收的话语内容转换为文本数据，从而向电子设备3901发送文本数据。电子设备3901可以检查客户端CP3903中包括的数据库以确认与数据库中的文本数据相对应的命令快捷方式，并且可以确认映射到命令快捷方式的代表性对话。客户端CP 3903可以通过电子设备3901向服务器3905的NLU模块3911(例如，NLU模块2620)发送代表性对话，并且NLU模块3911可以确定如何处理代表性对话。例如，NLU模块3911可以执行句法分析或语义分析以根据文本数据的内容确定用户的意图。例如，NLU模块3911可以使用划分为域、意图和用于确定意图的参数(或时隙)的匹配规则来确定用户的意图和参数。服务器3905的路径规划器模块3913(也称为PP模块)(例如，路径规划器模块2630)可以基于由NLU模块3911确定的意图和参数来生成与用户输入相对应的路径规则。
根据图39的上述实施例，尽管已经将客户端CP 3903描述为与电子设备3901分离的配置，但是根据另一实施例，客户端CP 3903可以包括在电子设备3901中并且可以执行上述操作。
根据图39的上述实施例，已经描述了服务器3905包括ASR模块3907和PLM模块3909。然而，根据另一实施例，虽然未示出，但是电子设备3901包括ASR模块3907和PLM模块3909，使得可以在电子设备3091中执行ASR模块3907和PLM模块3909的操作。根据又一实施例，虽然未示出，但是电子设备3901可以包括ASR模块3907、PLM模块3909、NLU模块3911和PP模块3913的全部，以便可以在电子设备3091中执行ASR模块3907、PLM模块3909、NLU模块3911和PP模块3913的操作。
图40是示出根据各种实施例的用于执行电子设备(例如，用户终端2500)功能的操作的流程图。
参考图40，电子设备可以存储被设置为用于执行电子设备的任何一个功能的代表性对话和映射到代表性对话的命令快捷方式，并且代表性对话可以与包括电子设备的状态序列信息的路径规则对应。当从用户接收到与命令快捷方式对应的语音输入时，电子设备可以通过与服务器的通信来执行与命令快捷方式对应的功能。
在操作4005中，电子设备4001(例如，图26的处理器2550)可以从用户接收语音输入。
根据实施例，电子设备可以通过麦克风从用户接收语音输入。
在操作4007中，电子设备4001(例如，图26的处理器2550)可以向服务器4003(例如，智能服务器2600)发送所接收的语音输入。
根据实施例，电子设备4001可以通过无线通信电路向服务器4003发送语音输入。
在操作4009中，服务器4003(例如，智能服务器2600)可以确认与语音输入对应的文本数据。
根据实施例，服务器4003可以使用自动语音识别(ASR)技术将语音输入转换为文本数据。例如，服务器4003可以包括ASR模块(例如，ASR模块2610)以将语音输入转换为文本数据。
在操作4011中，服务器4003(例如，智能服务器2600)可以向电子设备4001(例如，图26的处理器2550)发送文本数据。
根据实施例，服务器4003可以通过无线通信电路向电子设备4001发送文本数据。
在操作4013中，电子设备4001(例如，图26的处理器2550)可以基于文本数据来确定语音输入是否与预先存储的命令快捷方式对应。
根据实施例，电子设备4001可以确认文本数据是否是被设为宏的命令快捷方式。可以将命令快捷方式预先存储在电子设备的数据库中。例如，命令快捷方式可以与请求执行电子设备的任何一个功能(任务)的代表对话一起映射，并且可以与代表性对话一起预先存储在数据库中。例如，代表性对话可以被映射到路径规则，该路径规则包括用于执行功能电子设备的状态序列的信息。
根据实施例，在操作4015中，当语音输入与预先存储的命令快捷方式对应时，电子设备4001(例如，图26的处理器2550)可以确认与命令快捷方式相对应的代表性对话。
在操作4017中，电子设备4001(例如，图26的处理器2550)可以向服务器4003(例如，智能服务器2600)发送所确认的代表性对话。
根据实施例，电子设备4001可以通过无线通信电路向服务器4003发送所确认的代表性对话。
在操作4019中，服务器4003(例如，智能服务器2600)可以通过使用代表性对话来提取路径规则。
根据实施例，服务器4003可以确认与代表性对话相对应的预设路径规则。
根据另一实施例，服务器4003可以包括NLU模块(例如，NLU模块2620)和路径规划器模块(例如，路径规划器模块2630)，以生成与代表性对话相对应的路径规则。由于在上述实施例中已经描述了用于生成(提取)路径规则的详细操作，因此省略其详细描述。
在操作4021中，服务器4003(例如，智能服务器2600)可以向电子设备4001(例如，图26的处理器2550)发送路径规则。
根据实施例，服务器4003可以通过无线通信电路向电子设备4001发送路径规则。
在操作4023中，电子设备4001(例如，图26的处理器2550)可以执行与路径规则对应的操作。
根据实施例，电子设备4001可以包括执行管理器模块(例如，执行管理器模块2553)以执行与路径规则相对应的操作。
图41是示出根据各种实施例的用于执行电子设备(例如，用户终端2500)的功能的操作的流程图。
参考图41，服务器可以存储被设置为用于执行电子设备的任何一个功能的代表性对话和映射到代表性对话的命令快捷方式，并且代表性对话可以与路径规则对应(包括电子设备的状态序列信息)。当从电子设备接收到与命令快捷方式对应的语音输入时，服务器可以提取与命令快捷方式对应的路径规则，以向电子设备发送提取的路径规则。
在操作4105中，电子设备4101(例如，图26的处理器2550)可以从用户接收语音输入。
根据实施例，电子设备可以通过麦克风从用户接收语音输入。
在操作4107中，电子设备4101(例如，图26的处理器2550)可以向服务器4103(例如，智能服务器2600)发送所接收的语音输入。
根据实施例，电子设备4101可以通过无线通信电路向服务器4103发送语音输入。
在操作4109中，服务器4103(例如，智能服务器2600)可以确认与语音输入对应的文本数据。
根据实施例，服务器4103可以使用ASR技术将语音输入转换为文本数据。例如，服务器4103可以包括ASR模块(例如，ASR模块2610)以将语音输入转换为文本数据。
在操作4111中，服务器4103(例如，智能服务器2600)可以基于文本数据来确定语音输入是否与预先存储的命令快捷方式对应。
根据实施例，服务器4103可以确定语音输入是否是被设为宏的命令快捷方式。可以将命令快捷方式预先存储在服务器的数据库中。例如，命令快捷方式可以与请求执行电子设备的任何一个功能(任务)的代表行对话一起映射，并且可以与代表性对话一起预先存储在数据库中。例如，代表性对话可以被映射到路径规则，该路径规则包括用于执行功能的电子设备的状态序列的信息(用于执行功能)。
根据实施例，在操作4113中，当语音输入与预先存储的命令快捷方式对应时，服务器4103(例如，智能服务器2600)可以确认与命令快捷方式相对应的代表性对话。
在操作4115中，服务器4103(例如，智能服务器2600)可以通过使用代表性对话来提取路径规则。
根据实施例，服务器4103可以确认与代表性对话相对应的预设路径规则。
根据另一实施例，服务器4103可以包括NLU模块(例如，NLU模块2620)和路径规划器模块(例如，路径规划器模块2630)，以生成与代表性对话相对应的路径规则。由于在上述实施例中已经描述了用于生成(提取)路径规则的详细操作，因此省略其详细描述。
在操作4117中，服务器4103(例如，智能服务器2600)可以向电子设备4101(例如，图26的处理器2550)发送路径规则。
根据实施例，服务器4103可以通过无线通信电路向电子设备4101发送路径规则。
在操作4119中，电子设备4101(例如，图26的处理器2550)可以执行与路径规则对应的操作。
根据实施例，电子设备4101可以包括执行管理器模块(例如，执行管理器模块2553)以执行与路径规则相对应的操作。
图42是示出根据各种实施例的用于执行电子设备(例如，用户终端2500)功能的操作的流程图。
参考图42，电子设备可以存储被设置为用于执行电子设备的任何一个功能的代表性对话和映射到代表性对话的命令快捷方式，并且代表性对话可以与包括电子设备的状态序列信息的路径规则对应。当从用户接收命令快捷方式作为与命令快捷方式对应的文本输入时，电子设备可以通过与服务器的通信来执行与命令快捷方式对应的功能。
在操作4205中，电子设备4201(例如，图26的处理器2550)可以从用户接收文本输入。
根据实施例，电子设备可以通过触摸屏显示器从用户接收文本输入。
在操作4207中，电子设备4201(例如，图26的处理器2550)可以确定文本输入是否与预先存储的命令快捷方式对应。
根据实施例，电子设备4201可以确定文本输入是否是被设为宏的命令快捷方式。命令快捷方式可以预先存储在电子设备的数据库中。例如，命令快捷方式可以与请求执行电子设备的功能(任务)的代表兴对话一起映射，并且可以与代表性对话一起预先存储在数据库中。例如，代表性对话可以与路径规则映射，该路径规则包括用于执行功能的电子设备的状态序列的信息。
根据实施例，在操作4209中，当本文输入与预先存储的命令快捷方式对应时，电子设备4201可以确认与命令快捷方式相对应的代表性对话。
在操作4211中，电子设备4201(例如，图26的处理器2550)可以向服务器4203(例如，智能服务器2600)发送所确认的代表性对话。
根据实施例，电子设备4201可以通过无线通信电路向服务器4203发送代表性对话。
在操作4213中，服务器4203(例如，智能服务器2600)可以通过使用代表性对话来提取路径规则。
根据实施例，服务器4203可以确认与代表性对话相对应的预设路径规则。
根据另一实施例，服务器4203可以包括NLU模块(例如，NLU模块2620)和路径规划器模块(例如，路径规划器模块2630)，以生成与代表性对话相对应的路径规则。由于在上述实施例中已经描述了用于生成(提取)路径规则的详细操作，因此省略其详细描述。
在操作4215中，服务器4203(例如，智能服务器2600)可以向电子设备4201(例如，图26的处理器2550)发送路径规则。
根据实施例，服务器4203可以通过无线通信电路向电子设备4201发送路径规则。
在操作4217中，电子设备4201(例如，图26的处理器2550)可以执行与路径规则对应的操作。
根据实施例，电子设备4001可以包括执行管理器模块(例如，执行管理器模块2553)以执行与路径规则相对应的操作。
图43是示出根据各种实施例的用于执行电子设备(例如，用户终端2500)功能的操作的流程图。
参考图43，服务器可以存储被设置为用于执行电子设备的任何一个功能的代表性对话和映射到代表性对话的命令快捷方式，并且代表性对话可以与包括电子设备的状态序列信息的路径规则对应。当从电子设备接收到与命令快捷方式对应的文本输入时，服务器可以提取与命令快捷方式对应的路径规则，以向电子设备发送提取的路径规则。
在操作4305中，电子设备4301(例如，图26的处理器2550)可以从用户接收文本输入。
根据实施例，电子设备可以通过触摸屏显示器从用户接收文本输入。
在操作4307中，电子设备4301(例如，图26的处理器2550)可以向服务器4303(例如，智能服务器2600)发送所接收的文本输入。
根据实施例，电子设备4301可以通过无线通信电路向服务器4303发送文本输入。
在操作4309中，服务器4303(例如，智能服务器2600)可以确定文本输入是否与预先存储的命令快捷方式对应。
根据实施例，服务器4303可以确定文本输入是否是被设为宏的命令快捷方式。命令快捷方式可以预先存储在服务器的数据库中。例如，命令快捷方式可以与请求执行电子设备的功能(任务)的代表行对话一起映射，并且可以与代表性对话一起预先存储在数据库中。例如，代表性对话可以被映射到路径规则，该路径规则包括用于执行功能的电子设备的状态序列的信息。
根据实施例，在操作4311中，当本文输入与预先存储的命令快捷方式对应时，服务器4303可以确认与命令快捷方式相对应的代表性对话。
在操作4313中，服务器4303(例如，智能服务器2600)可以通过使用代表性对话来提取路径规则。
根据实施例，服务器4303可以确认与代表性对话相对应的预设路径规则。
根据另一实施例，服务器4303可以包括NLU模块(例如，NLU模块2620)和路径规划器模块(例如，路径规划器模块2630)，以生成与代表性对话相对应的路径规则。由于在上述实施例中已经描述了用于生成(提取)路径规则的详细操作，因此省略其详细描述。
在操作4315中，服务器4303(例如，智能服务器2600)可以向电子设备4301(例如，图26的处理器2550)发送路径规则。
根据实施例，服务器4303可以通过无线通信电路向电子设备4301发送路径规则。
在操作4317中，电子设备4301(例如，图26的处理器2550)可以执行与路径规则对应的操作。
根据实施例，电子设备4301可以包括执行管理器模块(例如，执行管理器模块2553)以执行与路径规则相对应的操作。
图44是示出根据各种实施例的注册用于执行电子设备(例如，用户终端2500)功能的命令快捷方式的视图。
参考图44，在用户输入用于执行电子设备的任何一个功能时，电子设备可以显示用于注册具有宏功能的命令快捷方式的画面，以便简单地执行该功能。电子设备可以基于用户输入将功能的命令快捷方式注册为宏。例如，电子设备可以接收用户的与用于执行特定功能的代表性对话相对应的语音输入，并且可以执行与语音输入相对应的功能。当完成功能的执行时，电子设备可以使用户输入简单的命令快捷方式(也称为宏)来代替上述代表性对话，从而可以通过以下相应的命令快捷方式来执行上述功能。
根据实施例，如图44A所示，电子设备可以接收用户的语音输入。例如，电子设备可以接收用户的诸如“向我显示图库中昨天拍摄的照片”的语音输入，其是用于执行从电子设备的图库应用在屏幕上显示昨天拍摄并存储的照片的功能的代表性对话。
根据实施例，如图44B所示，取决于与语音输入相对应的功能的执行，电子设备可以在屏幕上显示用于引导用于功能的命令快捷方式(例如，宏)的注册的用户界面(UI)4403。例如，UI 4403可以包括功能的执行结果。参考图44B，UI 4403可以包括用于显示命令快捷方式注册画面的命令快捷方式注册菜单4401(例如，按钮)，该命令快捷方式注册画面允许将所接收的功能的命令快捷方式注册为宏；以及自然语言短语，其指示执行该功能的结果，例如“好的，我找到了2张图片”。
根据实施例，在命令快捷方式注册菜单4401的用户的触摸输入或者用户的与命令快捷方式注册菜单4401对应的诸如“添加命令快捷方式”的语音输入时，电子设备可以执行如图44C所示的命令快捷方式注册屏幕。参考图44C，命令快捷方式注册画面可以显示用于允许执行命令快捷方式的注册的按钮4405，以及诸如“告诉我使用命令快捷方式而不是长命令”的通知，其告知用户将命令快捷方式设置为功能的宏的方法。例如，用户可以触摸按钮4405以发出期望被指定的命令快捷方式，使得电子设备可以将命令快捷方式指定为功能的宏。另外，如图44C所示，命令快捷方式注册画面可以包括“向我显示图库中昨天拍摄的照片”，其是指定命令快捷方式的功能的代表性对话。
在图44的上述实施例中，已经描述了用户发出期望被指定的命令快捷方式，使得电子设备可以将命令快捷方式指定为功能的宏。例如，根据另一实施例，通过执行期望由用户指定的命令快捷方式的文本输入，电子设备可以将命令快捷方式指定为功能的宏。
图45是示出根据各种实施例的注册用于执行电子设备(例如，用户终端2500)功能的命令快捷方式的视图。
参考图45，电子设备可以在屏幕上显示从用户接收的命令列表，并且命令列表可以包括用于允许添加命令快捷方式的菜单。
根据实施例，如图45A所示，电子设备可以在历史画面上显示从用户接收的命令4505和项目4501的列表(包括与命令相对应的功能的执行结果4503)。可以在历史画面中包括的每个命令4505中显示相应的设置菜单4507。当用户选择设置菜单4507时，可以生成用户UI，并且生成的UI可以包括用于允许添加命令快捷方式(宏)的命令快捷方式添加菜单4509和用于允许删除用户历史项目的历史删除菜单4511。如图45B所示，当根据用户输入选择命令快捷方式添加菜单4509时，电子设备可以执行命令快捷方式注册画面。参考图45B，命令快捷方式注册画面可以显示用于允许注册命令快捷方式的按钮4513，以及诸如“告诉我使用命令快捷方式而不是长命令”的通知，其告知用户将命令快捷方式设置为功能的宏的方法。例如，用户可以触摸按钮4513以发出期望被指定的命令快捷方式，使得电子设备可以将命令快捷方式指定为功能的宏。另外，如图45B所示，命令快捷方式注册画面可以包括“通过Kakao Talk向Kyung-soo发送刚刚拍摄的照片”，其是指定命令快捷方式的功能的代表性对话。
在图45的上述实施例中，已经描述了用户发出期望被指定的命令快捷方式，使得电子设备可以将命令快捷方式指定为相应功能的宏。例如，根据另一实施例，通过执行期望由用户指定的命令快捷方式的文本输入，电子设备可以将命令快捷方式指定为功能的宏。
图46是示出根据各种实施例的注册用于执行电子设备(例如，用户终端2500)功能的命令快捷方式的视图。
参考图46，电子设备可以收集并显示已被设置为要存储的宏的命令快捷方式。例如，电子设备可以显示被设置为宏的命令快捷方式的列表，并且可以执行与命令快捷方式的附加注册、修改和删除有关的操作。
参考图46A，电子设备可以预测要由电子设备中的用户执行的功能，并且可以显示与能够执行功能的话语命令相对应的提示4603。另外，当执行用户的触摸输入然后执行用户的话语输入时，电子设备可以显示用于允许执行与话语相对应的功能的按钮4605。另外，电子设备可以显示菜单(MACRO)4601，用于允许设置与每个提示4603相对应的命令快捷方式。
当根据用户输入选择菜单4601时，电子设备可以如图46B所示的显示列表画面，该列表画面包括已经被设置为要存储的宏的命令快捷方式的列表4607。另外，列表画面可以包括附加注册按钮(ADD)4609，用于允许另外注册命令快捷方式。
当接收到用于附加注册按钮4609的用户输入时，电子设备可以显示如图46C所示的附加注册画面，该附加注册画面用于允许注册与由电子设备提供的每个提示相对应的命令快捷方式。参考图46C，附加注册画面可以包括用于允许输入命令快捷方式的第一项目4611、用于允许检索提示的第二项目4612以及用于显示提示列表的第三项目4613。电子设备可以将输入到第一项目4611的命令快捷方式和用户从第二项目4612或第三项目4613选择的提示组合以生成宏。例如，电子设备可以生成输入到第一项目4611的命令快捷方式，作为执行用户从第二项目4612或第三项目4613中选择的提示的功能的宏。
图47是示出根据各种实施例的注册用于执行电子设备(例如，用户终端2500)功能的命令快捷方式的视图。
根据实施例，如图47所示，当使用提示将命令快捷方式设置为宏时，可以通过修改参数来生成命令快捷方式。例如，可以考虑历史、TOP信息等提供诸如“呼叫妈妈”的提示，但是希望由用户生成宏的功能可以呼叫John，从而可以生成“呼叫John”作为对应于该功能的提示。虽然用户可以直接编写使用期望命令快捷方式映射的整个对话，但是当使用提示时，可以映射与相应功能映射的精确代表性对话，以便可以更精确地执行服务器(例如，NLU模块、PP模块等)的操作。例如，当修改参数时，这不会影响代表性对话的结构，因此可以修改参数，从而提高与路径规则相对应的操作的准确性，并增加用户可以执行操作的多样性。
参考图47A，电子设备可以预测用户要在电子设备中执行的功能，并且可以显示与能够执行功能的话语命令相对应的提示4703。另外，电子设备可以显示菜单(MACRO)4701，其允许用户设置与每个提示4703相对应的命令快捷方式。
当根据用户输入选择菜单4701时，电子设备可以显示列表画面，该列表画面包括已经设置并存储为如图47B所示宏(包括“OMG”4709)的命令快捷方式的列表4707。
如图47C所示，当用户选择命令快捷方式列表4707中包括的任何一个命令快捷方式4707时，电子设备可以显示用于允许修改所选择的命令快捷方式4707的参数的参数画面。参考图47C，当选择“OMG”宏4709，用于修改“OMG”宏的参数修改画面可以包括第一项目4711(其中，显示命令快捷方式4707)和第二项目4713(其中，显示代表性对话，以修改与命令快捷方式4707对应的代表性对话的参数)。第二项目4713中示出的代表性对话的参数部分可以表示能够修改参数部分，诸如改变文本的颜色、下划线等。另外，参数修改画面可以包括用于显示提示列表的第三项目4715。
图48是示出根据各种实施例的电子设备(例如，用户终端2500)的命令快捷方式执行画面的视图。
根据实施例，根据上述实施例，可以将命令快捷方式映射到要注册为宏的代表性对话。当用户输入命令快捷方式时，电子设备可以根据命令快捷方式显示功能执行结果。
例如，根据上述实施例，用户可以使诸如“今天”的命令快捷方式与诸如“今天的天气”的代表性对话映射并且被注册为宏。当用户说出“今天”时，电子设备可以显示命令快捷方式的如图48所示的执行结果画面。参考图48，执行结果画面可以包括“今天的天气”4805，其是与作为代表对话4801的“今天的天气”相对应的功能的执行结果。此外，执行结果画面还可以包括作为命令快捷方式4801的“今天”和作为与“今天”命令快捷方式4801相对应的代表性对话4803的“今天的天气”。
根据各种实施例，尽管未示出，为了激活上述宏功能的使用，根据基于已经通过电子设备注册和存储的宏，服务器可以提供在使用制造商的服务时可以使用的奖励服务，例如，提供点数。例如，可以改善宏功能的使用频率并向具有高使用频率的用户(电子设备)提供各种服务。
根据各种实施例，电子设备(例如，用户终端2500)可以包括壳体；触摸屏显示器(例如，显示器2520)，其位于壳体内并通过壳体的第一部分暴露；麦克风(例如，麦克风288)，其位于壳体内部并且通过壳体的第二部分暴露；至少一个扬声器(例如，扬声器2530)，其位于壳体内并通过壳体的第三部分暴露；无线通信电路(例如，通信模块220)，其位于壳体内；处理器(例如，处理器2550)，其位于壳体内并且电连接到触摸屏显示器、麦克风、扬声器和无线通信电路；以及存储器(例如，存储器230)，其位于壳体内并且电连接到处理器，使得当执行存储器时，处理器通过麦克风和触摸屏显示器中的至少一个来接收第一用户输入，第一用户输入包括请求通过使用电子设备和外部设备中的至少一个来执行任务；通过无线通信电路向外部服务器(例如，智能服务器2600)发送与第一用户输入相关的第一数据；通过无线通信电路从外部设备接收第一响应，第一响应包括与第一用户输入相关的信息和/或电子设备的用于执行至少一部分任务的状态的序列信息；通过触摸屏显示器接收用于分配话语和/或用户场合的第二用户输入作为执行任务的请求；以及存储使得通过无线通信电路向外部服务器发送与第二用户输入相关的第二数据的指令。
根据各种实施例，指令可以使得处理器在发送第二数据之后通过触摸屏显示器和麦克风中的至少一个接收第三用户输入，第三用户输入包括话语和/或用户操作；通过无线通信电路向外部服务器发送与第三用户输入相关的第三数据；通过无线通信电路从外部服务器接收第二响应，第二响应包括电子设备的用于执行至少一部分任务的状态的序列信息；以及允许电子设备具有状态序列以执行至少一部分任务。
根据各种实施例，指令可以使处理器存储与通过触摸屏显示器接收的第一用户输入相关联的日志，并且将日志作为第一数据的一部分发送。
根据各种实施例，第二用户输入可以包括由用户个性化的话语和/或由用户选择的图形用户界面。
根据各种实施例，存储器可以存储与电子设备的状态序列相对应并且是执行任务的请求的至少一个代表性对话；以及与代表性对话映射的命令快捷方式，并且如果第二用户输入是通过麦克风接收的语音，则指令可以使处理器向外部服务器发送将作为语音对应的代表性对话的第二数据。
根据各种实施例，指令可以使处理器通过无线通信电路向外部服务器发送语音；通过无线通信电路从外部服务器接收与语音相对应的文本数据；以及如果文本数据对应于命令快捷方式，则识别与命令快捷方式匹配的代表性对话。
根据各种实施例，指令可以使处理器接收电子设备的与第二数据相对应并且用于在发送第二数据之后通过无线通信电路执行至少一部分任务的状态的序列信息，并且使得处理器执行至少一部分任务。
根据各种实施例，存储器可以存储与电子设备的状态序列相对应并且是执行任务的请求的至少一个代表性对话；以及与代表性对话映射的命令快捷方式，并且当第二用户输入是通过触摸屏显示器接收的文本输入时，指令可以使处理器向外部服务器发送将作为文本输入对应的代表性对话的第二数据。
根据各种实施例，如果文本输入与命令快捷方式对应，则指令可以使处理器识别与命令快捷方式匹配的代表性对话。
根据各种实施例，执行电子设备(例如，用户终端2500)的操作的方法可以包括：接收第一用户输入，使得第一用户输入包括使用电子设备或外部设备的至少一个来执行任务的请求；向外部服务器(例如，智能服务器2600)发送与第一用户输入相关联的第一数据；从外部服务器接收第一响应，使得第一响应包括与第一用户输入相关联的信息和/或电子设备的用于执行至少一部分功能的状态的序列信息；通过电子设备的触摸屏显示器接收用于分配话语和/或用户操作的第二用户输入作为用于执行任务的请求；以及向外部服务器发送与第二用户输入相关联的第二数据。
根据各种实施例，该方法可以进一步包括：在发送第二数据之后接收第三用户输入，使得第三用户输入包括话语和/或用户操作；向外部服务器发送与第三用户输入相关的第三数据；从外部服务器接收第二响应，使得第二响应包括电子设备的用于执行至少一部分任务的状态的序列信息；以及允许电子设备具有状态序列以执行至少一部分任务。
根据各种实施例，该方法可以进一步包括存储与通过电子设备的触摸屏显示器接收的第一用户输入相关联的日志；以及将日志作为第一数据的一部分发送。
根据各种实施例，第二用户输入可以包括由用户个性化的话语和/或由用户选择的图形用户界面。
根据各种实施例，该方法可以进一步包括：存储与电子设备的状态序列相对应并且是执行任务的请求的至少一个代表性对话以及与代表性对话映射的命令快捷方式；以及如果第二用户输入是通过麦克风接收的语音，则向外部服务器发送将作为与语音对应的代表性对话的第二数据。
根据各种实施例，该方法可以进一步包括：通过无线通信电路向外部服务器发送语音；通过无线通信电路从外部服务器接收与语音相对应的文本数据；以及如果文本数据对应于命令快捷方式，则使处理器识别与命令快捷方式匹配的代表性对话。
根据各种实施例，一种机器可读存储介质，其记录程序以执行电子设备的操作的方法，该方法包括：接收第一用户输入，使得第一用户输入包括用于通过使用电子设备或外部设备的至少一个来执行任务的请求；向外部服务器发送与第一用户输入相关联的第一数据；从外部服务器接收第一响应，使得第一响应包括与第一用户输入相关联的信息和/或电子设备的用于执行至少一部分功能的状态的序列信息；通过电子设备的触摸屏显示器接收用于分配话语和/或用户操作的第二用户输入作为用于执行任务的请求；以及向外部服务器发送与第二用户输入相关联的第二数据。
根据各种实施例，电子设备(例如，用户终端2500)可以包括：壳体；触摸屏显示器(例如，显示器2520)，其位于壳体内并通过壳体的第一部分暴露；麦克风(例如，麦克风288)，其位于壳体内部并且通过壳体的第二部分暴露；至少一个扬声器(例如，扬声器2530)，其位于壳体内并通过壳体的第三部分暴露；无线通信电路(例如，通信模块220)，其位于壳体内；处理器(例如，处理器2550)，其位于壳体内并且电连接到触摸屏显示器、麦克风、扬声器和无线通信电路；以及存储器(例如，存储器230)，其位于壳体内并且电连接到处理器，使得当执行存储器时，处理器通过麦克风和触摸屏显示器中的至少一个来接收第一用户输入，第一用户输入包括请求以通过使用电子设备和外部设备中的至少一个来执行任务；通过无线通信电路向外部服务器发送与第一用户输入相关的第一数据；基于与第一用户输入相关联的第一数据获取第一响应，第一响应包括与第一用户输入相关的信息和/或电子设备的用于执行至少一部分任务的状态信息；通过触摸屏显示器接收用于分配话语和/或用户场合的第二用户输入作为执行任务的请求；以及通过通信电路基于与第二用户输入相关联的第二数据来获取第二响应，第二响应存储包括电子设备的用于执行至少一部分任务的状态的序列信息的指令。
根据各种实施例，指令可以使得处理器在获取第二数据之后通过触摸屏显示器和麦克风中的至少一个接收第三用户输入，第三用户输入包括话语和/或用户操作；通过无线通信电路基于与第三用户输入相关的第三数据接收第三响应，第三响应包括电子设备的用于执行至少一部分任务的状态的序列信息；以及允许电子设备具有状态序列以执行至少一部分任务。
根据各种实施例，指令可以使处理器存储与通过触摸屏显示器接收的第一用户输入相关联的日志，并且将日志作为第一数据的一部分发送。
根据各种实施例，第二用户输入可以包括由用户个性化的话语和/或由用户选择的图形用户界面。
本文中使用的术语“模块”可以包括包含硬件、软件或固件的单元，并且可以例如与术语“逻辑”、“逻辑块”、“组件”或“电路”等互换使用。模块可以是集成组件、执行一个或更多个功能的最小单元或其一部分。可以机械地或电子地实现“模块”，并且“模块”可以包括已知的或将来被开发的执行某些操作的例如专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)和可编程逻辑器件。可以将根据各种实施例的至少一些设备(例如，模块或其功能)或方法(例如，操作)实施为以程序模块的形式存储在计算机可读存储介质(例如，存储器130)中的指令。当由处理器(例如，处理器120)执行指令时，该指令可以使一个或更多个处理器执行与该指令相对应的功能。计算机可读存储介质可以包括硬盘、软盘、磁介质(例如，磁带)、光学介质(例如，CD-ROM和DVD)、磁光介质(例如，光软盘)等。该指令可以包括由编译器产生的代码或者可以由解释器执行的代码。根据本公开的编程模块可以包括前述元件中的一个或更多个，或者还可以包括其他额外元件，或者可以省略一些前述元件。可以顺序地、并行地、迭代地或启发式地来执行根据本公开的各种实施例的由模块、程序模块或其他元件执行的操作。至少一些操作可以以另一种顺序来执行或可以被省略，或还可以包括其他操作。

Claims (20)

1.一种便携式通信设备，所述便携式通信设备包括：
存储器；
麦克风；
触摸屏显示器；以及
至少一个处理器，所述至少一个处理器被配置为：
在执行了应用的功能之后，经由所述触摸屏显示器显示用于注册快捷方式的所述应用的所述功能的指示，所述快捷方式用于使用语音命令来执行所述应用的所述功能，其中，所述指示至少部分地基于以下判定而被显示用于快捷方式注册：至少部分地基于一个或更多个语音命令判定所述功能可执行；
经由所述触摸屏显示器接收关于所述指示的第一输入；
至少部分地基于所述第一输入，经由所述触摸屏显示器显示与所述功能相关联的文本；以及
在所述文本被显示的同时接收用户输入，
其中，所述用户输入的至少一部分被注册为语音命令，所述语音命令要用作执行所述应用的所述功能的快捷方式。
2.根据权利要求1所述的便携式通信设备，其中，所述至少一个处理器被配置为使用另一应用来执行所述文本的显示。
3.根据权利要求1所述的便携式通信设备，其中，所述至少一个处理器被配置为生成所述文本，使得所述应用的名称被包括为所述文本的至少一部分。
4.根据权利要求1所述的便携式通信设备，其中，所述至少一个处理器被配置为将所述用户输入的至少一部分发送到所述便携式通信设备外部的服务器，使得所述服务器将所述用户输入的所述至少一部分注册为用于执行所述功能的所述语音命令。
5.根据权利要求1所述的便携式通信设备，所述便携式通信设备还包括存储所述应用的存储器，其中，所述至少一个处理器被配置为在所述存储器中存储作为用于执行所述功能的已注册的语音命令的所述用户输入的至少一部分。
6.根据权利要求1所述的便携式通信设备，其中，所述至少一个处理器被配置为至少部分地基于接收到已注册的语音命令来执行包括所述功能和另一功能的多个功能。
7.根据权利要求1所述的便携式通信设备，其中，所述至少一个处理器被配置为向所述便携式通信设备外部的服务器发送语音输入，使得所述服务器确定所述语音输入对应于已注册的语音命令。
8.根据权利要求1所述的便携式通信设备，其中，所述用户输入包括文本输入或语音输入。
9.一种便携式通信设备，所述便携式通信设备包括：
麦克风；
触摸屏显示器；以及
至少一个处理器，所述至少一个处理器被配置为：
至少部分地基于以下判定，经由所述触摸屏显示器显示文本或图形指示：至少部分地基于经由所述麦克风接收到的一个或更多个语音命令判定第一功能可执行，其中所述文本包括与所述第一功能相关的一个或更多个字；
接收关于所述文本或所述图形指示的第一触摸输入；以及
在接收到所述第一触摸输入之后，接收用于注册快捷方式的用户输入，其中，所述用户输入被注册为要用于执行所述第一功能的语音命令。
10.根据权利要求9所述的便携式通信设备，其中，所述至少一个处理器被配置为：
在所述用户输入的至少一部分被注册为所述语音命令之后，接收语音输入；以及
至少部分地基于所述语音输入对应于所述语音命令的判定，在所述便携式通信设备处执行所述第一功能。
11.根据权利要求10所述的便携式通信设备，其中，所述语音输入包括与所述文本中包括的所述一个或更多个字不同的字。
12.根据权利要求9所述的便携式通信设备，其中，所述至少一个处理器被配置为生成所述文本，使得所述文本的至少一部分包括与所述第一功能相对应的指定应用的名称。
13.根据权利要求9所述的便携式通信设备，其中，所述至少一个处理器被配置为将所述用户输入的至少一部分发送到所述便携式通信设备外部的服务器，使得所述服务器将所述用户输入的所述至少一部分注册为要用于执行所述第一功能的所述语音命令。
14.根据权利要求9所述的便携式通信设备，所述便携式电子设备还包括存储第一应用的存储器，其中，所述至少一个处理器被配置为在所述存储器中存储作为用于执行所述第一功能的所述语音命令的所述用户输入的至少一部分。
15.根据权利要求10所述的便携式通信设备，其中，使用包括第一应用和第二应用的多个应用可执行所述第一功能，并且
其中，所述至少一个处理器被配置为：
作为执行所述第一功能的至少一部分，至少部分地基于接收到已注册的语音命令来执行所述第一应用；以及
在执行所述第一应用之后，至少部分地基于根据另一用户输入生成的第一数据或所述语音输入中包括的第二数据中的至少一个来执行所述第二应用。
16.一种便携式通信设备，所述便携式通信设备包括：
麦克风；
触摸屏显示器；以及
至少一个处理器，所述至少一个处理器被配置为：
至少部分地基于经由所述触摸屏显示器接收到的第一触摸输入，在所述便携式通信设备处执行第一应用的多个功能中的第一功能；
在终止所述第一功能的执行之后，
至少部分地基于以下判定，在所述触摸屏显示器上显示用于显示文本或图形指示的菜单：至少部分地基于一个或更多个语音命令判定指定功能可执行，
接收关于所述菜单的第二触摸输入，
响应于所述第二触摸输入，至少部分地基于以下判定，经由所述触摸屏显示器显示文本或图形指示：至少部分地基于经由所述麦克风接收到的一个或更多个语音命令判定所述第一功能可执行，其中所述文本包括与所述第一功能相关的一个或更多个字；
接收关于所述文本或所述图形指示的第三触摸输入；
在接收到所述第三触摸输入之后，接收用于注册快捷方式的用户输入，其中，所述用户输入被注册为执行所述第一功能的语音命令；
在注册了所述用户输入之后，接收语音输入；以及
基于所述语音输入对应于已注册的语音命令的判定，在所述便携式通信设备处执行所述第一应用的所述第一功能。
17.根据权利要求16所述的便携式通信设备，其中，所述至少一个处理器被配置为使用第二应用执行所述文本或所述图形指示的显示，其中，所述第二应用与所述第一应用不同。
18.根据权利要求16所述的便携式通信设备，其中，所述至少一个处理器被配置为生成所述文本，使得所述第一应用的名称被包括为所述文本的至少一部分。
19.根据权利要求16所述的便携式通信设备，其中，所述至少一个处理器被配置为将所述用户输入的至少一部分发送到所述便携式通信设备外部的服务器，使得所述服务器将所述用户输入的所述至少一部分注册为用于执行所述第一功能的所述语音命令。
20.根据权利要求16所述的便携式通信设备，所述便携式通信设备还包括存储所述第一应用的存储器，其中，所述至少一个处理器被配置为在所述存储器中存储作为用于执行所述第一功能的已注册的语音命令的所述用户输入的至少一部分。
CN201880021990.3A 2017-03-27 2018-03-09 电子设备及执行电子设备的功能的方法 Active CN110462647B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR20170038722 2017-03-27
KR10-2017-0038722 2017-03-27
KR10-2017-0066368 2017-05-29
KR1020170066368A KR102343084B1 (ko) 2017-03-27 2017-05-29 전자 장치 및 전자 장치의 기능 실행 방법
PCT/KR2018/002862 WO2018182202A1 (en) 2017-03-27 2018-03-09 Electronic device and method of executing function of electronic device

Publications (2)

Publication Number Publication Date
CN110462647A CN110462647A (zh) 2019-11-15
CN110462647B true CN110462647B (zh) 2023-10-13

Family

ID=63864727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880021990.3A Active CN110462647B (zh) 2017-03-27 2018-03-09 电子设备及执行电子设备的功能的方法

Country Status (3)

Country Link
EP (1) EP3603040B1 (zh)
KR (1) KR102343084B1 (zh)
CN (1) CN110462647B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102620705B1 (ko) * 2018-10-11 2024-01-04 삼성전자주식회사 전자 장치 및 그의 동작 방법
KR20200050373A (ko) 2018-11-01 2020-05-11 삼성전자주식회사 전자 장치 및 그의 제어 방법
EP3647936B1 (en) * 2018-11-01 2024-02-21 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
KR102641164B1 (ko) * 2019-01-02 2024-02-28 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
CN111261158A (zh) * 2020-01-15 2020-06-09 上海思依暄机器人科技股份有限公司 一种功能菜单定制方法、语音快捷控制方法和机器人
KR20220118818A (ko) * 2021-02-19 2022-08-26 삼성전자주식회사 전자 장치 및 전자 장치의 동작 방법
KR20230001056A (ko) * 2021-06-25 2023-01-04 삼성전자주식회사 차량에 탑재된 전자 장치 및 그 동작 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103187054A (zh) * 2011-12-30 2013-07-03 三星电子株式会社 电子装置和控制电子装置的方法
CN105432061A (zh) * 2014-07-16 2016-03-23 Lg电子株式会社 移动终端和控制方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7957975B2 (en) * 2005-08-09 2011-06-07 Mobile Voice Control, LLC Voice controlled wireless communication device system
JP2008096541A (ja) * 2006-10-06 2008-04-24 Canon Inc 音声処理装置およびその制御方法
KR20090115599A (ko) * 2008-05-02 2009-11-05 엘지전자 주식회사 이동 단말기 및 그 정보 처리방법
KR102022318B1 (ko) * 2012-01-11 2019-09-18 삼성전자 주식회사 음성 인식을 사용하여 사용자 기능을 수행하는 방법 및 장치
US20170075653A1 (en) * 2014-03-26 2017-03-16 Sony Corporation Electronic device and method for controlling the electronic device
KR102245747B1 (ko) * 2014-11-20 2021-04-28 삼성전자주식회사 사용자 명령어 등록을 위한 디스플레이 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103187054A (zh) * 2011-12-30 2013-07-03 三星电子株式会社 电子装置和控制电子装置的方法
CN105432061A (zh) * 2014-07-16 2016-03-23 Lg电子株式会社 移动终端和控制方法

Also Published As

Publication number Publication date
EP3603040A1 (en) 2020-02-05
EP3603040B1 (en) 2022-08-24
EP3603040A4 (en) 2020-02-05
KR20180109631A (ko) 2018-10-08
CN110462647A (zh) 2019-11-15
KR102343084B1 (ko) 2021-12-27

Similar Documents

Publication Publication Date Title
US11582337B2 (en) Electronic device and method of executing function of electronic device
CN108121490B (zh) 用于处理多模式输入的电子装置、方法和服务器
US11670302B2 (en) Voice processing method and electronic device supporting the same
KR102414122B1 (ko) 사용자 발화를 처리하는 전자 장치 및 그 동작 방법
CN110199350B (zh) 用于感测语音结束的方法和实现该方法的电子设备
US10909982B2 (en) Electronic apparatus for processing user utterance and controlling method thereof
CN110462647B (zh) 电子设备及执行电子设备的功能的方法
CN108735204B (zh) 用于执行与用户话语相对应的任务的设备
EP3593347B1 (en) Method for operating speech recognition service and electronic device supporting the same
EP3531416A1 (en) System for processing user utterance and controlling method thereof
CN109102802B (zh) 用于处理用户话语的系统
US20200020334A1 (en) Electronic device for processing user speech and operating method therefor
KR102389996B1 (ko) 전자 장치 및 이를 이용한 사용자 입력을 처리하기 위한 화면 제어 방법
KR20180058476A (ko) 다양한 입력 처리를 위한 방법, 이를 위한 전자 장치 및 서버
US20190019509A1 (en) Voice data processing method and electronic device for supporting the same
KR20180113075A (ko) 프레임워크를 이용한 자연어 표현 생성 방법 및 장치
KR20190032026A (ko) 자연어 표현 제공 방법 및 이를 지원하는 전자 장치
KR20190127372A (ko) 전자 장치 및 전자 장치의 기능 실행 방법
KR20180108321A (ko) 파셜 랜딩 후 사용자 입력에 따른 동작을 수행하는 전자 장치
KR101993368B1 (ko) 멀티 모달 입력을 처리하는 전자 장치, 멀티 모달 입력을 처리하는 방법 및 멀티 모달 입력을 처리하는 서버
CN109309754B (zh) 用于获取和键入缺少参数的电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant