CN108121490B - 用于处理多模式输入的电子装置、方法和服务器 - Google Patents

用于处理多模式输入的电子装置、方法和服务器 Download PDF

Info

Publication number
CN108121490B
CN108121490B CN201711203805.6A CN201711203805A CN108121490B CN 108121490 B CN108121490 B CN 108121490B CN 201711203805 A CN201711203805 A CN 201711203805A CN 108121490 B CN108121490 B CN 108121490B
Authority
CN
China
Prior art keywords
user
module
input
information
application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711203805.6A
Other languages
English (en)
Other versions
CN108121490A (zh
Inventor
李仁种
李智敏
姜相机
具翰俊
朴星波
徐壮锡
宋寅昱
安源翊
禹景久
李志秀
全昌均
诸葛祜准
崔溢焕
洪有珍
金知贤
余在永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN108121490A publication Critical patent/CN108121490A/zh
Application granted granted Critical
Publication of CN108121490B publication Critical patent/CN108121490B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/75—Indicating network or usage conditions on the user display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/028—Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供一种用于处理多模式输入的电子装置、方法和服务器。所述电子装置包括：壳体；触摸屏显示器，通过壳体的第一部分暴露；麦克风，布置在壳体的第二部分；扬声器，布置在壳体的第三部分；存储器，布置在壳体内部；处理器，布置在壳体内部，并电连接到显示器、麦克风和扬声器和存储器。存储器被配置为存储多个应用程序，所述多个应用程序中的每个应用程序包括图形用户界面(GUI)。

Description

用于处理多模式输入的电子装置、方法和服务器
本申请要求于2016年11月28日提交的第10-2016-0159704号韩国专利申请的优先权，该韩国专利申请的内容通过引用包含于此。
技术领域
本公开涉及一种用于处理用于接收用户的各种输入的多模式输入(multi-modalinput)的电子装置。更具体地讲，本公开涉及一种用于处理多模式输入的方法和用于处理多模式输入的服务器。
背景技术
除了使用键盘或鼠标的输入方案之外，电子装置最近已支持根据相关技术的各种输入方案(诸如，语音输入等)。例如，诸如智能电话或平板个人计算机(PC)的电子装置可在执行语音识别服务的状态下识别用户的语音输入，并且可执行与语音输入对应的行动或可提供根据语音输入找到的结果。
如今，语音识别服务正在基于处理自然语言的技术被开发。处理自然语言的技术表示抓取(grasp)用户的话语的意图并向用户提供适合于该意图的结果的技术。
以上信息作为背景信息被呈现，仅用于辅助对本公开的理解。关于以上中的任意一个是否可适用作为针对本公开的现有技术，没有进行确定并且没有进行声明。
发明内容
由于当根据相关技术识别和处理用户语音时语音识别服务仅提供基于用户输入的结果，因此根据相关技术，语音识别服务可仅处理简单的用户输入(诸如，执行一个程序)，并且不可处理用于执行多个应用的用户输入。
根据相关技术，在用户输入包括不充足信息的语音的情况下，语音识别服务可由于不充足的信息而不识别用户语音，并且不可识别整个用户输入。例如，在语音识别服务仅通过使用用户的话语而难以抓取用户的意图的情况下，语音识别服务可通过使用用户的额外的话语或终端的信息来抓取最佳的意图。在确定用户的意图之后，语音识别服务可执行适用于抓取的意图的服务(例如，搜索、执行应用)或任务。如果在用户的第一话语之后用户重复地接收到针对额外话语的请求，则用户难以抓取针对额外话语请求的意图。此外，如果当最初执行语音识别服务时用户重复地接收到该请求，则用户将察觉到难以使用该服务。
响应于语音输入(指令)提供结果的语音识别服务难以提供其他输入方式。例如，用户可利用各种输入方式(诸如，键盘和鼠标或者触摸输入)。然而，由于语音识别服务的接口主要由语音的输入/输出构成，因此用户难以利用除了语音之外的输入方式。
本公开的方面将至少解决以上提及的问题和/或缺点，并将至少提供以下描述的优点。因此，本公开的一个方面在于提供一种语音输入处理方法，该语音输入处理方法是用于与语音输入以及输入方式(例如，键盘、鼠标、触摸输入等)整体起作用的输入方式。
因此，本公开的另一方面在于提供一种通过基于各种输入方式的集成接口处理自然语言的方法。
因此，本公开的另一方面在于提供一种能够在执行与用户的第一话语对应的服务或任务的同时接收用户的额外输入的接口和系统。
根据本公开的一个方面，提供一种电子装置。所述电子装置包括：壳体；触摸屏显示器，通过壳体的第一部分暴露；麦克风，布置在壳体的第二部分；扬声器，布置在壳体的第三部分；存储器，布置在壳体内部；处理器，布置在壳体内部，并电连接到显示器、麦克风和扬声器和存储器。存储器被配置为存储多个应用程序，所述多个应用程序中的每个应用程序包括图形用户界面(GUI)。存储器还被配置为存储指令，当所述指令被执行时，使得处理器：控制麦克风从用户接收话语；基于所述话语产生或接收文本数据；至少部分基于所述文本数据选择所述多个应用程序中的一个应用程序；开始选择的应用程序；控制在显示器上显示选择的应用程序的GUI；至少部分基于所述文本数据，控制在显示器上显示将输入自动地提供到GUI中的序列的至少一部分；使用所述输入作为至少一个参数，使得选择的应用程序执行利用所述至少一个参数的操作；控制在显示器上显示所述操作的结果。
根据本公开的一个方面，提供一种电子装置。所述电子装置包括：壳体；触摸屏显示器，通过壳体的第一部分暴露；麦克风，布置在壳体的第二部分；扬声器，布置在壳体的第三部分；存储器，布置在壳体内部，处理器，布置在壳体内部，并电连接到显示器、麦克风、扬声器和存储器。存储器被配置为存储第一多个应用程序和第二多个应用程序，其中，所述第一多个应用程序和所述第二多个应用程序中的每个包括GUI。存储器还被配置为存储指令，当所述指令被执行时，使得处理器：控制麦克风从用户接收话语；基于话语产生或接收文本数据；至少部分基于所述文本数据，从所述第一多个应用程序选择第一应用程序；开始选择的第一应用程序；控制在显示器上显示选择的第一应用程序的GUI；至少部分基于所述文本数据，使得选择的第一应用程序执行利用至少一个第一参数的第一操作，同时在显示器上显示执行第一操作的序列的至少一部分；控制在显示器上显示第一操作的结果；在显示所述结果之后，至少部分基于所述文本数据，控制在显示器上显示一个或多个标识符，其中，所述一个或多个标识符中的每个标识符表示所述第二多个应用程序中的各自的一个应用程序；经由显示器或麦克风，从用户接收所述一个或多个标识符中的一个标识符的选择；基于接收的所述选择，从所述第二多个应用程序选择第二应用程序；使用第一操作的结果的至少一部分，使得选择的第二应用程序执行利用至少一个第二参数的第二操作。
根据本公开的一个方面，提供一种电子装置。所述电子装置包括：壳体；触摸屏显示器，通过壳体的第一部分暴露；麦克风，布置在壳体的第二部分；扬声器，布置在壳体的第三部分；存储器，布置在壳体内部；处理器，布置在壳体内部，并电连接到显示器、麦克风、扬声器和存储器。存储器被配置为存储多个应用程序，所述多个应用程序中的每个应用程序包括GUI。存储器还被配置为存储指令，当所述指令被执行时，使得处理器：控制麦克风从用户接收言语的请求；基于所述请求产生或接收文本数据；至少部分基于所述文本数据，选择所述多个应用程序中的一个应用程序；使用所述文本数据，确定能够对选择的应用程序自动地执行的操作的部分；开始选择的应用程序；控制在显示器上显示选择的应用程序的GUI；在未完成所述操作的情况下，至少部分基于所述文本数据，控制显示自动地执行所述操作的部分的序列的至少一部分；经由显示器或麦克风接收用户输入；使用接收的用户输入使得应用程序完成所述操作。
根据本公开的一个方面，提供一种语音输入处理方法。所述方法包括：经由麦克风从用户接收话语；基于话语产生或接收文本数据；至少部分基于所述文本数据，选择一个应用程序；开始选择的应用程序；在显示器上显示选择的应用程序的GUI；至少部分基于所述文本数据，在显示器上显示将输入自动地提供到GUI中的序列的至少一部分；使用所述输入作为至少一个参数，使得选择的应用程序执行利用所述至少一个参数的操作；在显示器上显示所述操作的结果。
根据本公开的一个方面，提供一种服务器。所述服务器包括：语音输入，被配置为从外部电子装置接收用户的话语，以：基于接收的用户的话语产生文本数据；基于所述文本数据产生所述话语的意图和用于执行所述意图的参数；基于所述意图和所述参数，确定包括所述外部电子装置的应用程序的操作的序列的路径规则；将所述路径规则发送到所述外部电子装置。所述路径规则包括所述外部电子装置的应用程序的操作和用于执行所述操作的参数。
根据本公开的各个实施例，一种识别用户的话语以对app进行操作的电子装置可识别用户的话语以抓取用户意图，并可确定用于完成根据抓取的意图的目的的动作以逐步地执行app，从而向用户提供与用于执行触摸输入的用户接口(UI)相同的UI。
根据本公开的各个实施例，一种能够被处理的动作(例如，app的执行)可在用户输入包括不充足的信息的情况下通过使用不充足的用户输入逐步地被执行，额外输入可从用户被接收以执行剩余的动作，从而根据用户意图提供服务。
除此之外，可提供通过本公开直接或间接理解的各种效果。
根据下面结合公开了本公开的各个实施例的附图进行的详细描述，本公开的其他方面、优点和显著特征对本领域技术人员将变得清楚。
附图说明
通过下面结合附图进行的描述，本公开的特定实施例的以上和其他方面、特征和优点将更加清楚，其中：
图1是示出根据本公开的各个实施例的集成的智能系统的示图；
图2是示出根据本公开的实施例的集成的智能系统的用户终端的框图；
图3是示出根据本公开的实施例的存储在用户终端的存储器中的应用(app)在被加载之后进行操作的框图；
图4是示出根据本公开的实施例的用户终端的处理器的框图；
图5是示出根据本公开的实施例的智能代理(intelligence agent)处理用户输入的框图；
图6是示出根据本公开的实施例的处理器的上下文模块收集当前状态的框图；
图7是示出根据本公开的实施例的人物角色(persona)模块管理用户的信息的框图；
图8是示出根据本公开的实施例的提议(proposal)模块的框图；
图9是示出根据本公开的实施例的线索根据提议模块的上下文线索产生器模块的特定情况被提议的示图；
图10是示出根据本公开的实施例的线索根据重新使用线索产生器模块的使用频率被提议的示图；
图11是示出根据本公开的实施例的引入线索产生器模块提议与新的功能相关联的线索的示图；
图12是示出根据本公开的实施例的集成的智能系统的智能服务器的框图；
图13是示出根据本公开的实施例的自然语言理解(NLU)模块的自然语言理解方法的示图；
图14是示出根据本公开的实施例的路径规划器模块的路径规则(pathrule)产生方法的示图；
图15是示出根据本公开的实施例的产生路径规划器模块的路径规则的框图；
图16是示出根据本公开的实施例的路径规划器模块使用存储在个人信息服务器中的用户信息的示图；
图17A和图17B是示出根据本公开的实施例的集成的智能系统的用户输入处理方法的流程图；
图18是示出根据本公开的实施例的由用户终端执行集成的智能系统服务的屏幕的示图；
图19是示出根据本公开的实施例的用户终端接收用于识别语音的输入的示图；
图20是示出根据本公开的实施例的一个app由用户终端执行的情况的示图；
图21是示出根据本公开的实施例的一个app由用户终端执行的情况的示图；
图22和图23是示出根据本公开的实施例的在用于执行用户终端的一个app的处理中信息的部分不充足的情况的示图；
图24A、图24B和图24C是示出根据本公开的实施例的在用于执行用户终端的一个app的处理中信息的部分不充足的情况的示图；
图25是示出根据本公开的实施例的由用户终端执行未存储在规则数据库中的app的情况的示图；
图26是示出根据本公开的实施例的app未安装在用户终端中的情况的示图；
图27是示出根据本公开的实施例的由用户终端执行多个app的情况的示图；
图28是示出根据本公开的实施例的由用户终端执行多个app的情况的示图；
图29是示出根据本公开的实施例的由用户终端的集成的智能系统服务显示另一app的执行屏幕的情况的示图；
图30是示出根据本公开的实施例的由用户终端的集成的智能系统服务以文本的形式显示另一app的执行处理的情况的示图；
图31A和图31B是示出根据本公开的实施例的在用于执行用户终端的多个app的处理中输入各种用户输入的情况的示图；
图32A和图32B是示出根据本公开的实施例的在用于执行用户终端的多个app的处理中不充足的信息被输入的情况的示图；
图33是示出根据本公开的实施例的用户终端的语音输入处理方法的流程图；
图34是示出根据本公开的各个实施例的网络环境系统中的电子装置；
图35是示出根据本公开的各个实施例的电子装置的框图；
图36是示出根据本公开的各个实施例的程序模块的框图。
贯穿附图，应注意，相同的参考标号用于描绘相同或相似的元件、特征和结构。
具体实施方式
提供下面的参照附图进行的描述以帮助对由权利要求和它们的等同物所限定的本公开的各个实施例的全面理解。这些描述包括用于帮助理解的各种具体细节，但这些细节将仅被认为是示例性的。因此，本领域普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可对在此描述的各个实施例做出各种改变和修改。此外，为了清楚和简明，将省略对公知功能和结构的描述。
在下面的描述和权利要求中使用的术语和词语不限于书目含义，而是这些术语和词语仅被发明人使用，以使得清楚和一致地理解本公开。因此，本领域技术人员应清楚的是，提供下面的本公开的各个实施例的描述仅出于说明性目的，而不是出于限制由权利要求和它们的等同物所限定的本公开的目的。
将理解，除非上下文另外清楚地指示，否则单数形式包括复数的参照对象。因此，例如，提到“组件表面”包括提到一个或多个这样的表面。
在本公开中，在此使用的表述“具有”、“可具有”、“包括”或“可包括”指示存在对应特征(例如，诸如数值、功能、操作或组件的元素)，但是不排除存在额外特征。
在本公开中，表述“A或B”、“A和/或B中的至少一个”或者“A和/或B中的一个或多个”等可包括一个或多个相关所列项的任意和所有组合。例如，术语“A或B”、“A和B中的至少一个”或者“A或B中的至少一个”表示以下全部情况：情况(1)包括至少一个A；情况(2)包括至少一个B；或情况(3)包括至少一个A和至少一个B二者。
在本公开中使用的诸如“第一”、“第二”等的术语可不管次序和/或重要性表示各个元件以将相关元件与其他元件区分，而不限制这些元件。例如，“第一用户装置”和“第二用户装置”不管次序或重要性指示不同的用户装置。例如，在不脱离本公开的范围的情况下，第一元件可被称为第二元件，相似地，第二元件可被称为第一元件。
将理解，当元件(例如，第一元件)被称为“(可操作地或通信地)结合到”或“连接到”另一元件(例如，第二元件)/与另一元件“结合”时，它可直接连接到或直接结合到另一元件/与另一元件结合，或者可存在介于中间的元件(例如，第三元件)。相反，应理解，当元件(例如，第一元件)被称为“直接连接到”或“直接结合到”另一元件(第二元件)/与另一元件“结合”时，不存在介于中间的元件(例如，第三元件)。
在本公开中使用的表述“被配置为”可根据情况被用作例如表述“合适于”、“具有……的能力”、“被设计为”、“适合于”、“被做成”或“能够”。术语“被配置为”不必表示在硬件中“专门被设计为”。反而，表述“被配置为……的装置”可表示该装置“能够”与另一装置或其他组件一起操作。例如，“被配置为(或者，被设置为)执行A、B和C的处理器”可表示用于执行对应操作的专用处理器(例如，嵌入式处理器)或者通过执行存储在存储器装置中的一个或多个软件程序来执行对应操作的通用处理器(例如，中央处理器(CPU)或应用处理器(AP))。
在本公开中使用的术语用于描述特定实施例，而不意在限制本公开的范围。除非另外说明，否则单数形式的术语可包括复数形式。在此使用的包括技术术语或科学术语的所有术语可具有与本领域技术人员通常理解的含义相同的含义。还将理解，除非在本公开的各个实施例中清楚地如此定义，否则在通用字典中定义的术语也应被解释为相关的相关领域中的惯用含义，而不是理想化或关于正式的含义。在一些情况下，即使术语是在本公开中定义的术语，它们也不被解释为排除本公开的实施例。
例如，根据本公开的各个实施例的电子装置可包括以下项中的至少一个：智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式PC、膝上型PC、上网本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、运动图像专家组(MPEG-1或MPEG-2)、音频层3(MP3)播放器、移动医疗装置、相机和可穿戴装置。根据各个实施例，可穿戴装置可包括以下项中的至少一个：配件型(例如，表、戒指、手链、脚链、项链、眼镜、隐形眼镜或头戴装置(HMD))、织物或服装集成型(例如，电子服装)、身体安装型(例如，皮肤护垫或纹身)、和生物可植入型(例如，可植入电路)。
根据各个实施例，电子装置可以是家电。例如，家电可包括以下项中的至少一个：电视机(TV)、数字视频盘(DVD)播放器、音响、冰箱、空调、吸尘器、烤炉、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、TV盒(例如，Samsung HomeSyncTM、Apple TVTM或GoogleTVTM)、游戏机(例如，XboxTM或PlayStationTM)、电子词典、电子钥匙、摄像机、电子相框等。
根据另一实施例，电子装置可包括以下项中的至少一个：各种医疗装置(例如，各种便携式医疗测量装置(例如，血糖监控装置、心率测量装置、血压测量装置、体温测量装置等)、磁共振血管造影(MRA)、磁共振成像(MRI)、计算机断层扫描(CT)、扫描仪和超声装置)、导航装置、全球导航卫星系统(GNSS)、行车记录仪(EDR)、飞行数据记录器(FDR)、车辆信息娱乐装置、船舶电子装置(例如，导航装置或陀螺罗盘)、航空电子、安全装置、车辆头部单元、家庭机器人或工业机器人、自动取款机(ATM)、商店的销售点(POS)装置或物联网(例如，灯泡、各种传感器、电表或气表、洒水装置、火警警报器、恒温器、路灯、烤面包机、训练器材、热水箱、加热器、锅炉等)。
根据实施例，电子装置的示例可包括以下项中的至少一个：家具或建筑/结构的部分、电子板、电子签名接收装置、投影仪、和各种测量仪器(例如，水表、电表、气表或测波计等)。根据各个实施例，电子装置可以是上述装置中的一个或它们的组合。此外，根据本公开的实施例的电子装置不限于上述电子装置，并且可包括其他电子装置和根据技术的发展的新电子装置。
在下文中，将参照附图描述根据各个实施例的电子装置。在本公开中，术语“用户”可表示使用电子装置的人或使用电子装置的装置(例如，人工智能电子装置)。
图1是示出根据本公开的各个实施例的集成的智能系统的示图。
参照图1，集成的智能系统10可包括用户终端100(例如，图34的电子装置3401)、智能服务器200、个人信息服务器300和提议服务器400。
用户终端100可通过存储在用户终端100中的应用(app)(或者，应用程序)(例如，闹钟app、消息app、图片(图库)app等)向用户提供服务。例如，用户终端100可通过存储在用户终端100中的智能app(或者，语音识别app)执行和操作其他app。其他app可通过用户终端100的智能app被执行，并且用于执行任务的用户输入可被接收。例如，用户输入可通过物理按钮、触摸板、语音输入等被接收。根据实施例，与互联网连接的各种类型的终端装置(或者，电子装置)(诸如，移动电话、智能电话、PDA、上网本计算机等)可对应于用户终端100。
根据实施例，用户终端100可接收用户的话语作为用户输入。用户终端100可接收用户的话语，并可基于用户的话语产生用于操作app的指令。如此，用户终端100可通过使用该指令来操作app。
智能服务器200可经由通信网络从用户终端100接收用户的语音输入，并可将用户的语音输入改变为文本数据。在另一实施例中，智能服务器200可基于该文本数据来产生(或者，选择)路径规则(path rule)。路径规则可包括关于用于执行app的功能的动作(或者，操作)的信息和关于用于执行该动作的参数的信息。此外，路径规则可包括app的动作的序列。用户终端100可接收路径规则，可根据路径规则选择应用，并可在选择的应用中执行包括在路径规则中的动作。
通常，本公开的术语“路径规则”可指示，但不限于，电子装置执行由用户请求的任务的状态的序列。换言之，路径规则可包括关于状态的序列的信息。例如，任务可以是智能app提供的特定动作。任务可包括调度的产生、图片到期望的对手(opponent)的传输或天气信息的提供。用户终端100可通过顺序地具有至少一个或多个状态(例如，用户终端100的操作状态)来执行任务。
根据实施例，路径规则可由人工智能(AI)系统提供或产生。人工智能系统可以是基于规则的系统，或者可以是基于神经网络的系统(例如，前馈神经网络(FNN)或递归神经网络(RNN))。可选地，人工功能系统可以是上述系统的组合，或者可与上述系统不同。根据实施例，可从预先定义的路径规则的集合选择路径规则，或者可响应于用户请求实时地产生路径规则。例如，智能系统可选择预先定义的多个路径规则中的至少一个路径规则，或者可动态地(或者，实时地)产生路径规则。此外，用户终端100可使用混合系统来提供路径规则。
根据实施例，用户终端100可执行动作，并可在显示器上显示与执行该动作的用户终端100的状态对应的屏幕。根据另一实施例，用户终端100可执行动作，并可不在显示器上显示通过执行该动作获得的结果。例如，用户终端100可执行多个动作，并可在显示器上仅显示多个动作的部分的结果。例如，用户终端100可在显示器上仅显示通过执行最后的动作获得的结果。根据另一实施例，用户终端100可在显示器上显示通过响应于用户输入(例如，用户的语音、触摸等)执行动作获得的结果。
个人信息服务器300可包括存储用户信息的数据库。例如，个人信息服务器300可从用户终端100接收用户信息(例如，上下文信息、关于app的执行的信息等)，并可将用户信息存储在数据库中。智能服务器200可用于在经由通信网络从个人信息服务器300接收用户信息之后产生与用户输入相关联的路径规则。根据实施例，用户终端100可经由通信网络从个人信息服务器300接收用户信息，并可使用用户信息作为用于管理数据库的信息。
提议服务器400可包括存储关于终端中的功能、应用的引入或将被提供的功能的信息的数据库。例如，提议服务器400可包括与用户通过从个人信息服务器300接收用户终端100的用户信息来利用的功能相关联的数据库。用户终端100可经由通信网络从提议服务器400接收关于将被提供的功能的信息，并可向用户提供该信息。
根据实施例，集成的智能系统10可经由用户终端100接收用户的话语作为用户输入，可经由智能服务器200基于用户输入产生路径规则，并可根据接收的路径规则执行用户终端100的app的动作。根据另一实施例，用户终端100可包括智能服务器200、个人信息服务器300和提议服务器400的所有功能或部分功能。例如，用户终端100可基于用户输入产生路径规则，并可操作app。根据另一实施例，智能服务器200、个人信息服务器300和提议服务器400可被实现为一个或多个外部装置。
图2是示出根据本公开的实施例的集成的智能系统的用户终端的框图。
集成的智能系统10可包括用户终端100、智能服务器200、个人信息服务器300和提议服务器400。
参照图2，用户终端100可包括输入模块110、显示器120(例如，图34的显示器3460)、扬声器130、存储器140(例如，图34的存储器3430)和处理器150(例如，图34的处理器3420)。用户终端100还可包括外壳，用户终端100的元件可被容纳在外壳内，或者可设置在外壳上。用户终端100还可包括设置在外壳内的通信电路。用户终端100可经由通信电路将数据(或者，信息)发送到外部服务器(例如，智能服务器200)或者从外部服务器接收数据。
根据实施例，输入模块110可从用户接收用户输入。例如，输入模块110可从连接的外部装置(例如，键盘或耳机)接收用户输入。再例如，输入模块110可包括结合到显示器120的触摸屏(例如，触摸屏显示器)。再例如，输入模块110可包括设置在用户终端100(或者用户终端100的外壳)内的硬件键(例如，物理键)。
根据实施例，输入模块110可包括能够接收用户的话语作为语音信号的麦克风111。例如，输入模块110可包括语声输入系统，并可经由语声输入系统接收用户的话语作为语音信号。例如，麦克风可通过外壳的部分(例如，第一部分)被暴露。
根据实施例，显示器120可显示图像、视频或应用的执行屏幕中的至少一个。例如，显示器120可显示app的图形用户界面(GUI)。根据实施例，显示器120可以是包括触摸面板的触摸屏显示器。根据实施例，显示器120可被暴露到外壳的部分(例如，第二部分)。
根据实施例，扬声器130可输出语音信号。例如，扬声器130可将在用户终端100中产生的语音信号输出到外部。根据实施例，扬声器130可被暴露到外壳的部分(例如，第三部分)。
根据实施例，存储器140可存储多个app 141和143。例如，多个app 141和143中的每个可以是用于执行与用户输入对应的功能的程序。根据实施例，存储器140可包括非易失性存储器(例如，闪存、硬盘等)和易失性存储器(例如，随机存取存储器(RAM))，多个app141和143可被存储在非易失性存储器中，并可在被加载到易失性存储器之后被执行。
根据实施例，存储器140可包括能够存储用于识别用户输入的信息的数据库。例如，存储器140可包括能够存储日志信息的日志数据库。再例如，存储器140可包括能够存储用户信息的人物角色(persona)数据库。
根据实施例，处理器150可控制用户终端100的全部动作。例如，处理器150可控制输入模块110接收用户输入。处理器150可控制显示器120显示图像。处理器150可控制扬声器130输出语音信号。处理器150可控制存储器140读取或存储信息。
根据实施例，处理器150可包括智能代理(intelligence agent)151、执行管理器模块153和智能服务模块155。在一个实施例中，处理器150可通过执行存储在存储器140中的指令来驱动智能代理151、执行管理器模块153和智能服务模块155。例如，智能代理151、执行管理器模块153和智能服务模块155可以是存储在存储器140中的框架(或者，应用框架)。智能代理151、执行管理器模块153和智能服务模块155的功能可由处理器150来实现。换言之，在本公开的各个实施例中描述的各种模块可由硬件或由元件来实现。在本公开的各个实施例中，应理解，由智能代理151、执行管理器模块153和智能服务模块155执行的动作是由处理器150执行的动作。
智能代理151可基于作为用户输入接收的语音信号产生用于操作app的指令。执行管理器模块153可根据从智能代理151产生的指令来选择、开始(launch)和操作存储在存储器140中的app 141和143。智能服务模块155可管理用户的信息，并可通过使用用户的信息处理用户输入。
根据实施例，处理器150可根据存储在存储器140中的指令来操作。例如，在存储在存储器140中的指令被执行之后，处理器150可控制用户终端100。
图3是示出根据本公开的实施例的存储在用户终端的存储器中的app在被加载之后进行操作的框图。
参照图3，存储器140可存储多个app 141和143，并且多个app 141和143可在被加载之后进行操作。例如，存储在存储器140中的多个app 141和143可在被加载之后由执行管理器模块153进行操作。多个app 141和143可包括执行功能和多个动作(或者，单元动作)141b和143b的执行服务模块141a和143a。执行服务模块141a和143a可由处理器150的执行管理器模块153产生，并然后可执行多个动作141b和143b。换言之，执行服务模块141a和143a可由执行管理器模块153激活，并然后可执行多个动作141b和143b。
根据实施例，当app 141和143的动作141b和143b被执行时，根据动作141b和143b的执行的执行状态屏幕可被显示在显示器120上。例如，执行状态屏幕可以是动作141b和143b被完成的状态下的屏幕。再例如，执行状态屏幕可以是动作141b和143b的执行处于部分登录(landing)的状态下(例如，在用于动作141b和143b的参数未被输入的情况下)的屏幕。
例如，根据实施例，app 141和143的执行服务模块141a和143a以及多个动作141b和143b可使用程序语言来实现。换言之，多个app 141和143可使用用于执行服务和多个动作的代码或程序语言来实现。
根据实施例，执行服务模块141a和143a可根据路径规则执行动作141b和143b。例如，执行服务模块141a和143a可由执行管理器模块153产生，可根据路径规则从执行管理器模块153接收执行请求，并可根据执行请求执行动作141b和143b。如果动作141b和143b的执行被完成，则执行服务模块141a和143a可将完成消息发送到执行管理器模块153。
根据实施例，在多个动作141b和143b分别在app 141和143中被执行的情况下，多个动作141b和143b可顺序地被执行。如果一个动作(例如，第一app 141的动作1或第二app143的动作1)的执行被完成，则执行服务模块141a和143a可开启(open)下一动作(例如，第一app 141的动作2或第二app 143的动作2)，并可将完成消息发送到执行管理器模块153。这里，应理解，开启任意动作是将该任意动作的状态改变为可执行状态或者是对动作的执行进行准备。换言之，如果该任意动作未被开启，则对应的动作不可被执行。如果接收到完成信息，则执行管理器模块153可将与下一动作(例如，第一app 141的动作2或第二app 143的动作2)相关联的执行请求发送到执行服务模块141a和143a。根据实施例，在多个app 141和143被执行的情况下，多个app 141和143可被顺序地执行。例如，如果在完成第一app 141的最后的动作的执行之后接收到完成消息，则执行管理器模块153可将第二app143的第一动作的执行请求发送到执行服务模块143a。
根据实施例，在多个动作141b和143b在app 141和143中被执行的情况下，根据多个动作141b和143b中的每个的执行的结果屏幕可被显示在显示器120上。根据实施例，仅根据多个动作141b和143b中的每个的执行的多个结果屏幕的部分可被显示在显示器120上。
根据实施例，存储器140可存储结合智能代理151进行操作的app(例如，语音识别app)。结合智能代理151进行操作的app可接收和处理用户的话语作为语音信号。根据实施例，结合智能代理151进行操作的app可通过经由输入模块110输入的特定输入(例如，通过硬件键的输入、通过触摸屏的输入或特定语音输入)被操作。
图4是示出根据本公开的实施例的用户终端的处理器的框图。
参照图4，处理器150可包括智能代理151、执行管理器模块153和智能服务模块155。
智能代理151可将经由输入模块110接收的用户输入发送到智能服务器200，并可经由智能服务器200处理用户输入。
根据实施例，在将用户输入发送到智能服务器200之前，智能代理151可对用户输入进行预处理。根据实施例，为了对用户输入进行预处理，智能代理151可包括：自适应回声抵消器(AEC)模块、噪声抑制(NS)模块、端点检测(EPD)模块和自动增益控制(AGC)模块。AEC模块可去除包括在用户输入中的回声。NS模块可抑制包括在用户输入中的背景噪声。EPD模块可检测包括在用户输入中的用户语音的端点，并可通过使用检测到的端点来搜索用户语音出现的部分。AGC模块可识别用户输入，并可调节用户输入的音量，以合适于处理识别的用户输入。根据实施例，智能代理151可针对性能而执行所有的预处理元件。然而，在另一实施例中，智能代理151可执行预处理元件的部分，以在低功率操作。
根据实施例，智能代理151可包括识别用户的调用(call)的唤醒识别模块。唤醒识别模块可识别用户的唤醒指令。在唤醒识别模块接收到唤醒识别指令的情况下，唤醒识别模块可激活智能代理151用于接收用户输入。在唤醒识别模块接收到唤醒指令的情况下，唤醒识别模块可执行智能代理151用于接收用户输入。根据实施例，智能代理151的唤醒识别模块可使用低功率处理器(例如，包括在音频编解码器中的处理器)来实现。唤醒识别模块包括语音识别模块。
根据实施例，智能代理151可包括用于执行用户输入的语音识别模块。智能代理151可通过语音识别模块来识别用于执行app中的动作的用户输入。例如，语音识别模块可识别用于执行动作(诸如，app 141和143中的唤醒指令)的有限的用户(语音)输入(例如，诸如用于当相机app正被执行时执行捕获动作的“咔嚓声(click)”的话语)。例如，因为对环境噪声具有鲁棒性，所以识别有限的用户输入的语音识别模块可具有高的语音识别率。再例如，语音识别模块可在辅助智能服务器200的同时，识别用于执行app中的动作的多个用户(语音)输入(例如，音乐播放app中的“播放”、“停止”、“下一首歌”等)。例如，用于在辅助智能服务器200的同时识别用户输入的语音识别模块可识别和迅速处理在用户终端100中处理的用户指令。根据实施例，智能代理151的用于执行用户输入的语音识别模块可在应用处理器中被实现。
根据实施例，智能代理151的语音识别模块(包括唤醒识别模块的语音识别模块)可通过使用用于识别语音的算法来识别用户输入。例如用于识别语音的算法可以是隐马尔可夫模型(HMM)算法、人工神经网络(ANN)算法和动态时间规整(DTW)算法中的至少一个。
根据实施例，智能代理151可将用户的语音输入改变为文本数据。例如，智能代理151可将用户的语音发送到智能服务器200，并可从智能服务器200接收与用户的语音对应的文本数据。如此，智能代理151可将文本数据显示在显示器120上。
根据实施例，智能代理151可从智能服务器200接收路径规则。根据实施例，智能代理151可将路径规则发送到执行管理器模块153。
根据实施例，智能代理151可将根据从智能服务器200接收到的路径规则的执行结果日志发送到智能服务模块155，并且发送的执行结果日志可在人物角色模块155b的用户的偏好信息中被累积和管理。
执行管理器模块153可从智能代理151接收路径规则以执行app 141和143，并且可使app 141和143执行包括在路径规则中的动作141b和143b。例如，执行管理器模块153可将用于执行动作141b和143b的指令信息发送到app 141和143，并可从app 141和143接收动作141b和143b的完成信息。
根据实施例，执行管理器模块153可在智能代理151与app 141和143之间发送用于执行app 141和143的动作141b和143b的指令信息。执行管理器模块153可根据路径规则绑定(bind)将被执行的app 141和143，并可将包括在路径规则中的动作141b和143b的指令信息发送到app 141和143。例如，执行管理器模块153可将包括在路径规则中的动作141b和143b的指令信息顺序地发送到app 141和143，并可根据路径规则顺序地执行app 141和143的动作141b和143b。
根据实施例，执行管理器模块153可管理app 141和143的动作141b和143b的执行状态。例如，执行管理器模块153可从app 141和143接收关于动作141b和143b的执行状态的信息。例如，在动作141b和143b的执行状态被部分登录(landing)的情况下(例如，在用于动作141b和143b的参数未被输入的情况下)，执行管理器模块153可将关于部分登录的信息发送到智能代理151。智能代理151可通过使用接收的信息向用户做出用于信息(例如，参数信息)的输入的请求。再例如，在动作141b和143b的执行状态处于操作状态的情况下，智能代理151可从用户接收话语。执行管理器模块153可将关于app 141和143正被执行以及app141和143的执行状态的信息发送到智能代理151。智能代理151可经由智能服务器200接收用户的话语的参数信息，并可将接收的参数信息发送到执行管理器模块153。执行管理器模块153可通过使用接收的参数信息将动作141b和143b中的每个的参数改变为新的参数。
根据实施例，执行管理器模块153可将包括在路径规则中的参数信息发送到app141和143。在多个app 141和143根据路径规则被顺序地执行的情况下，执行管理器模块153可将包括在路径规则中的参数信息从一个app发送到另一app。
根据实施例，执行管理器模块153可接收多个路径规则。执行管理器模块153可基于用户的话语选择多个路径规则。根据实施例，执行管理器模块153可基于用户的话语指定一个应用141执行一些动作141b，并可不指定另一app 143执行剩余的动作143b。例如，执行一个动作141b的同一app(例如，图库app)的动作可在被确定之后被执行，并且执行管理器模块153可接收用于执行不同的app 143(例如，消息app或电报app)的多个不同的路径规则，其中，不同的app 143执行另一动作143b或不同的动作(例如，消息的传输、消息的搜索、消息接收者的输入等)。例如，执行管理器模块153可执行多个路径规则的相同动作141b和143b(例如，相同的连续动作141b和143b)。在执行管理器模块153执行同一动作的情况下，执行管理器模块153可在显示器120上显示用于选择包括在多个路径规则中的不同app 141和143的状态屏幕。
图5是示出根据本公开的实施例的智能代理(intelligence agent)处理用户输入的框图。
参照图5，如果接收到用户的话语，则智能代理151可将用户的话语发送到智能服务器200。智能服务器200可通过分析接收的用户的话语来产生用于操作app 141和143的路径规则，并可将产生的路径规则发送到智能代理151。智能代理151可接收路径规则，并可出于执行app 141和143的目的将路径规则发送到执行管理器模块153。执行管理器模块153可接收路径规则，可产生app 141和143的执行服务模块141a和143a，并可基于路径规则请求产生的执行服务模块141a和143a顺序地执行包括在路径规则中的动作141b和143b。app141和143可执行请求的动作141b和143b，并可将关于请求的动作141b和143b的执行状态的信息发送到执行管理器模块153。与在app 141和143中执行的动作141b和143b相关联的结果屏幕可被显示在显示器120上。
根据实施例，在app 141和143根据路径规则被选择和被执行的情况下，处理器150可在显示器120上显示正被执行的app 141和143的图像用户界面。根据实施例，在处理器150根据路径规则操作app的情况下，处理器150可在显示器120上显示app 141和143的操作处理。
智能服务模块155可包括上下文模块155a、人物角色模块155b和提议模块155c。
上下文模块155a可从app 141和143收集app 141和143的当前状态。例如，上下文模块155a可接收指示app 141和143的当前状态的上下文信息，并可通过接收的上下文信息收集app 141和143的当前状态。
图6是示出根据本公开的实施例的处理器的上下文模块收集当前状态的框图。
参照图6，如果从智能代理151接收到上下文请求(①)，则上下文模块155a可向app141和143做出针对指示app 141和143的当前状态的上下文信息的请求(②)。根据实施例，上下文模块155a可从app 141和143接收上下文信息(③)，并可将上下文信息发送到智能代理151(④)。
根据实施例，上下文模块155a可从app 141和143接收多条上下文信息。例如，上下文信息可以是关于最近执行的app 141和143的信息。再例如，上下文信息可以是关于app141和143中的当前状态的信息(例如，在用户通过图库app观看图片的情况下的关于对应图片的信息)。
根据实施例，上下文模块155a可从装置平台以及app 141和143接收指示用户终端100的当前状态的上下文信息。上下文信息可包括一般上下文信息、用户上下文信息和装置上下文信息。
一般上下文信息可包括用户终端100的一般信息。在数据经由装置平台的传感器中枢等被接收之后，一般上下文信息可通过内部算法被验证。例如，一般上下文信息可包括关于当前时间和空间的信息。例如，关于当前时间和空间的信息可包括关于用户终端100的当前时间和当前位置的信息。当前时间可通过用户终端100上的时间被验证，关于当前位置的信息可通过全球定位系统(GPS)被验证。再例如，一般上下文信息可包括关于物理运动的信息。例如，关于物理运动的信息可包括关于步行、跑步、驾驶等的信息。关于物理运动的信息可通过运动传感器被验证。在关于驾驶的信息的情况下，驾驶可通过运动传感器被验证，并且上车(boarding)和停车可通过在车辆中感测蓝牙连接被验证。再例如，一般上下文信息可包括用户活动信息。例如，用户活动信息可包括关于通勤、购物、旅行等的信息。用户活动信息可通过使用关于用户或app在数据库中登记(register)的地点的信息被验证。
用户上下文信息可包括关于用户的信息。例如，用户上下文信息可包括关于用户的情绪状态的信息。例如，关于用户的情绪状态的信息可包括关于用户的快乐、悲伤、愤怒等的信息。再例如，用户上下文信息可包括关于用户的当前状态的信息。例如，关于用户的当前状态的信息可包括关于兴趣、意图等(例如，购物)的信息。
装置上下文信息可包括关于用户终端100的状态的信息。例如，装置上下文信息可包括关于执行管理器模块153所执行的路径规则的信息。再例如，装置上下文信息可包括关于电池的信息。例如，关于电池的信息可通过电池的充电和放电状态被验证。再例如，装置上下文信息可包括关于连接的装置和网络的信息。关于连接的装置的信息可通过与该装置连接的通信接口被验证。
图4的人物角色模块155b可管理使用用户终端100的用户的个人信息。例如，人物角色模块155b可收集用户终端100的使用信息和执行结果，并可通过使用收集的用户终端100的使用信息和收集的用户终端100的执行结果来管理用户的个人信息。
图7是示出根据本公开的实施例的人物角色模块管理用户的信息的框图。
参照图7，人物角色模块155b可从app 141和143、执行管理器模块153以及上下文模块155a接收用户终端100的信息。app 141和143以及执行管理器模块153可将关于通过执行app的动作141b和143b获得的结果的信息存储在动作日志数据库中。上下文模块155a可将关于用户终端100的当前状态的信息存储在上下文数据库中。人物角色模块155b可从动作日志数据库和上下文数据库接收存储的信息。例如，存储在动作日志数据库和上下文数据库中的数据可由分析引擎进行分析，并可被发送到人物角色模块155b。
根据实施例，人物角色模块155b可将从app 141和143、执行管理器模块153以及上下文模块155a接收的信息发送到提议模块155c。例如，人物角色模块155b可将存储在动作日志数据库和上下文数据库中的数据发送到提议模块155c。
根据实施例，人物角色模块155b可将从app 141和143、执行管理器模块153以及上下文模块155a接收的信息发送到个人信息服务器300。例如，人物角色模块155b将在动作日志数据库和上下文数据库中累积和存储的数据周期性地发送到个人信息服务器300。
根据实施例，人物角色模块155b可将存储在动作日志数据库和上下文数据库中的数据发送到提议模块155c。由人物角色模块155b产生的用户信息可被存储在人物角色数据库中。人物角色模块155b将存储在人物角色数据库中的用户信息周期性地发送到个人信息服务器300。根据实施例，由人物角色模块155b发送到个人信息服务器300的信息可被存储在人物角色数据库中。个人信息服务器300可通过使用存储在人物角色数据库中的信息来估计用于产生智能服务器200的路径规则的用户信息。
根据实施例，通过使用由人物角色模块155b发送的信息估计的用户信息可包括个人资料(profile)信息和偏好信息。个人资料信息和偏好信息可通过用户的账户和累积的信息来估计。
个人资料信息可包括用户的个人信息。例如，个人资料信息可包括用户的人口统计信息。例如，人口统计信息可包括用户的性别、年龄等。再例如，个人资料信息可包括生活事件信息。例如，生活事件信息可通过将日志信息与生活事件模型进行比较来估计，并可通过对行为模式进行分析来强化。再例如，个人资料信息可包括兴趣信息。例如，兴趣信息可包括感兴趣的购物项、感兴趣的领域(例如，体育、政治等)。再例如，个人资料信息可包括活动区域信息。例如，活动区域信息可包括关于住宅、工作地点等的信息。关于活动区域的信息可包括关于优先级基于累积的停留时间和访问的数量被记录的区域的信息以及关于一个地点的位置的信息。再例如，个人资料信息可包括活动时间信息。例如，活动时间信息可包括关于唤醒时间、通勤时间、睡眠时间等的信息。关于通勤时间的信息可通过使用活动区域信息(例如，关于住宅和工作地点的信息)来估计。关于睡眠时间的信息可通过用户终端100的未使用时间来估计。
偏好信息可包括用户的偏好信息。例如，偏好信息可包括关于app偏好的信息。例如，app偏好可通过app的使用日志(例如，特定时间和地点的使用日志)来估计。app偏好可用于根据用户的当前状态(例如，时间或地点)来确定将被执行的app。再例如，偏好信息可包括关于联系人(contact)偏好的信息。例如，联系人偏好可通过对关于联系人的联系频率(例如，特定时间和地点联系频率)的信息进行分析来估计。联系人偏好可用于基于用户的当前状态(例如，针对重复名称的联系人)来确定将被联系的联系人。再例如，偏好信息可包括设置信息。例如，设置信息可通过对关于特定设置值的设置频率(例如，特定时间和地点设置设置值的频率)的信息进行分析来估计。设置信息可用于根据用户的当前状态(例如，时间、地点或情形)来设置特定设置值。再例如，偏好信息可包括地点偏好。例如，地点偏好可通过特定地点的访问历史(例如，特定时间访问历史)来估计。地点偏好可用于根据用户的当前状态(例如，时间)来确定用于访问的地点。再例如，偏好信息可包括指令偏好。例如，指令偏好可通过指令的使用频率(例如，特定时间和地点使用频率)来估计。指令偏好可用于根据用户的当前状态(例如，时间或地点)来确定将被使用的指令模式。具体地讲，指令偏好可包括关于通过对日志信息进行分析在正被使用的app的当前状态下由用户最频繁选择的菜单的信息。
图4的提议模块155c可估计用户的意图，并可基于用户的意图向用户推荐指令。例如，提议模块155c可根据用户的当前状态(例如，时间、地点、情形或app)向用户推荐指令。
图8是示出根据本公开的实施例的提议模块的框图。
参照图8，提议模块155c可包括线索提供器模块155c_1、上下文线索产生器模块155c_2、条件检查模块155c_3、条件建模(model)模块155c_4、重新使用线索产生器模块155c_5和引入线索产生器模块155c_6。
根据实施例，线索提供器模块155c_1可向用户提供线索。例如，线索提供器模块155c_1可接收由上下文线索产生器模块155c_2、重新使用线索产生器模块155c_5和引入线索产生器模块155c_6产生的线索，并可向用户提供线索。
上下文线索产生器模块155c_2可通过条件检查模块155c_3和条件建模模块155c_4根据当前状态产生将被推荐的线索。条件检查模块155c_3可经由智能服务模块155接收与当前状态对应的信息，并且条件建模模块155c_4可通过使用接收的信息设置条件模型。例如，条件建模模块155c_4可按通过在将线索提供给用户时的时间点抓取时间、位置、情形、正被执行的app等的优先级的次序向用户提供可能在对应的条件下使用的线索。
重新使用线索产生器模块155c_5可根据使用频率产生将被推荐的线索。例如，重新使用产生器模块155c_5可基于用户的使用模式产生线索。
根据实施例，上下文线索产生器模块155c_2可通过条件检查模块155c_3或条件建模模块155c_4根据当前状态产生将被推荐的线索。条件检查模块155c_3可经由智能服务模块155接收与当前状态对应的信息，并且条件建模模块155c_4可通过使用接收的信息设置条件模型。例如，条件建模模块155c_4可按通过在将线索提供给用户时的时间点抓取时间、位置、情形、正被执行的app等的优先级的次序向用户提供可能在对应的条件下使用的线索。
根据实施例，重新使用线索产生器模块155c_5可根据当前状态或根据使用频率产生将被推荐的线索。例如，重新使用产生器模块155c_5可基于用户的使用模式产生线索。
引入线索产生器模块155c_6可产生用于向用户引入新功能和被另一用户最频繁使用的功能的线索。例如，用于引入新功能的线索可包括与智能代理151相关联的引入(例如，操作方法)。
根据另一实施例，提议模块155c的上下文产生器模块155c_2、条件检查模块155c_3、条件建模模块155c_4、重新使用线索产生器模块155c_5和引入线索产生器模块155c_6可被包括在个人信息服务器300中。例如，提议模块155c的线索提供器模块155c_1可从个人信息服务器300的上下文产生器模块155c_2、重新使用线索产生器模块155c_5和引入线索产生器模块155c_6接收线索，并可向用户提供接收的线索。
图9是示出根据本公开的实施例的线索根据提议模块的上下文线索产生器模块的特定情况被提议的示图。
参照图9，如果从智能代理151接收到线索提供请求(①)，则线索提供器模块155c_1可将线索产生请求发送到上下文线索产生器模块155c_2(②)。如果接收到线索产生请求，则上下文线索产生器模块155c_2可通过使用条件检查模块155c_3(③)从上下文模块155a和人物角色模块155b(④)接收与当前状态对应的信息。条件检查模块155c_3可将接收的信息发送到条件建模模块155c_4(⑤)，条件建模模块155c_4可在通过使用该信息的条件下按高的可用性的次序将优先级分配给线索中的提供给用户的线索。上下文线索产生器模块155c_2可验证该条件(⑥)，并可产生与当前状态对应的线索。上下文线索产生器模块155c_2可将产生的线索发送到线索提供器模块155c_1(⑦)。线索提供器模块155c_1可根据特定的规则对该线索进行分类(sort)，并可将该线索发送到智能代理151(⑧)。
下面的表1可表示根据当前状态建模的条件和在该条件下产生的话语(或者，线索)。
表1
Figure BDA0001483262370000231
/>
Figure BDA0001483262370000241
根据实施例，线索提供器模块155c_1可产生多个上下文线索，并可根据特定规则将多个上下文线索指定到优先级。根据实施例，线索提供器模块155c_1可从多个上下文线索之中向用户提供优先级最高的一个。
图10是示出根据本公开的实施例的线索根据重新使用线索产生器模块的使用频率被提议的示图。
参照图10，如果从智能代理151接收到线索提供请求(①)，则线索提供器模块155c_1可将线索产生请求发送到重新使用线索产生器模块155c_5(②)。如果接收到线索产生请求，则重新使用线索产生器模块155c_5可从人物角色模块155b接收用户信息(③)。例如，重新使用线索产生器模块155c_5可接收包括在人物角色模块155b的用户的偏好信息中的路径规则、包括在路径规则中的参数、app的执行频率和关于app被使用的时间和空间的信息。重新使用线索产生器模块155c_5可产生与接收的用户信息对应的线索。重新使用线索产生器模块155c_5可将产生的线索发送到线索提供器模块155c_1(④)。线索提供器模块155c_1可对线索进行分类，并可将线索发送到智能代理151(⑤)。
图11是示出根据本公开的实施例的引入线索产生器模块提议与新的功能相关联的线索的示图。
参照图11，如果从智能代理151接收到线索提供请求(①)，则线索提供器模块155c_1可将线索产生请求发送到引入线索产生器模块155c_6(②)。引入线索产生器模块155c_6可将引入线索提供请求发送到提议服务器400(③)，并可从提议服务器400接收关于将引入的功能的信息(④)。例如，提议服务器400可存储关于将被引入的功能的信息，并且与将被引入的功能相关联的线索列表可由服务商(service operator)更新。引入线索产生器模块155c_6可将产生的线索发送到线索提供器模块155c_1(⑤)。线索提供器模块155c_1可对线索进行分类，并可将线索发送到智能代理151(⑥)。
下面的表2可表示与将被引入的功能相关联的示例和与该示例对应的app(或者，线索)。
表2
应用 引入内容
图库 制作拼图
安全文件夹 将重要数据保持在安全文件夹中
主题 您想要切换到新的主题吗？
电话 您可自动地记录通话
消息 您想要设置消息壁纸吗？
互联网 您可改变默认搜索引擎
S笔记 由S笔记容易地获取备忘录
相机 您可将地点信息存储在照片/视频中
S健康 由S健康测量心率
如此，提议模块155c可向用户提供由上下文线索产生器模块155c_2、重新使用线索产生器模块155c_5和引入线索产生器模块155c_6产生的线索。例如，提议模块155c可在操作智能代理151的app中显示产生的线索，并可通过该app从用户接收用于选择该线索的输入。
图12是示出根据本公开的实施例的集成的智能系统的智能服务器的框图。
参照图12，智能服务器200可包括自动语音识别(ASR)模块210、自然语言理解(NLU)模块、路径规划器模块230、自然语言产生器(NLG)模块240、文本转语声(TTS)模块250和对话管理器(DM)模块260。根据实施例，智能服务器200可包括通信电路、存储器和处理器。处理器可通过执行存储在存储器中的指令来驱动ASR模块210、NLU模块220、路径规划器模块230、NLG模块240、TTS模块250和DM模块260。智能服务器200可通过通信电路将数据(或信息)发送到外部电子装置(例如，用户终端100)或从外部电子装置接收数据(或信息)。
智能服务器200的ASR模块210、NLU模块220和路径规划器模块230可产生路径规则。
根据实施例，ASR模块210可将从用户终端100接收的用户输入改变为文本数据。例如，ASR模块210可包括话语识别模块。话语识别模块可包括声学模型和语言模型。例如，声学模型可包括与发声相关联的信息，语言模型可包括单位音素信息和关于单位音素信息的组合的信息。此外，话语识别模块可基于环境情况(例如，位置信息、环境装置信息等)、使用条件(即，app状态、先前查询历史等)等，选择单位音素信息的部分，或者可将权重分配到单位音素信息的部分。话语识别模块可通过使用与发声相关联的信息和单位音素信息来将用户的话语改变为文本数据。例如，关于声学模型和语言模型的信息可被存储在自动语音识别数据库211中。
根据实施例，智能服务器200还可包括讲话人识别模块。讲话人识别模块可通过基于存储在数据库中的用户信息对用户的话语进行分析，来识别讲话人。讲话人识别模块可基于由用户首先输入的话语来产生讲话人识别模型，并可将产生的讲话人识别模型存储在数据库中。根据实施例，讲话人识别模块可基于讲话人识别模型确定在讲话人识别模块中登记的讲话人是否正确。例如，在讲话人识别模块确定登记的讲话人正确的情况下，与用户输入对应的所有功能可被执行。再例如，在讲话人识别模块确定登记的讲话人不正确的情况下，仅用户输入的有限的功能被执行。根据实施例，讲话人识别模块可用作用于激活语音识别的方法(唤醒识别)。例如，讲话人识别模块可确定登记的讲话人正确，并可对登记的讲话人语音执行语音识别或自然语言处理。
根据实施例，NLU模块220可通过执行句法分析和语义分析来抓取用户意图。句法分析可将用户输入划分为句法单元(例如，单词、短语、词素等)，并可确定划分的单元具有什么句法元素。语义分析可通过使用语义匹配、规则匹配、公式匹配等来执行。如此，NLU模块220可获得针对用户输入使用的领域(domain)、意图和参数(或者，槽(slot))以表达意图。
例如，NLU模块220可通过分别将领域、意图和参数与通过使用包括在基于规则的算法中的匹配的规则的情况进行匹配来抓取用户意图。
根据实施例，路径规划器模块230可通过使用从NLU模块220抓取的用户意图来产生路径规则。下面，将详细描述关于路径规划器模块230的细节。
根据实施例，自然语言产生器模块NLG 240可将特定信息改变为文本形式。改变为文本形式的信息可以是自然语言话语的形式。例如，特定信息可以是关于额外输入的信息、用于引导与用户输入对应的动作的完成的信息或者用于引导用户的额外输入的信息(例如，关于用户输入的反馈信息)。改变为文本形式的信息可在被发送到用户终端100之后被显示在显示器120上，或者可在被发送到TTS模块250之后被改变为语音形式。
根据实施例，TTS模块250可将文本形式的信息改变为语音形式的信息。TTS模块250可从NLG模块240接收文本形式的信息，可将文本形式的信息改变为语音形式的信息，并可将语音形式的信息发送到用户终端100。用户终端100可将语音形式的信息输出到扬声器130。
根据实施例，DM模块260可确定由NLU模块220抓取的用户意图是否清楚。例如，DM模块260可基于参数的信息是否充足来确定用户意图是否清楚。DM模块260可确定由NLU模块220抓取的参数是否足以执行任务。根据实施例，在用户意图不清楚的情况下，DM模块260可执行用于向用户做出针对信息的请求的反馈。例如，DM模块260可执行用于做出针对关于用来抓取用户意图的参数的信息的请求的反馈。
根据实施例，DM模块260可包括内容提供器模块。在内容提供器模块基于由NLU模块220抓取的意图和参数执行动作的情况下，内容提供器模块可产生通过执行与用户输入对应的任务获得的结果。根据实施例，DM模块260可将由内容提供器模块产生的结果作为对用户输入的相应发送到用户终端100。
图13是示出根据本公开的实施例的NLU模块的自然语言理解方法的示图。
参照图13，NLU模块220可通过使用划分为领域、意图和槽(或者，参数)的匹配的规则来抓取用户意图。例如，一个领域(例如，闹钟)可包括多个意图(例如，闹钟设置、闹钟取消等)，并且一个意图可包括多个规则(例如，时间、迭代数量、闹钟声音等)。例如，多个规则可包括一个或多个参数。例如，匹配的规则可被存储在自然语言识别数据库221中。
根据实施例，NLU模块220可通过使用诸如词素、短语等的语言学特征(例如，语法元素)来抓取从用户输入提取的单词的含义，并可通过将抓取的单词的含义与规则进行匹配来确定用户意图。例如，NLU模块220可通过使用关于包括在领域和意图中的每个中的规则的信息通过计算包括有多少从用户输入提取的单词的来抓取用户意图。根据实施例，NLU模块220可通过使用用于抓取意图的单词来确定用户输入的参数。根据实施例，NLU模块220可通过使用存储用于抓取用户输入的意图的语言学特征的自然语言识别数据库221来确定用户意图。根据另一实施例，NLU模块220可通过使用个人语言模型(PLM)来确定用户意图。例如，NLU模块220可通过使用个性化信息(例如，联系人列表或音乐列表)来确定用户意图。例如，PLM可被存储在自然语言识别数据库221中。根据实施例，ASR模块210以及NLU模块220可参照存储在自然语言识别数据库221中的PLM来识别用户的语音。
根据实施例，NLU模块220可基于通过DM模块260抓取的用户意图来确定下一个动作。DM模块260可确定用户意图是否清楚。DM模块260可确定由NLU模块220抓取的参数是否足以执行任务。根据实施例，在用户意图不清楚的情况下，DM模块260可执行用于向用户做出针对信息的请求的反馈。例如，DM模块260可执行用于做出针对关于用来抓取用户意图的参数的信息的请求的反馈。
根据实施例，路径规划器模块230可基于用户输入的意图和关于参数的信息来产生(或者，选择)路径规则。例如，路径规划器模块230可产生与参数和用户输入的意图对应的一个路径规则或多个路径规则。例如，由路径规划器模块230产生的路径规则可包括针对一个app的多个动作，或者可包括针对多个app的多个动作。用于表达(或者，抓取)意图的参数可包括针对app 141和143的动作使用的信息。由路径规划器模块230产生的路径规则可包括关于用于执行app的功能的多个动作的信息和关于针对多个动作使用的多个参数的信息。
根据实施例，路径规划器模块230可通过将参数和用户输入的意图映射到包括多个路径规则的路径规则集来确定路径规则。例如，路径规则集(即，多个路径规则)可以以表形式被存储在路径规则数据库231中，并且多个路径规则的表可由开发者指定。
根据另一实施例，路径规划器模块230可根据参数和用户输入的意图以及多个app的功能通过使用多个app来确定路径规则。例如，路径规划器模块230可根据参数和用户输入的意图将多个app的功能划分为用于执行功能的多个单位动作。划分的多个单位动作中的每个可取决于根据用户输入的意图的执行序列以本体或图形模型的形式来实现。换言之，路径规划器模块230可存储包括以本体或图形模型的形式实现的多个路径规则的路径规则集。
图14是示出根据本公开的实施例的路径规划器模块的路径规则产生方法的示图。
参照图14，路径规划器模块230可将app的功能划分为单位动作(例如，状态A至状态F)，并可将划分的单位动作存储在路径规则数据库231中。例如，路径规划器模块230可将包括被划分为单位动作的多个路径规则A-B1-C1、A-B1-C2、A-B1-C3-D-F和A-B1-C3-D-E-F的路径规则集存储在路径规则数据库231中。
根据实施例，路径规划器模块230的路径规则数据库231可存储用于执行app的功能的路径规则集。路径规则集可包括多个路径规则，其中，多个路径规则中的每个包括多个动作。多个路径规则中的每个可包括被顺序布置的多个动作。根据实施例，以本体或图形模型的形式实现的多个路径规则可被存储在路径规则数据库231中。
根据实施例，路径规划器模块230可选择多个路径规则A-B1-C1、A-B1-C2、A-B1-C3-D-F和A-B1-C3-D-E-F中的与参数和用户输入的意图对应的最优的路径规则A-B1-C3-D-F。
根据实施例，在不存在与用户输入完全匹配的路径规则的情况下，路径规划器模块230可将多个规则发送到用户终端100。例如，路径规划器模块230可选择与用户输入部分地对应的路径规则(例如，A-B1)。路径规划器模块230可选择包括与用户输入部分地对应的路径规则(例如，A-B1)的一个或多个路径规则(例如，A-B1-C1、A-B1-C2、A-B1-C3-D-F和A-B1-C3-D-E-F)，并可将该一个或多个路径规则发送到用户终端100。
根据实施例，路径规划器模块230可基于用户终端100的额外输入来选择多个路径规则中的一个，并可将选择的一个路径规则发送到用户终端100。例如，路径规划器模块230可根据额外地输入到用户终端100的用户输入(例如，用于选择C3的输入)来选择多个路径规则(例如，A-B1-C1、A-B1-C2、A-B1-C3-D-F和A-B1-C3-D-E-F)中的一个路径规则(例如，A-B1-C3-D-F)，并可将选择的一个路径规则发送到用户终端100。
根据另一实施例，路径规划器模块230可通过NLU模块220确定与由用户终端100额外输入的用户输入(例如，用于选择C3的输入)对应的用户意图和参数，并可将参数和用户的意图发送到用户终端100。用户终端100可基于发送的意图和发送的参数选择多个路径规则(例如，A-B1-C1、A-B1-C2、A-B1-C3-D-F和A-B1-C3-D-E-F)中的一个路径规则(例如，A-B1-C3-D-F)。
如此，用户终端100可基于选择的一个路径规则完成app 141和143的动作。
图15是示出根据本公开的实施例的产生路径规划器模块的路径规则的框图。
参照图15，在由智能服务器200接收到信息不充足的用户输入的情况下，路径规划器模块230可产生与接收的用户输入部分地对应的路径规则。路径规划器模块230可将部分地对应的路径规则发送到智能代理151(①)。智能代理151可接收路径规则，可将部分地对应的路径规则发送到执行管理器模块153(②)。执行管理器模块153可根据路径规则执行第一app 141。在执行第一app 141的同时，执行管理器模块153可将关于不充足的参数的信息发送到智能代理151(③)。智能代理151可通过使用关于不充足的参数的信息向用户做出针对额外输入的请求。如果从用户接收到额外输入(④)，则智能代理151可将用户输入发送到智能服务器200。路径规划器模块230可基于额外输入的用户输入的意图和参数信息产生将被添加的路径规则，并可将添加的路径规则发送到智能代理151(⑤)。智能代理151可出于执行第二app 143的目的将路径规则发送到执行管理器模块153(⑥)。
图16是示出根据本公开的实施例的路径规划器模块使用存储在个人信息服务器中的用户信息的示图。
参照图16，在由智能服务器200接收到信息的部分被丢失的用户输入的情况下，路径规划器模块230可将用户信息请求发送到个人信息服务器300。个人信息服务器300可将关于输入存储在人物角色数据库中的用户输入的用户的信息发送到路径规划器模块230。路径规划器模块230可通过使用用户信息选择与动作被部分丢失的用户输入对应的路径规则。
如此，即使由智能服务器200接收到信息的部分被丢失的用户输入，路径规划器模块230也可通过请求丢失的信息以接收额外输入或通过使用用户信息来确定与用户输入对应的路径规则。
根据实施例，下面附上的表3可表示与用户请求的任务相关联的路径规则的形式。
表3
Figure BDA0001483262370000301
Figure BDA0001483262370000311
/>
参照表3，由智能服务器(图1的智能服务器200)根据用户的话语(例如，“共享图片”)产生或选择的路径规则可包括至少一个状态25、26、27、28、29或30。例如，至少一个状态(例如，终端的一个操作状态)可对应于以下中的至少一个：图片应用执行PicturesView25、图片搜索功能执行SearchView 26、搜索结果显示器屏幕输出SearchViewResult 27、图片未被选择的搜索结果显示器屏幕输出SearchEmptySelectedView 28、至少一个图片被选择的搜索结果显示器屏幕输出SearchSelectedView 29，并且共享应用选择屏幕输出CrossShare 30。
在一个实施例中，路径规则的参数信息可对应于至少一个状态。例如，至少一个图片被选择的搜索结果显示器屏幕输出29可被包括在该状态中。
用户请求的任务(例如，“共享图片！”)可根据包括状态25、26、27、28和29的序列的路径规则的执行结果来执行。
图17A和图17B是示出根据本公开的实施例的集成的智能系统的用户输入处理方法的流程图。
参照图17A，用户终端100和智能服务器200可通过处理用户语音来执行app的动作。在将在下面描述的用户终端100和智能服务器200的动作中，上面提到的动作中的一些可被省略，或者上面提到的动作的序列可被改变。
根据实施例，在操作1710中，用户终端100(例如，智能代理151)可接收用户的话语，并可将接收的用户的话语发送到智能服务器200。
根据实施例，在操作1721中，智能服务器200(例如，ASR模块210)可将语音信号的用户输入改变为文本形式。
根据实施例，在操作1723中，智能服务器200(例如，NLU模块220)可提取与改变为文本形式的用户输入对应的意图和参数。
根据实施例，在操作1725中，智能服务器200(例如，路径规划器模块230)可产生与意图和参数对应的路径规则。
根据实施例，在操作1730中，用户终端100(例如，智能代理151)可从智能服务器200接收路径规则。
根据实施例，在操作1740中，用户终端100(例如，执行管理器模块153)可验证与路径规则对应的app的动作。
根据实施例，在操作1751中，用户终端100(例如，执行管理器模块153)可验证该app的第N(例如，N＝1)个动作。
根据实施例，在操作1753中，用户终端100(例如，执行管理器模块153)可根据路径规则绑定将被执行的该app。
根据实施例，在操作1760中，用户终端100(例如，执行管理器模块153以及执行服务模块141a和143a)可确定用户输入是否不足以执行该app的动作。
根据实施例，在用户输入不足以执行该app的动作的情况下，在操作1770，用户终端100(例如，执行管理器模块153以及执行服务模块141a和143a)可向用户做出针对额外输入的请求，并可接收额外输入。
根据实施例，在用户输入足以执行该app的动作的情况下，在操作1780，用户终端100(例如，执行管理器模块153以及执行服务模块141a和143a)可执行第N个动作。
根据实施例，在操作1791中，用户终端100(例如，执行管理器模块153)可确定第(N+1)个动作是否存在。在不存在第(N+1)个动作的情况下，执行管理器模块153可结束该app的执行。
根据实施例，在第(N+1)个动作存在的情况下，在操作1792中，用户终端100(例如，执行管理器模块153以及执行服务模块141a和143a)可通过将现有的N加“1”(N＝N+1)来产生新的N。如此，用户终端100可执行第(N+1)个动作。
参照图17B，用户终端100和智能服务器200可处理用户的额外输入。
根据实施例，在操作1771中，用户终端100(例如，智能代理151)可针对不充足的输入将用于请求执行app的动作所必要的额外输入的信息发送到智能服务器200。
根据实施例，在操作1772中，智能服务器200(例如，DM模块260)可验证与必要的额外输入对应的信息，并可产生必要信息。
根据实施例，在操作1773中，智能服务器200(例如，NLG模块240和TTS模块250)可产生与必要信息对应的文本消息和语音信号。
根据实施例，在操作1774中，用户终端100(例如，智能代理151)可从智能服务器200接收该文本消息和该语音信号。用户终端100可在显示器120上显示该文本消息。用户终端100可通过扬声器130输出该语音信号。
根据实施例，在操作1775中，用户终端100(例如，智能代理151)可从用户接收额外输入。例如，用户的额外输入可包括语音输入、触摸输入、文本输入等。
根据实施例，在操作1776中，用户终端100(例如，智能代理151)可将用户的额外输入发送到智能服务器200。
根据实施例，在操作1777中，智能服务器200(例如，NLU模块220)可提供与额外输入对应的意图和参数。
根据实施例，在操作1778中，智能服务器200(例如，路径规划器模块230)可产生与意图和参数对应的路径规则。
根据实施例，在操作1779中，用户终端100可接收路径规则以验证app的动作。用户终端100可执行验证的app的动作。
如此，用户终端100和智能服务器200可对用户输入进行处理以执行app的动作。
图18是示出根据本公开的实施例的由用户终端执行集成的智能系统服务的屏幕的示图。
参照图18，根据实施例，用户终端100可接收用户语音。例如，用户终端100可在显示器120上显示用于接收用户语音的语音识别用户界面(UI)。根据另一实施例，用户终端100可接收用户的触摸或文本输入。例如，用户终端100可在显示器120上显示用于接收用户的触摸输入的GUI或包括用户键盘的集成的智能服务UI。
根据实施例，在屏幕1810中，用户终端100可接收用于识别用户语音的特定输入。例如，用户终端100可在app未被执行的状态下接收用于识别用户语音的特定输入。之后，将详细描述特定输入。
根据实施例，在屏幕1820中，如果接收到特定输入，则用户终端100可在显示器120上显示集成的智能服务UI 1821。例如，集成的智能服务UI 1821可包括用于交互的对话框区域1812a、指令线索区域1821b和显示识别的语音的显示区域1821c。根据实施例，在用户终端100准备好接收语音输入的情况下，集成的智能服务UI 1821可在显示区域1821c的一部分显示用于提供用户输入能够被接收的通知的指示器(例如，麦克风图标)。
根据实施例，在屏幕1830中，用户终端100可经由麦克风111接收用户语音作为用户输入。例如，在包括对话框区域1831a、指令线索区域1831b和显示区域1831c的集成的智能服务UI 1831被显示在显示器120上的状态下，用户可通过点击语音输入图标(例如，用于提供用户输入能够被接收的通知的指示器)来输入用户语音。根据实施例，在接收到语音输入的情况下，指示输入正被输入的指示器(例如，输入图标1831d)可被显示在显示区域1831c的一部分中。
根据实施例，在屏幕1840中，用户终端100可将接收的用户输入发送到智能服务器200，并可将接收的用户输入改变为与用户输入对应的文本。在包括对话框区域1841a、指令线索区域1841b和显示区域1841c的集成的智能服务UI 1841被显示在显示器120上的状态下，用户终端100可在显示区域1841c上显示改变为文本的用户输入。根据实施例，当用户输入被显示在显示区域1841c上时，用户终端100可从用户接收修正输入，并可修正显示的用户数人。例如，用户可修正显示在显示器120上的用户输入的一部分。
根据实施例，在屏幕1850中，用户终端100可在显示器120上显示智能服务器200对用户输入进行处理的状态。例如，用户终端100可在用于交互的对话框区域1851a和识别的语音能够被显示的区域1851c显示智能服务器200的处理状态(例如，稍停(hang on)、进行(progress)等)。
根据实施例，用户终端100可包括用于识别用户语音的多个模式。例如，如上所述，在用户终端100在显示器120上显示集成的智能服务UI的情况下(例如，命令模式)，用户终端100可执行与用户输入对应的动作。再例如，在用户在特定区域中输入文本的情况下(例如，听写模式)，用户终端100可在特定区域中输入改变为文本的用户输入。再例如，在用户在聊天app中输入消息的情况下(例如，聊天模式)，用户终端100可在框中输入改变为文本的用户输入。再例如，在用户连续地输入话语的情况下(例如，连续命令模式)，用户终端100可执行与连续输入的用户输入对应的动作。例如，用户终端100可将连续输入的用户输入划分为句单元，并可将句单元发送到智能服务器200。用户终端100可从智能服务器200接收与连续输入的用户输入对应的路径规则以执行动作。在用户连续地点击集成的智能服务UI1821的语音识别按钮的状态下，用户可将连续的话语输入到用户终端100。可选地，用户可通过在开始话语时点击集成的智能服务UI 1821的语音识别按钮并通过在结束话语时再次点击集成的智能服务UI 1821的语音识别按钮，将连续的话语输入到用户终端100。
图19是示出根据本公开的实施例的用户终端接收用于识别语音的输入的示图。
参照图19，用户终端100可接收用于识别用户的语音的输入。
根据实施例，在屏幕1910中，用户终端100可通过硬件键112接收用于识别语音的输入。在用户终端100通过硬件键112接收输入的情况下，用户终端100可在显示器120上显示集成的智能服务UI 1921。集成的智能服务UI 1921可包括对话框区域1921a、指令线索区域1921b和显示区域1921c。例如，在集成的智能服务UI 1921被显示在显示器120上的情况下，用户可触摸集成的智能服务UI 1921的语音识别按钮1921d以输入语音111a。再例如，用户可在连续地压按硬件键112的同时输入语音111a，其中，硬件键112被压按以在显示器120上显示集成的智能服务UI 1921。
根据实施例，在屏幕1920中，用户终端100可通过麦克风111接收用于识别语音的输入。在特定语音(例如，醒来！)111b通过麦克风111被输入的情况下，用户终端100可在显示器120上显示集成的智能服务UI 1921。例如，在集成的智能服务UI 1921被显示在显示器120上的状态下，用户可触摸集成的智能服务UI 1921的语音识别按钮1921d以输入语音。
如此，用户终端100可通过接收用于识别语音的输入来从用户接收语音。
图20是示出根据本公开的实施例的一个app由用户终端执行的情况的示图。
参照图20。智能代理151可接收用户输入以执行一个app。
根据实施例，智能代理151可接收用户输入以执行一个app。
例如，用户可输入“向妈妈发送消息说(SEND A MESSAGE TO MOMSAYING THAT)我稍晚一会儿(I’M A LITTLE LATE)”。用户输入可通过智能服务器200被处理。作为处理结果，包括关于与执行消息app的动作、显示与妈妈(MOM)的对话框的动作和发送消息的动作对应的状态的信息以及关于用于执行动作的参数的信息的路径规则可被产生。如此，用户终端100可接收路径规则，并可根据路径规则执行动作。
根据实施例，在屏幕2010中，用户终端100可在显示器120上显示集成的智能服务UI 2011。
根据实施例，在屏幕2020中，用户终端100可接收用户语音作为用户输入，并可将用户语音识别为文本形式。例如，用户终端100可通过集成的智能服务UI 2021将“向妈妈发送消息说我稍晚一会儿”识别为文本形式。
根据实施例，在屏幕2030中，用户终端100可执行消息app，可执行对话框，并可输入消息。例如，用户终端100可执行消息app的与妈妈的对话框2031，并可在消息输入区域2031a中输入消息“我稍晚一会儿”。
根据实施例，在屏幕2040中，用户终端100可发送消息。例如，用户终端100可发送消息2041b“我稍晚一会儿”，并可在与妈妈的对话框2041中显示消息2041b。
如此，用户终端100可将用户语音识别为文本(屏幕2010和屏幕2020)，可根据与用户输入对应的路径规则自动地执行app的动作(屏幕2030)，并可发送消息(屏幕2040)。
图21是示出根据本公开的实施例的一个app由用户终端执行的情况的示图。
参照图21，如果用户在用户终端100中输入用户输入“向妈妈发送消息说我稍晚一会儿”，则智能代理151可将用户输入发送到智能服务器200。智能服务器200可通过ASR模块210、MLU模块220和路径规划器模块230产生路径规则，并可将路径规则发送到用户终端100，并且智能代理151可获得路径规则。在用户输入由智能代理200处理的同时，用户终端100可在显示器120上显示“用户输入正被处理”。此外，智能代理151可从ASR模块210接收识别为文本形式的用户输入，并可在显示器120上显示用户输入。
根据实施例，智能代理151可将路径规则提供给执行管理器模块153。
执行管理器模块153可根据与路径规则对应的四个动作(第一动作至第四动作)将用于做出针对动作141b的请求的信号发送到执行服务模块141a。如果一个动作被完成，则用于做出针对动作141b的请求的信号可被发送。如果接收到用于做出针对第一app 141的第一动作的请求的信号。则执行服务模块141a可执行第一动作。如果第一动作被完成，则执行服务模块141a可开启第一app 141的第二动作，并可将完成信息发送到执行管理器模块153。如果接收到完成信息，则执行管理器模块153可发送用于请求第二动作的信号。如果执行管理器模块153在第一app 141的第四动作被完成之后接收到完成信息，则执行管理器模块153可将路径规则完成信息发送到智能服务器200。智能服务器200可通过NLG模块240和TTS模块250通知用户动作141b被完成。如此，如在图20中所示，执行管理器模块153可使与路径规则对应的四个动作(第一动作至第四动作)被顺序地执行。
图22和图23是示出根据本公开的实施例的在用于执行用户终端的一个app的处理中信息的部分不充足的情况的示图。
参照图22和图23，在接收的用户输入的信息的部分不充足的情况下，用户终端100可向用户做出针对额外输入的请求。
根据实施例，在屏幕2210中，用户终端100可接收用户输入“向妈妈发送消息说我稍晚一会儿”。用户终端100可在集成的智能服务UI 2211中显示用户输入。由于用户终端100具有用于发送消息的各种渠道或手段(例如，短消息服务(SMS)、应用、电子邮件等)，因此在用户输入中可不限定是否通过任意渠道或手段发送消息。
根据实施例，在屏幕2220中，关于是否通过任意app将消息发送到用户，用户终端100可向用户做出针对额外输入的请求。例如，用户终端100可在集成的智能服务UI 2221的对话框区域2221中显示“您使用哪个应用？(WHICH APPLICATION DO YOU USE？)”。此外，用户终端100可将与显示对应的信息输出给扬声器130。
根据实施例，用户终端100可在app的选择区域2221d中显示多个标识符，其中，多个标识符中的每个表示app。例如，标识符可以以图标、符号、图像或文本的形式。例如，用户可通过触摸显示在app的选择区域2221d中的多个标识符中的一个来选择触摸的那个标识符。再例如，用户可通过用于指定多个标识符中的一个的话语来选择一个标识符。
根据实施例，在屏幕2230中，用户终端100可执行与选择的标识符对应的消息app，并可在与妈妈的对话框2231的消息输入区域2231a中显示消息“我稍晚一会儿”。
根据实施例，在屏幕2240中，用户终端100可发送消息2241b“我稍晚一会儿”，并可显示与妈妈的对话框2241。
如此，用户终端100可将用户语音识别为文本，并且用于选择app的状态可被显示在显示器120上。用户终端100可根据与用于发送消息的用户输入对应的路径规则自动地执行选择的app的动作。
根据另一实施例，用户可输入“发送消息说(SEND A MESSAGE SAYINGTHAT)我稍晚一会儿(I’M A LITTLE LATE)”。用户输入可缺少关于用户向谁发送消息的信息。
根据实施例，在屏幕2310中，用户终端100可接收用户输入“发送消息说我稍晚一会儿”。用户终端100可在显示器120上显示集成的智能服务UI2311。
根据实施例，在屏幕2320中，关于是否向任何人发送消息，用户终端100可向用户做出针对额外输入的请求。例如，用户终端100可执行消息app，并可在消息app的对话框2321的消息输入区域2321a中输入消息。此外，用户终端100可处于接收者能够在用于输入接收者的区域2321c中被选择的状态。用户不仅可通过触摸输入选择接收者，而且可将光标放置在用于输入消息app的接收者的区域2321c，以通过键盘(或者，虚拟键盘)直接输入接收者。
根据实施例，在屏幕2330中，用户终端100可在消息app的对话框2331的用于输入接收者的区域2331c中显示选择的单词“妈妈”。
根据实施例，在屏幕2340中，用户终端100可在与妈妈的对话框2341中显示消息2341b“我稍晚一会儿”。
如此，用户终端100可将用户语音识别为文本，并且接收者被选择的状态可被显示在显示器120上。用户终端100可根据与用户输入对应的路径规则自动地执行app的动作，并可将消息发送到选择的接收者。
图24A、图24B和图24C是示出根据本公开的实施例的在用于执行用户终端的一个app的处理中信息的部分不充足的情况的示图。
参照图24A，如果用户在用户终端100中输入用户输入“发送消息说我稍晚一会儿”，则智能代理151可从智能服务器200接收与信息的部分不充足的用户输入对应的路径规则。智能代理151可将路径规则发送到执行管理器模块153。执行管理器模块153可根据与路径规则对应的第一app 141的第一动作将用于请求针对第一动作的信号发送到执行服务模块141a。例如，第一动作141b可包括消息app 141和消息内容的输入中的至少一个的执行。如果执行服务模块141a识别出第一动作被完成，则执行服务模块141a可将关于不充足的参数的信息(例如，接收者信息)发送到执行管理器模块153以输入接收者。执行管理器模块153可将关于不充足的参数(或者，空的参数)的信息发送到智能代理151。
智能服务器200可通过DM模块260接收用于请求额外信息的信号。NLG模块240可产生用于请求关于不充足的参数的信息(例如，接收者信息)的文本数据(例如，“请输入消息的接收者”)。根据实施例，TTS模块250可将产生的文本数据改变为语音信号。通过NLG模块240和TTS模块250产生的文本数据和/或语音信号可被发送到用户终端100。
参照图24B，用户可通过在用户终端100中输入用户的语音输入“妈妈”或“向妈妈”来增补关于不充足的参数的信息。为了请求用户输入，用户终端100可输出语音信号或可在屏幕中显示文本数据。智能代理151可将额外输入的用户的语音输入发送到智能服务器200。ASR模块210可将用户输入改变为文本数据，并且NLU模块220和路径规划器模块230可基于该文本数据来产生路径规则、更新路径规则或完成路径规则中的至少一个。智能代理151可接收路径规则。智能代理151可将路径规则发送到执行管理器模块153。执行管理器模块153可根据与路径规则对应的第一app 141的第二动作和第三动作将用于请求第二动作和第三动作的信息发送到执行服务模块141a。例如，用户终端100可从用户接收接收者(图23的屏幕2330和屏幕2340)，并可产生路径规则以将消息发送到接收者。与路径规则对应的剩余的三个动作(第二动作至第四动作)141b可被顺序地执行。
参照图24C，用户可通过从接收者列表选择(例如，通过触摸选择)“妈妈”以输入关于不充足的参数的信息。智能代理151可将额外输入的用户输入发送到智能服务器200，但是用户输入可不通过ASR模块210而是通过NLU模块220被接收。如此，路径规划器模块230可以以与由语音输入接收者相同的方法产生路径规则。如此，用户终端100可以以与通过话语输入接收者相同的方法顺序地执行与路径规则对应的剩余三个动作(第二动作至第四动作)141b。
图25是示出根据本公开的实施例的由用户终端执行未存储在规则数据库中的app的情况的示图。
根据实施例，智能代理151可在用户终端100中执行未被存储在规则数据库中的app(例如，未认证的app)。在用户终端100中未认证的app可不根据路径规则被控制。换言之，在本公开中的未认证的app可对应于不支持根据本公开的各个实施例的语音输入功能的app。例如，未被存储在规则数据库中的app可以是用户终端100不理解与由用户终端100输入的用户输入对应的动作的app(例如，第三方app)。
例如，用户可输入“用电报向埃里克发送消息说(SEND A MESSAGE TOERIC BYTELEGRAM SAYING THAT)明天见(SEE YOU TOMORROW)”。例如，电报可以是未被用户终端100认证的app。根据各个实施例，例如，未认证的app可以是用户随意下载的app。如此，用户终端100可基于安装的应用的名称来控制未认证的app的执行，但是执行对应app的功能的内部动作可不被控制。
根据实施例，在屏幕2510和屏幕2520中，用户终端100可接收在对话框区域2511和对话框区域2521中所示的用户输入“用电报向埃里克发送消息说明天见”。
根据实施例，用户终端100可通过智能服务器200接收路径规则，其中，该路径规则执行app直到电报的执行为止。在根据路径规则执行电报之后，用户终端100可在显示器120上显示电报的GUI 2531。
根据实施例，在屏幕2530、屏幕2540和屏幕2550中，用户可直接选择与埃里克(Eric)的对话框2531a，可直接在对话框区域2541中的消息输入区域2541b中输入消息，并可直接发送消息以在对话框区域2551中显示发送的消息2551c。
图26是示出根据本公开的实施例的app未安装在用户终端中的情况的示图。
参照图26，用户可输入“请预定出租车到明洞站(PLEASE RESERVE ATAXI TOMYEONGDONG STATION)”。例如，能够预定出租车的app可能未被安装在用户终端100中。用户终端100可向用户做出针对与不充足的参数相关联的额外输入的请求，并可根据用于执行任务的用户输入来安装用于执行额外动作的app。
根据实施例，在屏幕2610和屏幕2620中，用户终端100可接收如在对话框区域2611和对话框区域2621中所示的用户输入“请预定出租车到明洞站”。
根据实施例，在屏幕2630中，用户终端100可在对话框区域2631的对话区域2631a中显示引导信息“在安装优步(Uber)之后(AFTER INSTALLING UBER)，您想要进行出租车预定吗(WOULD YOU LIKE TO MAKE A TAXI RESERVATION)？”。如此，用户可引起app的安装，用户终端100可下载该app并可开始(launch)安装的app。根据实施例，在屏幕2640中，用户终端100可通过安装的app执行剩余的动作。
图27是示出根据本公开的实施例的由用户终端执行多个app的情况的示图。
参照图27，用户可输入“向妈妈发送带有最近的夏威夷照片的消息(SEND AMESSAGE WITH RECENT HAWAII PHOTO TO MOM)”。用户输入可通过智能服务器200被处理。包括关于与执行图库app的动作、执行搜索功能的动作、搜索夏威夷(Hawaii)照片的动作、选择找到的照片的动作、显示共享屏幕的动作、执行与妈妈的对话框的动作和发送照片的动作对应的状态的信息以及关于用于执行动作的参数的信息的路径规则可被产生。如此，用户终端100可根据路径规则执行动作。
根据实施例，在屏幕2710中，用户终端100可接收用户的话语“向妈妈发送带有最近的夏威夷照片的消息”。
根据实施例，在屏幕2720中，用户终端可开始图库app，并可在显示器120上显示图库app的GUI 2721。
根据实施例，在屏幕2730中，用户终端100可在显示器120上显示图库app的搜索功能被执行的屏幕2731。
根据实施例，在屏幕2740中，用户终端100可在显示器120上显示与夏威夷有关的照片在图库app中被找到的屏幕2741。根据实施例，在屏幕2750中，用户终端100可选择找到的照片2751b。
根据实施例，在屏幕2760中，用户终端100可在显示器120上显示共享屏幕2761c。例如，用户终端100可在共享屏幕2761c中显示能够共享选择的照片的app。
根据实施例，在屏幕2770中，用户终端100可开始由用户选择的消息app，并可在输入框2771c中输入选择的照片。例如，用户终端100可在消息app中执行与妈妈的对话框2771，并可在消息输入框2771c中输入选择的夏威夷照片。
根据实施例，在屏幕2780中，用户终端100可发送输入的照片，并可在与妈妈的对话框2781中显示发送的照片2781d。
如此，用户终端100可将用户语音识别为文本，可根据与用户输入对应的路径规则自动地执行app的动作，并可发送选择的照片。
图28是示出根据本公开的实施例的由用户终端执行多个app的情况的示图。
参照图28，如果用户在用户终端100中输入用户输入“向妈妈发送带有最近的夏威夷照片的消息”，则智能代理151可接收用于执行两个app的路径规则。执行管理器模块153可接收路径规则。智能代理151可根据与路径规则对应的七个动作(第一动作至第七动作)通过执行管理器模块153执行第一app 141的执行服务模块141a和第二app 143的执行服务模块143a，并可将用于请求动作的信号顺序地发送到第一app 141的执行服务模块141a和第二app 143的执行服务模块143a。例如，如果图库app 141的最后的动作(第五动作)的执行被完成，则执行管理器模块153可将用于消息app 143的第一动作(第六动作)的信息(例如，选择的夏威夷照片)从图库app发送到消息app 143。消息app 143可接收信息并可执行第一动作。如此，执行管理器模块153可在多个app中引起与将被执行的路径规则对应的七个动作(第一动作至第七动作)。
图29是示出根据本公开的实施例的由用户终端的集成的智能系统服务显示另一app的执行屏幕的情况的示图。
参照图29，用户终端100可通过结合智能代理151进行操作的app根据路径规则显示app的操作处理。
根据实施例，在屏幕2910和屏幕2920中，用户终端100可接收如在对话框区域2911和对话框区域2921中所示的话语。
根据实施例，在屏幕2930中，用户终端100可根据路径规则以图像的形式在结合智能代理151进行操作的app的UI 2931的对话框区域2931a中显示app的操作处理。如果处理结束，则用户终端100可在对话框区域2931a显示结束消息。
图30是示出根据本公开的实施例的由用户终端的集成的智能系统服务以文本的形式显示另一app的执行处理的情况的示图。
参照图30，用户终端100可通过结合智能代理151进行操作的app根据路径规则显示app的操作处理。
根据实施例，在屏幕3010和屏幕3020中，用户终端100可接收用户的话语。
根据实施例，在屏幕3030中用户终端100可根据路径规则以文本的形式在结合智能代理151进行操作的app的UI 3031的对话框区域3031a中显示app的动作。如果处理结束，则用户终端100可在对话框区域3031a显示结束消息。
图31A和图31B是示出根据本公开的实施例的在用于执行用户终端的多个app的处理中输入各种用户输入的情况的示图。
参照图31A，用户可输入“与妈妈共享最近的夏威夷照片(SHARE A RECENT HAWAIIPHOTO WITH MOM)”。关于是否由任意app共享照片的信息在用户输入中可能是不充足的。关于是否由任意app与用户共享消息，用户终端100可向用户做出针对额外输入的请求。例如，用户终端100可根据与参数不充足的用户输入对应的路径规则来执行执行图库app的第一动作、执行搜索功能图库app的第二动作、从图库app搜索照片的第三动作、选择将被共享的照片的第四动作和显示共享屏幕的第五动作，然后，可向用户做出针对额外输入的请求。
根据实施例，用户终端100可针对用户终端100输入额外输入，以完成动作。例如，用户可输入用于通过使用消息app共享照片的输入(例如，触摸或话语)。根据实施例，用户终端100可根据用户的额外输入执行剩余的动作。例如，如果从用户接收到用于选择将被共享的app的额外输入，则用户终端100可执行用于执行在对话框中输入选择的照片的第六动作和发送输入的照片的第七动作的消息app的对话框。
参照图31B，用户可输入“与妈妈共享最近的夏威夷照片”。用户终端100可通过使用与参数不充足的用户输入对应的路径规则来执行图库app，可顺序地执行第一动作至显示共享屏幕的第五动作，并可从用户接收额外输入以完成动作的执行。例如，在图31B中显示边缘①、边缘②、边缘③、边缘④和边缘⑥的屏幕可指示app的动作由集成的智能系统自动地执行。此外，显示边缘⑤的屏幕可处于用于接收用户的额外输入的状态。
根据实施例，在屏幕3110中，用户终端100可从用于接收语音的UI接收用户的话语。
根据实施例，在屏幕3120、屏幕3130、屏幕3140和屏幕3150(显示边缘①、边缘②、边缘③和边缘④的屏幕)中，用户终端100可通过使用集成的智能系统服务自动地执行第一动作至第四动作。
根据实施例，在屏幕3160(显示边缘⑤的屏幕)中，用户终端100可执行在显示器120上显示用于选择将被共享的app的屏幕的第五动作，并可维持用于接收用户输入的状态。
根据实施例，在屏幕3170(显示边缘⑥的屏幕)中，如果从用户接收到用于选择将被共享的app的额外输入，则用户终端100可自动地执行第六动作。
根据实施例，在屏幕3180中，用户终端100可自动地执行发送照片的第七动作。
图32A和图32B是示出根据本公开的实施例的在用于执行用户终端的多个app的处理中不充足的信息被输入的情况的示图。
参照图32A，如果用户在用户终端中输入用户输入“与妈妈共享最近的夏威夷照片”，则智能代理151可从智能服务器200接收与信息的部分不充足的用户输入对应的路径规则。智能代理151可将路径规则发送到执行管理器模块153。执行管理器模块153可根据路径规则顺序地执行第一app 141的第一动作至第五动作。例如，第一动作至第五动作可分别是执行图库app的动作、搜索夏威夷照片的动作、显示搜索屏幕的动作、选择找到的照片的动作和显示共享屏幕的动作。如果第五动作被完成，则执行服务模块141a可将关于不充足的参数(或者，空的参数)的信息发送到执行管理器模块153。执行管理器模块153可通过使用关于不充足的参数的信息向用户做出针对额外输入的请求。
参照图32B，用户可通过在用户终端100中输入用户输入“通过消息”来输入关于不充足的参数的信息。智能代理151可将额外输入的用户输入发送到智能服务器200。智能服务器200可通过使用用户输入来产生路径规则。智能代理151可接收路径规则，并可将路径规则发送到执行管理器模块153。执行管理器模块153可顺序地发送用于请求与路径规则对应的第二app 143的第六动作和第七动作的信号。如此，用户终端100可顺序地执行与路径规则对应的剩余的两个动作(第六动作和第七动作)。
根据本公开的各个实施例的用户终端100可识别用户语音，可抓取用于达到用户的意图和目的的动作，并可逐步地执行app，从而向用户提供与通过触摸进行操作的UI相同的UI。
此外，在用户输入包括不充足的信息的情况下，app可通过仅使用处理后的用户输入逐步地被操作，并且额外输入可从用户被接收，使得剩余的动作被执行，从而提供合适于用户意图的有效服务。
图33是示出根据本公开的实施例的用户终端的语音输入处理方法的流程图。
在图33中所示的流程图可包括上述用户终端100处理的操作。因此，下面即使存在省略的内容，关于参照图1至图32给出的用户终端100的细节也可被应用于在图33中所示的流程图。
根据实施例，在操作3310中，用户终端100可通过麦克风111从用户接收话语。
根据实施例，在操作3320中，用户终端100可基于用户的话语产生或接收文本数据。用户终端100可通过智能服务器200将用户输入改变为文本形式，并可基于文本形式的用户输入抓取意图和参数以产生路径规则。用户终端100可接收文本数据和路径规则，并且可在显示器120上显示文本数据。
根据实施例，在操作3330中，用户终端100可至少部分基于文本数据选择一个app(或者，应用程序)。用户终端100可根据基于与用户的话语对应的文本数据产生的路径规则来选择app。
根据实施例，在操作3340中，用户终端100可在显示器120上呈现选择的app 141和143的GUI。
根据实施例，在操作3350中，用户终端100可在显示器120上显示基于文本数据自动地提供给GUI的输入处理的至少一部分。用户终端100可根据路径规则在显示器120上显示app 141和143的动作141b和143b的执行处理。
根据实施例，在操作3360中，用户终端100可请求用户输入至少一个参数，使得选择的app通过使用作为一个参数的用户输入来执行操作。用户终端100可通过使用包括在路径规则中的app 141和143的动作141b和143b以及用于动作141b和143b的参数来执行app141和143的动作141b和143b。
根据实施例，在操作3370中，用户终端100可在显示器120上显示操作的结果。用户终端100可在显示器120上显示app 141的动作141b的结果。根据实施例，用户终端100可在显示器120上顺序地显示多个app 141和143的多个动作141b和143b的结果。
根据各个实施例，电子装置可包括：壳体；触摸屏显示器，通过壳体的第一部分暴露；麦克风，布置在壳体的第二部分；扬声器，布置在壳体的第三部分；处理器，布置在壳体内部，并电连接到显示器、麦克风和扬声器；存储器，布置在壳体内部，并电连接到处理器。存储器可被配置为存储多个应用程序，其中，所述多个应用程序中的每个应用程序包括GUI。存储器还可存储指令，当所述指令被执行时，使得处理器：使得麦克风从用户接收话语；基于所述话语产生或接收文本数据；至少部分基于所述文本数据选择所述多个应用程序中的一个应用程序；开始选择的应用程序；在显示器上呈现选择的应用程序的GUI；至少部分基于所述文本数据，在显示器上显示将输入自动地提供到GUI中的序列的至少一部分；使用作为至少一个参数的输入，使得选择的应用程序执行利用所述至少一个参数的操作；在显示器上显示所述操作的结果。
根据各个实施例，所述指令可使得处理器从服务器下载所述多个应用程序中的至少一个。
根据各个实施例，所述指令可以是将应用程序接口提供给所述多个应用程序的软件框架的部分。
根据各个实施例，所述指令还可使得处理器：至少部分基于所述文本数据，在显示器上显示一个或多个标识符，其中，所述一个或多个标识符中的每个标识符表示所述多个应用程序中的各自的一个应用程序；经由显示器或麦克风，从用户接收所述一个或多个标识符中的一个标识符的选择；基于接收的选择，选择所述多个应用程序中的一个应用程序。
根据各个实施例，所述一个或多个标识符可以是图标、符号、图像和文本中的至少一个的形式。
根据各个实施例，当所述文本数据缺少针对用于执行所述操作的选择的应用程序的参数时，所述指令还可使得处理器：将光标放置在用于接收参数的GUI的输入区域中；经由显示器接收针对所述参数的文本输入；使用所述文本输入使得应用程序执行所述操作。
根据各个实施例，所述指令还可使得处理器：基于所述文本数据，产生或接收所述话语的意图和用于执行所述意图的参数；基于所述意图和所述参数产生或接收包括选择的应用程序的所述操作的序列的路径规则；如果所述一个应用程序被选择，则根据所述路径规则选择所述一个应用程序；如果选择的应用程序执行所述操作，则根据所述路径规则的所述序列执行包括在所述路径规则中的所述操作；如果在显示器上显示所述操作的结果，则根据执行的所述序列在显示器上显示包括在路径规则中的所述操作的结果。
根据各个实施例，所述一个路径规则可包括选择的应用程序的所述操作和用于执行所述操作的参数。
根据各个实施例，电子装置可包括：壳体；触摸屏显示器，通过壳体的第一部分暴露；麦克风，布置在壳体的第二部分；扬声器，布置在壳体的第三部分；处理器，布置在壳体内部，并电连接到显示器、麦克风和扬声器；存储器，布置在壳体内部，并电连接到处理器。存储器可被配置为存储第一多个应用程序和第二多个应用程序，其中，所述第一多个应用程序和所述第二多个应用程序中的每个包括GUI。存储器还可存储指令，当所述指令被执行时，使得处理器：使得麦克风从用户接收话语；基于话语产生或接收文本数据；至少部分基于所述文本数据，从所述第一多个应用程序选择第一应用程序；开始选择的第一应用程序；在显示器上呈现选择的第一应用程序的GUI；至少部分基于所述文本数据，使得选择的第一应用程序执行利用至少一个第一参数的第一操作，同时在显示器上显示执行第一操作的序列的至少一部分；在显示器上显示第一操作的结果；在显示所述结果之后，至少部分基于所述文本数据，在显示器上显示一个或多个标识符，其中，所述一个或多个标识符中的每个标识符表示所述第二多个应用程序中的各自的一个应用程序；经由显示器或麦克风从用户接收所述一个或多个标识符中的一个标识符的选择；基于接收的所述选择，从所述第二多个应用程序选择第二应用程序；使用第一操作的结果的至少一部分，使得选择的第二应用程序执行利用至少一个第二参数的第二操作。
根据各个实施例，所述指令可使得处理器从服务器下载所述第一多个应用程序和所述第二多个应用程序中的至少一个。
根据各个实施例，所述指令可以是将应用程序接口提供给所述第一多个应用程序和所述第二多个应用程序的软件框架的部分。
根据各个实施例，所述指令还可使得处理器：在选择第二应用程序之后，在显示器上呈现选择的第二应用程序的GUI；使得选择的第二应用程序执行第二操作，同时在显示器上显示执行第二操作的序列的至少一部分；在显示器上显示第二操作的结果。
根据各个实施例，所述一个或多个标识符可以是图标、符号、图像和文本中的至少一个的形式。
根据各个实施例，当所述文本数据缺少针对用于执行第一操作的第一应用程序的第一参数时，指令还可使得处理器：在显示器上显示第一应用程序的GUI的用于接收第一参数的输入区域；经由显示器或麦克风，接收针对第一参数的第一输入；使用第一输入使得第一应用程序执行所述操作。
根据各个实施例，当所述文本缺少针对用于执行第二操作的第二应用程序的第二参数时，指令还可使处理器：在显示器上显示第二应用程序的GUI的用于接收第二参数的输入区域；经由显示器或麦克风接收针对第二参数的第二输入；使用第二输入使得第二应用程序执行所述操作。
根据各个实施例，电子装置可包括：壳体；触摸屏显示器，通过壳体的第一部分暴露；麦克风，布置在壳体的第二部分；扬声器，布置在壳体的第三部分；处理器，布置在壳体内部，并电连接到显示器、麦克风和扬声器；存储器，布置在壳体内部，并电连接到处理器。存储器可被配置为存储多个应用程序，其中，所述多个应用程序中的每个包括GUI。存储器还可存储指令，当所述指令被执行时，使得处理器：使得麦克风从用户接收言语的请求；基于所述请求产生或接收文本数据；至少部分基于所述文本数据选择所述多个应用程序中的一个应用程序；使用所述文本数据，确定可对选择的应用程序自动地执行的操作的部分，而不是全部操作；开始选择的应用程序；在显示器上显示选择的应用程序的GUI；在未完成所述操作的情况下，至少部分基于所述文本数据，显示自动地执行所述操作的部分的序列的至少一部分；经由显示器或麦克风接收用户输入；使用接收的用户输入使得应用程序完成所述操作。
根据各个实施例，所述指令可以是将应用程序接口提供给所述多个应用程序的软件框架的部分。所述指令还可使得处理器：将用户信息存储在存储器中；当所述文本数据缺少针对用于执行所述操作的选择的应用程序的参数时，基于存储的用户信息提议将所述参数添加到所述操作。
根据各个实施例，语音输入处理方法可包括：经由麦克风从用户接收话语；基于话语产生或接收文本数据；至少部分基于所述文本数据选择一个应用程序；开始选择的应用程序；在显示器呈现选择的应用程序的GUI；至少部分基于所述文本数据在显示器上显示将输入自动地提供给GUI的序列的至少一部分；使用作为至少一个参数的输入，使得选择的应用程序执行利用所述至少一个参数的操作；在显示器上显示所述操作的结果。
根据各个实施例，处理语音输入的服务器可被配置为：从外部电子装置接收用户的话语；基于接收的用户的话语产生文本数据；基于所述文本数据产生所述话语的意图和用于执行所述意图的参数；基于所述意图和所述参数确定包括外部电子装置的应用程序的操作的序列的路径规则；将所述路径规则发送到所述外部电子装置。所述路径规则可包括所述外部电子装置的所述应用程序的操作和执行所述操作的参数。
图34是示出根据本公开的各个实施例的网络环境系统中的电子装置。
参照图34，根据各个实施例，电子装置3401、第一电子装置3402、第二电子装置3404或服务器3406可通过网络3462或短程通信3464彼此连接。电子装置3401可包括：总线3410、处理器3420、存储器3430、输入/输出接口3450、显示器3460和通信接口3470。根据实施例，电子装置3401可不包括上述元件中的至少一个，或者还可包括其他元件。
总线3410可使上述元件3420至3470相互连接，并可包括用于在上述元件之中传送通信(例如，控制消息和数据中的至少一个)的电路。
处理器3420可包括CPU、AP和通信处理器(CP)中的一个或多个。例如，处理器3420可执行与电子装置3401的至少其他元件的控制或通信相关联的算术运算或数据处理。
存储器3430可包括易失性存储器和非易失性存储器中的至少一个。例如，存储器3430可存储与电子装置3401的至少一个其他元件相关联的指令或数据。根据实施例，存储器3430可存储软件和程序3440中的至少一个。例如，程序3440可包括内核3441、中间件3443、应用程序接口(API)3445和应用程序(或者，“应用”)3447中的至少一个。内核3441、中间件3443和API 3445中的至少一部分可被称为操作“系统(OS)”。
例如，内核3441可控制或管理用于执行其他程序(例如，中间件3443、API 3445和应用程序3447)的操作或功能的系统资源(例如，总线3410、处理器3420、存储器3430等)。此外，内核3441可提供允许中间件3443、API3445或应用程序3447访问电子装置3401的分立元件的接口，以控制或管理系统资源。
例如，中间件3443可执行中介角色，使得API 3445或应用程序3447与内核3441通信以交换数据。
此外，中间件3443可根据优先级来处理从应用程序3447接收的任务请求。例如，中间件3443可将使使用电子装置3401的系统资源(例如，总线3410、处理器3420、存储器3430等)成为可能的优先级分配给应用程序3447中的至少一个。例如，中间件3443可根据分配给应用程序3447中的至少一个的使对一个或多个任务请求执行调度或负载平衡成为可能的优先级来处理一个或多个任务请求。
例如，API 3445可以是应用程序3447控制由内核3441或中间件3443提供的功能的接口，并且，例如，API 3445可包括用于文件控制、窗控制、图像处理、个性化(character)控制等的至少一个接口或功能(例如，指令)。
例如，输入/输出接口3450可起到将从用户或另一外部装置输入的指令或数据发送到电子装置3401的其他元件的接口的作用。此外，输入/输出接口3450可将从电子装置3401的其他元件接收的指令或数据输出到用户或另一外部装置。
例如，显示器3460可包括：液晶显示器(LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器、微电子机械系统(MEMS)显示器和电子纸显示器。例如，显示器3460可向用户显示各种内容(例如，文本、图像、视频、图标、符号等)。显示器3460可包括触摸屏，并且，例如，可接收使用电子笔或用户的身体的部分输入的触摸、手势、接近或悬停。
例如，通信接口3470可建立电子装置3401与外部装置(例如，第一电子装置3402、第二电子装置3404或服务器3406)之间的通信。例如，通信接口3470可通过无线通信或有线通信连接到网络3462，以与外部装置(例如，第二电子装置3404或服务器3406通信)。
例如，无线通信可使用以下项中的至少一个作为蜂窝通信协议：长期演进(LTE)、高级LTE(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动通信系统(UMTS)、无线宽带(WiBro)、全球移动通信系统(GSM)等。此外，例如，无线通信可包括短程通信3464。例如，短程通信3464可包括以下项中的至少一个：Wi-Fi、蓝牙、近场通信(NFC)、磁条传输(MST)、全球导航卫星系统(GNSS)等。
MST可使用电磁信号响应于传输数据产生脉冲，脉冲可产生磁场信号。电子装置3401可将磁场信号传送到销售点(POS)，POS可使用MST读取器检测磁场信号。POS可通过将检测到的磁场信号转换为电信号来恢复数据。
例如，GNSS可基于可用区域、带宽等包括以下项中的至少一个：GPS、全球导航卫星系统(Glonass)、北斗导航卫星系统(在下文中，称为“北斗”)和欧洲全球卫星导航系统(Galileo)。在下文中，在本公开中，“GPS”可与“GNSS”交换地使用。例如，有线通信可包括以下项中的至少一个：通用串行总线(USB)、高清晰度多媒体接口(HDMI)、推荐标准232(RS-232)、简易老式电话服务(POTS)等。网络3462可包括通信网络(例如，计算机网络(例如，局域网(LAN)或广域网(WAN)))、互联网和电话网中的至少一个。
第一电子装置3402和第二电子装置3404中的每个可以是与电子装置3401的类型相同或不同的装置。根据实施例，服务器3406可包括一个或多个服务器的组。根据各个实施例，电子装置3401将执行的所有操作或部分操作可由另一电子装置或多个电子装置(例如，第一电子装置3402、第二电子装置3404或者服务器3406)执行。根据实施例，在电子装置3401自动地或响应于请求执行任意功能或服务的情况下，电子装置3401可不是内部地执行功能或服务，而是可以可选地、额外地从另一装置(例如，电子装置3402或3404、或者服务器3406)请求与电子装置3401相关联的功能的至少一部分。其他电子装置可执行请求的功能或额外的功能，并可将执行结果发送到电子装置3401。电子装置3401可使用接收的结果提供提供请求的功能或服务，或者可额外地处理接收的结果以提供请求的功能或服务。为了这个目的，例如，可使用云计算、分布式计算或客户服务器计算。
图35是示出根据本公开的各个实施例的电子装置的框图。
例如，参照图35，电子装置3501可包括在图34中所示的电子装置3401的全部或部分。电子装置3501可包括：一个或多个处理器(例如，AP)3510、通信模块3520、用户识别模块3524、存储器3530、传感器模块3540、输入装置3550、显示器3560、接口3570、音频模块3580、相机模块3591、电力管理模块3595、电池3596、指示器3597和电机3598。
例如，处理器3510可驱动OS或应用以控制连接到处理器3510的多个硬件或软件元件，并处理和计算多种数据。例如，处理器3510可使用片上系统(SoC)来实现。根据实施例，处理器3510还可包括图形处理单元(GPU)和图像信号处理器中的至少一个。处理器3510还可包括在图35中所示的元件中的至少部分(例如，蜂窝模块3521)。处理器3510可将从其他元件中的至少一个(例如，非易失性存储器)接收的指令或数据加载到易失性存储器中，并可处理加载的指令或数据。处理器3510可将多种数据存储在非易失性存储器中。
通信模块3520可被配置为与图34的通信接口3470的配置相同或相似。通信模块3520可包括：蜂窝模块3521、Wi-Fi模块3523、蓝牙(BT)模块3525、GNSS模块3527(例如，GPS模块、Glonass模块、北斗模块或Galileo模块)、近场通讯(NFC)模块3528和射频(RF)模块3529。
例如，蜂窝模块3521可通过通信网络提供语音通信、视频通信、个性化服务、互联网服务等。根据实施例，蜂窝模块3521可通过使用用户识别模块(例如，用户识别模块(SIM)卡)3524在通信网络内执行电子装置3501的区分和认证。根据实施例，蜂窝模块3521可执行处理器3510提供的功能中的至少一部分。根据实施例，蜂窝模块3521可包括CP。
例如，Wi-Fi模块3523、BT模块3525、GNSS模块3527和NFC模块3528中的每个可包括用于处理通过对应模块交换的数据的处理器。根据实施例，蜂窝模块3521、Wi-Fi模块3523、BT模块3525、GNSS模块3527和NFC模块3528中的至少一部分(例如，两个或更多个)可被包括在一个集成电路(IC)或IC封装内。
例如，RF模块3529可发送和接收通信信号(例如，RF信号)。例如，RF模块3529可包括收发器、电力放大器模块(PAM)、频率滤波器、低噪声放大器(LNA)、天线等。根据另一实施例，蜂窝模块3521、Wi-Fi模块3523、BT模块3525、GNSS模块3527和NFC模块3528中的至少一个可通过单独的RF模块发送和接收RF信号。
例如，用户识别模块3524可包括卡和包含用户识别模块的嵌入式SIM中的至少一个，并可包含唯一的识别信息(例如，集成电路卡识别码(ICCID))或用户信息(例如，集成移动用户识别码(IMSI))。
存储器3530(例如，存储器3430)可包括内部存储器3532或外部存储器3534。例如，内部存储器3532可包括易失性存储器(例如，动态随机存取存储器(DRAM)、静态RAM(SRAM)、同步DRAM(SDRAM)等)、非易失性存储器(例如，一次可编程只读存取(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦可编程ROM(EEPROM)、掩膜型ROM、闪存型ROM、闪存(例如，NAND闪存或NOR闪存)等)、硬盘和固态盘(SSD)等中的至少一个。
外部存储器3534还可包括闪存盘(诸如，紧凑式闪存(CF)、安全数字(SD)、微型安全数字(Micro-SD)、迷你安全数字(Mini-SD)、极速数字(xD)、多媒体卡(MMC)、记忆棒等)。外部存储器3534可通过各种接口可操作地和物理地中的至少一种地连接到电子装置3501。
例如，传感器模块3540可测量物理量或可检测电子装置3501的操作状态。传感器模块3540可将测量的或检测到的信息转换为电信号。例如，传感器模块3540可包括以下项中的至少一个：手势传感器3540A、陀螺仪传感器3540B、气压传感器3540C、磁传感器3540D、加速度传感器3540E、握持传感器3540F、接近传感器3540G、颜色传感器3540H(例如，红、绿、蓝(RGB)传感器)、生物测量学传感器3540I、温度/湿度传感器3540J、照度传感器3540K和紫外光(UV)传感器3540M。例如，尽管未示出，但是传感器模块3540还可额外地或通常地包括以下项中的至少一个：电子鼻(E-nose)传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、红外(IR)传感器、虹膜传感器和指纹传感器。传感器模块3540还可包括用于控制包括在传感器模块中的至少一个或多个传感器的控制电路。根据实施例，电子装置3501还可包括作为处理器3510的部分或独立于处理器3510的并被配置为控制传感器模块3540的处理器。处理器可在处理器3510保持在睡眠状态的同时控制传感器模块3540。
例如，输入装置3550可包括：触摸面板3552、(数字)笔传感器3554、键3556或超声输入装置3558。例如，触摸面板3552可使用电容型、电阻型、红外型和超声型检测方法中的至少一个。此外，触摸面板3552还可包括控制电路。触摸面板3552还可包括用于向用户提供触觉反应的触觉层。
例如，(数字)笔传感器3554可以是触摸面板的部分或可包括额外的识别片(sheetfor recognition)。例如，键3556可包括物理按钮、光学键、键盘等。超声输入装置3558可通过麦克风(例如，麦克风3588)检测(或者，感测)从输入装置产生的超声信号，并可检查与检测到的超声信号对应的数据。
显示器3560(例如，显示器3460)可包括面板3562、全息图装置3564或投影仪3566。面板3562可与在图34中所示的显示器3460相同或相似。例如，面板3562可被实现为柔性的、透明的或可穿戴的。面板3562和触摸面板3552可被集成为单个模块。全息图装置3564可使用光干涉现象在空间中显示立体图像。投影仪3566可将光投影到屏幕上以显示图像。例如，屏幕可布置在电子装置3501的内部或外部。根据实施例，显示器3560还可包括用于控制面板3562、全息图装置3564或投影仪3566的控制电路。
例如，接口3570可包括HDMI 3572、USB 3574、光学接口3576或D型超小连接器(D-sub)3578。例如，接口3570可被包括在图34中所示的通信接口3470中。例如，接口3570可额外地或可选地包括移动高清连接(MHL)接口、SD卡/多媒体卡(MMC)接口或红外数据协会(IrDA)标准接口。
例如，音频模块3580可双向地转换声音和电信号。例如，音频模块3580的至少一部分可被包括在图34中所示的输入/输出接口3450中。例如，音频模块3580可处理通过扬声器3582、接收器3584、耳机3586或麦克风3588输入或输出的声音信息。
例如，相机模块3591可拍摄静态图像和动态图像。根据实施例，相机模块3591可包括至少一个或多个图像传感器(例如，前置传感器或后置传感器)、透镜、图像信号处理器(ISP)或闪光灯(例如，LED或氙灯)。
例如，电力管理模块3595可管理电子装置3501的电力。根据实施例，电力管理集成电路(PMIC)、充电器IC、或电池表或燃料表可被包括在电力管理模块3595中。PMIC可具有有线充电方法和无线充电方法中的至少一个。例如，无线充电方法可包括：磁共振法、磁感应法或电磁法，并且还可包括额外电路(例如，线圈环路、谐振电路或整流器等)。例如，电池表可在电磁被充电的同时测量电池3596的剩余容量以及电池的电压、电流或温度。例如，电池3596可包括可再充电电池和太阳能电池中的至少一个。
指示器3597可显示电子装置3501或电子装置3501的部分(例如，处理器3510)的具体状态(诸如，启动状态、消息状态、充电状态等)。电机3598可将电信号转换为机械振动，并可产生以下效果：振动、触觉等。尽管未示出，但用于支持移动电视(TV)的处理装置(例如，GPU)可被包括在电子装置3501中。用于支持移动TV的处理装置可根据数字多媒体广播(DMB)、数字视频广播(DVB)或媒体前向链路(mediaFLOTM)等的标准来处理媒体数据。
据本公开的各个实施例的电子装置的的上述组件元件中的每个可被配置为一个或多个组件，并且元件的名称可根据电子装置的类型而变化。在各个实施例中，电子装置可包括前述元件中的至少一个，并且一些元件可被省略，或者其他额外元件还可被添加。此外，根据各个实施例的电子装置的一些元件可彼此被组合以形成一个实体，使得元件的功能可与在组合之前相同的方式被执行。
图36是示出根据本公开的各个实施例的程序模块的框图。
根据实施例，程序模块3610(例如，程序3440)可包括用于控制与电子装置(例如，电子装置3401)相关联的资源的OS或在OS上驱动的各种应用(例如，应用程序3447)。例如，OS可以是安卓(Android)、iOS、Windows、塞班(Symbian)或泰泽(Tizen)。
程序模块3610可包括内核3620、中间件3630、API 3660和应用3670中的至少一个。程序模块3610中的至少一部分可预先加载在电子装置上，或者可从外部电子装置(例如，第一电子装置3402、第二电子装置3404、服务器3406等)能够下载。
例如，内核3620(例如，内核3441)可包括系统资源管理器3621或装置驱动器3623。系统资源管理器3621可执行系统资源的控制、分配、检索等。根据实施例，系统资源管理器3621可包括：处理管理单元、存储器管理单元或文件系统管理单元。例如，装置驱动器3623可包括：显示驱动器、相机驱动器、蓝牙驱动器、共享存储器驱动器、USB驱动器、键盘驱动器、Wi-Fi驱动器、音频驱动器或进程间通信(IPC)驱动器。
例如，中间件3630可将应用3670共同需要的功能提供给应用3670，或者可通过API3660将各种功能提供给应用3670，以便允许应用3670有效使用电子装置的有限的系统资源。根据实施例，例如，中间件3630(例如，中间件3443)可包括以下中的至少一个：运行时间库3635、应用管理器3641、窗管理器3642、多媒体管理器3643、资源管理器3644、功率管理器3645、数据库管理器3646、封装管理器3647、连接管理器3648、通知管理器3649、位置管理器3650、图形管理器3651、安全管理器3652和支付管理器。
例如，运行时间库3635可包括由编译器使用的库模块，以在应用3670正被执行的同时通过编程语言添加新的功能。运行时间库3635可执行输入/输出管理、存储器管理或关于算术功能的能力。
例如，应用管理器3641可管理应用3670中的至少一个应用的生命周期。窗管理器3642可管理在屏幕中使用的GUI资源。多媒体管理器3643可识别用于播放各种媒体文件的格式，并可通过使用适合于该格式的编码解码器来执行媒体文件进行编码或解码。资源管理器3644可管理应用3670中的至少一个应用的存储空间、存储器或源代码。
例如，功率管理器3645可与基本输入/输出系统(BIOS)一起进行操作以管理电池或功率，并可提供用于电子装置的操作的功率信息。数据库管理器3646可产生、搜索或修改将在应用3670中的至少一个应用中使用的数据库。封装管理器3647可安装或更新以封装文件的形式分布的应用。
例如，连接管理器3648可管理无线连接(诸如，Wi-Fi或蓝牙)。通知管理器3649可以以不打扰用户的方式来显示或通知事件(诸如，到达消息、预约、邻近通知等)。位置管理器3650可管理关于电子装置的位置信息。图形管理器3651可管理提供给用户的图形效果，或管理与图形效果有关的用户界面。安全管理器3652可提供用于系统安全、用户认证等的一般安全功能。根据实施例，在电子装置(例如，电子装置3401)包括电话功能的情况下，中间件3630还可包括用于管理电子装置的视频或语音呼叫功能的电话管理器。
中间件3630可包括对上述元件的各种功能进行组合的中间件模块。中间件3630可提供专用于每种OS的模块以提供分化的功能。此外，中间件3630可动态地移除预先存在的元件的部分，或者可将新的元件添加到中间件3630。
例如，API 3660(例如，API 3445)可以是编程功能的集合，并可提供根据OS而可变化的配置。例如，在OS是安卓或iOS的情况下，可每个平台提供一个API集合。在OS是泰泽的情况下，可每个平台提供两个或更多个API集合。
例如，应用3670(例如，应用程序3447)可包括可提供针对以下项的功能的一个或多个应用：家庭3671、拨号软件3672、SMS/多媒体信息服务(MMS)3673、即时通信(IM)3674、浏览器3675、相机3676、闹钟3677、联系人3678、语音拨号3679、电子邮件3680、日历3681、媒体播放器3682、相册3683和手表3684，或者可提供用于提供保健(例如，测量锻炼量、血糖等)或环境信息(例如，大气压力、湿度、温度等的信息)。
根据实施例，应用3670可包括支持电子装置(例如，电子装置3401)与外部电子装置(例如，第一电子装置3402或第二电子装置3404)之间的信息交换的应用(为了描述的方便，在下文中称为“信息交换应用”)。例如，信息交换应用可包括用于将特定信息发送到外部电子装置的通知中继应用或用于管理外部电子装置的装置管理应用。
例如，通知中继应用可包括将从其他应用(例如，针对SMS/MMS、电子邮件、保健或环境信息的应用)产生的通知信息发送到外部电子装置的功能。此外，例如，信息交换应用可从外部电子装置接收通知信息并将通知信息提供给用户。
例如，装置管理器用于可管理(例如，安装、删除或更新)与电子装置通信的外部电子装置的至少一个功能(例如，外部电子装置自身(或组件的部分)的打开/关闭或显示器的亮度(或者，分辨率)的调节)、在外部电子装置中运行的应用或从外部电子装置提供的服务(例如，呼叫服务、短信服务等)。
根据实施例，应用3670可包括根据外部电子装置的属性分配的应用(例如，移动医疗装置的保健应用)。根据实施例，应用3670可包括从外部电子装置(例如，第一电子装置3402、第二电子装置3404或服务器3406)接收的应用。根据实施例，应用3670可包括预加载的应用或能够从服务器下载的第三方应用。根据实施例的程序模块3610的元件的名称可根据操作系统的种类而能够改变。
根据各个实施例，可由软件、固件、硬件或它们中的两个或更多个的组合来实现程序模块3610中的至少一部分。例如，程序模块3610中的至少一部分可由处理器(例如，处理器3510)来实现(例如，执行)。例如，程序模块3610中的至少一部分可包括用于执行一个或多个功能的模块、程序、例行程序、指令集、处理等。
例如，如在本公开中使用的术语“模块”可表示包括硬件、软件和固件中的一个或多个组合的单元。术语“模块”可与术语“单元”、“逻辑”、“逻辑块”、“组件”和“电路”可交换地使用。“模块”可以是集成的组件元件的最小单元，或者可以是它们的部分。“模块”可以是用于执行一个或多个功能或它们的部分的最小单元。“模块”可被机械地或电子地实现。例如，根据本公开的“模块”可包括用于执行已知的或以后将开发的一些操作的应用专用IC(ASIC)芯片、现场可编程门阵列(FPGA)和可编程逻辑装置中的至少一个。
例如，根据各个实施例的设备(例如，模块或模块的功能)或方法(例如，操作)中的至少一部分可通过以编程模块的形式存储在非暂时性计算机可读存储介质中的指令来实现。当该指令由处理器(例如，处理器3420)执行时，可使该处理器执行与该指令对应的功能。例如，非暂时性计算机可读存储介质可以是存储器3430。
非暂时性计算机可读记录介质可包括：硬盘、软盘、磁介质(例如，磁带)、光学介质(例如，高密度盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光介质(例如，软式光盘)和硬件装置(例如，只读存储器(ROM)、RAM或闪存)等。此外，程序指令不仅可包括机器代码(诸如，由编译器产生的代码)，而且可包括使用解释器在计算机上可执行的高级语言代码。以上硬件单元可被配置为经由一个或多个软件模块进行操作，以执行根据各个实施例的操作，反之亦然。
根据各个实施例的模块或程序模块可包括以上元件中的至少一个，或者可省略以上元件中的部分，或者还可包括额外的其他元件。由根据各个实施例的模块、程序模块或其他元件执行的操作可顺序地、并行地、重复地或以启发式方法被执行。此外，一些操作可按不同的顺序被执行，或者可被省略。可选地，其他操作可被添加。
尽管已参照本公开的各个实施例示出和描述了本公开，但本领域技术人员将理解，在不脱离由权利要求和它们的等同物限定的本公开的精神和范围的情况下，可在此做出形式和细节上的各种改变。

Claims (7)

1.一种便携式通信装置，包括：
存储器，用于存储第一应用和至少一个第二应用；
触摸屏显示器；
麦克风；
通信电路，用于建立服务器与所述便携式通信装置之间的无线通信连接；
处理器，被配置为：
经由麦克风从所述便携式通信装置的用户接收第一用户输入，其中，第一用户输入缺少完成由第一用户输入指示的任务需要的信息；
经由所述无线通信连接，将第一用户输入发送给服务器；
经由所述无线通信连接从服务器接收用于执行所述任务的多个操作的序列，其中，所述序列包括包含第一组操作的第一子序列和包含第二组操作的第二子序列，第一组操作包括经由第一应用能够执行的第一操作，第二组操作包括经由所述至少一个第二应用能够执行的第二操作；
通过第一应用执行第一子序列中的第一组操作，执行第一组操作的步骤包括显示与第一应用对应的第一用户界面；
在执行第一组操作的至少一部分的同时，至少临时地经由触摸屏显示器显示第二用户界面，其中，第二用户界面请求用户通过选择所述至少一个第二应用中的一个第二应用输入第一用户输入中缺少的所述需要的信息；
经由触摸屏显示器或麦克风从用户接收从所述至少一个第二应用中选择一第二应用的第二用户输入；
通过选择的第二应用执行第二子序列中的第二组操作，执行第二组操作的步骤包括显示与选择的第二应用对应的第三用户界面。
2.如权利要求1所述的便携式通信装置，其中，处理器被配置为：
在执行第一应用之后执行选择的第二应用，或者与执行第一应用至少部分地同时执行选择的第二应用。
3.如权利要求1所述的便携式通信装置，其中，处理器被配置为：
在第一应用的执行被保持的同时，执行第二组操作的至少一部分。
4.如权利要求1所述的便携式通信装置，其中，处理器被配置为：
显示输入窗口作为第二用户界面的至少一部分。
5.如权利要求1所述的便携式通信装置，其中，处理器被配置为：
显示用于选择所述至少一个第二应用中的一个第二应用的多个可选择的选项作为第二用户界面的至少一个部分。
6.如权利要求1所述的便携式通信装置，其中，处理器被配置为：
经由麦克风接收语音输入作为第二用户输入；
在第二用户界面中显示与所述语音输入对应的文本。
7.一种非暂时性计算机可读介质，存储指令，其中，所述指令在由一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括：
经由与所述一个或多个处理器操作地结合的麦克风接收第一用户输入；
将第一用户输入发送给服务器，其中，第一用户输入缺少完成由第一用户输入指示的任务需要的信息；
从服务器接收用于执行所述任务的多个操作的序列，其中，所述序列包括包含第一组操作的第一子序列和包含第二组操作的第二子序列，第一组操作包括经由第一应用能够执行的第一操作，第二组操作包括经由至少一个第二应用能够执行的第二操作；
通过第一应用执行第一子序列中的第一组操作，执行第一组操作的步骤包括经由与所述一个或多个处理器操作地结合的触摸屏显示器显示与第一应用对应的第一用户界面；
在执行第一组操作的至少一部分的同时，至少临时地经由触摸屏显示器显示第二用户界面，其中，第二用户界面请求用户通过选择所述至少一个第二应用中的一个第二应用输入所述需要的信息；
经由触摸屏显示器或麦克风接收从所述至少一个第二应用中选择一第二应用的第二用户输入；
通过选择的第二应用执行第二子序列中的第二组操作。
CN201711203805.6A 2016-11-28 2017-11-27 用于处理多模式输入的电子装置、方法和服务器 Active CN108121490B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160159704A KR20180060328A (ko) 2016-11-28 2016-11-28 멀티 모달 입력을 처리하는 전자 장치, 멀티 모달 입력을 처리하는 방법 및 멀티 모달 입력을 처리하는 서버
KR10-2016-0159704 2016-11-28

Publications (2)

Publication Number Publication Date
CN108121490A CN108121490A (zh) 2018-06-05
CN108121490B true CN108121490B (zh) 2023-05-23

Family

ID=60153129

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711203805.6A Active CN108121490B (zh) 2016-11-28 2017-11-27 用于处理多模式输入的电子装置、方法和服务器

Country Status (5)

Country Link
US (3) US10191718B2 (zh)
EP (1) EP3327719A1 (zh)
KR (1) KR20180060328A (zh)
CN (1) CN108121490B (zh)
WO (1) WO2018097478A1 (zh)

Families Citing this family (108)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US20120311585A1 (en) 2011-06-03 2012-12-06 Apple Inc. Organizing task items that represent tasks to perform
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
DE212014000045U1 (de) 2013-02-07 2015-09-24 Apple Inc. Sprach-Trigger für einen digitalen Assistenten
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
WO2014198050A1 (en) * 2013-06-14 2014-12-18 Microsoft Corporation Framework and applications for proximity-based social interaction
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
EP3149728B1 (en) 2014-05-30 2019-01-16 Apple Inc. Multi-command single utterance input method
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
USD832820S1 (en) * 2016-07-03 2018-11-06 Zound Industries International Ab Speaker system
KR20180060328A (ko) 2016-11-28 2018-06-07 삼성전자주식회사 멀티 모달 입력을 처리하는 전자 장치, 멀티 모달 입력을 처리하는 방법 및 멀티 모달 입력을 처리하는 서버
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
KR102366617B1 (ko) * 2017-03-28 2022-02-23 삼성전자주식회사 음성 인식 서비스 운용 방법 및 이를 지원하는 전자 장치
US11170768B2 (en) 2017-04-17 2021-11-09 Samsung Electronics Co., Ltd Device for performing task corresponding to user utterance
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
KR102060775B1 (ko) * 2017-06-27 2019-12-30 삼성전자주식회사 음성 입력에 대응하는 동작을 수행하는 전자 장치
USD900134S1 (en) * 2017-09-27 2020-10-27 Toyota Research Institute, Inc. Vehicle display screen or portion thereof with a graphical user interface
KR102485342B1 (ko) * 2017-12-11 2023-01-05 현대자동차주식회사 차량의 환경에 기반한 추천 신뢰도 판단 장치 및 방법
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
KR102612835B1 (ko) 2018-04-20 2023-12-13 삼성전자주식회사 전자 장치 및 전자 장치의 기능 실행 방법
US11676220B2 (en) * 2018-04-20 2023-06-13 Meta Platforms, Inc. Processing multimodal user input for assistant systems
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US11076039B2 (en) 2018-06-03 2021-07-27 Apple Inc. Accelerated task performance
KR20200013152A (ko) * 2018-07-18 2020-02-06 삼성전자주식회사 이전에 대화를 수집한 결과를 기반으로 인공 지능 서비스를 제공하는 전자 장치 및 방법
KR20200017293A (ko) * 2018-08-08 2020-02-18 삼성전자주식회사 사용자 발화를 처리하는 전자 장치 및 그 전자 장치의 제어 방법
KR20200017292A (ko) * 2018-08-08 2020-02-18 삼성전자주식회사 음성 인식 방법 및 그 방법을 지원하는 전자 장치
CN110895462A (zh) * 2018-09-12 2020-03-20 富士施乐株式会社 非暂时性计算机可读介质
US11100926B2 (en) * 2018-09-27 2021-08-24 Coretronic Corporation Intelligent voice system and method for controlling projector by using the intelligent voice system
US11087754B2 (en) 2018-09-27 2021-08-10 Coretronic Corporation Intelligent voice system and method for controlling projector by using the intelligent voice system
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
KR20200040625A (ko) 2018-10-10 2020-04-20 삼성전자주식회사 사용자의 발화를 처리하는 사용자 단말 및 그 제어 방법
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
CN111105792A (zh) * 2018-10-29 2020-05-05 华为技术有限公司 语音交互处理方法及装置
CN109408623B (zh) * 2018-10-31 2021-11-23 北京小米移动软件有限公司 信息处理方法及装置
KR102618386B1 (ko) * 2018-11-21 2023-12-28 삼성전자주식회사 보안 요소를 통해 보안이 필요한 서비스를 제공하는 전자 장치 및 그 전자 장치를 제어하는 방법
JP7180330B2 (ja) * 2018-11-30 2022-11-30 株式会社リコー 情報処理システム、情報処理装置、および方法
JP7271925B2 (ja) * 2018-12-07 2023-05-12 コニカミノルタ株式会社 音声操作システム、音声操作方法および音声操作プログラム
CN109656512A (zh) * 2018-12-20 2019-04-19 Oppo广东移动通信有限公司 基于语音助手的交互方法、装置、存储介质及终端
CN113330512A (zh) * 2018-12-28 2021-08-31 谷歌有限责任公司 根据选择的建议向自动化助理补充语音输入
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
KR20200099380A (ko) * 2019-02-14 2020-08-24 삼성전자주식회사 음성 인식 서비스를 제공하는 방법 및 그 전자 장치
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
KR102134189B1 (ko) 2019-07-11 2020-07-15 주식회사 아들과딸 인공지능 로봇을 활용한 도서 콘텐츠 제공 방법 및 장치
CN110432901B (zh) * 2019-08-13 2021-12-14 宿州学院 一种多通道无线表面肌电信号发射装置
US11113032B2 (en) * 2019-08-14 2021-09-07 Palantir Technologies Inc. Function access system
US11531451B2 (en) * 2019-09-04 2022-12-20 Brain Technologies, Inc. Real-time morphing interface for display on a computer screen
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
KR102349402B1 (ko) * 2019-10-22 2022-01-11 한국전자기술연구원 적응형 추론 시스템 및 이의 운용 방법
US11810578B2 (en) 2020-05-11 2023-11-07 Apple Inc. Device arbitration for digital assistant-based intercom systems
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11748660B2 (en) * 2020-09-17 2023-09-05 Google Llc Automated assistant training and/or execution of inter-user procedures
EP4191578A4 (en) * 2020-10-07 2024-01-17 Samsung Electronics Co Ltd ELECTRONIC DEVICE AND METHOD FOR ACQUIRING PARAMETERS TO UNDERSTAND A NATURAL LANGUAGE
US11972095B2 (en) 2021-03-23 2024-04-30 Microsoft Technology Licensing, Llc Voice assistant-enabled client application with user view context and multi-modal input support
US11789696B2 (en) * 2021-03-23 2023-10-17 Microsoft Technology Licensing, Llc Voice assistant-enabled client application with user view context
US11526235B1 (en) * 2021-05-18 2022-12-13 Microsoft Technology Licensing, Llc Artificial intelligence model for enhancing a touch driver operation
CN113593555A (zh) * 2021-07-23 2021-11-02 北京百度网讯科技有限公司 通过语音方式控制程序的方法、设备及程序产品
CN113496703A (zh) * 2021-07-23 2021-10-12 北京百度网讯科技有限公司 通过语音方式控制程序的方法、设备及程序产品
CN113778315A (zh) * 2021-08-27 2021-12-10 京东方科技集团股份有限公司 一种数据交互方法、装置、系统及电子设备
KR20230081584A (ko) 2021-11-30 2023-06-07 주식회사 자가돌봄 자동 및 멀티 모달리티 정보 입력을 활용하는 일상 추적 시스템을 위한 인공지능 기반의 상황 추론 장치 및 방법
CN117555443B (zh) * 2024-01-12 2024-04-02 江苏纳帝电子科技有限公司 一种触摸屏书写检测分析方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102004624A (zh) * 2010-11-11 2011-04-06 中国联合网络通信集团有限公司 语音识别控制系统和方法
KR20130081176A (ko) * 2012-01-06 2013-07-16 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
CN103488384A (zh) * 2013-09-30 2014-01-01 乐视致新电子科技（天津）有限公司 一种语音助手应用界面显示方法和装置
CN103492993A (zh) * 2011-02-11 2014-01-01 三星电子株式会社 用于在移动终端中提供图形用户界面的方法和装置
US8731939B1 (en) * 2010-08-06 2014-05-20 Google Inc. Routing queries based on carrier phrase registration
CN105808200A (zh) * 2010-01-18 2016-07-27 苹果公司 智能自动化助理

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5748974A (en) 1994-12-13 1998-05-05 International Business Machines Corporation Multimodal natural language interface for cross-application tasks
US8332478B2 (en) * 1998-10-01 2012-12-11 Digimarc Corporation Context sensitive connected content
CA2270516C (en) * 1999-04-30 2009-11-17 Mosaid Technologies Incorporated Frequency-doubling delay locked loop
US20060010661A1 (en) * 2004-07-19 2006-01-19 Lonnie Murphy Garment or accessory clip
US8942985B2 (en) * 2004-11-16 2015-01-27 Microsoft Corporation Centralized method and system for clarifying voice commands
KR100679043B1 (ko) * 2005-02-15 2007-02-05 삼성전자주식회사 음성 대화 인터페이스 장치 및 방법
KR100654183B1 (ko) 2005-11-07 2006-12-08 한국전자통신연구원 음성 인식을 이용한 문자 입력 시스템 및 그 방법
US8972902B2 (en) * 2008-08-22 2015-03-03 Northrop Grumman Systems Corporation Compound gesture recognition
US8219406B2 (en) * 2007-03-15 2012-07-10 Microsoft Corporation Speech-centric multimodal user interface design in mobile technology
US8650030B2 (en) * 2007-04-02 2014-02-11 Google Inc. Location based responses to telephone requests
US8595642B1 (en) * 2007-10-04 2013-11-26 Great Northern Research, LLC Multiple shell multi faceted graphical user interface
DE102009040084A1 (de) * 2009-09-04 2011-03-10 Mahle International Gmbh Verfahren zur Herstellung eines Kolbens für einen Verbrennungsmotor
US9009592B2 (en) * 2010-06-22 2015-04-14 Microsoft Technology Licensing, Llc Population of lists and tasks from captured voice and audio content
US9028088B2 (en) 2010-09-30 2015-05-12 Black & Decker Inc. Lighted power tool
US9569090B2 (en) 2011-02-11 2017-02-14 Samsung Electronics Co., Ltd. Method and apparatus for providing graphic user interface in mobile terminal
US20120239396A1 (en) * 2011-03-15 2012-09-20 At&T Intellectual Property I, L.P. Multimodal remote control
ES2958183T3 (es) * 2011-08-05 2024-02-05 Samsung Electronics Co Ltd Procedimiento de control de aparatos electrónicos basado en el reconocimiento de voz y de movimiento, y aparato electrónico que aplica el mismo
US8785279B2 (en) * 2012-07-30 2014-07-22 Alpha And Omega Semiconductor Incorporated High voltage field balance metal oxide field effect transistor (FBM)
US9201859B2 (en) * 2011-12-15 2015-12-01 Microsoft Technology Licensing, Llc Suggesting intent frame(s) for user request(s)
US9153583B2 (en) * 2011-12-20 2015-10-06 Intel Corporation III-V layers for N-type and P-type MOS source-drain contacts
KR20130080380A (ko) * 2012-01-04 2013-07-12 삼성전자주식회사 전자 장치 및 그의 제어 방법
US9275411B2 (en) 2012-05-23 2016-03-01 Google Inc. Customized voice action system
KR20130133629A (ko) * 2012-05-29 2013-12-09 삼성전자주식회사 전자장치에서 음성명령을 실행시키기 위한 장치 및 방법
WO2014098795A1 (en) * 2012-12-17 2014-06-26 Empire Technology Development, Llc Distributing content elements among devices
US9959360B2 (en) * 2013-03-01 2018-05-01 Samsung Electronics Co., Ltd. Generating search results containing state links to applications
US9384732B2 (en) * 2013-03-14 2016-07-05 Microsoft Technology Licensing, Llc Voice command definitions used in launching application with a command
US9836437B2 (en) * 2013-03-15 2017-12-05 Google Llc Screencasting for multi-screen applications
KR102092058B1 (ko) * 2013-07-01 2020-03-23 삼성전자 주식회사 인터페이스 제공 방법 및 장치
US20150100621A1 (en) * 2013-10-03 2015-04-09 Yang Pan User Interface for a System Including Smart Phone and Smart Watch
US20150278182A1 (en) * 2014-04-01 2015-10-01 Project T, LLC System and method for annotating webpages
KR102282487B1 (ko) * 2014-05-08 2021-07-26 삼성전자주식회사 애플리케이션 실행 장치 및 방법
KR102281178B1 (ko) * 2014-07-09 2021-07-23 삼성전자주식회사 멀티-레벨 음성 인식 방법 및 장치
KR102367132B1 (ko) 2014-07-31 2022-02-25 삼성전자주식회사 디바이스 및 디바이스의 기능 수행 방법
WO2016017978A1 (en) * 2014-07-31 2016-02-04 Samsung Electronics Co., Ltd. Device and method for performing functions
KR102301880B1 (ko) * 2014-10-14 2021-09-14 삼성전자 주식회사 전자 장치 및 이의 음성 대화 방법
US20160132205A1 (en) * 2014-11-07 2016-05-12 Ebay Inc. System and method for linking applications
KR102298767B1 (ko) 2014-11-17 2021-09-06 삼성전자주식회사 음성 인식 시스템, 서버, 디스플레이 장치 및 그 제어 방법
KR20160062594A (ko) * 2014-11-25 2016-06-02 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
KR101728941B1 (ko) * 2015-02-03 2017-04-20 주식회사 시그널비젼 음성 인식 기반 애플리케이션 구동 장치 및 제어 방법
US10257588B2 (en) * 2015-03-16 2019-04-09 Viacom International Inc. Systems and methods for inserting breakpoints and reference links into a media file
KR20170014353A (ko) * 2015-07-29 2017-02-08 삼성전자주식회사 음성 기반의 화면 내비게이션 장치 및 방법
KR20170033722A (ko) * 2015-09-17 2017-03-27 삼성전자주식회사 사용자의 발화 처리 장치 및 방법과, 음성 대화 관리 장치
KR102429260B1 (ko) * 2015-10-12 2022-08-05 삼성전자주식회사 음성 에이전트 기반의 제어 명령 처리 장치 및 방법과, 에이전트 장치
KR102453603B1 (ko) * 2015-11-10 2022-10-12 삼성전자주식회사 전자 장치 및 그 제어 방법
CN106844019A (zh) * 2015-12-04 2017-06-13 阿里巴巴集团控股有限公司 应用程序控制方法、应用程序跳转关联配置方法及装置
US10565287B2 (en) * 2016-06-17 2020-02-18 International Business Machines Corporation Web content layout engine instance sharing across mobile devices
KR20180060328A (ko) * 2016-11-28 2018-06-07 삼성전자주식회사 멀티 모달 입력을 처리하는 전자 장치, 멀티 모달 입력을 처리하는 방법 및 멀티 모달 입력을 처리하는 서버
KR102416782B1 (ko) * 2017-03-28 2022-07-05 삼성전자주식회사 음성 인식 서비스 운용 방법 및 이를 지원하는 전자 장치
KR102414122B1 (ko) 2017-04-19 2022-06-29 삼성전자주식회사 사용자 발화를 처리하는 전자 장치 및 그 동작 방법
KR102374910B1 (ko) 2017-08-22 2022-03-16 삼성전자주식회사 음성 데이터 처리 방법 및 이를 지원하는 전자 장치
KR20200017292A (ko) * 2018-08-08 2020-02-18 삼성전자주식회사 음성 인식 방법 및 그 방법을 지원하는 전자 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105808200A (zh) * 2010-01-18 2016-07-27 苹果公司 智能自动化助理
US8731939B1 (en) * 2010-08-06 2014-05-20 Google Inc. Routing queries based on carrier phrase registration
CN102004624A (zh) * 2010-11-11 2011-04-06 中国联合网络通信集团有限公司 语音识别控制系统和方法
CN103492993A (zh) * 2011-02-11 2014-01-01 三星电子株式会社 用于在移动终端中提供图形用户界面的方法和装置
KR20130081176A (ko) * 2012-01-06 2013-07-16 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
CN103488384A (zh) * 2013-09-30 2014-01-01 乐视致新电子科技（天津）有限公司 一种语音助手应用界面显示方法和装置

Also Published As

Publication number Publication date
KR20180060328A (ko) 2018-06-07
US20190155571A1 (en) 2019-05-23
EP3327719A1 (en) 2018-05-30
WO2018097478A1 (en) 2018-05-31
CN108121490A (zh) 2018-06-05
US11561763B2 (en) 2023-01-24
US20210286589A1 (en) 2021-09-16
US10191718B2 (en) 2019-01-29
US11023201B2 (en) 2021-06-01
US20180150280A1 (en) 2018-05-31

Similar Documents

Publication Publication Date Title
CN108121490B (zh) 用于处理多模式输入的电子装置、方法和服务器
US11582337B2 (en) Electronic device and method of executing function of electronic device
US10803862B2 (en) Electronic device and method for processing user speech
CN110199350B (zh) 用于感测语音结束的方法和实现该方法的电子设备
CN108735204B (zh) 用于执行与用户话语相对应的任务的设备
US20220130388A1 (en) Electronic device for processing user speech and operating method therefor
US10706847B2 (en) Method for operating speech recognition service and electronic device supporting the same
EP3531416A1 (en) System for processing user utterance and controlling method thereof
US10788955B2 (en) Method for controlling display and electronic device supporting the same
EP3603040B1 (en) Electronic device and method of executing function of electronic device
KR20180058476A (ko) 다양한 입력 처리를 위한 방법, 이를 위한 전자 장치 및 서버
US20180293220A1 (en) Method and device for generating natural language expression by using framework
US11150870B2 (en) Method for providing natural language expression and electronic device supporting same
US10996922B2 (en) Electronic apparatus for processing user utterance
KR101993368B1 (ko) 멀티 모달 입력을 처리하는 전자 장치, 멀티 모달 입력을 처리하는 방법 및 멀티 모달 입력을 처리하는 서버
CN109309754B (zh) 用于获取和键入缺少参数的电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant