CN110945455B - 处理用户话语以用于控制外部电子装置的电子装置及其控制方法 - Google Patents

处理用户话语以用于控制外部电子装置的电子装置及其控制方法 Download PDF

Info

Publication number
CN110945455B
CN110945455B CN201880049130.0A CN201880049130A CN110945455B CN 110945455 B CN110945455 B CN 110945455B CN 201880049130 A CN201880049130 A CN 201880049130A CN 110945455 B CN110945455 B CN 110945455B
Authority
CN
China
Prior art keywords
electronic device
external electronic
command
information
user terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880049130.0A
Other languages
English (en)
Other versions
CN110945455A (zh
Inventor
金洲焕
李善基
金炅泰
余在永
禹景久
尹丁铉
林东善
诸成民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110945455A publication Critical patent/CN110945455A/zh
Application granted granted Critical
Publication of CN110945455B publication Critical patent/CN110945455B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1601—Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
    • G06F1/1605—Multimedia displays, e.g. with integrated or attached speakers, cameras, microphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2807—Exchanging configuration information on appliance services in a home automation network
    • H04L12/281—Exchanging configuration information on appliance services in a home automation network indicating a format for calling an appliance service function in a home automation network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/34—Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor
    • H04R1/083—Special constructions of mouthpieces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00—Public address systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/06—Details of telephonic subscriber devices including a wireless LAN interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00—Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/003—Digital PA systems using, e.g. LAN or internet

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Computational Linguistics (AREA)
  • Computer Security & Cryptography (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

提供了一种电子装置。电子设备包括：外壳、安置在外壳内部并且暴露通过外壳的第一部分的触摸屏显示器、安置在外壳内部并且暴露通过外壳的第二部分的麦克风、安置在外壳内部的通信电路、安置在外壳内部并且电连接到触摸屏显示器、麦克风和通信电路的处理器、以及安置在外壳中并且与处理器电连接的存储器。

Description

处理用户话语以用于控制外部电子装置的电子装置及其控制 方法
技术领域
本公开涉及用于处理用户的话语的技术。
背景技术
除使用键盘或鼠标的输入方案之外，电子装置近来已经支持各种输入方案，诸如话音输入等等。正基于自然语言处理来开发由电子装置提供的语音识别服务。用于处理自然语言的技术指的是确定用户话语的意图并且生成与意图匹配的结果以向用户提供该结果的技术。
另外，近来的电子装置可以通过在通信网络之上实施的物联网(Internet ofthings，IoT)的环境来控制另一个电子装置。用户可以通过电子装置来远程地控制访问通信网络的设备。例如，用户可以通过智能电话来远程地控制冰箱、电视(TV)、空调，等等。
将上述信息作为背景信息来呈现，仅用于帮助对本公开的理解。关于以上中的任何一项是否可以用作关于本公开的现有技术，没有作出判定，且没有作出断言。
发明内容
技术问题
因为语音识别服务仅仅显示根据用户输入的结果，所以语音识别服务可以仅仅处理用户的话音，诸如运行程序或输入值。因此，难以处理用户输入来运行多个应用。另外，因为语音识别服务接收用户输入以仅仅控制接收用户输入的电子装置或通过通信网络连接的另一个电子装置的操作，所以可能难以处理用户输入以用于控制多个电子装置的操作。换句话说，相比于用户接口，语音识别服务可以仅仅处理受限的用户输入。
附加的方面将在随后的描述中被部分地阐述，并且部分地从描述中其将显而易见，或者可以通过所呈现的实施例的实践而习得其。
本公开的方面将至少解决以上提及的问题和/或缺点并且至少提供以下描述的优点。因此，本公开的方面将提供一种有组织地控制多个电子装置的操作以处理与用户输入相对应的任务的方法。
技术方案
根据本公开的方面，提供一种电子装置。电子设备包括：外壳、位于外壳内部并且暴露通过外壳的第一部分的触摸屏显示器、位于外壳内部并且暴露通过外壳的第二部分的麦克风、位于外壳内部的通信电路、位于外壳内部并且电连接到触摸屏显示器、麦克风和通信电路的至少一个处理器、以及位于外壳中并且与至少一个处理器电连接的存储器。存储器可以存储指令，当该指令被执行时，使得至少一个处理器通过触摸屏显示器或麦克风中的至少一个接收用户输入，通过通信电路向外部服务器发送与用户输入相关联的第一数据，通过通信电路从外部服务器接收包括关于第一外部电子装置的第一状态序列和第二外部电子装置的第二状态序列的信息的响应，向第一外部电子装置发送允许第一外部电子装置具有第一状态序列的第一命令，以及向第二外部电子装置发送允许第二外部电子装置具有第二状态序列的第二命令。用户输入可以包括对于通过使用第一外部电子装置和第二外部电子装置来执行至少一个任务的请求。
根据本公开的另一个方面，第一命令包括第一状态序列，并且第二命令包括第二状态序列。
根据本公开的另一个方面，存储器可以存储指令，当该指令被执行时，使得至少一个处理器通过基于第一命令允许第一外部电子装置具有第一状态序列来获取第二数据，以及当第二外部电子装置基于第二状态序列来执行操作时，将第二数据与第二命令一起发送给第二外部电子装置以基于第二命令来使用第二数据。
根据本公开的另一个方面，当第一外部电子装置和第二外部电子装置被包括在本地网络中时，第一命令可以允许第一外部电子装置直接地向第二外部电子装置发送第二数据。
根据本公开的另一个方面，存储器可以存储指令，当该指令被执行时，使得至少一个处理器在触摸屏显示器中显示分别基于第一命令和第二命令操作的第一状态序列和第二状态序列。
根据本公开的另一个方面，存储器可以存储指令，当该指令被执行时，使得至少一个处理器，当第一外部电子装置和第二外部电子装置完成基于第一状态序列和第二状态序列的操作时，从第一外部电子装置和第二外部电子装置接收指示已经完成操作的第二信息。
根据本公开的另一个方面，响应可以包括关于用于检验已经完成操作的状态的信息。
根据本公开的另一个方面，存储器可以存储指令，当该指令被执行时，使得至少一个处理器确定基于第二状态序列的第二外部电子装置的第一操作是否基于基于第一状态序列的第一外部电子装置的第二操作，以及当第一操作依赖于第二操作时，在检验完成第二操作之后向第二外部电子装置发发送第二命令。
根据本公开的另一个方面，一种处理用户话语的系统可以包括网络接口、可操作地连接到网络接口的至少一个处理器、以及可操作地连接到处理器的至少一个存储器。至少一个存储器可以存储指令，当该指令被执行时，使得至少一个处理器通过网络接口从包括麦克风的第一外部电子装置接收与通过麦克风获取的用户输入相关联的第一数据，确定用于第二外部电子装置的第一状态序列和用于第三外部电子装置的第二状态序列以用于执行至少一个任务，以及向第一外部电子装置或控制第二外部电子装置和第三外部电子装置的外部服务器发送包括关于第一状态序列和第二状态序列的信息的响应。用户输入可以包括对于通过使用第二外部电子装置和第三外部电子装置来执行至少一个任务的请求。信息包括用于具有第一状态序列的第一命令和用于具有第二状态序列的第二命令。
根据本公开的另一个方面，第一命令包括第一状态序列，并且第二命令包括第二状态序列。
根据本公开的另一个方面，信息包括包含报头和指示多个命令的字段的数据分组。
根据本公开的另一个方面，以JavaScript对象标记(JavaScript objectnotation，JSON)格式来提供第一状态序列和第二状态序列。
根据本公开的另一个方面，信息包括第一命令和第二命令之间的关系。
根据本公开的另一个方面，第一命令可以包括与第二外部电子装置相关联的第一设备类型和与第三外部电子装置相关联的第二设备类型。
根据本公开的另一个方面，至少一个存储器可以存储指令，当该指令被执行时，使得至少一个处理器，当第一外部电子装置、以及第二外部电子装置或第三外部电子装置中的一个没有被包括在本地网络中时，向外部服务器发送信息。
根据本公开的另一个方面，第一命令允许第二外部电子装置具有第二状态序列以生成第二数据并且向第三外部电子装置发送第二数据，并且第三外部电子装置使用第二数据基于第二状态序列来执行操作。
根据本公开的另一个方面，当第二外部电子装置和第三外部电子装置被包括在本地网络中时，第一命令可以允许第一外部电子装置直接地向第三外部电子装置发送第二数据。
根据本公开的另一个方面，一种处理用户话语的系统可以包括网络接口、可操作地连接到网络接口的至少一个处理器、以及可操作地连接到至少一个处理器的至少一个存储器。至少一个存储器可以存储指令，当该指令被执行时，使得至少一个处理器：通过网络接口连接到第一物联网(IoT)设备和第二IoT设备，通过网络接口从外部服务器接收关于第一IoT设备的第一状态序列和第二IoT设备的第二状态序列的信息，以用于执行至少一个任务，至少部分地基于第一状态序列向第一IoT设备提供第一命令，以及至少部分地基于第二状态序列向第二IoT设备提供第二命令，从第一IoT设备和第二IoT设备中的至少一个接收关于至少一个状态的信息，以及在接收至少一个状态的更新之后，通过网络接口向外部服务器和外部便携式设备中的至少一个发送至少一个状态的更新。信息可以包括用于第一IoT设备的第一命令和用于第二IoT设备的第二命令。
根据本公开的另一个方面，至少一个存储器可以存储指令，当该指令被执行时，使得至少一个处理器：向第一IoT设备提供第一命令，在提供第一命令之后，从第一IoT设备接收第一状态更新，在接收第一状态更新之后，向第二IoT设备提供第二命令，以及在提供第二命令之后，从第二IoT设备接收第二状态更新。
根据本公开的另一个方面，第一命令可以包括第一状态序列，并且第二命令可以包括第二状态序列。
有益效果
根据本公开的各个实施例，用户终端可以通过智能服务器接收其中顺序地列出了用户终端或外部电子装置的状态的路径规则，并且可以根据接收到的路径规则来执行存储在存储器或电子装置中的应用(application，app)的操作以执行与用户输入相对应的任务。
另外，在用户终端接收用于执行多个电子装置的操作的用户输入的情况下，用户终端可以通过智能服务器来确定多个电子装置的操作是否依赖于彼此，可以确定控制多个电子装置的操作的主体，可以确定在多个电子装置之间发送和/或接收数据的方法，并且可以有组织地控制多个电子装置的操作以用于处理用户输入。
可以提供通过本公开被直接地或间接地理解的各种效果。
根据结合附图的用于公开本公开的各个实施例的以下详细描述，本公开的其它方面、优点和显著的特征将对于本领域技术人员变得显而易见。
附图说明
根据结合附图的以下描述，本公开的某些实施例的上述及其它方面、特征和优点将变得更显而易见，其中：
图1是示出根据本公开的各个实施例的集成智能系统的视图；
图2是示出根据本公开的实施例的集成智能系统的用户终端的框图；
图3是示出根据本公开的实施例的存储在用户终端的存储器中的程序的图；
图4a是示出根据本公开的实施例的运行用户终端的智能app的视图；
图4b是示出根据本公开的实施例的运行用户终端的专用app的屏幕的视图；
图5是示出根据本公开的实施例的集成智能系统的智能服务器的框图；
图6是示出根据本公开的实施例的自然语言理解(natural languageunderstanding，NLU)模块的路径规则生成方法的视图；
图7是示出根据本公开的实施例的集成智能系统的物联网(IoT)云的框图；
图8是示出根据本公开的实施例的集成智能系统的电子装置的框图；
图9是示出根据实施例的智能服务器生成路径规则并且发送所生成的路径规则的方法的流程图；
图10是示出根据本公开的实施例的用户终端或IoT云根据接收到的路径规则来控制多个电子装置的操作的流程图；
图11是示出根据本公开的实施例的智能服务器确定将控制包括在路径规则中的多个电子装置的操作的主体的方法的流程图；
图12是示出根据本公开的实施例的确定用户终端向外部电子装置发送数据的方法的方法的流程图；
图13是示出根据本公开的实施例的用户终端直接地向外部电子装置发送数据的方法的图；
图14是示出根据本公开的实施例的用户终端通过IoT云向外部电子装置发送所生成的数据的方法的图；
图15是示出根据本公开的实施例的IoT云控制外部电子装置的操作的方法的图；
图16a和图16b是示出根据本公开的实施例的用户终端控制多个外部电子装置的操作的方法的图；
图17a和图17b是示出根据本公开的实施例的用户终端控制多个外部电子装置的操作的方法的图；
图18a和图18b是示出根据本公开的实施例的IoT云控制多个外部电子装置的操作的方法的图；
图19是示出根据本公开的实施例的IoT云控制多个外部电子装置的操作的方法的图；
图20a和图20b是示出根据本公开的实施例的IoT云通过路由器来控制多个外部电子装置的操作的方法的图；以及
图21示出了根据本公开的各个实施例的在网络环境中的电子装置的框图。
在整个附图中，相同的附图标号将被理解为指代相同的部件、组件和结构。
具体实施方式
提供参考附图的以下描述以帮助全面理解如权利要求和它们的等同物所限定的本公开的各个实施例。其包括各个特定细节来帮助该理解，但是这些特定细节将被认为仅仅是示例性的。因此，那些本领域普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，能够对在本文描述的各个实施例进行各种改变和修改。另外，为了清楚和简明的目的，可以省略对熟知的功能和构造的描述。
在以下描述和权利要求中使用的术语和措词不限于书目意义，而是仅仅由发明人使用来实现本公开的明确且一致的理解。因此，应当对本领域技术人员显而易见的是，提供本公开的各个实施例的以下描述仅仅为了说明目的，并非为了限制如所附权利要求和它们的等同物所限定的本公开的目的。
应当理解，单数形式“一”和“该”包括复数指示物，除非上下文其它另有明确指示。因此，例如，对“组件表面”的引用包括对一个或多个这样的表面的引用。
在描述本公开的实施例之前，将描述一种本公开的实施例能够被应用到其的集成智能系统。
图1是示出根据本公开的各个实施例的集成智能系统的视图。
参考图1，集成智能系统10可以包括用户终端100(或电子装置)(例如，图21的电子装置2101)、智能服务器200、物联网(IoT)云300(例如，图21的服务器2108)，或外部电子装置(或IoT设备)400(例如，图21的电子装置2104)。
根据实施例，用户终端100可以接收用户输入。例如，用户终端100可以通过麦克风接收用户话语。根据实施例，用户终端100可以通过使用存储于其中的app(或应用程序)来接收用户输入。例如，用户终端100可以通过使用智能app(例如，语音识别app)来接收用户话语。根据实施例，用户终端100可以基于用户输入来执行内部存储的app或外部电子装置400的操作。换句话说，用户终端100可以包括对于使用外部电子装置400来执行至少一个任务的请求。
根据实施例，诸如移动电话、智能电话、个人数字助理(personal digitalassistant，PDA)、笔记本计算机等等的与因特网相连接的各种类型的终端设备(或电子装置)可以对应于用户终端100。
根据实施例，智能服务器200可以通过通信网络接收用户输入以生成(或选择)路径规则。例如，路径规则可以包括关于用于执行用户终端100和外部电子装置400中的至少一个的功能的动作(或操作)的信息。另外，路径规则可以另外包括关于执行动作所必要的参数的信息(或数据)。根据实施例，为了执行对应于用户输入的任务的目的，智能服务器200可以顺序地排列多个动作以生成路径规则。用户终端100可以接收路径规则并且可以根据路径规则来执行app或外部电子装置400的操作。
通常，本公开的术语“路径规则”可以意指但不限于电子装置的状态序列，其允许电子装置执行由用户所请求的任务。换句话说，路径规则可以包括关于电子装置的状态序列的信息。例如，任务可以是智能app能够提供的动作。任务可以包括生成时间表、向期望的对方传输图片、或提供气象信息。用户终端100可以通过顺序地具有至少一个或多个状态(例如，用户终端100的操作状态)来执行任务。
根据实施例，可以由人工智能(artificial intelligent，AI)系统提供或生成路径规则。人工智能系统可以是基于规则的系统，或可以是基于神经网络的系统(例如，前馈神经网络(feedforward neural network，FNN)或递归神经网络(recurrent neuralnetwork，RNN))。可替换地，人工智能系统可以是以上描述的系统的组合或不同于以上描述的系统的人工智能系统。根据实施例，路径规则可以从预定义的路径规则的集合中选择或可以响应于用户请求被实时地生成。例如，人工智能系统可以选择至少预定义的多个路径规则中的路径规则，或可以动态地(或实时地)生成路径规则。此外，用户终端100可以使用混合系统来提供路径规则。
根据实施例，IoT云300可以通过通信网络从智能服务器200接收路径规则。IoT云300可以根据接收到的路径规则来操作外部电子装置400。根据实施例，IoT云300可以代替用户终端100来控制路径规则中所包括的电子装置(例如，用户终端100和外部电子装置400)的操作。例如，IoT云300可以代替用户终端100来根据多个电子装置(例如，用户终端100和外部电子装置400)的状态和其中包括多个电子装置的网络环境控制来控制电子装置的操作。
根据实施例，IoT云300可以从用户终端100或外部电子装置400接收通过操作的执行而生成的数据。用户终端100或外部电子装置400可以根据路径规则来执行app的操作并且可以向IoT云300发送通过操作而生成的数据。根据实施例，IoT云300可以将所生成的数据存储在数据库中并且可以向用户终端100或外部电子装置400发送关于存储数据的位置的地址的信息。当执行要求数据的操作时，外部电子装置400可以通过使用关于地址的信息从IoT云300获取数据。
根据实施例，外部电子装置400可以从用户终端100或IoT云300接收命令以执行操作。用户终端100或IoT云300可以向外部电子装置400发送用于根据接收到的路径规则来执行操作的命令。例如，外部电子装置400可以根据接收到的命令中所包括的路径规则来执行操作。根据实施例，外部电子装置400可以通过使用数据来执行路径规则中所包括的操作。例如，数据可以被包括在从用户终端100接收到的命令中或可以是从IoT云300获取的。
根据实施例，由智能服务器200生成的路径规则可以包括多个电子装置的操作。例如，路径规则可以包括多个电子装置的操作，该多个电子装置包括用户终端100和外部电子装置400。用户终端100或IoT云300可以基于路径规则来执行多个电子装置的操作。多个电子装置的操作可以与彼此无关或可以依赖于彼此。
根据实施例，集成智能系统10可以另外包括路由器(或集线器)。当没有被连接到服务器时，外部电子装置400可以通过路由器连接到IoT云300。
图2是示出根据本公开的实施例的集成智能系统的用户终端的框图。
参考图2，用户终端(或电子装置)100可以包括输入模块110(例如，图21的输入设备2150)、通信模块(或通信电路)120、显示器130、扬声器140、存储器150(例如，图21的存储器2130)、或处理器160(例如，图21的处理器2120)。用户终端100可以另外包括外壳(未示出)，并且用户终端100的组件可以位于外壳内部。
根据实施例，输入模块110可以从用户接收用户输入。例如，输入模块110可以从连接的外部装置(例如，键盘或耳麦)接收用户输入。对于另一个示例，输入模块110可以包括耦合到显示器130的触摸屏(例如，触摸屏显示器)。对于另一个示例，输入模块110可以包括位于用户终端100的硬件键(例如，图4a的硬件键113)。
根据实施例，输入模块110可以包括能够将用户话语作为话音信号来接收的麦克风(例如，图4a的麦克风111)。例如，输入模块110可以包括语音输入系统并且可以通过语音输入系统将用户的话语作为话音信号来接收。例如，麦克风可以被暴露通过外壳的一部分(例如，第一部分)。
根据实施例，通信模块(或通信电路)120可以连接到外部电子装置以发送和/或接收信号。例如，通信模块120可以包括无线通信模块(例如，蓝牙、Wi-Fi等等)。例如，通信模块120可以连接到智能服务器200、IoT云300、和外部电子装置400以发送和/或接收信号(例如，用户输入和与用户输入相对应的路径规则)。
根据实施例，显示器(或触摸屏显示器)130可以显示图像或视频图像。例如，显示器130可以显示app的执行屏幕。在显示器130中显示的屏幕可以包括图形用户界面(graphic user interface，GUI)。根据实施例，可以通过外壳的一个部分(例如，第二部分)将显示器130暴露于用户终端100的外部。
根据实施例，扬声器140可以输出话音信号。例如，扬声器140可以向外部输出在用户终端100中生成的话音信号。根据实施例，扬声器140可以被暴露于外壳的一个部分(例如，第三部分)。
根据实施例，存储器150可以存储多个app(例如，应用程序)151和153。例如，多个app 151和153可以是用于执行与用户输入相对应的功能的程序。多个app 151和153可以包括执行服务151a和153a或多个动作(或单元动作)151b和153b。在可以由处理器160加载多个app 151和153之后，可以生成执行服务151a和153a，并且可以通过执行服务151a和153a来执行多个动作151b和153b。
根据实施例，存储器150可以存储智能代理155或执行管理器模块157。例如，智能代理155和执行管理器模块157可以是用于处理接收到的用户输入(例如，用户话语)的框架(或应用框架)。根据实施例，可以由处理器160来执行存储在存储器150中的智能代理155和执行管理器模块157。可以由处理器160来实施智能代理155或执行管理器模块157中的每一个的功能。描述了智能代理155或执行管理器模块157中的每一个的功能是处理器160的操作。根据实施例，可以利用硬件以及软件来实施存储在存储器150中的智能代理155或执行管理器模块157。
图3是示出根据本公开的实施例的存储在用户终端的存储器中的程序的图。
参考图3，存储器150可以包括用于执行用户终端100的功能的多个程序(或app)151'、153'、155'和157'。例如，存储在存储器150中的程序可以类似于存储在图2的存储器150中的多个app 151和153。换句话说，存储在存储器150中的程序可以包括用于执行用户终端100的特定功能的多个动作151b和153b。
根据实施例，存储器150可以包括用于直接地控制外部电子装置400的专用app151'。例如，存储器150可以包括专用app 151'，该专用app 151'包括用于控制外部电子装置400的框架。例如，框架可以包括用于控制多个电子装置中的每一个的信息(例如，关于冰箱的信息151a'、关于显示设备的信息151b'、或关于扬声器设备的信息151c')。用于控制多个电子装置中的每一个的信息可以包括电子装置的库和用户接口(user interface，UI)。用户终端100可以通过UI来指示外部电子装置400的状态并且可以控制外部电子装置400。
根据实施例，存储器150可以包括用于通过网络(例如，因特网)来控制外部电子装置400的程序153'。例如，用于通过通信网络控制外部电子装置400的程序153'可以包括用于控制连接到网络的外部电子装置400的库(例如，用于IoT环境的开放连接基金(openconnectivity foundation，OCF)库(OCF Lib)(或开放互连联盟(open interconnectconsortium，OIC)框架))。OCF库可以包括用于控制外部电子装置400的发现函数、消息收发函数、资源管理函数、请求和响应函数(例如，创建、调取、更新、删除和通知(create,retrieve,update,delete,and notify，CRUDN))、设备管理函数、标识符(ID)/地址函数、以及安全函数。换句话说，可以在OCF库中实施多个函数。
根据实施例，存储器150可以包括与外部电子装置400共享数据的app(或共享app)155'。例如，与外部电子装置400共享数据的app 155'可以从用户终端100向外部电子装置400发送数据。
根据实施例，存储器150可以包括在外部电子装置400中显示用户终端100的屏幕的app(或投屏(mirroring)app)157'。例如，在外部电子装置400中显示用户终端100的屏幕的app 157'可以以流送方式发送在用户终端100的显示器130中显示的图像(或视频图像)以在外部电子装置400中显示该图像。
根据实施例，存储器150可以存储结合智能代理155操作的智能app(未示出)。例如，结合智能代理155操作的app可以是语音识别app并且可以接收用户的话语以将用户的话语作为话音信号来处理。可以通过经由输入模块110输入的特定输入(例如，通过硬件键的输入、通过触摸屏的输入、或特定话音输入)来操作结合智能代理155操作的app。
参考图2，处理器160可以控制用户终端100的总体操作。处理器160可以电连接到输入模块110、通信模块120、显示器130、扬声器140、和存储器150。例如，处理器160可以控制输入模块110接收用户输入。处理器160可以控制通信模块120对外部电子装置访问并且可以向外部电子装置和/或从外部电子装置发送和/或接收数据。处理器160可以控制显示器130显示图像。处理器160可以控制扬声器140输出话音信号。处理器160可以控制存储器150执行程序并且读取或存储必要的信息。根据实施例，当执行存储在存储器150中的指令时，处理器160可以执行以下将描述的操作。
根据实施例，处理器160可以运行存储在存储器150中的智能代理155或执行管理器模块157。如此以来，处理器160可以实施智能代理155或执行管理器模块157的功能。
根据实施例，处理器160可以运行智能代理155以通过输入模块110接收用户输入。例如，处理器160可以运行智能代理155以通过输入模块110中所包括的麦克风接收用户话语作为用户输入。例如，用户输入可以包括对于使用外部电子装置400执行至少一个任务的请求。根据实施例，智能代理155可以包括接收用户输入的语音识别模块。例如，智能代理155可以通过语音识别模块来识别用户输入。例如，语音识别模块可以包括用于识别语音的隐马尔可夫模型(hidden Markov model，HMM)算法、人工神经网络(artificial neuralnetwork，ANN)算法、以及动态时间规整(dynamic time warping，DTW)中的至少一个。
根据实施例，处理器160可以通过特定用户输入来运行智能代理155。例如，处理器160可以运行存储在存储器150中的唤醒识别模块以识别特定用户输入并且可以运行智能代理155。例如，可以利用低功率处理器(例如，音频编解码器中所包括的处理器)来实施唤醒识别模块。根据另一个实施例，处理器160可以响应于通过硬件键接收的特定用户输入来运行智能代理155。根据实施例，在运行智能代理155的情况下，可以运行结合智能代理155操作的智能app(例如，语音识别app)。
根据实施例，处理器160可以运行智能代理155以接收用于运行存储在存储器150中的app 151和153(或程序151'、153'、155'和157')以及外部电子装置400的操作的用户输入。根据实施例，处理器160可以运行智能代理155以对接收到的用户输入执行预处理。例如，为了对用户话语进行预处理的目的，智能代理155可以包括自适应回波抵消器(adaptive echo canceller，AEC)模块、噪声抑制(noise suppression，NS)模块、端点检测(end-point detection，EPD)模块、或自动增益控制(automatic gain control，AGC)模块。AEC可以去除用户输入中所包括的回波。NS模块可以抑制用户输入中所包括的背景噪声。EPD模块可以检测用户输入中所包括的用户话音的端点并且可以通过使用检测到的端点来搜索在其中呈现用户话音的部分。AGC模块可以将用户输入的音量调整为适于识别和处理用户输入。根据实施例，智能代理155可以包括用于执行的所有预处理组件。然而，在另一个实施例中，智能代理155可以包括预处理组件的一部分以在低功率操作。
根据实施例，处理器160可以运行智能代理155以向智能服务器200发送通过通信模块120接收的用户输入。换句话说，处理器160可以运行智能代理155以通过通信模块120向智能服务器200发送与用户输入相关联的数据。例如，处理器160可以运行智能代理155以向智能服务器200发送对于接收与用户输入相对应的路径规则的请求。根据实施例，处理器160可以运行智能代理155以从智能服务器200接收与用户输入相对应的路径规则。例如，处理器160可以运行智能代理155以接收包括与用户输入相对应的路径规则的响应。
根据实施例，处理器160可以运行智能代理155以根据接收到的路径规则来执行用户终端100和外部电子装置400的操作。换句话说，处理器160可以运行智能代理155以根据路径规则来执行多个电子装置(例如，用户终端100和外部电子装置400)的操作。
根据实施例，处理器160可以运行智能代理155以根据接收到的路径规则来选择存储在存储器150中的app 151和153，并且可以生成用于执行所选择的app中所包括的动作151b和153b的命令。处理器160可以运行执行管理器模块157以运行并且绑定所选择的app151和153并且可以从智能代理155接收所生成的命令以执行所选择的app 151和153的操作。处理器160可以运行执行管理器模块157以顺序地向app 151和153发送路径规则中所包括的动作151b和153b。
根据实施例，处理器160可以运行智能代理155以根据接收到的路径规则来生成用于操作外部电子装置400的命令。处理器160可以运行执行管理器模块157，可以从智能代理155接收所生成的命令，并且可以向外部电子装置400发送所生成的命令。命令可以包括路径规则，该路径规则包括外部电子装置400的操作和操作所必要的信息。例如，操作所必要的信息可以包括操作所必要的数据或用于获取操作所必要的数据的关于地址的信息。外部电子装置400可以通过使用关于地址的信息来从IoT云300获取操作所必要的数据。
根据实施例，在处理器160运行执行管理器模块157以通过通信网络控制外部电子装置400的情况下，处理器160可以运行OCF库153'。处理器160可以运行执行管理器模块157以通过使用OCF库153'的函数来控制外部电子装置400的操作。
根据实施例，在处理器160运行执行管理器模块157以从智能代理155接收用于直接地控制外部电子装置400的操作的命令的情况下，处理器160可以运行专用app 151'。处理器160可以运行执行管理器模块157以在专用app 151'的UI中显示外部电子装置400的操作状态。根据实施例，用户可以通过专用app151'来控制外部电子装置400。
根据实施例，处理器160可以运行智能代理155以接收关于app 151或153或外部电子装置400的操作的执行状态的信息。例如，处理器160可以运行智能代理155并且可以接收关于外部电子装置400的操作的执行状态的信息。对于另一个示例，处理器160可以运行智能代理155以通过执行管理器模块157接收关于app 151和153的操作的执行状态的信息。例如，关于app 151或153或外部电子装置400的操作的执行状态的信息可以是其中完成app151或153或外部电子装置400的操作的执行的状态的信息。例如，关于app 151或153或外部电子装置400的操作的执行状态的信息可以是其中中断了app 151或153或外部电子装置400的操作的执行的状态的信息。处理器160可以经由智能代理155通过使用app 151或153和外部电子装置400的操作的执行状态来向用户请求必要的信息(例如，关于参数的信息)的附加输入。
根据实施例，处理器160可以运行执行管理器模块157以向app 151和153发送关于路径规则中所包括的参数的信息(或数据)。在根据路径规则来顺序地运行多个app 151和153的情况下，处理器160可以运行执行管理器模块157以从一个app向另一个app发送关于路径规则中所包括的参数的信息。
根据实施例，处理器160可以运行执行管理器模块157以向IoT云300或外部电子装置400发送通过app 151和153的操作而生成的数据。例如，处理器160可以运行执行管理器模块157，以向IoT云300发送通过操作的app 151和153而生成的数据，并且可以从IoT云300接收存储所生成的数据的地址。处理器160可以运行执行管理器模块157以向外部电子装置400发送关于地址的信息，并且外部电子装置400可以通过使用关于地址的信息来从IoT云300获取从用户终端100生成的数据。可替换地，处理器160可以运行执行管理器模块157以向外部电子装置400发送通过app 151和153的操作而生成的数据。
图4a是示出根据本公开的实施例的运行用户终端的智能app的视图。
参考图4a，用户终端100接收运行结合智能代理155操作的智能app(例如，语音识别app)的用户输入。
根据实施例，用户终端100可以运行智能app用于识别通过硬件键113的话音。例如，在用户终端100接收通过硬件键113的用户输入的情况下，用户终端100可以在显示器130中显示智能app的UI 131。例如，为了在显示器130中显示智能app的UI 131的状态下输入话音130b的目的，用户可以触摸智能app的UI 131的语音识别按钮131a。对于另一个示例，在连续地按压硬件键113以输入话音130b时，用户可以输入话音130b。
根据实施例，用户终端100可以运行智能app用于识别通过麦克风111的话音。例如，在通过麦克风111输入特定话音130a(例如，醒来！)的情况下，用户终端100可以在显示器130中显示智能app的UI 131。
图4b是示出根据本公开的实施例的运行用户终端的专用app的屏幕的视图。
参考图4b，用户终端100可以运行用于控制外部电子装置400的操作的专用app151'。当接收用于运行专用app 151'的用户输入时，用户终端100可以在显示器130中显示专用app 151'的UI 133。专用app 151'的UI 133可以包括与外部电子装置400相对应的UI133a、133b和133c。用户终端100可以通过分别使用专用app 151'中所包括的多个电子装置(例如，冰箱、显示设备和扬声器设备)的UI 151a'、151b'和151c'来显示与外部电子装置400相对应的UI 133a、133b和133c。UI 133a、133b和133c可以显示外部电子装置400的状态(例如，操作的执行状态)。例如，用户终端100可以显示与执行操作的外部电子装置400相对应的UI(例如，冰箱的UI 133a),以便和与不执行操作的外部电子装置相对应的UI(例如，显示设备的UI 133b或扬声器设备的UI 133c)相区分。另外，用户终端100可以在与外部电子装置400相对应的UI 133a、133b和133c中显示关于由外部电子装置400执行的操作的信息。
图5是图示出根据本公开的实施例的集成智能系统的智能服务器的框图。
参考图5，智能服务器200可以包括自动语音识别(automatic speechrecognition，ASR)模块210、自然语言理解(natural language understanding，NLU)模块220、路径规划器模块230、对话管理器(dialogue manager，DM)模块240、自然语言生成器(natural language generator，NLG)模块250、或文转声(text to speech，TTS)模块260。根据另一个实施例，智能服务器200可以包括执行配置的功能的网络接口(例如，通信电路)、存储器和处理器。存储在存储器中的指令在被执行时可以使得处理器执行以下将描述的操作。
智能服务器200的NLU模块220或路径规划器模块230可以生成路径规则。路径规则可以包括用户终端100的操作和外部电子装置400的操作中的至少一个。例如，路径规则可以包括用户终端100和外部电子装置400中的每一个的状态序列，并且接收路径规则的用户终端100或外部电子装置400可以执行操作以具有路径规则所包括的状态。
根据实施例，ASR模块210可以将从用户终端100接收到的用户输入转换为文本数据。
根据实施例，ASR模块210可以包括语音识别模块。语音识别模块可以包括声学模型和语言模型。例如，声学模型可以包括与发音相关联的信息，并且语言模型可以包括单位音素信息和关于单位音素信息的组合的信息。语音识别模块可以通过使用与发音相关联的信息和单位音素信息来将用户语音转换为文本数据。例如，可以将关于声学模型和语言模型的信息存储在ASR数据库(database，DB)211中。
根据实施例，NLU模块220可以通过执行语法分析或语义分析来确定用户意图。例如，NLU模块220可以将用户输入划分为语法单位(例如，词语、词组、词素等等)，并且可以通过用于分析划分的单位具有哪些语法元素的语法分析来确定用户意图。可替换地，NLU模块220可以使用语义匹配、规则匹配、公式匹配等等通过语义分析来确定用户意图。如此以来，NLU模块220可以获取对应于用户输入的域、意图、或表示意图所必要的参数(或词槽词槽(slot))。换句话说，NLU模块220可以通过将用户输入划分为域分类符、意图分类符和词槽标签(或参数提取)来获取对应于用户输入的域、意图、或参数。根据存储在用户终端100或外部电子装置400中的app，域可以是不同的。根据能够在域中执行的函数，意图可以是不同的。词槽(或参数)可以是执行函数所必需的值。
根据实施例，NLU模块220可以通过使用被划分为域、意图、以及确定意图所必要的参数(或词槽)的匹配规则来确定用户的意图和参数。例如，根据app(例如，警报)的一个域可以包括多个意图(例如，警报设置、警报消除等等)，并且一个意图可以包括多个参数(例如，时间、迭代次数、警报声等等)。对于另一个示例，根据外部电子装置400(例如，电视(TV))的一个域可以包括多个意图(例如，在显示器中显示图像、输出声音等等)，并且一个意图可以包括多个参数(例如，图像、色温校正的值等等)。可以将匹配规则存储在NLU DB221中。
根据实施例，NLU模块220可以通过使用诸如词素、词组等等的语言学特征(例如，文法(grammatical)要素)来确定从用户输入提取的词语的意义，并且可以通过将词语的含义匹配到域来确定用户意图。例如，为了确定用户意图的目的，NLU模块220可以计算从用户输入提取的多少词语被包括在域和意图中的每一个中。根据实施例，NLU模块220可以通过使用确定意图所基于的词语来确定用户输入的参数。根据实施例，NLU模块220可以通过使用存储以用于确定用户输入的意图的语言学特征的NLU DB 221来确定用户意图。根据另一个实施例，NLU模块220可以通过使用个人语言模型(personal language model，PLM)来确定用户意图。例如，NLU模块220可以通过使用个性化信息(例如，联系人列表或音乐列表)来确定用户意图。例如，可以将PLM存储在NLU DB 221中。根据实施例，ASR模块210以及NLU模块220可以参考存储在NLU DB 221中的PLM来识别用户的话音。
根据实施例，NLU模块220可以基于用户输入的意图和参数来生成包括用户终端100的app的操作的路径规则。路径规则可以包括用户终端100的app的状态。例如，NLU模块220可以基于用户输入的意图来选择将被运行的app，并且可以确定所选择的app中的将被执行的操作。NLU模块220可以确定关于执行所确定的操作所必要的参数的信息以生成包括用户终端100的app的操作的路径规则。
根据实施例，NLU模块220可以基于用户输入的意图和参数来生成包括电子装置(例如，外部电子装置400)的操作的路径规则。例如，NLU模块220可以基于用户输入的意图来选择电子装置，并且可以确定将通过所选择的电子装置而执行的操作。NLU模块220可以确定关于执行所确定的操作所必要的参数的信息(或数据)以生成包括电子装置的操作的路径规则。
根据实施例，NLU模块220可以根据用户输入基于多个电子装置的操作之间的依赖性来生成路径规则。例如，NLU模块220可以检验要被包括在路径规则中的多个电子装置的操作当中需要被提前执行的操作，并且可以生成路径规则，以便提前执行电子装置的检验的操作。
根据实施例，NLU模块220可以根据用户输入来确定控制多个电子装置的操作的主体以生成路径规则。例如，NLU模块220可以考虑执行路径规则中所包括的操作的多个电子装置的状态以及其中包括多个电子装置的网络环境来确定控制多个电子装置的操作的主体，并且可以将所选择的主体(例如，用户终端100或IoT云300)的操作包括在路径规则中。
根据实施例，NLU模块220可以确定在多个电子装置之间发送数据的方法并且可以生成路径规则。例如，NLU模块220可以考虑多个电子装置的状态和包括多个电子装置的网络环境确定在多个电子装置之间发送和/或接收数据的方法，并且可以将根据所确定的方法的操作(例如，对等P2P(或如何直接地发送)或如何通过服务器进行发送)包括在路径规则中。
根据实施例，NLU模块220可以将关于执行将被运行的app或者多个电子装置中的每一个的操作所必要的参数的信息(或数据)包括在路径规则中。
根据实施例，NLU模块220可以生成多个app或多个电子装置中的每一个的路径规则(其对应于用户输入)，并且可以通过使用所生成的路径规则来生成与用户输入相对应的路径规则。例如，NLU模块220可以组合与用户终端100的第一app的操作相对应的路径规则和与第二app的操作相对应的第二路径规则以生成与用户输入相对应的路径规则。对于另一个示例，NLU模块220可以组合与用户终端100的app的操作相对应的路径规则和与外部电子装置400的操作相对应的路径规则以生成与用户输入相对应的路径规则。
根据实施例，NLU模块220可以基于用户输入的意图和参数来生成一个路径规则、或多个路径规则。例如，NLU模块220可以从路径规划器模块230接收与用户终端100相对应的路径规则集并且可以将用户输入的意图和参数映射到接收到的路径规则集以确定路径规则。
根据另一个实施例，为了生成一个路径规则或多个路径规则的目的，NLU模块220可以基于用户输入的意图和参数来确定将被运行的app、将由app执行的操作(例如，至少一个或多个状态)、以及执行操作所必要的参数。例如，为了生成路径规则的目的，NLU模块220可以以本体(ontology)或图解模型的形式根据用户输入的意图通过使用用户终端100的信息来排列将被运行的app和将在app中执行的操作。例如，可以通过路径规划器模块230将所生成的路径规则存储在路径规则(PR)DB 231中。可以将所生成的路径规则添加到PR DB231的路径规则集。
根据实施例，NLU模块220可以选择所生成的多个路径规则中的至少一个路径规则。例如，NLU模块220可以选择多个路径规则中的最优路径规则。对于另一个示例，在基于用户话语来指定操作的仅仅一部分的情况下，NLU模块220可以选择多个路径规则。NLU模块220可以根据用户的附加输入来确定多个路径规则中的一个路径规则。
根据实施例，路径规划器模块230可以向NLU模块220发送与app或电子装置的操作相对应的路径规则。例如，与app或电子装置的操作相对应的路径规则可以包括正常规则、呼叫者规则、被呼叫者规则、以及呼叫者/被呼叫者规则。正常规则可以是其中另一个app或电子装置的路径规则不能够被排列在正常规则前后的路径规则。呼叫者规则可以是其中另一个app或电子装置的路径规则能够被排列在呼叫者规则之后的路径规则。被呼叫者规则可以是其中另一个app或电子装置的路径规则能够被排列在被呼叫者规则之前的路径规则。与app或电子装置的操作相对应的路径规则可以另外包括其中另一个app的路径规则能够被排列在路径规则前后的被呼叫者/呼叫者规则。
另外，路径规则可以被分类为静态路径规则和动态路径规则，该静态路径规则足以根据在该路径规则前后组合的路径规则来执行操作，该动态路径规则不足以根据路径规则来执行操作。NLU模块220可以从路径规划器模块230接收与app或电子装置的操作相对应的路径规则以生成与用户输入相对应的路径规则。例如，NLU模块220可以生成与多个电子装置中的每一个的操作相对应的路径规则并且可以通过使用多个电子装置中的每一个的路径规则来生成与用户输入相对应的路径规则。根据实施例，可以根据路径规则的类型(例如，呼叫者规则、被呼叫者规则等等)对于每个域(例如，app或电子装置)来区分与app或电子装置的操作相对应的路径规则并且将其存储在PR DB 231中。
根据实施例，路径规划器模块230可以向NLU模块220发送包括多个路径规则的路径规则集。可以将路径规则集中的多个路径规则作为表格存储在连接到路径规划器模块230的PR DB 231中。例如，路径规划器模块230可以向NLU模块220发送从智能代理155接收到的与用户终端100的信息(例如，操作系统(operating system，OS)信息或app信息)相对应的路径规则集。可替换地，路径规划器模块230可以通过IoT云300来向NLU模块220发送与外部电子装置400的信息(例如，OS信息或app信息)相对应的路径规则集。例如，可以对于每个域或对于域的每个版本来存储被存储在PR DB 231中的表格。
根据实施例，路径规划器模块230可以从路径规则集中选择一个路径规则或多个路径规则并且向NLU模块220发送所选择的一个路径规则或所选择的多个路径规则。例如，路径规划器模块230可以将用户意图和参数匹配到与用户终端100相对应的路径规则集以选择一个路径规则或多个路径规则并且可以向NLU模块220发送所选择的一个路径规则或所选择的多个路径规则。
根据实施例，路径规划器模块230可以通过使用用户意图和参数来生成一个路径规则或多个路径规则。例如，为了生成一个路径规则或多个路径规则的目的，路径规划器模块230可以基于用户意图和参数来确定将被运行的app和将在app中执行的操作。根据实施例，路径规划器模块230可以将所生成的路径规则存储在PR DB 231中。
根据实施例，路径规划器模块230可以将由NLU模块220生成的路径规则存储在PRDB 231中。可以将所生成的路径规则添加到存储在PR DB231中的路径规则集。
根据实施例，存储在PR DB 231中的表格可以包括多个路径规则或多个路径规则集。多个路径规则或多个路径规则集可以反映执行每个路径规则的设备的种类、版本、类型或特性。
根据实施例，DM模块240可以确定由NLU模块220确定的用户意图是否是明确的。例如，DM模块240可以基于参数的信息是否充分来确定用户意图是否是清楚的。DM模块240可以确定由NLU模块220确定的参数是否足以执行任务。根据实施例，在用户意图不清楚的情况下，DM模块240可以执行反馈以用于向用户请求必要的信息。例如，DM模块240可以执行反馈以用于作出对于关于用于确定用户意图的参数的信息的请求。
根据实施例，DM模块240可以包括内容供应商模块。在内容供应商模块基于由NLU模块220确定的意图和参数来执行操作的情况下，内容供应商模块可以生成通过执行与用户输入相对应的任务所获取的结果。根据实施例，DM模块240可以向用户终端100发送由内容供应商模块生成的结果作为对用户输入的响应。
根据实施例，NLG模块250可以将特定信息改变为文本形式。改变为文本形式的信息可以是自然语言话语的形式。例如，特定信息可以是关于附加输入的信息、用于引导与用户输入相对应的操作的完成的信息、或用于引导用户的附加输入的信息(例如，关于用户输入的反馈信息)。改变为文本形式的信息可以在被发送到用户终端100之后显示在显示器130中或可以在被发送到TTS模块260之后被改变为话音形式。
根据实施例，TTS模块260可以将文本形式的信息改变为话音形式的信息。TTS模块260可以从NLG模块250接收文本形式的信息，可以将文本形式的信息改变为话音形式的信息，并且可以向用户终端100发送话音形式的信息。用户终端100可以向扬声器140输出话音形式的信息。
根据实施例，可以将NLU模块220、路径规划器模块230和DM模块240被实施为一个模块。例如，NLU模块220、路径规划器模块230和DM模块240可以利用一个模块来实施，可以确定用户意图和参数，并且可以生成与所确定的用户意图和参数相对应的响应(例如，路径规则)。如此以来，可以向用户终端100或IoT云300发送所生成的响应。
图6是示出根据本公开的实施例的NLU模块的路径规则生成方法的视图。
参考图6，根据实施例，NLU模块220可以将app或电子装置的功能划分为单元动作(例如，A至F)并且可以将所划分的单元动作存储在PR DB231中。例如，NLU模块220可以将包括每个均被划分为单元动作的多个路径规则A-B1-C1、A-B1-C2、A-B1-C3-D-F和A-B1-C3-D-E-F的路径规则集存储在PR DB 231中。
根据实施例，路径规划器模块230的PR DB 231可以存储用于执行app的功能的路径规则集。路径规则集可以包括每个均包括多个动作的多个路径规则。可以顺序地排列根据对于多个路径规则中的每一个中所包括的多个动作中的每一个所输入的参数而执行的动作。根据实施例，可以将以本体或图解模型的形式实施的多个路径规则存储在PR DB 231中。
根据实施例，NLU模块220可以选择与用户输入的意图和参数相对应的多个路径规则A-B1-C1、A-B1-C2、A-B1-C3-D-F和A-B1-C3-D-E-F中的最优路径规则A-B1-C3-D-F。
根据实施例，NLU模块220可以基于由用户终端100添加的输入来选择多个路径规则之一并且可以向用户终端100发送所选择的一个路径规则。例如，为了向用户终端100发送所选择的一个路径规则的目的，NLU模块220可以根据由用户终端100另外输入的用户输入(例如，用于选择C3的输入)来选择多个路径规则(例如，A-B1-C1、A-B1-C2、A-B1-C3-D-F和A-B1-C3-D-E-F)中的一个路径规则(例如，A-B1-C3-D-F)。
根据另一个实施例，为了向用户终端100发送用户意图或参数的目的，NLU模块220可以确定与由用户终端100另外输入的用户输入(例如，用于选择C3的输入)相对应的用户的意图和参数。用户终端100可以基于所发送的意图或所发送的参数来选择多个路径规则(例如，A-B1-C1、A-B1-C2、A-B1-C3-D-F和A-B1-C3-D-E-F)中的一个路径规则(例如，A-B1-C3-D-F)。
如此以来，用户终端100可以根据所选择的一个路径规则来完成app 151或153或电子装置(例如，用户终端100或外部电子装置400)的操作。
根据实施例，在由智能服务器200接收到其中信息不充分的用户输入的情况下，NLU模块220可以生成部分地与接收到的用户输入相对应的路径规则。例如，NLU模块220可以向智能代理155发送部分地对应的路径规则。智能代理155可以向执行管理器模块157发送部分地对应的路径规则，并且执行管理器模块157可以根据路径规则来执行app或电子装置的操作。执行管理器模块157可以在执行app或电子装置的操作时向智能代理155发送关于不充分的参数的信息。智能代理155可以通过使用关于不充分的参数的信息向用户请求附加输入。如果由用户接收到附加输入，则智能代理155可以向智能服务器200发送和处理附加输入。NLU模块220可以基于另外输入的用户输入的意图和参数信息来向智能代理155发送另外生成的路径规则。智能代理155可以向执行管理器模块157发送路径规则以执行剩余的app或电子装置。
根据实施例，以下所附表格1可以指示与用户请求的任务相关联的示例路径规则。
[表格1]
参考表格1，由智能服务器200根据用户语音(例如，“请共享图片”)所生成或选择的路径规则可以包括至少一个状态25、26、27、28、29或30。例如，至少一个状态(例如，终端的一个操作状态)可以对应于以下中的至少一个：图片应用执行PicturesView 25、图片搜索功能执行SearchView 26、搜索结果显示屏幕输出SearchViewResult 27、其中图片未被选择的搜索结果显示屏幕输出SearchEmptySelectedView 28、其中至少一个图片被选择的搜索结果显示屏幕输出SearchSelectedView 29、或共享应用选择屏幕输出CrossShare30。
在实施例中，路径规则的参数信息可以对应于至少一个状态。例如，可以将路径规则的参数信息包括在其中至少一个图片被选择的搜索结果显示屏幕输出SearchSelectedView29中。
可以根据包括状态25、26、27、28和29的序列的路径规则的执行结果来执行用户请求的任务(例如，“请共享图片！”)。
以下所附表格2示出了根据实施例的从智能服务器200向IoT云300发送的信息。
[表格2]
字段1 字段2 字段3 字段4
TCP/IP报头 命令的数量 命令1 命令2
参考表格2，从智能服务器200向IoT云300发送的信息可以包括传输控制协议(transmission control protocol，TCP)/因特网协议(Internet Protocol，IP)报头、命令的数量、第一命令(命令1)、以及第二命令(命令2)。根据实施例，因为智能服务器200和IoT云300之间的通信(或服务器之间的通信)能够使用TCP/IP通信方案，所以向IoT云300发送的信息可以包括TCP/IP报头作为第一字段值(字段1)。根据实施例，从智能服务器200向IoT云300发送的信息可以包括用于控制多个外部电子装置400的信息。向IoT云300发送的信息可以包括向IoT云300发送的信息中所包括的命令的数量作为第二字段值(字段2)。向IoT云300发送的信息可以在第三字段(字段3)之后包括对应于命令的数量的至少一个命令。例如，向IoT云300发送的信息可以包括第一命令(命令1)和第二命令(命令2)作为第三字段值(字段3)和第四字段值(字段4)。例如，至少一个命令可以包括关于路径规则的信息。另外，至少一个命令可以包括命令被发送到的设备的类型以及关于另一个命令的依赖性信息。可以以JavaScript对象标记(JSON)格式来提供至少一个命令，其中IoT设备(或外部电子装置400)进行操作所必要的信息的属性对应于信息的值。
以下表格3是范例，其中以JSON格式来描述与用户输入(例如，“在TV上向我显示存储在冰箱中的图片！”)相关联的第一命令(命令1)和第二命令(命令2)。
[表格3]
图7是示出根据本公开的实施例的集成智能系统的IoT云的框图。
参考图7，IoT云300可以包括DB(或存储器)310、OCF模块320、智能代理330、或执行管理器模块340。IoT云300可以另外包括通信电路(未示出)。IoT云300可以在用户终端100和外部电子装置400之间中继命令和数据的传输。根据实施例，IoT云300可以包括网络接口(例如，通信电路)、存储器和处理器。当执行存储在存储器中的指令时，处理器可以执行以下将描述的操作。
DB 310可以存储从用户终端100或外部电子装置400接收到的数据。DB 310可以接收和存储通过用户终端100或外部电子装置400的操作而生成的数据。根据实施例，DB 310可以在存储器中实施。可以将从用户终端100或外部电子装置400接收到的数据存储在存储器中。
OCF模块320可以包括用于通过通信网络来控制外部电子装置400的功能。OCF模块320可以包括用于通过通信网络来控制外部电子装置400的OCF库。OCF库可以包括app和数据管理函数、路径选择(routing)函数、以及控制外部电子装置400的事件处置函数。换句话说，可以在OCF库中实施多个函数。根据实施例，可以将OCF库存储在存储器中。可以执行存储在存储器中的OCF库，并且OCF库可以实施多个函数。
智能代理330可以从智能服务器200接收用于操作外部电子装置400的路径规则。根据实施例，智能代理330可以根据接收到的路径规则来生成用于操作外部电子装置400的命令。例如，在接收到的路径规则操作多个外部电子装置的情况下，智能代理330可以确定多个外部电子装置的操作的依赖性并且可以根据依赖性来向多个外部电子装置顺序地发送接收到的路径规则中所包括的多个外部电子装置的状态序列。例如，接收到的路径规则可以包括多个电子装置中的每一个的路径规则。
执行管理器模块340可以从智能代理330接收所生成的命令以向外部电子装置400发送接收到的命令。例如，命令可以包括其中顺序地排列外部电子装置400的操作的路径规则以及执行路径规则中所包括的操作所必需的数据。
根据实施例，智能代理330从用户终端100或外部电子装置400接收数据以将数据存储在DB 310的地址(例如，统一资源定位符(universal resource locator，URL))中。例如，智能代理330可以向发送数据的用户终端100或外部电子装置400发送关于存储数据的地址的信息。
执行管理器模块340可以从智能代理330接收所生成的命令并且可以向外部电子装置400发送命令。根据实施例，执行管理器模块340可以通过使用OCF模块320来控制外部电子装置400的操作。例如，执行管理器模块340可以通过使用OCF库的函数来控制外部电子装置400的操作。
根据实施例，可以由处理器来实施智能代理330和执行管理器模块340。换句话说，IoT云300可以包括处理器，并且处理器可以包括智能代理330和执行管理器模块340。
根据实施例，IoT云300可以通过路由器连接到外部电子装置400。路由器可以连接在IoT云300和外部电子装置400之间。例如，路由器可以包括用于连接在IoT云300和外部电子装置400之间的通信模块。另外，类似于IoT云300，路由器可以另外包括接收路径规则以控制外部电子装置400的智能代理和执行管理器模块。根据实施例，路由器可以向IoT云300发送根据外部电子装置400的操作而生成的数据，并且可以从IoT云300接收关于存储数据的地址的信息以向要求数据的另一个电子装置发送关于地址的信息。
图8是示出根据本公开的实施例的集成智能系统的电子装置的框图。
参考图8，外部电子装置400可以包括通信模块410、驱动单元420、存储器430和处理器440。
通信模块(或通信电路)410可以连接到外部装置以便发送和/或接收信号。例如，通信模块410可以通过无线通信模块(例如，蓝牙、Wi-Fi等等)而连接到用户终端100或IoT云300。
驱动单元420可以根据外部电子装置400的操作的执行来输出结果。例如，驱动单元420可以包括显示器。驱动单元420可以通过显示器来显示根据外部电子装置400的操作而生成的app的图像、视频和/或执行屏幕。此外，驱动单元420可以包括扬声器。驱动单元420可以通过扬声器向外部输出在外部电子装置400内部生成的话音信号。
存储器430可以存储多个app 431和433。例如，存储在存储器430中的多个app 431和433可以包括执行服务431a和433a或者多个动作431b和433b。多个app 431和433可以由处理器440加载以生成执行服务431a和433a，并且然后可以通过执行服务431a和433a来执行多个动作431b和433b。
根据实施例，存储器430可以存储智能代理435或执行管理器模块437。智能代理435和执行管理器模块437可以类似于图2的智能代理155和执行管理器模块157。换句话说，智能代理435和执行管理器模块437可以是框架(或应用框架)。在另一个示例中，可以由处理器440来实施智能代理435或执行管理器模块437。
处理器440可以控制外部电子装置400的总体操作。例如，处理器440可以控制通信模块120访问外部电子装置并且可以向外部电子装置和/或从外部电子装置发送和/或接收数据。处理器440可以控制驱动单元420输出操作的结果。处理器440可以控制存储器430执行程序并且可以读取或存储必要的信息。
根据实施例，处理器440可以运行智能代理435以从用户终端100或IoT云300接收通过通信模块410接收的用于操作外部电子装置400的命令。例如，接收到的命令可以包括其中顺序地排列外部电子装置400的操作的路径规则。而且，接收到的命令可以包括执行路径规则中所包括的操作所必需的数据或关于数据被存储在IoT云300中的地址(例如，URL)的信息。根据实施例，在处理器440运行智能代理435以将关于数据被存储的地址的信息包括在命令中的情况下，处理器440可以向IoT云300发送包括关于地址的信息的请求以获取数据。
根据实施例，处理器440可以运行智能代理435以根据接收到的路径规则选择存储在存储器430中的app 431和433，并且可以生成用于执行所选择的app中所包括的动作431b和433b的命令。处理器440可以运行执行管理器模块437以执行并且绑定所选择的app 431和433并且可以从智能代理435接收所生成的命令以执行所选择的app 431和433的操作。处理器440可以运行执行管理器模块437以向app 431和433顺序地发送路径规则中所包括的动作431b和433b，并且因此app 431和433可以执行动作431b和433b。
根据实施例，处理器440可以运行智能代理435以接收关于app 431或433的操作的执行状态的信息。例如，处理器440可以通过执行管理器模块437运行智能代理435以接收关于app 431和433的操作的执行状态的信息。例如，关于app 431或433的操作的执行状态的信息可以是其中完成app 431或433或外部电子装置400的操作的执行的状态的信息。例如，关于app 431或433的操作的执行状态的信息可以是其中app 431或433的操作的执行被中断的状态的信息。处理器440可以运行智能代理435以向用户终端100发送app 431或433的操作的执行状态。用户终端100可以通过使用执行状态来向用户作出对于必要的信息的附加输入的请求。
图9是示出根据实施例的本公开的智能服务器生成路径规则并且发送所生成的路径规则的方法的流程图。
参考图9，智能服务器200可以生成与用户输入相对应的路径规则,可以确定将控制所生成的路径规则中所包括的多个电子装置的操作的主体，并且可以向所确定的主体发送路径规则。
根据实施例，在操作910中，智能服务器200可以从用户终端100接收用户输入(例如，用户话音信号)。例如，用户输入可以是用于执行多个电子装置(例如，用户终端100和外部电子装置400)的操作的输入。
根据实施例，在操作920中，智能服务器200(例如，NLU模块220)可以生成执行与用户输入相对应的任务的多个电子装置中的每一个的路径规则。例如，智能服务器200可以生成路径规则，使得用户终端100控制多个电子装置的操作。对于另一个示例，智能服务器200可以被配置为使得IoT云300控制多个电子装置。
根据实施例，在操作930中，智能服务器200可以确定多个电子装置的操作是否依赖于彼此。例如，智能服务器200可以确定通过与一个电子装置的路径规则的状态相对应的操作的执行而生成的数据是否是与另一个电子装置的路径规则的状态相对应的操作所必要的数据(或参数)，以确定多个电子装置的操作是否依赖于彼此。对于另一个示例，智能服务器200可以根据多个电子装置中的每一个的所生成的路径规则的特性(或类型)来确定多个电子装置的操作是否依赖于彼此。例如，在多个电子装置中的每一个的所生成的路径规则是呼叫者规则或被呼叫者规则的情况下，多个电子装置的操作可以依赖于彼此。
根据实施例，在操作940中，智能服务器200可以确定将控制多个电子装置的操作的主体。例如，智能服务器200可以根据指定的优先级来确定将根据路径规则控制多个电子装置的操作的设备。智能服务器200可以确定根据在操作920中生成的路径规则将根据路径规则控制多个电子装置的操作的设备是该设备。另外，智能服务器200可以基于将控制多个电子装置的操作的设备的状态中的至少一个，以及其中包括多个电子装置的网络环境来确定将根据路径规则控制多个电子装置的操作的主体。例如，智能服务器200可以确定用户终端100和IoT云300中的一个是将控制多个电子装置的操作的主体。
根据实施例，在操作950中，智能服务器200可以通过使用多个电子装置中的每一个的路径规则来生成与用户输入相对应的消息(或响应)。例如，智能服务器200可以基于多个电子装置的操作是否依赖于彼此以及将控制多个电子装置的操作的主体来生成与用户输入相对应的路径规则。
例如，消息可以包括一个路径规则，该路径规则包括其中完成多个电子装置的操作的执行的状态，以及多个电子装置中的每一个的路径规则中所包括的状态。在多个电子装置的操作依赖于彼此的情况下，消息可以包括其中完成执行的状态。此外，在确定用户终端100是将控制多个电子装置的操作的主体的情况下，消息可以另外包括与用户终端100的专用app 151'的操作相对应的状态。
对于另一个示例，消息可以是数据分组，该数据分组包括指示值(例如，0或1)的字段，其指示多个电子装置是否依赖于彼此，以及指示多个电子装置中的每一个的路径规则的字段。IoT云300可以检验指示多个电子装置是否依赖于彼此的字段以顺序地或并行地发送多个电子装置中的每一个的路径规则。
根据实施例，在操作960中，智能服务器200可以向所确定的主体发送所生成的路径规则。所确定的主体可以接收路径规则并且可以控制接收到的路径规则中所包括的多个电子装置的操作。
图10是示出根据本公开的实施例的用户终端或IoT云根据接收到的路径规则来控制多个电子装置的操作的流程图。
参考图10，用户终端100或IoT云300可以接收与用户输入相对应的路径规则并且可以控制路径规则中所包括的多个电子装置的操作。
根据实施例，在操作1010中，用户终端100或IoT云300可以从智能服务器200接收与用户输入相对应的路径规则。例如，路径规则可以包括多个电子装置的操作，该多个电子装置包括用户终端100和外部电子装置400。
根据实施例，在操作1020中，用户终端100(例如，智能代理155)或IoT云300(例如，智能代理330)可以检验接收到的路径规则。例如，用户终端100或IoT云300可以确定路径规则中所包括的多个电子装置的操作是否依赖于彼此。
根据实施例，在操作1030中，为了执行路径规则中所包括的操作的目的，用户终端100或IoT云300可以控制多个电子装置。例如，用户终端100可以执行路径规则中所包括的操作的一部分，并且可以控制外部电子装置400，以为了执行除了所执行的操作以外的剩余的操作的目的。对于另一个示例，为了执行路径规则中所包括的操作的目的，IoT云300可以控制多个外部电子装置。
图11是示出根据本公开的实施例的智能服务器确定将控制路径规则中所包括的多个电子装置的操作的主体的方法的流程图。
参考图11，智能服务器200(例如，NLU模块220)可以基于执行与用户输入相对应的任务的多个电子装置的状态以及包括多个电子装置的网络环境来确定控制多个电子装置的操作的主体。例如，在满足特定条件的情况下，智能服务器200可以确定用户终端100是控制路径规则中所包括的多个电子装置的操作的主体。
根据实施例，在操作1110中，智能服务器200可以检验用于执行与用户输入相对应的任务的多个电子装置中的每一个的操作。例如，智能服务器200可以检验用于执行任务的多个电子装置中的每一个的路径规则。
根据实施例，在操作1120中，智能服务器200可以确定用户终端100或外部电子装置400是否满足特定条件。例如，智能服务器200可以确定用户终端100是否接收到用户输入。在用户终端100接收用户输入(是)的情况下，在操作1140中，智能服务器200(例如，NLU模块220)可以确定用户终端100是控制多个电子装置的操作的主体。
对于另一个示例，智能服务器200可以确定是否需要用于执行与用户输入相对应的任务的用户终端100的操作。在需要用于执行任务的用户终端100的操作(是)的情况下，在操作1140中，智能服务器200可以确定用户终端100是控制多个电子装置的主体。例如，用户终端100的操作可以包括向外部电子装置400发送数据的操作。对于另一个示例，用户终端100的操作可以包括通过本地网络进行的操作(例如，共享操作)。
对于另一个示例，智能服务器200可以确定用户终端100和外部电子装置400是否连接到相同的本地网络。在用户终端100和外部电子装置400存在于相同的本地网络中(是)的情况下，在操作1140中，智能服务器200可以确定用户终端100是控制多个电子装置的主体。
根据实施例，在智能服务器200不满足特定条件(否)的情况下，在操作1130中，智能服务器200可以确定IoT云300是控制多个电子装置的主体。
图12是示出根据本公开的实施例的确定用户终端向外部电子装置发送数据的方法的方法的流程图。
参考图12，考虑到多个电子装置的状态和网络环境，智能服务器200(例如，NLU模块220)可以确定向另一个电子装置发送通过一个电子装置所生成的数据的方法。例如，在当根据路径规则在用户终端100中执行操作时需要数据传输的情况下，智能服务器200可以确定向外部电子装置400发送所生成的数据的方法。
根据实施例，在操作1210中，智能服务器200可以确定用户终端100是否发送数据。
根据实施例，在操作1220中，智能服务器200可以确定用户终端100是否能够通过本地网络直接地向外部电子装置400发送数据。在用户终端100不能够通过本地网络向外部电子装置400直接地发送数据(否)的情况下，在操作1250中，智能服务器200可以确定用户终端100通过IoT云300向外部电子装置400发送数据。
根据实施例，在操作1230中，在用户终端100能够通过本地网络直接地向外部电子装置400发送数据(是)的情况下，智能服务器200可以确定外部电子装置400是否能够通过本地网络接收数据。在外部电子装置400不通过本地网络接收数据(否)的情况下，在操作1250中，智能服务器200可以确定用户终端100通过IoT云300向外部电子装置400发送数据。
根据实施例，在操作1240中，在外部电子装置400能够通过本地网络接收数据(是)的情况下，智能服务器200可以确定用户终端100直接地向外部电子装置400发送数据。
图13是示出根据实施例的用户终端直接地向外部电子装置发送数据的方法的图。
参考图13，用户终端100可以从智能服务器200接收路径规则并且可以根据接收到的路径规则来控制多个电子装置。用户终端100可以向外部电子装置400发送根据接收到的路径规则的所生成的数据。
根据实施例，用户终端100可以向智能服务器200发送用户输入(例如，用户话语)(①)。例如，用户输入可以是“在TV上向我显示存储在移动电话中的图片”。
根据实施例，智能服务器200可以生成与用户输入相对应的、多个电子装置中的每一个的路径规则。例如，智能服务器200可以生成与用户终端100的操作(例如，选择和发送所存储的图像的操作)相对应的第一路径规则以及与外部电子装置400(例如，TV)的操作(例如，接收图像并且在显示器中显示图像的操作)相对应的第二路径规则。例如，第一路径规则可以包括其中用户终端100直接地向外部电子装置400发送数据的操作。
根据实施例，智能服务器200可以确定多个电子装置的操作是否依赖于彼此。例如，智能服务器200可以确定外部电子装置400的操作依赖于用户终端100的操作。根据实施例，智能服务器200可以确定用户终端100是控制多个电子装置的操作的主体。例如，因为需要用于执行与用户输入相对应的任务的用户终端100的操作，所以智能服务器200可以确定用户终端100是控制多个电子装置的操作的主体。
根据实施例，智能服务器200可以通过使用多个电子装置的路径规则来生成与用户输入相对应的消息(或响应)。例如，智能服务器200可以通过使用第一路径规则和第二路径规则来生成与用户输入相对应的第三路径规则。例如，可以通过向用户终端100的第一路径规则和第二路径规则添加与用户终端100的专用app 151'的操作相对应的状态来生成第三路径规则。对于另一个示例，可以通过使用第一路径规则和第二路径规则来从用户终端100的专用app 151'的路径规则集中选择第三路径规则。
根据实施例，智能服务器200可以向用户终端100发送第三路径规则(②)。
根据实施例，用户终端100可以接收第三路径规则，并且可以根据第三路径规则来生成数据。例如，用户终端100可以根据第三路径规则执行选择所存储的图像的操作以生成(或获取)数据(例如，图像)。根据实施例，用户终端100可以根据第三路径规则发送用于执行外部电子装置400的操作的命令(③)。例如，命令可以包括第四路径规则，该第四路径规则包括外部电子装置400(例如，TV)的操作(例如，显示图像的操作)以及执行操作所必要的数据。而且，命令可以包括关于外部电子装置400的设备类型的信息。如此以来，用户终端100可以向外部电子装置400发送命令以便具有第三路径规则中所包括的状态。
根据实施例，用户终端100可以通过专用app 151'来控制外部电子装置400的操作。例如，用户终端100可以通过使用外部电子装置400的库和UI来控制外部电子装置400的操作。
根据实施例，外部电子装置400可以接收命令并且可以执行与第四路径规则中所包括的状态相对应的操作。例如，外部电子装置400可以在显示器中根据第四路径规则显示从用户终端100接收到的图像。根据实施例，外部电子装置400可以向用户终端100和IoT云300发送关于其中完成操作的执行的状态的信息(或指示完成操作的信息)(④)。在接收外部电子装置400的状态更新之后，IoT云300可以可选地向用户终端100发送外部电子装置400的状态更新(⑤)。用户终端100可以在显示器130中显示的UI中通过专用app 151'来指示外部电子装置400的状态。
如此以来，用户终端100可以直接地向外部电子装置400发送数据，并且可以控制与用户输入(例如，“在TV上向我显示存储在移动电话中的图片”)相对应的、多个电子装置(例如，用户终端100和外部电子装置400)的操作。
图14是示出根据本公开的实施例的用户终端通过IoT云向外部电子装置发送所生成的数据的方法的图。
参考图14，用户终端100可以控制多个电子装置的操作。用户终端100可以通过IoT云300向外部电子装置400发送数据。
根据实施例，用户终端100可以向智能服务器200发送用户输入(①)。例如，用户输入可以是“在TV上向我显示存储在移动电话中的图片”。
根据实施例，类似于图13，智能服务器200可以通过使用与用户终端100的操作相对应的第一路径规则和与外部电子装置400(例如，TV)的操作相对应的第二路径规则来生成与用户输入相对应的第三路径规则。例如，第一路径规则可以包括通过IoT云300向外部电子装置400发送数据的操作。根据实施例，智能服务器200可以向用户终端100发送第三路径规则(②)。
根据实施例，用户终端100可以接收第三路径规则并且可以根据第三路径规则来生成数据。例如，用户终端100可以根据第三路径规则执行选择所存储的图像的操作以生成数据(例如，图像)。根据实施例，用户终端100可以向IoT云300发送所生成的数据(③)。根据实施例，IoT云300可以存储该数据，并且可以向用户终端100发送关于存储数据的地址(例如，URL)的信息(④)。根据实施例，用户终端100可以根据第三路径规则发送用于执行外部电子装置400的操作的命令(⑤)。例如，命令可以包括第四路径规则(或用于执行操作的值)，该第四路径规则包括外部电子装置400(例如，TV)的操作(例如，接收图像并且在显示器中显示图像的操作)以及关于数据的地址的信息。根据实施例，用户终端100可以通过专用app 151'来控制外部电子装置400的操作。
根据实施例，外部电子装置400可以接收命令，并且可以向IoT云300发送对于获取数据的请求(⑥)。该请求可以包括关于数据的地址的信息。根据实施例，IoT云300可以接收请求，并且可以向外部电子装置400发送存储在地址处的数据(⑦)。根据实施例，外部电子装置400可以接收数据，并且可以执行第四路径规则中所包括的操作。例如，外部电子装置400可以在显示器中根据第四路径规则显示从IoT云300接收到的图像。根据实施例，外部电子装置400可以向用户终端100和IoT云300发送关于其中执行操作的状态的信息(⑧)。IoT云300可以可选地向用户终端100发送关于外部电子装置400的状态的信息(⑨)。用户终端100可以在显示器130中显示的UI中通过专用app 151'来指示外部电子装置400的状态。
如此以来，用户终端100可以通过IoT云300向外部电子装置400发送所生成的数据，并且可以控制与用户输入(例如，“在TV上向我显示存储在移动电话中的图片”)相对应的、多个电子装置(例如，用户终端100和外部电子装置400)的操作。
图15是示出根据本公开的实施例的IoT云控制外部电子装置的操作的方法的图。
参考图15，IoT云300可以从智能服务器200接收路径规则，并且可以根据接收到的路径规则来控制外部电子装置400的操作。
根据实施例，用户终端100可以向智能服务器200发送用户输入(①)。例如，用户输入可以是“向我显示存储在TV中的图片”。
根据实施例，智能服务器200可以生成与用户输入相对应的路径规则。例如，智能服务器200可以生成与外部电子装置400的操作(例如，在显示器中显示所存储的图像的操作)相对应的路径规则。根据实施例，智能服务器200可以确定IoT云300是控制外部电子装置的操作的主体。例如，因为用户终端100和外部电子装置400被包括在彼此不同的网络中，所以智能服务器200可以确定IoT云300是控制外部电子装置的主体。根据实施例，智能服务器200可以向IoT云300发送路径规则(②)。
根据实施例，IoT云300可以接收路径规则，并且可以向外部电子装置400发送路径规则(③)。例如，命令可以包括包含外部电子装置400(例如，TV)的操作(例如，接收图像并且在显示器中显示图像的操作)的路径规则。
根据实施例，外部电子装置400可以接收命令，并且可以执行路径规则中所包括的操作。例如，外部电子装置400可以根据路径规则在显示器中显示所存储的图像。根据实施例，外部电子装置400可以向IoT云300发送关于其中完成操作的执行的状态的信息(④)。IoT云300可以向用户终端100发送关于外部电子装置400的状态的信息(⑤)。
如此以来，IoT云300可以控制与用户输入(例如，“在TV中向我显示所存储的图片”)相对应的、外部电子装置400的操作。
图16a和图16b是示出根据本公开的实施例的用户终端控制多个外部电子装置的操作的方法的图。
参考图16a，用户终端100可以从智能服务器200接收路径规则，并且可以根据接收到的路径规则来控制多个外部电子装置400和500的操作。多个外部电子装置400和500的操作可以依赖于彼此。
根据实施例，用户终端100可以向智能服务器200发送用户输入(①)。例如，用户输入可以是“在冰箱中向我显示存储在TV中的图像”。
根据实施例，智能服务器200可以生成与用户输入相对应的、多个外部电子装置400和500中的每一个的路径规则。例如，智能服务器200可以生成与第一外部电子装置400(例如，TV)的操作(例如，选择和发送所存储的图像的操作)相对应的第一路径规则、以及与第二外部电子装置500(例如，包括显示器的冰箱)的操作(例如，接收图像并且在显示器中显示图像的操作)相对应的第二路径规则。例如，第一路径规则可以包括其中第一外部电子装置400通过IoT云300向第二外部电子装置500发送数据的操作。
根据实施例，智能服务器200可以确定多个外部电子装置400和500的操作是否依赖于彼此。例如，智能服务器200可以确定第二外部电子装置500的操作依赖于第一外部电子装置400的操作。根据实施例，智能服务器200可以确定用户终端100是控制多个外部电子装置400和500的操作的主体。例如，因为用户终端100接收用户输入，所以智能服务器200可以确定用户终端100是控制多个外部电子装置400和500的操作的主体。
根据实施例，智能服务器200可以通过使用多个外部电子装置400和500的路径规则来生成与用户输入相对应的路径规则。例如，智能服务器200可以通过使用第一路径规则和第二路径规则来生成与用户输入相对应的第三路径规则。例如，第三路径规则可以包括用户终端100的专用app 151'的操作。
参考图16b，第三路径规则可以包括与用于控制多个外部电子装置400和500的专用app 151'的操作相对应的状态S1、S2和S3 1610、与选择和发送所存储的图像的、第一外部电子装置400的操作相对应的状态S1'和S2'1620、以及与在显示器显示接收到的图像的第二外部电子装置500的操作相对应的状态S1"和S2"1630。
根据实施例，第三路径规则可以另外包括状态S4、S5、S6和S7 1610：在状态S4中向第一外部电子装置400发送命令、在状态S5中从第一外部电子装置400接收关于其中完成操作的执行的状态的信息、在状态S6中向第二外部电子装置500发送命令、以及在状态S7中从第二外部电子装置500接收关于其中完成操作的执行的状态的信息。根据另一个实施例，代替其中发送和接收路径规则和状态信息的状态S4、S5、S6和S7，第三路径规则可以单独地包括关于第二外部电子装置500的操作是否依赖于第一外部电子装置400的操作的信息。如此以来，用户终端100可以控制依赖于彼此的多个外部电子装置400和500的操作。根据另一个实施例，代替其中发送和接收路径规则和状态信息的状态S4、S5、S6和S7，第三路径规则可以包括关于第二外部电子装置500的操作是否依赖于第一外部电子装置400的操作的信息。
参考图16a，智能服务器200可以向用户终端100发送第三路径规则(②)。
根据实施例，用户终端100可以接收第三路径规则，并且可以根据第三路径规则来发送用于执行第一外部电子装置400的操作的第一命令(③)。例如，第一命令可以包括第四路径规则，该第四路径规则包括第一外部电子装置400(例如，TV)的操作(例如，选择所存储的图像的操作)。根据实施例，用户终端100可以通过专用app 151'来控制外部电子装置400的操作。例如，用户终端100可以通过使用第一外部电子装置400的库和UI来控制第一外部电子装置400的操作。
根据实施例，第一外部电子装置400可以接收第一命令并且可以执行第四路径规则中所包括的操作。例如，第一外部电子装置400可以根据第四路径规则执行选择所存储的图像的操作以生成数据(例如，图像)。根据实施例，第一外部电子装置400可以向IoT云300发送所生成的数据(④)。根据实施例，IoT云300可以存储该数据，并且可以向第一外部电子装置400发送关于存储数据的地址(例如，URL)的信息(⑤)。根据实施例，第一外部电子装置400可以向用户终端100发送关于其中完成操作的执行的状态的信息和数据的地址(⑥)，并且可以向IoT云300发送关于其中执行操作的状态的信息。用户终端100可以在显示器130中显示的UI中通过专用app 151'来指示第一外部电子装置400的状态。
根据实施例，在用户终端100接收关于其中完成操作的执行的状态的信息的情况下，用户终端100可以根据第三路径规则来发送用于执行第二外部电子装置500的操作的第二命令(⑦)。例如，第二命令可以包括第五路径规则，该第五路径规则包括第二外部电子装置500(例如，包括显示器的冰箱)的操作(例如，接收图像并且在显示器中显示图像的操作)。根据实施例，用户终端100可以通过专用app 151'来控制第二外部电子装置500的操作。例如，用户终端100可以通过使用第二外部电子装置500的库和UI来控制第二外部电子装置500的操作。
根据实施例，第二外部电子装置500可以接收第二命令并且可以向IoT云300发送对于获取数据的请求(⑧)。该请求可以包括关于数据的地址的信息。根据实施例，IoT云300可以接收请求并且可以向第二外部电子装置500发送存储在地址处的数据(⑨)。根据实施例，第二外部电子装置500可以接收数据并且可以执行第五路径规则中所包括的操作。例如，第二外部电子装置500可以在显示器中根据第五路径规则显示从IoT云300接收到的图像。根据实施例，第二外部电子装置500可以向用户终端100和IoT云300发送关于其中执行操作的状态的信息(⑩)。IoT云300可以可选地向用户终端100发送关于第一外部电子装置400的状态的信息和关于第二外部电子装置500的状态的信息/>用户终端100可以在显示器130中显示的UI中通过专用app 151'来指示第二外部电子装置500的状态。
如此以来，用户终端100可以控制与用户输入(例如，“在冰箱中向我显示存储在TV中的图像”)相对应并且依赖于彼此的、多个外部电子装置400和500的操作。
图17a和图17b是示出根据本公开的实施例的用户终端控制多个外部电子装置的操作的方法的图。
参考图17a，用户终端100可以控制多个电子装置的操作。多个外部电子装置400和500的操作可以与彼此无关。
根据实施例，用户终端100可以向智能服务器200发送用户输入(①)。用户输入可以是“在TV中向我显示存储在TV中的图像并且在冰箱中向我显示存储在冰箱中的图像”。
根据实施例，智能服务器200可以生成与用户输入相对应的、多个外部电子装置400和500中的每一个的路径规则。例如，智能服务器200可以生成与第一外部电子装置400(例如，TV)的操作(例如，在显示器中显示所存储的图像的操作)相对应的第一路径规则以及与第二外部电子装置500(例如，包括显示器的冰箱)的操作(例如，在显示器中显示所存储的图像的操作)相对应的第二路径规则。
根据实施例，智能服务器200可以确定多个外部电子装置400和500的操作是否依赖于彼此。例如，智能服务器200可以确定第一外部电子装置400的操作与第二外部电子装置500的操作无关。根据实施例，智能服务器200可以确定用户终端100是控制多个外部电子装置400和500的操作的主体。例如，因为用户终端100接收用户输入，所以智能服务器200可以确定用户终端100是控制多个外部电子装置400和500的操作的主体。
根据实施例，智能服务器200可以通过使用多个外部电子装置400和500的路径规则来生成与用户输入相对应的路径规则。例如，智能服务器200可以通过使用第一路径规则和第二路径规则来生成与用户输入相对应的第三路径规则。例如，第三路径规则可以包括用户终端100的专用app 151'的操作。
参考图17b，第三路径规则可以包括与用于控制多个外部电子装置400和500的专用app 151'的操作相对应的状态S1、S2和S3 1710、与在显示器中显示所存储的图像的第一外部电子装置400的操作相对应的状态S1'和S2'1720、以及与在显示器中显示所存储的图像的第二外部电子装置500的操作相对应的状态S1”和S2”1730。根据实施例，第三路径规则可以另外包括状态S4、S5和S6 1710：在状态S4中向第一外部电子装置400发送命令，在状态S5中向第二外部电子装置500发送命令，以及在状态S6中从多个外部电子装置400和500接收关于其中完成操作的执行的状态的信息。如此以来，用户终端100可以控制与彼此无关的、多个外部电子装置400和500的操作。
参考图17a，智能服务器200可以向用户终端100发送第三路径规则(②)。
根据实施例，用户终端100可以接收第三路径规则并且可以根据第三路径规则来发送用于执行第一外部电子装置400的操作的第一命令(③)。例如，第一命令可以包括第四路径规则，该四路径规则包括第一外部电子装置400(例如，TV)的操作(例如，在显示器中显示所存储的图像的操作)。根据实施例，第一外部电子装置400可以接收第一命令并且可以执行第四路径规则中所包括的操作。例如，第一外部电子装置400可以根据第四路径规则在显示器中显示所存储的图像。
根据实施例，不管是否完成第一外部电子装置400的操作的执行，用户终端100可以根据第三路径规则发送用于执行第二外部电子装置500的操作的第二命令(③')。例如，第二命令可以包括第五路径规则，该第五路径规则包括第二外部电子装置500(例如，包括显示器的冰箱)的操作(例如，在显示器中显示所存储的图像的操作)。根据实施例，第二外部电子装置500可以接收第二命令并且可以执行第五路径规则中所包括的操作。例如，第二外部电子装置500可以根据第五路径规则在显示器中显示所存储的图像。
根据实施例，多个外部电子装置400和500可以分别向用户终端100和IoT云300发送关于其中完成操作的执行的状态的信息(④和④')。IoT云300可以可选地向用户终端100发送关于第一外部电子装置400的状态的信息⑤和关于第二外部电子装置500的状态的信息⑤'。用户终端100可以在显示器130中显示的UI中通过专用app 151'来指示多个外部电子装置400和500的状态。
如此以来，用户终端100可以控制与用户输入(例如，“在TV中向我显示存储在TV中的图像并且在冰箱中向我显示存储在冰箱中的图像”)相对应并且与彼此无关的、多个外部电子装置400和500的操作。
图18a和图18b是示出根据本公开的实施例的IoT云控制多个外部电子装置的操作的方法的图。
参考图18a，IoT云300可以控制多个外部电子装置400和500的操作。多个外部电子装置400和500的操作可以依赖于彼此。
根据实施例，用户终端100可以向智能服务器200发送用户输入(①)。例如，用户输入可以是“在冰箱中向我显示存储在TV中的图像”。
根据实施例，智能服务器200可以生成与用户输入相对应的、多个外部电子装置400和500中的每一个的路径规则。例如，智能服务器200可以生成与第一外部电子装置400(例如，TV)的操作(例如，选择和发送所存储的图像的操作)相对应的第一路径规则以及与第二外部电子装置500(例如，包括显示器的冰箱)的操作(例如，接收图像并且在显示器中显示图像的操作)相对应的第二路径规则。例如，第一路径规则可以包括其中第一外部电子装置400通过IoT云300向第二外部电子装置500发送数据的操作。
根据实施例，智能服务器200可以确定多个外部电子装置400和500的操作是否依赖于彼此。例如，智能服务器200可以确定第二外部电子装置500的操作依赖于第一外部电子装置400的操作。根据实施例，智能服务器200可以确定IoT云300是控制多个外部电子装置400和500的操作的主体。例如，因为用户终端100和多个外部电子装置400和500被包括在与彼此不同的网络中，所以智能服务器200可以确定IoT云300是控制外部电子装置的主体。
根据实施例，智能服务器200可以通过使用多个外部电子装置400和500的路径规则来生成与用户输入相对应的路径规则。例如，智能服务器200可以通过使用第一路径规则和第二路径规则来生成与用户输入相对应的第三路径规则。
参考图18b，第三路径规则可以包括与选择和发送所存储的图像的、第一外部电子装置400的操作相对应的状态S1'和S2'1810、以及与在显示器中显示接收到的图像的、第二外部电子装置500的操作相对应的状态S1"、S2"、S3"和S4"1820。
参考图18a，智能服务器200可以向IoT云300发送第三路径规则(②)。
根据实施例，IoT云300可以接收第三路径规则并且可以根据第三路径规则来发送用于执行第一外部电子装置400的操作的第一命令(③)。例如，第一命令可以包括第四路径规则，该第四路径规则包括第一外部电子装置400(例如，TV)的操作(例如，选择和发送所存储的图像的操作)。
根据实施例，第一外部电子装置400可以接收第一命令并且可以执行第四路径规则中所包括的操作。例如，第一外部电子装置400可以根据第四路径规则执行选择所存储的图像的操作以生成数据(例如，图像)。根据实施例，第一外部电子装置400可以向IoT云300发送所生成的数据和关于其中完成操作的执行的状态的信息(④)。根据实施例，在IoT云300存储数据并且接收关于其中完成操作的执行的状态的信息的情况下，IoT云300可以根据第三路径规则来发送用于执行第二外部电子装置500的操作的第二命令(⑤)。例如，第二命令可以包括第五路径规则以及关于其中存储数据的地址(例如，URL)的信息，该第五路径规则包括第二外部电子装置400(例如，包括显示器的冰箱)的操作(例如，在显示器中显示接收到的图像的操作)。
根据实施例，第二外部电子装置500可以接收第二命令并且可以向IoT云300发送对于获取数据的请求(⑥)。该请求可以包括关于数据的地址的信息。根据实施例，IoT云300可以接收请求并且可以向第二外部电子装置500发送存储在地址处的数据(⑦)。根据实施例，第二外部电子装置500可以接收数据并且可以在显示器中根据第五路径规则显示从IoT云300接收到的图像。根据实施例，第二外部电子装置500可以向用户终端100和IoT云300发送关于其中执行操作的状态的信息(⑧)。IoT云300可以向用户终端100发送关于第二外部电子装置500的状态的信息(⑨)。
如此以来，IoT云300可以控制与用户输入(例如，“在冰箱中向我显示存储在TV中的图像”)相对应并且依赖于彼此的、多个外部电子装置400和500的操作。
图19是示出根据本公开的实施例的IoT云控制多个外部电子装置的操作的方法的图。
参考图19，IoT云300可以控制多个外部电子装置的操作。多个外部电子装置400和500的操作可以与彼此无关。
根据实施例，用户终端100可以向智能服务器200发送用户输入(①)。用户输入可以是“在TV中向我显示存储在TV中的图像并且在冰箱中向我显示存储在冰箱中的图像”。
根据实施例，智能服务器200可以生成与用户输入相对应的、多个外部电子装置400和500中的每一个的路径规则。例如，智能服务器200可以生成与第一外部电子装置400(例如，TV)的操作(例如，在显示器中显示所存储的图像的操作)相对应的第一路径规则以及与第二外部电子装置500(例如，包括显示器的冰箱)的操作(例如，在显示器中显示所存储的图像的操作)相对应的第二路径规则。
根据实施例，智能服务器200可以确定多个外部电子装置400和500的操作是否依赖于彼此。例如，智能服务器200可以确定第一外部电子装置400的操作与第二外部电子装置500的操作无关。根据实施例，智能服务器200可以确定IoT云300是控制多个外部电子装置400和500的操作的主体。例如，因为用户终端100和多个外部电子装置400和500被包括在与彼此不同的网络中，所以智能服务器200可以确定IoT云300是控制外部电子装置的主体。
根据实施例，智能服务器200可以通过使用多个外部电子装置400和500的路径规则来生成与用户输入相对应的路径规则。例如，智能服务器200可以通过使用第一路径规则和第二路径规则来生成与用户输入相对应的第三路径规则。根据实施例，智能服务器200可以向IoT云300发送第三路径规则(②)。
根据实施例，IoT云300可以接收第三路径规则并且可以根据第三路径规则来发送用于执行第一外部电子装置400的操作的第一命令(③)。例如，第一命令可以包括第四路径规则，该第四路径规则包括第一外部电子装置400(例如，TV)的操作(例如，在显示器中显示所存储的图像的操作)。根据实施例，第一外部电子装置400可以接收第一命令并且可以执行第四路径规则中所包括的操作。例如，第一外部电子装置400可以根据第四路径规则在显示器中显示所存储的图像。
根据实施例，不管是否完成第一外部电子装置400的操作的执行，IoT云300可以根据第三路径规则来发送用于执行第二外部电子装置500的操作的第二命令(③')。例如，第二命令可以包括第五路径规则，该第五路径规则包括第二外部电子装置500(例如，包括显示器的冰箱)的操作(例如，在显示器中显示所存储的图像的操作)。根据实施例，第二外部电子装置500可以接收第二命令并且可以执行第五路径规则中所包括的操作。例如，第二外部电子装置500可以根据第五路径规则在显示器中显示所存储的图像。
根据实施例，多个外部电子装置400和500可以分别向用户终端100和IoT云300发送关于其中完成操作的执行的状态的信息(④和④')。例如，多个外部电子装置400和500可以分别向用户终端100和IoT云300发送关于其中完成操作的执行的状态的信息。IoT云300可以向用户终端100发送关于多个外部电子装置400和500的状态的信息(⑤)。
如此以来，IoT云300可以控制与用户输入(例如，“在TV中向我显示存储在TV中的图像，并且在冰箱中向我显示存储在冰箱中的图像”)相对应并且与彼此无关的、多个外部电子装置400和500的操作。
图20a和图20b是示出根据本公开的实施例的IoT云通过路由器来控制多个外部电子装置的操作的方法的图。
参考图20a，IoT云300可以从智能服务器200接收路径规则并且可以根据接收到的路径规则通过路由器600来控制多个外部电子装置400和500的操作。
根据实施例，用户终端100可以向智能服务器200发送用户输入(①)。例如，用户输入可以是“在冰箱中向我显示存储在TV中的图像”。
根据实施例，类似于图18a的智能服务器200，智能服务器200可以通过使用与第一外部电子装置400(例如，TV)的操作(例如，选择和发送所存储的图像的操作)相对应的第一路径规则和与第二外部电子装置500(例如，包括显示器的冰箱)的操作(例如，接收图像并且在显示器中显示图像的操作)相对应的第二路径规则来生成与用户输入相对应的第三路径规则。例如，第三路径规则可以包括用于通过路由器600来控制多个外部电子装置400和500的操作的IoT云300的操作。
参考图20b，类似于图18b的第三路径规则，可以包括与选择和发送所存储的图像的、第一外部电子装置400的操作相对应的状态S1'和S2'2020，以及与在显示器中显示接收到的图像的、第二外部电子装置500的操作相对应的状态S1"、S2"、S3"和S4"2030。第三路径规则可以另外包括与建立对路由器600的连接使得IoT云300发送和/或接收命令或数据的操作相对应的状态S1和S2 2010。如此以来，智能服务器200可以控制依赖于彼此的、多个外部电子装置400和500的操作。
参考图20a，智能服务器200可以向IoT云300发送第三路径规则(②)。
根据实施例，IoT云300可以接收第三路径规则并且可以根据第三路径规则来执行操作。例如，IoT云300可以根据第三路径规则来执行操作以建立对路由器600的连接。根据实施例，IoT云300可以向路由器600发送包括多个外部电子装置400和500的操作的第四路径规则(③)。根据实施例，路由器600可以根据第四路径规则来发送用于操作第一外部电子装置400的第一命令(④)。例如，第一命令可以包括第五路径规则，该第五路径规则包括第一外部电子装置400(例如，TV)的操作(例如，选择和发送所存储的图像的操作)。
根据实施例，第一外部电子装置400可以接收第一命令并且可以执行第五路径规则中所包括的操作。例如，第一外部电子装置400可以根据第五路径规则执行选择所存储的图像的操作以生成数据(例如，图像)。根据实施例，第一外部电子装置400可以向路由器600发送所生成的数据和关于其中完成操作的执行的状态的信息(⑤)。路由器600可以向IoT云300发送数据(⑥)。根据实施例，IoT云300可以存储数据，并且可以向路由器600发送关于存储数据的地址(例如，URL)的信息(⑦)。根据实施例，在路由器600接收关于完成第一外部电子装置400的操作的执行的状态的信息的情况下，路由器600可以根据第四路径规则来发送用于执行第二外部电子装置500的操作的第二命令。例如，第二命令可以包括第六路径规则以及关于其中存储数据的地址(例如，URL)的信息，该第六路径规则包括第二外部电子装置500(例如，冰箱)的操作(例如，显示接收到的图像的操作)。
根据实施例，第二外部电子装置500可以接收第二命令并且可以向路由器600发送对于获取数据的请求(⑨)。该请求可以包括关于数据的地址的信息。路由器600可以向IoT云300发送请求(⑩)。根据实施例，IoT云300可以接收请求并且可以向路由器600发送存储在地址处的数据路由器600可以向第二外部电子装置500发送数据/>根据实施例，第二外部电子装置500可以接收数据并且可以执行第六路径规则中所包括的操作。例如，第二外部电子装置500可以在显示器中根据第六路径规则显示从路由器600接收到的图像。根据实施例，第二外部电子装置500可以向路由器600发送关于其中完成操作的执行的状态的信息/>路由器600可以向IoT云300发送第二外部电子装置500的状态/>
如此以来，IoT云300可以通过路由器600来控制多个外部电子装置400和500的操作。
根据参考图1至图20b描述的本公开的各个实施例，用户终端100通过智能服务器200接收其中顺序地排列用户终端100或外部电子装置400的状态的路径规则，并且可以根据接收到的路径规则来执行存储在存储器150或外部电子装置400中的app 151或153的操作以执行与用户输入相对应的任务。
另外，在用户终端100接收用于执行多个电子装置的操作的用户输入的情况下，用户终端100可以通过智能服务器200确定多个电子装置的操作是否是相依赖的，可以确定控制多个电子装置的操作的主体，可以确定在多个电子装置之间发送和/或接收数据的方法，并且可以有组织地控制多个电子装置的操作以用于处理用户输入。
根据各个实施例，电子装置可以包括：外壳、位于外壳内部并且暴露通过外壳的第一部分的触摸屏显示器、位于外壳内部并且暴露通过外壳的第二部分的麦克风、位于外壳内部的通信电路、位于外壳内部并且电连接到触摸屏显示器、麦克风和通信电路的处理器、以及位于外壳中并且与处理器电连接的存储器。存储器可以存储指令，当指令被执行时，使得处理器通过触摸屏显示器和麦克风中的至少一个来接收用户输入，通过通信电路向外部服务器发送与用户输入相关联的第一数据，通过通信电路从外部服务器接收包括第一外部电子装置和第二外部电子装置中的每一个的状态序列的信息，向第一外部电子装置发送允许第一外部电子装置具有信息中所包括的第一外部电子装置的状态的第一命令，以及向第二外部电子装置发送允许第二外部电子装置具有信息中所包括的第二外部电子装置的状态的第二命令。用户输入可以包括对于通过使用第一外部电子装置和第二外部电子装置来执行至少一个任务的请求。
根据各个实施例，第一命令可以包括第一外部电子装置的状态序列，并且第二命令可以包括第二外部电子装置的状态序列。
根据各个实施例，存储器可以存储指令，当该指令被执行时，使得处理器通过根据第一命令允许第一外部电子装置具有信息中所包括的第一外部电子装置的状态来获取第二数据，以及将第二数据与第二命令一起发送到第二外部电子装置以当第二外部电子装置根据第二命令执行具有信息中所包括的第二外部电子装置的状态的操作时使用第二数据。根据各个实施例，当第一外部电子装置和第二外部电子装置被包括在本地网络中时，第一命令可以允许第一外部电子装置直接地向第二外部电子装置发送第二数据。
根据各个实施例，指令可以使得处理器在触摸屏显示器中显示分别根据第一命令和第二命令操作的第一外部电子装置的状态和第二外部电子装置的状态。
根据各个实施例，指令可以使得处理器在第一外部电子装置和第二外部电子装置完成用于具有信息中所包括的状态的操作时从第一外部电子装置和第二外部电子装置接收指示已经完成操作的信息。
根据各个实施例，信息可以包括用于检验从第一外部电子装置和第二外部电子装置接收到指示已经完成操作的信息的电子装置的状态。
根据各个实施例，指令可以使得处理器确定用于具有序列中所包括的第二外部电子装置的状态的第二外部电子装置的操作是否依赖于用于具有序列中所包括的第一外部电子装置的状态的第一外部电子装置的操作；以及当第二外部电子装置的操作依赖于第一外部电子装置的操作时，在检验完成第一外部电子装置的操作之后，向第二外部电子装置发送第二命令。
根据各个实施例，服务器可以包括网络接口、可操作地连接到网络接口的至少一个处理器、以及可操作地连接到处理器的至少一个存储器。存储器可以存储指令，当该指令被执行时，使得处理器：通过网络接口从包括麦克风的第一外部电子装置接收与通过麦克风获取的用户输入相关联的第一数据，确定第二外部电子装置和第三外部电子装置中的每一个的状态序列，以用于执行至少一个任务；以及向第一外部电子装置或控制第二外部电子装置和第三外部电子装置的外部服务器发送关于序列的信息。用户输入可以包括对于通过使用第二外部电子装置和第三外部电子装置来执行至少一个任务的请求。信息可以包括用于具有序列中所包括的第二外部电子装置的状态的第一命令和用于具有序列中所包括的第三外部电子装置的状态的第二命令。
根据各个实施例，第一命令可以包括第二外部电子装置的状态序列，并且第二命令可以包括第三外部电子装置的状态序列。
根据各个实施例，关于序列的信息可以包括包含报头和指示多个命令的字段的数据分组。
根据各个实施例，可以以JavaScript对象标记(JSON)格式来提供关于序列的信息。
根据各个实施例，关于序列的信息可以包括在第一命令和第二命令之间的关系或依赖性。
根据各个实施例，第一命令可以包括与第二外部电子装置相关联的第一设备类型和与第三外部电子装置相关联的第二设备类型。
根据各个实施例，指令可以使得处理器在第一外部电子装置和第二外部电子装置或第三外部电子装置没有被包括在本地网络中时向外部服务器发送关于序列的信息。
根据各个实施例，第一命令可以允许第二外部电子装置具有序列中所包括的第二外部电子装置的状态，生成第二数据并且允许第二外部电子装置向第三外部电子装置发送第二数据，并且，当第三外部电子装置执行用于具有序列中所包括的第三外部电子装置的状态的操作时，第二命令可以使用第二数据。
根据各个实施例，当第二外部电子设备和第三外部电子设备被包括在本地网络中时，第一命令可以允许第一外部电子设备直接地向第三外部电子设备发送第二数据。
根据各个实施例，服务器可以包括网络接口、可操作地连接到网络接口的至少一个处理器、以及可操作地连接到处理器的至少一个存储器。存储器可以存储指令，当该指令被执行时，使得处理器：通过网络接口连接到第一IoT设备和第二IoT设备，通过网络接口从外部服务器接收关于第一IoT设备和第二IoT设备中的每一个的状态序列的信息，以用于执行至少一个任务，至少部分地基于序列向第一IoT设备提供第一命令并且向第二IoT设备提供第二命令，从第一IoT设备和/或第二IoT设备接收关于至少一个状态的信息，以及在接收至少一个状态的更新之后，通过网络接口向外部服务器和外部便携式设备中的至少一个发送至少一个状态的更新。信息可以包括用于第一IoT设备的第一命令和用于第二IoT设备的第二命令。
根据各个实施例，指令可以使得处理器向第一IoT设备提供第一命令，在提供第一命令之后，从第一IoT设备接收第一状态更新，在接收第一状态更新之后，向第二IoT设备提供第二命令，以及在提供第二命令之后，从第二IoT设备接收第二状态更新。
根据各个实施例，第一命令可以包括第一IoT设备的状态序列，并且第二命令可以包括第二IoT设备的状态序列。
根据各个实施例，电子装置可以包括：外壳、位于外壳内部并且暴露通过外壳的第一部分的触摸屏显示器、位于外壳内部并且暴露通过外壳的第二部分的麦克风、位于外壳内部的通信电路、位于外壳内部并且电连接到触摸屏显示器、麦克风和通信电路的处理器、以及位于外壳中并且与处理器电连接的存储器。存储器可以存储指令，当该指令被执行时，使得处理器通过触摸屏显示器和麦克风中的至少一个至少一个接收用户输入，通过通信电路向外部服务器发送与用户输入相关联的第一数据，通过通信电路从外部服务器接收包括电子装置和外部电子装置中的每一个的状态序列的信息，执行允许电子设备具有信息中所包括的电子设备的状态的操作，以及向外部电子设备发送用于具有信息中所包括的外部电子设备的状态的命令以执行任务。用户输入可以包括对于通过使用电子装置和外部电子装置来执行至少一个任务的请求。
根据各个实施例，服务器可以包括可操作地连接到网络接口的至少一个处理器、以及可操作地连接到处理器的至少一个存储器。存储器可以存储指令，当该指令被执行时，使得处理器：通过网络接口从包括麦克风的第一外部电子装置接收与通过麦克风获取的用户输入相关联的第一数据，确定第一外部电子装置和第二外部电子装置中的每一个的状态序列，以用于执行至少一个任务；以及向第一外部电子装置或控制第一外部电子装置和第二外部电子装置的外部服务器发送关于序列的信息。用户输入可以包括对于通过使用第一外部电子装置和第二外部电子装置来执行至少一个任务的请求。信息可以包括用于具有信息中所包括的第一外部电子装置的状态的第一命令以及信息中所包括的第二命令。
图21示出了根据本公开的各个实施例的在网络环境中的电子装置的框图。
参考图21，根据本公开的各个实施例的网络环境2100中的电子装置2101可以包括各种形式的设备。例如，电子装置可以包括例如便携式通信设备(例如，智能电话)、计算机设备(例如，个人数字助理(PDA)、平板个人计算机(personal computer，PC)、膝上型PC、台式PC、工作站或服务器)、便携式多媒体设备(例如，电子图书阅读器或动画专家群组(MPEG-1或MPEG-2)音频层3(MP3)播放机)、便携式医疗设备(例如，心跳测量设备、血糖监测设备、血压测量设备和体温测量设备)、照相机或可穿戴设备中的至少一个。可穿戴设备可以包括配件类型(例如，表、戒指、手镯、脚镯、项链、眼镜、隐形眼镜或头部安装设备(head-mounted-device，HMD))、织物或衣服集成类型(例如，电子服装)、身体附接的类型(例如，护皮垫或纹身)、或生物可植入类型(例如，可植入电路)中的至少一个。根据各个实施例，电子装置可以包括例如电视(TV)、数字化通用磁盘(digital versatile disc，DVD)播放机、音频、音频配件设备(例如，扬声器、耳机或耳麦)、冰箱、空调、清洁器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、游戏控制台、电子词典、电子钥匙、录像摄像机或电子图片相框中的至少一个。
在另一个实施例中，电子装置可以包括导航设备、卫星导航系统(例如，全球导航卫星系统(global navigation satellite system，GNSS))、事件数据记录仪(event datarecorder，EDR)(例如，用于汽车、船只或飞机的黑盒)、车辆娱乐信息设备(例如，用于车辆的平视显示器)、工业或家用机器人、无人机、自动柜员机(automated teller machine，ATM)、销售点(points of sales，POS)、测量仪表(例如，水表、电量计或燃气表)、或物联网(例如，灯泡、洒水设备、火警、恒温器或街灯)中的至少一个。根据本公开的实施例的电子装置可以不限于以上描述的设备，并且可以提供如智能电话的多个设备的功能，其具有个人生物特征信息(例如，心率或血糖)的测量功能。在本公开中，术语“用户”可以指的是使用电子装置的人或可以指的是使用电子装置的设备(例如，人工智能电子装置)。
参考图21，在网络环境2100之下，电子装置2101(例如，用户终端100)可以使用局部无线通信通过第一网络2198与电子装置2102进行通信或可以通过第二网络2199与电子装置2104(例如，外部电子装置400)或服务器2108(例如，智能服务器200或IoT云300)进行通信。根据实施例，电子装置2101可以通过服务器2108与电子装置2104进行通信。
根据实施例，电子装置2101可以包括总线2110、处理器2120(例如，处理器160)、存储器2130(例如，存储器150)、输入设备2150(例如，麦克风或鼠标)(例如，图2的输入模块110)、显示设备2160、音频模块2170、传感器模块2176、接口2177、触觉模块2179、照相机模块2180、功率管理模块2188、电池2189、通信模块2190(例如，通信模块120)、以及订户识别模块2196。根据实施例，电子装置2101可以不包括以上描述的组件中的至少一个(例如，显示设备2160或照相机模块2180)或可以另外包括其它组件(多个)。
总线2110可以互联以上描述的组件2120至2190并且可以包括用于在以上描述的组件之间传达信号(例如，控制消息或数据)的电路。
处理器2120可以包括中央处理单元(central processing unit，CPU)、应用处理器(application processor，AP)、图形处理单元(graphic processing unit，GPU)、照相机的图像信号处理器(image signal processor，ISP)或通信处理器(communicationprocessor，CP)中的一个或多个。根据实施例，处理器2120可以利用片上系统(system onchip，SoC)或系统级封装(system in package，SiP)来实施。例如，处理器2120可以驱动操作系统(operating system，OS)或应用程序控制连接到处理器2120的电子装置2101的其它组件(例如，硬件或软件组件)中的至少一个并且可以处理和计算各种数据。处理器2120可以将从至少一个其它其它组件(例如，通信模块2190)接收到的命令或数据加载到易失性存储器2132中以处理命令或数据并且可以将结果数据存储到非易失性存储器2134中。
存储器2130例如可以包括易失性存储器2132或非易失性存储器2134。易失性存储器2132例如可以包括随机存取存储器(random access memory，RAM)(例如，动态RAM(dynamic RAM，DRAM)、静态RAM(static RAM，SRAM)或同步DRAM(synchronous DRAM，SDRAM))。非易失性存储器2134例如可以包括只读存储器(read-only memory，ROM)、可编程ROM(programmable ROM，PROM)、一次性PROM(one time PROM，OTPROM)、可擦除PROM(erasable PROM，EPROM)、电EPROM(electrically EPROM，EEPROM)、掩模型ROM、闪存ROM、闪速存储器、硬盘驱动器(hard disk drive，HDD)或固态驱动(solid-state drive，SSD)。另外，可以以根据与电子装置2101的连接仅在有必要时通过连接可用的内部存储器2136的形式或外部存储器2138的形式来配置非易失性存储器2134。外部存储器2138可以另外包括诸如紧凑式闪存(compact flash，CF)的闪盘驱动、安全数字(secure digital，SD)、微型安全数字(微型SD)、迷你安全数字(迷你型SD)、极速卡(extreme digital，xD)、多媒体卡(multimedia card，MMC)或记忆棒。外部存储器2138可以以有线方式(例如，电缆或通用串行总线(universal serial bus，USB))或无线(例如，蓝牙)方式可操作地或物理地与电子装置2101相连接。
例如，存储器2130可以例如存储电子装置2101的至少一个不同的软件组件，诸如与程序2140相关联的命令或数据。程序2140可以包括例如内核2141、库2143、应用框架2145或应用程序(可交换地，“应用”)2147。
输入设备2150可以包括麦克风、鼠标或键盘。根据实施例，键盘可以包括物理地连接的键盘或通过显示设备2160显示的虚拟键盘。
显示设备2160可以包括显示器、全息图设备或投影仪和控制相关设备的控制电路。显示器可以包括例如液晶显示器(liquid crystal display，LCD)、发光二极管(lightemitting diode，LED)显示器、有机LED(organic LED，OLED)显示器、微型机电系统(microelectromechanical system，MEMS)显示器或电子纸显示器。根据实施例，显示器可以是柔性地、透明地或可穿戴地实施的。显示器可以包括能够检测诸如手势输入、接近输入或悬停输入的用户输入的触摸电路，或能够测量由触摸按压的强度的压力传感器(可交换地，力传感器)。可以与显示器一起整体地实施触摸电路或压力传感器，或者可以利用与显示器分开的至少一个传感器来实施触摸电路或压力传感器。全息图设备可以使用光干涉在空间中显示立体图像。投影仪可以将光投影到屏幕上以显示图像。屏幕可以位于电子装置2101内部或外部。
音频模块2170可以例如从声音转换为电信号或从电信号转换为声音。根据实施例，音频模块2170可以通过输入设备2150(例如，麦克风)来获得声音，或者可以通过电子装置2101中所包括的输出设备(未示出)(例如，扬声器或听筒)、与电子装置2101相连接的外部电子装置(例如，电子装置2102(例如，无线扬声器或无线耳机))或电子装置2106(例如，有线扬声器或有线耳机)来输出声音。
传感器模块2176可以例如测量或检测电子装置2101的内部操作状态(例如，功率或温度)或外部环境状态(例如，高度、湿度或亮度)以生成与测量的状态或检测的状态的信息相对应的电信号或数据值。传感器模块2176可以包括例如以下中的至少一个：手势传感器、陀螺仪传感器、气压传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、色彩传感器(例如，红绿蓝色(red,green,blue，RGB)传感器)、红外传感器、生物传感器(例如，虹膜传感器、指纹传感器、心跳速率监视(heartbeat rate monitoring，HRM)传感器、电子鼻传感器、肌电图(electromyography，EMG)传感器、脑电图(electroencephalogram，EEG)传感器、心电图(electrocardiogram，ECG)传感器)、温度传感器、湿度传感器、照度传感器或紫外线(ultraviolet，UV)传感器。传感器模块2176可以另外包括用于对包括在其中的至少一个或多个传感器进行控制的控制电路。根据实施例，电子装置2101可以通过使用处理器2120或与处理器2120分开的处理器(例如，传感器集线器)来控制传感器模块2176。在使用单独的处理器(例如，传感器集线器)的情况下，在处理器2120处于睡眠状态时，单独的处理器可以在不唤醒处理器2120的情况下进行操作以控制操作的至少一部分或传感器模块2176的状态。
根据本公开的实施例，接口2177可以包括高清晰度多媒体接口(high definitionmultimedia interface，HDMI)、通用串行总线(USB)、光接口、推荐标准232(RS-232)、D超小型(D-sub)、移动高清晰度链接(mobile high-definition link，MHL)接口、SD卡/MMC(多媒体卡)接口或音频接口。连接器2178可以物理地连接电子装置2101和电子装置2106。根据实施例，连接器2178可以包括例如USB连接器、SD卡/MMC连接器或音频连接器(例如，耳机连接器)。
触觉模块2179可以将电信号转换为机械激励(例如，振动或运动)或转换为电刺激。例如，触觉模块2179可以向用户施加触觉或动觉激励。触觉模块2179可以包括例如电机、压电元件或电刺激器。
照相机模块2180可以捕捉例如静止图像和活动图像。根据实施例，照相机模块2180可以包括至少一个透镜(例如，广角镜头和远摄镜头或前透镜和后透镜)、图像传感器、图像信号处理器或闪光灯(例如，发光二极管或氙气灯)。
将管理电子装置2101的功率的功率管理模块2188可以构成功率管理集成电路(power management integrated circuit，PMIC)的至少一部分。
电池2189可以包括一次电池、二次电池或燃料电池并且可以被外部电源再充电以供应电子装置2101的至少一个组件的电力。
通信模块2190可以在电子装置2101和外部装置(例如，第一外部电子装置2102、第二外部电子装置2104或服务器2108)之间建立通信通道。通信模块2190可以通过建立的通信通道来支持有线通信或无线通信。根据实施例，通信模块2190可以包括无线通信模块2192或有线通信模块2194。通信模块2190可以通过无线通信模块2192或有线通信模块2194当中的相关模块、通过第一网络2198(例如，诸如蓝牙或红外线数据协会(infrareddataassociation，IrDA)的无线局域网)或第二网络2199(例如，诸如蜂窝网络的无线广域网)与外部装置进行通信。
无线通信模块2192可以支持例如蜂窝通信、局部无线通信、全球导航卫星系统(GNSS)通信。蜂窝通信可以包括例如长期演进(long-term evolution，LTE)、高级LTE(LTEAdvanced，LTE-A)、码分多址(code division multiple access，CDMA)、宽频带CDMA(wideband CDMA，WCDMA)、通用移动电信系统(universal mobile telecommunicationssystem，UMTS)、无线宽带(Wireless Broadband，WiBro)或全球移动通信系统(GlobalSystem for Mobile Communication，GSM)。局部无线通信可以包括Wi-Fi、直通Wi-Fi、光保真(light fidelity，Li-Fi)、蓝牙、蓝牙低功耗(Bluetooth low energy，BLE)、Zigbee、近场通信(near field communication，NFC)、磁性安全传输(magnetic securetransmission，MST)、射频(radio frequency，RF)或体域网(body area network，BAN)。GNSS可以包括全球定位系统(GPS)、全球导航卫星系统(Glonass)、北斗导航卫星系统(Beidou)、欧洲全局星载导航系统(Galileo)等等中的至少一个。在本公开中，可以可交换地使用“GPS”和“GNSS”。
根据实施例，当无线通信模块2192支持蜂窝通信时，无线通信模块2192可以例如使用订户识别模块(subscriber identification module，SIM)2196来在通信网络内识别或认证电子装置2101。根据实施例，无线通信模块2192可以包括与处理器2120(例如，应用处理器(AP))分开的通信处理器(CP)。在该情况下，通信处理器可以执行与电子装置2101的组件2110至2196中的至少一个相关联的功能的至少一部分来代替当处理器2120处于不活动的(睡眠)状态时的处理器2120与当处理器2120处于激活状态中时的处理器2120。根据实施例，无线通信模块2192可以包括多个通信模块，其每个仅支持蜂窝通信、局部无线通信或GNSS通信当中的相关通信方案。
有线通信模块2194可以包括例如局域网(local area network，LAN)服务、电力线通信或简单老式电话服务(plain old telephone service，POTS)。
例如，第一网络2198可以采用例如直通Wi-Fi或蓝牙以通过电子装置2101和第一外部电子装置2102之间的无线直接连接来发送或接收命令或数据。第二网络2199可以包括电信网络(例如，诸如LAN或广域网(wide area network，WAN)、因特网或电话网络的计算机网络)以用于在电子装置2101和第二电子装置2104之间发送或接收命令或数据。
根据各个实施例，可以通过与第二网络2199相连接的服务器2108在电子装置2101和第二外部电子装置2104之间发送或接收命令或数据。第一外部电子装置2102和第二外部电子装置2104中的每一个可以是类型不同于电子装置2101或与电子装置2101相同的设备。根据各个实施例，可以由另一个或多个电子装置(例如，电子装置2102和2104或服务器2108)来执行电子装置2101将执行的操作的全部或一部分。根据实施例，在电子装置2101自动地或响应于请求来执行任何功能或服务的情况下，电子装置2101可以不内部地执行功能或服务，而是可以可替换地或另外地向任何其它设备(例如，电子装置2102或2104或服务器2108)发送对于与电子装置2101相关联的功能的至少一部分的请求。其它电子装置(例如，电子装置2102或2104或服务器2108)可以执行所请求的功能或附加功能并且可以向电子装置2101发送执行结果。电子设备101可以使用接收到的结果来提供所请求的功能或服务，或者可以另外处理接收到的结果以提供所请求的功能或服务。为此，可以使用例如云计算、分布式计算或客户端服务器计算。
本公开的各个实施例和在本文使用的术语并不意图将在本公开中描述的技术限制到特定实施例，并且应当理解，实施例和术语包括对在本文描述的对应的实施例的修改、等同和/或替换。关于附图的描述，可以通过类似的附图标号来标记类似的组件。单数形式的术语可以包括复数形式，除非另作说明。在本文公开的公开中，在本文使用的表达“A或B”、“A和/或B中的至少一个”、“A、B或C”、或“A、B和/或C中的至少一个”等等可以包括一个或多个相关联的所列项的任何组合和所有组合。诸如“第一”或“第二”等等的表达可以不管它们的优先级或重要性如何而表示它们的组件并且可以用于将一个组件与另一个组件相区分，但是不局限于这些组件。当(例如，第一)组件被称为“与另一个(例如，第二)组件(可操作地或通信地)耦合/(可操作地或通信地)耦合到”或“连接到”另一个(例如，第二)组件时，其可以直接地与其它组件耦合/耦合到或连接到其它组件，或者可以存在中间组件(例如，第三组件)。
根据情形，在本文使用的表达“适于或被配置为”可以可交换地使用为例如表达在硬件或软件中“适合于”、“具有的能力”、“被改变为”、“使得能”、“能够”或“被设计为”。表达“被配置为……的设备”可以意指设备“能够”与另一个设备或其它部件一起操作。例如，“被配置为(或被设置为)执行A、B和C的处理器”可以意指用于执行对应的操作的专用处理器(例如，嵌入式处理器)或者通过执行存储在存储器设备(例如，存储器2130)中的一个或多个软件程序来执行对应的操作的通用处理器(例如，中央处理单元(CPU)或应用处理器(AP))。
在本文使用的术语“模块”可以包括利用硬件、软件或固件实施的单元，并且可以与术语“逻辑”、“逻辑块”、“部件”、“电路”等等可交换地使用。“模块”可以是集成部件的最小单元或其一部分或可以是用于执行一个或多个功能的最小单元或其一部分。可以机械地或电子地实施“模块”，并且“模块”可以包括例如已知的或将被开发的用于执行一些操作的专用集成电路(application-specific integrated circuit，ASIC)芯片、现场可编程门阵列(field-programmable gate array，FPGA)和可编程逻辑设备。
可以例如以程序模块的形式通过存储在计算机可读存储介质(例如，存储器2130)中的指令来实施根据各个实施例的装置的至少一部分(例如，模块或其功能)或方法(例如，操作)。当指令由处理器(例如，处理器2120)执行时，可以使得处理器执行与指令相对应的功能。计算机可读记录介质可以包括硬盘、软盘、磁性介质(例如，磁带)、光介质(例如，只读存储型光盘(CD-ROM)和DVD、磁光介质(例如，软式光盘))、嵌入存储器等等。一个或多个指令可以包含由编译器作出的代码或可由解释器执行的代码。
根据各个实施例的每个组件(例如，模块或程序模块)可以由单个实体或多个实体组成，可以省略以上描述的子组件的一部分，或可以另外包括其它子组件。可替换地或另外地，在被集成在一个实体中之后，某些组件(例如，模块或程序模块)可以同等地或类似地执行在集成之前由每个对应的组件所执行的功能。根据各个实施例，可以通过连续的方法、并行的方法、重复的方法或启发性方法来执行由模块、程序模块或其它组件执行的操作，或者可以以不同的序列执行操作的至少一部分或省略操作的至少一部分。可替换地，可以添加其它操作。
尽管已经参考其各个实施例示出和描述了本公开，但本领域技术人员应当理解，在不脱离如所附权利要求和它们的等同物所限定的本公开的精神和范围的情况下，可以在其中进行形式和细节方面的各种改变。

Claims (15)

1.一种电子装置，包括：
外壳；
触摸屏显示器，安置在所述外壳内部并且暴露通过所述外壳的第一部分；
麦克风，安置在所述外壳内部并且暴露通过所述外壳的第二部分；
通信电路，安置在所述外壳内部；
至少一个处理器，安置在所述外壳内部并且电连接到所述触摸屏显示器、所述麦克风和所述通信电路；以及
存储器，安置在所述外壳中并且与所述至少一个处理器电连接，
其中，所述存储器存储指令，当所述指令被执行时，使得所述至少一个处理器：
通过所述触摸屏显示器或麦克风中的至少一个接收单个用户输入，其中，所述单个用户输入包括对于使用第一外部电子装置来执行第一任务和使用第二外部电子装置来执行取决于第一任务的第二任务的请求，
通过所述通信电路向外部服务器发送与所述单个用户输入相关联的第一数据，
通过所述通信电路从所述外部服务器接收包括关于所述第一外部电子装置用以执行第一任务的至少一个第一操作、所述第二外部电子装置用以执行第二任务的至少一个第二操作以及至少一个第一操作和至少一个第二操作的序列的信息的响应；
向所述第一外部电子装置发送允许所述第一外部电子装置基于所述序列执行所述至少一个第一操作的第一命令，以及
向所述第二外部电子装置发送允许所述第二外部电子装置基于所述序列执行所述至少一个第二操作的第二命令。
2.根据权利要求1所述的电子装置，
其中，所述第一命令包括关于所述至少一个第一操作的信息，并且其中，所述第二命令包括关于所述至少一个第二操作的信息。
3.根据权利要求1所述的电子装置，其中，所述存储器还存储指令，当所述指令被执行时，还使得所述至少一个处理器：
通过基于所述第一命令允许所述第一外部电子装置执行所述至少一个第一操作来获取第二数据，以及
当所述第二外部电子装置基于关于所述至少一个第二操作的信息执行至少一个第二操作时，将所述第二数据与所述第二命令一起发送到所述第二外部电子装置以基于所述第二命令来使用所述第二数据。
4.根据权利要求3所述的电子装置，其中，当所述第一外部电子装置和所述第二外部电子装置被包括在本地网络中时，所述第一命令允许所述第一外部电子装置直接地向所述第二外部电子装置发送所述第二数据。
5.根据权利要求1所述的电子装置，其中，所述存储器还存储指令，当所述指令被执行时，还使得所述至少一个处理器：
在所述触摸屏显示器中显示关于分别基于所述第一命令和所述第二命令操作的、所述至少一个第一操作和所述至少一个第二操作的信息。
6.根据权利要求1所述的电子装置，其中，所述存储器还存储指令，当所述指令被执行时，还使得所述至少一个处理器：
当所述第一外部电子装置和所述第二外部电子装置完成所述至少一个第一操作和所述至少一个第二操作时，从所述第一外部电子装置和所述第二外部电子装置接收指示已经完成所述至少一个第一操作和至少一个第二操作的第二信息。
7.根据权利要求6所述的电子装置，其中，所述响应包括关于用于检验已经完成所述至少一个第一操作和至少一个第二操作的状态的信息。
8.根据权利要求1所述的电子装置，其中，所述存储器还存储指令，当所述指令被执行时，还使得所述至少一个处理器：
确定所述第二外部电子装置的至少一个第二操作是否依赖于所述第一外部电子装置的至少一个第一操作；以及
当所述至少一个第二操作依赖于所述至少一个第一操作时，在检验完成所述至少一个第一操作之后向所述第二外部电子装置发送所述第二命令。
9.一种用于处理用户话语的设备，所述设备包括：
网络接口；
至少一个处理器，可操作地连接到所述网络接口；以及
至少一个存储器，可操作地连接到所述至少一个处理器，
其中，所述至少一个存储器存储指令，当所述指令被执行时，使得所述至少一个处理器：
通过所述网络接口从包括麦克风的第一外部电子装置接收与通过所述麦克风获取的单个用户输入相关联的第一数据，其中，所述单个用户输入包括对于使用第二外部电子装置来执行第一任务和使用第三外部电子装置来执行取决于第一任务的第二任务的请求，
基于第一数据，确定所述第二外部电子装置用于执行第一任务的至少一个第一操作、所述第三外部电子装置用于执行第二任务的至少一个第二操作以及至少一个第一操作和至少一个第二操作的序列，以及
向所述第一外部电子装置或被配置为控制所述第二外部电子装置和所述第三外部电子装置的外部服务器发送包括关于所述至少一个第一操作、所述至少一个第二操作以及至少一个第一操作和至少一个第二操作的序列的信息的响应，
其中，所述信息包括用于使得第二外部电子装置执行至少一个第一操作的第一命令和用于使得第三外部电子装置执行至少一个第二操作的第二命令。
10.根据权利要求9所述的设备，
其中，所述第一命令包括关于所述至少一个第一操作的信息，并且其中，所述第二命令包括关于所述至少一个第二操作的信息。
11.根据权利要求9所述的设备，其中，所述信息包括包含报头和指示多个命令的字段的数据分组。
12.根据权利要求9所述的设备，其中，以JavaScript对象标记(JSON)格式来提供关于所述至少一个第一操作的信息和关于所述至少一个第二操作的信息。
13.根据权利要求9所述的设备，其中，所述信息包括所述第一命令和所述第二命令之间的关系。
14.根据权利要求9所述的设备，其中，所述第一命令包括与所述第二外部电子装置相关联的第一设备类型和与所述第三外部电子装置相关联的第二设备类型。
15.根据权利要求9所述的设备，其中，所述至少一个存储器存储指令，当所述指令被执行时，还使得所述至少一个处理器：
当所述第一外部电子装置、以及所述第二外部电子装置或第三外部电子装置中的一个没有被包括在本地网络中时，向所述外部服务器发送所述信息。
CN201880049130.0A 2017-07-21 2018-07-16 处理用户话语以用于控制外部电子装置的电子装置及其控制方法 Active CN110945455B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2017-0092590 2017-07-21
KR1020170092590A KR102419374B1 (ko) 2017-07-21 2017-07-21 사용자 발화를 처리하는 전자 장치 및 그 전자 장치의 제어 방법
PCT/KR2018/008034 WO2019017665A1 (en) 2017-07-21 2018-07-16 ELECTRONIC APPARATUS FOR PROCESSING A USER STATEMENT FOR CONTROLLING AN EXTERNAL ELECTRONIC APPARATUS AND METHOD FOR CONTROLLING THE APPARATUS

Publications (2)

Publication Number Publication Date
CN110945455A CN110945455A (zh) 2020-03-31
CN110945455B true CN110945455B (zh) 2024-03-19

Family

ID=65016028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880049130.0A Active CN110945455B (zh) 2017-07-21 2018-07-16 处理用户话语以用于控制外部电子装置的电子装置及其控制方法

Country Status (5)

Country Link
US (1) US10824392B2 (zh)
EP (1) EP3635533B1 (zh)
KR (1) KR102419374B1 (zh)
CN (1) CN110945455B (zh)
WO (1) WO2019017665A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6928842B2 (ja) * 2018-02-14 2021-09-01 パナソニックＩｐマネジメント株式会社 制御情報取得システム、及び、制御情報取得方法
KR20200126158A (ko) * 2019-04-29 2020-11-06 삼성전자주식회사 사운드를 출력하는 액추에이터를 포함하는 전자 장치와 이의 동작 방법
US11508375B2 (en) * 2019-07-03 2022-11-22 Samsung Electronics Co., Ltd. Electronic apparatus including control command identification tool generated by using a control command identified by voice recognition identifying a control command corresponding to a user voice and control method thereof
KR20230059307A (ko) * 2021-10-26 2023-05-03 삼성전자주식회사 발화 기반 목적 장치의 식별 방법 및 이를 위한 전자 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104126313A (zh) * 2013-02-20 2014-10-29 松下电器产业株式会社 信息终端的控制方法和程序
WO2015084659A1 (en) * 2013-12-02 2015-06-11 Rawles Llc Natural language control of secondary device
CN104885406A (zh) * 2012-12-18 2015-09-02 三星电子株式会社 用于在家庭网络系统中远程控制家庭设备的方法和设备
CN105393302A (zh) * 2013-07-17 2016-03-09 三星电子株式会社 多级语音识别
KR20170060507A (ko) * 2015-11-24 2017-06-01 삼성전자주식회사 전자 장치의 상태에 따른 음성 신호 처리 방법 및 그 전자 장치

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2291807T3 (es) * 1997-06-25 2008-03-01 Samsung Electronics Co., Ltd. Procedimiento y aparato para controlar dispositivos en una red domestica.
JP3275840B2 (ja) 1998-08-12 2002-04-22 日本電気株式会社 機器操作システム及び方法、並びに記録媒体
KR100430953B1 (ko) * 1998-10-02 2004-05-12 인터내셔널 비지네스 머신즈 코포레이션 네트워크 협동 대화 서비스를 제공하기 위한 시스템 및 방법
KR100434545B1 (ko) 2002-03-15 2004-06-05 삼성전자주식회사 홈네트워크로 연결된 가전기기들을 제어하는 방법 및 장치
KR100513292B1 (ko) * 2003-04-16 2005-09-09 삼성전자주식회사 홈 네트워크에서 홈상태 정보를 구성하고 이용하는 방법및 시스템
US10237237B2 (en) * 2007-06-12 2019-03-19 Icontrol Networks, Inc. Communication protocols in integrated systems
JP4581441B2 (ja) * 2004-03-18 2010-11-17 パナソニック株式会社 家電機器システム、家電機器および音声認識方法
US7949529B2 (en) * 2005-08-29 2011-05-24 Voicebox Technologies, Inc. Mobile systems and methods of supporting natural language human-machine interactions
EP1933499B1 (en) * 2006-12-13 2016-03-30 Alcatel Lucent Policy-based management method for remote management of home devices
US9836276B2 (en) * 2009-05-27 2017-12-05 Hon Hai Precision Industry Co., Ltd. Voice command processing method and electronic device utilizing the same
US8375118B2 (en) * 2010-11-18 2013-02-12 Verizon Patent And Licensing Inc. Smart home device management
US8995981B1 (en) * 2010-12-13 2015-03-31 Csr Technology Inc. Systems and methods for remote control adaptive configuration
US9942304B2 (en) * 2011-01-08 2018-04-10 N99 Llc Remote control authority and authentication
US20140135952A1 (en) * 2012-11-15 2014-05-15 Samsung Electronics Co., Ltd. Home network system
US9922580B2 (en) * 2013-04-30 2018-03-20 Google Llc Apparatus and method for the virtual demonstration of a smart phone controlled smart home using a website
US9575720B2 (en) 2013-07-31 2017-02-21 Google Inc. Visual confirmation for a recognized voice-initiated action
US9443527B1 (en) * 2013-09-27 2016-09-13 Amazon Technologies, Inc. Speech recognition capability generation and control
US9111214B1 (en) 2014-01-30 2015-08-18 Vishal Sharma Virtual assistant system to remotely control external services and selectively share control
JP2015166971A (ja) * 2014-03-04 2015-09-24 富士通株式会社 情報処理装置、情報処理システム、情報処理方法、及び、情報処理プログラム
KR102201095B1 (ko) * 2014-05-30 2021-01-08 애플 인크. 하나의 디바이스의 사용으로부터 다른 디바이스의 사용으로의 전환
US10410630B2 (en) * 2014-06-19 2019-09-10 Robert Bosch Gmbh System and method for speech-enabled personalized operation of devices and services in multiple operating environments
KR102208477B1 (ko) * 2014-06-30 2021-01-27 삼성전자주식회사 마이크 운용 방법 및 이를 지원하는 전자 장치
TWI569679B (zh) * 2015-04-08 2017-02-01 普易科技股份有限公司 居家控制閘道器及其閘道控制方法
KR102354943B1 (ko) * 2015-05-20 2022-01-25 삼성전자주식회사 전자 장치가 외부 기기를 제어하는 방법 및 상기 전자 장치
US10419877B2 (en) * 2015-10-07 2019-09-17 Samsung Electronics Co., Ltd. Electronic apparatus and IoT device controlling method thereof
KR20170086814A (ko) 2016-01-19 2017-07-27 삼성전자주식회사 음성 인식 기능을 제공하는 전자 장치 및 그 동작 방법
WO2018158172A1 (en) * 2017-03-02 2018-09-07 Philips Lighting Holding B.V. Control events in a system of networked home devices
US10873658B2 (en) * 2017-08-17 2020-12-22 Hubbell Incorporated Configurable multi-function ruggedized voice over internet protocol (VoIP) communications device with universal application platform
US11057238B2 (en) * 2018-01-08 2021-07-06 Brilliant Home Technology, Inc. Automatic scene creation using home device control
US10985972B2 (en) * 2018-07-20 2021-04-20 Brilliant Home Technoloy, Inc. Distributed system of home device controllers

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104885406A (zh) * 2012-12-18 2015-09-02 三星电子株式会社 用于在家庭网络系统中远程控制家庭设备的方法和设备
CN104126313A (zh) * 2013-02-20 2014-10-29 松下电器产业株式会社 信息终端的控制方法和程序
CN105393302A (zh) * 2013-07-17 2016-03-09 三星电子株式会社 多级语音识别
WO2015084659A1 (en) * 2013-12-02 2015-06-11 Rawles Llc Natural language control of secondary device
CN106062734A (zh) * 2013-12-02 2016-10-26 亚马逊技术股份有限公司 二级装置的自然语言控制
KR20170060507A (ko) * 2015-11-24 2017-06-01 삼성전자주식회사 전자 장치의 상태에 따른 음성 신호 처리 방법 및 그 전자 장치

Also Published As

Publication number Publication date
WO2019017665A1 (en) 2019-01-24
KR102419374B1 (ko) 2022-07-11
EP3635533A1 (en) 2020-04-15
EP3635533A4 (en) 2020-07-01
US20190026073A1 (en) 2019-01-24
EP3635533B1 (en) 2023-09-27
KR20190010179A (ko) 2019-01-30
US10824392B2 (en) 2020-11-03
CN110945455A (zh) 2020-03-31

Similar Documents

Publication Publication Date Title
US11670302B2 (en) Voice processing method and electronic device supporting the same
US11435980B2 (en) System for processing user utterance and controlling method thereof
US10978048B2 (en) Electronic apparatus for recognizing keyword included in your utterance to change to operating state and controlling method thereof
US10811008B2 (en) Electronic apparatus for processing user utterance and server
US11170768B2 (en) Device for performing task corresponding to user utterance
US10825453B2 (en) Electronic device for providing speech recognition service and method thereof
EP3531416A1 (en) System for processing user utterance and controlling method thereof
US10788955B2 (en) Method for controlling display and electronic device supporting the same
US11537360B2 (en) System for processing user utterance and control method of same
US20190019509A1 (en) Voice data processing method and electronic device for supporting the same
CN110945455B (zh) 处理用户话语以用于控制外部电子装置的电子装置及其控制方法
US11170764B2 (en) Electronic device for processing user utterance
US11915700B2 (en) Device for processing user voice input
US10996922B2 (en) Electronic apparatus for processing user utterance
US20200326832A1 (en) Electronic device and server for processing user utterances
US11194545B2 (en) Electronic device for performing operation according to user input after partial landing
US10908763B2 (en) Electronic apparatus for processing user utterance and controlling method thereof
KR102426411B1 (ko) 사용자 발화을 처리하는 전자 장치 및 시스템
KR102426123B1 (ko) 사용자 발화를 처리하는 전자 장치 및 서버

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant