CN109474658A - 用外部设备支持任务运行的电子设备、服务器和记录介质 - Google Patents

用外部设备支持任务运行的电子设备、服务器和记录介质 Download PDF

Info

Publication number
CN109474658A
CN109474658A CN201811044272.6A CN201811044272A CN109474658A CN 109474658 A CN109474658 A CN 109474658A CN 201811044272 A CN201811044272 A CN 201811044272A CN 109474658 A CN109474658 A CN 109474658A
Authority
CN
China
Prior art keywords
user
processor
equipment
path rule
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811044272.6A
Other languages
English (en)
Other versions
CN109474658B (zh
Inventor
诸成民
李善基
金炅泰
金洲焕
余在永
禹景久
尹丁铉
林东善
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN109474658A publication Critical patent/CN109474658A/zh
Application granted granted Critical
Publication of CN109474658B publication Critical patent/CN109474658B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/63—Routing a service request depending on the request content or context
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/547—Remote procedure calls [RPC]; Web services
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0807—Network architectures or network communication protocols for network security for authentication of entities using tickets, e.g. Kerberos
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/306—User profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/10—Connection setup
    • H04W76/14—Direct-mode setup
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/227—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of the speaker; Human-factor methodology
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种电子设备。所述电子设备包括外壳、触摸屏显示器、麦克风、无线通信电路、处理器和存储器。所述存储器存储包括支持基于用户帐户控制至少一个外部设备的用户接口的软件程序，并且所述存储器存储至少一个指令，所述指令在被运行时使得所述处理器接收用于连接电子设备到第一外部设备的第一用户输入，通过使用所述第一外部设备接收对应于执行任务的至少一部分的请求的第二用户输入，从所述第二外部设备接收包括状态序列的第一响应，以由第一外部设备取决于序列，执行任务的至少一部分。

Description

用外部设备支持任务运行的电子设备、服务器和记录介质
对相关申请的交叉引用
本申请要求于2017年9月7日在韩国知识产权局提交的韩国专利申请号10-2017-0114569的优先权，其公开内容通过引用整体并入本文。
技术领域
本公开涉及使用外部设备支持任务运行的电子设备、服务器和记录介质。
背景技术
为了针对(aim)与用户的交互的目的，最近的电子设备已经提出了各种类型的输入方法。例如，基于特定应用的运行，电子设备可以根据用户的话语来操作接收语音数据的语音输入方法。此外，电子设备可以识别所接收的语音数据以推导用户话语的意图，并且可以支持执行对应于推导出的用户话语的意图的操作的语音识别服务。
以上信息仅作为背景信息呈现，以帮助理解本公开。关于上述任何一个是否适用于作为关于本公开的现有技术，没有做出任何确定，并且没有断言。
发明内容
本公开的各方面旨在解决至少上述问题和/或缺点，并提供至少下述优点。因此，本公开的一个方面是提供一种电子设备、服务器和记录介质，其通过使用指定的外部设备来支持与至少一个物联网(IoT)设备的控制相关联的任务运行。
响应于语音识别服务的商业化，已经建立了各种操作平台。例如，语音识别服务可以包含IoT环境，以支持对应于用户话语的IoT设备的功能操作控制。然而，由于与IoT设备控制相关联的语音识别服务仅支持正式语音输入(或语音命令)，因此IoT设备的控制范围可能受限或可能受到统一控制的限制。
另外的方面将部分地在下面的描述中阐述，并且部分地将从描述中显而易见，或者可以通过实践所呈现的实施例来学习。
根据本公开的一个方面，提供了一种电子设备。该电子设备包括外壳、布置在外壳中并且至少一部分被可视地暴露的触摸屏显示器、麦克风、无线通信电路、可操作地连接到触摸屏显示器、麦克风和无线通信电路的处理器，以及可操作地连接到处理器的存储器。
根据本公开的另一方面，存储器被配置为存储包括支持基于用户帐户控制至少一个外部设备的用户接口的软件程序。
根据本公开的另一方面，存储器还被配置为存储至少一个指令，当指令被运行时，使得处理器控制无线通信电路经由用户接口接收用于将电子设备连接到第一外部设备的第一用户输入，控制无线通信电路向第二外部设备发送对应于用户账户的第一信息和对应于第一外部设备的第二信息，控制无线通信电路经由触摸屏显示器或麦克风，接收对应于用于使用第一外部设备执行任务的至少一部分的请求的第二用户输入，控制无线通信电路向第二外部设备发送对应于第二用户输入的数据，控制无线通信电路从第二外部设备接收包括当由第一外部设备执行任务的至少一部分时将要使用的任务的状态序列的第一响应，并且在接收到第一响应之后，控制由第一外部设备取决于序列执行任务的至少一部分。
根据本公开的另一方面，提供了一种服务器。服务器可以包括无线通信电路、被配置为存储任务状态的存储器以及处理器。
根据本公开的另一方面，处理器被配置为控制无线通信电路以从第二外部设备接收包括对应于第一用户帐户的第一信息和对应于与第一用户帐户相关联的第一外部设备的第二信息的第一数据，控制无线通信电路从第二外部设备接收对应于允许第一外部设备执行任务的至少一部分的请求的第二数据，响应于接收第二数据，至少部分地基于第一数据，确定与至少部分状态相关联的序列，并控制无线通信电路向第二外部设备发送包括该序列的第一响应。
根据本公开的另一方面，提供了一种非暂时性计算机可读存储介质。该非暂时性计算机可读存储介质存储由至少一个处理器运行的至少一个指令。
根据本公开的另一方面，在由至少一个处理器运行时，该至少一个指令使得至少一个处理器控制以从第二外部设备接收包括对应于第一用户帐户的第一信息和对应于与第一用户帐户相关联的第一外部设备的第二信息的第一数据，控制以从第二外部设备接收对应于允许第一外部设备执行任务的至少一部分的请求的第二数据，响应于接收第二数据，至少部分地基于第一数据确定与先前存储的任务的至少部分状态相关联的序列，并控制以向第二外部设备发送包括所确定的序列的第一响应。
根据本公开的另一方面，可以提供能够控制至少一个IoT设备的基于语音输入的接口。
同时，可以提供通过本公开直接或间接所理解的各种效果。
通过以下结合附图公开了本公开的各种实施例的详细描述，本公开的其他方面、优点和显着特征对于本领域技术人员将变得显而易见。
附图说明
通过以下结合附图的描述，本公开的某些实施例的以上和其他方面、特征和优点将更加明显，其中：
图1A是根据本发明实施例的集成智能系统的框图；
图1B是示出根据本公开的实施例的集成智能系统的用户终端的框图；
图1C是示出根据本公开的实施例的智能app的运行形式的视图；
图1D是示出根据本公开的实施例的集成智能系统的智能服务器的图；
图1E是示出根据本公开的实施例的智能服务器的路径规则生成形式的视图；
图2A是示出根据本公开的实施例的物联网(IoT)系统的视图；
图2B是示出根据本公开的实施例的IoT系统的自然语言理解(NLU)模块的视图；
图3是示出根据本公开的实施例的在IoT系统的至少一部分组件之间执行的认证过程的图；
图4A是示出根据本公开的实施例的IoT设备的第一注册过程的图；
图4B是示出根据本公开的实施例的IoT设备的第二注册过程的图；
图5是示出根据本公开的实施例的处理与IoT设备相关联的用户输入的过程的视图；以及
图6是示出根据本公开的实施例的网络环境中的电子设备的图。
在整个附图中，应该注意，相同的附图标记用于描绘相同或相似的元件、特征和结构。
具体实施方式
提供参照附图的以下描述以帮助全面理解由权利要求及其等同物限定的本公开的各种实施例。它包括各种具体细节以帮助理解，但这些仅被视为示例性的。因此，本领域普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对本文描述的各种实施例进行各种改变和修改。另外，为了清楚和简明，可以省略对公知功能和结构的描述。
在以下描述和权利要求中使用的术语和词语不限于书面含义，而是仅由发明人使用以使得能够清楚和一致地理解本公开。因此，对于本领域技术人员来说显而易见的是，提供本公开的各种实施例的以下描述仅用于说明目的，而不是为了限制由所附权利要求及其等同物限定的本公开的目的。
应理解，除非上下文另有明确规定，否则单数形式“一”、“一个”和“该”包括复数指示物。因此，例如，对“一个组件表面”的引用包括对一个或多个这样的表面的引用。
在本公开中，这里使用的表达“具有”、“可以具有”、“包括”和“包含”或“可以包括”和“可以包含”表示相应特征的存在(例如，诸如数值、功能、操作或部分的组件)，但不排除存在其他功能。
在本公开中，表达“A或B”、“A或/和B中的至少一个”或“A或/和B中的一个或多个”等可以包括一个或多个相关联的所列出的项目的任何和所有组合。例如，术语“A或B”、“A和B中的至少一个”或“A或B中的至少一个”可以指其中包括至少一个A的情况(1)、其中包括至少一个B的情况(2)或其中包括至少一个A和至少一个B两者的情况(3)中的所有。
本公开中使用的诸如“第一”、“第二”等术语可以用于不管序列和/或优先级，指代各种组件并将相关组件与其他组件区分开，而不限制组件。例如，“第一用户设备”和“第二用户设备”可以不管序列或优先级，指示不同用户设备。例如，在不脱离本公开的范围的情况下，第一组件可以被称为第二组件，并且类似地，第二组件可以被称为第一组件。
应当理解，当组件(例如，第一组件)被称为“(可操作地或通信地)耦合与/到”或“被连接到”另一组件(例如，第二组件)时，其可以与另一组件直接耦合/连接，或者可以存在中间组件(例如，第三组件)。相反，当组件(例如，第一组件)被称为“与另一组件(例如，第二组件)”“直接耦合与/到”或“直接连接”时，应该理解的是，没有介于其中的组件(例如，第三组件)。
根据情况，本公开中使用的表达“被配置为”可以用作例如表达“适合于”、“具有能力”、“被设计为”、“适应于”、“被做成”或“能够”。术语“被配置为”不得仅仅意味着硬件上“被专门设计为”。相反，表述“设备被配置为”可以意味着该设备“能够”与另一设备或其他部分一起操作。例如，“处理器被配置为(或被设置为)执行A、B和C”可以指执行相应操作的专用处理器(例如，嵌入式处理器)或通过运行存储在存储器设备中的一个或多个软件程序来执行相应的操作的通用处理器(例如，中央处理单元(CPU)或应用处理器)。
本公开中使用的术语被用于描述特定实施例，并且不旨在限制本公开的范围。除非另有说明，否则单数形式的术语可包括复数形式。本文使用的所有术语(包括技术或科学术语)可以具有本领域技术人员通常理解的相同含义。还应理解，除非在本公开的各种实施例中明确地如此定义，否则在字典中定义并且通常使用的术语也应当被解释为相关相关领域中的惯例而不是理想化或过于正式的术语。在一些情况下，即使术语是在本公开中定义的术语，它们也不应被解释为排除本公开的实施例。
根据本公开的各种实施例的电子设备可以包括例如智能手机、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式PC、膝上型PC、上网本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、运动图像专家组(MPEG-1或MPEG-2)音频第3层(MP3)播放器、移动医疗设备、相机或可穿戴设备中的至少一个。根据各种实施例，可穿戴设备可包括附件型(例如，手表、戒指、手镯、脚镯、项链、眼镜、隐形眼镜或头戴式设备(HMD))、织物或服装-集成型(例如，电子服饰)、身体附着型(例如，护皮垫或纹身)或生物可植入型(例如，可植入电路)中的至少一种。
根据各种实施例，电子设备可以是家用电器。家用电器可以包括例如电视(TV)、数字多功能光盘(DVD)播放器、音频、冰箱、空调、清洁器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、电视盒(例如，SamsungHomeSyncTM、AppleTVTM或Google TVTM)、游戏机(例如，XboxTM或PlayStationTM)、电子词典、电子钥匙、便携式摄像机、电子相框等中的至少一种。
根据另一实施例，电子设备可包括各种医疗设备(例如，各种便携式医疗测量设备(例如，血糖监测设备、心跳测量设备、血压测量设备、体温测量装置等)、磁共振血管造影(MRA)、磁共振成像(MRI)、计算机断层扫描(CT)、扫描仪和超声波设备)、导航设备、全球导航卫星系统(GNSS)、事件数据记录器(EDR)、飞行数据记录器(FDR)、车辆信息娱乐设备、船舶电子设备(例如导航系统和陀螺罗盘)、航空电子设备、安全设备、车辆主机、工业或家用机器人、自动柜员机(ATMs)、商店的销售点(POS)或物联网(例如，灯泡、各种传感器、电表或煤气表、喷淋设备、火警、恒温器、路灯、烤面包机、运动设备、热水箱、加热器、锅炉等)中的至少一种。
根据实施例，电子设备可以包括家具或建筑物/结构、电子板、电子签名接收设备、投影仪或各种测量仪器(例如，水表、电表、燃气表或波长计等)中的至少一个部分。根据各种实施例，电子设备可以是上述设备中的一个或其组合。根据实施例的电子设备可以是柔性电子设备。此外，根据本公开的实施例的电子设备可以不限于上述电子设备，并且可以包括根据技术发展的其他电子设备和新电子设备。
在下文中，将参照附图描述根据各种实施例的电子设备。在本公开中，术语“用户”可以指使用电子设备的人或可以指使用电子设备的设备(例如，人工智能电子设备)。
在描述本公开的各种实施例之前，将参照图1A至图1E描述能够应用本公开的各种实施例的集成智能系统。
图1A是示出根据本公开的实施例的集成智能系统的视图。
参照图1A，集成智能系统10可以包括用户终端100、智能服务器200、个人信息服务器300或建议服务器400。
用户终端100可以通过存储在用户终端100中的app(或应用程序)(例如，闹钟app、消息app、图片(图库)app等)向用户提供必要的服务。例如，用户终端100可以通过存储在用户终端100中的智能app(或语音识别app)来运行和操作其他app。可以通过用户终端100的智能app运行其他app，并且可以接收用于执行任务的用户输入。例如，可以通过物理按钮、触摸板、语音输入、远程输入等来接收用户输入。根据实施例，与因特网连接的各种类型的终端设备(或电子设备)，诸如移动电话、智能手机、个人数字助理(PDA)、笔记本计算机等可以对应于用户终端100。
根据实施例，用户终端100可以接收用户话语作为用户输入。用户终端100可以接收用户话语，并且可以基于用户话语生成用于操作app的命令。由此，用户终端100可以通过使用该命令来操作app。
智能服务器200可以通过通信网络从用户终端100接收用户的语音输入，并且可以将语音输入转换为文本数据。在另一实施例中，智能服务器200可以基于文本数据生成(或选择)路径规则。路径规则可以包括关于用于执行app的功能的动作(或操作)的信息或关于执行动作所需的参数的信息。另外，路径规则可以包括app的动作的次序。用户终端100可以接收路径规则，可以根据路径规则选择app，并且可以运行在所选择的app中的路径规则中包括的动作。
通常，本公开的术语“路径规则”可以指示但不限于电子设备执行用户请求的任务的状态序列。换句话说，路径规则可以包括关于状态序列的信息。例如，任务可以是智能app能够提供的特定动作。该任务可以包括生成时间表，将图片发送给所期望的对方，或者提供天气信息。用户终端100可以通过顺序地具有至少一个或多个状态(例如，用户终端100的操作状态)来执行任务。
根据实施例，路径规则可以由人工智能(AI)系统提供或生成。人工智能系统可以是基于规则的系统，或者可以是基于神经网络的系统(例如，前馈神经网络(FNN)或递归神经网络(RNN))。或者，人工智能系统可以是上述系统的组合或与上述系统不同的人工智能系统。根据实施例，可以从一组预定义路径规则中选择路径规则，或者可以响应于用户请求实时生成路径规则。例如，人工智能系统可以选择预定义的多个路径规则中的至少一条路径规则，或者可以动态地(或实时地)生成路径规则。此外，用户终端100可以使用混合系统来提供路径规则。
根据实施例，用户终端100可以运行动作并且可以在显示器中显示对应于运行动作的用户终端100的状态的屏幕。根据另一实施例，用户终端100可以运行动作，并且可以不在显示器中显示通过运行动作而获得的结果。例如，用户终端100可以运行多个动作，并且可以仅在显示器中显示多个动作的一部分的结果。例如，用户终端100可以仅在显示器中显示通过运行最后一个动作而获得的结果。根据另一实施例，用户终端100可以接收用户输入以在显示器中显示通过运行动作而获得的结果。
个人信息服务器300可以包括存储用户信息的数据库。例如，个人信息服务器300可以从用户终端100接收用户信息(例如，上下文信息、关于app的运行的信息等)，并且可以将用户信息存储在数据库中。智能服务器200可以通过通信网络从个人信息服务器300接收用户信息，并且可以生成与用户输入相关联的路径规则。根据实施例，用户终端100可以通过通信网络从个人信息服务器300接收用户信息，并且可以使用用户信息作为用于管理数据库的信息。
建议服务器400可以包括存储关于终端中的功能、应用的介绍或要提供的功能的信息的数据库。例如，建议服务器400可以通过从个人信息服务器300接收用户终端100的用户信息，来包括与用户使用的功能相关联的数据库。用户终端100可以通过通信网络从建议服务器400接收关于将要提供的功能的信息，并可以向用户提供信息。
图1B是示出根据本公开的实施例的集成智能系统的用户终端的框图。
参照图1B，用户终端100可以包括输入模块110、显示器120、扬声器130、存储器140或处理器150。用户终端100的至少一部分组件可以被电连接或可操作地连接到处理器150。用户终端100还可以包括外壳，并且用户终端100的组件可以被安置(seated)在外壳中或者可以被放置在外壳上。用户终端100还可以包括位于外壳中的通信电路。用户终端100可以通过通信电路向外部服务器(例如，智能服务器200)发送数据(或信息)或从外部服务器(例如，智能服务器200)接收数据(或信息)。在各种实施例中，用户终端100可以被称为“电子设备”，并且还可以包括将通过图6描述的电子设备601的组件。
根据实施例，输入模块110可以从用户接收用户输入。例如，输入模块110可以从所连接的外部设备(例如，键盘或耳机)接收用户输入。又例如，输入模块110可以包括耦合到显示器120的触摸屏(例如，触摸屏显示器)。对于另一个示例，输入模块110可以包括位于用户终端100中(或用户终端100的外壳中)的硬件键(或物理键)。
根据实施例，输入模块110可以包括能够接收用户话语作为语音信号的麦克风。例如，输入模块110可以包括语音输入系统，并且可以通过语音输入系统接收用户话语作为声音信号。例如，麦克风可以通过外壳的一部分(例如，第一部分)暴露在外。在实施例中，为了根据用户话语接收用户输入(例如，语音输入)的目的，麦克风可以被控制为以始终开启状态(例如，始终开启)操作，或者可以在用户操纵被应用于图1C的硬件键112的情况下控制麦克风。用户操纵可以包括对硬件键112的按压操作，对硬件键112的按住不放操作等。
根据实施例，显示器120可以显示应用的图像、视频和/或执行屏幕。例如，显示器120可以显示app的图形用户界面(GUI)。在实施例中，显示器120可以通过外壳的一部分(例如，第二部分)暴露，以接收用户的身体(例如，手指)的输入(例如，触摸输入、拖动输入等)。
根据实施例，扬声器130可以输出语音信号。例如，扬声器130可以将在用户终端100中生成的语音信号输出到外部。根据实施例，扬声器130可以暴露于外壳的一部分(例如，第三部分)。
根据实施例，存储器140可以存储多个app(或应用程序)(例如，第一app 141和第二app 143)。例如，多个app(例如，第一app 141和第二app 143)可以是用于执行对应于用户输入的功能的程序。根据实施例，存储器140可以存储智能代理145、运行管理器模块147或智能服务模块149。例如，智能代理145、运行管理器模块147和智能服务模块149可以是用于处理所接收的用户输入(例如，用户话语)的框架(或应用框架)。
根据实施例，存储器140可以包括能够存储识别用户输入所必需的信息的数据库。例如，存储器140可以包括能够存储日志信息的日志数据库。又例如，存储器140可以包括能够存储用户信息的角色数据库。
根据实施例，存储器140可以存储多个应用(例如，第一app 141和第二app 143)，并且可以加载多个应用以进行操作。例如，存储在存储器140中的多个app(例如，第一app141和第二app 143)可以在加载之后由运行管理器模块147操作。多个应用(例如，第一app141和第二app 143)可以包括执行功能的运行服务模块141a和143a。在实施例中，为了执行功能的目的，多个app(例如，第一app 141和第二app 143)可以通过运行服务模块141a和143a执行多个动作(例如，状态序列)141b和143b。换句话说，运行服务模块141a和143a可以由运行管理器模块147激活，然后可以运行多个动作141b和143b。
根据实施例，当运行第一app 141和第二app 143的多个动作141b和143b时，可以在显示器120中显示根据多个动作141b和143b的运行的运行状态屏幕。例如，运行状态屏幕可以是其中完成了多个动作141b和143b的状态的屏幕。又例如，运行状态屏幕可以是其中多个动作141b和143b的运行处于部分暂停(landing)的状态下的屏幕(例如，在多个动作141b和143b所需的参数未输入的情况下)。
根据实施例，运行服务模块141a和143a可以根据路径规则运行多个动作141b和143b。例如，运行服务模块141a和143a可以由运行管理器模块147激活，可以取决于路径规则从运行管理器模块147接收运行请求，并且可以通过取决于运行请求执行多个动作141b和143b来运行第一app 141和第二app 143的功能。当完成了多个动作141b和143b的运行时，运行服务模块141a和143a可以向运行管理器模块147发送完成信息。
根据实施例，在分别在第一app 141和第二app 143中运行多个动作141b和143b的情况下，可以顺序地运行多个动作141b和143b。当完成一个动作(例如，第一app 141的动作1或第二app 143的动作1)的运行时，运行服务模块141a和143a可以打开下一个动作(例如，第一app 141的动作2或第二app 143的动作2)，并且可以向运行管理器模块147发送完成信息。这里，可以理解，打开任意动作是将任意动作的状态改变为可运行状态或准备运行动作。换句话说，当未打开任意动作时，相应的动作可以不被运行。当接收到完成信息时，运行管理器模块147可以向运行服务模块141a和143a发送与下一动作(例如，第一app 141的动作2或第二app 143的动作2)相关联的运行请求。根据实施例，在运行多个应用(例如，第一app 141和第二app 143)的情况下，可以顺序地运行多个应用。例如，当在完成第一app 141的最后一个动作(例如，第一app 141的动作3)的运行之后接收到完成信息时，运行管理器模块147可以将第二app 143的第一动作(例如，第二app 143的动作1)的运行请求发送到运行服务模块143a。
根据实施例，在第一app 141和第二app 143中运行多个动作141b和143b的情况下，可以在显示器120中显示根据所运行的多个动作141b和143b中的每一个的运行的结果屏幕。根据实施例，可以在显示器120中仅显示根据所运行的多个动作141b和143b的多个结果屏幕的一部分。
根据实施例，存储器140可以存储与智能代理145一起操作的智能app(例如，语音识别app)。与智能代理145一起操作的app可以接收和处理用户的话语作为语音信号。根据实施例，与智能代理145一起操作的app可以通过输入模块110输入的特定输入(例如，通过硬件键的输入、通过触摸屏的输入或特定语音输入)来操作。
根据实施例，存储在存储器140中的智能代理145、运行管理器模块147或智能服务模块149可以由处理器150来执行。智能代理145、运行管理器模块147或智能服务模块149的功能可以由处理器150来实现。描述的是智能代理145、运行管理器模块147和智能服务模块149中的每一个的功能是处理器150的操作。根据实施例，存储在存储器140中的智能代理145、运行管理器模块147或智能服务模块149可以以硬件以及软件来实现。
根据实施例，处理器150可以控制用户终端100的整体动作。例如，处理器150可以控制输入模块110来接收用户输入。处理器150可以控制显示器120来显示图像。处理器150可以控制扬声器130来输出语音信号。处理器150可以控制存储器140来运行程序并读取或存储必要信息。
在实施例中，处理器150可以运行存储在存储器140中的智能代理145、运行管理器模块147或智能服务模块149。由此，处理器150可以实现智能代理145、运行管理器模块147或智能服务模块149的功能。
根据实施例，处理器150可以基于作为用户输入接收的语音信号来运行智能代理145以生成用于启动app的指令。根据实施例，处理器150可以运行运行管理器模块147以根据所生成的指令启动存储在存储器140中的第一app 141和第二app 143。根据实施例，处理器150可以运行智能服务模块149以管理用户的信息，并且可以通过使用用户的信息来处理用户输入。
处理器150可以运行智能代理145以向智能服务器200发送通过输入模块110接收的用户输入，并且可以通过智能服务器200处理用户输入。
根据实施例，在将用户输入发送到智能服务器200之前，处理器150可以运行智能代理145以预处理用户输入。根据实施例，为了预处理用户输入，智能代理145可以包括自适应回声消除器(AEC)模块、噪声抑制(NS)模块、端点检测(EPD)模块或自动增益控制(AGC)模块。AEC可以移除在用户输入中包括的回声。NS模块可以抑制在用户输入中包括的背景噪声。EPD模块可以检测在用户输入中包括的用户语音的端点(end-point)，并且可以通过使用所检测到的端点来搜索存在用户语音的部分。AGC模块可以识别用户输入并且可以调整用户输入的音量以便适合于处理所识别的用户输入。根据实施例，为了性能，处理器150可以运行所有预处理元素。然而，在另一实施例中，处理器150可以运行部分预处理元素以在低功率下操作。
根据实施例，为了识别用户呼叫的目的，智能代理145可以运行存储在存储器140中的唤醒识别模块。由此，处理器150可以通过唤醒识别模块来识别用户的唤醒命令，并且可以在接收到唤醒命令时运行智能代理145以接收用户输入。唤醒识别模块可以以低功率处理器(例如，包括在音频编解码器中的处理器)来实现。根据实施例，当通过硬件键接收用户输入时，处理器150可以运行智能代理145。在运行智能代理145的情况下，可以运行与智能代理145一起操作的智能app(例如，语音识别app)。
根据实施例，智能代理145可以包括用于执行用户输入的语音识别模块。处理器150可以通过语音识别模块识别用于执行app中的动作的用户输入。例如，处理器150可以识别有限用户(语音)输入(例如，诸如用于在运行相机app时执行捕获操作的“点击”之类的话语)，用于通过语音识别模块执行诸如在第一app 141和第二app 143中的唤醒命令之类的动作。例如，处理器150可以帮助智能服务器200通过语音识别模块识别并快速处理能够在用户终端100中处理的用户命令。根据实施例，可以在app处理器中实现用于执行用户输入的智能代理145的语音识别模块。
根据实施例，智能代理145的语音识别模块(包括唤醒模块的语音识别模块)可以通过使用用于识别语音的算法来识别用户输入。例如，用于识别语音的算法可以是隐马尔可夫模型(HMM)算法、人工神经网络(ANN)算法或动态时间扭曲(DTW)算法中的至少一种。
根据实施例，处理器150可以运行智能代理145以将用户的语音输入转换为文本数据。例如，处理器150可以通过智能代理145将用户的语音发送到智能服务器200，并且可以从智能服务器200接收与用户的语音相对应的文本数据。这样，处理器150可以在显示器120中显示经转换的文本数据。
根据实施例，处理器150可以运行智能代理145以从智能服务器200接收路径规则(或序列)。根据实施例，处理器150可以通过智能代理145将路径规则发送到运行管理器模块147。
根据实施例，处理器150可以运行智能代理145以向智能服务模块149发送根据从智能服务器200接收的路径规则的运行结果日志，并且所发送的运行结果日志可以在角色模块149b的用户的偏好信息中被累积和管理。
根据实施例，处理器150可以运行运行管理器模块147，可以从智能代理145接收路径规则，并且可以运行第一app 141和第二app 143；处理器150可以允许第一app 141和第二app 143运行包括在路径规则中的多个动作141b和143b。例如，处理器150可以通过运行管理器模块147向第一app 141和第二app 143发送用于执行多个动作141b和143b的命令信息(例如，路径规则信息)；并且处理器150可以从第一app 141和第二app 143接收多个动作141b和143b的完成信息。
根据实施例，处理器150可以运行运行管理器模块147，以在智能代理145以及第一app 141和第二app 143之间发送用于运行第一app 141和第二app 143的多个动作141b和143b的命令信息(例如，路径规则信息)。处理器150可以通过运行管理器模块147根据路径规则绑定将要运行的第一app 141和第二app 143，并且可以向第一app 141和第二app 143发送包括在路径规则中的多个动作141b和143b的命令信息(例如，路径规则信息)。例如，处理器150可以通过运行管理器模块147，顺序地向第一app 141和第二app 143发送包括在路径规则中的多个动作141b和143b，并且可以根据路径规则序列，顺序地运行第一app 141和第二app 143的多个动作141b和143b。
根据实施例，处理器150可以运行运行管理器模块147以管理第一app 141和第二app 143的多个动作141b和143b的运行状态。例如，处理器150可以通过运行管理器模块147，从第一app 141和第二app 143接收关于多个动作141b和143b的运行状态的信息。例如，在多个动作141b和143b的运行状态处于部分暂停(landing)的情况下(例如，在未输入多个动作141b和143b所需的参数的情况下)，处理器150可以通过运行管理器模块147将关于部分暂停的信息发送到智能代理145。处理器150可以通过智能代理145，使用所接收的信息向用户做出输入必要信息(例如，参数信息)的请求。另一个例子，在多个动作141b和143b中的每一个的运行状态是操作状态的情况下，处理器150可以通过智能代理145从用户接收话语。处理器150可以通过运行管理器模块147，向智能代理145发送关于正在运行的第一app 141和第二app 143的信息以及第一app 141和第二app 143的运行状态。处理器150可以通过智能代理145向智能服务器200发送用户话语。处理器150可以通过智能代理145从智能服务器200接收用户话语的参数信息。处理器150可以通过智能代理145将所接收的参数信息发送到运行管理器模块147。运行管理器模块147可以通过使用所接收的参数信息来将多个动作141b和143b中的每一个的参数变为新参数。
根据实施例，处理器150可以运行运行管理器模块147以将包括在路径规则中的参数信息发送到第一app 141和第二app 143。在根据路径规则顺序运行多个app(例如，第一app 141和第二app 143)的情况下，运行管理器模块147可以将包括在路径规则中的参数信息从一个app发送到另一个app。
根据实施例，处理器可以运行运行管理器模块147以接收多个路径规则。处理器150可以通过运行管理器模块147，基于用户话语选择多个路径规则。例如，在用户话语指定运行多个动作141b中的一个动作的一个app(例如，第一app 141)但未指定运行多个动作143b中的另一个动作的其他app(例如，第二app程序143)的情况下，处理器150可以通过运行管理器模块147，接收多个不同的路径规则，其中运行多个动作141b中的一个动作的相同的app(例如，图库应用)被运行，并且其中运行多个动作143b中的另一个动作的不同应用(例如，消息app或电报app)被运行。例如，通过运行管理器模块147，处理器150可以运行多个动作141b和143b中的相同动作(例如，相同的连续动作)。在处理器150运行相同的动作情况下，通过运行管理器模块147，处理器150可以在显示器120中显示用于选择分别包括在多个路径规则中的第一app 141和第二app 143的状态屏幕。
根据实施例，智能服务模块149可以包括上下文模块149a、角色(persona)模块149b或建议模块149c。
处理器150可以运行上下文模块149a以从第一app 141和第二app 143收集第一app 141和第二app 143的当前状态。例如，处理器150可以运行上下文模块149a以接收指示第一app 141和第二app 143的当前状态的上下文信息，并且可以通过所接收的上下文信息来收集第一app 141和第二app 143的当前状态。
处理器150可以运行角色模块149b以利用用户终端100来管理用户的个人信息。例如，处理器150可以运行角色模块149b以收集使用信息和用户终端100的运行结果，并且可以通过使用所收集的使用信息和所收集的用户终端100的运行结果，来管理用户的个人信息。
处理器150可以运行建议模块149c以预测用户的意图，并且可以基于用户的意图向用户推荐命令。例如，处理器150可以运行建议模块149c以根据用户的当前状态(例如，时间、地点、情况或app)向用户推荐命令。
图1C是示出根据本公开的实施例的智能app的运行形式的视图。
参照图1C，用户终端100可以接收用户输入以启动与图1B的智能代理145一起操作的智能app(例如，语音识别app)。例如，用户终端100可以基于施加于硬件键112的用户输入(例如，按下、按住等)来启动用于识别语音的智能app。在生成施加到硬件键的用户输入之后，可以在能够接收用户话语(或语音输入)的状态下运行智能代理145。在用户终端100通过硬件键112接收用户输入的情况下，用户终端100可以在显示器120中显示智能app的UI121。例如，为了在在显示器120中显示智能app的UI 121的状态下输入语音的目的，用户可以触摸智能app的UI 121的语音识别按钮121a。另一个例子，在连续按下硬件键112以输入语音120b的同时，用户可以输入语音120b。
根据实施例，用户终端100可以通过麦克风111运行用于识别语音的智能app。例如，在通过麦克风111输入120a指定语音(例如，唤醒！)的情况下，用户终端100可以在显示器120中显示智能app的UI 121。
图1D是示出根据本公开的实施例的集成智能系统的智能服务器的框图。
参照图1D，智能服务器200可以包括自动语音识别(ASR)模块210、自然语言理解(NLU)模块220、路径规划器模块230、对话管理器(DM)模块240、自然语言生成器(NLG)模块250或文本到语音(TTS)模块260。根据实施例，智能服务器200可以包括通信电路、存储器和处理器。处理器可以运行存储在存储器中的指令以驱动ASR模块210、NLU模块220、路径规划器模块230、DM模块240、NLG模块250和TTS模块260。智能服务器200可以通过通信电路向或从外部电子设备(例如，用户终端100)发送或者接收数据(或信息)。在各种实施例中，智能服务器200的组件可以单独实现，或者至少一部分组件可以被实现为集成的。
智能服务器200的NLU模块220或路径规划器模块230可以生成路径规则。
根据实施例，ASR模块210可以将从用户终端100接收的用户输入改变为文本数据。
根据实施例，ASR模块210可以将从用户终端100接收的用户输入转换为文本数据。例如，ASR模块210可以包括语音识别模块。语音识别模块可以包括声学模型和语言模型。例如，声学模型可以包括与发声相关联的信息，并且语言模型可以包括单元音素信息和关于单元音素信息的组合的信息。语音识别模块可以通过使用与发声相关联的信息和单元音素信息将用户语音转换为文本数据。例如，可以将关于声学模型和语言模型的信息存储在自动语音识别数据库(ASR DB)211中。
根据实施例，NLU模块220可以通过执行句法分析或语义分析来掌握用户意图。句法分析可以将用户输入划分为句法单元(例如，单词、短语、语素等)并确定所划分的单元具有哪些句法元素。可以通过使用语义匹配、规则匹配、公式匹配等来执行语义分析。由此，NLU模块220可以获得用户输入表达意图所必需的域、意图或参数(或时隙)。
根据实施例，NLU模块220可以通过使用匹配规则来确定用户的意图和参数，该匹配规则被划分为域、意图和掌握意图所需的参数(或时隙)。例如，一个域(例如，警报)可以包括多个意图(例如，警报设置、警报取消等)，并且一个意图可以包括多个参数(例如，时间、迭代数量、警报声等)。例如，多个规则可以包括一个或多个必要参数。匹配规则可以存储在NLU数据库(NLU DB)221中。
根据实施例，NLU模块220可以通过使用诸如语素、短语等的语言特征(例如，语法元素)来掌握从用户输入所提取的单词的含义，并且可以将所掌握的单词的含义匹配到域和意图以确定用户意图。例如，NLU模块220可以计算在域和意图的每个中包括从用户输入中提取的多少个单词，以确定用户意图。根据实施例，NLU模块220可以通过使用单词来确定用于掌握意图所基于的用户输入的参数。根据实施例，NLU模块220可以通过使用存储用于掌握用户输入的意图的语言特征的NLU DB 221来确定用户意图。根据另一实施例，NLU模块220可通过使用个人语言模型(PLM)来确定用户意图。例如，NLU模块220可以通过使用个性化信息(例如，联系人列表或音乐列表)来确定用户意图。例如，可以将PLM存储在NLU DB221中。根据实施例，ASR模块210以及NLU模块220可以参照存储在NLU DB 221中的PLM来识别用户的语音。
根据实施例，NLU模块220可以基于用户输入的意图和参数来生成路径规则。例如，NLU模块220可以基于用户输入的意图来选择要运行的app，并且可以在所选择的app中确定要运行的动作。NLU模块220可以确定对应于所确定的动作的参数以生成路径规则。根据实施例，由NLU模块220生成的路径规则可以包括关于将要运行的app、将要在app中运行的动作(例如，至少一个或多个状态)以及运行该动作的必要参数的信息。
根据实施例，NLU模块220可以基于用户输入的意图和参数生成一个路径规则或多个路径规则。例如，NLU模块220可以从路径规划器模块230接收对应于用户终端100的路径规则集，并且可以将用户输入的意图和参数映射到所接收的路径规则集以确定路径规则。
根据另一实施例，为了生成一个路径规则或多个路径规则的目的，NLU模块220可以基于用户输入的意图和参数来确定将要执行的app、要在app中运行的动作以及运行动作所需的参数。例如，为了生成路径规则的目的，NLU模块220可以取决于用户输入的意图，通过使用用户终端100的信息来以本体或图形模型的形式安排要执行的app和要在app中运行的动作。例如，可以通过路径规划器模块230将所生成的路径规则存储在路径规则数据库(PR DB)231中。可以将所生成的路径规则添加到PR DB 231的路径规则集中。
根据实施例，NLU模块220可以选择所生成的多个路径规则中的至少一个路径规则。例如，NLU模块220可以选择多个路径规则中的最佳路径规则。又例如，在基于用户话语仅指定动作的一部分的情况下，NLU模块220可以选择多个路径规则。NLU模块220可以取决于用户的附加输入来确定多个路径规则中的一个路径规则。
根据实施例，NLU模块220可以响应于对用户输入的请求，向用户终端100发送路径规则。例如，NLU模块220可以向用户终端100发送与用户输入相对应的一个路径规则。对于另一示例，NLU模块220可以向用户终端100发送与用户输入相对应的多个路径规则。例如，在基于用户话语仅指定动作的一部分的情况下，可以由NLU模块220生成多个路径规则。
根据实施例，路径规划器模块230可以选择多个路径规则中的至少一个路径规则。
根据实施例，路径规划器模块230可以向NLU模块220发送包括多个路径规则的路径规则集。路径规则集的多个路径规则可以以表格形式存储在连接到路径规划器模块230的PR DB 231中。例如，路径规划器模块230可以将对应于从智能代理145接收的用户终端100的信息(例如，OS信息或app信息)的路径规则集发送到NLU模块220。例如，存储在PR DB231中的表格可以是针对每个域或域的每个版本而存储的。
根据实施例，路径规划器模块230可以从路径规则集中选择一个路径规则或多个路径规则，以将所选择的一个路径规则或所选择的多个路径规则发送到NLU模块220。例如，路径规划器模块230可以将用户意图和参数与对应于用户终端100的路径规则集相匹配，以选择一个路径规则或多个路径规则，并且可以向NLU模块220发送所选择的一个路径规则或所选择的多个路径规则。
根据实施例，路径规划器模块230可以通过使用用户意图和参数来生成一个路径规则或多个路径规则。例如，路径规划器模块230可以基于用户意图和参数来确定将要运行的app和将要在app中运行的动作，以便生成一个路径规则或多个路径规则。根据实施例，路径规划器模块230可以将所生成的路径规则存储在PR DB 231中。
根据实施例，路径规划器模块230可以将由NLU模块220生成的路径规则存储在PRDB 231中。可以将生成的路径规则添加到存储在PR DB 231中的路径规则集。
根据实施例，存储在PR DB 231中的表格可以包括多个路径规则或多个路径规则集。多个路径规则或多个路径规则集可以反映执行每个路径规则的设备的种类、版本、类型或特性。
根据实施例，DM模块240可以确定NLU模块220所掌握的用户意图是否是明确的。例如，DM模块240可以基于参数的信息是否足够来确定用户意图是否清楚。DM模块240可以确定NLU模块220所掌握的参数是否足以执行任务。根据实施例，在用户意图不清楚的情况下，DM模块240可以执行用于向用户请求必要信息的反馈。例如，DM模块240可以执行反馈以做出对于关于用于掌握用户意图的参数的信息的请求。
根据实施例，DM模块240可以包括内容提供者模块。在内容提供者模块基于由NLU模块220掌握的意图和参数来运行动作的情况下，内容提供者模块可以生成通过执行与用户输入相对应的任务而获得的结果。根据实施例，DM模块240可以向用户终端100发送由内容提供者模块生成的结果作为对用户输入的响应。
根据实施例，NLG模块250可以将指定信息改变为文本形式。改变为文本形式的信息可以是自然语言话语的形式。例如，指定信息可以是关于附加输入的信息、用于指导完成对应于用户输入的动作的信息或者用于指导用户的附加输入的信息(例如，关于用户输入的反馈信息)。改变为文本形式的信息可以在被发送到用户终端100之后显示在显示器120中，或者可以在被发送到TTS模块260之后改变为语音形式。
根据实施例，TTS模块260可以将文本形式的信息改变为语音形式的信息。TTS模块260可以从NLG模块250接收文本形式的信息，可以将文本形式的信息改变为语音形式的信息，并且可以将语音形式的信息发送到用户终端100。用户终端100可以将语音形式的信息输出到扬声器130。
根据实施例，NLU模块220、路径规划器模块230和DM模块240可以用一个模块实现。例如，NLU模块220、路径规划器模块230和DM模块240可以用一个模块实现，可以确定用户意图和参数，并且可以生成对应于所确定的用户意图和参数的响应(例如，路径规则)。这样，生成的响应可以被发送到用户终端100。
图1E是示出根据本公开的实施例的智能服务器的路径规则生成形式的视图。
参照图1E，根据实施例，NLU模块220可以将app的功能划分为任何一个动作(例如，状态A到状态F)，并且可以将所划分的单元动作存储在PR DB 231中。例如，NLU模块220可以在PR DB 231中存储包括被划分成一个动作(例如，状态)的多个路径规则(A-B1-C1、A-B1-C2、A-B1-C3-D-F和A-B1-C3-D-E-F)的路径规则集。
根据实施例，路径规划器模块230的PR DB 231可以存储用于执行app的功能的路径规则集。路径规则集可以包括多个路径规则，每个路径规则包括多个动作(例如，状态序列)。可以顺序地布置取决于输入到包括在多个路径规则中的每一个路径规则中的多个动作中的每一个的参数而运行的动作。根据实施例，以本体或图形模型的形式实现的多个路径规则可以被存储在PR DB 231中。
根据实施例，NLU模块220可以选择多个路径规则A-B1-C1、A-B1-C2、A-B1-C3-D-F以及A-B1-C3-D-E-F中对应于用户输入的意图和参数的最佳路径规则A-B1-C3-D-F。
根据实施例，在没有与用户输入完全匹配的路径规则的情况下，NLU模块220可以向用户终端100发送多个规则。例如，NLU模块220可以选择部分地对应于用户输入的路径规则(例如，A-B1)。NLU模块220可以选择包括部分地对应于用户输入的路径规则(例如，A-B1)的一个或多个路径规则(例如，A-B1-C1、A-B1-C2、A-B1-C3-D-F和A-B1-C3-D-E-F)，并且可以将一个或多个路径规则发送到用户终端100。
根据实施例，NLU模块220可以基于由用户终端100添加的输入来选择多个路径规则中的一个，并且可以将所选择的一个路径规则发送到用户终端100。例如，为了向用户终端100发送所选择的一个路径规则的目的，NLU模块220可以取决于用户终端100附加输入的用户输入(例如，用于选择C3的输入)，选择多个路径规则(例如，A-B1-C1、A-B1-C2、A-B1-C3-D-F和A-B1-C3-D-E-F)中的一个路径规则(例如，A-B1-C3-D-F)。
根据实施例，为了向户终端100发送所确定的用户意图或者所确定的参数的目的，NLU模块220可以确定对应于用户终端100附加输入的用户输入的用户的意图以及参数(例如，用于选择C3的输入)。用户终端100可以基于发送的意图或发送的参数，选择多个路径规则(例如，A-B1-C1、A-B1-C2、A-B1-C3-D-F和A-B1-C3-D-E-F)中的一个路径规则(例如，A-B1-C3-D-F)。
由此，用户终端100可以基于所选择的一个路径规则来完成第一app 141和第二app 143的动作。
根据实施例，在智能服务器200接收到其中信息不充分的用户输入的情况下，NLU模块220可以生成部分地对应于所接收的用户输入的路径规则。例如，NLU模块220可以将部分对应的路径规则发送到智能代理145。处理器150可以运行智能代理145以接收路径规则，并且可以将部分对应的路径规则发送到运行管理器模块147。处理器150可以通过运行管理器模块147，根据路径规则来运行第一app程序141。处理器150可以在运行第一app程序141时，通过运行管理器模块147向智能代理145发送关于不充分参数的信息。处理器150可以通过智能代理145，通过使用关于不充分参数的信息向用户做出对附加输入的请求。当用户接收到附加输入时，处理器150可以通过智能代理145向服务器200发送和处理用户输入。NLU模块220可以基于附加输入的用户的意图和参数信息，生成要添加的路径规则，并且可以将要添加的路径规则发送到智能代理145。处理器150可以通过智能代理145将路径规则发送到运行管理器模块147以运行第二app 143。
根据实施例，在智能服务器200接收到其中丢失了一部分信息的用户输入的情况下，NLU模块220可以向个人信息服务器300发送用户信息请求。个人信息服务器300可以将存储在角色数据库中的输入用户输入的用户的信息发送到NLU模块220。通过使用用户信息，NLU模块220可以选择对应于其中动作的一部分被部分丢失的用户输入的路径规则。这样，即使智能服务器200接收到丢失了一部分信息的用户输入，NLU模块220也可以做出对丢失的信息的请求以接收附加输入，或者可以通过使用用户信息来确定对应于用户输入的路径规则。
根据实施例，下面所附的表1可以指示与用户请求的任务相关联的路径规则的形式。
表1
参照表1，取决于用户语音(例如，“请共享图片”)、由智能服务器(图1A至图1E的智能服务器200)生成或选择的路径规则可包括至少一个状态S25、S26、S27、S28、S29或S30。例如，至少一个状态(例如，终端的一个操作状态)可以对应于图片应用运行PictureViewS25、图片搜索功能运行SearchView S26、搜索结果显示屏输出SearchViewResult S27、其中图片未被选择的搜索结果显示屏幕输出SearchEmptySelectedView S28、其中至少一个图片被选择的搜索结果显示屏幕输出SearchSelectedView S29、或共享应用选择屏幕输出CrossShare S30中的至少一个。
在实施例中，路径规则的参数信息可以对应于至少一个状态。例如，其中至少一个图片被选择的搜索结果显示屏幕输出SearchSelectedView S29可以被包括在至少一个状态中。
可以取决于包括状态S25、S26、S27、S28和S29的序列的路径规则的运行结果来执行用户请求的任务(例如，“请共享图片！”)。
根据各种实施例，图1A的集成智能系统10的至少一部分组件可以执行用于提供基于语音识别的服务的一系列过程。例如，图1B的用户终端100可以根据用户话语接收用户输入(例如，语音输入)以将用户输入发送到图1D的智能服务器200，并且智能服务器200可以基于用户输入生成(或选择)路径规则。用户终端100可以从智能服务器200接收路径规则以执行构成路径规则的至少一个操作，并且因此可以执行对应于用户话语的任务(例如，控制app的执行和功能)。
图2A是示出根据本公开的实施例的物联网(IoT)系统的视图。
图2B是示出根据本公开的实施例的IoT系统的NLU模块的视图。
在图2A和图2B中，相同的附图标记可以被分配给与参照图1A至图1E描述的组件相同的或对应的组件，并且可以省略重复的描述。
参照图2A，根据用户话语的用户输入(或语音输入)可以用作用于控制至少一个IoT设备的接口。在这方面，图1A的上述集成智能系统10的至少一些组件可以被集成到IoT环境中以构建IoT系统20。例如，集成智能系统10的用户终端100或智能服务器200可以通过与构成IoT环境的至少一个服务器(例如，IoT云500、IoT集线器600、帐户服务器800等)或设备(例如，IoT设备等)相结合建立智能基础设施(或智能网络)，来构建IoT系统20。
在实施例中，除了上述通过图1B的组件之外，IoT系统20内的用户终端100还可以包括与至少一个IoT设备700的控制相关联的组件。例如，除了第一智能代理151(例如，图1B的智能代理145)之外，用户终端100还可以包括IoT代理157或第一帐户代理159中的至少一个。根据实施例，第一智能代理151、IoT代理157或第一帐户代理159可以由用户终端的100的图1B的处理器150运行。另外，用户终端100可以包括专用app(例如，SAMSUNG连接app等)(或者可以将专用app存储在图1B的存储器140中)以控制用户终端100。用户终端100可以通过使用基于从用户输入的用户帐户信息(例如，SAMSUNG帐户信息、GOOGLE帐户信息等)运行的专用app来控制至少一个IoT设备700。
根据实施例，IoT代理157可以通过使用用户终端100的通信电路将控制信号发送到至少一个IoT设备700。或者，IoT代理157可以发送与至少一个IoT设备700的控制相关联的信号到IoT云500，并且可以基于基于该信号操作的IoT云500来控制至少一个IoT设备700。根据实施例的第一帐户代理159可以管理存储在用户终端100中的用户帐户信息(例如，SAMSUNG帐户信息、GOOGLE帐户信息等)。或者，第一帐户代理159可以与集中管理用户帐户信息的帐户服务器800通信，以基于用户帐户信息执行一系列认证处理，并且稍后将描述认证处理。
根据实施例，类似于用户终端100，智能服务器200还可以包括用于控制至少一个IoT设备700的设备管理模块270。设备管理模块270可以生成至少一个IoT设备700的路径规则，以建立路径规则集DB 224和/或PR DB 231，并且可以管理存储在路径规则集DB 224和/或PR DB 231中的至少一个路径规则。在这方面，设备管理模块270可以生成与已经在IoT云500中注册或将要注册的至少一个IoT设备700的功能操作控制相关联的路径规则集，以将路径规则集存储在路径规则集DB 224中。在该操作中，设备管理模块270可以从IoT云500获得至少一个IoT设备700的标识信息(例如，型号信息、版本信息、操作国家信息、操作系统信息等)，并且可以使用所获得的标识信息来生成路径规则集。或者，设备管理模块270可以生成与用户终端100的功能操作控制(例如，app的执行和控制)相关联的路径规则集，以将路径规则集存储在路径规则集DB 224中。
在实施例中，设备管理模块270可以确定存储在路径规则集DB 224中的至少一个或多个路径规则之间的链接(link)的可能性。在下文中，至少一个路径规则被称为“第一路径规则”。或者，设备管理模块270可以确定第一路径规则与存储在PR DB 231中的至少一个路径规则(下文中称为“第二路径规则”)之间的链接的可能性。在确定链接是可能的情况下，设备管理模块270可以通过组合第一路径规则或组合第一路径规则和第二路径规则来更新用于生成第三路径规则的路径规则。在各种实施例中，设备管理模块270可以将更新的第三路径规则存储在PR DB 231中，并且可以向NLU模块220提供与存储在路径规则集DB224和/或PR DB 231中的至少一个路径规则相关联的至少一个IoT设备700的标识信息。
根据实施例，IoT云500可以共同管理所注册的至少一个IoT设备700。在这方面，IoT云500可以以实时、批量、流等形式从所注册的至少一个IoT设备700或者从与其相邻的至少一个IoT设备700接收各种类型的操作信息，并可以在数据库中构建所接收的信息。此外，IoT云500可以从用户终端100的IoT代理157接收与特定的至少一个IoT设备700相关联的控制信号，并且可以基于控制信号，控制相关的至少一个IoT设备700的驱动或功能操作。
在实施例中，IoT集线器600可以管理在IoT云500中注册的至少一个IoT设备700中能够与IoT云500通信的至少一个IoT设备700。在实施例中，IoT集线器600可以从IoT系统20的组件中排除；在这种情况下，IoT集线器600的上述功能操作可以由IoT云500执行。
根据实施例的至少一个IoT设备700可以包括电子装置(例如，空调、冰箱、洗衣机、TV、烤箱等)、安全设备(例如，门锁、CCTV等)、驾驶设备(例如，车辆，无人驾驶飞机等)或基于IoT技术服务的各种类型的传感器。在实施例中，至少一个IoT设备700可以通过稍后将描述的一系列注册过程在IoT云500中注册；并且可以向IoT云500发送诸如标识信息、属性信息、位置信息、运动信息、状态信息等的操作信息。
在实施例中，IoT云500、IoT集线器600或至少一个IoT设备700可以包括智能代理(例如，第二智能代理510、第三智能代理610或第四智能代理710)中的至少一个，其执行与用户终端100的第一智能代理151以及与用户终端100的第一帐户代理159相对应的帐户代理(例如，第二帐户代理520、第三帐户代理620或第四帐户代理720)的功能相同或类似的功能。或者，IoT集线器600还可包括用于存储和管理将要发送到至少一个IoT设备700的应用编程接口(API)(例如，包括与运行特定功能相关联的语言或功能的API)的事件代理630。在各种实施例中，IoT云500、IoT集线器600、至少一个IoT设备700或账户服务器800可以包括独立的操作系统，并且可以包括总体控制功能操作的处理器、电连接或可操作地连接到处理器的存储器、或支持通信的通信接口(或通信电路或通信模块)。
参照图2A和图2B，NLU模块220可以包括第一分类引擎222，其取决于指定的标准，对从ASR模块210接收的文本数据形式的用户输入进行分类。在实施例中，第一分类引擎222可以确定用户输入是否与至少一个IoT设备700相关联，并且可以根据确定结果将用户输入发送到相关的NLU模型。例如，在从ASR模块210接收的文本数据中不包括与至少一个IoT设备700相关联的单词、短语、语素、上下文等的情况下，第一分类引擎222可以确定用户输入与用户终端100的功能操作控制(例如，app的执行和控制)相关联，并且可以将用户输入发送到分配给用户终端100的NLU模型。这样，在文本数据中包括与至少一个IoT设备700相关联的单词、短语、语素、上下文等的情况下，第一分类引擎222可以确定用户输入与至少一个IoT设备700的控制相关联。此时，第一分类引擎222可以基于单词、短语、语素、语境等识别相关联的至少一个IoT设备700(例如，TV、空调等)的类型，并且可以可以将用户输入发送到对应于所识别的至少一个IoT设备700的类型的NLU模型。
在实施例中，由第一分类引擎222发送到对应的NLU模型的用户输入可以由在对应的NLU模型中包括的第二分类引擎223使用，以根据特定域生成或选择路径规则。例如，分配给用户终端100的NLU模型中的第二分类引擎223可以识别关于所发送的用户输入的域，并且可以通过将用户输入应用于与对应于所识别的域的app(例如，消息app，图库app等)相关联的路径规则集，来生成或选择路径规则。类似地，分配给特定类型的至少一个IoT设备700的NLU模型中的第二分类引擎可以通过识别关于所发送的用户输入的域，将用户输入应用于与所识别的域相关联的至少一个IoT设备700的路径规则集。在各种实施例中，关于NLU模型的生成，NLU模块220可以参照存储在路径规则集DB 224或PR DB231中的至少一个IoT设备700的路径规则或用户终端100的路径规则。或者，NLU模块220可以参照从设备管理模块270提供的关于至少一个IoT设备700的标识信息(例如，型号信息、版本信息、操作国家信息、操作系统信息等)来生成NLU模型。
在实施例中，如上所述，用户终端100的IoT代理157可以控制至少一个IoT设备700。在这方面，关于至少一个IoT设备700的功能操作控制所生成(或选择)的路径规则，可以在与结合IoT代理157操作的特定app(例如，SAMSUNG连接app，等等)相关联的路径规则(例如，与特定app的运行相关联的路径规则，或者与根据特定app的运行的接口的输出相关联的路径规则)中合并。IoT代理157可以基于合并的路径规则，通过运行特定app来控制至少一个IoT设备700的功能操作。或者，在IoT代理157通过IoT云500控制至少一个IoT设备700的情况下，从分配给至少一个IoT设备700中的每一个的NLU模型生成(或选择)的路径规则可以包括伴随着与至少一个IoT设备700的控制相关联的信号的至少一个或多个操作。IoT代理157将信号发送到IoT云500。
根据实施例，IoT系统20可以根据用户话语处理用户输入，并且可以基于组件(例如，用户终端100、智能服务器200、IoT云500、IoT集线器600或帐户服务器800)的功能运行，来支持对至少一个IoT设备700的驱动或功能操作的控制。此时，IoT系统20的组件可以执行一系列注册过程，用于在用户终端100或IoT云500中注册新的(或未注册的)至少一个IoT设备700。或者，IoT系统20的至少一部分组件可以执行路径规则更新，用于将与新注册的至少一个IoT设备700相关联的路径规则与另一路径规则(例如，与另一个至少一个IoT设备700相关联的路径规则或与包括在用户终端100中的app的控制相关联的路径规则)相组合。在下文中，将参照附图描述基于路径规则的运行的至少一个IoT设备700的控制的各种实施例，以及与控制相关联的用户终端100的各种操作示例。
图3是示出根据本公开的实施例的在IoT系统的至少一部分组件之间执行的认证过程的图。
在实施例中，图2A的IoT系统20的至少一些组件之间的通信可以基于是否存在授予的接入许可，并且可以基于是否保留了指定信息或者是否存在指定信息来确定接入许可。
参照图3，在操作1中，响应于用户话语或用户输入(例如，触摸输入)，可以将用户帐户信息(例如，SAMSUNG帐户和密码信息、或GOOGLE帐户和密码信息等)输入到由用户终端100输出的指定的图形用户界面(GUI)(例如，用于接入IoT系统20的专用app(例如，SAMSUNG连接app等)的运行屏幕)。因此，用户终端100的第一账户代理159可以获得输入到GUI中的账户信息。
在操作3中，第一账户代理159可以将获得的用户账户信息发送到账户服务器800，并且可以请求对用户账户信息进行认证并可以基于认证请求指定的许可代码。在实施例中，帐户服务器800可以确定(或认证)从第一帐户代理159接收的用户帐户信息的有效性。例如，帐户服务器800可以参照用户帐户信息的发布历史、真或假、到期日期等来确定有效性。当确定用户帐户信息有效(或被认证)时，在操作5中，帐户服务器800可以发布指定的许可代码、许可代码的信息(例如，许可类型、许可范围等)以及指定的接入令牌到第一帐户代理159。
在操作7中，第一帐户代理159可以将许可代码、许可代码信息和接入令牌的一部分从帐户服务器800发送到IoT代理157。例如，第一帐户代理159可以将许可代码和许可代码信息发送到IoT代理157。
在操作9和操作11中，IoT代理157可以基于所接收的许可代码向第一帐户代理159请求接入令牌，然后可以接收接入令牌。在这方面，第一帐户代理159可以确定已经发送到IoT代理157的许可代码是否与请求接入令牌时IoT代理157保持的(或IoT代理157呈现的)许可代码一致。在许可代码彼此一致的情况下，第一帐户代理159可以确定IoT代理157的接入令牌请求是有效的，并且可以将从帐户服务器800接收的接入令牌发布到IoT代理157。
在操作13中，IoT代理157可以基于有线通信或无线通信，将接入令牌从第一帐户代理159发送到特定的至少一个IoT设备700。在实施例中，应当理解，特定的至少一个IoT设备700是未在IoT云500(或用户终端100)中注册的设备；在这方面，在操作15中，特定的至少一个IoT设备700可以基于从IoT代理157接收的接入令牌向IoT云500(或用户终端100)请求注册。在特定的至少一个IoT设备700注册到IoT云500(或用户终端100)中的情况下，可以建立IoT云500(或用户终端100)与特定的至少一个IoT设备700之间的通信。
如上所述，取决于是否保留接入令牌或者是否存在接入令牌，可以授予或拒绝IoT系统20的至少一部分组件与另一组件之间的通信，并且因此可以建立IoT系统20中的安全策略。
图4A和图4B是示出根据本公开的实施例的IoT设备的各种注册过程的图。
在实施例中，用户终端100可以向智能服务器200发送根据用户话语的用户输入(例如，语音输入)，并且可以基于来自智能服务器200的路径规则的运行来处理特定的至少一个IoT设备700的注册。
参照图4A，在操作17和操作19中，用户终端100可以通过用户对特定硬件键(图1C的硬件键112)的操纵或根据特定唤醒命令话语而运行的智能app，接收包括特定命令或意图的根据用户话语(例如，请用SAMSUNG账户注册TV)的用户输入，并且可以将用户输入发送到智能服务器200。
在操作21中，智能服务器200可以基于从用户终端100接收的用户输入来生成对应于用户话语的路径规则。例如，图2A的智能服务器200的ASR模块210可以将语音数据格式的用户输入改变为文本数据，并且图2A的NLU模块220可以通过基于文本数据导出用户话语的意图，来生成对应于用户话语的意图的路径规则。在实施例中，在用户话语的意图被导出为与特定的至少一个IoT设备700(例如，TV)的注册相关联的情况下，NLU模块220可以基于安装在用户终端100中的特定app(例如，SAMSUNG连接app等)的运行，生成用于注册特定的至少一个IoT设备700的路径规则，并且在操作23中，可以将生成的路径规则发送到用户终端100。
在与操作17、19、21和23相关联的各种实施例中，用户话语(例如，请打开TV)可能不包括与注册特定的IoT设备(例如，TV)相关联的单词、短语、语素、上下文等。在这种情况下，NLU模块220可以参照在推导用户话语的意图的操作中识别的域信息，来生成与IoT设备(例如，TV)的注册相关联的路径规则。例如，当识别的域与至少一个IoT设备700相关联(例如，IoT设备的名称)时，NLU模块220可以确定至少一个IoT设备700是否在用户终端100或者IoT云500中注册。在确定与域相关联的至少一个IoT设备700是未注册设备的情况下，NLU模块220可以基于特定app(例如，SAMSUNG连接app等)的运行，在生成对应于用户话语的路径规则(例如，请打开TV)之前，生成用于注册至少一个IoT设备700的路径规则，以将路径规则发送到用户终端100。
在操作25中，图2A的用户终端100的第一智能代理151可以从智能服务器200接收路径规则，以将路径规则发送到运行管理器模块(例如，图1B的运行管理器模块147)。运行管理器模块147可以识别与路径规则相关联的app(例如，SAMSUNG连接app等)，并且可以发送构成路径规则的至少一个操作的第一操作(例如，SAMSUNG连接app的运行操作)到已识别的app中的运行服务模块。根据各种实施例，应当理解，构成路径规则的至少一个操作是用于根据路径规则执行任务(例如，IoT设备(TV)的注册)的用户终端100的至少一个状态。
在实施例中，在执行所接收的第一操作之后，运行服务模块可以将运行完成信息发送到运行管理器模块147，并且可以从运行管理器模块147接收在路径规则上次序上在第一操作之后布置的第二操作(例如，搜索附近的IoT设备的操作)。
关于运行服务模块的第二操作的运行，在操作27和操作29中，用户终端100可以向相对于用户终端100存在于特定区域范围(或距离范围)内以接收响应的至少一个IoT设备700请求诸如相应设备的标识信息、属性信息、位置信息、运动信息、状态信息等的操作信息。或者，存在于距用户终端100的特定区域范围内的至少一个IoT设备700可以实时地或者取决于特定时段，将操作信息发送到用户终端100，而不管用户终端的请求如何。
在操作31中，基于取决于运行路径规则而运行的app(例如，SAMSUNG连接app)的屏幕界面，用户终端100可以以列表的形式输出提供操作信息的至少一个IoT设备700，并且在操作33中，可以接收用户输入(例如，语音输入或触摸输入)以选择列表上的特定的至少一个IoT设备700。在该操作中，由用户输入选择的特定的至少一个IoT设备700可以被映射到app(例如，SAMSUNG连接)伴随(accompanied)的帐户信息(例如，SAMSUNG帐户、GOOGLE帐户等)。
根据实施例，在操作33完成之后，IoT系统(图2A的IoT系统20)的一部分组件可以基于参照图3描述的帐户服务器800来执行认证过程。然后，如操作35所示，用户选择的至少一个IoT设备700可以注册到(或连接到)IoT云500(或用户终端100)。
在操作37中，IoT云500可以从用户终端100或相应的至少一个IoT设备700获得所注册的至少一个IoT设备700的标识信息(例如，型号信息、版本信息、操作国家信息、操作系统信息等)，并且可以将标识信息和关于注册完成的信息发送到智能服务器200。在各种实施例中，可以在没有IoT云500介入的情况下，由用户终端100向智能服务器200提供所注册的至少一个IoT设备700的标识信息。根据实施例，由用户终端100向智能服务器200提供所注册的至少一个IoT设备700的标识信息可以意味着提供映射到至少一个IoT设备700的账户信息(例如，SAMSUNG帐户、GOOGLE帐户等)以及标识信息。
在操作39中，基于所接收的信息(例如，所注册的至少一个IoT设备700的标识信息和关于注册完成的信息)，图2A的智能服务器200的设备管理模块270可以识别在图2A的路径规则集DB 224和/或图2A的PR DB 231中与已注册的至少一个IoT设备700相关联的至少一个路径规则。在实施例中，设备管理模块270可以确定所识别的至少一个路径规则是否能够与路径规则集DB 224和/或PR DB 231上的与另一个至少一个IoT设备700或用户终端100相关联的路径规则组合，并且取决于确定结果，更新用于组合路径规则的路径规则。或者，在各种实施例中，设备管理模块270可以更新路径规则，用于掩蔽或标记包括在路径规则集DB 224和/或PR DB 231中的、在与至少一个IoT设备700相关联的至少一个路径规则中能够由用户终端100操作的路径规则(例如，与在IoT云500或用户终端100中注册的至少一个IoT设备700相关联的路径规则)。
在操作41中，IoT云500可以向用户终端100发送用作至少一个IoT设备700的注册完成的通知的反馈(例如，消息)，并且在操作43中，用户终端100可以基于app(例如，SAMSUNG连接app)的屏幕界面输出反馈。
在下文中，被称为与IoT设备的注册过程相关联的另一示例的图4B的实施例可以包括至少部分地与图4A的操作相同或类似的操作。例如，图4B的操作45、47、49、51、53、55、57、59和61中的每一个可以与图4A的操作17、19、21、23、25、27、29、31和33相同或相似，并且，在下文中，可以省略重复的描述。
参照图4B，在操作63中，IoT云500可以注册用户选择的至少一个IoT设备700并且可以向用户终端100或注册的至少一个IoT设备700请求标识信息(例如，型号信息、版本信息、操作国家信息、操作系统信息等)以获得标识信息。
在操作65中，IoT云500可以向用户终端100发送用作至少一个IoT设备700的注册完成的通知的反馈(例如，消息)。
在操作67和操作69中，用户终端100可以通过与路径规则的运行相关联的app(例如，SAMSUNG连接app)的屏幕界面输出反馈，并且可以向智能服务器200发送关于反馈的信息(或者至少一个IoT设备700的注册完成信息)。
在操作71和操作73中，智能服务器200的设备管理模块270可以基于反馈信息向IoT云500请求在IoT云500中注册的至少一个IoT设备700的标识信息，并且IoT云500可以向设备管理模块270提供在操作63中获得的标识信息。
在操作75中，设备管理模块270可以基于标识信息，识别在图2A的路径规则集DB224和/或图1D的PR DB 231中与已注册的至少一个IoT设备700相关联的路径规则，并且可以更新路径规则，用于将所识别的路径规则与另一路径规则(例如，与另一个至少一个IoT设备700或用户终端100相关联的路径规则)进行组合。或者，设备管理模块270可以更新路径规则，用于掩蔽或标记包括在路径规则集DB 224和/或PR DB 231中与至少一个IoT设备700相关联的路径规则中能够由用户终端100操作的路径规则。
下面的表2可以示出根据实施例的路径规则类型的形式。在实施例中，应理解路径规则的类型是所生成的路径规则的结构或逻辑形式。
表2
如上所述，根据实施例的图2A的设备管理模块270可以生成与图2A的在图2A的IoT云500中注册或将要注册的至少一个IoT设备700相关联的路径规则集，以及与图2A的用户终端100(或者是装载(mounted)在或安装(installed)在用户终端100中的app)相关联的路径规则集，以构建图2的路径规则集DB 224。例如，在生成路径规则集时，设备管理模块270可以以将路径规则与另一路径规则组合或连接的形式生成路径规则，以将路径规则存储在路径规则集DB 224中。或者，设备管理模块270可以排除组合或链接，并且可以生成可以单独使用的路径规则，以将路径规则存储在路径规则集DB 224中。
参照表2，包括在路径规则集DB 224中的至少一个路径规则可以用第一类型R225(例如，普通类型)、第二类型R226(例如，调用者类型)、第三类型R227(例如，被调用者类型)或第四类型R228(例如，调用者和被调用者类型)来实现。在实施例中，路径规则的第一类型R225可能不能与存储在路径规则集DB 224中的另一路径规则组合或连接；路径规则的第二类型R226和路径规则的第三类型R227可以分别与路径规则之前和之后的至少另一个路径规则组合或连接。路径规则的第四类型R228可以与路径规则之前和之后的至少另一路径规则组合或连接。
在实施例中，当在用户终端100或IoT云500中注册新的IoT设备时，设备管理模块270可以参照路径规则集DB 224识别与新注册的IoT设备相关联的至少一个路径规则。在用第二类型R226、第三类型R227或第四类型R228实现所识别的路径规则的情况下，设备管理模块270可以确定是否可能组合或连接到与另一个IoT设备或用户终端100相关联的路径规则。例如，在与另一个IoT设备或用户终端100相关联的路径规则的第二类型R226、第三类型R227或第四类型R228存在于路径规则集DB 224中的情况下，设备管理模块270可以确定可以与新注册的IoT设备的路径规则组合或连接。
下面的表3可以示出根据实施例的路径规则集DB的表单。
表3
参照表3，图2A的设备管理模块270可以生成至少一个路径规则，其与图2A的注册到或将要注册到的图2A的IoT云500的至少一个IoT设备700(例如，TV和/或冰箱)相关联，或者与图2A的用户终端100(例如，用户终端100的SMS app和/或图库app的操作)相关联，以建立路径规则集DB 224。在这方面，设备管理模块270可以生成至少一个路径规则，其将以能够与另一路径规则组合的类型存储在路径规则集DB 224中，或者可以生成可以单独使用的至少一个路径规则。例如，设备管理模块270可以以表2的第一类型R225生成可以单独使用的、与用户终端100的功能操作控制相关联的用户话语(例如，发送短消息服务(SMS)消息)的路径规则(例如，启动消息app的操作S1、搜索消息接收者的操作S2、或者输入接收者的消息接口的操作S3)，以将路径规则存储在路径规则集DB 224中。或者，考虑到用户话语的改变(例如，在与至少一个IoT设备700或用户终端100的另一个应用程序相关联的单词、短语、语素、上下文等被添加到用户话语的情况下)，设备管理模块270可以以表2的第二类型R226、表2的第三类型R227或表2的第四类型R228生成能够被组合的用户话语的路径规则，将路径规则存储在路径规则集DB 224中。
下面的表4可以示出根据实施例的包括更新的路径规则的PR DB的表单。
表4
在实施例中，在新的IoT设备(例如，冰箱)在IoT云500或用户终端100中注册的情况下，设备管理模块270可以识别在路径规则集DB 224中与新注册的IoT设备(例如，冰箱)相关联的第二类型R226、第三类型R227或者第四类型R228的路径规则。在存在与新注册的IoT设备(例如，冰箱)相关联的第二类型R226、第三类型R227或第四类型R228的路径规则的情况下，设备管理模块270可以确定能够与新注册的IoT设备(例如，冰箱)的路径规则相组合的路径规则(例如，与另一IoT设备或用户终端100相关联的第二类型R226、第三类型R227或第四类型R228的路径规则)是否包括在路径规则集DB 224中。
例如，应当理解，根据表4的路径规则集DB 224仅包括与用户终端100相关联的特定路径规则(例如，与图库app的操作相关联的路径规则)，作为能够与新注册的IoT设备(例如，冰箱)的路径规则相组合的路径规则。这样，设备管理模块270可以基于每个路径规则类型将新注册的IoT设备(例如，冰箱)的路径规则与与用户终端100相关联的特定路径规则相组合，并且可以将基于组合而更新的路径规则229a添加到路径规则集DB 224。
下面的表5可以示出根据实施例的包括更新的路径规则的PR DB的表单。
表5
在实施例中，在更新了参照表4描述的路径规则之后，可以在IoT云500或用户终端100中注册另一个新的IoT设备(例如，TV)。在这种情况下，以与上述相同或者类似的方式，设备管理模块270可以识别在路径规则集DB 224中新注册的IoT设备(例如，TV)的路径规则和类型，并且可以确定能够与所识别的路径规则的相组合的路径规则是否包括在路径规则集DB 224中。
例如，应当理解，根据表5的路径规则集DB 224包括与用户终端100相关联的特定路径规则(例如，与图库app的操作相关联的路径规则)和与另一个IoT设备(例如，冰箱)相关联的特定规则路径，作为能够与与新注册的IoT设备(例如，TV)相关联的路径规则组合的路径规则。在这种情况下，设备管理模块270可以生成路径规则，该路径规则基于可组合路径规则中的每一个的路径规则类型而更新。例如，设备管理模块270可以生成路径规则229b和/或路径规则229c，以将生成的路径规则229b和生成的路径规则229c添加到路径规则集DB 224，路径规则229b通过将新注册的IoT设备(例如，TV)的路径规则与用户终端100的特定路径规则(例如，与图库app的操作相关联的路径规则)相组合来更新，路径规则229c通过将新注册的IoT设备(例如，TV)的路径规则与另一IoT设备(例如，冰箱)的路径规则组合来更新。
在各种实施例中，如上所述，设备管理模块270可以将更新的路径规则存储在图2A的PR DB 231以及路径规则集DB 224中，并且可以将与更新的路径规则相关联的IoT设备的标识信息发送到图1D的NLU模块220。
图5是示出根据本公开的实施例的处理与IoT设备相关联的用户输入的过程的视图。
在实施例中，在处理与特定IoT设备(例如，TV)的功能操作控制相关联的用户话语的操作中，用户终端100可以输出特定类型的反馈。例如，在图2A的上述路径规则集DB 224或图2A的上述PR DB 231中不包括与特定IoT设备(例如，TV)相关联的路径规则的情况下，用户终端100可以输出包括特定文本(例如，由于相应的设备尚未注册，因此难以处理该请求。是否要注册设备？)的反馈(例如，消息)。
参照图5，在操作77和操作79中，用户终端100可以根据包括特定命令或特定意图的用户话语(例如，通过TV向我显示昨天捕获的照片)接收用户输入，并且可以将用户输入发送到智能服务器200。
在操作81中，智能服务器200可以关于提供对应于用户输入的路径规则来分析用户输入。例如，图2A的智能服务器200的ASR模块210可以将用户输入转换为文本数据，并且图2A的NLU模块220可以基于文本数据分析用户话语的意图。在实施例中，当用户话语的意图被推导为与特定的至少一个IoT设备700(例如，TV)的功能操作控制相关联时，NLU模块220可以确定与特定的至少一个IoT设备700(例如，TV)相关联的路径规则是否存在于图2A的路径规则集DB 224和/或PR DB 231中。
在不存在与特定至少一个IoT设备700(例如，TV)相关联的路径规则的情况下，在操作83中，NLU模块220可以向用户终端发送信息(例如，用户输入的分析结果信息或者关于特定的至少一个IoT设备700(例如，TV)的路径规则是否存在于路径规则集DB 224和/或PRDB 231中的确定信息)。在各种实施例中，应当理解，路径规则集DB 224和/或PR DB 231中特定的至少一个IoT设备700(例如，TV)的路径规则的缺失，处于特定于至少一个IoT设备700(例如，TV)未在IoT云500或用户终端100中注册的状态，或者处于关于未注册的特定至少一个IoT设备700(例如，TV)的后续注册未预先生成路径规则的状态。
在操作85中，用户终端100可以基于从NLU模块220接收的信息生成特定类型的反馈122，并且可以将反馈122输出到图1B中的显示器120的屏幕区域。在各种实施例中，用户终端100可以和反馈122的输出一起输出特定声音(例如，警报)或特定模式的振动。
在实施例中，反馈122可以包括用于支持特定的至少一个IoT设备700(例如，TV)的注册的对象(或按钮或抽头)(例如，设备注册)。在将用户输入(例如，触摸输入)应用于对象的情况下，图2A的IoT系统20的至少一部分组件可以执行参照图4A和图4B描述的至少一个IoT设备700的注册过程。
当执行注册过程时，在特定的至少一个IoT设备700(例如，TV)在IoT云500或用户终端100中注册之后，下面将描述的至少一个操作(例如，操作87、89、91、93、95、97和99)可以与用户话语(例如，通过TV向我显示昨天捕获的照片)的处理相关联，并且可以像操作77和操作79相同地或相似地执行操作87和操作89。
在操作91和操作93中，智能服务器200的NLU模块220可以基于推导出的用户话语意图，根据路径规则集DB 224和/或PR DB 231中的用户话语意图识别与特定的至少一个IoT设备700(例如，TV)相关联的至少一个路径规则。NLU模块220可以在所识别的至少一个路径规则中选择与用户话语意图相对应的路径规则，并且可以将所选择的路径规则发送到用户终端100。
在操作95和操作97中，用户终端100的图2A的第一智能代理151可以将所接收的路径规则发送到图1B的运行管理器模块147以运行路径规则，并且图2A的IoT代理157可以根据路径规则的运行，发送命令(或信号)，用于将特定数据(例如，与昨天捕获的照片相关联的图像数据)输出到对应于用户的话语意图的特定至少一个IoT设备700(例如，TV)。在该操作中，IoT代理157可以将命令(或信号)发送到特定的至少一个IoT设备700(例如，TV)，或者可以经由IoT发送到特定的至少一个IoT设备700(例如，TV)。这样，在操作99中，特定的至少一个IoT设备700(例如，TV)可以处理命令(或信号)以执行对应于用户话语的功能操作(例如，输出与昨天捕获的照片相关联的图像数据)。。
下面的表6可以示出根据实施例的PR DB的表单。
表6
在实施例中，图2A的智能服务器200的PR DB 231可以包括与图2A的至少一个IoT设备700或图2A的用户终端100的的功能操作相关联的至少一个路径规则。例如，在至少一个特定IoT设备700被注册在图2A的IoT云500或用户终端100中的情况，图2A的智能服务器200的图2A的设备管理模块270可以将特定的至少一个IoT设备700的存储在图2的路径规则集DB 224中的路径规则与至少另一个路径规则(例如，与另一个至少一个IoT设备700或用户终端100相关联的路径规则)相组合，并且可以在PR DB 231中存储该根据组合而更新的路径规则。或者，不管根据路径规则之间的组合的更新如何，设备管理模块270可以生成与将被注册到或者能够稍后注册到IoT云500的至少一个IoT设备700或用户终端100相关联的至少一个路径规则，将该至少一个路径规则存储在PR DB 231中。
在这方面，参照表6，PR DB 231中的至少一个路径规则(或路径规则ID)可以被映射到相关的app和/或相关的IoT设备(例如，通过运行路径规则控制的app和/或IoT设备)并且可以被存储。如上所述，无论是否在用户终端100中安装或注册，映射到每个至少一个路径规则的app和/或至少一个IoT设备700可以具有各种标识信息(或简档信息)(例如，类型、型号、版本、操作系统或设备)。在通过表6描述的实施例中，可以理解特定版本的消息app(例如，SMS Ver 1.0)、特定版本的图库应用(例如，图库Ver 2.0)或特定模型的IoT设备(例如，冰箱模型1)在用户终端100中安装或注册。
在实施例中，设备管理模块270可以基于从IoT云500提供的关于在用户终端100或IoT云500中注册的至少一个IoT设备700的标识信息来识别PR DB 231中的与已注册的至少一个IoT设备700(例如，冰箱模型1)相关联的路径规则。或者，设备管理模块270可以从用户终端100接收关于装载或安装在用户终端100中的app(例如，SMS Ver 1.0和/或图库Ver2.0)的标识信息，然后可以从存储在PR DB 231中的与app相关联的路径规则中识别与能够由用户终端100运行的app相关联的路径规则。或者，设备管理模块270可以基于标识信息识别路径规则，在该路径规则中，能够由用户终端100运行的app(例如，SMS Ver 1.0和/或图库Ver 2.0)链接到注册的至少一个IoT设备700(例如，冰箱模型1)。
下面的表7可以示出根据实施例的基于表6的PR DB构建的表的表单。
表7
在实施例中，设备管理模块270可以基于表6的PR DB 231建立单独的表233。在这方面，例如，设备管理模块270可以以列表的形式在表233中包括存储在表6的PR DB 231中的至少一个路径规则。根据实施例，设备管理模块270可以将特定的标志(或标记)分配给在表233中包括的至少一个路径规则中的所识别的至少一个路径规则(例如，与能够由注册的IoT设备(例如，冰箱模型1)和/或用户终端执行的app(例如，SMS Ver 1.0和/或图库Ver2.0)相关联的路径规则)。例如，设备管理模块270可以将标志分配给与当前安装在用户终端100中的第一图库app(例如，图库Ver 2.0)相关联的路径规则；在这种情况下，在与第一图库app相关联的路径规则中，可以不将标志分配给与未在用户终端100或IoT云500中注册的至少一个IoT设备700(例如，TV)相关联的路径规则。这样，设备管理模块270可以仅将标志分配给与能够由在用户终端100或IoT云500和/或用户终端100中注册的至少一个IoT设备700(例如，冰箱模型1)运行的app(例如，SMS Ver 1.0和/或图库Ver 2.0)相关联的路径规则。在实施例中，关于根据用户话语的用户输入的处理，智能服务器200的图2A的NLU模块220可以参照表233上的标记，选择能够由用户终端100运行的路径规则(例如，分配了标记的路径规则)中的至少一个。
在各种实施例中，由用户终端100操作的账户信息(例如，SAMSUNG账户信息或GOOGLE账户信息)可以被映射到分配了标志的与至少一个IoT设备700(例如，冰箱模型1)相关联的路径规则(例如，路径规则ID R601和/或R603)。
下面的表8可以示出根据实施例的基于表6的PR DB建立的子PR DB 234的表单。
表8
参照表8，如上所述，设备管理模块270可以复制与所识别的至少一个路径规则相关联的数据(例如，与能够由注册的IoT设备(例如，冰箱型号1)和/或用户终端操作的app(例如，SMS Ver 1.0和/或图库Ver 2.0)相关联的路径规则)，以建立子PR DB 234。在实施例中，设备管理模块270可以通过子PR DB仅管理能够由用户终端100执行的路径规则。这样，除了规则集DB 224和/或PR DB 231路径之外，智能服务器200还可以包括子PR DB(例如，图2A的子PR DB 234)；在生成用户话语时，NLU模块220可以参照子PR DB 234，选择对应于用户话语意图的路径规则。
在各种实施例中，在用户终端100中安装新app或者在用户终端100中注册新的至少一个IoT设备700的情况下，设备管理模块270可以基于关于新app或新的至少一个IoT设备700的标识信息，来更新对路径规则的标志的分配，或者可以更新子PR DB 234。
下面的表9可以示出根据实施例的PR DB的形式。例如，参照表9描述的PR DB可以与上面通过表6描述的PR DB相同或类似地建立。另外，在与表9相关联的实施例中，可以理解特定版本的消息app(例如，SMS Ver 1.0)、特定版本的图库app程序(例如，图库版本2.0)或特定型号的IoT设备(例如，冰箱型号1)被安装或注册在用户终端中。
表9
如上所述，在生成包括特定命令或意图的用户话语(例如，向我展示图库中的冰箱的内部照片)时，图2A的智能服务器200的图2A的ASR模块210可以根据用户话语将用户输入(例如，语音输入)转换为文本数据，并且图2A的NLU模块220可以基于文本数据推导出用户话语的意图。在这方面，参照表9，基于用户话语的推导出的意图，NLU模块220可以识别包括在PR DB 231中的至少一个路径规则中的与用户话语(或用户话语意图)相对应的至少一个路径规则235和/或237。此时，在每个识别的至少一个路径规则235和/或237的情况下，关于相关app或相关的IoT设备的标识信息(或简档信息)(例如，型号信息、版本信息等)可以彼此相同或不同。
在实施例中，图2A的设备管理模块270的实施例可基于关于安装在用户终端100中的app(例如，SMS Ver 1.0和/或图库Ver2.0)和/或在用户终端100中注册的IoT设备(例如，冰箱模型1)的标识信息，识别PR DB 231中的与app和/或IoT设备相关联的至少一个路径规则235和/或237。设备管理模块270可以向NLU模块220提供所识别的至少一个路径规则235和/或237中的能够由用户终端100运行的路径规则235(例如，对应于安装在用户终端100中的app的版本和/或在用户终端100中注册的IoT设备的模型)的信息。NLU模块220可以基于从设备管理模块270接收的信息来选择能够由用户终端100运行的路径规则235，并且可以将所选择的路径规则235发送到用户终端100。
在实施例中，可以生成与未在用户终端100中安装的app或未在用户终端100中注册的IoT设备(例如，TV)的功能操作控制相关联的用户话语(例如，通过TV向我显示冰箱内部的照片)。在这种情况下，与对应于用户话语的IoT设备(例如，冰箱和TV)相关联的路径规则239可以包括在PR DB 231中(例如，考虑到后期注册而生成的路径规则)。然而，由于对应的IoT设备的至少一部分(例如，TV)未在用户终端100中注册，因此用户终端100可能无法执行与未注册的IoT设备(例如，TV)相关联的路径规则239。在这方面，NLU模块220可以识别PRDB 231中的对应于用户话语(或用户话语意图)的路径规则239。然而，由于从设备管理模块270中接收能够由用户终端100执行的路径规则信息，所以NLU模块220可以不选择与未注册的IoT设备(例如，TV)相关联的路径规则239。在这种情况下，NLU模块220可以将指示不能处理用户话语(或用户输入)的信息发送到图1D的NLG模块250。NLG模块250可以基于来自NLU模块220的信息以特定文本的形式生成反馈(例如，图5的反馈122)，并且可以将反馈122发送到用户终端100。或者，NLG模块250可以以文本的形式将反馈发送到图1D的TTS模块260，并且TTS模块260可以将接收到的文本格式的反馈转换为语音格式的反馈，以将语音格式的反馈发送到用户终端100。这样，用户终端100可以基于图1B的显示器120或图1B的扬声器130来输出反馈，以允许用户注册包括在用户话语(例如，在TV中向我展示冰箱内部的照片)中的IoT设备(例如，TV)。
在各种实施例中，在从智能服务器200的NLU模块220执行路径规则的操作中，用户终端100可以从与路径规则相关联的至少一个IoT设备接收上下文信息。在这方面，当执行用户终端100的路径规则时，IoT设备可以从用户终端100接收将要用于执行对应于用户话语的任务的特定命令(或信号)。在该操作中，对应于用户话语的至少一个IoT设备的至少一部分(下文中，称为“第一IoT设备”)由于不稳定的通信状态、缺乏可用电力、功能故障等，可能无法正常处理从用户终端100接收的特定命令。在这种情况下，第一IoT设备可以向用户终端100发送包括指示特定命令的未处理状态的信息的上下文信息。
在实施例中，用户终端100可以将从第一IoT设备接收的上下文信息的至少一部分发送到智能服务器200；并且智能服务器200的NLU模块220可以改变预先提供给用户终端100的路径规则的至少一部分，或者可以基于接收的上下文信息生成或选择新的路径规则。例如，NLU模块220可以包括允许第一IoT设备取决于先前提供的路径规则，在不稳定通信状态或功能故障被改善的时间点或者在可用电力被确保的时间点处理特定的命令，以将命令发送给用户终端100。或者，在NLU模块220具有第一IoT设备可以正常处理特定命令的操作环境的情况下，NLU模块220可以生成或者选择包括用于向用户终端100发送关于此的上下文信息的命令的路径规则，然后可以将路径规则发送到用户终端100。
除了上面描述的用户话语(例如，发送SMS消息、启动图库、调高电视音量、降低冰箱的温度、向我展示图库中的冰箱内部的照片等)之外，用户终端100可以处理各种场景的用户话语以控制IoT设备。
例如，用户终端100可以处理用于请求IoT设备的状态信息的用户话语(例如，检查空调的状态)。在这种情况下，用户终端100可以从智能服务器200接收对应于用户话语的路径规则，并且可以执行构成路径规则的至少一个操作。在实施例中，路径规则可以包括基于安装在用户终端100中的特定应用(例如，SAMSUNG连接app)的运行，向IoT设备请求状态信息的操作，然后用户终端100可以从IoT设备接收状态信息(例如，开启信息)以便以文本或语音的形式输出状态信息。当响应于状态信息的输出而生成用户话语(例如，关闭空调)时，用户终端100可以向智能服务器200发送根据用户话语的用户输入，并且智能服务器200可以识别用户输入以生成对应的路径规则，或者从路径规则集DB 224和/或PR DB 231中选择路径规则，以将所生成的或所选择的路径规则发送到用户终端100。
作为另一示例，用户终端100可以处理允许IoT设备运行用户终端100的功能(例如，显示功能)的用户话语(例如，在车辆的显示器上向我显示消息)。在实施例中，由智能服务器200响应于用户话语生成或选择的路径规则可以包括搜索在特定时间范围期间由用户终端100接收的消息的操作和向连接(例如，蓝牙、Wi-Fi等)到用户终端100的车辆发送找到的消息的操作。用户终端100可以根据上述操作执行路径规则，以向车辆输出从任意外部设备接收的消息，并且车辆可以将所接收的消息输出到显示设备。
根据实施例，电子设备(例如，图1B的用户终端100)可以包括外壳、布置在外壳中并且至少一部分可视地暴露的触摸屏显示器(例如，图1B的显示器120)、布置在外壳中的麦克风(例如，图1C的麦克风111)、无线通信电路、可操作地连接到触摸屏显示器、麦克风和无线通信电路的处理器(例如，图1B的处理器150)、以及可操作地连接到处理器的存储器(例如，图1B的存储器140)。
根据各种实施例，存储器存储软件程序，该软件程序包括支持基于用户帐户控制至少一个外部设备的用户接口。
根据各种实施例，存储器可以存储至少一个指令，该指令在被运行时使得处理器控制无线通信电路以经由用户接口，接收用于将电子设备连接到第一外部设备的第一用户输入，控制无线通信电路向第二外部设备发送对应于用户账号的第一信息和对应于第一外部设备的第二信息，控制无线通信电路经由触摸屏显示器或麦克风接收对应于通过使用第一外部设备执行任务的至少一部分的请求的第二用户输入，控制无线通信电路将对应于第二用户输入的数据发送到第二外部设备，控制无线通信电路当由第一外部设备执行了任务的至少一部分时，从第二外部设备接收包括要使用的任务的状态序列的第一响应，并且在接收到第一响应之后，控制由第一外部设备根据序列执行任务的至少一部分。
根据各种实施例，至少一个指令还使得处理器，作为执行的至少一部分，控制无线通信电路向第一外部设备发送将要使用的至少一个命令，使得由第一外部设备根据序列执行任务的至少一部分。
根据各种实施例，至少一个指令还使得处理器控制无线通信电路以从第一外部设备接收与第一外部设备相对应的关于第一外部设备的任务的至少一部分的运行的上下文信息。
根据各种实施例，至少一个指令还使得处理器控制无线通信电路向第二外部设备发送所接收的上下文信息的至少一部分。
根据各种实施例，至少一个指令还使得处理器控制无线通信电路从第二外部设备接收包括基于上下文信息的至少一部分的状态序列的第二响应。
根据各种实施例，电子设备还可包括暴露于外壳的一个区域的物理按钮。
根据各种实施例，至少一个指令还使处理器在通过物理按钮接收第三用户输入之后，处于接收第二用户输入的状态。
根据各种实施例，至少一个指令还使得处理器控制无线通信电路以至少部分地基于用户账户从与软件程序相关联的第三外部设备接收所发布的令牌，并控制无线通信电路向第一外部设备发送令牌，以用于电子设备和第一外部设备之间的连接。
根据各种实施例，至少一个指令还使得处理器在完成第一外部设备的连接时控制输出特定反馈，作为连接到第一外部设备的操作的至少一部分。
根据各种实施例，提供了服务器(例如，图1B的智能服务器200)。服务器可以包括无线通信电路、存储任务状态的存储器和处理器。
根据各种实施例，服务器的处理器可以被配置为控制无线通信电路以从第二外部设备接收包括对应于第一用户帐户的第一信息和与对应于与第一用户帐户相关联的第一外部设备的第二信息的第一数据，控制无线通信电路1从第二外部设备接收对应于允许第一外部设备执行任务的至少一部分的请求的第二数据，响应于接收到第二数据，至少部分地基于第一数据确定与状态的至少一部分相关联的序列，并控制无线通信电路向第二外部设备发送包括所确定的序列的响应。
根据各种实施例，服务器的存储器可以存储多个序列。
根据各种实施例，服务器的处理器可以识别所存储的多个序列的序列。
根据各种实施例，服务器的处理器可以被配置为向序列分配指示序列与第一用户帐户相关联的特定标志。
根据各种实施例，服务器的处理器可以被配置为将所存储的多个序列中的第一序列与第二序列相组合以生成序列。
根据各种实施例，服务器的处理器可以被配置为当第一序列的类型对应于第二序列的类型时执行组合。
根据各种实施例，服务器的处理器可以被配置为控制无线通信电路以从第二外部设备接收对应于第一外部设备的上下文信息。
根据各种实施例，服务器的处理器可以至少部分地基于上下文信息来改变所确定的序列的至少一部分。
根据各种实施例，服务器的处理器可以控制无线通信电路将包括改变的序列的响应发送到第二外部设备。
根据各种实施例，服务器可以包括存储至少一个指令的计算机可读存储介质。
根据各种实施例，至少一个指令可以由服务器包括的至少一个处理器运行。
根据各种实施例，服务器的处理器可以被配置为控制无线通信电路以从第二外部设备接收包括对应于第一用户帐户的第一信息和对应于与第一用户帐户相关联的第一外部设备的第二信息的第一数据，控制无线通信电路从第二外部设备接收对应于允许第一外部设备执行任务的至少一部分的请求的第二数据，响应于接收到第二数据，至少部分地基于第一数据确定与先前存储的任务的状态的至少一部分相关联的序列，并控制无线通信电路向第二外部设备发送包括所确定的序列的响应。
根据各种实施例，服务器的处理器还可以被配置为识别预先存储的多个序列的序列。
根据各种实施例，服务器的处理器还可以被配置为向序列分配指示序列与第一用户帐户相关联的特定标志。
根据各种实施例，服务器的处理器可以被配置为将所存储的多个序列中的第一序列与第二序列相组合以生成序列。
根据各种实施例，服务器的处理器还可以被配置为确定第一序列的类型是否对应于第二序列的类型。
根据各种实施例，服务器的处理器还可以被配置为控制无线通信电路从第二外部设备接收对应于第一外部设备的上下文信息。
根据各种实施例，服务器的处理器还可以被配置为至少部分地基于上下文信息来改变所确定的序列的至少一部分。
根据各种实施例，服务器的处理器还可以被配置为控制无线通信电路将包括改变的序列的响应发送到第二外部设备。
根据各种实施例，提供了电子系统(例如，图2A的IoT系统20)。电子系统可以包括麦克风、通信电路、电连接到麦克风和通信电路的至少一个第一处理器、以及包括电连接到第一处理器的存储器的用户终端(例如，图2A的用户终端100)。电子系统还可包括通信接口、电连接到通信接口的至少一个第二处理器、以及包括电连接到第二处理器的第二存储器的第一服务器(例如，图2A的智能服务器200)。电子系统还可以包括整体管理至少一个外部设备的第三服务器(例如，图2A的IoT云500)。
根据各种实施例，第一存储器可以存储至少一个指令，该指令在被运行时使得第一处理器控制通信电路以基于麦克风接收用户的语音输入，并且基于通信电路向第二处理器提供与语音输入相关联的第一数据。
根据各种实施例，第二存储器可以存储至少一个指令，该指令在被运行时使得第二处理器在基于ASR模块和NLU模块中的至少一个处理第一数据的操作中，从第三服务器获得关于与第一数据相关联的至少一个第一外部设备的信息，基于关于第一外部设备的信息，确定与第一外部设备的状态相关联的至少一个第一序列，当与用户终端或至少一个外部设备的状态相关联的第一序列和至少一个第二序列(其先前存储在第二存储器中)之间的特定条件，将第一序列的至少一部分与第二序列的至少一部分组合以确定至少一个第三序列，并控制通信电路关于第一数据的处理，将第一序列、第二序列和第三序列中的至少一个发送给用户终端。
图6是根据本公开的实施例的网络环境中的电子设备的图。
参照图6，在网络环境1000中，电子设备601(例如，图1B的用户终端100)可以通过第一网络698(例如，短程无线通信)与第一外部电子设备602通信，或者可以通过第二网络699(例如，长途无线通信)与第二外部电子设备604或服务器608通信。根据实施例，电子设备601可以通过服务器608与第二外部电子设备604通信。根据实施例，电子设备601可以包括处理器1010(例如，图1B的处理器150)、存储器1030(例如，图1B的存储器140)、输入设备650(例如，图1B的输入模块110)、声音输出设备655(例如，图1B的扬声器130)、显示设备660(例如，图1B的显示器120)、音频模块670、传感器模块676、接口677、触觉模块679、相机模块680、电源管理模块688、电池689、通信模块690、订户识别模块696和天线模块697。根据一些实施例，电子设备601组件中的至少一个(例如，显示设备660或相机模块680)可以省略或者可以将其他组件添加到电子设备601。根据一些实施例，可以如嵌入在显示设备660中(例如，显示器)中的传感器模块676(例如，指纹传感器、虹膜传感器、或照度传感器)的情况那样集成和实现一些组件。
处理器1010可以操作例如软件(例如，程序640)以控制连接到处理器1010的电子设备601的其他组件(例如，硬件或软件组件)中的至少一个，并且可以处理并计算各种数据。处理器1010可以将从其他组件(例如，传感器模块676或通信模块690)接收的命令集或数据加载到易失性存储器632中，可以处理所加载的命令或数据，并且可以存储结果数据。根据实施例，处理器1010可以包括主处理器621(例如，中央处理单元或应用处理器)和辅助处理器623(例如，图形处理设备、图像信号处理器、传感器集线器处理器或通信处理器)，其独立于主处理器621操作，附加地或替代地使用比主处理器621更少的电力，或者被指定为设定功能。在这种情况下，辅助处理器623可以与主处理器621分开操作或嵌入。
在这种情况下，当主处理器621处于非活动(例如，睡眠)状态时，辅助处理器623，而不是主处理器621，或者当主处理器621处于活动状态(例如，应用程序执行)时，辅助处理器623与主处理器621一起，可以控制例如与电子设备601的组件中的至少一个组件(例如，显示设备660、传感器模块676或通信模块690)相关联的功能或状态中的至少一些。根据实施例，辅助处理器623(例如，图像信号处理器或通信处理器)可以被实现为与辅助处理器623的功能相关的另一组件(例如，相机模块680或通信模块690)的一部分。存储器1030可以存储由电子设备601的至少一个组件(例如，处理器1010或传感器模块676)使用的各种数据，例如，软件(例如，程序640)和与软件相关联的命令的输入数据或输出数据。存储器1030可以包括易失性存储器632或非易失性存储器634。
程序640可以作为软件被存储在存储器1030中，并且可以包括例如操作系统642、中间件644或应用646。
输入设备650可以是用于从电子设备601的外部(例如，用户)接收用于电子设备601的组件(例如，处理器1010)的命令或数据的设备，并且可以包括，例如，麦克风、鼠标或键盘。
声音输出设备655可以是用于将声音信号输出到电子设备601外部的设备，并且可以包括例如用于例如多媒体播放或录制播放的一般目的的扬声器，以及仅用于接听电话的接收器。根据实施例，接收器和扬声器可以整体地或单独地实现。
显示设备660可以是用于向用户可视地呈现信息的设备，并且可以包括例如显示器、全息设备或投影仪以及用于控制相应设备的控制电路。根据实施例，显示设备660可以包括用于测量触摸的压力强度的触摸电路或压力传感器。
音频模块670可以双向转换声音和电信号。根据实施例，音频模块670可以通过输入设备650获得声音，或者可以通过有线或无线地连接到声音输出设备655或电子设备601的外部电子设备(例如，第一外部电子设备602(例如，扬声器或耳机))输出声音。
传感器模块676可以生成与电子设备601内部的操作状态(例如，功率或温度)或外部的环境状态相对应的电信号或数据值。传感器模块676可以包括例如手势传感器、陀螺仪传感器、气压传感器、磁传感器、加速度传感器、手柄传感器、接近传感器、颜色传感器、红外传感器、生物传感器、温度传感器、湿度传感器或照度传感器。
接口677可以支持有线或无线连接到外部电子设备(例如，第一外部电子设备602)的指定协议。根据实施例，接口677可以包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端子678可以包括将电子设备601物理地连接到外部电子设备(例如，第一外部电子设备602)的连接器，例如，HDMI连接器、USB连接器、SD卡连接器、或音频连接器(例如，耳机连接器)。
触觉模块679可以将电信号转换为机械刺激(例如，振动或运动)或用户通过触觉或动觉感觉感知的电刺激。触觉模块679可以包括例如马达、压电元件或电刺激器。
相机模块680可以拍摄静止图像或视频图像。根据实施例，相机模块680可以包括例如至少一个镜头、图像传感器、图像信号处理器或闪光灯。
电源管理模块688可以是用于管理提供给电子设备601的电源的模块，并且可以用作电源管理集成电路(PMIC)的至少一部分。
电池689可以是用于向电子设备601的至少一个组件供电的设备，并且可以包括例如不可充电(主)电池、可充电(二次)电池或燃料电池。
通信模块690可以在电子设备601与外部电子设备(例如，第一外部电子设备602、第二外部电子设备604或服务器608)之间建立有线或无线通信信道，并通过已建立的通信信道支持通信运行。通信模块690可以包括独立于处理器1010(例如，应用处理器)操作的至少一个通信处理器，并且支持有线通信或无线通信。根据实施例，通信模块690可以包括无线通信模块692(例如，蜂窝通信模块、短程无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块694(例如，局域网(LAN)通信模块或电力线通信模块)，并且可以通过第一网络698(例如，诸如蓝牙、Wi-Fi直连或IrDA(红外数据协会)的短距离通信网络)或第二网络699(例如，诸如蜂窝网络、互联网或计算机网络(例如，LAN或者广域网(WAN))的长途无线通信网络)使用它们之间的相应通信模块与外部电子设备通信。上述各种通信模块可以分别实现为一个芯片或单独的多个芯片。
根据实施例，无线通信模块692可以使用存储在通信网络中的订户识别模块696中的用户信息来识别和认证电子设备601。
天线模块697可以包括一个或多个天线，以向外部源发送或从外部源接收信号或电力。根据实施例，通信模块690(例如，无线通信模块692)可以通过适合于通信方法的天线向外部电子设备发送信号或从外部电子设备接收信号。
组件中的一些组件可以通过在外围设备之间使用的通信方法(例如，总线、通用输入/输出(GIPO)、串行外围接口(SPI)或移动工业处理器接口(MIPI))彼此交换信号(例如，命令或数据)。
根据实施例，可以通过连接到第二网络699的服务器608在电子设备601和第二外部电子设备604之间发送或接收命令或数据。第一外部电子设备602和第二外部电子设备604中的每一个可以是与电子设备601相同或不同的类型。根据实施例，由电子设备601执行的全部或部分操作可以由另一电子设备或多个外部电子设备执行。当电子设备601自动地或通过请求执行某些功能或服务时，除了由它自己执行功能或服务之外，或代替地，电子设备601可以请求外部电子设备执行与功能或服务相关的至少一些功能。接收请求的外部电子设备可以执行所请求的功能或附加功能，并将结果发送到电子设备601。电子设备601可以基于接收的结果原样或者在另外处理了所接收的结果之后提供所请求的功能或服务。为此，例如，可以使用云计算、分布式计算或客户端-服务器计算技术。
根据本公开中公开的各种实施例的电子设备可以是各种类型的设备。电子设备可以包括例如便携式通信设备(例如，智能手机)、计算机设备、便携式多媒体设备、移动医疗设备、相机、可穿戴设备或家用电器中的至少一个。根据本公开的实施例的电子设备不应限于上述设备。
应当理解，本公开的各种实施例和实施例中使用的术语不旨在将本公开中公开的技术限制于本文公开的特定形式；相反，本公开应被解释为涵盖本公开的实施例的各种修改、等同物和/或替代。关于附图的描述，类似的部件可以分配有类似的附图标记。如本文所用，除非上下文另有明确说明，否则单数形式也可包括复数形式。在本文公开的公开内容中，表述“A或B”、“A或/和B中的至少一个”、“A、B或C”或“A、B或/和C中的一个或多个，”和本文使用的类似物可包括一个或多个相关所列项目的任何和所有组合。这里使用的表达“第一”、“第二”、“第一”或“第二”可以指代各种组件而不管序列和/或重要性，但是不限制相应的组件。上述表达仅用于区分组件与其他组件的目的。应当理解，当组件(例如，第一组件)被称为(可操作地或通信地)“连接”或“耦合”到另一组件(例如，第二组件)时，它可以直接连接或者直接耦合到其他组件，或任何其他组件(例如，第三组件)可以插入它们之间。
本文使用的术语“模块”可以表示例如包括硬件、软件和固件的一个或多个组合的单元。术语“模块”可以与术语“逻辑”、“逻辑块”、“部分”和“电路”互换使用。“模块”可以是集成部分的最小单元或可以是其一部分。“模块”可以是用于执行一个或多个功能或其一部分的最小单元。例如，“模块”可以包括专用集成电路(ASIC)。
本公开的各种实施例可以由软件(例如，程序640)实现，该软件包括存储在由机器(例如，计算机)可读的机器可读存储介质(例如，内部存储器636或外部存储器638)中的指令。机器可以是从机器可读存储介质调用指令并取决于被调用指令操作的设备，并且可以包括电子设备(例如，电子设备601)。当指令由处理器(例如，处理器1010)运行时，处理器可以在处理器的控制下，直接或使用其他组件执行对应于指令的功能。该指令可以包括由编译器或解释器生成或运行的代码。机器可读存储介质可以以非暂时性存储介质的形式提供。这里，如本文所使用的，术语“非暂时性”是对介质本身的限制(即，有形的，而不是信号)，而不是对数据存储持久性的限制。
根据实施例，可以提供根据本公开中公开的各种实施例的方法作为计算机程序产品的一部分。计算机程序产品可以作为产品在卖方和买方之间进行交易。计算机程序产品可以以机器可读存储介质(例如，光盘只读存储器(CD-ROM))的形式分发，或者可以仅通过应用商店(例如，Play Store TM)分发。在在线分发的情况下，可以在诸如制造商的服务器的存储器、应用商店的服务器或中继服务器之类的存储介质中临时存储或生成计算机程序产品的至少一部分。
根据各种实施例的每个组件(例如，模块或程序)可以包括上述组件中的至少一个，并且可以省略上述子组件的一部分，或者还可以包括其他其他子组件。替代地或另外地，一些组件(例如，模块或程序)可以集成在一个组件中，并且可以执行由集成之前每个对应的组件执行的相同或类似的功能。由根据本公开的各种实施例的模块、编程或其他组件执行的操作可以顺序地、并行地、重复地或以启发式方法运行。而且，至少一些操作可以以不同的顺序运行、省略或者可以添加其他操作。
尽管已经参照本发明的各种实施例示出和描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以在其中进行形式和细节上的各种改变。

Claims (15)

1.一种电子设备，包括：
外壳；
触摸屏显示器，容纳在所述外壳中并且至少一部分在视觉上暴露；
麦克风，容纳在所述外壳中；
无线通信电路；
处理器，可操作地连接到所述触摸屏显示器、所述麦克风和所述无线通信电路；以及
存储器，可操作地连接到所述处理器，
其中，所述存储器被配置为存储软件程序，所述软件程序包括支持基于用户帐户控制至少一个外部设备的用户接口，并且被配置为存储至少一个指令，所述指令在被运行时使得所述处理器：
控制所述无线通信电路经由用户接口接收用于将电子设备连接到第一外部设备的第一用户输入，
控制所述无线通信电路向第二外部设备发送对应于用户账号的第一信息和对应于所述第一外部设备的第二信息，
控制所述无线通信电路，经由所述触摸屏显示器或所述麦克风，接收对应于通过使用第一外部设备执行任务的至少一部分的请求的第二用户输入，
控制所述无线通信电路将对应于第二用户输入的数据发送给第二外部设备，
控制所述无线通信电路以从第二外部设备接收第一响应，所述第一响应包括当第一外部设备执行任务的至少一部分时要使用的任务的状态序列，以及
在接收到所述第一响应之后，控制由第一外部设备取决于序列执行所述任务的至少一部分。
2.如权利要求1所述的电子设备，其中，所述至少一个指令还使得所述处理器：
作为所述执行的至少一部分，控制无线通信电路向所述第一外部设备发送将要使用的至少一个命令，使得由第一外部设备取决于序列执行所述任务的至少一部分。
3.如权利要求1所述的电子设备，其中，所述至少一个指令还使所述处理器：
关于所述第一外部设备的任务的至少一部分的运行，控制无线通信电路从所述第一外部设备接收与所述第一外部设备相对应的上下文信息；以及
控制无线通信电路将上下文信息的至少一部分发送到第二外部设备。
4.如权利要求3所述的电子设备，其中，所述至少一个指令还使所述处理器：
控制无线通信电路以从所述第二外部设备接收包括基于上下文信息的至少一部分的状态序列的第二响应。
5.如权利要求1所述的电子设备，还包括：
物理按钮，暴露在外壳一个区域，
其中，在通过物理按钮接收到第三用户输入之后，所述至少一个指令还使处理器处于接收第二用户输入的状态。
6.如权利要求1所述的电子设备，其中，所述至少一个指令还使所述处理器：
控制无线通信电路至少部分地基于用户账户从与软件程序相关联的第三外部设备接收所发布的令牌；以及
控制无线通信电路将令牌发送给第一外部设备，以便被用于所述电子设备和第一外部设备之间的连接。
7.一种服务器，包括：
无线通信电路；
存储器，被配置为存储任务的状态；以及
处理器，
其中，所述处理器被配置为：
控制所述无线通信电路从第二外部设备接收包括对应于第一用户帐户的第一信息和对应于与第一用户帐户相关联的第一外部设备的第二信息的第一数据，
控制所述无线通信电路从所述第二外部设备接收对应于允许所述第一外部设备执行任务的至少一部分的请求的第二数据，
响应于接收所述第二数据，至少部分地基于所述第一数据确定与状态的至少一部分相关联的序列，以及
控制所述无线通信电路以将包括所述序列的第一响应发送到所述第二外部设备。
8.如权利要求7所述的服务器，
其中，所述存储器还被配置为存储多个序列，以及
其中，所述处理器还被配置为识别所存储的所述多个序列中的序列。
9.如权利要求8所述的服务器，其中，所述处理器还被配置为：
为所述序列分配特定的标志，所述特定的标志指示所述序列与第一用户帐户相关联。
10.如权利要求8所述的服务器，其中，所述处理器还被配置为：
在所存储的多个序列中将第一序列和第二序列组合，以生成序列。
11.如权利要求10所述的服务器，其中，所述处理器还被配置为：
当第一序列的类型对应于第二序列的类型时，执行第一序列和第二序列的组合。
12.如权利要求7所述的服务器，其中，所述处理器还被配置为：
控制所述无线通信电路以从第二外部设备接收对应于第一外部设备的上下文信息。
13.如权利要求12所述的服务器，其中，所述处理器还被配置为：
基于所述上下文信息的至少一部分来改变所述序列的至少一部分；以及控制所述无线通信电路以将包括所述改变的序列的第二响应发送到所述第二外部设备。
14.一种存储至少一个指令的计算机可读存储介质，当由至少一个处理器运行时，所述指令使所述至少一个处理器：
控制从第二外部设备接收包括对应于第一用户帐户的第一信息和对应于与第一用户帐户相关联的第一外部设备的第二信息的第一数据；
控制从所述第二外部设备接收对应于允许所述第一外部设备执行任务的至少一部分的请求的第二数据；
响应于接收到所述第二数据，至少部分地基于所述第一数据确定与先前存储的任务的状态的至少一部分相关联的序列；以及
控制将包括所述序列的第一响应发送到第二外部设备。
15.如权利要求14所述的计算机可读存储介质，其中，所述至少一个指令还使所述处理器：
识别先前存储的多个序列中的序列。
CN201811044272.6A 2017-09-07 2018-09-07 用外部设备支持任务运行的电子设备、服务器和记录介质 Active CN109474658B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0114569 2017-09-07
KR1020170114569A KR102347208B1 (ko) 2017-09-07 2017-09-07 외부 장치를 이용한 태스크 수행 방법 및 이를 지원하는 전자 장치, 서버 및 저장 매체

Publications (2)

Publication Number Publication Date
CN109474658A true CN109474658A (zh) 2019-03-15
CN109474658B CN109474658B (zh) 2023-04-07

Family

ID=63578953

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811044272.6A Active CN109474658B (zh) 2017-09-07 2018-09-07 用外部设备支持任务运行的电子设备、服务器和记录介质

Country Status (5)

Country Link
US (2) US11032374B2 (zh)
EP (1) EP3454335A1 (zh)
KR (1) KR102347208B1 (zh)
CN (1) CN109474658B (zh)
WO (1) WO2019050242A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113609281A (zh) * 2021-08-09 2021-11-05 海南大学 基于dikw图谱的意图识别方法及装置
CN113748458A (zh) * 2019-05-02 2021-12-03 三星电子株式会社 集线器设备、包括集线器设备和多个设备的多设备系统及其操作方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102685523B1 (ko) 2018-03-27 2024-07-17 삼성전자주식회사 사용자 음성 입력을 처리하는 장치
KR102592769B1 (ko) * 2018-07-20 2023-10-24 삼성전자주식회사 전자 장치 및 그의 동작 방법
US11087754B2 (en) 2018-09-27 2021-08-10 Coretronic Corporation Intelligent voice system and method for controlling projector by using the intelligent voice system
US11100926B2 (en) * 2018-09-27 2021-08-24 Coretronic Corporation Intelligent voice system and method for controlling projector by using the intelligent voice system
WO2020175384A1 (en) * 2019-02-25 2020-09-03 Clarion Co., Ltd. Hybrid voice interaction system and hybrid voice interaction method
KR102624327B1 (ko) * 2019-03-15 2024-01-15 삼성전자주식회사 IoT 기기의 위치 추론 방법, 이를 지원하는 서버 및 전자 장치
US20240054035A1 (en) * 2022-08-15 2024-02-15 Pandravada Bhargav Dynamically generating application programming interface (api) methods for executing natural language instructions

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004042483A1 (ja) * 2002-11-07 2004-05-21 Fujitsu Limited 制御装置および制御履歴管理方法
CN102316162A (zh) * 2011-09-01 2012-01-11 深圳市子栋科技有限公司 基于语音命令的车辆远程控制方法、装置及系统
CN104144093A (zh) * 2014-03-12 2014-11-12 腾讯科技（深圳）有限公司 一种智能设备控制方法及相关设备、系统
CN104460328A (zh) * 2014-10-29 2015-03-25 小米科技有限责任公司 基于设定场景模式的智能设备控制方法和装置
US20150213355A1 (en) * 2014-01-30 2015-07-30 Vishal Sharma Virtual assistant system to remotely control external services and selectively share control
CN105045113A (zh) * 2015-05-29 2015-11-11 四川长虹电器股份有限公司 基于云平台系统的智能家电联动控制系统
CN106062734A (zh) * 2013-12-02 2016-10-26 亚马逊技术股份有限公司 二级装置的自然语言控制

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7831930B2 (en) 2001-11-20 2010-11-09 Universal Electronics Inc. System and method for displaying a user interface for a remote control application
US20020072914A1 (en) * 2000-12-08 2002-06-13 Hiyan Alshawi Method and apparatus for creation and user-customization of speech-enabled services
US6938101B2 (en) 2001-01-29 2005-08-30 Universal Electronics Inc. Hand held device having a browser application
US20050134578A1 (en) 2001-07-13 2005-06-23 Universal Electronics Inc. System and methods for interacting with a control environment
US6917302B2 (en) 2002-06-20 2005-07-12 Universal Electronics Inc. System and method for retrieving information while commanding operation of an appliance
US20070101328A1 (en) 2005-10-31 2007-05-03 Microsoft Corporation Sequencing a single task sequence across multiple operating environments
US7555556B2 (en) * 2006-02-09 2009-06-30 Ricoh Company, Ltd. System, computer program product and method for using a wireless device to control a wireless network device
US8458741B2 (en) * 2010-05-27 2013-06-04 Sony Corporation Provision of TV ID to non-TV device to enable access to TV services
KR101387928B1 (ko) 2010-06-24 2014-04-22 에스케이플래닛 주식회사 홈 미디어 디바이스 및 이를 이용한 홈 네트워크 시스템, 방법
US9633656B2 (en) * 2010-07-27 2017-04-25 Sony Corporation Device registration process from second display
KR101230917B1 (ko) * 2011-12-13 2013-02-07 (주)정원기술 확장기능 추가가 용이한 ｍ2ｍ 장치
US20130205385A1 (en) * 2012-02-08 2013-08-08 Microsoft Corporation Providing intent-based access to user-owned resources
US8942369B2 (en) * 2012-02-28 2015-01-27 Teletech Holdings, Inc. Method for providing support services using multi-channel navigator and route sequences
WO2014098477A1 (ko) 2012-12-18 2014-06-26 삼성전자 주식회사 홈 네트워크 시스템에서 홈 디바이스를 원격으로 제어하는 방법 및 장치
KR102202660B1 (ko) 2013-09-23 2021-01-13 삼성전자주식회사 스마트 홈 서비스를 위한 기기들을 제어하는 방법 및 장치
WO2015047033A1 (en) * 2013-09-30 2015-04-02 Samsung Electronics Co., Ltd. System and method for providing cloud printing service
US9800619B2 (en) * 2014-10-15 2017-10-24 Ayla Networks, Inc. Registration framework for connected consumer devices
US10057077B2 (en) * 2014-10-29 2018-08-21 Xiaomi Inc. Method and server for controlling smart devices based on predefined scenario mode
US20160225369A1 (en) * 2015-01-30 2016-08-04 Google Technology Holdings LLC Dynamic inference of voice command for software operation from user manipulation of electronic device
US10187773B1 (en) * 2015-07-25 2019-01-22 Gary M. Zalewski Wireless coded communication (WCC) devices with power harvesting power sources for monitoring state data of objects
US9619283B2 (en) * 2015-07-28 2017-04-11 TCL Research America Inc. Function-based action sequence derivation for personal assistant system
KR20170076992A (ko) 2015-12-26 2017-07-05 삼성전자주식회사 냉장고
US9858927B2 (en) 2016-02-12 2018-01-02 Amazon Technologies, Inc Processing spoken commands to control distributed audio outputs
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US10430258B2 (en) * 2016-04-20 2019-10-01 At&T Intellectual Property I, L.P. Discovery and chaining of virtual functions
US10832665B2 (en) * 2016-05-27 2020-11-10 Centurylink Intellectual Property Llc Internet of things (IoT) human interface apparatus, system, and method
US10064062B2 (en) * 2016-06-07 2018-08-28 Sears Brands, L.L.C. System and method for automatically and securely registering an internet of things device
DE112016006813T5 (de) * 2016-07-01 2019-01-10 Intel IP Corporation Kommunikation in internet-of-things-vorrichtungen
US10447683B1 (en) * 2016-11-17 2019-10-15 Amazon Technologies, Inc. Zero-touch provisioning of IOT devices with multi-factor authentication
KR102021832B1 (ko) * 2017-01-13 2019-09-17 엘지전자 주식회사 정보등록을 수행하는 가전 기기 및 가전 기기의 정보등록을 수행하는 방법
KR101900741B1 (ko) * 2017-01-16 2018-11-08 엘지전자 주식회사 이동 단말기, 서버, 및 그 동작 방법
US10606672B2 (en) * 2017-05-04 2020-03-31 Microsoft Technology Licensing, Llc Micro-service framework derived from third-party apps

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004042483A1 (ja) * 2002-11-07 2004-05-21 Fujitsu Limited 制御装置および制御履歴管理方法
CN102316162A (zh) * 2011-09-01 2012-01-11 深圳市子栋科技有限公司 基于语音命令的车辆远程控制方法、装置及系统
CN106062734A (zh) * 2013-12-02 2016-10-26 亚马逊技术股份有限公司 二级装置的自然语言控制
US20150213355A1 (en) * 2014-01-30 2015-07-30 Vishal Sharma Virtual assistant system to remotely control external services and selectively share control
CN104144093A (zh) * 2014-03-12 2014-11-12 腾讯科技（深圳）有限公司 一种智能设备控制方法及相关设备、系统
CN104460328A (zh) * 2014-10-29 2015-03-25 小米科技有限责任公司 基于设定场景模式的智能设备控制方法和装置
CN105045113A (zh) * 2015-05-29 2015-11-11 四川长虹电器股份有限公司 基于云平台系统的智能家电联动控制系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄鑫: "基于物联网的家庭用户行为识别及事件响应系统", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113748458A (zh) * 2019-05-02 2021-12-03 三星电子株式会社 集线器设备、包括集线器设备和多个设备的多设备系统及其操作方法
CN113609281A (zh) * 2021-08-09 2021-11-05 海南大学 基于dikw图谱的意图识别方法及装置

Also Published As

Publication number Publication date
US11765234B2 (en) 2023-09-19
CN109474658B (zh) 2023-04-07
KR20190027592A (ko) 2019-03-15
US11032374B2 (en) 2021-06-08
US20210274001A1 (en) 2021-09-02
KR102347208B1 (ko) 2022-01-05
WO2019050242A1 (en) 2019-03-14
EP3454335A1 (en) 2019-03-13
US20190075167A1 (en) 2019-03-07

Similar Documents

Publication Publication Date Title
KR102426704B1 (ko) 음성 인식 서비스 운용 방법 및 이를 지원하는 전자 장치
KR102513297B1 (ko) 전자 장치 및 전자 장치의 기능 실행 방법
CN109474658A (zh) 用外部设备支持任务运行的电子设备、服务器和记录介质
US20190267001A1 (en) System for processing user utterance and controlling method thereof
CN108829235A (zh) 语音数据处理方法和支持该方法的电子设备
CN109243432A (zh) 话音处理方法以及支持该话音处理方法的电子设备
KR102440651B1 (ko) 자연어 표현 제공 방법 및 이를 지원하는 전자 장치
KR102389996B1 (ko) 전자 장치 및 이를 이용한 사용자 입력을 처리하기 위한 화면 제어 방법
US11631406B2 (en) Method for responding to user utterance and electronic device for supporting same
KR102508863B1 (ko) 전자 장치 및 상기 전자 장치로부터 수신된 데이터를 처리하는 서버
KR102472010B1 (ko) 전자 장치 및 전자 장치의 기능 실행 방법
CN110476150A (zh) 用于操作语音辨识服务的方法和支持其的电子装置
CN109102802A (zh) 用于处理用户话语的系统
KR102391298B1 (ko) 음성 인식 서비스를 제공하는 전자 장치 및 그 방법
US11514890B2 (en) Method for user voice input processing and electronic device supporting same
CN110308886A (zh) 提供与个性化任务相关联的声音命令服务的系统和方法
KR20210001082A (ko) 사용자 발화를 처리하는 전자 장치와 그 동작 방법
KR102369309B1 (ko) 파셜 랜딩 후 사용자 입력에 따른 동작을 수행하는 전자 장치
KR102511517B1 (ko) 음성 입력 처리 방법 및 이를 지원하는 전자 장치
KR102396147B1 (ko) 음성 명령을 이용한 동작을 수행하는 전자 장치 및 전자 장치의 동작 방법
KR102426411B1 (ko) 사용자 발화을 처리하는 전자 장치 및 시스템
KR102612835B1 (ko) 전자 장치 및 전자 장치의 기능 실행 방법
KR102507249B1 (ko) 성능 모드 제어 방법 및 이를 지원하는 전자 장치
KR102426123B1 (ko) 사용자 발화를 처리하는 전자 장치 및 서버

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant