CN109743403A - 控制与设备连接的外部装置的系统和方法 - Google Patents

控制与设备连接的外部装置的系统和方法 Download PDF

Info

Publication number
CN109743403A
CN109743403A CN201910106706.9A CN201910106706A CN109743403A CN 109743403 A CN109743403 A CN 109743403A CN 201910106706 A CN201910106706 A CN 201910106706A CN 109743403 A CN109743403 A CN 109743403A
Authority
CN
China
Prior art keywords
information
equipment
external device
user
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910106706.9A
Other languages
English (en)
Other versions
CN109743403B (zh
Inventor
申伉植
高在佑
朴世濬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN109743403A publication Critical patent/CN109743403A/zh
Application granted granted Critical
Publication of CN109743403B publication Critical patent/CN109743403B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/303—Terminal profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Selective Calling Equipment (AREA)
  • Telephonic Communication Services (AREA)

Abstract

控制与设备连接的外部装置的方法包括：提供用于确定用户的意图的用户输入信息；识别可以由设备控制的外部装置；提供所识别的外部装置的装置信息；接收基于用户的意图和装置信息生成的关于外部装置的控制信息；以及向外部装置发送基于接收到的控制信息生成的控制命令。

Description

控制与设备连接的外部装置的系统和方法
本申请是以下发明专利申请的分案申请：申请号：201380047103.7，申请日：2013年9月10日，发明名称：控制与设备连接的外部装置的系统和方法。
技术领域
与示例性实施例一致的装置和方法涉及根据用户的意图控制与设备连接的外部装置。
背景技术
由于自然语言分析技术和移动通信技术的发展，设备可以分析由用户输入的信息，并且可以根据用户的意图进行操作。然而，即使设备能够根据用户的意图进行操作，但是设备难以利用各种可连接的或与设备兼容的装置。因此，难以通过有效地反映用户的各种真实意图来控制设备。
因此，需要用于通过使用设备和可以与该设备连接的外部装置来获得各种类型的条件信息、以及用于通过有效地反映用户的各种意图来操作设备和各种外部装置的方法和装置。
发明内容
技术问题
示例性实施例可以解决至少以上问题和/或缺点以及上面未描述的其他缺点。然而，示例性实施例不需要克服上述缺点，而且示例性实施例可以不克服上述任何问题。
示例性实施例中的一个或多个提供了通过基于用户输入信息确定用户的意图来控制与设备连接的外部装置、以及根据用户的意图来控制设备和外部装置的系统和方法。
提供了一种控制外部装置的方法，所述方法包括：接收用户输入信息；获得关于多个外部装置的装置信息；从所述多个外部装置中选择可基于用户输入信息进行通信和控制的一个或多个外部装置；基于用户的输入和所述装置信息生成用于控制所述一个或多个外部装置的控制信息；和将控制命令发送到一个或多个外部装置，所述控制命令是基于所接收的控制信息生成的。
附图说明
通过参照附图描述某些示例性实施例，以上和/或其他方面将变得更加明显，在附图中：
图1是根据示例性实施例的用于经由设备控制外部装置系统的总体示意图；
图2是根据示例性实施例的由设备控制外部装置的方法的流程图；
图3是根据示例性实施例的由设备控制外部装置的方法的流程图；
图4是根据示例性实施例的由设备控制外部装置的方法的流程图；
图5是根据示例性实施例的由设备控制外部装置的方法的流程图；
图6是根据示例性实施例的操作表；
图7是示出根据示例性实施例的控制外部装置的示意图；
图8是示出根据示例性实施例的控制外部装置的示意图；
图9是示出根据示例性实施例的控制外部装置的示意图；
图10是根据示例性实施例的设备的框图；
图11是根据示例性实施例的条件信息获得器的框图；
图12是根据示例性实施例的设备的框图；以及
图13是根据示例性实施例的服务器的框图。
具体实施方式
最佳实施例
根据示例性实施例的一方面，提供了一种由设备执行的控制外部装置的方法，该方法包括：向服务器提供用于确定用户的意图的用户输入信息；检查可以由设备控制的至少一个外部装置；向服务器提供所检查的外部装置的装置信息；从服务器接收关于外部装置的控制信息，其中，该控制信息是由服务器基于用户输入信息和装置信息生成的；以及基于接收到的控制信息向至少一个外部装置发送控制命令，其中，该控制信息是基于用户的意图生成的。
用于控制外部装置的条件可以由服务器基于用户的意图确定，而且控制信息可以由服务器基于所确定的条件生成。
控制信息可以包括用于检查所确定的条件是否得到满足的信息、以及用于在所确定的条件得到满足的情况下控制设备和外部装置中的至少一个的操作的信息。
该方法还可以包括获得与所确定的条件有关的条件信息，而且发送控制命令可以包括，如果基于获得的条件信息检查到所确定的条件得到满足则向外部装置发送控制命令。
获得条件信息可以包括从至少一个外部装置获得条件信息。
所述条件信息可以包括关于设备的位置、设备周围的环境、天气、时间、设备的位置处的温度和湿度、以及预设位置处的交通中的至少一个的信息。
用户输入信息可以包括关于由用户输入的文本、用户的语音和用户的姿势中的至少一个的信息。
装置信息可以包括关于外部装置的标识值、外部装置的类型、以及用来控制外部装置的命令中的至少一个的信息。
与用户的意图有关的外部装置可以从多个外部装置当中选择，而且控制命令可以是用于操作所选择的外部装置的命令。
该方法还可以包括，如果外部装置被另外连接到设备，则向服务器提供另外连接的外部装置的装置信息，而且包括关于另外连接的外部装置的控制命令的控制信息可以由服务器生成。
根据示例性实施例的另一方面，提供了一种由服务器执行的、向设备提供用于控制外部装置的控制信息的方法，该方法包括：从设备接收用户输入信息；从设备接收可以由设备控制的至少一个外部装置的装置信息；基于用户输入信息确定用户的意图；基于确定的用户的意图和装置信息生成关于外部装置的控制信息；以及向设备提供控制信息。
该方法还可以包括基于用户的意图确定用于控制外部装置的条件，并且生成控制信息可以包括基于所确定的条件生成控制信息。
控制信息可以包括用于检查所确定的条件是否得到满足的信息、以及用于在所确定的条件得到满足的情况下控制设备和外部装置中的至少一个的操作的信息。
与所确定的条件有关的条件信息可以由设备基于控制信息来获得，而且如果基于获得的条件信息检查到所确定的条件得到满足，则控制命令可以从设备发送到外部装置。
条件信息可以通过使用至少一个外部装置，由设备获得。
条件信息可以包括关于设备的位置、设备周围的环境、天气、时间、设备的位置处的温度和湿度、以及预设位置处的交通中的至少一个的信息。
用户输入信息可以包括关于由用户输入的文本、用户的语音和用户的姿势中的至少一个的信息。
装置信息可以包括关于外部装置的标识值、外部装置的类型、以及用来控制外部装置的命令中的至少一个的信息。
与用户的意图有关的外部装置可以从多个外部装置当中选择，而且控制信息可以是用于操作所选择的外部装置的信息。
接收装置信息可以包括，如果外部装置被另外连接到设备，则从设备接收另外连接的外部装置的装置信息，而且生成控制信息可以包括生成包括关于另外连接的外部装置的控制命令的控制信息。
根据示例性实施例的另一方面，提供了一种设备，其包括用于存储至少一个程序的存储器；以及用于通过运行至少一个程序来控制外部装置的处理器，其中，至少一个程序包括指令以下操作的命令：检查可以由设备控制的至少一个外部装置；向服务器提供所检查的外部装置的装置信息；从服务器接收基于用户输入信息和装置信息生成的关于外部装置的控制信息；以及基于接收到的控制信息向至少一个外部装置发送控制命令，其中，用户输入信息可以在服务器确定用户的意图时被使用，而且控制信息可以是由服务器基于用户的意图生成的。
用于控制外部装置的条件可以由服务器基于用户的意图确定，而且控制信息可以由服务器基于所确定的条件生成。
控制信息可以包括用于检查所确定的条件是否得到满足的信息、以及用于在所确定的条件得到满足的情况下控制设备和外部装置中的至少一个的操作的信息。
根据示例性实施例的另一方面，提供了一种其上记录有计算机程序的非临时性计算机可读记录介质，该计算机程序用于运行上述方法。
下面将参照附图更详细地描述某些示例性实施例。
在下面的描述中，即使在不同的附图中，相同的参照标记被用于相同的元件。描述中定义的、诸如详细结构和元件的事项被提供以便有助于全面理解示例性实施例。因此，明显的是，示例性实施例可以在没有这些具体定义的事项的情况下实现。此外，没有详细描述公知的功能或结构，因为它们会以不必要的细节模糊本申请。
贯穿本说明书，应该理解的是，当元件被称为与另一元件“连接”时，它可以直接与其他元件“连接”，或者可以与其他元件电连接同时可以存在居间的元件。此外，当部件“包括”和/或“包含”元件时，除非具体描述给出相反指示，否则该部件还可以包括其他元件，而不是排除其他元件。
当诸如“中的至少一个”的表述出现在元件的元件之后时，它修饰元件的整个列表，而不是修饰该列表的各个元件。
图1是根据示例性实施例的用于经由设备1000控制外部装置2000的系统的总体示意图。
如图1所示，系统包括设备1000、与设备1000连接的一个或多个外部装置2000、服务器3000和网络4000。
参照图1，设备1000可以基于用户输入生成用户输入信息，并且可以向服务器3000提供用户输入信息、外部装置2000的装置信息、和条件信息，以使得外部装置2000可以根据用户的意图被控制。
设备1000可以接收用户的文本输入或声音输入，可以基于接收到的输入生成用户输入信息，并且可以向服务器3000提供所生成的用户输入信息。设备1000可以检查可以与设备1000连接的外部装置2000，并且可以获得并向服务器3000提供外部装置2000的装置信息。此外，设备1000可以经由设备1000或外部装置2000获得条件信息，并且可以向服务器3000提供所获得的条件信息。设备1000可以基于将在下面描述的控制信息获得条件信息，但不限于此。
服务器3000可以基于用户输入信息分析用户的意图，并且可以生成并向设备1000提供控制信息，以使得设备1000可以根据用户的意图进行操作，并且外部装置2000可以被设备1000控制。服务器3000可以通过分析用户输入的信息来确定用户的意图，并且可以确定以满足用户的意图的方式控制外部装置2000的条件。服务器3000可以检查所确定的条件是否得到满足，并可以生成用于控制设备1000和外部装置2000的操作的控制信息。
设备1000可以从服务器3000接收控制信息，并且可以基于控制信息向一些外部装置2000发送控制命令。
设备1000是能够向/从服务器3000发送和接收信息以及向外部装置2000发送控制命令的装置，并且可以是，例如，智能电话、移动电话、个人数字助理(PDA)、膝上型计算机、媒体播放器、全球定位系统(GPS)装置、或者其它移动或不可移动的计算装置，但是不限于此。
外部装置2000可以是可以与设备1000连接并且可以由设备1000控制、和/或能够至少部分地共享由设备1000提供的功能的装置。外部装置2000可以是能够独立地运行应用的独立装置，但是不限于此。外部装置2000可以包括输入装置、输出装置、或控制装置，例如，诸如智能电视或空调的家用电器、安全相机、记录器、移动电话、个人计算机(PC)、枕头振动器、机动车辆、导航仪、麦克风、扬声器、踏板、操纵杆、乐器(例如，钢琴、风琴、电子键盘、吉他、小提琴或大提琴)、游戏操纵器、玩偶、医疗器具、运动器材、相机或传感器。
服务器3000可以是提供服务的服务器，用于根据用户的意图提供控制信息以允许设备1000控制外部装置2000，但是不限于此。
服务器3000可以是云服务器，例如，用户的PC。如果服务器3000是云服务器，则服务器3000可以包括预定的智能引擎，可以通过智能引擎分析用户的意图，并且可以向设备1000发送用于控制外部装置2000的控制信息。不然的话，如果服务器3000是客户端，则服务器3000可以从单独的提供服务的服务器(例如，提供气象信息的服务器或提供交通信息的服务器)接收预定的信息。
网络4000可以被实现为有线网络，诸如局域网(LAN)、广域网(WAN)或增值网络(VAN)，或者无线网络，诸如移动无线电通信网络、近场通信(NFC)网络或卫星通信网络。网络4000可以是用于允许图1中所示的网络组件之间的适当通信的综合数据通信网络，并且可以包括有线互联网、无线互联网和/或移动无线通信网络。
图2是根据示例性实施例的由设备1000基于由服务器3000生成的控制信息来控制外部装置2000的方法的流程图。
在操作S200中，设备1000检查可以由设备1000控制的外部装置2000。设备1000可以从可以与设备1000连接的外部装置2000当中检查可以由设备1000控制的外部装置2000。根据示例性实施例，可控制的外部装置2000可以是与或者可以与设备1000连接、并且其中安装有用于利用控制服务的预定应用的外部装置。如果可控制的外部装置2000中没有安装该应用，则设备1000可以执行通信连接并且与外部装置2000配对，并且可以向外部装置2000提供应用或者用于下载应用的链接信息。
外部装置2000可以包括，例如，诸如智能电视或空调的家用电器、安全相机、记录器、移动电话、PC、枕头振动器、机动车辆或导航仪，但不限于此。设备1000和外部装置2000可以经由诸如LAN、WAN或VAN的有线网络或者诸如移动无线电通信网络、NFC网络或卫星通信网络的无线网络彼此连接。设备1000可以经由，例如，家庭网关(未示出)与外部装置2000连接。
设备1000可以从检查到的外部装置2000接收外部装置2000的装置信息，但是不限于此。设备1000可以从单独的服务器(未示出)接收外部装置2000的装置信息。例如，如果设备1000经由家庭网关(未示出)与外部装置2000连接，则设备1000可以向家庭网关请求外部装置2000的装置信息。外部装置2000的装置信息可以包括与外部装置2000的标识值、媒体访问控制(MAC)地址、服务集标识符(SSID)、外部装置2000的类型、由外部装置2000提供的能力、种类、以及用来控制外部装置2000的命令中的至少一个有关的信息。由外部装置2000提供的能力可以包括，例如，声音输出能力、视频输出能力、语音记录能力、图像捕获能力和湿度感测功能，但不限于此。
在操作S202中生成用户输入信息或者在操作S204中确定用户的意图之后，设备1000可以基于用户输入信息或用户的意图搜索要被设备1000控制的外部装置2000。
在操作S202中，设备1000向服务器3000提供用户输入信息。设备1000可以基于用户输入生成用户输入信息，并且可以向服务器3000提供所生成的输入信息。用户输入信息可以是与由用户输入的文本、用户的语音、用户的面部表情、用户的姿势和用户的身体状态中的至少一个有关的信息。
如果用户向设备1000输入文本，则设备1000可以将用户输入的文本数据作为用户输入信息提供给服务器3000。例如，如果用户向设备1000输入诸如“明天如果不下雨就在7:00唤醒我”的文本，则设备1000可以将输入的文本数据作为用户输入信息提供给服务器3000。不然的话，如果用户向设备1000输入语音，则设备1000可以将输入的语音数据作为用户输入信息提供给服务器3000。设备1000可以将输入的语音数据变换成文本数据，并可以将变换后的文本数据作为用户输入信息发送给服务器3000。可替换地，例如，设备1000可以通过使用存储在设备1000中的电子邮件或文本消息生成用户输入信息。
设备1000可以解析用户输入信息，并且可以将解析后的数据发送到服务器3000。如果用户输入信息是文本数据，则设备1000可以解析文本数据。不然的话，如果用户输入信息是语音数据，则设备1000可以将语音数据变换成文本数据，并且可以解析变换后的文本数据。然而，示例性实施例不限于此。设备1000可以向服务器3000提供语音数据文件，服务器3000可以将接收到的语音数据文件变换成文本并解析。
在操作S204中，服务器3000基于用户输入信息确定用户的意图。服务器3000可以通过分析用户输入信息来确定用户的意图。为了分析作为用户输入信息的接收到的文本数据，服务器3000可以使用各种自然语言分析方法。例如，服务器3000可以通过使用诸如词素分析、语法分析或命名实体识别的自然语言处理，来分析文本数据。可替换地，服务器3000可以通过使用例如，基于本体的推理和基于概率的推理，来基于用户输入信息确定用户的意图。如果服务器3000接收作为用户输入信息的语音数据，则服务器3000可以将接收到的语音数据变换成文本数据，并可以分析变换后的文本数据。服务器3000可以通过分析用户输入信息来生成用户意图信息。例如，如果用户输入信息是“明天如果不下雨就在7:00唤醒我”，则服务器3000可以生成用户意图信息，其包括诸如“明天，7:00”时间信息、与诸如“如果不下雨”的条件信息相关的信息、以及诸如“唤醒我”的操作信息。与条件信息相关的信息可以是被设备1000或服务器3000使用以获得与用户的意图有关的条件信息的信息。
可替换地，服务器3000可以使用反馈经由交互界面确定用户的意图。例如，如果用户的意图不容易基于从设备1000接收到的用户输入信息来确定，则服务器3000可以向设备1000请求附加用户输入信息。服务器3000可以向设备1000通知另外所需的信息。服务器3000可以通过使用从设备1000另外接收到的用户输入信息来确定用户的意图。例如，如果从设备1000接收到诸如“如果宝宝醒来给就我打电话”的用户输入信息，则服务器3000可以向设备1000请求另外提供与宝宝醒来的时间点有关的信息。设备1000可以向服务器3000另外提供诸如“如果宝宝明天早上醒来就给我打电话”的用户输入信息，则服务器3000可以基于接收到的附加用户输入信息来确定用户的意图。
在操作S206中，设备1000向服务器3000提供检查到的外部装置2000的装置信息。设备1000可以向服务器3000提供与外部装置2000的标识值、MAC地址、SSID、外部装置2000的类型、由外部装置2000提供的能力、种类、以及用来控制外部装置2000的命令中的至少一个有关的信息。在操作S206中，设备1000可以向服务器3000提供设备1000的装置信息。设备1000的装置信息可以包括与例如，设备1000的标识值、MAC地址、SSID、设备1000的类型、由设备1000提供的能力、种类、以及用来控制设备1000的命令中的至少一个有关的信息。
在操作S208中，服务器3000根据用户的意图确定用于控制外部装置2000的条件。用于控制外部装置2000的条件是使得根据用户的意图来执行用户期望的操作的条件。例如，如果用户输入信息是“明天7:00如果不下雨就唤醒我”，则用于诸如“唤醒我”的用户期望的操作的诸如“明天7:00如果不下雨”的条件可以是控制外部装置2000的条件。服务器3000可以根据用户意图信息确定控制外部装置2000或设备1000的操作所必须满足的条件。例如，如果用户意图信息包括诸如“明天，7:00”时间信息以及与诸如“如果不下雨”的条件信息相关的信息，则服务器3000可以确定诸如“明天”的时间条件、诸如“晴天，阴天”的天气条件、诸如“设备位置”的地点条件作为控制外部装置2000的条件。为了保证确定的条件得到满足，预定的外部装置2000可以被控制。
在操作S210中，服务器3000选择与用户的意图相关的外部装置2000。服务器3000可以基于包括在用户意图中的操作信息和从设备1000接收到的装置信息，选择与用户的意图相关的外部装置2000。例如，如果用户意图信息包括诸如“唤醒我”的操作信息，则服务器3000可以通过使用从设备1000接收到的装置信息，选择外部装置2000来唤醒用户。服务器3000可以选择，例如，枕头振动器和/或照明设备作为用于唤醒用户的外部装置2000。
在操作S212中，服务器3000生成满足用户的意图的控制信息。控制信息可以包括用于检查由服务器3000确定的条件是否得到满足的信息、以及在由服务器3000确定的条件得到满足的情况下用于控制设备1000和所选择的外部装置2000中的至少一个的控制操作的信息。控制信息可以包括用于控制设备1000或外部装置2000的操作的控制命令、以及生成控制命令的信息。
更详细地，服务器3000可以基于由服务器3000确定的条件以及从设备1000接收到的装置信息，生成用于检查由服务器3000所确定的条件是否得到满足的控制信息。例如，如果由服务器3000所确定的条件包括诸如“明天”的时间条件、诸如“晴天，阴天”的天气条件和诸如“设备位置”的地点条件，则服务器3000可以生成控制信息，以用于通过使设备1000经由设备1000或外部装置2000检查日期、设备1000的位置和天气来检查由服务器3000所确定的条件是否得到满足。控制信息可以包括指令查询日期和天气的控制命令、指令从湿度传感器获得湿度信息的控制命令、以及指令检查设备1000的位置的命令，并且控制信息中所包括的控制命令可以按预定的顺序来排列。
然而，控制信息并不限于此，而是可以省略控制命令但是可以包括涉及生成控制命令的信息，例如，“明天在设备位置处确定天气是晴天还是阴天”。
如果由服务器3000所确定的条件得到满足，则服务器3000可以生成用于操作设备1000或外部装置2000的控制信息。服务器3000可以基于包括在用户意图中的操作信息和从设备1000接收到的装置信息，生成用于操作设备1000或外部装置2000的控制信息。例如，如果用户意图信息包括诸如“唤醒我”的操作信息，则服务器3000可以生成指令设备1000输出闹钟信息的控制命令、指令开启照明设备的控制命令和/或指令枕头振动器生成振动的控制命令。
控制信息可以包括用于控制设备1000和外部装置2000中的至少一个的操作的多个控制命令，并且多个控制命令可以由设备1000和外部装置2000中的至少一个以预定的顺序运行。
在操作S214中，服务器3000向设备1000提供生成的控制信息。
在操作S216中，设备1000检查用于控制外部装置2000的条件是否得到满足。设备1000可以根据从服务器3000接收到的控制信息，检查由服务器3000所确定的条件是否得到满足。如果从服务器3000接收到的控制信息包括用于检查用于控制外部装置2000的条件是否得到满足的控制命令，则设备1000可以根据包括在控制信息中的控制命令操作以检查条件是否得到满足。不然的话，如果从服务器3000接收到的控制信息不包括用于检查用于控制外部装置2000的条件是否得到满足的控制命令，则设备1000可以基于控制信息生成控制命令，并且可以根据所生成的控制命令检查条件是否得到满足。
在操作S218中，设备1000基于控制信息向外部装置2000提供控制命令。如果用于控制外部装置2000的条件得到满足，则设备1000可以向外部装置2000发送控制命令以遵循用户的意图。如果用于控制外部装置2000的条件得到满足，则设备1000可以以预定的顺序向外部装置2000发送用于操作外部装置2000的控制命令。设备1000可以基于控制信息执行预定操作。
在操作S220，另一外部设备(未示出)另外与设备1000连接，并且在操作S224中，设备1000向服务器3000提供另外连接的外部装置的装置信息。
在操作S226中，服务器3000生成包括与另外连接的外部装置有关的控制命令的控制信息。服务器3000可以基于另外连接的外部装置的装置信息，改变控制信息以满足用户的意图。
在操作S228中，服务器3000向设备1000提供改变的控制信息。这样，设备1000可以基于改变的控制信息控制设备1000或外部装置2000的操作。
图3是根据示例性实施例的由设备1000基于由服务器3000生成的控制信息来控制外部装置2000的方法的流程图。在图3中，服务器3000可以检查用于控制外部装置2000的条件是否得到满足。由于图3中的一些操作类似于上面参照图2所描述的操作，因此其详细描述被省略。
在操作S300中，设备1000检查可以由设备1000控制的外部装置2000。
在操作S302中，设备1000向服务器3000提供用户输入信息和装置信息。设备1000可以基于用户输入生成用户输入信息，并且可以向服务器3000提供所生成的输入信息。
此外，设备1000可以向服务器3000提供与外部装置2000的标识值、外部装置2000的类型、以及用来控制外部装置2000的命令中的至少一个有关的信息。
在操作S304中，服务器3000基于用户输入信息确定用户的意图。服务器3000可以通过分析用户输入信息来确定用户的意图。为了分析作为用户输入信息的接收到的文本数据，服务器3000可以使用各种自然语言分析方法。例如，服务器3000可以通过使用诸如词素分析、语法分析或命名实体识别的自然语言处理，来分析文本数据。如果服务器3000接收作为用户输入信息的语音数据，则服务器3000可以将接收到的语音数据变换成文本数据，并可以分析变换后的文本数据。此外，服务器3000可以通过分析用户输入信息来生成用户意图信息。
在操作S306中，服务器3000基于用户的意图确定用于控制外部装置2000的条件。服务器3000可以基于用户意图信息确定控制外部装置2000或设备1000的操作所必须满足的条件。例如，如果用户意图信息包括诸如“明天，7:00”时间信息以及与诸如“如果不下雨”的条件信息相关的信息，则服务器3000可以确定诸如“明天”的时间条件、诸如“晴天，阴天”的天气条件、诸如“设备位置”的地点条件作为控制外部装置2000的条件。
在操作S308中，服务器3000向设备1000请求条件信息。服务器3000可以基于条件信息，向设备1000请求可以由设备1000获得的条件信息以及可以由外部装置2000获得的条件信息。服务器3000可以向设备1000请求检查所确定的条件是否得到满足所需要的条件信息。例如，如果时间条件、天气状况和地点条件被确定，则服务器3000可以请求设备1000将有关在固定时间固定地点处的天气信息作为条件信息提供到服务器3000。服务器3000可以向设备1000提供条件信息的类型，但不限于此。服务器3000可以向设备1000提供指令设备1000和外部装置2000获得条件信息的控制命令。
在操作S310中，设备1000获得条件信息。设备1000可以响应于获得条件信息的请求而获得条件信息。设备1000可以从外部装置2000和单独的服务器(未示出)获得各种类型的条件信息。例如，设备1000可以从位置信息提供服务器(未示出)获得设备1000的位置信息，可以从天气服务器(未示出)获得设备1000周围的天气信息，并且可以从交通信息提供服务器(未示出)获得关于预定路线的交通信息。
此外，例如，设备1000可以从湿度传感器(未示出)获得湿度信息，可以从拍摄装置(未示出)获得拍摄的图像，并且可以从记录装置获得记录的声音数据(未示出)。设备1000可以从包括在设备1000中的装置获得条件信息。例如，设备1000可以从包括在设备1000中的温度传感器、湿度传感器、地磁传感器、重力传感器、运动传感器、陀螺仪传感器、相机和记录器获得各种类型的条件信息。设备1000可以获得关于用户的身体状态的条件信息的记录器。关于用户的身体状态的条件信息可以是，例如，关于用户的心率、心电图(ECG)、呼吸、脉搏以及身体锻炼的信息，并且可以从设备1000或与设备1000连接的外部装置2000获得。不然的话，设备1000可以获得关于网络状态、外部装置2000的登录状态、安装在设备1000或外部装置2000中的应用、以及使用应用的用户的条件信息。然而，设备1000不限于此，而且可以获得各种类型的信息作为条件信息。
在操作S312中，设备1000将获得的条件信息提供给服务器3000。设备1000可以以预设的周期获得条件信息，并且可以将获得的条件信息实时提供给服务器3000，但是不限于此。服务器3000可以从其它设备(未示出)或其它服务器(未示出)获得条件信息。
在操作S314中，服务器3000基于条件信息来检查用于控制外部装置2000的条件是否得到满足。服务器3000可以基于从设备1000、其他设备和其他服务器中的至少一个接收到的条件信息来检查条件是否得到满足。
在操作S316中，服务器3000选择与用户的意图相关的外部装置2000。服务器3000可以检查满足用户的意图的操作，并且可以选择用于执行所检查的操作的外部装置2000。例如，如果用户意图信息包括诸如“唤醒我”的操作信息，则服务器3000可以选择照明设备和/或枕头振动器。
在操作S318中，服务器3000生成有关所选择的外部装置2000的控制信息。如果由服务器3000确定的条件得到满足，则服务器3000可以生成用于操作设备1000或外部装置2000的控制信息。服务器3000可以基于包括在用户意图中的操作信息和从设备1000接收到的装置信息，生成用于操作设备1000或外部装置2000的控制信息。例如，如果用户意图信息包括诸如“唤醒我”的操作信息，则服务器3000可以生成指令设备1000输出闹钟信息的控制命令、指令开启照明设备的控制命令和指令枕头振动器生成振动的控制命令。包括在由服务器3000生成的控制信息中的控制命令可以以预定的顺序排列。
在操作S320中，服务器3000将所生成的控制信息提供给设备1000。
在操作S322中，设备1000基于控制信息将控制命令发送到外部装置2000。设备1000可以以预定的顺序将用于操作外部装置2000的控制命令发送到外部装置2000。设备1000可以基于控制信息执行预定操作。
在操作S324中，另一外部装置(未示出)另外与设备1000连接，并且在操作S326中，设备1000向服务器3000提供另外连接的外部装置的装置信息。
在操作S328中，服务器3000生成包括与另外连接的外部装置有关的控制命令的控制信息。服务器3000可以基于另外连接的外部装置的装置信息，改变控制信息以满足用户的意图。
在操作S330中，服务器3000向设备1000提供改变的控制信息。这样，设备1000可以基于改变的控制信息控制设备1000或外部装置2000的操作。
图4是根据示例性实施例的由设备1000基于从服务器3000接收到的用户意图信息来生成控制命令并控制外部装置2000的方法的流程图。在图4中，设备1000可以基于用户意图信息，确定用于控制外部装置2000的条件。由于图4中的一些操作类似于上面参照图2和图3所描述的操作，因此其详细描述被省略。
在操作S400中，设备1000检查可以由设备1000控制的外部装置2000，并且在操作S402中，设备1000将用户输入信息提供给服务器3000。在操作S404中，服务器3000基于用户输入信息确定用户的意图。操作S400、S402和S404可以分别对应于操作S200、S202和S204。
在操作S406中，服务器3000将用户意图信息提供到设备1000。例如，如果用户输入信息是“明天如果不下雨就在7:00唤醒我”，则服务器3000可以向设备1000提供用户意图信息，其包括诸如“明天，7:00”时间信息、诸如“如果不下雨”的条件信息、以及诸如“唤醒我”的操作信息。
在操作S408中，设备1000根据用户的意图确定用于控制外部装置2000的条件。设备1000可以基于用户意图信息决定控制外部装置2000或设备1000的操作所必须满足的条件。例如，如果用户意图信息包括诸如“明天，7:00”时间信息以及与诸如“如果不下雨”的条件信息相关的信息，则设备1000可以决定诸如“明天”的时间条件、诸如“晴天，阴天”的天气条件、诸如“设备位置”的地点条件作为控制外部装置2000的条件。
在操作S410中，设备1000获得条件信息。设备1000可以从外部装置2000和单独的服务器(未示出)获得各种类型的条件信息。
在操作S412中，设备1000获得外部装置2000的装置信息。设备1000可以从外部装置2000接收外部装置2000的装置信息，但不限于此。设备1000可以从单独的服务器(未示出)接收外部装置2000的装置信息。例如，如果设备1000与外部装置2000经由家庭网关(未示)连接，则设备1000可以向家庭网关请求外部装置2000的装置信息。外部装置2000的装置信息可以包括与例如，外部装置2000的标识值、外部装置2000的类型、以及用来控制外部装置2000的命令中的至少一个有关的信息。
在操作S414中，设备1000选择与用户的意图相关的外部装置2000。设备1000可以检查满足用户的意图的操作，并且可以选择用于执行所检查的操作的外部装置2000。
在操作S416中，设备1000生成有关所选择的外部装置2000的控制信息。如果由设备1000确定的条件得到满足，则设备1000可以生成用于操作设备1000或外部装置2000的控制信息。设备1000可以基于包括在用户意图中的操作信息和从设备1000接收到的装置信息，生成用于操作设备1000或外部装置2000的控制信息。控制信息可以包括关于外部装置2000和设备1000中的至少一个的控制命令，并且控制命令可以以预定的顺序排列。
在操作S418中，设备1000基于所生成的控制信息，将预定的控制命令提供给外部装置2000。
在操作S420中，另一外部装置(未示出)另外与设备1000连接，并且在操作S422中，设备1000生成包括关于另外连接的外部装置的控制命令的控制信息。设备1000可以基于另外连接的外部装置的装置信息，改变控制信息以满足用户的意图。因此，设备1000可以基于改变的控制信息，控制设备1000或外部装置2000的操作。
图5是根据示例性实施例的由设备1000基于用户输入信息直接确定用户意图并控制外部装置2000的方法的流程图。
在操作S500中，设备1000检查可以由设备1000控制的外部装置2000。
在操作S502中，设备1000基于用户输入信息确定用户的意图。设备1000可以通过分析用户输入信息确定用户的意图。为了分析用户输入信息，设备1000可以使用各种自然语言分析方法。例如，设备1000可以通过使用诸如词素分析、语法分析或命名实体识别的自然语言处理，来分析作为用户输入信息的文本数据。如果用户输入信息是语音数据，则设备1000可以将语音数据变换成文本数据，并可以分析变换后的文本数据。设备1000可以通过分析用户输入信息来生成用户意图信息。例如，如果用户输入信息是“明天如果不下雨就在7:00唤醒我”，则设备1000可以生成用户意图信息，其包括诸如“明天，7:00”时间信息、诸如“如果不下雨”的条件信息、以及诸如“唤醒我”的操作信息。
在操作S504中，设备1000基于用户的意图确定控制外部装置2000的条件，并在操作S506中，设备1000获得条件信息。在操作S508中，设备1000获得外部装置2000的装置信息，在操作S510中，设备1000选择与用户的意图有关的外部装置2000，并且在操作S512中，设备1000生成关于所选择的外部装置2000的控制信息。在操作S514中，设备1000基于所生成的控制信息将预定的控制命令提供给外部装置2000。
操作S504、S506、S508、S510、S512和S514可以对应于上面参照图2、图3和图4所描述的操作，因此不再详细描述。
图6是根据示例性实施例的用于控制外部装置2000的设备1000的操作表。关于与用户输入信息有关的设备1000的操作的信息被记录在设备1000的操作表中。
如图6所示，设备1000的操作表58可以包括用户输入信息字段60、用户意图字段62、外部装置控制条件字段64以及操作字段66。设备1000的操作表可以由设备1000和服务器3000中的至少一个生成。
由设备1000获得的用户输入信息被记录在用户输入信息字段60中。如果用户将文本输入到设备1000中，则由用户输入的文本数据可以被记录在用户输入信息字段60中。如果用户输入信息是语音数据，则语音数据可以被变换成文本数据，并且变换的文本数据可以被存储在用户输入信息字段60中。
记录在用户输入信息字段60中的用户输入信息可以包括，例如，“明天如果不下雨就在7:00唤醒我”、“如果明天20:00前不堵车我们回家”和“如果宝宝醒了就与我视频通话”。
基于用户输入信息确定的关于用户意图的信息可以被记录在用户意图字段62中。用户输入信息可以通过使用诸如词素分析、语法分析或命名实体识别的自然语言处理来分析。例如，如果用户输入信息是“明天如果不下雨就在7:00唤醒我”，则“时间：明天，7：00；条件：如果不下雨；执行：唤醒我”可以被记录在用户意图字段62。
关于根据用户的意图控制外部装置2000所必须满足的条件的信息可以被记录在外部装置控制条件字段64中。
例如，基于记录在用户意图字段62中的信息，外部装置控制条件字段64可以包含“谁：x；什么：天气；何时：明天；条件：晴天，阴天；何地：设备位置”。也就是说，诸如“天气”的主观条件，诸如“明天”的时间条件，诸如“晴天，阴天”的天气条件和诸如“设备位置”的地点条件可以被记录在外部装置控制条件字段64中。除了“谁”、“什么”、“何时”、“条件”和“何地”外，各种条件项目也可以包括在外部装置控制条件字段64中。如果预定的数据没有被记录为条件项目，则服务器3000可以向设备1000请求关于没有记录数据的条件项目的附加用户输入信息，并且可以从设备1000接收的附加用户输入信息以便将预定的数据记录为条件项目。也就是说，如果用户的意图无法基于用户输入信息来确定，或者如果根据用户的意图控制外部装置2000的条件和操作无法确定，则服务器3000可以向设备1000请求附加的用户输入信息。
设备1000可以基于记录在条件字段64中的信息，生成用于检查预定的条件是否得到满足的控制信息。
用于确定用于控制外部装置2000的条件是否得到满足以及用于根据用户的意图来操作设备1000的设备1000和外部装置2000的操作信息可以被记录在操作字段66中。
例如，基于记录在用户意图字段62中的信息，“检查时间”、“检查装置位置”和“检查天气”可以被记录在操作字段66中。如果用于控制外部装置2000的条件得到满足，则作为设备1000和外部装置2000的操作的“输出警告信息”可以被记录在操作字段66中。
基于记录在操作字段66中的操作信息，可以生成用于执行记录在操作字段66中的操作的设备1000和外部装置2000的控制信息。控制信息可以包括用于控制设备1000和外部装置2000中的至少一个的操作的多个控制命令，而且多个控制命令可以由设备1000和外部装置2000中的至少一个按预定的顺序执行。例如，基于记录在操作字段66中的“检查时间”、“检查装置位置”和“检查天气”，控制命令可以以这样的方式来生成：设备1000通过使用设备1000、单独的服务器(未示出)和外部装置2000中的至少一个来检查时间、设备1000的位置、以及天气。例如，基于记录在操作字段66中的“输出警告信息”，控制命令可以以这样的方式来生成：设备1000和外部装置2000输出预定的警告信息。
虽然在以上描述中设备1000确定用户的意图并确定用于控制外部装置2000的条件和操作，但是示例性实施例并不限于此。由设备1000基于用户输入信息来确定用于外部装置2000的条件和操作可以被包括在确定用户的意图中。
图7是示出根据示例性实施例的在用于控制外部装置2000的系统中，根据被输入到设备1000中的用户输入信息来控制外部装置2000的示意图。
参照图7，如果用户向设备1000输入诸如“明天如果不下雨就在7:00唤醒我”的语音数据，则设备1000可以将语音数据或从语音数据变换的文本数据作为用户输入信息提供给服务器3000。设备1000可以向服务器3000提供可以与设备1000连接的湿度传感器72、照明设备74和枕头振动器76的装置信息。
服务器3000可以基于用户输入信息确定用户的意图，并且可以确定用于控制外部装置2000的条件。服务器3000可以确定所确定的条件是否得到满足，可以生成用于控制设备1000和外部装置2000的控制信息，并且可以将所生成的控制信息提供给设备1000。
设备1000可以通过基于接收到的控制信息从天气服务器70获得天气信息并从湿度传感器72获得湿度信息，来确定条件是否得到满足。如果条件得到满足，则设备1000可以向照明设备74发送指令开启的控制命令和/或可以向枕头振动器76发送指令生成振动的控制命令。
图8是示出根据示例性实施例的在用于控制外部装置2000的系统中，根据被输入到设备1000中的用户输入信息来控制外部装置2000的示意图。
参照图8，如果用户向设备1000输入诸如“如果明天20:00前不堵车我们回家”的语音数据，则设备1000可以将语音数据或从语音数据变换的文本数据作为用户输入信息提供给服务器3000。设备1000可以向服务器3000提供可以与设备1000连接的机动车82和导航器84的装置信息。
服务器3000可以基于用户输入信息确定用户的意图，并且可以确定用于控制外部装置2000的条件。服务器3000可以确定所确定的条件是否得到满足，可以生成用于控制设备1000和外部装置2000的控制信息，并且可以将所生成的控制信息提供给设备1000。
设备1000可以通过基于接收到的控制信息从交通信息提供服务器80获得关于从设备1000的当前位置回家的路线的交通信息，来确定条件是否得到满足。如果条件得到满足，则设备1000可以向机动车辆82发送指令启动引擎的控制命令并且向导航器84发送指令输出路线指导信息的控制命令。
图9是示出根据示例性实施例的在用于控制外部装置2000的系统中，根据被输入到设备1000中的用户输入信息来控制外部装置2000的示意图。
参照图9，如果用户向设备1000输入诸如“如果宝宝醒了就与我视频通话”的语音数据，则设备1000可以将语音数据或从语音数据变换的文本数据作为用户输入信息提供给服务器3000。设备1000可以向服务器3000提供可以与设备1000连接的拍摄装置90、记录装置92和电话94的装置信息。
服务器3000可以基于用户输入信息确定用户的意图，并且可以确定用于控制外部装置2000的条件。服务器3000可以确定所确定的条件是否得到满足，可以生成用于控制设备1000和外部装置2000的控制信息，并且可以将所生成的控制信息提供给设备1000。
设备1000可以通过基于接收到的控制信息从拍摄装置90获得捕获的图像并从记录装置92获得记录的语音数据，来确定条件是否得到满足。如果条件得到满足，则设备1000可以向电话94发送指令进行视频通话的控制命令。
图10是根据示例性实施例的设备1000的框图。
如图10所示，设备1000包括外部装置检查器1100、输入单元1200、信息提供器1300、条件信息获得器1400、控制信息获得器1500、控制命令提供器1600、数据库(DB)1700、收发器1800和控制器1900。
外部装置检查器1100检查可以由设备1000控制的外部装置2000。外部装置检查器1100可以从可以与设备1000连接的外部装置当中检查可以由设备1000控制的外部装置2000。例如，外部装置检查器1100可以基于诸如连接性、兼容性、与设备1000共享功能的能力等的标准，识别或选择外部装置2000。
外部装置检查器1100可以从检查到的外部装置2000接收外部装置2000装置信息，但不限于此。外部装置检查器1100可以从单独的服务器(未示出)接收外部装置2000的装置信息。例如，如果设备1000通过家庭网关(未示出)与外部装置2000连接，则外部装置检验器1100可以向家庭网关请求外部装置2000的装置信息。外部装置2000的装置信息可以包括关于外部装置2000的标识值、外部装置2000的类型、以及用来控制外部装置2000的命令中的至少一个的信息。
输入单元1200接收关于设备1000的用户输入，并且生成用户输入信息。用户输入信息可以包括文本数据或语音数据，但不限于此。可替换地，输入单元1200可以通过使用存储在设备1000中的电子邮件或文本消息生成用户输入信息。
信息提供器1300向服务器3000提供各种类型的信息以用于生成控制信息。信息提供器1300可以向服务器3000提供外部装置2000的装置信息、用户输入信息和条件信息中的至少一个。
条件信息获得器1400可以从设备1000、单独的服务器(未示出)和外部装置2000中的至少一个获得条件信息。条件信息获得器1400可以基于如下所述由控制信息获得器1500获得的控制信息来获得条件信息，但不限于此。为了满足用户的意图，条件信息获得器1400可以获得与用于控制外部装置2000的条件相关的条件信息。
控制信息获得器1500获得用于根据用户的意图来控制设备1000和外部装置2000的控制信息。控制信息获得器1500可以接收由服务器3000生成的控制信息，但不限于此。控制信息获得器1500可以基于用户输入信息来确定用户的意图，可以确定用于控制外部装置2000的条件，并且可以生成控制信息。控制信息获得器1500可以从服务器3000接收关于用于控制外部装置2000的条件和用户的意图中的至少一个的信息，并可以生成控制消息。控制信息获得器1500将在下面参照图11被详细地描述。
控制命令提供器1600基于获得的控制信息向外部装置2000提供预定的控制命令。控制信息可以包括以预定的顺序排列的多个控制命令，并且控制命令提供器1600可以以预定的顺序向至少一个外部装置2000提供多个控制命令。
数据库1700存储各种类型的信息，以用于由设备1000根据用户的意图控制设备1000和外部装置2000。
收发器1800向/从外部装置2000和服务器3000发送和接收由设备1000根据用户的意图控制设备1000和外部装置2000所需的各种类型的信息。
控制器1900控制设备1000的操作，并且以这样的方式控制外部装置检查器1100、输入单元1200、信息提供器1300、条件信息获得器1400、控制信息获得器1500、控制命令提供器1600、数据库1700和收发器1800，以使得设备1000根据用户的意图来控制设备1000和外部装置2000。
外部装置检查器1100、输入单元1200、信息提供器1300、条件信息获得器1400、控制信息获得器1500和控制命令提供器1600中的一些或全部可以由软件模块来驱动，但不限于此。外部装置检查器1100、输入单元1200、信息提供器1300、条件信息获得器1400、控制信息获得器1500和控制命令提供器1600中的一些或全部可以是硬件设备。
此外，外部装置检查器1100、输入单元1200、信息提供器1300、条件信息获得器1400、控制信息获得器1500和控制命令提供器1600中的至少一些可以被包括在控制器1900中，而且外部装置检查器1100、输入单元1200、信息提供器1300、条件信息获得器1400、控制信息获得器1500、控制命令提供器1600和控制器1900可以由一个处理器来驱动。然而，示例性实施例不限于此。
图11是根据示例性实施例的条件信息获得器1400的框图。
如图11所示，条件信息获得器1400可以包括用户意图确定器1410、装置控制条件确定器1420、控制信息生成器1430和控制信息接收器1440。
用户意图确定器1410通过分析用户输入信息来确定用户的意图。例如，用户意图确定器1410可以使用各种自然语言分析方法。例如，用户意图确定器1410可以通过使用诸如词素分析、语法分析或命名实体识别的自然语言处理，来分析作为用户输入信息的文本数据。如果用户输入信息是语音数据，则用户意图确定器1410可以将语音数据变换成文本数据，并可以分析变换后的文本数据。用户意图确定器1410可以通过分析用户输入信息来生成用户意图信息。例如，如果用户输入信息是“明天如果不下雨就在7:00唤醒我”，则用户意图确定器1410可以生成用户意图信息，其包括诸如“明天，7:00”时间信息、诸如“如果不下雨”的条件信息、以及诸如“唤醒我”的操作信息。可替换地，用户意图确定器1410可以从服务器3000接收由服务器3000生成的用户意图信息。
装置控制条件确定器1420基于用户的意图确定控制外部装置2000的条件。装置控制条件确定器1420可以基于用户意图信息确定控制外部装置2000或设备1000的操作所必须满足的条件。例如，如果用户意图信息包括诸如“明天，7:00”时间信息以及与诸如“如果不下雨”的条件信息相关的信息，则装置控制条件确定器1420可以确定诸如“明天”的时间条件、诸如“晴天，阴天”的天气条件、诸如“设备位置”的地点条件作为控制外部装置2000的条件。可替换地，装置控制条件确定器1420可以从服务器3000接收关于由服务器3000确定的条件的信息。
控制信息生成器1430生成关于设备1000和外部装置2000的控制信息。控制信息生成器1430可以基于条件信息确定条件是否得到满足。如果由设备1000确定的条件得到满足，则控制信息生成器1430可以生成用于操作设备1000或外部装置2000的控制信息。控制信息生成器1430可以基于包括在用户意图中的操作信息和外部装置2000的装置信息，生成用于操作设备1000或外部装置2000的控制信息。控制信息可以包括关于外部装置2000和设备1000中的至少一个的控制命令，并且控制命令可以按预定的顺序排列。
控制信息接收器1440可以从服务器3000接收由服务器3000生成的控制信息。
图12是根据示例性实施例的设备1000的框图。
移动通信器1001经由诸如3G/4G网络的蜂窝网络与基站执行，例如，通话建立和数据通信。子通信器1002执行用于诸如蓝牙或NFC的短距离通信的功能。广播接收器1003接收数字多媒体广播(DMB)信号。
相机1004包括透镜和用于捕获照片或视频的光学元件。
传感器1005可以包括用于感测设备1000的运动的重力传感器、用于感测光的亮度的照度传感器、用于感测人的接近的接近传感器、用于感测人的运动的运动传感器等。
GPS接收器1006从卫星接收GPS信号。各种服务可以通过使用GPS信号提供给用户。
输入/输出(I/O)单元1010向外部装置2000或用户提供接口，并包括按钮1011、麦克风1012、扬声器1013、振动马达1014、连接器1015和/或键盘1016。
触摸屏1018接收用户的触摸输入。触摸屏控制器1017向控制器1050发送由触摸屏1018接收到的触摸输入。电力供应源1019与电池或外部电力源连接以向设备1000供应电力。
控制器1050通过运行存储在存储器1060中的程序来向外部装置2000提供控制命令。
存储在存储器1060中的程序可以根据它们的功能被分类为多个模块，例如，移动通信模块1061、Wi-Fi模块1062、蓝牙模块1063、DMB模块1064、相机模块1065、传感器模块1066、GPS模块1067、视频播放器模块1068、音频播放器模块1069、电源模块1070、触摸屏模块1071、用户界面(UI)模块1072、和应用模块1073。
大部分模块的功能将被本领域普通技术人员鉴于它们的名称直观地理解，因此这里将只描述应用模块1073。应用模块1073可以通过使用移动通信器1001和子通信器1002来检查与设备1000连接的外部装置2000，并且可以从外部装置2000接收装置信息。应用模块1073可以通过I/O单元1010接收用户输入，并且可以生成用户输入信息。此外，应用模块1073可以经由相机1004、传感器1005或GPS接收器1006直接获得条件信息，或者可以通过使用移动通信器1001和子通信器1002从外部装置2000或单独的服务器(未示出)接收条件信息。此外，应用模块1073可以获得用于控制设备1000和外部装置2000的控制信息。应用模块1073可以根据用户输入信息确定用户的意图，或者可以从服务器3000接收用户意图信息。应用模块1073可以基于用户的意图确定用于控制外部装置2000的条件，或者可以从服务器3000接收关于条件的信息。应用模块1073可以确定条件是否得到满足，并可以生成用于控制设备1000和外部装置2000的控制信息。应用模块1073可以接收由服务器3000生成的控制信息。此外，应用模块1073可以向外部装置2000通过包含在控制信息中的控制命令。
图13是根据示例性实施例的服务器3000的框图。
如图13所示，服务器3000包括输入信息接收器3100、装置信息接收器3200、用户意图确定器3300、条件信息接收器3400、控制信息生成器3500、信息提供器3600、DB 3700、收发器3800和控制器3900。
输入信息接收器3100从设备1000接收用户输入信息。用户输入信息可以包括文本数据和声音数据中的至少一个，但是不限于此。
装置信息接收器3200从设备1000接收外部装置2000的装置信息。装置信息可以包括这样的信息，其包括外部装置2000的标识值、外部装置2000的类型、以及用于控制外部装置2000的命令中的至少一个。
用户意图确定器3300通过分析用户输入信息来确定用户的意图。例如，用户意图确定器3300可以使用各种自然语言分析方法。
条件信息接收器3400从设备1000接收条件信息。条件信息接收器3400可以向设备1000请求条件信息，并且可以从设备1000接收由设备1000获得的条件信息。
控制信息生成器3500生成用于控制设备1000和外部装置2000的控制信息。控制信息生成器3500可以基于用户意图信息、装置信息和条件信息中的至少一个来生成控制信息。控制信息生成器3500可以基于用户输入信息确定用户的意图，可以确定用于控制外部装置2000的条件，并且可以生成控制信息。
信息提供器3600可以向设备1000提供用户意图信息、条件信息和用于控制外部装置2000的控制信息中的至少一个。
DB 3700存储当服务器3000基于用户输入信息根据用户的意图生成用于操作设备1000和外部装置2000的控制信息并向设备1000提供所生成的控制信息时使用的各种类型的信息。
收发器3800向/从设备1000发送和接收当服务器3000基于用户输入信息根据用户的意图生成用于操作设备1000和外部装置2000的控制信息并向设备1000提供所生成的控制信息时使用的各种类型的信息。
控制器3900控制服务器3000的操作，并且以这样的方式控制输入信息接收器3100、装置信息接收器3200、用户意图确定器3300、条件信息接收器3400、控制信息生成器3500、信息提供器3600、DB 3700和收发器3800：使得服务器3000基于用户输入信息根据用户的意图生成用于操作设备1000和外部装置2000的控制信息并向设备1000提供所生成的控制信息。
输入信息接收器3100、装置信息接收器3200、用户意图确定器3300、条件信息接收器3400、控制信息生成器3500和信息提供器3600中的一些或全部可以由软件模块来驱动，但不限于此。输入信息接收器3100、装置信息接收器3200、用户意图确定器3300、条件信息接收器3400、控制信息生成器3500和信息提供器3600中的一些或全部可以是硬件设备。
此外，输入信息接收器3100、装置信息接收器3200、用户意图确定器3300、条件信息接收器3400、控制信息生成器3500和信息提供器3600中的至少一些可以被包括在控制器3900中，而且输入信息接收器3100、装置信息接收器3200、用户意图确定器3300、条件信息接收器3400、控制信息生成器3500、信息提供器3600和控制器3900可以由一个处理器来驱动。然而，示例性实施例不限于此。
示例性实施例可以被实现为记录介质，例如将在计算机中运行的程序模块，其包括计算机可读命令。计算机存储介质可以包括可以由计算机访问的任意可用介质、易失性和非易失性介质以及可拆卸和不可拆卸介质。而且，计算机存储介质可以包括计算机存储介质和通信介质。计算机存储介质包括被设计成存储包括计算机可读命令、数据结构、程序模块或其它数据的信息的易失性和非易失性介质以及可拆卸和不可拆卸介质。通信介质包括计算机可读命令、数据结构、程序模块及其他传输机制，并且包括其它信息传输介质。
虽然已经参考本发明的示范性实施例具体示出并且描述了本发明，但是本领域技术人员将理解的是，在形式和细节上可以在这里进行各种变化而不脱离如以下权利要求定义的本发明的精神和范围。因此，将理解，上面描述的实施例不是对本发明的范围的限制。例如，以单个类型描述的每个元件可以以分布式方式运行，而且以分布式描述的元件也可以以集成形式运行。
本发明的范围由权利要求而非具体实施例来指示，并且应当理解，权利要求、及从权利要求的概念中导出的所有修改或修改形式被包括在本发明的范围中。
示例性实施例可以被实现为包括计算机可执行命令的介质，例如，计算机可执行程序模块。计算机可读介质可以是可以由计算机访问的任意介质，并且可以包括易失性和非易失性介质以及可拆卸和不可拆卸介质。计算机可读介质可以包括计算机记录介质和/或通信介质。计算机记录介质包括通过使用任意方法或技术存储诸如计算机可读命令、数据结构、程序模块或其它数据的信息来具体实现的易失性和非易失性介质以及可拆卸和不可拆卸介质。通信介质可以包括计算机可读命令、数据结构、程序模块或其它传输机制，并且包括任意信息传送介质。
然而，示例性实施例可以以许多不同形式具体实现，并且不应被解释为限于这里阐述的实施例；而是，所描述的示例性实施例被提供以使得本公开将是彻底的和完整的，并且将向本领域技术人员充分地传达本发明构思。例如，单个组件可以被分离成多个组件，而多个组件可以组合成一个部件。
前述示例性示范性实施例和优点仅是示例性的，并且不应被解释为限制。本教导可以容易地应用于其它类型的装置。示例性实施例的描述旨在说明性的，而不是限制权利要求的范围，而且许多替换、修改和变化对本领域技术人员将是显而易见的。

Claims (1)

1.一种控制外部装置的方法，所述方法包括：
接收用户输入信息；
获得关于多个外部装置的装置信息；
从所述多个外部装置中选择可基于用户输入信息进行通信和控制的一个或多个外部装置；
基于用户的输入和所述装置信息生成用于控制所述一个或多个外部装置的控制信息；和
将控制命令发送到一个或多个外部装置，所述控制命令是基于所接收的控制信息生成的。
CN201910106706.9A 2012-09-10 2013-09-10 控制与设备连接的外部装置的系统和方法 Active CN109743403B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2012-0099739 2012-09-10
KR1020120099739A KR102177830B1 (ko) 2012-09-10 2012-09-10 디바이스에 연결된 외부 기기를 제어하는 시스템 및 방법
PCT/KR2013/008143 WO2014038916A1 (en) 2012-09-10 2013-09-10 System and method of controlling external apparatus connected with device
CN201380047103.7A CN104620597B (zh) 2012-09-10 2013-09-10 控制与设备连接的外部装置的系统和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201380047103.7A Division CN104620597B (zh) 2012-09-10 2013-09-10 控制与设备连接的外部装置的系统和方法

Publications (2)

Publication Number Publication Date
CN109743403A true CN109743403A (zh) 2019-05-10
CN109743403B CN109743403B (zh) 2022-03-15

Family

ID=49161988

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201380047103.7A Active CN104620597B (zh) 2012-09-10 2013-09-10 控制与设备连接的外部装置的系统和方法
CN201910106706.9A Active CN109743403B (zh) 2012-09-10 2013-09-10 控制与设备连接的外部装置的系统和方法
CN201910106708.8A Active CN109819041B (zh) 2012-09-10 2013-09-10 控制与设备连接的外部装置的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201380047103.7A Active CN104620597B (zh) 2012-09-10 2013-09-10 控制与设备连接的外部装置的系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910106708.8A Active CN109819041B (zh) 2012-09-10 2013-09-10 控制与设备连接的外部装置的系统和方法

Country Status (8)

Country Link
US (5) US9842490B2 (zh)
EP (2) EP4020421B1 (zh)
KR (1) KR102177830B1 (zh)
CN (3) CN104620597B (zh)
AU (2) AU2013313760A1 (zh)
BR (1) BR112015004796A2 (zh)
RU (1) RU2592062C1 (zh)
WO (1) WO2014038916A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101990040B1 (ko) * 2013-02-14 2019-06-18 엘지전자 주식회사 이동 단말기 및 그것을 이용한 클라우드 시스템
CN107208920B (zh) * 2015-03-27 2019-09-27 三菱电机株式会社 终端装置、空调设备以及可穿戴终端
WO2016159977A1 (en) * 2015-03-31 2016-10-06 Hewlett-Packard Development Company, L.P. Peripheral device operation
DE102015223229A1 (de) * 2015-05-11 2016-11-17 Volkswagen Aktiengesellschaft Verfahren zur Kommunikation zwischen einer Kommunikationseinheit eines Geräts und einer externen Kommunikationseinheit über eine mobile Telefoneinheit
KR102549407B1 (ko) 2015-10-14 2023-06-30 삼성전자주식회사 전자장치 및 그 제어방법
CN105425957A (zh) * 2015-11-06 2016-03-23 百度在线网络技术（北京）有限公司 终端设备控制方法和装置
JP6750260B2 (ja) * 2016-03-15 2020-09-02 オムロン株式会社 情報処理装置およびエージェントシステム
DE102016118888A1 (de) * 2016-10-05 2018-04-05 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren und Vorrichtung zur Steuerung eines Fahrzeugs
KR20180047323A (ko) 2016-10-31 2018-05-10 엘지전자 주식회사 정수기의 제어장치, 정수기 및 정수기의 제어시스템
EP4220630A1 (en) * 2016-11-03 2023-08-02 Samsung Electronics Co., Ltd. Electronic device and controlling method thereof
RU2648564C1 (ru) * 2017-05-25 2018-03-26 Общество с ограниченной ответственностью "Новэлект" Способ и система для управления устройствами и контроля устройств
CN107863103A (zh) * 2017-09-29 2018-03-30 珠海格力电器股份有限公司 一种设备控制方法、装置、存储介质及服务器
CN109903769A (zh) * 2017-12-08 2019-06-18 Tcl集团股份有限公司 一种终端设备交互的方法、装置和终端设备
CN110069025B (zh) * 2018-01-24 2022-06-07 可赛尔内存股份有限公司 分析计算机周边生态复杂信息的控制系统
KR20200013162A (ko) 2018-07-19 2020-02-06 삼성전자주식회사 전자 장치 및 그의 제어 방법
KR102597031B1 (ko) * 2018-08-14 2023-11-01 삼성전자주식회사 전자장치, 서버 및 전자장치의 제어방법
KR20200048701A (ko) * 2018-10-30 2020-05-08 삼성전자주식회사 사용자 특화 음성 명령어를 공유하기 위한 전자 장치 및 그 제어 방법
US11881220B2 (en) 2019-05-15 2024-01-23 Lg Electronics Inc. Display device for providing speech recognition service and method of operation thereof
CN110246495A (zh) * 2019-06-28 2019-09-17 联想(北京)有限公司 信息处理方法和电子设备
US11508375B2 (en) * 2019-07-03 2022-11-22 Samsung Electronics Co., Ltd. Electronic apparatus including control command identification tool generated by using a control command identified by voice recognition identifying a control command corresponding to a user voice and control method thereof
JP7264071B2 (ja) * 2020-01-23 2023-04-25 トヨタ自動車株式会社 情報処理システム、情報処理装置、及びプログラム
US20220084294A1 (en) * 2020-09-15 2022-03-17 Facebook Technologies, Llc Enhanced artificial reality systems
US11721339B2 (en) * 2020-09-27 2023-08-08 Stryker Corporation Message filtering based on dynamic voice-activated rules
KR20220064056A (ko) * 2020-11-11 2022-05-18 삼성전자주식회사 오디오 신호의 처리에 관한 태스크를 관리하는 전자 장치 및 그 작동 방법
US12112753B2 (en) 2021-02-19 2024-10-08 Samsung Electronics Co., Ltd. Method and mobile device for processing command based on utterance input
KR102641869B1 (ko) * 2023-07-14 2024-03-04 캠플러스(주) 스마트홈 구축용 카메라 및 그 카메라의 동작 제어 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030187646A1 (en) * 2002-03-27 2003-10-02 Sony Corporation Method of and apparatus for configuring and controlling home entertainment systems through natural language and spoken commands using a natural language server
CN101478403A (zh) * 2009-01-15 2009-07-08 中山大学 一种具有安全机制的UPnP数字家庭网关装置
US20120127012A1 (en) * 2010-11-24 2012-05-24 Samsung Electronics Co., Ltd. Determining user intent from position and orientation information

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8078431B2 (en) 1992-11-17 2011-12-13 Health Hero Network, Inc. Home power management system
US6229430B1 (en) * 2000-02-18 2001-05-08 Mary Smith Dewey System and method for alerting a user
US8531276B2 (en) * 2000-03-15 2013-09-10 Logitech Europe S.A. State-based remote control system
US6373374B1 (en) * 2001-02-28 2002-04-16 Siemens Information And Communication Mobile, Llc Cordless phone system with speech recognition alarm
AU2002314933A1 (en) * 2001-05-30 2002-12-09 Cameronsound, Inc. Language independent and voice operated information management system
JP4929537B2 (ja) * 2001-06-29 2012-05-09 住友化学株式会社 易剥離性フィルム
US6940395B2 (en) * 2001-06-29 2005-09-06 Intel Corporation System and method for creating an adjusted alarm time
KR100442282B1 (ko) 2002-08-29 2004-07-30 엘지전자 주식회사 홈 네트워크 시스템 및 그 제어방법
KR100506168B1 (ko) 2003-03-11 2005-08-05 현대통신 주식회사 원격에서 음성인식을 이용한 홈오토메이션/홈네트웍 상태감시 장치 및 그방법
JP2005086473A (ja) * 2003-09-09 2005-03-31 Sanyo Electric Co Ltd コントローラ、プログラムおよび記憶媒体
KR20050045698A (ko) 2003-11-12 2005-05-17 삼성전자주식회사 이동 통신 단말기의 음성 인식을 이용한 알람 시각 설정방법
US20060293608A1 (en) * 2004-02-27 2006-12-28 Axon Sleep Research Laboratories, Inc. Device for and method of predicting a user's sleep state
TW200629806A (en) * 2004-10-14 2006-08-16 Lagotek Corp Distributed wireless home and commercial electrical automation systems
MX2007008475A (es) * 2005-01-14 2007-10-08 Lord Corp Montante de motor y elemento elastomerico del mismo.
WO2007094143A1 (ja) * 2006-02-16 2007-08-23 Pioneer Corporation 情報処理装置、その方法、そのプログラム、そのプログラムを記録した記録媒体、ｄｊ用再生装置、および再生装置
US20090183070A1 (en) * 2006-05-11 2009-07-16 David Robbins Multimodal communication and command control systems and related methods
US20070268360A1 (en) * 2006-05-19 2007-11-22 Sony Ericsson Mobile Communications Ab Remote control programming system and method
US8010369B2 (en) * 2007-10-30 2011-08-30 At&T Intellectual Property I, L.P. System and method for controlling devices that are connected to a network
JP2009110300A (ja) 2007-10-30 2009-05-21 Nippon Telegr & Teleph Corp <Ntt> 情報家電ネットワーク制御装置、情報家電ネットワーク制御システム、情報家電ネットワーク制御方法、およびプログラム
US8000694B2 (en) 2008-09-18 2011-08-16 Apple Inc. Communications device having a commute time function and methods of use thereof
KR20100086837A (ko) 2009-01-23 2010-08-02 삼성전자주식회사 디바이스 기능 및 상태를 고려한 디바이스 통합 제어 방법 및 장치
CA2785956A1 (en) 2009-03-20 2010-09-23 Peel Technologies, Inc. Device-based control system
US8660530B2 (en) * 2009-05-01 2014-02-25 Apple Inc. Remotely receiving and communicating commands to a mobile device for execution by the mobile device
US8509954B2 (en) * 2009-08-21 2013-08-13 Allure Energy, Inc. Energy management system and method
AR078235A1 (es) 2009-08-13 2011-10-26 Vago Andras Dispositivo inteligente periferico y sistema para la verificacion de individuos y/o documentos mediante un servicio de autenticacion seguro multifuncional con un servicio de almacenamiento de datos
US20110187864A1 (en) * 2010-01-29 2011-08-04 Eric J. Snider Site surveillance for remote monitoring on portable devices
JP2011181063A (ja) 2010-02-02 2011-09-15 Ricoh Co Ltd 画像形成装置、入力制御方法、入力制御プログラム、及び記憶媒体
CA2715146C (en) * 2010-09-17 2011-11-22 Guest Tek Interactive Entertainment Ltd. Configuration apparatus and method of configuring one or more devices having hidden configuration settings
US20120092171A1 (en) * 2010-10-14 2012-04-19 Qualcomm Incorporated Mobile device sleep monitoring using environmental sound
US8195194B1 (en) * 2010-11-02 2012-06-05 Google Inc. Alarm for mobile communication device
KR20120072445A (ko) 2010-12-24 2012-07-04 주식회사 케이티 홈 허브에 연결된 댁내 가전기기의 원격 제어 시스템 및 그 방법
US9030405B2 (en) * 2011-02-04 2015-05-12 Invensense, Inc. High fidelity remote controller device for digital living room
KR101764210B1 (ko) 2011-02-14 2017-08-14 삼성전자 주식회사 휴대 단말기의 원격 제어 방법 및 시스템
US20120226981A1 (en) * 2011-03-02 2012-09-06 Microsoft Corporation Controlling electronic devices in a multimedia system through a natural user interface
US20120300598A1 (en) * 2011-05-26 2012-11-29 Rebecca Michelle Murray Alarm clock with adjustment function
US9146541B2 (en) * 2011-06-29 2015-09-29 Rolex S.A. Device for resetting to a predetermined position an indicator member indicative of a parameter connected with time
TW201308087A (zh) * 2011-08-02 2013-02-16 Hon Hai Prec Ind Co Ltd 家用電器控制方法及系統
RU119473U1 (ru) 2012-04-23 2012-08-20 Общество с ограниченной ответственностью "ТЕХНОТРОНИКС" Управляющая система
US9332392B1 (en) * 2012-06-11 2016-05-03 Google Inc. Remotely activating a combination of mobile device functions

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030187646A1 (en) * 2002-03-27 2003-10-02 Sony Corporation Method of and apparatus for configuring and controlling home entertainment systems through natural language and spoken commands using a natural language server
CN101478403A (zh) * 2009-01-15 2009-07-08 中山大学 一种具有安全机制的UPnP数字家庭网关装置
US20120127012A1 (en) * 2010-11-24 2012-05-24 Samsung Electronics Co., Ltd. Determining user intent from position and orientation information

Also Published As

Publication number Publication date
EP2706418B1 (en) 2023-08-30
KR102177830B1 (ko) 2020-11-11
US20140070925A1 (en) 2014-03-13
US20210049899A1 (en) 2021-02-18
EP2706418A1 (en) 2014-03-12
US20190362624A1 (en) 2019-11-28
CN109819041A (zh) 2019-05-28
US10460597B2 (en) 2019-10-29
US20180061223A1 (en) 2018-03-01
BR112015004796A2 (pt) 2017-08-08
AU2013313760A1 (en) 2015-02-19
CN109743403B (zh) 2022-03-15
CN109819041B (zh) 2022-07-01
KR20140033654A (ko) 2014-03-19
AU2016204455B2 (en) 2017-06-29
CN104620597A (zh) 2015-05-13
RU2592062C1 (ru) 2016-07-20
WO2014038916A1 (en) 2014-03-13
EP4020421A1 (en) 2022-06-29
US9842490B2 (en) 2017-12-12
EP2706418C0 (en) 2023-08-30
EP4020421B1 (en) 2024-07-10
AU2016204455A1 (en) 2016-07-21
CN104620597B (zh) 2019-03-08
US20190362625A1 (en) 2019-11-28
US11651676B2 (en) 2023-05-16
EP4020421C0 (en) 2024-07-10
US10720046B2 (en) 2020-07-21
US10847024B2 (en) 2020-11-24

Similar Documents

Publication Publication Date Title
CN104620597B (zh) 控制与设备连接的外部装置的系统和方法
US10991462B2 (en) System and method of controlling external apparatus connected with device
WO2021018154A1 (zh) 信息表示方法及装置
KR102175165B1 (ko) 디바이스에 연결된 외부 기기를 제어하는 시스템 및 방법
CN102884822B (zh) 用于确定用户场景的方法和装置
Santos et al. Providing user context for mobile and social networking applications
WO2018157721A1 (zh) 信息获取方法、提供方法、装置及系统、存储介质
KR20190123706A (ko) 스마트 휴대 기기를 이용한 스마트 기기와 로봇의 개인 맞춤형 서비스 운용 시스템 및 방법
JP2018190413A (ja) ユーザ発話の表現法を把握して機器の動作やコンテンツ提供範囲を調整し提供するユーザ命令処理方法およびシステム
CN108306851B (zh) 信息获取方法、提供方法、装置及系统
WO2023179490A1 (zh) 应用推荐方法和电子设备
KR20200126960A (ko) 디바이스에 연결된 외부 기기를 제어하는 시스템 및 방법
US11640829B2 (en) Method for embedding and executing audio semantics
KR102212363B1 (ko) 백팩 장치 및 이를 지원하는 서비스 시스템
WO2014063320A1 (zh) 一种语义信息发送、接收方法、终端、服务器及系统
CN109857953A (zh) 音视频分离方法、装置、电子设备及可读存储介质
CN116704083A (zh) 动作合成方法、装置、终端和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant