CN115516822B - 智能家电装置以及方法 - Google Patents

智能家电装置以及方法 Download PDF

Info

Publication number
CN115516822B
CN115516822B CN202080100032.2A CN202080100032A CN115516822B CN 115516822 B CN115516822 B CN 115516822B CN 202080100032 A CN202080100032 A CN 202080100032A CN 115516822 B CN115516822 B CN 115516822B
Authority
CN
China
Prior art keywords
information
object device
control instruction
smart home
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080100032.2A
Other languages
English (en)
Other versions
CN115516822A (zh
Inventor
金慧贞
金建佑
刘京勋
朴炳冠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN115516822A publication Critical patent/CN115516822A/zh
Application granted granted Critical
Publication of CN115516822B publication Critical patent/CN115516822B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2807—Exchanging configuration information on appliance services in a home automation network
    • H04L12/281—Exchanging configuration information on appliance services in a home automation network indicating a format for calling an appliance service function in a home automation network
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C23/00—Non-electrical signal transmission systems, e.g. optical systems
    • G08C23/04—Non-electrical signal transmission systems, e.g. optical systems using light waves, e.g. infrared
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/18—Multiprotocol handlers, e.g. single devices capable of handling multiple protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/40—Remote control systems using repeaters, converters, gateways
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/40—Remote control systems using repeaters, converters, gateways
    • G08C2201/42—Transmitting or receiving remote control signals via a network
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/93—Remote control using other portable devices, e.g. mobile phone, PDA, laptop

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Selective Calling Equipment (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种智能家电装置，包括：通信部，从服务器接收格式化信息，所述格式化信息用于控制至少一个对象装置中的每一个；以及处理器，如果从所述输入部输入所述对象装置中的第一对象装置的控制指令，则利用所述格式化信息将所述控制指令转换为与所述第一对象装置对应的格式，并将所转换的控制指令提供给所述第一对象装置。

Description

智能家电装置以及方法
技术领域
本发明涉及电子装置，尤其涉及一种能够通过与服务器连接来控制至少一个电子设备的智能家电装置以及用于控制所述智能家电装置的方法。
背景技术
随着通信技术的发展，不断地出现即使不直接操作家庭中使用的电子设备(例如，吸尘器、洗衣机、智能手机、空气净化器、TV、IoT等)，也能够利用其他智能设备来控制该电子设备以执行用户所希望的动作的技术。例如，如果用户通过智能手机向电子设备请求(request)控制指令，则该控制指令可以被传送到服务器并在服务器被加工，电子设备从服务器接收被加工的控制指令并执行特定指令。
另一方面，存在如下的问题，为了如上所述地利用智能设备来控制其他电子装置，需要向服务器传送针对电子设备的控制指令，并且在服务器内加工该控制指令。
发明内容
所要解决的问题
本发明的目的在于，在利用智能家电装置来控制对象装置(其他电子设备)时，不向服务器传送用于控制对象装置的控制指令，而是利用智能家电装置中存储的格式化信息来直接执行对象装置的控制。
本发明的目的还在于，在智能家电装置、第一对象装置以及第二对象装置可获取的信息彼此不同的情况下，由第二对象装置来获取智能家电装置和第一对象装置未能获取的信息，并利用获取到的信息来控制第一对象装置。
解决问题的技术方案
根据本发明一实施例，智能家电装置可以包括：通信部，从服务器接收格式化信息，所述格式化信息用于控制至少一个对象装置中的每一个；以及处理器，如果接收到所述对象装置中的第一对象装置的控制指令，则所述处理器利用所述格式化信息将所述控制指令转换为与所述第一对象装置对应的格式，并将所转换的控制指令提供给所述第一对象装置。
格式化信息可以包含对象装置的种类、对象装置和所述智能家电装置的通信协议、用于对象装置注册和与对象装置连接的指令信息、关于对象装置要执行的动作的信息以及语言信息中的至少一种。
智能家电装置还可以包括输出部，如果所述处理器接收到用于控制所述第一对象装置的格式化信息，则所述处理器可以输出用于注册所述第一对象装置的注册信息，并将用于注册所述第一对象装置的请求传送给所述第一对象装置。
用于注册所述第一对象装置的注册信息可以包含关于第一对象装置的种类和所述第一对象装置要执行的动作的信息。
另外，如果所述处理器接收到用于注册所述第一对象装置的请求，则所述处理器可以输出关于所述第一对象装置的种类和所述第一对象装置要执行的动作的信息。
另外，如果从服务器接收到用于控制第二对象装置的格式化信息，
则所述处理器可以输出用于注册所述第二对象装置的注册信息，并将用于注册所述第二对象装置的请求传送给所述第二对象装置，如果所述第二对象装置的请求被允许，则所述处理可以输出关于所述第二对象装置的种类和所述第二对象装置要执行的动作的信息。此时，所述第一对象装置和所述第二对象装置可以彼此不同。
智能家电装置还可以包括感测部。所述第一对象装置的控制指令可以向所述第一对象装置输出由所述感测部获取的感测信息、从所述第一对象装置获取的第一感测信息以及从所述第二对象装置获取的第二感测信息中的至少一种信息。
此时，所述感测信息、所述第一感测信息以及所述第二感测信息可以彼此不同。
所述感测信息可以包含温度信息、湿度信息中的任一种，所述第一感测信息可以包含图像信息、空间信息中的任一种，所述第二感测信息可以包含空气质量信息。
所述智能家电装置可以包括IoT、冰箱、TV、智能手机、家用机器人中的至少一种。此外，所述对象装置可以包括可由所述智能家电装置控制的小物联设备(IoST)、冰箱、吸尘器，TV、空调机、空气净化器中的至少一种。
根据本发明的家电引擎系统，可以包括：服务器；智能家电装置，与服务器通信；以及至少一个对象装置，与所述智能家电装置通信；所述家电设备可以包括处理器，如果接收到所述对象装置中的第一对象装置的控制指令，则所述处理器将所述第一对象装置的控制指令变更为与第一对象装置对应的格式，并将变更的控制指令提供给所述第一对象装置，第一对象装置可以执行与由所述智能家电装置提供的控制指令对应的动作。
在存在复数个对象装置的情况下，所述服务器可以将用于控制复数个所述对象装置中的每一个的格式化信息传送给所述智能家电装置。
所述服务器可以将用于控制可注册的对象装置的格式化信息提供给所述智能家电装置。
所述对象装置可以基于格式化信息执行与变更的控制指令对应的动作。
技术效果
由于本发明能够利用智能家电装置来控制家庭内的至少一个对象装置，因此能够建立有效的家电引擎系统(home engine system)。
由于本发明利用智能家电装置中包括的格式化信息来生成被转换的控制指令，因此无需通过向服务器传送用于控制对象装置的控制指令并进行加工，从而能够提高用户信息安全。
由于本发明在从服务器更新智能家电装置的格式化信息的情况下，无需从服务器升级与各个对象装置对应的固件，因此能够提供用户的使用便利。
附图说明
图1示出本发明一实施例的人工智能装置100。
图2示出本发明一实施例的人工智能服务器200。
图3示出本发明一实施例的人工智能系统1。
图4示出本发明一实施例的AI装置。
图5示出本发明一实施例的家电引擎系统2。
图6是示出本发明一实施例的智能家电装置和对象装置的动作的图。
图7是示出本发明一实施例的服务器、智能家电装置以及对象装置的动作的图。
图8是示出本发明一实施例的智能家电装置和对象装置的动作过程的图。
图9是示出本发明一实施例的智能家电装置和对象装置的动作的图。
图10是示出本发明一实施例的智能家电装置和对象装置的动作的图。
具体实施方式
下面，参照附图对本说明书中公开的实施例进行详细的说明，并且对与图号无关地对相同或类似的结构要素赋予了相同的附图标记，并将省去对其重复的说明。在以下说明中使用的针对结构要素的接后缀“模块”及“部”仅是考虑到便于说明书的撰写而被赋予或混用，其自身并不带有相互区分的含义或作用。并且，在对本说明书揭示的实施例进行说明的过程中，如果判断为对于相关的公知技术的具体说明会导致混淆本说明书所揭示的实施例的技术思想，则将省去对其详细的说明。并且，所附的附图仅是为了容易理解本说明书所揭示的实施例，不应由所附的附图来限定本说明书所披露的技术思想，而是应当涵盖了本发明的思想及技术范围中所包括的所有变更、均等物乃至替代物。
“第一”、“第二”等包含序数的术语可用于说明多样的结构要素，但是所述结构要素并不由所述术语所限定。所述术语仅是用于将一个结构要素与其他结构要素区分的目的来使用。
如果提及到某个结构要素“连接(connected)”或“耦合(coupled)”于另一结构要素，则应理解为可能是直接连接于或耦合于该另一结构要素，但也可能他们之间存在有其他结构要素。反之，如果提及到某个结构要素“直接连接”或“直接耦合”于另一结构要素，则应当被理解为是他们之间不存在有其他结构要素。
<人工智能(AI：Artificial Intelligence)>
人工智能是指对人工智能或者能够制造人工智能的方法论进行研究的领域，机器学习(Machine Learning)是指定义在人工智能领域中处理的多样的问题并研究解决该问题的方法论的领域。机器学习也可以被定义为对某作业通过持续的经验来提高该作业的性能的算法。
人工神经网络(ANN：Artificial Neural Network)是在机器学习中使用的模型，可以是指由通过突触的结合而形成网络的人工神经元(节点)构成的具有解决问题能力的整个模型。人工神经网络可以由不同层的神经元之间的连接模式、更新模型参数的学习过程、生成输出值的激活函数(Activation Function)来定义。
人工神经网络可以包括输入层(Input Layer)、输出层(Output Layer)以及选择性地包括一个以上的隐藏层(Hidden Layer)。各层可以包括一个以上的神经元，人工神经网络可以包括连接神经元和神经元的突触。在人工神经网络中，各个神经元输出通过突触输入的输入信号、权重值、对于偏转的激活函数的函数值。
模型参数是指通过学习确定的参数，可以包括突触连接的权重值和神经元的偏转等。此外，超参数是指机器学习算法中需要在学习之前设定的参数，其包括学习率(Learning Rate)、反复次数、迷你配置大小、初始化函数等。
可以将人工神经网络的学习的目的被视为是确定用于使损失函数最小化的模型参数。损失函数可以在人工神经网络的学习过程中被利用为用于确定最佳的模型参数的指标。
根据学习方式，机器学习可以分类为监督学习(Supervised Learning)、无监督学习(Unsupervised Learning)、强化学习(Reinforcement Learning)。
监督学习可以是指在给定针对学习数据的标签(label)的状态下，使人工神经网络进行学习的方法，标签可以是指在学习数据被输入到人工神经网络的情况下，人工神经网络应该推论出的正解(或结果值)。无监督学习可以是指在未给定针对学习数据的标签的状态下使人工神经网络进行学习的方法。强化学习可以是指被学习为在某环境中被定义的代理在各个状态下选择使累积补偿最大化的行动或行动顺序的学习方法。
在人工神经网络中，也可以将利用包括复数个隐藏层的深层神经网络(DNN：DeepNeural Network)实现的机器学习称作深度学习(Deep Learning)，深度学习是机器学习的一部分。以下，以机器学习包含深度学习的含义来使用。
<机器人(Robot)>
机器人可以是指通过自身具备的能力来自动处理或运转所给定的事情的机器。尤其，可以将具有识别环境、自行进行判断并执行动作的功能的机器人称作智能机器人。
根据使用目的或领域，机器人可以分类为工业用、医疗用、家用、军事用等。
机器人可以通过设置有包括致动器或马达的驱动部，来执行使机器人关节移动的等多样的物理动作。另外，可移动的机器人的驱动部包括轮、制动器、螺旋桨等，从而能够通过驱动部来在地面上行驶或者在空中飞行。
<自主行驶(Self-Driving)>
自主行驶是指自动行驶的技术，自主行驶车辆是指在没有用户的操作的情况下或者以最少程度的用户操作来行驶的车辆(Vehicle)。
例如，自主行驶可以包括保持行驶中的车道的技术、如自适应巡航控制的自动调节速度的技术、沿规定的路径自动行驶的技术、在设定了目的地的情况下自动设定路径并行驶的技术等。
车辆可以包括仅具有内燃机的汽车、具有内燃机和电动电机的混合动力汽车以及仅具有电动电机的电动汽车，此外，除了汽车之外还可以包括火车、摩托车等。
此时，可以将自主行驶车辆视为具有自主行驶功能的机器人。
<扩展现实(XR：eXtended Reality)>
扩展现实是虚拟现实(VR：Virtual Reality)、增强现实(AR：Augmented Reality)以及混合现实(MR：Mixed Reality)的总称。VR技术是仅以CG影像提供现实世界的客体或背景等的计算机图形技术，AR技术是在实际事物影像上提供制作成虚拟的CG影像的计算机图形技术，MR技术是将虚拟客体混合并结合于现实世界而提供的计算机图形技术。
从将现实客体和虚拟客体一起显示的方面来看，MR技术与AR技术相似。但是，在AR技术中虚拟客体以弥补现实客体的形态来使用，而在MR技术中虚拟客体和现实客体以同等的性质来使用。
XR技术可以应用于头戴式显示器(Head-Mount Display，HMD)、平视显示器(Head-Up Display)、手机、平板PC、笔记本计算机、台式计算机、TV、数字标牌等，可以将应用了XR技术的装置称作XR装置(XR Device)。
图1示出本发明一实施例的人工智能装置100。
AI装置100可以由如TV、投影仪、手机、智能手机、台式计算机、笔记本计算机、数字广播用终端、个人数字助理(personal digital assistants，PDA)、便携式多媒体播放器(portable multimedia player，PMP)、导航、平板PC、可穿戴装置、机顶盒(STB：Set topbox)、数字多媒体广播(Digital Multimedia Broadcasting，DMB)接收器、收音机、洗衣机、冰箱、台式计算机、数字标牌、机器人、车辆等的固定设备或可移动的设备等实现。
参照图1，终端100可以包括通信部110、输入部120、学习处理器130、检测部140、输出部150、存储器170以及处理器180等。
通信部110可以利用有线无线通信技术来与其他AI装置100a至100e或AI服务器200等外部装置收发数据。例如，通信部110可以与外部装置收发传感器信息、用户输入、学习模型、控制信号等。
此时，通信部110利用的通信技术有GSM(Global System for Mobilecommunication)、CDMA(Code Division Multi Access)、长期演进(Long TermEvolution)、5G、无线局域网(Wireless LAN)、无线高保真(Wireless-Fidelity)、蓝牙(Bluetooth)、射频识别(Radio Frequency Identification)、红外线通信(Infrared DataAssociation，IrDA)、紫蜂(ZigBee)、近场通信(Near Field Communication)等。
输入部120可以获取多样的种类的数据。
此时，输入部120可以包括用于影像信号输入的摄像头、用于接收音频信号的麦克风、用于输入来自用户的信息的用户输入部等。在此，也可以将摄像头或麦克风视为传感器，并将由摄像头或麦克风获取的信号称作感测数据或传感器信息。
输入部120可以利用用于模型学习的学习数据和学习模型来获取在获取到输出时要使用的输入数据等。输入部120也可以获取未加工的输入数据，在此情况下，处理器180或学习处理器130可以对输入数据作为预处理提取输入特征(input feature)。
学习处理器130可以利用学习数据使由人工神经网络构成的模型进行学习。在此，可以将得到学习的人工神经网络称作学习模型。学习模型可以在对不是学习数据的新的输入数据推论结果值时使用，推论出的值可以用作用于执行某个动作的判断的基础。
此时，学习处理器130可以与AI服务器200的学习处理器240一起执行AI处理。
此时，学习处理器130可以包括已集成于AI装置100或实现的存储器。或者，学习处理器130也可以通过使用存储器170或与AI装置100直接结合的外部存储器或保持在外部装置的存储器来实现。
检测部140可以利用多样的传感器来获取AI装置100的内部信息、AI装置100的周边环境信息以及用户信息中的至少一种。
此时，检测部140中包括的传感器有接近传感器、照度传感器、加速度传感器、磁传感器、陀螺仪传感器、惯性传感器、RGB传感器、IR传感器、指纹识别传感器、超声波传感器、光学传感器、麦克风、激光雷达、雷达等。
输出部150可以产生与视觉或听觉或触觉等相关的输出。
此时，输出部150可以包括输出视觉信息的显示部、输出听觉信息的扬声器、输出触觉信息的触觉模块等。
存储器170可以存储支持AI装置100的多样的功能的数据。例如，存储器170可以存储由输入部120获取到的输入数据、学习数据、学习模型、学习履历等。
处理器180可以基于通过使用数据分析算法或者机器学习算法来确定或生成的信息，来确定AI装置100的至少一个可运行的动作。此外，处理器180可以执行通过控制AI装置100的结构要素确定的动作。
为此，处理器180可以请求或搜索或接收或使用学习处理器130或者存储器170的数据，并且可以将AI装置100的结构要素控制为，使其执行在所述至少一个可运行的动作中被预测到的动作或者被判断为优选的动作。
此时，在为了执行所确定的动作而需要处理器180与外部装置联接的情况下，处理器180可以生成用于控制外部装置的控制信号，并将所生成的控制信号传送给相应的外部装置。
处理器180可以从用户输入获取意图信息，并基于获取到的意图信息来确定用户的要求事项。
此时，处理器180可以利用用于将语音输入转换为字符串的STT(Speech To Text)引擎或者用于获取自然语言的意图信息的自然语言处理(NLP：Natural LanguageProcessing)引擎中的至少一种来获取与用户的输入相应的意图信息。
此时，STT引擎以及NLP引擎中的至少一种的至少一部分可以由按照机器学习算法学习的人工神经网络构成。并且，STT引擎以及NLP引擎中的至少一种可以是通过学习处理器130来进行的学习，或者通过AI服务器的学习处理器240来进行的学习，或者通过他们的分散处理来进行的学习。
处理器180可以收集包括AI装置100的动作内容或者针对动作的用户的反馈等的履历信息并存储于存储器170或学习处理器130，或者传送给AI服务器200等外部装置。收集到的履历信息可以在更新学习模型时使用。
为了驱动存储器170中存储的应用程序，处理器180可以控制AI装置100的结构要素中的至少一部分。进一步，为了驱动所述应用程序，处理器180可以通过将AI装置100中包括的结构要素中的两个以上彼此组合来使其进行动作。
图2示出本发明一实施例的人工智能服务器200。
参照图2，AI服务器200可以是指利用机器学习算法使人工神经网络进行学习或利用得到学习的人工神经网络的装置。在此，AI服务器200可以由复数个服务器构成并执行分散处理，也可以被定义为5G网络。此时，AI服务器200也可以作为AI装置100的一部分构成，并一起执行AI处理中的至少一部分。
AI服务器200可以包括通信部210、存储器230、学习处理器240以及处理器260等。
通信部210可以与AI装置100等外部装置收发数据。
存储器230可以包括模型存储部231。模型存储部231可以存储正在通过学习处理器240学习中的或者得到学习的模型(或者人工神经网络231a)。
学习处理器240可以利用学习数据使人工神经网络231a进行学习。学习模型可以在搭载于人工神经网络的AI服务器200的状态下使用，或者也可以搭载在AI装置100等外部装置使用。
学习模型可以通过硬件或软件或硬件和软件的组合来实现。在学习模型的一部分或全部以软件实现的情况下，构成学习模型的一个以上的指令(instruction)可以被存储在存储器230中。
处理器260可以利用学习模型对新的输入数据推论结果值，并生成基于推论出的结果值的响应或控制指令。
图3示出本发明一实施例的人工智能系统1。
参照图3，在AI系统1在中，AI服务器200、机器人100a、自主行驶车辆100b、XR装置100c、智能手机100d以及家电100e中的至少一种与云网络10连接。在此，可以将应用了AI技术的机器人100a或自主行驶车辆100b或XR装置100c或智能手机100d或家电100e等称作AI装置100a至100e。
云网络10可以是指构成云计算设施的一部分或者存在于云计算设施内的网络。在此，云网络10可以利用3G网络或4G网络或LTE(Long Term Evolution，长期演进)网络或5G网络等构成。
即，构成AI系统1的各个装置100a至100e、200可以通过云网络10而彼此连接。尤其，虽然各个装置100a至100e、200可以通过基站彼此通信，但是也可以不通过基站而直接彼此通信。
AI服务器200可以包括执行AI处理的服务器和执行针对大数据的运算的服务器。
AI服务器200可以通过云网络10与作为构成AI系统1的AI装置的机器人100a、自主行驶车辆100b、XR装置100c、智能手机100d以及家电100e中的至少一种连接，并且帮助所连接的AI装置100a至100e的AI处理的至少一部分。
此时，AI服务器200可以代替AI装置100a至100e，根据机器学习算法使人工神经网络进行学习，并直接存储学习模型或者向AI装置100a至100e传送。
此时，AI服务器200可以从AI装置100a至100e接收输入数据，利用学习模型对所接收的输入数据推论结果值，生成基于推论出的结果值的响应或控制指令，并向AI装置100a至100e传送。
或者，AI装置100a至100e也可以直接利用学习模型对输入数据推论结果值，并生成基于推论出的结果值的响应或控制指令。
以下，对应用上述技术的AI装置100a至100e的多样的实施例进行说明。在此，可以将图3所示的AI装置100a至100e视为图1所示的AI装置100的具体实施例。
<AI+机器人>
机器人100a可以通过应用AI技术，而实现为引导机器人、搬运机器人、清扫机器人、可穿戴机器人、娱乐机器人、宠物机器人、无人飞行机器人等。
机器人100a可以包括用于控制动作的机器人控制模块，机器人控制模块可以是指以软件模块或用硬件将其实现的芯片。
机器人100a可以利用从多样的种类的传感器获取到的传感器信息来获取机器人100a的状态信息，或者检测(识别)周边环境和客体，或者生成地图数据，或者确定移动路径和行驶计划，或者确定针对用户交互的响应，或者确定动作。
在此，机器人100a可以使用由激光雷达、雷达、摄像头中的至少一种传感器获取到的传感器信息，以确定移动路径和行驶计划。
机器人100a可以利用由至少一个人工神经网络构成的学习模型来执行上述动作。例如，机器人100a可以利用学习模型来识别周边环境和客体，利用识别到的周边环境信息或客体信息来确定动作。在此，学习模型可以是由机器人100a直接学习的，或者从AI服务器200等外部装置学习的。
此时，虽然机器人100a可以直接利用学习模型来生成结果并执行动作，但是也可以向AI服务器200等外部装置传送传感器信息并通过接收根据该传感器信息生成的结果来执行动作。
机器人100a可以利用从地图数据、传感器信息检测出的客体信息或从外部装置获取到的客体信息中的至少一种信息来确定移动路径和行驶计划，并通过控制驱动部来使机器人100a根据所确定的移动路径和行驶计划行驶。
地图数据可以包含客体识别信息，所述客体识别信息是关于配置在供机器人100a移动的空间的多样的的客体的信息。例如，地图数据可以包含关于墙壁、门等固定客体和关于花盆、桌子等可移动客体的客体识别信息。此外，客体识别信息可以包含名称、种类、距离、位置等。
另外，机器人100a可以基于用户的控制/相互作用来控制驱动部，由此能够执行动作或者行驶。此时，机器人100a可以获取根据用户的动作或语音说话的交互的意图信息，并基于获取到的意图信息来确定响应并执行动作。
<AI+自主行驶>
自主行驶车辆100b可以通过应用AI技术而实现为移动型机器人、车辆、无人飞行体等。
自主行驶车辆100b可以包括用于控制自主行驶功能的自主行驶控制模块，自主行驶控制模块可以是指软件模块或以硬件将其实现的芯片。自主行驶控制模块可以作为自主行驶车辆100b的构成而包括在自主行驶车辆100b的内部，但是也可以在自主行驶车辆100b的外部由额外的硬件构成而连接。
自主行驶车辆100b可以利用从多样的种类的传感器获取到的传感器信息，来获取自主行驶车辆100b的状态信息或者检测(识别)周边环境和客体或者生成地图数据或者确定移动路径和行驶计划或者确定动作。
在此，自主行驶车辆100b可以与机器人100a同样地使用由激光雷达、雷达、摄像头中的至少一种传感器获取到的传感器信息，以确定移动路径和行驶计划。
尤其，对于视野被遮挡的区域或预定距离以上的区域的环境或客体，自主行驶车辆100b可以通过从外部装置接收传感器信息来识别，或从外部装置直接接收识别到的信息。
自主行驶车辆100b可以利用由至少一个人工神经网络构成的学习模型来执行上述动作。例如，自主行驶车辆100b可以利用学习模型来识别周边环境和客体，并利用识别到的周边环境信息或客体信息来确定行驶路线。在此，学习模型可以是在自主行驶车辆100b直接学习的，或者是在AI服务器200等外部装置学习的。
此时，虽然自主行驶车辆100b可以直接利用学习模型来生成结果并执行动作，但是也可以向AI服务器200等外部装置传送传感器信息，并通过接收根据该传感器信息生成的结果来执行动作。
自主行驶车辆100b可以利用从地图数据、传感器信息检测到的客体信息或从外部装置获取到的客体信息中的至少一种来确定移动路径和行驶计划，并通过控制驱动部来使自主行驶车辆100b根据所确定的移动路径和行驶计划行驶。
地图数据可以包含客体识别信息，所述客体识别信息是关于配置于供自主行驶车辆100b行驶的空间(例如，道路)的多样的客体的信息。例如，地图数据可以包含关于路灯、岩石，建筑物等固定客体和关于车辆、行人等可移动客体的客体识别信息。此外，客体识别信息可以包含名称、种类、距离、位置等。
另外，自主行驶车辆100b可以基于用户的控制或交互来控制驱动部，由此能够执行动作或者行驶。此时，自主行驶车辆100b可以获取根据用户的动作或语音说话的交互的意图信息，并基于获取到的意图信息来确定响应并执行动作。
<AI+XR>
XR装置100c可以通过应用AI技术，而实现为HMD(Head-Mount Display)、设置于车辆的抬头显示器(Head-Up Display)、电视机、手机、智能手机、计算机、可穿戴设备、家电设备、数字标牌、车辆、固定型机器人或移动型机器人等。
XR装置100c可以通过分析由多样的传感器或从外部装置获取到的三维点云数据或图像数据来生成关于三维点的位置数据和属性数据，由此获取关于周边空间或现实客体的信息，并通过渲染要输出的XR客体来进行输出。例如，XR装置100c可以使包含关于识别到的物体的追加信息的XR客体与该识别到的物体对应地输出。
XR装置100c可以利用由至少一个人工神经网络构成的学习模型来执行所述动作。例如，XR装置100c可以利用学习模型从三维点云数据或图像数据识别出现实客体，并提供与识别到的现实客体相应的信息。在此，学习模型可以是在XR装置100c直接学习的，或者在AI服务器200等外部装置学习的。
此时，XR装置100c虽然可以直接利用学习模型来生成结果并执行动作，但是也可以向AI服务器200等外部装置传送传感器信息并通过接收根据该传感器信息生成的结果来执行动作。
<AI+机器人+自主行驶>
机器人100a可以通过应用AI技术和自主行驶技术，而实现为引导机器人、搬运机器人、清扫机器人、可穿戴机器人、娱乐机器人、宠物机器人、无人飞行机器人等。
应用AI技术和自主行驶技术的机器人100a可以是指具有自主行驶功能的机器人自身或与自主行驶车辆100b交互的机器人100a等。
可以将在没有用户的控制的情况下也能够根据给定的行驶路线来自行移动或者自行确定行驶路线并移动的装置统称为具有自主行驶功能的机器人100a。
具有自主行驶功能的机器人100a和自主行驶车辆100b可以为了确定移动路径或行驶计划中的至少一种而使用相同的感测方法。例如，具有自主行驶功能的机器人100a和自主行驶车辆100b可以利用由激光雷达、雷达、摄像头感测到的信息，来确定移动路径或行驶计划中的一种以上。
与自主行驶车辆100b交互的机器人100a可以与自主行驶车辆100b分开而单独存在，并且在自主行驶车辆100b的内部与自主行驶功能关联，或者执行与乘坐在自主行驶车辆100b的用户关联的动作。
此时，与自主行驶车辆100b交互的机器人100a可以代替自主行驶车辆100b来获取传感器信息并提供给自主行驶车辆100b，或者可以通过获取传感器信息并生成周边环境信息或客体信息之后提供给自主行驶车辆100b，来控制或辅助自主行驶车辆100b的自主行驶功能。
或者，与自主行驶车辆100b交互的机器人100a可以监控自主行驶车辆100b上乘坐的用户或者可以通过与用户的交互来控制自主行驶车辆100b的功能。例如，在判断为驾驶者处于疲劳驾驶状态的情况下，机器人100a可以激活自主行驶车辆100b的自主行驶功能或辅助自主行驶车辆100b的驱动部的控制。在此，机器人100a控制的自主行驶车辆100b的功能不仅单纯地包括自主行驶功能，而且还可以包括由设置于自主行驶车辆100b的内部的导航系统或音频系统提供的功能。
或者，与自主行驶车辆100b交互的机器人100a可以从自主行驶车辆100b的外部向自主行驶车辆100b提供信息或者对功能进行辅助。例如，机器人100a可以向自主行驶车辆100b提供包含如智能信号灯的信号信息等的交通信息，也可以如自动充电器通过与主行驶车辆100b交互来将充电器自动连接到充电装置。
<AI+机器人+XR>
机器人100a可以通过应用AI技术和XR技术，而实现为引导机器人、搬运机器人、清扫机器人、可穿戴机器人、娱乐机器人、宠物机器人、无人飞行机器人、无人机等。
应用XR技术的机器人100a可以是指成为在XR影像内的控制或交互的对象的机器人。在此情况下，机器人100a可以与XR装置100c区分并且彼此联动。
如果成为在XR影像内的控制或交互的机器人100a从包括摄像头的传感器获取传感器信息，则机器人100a或XR装置100c可以生成基于传感器信息的XR影像，100aXR装置100c可以输出所生成的XR影像。此外，这样的机器人100a可以基于通过XR装置100c输入的控制信号或用户的交互来进行动作。
例如，用户可以确认与通过XR装置100c等外部装置来远程联动的机器人100a的视点相应的XR影像，并且通过交互来调节机器人100a的自主行驶路径，或者控制动作或行驶，或者确认周边客体的信息。
<AI+自主行驶+XR>
自主行驶车辆100b可以通过应用AI技术和XR技术，而实现为移动型机器人、车辆、无人飞行体等。
应用了XR技术的自主行驶车辆100b可以是指具有提供XR影像的单元的自主行驶车辆，或成为在XR影像内的控制或交互的对象的自主行驶车辆等。尤其，成为在XR影像内的控制或交互的对象的自主行驶车辆100b可以与XR装置100c区分并且彼此联动。
具有提供XR影像的单元的自主行驶车辆100b可以从包括摄像头的传感器获取传感器信息，并基于获取到的传感器信息来输出所生成的XR影像。例如，自主行驶车辆100b可以通过具有平视显示器来输出XR影像，由此可以向乘坐者提供现实客体或与画面中的客体对应的XR客体。
此时，在XR客体被输出到平视显示器的情况下，可以输出为使XR客体的至少一部分与乘坐者的视线所朝的实际客体重叠。另一方面，在XR客体被输出到自主行驶车辆100b的内部设置的显示器的情况下，可以输出为使XR客体的至少一部分与画面中的客体重叠。例如，自主行驶车辆100b可以输出与车道、其他车辆、信号灯、交通标识牌、二轮车、行人、建筑物等客体对应的XR客体。
如果成为XR影像内的控制或交互的对象的自主行驶车辆100b从包括摄像头的传感器获取传感器信息，则自主行驶车辆100b或XR装置100c可以生成基于传感器信息的XR影像，XR装置100c可以输出所生成的XR影像。此外，这样的自主行驶车辆100b可以基于通过XR装置100c等外部装置输入的控制信号或用户的交互来进行动作。
图4示出本发明一实施例的AI装置100。
省略与图1重复的说明。
在发明中，人工智能装置100包括边缘设备(edge device)。
参照图4，输入部120可以包括：用于影像信号输入的摄像头(Camera)121、用于接收音频信号的麦克风(Microphone)122、用于从用户接收信息的用户输入部(User InputUnit)123。
在输入部120收集的语音数据或图像数据可以通过分析而被处理为用户的控制指令。
输入部120用于影像信息(或信号)或音频信息(或信号)或数据或由用户输入的信息的输入，为了影像信息的输入，AI装置100可以设置有一个或复数个摄像头121。
摄像头121在视频通话模式或拍摄模式下对通过图像传感器获取到的静态影像或动态影像等的图像帧进行处理。被处理的图像帧可以显示在显示部(Display Unit)151或存储在存储器170。
麦克风122将外部的声音信号处理未电语音数据。被处理的语音数据可以根据正在AI装置100执行中的功能(或者运行中的应用程序)而多样地使用。另一方面，在麦克风122中可以应用用于去除在接收外部的音响信号的过程中产生的噪声(noise)的多样的噪声去除算法。
用户输入部123用于从用户接收信息，如果通过用户输入部123输入信息，则处理器180可以与所输入的信息对应地控制AI装置100的动作。
用户输入部123可以包括机械式(mechanical)输入单元(或者机械键，例如，位于AI装置100的正面或背面或侧面的按键、圆顶开关(dome switch)、调节旋钮或转轮、轻摇开关等)和触摸式输入单元。作为一例，触摸式输入单元可以由通过软件方式的处理而显示在触摸屏的虚拟键(virtual key)或软键(soft key)或可视键(visual key)构成，或者由配置于所述触摸屏之外的部分的触摸键(touch key)构成。
可以将检测部140称作传感器部。
输出部150可以包括显示部(Display Unit)151、音响输出部(Sound OutputUnit)152、触觉模块(Haptic Module)153、光输出部(Optical Output Unit，154)中的至少一种。
显示部151显示(输出)在AI装置100被处理的信息。例如，显示部151可以显示在AI装置100中驱动的应用程序的运行画面信息，或者与这样的运行画面信息对应的UI(UserInterface)、GUI(Graphic User Interface)信息。
显示部151可以与触摸传感器彼此构成层结构或者一体地形成，从而实现触摸屏。这样的触摸屏可以作为提供AI装置100和用户之间的输入界面的用户输入部123发挥功能的同时，提供终端100和用户之间的输出界面。
音响输出部152可以在呼叫信号接收或通话模式或录音模式或语音识别模式或广播接收模式等中输出从通信部110接收或存储器170中存储的音频数据。
音响输出部152可以包括接收器(receiver)、扬声器(speaker)、蜂鸣器(buzzer)中的至少一种。
触觉模块(haptic module)153产生用户能够感觉到的多样的触觉效果。作为触觉模块153所产生的触觉效果的代表例可以是振动。
光输出部154通过利用AI装置100的光源的光来输出用于通知事件发生的信号。作为在AI装置100中发生的事件的例可以是消息接收、呼叫信号接收、未接来电、警报、日程提醒、邮件接收、基于应用的信息接收等。
图5示出本发明一实施例的家电引擎系统1。
本发明的家电引擎系统2可以包括：服务器10；智能家电装置100，与服务器10通信；以及至少一个对象装置510、520、530、540、550、560，与智能家电装置100通信。另一方面，图5示出的对象装置仅为示例，并不限定本发明。
在控制智能家电装置100的过程中，服务器10可以提供所需的设定信息，或者为了智能家电装置100控制对象装置而提供所需的数据。
另外，服务器10可以为了智能家电装置100控制至少一个对象装置510、520、530、540、550、560而提供所需的格式化信息。
智能家电装置100可以接收来自移动终端560或服务器10的控制指令并传送给一个以上的对象装置510、520、530、540、550、560，并且操作对象装置的动作。
在本发明中，如果服务器10向智能家电装置100提供用于控制对象装置的格式化信息，则智能家电装置100可以利用与至少一个对象装置中的每一个对应的格式化信息，在没有与服务器10额外地通信的情况下控制至少一个对象装置。
例如，服务器10可以将用于智能家电装置100控制第一对象装置的格式化信息提供给智能家电装置100。之后，在智能家电装置100接收到用于控制第一对象装置的控制指令的情况下，智能家电装置100可以利用从服务器10接收到的格式化信息，将接收到的第一对象装置控制指令转换为与第一对象装置对应的格式，并将所转换的控制指令提供给第一对象装置。
第一对象装置可以通过与智能家电装置100进行通信来接收被转换的控制指令，并且执行与被转换的控制指令对应的动作。
在本发明中，第一对象装置可以不与服务器10进行通信，而是通过与智能家电装置100的通信来执行从智能家电装置100接收到的控制指令。
作为智能家电装置100和服务器10进行通信的协议，可以利用如Wi-Fi(802.11)等的无线LAN通信协议、如4G/5G的移动通信等的通信协议、如TCP/IP的有线LAN通信协议等。
另外，作为智能家电装置100和至少一个对象装置510、520、530、540、550、560进行通信的协议，可以利用如Wi-Fi(802.11)等的无线LAN通信协议、如4G/5G的移动通信等的通信协议、如TCP/IP的有线LAN通信协议，而且还可以利用如红外线通信(Infra Red)、蓝牙(Bluetooth)、紫峰(ZigBee)、超宽带(UWB：Ultra WideBand)的近距离通信协议等。
根据本发明的实施例，智能家电装置100可以包括IoT(物联网)、冰箱、TV、智能手机、人工智能机器人中的至少一种。
另外，在对象装置500中，移动终端560可以包括利用移动通信或占用空间较小的计算装置，例如平板、智能手机、计算机等。作为一实施例，如智能手机或平板，可以在家中利用如Wi-Fi的无线局域网来与智能家电装置100进行通信(Direct WiFi)，或者可以通过与服务器10进行通信来控制智能家电装置100。
或者，对象装置可以包括由所述智能家电装置100来控制的洗衣机510、空调机520、其他小物联设备530、空气净化器540、TV 550、冰箱570、吸尘器580中的至少一种。
以下，详细地说明图5的智能家电装置100根据对象装置500的多样的实施例而进行的动作。
图6是示出本发明一实施例的智能家电装置和对象装置的动作的图。
在本发明的一实施例中，智能家电装置100可以与至少一个对象装置500连接。此时，智能家电装置100可以包括如物联网(internet of things，IoT)、冰箱，TV，智能手机、家用机器人的电子设备。
具体而言，智能家电装置100可以发挥能够控制对象装置500的控制器(controller)的作用，智能家电装置100可以包括用于对象装置500的注册和控制的输出部150、用于与服务器10和对象装置500进行通信的通信部110。
此外，由于智能家电装置100需要能够实时地通过与服务器10进行通信来接收格式化信息，因此优选地电源始终处于接通(On)的状态。
并且，对象装置500可以包括与智能家电装置100连接的如小物联设备(IoST：internet of small things)、冰箱、吸尘器，TV、空调机、空气净化器、具有其他可通信的部件的百叶窗，电灯、扬声器、家电的电子设备。
具体而言，对象装置500可以是被所述智能家电装置100控制的装置(controlee)，可以具有用于与智能家电装置100通信的通信部。另一方面，与智能家电装置100不同地，对象装置500并非必须与服务器10进行通信。另外，可以根据对象装置500的种类和对象装置500提供的动作来配备输出部，并且电源常时保持与否优选是可选的。
由于智能家电装置100需要能够与诸如服务器10的大容量云网络进行通信，因此需要有大容量网络协议(WiFi、TCP/IP等)，但是由于对象装置500并非必须与服务器10进行通信，从而对象装置500可以包括搭载有用于与智能家电装置100进行通信的低价、低耗电的诸如websocket、蓝牙、紫峰的小尺寸的通信调制解调器的电子设备。另一方面，上述记载仅为本发明的示例，并不限定本发明。
本发明的智能家电装置100可以从服务器10接收用于控制至少一个对象装置中的每一个的格式化信息，并将所接收的格式化信息存储于存储器170。此外，智能家电装置100可以注册与所接收的格式化信息对应的对象装置500，并且控制该对象装置500。
智能家电装置100可以向用户提示使用对象装置500(步骤S610)。具体而言，智能家电装置100可以通过控制输出部150来显示已注册对象装置500的使用提示图像。此时，使用提示图像中可以包含已注册的对象装置500的种类、对象装置500的功能、关于对象装置500要执行的动作的信息、语言信息中的至少一种。
智能家电装置100可以根据对象装置500的使用提示而从用户接收对象装置500控制指令(步骤S620)。例如，如果智能家电装置100的输出部150输出使用提示图像，则用户可以输入关于使用提示图像中包括的对象装置500和对象装置500要执行的动作的控制指令。此时，输入方式可以通过智能家电装置100的输入部120来实现。
例如，用户可以以触摸智能家电装置100上显示的使用提示图像的方式来选择对象装置500和对象装置500要执行的动作。
如果智能家电装置100的处理器180接收到对象装置500的控制指令(步骤S620)，则可以利用从服务器10接收到的格式化信息将所述控制指令转换为与所述对象装置500对应的格式(步骤S630)。
所述格式化信息可以包含所述对象装置的种类(例如，TV、智能灯、百叶窗等)、所述对象装置和所述智能家电装置的通信协议(例如，SSAP、紫蜂、蓝牙等)、用于对象装置注册和与对象装置连接的指令信息、关于对象装置要执行的动作的信息、语言信息中的至少一种。即，格式化信息可以包含发挥媒介作用的脚本信息，以使智能家电装置100的处理器180将所输入的控制指令转换为对象装置500可理解的指令、协议、语言等。
例如，如果向智能家电装置100输入要求其接通作为对象装置的TV的电源的控制指令，则智能家电装置100可以利用格式化信息将接收到的控制指令转换为使其与TV的种类(例如，固有识别号)、TV和智能家电装置100的通信协议(例如，WiFi)、用于打开TV的控制指令信息相应，并向TV提供所转换的控制指令。
智能家电装置100的处理器180可以将所转换的控制指令提供给所述对象装置500(步骤S640)。
对象装置500可以接收智能家电装置100提供的控制指令并执行与控制指令对应的动作(步骤S650)。此时，智能家电装置100提供的控制指令是指转换为对象装置500可识别的格式的控制指令，而对象装置500可以随即执行与控制指令对应的动作。
如果与控制指令对应的动作的执行完毕，则对象装置500可以将动作完毕信息传送给智能家电装置100(步骤S660)。
智能家电装置100的处理器180可以从对象装置500接收动作完毕信息，并通过输出部150来输出对象装置动作完毕通知(步骤S670)。
图7是示出本发明一实施例的服务器、智能家电装置以及对象装置的动作的图。
图7是用于说明向本发明一实施例的智能家电装置100注册对象装置500的过程的图。
本发明的家电引擎系统2可以包括：服务器10；智能家电装置100，与服务器10通信；以及至少一个对象装置，与所述智能家电装置100通信。
首先，服务器10可以选定智能家电装置100要控制的新的对象装置500(步骤S710)。并且，服务器10可以选定智能家电装置100要控制的新的对象装置500要提供的动作(步骤S720)。如果对象装置500和对象装置500要提供的动作的场景有效性检查合适，则服务器10可以生成用于控制被选定的对象装置500和对象装置500的动作的格式化信息(步骤S730)。在所述S710至所述S730过程中生成的格式化信息可以从与服务器10连接的其他装置(例如，智能手机应用)接收。或者格式化信息可以直接被更新到服务器10。
服务器10可以将关于可注册的对象装置500的格式化信息提供给所述智能家电装置100(步骤S740)。此时，关于可注册的对象装置500的格式化信息可以包含对象装置的种类、对象装置和所述智能家电装置的通信协议、用于对象装置注册和与对象装置连接的指令信息、关于对象装置要执行的动作的信息、语言信息中的至少一种。此时，所述格式化信息可以是脚本形式。
智能家电装置100的通信部可以从服务器10接收用于控制至少一个对象装置中的每一个的格式化信息。
如果智能家电装置100的处理器180接收到用于控制对象装置500的格式化信息，则可以输出用于注册对象装置500的注册信息(步骤S750)。此时，用于注册对象装置500的注册信息可以包含关于对象装置的种类和所述第一对象装置要执行的动作的信息。
此外，智能家电装置100的处理器180可以将用于注册所述对象装置的请求传送给所述对象装置(步骤S760)。
如果对象装置500从智能家电装置100接收到注册请求，则可以为了注册而向用户提供通知。如果对象装置500接收到允许注册请求的用户输入(步骤S770)，则可以将对象装置的注册请求结果传送给智能家电装置100。
如果允许用于注册对象装置的请求，则智能家电装置100的处理器180可以通过控制输出部150来输出关于对象装置500的种类和对象装置500要执行的动作的信息(步骤S790)。
例如，根据本发明，由于智能家电装置100与至少一个对象装置500连接，因此如图6中说明，如果智能家电装置100接收到已注册的对象装置500中的第一对象装置510的控制指令，则可以利用格式化信息将第一对象装置510的控制指令变更为与第一对象装置510对应的格式。此外，可以将变更的控制指令提供给第一对象装置510。
接收到变更的控制指令的第一对象装置510可以执行与由智能家电装置100提供的控制指令对应的动作。
根据本发明，由于智能家电装置100与至少一个对象装置500连接，因此智能家电装置100不仅与第一对象装置510连接，也可以与和第一对象装置510不同的第二对象装置520连接。
具体而言，如果智能家电装置100的处理器180从服务器10接收到用于控制第二对象装置520的格式化信息，则输出用于注册第二对象装置520的注册信息，并将用于注册第二对象装置的请求传送给所述第二对象装置520。
如果第二对象装置520从智能家电装置100接收到注册请求，则可以为了注册而向用户提供通知。第二对象装置520可以接收允许注册请求的用户输入，并将第二对象装置520的注册请求结果传送给智能家电装置100。
如果所述第二对象装置520的请求被允许，则智能家电装置100可以输出关于所述第二对象装置510的种类和所述第二对象装置510要执行的动作的信息。
图8是示出本发明一实施例的智能家电装置和对象装置的动作过程的图。
图8是示出本发明一实施例的智能家电装置和对象装置的注册过程的例子。
例如，与服务器10连接的智能家电装置100可以包括智能冰箱800。并且，与智能家电装置100连接的对象装置500可以包括TV 900。智能冰箱100和TV 500可以通过无线高保真(WiFi)网络来进行通信。
智能冰箱800可以从服务器10接收用于控制TV 900的格式化信息。如果智能冰箱800接收到用于控制TV 900的格式化信息，则智能冰箱800可以为了将TV 900注册到智能冰箱800，而输出显示有关于作为可注册的设备的名称的TV 900和TV 900可提供的动作的信息的注册提示图像810。
TV 900可以从智能冰箱800接收用于注册TV 900的请求，并输出用于注册TV 900的请求图像830。
所述注册请求图像830中可以包含关于TV 900和TV 900要执行的动作的信息。用户可以通过对用于注册TV 900的请求图像830进行触摸输入来允许请求。
如果对于TV 900注册的请求被允许，则智能冰箱800可以输出显示有关于TV 900的种类和TV 900可执行的动作的信息的使用提示图像840。如果，用户进行了针对使用提示图像840的触摸输入，则智能冰箱800可以利用格式化信息将与该触摸输入对应的控制指令转换为用于控制TV 900的格式，并通过将所转换的控制指令提供给TV 900来控制TV 900以使其执行与控制指令相应的动作。
另一方面，实施例仅为用于说明本发明的示例，本发明并不限于此。此外，服务器10提供的格式化信息可以根据各个对象装置500的种类和对象装置可执行的动作以及通信协议而彼此不同。
图9是示出本发明一实施例的智能家电装置和对象装置的动作的图。
根据本发明一实施例，在存在复数个对象装置的情况下，智能家居系统2的服务器10可以将用于控制所述复数个对象装置中的每一个的格式化信息传送给智能家电装置100。智能家电装置100可以按照图6至图7的过程来控制复数个对象装置中的每一个。
图9是示出智能家电装置100与第一对象装置510以及第二对象装置520连接的一实施例的图。
根据本发明，智能家电装置100可以提示第一对象装置510的使用(步骤S910)。具体而言，智能家电装置100的处理器180可以通过控制输出部150来输出第一对象装置510的使用提示图像。
如果基于所述使用提示接收到第一对象装置510控制指令(步骤S920)，则智能家电装置100可以利用用于控制各个对象装置的格式化信息来将第一对象装置控制指令转换为与第一对象装置510对应的格式。
此时，第一对象装置510可能需要追加信息，以执行根据控制指令的动作。虽然追加信息可以从第二对象装置520获取，但是可以包括无法从智能家电装置100和第一对象装置510获取的信息。例如，由于智能家电装置100、第一对象装置510以及第二对象装置520可以是彼此不同的装置，可以获取到的传感器信息也可能是不同的。即，可能存在仅由第二对象装置520能够获取到的数据。
例如，在智能家电装置100的检测部140获取到的感测信息、从第一对象装置510获取到的第一感测信息以及从第二对象装置520获取到的第二感测信息可以包含从接近传感器、照度传感器、加速度传感器、磁传感器、陀螺仪传感器、惯性传感器、RGB传感器、IR传感器、指纹识别传感器、超声波传感器、光学传感器、麦克风、激光雷达、雷达、空气质量传感器以及摄像头等获取到的数据中的至少一种。
此外，由于搭载于智能家电装置100、第一对象装置510以及第二对象装置520的传感器可以彼此不同，因此检测部140的感测信息、第一感测信息和第二感测信息也可以彼此不同。
在需要追加信息的情况下(步骤S930)，智能家电装置100可以向第二对象装置520请求追加信息(步骤S931)，并且从第二对象装置520接收追加信息(步骤S932)。
如果输入有第一对象装置510的控制指令，则智能家电装置100的处理器180可以利用格式化信息将接收到的控制指令转换为与第一对象装置510的格式对应的控制指令(步骤S940)。智能家电装置100可以将所述变更的格式的控制指令提供给所述第一对象装置(步骤S941)。
第一对象装置510可以执行与所接收的控制指令对应的动作(步骤S950)，
并且可以将与控制指令对应的动作的完毕信息传送给智能家电装置100(步骤S951)。智能家电装置100可以输出第一对象装置的动作完毕通知(步骤S960)。
图10是示出本发明一实施例的智能家电装置和对象装置的动作的图。
图10是用于说明在图9中说明的本发明的实施例的图。
例如，假设第一对象装置510的控制指令包含向所述第一对象装置510输出由智能家电装置100的检测部140获取的感测信息、从所述第一对象装置510获取的第一感测信息以及从所述第二对象装置520获取的第二感测信息中的至少一种的指令。
下面，以智能家电装置100为冰箱800、第一对象装置为TV 900、第二对象装置910为空气净化器的情形为例进行说明。
用户可以利用冰箱800的输出部上显示的使用提示图像1010来控制作为第一对象装置的TV 900。例如，TV 900提供的功能可以包括按不同空间确认微尘和当前温度信息的动作，用户可以在使用提示图像1010中选择TV和TV的“按不同空间确认微尘和温度”的动作。
另一方面，由于微尘信息不属于能够从冰箱800和TV 900获取的信息，因此冰箱800可以向空气净化器910请求微尘信息作为追加信息。
空气净化器910可以将微尘信息提供给冰箱800。
在本发明的实施例中，冰箱800可以从检测部140获取温度信息，通过TV 900的摄像头传感器获取空间信息，并通过空气净化器910的空气质量传感器获取微尘信息。
如果用户想要利用TV 900来确认与当前空间对应的微尘和当前温度，则冰箱800可以利用格式化信息将“按不同空间确认微尘和温度”指令转换为TV 900可识别的格式。如果冰箱800将所转换的控制指令提供给TV 900，则TV 900可以基于被转换的控制指令，利用冰箱800的温度信息、空气净化器910的微尘信息以及TV 900的摄像头传感器识别的当前空间信息来以图像化方式输出当前空间的微尘和温度。
TV 900可以在输出图像之后将动作完毕通知提供给冰箱800，冰箱800可以输出TV900的动作完毕通知1030。
前述的本发明可以在记录有程序的介质由计算机可读的代码来实现。计算机可读的介质包括存储有能够被计算机系统读取的数据的所有种类的存储装置。计算机可读取的介质的例有硬盘驱动器(Hard Disk Drive，HDD)、固态盘(Solid State Disk，SSD)、硅盘驱动器(Silicon Disk Drive，SDD)、ROM、RAM、CD-ROM、磁带、软盘、光数据存储装置等。另外，所述计算机也可以包括终端的处理器180。

Claims (14)

1.一种智能家电装置，其中，
包括：
输入部；
输出部；
通信部，从服务器接收格式化信息，所述格式化信息用于控制至少一个对象装置中的每一个；以及
处理器，
如果所述处理器接收到用于控制所述对象装置中的第一对象装置的格式化信息，则通过所述输出部输出用于注册所述第一对象装置的注册信息，并将用于注册所述第一对象装置的请求传送给所述第一对象装置，
如果用于注册所述第一对象装置的请求被允许，则所述处理器通过所述输出部输出包括所述第一对象装置的种类和所述第一对象装置的动作的信息的使用提示图像，
如果所述第一对象装置需要追加信息来执行第一控制指令，则所述处理器从所述对象装置中的第二对象装置接收所述追加信息，
如果基于使用提示从所述输入部输入所述第一对象装置的控制指令，则所述处理器利用所述格式化信息将所述控制指令转换为与所述第一对象装置对应的格式，并将所转换的控制指令提供给所述第一对象装置。
2.根据权利要求1所述的智能家电装置，其中，
所述格式化信息包含所述对象装置的种类、所述对象装置和所述智能家电装置的通信协议、用于对象装置注册和与对象装置连接的指令信息、关于对象装置要执行的动作的信息以及语言信息中的至少一种。
3.根据权利要求1所述的智能家电装置，其中，
用于注册所述第一对象装置的注册信息包含关于第一对象装置的种类和所述第一对象装置要执行的动作的信息。
4.根据权利要求3所述的智能家电装置，其中，
如果接收到用于注册所述第一对象装置的请求，则所述处理器输出关于所述第一对象装置的种类和所述第一对象装置要执行的动作的信息。
5.根据权利要求1所述的智能家电装置，其中，
如果从服务器接收到用于控制第二对象装置的格式化信息，则所述处理器输出用于注册所述第二对象装置的注册信息，并将用于注册所述第二对象装置的请求传送给所述第二对象装置，
如果所述第二对象装置的请求被允许，则所述处理器输出关于所述第二对象装置的种类和所述第二对象装置要执行的动作的信息，
所述第一对象装置和所述第二对象装置彼此不同。
6.根据权利要求5所述的智能家电装置，其中，
还包括感测部，
所述第一对象装置的控制指令向所述第一对象装置输出由所述感测部获取的感测信息以及从所述第一对象装置获取的第一感测信息中的至少一种信息。
7.根据权利要求6所述的智能家电装置，其中，
所述感测信息、所述第一感测信息以及从所述第二对象装置接收到的感测信息彼此不同，
所述感测信息包含温度信息、湿度信息中的任一种，
所述第一感测信息包含图像信息、空间信息中的任一种，
从所述第二对象装置接收到的感测信息包含空气质量信息。
8.根据权利要求1或2所述的智能家电装置，其中，
所述智能家电装置包括IoT、冰箱、TV、智能手机、家用机器人中的至少一种。
9.根据权利要求1所述的智能家电装置，其中，
所述对象装置包括可由所述智能家电装置控制的小物联设备IoST、冰箱、吸尘器，TV、空调机、空气净化器中的至少一种。
10.一种家电引擎系统，其中，
包括：
服务器；
智能家电装置，与服务器通信；以及
至少一个对象装置，与所述智能家电装置通信，
所述智能家电装置包括处理器，
如果所述处理器接收到用于控制所述对象装置中的第一对象装置的格式化信息，则输出用于注册所述第一对象装置的注册信息，并将用于注册所述第一对象装置的请求传送给所述第一对象装置，
如果用于注册所述第一对象装置的请求被允许，则所述处理器输出包括所述第一对象装置的种类和所述第一对象装置的动作的信息的使用提示图像，
如果所述第一对象装置需要追加信息来执行第一控制指令，则所述处理器从所述对象装置中的第二对象装置接收所述追加信息，
如果基于使用提示接收到所述第一对象装置的控制指令，则所述处理器将所述第一对象装置的控制指令变更为与第一对象装置对应的格式，并将变更的控制指令提供给所述第一对象装置，
所述第一对象装置执行与由所述智能家电装置提供的控制指令对应的动作。
11.根据权利要求10所述的家电引擎系统，其中，
在存在复数个对象装置的情况下，所述服务器将用于控制复数个所述对象装置中的每一个的格式化信息传送给所述智能家电装置。
12.根据权利要求10或11所述的家电引擎系统，其中，
所述服务器将用于控制可注册的对象装置的格式化信息提供给所述智能家电装置，
用于控制所述可注册的对象装置的格式化信息包含所述对象装置的种类、所述对象装置和所述智能家电装置的通信协议、用于对象装置注册和与对象装置连接的指令信息、关于对象装置要执行的动作的信息以及语言信息中的至少一种。
13.根据权利要求10或11所述的家电引擎系统，其中，
所述家电引擎系统还包括与所述智能家电装置连接的第二对象装置，
如果接收到向所述第一对象装置输出由所述智能家电装置的感测部获取的感测信息以及从所述第一对象装置获取的第一感测信息中的至少一种信息的控制指令，则利用所述格式化信息将所述控制指令变更为与所述第一对象装置对应的格式，并将变更的所述控制指令提供给所述第一对象装置，
所述第一对象装置输出与变更的所述控制指令对应的信息。
14.根据权利要求13所述的家电引擎系统，其中，
所述感测信息、所述第一感测信息以及从所述第二对象装置接收到的感测信息彼此不同，
所述感测信息包含温度信息、湿度信息中的任一种，
所述第一感测信息包含图像信息、空间信息中的任一种，
从所述第二对象装置接收到的感测信息包含空气质量信息。
CN202080100032.2A 2020-04-21 2020-04-21 智能家电装置以及方法 Active CN115516822B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2020/005239 WO2021215547A1 (ko) 2020-04-21 2020-04-21 스마트 홈 장치 및 방법

Publications (2)

Publication Number Publication Date
CN115516822A CN115516822A (zh) 2022-12-23
CN115516822B true CN115516822B (zh) 2024-01-09

Family

ID=78269379

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080100032.2A Active CN115516822B (zh) 2020-04-21 2020-04-21 智能家电装置以及方法

Country Status (5)

Country Link
US (1) US11863627B2 (zh)
EP (1) EP4142221A4 (zh)
KR (1) KR20230002021A (zh)
CN (1) CN115516822B (zh)
WO (1) WO2021215547A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023080574A1 (ko) * 2021-11-03 2023-05-11 삼성전자 주식회사 음성 인식 서비스를 제공하는 전자 장치 및 이의 동작 방법
KR20230128914A (ko) * 2022-02-28 2023-09-05 주식회사 플루이즈 로컬서버가 IoT 기기의 상태정보를 전송하는 방법
WO2024063302A1 (ko) * 2022-09-22 2024-03-28 삼성전자주식회사 개체에 다른 개체와의 인터랙션을 적용하는 가상 공간을 제공하기 위한 방법 및 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100522234B1 (ko) * 2003-04-17 2005-10-18 (주)누리텔레콤 리모콘 기능이 탑재된 휴대 단말기를 이용한 홈오토메이션 시스템 및 방법
KR20090105713A (ko) * 2008-04-03 2009-10-07 주식회사 대우일렉트로닉스 홈 네트워크 ｇｕｉ 통신 방법 및 이를 이용한 시스템
WO2016145797A1 (zh) * 2015-07-20 2016-09-22 中兴通讯股份有限公司 智能家居控制方法、装置及系统
WO2017041258A1 (zh) * 2015-09-10 2017-03-16 易晓阳 一种智能家电无线控制系统
WO2017141219A1 (en) * 2016-02-18 2017-08-24 Tekoia Ltd. Architecture for remote control of iot (internet of things) devices
CN109257258A (zh) * 2018-09-30 2019-01-22 百度在线网络技术（北京）有限公司 用于智能音箱的内外网通信的方法和装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009075735A (ja) * 2007-09-19 2009-04-09 Oki Electric Ind Co Ltd ゲートウェイ装置およびその情報制御方法
US9503562B2 (en) * 2008-03-19 2016-11-22 Universal Electronics Inc. System and method for appliance control via a personal communication or entertainment device
KR101924974B1 (ko) * 2011-01-04 2018-12-04 삼성전자주식회사 이동통신 단말기에서 주변 디바이스를 원격 제어하기 위한 장치 및 방법
KR102058918B1 (ko) * 2012-12-14 2019-12-26 삼성전자주식회사 홈 모니터링 방법 및 장치
KR102088526B1 (ko) * 2013-11-04 2020-04-14 삼성전자주식회사 스마트 홈 시스템을 제어하기 위한 방법 및 그 전자 장치
KR101635109B1 (ko) 2014-04-08 2016-06-30 삼성전자주식회사 영상표시장치 및 그 동작방법
KR20160113440A (ko) * 2015-03-20 2016-09-29 (주)로보와이즈 가전제어기를 구비한 홈로봇을 이용한 원격제어장치 및 그 제어방법
CN105223815B (zh) * 2015-07-22 2017-10-31 广东天诚智能科技有限公司 智能家居无线控制系统
KR20170060598A (ko) * 2015-11-24 2017-06-01 삼성전자주식회사 스마트 홈 서비스 서버 및 그 제어방법
US10362119B2 (en) * 2016-12-29 2019-07-23 Voxx International Corp. System and method for internet of things and home automation using a vehicle
KR102440884B1 (ko) * 2017-11-21 2022-09-05 엘지전자 주식회사 인공지능을 적용한 프로액티브 알림 제공 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100522234B1 (ko) * 2003-04-17 2005-10-18 (주)누리텔레콤 리모콘 기능이 탑재된 휴대 단말기를 이용한 홈오토메이션 시스템 및 방법
KR20090105713A (ko) * 2008-04-03 2009-10-07 주식회사 대우일렉트로닉스 홈 네트워크 ｇｕｉ 통신 방법 및 이를 이용한 시스템
WO2016145797A1 (zh) * 2015-07-20 2016-09-22 中兴通讯股份有限公司 智能家居控制方法、装置及系统
WO2017041258A1 (zh) * 2015-09-10 2017-03-16 易晓阳 一种智能家电无线控制系统
WO2017141219A1 (en) * 2016-02-18 2017-08-24 Tekoia Ltd. Architecture for remote control of iot (internet of things) devices
CN109257258A (zh) * 2018-09-30 2019-01-22 百度在线网络技术（北京）有限公司 用于智能音箱的内外网通信的方法和装置

Also Published As

Publication number Publication date
EP4142221A1 (en) 2023-03-01
KR20230002021A (ko) 2023-01-05
WO2021215547A1 (ko) 2021-10-28
US11863627B2 (en) 2024-01-02
CN115516822A (zh) 2022-12-23
US20230179662A1 (en) 2023-06-08
EP4142221A4 (en) 2024-01-17

Similar Documents

Publication Publication Date Title
KR102281602B1 (ko) 사용자의 발화 음성을 인식하는 인공 지능 장치 및 그 방법
KR102658966B1 (ko) 공기 조화기의 센서 데이터를 보정하는 인공 지능 공기 조화기 및 그 방법
CN115516822B (zh) 智能家电装置以及方法
US20190360717A1 (en) Artificial intelligence device capable of automatically checking ventilation situation and method of operating the same
US11748614B2 (en) Artificial intelligence device for controlling external device
KR102331672B1 (ko) 사용자의 위치를 결정하는 인공 지능 장치 및 그 방법
US11607801B2 (en) Artificial intelligence robot for managing movement of object using artificial intelligence and method of operating the same
KR20190095193A (ko) 인공 지능 시스템의 동작을 관리하는 인공 지능 장치 및 그 방법
KR20190100112A (ko) 인공 지능을 이용하여, 아이템의 정보를 제공하는 냉장고 및 그의 동작 방법
KR102421488B1 (ko) 복수개의 출력 레이어를 이용한 인공 지능 장치 및 방법
US11455529B2 (en) Artificial intelligence server for controlling a plurality of robots based on guidance urgency
US11449074B2 (en) Robot for providing guidance service using artificial intelligence and method of operating the same
US20210401255A1 (en) Artificial intelligence robot and method of operating the same
KR20190114925A (ko) 소리 신호 분류를 이용한 인공지능장치 및 그 방법
KR102229562B1 (ko) 음성 인식 서비스를 제공하는 인공 지능 장치 및 그의 동작 방법
US11074814B2 (en) Portable apparatus for providing notification
US11977384B2 (en) Control system for controlling a plurality of robots using artificial intelligence
KR102635535B1 (ko) 인공 지능 장치 및 그의 동작 방법
CN112860210A (zh) 人工智能设备及其操作方法
US11464380B2 (en) Artificial intelligence cleaner and operating method thereof
US11595227B2 (en) Artificial intelligence device and operating method thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant