CN111902246A - 用于控制外部电子装置的电子装置和方法 - Google Patents

用于控制外部电子装置的电子装置和方法 Download PDF

Info

Publication number
CN111902246A
CN111902246A CN201980022001.7A CN201980022001A CN111902246A CN 111902246 A CN111902246 A CN 111902246A CN 201980022001 A CN201980022001 A CN 201980022001A CN 111902246 A CN111902246 A CN 111902246A
Authority
CN
China
Prior art keywords
electronic device
external electronic
control command
processor
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980022001.7A
Other languages
English (en)
Other versions
CN111902246B (zh
Inventor
洪承焕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111902246A publication Critical patent/CN111902246A/zh
Application granted granted Critical
Publication of CN111902246B publication Critical patent/CN111902246B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0003—Home robots, i.e. small robots for domestic use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/026—Acoustical sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L2012/284—Home automation networks characterised by the type of medium used
    • H04L2012/2841—Wireless
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L2012/2847—Home automation networks characterised by the type of home appliance used
    • H04L2012/2849—Audio/video appliances

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Selective Calling Equipment (AREA)
  • Studio Devices (AREA)

Abstract

根据本文件的一个实施例的电子装置的存储器可以在操作时存储允许至少一个处理器执行以下操作的指令：控制致动器以移动电子装置；控制相机以获取外部电子装置的图像和位置；基于获取的图像确认外部电子装置；经由无线通信电路，向确认的外部电子装置发送多个控制命令；监测外部电子装置对发送来的多个控制命令的响应；将用于确认出的外部电子装置的第一控制命令集的标识符和外部电子装置的位置存储在存储器中，其中，第一控制命令是基于所述监测来确定的，且第一控制命令集是包括使外部电子装置执行多个控制命令中的预定第一操作的第一控制命令的控制命令集；基于接收到的第一输入和存储在存储器中的外部电子装置的位置，控制所述致动器将电子装置移动到能够将第一控制命令发送到外部电子装置的位置；以及基于接收到的第一输入和存储在存储器中的用于外部电子装置的第一控制命令集的标识符，向外部电子装置发送第一控制命令。

Description

用于控制外部电子装置的电子装置和方法
技术领域
本公开的实施例涉及通过电子装置控制外部电子装置的技术。
背景技术
为了方便用户，可以在家庭中使用诸如机器人吸尘器的机器人。机器人不仅可以执行清洁，还可以接收来自用户的命令并根据接收到的命令执行操作。
例如，机器人可以使用致动器来移动物体或可以控制外部电子装置。
发明内容
技术问题
根据现有技术，为了使用机器人来控制外部电子装置，需要用户执行诸如将关于外部电子装置的信息输入到机器人的设置。
此外，当需要机器人移动以控制外部电子装置时，要求用户在机器人中注册机器人必须移动到的位置。
本发明的各个实施例提供了一种机器人，该机器人能够学习控制外部电子装置的方法以响应于用户的命令来控制外部电子装置，而无需用户进行额外的注册过程。
技术方案
根据本发明实施例的电子装置包括：壳体；位于该壳体中的致动器；相机，该相机位于所述壳体中并通过该壳体的一部分暴露；位于该壳体中的无线通信电路；麦克风，该麦克风位于该壳体中并通过该壳体的一部分暴露；至少一个处理器，该至少一个处理器可操作地连接到致动器、相机、无线通信电路和麦克风；以及存储器，该存储器可操作地连接到至少一个处理器并存储多个控制命令集，该多个控制命令集包括使外部电子装置执行预定操作的多个控制命令，其中，该存储器存储有指令，该指令在被执行时使得处理器：控制致动器移动电子装置；控制相机获得外部电子装置的图像和位置；基于获得的图像确认外部电子装置；经由无线通信电路，将多个控制命令集中包括的多个控制命令发送到确认出的外部电子装置；监测外部电子装置对发送来的多个控制命令的响应；将用于确认出的外部电子装置的第一控制命令集的标识符和外部电子装置的位置存储在存储器中，其中，第一控制命令是基于监测来确定的，并且第一控制命令集是包括使外部电子装置执行多个控制命令中的预定第一操作的第一控制命令的控制命令集；经由麦克风或无线通信电路，接收指示外部电子装置执行第一操作的第一输入；基于接收到的第一输入和存储在存储器中的外部电子装置的位置，控制致动器将电子装置移动到能够将第一控制命令发送到外部电子装置的位置；以及基于接收到的第一输入和存储在存储器中的用于外部电子装置的第一控制命令集的标识符，向外部电子装置发送第一控制命令。
根据本发明的实施例的用于电子装置控制外部电子装置的方法包括：控制致动器移动电子装置；控制相机以获得外部电子装置的图像和位置；基于获得的图像确认外部电子装置；向确认出的外部电子装置发送包括在多个控制命令集中的多个控制命令；监测外部电子装置对发送来的多个控制命令的响应；存储用于确认出的外部电子装置的第一控制命令集的标识符和外部电子装置的位置，其中，第一控制命令是基于监测的结果来确定的，并且第一控制命令集是包括使外部电子装置执行多个控制命令中的预定第一操作的第一控制命令的控制命令集；经由麦克风或无线通信电路，接收指示外部电子装置执行第一操作的第一输入；基于接收到的第一输入和存储的外部电子装置的位置，控制致动器将电子装置移动到能够将第一控制命令发送到外部电子装置的位置；以及基于接收到的第一输入和存储在存储器中的用于外部电子装置的第一控制命令集的标识符，向外部电子装置发送第一控制命令。
根据本发明的实施例的存储介质存储有计算机可读命令，该计算机可读命令在由电子装置的处理器执行时使电子装置执行以下操作：控制致动器以移动电子装置；控制相机以获得外部电子装置的图像和位置；根据获得的图像确认外部电子装置；向确认的外部电子装置发送包括在多个控制命令集中的多个控制命令；监测外部电子装置对发送来的多个控制命令的响应；存储用于确认出的外部电子装置的第一控制命令集的标识符和外部电子装置的位置，其中，第一控制命令是基于监测的结果来确定的，并且第一控制命令集是包括使外部电子装置执行多个控制命令中的预定第一操作的第一控制命令的控制命令集；经由麦克风或无线通信电路，接收指示外部电子装置执行第一操作的第一输入；基于接收到的第一输入和存储的外部电子装置的位置，控制致动器将电子装置移动到能够将第一控制命令发送到外部电子装置的位置；以及基于接收到的第一输入和存储在存储器中的用于外部电子装置的第一控制命令集的标识符，将第一控制命令发送到外部电子装置。
有益效果
根据本公开的各种实施例，机器人可以学习确认外部电子装置并控制确认的外部电子装置的方法。机器人可以使用学习到的控制方法根据用户的命令执行控制操作。
根据本公开的各种实施例，机器人可以学习使用诸如红外信号的传输的常规控制方法来控制外部电子装置的方法。
此外，可以提供通过本公开直接或间接确认的各种效果。
附图说明
图1示出了根据本发明的各个实施例的电子装置控制外部电子装置的环境。
图2是示出根据本发明的各个实施例的电子装置的框图。
图3是示出根据本发明的各个实施例的用于电子装置控制外部电子装置的方法的流程图。
图4是示出根据本发明的各个实施例的用于电子装置控制外部电子装置的方法的流程图。
图5a是示出根据本发明的各个实施例的电子装置确认电视的图。
图5b是示出通过从根据本发明的各个实施例的电子装置发送到电视的多个控制命令来打开电视的电源的图。
图5c是示出根据本发明的各个实施例的电子装置移动到该电子装置能够向电视发送控制命令的位置的图。
图5d是示出根据本发明的各个实施例的电子装置已经响应于接收到用户输入而将控制命令发送到TV的图。
图6a是示出根据本发明的各个实施例的电子装置对扬声器执行多个控制操作的图。
图6b示出了根据本发明的各个实施例的电子装置在移动到电子装置能够向扬声器发送控制命令的位置之后执行控制操作。
图7是示出根据各种实施例的网络环境700中的电子装置701的框图。
关于附图的描述，相同或相似的附图标记可以用于相同或相似的元件。
具体实施方式
在下文中，将参考附图详细描述本发明的各种实施例。然而，应当理解，本发明不限于特定实施例，而是包括本发明实施例的各种修改、等同形式和/或替代形式。
图1示出了根据本发明的各个实施例的电子装置控制外部电子装置的环境。
根据实施例，电子装置110可以是机器人。根据实施例，电子装置110可以包括致动器(例如，图2的致动器210)，并且电子装置110的处理器(例如，图2的处理器270)可以通过控制致动器(例如，图2的致动器210)来移动电子装置110。
根据实施例的外部电子装置120至150可以包括电视120、空调130、空气净化器140或扬声器150中的至少一个。根据实施例，外部电子装置120至150可以接收控制命令。
根据实施例，外部电子装置120至150可以包括无线信号接收模块，并且可以经由该无线信号接收模块接收包括控制命令的无线信号(例如，红外信号)。
根据实施例，外部电子装置120至150可以包括用于接收触摸输入的至少一个按钮(未示出)(例如，触摸按钮或物理按钮)。例如，外部电子装置120至150可以包括开机按钮、关机按钮、通道改变按钮、音量改变按钮、温度调节按钮、风量调节按钮等。根据实施例，外部电子装置可以经由按钮(未示出)接收控制命令。
图2是示出根据本发明的各个实施例的电子装置的框图。
参照图2，电子装置(例如，图1的电子装置110)可以包括致动器210、相机220、传感器230、无线通信电路240、麦克风250、存储器260和处理器270。
致动器210可以将电信号转换为物理运动。根据实施例，电子装置(例如，图1的电子装置110)可以包括滑轮(例如，图1的电子装置110的滑轮111)，并且致动器210可以由处理器270控制以通过旋转滑轮(例如，电子装置110的滑轮111)来移动电子装置。
根据实施例，电子装置(例如，图1的电子装置110)可以包括机器人臂(例如，图1的电子装置110的机器人臂112)，该机器人臂触摸外部电子装置(例如，图1的外部电子装置120至150)的按钮(未示出)。根据实施例，致动器210可以由处理器270控制，以延伸或移动机器人臂(例如，图1的电子装置110的机器人臂112)。
相机220可以获取外部图像。根据实施例，电子装置(例如，图1的电子装置110)可以包括多个相机220。
传感器230可以检测电子装置(例如，电子装置110)的周围环境。根据实施例，电子装置(例如，图1的电子装置110)可以包括同时定位和映射(SLAM)传感器(未示出)或温度传感器(未示出)中的至少一个。
根据实施例，SLAM传感器(未示出)可以获得关于电子装置(例如，图1的电子装置110)的周围物体的三维信息。
根据实施例，温度传感器(未示出)可以测量电子装置(例如，图1的电子装置110)的周围温度。
无线通信电路240可以支持电子装置(例如，图1的电子装置110)与外部电子装置(例如，图1的外部电子装置120至150、移动电子装置、外部服务器、控制目标电子装置等)之间的无线通信。
根据实施例，无线通信电路240可以包括蜂窝通信模块(未示出)、Wi-Fi模块(未示出)或蓝牙模块(未示出)中的至少一个。无线通信电路240可以使用以上模块向/从外部电子装置(例如，图1的外部电子装置120至150)发送/接收数据。
根据实施例，无线通信电路240可以包括红外数据关联(IrDA)模块(例如，图5a和图5b的红外信号发送模块513)。根据实施例，无线通信电路240可以使用IrDA模块513向外部电子装置(例如，图1的外部电子装置120至150)发送包括控制命令的红外信号。
麦克风250可以获得声音信号，并且可以将获得的声音信号转换成电信号。根据实施例，处理器270可以经由麦克风250获得用于向外部电子装置(例如，图1的外部电子装置120至150)发送控制命令的用户语音输入。
存储器260可以存储多个控制命令集、关于预定空间的信息以及指令。根据实施例，控制命令集可以包括用于控制外部电子装置(例如，外部电子装置120至150)的多个控制命令。多个控制命令集中的每一个控制命令集可以使外部电子装置(例如，图1的外部电子装置120至150)执行预定操作。
根据实施例，多个控制命令集中的每一个控制命令集可以对应于外部电子装置(例如，外部电子装置120至150)的类型。例如，多个控制命令集中的第一控制命令集可以包括多个控制命令，用于控制具有品牌名称A的电视(例如，图1的电视120)。例如，控制命令集可以包括用于打开具有品牌名称A的电视(例如，图1的电视120)的第一控制命令、用于增加包括具有品牌名称A的电视(例如，图1的电视120)的音量的第二控制命令。
根据实施例，关于预定空间的信息可以包括在其中使用电子装置(例如，图1的电子装置110)的空间的每个部分的名称和每个部分的位置坐标。
处理器270可以通过执行存储在存储器260中的指令来控制电子装置(例如，图1的电子装置110)的整体操作。下面描述处理器270的特定操作。
图3是示出根据本发明的各个实施例的用于电子装置控制外部电子装置的方法的流程图。
在下文中，假设图2的电子装置200(例如，图1的电子装置110)执行图3和图4的处理。被描述为由电子装置200执行的操作可以被实现为可以由电子装置200的处理器(例如，图2的处理器270)完成(或执行)的指令(命令)。该指令可以存储在图2中示出的例如电子装置200的计算机记录介质或存储器260中。
在操作301中，处理器270可以控制致动器210以移动电子装置200。
根据实施例，处理器270可以控制致动器210以在存储在存储器260中的预定空间内移动电子装置200。
在操作303中，处理器270可以控制相机220以获得外部电子装置(例如，图1的外部电子装置120至150)的图像和位置。
根据实施例，处理器270可以控制相机220在电子装置200移动的同时获得外部电子装置120至150的图像和位置。
根据实施例，处理器270可以使用获得的图像来获得外部电子装置120至150的位置。根据实施例，处理器270可以使用存储在存储器260中的每个部分的位置坐标来获得外部电子装置120至150的位置。例如，当部分A中的预定点的位置坐标时是(50,100)并且外部电子装置120至150在y方向上与预定点间隔50时，处理器270可以将外部电子装置120至150的位置坐标确定为(50,150)。
根据实施例，处理器270还可以通过SLAM传感器(未示出)获得关于电子装置200的周围物体的三维信息。
在操作305中，处理器270可以基于获得的图像来确认外部电子装置120至150。
根据实施例，处理器270可以使用通过相机220获得的图像和通过SLAM传感器(未示出)获得的三维信息来确认外部电子装置120至150。
根据实施例，处理器270可以确认外部电子装置120至150的类型。例如，处理器270可以基于获得的图像来确认出外部电子装置120至150的类型是电视(例如，图1的电视120)。
在操作307中，处理器270可以经由无线通信电路240向确认的外部电子装置120至150发送多个控制命令。
根据实施例，处理器270可以使用红外(IR)信号将多个控制命令发送到确认出的外部电子装置120至150。根据各种实施例，处理器270还可以使用蓝牙通信将多个控制命令发送到外部电子装置120至150。
根据实施例，处理器270可以将包括在多个控制命令集中的多个控制命令发送到外部电子装置120至150。
根据实施例，多个控制命令集中的每一个控制命令集可以对应于外部电子装置120至150的类型。例如，在多个控制命令集中，第一控制命令集可以是用于控制第一类电视(例如，图1的电视120)的控制命令，第二控制命令集可以是用于控制第二类电视(例如，图1的电视120)的控制命令，第三控制命令集可以是用于控制第一类空调(例如，图1的空调)的控制命令。
根据实施例，在操作307中发送的多个控制命令可以是使得执行在多个控制命令集的每一个控制命令集中包括的控制命令之中的相同操作的控制命令。例如，多个发送的控制命令可以是用于指示外部电子装置120至150开机的控制命令。
根据实施例，处理器270可以发送与确认的外部电子装置120至150的类型相对应的多个控制命令。例如，当处理器270已经将外部电子装置120至150确认为电视120时，处理器270可以将包括在多个控制命令集中的用于控制电视120的多个控制命令集中的控制命令发送到外部电子装置120至150。
在操作309中，处理器270可以监测确认出的外部电子装置120至150对多个发送的控制命令的响应。
根据实施例，处理器270可以通过相机220或麦克风250中的至少一个来监测确认出的外部电子装置120至150的响应。根据实施例，外部电子装置120至150可以是电视120，并且发送的控制命令可以是开机命令。在实施例中，处理器270可以基于通过相机220捕获的电视120的图像或通过麦克风250获得的电视120的声音来监测电视120的操作。
根据实施例，处理器270可以通过温度传感器(未示出)来监测确认出的外部电子装置120至150的响应。根据实施例，外部电子装置120至150可以是空调130，并且发送的控制命令可以是温度调节命令。在实施例中，处理器270可以通过使用温度传感器(未示出)测量温度来监测空调130的操作。
在操作311中，处理器270可以确定第一控制命令，该第一控制命令已经使确认出的外部电子装置120至150执行多个控制命令中的预定第一操作。
根据实施例，在操作309中，处理器270可以基于对确认出的外部电子装置120至150的响应的监测来确定第一控制命令。
根据实施例，在操作307中发送到确认的外部电子装置120至150的多个控制命令可以指示确认出的外部电子装置120至150执行开机操作。根据实施例，在操作307中，处理器270可以将控制命令A、控制命令B和控制命令C发送到确认出的外部电子装置120至150。处理器270可以基于在操作309中执行的监测来确定控制命令B已经导致了确认出的外部电子装置120至150的开机。因此，处理器270可以将控制命令B确定为第一控制命令。
在操作313中，处理器270可以在存储器260中存储用于确认的外部电子装置120至150的第一控制命令集的标识符以及确认的外部电子装置120至150的位置。
根据实施例，第一控制命令集可以是包括在操作311中确定的第一控制命令的控制命令集。
根据实施例，第一控制命令集的标识符可以是用于确认第一控制命令集的字符或数字。例如，第一控制命令集的标识符可以是“samsung1”。根据实施例，第一控制命令集的标识符可以是用于确认其中包括第一控制命令的控制命令集的标识符。
根据实施例，处理器270可以存储确认的外部电子装置120至150的位置坐标。
根据实施例，处理器270还可以存储确认的外部电子装置120至150的类型。例如，当在操作305中确认的外部电子装置120至150是电视120时，处理器270可以存储电视120作为外部电子装置120至150的类型。
根据实施例，处理器270可以生成映射表，在该映射表中第一控制命令集的标识符和确认的外部电子装置120至150的位置被映射至确认的外部电子装置，并且可以将所生成的映射表存储在存储器260中。例如，由处理器270生成的映射表可以包括“samsung1”作为映射的第一标识符，(100,200)作为位置，电视(120)作为关于确认的外部电子装置120到150的类型。
在操作315中，处理器270可以经由麦克风250或无线通信电路240接收指示外部电子装置120至150执行第一操作的第一输入。
根据实施例，第一输入可以包括关于外部电子装置120至150的位置的信息。
根据实施例，处理器270可以经由麦克风250接收用户语音输入。例如，用户语音输入可以读取为“打开客厅中的电视”。
根据实施例，当处理器270经由麦克风250接收到用户语音输入时，处理器270可以对用户语音输入执行自然语言处理以获得包括在用户语音输入中的外部电子装置120至150的位置和控制命令。根据实施例，处理器270可以将接收到的用户语音输入发送到外部服务器(未示出)，并且可以从外部服务器(未示出)接收用户语音输入中包括的外部电子装置120至150的位置和命令。
根据实施例，处理器270可以经由无线通信电路240(例如，Wi-Fi模块、蓝牙模块、蜂窝通信模块等)来接收第一输入。例如，第一输入可以是从移动电子装置(未示出)的应用发送的输入。
在操作317中，处理器270可以基于接收到的第一输入和存储在存储器260中的外部电子装置120至150的位置来控制致动器210以将电子装置(例如，电子装置110)移动到电子装置能够将第一控制命令发送到外部电子装置120至150的位置。
根据实施例，第一输入可以读取为“打开客厅中的电视”，并且存储在存储器260中并映射到位于客厅中的电视120的位置坐标可以是(100,200)。在实施例中，处理器270可以基于第一输入来控制致动器210以将电子装置110移动到能够将控制命令发送到位于客厅中的电视120的位置。能够将控制命令发送到位于客厅的电视120的位置可以是例如距位置坐标(100,200)10米以内的位置。在实施例中，处理器270可以控制致动器210以将电子装置110移动到距位置坐标(100，200)10米以内的位置。
在操作319中，处理器270可以基于接收到的第一输入和存储在存储器260中的标识符将第一控制命令发送到外部电子装置120至150。
根据实施例，第一输入可以读取“打开客厅中的电视120”，并且存储在存储器260中并映射到位于客厅中的电视120的控制命令集的标识符可以是“samsung1”。在实施例中，处理器270可以将用于打开电视120的控制命令发送到电视120，该控制命令包括在与存储在存储器260中的多个控制命令集中的与标识符“samsung1”相对应的控制命令中。
根据各种实施例，处理器270可以经由麦克风250或无线通信电路240接收第二输入，该第二输入用于指示外部电子装置120至150执行与第一操作不同的第二操作。
处理器270可以基于接收到的第二输入和存储在存储器260中的外部电子装置120至150的位置来控制致动器210，以将电子装置110移动到电子装置110能够将第二控制命令发送到外部电子装置120至150的位置。
根据实施例，第二输入可以读取为“增加客厅中电视的音量”，并且存储在存储器260中并映射到位于客厅中的电视120的位置坐标可以是(100,200)。在实施例中，处理器270可以基于第二输入来控制致动器210以将电子装置110移动到第二控制命令能够被发送到位于客厅中的电视120的位置。在实施例中，当电子装置110已经位于第二控制命令能够被发送到电视120的位置时，则处理器270可以不移动电子装置110。
处理器270可以基于接收到的第二输入和存储在存储器260中的标识符，将第二控制命令发送到外部电子装置120至150。
根据实施例，第二输入可以读取为“增加客厅中电视的音量”，并且存储在存储器260中并映射到位于客厅中的电视120的控制命令集的标识符可以是“samsung1”。在实施例中，处理器270可以将用于增加电视的音量的第二控制命令发送到电视，该第二控制命令包括在与存储在存储器260中的多个控制命令集中的与标识符“samsung1”相对应的控制命令中。
图4是示出根据本发明的各个实施例的用于电子装置控制外部电子装置的方法的流程图。
在操作401中，处理器270可以控制致动器210移动电子装置110。
根据实施例，处理器270可以控制致动器210在存储在存储器260中的预定空间内移动电子装置110。
在操作403中，处理器270可以控制相机220获得外部电子装置120至150的图像和位置。
根据实施例，处理器270可以控制相机220在电子装置110移动的同时获得外部电子装置120至150的图像和位置。
根据实施例，处理器270可以使用获得的图像来获得外部电子装置120至150的位置。根据实施例，处理器270可以使用存储在存储器260中的每个部分的位置坐标来获得外部电子装置120至150的位置。例如，当部分A中的预定点的位置坐标是(50,100)并且外部电子装置120至150在y方向上与预定点间隔50时，处理器270可以将外部电子装置120至150的位置坐标确定为(50,150)。
根据实施例，处理器270还可以通过SLAM传感器(未示出)获得关于电子装置110的周围物体的三维信息。
在操作405中，处理器270可以根据获得的图像来确认外部电子装置120至150。
根据实施例，处理器270可以使用通过相机220获得的图像和通过SLAM传感器(未示出)获得的三维信息来确认外部电子装置120至150。
根据实施例，处理器270可以确认外部电子装置120至150的类型。例如，处理器270可以基于获得的图像来确认外部电子装置120至150的类型是扬声器(例如，图1的扬声器150)。
在操作407中，处理器270可以通过包括在外部电子装置120至150中的按钮(未示出)来执行多个控制操作。
根据实施例，为了执行多个控制操作，处理器270可以控制致动器210，使得电子装置110的机器人臂(例如，图1的电子装置110的机器人臂112)依次按压外部电子装置120至150中包括的多个按钮。
根据实施例，在外部电子装置120至150的按钮是触摸按钮的情况下，处理器270可以控制致动器210以使得电子装置110的机器人臂(例如，图1的电子装置110的机器人臂112)依次触摸外部电子装置120至150中包括的多个按钮。
在操作409中，处理器270可以监测外部电子装置120至150对多个执行的控制操作的响应。
根据实施例，处理器270可以通过相机220或麦克风250中的至少一个来监测外部电子装置120至150的响应。根据实施例，外部电子装置120至150可以是扬声器150，其中扬声器150可以包括电源按钮(未示出)、音量增加按钮(未示出)和音量减小按钮(未示出)。在根据实施例的操作407中，处理器270可以控制致动器210执行允许机器人臂(例如，图1的电子装置110的机器人臂112)按压第一按钮(例如，开机按钮)的控制操作、允许机器人臂按压第二按钮(例如，音量增加按钮)的控制操作以及允许机器人臂按压第三按钮(例如，音量减小按钮)的控制操作。在根据实施例的操作409中，处理器270可以根据通过麦克风250获得的扬声器150的声音信号来监测扬声器150的开机/关机、扬声器150的音量增加和扬声器150的音量减少。
在操作411中，处理器270可以在存储器260中存储外部电子装置120至150的位置和关于与多个控制操作相对应的外部电子装置120至150的操作的信息。
根据实施例，处理器270可以基于在操作409中执行的监测来确定根据控制操作的外部电子装置120至150的操作。例如，当响应于按压第一按钮的控制操作从扬声器150输出声音信号时，处理器270可以根据按压第一按钮的控制操作将扬声器150的操作确定为开机操作。
根据实施例，处理器270可以将根据按压第一按钮的控制操作的关于扬声器150的开机/关机操作的信息、根据按压第二按钮的控制操作的关于扬声器150的音量增加操作的信息以及根据按压第三按钮的控制操作的关于扬声器150的音量减小操作的信息存储在存储器260中。
根据实施例，处理器270可以存储外部电子装置120至150的位置坐标。
根据实施例，处理器270还可以存储确认的外部电子装置120至150的类型。例如，当在操作405中确认了的外部电子装置120至150是扬声器150时，处理器270还可以存储扬声器150作为外部扬声器装置120至150的类型。
根据实施例，处理器270可以生成映射表，在该映射表中根据控制操作的外部电子装置120至150的操作和外部电子装置120至150的位置被映射至确认的外部电子装置120至150，并且可以将生成的映射表存储在存储器260中。
在操作413中，处理器270可以经由麦克风250或无线通信电路240接收指示外部电子装置120至150执行第一操作的第一输入。
根据实施例，第一输入可以包括关于外部电子装置120至150的位置的信息。
根据实施例，处理器270可以经由麦克风250接收用户语音输入。例如，该用户语音输入可以读取为“打开客厅中的扬声器”。
根据实施例，当处理器270经由麦克风250接收到用户语音输入时，处理器270可以对用户语音输入执行自然语言处理以获得包括在用户语音输入中的外部电子装置120至150的位置和控制命令。根据实施例，处理器270可以将接收到的用户语音输入发送到外部服务器(未示出)，并且可以从外部服务器(未示出)接收包括在用户语音输入中的外部电子装置120至150的位置和控制命令。
根据实施例，处理器270可以经由无线通信电路240(例如，Wi-Fi模块、蓝牙模块、蜂窝通信模块等)来接收第一输入。例如，第一输入可以是从移动电子装置(未示出)的应用发送的输入。
在操作415中，处理器270可以基于接收到的第一输入和存储在存储器260中的外部电子装置120至150的位置来控制致动器210，以将电子装置110移动至电子装置110能够对外部电子装置120至150执行控制操作的位置。
根据实施例，第一输入可以读取为“打开客厅中的扬声器”，并且存储在存储器260中并映射到位于客厅中的扬声器150的位置坐标可以是(200,200)。在实施例中，处理器270可以基于第一输入来控制致动器210将电子装置110移动到能够对位于客厅中的扬声器150执行控制操作的位置。能够对位于客厅的扬声器150执行控制操作的位置可以是例如距位于客厅的扬声器150的位置坐标(200,200)1米以内的位置。在实施例中，处理器270可以控制致动器210将电子装置110移动到距位置坐标(100,200)1米以内的位置。
在操作417中，处理器270可以执行基于接收到的第一输入的第一控制操作和根据存储在存储器260的控制操作的外部电子装置120至150的操作。
根据实施例，第一输入可以读取为“打开客厅中的扬声器”，并且存储在存储器260中并且与扬声器150的开机操作相对应的控制操作可以是按压扬声器150的第一按钮的操作。在实施例中，处理器270可以控制致动器210执行按压第一按钮的操作以打开扬声器的电源。
在下文中，将参考附图描述上述电子装置(例如，图1的电子装置110)控制外部电子装置(例如，图1的外部电子装置120至150)的实施例。
图5a是示出根据本发明的各个实施例的电子装置确认电视的图。图5b是示出通过从根据本发明的各个实施例的电子装置发送到电视的多个控制命令来打开电视的电源的图。图5c是示出根据本发明的各个实施例的电子装置移动到该电子装置能够向电视发送控制命令的位置的图。图5d是示出根据本发明的各个实施例的电子装置已经响应于用户输入的接收而将控制命令发送到电视的图。
根据实施例，处理器(例如，图2的处理器270)可以控制致动器(例如，图2的致动器210)，使得电子装置510(例如，图1的电子装置110)在指定空间内移动(操作301)。处理器270可以通过相机511(例如，图2的相机220)获得外部电子装置(例如，图1的外部电子装置120至150)的图像和位置(操作303)。如图5a所示，处理器270可以通过相机511获得外部电子装置120至150的图像和位置。处理器270可以基于获得的图像将外部电子装置120至150确认为电视520(例如，图1的电视120)(操作305)。处理器270可以将多个控制命令发送到确认的外部电子装置120至150，即电视520(操作307)。在实施例中，处理器270可以经由红外信号发送模块513将多个控制命令发送到电视520。处理器270可以监测电视520对多个发送的控制命令的响应(操作309)。在实施例中，处理器270可以基于通过相机511获得的图像或通过麦克风512(例如，图2的麦克风250)获得的声音信号来监测电视520的响应。在实施例中，如图5b所示，在多个控制命令中引起预定操作(即，电视520的开机操作)的控制命令可以被确定为第一控制命令(操作311)。处理器270可以在存储器中存储第一控制命令被包括在其中的第一控制命令集的标识符和电视520的位置(操作313)。
根据实施例，处理器270可以经由麦克风512接收第一输入，该第一输入读取为“打开客厅中的电视”(操作315)。处理器270可以控制致动器210以将电子装置110移动到能够将控制命令发送到电视520的位置，如图5c所示(操作317)。在电子装置510被移动到能够将控制命令发送到电视520的位置之后，处理器270可以经由红外信号发送模块513向电视520发送电视520的开机操作的第一控制命令(操作319)。如图5d所示，位于客厅中的电视520可以响应于从电子装置510发送的第一控制命令来执行开机操作。
图6a是示出根据本发明的各个实施例的电子装置在扬声器上执行多个控制操作的图。图6b示出了根据本发明的各个实施例的电子装置在移动到电子装置能够向扬声器发送控制命令的位置之后执行控制操作。
根据实施例，处理器(例如，图2的处理器270)可以控制致动器(例如，图2的致动器210)，使得电子装置610(例如，图1的电子装置110或图5的电子装置510)移动(操作401)。处理器270可以通过相机(例如，图2的相机220)获得外部电子装置(例如，图1的外部电子装置120至150)的图像和位置(操作403)。处理器270可以基于获得的图像将外部电子装置120至150确认为扬声器620(例如，图1的扬声器150)(操作405)。处理器270可以通过扬声器620的按钮621、622和623来控制致动器210执行多个控制操作(操作407)。例如，如图6a所示，处理器270可以控制致动器210，使得机器人臂611(例如，图1的电子装置110的机器人臂112)依次按压扬声器620的第一按钮621(例如，音量减小按钮)、第二按钮622(例如，音量增加按钮)和第三按钮623(例如，电源按钮)。处理器270可以监测扬声器620对执行的多个控制操作的响应(操作409)。在实施例中，处理器270可以根据通过麦克风250获得的声音信号来监测扬声器620的响应。处理器270可以将扬声器620的与每个控制操作相对应的操作和扬声器620的位置存储在存储器中(例如，图2的存储器260)(操作411)。例如，处理器270可以在存储器260中存储：关于与按压第一按钮621的控制操作相对应的扬声器620的音量减小操作相对应的信息、关于与按压第二按钮622的控制操作相对应的扬声器620的音量增加操作相对应的信息以及关于与按压第三按钮623的控制操作相对应的扬声器620的开机/关机操作相对应的信息。
根据实施例，处理器270可以经由麦克风250接收第一输入，该第一输入读取为“打开客厅中的扬声器620”(操作413)。处理器270可以控制致动器210以将电子装置610移动到能够对扬声器620执行控制操作的位置，如图6b所示(操作415)。在电子装置610被移动到能够对扬声器620执行控制操作的位置之后，处理器270可以控制致动器210，使得机器人臂611按下第三按钮623以打开扬声器620的电源(操作417)。
图7是示出根据各种实施例的网络环境700中的电子装置701的框图。参照图7，网络环境700中的电子装置701可经由第一网络798(例如，短距离无线通信网络)与电子装置702进行通信，或者经由第二网络799(例如，长距离无线通信网络)与电子装置704或服务器708进行通信。根据实施例，电子装置701可经由服务器708与电子装置704进行通信。根据实施例，电子装置701可包括处理器720、存储器730、输入装置750、声音输出装置755、显示装置760、音频模块770、传感器模块776、接口777、触觉模块779、相机模块780、电力管理模块788、电池789、通信模块790、用户识别模块(SIM)796或天线模块797。在一些实施例中，可从电子装置701中省略所述部件中的至少一个(例如，显示装置760或相机模块780)，或者可将一个或更多个其它部件添加到电子装置701中。在一些实施例中，可将所述部件中的一些部件实现为单个集成电路。例如，可将传感器模块776(例如，指纹传感器、虹膜传感器、或照度传感器)实现为嵌入在显示装置760(例如，显示器)中。
处理器720可运行例如软件(例如，程序740)来控制电子装置701的与处理器720连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少部分，处理器720可将从另一部件(例如，传感器模块776或通信模块790)接收到的命令或数据加载到易失性存储器732中，对存储在易失性存储器732中的命令或数据进行处理，并将结果数据存储在非易失性存储器734中。根据实施例，处理器720可包括主处理器721(例如，中央处理器(CPU)或应用处理器(AP))以及与主处理器721在操作上独立的或者相结合的辅助处理器723(例如，图形处理单元(GPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。另外地或者可选择地，辅助处理器723可被适配为比主处理器721耗电更少，或者被适配为具体用于指定的功能。可将辅助处理器723实现为与主处理器721分离，或者实现为主处理器721的部分。
在主处理器721处于未激活(例如，睡眠)状态时，辅助处理器723可控制与电子装置701(而非主处理器721)的部件之中的至少一个部件(例如，显示装置760、传感器模块776或通信模块790)相关的功能或状态中的至少一些，或者在主处理器721处于激活状态(例如，运行应用)时，辅助处理器723可与主处理器721一起来控制与电子装置701的部件之中的至少一个部件(例如，显示装置760、传感器模块776或通信模块790)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器723(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器723相关的另一部件(例如，相机模块780或通信模块790)的部分。
存储器730可存储由电子装置701的至少一个部件(例如，处理器720或传感器模块776)使用的各种数据。所述各种数据可包括例如软件(例如，程序740)以及针对与其相关的命令的输入数据或输出数据。存储器730可包括易失性存储器732或非易失性存储器734。
可将程序740作为软件存储在存储器730中，并且程序740可包括例如操作系统(OS)742、中间件744或应用746。
输入装置750可从电子装置701的外部(例如，用户)接收将由电子装置701的其它部件(例如，处理器720)使用的命令或数据。输入装置750可包括例如麦克风、鼠标或键盘。
声音输出装置755可将声音信号输出到电子装置701的外部。声音输出装置755可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的，接收器可用于呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。
显示装置760可向电子装置701的外部(例如，用户)视觉地提供信息。显示装置760可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示装置760可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。
音频模块770可将声音转换为电信号，反之亦可。根据实施例，音频模块770可经由输入装置750获得声音，或者经由声音输出装置755或与电子装置701直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置702)的耳机输出声音。
传感器模块776可检测电子装置701的操作状态(例如，功率或温度)或电子装置701外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块776可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口777可支持将用来使电子装置701与外部电子装置(例如，电子装置702)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施例，接口777可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端778可包括连接器，其中，电子装置701可经由所述连接器与外部电子装置(例如，电子装置702)物理连接。根据实施例，连接端778可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块779可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块779可包括例如电机、压电元件或电刺激器。
相机模块780可捕获静止图像或运动图像。根据实施例，相机模块780可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块788可管理对电子装置701的供电。根据实施例，可将电力管理模块788实现为例如电力管理集成电路(PMIC)的至少部分。
电池789可对电子装置701的至少一个部件供电。根据实施例，电池789可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块790可支持在电子装置701与外部电子装置(例如，电子装置702、电子装置704或服务器708)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块790可包括能够与处理器720(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块790可包括无线通信模块792(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块794(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络798(例如，短距离通信网络，诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络799(例如，长距离通信网络，诸如蜂窝网络、互联网、或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块792可使用存储在用户识别模块796中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络798或第二网络799)中的电子装置701。
天线模块797可将信号或电力发送到电子装置701的外部(例如，外部电子装置)或者从电子装置701的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块797可包括一个或更多个天线，并且因此，可由例如通信模块790(例如，无线通信模块792)选择适合于在通信网络(诸如第一网络798或第二网络799)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块790和外部电子装置之间发送或接收信号或电力。
上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。
根据实施例，可经由与第二网络799连接的服务器708在电子装置701和外部电子装置704之间发送或接收命令或数据。电子装置702和电子装置704中的每一个可以是与电子装置701相同类型的装置，或者是与电子装置701不同类型的装置。根据实施例，将在电子装置701运行的全部操作或一些操作可在外部电子装置702、外部电子装置704或服务器708中的一个或更多个运行。例如，如果电子装置701应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置701可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置701除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置701。电子装置701可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。
根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例，电子装置不限于以上所述的那些电子装置。
应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可用来指代相似或相关的元件。将理解的是，与术语相应的单数形式的名词可包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
如这里所使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(ASIC)的形式来实现模块。
可将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器736或外部存储器738)中的可由机器(例如，电子装置701)读取的一个或更多个指令的软件(例如，程序740)。例如，在处理器的控制下，所述机器(例如，电子装置701)的处理器(例如，处理器720)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施例，可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可经由应用商店(例如，Play StoreTM)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个用户装置(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品中的至少部分可以是临时产生的，或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施例，上述部件中的每个部件(例如，模块或程序)可包括单个实体或多个实体。根据各种实施例，可省略上述部件中的一个或更多个部件，或者可添加一个或更多个其它部件。可选择地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各种实施例，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例，由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略，或者可添加一个或更多个其它操作。

Claims (15)

1.一种电子装置，所述电子装置包括：
壳体；
致动器，所述致动器位于所述壳体中；
相机，所述相机位于所述壳体中并通过所述壳体的一部分暴露；
无线通信电路，所述无线通信电路位于所述壳体中；
麦克风，所述麦克风位于所述壳体中并通过所述壳体的一部分暴露；
至少一个处理器，所述至少一个处理器可操作地连接到所述致动器、所述相机、所述无线通信电路和所述麦克风；以及
存储器，所述存储器可操作地连接到所述至少一个处理器并存储有多个控制命令集，所述多个控制命令集包括使外部电子装置执行预定操作的多个控制命令，其中，所述存储器存储有指令，所述指令在被执行时使得所述处理器：
控制所述致动器移动所述电子装置；
控制所述相机获得所述外部电子装置的图像和位置；
基于获得的图像确认所述外部电子装置；
经由所述无线通信电路，将所述多个控制命令集中包括的多个控制命令发送到确认出的外部电子装置；
监测所述外部电子装置对发送来的多个控制命令的响应；
将用于确认出的外部电子装置的第一控制命令集的标识符和所述外部电子装置的位置存储在所述存储器中，其中，所述第一控制命令是基于所述监测来确定的，并且所述第一控制命令集是包括使所述外部电子装置执行所述多个控制命令中的预定第一操作的所述第一控制命令的控制命令集；
经由所述麦克风或所述无线通信电路，接收指示所述外部电子装置执行所述第一操作的第一输入；
基于接收到的第一输入和存储在所述存储器中的所述外部电子装置的位置，控制所述致动器将所述电子装置移动到能够将所述第一控制命令发送到所述外部电子装置的位置；以及
基于接收到的第一输入和存储在所述存储器中的用于所述外部电子装置的第一控制命令集的标识符，向所述外部电子装置发送所述第一控制命令。
2.根据权利要求1所述的电子装置，所述电子装置还包括：
同时定位和映射(SLAM)传感器，所述同时定位和映射传感器用于获得关于周围物体的三维信息，
其中，所述存储器存储有使所述至少一个处理器依据获得的三维信息来进一步确认所述外部电子装置的指令。
3.根据权利要求1所述的电子装置，其中，所述存储器存储有指令，该指令使所述至少一个处理器包括在确认所述外部电子装置的操作中的确认所述外部电子装置的类型和所述外部电子装置的位置的操作。
4.根据权利要求1所述的电子装置，其中，所述存储器存储有指令，该指令使所述至少一个处理器通过所述相机或所述麦克风中的至少一者来监测所述外部电子装置的响应。
5.根据权利要求1所述的电子装置，所述电子装置还包括：
温度传感器，
其中，所述存储器存储有指令，该指令使所述至少一个处理器通过所述温度传感器监测所述外部电子装置的响应。
6.根据权利要求1所述的电子装置，其中，所述存储器存储有指令，该指令使所述至少一个处理器进一步存储所述外部电子装置的类型。
7.根据权利要求1所述的电子装置，其中，所述存储器存储有指令，该指令使所述至少一个处理器在所述第一输入中进一步包括关于所述外部电子装置的位置的信息。
8.根据权利要求1所述的电子装置，其中，所述存储器存储有指令，该指令使所述至少一个处理器在所述预定操作中包括所述外部电子装置的开机、关机或工作状态改变中的至少一项。
9.根据权利要求1所述的电子装置，其中，所述存储器存储有指令，该指令使所述至少一个处理器在预存储的无线信号中包括红外信号。
10.根据权利要求1所述的电子装置，
其中，所述第一控制命令集包括第二控制命令，所述第二控制命令使所述外部电子装置执行与所述第一操作不同的第二操作，
其中所述存储器存储有指令，该指令使所述至少一个处理器执行以下操作：
经由所述麦克风或所述无线通信电路，接收指示所述外部电子装置执行所述第二操作的第二输入；
基于接收到的第二输入和存储在所述存储器中的所述外部电子装置的位置，控制所述致动器将所述电子装置移动到能够将所述第二控制命令发送到所述外部电子装置的位置；以及
基于接收到的第二输入和存储在所述存储器中的用于所述外部电子装置的第一控制命令的标识符，将所述第二控制命令发送到所述外部电子装置。
11.一种用于电子装置控制外部电子装置的方法，所述方法包括：
控制致动器移动所述电子装置；
控制相机获得所述外部电子装置的图像和位置；
根据获得的图像确认所述外部电子装置；
向确认出的外部电子装置发送多个控制命令集中包括的多个控制命令；
监测所述外部电子装置对发送来的多个控制命令的响应；
存储用于确认出的外部电子装置的第一控制命令集的标识符和所述外部电子装置的位置，其中，所述第一控制命令是基于所述监测的结果来确定的，并且所述第一控制命令集是包括使所述外部电子装置执行所述多个控制命令中的预定第一操作的所述第一控制命令的控制命令集；
经由麦克风或无线通信电路，接收指示所述外部电子装置执行所述第一操作的第一输入；
基于接收到的第一输入和存储的所述外部电子装置的位置，控制所述致动器将所述电子装置移动到能够将所述第一控制命令发送到所述外部电子装置的位置；以及
基于接收到的第一输入和存储在所述存储器中的用于所述外部电子装置的第一控制命令集的标识符，向所述外部电子装置发送所述第一控制命令。
12.根据权利要求11所述的方法，其中，确认所述外部电子装置包括确认所述外部电子装置的类型和所述外部电子装置的位置。
13.根据权利要求11所述的方法，其中，监测所述外部电子装置的响应包括通过所述相机或所述麦克风中的至少一者来监测所述外部电子装置的响应。
14.根据权利要求11所述的方法，所述方法还包括存储所述外部电子装置的类型。
15.根据权利要求11所述的方法，
其中，所述第一控制命令集包括第二控制命令，所述第二控制命令使所述外部电子装置执行与所述第一操作不同的第二操作，
其中所述方法还包括：
经由所述麦克风或所述无线通信电路，接收指示所述外部电子装置执行所述第二操作的第二输入；
基于接收到的第二输入和存储的所述外部电子装置的位置，控制所述致动器将所述电子装置移动到能够将所述第二控制命令发送到所述外部电子装置的位置；以及
基于接收到的第二输入和存储的用于所述外部电子装置的第一控制命令的标识符，将所述第二控制命令发送到所述外部电子装置。
CN201980022001.7A 2018-04-27 2019-04-26 用于控制外部电子装置的电子装置和方法 Active CN111902246B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2018-0049281 2018-04-27
KR1020180049281A KR102528737B1 (ko) 2018-04-27 2018-04-27 외부 전자 장치를 제어하는 전자 장치 및 방법
PCT/KR2019/005087 WO2019209075A1 (ko) 2018-04-27 2019-04-26 외부 전자 장치를 제어하는 전자 장치 및 방법

Publications (2)

Publication Number Publication Date
CN111902246A true CN111902246A (zh) 2020-11-06
CN111902246B CN111902246B (zh) 2023-05-12

Family

ID=68293645

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980022001.7A Active CN111902246B (zh) 2018-04-27 2019-04-26 用于控制外部电子装置的电子装置和方法

Country Status (5)

Country Link
US (1) US11533189B2 (zh)
EP (1) EP3760394B1 (zh)
KR (1) KR102528737B1 (zh)
CN (1) CN111902246B (zh)
WO (1) WO2019209075A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105446350B (zh) * 2014-09-26 2018-05-29 科沃斯机器人股份有限公司 自移动机器人移动界限划定方法
US20220234202A1 (en) * 2021-01-22 2022-07-28 Aquila Engineering LLC Systems and methods for manipulating control panels using robotic arms based on control system data analytics
AT17724U1 (de) * 2021-06-10 2022-12-15 Ars Electronica Linz Gmbh & Co Kg System zur räumlich begrenzten Aktivierung einer Steuereinheit
KR102486466B1 (ko) * 2022-08-09 2023-01-12 주식회사 서큘러스 인터랙션 로봇 및 이를 이용한 무선 홈 네트워킹 서비스 제공 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070192910A1 (en) * 2005-09-30 2007-08-16 Clara Vu Companion robot for personal interaction
WO2013137191A1 (ja) * 2012-03-12 2013-09-19 株式会社エヌ・ティ・ティ・ドコモ 遠隔制御システム、遠隔制御方法、通信装置及びプログラム
CN103717357A (zh) * 2011-08-02 2014-04-09 索尼公司 控制系统、控制方法以及非暂态计算机可读存储介质
CN105407774A (zh) * 2013-07-29 2016-03-16 三星电子株式会社 自动清扫系统、清扫机器人和控制清扫机器人的方法
US20170205822A1 (en) * 2016-01-20 2017-07-20 Yujin Robot Co., Ltd. Apparatus and system for remotely controlling a moving robot and method thereof

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7349758B2 (en) 2003-12-18 2008-03-25 Matsushita Electric Industrial Co., Ltd. Interactive personalized robot for home use
US9375847B2 (en) 2013-01-18 2016-06-28 Irobot Corporation Environmental management systems including mobile robots and methods using same
KR102061511B1 (ko) 2013-04-26 2020-01-02 삼성전자주식회사 청소 로봇, 홈 모니터링 장치 및 그 제어 방법
KR20160113440A (ko) 2015-03-20 2016-09-29 (주)로보와이즈 가전제어기를 구비한 홈로봇을 이용한 원격제어장치 및 그 제어방법
KR101832569B1 (ko) * 2015-12-15 2018-04-04 주식회사 엘지유플러스 홈 디바이스를 모니터링하는 이동식 홈 로봇 및 그 동작 방법
US9927814B2 (en) 2016-03-28 2018-03-27 Fetch Robotics, Inc. System and method for localization of robots
KR20180013570A (ko) 2016-07-29 2018-02-07 주식회사 두두원 집 안의 사물을 제어하는 가족으로서의 로봇 서비스 시스템 및 방법
FR3061400A1 (fr) * 2016-12-28 2018-06-29 Overkiz Procede de configuration d’acces, de commande et de supervision a distance d’au moins un dispositif domotique appartenant a une installation domotique
KR101976424B1 (ko) * 2017-01-25 2019-05-09 엘지전자 주식회사 이동 로봇
GB2565315B (en) * 2017-08-09 2022-05-04 Emotech Ltd Robots, methods, computer programs, computer-readable media, arrays of microphones and controllers

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070192910A1 (en) * 2005-09-30 2007-08-16 Clara Vu Companion robot for personal interaction
CN103717357A (zh) * 2011-08-02 2014-04-09 索尼公司 控制系统、控制方法以及非暂态计算机可读存储介质
WO2013137191A1 (ja) * 2012-03-12 2013-09-19 株式会社エヌ・ティ・ティ・ドコモ 遠隔制御システム、遠隔制御方法、通信装置及びプログラム
CN105407774A (zh) * 2013-07-29 2016-03-16 三星电子株式会社 自动清扫系统、清扫机器人和控制清扫机器人的方法
US20170205822A1 (en) * 2016-01-20 2017-07-20 Yujin Robot Co., Ltd. Apparatus and system for remotely controlling a moving robot and method thereof

Also Published As

Publication number Publication date
EP3760394A1 (en) 2021-01-06
WO2019209075A1 (ko) 2019-10-31
KR102528737B1 (ko) 2023-05-08
KR20190134863A (ko) 2019-12-05
EP3760394B1 (en) 2023-09-27
EP3760394A4 (en) 2021-06-23
US11533189B2 (en) 2022-12-20
US20210006425A1 (en) 2021-01-07
CN111902246B (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
CN111902246B (zh) 用于控制外部电子装置的电子装置和方法
US11350264B2 (en) Method and apparatus for establishing device connection
CN113574846A (zh) IoT装置的位置推断方法、服务器和支持该方法的电子装置
KR20200011869A (ko) 디바이스 연결 설정 방법 및 장치
US11442554B2 (en) Electronic device and method for recommending word in same
KR20190095582A (ko) 다른 전자 장치의 인증을 수행하는 전자 장치와 이의 동작 방법
KR102512614B1 (ko) 오디오 개선을 지원하는 전자 장치 및 이를 위한 방법
CN111354434A (zh) 电子装置及其提供信息的方法
US20190272459A1 (en) Electronic device and method for controlling external electronic device based on use pattern information corresponding to user
US10609480B2 (en) Method and electronic device for executing function using a plurality of microphones
KR102606041B1 (ko) 상태 정보에 기반하여 식별 정보를 변경하는 전자 장치 및 상기 식별 정보를 확인할 수 있는 다른 전자 장치
US20200244750A1 (en) System for processing user data and controlling method thereof
US11445604B2 (en) Electronic device for providing feedback corresponding to input for housing
KR102607787B1 (ko) 전자 장치 및 전자 장치의 제어 방법
CN111699750B (zh) 基于连接信息与外部装置连接的电子装置及其操作方法
US10904660B2 (en) Electronic device and method for determining audio processing algorithm based on location of audio information processing device
US11443135B2 (en) Method for monitoring object and electronic device for supporting the same
KR102531331B1 (ko) 소유권을 등록하는 전자 장치 및 방법
US11482230B2 (en) Communication method between different electronic devices, server and electronic device supporting same
US20200394294A1 (en) Method and electronic device for connection to external device
KR20210109816A (ko) 챗봇을 이용한 서비스 제공 방법 및 그 장치
KR20190089542A (ko) 외부 전자 장치를 인식하는 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant