CN110291528A - 基于视觉的对象辨别装置和用于控制其的方法 - Google Patents

基于视觉的对象辨别装置和用于控制其的方法 Download PDF

Info

Publication number
CN110291528A
CN110291528A CN201880009249.5A CN201880009249A CN110291528A CN 110291528 A CN110291528 A CN 110291528A CN 201880009249 A CN201880009249 A CN 201880009249A CN 110291528 A CN110291528 A CN 110291528A
Authority
CN
China
Prior art keywords
electronic device
processor
memory
camera
order
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880009249.5A
Other languages
English (en)
Other versions
CN110291528B (zh
Inventor
刘容周
李钻远
张时学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110291528A publication Critical patent/CN110291528A/zh
Application granted granted Critical
Publication of CN110291528B publication Critical patent/CN110291528B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

本公开的实施方式涉及基于视觉的对象辨别装置和控制其的方法。根据本公开的实施方式，电子装置可包括相机、至少一个马达、通信接口、至少一个处理器以及与处理器电连接的存储器，其中，存储器可存储这样的命令：所述命令在被处理器运行时致使处理器使用通过控制相机而获取的第一图像识别外部对象的动作，基于所识别的外部对象的动作来获取第一方向信息，驱动至少一个马达以使得相机面向根据第一方向信息而确定的方向，并从通过控制相机面向所确定的方向而获取的第二图像识别第二电子装置。

Description

基于视觉的对象辨别装置和用于控制其的方法
技术领域
本公开的实施方式总体涉及基于视觉的对象辨别装置和用于控制该基于视觉的对象辨别装置的方法。
背景技术
互联网正在从人类通过其来创建并消费信息的、以人为中心的连接网络向在事物(即，装置)或其它分布式部件之间传递并处理信息的物联网(Internet of Things，IoT)网络演变。例如，万物互联(Internet of Everything，IoE)可以是“大数据”数据处理技术和IoT网络的组合。在IoE中，所连接的装置可以连接至执行“大数据”数据处理的云服务器。
物联网网络可包括多种部件/技术，诸如传感技术、有线/无线通信和网络基础设施、服务接口技术、安全性等。最近正在进行的研究已指向于对象间连接技术，诸如传感器网络、机器对机器(M2M)技术或机器型通信(MTC)。
此外，IoT环境可以提供智能互联网技术(IT)服务，该智能互联网技术服务收集并分析由在IoT网络中连接的装置生成的数据。IoT网络可具有多种应用，诸如为智能家居、智能建筑、智能城市、智能汽车或联网汽车、其它智能电器、智能电网、在保健中用作智能医疗装置等。
例如，在智能家居环境中，IoT网络可用于连接和控制多种家用电子装置。用户可通过使用包括处理器和通信接口的主电子装置(例如用户的智能电话)来控制经由IoT网络连接在一起的多个对象。例如，电子装置可基于从用户接收的语音命令来控制多种家用电子装置。
上述信息仅作为背景信息呈现以帮助理解本公开。至于上述内容中的任何一项是否可以适合作为本公开的现有技术，没有做出确定，也没有做出断言。
发明内容
【技术问题】
同时，经由IoT网络连接在一起的多个对象可包括相同或相似类型、名称或功能的对象。例如，多个灯、多个声音装置或多个显示器可以存在于家庭中。这些灯、声音装置或显示器可经由IoT网络连接在一起。在这种情况下，当用户期望控制特定对象时，他或她可能需要人工将该对象与其它类似对象区分开，该过程可能很繁琐。例如，在电子装置从用户接收到语音命令“将灯打开”的情况下，电子装置可能难以确定应该打开连接在IoT网络中的多个灯中的哪个灯。在这种情况下，电子装置可能将错误的灯打开。
【问题的方案】
根据本公开的实施方式，电子装置可通过基于视觉的辨别来识别用户的动作。然后，电子装置可基于所识别的用户动作来识别用户期望控制的特定对象。电子装置可基于从用户接收的命令来控制所识别的对象。电子装置可移向或转向所识别的对象。用户可基于电子装置的移动或转动来识别用于控制对象的命令是否已被传送给电子装置。
根据本公开的实施方式，电子装置可包括相机、至少一个马达、通信接口、至少一个处理器以及与处理器电连接的存储器，其中，存储器可以存储这样的命令：所述命令在被所述处理器运行时致使所述处理器使用通过控制相机而获取的第一图像来识别外部对象的动作，基于所识别的外部对象的动作来获取第一方向信息，驱动至少一个马达以使得相机面向根据第一方向信息而确定的方向，并且从通过控制面向所确定的方向的相机而获取的第二图像识别第二电子装置。
根据本公开的实施方式，用于通过包括相机的电子装置控制另一电子装置的方法可包括使用通过控制相机而获取的第一图像来识别外部对象的动作，基于所识别的外部对象的动作来获取第一方向信息，驱动电子装置的至少一个马达以使得相机面向根据第一方向信息而确定的方向，并且从通过控制面向所确定的方向的相机而获取的第二图像识别第二电子装置。
通过下面结合附图公开了本公开的示例性实施方式的详细描述，本公开的其它方面、有益效果和显著特征对于本领域技术人员将变得显而易见。
【有益效果】
根据本公开的实施方式，电子装置可识别用户的动作并基于用户的动作来确定用户期望控制的特定对象。
根据本公开的实施方式，电子装置可通过基于视觉的辨别来识别至少一个对象。电子装置可移向或转向至少一个对象。
附图说明
在参照下面对附图的详细描述之后，将更好地了解到对本公开及其许多方面更完整的解释，在附图中：
图1A是示出根据本公开实施方式的电子装置和网络的框图；
图1B是示出根据本公开实施方式的电子装置的概念图；
图2A是示出根据本公开实施方式的电子装置的框图；
图2B是示出根据本公开实施方式的电子装置的框图；
图3是示出根据本公开实施方式的使用另一电子装置控制电子装置的方法的图；
图4是示出根据本公开实施方式的用于使用电子装置登记待控制的对象的方法的流程图；
图5A是示出根据本公开实施方式的使用电子装置控制至少一个对象的方法的流程图；
图5B是示出根据本公开实施方式的用于使用电子装置识别控制至少一个对象的结果的方法的流程图；
图6是示出根据本公开实施方式的用于使用电子装置识别被重新定位的对象的方法的流程图；
图7A至图7C是示出根据本公开实施方式的用于驱动电子装置的至少一部分的方法的图；
图8是示出根据本公开实施方式的用于控制电子装置的方法的流程图；以及
图9是示出根据本公开实施方式的程序模块的框图。
在整个附图中，相同的附图标记将理解为表示相同的部分、部件和结构。
具体实施方式
下文中，将参照附图对本公开的实施方式进行描述。然而，应理解的是，本公开不限于本文所使用的实施方式和术语，并且对其所作的所有改变和/或等同物或替换也处于本公开的范围内。应理解的是，除非上下文另有明确指示，否则单数形式“一(a)”、“一(an)”和“该(the)”也可表示复数。
如本文中所使用的，措辞“A或B”或者“A和/或B中的至少一项”可包括A和B的所有可能组合。措辞“第一”和“第二”可表示各种部件而不管重要性和/或顺序如何，并且用于在不对部件进行限制的情况下将该部件与另一部件区分开。应理解的是，当元件(例如，第一元件)被称为(操作性地或通信地)“联接/联接至”或者“连接/连接至”另一元件(例如，第二元件)时，该元件可以直接地或经由第三元件来联接或连接或者联接至或连接至另一元件。
如本文中所使用的，措辞“配置成”可以在硬件或软件方面与其它措辞(诸如“适合于”、“能够”、“修改成”、“制成”、“适于”、“能”或“设计成”)互换使用。装置“配置成”执行特定操作可意指该装置能够自己执行操作或者与另一装置一起执行操作。例如，措辞“配置(或设置)成执行A、B和C的处理器”可以意指可通过运行存储器装置中所存储的一个或多个软件程序来执行操作的通用处理器(例如，CPU或应用处理器)或者用于执行操作的专用处理器(例如，嵌入式处理器)。
根据本公开的各种实施方式的电子装置可包括智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式PC、膝上型计算机、上网本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MP3播放器、医疗装置、相机、无线装置等。可穿戴装置可包括配饰型装置(例如，手表、戒指、手镯、踝链、项链、眼镜、隐形眼镜或头戴式装置(HMD))、织物或衣服集成装置(例如，电子衣)、身体附着型装置(例如，护皮垫或纹身)或身体可植入装置。
根据另一实施方式，电子装置可以是家用电器，诸如电视机、数字视频光盘(DVD)播放器、音频播放器、冰箱、空调、吸尘器、烤箱、微波炉、洗衣机、烘干机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、TV机顶盒(例如，Samsung HomeSyncTM、Apple TVTM或Google TVTM)、游戏控制台(XboxTM、PlayStationTM)、电子词典、电子钥匙、摄像机、电子相框等。
根据另一实施方式，电子装置可以是医疗装置(例如，多种便携式医疗测量装置(诸如，血糖测量装置、心跳测量装置、体温测量装置等)、磁共振血管造影(MRA)装置、磁共振成像(MRI)装置、计算机断层扫描(CT)装置、其它医疗成像装置、超声装置等)、导航装置、全球导航卫星系统(GNSS)接收器、事件数据记录器(EDR)、飞行数据记录器(FDR)、汽车信息娱乐装置、航海电子装置(例如，航海导航装置或陀螺罗盘)、航空电子装置、安全装置、车辆头部单元、工业或家用机器人、无人机、自动柜员机(ATM)、销售点(POS)装置或物联网(IoT)装置(例如，灯泡、各种传感器、洒水器、火灾警报器、恒温器、路灯、烤面包机、健身装置、热水箱、加热器、锅炉等)。
根据本公开的另一实施方式，电子装置可以是家具、建筑物/结构、车辆、电子板、电子签名接收装置、投影仪、多种测量装置(例如，用于测量水、电、气或电磁波的装置)等的一部分中的至少一项。
根据本公开的实施方式，电子装置可以是柔性的，或者可以是以上列举的电子装置的组合。本文中公开的电子装置不限于以上列出的实施方式。如本文中所使用的，措辞“用户”可以表示使用电子装置的人或另一装置(例如，人工智能电子装置)。
参照图1A，根据本公开的实施方式，电子装置101包括在网络环境100中。电子装置101可包括总线110、处理器120、存储器130、输入/输出接口150、显示器160、通信接口170和相机模块180。在一些实施方式中，电子装置101可以不包括这些部件中的至少一项或者可以附加有另一部件。
总线110可包括用于将部件110至180彼此连接并在这些部件之间传送通信(例如，控制消息或数据)的电路。
处理器120可以是中央处理单元(CPU)、应用处理器(AP)和/或通信处理器(CP)。处理器120可控制电子装置101的其它部件中的至少一个。处理器120也可执行与电子装置101的各种功能相关的操作和数据处理。处理器120可包括微处理器或任何合适类型的处理电路，诸如一个或多个通用处理器(例如，基于ARM的处理器)、数字信号处理器(DSP)、可编程逻辑装置(PLD)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、视频卡控制器等。另外，应认识到的是，当通用计算机访问用于实施本文中示出的处理的代码时，代码的运行将通用计算机转换成用于运行本文中示出的处理的专用计算机。附图中提供的某些功能和步骤可以以硬件、软件或二者的组合进行实施，并且可以在计算机的编程指令内整体或部分地执行。本文中的任何权利要求要素均不应根据35U.S.C.112(f)的规定进行解释，除非使用短语“用于…的装置”对该要素进行了明确记载。另外，技术人员理解并认识到“处理器”或“微处理器”在所要求保护的公开内容中可以是硬件。根据最宽泛的合理解释，所附权利要求是遵照35U.S.C.§101的合法主题。
存储器130可包括易失性和/或非易失性存储器。例如，存储器130可存储与电子装置101的至少一个其它部件相关的命令或数据。根据本公开的实施方式，存储器130可以存储软件和/或程序140。
程序140可包括例如内核141、中间件143、应用编程接口(API)145和/或应用程序(或“应用”)147。内核141、中间件143或API 145的至少一部分可以是操作系统(OS)的一部分。例如，内核141可控制或管理用于执行在其它程序(例如，中间件143、API 145或应用程序147)中实施的操作或功能的系统资源(例如，总线110、处理器120或存储器130)。内核141也可提供允许中间件143、API 145或应用147访问电子装置101的各个部件的接口。例如，中间件143可以用作中继器以允许API 145或应用147与内核141通信数据。此外，中间件143可以按优先级顺序处理从应用程序147接收的一个或多个任务请求。换言之，中间件143可以将用于使用系统资源(例如，总线110、处理器120或存储器130)的优先级分配给应用程序147并且基于这些优先级处理一个或多个任务请求。API 145是允许应用147控制从内核141或中间件143提供的功能的接口。例如，API 133可包括用于归档控制、窗口控制、图像处理或文本控制的接口或功能(例如，命令)。
输入/输出接口150可以将从用户或另一外部装置输入的命令或数据传送至电子装置101的部件，或者可以将从电子装置101的部件接收的命令或数据输出至用户或另一外部装置。
显示器160可包括例如液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器或微机电系统(MEMS)显示器或电子纸显示器。显示器160可以向用户显示例如各种内容(例如，文本、图像、视频、图标或符号)。显示器160可包括触摸屏，并且可以接收例如经由电子笔或用户身体的部位(例如，手指)输入的触摸、手势、接近或悬停。
通信接口170可以建立电子装置101与外部电子装置(例如，第一电子装置102、第二电子装置104或服务器106)之间的通信。例如，通信接口170可以通过无线通信或有线通信来与网络162连接以与外部电子装置通信。
由图1的元素164表示的无线通信可以是蜂窝通信，其采用诸如长期演进(LTE)、长期演进-高级(LTE-A)、码分多址(CDMA)、宽带码分多址(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)、全球移动通信系统(GSM)等的协议。无线通信也可使用诸如无线保真(Wi-Fi)、光保真(light-fidelity)、蓝牙、蓝牙低功率(BLE)、Zigbee、近场通信(NFC)、磁性安全传输(MST)、射频(RF)或体域网(BAN)的非蜂窝协议。根据本公开的实施方式，无线通信可包括全球导航卫星系统(GNSS)。GNSS可以是例如全球定位系统(GPS)、全球导航卫星系统(Glonass)、北斗导航卫星系统(下文称为“北斗”)或伽利略，或者欧洲全球卫星导航系统。下文中，措辞“GPS”和“GNSS”可以互换地使用。另一方面，有线连接可采用诸如通用串行总线(USB)、高清晰度多媒体接口(HDMI)、推荐标准(RS)-232、电力线通信(PLC)、普通老式电话业务(POTS)等的协议。网络162可以包括电信网络，例如计算机网络(例如，局域网(LAN)或广域网(WAN))、互联网或电话网络。
相机模块180可包括至少一个图像传感器。例如，相机模块180中的图像传感器可以将从电子装置外部接收的光转换成电信号并输出该电信号。该电信号可以通过总线110输出到处理器120并处理器120进行处理或者被存储在存储器130中。相机模块180可包括由多个像素组成的像素阵列，并且该像素阵列可包括将来自外部的光转换成模拟电信号的光电二极管。同时，相机模块180中的图像传感器可包括将模拟电信号转换成数字电信号并输出数字电信号的模数转换器(ADC)。相机模块180中的图像传感器可包括用于扫描像素阵列的电路。相机模块180中的图像传感器可包括内部存储器。图像传感器可以将数字电信号(即，从像素输出的数据)暂时地存储在内部存储器中，并将数字电信号输出至外部电路(例如，总线110、处理器120或存储器130)。相机模块180中的图像传感器可包括用于数据输入/输出的接口，并且可以根据接口的输出速度将数据输出至外部电路。
第一外部电子装置102和第二外部电子装置104各自可以是与电子装置101相同或不同类型的装置。根据本公开的实施方式，在电子装置101上运行的操作中的全部或一些可以在另一电子装置或多个其它电子装置(例如，电子装置102和电子装置104或者服务器106)上执行。根据本公开的实施方式，当电子装置101设置成执行一个或多个功能或服务时，电子装置101可以独自执行这些功能或服务。然而，可替代地，代替独自运行功能或服务，电子装置101可请求另一装置(例如，电子装置102和电子装置104或者服务器106)来执行与其相关联的至少一些功能。另一电子装置(例如，电子装置102和电子装置104或者服务器106)可运行所请求的功能，并且将运行的结果传送给电子装置101。电子装置101可通过处理所接收的结果来提供所请求的功能或服务。为此，例如，可使用云计算、分布式计算或客户端-服务器计算技术。
图1B是示出根据本公开实施方式的电子装置的概念图。
如图1B中所示，电子装置101可以以机器人的形式进行实施。电子装置101可包括头部190和本体部193。头部190可设置在本体部193上。在实施方式中，头部190和本体部193可以分别以人类的头和身体的形状进行实施。例如，头部190可包括与人脸的形状对应的前盖161。电子装置101可包括设置在与前盖161对应的位置处的显示器160。显示器160可包括触摸屏并且可经由电子笔或用户的身体部位来接收例如触摸、手势、接近或悬停输入。例如，显示器160可设置在前盖161内，并且在这种情况下，前盖161可以由透明或半透明材料制成。替代地，前盖161和显示器160可实施为单个硬件装置，以使得前盖161可被视为屏幕。前盖161可指示与用户交互的方向，并且可包括用于在与用户交互的方向上进行图像感测的至少一个或多个各种传感器、用于获取语音的至少一个或多个麦克风以及至少一个或多个硬件(H/W)或仪器结构，硬件(H/W)或仪器结构可以是用于输出屏幕的仪器眼结构或显示器，所述屏幕能够以不被区分的方向的形式通过暂时性的仪器变化或者光进行显示，并且其可以在与用户交互时被引导至用户。头部190还可包括通信接口170、传感器171和相机模块180。通信接口170可以从外部发送器接收各种数据并向外部接收器发送由电子装置101生成的数据。根据本公开的实施方式，通信接口170可实施为麦克风，并且在这种情况下，通信接口170可以从用户接收语音命令。通信接口170还可实施为扬声器，在这种情况下，通信接口170可以将由电子装置101生成的数据输出为声音。
传感器171可以测量电子装置101周围的外部环境的多种质量。例如，传感器171可以检测接近于电子装置101的用户或另一电子装置。传感器171可根据用户或另一电子装置的接近而生成接近信息。传感器171可基于来自用户正使用的另一电子装置的信号来检测用户的接近。传感器171还可检测用户的动作或位置。
相机模块180可拍摄外部环境的图像。电子装置101可使用通过相机模块180获取的至少一个图像来识别用户或另一电子装置。电子装置101还可基于通过相机模块180获取的图像来识别用户的动作或另一电子装置的相对位置。
驱动器191可包括至少一个马达以移动头部190。驱动器191还可用于移动电子装置101或改变电子装置101的其他部件的位置。由此，驱动器191可能能够相对于一个或多个轴向上、向下、向左或向右移动。电源192可以向电子装置101供电。
处理器120可通过通信接口170或传感器171从另一电子装置获取数据。处理器120可包括至少一个数据分析模块。数据分析模块可处理所接收的数据并发送经处理的数据。例如，处理器120可以分析与从用户接收的语音输入对应的数据，生成需要被发送至另一电子装置的分析结果，并将该结果发送至另一电子装置。
存储器130是用于永久性或暂时性存储与电子装置101的功能或服务有关的信息的存储器。存储器130可以存在于电子装置101中，或者可以存在于通过网络连接至电子装置101的云或其它服务器中。存储器130可存储用于用户认证的个人信息、与向用户提供服务的方式有关的属性相关信息、或者用于可与电子装置101交互的各种实体(用户或其它电子装置)的关系信息。这里，关系信息可以在使用电子装置101时进行更新，或者可以以其它方式进行改变。处理器120可以在功能上控制传感器171、输入/输出接口150、通信接口170和存储器130，以向用户提供功能或服务。此外，处理器120或存储器130的至少一部分可包括信息确定单元，该信息确定单元可以处理通过电子装置101获取的信息。例如，信息确定单元可以从通过传感器171或通信接口170获取的信息提取特定服务所需的数据。
图中所示的电子装置101的机器人类型实施仅是示例，并且对于实施的类型没有限制。例如，电子装置101可实施为独立机器人。电子装置101可实施为保持平板PC或智能电话的插接站。此外，电子装置101可以是固定装置或者可以是移动装置。当电子装置101是移动装置时，电子装置101可以使用轮、机械履带装置、机械支腿等来实现移动性。或者，电子装置101可以是无人机。
图2A是示出根据本公开的实施方式的电子装置201的框图。电子装置201可包括例如图1的电子装置101的整体或一部分。电子装置201可包括一个或多个处理器(例如，应用处理器(AP))210、通信模块220、用户识别模块(SIM)224、存储器230、传感器模块240、输入装置250、显示器260、接口270、音频模块280、相机模块291、电力管理模块295、电池296、指示器297和马达298。
处理器210可通过运行例如操作系统或应用程序来控制连接至处理器210的多个硬件和软件部件。在这样做时，处理器210可以处理并计算多条数据。处理器210可以在例如片上系统(SoC)中实施。根据本公开的实施方式，处理器210还可包括图形处理单元(GPU)和/或图像信号处理器。处理器210可包括图2A中所示的至少一些部件(例如，蜂窝模块221)。处理器210可以将从至少一个其它部件(例如，非易失性存储器)接收的命令或数据加载至易失性存储器上，处理所述命令或数据，并且将合成数据存储在非易失性存储器中。
通信模块220可具有与图1A的通信接口170相同或相似的配置。通信模块220可包括例如蜂窝模块221、无线保真(Wi-Fi)模块223、蓝牙(BT)模块225、GNSS模块227、NFC模块228和RF模块229。蜂窝模块221可以通过例如蜂窝通信网络提供语音呼叫、视频呼叫、文本消息或互联网服务。根据本公开的实施方式，蜂窝模块221可使用用户识别模块224(例如，SIM卡)对通信网络中的电子装置201执行识别或认证。蜂窝模块221可以执行由处理器210提供的功能中的至少一些功能。蜂窝模块221可包括通信处理器(CP)。蜂窝模块221、Wi-Fi模块223、蓝牙模块225、GNSS模块227或NFC模块228中的至少一些(例如，两项或更多项)可被包括在单个集成电路(IC)或IC封装中。RF模块229可以使用RF信号来收发数据。RF模块229可包括例如收发器、功率放大器模块(PAM)、频率滤波器、低噪声放大器(LNA)或天线。根据本公开的实施方式，蜂窝模块221、Wi-Fi模块223、蓝牙模块225、GNSS模块227或NFC模块228中的至少一项可通过其自身的独立RF模块来收发RF信号。用户识别模块224可包括例如可移除的SIM卡和嵌入式SIM，并且可包括唯一的识别信息(例如，集成电路卡标识符(ICCID)或用户信息(例如，国际移动用户身份(IMSI))。
存储器230(例如，存储器130)可包括例如内部存储器232或外部存储器234。内部存储器232可包括例如易失性存储器(例如，动态RAM(DRAM)、静态RAM(SRAM)、同步动态RAM(SDRAM)等)或非易失性存储器(例如，一次性可编程ROM(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩模ROM、闪存ROM、闪存存储器(例如，NAND闪存或NOR闪存)、硬盘驱动器或固态驱动器(SSD))中的至少一项。外部存储器234可包括闪存驱动器(例如，紧凑型闪存(CF)存储器、安全数字(SD)存储器、微SD存储器、小型SD存储器、极限数字(xD)存储器、多媒体卡(MMC)或记忆棒TM)。外部存储器234可以经由各种接口来在功能上或物理上与电子装置201连接。
传感器模块240可以测量电子装置201的物理量或检测电子装置201的动作状态，并且传感器模块240可以将所测量或检测的信息转换成电信号。传感器模块240可包括例如手势传感器240A、陀螺仪传感器240B、气压传感器240C、磁性传感器240D、加速度传感器240E、抓握传感器240F、接近传感器240G、颜色传感器240H(例如，红-绿-蓝(RGB)传感器)、生物传感器240I、温度/湿度传感器240J、照度传感器240K或紫外(UV)传感器240M中的至少一项。另外地或替代地，感测模块240可包括例如电子鼻传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、红外(IR)传感器、虹膜传感器或指纹传感器。传感器模块240还可包括用于控制感测模块中所包括的至少一个或多个传感器的控制电路。根据本公开的实施方式，电子装置201还可包括处理器，所述处理器配置成作为处理器210的一部分或者与处理器210分开地控制传感器模块240，并且在处理器1210处于休眠模式时，电子装置2701可以控制传感器模块240。
输入单元250可包括例如触摸面板252、(数字)笔传感器254、按键256或超声输入装置258。触摸面板252可以使用电容性、电阻性、红外或超声波方法中的至少一项。触摸面板252还可包括控制电路。触摸面板252还可包括触觉层以向用户提供即时反应。(数字)笔传感器254可包括例如触摸面板的一部分或单独薄片以进行辨别。按键256可包括例如物理按钮、光学按键或键盘。超声输入装置258可以通过麦克风(例如，麦克风288)感测从输入工具生成的超声波以识别与所感测到的超声波对应的数据。
显示器260(例如，显示器160)可包括面板262、全息装置264、投影仪266和/或用于控制它们的控制电路。面板262可以实施成柔性的、透明的或可穿戴的。面板262连同触摸面板252一起可以配置在一个或多个模块中。根据本公开的实施方式，面板262可包括压力传感器(或力传感器)，其可以通过用户的触摸来测量压力的强度。压力传感器可以与触摸面板252实施成一个单体，或者可以实施成与触摸面板252分开的一个或多个传感器。全息装置264可以通过使用光干涉来在空气中制作三维(3D)图像(全息图)。投影仪266可以通过将光投射到屏幕上来显示图像。例如，屏幕可以位于电子装置201的内部或外部。
接口270可包括例如高清晰度多媒体接口(HDMI)272、USB 274、光学接口276或D-超小型接口(D-sub)278。接口270可包括在例如图1中所示的通信接口170中。另外地或替代地，接口270可包括移动高清链接(MHL)接口、安全数字(SD)卡/多媒体卡(MMC)接口或红外数据协会(IrDA)标准接口。
音频模块280可以例如将声音信号转换成电信号，并且可以将电信号转换成声音信号。音频模块280的至少一部分可包括在例如如图1中所示的输入/输出接口145中。音频模块280可以处理通过例如扬声器282、接收器284、耳机286或麦克风288输入或输出的声音信息。
相机模块291可以是用于拍摄静止图像和视频的装置，并且根据本公开的实施方式，可包括一个或多个图像传感器(例如，前置传感器和后置传感器)、透镜、图像信号处理器(ISP)或闪光灯(诸如LED或氙灯)。根据本公开的实施方式，相机模块291可包括相机模块180的全部或一部分。
例如，电力管理器模块295可以管理电子装置201的电力。根据本公开的实施方式，电力管理器模块295可包括电力管理集成电路(PMIC)、充电器IC或者电池或燃料量表。PMIC可以采用有线和/或无线再充电方案。无线充电方案可使用例如磁共振充电、磁感应充电或基于电磁波的充电。在这种情况下，无线充电可能需要诸如线圈回路、谐振电路、整流器等的额外电路。电池量表可以测量电池296中剩下的剩余电量，或者可以在电池296正在充电时测量电池296的电压、电流或温度。电池296可以是可再充电电池或太阳能电池。
指示器297可以指示电子装置201或电子装置的一部分(例如，处理器210)的特定状态，包括例如在电子装置进行启动时、在电子装置已接收到消息时或者在电子装置进行再充电时。马达298可以将电信号转换成机械振动，并且可以生成振动或触觉效果。电子装置201可包括移动TV支持装置(例如，GPU)，其可以根据例如数字多媒体广播(DMB)、数字视频广播(DVB)或MediaFloTM标准来处理媒体数据。电子装置的前述部件中的每个均可包括一个或多个零件，并且零件的名称可以根据电子装置的类型而有所变化。根据各种实施方式，电子装置(例如，电子装置201)可以排除一些元件或包括更多元件，或者一些元件可以组合成可以执行与所述元件在组合之前所执行的功能相同的功能的单个部件。
图2B是示出根据本公开实施方式的电子装置的框图。如图2b中所示，处理器210可以与图像辨别模块241连接。处理器210还可以与行为模块244连接。图像辨别模块241可包括二维(2D)相机242和/或深度相机243。图像辨别模块241可基于所拍摄的图像执行辨别并将所辨别的结果传送给处理器210。行为模块244可包括面部表情马达245、身体姿势马达246和/或移动马达247。处理器210可控制面部表情马达245、身体姿势马达246和/或移动马达247以在电子装置101实施为机器人时控制电子装置101的移动。除了图2a中所示的元件之外，电子装置101可包括图2b中所示的元件。
根据本公开的实施方式，电子装置可包括相机、至少一个马达、通信接口、至少一个处理器以及与处理器电连接的存储器，其中，存储器可存储这样的命令，所述命令在被处理器运行时致使处理器：使用通过控制相机而获取的第一图像识别外部对象的动作，基于所识别的外部对象的动作来获取第一方向信息，驱动至少一个马达以使得相机面向根据第一方向信息而确定的方向，并从通过控制相机面向所确定的方向而获取的第二图像识别第二电子装置。
根据本公开的实施方式，存储器可存储这样的命令，所述命令在被处理器运行时致使处理器：通过通信接口将与第二图像对应的数据发送到至少一个服务器，从至少一个服务器接收基于与第二图像对应的数据而确定的、与第二电子装置对应的数据，并基于所接收的与第二电子装置对应的数据来识别第二电子装置。
根据本公开的实施方式，存储器可存储这样的命令，所述命令在被处理器运行时致使处理器：接收至少一个语音输入，通过通信接口将与至少一个语音输入对应的数据发送到至少一个服务器，从至少一个服务器接收基于与至少一个语音输入对应的数据而确定的、与第二电子装置对应的数据，并基于所接收的与第二电子装置对应的数据来识别第二电子装置。
根据本公开的实施方式，存储器可存储这样的命令，所述命令在被处理器运行时致使处理器：在第二电子装置被确定为可控电子装置时从存储器获取与第二电子装置对应的数据，使用所获取的数据通过通信接口与第二电子装置连接，并对第二电子装置进行控制。
根据本公开的实施方式，存储器可存储这样的命令，所述命令在被处理器运行时致使处理器：在与第二电子装置对应的数据不存在于存储器中时通过通信接口从至少一个服务器接收与第二电子装置对应的数据，并使用从至少一个服务器接收的数据与第二电子装置连接。
根据本公开的实施方式，存储器可存储这样的命令，所述命令在被处理器运行时致使处理器：将所获取的第一方向信息以及与第二电子装置对应的数据存储在存储器中，其中，与第二电子装置对应的数据是从至少一个服务器接收到的。
根据本公开的实施方式，存储器可存储这样的命令，所述命令在被处理器运行时致使处理器：接收至少一个语音输入，从至少一个语音输入获取与第二电子装置的控制有关的命令，并将与所获取的命令对应的信号发送至第二电子装置。根据本公开的实施方式，存储器可存储这样的命令，所述命令在被处理器运行时致使处理器：使用通过控制面向该方向的相机而获取的第三图像来识别第二电子装置中的状态变化，当所识别的第二电子装置中的状态变化未对应于所获取的命令时，输出与至少一个语音输入对应的反馈。
根据本公开的实施方式，存储器可存储这样的命令，所述命令在被处理器运行时致使处理器：输出与指定对应于第二电子装置的命令有关的请求，将所获取的第一方向信息和与该请求对应的命令存储在存储器中，并且在接收到包括存储在存储器中的命令的至少一个语音输入时，将与该命令对应的信号发送至第二电子装置。
根据本公开的实施方式，存储器可存储这样的命令，所述命令在被处理器运行时致使处理器：在检测到第二电子装置的动作时驱动至少一个马达来追踪第二电子装置的动作，基于追踪第二电子装置的动作的结果来获取与第二电子装置有关的第二方向信息，并将所获取的第二方向信息存储在存储器中。
图3是示出根据本公开实施方式的使用另一电子装置控制电子装置的方法的图。根据本公开的实施方式，电子装置301可包括图1A和图1B的电子装置101的全部或一部分。
参照图3，电子装置301的用户310可通过电子装置301来控制对象320(例如，智能灯)。电子装置301可使用设置在电子装置301中的相机(例如，相机模块180或相机模块291)或输入/输出接口(例如，图1A的输入/输出接口150或图2A的输入装置250)来获取与对象320有关的信息。
根据本公开的实施方式，电子装置301可通过电子装置301的相机获取与用户310对应的至少一个图像。电子装置301可以使用所获取的与用户310对应的至少一个图像来检测用户310的动作。电子装置301可基于检测到的用户310的动作来获取至少一条方向信息。例如，电子装置301可基于用户310将他或她的身体部位的至少一处指向特定方向的动作来获取至少一条方向信息。例如，电子装置301可以检测用户310将他或她的手指指向特定方向的动作，并可获取与其对应的至少一条方向信息。在另一示例中，电子装置301可检测用户310将他或她的眼睛或头指向特定方向的动作，并可获取与其对应的至少一条方向信息。
因此，电子装置301的用户310可执行指向他或她期望控制的对象320的动作，并且电子装置301可通过相机检测用户310的动作。电子装置301可基于检测到的用户310的动作来获取与对象320有关的至少一条方向信息。电子装置301可基于所获取的至少一条方向信息来确定对象320的位置。例如，电子装置301可基于通过相机识别的多个对象的相对位置和所获取的方向信息来确定对象320的相对位置。电子装置301可基于与预设参考点有关的坐标信息和所获取的方向信息来确定对象320的绝对位置。
根据本公开的实施方式，电子装置301可通过电子装置301的相机获取包含与对象320有关的信息的至少一个图像。电子装置可在所获取的图像中识别与对象320有关的信息。例如，电子装置301可拍摄图像，通过该图像可通过电子装置301的相机识别对象320的形状、型号名称或位置。可替代地，电子装置301可拍摄识别对象320的条形码或QR码的图像。因此，电子装置301可以从所获取的图像识别对象320的信息，例如，对象320的形状、型号名称或位置。
电子装置301可通过设置在电子装置301中的输入/输出接口接收包含与对象320有关的信息的至少一个输入。电子装置301可以从所接收的至少一个输入来识别与对象320有关的信息。例如，电子装置301可通过电子装置301的输入/输出接口接收包含用于识别对象320的信息(诸如，对象320的形状、型号名称或位置)的至少一个输入，并且提取该信息。电子装置301可以在接收到预先指定的语音输入时被激活。例如，激活的电子装置301可以从用户310接收指定“将灯打开”的语音输入313。电子装置301可辨别出对象320与所接收的语音输入313对应。电子装置301可以在辨别出对象320时输出指定“好的！”的语音。
电子装置301可基于从其它装置获取的信息来辨别对象320。例如，为了辨别对象320，电子装置301可通过通信接口(例如，图1的通信接口170或图2的通信模块220)将所获取的信息发送至一个或多个服务器。然后，电子装置301可以从一个或多个服务器接收辨别对象320所需的至少一条信息。然后，电子装置301可基于从一个或多个服务器接收的信息来辨别对象320。例如，电子装置301可接收以多种角度拍摄的对象320的图像。电子装置301可使用这些图像来辨别对象320。
电子装置301可通过设置在电子装置301中的驱动器(例如，驱动器191)来移动电子装置301的至少一部分或重新定位电子装置301以定位所辨别的对象320。例如，驱动器可设置在电子装置的头部(例如，头部190)或本体部(例如，本体部193)的内部或外部的部分中，或者可设置在头部与本体部连接在一起的位置处。驱动器可包括至少一个马达。电子装置301可激活至少一个马达以移动电子装置301的至少一部分或重新定位电子装置301。电子装置301可通过移动包括相机的头部(例如，头部190)来重新定向电子装置301的相机。例如，电子装置301可基于从用户获取的方向信息在第一方向上重新定向电子装置301的相机。电子装置301可获取与第一方向对应的至少一个图像，并且可使用所获取的图像来定位对象320。
在从与第一方向对应的图像识别到对象320的情况下，电子装置301可确定所识别的对象320是否定位在图像的中央处。如果不是，则电子装置301可重新定位相机(即，重新定位头部190)，以使得所识别的对象320位于通过相机获取的图像的中央处。
如果没有从与第一方向对应的图像识别到对象320，则电子装置301可以在第二方向上重新定向相机。电子装置301可通过相机来获取与第二方向对应的至少一个图像，并且可使用第二方向上的图像来定位对象320。电子装置301可重复地重新定向相机，直至识别到对象320。
根据本公开的实施方式，电子装置301可以在通过相机定位对象320之后在对象的方向上输出反馈内容303。例如，在从通过相机获取的至少一个图像识别到对象320的情况下，电子装置301可以使用闪光灯或其显示器输出光、使用扬声器输出声音或者使用振动马达输出振动。
电子装置301可生成与用户310的至少一个动作和从用户310接收的语音输入对应的控制信号。电子装置301可通过电子装置301的通信接口将所生成的控制信号发送至对象320。在接收到由电子装置301生成的控制信号时，对象320可执行所接收的控制信号要求的功能。例如，在接收到与“将灯打开”对应的控制信号时，灯可打开。
电子装置301可通过相机识别到对象320已执行了控制信号所要求的功能。例如，已向灯320发送了与“将灯打开”对应的控制信号的电子装置301可通过相机识别灯320是否打开。例如，电子装置301可通过面向灯320的相机获取包含灯320的至少一个图像。然后，电子装置301可通过分析所获取的图像来识别灯320是否已经打开。
图4是示出根据本公开实施方式的用于使用电子装置登记待控制的对象的方法的流程图。
用于执行该方法的电子装置(例如，电子装置101或电子装置201)可包括相机(例如，相机模块180或相机模块291)、输入/输出接口(例如，图1A的输入/输出接口150或图2A的输入装置250)、至少一个马达、通信接口(例如，图1A的通信接口170或图2A的通信模块220)以及处理器(例如，处理器120或处理器210)。在电子装置的部件之中，处理器可以执行该方法。
参照图4，在操作410中，处理器可通过相机或输入/输出接口获取与对象有关的信息。例如，处理器可控制相机来获取用户的至少一个图像。处理器可使用所获取的图像来检测用户的动作。处理器可基于检测到的用户动作来获取至少一条与对象有关的方向信息。处理器可基于所获取的至少一条方向信息来辨别对象。
处理器可控制相机来获取包括对象相关信息的至少一个图像。处理器可以从所获取的至少一个图像识别对象相关信息。处理器可基于所识别的信息来辨别对象。例如，处理器可以从所获取的图像识别用于识别对象的信息(例如，对象的形状、型号名称或位置)。处理器可通过将所识别的信息与存储在电子装置的存储器或一个或多个服务器的数据库中的信息进行比较来辨别对象。
处理器可通过输入/输出接口来接收包括对象相关信息的至少一个输入。处理器可以从所接收的输入识别对象相关信息。处理器可基于所识别的信息来辨别对象。例如，处理器可以从所接收的输入识别用于识别对象的信息(例如，对象的形状、型号名称或位置)。处理器可通过将所识别的信息与存储在电子装置的存储器或一个或多个服务器的数据库中的信息进行比较来辨别对象。
例如，在操作420中，处理器可激活至少一个马达以通过相机定位对象。具体地，处理器可基于通过相机或输入/输出接口获取的信息来辨别对象。处理器可使用在步骤410中获取到的至少一条方向信息，并可基于在步骤410中获取到的至少一条方向信息来激活设置在电子装置中的至少一个马达。由此，可以使相机在与在步骤410中获取到的至少一条方向信息对应的方向上重新定向。处理器可控制重新定向的相机获取至少一个图像，并且处理器可以使用所获取的至少一个图像来定位所辨别的对象。
在操作430中，处理器可确定通过相机定位的对象是否是可控对象。例如，为了确定对象是否可控，处理器可识别通过相机定位的对象是否被包括在可控对象列表中，其中，可控对象列表存储在电子装置的存储器或一个或多个服务器的数据库中。替代地，处理器可尝试通过电子装置的通信接口连接至对象，以确定对象是否是可控对象。
在确定对象不可控时，处理器可执行操作490。在操作490中，处理器可输出与对象为不可控有关的内容。例如，处理器可通过电子装置的扬声器输出讲述“该对象不能被控制”的语音。根据另一实施方式，处理器可以替代性地通过电子装置的显示器显示该内容。根据本公开的实施方式，处理器可通过输出讲述“您希望控制该对象吗？”的语音来确认对象是否是用户想要控制的对象。
在确定对象为可控时，处理器可执行操作440。在操作440中，处理器可确定通过相机定位的对象是否是已登记的对象(即，登记为可以由电子装置控制的装置)。例如，处理器可识别存储在电子装置的存储器或一个或多个数据库的数据库中的信息以确定该对象是否是已登记的对象。
如果确定对象尚未登记，则处理器可执行操作450。在操作450中，处理器可以从用户接收重新登记对象的请求，并将与该对象对应的数据存储在存储器中。例如，处理器可输出询问是否重新登记对象的内容。例如，处理器可输出讲述“您希望登记该对象吗？”的语音。在从用户接收到对象的重新登记请求时，处理器可以从一个或多个服务器获取与对象建立连接所需的数据，并且将所获取的数据存储在电子装置的存储器中。此外，在从用户接收到对象的重新登记请求时，处理器可以将与通过相机或输入/输出接口获取的对象有关的位置信息存储在电子装置的存储器中。
当确定对象已被登记或者完成了重新登记时，处理器可执行操作460。在操作460中，处理器可通过电子装置的通信接口与对象建立连接。
在操作470中，处理器可发送与对应于所连接的对象的命令的指定有关的请求，并将该命令存储在电子装置的存储器中。例如，在通过通信接口建立与对象的连接的情况下，处理器可输出询问是否指定与所连接的对象对应的命令的内容。例如，处理器可输出讲述“您希望设置与该对象对应的命令吗？”的语音。处理器可以从用户接收与所连接的对象对应的至少一个命令，并将所接收的命令存储在电子装置的存储器或一个或多个服务器的数据库中。
在操作480中，在接收到包含命令的输入时，处理器可以将与所接收的命令对应的信号发送至对象。例如，在接收到与存储在电子装置的存储器或一个或多个服务器的数据库中的命令对应的输入时，处理器可生成与所存储的命令对应的信号。处理器可通过接口将所生成的信号发送至对象。例如，处理器可接收讲述“将灯打开”的语音输入，生成与该语音输入对应的信号，并通过通信接口将该信号发送至对象。在接收到该信号时，可将对象(例如，灯)打开。
提供操作410至操作490是为了对本公开的实施方式进行描述，并且操作410至操作490并非必须顺序地执行，也并非所有操作都是必需的。例如，可以仅执行一些操作。
图5A是示出根据本公开实施方式的使用电子装置控制至少一个对象的方法的流程图。
用于执行该方法的电子装置(例如，电子装置101或电子装置201)可包括相机(例如，相机模块180或相机模块291)、输入/输出接口(例如，图1A的输入/输出接口150或图2A的输入装置250)、至少一个马达、通信接口(例如，图1A的通信接口170或图2A的通信模块220)以及处理器(例如，处理器120或处理器210)。在电子装置的部件之中，处理器可以执行该方法。
参照图5A，在操作500中，处理器可通过相机或输入/输出接口来接收控制对象的命令。例如，处理器可控制相机来获取用户的至少一个图像。处理器可使用所获取的图像来检测用户的动作。处理器可基于检测到的用户动作来辨别待控制的对象。例如，处理器可检测用户将其手指指向对象的动作。处理器还可基于通过输入/输出接口接收的用户的语音输入来辨别对象。例如，对应于接收到讲述“打开你左侧的灯”的声音输入，处理器可辨别出相对地定位在电子装置左侧的灯是待控制的对象。
在操作505中，处理器可确定是否与对象建立了连接，并从存储器获取与该对象对应的数据。处理器可确定是否已与所辨别的对象建立了连接。在确定没有与所辨别的对象建立连接时，处理器可以从电子装置的存储器或一个或多个服务器的数据库获取与所辨别的对象建立连接所需的信息。然后，处理器可基于所获取的信息与所辨别的对象建立连接。在确定出已与所辨别的对象建立了连接时，处理器可以从电子装置的存储器或一个或多个服务器的数据库获取与所辨别的对象对应的数据。
在操作510中，处理器可基于在操作505中获取的数据项中的至少一项和在操作500中接收的命令来获取与所辨别的对象有关的方向信息。例如，处理器可基于经由相机获取的用户动作来获取与所辨别的对象有关的方向信息。替代地，处理器可基于从电子装置的存储器或一个或多个服务器的数据库获取的数据来获取与所辨别的对象有关的方向信息。
在操作515中，处理器可激活至少一个马达，以使得相机面向通过所获取的方向信息而确定的方向。例如，电子装置的相机可设置在电子装置的一部分中，例如设置在电子装置的头部(例如，头部190)中。处理器可激活包括在电子装置的驱动器(例如，驱动器191)中的至少一个马达，以移动电子装置的头部。随着电子装置的头部的移动，电子装置的相机可被重新定向。根据本公开的实施方式，所获取的方向信息可包括与所辨别的对象的位置对应的信息。处理器可驱动至少一个马达以允许相机面向通过所获取的方向信息而确定的方向，以使得电子装置的相机面向所辨别的对象。
在操作520中，处理器可确定所辨别的对象是否是存在于电子装置所处空间外部的外部对象。例如，当所辨别的对象没有位于电子装置所处空间中时，处理器可能难以通过相机定位对象。当所辨别的对象位于电子装置所处空间外部时，处理器可执行操作540。
如果所辨别的对象位于电子装置所处空间内，则处理器可执行操作525。在操作525中，处理器可确定是否通过面向所确定的方向的相机识别到所辨别的对象。例如，处理器可控制相机在所确定的方向上获取至少一个图像。然后，处理器可以在至少一个图像中识别至少一个对象。处理器可确定所识别的至少一个对象是否与所辨别的对象相同。当通过面向所确定的方向的相机来识别所辨别的对象时，处理器可执行操作540。
然而，如果未通过面向所确定的方向的相机识别到所辨别的对象，则处理器可执行操作530。在操作530中，处理器可驱动至少一个马达来定位所辨别的对象。例如，处理器可驱动至少一个马达来重新定向相机。
在操作535中，处理器可确定是否通过面向改变后的方向的相机识别到所辨别的对象。例如，本公开可控制面向改变后的方向的相机在改变后的方向上获取至少一个图像。然后，处理器可以在至少一个图像中识别至少一个对象。处理器可确定所识别的至少一个对象是否与所辨别的对象相同。根据本公开的实施方式，可重复操作530至操作535，直至识别到所辨别的对象或直至对电子装置所处空间的扫描完成。
如果没有通过面向改变方向的相机识别出所辨别的对象，则处理器可执行操作545。在操作545中，处理器可以将所辨别的对象登记为存在于电子装置所处空间外部的外部对象，并且处理器可更新与对象对应的数据。例如，在即使使用相机对电子装置所处空间进行了全方位扫描仍无法识别到所辨别的对象时，处理器可确定所辨别的对象是存在于电子装置所处空间外部的外部对象。基于该确定，处理器可更新存储在电子装置的存储器或一个或多个服务器的数据库中的位置数据。
当通过面向改变后的方向的相机识别到所辨别的对象时，处理器可执行操作540。在操作540中，处理器可以输出与所接收的命令对应的内容，相机定位成面向所确定的方向或改变后的方向。例如，当操作540在操作520之后执行时，处理器可放弃驱动至少一个马达并且仅输出与所接收的命令对应的内容。在这种情况下，与所接收的命令对应的内容可以是对应于将与所接收的命令对应的信号发送至所辨别的对象而输出的内容。例如，处理器可使用电子装置的闪光灯或显示器输出视觉内容、使用电子装置的扬声器输出声音或者使用电子装置的振动马达输出振动。
在另一示例中，当操作540在操作525之后执行时，处理器可输出与所接收的命令对应的内容，相机定位成面向所确定的方向。在操作540于操作535之后执行的情况下，处理器可输出与所接收的命令对应的内容，相机定位成面向改变后的方向。在这种情况下，与所接收的命令对应的内容可以是在已通过相机对所辨别的对象进行定位之后在所辨别的对象的方向上输出的反馈内容。例如，处理器可使用电子装置的闪光灯或显示器输出视觉内容、使用电子装置的扬声器输出声音或者使用电子装置的振动马达输出振动。
图5B是示出根据本公开实施方式的用于使用电子装置识别控制至少一个对象的结果的方法的流程图。
用于执行该方法的电子装置(例如，电子装置101或电子装置201)可包括相机(例如，相机模块180或相机模块291)、输入/输出接口(例如，图1A的输入/输出接口150或图2A的输入装置250)、至少一个马达、通信接口(例如，图1A的通信接口170或图2A的通信模块220)以及处理器(例如，处理器120或处理器210)。在电子装置的部件之中，处理器可以执行该方法。
根据本公开的实施方式，电子装置的处理器可以在执行图5A的操作之后执行图5B的操作。在通过相机或输入/输出接口接收到用于控制对象的命令时，电子装置的处理器可执行图5B的操作。
参照图5B，在操作550中，处理器可以将与所接收的命令对应的信号发送至对象。例如，处理器可通过相机或输入/输出接口接收控制对象的命令。处理器可生成与所接收的命令对应的信号，并通过通信接口将所生成的信号发送至对象。
在操作555中，处理器可确定对象是否是存在于电子装置所处空间外部的外部对象。例如，当对象存在于电子装置所处空间外部时，处理器可能难以通过相机识别对象中的状态变化。当对象存在于电子装置所处空间外部时，处理器可以不执行另外的操作。
然而，如果对象位于电子装置所处空间内，则处理器可执行操作560。在操作560中，处理器可控制面向对象的相机获取至少一个图像。例如，在接收到控制对象的命令时，处理器可获取与对象有关的方向信息。处理器可基于用户的动作和从电子装置的存储器或者一个或多个服务器的数据库获取的数据来获取与对象有关的方向信息。处理器可根据所获取的方向信息来确定对象的位置，并基于该确定的结果驱动电子装置的至少一个马达，以重新定向电子装置的相机。由此，处理器可控制相机面向对象。
在操作565中，处理器可使用所获取的至少一个图像来识别对象中的状态变化。例如，本公开可控制面向对象的相机获取至少一个图像。通过分析所获取的至少一个图像，处理器可识别对象中的状态变化。例如，处理器可响应于“打开”命令识别已将对象打开。
在操作570中，处理器可确定所识别的对象中的状态变化是否是与所接收的命令对应的状态变化。处理器可以将在发送与所接收的命令对应的信号之前获取到的对象的图像与之后获取到的对象的图像进行比较。例如，处理器可接收讲述“将灯打开”的语音输入。处理器可识别到在发送信号之前对象(即，灯)是关闭的。处理器也可识别到在发送信号之后该对象被打开。以这种方式，处理器可确定所识别的对象中的状态变化是否是与所接收的命令对应的状态变化。
如果所识别的对象中的状态变化不是与所接收的命令对应的状态变化，则处理器可执行操作575。在操作575中，处理器可输出与控制失败有关的内容。例如，处理器可通过电子装置的扬声器输出讲述“控制对象失败”的语音。可替代地，处理器可通过电子装置的显示器显示与控制失败有关的内容。
在操作580中，处理器可通过相机或输入/输出接口重新接收控制对象的命令。例如，在输出与控制失败有关的内容之后，处理器可以从用户重新接收控制对象的命令。处理器可基于重新接收的命令重新执行操作550至操作580中的至少一个操作。
图6是示出根据本公开实施方式的用于使用电子装置识别被重新定位的对象的方法的流程图。
用于执行该方法的电子装置(例如，电子装置101或电子装置201)可包括相机(例如，相机模块180或相机模块291)、输入/输出接口(例如，图1A的输入/输出接口150或图2A的输入装置250)、至少一个马达、通信接口(例如，图1A的通信接口170或图2A的通信模块220)以及处理器(例如，处理器120或处理器210)。在电子装置的部件之中，处理器可以执行该方法。
参照图6，在操作610中，处理器可检测登记对象的动作。例如，处理器可以使用通过相机获取的至少一个图像将在电子装置中登记的至少一个对象识别为待控制的对象。根据本公开的实施方式，为了识别登记对象的位置或状态，处理器可驱动设置在电子装置中的至少一个马达以周期性地改变电子装置的相机所面向的方向。然后，处理器可使用通过指向各个方向的相机获取的图像来识别登记对象的位置或状态。
处理器可通过周期性地或实时地通过相机识别登记对象的位置或状态来检测一个或多个登记对象的动作。
在操作620中，处理器可驱动至少一个马达以允许相机面向移动对象。处理器可基于通过相机获取的图像实时地追踪移动对象或识别重新定位的对象。可替代地，处理器可使用设置在电子装置中的传感器(例如，动作传感器或距离测量传感器)来追踪移动对象。处理器可驱动设置在电子装置中的至少一个马达，以使得相机面向移动对象或重新定位的对象。
在操作630中，处理器可确定是否通过相机识别到对象。例如，处理器可分析由面向移动对象或重新定位的对象的相机获取的至少一个图像，并确定是否识别到移动对象或重新定位的对象。
如果没有通过相机识别到对象，则处理器可执行操作670。在操作670中，处理器可获取与识别到对象的最后位置对应的方向信息。对象的位置可能先前已被确定。然而，由于对象的移动，处理器不能再定位对象。例如，对象可能已经移动至电子装置所处空间的外部，使得该对象可能无法通过电子装置的相机被识别到。处理器可以将不能再通过相机被识别到的对象登记为外部对象。处理器可基于与识别到对象的最后位置对应的方向信息来更新预先存储的对象位置数据。
当通过相机识别到对象时，处理器可执行操作640。在操作640中，处理器可检测所识别的对象的动作。例如，在检测到所识别的对象的连续动作时，处理器可重新驱动至少一个马达以追踪移动对象。处理器可重复操作620至操作640，直至对象停止移动或者不再被识别到。
如果没有检测到对象的动作，则处理器可执行操作650。在操作650中，处理器可获取与对象已停止移动的当前位置对应的方向信息。例如，处理器可基于电子装置的头部(例如，头部190)向上或向下或向左或向右转动的程度来获取与对象的当前位置对应的方向信息。处理器可基于通过相机识别到的一个或多个对象的相对位置来获取与对象的当前位置对应的方向信息。
根据本公开的实施方式，处理器可使用设置在电子装置中的相机和至少一个传感器(例如，传感器模块240)生成与电子装置所处空间对应的地图。该地图可使用电子装置所处空间的拍摄的360度全景图像而生成。处理器可以将至少一个坐标集合映射至所生成的地图，并可使用所映射的坐标集合表示在地图中识别的对象的位置。处理器可以在所生成的地图上识别对象的已停止移动的当前位置，并且处理器可获取与所识别的位置对应的方向信息。
在操作660中，处理器可基于所获取的方向信息来更新存储在存储器中的与对象对应的数据。例如，处理器可基于所获取的方向信息来更新对象的位置数据。当在更新之后接收到控制对象的命令时，处理器可驱动至少一个马达以允许电子装置的相机面向与所更新的位置对应的方向。
根据本公开的实施方式，可改变电子装置(例如，电子装置101或电子装置201)的位置。例如，电子装置可以由用户重新定位。电子装置可使用设置在电子装置中的至少一个马达进行移动。在确定电子装置已被重新定位时，处理器可使用相机、至少一个传感器、输入/输出接口或通信接口来识别改变后的位置。
例如，处理器可通过在其位置改变时控制相机来获取至少一个图像。处理器可基于所获取的至少一个图像来识别电子装置的改变后的位置。例如，处理器可以将在电子装置被重新定位之前获取的至少一个图像与在电子装置被重新定位之后获取的至少一个图像进行比较，并且通过比较图像来识别改变后的位置。在这样做时，处理器可识别在电子装置被重新定位之前获取的图像与在电子装置被重新定位之后获取的图像中共同包括的对象，并且处理器可基于所识别的对象的绝对位置和相对位置来识别电子装置的改变后的位置。在未识别到在电子装置被重新定位之前获取的图像与在电子装置被重新定位之后获取的图像中共同包括的对象时，处理器可确定电子装置所处空间已改变。
处理器可基于通过至少一个传感器、输入/输出接口或通信接口接收的信息来识别电子装置的改变后的位置。例如，处理器可通过输入/输出接口从用户获取与改变后的位置有关的信息。或者，处理器可通过通信接口(例如，全球定位系统(GPS))获取与改变后的位置有关的信息。处理器可基于通过输入/输出接口和通信接口获取的信息来识别电子装置的改变后的位置。
当识别到电子装置的改变后的位置时，处理器可通过电子装置的相机识别定位在电子装置周围的一个或多个对象。为此，处理器可通过使用电子装置的至少一个马达来重新定向相机。处理器还可生成与改变后的位置对应的新地图。该地图可使用在电子装置所处的空间的拍摄的360度全景图像而生成。处理器可将至少一个坐标集合映射至所生成的地图，并可使用所映射的坐标集合来表示在地图中识别的对象的位置。处理器可基于所生成的地图来识别因电子装置的动作而使其相对位置已改变的一个或多个对象的当前位置，并且处理器可获取与所识别的位置对应的方向信息。
图7A至图7C是示出根据本公开实施方式的用于驱动电子装置的至少一部分的方法的图。
用于执行该方法的电子装置(例如，电子装置101或电子装置201)可包括相机(例如，相机模块180或相机模块291)、输入/输出接口(例如，图1A的输入/输出接口150或图2A的输入装置250)、至少一个马达、通信接口(例如，图1A的通信接口170或图2A的通信模块220)以及处理器(例如，处理器120或处理器210)。在电子装置的部件之中，处理器可以执行该方法。
图7A是电子装置701和待控制的对象720所处的特定空间710的平面图。例如，特定空间710可表示家中的起居室或卧室。
根据本公开的实施方式，处理器可使用设置在电子装置701中的至少一个马达来移动电子装置701的至少一部分。例如，电子装置701的头部(例如，头部190)可包括相机和传感器中的至少一个。处理器可驱动至少一个马达来移动电子装置701的头部以改变相机的方向。
例如，处理器可以从用户接收控制对象720的命令。为了通过相机识别待控制的对象720，处理器可改变相机的方向以使其面向对象720。处理器可驱动至少一个马达以转动电子装置的头部，从而允许电子装置的相机面向对象720。
图7B示出了通过电子装置701的相机生成的地图711。处理器可使用由相机获取的图像生成用于电子装置701所处的空间710的地图711。处理器可使用至少一个参考点和与参考点对应的坐标来限定地图711。处理器可以在地图711中识别对象720，并且处理器可基于这些坐标来识别出所识别的对象720的位置。处理器可以将地图711和与地图711对应的坐标数据存储在电子装置的存储器或一个或多个服务器的数据库中。在接收到控制对象720的命令时，处理器可以在地图711中识别对象720的坐标，并且处理器可驱动至少一个马达以允许电子装置701的相机面向与所识别的坐标对应的方向。
图7C示出了与电子装置701所处的空间710对应的地图711的整体形状。例如，处理器可以将地图711的整体形状配置为球体。处理器可通过控制电子装置的相机来获取与空间710的至少一部分对应的至少一个图像。处理器可以从所获取的至少一个图像识别对象720。如图7C中所示的与空间710对应的地图711可使用球形坐标系利用绝对坐标进行限定，或者利用相对于电子装置701的相对坐标进行限定。
图8是示出根据本公开实施方式的用于控制电子装置的方法的流程图。
用于执行该方法的电子装置(例如，电子装置101或电子装置201)可包括相机(例如，相机模块180或相机模块291)、输入/输出接口(例如，图1A的输入/输出接口150或图2A的输入装置250)、至少一个马达、通信接口(例如，图1A的通信接口170或图2A的通信模块220)以及处理器(例如，处理器120或处理器210)。在电子装置的部件之中，处理器可以执行该方法。
参照图8，在操作810中，处理器可使用通过控制相机而获取的第一图像来识别外部对象的动作。这里，第一图像可表示由相机获取的单个图像或多个图像。例如，处理器可获取与外部对象对应的多个图像。处理器可使用所获取的多个图像来识别外部对象的动作。例如，处理器可通过将在第一时间时获取的图像与在第二时间时获取的图像进行比较来识别外部对象在第一时间与第二时间之间的动作。
在操作820中，处理器可基于所识别的外部对象的动作来获取至少一条方向信息。例如，处理器可控制电子装置的相机来获取与外部对象对应的至少一个图像。这里，外部对象可以是电子装置的用户。处理器可使用所获取的与用户对应的至少一个图像来检测用户的动作。处理器可基于检测到的用户的动作来获取至少一条方向信息。例如，处理器可基于用户将至少一个身体部位指向特定方向的动作来获取至少一条方向信息。处理器可检测到用户将其手指指向特定方向的动作，并可获取与该动作对应的至少一条方向信息。处理器可检测到用户将其头或眼睛指向特定方向的动作，并可获取与该动作对应的至少一条方向信息。
例如，用户可做出将至少一个身体部位指向用户期望控制的第二电子装置的动作，并且处理器可通过相机检测到用户的动作。处理器可基于检测到的用户动作来获取与第二电子装置有关的至少一条方向信息。处理器可基于所获取的至少一条方向信息来确定第二电子装置的位置。例如，处理器可基于通过相机识别的多个对象中在位置上的相对关系以及所获取的至少一条方向信息来确定第二电子装置的相对位置。处理器可基于与预设参考点有关的坐标信息和所获取的至少一条方向信息来确定第二电子装置的绝对位置。
在操作830中，处理器可激活至少一个马达，以使得相机面向通过所获取的至少一条方向信息而确定的方向。例如，处理器可通过移动包括电子装置的相机的头部(例如，头部190)来改变电子装置的相机所面向的方向。处理器可基于所获取的与第二电子装置有关的第一方向信息来改变电子装置的相机所面向的方向。处理器可驱动至少一个马达以允许电子装置的相机面向根据所获取的第一方向信息而确定的方向。
在操作840中，处理器可以从通过控制面向所确定的方向的相机而获取的第二图像识别第二电子装置。这里，第二图像可表示通过相机获取的单个图像或多个图像。例如，处理器可以从通过控制相机而获取的至少一个图像识别第二电子装置。当从与所确定的方向对应的至少一个图像识别到第二电子装置时，处理器可确定所识别的第二电子装置是否定位在通过相机获取的图像的中央处。处理器可调整相机所面向的方向，以将所识别的第二电子装置放置在通过相机获取的图像的中央处。
如果没有从与所确定的方向对应的至少一个图像识别到第二电子装置，则处理器可改变相机所面向的方向。处理器可通过控制相机来获取与改变后的方向对应的至少一个图像，并且处理器可以从所获取的至少一个图像定位第二电子装置。处理器可重复改变相机所面向的方向、获取与改变后的方向对应的图像以及使用所获取的图像来定位第二电子装置的操作，直至识别到第二电子装置。
图9是示出根据本公开的实施方式的程序模块的框图。根据本公开的实施方式，程序模块910(例如，程序140)可包括控制与电子装置(例如，电子装置101)和/或在操作系统上驱动的各种应用(例如，应用处理器417)相关的资源的操作系统(OS)。操作系统可包括例如AndroidTM、iOSTM、WindowsTM、SymbianTM、TizenTM或BadaTM。
参照图9，程序模块910可包括内核920(例如，内核141)、中间件930(例如，中间件143)、API 960(例如，API 145)和/或应用970(例如，应用程序147)。程序模块910的至少一部分可以预先加载在电子装置上，或者可以从外部电子装置(例如，电子装置102和104或服务器106)下载。
内核920可包括例如系统资源管理器921或装置驱动器923。系统资源管理器921可以执行系统资源的控制、分配或恢复。根据本公开的实施方式，系统资源管理器921可包括进程管理单元、存储器管理单元或文件系统管理单元。装置驱动器923可包括例如显示驱动器、相机驱动器、蓝牙驱动器、共享存储器驱动器、USB驱动器、键盘驱动器、Wi-Fi驱动器、音频驱动器或进程间通信(IPC)驱动器。
中间件930可以通过API 960向应用970提供各种功能，使得应用970可以使用电子装置中的有限系统资源或者提供应用970共同需要的功能。根据本公开的实施方式，中间件930可包括运行时间库935、应用管理器941、窗口管理器942、多媒体管理器943、资源管理器944、电力管理器945、数据库管理器946、包管理器947、连接管理器948、通知管理器949、位置管理器950、图形管理器951或安全管理器952中的至少一项。
运行时间库935可包括编译器所使用的库模块，以在例如正在运行应用970时添加新功能。运行时间库935可以执行输入/输出管理、存储器管理或算术函数处理。
应用管理器941可以管理例如应用970的生命周期。窗口管理器942可以管理屏幕上所使用的GUI资源。多媒体管理器943可以检测用于再现多种媒体文件的格式，并且可以通过适合于相关格式的编解码器对媒体文件进行编码或解码。资源管理器944可以管理应用970的源代码或存储器空间。电力管理器945可以管理例如电池的容量、温度或电力，并且使用这种信息中的相应一部分信息来确定并提供电子装置的操作所必需的电力信息。根据本公开的实施方式，电力管理器945可以与基本输入/输出系统(BIOS)相互配合。数据库管理器946可以生成、搜索或改变待在应用970中使用的数据库。包管理器947可以管理以包文件的形式分发的应用的安装或更新。连接管理器948可以管理例如无线连接性。通知管理器949可以向用户提供事件，例如到达消息、约会或接近警报。位置管理器950可以管理例如电子装置上的位置信息。图形管理器951可以管理例如待提供给用户的图形效果及其相关用户界面。例如，安全管理器952可以提供系统安全或用户认证。根据本公开的实施方式，中间件930可包括用于管理电子装置的语音或视频呼叫功能的电话管理器或者能够形成上述元件的功能的组合的中间件模块。根据本公开的实施方式，中间件930可以提供根据操作系统的类型指定的模块。中间件930可以动态地省略一些现有部件或添加新部件。
API 960可以是一组例如API编程功能，并且可以根据操作系统具有不同配置。例如，在Android或iOS的情况下，可以每个平台提供一个API集合，而在Tizen的情况下，可以每个平台提供两个或更多个API集合。
应用970可包括可以提供例如主页971、拨号器972、SMS/MMS 973、即时消息(IM)974、浏览器975、相机976、闹钟977、联系人978、语音拨号979、电子邮件980、日历981、媒体播放器982、相册983或时钟984。应用970也可包括保健应用(例如，用于测量锻炼或血糖程度)或者包括提供环境信息(例如，气压、湿度或温度信息)的应用。根据本公开的实施方式，应用970可包括支持电子装置与外部电子装置之间的信息交换的信息交换应用。信息交换应用的示例可包括但不限于用于向外部电子装置传送特定信息的通知中继应用，或者用于管理外部电子装置的装置管理应用。例如，通知中继应用可以将由电子装置的应用生成的通知信息传送到外部电子装置，或者从外部电子装置接收通知信息并将所接收的通知信息提供给用户。装置管理应用可以安装、删除或更新与电子装置通信的外部电子装置的功能(例如，接通/断开外部电子装置(或一些元件)、调整显示器的亮度(或分辨率)等)或者在外部电子装置上操作的应用。根据本公开的实施方式，应用970可包括从外部电子装置接收的应用。程序模块910的至少一部分可以用软件、固件、硬件(例如，处理器210)或其至少两者或更多者的组合实施(例如，执行)，并且可包括用于执行一个或多个功能的模块、程序、例程、命令集或进程。
根据本公开的实施方式，用于通过包括相机的电子装置控制另一电子装置的方法可包括使用通过控制相机而获取的第一图像来识别外部对象的动作，基于所识别的外部对象的动作来获取第一方向信息，驱动电子装置的至少一个马达以使得相机面向根据第一方向信息而确定的方向，以及从通过控制面向所确定的方向的相机而获取到的第二图像识别第二电子装置。
根据本公开的实施方式，用于通过包括相机的电子装置控制另一电子装置的方法可包括通过电子装置的通信接口将与第二图像对应的数据发送到至少一个服务器，从至少一个服务器接收基于与第二图像对应的数据确定的、与第二电子装置对应的数据，以及基于所接收的与第二电子装置对应的数据来识别第二电子装置。
根据本公开的实施方式，用于通过包括相机的电子装置控制另一电子装置的方法可包括接收至少一个语音输入，通过电子装置的通信接口将与至少一个语音输入对应的数据发送到至少一个服务器，从至少一个服务器接收基于与至少一个语音输入对应的数据确定的、与第二电子装置对应的数据，并且基于所接收的与第二电子装置对应的数据来识别第二电子装置。
根据本公开的实施方式，用于通过包括相机的电子装置控制另一电子装置的方法可包括当将第二电子装置确定为可控电子装置时，从电子装置的存储器获取与第二电子装置对应的数据，使用所获取的数据通过电子装置的通信接口与第二电子装置连接，并且控制第二电子装置。
根据本公开的实施方式，用于通过包括相机的电子装置控制另一电子装置的方法可包括当与第二电子装置对应的数据不存在于存储器中时通过通信接口从至少一个服务器接收与第二电子装置对应的数据，使用从至少一个服务器接收的数据与第二电子装置连接，并且将所获取的第一方向信息以及从至少一个服务器接收的与第二电子装置对应的数据存储在存储器中。
根据本公开的实施方式，用于通过包括相机的电子装置控制另一电子装置的方法可包括接收至少一个语音输入，从至少一个语音输入获取与第二电子装置的控制有关的命令，并将与所获取的命令对应的信号发送至第二电子装置。
根据本公开的实施方式，用于通过包括相机的电子装置控制另一电子装置的方法可包括使用通过控制面向该方向的相机而获取的第三图像来识别在第二显示装置中的状态变化，并且在所识别的第二电子装置中的状态变化与所获取的命令不对应时，输出与至少一个语音输入对应的反馈。
根据本公开的实施方式，用于通过包括相机的电子装置控制另一电子装置的方法可包括输出与指定对应于第二电子装置的命令有关的请求，将所获取的第一方向信息和与该请求对应的命令存储在电子装置的存储器中，并且在接收到包括存储在存储器中的命令的至少一个语音输入时，将与该命令对应的信号发送至第二电子装置。
根据本公开的实施方式，用于通过包括相机的电子装置控制另一电子装置的方法可包括在检测到第二电子装置的动作时驱动至少一个马达来追踪第二电子装置的动作，基于追踪第二电子装置的动作的结果来获取与第二电子装置有关的第二方向信息，并将所获取的第二方向信息存储在电子装置的存储器中。
根据本公开的实施方式，可提供存储用于运行通过包括相机的电子装置控制另一电子装置的方法的程序的计算机可读记录介质，其中，该方法包括使用通过控制相机而获取的第一图像来识别外部对象的动作，基于所识别的外部对象的动作来获取第一方向信息，驱动电子装置的至少一个马达以使得相机面向根据第一方向信息而确定的方向，并且从通过控制面向所确定的方向的相机而获取的第二图像识别第二电子装置。
如本文中所使用的，措辞“模块”包括以硬件、软件或固件配置的单元，并且可以与其它措辞(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可被机械地实施或电子地实施，并且可包括例如专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)或可编程逻辑装置，其已被公知或将在未来被开发为执行一些操作而。
根据本公开的实施方式，装置的至少一部分(例如，模块或其功能)或方法(例如，操作)可以以例如程序模块的形式实施为存储在计算机可读存储介质(例如，存储器130)中的指令。当指令被处理器(例如，处理器120)运行时，可使得处理器能够执行相应的功能。计算机可读介质可包括例如硬盘、软盘、磁介质(例如，磁带)、光学记录介质(例如，CD-ROM、DVD)、磁光介质(例如，软光盘)或嵌入式存储器。指令可包括由编译器创建的代码或由可被解释器运行的代码。根据本公开的各种实施方式的模块或编程模块可包括前述部件中的至少一个或多个，省略前述部件中的一些，或者还包括其它额外的部件。由根据本公开的各种实施方式的模块、编程模块或其它部件执行的操作可顺序地、并行地、重复地或启发地执行，或者至少一些操作可以以不同的顺序执行或者被省略，或者可添加其它操作。
提出本文中公开的实施方式是为了描述和理解所公开的技术，而非对本公开的范围进行限制。因此，本公开的范围应解释为包括基于本公开的技术精神的所有改变或多种实施方式。
本公开的上述实施方式可以以硬件、固件进行实施，或者可以通过运行软件或者存储在记录介质(诸如，CD ROM、数字通用光盘(DVD)、磁带、RAM、软光盘、硬盘或磁光盘)中的计算机代码或通过网络下载的最初存储在远程记录介质或非暂时性机器可读介质上或者待存储在本地记录介质上的计算机代码进行实施，以使得本文中所描述的方法可经由使用通用计算机或特殊处理器被存储在记录介质上或者被存储在可编程或专用硬件(例如ASIC或FPGA)中的这种软件而呈现。如本领域所理解的，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储器部件(例如，RAM、ROM、闪存等)，其中，当所述软件或计算机代码被计算机、处理器或硬件访问并运行时实施本文中描述的处理方法。

Claims (15)

1.电子装置，包括：
相机；
至少一个马达；
通信接口；
至少一个处理器；以及
存储器，与所述处理器电连接，其中，所述存储器存储在被所述处理器运行时致使所述处理器执行如下操作的命令：
使用通过控制所述相机而获取的第一图像来识别外部对象的动作，
基于所识别的外部对象的动作来获取第一方向信息，
驱动所述至少一个马达，以使得所述相机面向根据所述第一方向信息而确定的方向，以及
从通过控制面向所确定的方向的所述相机而获取的第二图像识别第二电子装置。
2.根据权利要求1所述的电子装置，其中，所述存储器存储在被所述处理器运行时致使所述处理器执行如下操作的命令：
通过所述通信接口将与所述第二图像对应的第一数据发送到至少一个服务器，
从所述至少一个服务器接收与所述第二电子装置对应的第二数据，其中，所述第二数据是基于所述第一数据而确定的，以及
基于与所述第二电子装置对应的所述第二数据来识别所述第二电子装置。
3.根据权利要求1所述的电子装置，其中，所述存储器存储在被所述处理器运行时致使所述处理器执行如下操作的命令：
接收至少一个语音输入，
通过所述通信接口将与所述至少一个语音输入对应的第一数据发送到至少一个服务器，
从所述至少一个服务器接收与所述第二电子装置对应的第二数据，其中，所述第二数据是基于所述第一数据而确定的，以及
基于与所述第二电子装置对应的所述第二数据来识别所述第二电子装置。
4.根据权利要求1所述的电子装置，其中，所述存储器存储在被所述处理器运行时致使所述处理器执行如下操作的命令：
当所述第二电子装置被确定为可控电子装置时，从所述存储器获取与所述第二电子装置对应的数据，
使用所获取的数据通过所述通信接口与所述第二电子装置连接，以及
控制所述第二电子装置。
5.根据权利要求4所述的电子装置，其中，所述存储器存储在被所述处理器运行时致使所述处理器执行如下操作的命令：
在与所述第二电子装置对应的数据不存在于所述存储器中时，通过所述通信接口从至少一个服务器接收与所述第二电子装置对应的数据，以及
使用从所述至少一个服务器接收的数据与所述第二电子装置连接。
6.根据权利要求4所述的电子装置，其中，所述存储器存储在被所述处理器运行时致使所述处理器执行如下操作的命令：
接收至少一个语音输入，
从所述至少一个语音输入获取与所述第二电子装置的控制有关的命令，以及
将与所获取的命令对应的信号发送至所述第二电子装置。
7.根据权利要求1所述的电子装置，其中，所述存储器存储在被所述处理器运行时致使所述处理器执行如下操作的命令：
输出与指定对应于所述第二电子装置的命令有关的请求，
将所获取的第一方向信息和与所述请求对应的命令存储在所述存储器中，以及
在接收到包括存储在所述存储器中的命令的至少一个语音输入时，将与所述命令对应的信号发送至所述第二电子装置。
8.根据权利要求1所述的电子装置，其中，所述存储器存储在被所述处理器运行时致使所述处理器执行如下操作的命令：
在检测到所述第二电子装置的动作时，驱动所述至少一个马达来追踪所述第二电子装置的动作，
基于追踪所述第二电子装置的动作的结果来获取与所述第二电子装置有关的第二方向信息，以及
将所获取的第二方向信息存储在所述存储器中。
9.用于通过包括相机的电子装置控制另一电子装置的方法，所述方法包括：
使用通过控制所述相机而获取的第一图像来识别外部对象的动作；
基于所识别的外部对象的动作来获取第一方向信息；
驱动所述电子装置的至少一个马达，以使得所述相机面向根据所述第一方向信息而确定的方向；以及
从通过控制面向所确定的方向的所述相机而获取到的第二图像识别所述第二电子装置。
10.根据权利要求9所述的方法，还包括：
通过所述电子装置的通信接口将与所述第二图像对应的第一数据发送到至少一个服务器；
从所述至少一个服务器接收与所述第二电子装置对应的第二数据，其中，所述第二数据是基于所述第一数据而确定的；以及
基于与所述第二电子装置对应的所述第二数据来识别所述第二电子装置。
11.根据权利要求9所述的方法，还包括：
接收至少一个语音输入；
通过所述电子装置的通信接口将与所述至少一个语音输入对应的第一数据发送到至少一个服务器；
从所述至少一个服务器接收与所述第二电子装置对应的第二数据，其中，所述第二数据是基于所述第一数据而确定的；以及
基于与所述第二电子装置对应的第二数据来识别所述第二电子装置。
12.根据权利要求9所述的方法，还包括：
响应于将所述第二电子装置确定为可控电子装置，从所述电子装置的存储器获取与所述第二电子装置对应的数据；
使用所获取的数据通过所述电子装置的通信接口与所述第二电子装置连接；以及
控制所述第二电子装置。
13.根据权利要求12所述的方法，还包括：
响应于与所述第二电子装置对应的数据不存在于所述存储器中，通过所述通信接口从至少一个服务器接收与所述第二电子装置对应的数据；
使用从所述至少一个服务器接收的数据与所述第二电子装置连接；以及
将所获取的第一方向信息和从所述至少一个服务器接收的与所述第二电子装置对应的数据存储在所述存储器中。
14.根据权利要求9所述的方法，还包括：
输出与指定对应于所述第二电子装置的命令有关的请求；
将所获取的第一方向信息和与所述请求对应的命令存储在所述电子装置的存储器中；以及
在接收到包括存储在所述存储器中的命令的至少一个语音输入时，将与所述命令对应的信号发送至所述第二电子装置。
15.根据权利要求9所述的方法，还包括：
在检测到所述第二电子装置的动作时，驱动所述至少一个马达来追踪所述第二电子装置的动作；
基于追踪所述第二电子装置的动作的结果来获取与所述第二电子装置有关的第二方向信息；以及
将所获取的第二方向信息存储在所述电子装置的存储器中。
CN201880009249.5A 2017-02-24 2018-02-22 基于视觉的对象辨别装置和用于控制其的方法 Active CN110291528B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2017-0025086 2017-02-24
KR1020170025086A KR20180098079A (ko) 2017-02-24 2017-02-24 비전 기반의 사물 인식 장치 및 그 제어 방법
PCT/KR2018/002211 WO2018155936A1 (en) 2017-02-24 2018-02-22 Vision-based object recognition device and method for controlling the same

Publications (2)

Publication Number Publication Date
CN110291528A true CN110291528A (zh) 2019-09-27
CN110291528B CN110291528B (zh) 2023-08-18

Family

ID=63247076

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880009249.5A Active CN110291528B (zh) 2017-02-24 2018-02-22 基于视觉的对象辨别装置和用于控制其的方法

Country Status (5)

Country Link
US (2) US10644898B2 (zh)
EP (1) EP3580692B1 (zh)
KR (1) KR20180098079A (zh)
CN (1) CN110291528B (zh)
WO (1) WO2018155936A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI826118B (zh) * 2022-11-15 2023-12-11 宏碁股份有限公司 提供裸視3d內容的系統及方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110377145B (zh) * 2018-04-13 2021-03-30 北京京东尚科信息技术有限公司 电子设备确定方法、系统、计算机系统和可读存储介质
JP2021177582A (ja) * 2018-07-31 2021-11-11 ソニーグループ株式会社 制御装置、制御方法、およびプログラム
KR20200090403A (ko) 2019-01-21 2020-07-29 삼성전자주식회사 전자 장치 및 그 제어 방법
US20200249673A1 (en) * 2019-01-31 2020-08-06 National Geospatial-Intelligence Agency Systems and Methods for Obtaining and Using Location Data
KR20210020219A (ko) * 2019-08-13 2021-02-24 삼성전자주식회사 대용어(Co-reference)를 이해하는 전자 장치 및 그 제어 방법
KR20210109722A (ko) * 2020-02-27 2021-09-07 삼성전자주식회사 사용자의 발화 상태에 기초하여 제어 정보를 생성하는 디바이스 및 그 제어 방법
US20230244204A1 (en) * 2022-01-25 2023-08-03 Hitachi, Ltd. Simplified plc programming with mobile device

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7028269B1 (en) * 2000-01-20 2006-04-11 Koninklijke Philips Electronics N.V. Multi-modal video target acquisition and re-direction system and method
US20130009861A1 (en) * 2011-07-04 2013-01-10 3Divi Methods and systems for controlling devices using gestures and related 3d sensor
US20140208209A1 (en) * 2013-01-23 2014-07-24 Lg Electronics Inc. Electronic device and method of controlling the same
WO2014185808A1 (en) * 2013-05-13 2014-11-20 3Divi Company System and method for controlling multiple electronic devices
US20150194050A1 (en) * 2012-07-31 2015-07-09 Intellectual Discovery Co., Ltd. Remote control device and method
US20150347114A1 (en) * 2014-05-28 2015-12-03 Samsung Electronics Co., Ltd. Apparatus and method for controlling internet of things devices

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60144300D1 (de) * 2000-10-20 2011-05-05 Fujifilm Corp Bildverarbeitungsvorrichtung, welche Informationen mit einem identifizierten Subjekt des Bildes verknüpft
JP4143305B2 (ja) 2001-01-30 2008-09-03 日本電気株式会社 ロボット装置、照合環境判定方法、及び照合環境判定プログラム
US6922488B2 (en) * 2001-02-16 2005-07-26 International Business Machines Corporation Method and system for providing application launch by identifying a user via a digital camera, utilizing an edge detection algorithm
US7653212B2 (en) * 2006-05-19 2010-01-26 Universal Electronics Inc. System and method for using image data in connection with configuring a universal controlling device
JP2004096270A (ja) * 2002-08-30 2004-03-25 Hitachi Ltd 撮像システム
AU2003274496A1 (en) 2002-11-20 2004-06-15 Koninklijke Philips Electronics N.V. User interface system based on pointing device
US7173604B2 (en) 2004-03-23 2007-02-06 Fujitsu Limited Gesture identification of controlled devices
WO2005121937A2 (en) * 2004-06-07 2005-12-22 Koninklijke Philips Electronics N.V. Spatial interaction system
US7697827B2 (en) * 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
JP2007243726A (ja) * 2006-03-09 2007-09-20 Fujifilm Corp 遠隔制御装置、方法およびシステム
JP5844044B2 (ja) * 2007-11-21 2016-01-13 クアルコム，インコーポレイテッド デバイスアクセス制御
KR101789619B1 (ko) 2010-11-22 2017-10-25 엘지전자 주식회사 멀티미디어 장치에서 음성과 제스쳐를 이용한 제어 방법 및 그에 따른 멀티미디어 장치
US8704904B2 (en) * 2011-12-23 2014-04-22 H4 Engineering, Inc. Portable system for high quality video recording
US20150138333A1 (en) * 2012-02-28 2015-05-21 Google Inc. Agent Interfaces for Interactive Electronics that Support Social Cues
US20150314454A1 (en) * 2013-03-15 2015-11-05 JIBO, Inc. Apparatus and methods for providing a persistent companion device
US10416625B2 (en) * 2013-11-15 2019-09-17 Apple Inc. Aggregating user routines in an automated environment
KR102188090B1 (ko) * 2013-12-11 2020-12-04 엘지전자 주식회사 스마트 가전제품, 그 작동방법 및 스마트 가전제품을 이용한 음성인식 시스템
US9911351B2 (en) * 2014-02-27 2018-03-06 Microsoft Technology Licensing, Llc Tracking objects during processes
KR20150112337A (ko) * 2014-03-27 2015-10-07 삼성전자주식회사 디스플레이 장치 및 그 사용자 인터랙션 방법
DE102014107163A1 (de) * 2014-05-21 2015-11-26 Vorwerk & Co. Interholding Gmbh Elektrisch betriebenes Haushaltsgerät
US10306125B2 (en) * 2014-10-09 2019-05-28 Belkin International, Inc. Video camera with privacy
US10334158B2 (en) * 2014-11-03 2019-06-25 Robert John Gove Autonomous media capturing
US20160150124A1 (en) * 2014-11-24 2016-05-26 Kyocera Document Solutions Inc. Image Forming Apparatus with User Identification Capabilities
WO2016099048A1 (en) * 2014-12-15 2016-06-23 Samsung Electronics Co., Ltd. Electronic apparatus and method of controlling group action
US9811312B2 (en) * 2014-12-22 2017-11-07 Intel Corporation Connected device voice command support
US10686984B1 (en) * 2015-02-13 2020-06-16 Waylens, Inc. Connected camera system
US9984686B1 (en) * 2015-03-17 2018-05-29 Amazon Technologies, Inc. Mapping device capabilities to a predefined set
US9826134B2 (en) * 2015-03-27 2017-11-21 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus having a microphone and directivity control
US9454820B1 (en) * 2015-06-12 2016-09-27 Google Inc. Using a scene illuminating infrared emitter array in a video monitoring camera for depth determination
US9503628B1 (en) 2015-07-07 2016-11-22 Yahya Hussain Alsalamah Camera mounting and control device
US9769367B2 (en) * 2015-08-07 2017-09-19 Google Inc. Speech and computer vision-based control
US10506322B2 (en) * 2015-10-20 2019-12-10 Bragi GmbH Wearable device onboard applications system and method
KR102453603B1 (ko) * 2015-11-10 2022-10-12 삼성전자주식회사 전자 장치 및 그 제어 방법
KR102558437B1 (ko) * 2015-11-27 2023-07-24 삼성전자주식회사 질의 응답 처리 방법 및 이를 지원하는 전자 장치
KR20170064242A (ko) * 2015-12-01 2017-06-09 삼성전자주식회사 영상통화를 제공하는 전자 장치 및 방법
KR102392113B1 (ko) * 2016-01-20 2022-04-29 삼성전자주식회사 전자 장치 및 전자 장치의 음성 명령 처리 방법
US9918006B2 (en) * 2016-05-20 2018-03-13 International Business Machines Corporation Device, system and method for cognitive image capture
US10178293B2 (en) * 2016-06-22 2019-01-08 International Business Machines Corporation Controlling a camera using a voice command and image recognition
US20180061276A1 (en) * 2016-08-31 2018-03-01 Intel Corporation Methods, apparatuses, and systems to recognize and audibilize objects
US10303929B2 (en) * 2016-10-27 2019-05-28 Bose Corporation Facial recognition system
US10157613B2 (en) * 2016-11-17 2018-12-18 BrainofT Inc. Controlling connected devices using a relationship graph

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7028269B1 (en) * 2000-01-20 2006-04-11 Koninklijke Philips Electronics N.V. Multi-modal video target acquisition and re-direction system and method
US20130009861A1 (en) * 2011-07-04 2013-01-10 3Divi Methods and systems for controlling devices using gestures and related 3d sensor
US20150194050A1 (en) * 2012-07-31 2015-07-09 Intellectual Discovery Co., Ltd. Remote control device and method
US20140208209A1 (en) * 2013-01-23 2014-07-24 Lg Electronics Inc. Electronic device and method of controlling the same
WO2014185808A1 (en) * 2013-05-13 2014-11-20 3Divi Company System and method for controlling multiple electronic devices
US20150347114A1 (en) * 2014-05-28 2015-12-03 Samsung Electronics Co., Ltd. Apparatus and method for controlling internet of things devices

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI826118B (zh) * 2022-11-15 2023-12-11 宏碁股份有限公司 提供裸視3d內容的系統及方法

Also Published As

Publication number Publication date
US10644898B2 (en) 2020-05-05
KR20180098079A (ko) 2018-09-03
EP3580692B1 (en) 2023-04-12
EP3580692A4 (en) 2020-02-26
WO2018155936A1 (en) 2018-08-30
EP3580692A1 (en) 2019-12-18
CN110291528B (zh) 2023-08-18
US20200287739A1 (en) 2020-09-10
US11095472B2 (en) 2021-08-17
US20180248710A1 (en) 2018-08-30

Similar Documents

Publication Publication Date Title
CN110291528A (zh) 基于视觉的对象辨别装置和用于控制其的方法
CN108279832A (zh) 图像采集方法和电子装置
CN108885498A (zh) 电子装置和在电子装置中提供信息的方法
CN108076405A (zh) 电子设备及其操作方法
CN107257954A (zh) 用于提供屏幕镜像服务的设备和方法
CN107807732A (zh) 用于显示图像的方法、存储介质和电子装置
CN110168471A (zh) 电子设备以及用于显示其运行的应用的历史的方法
CN107665485A (zh) 用于显示图形对象的电子装置和计算机可读记录介质
CN105607696A (zh) 控制屏幕的方法以及用于处理该方法的电子设备
CN107637025A (zh) 用于输出消息的电子装置及其控制方法
CN108476277A (zh) 电子装置
CN108292311A (zh) 用于处理元数据的设备和方法
CN110476189A (zh) 用于在电子装置中提供增强现实功能的方法和设备
KR20170110919A (ko) 지능형 전자 장치 및 그 동작 방법
CN110326033A (zh) 用于控制无人驾驶飞行器的电子装置及操作该电子装置的方法
CN107923980A (zh) 用于提供位置信息的方法和装置
KR102626304B1 (ko) 콘텐츠 출력 방법 및 이를 지원하는 전자 장치
CN110088764A (zh) 用于虹膜识别功能的操作方法及支持该方法的电子设备
CN105426069B (zh) 用于产生预览数据的方法和电子设备
KR102358849B1 (ko) 스마트 워치에 대한 정보를 제공하는 전자 장치와 이의 동작 방법
CN108141490A (zh) 用于处理图像的电子设备及其控制方法
CN108462818A (zh) 电子设备及用于在该电子设备中显示360度图像的方法
KR20170052976A (ko) 모션을 수행하는 전자 장치 및 그 제어 방법
CN108761513A (zh) 定位方法、电子设备和存储介质
CN108235234A (zh) 提供位置数据的电子设备和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant