CN110716717B - 控制电子设备的方法和计算机可读记录介质 - Google Patents

控制电子设备的方法和计算机可读记录介质 Download PDF

Info

Publication number
CN110716717B
CN110716717B CN201910220997.4A CN201910220997A CN110716717B CN 110716717 B CN110716717 B CN 110716717B CN 201910220997 A CN201910220997 A CN 201910220997A CN 110716717 B CN110716717 B CN 110716717B
Authority
CN
China
Prior art keywords
registrable
image
devices
information
registered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910220997.4A
Other languages
English (en)
Other versions
CN110716717A (zh
Inventor
赵恩珠
李儇智
高昌鉐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110716717A publication Critical patent/CN110716717A/zh
Application granted granted Critical
Publication of CN110716717B publication Critical patent/CN110716717B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/54—Presence management, e.g. monitoring or registration for receipt of user log-on information, or the connection status of the users
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W48/00—Access restriction; Network selection; Access point selection
    • H04W48/16—Discovering, processing access restriction or access information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2807—Exchanging configuration information on appliance services in a home automation network
    • H04L12/2809—Exchanging configuration information on appliance services in a home automation network indicating that an appliance service is present in a home automation network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/38—Creation or generation of source code for implementing user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2807—Exchanging configuration information on appliance services in a home automation network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/75—Indicating network or usage conditions on the user display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72427—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Security & Cryptography (AREA)
  • Selective Calling Equipment (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)

Abstract

提供了一种控制电子设备的方法和计算机可读记录介质。所述方法包括：基于用于注册外部装置的用户输入被接收到，通过电子设备的相机执行捕捉并获得图像，基于从外部装置接收到的信号识别所述图像中包括的至少一个装置之中的可注册装置，在所述图像中显示指示可注册装置的图形对象，并基于用于注册可注册装置的用户输入被接收到，将可注册装置注册为被控装置。

Description

控制电子设备的方法和计算机可读记录介质
本申请基于于2018年7月11日在韩国知识产权局提交的第10-2018-0080401号韩国专利申请，并要求所述韩国专利申请的优先权，所述韩国专利申请公开的全部内容通过引用合并于此。
技术领域
本公开涉及一种控制电子设备的方法和存储用于控制电子设备的程序的计算机可读记录介质。更具体地，本公开涉及一种控制能够更直观地注册要被控制的装置的电子设备的方法及其程序。
背景技术
计算机技术、通信技术和家用电子技术的进步已经引入了家庭和工厂中的装置和系统被连接到网络并经由网络被管理的网络管理服务，所述网络管理服务已作为面向未来的技术出现。
经由网络被连接的家庭和工厂中的所有装置能够彼此传输数据，并且可与各种电子设备进行通信。例如，用户可在不考虑时间和位置的情况下通过使用在诸如智能电话等的电子设备中提供的用户界面UI来控制家庭中的所有家用电器。
为了使用此服务，需要初始化要被控制的装置，并且对于装置安装，需要在智能手机和/或服务器中注册装置的过程。
根据现有技术，使用智能电话应用来注册装置。然而，仅提供可注册设备的列表，并且因此难以精确地识别出现在列表中的装置的身份。此外，为了注册多个装置，需要用户直接按顺序注册所述多个装置中的每一个装置，这是不方便的。
以上信息作为背景信息被提供仅用于帮助理解本公开。关于所述背景信息针对本公开的适用性，尚未做出确定，并且未做出断言。
发明内容
本公开的各方面至少解决上述问题和/或缺点，并且至少提供下述优点。因此，本公开的一方面在于提供一种控制能够更直观地注册要被控制的装置的电子设备的方法及其程序。
根据本公开的一方面，提供了一种在电子装置上注册至少一个外部装置的方法，所述方法包括：基于用于注册所述至少一个外部装置的用户输入被接收到，通过所述电子装置的相机捕捉包括多个装置的图像；从包括在所述图像中的所述多个装置中识别至少一个可注册装置；在所述图像中的被识别的至少一个可注册装置上显示至少一个图形对象，其中，所述至少一个图形对象指示所述至少一个可注册装置在所述电子装置上是能够注册的；以及基于用于选择所述至少一个图形对象中的至少一个图形对象的用户输入，在所述电子装置上注册与选择的至少一个图形对象相应的至少一个装置。
所述方法还可包括：从服务器接收被注册的至少一个装置的状态信息，其中，所述显示步骤包括将所述图像与所述状态信息的指示一起显示。
所述方法还可包括：显示用于控制被注册的至少一个装置的用户界面(UI)；以及基于经由用于控制被注册的至少一个装置的UI接收到用户输入来发送用于控制被注册的至少一个装置的控制命令。
所述识别步骤可包括通过图像分析识别包括在所述图像中的所述至少一个可注册装置。
显示所述至少一个图形对象的步骤可包括：基于通过图像分析识别的所述至少一个可注册装置的类型，显示指示所述至少一个可注册装置的文本。
所述识别步骤可包括：通过图像分析识别包括在所述图像中的至少一个装置的位置；基于从所述至少一个外部装置接收到的信号的强度和相位差来识别所述至少一个外部装置的位置；将基于图像分析所识别的图像中的至少一个装置的位置与基于所述信号的强度和相位差所述识别的所述至少一个外部装置的位置进行比较；以及基于比较的结果识别所述至少一个可注册装置。
显示至少一个图形对象的步骤可包括：基于包括在接收到的信号中的服务集标识符(SSID)显示指示所述至少一个可注册装置的文本。
所述方法还可包括：基于多个可注册装置在所述图像中被识别，并且所述多个可注册装置被注册为被控装置，将被注册的多个可注册装置指定为第一组。
所述方法还可包括：基于用于检查第一组的状态的用户输入被接收到，提供所述图像和包括关于被注册的多个可注册装置的状态的信息的用户界面(UI)。
所述注册步骤可包括：基于接收到用于注册所述至少一个可注册装置的用户输入，从所述至少一个可注册装置接收装置信息，并向服务器发送基于接收到的装置信息的注册请求。
所述注册步骤可包括：基于所述至少一个可注册装置在所述图像中被识别以及用于注册所述至少一个可注册装置的用户输入被接收到，从所述至少一个可注册装置顺序地接收装置信息，并向服务器发送基于接收到的装置信息的注册请求。
根据本公开的一方面，提供了一种非暂时性计算机可读存储介质，被配置为存储计算机可执行指令，其中，所述计算机可执行指令在被电子装置的处理器执行时使所述电子装置执行在所述电子装置上注册至少一个外部装置的方法，其中，所述方法包括：基于用于注册所述至少一个外部装置的用户输入被接收到，通过所述电子装置的相机捕捉包括多个装置的图像；从包括在所述图像中的所述多个装置中识别至少一个可注册装置；在所述图像中的被识别的至少一个可注册装置上显示至少一个图形对象，其中，所述至少一个图形对象指示所述至少一个可注册装置在所述电子装置上是能够注册的；以及基于用于选择所述至少一个图形对象中的至少一个图形对象的用户输入，在所述电子装置上注册与选择的至少一个图形对象相应的至少一个装置。
从以下结合附图公开了本公开的各种实施例的详细描述中，本公开的其它方面、优点和显着特征对于本领域技术人员将变得显而易见。
附图说明
从以下结合附图的描述中，本公开的特定实施例的以上和其它方面以及优点将更加清楚，其中：
图1是示出根据实施例的系统的示图；
图2是根据实施例的控制装置的框图；
图3是根据实施例的控制控制装置的方法的流程图；
图4是根据实施例的注册装置的方法的流程图；
图5是示出根据实施例的提供用于注册外部装置的菜单的用户界面(UI)的示图；
图6是示出执行捕捉以注册外部装置的情况的示图；
图7是示出根据实施例的用户界面(UI)的示图，其中，在该UI上显示了示出捕捉的图像中的可注册装置的图形对象；
图8是示出根据实施例的用户界面(UI)的示图，其中，该UI包括当捕捉功能未被提供时可被提供的可注册装置的代表图像；
图9是示出根据实施例的用户界面(UI)的示图，其中，可在该UI中从可注册装置中选择将被注册的装置；
图10是示出根据实施例的在注册装置的同时可被显示的用户界面(UI)的示图；
图11是示出根据实施例的包括关于在注册之后被分配为组的装置的信息的用户界面(UI)的示图；
图12是示出将组分配给装置的实施例的示图；
图13是示出根据实施例的提供针对每个组的装置信息的用户界面(UI)的示图；
图14是示出根据实施例的当通过捕捉感测到新的可注册装置时可被提供的用户界面(UI)的示图；
图15是示出根据实施例的装置状态通知用户界面(UI)的示图；
图16和图17是示出根据各种实施例的提供状态信息的用户界面(UI)的示图；以及
图18和图19是示出根据各种实施例的用于装置控制的用户界面的示图。
贯穿附图，相同的参考标号用于表示相同的元素。
具体实施方式
从以下结合附图的描述中，本公开的特定实施例的以上和其它方面、特征和优点将更加清楚，然而，应当理解，本公开不限于以下描述的具体实施例，而是包括本公开的实施例的各种修改、等同物和/或替代。关于附图的解释，类似的附图参考标号可用于类似的构成元件。
在描述中，术语“具有”、“可具有”、“包括”或“可包括”指示相应特征(例如，数值、功能、操作或诸如组件的构成元件)的存在，但不排除附加特征的存在。
在说明书中，术语“A或B”、“A或/和B中的至少一个”或“A或/和B中的一个或更多个”可包括列举在一起的项的所有可能的组合。例如，术语“A或B”或“A或/和B中的至少一个”可表示：(1)至少一个A、(2)至少一个B、或者(3)至少一个A和至少一个B两者。
在说明书中，术语“第一”、“第二”等用于描述不同元素而不管它们的顺序和/或重要性，并且用于将一个元素与其他元素区分开，但不限于相应的元素。例如，第一用户器具和第二用户器具可指示不同的用户器具，而不管它们的顺序或重要性。例如，在不脱离本文所述的范围的情况下，第一元素可以被称为第二元素，或者类似地，第二元素可以被称为第一元素。
诸如“模块”、“单元”、“部件”等术语用于表示执行至少一个功能或操作的元件，并且这样的元件可被实现为硬件或软件或者硬件和软件的组合。此外，除了多个“模块”、“单元”、“部件”等中的每一个需要被实现在单个硬件中之外，这些组件可被集成在至少一个模块或芯片中并且可被实现在至少一个处理器中。
如果描述特定元件(例如，第一元件)与另一元件(例如，第二元件)“可操作地或通信地结合”或所述特定元件(例如，第一元件)“被可操作地或通信地连接到”所述另一元件(例如，第二元件)，则应当理解所述特定元件可直接或通过又一元件(例如，第三元件)被连接到所述另一元件。同时，当提到一个元件(例如，第一元件)与另一元件(例如，第二元件)“直接结合”或所述一个元件(例如，第一元件)被“直接连接到”所述另一元件(例如，第二元件)时，可以理解在所述一个元件和所述另一元件之间不存在元件(例如，第三元件)。
在说明书中，术语“被配置为”可以在特定情况下被改变为例如“适用于”、“具有…的能力”、“被设计为”、“适合于”、“被制造为”或“能够”。术语“被配置为(被设置为)”不一定意味着在硬件级“被专门设计为”。在特定情况下，术语“被配置为…的装置”可以表示能够与另一装置或组件一起做事的装置。例如，短语“被配置为执行A、B和C的处理器”可指示或表示用于执行相应操作的专用处理器(例如，嵌入式处理器)或能够通过执行存储在存储器装置中的一个或更多个软件程序来执行相应的操作的通用处理器(例如，CPU或应用处理器)。
说明书中使用的术语用于仅描述特定实施例，但可以不旨在限制其他实施例的范围。除非另外明确定义，否则单数表述可以包括复数表述。说明书中使用的所有术语(包括技术术语和科学术语)可被用作本公开所属领域的普通技术人员通常理解的含义。在本公开中使用并且在通用词典中定义的术语可以用作与现有技术的上下文中的术语的含义相同或相似的含义，并且它们不被理想地或过度地解释，除非它们已经被清楚且明确地定义。根据情况，即使在本公开的实施例中定义的术语也不应当被解释为排除本公开的实施例。
根据本公开的实施例的电子设备(包括控制装置和要被控制的装置)可包括例如智能电话、平板PC(个人计算机)、移动电话、视频电话、电子书阅读器、台式PC(个人计算机)、膝上型PC(个人计算机)、上网本计算机、工作站、服务器、PDA(个人数字助理)、PMP(便携式多媒体播放器)、MP3播放器、移动医疗装置、相机和可穿戴装置中的至少一个。根据实施例，可穿戴装置可包括配件类型(例如，手表、戒指、手镯，脚镯、项链、眼镜、隐形眼镜或头戴式装置(HMD))、织物或布嵌入类型(例如，电子服装)、身体附着类型(例如，皮肤垫或纹身)或者生物植入物电路(例如，可植入电路)中的至少一种。
在实施例中，电子设备可以是家用电器。家用电器可以例如包括电视机、数字视频盘(DVD)播放器、立体声系统、冰箱、空调、吸尘器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、TV盒(例如，Samsung HomeSyncTM、Apple TVTM或Google TVTM)、游戏控制台(例如，XboxTM和PlayStationTM)、电子词典、电子钥匙、摄像机和电子相框中的至少一个。
在实施例中，电子设备可以包括各种医疗装置(例如，各种便携式医疗测量装置(血糖监测器、心率监测器、血压测量装置或体温测量装置等)、磁共振血管造影(MRA)、磁共振成像(MRI)、计算机断层扫描(CT)、拍摄装置或超声装置等)、导航仪、全球导航卫星系统(GNSS)、事件数据记录仪(EDR)、飞行数据记录仪(FDR)、车辆信息娱乐装置、船用电子装置(例如，船用导航装置、陀螺罗盘等)、航空电子设备、安全装置、车用头部单元、工业或家用机器人、金融机构的自动柜员机(ATM)、商店的销售点(POS)或物联网装置(例如，灯泡、传感器、电表或气表、洒水器、火灾报警器、恒温器、路灯、烤面包机、体育用品、热水箱、加热器、锅炉等)。
根据实施例，电子设备可以包括家具、大楼/建筑物的一部分、电子板、电子签名接收装置、投影仪或各种测量装置(例如，水、电、气或波测量装置等)中的至少一个。在实施例中，电子设备可以是上述设备中的一个或更多个的组合。在特定实施例中，电子设备可以是柔性电子设备。此外，根据实施例的电子设备不限于上述设备，而是可根据技术发展包括新的电子设备。
图1是示出根据实施例的系统1000的示图。
参照图1，系统1000可以包括被控装置100、控制装置200、服务器300和接入点(AP)400。
被控装置100可以是例如家用电器，诸如TV、空调、冰箱、洗衣机、机器人吸尘器、加湿器、门锁、洗碗机、安全相机、闭路电视(CCTV)、安全传感器、发光二极管(LED)、灯、加热器、电表、电源插座、电插座、多插座、个人计算机(PC)、IP相机、互联网电话、有线/无线电话、可电控窗帘、百叶窗等。
被控装置100是设置有通信功能的电子设备，该电子设备可以例如通过诸如Wi-Fi、ZigBee、Z-波、蓝牙等的通信方法与外部设备和/或控制装置200进行通信。然而，该示例不限于此。
控制装置200可以例如是诸如智能电话、平板PC、遥控器、个人计算机、TV等的电子设备。
控制装置200是设置有通信功能的电子设备，该电子设备可以例如通过诸如Wi-Fi、ZigBee、Z-波、蓝牙等的通信方法与外部设备和/或被控装置100进行通信。然而，该示例不限于此。
控制装置200是能够执行对被控装置100的注册、控制、管理等的设备。控制装置200可将被控装置100注册在服务器300中并识别被控装置100的状态，并且将消息和/或命令发送到被控装置100以控制或操作被控装置100。
控制装置200可经由服务器300或者通过使用对等(P2P)连接与被控装置100进行通信。
接入点(AP)400是在无线LAN中担任基站的无线装置，该无线装置充当有线通信硬件和无线通信硬件之间的桥接器。从有线网络的角度来看，AP可被实现在路由器或交换机中，因此，AP可以将有线网络扩展到无线网络。例如，AP可以实现为连接到调制解调器、无线网卡等的IP分发或分配(例如，DHCP)装置。
被控装置100和控制装置200可以经由AP 400与连接到AP 400的另一外部装置或服务器300进行通信。
服务器300可被实现为云服务器。根据实施例，服务器300可包括帐户服务器和服务服务器。帐户服务器可执行用户认证。服务服务器可提供诸如门户网站、装置的状态信息管理、远程访问、装置的更新、消息通知等的功能。
系统1000提供的服务可被大致划分为装置注册和装置控制。
所述装置注册可例如包括以下过程中的至少一个：控制装置200被通信地连接到被控装置100的过程、控制装置200支持被控装置100访问接入点AP 400的过程、以及将被控装置100注册在控制装置200和服务器300中的过程。
例如，所述装置控制是在被控装置100被注册之后，通过使用控制装置200经由服务器300控制被控装置100或者在不考虑服务器300的情况下通过使用控制装置200来控制被控装置100的过程。
如果被控装置100和控制装置200在家庭中被使用，则被控装置100和控制装置200可以被称为家庭装置。被控装置100和控制装置200可以直接与服务器300进行通信，或者可以经由家庭网关进行通信。家庭网关可以被注册到服务器300，并且可以管理和控制包括被控装置100和控制装置200的家庭网络中的家庭装置。此外，家庭网关可以支持基于ZigBee或Z-波的装置和基于Wi-Fi的装置之间的消息转换。
控制装置200可以通过智能控制应用向用户提供各种服务。智能控制应用是在控制装置200的操作系统(OS)上执行的程序，该程序可以默认嵌入在控制装置200中或者可以从诸如Google PlayTM和Samsung AppsTM的应用商店被下载。控制装置200可以通过智能控制应用来执行对被控装置100的注册、控制、管理等。这里使用的术语“智能控制应用”仅是示例，并且可被称为“计算机可执行指令”或计算机程序。
智能控制应用可以通过控制装置200的各种硬件元件提供各种服务。
图2是根据实施例的控制装置200的示图。控制装置200可以是能够执行本公开中描述的功能的任何电子设备。
参照图2，控制装置200可以包括通信接口210、相机220、显示器230、存储器240和处理器250。根据实现形式，对于本领域技术人员显而易见的适当的硬件/软件配置可被进一步包括在控制装置200中。此外，根据实现形式，可以排除一些元件。
通信接口210被配置为与各种种类的外部装置进行通信。通信接口210可以以诸如Wi-Fi、蓝牙、NFC、红外数据协会(IrDA)、射频识别(RFID)、超宽带(UWB)、Wi-Fi直连、Z-波、ZigBee、4LoWPAN、GPRS、Weightless、数字生活网络联盟(DLNA)、ANT+、数字增强型无绳电信(DECT)、无线局域网(WLAN)、全球移动通信系统(GSM)、通用移动电信系统(UMTS)、无线宽带(WiBR0)等的通信方法或协议与外部装置进行通信。通信接口210可被实现为通信芯片、天线和/或收发器。
相机220可被配置为捕捉图像。相机220可包括前置相机和后置相机。前置相机可沿基于显示器230的用户方向(即显示方向)被布置。后置相机可与显示方向相反布置。
显示器230是用于显示图像的结构，该结构可以例如被实现为液晶显示器(LCD)、阴极射线管(CRT)、等离子体显示面板(PDP)、有机物发光二极管(OLED)显示器、透明OLED(TOLED)显示器等。显示器230可被实现为能够感测用户的触摸操作的触摸屏类型。
存储器240可以例如包括内部存储器或外部存储器。内部存储器可以包括易失性存储器(例如，动态RAM(DRAM))、静态RAM(SRAM)或同步动态RAM(SDRAM)等)、非易失性存储器(例如，一次可编程ROM(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除和可编程ROM(EEPROM)、掩模ROM、闪速ROM等)、硬盘驱动器(HDD)或固态驱动器(SSD)等中的至少一个。
外部存储器可包括闪速驱动器，例如紧凑型闪存(CF)、安全数字(SD)、微安全数字(micro-SD)、迷你安全数字(mini-SD)、极速数字(xD)、多媒体卡(MMC)、记忆棒等。
存储器240由处理器250访问，其中，处理器250将数据存储到存储器240并从存储器240读取数据以控制控制装置200的操作的执行。
这里使用的术语“存储器”可包括与处理器250分开提供的存储器和处理器250中的ROM和RAM中的至少一个。
处理器250是用于控制控制装置200的总体操作的组件。例如，处理器250可以通过执行操作系统应用来控制被连接到处理器250的多个硬件或软件元件，并且可以执行各种数据处理和计算。处理器250可以是中央处理单元(CPU)或图形处理单元(GPU)或者两者。处理器250可被实现为至少一个通用处理器、数字信号处理器、专用集成电路(ASIC)、片上系统(SoC)、微计算机等。
存储在存储器240中的智能控制应用当由处理器250执行时可控制控制装置200执行将在下面描述的实施例的操作。
图3是根据实施例的控制控制装置200的方法的流程图。
参照图3，在操作S310，当在控制装置200中接收到用于注册外部装置的用户输入时，通过控制装置200的相机执行捕捉并且获得图像。
用于注册外部装置的用户输入可表示例如选择在智能控制应用中提供的用于装置注册的用户界面(UI)元素，或者通过语音经由语音识别软件(例如，BixbyTM)指示外部装置注册。可选地，当通过蓝牙低功耗(BLE)感测到外部可注册装置时，控制装置200可自动显示询问外部装置是否可注册的用户界面(UI)，并经由所述UI接收同意注册的用户输入。
另外，在操作S320，控制装置200可基于从外部装置接收的信号识别包括在由相机捕捉的图像中的至少一个装置中的可注册装置。
例如，在被控装置100被包括在捕捉的图像中的情况下，被控装置100可以以诸如Wi-Fi、蓝牙、ZigBee、Z-波等的无线通信方法发送信号，并且所述信号可包括关于被控装置100的类型的信息。控制装置200可分析捕捉的图像并识别包括在捕捉的图像中的被控装置的类型。可以在控制装置200自身中执行图像分析。可选地，控制装置200可将捕捉的图像发送到外部服务器以执行图像分析，并且可以从外部服务器接收关于包括在图像中的装置的信息(装置组、装置名称、代表图像等)。
根据实施例，可以在执行图像分析时使用人工智能技术。详细地，可以通过使用由人工智能算法训练的人工智能模型从捕捉的图像中识别装置。例如，当捕捉的图像作为输入数据被输入到人工智能模型时，关于装置的信息、图像中的装置的位置等可被获取作为输出数据。
人工智能模型是基于人工智能算法训练的确定模型，该确定模型可以是例如基于神经网络的模型。训练的人工智能模型可被设计为在计算机上模拟人类大脑结构，并且包括具有权重值并且模拟人类神经网络的神经元的多个网络节点。多个网络节点中的每一个可以形成连接关系，使得神经元模拟它们的通过突触交换信号的突触活动。另外，训练的人工智能模型可以例如包括神经元网络模型或从神经元网络模型发展而来的深度学习模型。深度学习模型中的多个网络节点可以位于彼此不同的深度(或层)，并且可以根据卷积连接关系交换数据。例如，训练的人工智能模型可以包括深度神经网络(DNN)、递归神经网络(RNN)、双向递归深度神经网络(BDNR)等，但是本公开不限于此。
控制装置200可以使用作为AI专用程序(或人工智能代理)的个人秘书程序。个人秘书程序是用于提供基于人工智能(AI)的服务的专用程序。对于人工智能处理，可以使用现有的通用处理器(例如，CPU)，或者可以使用单用途处理器(例如，GPU、FPGA、ASIC等)。控制装置200可包括多个处理器，所述多个处理器可包括例如专用于AI的处理器和负责其它处理的处理器。
基于AI的操作可在控制装置200中被执行，或者可通过外部服务器被执行。在后一种情况下，控制装置200可例如将捕捉的图像发送到外部服务器，并且外部服务器可将所述图像输入到人工智能模型，获取关于图像中的装置的信息和关于位置的信息等作为输出数据，并且将获取的信息提供给控制装置200。例如，在图像分析的时候，可使用诸如CloudVisionTM、Bixby VisionTM、Google LensTM等的软件。
根据另一实施例，在图像分析的时候，可使用准备好的装置的图像。例如，可在图像分析中使用用于在网上商城中介绍产品的多个图像。由于所述多个图像从各种角度被捕捉，因此控制装置200可将各种角度的产品图像与捕捉的图像进行比较，并识别是否存在类似于产品图像的装置。在图像分析方法中，控制装置200可以从外部服务器接收产品图像，并执行将接收的产品图像与捕捉的图像中的装置进行比较的操作。
控制装置200可从通过图像分析识别的图像中的装置中将与包括在从外部装置接收的信号中的指示装置类型的信息相应的装置识别为可注册装置。也就是说，例如，在从外部装置接收的信号中包括的信息指示外部装置的类型是TV和冰箱，并且作为分析捕捉的图像的结果，TV和空调被识别为存在于捕捉的图像中的情况下，控制装置200可识别捕捉的图像中的TV是可注册装置。
如果将被注册的被控装置100已经连接到AP 400，则控制装置200可从AP 400接收关于连接到AP 400的被控装置100的信息，将接收到的信息与图像分析结果进行比较，并将共同装置识别为可注册装置。
根据实施例，控制装置200可以包括全景相机功能。因此，由于可以以360度捕捉图像，所以可以立即捕捉空间的整个内部并识别该空间中的所有可注册装置。
根据另一实施例，控制装置200可以通过图像分析获取关于捕捉的图像中包括的至少一个装置的位置的信息，识别至少一个外部装置的位置(距离和方向中的一个)，将基于图像分析识别的位置与从信号识别的位置进行比较，并识别图像中的可注册装置。
详细地，控制装置200可使用定义接收信号强度指示符(RSSI)和距离的公式根据信号强度计算距离值。
另外，控制装置200可基于从外部装置接收的信号来确定外部装置的方向。测向方法可以包括主动类型测向方法和被动类型测向方法。主动类型测向方法是控制装置200广播无线电波然后接收从外部装置反射的信号的寻找方向的方法。被动测向方法是控制装置200接收由外部装置广播的信号的寻找方向的方法。根据实施例，控制装置200可以包括两个平行天线，并且可以使用用于比较到达两个平行天线的信号的振幅大小的振幅比较方向检测方法、用于比较到达两个平行天线的信号的相位的相位差方向检测方法、或使用信号到达两个平行天线的时间之间的时间差的时间差方向检测方法。控制装置200可以组合各种方向检测方法以用于更精确的方向检测。控制装置200可基于图像中的装置的相对位置和通过从发送信号的装置接收的信号识别的装置的相对位置将图像中的装置与发送信号的装置进行匹配。
根据实施例，即使在存在多个相同类型的装置的情况下，控制装置200也可以将一个装置与另一装置区分开。如上所述，可以使用基于从外部装置接收的信号识别的外部装置的位置。
例如，在特定类型的装置(例如，TV)在捕捉的图像中被识别出，并且从第一外部装置接收的信号和从第二外部装置接收的信号两者都包括示出识别的装置是TV的信息的情况下，控制装置200可将基于从第一外部装置和第二外部装置接收的信号识别的第一外部装置和第二外部装置的位置与在捕捉的图像中的TV的位置进行比较，并识别出第一外部装置和第二外部装置之中的与捕捉的图像中的TV相应的外部装置。
另外，在操作S330，控制装置200可在捕捉的图像中显示示出可注册装置的至少一个图形对象。
根据实施例，示出可注册装置的图形对象可与捕捉的图像重叠并被显示。当被控装置100被包括在捕捉的图像中时，示出被控装置100的图形对象可与被控装置100被捕捉的位置重叠并被显示。
图形对象可以是可注册装置可以在捕捉的图像中被识别出的任何形式。例如，图形对象可以与捕捉图像中的可注册装置重叠并被显示。例如，图形对象可包括可注册装置的信息(例如，装置名称、装置的唯一ID等)。
用于识别可注册装置的图形对象可包括文本。根据实施例，控制装置200可基于通过对捕捉的图像的分析而识别的至少一个装置的类型来显示指示可注册装置的文本。根据另一实施例，控制装置200可基于在从外部装置(被控装置100)接收的信号中包括的服务集标识符(SSID)中包括的信息来显示指示可注册装置的文本。
从捕捉的图像上显示的图形对象中，用户能够基于捕捉的图像直观地识别可注册装置。
在捕捉的图像上显示的图形对象可用作可选择的UI元素。用户可选择与期望注册的装置相应的图形对象。可选地，装置图像本身可被用作可选择的UI元素。
另外，在操作S340，当接收到用于选择至少一个图形对象的用户输入时，控制装置200可将可注册装置注册为被控装置。注册被控装置的步骤可包括以下操作中的至少一个：使能与装置的通信、将装置连接到AP400、以及将关于装置的信息发送到服务器300以便在服务器300中管理该装置。
根据实施例，在捕捉的图像上，用于注册的UI元素可与示出可注册装置的图形对象一起被显示。当用户选择用于注册的UI元素时，可以执行针对包括在捕捉的图像中的所有可注册装置的注册过程。可选地，如上所述，用户可以仅选择期望注册的装置，因此，当选择装置并且选择用于注册的UI元素时，可以仅针对选择的装置执行注册过程。
注册过程可包括由控制装置200执行与可注册装置的通信连接。在初始通信连接的情况下，可以在装置之间执行配对处理。在配对处理中，出于安全原因可要求输入个人识别码(或密码)；但是，配对可被自动执行。在配对被执行之后，装置可彼此连接并交换信息。另外，当接收到用于注册可注册装置的用户输入时，控制装置200可从可注册装置接收装置信息，并且将基于接收的装置信息的注册请求发送到服务器300。
在多个可注册装置在图像中被识别出的情况下，当接收到用于注册多个装置的用户输入时，控制装置200可顺序地从多个可注册装置接收装置信息并将基于接收的装置信息的注册请求发送到服务器300。
在多个可注册装置在图像中被识别出并且多个可注册装置被注册为被控装置的情况下，可将多个注册的装置指定为第一组。因此，可以容易地将单一位置处的装置指定为一个组。当在不同位置执行捕捉和注册时，新的组可被自动创建。可将组命名为第一组、第二组等。可选地，可以通过图像分析识别捕捉被执行的位置，并且可以创建与该位置相应的名称。例如，可以创建诸如起居室、厨房等的组名。
当接收到用于检查特定组的状态的用户输入时，控制装置200可以提供包括捕捉该组的多个注册的装置的图像以及关于所述多个注册的装置的状态的信息的用户界面(UI)。
在执行注册之后，控制装置200可以控制注册的装置。在被控装置100被注册的情况下，控制装置200可将各种控制信号发送到被控装置100。
根据实施例，当接收到预定用户输入时，控制装置200可显示包括捕捉的图像和示出该图像中的注册的装置的图形对象的用户界面(UI)。当接收到用于通过UI选择注册的装置的用户输入时，控制装置200可显示用于控制注册的装置的UI。
当从服务器300接收到针对注册的装置的状态信息时，控制装置200可将状态信息与包括注册的装置的捕捉的图像一起显示。因此，用户可以基于用户直接捕捉的图像来识别装置的状态信息，从而用户可以直观地知道状态信息引用哪个装置。
图4是根据实施例的注册装置的方法的流程图。注册过程的每一个步骤和注册之后的操作将参照图5至图19被描述。
参照图4，在操作S41，用户可执行控制装置200中的智能控制应用(APP)。智能控制应用可被预先嵌入在控制装置200中，或者可从诸如Google PlayTM和Samsung AppsTM的应用商店被下载。图5示出了当在控制装置200中执行智能控制应用时显示的示例用户界面(UI)。
另外，控制装置200可以通过使用诸如用户ID和密码或生物信息(指纹、虹膜、语音等)的登录信息登录到服务器300。根据实施例，为了登录到服务器300，可要求用户每次输入用户ID和密码。根据另一实施例，可当执行智能控制应用时自动执行登录。
另外，在操作S45，控制装置200可接收用于注册外部装置的用户输入。例如，在图5所示的用户界面(UI)中，用户可以选择用户界面(UI)元素510以注册外部装置。
在操作S47，当接收到用于选择外部装置的用户输入时，通过控制装置200的相机执行捕捉并获得图像。例如，当图5的UI元素510被选择时，可如图6所示通过控制装置200的相机执行捕捉。除了选择UI元素510的方法之外，当从可注册装置接收到信号时，还可以自动显示以弹出消息的形式诱导注册的UI。当UI被选择时，可如图6所示通过控制装置200的相机执行捕捉。
另外，在操作S49，控制装置200可识别包括在捕捉的图像中的多个装置之中的至少一个可注册装置。将在被控装置100被包括在由控制装置200捕捉的图像中的假设下描述实施例。
被控装置100可以以诸如蓝牙、ZigBee，Z-波等的无线通信方法发送信号。接收该信号的控制装置200可识别被控装置100的存在。
根据实施例，被控装置100可以支持以软AP方法的通信协议。被控装置100可执行软AP功能并周期性地发送信标。信标是由被控装置100广播以向周围装置通知被控装置100的存在和定时以使得周围装置可以检测被控装置100并参与相互通信的信号。信标可以包括服务集标识符SSID、信标间隔和被控装置100的性能信息等，可使用供应商特定字段被不同地表示。
可以手动或自动执行软AP功能。根据手动执行软AP功能的实施例，例如，用户可以按压被控装置中设置的按钮来执行软AP功能。根据自动执行软AP功能的实施例，当被控装置100处于未注册状态时，被控装置100可自动执行软AP功能。例如，当用户购买被控装置100并连接电源时，被控装置100可以自动执行软AP功能。根据实施例，被控装置100的软AP功能可以由控制装置200执行。例如，控制装置200可将用于执行软AP功能的信号(IR信号、超声信号等)发送到被控装置100。
根据实施例，从被控装置100接收的信标中包括的SSID可以包括字符串，其中，被控装置100的类型从字符串被识别，并且SSID可针对每个单独的装置或同一型号的每个装置被唯一地分配。如有必要，可以通过应用动态地或使用固定规则来分配SSID。在被控装置100是例如智能家居装置的情况下，可以基于指示智能家居装置的智能家居协议(SHP)、装置类型、制造日期、版本等来创建SSID。例如，在被控装置100是支持智能家居功能的电视并且在2018年被制造的情况下，被控装置100的SSID可被实现为“SHP.TV.2018”。
在步骤S47中，控制装置200可分析捕捉的图像并识别什么类型的装置被包括图像中。另外，从包括在图像中的装置中，控制装置200可将与从外部装置接收的信号中包括的装置信息相应的装置识别为可注册装置。例如，在捕捉的图像被分析，作为TV的被控装置100被包括图像中，并且包括SSID“SHP.TV.2018”的信号从被控装置100被接收到的情况下，控制装置200可以识别TV是捕捉的图像中的可注册装置。
根据实施例，如果存在相同类型的多个装置，则控制装置200可以识别每个装置。例如，家中可有多个TV。参照图6，在捕捉起居室的图像中可存在一个TV，但是在主房间中可存在另一TV。在这种情况下，需要确定捕捉的图像中的TV是与从起居室中的TV接收的信号相应的TV还是与从主房间中的TV接收的信号相应的TV。
为此，根据实施例，可以基于通过图像分析识别的装置的形状来区分相同类型的装置。也就是说，装置是不同的，这是因为它们对于每个制造商或对于同一制造商的每个型号具有不同的设计。
例如，参照图6，通过先前提供的各种产品图像之间的比较操作，可以识别捕捉的图像中的TV是具有型号名称“UN65NU7400F-S”的Samsung的产品。另外，当控制装置200从起居室中的TV接收到包括与型号名称“UN65NU7400F-S”相应的信息的信号并且从主房间中的TV接收到包括与上述型号名称不同的型号名称“QN75Q9FAMFN”的信息的信号时，控制装置200可将发送包括与“UN65NU7400F-S”相应的信息的信号的起居室的TV与捕捉的图像中的TV进行匹配。
根据另一实施例，控制装置200可基于从外部装置接收的信号识别控制装置200和外部装置之间的距离，可识别外部装置基于控制装置200被布置的方向，等等。另外，控制装置200可基于图像中的装置的位置和接收的信号来识别捕捉的图像中的装置与从实际装置接收的信号之间的对应关系。
根据实施例，控制装置200可以包括多个天线。另外，控制装置200可比较通过多个天线接收的信号的振幅、相位、接收时间等，并识别发送信号的装置的方向。例如，参照图6，当捕捉的图像中的起居室中的TV被布置在基于控制装置200的左方向上以及即使不可见，主房间中的TV在控制装置200的右侧时，控制装置200可基于从起居室中的TV和主房间中的TV接收的信号来识别每一个TV被布置在哪个方向，并识别图像中的布置在左侧的TV是与从起居室中的TV接收到的信号相应的TV。
根据另一实施例，控制装置200可基于使用多个天线从外部装置接收的信号来识别外部装置的相对位置，识别图像中的装置的相对位置，将识别的外部装置的相对位置与图像中的装置的相对位置进行比较，并识别可注册装置。
例如，参照图6，控制装置200可通过图像分析识别出：相对于捕捉图像的装置而言空调位于TV的右侧，吸顶灯位于空调的右侧，落地支架位于吸顶灯的右侧，并且控制装置200可基于从外部装置接收的信号的强度、相位差等来识别发送信号的装置的相对位置。另外，控制装置200可将通过图像分析识别的相对位置与基于信号识别的相对位置进行比较，并将图像中的装置与从装置接收的信号进行匹配。
在操作S51，当识别出可注册装置时，控制装置200可在捕捉的图像中显示示出可注册装置的图形对象。当存在多个可注册装置时，可显示示出多个装置中的每一个的图形对象。
图形对象可以是可注册装置从中能够被识别的任何形式。例如，如图7所示，控制装置200可显示诸如TV、空调、吸顶灯、落地支架和插座的文本71以及用于示出捕捉的图像710中的可注册装置的指示器73。如果装置太小而不能被清楚地看见，则可显示针对装置的代表图像711。用户可拖动代表图像711并执行编辑，诸如从一个位置移动到另一个位置等。另外，捕捉实际装置的图像可被视为能够被编辑和移动、与背景区分开并被存储的对象。例如，可以通过用户的拖动输入来移动包括在图像710中的TV图像。另外，用户可编辑图像710中的对象的名称。例如，文本“TV”71可被改变为“我的TV”。
根据另一实施例，当不执行相机功能时，可提供可注册装置的代表图像。例如，控制装置200可向服务器300发送关于包括在从外部装置接收的信号中的外部装置的信息，或者在外部装置连接到同一网络中的AP 400的情况下，可向服务器300发送从AP 400接收的关于外部装置的信息。此外，控制装置200可从服务器300接收关于外部装置的信息(装置组、装置名称、代表图像等)。此外，例如，如图8所示，控制装置200可基于从服务器300接收的与从装置接收的信号相应的代表图像来可视化可注册装置。在该实施例中，可基于与从装置接收的信号相应的外部装置的实际位置来确定代表图像的布置。例如，控制装置200可基于从外部装置接收的信号的强度、相位差等来识别外部装置的位置，并且基于识别的位置来布置代表图像。
控制装置200可将图像710中的被识别为可注册装置的装置与包括在从每个装置接收的信号中的信息相关联，并将相关联的信息存储在控制装置200的存储器中。例如，控制装置200可将在图像710中识别的TV与实际从TV接收的SSID“SHP.TV.2018”相关联，将在图像710中识别的空调与实际从空调接收的SSID“SHP.Airconditioner.2018”相关联，等等。以这种方式，控制装置200可创建解释对应关系的查找表并存储该查找表。
此后，控制装置200可使用户输入能够注册在图像中被识别为可注册装置的装置。例如，用户可以选择图7或图8的UI元素713。在这种情况下，可对捕捉的图像中包括的所有可注册装置执行注册过程。根据另一实施例，即使没有另外选择用于注册的UI元素，也可单独地通过选择用于捕捉的UI元素61来执行注册过程。也就是说，可以单独地通过捕捉可注册装置来自动执行注册。
同时，在选择用于捕捉的UI元素61之后，可显示图形对象71和73、用于注册的UI元素713等。可选地，它们可以以作为捕捉按钮被选择之前的状态的相机预览状态被显示。也就是说，控制装置200可实时分析在相机预览状态下通过控制装置200显示的捕捉屏幕并识别可注册装置。例如，在图6中的情况下，当用户向右移动控制装置200时，TV从捕捉的图像中消失，因此，指示TV的图形对象也可消失。
根据实施例，用户可在选择将被注册的装置之后进行注册。例如，参照图9，可针对可注册装置执行选择或取消选择。选择状态和未选择状态可被可区别地显示。例如，当用户在捕捉的图像710中选择TV和落地支架时，勾选标记可在针对选择的装置的指示器91和93上被显示的不同于针对未选择的装置的指示器。在TV和落地支架在捕捉的图像710中被选择的状态下，当用户选择用于注册的UI元素713时，可仅针对TV和落地支架执行注册过程。
在下文中，将在接收到请求对被识别为可注册装置的TV、空调、吸顶灯、落地支架和插座进行集体注册的用户输入的情况下对注册过程的实施例进行描述。
首先，在操作S55，控制装置200可执行与TV、空调、吸顶灯、落地支架和插座中的任意装置(例如，TV(被控装置100))的通信连接。
通信连接可以包括装置之间的配对过程。在配对过程中，出于安全原因可要求输入个人识别码(或密码)；但是，配对可被自动执行。控制装置200可与TV、空调、吸顶灯、落地支架和插座同时配对。另外，用于相互交换信息的连接可针对每个装置被顺序地执行。
根据使用软AP功能的实施例，被控装置100可作为软AP被操作，因此可像AP那样允许控制装置200的访问。
除了软AP方法之外，被控装置100和控制装置200可以通过诸如Wi-Fi P2P通信方法、蓝牙低功耗(BLE)、蓝牙、ZigBee、射频(RF)通信、Z-波等的各种通信方法被连接。
当被控装置100和控制装置200被通信地连接到彼此时，在操作S57，控制装置200可将关于预先存储的接入点AP 400的信息发送到被控装置100。因为控制装置200已经连接到AP 400，所以控制装置200可存储关于AP 400的信息。关于AP 400的信息可包括例如AP400的SSID、安全类型、加密类型、安全密钥等。
在操作S59，被控装置100可通过使用从控制装置200接收的关于AP 400的信息来接入AP 400。另外，在操作S61，可从AP 400给被控装置100分配IP地址。因此，被控装置100可经由AP 400与诸如服务器300的外部设备进行通信。
另外，在操作S63，被控装置100可将包括分配的IP地址和被控装置100的标识信息的注册请求消息发送到控制装置200。被控装置100的标识信息是允许另一装置识别被控装置100的信息，该信息可包括例如类型、名称、描述、制造商、型号ID、序列号、销售位置、版本等。
在操作S65，控制装置200可注册从被控装置100接收的信息。从被控装置100接收的信息可用于对被控装置100的注册请求S67。
在下文中，虽然未示出，但是控制装置200可断开与被控装置100的连接，并被连接到AP 400。
另外，在操作S67，控制装置200可将请求注册被控装置100的注册请求消息发送到服务器300。发送的注册请求消息可包括被控装置100的标识信息，并且还可包括关于控制装置200的安装位置的信息。
在操作S69中，服务器300可基于从控制装置200接收的注册请求消息将被控装置100注册在登录的用户帐户中。
按照与上述相同的方式，可顺序执行针对剩余装置(例如，空调、吸顶灯、落地支架和插座)的注册。
在上述注册过程期间，可以在控制装置200中提供通知正在进行注册的UI。例如，控制装置200可以提供如图10所示的UI。
当完成注册时，控制装置200可提供示出注册已被完成的UI。
当完成针对TV、空调，吸顶灯、落地支架和插座的集体注册时，控制装置200可以将注册的装置指定为一个组。也就是说，在单个捕捉的图像中的装置可被指定为相同的组。根据现有技术，需要将组分别指定给装置中的每一个；然而，根据实施例，有利的是，可以仅通过拍摄将多个装置指定为一个组。
根据实施例，用户可以手动指定组名，或者组名可被自动创建。根据实施例，控制装置200可识别捕捉的图像被捕捉的位置(诸如起居室、厨房等)，并且将识别的位置的名称确定为组名。控制装置200可提供包括分组的装置的UI。
图11示出了组名被指定为“起居室”的情况。之后，可由用户编辑自动创建的组名。控制装置200可显示包括指示注册的装置的图形对象和组名的用户界面UI 1110。针对“起居室”组的UI 1110可被存储在控制装置200、服务器300等中，然后根据随后的用户请求被加载，并且可用于查看和控制包括在“起居室”组中的装置的状态信息。
图12示出了用户捕捉厨房并注册装置的情况。当厨房被捕捉时，厨房中的可注册装置可被注册为被控装置，并且可为注册的装置创建“厨房”组。针对“厨房”组的UI 1210可以用于查看和控制“厨房”组中包括的装置的状态信息。
通过如上所述创建组，可针对每个组进行装置管理，并且可对组中的装置进行集体控制。例如，如图13所示，可提供针对每个组的装置的列表UI。就这一点而言，可以将组划分为“厨房”组1310和“起居室”组1320，并且可以提供用于显示和控制每个组中包括的装置的状态的菜单。另外，控制装置200可以提供用于组查看的UI元素1311和1321。例如，当UI元素1311被选择时，控制装置200可提供如图12所示的针对组“厨房”的UI 1210。当UI元素1321被选择时，控制装置200可提供如图11或图18所示的针对“起居室”组的UI 1110。下面将参照图18和图19对通过使用针对组的UI来控制装置的实施例进行描述。
图14是示出注册的装置和未注册的装置一起存在的环境的实施例的示图。
参照图14，在冰箱和洗碗机被注册但烤箱未被注册的情况下，因此烤箱的指示器可与冰箱和洗碗机的指示器不同地显示。例如，如图14中所示，可针对冰箱和洗碗机显示圆形图形对象，并且可针对烤箱显示星形图形对象1410。当用户选择用于注册的UI 1420时，可执行针对烤箱的注册。
图15和图16是被提供用于解释关于状态通知的实施例的示图。
参照图15，当从服务器300接收到针对注册的装置的状态信息时，控制装置200可显示如图15所示的通知消息1510。通知消息1510可在控制装置200的锁定状态和解锁状态下被提供。当用户选择通知消息1510时，控制装置200可搜索针对包括与接收的状态信息相应的装置的组的UI，并提供如图16所示的找到的UI。也就是说，状态信息1620可与针对包括与状态信息相应的空调的“起居室”组的UI一起显示。在这种情况下，为了进一步清楚地指示状态信息与哪个装置相应，例如，用于指示装置的如图16所示的虚线中的图形对象1610可被显示。
即使没有执行通知消息1510的选择过程，如果从服务器300接收到装置的状态信息，也可提供如图16所示的UI。
另外，控制装置200可提供看一眼控制装置200的显示器就能够识别注册的装置的状态信息的UI。例如，如图17所示，可将装置中的每一个的状态信息UI元素1710、1720、1730和1740提供给针对“起居室”组的UI。状态信息UI元素可被显示在相应的装置附近。
根据实施例，在状态信息UI元素中提供简要信息，并且当选择状态信息UI元素时，可以提供详细信息。例如，当用户选择针对落地支架的状态信息UI元素1740时，控制装置200可以显示关于落地支架的亮度、包括在落地支架中的LED的数量、LED的剩余寿命等的详细信息。图18和图19是被提供以解释用于通过使用包括注册的装置的UI来控制装置的实施例的示图。
参照图18，控制装置200可提供包括指示注册的装置的图形对象的UI1110。可根据对以上在图13中所述的用于组查看的UI元素1321的选择来提供图像，但不限于此。
当用户在UI 1110中选择特定装置时，控制装置200可提供能够控制相应装置的UI屏幕。例如，当用户如图18所示选择图像中的TV时，如图19所示，控制装置200可以提供能够控制TV的UI。用于控制装置的UI可如图19所示被提供在与图18的UI 1110分开的屏幕上，或者可被提供在图18的UI 1110中。在这种情况下，例如，可在图18的UI 1110中的TV所在位置附近提供用于控制TV的UI。
根据上述实施例，用户能够更直观和容易地执行装置注册。在现有技术中，可注册装置的名称仅以列表的形式被提供，因此，用户难以识别与列表中的装置名称对应的实际装置。另外，列表上的名称彼此相似，这使得难以将它们彼此区分开。相比之下，根据上述实施例，可以通过捕捉的图像直观地识别装置，并且容易将一个装置与另一个装置区分开。
上述各种实施例可以实现为软件、硬件或其组合。根据硬件实施例，可以通过使用从专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)，现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、用于执行其它功能的电单元中选择的至少一个来实现本公开中描述的示例性实施例。根据软件实现，诸如本文描述的过程和功能的实施例可用单独的软件模块来实现。软件模块中的每一个可执行本文描述的功能和操作中的一个或更多个。
上述实施例可被实现为包括能够被存储在机器(例如，计算机)可读存储介质上的指令的软件程序。该机器是能够从存储介质读取存储的指令并根据该指令执行的设备，并且可包括根据上述实施例的控制装置200。
当指令由处理器执行时，处理器可以控制装置直接或者在处理器的控制下使用其他组件执行与指令相应的功能。指令可包括由编译器或解释器产生或执行的代码。例如，存储在存储介质中的指令可以由处理器执行，从而可以执行如上所述的用于控制控制装置200的方法。例如，基于存储在存储介质中的指令由装置(或电子设备)的处理器执行，控制方法包括：当用于注册外部装置的用户输入被接收到时，通过装置的相机执行捕捉并获得图像，基于从外部装置接收的信号识别图像中包括的至少一个装置之中的可注册装置，在图像中显示指示可注册装置的图形对象，以及当用于选择至少一个图形对象的用户输入被输入时，可执行将可注册装置注册为被控装置的操作。
可以以非暂时性存储介质的形式提供机器可读存储介质。这里，术语“非暂时性”仅表示存储介质不包括信号但是是有形的，并且不将数据被半永久地存储在存储介质中的情况与数据被临时存储在存储介质中的情况进行区分。
根据实施例，根据上述各种实施例的方法可以被提供为包括在计算机程序产品中。计算机程序产品可以是卖家和消费者之间的产品。计算机程序产品可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式在线分发，或者通过应用商店(例如，Play StoreTM和App StoreTM)在线分发。在在线分发的情况下，计算机程序产品的至少一部分可在制造商的服务器、应用商店的服务器或诸如存储器的存储介质中被至少临时存储或临时产生。
根据各种实施例的组件(例如，模块或程序)中的每一个可包括单个实体或多个实体，并且可以省略上面描述的相应的子组件中的一些，或者可以进一步将另一子组件添加到各种实施例中。可选地或另外地，一些组件(例如，模块或程序)可被组合以形成执行与被组合之前的相应元件相同或相似的功能的单个实体。根据各种示例性实施例的由模块、程序或其它组件执行的操作可以是顺序的、并行的或两者，被迭代地或启发式地执行，或者至少一些操作可以以不同的顺序被执行、被省略，或者其它操作可被添加。
前述实施例和优点仅是示例性的，不应被理解为限制本公开。本公开可以容易地应用于其它类型的装置。此外，本公开的实施例的描述旨在是说明性的，而不是限制权利要求的范围，并且许多替换物、修改和变化对于本领域技术人员而言将是显而易见的。

Claims (13)

1.一种在电子装置上注册至少一个外部装置的方法，所述方法包括：
基于用于注册所述至少一个外部装置的用户输入被接收到，通过所述电子装置的相机捕捉包括多个装置的图像；
从捕捉的图像中获取关于所述多个装置中的所述至少一个外部装置的类型的信息；
从所述至少一个外部装置接收关于所述至少一个外部装置的信息；
基于从所述至少一个外部装置所接收到的信息和从捕捉的图像所获取的信息，从包括在所述图像中的所述多个装置中识别至少一个可注册装置；
在所述图像中的被识别的至少一个可注册装置上显示至少一个图形对象，其中，所述至少一个图形对象指示所述至少一个可注册装置在所述电子装置上是能够注册的；以及
基于用于选择所述至少一个图形对象的用户输入，在所述电子装置上注册与选择的至少一个图形对象相应的至少一个可注册装置。
2.如权利要求1所述的方法，还包括：
从服务器接收被注册的至少一个装置的状态信息，
其中，所述显示包括将所述图像与所述状态信息的指示一起显示。
3.如权利要求1所述的方法，还包括：
显示用于控制被注册的至少一个装置的用户界面UI；以及
基于经由用于控制被注册的至少一个装置的UI接收到用户输入来发送用于控制被注册的至少一个装置的控制命令。
4.如权利要求1所述的方法，其中，所述显示至少一个图形对象包括：基于通过图像分析识别的所述至少一个外部装置的类型，显示指示所述至少一个可注册装置的文本。
5.如权利要求1所述的方法，其中，所述识别包括：
通过图像分析识别包括在所述图像中的至少一个装置的位置；
基于从所述至少一个外部装置接收到的信号的强度和相位差来识别所述至少一个外部装置的位置；
将基于图像分析的所述图像中的至少一个装置的位置与由所述信号的强度和相位差所指示的位置进行比较；以及
基于比较的结果识别所述至少一个可注册装置。
6.如权利要求5所述的方法，其中，所述显示至少一个图形对象包括基于包括在接收到的信号中的服务集标识符SSID显示指示所述至少一个可注册装置的文本。
7.如权利要求1所述的方法，还包括：基于多个可注册装置在所述图像中被识别并且所述多个可注册装置被注册为被控装置，将多个被注册的装置指定为第一组。
8.如权利要求7所述的方法，还包括：
基于用于检查第一组的状态的用户输入被接收到，提供所述图像和包括关于多个被注册的装置的状态的信息的用户界面UI。
9.如权利要求1所述的方法，其中，所述注册包括：基于接收到用于注册所述至少一个可注册装置的用户输入，从所述至少一个可注册装置接收装置信息，并向服务器发送基于接收到的装置信息的注册请求。
10.如权利要求1所述的方法，其中，所述至少一个可注册装置包括多个可注册装置，以及
其中，所述注册包括：基于所述多个可注册装置在所述图像中被识别以及用于注册所述多个可注册装置的用户输入被接收到，从所述多个可注册装置顺序地接收装置信息，并向服务器发送基于接收到的装置信息的注册请求。
11.一种非暂时性计算机可读存储介质，被配置为存储计算机可执行指令，其中，所述计算机可执行指令在被电子装置的处理器执行时使所述电子装置执行在所述电子装置上注册至少一个外部装置的方法，其中，所述方法包括：
基于用于注册所述至少一个外部装置的用户输入被接收到，通过所述电子装置的相机捕捉包括多个装置的图像；
从捕捉的图像中获取关于所述多个装置中的所述至少一个外部装置的类型的信息；
从所述至少一个外部装置接收关于所述至少一个外部装置的信息；
基于从所述至少一个外部装置所接收到的信息和从捕捉的图像所获取的信息，从包括在所述图像中的所述多个装置中识别至少一个可注册装置；
在所述图像中的被识别的至少一个可注册装置上显示至少一个图形对象，其中，所述至少一个图形对象指示所述至少一个可注册装置在所述电子装置上是能够注册的；以及
基于用于选择所述至少一个图形对象的用户输入，在所述电子装置上注册与选择的至少一个图形对象相应的至少一个可注册装置。
12.如权利要求11所述的非暂时性计算机可读存储介质，其中，所述方法还包括：从服务器接收被注册的至少一个装置的状态信息，以及
其中，所述显示包括将所述图像与所述状态信息的指示一起显示。
13.如权利要求11所述的非暂时性计算机可读存储介质，其中，所述方法还包括：
显示用于控制被注册的至少一个装置的用户界面UI；以及
基于经由用于控制被注册的至少一个装置的UI接收到用户输入来发送用于控制被注册的至少一个装置的控制命令。
CN201910220997.4A 2018-07-11 2019-03-22 控制电子设备的方法和计算机可读记录介质 Active CN110716717B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0080401 2018-07-11
KR1020180080401A KR102484647B1 (ko) 2018-07-11 2018-07-11 전자 장치의 제어방법 및 컴퓨터 판독 가능 기록매체

Publications (2)

Publication Number Publication Date
CN110716717A CN110716717A (zh) 2020-01-21
CN110716717B true CN110716717B (zh) 2024-04-30

Family

ID=65234404

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910220997.4A Active CN110716717B (zh) 2018-07-11 2019-03-22 控制电子设备的方法和计算机可读记录介质

Country Status (5)

Country Link
US (1) US11363522B2 (zh)
EP (1) EP3595277B1 (zh)
KR (1) KR102484647B1 (zh)
CN (1) CN110716717B (zh)
WO (1) WO2020013413A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11892738B2 (en) 2017-04-26 2024-02-06 View, Inc. Tandem vision window and media display
CA3062815A1 (en) 2017-04-26 2018-11-01 View, Inc. Tintable window system computing platform
KR102460511B1 (ko) * 2018-09-24 2022-10-28 구글 엘엘씨 디바이스 및/또는 디바이스의 설치 환경을 캡처하는 이미지 데이터의 처리에 기초한 디바이스 제어
JP7170212B2 (ja) * 2019-02-04 2022-11-14 パナソニックＩｐマネジメント株式会社 通信装置、通信方法およびコンピュータプログラム
KR20210123859A (ko) 2020-04-06 2021-10-14 삼성전자주식회사 전자 장치 및 그의 제어 방법
EP3937430B1 (de) * 2020-07-07 2022-12-07 Deutsche Telekom AG Verfahren und system zur erkennung netzwerkfähiger geräte in einem heimnetzwerk
TW202225941A (zh) * 2020-11-03 2022-07-01 美商視野公司 虛擬檢視設施中之裝置
US20230152947A1 (en) * 2021-11-17 2023-05-18 Snap Inc. Point and control object
WO2023238265A1 (ja) * 2022-06-08 2023-12-14 マクセル株式会社 携帯情報端末、無線接続可能な外部デバイス、及びそれらに用いる情報処理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103858380A (zh) * 2011-09-29 2014-06-11 三星电子株式会社 用于通信连接服务的方法和设备
CN105389078A (zh) * 2014-09-02 2016-03-09 苹果公司 用于接收用户输入的用户界面

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101526963B1 (ko) * 2007-09-19 2015-06-11 엘지전자 주식회사 이동 단말기, 이동 단말기의 데이터 표시 방법, 및 이동단말기의 데이터 편집 방법
JP2011205485A (ja) 2010-03-26 2011-10-13 Panasonic Corp 無線通信機器登録システムおよび無線通信機器登録方法
KR101722784B1 (ko) 2010-09-10 2017-04-04 주식회사 엘지유플러스 증강현실을 이용한 사용자 인터페이스 제공방법 및 그 방법을 이용한 이동 단말기
KR101245667B1 (ko) 2010-09-13 2013-03-20 주식회사 마인드웨어코퍼레이션즈 휴대기기를 이용한 제품의 사후관리방법
KR101176141B1 (ko) * 2010-10-27 2012-09-07 서울대학교산학협력단 무선 신호의 신호 세기를 이용한 위치 추적 시스템 및 위치 추적 장치
KR101444407B1 (ko) 2010-11-02 2014-09-29 한국전자통신연구원 근거리 무선 통신을 이용한 증강현실 기반의 기기 제어 장치 및 그 방법
JP5644449B2 (ja) 2010-12-06 2014-12-24 ソニー株式会社 機器制御装置、機器制御装置の登録方法およびプログラム
KR101837082B1 (ko) 2011-01-20 2018-03-09 삼성전자주식회사 기기 제어 방법 및 그 장치
JP5734810B2 (ja) 2011-11-14 2015-06-17 株式会社東芝 機器制御装置、その方法、及び、そのプログラム
EP3474523B1 (en) * 2012-04-12 2020-04-08 Telefonaktiebolaget LM Ericsson (publ) Pairing a mobile terminal with a wireless device
KR102046928B1 (ko) * 2013-01-07 2019-12-02 엘지전자 주식회사 이동 단말기, 및 그 동작 방법
KR102105463B1 (ko) 2013-09-02 2020-04-28 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
KR101580365B1 (ko) 2013-11-12 2015-12-23 주식회사 엘지유플러스 네트워크를 통해 전자기기를 원격 제어하는 통신단말기 및 그 전자기기 원격 제어방법, 전자기기의 원격제어를 지원하는 전자기기 제어서버, 카메라 및 그 원격제어 지원방법
US9741244B2 (en) * 2014-05-30 2017-08-22 Qualcomm Incorporated Methods, smart objects, and systems for naming and interacting with smart objects
WO2016017945A1 (en) 2014-07-29 2016-02-04 Samsung Electronics Co., Ltd. Mobile device and method of pairing the same with electronic device
KR102437104B1 (ko) * 2014-07-29 2022-08-29 삼성전자주식회사 모바일 디바이스에서 촬영된 전자 기기와 페어링하는 방법 및 장치
KR20170055295A (ko) * 2015-11-11 2017-05-19 엘지전자 주식회사 이동 단말기 및 그 이동 단말기의 제어 방법
KR101847200B1 (ko) * 2015-12-23 2018-04-09 삼성전자주식회사 객체 제어 방법 및 시스템
KR20170078459A (ko) 2015-12-29 2017-07-07 주식회사 아이디어피스 사용자 프로그램 작성 지원 IoT 플랫폼 및 이를 이용한 IoT 기기 제어용 프로그램 개발 방법
KR101730180B1 (ko) 2016-02-11 2017-04-25 가온미디어 주식회사 인티그레이션 매니저의 통합 연계를 활용한 셋톱박스 기반의 개방형 홈 IoT 서비스 시스템
KR102650444B1 (ko) 2016-02-18 2024-03-26 삼성전자 주식회사 스마트 홈 시스템에서 스마트 홈 장치를 등록하기 위한 전자 장치 및 방법
WO2018084087A1 (ja) * 2016-11-01 2018-05-11 株式会社ソニー・インタラクティブエンタテインメント 画像表示システム、画像表示装置、その制御方法、及びプログラム
US11567164B2 (en) * 2016-12-01 2023-01-31 U-Blox Ag Intercepting an uplink signal to assist in timing or positioning calculations
KR101935000B1 (ko) 2018-03-05 2019-01-03 삼성전자주식회사 기기 제어 방법 및 그 장치
US11593634B2 (en) * 2018-06-19 2023-02-28 Adobe Inc. Asynchronously training machine learning models across client devices for adaptive intelligence

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103858380A (zh) * 2011-09-29 2014-06-11 三星电子株式会社 用于通信连接服务的方法和设备
CN105389078A (zh) * 2014-09-02 2016-03-09 苹果公司 用于接收用户输入的用户界面

Also Published As

Publication number Publication date
WO2020013413A1 (en) 2020-01-16
US11363522B2 (en) 2022-06-14
EP3595277B1 (en) 2020-07-01
KR20200006707A (ko) 2020-01-21
CN110716717A (zh) 2020-01-21
US20200022072A1 (en) 2020-01-16
EP3595277A1 (en) 2020-01-15
KR102484647B1 (ko) 2023-01-04

Similar Documents

Publication Publication Date Title
CN110716717B (zh) 控制电子设备的方法和计算机可读记录介质
US10978044B2 (en) Electronic apparatus, controlling method of electronic apparatus and server
CN110168485B (zh) 对物联网装置的增强现实控制
US10547731B2 (en) Method for managing and controlling external IoT device and electronic device supporting the same
KR101804075B1 (ko) 광학 이미지들과 함께 대역외 시그널링/메타데이터를 이용한 iot 디바이스/오브젝트/사람들의 식별
CN106537849B (zh) 用于控制物联网设备的装置和方法
US9536421B2 (en) Intuitive way to point, access and control appliances and other objects in building interiors
US11854067B2 (en) System for user interaction in a retail environment
US11140734B2 (en) Electronic device and method for controlling electronic device
CN109672720B (zh) 用于控制IoT装置的电子装置及其操作方法
KR102481486B1 (ko) 오디오 제공 방법 및 그 장치
CN106462238A (zh) 对智能环境的表示的基于增强现实的管理
EP3417681B1 (en) Electronic device including light emitting device and operating method thereof
US20180136661A1 (en) Mobile electronic device and navigation method thereof
CN108432213B (zh) 电子设备及其控制方法
KR102354055B1 (ko) 광학사물인식 기반 전자 장치 및 그 전자 장치의 운용 방법
KR102250947B1 (ko) 전자 장치의 위치 확인 방법, 전자 장치 및 서버의 동작 방법
KR20170126698A (ko) 콘텐트 제공을 위한 전자 장치 및 방법
US20180320915A1 (en) Information processing device, electronic apparatus, method, and program
KR20200094819A (ko) 사물 인터넷(IoT) 기반 서비스를 제공하는 전자 장치, 시스템 및 그 방법
ES2734052T3 (es) Aparato electrónico y procedimiento de control del dispositivo de IdC del mismo
EP3310024B1 (en) Providing user access to remote devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant