CN111240555A - 利用摄像装置的智能物联网菜单 - Google Patents

利用摄像装置的智能物联网菜单 Download PDF

Info

Publication number
CN111240555A
CN111240555A CN201911044025.0A CN201911044025A CN111240555A CN 111240555 A CN111240555 A CN 111240555A CN 201911044025 A CN201911044025 A CN 201911044025A CN 111240555 A CN111240555 A CN 111240555A
Authority
CN
China
Prior art keywords
user
iot
electronic communication
iot device
communication device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911044025.0A
Other languages
English (en)
Inventor
吴疑
冀正平
拉奇德·阿拉梅赫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motorola Mobility LLC
Original Assignee
Motorola Mobility LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motorola Mobility LLC filed Critical Motorola Mobility LLC
Publication of CN111240555A publication Critical patent/CN111240555A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2823—Reporting information sensed by appliance or service execution status of appliance services in a home automation network
    • H04L12/2827—Reporting to a device within the home network; wherein the reception of the information reported automatically triggers the execution of a home appliance functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2807—Exchanging configuration information on appliance services in a home automation network
    • H04L12/2812—Exchanging configuration information on appliance services in a home automation network describing content present in a home automation network, e.g. audio video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2807—Exchanging configuration information on appliance services in a home automation network
    • H04L12/2814—Exchanging control software or macros for controlling appliance services in a home automation network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72457—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224—Touch pad or touch panel provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44227—Monitoring of local network, e.g. connection or bandwidth variations; Detecting new devices in the local network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/70—Services for machine-to-machine communication [M2M] or machine type communication [MTC]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/175—Controlling the light source by remote control
    • H05B47/19—Controlling the light source by remote control via wireless transmission

Abstract

本公开涉及利用摄像装置的智能物联网菜单。用于提供智能物联网(IOT)菜单的系统和方法利用电子通信设备的摄像装置，并且需要使用电子通信设备的摄像装置捕获感兴趣的IOT设备的图像并识别感兴趣的IOT设备。显示感兴趣的IOT，并且可以由设备用户选择感兴趣的IOT。识别电子通信设备的用户，并且分析他们相对于所选择的IOT设备的历史行为。然后生成自定义的而不是完整的IOT设备控制菜单，并且将其呈现给用户。

Description

利用摄像装置的智能物联网菜单
技术领域
本公开内容总体上涉及联网的电子设备，并且更具体地，涉及用于帮助用户与物联网(IOT)设备的交互的系统和方法。
背景技术
物联网是除了更传统的特定于网络的部件例如服务器、交换机等之外，物理设备的网络。IOT设备可以包括家用电器(例如洗衣机和冰箱)和其他具有电子部件、软件和连接元件的设备(例如恒温器、灯等)，这些连接元件允许该设备与其他设备或网络元件进行连接以收集数据，采取行动以提供其他有用的功能。
由于它们的连接性，一旦正确地配置，许多IOT设备都可以被进行远程监视和控制。然而，众多可用设备以及用户界面实现方式的相应的多样性会给尝试与特定的IOT设备连接的用户带来困难。
在进行至本公开内容的其余部分之前，应当理解，本公开内容可以解决在背景技术部分中列出或者隐含的缺点中的一些或者全部。然而，除了在权利要求书中明确指出的范围，任何这样的益处都不是对所公开的原理或者所附的权利要求书的范围的限制。
另外，在该背景技术部分中对技术的讨论反映了发明人自己的意见、考虑和思想，决不是为了准确地分类或者全面地总结任何现有技术参考文献或实践。同样地，发明人明确地否认该部分为公认或者假定的现有技术。而且，在本文中对一个或多个可取的行动方案的标识或者暗示反映了发明人自己的意见和想法，并且不应该被假定为指示本领域认可的可取性。
发明内容
本公开一方面提供了一种使用摄像装置提供智能物联网IOT菜单的电子通信设备，该电子通信设备包括：触敏显示器；摄像装置；以及处理器，该处理器链接到触敏显示器和摄像装置，并且被配置成：捕获IOT设备的图像；识别IOT设备；通过触敏显示器显示IOT设备的图像；接收对设备的用户选择；识别电子通信设备的用户；检索与电子通信设备的用户的历史行为有关的数据；使用检索到的与电子通信设备的用户的历史行为有关的数据来生成用于所识别的IOT设备的自定义IOT设备控制菜单；以及通过触敏显示器向用户显示自定义IOT设备控制菜单。
本公开又一方面提供了一种使用电子通信设备的摄像装置提供智能物联网IOT菜单的方法，包括：使用电子通信设备的摄像装置捕获IOT设备的图像；识别IOT设备；在电子通信设备的显示器上显示IOT设备的图像；接收对IOT设备的用户选择；识别电子通信设备的用户；检索与电子通信设备的用户的历史行为有关的数据；使用检索到的与用户的历史行为有关的数据来生成用于所识别的IOT设备的自定义IOT设备控制菜单；以及通过电子通信设备的显示器向用户显示自定义IOT设备控制菜单。
本公开再一方面提供了一种向电子通信设备用户提供关于感兴趣的物联网IOT设备的自定义IOT控制菜单的方法，该方法包括：当用户将电子通信设备的摄像装置指向感兴趣的IOT设备时，通过摄像装置捕获感兴趣的IOT设备的图像；基于所捕获的图像识别感兴趣的IOT设备；识别用户以生成用户身份；以及显示用于感兴趣的IOT设备的自定义IOT控制菜单，其中，自定义IOT控制菜单基于用户身份。
附图说明
尽管所附权利要求书特别阐明了本技术的特征，但是可以从结合附图的以下详细描述中最好地理解这些技术及其目的和优点，在附图中：
图1是移动电子设备的示意性表示，其中可以实施所公开的原理的各种实施方式；
图2是示出根据所公开的原理的实施方式的用户设备与IOT设备阵列交互的设备环境示意图；
图3是在图2的环境中设置的示例用户界面示意图；
图4是根据所公开的原理的实施方式的自定义的IOT照明设备控制菜单的第一示例；
图5是根据所公开的原理的实施方式的自定义的IOT照明设备控制菜单的第二示例；
图6是根据所公开的原理的实施方式的自定义的IOT电视设备控制菜单的第一示例；
图7是根据所公开的原理的实施方式的自定义的IOT电视设备控制菜单的第二示例；
图8是根据所公开的原理的实施方式的设备选择用户界面的示意性示例，其中可能的IOT设备是不同类型的；
图9是根据所公开的原理的实施方式的设备选择用户界面的示意性示例，其中可能的IOT设备是相同类型的；以及
图10是示出了根据所公开的原理的实施方式的过程的流程图，该过程用于通过使用用户设备摄像装置来提供用于IOT设备的智能菜单。
具体实施方式
在详细讨论所公开的原理的实施方式之前，给出某些实施方式的概述以帮助读者理解后续更详细的讨论。通常，现有的IOT网络设置要求用户选择要配对的IOT设备，而且之后记住配对以便向设备发送控制命令。在这样的设置中，需要显示可用的设备和与用户输入选择交互的可视设备界面。
此外，一旦配对，现有的IOT设备将向所有用户显示制造商提供的相同的控制界面，因此用户经常需要翻查复杂的控制菜单来找到感兴趣的选项。简而言之，控制菜单不是个性化的，并且可能会很复杂。然而，在所公开的原理的实施方式中，相同类型的多个设备可能位于用户设备例如移动电话的摄像装置视野内，而且，用户设备然后会显示相关的控制菜单，该控制菜单经过定制以适应用户的习惯或基于用户的偏好针对用户进行了个性化。该后面的益处在一个实施方式中通过认证以及行为学习和预测来实现。
概述而言，用于IOT设备的个性化且简化的无线控制机制识别要控制的感兴趣的设备，并且提供自定义控制界面。关于IOT设备识别，系统在用户设备例如智能手机的摄像装置指向感兴趣的IOT设备时使用该摄像装置。关于控制界面，可以通过简化的设备控制菜单从摄像装置的显示器来控制所识别的IOT设备。
在知晓该概述并且此刻转向结合附图的更详细的讨论的情况下，本公开内容的技术被示出为在合适的设备环境中或者经由合适的设备环境来实现。以下设备描述是基于在其中或经由其可以实现所公开的原理的实施方式和示例，并且不应该被视为关于本文中未明确描述的替代实施方式对权利要求进行限制。
因此，例如，尽管图1示出了可以关于其来实现所公开的原理的实施方式的示例移动电子通信设备，但是应当理解的是可以使用其他设备类型，包括但不限于膝上型计算机，平板电脑等等。应当理解，可以在给定的实现方式中根据用户的偏好、部件的可用性、价格点和其他考虑因素使用另外的或者替代的部件。
在所示的实施方式中，用户设备110的部件包括显示屏120、应用(例如，程序)130、处理器140、存储器150、一个或更多个输入部件160，其中输入部件例如RF输入设施或有线输入设施，包括例如一个或更多个天线以及相关联的电路和逻辑。天线和相关联的电路可以支持任何数量的协议，例如，WiFi、蓝牙、蜂窝等。
所示设备110还包括一个或更多个输出部件170，例如RF(射频)或有线输出设施。RF输出设施可以同样地支持任何数量的协议，例如，WiFi、蓝牙、蜂窝等，并且可以与相关联的输入设施相同或交叠。应当理解，单个物理输入可以用于发送和接收二者。
处理器140可以是微处理器、微型计算机、专用集成电路或者其他合适的集成电路。例如，处理器140可以通过来自任何期望的族或者制造商的一个或更多个微处理器或者控制器来实现。类似地，存储器150是可以(但不必)与处理器140驻留在同一集成电路上的非暂态介质。另外地或者替选地，可以通过网络(例如，通过基于云的存储)访问存储器150。存储器150可以包括随机存取存储器(即，同步动态随机存取存储器(SDRAM)、动态随机存取存储器(DRAM)、RAMBUS动态随机存取存储器(RDRAM)或者任何其他类型的随机存取存储器设备或系统)。另外地或者替选地，存储器150可以包括只读存储器(即，硬盘驱动器、闪速存储器或任何其它期望类型的存储器装置)。
存储器150存储的信息可以包括与一个或更多个操作系统或应用相关联的程序代码(例如，应用130)以及信息数据，例如程序参数、过程数据等。操作系统和应用程序通常通过存储在非暂态计算机可读介质(例如，存储器150)中的可执行指令来实现，以控制电子设备110的基本功能。这样的功能可以包括例如各个内部部件之间的交互以及将应用和数据存储到存储器150以及从存储器150检索应用和数据。
此外，关于应用和模块，这些通常利用操作系统来提供更特定的功能，例如文件系统服务以及对存储在存储器150中的受保护和不受保护的数据的处理。在一个实施方式中，模块是软件代理，该软件代理包括诸如一个或更多个传感器的硬件部件或者与所述硬件部件交互，并且该软件代理相对于所描述的实施方式管理设备110的操作和交互。
在一个实施方式中，设备110包括链接到设备处理器140的摄像装置180。摄像装置180包括或链接到操作软件，并且可以用于图像捕获、基于图像的任务(例如认证以及其他任何期望任务)。
关于信息数据，例如程序参数和过程数据，该不可执行的信息可以由操作系统或者应用来引用、操纵或写入。此类信息数据可以包括例如在制造期间预先编写到设备中的数据，由设备创建或者由用户添加的数据，或者向服务器或其他设备上传、从该服务器或其他设备下载或者在该服务器或其他设备处以其他方式访问的各种类型信息中的任何信息，其中，设备在其正在进行的操作期间与该服务器和其他设备通信。
在一个实施方式中，包括电源190，例如电池或燃料电池，以用于向设备110及其部件提供电力。另外地或者替选地，设备110可以由外部供电，例如通过车辆用蓄电池、壁式插座或者其他电源。在所示的示例中，所有或一些内部部件通过一个或者更多个共享的或专用的内部通信链路195(例如内部总线)彼此通信。
在一个实施方式中，对设备110进行编程，使得处理器140和存储器150与设备110的其他部件交互以执行各种功能。处理器140可以包括或实现各种模块，并且执行用于启动不同活动的程序，所述不同活动诸如启动应用、传输数据以及切换通过各种图形用户界面对象(例如，切换通过链接到可执行应用的各种显示图标)。如上所述，设备110可以包括一个或者更多个显示屏120。显示屏120可以包括集成显示器和外部显示器之一或者二者，并且可以包括或者可以不包括一个或者更多个触摸传感器180。
图2是示出了根据所公开的原理的实施方式的用户设备110与IOT设备201、203、205、207、209的阵列交互的设备环境示意图。在示出的示例中，IOT设备201、203、205、207、209显示为照明器材，但是应当理解的是，设备201、203、205、207、209可以是任何类型的IOT设备，而且设备201、203、205、207、209不需要是相同的类型。
用户设备201可以是智能电话或者诸如图1所示的其他便携式电子通信设备，该用户设备201包括摄像装置140(图1)。在所示示例中，摄像装置140的视角包含IOT设备201、203、205、207、209的阵列。此外，确定用户设备110与每个IOT设备201、203、205、207、209之间的距离(在图中示出为距离D1、D3、D5、D7、D9)。从图示的示例中可以看出，D9是最大的，意味着IOT设备209位于距离用户设备110最远处，而D7是最小的，意味着IOT设备207最接近用户设备110。其他的IOT设备201、203和205分别位于中间距离D1、D3和D5处。
为了使用户设备110可以确定用户当前感兴趣的设备，识别摄像装置视野内的最小的IOT设备距离(D7)，并且然后设备110在屏幕上突出显示最近的设备207，如图3所示。这假定最接近的设备是用户希望与之交互的设备。
突出显示301可以包括框、轮廓、颜色变化或者其他合适的修改，以在视觉上将感兴趣的IOT设备207与其余的IOT设备201、203、205、209区别开。替代地或者除了改变感兴趣的IOT设备207的图像之外，用户设备110可以变更其余IOT设备201、203、205、209的图像，例如通过使它们变淡、删除它们等等。
然后，用户可以选择突出显示的IOT设备(在该示例中为207)以打开用于控制感兴趣的IOT设备207的用户界面。替选地，用户可以例如通过划过突出显示的设备、轻击另一设备的图像等来指示突出显示的设备不是感兴趣的设备。而且，如果用户希望选择突出显示的设备207并且查看该设备207的完整菜单，则可以在此阶段提供完整菜单选项303。
在一个实施方式中，用户设备110被配置成识别用户(例如，通过面部识别、在先认证等)并预测该用户相对于所识别的IOT设备207将采取的最可能的动作或者通过轻击关于特定设备的先前的用户参与/历史来预测。在一个实施方式中，该预测基于同一用户相对于感兴趣的IOT设备207的先前的动作，例如，用户命令历史、访问权限、时间等。在所公开的原理的实施方式中，用户也可以请求完整菜单，而不是基于预测的菜单。
图4和图5分别示出了用户设备110的第一用户和第二用户的示例预测菜单。这些图假定所选择的IOT设备207是IOT照明器材。如图4所示，第一用户的自定义菜单包括用户1最常应用的三个设置控件401。在所示的示例中，这些控件包括以下灯设置：“打开/关闭”、“计时器”和“存在”检测(例如，使得当检测到存在时灯会亮起)。
相比之下，如图5所示，在预测菜单中为第二用户提供的选择包括三个设置控件503，分别示为“打开/关闭”、“昏暗的”和“白天/夜晚”(例如，在夜间打开，在白天关闭。)应当理解的是，这些菜单分别基于用户1和用户2的假设的过去控制历史，并且如他们各自的历史所指示的那样，可以是相同的、重叠的或者完全不同的。没有可以显示的最小或者最大选项数，但是在此示例中选择了三个选项。
如上所述，受控感兴趣IOT设备可以是任何IOT设备，并且在这一点上，图6和图7示出了当感兴趣的IOT设备为IOT电视时呈现给两个不同用户的可能选项。对于第一用户，设备110的界面示出了三个选项601，包括NETFLIX、AMAZON和BRAVO(图6)，而对于第二用户设备110的界面示出了三个选项703即STARZ、TLC和HBO(图7)。
在图4至图7所示的每个界面中，如果用户在那时候决定请求完整菜单，则提供完整菜单选项405、505、605、705。例如，用户可能决定他们感兴趣的选项未在预测菜单上显示，因此他们可以选择“完整菜单”选项405、505、605、705以查看或访问所有可能的选择。如上所述，如图3所示，还可以在设备发现阶段提供“完整菜单”选项303。
如下面将在图8的讨论中更深入地讨论的，对期望的IOT设备的识别并不总是简单直接的。例如，如果两个设备与用户设备110等距，则没有最近的设备，如图8所示，其中IOT设备801和803都位于距离用户设备110的距离D处。通过从提示805和807中选择设备类型，用户可以区分期望的IOT设备，但是前提是所讨论的IOT设备是相互不同的类型。
如图9所示，两个相同的IOT设备901和903可能位于与用户设备110相同的距离D处，在IOT设备不仅是相同的类型而且与用户设备110等距的情况下，在一个实施方式中，设备110被配置为请求用户移动更靠近感兴趣的IOT设备。在图9的示例中，设备110因此显示提示905“移动更靠近感兴趣的IOT设备”。一旦用户(持有用户设备110)移动更靠近感兴趣的IOT设备，则感兴趣的IOT设备与用户设备110之间的距离然后将是最小的，并且可以用于识别感兴趣的IOT设备。
转到图10的流程图，该流程图示出了与前面的讨论一致的过程1000，该过程用于通过使用用户设备摄像装置为IOT设备提供智能菜单。在过程1000的阶段1001，用户例如通过激活相应的应用来启动IOT控制过程。用户设备110在阶段1003激活其摄像装置190。替选地，只要手机摄像装置激活，IOT识别过程就会激活。
继续地，如果在阶段1005确定在摄像装置视野内有任何IOT设备，则用户在阶段1007触摸用户设备110显示器中的设备。否则，过程返回到阶段1003。如果在阶段1007用户触摸了用户设备110显示器中的设备，则在阶段1009，用户设备110在当前已知的IOT网络中搜索设备列表。如果在阶段1011确定的网络中仅存在一个IOT设备，用户设备110直接与该IOT设备建立连接。
如果相反地，在阶段1011确定网络中存在多个IOT设备，但是用户选择的类型的设备只有一个，则过程进行到阶段1015，其中，用户设备110检索IOT设备的SSID(服务集标识符)，并建立与设备的连接。
然而，如果在阶段1011确定网络中存在用户选择的设备类型的多个IOT设备，则过程进行到阶段1017和1019，其中通过两种不同的方法确定对象距离。特别地，用户设备在阶段1017通过评估显示器中设备的大小来估计手机与IOT设备之间的距离，同时也在阶段1019通过评估已知网络中用户选择的类型的每个IOT设备的BT RSSI(蓝牙接收信号强度指标)来估计用户设备110与所有这样的IOT设备之间的距离。
如果通过第一技术估计的距离在预定公差范围内匹配在阶段1019所确定的通过RSSI估计的距离，则用户设备110在阶段1021与出现匹配的设备建立连接。
在阶段1023，在感兴趣的IOT设备被识别并且连接到用户设备110的情况下，用户设备110对用户进行认证。这可以通过任何合适的方法来执行，例如，通过设备摄像装置进行的面部识别，例如当用户将设备后部摄像装置指向用户感兴趣的IOT设备时，通过设备前部摄像装置来对用户进行认证。替选地或者另外地，设备110可以使用指纹认证(例如，使用当用户选择感兴趣的IOT设备时感测到的指纹)或者语音ID。
在识别出感兴趣的IOT设备并且认证了用户之后，用户设备110在阶段1025生成简化的设备控制菜单，其内容和格式是基于在设备中存储的或者从云端下载的用户的历史、访问权限、时间/位置/环境或者其他用户行为而得出的。如上所述，可以向用户呈现完整菜单选项，当该完整菜单选项被选择时，呈现完整菜单而不是自定义菜单。
用户在阶段1027选择控制选项，并且然后相应的控制命令在阶段1029被发送到感兴趣的IOT设备。取决于IOT网络设置，该发送可以是直接发送或者通过IOT集线器。
为了提供前述过程的特定示例，考虑诸如聚会之类的嘈杂环境，在该环境中，设备用户希望改变通过聚会上的IOT扬声器播放的音乐或者其特性。用户无法使用语音命令，因为背景噪音太大而无法识别声音命令。用户可以将他或她手机摄像装置指向IOT扬声器，并且然后从手机的显示器控制IOT扬声器。
考虑另一个示例，其中安全机器人正在购物中心巡逻并且将视频流送回操作员的监视器。如果操作员注意到流送的视频中的IOT灯太暗，则操作员可以在监视器上点击该设备并且其调出该设备的控制菜单。该示例示出了用户设备110不必是移动设备，并且所描述的功能可以在两个设备之间划分，例如，使用第一设备的成像功能和第二设备的显示功能，其中，处理功能发生在一个设备或另一个设备处，或发生在两个设备处。
本文中的示例通常指代用户设备110上的触敏显示器。然而，应该清楚的是，这样的界面不必限于手指触摸，而是也可以或者替代地对触笔接触等进行响应。此外，对于IOT设备控制，术语“触敏感应”内包括不同类型的输入。例如，选项按钮可以是键盘按钮而不是图标按钮，并且可以使用其他类型的输入以用于设备控制。这些包括物理或者虚拟滑块(例如，用于设置恒温器)、拨盘(例如，用于设备调整)、操纵杆(例如，用于更改摄像装置取向)等。
应当理解，本文已经公开了各种系统和过程。然而，鉴于可以应用本公开内容的原理的许多可能的实施方式，应当认识到，本文相对于附图所描述的实施方式仅是说明性的，而不应被视为对权利要求的范围的限制。因此，本文描述的技术涵盖了可能落入所附权利要求及其等同物的范围内的所有此类实施方式。

Claims (20)

1.一种使用摄像装置提供智能物联网IOT菜单的电子通信设备，所述电子通信设备包括：
触敏显示器；
摄像装置；以及
处理器，所述处理器链接到所述触敏显示器和所述摄像装置，并且被配置成：捕获IOT设备的图像；识别所述IOT设备；通过所述触敏显示器显示所述IOT设备的图像；接收对设备的用户选择；识别所述电子通信设备的用户；检索与所述电子通信设备的用户的历史行为有关的数据；使用检索到的与所述电子通信设备的用户的历史行为有关的数据来生成用于所识别的IOT设备的自定义IOT设备控制菜单；以及通过所述触敏显示器向所述用户显示所述自定义IOT设备控制菜单。
2.根据权利要求1所述的电子通信设备，其中，所述处理器还被配置成通过以下操作来识别所述IOT设备：检索IOT设备数据以及经由图像对象识别来识别所述IOT设备。
3.根据权利要求2所述的电子通信设备，其中，所述处理器还被配置成通过网络检索所述IOT设备数据。
4.根据权利要求2所述的电子通信设备，其中，所述电子通信设备还包括本地存储器，并且其中，所述处理器还被配置成从所述本地存储器检索所述IOT设备数据。
5.根据权利要求2所述的电子通信设备，还包括无线电链路，并且其中，所述处理器还被配置成通过以下操作来识别所述IOT设备：检测所述IOT设备的接收信号强度指标RSSI水平；确定所述IOT设备的显示图像的大小；以及确定接收到的RSSI水平和所述显示图像的大小在预定公差内均对应相同的距离。
6.根据权利要求1所述的电子通信设备，其中，识别所述电子通信设备的用户包括通过面部识别来识别所述用户。
7.根据权利要求1所述的电子通信设备，还包括第二摄像装置，并且其中，所述第二摄像装置用于执行面部识别。
8.根据权利要求1所述的电子通信设备，其中，识别所述电子通信设备的用户包括通过指纹识别和语音识别中的至少之一来识别所述用户。
9.根据权利要求1所述的电子通信设备，其中，所述处理器还被配置成向所述电子通信设备的用户显示完整菜单选项，使得对所述完整菜单选项的用户选择使得所述处理器通过所述触敏显示器向所述用户显示非自定义IOT设备控制菜单。
10.一种使用电子通信设备的摄像装置提供智能物联网IOT菜单的方法，包括：
使用所述电子通信设备的摄像装置捕获IOT设备的图像；
识别所述IOT设备；
在所述电子通信设备的显示器上显示所述IOT设备的图像；
接收对所述IOT设备的用户选择；
识别所述电子通信设备的用户；
检索与所述电子通信设备的用户的历史行为有关的数据；
使用检索到的与所述用户的历史行为有关的数据来生成用于所识别的IOT设备的自定义IOT设备控制菜单；以及
通过所述电子通信设备的显示器向所述用户显示所述自定义IOT设备控制菜单。
11.根据权利要求10所述的方法，其中，识别所述IOT设备包括：检索IOT设备数据以及经由图像对象识别来识别所述IOT设备。
12.根据权利要求11所述的方法，其中，通过网络检索所述IOT设备数据。
13.根据权利要求11所述的方法，其中，从所述电子通信设备的本地存储器检索所述IOT设备数据。
14.根据权利要求11所述的方法，识别所述IOT设备包括：检测所述IOT设备的接收信号强度指标RSSI水平；确定所述IOT设备的显示图像的大小；以及确定接收到的RSSI水平和所述显示图像的大小在预定公差内均对应相同的距离。
15.根据权利要求10所述的方法，其中，识别所述电子通信设备的用户包括通过面部识别来识别所述用户。
16.根据权利要求10所述的方法，其中，识别所述电子通信设备的用户包括通过指纹识别和语音识别中的至少之一来识别所述用户。
17.根据权利要求10所述的方法，其中，显示所述自定义IOT设备控制菜单包括显示完整菜单选项，使得对所述完整菜单选项的用户选择使得显示非自定义IOT设备控制菜单。
18.一种向电子通信设备用户提供关于感兴趣的物联网IOT设备的自定义IOT控制菜单的方法，所述方法包括：
当所述用户将所述电子通信设备的摄像装置指向所述感兴趣的IOT设备时，通过所述摄像装置捕获所述感兴趣的IOT设备的图像；
基于所捕获的图像识别所述感兴趣的IOT设备；
识别所述用户以生成用户身份；以及
显示用于所述感兴趣的IOT设备的自定义IOT控制菜单，其中，所述自定义IOT控制菜单基于所述用户身份。
19.根据权利要求18所述的方法，其中，显示用于所述感兴趣的IOT设备的自定义IOT控制菜单还包括：检索所述用户的历史行为信息，其中，所述历史行为信息包括与所述用户先前针对所述感兴趣的IOT设备选择的控制选项有关的信息；以及利用所述历史行为信息生成所述自定义IOT控制菜单。
20.根据权利要求18所述的方法，还包括：向所述用户显示完整菜单选项；接收对所述完整菜单选项的用户选择；以及作为响应，用非自定义IOT控制菜单替换所述自定义IOT控制菜单。
CN201911044025.0A 2018-11-28 2019-10-30 利用摄像装置的智能物联网菜单 Pending CN111240555A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/203,175 US11233671B2 (en) 2018-11-28 2018-11-28 Smart internet of things menus with cameras
US16/203,175 2018-11-28

Publications (1)

Publication Number Publication Date
CN111240555A true CN111240555A (zh) 2020-06-05

Family

ID=69137275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911044025.0A Pending CN111240555A (zh) 2018-11-28 2019-10-30 利用摄像装置的智能物联网菜单

Country Status (4)

Country Link
US (1) US11233671B2 (zh)
CN (1) CN111240555A (zh)
DE (1) DE102019132052A1 (zh)
GB (1) GB2580518B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113220202A (zh) * 2021-05-31 2021-08-06 中国联合网络通信集团有限公司 一种物联网设备的控制方法和装置
CN115225818A (zh) * 2022-07-13 2022-10-21 北京有竹居网络技术有限公司 配置设备的方法、装置、设备和存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11153427B2 (en) * 2018-09-05 2021-10-19 Lg Electronics Inc. Mobile terminal and method for controlling the same
US11233671B2 (en) * 2018-11-28 2022-01-25 Motorola Mobility Llc Smart internet of things menus with cameras
WO2020149860A1 (en) * 2019-01-18 2020-07-23 Google Llc Modifying the type of interaction between a mobile computing device and a peripheral device based on proximity
US11487873B2 (en) * 2019-01-22 2022-11-01 EMC IP Holding Company LLC Risk score generation utilizing monitored behavior and predicted impact of compromise
DE102019209888A1 (de) * 2019-07-04 2021-01-07 BSH Hausgeräte GmbH System und Verfahren zur Authentifizierung an einem Gerät
KR20210061856A (ko) * 2019-11-20 2021-05-28 삼성전자주식회사 디스플레이 장치 및 그 동작방법
US11089109B1 (en) * 2019-11-20 2021-08-10 Sprint Communications Company L.P. Smart device management via a mobile communication device based on privacy preferences
US11402984B2 (en) * 2020-11-18 2022-08-02 Google Llc Proximity-based controls on a second device

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104977904A (zh) * 2014-04-04 2015-10-14 浙江大学 一种可见即可控的智能家居控制系统及控制方法
CN204904540U (zh) * 2015-08-20 2015-12-23 深圳市云动创想科技有限公司 有屏智能遥控器
CN105874405A (zh) * 2013-12-11 2016-08-17 Lg电子株式会社 智能家用电器、其操作方法及使用智能家用电器的语音识别系统
CN107534791A (zh) * 2015-06-10 2018-01-02 三星电子株式会社 显示装置及其控制方法
CN107835978A (zh) * 2015-07-29 2018-03-23 三星电子株式会社 用户终端装置及其控制方法
CN107924311A (zh) * 2015-07-28 2018-04-17 微软技术许可有限责任公司 基于上下文信号的定制化计算体验
US20180184298A1 (en) * 2016-12-27 2018-06-28 Lite-On Electronics (Guangzhou) Limited GATEWAY, GATEWAY SETUP METHOD, AND IoT DEVICE SETUP METHOD IN IoT SYSTEM
CN108432186A (zh) * 2015-12-23 2018-08-21 三星电子株式会社 用于控制设备的方法和装置
CN108803371A (zh) * 2018-08-13 2018-11-13 三星电子（中国）研发中心 一种电器设备的控制方法以及装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6496927B1 (en) * 1999-06-09 2002-12-17 Amx Corporation Method and configuring a user interface for controlling a controlled device based upon a device class
US7917855B1 (en) * 2002-04-01 2011-03-29 Symantec Operating Corporation Method and apparatus for configuring a user interface
US8713090B2 (en) * 2006-12-15 2014-04-29 Microsoft Corporation Enhancing user experiences using aggregated device usage data
EP2283410A4 (en) * 2008-05-20 2013-02-06 Hewlett Packard Development Co BENUTZEROBERFLÄCHENMODIFIZIERER
US8970658B2 (en) * 2012-04-20 2015-03-03 Logitech Europe S.A. User interface allowing a participant to rejoin a previously left videoconference
US8910262B2 (en) * 2012-12-21 2014-12-09 Cellco Partnership Supporting multiple messaging services on mobile devices in a single user experience
US9233472B2 (en) * 2013-01-18 2016-01-12 Irobot Corporation Mobile robot providing environmental mapping for household environmental control
US11185783B2 (en) * 2013-03-14 2021-11-30 Sony Interactive Entertainment Inc. Controller emulation for cloud gaming
WO2014143843A1 (en) * 2013-03-15 2014-09-18 Bodhi Technology Ventures Llc Controlling wireless device access to host device functionality
KR20150014052A (ko) * 2013-07-26 2015-02-06 주식회사 팬택 통합 커뮤니케이션 기능을 구비한 사용자 단말 및 이를 위한 커뮤니케이션 이력 표시 방법
US10451874B2 (en) * 2013-09-25 2019-10-22 Seiko Epson Corporation Image display device, method of controlling image display device, computer program, and image display system
US9445032B2 (en) * 2014-03-24 2016-09-13 Broadcom Corporation Auto-pairing control device
KR102201906B1 (ko) * 2014-04-29 2021-01-12 삼성전자주식회사 전자 장치에서 다른 전자 장치를 제어하기 위한 장치 및 방법
US10402294B1 (en) * 2014-06-19 2019-09-03 Google Llc Methods and systems of differentiating between at least two peripheral electronic devices
US9529605B2 (en) * 2014-08-27 2016-12-27 Microsoft Technology Licensing, Llc Customizing user interface indicators based on prior interactions
KR102315345B1 (ko) * 2015-06-26 2021-10-20 삼성전자주식회사 노드 단말 장치, 디스플레이 장치, 이를 포함하는 주변 기기 관리 시스템 및 그 방법
KR20170055295A (ko) * 2015-11-11 2017-05-19 엘지전자 주식회사 이동 단말기 및 그 이동 단말기의 제어 방법
US10574445B2 (en) * 2016-12-21 2020-02-25 Intel IP Corporation Range constrained device configuration
KR20180082812A (ko) * 2017-01-11 2018-07-19 삼성전자주식회사 영상 표시 장치 및 그 동작 방법
US10924461B2 (en) * 2017-04-27 2021-02-16 Afero, Inc. Secure two-way beacon in an internet of things (IoT) system
KR20190017280A (ko) * 2017-08-10 2019-02-20 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
KR102385263B1 (ko) * 2018-01-04 2022-04-12 삼성전자주식회사 이동형 홈 로봇 및 이동형 홈 로봇의 제어 방법
US20200007411A1 (en) * 2018-06-28 2020-01-02 International Business Machines Corporation Cognitive role-based policy assignment and user interface modification for mobile electronic devices
US11153427B2 (en) * 2018-09-05 2021-10-19 Lg Electronics Inc. Mobile terminal and method for controlling the same
EP3866402B1 (en) * 2018-09-24 2022-11-02 Google LLC Controlling a device based on processing of image data that captures the device and/or an installation environment of the device
US11233671B2 (en) * 2018-11-28 2022-01-25 Motorola Mobility Llc Smart internet of things menus with cameras

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105874405A (zh) * 2013-12-11 2016-08-17 Lg电子株式会社 智能家用电器、其操作方法及使用智能家用电器的语音识别系统
CN104977904A (zh) * 2014-04-04 2015-10-14 浙江大学 一种可见即可控的智能家居控制系统及控制方法
CN107534791A (zh) * 2015-06-10 2018-01-02 三星电子株式会社 显示装置及其控制方法
CN107924311A (zh) * 2015-07-28 2018-04-17 微软技术许可有限责任公司 基于上下文信号的定制化计算体验
CN107835978A (zh) * 2015-07-29 2018-03-23 三星电子株式会社 用户终端装置及其控制方法
CN204904540U (zh) * 2015-08-20 2015-12-23 深圳市云动创想科技有限公司 有屏智能遥控器
CN108432186A (zh) * 2015-12-23 2018-08-21 三星电子株式会社 用于控制设备的方法和装置
US20180184298A1 (en) * 2016-12-27 2018-06-28 Lite-On Electronics (Guangzhou) Limited GATEWAY, GATEWAY SETUP METHOD, AND IoT DEVICE SETUP METHOD IN IoT SYSTEM
CN108803371A (zh) * 2018-08-13 2018-11-13 三星电子（中国）研发中心 一种电器设备的控制方法以及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113220202A (zh) * 2021-05-31 2021-08-06 中国联合网络通信集团有限公司 一种物联网设备的控制方法和装置
CN113220202B (zh) * 2021-05-31 2023-08-11 中国联合网络通信集团有限公司 一种物联网设备的控制方法和装置
CN115225818A (zh) * 2022-07-13 2022-10-21 北京有竹居网络技术有限公司 配置设备的方法、装置、设备和存储介质

Also Published As

Publication number Publication date
US11233671B2 (en) 2022-01-25
US20200169427A1 (en) 2020-05-28
GB2580518B (en) 2021-11-10
GB201917285D0 (en) 2020-01-08
GB2580518A (en) 2020-07-22
DE102019132052A1 (de) 2020-05-28

Similar Documents

Publication Publication Date Title
CN111240555A (zh) 利用摄像装置的智能物联网菜单
KR102211014B1 (ko) 스마트 디바이스들의 식별 및 제어
KR101938082B1 (ko) 이미지 프로세싱에 기초한 데이터 통신을 위한 시스템 및 방법
US10242168B2 (en) Methods and apparatuses for controlling smart device
US11356512B2 (en) Method and device for controlling home device
EP3163885B1 (en) Method and apparatus for controlling electronic device
EP2583153B1 (en) Methods and apparatuses for gesture based remote control
KR101287497B1 (ko) 홈-네트워크 시스템의 제어 명령 전달 장치 및 그 방법
CN105634881B (zh) 应用场景推荐方法及装置
EP3016318A1 (en) Method and apparatus for customizing scene mode of intelligent device
CN105915401A (zh) 智能硬件的固件升级方法、装置和设备
CN105278986A (zh) 电子设备的控制方法和装置
US10361879B2 (en) Persona-based service delivery
CN105338083A (zh) 界面显示方法及装置
EP3200468A1 (en) Display apparatus and control method thereof
CN107346115B (zh) 一种智能设备的控制方法、控制终端和智能设备
CN106027336A (zh) 设备分享方法及装置
CN105376410A (zh) 闹钟设置方法及装置
KR20170071654A (ko) 사물인터넷 서비스 시나리오 생성을 위한 컴퓨터 프로그램, 휴대용 단말기, 및 게이트웨이 장치
CN106200912A (zh) 一种自拍杆拍照的处理方法及移动终端
CN106454466B (zh) 控制红外设备的方法及装置
CN116009753A (zh) 人机交互控制方法、设备及存储介质
CN114508835A (zh) 一种终端和空调模式调节方法
CN106909496A (zh) 信息显示方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination