CN107315355B - 一种电器控制设备及方法 - Google Patents

一种电器控制设备及方法 Download PDF

Info

Publication number
CN107315355B
CN107315355B CN201710526955.4A CN201710526955A CN107315355B CN 107315355 B CN107315355 B CN 107315355B CN 201710526955 A CN201710526955 A CN 201710526955A CN 107315355 B CN107315355 B CN 107315355B
Authority
CN
China
Prior art keywords
image
user
interface
operation action
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710526955.4A
Other languages
English (en)
Other versions
CN107315355A (zh
Inventor
段然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201710526955.4A priority Critical patent/CN107315355B/zh
Publication of CN107315355A publication Critical patent/CN107315355A/zh
Priority to US15/945,031 priority patent/US20190007229A1/en
Application granted granted Critical
Publication of CN107315355B publication Critical patent/CN107315355B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2642—Domotique, domestic, home control, automation, smart house
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/50—Receiving or transmitting feedback, e.g. replies, status updates, acknowledgements, from the controlled devices
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/70—Device selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L2012/284—Home automation networks characterised by the type of medium used
    • H04L2012/2841—Wireless
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L2012/2847—Home automation networks characterised by the type of home appliance used
    • H04L2012/285—Generic home appliances, e.g. refrigerators

Abstract

本发明公开了一种电器控制设备，包括：投影装置，配置为投射出具有多个分别代表不同电器的图区的图像界面；摄像头，配置为获取包括用户在所述图像界面上的操作动作的第一图像；以及控制器，配置为根据所述第一图像确定所述操作动作对应的目标图区和控制指令，并对与目标图区对应的电器发送所述控制指令。本发明同时公开了一种电器控制方法。通过本发明实施例，用户通过投影的图像界面即可对目标电器进行控制操作，操作过程更加直观简便，提升了用户体验。

Description

一种电器控制设备及方法
技术领域
本发明涉及电气控制领域，特别涉及一种用于控制多个电器的电器控制设备及方法。
背景技术
日常生活中，通常需要在房间中布置一些固定的开关基座，用于电灯、空调等电器的电源切换功能。但此类开关一旦确定设置的位置后就不能改变，为用户的操作带来不便。且若需要增加电器数量，则需要同时设置更多的固定开关，而设置更多的固定开关往往需要对房屋进行较大的变动，如电路改造等，十分繁琐。
发明内容
有鉴于此，本发明的目的之一是，提供一种能够根据需要设置操作位置的电器控制设备及方法。
为此，本发明实施例提供了一种电器控制设备，包括：投影装置，配置为投射出具有多个分别代表不同电器的图区的图像界面；摄像头，配置为获取包括用户在所述图像界面上的操作动作的第一图像；以及控制器，配置为根据所述第一图像确定所述操作动作对应的目标图区和控制指令，并对与目标图区对应的电器发送所述控制指令。
作为优选，所述控制器还配置为获取待控制的多个电器的第一状态信息，并根据所获取的第一状态信息生成所述图像界面，其中各所述图区内分别显示各所述电器的所述第一状态信息。
作为优选，所述控制器还配置为在对与目标图区对应的电器发送所述控制指令后，获取该电器的更改后的运行状态并更新所述图像界面中该电器的所述第一状态信息。
本发明实施例还提供了一种电器控制方法，包括：投影显示具有多个分别代表不同电器的图区的图像界面；获取包括用户在所述图像界面上的操作动作的第一图像；根据所述第一图像确定所述操作动作对应的目标图区和控制指令；对与目标图区对应的电器发送所述控制指令。
作为优选，所述操作动作包括触碰式操作动作和/或非触碰式操作动作。
作为优选，根据所述第一图像确定所述操作动作对应的目标图区包括：获取第一图像中用户手部各节点的特征信息，将用户的预定节点所处的图区确定为所述目标图区。
作为优选，该方法还包括预先对与各预定的控制指令对应的不同手势动作进行节点识别并分别存储为与各预定的控制指令关联的预定手部骨架模型，其中，根据所述第一图像和所存储的预定手部骨架模型确定所述操作动作对应的控制指令。
作为优选，根据所述第一图像和所存储的预定手部骨架模型确定所述操作动作对应的控制指令包括：获取第一图像中用户手部各节点的特征信息，根据获取的各节点的特征信息建立当前手部骨架模型；将所述当前手部骨架模型与存储的预定手部骨架模型进行匹配，当存在与所述当前手部骨架模型之间的差落入预定范围内的预定手部骨架模型时，将与该预定手部骨架模型关联的预定的控制指令确定为与所述操作动作对应的控制指令。
作为优选，投影显示具有多个分别代表不同电器的图区的图像界面包括：获取待控制的多个电器的第一状态信息；生成具有多个分别代表所述多个电器的图区的图像界面，其中各所述图区内分别显示各所述电器的所述第一状态信息；投影显示所述图像界面。
作为优选，在对与目标图区对应的电器发送所述控制指令后还包括：获取电器的更改后的运行状态并更新所述图像界面中该电器的所述第一状态信息。
通过本发明实施例的电器控制设备及方法，用户可根据需要将电器控制设备放置到任一房间的墙上或桌面上使用，电器控制设备可按照配置投射出具有各待控电器的状态信息的不同图区的图像界面，用户可通过在目标图区中进行操作动作来对目标电器进行控制操作，无需再通过物理开关对电器进行控制操作，使得操作更加直观、便捷并且智能化、人性化。使用更灵活。
附图说明
图1为本发明实施例的电器控制设备的示意性结构框图；
图2为本发明实施例的电器控制设备的使用状态示意图；
图3为本发明实施例中电器控制设备投射的图像界面的示意图；
图4为本发明一个实施例的电器控制方法的流程图。
图5为本发明另一个实施例的电器控制方法中对手势操作识别节点的示意图。
附图标记：
1-投影装置；2-摄像头；3-壳体；4-吸盘；5-控制器；6-电源接口和/或外接电池；7-无线收发单元；8-电源管理单元；9-图像界面；10-图区。
具体实施方式
以下结合附图对本发明进行详细描述。
图1为本发明实施例的电器控制设备的示意性结构框图，图2为本发明实施例的电器控制设备的使用状态示意图，图3为本发明实施例中电器控制设备投射的图像界面的示意图。
如图1-3所示，本发明实施例的电器控制设备可以包括投影装置1、摄像头2和控制器5。
投影装置1配置为投射出具有多个分别代表不同电器的图区10的图像界面9。
用户可对图像界面9作出操作动作，例如用户的手指触碰或遮挡某个图区10中的任意位置或预定位置，用户通过其他物体触碰或遮挡某个图区10中的任意位置或预定位置，用户在某个图区10的区域中作出某个操作手势，再如用户使用激光笔指向某个图区10中的任意位置或预定位置，等等。
摄像头2用于获取包括用户在图像界面9上的操作动作的第一图像，根据用户对图区10作出的操作动作的不同，第一图像中例如可能包括操作手势或对某个图区进行的遮挡或触碰操作动作等等。
控制器5配置为对第一图像进行图像分析，以确定用户的操作动作对应的目标图区以及用户的操作动作对应的控制指令，并对与目标图区对应的电器发送所确定的控制指令。控制指令可以是用于实现用户对的电器状态进行控制的指令，例如控制指令可以是开启电器、关闭电器、调整电器的连续运行时间、设定电器的延迟关闭时间等。
本发明实施例中的电器控制设备的投影装置1、摄像头2及控制器5可容纳在壳体3中，壳体3的底部或侧面上可以设有多个例如吸盘4、粘接件等固定部件。用户可通过吸盘4等固定部件将电器控制设备可卸除地固定在任一房间的地板、桌面或墙上等，使用上十分灵活。例如，图2中示出了将电器控制装置固定布置在桌面或地板上，投影装置1将图像界面9投影至墙上的使用场景。当将本发明实施例的电器控制装置固定布置在墙上时，投影装置1可将图像界面9投影至投影装置1的投影方向上的墙面上、桌面上或者地板上。
本发明施例中的电器控制设备还可以具备外接电池和/或电源接口6及利用外接电池和/或电源接口对电器控制设备中上述各用电部件的供电进行管理的电源管理单元8。
在本发明一个实施例中，壳体3内可设置无线收发单元7，用于在控制器5和电器之间建立通信，例如控制器5通过无线收发单元7将控制指令发送给电器，控制器5可以通过无线收发单元7获取待控制的多个电器的第一状态信息。控制器5可以根据所获取的第一状态信息生成待投影的图像界面，使得图像界面中与各电器对应的各图区内分别显示各电器的第一状态信息。本发明实施例使得用户能够直观地了解到各个电器的当前运行状态，便于用户根据需要对某些电器进行操作动作，以改变电器的运行状态。
在本发明另一个实施例中，控制器5还可以配置为在对与目标图区对应的电器发送控制指令后，通过无线收发单元7获取该电器的更改后的运行状态，并根据该电器更改后的运行状态更新待投影的图像界面中该电器对应的图区中的第一状态信息。本发明实施例使得用户在对目标图区作出操作动作后，能够直观地实时了解到电器在执行与操作动作对应的控制指令后运行状态的变化，提高了用户的互动体验。
本发明实施例中，用户可通过将手机或者PC对电器控制设备进行各项参数配置。用户通过将手机或者PC与电器控制设备进行通信连接后，在手机或PC机上对电器控制设备进行配置，例如，用户对电器控制设备进行的配置可以包括，调整投影装置1投影出的图像界面9中包括的图区10的大小或数目，指定哪一图区10对应哪个电器，是否在图区中显示电器的状态信息等等。此外，还可设置在图区10中添加电器的辅助显示信息，如某一电器的连续使用时间，或者设置定时界面，以实现在设定时间对电器进行开启和关闭的操作等等。
在本发明另一实施例中，还可以由电器控制设备的投影装置1投射出配置界面，用户对配置界面进行操作，由摄像头2获取包括用户的配置操作动作的图像，由控制器5在获取的图像中识别出操作动作对应的配置指令，并相应地更新投影界面。例如，当用户需要调整图像界面9中图区10的大小时，例如可以在图像界面9中用手指划出期望区域的边界，控制器5可将该边界识别为所需要设定的图区10的边界；当用户需要设定某个图区10对应的电器时，例如可以在某个图区10中用手指划出预定的图案，如三角形、四边形、六芒星等，控制器5可根据预定图案对应的电器确定该图区10对应的电器。
对电器控制设备配置完成后，将电器控制设备及所需控制的家用电器都连接到局域网中。用户可根据需要将电器控制设备固定布置到目标地点即可投入使用，电器控制设备将会按照配置的方式投射出带有各电器的名称和状态信息的图像界面，用户通过对投影的图像界面进行操作动作对目标电器进行操作。
图4为本发明一个实施例的电器控制方法的流程图。
如图4所示，本发明实施例的电器控制方法包括如下步骤：
S101、投影显示具有多个分别代表各电器的图区的图像界面；
例如，当需要控制的电器包括电灯、电视、空调和风扇时，图像界面中可包括与电灯、电视、空调和风扇分别对应的四个图区。当需要控制的电器包括电灯、冰箱、空调、加湿器、空调和风扇时，图像界面中可包括与电灯、冰箱、空调、加湿器、空调和风扇分别对应的六个图区。本发明实施例中对图像界面中图区的数目不作限制，根据待控制的电器的数目，图像界面可具有相应数目的图区。
S102、获取包括用户在图像界面上的操作动作的第一图像；
用户可在投影显示的图像界面上作出操作动作，例如用户的手指触碰或遮挡某个图区中的任意位置或预定位置，用户通过其他物体触碰或遮挡某个图区中的任意位置或预定位置，用户在某个图区的区域中作出某个操作手势，再如用户使用激光笔指向某个图区中的任意位置或预定位置，等等。其中，用手指或指节或其他物体触碰图区等的操作动作可称为触碰式操作动作，遮挡图区、在图区中作出手势、用激光笔等指示物指向图区等无需触碰图区的操作动作可称为非触碰式操作动作。
本发明实施例中可以预定的时间间隔对投影的图像界面成像，当获取到的图像界面图像中包括用户在图像界面上的操作动作时，将获取到的图像界面作为第一图像。
S103、根据第一图像确定操作动作对应的目标图区和控制指令；
通过对第一图像进行图像分析，可确定第一图像中的用户手部或操作物体所指向的图区。本发明实施例中对操作动作可采用多种识别方式。
例如，可以对第一图像计算出灰度图，确定灰度图中是否包括手指的预定形态，以及手指的预定形态与哪一图区对应，来确定手指实际指向的区域。手指的预定形态可以是预先对应于预定的控制指令而确定，例如食指伸直或弯曲，指肚朝上或指甲朝上，食指与中指并拢等。
在本发明实施例中，当用户手部作出操作动作时，还可根据用户手指接触到图像界面所投射于的墙体或地板时手指是否产生变形来判断是否为触碰式操作动作，例如通过深度学习法学习指肚或手指轮廓的变形特征，在对第一图像进行分析时根据手指部分是否具有变形特征来确定是否存在触碰，从而根据触碰点所在区域确定操作动作对应的目标图区。
在本发明另一个实施例中，例如可预设一时间阈值，并根据连续获取的第一图像确定用户手指的预定部位或操作物体的预定部位(例如指尖或操作物体的前端)保持在图像界面中某一区域中的时间，如果保持时间超过预设的时间阈值，例如操作动作保持了3秒或5秒，则确定用户手指或操作物体的上述预定部位所处的图区为目标图区，同时确定操作动作对应的控制指令为将与目标图区对应的电器的当前开/关状态变更为关/开状态。
在本发明又一个实施例中，可测量用户手指距用于获取第一图像的摄像头的距离，该摄像头可以采用双目摄像头。以食指指尖指向目标图区为例，预先测量投影界面距双目摄像头的距离，在获取第一图像后，测算出双目摄像头距手指的距离是否大于预设的阈值，当手指操作符合阈值条件，可确定手指操作例如是开启电器(或关闭电器)的控制指令。
S104、对与目标图区对应的电器发送所述控制指令。
在确定了与操作动作对应的目标图区和控制指令后，可将所确定的控制指令发送给与所确定的目标图区对应的电器，从而实现通过用户在投影的图像界面上的操作动作来对电器进行操作。
通过本发明实施例的电器控制方法，可投射出具有各待控电器的状态信息的不同图区的图像界面，用户可通过在目标图区中进行操作动作来对目标电器进行控制操作，无需再通过物理开关对电器进行控制操作，使得操作更加直观、便捷并且智能化、人性化。使用更灵活。
图5为本发明另一个实施例的电器控制方法中对手势操作识别节点的示意图。
如图5所示，在本发明一个实施例中，在确定与操作动作对应的目标区域时，可通过对第一图像进行图像分析获得用户手部各节点的特征信息，将用户手部的预定节点所处的图区确定为目标图区。例如，当要求做出的操作动作为指尖触碰或遮挡时，从识别的各节点中确定出食指指尖节点，并将食指指尖节点所处的图区确定为目标图区。又例如，当要求做出的操作动作为握拳时，从识别的各节点中确定出各手指的关节节点，将大部分或者全部关节节点所处的区域确定为目标图区。
在本发明另一个实施例中，可预先训练用户学习特定的几种手势，例如五指张开，握拳，握拳同时伸出食指或拇指等，并可以约定手势的角度以便于识别，例如手指指向的方向与投影方向平行或垂直。
在本发明实施例中，考虑到减少用户的负担，免去对手势方向的记忆，可预先通过深度学习法，将用户可能使用的各种手势输入控制系统进行训练学习，并将预定的控制指令与学习的各种手势分别进行关联存储，使得控制系统在获得第一图像后可以直接识别出用户所作出的手势操作，并找到与手势操作关联的控制指令。
在本发明再一个实施例中，还可以预先对与各预定的控制指令对应的多个不同手势动作进行节点识别，分别生成预定手部骨架模型并与各预定的控制指令关联存储。在获得第一图像后，根据第一图像中的手势操作动作是否与所存储的预定手部骨架模型相匹配来确定操作动作对应的控制指令。可预设一个数据库用来关联存储上述的预定控制指令和预定手部骨架模型，使得每种手势均具有与其对应的控制指令。同样为了免除用户记忆手势角度的负担，针对同一手势操作可预先作出多个不同角度的同一手势进行上述节点识别，并生成对应同一手势操作的多个手部骨架模型。
在本发明一个实施例中，在获取第一图像后，可从第一图像中获得用户手部各节点的特征信息，根据获取的各节点的特征信息建立当前手部骨架框架。可将当前手部骨架模型与预先存储的预定手部骨架模型逐一进行比对匹配。由于预存的手部骨架模型难以包括所有的手势角度的情况，即使如上所述预先存储了对应同一手势的不同角度的预定手部骨架模型，仍可能在用户作出正确手势操作时出现找不到匹配的预定手部骨架模型的情况，因此在本发明实施例中，可设定用于匹配的预定误差范围，当存在与当前手部骨架模型之间的差落入预定范围内的预定手部骨架模型时，就可将与该预定手部骨架模型关联的预定的控制指令确定为与当前操作动作对应的控制指令。
在本发明一个实施例中，投影显示具有多个分别代表不同电器的图区的图像界面的过程可以包括：获取待控制的多个电器的第一状态信息，生成具有多个分别代表多个电器的图区的图像界面，使得生成的图像界面中的各图区内分别显示各电器的第一状态信息，并将生成的图像界面投影至投影区域中。第一状态信息例如可以是待控电器的当前运行状态是处于开启状态还是关闭状态，还可以是待控电器的本次连续使用时间，已休眠时间等。本发明实施例使得用户能够直观地了解到各个电器的当前运行状态，便于用户根据需要对某些电器进行操作动作，以改变电器的运行状态。
在本发明另一个实施例中，在S104中对与目标图区对应的电器发送所述控制指令后还可以包括：获取电器的更改后的运行状态并更新图像界面中该电器的第一状态信息。本发明实施例使得用户在对目标图区作出操作动作后，能够直观地实时了解到电器在执行与操作动作对应的控制指令后运行状态的变化，提高了用户的互动体验。
以上实施例仅为本发明的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。

Claims (10)

1.一种电器控制设备，其特征在于，包括：
投影装置，配置为投射出具有多个分别代表不同电器的图区的图像界面；
摄像头，配置为获取包括用户在所述图像界面上的操作动作的第一图像，其中，所述第一图像包括操作手势或对某个图区进行的遮挡或触碰操作；以及
控制器，配置为根据所述第一图像确定所述操作动作对应的目标图区和控制指令，并对与目标图区对应的电器发送所述控制指令；
所述投影装置还配置为投射出配置界面；
所述摄像头还配置为获取包括用户的配置操作动作的图像；
所述控制器还配置为在获取的图像中识别出操作动作对应的配置指令，更新投影界面；
其中，在用户的操作动作为在图像界面中用手指划出期望区域的边界时，控制器将该边界识别为需要设定的图区的边界；在用户的操作动作为在某个图区中用手指划出预定图案时，控制器根据预定图案对应的电器确定所述某个图区对应的电器。
2.根据权利要求1所述的电器控制设备，其特征在于，
所述控制器还配置为获取待控制的多个电器的第一状态信息，并根据所获取的第一状态信息生成所述图像界面，其中各所述图区内分别显示各所述电器的所述第一状态信息。
3.根据权利要求2所述的电器控制设备，其特征在于，
所述控制器还配置为在对与目标图区对应的电器发送所述控制指令后，获取该电器的更改后的运行状态并更新所述图像界面中该电器的所述第一状态信息。
4.一种电器控制方法，其特征在于，包括：
投影显示具有多个分别代表不同电器的图区的图像界面；
获取包括用户在所述图像界面上的操作动作的第一图像，其中，所述第一图像包括操作手势或对某个图区进行的遮挡或触碰操作；
根据所述第一图像确定所述操作动作对应的目标图区和控制指令；
对与目标图区对应的电器发送所述控制指令；
还包括：
投影显示配置界面；
获取包括用户的配置操作动作的图像；
在获取的图像中识别出操作动作对应的配置指令，更新投影界面；
其中，在获取的图像中识别出操作动作对应的配置指令，更新投影界面，包括：
在用户的操作动作为在图像界面中用手指划出期望区域的边界时，将该边界识别为需要设定的图区的边界；在用户的操作动作为在某个图区中用手指划出预定图案时，根据预定图案对应的电器确定所述某个图区对应的电器。
5.根据权利要求4所述的控制方法，其特征在于，所述操作动作包括触碰式操作动作和/或非触碰式操作动作。
6.根据权利要求4所述的控制方法，其特征在于，根据所述第一图像确定所述操作动作对应的目标图区包括：
获取第一图像中用户手部各节点的特征信息，将用户的预定节点所处的图区确定为所述目标图区。
7.根据权利要求4所述的控制方法，其特征在于，还包括：
预先对与各预定的控制指令对应的不同手势动作进行节点识别并分别存储为与各预定的控制指令关联的预定手部骨架模型，
其中，根据所述第一图像和所存储的预定手部骨架模型确定所述操作动作对应的控制指令。
8.根据权利要求7所述的控制方法，其特征在于，根据所述第一图像和所存储的预定手部骨架模型确定所述操作动作对应的控制指令包括：
获取第一图像中用户手部各节点的特征信息，根据获取的各节点的特征信息建立当前手部骨架模型；
将所述当前手部骨架模型与存储的预定手部骨架模型进行匹配，当存在与所述当前手部骨架模型之间的差落入预定范围内的预定手部骨架模型时，将与该预定手部骨架模型关联的预定的控制指令确定为与所述操作动作对应的控制指令。
9.根据权利要求4至8中任一项所述的控制方法，其特征在于，投影显示具有多个分别代表不同电器的图区的图像界面包括：
获取待控制的多个电器的第一状态信息；
生成具有多个分别代表所述多个电器的图区的图像界面，其中各所述图区内分别显示各所述电器的所述第一状态信息；
投影显示所述图像界面。
10.根据权利要求4至8中任一项所述的控制方法，其特征在于，在对与目标图区对应的电器发送所述控制指令后还包括：
获取电器的更改后的运行状态并更新所述图像界面中该电器的所述第一状态信息。
CN201710526955.4A 2017-06-30 2017-06-30 一种电器控制设备及方法 Active CN107315355B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710526955.4A CN107315355B (zh) 2017-06-30 2017-06-30 一种电器控制设备及方法
US15/945,031 US20190007229A1 (en) 2017-06-30 2018-04-04 Device and method for controlling electrical appliances

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710526955.4A CN107315355B (zh) 2017-06-30 2017-06-30 一种电器控制设备及方法

Publications (2)

Publication Number Publication Date
CN107315355A CN107315355A (zh) 2017-11-03
CN107315355B true CN107315355B (zh) 2021-05-18

Family

ID=60181289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710526955.4A Active CN107315355B (zh) 2017-06-30 2017-06-30 一种电器控制设备及方法

Country Status (2)

Country Link
US (1) US20190007229A1 (zh)
CN (1) CN107315355B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875694A (zh) * 2018-07-04 2018-11-23 百度在线网络技术（北京）有限公司 语音输出方法和装置
CN109376646A (zh) * 2018-10-19 2019-02-22 佛山市联科发信息科技有限公司 一种图像识别的电器智能控制器
CN110032095A (zh) * 2019-03-13 2019-07-19 浙江帅康电气股份有限公司 一种电器的控制方法及控制系统
CN110196557B (zh) * 2019-05-05 2023-09-26 深圳绿米联创科技有限公司 设备控制方法、装置、移动终端及存储介质
CN110471296B (zh) * 2019-07-19 2022-05-13 深圳绿米联创科技有限公司 设备控制方法、装置、系统、电子设备及存储介质
CN112716117B (zh) * 2020-12-28 2023-07-14 维沃移动通信有限公司 智能手环及其控制方法

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9696808B2 (en) * 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
US20140053115A1 (en) * 2009-10-13 2014-02-20 Pointgrab Ltd. Computer vision gesture based control of a device
US20120025945A1 (en) * 2010-07-27 2012-02-02 Cyberglove Systems, Llc Motion capture data glove
US20130135199A1 (en) * 2010-08-10 2013-05-30 Pointgrab Ltd System and method for user interaction with projected content
JP5960796B2 (ja) * 2011-03-29 2016-08-02 クアルコム，インコーポレイテッド ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ
KR101423536B1 (ko) * 2011-06-14 2014-08-01 한국전자통신연구원 인쇄매체 기반 혼합현실 구현 장치 및 방법
CN102866677A (zh) * 2011-07-07 2013-01-09 艾美特电器（深圳）有限公司 一种手势家电控制器及控制系统和方法
US9639506B2 (en) * 2011-07-07 2017-05-02 Honeywell International Inc. Interface for home energy manager
US9349217B1 (en) * 2011-09-23 2016-05-24 Amazon Technologies, Inc. Integrated community of augmented reality environments
US8854433B1 (en) * 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
US9870056B1 (en) * 2012-10-08 2018-01-16 Amazon Technologies, Inc. Hand and hand pose detection
US20140173524A1 (en) * 2012-12-14 2014-06-19 Microsoft Corporation Target and press natural user input
EP2961185B1 (en) * 2013-02-20 2020-03-04 Panasonic Intellectual Property Corporation of America Control method for information apparatus and program
CN103345204B (zh) * 2013-05-10 2018-05-25 上海斐讯数据通信技术有限公司 一种家庭控制系统
US9836199B2 (en) * 2013-06-26 2017-12-05 Panasonic Intellectual Property Corporation Of America User interface device and display object operating method
JP5649696B1 (ja) * 2013-07-12 2015-01-07 三菱電機株式会社 エネルギーマネジメントシステム、端末装置、端末装置の制御方法、及び、プログラム
KR102229356B1 (ko) * 2013-09-05 2021-03-19 삼성전자주식회사 제어 장치
CN103472796B (zh) * 2013-09-11 2014-10-22 厦门狄耐克电子科技有限公司 一种基于手势识别的智能家居系统
JP6090140B2 (ja) * 2013-12-11 2017-03-08 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2015102469A1 (ko) * 2014-01-06 2015-07-09 삼성전자주식회사 제어 장치 및 그 제어 방법
CN103760976B (zh) * 2014-01-09 2016-10-05 华南理工大学 基于Kinect的手势识别智能家居控制方法及系统
CN104956276A (zh) * 2014-01-29 2015-09-30 松下电器（美国）知识产权公司 信息终端的控制方法和程序
CN104898581B (zh) * 2014-03-05 2018-08-24 青岛海尔机器人有限公司 一种全息智能中控系统
CN104639966A (zh) * 2015-01-29 2015-05-20 小米科技有限责任公司 遥控方法及装置
CN104699244B (zh) * 2015-02-26 2018-07-06 小米科技有限责任公司 智能设备的操控方法及装置
JP6002799B1 (ja) * 2015-03-19 2016-10-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報機器の制御方法、プログラム、および情報機器
US9747717B2 (en) * 2015-05-13 2017-08-29 Intel Corporation Iterative closest point technique based on a solution of inverse kinematics problem
US20160358382A1 (en) * 2015-06-04 2016-12-08 Vangogh Imaging, Inc. Augmented Reality Using 3D Depth Sensor and 3D Projection
CN105204351B (zh) * 2015-08-24 2018-07-13 珠海格力电器股份有限公司 空调机组的控制方法及装置
US20170063568A1 (en) * 2015-08-31 2017-03-02 Grand Mate Co., Ltd. Method For Controlling Multiple Electric Appliances
US20170193289A1 (en) * 2015-12-31 2017-07-06 Microsoft Technology Licensing, Llc Transform lightweight skeleton and using inverse kinematics to produce articulate skeleton
EP3398029B1 (en) * 2015-12-31 2021-07-07 Robert Bosch GmbH Intelligent smart room control system
DK179494B1 (en) * 2016-06-12 2019-01-11 Apple Inc. USER INTERFACE FOR MANAGING CONTROLLABLE EXTERNAL DEVICES
CN106292320B (zh) * 2016-08-23 2019-11-15 北京小米移动软件有限公司 控制被控设备运行的方法及装置
CN106125570A (zh) * 2016-08-30 2016-11-16 镇江惠通电子有限公司 智能家居设备控制系统
CN106603834A (zh) * 2016-12-05 2017-04-26 广东格兰仕集团有限公司 一种智能家电的控制方法
WO2018195280A1 (en) * 2017-04-21 2018-10-25 Walmart Apollo, Llc Virtual reality network management user interface

Also Published As

Publication number Publication date
US20190007229A1 (en) 2019-01-03
CN107315355A (zh) 2017-11-03

Similar Documents

Publication Publication Date Title
CN107315355B (zh) 一种电器控制设备及方法
CN107422859B (zh) 基于手势的调控方法、装置及计算机可读存储介质和空调
CN109074819B (zh) 基于操作-声音的多模式命令的优选控制方法及应用其的电子设备
EP2093650B1 (en) User interface system based on pointing device
US8866781B2 (en) Contactless gesture-based control method and apparatus
KR101533319B1 (ko) 카메라 중심의 가상터치를 이용한 원격 조작 장치 및 방법
US20070236381A1 (en) Appliance-operating device and appliance operating method
EP3130969A1 (en) Method and device for showing work state of a device
KR20160048062A (ko) 디지털 디바이스와 상호작용을 위한 다이렉트 포인팅 검출 시스템 및 방법
CN109308159B (zh) 智能设备控制方法、装置、系统、电子设备及存储介质
CN109240494A (zh) 电子显示板的控制方法、计算机可读存储介质和控制系统
CN108762489A (zh) 基于数据手套的控制方法、数据手套、系统及存储介质
CN106873783A (zh) 信息处理方法、电子设备及输入装置
CN103152467A (zh) 手持式电子装置及遥控方法
CN108874261A (zh) 遥控器、终端、操作界面的显示方法和存储介质
CN111973076A (zh) 房间属性识别方法、装置、扫地机器人和存储介质
CN113709302B (zh) 一种发光设备亮度调节方法、系统、电子设备及存储介质
CN107862852B (zh) 基于位置匹配的适配多种设备的智能遥控装置及控制方法
CN111028494B (zh) 一种电器设备的虚拟遥控方法、计算机可读存储介质及智能家电
CN111237985B (zh) 一种空调器的控制方法、激光投射控制系统和空调器
KR20160039589A (ko) 손가락 센싱 방식을 이용한 무선 공간 제어 장치
CN113569635A (zh) 一种手势识别方法及系统
CN106095303A (zh) 一种应用程序操作方法及装置
CN107590979A (zh) 一种遥控器的工作模式切换方法及装置
CN103809846A (zh) 一种功能调用方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant