CN116165908A - 一种智能家居系统手势控制方法 - Google Patents
一种智能家居系统手势控制方法 Download PDFInfo
- Publication number
- CN116165908A CN116165908A CN202310148550.7A CN202310148550A CN116165908A CN 116165908 A CN116165908 A CN 116165908A CN 202310148550 A CN202310148550 A CN 202310148550A CN 116165908 A CN116165908 A CN 116165908A
- Authority
- CN
- China
- Prior art keywords
- gesture
- control
- control module
- equipment
- authorized user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000008569 process Effects 0.000 claims abstract description 13
- 230000009471 action Effects 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 abstract description 5
- 238000011161 development Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B15/00—Systems controlled by a computer
- G05B15/02—Systems controlled by a computer electric
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/26—Pc applications
- G05B2219/2642—Domotique, domestic, home control, automation, smart house
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- User Interface Of Digital Computer (AREA)
- Selective Calling Equipment (AREA)
Abstract
本发明公开了一种智能家居系统手势控制方法，步骤包括S1控制模块与设置于安装在房间内侧顶面上的三维信息采集装置连接，并接收三维信息采集装置实时采集的深度图像与RGB图像，控制模块分别与各家居设备连接，S2用户作出获取控制权限手势，控制模块通过三维信息采集装置锁定该获权用户，S3获权用户作出设备选定手势，控制模块处理图像后选定指示的家居设备，S4获权用户作出设备控制手势，控制模块处理图像识别对应的控制指令，并将该控制指令传输到选定的家居设备上执行，三维信息采集装置设置在房间顶部扩大捕捉实时图像范围，经过处理后能够高效、可靠地获取实用的全局空间信息，有效地规避环境重叠遮挡问题。
Description
[技术领域]
本发明涉及一种智能家居系统手势控制方法。
[背景技术]
物联网时代中，智能家居已经成了家居市场发展的新方向，引领着家居市场消费的新趋势。然而智能家居设备的发展越发趋于复杂和冗余，产生了交互困难的问题，也因此丧失了实用性，不利于扩大用户面和提高复购率，将会阻碍智能家居市场健康发展。现有的智能家居手势识别控制系统存在如下缺点。
缺点一是家庭环境中的家具摆设无统一标准，常规的摄像头难以制定统一的安装标准，因而难以安装；同时往往会因为遮挡等问题在局部区域失效，导致交互盲区的产生和可交互范围的缩小，同时由于可识别范围小，导致智能家居设备难以定位，从而不能做到精确操控。
缺点二是常规视觉识别方法对于识别对象的光源条件和背景颜色有较为严格的要求，而在家庭环境中很难随时保证这两个要求被同时达成，从而产生识别难和误识别等问题。
缺点三是场中多人存在时，无法有效找出优先控制权目标。
因此，如何为多元化的智能家居设备提供高效、简单、可靠的交互方式，将是智能家居企业改良产品及其生态的重要问题。
[发明内容]
本发明克服了现有技术的不足，提供了一种智能家居系统手势控制方法。
为实现上述目的，本发明采用了下列技术方案：
一种智能家居系统手势控制方法，其步骤如下：
S1、控制模块与设置于安装在房间内侧顶面上的三维信息采集装置连接，并接收三维信息采集装置实时采集的深度图像与RGB图像，控制模块分别与各家居设备连接，控制模块预设有各家居设备方位信息、至少一个用于获取家居系统控制权的获取控制权限手势、至少一个用于选定家居设备的设备选定手势、多个用于控制设备执行不同控制指令的设备控制手势；
S2、用户作出获取控制权限手势，控制模块处理图像后得到实时控制权限手势，当实时控制权限手势与预设控制权限手势相同时，控制模块通过三维信息采集装置锁定该获权用户，否则重复步骤S2；
S3、获权用户作出设备选定手势，控制模块处理图像后得到指示方位信息，控制模块与该指示方位信息配对的家居设备通信连接；
S4、获权用户作出设备控制手势，控制模块处理图像后得到实时设备控制手势，实时设备控制手势与预设的设备控制手势配对得到对应控制指令，并将该控制指令传输到选定的家居设备上执行。
如上所述的一种智能家居系统手势控制方法，其特征在于：获取控制权限手势为用手在头顶上画出圆形的手势、用手在头顶上画出三角形的手势、用手在头顶上画出方形的手势、摆动头部作出画圆动作、摆动头部作出画三角形动作或摆动头部作出画方形动作。
如上所述的一种智能家居系统手势控制方法，其特征在于：设备选定手势为手臂指向手势。
如上所述的一种智能家居系统手势控制方法，其特征在于：设备控制手势包括有手臂从左至右的滑动手势、手臂从右至左的滑动手势、手臂从上至下的滑动手势、手臂从下至上的滑动手势。
如上所述的一种智能家居系统手势控制方法，其特征在于：步骤S1中控制模块根据三维信息采集装置拍摄图像范围建立直角坐标系，并在该直角坐标系中标定各家居设备方位信息。
如上所述的一种智能家居系统手势控制方法，其特征在于：步骤S2中获权用户移动时控制模块通过三维信息采集装置追踪该获权用户。
如上所述的一种智能家居系统手势控制方法，其特征在于：步骤S3中获权用户在第一设定时间内不作出设备选定手势，返回步骤S2。
如上所述的一种智能家居系统手势控制方法，其特征在于：步骤S4中获权用户在第二设定时间内不作出设备控制手势，返回步骤S2。
如上所述的一种智能家居系统手势控制方法，其特征在于：步骤S4中还包括有S41获权用户作出设备选定手势，返回步骤S3；S42获权用户作出设备控制手势，返回步骤S4。
如上所述的一种智能家居系统手势控制方法，其特征在于：三维信息采集装置为双目结构光相机、Kinect摄像头或TOF传感器。
本发明的有益效果是：
本发明的三维信息采集装置设置在房间顶部，可实现大范围深度图像采集并生成三维点云信息，可准确识别三维空间中用户在头顶作出的获取控制权限手势，可准确实时追踪获权用户以及准确识别并分别三维空间中用户控制手势，提高用户动作手势识别的准确性；三维信息采集装置设置在房间顶部可捕捉到更广的范围，以减少为达到目的所使用的相机个数，并有效地规避环境重叠遮挡问题；安装在顶部的三维信息采集装置能够大范围捕捉实时图像，经过处理后能够高效、可靠地获取实用的全局空间信息。
[附图说明]
图1为使用场景示意图。
[具体实施方式]
下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述。
需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后…)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。另外，在本发明中涉及“优选”、“次优选”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“优选”、“次优选”的特征可以明示或者隐含地包括至少一个该特征。
一种智能家居系统手势控制方法，三维信息采集装置安装在房间顶部，由特定手势获取控制智能家居系统控制权，并通过设备选定手势指向位置选定被控制的家居设备，以及通过设备控制手势向被选定的家居设备发送控制指令，其具体控制步骤如下：
S1、控制模块与设置于安装在房间内侧顶面上的三维信息采集装置连接，并接收三维信息采集装置实时采集的深度图像与RGB图像，控制模块分别与各家居设备连接，控制模块预设有各家居设备方位信息、至少一个用于获取家居系统控制权的获取控制权限手势、至少一个用于选定家居设备的设备选定手势、多个用于控制设备执行不同控制指令的设备控制手势；
具体地，控制模块根据三维信息采集装置拍摄图像范围建立直角坐标系；用户在手机等智能设备中安装对应的智能家居控制APP软件，即可通过智能设备在该直角坐标系中标定各家居设备方位信息，使各家居设备在房间中的方位信息与其在该直角坐标系中的方位信息对应。
同时，用户还可通过智能设备输入各家居设备的品牌信息和产品参数，使控制模块与各家居设备的通信协议配对实现交互通信连接。
S2、用户作出获取控制权限手势，控制模块处理图像后得到实时控制权限手势，当实时控制权限手势与预设控制权限手势相同时，控制模块通过三维信息采集装置锁定该获权用户，当获权用户移动时控制模块通过三维信息采集装置追踪该获权用户，否则重复步骤S2；
当锁定并追踪获权用户时间段内，其他没有获取控制权的人，即使作出获取控制权限手势也不被识别夺权，且作出设备选定手势或设备控制手势也不被识别，不能参与控制。
S3、获权用户作出设备选定手势，控制模块处理图像后得到指示方位信息，控制模块与该指示方位信息配对的家居设备通信连接，但当获权用户在第一设定时间内不作出设备选定手势时，返回步骤S2；
具体地，用户可通过智能设备设定第一设定时间的时长。
S4、获权用户作出设备控制手势，控制模块处理图像后得到实时设备控制手势，实时设备控制手势与预设的设备控制手势配对得到对应控制指令，并将该控制指令传输到选定的家居设备上执行；
步骤S41、获权用户作出设备选定手势，返回步骤S3；
步骤S42、获权用户作出设备控制手势，返回步骤S4；
但当获权用户在第二设定时间内不作出设备控制手势时，返回步骤S2。
具体地，用户可通过智能设备设定第二设定时间的时长。
其中，三维信息采集装置为双目结构光相机、Kinect摄像头或TOF传感器。同时智能设备APP中预设有多种获取控制权限手势、设备选定手势以及设备控制手势，且获取控制权限手势、设备选定手势以及设备控制手势一般为手臂动作手势；本案中控制模块主要通过三维信息采集装置对用户手臂动作手势进行识别判断。
具体地，获取控制权限手势为用手在头顶上画出圆形的手势、用手在头顶上画出三角形的手势、用手在头顶上画出方形的手势、摆动头部作出画圆动作、摆动头部作出画三角形动作或摆动头部作出画方形动作，用户可通过智能设备设定其中一种获取控制权限手势。
具体地，设备选定手势为手臂指向手势。
具体地，设备控制手势包括有手臂从左至右的滑动手势、手臂从右至左的滑动手势、手臂从上至下的滑动手势、手臂从下至上的滑动手势，同时各设备控制手势与一个设备控制指令配对，用户可通过智能设备设定设备控制手势与设备控制指令之间的配对。
下面以实施例作具体说明，优选选用Kinect摄像头作为三维信息采集装置。在实际使用中，先将Kinect摄像头1安装于房间顶部，用户通过智能设备登录智能家居控制APP，此时可通过智能设备在Kinect摄像头1对房间建立的直角坐标系中分别设定电视、风扇、空调、照明灯等各家居设备的方位信息，并将输入各家居设备的品牌信息和产品参数，使控制模块与各家居设备的通信协议配对实现交互通信连接。
同时，用户通过智能设备在智能家居控制APP中选定获取控制权限手势、设备选定手势以及将设备控制手势与各设备控制指令分别配对，下面以电视机2和壁灯3为例子。优选地，获取控制权限手势设定为用手在头顶上画出圆形的手势；设备选定手势设定为手臂指向手势；电视机设备控制手势中设定手臂从左至右的滑动手势配对跳转下一频道控制指令、手臂从右至左的滑动手势配对跳转上一频道控制指令、手臂从上至下的滑动手势配对降低音量控制指令、手臂从下至上的滑动手势配对提高音量控制指令等；壁灯设备控制手势中设定手臂从左至右的滑动手势配对打开壁灯控制指令、手臂从右至左的滑动手势配对关闭壁灯控制指令、手臂从上至下的滑动手势配对降低壁灯亮度控制指令、手臂从下至上的滑动手势配对提高壁灯亮度控制指令等；设定第一设定时间为一分钟；设定第二设定时间为一分钟。
如图1所示，实际应用中，当用户需要切换电视频道、电视电音量以及打开壁灯时，用户通过手臂作出用手在头顶上画出圆形的手势，即向Kinect摄像头1作出获取控制权限手势，Kinect摄像头1实时采集深度图像与RGB图像并发送到控制模块上，控制模块处理图像后得到实时控制权限手势，且当实时控制权限手势与预设控制权限手势相同时，该用户获取智能家居控制系统的控制权成为获权用户，此时控制模块通过Kinect摄像头1锁定并追踪获权用户的手臂动作手势，用户利用手臂作出指向电视机手势，即作出选定电视机的设备选定手势，控制模块处理图像后得到指示方位信息，从而选定与该指示方位信息相同的电视机2并与电视机2实现家居设备通信连接，用户利用手臂作出其中一个上述电视机设备控制手势，控制模块处理图像后得到与该电视机设备控制手势配对的电视机设备控制指令，并传输到电视机上执行，实现电视机2频道切换以及调节音量的功能；在完成电视机2调节后，用户利用手臂作出指向壁灯手势，即作出选定壁灯的设备选定手势，控制模块处理图像后得到指示方位信息，从而选定与该指示方位信息相同的壁灯3并与壁灯3实现家居设备通信连接，用户利用手臂作出其中一个上述壁灯设备控制手势，控制模块处理图像后得到与该壁灯设备控制手势配对的壁灯设备控制指令，并传输到壁灯3上执行，实现壁灯3开关以及调节亮度的功能。其中用户在作出设备控制手势后一分钟内不作出设备选定手势或其他设备控制手势，控制模块取消对获取用户的锁定和追踪进行休眠，等待下一个作出获取控制权限手势的用户。
本案中，上述流程中标注的获取控制权限手势、设备选定手势以及设备控制手势的具体动作均可依照用户的具体要求修改为其他动作。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。
Claims (10)
1.一种智能家居系统手势控制方法，其步骤如下：
S1、控制模块与设置于安装在房间内侧顶面上的三维信息采集装置连接，并接收三维信息采集装置实时采集的深度图像与RGB图像，控制模块分别与各家居设备连接，控制模块预设有各家居设备方位信息、至少一个用于获取家居系统控制权的获取控制权限手势、至少一个用于选定家居设备的设备选定手势、多个用于控制设备执行不同控制指令的设备控制手势；
S2、用户作出获取控制权限手势，控制模块处理图像后得到实时控制权限手势，当实时控制权限手势与预设控制权限手势相同时，控制模块通过三维信息采集装置锁定该获权用户，否则重复步骤S2；
S3、获权用户作出设备选定手势，控制模块处理图像后得到指示方位信息，控制模块与该指示方位信息配对的家居设备通信连接；
S4、获权用户作出设备控制手势，控制模块处理图像后得到实时设备控制手势，实时设备控制手势与预设的设备控制手势配对得到对应控制指令，并将该控制指令传输到选定的家居设备上执行。
2.根据权利要求1所述的一种智能家居系统手势控制方法，其特征在于：获取控制权限手势为用手在头顶上画出圆形的手势、用手在头顶上画出三角形的手势、用手在头顶上画出方形的手势、摆动头部作出画圆动作、摆动头部作出画三角形动作或摆动头部作出画方形动作。
3.根据权利要求1所述的一种智能家居系统手势控制方法，其特征在于：设备选定手势为手臂指向手势。
4.根据权利要求1所述的一种智能家居系统手势控制方法，其特征在于：设备控制手势包括有手臂从左至右的滑动手势、手臂从右至左的滑动手势、手臂从上至下的滑动手势、手臂从下至上的滑动手势。
5.根据权利要求1所述的一种智能家居系统手势控制方法，其特征在于：步骤S1中控制模块根据三维信息采集装置拍摄图像范围建立直角坐标系，并在该直角坐标系中标定各家居设备方位信息。
6.根据权利要求1所述的一种智能家居系统手势控制方法，其特征在于：步骤S2中获权用户移动时控制模块通过三维信息采集装置追踪该获权用户。
7.根据权利要求1所述的一种智能家居系统手势控制方法，其特征在于：步骤S3中获权用户在第一设定时间内不作出设备选定手势，返回步骤S2。
8.根据权利要求1所述的一种智能家居系统手势控制方法，其特征在于：步骤S4中获权用户在第二设定时间内不作出设备控制手势，返回步骤S2。
9.根据权利要求1或8所述的一种智能家居系统手势控制方法，其特征在于：步骤S4中还包括有S41获权用户作出设备选定手势，返回步骤S3；S42获权用户作出设备控制手势，返回步骤S4。
10.根据权利要求1所述的一种智能家居系统手势控制方法，其特征在于：三维信息采集装置为双目结构光相机、Kinect摄像头或TOF传感器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310148550.7A CN116165908A (zh) | 2023-02-22 | 2023-02-22 | 一种智能家居系统手势控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310148550.7A CN116165908A (zh) | 2023-02-22 | 2023-02-22 | 一种智能家居系统手势控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116165908A true CN116165908A (zh) | 2023-05-26 |
Family
ID=86419661
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310148550.7A Pending CN116165908A (zh) | 2023-02-22 | 2023-02-22 | 一种智能家居系统手势控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116165908A (zh) |
-
2023
- 2023-02-22 CN CN202310148550.7A patent/CN116165908A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE112015002463T5 (de) | Systeme und Verfahren zum gestischen Interagieren in einer im Umfeld vorhandenen Computerumgebung | |
| US20130120238A1 (en) | Light control method and lighting device using the same | |
| US20190302714A1 (en) | Systems and methods to operate controllable devices with gestures and/or noises | |
| KR102507254B1 (ko) | 실시간 실내 영상을 이용한 홈 오토메이션 시스템 | |
| JP2008542900A (ja) | 装置の制御のための方法 | |
| CN106462238A (zh) | 对智能环境的表示的基于增强现实的管理 | |
| KR100918094B1 (ko) | 이동식 영상 카메라를 구비한 제스처 인식 시스템 | |
| CN101615032A (zh) | 一种自动调节电视机角度的装置 | |
| WO2014121521A1 (en) | A method, system and processor for instantly recognizing and positioning an object | |
| CN110489027A (zh) | 手持输入设备及其指示图标的显示位置控制方法和装置 | |
| CN105807989A (zh) | 一种手势触控方法和系统 | |
| CN109839827B (zh) | 一种基于全空间位置信息的手势识别智能家居控制系统 | |
| TW201426401A (zh) | 體感家居用電產品控制設備及其系統 | |
| CN103019374A (zh) | 一种基于对象跟踪的远程控制系统 | |
| CN103294197A (zh) | 基于手势操作实现终端遥控的方法、终端 | |
| US20120002044A1 (en) | Method and System for Implementing a Three-Dimension Positioning | |
| KR20120136719A (ko) | 손과 눈의 3차원 위치정보를 이용한 원거리 스크린 상의 물체지목 및 제어방법 | |
| CN116165908A (zh) | 一种智能家居系统手势控制方法 | |
| CN109711282A (zh) | 光线调节方法及装置 | |
| US11376736B2 (en) | Activity area restriction method, robot control apparatus, and notifier | |
| CN107538485B (zh) | 一种机器人导引方法及系统 | |
| KR20060042704A (ko) | 이미지 센서를 이용한 원격 포인팅 장치 및 방법 | |
| WO2018083737A1 (ja) | 表示装置及び遠隔操作制御装置 | |
| CN110489026A (zh) | 一种手持输入设备及其指示图标的消隐控制方法和装置 | |
| GB2581248A (en) | Augmented reality tools for lighting design |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |