CN109542233B - 一种基于动态手势和人脸识别的灯具控制系统 - Google Patents

一种基于动态手势和人脸识别的灯具控制系统 Download PDF

Info

Publication number
CN109542233B
CN109542233B CN201811453733.5A CN201811453733A CN109542233B CN 109542233 B CN109542233 B CN 109542233B CN 201811453733 A CN201811453733 A CN 201811453733A CN 109542233 B CN109542233 B CN 109542233B
Authority
CN
China
Prior art keywords
gesture
face
module
lamp
control module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811453733.5A
Other languages
English (en)
Other versions
CN109542233A (zh
Inventor
杨蕊
蒋大宇
杜国铭
李美娟
赵雪洁
窦振龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Tuobo Technology Co ltd
Original Assignee
Harbin Tuobo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Tuobo Technology Co ltd filed Critical Harbin Tuobo Technology Co ltd
Priority to CN201811453733.5A priority Critical patent/CN109542233B/zh
Publication of CN109542233A publication Critical patent/CN109542233A/zh
Application granted granted Critical
Publication of CN109542233B publication Critical patent/CN109542233B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于动态手势和人脸识别的灯具控制系统，包括主控模块、视频采集模块、处理分析模块、数据传输模块和灯具控制模块；本发明利用手势识别和人脸识别，原有的智能家居识别，不包含主人识别，会存在谁都可以操作的干扰，本发明包含了人脸的检测与识别，并在此基础上进行人脸的情感分析，使家居更加智能，操作更加方便人性化。

Description

一种基于动态手势和人脸识别的灯具控制系统
技术领域
本发明属于智能家居控制技术领域，特别是涉及一种基于动态手势和人脸识别的灯具控制系统。
背景技术
随着国家经济的发展，人民生活水平的提高，生活智能化、个性化、便捷化越来越受到关注，其中智能家居逐渐走入了人民的生活，智能家居拥有智能、便捷、个性、安全等优势，无论从时间上还是空间上已经改变了人们的生活质量。
灯具作为智能家居中必不可少的部分，已经历经了几代的更迭：
第一种传统墙面开关，主要目的为实现灯具的开通和关断，随着技术的发展，也有利用墙面开关进行灯具亮度调节，如分段开关方式或者通过按压开关方式，墙面开关需要在房子装修时挖好线槽和进行电线连接，通常在一个房间里固定几个位置放置墙面开关，重新更改位置非常不方便，而且需要使用者走到墙面开关面前进行按压操作才能进行对灯具的操控，且其控制简单，通常仅为开关、调节亮度等基本功能，无法满足更进一步的需求。
第二种利用有线技术的面板设备，这些有线技术可以是DALI、0-10V、PWM方式，通过铺设额外的控制线路进行灯具控制，实现灯具开关、亮度甚至是颜色、色温的调节，但是这种方式需要重新整改线路，费用较大，而且这种面板设备的位置同样固定，无法实现在房间任何位置对灯具进行调节。
第三种红外遥控器的控制方法，首先使用了无线技术对灯具进行控制，但红外遥控有一定的角度要求，同时灯具和红外遥控器间必须达到无障碍物的情况才可控制成功，对于使用者而言，控制的额外条件过多。此外，红外遥控器本身并不便于随身携带，且容易丢失，对不同房间的灯具如果需要控制，通常需要使用不同的遥控器来操作。
于是，便新兴出利用无线技术的智能终端作为控制灯具的设备，通过采用智能终端安装的应用程序，可以方便实现灯具调光调色，甚至可以根据音乐进行灯具变色等功能，甚至还具有对多个灯具进行分组编辑的功能。但是，功能的繁多也使得智能终端对灯具的操作需要经历解锁、打开应用程序、跳到主页面甚至需要进入多级菜单目录才能进行，控制起来愈发繁琐。
传统灯具开关通常安装在墙壁、桌面、灯体外壳等固定位置，通过机械方式进行控制，因此往往需要使用者离开原本位置靠近开关手动操作。而当室内空间较大时，这种控制方式或要求使用者移动距离较远，带来不便；或需要安装多组开关，当有多个使用者时可能造成操作冲突。另一方面，目前市面的手势控制设备中，电磁感应方案与传统开关类似，需要使用者靠近开关进行操作；穿戴式控制方案依赖于手环、手套等设备，为使用者额外增加负担；普通的2D摄像头在灯具的实际使用环境中，在低照度的时候并不能有效的采集人体数据。
发明内容
本发明目的是为了解决现有技术中的问题，提供了一种基于动态手势和人脸识别的灯具控制系统。
本发明是通过以下技术方案实现的，本发明提出一种基于动态手势和人脸识别的灯具控制系统，包括主控模块、视频采集模块、处理分析模块、数据传输模块和灯具控制模块；
所述主控模块用于调用视频采集模块和处理分析模块，以及控制各模块之间控制信号的发送和接收；
所述视频采集模块用于采集用户的视频数据；
所述处理分析模块用于接收视频采集模块采集的视频数据，对视频数据中用户的手部进行检测，检测手部状态和运动轨迹，当检测到处理信号时，对之前手部的运动轨迹进行分析处理，当用户的手势运动轨迹与设定的模板轨迹重合时，给出手势信号，并且同时进行人脸的检测、人脸的识别和人脸表情的识别工作，然后根据手势和人脸的状态进行综合的判断给出灯具的控制信号，所述灯具的控制信号由所述主控模块通过数据传输模块传送到灯具控制模块；
所述灯具控制模块用于接收灯具的控制信号从而控制灯具的状态变化，并将灯具的变化状态回传给主控模块。
进一步地，所述主控模块用于调用视频采集模块和处理分析模块，以及控制各模块之间控制信号的发送和接收，具体为：
步骤a：调用视频采集模块捕获用户的视频数据；
步骤b：调用处理分析模块处理视频数据；
步骤c：重复步骤a～步骤b直至处理分析模块返回手势和人脸的状态判断结果；
步骤d：根据手势和人脸的状态判断结果调用灯具控制模块；
步骤e：灯具控制模块根据主控模块发送的控制信号变换灯具，并将灯具状态回传；
步骤f：主控模块接收灯具控制模块的回传信号。
进一步地，所述处理分析模块具备基于视频数据的人手检测、人手运动轨迹识别、人脸的检测、人脸的识别和人脸表情识别功能；具体流程为：
步骤1：接收主控模块控制指令及视频采集模块采集的视频数据；
步骤2：进行人手检测；
步骤3：检测手部状态，直到发现轨迹开始手势；
步骤4：对检测到的人手进行跟踪，记录运动轨迹，同时通过RGB图像进行人脸的检测，保存有效的人脸区域；
步骤5：发现轨迹结束手势；
步骤6：对运动轨迹进行识别，当运动轨迹与预设模板轨迹相匹配时，并且根据人脸检测结果，对人脸提取特征，将特征值输入到设计的人脸模型中，给出人脸识别结果，所述人脸识别结果包括人脸识别和表情识别，经过综合的决策向主控模块返回相应信号，并结束处理分析；当运动轨迹与预设模板轨迹不符时，返回步骤3继续跟踪；如果识别出有效手势，但是人脸信息并没有有效结果，那么人脸按照默认参数设定。
进一步地，在人手检测过程中选取连续的多帧作为备选，然后利用多帧中数据的中值来作为代表点，能有效的减少数据的抖动。
进一步地，所述手势的识别具体为：
第一步：手势归一化
(1)接收到开始指令时开始记录轨迹点，经过运动手势深度信息的判断，去掉深度方向信息量，然后将运动的点记录到轨迹中，直到发现停止的手势；
(2)根据轨迹数组里每个点的二维坐标(X、Y)最大值与最小值求出上下左右的边缘，求出该手势路径点最小外接矩形；
(3)手势坐标归一化：以手势中心点为原点，将手势里顶点归一化到-1<＝x<＝1,-1<＝y<＝1空间中；
(4)手势选择归一化：以求得的手势中心为原点，将起始点旋转到规定的方向；
(5)数组长度归一化：将手势路径按照长度均匀划分成N段，对手势数据进行等距重采样；
第二步：手势相似度
规定轨迹的点乘为：
Figure BDA0001887233790000031
手势相似：
Figure BDA0001887233790000041
由此根据两个手势的相似度计算出一个匹配分数，用户输入了一个手势T，用该手势的路径和手势样本库的所有样本T1...Tn计算相似度，然后求出相似度最大的那个样本Tm，并且该匹配分数大于设定阀值，即可以判断用户输入的手势为Tm手势。
进一步地，所述人脸检测过程采用多尺度滑窗搜索方式，每个尺度通过设定的步长截取大小为20x20的窗口，然后将窗口放到级联分类器中进行是不是人脸的判决，如果是人脸则该窗口通过所有级联分类器；反之，会在某一级分类器被排除。
进一步地，所述人脸的识别采用一对一的投票策略。
进一步地，所述人脸表情的识别具体为：
(1)训练模块
①人做出特定的表情后提取DLIB特征点并归一化；
②每张图片存储136维数据进行储存特定编号的文本；
③利用SVM分类器进行分类、训练成XML；
(2)测试模块
读入训练好的XML，然后读入视频图片进行分类，显示结果，将分类错误的图片进行保存，完成后再将所有没有识别的图像再次放入所述训练模块中，直到达到想要的识别准确率。
进一步地，所述灯具的状态包括灯具开关、灯光明暗及灯光颜色。
进一步地，所述视频采集模块采用深度摄像机Kinect。
本发明的有益效果：本发明采用深度摄像机Kinect，作为采集设备，主控采用传统电脑，主控通过USB3.0接口与Kinect相连，通过调用Kinect进行用户的动态手势和人脸信息，并对捕获的RBG-D图像进行分析与识别，进而通过设计的无线方案发出控制信号，控制灯具的开启、变色、效果和关闭。同时主控单元具有良好的扩展性，可以根据用户家庭的实际需求自行搭配手势和灯具的对应关系。本系统利用手势识别和人脸识别，原有的智能家居识别，不包含主人识别，会存在谁都可以操作的干扰，本系统包含了人脸的检测与识别，并在此基础上进行人脸的情感分析，使家居更加智能，操作更加方便人性化。
附图说明
图1是本发明所述一种基于动态手势和人脸识别的灯具控制系统结构图；
图2为人脸检测步骤流程图。
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明提出一种基于动态手势和人脸识别的灯具控制系统，包括主控模块、视频采集模块、处理分析模块、数据传输模块和灯具控制模块；
所述主控模块用于调用视频采集模块和处理分析模块，以及控制各模块之间控制信号的发送和接收；
所述视频采集模块用于采集用户的视频数据；
所述处理分析模块用于接收视频采集模块采集的视频数据，对视频数据中用户的手部进行检测，检测手部状态和运动轨迹，当检测到处理信号时，对之前手部的运动轨迹进行分析处理，当用户的手势运动轨迹与设定的模板轨迹重合时，给出手势信号，并且同时进行人脸的检测、人脸的识别和人脸表情的识别工作，然后根据手势和人脸的状态进行综合的判断给出灯具的控制信号，所述灯具的控制信号由所述主控模块通过数据传输模块传送到灯具控制模块；
所述灯具控制模块用于接收灯具的控制信号从而控制灯具的状态变化，并将灯具的变化状态回传给主控模块，所述灯具的状态包括灯具开关、灯光明暗及灯光颜色。例如，对于灯变色如果主人表情高兴，则变色成高亮度，如果主人愤怒，则变成暖黄色。
所述主控模块用于调用视频采集模块和处理分析模块，以及控制各模块之间控制信号的发送和接收，具体为：
步骤a：调用视频采集模块捕获用户的视频数据；
步骤b：调用处理分析模块处理视频数据；
步骤c：重复步骤a～步骤b直至处理分析模块返回手势和人脸的状态判断结果；
步骤d：根据手势和人脸的状态判断结果调用灯具控制模块；
步骤e：灯具控制模块根据主控模块发送的控制信号变换灯具，并将灯具状态回传；
步骤f：主控模块接收灯具控制模块的回传信号。
本系统中视频采集模块采用微软的第二代Kinect，与第一代Kinect相比，深度的获取采用TOF的方式，减少了可见光的干扰，并且在夜间的深度获取效果更好。并且Kinect相比于其他的采集设备的优点是，他通过内部的算法已经将侦测的3D深度数据转化到骨骼追踪系统，可以让开发者将设计重点放在手势的识别和人脸的识别上，而不是数据的采集上。
所述处理分析模块具备基于视频数据的人手检测、人手运动轨迹识别、人脸的检测、人脸的识别和人脸表情识别功能；具体流程为：
步骤1：接收主控模块控制指令及视频采集模块采集的视频数据；
步骤2：进行人手检测；
步骤3：检测手部状态，直到发现轨迹开始手势；
步骤4：对检测到的人手进行跟踪，记录运动轨迹，同时通过RGB图像进行人脸的检测，保存有效的人脸区域；
步骤5：发现轨迹结束手势；
步骤6：对运动轨迹进行识别，当运动轨迹与预设模板轨迹相匹配时，并且根据人脸检测结果，对人脸提取特征，将特征值输入到设计的人脸模型中，给出人脸识别结果，所述人脸识别结果包括人脸识别和表情识别，经过综合的决策向主控模块返回相应信号，并结束处理分析；当运动轨迹与预设模板轨迹不符时，返回步骤3继续跟踪；如果识别出有效手势，但是人脸信息并没有有效结果，那么人脸按照默认参数设定。
人手检测
在人手检测过程中选取连续的多帧作为备选，然后利用多帧中数据的中值来作为代表点，能有效的减少数据的抖动。
对于手势识别来说，手的检测是第一步，也是最重要的一步，他是后续所有控制的输入端，本发明选择Kinect作为视频采集设备就是因为他可以充分的利用深度图像来识别出位于Kinect前方1.0-4.5米的用户骨骼信息。Kinect可以计算出每个用户的25个关节信息，并且关节信息中包含关节点的三维坐标信息，特别的对于手的状态可以给出握拳和手掌，基于此可以充分利用这些信息进行手势的识别工作。
为了减少系统的误识别率，系统中设定的手势都是要求有手抬起的动作，具体到数据模型上来说就是要求手的高度要超过手肘的高度，此时的手才开始进行识别。并且由于Kinect在采集数据是会出现数据抖动的问题，于是本发明设计了一种防抖机制，选取连续的5帧作为备选，然后利用5帧中数据的中值来作为代表点，此方法能快速有效的减少数据的抖动。
手势识别
本系统采用动态手势和人脸表情控制灯光，即通过手部运动轨迹触发控制指令。算法通过降维的方法，将三维手的运动轨迹转化成平面运动，然后引入手写识别，将空间问题简单化。然后将手部跟踪得到的轨迹与预设模板匹配识别用户指令，轨迹形状与指令一一对应，从而可由主控分别向连接的不同设备发送指令或向同一设备发送多重指令控制其不同功能。具体工作流程分为以下两步：
第一步：手势归一化
(1)接收到开始指令时开始记录轨迹点，经过运动手势深度信息的判断，去掉深度方向信息量，然后将运动的点记录到轨迹中，直到发现停止的手势；
(2)根据轨迹数组里每个点的二维坐标(X、Y)最大值与最小值求出上下左右的边缘，求出该手势路径点最小外接矩形；
(3)手势坐标归一化：以手势中心点为原点，将手势里顶点归一化到-1<＝x<＝1,-1<＝y<＝1空间中；
(4)手势选择归一化：以求得的手势中心为原点，将起始点旋转到规定的方向；算法中设定为向量(-1,0)为初始角度；
(5)数组长度归一化：将手势路径按照长度均匀划分成N段，对手势数据进行等距重采样；
第二步：手势相似度
规定轨迹的点乘为：
Figure BDA0001887233790000071
手势相似：
Figure BDA0001887233790000072
由此根据两个手势的相似度计算出一个匹配分数，用户输入了一个手势T，用该手势的路径和手势样本库的所有样本T1...Tn计算相似度，然后求出相似度最大的那个样本Tm，并且该匹配分数大于设定阀值，即可以判断用户输入的手势为Tm手势。
手势的设定可以采用以下方式：
Figure BDA0001887233790000073
Figure BDA0001887233790000081
人脸检测
本发明中的人脸检测利用改进的MB-LBP+AdaBoost方法，所述人脸检测过程采用多尺度滑窗搜索方式，每个尺度通过设定的步长截取大小为20x20的窗口，然后将窗口放到级联分类器中进行是不是人脸的判决，如果是人脸则该窗口通过所有级联分类器；反之，会在某一级分类器被排除。
MB-LBP的计算以某特征对应的矩形为中心，在其周围以与该矩形同样尺寸找到其8邻域矩形区域；通过计算8邻域矩形的各自灰度平均值并与中间的矩形的灰度平均值进行比较，用8位二进制纪录比较结果，大于等于则置1，小于则置0，以此可以得到一个字节的编码数，其对应的0～255的数值即为MB-LBP特征值。其中矩形块的平均值可以用和值替换，求和是用积分图来加速计算的。
结合图2，人脸检测步骤如下：
1.多尺度搜索是对图像按一定的ScaleFactor进行缩小，每缩小一次，在缩小后的图像上进行大小为20x20的人脸检测；
2.单尺度搜索是在缩小到某一尺度的图像中，在x,y两个维度上通过一定步长(如2pixel)进行20x20的窗口扫描，将截取的窗口送到分类器中进行特征提取和判决；
分类器详解如下：特征经决策树(只有树桩)二值化之后，得到对应的权值；将该级所有特征对应的权值相加再和该级的阈值进行比较得到该级的判别结果，即如果大于该级阈值则认为需要进一步确定是否为人脸(Yes)进入下一级，反之，认为非人脸(No)跳出判断。到最后一级如果输出Yes则认为该窗口为人脸，返回该人脸窗口。
人脸识别
人脸识别中采用MB-LBP+SVM方法来进行。具体如下，首先，仍然以MB-LBP获得人脸的特征，然后将这些特征作为SVM分类器的特征表示，实现人脸识别。支持向量机将低维度空间中的点映射到高维度中，使它们变成线性可分的，再使用线性划分的原理来判断分类边界。
人脸识别是多分类问题，用支持向量解决多类问题有3种常见的方法，一对多的最大响应策略，一对一的投票策略及一对一的淘汰策略。本发明中使用的是一对一的投票策略，即对于n类问题，构造n(n-1)/2个SVM二分器，在测试的时候，把测试样本x依次送入这n(n-1)/2个二分类器，采取投票形式，最大值(票数最多)所对应的类别即是x所属类别。在训练和识别阶段，分类器SVM中用到两个参数C和gamma，其中C代表错误代价系数，gamma代表径向基函数的参数。为了得到最优参数，本发明通过libSVM系统基于网络搜索的交叉验证方法确定。
人脸表情识别
所述人脸表情的识别具体为：
(1)训练模块
④人做出特定的表情后提取DLIB特征点并归一化；
⑤每张图片存储136维数据进行储存特定编号的文本，方便调用；
⑥利用SVM分类器进行分类、训练成XML；
(2)测试模块
读入训练好的XML，然后读入视频图片进行分类，显示结果，将分类错误的图片进行保存，完成后再将所有没有识别的图像再次放入所述训练模块中，直到达到想要的识别准确率。
所述数据传输模块作为其他各模块的通信中介，可通过板载电路、数据线或无线方式传输数据。其中，无线传输采用2.4GHz通信协议，并可将主控模块与多组灯光控制模块相连，从而使主控可以控制多组灯具。
视觉中控与下位机的通信报文如下：
Figure BDA0001887233790000101
1)通信协议以0xaa为起始，以0x55为结束
2)长度位len为去掉帧头帧尾后剩余数据的长度
3)数据为data为len-4(长度位，地址位*2，命令位)
Addr：为本设备地址需要人为规定，其中0x00为中控平台地址，0xff为广播地址。
以上对本发明所提供的一种基于动态手势和人脸识别的灯具控制系统，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种基于动态手势和人脸识别的灯具控制系统，其特征在于：包括主控模块、视频采集模块、处理分析模块、数据传输模块和灯具控制模块；
所述主控模块用于调用视频采集模块和处理分析模块，以及控制各模块之间控制信号的发送和接收；
所述视频采集模块用于采集用户的视频数据；
所述处理分析模块用于接收视频采集模块采集的视频数据，对视频数据中用户的手部进行检测，检测手部状态和运动轨迹，当检测到处理信号时，对之前手部的运动轨迹进行分析处理，当用户的手势运动轨迹与设定的模板轨迹重合时，给出手势信号，并且同时进行人脸的检测、人脸的识别和人脸表情的识别工作，然后根据手势和人脸的状态进行综合的判断给出灯具的控制信号，所述灯具的控制信号由所述主控模块通过数据传输模块传送到灯具控制模块；
所述灯具控制模块用于接收灯具的控制信号从而控制灯具的状态变化，并将灯具的变化状态回传给主控模块；
所述处理分析模块具备基于视频数据的人手检测、人手运动轨迹识别、人脸的检测、人脸的识别和人脸表情识别功能；具体流程为：
步骤1：接收主控模块控制指令及视频采集模块采集的视频数据；
步骤2：进行人手检测；
步骤3：检测手部状态，直到发现轨迹开始手势；
步骤4：对检测到的人手进行跟踪，记录运动轨迹，同时通过RGB图像进行人脸的检测，保存有效的人脸区域；
步骤5：发现轨迹结束手势；
步骤6：对运动轨迹进行识别，当运动轨迹与预设模板轨迹相匹配时，并且根据人脸检测结果，对人脸提取特征，将特征值输入到设计的人脸模型中，给出人脸识别结果，所述人脸识别结果包括人脸识别和表情识别，经过综合的决策向主控模块返回相应信号，并结束处理分析；当运动轨迹与预设模板轨迹不符时，返回步骤3继续跟踪；如果识别出有效手势，但是人脸信息并没有有效结果，那么人脸按照默认参数设定；
所述人脸表情的识别具体为：
(1)训练模块
①人做出特定的表情后提取DLIB特征点并归一化；
②每张图片存储136维数据进行储存特定编号的文本；
③利用SVM分类器进行分类、训练并保存到xml中；
(2)测试模块
读入训练好的XML，然后读入视频图片进行分类，显示结果，将分类错误的图片进行保存，完成后再将所有没有识别的图像再次放入所述训练模块中，直到达到想要的识别准确率；
所述手势的识别具体为：
第一步：手势归一化
(1)接收到开始指令时开始记录轨迹点，经过运动手势深度信息的判断，去掉深度方向信息量，然后将运动的点记录到轨迹中，直到发现停止的手势；
(2)根据轨迹数组里每个点的二维坐标(X、Y)最大值与最小值求出上下左右的边缘，求出手势路径点最小外接矩形；
(3)手势坐标归一化：以手势中心点为原点，将手势里顶点归一化到-1<＝x<＝1,-1<＝y<＝1空间中；
(4)手势选择归一化：以求得的手势中心为原点，将起始点旋转到规定的方向；
(5)数组长度归一化：将手势路径按照长度均匀划分成N段，对手势数据进行等距重采样；
第二步：手势相似度
规定轨迹的点乘为：
Figure FDA0002353660310000021
手势相似：
Figure FDA0002353660310000022
由此根据两个手势的相似度计算出一个匹配分数，用户输入了一个手势T，用该手势的路径和手势样本库的所有样本T1...Tn计算相似度，然后求出相似度最大的那个样本Tm，并且该匹配分数大于设定阀值，即可以判断用户输入的手势为Tm手势。
2.根据权利要求1所述的系统，其特征在于：所述主控模块用于调用视频采集模块和处理分析模块，以及控制各模块之间控制信号的发送和接收，具体为：
步骤a：调用视频采集模块捕获用户的视频数据；
步骤b：调用处理分析模块处理视频数据；
步骤c：重复步骤a～步骤b直至处理分析模块返回手势和人脸的状态判断结果；
步骤d：根据手势和人脸的状态判断结果调用灯具控制模块；
步骤e：灯具控制模块根据主控模块发送的控制信号变换灯具，并将灯具状态回传；
步骤f：主控模块接收灯具控制模块的回传信号。
3.根据权利要求2所述的系统，其特征在于：在人手检测过程中选取连续的多帧作为备选，然后利用多帧中数据的中值来作为代表点，能有效的减少数据的抖动。
4.根据权利要求1所述的系统，其特征在于：所述人脸检测过程采用多尺度滑窗搜索方式，每个尺度通过设定的步长截取大小为20x20的窗口，然后将窗口放到级联分类器中进行是不是人脸的判决，如果是人脸则该窗口通过所有级联分类器；反之，会在某一级分类器被排除。
5.根据权利要求4所述的系统，其特征在于：所述人脸的识别采用一对一的投票策略。
6.根据权利要求1所述的系统，其特征在于：所述灯具的状态包括灯具开关、灯光明暗及灯光颜色。
7.根据权利要求1所述的系统，其特征在于：所述视频采集模块采用深度摄像机Kinect。
CN201811453733.5A 2018-11-30 2018-11-30 一种基于动态手势和人脸识别的灯具控制系统 Active CN109542233B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811453733.5A CN109542233B (zh) 2018-11-30 2018-11-30 一种基于动态手势和人脸识别的灯具控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811453733.5A CN109542233B (zh) 2018-11-30 2018-11-30 一种基于动态手势和人脸识别的灯具控制系统

Publications (2)

Publication Number Publication Date
CN109542233A CN109542233A (zh) 2019-03-29
CN109542233B true CN109542233B (zh) 2020-04-10

Family

ID=65851827

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811453733.5A Active CN109542233B (zh) 2018-11-30 2018-11-30 一种基于动态手势和人脸识别的灯具控制系统

Country Status (1)

Country Link
CN (1) CN109542233B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110244843B (zh) * 2019-06-03 2023-12-08 努比亚技术有限公司 可穿戴设备控制方法、可穿戴设备及计算机可读存储介质
CN110239422A (zh) * 2019-06-25 2019-09-17 重庆长安汽车股份有限公司 使汽车外灯与音乐联动的方法、系统及计算机可读存储介质
CN110337164B (zh) * 2019-06-28 2021-03-30 杭州勇电照明有限公司 一种智能灯光控制方法
CN111246623B (zh) * 2020-01-17 2021-11-09 哈尔滨拓博科技有限公司 一种基于嵌入式双目智能镜前灯的手势控制方法及控制系统
CN112367491A (zh) * 2020-10-30 2021-02-12 贵州乐诚技术有限公司 一种基于ai识别的远程通话监控系统
CN114627561B (zh) * 2022-05-16 2022-09-23 南昌虚拟现实研究院股份有限公司 动态手势识别方法、装置、可读存储介质及电子设备
CN115063874B (zh) * 2022-08-16 2023-01-06 深圳市海清视讯科技有限公司 智能家居设备的控制方法、装置、设备及存储介质
CN116863529B (zh) * 2023-09-05 2023-11-07 诚峰智能光环境科技(江苏)有限公司 一种基于面部表情识别的灯具智能控制方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700088B (zh) * 2015-03-23 2017-11-24 南京航空航天大学 一种基于单目视觉移动拍摄下的手势轨迹识别方法
CN106019977A (zh) * 2016-08-05 2016-10-12 易晓阳 一种手势及情感识别家居控制系统
CN106354252B (zh) * 2016-08-18 2019-01-25 电子科技大学 一种基于stdw的连续字符手势轨迹识别方法
CN106773815A (zh) * 2016-11-30 2017-05-31 广州微至科技有限公司 数字智能控制方法、装置和中控系统
KR101893554B1 (ko) * 2017-02-14 2018-08-30 영남대학교 산학협력단 멀티 모달 데이터 기반 표정인식방법 및 장치
CN107660039B (zh) * 2017-09-26 2018-10-30 哈尔滨拓博科技有限公司 一种识别动态手势的灯具控制系统

Also Published As

Publication number Publication date
CN109542233A (zh) 2019-03-29

Similar Documents

Publication Publication Date Title
CN109542233B (zh) 一种基于动态手势和人脸识别的灯具控制系统
US20210271862A1 (en) Expression recognition method and related apparatus
CN111597955A (zh) 基于深度学习的表情情绪识别的智能家居控制方法及装置
CN103422764A (zh) 一种门控制系统及其控制方法
CN103353935A (zh) 一种用于智能家居系统的3d动态手势识别方法
CN102932212A (zh) 一种基于多通道交互方式的智能家居控制系统
CN103618918A (zh) 一种智能电视的显示控制方法及装置
CN109451634B (zh) 基于手势控制电灯的方法及其智能电灯系统
CN103105924B (zh) 人机交互方法和装置
CN106773820A (zh) 机器人互动方法、装置及机器人
CN108629272A (zh) 一种基于单目摄像头的嵌入式手势控制方法及系统
CN112507918B (zh) 一种手势识别方法
CN109919077A (zh) 姿态识别方法、装置、介质和计算设备
CN103440035A (zh) 一种三维空间中的手势识别系统及其识别方法
CN110298380A (zh) 图像处理方法、装置及电子设备
CN112036261A (zh) 手势识别方法、装置、存储介质、电子装置
US10791607B1 (en) Configuring and controlling light emitters
CN110046544A (zh) 基于卷积神经网络的数字手势识别方法
CN111428666A (zh) 基于快速人脸检测的智能家庭陪伴机器人系统及方法
CN112749646A (zh) 一种基于手势识别的交互式点读系统
CN109325493A (zh) 一种基于人形机器人的文字识别方法及人形机器人
US11423762B1 (en) Providing device power-level notifications
CN108388858A (zh) 虹膜防伪方法与装置
CN104731324B (zh) 一种基于hog+svm框架的手势内平面旋转检测模型生成方法
CN114246767B (zh) 基于云端计算的盲人智能导航眼镜系统及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant