CN108551699A - 一种眼动控制智能灯以及其控制方法 - Google Patents
一种眼动控制智能灯以及其控制方法 Download PDFInfo
- Publication number
- CN108551699A CN108551699A CN201810360627.6A CN201810360627A CN108551699A CN 108551699 A CN108551699 A CN 108551699A CN 201810360627 A CN201810360627 A CN 201810360627A CN 108551699 A CN108551699 A CN 108551699A
- Authority
- CN
- China
- Prior art keywords
- pin
- human eye
- eye
- module
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B45/00—Circuit arrangements for operating light-emitting diodes [LED]
- H05B45/10—Controlling the intensity of the light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
Abstract
本发明一种眼动控制智能灯以及其控制方法属于智能灯领域；装置包括CMOS红外图像采集模块连接视频解码单元，视频解码单元分别连接人眼定位算法单元和SDRAM控制器单元，人眼定位算法单元依次连接图像预处理单元、眼部动作判断单元、LED控制单元和LED照明灯模块，SDRAM控制器单元连接SDRAM模块；方法包括CMOS红外图像采集模块采集人脸部灰度图像；视频解码单元对采集的视频流数据解码；人眼定位算法单元将解码后的视频流数据进行人眼定位算法处理，得到人眼位置；图像预处理单元根据人眼位置截取人眼部子图像，对图像二值化和去噪；眼部动作判断单元判断眼部动作；LED控制单元控制LED照明灯模块灯的亮度和亮灭；本发明有效解决肢体残疾人士控制灯不方便的技术问题。
Description
技术领域
本发明属于智能灯领域，具体涉及一种眼动控制智能灯以及其控制方法。
背景技术
随着科学技术的不断发展与人们生活水平的不断提高，照明灯作为人们日常生活的必需品，其作用不仅仅只是给人们带去光明，还朝着智能化、人性化的方向发展，形成新的产品—智能灯。智能灯除具有照明的基本功能，还具有多种灯光效果、智能控制、光影互动等功能，为人们的生活带来便利与幸福。
目前，智能控制技术不断发展，智能灯的控制方式也发生了许多变化，从传统的手动控制方式向传感器控制、无线控制、智能控制的方向发展。但已有的控制方式仍然存在局限性，例如声控方式易受环境噪声的干扰，造成误操作现象，且不适用于聋哑人士；无线控制方式虽然解决了距离问题，但通过遥控器或其他智能终端对智能灯进行控制，也并未实现真正意义上的智能，且对于肢体残疾人士不适用。
发明内容
针对上述问题，本发明的目的在于提供一种眼动控制智能灯以及其控制方法。
本发明的目的是这样实现的：
一种眼动控制智能灯，包括FPGA算法处理与控制模块、CMOS红外图像采集模块、LED照明灯模块、SDRAM模块和电源模块；所述FPGA算法处理与控制模块包括视频解码单元、人眼定位算法单元、图像预处理单元、眼部动作判断单元、LED控制单元和SDRAM控制器单元；所述CMOS红外图像采集模块连接视频解码单元，视频解码单元分别连接人眼定位算法和SDRAM控制器单元，所述人眼定位算法单元依次连接图像预处理单元、眼部动作判断单元、LED控制单元和LED照明灯模块，所述SDRAM控制器单元连接SDRAM模块，所述电源模块分别连接FPGA算法处理与控制模块、CMOS红外图像采集模块、LED照明灯模块和SDRAM模块，为整个装置供电。
进一步地，所述一种眼动控制智能灯，所述CMOS红外图像采集模块包括CMOS红外摄像头U19，型号为MT9V034，有20个引脚，所述引脚1连接+3.3V电源，管脚2和管脚17连接地线，管脚3至管脚16和管脚19至管脚20连接FPGA算法处理与控制模块的引脚。
进一步地，所述一种眼动控制智能灯，所述SDRAM模块包括芯片U6，型号为HY57V283220，有85个引脚，所述引脚1、引脚3、引脚9、引脚15、引脚29、引脚35、引脚41、引脚43、引脚49、引脚55、引脚81和引脚75连接+3.3V电源，所述引脚2、引脚4、引脚5、引脚7、引脚8、引脚10、引脚11、引脚13、引脚74、引脚76、引脚77、引脚79、引脚80、引脚82、引脚83、引脚85、引脚31、引脚33、引脚34、引脚36、引脚37、引脚39、引脚40和引脚42连接FPGA算法处理与控制模块的引脚，所述引脚68、引脚67、引脚20、引脚17、引脚19和引脚18连接FPGA算法处理与控制模块的引脚，所述引脚16、引脚71、引脚28和引脚59连接地线，所述引脚25、引脚26、引脚27、引脚60、引脚61、引脚62、引脚63、引脚64、引脚65、引脚66、引脚24、引脚21、引脚22和引脚23连接FPGA算法处理与控制模块的引脚，所述引脚6、引脚12、引脚32、引脚38、引脚44、引脚46、引脚52、引脚58、引脚72、引脚86、引脚84和引脚78连接地线。
进一步地，所述一种眼动控制智能灯，所述LED照明灯模块包括LED灯D21、D22、D23和D24，电阻R31、R32、R33和R34,所述FPGA算法处理与控制模块的引脚D1依次连接D21和R31，FPGA算法处理与控制模块的引脚D2依次连接D22和R32，FPGA算法处理与控制模块的引脚D3依次连接D23和R33，FPGA算法处理与控制模块的引脚D4依次连接D24和R34。
基于所述一种眼动控制智能灯实现的眼动控制智能灯的方法，包括以下步骤：
步骤a、CMOS红外图像采集模块采集人脸部灰度图像，发送给视频解码单元；
步骤b、视频解码单元对采集的视频流数据进行解码；
步骤c、人眼定位算法单元通过人眼定位算法粗定位人眼位置；
步骤d、图像预处理单元截取人眼部分的子图像；
步骤e、通过阈值分割将灰度图像二值化，并对图像去噪处理；
步骤f、眼部动作判断单元判断眼部动作；
步骤g、LED控制单元控制LED照明灯模块的亮灭和灯的亮度。
进一步地，所述一种眼动控制智能灯的控制方法，步骤b中对采集的视频流数据进行解码，所述视频流数据为RAW格式，包括用户人脸图像数据、视频格式信息和行消隐，当CMOS红外图像采集模块输出场有效信号CMOS_VSYNC和行有效信号CMOS_HREF均有效时，提取引脚9到引脚16的数据传输线上的灰度图像的视频流数据，将提取的灰度图像视频流数据输入人眼定位算法单元，同时将所述灰度图像视频流数据通过SDRAM控制器单元缓存至SDRAM模块中。
进一步地，所述一种眼动控制智能灯的控制方法，步骤c中所述人眼定位算法包括以下步骤：
步骤c1、根据人眼灰度图像具有局部灰度值变化大的特点，使用基于梯度算子的人眼定位算法，当输入用户人脸灰度图像的像素点灰度值P[i]，其取值范围为0≤P[i]≤255，且1≤i≤640，行列计数器开始计数；
步骤c2、构建梯度算子L计算L的长度l，如公式(1)所示：
l＝round(n/100)×2+1 (1)
其中，n为人脸图像中人脸的宽度，根据计算得出的l构建梯度算子L，
当n＝100时，计算出l＝3，则L就是长度为3的一维向量[1,0,-1]；
若n＝300，计算出l＝7，则L就是长度为7的一维向量[1,1,1,0,-1,-1,-1,]；
步骤c3、构建梯度算子L之后，计算卷积dy_sgipf，如公式(2)所示：
步骤c4、计算now_sum_v，如公式(3)所示：
步骤c5、判断列计数器是否大于640，若大于640，则将列计数器清零，反之则继续计算下一个像素灰度数据；
步骤c6、当人脸图像的第一行像素点数据per_sum_v和与第二行像素点数据和now_sum_v计算完后，比较两者大小，将大的数据赋值给max_sum_v,并将此时行计数器的数值赋给Max_hcnt，用于标记人眼位置；
步骤c7、若一帧图像处理完毕，即行计数器大于480时，则根据Max_hcnt的数值，在图像中标记人眼的水平位置，同时将行计数器清零、max_sum_v清零和max_hcnt清零；
步骤c8、根据人眼图像的高度特点，以Max_hcnt的数值记为人眼的水平中心轴，分别以上下15个像素点，标记高度为30个像素点的人眼水平框，定位人眼的位置区域，同时将其设定为人眼子图像。
进一步地，所述一种眼动控制智能灯的控制方法，步骤e中通过阈值分割将灰度图像二值化，并对图像去噪处理的方法包括以下步骤：
步骤e1、对像素点进行二值化处理，去除背景干扰，同时保留眼部特征，其计算公式如下：
其中T为分割阈值，T值的选取通过分析人眼子图像的直方图，得到目标人眼特征与背景最佳分割阈值T，通过遍历整个人眼灰度子图像，并对其中的每一个像素点进行二值化处理，最终变成人眼二值化子图像，使其图像数据中只包含0和1；
步骤e2、经过二值化处理后的图像中包含眉毛和眼睑噪点，使用先腐蚀后膨胀的方法去除噪点，使用3×3结构元素对二值化后的人眼子图像中的每一个像素点进行与操作，计算公式如下：
E[i,j]＝P[i-1,j-1]&P[i-1,j]&P[i-1,j+1]&P[i,j-1]&P[i,j]&P[i,j+1]
&P[i+1,j-1]&P[i+1,j]&P[i+1,j+1] (5)
其中，E[i,j]为经过腐蚀后的像素点数据，i为人眼子图像的行数，j为人眼子图像的列数，P[i,j]为人眼子图像的i行j列的像素点；
步骤e3、经过腐蚀处理后需要进行膨胀处理，使用3×3结构元素对腐蚀后图像中的每一个像素点进行或运算，计算公式如下：
D[i,j]＝E[i-1,j-1]|E[i-1,j]|E[i-1,j+1]|E[i,j-1]|E[i,j]|E[i,j+1]
|E[i+1,j-1]|E[i+1,j]|E[i+1,j+1] (6)
其中，D[i,j]为经过膨胀后的像素点数据，E[i,j]为腐蚀后人眼子图像的i行j列的像素点。
进一步地，所述一种眼动控制智能灯的控制方法，步骤f中所述判断眼部动作的方法包括以下步骤：
步骤f1、对比睁眼状态与闭眼状态下水平积分投影值的大小进行判断，此处设定当用户闭眼时间超过5帧时，则判定用户执行眨眼控制操作；
步骤f2、对输入的人眼子图像的每一行进行水平积分投影Sn，公式如下：
其中，D[n,j]为输入的人眼子图像的第n行第j列的像素点数值；
步骤f3、计算当前帧的积分投影均值Mk，公式如下：
步骤f4、计算当前帧的积分投影均值Mk与前一帧的积分投影均值Mk-1的差值的绝对值，判断其是否大于设定阈值th1，
若小于阈值th1，则继续计算下一帧人眼子图像；
若大于阈值th1，则继续判断眨眼计数器cnt是否大于5，若小于等于5，则眨眼计数器cnt数值加一；
若大于5，则判定用户执行眨眼操作，并将眨眼动作判断结果输出至LED控制单元。
进一步地，所述一种眼动控制智能灯的控制方法，步骤g中LED控制单元控制LED照明灯模块灯的亮灭和灯的亮度的方法包括以下步骤：
步骤g1、根据输入的眨眼判定结果；
步骤g2、判断是否眨眼，若否，执行步骤g1，若是，执行步骤g3；
步骤g3、判断两次眨眼动作的时间间隔Time是否大于5s，若否，执行步骤g1；若是，执行步骤g4；
步骤g4、判断灯的状态，若灯处于打开状态，则执行关灯操作；若灯处于关闭状态，则执行步骤g5；
步骤g5、执行开灯操作；
步骤g6、判断是否眨眼一次，若不是，重新判断是否眨眼一次；若是，执行灯光调亮；
步骤g7、判断是否眨眼两次，若不是，执行步骤步骤g6；若是，执行灯光调暗。
有益效果：
本发明提供了一种眼动控制智能灯以及其控制方法，通过CMOS红外图像采集模块采集用户人脸图像，FPGA算法处理与控制模块采用FPGA作为主控芯片，使用Verilog HDL硬件描述语言进行算法设计及逻辑实现，充分利用FPGA并行处理能力，能够实时处理采集的用户人脸图像，经过FPGA算法处理与控制模块的判定，用户通过眨眼动作控制智能灯的亮灭和灯的亮度；实现眼动的方式控制智能灯，有效解决肢体残疾人士控制智能灯不方便的技术问题。
与现有智能灯的控制方式相比，本发明实现用户快速、准确控制智能灯，具有非接触、易操作、简单快捷、抗干扰强优点，符合人们对智能化家居生活的追求，且尤其适用于噪声环境或行动不便的特定人群，给用户带来全新的智能生活体验。
附图说明
图1是一种眼动控制智能灯结构框图。
图2是CMOS红外图像采集模块电路图。
图3是SDRAM模块电路图。
图4是LED照明灯模块电路图。
图5是一种眼动控制智能灯控制方法流程图。
图6是基于梯度算子的人眼定位算法程序流程图。
图7是眼部动作判断算法流程图。
图8是LED控制单元控制LED照明灯模块灯流程图。
具体实施方式
下面结合附图对本发明具体实施方式作进一步详细描述。
具体实施方式一
一种眼动控制智能灯，如图1所示，包括FPGA算法处理与控制模块、CMOS红外图像采集模块、LED照明灯模块、SDRAM模块和电源模块；所述FPGA算法处理与控制模块包括视频解码单元、人眼定位算法单元、图像预处理单元、眼部动作判断单元、LED控制单元和SDRAM控制器单元；所述CMOS红外图像采集模块连接视频解码单元，视频解码单元分别连接人眼定位算法和SDRAM控制器单元，所述人眼定位算法单元依次连接图像预处理单元、眼部动作判断单元、LED控制单元和LED照明灯模块，所述SDRAM控制器单元连接SDRAM模块，所述电源模块分别连接FPGA算法处理与控制模块CMOS红外图像采集模块、LED照明灯模块和SDRAM模块，为整个装置供电。
工作过程：CMOS红外图像采集模块采集用户脸部的红外图像；FPGA算法处理与控制模块将CMOS红外图像采集模块采集的视频图像通过视频解码单元进行视频解码，得到只包含图像灰度数据的视频流数据，将视频流数据一边通过SDRAM控制器单元缓存到片外SDRAM模块中，另一边将视频流数据通过人眼定位算法单元、图像预处理单元及眼部动作判定单元的处理，得到最终人眼状态的判定，根据判定结果通过LED控制单元实现对LED照明灯模块的控制；电源模块对整个系统进行供电。
具体地，所述FPGA算法处理与控制模块为本发明的核心，FPGA算法处理与控制模块采用FPGA芯片，FPGA芯片采用Altera公司的Cyclone IV系列的EP4CE15F17C8N，电源模块采用3.3V直流稳定电压，是现有电气元件，按照正负极连接即可。
具体地，所述一种眼动控制智能灯，如图2所示，所述CMOS红外图像采集模块包括CMOS红外摄像头U19，型号为MT9V034，有20个引脚，所述引脚1连接+3.3V电源，管脚2和管脚17连接地线，管脚3至管脚16和管脚19至管脚20连接FPGA算法处理与控制模块的引脚。
所述CMOS红外摄像头的型号为MT9V034，分辨率为752×480，提供每秒60帧的视频数据。FPGA算法处理与控制模块通过I2C总线配置MT9V034内部寄存器，使CMOS红外摄像头输出8位灰度视频流数据。当CMOS红外摄像头采集到人脸图像后，输出8位人脸灰度数据，通过CMOS D[0..7]数据传输线发送至FPGA算法处理与控制模块内部进行算法处理。
具体地，所述一种眼动控制智能灯，如图3所示，所述SDRAM模块包括芯片U6，型号为HY57V283220，有85个引脚，所述引脚1、引脚3、引脚9、引脚15、引脚29、引脚35、引脚41、引脚43、引脚49、引脚55、引脚81和引脚75连接+3.3V电源，所述引脚2、引脚4、引脚5、引脚7、引脚8、引脚10、引脚11、引脚13、引脚74、引脚76、引脚77、引脚79、引脚80、引脚82、引脚83、引脚85、引脚31、引脚33、引脚34、引脚36、引脚37、引脚39、引脚40和引脚42连接FPGA算法处理与控制模块的引脚，所述引脚68、引脚67、引脚20、引脚17、引脚19和引脚18连接FPGA算法处理与控制模块的引脚，所述引脚16、引脚71、引脚28和引脚59连接地线，所述引脚25、引脚26、引脚27、引脚60、引脚61、引脚62、引脚63、引脚64、引脚65、引脚66、引脚24、引脚21、引脚22和引脚23连接FPGA算法处理与控制模块的引脚，所述引脚6、引脚12、引脚32、引脚38、引脚44、引脚46、引脚52、引脚58、引脚72、引脚86、引脚84和引脚78连接地线。
SDRAM模块与FPGA算法处理与控制模块直接相连，由于FPGA算法处理与控制模块内部的存储容量较小，且视频流数据量较大，因此使用SDRAM缓存视频流数据，SDRAM模块选用海力士公司的HY57V283220，存储容量为128M，满足视频流数据存储的要求。
具体地，所述一种眼动控制智能灯，如图4所示，所述LED照明灯模块包括LED灯D21、D22、D23和D24，电阻R31、R32、R33和R34,所述FPGA算法处理与控制模块的引脚D1依次连接D21和R31，FPGA算法处理与控制模块的引脚D2依次连接D22和R32，FPGA算法处理与控制模块的引脚D3依次连接D23和R33，FPGA算法处理与控制模块的引脚D4依次连接D24和R34。
LED照明灯模块采用4个LED灯与FPGA算法处理与控制模块的管脚直接相连，FPGA算法处理与控制模块内部的LED控制单元通过4个管脚控制LED灯的亮灭和灯的亮度。
具体实施方式二
基于所述一种眼动控制智能灯实现的眼动控制智能灯的方法，如图5所示，包括以下步骤：
步骤a、CMOS红外图像采集模块采集人脸部灰度图像，发送给视频解码单元；
步骤b、视频解码单元对采集的视频流数据进行解码；
步骤c、人眼定位算法单元通过人眼定位算法粗定位人眼位置；
步骤d、图像预处理单元截取人眼部分的子图像；
步骤e、通过阈值分割将灰度图像二值化，并对图像去噪处理；
步骤f、眼部动作判断单元判断眼部动作；
步骤g、LED控制单元控制LED照明灯模块灯的亮灭和灯的亮度。
通过配置CMOS红外图像采集模块中MT9V034芯片的寄存器中的参数，使其输出指定格式的灰度视频流数据；由于通过CMOS红外图像采集模块输出的灰度视频流数据中包含图像灰度数据、水平消隐区、垂直消隐区等，需要对其进行解码，得到只包含图像灰度数据的视频流数据；将解码后的视频流数据进行人眼定位算法处理，人眼定位算法是根据人眼特征及瞳孔角膜反射原理设计的，采用改进的梯度算子投影法与瞳孔角膜反射法实现人眼粗定位，确定人眼坐标位置；此步骤是整个算法实现的前提，对后续算法处理的效果及最终的结果产生重要的影响；根据人眼定位算法得到的人眼粗定位坐标及人脸图像大小，确定需要截取的人眼部分子图像，此子图像不包含人脸部的眉毛、头发等非眼部图像；通过自适应阈值分割算法，将目标瞳孔和背景皮肤分离，得到只包含瞳孔的二值化图像，由于睫毛眼睑等在阈值分割之后，产生干扰瞳孔的噪点，因此需要通过腐蚀膨胀算法去除噪点干扰，得到瞳孔二值化图像；在瞳孔二值化图像的基础上，根据睁眼图像与闭眼图像的特征，睁眼图像的投影曲线均值大且方差小，闭眼图像的投影曲线均值小且方差大，判断眼部动作；由上一步得到的眼部动作判断结果，通过LED控制模块，控制LED照明灯模块的亮灭和灯的亮度。
具体地，所述一种眼动控制智能灯的控制方法，步骤b中对采集的视频流数据进行解码，所述视频流数据为RAW格式，包括用户人脸图像数据、视频格式信息和行消隐，如图2所示，当CMOS红外图像采集模块输出场有效信号CMOS_VSYNC和行有效信号CMOS_HREF均有效时，提取引脚9到引脚16的数据传输线上的灰度图像的视频流数据，将提取的灰度图像视频流数据输入人眼定位算法单元，同时将所述灰度图像视频流数据通过SDRAM控制器单元缓存至SDRAM模块中。
具体地，所述一种眼动控制智能灯的控制方法，步骤c中所述人眼定位算法包括以下步骤：
步骤c1、根据人眼灰度图像具有局部灰度值变化大的特点，使用基于梯度算子的人眼定位算法，基于梯度算子的人眼定位算法的流程如图6所示，当输入用户人脸灰度图像的像素点灰度值P[i]，其取值范围为0≤P[i]≤255，且1≤i≤640，行列计数器开始计数；
步骤c2、构建梯度算子L，计算L的长度l，如公式(1)所示：
l＝round(n/100)×2+1 (1)
其中，n为人脸图像中人脸的宽度，根据计算得出的l构建梯度算子L，
当n＝100时，计算出l＝3，则L就是长度为3的一维向量[1,0,-1]；
若n＝300，计算出l＝7，则L就是长度为7的一维向量[1,1,1,0,-1,-1,-1,]；
步骤c3、构建梯度算子L，计算卷积dy_sgipf，如公式(2)所示：
步骤c4、计算now_sum_v，如公式(3)所示：
步骤c5、判断列计数器是否大于640，若大于640，则将列计数器清零，反之则继续计算下一个像素灰度数据；
步骤c6、当人脸图像的第一行像素点数据per_sum_v和与第二行像素点数据和now_sum_v计算完后，比较两者大小，将大的数据赋值给max_sum_v,并将此时行计数器的数值赋给Max_hcnt，用于标记人眼位置；
步骤c7、若一帧图像处理完毕，即行计数器大于480时，则根据Max_hcnt的数值，在图像中标记人眼的水平位置，同时将行计数器清零、max_sum_v清零和max_hcnt清零；
步骤c8、根据人眼图像的高度特点，以Max_hcnt的数值记为人眼的水平中心轴，分别以上下15个像素点，标记高度为30个像素点的人眼水平框，定位人眼的位置区域，同时将其设定为人眼子图像。
具体地，所述一种眼动控制智能灯的控制方法，步骤e中通过阈值分割将灰度图像二值化，并对图像去噪处理的方法包括以下步骤：
步骤e1、对像素点进行二值化处理，去除背景干扰，同时保留眼部特征，其计算公式如下：
其中T为分割阈值，T值的选取通过分析人眼子图像的直方图，得到目标人眼特征与背景最佳分割阈值T，通过遍历整个人眼灰度子图像，并对其中的每一个像素点进行二值化处理，最终变成人眼二值化子图像，使其图像数据中只包含0和1；
步骤e2、经过二值化处理后的图像中包含眉毛和眼睑噪点，使用先腐蚀后膨胀的方法去除噪点，使用3×3结构元素对二值化后的人眼子图像中的每一个像素点进行与操作，计算公式如下：
E[i,j]＝P[i-1,j-1]&P[i-1,j]&P[i-1,j+1]&P[i,j-1]&P[i,j]&P[i,j+1]
&P[i+1,j-1]&P[i+1,j]&P[i+1,j+1] (5)
其中，E[i,j]为经过腐蚀后的像素点数据，i为人眼子图像的行数，j为人眼子图像的列数，P[i,j]为人眼子图像的i行j列的像素点；
步骤e3、经过腐蚀处理后需要进行膨胀处理，使用3×3结构元素对腐蚀后图像中的每一个像素点进行或运算，计算公式如下：
D[i,j]＝E[i-1,j-1]|E[i-1,j]|E[i-1,j+1]|E[i,j-1]|E[i,j]|E[i,j+1]
|E[i+1,j-1]|E[i+1,j]|E[i+1,j+1] (6)
其中，D[i,j]为经过膨胀后的像素点数据，E[i,j]为腐蚀后人眼子图像的i行j列的像素点。
具体地，所述一种眼动控制智能灯的控制方法，眼部动作判断是通过对比睁眼状态与闭眼状态下水平积分投影值的大小进行判断，由于正常人平均每分钟眨眼的次数为12到19次，且每次眨眼的平均持续时间为100ms～400ms之间，因此为了防止人正常眨眼动作对眨眼控制操作的影响，此处设定当用户闭眼时间超过5帧时，则判定用户执行眨眼控制操作。
眼部动作判断流程如图7所示，步骤f中所述判断眼部动作的方法包括以下步骤：
步骤f1、对比睁眼状态与闭眼状态下水平积分投影值的大小进行判断，此处设定当用户闭眼时间超过5帧时，则判定用户执行眨眼控制操作；
步骤f2、对输入的人眼子图像的每一行进行水平积分投影Sn，公式如下：
其中，D[n,j]为输入的人眼子图像的第n行第j列的像素点数值；
步骤f3、计算当前帧的积分投影均值Mk，公式如下：
步骤f4、计算当前帧的积分投影均值Mk与前一帧的积分投影均值Mk-1的差值的绝对值，判断其是否大于设定阈值th1，
若小于阈值th1，则继续计算下一帧人眼子图像；
若大于阈值th1，则继续判断眨眼计数器cnt是否大于5，若小于等于5，则眨眼计数器cnt数值加一；
若大于5，则判定用户执行眨眼操作，并将眨眼动作判断结果输出至LED控制单元。
具体地，所述一种眼动控制智能灯的控制方法，如图8所示，步骤g中LED控制单元控制LED照明灯模块灯的亮灭的方法包括以下步骤：
步骤g1、根据输入的眨眼判定结果；
步骤g2、判断是否眨眼，若否，执行步骤g1，若是，执行步骤g3；
步骤g3、判断两次眨眼动作的时间间隔Time是否大于5s，若否，执行步骤g1；若是，执行步骤g4；
步骤g4、判断灯的状态，若灯处于打开状态，则执行关灯操作；若灯处于关闭状态，则执行步骤g5；
步骤g5、执行开灯操作；
步骤g6、判断是否眨眼一次，若不是，重新判断是否眨眼一次；若是，执行灯光调亮；
步骤g7、判断是否眨眼两次，若不是，执行步骤步骤g6；若是，执行灯光调暗。
Claims (10)
1.一种眼动控制智能灯，其特征在于，包括FPGA算法处理与控制模块、CMOS红外图像采集模块、LED照明灯模块、SDRAM模块和电源模块；所述FPGA算法处理与控制模块包括视频解码单元、人眼定位算法单元、图像预处理单元、眼部动作判断单元、LED控制单元和SDRAM控制器单元，所述CMOS红外图像采集模块连接视频解码单元，视频解码单元分别连接人眼定位算法和SDRAM控制器单元，所述人眼定位算法单元依次连接图像预处理单元、眼部动作判断单元、LED控制单元和LED照明灯模块，所述SDRAM控制器单元连接SDRAM模块，所述电源模块分别连接FPGA算法处理与控制模块、CMOS红外图像采集模块、LED照明灯模块和SDRAM模块，为整个装置供电。
2.根据权利要求1所述一种眼动控制智能灯，其特征在于，所述CMOS红外图像采集模块包括CMOS红外摄像头U19，型号为MT9V034，有20个引脚，所述引脚1连接+3.3V电源，管脚2和管脚17连接地线，管脚3至管脚16和管脚19至管脚20连接FPGA算法处理与控制模块的引脚。
3.根据权利要求1所述一种眼动控制智能灯，其特征在于，所述SDRAM模块包括芯片U6，型号为HY57V283220，有85个引脚，所述引脚1、引脚3、引脚9、引脚15、引脚29、引脚35、引脚41、引脚43、引脚49、引脚55、引脚81和引脚75连接+3.3V电源，所述引脚2、引脚4、引脚5、引脚7、引脚8、引脚10、引脚11、引脚13、引脚74、引脚76、引脚77、引脚79、引脚80、引脚82、引脚83、引脚85、引脚31、引脚33、引脚34、引脚36、引脚37、引脚39、引脚40和引脚42连接FPGA算法处理与控制模块的引脚，所述引脚68、引脚67、引脚20、引脚17、引脚19和引脚18连接FPGA算法处理与控制模块的引脚，所述引脚16、引脚71、引脚28和引脚59连接地线，所述引脚25、引脚26、引脚27、引脚60、引脚61、引脚62、引脚63、引脚64、引脚65、引脚66、引脚24、引脚21、引脚22和引脚23连接FPGA算法处理与控制模块的引脚，所述引脚6、引脚12、引脚32、引脚38、引脚44、引脚46、引脚52、引脚58、引脚72、引脚86、引脚84和引脚78连接地线。
4.根据权利要求1所述一种眼动控制智能灯，其特征在于，所述LED照明灯模块包括LED灯D21、D22、D23和D24，电阻R31、R32、R33和R34,所述FPGA算法处理与控制模块的引脚D1依次连接D21和R31，FPGA算法处理与控制模块的引脚D2依次连接D22和R32，FPGA算法处理与控制模块的引脚D3依次连接D23和R33，FPGA算法处理与控制模块的引脚D4依次连接D24和R34。
5.基于权利要求1、2、3或4所述一种眼动控制智能灯实现的眼动控制智能灯的方法，其特征在于，包括以下步骤：
步骤a、CMOS红外图像采集模块采集人脸部灰度图像，发送给视频解码单元；
步骤b、视频解码单元对采集的视频流数据进行解码；
步骤c、人眼定位算法单元通过人眼定位算法粗定位人眼位置；
步骤d、图像预处理单元截取人眼部分的子图像；
步骤e、通过阈值分割将灰度图像二值化，并对图像去噪处理；
步骤f、眼部动作判断单元判断眼部动作；
步骤g、LED控制单元控制LED照明灯模块的亮灭和灯的亮度。
6.根据权利要求5所述一种眼动控制智能灯的控制方法，其特征在于，步骤b中对采集的视频流数据进行解码，所述视频流数据为RAW格式，包括用户人脸图像数据、视频格式信息和行消隐，当CMOS红外图像采集模块输出场有效信号CMOS_VSYNC和行有效信号CMOS_HREF均有效时，提取引脚9到引脚16的数据传输线上的灰度图像的视频流数据，将提取的灰度图像视频流数据输入人眼定位算法单元，同时将所述灰度图像视频流数据通过SDRAM控制器单元缓存至SDRAM模块中。
7.根据权利要求5所述一种眼动控制智能灯的控制方法，其特征在于，步骤c中所述人眼定位算法包括以下步骤：
步骤c1、根据人眼灰度图像具有局部灰度值变化大的特点，使用基于梯度算子的人眼定位算法，当输入用户人脸灰度图像的像素点灰度值P[i]，其取值范围为0≤P[i]≤255，且1≤i≤640，行列计数器开始计数；
步骤c2、构建梯度算子L，计算L的长度l，如公式(1)所示：
l＝round(n/100)×2+1 (1)
其中，n为人脸图像中人脸的宽度，根据计算得出的l构建梯度算子L，
当n＝100时，计算出l＝3，则L就是长度为3的一维向量[1,0,-1]；
若n＝300，计算出l＝7，则L就是长度为7的一维向量[1,1,1,0,-1,-1,-1,]；
步骤c3、构建梯度算子L之后，计算卷积dy_sgipf，如公式(2)所示：
步骤c4、计算now_sum_v，如公式(3)所示：
步骤c5、判断列计数器是否大于640，若大于640，则将列计数器清零，反之则继续计算下一个像素灰度数据；
步骤c6、当人脸图像的第一行像素点数据per_sum_v和与第二行像素点数据和now_sum_v计算完后，比较两者大小，将大的数据赋值给max_sum_v,并将此时行计数器的数值赋给Max_hcnt，用于标记人眼位置；
步骤c7、若一帧图像处理完毕，即行计数器大于480时，则根据Max_hcnt的数值，在图像中标记人眼的水平位置，同时将行计数器清零、max_sum_v清零和max_hcnt清零；
步骤c8、根据人眼图像的高度特点，以Max_hcnt的数值记为人眼的水平中心轴，分别以上下15个像素点，标记高度为30个像素点的人眼水平框，定位人眼的位置区域，同时将其设定为人眼子图像。
8.根据权利要求5所述一种眼动控制智能灯的控制方法，其特征在于，步骤e中通过阈值分割将灰度图像二值化，并对图像去噪处理的方法包括以下步骤：
步骤e1、对像素点进行二值化处理，去除背景干扰，同时保留眼部特征，其计算公式如下：
其中T为分割阈值，T值的选取通过分析人眼子图像的直方图，得到目标人眼特征与背景最佳分割阈值T，通过遍历整个人眼灰度子图像，并对其中的每一个像素点进行二值化处理，最终变成人眼二值化子图像，使其图像数据中只包含0和1；
步骤e2、经过二值化处理后的图像中包含眉毛和眼睑噪点，使用先腐蚀后膨胀的方法去除噪点，使用3×3结构元素对二值化后的人眼子图像中的每一个像素点进行与操作，计算公式如下：
E[i,j]＝P[i-1,j-1]&P[i-1,j]&P[i-1,j+1]&P[i,j-1]&P[i,j]&P[i,j+1]&P[i+1,j-1]&P[i+1,j]&P[i+1,j+1] (5)
其中，E[i,j]为经过腐蚀后的像素点数据，i为人眼子图像的行数，j为人眼子图像的列数，P[i,j]为人眼子图像的i行j列的像素点；
步骤e3、经过腐蚀处理后需要进行膨胀处理，使用3×3结构元素对腐蚀后图像中的每一个像素点进行或运算，计算公式如下：
D[i,j]＝E[i-1,j-1]|E[i-1,j]|E[i-1,j+1]|E[i,j-1]|E[i,j]|E[i,j+1]|E[i+1,j-1]|E[i+1,j]|E[i+1,j+1] (6)
其中，D[i,j]为经过膨胀后的像素点数据，E[i,j]为腐蚀后人眼子图像的i行j列的像素点。
9.根据权利要求5所述一种眼动控制智能灯的控制方法，其特征在于，步骤f中所述判断眼部动作的方法包括以下步骤：
步骤f1、对比睁眼状态与闭眼状态下水平积分投影值的大小进行判断，此处设定当用户闭眼时间超过5帧时，则判定用户执行眨眼控制操作；
步骤f2、对输入的人眼子图像的每一行进行水平积分投影Sn，公式如下：
其中，D[n,j]为输入的人眼子图像的第n行第j列的像素点数值；
步骤f3、计算当前帧的积分投影均值Mk，公式如下：
步骤f4、计算当前帧的积分投影均值Mk与前一帧的积分投影均值Mk-1的差值的绝对值，判断其是否大于设定阈值th1，
若小于阈值th1，则继续计算下一帧人眼子图像；
若大于阈值th1，则继续判断眨眼计数器cnt是否大于5，若小于等于5，则眨眼计数器cnt数值加一；
若大于5，则判定用户执行眨眼操作，并将眨眼动作判断结果输出至LED控制单元。
10.根据权利要求5所述一种眼动控制智能灯的控制方法，其特征在于，步骤g中LED控制单元控制LED照明灯模块灯的亮灭和灯的亮度的方法包括以下步骤：
步骤g1、根据输入的眨眼判定结果；
步骤g2、判断是否眨眼，若否，执行步骤g1，若是，执行步骤g3；
步骤g3、判断两次眨眼动作的时间间隔Time是否大于5s，若否，执行步骤g1，若是，执行步骤g4；
步骤g4、判断灯的状态，若灯处于打开状态，则执行关灯操作；若灯处于关闭状态，则执行步骤g5；
步骤g5、执行开灯操作；
步骤g6、判断是否眨眼一次，若不是，重新判断是否眨眼一次；若是，执行灯光调亮；
步骤g7、判断是否眨眼两次，若不是，执行步骤步骤g6；若是，执行灯光调暗。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810360627.6A CN108551699B (zh) | 2018-04-20 | 2018-04-20 | 一种眼动控制智能灯以及其控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810360627.6A CN108551699B (zh) | 2018-04-20 | 2018-04-20 | 一种眼动控制智能灯以及其控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108551699A true CN108551699A (zh) | 2018-09-18 |
| CN108551699B CN108551699B (zh) | 2019-10-01 |
Family
ID=63511909
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810360627.6A Active CN108551699B (zh) | 2018-04-20 | 2018-04-20 | 一种眼动控制智能灯以及其控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108551699B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109358552A (zh) * | 2018-11-09 | 2019-02-19 | 康力元(天津)医疗科技有限公司 | 一种动眼控制智能升降护理床 |
| CN110381652A (zh) * | 2019-07-08 | 2019-10-25 | 武汉诚信卓远科技发展有限公司 | 智能灯光控制方法、设备及计算机可读存储介质 |
| CN112230760A (zh) * | 2020-09-17 | 2021-01-15 | 淮南师范学院 | 一种基于用户操作及生物特征相结合的分析系统和方法 |
| CN112469181A (zh) * | 2020-10-27 | 2021-03-09 | 江汉大学 | 一种智能开合的光源控制方法及装置 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101108120A (zh) * | 2007-08-29 | 2008-01-23 | 中国人民解放军第三军医大学第一附属医院 | 眼动测试分析方法 |
| EP2275020A1 (en) * | 2009-07-16 | 2011-01-19 | Tobil Technology AB | Eye detection unit using sequential data flow |
| CN102419588A (zh) * | 2011-12-28 | 2012-04-18 | 许冰 | 一种基于脑电信号及运动信号对目标控制的方法及装置 |
| WO2015038645A1 (en) * | 2013-09-11 | 2015-03-19 | Motorola Mobility Llc | Electronic device with gesture detection system and methods for using the gesture detection system |
| CN105159460A (zh) * | 2015-09-10 | 2015-12-16 | 哈尔滨理工大学 | 基于眼动跟踪的智能家居控制器及其控制方法 |
| CN105488462A (zh) * | 2015-11-25 | 2016-04-13 | 努比亚技术有限公司 | 眼睛定位识别装置和方法 |
| JP2016185215A (ja) * | 2015-03-27 | 2016-10-27 | 株式会社トプコン | 眼科撮影装置、およびその制御方法 |
| CN106297733A (zh) * | 2016-10-01 | 2017-01-04 | 奇酷互联网络科技（深圳）有限公司 | 屏幕亮度自动调节方法及装置 |
| CN106547360A (zh) * | 2016-11-29 | 2017-03-29 | 珠海格力电器股份有限公司 | 信息处理方法及电子设备 |
| CN106598257A (zh) * | 2016-12-23 | 2017-04-26 | 北京奇虎科技有限公司 | 基于移动终端的阅读控制方法及装置 |
| CN106886290A (zh) * | 2017-04-08 | 2017-06-23 | 闲客智能（深圳）科技有限公司 | 一种眼动控制方法及装置 |
| CN107388201A (zh) * | 2017-09-05 | 2017-11-24 | 哈尔滨理工大学 | 医用头戴式眼动控制手术照明灯 |
| CN107508963A (zh) * | 2017-07-05 | 2017-12-22 | 宇龙计算机通信科技(深圳)有限公司 | 终端控制方法、装置、终端及计算机可读存储介质 |
-
2018
- 2018-04-20 CN CN201810360627.6A patent/CN108551699B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101108120A (zh) * | 2007-08-29 | 2008-01-23 | 中国人民解放军第三军医大学第一附属医院 | 眼动测试分析方法 |
| EP2275020A1 (en) * | 2009-07-16 | 2011-01-19 | Tobil Technology AB | Eye detection unit using sequential data flow |
| CN102419588A (zh) * | 2011-12-28 | 2012-04-18 | 许冰 | 一种基于脑电信号及运动信号对目标控制的方法及装置 |
| WO2015038645A1 (en) * | 2013-09-11 | 2015-03-19 | Motorola Mobility Llc | Electronic device with gesture detection system and methods for using the gesture detection system |
| JP2016185215A (ja) * | 2015-03-27 | 2016-10-27 | 株式会社トプコン | 眼科撮影装置、およびその制御方法 |
| CN105159460A (zh) * | 2015-09-10 | 2015-12-16 | 哈尔滨理工大学 | 基于眼动跟踪的智能家居控制器及其控制方法 |
| CN105488462A (zh) * | 2015-11-25 | 2016-04-13 | 努比亚技术有限公司 | 眼睛定位识别装置和方法 |
| CN106297733A (zh) * | 2016-10-01 | 2017-01-04 | 奇酷互联网络科技（深圳）有限公司 | 屏幕亮度自动调节方法及装置 |
| CN106547360A (zh) * | 2016-11-29 | 2017-03-29 | 珠海格力电器股份有限公司 | 信息处理方法及电子设备 |
| CN106598257A (zh) * | 2016-12-23 | 2017-04-26 | 北京奇虎科技有限公司 | 基于移动终端的阅读控制方法及装置 |
| CN106886290A (zh) * | 2017-04-08 | 2017-06-23 | 闲客智能（深圳）科技有限公司 | 一种眼动控制方法及装置 |
| CN107508963A (zh) * | 2017-07-05 | 2017-12-22 | 宇龙计算机通信科技(深圳)有限公司 | 终端控制方法、装置、终端及计算机可读存储介质 |
| CN107388201A (zh) * | 2017-09-05 | 2017-11-24 | 哈尔滨理工大学 | 医用头戴式眼动控制手术照明灯 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109358552A (zh) * | 2018-11-09 | 2019-02-19 | 康力元(天津)医疗科技有限公司 | 一种动眼控制智能升降护理床 |
| CN110381652A (zh) * | 2019-07-08 | 2019-10-25 | 武汉诚信卓远科技发展有限公司 | 智能灯光控制方法、设备及计算机可读存储介质 |
| CN112230760A (zh) * | 2020-09-17 | 2021-01-15 | 淮南师范学院 | 一种基于用户操作及生物特征相结合的分析系统和方法 |
| CN112469181A (zh) * | 2020-10-27 | 2021-03-09 | 江汉大学 | 一种智能开合的光源控制方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108551699B (zh) | 2019-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108551699B (zh) | 一种眼动控制智能灯以及其控制方法 | |
| CN108898579B (zh) | 一种图像清晰度识别方法、装置和存储介质 | |
| He | Research of a sign language translation system based on deep learning | |
| WO2022110564A1 (zh) | 智能家居多模态人机自然交互系统及其方法 | |
| CN112131985B (zh) | 一种基于OpenPose改进的实时轻量人体姿态估计方法 | |
| Sharma et al. | A static hand gesture and face recognition system for blind people | |
| CN109284738A (zh) | 不规则人脸矫正方法和系统 | |
| CN111666845B (zh) | 基于关键帧采样的小样本深度学习多模态手语识别方法 | |
| Amarnag et al. | Real time eye tracking for human computer interfaces | |
| CN101828905B (zh) | 中医色诊系统 | |
| CN112967285A (zh) | 一种基于深度学习的黄褐斑图像识别方法、系统和装置 | |
| CN109259528A (zh) | 一种基于人脸识别与肤质检测的家居智能镜子 | |
| Wu et al. | Appearance-based gaze block estimation via CNN classification | |
| CN114938556B (zh) | 台灯光线自动调节方法、装置、电子设备及存储介质 | |
| CN115661856A (zh) | 一种基于Lite-HRNet的自定义康复训练监测与评估方法 | |
| CN114821753A (zh) | 一种基于视觉图像信息的眼动交互系统 | |
| CN116704553B (zh) | 一种基于计算机视觉技术的人体特征识物辅助系统 | |
| CN103235943A (zh) | 基于pca的3d人脸识别系统 | |
| CN105380590A (zh) | 一种具有眼位检测功能的设备及其实现方法 | |
| CN103258208A (zh) | 基于视觉的头势有无意图判别方法 | |
| CN111382294A (zh) | 一种基于人工智能图像识别的中医辅助判断方法 | |
| CN206363347U (zh) | 基于角点检测与匹配的药品识别系统 | |
| CN106961771B (zh) | 智能化城市电力照明物联网管理系统 | |
| CN117676992B (zh) | 多组智能灯镜协同照明控制方法和系统 | |
| CN117279170B (zh) | 用于护眼灯的灯光调节方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220524 Address after: Room 521-9, Science Park, Harbin University of technology, No. 52, Xuefu Road, Nangang District, Harbin, Heilongjiang 150086 Patentee after: Harbin penglu Intelligent Technology Co.,Ltd. Address before: 150080 No. 52, Xuefu Road, Nangang District, Heilongjiang, Harbin Patentee before: HARBIN University OF SCIENCE AND TECHNOLOGY |