CN106990839B - 一种眼球识别多媒体播放器及其实现方法 - Google Patents

Abstract

本发明公开了一种眼球识别多媒体播放器及其实现方法，包括显示器、半透镜、摄像头，所述显示器与半透镜相结合，半透镜贴有单向透视反光薄膜，显示器通过USB接口连接摄像头，实现方法是生成能够使用的LBP正脸识别分类器和Haar左右眼识别分类器，利用LBP正脸识别分类器和Haar左右眼识别分类器来实现多媒体播放器的眼球识别功能，具有以下优点：基于人脸检测、眼球识别以及唇形识别，通过摄像头获取人体图像，利用分类器先后获得人脸、人眼位置，经过滤波处理，二值化图像，边缘检测等处理方法获得眼眶、虹膜位置信息，根据特征匹配达到动作检测的目的，进而产生动作信号由UI反馈给使用者。

Description

一种眼球识别多媒体播放器及其实现方法

技术领域

本发明涉及一种眼球识别多媒体播放器及其实现方法，属于电子技术领域。

背景技术

眼球追踪技术最热门的载体是手机，三星品牌和LG品牌都推出了搭载有眼球追踪技术的产品。比如，三星上一代旗舰机三星Galaxy SIII就可以通过检测用户眼睛状态来控制锁屏时间，只要检测到用户正盯着手机屏幕，即使用户没有进行任何操作，屏幕也不会关闭，而三星Galaxy SIII 的发布，则将这一功能进一步延伸为可通过眼球来控制页面上下滚动。

另一方面，2013年一家瑞典公司Tobii计划推出一款电脑外设设备，Rex，它可以让旧电脑也能接入眼球追踪，只要把它放置在屏幕顶部，再通过USB接口接入，用户就能利用视线来控制电脑完成像操控IE页面滚动、使用Windows8地图应用等部分操作。

除了电脑和手机，汽车也是人们最早接触到眼球追踪技术的地方，通用和丰田都已经在这方面有了不小的投入。它能实时模拟驾驶员的视野，提醒驾驶员视线盲区可能存在的危险；当驾驶员眼皮下垂(犯困)或眨眼次数减少(走神)等，它还会发出声音提醒。

虽然眼睛动作识别已经开始商用，但是可以发现眼睛动作应用都停留在基础，没有更深入的挖掘眼部信息。

视觉跟踪技术自1986 年开始立项研究，目前国内的相关理论和技术也有了长足的发展，中国科学院、浙江大学、武汉大学等高校和研究所在目标跟踪、运动行人的检测识别方面取得了一定的成果。但是在眼球追踪这方面也仅仅局限于眼睛检测，未对眼球动作识别方面做出具有价值的讨论。

虽然利用虹膜识别的方法实现眼球追踪技术已经较为成熟，但准确率不高，速度较慢。利用已有的LBP算法进行PCA特征降维、SVM分类识别，虽然速度较快但准确度欠缺，然而利用Haar算法实现Haar-like特征、AdaBoost算法精确度高但速度较慢。

发明内容

本发明要解决的技术问题是提供一种提高准确度的计量方法，实现基于人脸检测、眼球识别以及唇形识别，通过摄像头获取人体图像，利用分类器先后获得人脸、人眼位置，经过滤波处理，二值化图像，边缘检测等处理方法获得眼眶、虹膜位置信息，根据特征匹配达到动作检测的目的，进而产生动作信号由UI反馈给使用者的发明目的。

为解决以上问题，本发明采用以下技术方案：一种眼球识别多媒体播放器，包括显示器、半透镜、摄像头，所述显示器与半透镜相结合，采用木质结构固定半透镜紧贴在显示器前方，半透镜贴有单向透视反光薄膜，显示器通过USB接口连接摄像头。

一种眼球识别多媒体播放器的实现方法，所述实现方法是利用开源的人脸、人眼库，运用LBP算法、Haar算法进行机器学习，生成能够使用的LBP正脸识别分类器和Haar左右眼识别分类器，利用LBP正脸识别分类器和Haar左右眼识别分类器来实现多媒体播放器的眼球识别功能。

进一步，所述实现方法包括以下步骤：

步骤S2，输入由摄像头获得的分辨率600*800的RGB人脸图像；

步骤S3，计算输入图像的灰度图，将输入的RGB图像转换为灰度图像，提取输入图像矩阵中的绿色通道像素信息作为灰度图像GrayImg的初始值；

步骤S4，检测灰度图像宽度为320，灰度图像的放缩比例为800/灰度图像宽度, 灰度图像高度为600/灰度图像的放缩比例，将灰度图像GrayImg按比例进行缩放，缩放后的灰度图像的分辨率为240*320；

步骤S5，将灰度图像GrayImg进行直方图均匀化处理，获得预处理的人脸图像Preprocessed Image，需要对图像进行双边滤波。

进一步，所述实现方法还包括以下步骤：

步骤S6，设置检测参数：最小特征尺度minfeatureSize=Size(30,30)、检测范围因子searchScaleFactor=1.1f、最小临近因子minneighbors=4、检测方式标识位fiag=CASCADE_FIND_BIGGEST_OBJECT︱CASCADE_DO_ROUGH_SEARCH，使得检测检测结果为所检测到目标中最大的；加载提前训练好的LBP人脸检测器，在预处理过后的图像中获取到目标人脸Target Face的位置信息（x,y,width,height）；

步骤S8，对目标人脸Target Face按照计算比例进行坐标逆向变换，计算变化过后的x、y坐标及width、height，在原始图中将人脸图像储存在新的内存区域中；

步骤S9，根据坐标变换后得到的目标人脸信息Target Face，在原输入图像中提取人脸信息储存为人脸图像Face Image。

进一步，所述实现方法还包括以下步骤：

步骤S10，提取输入图像矩阵中的绿色通道像素信息作为人脸图像Face Image的灰度图像初始值，将人脸图像Face Image的灰度图像进行直方图均匀化处理，计算人脸图像Face Image的灰度图获得预处理的人脸图像preprocessed Face；

步骤S11，初始化参数EYE_SX = 0.16；EYE_SY = 0.26；EYE_SW = 0.30；EYE_SH =0.28，即初始化人眼位置估计比例：X、Y坐标、宽度、高度，在预处理的人脸图像preprocessed Face计算人眼位置：X、Y坐标、宽度、高度leftx、topy、widthx、heighty、rightx，从预处理的人脸图像preprocessed Face中提取左眼和右眼的预估计图像；

步骤S12，利用训练好的Haar人眼检测器分别对左眼和右眼中预估图像来检测右眼和左眼，得到人眼具体的位置大小信息。

进一步，所述实现方法还包括以下步骤：

步骤S14，初始化LXmoveLen、LYmoveLen、RXmoveLen、RYmoveLen，即初始化人眼位置修正尺度：左右眼X、Y坐标移动尺度，对步骤S11中变换后的坐标进行逆向变换，计算左眼、右眼在原图中的x、y坐标和宽度、高度；

步骤S15，根据步骤S14所得信息在原图中获取准确的左眼、右眼的图像，对左眼、右眼图像进行缩放成80*100像素图像；

步骤S16，对左眼、右眼的图像进行双边滤波并转化为灰度图像，并用Canny算子对灰度图进行边缘检测，完成后进入步骤S17。

进一步，所述实现方法还包括以下步骤：

步骤S17，初始化眼眶边缘itc1，使眼眶边缘itc1成为眼眶边缘集合中的第一个边缘，眼眶边缘集合是由眼眶边缘线上的点的坐标组成的集合；

步骤S18，对眼眶边缘itc1进行矩形拟合，得到能够包含边缘信息的最小矩阵，得到矩阵的x，y坐标和width，height信息；

步骤S19，计算出拟合最小矩阵的中心坐标，判断矩形是否满足眼眶的预估计位置，若是满足则将眼眶边缘itc1添加到Eye Edge集合。

进一步，所述实现方法还包括以下步骤：

步骤S21，判断眼眶边缘itc1是否为眼眶边缘集合中最后一条未检测的边缘；

步骤S22，赋值眼眶边缘itc1，令眼眶边缘itc1=眼眶边缘集合中下一条未检测眼眶边缘；

步骤S23， 判断Eye Edge集合是否为空；

步骤S24，对Eye Edge集合拟合最小矩形得到矩形眼眶信息rect；

步骤S25，对左眼、右眼的图像进行双边滤波并转化为灰度图像，设置阀值为24，即即threshold(24,THRESH_BINARY)，对图像双边滤波转化过来的灰度图进行二值化运算，设置算子大小为（9，9）对二值化运算之后得到的图像进行形态学闭运算，设置阀值为1对形态学闭运算之后的图像进行二值化运算，进行边缘检测。

进一步，所述实现方法还包括以下步骤：

步骤S26，初始化虹膜边缘itc2，使得虹膜边缘itc2为虹膜边缘集合中的第一个边缘，虹膜边缘集合是由虹膜边缘线上的点的坐标组成的集合；

步骤S27，对虹膜边缘itc2进行圆形拟合，得到能够包含边缘信息的最小圆形，得到圆形的圆心、半径信息；

步骤S28，检测圆形圆心半径是否符合人眼虹膜；

步骤S29，将圆形的圆心和半径添加到List集合，List是自定义的一个列表，专门用来存储圆心和半径。

进一步，所述实现方法还包括以下步骤：

步骤S30，判断虹膜边缘itc2是否为虹膜边缘集合中最后一条未检测边缘；

步骤S31，赋值虹膜边缘itc2，使得虹膜边缘itc2等于虹膜边缘集合中下一条未检测虹膜边缘；

步骤S32，判断列表list是否为空；

步骤S33，从列表list中过滤出最大的虹膜半径及对应的圆心，得到虹膜半径、虹膜中心；

步骤S34，输出眼眶、虹膜半径、虹膜中心；

步骤S35，进行动作匹配、错误信息过滤、误操作过滤；

步骤S36，输出动作信号，完成后进入UI界面。

本发明采用以上技术方案，与现有技术性比，具有以下优点：。

本作品根据特征匹配达到动作检测的目的，进而产生动作信号由UI反馈给使用者。

通过眼球控制，增加控制动作信息，使得UI操作更加丰富。综合利用多种图像处理方法，以及快速动作匹配，使得程序的实时性、准确性大幅度提高。使用可见光摄像头采集人体图像，运用图像识别算法，实现虹膜位置提取，眼皮张合位置信息。将眼球特征信息组成的动作信息进行动态特征匹配，产生信号，在UI界面进行反馈。调节程序整体的高效、准确性、实时性，保证使用者的使用体验。

较于市面上其他产品，取消了红外补光措施，虽然给图像处理部分增加了部分难度，但是去除了红外光长时间照射带来的诸多不良因素。

相比较于现有技术，本作品具备虹膜坐标识别提取准确率达到90%、控制距离达到2米、安全、操作简单等优点。

附图说明

附图1是本发明实施例中多媒体播放器结构的概念图；

附图2是本发明实施例中多媒体播放器程序的运行流程简图；

附图3是本发明实施例中LBP算子基本原理图；

附图4是本发明实施例中LBP算子基本原理图；

附图5是本发明实施例中Haar-like特征描述图；

附图6是本发明实施例中检测虹膜和眼眶的主要操作步骤的流程图；

附图7是本发明实施例中播放器的实现方法流程图。

具体实施方式

实施例，如图1至图7所示，一种眼球识别多媒体播放器，包括显示器与半透镜，将显示器与半透镜相结合，显示器采用一般普通的电脑显示屏，若需要将设备安装在不同环境，则根据不同情况使用不同大小的显示屏。在显示器前方紧贴一面单向透视反光薄膜的半透镜，并采用木质结构固定，封装成一个较为成型的实用模型。也可采用市面上的原子镜，对其进行改装，也可以完成本发明硬件部分的设计。

当显示器工作的时候，可以透过半透镜看到屏幕显示的内容；当显示器没有工作或者未安装屏幕的区域，该播放器可以充当镜子使用。所述播放器还包括OV2710摄像头，显示器通过USB接口连接OV2710摄像头，显示器通过与其连接的OV2710摄像头实时获取画面，通过USB接口传给软件主控端进行处理。

基于Haar特征的Adaboost人脸检测：人脸可以看做是各种器官特征的组合，从而可以根据鼻子，眼镜，嘴巴，眉毛等器官的特征以及相互之间的几何位置关系来检测人脸。基于统计的方法，将人脸看作是一个整体的模式—二维像素矩阵，从统计的观点通过大量图像样本，根据相似度来判断人脸是否存在。

LBP算子：一种用来描述图像局部纹理特征的算子；它具有旋转不变性和灰度不变性等显著的优点。它是首先由T. Ojala, M.Pietikäinen, 和D. Harwood 在1994年提出，用于纹理特征提取。LBP算子在每个像素点都可以得到一个LBP“编码”，那么，对一幅图像（记录的是每个像素点的灰度值）提取其原始的LBP算子之后，得到的原始LBP特征依然是“一幅图片”（记录的是每个像素点的LBP值）。LBP的应用中，如纹理分类、人脸分析等，一般都不将LBP图谱作为特征向量用于分类识别，而是采用LBP特征谱的统计直方图作为特征向量用于分类识别。

所述播放器的实现方法软件端前期准备工作，利用开源的人脸、人眼库，运用LBP、Haar算法进行机器学习，生成能够使用的正脸识别分类器和左右眼识别分类器，能够在软件运行时进行调用。LBP算法具有极佳的速度，但是准确性没有Haar算子优良，但是Haar算子速度较慢，对于实时性要求较高的项目来说，并不适合，因此本发明结合了两种算子，对于准确性要求不高的人脸检测采用LBP算法，而后对于需要精确位置坐标的人眼检测，采用了准确度较高的Haar算子。此方案对于本发明实时采集数据进行运算具有重要的优化作用。

OpenCV作为领域较为成熟的一个图像处理函数库，对于训练用于人脸和人眼检测的分类器有比较成熟。训练需要准备足够的人脸和人眼样本，在开源网站上都能找到，综合对比各方面因素，选用了ORL数据库对于初始化测试比较适合，但它是一个简单的数据库，特征脸已经可以达到97%的识别率，所以使用其他方法很难得到更好的提升。Yale人脸数据库是一个对于初始实验更好的数据库，因为识别问题更复杂。这个数据库包括15个人(14个男性,1个女性)，每一个都有11个灰度图像，大小是320*243像素。数据库中有光照变化(中心光照、左侧光照、右侧光照)、表情变化(开心、正常、悲伤、瞌睡、惊讶、眨眼)、眼镜(戴眼镜或者没戴)。

利用获取到的正负样本和OpenCV开源的训练器进行训练，将得到的LBP人脸检测和Haar人眼检测器用于接下来的具体实施。

所述多媒体播放器包括UI反馈模块、摄像头获取图像信息模块、图像处理模块，摄像头获取图像信息模块获取了图像信息后进入图像处理模块，图像处理模块处理完图像后进入UI反馈模块。

所述播放器的实现方法包括以下模块步骤：

第一模块步骤：摄像头输入图像模块；

第二模块步骤：预处理模块，摄像头输入图像模块处理完后进入预处理模块；

第三模块步骤：人脸检测模块，预处理模块处理完成后进入人脸检测模块；

第四模块步骤：动作信号模块，人脸检测模块检测完成后进入动作信号模块；

第五模块步骤：提取虹膜眼眶位置信息模块，动作信号模块处理完成后进入提取虹膜眼眶位置信息模块；

第六模块步骤：人眼检测模块，提取虹膜眼眶位置信息模块处理完成后进入人眼检测模块；

第七模块步骤：排出误操作模块，人眼检测模块检测完成后进入排出误操作模块；

第八模块步骤：功能信号模块，排出误操作模块完成后进入功能信号模块；

第九模块步骤：UI反馈模块，功能信号模块完成后进入UI反馈模块。

所述播放器的实现方法包括以下具体步骤：

步骤S1，程序开始运行，完成后进入步骤S2；

步骤S2，输入由摄像头获得的分辨率600*800的RGB人脸图像，完成后进入步骤S3；

步骤S3，计算输入图像的灰度图，将输入的RGB图像转换为灰度图像，提取输入图像矩阵中的绿色通道像素信息作为灰度图像GrayImg的初始值，完成后进入步骤S4；

步骤S4，检测灰度图像宽度为320，灰度图像的放缩比例为800/灰度图像宽度, 灰度图像高度为600/灰度图像的放缩比例，将灰度图像GrayImg按比例进行缩放，缩放后的灰度图像的分辨率为240*320；由于人脸检测很耗时间，所以需要尽可能缩小原始图像，但是有需要保证检测的质量，如果图像太小，像素信息丢失过多，无法得到预期结果。经过多次测试验证，240*320比例左右的图像具有较好的测试质量，完成后进入步骤S5；

步骤S5，将灰度图像GrayImg进行直方图均匀化处理，获得预处理的人脸图像Preprocessed Image，需要对图像进行双边滤波，过滤掉图像中的噪点，减少杂质对于接下来检测的干扰，对于图像进行直方图归一化，保证个像素点的像素值能够落在0~255值域范围内，并进行归一化处理，以减少光线对于参数设置的影响，否则由于环境光线的多样化，图像的像素值将会落在不同的值域内，对于接下来的处理将会带来许多不便的影响，归一化将更利于对像素值进行统一处理，完成后进入步骤S6；

步骤S6，为了让人脸检测效率达到最大值，设置检测参数：最小特征尺度minfeatureSize=Size(30,30)、检测范围因子searchScaleFactor=1.1f、最小临近因子minneighbors=4、检测方式标识位fiag= CASCADE_FIND_BIGGEST_OBJECT | CASCADE_DO_ROUGH_SEARCH，使得检测检测结果为所检测到目标中最大的；加载提前训练好的LBP人脸检测器，在预处理过后的图像中获取到目标人脸Target Face的位置信息（x,y,width,height），完成后进入步骤S7；

步骤S7，判断是否检测到目标人脸Target Face，若是则进入步骤S8，否则返回执行步骤S2；

步骤S8，对目标人脸Target Face按照计算比例进行坐标逆向变换，防止坐标溢出超过范围，需要对坐标进行值域限制，计算变化过后的x、y坐标及width、height，在原始图中将人脸图像储存在新的内存区域中，完成后进入步骤S9；

步骤S9，根据坐标变换后得到的目标人脸信息Target Face，在原输入图像中提取人脸信息储存为人脸图像Face Image，完成后进入步骤S10；

步骤S10，提取输入图像矩阵中的绿色通道像素信息作为人脸图像Face Image的灰度图像初始值，将人脸图像Face Image的灰度图像进行直方图均匀化处理，计算人脸图像Face Image的灰度图获得预处理的人脸图像preprocessed Face，完成后进入步骤S11；

步骤S11，初始化参数EYE_SX = 0.16；EYE_SY = 0.26；EYE_SW = 0.30；EYE_SH =0.28，即初始化人眼位置估计比例：X、Y坐标、宽度、高度，在预处理的人脸图像preprocessed Face计算人眼位置：X、Y坐标、宽度、高度leftx、topy、widthx、heighty、rightx，从预处理的人脸图像preprocessed Face中提取左眼和右眼的预估计图像，为了提高程序人眼检测效率，根据普通人的人眼在脸上的位置，预估计左右眼出现的位置范围，提取粗略的左右眼图像，减少检测数据量，极大提高检测效率，完成后进入步骤S12；

步骤S12，利用训练好的Haar人眼检测器分别对左眼和右眼中预估图像来检测右眼和左眼，得到人眼具体的位置大小信息，完成后进入步骤S13；

步骤S13，左眼和右眼是否被检测出来，若是则进入步骤S14，否则返回执行步骤S2；

步骤S14，初始化LXmoveLen、LYmoveLen、RXmoveLen、RYmoveLen，即初始化人眼位置修正尺度：左右眼X、Y坐标移动尺度，对步骤S11中变换后的坐标进行逆向变换，计算左眼、右眼在原图中的x、y坐标和宽度、高度，由于将原始图像进行了放缩，人眼在240*320像素的图像中已经远低于检测效率的最高值，因此，需要进行坐标变换，完成后进入步骤S15；

步骤S15，根据步骤S14所得信息在原图中获取准确的左眼、右眼的图像，对左眼、右眼图像进行缩放成80*100像素图像，完成后进入步骤S16；

步骤S16，对左眼、右眼的图像进行双边滤波并转化为灰度图像，并用Canny算子对灰度图进行边缘检测，完成后进入步骤S17；

步骤S17，初始化眼眶边缘itc1，使眼眶边缘itc1成为眼眶边缘集合中的第一个边缘，眼眶边缘集合是由眼眶边缘线上的点的坐标组成的集合，完成后进入步骤S18；

步骤S18，对眼眶边缘itc1进行矩形拟合，得到能够包含边缘信息的最小矩阵，得到矩阵的x，y坐标和width，height信息，完成后进入步骤S19；

步骤S19，计算出拟合最小矩阵的中心坐标，判断矩形是否满足眼眶的预估计位置，若是满足则进入步骤S20，否则进入步骤S21；

步骤S20，将眼眶边缘itc1添加到Eye Edge集合，完成后进入步骤S21；

步骤S21，判断眼眶边缘itc1是否为眼眶边缘集合中最后一条未检测的边缘，若是则进入步骤S23，否则进入步骤S22；

步骤S22，赋值眼眶边缘itc1，令眼眶边缘itc1=眼眶边缘集合中下一条未检测眼眶边缘，完成进入步骤S18；

步骤S23， 判断Eye Edge集合是否为空，若是则返回执行步骤S2，否则进入步骤S24；

步骤S24，对Eye Edge集合拟合最小矩形得到矩形眼眶信息rect，完成后进入步骤S25；

步骤S25，对左眼、右眼的图像进行双边滤波并转化为灰度图像，设置阀值为24，即即threshold(24,THRESH_BINARY)，对图像双边滤波转化过来的灰度图进行二值化运算，设置算子大小为（9，9）对二值化运算之后得到的图像进行形态学闭运算，设置阀值为1对形态学闭运算之后的图像进行二值化运算，进行边缘检测，完成后进入步骤S26；

步骤S26，初始化虹膜边缘itc2，使得虹膜边缘itc2为虹膜边缘集合中的第一个边缘，虹膜边缘集合是由虹膜边缘线上的点的坐标组成的集合，完成后进入步骤S27；

步骤S27，对虹膜边缘itc2进行圆形拟合，得到能够包含边缘信息的最小圆形，得到圆形的圆心、半径信息，完成后进入步骤S28；

步骤S28，检测圆形圆心半径是否符合人眼虹膜，若是符合则进入步骤S29，否则进入步骤S30；

步骤S29，将圆形的圆心和半径添加到List集合，List是自定义的一个列表，专门用来存储圆心和半径，完成后进入步骤S30；

步骤S30，判断虹膜边缘itc2是否为虹膜边缘集合中最后一条未检测边缘，若是则进入步骤S32，否则进入步骤S31；

步骤S31，赋值虹膜边缘itc2，使得虹膜边缘itc2等于虹膜边缘集合中下一条未检测虹膜边缘 ，完成进入步骤S27；

步骤S32，判断列表list是否为空，若是则返回执行步骤S2，否则进入步骤S33；

步骤S33，从列表list中过滤出最大的虹膜半径及对应的圆心，得到虹膜半径、虹膜中心，完成后进入步骤S34；

步骤S34，输出眼眶、虹膜半径、虹膜中心，完成后进入步骤S35；

步骤S35，检测之后，将得到的虹膜和眼眶的位置大小信息传给程序进行接下来的处理，即动作匹配、错误信息过滤、误操作过滤，完成后进入步骤S36；

进行动作匹配：

进行动作匹配，将人眼图像区域按照数字九键，将2定义为上，5、8定义为中，1、4、7定义为左，3、6、9定义为右，如此按照一定比例将整个图像分为四个区域，根据虹膜圆心位置确定不同的人眼动作；

根据人眼眼眶的距离来判断是否眨眼，当距离小于一定的阈值，则判定为眨眼一次，为了防止出现误操作，将三帧画面信息中出现至少两次眨眼的情况，视为一次眨眼信号；

进行错误信息过滤：

对于得到的虹膜和眼眶的位置大小信息进行分析，若超出正常的情况，则认定为检测出错，并舍弃当前帧的信息，根据虹膜的半径检测大小反馈控制虹膜检测时设置的阈值，以达到自主调节控制优化光线带来的误差；

进行误操作过滤：

当人眼虹膜处于不同位置并且眨眼过后，视为触发第一次动作信号，在接下来的0.5s中，任何信号都视为无效信号，0.5s过后的2s内需要触发第二次相同的动作信号，成功触发则视为一次动作，否则判定为误操作，并舍弃目前储存的第一次信号；

步骤S36，输出动作信号，完成后进入UI界面，本发明的UI界面分为功能区域和调试区域，功能区域具有实时定位、天气预报、视频音乐播放、网页新闻浏览的功能，调试区域可以看到用户的人眼图像，各类位置坐标信息，以及触发的信号记录。

用户可以通过人眼不同的动作进行操作，当人眼向左/右/上/中间看时，眨眼可以分别触发光标左/右移、取消、确定等功能信号。程序根据不同的功能信号在UI上面反映出不同的操作，

最终实现的操作流程如下：没有用户时，多媒体镜子上显示当前时间，识别到有人进入目标范围内时，显示欢迎界面，并打开地图定位和天气预报功能。用户通过眨眼进入菜单，左右眨眼移动光标，眨眼确定，选定不同的功能使用，眼睛向上看返回。当人离开后，页面重新回到时间显示页面。

实时定位和天气预报调用了高德API接口获取数据，并在Qt设计界面上用WebView展现给用户。视频音乐播放和网页浏览采用Qt软件开发库中的multimedia widgets和webkit widgets实现。

综合利用Haar、LBP算法的优点，高效率实现人脸识别、人眼识别。通过多种原创图像处理方法获取虹膜、眼眶信息，进行动态的人眼动作匹配。通过分析机器检测结果，可进行负反馈，自主学习调节识别算法参数，优化光线带来的误差。在光线不佳的情况下，自主进行物理补光。提供PC主控端程序，可在设备安装后，远距离进行信息更新。内置视频、音乐、网页等多种媒体传播方式，增加了作品的应用价值。为特殊人群和多种应用场合提供了释放双手的交互方式，为残疾人提供了更为便利的操控方式，并为了理发店镜面提供了合理的利用方式，极大地增加了理发店的商业利用价值。

从而给用户提供一种新型的智能交互设备，可应用于多种场合给人们提供更加丰富的生活。

以上所述为本发明最佳实施方式的举例，其中未详细述及的部分均为本领域普通技术人员的公知常识。本发明的保护范围以权利要求的内容为准，任何基于本发明的技术启示而进行的等效变换，也在本发明的保护范围之内。

Claims (1)

1.一种眼球识别多媒体播放器的实现方法，其特征在于：所述眼球识别多媒体播放器，包括显示器、半透镜、摄像头，所述显示器与半透镜相结合，采用木质结构固定半透镜紧贴在显示器前方，半透镜贴有单向透视反光薄膜，显示器通过USB接口连接摄像头；

所述实现方法是利用开源的人脸、人眼库，运用LBP算法、Haar算法进行机器学习，生成能够使用的LBP正脸识别分类器和Haar左右眼识别分类器，利用LBP正脸识别分类器和Haar左右眼识别分类器来实现多媒体播放器的眼球识别功能；

所述播放器的实现方法包括以下具体步骤：

步骤S2，输入由摄像头获得的分辨率600*800的RGB人脸图像；

步骤S3，计算输入图像的灰度图，将输入的RGB图像转换为灰度图像，提取输入图像矩阵中的绿色通道像素信息作为灰度图像GrayImg的初始值；

步骤S4，检测灰度图像宽度为320，灰度图像的放缩比例为800/灰度图像宽度, 灰度图像高度为600/灰度图像的放缩比例，将灰度图像GrayImg按比例进行缩放，缩放后的灰度图像的分辨率为240*320；

步骤S5，将灰度图像GrayImg进行直方图均匀化处理，获得预处理的人脸图像Preprocessed Image，需要对图像进行双边滤波；

步骤S6，设置检测参数：最小特征尺度minfeatureSize=Size(30,30)、检测范围因子searchScaleFactor=1.1f、最小临近因子minneighbors=4、检测方式标识位fiag=CASCADE_FIND_BIGGEST_OBJECT︱CASCADE_DO_ROUGH_SEARCH，使得检测结果为所检测到目标中最大的；加载提前训练好的LBP人脸检测器，步骤S2-S5预处理过后的图像中获取到目标人脸Target Face的位置信息（x,y,width,height）；

步骤S8，对目标人脸Target Face按照计算比例进行坐标逆向变换，计算变化过后的x、y坐标及width、height，在原始图中将人脸图像储存在新的内存区域中；

步骤S9，根据坐标变换后得到的目标人脸信息Target Face，在原输入图像中提取人脸信息储存为人脸图像Face Image；

步骤S10，提取输入图像矩阵中的绿色通道像素信息作为人脸图像Face Image的灰度图像初始值，将人脸图像Face Image的灰度图像进行直方图均匀化处理，计算人脸图像Face Image的灰度图获得预处理的人脸图像preprocessed Face；

步骤S11，初始化参数EYE_SX = 0.16；EYE_SY = 0.26；EYE_SW = 0.30；EYE_SH =0.28，即初始化人眼位置估计比例：X、Y坐标、宽度、高度，在预处理的人脸图像preprocessed Face计算人眼位置：X、Y坐标、宽度、高度、leftx、topy、widthx、heighty、rightx，从预处理的人脸图像preprocessed Face中提取左眼和右眼的预估计图像；

步骤S12，利用训练好的Haar人眼检测器分别对左眼和右眼中预估图像来检测右眼和左眼，得到人眼具体的位置大小信息；

步骤S14，初始化LXmoveLen、LYmoveLen、RXmoveLen、RYmoveLen，即初始化人眼位置修正尺度：左右眼X、Y坐标移动尺度，对步骤S11中变换后的坐标进行逆向变换，计算左眼、右眼在原图中的x、y坐标和宽度、高度；

步骤S15，根据步骤S14所得信息在原图中获取准确的左眼、右眼的图像，对左眼、右眼图像进行缩放成80*100像素图像；

步骤S16，对左眼、右眼的图像进行双边滤波并转化为灰度图像，并用Canny算子对灰度图进行边缘检测；

步骤S17，初始化眼眶边缘itc1，使眼眶边缘itc1成为眼眶边缘集合中的第一个边缘，眼眶边缘集合是由眼眶边缘线上的点的坐标组成的集合；

步骤S18，对眼眶边缘itc1进行矩形拟合，得到能够包含边缘信息的最小矩阵，得到矩阵的x，y坐标和width，height信息；

步骤S19，计算出拟合最小矩阵的中心坐标，判断矩形是否满足眼眶的预估计位置，若是满足则将眼眶边缘itc1添加到Eye Edge集合；

步骤S20，将眼眶边缘itc1添加到Eye Edge集合；

步骤S21，判断眼眶边缘itc1是否为眼眶边缘集合中最后一条未检测的边缘；

步骤S22，赋值眼眶边缘itc1，令眼眶边缘itc1=眼眶边缘集合中下一条未检测眼眶边缘；

步骤S23， 判断Eye Edge集合是否为空；

步骤S24，对Eye Edge集合拟合最小矩形得到矩形眼眶信息rect；

步骤S25，对左眼、右眼的图像进行双边滤波并转化为灰度图像，设置阀值为24，即threshold(24,THRESH_BINARY)，对图像双边滤波转化过来的灰度图进行二值化运算，设置算子大小为（9，9）对二值化运算之后得到的图像进行形态学闭运算，设置阀值为1对形态学闭运算之后的图像进行二值化运算，进行边缘检测；

步骤S26，初始化虹膜边缘itc2，使得虹膜边缘itc2为虹膜边缘集合中的第一个边缘，虹膜边缘集合是由虹膜边缘线上的点的坐标组成的集合；

步骤S27，对虹膜边缘itc2进行圆形拟合，得到能够包含边缘信息的最小圆形，得到圆形的圆心、半径信息；

步骤S28，检测圆形圆心半径是否符合人眼虹膜；

步骤S29，将圆形的圆心和半径添加到List集合，List是自定义的一个列表，专门用来存储圆心和半径；

步骤S30，判断虹膜边缘itc2是否为虹膜边缘集合中最后一条未检测边缘；

步骤S31，赋值虹膜边缘itc2，使得虹膜边缘itc2等于虹膜边缘集合中下一条未检测虹膜边缘；

步骤S32，判断列表list是否为空；

步骤S33，从列表list中过滤出最大的虹膜半径及对应的圆心，得到虹膜半径、虹膜中心；

步骤S34，输出眼眶、虹膜半径、虹膜中心；

步骤S35，进行动作匹配、错误信息过滤、误操作过滤；

步骤S36，输出动作信号，完成后进入UI界面。

Images