CN104715234A - 一种侧视检测方法及系统 - Google Patents

Abstract

本发明公开了本发明提供了一种侧视检测方法，具体是通过检测并分析脸部方向变化实现的，包括以下步骤：S1、采集图像；S2、获取脸部图像；S3、找到脸部图像的中线；S4、判定是否存在侧视。还提供了一种侧视检测系统，包括图像采集装置，用于采集含有观看者的图像；图像处理分析装置，用于对采集到的图像进行处理分析，并得出判定结果；提醒装置，与图像处理分析装置相连，并根据图像处理分析装置输出的信息作出相应处理。本发明为现在存在于少年儿童中的电视性侧视症提供了一种智能检测提醒功能，再也不需要家长一直守候小孩旁进行提醒。不需要设置红外、电波的发射源，不需要传感器与发射源配套使用，还降低了安装调试的复杂性。

Description

一种侧视检测方法及系统

技术领域

本发明属于图形图像处理技术领域，尤其涉及一种侧视检测方法及系统。

背景技术

随着现代生活方式的改变，越来越多的人倾向于“坐”着休闲，孩子们参加户外活动的时间少了，坐在电视机前的时间越来越多。有些孩子平时头位正常，眼位，眼球运动以及屈光等各项检查都没有异常，只有在专心看电视时，出现面部及眼部向一侧偏斜，双眼侧看向前凝视，这种现象为“侧视症”。侧视症的孩子只出现在看电视这一特殊的环境下歪头，眼位检查没问题，不是斜视引起的。侧视是一种不良习惯，这种习惯如果不在儿童阶段予以纠正，在成年后就会定型，给生活带来影响。然而，目前大多只是依靠父母的提醒来纠正。这样给父母带来了很多不便，并且父母也不可能经常守在少年儿童身边，时刻关注着孩子。

目前有一些检测侧视的装置，大都是用红外感应来实现检测，此类装置主要是利用红外线来实施报警提醒，它包括红外线报警装置和佩戴于头上的红外线反射板，当偏头或斜着头时，戴于头上的红外线反射板将不能反射红外线，从而实现报警提醒。

当然还有一些类似的，不过不是提醒侧视的提醒器，比如一种头戴式智能提醒器,包括用于感应使用者状态的感应器和报警装置,所述的感应器至少包括：一用于感应使用者头部状态的感应模块；一用于收发、处理感应模块信号的感应器主控模块；感应模块感应使用者头部状态后将数据传递至主控模块,主控模块对数据处理后驱动报警装置。

还有一种头戴式智能视力保护仪,它包括：传感器、控制器和报警装置；所述传感器对距离、光强或者倾角进行测量,其中采用红外PSD、红外TOF或者激光测量单元对距离进行测量的,采用光敏传感器对光强进行测量,采用重力加速度传感器或者陀螺仪对倾角进行测量；所述控制器接收来自所述传感器测得相应数据,所述控制器根据测量结果与设定值相比较,如果超出设定范围,则触发所述报警装置发出报警；所述报警装置根据所述控制器的控制命令进行报警。

但是以上的一些装置存在一些弊端：1、每次使用时，必须要将感应块佩戴于头上，这会使头部很不舒服。2、由于都是利用红外线感应来实现检测，所以这种红外线或多或少会对身体存在一些辐射伤害。3、每次离开或者开启，都要重新佩戴和调整一下装置，所以使用极不方便。

发明内容

针对现有技术存在的上述问题，本发明的目的在于提供一种侧视检测方法及系统。

本发明提供了一种侧视检测方法，是通过检测并分析被检测者的脸部方向变化判定是否存在侧视。

更优选地，该侧视检测方法包括以下步骤：

S1、采集图像，采集含有被检测者的图像；

S2、获取脸部图像，将步骤S1中获得的图像转换色彩空间，并标出肤色区域，然后根据肤色区域面积及形状找出人脸区域图像；

S3、找到脸部图像的中线，将步骤S2中获得的脸部图像进行灰度化处理，对灰度图像二值化，并经形态学处理，标记各区域，根据各区域的特征属性找出人眼位置，根据两眼位置，找出两眼连线的中垂线即为脸部图像的中线；

S4、判定是否存在侧视，以步骤S3中获得的脸部图像中线为界，分别计算两眼以下一定区域两边的面积，根据两边面积的比值，判别是否存在侧视。

优选地，所述步骤S1中每隔0.5-5S采集一次图像。

优选地，所述步骤S2具体包括以下步骤，

S2.1、图像预处理，将获得的图像进行除噪处理；

S2.2、转换色彩空间，将除噪处理后的图像按下列公式转换到YIQ色彩空间；

$\left\{\begin{array}{ccc}Y=0.299R& +0.587G& +0.114B\\ I=0.596R& -0.275G& +0.321B\\ Q=0.212R& -0.523G& +0.311B\end{array}\right.$

S2.3、标记皮肤区域，当YIQ色彩空间中色调值I满足如下条件时为皮肤区域，

其中g(x,y)是与原图像同样大小的零矩阵，a、b为肤色模型中色调的边界，即当色调值I满足a＜1＜b时该区域为肤色区域，其中用0来表示非皮肤区域，用1来表示皮肤区域；，由于定量化研究表明，人类皮肤颜色在I分量上主要分布在[0，0.1961]之间，故本发明中a取0，b取0.1961。

S2.4、形态学处理，对皮肤区域的图像进行形态学处理并计算各个皮肤区域的面积；

S2.5、找出人脸图像并分割之，根据皮肤区域的面积大小判定人脸区域，对找到的人脸区域进行形状和面积分析，并将其分割出来，得到人脸图像F。

优选地，所述步骤S3具体包括以下步骤，

S3.1、将人脸图像F按以下公式进行灰度化处理；

gray＝0.3×r+0.59×g+0.11×b

S3.2、对灰度化处理后的图像按以下公式进行灰度变换，

$\left\{\begin{array}{cc}g(x,y)=c& 0\≤f(x,y)\≤a\\ g(x,y)=\left(\frac{d-c}{b-a}\right)f(x,y)+c& a\≤f(x,y)\≤b\\ g(x,y)=d& b\≤f(x,y)\≤M_f\end{array}\right.$

其中f(x,y)为原图，它的的灰度范围为[a,b]，g(x,y)为变换后的图像，它的灰度范围为[c,d]；Mf为f(x,y)的最大值；

S3.3、对灰度变换后的图像按以下公式进行二值化处理，

$\left\{\begin{array}{cc}g(x,y)=0& f(x,y)\≤a\\ g(x,y)=255& a\≤f(x,y)\end{array}\right.$

其中f(x,y)为原图，a为二值化的阈值，g(x,y)为二值化后的图像；其中a可以由阈值选取算法比如双峰法、最大熵阈值法等来确定；

S3.4、对二值化后的图像进行数学形态学处理，去除噪音；

S3.5、利用bwlabel()函数对经步骤S3.4处理后的图像的各个区域块进行标记；

S3.6、用regionprops()函数对经步骤S3.4处理后的图像的各个区域块度量属性；

S3.7、对各个标记区域进行分析，找出人眼所在区域；

S3.8、根据两眼的坐标，计算出两眼连线的中垂线L的坐标表示，即脸部中线。

优选地，所述步骤S3.7具体包括以下步骤，

S3.7.1、将各个区域中面积大于a的去掉；

S3.7.2、根据包含该区域的最大矩形的长宽比来排除一些非人眼区域；

S3.7.3、从上述两步骤排除后的区域中找到人眼所在区域，首先计算出脸部图像的宽度和高度，其值标记为W、H，其次从H的前35％-55％以及W的前40％-70％区域找出两块位于脸部图像中高度位置接近的区域，确定为人眼所在区域。

优选地，所述步骤S4的具体处理方法为，以脸部图像中线为界，分别计算两眼以下1.5倍两眼距离之间两边的皮肤面积，并根据如下公式判别是否存在侧视，

$\left\{\begin{array}{c}\frac{A\_1}{A\_1+A\_r}<w\\ \frac{A\_1}{A\_1+A\_r}>e\end{array}\right.$

其中A_l表示左边面积，A_r表示右边面积，w、e为比例系数，w＜0.5、e＞0.5，当满足第一个公式时，说明测试者出现了向左的侧视，反之则说明其出现了向右的侧视。

优选地，还包括步骤S5，根据步骤S4所得到的判定信息，如果存在侧视，则向测试者发出提示信息，反之则不予提示。

本发明还提供了一种侧视检测系统，包括图像采集装置，用于采集含有观看者的图像；

图像处理分析装置，用于对采集到的图像进行处理分析，并得出判定结果；

提醒装置，与图像处理分析装置相连，并根据图像处理分析装置输出的信息作出相应处理。

优选地，所述图像处理分析装置包括图像预处理单元，用于对从图像采集装置采集过来的图像进行图像增强处理；

人脸检测分割单元，用于对经过图像预处理单元处理后的图像进行肤色检测，并对检测后的肤色区域进行处理分析，找到人脸部区域并分割；

人眼定位单元，用于对双眼定位并获取人眼位置；

侧视判别单元，用于根据双眼的位置，找出双眼之间的中垂线，并计算中垂线两边一定区域范围内的肤色面积，根据这两边肤色面积的比值来判别侧视与否。

优选地，所述图像采集装置包括摄像头和用于对控制摄像头的控制单元，所述控制单元还用于把从摄像头采集的图像送入图像处理分析装置。

综上所述，本发明具有以下优点：

1、本发明适用于现代家电的电视机或者电脑显示屏应用中，为现在存在于少年儿童中的电视性侧视症提供了了一种智能检测提醒功能。再也不需要家长一直守候小孩旁进行提醒。2、本发明主要打破了传统的仅仅基于红外线感应来获取姿态的局限性，采用了图像分析实时姿态，且相比于红外线感应，更为方便、准确。3、本发明不需要设置红外、电波的发射源，不需要传感器与发射源配套使用，还降低了安装调试的复杂性。4、本发明所提供的侧视检测方法，实现了人机交流，提高了提醒器的的灵活性，提高了设备的智能化和人性化程度，并且侧视判定的准确性较高。

附图说明

图1为本发明实施例中摄像头的安装示意图；

图2为本发明实施例的侧视检测系统的结构框图；

图3为本发明实施例的侧视检测方法的流程图；

图4为本发明提供的侧视检测方法的实验结果图；

图5为本发明提供的侧视检测方法的实验结果图。

具体实施方式

下面结合实施方式及附图对本发明作进一步详细、完整地说明。

如图1-3所示,，本发明提供了一种侧视检测方法，它包括以下步骤：

S1、采集图像，采集含有被检测者的图像。

在ARM处理器的控制下，利用安装在电视机的正上方的摄像头1实时采集电视机前面含有观看者的图像。可以每隔0.5-5S秒采集一张图像送入下一步骤处理，间隔时间的取值会影响着该系统的反应时间。

S2、获取脸部图像，将步骤S1中获得的图像转换色彩空间，并标出肤色区域，然后根据肤色区域面积及形状找出人脸区域图像。

S2.1、图像预处理，将获得的图像进行除噪处理；

S2.2、转换色彩空间，将除噪处理后的图像按下列公式转换到YIQ色彩空间；

$\left\{\begin{array}{ccc}Y=0.299R& +0.587G& +0.114B\\ I=0.596R& -0.275G& +0.321B\\ Q=0.212R& -0.523G& +0.311B\end{array}\right.$

S2.3、标记皮肤区域，当YIQ色彩空间中色调值I满足如下条件时为皮肤区域，

其中g(x,y)是与原图像同样大小的零矩阵，a、b为肤色模型中色调的边界，即当色调值I满足a＜1＜b时该区域为肤色区域，其中用0来表示非皮肤区域，用1来表示皮肤区域；

S2.4、形态学处理，对皮肤区域的图像进行形态学处理并计算各个皮肤区域的面积；

S2.5、找出人脸图像并分割之，根据皮肤区域的面积大小判定人脸区域，对找到的人脸区域进行形状和面积分析，并将其分割出来，得到人脸图像F。

得到的二值图像，其中白色区域表示皮肤区域，黑色区域表示非皮肤区域。经过肤色检测，由于受背景和图像质量的影响，可能误检到一些虚假皮肤区域和漏检皮肤区域的一些像素。因此采用数学形态学原理对肤色图像进行进一步处理，然后将经过形态学处理后的图像进行标记并得到图像中各个皮肤区域的面积，最后根据面积的大小判别是否存在人脸区域，并将一些不可能是人脸区域的区域去掉(譬如面积很小的肯定不会是人脸区域)。所剩的区域极可能就是人脸区域，接着再对该区域进行面积及形状分析，最后找出人脸区域并分割出来。得到人脸图像F。

S3、找到脸部图像的中线，将步骤S2中获得的脸部图像进行灰度化处理，对灰度图像二值化，并经形态学处理，标记各区域，根据各区域的特征属性找出人眼位置，根据两眼位置，找出两眼连线的中垂线即为脸部图像的中线。

由于眼睛具有不同于肤色的色度特征，并且在眼睛周围都是肤色。所以人脸灰度图像中人眼会和其他部位区别很明显，即人眼部分会比脸部肤色部位黑一些。因此采用先灰度化再二值化最后搜寻匹配的方法进行人眼定位。

S3.1、将人脸图像F按以下公式进行灰度化处理；

gray＝0.3×r+0.59×g+0.11×b

S3.2、对灰度化处理后的图像按以下公式进行灰度变换，

$\left\{\begin{array}{cc}g(x,y)=c& 0\&le;f(x,y)\&le;a\\ g(x,y)=\left(\frac{d-c}{b-a}\right)f(x,y)+c& a\&le;f(x,y)\&le;b\\ g(x,y)=d& b\&le;f(x,y)\&le;M_f\end{array}\right.$

其中f(x,y)为原图，它的的灰度范围为[a,b]，g(x,y)为变换后的图像，它的灰度范围为[c,d]；Mf为f(x,y)的最大值；

S3.3、对灰度变换后的图像按以下公式进行二值化处理，

$\left\{\begin{array}{cc}g(x,y)=0& f(x,y)\&le;a\\ g(x,y)=255& a\&le;f(x,y)\end{array}\right.$

其中f(x,y)为原图，a为二值化的阈值，g(x,y)为二值化后的图像；

S3.4、对二值化后的图像进行数学形态学处理，去除噪音；

S3.5、利用bwlabel()函数对经步骤S3.4处理后的图像的各个区域块进行标记；

S3.6、用regionprops()函数对经步骤S3.4处理后的图像的各个区域块度量属性；

S3.7、对各个标记区域进行分析，找出人眼所在区域；

S3.7.1、将各个区域中面积大于a的去掉；

S3.7.2、根据包含该区域的最大矩形的长宽比来排除一些非人眼区域；

S3.7.3、从上述两步骤排除后的区域中找到人眼所在区域，首先计算出脸部图像的宽度和高度，其值标记为W、H，其次从H的前35％-55％以及W的前40％-70％区域找出两块位于脸部图像中高度位置接近的区域，确定为人眼所在区域。

S3.8、根据两眼的坐标，计算出两眼连线的中垂线L的坐标表示，即脸部中线。

S4、判定是否存在侧视，以步骤S3中获得的脸部图像中线为界，分别计算两眼以下一定区域两边的面积，根据两边面积的比值，判别是否存在侧视。

优选地，所述步骤S4的具体处理方法为，以脸部图像中线为界，分别计算两眼以下1.5倍两眼距离之间两边的皮肤面积，并根据如下公式判别是否存在侧视，

$\left\{\begin{array}{c}\frac{A\_1}{A\_1+A\_r}<w\\ \frac{A\_1}{A\_1+A\_r}>e\end{array}\right.$

其中A_l表示左边面积，A_r表示右边面积，w、e为比例系数，w＜0.5、e＞0.5，当满足第一个公式时，说明测试者出现了向左的侧视，反之则说明其出现了向右的侧视。

由于肤色图像中皮肤像素是1，非皮肤像素为0，所以计算肤色面积时可以直接将像素值相加。最后将两边的肤色面积相比。在根据这两边的面积比值来判别是否存在侧视，如果存在又该往哪边偏转来调整等一些提示信息。

S5、根据步骤S4所得到的判定信息，如果存在侧视，则向测试者发出提示信息，反之则不予提示。

该提示信息包括：请向左偏一点和请向右偏一点。通过文字、声音或者指示灯的方式来提醒观看者。

一种侧视检测系统，包括图像采集装置，用于采集含有观看者的图像。

所述图像采集装置包括摄像头1和用于对控制摄像头1的控制单元，所述控制单元还用于把从摄像头1采集的图像送入图像处理分析装置。

图像处理分析装置，用于对采集到的图像进行处理分析，并得出判定结果。

所述图像处理分析装置包括图像预处理单元，用于对从图像采集装置采集过来的图像进行图像增强处理；人脸检测分割单元，用于对经过图像预处理单元处理后的图像进行肤色检测，并对检测后的肤色区域进行处理分析，找到人脸部区域并分割；人眼定位单元，用于对双眼定位并获取人眼位置；侧视判别单元，用于根据双眼的位置，找出双眼之间的中垂线，并计算中垂线两边一定区域范围内的肤色面积，根据这两边肤色面积的比值来判别侧视与否。

提醒装置，与图像处理分析装置相连，并根据图像处理分析装置输出的信息作出相应处理。

侧视检测方法效果实验

为了测试本发明提供的侧视检测方法的识别率，采用MATLAB设计一个GUI图形界面，该图形界面的功能主要包括调用摄像头进行图像采集并对这些图片进行侧视检测实验。该实验中采用自动聚焦摄像头，并通过摄像头一次性实时采集100张图片，然后通过该侧视检测方法对这些图片进行处理。其中侧视检测的部分实验结果如图4、图5所示。实验中经过采集多个人的不同状态(如戴眼镜或不戴眼镜)的图片进行测试。经过采集两人共4次的结果分析(其中每人2次：1次戴眼镜，另1次不戴眼镜。每次100张图片，采集中被测试者随机做不同的侧视状态如向左偏一点或向右偏等)。检测结果如下表：

总图片数	检测数(能测出结果的)	误测数(结果错误的)
			400	365	20

最后算得检测率为91.25％,误检率为5.48％。由上述实验结果可知，本发明提供的侧视检测方法检测精准，检出率高。

同时本发明上述实施例仅为说明本发明技术方案之用，仅为本发明技术方案的列举，并不用于限制本发明的技术方案及其保护范围。采用等同技术手段、等同设备等对本发明权利要求书及说明书所公开的技术方案的改进应当认为是没有超出本发明权利要求书及说明书所公开的范围。

Claims (11)

1.一种侧视检测方法，其特征在于，是通过检测并分析被检测者的脸部方向变化判定是否存在侧视。

2.如权利要求1所述的侧视检测方法，其特征在于，所述侧视检测方法包括以下步骤：

S1、采集图像，采集含有被检测者的图像；

S2、获取脸部图像，将步骤S1中获得的图像转换色彩空间，并标出肤色区域，然后根据肤色区域面积及形状找出人脸区域图像；

S3、找到脸部图像的中线，将步骤S2中获得的脸部图像进行灰度化处理，对灰度图像二值化，并经形态学处理，标记各区域，根据各区域的特征属性找出人眼位置，根据两眼位置，找出两眼连线的中垂线即为脸部图像的中线；

S4、判定是否存在侧视，以步骤S3中获得的脸部图像中线为界，分别计算两眼以下一定区域两边的面积，根据两边面积的比值，判别是否存在侧视。

3.如权利要求1所述的侧视检测方法，其特征在于，所述步骤S1中每隔0.5-5S采集一次图像。

4.如权利要求1所述的侧视检测方法，其特征在于，所述步骤S2具体包括以下步骤，

S2.1、图像预处理，将获得的图像进行除噪处理；

S2.2、转换色彩空间，将除噪处理后的图像按下列公式转换到YIQ色彩空间；

$\left\{\begin{array}{ccc}Y=0.299R& +0.587G& +0.114B\\ I=0.596R& -0.275G& +0.321B\\ Q=0.212R& -0.523G& +0.311B\end{array}\right.$

S2.3、标记皮肤区域，当YIQ色彩空间中色调值I满足如下条件时为皮肤区域，

其中g(x,y)是与原图像同样大小的零矩阵，a、b为肤色模型中色调的边界，即当色调值I满足a＜1＜b时该区域为肤色区域，其中用0来表示非皮肤区域，用1来表示皮肤区域；

S2.4、形态学处理，对皮肤区域的图像进行形态学处理并计算各个皮肤区域的面积；

S2.5、找出人脸图像并分割之，根据皮肤区域的面积大小判定人脸区域，对找到的人脸区域进行形状和面积分析，并将其分割出来，得到人脸图像F。

5.如权利要求1所述的侧视检测方法，其特征在于，所述步骤S3具体包括以下步骤，

S3.1、将人脸图像F按以下公式进行灰度化处理；

gray＝0.3×r+0.59×g+0.11×b

S3.2、对灰度化处理后的图像按以下公式进行灰度变换，

$\left\{\begin{array}{cc}g(x,y)=c& 0\&le;f(x,y)\&le;a\\ g(x,y)=\left(\frac{d-c}{b-a}\right)f(x,y)+c& a\&le;f(x,y)\&le;b\\ g(x,y)=d& b\&le;f(x,y)\&le;M_f\end{array}\right.$

其中f(x,y)为原图，它的的灰度范围为[a,b]，g(x,y)为变换后的图像，它的灰度范围为[c,d]；Mf为f(x,y)的最大值；

S3.3、对灰度变换后的图像按以下公式进行二值化处理，

$\left\{\begin{array}{cc}g(x,y)=0& f(x,y)\&le;a\\ g(x,y)=255& a\&le;f(x,y)\end{array}\right.$

其中f(x,y)为原图，a为二值化的阈值，g(x,y)为二值化后的图像；

S3.4、对二值化后的图像进行数学形态学处理，去除噪音；

S3.5、利用bwlabel()函数对经步骤S3.4处理后的图像的各个区域块进行标记；

S3.6、用regionprops()函数对经步骤S3.4处理后的图像的各个区域块度量属性；

S3.7、对各个标记区域进行分析，找出人眼所在区域；

S3.8、根据两眼的坐标，计算出两眼连线的中垂线L的坐标表示，即脸部中线。

6.如权利要求5所述的侧视检测方法，其特征在于，所述步骤S3.7具体包括以下步骤，

S3.7.1、将各个区域中面积大于a的去掉，a为整个人脸图像面积的5％～10％。

S3.7.2、根据包含该区域的最大矩形的长宽比来排除一些非人眼区域；

S3.7.3、从上述两步骤排除后的区域中找到人眼所在区域，首先计算出脸部图像的宽度和高度，其值标记为W、H，其次从H的前35％-55％以及W的前40％-70％区域找出两块位于脸部图像中高度位置接近的区域，确定为人眼所在区域。

7.如权利要求1所述的侧视检测方法，其特征在于，所述步骤S4的具体处理方法为，以脸部图像中线为界，分别计算两眼以下1.5倍两眼距离之间两边的皮肤面积，并根据如下公式判别是否存在侧视，

$\left\{\begin{array}{c}\frac{A\_l}{A\_l+A\_r}<w\\ \frac{A\_l}{A\_l+A\_r}>e\end{array}\right.$

其中A_l表示左边面积，A_r表示右边面积，w、e为比例系数，w＜0.5、e＞0.5，当满足第一个公式时，说明测试者出现了向左的侧视，反之则说明其出现了向右的侧视。

8.如权利要求1所述的侧视检测方法，其特征在于，还包括步骤S5，根据步骤S4所得到的判定信息，如果存在侧视，则向测试者发出提示信息，反之则不予提示。

9.一种侧视检测系统，其特征在于，包括图像采集装置，用于采集含有观看者的图像；

图像处理分析装置，用于对采集到的图像进行处理分析，并得出判定结果；

提醒装置，与图像处理分析装置相连，并根据图像处理分析装置输出的信息作出相应处理。

10.根据权利要求9所述的侧视检测系统，其特征在于，所述图像处理分析装置包括图像预处理单元，用于对从图像采集装置采集过来的图像进行图像增强处理；

人脸检测分割单元，用于对经过图像预处理单元处理后的图像进行肤色检测，并对检测后的肤色区域进行处理分析，找到人脸部区域并分割；

人眼定位单元，用于对双眼定位并获取人眼位置；

侧视判别单元，用于根据双眼的位置，找出双眼之间的中垂线，并计算中垂线两边一定区域范围内的肤色面积，根据这两边肤色面积的比值来判别侧视与否。

11.根据权利要求9所述的一种侧视检测系统，其特征在于，所述图像采集装置包括摄像头和用于对控制摄像头的控制单元，所述控制单元还用于把从摄像头采集的图像送入图像处理分析装置。