CN111696142A - 一种快速人脸检测方法及系统 - Google Patents

Abstract

本申请一种快速人脸检测方法及系统，属于智慧教学领域，在对图像进行人脸检测之前去除无效的图像区域，保留有效检测区域，从而减小待人脸检测图像的大小，尤其对于高清图像而言可有效提高人脸检测速度；实施本发明的技术方案可高效处理视频流的帧图像这样处理量庞大的数据，裁剪图像的无效区域可有效节约运算资源，为后续的智慧课堂管理系统提供充足的计算资源，有利于系统其余功能的开发和扩展。

Description

一种快速人脸检测方法及系统

技术领域

本发明属于智慧教学领域，具体涉及一种快速人脸检测方法及系统。

背景技术

智慧课堂是区别于传统课堂教学，通过大数据分析与教育理念的融合的一种新型优化教学模式，在智慧课堂推广的背景下人脸检测技术的应用相当广泛，用于包括学生考勤、课堂情绪分析、教学评价等，教学评价中又包括利用录制好的教学视频对教师的教学质量进行评价，因此需要对教学视频中的教师人脸进行检测。

为了保证视频质量往往在教室内录制时进行高清拍摄，得到的单帧图像像素数目非常大，高清视频的单帧图像的像素点可达上百万，现有的人脸检测算法的运算速度往往随着图像尺寸的增大呈现爆炸性增长，严重拖慢检测速度；一些运算速度相对较快的算法处理图像时会对图像进行全局区域检测，对于录制视频这样庞大的处理量仍会耗费大量运算资源，影响检测速度。

发明内容

基于此，本发明提供一种快速人脸检测方法及系统，去除图像中的无效区域以减小待人脸检测的图像区域，提高人脸检测速度，以克服现有技术的缺陷。

本发明一种快速人脸检测方法，包括：

S1.获取视频流的单帧待检测图像，前一帧图像的检测结果中已确定无效区域时直接裁剪待检测图像中的无效区域得到二次图像，否则检测待检测图像的无效区域并裁剪；

所述无效区域以图像中的选定标志物作为参照系；

S2.对二次图像在前一帧图像中确定的人脸检测自适应区域内进行人脸检测，当前一帧图像未检测到人脸时对二次图像进行全图范围内的人脸检测，以已检测得的人脸为中心构建人脸检测自适应区域作为下一帧待检测图像的人脸检测区域。

优选地，步骤S1中所述的检测待检测图像的无效区域并裁剪包括：

S11.对待检测图像作灰度化处理得到灰度图像；

S12.根据设定好的灰度转换阈值对灰度图像二值化得到二值化图；

S13.检测二值化图中的选定标志物的图像区域，获取位于选定标志物上方的图像部分作为无效区域并裁剪。

优选地，步骤S13包括：

S131.根据设定的子图域像素阈值对二值化图从上而下从左至右检测与选定标志物相同灰度值的子图域，其中子图域属于选定标志物图像区域的一部分，其上边沿与选定标志物图像区域的上边沿重合；

S132.以子图域的上边沿为基准确定选定标志物上方的图像部分作为无效区域并裁剪。

优选地，步骤S131包括：

子图域像素阈值设为m×n，以二值化图的左上角为坐标系原点构建坐标系，x轴方向为自左指向右，y轴方向为自上指向下，对二值化图从上至下从左至右检测，在x轴方向连续检测得m个与选定标志物同灰度值的像素点设为一条像素线，且在y轴方向连续检测得n条像素线时视为检测得子图域。

优选地，对二值化图从上至下从左至右检测时记录x轴方向上当前像素线的首个像素点的坐标(x₀,y₀)，在y轴方向对下一条像素线的检测以坐标为(x₀-2,y₀+1)的像素点为起点。

优选地，步骤S2包括：

S21.对二次图像进行全图范围内的人脸检测输出人脸的中心位置坐标，以该中心位置坐标为中点构建人脸检测自适应区域；

S22.把人脸检测自适应区域与二次图像进行交集运算得到图像重合部分作为下一帧待检测图像的人脸检测区域。

优选地，根据人脸在连续两帧待检测图像之间移动的幅度，为保证人脸检测的准确度，步骤S21中构建的人脸检测区域的像素大小为700×500。

优选地，所述灰度转换阈值为120。

优选地，子图域像素阈值设为150×50。

优选地，采用多任务级联卷积神经网络对二次图像进行全图范围内的人脸检测。

另一方面，本发明还提供一种快速人脸检测系统，包括：

待检测图像采集模块，用于获取视频流的单帧待检测图像；

无效区域检测模块，用于检测待检测图像中的无效区域并裁剪得到二次图像；

人脸检测模块，用于对二次图像进行全图范围的人脸检测；

人脸检测自适应区域构建模块，用于根据人脸检测模块的检测结果构建下一帧图像的人脸检测区域。

从以上技术方案可以看出，本发明具有以下有益效果：

本发明一种快速人脸检测方法及系统，在对图像进行人脸检测之前去除无效的图像区域，保留有效检测区域，从而减小待人脸检测图像的大小，尤其对于高清图像而言可有效提高人脸检测速度；实施本发明的技术方案可高效处理视频流帧图像这样处理量庞大的数据，裁剪图像的无效区域可有效节约运算资源，为后续的智慧课堂管理系统提供充足的计算资源，有利于系统其余功能的开发和扩展。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1本发明一种实施例提供的快速人脸检测系统结构框图

图2本发明一种实施例提供的快速人脸检测方法实施流程图

图3本发明另一实施例提供的快速人脸检测方法实施流程图

图4本发明另一实施例提供的待检测图像灰度值图

图5本发明另一实施例提供的待检测图像二值化图

图6本发明另一实施例提供的待检测图像二值化图的简化模型图

图7本发明另一实施例提供的人脸检测自适应区域构建示意图

图8本发明另一实施例提供的快速人脸检测方法的交集运算示意图

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1和图2，本实施例提供一种快速人脸检测系统，包括：

待检测图像采集模块，用于获取视频流的单帧待检测图像；

无效区域检测模块，用于检测待检测图像中的无效区域并裁剪；

人脸检测模块，用于对二次图像进行全图范围的人脸检测；

人脸检测自适应区域构建模块，用于根据人脸检测模块的检测结果构建下一帧图像的人脸检测区域。

该系统进行快速人脸检测时有如下方法步骤：

S1.待检测图像采集模块获取视频流的单帧待检测图像，前一帧图像的检测结果中已确定无效区域时直接裁剪待检测图像中的无效区域得到二次图像，否则无效区域检测模块对待检测图像的无效区域进行检测并裁剪；

所述无效区域以图像中的选定标志物作为参照系；

S2.人脸检测模块对二次图像在前一帧图像中确定的人脸检测自适应区域内进行人脸检测，当前一帧图像未检测到人脸时对二次图像进行全图范围内的人脸检测，人脸检测自适应区域构建模块以已检测得的人脸为中心构建人脸检测自适应区域作为下一帧待检测图像的人脸检测区域。

步骤S1中所述的检测待检测单帧图像的无效区域并裁剪包括：

S11.对待检测图像作灰度化处理得到灰度图像；

S12.根据设定好的灰度转换阈值对灰度图像二值化得到二值化图；

S13.检测二值化图中的选定标志物的图像区域，获取位于选定标志物上方的图像部分作为无效区域并裁剪。

步骤S13包括：

S131.根据设定的像素阈值对二值化图从上而下从左至右检测与选定标志物相同灰度值的子图域，其中子图域属于选定标志物的图像区域的一部分，其上边沿与选定标志物的上边沿重合；

S132.以子图域的上边沿为基准确定选定标志物上方的图像部分作为无效区域并裁剪。

步骤S131包括：

像素阈值设为m×n，以二值化图的左上角为坐标系原点构建坐标系，x轴方向为自左指向右，y轴方向为自上指向下，对二值化图从上至下从左至右检测，在x轴方向连续检测得m个与选定标志物同灰度值的像素点设为一条像素线，且在y轴方向连续检测得n条像素线时视为检测得子图域。

其中步骤S131中对二值化图从上至下从左至右检测时记录x轴方向上当前像素线的首个像素点的坐标(x₀,y₀)，在y轴方向对下一条像素线的检测以坐标为(x₀-2,y₀+1)的像素点为起点。

步骤S2包括：

S21.采用多任务级联卷积神经网络MTCNN人脸检测算法对二次图像进行全图范围内的人脸检测输出人脸的中心位置坐标，以该中心位置坐标为中点构建人脸检测自适应区域；

S22.把人脸检测自适应区域与二次图像进行交集运算得到图像重合部分作为下一帧待检测图像的人脸检测区域。

根据人脸在连续两帧待检测图像之间移动的幅度，为保证人脸检测的准确度，步骤S21中构建的人脸检测区域的像素大小为700×500。

下面结合一个具体的应用场景提供另一实施例以更详细的说明本发明的快速人脸检测方法。

本实施例以带黑板的教室为场景，当需要录制教学视频时在教室吊顶的摄像头距离人脸的最远距离可达8m,为了拍摄到较为清晰的人脸，采用的图像尺寸为1920×1080，视频的帧率为25fps，帧宽度为1920，帧高度为1080，因此得到的单帧图像像素点超过200万个，本实施例对图像进行人脸检测时通过减小图像检测区域以提高人脸检测速度。

本实施例的图像采集及处理系统包括了控制电脑、路由器、POE交换机和网络摄像头。电脑通过无线局域网与路由器进行通信，路由器则从LAN接口引出一根网线连接到POE交换机的IN接口，从POE交换机的OUT接口引出一根网线连接到摄像头的以太网接口上。为了减少视频流传输的时延，采用了1000MHZ的路由器和六类网线，六类网线可以支撑千兆级别的网络传输。目前市面上已有不少网络摄像头采用POE技术，POE技术指的是在保障传输数据信号的前提下，还能为该设备提供直流供电的技术，故而采用了POE交换机为POE摄像头提供电源并获取其数据信号，POE交换机也可以与非POE摄像头正常连接使用。

网络摄像头主要用于拍摄教师所在区域，教师无需佩戴任何辅助采集器，安装位置是在教室后方的中间位置，本实施例中的教室长宽分别是9m和6m，则摄像头安装在教室后方中间的3m处，摄像头距离黑板的距离取值范围是6到8m，本实施例中摄像头安装在距离黑板6m的位置；摄像头在中间位置可以更全面地采集教室的情况；摄像头的高度为1.6m到2.2m，这个范围对应了绝大部分人的身高，当摄像头的高度与人的高度想接近时，摄像头与人脸的俯仰角偏差小，对于后续的计算更加有利，在本实施例，摄像头的安装高度为2m。

在控制电脑上运行本实施例的快速人脸检测方法的软件程序，通过无线局域网控制网络摄像头获取教学视频内容，可以快速而准确地检测到教师的人脸位置，并且采用方框在图像上将人脸标注出来。

根据我国设计的教室，黑板的上边沿的高度一般离地面2.2米以上，而教师的身高绝大部分都是在这个高度以下，拍摄的网络摄像头距离黑板6m，因此拍摄得到的图像中人脸低于黑板上边沿位置，因此本实施例中以图像中的黑板作为选定标志物，黑板上边沿以上区域的图像为无效区域，只要在进行人脸检测任务之前，将图片中的黑板上边沿位置检测得到并裁剪便可以减少检测区域，进而提升了人脸检测的速度。

本实施例的快速人脸检测方法实施流程如图3所示，

输入教学视频的单帧待检测图像，如果前一帧图像没有检测到黑板上边沿位置，就进行黑板上边沿位置检测；前一帧图像已经检测到了黑板上边沿位置便不再重复检测，根据前一帧图像的检测结果对当前待检测图像直接裁剪图像中黑板上边沿以上区域的图像；然后对裁剪剩下的黑板上边沿以下区域的图像进行人脸检测，前一帧图像已检测得人脸并构建了人脸检测自适应区域时就在该人脸检测自适应区域内进行人脸检测；否则就直接在裁剪剩下的图像中全图范围内进行人脸检测，以已检测得的人脸为中心构建人脸检测自适应区域作为下一次人脸检测的检测区域。

具体地，检测黑板并获取其上边沿位置包括：

将单帧的三通道待检测彩色图像进行灰度化处理结果如图4所示。经过多张灰度值图像的数据统计，教室内的黑板的灰度值普遍在120以上，故而将灰度图像进行图像二值化时灰度转换阈值设为120，灰度值大于120的转为黑色，小于120的为白色，便得到一张二值化的图像如图5所示。

将图5所示的二值化图像简化为如图6所示的模型图，将黑板看成是由多个黑色区域组成，如图6中的A区域，A区域的上边沿与黑板上边沿重合，故而只要检测到A区域获得其上边沿位置，即得到了黑板的上边沿位置。本实施例中待检测的图像像素为1920×1080，图像中黑板占据的像素区域大约为1200×400，并且黑板上边沿以上区域并没有超过像素150×50大小的黑色区域，则将A区域的像素大小设置为150×50。只要对待检测图像进行自上而下且从左到右的检测过程中，首次检测到150×50的黑色区域则视为A区域被检测到，A区域的上边沿位置即黑板的上边沿位置，返回A区域的首个黑色像素点的坐标值,该像素点的纵坐标值便可以确定黑板的上边沿位置。

对于一个像素大小为150×50的黑色区域，将其看成50条连续的黑色像素线，每条像素线由150个黑色像素点组成。在图像坐标中，以图像的左上角为坐标系原点，对二值化图像的每个像素点的值进行检测，当图像的x轴方向上首次连续出现150个黑像素点记为一条像素线，同时记录该像素线的首个黑像素点的坐标(x₀,y₀)，由于黑板在图像中并非一定是矩形，因此对下一条像素线的检测从点(x₀-2,y₀+1)开始，当存在连续150个黑像素点便判定为另一条像素线，满足有连续50条这样的像素线，便判定A区域已被检测到，即可确定黑板的上边沿位置，则裁剪待检测图像中纵坐标值为0到y₀的图像区域，即黑板上边沿以上的区域被裁剪得到二次图像。

在二次图像中进一步减小人脸检测的区域进而提高人脸检测速度，具体地，对于被裁剪得到的二次图像，即在待检测图像的纵坐标大于y₀的区域采用MTCNN人脸检测算法进行人脸检测，当检测到人脸时，会返回一个人脸框，根据人脸框的左上角坐标、长和宽可以计算出人脸的中心位置坐标，根据人脸在连续两帧待检测图像之间移动的幅度，为尽可能包含人脸在图像中移动的范围以保证人脸检测的准确度，以人脸中心位置坐标为中点构建一个像素大小为700×500的区域，如图7所示，人脸中心位置即图示中的黑点是这个700×500的矩阵区域的两条对角线相交点，至此人脸检测自适应区域构建完毕，可用作下一帧图像的人脸检测。

为了避免所构建的人脸检测自适应区域超出原待检测图像的范围，需要将这个700×500的区域与二次图像作一个交集运算，防止图像矩阵出现越界现象，本实施例用到的交集运算如图8所示，a为原待检测图像区域，b为构建的700×500区域，c为a与b的重合之处，c便是下一帧图像进行人脸检测的区域，由公式c＝a∩b计算得到。对于采集到的下一帧图像采用MTCNN人脸检测算法在c区域进行人脸检测。

本实施例的快速人脸检测方法得到的人脸检测区域明显小于原待检测图像，可大大提高人脸检测速度和程序运算效率，去除图像的无效区域可有效提高计算机资源的利用率。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (10)

1.一种快速人脸检测方法，其特征在于，包括：

S1.获取视频流的单帧待检测图像，前一帧图像的检测结果中已确定无效区域时直接裁剪所述待检测图像中的无效区域得到二次图像，否则检测所述待检测图像的无效区域并裁剪；

所述无效区域以图像中的选定标志物作为参照系；

S2.对二次图像在前一帧图像中确定的人脸检测自适应区域内进行人脸检测，当前一帧图像未检测到人脸时对二次图像进行全图范围内的人脸检测，以已检测得的人脸为中心构建人脸检测自适应区域作为下一帧待检测图像的人脸检测区域。

2.根据权利要求1所述的快速人脸检测方法，其特征在于，所述步骤S1中检测所述待检测图像的无效区域并裁剪包括：

S11.对所述待检测图像作灰度化处理得到灰度图像；

S12.根据设定好的灰度转换阈值对所述灰度图像二值化得到二值化图；

S13.检测所述二值化图中的选定标志物的图像区域，获取位于所述选定标志物上方的图像部分作为无效区域并裁剪。

3.根据权利要求2所述的快速人脸检测方法，其特征在于，所述步骤S13包括：

S131.根据设定的子图域像素阈值对所述二值化图从上而下从左至右检测与所述选定标志物相同灰度值的子图域，其中所述子图域属于所述选定标志物图像区域的一部分，其上边沿与所述选定标志物图像区域的上边沿重合；

S132.以子图域的上边沿为基准确定选定标志物上方的图像部分作为无效区域并裁剪。

4.根据权利要求3所述的快速人脸检测方法，其特征在于，所述步骤S131包括：

所述子图域像素阈值设为m×n，以所述二值化图的左上角为坐标系原点构建坐标系，x轴方向为自左指向右，y轴方向为自上指向下，对所述二值化图从上至下从左至右检测，在x轴方向连续检测得m个与所述选定标志物同灰度值的像素点设为一条像素线，且在y轴方向连续检测得n条像素线时视为检测得所述子图域。

5.根据权利要求4所述的快速人脸检测方法，其特征在于，所述对所述二值化图从上至下从左至右检测包括：

记录x轴方向上当前像素线的首个像素点的坐标(x₀,y₀)，在y轴方向对下一条像素线的检测以坐标为(x₀-2,y₀+1)的像素点为起点。

6.根据权利要求1所述的快速人脸检测方法，其特征在于，所述步骤S2包括：

S21.对所述二次图像进行全图范围内的人脸检测输出人脸的中心位置坐标，以所述中心位置坐标为中点构建人脸检测自适应区域；

S22.把所述人脸检测自适应区域与所述二次图像进行交集运算得到图像重合部分作为下一帧待检测图像的人脸检测区域。

7.根据权利要求6所述的快速人脸检测方法，其特征在于，所述步骤S21中构建的人脸检测区域的像素大小为700×500。

8.根据权利要求2所述的快速人脸检测方法，其特征在于，所述灰度转换阈值设为120。

9.根据权利要求3所述的快速人脸检测方法，其特征在于，所述子图域像素阈值设为150×50。

10.一种快速人脸检测系统，其特征在于，包括：

待检测图像采集模块，用于获取视频流的单帧待检测图像；

无效区域检测模块，用于检测所述待检测图像中的无效区域并裁剪得到二次图像；

人脸检测模块，用于对所述二次图像进行全图范围的人脸检测；

人脸检测自适应区域构建模块，用于根据所述人脸检测模块的检测结果构建下一帧图像的人脸检测区域。

Images