CN107346417A

CN107346417A - 人脸检测方法及装置

Info

Publication number: CN107346417A
Application number: CN201710443311.9A
Authority: CN
Inventors: 张家重; 董毅; 付宪瑞; 王玉奎
Original assignee: Inspur Financial Information Technology Co Ltd
Current assignee: Inspur Financial Information Technology Co Ltd
Priority date: 2017-06-13
Filing date: 2017-06-13
Publication date: 2017-11-14
Anticipated expiration: 2037-06-13
Also published as: CN107346417B

Abstract

一种人脸检测方法及装置，所述方法包括：获取待检测的视频流；从所述视频流中识别出对应的动态变更区域；基于识别出的动态变更区域，确定所述视频流中存在的人脸的信息。上述的方案，可以提高人脸检测的速度和准确性。

Description

人脸检测方法及装置

技术领域

本发明涉及图像处理技术领域，特别是涉及一种人脸检测方法及装置。

背景技术

人脸识别（Face Recognition），特指利用分析比较人脸视觉特征信息进行身份鉴别的计算机技术。人脸识别技术有着广泛的应用前景，不仅可用于刑事鉴定、驾驶证及护照检查、移民管理等生物特征识别领域，还可用于身份验证、数据库管理及文档管理、视频会议和视频监控等信息安全领域。

人脸检测（Face Detection）是人脸识别中的关键环节，人脸检测是指对于任意一副给定的图像，采用一定的策略对其进行搜索以确定其中是否含有人脸，如果是则返回人脸的位置、大小和姿态。

当我们认识或者熟知某个人时，无论是此人之前的状态还是以后的状态，人眼都可以轻松地对他进行辩识，这是我们人类视觉系统的强大之处。计算机视觉试图通过光学图像来模拟这一视觉功能，完成图像信息资源的自动分析处理，从而实现机器智能。但是，现有技术中的人脸检测方法存在着检测效率和准确性低下的问题。

发明内容

本发明实施例解决的技术问题是

为解决上述问题，本发明实施例提供了一种人脸检测方法，所述方法包括：

获取待检测的视频流；

从所述视频流中识别出对应的动态变更区域；

基于识别出的动态变更区域，确定所述视频流中存在的人脸的信息。

如何提高人脸检测的速度和准确性。

可选地，所述视频流中包括多个时间点对应的多个帧的图像的信息，所述从所述视频流中识别出对应的动态变更区域，包括：

按照时间先后顺序对所述多个帧的图像进行遍历，获取遍历至的当前帧图像；

将当前帧图像与相邻的上一帧图像比较，获取图像坐标系位置相同且色彩值存在差异的像素点的信息；

将所获取的图像坐标系位置相同且色彩值存在差异的像素点中，色彩值差异达到预设的色彩差异阈值，且图像坐标系位置闭合的像素点构成的对应区域，作为当前帧图像的动态变更区域，并获取下一帧图像，直至所述多个帧的图像遍历完成。

可选地，所述放方法还包括：

判断所确定的动态变更区域是否有效；

当所确定的动态变更区域有效时，则保留所述动态变更区域；

当所确定的动态变更区域无效时，则丢弃所述动态变更区域。

可选地，所述基于识别出的动态变更区域，确定所述视频流中存在的人脸的信息，包括：

获取所述动态变更区域中各个像素点的色彩值的信息；

基于所获取的所述动态变更区域中各个像素点的色彩值的信息，将所述动态变更区域划分为对应的几何体区域；

将划分得到几何体区域与预设的人体结构进行比较，以确定所述动态变更区域是否为人体结构；

当确定所述动态变更区域为人体结构时，确定人脸在当前帧图像中的位置；

判断所确定位置的图像中几何体子区域的数量是否达到预设的数量阈值；

当所确定位置的图像中几何体子区域的数量达到预设的数量阈值时，将所确定位置的图像作为人脸图像。

可选地，所述基于所述动态变更区域中各个像素点的色彩值的信息，将所述动态变更区域划分为对应的几何体区域，包括：

将色彩值的预设范围划分为对应的多个色彩区间；

获取所述动态变更区域中色彩值位于同一色彩区间的像素点的信息；

当色彩值位于同一色彩区间中的像素点的图像坐标系位置闭合时，将对应的闭合区域作为一个几何体区域。

本发明实施例还提供了一种人脸检测装置，包括：

获取单元，适于获取待检测的视频流；

识别单元，适于从所述视频流中识别出对应的动态变更区域；

检测单元，适于基于识别出的动态变更区域，确定所述视频流中存在的人脸的信息。

可选地，所述视频流中包括多个时间点对应的多个帧的图像的信息；

所述识别单元，适于按照时间先后顺序对所述多个帧的图像进行遍历，获取遍历至的当前帧图像；将当前帧图像与相邻的上一帧图像比较，获取图像坐标系位置相同且色彩值存在差异的像素点的信息；将所获取的图像坐标系位置相同且色彩值存在差异的像素点中，色彩值差异达到预设的色彩差异阈值，且图像坐标系位置闭合的像素点构成的对应区域，作为当前帧图像的动态变更区域，并获取下一帧图像，直至所述多个帧的图像遍历完成。

可选地，所述装置还包括：

判定单元，适于判断所确定的动态变更区域是否有效；

保留单元，适于当所确定的动态变更区域有效时，则保留所述动态变更区域；

丢弃单元，适于当所确定的动态变更区域无效时，则丢弃所述动态变更区域。

可选地，所述检测单元，适于获取所述动态变更区域中各个像素点的色彩值的信息；基于所获取的所述动态变更区域中各个像素点的色彩值的信息，将所述动态变更区域划分为对应的几何体区域；将划分得到几何体区域与预设的人体结构进行比较，以确定所述动态变更区域是否为人体结构；当确定所述动态变更区域为人体结构时，确定人脸在当前帧图像中的位置；判断所确定位置的图像中几何体子区域的数量是否达到预设的数量阈值；当所确定位置的图像中几何体子区域的数量达到预设的数量阈值时，将所确定位置的图像作为人脸图像。

可选地，所述检测单元，适于将色彩值的预设范围划分为对应的多个色彩区间；获取所述动态变更区域中色彩值位于同一色彩区间的像素点的信息；当色彩值位于同一色彩区间中的像素点的图像坐标系位置闭合时，将对应的闭合区域作为一个几何体区域。

与现有技术相比，本发明的技术方案具有以下的优点：

上述的方案，通过对所获取的视频流中的动态变更区域进行识别，对视频中动态变更区域的图像进行人脸检测，可以有效减少待检测处理的图像数据量，并排除无效区域对于人脸检测的干扰，故可以提高人脸检测的速度和准确性。

附图说明

图1是本发明实施例中的一种人脸检测方法的流程图；

图2是本发明实施例中一种从待检测的视频流中识别出动态变更区域的方法的流程图；

图3是本发明实施例中的数据空间的示意图。

图4是本发明实施例中一种基于所确定的动态变更区域，确定视频中存在的人脸图像的方法的流程图。

图5是本发明实施例中的一种人脸检测装置的结构示意图。

具体实施方式

为解决现有技术中存在的上述问题，本发明实施例采用的技术方案通过对所获取的视频流中的动态变更区域进行识别，对视频中动态变更区域的图像进行人脸检测，可以有效减少待检测处理的图像数据量，并排除无效区域对于人脸检测的干扰，故可以提高人脸检测的速度和准确性。

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

图1示出了本发明实施例中的一种人脸检测方法的流程图。如图1所示的人脸检测方法，适于对屏幕界面上显示的待录制对象进行录制具体可以包括如下的操作：

步骤S101：获取待检测的视频流。

在具体实施中，待检测的视频流由预设的多个时间点对应的多帧图像构成。换言之，待检测的视频流包括对应的多个时间点对应的视频图像。

这里需要指出的是，待检测的视频流中相邻的两个帧的图像之间的时间间隔可以相同，也可以不相同，本领域的技术人员可以根据实际的处理需要进行选择，在此不做限制。

步骤S102：从所述视频流中识别出对应的动态变更区域。

在具体实施中，可以按照时间先后顺序对视频流中的多个帧的图像进行遍历，并通过将遍历至的当前帧图像中像素点的色彩值的信息与相邻的上一帧图像中像素点的色彩值的信息进行比较，以确定当前帧图像中的动态变更区域，具体请参见图2中的详细介绍。

步骤S103：基于识别出的动态变更区域，确定所述视频流中存在的人脸的信息。

在具体实施中，可以基于所确定的动态变更区域中的像素点的色彩值的信息，确定所述视频流中各个帧图像中是否存在对应的人脸的信息，具体请参见图3中的详细介绍。

上述的方案，通过对所获取的视频流中的动态变更区域进行识别，对视频中动态变化的区域的图像进行检测，以确定视频流中的人脸图像，可以有效排除静态人脸面部图像，如海报中的人脸图像对于人脸检测的干扰，故可以提高人脸检测的速度和准确性。

在具体实施中，在对所获取的视频流中的动态变更区域进行检测时，可以所获取的视频流中像素点的色彩值信息随时间变化的信息，得到所需的新增运动区域，即动态变更区域，淘汰无效识别区域，从而可以减少待进行检测处理的图像的数量，并排除无效识别区域所带来的干扰，从而可以提高人脸检测的速度和准确性。

参见图2，本发明实施例中的一种从待检测的视频流中识别出动态变更区域的方法，具体可以采用如下的步骤实现：

步骤S201：对待检测的视频流中多个帧的图像按照时间先后顺序进行遍历，获取遍历至的当前帧图像。

在具体实施中，待检测的视频流中的各帧图像可以将关键帧图像作为参考帧图像，对当前帧进行填充得到，具体可以参见申请号为201510755369.8 的专利申请中的详细介绍，在此不再赘述。

在具体实施中，当通过色彩填充得到对应的多帧图像时，可以采用时间先后顺序对对应的多个帧的图像进行遍历，获取遍历至的当前帧图像。

步骤S202：将遍历至的当前帧图像与相邻的上一帧图像比较，获取图像坐标系位置相同且色彩值存在差异的像素点的信息。

在具体实施中，可以根据实际的需要采用相应的方法来获取图像坐标系位置相同且色彩值存在差异的像素点的信息。在本发明一实施例中，可以首先将当前帧图像与相邻的上一帧图像载入预设的数据空间中，分别建立当前帧图像中的像素点和相邻的上一帧图像中的像素点在预设的数据空间中的坐标，并进而可以根据当前帧图像中的像素点和相邻的前一帧图像中的像素点在预设的数据空间中的坐标，快速准确地确定图像坐标系位置相同且色彩值存在差异的像素点的信息。

参见图3，以像素点A为例，在载入的数据空间中的坐标，像素点A在图像坐标系中的位置坐标（x_n，y_n），以及像素点的色彩值z_n。换而言之，像素点在数据空间中的坐标可以表示为（x_n，y_n，z_n）。因此，获取图像坐标系位置相同且色彩值存在差异的像素点，也即所获取的像素点的x_n，y_n在当前帧图像中相同，但是色彩值z_n在当前帧图像和相邻的上一帧图像中不同。其中，图像坐标系为各帧图像对应的图像坐标系。

在具体实施中，像素点的色彩值根据实际的需要，可以采用不同的方式进行表示。在本发明一实施例中，像素点的色彩值由像素点的R通道分量、G通道分量和B通道分量构成。在本发明另一实施例中，像素点的色彩值由像素点的R通道分量、G通道分量、B通道分量和α通道分量构成。在实际应用中，可以将像素点的R通道分量、G通道分量和B通道分量，或者R通道分量、G通道分量、B通道分量和α通道分量分别采用对应的8位二进制数据表示，并按照R通道分量、G通道分量和B通道分量的顺序，或者按照R通道分量、G通道分量、B通道分量和α通道分量的顺序，分别将各个分量对应的8位二进制数据排列在对应的位置，构成24位或者32位的二进制数据序列，即为像素点在数据空间中的色彩值z_n。

步骤S203：判断所获取的像素点中，色彩值差异达到预设的色彩差异阈值的像素点的图像坐标系位置是否闭合；当判断结果为是时，可以执行步骤S204；反之，则可以执行步骤S205。

在具体实施中，当确定出图像坐标系位置相同，且色彩值存在的差异的像素点时，可以从所确定的像素点中进一步筛选出色彩值差异达到预设的色彩差异阈值的像素点，并根据色彩值差异达到预设的色彩差异阈值的像素点的图像坐标系位置是否闭合。这里需要指出的是，所构成的闭合区域中的像素点，可以为色彩值差异达到预设的阈值的像素点中部分或者全部的像素点构成。

步骤S204：将对应的闭合区域作为当前帧图像的动态变更区域。

在具体实施中，当确定当前帧图像中色彩值差异达到预设的色彩差异阈值的像素点中部分或全部像素点的的图像坐标系位置闭合，也即部分或全部的像素点在图像坐标系中围城一个或多个闭合区域时，将对应的第一个或多个闭合区域，作为当前帧图像中的动态变更区域。

步骤S205：判断所述多个帧的图像是否遍历完成；当判断结果为是时，可以结束操作；反之，则可以执行步骤S202。

步骤：获取下一帧图像，并从步骤S202开始执行。

在具体实施中，当通过步骤S202至S204对遍历到的当前帧的图像执行动态变更区域的识别操作完成时，当当前帧的图像中存在对应的一个或多个动态变更区域时，可以将所识别出的一个或多个动态变更区域的信息进行记录；当当前帧图像中不存在对应的一个或多个动态变更区域时，则不执行任何的操作。

当上述的过程完成，且待检测的视频流中的多个帧的图像未遍历完成时，可以继续获取下一帧图像，并将所获取的下一帧图像作为遍历至的当前帧图像，从步骤S202开始执行，直至待检测的视频流中的多个帧的图像全部遍历完毕。

在本发明一实施例中，为了提高所确定的动态变更区域的准确性，可以在识别出视频流中存在的动态变更区域时，可以进一步对识别出的动态变更区域的有效性进行判定，从而保留有效的动态变更区域，并舍弃无效的动态变更区域，以进一步减少待检测的图像的数据量，提高人脸检测的准确性。

其中，在判定所识别出的动态变更区域的有效性时，可以具体考虑以下的内容进行确定：

1、动态变更区域中像素点的数量是否大于等于预设的像素数量阈值，动态变更区域所占的画面百分比是否大于或等于预设的比例阈值。

2、动态变更区域是否为连续区域，而非点状或多个小范围区域。

3、变化区域非为整体视频画面的亮度变化，比如灯光亮度的改变。

4、其它根据具体环境的特别限制。例如，在某些监控范围内，部分区域包含持续动态变化的广告内容，则将该区域排除在检测范围之外。

在具体实施中，当识别待检测的视频流中存在的动态变更区域时，便可以基于所确定的动态变更区域中的像素点的色彩值的信息，确定其中所存在的人脸信息，具体请参见图4。

参见图4，本发明实施例中的一种从识别出的动态变更区域中检测出对应的人脸的方法，可以采用如下的操作实现：

步骤S401：获取待检测的视频流中的动态变更区域中各个像素点的色彩值的信息。

在具体实施中，可以按照时间先后顺序，分别获取待检测的视频流中的各帧图像中的动态变更区域。当然，在硬件条件允许的条件下，也可以采用并行方式获取待检测的视频流中对应的多个动态变更区域，以提高处理速度。

步骤S402：基于所获取的所述动态变更区域中各个像素点的色彩值的信息，将所述动态变更区域划分为对应的几何体区域。

在本发明一实施例中，通过将视频流中识别出的动态变更区域载入预设的数据空间，建立动态变更区域中的像素点在数据空间的位置坐标（x_n，y_n，z_n）。接着，可以从动态变更区域中，获取各个像素点的色彩值所属的色彩区间。其中，色彩区间为将预设的色彩值的预设范围进行划分得到。上述的过程也即是将动态区域中的像素点按照色彩值进行分类，从而将动态区域中的像素点按照色彩值归为不同的色彩区间。

其中，在得到位于同一色彩区间的像素点时，可以将图像坐标系位置（x_n，y_n）闭合的像素点构成的闭合区域，作为对应的几何体区域，从而将动态变更区域划分为对应的多个几何体区域。

步骤S403：将划分得到几何体区域与预设的人体结构进行比较，以确定所述动态变更区域是否为人体结构；当确定所述动态变更区域为人体结构时，可以执行步骤S404；反之，则不执行任何的操作。

在具体实施中，可以按照人体的结构构造的信息，将划分得到的几何体区域分别与人体的结构部位进行比较，以确定划分得到的几何体区域是否为人体结构。

为了提高比较的速度，在本发明一实施例中，将人体的结构构造分为头部和身体两部分，并将从动态变更区域中分割得到的几何体区域分别与人体的头部和身体进行比较，以确定分割得到的结合体区域是否为人体的头部和身体。当然，在其他的实施例中，还可以对人体的结构构造进行进一步细分，以进一步提高几何体区域识别的准确性。

步骤S404：当确定所述动态变更区域为人体结构时，确定人脸在当前帧图像中的位置。

在本发明一实施例中，当将人体的结构构造分为身体和头部两部分时，划分得到的几何体区域要么与头部相符，要么与身体相符，要么既不符合头部，也不符合身体。其中，当确定划分得到的几何体区域与人体的头部相符时，将所述几何体区域在图像中的位置作为人脸所在的位置即可；当确定划分得到的几何体区域为人体的身体相符时，根据人体结构构造中身体和头部的位置关系，便可以确定人脸在对应帧的图像中的位置。

步骤S405：判断所确定位置中的图像的几何体子区域的数量是否达到预设的数量阈值；当判断结果为是时，可以执行步骤S406；反之，则可以执行步骤S407。

在具体实施中，当确定人脸在当前帧图像中的位置时，可以对人脸所在的位置的图像进行进一步划分，以判断所确定位置中的图像是否可以进一步划分为对应的多个更小的几何体子区域，如眼睛、眉毛、鼻子、嘴巴、耳朵等对应的几何体子区域。

步骤S406：将所确定位置中的图像作为人脸图像。

在具体实施中，当根据识别出的几何体区域确定人脸在对应帧图像中的位置时，且人脸所在位置的图像可以进一步划分得到预设的数量阈值，如3个，以上的几何体子区域，如分为独立的上下分割的几何体子区域和面部皮肤对应的几何体子区域等，可以确定对应位置的图像为人脸图像。

在具体实施中，当确定对应位置的图像为人脸图像时，可以采用现有技术中的方法，对所确定的人脸图像进行进一步分析，以确定人脸图像为正面人脸图像还是侧面人脸图像等，在此不做限制。

在具体实施中，当根据识别出的几何体区域确定人脸在当前帧图像中的位置时，且人脸所在位置的图像可以进一步划分得到的几何体子区域的数量小于所述预设的数量阈值时，表明对应位置的图像不是人脸的图像。

上述对本发明实施例中的方法进行了详细的描述，下面将对上述的方法对应的装置进行介绍。

图5示出了本发明实施例中的一种人脸检测装置的结构示意图。参见图5，一种人脸检测装置500可以包括获取单元501、识别单元502和检测单元503，其中：

获取单元501，适于获取待检测的视频流；

识别单元502，适于从所述视频流中识别出对应的动态变更区域；

检测单元503，适于基于识别出的动态变更区域，确定所述视频流中存在的人脸的信息。

在本发明一实施例中，所述视频流中包括多个时间点对应的多个帧的图像的信息；所述识别单元502，适于按照时间先后顺序对所述多个帧的图像进行遍历，获取遍历至的当前帧图像；将当前帧图像与相邻的上一帧图像比较，获取图像坐标系位置相同且色彩值存在差异的像素点的信息；将所获取的图像坐标系位置相同且色彩值存在差异的像素点中，色彩值差异达到预设的色彩差异阈值，且图像坐标系位置闭合的像素点构成的对应区域，作为当前帧图像的动态变更区域，并获取下一帧图像，直至所述多个帧的图像遍历完成。在本发明一实施例中，所述色彩值由像素点的R通道分量、G通道分量和B通道分量构成。在本发明另一实施例中，所述色彩值由像素点的R通道分量、G通道分量、B通道分量和α通道分量构成。

在本发明一实施例中，为了进一步判定所确定的动态变更区域的有效性，所述装置500还可以包括判定单元504、保留单元505和丢弃单元506，其中：

判定单元504，适于判断所确定的动态变更区域是否有效；

保留单元505，适于当所确定的动态变更区域有效时，则保留所述动态变更区域；

丢弃单元506，适于当所确定的动态变更区域无效时，则丢弃所述动态变更区域。

在本发明一实施例中，所述检测单元503，适于获取所述动态变更区域中各个像素点的色彩值的信息；基于所获取的所述动态变更区域中各个像素点的色彩值的信息，将所述动态变更区域划分为对应的几何体区域；将划分得到几何体区域与预设的人体结构进行比较，以确定所述动态变更区域是否为人体结构；当确定所述动态变更区域为人体结构时，确定人脸在当前帧图像中的位置；判断所确定位置的图像中几何体子区域的数量是否达到预设的数量阈值；当所确定位置的图像中几何体子区域的数量达到预设的数量阈值时，将所确定位置的图像作为人脸图像。

在本发明一实施例中，所述检测单元503，适于将色彩值的预设范围划分为对应的多个色彩区间；获取所述动态变更区域中色彩值位于同一色彩区间的像素点的信息；当色彩值位于同一色彩区间中的像素点的图像坐标系位置闭合时，将对应的闭合区域作为一个几何体区域。

采用本发明实施例中的上述方案，通过对所获取的视频流中的动态变更区域进行识别，对视频中动态变更区域的图像进行人脸检测，可以有效减少待检测处理的图像数据量，并排除无效区域对于人脸检测的干扰，故可以提高人脸检测的速度和准确性。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

以上对本发明实施例的方法及系统做了详细的介绍，本发明并不限于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims

1.一种人脸检测方法，其特征在于，包括：

获取待检测的视频流；

从所述视频流中识别出对应的动态变更区域；

2.根据权利要求1所述的人脸检测方法，其特征在于，所述视频流中包括多个时间点对应的多个帧的图像的信息，所述从所述视频流中识别出对应的动态变更区域，包括：

3.根据权利要求2所述的人脸检测方法，其特征在于，还包括：

判断所确定的动态变更区域是否有效；

4.根据权利要求1所述的人脸检测方法，其特征在于，所述基于识别出的动态变更区域，确定所述视频流中存在的人脸的信息，包括：

获取所述动态变更区域中各个像素点的色彩值的信息；

5.根据权利要求4所述的人脸检测方法，其特征在于，所述基于所述动态变更区域中各个像素点的色彩值的信息，将所述动态变更区域划分为对应的几何体区域，包括：

将色彩值的预设范围划分为对应的多个色彩区间；

6.一种人脸检测装置，其特征在于，包括：

获取单元，适于获取待检测的视频流；

7.根据权利要求6所述的人脸检测装置，其特征在于，所述视频流中包括多个时间点对应的多个帧的图像的信息；

8.根据权利要求7所述的人脸检测装置，其特征在于，还包括：

判定单元，适于判断所确定的动态变更区域是否有效；

9.根据权利要求6所述的人脸检测装置，其特征在于，所述检测单元，适于获取所述动态变更区域中各个像素点的色彩值的信息；基于所获取的所述动态变更区域中各个像素点的色彩值的信息，将所述动态变更区域划分为对应的几何体区域；将划分得到几何体区域与预设的人体结构进行比较，以确定所述动态变更区域是否为人体结构；当确定所述动态变更区域为人体结构时，确定人脸在当前帧图像中的位置；判断所确定位置的图像中几何体子区域的数量是否达到预设的数量阈值；当所确定位置的图像中几何体子区域的数量达到预设的数量阈值时，将所确定位置的图像作为人脸图像。

10.根据权利要求10所述的人脸检测装置，其特征在于，所述检测单元，适于将色彩值的预设范围划分为对应的多个色彩区间；获取所述动态变更区域中色彩值位于同一色彩区间的像素点的信息；当色彩值位于同一色彩区间中的像素点的图像坐标系位置闭合时，将对应的闭合区域作为一个几何体区域。