CN104883548B - 监控视频人脸抓取处理方法及其系统 - Google Patents

Abstract

一种监控视频人脸抓取处理方法及其系统，对监控图像中的运动对象进行跟踪，获取运动对象的正向人脸图像位置信息和人脸图像面积大小。然后根据所述人脸图像位置信息和人脸图像面积大小，提取所述运动对象的正向人脸特征信息以及获取所述运动对象人脸特写图，将所述运动对象的正向人脸特征信息以及所述人脸特写图对应储存。因此能够减少获取人物对象的背面冗余数据，并获取对监控对象的人脸特写图，将正向人脸特征信息以及所述人脸特写图对应储存，方便用户根据任意查询条件查询。

Description

监控视频人脸抓取处理方法及其系统

技术领域

本发明涉及图像监控领域，特别是涉及一种监控视频人脸抓取处理方法，以及一种监控视频人脸抓取处理系统。

背景技术

随着安防监控领域的发展，要获取清晰监控视频图像作为监控和执法取证依据的需求不断提高。而背景监控与关注对象细节监控是一对矛盾，传统的监控系统如果其视频监控范围大，则对于运动对象的局部关注区域，如人脸部分分辨率就不高，细节不突出，看不清楚。例如公安在实际侦破案件的应用中，通常需要根据视频截图生成人脸正面清晰图像，而要看清这张人脸图像，正是案件破获的关键。但现有双摄像监控跟踪系统只是对特定区域的运动对象检测进行运动跟踪，当被跟踪的人转过身时，将获取人物对象的背面冗余数据。

并且若要实现同一场景内多个运动对象跟踪则需要增加球机设备的台套数，设备成本比较高。

发明内容

基于此，本发明实施例的目的在于提供一种监控视频人脸抓取处理方法及其系统，其可以减少获取人物对象的背面冗余数据，获取对监控对象的人脸特写图。

为达到上述目的，本发明实施例采用以下技术方案：

一种监控视频人脸抓取处理方法，包括以下步骤：

获取视频采集设备的监控图像，确定所述监控图像中的运动对象；

对所述监控图像中的运动对象采用正向人脸检测方法，定位所述运动对象的人脸图像位置信息和人脸图像面积大小；

根据所述运动对象的人脸图像位置信息和人脸图像面积大小，提取所述运动对象的正向人脸特征信息；

根据所述运动对象的人脸图像位置信息和人脸图像面积大小，获取所述运动对象人脸特写图；

将所述运动对象的正向人脸特征信息以及所述人脸特写图对应储存。

一种监控视频人脸抓取处理系统，包括：

运动对象捕捉模块，用于获取视频采集设备的监控图像，确定所述监控图像中的运动对象；

正向人脸定位模块，用于对所述监控图像中的运动对象采用正向人脸检测方法，定位所述运动对象的人脸图像位置信息和人脸图像面积大小；

特征提取模块，用于根据所述运动对象的人脸图像位置信息和人脸图像面积大小，提取所述运动对象的正向人脸特征信息；

特写捕捉模块，用于根据所述运动对象的人脸图像位置信息和人脸图像面积大小，获取所述运动对象人脸特写图；

储存模块，用于将所述运动对象的正向人脸特征信息以及所述人脸特写图对应储存。

根据如上所述的本发明实施例的方案，该监控视频人脸抓取处理方法及其系统能够对监控图像中的运动对象进行跟踪，获取运动对象的正向人脸图像位置信息和人脸图像面积大小。然后根据所述人脸图像位置信息和人脸图像面积大小，提取所述运动对象的正向人脸特征信息以及获取所述运动对象人脸特写图，将所述运动对象的正向人脸特征信息以及所述人脸特写图对应储存。因此能够减少获取人物对象的背面冗余数据，并获取对监控对象的人脸特写图，将正向人脸特征信息以及所述人脸特写图对应储存，方便用户根据任意查询条件查询。

附图说明

图1是本发明一个实施例中监控视频人脸抓取处理方法的流程示意图；

图2是本发明一个实施例中监控视频人脸抓取处理系统的结构示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

图1中示出了一个实施例中监控视频人脸抓取处理方法的流程示意图。

所述监控视频人脸抓取处理方法，包括以下步骤：

S102，获取视频采集设备的监控图像，确定所述监控图像中的运动对象；

S104，对所述监控图像中的运动对象采用正向人脸检测方法，定位所述运动对象的人脸图像位置信息和人脸图像面积大小；

S106，根据所述运动对象的人脸图像位置信息和人脸图像面积大小，提取所述运动对象的正向人脸特征信息；

S108，根据所述运动对象的人脸图像位置信息和人脸图像面积大小，获取所述运动对象人脸特写图；

S110，将所述运动对象的正向人脸特征信息以及所述人脸特写图对应储存。

通过对监控图像中的运动对象进行跟踪，获取运动对象的正向人脸图像位置信息和人脸图像面积大小。然后根据所述人脸图像位置信息和人脸图像面积大小，提取所述运动对象的正向人脸特征信息以及获取所述运动对象人脸特写图，将所述运动对象的正向人脸特征信息以及所述人脸特写图对应储存。因此能够减少获取人物对象的背面冗余数据，并获取对监控对象的人脸特写图，将正向人脸特征信息以及所述人脸特写图对应储存，方便用户根据任意查询条件查询。

其中，所述视频采集设备包括各种摄像装置，优选地，所述视频采集设备采用IPC(IP CAMERA，网络摄像机)，能够拍摄监控现场的图像，并能够通过网络实现控制。

从所述视频采集设备，如IPC获取监控图像的数据码流之后，可解码处理成初步的图像，然后对所述图像进行预处理，预处理可包括帧差、动态背景建模等。

在一个实施例中，通过帧差法确定所述监控图像中的初步运动对象，采用自适应光照补偿法对所述初步运动对象进行环境与背景去噪声，再通过形态学对空洞噪声滤除联通，确定运动对象。

除侦差法外，还可以通过背景建模法、vibe等方式确定监控图像中的初步运动对象。

例如可对所述监控图像中的动态背景采用每预定时间，如30min取背景图像作为背景，而通过帧差法来获得所述监控图像中的运动对象作为前景，通过侦差法、背景建模法、vibe等可以快速锁定运动对象。

在本实施例中，对所述监控图像中的运动对象采用正向人脸检测方法，定位所述运动对象的人脸图像位置信息和人脸图像面积大小。

优选地，所述正向人脸检测方法可通过以下步骤实现：

将所述运动对象的图像输入预设的人脸分类器模型，获取第一脸部图像；

通过人脸形状对所述第一脸部图像进行几何约束，通过预设的肤色模型对所述第一脸部区域中的非脸部区域进行排除，定位所述运动对象的人脸图像位置信息和人脸图像面积大小。

其中，所述运动对象的人脸图像位置信息，即是所述运动对象的人脸图像在所述监控图像中的位置信息，所述人脸图像面积大小即所述人脸图像的像素所占的面积。

所述人脸分类器模型可采用Haar人脸分类器实现，但不限于这个方法。

根据人脸形状的几何约束和肤色Ycbcr空间的2D Gaussian肤色模型进行非人脸区域排除，可准确定位所述人脸图像位置信息和人脸图像面积大小。

通过本发明的正向人脸检测方法，可以快速定位运动对象的正向人脸图像，排除运动对象的背面冗余数据，减少保存的图像数据量，减轻后台数据库系统的储存和查询压力。

根据所述运动对象的人脸图像位置信息和人脸图像面积大小，即可在所述监控图像中提取所述运动对象的正向人脸特征信息。

其中，所述运动对象的正向人脸特征信息包括以下的一种或多种：

特征向量、颜色直方图、色彩布局、主色彩以及人脸截图。

在具体操作时，可根据所述运动对象的人脸图像位置信息和人脸图像面积大小，定位所述运动对象的人脸图像；

并获取所述人脸图像的特征向量、颜色直方图、色彩布局、主色彩和/或所述人脸图像的截图。

通过获取所述运动对象的正向人脸特征信息，记录运动对象的位置信息(Location)、对象特征向量F(F₁,…F_n)颜色直方图、色彩布局(CLD)，主色彩(DCD)等，以及人物对象原图像块信息(即人脸图像的截图)，并储存所述正向人脸特征信息。

在一个实施例中，根据所述运动对象的人脸图像位置信息和人脸图像面积大小，获取所述运动对象人脸特写图的步骤包括：

根据所述运动对象的人脸图像位置信息和人脸图像面积大小，生成人脸捕捉命令，将所述人脸捕捉命令发送给特写视频采集设备，控制所述特写视频采集设备对所述运动对象的脸部进行特写拍摄，获取所述运动对象人脸特写图。

所述特写视频采集设备可以是设置与监控现场的另一摄像装置。通过所述运动对象的人脸图像位置信息和人脸图像面积大小，通过映射转换关系转换生成人脸捕捉命令，可控制所述特写视频采集设备对运动对象的人脸进行特写拍摄，获取运动对象的人脸特写图。

所述运动对象的人脸特写图的大小可达到CIF标准，如分别率为352*288。

在一个实施例中，生成人脸捕捉命令的步骤包括：

控制摄像装置按预设的水平方向运动步长和垂直方向运动步长对监控区域进行拍摄，获得监控图像，并记录拍摄每张所述监控图像时所述摄像装置的拍摄参数；其中，摄像装置拍摄时前后两张监控图像的重叠区域大于预设的重叠范围；所述摄像装置的拍摄参数包括所述PTZ摄像机当前的拍摄倍数、在水平方向上的移动值以及在垂直方向上的移动值；

提取每张监控图像的特征点，以及提取由广角摄像装置拍摄所述监控区域获得的广角图像的特征点；其中，所述监控图像的特征点和广角图像的特征点均为二进制特征点；

匹配所述监控图像的特征点和所述广角图像的特征点，获得所述监控图像与所述广角图像的匹配对；

根据所述匹配对中所述监控图像的特征点和所述广角图像的特征点的像素坐标，获得所述广角图像中像素点的坐标与所述摄像装置的拍摄参数的映射关系；

根据所述映射关系生成人脸捕捉命令。

通过上述方式，自动生成所述运动对象的人脸捕捉命令，能够快速获取所述运动对象的人脸特写图。

在一个实施例中，将所述运动对象的正向人脸特征信息以及所述人脸特写图对应储存的步骤包括：

将所述运动对象的正向人脸特征信息与历史对象记录匹配，获得特征匹配距离；

如果所述特征匹配距离小于预设阈值，则将所述运动对象的正向人脸特征信息以及所述人脸特写图对应储存在预设的目标对象池中；

如果所述特征匹配距离大于预设阈值，则更新所述目标对象池中保存的与所述运动对象对应的信息。

通过上述方式，将运动对象的正向人脸特征信息与历史对象记录匹配，匹配算法可采用直方图、主颜色特征等特征的特征匹配距离，如曼哈顿距离、欧式或马哈拉诺比斯距离等，并设定匹配阈值T，如果特征匹配距离大于T，则运动对象是历史记录对象，更新所述运动对象的在所述目标对象池中保存的对应信息，包括运动的速度、方向、轨迹、位置等；如果不是历史对象，则将所述运动对象标记为新对象，并更新所述目标对象池中的保存的信息，将所述运动对象的正向人脸特征信息以及所述人脸特写图对应储存在预设的目标对象池中。

本发明的监控视频人脸抓取处理方法在将所述运动对象的正向人脸特征信息以及所述人脸特写图对应储存之后，进一步可包括以下步骤：

将所述运动对象的人脸特写图以及正向人脸特征信息，结合视频采集设备的ID以及该监控图像的帧时间戳数据，生成结构化的元数据。

通过生成所述人脸特写图进行结构化处理，生成元数据结构化处理的4W(who，where，when，what)描述，保存的元数据格式描述为4W模型：<对象标号ID，IPC编号，时间<视频时间起始帧号，结束帧号>对象属性数据结构>，其中，对象属性数据(What)由对象的位置(Location)、大小(RECT)、轨迹(trajectory)、对象特征(颜色直方图、色彩布局(CLD)，主色彩(DCD)等)和视频原目标小人脸对象图像数据组成。通过所述结构化的元数据储存，可以更方便用户进行查询。

进一步地，本发明的监控视频人脸抓取处理方法在生成结构化的元数据之后，还包括以下步骤：

将所述人脸特写图传输给后台的特写图像数据库；

当接收到所述元数据查询指令时，根据查询条件进行下述判断：

如果接收到特征信息查询条件，则查询所述各个元数据中的正向人脸特征信息，将匹配度最高的人脸特写图作为搜索结果；

如果接收到图片查询条件，则获取输入图片的特征属性，与所述特写图像数据库中的人脸特写图进行匹配，获取匹配度最高的人脸特写图作为搜索结果。

通过把人脸特写图传输给后台特写图像数据库，用户可以通过输入查询属性，利用元数据查询进行原始视频小细节图像与特写图像查询。采用相似性距离直接匹配映射，从而通过判断两者的相似性，取相似性最高者获得检索结果，能快速准确的检索出用户所需要的视频内容和特写对象的图片。

请参考图2，本发明还提供一种监控视频人脸抓取处理系统，包括：

运动对象捕捉模块10，用于获取视频采集设备的监控图像，确定所述监控图像中的运动对象；

正向人脸定位模块20，用于对所述监控图像中的运动对象采用正向人脸检测方法，定位所述运动对象的人脸图像位置信息和人脸图像面积大小；

特征提取模块30，用于根据所述运动对象的人脸图像位置信息和人脸图像面积大小，提取所述运动对象的正向人脸特征信息；

特写捕捉模块40，用于根据所述运动对象的人脸图像位置信息和人脸图像面积大小，获取所述运动对象人脸特写图；

储存模块50，用于将所述运动对象的正向人脸特征信息以及所述人脸特写图对应储存。

该监控视频人脸抓取处理方法及其系统能够对监控图像中的运动对象进行跟踪，获取运动对象的正向人脸图像位置信息和人脸图像面积大小。然后根据所述人脸图像位置信息和人脸图像面积大小，提取所述运动对象的正向人脸特征信息以及获取所述运动对象人脸特写图，将所述运动对象的正向人脸特征信息以及所述人脸特写图对应储存。因此能够减少获取人物对象的背面冗余数据，并获取对监控对象的人脸特写图，将正向人脸特征信息以及所述人脸特写图对应储存，方便用户根据任意查询条件查询。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种监控视频人脸抓取处理方法，其特征在于，包括以下步骤：

获取视频采集设备的监控图像，确定所述监控图像中的运动对象；

对所述监控图像中的运动对象采用正向人脸检测方法，定位所述运动对象的人脸图像位置信息和人脸图像面积大小；所述运动对象的人脸图像位置信息为所述运动对象的人脸图像在所述监控图像中的位置信息；

根据所述运动对象的人脸图像位置信息和人脸图像面积大小，提取所述运动对象的正向人脸特征信息；

根据所述运动对象的人脸图像位置信息和人脸图像面积大小，生成人脸捕捉命令，将所述人脸捕捉命令发送给特写视频采集设备，控制所述特写视频采集设备对所述运动对象的脸部进行特写拍摄，获取所述运动对象人脸特写图；

将所述运动对象的正向人脸特征信息以及所述人脸特写图对应储存。

2.根据权利要求1所述的监控视频人脸抓取处理方法，其特征在于，获取视频采集设备的监控图像，确定所述监控图像中的运动对象的步骤包括：

通过帧差法确定所述监控图像中的初步运动对象；

采用自适应光照补偿法对所述初步运动对象进行环境与背景去噪声；

通过形态学对空洞噪声滤除联通，确定运动对象。

3.根据权利要求1所述的监控视频人脸抓取处理方法，其特征在于，对所述监控图像中的运动对象采用正向人脸检测方法，定位所述运动对象的人脸图像位置信息和人脸图像面积大小的步骤包括：

将所述运动对象的图像输入预设的人脸分类器模型，获取第一脸部图像；

通过人脸形状对所述第一脸部图像进行几何约束，通过预设的肤色模型对所述第一脸部区域中的非脸部区域进行排除，定位所述运动对象的人脸图像位置信息和人脸图像面积大小。

4.根据权利要求1所述的监控视频人脸抓取处理方法，其特征在于，根据所述运动对象的人脸图像位置信息和人脸图像面积大小，提取所述运动对象的正向人脸特征信息的步骤包括：

根据所述运动对象的人脸图像位置信息和人脸图像面积大小，定位所述运动对象的人脸图像；

获取所述人脸图像的特征向量、颜色直方图、色彩布局、主色彩和/或所述人脸图像的截图。

5.根据权利要求1所述的监控视频人脸抓取处理方法，其特征在于，将所述运动对象的正向人脸特征信息以及所述人脸特写图对应储存的步骤包括：

将所述运动对象的正向人脸特征信息与历史对象记录匹配，获得特征匹配距离；

如果所述特征匹配距离小于预设阈值，则将所述运动对象的正向人脸特征信息以及所述人脸特写图对应储存在预设的目标对象池中；

如果所述特征匹配距离大于预设阈值，则更新所述目标对象池中保存的与所述运动对象对应的信息。

6.根据权利要求5所述的监控视频人脸抓取处理方法，其特征在于，与所述运动对象对应的信息包括所述运动对象的运动速度、运动方向、运动轨迹以及当前位置。

7.根据权利要求1所述的监控视频人脸抓取处理方法，其特征在于，将所述运动对象的正向人脸特征信息以及所述人脸特写图对应储存之后，进一步包括以下步骤：

将所述运动对象的人脸特写图以及正向人脸特征信息，结合视频采集设备的ID以及该监控图像的帧时间戳数据，生成结构化的元数据。

8.根据权利要求7所述的监控视频人脸抓取处理方法，其特征在于，生成结构化的元数据之后，进一步包括以下步骤：

将所述人脸特写图传输给后台的特写图像数据库；

当接收到所述元数据查询指令时，根据查询条件进行下述判断：

如果接收到特征信息查询条件，则查询所述各个元数据中的正向人脸特征信息，将匹配度最高的人脸特写图作为搜索结果；

如果接收到图片查询条件，则获取输入图片的特征属性，与所述特写图像数据库中的人脸特写图进行匹配，获取匹配度最高的人脸特写图作为搜索结果。

9.一种监控视频人脸抓取处理系统，其特征在于，包括：

运动对象捕捉模块，用于获取视频采集设备的监控图像，确定所述监控图像中的运动对象；

正向人脸定位模块，用于对所述监控图像中的运动对象采用正向人脸检测方法，定位所述运动对象的人脸图像位置信息和人脸图像面积大小；所述运动对象的人脸图像位置信息为所述运动对象的人脸图像在所述监控图像中的位置信息；

特征提取模块，用于根据所述运动对象的人脸图像位置信息和人脸图像面积大小，提取所述运动对象的正向人脸特征信息；

特写捕捉模块，用于根据所述运动对象的人脸图像位置信息和人脸图像面积大小，生成人脸捕捉命令，将所述人脸捕捉命令发送给特写视频采集设备，控制所述特写视频采集设备对所述运动对象的脸部进行特写拍摄，获取所述运动对象人脸特写图；

储存模块，用于将所述运动对象的正向人脸特征信息以及所述人脸特写图对应储存。