CN108960047A - 基于深度二次树的视频监控中人脸去重方法 - Google Patents

Abstract

本发明公开了一种基于深度二次树的视频监控中人脸去重方法，该方法包括：（1）人脸检测部分：准备正负人脸样本使用训练好的深度二次树模型对监控视频中移动的行人进行人脸检测，获取其人脸位置，人脸置信度，人脸清晰度和人脸图像的分辨率；（2）人脸跟踪部分：根据获取的初始帧的人脸位置，进行人脸跟踪，获取同一个人的多张人脸；（3）人脸去重：针对同一个人的人脸子集，采用人脸质量评价法确定各张人脸的图像质量，然后根据评价值选择质量最好的人脸。人脸质量评价分数由人脸置信度、人脸清晰度和人脸图像分辨率三个指标加权得出。本发明能够有效地提高人脸识别的准确率效地提高人脸识别的准率。

Description

基于深度二次树的视频监控中人脸去重方法

技术领域

本发明涉及计算机视觉和人工智能领域，属于监控视频中人脸检测、跟踪、图像质量评价技术领域，具体设计是对监控视频下的人脸去重方法。

背景技术

近年来，以人脸识别为主的生物特征识别技术广泛地应用于日常生活中，尤其在金融、安防等领域发挥了重要的作用。虽然识别技术发展得很快，但在实际监控场景下的人脸识别效果却一直有所欠缺。其中一个非常重要的因素就是用于人脸识别的图像质量较低，主要体现在图像模糊，分辨率低等方面。因此将图像清晰，分辨率高，姿态较正的人脸图像用于人脸识别，可以有效地提升识别准确率。为了达到这一目标，就需要发展一种视频监控下的人脸去重方法，通常由人脸检测、人脸跟踪、人脸质量评价三部分构成，现有的算法中将这三个模块孤立开来，单独完成每一块的运算，这样没有充分利用前面的模块得到的人脸信息，因此如何将各个模块得到的信息联系起来，在保证实时性的同时，又要保证满意的效果，这个问题也是学术和实际应用的角度需要着重解决的。

发明内容

针对现有技术中存在的(1)检测率高的方法速度慢，难以实时应用于视频监控场景(2)能够实时应用的方法，在实际生活中的复杂场景下检测率低，误检率高，针对遮挡、光照变化的鲁棒性不强(3)人脸检测、人脸跟踪、人脸质量评价几个模块直接的信息交互利用不够(4)人脸清晰度评价耗时长、评价不准等问题。本发明提出了一种针对视频监控场景下，基于深度二次树模型的人脸去重方法。和现有技术相比，本发明利用深度二次树进行人脸检测和人脸清晰度评价，获得人脸置信度a、人脸分辨率评价值b、人脸清晰度评价值c，然后对这三个值加权得到人脸质量评价值p。并将检测得到的人脸位置用于人脸跟踪，获得同个人的多种人脸，用质量评价值选出最好的人脸。在进行人脸检测的同时将人脸清晰度的评价值也计算出来，这样大大地提高了这个算法的效率。

基于深度二次树的视频监控中人脸去重方法，其特征包括以下步骤：

步骤1：人脸检测部分：准备正负人脸样本使用训练好的深度二次树模型对监控视频中移动的行人进行人脸检测，获取其人脸位置，人脸置信度，人脸清晰度和人脸图像的分辨率；

步骤2：人脸跟踪部分：根据获取的初始帧的人脸位置，进行人脸跟踪，获取同一个人的多张人脸；

步骤3：人脸去重：针对同一个人的人脸子集，采用人脸质量评价法确定各张人脸的图像质量，然后根据评价值选择质量最好的人脸。人脸质量评价分数由人脸置信度、人脸清晰度和人脸图像分辨率三个指标加权得出。

进一步地，步骤1包括以下步骤：

步骤：1.1人脸检测器的样本数据集收集，通过监控视频自行收集不同姿态，光照，遮挡等复杂环境下的人脸正样本和非人脸的负样本。

步骤：1.2：人脸特征提取：针对所有的训练正负样本提取归一化像素差(NPD)特征，其计算公式如下：

其中x,y分别代图像中两个点的像素值。

步骤：1.3：利用Adaboost算法学习得到多个有效的归一化像素差特征，作为深度二次树的分支节点特征：假设给定的输入归一化像素差特征f，深度二次树树叶子节点输出人脸分类置信度得分s。按照分裂节点函数即最大值纯度函数γ,将归一化像素差特征构建深度二次树的分裂节点，输入特征f通过穷举法训练双阈值α₁，α₂，根据双阈值α₁，α₂确定深度二次树结构每个分裂节点的左右路线区分，其区分方式如下：

最大值纯度函数γ令训练样本数据集最大程度的区分正负样本，其公式如下：

其中，u_P,v_N为深度二次树中被分裂节点区分的正样本P和负样本N的个数。

设定的树的深度参数为L，当这个深度二次树的深度达到L时，树的训练终止。依次训练T个深度二次树，将T个深度二次树级联起来得到一个级联分类树模型。

步骤：1.4：对视频图像用训练好的级联深度二次树进行人脸检测，找到人脸后，记录每个被检测到的人脸的位置，人脸图像的置信度分数，人脸分辨率信息。

a＝∑_i＝1,...,Ts_i(x)

s_i(x)表示第i个深度二次树模型的评分值。a代表T个深度二次树模型的评分值之和。一张图片的人脸置信度是所有深度二次树的评分值的总和。人脸置信度分数a为人脸检测模块对已经人脸图片的评价值，这个值越高，代表是人脸的可能性越大。

计算人脸分辨率评价值。通常认为人脸分辨率越大，图像的质量越好。设定60×60为合适的人脸标准分辨率,那么对于一张宽为w,高为h的人脸图像，它的分辨率评价值b为：

步骤：1.5：利用深度二次树模型进行人脸清晰度评价。进行人脸检测时，图片会通过一颗树中多个节点来判断是否为人脸，这样就形成了一条图片的流动路径。通过这条路径上的各个节点，可以得到对应两点的坐标和像素值，并计算两点的像素差的绝对值。最后经过所有的深度二次树模型的总像素差值之和作为人脸清晰度：

N,M_i分别代表一个级联人脸检测器由N棵深度二次树组成，M_i表示第i颗深度二次树的深度，x_ij和y_ij分别表示第i颗深度二次树上的深度为j的分支节点特征所得到的两个点的像素值。c表示为模型对人脸图像的清晰度评价值。

进一步地，步骤2包括以下步骤：

步骤：2.1：对检测到的人脸进行目标跟踪：在步骤1中检测得到人脸位置信息，将其作为人脸跟踪的初始框，并从下一帧开始采用光流法进行人脸跟踪，得到其H张属于同一个人脸的图像I_j，j∈{1,2,...,H}。

步骤：2.2：跟踪得到的同一个人脸图像清晰度评价值和人脸分辨率评价值的计算：人脸跟踪得到人脸区域I_j后，对I_j分别进行一定尺度的放大和缩小，具体如下：对于人脸区域I_j求得其中心点O_j的位置保持O_j的位置不变，然后分别对I_j的宽和高进行缩放，分别得到两个人脸区域I'_j，I”_j：

w^*＝w×(1±α)

h^*＝h×(1±α)

w^*,h^*是调整后的新人脸区域的宽和高，w,h是原始人脸区域的宽和高,α是尺度缩放因子。

加上原本跟踪到的人脸区域，得到三个不同尺度的人脸区域I_j，I'_j，I”_j，然后用训练好的深度二次树模型对其进行人脸置信度打分，保留置信度得分最高的人脸区域为计算其清晰度评价值和人脸分辨率评价值。

进一步地，上述步骤3包括以下步骤：

对于人脸区域利用之前得到的人脸置信度人脸分辨率得分人脸清晰度得分加权得到最后的人脸质量评价值

λ₁，λ₂，λ₃分别为三个指标的权重，λ₁≥λ₂≥λ₃＞0,例如λ₁，λ₂，λ₃可以分别设置为2，2，1.

根据之前通过检测和跟踪得到的同个人的多张人脸作为一个人脸子集I_i，i∈{1,2,...,H}，对人脸子集中的所有的图像及人脸图像质量进行评价，最终保留评价值最高的人脸图像。

附图说明

图1为总技术流程图。

图2为深度二次树结构图。

具体实施方式

下面结合附图对本发明作进一步说明。

如图1所示，本发明的基于深度二次树的视频监控中人脸去重方法，包括如下步骤：

步骤1：人脸检测部分：准备正负人脸样本使用训练好的深度二次树模型对监控视频中移动的行人进行人脸检测，获取其人脸位置，人脸置信度，人脸清晰度和人脸图像的分辨率，子步骤如下：

步骤：1.1：人脸检测器的样本数据集收集，通过监控视频自行收集不同姿态，光照，遮挡等复杂环境下的人脸正样本和非人脸的负样本。

步骤：1.2：人脸特征提取：针对所有的训练正负样本提取归一化像素差(NPD)特征，其计算公式如下：

其中x,y分别代图像中两个点的像素值。

步骤：1.3：利用Adaboost算法学习得到多个有效的归一化像素差特征，作为深度二次树的分支节点特征：假设给定的输入归一化像素差特征f，深度二次树树叶子节点输出人脸分类置信度得分s。按照分裂节点函数即最大值纯度函数γ,将归一化像素差特征构建深度二次树的分裂节点，输入特征f通过穷举法训练双阈值α₁，α₂，根据双阈值α₁，α₂确定深度二次树结构每个分裂节点的左右路线区分，其区分方式如下：

最大值纯度函数γ令训练样本数据集最大程度的区分正负样本，其公式如下：

其中，u_P,v_N为深度二次树中被分裂节点区分的正样本P和负样本N的个数。

设定的树的深度参数为L，当这个深度二次树的深度达到L时，树的训练终止。依次训练T个深度二次树，将T个深度二次树级联起来得到一个级联分类树模型。

步骤：1.4：对视频图像用训练好的级联深度二次树进行人脸检测，找到人脸后，记录每个被检测到的人脸的位置，人脸图像的置信度分数，人脸分辨率信息。

a＝∑_i＝1,...,Ts_i(x)

s_i(x)表示第i个深度二次树模型的评分值。a代表T个深度二次树模型的评分值之和。一张图片的人脸置信度是所有深度二次树的评分值的总和。人脸置信度分数a为人脸检测模块对已经人脸图片的评价值，这个值越高，代表是人脸的可能性越大。

计算人脸分辨率评价值。通常认为人脸分辨率越大，图像的质量越好。设定60×60为合适的人脸标准分辨率,那么对于一张宽为w,高为h的人脸图像，它的分辨率评价值b为：

步骤：1.5：利用深度二次树模型进行人脸清晰度评价。进行人脸检测时，图片会通过一颗树中多个节点来判断是否为人脸，这样就形成了一条图片的流动路径。通过这条路径上的各个节点，可以得到对应两点的坐标和像素值，并计算两点的像素差的绝对值。最后经过所有的深度二次树模型的总像素差值之和作为人脸清晰度：

N,M_i分别代表一个级联人脸检测器由N棵深度二次树组成，M_i表示第i颗深度二次树的深度，x_ij和y_ij分别表示第i颗深度二次树上的深度为j的分支节点特征所得到的两个点的像素值。c表示为模型对人脸图像的清晰度评价值。

步骤2：人脸跟踪部分：根据获取的初始帧的人脸位置，进行人脸跟踪，获取同一个人的多张人脸，子步骤如下：

步骤：2.1：对检测到的人脸进行目标跟踪：在步骤1中检测得到人脸位置信息，将其作为人脸跟踪的初始框，并从下一帧开始采用光流法进行人脸跟踪，得到其H张属于同一个人脸的图像I_j，j∈{1,2,...,H}。

步骤：2.2：跟踪得到的同一个人脸图像清晰度评价值和人脸分辨率评价值的计算：人脸跟踪得到人脸区域I_j后，对I_j分别进行一定尺度的放大和缩小，具体如下：对于人脸区域I_j求得其中心点O_j的位置保持O_j的位置不变，然后分别对I_j的宽和高进行缩放，分别得到两个人脸区域I'_j，I”_j：

w^*＝w×(1±α)

h^*＝h×(1±α)

w^*,h^*是调整后的新人脸区域的宽和高，w,h是原始人脸区域的宽和高,α是尺度缩放因子。

加上原本跟踪到的人脸区域，得到三个不同尺度的人脸区域I_j，I'_j，I”_j，然后用训练好的深度二次树模型对其进行人脸置信度打分，保留置信度得分最高的人脸区域为计算其清晰度评价值和人脸分辨率评价值。

步骤3：人脸去重：针对同一个人的人脸子集，采用人脸质量评价法确定各张人脸的图像质量，然后根据评价值选择质量最好的人脸。人脸质量评价分数由人脸置信度、人脸清晰度和人脸图像分辨率三个指标加权得出。

对于人脸区域利用之前得到的人脸置信度人脸分辨率得分人脸清晰度得分加权得到最后的人脸质量评价值

λ₁，λ₂，λ₃分别为三个指标的权重，λ₁≥λ₂≥λ₃＞0,例如λ₁，λ₂，λ₃可以分别设置为2，2，1.

根据之前通过检测和跟踪得到的同个人的多张人脸作为一个人脸子集I_i，i∈{1,2,...,H}，对人脸子集中的所有的图像及人脸图像质量进行评价，最终保留评价值最高的人脸图像。

Claims (4)

1.基于深度二次树的视频监控中人脸去重方法，其特征在于：包括以下步骤：

步骤1：人脸检测部分：使用训练好的深度二次树模型对监控视频中移动的行人进行人脸检测，获取其人脸位置，人脸置信度，人脸清晰度和人脸图像的分辨率；

步骤2：人脸跟踪部分：根据获取的初始帧的人脸位置，进行人脸跟踪，获取同一个人的多张人脸；

步骤3：人脸去重：针对同一个人的人脸子集，采用人脸质量评价法确定各张人脸的图像质量，然后根据评价值选择质量最好的人脸；

人脸质量评价分数由人脸置信度、人脸清晰度和人脸图像分辨率三个指标加权得出。

2.根据权利要求1所述的基于深度二次树的视频监控中人脸去重方法，其特征在于：上述步骤1中具体步骤如下：

步骤1.1：人脸检测器的样本数据集收集，通过监控视频自行收集不同姿态，光照，遮挡等复杂环境下的人脸正样本和非人脸的负样本；

步骤1.2：人脸特征提取：针对所有的训练正负样本提取归一化像素差特征，其计算公式如下：

其中x,y分别代图像中两个点的像素值；

步骤1.3：利用Adaboost算法学习得到多个有效的归一化像素差特征，作为深度二次树的分支节点特征：假设给定的输入归一化像素差特征f，深度二次树树叶子节点输出人脸分类置信度得分s；按照分裂节点函数即最大值纯度函数γ,将归一化像素差特征构建深度二次树的分裂节点，输入特征f通过穷举法训练双阈值α₁，α₂，根据双阈值α₁，α₂确定深度二次树结构每个分裂节点的左右路线区分，其区分方式如下：

最大值纯度函数γ令训练样本数据集最大程度的区分正负样本，其公式如下：

其中，u_P,v_N为深度二次树中被分裂节点区分的正样本P和负样本N的个数；

设定的树的深度参数为L，当这个深度二次树的深度达到L时，树的训练终止；依次训练T个深度二次树，将T个深度二次树级联起来得到一个级联分类树模型；

步骤1.4：对视频图像用训练好的级联深度二次树进行人脸检测：找到人脸后，记录每个被检测到的人脸的位置，人脸图像的置信度，人脸分辨率信息；

人脸图像的置信度由以下公式计算：

a＝∑_i＝1,...,Ts_i(x)

s_i(x)表示第i个深度二次树模型的评分值；a代表T个深度二次树模型的评分值之和；一张图片的人脸置信度是所有深度二次树的评分值的总和；人脸置信度分数a为人脸检测模块对图片的评价值，这个值越高，代表是人脸的可能性越大；

计算人脸分辨率评价值，设定60×60为合适的人脸标准分辨率,那么对于一张宽为w,高为h的人脸图像，它的分辨率评价值b为：

步骤1.5：利用深度二次树模型进行人脸清晰度评价：进行人脸检测时，图片会通过一颗树中多个节点来判断是否为人脸，这样就形成了一条图片的流动路径；通过这条路径上的各个节点，可以得到对应两点的坐标和像素值，并计算两点的像素差的绝对值；最后经过所有的深度二次树模型的总像素差值之和作为人脸清晰度：

N,M_i分别代表一个级联人脸检测器由N棵深度二次树组成，M_i表示第i颗深度二次树的深度，x_ij和y_ij分别表示第i颗深度二次树上的深度为j的分支节点上两个像素点的灰度值；c表示为模型对人脸图像的清晰度评价值。

3.根据权利要求1所述的基于深度二次树的视频监控中人脸去重方法，其特征在于：上述步骤2中具体步骤如下：

步骤2.1：对检测到的人脸进行目标跟踪：在步骤1中检测得到人脸位置信息，将其作为人脸跟踪的初始框，并从下一帧开始采用光流法进行人脸跟踪，得到其H张属于同一个人脸的图像I_j，j∈{1,2,...,H}；

步骤2.2：跟踪得到的同一个人脸图像清晰度评价值和人脸分辨率评价值的计算：人脸跟踪得到人脸区域I_j后，对I_j分别进行一定尺度的放大和缩小，具体如下：对于人脸区域I_j求得其中心点O_j的位置保持O_j的位置不变，然后分别对I_j的宽和高进行缩放，分别得到两个人脸区域I'_j，I″_j：

w^*＝w×(1±α)

h^*＝h×(1±α)

w^*,h^*是调整后的新人脸区域的宽和高，w,h是原始人脸区域的宽和高,α是尺度缩放因子；

加上原本跟踪到的人脸区域，得到三个不同尺度的人脸区域I_j，I'_j，I″_j，然后用训练好的深度二次树模型对其进行人脸置信度打分，保留置信度得分最高的人脸区域为计算其清晰度评价值和人脸分辨率评价值。

4.根据权利要求1所述的基于深度二次树的视频监控中人脸去重方法，其特征在于：上述步骤3中具体步骤如下：

对于人脸区域利用之前得到的人脸置信度人脸分辨率得分人脸清晰度得分加权得到最后的人脸质量评价值

λ₁，λ₂，λ₃分别为三个指标的权重，λ₁≥λ₂≥λ₃＞0,例如λ₁，λ₂，λ₃可以分别设置为2，2，1；

根据之前通过检测和跟踪得到的同个人的多张人脸作为一个人脸子集I_i，i∈{1,2,...,H}，对人脸子集中的所有的图像及人脸图像质量进行评价，最终保留评价值最高的人脸图像：