CN109784244B - 一种指定目标的低分辨率人脸精确识别方法 - Google Patents

Abstract

本发明公开了一种指定目标的低分辨率人脸精确识别方法，步骤包括：1)从监控视频帧中检测出人脸区域，只取监控视频中的人脸区域作为待识别的人脸图像，人脸区域的分辨率不小于16×16；2)提取人脸区域的特征；3)对待识别样本集合进行分类；4)对待识别样本集合的指定目标进行初检；5)精确识别；6)将最终得到的指定目标样本集合输出，即成。本发明的方法，适用于对预存一幅正面人脸图像指定的目标，在监控视频帧图像样本中，识别出与指定目标相同的人脸样本，不需要预先训练学习目标样本，且待识别的人脸图像分辨率要求不高，符合单类目标的搜索应用。

Description

一种指定目标的低分辨率人脸精确识别方法

技术领域

本发明属于人脸目标识别技术领域，涉及一种指定目标的低分辨率人脸精确识别方法。

背景技术

户外全天候监控的智慧安防系统，其充分发挥监控效能的关键作用之一，就是能够对进入监控视域中的人员进行识别，找出指定目标出现的时间和地点等信息。然而，对于监控视频环境下的人脸识别，最大的困难是出现的目标人脸图像分辨率过低，与预存的高分辨率指定目标的人脸图像的差异较大，会带来比较严重的误检与漏检。

现有的技术，对出现在视频监控中的指定目标，当人脸图像分辨率足够高时可以正确判读，但对于分辨率较低的情况下，则需要通过大量的训练样本对识别模型进行训练，否则无法获得良好的识别结果。

针对监控视频中出现的不同行人数量较多，而指定目标仅为一个人的单类目标识别的情况，现有的方法无法很好地实现一对多的识别，并且对于从监控视频帧中获取的低分辨率人脸图像，目前的人脸识别方法不能够同时保证具有较高的召回率和精确率。

发明内容

本发明的目的是提供一种指定目标的低分辨率人脸精确识别方法，解决了现有技术中单样本无法训练分类器，在非受限的环境中采集到的待识别人脸图像分辨率较低且受复杂环境影响，使得指定单个目标与数目众多的非目标类别无法正确分类的问题。

本发明所采用的技术方案是，一种指定目标的低分辨率人脸精确识别方法，按照以下步骤实施：

步骤1、从监控视频帧中检测出人脸区域，

只取监控视频中的人脸区域作为待识别的人脸图像，人脸区域的分辨率不小于16×16；

步骤2、提取人脸区域的特征；

步骤3、对待识别样本集合S＝{s_i|i＝1,2,…,n}进行分类；

步骤4、对待识别样本集合S＝{s_i|i＝1,2,…,n}的指定目标进行初检；

步骤5、精确识别；

步骤6、将最终得到的指定目标样本集合

输出，即成。

本发明的有益效果是，适用于对预存一幅正面人脸图像指定的目标，在监控视频帧图像样本中，识别出与指定目标相同的人脸样本，不需要预先训练学习目标样本，且待识别的人脸图像分辨率要求不高(分辨率可低至16×16)，不需要学习额外扩展集中同类别的多样性，允许待识别集合中存在诸多与指定目标不同的陌生人，精确率高(几乎不出错)，在获得99.9％以上高精准率的同时，可获得84％以上的平均召回率，符合单类目标的搜索应用。

附图说明

图1是本发明方法中待识别样本集合的种子点预置过程示意图；

图2是本发明方法中的目标初检过程示意图；

图3是本发明方法中的目标精确识别过程示意图；

图4是本发明方法在精确识别时，迭代识别的目标样本数变化曲线。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明的低分辨率人脸精确识别方法，按照以下步骤实施：

步骤1、从监控视频帧中检测出人脸区域，

采用现有技术的人脸区域检测方法，比如openCV提供的人脸检测算法完成；只取监控视频中的人脸区域作为待识别的人脸图像，用于后续处理，人脸区域的分辨率不小于16×16；

步骤2、提取人脸区域的特征，

采用已经训练好的VGG深度卷积神经网络提取人脸图像特征，不需要采用新的视频数据进行迁移学习，

该VGG卷积神经网络是现有技术，可参考相关的现有文献实现，提取指定目标以及待识别目标人脸特征时，VGG卷积神经网络的输入样本分辨率要求调整至224×224大小，分辨率调整方法可采用公开的现有技术，包括双线性插值法在内的图像缩放算法；

设指定目标集合为O＝{o}，只有一个指定目标样本的特征向量；从步骤1至步骤2的方法得到的待识别样本集合记为S＝{s_i|i＝1,2,…,n}，其中s_i为待识别的人脸特征，共包括n个特征向量样本；

步骤3、对待识别样本集合S＝{s_i|i＝1,2,…,n}进行分类，

本发明步骤假设待识别样本集合中，一定包含指定目标，因为待识别样本集合S＝{s_i|i＝1,2,…,n}中既包含指定目标样本，又包含很多的陌生人样本，因此先进行分类处理，具体过程是：

3.1)采用轮廓系数法，获得待识别样本集合S＝{s_i|i＝1,2,…,n}的最佳聚类类别数K，轮廓系数法为现有技术，可在相应的专业书籍和论文中检索到；

3.2)由步骤3.1)获得最佳聚类类别数K，然后将待识别样本集合S＝{s_i|i＝1,2,…,n}中的样本采用Kmeans方法(现有技术)聚为K类，将K个类别的子集表示为

将K个类别的子集的聚类中心记作μ^k；

3.3)对分为K个子集

先选出指定目标样本所在的类别，为描述方便起见，不失一般性，设判断为与指定目标集合O＝{o}具有最小距离的样本s₁属于子集

则子集S¹的种子点为

3.4)对其它的K-1个非目标的子集

选出与聚类中心μ^k距离最小的样本作为每个类别的种子，表示为

3.5)如图1所示，将上述生成的K个种子作为新的预置种子集合，记为

预置种子集合具有K个类别，且在K-1个非目标样本中，

与指定目标样本

的距离最小；

步骤4、对待识别样本集合S＝{s_i|i＝1,2,…,n}的指定目标进行初检，

4.1)对步骤3从待识别样本集合S＝{s_i|i＝1,2,…,n}进行分类之后，根据步骤3.5)得到的新的预置种子集合

为了防止非目标样本

与指定目标样本

的相似度较高导致待识别样本严重误检或漏检，如图2所示，本发明步骤中，将样本

从预置种子集合

中移出，则预置种子集合更新为

包含了更新进去的K-1个类别的种子样本，这样原来的待识别样本集合S＝{s_i|i＝1,2,…,n}的样本数则少了K-1个样本，设去掉了种子点的待识别样本集合为

4.2)合并样本集合，

对由步骤4.1)更新后的预置种子集合

和去掉了种子点的待识别样本集合

进行合并为样本集合

其中，

为已知标签集合，

为未知标签集合，

x_i+K＝s_i,i＝1,2,…,n-K+1；

4.3)构建概率转移矩阵，

按照下式(1)计算概率转移矩阵T＝[t_ij]_n+1×n+1：

其中，w_ij为x_i与x_j之间的相似度，t_ij是样本的标签从x_j转移到x_i的概率；

4.4)初始化标签矩阵

其中，Y_L是已知标签部分，Y_U是未知标签部分，

对由步骤4.2)构建的样本集合

其更新后的预置种子

部分的特征向量x₁,x₂∈Ω₁，是指定目标样本特征向量，x_i+1∈Ω_i,i＝2,4,…K-1，是非目标样本特征向量，

则初始化已知标签部分Y_L为：

j＝1,2,…,K-1；

子集

为待识别样本的特征向量x_i,i＝K+1,K+2,…,n+1，对应标签矩阵Y₀中的未知标签部分Y_U，则初始化Y_U为n-K+1行，K-1列的零矩阵；

4.5)按照公式(2)迭代标签矩阵：

Y_t+1＝T·Y_t (2)

其中，T＝[t_ij]_n+1×n+1由公式(1)计算得到；

迭代过程中获得新的标签矩阵Y_t+1，对新的标签矩阵Y_t+1每行归一化，并且固定已标记数据的标签；直到标签矩阵收敛，停止迭代；

迭代收敛后，新的标签矩阵Y_t+1中第i+K行，i＝1,2,…,n-K+1中的最大值所在列，表示待识别样本s_i的预测身份，记作id_i，i＝1,2,…,n-K+1；

上述的步骤4.3)至4.5)为现有技术的标签传播算法，在相关的技术文献以及专业书籍中已经公开，作为组成本发明方法的部分技术方案；

4.6)指定目标的初检

由步骤4.5)，去掉了种子点的待识别样本集合

中待识别样本s_i均能获得预测身份id_i，换句话说，去掉了种子点的待识别样本集合

中的所有样本均被预测为指定目标样本类和K-2个非目标类；

为描述方便起见，不失一般性，设去掉了种子点的待识别样本集合

预测为指定目标样本类别的集合为

预测为K-2非目标样本类别的集合为

将预测指定目标集合

设定为下一阶段的待识别样本集合，将预测为非目标样本类别的集合

及预置种子集合

的K-2非目标种子样本合并，设定为下一阶段的非目标样本集合

步骤5、精确识别，

5.1)为了去除步骤4.6)指定目标初检得到的预测指定目标集合

被误检为指定目标的非目标样本，将其设为待识别样本集合进行精确识别；

5.2)采用现有技术中的Kmeans方法将步骤4.6)得到的非目标样本集合

聚为K-1类，之后按照步骤3.4)的方式选出K-1个非目标种子点

重新构建预置种子样本集合

如图3所示，其中，样本

与步骤3.3)的样本s₁相同；

5.3)将重新构建的预置种子样本集合

和待识别样本集合

按照步骤4.3)至4.5)进行标签传播后，将待识别样本集合

预测身份为指定目标类别的样本集合

作为下一代的待识别样本集合，即待识别样本数量从n₁减小至n₂；而将预测身份为非目标类别的样本集合

加入非目标集合

中，更新非目标集合为

5.4)对于更新的非目标集合

按照步骤5.2)的方法重新构建的预置种子样本集合

并结合更新的集合

按照步骤5.3)的方法进行标签传播，重复上述操作，直到样本数不再减少，停止迭代；如图4所示，随着迭代次数的增加，集合

中的待识别样本数不断减少；

步骤6、将最终得到的指定目标样本集合

输出，即成。

Claims (2)

1.一种指定目标的低分辨率人脸精确识别方法，其特征在于，按照以下步骤实施：

步骤1、从监控视频帧中检测出人脸区域，

只取监控视频中的人脸区域作为待识别的人脸图像，人脸区域的分辨率不小于16×16；

步骤2、提取人脸区域的特征，

从步骤1至步骤2的方法得到的待识别样本集合记为S＝{s_i|i＝1,2,…,n}，其中s_i为待识别的人脸特征，共包括n个特征向量样本；

步骤3、对待识别样本集合S＝{s_i|i＝1,2,…,n}进行分类，具体过程是，

3.1)采用轮廓系数法，获得待识别样本集合S＝{s_i|i＝1,2,…,n}的最佳聚类类别数K；

3.2)将待识别样本集合S＝{s_i|i＝1,2,…,n}中的样本采用Kmeans方法聚为K类，将K个类别的子集表示为

k＝1,2,…,K；将K个类别的子集的聚类中心记作μ^k；

3.3)对分为K个子集

k＝1,2,…,K，先选出指定目标样本所在的类别，设判断为与指定目标集合O＝{o}具有最小距离的样本s₁属于子集

则子集S¹的种子点为

3.4)对其它的K-1个非目标的子集

选出与聚类中心μ^k距离最小的样本作为每个类别的种子，表示为

k＝2,…,K；

3.5)将上述生成的K个种子作为新的预置种子集合，记为

预置种子集合具有K个类别，且在K-1个非目标样本中，

与指定目标样本

的距离最小；

步骤4、对待识别样本集合S＝{s_i|i＝1,2,…,n}的指定目标进行初检，具体过程是：

4.1)对步骤3从待识别样本集合S＝{s_i|i＝1,2,…,n}进行分类之后，根据步骤3.5)得到的新的预置种子集合

将样本

从预置种子集合

中移出，则预置种子集合更新为

包含了更新进去的K-1个类别的种子样本，这样原来的待识别样本集合S＝{s_i|i＝1,2,…,n}的样本数则少了K-1个样本，设去掉了种子点的待识别样本集合为

4.2)合并样本集合，

对由步骤4.1)更新后的预置种子集合

和去掉了种子点的待识别样本集合

进行合并为样本集合

其中，

为已知标签集合，

为未知标签集合，x₁＝o，

i＝3,4,…K，x_i+K＝s_i,i＝1,2,…,n-K+1；

4.3)构建概率转移矩阵，

按照下式(1)计算概率转移矩阵T＝[t_ij]_n+1×n+1：

其中，w_ij为x_i与x_j之间的相似度，t_ij是样本的标签从x_j转移到x_i的概率；

4.4)初始化标签矩阵

其中，Y_L是已知标签部分，Y_U是未知标签部分，

对由步骤4.2)构建的样本集合

其更新后的预置种子

部分的特征向量x₁,x₂∈Ω₁，是指定目标样本特征向量，x_i+1∈Ω_i,i＝2,4,…K-1，是非目标样本特征向量，

则初始化已知标签部分Y_L为：

i＝1,2,…,K，j＝1,2,…,K-1；

子集

为待识别样本的特征向量x_i,i＝K+1,K+2,…,n+1，对应标签矩阵Y₀中的未知标签部分Y_U，则初始化Y_U为n-K+1行，K-1列的零矩阵；

4.5)按照公式(2)迭代标签矩阵：

Y_t+1＝T·Y_t (2)

其中，T＝[t_ij]_n+1×n+1由公式(1)计算得到；

迭代过程中获得新的标签矩阵Y_t+1，对新的标签矩阵Y_t+1每行归一化，并且固定已标记数据的标签；直到标签矩阵收敛，停止迭代；

迭代收敛后，新的标签矩阵Y_t+1中第i+K行，i＝1,2,…,n-K+1中的最大值所在列，表示待识别样本s_i的预测身份，记作id_i，i＝1,2,…,n-K+1；

4.6)指定目标的初检

由步骤4.5)，去掉了种子点的待识别样本集合

中待识别样本s_i均能获得预测身份id_i，即去掉了种子点的待识别样本集合

中的所有样本均被预测为指定目标样本类和K-2个非目标类；

设去掉了种子点的待识别样本集合

预测为指定目标样本类别的集合为

预测为K-2非目标样本类别的集合为

将预测指定目标集合

设定为下一阶段的待识别样本集合，将预测为非目标样本类别的集合

及预置种子集合

的K-2非目标种子样本合并，设定为下一阶段的非目标样本集合

步骤5、精确识别，具体过程是：

5.1)为了去除步骤4.6)指定目标初检得到的预测指定目标集合

被误检为指定目标的非目标样本，将其设为待识别样本集合进行精确识别；

5.2)采用Kmeans方法将步骤4.6)得到的非目标样本集合

聚为K-1类，之后按照步骤3.4)的方式选出K-1个非目标种子点

重新构建预置种子样本集合

其中，样本

与步骤3.3)的样本s₁相同；

5.3)将重新构建的预置种子样本集合

和待识别样本集合

按照步骤4.3)至4.5)进行标签传播后，将待识别样本集合

预测身份为指定目标类别的样本集合

作为下一代的待识别样本集合，即待识别样本数量从n₁减小至n₂；而将预测身份为非目标类别的样本集合

加入非目标集合

中，更新非目标集合为

5.4)对于更新的非目标集合

按照步骤5.2)的方法重新构建的预置种子样本集合

并结合更新的集合

按照步骤5.3)的方法进行标签传播，重复上述操作，直到样本数不再减少，停止迭代；随着迭代次数的增加，集合

中的待识别样本数不断减少；

步骤6、将最终得到的指定目标样本集合

输出，即成。

2.根据权利要求1所述的指定目标的低分辨率人脸精确识别方法，其特征在于：所述的步骤2中，具体过程是，

提取指定目标以及待识别目标人脸特征时，VGG卷积神经网络的输入样本分辨率要求调整至224×224，

设指定目标集合为O＝{o}，只有一个指定目标样本的特征向量。

Images