CN113361356A

CN113361356A - 一种复杂环境人脸识别方法及系统

Info

Publication number: CN113361356A
Application number: CN202110594959.2A
Authority: CN
Inventors: 杜达康; 陆洪超; 范锦才; 覃义邱
Original assignee: Foshan Chengzhixin Information Technology Co ltd
Current assignee: Foshan Chengzhixin Information Technology Co ltd
Priority date: 2021-05-28
Filing date: 2021-05-28
Publication date: 2021-09-07
Anticipated expiration: 2041-05-28
Also published as: CN113361356B

Abstract

本公开提供一种复杂环境人脸识别方法及系统，以环境帧计算出干扰特征，并以人像帧进行转化计算得到其转化特征，通过标记序列求出帧序列中作为目标的人像帧的时间临近的环境帧，以时间临近的环境帧的干扰特征，对目标人像帧进行转化计算得到的转化特征进行去除复杂环境下的环境干扰，产出纯化特征，提高人脸识别系统在复杂环境下的识别能力。

Description

一种复杂环境人脸识别方法及系统

技术领域

本发明涉及人脸识别技术领域，尤其涉及一种复杂环境人脸识别方法及系统。

背景技术

一般的复杂环境人脸识别技术更多关注在算法上去除数据集中图像数据包含的环境干扰因素，其更多的去干扰工作多是嵌入到算法的计算过程中，该类算法对于提取图像的去杂质任性特征设计甚少，且不利于对特征值的特区运算。目前，在复杂环境下的人像特征提取领域迫切需要一种能在视频特征提取中去除干扰项的提纯方法,以排除人脸识别输入中的干扰因素。

发明内容

为了实现上述目的，根据本公开的一方面，提供一种复杂环境人脸识别方法及系统，所述方法包括以下步骤：

步骤1，通过网络将采集到的视频数据上传后端的服务器；

步骤2，在服务器上将采集到的视频进行分解处理，将视频分解为帧序列，并将视频中各帧的采集时间作为帧序列的标记序列；

步骤3，提取帧序列中包含人脸目标出现的帧，作为人像帧，把人像帧集合为第二帧序列；

步骤4，提取帧序列中不包含人脸目标出现的帧，作为环境帧，把环境帧集合为第三帧序列；

步骤5，以第三帧序列中环境帧计算出干扰特征，以第二帧序列中人像帧进行转化计算得到其转化特征；

步骤6，通过标记序列求出帧序列中作为目标的人像帧的时间临近的环境帧，以时间临近的环境帧的干扰特征，对目标人像帧进行转化计算得到的转化特征进行去除复杂环境下的环境干扰，产出纯化特征。

进一步地，在步骤1中，通过网络将采集到的视频数据上传后端的服务器的方法为：通过无线网络将采集到的视频数据向后端的服务器进行传输。

进一步地，在步骤2中，在服务器上将采集到的视频进行分解处理，将视频分解为帧序列，并将视频中各帧的采集时间作为帧序列的标记序列的方法为：将视频分解为一组帧序列，把每一帧通过进行灰度化和归一化处理得到的所有帧集合成为帧序列，并且将各帧采集时记录的时间标注入帧序列中作为帧序列的标记序列T＝{t}。

进一步地，在步骤3中，提取帧序列中包含人脸目标出现的帧，作为人像帧，把人像帧集合为第二帧序列，以计算出干扰特征的方法为：利用MTCNN算法(参见论文：KaipengZhan,Zhanpeng Zhang,Zhifeng L,Yu Qiao.Joint Face Detection and AlignmentUsing Multitask Cascaded Convolutional Networks.2016,IEEE Signal ProcessingLetters.)或PyramidBox算法(参见论文：X.Tang,Daniel K.Du,Z.He,J.Liu PyramidBox:AContext-assisted Single Shot Face Detector.arXiv preprint arXiv:1803.07737,2018.)把帧序列中包含人脸目标的帧(即人像帧)筛选出来作为第二帧序列。

进一步地，在步骤4中，提取帧序列中不包含人脸目标出现的帧，作为环境帧，把环境帧集合为第三帧序列，方法为：在步骤3中，所述帧序列中筛选掉第二帧序列后剩下的不包含人脸目标出现的帧(即环境帧)作为第三帧序列。

进一步地，在步骤5中，以第三帧序列中环境帧计算出干扰特征，以第二帧序列中人像帧进行转化计算得到其转化特征，具体方法为：

步骤5.1，令第二帧序列、第三帧序列中的各帧构成的矩阵M表示为函数M(i,j)，其中M(i,j)表示矩阵M的第i行第j列元素，M(i,)表示矩阵M的第i行元素组成的数组，M(,j)表示矩阵M的第j列元素，变量i表示矩阵的行的序号，变量j表示矩阵的列的序号，n表示矩阵的行数，m表示矩阵的列数；

步骤5.2，计算M中各个像素与其他像素的特征关系，令r(i)表示矩阵第i行的元素M(i,)与整个矩阵M的特征关系，c(j)表示矩阵第j列的元素M(,j)与整个矩阵M的特征关系，求c(j)为矩阵第j列元素与帧的矩阵中其他列的元素的特征关系，有c(j)＝{[M(1,j)×M(1,1)+M(2,j)×M(2,1)+…+M(n-1,j)×M(n-1,1)+M(n,j)×M(n,1)]+[M(1,j)×M(1,2)+M(2,j)×M(2,2)+…+M(n-1,j)×M(n-1,2)+M(n,j)×M(n,2)]+[M(1,j)×M(1,3)+M(2,j)×M(2,3)+…+M(n-1,j)×M(n-1,3)+M(n,j)×M(n,3)]+…+[M(1,j)×M(1,m-1)+M(2,j)×M(2,m-1)+…+M(n-1,j)×M(n-1,m-1)+M(n,j)×M(n,m-1)]+[M(1,j)×M(1,m)+M(2,j)×M(2,m)+…+M(n-1,j)×M(n-1,m)+M(n,j)×M(n,m)]-[M(1,j)×M(1,j)+M(2,j)×M(2,j)+…+M(n-1,j)×M(n-1,j)+M(n,j)×M(n,j)]}/[n×(m-1)],并求r(i)为矩阵第i行的元素M(i,)与整个矩阵M的特征关系，有r(i)＝{[M(i,1)×M(2,1)+M(i,2)×M(2,2)+…+M(i,m-1)×M(2,m-1)+M(i,m)×M(2,m)]+[M(i,1)×M(3,1)+M(i,2)×M(3,2)+…+M(i,m-1)×M(3,m-1)+M(i,m)×M(3,m)]+…+[M(i,1)×M(n-1,1)+M(i,2)×M(n-1,2)+…+M(i,m-1)×M(n-1,m-1)+M(i,m)×M(n-1,m)]+[M(i,1)×M(n,1)+M(i,2)×M(n,2)+…+M(i,m-1)×M(n,m-1)+M(i,m)×M(n,m)]-[M(i,1)×M(i,1)+M(i,2)×M(i,2)+…+M(i,m-1)×M(i,m-1)+M(i,m)×M(i,m)]}/[m×(n-1)],以r(i)、c(j)分别衡量各行、列与其他行、列的特征关系，以此为图像的帧上特征的表示信息；

步骤5.3，提取M中各个像素与其他像素的特征关系度a，a(i,j)表示M的第i行第j列元素与整个矩阵的特征关系度，特征关系度a由行特征度r和列特征度c计算所得，其中，a(i,j)由第i行的行特征度r(i)和第j列的列特征度c(j)计算所得，

以此获得该帧的矩阵上M(i,j)与其他行元素与列元素的特征关系；

步骤5.4，设输入系统的作为目标的人像帧的矩阵为M₂、对应的环境帧的矩阵为M₃，根据步骤5.3所述，令a对矩阵M的转化函数为A()，其中M₂(i,j)表示矩阵M₂的第i行第j列元素，M₃(i,j)表示矩阵M₃的第i行第j列元素，则有

A(M₂)＝{M₂(i,j)*a(i,j)},μ＝A(M₂),

A(M₃)＝{M₃(i,j)*a(i,j)},λ＝A(M₃),分别以第二帧序列中的目标的人像帧M₂进行转化函数A()的计算得到其转化特征μ、以第三帧序列中的对应的环境帧M₃计算出干扰特征λ。

进一步地，在步骤6中，通过标记序列求出帧序列中作为目标的人像帧的时间临近的环境帧，以时间临近的环境帧的干扰特征，对目标人像帧进行转化计算得到的转化特征进行去除复杂环境下的环境干扰，产出纯化特征，其方法为：

步骤6.1，在标记序列T中选取距离采集到的所求的人像帧M₂的采集时间t_m最接近的时间t_m`时采集的环境帧M₃；

步骤6.2，从环境帧M₃计算所得的干扰特征λ、从人像帧M₂计算所得的转化特征μ，其中μ(i,j)表示矩阵μ的第i行第j列元素，λ(i,j)表示矩阵λ的第i行第j列元素，在转化特征μ中去除干扰特征λ以此去除包含人脸目标的帧中含有的环境帧包括的复杂环境下的环境干扰，计算

得到人像帧M₂去除环境干扰后的纯化特征P，将纯化特征用于输入视频安防的人脸识别系统中，以去除在雨、雪、雾霾、沙尘暴等复杂环境下对监控摄像产生的干扰，提高识别的准确率。

本公开的有益效果为：本公开提供一种复杂环境人脸识别方法及系统，以环境帧计算出干扰特征，并以人像帧进行转化计算得到其转化特征，通过标记序列求出帧序列中作为目标的人像帧的时间临近的环境帧，以时间临近的环境帧的干扰特征，对目标人像帧进行转化计算得到的转化特征进行去除复杂环境下的环境干扰，产出纯化特征，提高人脸识别系统在复杂环境下的识别能力。

附图说明

通过对结合附图所示出的实施方式进行详细说明，本公开的上述以及其他特征将更加明显，本公开附图中相同的参考标号表示相同或相似的元素，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术目标来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：

图1所示为一种复杂环境人脸识别方法及系统的流程图；

图2所示为纯化特征计算流程图。

具体实施方式

以下将结合实施例和附图对本公开的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本公开的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

如图1所示为根据本公开的一种复杂环境人脸识别方法及系统的流程图，下面结合图1来阐述根据本公开的实施方式的一种复杂环境人脸识别方法及系统。

本公开提出一种复杂环境人脸识别方法及系统，具体包括以下步骤：

步骤1，通过网络将采集到的视频数据上传后端的服务器；

进一步地，在步骤4中，提取帧序列中不包含人脸目标出现的帧，作为环境帧，把环境帧集合为第三帧序列，方法为：在步骤3中，所述帧序列中筛选掉第二帧序列后剩下的不包含人脸目标出现的帧(即环境帧)作为第三帧序列，所述复杂环境指雨、雪、雾霾、沙尘暴等复杂天气环境下对监控摄像产生干扰的情况。

进一步地，在步骤5中，以第三帧序列中环境帧计算出干扰特征，以第二帧序列中人像帧进行转化计算得到其转化特征，如图2所示，具体方法为：

步骤5.1，令第二帧序列、第三帧序列中的各帧构成的矩阵M表示为函数M(i,j)，矩阵M的大小为512×512、300×300、或218×218，其中M(i,j)表示矩阵M的第i行第j列元素，M(i,)表示矩阵M的第i行元素组成的数组，M(,j)表示矩阵M的第j列元素，变量i表示矩阵的行的序号，变量j表示矩阵的列的序号，n表示矩阵的行数，m表示矩阵的列数；

步骤5.2，计算M中各个像素与其他像素的特征关系，令r(i)表示矩阵第i行的元素M(i,)与整个矩阵M的特征关系，c(j)表示矩阵第j列的元素M(,j)与整个矩阵M的特征关系，求c(j)为矩阵第j列元素与帧的矩阵中其他列的元素的特征关系，有c(j)＝{[M(1,j)×M(1,1)+M(2,j)×M(2,1)+…+M(n-1,j)×M(n-1,1)+M(n,j)×M(n,1)]+[M(1,j)×M(1,2)+M(2,j)×M(2,2)+…+M(n-1,j)×M(n-1,2)+M(n,j)×M(n,2)]+[M(1,j)×M(1,3)+M(2,j)×M(2,3)+…+M(n-1,j)×M(n-1,3)+M(n,j)×M(n,3)]+…+[M(1,j)×M(1,m-1)+M(2,j)×M(2,m-1)+…+M(n-1,j)×M(n-1,m-1)+M(n,j)×M(n,m-1)]+[M(1,j)×M(1,m)+M(2,j)×M(2,m)+…+M(n-1,j)×M(n-1,m)+M(n,j)×M(n,m)]-[M(1,j)×M(1,j)+M(2,j)×M(2,j)+…+M(n-1,j)×M(n-1,j)+M(n,j)×M(n,j)]}/[n×(m-1)],

并求r(i)为矩阵第i行的元素M(i,)与整个矩阵M的特征关系，有

r(i)＝{[M(i,1)×M(2,1)+M(i,2)×M(2,2)+…+M(i,m-1)×M(2,m-1)+M(i,m)×M(2,m)]+[M(i,1)×M(3,1)+M(i,2)×M(3,2)+…+M(i,m-1)×M(3,m-1)+M(i,m)×M(3,m)]+…+[M(i,1)×M(n-1,1)+M(i,2)×M(n-1,2)+…+M(i,m-1)×M(n-1,m-1)+M(i,m)×M(n-1,m)]+[M(i,1)×M(n,1)+M(i,2)×M(n,2)+…+M(i,m-1)×M(n,m-1)+M(i,m)×M(n,m)]-[M(i,1)×M(i,1)+M(i,2)×M(i,2)+…+M(i,m-1)×M(i,m-1)+M(i,m)×M(i,m)]}/[m×(n-1)],

以r(i)、c(j)分别衡量各行、列与其他行、列的特征关系，以此为图像的帧上特征的表示信息；

步骤5.4，设输入系统的作为目标的人像帧的矩阵为M₂、对应的环境帧的矩阵为M₃，根据步骤5.3所述，令a对矩阵M的转化函数为A()，则有

A(M₂)＝{M₂(i,j)*a(i,j)},μ＝A(M₂),

A(M₃)＝{M₃(i,j)*a(i,j)},λ＝A(M₃),

分别以第二帧序列中的目标的人像帧M₂进行转化函数A()的计算得到其转化特征μ、以第三帧序列中的对应的环境帧M₃计算出干扰特征λ。

步骤6.1，在标记序列T中选取距离采集到的所求的人像帧M₂的采集时间t_m最接近的时间t_m`上采集的环境帧M₃；

步骤6.2，从环境帧M₃计算所得的干扰特征λ、从人像帧M₂计算所得的转化特征μ，在转化特征μ中去除干扰特征λ以此去除包含人脸目标的帧中含有的环境帧包括的复杂环境下的环境干扰，计算

得到人像帧M₂去除环境干扰后的纯化特征P，由此去除雨、雪、雾霾、沙尘暴等复杂环境对监控摄像产生的干扰，以提高人脸识别系统在复杂环境下的识别能力。

尽管本公开的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，从而有效地涵盖本公开的预定范围。此外，上文以发明人可预见的实施例对本公开进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本公开的非实质性改动仍可代表本公开的等效改动。

Claims

1.一种复杂环境人脸识别方法及系统，其特征在于，所述方法包括以下步骤：

步骤1，通过网络将采集到的视频数据上传后端的服务器；

2.根据权利要求1所述的一种复杂环境人脸识别方法及系统，其特征在于，在步骤1中，通过网络将采集到的视频数据上传后端的服务器的方法为：通过无线网络将采集到的视频数据向后端的服务器进行传输。

3.根据权利要求1所述的一种复杂环境人脸识别方法及系统，其特征在于，在步骤2中，在服务器上将采集到的视频进行分解处理，将视频分解为帧序列，并将视频中各帧的采集时间作为帧序列的标记序列的方法为：将视频分解为一组帧序列，把每一帧通过进行灰度化和归一化处理得到的所有帧集合成为帧序列，并且将各帧采集时记录的时间标注入帧序列中作为帧序列的标记序列T＝{t}。

4.根据权利要求1所述的一种复杂环境人脸识别方法及系统，其特征在于，在步骤3中，提取帧序列中包含人脸目标出现的帧，作为人像帧，把人像帧集合为第二帧序列，以计算出干扰特征的方法为：利用MTCNN算法(参见论文：Kaipeng Zhan,Zhanpeng Zhang,ZhifengL,Yu Qiao.Joint Face Detection and Alignment Using Multitask CascadedConvolutional Networks.2016,IEEE SignalProcessing Letters.)或PyramidBox算法(参见论文：X.Tang,Daniel K.Du,Z.He,J.Liu PyramidBox:A Context-assisted SingleShot Face Detector.arXiv preprint arXiv:1803.07737,2018.)把帧序列中识别得到包含人脸目标出现的帧(即人像帧)筛选出来作为第二帧序列。

5.根据权利要求1所述的一种复杂环境人脸识别方法及系统，其特征在于，在步骤4中，提取帧序列中不包含人脸目标出现的帧，作为环境帧，把环境帧集合为第三帧序列，方法为：所述帧序列在步骤3中筛选掉第二帧序列后剩下的算法识别为不包含人脸目标出现的帧(即环境帧)作为第三帧序列。

6.根据权利要求1所述的一种复杂环境人脸识别方法及系统，其特征在于，在步骤5中，以第三帧序列中环境帧计算出干扰特征，以第二帧序列中人像帧进行转化计算得到其转化特征，方法为：令第二帧序列、第三帧序列中的各帧的矩阵M表示为函数M(i,j)，其中M(i,j)表示矩阵M的第i行第j列元素，M(i,)表示矩阵M的第i行元素组成的数组，M(,j)表示矩阵M的第j列元素，变量i表示矩阵的行的序号，变量j表示矩阵的列的序号，n表示矩阵的行数，m表示矩阵的列数，提取M中各个像素与其他像素的特征关系度a，a(i,j)表示M的第i行第j列元素与整个矩阵的特征关系度，特征关系度a由行特征度r和列特征度c计算所得，其中，a(i,j)由第i行的行特征度r(i)和第j列的列特征度c(j)计算所得，r(i)表示矩阵第i行的元素M(I,)与整个矩阵M的特征关系，c(j)表示矩阵第j列的元素M(,j)与整个矩阵M的特征关系，由此分别以第三帧序列计算出干扰特征λ、以第二帧序列把各环境帧进行转化计算得到其转化特征μ。

7.根据权利要求1所述的一种复杂环境人脸识别方法及系统，其特征在于，在步骤6中，通过标记序列求出帧序列中作为目标的人像帧的时间临近的环境帧，以时间临近的环境帧的干扰特征，对目标人像帧进行转化计算得到的转化特征进行去除复杂环境下的环境干扰，产出纯化特征，其方法为：在标记序列T中选取距离采集到的所求的人像帧M₂的采集时间t_m最接近的时间t_m`时采集的环境帧M₃，将从环境帧M₃计算所得的干扰特征λ、从人像帧M₂计算所得的转化特征μ进行计算，在转化特征μ中去除干扰特征λ以此去除包含人脸目标的帧中含有的环境帧包括的复杂环境下的环境干扰，得到人像帧M₂去除环境干扰后的纯化特征P。