CN107153820A

CN107153820A - 一种面向高噪声的人脸识别及运动轨迹判别方法

Info

Publication number: CN107153820A
Application number: CN201710327665.7A
Authority: CN
Inventors: 段翰聪; 赵子天; 文慧; 梁君健; 张帆
Original assignee: University of Electronic Science and Technology of China
Current assignee: University of Electronic Science and Technology of China
Priority date: 2017-05-10
Filing date: 2017-05-10
Publication date: 2017-09-12

Abstract

本发明公开了一种面向高噪声的人脸识别及运动轨迹判别方法，其识别方法包括图片获取步骤：间隔时间地获取视频流的图片；特征提取步骤；特征比对步骤：将提取的特征与人脸库中存储的特征进行比对，每个人脸获得相对应的结果的向量<id1,id2,…,idk>和<score1,score2,…，scorek>,分别表示在人脸库中最相似的k个人的id以及相似度，每张图片获得两个m*k的矩阵，其中，m为该帧图片中的人数；判定步骤：根据同一视频流解码出来的图片，根据比对结果中id出现的次数得到候选人集；再根据候选人集中id在不同视频流解码出来的图片中的次数和相似度来确定嫌疑人id。其在高噪声情况下检测可靠高，误判率小。

Description

一种面向高噪声的人脸识别及运动轨迹判别方法

技术领域

本发明涉及人脸识别领域，具体涉及一种面向高噪声的人脸识别及运动轨迹判别方法。

背景技术

随着城市的发展和安全意识的提高，各地布置的摄像头越来越密集，为了能够在众多摄像头中寻找出特定目标，智能监控技术应运而生。人脸识别是一种基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术。

人脸特征识别方法通过对图片进行人脸检测得到人脸框，再对人脸框进行特征提取得到特征值，其中特征值是一个多维的浮点向量，对同一个人来说，每次所提取到特征值会存在差异，特征比对通过欧式距离公式计算出两个特征值的距离来得到相似度。在现实场景下，因为角度、光线明暗、姿态及匹配误差等因素的存在，使人脸识别技术不可避免地存在误判。

发明内容

本发明为了解决上述技术问题提供一种面向高噪声的人脸识别及运动轨迹判别方法。

本发明通过下述技术方案实现：

一种面向高噪声的人脸识别方法，包括,

图片获取步骤：获取视频流解码出来的多帧图片；

特征提取步骤：对每帧图片中的各个人脸进行特征提取；

特征比对步骤：系统将每个人脸所提取的特征与人脸库中存储的特征进行比对，每个人脸获得相对应的两个k维向量<id1,id2,…,idk>和<score1,score2,...,scorek>，第一个向量表示所检测到的人脸在人脸库中与其最相似的k个人的id，第二个向量表示相对应的相似度；

判定步骤：根据同一视频流解码出来的图片，根据比对结果中id出现的次数得到候选人集；再根据候选人集中id在不同视频流解码出来的图片中的次数和及相似度确定嫌疑人id。

作为优选，所述判定步骤具体为：根据同一视频流解码出来的图片，得到当前图片的比对结果与前n-1帧图片的比对结果，对于同一个人脸来说，若某个id的相似度大于给定阈值S₁并且在n帧图片的比对结果中出现的次数超过阈值X₁，则将该id设置为该人脸的候选人；根据不同视频流解码出来的图片，若存在同一个id的相似度大于给定阈值S₂并且在多帧图片的比对结果中出现的次数超过阈值X₂，将id出现次数最大且对应相似度之和最大的人脸判定为该嫌疑人。

针对同一视频流，连续的n帧图片时间距离很小，可通过人脸框坐标大致估算出这n帧图片的某个人脸是否为同一个人。

因为人脸识别技术存在误检，但对人脸进行多次检测和比对，如果每次都出现误检，这个概率是非常低的。在相同的条件下，随着实验次数增多，事件出现的频率会逐渐稳定。相比于只比对一次人脸取最高值的方法来说，对同一个人脸进行多次检测和比对可以使结果更可靠，误判的可能性更低。对于一个人脸来说，得到当前帧和前n-1帧图片的比对结果，对于该人脸来说，当前就具有了n个比对结果，在这n个比对结果中找到某个嫌疑人id与该人脸的相似度大于某阈值S₁并且该id在n个比对结果中出现的次数超过阈值X₁。这样我们就认为检测出的人脸很大可能就是该嫌疑人。因为一个人脸具有n个比对结果，如果该人是嫌疑人，则嫌疑人id出现在一个比对结果的概率是P，P即为人脸识别的精度，而n个比对结果可以看成是n次独立重复事件，则相当于对一个实验进行了n次，而随着实验次数的增多，事件出现的频率会逐渐稳定，这样可以降低误判，我们可以更有把握地认为此人为嫌疑人。如果在多个摄像头中存在同一个嫌疑人id都满足上述条件，则取Px最大和对应相似度之和最大的人脸确定为该嫌疑人。

这种判定方法通过多次检测和多次比对，相对于直接比对一次并直接取相似度最高的方法来说，误判的可能性就降低了。采用该方法可以提高系统判别人脸的可靠性，减少误判的出现，尤其是在室外存在高噪声的场景中。

一种面向高噪声的运动轨迹判别方法，包括，

嫌疑人身份确认步骤：采用上述的人脸识别方法识别嫌疑人以确定嫌疑人身份；

跟踪步骤：记录嫌疑人id、所在的摄像头以及嫌疑人出现在该摄像头的时间戳，并对嫌疑人进行跟踪，当嫌疑人离开该摄像头时，记录嫌疑人离开该摄像头的时间戳；

轨迹生成步骤：根据时间戳的先后顺序生成嫌疑人的运动轨迹。

作为优选，在对某一摄像头的嫌疑人进行跟踪时，其他摄像头的并行地通过上述人脸识别方法识别其他嫌疑人，当识别出其他嫌疑人时，进行跟踪步骤，分别根据不同嫌疑人的id、时间戳生成相应嫌疑人的运动轨迹。相对于现有只针对单个目标来说，这种运动轨迹判别方法获取实时地获取多个目标的轨迹，多个摄像头同时判定嫌疑人和跟踪嫌疑人，系统根据嫌疑人id得到嫌疑人每次出现的摄像头和时间，从而获得各个嫌疑人的运动轨迹。当在一个摄像头对目标进行跟踪时，其他摄像头也能进行检测判定，防止其他的摄像头出现其他的嫌疑人。并行识别检测判定是针对人脸库中的所有嫌疑人进行的，当人脸库中的一个或多个嫌疑人出现在多个摄像头时，系统判定出嫌疑人后对他们进行跟踪，根据嫌疑人的id来记录嫌疑人每次出现的摄像头和时间，实现对人脸库中的所有嫌疑人进行判别和跟踪。

作为优选，跟踪步骤中采用跟踪模块对嫌疑人进行跟踪，具体方法为比较图片中人脸框和上一帧图片的人脸框坐标的距离是否小于阈值，是则认为是同一个人，若上一帧图片出现多个人脸框坐标满足条件，则通过人脸特征比较来判断是否为同一个人。

本发明针对误差存在的情况下，提供了一种判别方法，使在室外存在高噪声的场景中，人脸识别技术对目标的比对更加可靠，并且本发明提供了一个完整的系统，系统利用人脸识别技术在多摄像头中定位出特定目标，并计算出目标的运动轨迹。本发明可以广泛地应用于公安部门，警察可以从实时监控视频中得到犯罪嫌疑人的运动轨迹及活动范围，从而获得个人/团体作案信息。

本发明与现有技术相比，具有如下的优点和有益效果：

1、本发明在人脸识别技术误差存在的情况下，通过提供一种基于多次实验的方法，进行多次检测和多次比对，使人脸识别技术在确定目标时更加可靠，降低误判的可能性。

2、本发明提供实时的方式从多个摄像头中自动检测出特定目标，并实时地计算出各目标的运动轨迹和活动范围。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例1

一种面向高噪声的人脸识别方法，包括,

图片获取步骤：获取视频流解码出来的多帧图片，视频流有多个；此步骤中，系统对每个摄像头的处理是相互独立的，系统对摄像头发出的视频流进行解码，并将解码数据编码成jpg格式的图片，多帧图片的获取方式优选的可采用间隔地方式，譬如：对其中一路摄像头来说，假设它每秒发出25帧的图像，我们可以在每秒内获取其中的5帧的图片，即n取5。因为在一秒中，解码出来的每一帧图片的差别并不大，特别是相邻的图片的差别就更小了。对每路视频流来说，系统间隔地获取解码出来的图片，可以从每秒处理25帧图片降为每秒n帧图片，n小于25，系统每秒需要处理的图片就减少了。因此，间隔地获取图片可以降低系统的开销和压力。

特征提取步骤：系统对每张图片进行人脸检测，可以得到人脸框在图片中的位置，再对每个人脸框进行特征提取，即系统要对一张图片进行特征提取，首先对图片进行人脸检测，得到多个[top,left,bottom,right]的人脸框坐标，表示人脸在图片中的具体位置，然后对这些人脸框进行特征提取，所提取到的特征是一个多维向量。

特征比对步骤：将提取的特征与人脸库中存储的特征进行比对，每个人脸获得相对应的两个k维向量<id1,id2,id3,…,idk>和<score1,score2,…,scorek>，分别表示在人脸库中最相似的k个人的id以及相似度，每张图片获得两个m*k的矩阵，其中，m为该帧图片中的人数，即若图片中有m个人脸，得到了m个坐标[top,left,bottom,right]，在对人脸进行特征提取并将特征向量与人脸库比对，将得到了m个<id,id2,id3,...,idk>和m个<score1,score2,...,scorek>。

判定步骤：根据同一视频流解码出来的图片，根据比对结果中id出现的概率得到候选人集；再根据候选人集中id在不同视频流解码出来的图片中的概率确定嫌疑人id。

判定步骤具体为：在同一视频流解码出来的图片中，得到当前图片的比对结果与前n-1帧图片的比对结果，对于同一个人脸来说，若对比结果中某个id的相似度大于给定阈值S₁并且在n帧图片的比对结果中出现的次数超过阈值X₁，则将该id设置为该人脸的候选人；然后在不同视频流解码出来的图片中，若存在同一个id的相似度大于给定阈值S₂并且在多帧图片的比对结果中出现的次数超过阈值X₂，将id概率最大且对应相似度之和最大的人脸判定为该嫌疑人。

其中，X₁、X₂均为大于1的自然数，S₁、S₂可取相等的值。

本方法基于的系统具有多个VideoGateway服务器和多个人脸库服务器以及判定服务器，每个VideoGateway服务器可接收多个摄像头所发出的视频流。系统间隔地获取图片,得到当前图片与其前n-1帧图片，对于图片中某个人来说，则具有n个topk比对结果的向量。如果一个人真实身份出现在topk结果的概率为P，概率P即为人脸比对的精确度。因为一个人脸具有n个比对结果，如果该人是嫌疑人，且嫌疑人id出现在一个比对结果的概率是P，n个比对结果就可以看成是n次独立重复事件，每次该人脸确定为嫌疑人的概率就为P，则相当于对一个实验进行了n次，而随着实验次数的增多，事件出现的频率会逐渐稳定。如果同一个人在n帧图片的匹配结果中，某嫌疑人id出现的次数大于阈值X且相似度大于阈值S，则我们则认为该嫌疑人为此人的候选人。若在多个摄像头中存在同一个嫌疑人id都满足上述条件，取Px最大且对应相似度之和最大的人脸判定为该嫌疑人。

如：假设人脸识别的精度为80％，当n取3，X₁和X₂取2，S₁和S₂取80％，在摄像头1中获取的当前帧中有一个人脸A，A的n个比对结果的嫌疑人id和相似度分别为:

<id7,id1,id4>,<0.82,0.78,0.57>

<id1,id3,id5>,<0.83,0.61,0.58>

<id3,id1,id5>,<0.81,0.82,0.60>

其中id1出现的次数为3，但只有2次比对结果中相似度是大于80％，我们则认为id1在A的n个比对结果中出现了2次，其相似度之和为0.83+0.82＝1.65。id1出现的次数大于X₁规定的值，取id1为A的候选人，若此时摄像头2中的人脸B的n个比对结果中，id1也出现了2次，大于X₂规定的值，我们则认为id1也为B的候选人，最后我们通过id1在A和B出现的次数和相似度之和来确定A为嫌疑人id1还是B为嫌疑人id1。

在这个例子中，如果通过一次检测和对比我们会得出A为id7，这很可能是人脸识别的一次误判，而因为随着实验次数的增多，事件出现的频率会逐渐稳定，通过多次检测和比对，我们减少系统的误判，提高系统判别的稳定性和可靠性。

实施例2

一种面向高噪声的运动轨迹判别方法，包括采用实施例1的人脸识别方法识别嫌疑人，嫌疑人身份确认后，根据嫌疑人id记录该嫌疑人id、所在的摄像头以及嫌疑人出现在该摄像头的时间戳，跟踪模块通过人脸框坐标和人脸特征对嫌疑人进行跟踪，当嫌疑人离开摄像头时，记录嫌疑人离开该摄像头的时间戳，这里我们就可以得到一个嫌疑人在某摄像头的出现和离开的时间，得到嫌疑人的出现的时间区域，能够准确地反馈嫌疑人的位置信息及实时轨迹。当跟踪模块对某一个摄像头的嫌疑人进行跟踪时，其他的摄像头并行地通过实施例1的方法来判别是否存在其他嫌疑人，若存在另一个嫌疑人，跟踪模块又对该摄像头的嫌疑人进行跟踪，并记录嫌疑人id、所在摄像头及时间戳。当嫌疑人离开摄像头时，则系统将对摄像头根据人脸识别方式重新获取嫌疑人，该嫌疑人可能与前一个获取到嫌疑人不同。以此类推，系统得到了不同嫌疑人出现的摄像头和时间戳，从而计算出各嫌疑人的运动轨迹和活动范围。

如：在摄像头1中判别出嫌疑人A，则记录嫌疑人A的id、所在摄像头及时间戳：<嫌疑人A的id，摄像头1，出现时间戳，离开时间戳或者为0>。离开时间戳为0表示嫌疑人A还在摄像头1中。在跟踪模块对嫌疑人A进行跟踪时，在摄像头2中又判别出嫌疑人B，则记录嫌疑人B的id、所在摄像头及时间戳：<嫌疑人B的id，摄像头2，出现时间戳，离开时间戳或者为0>。跟踪模块同时对嫌疑人B进行跟踪。当嫌疑人离开摄像头1时，记录离开时间戳，并系统对摄像头1重新根据权利要求1的方法来获取嫌疑人。当摄像头3判别出了嫌疑人A，则记录嫌疑人id，所在摄像头和时间戳。至此，我们得到：

<嫌疑人A的Id，摄像头1，出现时间戳，离开时间戳>

<嫌疑人A的Id，摄像头3，出现时间戳，0>

<嫌疑人B的Id，摄像头2，出现时间戳，0>

该运动轨迹判别方法针对多个目标进行，可以实时地得到各目标的运动轨迹和活动范围。

本发明就是致力于在高噪声的情况下，定位出嫌疑人的运动轨迹。本发明可以广泛地应用于公安部门，警察可从实时监控视频中搜索出犯罪嫌疑人的运动轨迹及活动范围，可帮助警察获得个人/团体作案信息。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种面向高噪声的人脸识别方法，其特征在于：包括，

图片获取步骤：获取视频流解码出来的多帧图片；

特征提取步骤：对每帧图片中的各个人脸进行特征提取；

特征比对步骤：将提取的特征与人脸库中存储的特征进行比对，每个人脸获得人脸库中相对应的结果向量<id1,id2,…,idk>和<score1,score2,…,scorek>，分别表示该人脸在人脸库中最相似的k个人的id和对应的相似度；

判定步骤：根据同一视频流解码出来的图片，根据比对结果中id出现的次数得到候选人集；再根据候选人集中id在不同视频流解码出来的图片中的次数和相似度确定嫌疑人id。

2.根据权利要求1所述的一种面向高噪声的人脸识别方法，其特征在于：所述判定步骤具体为：根据同一视频流解码出来的图片，得到当前图片的比对结果与前n-1帧图片的比对结果，对于同一个人脸来说，若某个id的相似度大于给定阈值S₁并且在n帧图片的比对结果中出现的次数超过阈值X₁，则将该id设置为该人脸的候选人；根据不同视频流解码出来的图片，若存在同一个id的相似度大于给定阈值S₂并且在多帧图片的比对结果中出现的次数超过阈值X₂，将id出现的次数大且对应相似度之和最大的人脸判定为该嫌疑人。

3.根据权利要求1所述的一种面向高噪声的人脸识别方法，其特征在于：所述图像获取步骤采用间隔获取的方式。

4.一种面向高噪声的运动轨迹判别方法，其特征在于：包括，

嫌疑人身份确认步骤：采用权利要求1至2的人脸识别方法识别嫌疑人以确定嫌疑人身份；

5.根据权利要求4所述的一种面向高噪声的运动轨迹判别方法，其特征在于：在对某一摄像头的嫌疑人进行跟踪时，其他摄像头的并行地通过权利要求1至2的人脸识别方法识别其他嫌疑人，当识别出其他嫌疑人时，进行跟踪步骤，分别根据不同嫌疑人的id、时间戳生成相应嫌疑人的运动轨迹。

6.根据权利要求4所述的一种面向高噪声的运动轨迹判别方法，其特征在于：跟踪步骤中采用跟踪模块对嫌疑人进行跟踪，具体方法为比较图片中人脸框和上一帧图片的人脸框坐标的距离是否小于阈值，是则认为是同一个人，若上一帧图片出现多个人脸框坐标满足条件，则通过人脸特征比较来判断是否为同一个人。