CN106548148A - 视频中未知人脸的识别方法和系统 - Google Patents

Abstract

本发明公开了对视频中未知人脸的识别方法和系统。其中所述方法包括：对指定区域进行视频采集，根据所采集视频的图像帧中的人脸信息生成相应的人脸特征值，将人脸特征值、采集时间和采集地点信息对应保存到特征值数据库中；扫描该指定区域内出现的移动终端的MAC地址，将扫描到的MAC地址、扫描时间、和扫描地点信息对应保存到MAC数据库中；根据特征值数据库中的内容，统计指定时间段内各人脸特征值出现的次数；根据MAC数据库中的内容，统计所述指定时间段内各MAC地址的出现次数；将所述指定时间段内出现次数最多的人脸特征值与该指定时间段内出现次数最多的MAC地址，作为一组对应关系输出到结果数据库。本发明的技术方案能够有效识别视频中的未知人脸。

Description

视频中未知人脸的识别方法和系统

技术领域

本发明涉及人脸识别技术领域，特别涉及对视频中未知人脸识别的方法和系统。

背景技术

当前社会上频繁出现入室偷盗、抢劫、伤人等案件。故为确保公共安全，越来越多的监控摄像头被安置在社会中的公共场所的各个角落。这些摄像头可拍摄记录大量包含人脸的视频流，很多作案人脸在作案过程也被拍摄下来。

当由于现今市面上没有公开的人脸特征库，即使作案人脸被拍摄记录下来，办案人员也无法识别其身份。这对公安机关办案带来极大不便。

发明内容

有鉴于此，为了至少部分地解决上述问题，本发明公开了一种视频中未知人脸的识别方法，所述方法包括：

对指定区域进行视频采集，根据所采集视频的图像帧中的人脸信息生成相应的人脸特征值，将人脸特征值、采集时间和采集地点信息对应保存到特征值数据库中；

以及扫描该指定区域内出现的移动终端的MAC地址，将扫描到的MAC地址、扫描时间、和扫描地点信息对应保存到MAC数据库中；

根据特征值数据库中的内容，统计指定时间段内各人脸特征值出现的次数；以及根据MAC数据库中的内容，统计所述指定时间段内各MAC地址的出现次数；

将所述指定时间段内出现次数最多的人脸特征值与该指定时间段内出现次数最多的MAC地址，作为一组对应关系输出到结果数据库。

本发明还公开了一种视频中未知人脸的识别方法，所述方法包括：

对指定区域进行视频采集，将所采集视频的图像帧中的人脸信息、采集时间和采集地点信息对应保存到人脸信息数据库中；

以及扫描该指定区域内出现的移动终端的MAC地址，将扫描到的MAC地址、扫描时间、和扫描地点信息对应保存到MAC数据库中；

对于人脸信息数据库中的指定时间段内采集的人脸，生成与该人脸对应的人脸组，将指定时间段内采集的其他各人脸中的与该人脸的相似度值超过预设值的人脸添加到该人脸组中；

以及根据MAC数据库中的内容，统计所述指定时间段内各MAC地址的出现次数；

将包含人脸个数最多的人脸组与该指定时间段内出现次数最多的MAC地址，作为一组对应关系输出到结果数据库。

本发明还公开了一种视频中未知人脸的识别方法，所述方法包括：

对指定区域进行视频采集，根据所采集视频的图像帧中的人脸信息生成相应的人脸特征值，将人脸特征值、采集时间和采集地点信息对应保存到特征值数据库中；

以及扫描该指定区域内出现的移动终端的MAC地址，将扫描到的MAC地址、扫描时间、和扫描地点信息对应保存到MAC数据库中；

根据特征值数据库中的内容，统计指定时间段内各人脸特征值出现的次数；以及根据MAC数据库中的内容，统计所述指定时间段内各MAC地址的出现次数；

将所述指定时间段内出现次数最多的人脸特征值与该指定时间段内出现次数最多的MAC地址，作为双峰法对应关系；

对指定区域进行视频采集，将所采集视频的帧图像帧中的人脸信息、采集时间和采集地点信息对应保存到人脸信息数据库中；

对于人脸信息数据库中的指定时间段内采集的人脸，生成与该人脸对应的人脸组，将指定时间段内采集的其他各人脸中与该人脸的相似度值超过预设值的人脸添加到该人脸组中；

将包含人脸个数最多的人脸组与该指定时间段内出现次数最多的MAC地址，作为聚类法对应关系；

将双峰法对应关系和聚类法对应关系中的重合的对应关系输出到结果数据库。

本发明还公开了一种视频中未知人脸的识别系统，所述系统包括：

视频采集单元，用于对指定区域进行视频采集并输出给视频处理单元；

视频处理单元，用于根据所采集视频的图像帧中的人脸信息生成相应的人脸特征值，将人脸特征值、采集时间和采集地点信息对应保存到特征值数据库中；

MAC地址扫描单元，用于扫描该指定区域内出现的移动终端的MAC地址，将扫描到的MAC地址、扫描时间、和扫描地点信息对应保存到MAC数据库中；

分析处理单元，用于根据特征值数据库中的内容，统计指定时间段内各人脸特征值出现的次数；以及根据MAC数据库中的内容，统计所述指定时间段内各MAC地址的出现次数；将所述指定时间段内出现次数最多的人脸特征值与该指定时间段内出现次数最多的MAC地址，作为一组对应关系输出到结果数据库。

本发明还公开了一种视频中未知人脸的识别系统，所述系统包括：

视频采集单元，用于对指定区域进行视频采集并输出给视频处理单元；

视频处理单元，用于将所采集视频的图像帧中的人脸信息、采集时间和采集地点信息对应保存到人脸信息数据库中；

MAC地址扫描单元，用于扫描该指定区域内出现的移动终端的MAC地址，将扫描到的MAC地址、扫描时间、和扫描地点信息对应保存到MAC数据库中；

分析处理单元，用于对于人脸信息数据库中的指定时间段内采集的人脸，生成与该人脸对应的人脸组，将指定时间段内采集的其他各人脸中的与该人脸的相似度值超过预设值的人脸添加到该人脸组中；以及根据MAC数据库中的内容，统计所述指定时间段内各MAC地址的出现次数；将包含人脸个数最多的人脸组与该指定时间段内出现次数最多的MAC地址，作为一组对应关系输出到结果数据库。

本发明还公开了一种视频中未知人脸的识别系统，所述系统包括：

视频采集单元，用于对指定区域进行视频采集并输出给视频处理单元；

视频处理单元，用于根据所采集视频的图像帧中的人脸信息生成相应的人脸特征值，将人脸特征值、采集时间和采集地点信息对应保存到特征值数据库中；

MAC地址扫描单元，用于扫描该指定区域内出现的移动终端的MAC地址，将扫描到的MAC地址、扫描时间、和扫描地点信息对应保存到MAC数据库中；

分析处理单元，用于根据特征值数据库中的内容，统计指定时间段内各人脸特征值出现的次数；以及根据MAC数据库中的内容，统计所述指定时间段内各MAC地址的出现次数；将所述指定时间段内出现次数最多的人脸特征值与该指定时间段内出现次数最多的MAC地址，作为双峰法对应关系；

所述视频处理单元，还用于将所采集视频的图像帧中的人脸信息、采集时间和采集地点信息对应保存到人脸信息数据库中；

所述分析处理单元，还用于对于人脸信息数据库中的指定时间段内采集的人脸，生成与该人脸对应的人脸组，将指定时间段内采集的其他各人脸中与该人脸的相似度值超过预设值的人脸添加到该人脸组中；将包含人脸个数最多的人脸组与该指定时间段内出现次数最多的MAC地址，作为聚类法对应关系；将双峰法对应关系和聚类法对应关系中的重合的对应关系输出到结果数据库。

根据本发明的技术方案，能够识别视频中的未知人脸，为公安机关的办案带来了极大的方便。

附图说明

图1为本发明实施例中的基于双峰法识别视频中未知人脸的别方法的流程图；

图2示出了指定时间段内人脸特征值与对应出现次数的示意图；

图3示出了指定时间段内移动终端的MAC地址与对应出现次数的示意图；

图4示出了指定时间段内的静态人脸的特征值与对应的首次出现时刻的对应关系示意图；

图5示出了指定时间段内移动终端的MAC地址与对应的首次出现时刻的对应关系示意图；

图6是累积5天得到的匹配关系示意图以及根据这种累积的统计关系最终确定的匹配关系示意图；

图7为本发明实施例中的基于聚类法识别视频中未知人脸的方法的流程示意图；

图8为人脸组和对应的包含的人脸个数的示意图；

图9是本发明实施例中的基于双峰法和聚类法的组合识别视频中未知人脸的方法的流程示意图；

图10是双峰法和聚类法组合应用后的结果的示例图；

图11示出了本发明中的人脸识别方法的一个实际场景应用示意图；

图12是本发明实施例中的基于双峰法的一种视频中未知人脸的识别系统。

图13是本发明又一个实施例中的基于双峰法的一种视频中未知人脸的识别系统。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

图1为本发明实施例中的基于双峰法识别视频中未知人脸的别方法的流程图。如图1所示，该方法包括:

步骤S110，对指定区域进行视频采集，根据所采集视频的图像帧中的人脸信息生成相应的人脸特征值，将人脸特征值、采集时间和采集地点信息对应保存到特征值数据库中；以及扫描该指定区域内出现的移动终端的MAC地址，将扫描到的MAC地址、扫描时间、和扫描地点信息对应保存到MAC数据库中。

其中，指定区域是指一个或多个摄像头所能拍摄的范围。范围大小、拍摄角度均可根据实际情况进行设置，摄像头在工作中连续不间断地采集视频。所采集的视频是由一帧帧图像组成，例如，每秒的视频包含25帧或32帧图像，帧率也可以根据实际情况进行设置。分析各帧图像中的每张人脸，计算脸部特征点之间的间距，生成每张不同人脸的特征值，一个特征值即代表一张人脸，将特征值、该特征值对应的采集时刻和采集地点对应保存到特征值数据库中。这里采集地点即为摄像头所安装的地点。摄像头可以被安装在某个路口边、商场门口或天桥下等，一组摄像头对应一个采集地点，从不同角度采集该地点所限定的范围内的视频，该采集地点也对应保存到特征值数据库中。而一组摄像头包括一个或多个摄像头。

一个扫描移动终端的MAC地址的装置对应一组摄像头，这样一套装置作为一个整体，被安置在某一地点。摄像头部分和移动终端MAC扫描装置部分同时记录和保存数据。移动终端MAC扫描装置具体可以为市面上使用的MAC地址探针。可以通过设置MAC扫描装置的扫描定向方向，使得MAC地址探针的扫描区域和对应的一组摄像头拍摄区域范围完全吻合。

当一个人脸出现在摄像范围内，他的移动终端MAC地址就会被扫描记录。可以设定该MAC扫描设备的扫描频率，例如，每秒扫描20次或25次。则将每个扫描到的移动终端MAC地址和对应的扫描时间保存在MAC数据库中。

步骤S120，根据特征值数据库中的内容，统计指定时间段内各人脸特征值出现的次数；以及根据MAC数据库中的内容，统计所述指定时间段内各MAC地址的出现次数。

例如，假设选取地点M处所对应那一组摄像头和与其绑定的MAC扫描装置，选取2016年9月1号零点到2016年9月30号24点一个月的时间段作为指定时间段。从上述特征值数据库中抽取该时间段内的数据，及从上述MAC数据库中抽取该时间段的数据进行统计分析。

图2示出了指定时间段内人脸特征值与对应出现次数的示意图。图3示出了指定时间段内移动终端的MAC地址与对应出现次数的示意图。

正如图2所示，横轴表示各人脸特征值，纵轴表示各人脸特征值出现的总次数。即地点M处，在上述所选1个月时间段内，各人脸特征值对应出现的次数为：特征值1出现5次，特征值2出现9次，特征值3出现6次等。可见，特征值2出现次数最多，表现为一个峰值。

同样，正如图3所示，横轴表示的各移动终端的MAC地址，纵轴表示各MAC地址出现的总次数。即地点M处，在上述所选1个月时间段内，各MAC地址对应出现的次数为：MAC1出现2次，MAC2出现5次，MAC3出现8次等。可见，MAC3出现次数最多，表现为一个峰值。

步骤S130，将所述指定时间段内出现次数最多的人脸特征值与该指定时间段内出现次数最多的MAC地址，作为一组对应关系输出到结果数据库。

根据统计学规律，在指定时段内出现峰值的人脸特征值与出现峰值的MAC地址匹配的概率较大，即为同一个人的人脸特征和移动终端MAC地址的概率很大。因此本方法中将该对应关系输出的结果数据库中备查或备用。

在本申请文件中，将图1所述的方法定义为双峰法。

输出到结果数据库中的对应关系在实际应用中可以帮助公安机关抓捕逃犯。此外本发明中的方法还可以应用到其他的大数据分析领域，并不仅限于公安破案的需求场景。

在本发明的一个实施例中，图1所示的方法进一步包括：当所采集视频的各帧图像中存在不完整的人脸信息时，将该不完整的人脸信息、采集时间、采集地点信息以及与该人脸对应的其他人体外观特征保存到不完整人脸数据库中；将所述不完整人脸数据库中的所述指定时间段内保存的内容中的，其他人体外观特征相匹配的各不完整人脸信息进行整合，得到完整的人脸特征并生成相应的人脸特征值，将人脸特征、采集时间和采集地点信息对应保存到特征值数据库中。

这是因为由于摄像头的拍摄角度问题，一些人背对摄像头走过，摄像头只拍摄到后脑勺，而抓取不到人脸，这些被视为正常统计误差。一些人侧面走过，摄像头只抓取到左半边或右半边人脸，这些即记录为不完整人脸信息。

对不完整人脸信息整合之前，会对该人脸对应的个体的其它外观信息进行初步分析判断，比如头发颜色，衣服颜色大小等。在这些外观信息达到一定吻合度时，将不完整人脸整合成完整人脸，得到整合后一个完整人脸的特征值。将多个不完整的人脸整合成一个完整人脸的具体方法可以采用现有的人脸图像拼接技术，这里不再详细描述。

在本发明的一个实施例中，图1所示的方法进一步包括：

对所述指定时间段内的人脸信息进行分类，其中，将在预设长度时间内的视频帧中连续出现的人脸定义为静态人脸并保存到静态人脸库中，其他则定义为动态人脸并保存到动态人脸库中；

对所述指定时间段内扫描到的MAC地址进行分类，其中，将在预设长度时间内的连续扫描到的MAC地址定义为静态MAC地址并保存到静态MAC地址库中，其他则定义为动态MAC地址并保存到动态MAC地址库中；

则图1中所述的相应步骤仅针对动态人脸库和动态MAC地址库中数据进行计算。具体来说：

步骤S110中所述根据所采集视频的图像帧中的人脸信息生成相应的人脸特征值，将人脸特征值、采集时间和采集地点信息对应保存到特征值数据库中包括：根据动态人脸库中的人脸信息生成相应的人脸特征值，将人脸特征值、采集时间和采集地点信息对应保存到所述特征值数据库中；

以及步骤S110中所述将扫描到的MAC地址、扫描时间、和扫描地点信息对应保存到MAC数据库中包括：将动态MAC地址库中的动态MAC地址，和其对应的扫描时间和扫描地点信息对应保存到所述MAC数据库中。

因为在同一组摄像头的视野范围内，可能会有某人脸长期连续存在。例如摆摊的小商贩，该小商贩的人脸出现次数极大。同理，该小商贩的移动终端MAC地址，也被该地点扫描装置长期连续扫描到。

这种情况下，选取某特定时间段做统计分析，其它人脸特征值和移动终端MAC地址，达到峰值的可能就会受到该小商贩的影响。则其它人脸识别的困难加大。

因此设定一个长度时间作为阈值，例如1个小时。如果某个人脸特征值连续出现1小时以上，则为静态人脸；反之则为动态人脸。如果某个移动终端MAC地址连续出现1小时以上，则为静态MAC地址；反之，则为动态MAC地址。只针对动态人脸和动态MAC地址进行如图1所示的分析处理，从而排除如摊贩、保安等在某一地点长时间连续出现的人们的干扰。

在本发明的实施例中，在前述方法的基础上进一步提供静态人脸库和静态MAC地址库的分析方法，包括：

将所述指定时间段划分为多个单位时间段(例如对于前述的一个月时间，按天划分单位时间段)；对于每个单位时间段，记录在该单位时间段内各静态人脸的首次出现时刻，以及记录在该单位时间段内各静态MAC地址的首次出现时刻；将首次出现时刻匹配的静态人脸和静态MAC地址作为一组匹配关系输出；

然后，对于一个静态人脸，确定在预定数量的单位时间段对应的输出对应关系中与该静态人脸匹配次数最多的静态MAC地址，将该静态人脸与所确定的静态MAC地址作为最终确认的一组对应关系输出到静态人脸识别库中；

从所述动态人脸库中删除特征值与静态人脸识别库中的人脸特征值相同的人脸信息；以及从所述动态MAC地址库中删除与静态人脸识别库中的MAC地址相同的MAC地址；

前述方法的相应步骤仅针对进行删除处理后的动态人脸库和动态MAC地址库中数据进行计算。具体来说：

步骤S110中所述根据所采集视频的图像帧中的人脸信息生成相应的人脸特征值，将人脸特征值、采集时间和采集地点信息对应保存到特征值数据库中包括：从动态人脸库中删除特征值与静态人脸识别库中的人脸特征值相同的人脸信息后，再根据动态人脸库中的人脸信息生成相应的人脸特征值，将人脸特征值、采集时间和采集地点信息对应保存到所述特征值数据库中；

步骤S110所述将扫描到的MAC地址、扫描时间、和扫描地点信息对应保存到MAC数据库中包括：从动态MAC地址库中删除与静态人脸识别库中的MAC地址相同的MAC地址后，再将动态MAC地址库中的动态MAC地址，和其对应的扫描时间和扫描地点信息对应保存到所述MAC数据库中。

例如，假设某地点M处，在上述1个月时间段内，记录到3个静态人脸和3个静态MAC地址。定义一个单位时间段为一天，记录这三个静态人脸和静态MAC地址每天首次出现的时刻。

图4示出了指定时间段内的静态人脸的特征值与对应的首次出现时刻的对应关系示意图。图5示出了指定时间段内移动终端的MAC地址与对应的首次出现时刻的对应关系示意图。

正如图4所示，第一天，所述3个静态人脸特征值对应的首次出现时刻被列出：特征值1于5:00首次出现，特征值2于9:00首次出现，特征值3于6：00首次出现。至于，这些特征值具体出现时间长短，或最终何时离开，或这一天中有几次来去，都不予考虑。

同理，正如图5所示，第一天，所述3个静态MAC地址对应的首次出现时刻被列出：MAC1于9:00首次出现，MAC2于6:00首次出现，MAC3于5：00首次出现。至于，这些MAC地址具体出现时间长短，或最终何时离开，或这一天中有几次来去，都不予考虑。

综合图4和图5所示，第一天，可认为：特征值1和MAC3匹配度高；特征值2和MAC1匹配度高；特征值3和MAC2匹配度高。这就是第一天的匹配关系。

按照上述方法，每天做一个类似记录，即每天得到一个匹配关系。图6是累积5天得到的匹配关系示意图以及根据这种累积的统计关系最终确定的匹配关系示意图。如图6列出了前5天的匹配关系。其中关系1出现了3次，关系2出现了1次，关系3出现了1次。具体来说，对于静态人脸特征值1，在5天的匹配关系中其与mac2匹配的次数最多，为3次；对于静态人脸特征值2来说，在5天的匹配关系中，其与mac3匹配的次数最多，为3次；对于静态人脸特征值3来说，在5天的匹配关系中，其与mac1匹配的次数最多，为3次。因此根据图6所示的这5天的统计，可以确定如下对应关系:特征值1-mac2；特征值2-mac3；特征值3-mac1。

这里的5天仅仅是举例说明，在实际应用当中可以自主设定单位时间段的长度和统计的单位时间段的个数，这里不予限定。

对静态人脸和静态MAC地址的分析，是为了优化图1所示视频中未知人脸的识别方法。使得图1所示视频中未知人脸的识别方法，不会再受到这些静态人脸和静态MAC地址的干扰，增大人脸识别的精确度。例如，对于视频拍摄范围内的摊贩，如果该摊贩长之间在同一个位置驻足，则可以通过静态人脸的初步分类，在分析处理之前即将其排除。如果该摊贩还在该范围内移动，就会拍摄到摊贩的动态人脸信息，则可以通过图6所述的方式，确定其特征值和对应MAC的关系，从而进一步从待分析的动态人脸库和动态MAC数据中排除。

图7为本发明实施例中的基于聚类法识别视频中未知人脸的方法的流程示意图。如图7所示，该方法包括:

步骤S710，对指定区域进行视频采集，将所采集视频的图像帧中的人脸信息、采集时间和采集地点信息对应保存到人脸信息数据库中；

步骤S720，以及扫描该指定区域内出现的移动终端的MAC地址，将扫描到的MAC地址、扫描时间、和扫描地点信息对应保存到MAC数据库中。

步骤S710和步骤S720需要同步执行且这两步与图1所示方法类似。

步骤S730，对于人脸信息数据库中的指定时间段内采集的人脸，生成与该人脸对应的人脸组，将指定时间段内采集的其他各人脸中的与该人脸的相似度值超过预设值的人脸添加到该人脸组中。

假设摄像头一天内记录保存了100张人脸，分别标号为人脸1至100，生成人脸组1至100。将1号人脸放入人脸组1中，并将1号人脸依次与其他99个人脸(即2号人脸、3号人脸至100号人脸)进行对比，产生对应的相似度百分比，假如设定一个相似度阈值为95％，将超过该阈值的人脸都加入人脸组1中，统计人脸组1中的人脸个数。将2号人脸放入人脸组2中，并将2号人脸依次与其他99个人脸(即1号人脸、3号人脸至100号人脸)进行对比，产生对应的相似度百分比，将超过阈值的人脸都加入人脸组2中，统计人脸组2中的人脸个数。以此类推，对于人脸组3-100也执行上述操作。其中，如果两个人脸之前已经对比过，则直接采用之前的对比结果即可。

图8为人脸组和对应的包含的人脸个数的示意图。如图8所示，只示出了前6组人脸组统计的总人脸个数：组1包含5张人脸，组2包含9张人脸，组3包含6张人脸，组4包含4张人脸，组5和组6都包含6张人脸。就前6组来说，人脸组2为峰值。这里假设100组中，也是人脸组2为峰值

步骤S740，以及根据MAC数据库中的内容，统计所述指定时间段内各MAC地址的出现次数。

正如图3所示，统计显示，MAC地址3出现峰值。

步骤S750，将包含人脸个数最多的人脸组与该指定时间段内出现次数最多的MAC地址，作为一组对应关系输出到结果数据库。

根据统计学规律，出现峰值的人脸组2与出现峰值的MAC地址3匹配。

在本申请中，将图7所示的方法定义为聚类法。

需要说明的是，在聚类法中也可以进一步应用图1所示方法的后续部分所提到的各类完善方法：如不完整人脸整合方法；动静态人脸分类后只针对动态人脸处理的方法；以及如图6所示的确定静态人脸与MAC的对应关系后从动态人脸库和动态MAC数据库中删除已识别的静态干扰项的方法。这里不再复述。

图9是本发明实施例中的基于双峰法和聚类法的组合识别视频中未知人脸的方法的流程示意图。如图9所示，该方法包括：

步骤S910，由双峰法得到人脸特征值和MAC地址的对应匹配关系，即：

对指定区域进行视频采集，根据采集视频的图像帧中的人脸信息生成相应的人脸特征值，将人脸特征值、采集时间和采集地点信息对应保存到特征值数据库中；

以及扫描该指定区域内出现的移动终端的MAC地址，将扫描到的MAC地址、扫描时间、和扫描地点信息对应保存到MAC数据库中；

根据特征值数据库中的内容，统计指定时间段内各人脸特征值出现的次数；以及根据MAC数据库中的内容，统计所述指定时间段内各MAC地址的出现次数；

将所述指定时间段内出现次数最多的人脸特征值与该指定时间段内出现次数最多的MAC地址，作为双峰法对应关系。

步骤S920，由聚类法得到人脸组和MAC地址的对应匹配关系，即：

对指定区域进行视频采集，将所采集视频的图像帧中的人脸信息、采集时间和采集地点信息对应保存到人脸信息数据库中；

对于人脸信息数据库中的指定时间段内采集的人脸，生成与该人脸对应的人脸组，将指定时间段内采集的其他各人脸中与该人脸的相似度值超过预设值的人脸添加到该人脸组中；

将包含人脸个数最多的人脸组与该指定时间段内出现次数最多的MAC地址，作为聚类法对应关系。

步骤S930，将双峰法对应关系和聚类法对应关系中的重合的对应关系输出到结果数据库。

聚类法得出的结果是一个人脸组对应一个MAC地址。通过统计过程可知，一个人脸组里可能对应多张人脸。

图10是双峰法和聚类法组合应用后的结果的示例图。双峰法得出的结果是一个人脸特征值对应一个MAC地址。但在实际中，一个人脸特征值并非只对应一张人脸，而是对应多个相似的人脸。例如图10所示，与某一个MAC地址对应的人脸特征值中，对应脸1、脸2和脸3。在聚类法得出的结果中，与上述双峰法中同一个MAC地址对应的人脸组中，包含脸3、脸4和脸5。则以综合得出结论：该MAC地址与人脸3具有强关联性。这种组合应用的方式，使得人脸识别的正确率得到提高。

图11示出了本发明中的人脸识别方法的一个实际场景应用示意图。假设A地点经过上述任一人脸识别方法，得到一个MAC地址与一张人脸或一个人脸组具有强相关性。当该MAC地址被安置在B地点的移动终端扫描装置获取到时，可以根据上述强相关性，从B地点对应的摄像头记录的视频中抓取的人脸进行匹配，确定符合次强相关性的人脸特征值或人脸组。

图12是本发明实施例中的基于双峰法的一种视频中未知人脸的识别系统。参见图12，该系统包括：

视频采集单元1201，用于对指定区域进行视频采集并输出给视频处理单元；

视频处理单元1202，用于根据所采集视频的图像帧中的人脸信息生成相应的人脸特征值，将人脸特征值、采集时间和采集地点信息对应保存到特征值数据库1203中；

MAC地址扫描单元1204，用于扫描该指定区域内出现的移动终端的MAC地址，将扫描到的MAC地址、扫描时间、和扫描地点信息对应保存到MAC数据库1205中；

分析处理单元1206，用于根据特征值数据库1203中的内容，统计指定时间段内各人脸特征值出现的次数；以及根据MAC数据库1205中的内容，统计所述指定时间段内各MAC地址的出现次数；将所述指定时间段内出现次数最多的人脸特征值与该指定时间段内出现次数最多的MAC地址，作为一组对应关系输出到结果数据库。

图13是本发明又一个实施例中的基于双峰法的一种视频中未知人脸的识别系统。参见图13，该系统包括：

视频采集单元1301，用于对指定区域进行视频采集并输出给分类单元1307；

MAC地址扫描单元1304，用于扫描该指定区域内出现的移动终端的MAC地址并输出给分类单元1307，

分类单元1307，用于对指定时间段内的人脸信息进行分类，其中，将在预设长度时间内的视频帧中连续出现的人脸定义为静态人脸并保存到静态人脸库1308中，其他则定义为动态人脸并保存到动态人脸库1309中；以及对所述指定时间段内扫描到的MAC地址进行分类，其中，将在预设长度时间内的连续扫描到的MAC地址定义为静态MAC地址并保存到静态MAC地址库1310中，其他则定义为动态MAC地址并保存到动态MAC地址库1311中；

视频处理单元1302，用于根据动态人脸库1309中的人脸信息生成相应的人脸特征值，将人脸特征值、采集时间和采集地点信息对应保存到特征值数据库1303中；

MAC地址扫描单元1304，用于将动态MAC地址库1311中的动态MAC地址，和其对应的扫描时间和扫描地点信息对应保存到所述MAC数据库1305中；

分析处理单元1306，用于根据特征值数据库1303中的内容，统计指定时间段内各人脸特征值出现的次数；以及根据MAC数据库1305中的内容，统计所述指定时间段内各MAC地址的出现次数；将所述指定时间段内出现次数最多的人脸特征值与该指定时间段内出现次数最多的MAC地址，作为一组对应关系输出到结果数据库。

在本发明的一个实施例中，所述视频处理单元1302、进一步用于当所采集视频的各帧图像中存在不完整的人脸信息时，将该不完整的人脸信息、采集时间、采集地点信息以及与该人脸对应的其他人体外观特征保存到不完整人脸数据库中；以及进一步用于将所述不完整人脸数据库中的所述指定时间段内保存的内容中的，其他人体外观特征相匹配的各不完整人脸信息进行整合，得到完整的人脸特征并生成相应的人脸特征值，将人脸特征、采集时间和采集地点信息对应保存到特征值数据库中。

在本发明的一个实施例中，该图13所示系统进一步包括：

静态数据处理单元1312，用于将所述指定时间段划分为多个单位时间段；对于每个单位时间段，记录在该单位时间段内各静态人脸的首次出现时刻，以及记录在该单位时间段内各静态MAC地址的首次出现时刻；将首次出现时刻匹配的静态人脸和静态MAC地址作为一组匹配关系输出；对于一个静态人脸，确定在预定数量的单位时间段对应的输出对应关系中与该静态人脸匹配次数最多的静态MAC地址，将该静态人脸与所确定的静态MAC地址作为最终确认的一组对应关系输出到静态人脸识别库中；从所述动态人脸库中删除特征值与静态人脸识别库中的人脸特征值相同的人脸信息；以及从所述动态MAC地址库中删除与静态人脸识别库中的MAC地址相同的MAC地址；

所述视频处理单元1302，具体用于从动态人脸库1309中删除特征值与静态人脸识别库中的人脸特征值相同的人脸信息后，再根据动态人脸库1309中的人脸信息生成相应的人脸特征值，将人脸特征值、采集时间和采集地点信息对应保存到所述特征值数据库中；

所述MAC地址扫描单元1304，具体用于从动态MAC地址库1311中删除与静态人脸识别库中的MAC地址相同的MAC地址后，再将动态MAC地址库1311中的动态MAC地址，和其对应的扫描时间和扫描地点信息对应保存到所述MAC数据库中。

在本发明的一个实施例中，还公开了基于聚类法的一种视频中未知人脸的识别系统，该系统包括：

视频采集单元，用于对指定区域进行视频采集并输出给视频处理单元；

视频处理单元，用于将所采集视频的图像帧中的人脸信息、采集时间和采集地点信息对应保存到人脸信息数据库中；

MAC地址扫描单元，用于扫描该指定区域内出现的移动终端的MAC地址，将扫描到的MAC地址、扫描时间、和扫描地点信息对应保存到MAC数据库中；

分析处理单元，用于对于人脸信息数据库中的指定时间段内采集的人脸，生成与该人脸对应的人脸组，将指定时间段内采集的其他各人脸中的与该人脸的相似度值超过预设值的人脸添加到该人脸组中；以及根据MAC数据库中的内容，统计所述指定时间段内各MAC地址的出现次数；将包含人脸个数最多的人脸组与该指定时间段内出现次数最多的MAC地址，作为一组对应关系输出到结果数据库。

在本发明的一个实施例中，还公开了一种基于双峰法和聚类法组合应用的视频中未知人脸的识别系统，该系统包括：

视频采集单元，用于对指定区域进行视频采集并输出给视频处理单元；

视频处理单元，用于根据所采集视频的图像帧中的人脸信息生成相应的人脸特征值，将人脸特征值、采集时间和采集地点信息对应保存到特征值数据库中；

MAC地址扫描单元，用于扫描该指定区域内出现的移动终端的MAC地址，将扫描到的MAC地址、扫描时间、和扫描地点信息对应保存到MAC数据库中；

分析处理单元，用于根据特征值数据库中的内容，统计指定时间段内各人脸特征值出现的次数；以及根据MAC数据库中的内容，统计所述指定时间段内各MAC地址的出现次数；将所述指定时间段内出现次数最多的人脸特征值与该指定时间段内出现次数最多的MAC地址，作为双峰法对应关系；

所述视频处理单元，还用于将所采集视频的图像帧中的人脸信息、采集时间和采集地点信息对应保存到人脸信息数据库中；

所述分析处理单元，还用于对于人脸信息数据库中的指定时间段内采集的人脸，生成与该人脸对应的人脸组，将指定时间段内采集的其他各人脸中与该人脸的相似度值超过预设值的人脸添加到该人脸组中；将包含人脸个数最多的人脸组与该指定时间段内出现次数最多的MAC地址，作为聚类法对应关系；将双峰法对应关系和聚类法对应关系中的重合的对应关系输出到结果数据库。

需要说明的是，上述各系统实施例的具体实施方式与前述对应方法实施例的具体实施方式相同，在此不再赘述。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (12)

1.一种视频中未知人脸的识别方法，其特征在于，所述方法包括：

对指定区域进行视频采集，根据所采集视频的图像帧中的人脸信息生成相应的人脸特征值，将人脸特征值、采集时间和采集地点信息对应保存到特征值数据库中；

以及扫描该指定区域内出现的移动终端的MAC地址，将扫描到的MAC地址、扫描时间、和扫描地点信息对应保存到MAC数据库中；

根据特征值数据库中的内容，统计指定时间段内各人脸特征值出现的次数；以及根据MAC数据库中的内容，统计所述指定时间段内各MAC地址的出现次数；

将所述指定时间段内出现次数最多的人脸特征值与该指定时间段内出现次数最多的MAC地址，作为一组对应关系输出到结果数据库。

2.如权利要求1所述的方法，其中，该方法进一步包括：

当所采集视频的各帧图像中存在不完整的人脸信息时，将该不完整的人脸信息、采集时间、采集地点信息以及与该人脸对应的其他人体外观特征保存到不完整人脸数据库中；

将所述不完整人脸数据库中的所述指定时间段内保存的内容中的，其他人体外观特征相匹配的各不完整人脸信息进行整合，得到完整的人脸特征并生成相应的人脸特征值，将人脸特征、采集时间和采集地点信息对应保存到特征值数据库中。

3.如权利要求1所述的方法，其中，该方法进一步包括：

对所述指定时间段内的人脸信息进行分类，其中，将在预设长度时间内的视频帧中连续出现的人脸定义为静态人脸并保存到静态人脸库中，其他则定义为动态人脸并保存到动态人脸库中；

对所述指定时间段内扫描到的MAC地址进行分类，其中，将在预设长度时间内的连续扫描到的MAC地址定义为静态MAC地址并保存到静态MAC地址库中，其他则定义为动态MAC地址并保存到动态MAC地址库中；

则所述根据所采集视频的图像帧中的人脸信息生成相应的人脸特征值，将人脸特征值、采集时间和采集地点信息对应保存到特征值数据库中包括：根据动态人脸库中的人脸信息生成相应的人脸特征值，将人脸特征值、采集时间和采集地点信息对应保存到所述特征值数据库中；

所述将扫描到的MAC地址、扫描时间、和扫描地点信息对应保存到MAC数据库中包括：将动态MAC地址库中的动态MAC地址，和其对应的扫描时间和扫描地点信息对应保存到所述MAC数据库中。

4.如权利要求3所述的方法，其中，该方法进一步包括：

将所述指定时间段划分为多个单位时间段；

对于每个单位时间段，记录在该单位时间段内各静态人脸的首次出现时刻，以及记录在该单位时间段内各静态MAC地址的首次出现时刻；将首次出现时刻匹配的静态人脸和静态MAC地址作为一组匹配关系输出；

对于一个静态人脸，确定在预定数量的单位时间段对应的输出对应关系中与该静态人脸匹配次数最多的静态MAC地址，将该静态人脸与所确定的静态MAC地址作为最终确认的一组对应关系输出到静态人脸识别库中；

从所述动态人脸库中删除特征值与静态人脸识别库中的人脸特征值相同的人脸信息；以及从所述动态MAC地址库中删除与静态人脸识别库中的MAC地址相同的MAC地址；

则所述根据所采集视频的图像帧中的人脸信息生成相应的人脸特征值，将人脸特征值、采集时间和采集地点信息对应保存到特征值数据库中包括：从动态人脸库中删除特征值与静态人脸识别库中的人脸特征值相同的人脸信息后，再根据动态人脸库中的人脸信息生成相应的人脸特征值，将人脸特征值、采集时间和采集地点信息对应保存到所述特征值数据库中；

所述将扫描到的MAC地址、扫描时间、和扫描地点信息对应保存到MAC数据库中包括：从动态MAC地址库中删除与静态人脸识别库中的MAC地址相同的MAC地址后，再将动态MAC地址库中的动态MAC地址，和其对应的扫描时间和扫描地点信息对应保存到所述MAC数据库中。

5.一种视频中未知人脸的识别方法，其特征在于，所述方法包括：

对指定区域进行视频采集，将所采集视频的图像帧中的人脸信息、采集时间和采集地点信息对应保存到人脸信息数据库中；

以及扫描该指定区域内出现的移动终端的MAC地址，将扫描到的MAC地址、扫描时间、和扫描地点信息对应保存到MAC数据库中；

对于人脸信息数据库中的指定时间段内采集的人脸，生成与该人脸对应的人脸组，将指定时间段内采集的其他各人脸中的与该人脸的相似度值超过预设值的人脸添加到该人脸组中；

以及根据MAC数据库中的内容，统计所述指定时间段内各MAC地址的出现次数；

将包含人脸个数最多的人脸组与该指定时间段内出现次数最多的MAC地址，作为一组对应关系输出到结果数据库。

6.一种视频中未知人脸的识别方法，其特征在于，所述方法包括：

对指定区域进行视频采集，根据所采集视频的图像帧中的人脸信息生成相应的人脸特征值，将人脸特征值、采集时间和采集地点信息对应保存到特征值数据库中；

以及扫描该指定区域内出现的移动终端的MAC地址，将扫描到的MAC地址、扫描时间、和扫描地点信息对应保存到MAC数据库中；

根据特征值数据库中的内容，统计指定时间段内各人脸特征值出现的次数；以及根据MAC数据库中的内容，统计所述指定时间段内各MAC地址的出现次数；

将所述指定时间段内出现次数最多的人脸特征值与该指定时间段内出现次数最多的MAC地址，作为双峰法对应关系；

对指定区域进行视频采集，将所采集视频的帧图像帧中的人脸信息、采集时间和采集地点信息对应保存到人脸信息数据库中；

对于人脸信息数据库中的指定时间段内采集的人脸，生成与该人脸对应的人脸组，将指定时间段内采集的其他各人脸中与该人脸的相似度值超过预设值的人脸添加到该人脸组中；

将包含人脸个数最多的人脸组与该指定时间段内出现次数最多的MAC地址，作为聚类法对应关系；

将双峰法对应关系和聚类法对应关系中的重合的对应关系输出到结果数据库。

7.一种视频中未知人脸的识别系统，其特征在于，所述系统包括：

视频采集单元，用于对指定区域进行视频采集并输出给视频处理单元；

视频处理单元，用于根据所采集视频的图像帧中的人脸信息生成相应的人脸特征值，将人脸特征值、采集时间和采集地点信息对应保存到特征值数据库中；

MAC地址扫描单元，用于扫描该指定区域内出现的移动终端的MAC地址，将扫描到的MAC地址、扫描时间、和扫描地点信息对应保存到MAC数据库中；

分析处理单元，用于根据特征值数据库中的内容，统计指定时间段内各人脸特征值出现的次数；以及根据MAC数据库中的内容，统计所述指定时间段内各MAC地址的出现次数；将所述指定时间段内出现次数最多的人脸特征值与该指定时间段内出现次数最多的MAC地址，作为一组对应关系输出到结果数据库。

8.如权利要求7所述的系统，其中，

所述视频处理单元、进一步用于当所采集视频的各帧图像中存在不完整的人脸信息时，将该不完整的人脸信息、采集时间、采集地点信息以及与该人脸对应的其他人体外观特征保存到不完整人脸数据库中；以及进一步用于将所述不完整人脸数据库中的所述指定时间段内保存的内容中的，其他人体外观特征相匹配的各不完整人脸信息进行整合，得到完整的人脸特征并生成相应的人脸特征值，将人脸特征、采集时间和采集地点信息对应保存到特征值数据库中。

9.如权利要求7所述的系统，其中，该系统进一步包括：

分类单元，用于对所述指定时间段内的人脸信息进行分类，其中，将在预设长度时间内的视频帧中连续出现的人脸定义为静态人脸并保存到静态人脸库中，其他则定义为动态人脸并保存到动态人脸库中；以及对所述指定时间段内扫描到的MAC地址进行分类，其中，将在预设长度时间内的连续扫描到的MAC地址定义为静态MAC地址并保存到静态MAC地址库中，其他则定义为动态MAC地址并保存到动态MAC地址库中；

所述视频处理单元，具体用于根据动态人脸库中的人脸信息生成相应的人脸特征值，将人脸特征值、采集时间和采集地点信息对应保存到所述特征值数据库中；

所述MAC地址扫描单元，具体用于将动态MAC地址库中的动态MAC地址，和其对应的扫描时间和扫描地点信息对应保存到所述MAC数据库中。

10.如权利要求9所述的系统，其中，该系统进一步包括：

静态数据处理单元，用于将所述指定时间段划分为多个单位时间段；对于每个单位时间段，记录在该单位时间段内各静态人脸的首次出现时刻，以及记录在该单位时间段内各静态MAC地址的首次出现时刻；将首次出现时刻匹配的静态人脸和静态MAC地址作为一组匹配关系输出；对于一个静态人脸，确定在预定数量的单位时间段对应的输出对应关系中与该静态人脸匹配次数最多的静态MAC地址，将该静态人脸与所确定的静态MAC地址作为最终确认的一组对应关系输出到静态人脸识别库中；从所述动态人脸库中删除特征值与静态人脸识别库中的人脸特征值相同的人脸信息；以及从所述动态MAC地址库中删除与静态人脸识别库中的MAC地址相同的MAC地址；

所述视频处理单元，具体用于从动态人脸库中删除特征值与静态人脸识别库中的人脸特征值相同的人脸信息后，再根据动态人脸库中的人脸信息生成相应的人脸特征值，将人脸特征值、采集时间和采集地点信息对应保存到所述特征值数据库中；

所述MAC地址扫描单元，具体用于从动态MAC地址库中删除与静态人脸识别库中的MAC地址相同的MAC地址后，再将动态MAC地址库中的动态MAC地址，和其对应的扫描时间和扫描地点信息对应保存到所述MAC数据库中。

11.一种视频中未知人脸的识别系统，其特征在于，所述系统包括：

视频采集单元，用于对指定区域进行视频采集并输出给视频处理单元；

视频处理单元，用于将所采集视频的图像帧中的人脸信息、采集时间和采集地点信息对应保存到人脸信息数据库中；

MAC地址扫描单元，用于扫描该指定区域内出现的移动终端的MAC地址，将扫描到的MAC地址、扫描时间、和扫描地点信息对应保存到MAC数据库中；

分析处理单元，用于对于人脸信息数据库中的指定时间段内采集的人脸，生成与该人脸对应的人脸组，将指定时间段内采集的其他各人脸中的与该人脸的相似度值超过预设值的人脸添加到该人脸组中；以及根据MAC数据库中的内容，统计所述指定时间段内各MAC地址的出现次数；将包含人脸个数最多的人脸组与该指定时间段内出现次数最多的MAC地址，作为一组对应关系输出到结果数据库。

12.一种视频中未知人脸的识别系统，其特征在于，所述系统包括：

视频采集单元，用于对指定区域进行视频采集并输出给视频处理单元；

视频处理单元，用于根据所采集视频的图像帧中的人脸信息生成相应的人脸特征值，将人脸特征值、采集时间和采集地点信息对应保存到特征值数据库中；

MAC地址扫描单元，用于扫描该指定区域内出现的移动终端的MAC地址，将扫描到的MAC地址、扫描时间、和扫描地点信息对应保存到MAC数据库中；

分析处理单元，用于根据特征值数据库中的内容，统计指定时间段内各人脸特征值出现的次数；以及根据MAC数据库中的内容，统计所述指定时间段内各MAC地址的出现次数；将所述指定时间段内出现次数最多的人脸特征值与该指定时间段内出现次数最多的MAC地址，作为双峰法对应关系；

所述视频处理单元，还用于将所采集视频的图像帧中的人脸信息、采集时间和采集地点信息对应保存到人脸信息数据库中；

所述分析处理单元，还用于对于人脸信息数据库中的指定时间段内采集的人脸，生成与该人脸对应的人脸组，将指定时间段内采集的其他各人脸中与该人脸的相似度值超过预设值的人脸添加到该人脸组中；将包含人脸个数最多的人脸组与该指定时间段内出现次数最多的MAC地址，作为聚类法对应关系；将双峰法对应关系和聚类法对应关系中的重合的对应关系输出到结果数据库。