CN105574506B - 基于深度学习和大规模集群的智能人脸追逃系统及方法 - Google Patents

Abstract

本公开涉及一种基于深度学习和大规模集群的智能人脸追逃系统及方法。该系统包括视频输入单元，分发服务器，人脸识别服务器集群，流媒体服务器，分布式文件服务器，消息中心服务器，web前端服务器，及常见操作系统的客户端。该系统利用通过大规模集群服务器和基于深度学习的人脸识别技术，能够在图像质量下降的情况下依然保持较高的识别率，更重要的是在大规模数据库中保持较低的误报率与漏检率，从而保证智能追逃系统的可靠性与鲁棒性，使基于人脸识别的智能追逃系统在安防领域达到真实可用。

Description

基于深度学习和大规模集群的智能人脸追逃系统及方法

技术领域

本发明属于安防监控领域，具体来说涉及一种基于深度学习和大规模集群的人脸追逃系统及方法。

背景技术

随着经济的高速发展以及城镇建设速度的加快，导致城市中人口密集，流动人口增加，社会犯罪率呈逐年上升的趋势，引发了城市建设中的交通、社会治安、重点区域防范等城市管理问题。因此，近年来，针对犯罪分子流动性较强，情况比较复杂，重点人员布控困难等情况，人脸智能布控和追逃系统应运而生。此类系统可应用于传统视频布控网络，并且无需使用者配合，因而操作隐蔽性强，特别适合于公安部门的安全防范、罪犯监控、罪犯抓捕等。为公安防范体系提供简单且高效的技术手段。此外，随着大众的安全意识的增强，以及对个人生命财产的自我保护，现在商业中民用的安全保护体系也快速发展，基于人脸识别的智能安全系统也得到越来越广泛的应用。

现有的人脸识别技术，对于限定在一定条件下的人脸图像，例如，正面人脸、光照条件良好、无遮挡物体、无眼镜反光情况下获取的人脸图像，其识别率可以满足一些民用领域的低端应用(如门禁、考勤等)的要求。然而，现有的人脸视频布控主要利用城市中已有的监控摄像机采集人脸图像，因此很容易受到光照、姿态、遮挡、外表附属物以及图像采集设备的影响。当上述一个或多个条件发生变化时，识别效果会大大降低。再者，当数据库规模达到一定数量级后(如百万级)，目前人脸识别系统的误报警率与漏检率会大幅升高，造成不法份子躲过检查的几率大大提高。因此，很大程度上限制了基于人脸识别的智能监控系统在公共安全防范领域的大规模应用。此外，随着视频监控的广泛普及，大规模视频监控网络已在全国各地建成。这给人脸追逃系统布控的实时性，准确性，可扩展性等提出了非常高的要求。

发明内容

本发明为了有效地解决上述问题，提出了一种基于深度学习的智能人脸追逃系统。

本发明设计的基于深度学习和大规模集群的智能人脸追逃系统，包括：视频输入单元，分发服务器，人脸识别服务器集群，

所述视频输入单元，主要对多路网络摄像头采集的视频流进行解码，分析处理，并将处理后的视频帧传送给分发服务器，

所述分发服务器，将从所述视频输入单元获取的视频帧分发给所述人脸识别服务器集群中的人脸识别服务器进行分析，

人脸识别服务器集群，包含多个人脸识别服务器，每个人脸识别服务器对接入的视频帧调用基于深度学习的人脸识别算法进行分析处理，并将处理的结果发送到输出服务器上。

本发明还涉及一种基于深度学习和大规模集群的智能人脸追逃方法，该方法的步骤包括：

步骤S1，视频输入单元从多路网络摄像头采集视频流，并对所述视频流进行解码，分析处理，并将处理后的视频帧传送给分发服务器；

步骤S2，所述分发服务器将从视频输入单元获取的视频帧分发给特定的人脸识别服务器进行分析；

步骤S3，人脸识别服务器对接入的视频帧调用基于深度学习的人脸识别算法进行分析处理；

步骤S4，人脸识别服务器将处理的结果发送到相关的输出服务器上。

本发明通过深度学习(deep learning)，能够在图像质量下降的情况下依然保持较高的识别率，更重要的是在大规模数据库中保持较低的误报率与漏检率，从而保证智能追逃系统的可靠性与鲁棒性，使基于人脸识别的智能追逃系统在安防领域达到真实可用。

此外，本发明的基于深度学习和大规模集群的人脸追逃系统可以提供对多机多路和一机多路的灵活支持。当人脸数据库较大，为了提高处理效率，可将人脸识别服务器部署在不同的物理服务器上，从而实现多机多路。由于采用了大规模集群方式，使得本系统能实时处理成百上千路视频并且拥有良好的可扩展性。

附图说明

图1是基于深度学习和大规模集群智能人脸追逃系统框架图；

图2是人脸识别服务器的内部结构图；

图3是基于深度学习和大规模集群智能人脸追逃方法流程图。

具体实施方式

以下结合附图1-3对本发明的各个实施例进行详细的说明。

如图1所示，基于深度学习和大规模集群的智能人脸追逃系统包括：视频输入单元10、分发服务器20、人脸识别服务器集群30、流媒体服务器40、分布式文件服务器50、消息中心服务器60、数据库70、Web前端服务器80和前端输出90。

所述视频输入单元10，主要对多路网络摄像头采集的视频流进行解码，分析处理，并将处理后的视频帧传送给分发服务器20。

在一个优选的实施例中，所述视频输入单元10进一步包括图像采集单元11，视频解码单元12和图像预处理单元13。

其中，图像采集单元11，从多路网络摄像头采集已编码视频流信号，并将该信号输入至视频解码单元12。

视频解码单元12，对接收到的视频流信号进行解码，并将解码后的信息输入至图像预处理单元13。视频解码单元12将接收到视频流信号解码为视频帧，并将视频帧输入至图像预处理单元13。

图像预处理单元13，对解码后的视频帧进行预处理，如画定热区，图像去噪，图像去模糊等操作，最后将预处理后的视频帧作为结果传送至分发服务器20。

所述分发服务器20，将从视频输入单元10获取的视频帧分发给特定的人脸识别服务器进行分析。分发服务器20管理着所有的人脸识别服务器，每当有新的视频帧需要接入到人脸识别服务器进行分析时，都会先向分发服务器20请求一个可用的人脸识别服务器。该请求过程可由管理员在Web前端添加频道时实现，并把该频道的配置参数都发到请求到的对应的人脸识别服务器上。

所述人脸识别服务器集群30，包含多个人脸识别服务器。每个人脸识别服务器都支持多路视频接入。每个人脸识别服务器对接入的视频帧调用基于深度学习的人脸识别算法进行分析处理，并将处理的结果发送到相关的服务器上，如流媒体服务器40，分布式文件服务器50，消息中心服务器60。处理的结果可以为事件，图片或视频等。发送的方式可以为通过网络模块。

在一个具体的实施例中，人脸识别服务器对分发服务器20输入的视频帧图像，检测人脸，并进行质量判断，挑选满足要求的若干帧作为关键帧，并提取每一帧的人脸特征。所述人脸特征使用多维特征向量表示，在一个实施例中，使用约180维特征向量来表示人脸特征。在对图像进行检测时，提取图像中的人脸位置、人脸关键点信息，所述人脸关键点信息可包括眼角、眉毛的末端、嘴角、鼻尖等位置信息。当所述若干帧为单帧时，该图像本身为关键帧；所述若干帧为多帧时，从该序列中挑选质量好的N帧作为关键帧。其中，质量的判断可以通过对后述指标进行打分后，选取得分高的前N帧作为关键帧。所述指标包括人脸图片清晰度、大小、真实人脸、遮挡、光照等等。对已检测到人脸，在后续帧中进行跟踪。

在一个优选的实施例中，所述质量判断的方法，包括下述步骤：

S11、对每个检测到的人脸图像，首先判断两眼间距是否满足设定要求，若满足要求则执行步骤S12；否则，舍弃该检测到的人脸图像；

S12、计算检测到的人脸图像的人脸置信度得分是否满足设定要求，若满足要求则执行步骤S13；否则，舍弃该检测到的人脸图像；

S13、计算正脸得分是否满足设定要求，如满足则判断该帧能够用于识别人脸；否则，舍弃该检测到的人脸图像。

在这个实施例中，对单个跟踪抓拍的人脸，根据两眼间距>25，人脸置信度得分>0.95,正脸得分的标准，判断该帧是否用于识别。

在一个优选的实施例中，提供了一种具体挑选关键帧的实现方式。对每个跟踪为同一人脸的图像，内部维护一个关键帧容器，容量为10。开始时，若不满10帧，则每帧均存储入容器内；满10帧后，适合用于识别的帧，且与最后存入的帧号间隔大于10，则替换掉已知质量最差的帧；记录单个跟踪为同一人脸的图像已被处理的帧数，若帧数大于20，则结束跟踪。

在一个优选的实施例中，给出了一种对已检测到人脸在后续帧中进行跟踪的方法，包括以下步骤：

S21、每隔若干帧进行一次人脸检测，当检测到人脸时，对满足质量要求的人脸使用标记框对包括人脸的部分进行标记；

S22、判断标记的人脸面积与已检测到的人脸面积是否有重合，当重合度满足预设阈值时，则认为与已检测到的人脸为同一人脸，则进入步骤S23；否则认为当前标记的人脸为新的人脸，跟踪结束；

S23、对标记的人脸在标记框内进行人脸对齐，检测人脸关键点位置，计算人脸关键点外包围矩形，替换之前检测到的认为为同一人脸的标记框内的图像。

在这个实施例中，使用标记框对包括人脸的部分进行标记，所标记的部分可以是头部，更优的，还可以包括肩部，在包括肩部的标记方式中，可以提高识别率。不论采用哪种方式，重合度的计算均可以通过置信度来度量，当计算的置信度达到一定的范围时，可以认为两个对象为同一对象。而所应达到的范围可以通过试验的方式来确定。

在一个优选的实施例中，人脸识别服务器采用的基于深度学习的人脸识别算法为DeepId深度学习算法。该算法可以获取人脸特征，并有助于精准的识别人脸。在一个优选的实施例中，使用这种提取人脸特征提取方式，提取约180维的特征向量。

基于人脸特征使用多维特征向量表示，在一个实施例中，给出了一种在查找相似特征向量时，减少比较次数加速比对过程方法，该算法通过下述步骤获得：

S31、建立KD树：在查找时，建立KD树搜索K个近邻，K≥M；

S32、遍历KD树：在遍历KD树时，每层选取人脸特征中的一维进行比较，以确定下一层检索的分支，最后确定与关键帧相似的多个人脸特征。

这种通过建立KD特征检索树的方式，在搜索相似特征时，通过遍历检索树来实现，为了减少比对次数，在每层选取一维的特征进行比较，以确定下一层要检索的分支。

在一个实施例中，在所述步骤S22中，当判断新标记的人脸与已检测到的人脸为同一人脸时，将该新标记的人脸图像和已检测到的人脸使用相同的第二标识符标识。

使用基于上述深度学习的方法，能够实时抓取人脸、提取人脸特征并对人脸进行跟踪。对跟踪的单个人，根据图片、清晰度、大小等自动挑选单个轨迹中的多帧，用于后续与人脸库中人脸进行比对，找出与其匹配的人脸。

在一个优选的实施例中，人脸识别服务器内部包括人脸检测服务器31，人脸分发服务器32以及人脸匹配服务器33。具体结构如附图2所示。

所述人脸检测服务器31基于上述DeepId深度学习算法检测人脸，并获得人脸特征数据。

所述人脸分发服务器32从人脸检测服务器31中获取识别出的人脸特征数据，并将接收到的人脸特征数据分发至人脸匹配服务器33进行人脸匹配，最后对多个人脸匹配服务器返回的结果进行合并。所述人脸匹配服务器33，从人脸分发服务器32接收人脸特征数据，使用深度学习方法与入库人脸进行比对，计算相似度，输出最相似前N个入库人脸。人脸匹配服务器33内部使用多线程匹配人脸，排序，并将排序后的结果返回给人脸分发服务器32做汇总。

在一个具体的实施例中，人脸匹配服务器将N组人脸特征作为一个整体与入库人脸进行比对，在用户信息数据库中检索相似人脸，选择得分最高的几个人脸作为返回结果。优选的，使用多库与并行检索，即：用户信息数据库包括多个子数据库，比对分析基于多个子数据库进行并行检索比对分析，并合并分析结果。这种方式不仅支持将大量人脸图像导入用户信息数据库，同时又不加大检索时间。每个子数据库导入一定量的人脸图像，单人的多个人脸图像导入相同的数据库。在检索时，在一个实施例中采用多线程并行检索每个数据库的方式，然后根据比较分析的结果合并多个子数据库的结果。

在一个优选的实施例中，人脸匹配服务器33使用的人脸比对，计算相似度的深度学习方法包括下述步骤：

S41、对具有相同第二标识符标识的M帧图像，根据是否正脸、清晰度计算一个质量分值q_i，i∈[1,M]；

S42、对M帧图像中的每帧图像，分别从人脸库中检索比对找出最相似的N个用户，对应相似度为S_i,userj，i∈[1,M]，j∈[1,N]；

S43、对M帧图像检索比对共得到K个用户，计算此K个用户中每个用户的相似度的得分,

S44、根据

对K个用户按降序排列，选取最相似的若干个用户。

在这种比对方式下，若是用户信息数据库包括多个子数据库，可以有多种获取最终识别结果的方式。比如在对多个子数据库进行并行检索后，对每个子数据库都进行步骤S42～S44然后将所有最相似的用户的相似度进行排序后选取返回结果。再比如，对每个子数据库都返回该子数据库中得分排序在前的若干个人脸特征，然后对返回的人脸特征再使用相似度值进行排序，选择当前排序下的在前的若干个人脸特征所对应的人脸图像作为返回结果。

可选的，在比对分析之后，所述人脸匹配服务器33还实现下述操作：

S45、使用深度学习方法进行人脸属性计算；

S46、判断检测的人脸进行是否已存在于用户信息数据库中；若已存在于用户信息数据库中，则将人脸属性结果进行更新；否则将识别结果及人脸属性计算结果一起存储。

所述人脸属性包括用户性别、年龄、是否戴眼镜、帽子、口罩等外观属性。增加存储人脸属性的系统可以在对外提供检索功能时，增加检索维度，可以按时间、欲检测人脸与入库人脸相似值、外观属性、地点进行过滤，缩小检索范围，加快检索速度，提供检索准确度。

可选的，在存储人脸属性的计算结果的基础上还可以为每个结果附上统计时间点、地点，即：所述人脸属性计算结果还包括获取图像时的时间点和地点。这为定位某个人脸什么时间是否在某个区域出现过提供数据支持。在一个实施例中，系统为VIP或可疑人等特殊人员单独建立用户信息数据库，在用户查询这类人员时，可以直接与该库存储的人脸图像的人脸特征进行比对，方便快速的定位某个人脸什么时间在某个区域是否出现过。

本公开中的基于深度学习和大规模集群的人脸追逃系统可以提供对多机多路和一机多路的灵活支持。如果人脸数据库较小，可将人脸识别服务器部署在同一个物理服务器上，从而实现一机多路。如果人脸数据库较大，为了提高处理效率，可将人脸识别服务器部署在不同的物理服务器上，从而实现多机多路。

所述流媒体服务器40用于转发人脸识别服务器处理后的实时视频流给客户端。

所述分布式文件服务器50用于存储人脸识别服务器处理后的事件图片等文件。人脸识别服务器把处理后的事件图片上传到所述分布式文件服务器50后，客户端收到事件后可根据事件图片文件的url从文件服务器下载。除了事件图片，事件的片段视频文件也可以存储在该文件服务器上。

所述消息中心服务器60用于转发人脸识别服务器处理后的事件消息，人脸识别服务器分析出的事件发送到消息服务器后，消息服务器实时推送到客户端。也可用于给会员客户端推送广播消息等。

所述数据库70，连接消息中心服务器60，用于储存消息记录、通道配置信息、用户信息、用户操作记录、系统运行日志。

所述Web前端服务器，处理与前端输出90中的网页Web前端之间的业务。

所述前端输出90，及客户端，负责接收监控、查询和管理等，支持包括PC客户端、web浏览器、移动app客户端等。

此外，本公开还涉及一种基于深度学习和大规模集群的智能人脸追逃方法，该方法的步骤包括：

步骤S1，视频输入单元10，从多路网络摄像头采集视频流，并对所述视频流进行解码，分析处理，并将处理后的视频帧传送给分发服务器20。

在一个优选的实施例中，步骤S1进一步包括以下步骤：

步骤S11，视频输入单元10中的图像采集单元11从多路网络摄像头采集已编码视频流信号，并将该信号输入至视频输入单元10中的视频解码单元12。

步骤S12，视频解码单元12，对接收到的视频流信号进行解码，并将解码后的信息输入至视频输入单元10中的图像预处理单元13。视频解码单元12对视频流信息进行解码得到视频帧，将视频帧输入至图像预处理单元。

步骤S13，图像预处理单元13，对解码后的视频帧进行预处理，如画定热区，图像去噪，图像去模糊等操作，最后将预处理后的视频帧作为结果传送至分发服务器20。

步骤S2，分发服务器20，将从视频输入单元10获取的视频帧分发给特定的人脸识别服务器进行分析。

其中，分发服务器20管理着所有的人脸识别服务器，每当有新的视频帧需要接入到人脸识别服务器进行分析时，都会先向分发服务器20请求一个可用的人脸识别服务器。该请求过程可由管理员在Web前端添加频道时实现，并把该频道的配置参数都发到请求到的对应的人脸识别服务器上。

步骤S3，人脸识别服务器对接入的视频帧调用基于深度学习的人脸识别算法进行分析处理。

步骤S4，人脸识别服务器将处理的结果发送到相关的服务器上，如流媒体服务器40，分布式文件服务器50，消息中心服务器60。

所述人脸识别服务器是以集群方式出现，在人脸识别服务器集群30，包含多个人脸识别服务器。每个人脸识别服务器都支持多路视频接入。处理的结果可以为事件，图片或视频等。发送的方式可以为通过网络模块。

所述流媒体服务器40用于转发人脸识别服务器处理后的实时视频流给客户端。

所述分布式文件服务器50用于存储人脸识别服务器处理后的事件图片等文件。人脸识别服务器把处理后的事件图片上传到所述分布式文件服务器50后，客户端收到事件后可根据事件图片文件的url从文件服务器下载。除了事件图片，事件的片段视频文件也可以存储在该文件服务器上。

所述消息中心服务器60用于转发人脸识别服务器处理后的事件消息，人脸识别服务器分析出的事件发送到消息服务器后，消息服务器实时推送到客户端。也可用于给会员客户端推送广播消息等。

所述数据库70，连接消息中心服务器60，用于储存消息记录、通道配置信息、用户信息、用户操作记录、系统运行日志。

所述Web前端服务器，处理与前端输出90中的网页Web前端之间的业务。

所述前端输出90，及客户端，负责接收监控、查询和管理等，支持包括PC客户端、web浏览器、移动app客户端等。

在一个具体的实施例中，步骤S3包括以下步骤：

步骤S31，人脸识别服务器对分发服务器20输入的视频帧，检测图像中的人脸；

步骤S32，人脸识别服务器对图像进行质量判断，挑选满足要求的若干帧作为关键帧；

步骤S33，提取每一帧的人脸特征。

所述人脸特征使用多维特征向量表示；在对图像进行检测时，提取图像中的人脸位置、人脸关键点信息，所述人脸关键点信息可包括眼角、眉毛的末端、嘴角、鼻尖等位置信息。当所述若干帧为单帧时，该图像本身为关键帧；所述若干帧为多帧时，从该序列中挑选质量好的N帧作为关键帧。其中，质量的判断可以通过对后述指标进行打分后，选取得分高的前N帧作为关键帧。所述指标包括人脸图片清晰度、大小、真实人脸、遮挡、光照等等。所述人脸特征通过多维特征向量表示，在一个实施例中，使用约180维特征向量来表示人脸特征。

优选的，如果在步骤S31中检测到人脸，则增加步骤S34：

步骤S34，在后续帧中进行跟踪。

在一个优选的实施例中，所述步骤S32的质量判断的方法，包括下述步骤：

S321、对每个检测到的人脸图像，首先判断两眼间距是否满足设定要求，若满足要求则执行步骤S322；否则，舍弃该检测到的人脸图像；

S322、计算检测到的人脸图像的人脸置信度得分是否满足设定要求，若满足要求则执行步骤S323；否则，舍弃该检测到的人脸图像；

S323、计算正脸得分是否满足设定要求，如满足则判断该帧能够用于识别人脸；否则，舍弃该检测到的人脸图像。

在这个实施例中，对单个跟踪抓拍的人脸，根据两眼间距>25，人脸置信度得分>0.95,正脸得分的标准，判断该帧是否用于识别。

在一个优选的实施例中，所述步骤S32中的挑选关键帧的方法具体为，对每个跟踪为同一人脸的图像，内部维护一个关键帧容器，容量为10。开始时，若不满10帧，则每帧均存储入容器内；满10帧后，适合用于识别的帧，且与最后存入的帧号间隔大于10，则替换掉已知质量最差的帧；记录单个跟踪为同一人脸的图像已被处理的帧数，若帧数大于20，则结束跟踪。

在一个优选的实施例中，所述步骤S34中，在后续帧中进行跟踪的方法，包括以下步骤：

S341、每隔若干帧进行一次人脸检测，当检测到人脸时，对满足质量要求的人脸使用标记框对包括人脸的部分进行标记；

S342、判断标记的人脸面积与已检测到的人脸面积是否有重合，当重合度满足预设阈值时，则认为与已检测到的人脸为同一人脸，则进入步骤S343；否则认为当前标记的人脸为新的人脸，跟踪结束；

S343、对标记的人脸在标记框内进行人脸对齐，检测人脸关键点位置，计算人脸关键点外包围矩形，替换之前检测到的认为为同一人脸的标记框内的图像。

在这个实施例中，使用标记框对包括人脸的部分进行标记，所标记的部分可以是头部，更优的，还可以包括肩部，在包括肩部的标记方式中，可以提高识别率。不论采用哪种方式，重合度的计算均可以通过置信度来度量，当计算的置信度达到一定的范围时，可以认为两个对象为同一对象。而所应达到的范围可以通过试验的方式来确定。

在一个优选的实施例中，步骤S33中，提取人脸特征的方法，是基于DeepId深度学习算法。该算法可以获取人脸特征，并有助于精准的识别人脸。在一个优选的实施例中，使用这种提取人脸特征提取方式，提取约180维的特征向量。

基于人脸特征使用多维特征向量表示，在一个实施例中，给出了一种在查找相似特征向量时，减少比较次数加速比对过程方法，该算法通过下述步骤获得：

S331、建立KD树：在查找时，建立KD树搜索K个近邻，K≥M；

S332、遍历KD树：在遍历KD树时，每层选取人脸特征中的一维进行比较，以确定下一层检索的分支，最后确定与关键帧相似的多个人脸特征。

这种通过建立KD特征检索树的方式，在搜索相似特征时，通过遍历检索树来实现，为了减少比对次数，在每层选取一维的特征进行比较，以确定下一层要检索的分支。

在一个实施例中，在所述步骤S342中，当判断新标记的人脸与已检测到的人脸为同一人脸时，将该新标记的人脸图像和已检测到的人脸使用相同的第二标识符标识。

使用基于上述深度学习的方法，能够实时抓取人脸、提取人脸特征并对人脸进行跟踪。对跟踪的单个人，根据图片、清晰度、大小等自动挑选单个轨迹中的多帧，用于后续与人脸库中人脸进行比对，找出与其匹配的人脸。

在一个优选的实施例中，基于深度学习和大规模集群的智能人脸追逃方法，还包括：

步骤S5，人脸分发服务器32从人脸识别服务器中获取识别出的人脸特征数据，并将接收到的人脸特征数据分发至人脸匹配服务器33进行人脸匹配，最后对多个人脸匹配服务器返回的结果进行合并。人脸匹配服务器33，从人脸分发服务器32接收人脸特征数据，使用深度学习方法与入库人脸进行比对，计算相似度，输出最相似前N个入库人脸。

优选的，人脸匹配服务器33内部可以使用多线程匹配人脸，排序，并将排序后的结果返回给人脸分发服务器32做汇总。

在一个具体的实施例中，人脸匹配服务器将N组人脸特征作为一个整体与入库人脸进行比对，在用户信息数据库中检索相似人脸，选择得分最高的几个人脸作为返回结果。优选的，使用多库与并行检索，即：用户信息数据库包括多个子数据库，比对分析基于多个子数据库进行并行检索比对分析，并合并分析结果。这种方式不仅支持将大量人脸图像导入用户信息数据库，同时又不加大检索时间。每个子数据库导入一定量的人脸图像，单人的多个人脸图像导入相同的数据库。在检索时，在一个实施例中采用多线程并行检索每个数据库的方式，然后根据比较分析的结果合并多个子数据库的结果。

在一个优选的实施例中，步骤5中人脸匹配服务器33使用的人脸比对，计算相似度的深度学习方法包括下述步骤：

S51、对具有相同第二标识符标识的M帧图像，根据是否正脸、清晰度计算一个质量分值q_i，i∈[1,M]；

S52、对M帧图像中的每帧图像，分别从人脸库中检索比对找出最相似的N个用户，对应相似度为S_i,userj，i∈[1,M]，j∈[1,N]；

S53、对M帧图像检索比对共得到K个用户，计算此K个用户中每个用户的相似度的得分,

S54、根据

对K个用户按降序排列，选取最相似的若干个用户。

在这种比对方式下，若是用户信息数据库包括多个子数据库，可以有多种获取最终识别结果的方式。比如在对多个子数据库进行并行检索后，对每个子数据库都进行步骤S52～S54然后将所有最相似的用户的相似度进行排序后选取返回结果。再比如，对每个子数据库都返回该子数据库中得分排序在前的若干个人脸特征，然后对返回的人脸特征再使用相似度值进行排序，选择当前排序下的在前的若干个人脸特征所对应的人脸图像作为返回结果。

可选的，在比对分析之后，所述人脸匹配服务器33还实现下述操作：

S55、使用深度学习方法进行人脸属性计算；

S56、判断检测的人脸进行是否已存在于用户信息数据库中；若已存在于用户信息数据库中，则将人脸属性结果进行更新；否则将识别结果及人脸属性计算结果一起存储。

所述人脸属性包括用户性别、年龄、是否戴眼镜、帽子、口罩等外观属性。增加存储人脸属性的系统可以在对外提供检索功能时，增加检索维度，可以按时间、欲检测人脸与入库人脸相似值、外观属性、地点进行过滤，缩小检索范围，加快检索速度，提供检索准确度。

可选的，在存储人脸属性的计算结果的基础上还可以为每个结果附上统计时间点、地点，即：所述人脸属性计算结果还包括获取图像时的时间点和地点。这为定位某个人脸什么时间是否在某个区域出现过提供数据支持。在一个实施例中，系统为VIP或可疑人等特殊人员单独建立用户信息数据库，在用户查询这类人员时，可以直接与该库存储的人脸图像的人脸特征进行比对，方便快速的定位某个人脸什么时间在某个区域是否出现过。

本公开中的基于深度学习和大规模集群的人脸追逃系统可以提供对多机多路和一机多路的灵活支持。如果人脸数据库较小，可将人脸识别服务器部署在同一个物理服务器上，从而实现一机多路。如果人脸数据库较大，为了提高处理效率，可将人脸识别服务器部署在不同的物理服务器上，从而实现多机多路。

以上对本公开进行了详细介绍，本文中应用了具体个例对本公开的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本公开的方法及其核心思想；同时，对于本领域技术人员，依据本公开的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本公开的限制。

Claims (25)

1.一种基于深度学习和大规模集群的智能人脸追逃系统，包括：视频输入单元，分发服务器，人脸识别服务器集群，输出服务器，

所述视频输入单元，对多路网络摄像头采集的视频流进行解码，分析处理，并将处理后的视频帧传送给分发服务器，

所述分发服务器，将从所述视频输入单元获取的视频帧分发给所述人脸识别服务器集群中的人脸识别服务器进行分析，

所述人脸识别服务器集群，包含多个人脸识别服务器，每个人脸识别服务器对接收的视频帧调用基于深度学习的人脸识别算法进行分析处理，并将处理的结果发送到输出服务器上，人脸识别服务器进一步包括人脸检测服务器，人脸分发服务器和人脸匹配服务器，

所述人脸检测服务器基于深度学习的人脸识别算法检测人脸，并获得人脸特征数据，发送给人脸分发服务器；

所述人脸分发服务器从人脸检测服务器中获取识别出的人脸特征数据，并将接收到的人脸特征数据分发至人脸匹配服务器进行人脸匹配，最后对多个人脸匹配服务器返回的结果进行合并；

所述人脸匹配服务器，从人脸分发服务器接收人脸特征数据，使用深度学习方法与入库人脸进行比对，计算相似度，输出最相似前N个人脸至人脸分发服务器。

2.根据权利要求1所述的系统，所述视频输入单元进一步包括：图像采集单元，视频解码单元和图像预处理单元，

其中，所述图像采集单元，从多路网络摄像头采集已编码视频流信号，并将该信号输入至所述视频解码单元，

所述视频解码单元，对接收到的视频流信号进行解码，并将解码后的视频帧信息输入至所述图像预处理单元，

所述图像预处理单元，对解码后的视频帧进行预处理，最后将预处理后的视频帧作为结果传送至所述分发服务器。

3.根据权利要求1所述的系统，所述人脸识别服务器对分发服务器输入的视频帧，检测人脸，并进行质量判断，挑选满足要求的若干帧作为关键帧，并提取每一帧的人脸特征。

4.根据权利要求3所述的系统，所述人脸识别服务器进行质量判断，对每个检测到的人脸图像，首先判断两眼间距是否满足设定要求，若满足要求则计算检测到的人脸图像的人脸置信度得分是否满足设定要求，如继续满足，则计算正脸得分是否满足设定要求，如满足则判断该帧能够用于识别人脸；否则，任何一个不满足，舍弃该检测到的人脸图像。

5.根据权利要求3所述的系统，所述人脸识别服务器对已检测到人脸在后续帧中进行跟踪，所述人脸识别服务器每隔若干帧进行一次人脸检测，当检测到人脸时，对满足质量要求的人脸使用标记框对包括人脸的部分进行标记；判断标记的人脸面积与已检测到的人脸面积是否有重合，当重合度满足预设阈值时，则认为与已检测到的人脸为同一人脸，则对标记的人脸在标记框内进行人脸对齐，检测人脸关键点位置，计算人脸关键点外包围矩形，替换之前检测到的认为为同一人脸的标记框内的图像，否则认为当前标记的人脸为新的人脸，跟踪结束。

6.根据权利要求5所述的系统，人脸识别服务器，当判断新标记的人脸与已检测到的人脸为同一人脸时，将该新标记的人脸图像和已检测到的人脸使用相同的第二标识符标识。

7.根据权利要求1所述的系统，所述人脸识别服务器采用的基于深度学习的人脸识别算法为DeepId深度学习算法，先建立KD树，在查找时，建立KD树搜索K个近邻；遍历KD树，在遍历KD树时，每层选取人脸特征中的一维进行比较，以确定下一层检索的分支，最后确定与关键帧相似的多个人脸特征。

8.根据权利要求1所述的系统，人脸匹配服务器使用的人脸匹配，对具有相同标识符标识的M帧图像，根据是否正脸、清晰度计算一个质量分值q_i，i∈[1，M]；对M帧图像中的每帧图像，分别从人脸库中检索比对找出最相似的N个用户，对应相似度为S_i，userj，i∈[1，M]，j∈[1，N]；对M帧图像检索比对共得到K个用户，计算此K个用户中每个用户的相似度的得分，

k∈[1，K]，K＝M×N；

根据

对K个用户按降序排列，选取最相似的若干个用户。

9.根据权利要求8所述的系统，人脸匹配服务器进一步，使用深度学习方法进行人脸属性计算；并判断检测的人脸进行是否已存在于用户信息数据库中；若已存在于用户信息数据库中，则将人脸属性结果进行更新；否则将识别结果及人脸属性计算结果一起存储。

10.根据权利要求1所述的系统，所述输出服务器包括：流媒体服务器，分布式文件服务器，消息中心服务器。

11.根据权利要求10所述的系统，所述流媒体服务器用于转发人脸识别服务器处理后的实时视频流给客户端，

所述分布式文件服务器用于存储人脸识别服务器处理后的文件，

所述消息中心服务器用于转发人脸识别服务器处理后的事件消息，人脸识别服务器分析出的事件发送到消息服务器后，消息服务器实时推送到客户端。

12.根据权利要求11所述的系统，所述系统进一步包括：数据库，Web前端服务器和前端输出。

13.根据权利要求12所述的系统，所述数据库，连接消息中心服务器，用于储存消息记录、通道配置信息、用户信息、用户操作记录、系统运行日志，

所述Web前端服务器，处理与前端输出中的网页Web前端之间的业务；

所述前端输出，负责接收监控、查询和管理等，支持包括PC客户端、web浏览器、移动app客户端。

14.一种基于深度学习和大规模集群的智能人脸追逃方法，该方法的步骤包括：

步骤S1，视频输入单元从多路网络摄像头采集视频流，并对所述视频流进行解码，分析处理，并将处理后的视频帧传送给分发服务器；

步骤S2，所述分发服务器将从视频输入单元获取的视频帧分发给特定的人脸识别服务器进行分析；

步骤S3，人脸识别服务器对接入的视频帧调用基于深度学习的人脸识别算法进行分析处理；

步骤S4，人脸识别服务器将处理的结果发送到相关的输出服务器上；

人脸识别服务器进一步包括人脸检测服务器，人脸分发服务器和人脸匹配服务器，该方法进一步包括：

步骤S5，人脸分发服务器从人脸检测服务器中获取识别出的人脸特征数据，并由人脸分发服务器将接收到的人脸特征数据分发至人脸匹配服务器进行人脸匹配，最后对多个人脸匹配服务器返回的结果进行合并，而人脸匹配服务器利用深度学习方法与入库人脸进行比对，计算相似度，输出最相似前N个人脸。

15.根据权利要求14所述的方法，步骤S1进一步包括以下步骤：

步骤S11，图像采集单元从多路网络摄像头采集已编码视频流信号，并将该信号输入至视频解码单元，

步骤S12，视频解码单元对接收到的视频流信号进行解码，并将解码后的视频帧信息输入至图像预处理单元，

步骤S13，图像预处理单元对解码后的视频帧进行预处理最后将预处理后的视频帧作为结果传送至分发服务器。

16.根据权利要求14所述的方法，步骤S3进一步包括以下步骤：

步骤S31，人脸识别服务器对分发服务器20输入的视频帧，检测人脸；

步骤S32，人脸识别服务器对图像进行质量判断，挑选满足要求的若干帧作为关键帧；

步骤S33，提取每一帧的人脸特征。

17.根据权利要求16所述的方法，如果在步骤S31中检测到人脸，则进一步包括步骤S34：

步骤S34，在后续帧中进行跟踪。

18.根据权利要求16所述的方法，所述步骤S32的质量判断的方法，包括下述步骤：

S321、对每个检测到的人脸图像，首先判断两眼间距是否满足设定要求，若满足要求则执行步骤S322；否则，舍弃该检测到的人脸图像；

S322、计算检测到的人脸图像的人脸置信度得分是否满足设定要求，若满足要求则执行步骤S323；否则，舍弃该检测到的人脸图像；

S323、计算正脸得分是否满足设定要求，如满足则判断该帧能够用于识别人脸；否则，舍弃该检测到的人脸图像。

19.根据权利要求16所述的方法，所述步骤S32中的挑选关键帧的方法为，对每个跟踪为同一人脸的图像，内部维护一个关键帧容器，容量为10，开始时，若不满10帧，则每帧均存储入容器内；满10帧后，适合用于识别的帧，且与最后存入的帧号间隔大于10，则替换掉已知质量最差的帧；记录单个跟踪为同一人脸的图像已被处理的帧数，若帧数大于20，则结束跟踪。

20.根据权利要求17所述的方法，所述步骤S34中，在后续帧中进行跟踪的方法，包括以下步骤：

S341、每隔若干帧进行一次人脸检测，当检测到人脸时，对满足质量要求的人脸使用标记框对包括人脸的部分进行标记；

S342、判断标记的人脸面积与已检测到的人脸面积是否有重合，当重合度满足预设阈值时，则认为与已检测到的人脸为同一人脸，则进入步骤S343；否则认为当前标记的人脸为新的人脸，跟踪结束；

S343、对标记的人脸在标记框内进行人脸对齐，检测人脸关键点位置，计算人脸关键点外包围矩形，替换之前检测到的认为为同一人脸的标记框内的图像。

21.根据权利要求16所述的方法，所述步骤S33中，提取人脸特征的方法，是基于DeepId深度学习算法。

22.根据权利要求21所述的方法，DeepId深度学习算法具体包括：

S331、建立KD树，在查找时，建立KD树搜索K个近邻；

S332、遍历KD树，在遍历KD树时，每层选取人脸特征中的一维进行比较，以确定下一层检索的分支，最后确定与关键帧相似的多个人脸特征。

23.根据权利要求20所述的方法，在所述步骤S342中，当判断新标记的人脸与已检测到的人脸为同一人脸时，将该新标记的人脸图像和已检测到的人脸使用相同的第二标识符标识。

24.根据权利要求14所述的方法，所述步骤S5中人脸匹配服务器利用深度学习方法计算相似度包括下述步骤：

S51、对具有相同标识符标识的M帧图像，根据是否正脸、清晰度计算一个质量分值q_i，i∈[1，M]；

S52、对M帧图像中的每帧图像，分别从人脸库中检索比对找出最相似的N个用户，对应相似度为S_i，userj，i∈[1，M]，j∈[1，N]；

S53、对M帧图像检索比对共得到K个用户，计算此K个用户中每个用户的相似度的得分，

k∈[1，K]，K＝M×N；

S54、根据

对K个用户按降序排列，选取最相似的若干个用户。

25.根据权利要求24所述的方法，所述人脸匹配服务器还进一步进行如下步骤：

S55、使用深度学习方法进行人脸属性计算；

S56、判断检测的人脸进行是否已存在于用户信息数据库中；若已存在于用户信息数据库中，则将人脸属性结果进行更新。

Images