CN107977610A - 一种基于海量视频处理的人脸追踪方法 - Google Patents

Abstract

本发明公开一种基于海量视频处理的人脸追踪方法，包括：S1、建立人脸特征值索引表；S2、获取待追踪目标人脸照片，提取人脸特征值；S3、根据提取的人脸特征值，通过步骤S1建立的人脸特征值索引表，得到相似人脸，并得到各个相似人脸出现的时间、地点信息。本申请通过海量视频处理，加快追踪速度，并且本申请改进人脸位置调整时的算法，减小计算量进一步提高计算效率。

Description

一种基于海量视频处理的人脸追踪方法

技术领域

本发明属于分布式处理和视频检索领域，特别涉及一种海量视频快速自动的目标全路径追踪技术。

背景技术

视频检索最主要的是利用视频检测算法对视频进行结构化描述，目前已经在相应的产品中得到应用的算法主要有以下几种：行为分析算法、车牌识别算法、车辆颜色识别算法、车标识别算法、车型识别算法、人脸检测识别算法、人体特征识别算法等。其中人体特征识别又包括人的年龄、性别、身高、衣服颜色、是否戴眼镜等特征信息的识别。

在视频人脸检索方面技术主要是通过智能分析预处理以及人脸检测算法，将监控视频中的人脸进行整理汇总，获取视频内感兴趣目标的相关信息，并根据这些人脸信息生成索引。所以说海量视频检索的本质依然是海量图像检索。

人脸检索的关键技术包括人脸检测，人脸识别，和基于内容的图像检索技术，最重要的一个环节就是图像检索，图像检索涉及到对海量的高维向量之间的相似性进行快速地匹配。目前主要的检索方法有基于分布式LSH的高维向量快速检索方法和基于SimHash的海量高维向量的快速检索方法。其中语义哈希(semanticHashing)是一种基于分布式LSH的高维向量快速检索算法，它的基本原理是将高维空间向量映射至低维汉明空间,并保持原空间向量相似性。

综上所述，目前海量视频检索和追踪的主要方法是将人脸汇总，然后利用快速检索方法进行检索追踪。然而当人脸汇总量非常庞大时，如遍布全国各地的天网所收集的人脸，其数量是目前所有海量视频检索和追踪系统几乎无法克服的，因此无法实现快速自动的目标全路径追踪。

发明内容

为解决上述技术问题，本申请提供一种基于海量视频处理的人脸追踪方法，通过海量视频处理技术，实现对犯罪路径的追踪。

本申请采用的技术方案为：一种基于海量视频处理的人脸追踪方法，包括：

S1、建立人脸特征值索引表；

S2、获取待追踪目标人脸照片，提取人脸特征值；

S3、根据提取的人脸特征值，通过步骤S1建立的人脸特征值索引表，得到相似人脸，并得到各个相似人脸出现的时间、地点信息。

进一步地，步骤S1具体为：

S11、视频处理中心对数据采集层的海量监控视频数据按设定间距跳跃取帧；

S12、对每帧照片进行人脸检测，提取出照片中的所有人脸，并生成独立的人脸照片；

S13、视频处理中心对步骤S12得到的人脸照片进行归一化处理；具体为：标准化目标照片，并降低照片维度；

S14、对步骤S13人脸照片进行歪脸转正脸处理；若经处理后的人脸照片为侧脸照片则执行步骤S15；否则执行步骤S16；

S15、对步骤S14处理后的人脸照片进行侧脸转正脸处理；

S16、根据左眼位置，对照片中人脸的所有像素点进行调整；

S17、利用神经网络模型提取人脸特征；

S18、根据经步骤S17提取的所有人脸特征值，采用局部敏感哈希算法，生成人脸特征值索引表。

更进一步地，步骤S16所述对步骤S14处理后的照片进行侧脸转正脸的处理，具体为：

构造决策树；

采用正脸对应各个角度的侧脸数据集对构造的决策树进行训练；

将步骤S14处理得到的侧脸照片输入经训练得到的决策树模型，输出预测的正脸照片。

进一步地，步骤S2包括：

S21、视频处理中心对目标照片进行归一化等处理；具体为：标准化目标照片，并降低照片维度；

S22、对追踪对象人脸照片进行歪脸转正脸处理；若经处理后的照片为侧脸照片则执行步骤S23；否则执行步骤S24；

S23、对步骤S22处理后的人脸照片进行侧脸转正脸的处理；

S24、利用神经网络模型提取人脸特征。

更进一步地，步骤S24所述对步骤S22处理后的照片进行侧脸转正脸的处理，具体为：

构造决策树；

采用正脸对应各个角度的侧脸数据集对构造的决策树进行训练；

将步骤S22处理得到的侧脸照片输入经训练得到的决策树模型，输出预测的正脸照片。

本发明的有益效果：一种基于海量视频处理的人脸追踪方法，基于海量视频处理技术，实现目标追踪路径；具备以下优点：

1)本申请综合使用各种图像处理技术和人工智能技术，如多元决策树、局部Hash算法、深度学习和神经网络等技术，使得检索的准确度和效率得到极大提高；

2)本申请可广泛应用于公安部门的罪犯追踪(基于天网)、丢失老人的寻找和拐卖儿童或丢失儿童的寻找等。

附图说明

图1为本发明提供的方案图。

图2为本发明逻辑层视频处理中心流程图。

图3为本发明照片中检索到的人脸区域标记图。

图4为本发明中决策树模型图。

具体实施方式

为便于本领域技术人员理解本发明的技术内容，下面结合附图对本发明内容进一步阐释。

如图1所示为本申请的方案示意图，本申请采用的一种基于海量视频的分布式自动追踪系统，包括：控制层、业务逻辑层、数据采集层；业务逻辑层包含若干视频处理中心，各视频处理中心根据控制层下发的追踪指令和追踪目标信息并行处理对应数据采集层中采集到的视频数据，并返回处理结果(目标出现的时间和地点等)给控制层；

所述控制层包括若干级控制中心，如图中的最高层控制中心即一级控制中心、然后依次是二级控制中心、…、最底层控制中心即N级控制中心；N级控制中心中的每一个都对应有业务逻辑层中的若干海量视频处理中心。其中某级控制中心接收上级控制中心的追踪指令和追踪目标信息，并转发给下级控制中心；并且将下级控制中心传送的检索信息(如照片、时间、地点等信息)转发给上级控制中心；最底层控制中心将上级控制中心的心下发的追踪指令和追踪目标信息转发给对应的所有海量视频处理中心进行检索分析；并将对应的所有海量视频处理中心的检索结果上传给上层控制中心；最后由最高级控制中心按照时间先后顺序自动生成目标追踪路径。

数据采集层由若干摄像设备组成，每一个摄像设备都唯一对应有地点信息。

所述各视频中心并行处理对应数据采集层中采集到的视频数据，具体为：各视频中心通过建立人脸特征索引表，将待检索的追踪目标人脸的特征值与人脸特征索引表中对应的特征值求欧氏距离，根据该欧氏距离输出最相似的人脸信息。

逻辑层视频处理中心的处理流程如图2所示，一种基于海量视频处理的人脸追踪方法，包括：

S1、建立人脸特征值索引表；步骤S1具体为：

S11、视频处理中心对数据采集层的海量监控视频数据按设定间距跳跃取帧；因为目前高清视频录像设备能达到每秒拍摄120帧，所以通过合理设定间距跳跃取帧，对识别的精度影响较小，但视频处理及检索时间就会大幅减少；间距的设定根据每秒拍摄的帧数来定。这里参考电影电视制作取帧一般是每秒取20-30帧；如每秒120帧，那么取帧间距可为6。

S12、对每帧照片进行人脸检测，提取出照片中的所有人脸，并生成独立的人脸照片；照片中检索到的人脸区域如图3的标记所示；

S13、视频处理中心对步骤S12得到的人脸照片进行归一化处理；具体为：标准化目标照片，并降低照片维度；

S14、对步骤S13人脸照片进行歪脸转正脸处理；若经处理后的人脸照片为侧脸照片则执行步骤S15；否则执行步骤S16；

S15、对步骤S14处理后的照片进行侧脸转正脸的处理；具体为：

构造决策树；

采用正脸对应各个角度的侧脸数据集对构造的决策树进行训练；

将步骤S14处理得到的侧脸照片输入经训练得到的决策树模型，输出预测的正脸照片。

构造决策树；如图4所示，决策树是一种通过对历史数据进行测算实现对新数据进行分类和预测的算法。简单来说决策树算法就是通过对已有明确结果的历史数据进行分析，寻找数据中的特征。并以此为依据对新产生的数据结果进行预测。决策树由3个主要部分组成，分别为决策节点，分支，和叶子节点。其中决策树最顶部的决策节点是根决策节点。每一个分支都有一个新的决策节点。决策节点下面是叶子节点。每个决策节点表示一个待分类的数据类别或属性，每个叶子节点表示一种结果。整个决策的过程从根决策节点开始，从上到下，根据数据的分类在每个决策节点给出不同的结果。在本发明中，构造的是人脸预测的决策树模型。决策树当中的各个节点对应的是每个人脸的特征，每个节点中包含了眼睛、嘴巴、鼻子以及轮廓在内的特征值，从而构成了一个特征向量。

采用正脸对应各个角度的侧脸数据集对构造的决策树进行训练，直至相邻两次迭代得到的决策树模型变化绝对值小于Δε(Δε≈0，即训练结束的条件是模型收敛到不发生变化)；

对经训练得到的决策树模型，输入检索到的侧脸照片，得到预测的正脸照片。

S16、根据左眼位置，将照片中的人脸的所有像素点进行平移，来对人脸在照片中的位置进行统一调整，从而提高人脸检索的准确率。

S17、利用神经网络模型提取人脸特征；

S18、根据经步骤S17调整后的所有人脸特征值，采用局部敏感哈希算法，生成人脸特征值索引表。

S2、获取待追踪目标人脸照片，获取人脸特征值；步骤S2包括：

S21、视频处理中心对目标照片进行归一化等处理；具体为：标准化目标照片，并降低照片维度；

S22、对追踪对象人脸照片进行歪脸转正脸处理；若经处理后的照片为侧脸照片则执行步骤S23；否则执行步骤S24；

S23、对步骤S22处理后的照片进行侧脸转正脸的处理；具体为：

构造决策树；

采用正脸对应各个角度的侧脸数据集对构造的决策树进行训练；直至相邻两次迭代得到的决策树模型变化绝对值小于Δε(Δε≈0，即训练结束的条件是模型收敛到不发生变化)；

将步骤S22处理得到的侧脸照片输入经训练得到的决策树模型，输出预测的正脸照片。

S24、利用神经网络模型提取人脸特征。

S3、根据提取的人脸特征值，通过步骤S1建立的人脸特征值索引表，检索得到相似人脸，并得到各个相似人脸出现的时间、地点等信息。计算步骤S2得到的追踪目标人脸特征值与步骤S1得到的海量视频人脸特征值索引特征值的欧氏距离；根据欧氏距离找出与目标人脸最相似的人脸，从而提取相似人脸出现的时间、地点等信息。

最底层控制中心将所属的所有视频处理中心的检索结果(如目标对象出现的时间和地点等信息)传给上级控制中心。

以此类推，上级控制中心收到所有所属下级控制中心返回的检索结果，并传给上一层控制中心。

最后一级控制中心，按照时间进行排序，最后生成追踪目标的整个路径。

最高层控制中心根据检索结果最制成目标对象的追踪地理路线图；具体的，最高层控制中心即一级控制中心根据生成的追踪路径和电子地图，获得地图上的路线图；并通过屏幕显示追踪路线。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (5)

1.一种基于海量视频处理的人脸追踪方法，其特征在于，包括：

S1、建立人脸特征值索引表；

S2、获取待追踪目标人脸照片，提取人脸特征值；

S3、根据提取的人脸特征值，通过步骤S1建立的人脸特征值索引表，得到相似人脸，并得到各个相似人脸出现的时间、地点信息。

2.根据权利要求1所述的一种基于海量视频处理的人脸追踪方法，其特征在于，步骤S1具体为：

S11、视频处理中心对数据采集层的海量监控视频数据按设定间距跳跃取帧；

S12、对每帧照片进行人脸检测，提取出照片中的所有人脸，并生成独立的人脸照片；

S13、视频处理中心对步骤S12得到的人脸照片进行归一化处理；具体为：标准化目标照片，并降低照片维度；

S14、对步骤S13人脸照片进行歪脸转正脸处理；若经处理后的人脸照片为侧脸照片则执行步骤S15；否则执行步骤S16；

S15、对步骤S14处理后的人脸照片进行侧脸转正脸处理；

S16、根据左眼位置，对照片中人脸的所有像素点进行调整；

S17、利用神经网络模型提取人脸特征；

S18、根据经步骤S17提取的所有人脸特征值，采用局部敏感哈希算法，生成人脸特征值索引表。

3.根据权利要求1所述的一种基于海量视频处理的人脸追踪方法，其特征在于，步骤S15所述对步骤S14处理后的照片进行侧脸转正脸的处理，具体为：

构造决策树；

采用正脸对应各个角度的侧脸数据集对构造的决策树进行训练；

将步骤S14处理得到的侧脸照片输入经训练得到的决策树模型，输出预测的正脸照片。

4.基于步骤S1所述的一种基于海量视频处理的人脸追踪方法，其特征在于，步骤S2包括：

S21、视频处理中心对目标照片进行归一化等处理；具体为：标准化目标照片，并降低照片维度；

S22、对追踪对象人脸照片进行歪脸转正脸处理；若经处理后的照片为侧脸照片则执行步骤S23；否则执行步骤S24；

S23、对步骤S22处理后的照片进行侧脸转正脸的处理；

S24、利用神经网络模型提取人脸特征。

5.根据权利要求4所述的一种基于海量视频处理的人脸追踪方法，其特征在于，步骤S23所述对步骤S22处理后的照片进行侧脸转正脸的处理，具体为：

构造决策树；

采用正脸对应各个角度的侧脸数据集对构造的决策树进行训练；

将步骤S22处理得到的侧脸照片输入经训练得到的决策树模型，输出预测的正脸照片。