CN111160149B - 基于运动场景及深度学习的车载人脸识别系统及方法 - Google Patents

Abstract

本发明公开了基于运动场景及深度学习的车载人脸识别实时监控系统及方法，包括：设置于警用车车顶板的摄像装置、服务器和终端；所述摄像装置实时采集数据，对采集的视频进行处理后传输至服务器；所述服务器包括人脸识别模块和系统人脸数据库，人脸识别模块为训练好的模型，采用深度学习方法进行人脸特征提取，进而比对摄像装置视频中的人脸和系统人脸数据库中的人脸，若一致，则将信息发送至终端。通过与服务器所述的身份数据库进行人脸比对，发现可疑人员后通过网络对终端发出提醒和报警，第一时间锁定嫌犯，采取控制措施，避免不必要的伤亡，提升安全性。

Description

基于运动场景及深度学习的车载人脸识别系统及方法

技术领域

本发明属于机动车领域，尤其涉及基于运动场景及深度学习的车载人脸识别实时监控系统及方法。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

随着人工智能技术的不断进步，各行各业都在发生翻天覆地的变化，尤其是人脸识别在系统进行嫌疑人的监控侦查中起到重要作用。

发明人在研究中发现，现阶段的监控系统大多存在于道路监控，现用的道路监控系统虽然采用了监控摄像头对情况进行全天候的录像监控，但监控范围太广，只有在紧急事件发生后，才会对事发时间段内的道路监控录像进行提取和反复比对，是一种离线被动状态，等找到证据的时候往往为时已晚，时效性大大减低，整体运行成本过高。但是随着嫌疑人抓捕过程中，侦查实时性的要求，目前还未出现将人脸识别技术应用在警用车联网识别验证，联网授权，实时监控出警情况的综合应用系统。

目前的人脸识别技术，大多针对受控条件下的情况，人脸姿态变化小，光照影响不明显，多采用传统机器学习的方法，对于运动场景下的人脸识别依然是一个难以解决的问题，此时人脸非受控且由场景和运动造成的识别困难制约着这一领域的发展。

发明内容

为克服上述现有技术的不足，本发明提供了一种基于运动场景及深度学习的车载人脸识别实时监控系统，第一时间锁定嫌犯，采取控制措施，避免不必要的伤亡，提升监控的时效性。

为实现上述目的，本发明的一个或多个实施样例提供了如下技术方案：

基于运动场景及深度学习的车载人脸识别实时监控系统，包括:

设置于警用车车顶的摄像装置、服务器和终端系统；

所述摄像装置实时采集数据，对采集的视频进行处理后传输至服务器；

所述服务器包括人脸识别模块和系统人脸数据库，人脸识别模块为训练好的模型，采用深度学习方法进行人脸特征提取，进而比对摄像装置视频中的人脸和系统人脸数据库中的人脸，若一致，则将信息发送至终端。

进一步的技术方案，所述终端包括蓝牙端、中心服务器和报警系统，所述服务器通过网络与所述终端相连接，通过蓝牙与蓝牙端相连接，所述蓝牙端佩戴在出警人员耳朵上，所述蓝牙端和所述报警系统均与所述中心服务器相连接。

进一步的技术方案，所述摄像装置包括中央处理器和均与所述中央处理器电性连接的采集摄像模块、抓拍摄像模块及通讯模块；

采集摄像模块包括采集摄像电荷藕合器件图像CCD传感器和与所述采集摄像电荷藕合器件图像CCD传感器电性连接的采集摄像视频编码单元。

本发明还公开基于运动场景及深度学习的车载人脸识别实时监控方法，包括：

收集系统的人脸库人脸图像并处理；

对提出的卷积神经网络模型进行深度学习训练；

建立训练好的卷积神经网络模型；

用训练好的卷积神经网络模型把采集的运动场景的人脸和人脸库中的人脸特征进行对比，得到的人脸身份信息；

将检测到的人脸身份传送到终端。

进一步的技术方案，系统的人脸库人脸图像进行处理，包括：

进行人脸对齐并截取人脸图片，调整图像的大小并灰度化，获得预处理完成的图像库，如果人脸库中的信息不足可扩充人脸库中每个人的人脸图片数量，以适应运动场景下人脸姿态及光照模糊等的影响；

并对相同身份的图片设定同一标签，以区分不同人脸身份；

将所有标签图像分成训练集和测试集。

进一步的技术方案，训练集图像数据输入卷积神经网络前，需对输入数据进行归一化处理，即将分布于[0,255]的原始数据归一化至[0,1]区间。

进一步的技术方案，对卷积神经网络模型进行训练，具体包括：

网络进行权值的初始化；

输入数据经过卷积层、池化层、全局池化层的向前传播得到输出值；

求出网络的输出值与目标值之间的误差；

当误差大于期望值时，将误差传回网络中，依次求得全局池化层，池化层，卷积层的误差，各层的误差可以理解为对于网络的总误差，网络应承担多少；当误差等于或小于期望值时，结束训练；

根据求得误差进行权值更新。

进一步的技术方案，建立训练好的卷积神经网络模型：

对于卷积神经网络的卷积层，获得卷积过程数学表达公式；

卷积后的输出通过激活函数；

把全连接层改为全局平均池化层，实现了参数量的大幅度减小；

得到特征图，要分类的图像种类有多少，最后一层的类别就设为多少，然后得到一个图像分类结果；

卷积后的输出通过激活函数，将输出的张量中小于0的位置对应的元素值都变成0，再经过池化，得到特征图，并且建立好卷积神经网络模型。

进一步的技术方案，用训练好的卷积神经网络模型把采集的人脸和人脸库中的人脸特征进行对比，得到的人脸身份信息；具体为：

车载摄像头中采集包含人脸的视频，并对视频中的人脸进行截取；

通过网络传输给后台服务器；

用训练好的卷积神经网络模型，在服务器上提取人脸信息，并与人脸库进行1：n的人脸特征比对；

输出与人脸库中最接近的人脸身份。

以上一个或多个技术方案存在以下有益效果：

由于本发明包括车载人脸抓拍、人脸比对和人脸识别三个环节，利用卷积神经网络提取人脸特征进而实现人脸的识别。所述车载人脸抓拍摄像机设置于警用车的车顶板上，且所述车载人脸抓拍摄像机的方向可旋转，所述车载人脸抓拍摄像机与服务器通过通讯模块连接。所述服务器通过网络与所述终端相连接,所以本发明通过所述人脸抓拍摄像机在警方巡警过程中进行抓拍，获取人脸信息后通过通讯模块传输至服务器，然后进行相关特征分析处理，再通过与服务器所述的身份数据库进行人脸比对，发现可疑人员后通过网络对终端发出提醒和报警，第一时间锁定嫌犯，采取控制措施，避免不必要的伤亡，提升安全性。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明基于运动场景及深度学习的车载人脸识别实时监控系统的流程图；

图2为本发明人脸识别示意图；

图3为本发明卷积网络模型的附图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

本发明提出的总体思路：

本发明采用了卷积神经网络(CNN)实现特征提取及其运动场景下的人脸识别。具体包含以下步骤：S1，收集并预处理人脸图像；S2，对卷积神经网络模型进行训练；S3，建立训练好的卷积神经网络模型；S4，用训练好的卷积神经网络模型把采集的人脸和人脸库中的人脸特征进行对比，得到的人脸身份信息；S5，把得到的人脸身份传送到终端。结果表明，本发明所述的识别率高，具有较高的应用价值，并且通过现有的人工智能技术和现实需求的结合提高了最终预测的实用性。

本发明通过所述人脸抓拍摄像机在警方巡警过程中进行抓拍，获取人脸信息后通过通讯模块传输至服务器，然后进行相关特征分析处理，再通过与服务器所述的身份数据库进行人脸比对，发现可疑人员后通过网络对终端发出提醒和报警，第一时间锁定嫌犯，采取控制措施，避免不必要的伤亡，提升安全性。

实施例一

参见附图1所示，本实施例公开了一种基于运动场景及深度学习的车载人脸识别实时监控系统，模型中采用轻量级的CNN，并采用全局平均池化和NIN结构，提高模型的速度和减小参数所占内存，这都为实时监控提供技术支持，包括一体化设备、服务器和终端，所述一体化设备主要为由多路高清广角车载摄像机、警示系统、通讯模块等组成。车载摄像机进行人脸抓拍，所述服务器进行人脸识别，并分别与一体化设备和终端建立连接，通知出警人员及系统。

具体实施例中，一体化设备设置于警用车顶，且摄像机方向可自由转动，所述车载摄像机与主机相连接，对所有的视频和控制信号进行分析处理，并能与服务器进行数据传输。

终端包括蓝牙端、中心服务器和报警系统，所述服务器通过网络与所述终端相连接，通过蓝牙与蓝牙端相连接，所述蓝牙端佩戴在出警人员耳朵上，所述蓝牙端和所述报警系统均与所述中心服务器相连接。

车载摄像机包括中央处理器和均与所述中央处理器电性连接的采集摄像模块、抓拍摄像模块及通讯模块。

服务器包括人脸识别模块和系统人脸数据库。

采集摄像模块包括采集摄像电荷藕合器件图像CCD传感器和与所述采集摄像电荷藕合器件图像CCD传感器电性连接的采集摄像视频编码单元。

报警系统包括报警指示灯和报警蜂鸣器。

人脸识别模块为训练好的模型，采用深度学习方法进行人脸特征提取，进而比对视频中的人脸和系统人脸数据库中的人脸。

实施例子二

如图2所示，是本发明基于场景及深度学习系统的流程图。本发明把深度学习应用于运动场景的车载人脸识别实时监控，实时有效地解决了取证难的问题，也为迅速出警提高了稳定的技术支持。

一种基于运动场景及深度学习的车载人脸识别实时监控方法，其特征在于，包括以下步骤：

S1，收集并预处理人脸图像；

具体为：S1.1，收集系统的人脸库；

S1.2，进行人脸对齐并截取人脸图片，调整图像的大小并灰度化，获得预处理完成的图像库，如果人脸库中信息不足可扩增人脸库中每个人的人脸图片，数据扩增主要有以下几种方法，图像平移、图像旋转、图像镜像、图像亮度变化、裁剪、缩放和图像模糊，以适应运动场景下人脸姿态及光照模糊等的影响；

S1.3，并对相同身份的图片设定同一标签，以区分不同人脸身份；

S1.4，将所有标签图像分成训练集和测试集。

S2，对卷积神经网络模型进行训练，模型的训练是为了得到更为有效的模型参数，以达到更好的识别效果；

具体为：S2.1，训练集图像数据输入卷积神经网络前，需对输入数据进行归一化处理，即将分布于[0,255]的原始数据归一化至[0,1]区间；

卷积神经网络训练的具体过程如下：

卷积神经网络的训练过程分为两个阶段。第一个阶段是数据由低层次向高层次传播的阶段，即前向传播阶段。另外一个阶段是，当前向传播得出的结果与预期不相符时，将误差从高层次向底层次进行传播训练的阶段，即反向传播阶段。

训练过程为：1、网络进行权值的初始化；2、输入训练集图像数据经过卷积层、池化层、全局池化层的向前传播得到输出值；3、求出网络的输出值与目标值之间的误差；4、当误差大于我们的期望值时，将误差传回网络中，依次求得全局池化层，池化层，卷积层的误差。各层的误差可以理解为对于网络的总误差，网络应承担多少；当误差等于或小于我们的期望值时，结束训练；5、根据求得误差进行权值更新。然后在进入到第2步。训练是为了得到一个模型，以达到更好的识别效果。

S2.2，训练过程中，通过权重的不断更新，使损失降到最低，并达到准确率最高，为了验证模型的泛化能力还要用测试集进行验证，以达到最好的识别率。

S3，建立训练好的卷积神经网络模型；

S3.1，对于卷积神经网络的卷积层，它的卷积过程数学表达公式：

其中，inNum为输入矩阵的个数，X_k代表第k个输入矩阵，W_k代表卷积核的第k个子卷积核矩阵，s(i,j)即卷积核W对应的输出矩阵的对应位置元素的值；多层卷积是在进行逐层映射，训练过程是在学习每个局部映射所需的权重，训练过程可以看成是函数拟合的过程。卷积运算是在计算每个位置与该模式的相似程度，或者说每个位置具有该模式的分量有多少，当前位置与该模式越像，响应越强。

参见附图3所示，模型中还采用了大量1*1卷积，它作用是降特征的维度，这里的维度指的是通道数(厚度)，而不改变图片的宽和高。降维可以缓解维度灾难问题；也可以在压缩数据的同时让信息损失最小化。

S3.2，卷积后的输出的特征图通过激活函数ReLU，所述整流线性单元ReLU定义如下：

g(x)＝max(0,x)；

其中，g(x)表示整流线性单元函数，x是一个输入值。激活函数是用来加入非线性因素的，解决线性模型所不能解决的问题，使模型具有更好的分类能力。

S3.3，为了达到减少参数的目的，把全连接层改为全局平均池化层，全局平均池化操作，从而使其具有全局的感受野，使得网络低层也能利用全局信息，实现了参数量的大幅度减小，也更好地避免了过拟合；

S3.4，得到特征图，要分类的图像种类有多少，最后一层的类别就设为多少，然后得到一个图像分类结果。

S3.2，卷积后的输出通过ReLU激活函数，将输出中小于0的位置对应的元素值都变成0，再经过池化，得到特征图，并且建立好卷积神经网络模型。

S4，用训练好的卷积神经网络模型把采集的人脸和人脸库中的人脸特征进行对比，得到的人脸身份信息；

具体为：S4.1，车载摄像头中采集包含人脸的视频，并对视频中的人脸进行截取；

S4.2，通过网络传输给后台服务器；

S4.3，用训练好的卷积神经网络模型，在服务器上提取人脸信息，并与人脸库进行1：n的人脸特征比对；

S4.4，输出与人脸库中最接近的人脸身份；

S5，把得到的嫌疑人的人脸身份信息传送到终端，若检测到的人脸经识别与人脸库中不匹配，则无需传送给终端；

具体为：S5.1，得到人脸身份以后迅速传输给终端，包括中心服务器，报警系统和蓝牙端；

S5.2，中心服务器可根据技术结果做出判断，警用车会发出报警指示，同时出境人员的蓝牙耳机会实时得到嫌疑人的识别反馈。

卷积神经网络包括四层大的卷积层，其中引入了NIN结构，提高了CNN的局部感知能力，其中的卷积核大小分别为1x1和3x3。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (7)

1.基于运动场景及深度学习的车载人脸识别实时监控方法，其特征是，包括：

收集系统的人脸库人脸图像并处理；

对卷积神经网络模型进行深度学习训练，具体包括：网络进行权值的初始化；输入数据经过卷积层、池化层、全局池化层的向前传播得到输出值；求出网络的输出值与目标值之间的误差；当误差大于期望值时，将误差传回网络中，依次求得全局池化层，池化层，卷积层的误差，各层的误差可以理解为对于网络的总误差，网络应承担多少；当误差等于或小于期望值时，结束训练；根据求得误差进行权值更新；

建立训练好的卷积神经网络模型：对于卷积神经网络的卷积层，获得卷积过程数学表达公式；卷积后的输出通过激活函数；把全连接层改为全局平均池化层，实现了参数量的大幅度减小；得到特征图，要分类的图像种类有多少，最后一层的类别就设为多少，然后得到一个图像分类结果；卷积后的输出通过激活函数，将输出的张量中小于0的位置对应的元素值都变成0，再经过池化，得到特征图，并且建立好卷积神经网络模型；

用训练好的卷积神经网络模型把采集的运动场景的人脸和人脸库中的人脸特征进行对比，得到的人脸身份信息；

将检测到的人脸身份传送到终端。

2.如权利要求1所述的基于运动场景及深度学习的车载人脸识别实时监控方法，其特征是，系统的人脸库人脸图像进行处理，包括：

进行人脸对齐并截取人脸图片，调整图像的大小并灰度化，获得预处理完成的图像库，如果人脸库中的信息不足可扩充人脸库中每个人的人脸图片数量，以适应运动场景下人脸姿态及光照模糊等的影响；

并对相同身份的图片设定同一标签，以区分不同人脸身份；

将所有标签图像分成训练集和测试集。

3.如权利要求1所述的基于运动场景及深度学习的车载人脸识别实时监控方法，其特征是，训练集图像数据输入卷积神经网络前，需对输入数据进行归一化处理，即将分布于[0,255]的原始数据归一化至[0,1]区间。

4.如权利要求1所述的基于运动场景及深度学习的车载人脸识别实时监控方法，其特征是，用训练好的卷积神经网络模型把采集的人脸和人脸库中的人脸特征进行对比，得到的人脸身份信息；具体为：

车载摄像头中采集包含人脸的视频，并对视频中的人脸进行截取；

通过网络传输给后台服务器；

用训练好的卷积神经网络模型，在服务器上提取人脸信息，并与人脸库进行1：n的人脸特征比对；

输出与人脸库中最接近的人脸身份。

5.基于运动场景及深度学习的车载人脸识别实时监控系统，用于实现权利要求1-4任一项权利要求所述的基于运动场景及深度学习的车载人脸识别实时监控方法，其特征是，包括:

设置于警用车车顶板的摄像装置、服务器和终端；

所述摄像装置实时采集数据，对采集的视频进行处理后传输至服务器；

所述服务器包括人脸识别模块和系统人脸数据库，人脸识别模块为训练好的模型，采用深度学习方法进行人脸特征提取，进而比对摄像装置视频中的人脸和系统人脸数据库中的人脸，若一致，则将信息发送至终端。

6.如权利要求5所述的基于运动场景及深度学习的车载人脸识别实时监控系统，其特征是，所述终端包括蓝牙端、中心服务器和报警系统，所述服务器通过网络与所述终端相连接，通过蓝牙与蓝牙端相连接，所述蓝牙端佩戴在出警人员耳朵上，所述蓝牙端和所述报警系统均与所述中心服务器相连接。

7.如权利要求5所述的基于运动场景及深度学习的车载人脸识别实时监控系统，其特征是，所述摄像装置包括中央处理器和均与所述中央处理器电性连接的采集摄像模块、抓拍摄像模块及通讯模块；

采集摄像模块包括采集摄像电荷藕合器件图像CCD传感器和与所述采集摄像电荷藕合器件图像CCD传感器电性连接的采集摄像视频编码单元。

Images