CN110781798B - 一种基于树莓派和人脸识别的车载嫌疑犯锁定系统 - Google Patents

Abstract

本发明公开一种基于树莓派和人脸识别的车载嫌疑犯锁定系统。它包括存储与管理模块，存储与管理模块包括数据库服务器、客户端电脑和树莓派，所述树莓派内置图像采集模块、人脸检测模块、人脸姿态评估模块、人脸特征提取模块、PCA降维模块以及无线网络通信模块。它通过树莓派采集乘客的人脸，对人脸进行姿态评估后进行特征提取，并将提取到的特征发送给人脸比对模块，与数据库中已保存的嫌疑犯的人脸进行匹配，识别嫌疑犯信息显示、保存并报警。本发明通过安装在出租车副驾驶前的树莓派进行嫌疑犯的识别与锁定，大大提高了人脸识别的机动性，对嫌疑犯的锁定及抓捕提供了很大帮助，本系统作为一种安防系统，对维护社会公共安全有重大意义。

Description

一种基于树莓派和人脸识别的车载嫌疑犯锁定系统

技术领域

本发明涉及车载监控系统技术领域，具体为一种基于树莓派和人脸识别的车载嫌疑犯锁定系统。

背景技术

随着现代计算机技术和人工智能的发展，科技信息化手段的万象更新，公安机关的工作效能得到了很大的提升。其中，人脸识别技术作为一种新兴的生物识别特征技术，与虹膜识别、指纹识别等技术相比，人脸识别技术在应用方面具有独到的优势，由于其具有方便、友好、非接触等优点，已应用到诸如视觉监控、自动身份验证、银行安全、门禁安全等多个领域。并且，随着深度学习的发展与神经网络模型轻量化的研究，基于深度学习的人脸识别技术已经应用到嵌入式设备中，大大提高了人脸识别的灵活性和应用场景的多样性。

人脸识别技术渐渐地融入到我们的生活中来，面对频发的违法犯罪活动，各地监控都在不断收集视频，从中提取图像，而传统的人工识别方式时间消耗量大、人员消耗量大，无法适应高速发展的信息技术。为了不让犯罪分子们逍遥法外，我们迫切的需要将人脸自动识别技术应用到对嫌疑犯的锁定追捕当中去，以适应当今的社会发展。现阶段的人脸识别技术已在嫌疑犯的锁定和追捕中发挥了巨大作用，人脸识别技术能够极大地缩短锁定嫌疑犯的时间，如人脸识别技术可以在人群密集的地方几分钟锁内定对象，在明星的演唱会中利用人脸识别技术锁定并抓捕嫌疑犯也时有发生。

除了在一些公共场所中利用人脸识别技术来锁定嫌疑犯外，还可以在一些交通工具上安装监控设备来锁定嫌疑犯，例如：实用新型专利(发明人：马芳武、史津竹等，申请号：201721157197.5，名称：一种车载智能视频监控及人脸识别防盗报警系统。)公开了一种车载智能视频监控及人脸识别防盗报警系统，该系统包括D-BOX监控终端、车外摄像头模块、车内摄像头模块、GPS全球定位模块、网络传输模块、PC远程监控中心、移动终端等，其中车内摄像头模块与FPGA图像处理模块连接，用于采集车内实时视频，并通过FPGA图像处理模块进行车主人脸识别，如果识别结果为非车主本人，则通过GMS通讯模块将报警信号发送给PC远程监控中心进行报警。实用新型专利(发明人：李崇、武彦博等，申请号：201720041289.0，名称：一种车载声纹和人脸识别设备。)提供了一种车载声纹和人脸识别设备，该设备包括摄像头、咪头、微型中央处理器、4G卡槽、SD卡槽和蓄电池，SD卡里存有出租车司机脸部特征数据和声纹数据，以及公安部通缉犯的脸部特征数据和声纹数据，通过将摄像头采集到的面部特征数据或咪头采集到的声纹特征数据与SD卡中存储的公安部通缉犯的脸部特征数据或声纹数据进行匹配，如果匹配成功，微型中央处理器将乘客的面部特征数据通过4G卡传送到出租车监控中心，并向公安局报告，对通缉犯进行抓捕。在此方法中，将巨大的公安通缉犯数据存放在SD卡中，但由于通缉犯的数量是动态的，需要不断更新，因此会带来很多的不便。发明专利(发明人：陈文中、艾真保，申请号：201710923240.2，名称：一种基于人脸识别的车载嫌犯监控系统。)公开了一种基于人脸识别的车载嫌犯监控系统，通过安装在乘客上车门对面车顶板上的人脸抓拍相机获取人脸图像，并将人脸通过无线通信模块发送至后台的人脸照片服务器和人脸比对服务器，进行人脸的比对，以判断是否为嫌疑犯。但这种只依靠提取到的人脸特征与数据库中的特征进行比对的方法可靠性不高，十分依靠人脸识别的准确度，而且当检测到的人脸姿态较大时，很容易造成误识别。

发明内容

针对现有的基于人脸识别的车载监控系统的不足，本发明提出了一种利用边缘计算技术的基于树莓派和人脸识别的车载嫌疑犯锁定系统。

所述的一种基于树莓派和人脸识别的车载嫌疑犯锁定系统，其特征在于包括存储与管理模块，存储与管理模块包括数据库服务器、客户端电脑和树莓派，所述数据库服务器内置用于存储嫌疑犯信息以及嫌疑犯识别记录的数据库，客户端电脑内置终端控制模块及人脸比对模块，所述树莓派内置图像采集模块、人脸检测模块、人脸姿态评估模块、人脸特征提取模块、PCA降维模块以及无线网络通信模块，其中：

图像采集模块，用于车辆副驾驶人员人脸图像的采集；

人脸检测模块，负责对图像采集模块采集到的图像进行人脸检测，将图像中所有的人脸检测出来并进行面部特征点定位；

人脸姿态评估模块，对人脸检测模块检测到的人脸姿态进行评估，获取最正面的人脸；

人脸特征提取模块，用于提取人脸的深度特征，得到人脸特征向量；

PCA降维模块，对人脸特征提取模块提取的高维的人脸特征向量进行降维；

无线网络通信模块，用于将人脸特征提取模块提取出的人脸特征向量发送至人脸比对模块；

人脸比对模块，用于将接收到的人脸特征向量与存储与管理模块的数据库中已存的人脸特征向量进行比对；

终端控制模块，包括公安控制系统，用于人脸比对模块的人脸比对结果信息，显示、储存并报警。

所述的一种基于树莓派和人脸识别的车载嫌疑犯锁定系统，其特征在于图像采集模块包括安装在树莓派上的SCI摄像头，树莓派安置在车辆副驾驶前的仪表台上，面对副驾驶位置斜向上与水平面呈k度夹角。

所述的一种基于树莓派和人脸识别的车载嫌疑犯锁定系统，其特征在于所述人脸检测模块的人脸检测利用卷积神经网络实现，输入为包含人脸的RGB图像，输出为所有人脸在图像中的位置以及人脸对应的面部特征点的位置，所述面部特征点包括两眼中心、两嘴角以及鼻尖5个特征点；所述的人脸姿态评估模块的人脸姿态评估利用人脸面部特征点的位置信息来进行打分，分数越高表示人脸姿态越趋于正面人脸；所述人脸特征提取模块的人脸深度特征提取利用深度卷积神经网络实现，该网络包含7个卷积层与2个全连接层，提取到的人脸特征为4096维的深度人脸特征，令提取出的人脸特征向量为f＝{fea_i|i＝1,2,...,4096}，其中fea_i为浮点数并表示人脸特征向量中的第i个特征。

所述的一种基于树莓派和人脸识别的车载嫌疑犯锁定系统，其特征在于所述PCA降维模块将人脸特征提取模块提取到的4096维的深度人脸特征降低到1024维，令降维后的人脸特征向量为f_p＝{feap_i|i＝1,2,...,1024}，其中feap_i为浮点数并表示降维后的人脸特征向量中的第i个特征。

所述的一种基于树莓派和人脸识别的车载嫌疑犯锁定系统，其特征在于所述的无线网络通信模块基于4G移动通信技术。

所述的一种基于树莓派和人脸识别的车载嫌疑犯锁定系统，其特征在于所述人脸比对模块的人脸特征比对采用根据公式计算两个人脸特征向量A和B的相似度，向量A和B的相似度函数如式所示：

其中，A，B分别表示两个人脸特征向量，A＝{a_i|i＝1,2,...,K}，B＝{b_i|i＝1,2,...,K}，a_i表示人脸特征向量A中的第i个特征值，b_i表示人脸特征向量B中的第i个特征值。

所述的一种基于树莓派和人脸识别的车载嫌疑犯锁定系统，其特征在于所述公安控制系统包括报警指示灯和报警蜂鸣器。

所述的一种基于树莓派和人脸识别的车载嫌疑犯锁定系统，其特征在于所述人脸姿态评估模块利用人脸面部特征点的位置信息来进行打分的具体步骤如下：

1)令左眼中心点坐标P_le＝(X_le,Y_le)、右眼中心点坐标P_re＝(X_re,Y_re)、鼻尖坐标P_n＝(X_n,Y_n)、左嘴角坐标P_lm＝(X_lm,Y_lm)以及右嘴角坐标P_rm＝(X_rm,Y_rm)，令水平向量

垂直向量

2)令由左眼中心点P_le指向右眼中心点P_re的向量为

令左眼中心点P_le与右眼中心点P_re连线的中点坐标为P_ec＝(X_ec,Y_ec)，令由鼻尖P_n指向两眼连线的中点P_ec的向量为

其中，

3)令人脸在偏航角yaw上的得分为S_y，令人脸在翻滚角roll上的得分为S_r，则人脸姿态总得分S_p＝S_y+S_r，其中，S_y为由鼻尖P_n指向两眼连线中点P_ec的向量

与垂直向量

夹角的余弦值，S_r为由左眼中心点P_le指向右眼中心点P_re的向量为

与水平向量

夹角的余弦值，S_r∈[0,1]，S_y∈[0,1]，S_p∈[0,2]，S_y、S_r的计算如公式(2)所示；

所述的一种基于树莓派和人脸识别的车载嫌疑犯锁定系统，其特征在于嫌疑犯人脸数据存储时，按每个嫌疑犯人脸特征向量与标准人脸特征向量的余弦值从小到大存储，整个存储过程按如下步骤所示：

1)将现有嫌疑犯人脸特征向量的平均值作为标准人脸特征向量，令标准人脸特征向量为f_s＝{feas_i|i＝1,2,...,1024}，其中feas_i为浮点数并表示标准人脸特征向量中的第i个特征；

2)对提取到的嫌疑犯人脸特征向量f进行PCA降维得到f_p，计算降维后的嫌疑犯人脸特征向量f_p与标准人脸特征向量f_s的余弦值，根据所得余弦值的大小将嫌疑犯的信息插入到数据库中相应的位置，使得降维后的嫌疑犯人脸特征向量f_p与标准人脸特征向量f_s的余弦值在数据库中保持从小到大的存储顺序；

3)当再次有嫌疑犯人脸特征向量存入数据库时，不再重新计算标准人脸特征向量f_s，重复步骤1)和步骤2)。

所述的一种基于树莓派和人脸识别的车载嫌疑犯锁定系统，其特征在于整个识别过程按如下步骤实现：

1)令数据库中嫌疑犯与其人脸特征向量的映射集

其中

表示第i个人员的人脸特征向量的集合，

p_i表示第i个人员的编号，n表示人员数量，

表示第i个人员的人脸特征向量集合中第j个人脸特征向量，m_i表示人脸特征向量集合中第i个人脸特征向量的数量；

2)令任意待识别人员为p_r，对人员p_r进入副驾驶后进行人脸检测，该人员被任意一辆车牌号为PN的车辆安装的SCI摄像头采集到人脸的时间为t_r，采集到的人脸为face，该人脸经人脸姿态评估模块评估后输出的总得分为S_p，若S_p>S_a，即该人脸为正面人脸，则对该人脸进行特征提取，否则继续进行人脸检测，其中，S_a表示人脸姿态得分阈值；令提取到的人脸特征向量为f_o，由PCA降维模块对提取到的人脸特征向量f_o进行PCA降维，得到降维后的人脸特征向量f_e，通过无线网格通信模块将(t_r，face，f_e，PN)发送到人脸比对模块，计算降维后的人脸特征向量f_e与标准人脸特征向量f_s的余弦值；令得到的余弦值为C，通过二分查找法在数据库中找到与余弦值C最接近的至多N个余弦值，并将N个余弦值对应的人员编号和人脸特征向量读入内存，根据公式(1)计算f_e与读入内存中的人脸特征向量集合中的每个人脸特征向量

的相似度，得到相似度集合

t表示读入内存中的人脸特征向量的总数，

表示读入内存中的第i个人脸特征向量；令S＝max(G_D)，若S>S₀，表明识别成功，将此人的姓名name、身份证号id、当前采集到的人脸face以及从数据库中匹配到的人脸FACE发送到公安控制系统，显示、保存并报警，警察接到报警后，对系统显示的两张人脸进行再次验证，如果确定是嫌疑犯，则采取相关措施进行嫌疑犯的抓捕，p_r对应于G_A中的某个人员，假设为p_x，若m_x<m_max，将提取到的人脸特征向量f_e添加到人脸特征向量集合

中，即

计算人脸特征向量f_e与标准人脸特征向量f_s的余弦值，根据所得余弦值的大小将嫌疑犯的信息插入到数据库中相应的位置，其中，S表示最大的人脸相似度，max表示取最大值，S₀表示人脸相似度阈值，m_x表示当前人员p_x在数据库中存储的人脸特征向量的数目，m_max表示在数据库中允许存储的每个人员对应的最大的人脸特征向量的数目；若S<S₀，表明数据库中不存在该人员，即此人不是嫌疑犯。

通过采用上述技术，与现有技术相比，本发明具有以下特点：

一、本发明通过采用上述与车内普遍存在的监控设备拍摄监控视频的方法相比，本系统对嫌疑犯的锁定具有实时、主动、快速、准确的特点；二、在进行人脸识别之前，首先对检测到的人脸进行姿态评估，确保只有当检测到的人脸为正面人脸时，才对该人脸进行特征提取，保证了提取到的特征的有效性，提高了人脸识别的准确率；三、嫌疑犯识别成功后，可将成功识别的人脸加入该人员对应的人脸库中，从而使人脸识别具有更好的鲁棒性，提高多角度人脸下的人脸识别成功率；四、本系统采用边缘计算技术，在靠近数据源头的一侧，采用计算、网络传输等核心能力为一体的开放平台树莓派，提供最近端服务，响应更快，将需求最大化的在边缘端解决；五、警察接到报警后，可在系统中看到树莓派采集到的犯罪嫌疑人的人脸以及从数据库中匹配到的人脸和该人的信息，通过人为的进行二次验证，可以避免由于某次误识别造成的警力浪费，对嫌疑犯行踪的侦察和跟踪具有重大意义；六、利用PCA对高维人脸特征向量进行降维，大大减少了人脸特征比对的时间，并且利用二分查找法从得到的至多N个人脸特征向量中进行人脸比对，进一步提高了人脸识别的鲁棒性，并且相对于对人脸数据库中全部人脸特征向量逐一比对的方法，本方法有效提高了人脸比对的效率。

附图说明

图1为本发明基于树莓派和人脸识别的车载嫌疑犯锁定系统的示意性框图；

图2为本发明基于树莓派和人脸识别的车载嫌疑犯锁定系统的原理示意图。

图中：1-图像采集模块，2-人脸检测模块，3-人脸姿态评估模块，4-人脸特征提取模块，5-PCA降维模块，6-无线网络通信模块，7-人脸比对模块，8-终端控制模块，9-存储与管理模块，10-SCI摄像头，11-树莓派，12-客户端电脑，13-数据库服务器，14-报警指示灯，15-报警蜂鸣器。

具体实施方式

下面结合附图和实施例，对本发明进行进一步的说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

如图1-2所示，所述的一种基于树莓派和人脸识别的车载嫌疑犯锁定系统，由图像采集模块1、人脸检测模块2、人脸姿态评估模块3、人脸特征提取模块4、PCA降维模块5、无线网络通信模块6、人脸比对模块7、终端控制模块8和存储与管理模块9构成，图像采集模块1包括安装在树莓派11上的SCI摄像头10，用于车辆副驾驶人员人脸图像的采集，本实施例中使用的是800万像素的Raspberry PiCamera，最大分辨率可达3280*2464；人脸检测模块2负责对采集到的图像进行人脸检测，将图像中所有的人脸检测出来并进行面部特征点定位；人脸姿态评估模块3对检测到的人脸姿态进行评估，获取最正面的人脸；人脸特征提取模块4用于提取人脸的深度特征；PCA降维模块5对高维的人脸特征向量进行降维；无线网络通信模块6用于将提取出的人脸特征向量发送至人脸比对模块7，本实施例中无线网络通信模块6使用的是4G上网卡；人脸比对模块7用于将提取出的人脸特征与数据库中已存的人脸特征进行比对；终端控制模块8包括公安控制系统，，公安控制系统包括报警指示灯14和报警蜂鸣器15，用于接收人脸比对结果信息，显示、储存并报警；存储与管理模块9包括数据库服务器13、客户端电脑12和树莓派11，数据库服务器13内置用于存储嫌疑犯信息以及嫌疑犯识别记录的数据库，客户端电脑12内置终端控制模块8、人脸比对模块7，树莓派11内置图像采集模块1、人脸检测模块2、人脸姿态评估模块3、人脸特征提取模块4、PCA降维模块5以及无线网络通信模块6，无线网络通信模块6基于4G移动通信技术；

如图所示，所述的安装在树莓派11上的SCI摄像头10、无线网络通信模块6与树莓派11一同安置在车辆副驾驶前的仪表台上，面对副驾驶位置斜向上与水平面呈k度夹角，本实施例中k取60，用于采集车辆副驾驶人员的人脸；

所述的人脸检测利用卷积神经网络实现，输入为包含人脸的RGB图像，输出为所有人脸在图像中的位置以及人脸对应的面部特征点的位置，其中，面部特征点包括两眼中心、两嘴角以及鼻尖5个特征点；所述的人脸姿态评估利用人脸面部特征点的位置信息来进行打分，分数越高表示人脸姿态越趋于正面人脸；所述的人脸深度特征提取利用深度卷积神经网络实现，该网络包含7个卷积层与2个全连接层，提取到的人脸特征为4096维的深度人脸特征，令提取出的人脸特征向量为f＝{fea_i|i＝1,2,...,4096}，其中fea_i为浮点数并表示人脸特征向量中的第i个特征；

所述的PCA降维模块5将提取到的4096维的深度人脸特征降低到1024维；

所述的人脸特征比对采用的是根据公式(1)计算两个人脸特征向量的相似度，其中A，B分别表示两个人脸特征向量，A＝{a_i|i＝1,2,...,K}，B＝{b_i|i＝1,2,...,K}，a_i表示人脸特征向量A中的第i个特征值，b_i表示人脸特征向量B中的第i个特征值；

其中，s表示向量A和B的相似度函数；

所述的利用人脸面部特征点的位置信息来进行打分的具体步骤如下：

1)令左眼中心点坐标P_le＝(X_le,Y_le)、右眼中心点坐标P_re＝(X_re,Y_re)、鼻尖坐标P_n＝(X_n,Y_n)、左嘴角坐标P_lm＝(X_lm,Y_lm)以及右嘴角坐标P_rm＝(X_rm,Y_rm)，令水平向量

垂直向量

2)令由左眼中心点P_le指向右眼中心点P_re的向量为

令左眼中心点P_le与右眼中心点P_re连线的中点坐标为P_ec＝(X_ec,Y_ec)，令由鼻尖P_n指向两眼连线的中点P_ec的向量为

其中，

3)令人脸在偏航角yaw上的得分为S_y，令人脸在翻滚角roll上的得分为S_r，则人脸姿态总得分S_p＝S_y+S_r，其中，S_y为由鼻尖P_n指向两眼连线中点P_ec的向量

与垂直向量

夹角的余弦值，S_r为由左眼中心点P_le指向右眼中心点P_re的向量为

与水平向量

夹角的余弦值，S_r∈[0,1]，S_y∈[0,1]，S_p∈[0,2]，S_y、S_r的计算如公式(2)所示；

本发明在嫌疑犯人脸数据存储时，按每个嫌疑犯人脸特征向量与标准人脸特征向量的余弦值从小到大存储，整个存储过程按如下步骤所示：

1)将现有嫌疑犯人脸特征向量的平均值作为标准人脸特征向量，令标准人脸特征向量为f_s＝{feas_i|i＝1,2,...,1024}，其中feas_i为浮点数并表示标准人脸特征向量中的第i个特征；

2)对提取到的嫌疑犯人脸特征向量f进行PCA降维得到f_p，计算降维后的嫌疑犯人脸特征向量f_p与标准人脸特征向量f_s的余弦值，根据所得余弦值的大小将嫌疑犯的信息插入到数据库中相应的位置，使得降维后的嫌疑犯人脸特征向量f_p与标准人脸特征向量f_s的余弦值在数据库中保持从小到大的存储顺序；

3)当再次有嫌疑犯人脸特征向量存入数据库时，不再重新计算标准人脸特征向量f_s，重复步骤1)和步骤2)即可；

本发明的基于树莓派和人脸识别的车载嫌疑犯锁定系统对嫌疑犯整个识别过程按如下的步骤实现：

1)令数据库中嫌疑犯与其人脸特征向量的映射集

其中

表示第i个人员的人脸特征向量的集合，

p_i表示第i个人员的编号，n表示人员数量，

表示第i个人员的人脸特征向量集合中第j个人脸特征向量，m_i表示人脸特征向量集合中第i个人脸特征向量的数量；

2)令任意待识别人员为p_r，对人员p_r进入副驾驶后进行人脸检测，该人员被任意一辆车牌号为PN的车辆安装的SCI摄像头10采集到人脸的时间为t_r，采集到的人脸为face，该人脸经人脸姿态评估模块后输出的得分为S_p，若S_p>S_a，即该人脸为正面人脸，则对该人脸进行特征提取，否则继续进行人脸检测，其中，S_a表示人脸姿态得分阈值；令提取到的人脸特征向量为f_o，对提取到的人脸特征向量f_o进行PCA降维，得到降维后的人脸特征向量f_e，通过无线网络通信模块6将(t_r，face，f_e，PN)发送到人脸比对模块7，计算降维后的人脸特征向量f_e与标准人脸特征向量f_s的余弦值；令得到的余弦值为C，通过二分查找法在数据库中找到与余弦值C最接近的至多N个余弦值，并将N个余弦值对应的人员编号和人脸特征向量读入内存，本实施例中N取30，根据公式(1)计算f_e与读入内存中的人脸特征向量集合中的每个人脸特征向量

的相似度，得到相似度集合

t表示读入内存中的人脸特征向量的总数，

表示读入内存中的第i个人脸特征向量；令S＝max(G_D)，若S>S₀，表明识别成功，将此人的姓名name、身份证号id、当前采集到的人脸face以及从数据库中匹配到的人脸FACE发送到公安控制系统，显示、保存并报警，警察接到报警后，对系统显示的两张人脸进行再次验证，如果确定是嫌疑犯，则采取相关措施进行嫌疑犯的抓捕，p_r对应于G_A中的某个人员，假设为p_x，若m_x<m_max，将提取到的人脸特征向量f_e添加到人脸特征向量集合

中，即

计算人脸特征向量f_e与标准人脸特征向量f_s的余弦值，根据所得余弦值的大小将嫌疑犯的信息插入到数据库中相应的位置，其中，S表示最大的人脸相似度，max表示取最大值，S₀表示人脸相似度阈值，m_x表示当前人员p_x在数据库中存储的人脸特征向量的数目，m_max表示在数据库中允许存储的每个人员对应的最大的人脸特征向量的数目；若S<S₀，表明数据库中不存在该人员，即此人不是嫌疑犯。

Claims (9)

1.一种基于树莓派和人脸识别的车载嫌疑犯锁定系统，其特征在于包括存储与管理模块(9)，存储与管理模块(9)包括数据库服务器(13)、客户端电脑(12)和树莓派(11)，所述数据库服务器(13)内置用于存储嫌疑犯信息以及嫌疑犯识别记录的数据库，客户端电脑(12)内置终端控制模块(8)及人脸比对模块(7)，所述树莓派(11)内置图像采集模块(1)、人脸检测模块(2)、人脸姿态评估模块(3)、人脸特征提取模块(4)、PCA降维模块(5)以及无线网络通信模块(6)，其中：

图像采集模块(1)，用于车辆副驾驶人员人脸图像的采集；

人脸检测模块(2)，负责对图像采集模块(1)采集到的图像进行人脸检测，将图像中所有的人脸检测出来并进行面部特征点定位；

人脸姿态评估模块(3)，对人脸检测模块(2)检测到的人脸姿态进行评估，获取最正面的人脸；

人脸特征提取模块(4)，用于提取人脸的深度特征，得到人脸特征向量；

PCA降维模块(5)，对人脸特征提取模块(4)提取的高维的人脸特征向量进行降维；

无线网络通信模块(6)，用于将人脸特征提取模块(4)提取出的人脸特征向量发送至人脸比对模块(7)；

人脸比对模块(7)，用于将接收到的人脸特征向量与存储与管理模块(9)的数据库中已存的人脸特征向量进行比对；

终端控制模块(8)，包括公安控制系统，用于人脸比对模块(7)的人脸比对结果信息，显示、储存并报警；

所述人脸姿态评估模块(3)利用人脸面部特征点的位置信息来进行打分的具体步骤如下：

1)令左眼中心点坐标P_le＝(X_le,Y_le)、右眼中心点坐标P_re＝(X_re,Y_re)、鼻尖坐标P_n＝(X_n,Y_n)、左嘴角坐标P_lm＝(X_lm,Y_lm)以及右嘴角坐标P_rm＝(X_rm,Y_rm)，令水平向量

垂直向量

2)令由左眼中心点P_le指向右眼中心点P_re的向量为

令左眼中心点P_le与右眼中心点P_re连线的中点坐标为P_ec＝(X_ec,Y_ec)，令由鼻尖P_n指向两眼连线的中点P_ec的向量为

其中，

3)令人脸在偏航角yaw上的得分为S_y，令人脸在翻滚角roll上的得分为S_r，则人脸姿态总得分S_p＝S_y+S_r，其中，S_y为由鼻尖P_n指向两眼连线中点P_ec的向量

与垂直向量

夹角的余弦值，S_r为由左眼中心点P_le指向右眼中心点P_re的向量为

与水平向量

夹角的余弦值，S_r∈[0,1]，S_y∈[0,1]，S_p∈[0,2]，S_y、S_r的计算如公式(2)所示；

2.根据权利要求1所述的一种基于树莓派和人脸识别的车载嫌疑犯锁定系统，其特征在于图像采集模块(1)包括安装在树莓派(11)上的SCI摄像头(10)，树莓派(11)安置在车辆副驾驶前的仪表台上，面对副驾驶位置斜向上与水平面呈k度夹角。

3.根据权利要求1所述的一种基于树莓派和人脸识别的车载嫌疑犯锁定系统，其特征在于所述人脸检测模块(2)的人脸检测利用卷积神经网络实现，输入为包含人脸的RGB图像，输出为所有人脸在图像中的位置以及人脸对应的面部特征点的位置，所述面部特征点包括两眼中心、两嘴角以及鼻尖5个特征点；所述的人脸姿态评估模块(3)的人脸姿态评估利用人脸面部特征点的位置信息来进行打分，分数越高表示人脸姿态越趋于正面人脸；所述人脸特征提取模块(4)的人脸深度特征提取利用深度卷积神经网络实现，该网络包含7个卷积层与2个全连接层，提取到的人脸特征为4096维的深度人脸特征，令提取出的人脸特征向量为f＝{fea_i|i＝1,2,...,4096}，其中fea_i为浮点数并表示人脸特征向量中的第i个特征。

4.根据权利要求1所述的一种基于树莓派和人脸识别的车载嫌疑犯锁定系统，其特征在于所述PCA降维模块(5)将人脸特征提取模块(4)提取到的4096维的深度人脸特征降低到1024维，令降维后的人脸特征向量为f_p＝{feap_i|i＝1,2,...,1024}，其中feap_i为浮点数并表示降维后的人脸特征向量中的第i个特征。

5.根据权利要求1所述的一种基于树莓派和人脸识别的车载嫌疑犯锁定系统，其特征在于所述的无线网络通信模块(6)基于4G移动通信技术。

6.根据权利要求1所述的一种基于树莓派和人脸识别的车载嫌疑犯锁定系统，其特征在于所述人脸比对模块(7)的人脸特征比对采用根据公式(1)计算两个人脸特征向量A和B的相似度，向量A和B的相似度函数如式(1)所示：

其中，A，B分别表示两个人脸特征向量，A＝{a_i|i＝1,2,...,K}，B＝{b_i|i＝1,2,...,K}，a_i表示人脸特征向量A中的第i个特征值，b_i表示人脸特征向量B中的第i个特征值。

7.根据权利要求1所述的一种基于树莓派和人脸识别的车载嫌疑犯锁定系统，其特征在于所述公安控制系统包括报警指示灯和报警蜂鸣器。

8.根据权利要求1所述的一种基于树莓派和人脸识别的车载嫌疑犯锁定系统，其特征在于嫌疑犯人脸数据存储时，按每个嫌疑犯人脸特征向量与标准人脸特征向量的余弦值从小到大存储，整个存储过程按如下步骤所示：

1)将现有嫌疑犯人脸特征向量的平均值作为标准人脸特征向量，令标准人脸特征向量为f_s＝{feas_i|i＝1,2,...,1024}，其中feas_i为浮点数并表示标准人脸特征向量中的第i个特征；

2)对提取到的嫌疑犯人脸特征向量f进行PCA降维得到f_p，计算降维后的嫌疑犯人脸特征向量f_p与标准人脸特征向量f_s的余弦值，根据所得余弦值的大小将嫌疑犯的信息插入到数据库中相应的位置，使得降维后的嫌疑犯人脸特征向量f_p与标准人脸特征向量f_s的余弦值在数据库中保持从小到大的存储顺序；

3)当再次有嫌疑犯人脸特征向量存入数据库时，不再重新计算标准人脸特征向量f_s，重复步骤1)和步骤2)。

9.根据权利要求1所述的一种基于树莓派和人脸识别的车载嫌疑犯锁定系统，其特征在于整个识别过程按如下步骤实现：

1)令数据库中嫌疑犯与其人脸特征向量的映射集

其中

表示第i个人员的人脸特征向量的集合，

p_i表示第i个人员的编号，n表示人员数量，

表示第i个人员的人脸特征向量集合中第j个人脸特征向量，m_i表示人脸特征向量集合中第i个人脸特征向量的数量；

2)令任意待识别人员为p_r，对人员p_r进入副驾驶后进行人脸检测，该人员被任意一辆车牌号为PN的车辆安装的SCI摄像头(10)采集到人脸的时间为t_r，采集到的人脸为face，该人脸经人脸姿态评估模块(3)评估后输出的总得分为S_p，若S_p>S_a，即该人脸为正面人脸，则对该人脸进行特征提取，否则继续进行人脸检测，其中，S_a表示人脸姿态得分阈值；令提取到的人脸特征向量为f_o，由PCA降维模块(5)对提取到的人脸特征向量f_o进行PCA降维，得到降维后的人脸特征向量f_e，通过无线网格通信模块(6)将(t_r，face，f_e，PN)发送到人脸比对模块(7)，计算降维后的人脸特征向量f_e与标准人脸特征向量f_s的余弦值；令得到的余弦值为C，通过二分查找法在数据库中找到与余弦值C最接近的至多N个余弦值，并将N个余弦值对应的人员编号和人脸特征向量读入内存，根据公式(1)计算f_e与读入内存中的人脸特征向量集合中的每个人脸特征向量

的相似度，得到相似度集合

t表示读入内存中的人脸特征向量的总数，

表示读入内存中的第i个人脸特征向量；令S＝max(G_D)，若S>S₀，表明识别成功，将此人的姓名name、身份证号id、当前采集到的人脸face以及从数据库中匹配到的人脸FACE发送到公安控制系统，显示、保存并报警，警察接到报警后，对系统显示的两张人脸进行再次验证，如果确定是嫌疑犯，则采取相关措施进行嫌疑犯的抓捕，p_r对应于G_A中的某个人员，假设为p_x，若m_x<m_max，将提取到的人脸特征向量f_e添加到人脸特征向量集合

中，即

计算人脸特征向量f_e与标准人脸特征向量f_s的余弦值，根据所得余弦值的大小将嫌疑犯的信息插入到数据库中相应的位置，其中，S表示最大的人脸相似度，max表示取最大值，S₀表示人脸相似度阈值，m_x表示当前人员p_x在数据库中存储的人脸特征向量的数目，m_max表示在数据库中允许存储的每个人员对应的最大的人脸特征向量的数目；若S<S₀，表明数据库中不存在该人员，即此人不是嫌疑犯。

Images