CN108376246A - 一种多人脸识别及跟踪系统及方法 - Google Patents

Abstract

本发明公开了一种多人脸识别及跟踪系统及方法，包括如下步骤：步骤1、通过采集模块分别实时采集斑马线区域的图像和信号灯的状态，若检测到信号灯为红灯，则进行步骤2；步骤2、通过处理模块对图像进行处理并检测图像中的人脸情况，若检测到人脸则进行步骤3；步骤3、通过处理模块对违规行人进行跟踪，根据跟踪结果判断该行人是否继续穿行道路，若是则提取至少三张该行人的过程图和人脸图像进行显示。本发明具有的有益效果：可对视频中出现的多个行人进行检测、跟踪和抓拍等。用于行人闯红灯场景时，能够对违规行人进行有效的多人脸抓拍并进行多种形式的提示警告，并且通过多人脸跟踪和轨迹校验技术降低误差，提高识别效率。

Description

一种多人脸识别及跟踪系统及方法

技术领域

本发明属于交通安防系统技术领域，具体涉及一种多人脸识别及跟踪系统及方法。

背景技术

在行人闯红灯场景中，目前采取的措施主要有交警现场引导，路口加装闸机或行人闯红灯报警装置。交警现场管理需要投入大量的人力物力，在警力明显不足且交通压力紧张的城市，这种方法并不可取。路口安装闸机需要破坏路面，且相同时间通过的人流量减少，设备出现故障时易发生交通事故。行人闯红灯报警装置一般采用红外幕帘、红外光栅和高清相机检测红灯时马路上是否有行人，若有，则立即发出声音或图像报警，这种方式的误差较大，且路口环境复杂，单纯的声音或图像警示并不能起到很好的警示效果。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种多人脸识别及跟踪系统及方法，能够对场景内满足条件的被测者进行有效的多人脸抓拍并进行多种形式的提示警告，并且通过多人脸跟踪技术降低误差，提高识别效率。

为解决现有技术问题，本发明公开了一种多人脸识别及跟踪方法，包括如下步骤：

步骤1、通过采集模块实时采集场景内的图像；

步骤2、通过处理模块对图像进行处理并检测图像中的人脸情况，若检测到人脸则进行步骤3；

步骤3、通过处理模块对违规行人进行跟踪，根据跟踪结果判断该行人是否继续穿行道路，若是则提取该行人的过程图和人脸图进行显示。

作为优选方案，还包括：

步骤4、通过传输模块将人脸图和过程图传至后台，通过比对识别模块对检测到的人脸图像进行特征提取，从而与数据库中的人脸进行对比，若数据库中存在此人则记录并更新数据，否则将此人图像保存至数据库中。

作为优选方案，步骤3中的跟踪方法包括如下步骤：

步骤31、根据人脸检测的结果开启相应数量的Camshift跟踪器，每个跟踪器对应一个图像中的一个人脸，将人脸和跟踪器进行编号以作为人脸和跟踪器的索引；

步骤32、通过Camshift得到人脸的实际跟踪位置，当人脸连续出现两帧以上时，则同时通过Kalman滤波器得到人脸的预测跟踪位置；

步骤33、判断跟踪窗口的背景是否是正常情况，若正常则以实际跟踪位置为标准并更新卡尔曼滤波器，若不正常则采用预测跟踪位置作为标准；

步骤34、判断实时位置是否在设定范围内，若不在范围内，则剔除该误差人脸，若在范围内则输出判断结果。

作为优选方案，通过Camshift算法得到人脸的实际跟踪位置的方法包括如下步骤：

步骤321、将图像进行颜色空间转换并得到搜索区域的颜色直方图；

步骤322、将颜色直方图进行反向投影得到彩色概率分布图像；

步骤323、确定搜索窗口的质心；

步骤324、移动窗口中心到质心位置并重置处理区域；

步骤325、判断中心位置与质心位置是否小于一定阈值，若是则输出质心位置和窗口大小，若否则返回323。

作为优选方案，步骤321中，将图像由RGB颜色空间转为HSV颜色空间。

作为优选方案，步骤34中，根据道路宽度将道路划分为若干虚拟检测带，然后在每个虚拟检测带处抓拍一张图像并对比提取一张最清晰地人脸图片予以显示。

作为优选方案，步骤2中，若检测到人脸还将具有该人脸的图像予以显示。

作为优选方案，步骤1中，场景为人行横道及其附近区域，采集模块还采集人行横道处的信号灯的工作状态，若信号灯为红灯则转向步骤2。

作为优选方案，步骤1中，若检测到红灯则发出相应的警告信号，若检测到绿灯则发出相应的提醒信号，警告信号或提醒信号以声音信号或光信号的形式发出。

本发明还公开了一种多人脸识别及跟踪系统，包括：

采集模块，用于实时采集场景内的图像，

数据处理模块，用于对图像进行处理并检测图像中的人脸情况，

比对识别模块，用于对检测到的人脸图像进行特征提取，从而与数据库中的人脸进行对比；

采集模块的输出端与数据处理模块的输入端连接，数据处理模块的输出端与比对识别模块连接。

本发明具有的有益效果：

1.能够对特定场景内满足条件的被测者进行有效的多人脸抓拍并进行多种形式的提示警告，并且通过多人脸跟踪及轨迹预测技术降低误差，提高识别效率。

2.提出的多人脸跟踪方法，解决了传统Camshift人脸跟踪算法存在手动设置跟踪框、目标跟踪单一、受背景干扰严重等问题，提高了跟踪的准确率，取得了很好的效果。

3.可用于行人闯红灯场景的监控，不仅可以对闯红灯的行人进行多种形式的提示报警，而且后台可以查询出该人闯红灯的次数，推动了智能交通、智慧城市的进展。

附图说明

图1为本发明中识别系统的硬件连接框图；

图2为本发明中识别方法的原理流程图；

图3为本发明中应用场合的示意图。

附图标记：

301双码流高清摄像机；302人脸LED小屏；303文字显示屏；304语音喇叭；305人脸LED大屏。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

如图1所示，一种多人脸识别及跟踪系统，包括：用于实时采集斑马线区域的图像和信号灯的状态的采集模块，用于对图像进行处理并检测图像中的人脸情况的数据处理模块，用于发出警告信号或提醒信号的报警模块，以及用于对检测到的人脸图像进行特征提取，从而与数据库中的人脸进行对比的比对识别模块。

采集模块输出端与数据处理模块的输入端连接，数据处理模块的一个输出端与报警模块的输入端连接，另一个输出端与比对识别模块连接。

采集模块包括双码流高清摄像机301和红灯信号检测器，双码流高清摄像机301分别设置于道路两侧用于对两个方向的行人进行抓拍，其一路高码率的码流将路口数据高清存储，低码率的码流则采集路口实时数据并用于网络传输。红灯信号检测器采集路口红绿灯信号，判断当前是否为红灯，若为红灯则该系统才启动检测和识别工作。

数据处理模块包括工业控制计算机，工业控制计算机先完成对采集的路口实时数据的光照、去噪等预处理工作，接着检测图像中是否有人脸，如有则系统启动跟踪工作，所有图像均通过光纤传输至服务器。

报警模块包括人脸LED小屏302、人脸LED大屏305、文字显示屏303和语音喇叭304，上述部件可根据道路情况设置于相应的位置，此处不再赘述。其中人脸LED小屏302用于显示行人刚违规时被拍到的人脸图像，人脸LED大屏305用于显示行人继续穿行道路时被系统跟踪而提取到的多张过程图像和人脸图像。文字显示屏303用于显示文字信号，如跑马灯的方式循环显示，语音喇叭304用于播报语音信号。文字信号和语音信号的内容可以为“请不要闯红灯”或“请注意交通安全”等，其中如“请不要闯红灯”等警告类信号在系统检测到红灯时发出，而如“请注意交通安全”等提醒类信号则在系统检测到非红灯时发出。

比对识别模块包括高性能服务器、个人终端和数据库，高性能服务器用于接收工业控制计算机传输的图像从而完成对图像的识别对比工作。个人终端则用于工作人员查询系统存储的信息等工作，数据库用于存放影像资料并记录次数和数据管理。

如图2所示，一种多人脸识别及跟踪方法，包括如下步骤：

步骤1、通过采集模块实时采集场景内的图像。作为一种典型的应用场景，采集模块中的双码流高清摄像机301实时采集斑马线区域的图像，采集模块中的红灯信号检测器检测信号灯的状态，若检测到信号灯为红灯，则进行步骤2；否则将发出提示信号。

步骤2、工业控制计算机对接收到的图像结合OpenCV视觉库进行预处理，然后基于改进AdaBoost检测算法对图像进行人脸检测，若检测到人脸则该人脸图像显示在人脸LED小屏302上并进行步骤3。在检测到人脸或是检测到信号灯为红灯时均可以发出警告信号。

步骤3、记录人脸在图像中的大小和位置，然后对违规行人进行跟踪，根据跟踪结果判断该行人是否继续穿行道路，若是则提取三张或更多该行人的过程图和人脸图像进行显示。跟踪方法包括如下步骤：

步骤31、根据人脸检测的结果(即人脸在图像中的大小和位置)开启相应数量的Camshift跟踪器并设置初始化搜索窗口。每个跟踪器对应一个图像中的一个人脸，将人脸和跟踪器进行编号，如开启两个Camshift跟踪器并分别标记为1号和2号，编号作为人脸和跟踪器的索引。建立索引能够将每个人脸作为指针数组存放在内存中防止跟踪过程中出现人脸跟错和混淆的情况。

步骤32、通过Camshift算法得到人脸的实际跟踪位置，当人脸连续出现两帧以上时，则同时通过Kalman滤波器得到人脸的预测跟踪位置。实际跟踪位置的获取方法包括如下步骤：

步骤321、将图像由由RGB颜色空间转为HSV颜色空间得到搜索区域的颜色直方图。

步骤322、将颜色直方图进行反向投影得到彩色概率分布图像。

步骤323、确定搜索窗口的质心。

步骤324、移动窗口中心到质心位置并重置处理区域。

步骤325、判断中心位置与质心位置是否小于一定阈值，若是则输出质心位置和窗口大小，若否则返回323。

步骤33、判断跟踪窗口的背景是否是正常情况，若正常则以实际跟踪位置为标准并更新卡尔曼滤波器，若不正常则采用预测跟踪位置作为标准。

步骤34、判断实时位置是否在设定范围内，若不在范围内，则剔除该误差人脸，若在范围内则输出判断结果。该步骤中，根据道路宽度将道路划分为若干虚拟检测带，如三个虚拟检测带；当行人进入某个虚拟检测带时触发双码流高清摄像机301拍照，然后提取三个虚拟检测带中拍摄到的最清晰地人脸图片作为特写，然后将三张过程图与人脸特写图合成为一张图片显示在人脸LED大屏305上。如图3所示，假定行人的移动方向为直线，以起始位置为顶点、左右偏移角度分别为5°(即α＝10°)而形成的三角形区域即为设定范围。

步骤4、工业控制计算机将人脸图和过程图(总共四张图片)通过FTP传至高性能服务器，通过高性能服务器对检测到的人脸图像进行特征提取，从而与数据库中的人脸进行对比，若数据库中存在此人则记录并更新数据(如记录其统计闯红灯次数)，否则将此人图像保存至数据库中。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种多人脸识别及跟踪方法，其特征在于，包括如下步骤：

步骤1、通过采集模块实时采集场景内的图像；

步骤2、通过处理模块对图像进行处理并检测图像中的人脸情况，若检测到人脸则进行步骤3；

步骤3、通过处理模块对违规行人进行跟踪，根据跟踪结果判断该行人是否继续穿行道路，若是则提取该行人的过程图和人脸图进行显示。

2.根据权利要求1所述的一种多人脸识别及跟踪方法，其特征在于：还包括：

步骤4、通过传输模块将人脸图和过程图传至后台，通过比对识别模块对检测到的人脸图像进行特征提取，从而与数据库中的人脸进行对比，若数据库中存在此人则记录并更新数据，否则将此人图像保存至数据库中。

3.根据权利要求1所述的一种多人脸识别及跟踪方法，其特征在于：步骤3中的跟踪方法包括如下步骤：

步骤31、根据人脸检测的结果开启相应数量的Camshift跟踪器，每个跟踪器对应一个图像中的一个人脸，将人脸和跟踪器进行编号以作为人脸和跟踪器的索引；

步骤32、通过Camshift算法得到人脸的实际跟踪位置，当人脸连续出现两帧以上时，则同时通过Kalman滤波器得到人脸的预测跟踪位置；

步骤33、判断跟踪窗口的背景是否是正常情况，若正常则以实际跟踪位置为标准并更新卡尔曼滤波器，若不正常则采用预测跟踪位置作为标准；

步骤34、判断实时位置是否在设定范围内，若不在范围内，则剔除该误差人脸，若在范围内则输出判断结果。

4.根据权利要求3所述的一种多人脸识别及跟踪方法，其特征在于：通过Camshift得到人脸的实际跟踪位置的方法包括如下步骤：

步骤321、将图像进行颜色空间转换并得到搜索区域的颜色直方图；

步骤322、将颜色直方图进行反向投影得到彩色概率分布图像；

步骤323、确定搜索窗口的质心；

步骤324、移动窗口中心到质心位置并重置处理区域；

步骤325、判断中心位置与质心位置是否小于一定阈值，若是则输出质心位置和窗口大小，若否则返回323。

5.根据权利要求4所述的一种多人脸识别及跟踪方法，其特征在于：步骤321中，将图像由RGB颜色空间转为HSV颜色空间。

6.根据权利要求3所述的一种多人脸识别及跟踪方法，其特征在于：步骤34中，根据道路宽度将道路划分为若干虚拟检测带，然后在每个虚拟检测带中处抓拍一张图像并对比提取一张最清晰地人脸图片予以显示。

7.根据权利要求1所述的一种多人脸识别及跟踪方法，其特征在于：步骤2中，若检测到人脸还将具有该人脸的图像予以显示。

8.根据权利要求1所述的一种多人脸识别及跟踪方法，其特征在于：步骤1中，所述场景为人行横道及其附近区域，所述采集模块还采集所述人行横道处的信号灯的工作状态，若信号灯为红灯则转向步骤2。

9.根据权利要求8所述的一种多人脸识别及跟踪方法，其特征在于：步骤1中，若检测到红灯则发出相应的警告信号，若检测到绿灯则发出相应的提醒信号，所述警告信号或提醒信号以声音信号或光信号的形式发出。

10.一种多人脸识别及跟踪系统，其特征在于：包括：

所述采集模块，用于实时采集场景内的图像，

所述数据处理模块，用于对图像进行处理并检测图像中的人脸情况，

所述比对识别模块，用于对检测到的人脸图像进行特征提取，从而与数据库中的人脸进行对比；

所述采集模块的输出端与所述数据处理模块的输入端连接，所述数据处理模块的输出端与所述比对识别模块连接。