CN109919058A - 一种基于Yolo V3的多源视频影像重点目标快速检测方法 - Google Patents

Abstract

本发明公开一种基于Yolo V3的多源视频影像重点目标快速检测方法，利用“天网系统”所获得的可见光监控视频与热红外监控视频数据源，依据所监测重点嫌疑目标的先验材料，将获取的视频帧图像进行校正后制作训练数据图集，作为输入对目标检测模型Yolo V3进行多尺度训练，利用上述训练所得模型对实时多源监控视频进行快速检测，输出重点嫌疑目标可能出现的区域范围，在所述区域内用搭载有多源数据采集传感器的无人机对目标进行锁定与追踪，将无人机获取的多源影像数据输入到所述目标探测模型中，输出嫌疑目标确切位置。本发明为重点嫌疑目标快速检测与锁定提供一种全天时、大范围、精细化的方法。

Description

一种基于Yolo V3的多源视频影像重点目标快速检测方法

技术领域

本发明涉及视频图像处理以及目标探测技术领域，尤其涉及一种基于Yolo V3探测模型的多源视频影像重点目标快速检测方法。

背景技术

“天眼监控系统”是我国政府为预防犯罪、维护国家社会安宁所采取的重要举措，它的建设使我国能以稳定安全的社会环境享誉全世界。目前，我国政府在诸如交通枢纽、人流密集区域以及其它重要场合，建设了‘天眼视频监控系统’，使用多源视频监控技术，包括普通可见光视频监控技术以及可用于夜晚监控的红外视频监控技术等其它监控手段，使违法犯罪行为无所遁形，对抓捕罪犯、维护社会安定具有重要意义。在现有技术中，对犯罪嫌疑人进行锁定往往需要大量的警力物力对所获监控视频影像进行人工审阅，摸排搜索，效率较低，结果往往不尽如人意，且需要承担严重的安全风险。而嫌疑人如果驾驶交通工具逃离的话，搜索难度更是会无限加大，极大地占用公共安全资源，社会成本高。因此，需要建立一种快速的响应机制，对所述重点可疑目标进行检测与定位，辅助后续决策与执法行动，打造智能的犯罪监控系统，对维护社会安全具有重要意义。

此外，近年来，由于其自身轻便小巧、操作简便、性能优异，成本相对较低，能搭载多种传感器设备来完成多种类任务的特性，无人机(Unmanned Aerial Vehicle，UAV)无论在理论、技术还是应用方面都得到空前发展。伴随着高性能电池技术，平衡起降飞行技术，数字远程通信技术等多方面的发展，使得无人机在起降、飞行、运力、远程通讯等方面性能日趋完善，功能越来越强大，在更多领域得到应用，特别是在一些人类难以到达的危险区域应用尤为广泛，在军事侦察、交通监控等领域占据着十分重要的地位。因此，利用无人机这一卓越的数据采集平台对车辆等重点嫌疑目标进行检测具有良好的应用前景。此外，随着热红外传感器的不断发展，凭借其卓越的夜间成像能力，能够对白天的可见光传感器数据进行补充，进行全天不间断的监控与目标探测。通过可见光与热红外数据的融合使用也可以丰富图像细节信息，提高图像识别系统的应用范围和系统鲁棒性，提高抗干扰性和结果可信度。

发明内容

本发明目的是提供一种基于Yolo V3的多源视频影像重点目标快速检测方法，所述方法基于天网系统多源视频监控影像以及无人机获取的多源影像对重点可疑目标，尤其是车辆、嫌疑人等目标进行快速检测，通过无人机动态监控与天网系统静态监控相结合，克服现有靠人工来对监控视频进行反复筛选与目标甄别的技术中存在的缺陷，增强了对所述可疑目标检测的灵活性，全天时、大范围、精细化地对嫌疑目标进行快速检测，拓展目标检测方法的应用范围。

为达到上述目的，本发明采用的技术方案是：一种基于Yolo V3的多源视频影像重点目标快速检测方法，包括以下步骤：

步骤一、获取往期多源即多传感器获取的区域视频监控数据；

步骤二、基于所述往期区域视频监控数据，通过视频帧截取得到所述往期监控视频的图像格式数据，并对所述图像数据进行几何校正与超分辨率重建预处理，得到预处理后的图像；

步骤三、联合重点嫌疑目标的先验材料，对预处理后的图像数据进行所述嫌疑目标的目标信息标注，构建训练、验证与测试对应的数据集；

步骤四、将所述数据集输入到目标检测模型Yolo V3中进行训练与交叉验证，输出训练好的重点嫌疑目标快速探测模型；

步骤五、将所述嫌疑目标所有可能藏匿点及潜逃路线所对应的实时监控视频输入到所述重点嫌疑目标快速探测模型中进行检测，输出所述嫌疑目标出现的区域；

步骤六、对所述嫌疑目标出现的区域利用无人机飞行器进行多源影像数据采集并用训练好的快速检测模型进行目标检测，在影像上对所述重点嫌疑目标进行精准定位，综合上述多源数据的目标检测信息，根据定位结果对目标进行锁定与追踪。

进一步的，步骤一所述往期区域视频监控数据包括：可见光传感器监控数据，热红外传感器监控数据；其中可见光传感器在白昼对重点区域进行高分辨率监控，热红外传感器在夜晚对目标进行监控，从而达到全天时监控的效果。

进一步的，步骤二中超分辨率重建采用基于生成式对抗网络的影像超分重建方法，具体实现方式如下，

生成式对抗网络的目标函数如式(2)所示：

其中maxmin表示生成模块与判别模块进行博弈，直至达到纳什均衡；D为判别器，G为生成器，E表示取平均值；F_l表示真实图像，即高分辨率图像；D(F_l)表示将当前图像判别为真实图像的概率，所述概率越高越好，并尽量将真实图像判别为真，将生成图像判别为假；G(F_s|f)表示生成模块，(F_s|f)表示待重建的低分辨率影像，生成器希望生成的图像尽可能为真；log(1-D(G(F_s|f)))为生成损失，其值越小越好；为判别损失，其值越大越好；W_i，j与H_i，j表示像素行列的个数，I^HR表示高分影像，I^LR表示低分影像，(G_θ(I^LR))表示重建后的影像，为激活函数。

进一步的，步骤三所述嫌疑目标的先验数据包括但不限于以下选项：所述嫌疑目标的驾驶车辆信息，所述嫌疑目标的可疑路线信息，所述嫌疑目标的人物画像信息，所述嫌疑目标的社会关系网络。

进一步的，步骤四中获得重点嫌疑目标快速探测模型的具体实现方式如下，

a.设置所述目标检测模型Yolo V3的训练超参数，其中，所述训练超参数包括批处理尺寸(batch size)，类别信息包括目标与背景，权值衰减，学习率，动量；

b.配置所述目标检测模型Yolo V3的训练环境，其中，所述训练环境包括以下依赖库以及工具：GPU、CUDA、Opencv；

c.按比例划分出训练、验证与测试数据集进行模型训练与交叉验证，获得对应的重点嫌疑目标快速探测模型；

d.基于所述数据集，采用数据集增强技术，对所述数据集进行多角度旋转，尺度缩放操作，并作为输入，对目标检测模型Yolo V3模型进行多尺度、多角度训练，增强模型泛化能力，采用交叉训练与验证的方式，得到最终的所述目标快速探测模型，其目标优化函数如公式(3)所示，包括分类误差与定位误差：

其中λ_coord表示权重，一般定位误差比重大，分类误差权重较小；表示栅格中是否有目标出现，若出现值取为1，不出现为0,i,j表示图像上所划分栅格的行列值；x_i、y_i与表示预测边界框的中心点坐标与长宽值的平方根，与表示ground truth里的标注边界框的中心点坐标与长宽值的平方根；表示含有目标的边界框预测值，c_i为预测置信度，为ground truth里目标置信度，显然值为1；表示不含目标的边界框预测值；表示类别预测，其中判断是否有目标的中心点落在栅格中，若有，则该栅格就负责预测目标的类别概率值，p_i(c)表示预测类别概率值，表示ground truth里目标概率值，值通常取1。

本发明详细介绍了基于目标检测方法Yolo V3，利用多源影像数据，对重点嫌疑目标进行精确识别与定位的方法，通过无人机动态监控与天网监控系统静态监控相结合，全天时、精细化地对目标进行锁定。相比于传统的靠人工来对监控视频进行反复筛选与目标甄别的方法，该方法能对重点可疑目标进行快速、智能化检测与提取，提升抓捕成功率，降低安全风险。

附图说明

附图1为本发明一种基于Yolo V3多源视频影像重点目标快速检测方法的详细流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明一种基于Yolo V3多源视频影像重点目标快速检测方法做进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

基于所述目标检测方法Yolo V3，利用多传感器获取的多源影像数据，对重点嫌疑车辆目标进行检测与追踪，通过无人机动态监控与静态监控相结合，对嫌疑车辆目标进行定位。下面结合附图及实施例对本发明作进一步描述：

步骤一、获取往期多源即多传感器获取的区域视频监控数据；

所述往期区域视频监控数据包括：可见光传感器监控数据，热红外传感器监控数据，即通过‘天网系统’进行静态监控。所述可见光传感器在白昼可以对重点区域进行高分辨率监控，所述热红外传感器则可以在夜晚对目标进行监控，从而达到全天时监控的效果。

步骤二、基于所述往期区域视频监控数据，通过视频帧截取得到所述往期监控视频的图像格式数据，所得图像需包含与嫌疑车辆类似的目标，以制作后续的训练数据集。对所述图像数据进行几何校正与超分辨率重建预处理，得到预处理后的图像；

1.对所述往期区域视频监控数据进行视频帧截取，获得图像数据。图像数据尺寸通常为500-1000像素，适于所述目标信息标注与图像处理。

2.对所述图像数据进行几何校正，消除因摄影材料变形、物镜畸变所造成的图像变形。利用控制点进行的几何校正，用一种数学模型来近似描述图像的几何畸变过程，利用畸变的遥感图像与标准地图之间的一些对应点(即控制点数据对)求得这个几何畸变模型，然后利用此模型进行几何畸变的校正。其中有两个关键环节：一是像素坐标变换，二是像元灰度值重采样。畸变图像上的像元坐标(u,v)和输出图像上的像元坐标(x,y)之间的关系可用如下的多项式(1)近似表达。根据一组已知的地面控制点GCP(Ground Control Point)在畸变图像中(u,v)和在输出图像中对应坐标(x,y)，按最小二乘法原理可获得a_jk和b_jk的值，确定校正多项式。多项式公式如下(1)所示，其中a_jk和b_jk为多项式系数，m为多项式的阶数，j,k代表二元多项式的次幂：

3.对所述图像数据进行超分辨率重建，采用基于生成式对抗网络的影像超分重建方法，基于图像内容生成与真假图像对抗的思想，对获取的图像进行超分重建，提升影像的分辨率，获得更清晰的影像，其目标函数如下(2)所示：

其中maxmin表示模型的生成模块与判别模块进行博弈，直至达到纳什均衡；D为判别器，G为生成器，E表示取平均值。F_l表示真实图像，即高分辨率图像；D(F_l)表示将当前图像判别为真实图像的概率，所述概率越高越好，并尽量将真实图像判别为真，将生成图像判别为假；G(F_s|f)表示生成模块，(F_s|f)表示待重建的低分辨率影像，生成器希望生成的图像尽可能为真；log(1-D(G(F_s|f)))为生成损失，其值越小越好； 为判别损失，其值越大越好。损失函数中前两个分支属于对抗损失，其训练遵循生成式对抗网络交替训练的原则，先训练判别器再训练生成器，然后进行所述交叉训练，生成分辨率更高的图像；后半部分属于感知损失，感知知损失是利用卷积神经网络提取出的特征，通过比较所述生成图像经过卷积神经网络后的特征和原始目标图像经过卷积神经网络后的特征的差别并，使生成图片像和原始目标图像在语义和风格上更相似。其中W_i，j与H_i，j表示像素行列的个数，I^HR表示高分影像，I^LR表示低分影像，(G_θ(I^LR))表示重建后的影像，为激活函数。

步骤三、联合嫌疑车辆目标的先验数据，对处理后的图像数据进行所述嫌疑目标的信息标注，构建训练、验证与测试对应的数据集；

所述嫌疑车辆目标的先验数据根据搜集走访情况应包括但不限于以下选项：所述嫌疑目标的驾驶车辆信息；所述嫌疑目标的可疑路线信息；所述嫌疑目标的人物画像信息；所述嫌疑目标的社会关系网络。联合所述嫌疑车辆目标的先验数据，通过上述步骤二的图像预处理，对质量改善后的图像进行所述嫌疑目标的目标信息标注，制作训练、验证数据集。具体内容包括：对校正后的图像数据，联合嫌疑目标的先验数据，进行所述嫌疑目标的目标信息标注，标注软件采用Labelme工具，操作时选取多尺寸、多角度的车辆目标地物进行标注，提升模型的泛化能力，从而构建训练、验证与测试对应的数据集。

步骤四、将所述数据集输入到所述Yolo V3训练模型中，对目标检测模型Yolo V3进行训练与交叉验证，输出训练好的重点嫌疑车辆目标快速探测模型；

所述监控视频帧数为25-30帧，目标探测模型Yolo V3每秒可处理50帧图像，满足对多源视频影像进行检测的要求。对目标检测模型Yolo V3进行训练的详细步骤包括：

a.设置所述目标检测模型Yolo V3的训练超参数，其中，所述训练超参数包括批处理尺寸(batch size)，设置为64，类别信息根据数据集设置为2，即包括目标与背景，权值衰减设为0.0001，学习率设为0.001，动量设为0.9；

b.配置所述目标检测模型Yolo V3的训练环境，其中，所述训练环境包括以下依赖库以及工具：GPU、CUDA、Opencv；

c.按比例6:2:2划分出训练、验证与测试数据集进行模型训练与交叉验证，获得对应的重点嫌疑目标快速探测模型。

d.基于所述数据集，采用数据集增强技术，对所述数据集进行多角度旋转，尺度缩放操作，并作为输入，对目标检测模型Yolo V3模型进行多尺度、多角度训练，增强模型泛化能力。采用交叉训练与验证的方式，得到最终的所述重点嫌疑目标快速探测模型，其优化目标函数如公式(3)所示：

其中λ_coord表示权重，一般定位误差比重大，分类误差权重较小；表示栅格中是否有目标出现，若出现值取为1，不出现为0,i,j表示图像上所划分栅格的行列值；x_i、y_i与表示预测边界框的中心点坐标与长宽值的平方根，与表示groundtruth里的标注边界框的中心点坐标与长宽值的平方根；表示含有目标的边界框预测值，c_i为预测置信度，为ground truth里目标置信度，显然值为1；表示不含目标的边界框预测值；表示类别预测，其中判断是否有目标的中心点落在栅格中，若有，则该栅格就负责预测目标的类别概率值，p_i(c)表示预测类别概率值，表示ground truth里目标概率值，值通常取1。

步骤五、将所述嫌疑车辆目标所有可能藏匿点及潜逃路线所对应的实时监控视频输入到所述重点嫌疑目标快速探测模型中进行检测，输出所述嫌疑目标的位置及出现的区域；

1.根据案件所发生的地点、时间、性质等特性以及其它所述嫌疑目标先验材料，以大范围、长时序为原则推断嫌疑车辆目标所有可能藏匿点及潜逃路线，获取相应实时视频监控数据进行目标检测。

2.训练Yolo V3探测模型，在数据、模型、优化与求解方面以应用为导向，训练高效的重要目标检测框架。通过训练集的制作与增强、模型构建、优化目标函数设计以及各种超参数合理设定、运行环境配置等，使模型能够达到预定的效果。

步骤六、对嫌疑目标出现的区域利用无人机飞行器进行多源影像数据采集并用训练好的快速检测模型进行目标检测，在影像上对所述重点嫌疑目标进行精准定位，综合上述多源数据的目标检测信息，对目标进行锁定与追踪。

嫌疑目标，特别是车辆目标是动态的，具有快速移动的特性。利用无人机目标检测与追踪模块，对‘天网系统’监控视频快速检测得到的车辆目标出现的区域利用无人机飞行器进行多源影像数据采集与目标检测与追踪，得到所述嫌疑目标的精确位置信息。‘天网系统’监控覆盖范围大，但监控区域固定；无人机监控覆盖面积小，但更加灵活。特别是若所述可疑区域被标记为危险区域，例如易燃易爆区域等使执法人员的人身安全存在隐患的区域，则对于‘天网系统’监控检测获得的所述可疑区域利用无人机飞行器进行飞行监控，采集多源影像数据，通过重点嫌疑目标快速探测模型对所述多源影像数据进行目标探测，利用探测得到的结果进行目标锁定与追踪。具体步骤包括：

1.基于搭载多种数据获取传感器的无人机平台对所述可疑区域进行视频及图像等多源数据采集；

2.将所述多源影像数据输入到所述重点嫌疑目标快速探测模型中，对所述车辆目标进行提取，得到嫌疑车辆目标的位置信息。通过无人机动态监控与前述步骤中‘天网系统’静态监控结果相结合，获得更精细的目标识别结果与更精确目标位置锁定。

3.所述无人机飞行器，包括电源、充电设备，配备有飞行平衡控制器且具备良好的电池系统、GPS定位模块等，并支持其它模块拓展；可搭载于无人机上的可见光相机、热红外相机以及相机固定架；电脑主板、地面监控客户端软件；通讯模块，一般使用4G通讯链路与基站；电脑主板安装有图像采集卡驱动，采用图像采集卡配套的SDK开发结构，编程同步获取可见光相机和热红外相机的采集数据，利用安装于电脑主板上的4G模块，通过自动拨号连接基站，所述地面监控客户端连接至基站，保证搭载在无人机的电脑主板与地面监控客户端相连，使无人机上获取的影像能够传输到地面设备上来。无人机电压电流等均采用设备自带标准格式。热红外相机的波长范围为8～14μm，分辨率为640×480像素。无人机通过可见光与红外传感器获取区域影像，进行影像传输时，采用压缩-传输-解码的方式，将无人机上压缩后的图像传输到地面监控客户端，采用对应的解码工具进行影像解码操作，具体解压缩方式依据影像属性而定。

本发明是一种基于Yolo V3的多源视频影像重点目标快速检测方法，详细介绍了基于目标检测方法Yolo V3，利用多传感器获取的多源影像数据，对重点嫌疑目标精确识别与定位。本发明应用于刑侦领域，但不仅仅局限于所述刑侦警务领域，也可以应用到诸如军事、交通、城市管理等诸多领域，在有效规避安全风险的同时经实验表明能快速的对目标进行精确检测与识别。

应该注意到并理解，在不脱离后附的权利要求所要求的本发明的精神和范围的情况下，能够对上述详细描述的本发明做出各种修改和改进。因此，要求保护的技术方案的范围不受所给出的任何特定示范教导的限制。

Claims (5)

1.一种基于Yolo V3的多源视频影像重点目标快速检测方法，其特征在于，包括以下步骤：

步骤一、获取往期多源即多传感器获取的区域视频监控数据；

步骤二、基于所述往期区域视频监控数据，通过视频帧截取得到所述往期监控视频的图像格式数据，并对所述图像数据进行几何校正与超分辨率重建预处理，得到预处理后的图像；

步骤三、联合重点嫌疑目标的先验材料，对预处理后的图像数据进行所述嫌疑目标的目标信息标注，构建训练、验证与测试对应的数据集；

步骤四、将所述数据集输入到目标检测模型Yolo V3中进行训练与交叉验证，输出训练好的重点嫌疑目标快速探测模型；

步骤五、将所述嫌疑目标所有可能藏匿点及潜逃路线所对应的实时监控视频输入到所述重点嫌疑目标快速探测模型中进行检测，输出所述嫌疑目标出现的区域；

步骤六、对所述嫌疑目标出现的区域利用无人机飞行器进行多源影像数据采集并用训练好的快速检测模型进行目标检测，在影像上对所述重点嫌疑目标进行精准定位，综合上述多源数据的目标检测信息，对目标进行锁定与追踪。

2.根据权利要求1所述的一种基于Yolo V3的多源视频影像重点目标快速检测方法，其特征在于：步骤一所述往期区域视频监控数据包括：可见光传感器监控数据，热红外传感器监控数据；其中可见光传感器在白昼对重点区域进行高分辨率监控，热红外传感器在夜晚对目标进行监控，从而达到全天时监控的效果。

3.根据权利要求1所述的一种基于Yolo V3的多源视频影像重点目标快速检测方法，其特征在于：步骤二中超分辨率重建采用基于生成式对抗网络的影像超分重建方法，具体实现方式如下，

生成式对抗网络的目标函数如式(2)所示：

其中maxmin表示生成模块与判别模块进行博弈，直至达到纳什均衡；D为判别器，G为生成器，E表示取平均值；F_l表示真实图像，即高分辨率图像；D(F_l)表示将当前图像判别为真实图像的概率，所述概率越高越好，并尽量将真实图像判别为真，将生成图像判别为假；G(F_s|f)表示生成模块，(F_s|f)表示待重建的低分辨率影像，生成器希望生成的图像尽可能为真；log(1-D(G(F_s|f)))为生成损失，其值越小越好；为判别损失，其值越大越好；W_i，j与H_i，j表示像素行列的个数，I^HR表示高分影像，I^LR表示低分影像，(G_θ(I^LR))表示重建后的影像，为激活函数。

4.根据权利要求1所述的一种基于Yolo V3的多源视频影像重点目标快速检测方法，其特征在于：步骤三所述嫌疑目标的先验数据包括但不限于以下选项：所述嫌疑目标的驾驶车辆信息，所述嫌疑目标的可疑路线信息，所述嫌疑目标的人物画像信息，所述嫌疑目标的社会关系网络。

5.根据权利要求1-4任一权利要求所述的一种基于Yolo V3的多源视频影像重点目标快速检测方法，其特征在于：步骤四中获得重点嫌疑目标快速探测模型的具体实现方式如下，

a.设置所述目标检测模型Yolo V3的训练超参数，其中，所述训练超参数包括批处理尺寸(batch size)，类别信息包括目标与背景，权值衰减，学习率，动量；

b.配置所述目标检测模型Yolo V3的训练环境，其中，所述训练环境包括以下依赖库以及工具：GPU、CUDA、Opencv；

c.按比例划分出训练、验证与测试数据集进行模型训练与交叉验证，获得对应的重点嫌疑目标快速探测模型；

d.基于所述数据集，采用数据集增强技术，对所述数据集进行多角度旋转，尺度缩放操作，并作为输入，对目标检测模型Yolo V3模型进行多尺度、多角度训练，增强模型泛化能力，采用交叉训练与验证的方式，得到最终的所述目标快速探测模型，其目标优化函数如公式(3)所示，包括分类误差与定位误差：

其中λ_coord表示权重，一般定位误差比重大，分类误差权重较小；表示栅格中是否有目标出现，若出现值取为1，不出现为0,i,j表示图像上所划分栅格的行列值；x_i、y_i与表示预测边界框的中心点坐标与长宽值的平方根，与表示ground truth里的标注边界框的中心点坐标与长宽值的平方根；表示含有目标的边界框预测值，c_i为预测置信度，为ground truth里目标置信度，显然值为1；表示不含目标的边界框预测值；表示类别预测，其中判断是否有目标的中心点落在栅格中，若有，则该栅格就负责预测目标的类别概率值，p_i(c)表示预测类别概率值，表示ground truth里目标概率值，值通常取1。