CN113743304A - 一种用于视频监控的运动目标检测和识别方法 - Google Patents

Abstract

本发明公开了一种用于视频监控的运动目标检测和识别方法，所述方法包括以下步骤：训练图像目标识别模型；获取实时视频流，进行图像预处理；对预处理后的图像进行运动感知，检测是否存在运动目标；利用所述的图像目标识别模型对运动目标进行识别；所述的运动感知的过程采用局部敏感哈希算法，通过对比两张图像的局部敏感哈希向量获得检测结果。本发明方法判断是否有运动目标出现在监控范围内，既稳定又快速；运动目标检测和识别模块目标检测深度学习方法，准确性高，速度又快，且可以部署到监控摄像头前端；且将运动感知和目标检测识别分开，能大大的节省计算资源，降低能耗。

Description

一种用于视频监控的运动目标检测和识别方法

技术领域

本发明属于视频图像处理技术领域，具体涉及一种用于视频监控的运动目标检测和识别方法。

背景技术

由于现代社会人口密集程度高，社会关系复杂，日常人们需面对越来越多的突发和异常事件，几乎所有的公共场合都有部署监控的需求，面对海量的视频数据，如果完全靠人工进行监控，费时费力。因此，视频监控必须实现智能化，代替或辅助人工监控，用于解决实际问题。

智能监控系统一般是利用摄像机拍摄，实时获取视频流，接着将视频数据传入监控系统处理模块，此时模块会自动对视频中的目标进行检测、识别、跟踪等，以此发现监控区域内存在的异常情况，比如，监控区域内出现人、车、飞行物等入侵现象，发生这种情况就可以进行记录并警报处理。

在视频监控中，运动目标检测是极其重要的部分。运动目标检测也是计算机视觉领域的一个研究热点，其目的是从待检测的视频序列中把运动目标有效地从背景中提取出来，可理解为运动目标与背景的分类问题。在视频监控的发展过程中，运动目标检测的传统方法主要包括：光流法、背景差分法、帧差分法。其中，光流法比较耗费时间、计算复杂性大，并且抗噪声的能力差，实时性和实用性较差；背景差分法鲁棒性较差，动态场景的变化对结果有很大的影响，比如：光照的变化，天气的变化等；帧差分法，在运动目标运动缓慢，光照差或雨雪天气时，帧差分法的检测效果并不是很好。随着深度学习的兴起，运动目标检测可以使用深度学习模型完成，大大提高了其运动目标检测的准确性，但是深度学习运动目标检测模型需要耗费大量算力资源，监控前端部署较为困难。通常在安防领域，完成运动目标的定位后，还需要对运动目标进行识别，以找出感兴趣的运动目标，如人、车、飞行物等。目标识别目前使用深度学习算法进行，已经非常成熟可用，模型架构一般较为简单，且能完全部署在监控前端，无需在监控后端进行识别。

通过上面的分析可以看出，现有的目标检测和识别方法，并没有适用于多种检测背景和检测目标的通用算法，传统算法和深度学习算法各有优缺点。因此，找到一种解决方案既能稳定进行运动目标检测和识别，又能节省大量的计算资源，使得运动目标检测和识别可部署在监控摄像头前端，是非常有意义的。

发明内容

有鉴于此，为解决背景技术中存在的技术问题，本发明的目的在于提供一种用于视频监控的运动目标检测和识别方法，所述方法采用运动感知结合运动目标识别的思路，提出采用局部敏感哈希(LSH)算法，对监控视频中是否有运动目标侵入进行判断，如果一旦感知到有运动目标侵入，立即使用深度学习目标检测识别模型进行预测，判断该运动目标是否为感兴趣目标，并进行记录和警报处理，以此完成智能化视频监控。

基于上述目的，一种用于视频监控的运动目标检测和识别方法，包括以下步骤：

步骤1，训练图像目标识别模型；

步骤2，获取实时视频流，进行图像预处理；

步骤3，对预处理后的图像进行运动感知，检测是否存在运动目标；

步骤4，利用所述的图像目标识别模型对运动目标进行识别。

步骤3中所述的运动感知的过程包括以下步骤：

步骤301，对具有先后时序的两张图像，采用局部敏感哈希算法，计算出两张图像的局部敏感哈希向量；

Vector₁＝LSH(Image₁)

Vector₂＝LSH(Image₂)

其中，Image₁表示前一帧图像，Image₂表示后一帧图像，LSH(·)表示局部敏感哈希算法，Vector₁表示前一帧图像的局部敏感哈希向量，Vector₂表示后一帧图像的局部敏感哈希向量；

步骤302，利用Jaccard系数计算得到两个向量的相似度，计算公式如下：

其中，∩表示交操作，∪表示并操作；

步骤303，对所述的相似度进行判断，若相似度低于预设阈值，则认为图像中具有运动目标，反之，则认为图像中没有运动目标。

具体地，所述的图像目标识别模型的训练过程包括以下步骤：

步骤101，准备训练数据，从历史监控视频中提取出包含运动目标的图像，对运动目标的位置和类别进行标注，将标注数据进行预处理成N*N大小的图像；

步骤102，使用yolov3作为训练网络，采用联合损失函数作为损失函数，计算网络输出和原始标签之间的损失，具体公式为：

其中，

Loss＝λ_coordL_box+λ_classL_class+λ_nobjL_obj

其中，L_box表示预测结果中预测框损失；A表示预测框；B表示标注框；A_c表示预测中心的框；L_class表示预测类别损失；

表示如果在i,j处的预测框有目标，其值则为1，否则为0；S表示预测框大小；p_i(c)表示类别为c的概率；

表示类别为c的真实值；L_obj表示置信度误差；

表示如果在i,j处的预测框没有目标，其值则为1，否则为0，c_i表示预测类别；

表示实际类别；Loss表示总的损失函数；λ_coord表示L_box的权重，λ_class表示L_class的权重，λ_obj表示L_obj的权重；

步骤103，将训练数据输入所述的训练网络，使用梯度下降法迭代调整网络参数，使网络输出尽可能跟输入标注一致，训练结束。

具体地，步骤2中所述的图像预处理包括获取实时视频流数据的当前帧的图像，所述的图像原始宽高为(W,H)，先将所述的图像进行缩放处理，缩放比例为：

然后再进行填充处理，将图像填充到N*N大小。

本发明不采用传统的鲁棒性较差的光流法、背景差分、帧差分法进行运动目标检测，而是采用局部敏感哈希算法进行运动感知，判断是否有运动目标出现在监控范围内，既稳定又快速；而后，运动目标检测和识别模块目标检测深度学习方法，准确性高，速度又快，且可以部署到监控摄像头前端。将运动感知和目标检测识别分开，能大大的节省计算资源，降低能耗。

附图说明

图1为本发明方法的整体流程示意图；

图2为本发明实施例中图像缩放填充示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种用于视频监控的运动目标检测和识别方法，包括以下步骤：

步骤1，训练图像目标识别模型；

步骤2，获取实时视频流，进行图像预处理；

步骤3，对预处理后的图像进行运动感知，检测是否存在运动目标；

步骤4，利用所述的图像目标识别模型对运动目标进行识别。

在对运动目标进行检测和识别时，通过步骤1训练的图像目标识别模型进行运动目标定位和识别判断。这里的图像指的是日常监控视频中提取的一些单帧图像。

步骤1中的训练图像目标识别模型流程如下：

步骤101，准备训练数据：从历史监控视频中提取出包含人、车、飞行物等感兴趣运动目标的图像，对运动目标位置和类别进行标注，同一帧图像中允许存在不同类别的运动目标标注，同一帧图像中同一类别的运动目标允许存在多个标注，将标注数据进行预处理成640*640大小的图像。

步骤102，使用yolov3作为训练网络，使用联合损失函数作为损失函数，计算网络输出和原始标签之间的损失，其具体公式为：

其中，

Loss＝λ_coordL_box+λ_classL_class+λ_nobjL_obj

其中，L_box表示预测结果中预测框损失；A表示预测框；B表示标注框；A_c表示预测中心的框；L_class表示预测类别损失；

表示如果在i,j处的预测框有目标，其值则为1，否则为0；S表示预测框大小,本实施例中，预测框大小可为13,26或52，S²可以是13×13,26×26或52×52；p_i(c)表示类别为c的概率；

表示类别为c的真实值；L_obj表示置信度误差；

表示如果在i,j处的预测框没有目标，其值则为1，否则为0，c_i表示预测类别；

表示实际类别；Loss表示总的损失函数；λ_coord表示L_box的权重，λ_class表示L_class的权重，λ_obj表示L_obj的权重；L_box使用的是GIoU损失函数，本实施例中使用的参数是λ_coord＝0.45，λ_class＝0.3，λ_obj＝0.25，更偏向于位置的精度和类别的精度；

步骤103，将数据传入训练网络后，网络参数使用梯度下降法迭代确认，使网络输出尽可能跟输入标注一致。本实施例的置信度取0.2时，得到运动目标的位置预测框以及类别结果。

步骤2中获取实时视频流，进行预处理的过程如下：监控摄像头采集实时视频流数据，对当前帧图像进行预处理：图像原始宽高为(W，H)，需要进行缩放填充处理为640*640大小的图像，预处理过程如图2所示。

步骤3：对预处理后的图像进行运动感知，检测是否存在运动目标，包括以下步骤：采用局部敏感哈希(Locality Sensitive Hashing，LSH)算法，对图像进行哈希计算，使得两张图像中，如若两张图像无差别(无运动目标)，则同一空间点的哈希值在两张图像中是一致的，计算出两张图像的局部敏感哈希向量。

Vector₁＝LSH(Image₁)

Vector₂＝LSH(Image₂)

其中，Image₁表示前一帧图像，Image₂表示后一帧图像，LSH(·)表示局部敏感哈希算法，Vector₁表示前一帧图像的局部敏感哈希向量，Vector₂表示后一帧图像的局部敏感哈希向量；

再利用Jaccard系数即可得到两个向量的相似度。

其中，∩表示交操作，∪表示并操作；

根据得到的相似度进行判断，本实施例中如果相似度低于98％，则判断有物体入侵监控区域，反之则判断没有物体入侵监控区域。

步骤4中，如果有物体入侵监控区域，则通过运动目标检测识别模型(即步骤1训练得到的模型)，预测得到运动目标的位置和类别。得到运动目标的位置和类别后，进行记录和警报，以及其他操作。

由发明内容和实施例可知，本发明提出的智能监控方案是运动感知+运动物体检测和识别，有别于常规的目标检测+物体识别解决方案，即不采用传统的鲁棒性较差的光流法、背景差分、帧差分法进行运动目标检测，而是采用局部敏感哈希算法进行运动感知，判断是否有运动目标出现在监控范围内，既稳定又快速。而后，运动目标检测和识别模块目标检测深度学习方法，准确性高，速度又快，且可以部署到监控摄像头前端。将运动感知和目标检测识别分开，能大大的节省计算资源，降低能耗。

Claims (3)

1.一种用于视频监控的运动目标检测和识别方法，其特征在于，包括以下步骤：

步骤1，训练图像目标识别模型；

步骤2，获取实时视频流，进行图像预处理；

步骤3，对预处理后的图像进行运动感知，检测是否存在运动目标；

步骤4，利用所述的图像目标识别模型对运动目标进行识别；

步骤3中所述的运动感知的过程包括以下步骤：

步骤301，对具有前后时序的两张图像，采用局部敏感哈希算法，计算出两张图像的局部敏感哈希向量；

Vector₁＝LSH(Image₁)

Vector₂＝LSH(Image₂)

其中，Image₁表示前一帧图像，Image₂表示后一帧图像，LSH(·)表示局部敏感哈希算法，Vector₁表示前一帧图像的局部敏感哈希向量，Vector₂表示后一帧图像的局部敏感哈希向量；

步骤302，利用Jaccard系数计算得到两个向量的相似度，计算公式如下：

其中，∩表示交操作，∪表示并操作；

步骤303，对所述的相似度进行判断，若相似度低于预设阈值，则认为图像中具有运动目标，反之，则认为图像中没有运动目标。

2.根据权利要求1所述的一种用于视频监控的运动目标检测和识别方法，其特征在于，所述的图像目标识别模型的训练过程包括以下步骤：

步骤101，准备训练数据，从历史监控视频中提取出包含运动目标的图像，对运动目标的位置和类别进行标注，将标注数据进行预处理成N*N大小的图像；

步骤102，使用yolov3作为训练网络，采用联合损失函数作为损失函数，计算网络输出和原始标签之间的损失，具体公式为：

其中，

Loss＝λ_coordL_box+λ_classL_class+λ_nobjL_obj

其中，L_box表示预测结果中预测框损失；A表示预测框；B表示标注框；A_c表示预测中心的框；L_class表示预测类别损失；

表示如果在i,j处的预测框有目标，其值则为1，否则为0；S表示预测框大小，p_i(c)表示类别为c的概率；

表示类别为c的真实值；L_obj表示置信度误差；

表示如果在i,j处的预测框没有目标，其值则为1，否则为0，c_i表示预测类别；

表示实际类别；Loss表示总的损失函数；λ_coord表示L_box的权重，λ_class表示L_class的权重，λ_obj表示L_obj的权重；

步骤103，将训练数据输入所述的训练网络，使用梯度下降法迭代调整网络参数，使网络输出尽可能跟输入标注一致，训练结束。

3.根据权利要求1或2所述的一种用于视频监控的运动目标检测和识别方法，其特征在于，步骤2中所述的图像预处理包括获取实时视频流数据的当前帧的图像，所述的图像原始宽高为(W,H)，先将所述的图像进行缩放处理，缩放比例为：

然后再进行填充处理，将图像填充到N*N大小。

Images