CN110633680A - 一种基于视频的人数异常检测方法 - Google Patents

Abstract

本发明创造提供了一种基于视频的人数异常检测方法，S1、收集样本，训练人员检测模型；通过标注样本中的人员，在darknet框架下训练yolo模型；S2、设置监控区域和允许人数异常时长；S3、对监控区域的视频图像进行预处理，去除图像噪点；S4、利用深度学习Yolo模型，对图像进行检测，获得区域中人员的位置与置信度。本发明创造通过对原有的yolo网络进行裁剪，达到了效果和性能上指标上的平衡，解决了原有网络性能差的问题；通过利用大量样本与样本增强，增加了样本的多样性，提高了各种各样人员得检测效果，再加上对人数异常时长的计算方法的设置，减少了误检对人数异常警报的影响。

Description

一种基于视频的人数异常检测方法

技术领域

本发明创造属于视频监控技术领域，尤其是涉及一种基于视频的人数异常检测方法。

背景技术

随着社会的进步与发展，有时候区域内人数异常往往是异常事件发生的重要信号，很多重点场所几乎已经做到了无盲点监控，但是面对几百路甚至上千路的电视墙，监察人员往往容易注意力分散，无法对人数异常做到及时的发现。因此，基于视频的人数异常检测技术至关重要。

现有的人数异常检测技术通常检测图像中的人，统计人数，判断人数是否异常。但录制的视频清晰程度不同，人员在视频中的角度、姿势各式各样，远近也不一，人员检测结果不准确会导致人数检测结果时而异常时而正常，现有的技术无法保证人数异常检测的正确率，无法做出正确的人数异常警报。

发明内容

有鉴于此，本发明创造旨在克服上述现有技术中存在的缺陷，提出一种基于视频的人数异常检测方法。

为达到上述目的，本发明创造的技术方案是这样实现的：

一种基于视频的人数异常检测方法，包括：

S1、收集样本，训练人员检测模型；通过标注样本中的人员，在darknet 框架下训练yolo模型；

S2、设置监控区域和允许人数异常时长；

S3、对监控区域的视频图像进行预处理，去除图像噪点；

S4、利用深度学习Yolo模型，对图像进行检测，获得区域中人员的位置与置信度；

S5、对图像中的人员进行筛选，得到图像中该区域的人数；

S6、统计人数异常时间，当达到设置的允许人数异常时长后发出报警。

进一步的，所述步骤S1中训练人员检测模型的具体方法如下：

S11、对样本进行样本增强处理；通过对样本图像进行旋转变换、亮度变换以及裁剪变换，增加样本的多样性；

S12、对样本中的人员进行标注，得到最终的训练样本；

S13、标注完成后，对yolo网络进行裁剪；通过调整卷积层的通道数，调整卷积层数，平衡其性能和效果指标；

S14、在darknet框架下，将训练剪裁后的yolo网络进行多次迭代，获得最终的检测模型；通过多次迭代，调整yolo网络参数，可以降低yolo网络的损失函数，损失函数如下：

L＝L_xy+L_wh+L_conf+L_class

其中，L_xy是监测目标框中心的位置损失，L_wh是检测目标框的宽高损失， L_conf是检测目标框的置信度损失，L_class是检测目标的类别损失。

进一步的，所述步骤S4的具体方法如下：利用步骤S1中训练得到的深度学习yolo模型，对步骤S3中得到的图像进行检测，模型检测图像，同时输出图像中的目标框、该目标框的置信度、以及该目标框内目标的类别；所述目标框由该目标框中心点的横坐标、中心点的纵坐标、目标框的宽度以及目标框的高度组成。

进一步的，所述步骤S5的具体步骤如下：

S51、获得步骤S4中的目标框、以及目标框的置信度，目标框的个数表示为n_all；

S52、一次排除误检，滤除置信度小于0.5的目标框，此次滤除的目标框的个数表示为n_conf＜0.5；

S53、二次排除误检，滤除高大于图像高度50％、宽大于图像宽度50％、高小于图像高度10％、或宽小于图像宽度10％的目标框，此次滤除的目标框的个数表示为n_wh；

S54、三次排除误检，滤除目标框中心在步骤S2所设置监控区域外的目标，此次滤除的目标框个数表示为n_unvalid；

S55、计算最终剩下的目标框个数，即为本帧图像中的人员数量，计算公式为：

n＝n_all-n_conf＜0.5-n_wh-n_unvalid

其中，n_conf＜0.5为一次排出误检中滤除的目标框个数，n_wh为二次排出误检中滤除的目标框个数，n_unvalid为三次排出误检中滤除的目标框个数。

进一步的，所述步骤S6中统计人数异常时间的具体方法如下：

S61、当从第一帧开始，第一帧图像中处于异常状态，则进行时间累加；初始时间计算公式如下：

其中，t_cur表示当前系统时间，t_start表示开始计时时的系统时间， t_startlast表示上一帧时的起始时间，t_start＝t_startlast表示起始时间不变，S_cur表示当前帧人数状态，当前帧人数异常时取1，人数非异常时取0；S_cur-1表示前一帧的人数状态，S_cur-2表示当前帧开始倒数第三帧的人数状态，S_cur-1和S_cur-2的取值方法与S_cur的取值方法相同；

累加时长T的计算公式如下：

S62、当连续三帧图像检测到人数非异常，则对累加的时间进行清零，再次检测到人数异常时，时间重新开始累加。

相对于现有技术，本发明创造具有以下优势：

本发明为解决现有技术存在的问题而提出，其目的是基于各种分辨率各种清晰度的视频，在视频里人员远近不同、姿势角度各异的情况下，及时正确的对人数异常情况检测出来，实现人数异常的高效检测。

本发明提供的一种基于视频的人数异常检测方法，实现了人数异常监督的自动化，不仅省去了大量的人力成本和时间成本，而且有效提升了检测准确率，降低了误警率与漏警率，本发明具有多种场景的适用性。

本发明创造通过对原有的yolo网络进行裁剪，达到了效果和性能上指标上的平衡，解决了原有网络性能差的问题；通过利用大量样本与样本增强，增加了样本的多样性，提高了各种各样人员得检测效果，再加上对人数异常时长的计算方法的设置，减少了误检对人数异常警报的影响。

附图说明

构成本发明创造的一部分的附图用来提供对本发明创造的进一步理解，本发明创造的示意性实施例及其说明用于解释本发明创造，并不构成对本发明创造的不当限定。在附图中：

图1为本发明创造实施例所述的基于视频的人数异常检测方法的工作流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明创造中的实施例及实施例中的特征可以相互组合。

在本发明创造的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明创造和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明创造的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明创造的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明创造的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明创造中的具体含义。

下面将参考附图并结合实施例来详细说明本发明创造。

一种基于视频的人数异常检测方法，如图1所示，包括：

S1、收集样本，训练人员检测模型；通过标注样本中的人员，在darknet 框架下训练yolo模型；

S2、设置监控区域和允许人数异常时长；人为设置监控区域和允许人数异常时长；具体为，人为将监控的区域标出，同时将区域中想排除的区域标出，并且设置允许人数异常保持的最大时长；

S3、对监控区域的视频图像进行预处理，去除图像噪点；具体的，可以将视频分成图像帧，逐帧处理，其中，去除图像噪点主要是利用高斯滤波的方法对获得的视频图像进行滤波降噪处理，高斯滤波的具体操作方法是：臊面图像中的每一个像素，用一个像素相邻域内像素的加权平均灰度值去代替该像素点的值，已达到去除噪点的目的；

S4、利用深度学习Yolo模型，对图像进行检测，获得区域中人员的位置与置信度；

S5、对图像中的人员进行筛选，得到图像中该区域的人数；

S6、统计人数异常时间，当达到设置的允许人数异常时长后发出报警。

所述步骤S1中训练人员检测模型的具体方法如下：

S11、对样本进行样本增强处理；通过对样本图像进行旋转变换、亮度变换以及裁剪变换，增加样本的多样性；

S12、对样本中的人员进行标注，得到最终的训练样本；

S13、标注完成后，对yolo网络进行裁剪，调整卷积层的通道数，调整卷积层数，平衡其性能和效果指标，最后对标注完的样本进行k-means聚类，根据聚类结果修改每个yolo层的anchor大小，完成网络的修改；

S14、在darknet框架下，将训练剪裁后的yolo网络进行多次迭代，获得最终的检测模型；通过多次迭代，调整yolo网络参数，可以降低yolo网络的损失函数；

具体的，收集样本，训练人员检测模型。其中，样本的场景多种多样，样本中的人要覆盖各种可能的姿势和角度，样本中也包括没有人但容易误检到人的场景；样本收集完后对样本做图像增强，增加样本的多样性；增强完后，对样本中的人进行标注；标注完成后，对现有yolo网络进行裁剪，使其保证性能和效果上的指标平衡；最后在darknet框架下用之前得到的训练样本训练裁剪好的yolo网络，多次迭代，调整网络参数，使其损失函数越来越小；损失函数如下：

L＝L_xy+L_wh+L_conf+L_class

其中，L_xy是监测目标框中心的位置损失，L_wh是检测目标框的宽高损失， L_conf是检测目标框的置信度损失，L_class是检测目标的类别损失。

具体的，可以进行迭代20万次，使yolo网络的损失函数变得很小，大大提高了检测模型的精度，有利于提高人数异常检测的准确性。

所述步骤S4的具体方法如下：利用步骤S1中训练得到的深度学习yolo 模型，对步骤S3中得到的图像进行检测，模型检测图像，同时输出图像中的目标框、该目标框的置信度、以及该目标框内目标的类别，本发明创在中目标的类别只有人这一类；所述目标框由该目标框中心点的横坐标、中心点的纵坐标、目标框的宽度以及目标框的高度组成。

所述步骤S5的具体步骤如下：

S51、获得步骤S4中的目标框、以及目标框的置信度，目标框的个数表示为n_all；

S52、一次排除误检，滤除置信度小于0.5的目标框，此次滤除的目标框的个数表示为n_conf＜0.5；

S53、二次排除误检，滤除高大于图像高度50％、宽大于图像宽度50％、高小于图像高度10％、或宽小于图像宽度10％的目标框，此次滤除的目标框的个数表示为n_wh；

S54、三次排除误检，滤除目标框中心在步骤S2所设置监控区域外的目标，此次滤除的目标框个数表示为n_unvalid；

S55、计算最终剩下的目标框个数，即为本帧图像中的人员数量，计算公式为：

n＝n_all-n_conf＜0.5-n_wh-n_unvalid

其中，n_conf＜0.5为一次排出误检中滤除的目标框个数，n_wh为二次排出误检中滤除的目标框个数，n_unvalid为三次排出误检中滤除的目标框个数；

具体的，对步骤S4中得到的人员进行筛选，得到此帧图像该区域中的人数。具体为，获得步骤S4中检测得到的人与相应得分后，首先滤除得分小于0.5的结果，排除误检；然后对未被滤除的结果根据位置坐标计算检测到的人员目标的长和宽，滤除高大于图像高度50％、或宽大于图像宽度50％、或高小于图像高度10％、或宽小于图像宽度10％的目标，排除误检；最后滤除位置中心在步骤S2中画出的想排除的区域中的目标。计算最终剩下的目标个数，即为本帧人数。

所述步骤S6中统计人数异常时间的具体方法如下：

S61、当从第一帧开始，第一帧图像中处于异常状态，则进行时间累加；初始时间计算公式如下：

其中，t_cur表示当前系统时间，t_start表示开始计时时的系统时间， t_startlast表示上一帧时的起始时间，t_start＝t_startlast表示起始时间不变，S_cur表示当前帧人数状态，当前帧人数异常时取1，人数非异常时取0；S_cur-1表示前一帧的人数状态，S_cur-2表示当前帧开始倒数第三帧的人数状态，S_cur-1和S_cur-2的取值方法与S_cur的取值方法相同；

累加时长T的计算公式如下：

其中，T表示人数异常累积时长；直到T超过步骤S2中设置的最大允许时长，发出人数异常警告。

S62、当连续三帧图像检测到人数非异常，则对累加的时间进行清零，再次检测到人数异常时，时间重新开始累加；

具体的，统计人数异常的时间，达到步骤S2中设置的最大时长发出警告。具体为，从第三帧开始，如果当前帧图像中人数处于异常状态，则进行时间累加；如果连续三帧图像检测到人数非异常，则对之前累加的时间清零，这样可以排除一两帧图像误检的影响；清零后如果再检测到人数异常，时间重新开始累加，其中时间用的是系统时间。

本发明为解决现有技术存在的问题而提出，其目的是基于各种分辨率各种清晰度的视频，在视频里人员远近不同、姿势角度各异的情况下，及时正确的对人数异常情况检测出来，实现人数异常的高效检测。

本发明提供的一种基于视频的人数异常检测方法，实现了人数异常监督的自动化，不仅省去了大量的人力成本和时间成本，而且有效提升了检测准确率，降低了误警率与漏警率，本发明具有多种场景的适用性。

本发明创造通过对原有的yolo网络进行裁剪，达到了效果和性能上指标上的平衡，解决了原有网络性能差的问题；通过利用大量样本与样本增强，增加了样本的多样性，提高了各种各样人员得检测效果，再加上对人数异常时长的计算方法的设置，减少了误检对人数异常警报的影响。

以上所述仅为本发明创造的较佳实施例而已，并不用以限制本发明创造，凡在本发明创造的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明创造的保护范围之内。

Claims (5)

1.一种基于视频的人数异常检测方法，其特征在于，包括：

S1、收集样本，训练人员检测模型；通过标注样本中的人员，在darknet框架下训练yolo模型；

S2、设置监控区域和允许人数异常时长；

S3、对监控区域的视频图像进行预处理，去除图像噪点；

S4、利用深度学习Yolo模型，对图像进行检测，获得区域中人员的位置与置信度；

S5、对图像中的人员进行筛选，得到图像中该区域的人数；

S6、统计人数异常时间，当达到设置的允许人数异常时长后发出报警。

2.根据权利要求1所述的一种基于视频的人数异常检测方法，其特征在于，所述步骤S1中训练人员检测模型的具体方法如下：

S11、对样本进行样本增强处理；通过对样本图像进行旋转变换、亮度变换以及裁剪变换，增加样本的多样性；

S12、对样本中的人员进行标注，得到最终的训练样本；

S13、标注完成后，对yolo网络进行裁剪；通过调整卷积层的通道数，调整卷积层数，平衡其性能和效果指标；

S14、在darknet框架下，将训练剪裁后的yolo网络进行多次迭代，获得最终的检测模型；通过多次迭代，调整yolo网络参数，可以降低yolo网络的损失函数，损失函数如下：

L＝L_xy+L_wh+L_conf+L_class

其中，L_xy是监测目标框中心的位置损失，L_wh是检测目标框的宽高损失，L_conf是检测目标框的置信度损失，L_class是检测目标的类别损失。

3.根据权利要求1所述的一种基于视频的人数异常检测方法，其特征在于，所述步骤S4的具体方法如下：利用步骤S1中训练得到的深度学习yolo模型，对步骤S3中得到的图像进行检测，模型检测图像，同时输出图像中的目标框、该目标框的置信度、以及该目标框内目标的类别；所述目标框由该目标框中心点的横坐标、中心点的纵坐标、目标框的宽度以及目标框的高度组成。

4.根据权利要求3所述的一种基于视频的人数异常检测方法，其特征在于，所述步骤S5的具体步骤如下：

S51、获得步骤S4中的目标框、以及目标框的置信度，目标框的个数表示为n_all；

S52、一次排除误检，滤除置信度小于0.5的目标框，此次滤除的目标框的个数表示为n_conf＜0.5；

S53、二次排除误检，滤除高大于图像高度50％、宽大于图像宽度50％、高小于图像高度10％、或宽小于图像宽度10％的目标框，此次滤除的目标框的个数表示为n_wh；

S54、三次排除误检，滤除目标框中心在步骤S2所设置监控区域外的目标，此次滤除的目标框个数表示为n_unvalid；

S55、计算最终剩下的目标框个数，即为本帧图像中的人员数量，计算公式为：

n＝n_all-n_conf＜0.5-n_wh-n_unvalid

其中，n_conf＜0.5为一次排出误检中滤除的目标框个数，n_wh为二次排出误检中滤除的目标框个数，n_unvalid为三次排出误检中滤除的目标框个数。

5.根据权利要求1所述的一种基于视频的人数异常检测方法，其特征在于，所述步骤S6中统计人数异常时间的具体方法如下：

S61、当从第一帧开始，第一帧图像中处于异常状态，则进行时间累加；初始时间计算公式如下：

其中，t_cur表示当前系统时间，t_start表示开始计时时的系统时间，t_startlast表示上一帧时的起始时间，t_start＝t_startlast表示起始时间不变，S_cur表示当前帧人数状态，当前帧人数异常时取1，人数非异常时取0；S_cur-1表示前一帧的人数状态，S_cur-2表示当前帧开始倒数第三帧的人数状态，S_cur-1和S_cur-2的取值方法与S_cur的取值方法相同；

累加时长T的计算公式如下：

S62、当连续三帧图像检测到人数非异常，则对累加的时间进行清零，再次检测到人数异常时，时间重新开始累加。

Images