CN110781853B - 人群异常检测方法以及相关装置 - Google Patents

Abstract

本申请公开了一种人群异常检测方法以及相关装置。其中，人群异常检测方法包括：对摄像器件拍摄得到的原始图像进行运动目标检测，得到原始图像中包含运动人群的目标区域图像；对目标区域图像进行光流检测，得到目标区域图像每个像素点的光流信息；基于目标区域图像每个像素点的光流信息，获取目标区域图像每个像素点的运动速度；统计目标区域图像中运动速度满足预设筛选条件的目标像素点的数目；基于统计得到的目标像素点的数目，确定是否存在人群异常情况。上述方案，能够提高人群异常检测的准确性和速度。

Description

人群异常检测方法以及相关装置

技术领域

本申请涉及图像处理技术领域，特别是涉及一种人群异常检测方法以及相关装置。

背景技术

目前，人们在工作、学习之余的活动越来越丰富，例如，广场活动、旅游活动、购物活动等等，这些活动均存在一个共同点：人群密集，而人群中个体行为又不尽相同，很难进行甄别，由此可能会造成严重的后果。有鉴于此，如何提高人群异常检测的准确性和速度成为亟待解决的问题。

发明内容

本申请主要解决的技术问题是提供一种人群异常检测方法以及相关装置，能够提高人群异常检测的准确性和速度。

为了解决上述问题，本申请第一方面提供了一种人群异常检测方法，包括：对摄像器件拍摄得到的原始图像进行运动目标检测，得到原始图像中包含运动人群的目标区域图像；对目标区域图像进行光流检测，得到目标区域图像每个像素点的光流信息；基于目标区域图像每个像素点的光流信息，获取目标区域图像每个像素点的运动速度；统计目标区域图像中运动速度满足预设筛选条件的目标像素点的数目；基于统计得到的目标像素点的数目，确定是否存在人群异常情况。

为了解决上述问题，本申请第二方面提供了一种人群异常检测装置，包括相互耦接的存储器和处理器，人群异常检测方法处理器用于执行人群异常检测方法存储器存储的程序指令，以实现上述第一方面中的人群异常检测方法。

为了解决上述问题，本申请第三方面提供了一种存储装置，存储有能够被处理器运行的程序指令，程序指令用于实现上述第一方面中的人群异常检测方法。

上述方案，通过对摄像器件拍摄得到的原始图像进行运动目标检测，得到原始图像中包含运动人群的目标区域图像，并对目标区域图像进行光流检测，得到目标区域图像每个像素点的光流信息，基于目标区域图像每个像素点的光流信息，获取目标区域图像每个像素点的运动速度，从而统计目标区域图像中运动速度满足预设筛选条件的目标像素点的数目，进而基于统计得到的目标像素点的数目，确定是否存在人群异常情况，由于光流检测以及后续对目标像素点的统计都是基于原始图像中包含运动人群的目标区域图像，故此，能够尽可能地排除不必要的背景等无关图像信息的干扰，提高人群异常检测的准确性，此外，还能够减少不必要的背景等无关图像信息的光流计算，减轻人群异常检测的负荷，有利于提高人群异常检测的速度。

附图说明

图1是本申请人群异常检测方法一实施例的流程示意图；

图2是原始图像一实施例的示意图；

图3是图1中步骤S11一实施例的流程示意图；

图4是图3中步骤S112一实施例的流程示意图；

图5是连通域区域一实施例的示意图；

图6是图4中步骤S113一实施例的流程示意图；

图7是将图5中候选区域的图像组合为待检测图像一实施例的示意图；

图8是本申请人群异常检测方法另一实施例的流程示意图；

图9是图8中步骤S83一实施例的流程示意图；

图10是图1中步骤S14一实施例的流程示意图；

图11是图1中步骤S15一实施例的流程示意图；

图12是本申请人群异常检测装置一实施例的框架示意图；

图13是本申请人群异常检测装置另一实施例的框架示意图；

图14是本申请存储装置一实施例的框架示意图。

具体实施方式

下面结合说明书附图，对本申请实施例的方案进行详细说明。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。

本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。

请参阅图1，图1是本申请人群异常检测方法一实施例的流程示意图，具体而言，本实施例人群异常检测方法可以包括如下步骤：

步骤S11：对摄像器件拍摄得到的原始图像进行运动目标检测，得到原始图像中包含运动人群的目标区域图像。

摄像器件可以为夜视摄像头、红外摄像头等等。根据应用场景的不同可以选择不同类型的摄像器件。例如，针对环境幽暗、采光不佳的场所，摄像器件可以为夜视摄像头、红外摄像头；针对光线明亮的室内场所，摄像器件可以为一般的数字摄像头、网络摄像头；而针对室外无遮挡的场景，摄像器件可以防水摄像头，本实施例不做具体限制。

在一个具体的应用场景中，摄像器件可以假设在高处，从而摄像器件可以实现俯视监控。在其他实施场景中，摄像器件也可以采用其他架设方式，本实施例在此不做具体限制。

请结合参阅图2，图2是原始图像一实施例的示意图。如图2所示，对原始图像P进行运动目标检测，从而得到原始图像P中包含运动人群的目标区域图像P′。在一个实施场景中，目标区域图像P′的数量可以是1个、2个、3个等等，本实施例在此不做具体限制。

本实施例中，可以首先对原始图像进行运动检测，从而检测得到原始图像中的运动区域，例如：运动人群的区域、行驶车辆的区域、飞翔的鸟类区域等等，再对这些区域进行检测识别，排除非人群区域，从而得到包含运动人群的目标区域图像。具体地，运动检测的方法可以包括但不限于：VIBE(Visual Background Extractor，视觉背景提取)检测、帧间差分检测、背景差分检测，本实施例在此不做具体限制。关于VIBE检测、帧间差分检测、背景差分检测的具体技术细节为领域的现有技术，本实施例在此不再赘述。此外，对运动区域的检测识别可以基于CNN(Convolutional Neural Networks，卷积神经网络)，也可以基于YOLO(You Only Look Once)、SSD(Single Shot MultiBox Detector)等等，本实施例在此不做具体限制。关于CNN、YOLO、SSD的具体技术细节为本领域的现有技术，本实施例在此不再赘述。

步骤S12：对目标区域图像进行光流检测，得到目标区域图像每个像素点的光流信息。

光流(Optical Flow or Optic Flow)是关于视觉域中的物体运动检测中的概念，用来描述相对于观察者的运动所造成的观测目标表面或边缘的运动。物体在运动的时候之所以能够被人眼发现，就是因为当物体运动时，会在人的视网膜上形成一系列的连续变化的图像，这些变化信息在不同时间不断地流过眼睛视网膜，就好像一种光流动经过一样，故称之为光流。

在一个实施场景中，光流信息可以包括像素点在二维坐标轴上的坐标信息，例如前一帧图像中的像素点1的光流信息表示为二维坐标轴上的坐标信息(X_1,t，Y_1,t)，或者前一帧图像中的像素点2的光流信息表示为二维坐标轴上的坐标信息(X_2,t，Y_2,t)，或者后一帧图像中的像素点1的光流信息表示为二维坐标轴上的坐标信息(X_1,t+1，Y_1,t+1)，或者后一帧图像中的像素点2的光流信息表示为二维坐标轴上的坐标信息(X_2,t+1，Y_2,t+1)等等，本实施例不再一一举例。

在另一个实施场景中，像素点的光流信息还可以进一步包括像素点的光流位移，仍以上述像素点1和像素点2为例，通过上述坐标信息，可以进一步获得像素点1的光流位移为

获得像素点2的光流位移为

当像素点的坐标信息为其他数值时，可以以此类推，本实施例在此不再一一举例。

关于光流检测的方法目前有：基于梯度的方法、基于匹配的方法、基于能量的方法等等。比较典型的有：霍恩-山克方法(Horn-Schunck Method)、卢卡斯-卡纳德方法(Lucas-Kanade Method)等等。光流检测的方法为本领域的现有技术，本实施例在此不再赘述。

本实施例中，对目标区域图像进行光流检测的方法具体可以是稠密光流法，通过目标区域图像进行逐点匹配，得到目标区域图像所有像素点的光流位移。关于稠密光流的具体计算方法为本领域中的现有技术，本实施例在此不再赘述。

此外，本实施例中，对目标区域图像的光流检测是对原始图像中所有目标区域图像执行的，故此，能够得到原始图像中所有目标区域图像中每个像素点的光流信息。

步骤S13：基于目标区域图像每个像素点的光流信息，获取目标区域图像每个像素点的运动速度。

本实施例中，目标区域图像每个像素点的运动速度表示其在真实场景中的实际运动速度。举例来说，目标区域图像中某一像素点在真实场景中位于行人肩部，则该像素点的运动速度表示该像素点对应行人肩部位置的实际运动速度，当目标区域图像中的像素点在真实场景中位于行人其他区域时，可以以此类推，本实施例在此不再一一举例。

在一个实施场景中，每个像素点的光流信息可以包括像素点在前后两帧图像之间的光流位移，从而可以利用目标区域图像每个像素点的实际长度，从而计算出对应像素点的实际位移，再利用前后两帧之间的时间差，将对应像素点的实际位移与时间差之间的商，作为该对应像素点的运动速度。本实施例中，前后两帧之间的时间差即为摄像器件拍摄原始图像的帧率的倒数，例如，摄像器件拍摄原始图像的帧率为25Hz，则前后两帧之间的时间差为1/25秒。

步骤S14：统计目标区域图像中运动速度满足预设筛选条件的目标像素点的数目。

在一个实施场景中，在获得目标区域图像中每个像素点的运动速度之后，根据运动人群的速度特征，可以剔除出不符合运动人群的速度特征的像素点，剩余的像素点即为符合运动人群的速度特征的像素点。运动人群的速度特征可以包括运动人群的速度下限和速度上限，速度下限可以是运动人群的正常行走速度，速度上限可以是运动人群的奔跑极限速度，运动速度在两者之间的像素点即是符合运动人群的速度特征的像素点。

在此基础上，目标像素点可以是筛选得到的符合运动人群的速度特征的像素点中运动速度大于一预设速度阈值的像素点，且该预设速度阈值小于上述速度上限。在一个实施场景中，预设速度阈值可以是正常行走速度的预设倍数，例如，3倍的正常行走速度、3.5倍的正常行走速度等等，本实施例在此不再一一举例。在另一个实施场景中，预设速度阈值还可以是奔跑极限速度的预设倍数，例如，0.9倍的奔跑极限速度，0.7倍的奔跑极限速度等等，本实施例在此不再一一举例。

本实施例中，对原始图像中所检测到的所有目标区域图像中的像素点进行运动速度的统计，从而得到原始图像中所有目标区域图像中满足预设筛选条件的目标像素点的数目。

步骤S15：基于统计得到的目标像素点的数目，确定是否存在人群异常情况。

在一个实施场景中，可以基于统计得到的目标像素点的数目，以及上述筛选得到的符合运动人群的速度特征的像素点的数目，计算目标像素点在筛选得到的符合运动人群的速度特征的像素点中所占的比例，若该比例大于一预设比例阈值，则说明目标区域图像中的运动人群在较大范围内存在速度过快的情况，此时，可以认为存在人群异常情况。

在另一个实施场景中，还可以对获取摄像器件拍摄得到的多帧原始图像，并获得和每帧原始图像所对应的目标像素点的数目，从而当连续预设数量帧的原始图像存在目标像素点的数目筛选得到的符合运动人群的速度特征的像素点的数目之间的比例大于一预设比例阈值时，可以确定存在人群异常情况。

上述方案，通过对摄像器件拍摄得到的原始图像进行运动目标检测，得到原始图像中包含运动人群的目标区域图像，并对目标区域图像进行光流检测，得到目标区域图像每个像素点的光流信息，基于目标区域图像每个像素点的光流信息，获取目标区域图像每个像素点的运动速度，从而统计目标区域图像中运动速度满足预设筛选条件的目标像素点的数目，进而基于统计得到的目标像素点的数目，确定是否存在人群异常情况，由于光流检测以及后续对目标像素点的统计都是基于原始图像中包含运动人群的目标区域图像，故此，能够尽可能地排除不必要的背景等无关图像信息的干扰，提高人群异常检测的准确性，并减少不必要的背景等无关图像信息的光流计算，减轻人群异常检测的负荷，有利于提高人群异常检测的速度。

请参阅图3，图3是图1中步骤S11一实施例的流程示意图。具体而言，可以包括如下步骤：

步骤S111：对原始图像进行运动检测，得到原始图像中与运动对象对应的至少一个运动区域。

本实施例中，运动检测的方法可以包括但不限于：VIBE(Visual BackgroundExtractor，视觉背景提取)检测、帧间差分检测、背景差分检测，本实施例在此不做具体限制。关于VIBE检测、帧间差分检测、背景差分检测的具体技术细节为领域的现有技术，本实施例在此不再赘述。

通过对原始图像进行运动检测，可以检测出原始图像中与运动对象对应的至少一个运动区域。本实施例中，运动对象包括但不限于：运动人群、运动车辆，从而检测到的与运动对象对应的至少一个运动区域可以包括但不限于：运动人群区域、运动车辆区域。

步骤S112：对运动区域的图像进行预处理，确定运动区域的图像中包含运动对象的候选区域。

为了排除其他无关图像信息的干扰，可以对运动区域的图像进行预处理，例如：降噪处理、边缘提取等等，本实施例在此不做具体限制。

在一个具体的实施场景中，请结合参阅图4，图4为图3中步骤S112一实施例的流程示意图，对运动区域的图像进行预处理，确定运动区域的图像中包含运动对象的候选区域可以包括如下步骤：

步骤S1121：对至少一个运动区域的图像进行降噪处理，并对降噪处理之后的运动区域的图像进行连通域分析，得到至少一个连通域区域。

本实施例中，在对至少一个运动区域的图像进行降噪处理时，具体可以滤除至少一个运动区域的图像的噪点，并将滤除的噪点所对应的像素点的像素值设置为预设像素值。

在一个实施场景中，为了提升噪点滤出效果，在过滤运动区域的图像的噪点时，可以首先对运动区域的图像进行二值化处理，将运动区域的图像上的像素点的像素值设置为0或255，然后过滤二值化处理之后的运动区域的图像中的噪点，再对过滤噪点之后的运动区域的图像进行均值滤波，得到与运动区域的图像对应的预处理图像，然后，再对预处理图像进行二值化处理，再过滤二值化处理之后的预处理图像中的噪点。二值化处理的具体方法可以是双峰法、P参数法、迭代法中的任一种，本实施例在此不做具体限制，关于双峰法、P参数法、迭代法的具体技术细节为本领域的现有技术，本实施例在此不再赘述。此外，可以采样邻域分析或连通域分析的方法进行噪点过滤，具体地，采样邻域分析或连通域分析的方法进行噪点过滤的具体步骤为本领域的现有技术，本实施例在此不再赘述。本实施例中，可以采用3*3均值滤波器对过滤噪点之后的运动区域的图像进行均值滤波。

在另一个实施场景中，预设像素值为255与噪点的像素值之差，例如，噪点的像素值为255时，则将滤除的噪点所对应的像素点的像素值设置为0，或者，噪点的像素点为0时，则将滤除的噪点所对应的像素点的像素值设置为255，从而将所滤除的噪点对应的像素点的像素值设置为图像背景像素值。

连通域(Connected Component)一般是是指图像中具有相同像素且位置相邻的前景像素点所组成的图像区域。在图像中，最小的单位是像素，每个像素点周围有8个邻接像素点，常见的邻接关系有2种：4邻接和8邻接。4邻接一共有4个像素点，即上下左右，8邻接一共有8个像素点，在4邻接的基础上，还进一步包括左上、左下、右上、右下。

请结合参阅图5，图5是连通域区域一实施例的示意图。如图5所示，降噪处理之后的运动区域的图像Q，对图像Q进行连通域分析，可以得到连通域区域Q₁和连通域区域Q₂。当降噪处理之后的运动区域的图像为图5所示的图像之外的其他图像时，可以以此类推，本实施例在此不再一一举例。

连通域分析的具体方法可以包括Two-Pass(二次扫描)方法、Seed-Filling(种子填充)方法，本实施例在此不做具体限制。关于Two-Pass方法、Seed-Filling方法的具体技术细节为本领域的现有技术，本实施例在此不再赘述。

步骤S1122：将连通域区域作为原始图像中包含运动对象的候选区域，并记录候选区域在原始图像中的位置坐标。

请继续参阅5，如图5所示，将连通域区域Q₁和连通域区域Q₂作为原始图像中包含运动对象的候选区域，并记录候选区域在原始图像中的位置坐标，具体地，可以记录候选区域中每个像素点在原始图像中的位置坐标。

步骤S113：利用预设检测模型对候选区域的图像进行检测，筛选包含运动人群的候选区域的图像。

具体地，请结合参阅图6，图6是图3中步骤S113一实施例的流程示意图。具体而言，可以采用如下步骤筛选包含运动人群的候选区域的图像：

步骤S1131：将候选区域的图像组合为待检测图像。

将候选区域的图像组合为待检测图像，本实施例中，在组合时，对候选区域的图像在待检测图像中的具体位置不做限制，请结合参阅图7，图7是将图5中候选区域的图像组合为待检测图像一实施例的示意图。如图7所示，待检测图像Q′中包含图5中的候选区域Q₁和候选区域Q₂的图像，且待检测图像Q′的尺寸小于降噪处理之后的运动区域的图像Q的尺寸，从而使得候选区域Q₁和候选区域Q₂在待检测图像Q′中的排布更加紧凑，本实施例中，在将候选区域的图像组合为待检测图像之后，记录候选区域的图像在待检测图像中的位置坐标，例如，当将候选区域Q₁和候选区域Q₂的图像组合为待检测图像Q′之后，记录候选区域Q₁和候选区域Q₂的图像在待检测图像Q′中的位置坐标。

步骤S1132：利用预设检测模型对待检测图像进行检测，确定包含运动人群的候选区域的图像。

预设检测模型可以是基于CNN、YOLO、SSD而得到的，本实施例在此不做具体限制。其中，本实施例中，预设检测模型是利用包含运动人群的样本图像进行神经网络训练而得到的，从而通过对待检测图像的检测，可以确定待检测图像中包含运动人群的候选区域的图像，此时可以同时记录这些包含运动人群的候选区域的图像在待检测图像中的位置坐标，并根据在待检测图像中的位置坐标确定候选区域的图像在降噪处理之后的运动区域的图像的位置坐标。

步骤S114：将原始图像中与筛选得到的候选区域的图像对应的部分图像作为原始图像中的目标区域图像。

本实施例中，具体可以将原始图像中与筛选得到的候选区域的位置坐标一致的部分图像作为目标区域图像，从而可以得到原始图像中包含运动人群的目标区域图像。

区别于前述实施例，上述方案，对原始图像进行运动检测，得到原始图像中与运动对象对应的至少一个运动区域，再对运动区域的图像进行预处理，确定运动区域的图像中包含运动对象的候选区域，利用预设检测模型对候选区域的图像进行检测，筛选包含运动人群的候选区域的图像，并将原始图像中与筛选得到的候选区域的图像对应的部分图像作为原始图像中的目标区域图像，能够减少背景干扰，提高人群异常检测的准确性。

请参阅图8，图8是本申请人群异常检测方法另一实施例的流程示意图。具体而言，可以包括如下步骤：

步骤S81：对摄像器件拍摄得到的原始图像进行运动目标检测，得到原始图像中包含运动人群的目标区域图像。

具体请参阅上述实施例中的步骤S11。

步骤S82：对目标区域图像进行光流检测，得到目标区域图像每个像素点的光流信息。

本实施例中的光流信息包括光流位移，具体请参阅上述实施例中的步骤S12。

步骤S83：基于原始图像中的参考物，获取原始图像中每个像素点的实际长度。

为了更加准确地目标区域图像中每个像素点的运动速度，可以基于原始图像中的参考物，获取原始图像中每个像素点的实际长度。具体地，请结合参阅图9，图9是图8中步骤S83一实施例的流程示意图，可以包括：

步骤S831：利用原始图像中不同位置坐标处的参考物的实际长度，以及参考物在原始图像中沿长度方向所占的像素点个数，计算原始图像中不同位置坐标的像素点的实际长度。

原始图像中不同位置坐标处的参考物可以是垂直参考物，例如：路灯杆、公交站牌等等，本实施例在此不做具体限制。

本实施例中，所选取的参考物可以位于原始图像中的左侧、右侧、上侧、下侧、中间等不同位置，本实施例在此不再一一举例。

例如，位于原始图像左侧的参考物的实际长度为L₁，在原始图像沿长度方向所占的像素点个数为N₁，则在该参考物在原始图像中的位置坐标为(x₁,y₁)，该位置坐标处每个像素点的实际长度为

同理，位于原始图像右侧的参考物的实际长度为L₂，在原始图像沿长度方向所占的像素点个数为N₂，则在该参考物在原始图像中的位置坐标为(x₂,y₂)，该位置坐标处每个像素点的实际长度为

同理，位于原始图像上侧的参考物的实际长度为L₃，在原始图像沿长度方向所占的像素点个数为N₃，则在该参考物在原始图像中的位置坐标为(x₃,y₃)，该位置坐标处每个像素点的实际长度为

同理，位于原始图像下侧的参考物的实际长度为L₄，在原始图像沿长度方向所占的像素点个数为N₄，则在该参考物在原始图像中的位置坐标为(x₄,y₄)，该位置坐标处每个像素点的实际长度为

同理，位于原始图像中间的参考物的实际长度为L₅，在原始图像沿长度方向所占的像素点个数为N₅，则在该参考物在原始图像中的位置坐标为(x₅,y₅)，该位置坐标处每个像素点的实际长度为

当所选取的参考物位于原始图像中的其他位置时，可以以此类推，本实施例在此不再一一举例。

步骤S832：利用预设数据拟合方式对计算得到的不同位置坐标的像素点的实际长度进行拟合，得到原始图像中像素点的位置坐标与像素点的实际长度之间的函数关系。

预设数据拟合方式可以是最小二乘法、梯度下降法、共轭梯度法、列文伯格-马夸尔特法(Levenberg-Marquardt Method)等等，本实施例在此不做具体限制。关于最小二乘法、梯度下降法、共轭梯度法、列文伯格-马夸尔特法的具体技术细节为本领域的现有技术，本实施例在此不再赘述。

当利用预设数据拟合方式对计算得到的不同位置坐标的像素点的实际长度进行拟合后，可以得到像素点的位置坐标与像素点的实际长度之间的函数关系。

步骤S833：利用得到的函数关系和原始图像中每个像素点的位置坐标，计算得到原始图像中对应像素点的实际长度。

当得到像素点的位置坐标和像素点的实际长度之间的函数关系之后，可以利用该函数关系以及原始图像中各个像素点的位置坐标，计算得到原始图像中各个像素点的实际长度。

步骤S84：将目标区域图像中像素点的光流位移、实际长度以及摄像器件拍摄原始图像的帧率的乘积，作为目标区域图像中对应像素点的运动速度。

例如，目标区域图像中某一像素点的光流位移为N个像素，该像素点位置处每个像素点的实际长度为L，且摄像器件拍摄原始图像的帧率为F，则可以通过下式计算得到该像素点的运动速度：

v＝N*L*F

步骤S85：统计目标区域图像中运动速度满足预设筛选条件的目标像素点的数目。

具体请参阅上述实施例中的步骤S14。

步骤S86：基于统计得到的目标像素点的数目，确定是否存在人群异常情况。

具体请参阅上述实施例中的步骤S15。

区别于前述实施例，上述方案，基于原始图像中的参考物，获取原始图像中每个像素点的实际长度，从而将目标区域图像中像素点的光流位移、实际长度以及摄像器件拍摄原始图像的帧率的乘积，作为目标区域图像中对应像素点的运动速度，能够根据原始图像中每个像素点的实际长度，在此基础上再计算目标区域图像中像素点的运动速度，从而可以提高运动速度计算的准确性，进而提高人群异常检测的准确性。

请参阅图10，图10是图1中步骤S14一实施例的流程示意图。本实施例中，预设筛选条件为运动速度在预设速度范围内，且运动速度大于预设速度阈值，具体而言，可以包括如下步骤：

步骤S141：统计目标区域图像中运动速度在预设速度范围内的正常像素点的第一数目。

本实施例中，预设速度范围包括上限值和下限值，下限值为行人正常行走速度v_normal的第一预设倍数k₁，上限值为行人奔跑极限速度v_limit。例如，目标区域图像中像素点为{p₁,p₂,p₃…,p_k}，各个像素点对应的运动速度分别是{v₁,v₂,v₃,…,v_k}，则统计其中运动速度满足k₁*v_normal≤v≤v_limit的像素点的第一数目。在一个实施场景中，第一预设倍数k₁＝1。通过上述实施方式的统计，可以得到目标区域图像中运动速度在预设速度范围内的正常像素点的第一数目num_normal。

步骤S142：统计正常像素点中运动速度大于预设速度阈值的目标像素点的第二数目。

本实施例中，预设速度阈值v_th为行人正常行走速度v_normal的第二预设倍数k₂。统计正常像素点中运动速度满足v>v_th的目标像素点的第二数目num_target。在一个实施场景中，第二预设倍数k₂＝3，在其他实施场景中，第二预设倍数还可以取其他值，例如4、5、6等等，本实施例在此不做具体限制。在一个实施场景中，第二预设倍数小于行人奔跑极限速度与行人正常行走速度之间的比值，第二预设倍数k₂需满足

请继续参阅图11，图11是图1中步骤S15一实施例的流程示意图，具体而言，本实施例中可以包括如下步骤：

步骤S151：利用第一数目和第二数目，计算目标像素点在正常像素点中所占的比例。

在计算得到正常像素点的第一数目num_normal和目标像素点的第二数目num_target之后，可以进一步计算得到目标像素点在正常像素点中所占的比例

步骤S152：判断计算得到的比例是否大于预设比例阈值，若是，则执行步骤S153，否则执行步骤S154。

本实施例中，预设比例阈值ratio_th为50％。故此，判断计算得到的比例ratio是否满足ratio>ratio_th，即可判断原始图像中运动人群的像素点的运动速度超出行人正常行走速度的第二预设倍数的像素点的第二数目所占的比例是否超出设置的预设比例阈值，若超出，则确定存在人群异常情况，若未超出，则确定不存在人群异常情况。在一个实施场景中，预设比例阈值ratio_th还可以设置为其他值，例如60％、65％、70％等等，本实施例在此不做具体限制。

在一个实施场景中，还可以设置多个预设比例阈值，用于细分不同的人群异常情况，例如可以设置3个预设比例阈值，分别是第一预设比例阈值ratio_th1，第二预设比例阈值ratio_th2，第三预设比例阈值ratio_th3，当计算得到的比例满足：ratio<ratio_th1时，则确定不存在人群异常情况，当计算得到的比例满足：ratio_th1≤ratio<ratio_th2时，则确定存在人群轻微异常情况，当计算得到的比例满足ratio_th2≤ratio<ratio_th3时，则确定存在人群中度异常情况，当计算得到的比例满足：ratio≥ratio_th3时，则确定存在人群重度异常情况，此外，还可以根据实际应用场景，设置其他数量的预设比例阈值，本实施例在此不做具体限制。

步骤S153：确定存在人群异常情况。

当计算得到的比例大于预设比例阈值时，则确定存在人群异常情况。在一个实施场景中，当确定存在人群异常时，可以输出告警信息，告警信息包括但不限于：声音告警、文字告警、图片告警等等，本实施例在此不做具体限制。在另一个实施场景中，当确定存在人群异常情况时，还可以将人群异常情况通过文字、语音、图片等形式发送至监控人员、管理人员、警务人员的移动终端，以便及时发现并干预。

步骤S154：确定不存在人群异常情况。

当计算得到的比例不大于预设比例阈值时，则确定不存在人群异常情况。

区别于前述实施例，上述方案，统计目标区域图像中运动速度在预设速度范围内的正常像素点的第一数目，并统计正常像素点中运动速度大于预设速度阈值的目标像素点的第二数目，利用第一数目和第二数目，计算目标像素点在正常像素点中所占的比例，若计算得到的比例大于预设比例阈值，则确定存在人群异常情况，若计算得到的比例不大于预设比例阈值，则确定不存在人群异常情况，能够基于对像素点的统计，确定是否存在人群异常情况，故可以提高人群异常检测的准确性。

请参阅图12，图12是本申请人群异常检测装置1200一实施例的框架示意图。本实施例中，人群异常检测装置1200包括运动目标检测模块1210、光流检测模块1220、运动速度获取模块1230、统计模块1240和确定模块1250，运动目标检测模块1210用于对摄像器件拍摄得到的原始图像进行运动目标检测，得到原始图像中包含运动人群的目标区域图像；光流检测模块1220用于对目标区域图像进行光流检测，得到目标区域图像每个像素点的光流信息；运动速度获取模块1230用于基于目标区域图像每个像素点的光流信息，获取目标区域图像每个像素点的运动速度；统计模块1240用于统计目标区域图像中运动速度满足预设筛选条件的目标像素点的数目；确定模块1250用于基于统计得到的目标像素点的数目，确定是否存在人群异常情况。

上述方案，通过对摄像器件拍摄得到的原始图像进行运动目标检测，得到原始图像中包含运动人群的目标区域图像，并对目标区域图像进行光流检测，得到目标区域图像每个像素点的光流信息，基于目标区域图像每个像素点的光流信息，获取目标区域图像每个像素点的运动速度，从而统计目标区域图像中运动速度满足预设筛选条件的目标像素点的数目，进而基于统计得到的目标像素点的数目，确定是否存在人群异常情况，由于光流检测以及后续对目标像素点的统计都是基于原始图像中包含运动人群的目标区域图像，故此，能够尽可能地排除不必要的背景等无关图像信息的干扰，提高人群异常检测的准确性，并减少不必要的背景等无关图像信息的光流计算，减轻人群异常检测的负荷，有利于提高人群异常检测的速度。

在一些实施例中，运动目标检测模块1210包括运动检测子块，用于对原始图像进行运动检测，得到原始图像中与运动对象对应的至少一个运动区域，运动目标检测模块1210还包括预处理子模块，用于对运动区域的图像进行预处理，确定运动区域的图像中包含运动对象的候选区域，运动目标检测模块1210还包括检测筛选子模块，用于利用预设检测模型对候选区域的图像进行检测，筛选包含运动人群的候选区域的图像，运动目标检测模块1210还包括图像对应子模块，用于将原始图像中与筛选得到的候选区域的图像对应的部分图像作为原始图像中的目标区域图像，在一个实施场景中，运动对象包括运动人群、运动车辆。

区别于前述实施例，上述方案，对原始图像进行运动检测，得到原始图像中与运动对象对应的至少一个运动区域，再对运动区域的图像进行预处理，确定运动区域的图像中包含运动对象的候选区域，利用预设检测模型对候选区域的图像进行检测，筛选包含运动人群的候选区域的图像，并将原始图像中与筛选得到的候选区域的图像对应的部分图像作为原始图像中的目标区域图像，能够减少背景干扰，提高人群异常检测的准确性。

在一些实施例中，预处理子模块还包括降噪处理单元，用于对至少一个运动区域的图像进行降噪处理，预处理子模块还包括连通域分析单元，用于对降噪处理之后的运动区域的图像进行连通域分析，得到至少一个连通域区域，预处理子模块还包括坐标记录子模块，用于将连通域区域作为原始图像中包含运动对象的候选区域，并记录候选区域在原始图像中的位置坐标，图像对应子模块具体还用于将原始图像中与筛选得到的候选区域的位置坐标一致的部分图像作为目标区域图像。

在一些实施例中，降噪处理单元还包括噪点滤除子单元，用于滤除至少一个运动区域的图像的噪点，降噪处理单元还包括像素值设置子单元，用于将滤除的噪点所对应的像素点的像素值设置为预设像素值。

在一些实施例中，预设像素值为255与噪点的像素值之差，噪点滤除子单元具体用于对至少一个运动区域的图像进行二值化处理；过滤二值化处理之后的至少一个运动区域的图像中的噪点；对过滤噪点之后的至少一个运动区域的图像进行均值滤波，得到与至少一个运动区域的图像对应的预处理图像；对预处理图像进行二值化处理；过滤二值化处理之后的预处理图像中的噪点。

在一些实施例中，检测筛选子模块还包括图像组合单元，用于将候选区域的图像组合为待检测图像，图像检测单元，用于利用预设检测模型对待检测图像进行检测，确定包含运动人群的候选区域的图像。在一个实施场景中，预设检测模型是利用包含运动人群的样本图像进行神经网络训练而得到的。

在一些实施例中，光流信息包括光流位移，人群异常检测装置1200还包括像素长度获取模块，用于基于原始图像中的参考物，获取原始图像中每个像素点的实际长度，运动速度获取模块1230具体用于将目标区域图像中像素点的光流位移、实际长度以及摄像器件拍摄原始图像的帧率的乘积，作为目标区域图像中对应像素点的运动速度。

区别于前述实施例，上述方案，基于原始图像中的参考物，获取原始图像中每个像素点的实际长度，从而将目标区域图像中像素点的光流位移、实际长度以及摄像器件拍摄原始图像的帧率的乘积，作为目标区域图像中对应像素点的运动速度，能够根据原始图像中每个像素点的实际长度，在此基础上再计算目标区域图像中像素点的运动速度，从而可以提高运动速度计算的准确性，进而提高人群异常检测的准确性。

在一些实施例中，像素长度获取模块包括长度计算子模块，用于利用原始图像中不同位置坐标处的参考物的实际长度，以及参考物在原始图像中沿长度方向所占的像素点个数，计算原始图像中不同位置坐标的像素点的实际长度，像素长度获取模块还包括数据拟合子模块，用于利用预设数据拟合方式对计算得到的不同位置坐标的像素点的实际长度进行拟合，得到原始图像中像素点的位置坐标与像素点的实际长度之间的函数关系，长度计算子模块还用于利用得到的函数关系和原始图像中每个像素点的位置坐标，计算得到原始图像中对应像素点的实际长度。在一个实施场景中，长度方向为垂直方向。

统计模块1240包括第一统计子模块，用于统计目标区域图像中运动速度在预设速度范围内的正常像素点的第一数目，统计模块1240包括第二统计子模块，用于统计正常像素点中运动速度大于预设速度阈值的目标像素点的第二数目，确定模块1250包括比例计算子模块，用于利用第一数目和第二数目，计算目标像素点在正常像素点中所占的比例，确定模块1250还包括比例判断子模块，用于计算得到的比例是否大于预设比例阈值，确定模块1250还包括异常情况确定子模块，用于在比例判断子模块判断结果为是时，确定存在人群异常情况，异常情况确定子模块还用于在比例判断子模块判断结果为否时，确定不存在人群异常情况。在一个实施场景中，预设速度范围包括下限值和上限值，下限值为行人正常行走速度的第一预设倍数，上限值为行人奔跑极限速度。在一个实施场景中，预设速度阈值为行人正常行走速度的第二预设倍数。在一个实施场景中，预设比例阈值为50％。

区别于前述实施例，上述方案，统计目标区域图像中运动速度在预设速度范围内的正常像素点的第一数目，并统计正常像素点中运动速度大于预设速度阈值的目标像素点的第二数目，利用第一数目和第二数目，计算目标像素点在正常像素点中所占的比例，若计算得到的比例大于预设比例阈值，则确定存在人群异常情况，若计算得到的比例不大于预设比例阈值，则确定不存在人群异常情况，能够基于对像素点的统计，确定是否存在人群异常情况，故可以提高人群异常检测的准确性。

请参阅图13，图13是本申请人群异常检测装置1300一实施例的框架示意图。本实施例中，人群异常检测装置1300包括相互耦接的存储器1310和处理器1320，处理器1320用于执行存储器1310存储的程序指令，以实现上述任一人群异常检测方法实施例中的步骤。

具体而言，处理器1320用于控制其自身以及存储器1310以实现上述任一人群异常检测方法实施例中的步骤。处理器1320还可以称为CPU(Central Processing Unit，中央处理单元)。处理器1320可能是一种集成电路芯片，具有信号的处理能力。处理器1320还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器1320可以由多个集成电路芯片共同实现。

上述方案，能够尽可能地排除不必要的背景等无关图像信息的干扰，提高人群异常检测的准确性，减少不必要的背景等无关图像信息的光流计算，减轻人群异常检测的负荷，有利于提高人群异常检测的速度。

在一些实施例中，人群异常检测装置1300还包括摄像器件1330，用于拍摄得到的原始图像。

请参阅图14，图11为本申请存储装置1400一实施例的框架示意图。存储装置1400存储有能够被处理器运行的程序指令1410，程序指令1410用于实现上述任一人群异常检测方法实施例中的步骤。

上述方案，能够尽可能地排除不必要的背景等无关图像信息的干扰，提高人群异常检测的准确性，并减少不必要的背景等无关图像信息的光流计算，减轻人群异常检测的负荷，有利于提高人群异常检测的速度。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的或者该技术方案的全部或可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (12)

1.一种人群异常检测方法，其特征在于，包括：

对摄像器件拍摄得到的原始图像进行运动目标检测，得到所述原始图像中包含运动人群的目标区域图像；

对所述目标区域图像进行光流检测，得到所述目标区域图像每个像素点的光流信息，并基于所述原始图像中的参考物，获取所述原始图像中每个像素点的实际长度；其中，所述光流信息包括光流位移；

将所述目标区域图像中像素点的所述光流位移、所述实际长度以及所述摄像器件拍摄所述原始图像的帧率的乘积，作为所述目标区域图像中对应像素点的运动速度；

统计所述目标区域图像中所述运动速度在预设速度范围内的正常像素点的第一数目，并统计所述正常像素点中所述运动速度大于预设速度阈值的目标像素点的第二数目；

利用所述第一数目和所述第二数目，计算所述目标像素点在所述正常像素点中所占的比例；若计算得到的比例大于预设比例阈值，则确定存在人群异常情况；若计算得到的比例不大于所述预设比例阈值，则确定不存在人群异常情况；

其中，所述基于所述原始图像中的参考物，获取所述原始图像中每个像素点的实际长度包括：利用所述原始图像中不同位置坐标处的参考物的实际长度，以及所述参考物在所述原始图像中沿长度方向所占的像素点个数，计算所述原始图像中不同位置坐标的像素点的实际长度；利用预设数据拟合方式对计算得到的不同位置坐标的像素点的实际长度进行拟合，得到所述原始图像中像素点的位置坐标与像素点的实际长度之间的函数关系；利用得到的函数关系和所述原始图像中每个像素点的位置坐标，计算得到所述原始图像中对应像素点的实际长度。

2.根据权利要求1所述的人群异常检测方法，其特征在于，所述对摄像器件拍摄得到的原始图像进行运动目标检测，得到所述原始图像中包含运动人群的目标区域图像包括：

对所述原始图像进行运动检测，得到所述原始图像中与运动对象对应的至少一个运动区域；

对所述运动区域的图像进行预处理，确定所述运动区域的图像中包含所述运动对象的候选区域；

利用预设检测模型对所述候选区域的图像进行检测，筛选包含所述运动人群的候选区域的图像；

将所述原始图像中与筛选得到的候选区域的图像对应的部分图像作为所述原始图像中的目标区域图像。

3.根据权利要求2所述的人群异常检测方法，其特征在于，所述对所述运动区域的图像进行预处理，确定所述运动区域的图像中包含所述运动对象的候选区域包括：

对所述至少一个运动区域的图像进行降噪处理，并对降噪处理之后的运动区域的图像进行连通域分析，得到至少一个连通域区域；

将所述连通域区域作为所述原始图像中包含所述运动对象的候选区域，并记录所述候选区域在所述原始图像中的位置坐标；

所述将所述原始图像中与筛选得到的候选区域的图像对应的部分图像作为所述原始图像中的目标区域图像包括：

将所述原始图像中与筛选得到的候选区域的位置坐标一致的部分图像作为所述目标区域图像。

4.根据权利要求3所述的人群异常检测方法，其特征在于，所述对所述至少一个运动区域的图像进行降噪处理包括：

滤除所述至少一个运动区域的图像的噪点；

将滤除的噪点所对应的像素点的像素值设置为预设像素值。

5.根据权利要求4所述的人群异常检测方法，其特征在于，所述预设像素值为255与所述噪点的像素值之差；和/或，

所述滤除所述至少一个运动区域的图像的噪点包括：

对所述至少一个运动区域的图像进行二值化处理；

过滤二值化处理之后的所述至少一个运动区域的图像中的噪点；

对过滤噪点之后的所述至少一个运动区域的图像进行均值滤波，得到与所述至少一个运动区域的图像对应的预处理图像；

对所述预处理图像进行二值化处理；

过滤二值化处理之后的预处理图像中的噪点。

6.根据权利要求2所述的人群异常检测方法，其特征在于，所述利用预设检测模型对所述候选区域的图像进行检测，筛选包含所述运动人群的候选区域的图像包括：

将所述候选区域的图像组合为待检测图像；

利用所述预设检测模型对所述待检测图像进行检测，确定包含所述运动人群的候选区域的图像。

7.根据权利要求2所述的人群异常检测方法，其特征在于，所述运动对象包括运动人群、运动车辆；和/或，

所述预设检测模型是利用包含所述运动人群的样本图像进行神经网络训练而得到的。

8.根据权利要求1所述的人群异常检测方法，其特征在于，所述长度方向为垂直方向。

9.根据权利要求1所述的人群异常检测方法，其特征在于，所述预设速度范围包括下限值和上限值，所述下限值为行人正常行走速度的第一预设倍数，所述上限值为行人奔跑极限速度；和/或，

所述预设速度阈值为所述行人正常行走速度的第二预设倍数；和/或，

所述预设比例阈值为50％。

10.一种人群异常检测装置，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器存储的程序指令，以实现权利要求1至9任一项所述的人群异常检测方法。

11.根据权利要求10所述的人群异常检测装置，其特征在于，所述人群异常检测装置还包括摄像器件，用于拍摄得到的原始图像。

12.一种存储装置，其特征在于，存储有能够被处理器运行的程序指令，所述程序指令用于实现权利要求1至9任一项所述的人群异常检测方法。

Images