CN111274864A - 人群聚集的判断方法及人群聚集的判断装置 - Google Patents
人群聚集的判断方法及人群聚集的判断装置 Download PDFInfo
- Publication number
- CN111274864A CN111274864A CN201911243635.3A CN201911243635A CN111274864A CN 111274864 A CN111274864 A CN 111274864A CN 201911243635 A CN201911243635 A CN 201911243635A CN 111274864 A CN111274864 A CN 111274864A
- Authority
- CN
- China
- Prior art keywords
- image
- crowd
- neural network
- network model
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000002776 aggregation Effects 0.000 title claims abstract description 17
- 238000004220 aggregation Methods 0.000 title claims abstract description 17
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 90
- 238000003062 neural network model Methods 0.000 claims abstract description 29
- 238000012549 training Methods 0.000 claims description 25
- 239000011800 void material Substances 0.000 claims description 20
- 238000009825 accumulation Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 description 7
- 238000011176 pooling Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000002265 prevention Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明实施方式提供一种人群聚集的判断方法，所述方法包括：获取人群的第一图像；利用神经网络模型生成所述第一图像的第一人群密度图；所述神经网络模型包括卷积神经网络模型和空洞卷积神经网络模型；在根据所述第一人群密度图确定的人群密度超过第一预设阈值时，获取与所述第一图像相邻时刻的所述人群的第二图像；根据所述第一图像和所述第二图像，基于faster RCNN模型获取所述第一图像中的第一图像人群的运动轨迹；根据所述第一图像人群的运动轨迹和所述第一人群密度图判断人群是否聚集。本发明利用训练好的神经网络模型对人群聚集进行判断，方便、快捷，并且准确度高。
Description
技术领域
本发明涉及计算机视觉领域，具体地涉及一种人群聚集的判断方法及一种人群聚集的判断装置。
背景技术
近年来，随着安防技术的不断发展，视频监控系统已经逐步应用于众多领域，如智能交通、平安城市等。传统视频监控主要通过安排专人值守来达到监控的目的，而人员的精力和积极性都是有限的，存在不能及时察觉异常情况的现象，无法实现实时预警。随着计算机视觉技术的发展，图像处理技术越来越多运用到视频监控系统中。
在城市中，特别是在商业街、大型商场、体育场等场所，人群的大量聚集往往伴随着异常事件。在传统的视频人群聚集分析领域，一般通过帧间差分法、光流法、混合法等对目标进行前景提取，并通过前景特征估计人群聚集情况，即在检测区域内，人员密集达到一定阈值就认为出现了人员聚集，否则，认为没有出现人员聚集。该方法因前景特征提取效果较差、判断方法简单，判断的准确性较差。
发明内容
本发明实施方式的目的是对人群聚集区域的图像通过神经网络模型的处理而获得人群聚集的实时预警，克服了现有技术中图像提取效果差、判断法方法简单、判断的准确性差的技术问题。
为了实现上述目的，在本发明第一方面，提供一种人群聚集的判断方法，所述方法包括：
获取人群的第一图像；
利用神经网络模型生成所述第一图像的第一人群密度图；所述神经网络模型包括卷积神经网络模型和空洞卷积神经网络模型；
在根据所述第一人群密度图确定的人群密度超过第一预设阈值时，获取与所述第一图像相邻时刻的所述人群的第二图像；
根据所述第一图像和所述第二图像，基于faster RCNN模型获取所述第一图像中的第一图像人群的运动轨迹；
根据所述第一图像人群的运动轨迹和所述第一人群密度图判断人群是否聚集。
在本发明第二方面，提供一种人群聚集的判断方法，所述方法包括：
获取人群的第一图像；
利用神经网络模型生成所述第一图像的第一人群密度图；所述神经网络模型包括卷积神经网络模型和空洞卷积神经网络模型；
在根据所述第一人群密度图确定的人群密度超过第一预设阈值时，获取与所述第一图像相邻时刻的所述人群的第二图像；
根据所述第一图像和所述第二图像，基于faster RCNN模型获取所述第二图像中的第二图像人群的运动轨迹；
根据所述第一人群密度图和所述第二图像人群的运动轨迹判断人群是否聚集。
在本发明第三方面，提供一种人群聚集的判断方法，所述方法包括：
获取人群的第一图像；
利用神经网络模型生成所述第一图像的第一人群密度图；所述神经网络模型包括卷积神经网络模型和空洞卷积神经网络模型；
在根据所述第一人群密度图确定的人群密度超过第一预设阈值时，获取与所述第一图像相邻时刻的所述人群的第二图像；
根据所述第一图像和所述第二图像，基于faster RCNN模型获取所述第二图像中的第二图像人群的运动轨迹；
利用卷积神经网络模型、空洞卷积神经网络模型生成所述第二图像的第二人群密度图；
根据所述第一人群密度图和所述第二人群密度图的差异，以及所述第二图像中的第二图像人群的运动轨迹，判断人群是否聚集。
可选的，所述获取人群的第一图像，包括：
通过拍摄所述人群的视频流中的一帧获取所述人群的第一图像，或者通过拍摄所述人群的静态图片获取所述人群的第一图像。
可选的，所述利用卷积神经网络模型、空洞卷积神经网络模型生成所述第一图像的第一人群密度图，包括：
将所述第一图像依次进行图像增强、图像去噪处理得到处理后第一图像；
对所述卷积神经网络模型和所述空洞卷积神经网络模型进行预训练得到训练后的卷积神经网络模型和训练后的空洞卷积神经网络模型；
将所述处理后第一图像输入所述训练后的所述卷积神经网络模型和所述训练后的空洞卷积神经网络模型，得到输出的所述第一图像的第一人群密度图。
可选的，所述对所述卷积神经网络模型和所述空洞卷积神经网络模型进行预训练得到训练后的卷积神经网络模型和训练后的空洞卷积神经网络模型，包括：
S11)获取所述人群的训练图像集；
S12)将所述训练图像集中每幅图像的图像头部标注组成的稀疏矩阵通过高斯滤波器转换成每幅图像的第一二维密度图；
S13)将所述每幅图像的第一二维密度图的宽、高均缩小，得到为所述每幅图像的第一二维密度图1/X倍的每幅图像的第二二维密度图；
S14)将所述训练图像集中的每幅图像输入所述卷积神经网络模型和所述空洞卷积神经网络模型，输出得到所述训练图像集的每幅图像的人群密度图；
S15)取所述每幅图像的人群密度图与所述每幅图像的第二二维密度图的各点的均方差作为损失函数；
S16)利用梯度下降法根据所述损失函数的大小更新所述卷积神经网络模型和所述空洞卷积神经网络模型；
S17)重复上述步骤S14)～步骤S16)Y次，得到所述训练后的所述卷积神经网络模型和所述训练后的空洞卷积神经网络模型。
可选的，所述损失函数的公式为：
其中，N表示所述训练图像集的样本量，Xi表示所述训练图像集中的每幅图像，Z(Xi)表示所述神经网络模型输出的所述训练图像集的每幅图像的人群密度图，
表示所述每幅图像的第二二维密度图。
可选的，根据所述第一图像和所述第二图像，基于faster RCNN模型获取所述第一图像中的第一图像人群的运动轨迹，包括：
S21)采用faster RCNN模型框选所述第一图像中的运动目标并提取第一目标特征，选取所述第一图像的运动目标的中心坐标为P1；
S22)采用faster RCNN模型框选所述第二图像中的运动目标并提取第二目标特征；
S23)获取所述第一目标特征与所述第二目标特征一一对应的所述第二图像中的运动目标，选取所述第二图像的运动目标的中心坐标为P2；
S24)重叠所述具有运动目标的中心坐标为P1的第一图像和所述具有运动目标的中心坐标为P2的第二图像，则从P1指向P2的向量V1方向即表示所述第一图像中的运动目标的运动轨迹；
S25)重复上述步骤S21)～S24)M次，获得所述第一图像中所述第一图像人群的运动轨迹。
可选的，根据所述第一图像人群的运动轨迹和所述第一人群密度图判断人群是否聚集，包括：
S31)排除向量V1的大小为零，以及向量V1的大小小于第二预设阈值的所述运动目标；
S32)比较从所述P1指向所述第一图像的第一人群密度图中最密集点的向量V2方向与所述向量V1的方向，计算所述向量V1和所述向量V2的夹角；
S33)当所述夹角小于第三预设阈值时，判断所述第一图像中的运动目标向所述第一图像的第一人群密度图中最密集点移动；
S34)重复上述步骤S31)～S33)，当所述人群中的向所述第一图像的第一人群密度图中最密集点移动的所述第一图像中的运动目标的数量占所述人群中的所有所述第一图像中的运动目标的比例大于第四预设阈值时，判断人群聚集。
可选的，所述根据所述第一人群密度图和所述第二人群密度图的差异，以及所述第二图像人群的运动轨迹，判断人群是否聚集，包括：
S41)比较所述第二人群密度图的人群密度超过第一预设阈值的区域的第二面积与所述第一人群密度图的人群密度超过第一预设阈值的区域的第一面积是否相等；
S42)在所述步骤S41)中的所述第一面积和所述第二面积相等时，比较所述第二人群密度图的人群密度超过第一预设阈值的区域的第二人群密度与所述第一人群密度图的人群密度超过第一预设阈值的区域的第一人群密度；
S43)当所述步骤S41)中的所述第二面积比所述第一面积大时，或者所述S42)中的所述第二人群密度比所述第一人群密度大时，并且，所述第二图像人群的运动轨迹为所述人群向所述第二人群密度图中的人群密集区域运动时，判断人群聚集。
可选的，获取所述第二图像人群的运动轨迹，包括：
S51)采用faster RCNN模型框选取所述第二图像中的运动目标并提取第三目标特征，选取所述第二图像的运动目标的中心坐标为P3；
S52)采用faster RCNN模型框选取所述第一图像中的运动目标并提取第四目标特征；
S53)获取所述第三目标特征与所述第四目标特征一一对应的所述第一图像中的运动目标，选取所述第一图像的运动目标的中心坐标为P4；
S54)重叠所述具有运动目标的中心坐标为P3的第二图像和所述具有运动目标的中心坐标为P4的第一图像，则从P3指向P4的向量V3方向即表示所述第二图像中的运动目标的运动轨迹；
S55)重复上述步骤S51)～S54)K次，获得所述第二图像中所述第二图像人群的运动轨迹。
在本发明第四方面，还提供一种人群聚集的判断装置，所述装置包括：
图像获取模块，用于获取人群的第一图像；
神经网络模块，用于利用卷积神经网络模型、空洞卷积神经网络模型生成所述第一图像的第一人群密度图；
判决模块，用于在根据所述第一人群密度图确定的人群密度超过第一预设阈值时，获取与所述第一图像相邻时刻的所述人群的第二图像；
获取运动轨迹模块，用于根据所述第一图像和所述第二图像，基于faster RCNN模型获取所述第一图像中的第一图像人群的运动轨迹；
聚集模块，用于根据所述第一图像人群的运动轨迹和所述第一人群密度图判断人群是否聚集。
在本发明第五方面，还提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述方法的步骤。
在本发明第六方面，还提供一种计算机可读介质，所述计算机可读介质存储有计算机程序，所述计算机程序被处理执行时实现如上所述方法的步骤。
本发明上述技术方案先根据人群密度图判断是否有人群密集现象，再根据周围人群运动轨迹判断是否有人群异常聚集，可以节省运算成本，提高判断的准确性。采用神经网络模型生成密度图及人群运动轨迹，可以实现判断的自动化，能及时发现异常情况，为突发事件预防、可疑线索追查等提供有效帮助。
本发明实施方式的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施方式的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施方式，但并不构成对本发明实施方式的限制。在附图中：
图1是本发明第一种实施方式提供的人群聚集的判断方法的流程图；
图2是本发明第二种实施方式提供的人群聚集的判断方法的流程图；
图3是本发明第三种实施方式提供的人群聚集的判断方法的流程图；
图4是本发明一种实施方式提供的利用卷积神经网络模型和空洞卷积神经网络模型生成所述第一图像的人群密度图的方法的流程图；
图5是本发明实施方式提供的对所述卷积神经网络模型和所述空洞卷积神经网络模型进行预训练得到新的神经网络模型的流程图；
图6是本发明一种实施方式提供的基于faster RCNN模型获取所述第一图像中所述第一图像人群的运动轨迹的流程图；
图7是本发明一种实施方式提供的当所述第一图像人群的运动轨迹为所述人群向所述第一图像的人群密度图中的人群密集区域运动，则可判断人群是否聚集的流程图；
图8是本发明一种实施方式提供的根据所述第一图像的人群密度图和所述第二图像的人群密度图的差异，以及所述第二图像人群的运动轨迹，判断人群是否聚集的流程图；
图9是本发明一种实施方式提供的获取所述第二图像人群的运动轨迹的流程图；
图10是本发明一种实施方式提供的一种人群聚集的判断装置的结构图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
在本发明实施方式中，在未作相反说明的情况下，使用的方位词如“上、下、顶、底”通常是针对附图所示的方向而言的或者是针对竖直、垂直或重力方向上而言的各部件相互位置关系描述用词。
图1是本发明第一种实施方式提供的人群聚集的判断方法的流程图；如图1所示，在本发明第一方面，提供一种人群聚集的判断方法，所述方法包括：
获取人群的第一图像；
利用神经网络模型生成所述第一图像的第一人群密度图；所述神经网络模型包括卷积神经网络模型和空洞卷积神经网络模型；
在根据所述第一人群密度图确定的人群密度超过第一预设阈值时，获取与所述第一图像相邻时刻的所述人群的第二图像；
根据所述第一图像和所述第二图像，基于faster RCNN模型获取所述第一图像中的第一图像人群的运动轨迹；
根据所述第一图像人群的运动轨迹和所述第一人群密度图判断人群是否聚集。
如图2所示，在本发明第二方面，还提供一种人群聚集的判断方法，所述方法包括：
获取人群的第一图像；
利用神经网络模型生成所述第一图像的第一人群密度图；所述神经网络模型包括卷积神经网络模型和空洞卷积神经网络模型；
在根据所述第一人群密度图确定的人群密度超过第一预设阈值时，获取与所述第一图像相邻时刻的所述人群的第二图像；
根据所述第一图像和所述第二图像，基于faster RCNN模型获取所述第二图像中的第二图像人群的运动轨迹；
根据所述第一人群密度图和所述第二图像人群的运动轨迹判断人群是否聚集。
如图3所示，在本发明第三方面，提供一种人群聚集的判断方法，所述方法包括：
获取人群的第一图像；
利用神经网络模型生成所述第一图像的第一人群密度图；所述神经网络模型包括卷积神经网络模型和空洞卷积神经网络模型；
在根据所述第一人群密度图确定的人群密度超过第一预设阈值时，获取与所述第一图像相邻时刻的所述人群的第二图像；
根据所述第一图像和所述第二图像，基于faster RCNN模型获取所述第二图像中的第二图像人群的运动轨迹；
利用卷积神经网络模型、空洞卷积神经网络模型生成所述第二图像的第二人群密度图；
根据所述第一人群密度图和所述第二人群密度图的差异，以及所述第二图像中的第二图像人群的运动轨迹，判断人群是否聚集。
所述的人群密度图用颜色表示区域人群密度，颜色越红的区域表明此处的人群密度越高，颜色随着人群密度的降低由红色相蓝色渐变。一般的，将红色区域认定为人群密度超过阈值的区域。
可选的，所述获取人群的第一图像，包括：
通过拍摄所述人群的视频流中的一帧获取所述人群的第一图像，或者通过拍摄所述人群的静态图片获取所述人群的第一图像。第一图像与第二图像为相隔n帧的图像，n可以自定义。优选的，n可以取10。视频流可以从监控摄像头直接获取或本地上传。提取的图像可以是一帧完成的视频截图，或者为方便进一步处理而先预处理过的图像。该方法可以实现人群异常聚集观测的自动化，能及时发现异常情况，为突发事件预防、可疑线索追查等提供有效帮助。
如图4所示，所述利用卷积神经网络模型、空洞卷积神经网络模型生成所述第一图像的第一人群密度图，包括：
将所述第一图像依次进行图像增强、图像去噪处理得到处理后第一图像；
对所述卷积神经网络模型和所述空洞卷积神经网络模型进行预训练得到训练后的卷积神经网络模型和训练后的空洞卷积神经网络模型；
将所述处理后第一图像输入所述训练后的所述卷积神经网络模型和所述训练后的空洞卷积神经网络模型，得到输出的所述第一图像的第一人群密度图。
神经网络模型主要包括2部分，第一部分采用卷积网络提取二维特征，包括4层卷积层，卷积核大小都为3×3，卷积核数分别为64、128、256、 512，卷积前后特征图尺寸不变，相邻卷积层中间有一层最大池化层，用于缩小图像尺寸，减少运算量，3层最大池化层可将图像缩小至原图像的1/8；第二部分采用空洞卷积网络增加感受野，包括6层空洞卷积层，卷积核大小都为3×3，卷积核数依次为512、512、512、256、128、64，膨胀率为2，卷积前后特征图尺寸不变。最后用一个卷积核数为1的1×1卷积作为输出。
神经网络模型结构示意如下表：
| Input |
| Conv3-64-1 |
| Max-pooling |
| Conv3-128-1 |
| Max-pooling |
| Conv3-256-1 |
| Max-pooling |
| Conv3-512-1 |
| Conv3-512-2 |
| Conv3-512-2 |
| Conv3-512-2 |
| Conv3-256-2 |
| Conv3-128-2 |
| Conv3-64-2 |
| Conv1-1-1 |
卷积层的后面连接的数字分别表示为卷积核大小、卷积核数量、膨胀率，例如Conv3-512-2表示卷积核大小为3×3，卷积核数量为512，卷积膨胀率为2。
如图5所示，可选的，所述对所述卷积神经网络模型和所述空洞卷积神经网络模型进行预训练得到训练后的卷积神经网络模型和训练后的空洞卷积神经网络模型，包括：
S11)获取所述人群的训练图像集；
S12)将所述训练图像集中每幅图像的图像头部标注组成的稀疏矩阵通过高斯滤波器转换成每幅图像的第一二维密度图；
S13)将所述每幅图像的第一二维密度图的宽、高均缩小，得到为所述每幅图像的第一二维密度图1/X倍的每幅图像的第二二维密度图；
S14)将所述训练图像集中的每幅图像输入所述卷积神经网络模型和所述空洞卷积神经网络模型，输出得到所述训练图像集的每幅图像的人群密度图；
S15)取所述每幅图像的人群密度图与所述每幅图像的第二二维密度图的各点的均方差作为损失函数；
S16)利用梯度下降法根据所述损失函数的大小更新所述卷积神经网络模型和所述空洞卷积神经网络模型；
S17)重复上述步骤S14)～步骤S16)Y次，得到所述训练后的所述卷积神经网络模型和所述训练后的空洞卷积神经网络模型。
可选的，所述损失函数的公式为：
其中，N表示所述训练图像集的样本量，Xi表示所述训练图像集中的每幅图像，Z(Xi)表示所述神经网络模型输出的所述训练图像集的每幅图像的人群密度图，
表示所述每幅图像的第二二维密度图。
如图6所示，可选的，根据所述第一图像和所述第二图像，基于faster RCNN模型获取所述第一图像中的第一图像人群的运动轨迹，包括：
S21)采用faster RCNN模型框选所述第一图像中的运动目标并提取第一目标特征，选取所述第一图像的运动目标的中心坐标为P1；图像中的行人目标，当第一图像和第二图像的同一目标位置不一致时，判断行人目标是运动的目标。
S22)采用faster RCNN模型框选所述第二图像中的运动目标并提取第二目标特征；
S23)获取所述第一目标特征与所述第二目标特征一一对应的所述第二图像中的运动目标，选取所述第二图像的运动目标的中心坐标为P2；
S24)重叠所述具有运动目标的中心坐标为P1的第一图像和所述具有运动目标的中心坐标为P2的第二图像，则从P1指向P2的向量V1方向即表示所述第一图像中的运动目标的运动轨迹；
S25)重复上述步骤S21)～S24)M次，获得所述第一图像中所述第一图像人群的运动轨迹。
如图7所示，可选的，根据所述第一图像人群的运动轨迹和所述第一人群密度图判断人群是否聚集，包括：
S31)排除向量V1的大小为零，以及向量V1的大小小于第二预设阈值的所述运动目标；
S32)比较从所述P1指向所述第一图像的第一人群密度图中最密集点的向量V2方向与所述向量V1的方向，计算所述向量V1和所述向量V2的夹角；第一密度图中颜色最深的点即为最密集点。
S33)当所述夹角小于第三预设阈值时，判断所述第一图像中的运动目标向所述第一图像的第一人群密度图中最密集点移动；
S34)重复上述步骤S31)～S33)，当所述人群中的向所述第一图像的第一人群密度图中最密集点移动的所述第一图像中的运动目标的数量占所述人群中的所有所述第一图像中的运动目标的比例大于第四预设阈值时，判断人群聚集。上述的第三预设阈值和第四预设阈值都可调，优选的，θ＜30°，占比大于75％。
如图8所示，可选的，所述根据所述第一人群密度图和所述第二人群密度图的差异，以及所述第二图像人群的运动轨迹，判断人群是否聚集，包括：
S41)比较所述第二人群密度图的人群密度超过第一预设阈值的区域的第二面积与所述第一人群密度图的人群密度超过第一预设阈值的区域的第一面积是否相等；
S42)在所述步骤S41)中的所述第一面积和所述第二面积相等时，比较所述第二人群密度图的人群密度超过第一预设阈值的区域的第二人群密度与所述第一人群密度图的人群密度超过第一预设阈值的区域的第一人群密度；
S43)当所述步骤S41)中的所述第二面积比所述第一面积大时，或者所述S42)中的所述第二人群密度比所述第一人群密度大时，并且，所述第二图像人群的运动轨迹为所述人群向所述第二人群密度图中的人群密集区域运动时，判断人群聚集。
如图9所示，可选的，获取所述第二图像人群的运动轨迹，包括：
S51)采用faster RCNN模型框选取所述第二图像中的运动目标并提取第三目标特征，选取所述第二图像的运动目标的中心坐标为P3；
S52)采用faster RCNN模型框选取所述第一图像中的运动目标并提取第四目标特征；
S53)获取所述第三目标特征与所述第四目标特征一一对应的所述第一图像中的运动目标，选取所述第一图像的运动目标的中心坐标为P4；
S54)重叠所述具有运动目标的中心坐标为P3的第二图像和所述具有运动目标的中心坐标为P4的第一图像，则从P3指向P4的向量V3方向即表示所述第二图像中的运动目标的运动轨迹；
S55)重复上述步骤S51)～S54)K次，获得所述第二图像中所述第二图像人群的运动轨迹。
比对第一图像和第二图像的人群密度图的差异，即比较两者红色区域的面积，若区域面积大小基本一致，则比较颜色深浅。红色区域面积越大、红色越深，表示人群密度越大。根据第二图像人群运动轨迹和第一、二图像人群密集比对，可以进一步提高判断的准确性。以上过程都可通过程序自动实现，直接输出比对结果或判断结果。
如图10所示，在本发明第四方面，还提供一种人群聚集的判断装置，所述装置包括：
图像获取模块，用于获取人群的第一图像；
神经网络模块，用于利用卷积神经网络模型、空洞卷积神经网络模型生成所述第一图像的第一人群密度图；
判决模块，用于在根据所述第一人群密度图确定的人群密度超过第一预设阈值时，获取与所述第一图像相邻时刻的所述人群的第二图像；
获取运动轨迹模块，用于根据所述第一图像和所述第二图像，基于faster RCNN模型获取所述第一图像中的第一图像人群的运动轨迹；
聚集模块，用于根据所述第一图像人群的运动轨迹和所述第一人群密度图判断人群是否聚集。
在本发明第五方面，还提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述方法的步骤。
在本发明第六方面，还提供一种计算机可读介质，所述计算机可读介质存储有计算机程序，所述计算机程序被处理执行时实现如上所述方法的步骤。
本发明先根据人群密度图判断是否有人群密集现象，再根据周围人群运动轨迹判断是否有人群异常聚集，可以节省运算成本，提高判断的准确性。采用神经网络模型生成密度图及人群运动轨迹，可以实现判断的自动化，能及时发现异常情况，为突发事件预防、可疑线索追查等提供有效帮助。
以上结合附图详细描述了本发明的可选实施方式，但是，本发明实施方式并不限于上述实施方式中的具体细节，在本发明实施方式的技术构思范围内，可以对本发明实施方式的技术方案进行多种简单变型，这些简单变型均属于本发明实施方式的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施方式对各种可能的组合方式不再另行说明。
本领域技术人员可以理解实现上述实施方式的方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM， Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施方式的思想，其同样应当视为本发明实施方式所公开的内容。
Claims (10)
1.一种人群聚集的判断方法，其特征在于，所述方法包括：
获取人群的第一图像；
利用神经网络模型生成所述第一图像的第一人群密度图；所述神经网络模型包括卷积神经网络模型和空洞卷积神经网络模型；
在根据所述第一人群密度图确定的人群密度超过第一预设阈值时，获取与所述第一图像相邻时刻的所述人群的第二图像；
根据所述第一图像和所述第二图像，基于faster RCNN模型获取所述第一图像中的第一图像人群的运动轨迹；
根据所述第一图像人群的运动轨迹和所述第一人群密度图判断人群是否聚集。
2.一种人群聚集的判断方法，其特征在于，所述方法包括：
获取人群的第一图像；
利用神经网络模型生成所述第一图像的第一人群密度图；所述神经网络模型包括卷积神经网络模型和空洞卷积神经网络模型；
在根据所述第一人群密度图确定的人群密度超过第一预设阈值时，获取与所述第一图像相邻时刻的所述人群的第二图像；
根据所述第一图像和所述第二图像，基于faster RCNN模型获取所述第二图像中的第二图像人群的运动轨迹；
根据所述第一人群密度图和所述第二图像人群的运动轨迹判断人群是否聚集。
3.一种人群聚集的判断方法，其特征在于，所述方法还包括：
获取人群的第一图像；
利用神经网络模型生成所述第一图像的第一人群密度图；所述神经网络模型包括卷积神经网络模型和空洞卷积神经网络模型；
在根据所述第一人群密度图确定的人群密度超过第一预设阈值时，获取与所述第一图像相邻时刻的所述人群的第二图像；
根据所述第一图像和所述第二图像，基于faster RCNN模型获取所述第二图像中的第二图像人群的运动轨迹；
利用卷积神经网络模型、空洞卷积神经网络模型生成所述第二图像的第二人群密度图；
根据所述第一人群密度图和所述第二人群密度图的差异，以及所述第二图像中的第二图像人群的运动轨迹，判断人群是否聚集。
4.根据权利要求1-3中任一项所述的人群聚集的判断方法，其特征在于，所述利用卷积神经网络模型、空洞卷积神经网络模型生成所述第一图像的第一人群密度图，包括：
将所述第一图像依次进行图像增强、图像去噪处理得到处理后第一图像；
对所述卷积神经网络模型和所述空洞卷积神经网络模型进行预训练得到训练后的卷积神经网络模型和训练后的空洞卷积神经网络模型；
将所述处理后第一图像输入所述训练后的所述卷积神经网络模型和所述训练后的空洞卷积神经网络模型，得到输出的所述第一图像的第一人群密度图；
所述对所述卷积神经网络模型和所述空洞卷积神经网络模型进行预训练得到训练后的卷积神经网络模型和训练后的空洞卷积神经网络模型，包括：
S11)获取所述人群的训练图像集；
S12)将所述训练图像集中每幅图像的图像头部标注组成的稀疏矩阵通过高斯滤波器转换成每幅图像的第一二维密度图；
S13)将所述每幅图像的第一二维密度图的宽、高均缩小，得到为所述每幅图像的第一二维密度图1/X倍的每幅图像的第二二维密度图；
S14)将所述训练图像集中的每幅图像输入所述卷积神经网络模型和所述空洞卷积神经网络模型，输出得到所述训练图像集的每幅图像的人群密度图；
S15)取所述每幅图像的人群密度图与所述每幅图像的第二二维密度图的各点的均方差作为损失函数；
S16)利用梯度下降法根据所述损失函数的大小更新所述卷积神经网络模型和所述空洞卷积神经网络模型；
S17)重复上述步骤S14)～步骤S16)Y次，得到所述训练后的所述卷积神经网络模型和所述训练后的空洞卷积神经网络模型。
5.根据权利要求1所述的人群聚集的判断方法，其特征在于，根据所述第一图像和所述第二图像，基于faster RCNN模型获取所述第一图像中的第一图像人群的运动轨迹，包括：
S21)采用faster RCNN模型框选所述第一图像中的运动目标并提取第一目标特征，选取所述第一图像的运动目标的中心坐标为P1；
S22)采用faster RCNN模型框选所述第二图像中的运动目标并提取第二目标特征；
S23)获取所述第一目标特征与所述第二目标特征一一对应的所述第二图像中的运动目标，选取所述第二图像的运动目标的中心坐标为P2；
S24)重叠所述具有运动目标的中心坐标为P1的第一图像和所述具有运动目标的中心坐标为P2的第二图像，则从P1指向P2的向量V1方向即表示所述第一图像中的运动目标的运动轨迹；
S25)重复上述步骤S21)～S24)M次，获得所述第一图像中所述第一图像人群的运动轨迹。
6.根据权利要求3所述的人群聚集的判断方法，其特征在于，所述根据所述第一人群密度图和所述第二人群密度图的差异，以及所述第二图像人群的运动轨迹，判断人群是否聚集，包括：
S41)比较所述第二人群密度图的人群密度超过第一预设阈值的区域的第二面积与所述第一人群密度图的人群密度超过第一预设阈值的区域的第一面积是否相等；
S42)在所述步骤S41)中的所述第一面积和所述第二面积相等时，比较所述第二人群密度图的人群密度超过第一预设阈值的区域的第二人群密度与所述第一人群密度图的人群密度超过第一预设阈值的区域的第一人群密度；
S43)当所述步骤S41)中的所述第二面积比所述第一面积大时，或者所述S42)中的所述第二人群密度比所述第一人群密度大时，并且，所述第二图像人群的运动轨迹为所述人群向所述第二人群密度图中的人群密集区域运动时，判断人群聚集。
7.根据权利要求2或3所述的人群聚集的判断方法，其特征在于，获取所述第二图像人群的运动轨迹，包括：
S51)采用faster RCNN模型框选取所述第二图像中的运动目标并提取第三目标特征，选取所述第二图像的运动目标的中心坐标为P3；
S52)采用faster RCNN模型框选取所述第一图像中的运动目标并提取第四目标特征；
S53)获取所述第三目标特征与所述第四目标特征一一对应的所述第一图像中的运动目标，选取所述第一图像的运动目标的中心坐标为P4；
S54)重叠所述具有运动目标的中心坐标为P3的第二图像和所述具有运动目标的中心坐标为P4的第一图像，则从P3指向P4的向量V3方向即表示所述第二图像中的运动目标的运动轨迹；
S55)重复上述步骤S51)～S54)K次，获得所述第二图像中所述第二图像人群的运动轨迹。
8.一种人群聚集的判断装置，其特征在于，所述装置包括：
图像获取模块，用于获取人群的第一图像；
神经网络模块，用于利用卷积神经网络模型、空洞卷积神经网络模型生成所述第一图像的第一人群密度图；
判决模块，用于在根据所述第一人群密度图确定的人群密度超过第一预设阈值时，获取与所述第一图像相邻时刻的所述人群的第二图像；
获取运动轨迹模块，用于根据所述第一图像和所述第二图像，基于faster RCNN模型获取所述第一图像中的第一图像人群的运动轨迹；
聚集模块，用于根据所述第一图像人群的运动轨迹和所述第一人群密度图判断人群是否聚集。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-7中任一项所述方法的步骤。
10.一种计算机可读介质，所述计算机可读介质存储有计算机程序，其特征在于，所述计算机程序被处理执行时实现权利要求1-7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911243635.3A CN111274864A (zh) | 2019-12-06 | 2019-12-06 | 人群聚集的判断方法及人群聚集的判断装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911243635.3A CN111274864A (zh) | 2019-12-06 | 2019-12-06 | 人群聚集的判断方法及人群聚集的判断装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111274864A true CN111274864A (zh) | 2020-06-12 |
Family
ID=70998729
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911243635.3A Pending CN111274864A (zh) | 2019-12-06 | 2019-12-06 | 人群聚集的判断方法及人群聚集的判断装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111274864A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738225A (zh) * | 2020-07-29 | 2020-10-02 | 中电科新型智慧城市研究院有限公司 | 人群聚集检测方法、装置、设备及存储介质 |
| CN112232124A (zh) * | 2020-09-11 | 2021-01-15 | 浙江大华技术股份有限公司 | 人群态势分析方法、视频处理装置及具有存储功能的装置 |
| CN112287890A (zh) * | 2020-11-23 | 2021-01-29 | 杭州海康威视数字技术股份有限公司 | 人员聚集检测方法、可读存储介质和电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105808754A (zh) * | 2016-03-15 | 2016-07-27 | 苏州大学 | 一种从移动轨迹数据中快速发现聚集模式的方法 |
| US20170351924A1 (en) * | 2014-12-24 | 2017-12-07 | Hitachi Kokusai Electric Inc. | Crowd Monitoring System |
| CN107729799A (zh) * | 2017-06-13 | 2018-02-23 | 银江股份有限公司 | 基于深度卷积神经网络的人群异常行为视觉检测及分析预警系统 |
| CN109101930A (zh) * | 2018-08-18 | 2018-12-28 | 华中科技大学 | 一种人群计数方法及系统 |
-
2019
- 2019-12-06 CN CN201911243635.3A patent/CN111274864A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170351924A1 (en) * | 2014-12-24 | 2017-12-07 | Hitachi Kokusai Electric Inc. | Crowd Monitoring System |
| CN105808754A (zh) * | 2016-03-15 | 2016-07-27 | 苏州大学 | 一种从移动轨迹数据中快速发现聚集模式的方法 |
| CN107729799A (zh) * | 2017-06-13 | 2018-02-23 | 银江股份有限公司 | 基于深度卷积神经网络的人群异常行为视觉检测及分析预警系统 |
| CN109101930A (zh) * | 2018-08-18 | 2018-12-28 | 华中科技大学 | 一种人群计数方法及系统 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738225A (zh) * | 2020-07-29 | 2020-10-02 | 中电科新型智慧城市研究院有限公司 | 人群聚集检测方法、装置、设备及存储介质 |
| CN112232124A (zh) * | 2020-09-11 | 2021-01-15 | 浙江大华技术股份有限公司 | 人群态势分析方法、视频处理装置及具有存储功能的装置 |
| CN112287890A (zh) * | 2020-11-23 | 2021-01-29 | 杭州海康威视数字技术股份有限公司 | 人员聚集检测方法、可读存储介质和电子设备 |
| CN112287890B (zh) * | 2020-11-23 | 2023-08-04 | 杭州海康威视数字技术股份有限公司 | 人员聚集检测方法、可读存储介质和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020173226A1 (zh) | 一种时空行为检测方法 | |
| US10719940B2 (en) | Target tracking method and device oriented to airborne-based monitoring scenarios | |
| CN110929578B (zh) | 一种基于注意力机制的抗遮挡行人检测方法 | |
| US11270441B2 (en) | Depth-aware object counting | |
| CN107330390B (zh) | 一种基于图像分析和深度学习的人数统计方法 | |
| CN111274864A (zh) | 人群聚集的判断方法及人群聚集的判断装置 | |
| CN108710865A (zh) | 一种基于神经网络的司机异常行为检测方法 | |
| CN108694356B (zh) | 行人检测装置及方法、辅助驾驶系统 | |
| CN105184812B (zh) | 一种基于目标跟踪的行人徘徊检测方法 | |
| CN110929593A (zh) | 一种基于细节辨别区别的实时显著性行人检测方法 | |
| CN111860514B (zh) | 一种基于改进DeepLab的果园场景多类别实时分割方法 | |
| TWI441096B (zh) | 適用複雜場景的移動偵測方法 | |
| CN106022234B (zh) | 基于光流计算的异常拥挤行为检测算法 | |
| CN107194946B (zh) | 一种基于fpga的红外显著物体检测方法 | |
| Wen et al. | Drone-based joint density map estimation, localization and tracking with space-time multi-scale attention network | |
| CN103810707B (zh) | 一种基于移动视觉焦点的图像视觉显著性检测方法 | |
| CN104537381B (zh) | 一种基于模糊不变特征的模糊图像识别方法 | |
| CN109711256A (zh) | 一种低空复杂背景无人机目标检测方法 | |
| CN109272014B (zh) | 一种基于畸变适应卷积神经网络的图像分类方法 | |
| CN105374051B (zh) | 智能移动终端防镜头抖动视频运动目标检测方法 | |
| TW201535324A (zh) | 移動物體偵測方法及其裝置 | |
| KR20200060868A (ko) | 객체 탐지 및 자동 추적이 가능한 다시점 영상 감시 시스템 | |
| CN104200455B (zh) | 一种基于运动统计特征分析的关键姿态提取方法 | |
| Jin et al. | Fusing Canny operator with vibe algorithm for target detection | |
| Chen et al. | Head-shoulder detection using joint HOG features for people counting and video surveillance in library |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200612 |