CN110866453A - 基于卷积神经网络的实时人群稳定状态识别方法及装置 - Google Patents

基于卷积神经网络的实时人群稳定状态识别方法及装置 Download PDF

Info

Publication number
CN110866453A
CN110866453A CN201911006032.1A CN201911006032A CN110866453A CN 110866453 A CN110866453 A CN 110866453A CN 201911006032 A CN201911006032 A CN 201911006032A CN 110866453 A CN110866453 A CN 110866453A
Authority
CN
China
Prior art keywords
crowd
convolutional neural
neural network
steady state
given grid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911006032.1A
Other languages
English (en)
Other versions
CN110866453B (zh
Inventor
赵荣泳
董大亨
王妍
刘琼
李翠玲
马云龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN201911006032.1A priority Critical patent/CN110866453B/zh
Publication of CN110866453A publication Critical patent/CN110866453A/zh
Application granted granted Critical
Publication of CN110866453B publication Critical patent/CN110866453B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于卷积神经网络的实时人群稳定状态识别方法及装置，所述方法包括以下步骤：获取输入图像，以所述输入图像作为多列卷积神经网络模型的输入，获得给定网格区域的人群数；对所述输入图像进行图像校正，获得所述给定网格区域的实际面积；基于所述人群数和实际面积，获得所述给定网格区域的人群密度值；基于所述人群密度值识别各给定网格区域的人群稳定状态；其中，所述多列卷积神经网络模型包括多个并行的、结构相同的卷积神经网络，各卷积神经网络的卷积核大小各不相同，各卷积神经网络的输出通过1×1的滤波器映射生成二维密度图矩阵，获得给定网格区域的人群数。与现有技术相比，本发明具有精度高等优点。

Description

基于卷积神经网络的实时人群稳定状态识别方法及装置
技术领域
本发明涉及一种人群状态信息识别方法及装置，尤其是涉及一种基于卷积神经网络的实时人群稳定状态识别方法及装置。
背景技术
人群稳定性分析是一个具有挑战性但具有重要安全意义的研究热点。其中，人群密度是分析人群稳定性直接有效的判定依据。随着图形处理单元计算能力和机器深度学习能力的提升，深度学习体系中的卷积神经网络(CNN)更多地应用于高精度图像处理。目前，公共场所日益普及的视频监控系统(VSS)所具备的H.265高清高压缩比的视频技术，有效支持了实时获取人群分布的高清图像。卷积神经网络对高清图像的人群动态记数和密度分析提供了技术支持，使得实时人群稳定性分析更加具有先进性和应用价值。
到目前为止，基于图像处理的人群稳定性分析，尚存在若干不足：1)实时视频监控系统的原始图像存在透视失真问题，无法及时校正，导致人群密度值估算的产生较大偏差。2)缺乏有效的人群稳定性分析动态模型及装置，及时判定流动人群的稳定性，以辅助人群流动管控。
发明内容
本发明的目的在于克服上述现有技术存在的缺陷而提供一种精度高的基于卷积神经网络的实时人群稳定状态识别方法及装置。
本发明的目的可以通过以下技术方案来实现：
一种基于卷积神经网络的实时人群稳定状态识别方法，包括以下步骤：
获取输入图像，以所述输入图像作为多列卷积神经网络模型的输入，获得给定网格区域的人群数；
对所述输入图像进行图像校正，获得所述给定网格区域的实际面积；
基于所述人群数和实际面积，获得所述给定网格区域的人群密度值；
基于所述人群密度值识别各给定网格区域的人群稳定状态；
其中，所述多列卷积神经网络模型包括多个并行的、结构相同的卷积神经网络，各卷积神经网络的卷积核大小各不相同，各卷积神经网络的输出通过1×1的滤波器映射生成二维密度图矩阵，获得给定网格区域的人群数。
进一步地，所述多列卷积神经网络模型中，对输入图像的每个2×2区域采用步幅为2的最大池化层。
进一步地，所述多列卷积神经网络模型为四列卷积神经网络模型。
进一步地，所述卷积神经网络采用整流线性单元作为激活函数。
进一步地，所述图像校正中采用的投影变换矩阵H表示为：
H＝HsHaHp
其中，Hs代表相似变换，Ha是仿射变换，Hp是纯投影变换。
进一步地，基于人群稳定性判据识别给定网格区域的人群稳定状态，所述人群稳定性判据中，人群密度越低，则人群状态越稳定。
进一步地，所述人群稳定性判据中，将人群密度值划分为非常低、低、中等、高和非常高五个类别，若人群密度值属于非常低或低的类别，则识别人群处于稳定状态，若人群密度值属于中的类别，则识别人群处于临界稳定状态，若人群密度值属于高或非常高的类别，则识别人群处于不稳定状态。
本发明还提供一种基于卷积神经网络的实时人群稳定状态识别装置，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器调用所述计算机程序执行上述方法的步骤。
与现有技术相比，本发明具有如下有益效果：
1、本发明在获取人群密度值时对图像进行了校正处理，解决了图像的透视失真问题，从而获得更准确的人群密度值，为人群稳定性分析提供可靠的数据前提。现有基于视频监控系统的人群稳定性分析，均存在原始图像的透视失真问题，透视失真导致每个人或每组人群在图像中占据不同数量的像素，因而使得实际区域大小存在偏差。图像校正能够处理该问题，计算出给定网格区域的实际面积和人群密度值，是人群稳定性分析模型的重要组成部分和数据基础。
2、本发明采用多列卷积神经网络对人群进行计数处理，增加列数调整参数，实现了精度的进一步提高，实时准确的计算出人群密度。
3、本发明基于多列卷积神经网络和图像处理技术的结合，获得人群稳定状态判定结果，为人群稳定性分析和人群管控提供了新技术手段。
附图说明
图1为本发明的流程示意图；
图2为本发明的卷积神经网络架构图；
图3为本发明图像校正过程示意图；
图4为本发明实施例检票闸机通道前方区域人群视频的一帧图像；
图5为图4的ABCD区域中人群密度值的三维分布；
图6为图4的abcd区域人群密度值的折线图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
如图1所示，本实施例提供一种基于卷积神经网络的实时人群稳定状态识别方法，包括以下步骤：
获取来自视频监控系统(VSS)的输入图像，以所述输入图像作为多列卷积神经网络模型的输入，获得给定网格区域的人群数；
对所述输入图像进行图像校正，获得所述给定网格区域的实际面积；
基于所述人群数和实际面积，获得所述给定网格区域的人群密度值；
基于所述人群密度值识别各给定网格区域的人群稳定状态。
1、多列卷积神经网络模型MCNN
不同于传统的卷积神经网络，本实施例采用先进的多列卷积神经网络架构来完成人群计数任务，增加列数调整参数，实现了精度的进一步提高，实时准确的计算出人群密度。
本实施例中，采用四列卷积神经网络架构(4C-CNN)采用，如图2所示，包含四个并行的CNN，所有列的网络结构相同，其滤波器对于图像信息的感受域大小不同(即7×7、5×5、3×3和1×1滤波器)。整流线性单元被用作激活函数。为防止模型训练过程的过度拟合，对于每个2×2区域采用步幅为2的最大池化层。最后累加所有列的输出，用一个1×1的滤波器将它们映射到密度图，进行人群计数。
利用上述四列卷积神经网络架构获取给定网格区域的人群数的具体过程为：将输入图像转换为像素矩阵；以所述像素矩阵作为多列卷积神经网络模型的输入，获得二维密度图矩阵；对所述二维密度图矩阵进行求和操作，即将矩阵中的数值进行相加求和，获得输入图像给定网格区域的人群数量。
2、图像校正
由于透视失真，场景中的远物体看起来比近物体更小，即对于图像像素阵列中相同尺寸的阵列，远离相机的像素阵列所对应的实际区域将更大。因此，需要对图像进行校正以获得给定网格区域的实际区域面积。
本实施例采用的图像校正算法中，需要估计两个消失点和地平面上两个角度的先验知识。大多数公共聚集场所是地平面场景，例如车站广场、庙会、步行街等，因此，这些参数可以通过大量平行线和垂直线获得。该图像校正算法采用的投影变换矩阵H可以被分解为三个矩阵Hs，Ha和Hp的级联，如等式(1)所示。
H＝HsHaHp (1)
其中，Hs代表相似变换，Ha是仿射变换，Hp是纯投影变换，具体地：
Figure BDA0002242805010000041
Figure BDA0002242805010000042
Figure BDA0002242805010000043
其中，R是旋转矩阵，t是平移向量，s是各向同性缩放，有四个自由度，Ha为具有由参数α和β表示的两个自由度，l∞＝(l1,l2,l3)T是平面的消失线，向量l∞是同质的并且具有两个自由度。
如图3为原始图片通过投影变换矩阵H处理之后变化的过程，校正之后的图片消除了图像透视失真的问题。
3、人群稳定性分析
基于人群稳定性判据识别给定网格区域的人群稳定状态，所述人群稳定性判据中，人群密度越低，则人群状态越稳定。
所述人群稳定性判据中，将人群密度值划分为非常低(VL)、低(L)、中等(M)、高(H)和非常高(VH)五个类别，若人群密度值属于非常低或低的类别，则识别人群处于稳定状态，若人群密度值属于中的类别，则识别人群处于临界稳定状态，若人群密度值属于高或非常高的类别，则识别人群处于不稳定状态。具体的人群稳定性判据如表1所示。当人群处于临界稳定状态时，安全管理部门应密切关注人群的运动状况。一旦人群达到不稳定状态，应采取紧急安全管理措施，如限制人流，增加防护栏以及增加现场安保人员。
表1人群状态划分
Figure BDA0002242805010000051
为了验证该模型的有效性，在春节期间收集上海虹桥火车站等候大厅的人群视频。入境通道前面的区域通常是最密集的区域，因为人们需要在那里排队进入铁路枢纽然后搭乘高铁。图4显示了这个重要区域中人群视频的一帧图像。其中，ABCD区域被划分为多个较小的网格区域，通过人群稳定性分析模型进行定量地识别处理，得到人群密度值的结果如图5所示。根据模型结果，安全部门可以判断哪些区域需要增加一些安全措施以防止事故发生，减少不必要的人力和物力资源浪费。
通过实验，可以发现入境通道附近区域的人群密度值高于其他区域，将此区域称为高风险区域，如图4中abcd区域所示。采用155秒的视频进行实验，其中人们正在穿过入站通道并且每5秒记录结果数据。高风险区域的人群密度值如图6所示。实验结果表明，当时间(t)为35s，120s或125s时，高风险区域的人群处于临界稳定状态。
实施例2
本实施例提供一种基于卷积神经网络的实时人群稳定状态识别装置，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器调用所述计算机程序执行如实施例1所述方法的步骤。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由本发明所确定的保护范围内。

Claims (8)

1.一种基于卷积神经网络的实时人群稳定状态识别方法，其特征在于，包括以下步骤：
获取输入图像，以所述输入图像作为多列卷积神经网络模型的输入，获得给定网格区域的人群数；
对所述输入图像进行图像校正，获得所述给定网格区域的实际面积；
基于所述人群数和实际面积，获得所述给定网格区域的人群密度值；
基于所述人群密度值识别各给定网格区域的人群稳定状态；
其中，所述多列卷积神经网络模型包括多个并行的、结构相同的卷积神经网络，各卷积神经网络的卷积核大小各不相同，各卷积神经网络的输出通过1×1的滤波器映射生成二维密度图矩阵，获得给定网格区域的人群数。
2.根据权利要求1所述的基于卷积神经网络的实时人群稳定状态识别方法，其特征在于，所述多列卷积神经网络模型中，对输入图像的每个2×2区域采用步幅为2的最大池化层。
3.根据权利要求1所述的基于卷积神经网络的实时人群稳定状态识别方法，其特征在于，所述多列卷积神经网络模型为四列卷积神经网络模型。
4.根据权利要求1所述的基于卷积神经网络的实时人群稳定状态识别方法，其特征在于，所述卷积神经网络采用整流线性单元作为激活函数。
5.根据权利要求1所述的基于卷积神经网络的实时人群稳定状态识别方法，其特征在于，所述图像校正中采用的投影变换矩阵H表示为：
H＝HsHaHp
其中，Hs代表相似变换，Ha是仿射变换，Hp是纯投影变换。
6.根据权利要求1所述的基于卷积神经网络的实时人群稳定状态识别方法，其特征在于，基于人群稳定性判据识别给定网格区域的人群稳定状态，所述人群稳定性判据中，人群密度越低，则人群状态越稳定。
7.根据权利要求6所述的基于卷积神经网络的实时人群稳定状态识别方法，其特征在于，所述人群稳定性判据中，将人群密度值划分为非常低、低、中等、高和非常高五个类别，若人群密度值属于非常低或低的类别，则识别人群处于稳定状态，若人群密度值属于中的类别，则识别人群处于临界稳定状态，若人群密度值属于高或非常高的类别，则识别人群处于不稳定状态。
8.一种基于卷积神经网络的实时人群稳定状态识别装置，包括处理器和存储器，所述存储器存储有计算机程序，其特征在于，所述处理器调用所述计算机程序执行如权利要求1-7任一所述方法的步骤。
CN201911006032.1A 2019-10-22 2019-10-22 基于卷积神经网络的实时人群稳定状态识别方法及装置 Active CN110866453B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911006032.1A CN110866453B (zh) 2019-10-22 2019-10-22 基于卷积神经网络的实时人群稳定状态识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911006032.1A CN110866453B (zh) 2019-10-22 2019-10-22 基于卷积神经网络的实时人群稳定状态识别方法及装置

Publications (2)

Publication Number Publication Date
CN110866453A true CN110866453A (zh) 2020-03-06
CN110866453B CN110866453B (zh) 2023-05-02

Family

ID=69652559

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911006032.1A Active CN110866453B (zh) 2019-10-22 2019-10-22 基于卷积神经网络的实时人群稳定状态识别方法及装置

Country Status (1)

Country Link
CN (1) CN110866453B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183397A (zh) * 2020-09-30 2021-01-05 四川弘和通讯有限公司 基于空洞卷积神经网络的坐防护栏行为的识别方法
CN113706529A (zh) * 2021-10-28 2021-11-26 鲁东大学 利用卷积神经网络对育苗期鲍鱼计数的方法、系统及装置
CN117576634A (zh) * 2024-01-16 2024-02-20 浙江大华技术股份有限公司 基于密度检测的异常分析方法、设备以及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105528589A (zh) * 2015-12-31 2016-04-27 上海科技大学 基于多列卷积神经网络的单张图像人群计数算法
CN107301387A (zh) * 2017-06-16 2017-10-27 华南理工大学 一种基于深度学习的图像高密度人群计数方法
WO2018059408A1 (zh) * 2016-09-29 2018-04-05 北京市商汤科技开发有限公司 跨线计数方法和神经网络训练方法、装置和电子设备
CN108960404A (zh) * 2017-05-22 2018-12-07 浙江宇视科技有限公司 一种基于图像的人群计数方法及设备
US20190266392A1 (en) * 2018-02-28 2019-08-29 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105528589A (zh) * 2015-12-31 2016-04-27 上海科技大学 基于多列卷积神经网络的单张图像人群计数算法
WO2018059408A1 (zh) * 2016-09-29 2018-04-05 北京市商汤科技开发有限公司 跨线计数方法和神经网络训练方法、装置和电子设备
CN108960404A (zh) * 2017-05-22 2018-12-07 浙江宇视科技有限公司 一种基于图像的人群计数方法及设备
CN107301387A (zh) * 2017-06-16 2017-10-27 华南理工大学 一种基于深度学习的图像高密度人群计数方法
US20190266392A1 (en) * 2018-02-28 2019-08-29 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RONGYONG ZHAO等: "Crowd evacuation stability based on Self-organized Criticality Theory" *
任子晖等: "基于群集智能理论的高密度人群疏散模型" *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183397A (zh) * 2020-09-30 2021-01-05 四川弘和通讯有限公司 基于空洞卷积神经网络的坐防护栏行为的识别方法
CN113706529A (zh) * 2021-10-28 2021-11-26 鲁东大学 利用卷积神经网络对育苗期鲍鱼计数的方法、系统及装置
CN113706529B (zh) * 2021-10-28 2022-01-28 鲁东大学 利用卷积神经网络对育苗期鲍鱼计数的方法、系统及装置
CN117576634A (zh) * 2024-01-16 2024-02-20 浙江大华技术股份有限公司 基于密度检测的异常分析方法、设备以及存储介质
CN117576634B (zh) * 2024-01-16 2024-05-28 浙江大华技术股份有限公司 基于密度检测的异常分析方法、设备以及存储介质

Also Published As

Publication number Publication date
CN110866453B (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
WO2021238019A1 (zh) 基于Ghost卷积特征融合神经网络实时车流量检测系统及方法
CN108492319B (zh) 基于深度全卷积神经网络的运动目标检测方法
CN110866453B (zh) 基于卷积神经网络的实时人群稳定状态识别方法及装置
CN103605983B (zh) 一种遗留物检测和跟踪方法
TWI441096B (zh) 適用複雜場景的移動偵測方法
CN109886159B (zh) 一种非限定条件下的人脸检测方法
US11900676B2 (en) Method and apparatus for detecting target in video, computing device, and storage medium
CN111753651A (zh) 一种基于车站二维人群密度分析的地铁群体异常行为检测方法
CN108471497A (zh) 一种基于云台摄像机的船目标实时检测方法
CN111612024A (zh) 特征提取方法、装置、电子设备及计算机可读存储介质
Tomar et al. Crowd analysis in video surveillance: A review
CN104537381B (zh) 一种基于模糊不变特征的模糊图像识别方法
CN112396635A (zh) 一种基于多设备的复杂环境下多目标检测方法
Song et al. A novel sky image-based solar irradiance nowcasting model with convolutional block attention mechanism
CN111683221B (zh) 嵌入矢量红线数据的自然资源实时视频监测方法及系统
CN111178503A (zh) 面向移动终端的去中心化目标检测模型训练方法及系统
CN114926456A (zh) 一种半自动标注和改进深度学习的铁轨异物检测方法
CN110348329B (zh) 基于视频序列帧间信息的行人检测方法
CN108520496B (zh) 一种基于光流法的海空背景监控视频图像拼接方法
CN103824074A (zh) 一种基于背景减除和纹理特征的人群密度估计方法及系统
CN111950518A (zh) 一种用于暴力行为识别的视频图像增强方法
CN111832348A (zh) 基于像素和通道注意力机制的行人重识别方法
CN116152699A (zh) 用于水电厂视频监控系统的实时运动目标检测方法
CN112163502B (zh) 一种室内动态场景下的视觉定位方法
CN112070048B (zh) 基于RDSNet的车辆属性识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant