CN116167625B - 一种基于深度学习的踩踏风险评估方法 - Google Patents

一种基于深度学习的踩踏风险评估方法 Download PDF

Info

Publication number
CN116167625B
CN116167625B CN202310453844.0A CN202310453844A CN116167625B CN 116167625 B CN116167625 B CN 116167625B CN 202310453844 A CN202310453844 A CN 202310453844A CN 116167625 B CN116167625 B CN 116167625B
Authority
CN
China
Prior art keywords
people
road
model
influence
risk
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310453844.0A
Other languages
English (en)
Other versions
CN116167625A (zh
Inventor
徐雪松
田志平
方小蝶
罗政
霍杨杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University of Technology
Original Assignee
Hunan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University of Technology filed Critical Hunan University of Technology
Priority to CN202310453844.0A priority Critical patent/CN116167625B/zh
Publication of CN116167625A publication Critical patent/CN116167625A/zh
Application granted granted Critical
Publication of CN116167625B publication Critical patent/CN116167625B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0635—Risk analysis of enterprise or organisation activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Computation (AREA)
  • Operations Research (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Administration (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Primary Health Care (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于计算机视觉技术领域，具体涉及一种基于深度学习的踩踏风险评估方法，本发明通过构建目标检测模型和目标跟踪模型，实现了区域内的人流量的准确检测，仅通过安装或利用现有的监控器即可完成实际场景的搭建，不需要耗费大量人力物力，并且不受场地的限制；通过神经网络模型预测未来时刻的人流量，有效增加了踩踏风险的预警时间；通过采用层级分析法综合分析多种外部影响因素，提高了踩踏风险预测的参考价值；本发明通过复杂人流的预测获得了有效的踩踏风险程度分级预警，并且结合局部的人流密度以及人均移速分析风险的变化趋势，完成踩踏风险评估，从而能够结合全市人员聚集情况及时调配社会资源，减少应对公共突发事件的资源浪费。

Description

一种基于深度学习的踩踏风险评估方法
技术领域
本发明属于计算机视觉技术领域，具体涉及一种基于深度学习的踩踏风险评估方法。
背景技术
实时检测人群总流量与密度并对其风险进行评估，对防范化解踩踏事故的发生具有重大现实意义。
现有技术中，常见的人流量检测方法有人工计数方法、依靠进出闸门等技术产品计数的方法和利用监控视频识别计数的方法。其中，人工计数方法消耗大量人力物力，并且容易因为人眼实现受阻导致计数错误。依靠进出闸门等技术产品计数的方法，对场景封闭性有一定的要求，并且需要投入大量资金搭建技术产品。这两种方法都存在诸多的局限性。
而基于监控视频识别计数来检测人流量的方法有两类发展趋势。一类是传统的及其学习方法，这类方法需要针对不同特征进行大量的人工标注，并且无法很好地在时间序列上关联同一个人的检测框，容易造成计数的重复或丢失。另一类是深度学习方法，可以端对端的自动学习复杂的特征描述，实时跟踪人体运动轨迹。但是现有的研究中检测模型体积较大，无法在显示场景中大规模部署使用。现有技术中，缺乏一种基于深度学习方法检测人流量，并且基于人流量检测结果分析区域内发生踩踏事故的风险程度的方法。
发明内容
本发明要解决的技术问题在于现有技术中缺乏一种基于深度学习方法检测人流量，并且基于人流量检测结果分析区域内发生踩踏事故的风险程度的方法，从而提供一种基于深度学习的踩踏风险评估方法。
一种基于深度学习的踩踏风险评估方法，在监控区域内的道路安装有监控器，并实时采集监控视频数据，包括以下步骤：
步骤S2：构建目标检测模型，对所述目标检测模型进行训练，并采用所述目标检测模型对监控视频数据进行目标检测，输出目标检测结果；
步骤S3：将目标检测结果导入目标跟踪模型，对行人进行跟踪和计数，计算出局部人流密度和局部人均移速，并计算每条道路的进出人数，并采用双线计数法计算每条道路内的实时总人数；
步骤S4：将道路内的实时总人数按时间序列传入神经网络模型，训练所述神经网络模型并预测时刻的基础人流总数预测值；
步骤S5：确定多个影响因素指标，每个所述影响因素指标包括多个影响因素，将所述影响因素指标作为层级分析法的准则层，影响因素风险评价作为层级分析法的目标层，计算各个所述影响因素指标的影响权重，并计算各个影响因素的影响强度系数；根据所述影响权重和影响强度系数计算外部影响踩踏指数，并结合所述基础人流总数预测值计算复杂人流数预测值，比较所述复杂人流数预测值与理论最大人流量，得到时刻发生踩踏事件的风险系数；根据所述风险系数的所在道路进行/>时刻的踩踏风险程度分级预警；
步骤S6：根据所述实时总人数、所述局部人流密度和所述人均移速，预测道路的人流数变化趋势，并分析道路的所述踩踏风险程度分级预警的变化趋势，结合步骤S5中的踩踏风险程度分级预警完成踩踏风险评估。
进一步的，还包括以下步骤：
步骤S1：获取行人检测公共数据集，并进行数据增强，数据增强后的数据集用于在步骤S2中训练目标检测模型；
所述数据增强的方法包括对数据集中的图像进行平移、缩放、旋转、翻转、错切边换、透视变换、mosaic变换、mixup、分割填补、色调调整、饱和度调整和曝光度调整中的一种或多种。
进一步的，所述步骤S2中，所述目标检测模型为修改后的YOLOv5s模型，所述步骤S2包括以下步骤：
步骤S21：将YOLOv5s模型中七个步长为二的卷积层替换为空间深度卷积；
步骤S22：将YOLOv5s模型中的损失函数CIoU Loss替换为Focal_EIoU，完成YOLOv5s模型的修改；
步骤S23：对修改后的YOLOv5s模型进行稀疏训练、模型剪枝和模型微调，并对监控视频数据进行目标检测。
进一步的，所述步骤S3中，所述目标跟踪模型为DeepSORT模型，所述步骤S3包括以下步骤：
步骤S31：向所述DeepSORT模型传入目标检测结果，所述目标检测结果包括每一帧的检测框、检测置信度和检测类别，为每一帧的所有检测框标记连续的身份计数码，并生成对应的检测框信息，所述检测框信息包括参数：检测框中心点的x轴坐标和y轴坐标、检测框宽度、检测框高度，以及四个上述参数的变化速率；
步骤S32：根据步骤S31中的检测框信息，基于卡尔曼滤波算法的恒速模型预测上一帧的检测框在当前帧的位置，并记为跟踪框；结合外观特征与动作特征计算代价矩阵，利用匈牙利算法的最优匹配法将跟踪框与当前帧的检测框进行关联匹配，然后进行位置更新来校正跟踪框的参数，对目标检测结果的每一帧重复步骤S32，生成跟踪数据；
步骤S33：根据步骤S32中的跟踪数据，计算局部人流密度Rk和局部人均移速Vk，计算方法为：
，
，
，
其中，所述监控器包括安装于道路中段的路中段监控器，代表各个道路的所述路中段监控器，/>、/>、/>分别代表该所述路中段监控器中总计数人数、身份计数码的最大值与最小值，/>代表所述路中段监控器的监测区域对应的实际面积，/>、/>分别代表所述路中段监控器下每个检测框的x轴和y轴变化速率。
进一步的，所述步骤S3还包括以下步骤：
步骤S34：所述监控器还包括在道路的每一个进出口处设置的进出口监控器，在所述进出口监控器的监测区域上划定一组垂直于所述进出口的平行线，包括远离所述道路中部的第一检测线和靠近所述道路中部的第二检测线；当检测框的中心点坐标由第一检测线变换至第二检测线，所述进出口的进入人数增加计数；当检测框的中心点 由第二检测线变换至第一检测线，所述进出口的离开人数/>增加计数；其中，i为进出口的标号，n为所述道路的进出口总数，计算得到道路内的实时总人数：
。
进一步的，所述步骤S4中的所述神经网络模型为LSTM模型，所述步骤S4包括以下步骤：
步骤S41：将所述步骤S3中道路内的历史实时总人数按时间序列传入LSTM模型，训练所述LSTM模型并预测特定时刻的基础人流总数预测值。
进一步的，所述步骤S4还包括：
步骤S42：根据人体平均最大肩宽与胸部厚度/>计算单人椭圆投影面积/>与矩形投影面积/>，并计算单人理论占地面积/>，
,
,
;
计算道路的理论最大人流量Pmax和理论最大人流密度ρmax，其中为第i条道路的实际可行走面积：
，
。
进一步的，所述步骤S5包括：
步骤S51：确定多个影响因素指标，将所述影响因素指标作为层级分析法的准则层，将影响因数风险评价作为层级分析法的目标层，确定各影响因素指标的权重系数；
步骤S52：构建所述影响因素指标的判断矩阵，标注不同影响因素指标的相对重要性，并得出不同影响因素指标的影响权重；
步骤S53：确定多个所述影响因素指标包括的影响因素Mij，根据所述影响因素的影响强度系数，并构建强度系数矩阵；
步骤S54：引入修正因子，根据不同影响因素指标的影响权重/>和影响因素的影响强度系数/>计算外部影响踩踏指数/>：
;
步骤S55：根据所述外部影响踩踏指数和t时刻的基础人流总数预测值W0，计算复杂人流数预测值W：
;
步骤S56：根据t时刻的复杂人流数预测值W与理论最大人流量Pmax，计算时刻发生踩踏事件的风险系数/>：
,
并根据所述风险系数的所在区间进行t时刻的踩踏风险程度分级预警。
进一步的，所述影响因素指标，包括天气因素、道路地形因素、节假日和特殊情况中的一个或多个；所述天气因素的影响因素包括晴天、下雨、狂风、恶劣中的一个或多个；所述道路地形因素的影响因素包括平地、台阶、泥泞、多障碍物、狭窄拥挤中的一个或多个；所述节假日的影响因素包括工作日、周末、普通节假日、重点出行节日中的一个或多个；所述特殊情况的影响因素包括节目表演、明星出行、突发险情中的一个或多个。
进一步的，所述步骤S6中，根据道路的实时总人数P计算实时平均人流密度，比较道路的局部人流密度与实时平均人流密度；当局部人流密度大于实时平均人流密度时，认定人流数正在从该局部向两边以局部人均移速逐渐减少，此时踩踏风险从局部向两边递减；反之，当局部人流密度小于实时平均人流密度时，认定人流数正在从该局部向两边以局部人均移速逐渐增加，此时踩踏风险从局部向两边递增。
有益效果：本发明通过构建目标检测模型和目标跟踪模型，实现了区域内的人流量的准确检测，仅通过安装或利用现有的监控器即可完成实际场景的搭建，不需要耗费大量人力物力，并且不受场地的限制；通过神经网络模型预测未来时刻的人流量，有效增加了踩踏风险的预警时间；通过采用层级分析法综合分析多种外部影响因素，提高了踩踏风险预测的参考价值；本发明通过复杂人流的预测获得了有效的踩踏风险程度分级预警，并且结合局部的人流密度以及人均移速分析风险的变化趋势，完成踩踏风险评估，从而能够结合全市人员聚集情况及时调配社会资源，减少应对公共突发事件的资源浪费。
附图说明
图1为本发明方法的主流流程图；
图2为本发明外部影响因素的示意图；
图3为本发明踩踏风险程度分级预警的示意图；
图4为本发明双线计数法统计人数的方法示意图；
图5为本发明端边云模型的结构示意图。
具体实施方式
为了使本领域的技术人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参照图1所示，本实施例提供了一种基于深度学习的踩踏风险评估方法，在监控区域内的道路安装有监控器，并实时采集监控视频数据，包括以下步骤：
步骤S1：获取行人检测公共数据集，并进行数据增强，数据增强后的数据集用于在步骤S2中训练目标检测模型；
步骤S2：构建目标检测模型，对所述目标检测模型进行训练，并采用所述目标检测模型对监控视频数据进行目标检测，输出目标检测结果；
步骤S3：将目标检测结果导入目标跟踪模型，对行人进行跟踪和计数，计算出局部人流密度和局部人均移速，并计算每条道路的进出人数，并采用双线计数法计算每条道路内的实时总人数；
步骤S4：将道路内的实时总人数按时间序列传入神经网络模型，训练所述神经网络模型并预测t时刻的基础人流总数预测值；
步骤S5：确定多个影响因素指标，每个所述影响因素指标包括多个影响因素，将所述影响因素指标作为层级分析法的准则层，影响因素风险评价作为层级分析法的目标层，计算各个所述影响因素指标的影响权重，并计算各个影响因素的影响强度系数；根据所述影响权重和影响强度系数计算外部影响踩踏指数，并结合所述基础人流总数预测值计算复杂人流数预测值，比较所述复杂人流数预测值与理论最大人流量，得到t时刻发生踩踏事件的风险系数；根据所述风险系数的所在道路进行t时刻的踩踏风险程度分级预警；
根据所述实时总人数、所述局部人流密度和所述人均移速，预测道路的人流数变化趋势，并分析道路的所述踩踏风险程度分级预警的变化趋势，结合步骤S5中的踩踏风险程度分级预警完成踩踏风险评估。
具体来说，步骤S1中，获取行人检测公共数据集，将所述数据集转化为YOLO格式，并对数据集中的图像进行平移、缩放、旋转、翻转、错切边换、透视变换、mosaic变换、mixup、分割填补、色调调整、饱和度调整和曝光度调整等数据增强；通过数据增强能够丰富数据集的多样性，减少不同光线与不同背景对目标识别精度的影响。
步骤S2中，对YOLOv5s目标检测模型进行改进和训练，包括以下步骤：
步骤S21：将YOLOv5s模型中七个步长为二的卷积层替换为空间深度卷积；从而保留图像的细粒度信息，增强对小目标和模糊图像的检测能力；
步骤S22：将YOLOv5s模型中的损失函数CIoU Loss替换为Focal_EIoU，完成YOLOv5s模型的修改；从而能够更好衡量两个边界框的距离，关注两个边界框的重叠部分及重叠方式，增强对密集行人的检测效果；
步骤S23：对修改后的YOLOv5s模型进行稀疏训练、模型剪枝和模型微调，并对监控视频数据进行目标检测；调整合适的稀疏因子和剪枝比例，能够减小模型体积，进一步提升推理速度。
对Yolov5模型的轻量化处理减小了目标检测的参数数量与计算量，提高了推理速度，压缩了模型体积，从而使目标检测模型能在实际应用场景中大范围地部署实施。
所述步骤S3中，所述目标跟踪模型为DeepSORT模型，所述步骤S3包括以下步骤：
步骤S31：向所述DeepSORT模型传入目标检测结果，所述目标检测结果包括每一帧的检测框、检测置信度和检测类别，为每一帧的所有检测框标记连续的身份计数码，并生成对应的检测框信息/>，所述检测框信息包括参数：检测框中心点的x轴坐标x和y轴坐标y、检测框宽度w、检测框高度h，以及四个上述参数的变化速率；
步骤S32：根据步骤S31中的检测框信息，基于卡尔曼滤波算法的恒速模型预测上一帧的检测框在当前帧的位置，并记为跟踪框；结合外观特征与动作特征计算代价矩阵，利用匈牙利算法的最优匹配法将跟踪框与当前帧的检测框进行关联匹配，然后进行位置更新来校正跟踪框的参数，能够使匹配结果更加精确；对目标检测结果的每一帧重复步骤S32，生成跟踪数据；
步骤S33：根据步骤S32中的跟踪数据，计算局部人流密度Rk和局部人均移速Vk，计算方法为：
，
，
，
其中，所述监控器包括安装于道路中段的路中段监控器，代表各个道路的所述路中段监控器，/>、/>、/>分别代表该所述路中段监控器中总计数人数、身份计数码的最大值与最小值，/>代表所述路中段监控器的监测区域对应的实际面积，/>、/>分别代表所述路中段监控器下每个检测框的x轴和y轴变化速率。
步骤S34：如图4所示，采用双线计数法统计人数，所述监控器还包括在道路的每一个进出口处设置的进出口监控器，在所述进出口监控器的监测区域上划定一组垂直于所述进出口的平行线，包括远离所述道路中部的第一检测线L1和靠近所述道路中部的第二检测线L2；当检测框的中心点坐标由第一检测线变换至第二检测线，所述进出口的进入人数增加计数；当检测框的中心点 由第二检测线变换至第一检测线，所述进出口的离开人数增加计数；其中，i为进出口的标号，n为所述道路的进出口总数，计算得到道路内的实时总人数/>：
。
所述步骤S4中的所述神经网络模型为LSTM模型，包括以下步骤：
步骤S41：将所述步骤S3中道路内的历史实时总人数按时间序列传入LSTM模型，训练所述LSTM模型并预测特定时刻的基础人流总数预测值。
步骤S42：根据人体平均最大肩宽与胸部厚度/>计算单人椭圆投影面积/>与矩形投影面积/>，并计算单人理论占地面积/>，使理论数据更贴近现实情况：
,
,
;
计算道路的理论最大人流量Pmax和理论最大人流密度ρmax，其中为第i条道路的实际可行走面积：
，
。
所述步骤S5包括：
步骤S51：参照图2所示确定多个影响因素指标，包括天气因素M1、道路地形因素M2、节假日M3和特殊情况M4，将所述影响因素指标作为层级分析法的准则层，将影响因数风险评价作为层级分析法的目标层，确定各影响因素指标的权重系数；
步骤S52：根据专家对历史踩踏事件各种原因的分析结果，构建所述影响因素指标的4×4的判断矩阵，采用1~9标度法标注不同影响因素指标的相对重要性，并得出不同影响因素指标的影响权重；
步骤S53：确定多个所述影响因素指标包括的影响因素Mij，其中天气因素包含晴天M11、下雨M12、狂风M13、恶劣M14四种；道路地形包含平地M21、台阶M22、泥泞M23、多障碍物M24、狭窄拥挤M25五种；节假日包含工作日M31、周末M32、普通节假日M33、重点出行节日M34四种；特殊情况包含节目表演M41、明星出行M42、突发险情M43三种。根据各种历史踩踏事件的严重程度与具体情况，确定影响因素的影响强度系数（在0-5中评定），在本实施例中对M15、M35、M44、M35四种不存在情况的影响强度赋0值，并构建强度系数矩阵：
;
步骤S54：引入修正因子，根据不同影响因素指标的影响权重/>和影响因素的影响强度系数/>计算外部影响踩踏指数/>：
;
通过引入修正因子对外部影响踩踏指数/>进行校正，可变地控制外部因素的影响程度，让风险评估结果更具备现实意义，在本实施例中，所述修正因子/>根据前一天的真实人流数与预测人流数的平均比值来调整，取值范围为零到正无穷。
步骤S55：根据所述外部影响踩踏指数和t时刻的基础人流总数预测值W0，计算复杂人流数预测值W：
;
步骤S56：根据时刻的复杂人流数预测值W与理论最大人流量Pmax，计算t时刻发生踩踏事件的风险系数/>：
,
并根据所述风险系数的所在区间进行/>时刻的踩踏风险程度分级预警，根据风险系数/>对踩踏风险程度进行一到五级风险划分，等级越高则踩踏风险越大。管理人员可通过所预测的不同风险程度提前展开不同预警行为，及时保障公众的生命财产安全并减少公共突发事件的资源调度冲突。踩踏风险程度具体划分标准参照图3所示。
所述步骤S6中构建全市商业区端、边、云三层架构模型，具体方法为：假定全市有M个商业区，每个商业区有N条主干道，每条道路上有n个进出口监控器与m个路中段监控器，通过以上所有步骤可以实时检测各条道路、各个商业区的人流情况，预测未来时刻各条道路、各个商业区的人流情况。
根据道路的实时总人数P计算实时平均人流密度，比较道路的路中段监控器对应的局部人流密度与实时平均人流密度；当局部人流密度大于实时平均人流密度时，认定人流数正在从该点向两边以局部人均移速逐渐减少，此时踩踏风险从中段点向两边递减；反之，当局部人流密度小于实时平均人流密度时，认定人流数正在从该点向两边以局部人均移速逐渐增加，此时踩踏风险从中段点向两边递增；同时，踩踏风险的变化程度与局部人均移速的大小正相关。
根据步骤S5中的踩踏风险程度分级预警结合踩踏风险的增减变化，生成对应的踩踏风险程度预测热力图，热力图通过无色、紫色、绿色、黄色、红色五种颜色对踩踏风险程度（1-5级）依次递增，可视化的观测商业区风险预测与评估情况。
同时，参照图5所示，街道的监控器获取实时的视频流，多路推流给商业区域的边缘控制器，边缘服务器将分析结果传送给控制中心，实现全局监控，形成一个道路、商业区域、全市总控三层信息高度联通的端边云模型，达到实时观测现实情况与提前预测踩踏事件的双重功能，同时还可以结合全市人员聚集情况及时调配社会资源，减少应对公共突发事件的资源浪费。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围之内。

Claims (6)

1.一种基于深度学习的踩踏风险评估方法，在监控区域内的道路安装有监控器，并实时采集监控视频数据，其特征在于，包括以下步骤：
步骤S2：构建目标检测模型，对所述目标检测模型进行训练，并采用所述目标检测模型对监控视频数据进行目标检测，输出目标检测结果；
步骤S3：将目标检测结果导入目标跟踪模型，对行人进行跟踪和计数，计算出局部人流密度和局部人均移速，并计算每条道路的进出人数，并采用双线计数法计算每条道路内的实时总人数；
所述步骤S3中，所述目标跟踪模型为DeepSORT模型，所述步骤S3包括以下步骤：
步骤S31：向所述DeepSORT模型传入目标检测结果，所述目标检测结果包括每一帧的检测框、检测置信度和检测类别，为每一帧的所有检测框标记连续的身份计数码，并生成对应的检测框信息，所述检测框信息包括参数：检测框中心点的x轴坐标和y轴坐标、检测框宽度、检测框高度，以及四个上述参数的变化速率；
步骤S32：根据步骤S31中的检测框信息，基于卡尔曼滤波算法的恒速模型预测上一帧的检测框在当前帧的位置，并记为跟踪框；结合外观特征与动作特征计算代价矩阵，利用匈牙利算法的最优匹配法将跟踪框与当前帧的检测框进行关联匹配，然后进行位置更新来校正跟踪框的参数，对目标检测结果的每一帧重复步骤S32，生成跟踪数据；
步骤S33：根据步骤S32中的跟踪数据，计算局部人流密度Rk和局部人均移速Vk，计算方法为：
，
，
，
其中，所述监控器包括安装于道路中段的路中段监控器，代表各个道路的所述路中段监控器，/>、/>、/>分别代表该所述路中段监控器中总计数人数、身份计数码的最大值与最小值，/>代表所述路中段监控器的监测区域对应的实际面积，/>、/>分别代表所述路中段监控器下每个检测框的x轴和y轴变化速率；
步骤S34：所述监控器还包括在道路的每一个进出口处设置的进出口监控器，在所述进出口监控器的监测区域上划定一组垂直于所述进出口的平行线，包括远离所述道路中部的第一检测线和靠近所述道路中部的第二检测线；当检测框的中心点坐标由第一检测线变换至第二检测线，所述进出口的进入人数增加计数；当检测框的中心点 由第二检测线变换至第一检测线，所述进出口的离开人数/>增加计数；其中，i为进出口的标号，n为所述道路的进出口总数，计算得到道路内的实时总人数：
；
步骤S4：将道路内的实时总人数按时间序列传入神经网络模型，训练所述神经网络模型并预测时刻的基础人流总数预测值；
步骤S5：确定多个影响因素指标，每个所述影响因素指标包括多个影响因素，将所述影响因素指标作为层级分析法的准则层，影响因素风险评价作为层级分析法的目标层，计算各个所述影响因素指标的影响权重，并计算各个影响因素的影响强度系数；根据所述影响权重和影响强度系数计算外部影响踩踏指数，并结合所述基础人流总数预测值计算复杂人流数预测值，比较所述复杂人流数预测值与理论最大人流量，得到时刻发生踩踏事件的风险系数；根据所述风险系数的所在道路进行/>时刻的踩踏风险程度分级预警；
所述步骤S5中，多个影响因素指标包括天气因素M1、道路地形因素M2、节假日M3和特殊情况M4；多个所述影响因素指标包括影响因素Mij，其中天气因素包含晴天M11、下雨M12、狂风M13、恶劣M14四种；道路地形包含平地M21、台阶M22、泥泞M23、多障碍物M24、狭窄拥挤M25五种；节假日包含工作日M31、周末M32、普通节假日M33、重点出行节日M34四种；特殊情况包含节目表演M41、明星出行M42、突发险情M43三种；
步骤S6：根据所述实时总人数、所述局部人流密度和所述人均移速，预测道路的人流数变化趋势，并分析道路的所述踩踏风险程度分级预警的变化趋势，结合步骤S5中的踩踏风险程度分级预警完成踩踏风险评估；
所述步骤S6中，根据道路的实时总人数P计算实时平均人流密度，比较道路的局部人流密度与实时平均人流密度；当局部人流密度大于实时平均人流密度时，认定人流数正在从该局部向两边以局部人均移速逐渐减少，此时踩踏风险从局部向两边递减；反之，当局部人流密度小于实时平均人流密度时，认定人流数正在从该局部向两边以局部人均移速逐渐增加，此时踩踏风险从局部向两边递增。
2.根据权利要求1所述的一种基于深度学习的踩踏风险评估方法，其特征在于，还包括以下步骤：
步骤S1：获取行人检测公共数据集，并进行数据增强，数据增强后的数据集用于在步骤S2中训练目标检测模型；
所述数据增强的方法包括对数据集中的图像进行平移、缩放、旋转、翻转、错切边换、透视变换、mosaic变换、mixup、分割填补、色调调整、饱和度调整和曝光度调整中的一种或多种。
3.根据权利要求1所述的一种基于深度学习的踩踏风险评估方法，其特征在于，所述步骤S2中，所述目标检测模型为修改后的YOLOv5s模型，所述步骤S2包括以下步骤：
步骤S21：将YOLOv5s模型中七个步长为二的卷积层替换为空间深度卷积；
步骤S22：将YOLOv5s模型中的损失函数CIoU Loss替换为Focal_EIoU，完成YOLOv5s模型的修改；
步骤S23：对修改后的YOLOv5s模型进行稀疏训练、模型剪枝和模型微调，并对监控视频数据进行目标检测。
4.根据权利要求1所述的一种基于深度学习的踩踏风险评估方法，其特征在于，所述步骤S4中的所述神经网络模型为LSTM模型，所述步骤S4包括以下步骤：
步骤S41：将所述步骤S3中道路内的历史实时总人数按时间序列传入LSTM模型，训练所述LSTM模型并预测特定时刻的基础人流总数预测值。
5.根据权利要求1所述的一种基于深度学习的踩踏风险评估方法，其特征在于，所述步骤S4还包括：
步骤S42：根据人体平均最大肩宽与胸部厚度/>计算单人椭圆投影面积/>与矩形投影面积/>，并计算单人理论占地面积/>，
,
,
;
计算道路的理论最大人流量Pmax和理论最大人流密度ρmax，其中为第i条道路的实际可行走面积：
，
。
6.根据权利要求1所述的一种基于深度学习的踩踏风险评估方法，其特征在于，所述步骤S5包括：
步骤S51：确定多个影响因素指标，将所述影响因素指标作为层级分析法的准则层，将影响因数风险评价作为层级分析法的目标层，确定各影响因素指标的权重系数；
步骤S52：构建所述影响因素指标的判断矩阵，标注不同影响因素指标的相对重要性，并得出不同影响因素指标的影响权重；
步骤S53：确定多个所述影响因素指标包括的影响因素Mij，根据所述影响因素的影响强度系数，并构建强度系数矩阵；
步骤S54：引入修正因子，根据不同影响因素指标的影响权重/>和影响因素的影响强度系数/>计算外部影响踩踏指数/>：
;
步骤S55：根据所述外部影响踩踏指数和t时刻的基础人流总数预测值W0，计算复杂人流数预测值W：
;
步骤S56：根据t时刻的复杂人流数预测值W与理论最大人流量Pmax，计算时刻发生踩踏事件的风险系数/>：
,
并根据所述风险系数的所在区间进行t时刻的踩踏风险程度分级预警。
CN202310453844.0A 2023-04-25 2023-04-25 一种基于深度学习的踩踏风险评估方法 Active CN116167625B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310453844.0A CN116167625B (zh) 2023-04-25 2023-04-25 一种基于深度学习的踩踏风险评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310453844.0A CN116167625B (zh) 2023-04-25 2023-04-25 一种基于深度学习的踩踏风险评估方法

Publications (2)

Publication Number Publication Date
CN116167625A CN116167625A (zh) 2023-05-26
CN116167625B true CN116167625B (zh) 2023-08-18

Family

ID=86418646

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310453844.0A Active CN116167625B (zh) 2023-04-25 2023-04-25 一种基于深度学习的踩踏风险评估方法

Country Status (1)

Country Link
CN (1) CN116167625B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117831254A (zh) * 2024-03-06 2024-04-05 山东捷瑞信息技术产业研究院有限公司 基于数字孪生的踩踏事故预警方法、装置、设备及介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105261148A (zh) * 2015-10-14 2016-01-20 广州医科大学 一种基于天网监控系统的踩踏事件预警疏散方法
CN105787853A (zh) * 2016-04-14 2016-07-20 北京中电万联科技股份有限公司 一种公共区域拥挤、踩踏事件应急预警系统
CN106205042A (zh) * 2016-08-26 2016-12-07 王起全 一种地铁拥挤踩踏事故预警联动系统及预警联动方法
CN206021238U (zh) * 2016-08-05 2017-03-15 成都因纳伟盛科技股份有限公司 基于身份证远程识别的景区人流分布展示系统
CN107274630A (zh) * 2017-06-09 2017-10-20 安徽富煌科技股份有限公司 一种基于非稳态运动物体统计的防踩踏预警系统
CN109522854A (zh) * 2018-11-22 2019-03-26 广州众聚智能科技有限公司 一种基于深度学习和多目标跟踪的行人流量统计方法
CN110689184A (zh) * 2019-09-21 2020-01-14 广东毓秀科技有限公司 一种通过深度学习进行轨交人流预测的方法
CN111539864A (zh) * 2020-03-31 2020-08-14 中国刑事警察学院 一种基于lbs大数据的踩踏事件的情报分析方法和装置
CN113361825A (zh) * 2021-07-19 2021-09-07 青岛理工大学 一种踩踏事故早期预警方法及系统
CN113743260A (zh) * 2021-08-23 2021-12-03 北京航空航天大学 一种地铁站台密集人流情况下的行人跟踪方法
CN115295129A (zh) * 2022-06-29 2022-11-04 珠海格力电器股份有限公司 一种人流量预测方法、系统、电子设备及存储介质
CN115841649A (zh) * 2022-11-21 2023-03-24 哈尔滨工程大学 一种用于城市复杂场景的多尺度人数统计方法
CN115936354A (zh) * 2022-11-25 2023-04-07 上海宝通汎球电子有限公司 一种基于物联网的智慧城市信息管理方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021130926A1 (ja) * 2019-12-25 2021-07-01 日本電信電話株式会社 人流予測装置、人流予測方法、及び人流予測プログラム

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105261148A (zh) * 2015-10-14 2016-01-20 广州医科大学 一种基于天网监控系统的踩踏事件预警疏散方法
CN105787853A (zh) * 2016-04-14 2016-07-20 北京中电万联科技股份有限公司 一种公共区域拥挤、踩踏事件应急预警系统
CN206021238U (zh) * 2016-08-05 2017-03-15 成都因纳伟盛科技股份有限公司 基于身份证远程识别的景区人流分布展示系统
CN106205042A (zh) * 2016-08-26 2016-12-07 王起全 一种地铁拥挤踩踏事故预警联动系统及预警联动方法
CN107274630A (zh) * 2017-06-09 2017-10-20 安徽富煌科技股份有限公司 一种基于非稳态运动物体统计的防踩踏预警系统
CN109522854A (zh) * 2018-11-22 2019-03-26 广州众聚智能科技有限公司 一种基于深度学习和多目标跟踪的行人流量统计方法
CN110689184A (zh) * 2019-09-21 2020-01-14 广东毓秀科技有限公司 一种通过深度学习进行轨交人流预测的方法
CN111539864A (zh) * 2020-03-31 2020-08-14 中国刑事警察学院 一种基于lbs大数据的踩踏事件的情报分析方法和装置
CN113361825A (zh) * 2021-07-19 2021-09-07 青岛理工大学 一种踩踏事故早期预警方法及系统
CN113743260A (zh) * 2021-08-23 2021-12-03 北京航空航天大学 一种地铁站台密集人流情况下的行人跟踪方法
CN115295129A (zh) * 2022-06-29 2022-11-04 珠海格力电器股份有限公司 一种人流量预测方法、系统、电子设备及存储介质
CN115841649A (zh) * 2022-11-21 2023-03-24 哈尔滨工程大学 一种用于城市复杂场景的多尺度人数统计方法
CN115936354A (zh) * 2022-11-25 2023-04-07 上海宝通汎球电子有限公司 一种基于物联网的智慧城市信息管理方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
城市公共场所人群拥挤踩踏事故分析;任常兴;吴宗之;刘茂;;中国安全科学学报(12);全文 *

Also Published As

Publication number Publication date
CN116167625A (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
CN109977812B (zh) 一种基于深度学习的车载视频目标检测方法
CN109147331B (zh) 一种基于计算机视觉的道路拥堵状态检测方法
CN106023605B (zh) 一种基于深度卷积神经网络的交通信号灯控制方法
CN104778834B (zh) 一种基于车辆gps数据的城市道路交通拥堵判别方法
Hoogendoorn et al. Extracting microscopic pedestrian characteristics from video data
Yang et al. Image-based visibility estimation algorithm for intelligent transportation systems
CN113223059B (zh) 基于超分辨率特征增强的弱小空域目标检测方法
CN107729799A (zh) 基于深度卷积神经网络的人群异常行为视觉检测及分析预警系统
CN108710875A (zh) 一种基于深度学习的航拍公路车辆计数方法及装置
CN115050177B (zh) 一种基于时空多头注意力机制的高速公路拥堵预测方法
CN109670404A (zh) 一种基于混合模型的道路积水图像检测预警方法
CN103488993B (zh) 一种基于fast的人群异常行为识别方法
CN104134068B (zh) 基于稀疏编码的监控车辆特征表示及分类方法
CN114023062B (zh) 一种基于深度学习和边缘计算的交通流信息监测方法
CN110675626B (zh) 基于多维数据的交通事故黑点预测方法、装置及介质
CN116167625B (zh) 一种基于深度学习的踩踏风险评估方法
CN112053556B (zh) 一种交通监控复眼动态识别交通事故自我进化系统
CN110751829B (zh) 一种基于图像自学习的车辆排队消散时间预测方法
CN106934374A (zh) 一种雾霾场景中交通标识牌的识别方法及系统
CN111666860A (zh) 一种车牌信息与车辆特征融合的车辆轨迹跟踪方法
CN106845359A (zh) 基于红外发射的隧道入口行车提示装置及方法
CN113450573A (zh) 基于无人机图像识别的交通监测方法和交通监测系统
WO2016061724A1 (zh) 一种基于深度学习的全天候视频监控方法
CN117351702A (zh) 一种基于车流量进行调节的智慧交通管理方法
CN114913447B (zh) 基于场景识别的警务智慧指挥室系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant