CN117058627B - 一种公共场所人群安全距离监测方法、介质及系统 - Google Patents
一种公共场所人群安全距离监测方法、介质及系统 Download PDFInfo
- Publication number
- CN117058627B CN117058627B CN202311321594.1A CN202311321594A CN117058627B CN 117058627 B CN117058627 B CN 117058627B CN 202311321594 A CN202311321594 A CN 202311321594A CN 117058627 B CN117058627 B CN 117058627B
- Authority
- CN
- China
- Prior art keywords
- pose
- crowd
- distance
- concentration
- safety
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000033001 locomotion Effects 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 23
- 238000006073 displacement reaction Methods 0.000 claims description 18
- 238000009826 distribution Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 4
- 230000002093 peripheral effect Effects 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 11
- 238000012937 correction Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 101100272279 Beauveria bassiana Beas gene Proteins 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000003137 locomotive effect Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种公共场所人群安全距离监测方法、介质及系统，属于安全监控技术领域，该方法包括：对采集的监控录像进行人体识别，按照时间序列得到包含每个时刻的多个单人图像的游客图像集，并进行姿态识别处理得到游客Pose集，包括多个Pose；判断相邻的Pose是否具有空间距离绑定关系；对具有空间距离绑定关系的相邻的Pose识别主动Pose和从动Pose，根据监控录像计算所述游客Pose集中每个Pose的运动轨迹，并推算多个未来时刻每个Pose的位置，并计算对应时刻的人群距离和密集度，与预先设定的人群安全距离阈值和密集度阈值进行比较，得到当前的人群安全距离指数和密集度指数并输出。
Description
技术领域
本发明属于安全监控技术领域，具体而言，涉及一种公共场所人群安全距离监测方法、介质及系统。
背景技术
随着城市化进程的加快,各类公共场所的规模不断扩大,场所内的人员密度监控以及人群拥挤预警问题日益突出。目前,公共场所的安全管理主要依靠传统的监控系统进行。公开号为CN111626184B的中国发明专利（CN202010449640.6）公开了一种人群密度估计方法及系统，能够获取场景图像，对场景图像进行预处理，生成人群密度标签图；对场景图像和人群密度标签图进行数据增广，得到多个场景图像及相应人群密度标签图；根据所述多个场景图像及相应人群密度标签图，训练人群密度图估计模型；接收场景图像，基于训练好的人群密度图估计模型进行人群密度估计。本发明针对复杂背景下人头尺寸差异问题，利用多尺度模块和特征强化单元特征提取有效特征，实现了由粗到细的策略进行人群密度图估计。公开号为CN115293465B的中国发明专利（CN202211224188.9）公开了一种人群密度预测方法及系统包括：建立人群密度预测数据集；根据基于知识模型的预测函数以及基于机器学习算法的预测模型构建人群密度预测模型；通过所述人群密度预测数据集对所述人群密度预测模型进行训练；对训练后的人群密度预测模型进行优化，形成最终人群密度预测模型，用于实现人群密度预测。本发明基于全要素分析、真实历史数据和极端情况模拟仿真，实现了可靠、完备的人群密度演化信息收集和数据集建立。
上述两件专利都只是对人群的个体进行了分析，缺乏对人群中具有绑定或连接关系的个人活动的分析，造成得到的人群密度预测结果不够精确。
发明内容
有鉴于此，本发明提供一种公共场所人群安全距离监测方法、介质及系统，能够解决现有技术存在对公共场所的人群密度进行分析时，往往只是对人群的个体进行了分析，缺乏对人群中具有绑定或连接关系的个人活动的分析，造成得到的人群密度预测结果不够精确的技术问题。
本发明是这样实现的：
本发明的第一方面提供一种公共场所人群安全距离监测方法，其中，包括以下步骤：
S10、对采集的监控录像进行人体识别，按照时间序列得到包含每个时刻的多个单人图像的游客图像集，所述时间序列为具有指定时间间隔的序列；
S20、对所述游客图像集中的每个单人图像进行姿态识别处理，得到游客Pose集，包括多个Pose，其中每个Pose对应一个单人；
S30、对所述游客Pose集中的位置相邻的Pose进行位姿识别，判断相邻的Pose是否具有空间距离绑定关系；
S40、对具有空间距离绑定关系的相邻的Pose识别主动Pose和从动Pose，将主动Pose的权重设置为对应的从动Pose的数量，并在所述游客Pose集中删除从动Pose；
S50、根据监控录像计算所述游客Pose集中每个Pose的运动轨迹，并推算多个未来时刻每个Pose的位置；
S60、根据推算的每个未来时刻的每个Pose的位置，计算对应时刻的人群距离和密集度；
S70、对计算得到的对应时刻的人群距离和密集度与预先设定的人群安全距离阈值和密集度阈值进行比较，得到当前的人群安全距离指数和密集度指数；
S80、将人群安全距离指数和密集度指数输出给安全监控人员。
一般的，所述指定时间间隔为0.5~1秒。一般的，多个未来时刻为连续的未来时刻，所述多个未来时刻的时间总长度为15秒~2分钟。
在上述技术方案的基础上，本发明的一种公共场所人群安全距离监测方法还可以做如下改进:
其中，对所述游客Pose集中的位置相邻的Pose进行位姿识别，判断相邻的Pose是否具有空间距离绑定关系的步骤，具体包括：
根据得到的多个时刻的Pose序列计算每个时刻任意两Pose之间的空间距离；
判断距离小于距离阈值的Pose对视为具有空间距离绑定关系,大于距离阈值的视为不具有空间距离绑定关系；
其中，所述距离阈值由经验设置或通过样本训练得到。
进一步的，所述对具有空间距离绑定关系的相邻的Pose识别主动Pose和从动Pose的步骤，具体包括：
输入含有所有时刻Pose绑定关系的集合；
遍历每个时刻的所有Pose绑定关系对；
比较两Pose的面积，确定主动Pose和从动Pose。
其中，所述根据监控录像计算所述游客Pose集中每个Pose的运动轨迹，并推算多个未来时刻每个Pose的位置的步骤，具体包括：
根据监控录像，对每个Pose在周边时间范围内提取监控图像；
根据提取的监控图像计算每个Pose在时间轴上的位移信息；
利用位移信息拟合每个Pose的速度模型；
根据每个Pose的速度模型，推算未来各时刻的对应Pose的位置。
进一步的，所述根据监控录像计算所述游客Pose集中每个Pose的运动轨迹的步骤中，还包括对每个Pose的运动轨迹进行修正的步骤，具体为：
根据每个Pose的速度模型在预测时刻之前的时间窗口内重新计算位移；
利用重新计算的位移重新拟合对应Pose的速度模型；
使用修正后的速度模型，更新未来各时刻的对应Pose的位置。
其中，所述对应时刻的人群距离指的是在对应时刻任意两个Pose之间的距离的集合，所述密集度指的是公共场所中任意一个位置的Pose的密度。
其中，所述对计算得到的对应时刻的人群距离和密集度与预先设定的人群安全距离阈值和密集度阈值进行比较，得到当前的人群安全距离指数和密集度指数的步骤，具体包括：
根据设置安全距离阈值和密集度阈值；
根据未来各时刻的人群距离和密集度分布以及安全距离阈值和密集度阈值计算每个时刻的安全距离指数和密集度指数；
对得到的安全距离指数和密集度指数进行归一化处理获得得到当前的人群安全距离指数和密集度指数。
其中，所述姿态识别的方法为OpenPose算法或AlphaPose算法。
本发明的第二方面提供一种计算机可读存储介质，其中，所述计算机可读存储介质中存储有程序指令，所述程序指令运行时用于执行上述的公共场所人群安全距离监测方法。
本发明的第三方面提供一种公共场所人群安全距离监测系统，其中，包含上述的计算机可读存储介质。
与现有技术相比较，本发明提供的一种公共场所人群安全距离监测方法、介质及系统的有益效果是：
1) 实现了对人群运动规律的精确建模和动态预测
通过Pose估计获得每个个体的运动数据,识别人群内部的社会关系,建立结构化的人群行为模型。基于模型预测每个体未来的Pose,实现了对人群运动趋势的准确预测。相比传统技术中的静态分析,本发明实现了动态、连续、可预测的人群运动监测。
2) 显著提升了人群安全距离变化的检测灵敏度
本发明通过精确的Pose预测,可以实时计算人群在不同位置的密度分布,检测密度异常点的出现。相比传统技术对整体密度的估算,本发明可以明显提升检测的灵敏度和空间分辨率。
3) 极大延长了预警预测的时间范围
通过预测多个未来时刻的Pose,本发明可以提早多个时间单元对可能出现的人群安全距离异常进行预判。这极大地延长了预警时间,提升了预警的价值,为场所管理方采取救援措施提供了充裕的时间。
4) 显著降低了系统计算和部署的资源消耗
本发明使用Pose估计框架,避免了复杂的跟踪逻辑,算法流程简单高效。同时基于RGB图像实现,相比深度摄像等专业设备,降低了硬件需求,降低了系统成本。
总体而言,本发明突破了现有技术的局限，能够解决现有技术存在在对公共场所的人群密度进行分析时，往往只是对人群的个体进行了分析，缺乏对人群中具有绑定或连接关系的个人活动的分析，造成得到的人群密度预测结果不够精确的技术问题。
需要说明的是，本申请中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。
附图说明
图1为本发明提供的一种公共场所人群安全距离监测方法的流程图。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述。
如图1所示，是本发明第一方面提供一种公共场所人群安全距离监测方法的流程图，本方法包括以下步骤：
S10、对采集的监控录像进行人体识别，按照时间序列得到包含每个时刻的多个单人图像的游客图像集，时间序列为具有指定时间间隔的序列；
S20、对游客图像集中的每个单人图像进行姿态识别处理，得到游客Pose集，包括多个Pose，其中每个Pose对应一个单人；
S30、对游客Pose集中的位置相邻的Pose进行位姿识别，判断相邻的Pose是否具有空间距离绑定关系；
S40、对具有空间距离绑定关系的相邻的Pose识别主动Pose和从动Pose，将主动Pose的权重设置为对应的从动Pose的数量，并在所述游客Pose集中删除从动Pose；
S50、根据监控录像计算游客Pose集中每个Pose的运动轨迹，并推算多个未来时刻每个Pose的位置；
S60、根据推算的每个未来时刻的每个Pose的位置，计算对应时刻的人群距离和密集度；
S70、对计算得到的对应时刻的人群距离和密集度与预先设定的人群安全距离阈值和密集度阈值进行比较，得到当前的人群安全距离指数和密集度指数；
S80、将人群安全距离指数和密集度指数输出给安全监控人员。
其中，S10步骤的具体实施方式:
1) 设置视频摄像头,对公共场所区域进行持续视频监控录制。摄像头的位置、数量、视野范围等参数,需要根据具体场所的面积、行人流量等进行设计,以保证监控视野可以最大范围覆盖公共场所区域。
2) 对持续录制的视频流进行提取,按照设定的时间间隔(例如每5秒、每10秒等),提取视频流中的画面作为监控图像。以5秒为间隔为例,如果视频录制率为25帧/秒,则每5秒提取125帧画面。
3) 对提取的监控图像进行人体检测和跟踪算法处理。采用基于深度学习的检测算法,如YOLO、SSD等在每个图像上检测行人位置,获取每个行人的边界框。同时结合深度学习特征提取算法,获取每个边界框内行人的特征向量,用于行人跟踪和Re-ID。其中，Re-ID即行人再识别（Person Re-identification，Re-ID）是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。在实际应用中，通俗地讲就是以图搜图技术，给定一张特定的行人图像，检索跨设备的图像和视频序列中特定行人是否存在。
4) 应用多目标跟踪算法,在连续的监控图像上,根据边界框位置和特征向量,确定同一个行人在不同时刻图像中的对应关系,得到每个行人的轨迹。同时进行行人Re-ID,排除不同行人的误匹配。
5) 最终得到由多个行人轨迹构成的时空图像序列,其中/>表示时间戳,每/>一个时序图像。每个/>包含该时刻时间/>所有被检测出的行人/>的位置信息。
S20步骤的具体实施方式:
1) 对S10步骤得到的时空图像序列,遍历每个时序图像,对图像中每个检测出的行人位置/>,进行关键点检测算法处理。典型的人体关键点检测算法包括OpenPose等。
2) OpenPose算法首先在图像中检测出人体,然后预测人体内的多个关键点,主要包括四肢、头部、脊柱等关键部位。对每个行人,可以检测出包含其关键点坐标的向量/>。
3) 将所有行人的关键点向量/>在对应时序/>上聚合,构成该时刻的所有行人姿态关键点集合:/>,其中/>为时刻/>检测到的行人数量。
4) 对每个时序,重复步骤1)到3),最终得到整个监控时间内的行人姿态关键点集序列/>，其中每个/>代表时刻t的瞬时Pose，T表示时间序列的数量。
5) P即为最终的疏密监控所需的Pose序列,包含所有时刻每一个行人的姿态关键点信息。
综上,S10步骤通过视频监控和多目标跟踪算法,获取行人的时空分布信息;S20步骤对每个时刻的监控图像,采用OpenPose等算法检测每一个行人的姿态关键点,最终构建整个监控时间内的Pose序列,为后续的行人关系判定及运动轨迹分析提供基础信息。
其中，在上述技术方案中，对游客Pose集中的位置相邻的Pose进行位姿识别，判断相邻的Pose是否具有空间距离绑定关系的步骤，具体包括：
根据得到的多个时刻的Pose序列计算每个时刻任意两Pose之间的空间距离；
判断距离小于距离阈值的Pose对视为具有空间距离绑定关系,大于距离阈值的视为不具有空间距离绑定关系；
其中，距离阈值由经验设置或通过样本训练得到。
具体的，S30步骤的具体实施方式:
1) 输入:S20步骤得到的Pose序列,其中/>包含时刻t的/>个行人姿态关键点集，T表示时间序列的数量。
2) 定义行人之间的空间距离计算方法:
对于同一时刻t的任意两个Pose 和/>,其空间欧式距离定义为:
；
其中为姿态关键点的数量(例如OpenPose的数量为25),/>和/>分别表示两Pose在第/>个关键点的x坐标。
3) 根据经验阈值设定判断两Pose间是否存在绑定关系的距离阈值。
4) 对每一时刻t,遍历所有Pose对,计算两Pose间距离/>。
5) 对于距离的Pose对,判定两Pose存在绑定关系;否则两Pose不具绑定关系。
6) 最终得到时刻t中的所有具有空间距离绑定关系的Pose对集合:；
7) 对所有时序,重复步骤4)到6),可得到所有时刻中具有空间距离绑定关系的Pose对集合序列:，T表示时间序列的数量；
8) 即为S30步骤的输出,给出所有时刻中具有空间绑定关系,可能属于同一人群的Pose对信息。
S30步骤的关键在于设定判断两Pose间绑定关系的距离阈值。该阈值可以根据实际情况预先经验设置,也可以通过样本数据集训练得到。具体思路如下:
a) 收集包含各种人群情况的Pose样本集,并进行人工标注,判断任意两Pose是否属于同一人群。构建样本标签集,其中/>表示两Pose /> 具绑定关系,表示不具关系。
b) 计算每对Pose的空间距离,与标签/>一起构成训练数据对/>。
c) 将训练数据喂入二分类模型(如SVM、Logistic回归等),训练模型并得到决策函数。确定决策函数的分隔距离值作为。
d) 用训练得到的进行S30步骤中的Pose绑定关系判定。
综上,S30步骤基于Pose的空间距离分布情况,判断两Pose是否存在绑定关系,从而确定可能属于同一人群的Pose。采用基于经验的距离阈值或基于样本训练得到的距离阈值,构建各时刻中具有空间距离绑定关系的Pose对,为后续的人群行为分析奠定基础。
进一步的，在上述技术方案中，对具有空间距离绑定关系的相邻的Pose识别主动Pose和从动Pose的步骤，具体包括：
输入含有所有时刻Pose绑定关系的集合；
遍历每个时刻的所有Pose绑定关系对；
比较两Pose的面积，确定主动Pose和从动Pose。
具体的，S40步骤的具体实施方式:
1) 输入:S30步骤得到的各时刻Pose绑定关系集合。
2) 对每个时刻t,遍历所有绑定关系Pose对:
a) 计算两Pose的面积大小:和/>。
b) 判定面积较大的Pose为主动Pose,面积较小的Pose为从动Pose。即:
如果,则/>为主动Pose,/>为从动Pose;
如果,则/>为主动Pose,/>为从动Pose。
c) 在该时刻的Pose集中删除从动Pose。
d) 将主动Pose的人数权重增加1。
3) 最终得到处理后的Pose序列,其中每个/>只包含该时刻的主动Pose。同时得到主动Pose的人数权重序列/>。
4) 输出经处理的Pose序列和对应人数权重序列/>,为后续的轨迹分析及安全距离计算做准备。
其中，Pose面积计算方法如下:
对Pose ,提取其外接矩形面积/>:
；
；
；
；
中,/>为关键点索引,/>,/>分别表示第/>个关键点的坐标。
通过比较两Pose的外接面积大小,区分主动Pose和从动Pose,使得后续运动预测及安全距离计算更准确。
综上,S40步骤识别具有空间距离绑定关系的Pose对中主动和从动Pose,给主动Pose赋予人数权重, 删除从动Pose,为个体和人群的运动行为分析提供净化后的Pose数据。
其中，在上述技术方案中，根据监控录像计算游客Pose集中每个Pose的运动轨迹，并推算多个未来时刻每个Pose的位置的步骤，具体包括：
根据监控录像，对每个Pose在周边时间范围内提取监控图像；
根据提取的监控图像计算每个Pose在时间轴上的位移信息；
利用位移信息拟合每个Pose的速度模型；
根据每个Pose的速度模型，推算未来各时刻的对应Pose的位置。
具体的，S50步骤的具体实施方式:
1) 输入:S40步骤得到的处理后的Pose序列和对应权重/>。
2) 对每个时刻t,对于其中的每个主动Pose :
a) 在前后时间范围内,提取包含Pose />的几帧图像。
b) 在这些图像上,识别Pose 对应的行人,提取其移动的轮廓图像序列。
c) 计算轮廓图像序列之间的相互关系,获得Pose 在时间维度上的移动位移。
d) 根据位移信息,采用线性回归模型计算Pose/> 的速度模型:/>；其中，/>和/>均为线性回归模型的参数，利用/>和/>代入这个模型，就能求出/>和/>；
3) 最终获得所有主动Pose在时间上的速度模型，N表示主动Pose的数量，这里的临时变量i∈[1,N]。
4) 在后续的个时刻,根据速度模型推算各个Pose的位置:
；这里的j表示时间间隔，一般取1秒，需要满足t经过j的时间间隔后不超过T；
5) 输出所有推算出的未来Pose位置信息,作为S60步骤安全距离计算的输入。
其中,为提高运动轨迹预测的准确性,在实际运用时,可以结合图像处理和计算机视觉的跟踪算法,获取精确的位移信息,并进行模型修正。
综上,S50步骤基于连续图像序列,分析各Pose的移动轨迹和速度变化,构建线性运动模型,并利用模型推算未来时刻的Pose位置,为安全距离计算提供输入。
进一步的，在上述技术方案中，根据监控录像计算游客Pose集中每个Pose的运动轨迹的步骤中，还包括对每个Pose的运动轨迹进行修正的步骤，具体为：
根据每个Pose的速度模型在预测时刻之前的时间窗口内重新计算位移；
利用重新计算的位移重新拟合对应Pose的速度模型；
使用修正后的速度模型，更新未来各时刻的对应Pose的位置。
具体的，对每个Pose的运动轨迹进行修正的步骤的具体实施方式:
1) 在S50步骤中,对每个主动Pose ,已经得到其过去/>时间范围内的位移信息,并拟合得到速度模型/>。
2) 在推算未来Pose位置时,仅依据线性速度模型可能会带来误差。为提高预测的准确性,需要进行模型修正。
3) 模型修正的方法:
a) 在推算的未来时刻,对主动Pose />,提取过去时间窗口/>内的图像,如过去0.5s内的20帧图像。
b) 在时间窗口内,重新进行姿态估计,选择出一段新的位移信息/>。
c) 根据新的位移信息,重新拟合速度模型:；
d) 根据修正后的速度模型,重新计算未来时刻/>的Pose位置:
；
其中，公式中中下标i在加帽后，会不显示i的点。
e) 将作为未来时刻Pose/>的位置。
4) 对所有的主动Pose的所有未来时刻重复进行模型修正,获得整体优化的Pose位置预测结果。
5) 输出修正后的 Pose位置信息,进行后续安全距离计算。
通过在预测时刻前的小时间窗口内重新估计速度模型,可以使运动预测适应最近的移动变化,提高预测准确率。
窗口大小和模型重新拟合的时间点,可以根据精度需求及计算资源进行调整优化。
综上,这一步骤通过引入速度模型的在线修正机制,利用最近的图像信息调整速度模型,从而提升长时间运动预测的准确性。
其中，在上述技术方案中，对应时刻的人群距离指的是在对应时刻任意两个Pose之间的距离的集合，密集度指的是公共场所中任意一个位置的Pose的密度。
具体的，S60步骤的具体实施方式:
1) 输入S50步骤经修正后的未来Pose位置；
2) 计算人群距离:
a) 对于任意两个时刻的Pose />和/>,计算两Pose间欧式距离/>；
b) 将所有Pose对距离汇总,获得时刻的人群整体距离分布:；
3) 计算密集度:
a) 设置参考采样格点,对区域进行均匀划分。
b) 对每个采样点,计算其周围半径/>内的Pose数量:/>；一般的，R=3米；
c) 根据计算采样点密集度/>；
d) 最终获得时刻全场景的密集度分布:；M表示未来时刻的数量；
综上,S60根据修正后的Pose位置,分别计算人群距离分布和场景空间密集度分布,作为安全评估的关键信息。
其中，在上述技术方案中，对计算得到的对应时刻的人群距离和密集度与预先设定的人群安全距离阈值和密集度阈值进行比较，得到当前的人群安全距离指数和密集度指数的步骤，具体包括：
根据设置安全距离阈值和密集度阈值；
根据未来各时刻的人群距离和密集度分布以及安全距离阈值和密集度阈值计算每个时刻的安全距离指数和密集度指数；
对得到的安全距离指数和密集度指数进行归一化处理获得得到当前的人群安全距离指数和密集度指数。
具体的，S70步骤的具体实施方式:
1) 输入S60步骤输出的人群距离分布和密集度分布,共计未来/>个时刻。
2) 设置人群安全距离阈值和密集度阈值/>；
3) 定义单个时刻的安全距离指数和密集度指数/>:
；
；
其中,函数为:
；
4) 计算从当前时刻到未来每一个时刻的安全距离指数为：
；
密集度指数:
；
5) 对两个指数序列进行归一化处理,得到归一化后的指数:
；
；
6) 输出安全距离指数和密集度指数/>。
综上,S70根据预设的安全阈值,计算距离和密集度的安全指数,并进行归一化处理,最终获得一个0到1范围的安全评估结果。
其中，人群安全距离阈值和密集度阈值/>的设置方法可以有如下方法:
1) 参考行业标准和规范:可以参考公共场所安全管理的国家或行业标准中关于人流密度控制的相关规定,作为阈值的重要参考依据；
2) 平均水平法:收集大量示例场景的人群距离和密集度数据,统计出其平均水平,以平均值的一定倍数作为阈值；
3) 专家评定法:组织公共场所管理、安保行业的专家,根据丰富经验评定拟定安全距离和密集度的数值阈值；
4) 主成分分析法:对示例数据进行主成分分析,提取最主要的特征成分,以其对应的数值作为阈值；
5) 多目标优化法:构建考虑安全性、诱导性、舒适度等多个指标的多目标优化模型,解出最优阈值；
6) 机器学习法:收集并标注大量有风险的场景数据,训练出评估风险的模型,以模型的决策边界作为阈值；
7) 联合多种方法:综合运用上述多种方法,交叉验证,最终确定科学合理的阈值；
其中，人安全距离阈值和密集度阈值/>的设置需考虑场所特点、运营需求等,并可以通过实际运行后进行评估与调整,逐步优化。
一般的，。
其中，在上述技术方案中，姿态识别的方法为OpenPose算法或AlphaPose算法。
获取人体姿态(Pose)的算法主要有以下几类:
1. 基于关键点检测的方法
这类方法通过检测人体图片中的关节关键点,从而恢复整个人体的姿态骨架。典型的算法包括OpenPose、AlphaPose等。
2. 基于部件检测的方法
这类方法通过检测人体图片中的部件/部位,如头部、四肢等,从而确定姿态。代表算法有Mask R-CNN等。
3. 基于图模型的方法
这类方法使用图模型表示人体各部位之间的联系,进行概率推理来确定最可能的姿态形式。例如树结构图模型、循环图模型等。
4. 基于回归的方法
这类方法使用神经网络直接回归人体关键点的坐标或姿态参数,无需明确的中间检测步骤。例如Hourglass网络等。
5. 基于生成对抗的方法
最近也有一些算法尝试使用生成对抗网络来生成更加逼真的人体姿态图像。
6. 多视图联合分析的方法
使用来自多个视角的图像,进行数据融合分析来提高姿态估计的鲁棒性。
总体来说,当前关键点检测方法和基于深度学习的回归方法应用最广泛,效果也较为优异。但其他类型的方法也有各自的特点和优势,通常可以相互结合来获得更准确的Pose估计。
本发明的第二方面提供一种计算机可读存储介质，其中，所述计算机可读存储介质中存储有程序指令，所述程序指令运行时用于执行上述的公共场所人群安全距离监测方法。
本发明的第三方面提供一种公共场所人群安全距离监测系统，其中，包含上述的计算机可读存储介质。
具体的，本发明的原理是：
1) 基于图像处理和计算机视觉技术,实现对运动人群的视觉感知和理解。
采用基于深度学习的人体姿态估计算法,实现对每个行人运动姿态即Pose的检测。并建立行人跟踪和Re-ID技术,实现对人群运动过程的连续监测。
2) 基于Pose的空间-时间分布,建立人群内在联系模型。
判断Pose间的相对位置关系,识别存在社会联系的个体,建立人群内部的联系模型。模型反映了人群运动的结构特征。
3) 基于人群联系模型,进行多粒度的运动预测。
在个体层面,根据历史Pose建立模型,预测其未来姿态和位置。在群体层面,协同多个个体的Pose预测以及联系约束,预测人群整体趋势。
4) 基于预测结果,进行实时的人群密度监测。
计算未来各时刻人群在不同位置的距离分布和密度分布,检测异常动态,给出人群密度实时预警和预测时刻的预警。
5) 进行趋势评估,给出可视化的预警结果。
计算评估指标,对人群密度趋势进行定量分析,比如以实时曲线等可视化结果输出,实现人机交互。
总之,本发明运用多源异构信息的视觉理解和预测建模技术,解决了公共场所实时安全监控与预警的技术问题,达到了显著的技术效果。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (4)
1.一种公共场所人群安全距离监测方法，其特征在于，包括以下步骤：
S10、对采集的监控录像进行人体识别，按照时间序列得到包含每个时刻的多个单人图像的游客图像集，所述时间序列为具有指定时间间隔的序列；
S20、对所述游客图像集中的每个单人图像进行姿态识别处理，得到游客Pose集，包括多个Pose，其中每个Pose对应一个单人；
S30、对所述游客Pose集中的位置相邻的Pose进行位姿识别，判断相邻的Pose是否具有空间距离绑定关系；
S40、对具有空间距离绑定关系的相邻的Pose识别主动Pose和从动Pose，将主动Pose的权重设置为对应的从动Pose的数量，并在所述游客Pose集中删除从动Pose；
S50、根据监控录像计算所述游客Pose集中每个Pose的运动轨迹，并推算多个未来时刻每个Pose的位置；
S60、根据推算的每个未来时刻的每个Pose的位置，计算对应时刻的人群距离和密集度；
S70、对计算得到的对应时刻的人群距离和密集度与预先设定的人群安全距离阈值和密集度阈值进行比较，得到当前的人群安全距离指数和密集度指数；
S80、将人群安全距离指数和密集度指数输出给安全监控人员；
其中，对所述游客Pose集中的位置相邻的Pose进行位姿识别，判断相邻的Pose是否具有空间距离绑定关系的步骤，具体包括：
根据得到的多个时刻的Pose序列计算每个时刻任意两Pose之间的空间距离；
判断距离小于距离阈值的Pose对视为具有空间距离绑定关系,大于距离阈值的视为不具有空间距离绑定关系；
其中，所述距离阈值由经验设置或通过样本训练得到；
其中，所述对具有空间距离绑定关系的相邻的Pose识别主动Pose和从动Pose的步骤，具体包括：
输入含有所有时刻Pose绑定关系的集合；
遍历每个时刻的所有Pose绑定关系对；
比较两Pose的面积，确定主动Pose和从动Pose；
其中，所述Pose的面积，采用的是所述Pose的外接矩形的面积，比较两Pose的面积大小，判定面积较大的 Pose 为主动 Pose,面积较小的 Pose 为从动 Pose；
其中，所述根据监控录像计算所述游客Pose集中每个Pose的运动轨迹，并推算多个未来时刻每个Pose的位置的步骤，具体包括：
根据监控录像，对每个Pose在周边时间范围内提取监控图像；
根据提取的监控图像计算每个Pose在时间轴上的位移信息；
利用位移信息拟合每个Pose的速度模型；
根据每个Pose的速度模型，推算未来各时刻的对应Pose的位置；
其中，所述根据监控录像计算所述游客Pose集中每个Pose的运动轨迹的步骤中，还包括对每个Pose的运动轨迹进行修正的步骤，具体为：
根据每个Pose的速度模型在预测时刻之前的时间窗口内重新计算位移；
利用重新计算的位移重新拟合对应Pose的速度模型；
使用修正后的速度模型，更新未来各时刻的对应Pose的位置；
其中，所述对应时刻的人群距离指的是在对应时刻任意两个Pose之间的距离的集合，所述密集度指的是公共场所中任意一个位置的Pose的密度；
其中，所述对计算得到的对应时刻的人群距离和密集度与预先设定的人群安全距离阈值和密集度阈值进行比较，得到当前的人群安全距离指数和密集度指数的步骤，具体包括：
根据设置安全距离阈值和密集度阈值；
根据未来各时刻的人群距离和密集度分布以及安全距离阈值和密集度阈值计算每个时刻的安全距离指数和密集度指数；
对得到的安全距离指数和密集度指数进行归一化处理得到当前的人群安全距离指数和密集度指数。
2.根据权利要求1所述的一种公共场所人群安全距离监测方法，其特征在于，所述姿态识别的方法为OpenPose算法或AlphaPose算法。
3.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序指令，所述程序指令运行时用于执行权利要求1-2任一项所述的公共场所人群安全距离监测方法。
4.一种公共场所人群安全距离监测系统，其特征在于，包含权利要求3所述的计算机可读存储介质。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311321594.1A CN117058627B (zh) | 2023-10-13 | 2023-10-13 | 一种公共场所人群安全距离监测方法、介质及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311321594.1A CN117058627B (zh) | 2023-10-13 | 2023-10-13 | 一种公共场所人群安全距离监测方法、介质及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117058627A CN117058627A (zh) | 2023-11-14 |
| CN117058627B true CN117058627B (zh) | 2023-12-26 |
Family
ID=88659467
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311321594.1A Active CN117058627B (zh) | 2023-10-13 | 2023-10-13 | 一种公共场所人群安全距离监测方法、介质及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117058627B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006031645A (ja) * | 2004-07-12 | 2006-02-02 | Nariyuki Mitachi | 動的群集密度のリアルタイム推定方法及び群集事故防止システム |
| CN101835034A (zh) * | 2010-05-27 | 2010-09-15 | 王巍 | 一种人群特征统计系统 |
| CN102324016A (zh) * | 2011-05-27 | 2012-01-18 | 郝红卫 | 一种高密度人群流量统计方法 |
| CN109819208A (zh) * | 2019-01-02 | 2019-05-28 | 江苏警官学院 | 一种基于人工智能动态监控的密集人群安防监控管理方法 |
| CN110378281A (zh) * | 2019-07-17 | 2019-10-25 | 青岛科技大学 | 基于伪3d卷积神经网络的组群行为识别方法 |
| CN111611878A (zh) * | 2020-04-30 | 2020-09-01 | 杭州电子科技大学 | 一种基于视频图像的人群计数和未来人流量预测的方法 |
| CN114461931A (zh) * | 2021-12-21 | 2022-05-10 | 国家计算机网络与信息安全管理中心 | 一种基于多关系融合分析的用户轨迹预测方法和系统 |
| CN114641800A (zh) * | 2019-11-20 | 2022-06-17 | 欧姆龙株式会社 | 用于预报人群动态的方法和系统 |
| WO2022126669A1 (zh) * | 2020-12-16 | 2022-06-23 | 中电海康集团有限公司 | 一种基于视频行人识别的地铁人流网络融合方法及人流预测方法 |
| CN115797864A (zh) * | 2022-12-02 | 2023-03-14 | 孙力 | 一种应用于智慧社区的安全管理系统 |
| CN115797873A (zh) * | 2023-02-06 | 2023-03-14 | 泰山学院 | 一种人群密度检测方法、系统、设备、存储介质及机器人 |
| CN116129361A (zh) * | 2023-03-24 | 2023-05-16 | 武汉中科通达高新技术股份有限公司 | 一种基于距离度量的人群聚集识别方法及装置 |
| CN116597378A (zh) * | 2023-05-18 | 2023-08-15 | 沈阳工业大学 | 一种基于生成式对抗网络的多模态人群轨迹预测方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113536996B (zh) * | 2021-06-30 | 2022-04-15 | 大连海事大学 | 一种基于大量真实人群运动视频的人群运动仿真方法 |
| KR102579542B1 (ko) * | 2023-06-15 | 2023-09-18 | 주식회사 이투온 | 군중 밀집도 기반의 위험 지역 자동 알림 시스템 |
-
2023
- 2023-10-13 CN CN202311321594.1A patent/CN117058627B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006031645A (ja) * | 2004-07-12 | 2006-02-02 | Nariyuki Mitachi | 動的群集密度のリアルタイム推定方法及び群集事故防止システム |
| CN101835034A (zh) * | 2010-05-27 | 2010-09-15 | 王巍 | 一种人群特征统计系统 |
| CN102324016A (zh) * | 2011-05-27 | 2012-01-18 | 郝红卫 | 一种高密度人群流量统计方法 |
| CN109819208A (zh) * | 2019-01-02 | 2019-05-28 | 江苏警官学院 | 一种基于人工智能动态监控的密集人群安防监控管理方法 |
| CN110378281A (zh) * | 2019-07-17 | 2019-10-25 | 青岛科技大学 | 基于伪3d卷积神经网络的组群行为识别方法 |
| CN114641800A (zh) * | 2019-11-20 | 2022-06-17 | 欧姆龙株式会社 | 用于预报人群动态的方法和系统 |
| CN111611878A (zh) * | 2020-04-30 | 2020-09-01 | 杭州电子科技大学 | 一种基于视频图像的人群计数和未来人流量预测的方法 |
| WO2022126669A1 (zh) * | 2020-12-16 | 2022-06-23 | 中电海康集团有限公司 | 一种基于视频行人识别的地铁人流网络融合方法及人流预测方法 |
| CN114461931A (zh) * | 2021-12-21 | 2022-05-10 | 国家计算机网络与信息安全管理中心 | 一种基于多关系融合分析的用户轨迹预测方法和系统 |
| CN115797864A (zh) * | 2022-12-02 | 2023-03-14 | 孙力 | 一种应用于智慧社区的安全管理系统 |
| CN115797873A (zh) * | 2023-02-06 | 2023-03-14 | 泰山学院 | 一种人群密度检测方法、系统、设备、存储介质及机器人 |
| CN116129361A (zh) * | 2023-03-24 | 2023-05-16 | 武汉中科通达高新技术股份有限公司 | 一种基于距离度量的人群聚集识别方法及装置 |
| CN116597378A (zh) * | 2023-05-18 | 2023-08-15 | 沈阳工业大学 | 一种基于生成式对抗网络的多模态人群轨迹预测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于图像处理的人群行为识别方法综述;高玄;刘勇奎;汪大峰;;计算机与数字工程(第08期);全文 * |
| 基于整体特征的人群聚集和奔跑行为检测;桑海峰;陈禹;何大阔;;光电子・激光(第01期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117058627A (zh) | 2023-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109146921B (zh) | 一种基于深度学习的行人目标跟踪方法 | |
| CN107330920B (zh) | 一种基于深度学习的监控视频多目标追踪方法 | |
| CN109492581B (zh) | 一种基于tp-stg框架的人体动作识别方法 | |
| CN108216252B (zh) | 一种地铁司机车载驾驶行为分析方法、车载终端及系统 | |
| CN111488804A (zh) | 基于深度学习的劳保用品佩戴情况检测和身份识别的方法 | |
| CN111932583A (zh) | 一种基于复杂背景下的时空信息一体化智能跟踪方法 | |
| CN106204640A (zh) | 一种运动目标检测系统及方法 | |
| CN106203274A (zh) | 一种视频监控中行人实时检测系统及方法 | |
| CN111862145B (zh) | 一种基于多尺度行人检测的目标跟踪方法 | |
| Yu et al. | Railway obstacle detection algorithm using neural network | |
| CN103854027A (zh) | 一种人群行为识别方法 | |
| CN111738218B (zh) | 人体异常行为识别系统及方法 | |
| US11893727B2 (en) | Rail feature identification system | |
| CN112926522B (zh) | 一种基于骨骼姿态与时空图卷积网络的行为识别方法 | |
| CN113435432A (zh) | 视频异常检测模型训练方法、视频异常检测方法和装置 | |
| CN113688797A (zh) | 一种基于骨架提取的异常行为识别方法及系统 | |
| Cao et al. | Learning spatial-temporal representation for smoke vehicle detection | |
| CN112541403A (zh) | 一种利用红外摄像头的室内人员跌倒检测方法 | |
| CN106056078A (zh) | 一种基于多特征回归式集成学习的人群密度估计方法 | |
| KR20230060214A (ko) | 인공지능 기반 영상 객체 추적 장치 및 방법 | |
| CN117541994A (zh) | 一种密集多人场景下的异常行为检测模型及检测方法 | |
| CN117058627B (zh) | 一种公共场所人群安全距离监测方法、介质及系统 | |
| CN114943873A (zh) | 一种工地人员异常行为分类方法及装置 | |
| CN114067360A (zh) | 一种行人属性检测方法及装置 | |
| Kim et al. | Development of a real-time automatic passenger counting system using head detection based on deep learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |