CN117132942B - 一种基于区域分割的室内人员实时分布监测方法 - Google Patents

一种基于区域分割的室内人员实时分布监测方法 Download PDF

Info

Publication number
CN117132942B
CN117132942B CN202311360634.3A CN202311360634A CN117132942B CN 117132942 B CN117132942 B CN 117132942B CN 202311360634 A CN202311360634 A CN 202311360634A CN 117132942 B CN117132942 B CN 117132942B
Authority
CN
China
Prior art keywords
real
pedestrians
indoor
distribution
directions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311360634.3A
Other languages
English (en)
Other versions
CN117132942A (zh
Inventor
韩李涛
冯恒健
王家岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University of Science and Technology
Original Assignee
Shandong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University of Science and Technology filed Critical Shandong University of Science and Technology
Priority to CN202311360634.3A priority Critical patent/CN117132942B/zh
Publication of CN117132942A publication Critical patent/CN117132942A/zh
Application granted granted Critical
Publication of CN117132942B publication Critical patent/CN117132942B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开一种基于区域分割的室内人员实时分布监测方法，属于电数字处理、数据的呈现和预测目的的数据处理方法技术领域，用于室内人员实时分布监测，包括根据室内空间分布对监控视频进行预处理，对行人进行检测，采用多目标追踪算法对检测到的行人进行连续追踪；根据行人前后帧的位置点与检测线的叉乘关系进行区域计数，根据前后帧的位置点与检测线的角度关系，采用倾斜角纠正方向判别法进行方向判断；根据区域的人员数量获取室内人员实时分布，根据实时人员分布结果通过用户界面进行可视化展示。本发明形成的掩膜减少了非计数区域的干扰因素的影响，提高了计数区域的准确性，所获取的室内人员实时分布与真实数据误差较小。

Description

一种基于区域分割的室内人员实时分布监测方法
技术领域
本发明公开一种基于区域分割的室内人员实时分布监测方法，属于电数字处理、数据的呈现和预测目的的数据处理方法技术领域。
背景技术
近年来，室内火灾事件频发，严重威胁到室内所有人员的生命财产安全。因此，室内人群安全和疏散问题越来越多地引起人们的广泛关注。目前在室内应急疏散研究中，及时对火源信息等突发事件的位置感知可以提高人员疏散的效率，获取和传输人员的实时数据对疏散过程的监控和动态疏散决策具有重要的帮助。此外，在封闭陌生的的环境中,技术装置是提供火灾和疏散人员信息的唯一方法，如监控视频、热红外计数、蓝牙、超声波、射频识别等等。在这些方法中，监控视频分析技术的方法只需要使用建筑物内的监控摄像头，不需要安装其他传感器，也不需要人员佩戴任何附加设备，就可以直接获取室内人员的分布信息。然而，目前的闭路电视系统无法提供足够的疏散现场反馈，在疏散过程中或之后，人工观察闭路电视系统以获取人类行为将花费更多时间，并且是劳动密集型的，同时针对某些隐私区域无法直接通过安装监控摄像头获取人员实时分布信息。
发明内容
本发明的目的在于提供一种基于区域分割的室内人员实时分布监测方法，以解决现有技术中，室内人员实时分布监测无法实时准确获得人员分布信息的问题。
一种基于区域分割的室内人员实时分布监测方法，包括：
S1.利用室内监控摄像头进行图像数据采集；
S2.根据室内空间分布对监控视频进行预处理；
S3.采用YOLOv8网络对行人进行检测；
S4.采用多目标追踪算法对检测到的行人进行连续追踪，并给行人分配唯一编号，选取检测框下线中心点作为行人的位置点；
S5.根据行人前后帧的位置点与检测线的叉乘关系进行区域计数；
S6.根据前后帧的位置点与检测线的角度关系，采用倾斜角纠正方向判别法进行方向判断；
S7.根据区域的人员数量获取室内人员实时分布；
S8.根据实时人员分布结果通过用户界面进行可视化展示。
S1包括：对采集到的图像进行初步标注，将粗略标注的数据导入到标注软件中进行二次标注，得到行人数据集。
S2包括：根据室内通道和路径、关键出入口、隐私区域形成检测线，在摄像头能覆盖的隐私区域出入口形成检测线；
根据室内空间分布规律和计数需求，连接检测线形成拓扑区域，多个拓扑区域组成计数区域，寻找拓扑区域的公共交接检测线，统计各个拓扑区域之间的人流量交互；
根据计数区域形成掩膜，将计数区域和掩膜叠加在监控视频中。
S3包括：将行人数据集输入到YOLOv8网络中进行训练，得到训练好的权重，采用训练好的权重对视频里面的行人进行行人检测。
S4包括：将行人数据集中的行人裁剪出来，将裁剪出来的相同行人进行分类，得到行人追踪数据集，将行人追踪数据集输入到多目标追踪算法中进行训练，得到第二次训练好的权重；采用训练好的权重对视频中检测到的行人进行连续追踪。
S5包括：将人员前后帧的位置点分别标为A点和B点，检测线的两个端点标为C点和D点，若×/>＞0和/>×/>＜0，/>×/>＜0和/>×/>＞0两个条件同时满足，则说明人员跨过检测线，对此行人进行计数。
倾斜角纠正方向判别法包括：根据室内人员流动方向，在进行方向判断时，将其分为上下方向和左右方向两类；
S6.1.对所形成检测线，进行方向类型的判别；
S6.1.1.若为上下方向，首先计算检测线与水平线的倾斜角度绝对值为x°，其次确定此倾斜角与水平线之间的夹角为顺时针还是逆时针；
若为顺时针方向，- x°至180°- x°为向上的方向，其余方向为向下的方向；
若为逆时针方向，-180°+x°至x°为向下的方向，其余方向为向上的方向；
S6.1.2.若为左右方向，首先计算检测线与竖直线的倾斜角度绝对值为x°，其次确定此倾斜角与竖直线之间的夹角为顺时针还是逆时针；
若为逆时针方向，-90+ x°至90+ x°为向右的方向，其余方向为向下的方向；
若为顺时针方向，-90- x°至90- x°为向右的方向，其余方向为向左的方向；
S6.2.利用反正切函数计算前后帧位置点与检测线形成的角度，根据S6.1方向类别和角度范围对行人的运动方向进行判断。
S7包括：整个计数区域由拓扑区域组成，拓扑区域由若干的检测线组成，获取每个检测线进入和出去的总人数，进而获取拓扑区域的进入和出去的总人数。
相对比现有技术，本发明具有以下有益效果：本发明在形成计数区域时充分考虑了室内通道和行人移动路径，提出了一种倾斜角纠正方向判别法进行区域行人的方向判断，形成的掩膜减少了非计数区域的干扰因素的影响，解决了隐私区域无法进行直接计数的问题，提高了计数区域的准确性，所获取的室内人员实时分布与真实数据误差较小。
附图说明
图1为本发明的技术流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于区域分割的室内人员实时分布监测方法，包括：
S1.利用室内监控摄像头进行图像数据采集；
S2.根据室内空间分布对监控视频进行预处理；
S3.采用YOLOv8网络对行人进行检测；
S4.采用多目标追踪算法对检测到的行人进行连续追踪，并给行人分配唯一编号，选取检测框下线中心点作为行人的位置点；
S5.根据行人前后帧的位置点与检测线的叉乘关系进行区域计数；
S6.根据前后帧的位置点与检测线的角度关系，采用倾斜角纠正方向判别法进行方向判断；
S7.根据区域的人员数量获取室内人员实时分布；
S8.根据实时人员分布结果通过用户界面进行可视化展示。
S1包括：对采集到的图像进行初步标注，将粗略标注的数据导入到标注软件中进行二次标注，得到行人数据集。
S2包括：根据室内通道和路径、关键出入口、隐私区域形成检测线，在摄像头能覆盖的隐私区域出入口形成检测线；
根据室内空间分布规律和计数需求，连接检测线形成拓扑区域，多个拓扑区域组成计数区域，寻找拓扑区域的公共交接检测线，统计各个拓扑区域之间的人流量交互；
根据计数区域形成掩膜，将计数区域和掩膜叠加在监控视频中。
S3包括：将行人数据集输入到YOLOv8网络中进行训练，得到训练好的权重，采用训练好的权重对视频里面的行人进行行人检测。
S4包括：将行人数据集中的行人裁剪出来，将裁剪出来的相同行人进行分类，得到行人追踪数据集，将行人追踪数据集输入到多目标追踪算法中进行训练，得到第二次训练好的权重；采用训练好的权重对视频中检测到的行人进行连续追踪。
S5包括：将人员前后帧的位置点分别标为A点和B点，检测线的两个端点标为C点和D点，若×/>＞0和/>×/>＜0，/>×/>＜0和/>×/>＞0两个条件同时满足，则说明人员跨过检测线，对此行人进行计数。
倾斜角纠正方向判别法包括：根据室内人员流动方向，在进行方向判断时，将其分为上下方向和左右方向两类；
S6.1.对所形成检测线，进行方向类型的判别；
S6.1.1.若为上下方向，首先计算检测线与水平线的倾斜角度绝对值为x°，其次确定此倾斜角与水平线之间的夹角为顺时针还是逆时针；
若为顺时针方向，- x°至180°- x°为向上的方向，其余方向为向下的方向；
若为逆时针方向，-180°+x°至x°为向下的方向，其余方向为向上的方向；
S6.1.2.若为左右方向，首先计算检测线与竖直线的倾斜角度绝对值为x°，其次确定此倾斜角与竖直线之间的夹角为顺时针还是逆时针；
若为逆时针方向，-90+ x°至90+ x°为向右的方向，其余方向为向下的方向；
若为顺时针方向，-90- x°至90- x°为向右的方向，其余方向为向左的方向；
S6.2.利用反正切函数计算前后帧位置点与检测线形成的角度，根据S6.1方向类别和角度范围对行人的运动方向进行判断。
S7包括：整个计数区域由拓扑区域组成，拓扑区域由若干的检测线组成，获取每个检测线进入和出去的总人数，进而获取拓扑区域的进入和出去的总人数。
本发明技术流程如图1所示，为更好地在实际场景中应用以上技术方案，本发明还公开了一种基于区域分割的室内人员实时分布监测装置，包括：
数据采集模块：其配置成利用室内监控摄像头进行图像数据采集；
预处理模块：其配置成根据室内空间分布对监控视频进行预处理；
行人检测模块：其配置成采用YOLOv8目标检测算法对行人进行检测；
行人跟踪模块：其配置成采用多目标追踪算法对检测到的行人进行连续追踪，并分配唯一编号，并选取检测框下线中心点作为行人的位置点；
检测计数模块：其配置成根据行人前后帧的位置点与检测线的叉乘关系进行区域计数；
方向判断模块：其配置成根据前后帧的位置点与检测线的角度关系，采用倾斜角纠正方向判别法进行方向判断；
区域计数模块：其配置成根据区域的人员数量进而获取室内人员实时分布；
可视化模块：其配置成根据实时人员分布结果通过用户界面进行可视化展示。
所述预处理模块具体配置成：
根据室内空间分布将检测线连接形成区域，并在整个区域的基础上形成掩膜。
本发明选取了一段监控视频来测试该方法获取人员实时分布的准确率，首先在S2中通过检测线进行区域划分，然后执行S3至S7，S8中在显示屏幕上展示监控视频（视频中附带区域划分），同时在人员实时分布显示区域展示各区域的人员数，以及相邻区域的人流量交互数值。人员实时分布的准确率如表1所示，其中F1分数是统计学中用来衡量二分类模型精确度的一种指标。
表1 人员实时分布的准确率
。
以上实施例仅用于说明本发明的技术方案，而非对其限制，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换，而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.一种基于区域分割的室内人员实时分布监测方法，其特征在于，包括：
S1.利用室内监控摄像头进行图像数据采集；
S2.根据室内空间分布对监控视频进行预处理；
S3.采用YOLOv8网络对行人进行检测；
S4.采用多目标追踪算法对检测到的行人进行连续追踪，并给行人分配唯一编号，选取检测框下线中心点作为行人的位置点；
S5.根据行人前后帧的位置点与检测线的叉乘关系进行区域计数；
S6.根据前后帧的位置点与检测线的角度关系，采用倾斜角纠正方向判别法进行方向判断；
S7.根据区域的人员数量获取室内人员实时分布；
S8.根据实时人员分布结果通过用户界面进行可视化展示；
S2包括：根据室内通道和路径、关键出入口、隐私区域形成检测线，在摄像头能覆盖的隐私区域出入口形成检测线；
根据室内空间分布规律和计数需求，连接检测线形成拓扑区域，多个拓扑区域组成计数区域，寻找拓扑区域的公共交接检测线，统计各个拓扑区域之间的人流量交互；
根据计数区域形成掩膜，将计数区域和掩膜叠加在监控视频中；
S5包括：将人员前后帧的位置点分别标为A点和B点，检测线的两个端点标为C点和D点，若×/>＞0和/>×/>＜0，/>×/>＜0和/>×/>＞0两个条件同时满足，则说明人员跨过检测线，对此行人进行计数；
倾斜角纠正方向判别法包括：根据室内人员流动方向，在进行方向判断时，将其分为上下方向和左右方向两类；
S6.1.对所形成检测线，进行方向类型的判别；
S6.1.1.若为上下方向，首先计算检测线与水平线的倾斜角度绝对值为x°，其次确定此倾斜角与水平线之间的夹角为顺时针还是逆时针；
若为顺时针方向，- x°至180°- x°为向上的方向，其余方向为向下的方向；
若为逆时针方向，-180°+x°至x°为向下的方向，其余方向为向上的方向；
S6.1.2.若为左右方向，首先计算检测线与竖直线的倾斜角度绝对值为x°，其次确定此倾斜角与竖直线之间的夹角为顺时针还是逆时针；
若为逆时针方向，-90+ x°至90+ x°为向右的方向，其余方向为向下的方向；
若为顺时针方向，-90- x°至90- x°为向右的方向，其余方向为向左的方向；
S6.2.利用反正切函数计算前后帧位置点与检测线形成的角度，根据S6.1方向类别和角度范围对行人的运动方向进行判断。
2.根据权利要求1所述的一种基于区域分割的室内人员实时分布监测方法，其特征在于，S1包括：对采集到的图像进行初步标注，将粗略标注的数据导入到标注软件中进行二次标注，得到行人数据集。
3.根据权利要求1所述的一种基于区域分割的室内人员实时分布监测方法，其特征在于，S3包括：将行人数据集输入到YOLOv8网络中进行训练，得到训练好的权重，采用训练好的权重对视频里面的行人进行行人检测。
4.根据权利要求3所述的一种基于区域分割的室内人员实时分布监测方法，其特征在于，S4包括：将行人数据集中的行人裁剪出来，将裁剪出来的相同行人进行分类，得到行人追踪数据集，将行人追踪数据集输入到多目标追踪算法中进行训练，得到第二次训练好的权重；采用训练好的权重对视频中检测到的行人进行连续追踪。
5.根据权利要求1所述的一种基于区域分割的室内人员实时分布监测方法，其特征在于，S7包括：整个计数区域由拓扑区域组成，拓扑区域由若干的检测线组成，获取每个检测线进入和出去的总人数，进而获取拓扑区域的进入和出去的总人数。
CN202311360634.3A 2023-10-20 2023-10-20 一种基于区域分割的室内人员实时分布监测方法 Active CN117132942B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311360634.3A CN117132942B (zh) 2023-10-20 2023-10-20 一种基于区域分割的室内人员实时分布监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311360634.3A CN117132942B (zh) 2023-10-20 2023-10-20 一种基于区域分割的室内人员实时分布监测方法

Publications (2)

Publication Number Publication Date
CN117132942A CN117132942A (zh) 2023-11-28
CN117132942B true CN117132942B (zh) 2024-01-26

Family

ID=88858416

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311360634.3A Active CN117132942B (zh) 2023-10-20 2023-10-20 一种基于区域分割的室内人员实时分布监测方法

Country Status (1)

Country Link
CN (1) CN117132942B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015131734A1 (zh) * 2014-07-25 2015-09-11 中兴通讯股份有限公司 一种前视监视场景下的行人计数方法、装置和存储介质
CN109657575A (zh) * 2018-12-05 2019-04-19 国网安徽省电力有限公司检修分公司 室外施工人员智能视频跟踪算法
CN109977782A (zh) * 2019-02-27 2019-07-05 浙江工业大学 基于目标位置信息推理的跨店经营行为检测方法
WO2021077766A1 (zh) * 2019-10-24 2021-04-29 南京慧尔视智能科技有限公司 一种大区域多目标交通事件检测系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015131734A1 (zh) * 2014-07-25 2015-09-11 中兴通讯股份有限公司 一种前视监视场景下的行人计数方法、装置和存储介质
CN109657575A (zh) * 2018-12-05 2019-04-19 国网安徽省电力有限公司检修分公司 室外施工人员智能视频跟踪算法
CN109977782A (zh) * 2019-02-27 2019-07-05 浙江工业大学 基于目标位置信息推理的跨店经营行为检测方法
WO2021077766A1 (zh) * 2019-10-24 2021-04-29 南京慧尔视智能科技有限公司 一种大区域多目标交通事件检测系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
An Algorithm Based on Geometric Region to Correct Tilt License Plates;Zhu Liang Hong等;《 IEEE Xplore》;全文 *
基于HOG和Haar特征的行人追踪算法研究;陆星家;陈志荣;尹天鹤;杨帆;;计算机科学(S1);全文 *

Also Published As

Publication number Publication date
CN117132942A (zh) 2023-11-28

Similar Documents

Publication Publication Date Title
KR100879266B1 (ko) 유형별 인식에 의한 사물 추적 및 침입감지 시스템
WO2009133667A1 (ja) 類似画像検索の結果表示装置及び類似画像検索の結果表示方法
CN114155601A (zh) 一种基于视觉的作业人员危险行为检测方法及系统
US11615620B2 (en) Systems and methods of enforcing distancing rules
CN108629316A (zh) 一种多视角的视频异常事件检测方法
CN111047568A (zh) 一种漏汽缺陷检测识别方法及系统
CN106845325B (zh) 一种信息检测方法及装置
KR101445045B1 (ko) 통합관제센터의 통합관제서비스를 이용한 수위경고 시스템 및 방법
CN110002302A (zh) 一种基于深度学习的电梯开关门检测系统与方法
CN112183472A (zh) 一种基于改进RetinaNet的试验现场人员是否穿着工作服检测方法
CN112084963B (zh) 一种监控预警方法、系统及存储介质
CN116453064B (zh) 基于监控数据的隧道路段路况异常识别方法
CN115171022A (zh) 一种施工场景下的安全帽佩戴检测方法及系统
CN114677640A (zh) 基于机器视觉的智慧工地安全监测系统及方法
EP3910539A1 (en) Systems and methods of identifying persons-of-interest
KR20160093253A (ko) 영상 기반 이상 흐름 감지 방법 및 그 시스템
CN117132942B (zh) 一种基于区域分割的室内人员实时分布监测方法
Gündüz et al. A new YOLO-based method for social distancing from real-time videos
CN113052125A (zh) 一种施工现场违章图像识别告警方法
CN116503957A (zh) 一种燃气入户作业行为识别方法
JP2013211026A (ja) 類似画像検索の結果表示装置及び類似画像検索の結果表示方法
CN114708544A (zh) 一种基于边缘计算的违规行为智能监测头盔及其监测方法
CN111127433B (zh) 一种检测火焰的方法及装置
CN115546737B (zh) 一种机房监控方法
CN115346170B (zh) 一种燃气设施区域的智能监控方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant