CN112560807A - 一种基于人头检测的人群聚集检测方法 - Google Patents
一种基于人头检测的人群聚集检测方法 Download PDFInfo
- Publication number
- CN112560807A CN112560807A CN202110175442.XA CN202110175442A CN112560807A CN 112560807 A CN112560807 A CN 112560807A CN 202110175442 A CN202110175442 A CN 202110175442A CN 112560807 A CN112560807 A CN 112560807A
- Authority
- CN
- China
- Prior art keywords
- human head
- rectangular frame
- areas
- image
- aggregation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
一种基于人头检测的人群聚集检测方法,使用YOLO‑V4检测出图像中人头的位置和大小,将图像二值化,使用自适应大小的膨胀模板对所有人头区域进行膨胀,在膨胀后的图像中找出所有连通域并分别计算其最小外接矩形框,计算每个聚集区域内人群的数量,与设定的阈值进行对比后去除小于阈值的区域,从而得到初步的聚集区域,再遍历所有聚集区域并计算交并比对高度重合的区域进行融合,最后再分别计算其最小外接矩形框,从而得到最终的聚集区域的位置和大小。本发明通过部署的监控获取的视频来自动地监控人群聚集现象,将有效提高人群聚集高发区域的管理效率和人民群众的安全。
Description
技术领域
本发明属于计算机视觉技术领域,具体涉及一种基于人头检测的人群聚集检测方法。
背景技术
随着高密度聚集人群产生恐慌、踩踏等安全事故的频发,就有必要在容易发生人群聚集的区域实时监控和及时预警,通过限制人流量的方式控制人群聚集密度和间距,如车站、学校、演唱会、旅游景点和大型商场。传统的做法是花费大量人力物力在现场巡逻管理,显然这是最简单最直接的方法,但是要投入大量的人力资源不间断地监控管理显然是不科学的。尤其现阶段在疫情防控常态化的情况下长时间与人近距离接触也在无形中增加了疫情传播的风险。
随着目标检测技术的发展和城市监控的遍及,为实现无人监控人群聚集提供了可能。通过部署的监控获取的视频来自动地监控人群聚集现象,通过后台及时反馈给管理员,管理员可以通过广播等非接触形式的警告对现场人群进行管控,该发明将有效提高人群聚集高发区域的管理效率和人民群众的安全。
发明内容
本发明针对现有技术中的不足,提供一种通过检测视频中的人头对人群是否发生聚集自动检测的方法,解决了现有的监控系统需要人工长时间、不间断监督的困难。本发明包含数据收集与标注、模型训练和人群聚集检测等步骤。首先收集数据集并进行标注,搭建YOLO-V4的检测模型并训练,在检测阶段使用训练完成的最优模型检测出图像中人头的位置和大小,将图像二值化使用自适应大小的膨胀模板对所有人头区域进行膨胀,在膨胀后的图像中找出所有连通域并分别计算其最小外接矩形框,计算每个聚集区域内人群的数量,与设定的阈值进行对比后去除小于阈值的区域,从而得到初步的聚集区域,再遍历所有聚集区域并计算交并比对高度重合的区域进行融合,最后再分别计算其最小外接矩形框,从而得到最终的聚集区域的位置和大小。
为实现上述目的,本发明采用以下技术方案:
一种基于人头检测的人群聚集检测方法,其特征在于,包括如下步骤:
步骤1:训练一个能够检测人头的神经网络模型;
步骤2:使用神经网络模型检测出图像中所有的人头,对图像进行二值化处理;
步骤3:使用自适应大小的膨胀模板对人头区域进行膨胀,找出所有连通域并分别计算其最小外接矩形框,得到初步的聚集区域;
步骤4:计算每个聚集区域内人头的数量,与设定的阈值进行对比后去除小于阈值的区域;
步骤5:计算每个聚集区域之间的交并比,对高度重合的聚集区域进行融合,对融合后的区域再计算其最小外接矩形框,得到最终聚集区域的位置和大小。
为优化上述技术方案,采取的具体措施还包括:
进一步地,所述步骤1中,采用YOLO-V4算法框架来搭建神经网络模型,采用CSPDarknet-53作为主干网络;训练样本为自然场景中采集的图像,通过人工标注人头的方式得到数据集的真实标签,再使用多种数据增强方式对数据集进行扩增。
进一步地,所述步骤2中,将检测出的所有人头区域以矩形框的形式标注,通过图像二值化将人头矩形框区域的像素值全部置为255,其余区域置为0。
进一步地,所述步骤3中,使用自适应大小的膨胀模板对人头区域进行膨胀,具体如下:
针对每一个人头矩形框创建不同大小的膨胀模板,模板尺寸的大小与人头矩形框的大小成正比关系,每个矩形框对应的编号为i,得到膨胀模板大小为:
进一步地,所述步骤3中,找出所有连通域并分别计算其最小外接矩形框,得到初步的聚集区域,具体如下:
在人头区域膨胀后的图像中寻找所有的连通域,计算每一个连通域的最小外接矩形框,R i 是初步的聚集区域,x i ,y i 分别表示最小外接矩形框左上角顶点的坐标,w i ,h i 分别表示最小外接矩形框的宽和高。
进一步地,所述步骤5中,计算每个聚集区域之间的交并比:
其中,IOU表示交并比,A、B表示两个聚集区域;
本发明的有益效果是:部署方便,只需普通监控摄像头或复用现有监控设备即可,通过网络传输算法在后台进行实时分析;能够根据实际需求动态调整聚集人数的阈值,对不同区域、时间段等做到定制开发;相比传统方法精度较高,受光照、天气等干扰因素影响较小;速度快,能够做到实时检测和判定,当聚集事件发生时快速定位和警告。
附图说明
图1是本发明的具体实施例流程图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。
一种基于人头检测的人群聚集检测方法,包括以下步骤:
步骤1:采用YOLO-V4算法框架来搭建神经网络模型,采用CSPDarknet-53作为主干网络。训练样本为自然场景中采集的图像,通过人工标注人头的方式得到数据集的真实标签,再使用添加噪声、随机裁剪和马赛克数据增强等方式对数据集进行扩增。在预训练模型的基础上使用训练集和验证集对网络进行微调,模型训练使用的Loss函数为:
损失值由三部分组成,分别是边框回归、置信度和类别的损失值。其中,相比于传统的IOU损失函数添加了更多的几何因素,包括:重叠面积、中心点距离和长宽比,训练得到的模型能够检测图像中的人头,在模型预测阶段从三个不同尺度特征图上的每个像素点输出3个预测的目标框,通过筛选最终只输出一个置信度最高的目标检测结果,检测结果包括目标的类型和坐标,输出的目标区域是一个矩形框,其中是矩形框左上角点的坐标,是矩形框右下角点的坐标。
步骤2:使用模型检测出图像中所有的人头,通过图像二值化将所有人头区域置为255,其余区域置为0。
步骤3:使用自适应大小的膨胀模板对人头区域进行膨胀,找出所有连通域并分别计算其最小外接矩形框,得到初步的聚集区域。
步骤4,计算每个聚集区域R i 内人头的数量,与设定的人群聚集区域内人群数量阈值进行对比后去除小于阈值的聚集区域。
步骤5,计算每个聚集区域之间的交并比,对IOU高于阈值的聚集区域进行融合,也就是将高度重合的聚集区域进行合并得到一个新的更大的聚集区域,然后再计算其最小外接矩形框从而确定聚集区域的位置和大小,遍历所有聚集区域后就能够得到最终符合条件的聚集区域。
以上仅是本发明的优选实施方式,本发明的保护范围并不仅局限于上述实施例,凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理前提下的若干改进和润饰,应视为本发明的保护范围。
Claims (4)
1.一种基于人头检测的人群聚集检测方法,其特征在于,包括如下步骤:
步骤1:训练一个能够检测人头的神经网络模型;
步骤2:使用神经网络模型检测出图像中所有的人头,将检测出的所有人头区域以矩形框的形式标注,对图像进行二值化处理;
步骤3:使用自适应大小的膨胀模板对人头区域进行膨胀,找出所有连通域并分别计算其最小外接矩形框,得到初步的聚集区域;具体如下:
在人头区域膨胀后的图像中寻找所有的连通域,计算每一个连通域的最小外接矩形框,R i 是初步的聚集区域,x i y i 分别表示最小外接矩形框左上角顶点的坐标,w i ,h i 分别表示最小外接矩形框的宽和高;
步骤4:计算每个聚集区域内人头的数量,与设定的阈值进行对比后去除小于阈值的区域;
步骤5:计算每个聚集区域之间的交并比,对高度重合的聚集区域进行融合,对融合后的区域再计算其最小外接矩形框,得到最终聚集区域的位置和大小。
2.如权利要求1所述的一种基于人头检测的人群聚集检测方法,其特征在于:所述步骤1中,采用YOLO-V4算法框架来搭建神经网络模型,采用CSPDarknet-53作为主干网络;训练样本为自然场景中采集的图像,通过人工标注人头的方式得到数据集的真实标签,再使用多种数据增强方式对数据集进行扩增。
3.如权利要求1所述的一种基于人头检测的人群聚集检测方法,其特征在于:所述步骤2中,通过图像二值化将人头矩形框区域的像素值全部置为255,其余区域置为0。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110175442.XA CN112560807B (zh) | 2021-02-07 | 2021-02-07 | 一种基于人头检测的人群聚集检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110175442.XA CN112560807B (zh) | 2021-02-07 | 2021-02-07 | 一种基于人头检测的人群聚集检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112560807A true CN112560807A (zh) | 2021-03-26 |
CN112560807B CN112560807B (zh) | 2021-05-11 |
Family
ID=75035906
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110175442.XA Active CN112560807B (zh) | 2021-02-07 | 2021-02-07 | 一种基于人头检测的人群聚集检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112560807B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113470009A (zh) * | 2021-07-26 | 2021-10-01 | 浙江大华技术股份有限公司 | 违规撑伞检测和识别方法、装置、电子设备及存储介质 |
CN113537172A (zh) * | 2021-09-16 | 2021-10-22 | 长沙海信智能系统研究院有限公司 | 人群密度确定方法、装置、设备及存储介质 |
CN114373162A (zh) * | 2021-12-21 | 2022-04-19 | 国网江苏省电力有限公司南通供电分公司 | 用于变电站视频监控的危险区域人员入侵检测方法及系统 |
WO2023155482A1 (zh) * | 2022-02-17 | 2023-08-24 | 广州广电运通金融电子股份有限公司 | 一种人群快速聚集行为的识别方法、系统、设备及介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102147869A (zh) * | 2011-03-31 | 2011-08-10 | 上海交通大学 | 基于前景分析和模式识别的行人检测方法 |
CN105321187A (zh) * | 2014-07-22 | 2016-02-10 | 无锡慧眼电子科技有限公司 | 基于人头检测的行人计数方法 |
CN109819208A (zh) * | 2019-01-02 | 2019-05-28 | 江苏警官学院 | 一种基于人工智能动态监控的密集人群安防监控管理方法 |
CN111209892A (zh) * | 2020-01-19 | 2020-05-29 | 浙江中创天成科技有限公司 | 一种基于卷积神经网络的人群密度及数量估计方法 |
CN111639585A (zh) * | 2020-05-21 | 2020-09-08 | 中国科学院重庆绿色智能技术研究院 | 一种自适应人群计数系统及自适应人群计数方法 |
CN112001274A (zh) * | 2020-08-06 | 2020-11-27 | 腾讯科技(深圳)有限公司 | 人群密度确定方法、装置、存储介质和处理器 |
CN112232316A (zh) * | 2020-12-11 | 2021-01-15 | 科大讯飞(苏州)科技有限公司 | 人群聚集检测方法、装置、电子设备及存储介质 |
-
2021
- 2021-02-07 CN CN202110175442.XA patent/CN112560807B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102147869A (zh) * | 2011-03-31 | 2011-08-10 | 上海交通大学 | 基于前景分析和模式识别的行人检测方法 |
CN105321187A (zh) * | 2014-07-22 | 2016-02-10 | 无锡慧眼电子科技有限公司 | 基于人头检测的行人计数方法 |
CN109819208A (zh) * | 2019-01-02 | 2019-05-28 | 江苏警官学院 | 一种基于人工智能动态监控的密集人群安防监控管理方法 |
CN111209892A (zh) * | 2020-01-19 | 2020-05-29 | 浙江中创天成科技有限公司 | 一种基于卷积神经网络的人群密度及数量估计方法 |
CN111639585A (zh) * | 2020-05-21 | 2020-09-08 | 中国科学院重庆绿色智能技术研究院 | 一种自适应人群计数系统及自适应人群计数方法 |
CN112001274A (zh) * | 2020-08-06 | 2020-11-27 | 腾讯科技(深圳)有限公司 | 人群密度确定方法、装置、存储介质和处理器 |
CN112232316A (zh) * | 2020-12-11 | 2021-01-15 | 科大讯飞(苏州)科技有限公司 | 人群聚集检测方法、装置、电子设备及存储介质 |
Non-Patent Citations (3)
Title |
---|
ZHANGC 等: "Cross-scenecrowdcountingviadeepconvolutionalneuralnetwork", 《2015IEEECONFERENCEONCOMPUTERVISION》 * |
刘鹏: "基于深度学习的人群密度估计算法研究与系统设计", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
高淼: "基于双目立体视觉的客流统计算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113470009A (zh) * | 2021-07-26 | 2021-10-01 | 浙江大华技术股份有限公司 | 违规撑伞检测和识别方法、装置、电子设备及存储介质 |
CN113470009B (zh) * | 2021-07-26 | 2024-05-14 | 浙江大华技术股份有限公司 | 违规撑伞检测和识别方法、装置、电子设备及存储介质 |
CN113537172A (zh) * | 2021-09-16 | 2021-10-22 | 长沙海信智能系统研究院有限公司 | 人群密度确定方法、装置、设备及存储介质 |
CN113537172B (zh) * | 2021-09-16 | 2021-12-10 | 长沙海信智能系统研究院有限公司 | 人群密度确定方法、装置、设备及存储介质 |
CN114373162A (zh) * | 2021-12-21 | 2022-04-19 | 国网江苏省电力有限公司南通供电分公司 | 用于变电站视频监控的危险区域人员入侵检测方法及系统 |
CN114373162B (zh) * | 2021-12-21 | 2023-12-26 | 国网江苏省电力有限公司南通供电分公司 | 用于变电站视频监控的危险区域人员入侵检测方法及系统 |
WO2023155482A1 (zh) * | 2022-02-17 | 2023-08-24 | 广州广电运通金融电子股份有限公司 | 一种人群快速聚集行为的识别方法、系统、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112560807B (zh) | 2021-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112560807B (zh) | 一种基于人头检测的人群聚集检测方法 | |
CN108062349B (zh) | 基于视频结构化数据及深度学习的视频监控方法和系统 | |
Ai et al. | Computer vision framework for crack detection of civil infrastructure—A review | |
CN106878674B (zh) | 一种基于监控视频的停车检测方法及装置 | |
CN109255350B (zh) | 一种基于视频监控的新能源车牌检测方法 | |
CN109977782B (zh) | 基于目标位置信息推理的跨店经营行为检测方法 | |
CN103048329B (zh) | 一种基于主动轮廓模型的路面裂缝检测方法 | |
CN104933710A (zh) | 基于监控视频下的商店人流轨迹智能分析方法 | |
CN103824081A (zh) | 一种室外恶劣光照条件下的快速鲁棒交通标志检测方法 | |
CN105160297A (zh) | 基于肤色特征的蒙面人事件自动检测方法 | |
CN110874592A (zh) | 一种基于总有界变分的森林火灾烟雾图像检测方法 | |
CN107705577B (zh) | 一种基于车道线标定车辆违章变道的实时检测方法及系统 | |
CN112149543A (zh) | 一种基于计算机视觉的建筑扬尘识别系统与方法 | |
CN110309765B (zh) | 一种视频运动目标高效检测方法 | |
CN104463232A (zh) | 一种基于hog特征和颜色直方图特征的密度人群计数的方法 | |
CN112287823A (zh) | 一种基于视频监控的面部口罩识别方法 | |
US11908120B2 (en) | Fault detection method and system for tunnel dome lights based on improved localization loss function | |
Yuan et al. | EcRD: Edge-cloud computing framework for smart road damage detection and warning | |
CN107578048A (zh) | 一种基于车型粗分类的远视场景车辆检测方法 | |
CN105574468A (zh) | 视频火焰检测方法、装置及系统 | |
CN110852179A (zh) | 基于视频监控平台的可疑人员入侵的检测方法 | |
CN110210428A (zh) | 一种基于mser的远距离复杂环境下的烟雾根节点检测方法 | |
CN104168462B (zh) | 基于图像角点集特征的摄像头场景变换检测方法 | |
CN113095301B (zh) | 占道经营监测方法、系统与服务器 | |
Tao et al. | Contour-based smoky vehicle detection from surveillance video for alarm systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A Crowd Aggregation Detection Method Based on Head Detection Effective date of registration: 20221121 Granted publication date: 20210511 Pledgee: Nanjing Branch of Jiangsu Bank Co.,Ltd. Pledgor: NANJING YUNCHUANG BIG DATA TECHNOLOGY Co.,Ltd. Registration number: Y2022980022505 |