CN112668451A - 一种基于YOLOv5的人群密度实时监测方法 - Google Patents
一种基于YOLOv5的人群密度实时监测方法 Download PDFInfo
- Publication number
- CN112668451A CN112668451A CN202011551457.3A CN202011551457A CN112668451A CN 112668451 A CN112668451 A CN 112668451A CN 202011551457 A CN202011551457 A CN 202011551457A CN 112668451 A CN112668451 A CN 112668451A
- Authority
- CN
- China
- Prior art keywords
- data
- network model
- crowd density
- picture
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012544 monitoring process Methods 0.000 title claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000012360 testing method Methods 0.000 claims abstract description 9
- 230000008569 process Effects 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 description 16
- 238000002372 labelling Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种基于YOLOv5的人群密度实时监测方法，具体包括如下步骤，构建网络模型，并加载网络模型；网络模型读取视频文件，读取视频文件中一帧图像，网络模型检测并计算人数并得出人群密度，人群密度是否大于设定值P。通过在公开的人群数据集上进行训练得出网络模型，该网络通过检测视频流中每一帧图像中人肩膀以上部分，即人头的数量来计算人群数量，以人数比面积来衡量人群的密集程度，经过测试，在YOLOv5网络上检测可以达到实时性要求，本发明的检测准确率比较高，能够避免大量漏检测的情况的出现，对于密集的人群能够起到优良的检测效果，YOLOv5在检测速度更快的同时，对检测小目标有着优异的性能，能够满足人群密度实时统计的要求。
Description
技术领域
本发明涉及计算机技术领域，具体为一种基于YOLOv5的人群密度实时监测方法。
背景技术
当人群密集程度过高的时候，容易发生各种意外，而且会对秩序管理者的管理带来困难，及时地检测人群的密度，并在人群密度过高的时候发出警示信息，有利于管理者及时疏散人群。
如今对人的检测可以大致分为传统的图像处理方法和基于机器学习的方法。传统的图像处理方法检测人通过对图像进行一定的预处理，然后检测人的轮廓，这种方法通常检测准确率比较低，而且会大量出现漏检测的情况。如今一些基于机器学习的方法在检测稀疏的人群时有比较好的效果，但是难以检测到密集的人群。
发明内容
本发明目的在于提供一种基于YOLOv5的人群密度实时监测方法，YOLOv5在检测速度更快的同时，对检测小目标有着优异的性能，能够满足人群密度实时统计的要求。
为达成上述目的，本发明提出如下技术方案：一种基于YOLOv5的人群密度实时监测方法，具体包括如下步骤：
第一步，构建网络模型，并加载网络模型；
第二步：网络模型读取视频文件，读取视频文件中一帧图像；
第三步：网络模型检测并计算人数并得出人群密度，人群密度是否大于设定值P，若大于设定值P则发出报警后继续对后续视频检测，若小于设定值P则继续对后续视频进行检测，直至视频结束。
进一步的，在本发明中，所述网络模型包括权重文件，权重文件由训练而成；
所述训练过程如下：
加载数据集并进行处理，将人群数据集中的每个人头用矩形框标注出来得出待加载数据集；
将待加载数据集加载到程序中，并在获取单个数据时对数据进行增强；
模型权重文件的训练；
对训练出来的权重文件进行测试。
进一步的，在本发明中，所述加载数据集的过程如下：
在给定的图片数据文件夹下遍历所有图片文件，并存储图片文件的路径；
在标签文件夹下遍历所有标签文件，并且存储所有标签文件的路径；
将所有图片的路径和标签的路径存入缓存文件，方便下次读取；
从数据集中获取单个数据，包括图片文件和标签文件。
进一步的，在本发明中，获取单个数据包括图片的读取和txt文本的读取，读取数据之后对数据增强，数据增强是将四张图片进行随机的缩放和裁剪拼接起来，将四张图片对应的标签文件里的标签框参数根据图片变化做相应的调整，保证数据的正确性；
在训练的过程中，对输入的图片进行缩放与填充以适应规定的大小，具体过程如下：
计算图片的长需要缩放的比例L1，图片的宽需要缩放的比例L2；
选择L1和L2中较小的作为长和宽的统一缩放比例系数；
缩放完成之后对缩放比例不匹配的那条边进行填充；
对数据的增强步骤是在训练过程中，每读一次数据，数据集自动完成的。当数据集准备完毕则可以开始训练。
进一步的，在本发明中，所述模型权重文件的训练的具体步骤是：
将图片数据带入网络模型中得出预测结果；
计算损失函数，即预测的值和标注的值之间的误差；
通过损失函数来以选定的学习率更新网络模型参数。
有益效果，本申请的技术方案具备如下技术效果：
1、本发明的检测准确率比较高，能够避免大量漏检测的情况的出现，对于密集的人群能够起到优良的检测效果，YOLOv5在检测速度更快的同时，对检测小目标有着优异的性能，能够满足人群密度实时统计的要求。
2、本发明公开的方法使用YOLOv5作为网络，通过在公开的人群数据集上进行训练得出网络模型，该网络通过检测视频流中每一帧图像中人肩膀以上部分，即人头的数量来计算人群数量，以人数比面积来衡量人群的密集程度，经过测试，在YOLOv5网络上检测可以达到实时性要求。
应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。
结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。
附图说明
附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：
图1为本发明测试流程示意图。
图2为本发明测试流程图。
图3为本发明数据集标注信息示例图。
具体实施方式
为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定意在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。
本发明通过读取视频文件或者直接连接摄像头，提取视频文件的每一帧图像并对其进行检测，网络可以检测出当前图片中人头，统计人头数量作为人群中人的数量，将数量除一个固定的面积得到人群密度。本实施例的方法如下：
一种基于YOLOv5的人群密度实时监测方法，具体包括如下步骤：
第一步，构建网络模型，并加载网络模型；
第二步：网络模型读取视频文件，读取视频文件中一帧图像；
第三步：网络模型检测并计算人数并得出人群密度，人群密度是否大于设定值P，若大于设定值P则发出报警后继续对后续视频检测，若小于设定值P则继续对后续视频进行检测，直至视频结束。
所述网络模型包括权重文件，权重文件由训练而成，训练过程如下：
数据集的处理，将人群数据集中的每个人头用矩形框标注出来；
将数据集加载到程序中，并在获取单个数据时对数据进行增强；
模型权重文件的训练；
对训练出来的权重文件进行测试；
其中标注工作，对于图片中正面的人脸、后脑勺或者侧面的人脸，均需要清楚地标注出来，在检测的过程中，这些都是检测目标。数据集的标注需要标注的信息如图3所示，YOLOv5网络支持的数据集标注文件是txt文本格式的，其内每一行代表一个标注框，在图1中，①代表标注框的类别，从零开始递增，在本发明中数据只有一类，②③代表的是标注框归一化之后中心点坐标，④⑤表示标注框归一化之后的宽和高。
数据增强过程是随机选择四张图片，对这四张图片进行随机裁剪、随机缩放，最后通过将四张图片随机分别分布在窗口的左上、左下、右上和右下四个区域来拼合成一张新的图片，这种数据增强的方式可以大大增加网络模型检测的鲁棒性，而且通过缩放的改变，网络可以更好地训练出检测小目标的能力，对于密集的人群检测有着更好的效果。
对于模型权重文件的训练，我们采用了加载一个预先训练的模型，这样做可以将整个网络模型的参数做一个合理的初始化，能够加快网络训练的速度。
对训练出来的权重文件进行测试中，本实施例是读取一个拍摄人群的视频文件，在程序中将该视频的每一帧分别提取出来，并利用网络对每一帧图像进行检测，我们通过判断程序输出的视频文件每秒播放的帧数来衡量网络是否达到了实时性的要求。
更进一步的，在模型训练之前，需要先加载整个数据集。加载的步骤如下：
在给定的图片数据文件夹下遍历所有图片文件，并存储图片文件的路径；
在标签文件夹下遍历所有标签文件，并且存储所有标签文件的路径；
将所有图片的路径和标签的路径存入缓存文件，方便下次读取；
从数据集中获取单个数据，包括图片文件和标签文件。
获取单个数据包括图片的读取和txt文本的读取。在具体的实施过程中使用了数据增强，具体做法是将四张图片进行随机的缩放和裁剪，然后拼接起来，然后将四张图片对应的标签文件里的标签框参数根据图片变化做相应的调整，保证数据的正确性。在训练的过程中，输入的图片有规定的大小，我们在将图片输入到网络之前需要对图片进行缩放以使其满足指定的大小。
缩放与填充的策略是：
计算图片的长需要缩放的比例L1，图片的宽需要缩放的比例L2；
选择L1和L2中较小的作为长和宽的统一缩放比例系数；
缩放完成之后对缩放比例不匹配的那条边进行填充。
对数据的增强步骤是在训练过程中，每读一次数据，数据集自动完成的。当数据集准备完毕则可以开始训练，训练的具体步骤是：
在数据集中读取一次数据选择学习率，即每一次更改网络参数的值时改变的大小；
将图片数据带入网络模型中得出预测结果；
计算损失函数，即预测的值和标注的值之间的误差；
通过损失函数来以选定的学习率更新网络模型参数。
训练完成之后得到权重文件，加载权重文件即可进行测试。在检测的过程中会出现同一个目标被多次检测到，会发生多个检测框检测到同一个目标，我们需要选择可能性最大的检测框，并且计算其他检测框和最可能的检测框重合的面积，当面积大于一定阈值则删除重叠的检测框。
虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。
Claims (5)
1.一种基于YOLOv5的人群密度实时监测方法，其特征在于：具体包括如下步骤：
第一步，构建网络模型，并加载网络模型；
第二步：网络模型读取视频文件，读取视频文件中一帧图像；
第三步：网络模型检测并计算人数并得出人群密度，人群密度是否大于设定值P，若大于设定值P则发出报警后继续对后续视频检测，若小于设定值P则继续对后续视频进行检测，直至视频结束。
2.根据权利要求1所述的一种基于YOLOv5的人群密度实时监测方法，其特征在于：所述网络模型包括权重文件，权重文件由训练而成；
所述训练过程如下：
加载数据集并进行处理，将人群数据集中的每个人头用矩形框标注出来得出待加载数据集；
将待加载数据集加载到程序中，并在获取单个数据时对数据进行增强；
模型权重文件的训练；
对训练出来的权重文件进行测试。
3.根据权利要求2所述的一种基于YOLOv5的人群密度实时监测方法，其特征在于：所述加载数据集的过程如下：
在给定的图片数据文件夹下遍历所有图片文件，并存储图片文件的路径；
在标签文件夹下遍历所有标签文件，并且存储所有标签文件的路径；
将所有图片的路径和标签的路径存入缓存文件，方便下次读取；
从数据集中获取单个数据，包括图片文件和标签文件。
4.根据权利要求3所述的一种基于YOLOv5的人群密度实时监测方法，其特征在于：获取单个数据包括图片的读取和txt文本的读取，读取数据之后对数据增强，数据增强是将四张图片进行随机的缩放和裁剪拼接起来，将四张图片对应的标签文件里的标签框参数根据图片变化做相应的调整，保证数据的正确性；
在训练的过程中，对输入的图片进行缩放与填充以适应规定的大小，具体过程如下：
计算图片的长需要缩放的比例L1，图片的宽需要缩放的比例L2；
选择L1和L2中较小的作为长和宽的统一缩放比例系数；
缩放完成之后对缩放比例不匹配的那条边进行填充；
对数据的增强步骤是在训练过程中，每读一次数据，数据集自动完成的。当数据集准备完毕则可以开始训练。
5.根据权利要求4所述的一种基于YOLOv5的人群密度实时监测方法，其特征在于：所述模型权重文件的训练的具体步骤是：
将图片数据带入网络模型中得出预测结果；
计算损失函数，即预测的值和标注的值之间的误差；
通过损失函数来以选定的学习率更新网络模型参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011551457.3A CN112668451A (zh) | 2020-12-24 | 2020-12-24 | 一种基于YOLOv5的人群密度实时监测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011551457.3A CN112668451A (zh) | 2020-12-24 | 2020-12-24 | 一种基于YOLOv5的人群密度实时监测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112668451A true CN112668451A (zh) | 2021-04-16 |
Family
ID=75408399
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011551457.3A Pending CN112668451A (zh) | 2020-12-24 | 2020-12-24 | 一种基于YOLOv5的人群密度实时监测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112668451A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110852208A (zh) * | 2019-10-29 | 2020-02-28 | 贵州民族大学 | 一种人群密度估计方法及可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110490099A (zh) * | 2019-07-31 | 2019-11-22 | 武汉大学 | 一种基于机器视觉的地铁公共地点人流量分析方法 |
| CN110895714A (zh) * | 2019-12-11 | 2020-03-20 | 天津科技大学 | 一种YOLOv3的网络压缩方法 |
| CN111209892A (zh) * | 2020-01-19 | 2020-05-29 | 浙江中创天成科技有限公司 | 一种基于卷积神经网络的人群密度及数量估计方法 |
| CN111832489A (zh) * | 2020-07-15 | 2020-10-27 | 中国电子科技集团公司第三十八研究所 | 一种基于目标检测的地铁人群密度估计方法及系统 |
| CN111914819A (zh) * | 2020-09-30 | 2020-11-10 | 杭州未名信科科技有限公司 | 一种多摄像头融合的人群密度预测方法、装置、存储介质及终端 |
-
2020
- 2020-12-24 CN CN202011551457.3A patent/CN112668451A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110490099A (zh) * | 2019-07-31 | 2019-11-22 | 武汉大学 | 一种基于机器视觉的地铁公共地点人流量分析方法 |
| CN110895714A (zh) * | 2019-12-11 | 2020-03-20 | 天津科技大学 | 一种YOLOv3的网络压缩方法 |
| CN111209892A (zh) * | 2020-01-19 | 2020-05-29 | 浙江中创天成科技有限公司 | 一种基于卷积神经网络的人群密度及数量估计方法 |
| CN111832489A (zh) * | 2020-07-15 | 2020-10-27 | 中国电子科技集团公司第三十八研究所 | 一种基于目标检测的地铁人群密度估计方法及系统 |
| CN111914819A (zh) * | 2020-09-30 | 2020-11-10 | 杭州未名信科科技有限公司 | 一种多摄像头融合的人群密度预测方法、装置、存储介质及终端 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110852208A (zh) * | 2019-10-29 | 2020-02-28 | 贵州民族大学 | 一种人群密度估计方法及可读存储介质 |
| CN110852208B (zh) * | 2019-10-29 | 2023-06-02 | 贵州民族大学 | 一种人群密度估计方法及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110047095B (zh) | 基于目标检测的跟踪方法、装置及终端设备 | |
| CN105718861B (zh) | 一种识别视频流数据类别的方法及装置 | |
| US6961463B1 (en) | Method of detecting duplicate pictures in an automatic albuming system | |
| CN113779308B (zh) | 一种短视频检测和多分类方法、装置及存储介质 | |
| CN110059761A (zh) | 一种人体行为预测方法及装置 | |
| CN110598008B (zh) | 录制数据的数据质检方法及装置、存储介质 | |
| CN110942456B (zh) | 篡改图像检测方法、装置、设备及存储介质 | |
| CN114359235A (zh) | 一种基于改进YOLOv5l网络的木材表面缺陷检测方法 | |
| CN110674887A (zh) | 一种基于视频分类的端到端道路拥堵检测算法 | |
| CN111652144A (zh) | 基于目标区域融合的题目分割方法、装置、设备和介质 | |
| WO2023035558A1 (zh) | 一种基于锚点切图的图像处理方法、装置、设备和介质 | |
| CN114005019B (zh) | 一种翻拍图像识别方法及其相关设备 | |
| CN112668451A (zh) | 一种基于YOLOv5的人群密度实时监测方法 | |
| CN114519689A (zh) | 图像篡改检测方法、装置、设备及计算机可读存储介质 | |
| CN111709762B (zh) | 信息匹配度的评估方法、装置、设备及存储介质 | |
| CN112446361A (zh) | 一种训练数据的清洗方法及设备 | |
| CN112149528A (zh) | 一种全景图目标检测方法、系统、介质及设备 | |
| CN104424160B (zh) | 文档跳转的处理系统和处理方法 | |
| CN115908344A (zh) | 一种基于MLCT-YOLO的Micro LED芯片缺陷检测方法 | |
| CN114267084A (zh) | 视频识别方法、装置、电子设备及存储介质 | |
| CN113822155A (zh) | 一种聚类辅助的弱监督视频异常检测方法和装置 | |
| CN111754474A (zh) | 一种基于图像清晰度的能见度识别的方法及设备 | |
| CN117061788B (zh) | 一种短视频自动化监管与预警方法、设备及存储设备 | |
| CN117830911B (zh) | 用于智能摄像头的智能识别方法、装置、电子设备及介质 | |
| CN116501176B (zh) | 基于人工智能的用户动作识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |