CN116012768A - 人群密度检测方法、装置、电子设备及计算机存储介质 - Google Patents
人群密度检测方法、装置、电子设备及计算机存储介质 Download PDFInfo
- Publication number
- CN116012768A CN116012768A CN202210926678.7A CN202210926678A CN116012768A CN 116012768 A CN116012768 A CN 116012768A CN 202210926678 A CN202210926678 A CN 202210926678A CN 116012768 A CN116012768 A CN 116012768A
- Authority
- CN
- China
- Prior art keywords
- spatial domain
- image
- crowd density
- density detection
- foreground image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 102
- 238000003860 storage Methods 0.000 title claims abstract description 18
- 238000012544 monitoring process Methods 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims abstract description 23
- 239000013598 vector Substances 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 15
- 230000009467 reduction Effects 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 11
- 230000000877 morphologic effect Effects 0.000 claims description 9
- 238000012706 support-vector machine Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 3
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 230000010339 dilation Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000007423 decrease Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本公开提供一种人群密度检测方法，所述方法包括：根据目标检测区域的监控图像序列确定出前景图像；从所述前景图像中提取出平均减对比度归一化MSCN空间域特征、差分信号空间域特征和人像轮廓空间域特征；根据所述MSCN空间域特征、差分信号空间域特征和人像轮廓空间域特征生成空间域特征向量；根据所述空间域特征向量和预先训练得到的人群密度检测模型，确定所述目标检测区域的人群密度检测结果。相较于传统的人群密度检测方法而言，在复杂场景下能够获得更加准确的人群密度检测结果。本公开还提供一种人群密度检测装置、电子设备及计算机存储介质。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种人群密度检测方法、一种人群密度检测装置、一种电子设备及一种计算机存储介质。
背景技术
在智慧安防、智慧交通等智慧城市领域中，公共场所采用摄像机实现人群密度检测具有重要价值。对人群高度聚集的场所进行实时监控，从监控图像或监控视频中及时准确地获悉人群密度分布情况，能够有效地辅助预防事故。例如，针对景区、地铁、车站、机场、体育馆、剧院、影院等公共场所，实时监控人流分布情况,做好分流、控制及预防工作，避免秩序混乱造成踩踏、拥挤等严重事故的发生。
在实际应用中，制约人群密度检测的研究、发展和应用的因素主要包括天气、摄像头位置、摄像机透视效果、图像背景、行人相互遮挡、光照角度和强度等。其中，天气因素主要包括普通的雨雪天气和一些极端天气，在晴天或者阴天，可以直接根据摄像位置检测人体部位如头部、身体等，但在雨雪天气，雨伞、雨衣等的干扰很大程度地加大了检测难度，在极端天气还额外受到光线、风速等的干扰，检测难度更大。摄像头位置、摄像机透视效果、图像背景、行人相互遮挡同样是影响人群密度检测的关键因素，一般情况下，规定的交通摄像头离地安装高度不得低于3.5米，此时监控画面呈现出俯拍人群的效果，当画面中的人数高于某阈值后，图像帧中的人像会出现不同程度的叠加，也会对检测结果造成一定干扰。光照角度和强度也会影响算法的准确度，例如，由于白天光线与夜晚光线之间明暗差别较大，全天光照角度和强度的变化会带来不同程度的人体阴影噪声等。
现有技术中采用的人群密度检测方法，均存在着一些弊端。例如，一种方法是通过提取Haar特征训练Adaboost人头目标分类器,再利用Camshift算法对目标进行跟踪,使用Kalman缩小跟踪目标的搜索范围,最后利用人头模板匹配方法,对商场人流量进行统计评估。另一种方法是基于人流量检测的改进CN算法,结合目标运动轨迹实现人流量统计。还有一种方法是采用帧间差分法对运动目标进行人流量统计。以上方法对于室内等开放场所具有较好的检测效果，但均无法应对室外场景、雨雪天气等复杂场景。因此，亟需一种新的人群密度检测方法。
发明内容
本公开针对现有技术中存在的上述不足，提供一种人群密度检测方法、一种人群密度检测装置、一种电子设备及一种计算机存储介质。
第一方面，本公开实施例提供一种人群密度检测方法，所述方法包括：
根据目标检测区域的监控图像序列确定出前景图像；
从所述前景图像中提取出平均减对比度归一化MSCN空间域特征、差分信号空间域特征和人像轮廓空间域特征；
根据所述MSCN空间域特征、差分信号空间域特征和人像轮廓空间域特征生成空间域特征向量；
根据所述空间域特征向量和预先训练得到的人群密度检测模型，确定所述目标检测区域的人群密度检测结果。
在一些实施例中，所述从所述前景图像中提取出MSCN空间域特征包括：
根据所述前景图像的灰度值局部均值和灰度值局部标准差，计算出所述前景图像的MSCN系数信息；
根据所述MSCN系数信息计算所述MSCN空间域特征。
在一些实施例中，所述差分信号空间域特征包括块边界平均梯度、块内平均差分绝对值以及过零率提取特征；所述从所述前景图像中提取出差分信号空间域特征包括：
计算所述前景图像的差分信号矩阵和所述过零率提取特征；
根据所述差分信号矩阵计算所述块边界平均梯度；
根据所述差分信号矩阵和所述块边界平均梯度计算所述块内平均差分绝对值。
在一些实施例中，所述从所述前景图像中提取出人像轮廓空间域特征包括：
对所述前景图像进行二值化处理，以提取出第一轮廓图像；
对所述第一轮廓图像进行形态学腐蚀处理、形态学膨胀还原处理和差值处理，以提取出第二轮廓图像；
对所述第二轮廓图像进行加和处理，以提取出所述人像轮廓空间域特征。
在一些实施例中，所述根据目标检测区域的监控图像序列确定出前景图像包括：
对所述监控图像序列进行预处理，以获取预处理图像序列；
根据所述预处理图像序列确定出背景图像，以及从所述预处理图像序列中确定出待检测图像；
对所述背景图像和所述待检测图像进行差值处理，以获取所述前景图像。
在一些实施例中，所述对所述监控图像序列进行预处理，以获取预处理图像序列包括：
按照预设的帧间间隔从所述监控图像序列中获取多个监控图像；
将所述多个监控图像转换为灰度图像；
对转换后的所述多个监控图像进行压缩处理，以获取所述预处理图像序列。
在一些实施例中，所述人群密度检测模型的类型为支持向量机SVM模型，所述人群密度检测结果为高密度标识或低密度标识。
第二方面，本公开实施例提供一种人群密度检测装置，所述装置包括：
前景图像确定模块，用于根据目标检测区域的监控图像序列确定出前景图像；
特征提取模块，用于从所述前景图像中提取出平均减对比度归一化MSCN空间域特征、差分信号空间域特征和人像轮廓空间域特征；
向量生成模块，用于根据所述MSCN空间域特征、差分信号空间域特征和人像轮廓空间域特征生成空间域特征向量；
检测模块，用于根据所述空间域特征向量和预先训练得到的人群密度检测模型，确定所述目标检测区域的人群密度检测结果。
第三方面，本公开实施例提供一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前所述的人群密度检测方法。
第四方面，本公开实施例提供一种计算机存储介质，其上存储有计算机程序，所述程序被执行时实现如前所述的人群密度检测方法。
通过根据目标检测区域的监控图像序列确定出前景图像，以初步减少背景图像带来的干扰，进一步地从所述前景图像中提取出平均减对比度归一化MSCN空间域特征、差分信号空间域特征和人像轮廓空间域特征，减少了背景图像、大块阴影、噪声点等带来的干扰，进一步地根据所述MSCN空间域特征、差分信号空间域特征和人像轮廓空间域特征生成用以更加准确全面地表征图像信息的空间域特征向量，最后根据所述空间域特征向量和预先训练得到的人群密度检测模型，确定所述目标检测区域的人群密度检测结果，相较于传统的人群密度检测方法而言，在复杂场景下能够获得更加准确的人群密度检测结果。
附图说明
图1是本公开实施例提供的人群密度检测方法的流程示意图一；
图2是本公开实施例提供的人群密度检测方法的流程示意图二；
图3是本公开实施例提供的一种MSCN系数直方折线示意图；
图4是本公开实施例提供的人群密度检测方法的流程示意图三；
图5是本公开实施例提供的人群密度检测方法的流程示意图四；
图6a-6f是本公开实施例提供的各种图像示意图；
图7是本公开实施例提供的人群密度检测方法的流程示意图五；
图8是本公开实施例提供的人群密度检测方法的流程示意图六；
图9a-9b是本公开实施例提供的低密度人流量图像；
图9c是本公开实施例提供的高密度人流量图像；
图10a-10b是本公开实施例提供的各空间域特征随着时间流动而变化的示意图；
图11a-11b是本公开实施例提供的六维特征散点位置示意图。
具体实施方式
在下文中将参考附图更充分地描述示例实施例，但是所述示例实施例可以以不同形式来体现且不应当被解释为限于本文阐述的实施例。反之，提供这些实施例的目的在于使本公开透彻和完整，并将使本领域技术人员充分理解本公开的范围。
如本文所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。
本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由……制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或其群组。
本文所述实施例可借助本公开的理想示意图而参考平面图和/或截面图进行描述。因此，可根据制造技术和/或容限来修改示例图示。因此，实施例不限于附图中所示的实施例，而是包括基于制造工艺而形成的配置的修改。因此，附图中例示的区具有示意性属性，并且图中所示区的形状例示了元件的区的具体形状，但并不旨在是限制性的。
除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。
现有技术中采用的人群密度检测方法，均仅在室内等开放场所具有较好的检测效果，并未考虑到室外雨雪天气等复杂场景，故而在这些复杂场景下人群密度检测的准确率较低，无法很好地起到预防安全事故的作用。有鉴于此，本公开实施例提出，要想在室外雨雪天气等复杂场景下也能获得较为准确的人群密度检测结果，就需要至少部分消除背景图像、大块阴影、噪声点等带来的干扰，那么首先可以提取出前景图像，以初步减少背景图像带来的干扰，再提取出前景图像的空间域特征，如MSCN(Mean Subtracted ContrastNormalized，平均减对比度归一化)空间域特征、差分信号空间域特征和人像轮廓空间域特征，更准确全面地表征图像信息且更有效地消除大块阴影和微小噪声点带来的影响，最后将这些空间域特征输入预先利用样本图像的空间域特征训练得到的人群密度检测模型，以输出人群密度检测结果。
相应的，如图1所示，本公开实施例提供一种人群密度检测方法，所述方法可以包括如下步骤：
在步骤S11中，根据目标检测区域的监控图像序列确定出前景图像；
在步骤S12中，从所述前景图像中提取出平均减对比度归一化MSCN空间域特征、差分信号空间域特征和人像轮廓空间域特征；
在步骤S13中，根据所述MSCN空间域特征、差分信号空间域特征和人像轮廓空间域特征生成空间域特征向量；
在步骤S14中，根据所述空间域特征向量和预先训练得到的人群密度检测模型，确定所述目标检测区域的人群密度检测结果。
其中，监控图像序列即监控设备连续对目标检测区域进行拍摄所得到的多帧图像，前景图像即提取出的包含人物主体的图像，人群密度检测结果可以是高密度或低密度。
本公开实施例提供的人群密度检测方法，通过根据目标检测区域的监控图像序列确定出前景图像，以初步减少背景图像带来的干扰，进一步地从所述前景图像中提取出平均减对比度归一化MSCN空间域特征、差分信号空间域特征和人像轮廓空间域特征，减少了背景图像、大块阴影、噪声点等带来的干扰，进一步地根据所述MSCN空间域特征、差分信号空间域特征和人像轮廓空间域特征生成用以更加准确全面地表征图像信息的空间域特征向量，最后根据所述空间域特征向量和预先训练得到的人群密度检测模型，确定所述目标检测区域的人群密度检测结果，相较于传统的人群密度检测方法而言，在复杂场景下能够获得更加准确的人群密度检测结果。
在一些实施例中，如图2所示，所述从所述前景图像中提取出MSCN空间域特征(即步骤S12中所述)可以包括如下步骤：
在步骤S21中，根据所述前景图像的灰度值局部均值和灰度值局部标准差，计算出所述前景图像的MSCN系数信息；
在步骤S22中，根据所述MSCN系数信息计算所述MSCN空间域特征。
其中，前景图像中的每一个像素均具有相应的MSCN系数，故而MSCN系数信息为多个MSCN系数所构成的矩阵。
在一些实施例中，可以利用如下公式从所述前景图像中提取出MSCN空间域特征：
在上述公式(1)-(8)中，γ和Φ即为MSCN空间域特征，μ(i,j)和σ(i,j)分别为前景图像的灰度值局部均值和灰度值局部标准差，通常情况下A＝B＝2，i∈{1,2,3，……M1}，j∈{1,2,3，……N1}，M1和N1分别为所述前景图像的像素高度(也就是纵向上的像素总数量)和像素宽度(也就是横向上的像素总数量)，I(i,j)为所述前景图像中第i*j个像素的灰度值，MSCN(i,j)为所述前景图像中第i*j个像素的MSCN系数， 表示拟合图像，和分别为所述拟合图像的像素高度和像素宽度(实际上)，Φ为标准差，Ω为均值，C为大于0的常数，C的取值可以趋近于零，大面积同色系建筑物的灰度值局部标准差σ(i,j)可能趋近于0，C的作用是避免分母无限趋于0导致MSCN系数不稳定。
应用一个非线性操作减去图像局部均值和归一化图像局部方差，可以有效地减少图像背景与纹理的相关性，将这种方法应用于图像灰度信息时，该非线性操作可以被定义为上述公式(1)。在公式(1)和公式(2)中，ωa,b是一个二维标准化的高斯函数生成的加权系数，在实际应用中，A＝B＝2。应用公式(3)得到的MSCN系数具有特有的统计特性并且易被尖锐噪声因素所改变，进一步的，利用公式(4)-(8)可以通过量化尖锐噪声等干扰来预测人群拥堵，考虑到MSCN系数有局部去均值化处理，也即在公式(3)中每个像素的μ(i,j)与σ(i,j)之间都做了差值处理，因此已经进行了去均值化处理，如图3所示，为本公开实施例提供的一种MSCN系数直方折线示意图，对MSCN系数信息中的每一MSCN系数进行归一化处理，直观地展现低密度人群图像和高密度人群图像的MSCN系数对比情况，从图3中也可以看出，MSCN系数具有对称属性不存在偏移，因此使用零均值的广义高斯分布对系数进行拟合，然后提取特征γ。具体的，首先计算公式(1)-(3)以便得到拟合图像再计算公式(4)-(5)以便得到Φ和Ω，再把Φ和Ω代入公式(6)-(8)，计算得到γ。
图像中的梯度变化是判断图像是否清晰的重要信息，因此可以对图像的一阶导数即差分信号进行分析以便提取图像特征。计算水平方向和竖直方向的差分信号，提取出统计特征，可以对可见光下的、压缩的JPEG图像进行质量检测，本公开实施例提出，该方法对于人群密度检测同样敏感，计算出差分信号的评价指标，能够有效地辅助人群密度检测。
在一些实施例中，所述差分信号空间域特征包括块边界平均梯度、块内平均差分绝对值以及过零率提取特征；如图4所示，所述从所述前景图像中提取出差分信号空间域特征(即步骤S12中所述)可以包括如下步骤：
在步骤S31中，计算所述前景图像的差分信号矩阵和所述过零率提取特征；
在步骤S32中，根据所述差分信号矩阵计算所述块边界平均梯度；
在步骤S33中，根据所述差分信号矩阵和所述块边界平均梯度计算所述块内平均差分绝对值。
在一些实施例中，可以利用如下公式从所述前景图像中提取出差分信号空间域特征：
在上述公式(9)-(13)中，dK(i,j)为所述前景图像的差分信号矩阵，i∈{1,2,3，……M}，j∈{1,2,3，……N}，M和N分别为所述前景图像的像素高度和像素宽度，K＝1时表示第一预设方向，d1(i,j)为所述前景图像在第一预设方向上的差分信号矩阵，K＝2时表示第二预设方向，d2(i,j)为所述前景图像在第二预设方向上的差分信号矩阵，Z为所述过零率提取特征，B为所述块边界平均梯度，A为所述块内平均差分绝对值。第一预设方向可以为水平方向与竖直方向中的其一而第二预设方向可以为另一。
上述公式(9)为前景图像在水平方向上的和在竖直方向上的差分信号矩阵，差分信号的特征主要体现在差分信号的活跃度，随着图像质量降低，其活跃度逐渐降低，随着图像中人流量的减少，活跃度也逐渐降低，通过公式(11)和(12)，对前景图像的差分信号进行分块处理，将水平方向上的或竖直方向上的每3个像素作为一个图像分块，分别计算两个方向上的块边界平均梯度和块内平均差分绝对值，块边界平均梯度作为图像的整体活跃度，块内平均差分绝对值作为图像分块的活跃度。除此之外，计算差分信号的过零率提取特征，体现前景图像的背景区域的变化过渡情况。最终利用公式(13)来对两个方向上的特征取平均值作为差分信号空间域特征(A,B,Z)。
提取前景图像能够有效减少背景图像带来的干扰，但仍有部分噪声未被过滤，如人像阴影、树叶等等，有鉴于此，本公开实施例提出，可以对前景图像进行二值化处理和形态学处理，以有效减少噪声影响，提取人像轮廓。
在一些实施例中，如图5所示，所述从所述前景图像中提取出人像轮廓空间域特征(即步骤S12中所述)可以包括如下步骤：
在步骤S41中，对所述前景图像进行二值化处理，以提取出第一轮廓图像；
在步骤S42中，对所述第一轮廓图像进行形态学腐蚀处理、形态学膨胀还原处理和差值处理，以提取出第二轮廓图像；
在步骤S43中，对所述第二轮廓图像进行加和处理，以提取出所述人像轮廓空间域特征。
在一些实施例中，可以利用如下公式对所述前景图像进行二值化处理，以提取出第一轮廓图像：
以及，可以利用如下公式对所述第二轮廓图像进行加和处理，以提取出所述人像轮廓空间域特征：
其中，I(i,j)为所述前景图像中第i*j个像素的灰度值，Ihuman(i,j)为所述第二轮廓图像中第i*j个像素的灰度值，i∈{1,2,3，……M1}，j∈{1,2,3，……N1}，M1和N1分别为所述前景图像的像素高度和像素宽度；S为所述人像轮廓空间域特征。
利用公式(14)对前景图像进行二值化处理，得到第一轮廓图像Ihuman(i,j)，然后确定出第一轮廓图像中的大块噪声如大块阴影，使用半径为2个像素的圆盘形结构元对第一轮廓图像进行形态学腐蚀后，使用半径为2个像素的圆盘形结构元对提取到的阴影区域进行形态学膨胀还原，获得图像Ishadow(i,j)。将IBinary(i,j)与Ishadow(i,j)进行差值处理，消除大块噪声的影响。再使用半径为1个像素的圆盘形结构元对差值处理后的图像进行形态学腐蚀，消除小块噪声(如密集树叶区域)的影响。
如图6a所示为本公开实施例提供的前景图像的示意图，如图6b所示为本公开实施例提供的第一轮廓图像的示意图，IBinary(i,j),如图6c所示为本公开实施例提供的第二轮廓图像Ihuman(i,j)的示意图。对第二轮廓图像进行加和处理，提取到人像轮廓空间域特征S。最终，生成六维的空间域特征向量SpatROI＝(γ,Φ,A,B,Z,S)。
在提取空间域特征之前，首先需要对图像进行预处理操作。相应的，在一些实施例中，如图7所示，所述根据目标检测区域的监控图像序列确定出前景图像(即步骤S11)可以包括如下步骤：
在步骤S51中，对所述监控图像序列进行预处理，以获取预处理图像序列；
在步骤S52中，根据所述预处理图像序列确定出背景图像，以及从所述预处理图像序列中确定出待检测图像；
在步骤S53中，对所述背景图像和所述待检测图像进行差值处理，以获取所述前景图像。
在一些实施例中，如图8所示，所述对所述监控图像序列进行预处理，以获取预处理图像序列(即步骤S51)可以包括如下步骤：
在步骤S61中，按照预设的帧间间隔从所述监控图像序列中获取多个监控图像；
在步骤S62中，将所述多个监控图像转换为灰度图像；
在步骤S63中，对转换后的所述多个监控图像进行压缩处理，以获取所述预处理图像序列。
由于现有的监控图像序列的帧数通常较大，单帧间的动态差又较小，为了提高检测效率，可以隔帧提取图像，即每隔一定的帧间间隔提取一帧图像，为了进一步提高检测效率，还可以对提取出来的多个监控图像进行灰度转换，并对转换后的灰度图像进行压缩处理。例如，某一监控图像序列共计1000帧，首先按照10帧的帧间间隔从1000帧中提取得到100帧，再将这100帧中的每一帧均进行灰度转换，最后对转换得到的100帧灰度图像压缩至0.5倍。
在一些实施例中，可以利用如下公式来根据所述预处理图像序列确定出背景图像：
在公式(16)中，Io(i,j)为预处理图像序列，i∈{1,2,3，……M0}，j∈{1,2,3，……N0}，M0和N0分别为预处理图像的像素高度和像素宽度，m为预处理图像序列中的图像总数量，Iback(i,j)为背景图像。待检测图像为预处理图像序列中的一帧，将背景图像和待检测图像进行差值处理，即可得到前景图像。提取前景图像的步骤，可以减少背景图像带来的干扰，同时也能提高后续检测速度。
如图6d所示为本公开实施例提供的监控图像的示意图，如图6e所示为本公开实施例提供的背景图像的示意图,如图6f所示为本公开实施例提供的前景图像的示意图。
预先训练得到的人群密度检测模型，其类型可以为SVM(Support VectorMachine，支持向量机)模型，这是一个典型的二分类模型，能够输出两种结果中的一种。通过为样本图像标注人群密度分类结果(即高密度还是低密度)，再将样本图像划分为训练集、测试集，使用训练集、测试集来对初始SVM模型进行训练，直至得到准确率满足要求的人群密度检测模型。
在一些实施例中，所述人群密度检测模型的类型为SVM模型，所述人群密度检测结果为高密度标识或低密度标识。
其中，高密度标识可以为“+1”，低密度标识可以为“-1”。
对样本图像进行人群密度分类，可以是利用线性核函数C-SVC来进行的，即K(Xi*x)＝(Xi*x)＝Xi Tx
建立一个包括人群流动视频帧序列的数据库，该序列共计13945帧图像，分辨率为360*360。如图9a和图9b所示为低密度人流量图像的示意，如图9c所示为高密度人流量图像的示意。从该序列中提取1216帧图像，用以提取出前景图像，对其他12729帧图像按照顺序进行空间域特征提取，如图10a和10b所示，示出了各空间域特征随着时间流动而变化的情况(为了使曲线描绘更加清晰，空间域特征经过标准化和梯度加权处理)，从中随机显示部分极值位置和实际图片情况的对应关系，可以看出这6种空间域特征均能体现人群密度情况。从数据库中选取1500张低密度人流量图像和500张高密度人流量图像进行实验，其中1200张低密度人流量图像和400张高密度人流量图像用于训练，300张低密度人流量图像和100张高密度人流量图像用于测试。在硬件环境为Intel(R)CORE(TM)i5-6200U@2.30GHz笔记本电脑、语言环境为Matlab R2015a的实验条件下，算法训练集准确度为99.9394％，测试集准确率为99.75％，平均单张视频帧图像处理时长为22.52ms。由此可见，本发明实施例提供的人群密度检测方法在准确度和时间效率方面均有很好的表现。除此之外，如图11a和图11b所示，将提取到的六维特征进行比较展示，每三维一组，可以看出，高密度人群的特征散点位置与低密度人群的特征散点位置明显不同，二者之间的特征差异较大，能够比较清晰的聚类成两类别。
此外，本公开实施例还提供一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前所述的人群密度检测方法。
此外，本公开实施例还提供一种计算机存储介质，其上存储有计算机程序，其中，所述程序被执行时实现如前所述的人群密度检测方法。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
本文已经公开了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而易见的是，除非另外明确指出，否则可单独使用与特定实施例相结合描述的特征、特性和/或元素，或可与其他实施例相结合描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离由所附的权利要求阐明的本公开的范围的情况下，可进行各种形式和细节上的改变。
Claims (10)
1.一种人群密度检测方法，其特征在于，所述方法包括：
根据目标检测区域的监控图像序列确定出前景图像；
从所述前景图像中提取出平均减对比度归一化MSCN空间域特征、差分信号空间域特征和人像轮廓空间域特征；
根据所述MSCN空间域特征、差分信号空间域特征和人像轮廓空间域特征生成空间域特征向量；
根据所述空间域特征向量和预先训练得到的人群密度检测模型，确定所述目标检测区域的人群密度检测结果。
2.根据权利要求1所述的方法，其特征在于，所述从所述前景图像中提取出MSCN空间域特征包括：
根据所述前景图像的灰度值局部均值和灰度值局部标准差，计算出所述前景图像的MSCN系数信息；
根据所述MSCN系数信息计算所述MSCN空间域特征。
3.根据权利要求1所述的方法，其特征在于，所述差分信号空间域特征包括块边界平均梯度、块内平均差分绝对值以及过零率提取特征；所述从所述前景图像中提取出差分信号空间域特征包括：
计算所述前景图像的差分信号矩阵和所述过零率提取特征；
根据所述差分信号矩阵计算所述块边界平均梯度；
根据所述差分信号矩阵和所述块边界平均梯度计算所述块内平均差分绝对值。
4.根据权利要求1所述的方法，其特征在于，所述从所述前景图像中提取出人像轮廓空间域特征包括：
对所述前景图像进行二值化处理，以提取出第一轮廓图像；
对所述第一轮廓图像进行形态学腐蚀处理、形态学膨胀还原处理和差值处理，以提取出第二轮廓图像；
对所述第二轮廓图像进行加和处理，以提取出所述人像轮廓空间域特征。
5.根据权利要求1-4中任一项所述的方法，其特征在于，所述根据目标检测区域的监控图像序列确定出前景图像包括：
对所述监控图像序列进行预处理，以获取预处理图像序列；
根据所述预处理图像序列确定出背景图像，以及从所述预处理图像序列中确定出待检测图像；
对所述背景图像和所述待检测图像进行差值处理，以获取所述前景图像。
6.根据权利要求5所述的方法，其特征在于，所述对所述监控图像序列进行预处理，以获取预处理图像序列包括：
按照预设的帧间间隔从所述监控图像序列中获取多个监控图像；
将所述多个监控图像转换为灰度图像；
对转换后的所述多个监控图像进行压缩处理，以获取所述预处理图像序列。
7.根据权利要求1-4中任一项所述的方法，其特征在于，所述人群密度检测模型的类型为支持向量机SVM模型，所述人群密度检测结果为高密度标识或低密度标识。
8.一种人群密度检测装置，其特征在于，所述装置包括：
前景图像确定模块，用于根据目标检测区域的监控图像序列确定出前景图像；
特征提取模块，用于从所述前景图像中提取出平均减对比度归一化MSCN空间域特征、差分信号空间域特征和人像轮廓空间域特征；
向量生成模块，用于根据所述MSCN空间域特征、差分信号空间域特征和人像轮廓空间域特征生成空间域特征向量；
检测模块，用于根据所述空间域特征向量和预先训练得到的人群密度检测模型，确定所述目标检测区域的人群密度检测结果。
9.一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-7任一项所述的人群密度检测方法。
10.一种计算机存储介质，其上存储有计算机程序，其中，所述程序被执行时实现如权利要求1-7任一项所述的人群密度检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210926678.7A CN116012768B (zh) | 2022-08-03 | 2022-08-03 | 人群密度检测方法、装置、电子设备及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210926678.7A CN116012768B (zh) | 2022-08-03 | 2022-08-03 | 人群密度检测方法、装置、电子设备及计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116012768A true CN116012768A (zh) | 2023-04-25 |
| CN116012768B CN116012768B (zh) | 2024-03-01 |
Family
ID=86034092
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210926678.7A Active CN116012768B (zh) | 2022-08-03 | 2022-08-03 | 人群密度检测方法、装置、电子设备及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116012768B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117253184A (zh) * | 2023-08-25 | 2023-12-19 | 燕山大学 | 一种雾先验频域注意表征引导的雾天图像人群计数方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103049765A (zh) * | 2012-12-21 | 2013-04-17 | 武汉经纬视通科技有限公司 | 一种基于鱼眼相机的判断人群密度和人数的方法 |
| CN103577832A (zh) * | 2012-07-30 | 2014-02-12 | 华中科技大学 | 一种基于时空上下文的人流量统计方法 |
| CN104504394A (zh) * | 2014-12-10 | 2015-04-08 | 哈尔滨工业大学深圳研究生院 | 一种基于多特征融合的密集人数估计方法和系统 |
| CN105809092A (zh) * | 2014-12-30 | 2016-07-27 | 深圳中兴力维技术有限公司 | 人群目标检测方法及其装置 |
-
2022
- 2022-08-03 CN CN202210926678.7A patent/CN116012768B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103577832A (zh) * | 2012-07-30 | 2014-02-12 | 华中科技大学 | 一种基于时空上下文的人流量统计方法 |
| CN103049765A (zh) * | 2012-12-21 | 2013-04-17 | 武汉经纬视通科技有限公司 | 一种基于鱼眼相机的判断人群密度和人数的方法 |
| CN104504394A (zh) * | 2014-12-10 | 2015-04-08 | 哈尔滨工业大学深圳研究生院 | 一种基于多特征融合的密集人数估计方法和系统 |
| CN105809092A (zh) * | 2014-12-30 | 2016-07-27 | 深圳中兴力维技术有限公司 | 人群目标检测方法及其装置 |
Non-Patent Citations (1)
| Title |
|---|
| 周艳等: "视频前景多特征融合的人群密度分析", 地理信息世界, vol. 26, no. 1, pages 41 - 47 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117253184A (zh) * | 2023-08-25 | 2023-12-19 | 燕山大学 | 一种雾先验频域注意表征引导的雾天图像人群计数方法 |
| CN117253184B (zh) * | 2023-08-25 | 2024-05-17 | 燕山大学 | 一种雾先验频域注意表征引导的雾天图像人群计数方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116012768B (zh) | 2024-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Davis et al. | A two-stage template approach to person detection in thermal imagery | |
| Hou et al. | People counting and human detection in a challenging situation | |
| Chan et al. | Privacy preserving crowd monitoring: Counting people without people models or tracking | |
| Li et al. | Robust people counting in video surveillance: Dataset and system | |
| Kumar et al. | An efficient approach for detection and speed estimation of moving vehicles | |
| KR101433472B1 (ko) | 상황 인식 기반의 객체 검출, 인식 및 추적 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 | |
| CN103218816A (zh) | 一种基于视频分析的人群密度估计方法与人流量统计方法 | |
| Naufal et al. | Preprocessed mask RCNN for parking space detection in smart parking systems | |
| CN110728252A (zh) | 一种应用于区域人员运动轨迹监控的人脸检测方法 | |
| Kong et al. | Blind image quality prediction for object detection | |
| CN116012768B (zh) | 人群密度检测方法、装置、电子设备及计算机存储介质 | |
| Beghdadi et al. | Towards the design of smart video-surveillance system | |
| Chaudhari et al. | A study on crowd detection and density analysis for safety control | |
| Kumar et al. | Traffic surveillance and speed limit violation detection system | |
| CN105740819A (zh) | 一种基于整数规划的人群密度估计方法 | |
| Mantini et al. | Camera Tampering Detection using Generative Reference Model and Deep Learned Features. | |
| Pratomo et al. | Parking detection system using background subtraction and HSV color segmentation | |
| CN105989615A (zh) | 一种基于多特征融合的行人跟踪方法 | |
| Dong et al. | Crowd Density Estimation Using Sparse Texture Features. | |
| CN111160150A (zh) | 基于深度残差神经网络卷积的视频监控人群行为的识别方法 | |
| Lagorio et al. | Automatic detection of adverse weather conditions in traffic scenes | |
| Mangal et al. | Real time moving object detection for video surveillance based on improved GMM | |
| Singh et al. | Estimation of crowd density by counting objects | |
| Khan et al. | Multiple moving vehicle speed estimation using Blob analysis | |
| Mahin et al. | A simple approach for abandoned object detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |