CN107066963A - 一种自适应人群计数方法 - Google Patents
一种自适应人群计数方法 Download PDFInfo
- Publication number
- CN107066963A CN107066963A CN201710232164.0A CN201710232164A CN107066963A CN 107066963 A CN107066963 A CN 107066963A CN 201710232164 A CN201710232164 A CN 201710232164A CN 107066963 A CN107066963 A CN 107066963A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- mtd
- frame
- mtr
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 15
- 238000001514 detection method Methods 0.000 claims abstract description 84
- 238000007500 overflow downdraw method Methods 0.000 claims abstract description 11
- 239000004576 sand Substances 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 5
- 238000007689 inspection Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种自适应人群计数方法。首先使用累计积分特征行人检测器进行行人检测，来获得大量的检测候选框，然后对获得的候选框进行预处理，接下来本文提取各个预处理后的候选框的空间，时间以及颜色特征；基于这些特征，本发明用狄迪克雷混合模型和吉布斯采样理论来对候选框进行聚类；通过这种方式，来获得人群团块的区域；接下来，本文使用基于角点的人群计数方法来对每个人群团块区域进行人群初步计数；通过计数结果与特征点的关系，本发明判断人群密度，针对不同密度，本文选取不同的数据融合方法，来提高计数结果的准确性。本发明方法提高了人群计数检测的稳定性和精确性。
Description
技术领域
本发明属于计算机视觉、数字图像处理领域，具体涉及一种自适应人群计数方法。
背景技术
随着社会的发展和技术的进步，智能视频监控技术在越来越多的领域起到至关重要的作用，而人群计数作为智能视频监控中至关重要的一环，所谓人群计数就是通过读取图片或者视频帧，得出当前帧或者图片中一共有多少人。
当前人群计数方法主要分为两大类：直接法和间接法。
直接法也叫基于检测的方法，主要通过使用不同的检测模型，将一个个行人个体检测分割出来，来实现人群计数。在低密度时，主要采用基于人体的行人检测模型；在中高密度时，遮挡问题严重，所以主要采用基于头加肩膀(Ω)区域的行人检测模型，又或者基于人头的行人检测模型。
间接法，也叫基于回归的方法，主要通过提取人群的不同特征，通过训练等方法，得到特征与人数的映射关系，以此来实现人群计数。常用于人群计数的特征主要有前景面积，纹理特征，又或者角点特征等。
直接方法最大的优点就是鲁棒性强，在低密度场景下，有着不可取代的优越性。但当密度增大时，由于遮挡等问题，人体的表达特征受到破坏，行人不能得到很好的检测分割，使得性能大幅度下降。间接法最明显的优点在于中高密度时，相对直接法有着更高的准确度。但在低密度使用间接法，相较于直接法，有着不必要的复杂度和高成本。
可以看到，直接法和间接法分别适用于低密度与高密度，但在另一个密度效果较差。
本文的自适应人群计数法，结合了直接法和间接法的优点，实现一套系统，低密度高密度皆能实现准确鲁棒计数。
发明内容
本发明的目的在于提供一种自适应人群计数方法，该方法提高了人群计数检测的稳定性和精确性。
为实现上述目的，本发明的技术方案是：一种自适应人群计数方法，包括如下步骤，
S1、采用行人检测器对输入的视频帧序列的视频帧进行行人检测，获得检测候选框；
S2、对获得的检测候选框进行预处理，获得特征点，并提取各个预处理后的检测候选框的空间、时间以及颜色特征；
S3、根据检测候选框的空间、时间以及颜色特征，对检测候选框进行聚类，获得人群团块区域；
S4、采用基于角点的人群计数方法来对每个人群团块区域进行人群初步计数；
S5、通过计数结果与特征点数量的关系进行密度估计；
S6、针对不同密度，选取不同的数据融合方法，完成人群计数。
在本发明一实施例中，所述步骤S1中，采用的行人检测器为基于累计积分特征的行人检测器。
在本发明一实施例中，所述步骤S2中，对检测候选框进行预处理的实现过程为：(1)设定阈值，过滤面积大于阈值的检测候选框；(2)建立当前帧与其前后帧光流图，将前后帧的检测候选框都映射到当前帧，同时获得特征点。
在本发明一实施例中，所述步骤S3中采用狄迪克雷混合模型何吉布斯采样理论对检测候选框进行聚类，具体实现过程如下：
在狄迪克雷混合模型参数θk下，检测候选框Xn是由类k产生的可能性由公式(1)给出：
而后，通过吉布斯采样理论进行数据采样，如下公式(2)：
其中，N是获得的所有检测候选框数目，Nk是被分配到类k的检测候选窗数目，其中a控制着采样的概率，其值的大小与模型生成的类的多少成正相关；
由上述过程，完成检测候选框的聚类，即获得人群团块区域。
在本发明一实施例中，所述步骤S4，具体实现过程如下：
根据步骤S3获得的人群团块区域，通过公式(3)来计算每个类内的人数：
其中，pk是在类k内总的特征点数，而是组成类k的检测候选窗的平均特征点数，即可进行人群初步计数。
在本发明一实施例中，所述步骤S5，具体实现过程如下：
将特征点数量进行最大最小归一化，公式如下
X*是正则化后的数据，X指的是输入的数据，即特征点数量，max和min表示输入输出数据的最大值和最小值；
而后计算相邻视频帧的梯度，
其中，Kfn表示第n帧特征点数的梯度，Fn+s和Fn分别是第(n+s)帧和第n帧的特征点数；Kcn表示第n帧的初始计数结果的梯度，Cn+s和Cn分别是第(n+s)帧和第n帧的计数结果；N表示总帧数；
利用特征点数和计数结果的梯度对照，找到高密度的帧区间；
其中，Fs表示高密度帧区间开始的时候，Fe表示高密度帧区间结束的时候；如果Fs不存在或者Fs和Fe直接距离小于s，则意味着该视频帧序列里无高密度帧。
在本发明一实施例中，所述步骤S6，具体实现过程如下：
根据步骤S5进行密度估计后得到高密度区间，由此针对不同密度，采用如下数据融合方法：
针对低密度的帧，进行三帧平均融合的方式；
针对高密度的帧，采用回归模型，利用初始计数结果以及行人检测输出的检测结果置信度，进行基于上下帧的数据融合，如公式
f(xn)＝c0+c1fn-1Xn-1+c2fnXn+c3fn+1Xn+1 (8)
其中，f(xn)是融合过后的检测结果，fn表示第n帧中所有检测候选框的平均置信度，Xn表示第n帧的计数结果，c0、c1、c2、c3是回归模型的系数。
相较于现有技术，本发明具有以下有益效果：
1、现有的人群计数方法一般只针对高密度或者低密度，而本方法在高低密度都有很好的效果；
首先，本文利用了ACF行人检测器，该检测器因为利用更多特征，所以检测效果更鲁棒精确；而DPMMS聚类算法将人群划分为一个个团块，针对团块进行数人效果更好；最重要的，本文提出的基于特征点数量和人群数量相关性的估计人群密度的方法，将高低密度人群区分开，针对不同密度使用不同数据融合方法，提高了精度；
2、现有的利用角点进行人群计数的方法一般需要进行视角失真纠正，本发明方法则不需要，扩大了本方法使用范围；
基于角点进行人群计数需要进行视角失真纠正，也就是根据摄像头远近不同，需要做某种变换将特征点映射到同一尺度空间；本文使用的检测与聚类结合的方法，使用的是聚类后每个类内总的角点数与检测框平均角点数的商，则避免了需要做视角失真纠正。
附图说明
图1为本发明方法流程图。
具体实施方式
下面结合附图，对本发明的技术方案进行具体说明。
本发明的一种自适应人群计数方法，包括如下步骤，
S1、采用行人检测器对输入的视频帧序列的视频帧进行行人检测，获得检测候选框；
S2、对获得的检测候选框进行预处理，获得特征点，并提取各个预处理后的检测候选框的空间、时间以及颜色特征；
S3、根据检测候选框的空间、时间以及颜色特征，对检测候选框进行聚类，获得人群团块区域；
S4、采用基于角点的人群计数方法来对每个人群团块区域进行人群初步计数；
S5、通过计数结果与特征点数量的关系进行密度估计；
S6、针对不同密度，选取不同的数据融合方法，完成人群计数。
所述步骤S1中，采用的行人检测器为基于累计积分特征的行人检测器。
所述步骤S2中，对检测候选框进行预处理的实现过程为：(1)设定阈值，过滤面积大于阈值的检测候选框；(2)建立当前帧与其前后帧光流图，将前后帧的检测候选框都映射到当前帧，同时获得特征点。
所述步骤S3中采用狄迪克雷混合模型何吉布斯采样理论对检测候选框进行聚类，具体实现过程如下：
在狄迪克雷混合模型参数θk下，检测候选框Xn是由类k产生的可能性由公式(1)给出：
而后，通过吉布斯采样理论进行数据采样，如下公式(2)：
其中，N是获得的所有检测候选框数目，Nk是被分配到类k的检测候选窗数目，其中a控制着采样的概率，其值的大小与模型生成的类的多少成正相关；
由上述过程，完成检测候选框的聚类，即获得人群团块区域。
在本发明一实施例中，所述步骤S4，具体实现过程如下：
根据步骤S3获得的人群团块区域，通过公式(3)来计算每个类内的人数：
其中，pk是在类k内总的特征点数，而是组成类k的检测候选窗的平均特征点数，即可进行人群初步计数。
所述步骤S5，具体实现过程如下：
将特征点数量进行最大最小归一化，公式如下
X*是正则化后的数据，X指的是输入的数据，即特征点数量，max和min表示输入输出数据的最大值和最小值；
而后计算相邻视频帧的梯度，
其中，Kfn表示第n帧特征点数的梯度，Fn+s和Fn分别是第(n+s)帧和第n帧的特征点数；Kcn表示第n帧的初始计数结果的梯度，Cn+s和Cn分别是第(n+s)帧和第n帧的计数结果；N表示总帧数；
利用特征点数和计数结果的梯度对照，找到高密度的帧区间；
其中，Fs表示高密度帧区间开始的时候，Fe表示高密度帧区间结束的时候；如果Fs不存在或者Fs和Fe直接距离小于s，则意味着该视频帧序列里无高密度帧。
所述步骤S6，具体实现过程如下：
根据步骤S5进行密度估计后得到高密度区间，由此针对不同密度，采用如下数据融合方法：
针对低密度的帧，进行三帧平均融合的方式；
针对高密度的帧，采用回归模型，利用初始计数结果以及行人检测输出的检测结果置信度，进行基于上下帧的数据融合，如公式
f(xn)＝c0+c1fn-1Xn-1+c2fnXn+c3fn+1Xn+1 (8)
其中，f(xn)是融合过后的检测结果，fn表示第n帧中所有检测候选框的平均置信度，Xn表示第n帧的计数结果，c0、c1、c2、c3是回归模型的系数。
以下为本发明的具体实现过程。
本发明首先使用累计积分特征行人检测器进行行人检测，来获得大量的检测候选框，然后对获得的候选框进行预处理，接下来本文提取各个预处理后的候选框的空间，时间以及颜色特征。基于这些特征，本发明用狄迪克雷混合模型和吉布斯采样理论来对候选框进行聚类。通过这种方式，来获得人群团块的区域。接下来，本文使用基于角点的人群计数方法来对每个人群团块区域进行人群初步计数。通过计数结果与特征点的关系，本发明判断人群密度，针对不同密度，本文选取不同的数据融合方法，来提高计数结果的准确性。
下面结合附图对本发明的实施过程作进一步的说明。
如附图1，是本发明方法的流程图，包括：
1)对视频帧进行行人检测；
2)对检测器输出候选框做筛选；
3)提取空间时间颜色特征进行聚类；
4)对类使用基于角点的人群计数方法进行计数；
5)根据计数结果与特征点数量关系进行密度估计；
6)根据不同密度选取不同数据融合方法；
根据以上的内容，下面详细说明具体的实施过程：
首先，要利用基于累计积分特征(ACF)的行人检测器，对输入的视频帧进行行人检测。复杂背景下的行人检测一直是一个难点，本发明采用的ACF行人检测器使用：归一化的梯度值；梯度直方图；LUV颜色分量作为特征。然后将提取的特征结合Adaboost框架，训练出一个分类器，实现行人检测。因为ACF行人检测器综合了更多的特征而不需要损失太多性能，所以ACF行人检测器相对于其他行人检测器能更好的进行精准鲁棒的行人检测。
不论多先进的检测算法都有不连续的输出，这里主要通过三种方法降低误检率和漏检率。
为了降低误检率。本文首先通过高斯混合模型(GMMs,Gaussian Mixture Models)来对背景进行建模，从而得到每个像素的前景可能性值。以此进行阈值分割来去去除未包含前景目标的检测窗。初次以外，本文还通过阈值分割去除掉，高度大于规定门限的候选窗，来去除过大的检测候选窗。
为了降低漏检率，本文通过建立前一帧与当前帧，以及后一帧与当前帧的光流图，来将前后帧的检测候选窗都映射到当前帧，来降低漏检率。
狄迪克雷混合模型是一种无监督聚类方法。它可以在不知道类的数量的前提下，进行无监督聚类。这有别于一些传统的聚类算法，比如K-Menas就需要提前定义类的数量。
对经过预处理的检测候选框，我们提取以下特征：(1)检测框的空间中心(2)在Lab颜色空间中的a和b的前景颜色分量(3)方向光流直方图。综合以上的时间，空间以及颜色特征，检测候选框可以被更好的聚类。在参数θk下，检测候选框Xn是由类k产生的可能性由公式(1)给出：
其中Xn代表检测候选框，θk代表混合模型的参数。本文通过吉布斯采样来进行数据采样，如下公式(2)：
其中N是获得的所有检测候选框，Nk是被分配到类k的检测候选窗数目，其中a控制着采样的概率，越大的值将使模型生成更多的类，反之亦然。这里的a值通过训练得出，本文选取每15帧进行训练，得出最佳的α值。
通过上面的步骤，本文将候选检测框聚成一个个类。我们知道，如果多个检测框包含同一个人，那这些检测框里面的特征点数量几乎是一致的，并且如果一个类里面包含多个人，那这个类将有更多的特征点。所以本文用如下的公式(3)来计算每个类内的人数：
在这里pk是在类k内总的特征点数，而是组成类k的检测候选窗的平均特征点数。通过这种方法，就能鲁棒的进行人群计数了。
经过如上的步骤，本发明得到了计数的初步结果。不同的密度的计数效果不一样。本发明方法在低密度上计数精确，而在高密度上有大量计数错误。本文接下来利用特征点数量与人数相关性，识别出帧内高低密度人群，再针对不同密度使用不同数据融合方法，实现人群计数。
本文发现，当人群密度较低时，计数方法精确，所以人群计算结果与特征点数量呈正相关，当人群密度很大时，存在大量漏检，所以虽然特征点数量增加但是计数结果却下降。利用这个，本文检测出高密度和低密度的帧。
本文首先将特征点数量进行最大最小归一化，公式如下
X*是正则化后的数据，X指的是输入的数据，即特征点数量，max和min表示输入输出数据的最大值和最小值；
而后计算相邻视频帧的梯度，
其中，表示第n帧特征点数的梯度，Fn+s和Fn分别是第(n+s)帧和第n帧的特征点数；表示第n帧的初始计数结果的梯度，Cn+s和Cn分别是第(n+s)帧和第n帧的计数结果；N表示总帧数；
利用特征点数和计数结果的梯度对照，找到高密度的帧区间。
其中Fs是高密度帧区间开始的时候，Fe是高密度帧区间结束的时候。如果Fs不存在或者Fs和Fe直接距离小于s，就意味着这段视频帧序列里面没有高密度帧。
得到了高密度区间，我们最后针对不同密度做不同的数据融合。
对于低密度进行普通的三帧平均融合(相加除以3)
对于高密度的帧，本文使用回归模型，利用初始计数结果以及行人检测输出的检测结果置信度，进行基于上下帧的数据融合，如公式
f(xn)＝c0+c1fn-1Xn-1+c2fnXn+c3fn+1Xn+1 (8)
其中，f(xn)是融合过后的检测结果，fn表示第n帧中所有检测候选框的平均置信度，Xn表示第n帧的计数结果，c0、c1、c2、c3是回归模型的系数。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。
Claims (7)
1.一种自适应人群计数方法，其特征在于：包括如下步骤，
S1、采用行人检测器对输入的视频帧序列的视频帧进行行人检测，获得检测候选框；
S2、对获得的检测候选框进行预处理，获得特征点，并提取各个预处理后的检测候选框的空间、时间以及颜色特征；
S3、根据检测候选框的空间、时间以及颜色特征，对检测候选框进行聚类，获得人群团块区域；
S4、采用基于角点的人群计数方法来对每个人群团块区域进行人群初步计数；
S5、通过计数结果与特征点数量的关系进行密度估计；
S6、针对不同密度，选取不同的数据融合方法，完成人群计数。
2.根据权利要求1所述的一种自适应人群计数方法，其特征在于：所述步骤S1中，采用的行人检测器为基于累计积分特征的行人检测器。
3.根据权利要求1所述的一种自适应人群计数方法，其特征在于：所述步骤S2中，对检测候选框进行预处理的实现过程为：(1)设定阈值，过滤面积大于阈值的检测候选框；(2)建立当前帧与其前后帧光流图，将前后帧的检测候选框都映射到当前帧，同时获得特征点。
4.根据权利要求1所述的一种自适应人群计数方法，其特征在于：所述步骤S3中采用狄迪克雷混合模型何吉布斯采样理论对检测候选框进行聚类，具体实现过程如下：
在狄迪克雷混合模型参数θk下，检测候选框Xn是由类k产生的可能性由公式(1)给出：
<mrow>
<mi>p</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>X</mi>
<mi>n</mi>
</msub>
<mo>|</mo>
<msub>
<mi>&theta;</mi>
<mi>k</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>N</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>X</mi>
<mrow>
<mi>x</mi>
<mi>y</mi>
</mrow>
</msub>
<mo>|</mo>
<msubsup>
<mi>u</mi>
<mrow>
<mi>x</mi>
<mi>y</mi>
</mrow>
<mi>k</mi>
</msubsup>
<mo>,</mo>
<msup>
<mi>&Sigma;</mi>
<mi>k</mi>
</msup>
<mi>x</mi>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mi>N</mi>
<mrow>
<mo>(</mo>
<mi>X</mi>
<mo>|</mo>
<msup>
<mi>u</mi>
<mi>k</mi>
</msup>
<mo>,</mo>
<msup>
<mi>&delta;</mi>
<mi>k</mi>
</msup>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
而后，通过吉布斯采样理论进行数据采样，如下公式(2)：
<mrow>
<mi>p</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>c</mi>
<mi>n</mi>
</msub>
<mo>;</mo>
<mi>a</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mfrac>
<msub>
<mi>N</mi>
<mi>k</mi>
</msub>
<mrow>
<mi>N</mi>
<mo>+</mo>
<mi>a</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mfrac>
<mi>p</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>X</mi>
<mi>n</mi>
</msub>
<mo>|</mo>
<msub>
<mi>&theta;</mi>
<mi>k</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>e</mi>
<mi>x</mi>
<mi>i</mi>
<mi>s</mi>
<mi>t</mi>
<mi>i</mi>
<mi>n</mi>
<mi>g</mi>
</mrow>
</mtd>
<mtd>
<mi>k</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mfrac>
<mi>a</mi>
<mrow>
<mi>N</mi>
<mo>+</mo>
<mi>a</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mfrac>
<msub>
<mo>&Integral;</mo>
<mi>&theta;</mi>
</msub>
<mi>p</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>X</mi>
<mi>n</mi>
</msub>
<mo>|</mo>
<msub>
<mi>&theta;</mi>
<mi>k</mi>
</msub>
<mo>)</mo>
</mrow>
<mi>d</mi>
<mi>&theta;</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>n</mi>
<mi>e</mi>
<mi>w</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>k</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，N是获得的所有检测候选框数目，Nk是被分配到类k的检测候选窗数目，其中a控制着采样的概率，其值的大小与模型生成的类的多少成正相关；
由上述过程，完成检测候选框的聚类，即获得人群团块区域。
5.根据权利要求4所述的一种自适应人群计数方法，其特征在于：所述步骤S4，具体实现过程如下：
根据步骤S3获得的人群团块区域，通过公式(3)来计算每个类内的人数：
<mrow>
<msub>
<mi>N</mi>
<mi>k</mi>
</msub>
<mo>=</mo>
<mfrac>
<msub>
<mi>p</mi>
<mi>k</mi>
</msub>
<mrow>
<mover>
<msub>
<mi>p</mi>
<mi>n</mi>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>&Element;</mo>
<mi>k</mi>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，pk是在类k内总的特征点数，而是组成类k的检测候选窗的平均特征点数，即可进行人群初步计数。
6.根据权利要求5所述的一种自适应人群计数方法，其特征在于：所述步骤S5，具体实现过程如下：
将特征点数量进行最大最小归一化，公式如下
<mrow>
<msup>
<mi>X</mi>
<mo>*</mo>
</msup>
<mo>=</mo>
<mfrac>
<mrow>
<mi>X</mi>
<mo>-</mo>
<mi>min</mi>
</mrow>
<mrow>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
<mo>-</mo>
<mi>min</mi>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
1
X*是正则化后的数据，X指的是输入的数据，即特征点数量，max和min表示输入输出数据的最大值和最小值；
而后计算相邻视频帧的梯度，
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>K</mi>
<msub>
<mi>f</mi>
<mi>n</mi>
</msub>
</msub>
<mo>=</mo>
<mo>&lsqb;</mo>
<mfrac>
<mrow>
<msub>
<mi>F</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mi>s</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>F</mi>
<mi>n</mi>
</msub>
</mrow>
<mi>s</mi>
</mfrac>
<mo>&rsqb;</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>n</mi>
<mo>=</mo>
<mn>1</mn>
<mo>...</mo>
<mi>N</mi>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>K</mi>
<msub>
<mi>c</mi>
<mi>n</mi>
</msub>
</msub>
<mo>=</mo>
<mo>&lsqb;</mo>
<mfrac>
<mrow>
<msub>
<mi>C</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mi>s</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>C</mi>
<mi>n</mi>
</msub>
</mrow>
<mi>s</mi>
</mfrac>
<mo>&rsqb;</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>n</mi>
<mo>=</mo>
<mn>1</mn>
<mo>...</mo>
<mi>N</mi>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，表示第n帧特征点数的梯度，Fn+s和Fn分别是第(n+s)帧和第n帧的特征点数；表示第n帧的初始计数结果的梯度，Cn+s和Cn分别是第(n+s)帧和第n帧的计数结果；N表示总帧数；
利用特征点数和计数结果的梯度对照，找到高密度的帧区间；
<mrow>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>F</mi>
<mi>s</mi>
</msub>
<mo>=</mo>
<mi>n</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>I</mi>
<mi>f</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>K</mi>
<msub>
<mi>f</mi>
<mi>n</mi>
</msub>
</msub>
<mo>></mo>
<mn>0</mn>
<mo>,</mo>
<msub>
<mi>K</mi>
<msub>
<mi>c</mi>
<mi>n</mi>
</msub>
</msub>
<mo><</mo>
<mn>0</mn>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>n</mi>
<mo>=</mo>
<mn>1</mn>
<mo>...</mo>
<mi>N</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>F</mi>
<mi>e</mi>
</msub>
<mo>=</mo>
<mi>s</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>I</mi>
<mi>f</mi>
</mrow>
</mtd>
<mtd>
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>K</mi>
<msub>
<mi>f</mi>
<mi>n</mi>
</msub>
</msub>
<mo>></mo>
<mn>0</mn>
<mo>,</mo>
<msub>
<mi>K</mi>
<msub>
<mi>c</mi>
<mi>n</mi>
</msub>
</msub>
<mo><</mo>
<mn>0</mn>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>a</mi>
<mi>n</mi>
<mi>d</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>s</mi>
<mo>-</mo>
<mi>n</mi>
<mo>&GreaterEqual;</mo>
<mn>2</mn>
</mrow>
</mtd>
</mtr>
</mtable>
</mtd>
<mtd>
<mrow>
<mi>s</mi>
<mo>=</mo>
<mi>n</mi>
<mo>...</mo>
<mi>N</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，Fs表示高密度帧区间开始的时候，Fe表示高密度帧区间结束的时候；如果Fs不存在或者Fs和Fe直接距离小于s，则意味着该视频帧序列里无高密度帧。
7.根据权利要求1或6所述的一种自适应人群计数方法，其特征在于：所述步骤S6，具体实现过程如下：
根据步骤S5进行密度估计后得到高密度区间，由此针对不同密度，采用如下数据融合方法：
针对低密度的帧，进行三帧平均融合的方式；
针对高密度的帧，采用回归模型，利用初始计数结果以及行人检测输出的检测结果置信度，进行基于上下帧的数据融合，如公式
f(xn)＝c0+c1fn-1Xn-1+c2fnXn+c3fn+1Xn+1 (8)
其中，f(xn)是融合过后的检测结果，fn表示第n帧中所有检测候选框的平均置信度，Xn表示第n帧的计数结果，c0、c1、c2、c3是回归模型的系数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710232164.0A CN107066963B (zh) | 2017-04-11 | 2017-04-11 | 一种自适应人群计数方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710232164.0A CN107066963B (zh) | 2017-04-11 | 2017-04-11 | 一种自适应人群计数方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107066963A true CN107066963A (zh) | 2017-08-18 |
| CN107066963B CN107066963B (zh) | 2019-11-12 |
Family
ID=59603290
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710232164.0A Expired - Fee Related CN107066963B (zh) | 2017-04-11 | 2017-04-11 | 一种自适应人群计数方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107066963B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108009477A (zh) * | 2017-11-10 | 2018-05-08 | 东软集团股份有限公司 | 图像的人流数量检测方法、装置、存储介质及电子设备 |
| CN108399388A (zh) * | 2018-02-28 | 2018-08-14 | 福州大学 | 一种中高密度人群数量统计方法 |
| CN109190456A (zh) * | 2018-07-19 | 2019-01-11 | 中国人民解放军战略支援部队信息工程大学 | 基于聚合通道特征和灰度共生矩阵的多特征融合俯视行人检测方法 |
| CN110705394A (zh) * | 2019-09-18 | 2020-01-17 | 广东外语外贸大学南国商学院 | 一种基于卷积神经网络的景区人群行为分析方法 |
| CN111507183A (zh) * | 2020-03-11 | 2020-08-07 | 杭州电子科技大学 | 一种基于多尺度密度图融合空洞卷积的人群计数方法 |
| CN111767881A (zh) * | 2020-07-06 | 2020-10-13 | 中兴飞流信息科技有限公司 | 一种基于ai技术的自适应人群密度估计装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103093198A (zh) * | 2013-01-15 | 2013-05-08 | 信帧电子技术（北京）有限公司 | 一种人群密度监测方法及装置 |
| CN105740945A (zh) * | 2016-02-04 | 2016-07-06 | 中山大学 | 一种基于视频分析的人群计数方法 |
-
2017
- 2017-04-11 CN CN201710232164.0A patent/CN107066963B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103093198A (zh) * | 2013-01-15 | 2013-05-08 | 信帧电子技术（北京）有限公司 | 一种人群密度监测方法及装置 |
| CN105740945A (zh) * | 2016-02-04 | 2016-07-06 | 中山大学 | 一种基于视频分析的人群计数方法 |
Non-Patent Citations (1)
| Title |
|---|
| IBRAHIM SAYGIN TOPKAYA 等: "Counting people by clustering person detector outputs", 《ADVANCED VIDEO AND SIGNAL BASED SURVEILLANCE(AVSS)》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108009477A (zh) * | 2017-11-10 | 2018-05-08 | 东软集团股份有限公司 | 图像的人流数量检测方法、装置、存储介质及电子设备 |
| CN108009477B (zh) * | 2017-11-10 | 2020-08-21 | 东软集团股份有限公司 | 图像的人流数量检测方法、装置、存储介质及电子设备 |
| CN108399388A (zh) * | 2018-02-28 | 2018-08-14 | 福州大学 | 一种中高密度人群数量统计方法 |
| CN109190456A (zh) * | 2018-07-19 | 2019-01-11 | 中国人民解放军战略支援部队信息工程大学 | 基于聚合通道特征和灰度共生矩阵的多特征融合俯视行人检测方法 |
| CN110705394A (zh) * | 2019-09-18 | 2020-01-17 | 广东外语外贸大学南国商学院 | 一种基于卷积神经网络的景区人群行为分析方法 |
| CN110705394B (zh) * | 2019-09-18 | 2022-11-18 | 广东外语外贸大学南国商学院 | 一种基于卷积神经网络的景区人群行为分析方法 |
| CN111507183A (zh) * | 2020-03-11 | 2020-08-07 | 杭州电子科技大学 | 一种基于多尺度密度图融合空洞卷积的人群计数方法 |
| CN111767881A (zh) * | 2020-07-06 | 2020-10-13 | 中兴飞流信息科技有限公司 | 一种基于ai技术的自适应人群密度估计装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107066963B (zh) | 2019-11-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107066963A (zh) | 一种自适应人群计数方法 | |
| Li et al. | Scale-aware fast R-CNN for pedestrian detection | |
| Fradi et al. | Crowd behavior analysis using local mid-level visual descriptors | |
| CN103593464B (zh) | 基于视觉特征的视频指纹检测及视频序列匹配方法及系统 | |
| WO2018119668A1 (zh) | 一种行人头部识别方法及系统 | |
| CN103714181B (zh) | 一种层级化的特定人物检索方法 | |
| CN105913003B (zh) | 一种多特征多模型的行人检测方法 | |
| CN102867188B (zh) | 一种基于级联结构的会场内座位状态检测方法 | |
| CN104978567B (zh) | 基于场景分类的车辆检测方法 | |
| CN109033950A (zh) | 基于多特征融合级联深度模型的车辆违停检测方法 | |
| CN107491762A (zh) | 一种行人检测方法 | |
| CN103929685A (zh) | 一种视频摘要生成及索引方法 | |
| CN110263712A (zh) | 一种基于区域候选的粗精行人检测方法 | |
| Tan et al. | Fast anomaly detection in traffic surveillance video based on robust sparse optical flow | |
| CN108399388A (zh) | 一种中高密度人群数量统计方法 | |
| CN104376334A (zh) | 一种多尺度特征融合的行人比对方法 | |
| Zhao et al. | Self-generated defocus blur detection via dual adversarial discriminators | |
| CN109190456A (zh) | 基于聚合通道特征和灰度共生矩阵的多特征融合俯视行人检测方法 | |
| CN103400155A (zh) | 基于图半监督学习的色情视频检测方法 | |
| Hu et al. | Moving object detection based on non-convex RPCA with segmentation constraint | |
| Sun et al. | Brushstroke based sparse hybrid convolutional neural networks for author classification of Chinese ink-wash paintings | |
| Han et al. | A method based on multi-convolution layers joint and generative adversarial networks for vehicle detection | |
| Lin et al. | Convolutional neural networks for face anti-spoofing and liveness detection | |
| CN108876810A (zh) | 视频摘要中利用图割算法进行运动目标检测的方法 | |
| CN111160107B (zh) | 一种基于特征匹配的动态区域检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20191112 |