CN103854292A

CN103854292A - 一种人数及人群运动方向的计算方法及装置

Info

Publication number: CN103854292A
Application number: CN201210495159.6A
Authority: CN
Inventors: 董振江; 罗圣美; 刘锋
Original assignee: ZTE Corp
Current assignee: ZTE Corp
Priority date: 2012-11-28
Filing date: 2012-11-28
Publication date: 2014-06-11
Anticipated expiration: 2032-11-28
Also published as: US9576199B2; WO2014082480A1; EP2927871A1; CN103854292B; US20150310275A1; EP2927871A4

Abstract

本发明公开了一种人数及人群运动方向的计算方法，包括：提取当前帧图像的特征点，将当前帧图像的特征点与选取的历史帧图像对比，得到当前帧图像的运动特征点；根据所在位置的修正系数，对当前帧图像的运动特征点按方向加权计数，得到人群运动方向；从当前帧图像的前景图像中提取行人图像的边缘点；根据所在位置的修正系数，对行人图像的边缘点与当前帧图像的运动特征点联合加权计数，得到行人数量。本发明还公开了一种人数及人群运动方向的计算装置，采用本发明能提高计算结果的准确率。

Description

一种人数及人群运动方向的计算方法及装置

技术领域

本发明涉及智能视频监控技术，尤其涉及一种人数及人群运动方向的计算方法及装置。

背景技术

随着经济社会的发展，人们社会活动的不断增加，尤其是我国城镇化进程的推进，城市人口密度越来越大。因此，人群密度估计有着广泛的应用前景和研究价值。

目前，人群密度估计的方法为利用智能视频监控设备采集一段时间的图像，对采集的图像进行分析得到多个图像特征，使用得到的图像特征建立回归模型；智能视频监控设备实时进行监控时，对当前帧图像进行分析得到当前帧图像的个特征作为输入，使用回归模型计算得到人数，再利用人数计算出人群密度。

但是，上述人群密度估计的方法中，建立回归模型时、以及计算人数时，提取的图像特征较多，这样会提高计算的复杂度并影响计算速度；并且，由于进行智能视频监控时，没有考虑监控设备的架设位置受到的角度影响，所以直接使用提取的图像特征进行分析时，建立的回归模型不够准确，进而导致使用回归模型计算人数也不准确。

可见，现有技术中对人群密度进行估计的方法，计算速度较低，并且计算结果不准确。

发明内容

有鉴于此，本发明的目的在于提供一种人数及人群运动方向的计算方法及装置，能提高计算速度及计算结果准确度。

为达到上述目的，本发明的技术方案是这样实现的：

本发明提供了一种人数及人群运动方向的计算方法，该方法包括：

提取当前帧图像的特征点，将当前帧图像的特征点与选取的历史帧图像对比，得到当前帧图像的运动特征点；

对当前帧图像的运动特征点按方向加权计数，得到人群运动方向；

从当前帧图像的前景图像中提取行人图像的边缘点，根据所在位置的修正系数，对行人图像的边缘点与当前帧图像的运动特征点联合加权计数，得到行人数量。

上述方案中，所述将当前帧图像的特征点与选取的历史帧图像对比，得到当前帧图像的运动特征点，包括：

逐个提取当前帧图像的特征点，在特征点的周围选取模板图像；从选取的历史帧图像中，在当前帧图像的特征点对应位置周围选取搜索图像；

利用模板图像，在搜索图像内匹配搜索，根据特征点与匹配点的位置关系进行判决，当距离大于设定的阈值时，判定当前帧图像的特征点为运动特征点；直至得到当前帧图像中的所有运动特征点及其运动方向。

上述方案中，所述根据所在位置的修正系数，对当前帧图像的运动特征点按方向加权计数，得到人群运动方向，包括：

根据各运动特征点的位置，逐个查找对应的修正系数作为该点的权值；将当前帧所有运动特征点的权值按方向累加，得到当前帧运动直方图，并更新至运动直方图历史记录；

根据运动直方图历史记录分别统计各方向的运动特征点总数，计算各方向运动特征点总数占运动特征点总数的比值，得到历史运动直方图；对历史运动直方图进行二值化，得到当前帧运动方向记录，并更新至运动方向历史记录；根据运动方向历史记录，得到各方向最终运动特征点计数，将所述运动特征计数值超过预置的运动阈值的方向作为人群运动方向。

上述方案中，所述根据所在位置的修正系数，对行人图像的边缘点与当前帧图像的运动特征点联合加权计数，得到行人数量，包括：根据行人图像的边缘点与当前帧图像的运动特征点所在位置，逐个查找预置的该点的修正系数，将所有行人图像的边缘点与当前帧图像的运动特征点对应的修正系数加权累加所得数值作为行人数量。

本发明还提供了一种人数及运动方向的计算装置，该装置包括：图像获取模块、运动方向计算模块和人数计算模块；其中，

图像获取模块，用于为运动方向计算模块以及人数计算模块提供当前帧图像；

运动方向计算模块，用于提取当前帧图像的特征点，将当前帧图像的特征点与选取的历史帧图像对比，得到当前帧图像的运动特征点，对当前帧图像的运动特征点按方向加权计数，得到人群运动方向；

人数计算模块，用于从当前帧图像的前景图像中提取行人图像的边缘点，根据所在位置的修正系数，对行人图像的边缘点与当前帧图像的运动特征点联合加权计数，得到行人数量。

上述方案中，所述运动方向计算模块，具体用于逐个提取当前帧图像的特征点，在特征点的周围选取模板图像；从选取的历史帧图像中，在当前帧图像的特征点对应位置周围选取搜索图像；利用模板图像，在搜索图像内匹配搜索，根据特征点与匹配点的位置关系进行判决，当距离大于设定的阈值时，判定当前帧图像的特征点为运动特征点；直至得到当前帧图像中的所有运动特征点及其运动方向。

上述方案中，所述运动方向计算模块，具体用于根据各运动特征点的位置，逐个查找对应的修正系数作为该点的权值；将当前帧所有运动特征点的权值按方向累加，得到当前帧运动直方图，并更新至运动直方图历史记录；根据运动直方图历史记录分别统计各方向的运动特征点总数，计算各方向运动特征点总数占运动特征点总数的比值，得到历史运动直方图；根据一定阈值，对历史运动直方图进行二值化，得到当前帧运动方向记录，并更新至运动方向历史记录；根据运动方向历史记录，得到各方向最终运动特征点计数，将所述运动特征计数值超过预置的运动阈值的方向作为人群运动方向。

上述方案中，所述人数计算模块，具体用于根据行人图像的边缘点与当前帧图像的运动特征点所在位置，逐个查找预置的该点的修正系数，将所有行人图像的边缘点与当前帧图像的运动特征点对应的修正系数加权累加所得数值作为行人数量。

本发明所提供的人数及人群运动方向的计算方法及装置，能通过对当前帧图像的运动特征点加权计数得到人群运动方向；以及从当前帧图像的前景图像中提取行人图像的边缘点，根据所在位置的修正系数，对行人图像的边缘点与当前帧图像的运动特征点联合加权计数得到行人数量。这样，与现有技术相比，使用更少的图像特征就能得到人群运动方向和行人数量，使计算速度提高；并且在计算过程中使用修正系数进行加权计数，这样就能在计算中对监控设备的不同拍摄角度以及距离远近进行补偿，从而使最终结果更加准确。

附图说明

图1为本发明的人数及人群运动方向的计算方法流程示意图；

图2为本发明的人数及人群运动方向的计算装置组成结构示意图。

具体实施方式

本发明的基本思想是：提取当前帧图像的特征点，将当前帧图像的特征点与选取的历史帧图像对比，得到当前帧图像的运动特征点；对当前帧图像的运动特征点按方向加权计数，得到人群运动方向；从当前帧图像的前景图像中提取行人图像的边缘点，根据所在位置的修正系数，对行人图像的边缘点与当前帧图像的运动特征点联合加权计数，得到行人数量。

下面结合附图及具体实施例对本发明再作进一步的详细说明。

本发明提出人数及人群运动方向的计算方法，如图1所示，包括以下步骤：

步骤101：提取当前帧图像的特征点，将当前帧图像的特征点与选取的历史帧图像对比，得到当前帧图像的运动特征点。

这里，所述提取当前帧图像为按照现有技术，设置检测区，提取检测区图像作为当前帧图像；

所述提取当前帧图像的特征点的方法为现有技术，可以使用SURF算法，参数设置采用默认设置，图像特征点的数量根据实际情况设定，具体计算方法这里不做赘述；

所述将当前帧图像的特征点与选取的历史帧图像对比，得到当前帧图像的运动特征点包括：逐个提取当前帧图像的特征点，在提取的特征点周围选取大小为N×M的图像作为模板图像T；从选取的历史帧图像中，在当前帧图像的特征点对应位置周围选取大小为W×H的图像作为搜索图像S；利用模板图像T在搜索图像S内进行匹配搜索，根据特征点与匹配点的位置关系进行判决，当距离大于设定的阈值时，判定当前帧图像的特征点为运动特征点；依此类推，得到当前帧图像中的所有运动特征点及其运动方向。其中，所述设定的阈值为：根据实际需要设置，这里不做赘述。

所述选取的历史帧图像为：根据实际设置选取的当前帧之前的某一帧图像，比如，可以设置为选取当前帧之前五帧的图像，或者，设置为选取当前帧之前十帧的图像；所述搜索图像S比模板图像T大，即W大于N、且H大于M；

所述利用模板图像T在搜索图像S内进行匹配搜索，根据特征点与匹配点的位置关系进行判决，可以为：在搜索图像S内、依照指定顺序，依次选出和模板图像T等大的局部图像，计算所述局部图像与模板图像T的绝对误差和，当所述绝对误差和小于预置的匹配阈值时，将所述局部图像的中心点作为搜索图像S的匹配点；

计算匹配点与特征点的相对位移，判断所述相对位置是否小于预置的运动阈值，若是，则判定对应的特征点为运动特征点，否则，判定该特征点为非运动特征点。

其中，所述匹配阈值及运动阈值均为根据实际情况预置的数值；所述计算所述局部图像与模板图像T的绝对误差和为使用公式：

E (i, j) = Σ_{m = 1}^{M} Σ_{n = 1}^{N} | S^{ij} (m, n) - T (m, n) |;

其中，E(i，j)表示绝对误差和，(i，j)标识模板图像T在搜索图像S中的相对位置。

步骤102：对当前帧图像的运动特征点按方向加权计数，得到人群运动方向。

这里，所述对当前帧图像的运动特征点按方向加权计数为：逐个根据各运动特征点的位置，查找对应的修正系数作为该点的权值；将当前帧所有运动特征点的权值按方向累加，得到当前帧运动直方图；其中，所述修正系数为针对各个特征点预置的修正值；

所述得到人群运动方向，可以包括：将当前帧运动直方图添加至运动直方图历史记录；根据运动直方图历史记录分别统计各方向的运动特征点总数，计算各方向运动特征点总数占运动特征点总数的比值，得到历史运动直方图；对历史运动直方图进行二值化，得到当前帧运动方向记录，并更新至运动方向历史记录；根据运动方向历史记录，得到各方向最终运动特征点计数，将所述运动特征计数值超过预置的运动阈值的方向作为人群运动方向。

其中，所述运动直方图的获取方法为现有技术，这里不做赘述；所述运动直方图历史记录为保存的指定数量的运动直方图组成的集合；所述指定数量为根据实际情况指定，比如，可以指定保存50个；

比如：假设当前帧运动直方图为H[8]，运动直方图历史记录包括50个运动直方图，表示为HH[8][50]；

所述根据运动直方图历史记录分别统计各方向的运动特征点总数，计算各方向运动特征点总数占运动特征点总数的比值，得到历史运动直方图，可以使用公式：

S [n] = \frac{Σ_{j = 1}^{50} HH [n] [j]}{Σ_{i = 1}^{8} Σ_{j = 1}^{50} HH [i] [j]},

其中，S[n]表示历史运动直方图，n表示八个方向之一；

所述对历史运动直方图进行二值化，得到当前帧运动方向记录，可以使用公式：

D [n] = \{\begin{matrix} 1, & \frac{S [n]}{Σ_{i = 1}^{8} S [i]} > \frac{1}{8} \\ 0, & others \end{matrix},

其中，D[n]表示当前帧运动方向记录，n表示八个方向之一；

所述根据运动方向历史记录，得到各方向最终计数，可以使用公式：

C [n] = Σ_{j = 1}^{50} HS [n] [j],

其中，C[n]表示各方向最终计数，HS[n][j]表示运动方向历史记录，为保存的指定数量的运动方向记录组成的集合，n表示八个方向之一，j表示保存的运动方向记录。

步骤103：从当前帧图像的前景图像中提取行人图像的边缘点，根据所在位置的修正系数，对行人图像的边缘点与当前帧图像的运动特征点联合加权计数，得到行人数量。

这里，所述当前帧图像的前景图像可以为：采用混合高斯背景建模算法，得到背景图像和前景图像，对前景图像进行修正。

其中，混合高斯背景建模算法为现有技术，这里不做赘述；所述对前景图像进行修正可以为采用形态学滤波，结合积分图像计算前景置信度的方法进行修正，为现有技术，这里不做赘述；

所述提取行人图像的边缘点包括：对当前帧图像进行Canny边缘检测得到初始边缘图像，以及与当前帧图像的前景图像进行与操作，得到修正的行人边缘图像；对修正的行人边缘图像中的边缘点计数，最终得到行人图像的边缘点。

所述根据所在位置的修正系数，对行人图像的边缘点与当前帧图像的运动特征点联合加权计数，得到行人数量为：根据行人图像的边缘点与当前帧图像的运动特征点所在位置，逐个查找预置的该点的修正系数，将所有行人图像的边缘点与当前帧图像的运动特征点对应的修正系数加权累加所得数值作为行人数量。

如图2所示，本发明提供了一种人数及人群运动方向的计算装置，该装置包括：图像获取模块21、运动方向计算模块22和人数计算模块23；其中，

图像获取模块21，用于为人群运动方向计算模块22以及人数计算模块23提供当前帧图像；

运动方向计算模块22，用于从图像获取模块21中提取当前帧图像的特征点，将当前帧图像的特征点与选取的历史帧图像对比，得到当前帧图像的运动特征点，对当前图像帧的运动特征点按方向加权计数，得到人群运动方向；

人数计算模块23，用于从图像获取模块21中保存的当前帧图像的前景图像中提取行人图像的边缘点，根据所在位置的修正系数，对行人图像的边缘点与当前帧图像的运动特征点联合加权计数，得到行人数量。

所述图像获取模块21，具体用于设置检测区，提取检测区图像作为当前帧图像。

所述运动方向计算模块22，具体用于使用SURF算法，参数设置采用默认设置，图像特征点数量根据实际情况设定，具体计算这里不做赘述。

所述运动方向计算模块22，具体用于逐个提取当前帧图像的特征点，在提取的特征点周围选取大小为N×M的图像作为模板图像T；从选取的历史帧图像中，在当前帧图像的特征点对应位置周围选取大小为W×H的图像作为搜索图像S；利用模板图像T在搜索图像S内进行匹配搜索，根据特征点与匹配点的位置关系进行判决，当距离大于设定的阈值时，判定当前帧图像的特征点为运动特征点；依此类推，得到当前帧图像中的所有运动特征点及其运动方向。

所述运动方向计算模块22，具体用于根据实际设置选取当前帧之前的某一帧图像作为历史帧图像，比如，可以设置为选取当前帧之前五帧的图像，或者，设置为选取当前帧之前十帧的图像。

所述运动方向计算模块22，具体用于在搜索图像S内、依照指定顺序，依次选出和模板图像T等大的局部图像，计算所述局部图像与模板图像T的绝对误差和，当所述绝对误差和小于预置的匹配阈值时，将所述局部图像的中心点作为搜索图像S的匹配点；计算匹配点与特征点的相对位移，判断所述相对位置是否小于预置的运动阈值，若是，则判定对应的特征点为运动特征点，否则，判定该特征点为非运动特征点；

其中，所述计算使用公式：

E (i, j) = Σ_{m = 1}^{M} Σ_{n = 1}^{N} | S^{ij} (m, n) - T (m, n) |,

E(i，j)表示绝对误差和，(i，j)标识模板图像T在搜索图像S中的相对位置。

所述运动方向计算模块22，具体用于逐个根据各运动特征点的位置，查找对应的修正系数作为该点的权值；将当前帧所有运动特征点的权值按方向累加，得到当前帧运动直方图。

所述运动方向计算模块22，具体用于将当前帧运动直方图更新至运动直方图历史记录；根据运动直方图历史记录分别统计各方向的运动特征点总数，计算各方向运动特征点总数占运动特征点总数的比值，得到历史运动直方图；对历史运动直方图进行二值化，得到当前帧运动方向记录，并更新至运动方向历史记录；根据运动方向历史记录，得到各方向最终运动特征点计数，将所述运动特征计数值超过预置的运动阈值的方向作为人群运动方向。其中，所述运动直方图的获取方法为现有技术，这里不做赘述；

所述运动直方图历史记录为保存的指定数量的运动直方图组成的集合；所述指定数量为根据实际情况指定，比如，可以指定保存50个；比如：假设当前帧运动直方图为H[8]，运动直方图历史记录包括50个运动直方图，表示为HH[8][50]；

S [n] = \frac{Σ_{j = 1}^{50} HH [n] [j]}{Σ_{i = 1}^{8} Σ_{j = 1}^{50} HH [i] [j]},

其中，S[n]表示历史运动直方图，n表示八个方向之一；

D [n] = \{\begin{matrix} 1, & \frac{S [n]}{Σ_{i = 1}^{8} S [i]} > \frac{1}{8} \\ 0, & others \end{matrix},

其中，D[n]表示当前帧运动方向记录，n表示八个方向之一；

C [n] = Σ_{j = 1}^{50} HS [n] [j],

所述人数计算模块23，具体用于采用混合高斯背景建模算法，得到背景图像和前景图像，对前景图像进行修正；其中，混合高斯背景建模算法为现有技术，这里不做赘述；所述对前景图像进行修正可以为采用形态学滤波，结合积分图像计算前景置信度的方法进行修正，为现有技术，这里不做赘述；

所述人数计算模块23，具体用于对当前帧图像进行Canny边缘检测得到初始边缘图像，以及与当前帧图像的前景图像进行与操作，得到修正的行人边缘图像；对修正的行人边缘图像中的边缘点计数，最终得到行人图像的边缘点。

所述人数计算模块23，具体用于根据行人图像的边缘点与当前帧图像的运动特征点所在位置，逐个查找预置的该点的修正系数，将所有行人图像的边缘点与当前帧图像的运动特征点对应的修正系数加权累加，得到数值作为行人数量。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims

1.一种人数及人群运动方向的计算方法，其特征在于，该方法包括：

2.根据权利要求1所述的方法，其特征在于，所述将当前帧图像的特征点与选取的历史帧图像对比，得到当前帧图像的运动特征点，包括：

3.根据权利要求2所述的方法，其特征在于，所述根据所在位置的修正系数，对当前帧图像的运动特征点按方向加权计数，得到人群运动方向，包括：

4.根据权利要求1所述的方法，其特征在于，所述根据所在位置的修正系数，对行人图像的边缘点与当前帧图像的运动特征点联合加权计数，得到行人数量，包括：根据行人图像的边缘点与当前帧图像的运动特征点所在位置，逐个查找预置的该点的修正系数，将所有行人图像的边缘点与当前帧图像的运动特征点对应的修正系数加权累加所得数值作为行人数量。

5.一种人数及运动方向的计算装置，其特征在于，该装置包括：图像获取模块、运动方向计算模块和人数计算模块；其中，

6.根据权利要求5所述的装置，其特征在于，

所述运动方向计算模块，具体用于逐个提取当前帧图像的特征点，在特征点的周围选取模板图像；从选取的历史帧图像中，在当前帧图像的特征点对应位置周围选取搜索图像；利用模板图像，在搜索图像内匹配搜索，根据特征点与匹配点的位置关系进行判决，当距离大于设定的阈值时，判定当前帧图像的特征点为运动特征点；直至得到当前帧图像中的所有运动特征点及其运动方向。

7.根据权利要求6所述的方法，其特征在于，

所述运动方向计算模块，具体用于根据各运动特征点的位置，逐个查找对应的修正系数作为该点的权值；将当前帧所有运动特征点的权值按方向累加，得到当前帧运动直方图，并更新至运动直方图历史记录；根据运动直方图历史记录分别统计各方向的运动特征点总数，计算各方向运动特征点总数占运动特征点总数的比值，得到历史运动直方图；根据一定阈值，对历史运动直方图进行二值化，得到当前帧运动方向记录，并更新至运动方向历史记录；根据运动方向历史记录，得到各方向最终运动特征点计数，将所述运动特征计数值超过预置的运动阈值的方向作为人群运动方向。

8.根据权利要求5所述的装置，其特征在于，所述人数计算模块，具体用于根据行人图像的边缘点与当前帧图像的运动特征点所在位置，逐个查找预置的该点的修正系数，将所有行人图像的边缘点与当前帧图像的运动特征点对应的修正系数加权累加所得数值作为行人数量。