发明内容
有鉴于此,本发明的主要目的在于克服人群遮挡问题,简单易行并准确地统计出低密度人群的人数。
为达到上述目的,按照本发明的第一个方面,提供了一种低密度人群的统计方法,该方法包括:更新背景图像并提取当前图像的前景点;对当前图像中的每个前景点进行检测以获取特征点;获取每个特征点的运动轨迹;根据运动轨迹的运动位移和运动方向变化率,提取出正常的运动轨迹;将连续多帧图像内同一轨迹上的特征点作为一个分类点,对所有分类点进行聚类,以获得初步的分类;和对初步的分类进行类分裂和类聚合处理,以获得聚类类别数,将该聚类类别数作为所统计人群的人数。
优选地,所述更新背景图像包括:假设Ik表示第k帧图像,k为整数,Bk表示第k帧背景图像,其中背景图像的初始值为B0=I0,则按下式更新背景图像:
其中,x、y分别表示像素点的横坐标和纵坐标。
优选地,所述提取当前图像的前景点包括:第k帧图像的前景图像Fk为:Fk(x,y)=|Ik(x,y)-Bk(x,y)|;对前景图像进行阈值分割以提取前景点。
优选地,所述对前景图像进行阈值分割以提取前景点包括:如果Fk(x,y)≥第一阈值T1,则认为该点(x,y)是当前图像的前景点,否则认为该点(x,y)是当前图像的背景点。
优选地,所述对当前图像中的每个前景点进行检测以获取特征点是利用角点检测算法来进行的。
优选地,所述获取每个特征点的运动轨迹是采用KLT特征点跟踪算法来进行的。
优选地,所述根据运动轨迹的运动位移和运动方向变化率,提取出正常的运动轨迹包括:分别计算每条运动轨迹在连续多帧图像内的运动位移、运动方向变化率;将同时满足运动位移>第四阈值T4和运动方向变化率<第五阈值T5的运动轨迹作为正常的轨迹并输出该正常的轨迹。
优选地,所述聚类包括:(1)将所有分类点看作为一个初始类C
1,此时当前的类别数Max=1;(2)在所有类中选出直径最大且满足直径≥第六阈值T6的类C
m,其中m表示第m类,且1≤m≤Max,Max表示当前的类别数;(3)在直径最大的类C
m中找出一个与其他分类点相异度最大的分类点,执行Max=Max+1并将该分类点看作一个新的类C
Max;(4)分别计算直径最大的类C
m中分类点
与新的类C
Max中分类点的最大距离outerDist,其中
表示直径最大的类C
m中第p个分类点,并计算直径最大的类C
m中分类点
与该类中其他分类点的最小距离interDist,如果outerDist<interDist则将该分类点
放入新的类C
Max中;(5)如果直径最大的类C
m中没有分类点放入新的类C
Max中,则执行下一步骤,否则返回到步骤(2);(6)如果所有类的直径<第六阈值T6,则结束,否则返回到步骤(2)。
优选地,所述类分裂包括:在每一个类中,计算每条轨迹在当前帧图像之后的多帧图像内的位移的平均方向,根据计算的平均方向所属的八个方向类别,将每个类分裂成更小的类,其中八个方向分别为:-22.5°~22.5°、22.5°~67.5°、67.5°~112.5°、112.5°~157.5°、157.5°~202.5°、202.5°~247.5°、247.5°~292.5°、292.5°~337.5°。
优选地,所述类聚合包括:计算每个类的中心位置,如果两个类满足以下两个条件:①两个类的中心位置<第八阈值T8;②两个类同属于八个方向中的同一方向类中,则将两个类聚合成一个类,直到没有两个类满足条件为止。
按照本发明的另一个方面,提供了一种低密度人群的统计装置,该装置包括:背景建立及前景点提取单元,用于更新背景图像并提取当前图像的前景点;特征点检测单元,用于从当前图像的前景点中检测出特征点;特征点运动轨迹获取单元,用于获取特征点运动轨迹;正常运动轨迹提取单元,用于根据运动轨迹的运动位移和运动方向变化率,提取出正常的运动轨迹;运动轨迹初步分类单元,用于将连续多帧图像内同一轨迹上的特征点作为一个分类点,对所有分类点进行聚类,以获得初步的分类;和人数获取单元,用于对初步的分类进行类分裂和类聚合处理,以获得聚类类别数,将该聚类类别数作为所统计人群的人数。
优选地,所述背景建立及前景点提取单元执行以下操作:假设Ik表示第k帧图像,k为整数,Bk表示第k帧背景图像,其中背景图像的初始值为B0=I0,则按下式更新背景图像:
其中,x、y分别表示像素点的横坐标和纵坐标。
优选地,背景建立及前景点提取单元此外还执行以下操作:第k帧图像的前景图像Fk为:Fk(x,y)=|Ik(x,y)-Bk(x,y)|;对前景图像进行阈值分割以提取前景点。
优选地,所述对前景图像进行阈值分割以提取前景点包括:如果Fk(x,y)≥第一阈值T1,则认为该点(x,y)是当前图像的前景点,否则认为该点(x,y)是当前图像的背景点。
优选地,所述特征点检测单元利用角点检测算法来进行检测。
优选地,所述特征点运动轨迹获取单元采用KLT特征点跟踪算法来获取运动轨迹。
优选地,所述正常运动轨迹提取单元执行以下操作:分别计算每条运动轨迹在连续多帧图像内的运动位移、运动方向变化率;将同时满足运动位移>第四阈值T4和运动方向变化率<第五阈值T5的运动轨迹作为正常的轨迹并输出。
优选地,所述运动轨迹初步分类单元执行以下操作:将所有分类点看作为一个初始类C
1,此时当前的类别数Max=1;在所有类中选出直径最大且满足直径≥第六阈值T6的类C
m,其中m表示第m类,且1≤m≤Max,Max表示当前的类别数,在直径最大的类C
m中找出一个与其他分类点相异度最大的分类点,执行Max=Max+1并将该分类点看作一个新的类C
Max,分别计算直径最大的类C
m中分类点
与新的类C
Max中分类点的最大距离outerDist,其中
表示直径最大的类C
m中第p个分类点,并计算直径最大的类C
m中分类点
与该类中其他分类点的最小距离interDist,如果outerDist<interDist则将该分类点
放入新的类C
Max中,直到直径最大的类C
m中没有分类点放入新的类C
Max中并且所有类的直径<第六阈值T6。
优选地,所述人数获取单元执行的类分裂包括:在每一个类中,计算每条轨迹在当前帧图像之后的多帧图像内的位移的平均方向,根据计算的平均方向所属的八个方向类别,将每个类分裂成更小的类,其中八个方向分别为:-22.5°~22.5°、22.5°~67.5°、67.5°~112.5°、112.5°~157.5°、157.5°~202.5°、202.5°~247.5°、247.5°~292.5°、292.5°~337.5°。
优选地,所述人数获取单元执行的类聚合处理包括:计算每个类的中心位置,如果两个类满足以下两个条件:①两个类的中心位置<第八阈值T8;②两个类同属于八个方向中的同一方向类中,则将两个类聚合成一个类,直到没有两个类满足条件为止。
与现有的技术相比,本发明的低密度人群的统计方法及装置,有效地克服由于遮掩等使得跟踪丢失或者错误的问题,简单易行并提高了准确度;此外,可扩展性强,不仅仅适用于人群检测,稍加调整,可应用于车流量等类似其他目标数量统计。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施例和附图,对本发明进一步详细说明。
图1表示按照本发明的低密度人群的统计方法的流程图。如图1所示,按照本发明的低密度人群的统计方法包括:
第一步骤101,更新背景图像并提取当前图像的前景点;
第二步骤102,从当前图像的前景点中检测出特征点;
第三步骤103,获取特征点运动轨迹;
第四步骤104,根据运动轨迹的运动位移和运动方向变化率,提取出正常的运动轨迹;
第五步骤105,将连续多帧图像内同一轨迹上的特征点作为一个分类点,对所有分类点进行聚类,以获得初步的分类;
第六步骤106,对初步的分类进行类分裂和类聚合处理,以获得聚类类别数,将该聚类类别数作为所统计人群的人数。
第一步骤:
假设Ik表示第k(k为整数)帧图像,Bk表示第k帧背景图像(其中背景图像的初始值为B0=I0),按下式更新背景图像:
其中,x、y分别表示像素点的横坐标和纵坐标。相应地,第k帧图像的前景图像Fk为:Fk(x,y)=|Ik(x,y)-Bk(x,y)|。对前景图像进行阈值分割以提取前景点,即如果Fk(x,y)≥第一阈值T1,则认为该点是当前图像的前景点,否则认为该点是当前图像的背景点。其中,T1∈[10,30]且T1为整数。
第二步骤:
利用角点检测算法,对当前图像中的每个前景点进行检测以获取特征点。图2示出了按照本发明的角点检测算法的16个周边点的图。如图2所示,对每个前景点p都有与之相应的16个周边点(即图2中的点1~16)。设与前景点p对应的16个周边点为pn(n=1,…,16),分别计算当前图像内每个前景点p的像素值Ik(p)(其中k表示当前图像为第k帧图像)与其16个周边点pn的像素值Ik(pn)的差值Ik(p)-Ik(pn),统计该差值Ik(p)-Ik(pn)>第二阈值T2的连续周边点的个数num1、该差值Ik(p)-Ik(pn)<-第二阈值T2的连续周边点的个数num2,如果该个数num1>第三阈值T3或者num2>第三阈值T3,则认为该前景点为特征点。其中,T2∈[10,30],T3∈[9,12],且T2、T3均为整数。角点检测算法可以参考文献“E.Rosten and T.Drummond.Machine learning for high-speed corner detection.European conference on computer vision”。
第三步骤:
采用KLT特征点跟踪算法,获取每个特征点的运动轨迹。设当前图像(例如第k帧图像)内特征点(x,y)的像素值为I
k(x,y),该特征点(x,y)在x、y方向的梯度分别为
初始化D=[dx,dy]
T=[0,0]
T,那么下一帧图像(即第k+1帧图像)中该特征点(x,y)在x、y方向的位移公式如下:
ZD=e
其中:
g是3×3高斯滤波系数。
解方程得到D,再带入上述公式循环计算,直到结束;
那么该特征点(x,y)在下一帧图像中的位移向量为:
D=[dx,dy]T
第四步骤:
所述根据运动轨迹的运动位移和运动方向变化率,提取出正常的运动轨迹的方法如下:分别计算每条运动轨迹在连续多帧(此处的连续多帧为至少连续5帧,帧数优选地处于[5,20]的范围之内)图像内的运动位移、运动方向变化率;将同时满足运动位移>第四阈值T4(T4∈[5,10]且为整数)并且运动方向变化率第五阈值T5(T5∈[30,45]且为整数)的运动轨迹作为正常的轨迹并输出。
第五步骤:
将连续多帧(如前面所提到的,此处的多帧为至少连续5帧,帧数优选地处于[5,20]的范围之内)的图像内同一轨迹上的每个特征点作为一个分类点,对这些分类点进行聚类,以获得初步的分类。按照优选实施方式,可以采用分裂聚类的方法,分裂聚类的方法是:
(1)将所有分类点看作为一个初始类C1,此时当前的类别数Max=1;;
(2)在所有类中选出直径最大且满足直径≥第六阈值T6的类Cm(m表示第m类,且1≤m≤Max,Max表示当前的类别数);
(3)在直径最大的类Cm中找出一个与其他分类点相异度最大的分类点,执行Max=Max+1并将该分类点看作一个新的类CMax;
(4)分别计算直径最大的类C
m中分类点
(
表示直径最大的类C
m中第p个分类点)与新的类C
Max中分类点的最大距离,计算直径最大的类C
m中分类点
与该类中其他分类点的最小距离,如果outerDist<interDist,则将该分类点
放入新的类C
Max中;
(5)如果直径最大的类Cm中没有分类点放入新的类CMax中,则执行下一步骤,否则返回到步骤(2);
(6)如果所有类的直径<第六阈值T6,则结束,否则返回到步骤(2)。
其中,T6为整数,根据实际场景确定,一般可以设为人的高度的一半。
对分裂聚类后获取的每个类别进行判别,若类别中的分类点的个数<第七阈值T7,则认为该类别是干扰,删除该类别并执行Max=Max-1。T7∈[T6/6,T6/2]且为整数,例如可以选T7=T6/3。
第六步骤:
对第五步骤输出的初步的分类进行类分裂和类聚合处理,以获得聚类类别数,将该聚类类别数作为所统计人群的人数。按照优选实施方式,可以采用以下的类分裂方法:在每一个类中,计算每条轨迹在当前帧图像之后的多帧(如前所述,此处的多帧为至少连续5帧,帧数优选地处于[5,20]的范围之内)图像内的位移的平均方向,根据计算的平均方向所属的八个方向类别,将每个类分裂成更小的类。其中八个方向分别为:-22.5°~22.5°、22.5°~67.5°、67.5°~112.5°、112.5°~157.5°、157.5°~202.5°、202.5°~247.5°、247.5°~292.5°、292.5°~337.5°。按照优选实施方式,可以采用以下的类聚合方法:计算每个类的中心位置,如果两个类满足以下两个条件:①两个类的中心位置<第八阈值T8(T8∈[15,20]且为整数);②两个类同属于八个方向中的同一方向类中,则将两个类聚合成一个类,直到没有两个类满足条件为止。
本发明还提供了一种低密度人群的统计装置。图3示出了按照本发明的低密度人群的统计装置的框架图。如图3所示,低密度人群的统计装置包括:
背景建立及前景点提取单元1,用于更新背景图像并提取当前图像的前景点;
特征点检测单元2,用于从当前图像的前景点中检测出特征点;
特征点运动轨迹获取单元3,用于获取特征点运动轨迹;
正常运动轨迹提取单元4,用于根据运动轨迹的运动位移和运动方向变化率,提取出正常的运动轨迹;
运动轨迹初步分类单元5,用于将连续多帧图像内同一轨迹上的特征点作为一个分类点,对所有分类点进行聚类,以获得初步的分类;
人数获取单元6,用于对初步的分类进行类分裂和类聚合处理,以获得聚类类别数,将该聚类类别数作为所统计人群的人数。
与现有的人群统计技术相比,由于本发明的低密度人群的统计方法采用了特征点检测、跟踪及聚类的方法,因此克服了实际场景中存在的人群遮挡问题,准确地统计出低密度人群的人数。
与现有的技术相比,本发明的低密度人群的统计方法及装置,有效地克服由于遮掩等使得跟踪丢失或者错误的问题,提高了准确度;此外,可扩展性强,不仅仅适用于人群检测,稍加调整,可应用于车流量等类似其他目标数量统计。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围,应当理解,本发明并不限于这里所描述的实现方案,这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善,因此本发明只受到本发明权利要求的内容和范围的限制,其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。