背景技术
目前人数统计方法主要有基于红外感应器,基于单目相机和基于双目相机三种不同的硬件。
基于红外感应器的人数统计方法主要是利用有人体经过时,会阻断红外信号的接受,从而实现计数功能,但由于红外信号阻断时,无法准确统计经过的人数,所以如果多人统计经过感应器,则会产生漏检,此方法的整体统计精度在80%左右。
基于单目的人数统计算法主要依靠常见的图像处理算法以及模式识别方法,对经过场景的人头进行检测跟踪,从而达到人数统计的目的,这种方法由于计算机视觉算法的成熟度原因,无法很好的处理光照,阴影等干扰,统计精度一般只能达到90%左右,如果遇到多人拥挤通过的情况,性能会更低。
而基于双目的人数统计算法,利用立体视觉的特性,可将拍摄场景中的深度信息计算出来,从而能对人头位置有更好的估计和检测,但由于现有深度信息的精度较低,因此对其如何利用就成为影响统计精度的关键,目前一般是以简单的阈值来区分人头和头肩位置,从而检测人头的个数,但这种方法在人数十分拥挤,或者人体互相遮挡严重时,性能下降会比较厉害,一般统计精度能在95%左右。
发明内容
本发明是以双目相机为硬件,在深度信息的基础上,采用了深度信息聚类分割的方法,将复杂场景下的人群进行很好的独立分割,即使在多人拥挤的情况下,也能较好的区分每个人体的位置,然后对每个人体进行跟踪,从而达到很高的人数统计精度。
本发明解决技术问题所采取的技术方案为:
步骤1:采用双目相机作为深度信息的获取设备,输出为帧率25FPS的CIF分辨率的深度图,深度图中,每个像素的取值范围为0-255,值越大表示该像素所代表的目标距离镜头越近;
步骤2:对深度图进行背景建模,并随着场景的变化,学习更新每个像素的混合高斯模型,确定背景分布,具体是:
首先对深度图进行背景建模,用由
K个高斯成分组成的混合高斯模型表示像素在时间域上的概率分布模型,即深度图中像素
j在
t时刻取值为
的概率为
其中
表示在
t时刻像素
j的混合高斯模型中的第
i个高斯成分的权重,
表示第
i个高斯成分的均值,
表示第
i个高斯成分的协方差,
η表示高斯概率密度函数:
然后随着场景的变化,学习更新每个像素的混合高斯模型;
最后像素
j的混合高斯模型描述了其特征值
在时间域上的概率分布,为了确定像素的混合高斯模型里哪些高斯成分是由背景产生的,根据每个高斯成分的权重与其标准差之比排序后,取前
个高斯成分作为背景的分布,
根据下式计算
阈值T度量了背景高斯成分在像素的整个概率分布中所占得最小比例;
步骤3:利用深度图背景模型,进行前景目标检测,即对每帧新深度图中的每个像素,求其在每个背景混合高斯模型中的概率值:
若概率最大值小于阈值,则认为当前像素为前景点,说明可能有人体;
步骤4:对前景深度图,利用DENCLUE算法进行聚类分割,具体是:
已知空间
中包含
n个对象的数据集
,DENCLUE算法的基本思想可以形式化描述为:全局密度函数的核估计、密度吸引子和密度吸引、基于中心的聚类;
步骤5:在聚类分割完成后,就将原本联通的前景深度图分割成若干个区域,每个区域代表一个人体;
步骤6:对于每帧深度图,都进行上述步骤2-步骤5的处理,每帧都会得到一个人体分割结果,再利用面积匹配的方法进行帧间关联,从而得到每个人体的跟踪轨迹;
步骤7:结合规则线和跟踪轨迹,得出人数统计结果。
步骤2中的学习更新方法是:将混合高斯模型中的
K个高斯成分按照
由大到小排序,然后用像素的当前值
与其混合高斯模型中的
K个高斯成分逐一比较,若
与第
i个高斯成分的均值
之间的差小于δ倍的该高斯成分的标准差
,则该高斯成分被
更新,其余高斯成分保持不变,更新方程如下:
其中
是模型的学习率,当第
i个高斯成分与
匹配时,
为1,否则为0;如果
与像素
j的混合高斯模型中的
K个高斯成分都不匹配,则该像素混合高斯模型中排在最后的高斯成分被新的高斯成分取代,新的高斯成分均值为
,初始标准差及权重设为
和
;在更新完成后,各高斯成分的权重被归一化,以使
。
步骤4中全局密度函数的核估计具体是:空间任一点x的概率密度可估计为
,其中,
K(x)为核函数,采用是高斯核函数,
表示窗宽。
步骤4中密度吸引子和密度吸引具体是:已知全局密度函数的局部极大值点
,对任意的
,如果存在点集
,使得
且
位于
的梯度方向上,则称x被
密度吸引,而称
为x的密度吸引;如果核函数
K(x)在空间中的每一点都连续、可微,密度吸引子可以采用梯度方向指引的爬山法来搜索。
步骤4中基于中心的聚类具体是:已知密度吸引子
,如果存在
使得
,x都被
密度吸引且
,则称C为以
为中心的聚类,其中
为预设的密度门限值。
更进一步说,窗宽
的选取直接会影响全局密度的估计结果,从而影响聚类数目,
的取值应和实际目标的大小一致,由于本方法应用在拍摄角度垂直向下的客流统计场景,所以人体目标在深度图中的大小,是可以根据人体的高度估计出来的,所以这里的
的取值为估计人体宽度的一半。
更进一步说,
用于过滤噪声产生的影响,在相机高度已确定的情况下,可以计算出需要关注的人体高度所对应的深度图灰度值,只要按此深度图灰度值来设置
,即可把不要的噪声过滤。
本发明有益效果:本发明利用DENCLUE的聚类方法,充分利用了人体全局的聚类信息,包括深度差,人体先验尺度等,从而可以将人体(比起人头,人体区域更大,具有更多的信息,对后期跟踪等策略会有更好的作用)进行较好的检测和分割,即使在人群拥挤,互相遮挡的复杂环境下也能达到98%以上统计准确率。
具体实施方式
以下结合附图和实施例对本发明作进一步说明。
本发明方法包括以下步骤:
步骤1:采用自主研发的双目相机,安装在2.3-2.5m的高度,垂直拍摄地面,保证人体通过时能完整拍摄到整个俯视人体。由于工地电梯有两个门可以进出,所以需要安装2个,具体如图1所示;安装好后,拍摄到的原始图和深度图如图2所示。
步骤2:利用每帧采集到的深度图进行背景建模,模型用由3个高斯成分组成的混合高斯模型表示像素在时间域上的概率分布模型,即深度图中像素j在t时刻取值为的概率为
其中
表示在
t时刻像素
j的混合高斯模型中的第
i个高斯成分的权重,
表示第
i个高斯成分的均值,
表示第
i个高斯成分的协方差,
η表示高斯概率密度函数:
其中d为
的维数,在这里由于是2维图像,所以d=2。
然后随着场景的变化,学习更新每个像素的混合高斯模型。
最后像素
j的混合高斯模型描述了其特征值
在时间域上的概率分布,为了确定像素的混合高斯模型里哪些高斯成分是由背景产生的,根据每个高斯成分的权重与其标准差之比排序后,取前
个高斯成分作为背景的分布,
根据下式计算
阈值T度量了背景高斯成分在像素的整个概率分布中所占得最小比例,这里我们取T=0.3,得到
=2
步骤3:利用深度图背景模型,进行前景目标检测,即对每帧新深度图中的每个像素,求其在每个背景混合高斯模型中的概率值:
若概率最大值小于阈值,则认为当前像素为前景点,说明可能有人体;
这里我们假设j = 1时,
=0.1,
则我们可以得出P()= 0.752,
而当j=2时,
= 1.24,
= 0.98,
若我们设置概率阈值为0.5,那么j=2的像素点就可认为是前景点,说明可能有物体在背景上。而j=1的像素点则认为还是背景。
步骤4:对前景深度图,利用DENCLUE算法进行聚类分割,参见图3,具体是:
已知空间
中包含
n个对象的数据集
,DENCLUE算法的基本思想可以形式化描述为:全局密度函数的核估计、密度吸引子和密度吸引、基于中心的聚类;这里我们是对尺度为320*240的深度图做处理,所以n=320*240=76800
步骤5:在聚类分割完成后,就将原本联通的前景深度图分割成若干个区域,每个区域代表一个人体;如图4所示,左图为前景深度图,右图为聚类分割的结果。
步骤6:对于每帧深度图,都进行上述步骤2-步骤5的处理,每帧都会得到一个人体分割结果,再利用面积匹配的方法进行帧间关联,从而得到每个人体的跟踪轨迹;
步骤7:结合规则线和跟踪轨迹,得出人数统计结果,如5图所示,右侧为深度图,左侧为原始图并显示算法效果,其中每个框代表一个检测目标,框边上的曲线为跟踪轨迹,屏幕中间的水平白线为规则线,只要目标的跟踪轨迹穿越了绊线,则触发一次计数。
步骤2中的学习更新方法是:将混合高斯模型中的
3个高斯成分按照
由大到小排序,然后用像素的当前值
与其混合高斯模型中的
3个高斯成分逐一比较,若
与第
i个高斯成分的均值
之间的差小于2倍的该高斯成分的标准差
,则该高斯成分被
更新,其余高斯成分保持不变,更新方程如下:
其中
是模型的学习率,假设为0.5,当第
i个高斯成分与
匹配时,
为1,否则为0;如果
与像素
j的混合高斯模型中的
K个高斯成分都不匹配,则该像素混合高斯模型中排在最后的高斯成分被新的高斯成分取代,新的高斯成分均值为
,初始标准差及权重设为
和
;在更新完成后,各高斯成分的权重被归一化,以使
。
步骤4中全局密度函数的核估计具体是:空间任一点x的概率密度可估计为
,其中,
K(x)为核函数,采用是高斯核函数,
表示窗宽。
步骤4中密度吸引子和密度吸引具体是:已知全局密度函数的局部极大值点
,对任意的
,如果存在点集
,使得
且
位于
的梯度方向上,则称x被
密度吸引,而称
为x的密度吸引;如果核函数
K(x)在空间中的每一点都连续、可微,密度吸引子可以采用梯度方向指引的爬山法来搜索。
步骤4中基于中心的聚类具体是:已知密度吸引子
,如果存在
使得
,x都被
密度吸引且
,则称C为以
为中心的聚类,其中
为预设的密度门限值。
更进一步说,窗宽
的选取直接会影响全局密度的估计结果,从而影响聚类数目,
的取值应和实际目标的大小一致,由于本方法应用在拍摄角度垂直向下的客流统计场景,所以人体目标在深度图中的大小,是可以根据人体的高度估计出来的,所以这里的
的取值为10。
更进一步说,
用于过滤噪声产生的影响,在相机高度已确定的情况下,可以计算出需要关注的人体高度所对应的深度图灰度值,只要按此深度图灰度值来设置
,即可把不要的噪声过滤。这里取值为50。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围,应带理解,本发明并不限于这里所描述的实现方案,这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。