CN106228560B - 一种复杂场景下的人数统计方法 - Google Patents
一种复杂场景下的人数统计方法 Download PDFInfo
- Publication number
- CN106228560B CN106228560B CN201610607201.7A CN201610607201A CN106228560B CN 106228560 B CN106228560 B CN 106228560B CN 201610607201 A CN201610607201 A CN 201610607201A CN 106228560 B CN106228560 B CN 106228560B
- Authority
- CN
- China
- Prior art keywords
- pixel
- point
- local maximum
- rectangular frame
- depth map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000012549 training Methods 0.000 claims abstract description 11
- 238000001914 filtration Methods 0.000 claims description 13
- 230000000903 blocking effect Effects 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000011084 recovery Methods 0.000 abstract 1
- 239000000203 mixture Substances 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 238000002790 cross-validation Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000011997 immunoflourescence assay Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种复杂场景下的人数统计方法,使用双目相机(或者RGBD相机)通过相机标定,对场景信息进行三维点云恢复,然后生成场景俯视图,通过设计的人头锁定算法对场景的人头进行锁定,对锁定目标提取出13种属性,训练出SVM分类器,利用分类器,对锁定目标进行识别,从而得出场景内的人数。由于俯视图保留了大部分的空间信息,同时消除了空间中人头的畸变,所以,本锁定算法可以有效锁定人头,且在各种场景下都具有很强的适应性,由于人头在俯视图下稳定的特点,本方法可以有效的利用训练的分类器,去除场景中的伪目标,可以实时地、精确地对场景内的人数信息进行统计。
Description
技术领域
本发明涉及一种复杂场景下的人数统计方法。
背景技术
人数统计一直是监控系统中的热门话题,使用单目相机对场景内的行人人数进行统计有很多的技术难点,在简单场景下可以很好统计出人数,可在十分复杂场景下,由于遮挡和伪目标的影响,并不能很精确地统计出场景的人数,同时,在单目相机下并没有非常稳定的行人特征可以利用,光线的变化等诸多原因,也造成人数统计的精确度偏低;基于双目相机或者基于RGB-D相机可以很好地解决上面带来的影响,由于双目相机或者RGB-D相机可以获得当前场景内的深度信息,而行人在空间中有非常稳定的特征,那么可以使用空间信息,来识别行人,最初RGB-D主要用在室内娱乐,随着RGB-D相机成本的降低,其在视频监控领域也有着越来越广泛的应用。
发明内容
针对上述现有技术中存在的问题,本发明的目的在于,提供一种复杂场景下的人数统计方法,该方法能够精确的统计出行人人数。
为了实现上述目的,本发明采用如下技术方案:
一种复杂场景下的人数统计方法,包括以下步骤:
步骤一,在复杂场景中架设相机,对相机进行标定,计算相机的参数矩阵;
步骤二,利用相机对包含人体目标的复杂场景进行拍摄,获取多幅深度图;针对每幅深度图采用如下方法进行处理:
获取深度图对应的俯视图;针对俯视图进行去背景操作得到前景图片,针对前景图片进行分块操作得到分块后的图片,针对分块后的图片进行寻找局部最大区域操作得到局部最大区域集合,针对局部最大区域集合进行扩展局部最大区域操作得到扩展后的局部最大区域集合,针对扩展后的局部最大区域集合进行过滤矩形框处理,得到包含有多个元素的矩形框集合;提取矩形框集合中的每个元素的属性,将每个元素的属性形成一个集合V;
步骤三,利用所有的集合V训练形成分类器;
步骤四,重复步骤二,重新对步骤二中的复杂场景进行拍摄,得到多个集合V',相机拍摄得到的每幅深度图对应一个集合V',针对每个集合V',将其输入到分类器内,分类器分别输出集合V'中的每个元素分类为人头的概率,若某元素对应的概率大于设定值,则将该元素确定为人头,得到集合V'中的人头数目,即该幅深度图中的人头数目;针对所有的深度图得到每幅深度图中的人头数目,即人体目标数目。
具体地,步骤二中的针对每幅深度图分别获取深度图对应的俯视图,以一幅深度图获取该深度图对应的俯视图为例,采用的公式如下:
len=m*r
其中,θ为深度图上经过P(xp,yp,zp)点的对应射线与地平面的夹角;G(xG,yG,0)为过P点的斜线与地平面的交点;HC为相机高度;m为P点在深度图中的深度值,且0<m<D,;mi、ni分别为深度图上的点的横纵坐标;其中D为用户设定的最大像素值;r为单位深度值所对应的世界空间中的距离,p11,p12,p21,p22,p31,p32,p34,p14,p24为所述参数矩阵的元素;
利用以下公式得到俯视图I:
其中,(u,v)表示深度图上的点P对应的俯视图I中的像素点,I(u,v)表示像素点(u,v)处的像素值,(rx,ry)为点P的(xp,yp)的缩放系数,(dx,dy)为对点P的(xp,yp)平移系数;
针对深度图中的每一个点,得到该点对应的俯视图中的像素点和该像素点处的像素值,所有的像素值形成俯视图I。
具体地,所述步骤二中的针对俯视图进行去背景操作得到前景图片,采用的公式如下:
其中,δF为用户设定的用于提取前景的阈值,IF(u,v)表示前景图片IF中像素点(u,v)处的像素值,Ib(u,v)为背景图Ib在像素点(u,v)位置处的像素值。
具体地,所述步骤二中的针对前景图片进行分块操作得到分块后的图片,采用的公式如下:
其中,IF(u,v)为前景图片IF坐标为(u,v)的像素值,IB(x,y)为分块后的前景图片IB在像素点(x,y)位置处的像素值,划定的块的大小为wb×wb。
具体地,所述步骤二中的针对分块后的图片进行寻找局部最大区域操作得到局部最大区域集合,具体包括以下步骤:
针对图片IB上的像素点(x,y),查找该像素点周围的的八个像素点,如果该像素点对应的像素值比八个像素点对应的像素值都要大,将该像素点放入局部最大区域集合SL中,利用SL (i)表示SL的成员,且SL (i)=(li,ti,di),(li,ti)表示该像素点,di为像素点(li,ti)在图片IB中的像素值。
具体地,所述步骤二中的针对局部最大区域集合进行扩展局部最大区域操作得到扩展后的局部最大区域集合,具体包括以下步骤:
针对局部最大区域集合SL的每个元素SL (i),寻找SL (i)在前景图片IF中对应的像素位置,采用的公式为:
其中,(xi,yi)是SL (i)对应于前景图片IF中的位置;令SS (i)=(xi,yi,zi),(xi,yi)表示SL (i)对应于前景图片IF的像素点,zi为局部最大区域的空间高,得到集合SS,SS (i)为集合SS的元素;
针对SS中的每个成员SS (i)=(xi,yi,zi),以SS (i)为种子,利用种子填充法,向外扩展,扩展的条件为:若|IF(xj,yj)-zi|≤δE,则使用一个矩形框SE (i)=(ui,vi,Hi,Wi,zi)框选中所有满足条件的像素点,其中(ui,vi)为矩形框左上角点,(Hi,Wi)为矩形框的高和宽,δE为规定的阈值,形成一个扩展后区域的集合SE,SE (i)为集合SE的元素。
具体地,所述步骤二中的针对扩展后的局部最大区域集合进行过滤矩形框处理,得到包含有多个元素的矩形框集合,包括以下步骤:
采用两个过滤条件对集合SE中的元素进行过滤:
(1)若元素SE (i)符合以下条件:则将该元素删除;
(2)若两个矩形框SE (i)=(ui,vi,Hi,Wi,zi)和SE (j)=(uj,vj,Hj,Wj,zj),满足则判定SE (i)和SE (j)重合,如果重合,则保留zi和zj较大的矩形框;
将保留下的矩形框形成矩形框集合SF,矩形框集合SF中的元素为SF (i)。
具体地,所述集合V中的元素为
V(i)=(L,H,W,Nn,R,SH,SV,DA,DB,DC),其中,L为标记结果,H,W为SF (i)的长和宽,Nn为非零像素个数,R为非零像素比例,SH,SV为水平对称率和垂直对称率;DA,DB,DC为不同阈值δE时,矩形框与原始矩形框的比率。
与现有技术相比,本发明具有以下技术效果:本发明的方法可以有效锁定人头,由于人头在俯视图下稳定的特点,本方法可以有效的利用训练的分类器,去除场景中的伪目标,可以实时地、精确地对场景内的人数进行统计。
附图说明
图1是本发明方法的流程图;
图2是世界坐标系建立示意图;
图3是局部最大区域示意图;
图4是SF绘制至IF的结果图;
图5是非零像素比率图;
图6是垂直对称率和水平对称率示意图;
图7是δE调节后的锁定区域;
图8是相机安装位置示意图;
图9是使用标定支架进行标定示意图;
图10是使用灭点法获得标定点示意图;
图11是深度图;
图12是俯视图;
图13是目标锁定示意图;其中,(a)表示前景图片,(b)表示块化后的图片,(c)表示局部最大区域,(d)表示扩展后的局部最大区域,(e)表示过滤后的矩形框;
图14是人工标记示意图;
图15是高斯混合模型;其中,(a)表示负样本的宽高分布直方,(b)表示正样本的宽高分布直方,(c)表示负样本的高斯混合模型概率,(d)表示正样本的高斯混合模型概率;
图16是SVM测试结果图。
下面结合附图和具体实施方式对本发明的方案做进一步详细地解释和说明。
具体实施方式
本发明的复杂场景下的人数统计方法,参见图1,具体包括以下步骤:
步骤一,对相机进行标定,计算相机的参数矩阵P;
步骤1.1,将相机安装在复杂场景的上方,相机的安装高度为HC,建立相机坐标系,相机坐标系的X轴平行于复杂场景的地面。复杂场景指的是公交站台、公共场所、扶梯等场景。
步骤1.2,建立世界坐标系。选定相机与地面的垂足为世界坐标系的原点,世界坐标系的X轴平行于相机坐标系的X轴,世界坐标系的Y轴在地面处,指向相机照射的方向,世界坐标系的Z轴垂直于地面,如图2所示。
步骤1.3,对相机进行标定。使用标定支架,选定N(N≥6)组图像坐标和与之对应的世界坐标:
使用下述公式计算相机的参数矩阵P:
其中,
步骤二,利用相机对包含人体目标的复杂场景进行拍摄,获取多幅深度图;针对每幅深度图分别获取深度图对应的俯视图;针对每幅俯视图分别进行去背景、块化、寻找局部最大区域、扩展局部最大区域和过滤矩形框处理,得到多个矩形框集合SF;提取每个矩形框集合SF中的元素SF (i)的属性,将元素SF (i)的属性形成一个集合V,每个矩形框集合SF均形成一个集合V;具体包括以下步骤:
步骤2.1,相机对复杂场景进行拍摄,若相机采用RGBD相机,则相机拍摄得到一段视频图像,该段视频图像包括多幅深度图,若相机采用双目相机,在两个相机分别架设在复杂场景的两侧,针对两个相机分别拍摄得到的视频图像,利用OpenCV的SGBM类获得多幅深度图;
步骤2.2,针对每幅深度图分别获取其对应的俯视图,具体包括以下步骤:
参见图4,深度图中的深度值代表的是世界坐标空间中的点,如点P到摄像机的距离len,即图中小直角三角形斜边的长度,我们根据世界坐标系下物体的几何关系可得如下公式:
len=m*r (4)
其中,θ为深度图上经过P点的对应射线与地平面的夹角;G(xG,yG,0)为过P点的斜线与地平面的交点;HC为相机高度;m(0<m<D)为P点在深度图中的深度值,其中D用户设定的最大像素值;r为单位深度值所对应的世界空间中的距离,p11,p12,p21,p22,p31,p32,p34,p14,p24为所述参数矩阵的元素。
得到P点的坐标以后,对P点进行缩放和平移,使其位于俯视图I的中央,则:
其中,(u,v)表示点P对应的俯视图I中的像素点,I(u,v)表示像素点(u,v)处的像素值,其中(rx,ry)为对点P的(xp,yp)的缩放系数,(dx,dy)为对点P的(xp,yp)平移系数。
针对深度图中的每一个点,得到该点对应的俯视图中的像素点和该像素点出的像素值,所有的像素值形成俯视图I。
针对所有的深度图均采用上述方法得到所有的俯视图Ii,i∈[1,M],M表示得到的俯视图的幅数。
选取N(N≥50)幅俯视图Ii(i∈[1,50]),利用平均值法求取背景图Ib,所采用的公式如下:
其中,H为俯视图的长度,W为俯视图的宽度,Ib(x,y)为背景图Ib在像素点(x,y)位置处的像素值,即可求得背景图Ib。
步骤2.3,针对步骤二得到的每幅俯视图Ii,i∈[1,M],分别进行去背景、块化、寻找局部最大区域、扩展局部最大区域和过滤矩形框处理,得到多个矩形框集合SF,针对一副俯视图I的处理过程如下:
去背景:针对俯视图I,采用公式(8)得到前景图片IF:
其中,δF为用户设定的用于提取前景的阈值,IF(u,v)表示前景图片IF中像素点(u,v)处的像素值。
分块操作:采用大小为wb×wb的块对前景图片IF进行块化,得到图片IB,采用的公式为:
其中,IF(u,v)为前景图片IF坐标为(u,v)的像素值,IB(x,y)为图片IB在像素点(x,y)位置处的像素值。
寻找局部最大区域:针对图片IB上的像素点(x,y),查找该像素点周围的的八个像素点,如果该像素点对应的像素值比八个像素点对应的像素值都要大,将该像素点放入局部最大区域集合SL中,采用SL (i)表示SL的元素,且SL (i)=(li,ti,di),(li,ti)表示该像素点,di为像素点(li,ti)在图片IB中的像素值。
扩展局部最大区域:针对局部最大区域集合SL的每个元素SL (i),寻找SL (i)在前景图片IF中对应的像素位置,采用的公式为:
其中,(xi,yi)是SL (i)对应于前景图片IF中的位置。令SS (i)=(xi,yi,zi),(xi,yi)表示SL (i)对应于前景图片IF的像素点,zi为局部最大区域的空间高,可得到集合SS,SS (i)为集合SS的元素。
针对SS中的每个成员SS (i)=(xi,yi,zi),以SS (i)为种子,利用种子填充法,向外扩展,扩展的条件为:若|IF(xj,yj)-zi|≤δE,δE为规定的阈值=10,则使用一个矩形框SE (i)=(ui,vi,Hi,Wi,zi)框选中所有满足条件的像素点,其中(ui,vi)为矩形框左上角点,(Hi,Wi)为矩形框的高和宽,zi为原始像素值(即矩形框的空间高度),最后形成一个扩展后区域的集合SE,SE (i)为集合SE的元素。
过滤矩形框处理:得到扩展区域后,需要过滤重叠区域和非正常区域,使用两个过滤条件,1.若矩形框SE (i)符合以下条件:则不予保留;2.若两个矩形框SE (i)=(ui,vi,Hi,Wi,zi)和SE (j)=(uj,vj,Hj,Wj,zj),满足则判定SE (i)和SE (j)重合,如果重合,则保留zi和zj较大的矩形框。
保留下的矩形框形成矩形框集合SF,矩形框集合SF中的元素为SF (i),至此完成目标锁定任务。
针对每幅俯视图分别进行去背景、块化、寻找局部最大区域、扩展局部最大区域和过滤矩形框处理,得到多个矩形框集合SF,参见图3。
步骤2.4,针对多个矩形框集合SF分别提取矩形框集合SF中的元素SF (i)的属性,具体实现方法如下;
将SF绘制到IF上,如图4所示。通过人工的方法标记出人头和非人头,即正样本和负样本,每次标记,并提取出当前SF (i)的属性,将标记和属性使用向量V(i)=(L,H,W,Nn,R,SH,SV,D20,D30,D40)表示,其中L为标记结果,H,W为SF (i)的长和宽,Nn为非零像素个数,R为非零像素比例,SH,SV为水平对称率和垂直对称率,D20,D30,D40为将δE分别调节至20、30和40后,所形成的矩形框与原始矩形框的比率。下面将逐一介绍这些属性:
标记L:L∈{0,1},当L=0是则为非人头,否则为人头;
矩形框的长和宽H,W:即SF (i)的(Hi,Wi);
非零像素个数和非零像素比率:如图5,在锁定的人头矩形框中像素值为0的像素个数记为Nn,则非零像素比率
水平对称率和垂直对称率:如图6所示为锁定的人头矩形框,即SF (i),那么水平对称率是同理可得,垂直对称率为
D20,D30,D40:利用步骤三中锁定人头的种子填充方法,将δE分别调节至20、30和40后,所得到的锁定区域,如图7所示,δE=10的时候锁定结果,记其矩形框面积为S10;δE=20的锁定结果,记其矩形框面积为S20;δE=30的锁定结果,记其矩形框面积为S30;δE=40的锁定结果,记其矩形框面积为S40;那么,有
最后将V(i)放入集合V中。针对每个集合SF均得到一个集合V。
步骤三,利用多个集合V训练分类器。使用多个集合V进行分类器的训练,可以选取其中的部分属性,训练高斯混合模型,作为一分类器,也可以训练SVM或Adaboost作为分类器,或者其他机器学习分类器,此处没有严格限制,这些分类器都在本专利的作用范畴。在实验例程中,将V分为训练样本Vtrain和测试样本Vtest,使用N折叠法进行交叉验证,最后在测试样本中进行测试。至此,完成训练过程。
步骤四,重复步骤二,重新对步骤二中的复杂场景进行拍摄,此时的复杂场景中的人体目标和位置发生改变,从而得到多个集合V',相机拍摄得到的每幅深度图对应一个集合V',针对每个集合V',将其输入到分类器内,分类器输出集合V'中的每个元素V'(i)分类为人头的概率pi,若pi>m,m=0.5,则将元素V'(i)确定为人头,得到集合V'中的人头数目,即该幅深度图中的人头数目;最终得到每幅深度图中的人头数目,即人体目标数目。
实施例
本发明的方法可以应用在多种复杂场景下,比如公交站台、公共场所、扶梯等。在具体实施的过程中,我们选择公交车作为应用的对象,下面将逐一介绍在应用的时候所选用的参数和实验结果。
步骤一,架设相机;世界坐标系建立在如图8所示的位置。对相机进行标定,在实验的过程中,我们使用两种方法来获得N(N≥6)组图像坐标和与之对应的世界坐标(以后称为标定点组),第一种方法是使用我们自己制作的标定支架,第二种方法是根据场景中的灭点来获得。在实验中,我们取使用标定支架N=6,如图9所示,是使用标定架进行标定的中间结果;
此外,我们还尝试使用场景中的灭点方法来获得标定点组,如图10为灭点方法获得的标定点组;
无论哪种方法,其目的都是相同的,就是获得标定点组,当得到标定点组后,我们利用前面介绍的原理,来计算相机的参数矩阵P。
步骤二、获取多个集合V
获得深度图,分两种情况,如果是RGBD相机,则可以通过OpenNI提供的接口直接获得深度图,如果是双目相机,那么则需要获取左右相机的图片来计算出深度图。我们使用OpenCV的SGBM类获得视差图,即深度图。图11为获得的一帧深度图
获得俯视图,我们将相机安装在HC=254处,利用上面介绍的方法,得到如图12所示的结果;
目标锁定,分析生成的俯视图I,经过,去背景、块化、寻找局部最大区域、扩展局部最大区域和过滤矩形框,每个步骤的结果如图13。采集N=100张图片提取背景,提取前景的时候,设置δF=10,得到如图13中的(a)所示的结果;在块化的时候,设置wb×wb=5×5,得到图13中的(b)所示的结果;经过寻找局部最大区域后,得到图13中的(c)的结果;在扩展局部最大区域的时候,设置δE=10,得到图13中的(d)所示的结果;在过滤矩形框的时候,设置δH=40,δW=60,我们得到图13中的(e)所示的结果;
人工标记,设计一款专门用于标定的软件,方便标记,标记的结果如图16,其中红色的矩形框标记为人头,黄色矩形框标记为非人头,最后提取出训练样本5323个(包括正样本3272个,负样本2051个),测试样本1739个(包括正样本1229个,负样本510个),如图14。
步骤三、训练分类器。我们尝试训练两个分类器,其中一个方法是利用样本的H,W训练一个高斯混合模型,如图15所示,(a)为负样本的宽高分布直方图,(b)为正样本的宽高分布直方图,(c)为负样本的高斯混合模型概率图,(d)为正样本的高斯混合模型概率图,最后利用贝叶斯公式可得到指定H,W的概率,即判定是否为人头;另一个方法是训练一个SVM分类器,设置RBF核,经过10折叠法交叉验证后得到最优参数c=9.1896,g=0.0039063,最后经过测试得到图16的结果。
步骤四、识别过程
系统在启动的时候,加载训练过程中训练的分类器,然后进行获取深度图、俯视图生成、目标锁定,其过程与训练过程的步骤相同。完成上述步骤后,我们使用SVM分类器进行场景人数的识别。
Claims (8)
1.一种复杂场景下的人数统计方法,其特征在于,包括以下步骤:
步骤一,在复杂场景中架设相机,对相机进行标定,计算相机的参数矩阵;
步骤二,利用相机对包含人体目标的复杂场景进行拍摄,获取多幅深度图;针对每幅深度图采用如下方法进行处理:
获取深度图对应的俯视图;针对俯视图进行去背景操作得到前景图片,针对前景图片进行分块操作得到分块后的图片,针对分块后的图片进行寻找局部最大区域操作得到局部最大区域集合,针对局部最大区域集合进行扩展局部最大区域操作得到扩展后的局部最大区域集合,针对扩展后的局部最大区域集合进行过滤矩形框处理,得到包含有多个元素的矩形框集合;提取矩形框集合中的每个元素的属性,将每个元素的属性形成一个集合V;
步骤三,利用所有的集合V训练形成分类器;
步骤四,重复步骤二,重新对步骤二中的复杂场景进行拍摄,得到多个集合V',相机拍摄得到的每幅深度图对应一个集合V',针对每个集合V',将其输入到分类器内,分类器分别输出集合V'中的每个元素分类为人头的概率,若某元素对应的概率大于设定值,则将该元素确定为人头,得到集合V'中的人头数目,即该幅深度图中的人头数目;针对所有的深度图得到每幅深度图中的人头数目,即人体目标数目。
2.如权利要求1所述的复杂场景下的人数统计方法,其特征在于,步骤二中的针对每幅深度图分别获取深度图对应的俯视图,以一幅深度图获取该深度图对应的俯视图为例,采用的公式如下:
len=m*r
其中,θ为深度图上经过P(xp,yp,zp)点的对应射线与地平面的夹角;G(xG,yG,0)为过P点的斜线与地平面的交点;HC为相机高度;m为P点在深度图中的深度值,0<m<D,其中D为用户设定的最大像素值;r为单位深度值所对应的世界空间中的距离,p11,p12,p21,p22,p31,p32,p34,p14,p24为所述参数矩阵的元素;
利用以下公式得到俯视图I:
其中,(u,v)表示深度图上的点P对应的俯视图I中的像素点,I(u,v)表示像素点(u,v)处的像素值,(rx,ry)为点P的(xp,yp)的缩放系数,(dx,dy)为对点P的(xp,yp)平移系数;
针对深度图中的每一个点,得到该点对应的俯视图中的像素点和该像素点处的像素值,所有的像素值形成俯视图I。
3.如权利要求2所述的复杂场景下的人数统计方法,其特征在于,所述步骤二中的针对俯视图进行去背景操作得到前景图片,采用的公式如下:
其中,δF为用户设定的用于提取前景的阈值,IF(u,v)表示前景图片IF中像素点(u,v)处的像素值,Ib(u,v)为背景图Ib在像素点(u,v)位置处的像素值。
4.如权利要求3所述的复杂场景下的人数统计方法,其特征在于,所述步骤二中的针对前景图片进行分块操作得到分块后的图片,采用的公式如下:
其中,IF(u,v)为前景图片IF坐标为(u,v)的像素值,IB(x,y)为分块后的前景图片IB在像素点(x,y)位置处的像素值,划定的块的大小为wb×wb。
5.如权利要求4所述的复杂场景下的人数统计方法,其特征在于,所述步骤二中的针对分块后的图片进行寻找局部最大区域操作得到局部最大区域集合,具体包括以下步骤:
针对图片IB上的像素点(x,y),查找该像素点周围的的八个像素点,如果该像素点对应的像素值比八个像素点对应的像素值都要大,将该像素点放入局部最大区域集合SL中,利用SL (i)表示SL的成员,且SL (i)=(li,ti,di),(li,ti)表示该像素点,di为像素点(li,ti)在图片IB中的像素值。
6.如权利要求5所述的复杂场景下的人数统计方法,其特征在于,所述步骤二中的针对局部最大区域集合进行扩展局部最大区域操作得到扩展后的局部最大区域集合,具体包括以下步骤:
针对局部最大区域集合SL的每个元素SL (i),寻找SL (i)在前景图片IF中对应的像素位置,采用的公式为:
其中,令SS (i)=(xi,yi,zi),(xi,yi)表示SL (i)对应于前景图片IF的像素点,zi为局部最大区域的空间高,得到集合SS,SS (i)为集合SS的元素;
针对SS中的每个成员SS (i)=(xi,yi,zi),以SS (i)为种子,利用种子填充法,向外扩展,扩展的条件为:若|IF(xj,yj)-zi|≤δE,则使用一个矩形框SE (i)=(ui,vi,Hi,Wi,zi)框选中所有满足条件的像素点,其中(ui,vi)为矩形框左上角点,(Hi,Wi)为矩形框的高和宽,δE为规定的阈值,形成一个扩展后区域的集合SE,SE (i)为集合SE的元素。
7.如权利要求6所述的复杂场景下的人数统计方法,其特征在于,所述步骤二中的针对扩展后的局部最大区域集合进行过滤矩形框处理,得到包含有多个元素的矩形框集合,包括以下步骤:
采用两个过滤条件对集合SE中的元素进行过滤:
(1)若元素SE (i)符合以下条件:则将该元素删除;
(2)若两个矩形框SE (i)=(ui,vi,Hi,Wi,zi)和SE (j)=(uj,vj,Hj,Wj,zj),满足则判定SE (i)和SE (j)重合,如果重合,则保留zi和zj较大的矩形框;
将保留下的矩形框形成矩形框集合SF,矩形框集合SF中的元素为SF (i)。
8.如权利要求7所述的复杂场景下的人数统计方法,其特征在于,所述集合V中的元素为V(i)=(L,H,W,Nn,R,SH,SV,DA,DB,DC),其中,L为标记结果,H,W为SF (i)的长和宽,Nn为非零像素个数,R为非零像素比例,SH,SV为水平对称率和垂直对称率;DA,DB,DC为不同阈值δE时,矩形框与原始矩形框的比率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610607201.7A CN106228560B (zh) | 2016-07-28 | 2016-07-28 | 一种复杂场景下的人数统计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610607201.7A CN106228560B (zh) | 2016-07-28 | 2016-07-28 | 一种复杂场景下的人数统计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106228560A CN106228560A (zh) | 2016-12-14 |
CN106228560B true CN106228560B (zh) | 2019-05-14 |
Family
ID=57533836
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610607201.7A Expired - Fee Related CN106228560B (zh) | 2016-07-28 | 2016-07-28 | 一种复杂场景下的人数统计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106228560B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106600576B (zh) * | 2016-10-25 | 2020-02-18 | 深圳秀蛋科技有限公司 | 一种基于rgb-d相机的人头锁定方法 |
CN109325963B (zh) * | 2018-08-07 | 2021-05-18 | 长安大学 | 一种基于svm的公交乘客三维轨迹分类方法 |
RU2696548C1 (ru) | 2018-08-29 | 2019-08-02 | Александр Владимирович Абрамов | Способ построения системы видеонаблюдения для поиска и отслеживания объектов |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102890791A (zh) * | 2012-08-31 | 2013-01-23 | 浙江捷尚视觉科技有限公司 | 基于深度信息聚类的复杂场景人数统计方法 |
CN104349136A (zh) * | 2013-08-08 | 2015-02-11 | 满景资讯股份有限公司 | 三维侦测装置侦测影像的方法 |
CN104899947A (zh) * | 2015-05-25 | 2015-09-09 | 郑州天迈科技股份有限公司 | 公交客流统计方法 |
CN105096292A (zh) * | 2014-04-30 | 2015-11-25 | 株式会社理光 | 对象数量估计方法和装置 |
CN105512720A (zh) * | 2015-12-15 | 2016-04-20 | 广州通达汽车电气股份有限公司 | 一种公交车辆客流统计方法和系统 |
CN105760846A (zh) * | 2016-03-01 | 2016-07-13 | 北京正安维视科技股份有限公司 | 基于深度数据的目标检测与定位方法及系统 |
CN105809183A (zh) * | 2014-12-31 | 2016-07-27 | 深圳中兴力维技术有限公司 | 基于视频的人头跟踪方法及其装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103164851B (zh) * | 2011-12-09 | 2016-04-20 | 株式会社理光 | 道路分割物检测方法和装置 |
US10009579B2 (en) * | 2012-11-21 | 2018-06-26 | Pelco, Inc. | Method and system for counting people using depth sensor |
CN105654021B (zh) * | 2014-11-12 | 2019-02-01 | 株式会社理光 | 检测人群对目标位置关注度的方法及设备 |
-
2016
- 2016-07-28 CN CN201610607201.7A patent/CN106228560B/zh not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102890791A (zh) * | 2012-08-31 | 2013-01-23 | 浙江捷尚视觉科技有限公司 | 基于深度信息聚类的复杂场景人数统计方法 |
CN104349136A (zh) * | 2013-08-08 | 2015-02-11 | 满景资讯股份有限公司 | 三维侦测装置侦测影像的方法 |
CN105096292A (zh) * | 2014-04-30 | 2015-11-25 | 株式会社理光 | 对象数量估计方法和装置 |
CN105809183A (zh) * | 2014-12-31 | 2016-07-27 | 深圳中兴力维技术有限公司 | 基于视频的人头跟踪方法及其装置 |
CN104899947A (zh) * | 2015-05-25 | 2015-09-09 | 郑州天迈科技股份有限公司 | 公交客流统计方法 |
CN105512720A (zh) * | 2015-12-15 | 2016-04-20 | 广州通达汽车电气股份有限公司 | 一种公交车辆客流统计方法和系统 |
CN105760846A (zh) * | 2016-03-01 | 2016-07-13 | 北京正安维视科技股份有限公司 | 基于深度数据的目标检测与定位方法及系统 |
Non-Patent Citations (5)
Title |
---|
Reliable Human Detection and Tracking in Top-View Depth Image;Michael Rauter;《2013 IEEE Conference on Computer Vision and Pattern Recognition Workshops》;20130912;第529-534页 |
Top-view People Counting in Public Transportation using Kinect;Filip Malawski;《Challenges of Modern Technology》;20141231;第5卷(第4期);第17-20页 |
Vision-Based Obstacle Avoidance in Sidewalk Environment Using Top-View Transform and Optical-Flow;Qing Lin et al.;《Journal of Measurement Science and Instrumentation》;20111231;第2卷(第4期);第341-345页 |
一种快速的俯视行人检测方法;唐春晖 等;《系统仿真学报》;20120930;第24卷(第9期);第1999-2002页 |
三维自动客流计数系统设计;尹章芹;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140715;第I138-772页 |
Also Published As
Publication number | Publication date |
---|---|
CN106228560A (zh) | 2016-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021004312A1 (zh) | 一种基于双目立体视觉系统的车辆智能测轨迹方法 | |
CN105279372B (zh) | 一种确定建筑物高度的方法和装置 | |
CN104850850B (zh) | 一种结合形状和颜色的双目立体视觉图像特征提取方法 | |
CN106600643B (zh) | 一种基于轨迹分析的人数统计方法 | |
CN104778721B (zh) | 一种双目图像中显著性目标的距离测量方法 | |
JP5306652B2 (ja) | 集積された画像プロセッサ | |
CN105956539B (zh) | 一种应用背景建模和双目视觉原理的人体身高测量方法 | |
CN103824070B (zh) | 一种基于计算机视觉的快速行人检测方法 | |
CN106599776B (zh) | 一种基于轨迹分析的人数统计方法 | |
CN107301378B (zh) | 图像中多分类器集成的行人检测方法和系统 | |
CN110956661B (zh) | 基于双向单应矩阵的可见光与红外相机动态位姿计算方法 | |
CN106971185B (zh) | 一种基于全卷积网络的车牌定位方法及装置 | |
CN104182968B (zh) | 宽基线多阵列光学探测系统模糊动目标分割方法 | |
CN106570883B (zh) | 一种基于rgb-d相机的人数统计方法 | |
CN105096307A (zh) | 在成对的立体图像中检测物体的方法 | |
CN109544635B (zh) | 一种基于枚举试探的相机自动标定方法 | |
CN106228560B (zh) | 一种复杂场景下的人数统计方法 | |
CN109242900B (zh) | 焦平面定位方法、处理装置、焦平面定位系统及存储介质 | |
CN110675442A (zh) | 一种结合目标识别技术的局部立体匹配方法及系统 | |
CN108460333A (zh) | 基于深度图的地面检测方法及装置 | |
CN111626241A (zh) | 一种人脸检测方法及装置 | |
US9087381B2 (en) | Method and apparatus for building surface representations of 3D objects from stereo images | |
US20210295478A1 (en) | Method and apparatus for recognizing landmark in panoramic image and non-transitory computer-readable medium | |
CN113096016A (zh) | 一种低空航拍图像拼接方法和系统 | |
CN115880643B (zh) | 一种基于目标检测算法的社交距离监测方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190514 |
|
CF01 | Termination of patent right due to non-payment of annual fee |