CN106845361B - 一种行人头部识别方法及系统 - Google Patents

一种行人头部识别方法及系统 Download PDF

Info

Publication number
CN106845361B
CN106845361B CN201611225893.5A CN201611225893A CN106845361B CN 106845361 B CN106845361 B CN 106845361B CN 201611225893 A CN201611225893 A CN 201611225893A CN 106845361 B CN106845361 B CN 106845361B
Authority
CN
China
Prior art keywords
pixel
point
value
area
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201611225893.5A
Other languages
English (en)
Other versions
CN106845361A (zh
Inventor
张勇
刘磊
陈泽虹
赵东宁
李岩山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201611225893.5A priority Critical patent/CN106845361B/zh
Publication of CN106845361A publication Critical patent/CN106845361A/zh
Application granted granted Critical
Publication of CN106845361B publication Critical patent/CN106845361B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本发明适用于图像处理技术领域，提供了一种行人头部识别方法及系统，其中，行人头部识别方法包括：步骤S1，采集目标区域的深度图像，并从深度图像中提取前景图像；步骤S2，从前景图像中提取所有的感兴趣区域即ROI区域；步骤S3，以每一个ROI区域中的每一个像素点为圆心，通过构造同心圆来计算当前像素点属于头部区域内的像素点的概率，得到每个ROI区域中的每个像素点的概率值，将每个ROI区域中每个像素点的概率值与预置的第一阈值比较，将低于第一阈值的像素点滤除，剩下的以区域形式存在的像素点即为头部区域的点，每个区域即为识别出的一个头部；本发明提供的识别方法提高了头部识别准确率和效率。

Description

一种行人头部识别方法及系统
技术领域
本发明属于图像处理技术领域，尤其涉及一种行人头部识别方法及系统。
背景技术
计算机视觉技术的突飞猛进带动了整个智能视频监控产业链的快速发展，由此孕育的巨大商机激发越来越多的企业及研究机构投入到该行业的前沿技术研发中来。在此背景下，基于图像处理、模式识别的行人检测技术逐渐发展起来，该项技术在智能视频监控领域中逐渐占据非常重要的地位。
现有的基于图像处理的行人头部识别方法一般是通过识别人的一些身体特征比如识别头发的颜色、头部的轮廓或者头肩部模型等方式实现，但是上述特征均不具有代表性；比如，有些染过的头发的颜色并不能很好的识别，头发的颜色也会随着光照等因素变化，并且穿的衣服与头发颜色接近或者戴帽子等情况下也会干扰识别，造成识别准确率低；采用摄像头提取人头部的轮廓时，头部的轮廓会根据行人的运动而变化，不具有统一性；头肩部模型采用的是摄像头斜向下拍摄的方式，这样会产生遮挡问题，不能准确识别。
发明内容
本发明所要解决的技术问题在于提供一种行人头部识别方法及系统，旨在通过图像处理的方式智能高效的识别出人头部。
本发明提供了一种行人头部识别方法，包括：
步骤S1，获取深度摄像头垂直对准地面时从目标区域采集到的深度图像，并从所述深度图像中提取前景图像；
步骤S2，从所述前景图像中提取所有头部的潜在区域作为感兴趣区域即ROI区域；
步骤S3，以每一个ROI区域中的每一个像素点为圆心，通过构造同心圆来计算当前像素点属于头部区域内的像素点的概率，得到每个ROI区域中的每个像素点的概率值，将每个ROI区域中每个像素点的概率值与预置的第一阈值比较，将低于所述第一阈值的像素点滤除，剩下的以区域形式存在的像素点即为头部区域的点，每个区域即为识别出的一个头部。
进一步地，所述步骤S1具体为：利用深度摄像头垂直对准地面，采集目标区域的深度图像，得到深度图像中坐标为(x,y)的点的像素值f(x,y)，将所述像素值f(x,y)和通过预先背景建模得到的坐标为(x,y)的点的像素值bg(x,y)比较，并结合公式得到前景图像中坐标为(x,y)的点的像素值mask(x,y)；
所述公式为：
Figure BDA0001193441820000021
其中，Tbg为背景模型和前景图像区分阈值；
上述通过预先背景建模得到坐标为(x,y)的点的像素值bg(x,y)的过程具体为：通过采集若干张所述目标区域的背景图像，并对所述若干张背景图像中坐标为(x，y)的点的像素值取均值得到；
所述坐标为(x,y)的点的像素值为该点在目标区域中的对应点与所述深度摄像头的相对距离。
进一步地，所述步骤S2具体包括：
步骤S21，以所述前景图像中的每一个像素点P为中心点，根据公式计算其8邻域中像素点的像素值的均值m；
所述公式为：
其中，p(k)为该邻域内的像素点的像素值；
步骤S22，若该邻域的均值m和其中心点像素值p的差值的绝对值d小于预置的第二阈值Tm，则根据方差公式计算该邻域内的方差v；
所述方差公式为：
Figure BDA0001193441820000031
步骤S23，若方差v小于预置的第三阈值Tv，则判定该邻域属于ROI区域。
进一步地，所述步骤S3具体包括：
步骤S31，以每一个ROI区域中的每一个像素点为圆心，构造同心圆，所述同心圆的内圆半径为r，外圆半径为n×r；
其中，
Figure BDA0001193441820000032
R为通过统计得到的人头部区域中心点到边缘的平均像素点个数，1.2≤n≤1.7；
步骤S32，对内圆内取得的像素点的像素值进行排序，记录从内圆区域中取得的像素点的像素值所形成的序列ArrayInner，所述序列ArrayInner的长度为lengthInner，其中，像素值最大点的像素值为NinnerMax；并对内外圆之间的区域内取得的像素点的像素值进行排序，记录从内外圆之间的区域取得的像素点的像素值所形成的序列ArrayOuter，所述序列ArrayOuter的长度为lengthOuter，其中，像素值最小点的像素值为NouterMin；
上述取得的像素点在各自区域内满足均匀分布，且从内圆区域内取得的像素点的数量lengthInner与从内外圆之间的区域取得的像素点的数量lengthOuter相等；
步骤S33，计算在序列ArrayOuter中比NinnerMax小的点的数量作为Num_1，计算在序列ArrayInner中比NouterMin大的点的数量作为Num_2，并根据公式计算当前像素点属于头部区域内的像素点的概率L，并记录概率值；
所述公式为：
L＝(lengthInner+lengthOuter-Num_1-Num_2)/(lengthInner+lengthOuter)；
步骤S34，增大同心圆的内圆半径为rnew，rnew＝r+r×α，其中α代表同心圆的内圆半径r增大的速度，0＜α＜1，此时，外圆半径为n×rnew；当rnew≦2R时，令r＝rnew，并重复上述步骤S32-S34来计算ROI区域中的每一个像素点属于头部区域内的像素点的概率，并记录概率值，以记录的每一个像素点的最大概率作为该像素点属于头部区域内的像素点的最终概率；当rnew>2R时，转至步骤S35；
步骤S35，将每个像素点的最终概率与所述第一阈值比较，将低于所述第一阈值的像素点滤除，剩下的以区域形式存在的像素点即为头部区域的点，每个区域即为识别出的一个头部。
本发明还提供了一种行人头部识别系统，包括：
前景图像提取模块，用于获取深度摄像头垂直对准地面时从目标区域采集到的深度图像，并从所述深度图像中提取前景图像；
ROI区域提取模块，用于从所述前景图像中提取所有头部的潜在区域作为感兴趣区域即ROI区域；
头部识别模块，用于通过构造同心圆来识别人头部区域；具体地，以每一个ROI区域中的每一个像素点为圆心，通过构造同心圆来计算当前像素点属于头部区域内的像素点的概率，得到每个ROI区域中的每个像素点的概率值，将每个ROI区域中每个像素点的概率值与预置的第一阈值比较，将低于所述第一阈值的像素点滤除，剩下的以区域形式存在的像素点即为头部区域的点，每个区域即为识别出的一个头部。
进一步地，所述前景图像提取模块具体用于：利用深度摄像头垂直对准地面，采集目标区域的深度图像，得到深度图像中坐标为(x,y)的点的像素值f(x,y)，将像素值f(x,y)和通过预先背景建模得到的坐标为(x,y)的点的像素值bg(x,y)比较，并结合公式得到前景图像中坐标为(x,y)的点的像素值mask(x,y)；
所述公式为：
Figure BDA0001193441820000051
其中，Tbg为背景模型和前景图像区分阈值；
上述通过预先背景建模得到坐标为(x,y)的点的像素值bg(x,y)的过程具体为：通过采集若干张所述目标区域的背景图像，并对所述若干张背景图像中坐标为(x,y)的点的像素值取均值得到；
所述坐标为(x,y)的点的像素值为该点在目标区域中的对应点与所述深度摄像头的相对距离。
进一步地，所述ROI区域提取模块具体包括：
均值计算子模块，用于以所述前景图像中的每一个像素点P为中心点，根据公式计算其8邻域中像素点的像素值的均值m；
所述公式为：
Figure BDA0001193441820000052
其中，p(k)为该邻域内的像素点的像素值；
方差计算子模块，用于在该邻域的均值m和其中心点像素值p的差值的绝对值d小于预置的第二阈值Tm时，根据方差公式计算该邻域内的方差v；
所述方差公式为：
Figure BDA0001193441820000053
ROI区域判定子模块，用于在方差v小于预置的第三阈值Tv时，判定该邻域属于ROI区域。
进一步地，所述头部识别模块具体包括：
同心圆构造子模块，用于以每一个ROI区域中的每一个像素点为圆心，构造同心圆，所述同心圆的内圆半径为r，外圆半径为n×r；
其中，
Figure BDA0001193441820000054
R为通过统计得到的人头部区域中心点到边缘的平均像素点个数，1.2≤n≤1.7；
像素值排序子模块，用于对内圆内取得的像素点的像素值进行排序，记录从内圆区域中取得的像素点的像素值所形成的序列ArrayInner，所述序列ArrayInner的长度为lengthInner，其中，像素值最大点的像素值为NinnerMax；并对内外圆之间的区域内取得的像素点的像素值进行排序，记录从内外圆之间的区域取得的像素点的像素值所形成的序列ArrayOuter，所述序列ArrayOuter的长度为lengthOuter，其中，像素值最小点的像素值为NouterMin；
上述取得的像素点在各自区域内满足均匀分布，且从内圆区域内取得的像素点的数量lengthInner与从内外圆之间的区域取得的像素点的数量lengthOuter相等；
第一概率值确定子模块，用于计算在序列ArrayOuter中比NinnerMax小的点的数量作为Num_1，计算在序列ArrayInner中比NouterMin大的点的数量作为Num_2，并根据公式计算当前像素点属于头部区域内的像素点的概率L，并记录概率值；
所述公式为：
L＝(lengthInner+lengthOuter-Num_1-Num_2)/(lengthInner+lengthOuter)；
第二概率值确定子模块，用于增大同心圆的内圆半径为rnew，rnew＝r+r×α，其中α代表同心圆的内圆半径r增大的速度，0＜α＜1，此时，外圆半径为n×rnew；当rnew≦2R时，令r＝rnew，并返回所述像素值排序子模块来计算ROI区域中的每一个像素点属于头部区域内的像素点的概率，并记录概率值，以记录的每一个像素点的最大概率作为该像素点属于头部区域内的像素点的最终概率；当rnew>2R时，进入头部识别子模块；
头部识别子模块，用于将每个像素点的最终概率与所述第一阈值比较，将低于所述第一阈值的像素点滤除，剩下的以区域形式存在的像素点即为头部区域的点，每个区域即为识别出的一个头部。
本发明与现有技术相比，有益效果在于：本发明提供的一种行人头部识别方法及系统，一方面，在进行头部识别之前，先在前景图像中划定ROI区域来锁定头部的潜在区域，有效降低了算法计算量，提高了识别速度；另一方面，结合人体中只有头部区域有同心圆属性的特征，利用同心圆对头部区域进行度量，提高了头部识别准确率；并且有效避免了由于衣服颜色、头部颜色等对头部识别造成的影响，提高了算法的抗干扰能力。
附图说明
图1是本发明实施例提供的行人头部识别方法的流程示意图；
图2是本发明实施例提供的行人头部识别系统的模块示意图；
图3是本发明实施例提供的一种人流量统计方法的流程示意图；
图4是本发明实施例提供的一种人流量统计系统的模块示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明的主要实现思想为：通过利用深度摄像头采集目标区域的深度图像，并通过背景建模，来从所述深度图像中提取出前景图像；利用头部区域比较平坦的特征，从所述前景图像中提取所有头部的潜在区域作为ROI区域，在每个ROI区域中利用头部区域相对深度摄像机的距离(即像素值)比肩膀以及身体其它区域小的特征，通过构造同心圆来识别出人的头部；具体地，结合以头部区域内的像素点为圆心构造同心圆，内圆内像素点的像素值普遍比内外圆之间的像素点的像素值小的特征，以ROI区域中的每一点为圆心构造同心圆，计算该点属于头部区域的概率，并将所述概率与预置的第一阈值比较，将低于所述第一阈值的像素点滤除，剩下的以区域形式存在的像素点即为头部区域的点，每个区域即为识别出的一个头部。
下面具体介绍这种行人头部识别方法，如图1所示，包括：
步骤S1，获取深度摄像头垂直对准地面时从目标区域采集到的深度图像，并从所述深度图像中提取前景图像。
具体地，本发明采集目标区域所用的摄像头为深度摄像头，其成像原理是通过给目标连续发送光脉冲，然后用传感器接收从目标返回的光，通过探测光脉冲的往返时间来得到目标物距离，所以深度摄像头所形成的图像是一副相对距离图像，即图像中每个像素点的值是目标距离所述深度摄像头的相对距离。为了避免行人之间的遮挡，深度摄像头的拍摄角度为垂直对准地面，此角度能有效的减少行人之间的遮挡。
所述步骤S1具体为：利用深度摄像头垂直对准地面，采集目标区域的深度图像，得到深度图像中坐标为(x,y)的点的像素值f(x,y)，将像素值f(x,y)和通过预先背景建模得到的坐标为(x,y)的点的像素值bg(x,y)比较，并结合公式得到前景图像中坐标为(x,y)的点的像素值mask(x,y)。
所述公式为：
Figure BDA0001193441820000081
其中，Tbg为背景模型和前景图像区分阈值，即将mask(x,y)中属于背景图像的像素点值设定为0，mask(x,y)中像素值不为0的点即为前景图像中的点。
具体地，上述通过预先背景建模得到坐标为(x,y)的点的像素值bg(x,y)的过程具体为：通过采集若干张所述目标区域的背景图像，并对所述若干张背景图像中坐标为(x，y)的点的像素值取均值，得到正对所述目标区域的背景模型bg(x,y)，(x,y)代表图像中的坐标；所述坐标为(x,y)的点的像素值为该点在目标区域中的对应点与所述深度摄像头的相对距离。
具体地，上述目标区域为深度摄像头能采集到的范围内的待检测区域，将所述目标区域中某点与所述深度摄像头的相对距离作为图像中该点的像素值。
步骤S2，从所述前景图像中提取所有头部的潜在区域作为感兴趣区域即ROI区域；
具体地，由于头部区域比较平坦，所以在深度图像中头部区域的像素点值比较接近，即区域的方差较小，即可以通过在图像上将像素值平坦的区域划定为ROI区域(RegionOf Interest，感兴趣区域)，所述ROI区域代表潜在的头部区域，后期的头部识别在ROI区域上进行，ROI区域的确定降低了后期头部判别的压力。
所述步骤S2具体包括：
步骤S21，以所述前景图像中的每一个像素点P为中心点，根据公式计算其8邻域中像素点的像素值的均值m。
具体地，所述8邻域为以一个像素点为中心点，其相邻的8个像素点组成该中心点的8邻域。
所述公式为：
其中，p(k)为该邻域内的像素点的像素值。
步骤S22，若该邻域的均值m和其中心点像素值p的差值的绝对值d小于预置的第二阈值Tm，则根据方差公式计算该邻域内的方差v。
即，d＝｜p-m｜；
所述方差公式为：
Figure BDA0001193441820000092
步骤S23，若方差v小于预置的第三阈值Tv，则判定该邻域属于ROI区域。
具体地，对前景图像中的每一个像素点P进行上述判定，即可提取前景图像中的所有ROI区域。
步骤S3，以每一个ROI区域中的每一个像素点为圆心，通过构造同心圆来计算当前像素点属于头部区域内的像素点的概率，得到每个ROI区域中的每个像素点的概率值，将每个ROI区域中每个像素点的概率值与预置的第一阈值比较，将低于所述第一阈值的像素点滤除，剩下的以区域形式存在的像素点即为头部区域的点，每个区域即为识别出的一个头部。
事实上，不论行人的姿势如何头部区域都是身体的最高区域，根据深度摄像头的成像原理，头部区域的像素值要小于身体其他区域，所以可以结合这个特征，通过在前景图像上构造同心圆的方式实现。
所述步骤S3具体包括：
步骤S31，以每一个ROI区域中的每一个像素点为圆心，构造同心圆，所述同心圆的内圆半径为r，外圆半径为n×r。
其中，
Figure BDA0001193441820000101
R为通过统计得到的人头部区域中心点到边缘的平均像素点个数，1.2≤n≤1.7。
具体地，通过统计得到的人头部区域中心点到边缘的平均像素点个数的方法为：利用深度摄像机垂直拍摄大量行人通过拍摄区域的图像；从大量行人图像中统计行人头部区域的半径，即统计头部区域中心到边缘的像素点个数(此像素点个数称为头部区域的半径)；对统计得到的头部区域半径取均值，得到平均头部区域半径R；以上述平均头部区域半径R的一半为同心圆内圆的半径，即内圆半径r为
Figure BDA0001193441820000102
外圆的半径为内圆半径的n倍，即外圆半径为n×r；在一定范围内，n越大，判断标准越严格。
步骤S32，对内圆内取得的像素点的像素值进行排序，记录从内圆区域中取得的像素点的像素值所形成的序列ArrayInner，所述序列ArrayInner的长度为lengthInner，其中，像素值最大点的像素值为NinnerMax；并对内外圆之间的区域内取得的像素点的像素值进行排序，记录从内外圆之间的区域取得的像素点的像素值所形成的序列ArrayOuter，所述序列ArrayOuter的长度为lengthOuter，其中，像素值最小点的像素值为NouterMin。
上述取得的像素点在各自区域内满足均匀分布，且从内圆区域内取得的像素点的数量lengthInner与从内外圆之间的区域取得的像素点的数量lengthOuter相等。
步骤S33，计算在序列ArrayOuter中比NinnerMax小的点的数量作为Num_1，计算在序列ArrayInner中比NouterMin大的点的数量作为Num_2，根据公式计算当前像素点属于头部区域内的像素点的概率L，并记录概率值。
所述公式为：
L＝(lengthInner+lengthOuter-Num_1-Num_2)/(lengthInner+lengthOuter)；
若NinnerMax<NouterMin，概率直接记为1，因为Num_1＝0；
若NinnerMax>NouterMin，根据公式(lengthInner+lengthOuter-Num_1-Num_2)/(lengthInner+lengthOuter)计算概率。
下面对上述利用同心圆计算某点属于头部区域概率的方式举两个具体实施例说明：
实施例一，假设1、2、3、4、5为内圆中的像素点值，7、8、9、10、11为外圆和内圆之间的像素点值，则内圆中的像素值最大的点的值为5，外圆和内圆之间像素值最小的点的值为7,由于5<7,则概率为1，计算公式为(5+5-0-0)/(5+5)＝1。
实施例二，假设34、56、78、100、234、500为内圆中的像素点值，98、123、466、700、877、100为外圆和内圆之间的像素点值，则内圆中的像素值最大的点的值为500，外圆和内圆之间像素值最小的点的值为98,由于500>98,则概率为(6+6-3-3)/(6+6)＝0.5。
步骤S34，增大同心圆的内圆半径为rnew，rnew＝r+r×α，其中α代表同心圆的内圆半径r增大的速度，0＜α＜1，此时，外圆半径为n×rnew；当rnew≦2R时，令r＝rnew，并重复上述步骤S32-S34来计算ROI区域中的每一个像素点属于头部区域内的像素点的概率，并记录概率值，以记录的每一个像素点的最大概率作为该像素点属于头部区域内的像素点的最终概率，由此得到一幅概率图，概率图中每点的概率值代表此点属于头部区域的程度；当rnew>2R时，转至步骤S35；
步骤S35，将每个像素点的最终概率与所述第一阈值比较，将低于所述第一阈值的像素点滤除，剩下的以区域形式存在的像素点即为头部区域的点，每个区域即为识别出的一个头部。
下面介绍一种行人头部识别系统，如图2所示，包括：
前景图像提取模块10，用于获取深度摄像头垂直对准地面时从目标区域采集到的深度图像，并从所述深度图像中提取前景图像。
所述前景图像提取模块10具体用于：利用深度摄像头垂直对准地面，采集目标区域的深度图像，得到深度图像中坐标为(x,y)的点的像素值f(x,y)，将像素值f(x,y)和通过预先背景建模得到的坐标为(x,y)的点的像素值bg(x,y)比较，并结合公式得到前景图像中坐标为(x,y)的点的像素值mask(x,y)。
所述公式为：
Figure BDA0001193441820000121
其中，Tbg为背景模型和前景图像区分阈值。
上述通过预先背景建模得到坐标为(x,y)的点的像素值bg(x,y)的过程具体为：通过采集若干张所述目标区域的背景图像，并对所述若干张背景图像中坐标为(x,y)的点的像素值取均值得到。
所述坐标为(x,y)的点的像素值为该点在目标区域中的对应点与所述深度摄像头的相对距离。
ROI区域提取模块11，用于从所述前景图像中提取所有头部的潜在区域作为感兴趣区域即ROI区域。
所述ROI区域提取模块11具体包括：
均值计算子模块，用于以所述前景图像中的每一个像素点P为中心点，根据公式计算其8邻域中像素点的像素值的均值m。
所述公式为：
其中，p(k)为该邻域内的像素点的像素值；
方差计算子模块，用于在该邻域的均值m和其中心点像素值p的差值的绝对值d小于预置的第二阈值Tm时，根据方差公式计算该邻域内的方差v；
即，d＝｜p-m｜；
所述方差公式为：
Figure BDA0001193441820000132
ROI区域判定子模块，用于在方差v小于阈值的第三阈值Tv时，判定该邻域属于ROI区域。
头部识别模块12，用于通过构造同心圆来识别人头部区域；具体地，以每一个ROI区域中的每一个像素点为圆心，通过构造同心圆来计算当前像素点属于头部区域内的像素点的概率，得到每个ROI区域中的每个像素点的概率值，将每个ROI区域中每个像素点的概率值与预置的第一阈值比较，将低于所述第一阈值的像素点滤除，剩下的以区域形式存在的像素点即为头部区域的点，每个区域即为识别出的一个头部。
所述头部识别模块12具体包括：
同心圆构造子模块，用于以每一个ROI区域中的每一个像素点为圆心，构造同心圆，所述同心圆的内圆半径为r，外圆半径为n×r。
其中，
Figure BDA0001193441820000133
R为通过统计得到的人头部区域中心点到边缘的平均像素点个数，1.2≤n≤1.7。
像素值排序子模块，用于对内圆内取得的像素点的像素值进行排序，记录从内圆区域中取得的像素点的像素值所形成的序列ArrayInner，所述序列ArrayInner的长度为lengthInner，其中，像素值最大点的像素值为NinnerMax；并对内外圆之间的区域内取得的像素点的像素值进行排序，记录从内外圆之间的区域取得的像素点的像素值所形成的序列ArrayOuter，所述序列ArrayOuter的长度为lengthOuter，其中，像素值最小点的像素值为NouterMin。
上述取得的像素点在各自区域内满足均匀分布，且从内圆区域内取得的像素点的数量lengthInner与从内外圆之间的区域取得的像素点的数量lengthOuter相等。
第一概率值确定子模块，用于计算在序列ArrayOuter中比NinnerMax小的点的数量作为Num_1，计算在序列ArrayInner中比NouterMin大的点的数量作为Num_2，并根据公式计算当前像素点属于头部区域内的像素点的概率L，并记录概率值。
所述公式为：
L＝(lengthInner+lengthOuter-Num_1-Num_2)/(lengthInner+lengthOuter)；
第二概率值确定子模块，用于增大同心圆的内圆半径为rnew，rnew＝r+r×α，其中α代表同心圆的内圆半径r增大的速度，0＜α＜1，此时，外圆半径为n×rnew；当rnew≦2R时，令r＝rnew，并返回所述像素值排序子模块来计算ROI区域中的每一个像素点属于头部区域内的像素点的概率，并记录概率值，以记录的每一个像素点的最大概率作为该像素点属于头部区域内的像素点的最终概率；当rnew>2R时，进入头部识别子模块。
头部识别子模块，用于将每个像素点的最终概率与所述第一阈值比较，将低于所述第一阈值的像素点滤除，剩下的以区域形式存在的像素点即为头部区域的点，每个区域即为识别出的一个头部。
通过上述行人头部识别方法识别出行人头部后，结合计数方法，可对商场、机场、公交车站、地铁站等人流量密集的公共场所提供人流量统计服务。下面具体介绍一种人流量统计方法，所述人流量统计方法基于上述行人头部识别系统，所述人流量统计方法为：通过跟踪所述行人头部识别系统识别出的行人头部区域来确定其运动轨迹，当所述运动轨迹穿过预置区域时计数，从而统计出目标区域的人流量。
如图3所示，所述人流量统计方法具体包括：
步骤A1，将识别出的头部区域用矩形框包围，所述头部区域内接于所述矩形框。
步骤A2，将前景图像中前一帧图像中的每一个头部区域分别与后一帧图像中的所有头部区域进行联合相似性计算。
具体地，鉴于连续两帧之间头部区域的位置和面积不会发生剧烈变化，对头部目标的跟踪，依靠计算连续两帧间头部矩形框对角线的交点位置坐标和头部区域面积大小的联合相似性确定。
计算公式为：
Passociate(d1,d2)＝Aposition(d1,d2)Aarea(d1,d2)；
其中，d1和d2分别代表连续两帧图像中的任一个头部区域，Passociate(d1,d2)、Aposition(d1,d2)和Aarea(d1,d2)分别代表联合相似性、位置相似性和面积相似性，其中Aposition(d1,d2)和Aarea(d1,d2)的计算公式为：
Figure BDA0001193441820000151
Figure BDA0001193441820000152
其中，(x1,y1)和(x2,y2)分别表示连续两帧图像中任一个头部区域d1和d2对角线交点的坐标，s1和s2分别表示连续两帧图像中任一个头部区域d1和d2的面积，ax、ay表示连续两帧图像中所有头部区域矩形框对角线交点坐标在X轴和Y轴上的方差，as表示连续两帧图像中所有头部区域面积的方差。
步骤A3，将计算出的前一帧图像中的每一个头部区域分别与后一帧图像中所有头部区域的联合相似性的最大值与阈值比较，若大于阈值，则代表前一帧图像中的该头部区域与后一帧图像中所述联合相似性的最大值对应的头部区域匹配成功；若小于阈值，则代表匹配失败，目标丢失。
步骤A4，将每连续两帧图像中匹配成功的两个头部区域的矩形框对角线交点连接起来，从而确定所述头部区域的运动轨迹。
步骤A5，当检测到所述运动轨迹穿过预置区域时计数，从而统计出目标区域的人流量。
具体地，所述预置区域为在所述前景图像的帧图像上设置的两条平行虚拟判定线L1和L2及与所述前景图像的边缘所形成的区域；当检测到所述运动轨迹连续穿越L1和L2时，人数计数器计数；更具体地，当检测到所述运动轨迹连续穿越虚拟判定线的次序为L1和L2时，出计数器计数；当检测到所述运动轨迹连续穿越虚拟判定线的次序为L2和L1时，进计数器计数；采用上述方式对所有头部区域的运动轨迹进行检测并计数，并分别将出计数器和进计数器的结果实时输出。
其中，L1和L2的距离是一个标准成年人头顶部区域长度的两倍，且L1和L2的中线是帧图像的中线。
下面具体介绍一种人流量统计系统，所述人流量统计方法基于上述行人头部识别系统，所述人流量统计系统用于：通过跟踪所述行人头部识别系统识别出的头部区域来确定其运动轨迹，当所述运动轨迹穿过预置区域时计数，从而统计出目标区域的人流量。
如图4所示，所述人流量统计系统具体包括：
头部区域框定模块20，用于将识别出的头部区域用矩形框包围，所述头部区域内接于所述矩形框。
联合相似性计算模块21，用于将前景图像中前一帧图像中的每一个头部区域分别与后一帧图像中的所有头部区域进行联合相似性计算。
具体地，所述联合相似性为连续两帧间头部矩形框对角线的交点位置坐标和头部区域面积大小的联合相似性。
计算公式为：
Passociate(d1,d2)＝Aposition(d1,d2)Aarea(d1,d2)；
其中，d1和d2分别代表连续两帧图像中的任一个头部区域，Passociate(d1,d2)、Aposition(d1,d2)和Aarea(d1,d2)分别代表联合相似性、位置相似性和面积相似性，其中Aposition(d1,d2)和Aarea(d1,d2)的计算公式为：
Figure BDA0001193441820000171
Figure BDA0001193441820000172
其中，(x1,y1)和(x2,y2)分别表示连续两帧图像中任一个头部区域d1和d2对角线交点的坐标，s1和s2分别表示连续两帧图像中任一个头部区域d1和d2的面积，ax、ay表示连续两帧图像中所有头部区域矩形框对角线交点坐标在X轴和Y轴上的方差，as表示连续两帧图像中所有头部区域面积的方差。
头部区域匹配模块22，用于将计算出的前一帧图像中的每一个头部区域分别与后一帧图像中所有头部区域的联合相似性的最大值与阈值比较，若大于阈值，则代表前一帧图像中的该头部区域与后一帧图像中所述联合相似性的最大值对应的头部区域匹配成功；若小于阈值，则代表匹配失败，目标丢失。
运动轨迹确定模块23，用于将每连续两帧图像中匹配成功的两个头部区域的矩形框对角线交点连接起来，从而确定所述头部区域的运动轨迹。
人流量统计模块24，用于在检测到所述运动轨迹穿过预置区域时计数，从而统计出目标区域的人流量。
具体地，所述预置区域为在所述前景图像的帧图像上设置的两条平行虚拟判定线L1和L2及与所述前景图像的边缘所形成的区域；当检测到所述运动轨迹连续穿越L1和L2时，人数计数器计数；当检测到所述运动轨迹连续穿越虚拟判定线的次序为L1和L2时，出计数器计数；当检测到所述运动轨迹连续穿越虚拟判定线的次序为L2和L1时，进计数器计数；并分别将出计数器和进计数器的结果实时输出。
其中，L1和L2的距离是一个标准成年人头顶部区域长度的两倍，且L1和L2的中线是帧图像的中线。
通过上述提供的人流量统计方法及系统，可为机场、商场和火车站等人流量密集的地方提供人流量统计服务。
本发明提供的行人头部识别方法，一方面，在进行头部识别之前，先在前景图像中划定ROI区域来锁定头部的潜在区域，有效降低了算法计算量，提高了识别速度；另一方面，结合人体中只有头部区域有同心圆属性的特征，利用同心圆对头部区域进行度量，提高了头部识别准确率；并且有效避免了由于衣服颜色、头部颜色等对头部识别造成的影响，提高了算法的抗干扰能力。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种行人头部识别方法，其特征在于，包括：
步骤S1，获取深度摄像头垂直对准地面时从目标区域采集到的深度图像，并从所述深度图像中提取前景图像；
步骤S2，从所述前景图像中提取所有头部的潜在区域作为感兴趣区域即ROI区域；
步骤S3，以每一个ROI区域中的每一个像素点为圆心，通过构造两个同心圆来计算当前像素点属于头部区域内的像素点的概率，得到每个ROI区域中的每个像素点的概率值，将每个ROI区域中每个像素点的概率值与预置的第一阈值比较，将低于所述第一阈值的像素点滤除，剩下的以区域形式存在的像素点即为头部区域的点，每个区域即为识别出的一个头部。
2.如权利要求1所述的行人头部识别方法，其特征在于，所述步骤S1具体为：利用深度摄像头垂直对准地面，采集目标区域的深度图像，得到深度图像中坐标为(x,y)的点的像素值f(x,y)，将所述像素值f(x,y)和通过预先背景建模得到的坐标为(x,y)的点的像素值bg(x,y)比较，并结合公式得到前景图像中坐标为(x,y)的点的像素值mask(x,y)；
所述公式为：
其中，Tbg为背景模型和前景图像区分阈值；
上述通过预先背景建模得到坐标为(x,y)的点的像素值bg(x,y)的过程具体为：通过采集若干张所述目标区域的背景图像，并对所述若干张背景图像中坐标为(x，y)的点的像素值取均值得到；
所述坐标为(x,y)的点的像素值为该点在目标区域中的对应点与所述深度摄像头的相对距离。
3.如权利要求1所述的行人头部识别方法，其特征在于，所述步骤S2具体包括：
步骤S21，以所述前景图像中的每一个像素点P为中心点，根据公式计算其8邻域中像素点的像素值的均值m；
所述公式为：
Figure FDA0002217974330000021
其中，p(k)为该邻域内的像素点的像素值；
步骤S22，若该邻域的均值m和其中心点像素值p的差值的绝对值d小于预置的第二阈值Tm，则根据方差公式计算该邻域内的方差v；
所述方差公式为：
Figure FDA0002217974330000022
步骤S23，若方差v小于预置的第三阈值Tv，则判定该邻域属于ROI区域。
4.如权利要求1所述的行人头部识别方法，其特征在于，所述步骤S3具体包括：
步骤S31，以每一个ROI区域中的每一个像素点为圆心，构造同心圆，所述同心圆的内圆半径为r，外圆半径为n×r；
其中，
Figure FDA0002217974330000023
R为通过统计得到的人头部区域中心点到边缘的平均像素点个数，1.2≤n≤1.7；
步骤S32，对内圆内取得的像素点的像素值进行排序，记录从内圆区域中取得的像素点的像素值所形成的序列ArrayInner，所述序列ArrayInner的长度为lengthInner，其中，像素值最大点的像素值为NinnerMax；并对内外圆之间的区域内取得的像素点的像素值进行排序，记录从内外圆之间的区域取得的像素点的像素值所形成的序列ArrayOuter，所述序列ArrayOuter的长度为lengthOuter，其中，像素值最小点的像素值为NouterMin；
上述取得的像素点在各自区域内满足均匀分布，且从内圆区域内取得的像素点的数量lengthInner与从内外圆之间的区域取得的像素点的数量lengthOuter相等；
步骤S33，计算在序列ArrayOuter中比NinnerMax小的点的数量作为Num_1，计算在序列ArrayInner中比NouterMin大的点的数量作为Num_2，并根据公式计算当前像素点属于头部区域内的像素点的概率L，并记录概率值；
所述公式为：
L＝(lengthInner+lengthOuter-Num_1-Num_2)/(lengthInner+lengthOuter)；
步骤S34，增大同心圆的内圆半径为rnew，rnew＝r+r×α，其中α代表同心圆的内圆半径r增大的速度，0＜α＜1，此时，外圆半径为n×rnew；当rnew≦2R时，令r＝rnew，并重复上述步骤S32-S34来计算ROI区域中的每一个像素点属于头部区域内的像素点的概率，并记录概率值，以记录的每一个像素点的最大概率作为该像素点属于头部区域内的像素点的最终概率；当rnew>2R时，转至步骤S35；
步骤S35，将每个像素点的最终概率与所述第一阈值比较，将低于所述第一阈值的像素点滤除，剩下的以区域形式存在的像素点即为头部区域的点，每个区域即为识别出的一个头部。
5.一种行人头部识别系统，其特征在于，包括：
前景图像提取模块，用于获取深度摄像头垂直对准地面时从目标区域采集到的深度图像，并从所述深度图像中提取前景图像；
ROI区域提取模块，用于从所述前景图像中提取所有头部的潜在区域作为感兴趣区域即ROI区域；
头部识别模块，用于通过构造同心圆来识别人头部区域；具体地，以每一个ROI区域中的每一个像素点为圆心，通过构造两个同心圆来计算当前像素点属于头部区域内的像素点的概率，得到每个ROI区域中的每个像素点的概率值，将每个ROI区域中每个像素点的概率值与预置的第一阈值比较，将低于所述第一阈值的像素点滤除，剩下的以区域形式存在的像素点即为头部区域的点，每个区域即为识别出的一个头部。
6.如权利要求5所述的行人头部识别系统，其特征在于，所述前景图像提取模块具体用于：利用深度摄像头垂直对准地面，采集目标区域的深度图像，得到深度图像中坐标为(x,y)的点的像素值f(x,y)，将像素值f(x,y)和通过预先背景建模得到的坐标为(x,y)的点的像素值bg(x,y)比较，并结合公式得到前景图像中坐标为(x,y)的点的像素值mask(x,y)；
所述公式为：
Figure FDA0002217974330000041
其中，Tbg为背景模型和前景图像区分阈值；
上述通过预先背景建模得到坐标为(x,y)的点的像素值bg(x,y)的过程具体为：通过采集若干张所述目标区域的背景图像，并对所述若干张背景图像中坐标为(x,y)的点的像素值取均值得到；
所述坐标为(x,y)的点的像素值为该点在目标区域中的对应点与所述深度摄像头的相对距离。
7.如权利要求5所述的行人头部识别系统，其特征在于，所述ROI区域提取模块具体包括：
均值计算子模块，用于以所述前景图像中的每一个像素点P为中心点，根据公式计算其8邻域中像素点的像素值的均值m；
所述公式为：
Figure FDA0002217974330000042
其中，p(k)为该邻域内的像素点的像素值；
方差计算子模块，用于在该邻域的均值m和其中心点像素值p的差值的绝对值d小于预置的第二阈值Tm时，根据方差公式计算该邻域内的方差v；
所述方差公式为：
Figure FDA0002217974330000051
ROI区域判定子模块，用于在方差v小于预置的第三阈值Tv时，判定该邻域属于ROI区域。
8.如权利要求5所述的行人头部识别系统，其特征在于，所述头部识别模块具体包括：
同心圆构造子模块，用于以每一个ROI区域中的每一个像素点为圆心，构造同心圆，所述同心圆的内圆半径为r，外圆半径为n×r；
其中，
Figure FDA0002217974330000052
R为通过统计得到的人头部区域中心点到边缘的平均像素点个数，1.2≤n≤1.7；
像素值排序子模块，用于对内圆内取得的像素点的像素值进行排序，记录从内圆区域中取得的像素点的像素值所形成的序列ArrayInner，所述序列ArrayInner的长度为lengthInner，其中，像素值最大点的像素值为NinnerMax；并对内外圆之间的区域内取得的像素点的像素值进行排序，记录从内外圆之间的区域取得的像素点的像素值所形成的序列ArrayOuter，所述序列ArrayOuter的长度为lengthOuter，其中，像素值最小点的像素值为NouterMin；
上述取得的像素点在各自区域内满足均匀分布，且从内圆区域内取得的像素点的数量lengthInner与从内外圆之间的区域取得的像素点的数量lengthOuter相等；
第一概率值确定子模块，用于计算在序列ArrayOuter中比NinnerMax小的点的数量作为Num_1，计算在序列ArrayInner中比NouterMin大的点的数量作为Num_2，并根据公式计算当前像素点属于头部区域内的像素点的概率L，并记录概率值；
所述公式为：
L＝(lengthInner+lengthOuter-Num_1-Num_2)/(lengthInner+lengthOuter)；
第二概率值确定子模块，用于增大同心圆的内圆半径为rnew，rnew＝r+r×α，其中α代表同心圆的内圆半径r增大的速度，0＜α＜1，此时，外圆半径为n×rnew；当rnew≦2R时，令r＝rnew，并返回所述像素值排序子模块来计算ROI区域中的每一个像素点属于头部区域内的像素点的概率，并记录概率值，以记录的每一个像素点的最大概率作为该像素点属于头部区域内的像素点的最终概率；当rnew>2R时，进入头部识别子模块；
头部识别子模块，用于将每个像素点的最终概率与所述第一阈值比较，将低于所述第一阈值的像素点滤除，剩下的以区域形式存在的像素点即为头部区域的点，每个区域即为识别出的一个头部。
CN201611225893.5A 2016-12-27 2016-12-27 一种行人头部识别方法及系统 Expired - Fee Related CN106845361B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611225893.5A CN106845361B (zh) 2016-12-27 2016-12-27 一种行人头部识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611225893.5A CN106845361B (zh) 2016-12-27 2016-12-27 一种行人头部识别方法及系统

Publications (2)

Publication Number Publication Date
CN106845361A CN106845361A (zh) 2017-06-13
CN106845361B true CN106845361B (zh) 2020-01-17

Family

ID=59135506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611225893.5A Expired - Fee Related CN106845361B (zh) 2016-12-27 2016-12-27 一种行人头部识别方法及系统

Country Status (1)

Country Link
CN (1) CN106845361B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414344B (zh) * 2019-06-25 2023-06-06 深圳大学 一种基于视频的人物分类方法、智能终端及存储介质
CN116245835B (zh) * 2023-02-13 2023-12-01 数坤科技股份有限公司 图像检测方法、装置、电子设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103514429A (zh) * 2012-06-21 2014-01-15 夏普株式会社 检测对象的特定部位的方法及图像处理设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9406135B2 (en) * 2012-10-29 2016-08-02 Samsung Electronics Co., Ltd. Device and method for estimating head pose

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103514429A (zh) * 2012-06-21 2014-01-15 夏普株式会社 检测对象的特定部位的方法及图像处理设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"A method for recognizing of concentric circles characteristic parameters based on Gaussian sub-pixel edge detection";Mingnuo Shang etc.;《PROCEEDINGS OF SPIE》;20150807;第2.2节 *
"基于深度与视觉信息融合的行人检测与再识别研究";祝博荟;《中国博士学位论文全文数据库 信息科技辑》;20140515(第05期);I138-65 *
"基于计算机视觉的人体动作识别技术研究";李拟珺;《中国博士学位论文全文数据库 信息科技辑》;20160815(第08期);I138-128 *

Also Published As

Publication number Publication date
CN106845361A (zh) 2017-06-13

Similar Documents

Publication Publication Date Title
WO2018119668A1 (zh) 一种行人头部识别方法及系统
CN104751491B (zh) 一种人群跟踪及人流量统计方法及装置
CN102542289B (zh) 一种基于多高斯计数模型的人流量统计方法
CN102214309B (zh) 一种基于头肩模型的特定人体识别方法
CN106203513B (zh) 一种基于行人头肩多目标检测及跟踪的统计方法
Avgerinakis et al. Recognition of activities of daily living for smart home environments
CN104978567B (zh) 基于场景分类的车辆检测方法
WO2018076392A1 (zh) 一种基于人体头顶部识别的行人统计方法及装置
CN102214291A (zh) 一种快速准确的基于视频序列的人脸检测跟踪方法
CN106372570A (zh) 一种人流量统计的方法
CN107066963B (zh) 一种自适应人群计数方法
CN106326851B (zh) 一种人头检测的方法
CN105956552A (zh) 一种人脸黑名单监测方法
CN106778637B (zh) 一种对男女客流的统计方法
WO2013075295A1 (zh) 低分辨率视频的服装识别方法及系统
CN110991397A (zh) 一种行进方向确定方法及相关设备
CN106529441B (zh) 基于模糊边界分片的深度动作图人体行为识别方法
Li et al. Automatic passenger counting system for bus based on RGB-D video
CN106845361B (zh) 一种行人头部识别方法及系统
CN104008396A (zh) 基于人头部色彩和形状特征的进出口人流量统计方法
CN113657250A (zh) 一种基于监控视频的火焰检测方法及系统
CN110378935B (zh) 基于图像语义信息的抛物识别方法
CN115147868B (zh) 客流相机的人体检测方法、客流相机、装置及存储介质
CN110930432A (zh) 一种视频分析方法、装置及系统
Wanjale et al. Use of haar cascade classifier for face tracking system in real time video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200117

Termination date: 20201227

CF01 Termination of patent right due to non-payment of annual fee