CN110717400A - 一种客流统计方法、装置及系统 - Google Patents
一种客流统计方法、装置及系统 Download PDFInfo
- Publication number
- CN110717400A CN110717400A CN201910861820.2A CN201910861820A CN110717400A CN 110717400 A CN110717400 A CN 110717400A CN 201910861820 A CN201910861820 A CN 201910861820A CN 110717400 A CN110717400 A CN 110717400A
- Authority
- CN
- China
- Prior art keywords
- image
- frame
- pedestrian
- detection
- passenger flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007619 statistical method Methods 0.000 title abstract description 7
- 238000001514 detection method Methods 0.000 claims abstract description 85
- 238000000034 method Methods 0.000 claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000003709 image segmentation Methods 0.000 claims abstract description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 7
- 230000000877 morphologic effect Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 2
- 230000000903 blocking effect Effects 0.000 claims 2
- 238000009434 installation Methods 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 3
- 230000006698 induction Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供一种客流统计方法、装置及系统，属于计算机视觉和图像处理技术领域，方法包括：获取场景的深度图像，对所述深度图像进行去噪处理得到有效深度图，基于所述有效深度图进行背景建模得到前景图像，对所述前景图像进行图像分割得到分割后图像，基于所述分割后图像得到行人轮廓图，基于所述行人轮廓图进行行人头部检测得到检测框，将所述检测框作为当前跟踪框，采用预设跟踪方法进行跟踪以实时获取场景的客流量统计结果。相对于传统客流统计方案，使用本发明的客流统计方案，现场设备安装美观、布线方便，成本较低，精度很高。
Description
技术领域
本发明属于计算机视觉和图像处理技术领域，尤其涉及一种基于RGBD的客 流统计方法、装置及系统。
背景技术
传统客流统计方式，早期主要通过人工计数，不仅计数效果差而且成本非常 高；有的采用辊闸的形式用来统计进出顾客的数量，计数相对准确但是不美观， 有些场景不适合布置；接下来有采用红外计数装置，小巧美观但是受外界干扰比 较严重；以及后续的靠重力感应进行客流统计，由于安装要求安装成本高，稳定 性欠佳也不被大多数商家看好。随着技术的不断发展，基于计算机视觉的客流统 计方案不断崭露头角，被越来越多的人看好，由于精度高、成本低、安装方便， 被好多商家采用。
客流统计起步时期，被大多商家认可的方案主要采用基于红外感应的技术方 案，该方案主要有两种类型：红外对射和红外反射。需要在行人经过的地方安装 相对的两个位置上，有人经过红外感应区域，切断或阻挡红外线使其产生电阻变 化、或是通过检测人体发出的10um左右的特定红外线来判断人体数量，这个装 置可以在行人自由经过时统计行人的相关信息，并且设备小巧美观，应用方便。
基于红外感应进行客流统计的技术方案的不足之处在于，首先，红外光极易 受到外界因素干扰，使其系统数据产生的误差较大，出现漏检错检较严重；其次， 有的门口较宽，安装一个设备覆盖不全，多人进出就会出现漏检的情况，但是如 果安装两个到三个又会出现多个重叠计数区域，又需要考虑重复计数的问题；最 后，由于红外感应这种技术的局限性，无法正确的判断行人是进入或者是出去， 只能确认是否有人通过不能跟踪计数，数据采集的单一性影响客流分析的结果。 也就是说，这一方案也就是简单的确认一下某个门经过的人次的多少，并不能准 确的判定进入或是离开多少人。
专利[CN 108764211 A]中提出一种基于人脸识别计数的客流统计的方案，摄 像头必须拍到人脸才能进行行人的统计，场景局限性很大，行人拥挤遮挡严重此 方法基本失效。在商场里，无论摄像头摆放角度如何，前面一个身高很高的人， 后面跟着一个身高较矮的人，遮挡严重肯定会漏检，而且实现一个门的进入离开 最少需要两个设备，否则只能单方向统计是否行人的进入或是离开，这样的安装 方式势必会增加安装成本。人脸识别很受光照以及其他遮挡的影响，冬季戴口罩 或是围脖帽子影响均不能正确的统计行人。
综上，现阶段的客流统计方案中存在拥挤重叠计数错误、主要特征被遮挡而 引起识别精准度低、跟踪难度大等技术问题。
发明内容
本发明提出了一种客流统计方法、装置及系统，在视觉识别过程中主要依据 深度信息来避免行人拥挤引起的重叠，并通过有效的深度信息进行人物的分割检 测，提高检测的正确率，并且还可以在彩色图像进行目标跟踪，提高计数的准确 性。
本发明提供的一种客流统计方法，包括：
步骤S1、获取场景的深度图像；
步骤S2、对所述深度图像进行去噪处理得到有效深度图，基于所述有效深度 图进行背景建模得到前景图像，对所述前景图像进行图像分割得到分割后图像；
步骤S3、基于所述分割后图像进行行人轮廓检测得到行人轮廓图，基于所述 行人轮廓图进行行人头部检测得到检测框；
步骤S4、将所述检测框作为当前跟踪框，基于所述当前跟踪框采用预设跟踪 方法对行人进行跟踪和检测，并根据检测结果实时更新当前跟踪框；
步骤S5：根据所述当前跟踪框进行计数以得到场景的客流量统计结果。
优选的，上述步骤S1还包括，获取与所述深度图像对齐的场景的彩色图像；
所述步骤S3还包括，将所述检测框对应到所述彩色图像中得到新的检测框， 所述步骤S4具体为，将所述新的检测框作为当前跟踪框，基于所述当前跟踪框 采用预设跟踪方法对行人进行跟踪和检测，并根据检测结果实时更新当前跟踪框。
优选的，步骤S3所述基于所述分割后图像进行行人轮廓检测得到行人轮廓 图具体为，采用八邻域算法求所述分割后图像中所包含的边界点，根据边界点确 定行人轮廓，对获取的轮廓以填充的形式绘制出来，并对绘制的轮廓进行图像形 态学处理得到所述行人轮廓图。
优选的，所述基于所述有效深度图进行背景建模得到前景图像具体包括：将 预设时间内采集到的深度图像的帧数作为建模帧数，获取所述有效深度图中各像 素点的与所述建模帧数对应的每帧像素值，通过对各像素点的所述每帧像素值进 行统计得到统计结果，根据所述建模帧数和所述统计结果确定各像素点中包含的 背景像素点，将确定为背景像素点的各像素点从所述有效深度图像中剔除，得到 前景图像。
优选的，步骤S2中所述对所述前景图像进行图像分割得到分割后图像具体 包括：预先设置多个聚类阈值，根据聚类阈值将所述前景图像分割成多个图像块， 每个图像块中的各像素点标注有相同的数值标签，按照图像块的面积大小以及与 行人本身在图像中大小的关系确定行人分块面积，对各图像块进行粗筛，将其中 面积不符合所述行人分块面积的图像块除掉后得到的图像作为分割后图像。
本发明还提供一种客流量统计装置，包括：
图像获取单元，用于获取场景的深度图像；
图像预处理单元，用于对所述深度图像进行去噪处理得到有效深度图，基于 所述有效深度图进行背景建模得到前景图像，对所述前景图像进行图像分割得到 分割后图像；
目标检测单元，用于基于所述分割后图像进行行人轮廓检测得到行人轮廓图， 基于所述行人轮廓图进行行人头部检测得到检测框；
目标跟踪单元，用于将所述检测框作为当前跟踪框，基于所述当前跟踪框采 用预设跟踪方法对行人进行跟踪和检测，并根据检测结果实时更新当前跟踪框；
计数单元，用于根据所述当前跟踪框进行计数以得到场景的客流量统计结果。
本发明还提供一种客流量统计系统，包括客流量统计装置，以及用于采集 RGBD图像的3D摄像头，3D摄像头与所述客流统计装置连接，当3D摄像头采集 到RGBD图像后，将深度图像和彩色图像进行配准，将配准后的深度图像和彩色 图像传输给所述客流统计装置。
相对于传统客流统计方案，使用本发明的客流统计方式，在场景中安装的是 3D摄像头来进行图像采集，3D摄像头可以采集RGBD图像(即RGB彩色图及Depth 深度图)，客流统计装置对RGBD图像进行处理和识别得到场景内的客流统计结果， 该方案相比现有计数方案，首先是场景内所需摄像头的安装和布线方便，不影响 美观，成本较低，图像采集精度很高，并且本发明客流统计装置所实现的图像处 理和识别方法可以解决场景内行人拥挤重叠计数错误、主要特征被遮挡而引起识 别精准度低的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例 或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的 附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳 动的前提下，还可以根据提供的附图获得其他的附图。
图1是本申请实施例一提供的一种客流统计方法的实现流程图；
图2是本申请实施例二提供的一种客流统计方法的实现流程图；
图3是八邻域示意图；
图4是一种采用KCF算法进行跟踪的流程示意图；
图5a是进入轨迹统计示意图；
图5b是离开轨迹统计示意图；
图5c是经过轨迹统计示意图；
图6是本申请实施例三提供的一种客流统计装置的组成框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、 完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的 实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前 提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
请参阅图1，图1为本申请实施例一提供的一种客流统计方法的一种实现流 程图，可以包括：
步骤S101:获取场景的深度图像；
主要通过一个3D摄像头获取场景的深度图像。3D摄像头的摆放对获取的图 像质量至关重要，本申请实施例中，将场景中设置的3D摄像头相对于地面垂直 向下摆放，3D摄像头距离地面的摆放高度根据3D摄像头类型而定，例如结构光 3D摄像头的有效高度为0.5m～6m，基于飞行时间技术(TOF)3D摄像头的有效高 度为0.4-6m。
步骤S102:对所述深度图像进行去噪处理得到有效深度图，基于所述有效深 度图进行背景建模得到前景图像，对所述前景图像进行图像分割得到分割后图像；
为了方便检测以及适合场景，将深度值限制在一定范围内，采用这个范围内 的深度数据来去除人以外的环境噪声，超出这个有效范围均将深度值设为0，设 原始图像的深度值为D，像素值D(i,j)∈D公式如下所示：
其中α为最小标注深度值，β为根据需要设定的最大深度值，不一定是设备 的最大有效深度值。
本步骤之前包括设定进行去噪处理所采用的有效深度值范围为[α，β]，其 中最小深度值α和最大深度值β为预设数值，例如，α＝500，β＝2500。
本步骤中基于所述有效深度图进行背景建模得到前景图像可以采用各类背 景建模方法，比如混合高斯算法、码本(Codebook)算法、中值滤波法(Temporal Median filter)等，其中以Codebook为例说明，其背景建模过程具体包括：将 预设时间内采集的深度图像的帧数作为建模帧数，获取所述有效深度图中各像素 点的与所述建模帧数对应的每帧像素值，通过对各像素点的所述每帧像素值进行 统计得到统计结果，根据所述建模帧数和所述统计结果确定各像素点中包含的背 景像素点，将确定为背景像素点的各像素点从所述有效深度图像中剔除，得到前 景图像。
优选的，所述预设时间是指摄像头从采集场景图像开始的1秒左右的时间， 一般根据该时长得到的建模帧数为30。
本步骤中对所述前景图像进行图像分割得到分割后图像具体包括：设置多个 聚类阈值，根据聚类阈值将所述前景图像分割成多个图像块，每个图像块中的各 像素点标注有相同的数值标签，按照图像块的面积大小以及与行人本身在图像中 大小的关系确定行人分块面积，对各图像块进行粗筛，将其中面积不符合所述行 人分块面积的图像块除掉后得到的图像作为分割后图像。具体的，图像块的面积 大小以及与行人本身在图像中大小的关系与摄像头安装高度有关，本步骤之前包 括：根据检测得到的摄像头安装高度计算确定行人分块面积，比如摄像头安装在 3m高的位置则通过计算确定的行人分块面积的阈值定为50～1500，单位平方厘米， 在场景中会得到很多分块，其中包括正常的行人分块，将不符合行人分块面积的 图像块去掉，即将其中面积小于50或是大于1500的图像分块除掉后得到分割后 图像。这种图像分割方法主要基于深度图，3D信息的处理，尤其在处理前后有一定距离交叠的行人或是拥挤的场景要远远优于RGB图像分割，因为前后交叠或是 拥挤在彩色数据中会直接分成一个目标，这样就会造成漏检。
步骤S103：对所述分割后图像进行行人轮廓检测得到行人轮廓图，基于所述 行人轮廓图进行行人头部筛选得到检测框；
具体的，本实施例中根据八邻域算法以及图像形态学方法对所述分割后图像 进行处理得到行人轮廓图。例如，可以采用膨胀、腐蚀、开运算等图像形态学处 理方法。
可以理解的是，3D摄像头垂直地面向下拍摄，拍摄到的画面中行人的头部类 圆，通过类圆这个主要特征以及摄像头摆放高度对应着的行人头部面积的大小来 检测获取当前帧图像中所有行人各自对应的检测框。本步骤之前还包括，检测得 到摄像头安装高度，根据摄像头安装高度计算确定行人头部面积的大小，比如检 测确定摄像头安装在3m高的位置，则通过计算确定的行人头部面积的阈值为68- 1000,单位平方厘米。
步骤S104：将所述检测框作为当前跟踪框，基于所述当前跟踪框采用预设跟 踪方法对行人进行跟踪和检测，并根据检测结果实时更新当前跟踪框；
例如，基于深度图进行的行人跟踪和检测可以采用的预设跟踪方法包括特征 匹配法、贝叶斯跟踪、核滤波跟踪、多特征融合跟踪等。
步骤S105：根据所述当前跟踪框进行计数以得到场景的客流量统计结果。
具体的，设定进入线、离开线以及两条经过线，以此来确定决策区域，通过 对所述当前跟踪框的位置跟踪可以得出行人的运动轨迹，结合所述当前跟踪框和 行人的运动轨迹进行计数以得到场景的客流量统计结果。
实施例二
本实施将3D摄像头的深度和彩色信息结合起来，提出一套基于RGBD的客流 统计方案，有效克服了因行人拥挤、交叠等造成的复杂场景内客流统计计数精准 度低的缺陷，为室内、半室外场景的客流统计以及热力图等应用场景奠定了坚实 的基础。
请参阅图2，图2为本申请实施例二提供的一种客流统计方法的一种实现流 程图，可以包括：
步骤S201：通过3D摄像头采集深度视频流和彩色视频流并进行对齐以获取 到配准的深度图像和彩色图像；
本申请实施例中使用的是基于结构光的3D摄像头，完成相关配置初始化后， 首先需要通过摄像头获取稳定的深度视频流和彩色视频流，然后将深度和彩色图 像对齐，以确保深度图像检测框能够在彩色图像上准确对齐；使用的3D摄像头 有效距离是0.5m～6m。
步骤S202：对深度图像进行去噪处理得到有效深度图，基于所述有效深度图 进行背景建模得到前景图像，对所述前景图像进行图像分割得到分割后图像；
可以理解的是，深度图是单通道16位数据，每个像素点的像素值是此点距 摄像头的距离，对深度图像做出最远最近检测距离的设置，例如设置有效深度值 范围为[α，β]，优选的设置最小标注深度值α取深度图中各像素点中的最小标 注像素值650，其中最大深度值β取预设数值670。选取该有效区间范围内的目 标作为有效深度图进行后续背景建模操作有助于排除干扰，从而提高检测率。
采用一定的方式对有效深度值范围内选取的有效深度图做背景建模，有助于 将场景内固定的且类似人的噪声排除掉，本申请以采用Codebook方式做背景建 模的具体方法如下，本实施例采用前30帧数据用于背景建模来排除背景噪声干 扰(即对应时间一般是采用一秒左右的图像进行建模)，设置建模帧数等于30， 帧数过多会将部分前景排除掉，帧数过少不利于背景的像素点统计。深度图是单 通道16位数据，每一个点像素值是此点距摄像头的距离，以其中某个像素点为 例，在这30帧里此像素点的像素值分别为{670，675，668，672，650，677，665，667，675，678，670，675，668，672，650，677，665，667，675，678，670，675，668，672，650，677，665，667，675，678}，第一帧像素值为670，因为 是第一次出现，设置为第一码元，接下来第二帧像素值为675，需要判断是否和 670融合，假如设定最低和最高阈值均为10，即670-10<675<670+10，判定可以 融合，第一码元出现频次将+1，后面对每一帧像素值进行判断以确定是融合还是 建立新的码元，如果第一码元或其他任一新建的码元的出现频次小于建模帧数的 一半(即15)则认为此点为噪声点即前景像素点，否则判定此点为背景像素点。 进一步的，通过将确定为背景像素点的各像素点从所述有效深度图像中剔除，得 到前景图像。
将所述前景图像中各像素点逐个统计，按像素点的位置判断是否归为一类， 进而通过像素点归类划分得到所述前景图像的分割后图像，由于随着距离变远深 度误差会变大，所以根据不同的深度范围需要设置不同的聚类阈值，最终将符合 各聚类阈值条件的各像素点分别确定为一类。通过这样的方式将一帧图像中的前 景分割成多个图像块，每个图像块中各像素点在某一帧都有固定的数值标签。当 把一帧图像分割成多个图像块后，首先要经过粗略筛选，即按照块的面积大小以 及与行人本身在图像中大小的关系进行筛选，把面积过小或是过大的块排除掉， 进一步排除噪声干扰。这种方法主要基于深度图，3D信息的处理，尤其在处理前 后有一定距离交叠的行人或是拥挤的场景要远远优于RGB图像分割，因为前后交 叠或是拥挤在彩色数据中会直接分成一个目标，这样会造成漏检。
步骤S203：基于所述分割后图像采用八邻域算法和图像形态学处理得到行人 轮廓图，基于所述行人轮廓图进行行人头部筛选得到检测框，将所述检测框对应 到所述彩色图像中得到当前跟踪框；
首先，采用八邻域算法求所述分割后图像中所包含的边界点，根据边界点确 定行人轮廓，对获取的轮廓以填充的形式绘制出来，并对绘制的轮廓进行图像形 态学处理得到所述行人轮廓图，比如图像形态学处理为采用开运算处理。进行开 运算可以去除图像中一些孤立的小点、毛刺等，使得轮廓整体更加平滑。
具体的，所述分割后图像中的每个图像块都有一个数值标签，用于区分不同 的图像块，通过遍历数值标签获取最大的标签值来判定当前帧有多少图像块组 成。对于每一帧图像，通过遍历图像块，采用八邻域算法，比较每个图像块中每 一个像素点与其相邻的8个点的值是否相等，如图3所示八领域示意图，A为当前 像素点，周围8个像素点为我们所判断的A点的8个邻域，若A点与其他8个点的值 均相等则判断A点为轮廓内点，若其与其他8个点的值有不相等的，则判断A点为 边界点。整个一帧图像遍历完成后，将获取的轮廓以填充的形式绘制出来，并且 对绘制的轮廓进行开运算，去除一些孤立的小点，毛刺等使得轮廓整体更加平滑。
然后，根据八邻域算法以及图像形态学处理后得到的所述行人轮廓图来筛选 行人的头部。3D摄像头垂直于地面向下拍摄，拍摄到的画面中行人的头部类圆， 通过类圆这个主要特征以及不同摆放高度对应着行人头部面积的大小来检测当 前帧人头的数量，由于摄像头的深度图彩色图在初始化后已经做了对齐操作，因 此检测框可以一一对应到彩色图中作为当前跟踪框。
可以理解的是，行人是场景中的跟踪目标，因此本步骤得到的检测框的数量 是至少一个。
步骤S204：将所述检测框对应到彩色图像中得到当前跟踪框，基于所述当前 跟踪框采用预设跟踪方法进行跟踪以实时获取场景的客流量统计结果。
本步骤基于彩色的当前跟踪框，采用的预设跟踪方法是核相关滤波算法(KernelCorrelation Filter)，简称KCF算法进行跟踪，并将跟踪结果输出给 计数单元进行计数得到场景的客流量统计结果。
采用KCF算法进行跟踪的流程如图4所示包括：
步骤S301:采用KCF算法进行跟踪和检测；
步骤S302：当间隔帧数达到10帧时，重新进行行人头部检测得到当前检测 框，根据当前检测框和当前跟踪框计算IOU是否大于0.8，是则执行步骤S304， 否则执行步骤S303；
可以理解的是，在跟踪过程中，采集图像每间隔10帧重新进行一次行人头 部检测以获得当前检测框，IOU全称为交并比(Intersection over Union)，当 前检测框和当前跟踪框的相关性越高，其计算得到的IOU就越接近于1，本步骤 中设定IOU阈值为0.8，只有当计算得到的IOU大于0.8时才将当前跟踪框继续 保留并跟踪，若计算得到的IOU小于等于0.8则不再作为跟踪框保留。
步骤S303：删除当前跟踪框。
步骤S304：保留当前跟踪框，将当前跟踪框输出给计数单元进行计数。
所述计数单元进行的计数处理包括：首先确定决策线，包括设定进入线，离 开线，以及两条经过线，决策区域如图5a、图5b、图5c所示(上方的虚线为进 入线，下方的点划线为离开线，左右两侧的点划线为经过线)，其中图5a表示进 入轨迹统计示意图，图5b表示离开轨迹统计示意图，图5c表示经过轨迹统计示 意图。
计数过程就是统计被检测到且跟踪整个过程直到消失的检测框。具体就是首 次确认检测目标并设为起始点，消失前的点判断为终止点，通过判断起始点和终 止点位于哪条决策线的两侧来判断此行人是进入离开还是经过，以上三幅图中带 箭头线条为各个示意图中行人的运动轨迹方向。
实施例三
结合前述本申请任一实施例提供的客流统计方法，本申请实施例还提供一种 客流统计装置和系统，请参考图6，本实施例的客流统计装置包括以下单元：
图像获取单元601，用于获取场景的深度图像；
图像预处理单元602，用于对所述深度图像进行去噪处理得到有效深度图， 基于所述有效深度图进行背景建模得到前景图像，对所述前景图像进行图像分割 得到分割后图像；
目标检测单元603，用于基于所述分割后图像采用图像形态学处理得到行人 轮廓图，基于所述行人轮廓图进行行人头部检测得到检测框；
目标跟踪单元604，用于将所述检测框作为当前跟踪框，基于所述当前跟踪 框采用预设跟踪方法对行人进行跟踪和检测，并根据检测结果实时更新当前跟踪 框；
计数单元605，用于根据所述当前跟踪框进行计数以得到场景的客流量统计 结果。
优选的，所述图像获取模块601，还用于获取与所述深度图像已配准的彩色 图像；所述目标检测单元603，还用于将所述检测框对应到所述彩色图像中得到 新的检测框；所述目标跟踪单元604，具体用于将所述新的检测框作为当前跟踪 框，基于所述当前跟踪框采用预设跟踪方法对行人进行跟踪和检测，并根据检测 结果实时更新当前跟踪框。
进一步的，所述目标检测单元603，具体用于采用八邻域算法求所述分割后 图像中所包含的边界点，根据边界点确定行人轮廓，对获取的轮廓以填充的形式 绘制出来，并对绘制的轮廓进行图像形态学处理得到所述行人轮廓图，基于所述 行人轮廓图进行行人头部检测得到检测框。
所述图像预处理单元602，具体还用于将所述图像获取单元601在预设时间 内获取到的深度图像的帧数作为建模帧数，获取所述有效深度图中各像素点的与 所述建模帧数对应的每帧像素值，通过对各像素点的所述每帧像素值进行统计得 到统计结果，根据所述建模帧数和所述统计结果确定各像素点中包含的背景像素 点，将确定为背景像素点的各像素点从所述有效深度图像中剔除，得到前景图像。
所述图像预处理单元602，具体还用于根据预先设置的聚类阈值将所述前景 图像分割成多个图像块，每个图像块中的各像素点标注有相同的数值标签，按照 图像块的面积大小以及与行人本身在图像中大小的关系确定行人分块面积，将各 图像块进行粗筛，将其中面积不符合所述行人分块面积的图像块除掉后得到的图 像作为分割后图像。
本实施例的客流统计系统，包括前面所述的客流量统计装置，以及用于采集 RGBD图像的3D摄像头，所述3D摄像头与所述客流统计装置连接，具体的，3D摄 像头采集到RGBD图像后，将深度图像和彩色图像进行配准，将配准后的深度图 像和彩色图像传输给所述客流统计装置。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施 例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例 的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例， 所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的 设备及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也 可以不是物理上分开的，作为单元提示的部件可以是或者也可以不是物理单元， 即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要 选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员 在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本申请的一种具体实施方式，但本申请的保护范围并不局限 于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到 的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应 该以权利要求的保护范围为准。
Claims (11)
1.一种客流统计方法，其特征在于，包括：
步骤S1、获取场景的深度图像；
步骤S2、对所述深度图像进行去噪处理得到有效深度图，基于所述有效深度图进行背景建模得到前景图像，对所述前景图像进行图像分割得到分割后图像；
步骤S3、基于所述分割后图像进行行人轮廓检测得到行人轮廓图，基于所述行人轮廓图进行行人头部检测得到检测框；
步骤S4、将所述检测框作为当前跟踪框，基于所述当前跟踪框采用预设跟踪方法对行人进行跟踪和检测，并根据检测结果实时更新当前跟踪框；
步骤S5：根据所述当前跟踪框进行计数以得到场景的客流量统计结果。
2.根据权利要求1所述的方法，其特征在于：所述步骤S1还包括，获取与所述深度图像对齐的场景的彩色图像；
所述步骤S3还包括，将所述检测框对应到所述彩色图像中得到新的检测框，所述步骤S4具体为，将所述新的检测框作为当前跟踪框，基于所述当前跟踪框采用预设跟踪方法对行人进行跟踪和检测，并根据检测结果实时更新当前跟踪框。
3.根据权利要求1或2所述的方法，其特征在于：步骤S3所述基于所述分割后图像进行行人轮廓检测得到行人轮廓图具体为，采用八邻域算法求所述分割后图像中所包含的边界点，根据边界点确定行人轮廓，对获取的轮廓以填充的形式绘制出来，并对绘制的轮廓进行图像形态学处理得到所述行人轮廓图。
4.根据权利要求1或2所述的方法，其特在于：所述基于所述有效深度图进行背景建模得到前景图像具体包括：将预设时间内采集到的深度图像的帧数作为建模帧数，获取所述有效深度图中各像素点的与所述建模帧数对应的每帧像素值，通过对各像素点的所述每帧像素值进行统计得到统计结果，根据所述建模帧数和所述统计结果确定各像素点中包含的背景像素点，将确定为背景像素点的各像素点从所述有效深度图像中剔除，得到前景图像。
5.根据权利要求1或2所述的方法，其特征在于：步骤S2中所述对所述前景图像进行图像分割得到分割后图像具体包括：预先设置多个聚类阈值，根据聚类阈值将所述前景图像分割成多个图像块，每个图像块中的各像素点标注有相同的数值标签，按照图像块的面积大小以及与行人本身在图像中大小的关系确定行人分块面积，对各图像块进行粗筛，将其中面积不符合所述行人分块面积的图像块除掉后得到的图像作为分割后图像。
6.一种客流量统计装置，其特征在于，包括：
图像获取单元，用于获取场景的深度图像；
图像预处理单元，用于对所述深度图像进行去噪处理得到有效深度图，基于所述有效深度图进行背景建模得到前景图像，对所述前景图像进行图像分割得到分割后图像；
目标检测单元，用于基于所述分割后图像进行行人轮廓检测得到行人轮廓图，基于所述行人轮廓图进行行人头部检测得到检测框；
目标跟踪单元，用于将所述检测框作为当前跟踪框，基于所述当前跟踪框采用预设跟踪方法对行人进行跟踪和检测，并根据检测结果实时更新当前跟踪框；
计数单元，用于根据所述当前跟踪框进行计数以得到场景的客流量统计结果。
7.根据权利要求6所述的装置，其特征在于：所述图像获取模块，还用于获取与所述深度图像已配准的彩色图像；
所述目标检测单元，还用于将所述检测框对应到所述彩色图像中得到新的检测框；
所述目标跟踪单元，具体用于将所述新的检测框作为当前跟踪框，基于所述当前跟踪框采用预设跟踪方法对行人进行跟踪和检测，并根据检测结果实时更新当前跟踪框。
8.根据权利要求6或7所述的装置，其特征在于：所述目标检测单元，具体用于采用八邻域算法求所述分割后图像中所包含的边界点，根据边界点确定行人轮廓，对获取的轮廓以填充的形式绘制出来，并对绘制的轮廓进行图像形态学处理得到所述行人轮廓图，基于所述行人轮廓图进行行人头部检测得到检测框。
9.根据权利要求6或7所述的装置，其特征在于：所述图像预处理单元，具体还用于将所述图像获取单元在预设时间内获取到的深度图像的帧数作为建模帧数，获取所述有效深度图中各像素点的与所述建模帧数对应的每帧像素值，通过对各像素点的所述每帧像素值进行统计得到统计结果，根据所述建模帧数和所述统计结果确定各像素点中包含的背景像素点，将确定为背景像素点的各像素点从所述有效深度图像中剔除，得到前景图像。
10.根据权利要求6或7所述的装置，其特征在于：所述图像预处理单元，具体还用于根据预先设置的聚类阈值将所述前景图像分割成多个图像块，每个图像块中的各像素点标注有相同的数值标签，按照图像块的面积大小以及与行人本身在图像中大小的关系确定行人分块面积，将各图像块进行粗筛，将其中面积不符合所述行人分块面积的图像块除掉后得到的图像作为分割后图像。
11.一种客流量统计系统，其特征在于：包括权利要求6-10中任一项所述的客流量统计装置，以及用于采集RGBD图像的3D摄像头。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910861820.2A CN110717400A (zh) | 2019-09-12 | 2019-09-12 | 一种客流统计方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910861820.2A CN110717400A (zh) | 2019-09-12 | 2019-09-12 | 一种客流统计方法、装置及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110717400A true CN110717400A (zh) | 2020-01-21 |
Family
ID=69210394
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910861820.2A Pending CN110717400A (zh) | 2019-09-12 | 2019-09-12 | 一种客流统计方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110717400A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111339873A (zh) * | 2020-02-18 | 2020-06-26 | 南京甄视智能科技有限公司 | 客流统计方法、装置、存储介质及计算设备 |
| CN112560641A (zh) * | 2020-12-11 | 2021-03-26 | 北京交通大学 | 基于视频的双向客流通道中的单向客流信息检测方法 |
| CN112819835A (zh) * | 2021-01-21 | 2021-05-18 | 博云视觉科技(青岛)有限公司 | 一种基于3d深度视频的客流计数方法 |
| CN113963318A (zh) * | 2021-12-22 | 2022-01-21 | 北京的卢深视科技有限公司 | 人流量统计方法、装置、电子设备和存储介质 |
| CN115147868A (zh) * | 2022-06-29 | 2022-10-04 | 珠海视熙科技有限公司 | 客流相机的人体检测方法、客流相机、装置及存储介质 |
| CN116188357A (zh) * | 2022-09-27 | 2023-05-30 | 珠海视熙科技有限公司 | 一种出入口人体检测方法、摄像设备、装置及存储介质 |
| CN117132948A (zh) * | 2023-10-27 | 2023-11-28 | 南昌理工学院 | 景区游客流量监控方法、系统、可读存储介质及计算机 |
| CN117423067A (zh) * | 2023-12-18 | 2024-01-19 | 成都华芯智云科技有限公司 | 一种基于tof技术的客流统计终端 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103530874A (zh) * | 2013-10-09 | 2014-01-22 | 上海大学 | 基于Kinect的人流计数方法 |
| CN103646250A (zh) * | 2013-09-13 | 2014-03-19 | 魏运 | 基于距离图像头肩特征的行人监测方法及装置 |
| CN104517095A (zh) * | 2013-10-08 | 2015-04-15 | 南京理工大学 | 一种基于深度图像的人头分割方法 |
| CN104751491A (zh) * | 2015-04-10 | 2015-07-01 | 中国科学院宁波材料技术与工程研究所 | 一种人群跟踪及人流量统计方法及装置 |
-
2019
- 2019-09-12 CN CN201910861820.2A patent/CN110717400A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103646250A (zh) * | 2013-09-13 | 2014-03-19 | 魏运 | 基于距离图像头肩特征的行人监测方法及装置 |
| CN104517095A (zh) * | 2013-10-08 | 2015-04-15 | 南京理工大学 | 一种基于深度图像的人头分割方法 |
| CN103530874A (zh) * | 2013-10-09 | 2014-01-22 | 上海大学 | 基于Kinect的人流计数方法 |
| CN104751491A (zh) * | 2015-04-10 | 2015-07-01 | 中国科学院宁波材料技术与工程研究所 | 一种人群跟踪及人流量统计方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 雷帮军等: "《视频目标跟踪系统分步详解》", 31 December 2015 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111339873A (zh) * | 2020-02-18 | 2020-06-26 | 南京甄视智能科技有限公司 | 客流统计方法、装置、存储介质及计算设备 |
| CN111339873B (zh) * | 2020-02-18 | 2021-04-20 | 南京甄视智能科技有限公司 | 客流统计方法、装置、存储介质及计算设备 |
| CN112560641A (zh) * | 2020-12-11 | 2021-03-26 | 北京交通大学 | 基于视频的双向客流通道中的单向客流信息检测方法 |
| CN112819835A (zh) * | 2021-01-21 | 2021-05-18 | 博云视觉科技(青岛)有限公司 | 一种基于3d深度视频的客流计数方法 |
| CN113963318A (zh) * | 2021-12-22 | 2022-01-21 | 北京的卢深视科技有限公司 | 人流量统计方法、装置、电子设备和存储介质 |
| CN113963318B (zh) * | 2021-12-22 | 2022-03-25 | 北京的卢深视科技有限公司 | 人流量统计方法、装置、电子设备和存储介质 |
| CN115147868A (zh) * | 2022-06-29 | 2022-10-04 | 珠海视熙科技有限公司 | 客流相机的人体检测方法、客流相机、装置及存储介质 |
| CN116188357A (zh) * | 2022-09-27 | 2023-05-30 | 珠海视熙科技有限公司 | 一种出入口人体检测方法、摄像设备、装置及存储介质 |
| CN117132948A (zh) * | 2023-10-27 | 2023-11-28 | 南昌理工学院 | 景区游客流量监控方法、系统、可读存储介质及计算机 |
| CN117132948B (zh) * | 2023-10-27 | 2024-01-30 | 南昌理工学院 | 景区游客流量监控方法、系统、可读存储介质及计算机 |
| CN117423067A (zh) * | 2023-12-18 | 2024-01-19 | 成都华芯智云科技有限公司 | 一种基于tof技术的客流统计终端 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110717400A (zh) | 一种客流统计方法、装置及系统 | |
| US20200175330A1 (en) | System and process for detecting, tracking and counting human objects of interest | |
| JP6549797B2 (ja) | 通行人の頭部識別方法及びシステム | |
| KR101808587B1 (ko) | 객체인식과 추적감시 및 이상상황 감지기술을 이용한 지능형 통합감시관제시스템 | |
| CN108986064B (zh) | 一种人流量统计方法、设备及系统 | |
| US8184859B2 (en) | Road marking recognition apparatus and method | |
| CN103077386B (zh) | 一种级联的视频流虹膜图像质量检测方法 | |
| CN109145708B (zh) | 一种基于rgb和d信息融合的人流量统计方法 | |
| CN107845264A (zh) | 一种基于视频监控的交通量采集系统及方法 | |
| CN104835147A (zh) | 基于三维深度图数据的密集人流量实时检测方法 | |
| KR20160035121A (ko) | 깊이 영상정보에서 추출된 위치정보를 이용한 개체계수 방법 및 장치 | |
| CN107945523A (zh) | 一种道路车辆检测方法、交通参数检测方法及装置 | |
| Chen et al. | Traffic congestion classification for nighttime surveillance videos | |
| CN114049306A (zh) | 一种基于图像摄像机和高性能显卡的交通异常检测系统设计 | |
| CN113657250A (zh) | 一种基于监控视频的火焰检测方法及系统 | |
| CN112446913A (zh) | 一种通道闸行人数量统计与尾随判断方法、装置和设备 | |
| CN112257520A (zh) | 人流量统计方法、装置及系统 | |
| CN110930432A (zh) | 一种视频分析方法、装置及系统 | |
| CN106845361B (zh) | 一种行人头部识别方法及系统 | |
| CN114842393A (zh) | 一种人流量的统计方法和装置 | |
| JPH0997335A (ja) | 車両認識装置及び交通流計測装置 | |
| Tsai et al. | Multi-lane detection and road traffic congestion classification for intelligent transportation system | |
| CN116416565A (zh) | 一种特定区域行人尾随及翻越检测方法和系统 | |
| JPH05290293A (ja) | 車頭検出装置 | |
| Ramalingam et al. | Vehicle detection for traffic flow analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200121 |
|
| RJ01 | Rejection of invention patent application after publication |