CN104268506B - 基于深度图像的客流计数检测方法 - Google Patents
基于深度图像的客流计数检测方法 Download PDFInfo
- Publication number
- CN104268506B CN104268506B CN201410467648.XA CN201410467648A CN104268506B CN 104268506 B CN104268506 B CN 104268506B CN 201410467648 A CN201410467648 A CN 201410467648A CN 104268506 B CN104268506 B CN 104268506B
- Authority
- CN
- China
- Prior art keywords
- head
- depth image
- image
- depth
- passenger flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 15
- 238000007493 shaping process Methods 0.000 claims abstract description 8
- 238000006243 chemical reaction Methods 0.000 claims description 4
- PICXIOQBANWBIZ-UHFFFAOYSA-N zinc;1-oxidopyridine-2-thione Chemical class [Zn+2].[O-]N1C=CC=CC1=S.[O-]N1C=CC=CC1=S PICXIOQBANWBIZ-UHFFFAOYSA-N 0.000 claims 1
- 238000000034 method Methods 0.000 abstract description 7
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06M—COUNTING MECHANISMS; COUNTING OF OBJECTS NOT OTHERWISE PROVIDED FOR
- G06M11/00—Counting of objects distributed at random, e.g. on a surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度图像的客流计数检测方法，步骤1，在公交车车门上方设置体感摄像头，采集乘客上下车的深度图像视频；步骤2，对获得的深度图像进行预处理；步骤3，将步骤2预处理后的深度图像去噪，然后进行多次分层处理，得到多张二值图像，将这些二值图像合并，得到这一帧的二值图像；步骤4，进行头部检测判断；步骤5，头部轨迹跟踪步骤；步骤6，上下车判断步骤；步骤7，进行上下车统计，实现客流计数。本发明利用深度图像进行检测分析，克服了传统的客流计数方法在乘客拥挤和光线变化时计数准确度差的缺点，很好的解决了客流量拥挤的情况，达到了精确客流计数的目的，为智能公共交通系统提供了实时、清楚、准确的乘客交通统计数据。
Description
技术领域
本发明涉及数字图像处理和识别领域，尤其是涉及一种基于深度图像的客流计数检测方法。
背景技术
近几年，随着政府对智能公交事业投入力度的加大，我国智能公共交通系统APTS已初现端倪，客流计数系统是APTS的重要组成部分，此系统能给公交公司提供实时、清楚、准确的乘客交通统计数据，以此带来经济和社会效益。
传统的客流计数系统主要利用压力传感器和红外线装置，在客流拥挤的情况下，准确率下降明显；目前利用图像处理技术的客流计数方法是新的发展方向，通过识别人头达到客流统计目的，虽然准确度有所提高，但是传统图像容易受光线的影响，使得应用环境也受到限制。由于深度图像利用的是距离信息，不受到光线的影响，于是利用深度图像的客流计数方法可以克服以上方法的缺点，达到精确计数的目的。
发明内容
有鉴于此，本发明的目的是提供一种基于深度图像的客流计数检测方法，利用体感摄像头获取深度图像，利用此深度图像进行图像处理和识别，达到客流计数的目的。
为达到上述目的，本发明采用以下技术方案：
一种基于深度图像的客流计数检测方法，其特征在于：包括如下步骤：
步骤1，在公交车车门上方设置体感摄像头，采集乘客上下车的深度图像视频；
步骤2，对获得的深度图像进行预处理，对深度图像的异常值点进行填充处理，并对深度图像的数据格式进行转换，得到0~255的深度图像；
步骤3，将步骤2预处理后的深度图像去噪，然后进行多次分层处理，得到多张二值图像，将这些二值图像合并，得到这一帧的二值图像；
步骤4，对得到的包含头部和肩膀信息的二值图像进行处理，进行头部检测判断，识别出头部并存储头部的形状信息，遍历整个视频获得所有头部特征；
步骤5，头部轨迹跟踪步骤：遍历得到的所有头部特征，获得多条轨迹路径，并存储路径信息；
步骤6，上下车判断步骤：划定两条上车基准线和两条下车基准线，根据轨迹路径中首次和末次出现的位置与四条基准线，的位置关系，以及首末次出现的位置坐标差，来判断乘客上下车状态；
步骤7，进行上下车统计，实现客流计数。
作为优选，所述步骤3的具体步骤为：
步骤31，对深度图像去噪，进行开运算操作，去除较小的明亮细节；
开运算：，其中是图像，是结构元素；
步骤32，得到去噪处理后图像的深度直方图，然后进行分层处理，将连续几个深度值的图像信息剥离出来，得到这一层的二值图像；
步骤33，将多张分层后的二值图像进行合并，得到这一帧的二值图像。
作为优选，所述步骤4的具体步骤为：
步骤41，根据拟合好的最大头部所占像素面积和深度值之间的关系曲线，得到连通域的所对应的最大头部面积，然后根据连通域的实际面积进行判断，获得可能的头部，并计算出连通域的中心点坐标、半径R、平均半径、半径标准差、半径比值；
其中：半径，是边缘点坐标值，为中心坐标；
平均半径，是边缘点个数；
步骤42，利用获得的连通域的形状特征进行初次头部判断，对于初次判断出的非头部连通域，由于可能包含具有马尾的头部，于是利用距离变换和阈值算法进行处理，对非头部区域进行第二次头部判断；
步骤43，遍历整个视频获得所有头部特征，存储这些头部的中心点坐标、深度值H、帧号i信息，并在头部中心坐标点周围设置标记便于跟踪。
作为优选，所述体感摄像头安装在车门正上方，与车厢地板垂直。
作为优选，所述步骤5的具体步骤为：对得到的头部特征，首先判断是不是同一人，对于同一帧的人头，或者帧号相差过大的人头直接判断为不同人头；然后求取与已知各条轨迹路径的位置欧式距离,获得最小距离，如果距离d<d_thr，则合并到最小距离所对应的头部轨迹路径中，如果d>d_thr，则开辟新的头部轨迹路径，按先后顺序遍历所有头部，并存储所有轨迹路径的位置信息和帧信息。
本发明的有益效果是：
本发明利用深度图像进行检测分析，克服了传统的客流统计方法在乘客拥挤和光线变化时计数准确度差的缺点，首先获取乘客上下车的深度图像视频；对获取的原始深度图像进行填洞，数据转换，形态学处理，利用分层处理获取二值图像；然后进行头部检测并保存每帧的头部信息；进行轨迹跟踪合并；最后进行上下车分析，统计出客流量。本发明很好的解决了客流量拥挤的情况，达到了精确客流统计的目的，为智能公共交通系统提供了实时、清楚、准确的乘客交通统计数据。
附图说明
图1为本发明的方法流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步描述。
如图1所示，本发明的包括以下步骤：
步骤1，在公交车车门上方设置体感摄像头，采集乘客上下车的深度图像视频。
步骤2，对获得的深度图像进行预处理，对深度图像的异常值点进行填充处理，并对深度图像的数据格式进行转换，获得0~255的深度图像。
步骤3，将步骤2预处理后的深度图像去噪，然后进行多次分层处理，得到多张二值图像，将这些二值图像合并，得到这一帧的二值图像；具体步骤为：
步骤31，对深度图像去噪，进行开运算操作，去除较小的明亮细节；
开运算：，其中是图像，是结构元素；
步骤32，得到去噪处理后图像的深度直方图，然后进行分层处理，将连续几个深度值的图像信息剥离出来，得到这一层的二值图像；
步骤33，将多张分层后的二值图像进行合并，得到这一帧的二值图像（包含头部和肩膀等）。
步骤4，对得到的包含头部和肩膀信息的二值图像进行处理，进行头部检测判断，识别出头部并存储头部的形状信息，遍历整个视频获得所有头部特征；具体步骤为：
步骤41，首先获得最大头部模型在不同深度所占的像素面积，从而拟合出最大头部所占像素面积和深度值之间的曲线；根据拟合好的最大头部所占像素面积和深度值之间的关系曲线，得到连通域的所对应的最大头部面积，然后根据连通域的实际面积进行判断，获得可能的头部，并计算出连通域的中心点坐标、半径R、平均半径、半径标准差、半径比值；
其中：半径，是边缘点坐标值，为中心坐标；
平均半径，是边缘点个数。
步骤42，利用获得的连通域的形状特征进行初次头部判断，对于初次判断出的非头部连通域，由于可能包含具有马尾的头部，于是利用距离变换和阈值算法进行处理，对非头部区域进行第二次头部判断；
步骤43，遍历整个视频获得所有头部特征，存储这些头部的中心点坐标、深度值H、帧号i信息，并在头部中心坐标点周围设置标记便于跟踪。
步骤5，头部轨迹跟踪步骤：遍历得到的所有头部特征，获得多条轨迹路径，并存储路径信息；具体过程为：
对得到的头部特征，首先判断是不是同一人，对于同一帧的人头，或者帧号相差过大的人头直接判断为不同人头；然后求取与已知各条轨迹路径的位置欧式距离,获得最小距离，如果距离d<d_thr（距离阈值）则合并到最小距离所对应的头部轨迹路径中，如果d>d_thr（距离阈值）,则开辟新的头部轨迹路径，按先后顺序遍历所有头部，并存储所有轨迹路径的位置信息和帧信息。
步骤6，上下车判断步骤：划定两条上车基准线和两条下车基准线，根据轨迹路径中首次和末次出现的位置与四条基准线，的位置关系，以及首末次出现的位置坐标差，来判断乘客上下车状态。
步骤7，进行上下车统计，实现客流计数。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，本领域普通技术人员对本发明的技术方案所做的其他修改或者等同替换，只要不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。
Claims (4)
1.一种基于深度图像的客流计数检测方法，其特征在于：包括如下步骤：
步骤1，在公交车车门上方设置体感摄像头，采集乘客上下车的深度图像视频；
步骤2，对获得的深度图像进行预处理，对深度图像的异常值点进行填充处理，并对深度图像的数据格式进行转换，得到0～255的深度图像；
步骤3，将步骤2预处理后的深度图像去噪，然后进行多次分层处理，得到多张二值图像，将这些二值图像合并，得到这一帧的二值图像；
步骤4，对得到的包含头部和肩膀等信息的二值图像进行处理，进行头部检测判断，识别出头部并存储头部的形状信息，遍历整个视频获得所有头部特征；
步骤5，头部轨迹跟踪步骤：遍历得到的所有头部特征，获得多条轨迹路径，并存储路径信息；
步骤6，上下车判断步骤：划定两条上车基准线Yin1,Yin2和两条下车基准线Yout1,Yout2，根据轨迹路径中首次和末次出现的位置与四条基准线Yin1,Yin2，Yout1,Yout2的位置关系，以及首末次出现的位置坐标差，来判断乘客上下车状态；
步骤7，进行上下车统计，实现客流计数；
所述步骤4的具体步骤为：
步骤41，根据拟合好的最大头部所占像素面积和深度值之间的关系曲线，得到连通域的所对应的最大头部面积，然后根据连通域的实际面积进行判断，获得可能的头部，并计算出连通域的中心点坐标xc,yc、半径R、平均半径Rarg、半径标准差Rstd、半径比值；
其中：半径xe,ye是边缘点坐标值，xc,yc为中心坐标；
平均半径n是边缘点个数；
步骤42，利用获得的连通域的形状特征进行初次头部判断，对于初次判断出的非头部连通域，由于可能包含具有马尾的头部，于是利用距离变换和阈值算法进行处理，对非头部区域进行第二次头部判断；
步骤43，遍历整个视频获得所有头部特征，存储这些头部的中心点坐标xc,yc、深度值H、帧号i信息，并在头部中心坐标点周围设置标记便于跟踪。
2.根据权利要求1所述的一种基于深度图像的客流计数检测方法，其特征在于：所述步骤3的具体步骤为：
步骤31，对深度图像去噪，进行开运算操作，去除较小的明亮细节；
开运算：其中A是图像，B是结构元素；
步骤32，得到去噪处理后图像的深度直方图，然后进行分层处理，将连续几个深度值的图像信息剥离出来，得到这一层的二值图像；
步骤33，将多张分层后的二值图像进行合并，得到这一帧的二值图像。
3.根据权利要求1所述的一种基于深度图像的客流计数检测方法，其特征在于：所述体感摄像头安装在车门正上方，与车厢地板垂直。
4.根据权利要求1所述的一种基于深度图像的客流计数检测方法，其特征在于：所述步骤5的具体步骤为：对得到的头部特征，首先判断是不是同一人，对于同一帧的人头，或者帧号相差过大的人头直接判断为不同人头；然后求取与已知各条轨迹路径的位置欧氏距离获得最小距离，如果距离d<d_thr，则合并到最小距离所对应的头部轨迹路径中，如果d>d_thr,则开辟新的头部轨迹路径，按先后顺序遍历所有头部，并存储所有轨迹路径的位置信息和帧信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410467648.XA CN104268506B (zh) | 2014-09-15 | 2014-09-15 | 基于深度图像的客流计数检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410467648.XA CN104268506B (zh) | 2014-09-15 | 2014-09-15 | 基于深度图像的客流计数检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104268506A CN104268506A (zh) | 2015-01-07 |
| CN104268506B true CN104268506B (zh) | 2017-12-15 |
Family
ID=52160026
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410467648.XA Active CN104268506B (zh) | 2014-09-15 | 2014-09-15 | 基于深度图像的客流计数检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104268506B (zh) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160118783A (ko) * | 2015-04-03 | 2016-10-12 | 한화테크윈 주식회사 | 사람 계수 방법 및 장치 |
| CN105354805B (zh) * | 2015-10-26 | 2020-03-06 | 京东方科技集团股份有限公司 | 深度图像的去噪方法和去噪设备 |
| US10318829B2 (en) | 2016-03-17 | 2019-06-11 | Nec Corporation | Passenger counting device, system, method and program, and vehicle movement amount calculation device, method and program |
| WO2017156772A1 (zh) * | 2016-03-18 | 2017-09-21 | 深圳大学 | 一种乘客拥挤度的计算方法及其系统 |
| CN105844229B (zh) * | 2016-03-18 | 2019-08-09 | 深圳大学 | 一种乘客拥挤度的计算方法及其系统 |
| CN106446788A (zh) * | 2016-08-31 | 2017-02-22 | 山东恒宇电子有限公司 | 基于视神经机制的高动态范围图像统计客流的方法 |
| CN106407937A (zh) * | 2016-09-21 | 2017-02-15 | 俞大海 | 基于深度图像的公交车车载人流统计系统 |
| WO2018053763A1 (zh) * | 2016-09-22 | 2018-03-29 | 深圳大学 | 一种图像识别方法和装置 |
| CN106548163B (zh) * | 2016-11-25 | 2019-04-16 | 青岛大学 | 基于tof深度相机客流计数的方法 |
| CN108932464A (zh) * | 2017-06-09 | 2018-12-04 | 北京猎户星空科技有限公司 | 客流量统计方法及装置 |
| CN107240111B (zh) * | 2017-06-14 | 2021-03-26 | 郑州天迈科技股份有限公司 | 边沿连通分割客流统计方法 |
| CN108446611A (zh) * | 2018-03-06 | 2018-08-24 | 深圳市图敏智能视频股份有限公司 | 一种车门状态关联的双目图像公交客流计算方法 |
| CN108596938A (zh) * | 2018-04-25 | 2018-09-28 | 杭州光珀智能科技有限公司 | 一种客流统计方法及装置 |
| CN109030499B (zh) * | 2018-07-27 | 2021-08-24 | 江苏理工学院 | 一种适用于目标缺陷连续在线检测防止缺陷数目重复计数的装置及方法 |
| CN109583411B (zh) * | 2018-12-09 | 2022-10-21 | 大连海事大学 | 基于tof摄像头的游客类别在线审核方法 |
| CN110376585B (zh) * | 2019-07-23 | 2022-02-15 | 交控科技股份有限公司 | 基于3d雷达扫描的车厢拥挤度检测方法及装置、系统 |
| CN110633671A (zh) * | 2019-09-16 | 2019-12-31 | 天津通卡智能网络科技股份有限公司 | 基于深度图像的公交车客流实时统计方法 |
| CN110705417A (zh) * | 2019-09-24 | 2020-01-17 | 杭州驭光光电科技有限公司 | 人头计数方法及光投射装置 |
| CN110766243B (zh) * | 2019-12-30 | 2020-05-26 | 恒大智慧科技有限公司 | 一种景区厕所推荐方法、装置及系统 |
| CN111339873B (zh) * | 2020-02-18 | 2021-04-20 | 南京甄视智能科技有限公司 | 客流统计方法、装置、存储介质及计算设备 |
| CN111968081B (zh) * | 2020-07-30 | 2023-11-21 | 中国农业大学 | 鱼群自动计数方法、装置、电子设备及存储介质 |
| CN112528867B (zh) * | 2020-12-14 | 2021-07-20 | 上海工程技术大学 | 一种地铁车站突发大客流预警方法及其应用 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101030257A (zh) * | 2007-04-13 | 2007-09-05 | 中国传媒大学 | 基于汉字特征的文档图像分割方法 |
| CN103021059A (zh) * | 2012-12-12 | 2013-04-03 | 天津大学 | 一种基于视频监控的公交客流计数方法 |
| CN103345792A (zh) * | 2013-07-04 | 2013-10-09 | 南京理工大学 | 基于传感器景深图像的客流统计装置及其方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001033503A1 (en) * | 1999-11-03 | 2001-05-10 | Cet Technologies Pte Ltd | Image processing techniques for a video based traffic monitoring system and methods therefor |
-
2014
- 2014-09-15 CN CN201410467648.XA patent/CN104268506B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101030257A (zh) * | 2007-04-13 | 2007-09-05 | 中国传媒大学 | 基于汉字特征的文档图像分割方法 |
| CN103021059A (zh) * | 2012-12-12 | 2013-04-03 | 天津大学 | 一种基于视频监控的公交客流计数方法 |
| CN103345792A (zh) * | 2013-07-04 | 2013-10-09 | 南京理工大学 | 基于传感器景深图像的客流统计装置及其方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104268506A (zh) | 2015-01-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104268506B (zh) | 基于深度图像的客流计数检测方法 | |
| CN110569704B (zh) | 一种基于立体视觉的多策略自适应车道线检测方法 | |
| CN106570477B (zh) | 基于深度学习的车型识别模型构建方法及车型识别方法 | |
| CN104463146B (zh) | 基于近红外tof相机深度信息的姿势识别方法和装置 | |
| CN104008370B (zh) | 一种视频人脸识别方法 | |
| CN104318258B (zh) | 一种基于时域模糊和卡尔曼滤波器的车道线检测方法 | |
| CN107862261A (zh) | 基于多尺度卷积神经网络的图像人群计数方法 | |
| CN109460709A (zh) | 基于rgb和d信息融合的rtg视觉障碍物检测的方法 | |
| CN104123549B (zh) | 一种用于疲劳驾驶实时监测的眼睛定位方法 | |
| CN105260705B (zh) | 一种适用于多姿态下的驾驶人员接打电话行为检测方法 | |
| CN103996198A (zh) | 复杂自然环境下感兴趣区域的检测方法 | |
| CN104050481B (zh) | 多模板轮廓特征和灰度相结合的红外图像实时行人检测 | |
| CN105787482A (zh) | 一种基于深度卷积神经网络的特定目标轮廓图像分割方法 | |
| CN110516633B (zh) | 一种基于深度学习的车道线检测方法及系统 | |
| CN109657581A (zh) | 基于双目相机行为检测的城市轨道交通闸机通行控制方法 | |
| CN111899515B (zh) | 一种基于智慧道路边缘计算网关的车辆检测系统 | |
| CN103646254B (zh) | 一种高密度行人检测方法 | |
| CN107967695A (zh) | 一种基于深度光流和形态学方法的运动目标检测方法 | |
| CN110032932B (zh) | 一种基于视频处理和决策树设定阈值的人体姿态识别方法 | |
| CN106778668A (zh) | 一种联合ransac和cnn的鲁棒的车道线检测方法 | |
| CN104298969A (zh) | 基于颜色与haar特征融合的人群规模统计方法 | |
| CN106780631A (zh) | 一种基于深度学习的机器人闭环检测方法 | |
| CN109949593A (zh) | 一种基于路口先验知识的交通信号灯识别方法及系统 | |
| CN111476188B (zh) | 基于特征金字塔的人群计数方法、系统、介质及电子设备 | |
| CN110969131B (zh) | 一种基于场景流的地铁人流计数方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |