CN106951831B - 一种基于深度摄像机的行人检测跟踪方法 - Google Patents

一种基于深度摄像机的行人检测跟踪方法 Download PDF

Info

Publication number
CN106951831B
CN106951831B CN201710112261.6A CN201710112261A CN106951831B CN 106951831 B CN106951831 B CN 106951831B CN 201710112261 A CN201710112261 A CN 201710112261A CN 106951831 B CN106951831 B CN 106951831B
Authority
CN
China
Prior art keywords
image
pedestrian
tracking
entering
ist
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710112261.6A
Other languages
English (en)
Other versions
CN106951831A (zh
Inventor
王海滨
黄志举
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vistek Technology Beijing Co ltd
Original Assignee
Vistek Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vistek Technology Beijing Co ltd filed Critical Vistek Technology Beijing Co ltd
Priority to CN201710112261.6A priority Critical patent/CN106951831B/zh
Publication of CN106951831A publication Critical patent/CN106951831A/zh
Application granted granted Critical
Publication of CN106951831B publication Critical patent/CN106951831B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于深度摄像机的行人检测跟踪方法，其特征在于，包括步骤：步骤101：读取视频流的一帧图像，判断是否为行人检测帧，如果是进入步骤102，否则进入步骤107；步骤102：使用聚合通道特征法做行人检测；步骤103：深度图像去噪声；步骤104：修正行人位置；步骤105：去除误检测；步骤106：目标匹配，目标匹配充分利用图像的时空信息，根据图像的相邻两帧之前只存在微小的运动这一特性；步骤107：目标跟踪，以T_list为起点，开始对目标进行跟踪，直到fN能被SKIP整除，进入步骤102，开始进行行人检测。

Description

一种基于深度摄像机的行人检测跟踪方法
技术领域
本发明涉及一种基于深度摄像机的行人检测跟踪算法，特别涉及应用于安防系统视频监控中行人的检测跟踪方法。
背景技术
随着深度摄像机的普及，能够实时的同步获取稳定的彩色图像和深度图像已经成为现实。行人检测是计算机领域的一个重要分支，也是智能监控系统的主体，基于深度摄像机的行人检测跟踪方法越来越成为人们的研究重点。目前已经存在很多优秀的行人检测算法，但大都存在一些不足，主要体现在：行人位置不准确，检测得到的行人框有时偏大，有时偏小；存在一定的误检测，不是行人的区域被误判为行人；行人位置不稳定，往往是由检测器造成的；运行速度慢，不能满足实时性的要求。
为了克服以上技术不足，本发明提出了一种基于深度摄像机RGB-D图像的行人检测跟踪。
发明内容
本发明的目的在于提供了一种基于深度摄像机的行人检测跟踪方法，其特征在于，包括步骤：
步骤101：读取视频流的一帧图像，并对图像的帧计数，计数为fN，每读取一帧fN加1，并判断fN能否被常量整除，如果能整除则进入步骤102，否则进入步骤107；
步骤102：使用聚合通道特征法做行人检测，其中选取YUV颜色通道+梯度幅值通道+梯度方向通道组合成聚合通道特征；检测结果为一个矩形序列PR[N],其中N为检测到的行人的个数，PR[n]表示检测结果的第n个行人的矩形位置，然后进入步骤103；
步骤103：深度图像去噪声，先对RGB_D的D通道进行腐蚀操作，腐蚀半径为r，然后在进行膨胀操作，膨胀半径也为r，此操作可去除半径小于或等于r的噪声，并且对非噪声区域造成最少的影响，以便于更好的从深度图像中提取出行人的轮廓,然后进入步骤104；
步骤104：修正行人位置，在RGB_D的D通道找到PR[n]对应的位置，然后使用canny算子找到图像的边缘，也就是行人的边缘轮廓C[n],然后找C[n]的最小外接矩形BRect，BRect即为修正后行人的位置，然后用BRect替换PR[n]，进入步骤105；
步骤105：去除误检测，在深度图像中，PR[n]默认为行人的位置，找到PR[n]的中心点center，然后以center作为漫水填充的种子点，一直向四周填充，填充的条件是相邻像素之间的深度值之差应当不低于阈值Ther_d；漫水区域的面积为m_area，计算m_area与PR[n]的面积比值，如果比值过大，或者过小则判定位置PR[n]为误检测，然后将其删除，进入步骤106；
步骤106：目标匹配，目标匹配充分利用图像的时空信息，根据图像的相邻两帧之前只存在微小的运动这一特性；
步骤107：目标跟踪，以T_list为起点，开始对目标进行跟踪，直到fN能否被所述常量整除，进入步骤102，开始进行行人检测。
优选地，步骤107的具体方法为：
步骤201：对于跟踪目标T_List[n]，以其中心为原点，将原矩形放大到原来的2倍，结果产生矩形p_rect，进入步骤202；
步骤202：提取跟踪目标T_List[n]的“指纹”f_phash，然后进入步骤203；
步骤203：以p_rect的左上角为起点，以T_List[n]的大小为大小，每次向右移动T_List[n]的宽度除以10或向下移动T_List[n]的高度除以10，得到矩形的提取指纹，并找到指纹相似度最大的矩形s_rect，然后进入步骤204；
步骤204：s_rect即为跟踪结果，用p_rect更新T_List[n]。
优选地，提取步骤202中“指纹”的具体方法为：
步骤301：缩小图像尺寸，将原始图像缩放到32*32；
步骤302：简化色彩，如果是RGB图像，则将其转化为灰度图像；
步骤303：对图像进行DCT变换；
步骤304：缩小DCT图像，只保留左上角8*8的矩阵；
步骤305：计算8*8DCT图像的像素平均值；
步骤306：对于8*8DCT图像每个点的，如果像素值大于像素平均值，则将像素值大于像素平均值的像素点编码为1，否则编码为0；最终生成的编码序列即为图像的指纹。
本发明能适用于深度摄像机，行人检测的位置准确稳定，跟踪平稳，误检测少，且运行速度快，完全可以满足实时性要求。
应当理解，前述大体的描述和后续详尽的描述均为示例性说明和解释，并不应当用作对本发明所要求保护内容的限制。
附图说明
参考随附的附图，本发明更多的目的、功能和优点将通过本发明实施方式的如下描述得以阐明，其中：
图1示出了根据本发明的基于深度摄像机的行人检测跟踪方法的流程图；
图2示出了根据本发明的目标跟踪方法流程图；
图3示出了根据本发明的生成指纹方法流程图。
具体实施方式
通过参考示范性实施例，本发明的目的和功能以及用于实现这些目的和功能的方法将得以阐明。然而，本发明并不受限于以下所公开的示范性实施例；可以通过不同形式来对其加以实现。说明书的实质仅仅是帮助相关领域技术人员综合理解本发明的具体细节。
在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。
为了便于本领域普通技术人员理解和实施本发明，下面结合附图对本发明作进一步的详细描述。
图1示出了根据本发明的基于深度摄像机的行人检测跟踪方法的流程图；
步骤101：读取视频流的一帧图像，并对图像的帧计数，计数为fN，每读取一帧fN加1，并判断fN能否被常量，即SKIP整除，如果能整除则进入步骤102，否则进入步骤107。
步骤102：本发明使用聚合通道特征法做行人检测，其中选取YUV颜色通道+梯度幅值通道+梯度方向通道组合成聚合通道特征。检测结果为一个矩形序列PR[N],其中N为检测到的行人的个数，PR[n]表示检测结果的第n个行人的矩形位置。然后进入步骤103。
步骤103：深度图像去噪声，先对RGB_D的D通道进行腐蚀操作，腐蚀半径为r，然后在进行膨胀操作，膨胀半径也为r，此操作可去除半径小于或等于r的噪声，并且对非噪声区域造成最少的影响，以便于更好的从深度图像中提取出行人的轮廓,然后进入步骤104。
步骤104：修正行人位置，在RGB_D的D通道找到PR[n]对应的位置，然后使用canny算子找到图像的边缘，也就是行人的边缘轮廓C[n],然后找C[n]的最小外接矩形BRect，BRect即为修正后行人的位置，然后用BRect替换PR[n]，进入步骤105。
步骤105：去除误检测，漫水填充非常适用于深度图(RGB_D的D通道)，可充分利用深度图的最大的特征：内部连续。在深度图像中，PR[n]默认为行人的位置，找到PR[n]的中心点center，然后以center作为漫水填充的种子点，一直向四周填充，填充的条件是相邻像素之间的深度值之差应当不低于阈值Ther_d。漫水区域的面积为m_area，计算m_area与PR[n]的面积比值，如果比值过大，或者过小则判定位置PR[n]为误检测，然后将其删除，进入步骤106。
步骤106：目标匹配，目标匹配充分利用图像的时空信息，根据图像的相邻两帧之前只存在微小的运动这一特性。
令T_List[n]为跟踪列表，PR[n]逐个比对T_List[n]，如果PR[n]与T_List[n]的重合度达到80％，则进行相似度比对，否则把PR[n]直接加入到跟踪列表T_List[n]，作为新的跟踪目标。
对于重合度达到80％的目标，先将图像的RGB通道进行灰度化处理，生成单通道的灰度图像m_gray。从m_gray中扣取出跟踪图像列表Tm_list[n]。同时从m_gray中扣取出行人检测的结果PRm[n]。并且将Tm_list[n]和PRm[n]缩放到同一大小(m_w*m_h)。
将PRm[n]在点(x,y)及其存在的周围(x-1,y-1),(x-1,y),(x-1,y+1)，(x,y-1)，(x,y+1)，(x+1,y-1)，(x+1,y)，(x+1,y+1)的像素值，与Tm_list[i]在点(x,y)及存在的周围的像素值做差，如果其中的至少有一处的差值小于20，则记点(x,y)为相似点。依次计算点(x，y+1)…直到整幅图像遍历结束，得出PRm[n]与Tm_list[i]相似点最多的i，相似点个数为S[i]，如果S[i]小于相似度匹配阈值，则把PR[n]加入到跟踪列表。否则记为PRm[n]与Tm_list[i]为同一目标。
步骤107：目标跟踪，以T_list为起点，开始对目标进行跟踪，直到fN能否被SKIP整除，进入步骤102，开始进行行人检测。其详细步骤如图2，后面会有详细的描述。
图2示出了根据本发明的目标跟踪方法流程图；
步骤201：对于跟踪目标T_List[n]，以其中心为原点，将原矩形放大到原来的2倍，结果产生矩形p_rect。进入步骤202。
步骤202：提取跟踪目标T_List[n]的“指纹”f_phash，“指纹”的详细提取步骤如图3，后面会有详细的描述。然后进入步骤203。
步骤203：以p_rect的左上角为起点，以T_List[n]的大小为大小，每次向右移动T_List[n]的宽度除以10或向下移动T_List[n]的高度除以10，得到的矩形提取指纹，并找到指纹相似度最大的矩形s_rect，然后进入步骤204。
步骤204：s_rect即为跟踪结果，用p_rect更新T_List[n]。
图3示出了根据本发明的生成指纹方法流程图。
步骤301：缩小图像尺寸，将原始图像缩放到32*32。
步骤302：简化色彩，如果是RGB图像，则将其转化为灰度图像。
步骤303：对图像进行DCT变换。
步骤304：缩小DCT图像，只保留左上角8*8的矩阵。
步骤305：计算8*8DCT图像的像素平均值。
步骤306：对于8*8DCT图像每个点的，如果像素值大于像素平均值，则此像素点编码为1，否则编码为0。最终生成的编码序列即为图像的指纹。
本专利能适用于深度摄像机，行人检测的位置准确稳定，跟踪平稳，误检测少，且运行速度快，完全可以满足实时性要求。
结合这里披露的本发明的说明和实践，本发明的其他实施例对于本领域技术人员都是易于想到和理解的。说明和实施例仅被认为是示例性的，本发明的真正范围和主旨均由权利要求所限定。

Claims (3)

1.一种基于深度摄像机的行人检测跟踪方法，其特征在于，包括步骤：
步骤101：读取视频流的一帧图像，并对图像的帧计数，计数为fN，每读取一帧fN加1，并判断fN能否被常量整除，如果能整除则进入步骤102，否则进入步骤107；
步骤102：使用聚合通道特征法做行人检测，其中选取YUV颜色通道、梯度幅值通道、梯度方向通道，组合成聚合通道特征；检测结果为一个矩形序列PR[N],其中N为检测到的行人的个数，PR[n]表示检测结果的第n个行人的矩形位置，然后进入步骤103；
步骤103：深度图像去噪声，先对RGB_D的D通道进行腐蚀操作，腐蚀半径为r，然后在进行膨胀操作，膨胀半径也为r，然后进入步骤104；
步骤104：修正行人位置，在RGB_D的D通道找到PR[n]对应的位置，然后使用canny算子找到图像的边缘，即行人的边缘轮廓C[n],然后找C[n]的最小外接矩形BRect，BRect即为修正后行人的位置，然后用BRect替换PR[n]，进入步骤105；
步骤105：去除误检测：在深度图像中，PR[n]默认为行人的位置，找到PR[n]的中心点center，然后以center作为漫水填充的种子点，一直向四周填充，填充的条件是相邻像素之间的深度值之差不低于阈值Ther_d；漫水区域的面积为m_area，计算m_area与PR[n]的面积比值，根据m_area与PR[n]的面积比值，判定位置PR[n]为误检测，然后将其删除，进入步骤106；
步骤106：目标匹配，目标匹配充分利用图像的时空信息，根据图像的相邻两帧之前只存在微小的运动这一特性；
步骤107：目标跟踪，以T_list为起点，开始对目标进行跟踪，直到fN能被所述常量整除，进入步骤102，开始进行行人检测，其中，T_List[n]为跟踪列表。
2.根据权利要求1所述的方法，其特征在于：步骤107的具体方法为：
步骤201：对于跟踪目标T_List[n]，以其中心为原点，将原矩形放大到原来的2倍，结果产生矩形p_rect，进入步骤202；
步骤202：提取跟踪目标T_List[n]的指纹f_phash，然后进入步骤203；
步骤203：以p_rect的左上角为起点，以T_List[n]的大小为大小，每次向右移动T_List[n]的宽度除以10或向下移动T_List[n]的高度除以10，得到矩形的提取指纹，并找到指纹相似度最大的矩形s_rect，然后进入步骤204；
步骤204：s_rect即为跟踪结果，用p_rect更新T_List[n]。
3.根据权利要求2所述的方法，其特征在于：提取步骤202中指纹的具体方法为：
步骤301：缩小图像尺寸，将原始图像缩放到32*32；
步骤302：简化色彩，如果是RGB图像，则将其转化为灰度图像；
步骤303：对图像进行DCT变换；
步骤304：缩小DCT图像，只保留左上角8*8的矩阵；
步骤305：计算8*8DCT图像的像素平均值；
步骤306：对于8*8DCT图像的每个点，如果像素值大于像素平均值，则将像素值大于像素平均值的像素点编码为1，否则编码为0；最终生成的编码序列即为图像的指纹。
CN201710112261.6A 2017-02-28 2017-02-28 一种基于深度摄像机的行人检测跟踪方法 Active CN106951831B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710112261.6A CN106951831B (zh) 2017-02-28 2017-02-28 一种基于深度摄像机的行人检测跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710112261.6A CN106951831B (zh) 2017-02-28 2017-02-28 一种基于深度摄像机的行人检测跟踪方法

Publications (2)

Publication Number Publication Date
CN106951831A CN106951831A (zh) 2017-07-14
CN106951831B true CN106951831B (zh) 2020-07-31

Family

ID=59468049

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710112261.6A Active CN106951831B (zh) 2017-02-28 2017-02-28 一种基于深度摄像机的行人检测跟踪方法

Country Status (1)

Country Link
CN (1) CN106951831B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107452012B (zh) * 2017-07-28 2020-10-30 浙江大华技术股份有限公司 一种行人识别方法、装置和电子设备
CN109389116B (zh) * 2017-08-14 2022-02-08 阿里巴巴（中国）有限公司 一种字符检测方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006099597A3 (en) * 2005-03-17 2007-11-01 Honda Motor Co Ltd Pose estimation based on critical point analysis
CN103093211A (zh) * 2013-01-27 2013-05-08 西安电子科技大学 基于深度核信息图像特征的人体运动跟踪方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006099597A3 (en) * 2005-03-17 2007-11-01 Honda Motor Co Ltd Pose estimation based on critical point analysis
CN103093211A (zh) * 2013-01-27 2013-05-08 西安电子科技大学 基于深度核信息图像特征的人体运动跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
采用Kinect的移动机器人目标跟踪;张雪华;《智能系统学报》;20140228;第9卷(第1期);34-39 *

Also Published As

Publication number Publication date
CN106951831A (zh) 2017-07-14

Similar Documents

Publication Publication Date Title
CN106296725B (zh) 运动目标实时检测与跟踪方法及目标检测装置
WO2022027931A1 (zh) 基于视频图像的运动车辆前景检测方法
Kaur et al. An efficient approach for number plate extraction from vehicles image under image processing
KR102085035B1 (ko) 객체 인식을 위한 객체 후보영역 설정방법 및 장치
CN108022249A (zh) 一种遥感视频卫星运动车辆目标感兴趣区域自动提取方法
CN102457724B (zh) 一种图像运动检测系统及方法
Rabiu Vehicle detection and classification for cluttered urban intersection
KR20100056143A (ko) 영역별 처리기법을 이용한 동작객체 검출방법
CN106951831B (zh) 一种基于深度摄像机的行人检测跟踪方法
CN109583414B (zh) 基于视频检测的室内占道检测方法、设备、介质及处理器
CN109165592B (zh) 一种基于pico算法的实时可旋转的人脸检测方法
CN111027564A (zh) 基于深度学习一体化的低照度成像车牌识别方法及装置
Angelo A novel approach on object detection and tracking using adaptive background subtraction method
CN107977608B (zh) 一种应用于公路视频图像道路区域提取的方法
CN108010050B (zh) 一种基于自适应背景更新和选择性背景更新的前景检测方法
CN113657264A (zh) 基于暗通道和knn算法融合的森林火灾烟雾根节点检测方法
KR101298937B1 (ko) 표지판 인식장치, 표지판 인식방법, 및 이미지 인식방법
CN108985216B (zh) 一种基于多元logistic回归特征融合的行人头部检测方法
Gu et al. Robust road lane detection using extremal-region enhancement
CN106446832B (zh) 一种基于视频的实时检测行人的方法
CN111583341B (zh) 云台像机移位检测方法
Malavika et al. Moving object detection and velocity estimation using MATLAB
CN109509205B (zh) 前景检测方法及装置
Yang et al. A modified method of vehicle extraction based on background subtraction
CN110796019A (zh) 一种识别和跟踪运动中的球形物体的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant