CN106951831A - 一种基于深度摄像机的行人检测跟踪方法 - Google Patents
一种基于深度摄像机的行人检测跟踪方法 Download PDFInfo
- Publication number
- CN106951831A CN106951831A CN201710112261.6A CN201710112261A CN106951831A CN 106951831 A CN106951831 A CN 106951831A CN 201710112261 A CN201710112261 A CN 201710112261A CN 106951831 A CN106951831 A CN 106951831A
- Authority
- CN
- China
- Prior art keywords
- image
- pedestrian
- list
- rectangle
- fingerprint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于深度摄像机的行人检测跟踪方法,其特征在于,包括步骤:步骤101:读取视频流的一帧图像,判断是否为行人检测帧,如果是进入步骤102,否则进入步骤107;步骤102:使用聚合通道特征法做行人检测;步骤103:深度图像去噪声;步骤104:修正行人位置;步骤105:去除误检测;步骤106:目标匹配,目标匹配充分利用图像的时空信息,根据图像的相邻两帧之前只存在微小的运动这一特性;步骤107:目标跟踪,以T_list为起点,开始对目标进行跟踪,直到fN能否被SKIP整除,进入步骤102,开始进行行人检测。
Description
技术领域
本发明涉及一种基于深度摄像机的行人检测跟踪算法,特别涉及应用于安防系统视频监控中行人的检测跟踪方法。
背景技术
随着深度摄像机的普及,能够实时的同步获取稳定的彩色图像觉深度图像已经成为现实。行人检测是计算机领域的一个重要分支,也是智能监控系统的主体,基于深度摄像机的行人检测跟踪方法越来越成为人们的研究重点。目前已经存在很多优秀的行人检测算法,但大都存在一些不足,主要体现在:行人位置不准确,检测得到的行人框有时偏大,有时偏小;存在一定的误检测,不是行人的区域被误判为行人;行人位置不稳定,往往是由检测器造成的;运行速度慢,不能满足实时性的要求。
为了克服以上技术不足,本发明提出了一种基于深度摄像机RGB-D图像的行人检测跟踪。
发明内容
本发明的目的在于提供了一种基于深度摄像机的行人检测跟踪方法,其特征在于,包括步骤:
步骤101:读取视频流的一帧图像,并对图像的帧计数,计数为fN,每读取一帧fN加1,并判断fN能否被常量整除,如果能整除则进入步骤102,否则进入步骤107;
步骤102:使用聚合通道特征法做行人检测,其中选取YUV颜色通道+梯度幅值通道+梯度方向通道组合成聚合通道特征;检测结果为一个矩形序列PR[N],其中N为检测到的行人的个数,PR[n]表示检测结果的第n个行人的矩形位置,然后进入步骤103;
步骤103:深度图像去噪声,先对RGB-D的D通道进行腐蚀操作,腐蚀半径为r,然后在进行膨胀操作,膨胀半径也为r,此操作可去除半径小于或等于r的噪声,并且对非噪声区域造成最少的影响,以便于更好的从深度图像中提取出行人的轮廓,然后进入步骤104;
步骤104:修正行人位置,在RGB_D的D通道找到PR[n]对应的位置,然后使用canny算子找到图像的边缘,也就是行人的边缘轮廓C[n],然后找C[n]的最小外接矩形BRect,BRect即为修正后行人的位置,然后用BRect替换PR[n],进入步骤105;
步骤105:去除误检测,在深度图像中,PR[n]默认为行人的位置,找到PR[n]的中心点center,然后以center作为漫水填充的种子点,一直向四周填充,填充的条件是相邻像素之间的深度值之差应当不低于阈值Ther_d;漫水区域的面积为m_area,计算m_area与PR[n]的面积比值,如果比值过大,或者过小则判定位置PR[n]为误检测,然后将其删除,进入步骤106;
步骤106:目标匹配,目标匹配充分利用图像的时空信息,根据图像的相邻两帧之前只存在微小的运动这一特性;
步骤107:目标跟踪,以T_list为起点,开始对目标进行跟踪,直到fN能否被所述常量整除,进入步骤102,开始进行行人检测。
优选地,步骤107的具体方法为:
步骤201:对于跟踪目标T_List[n],以其中心为原点,将眼矩形放大到原来的2倍,结果产生矩形p_rect,进入步骤202;
步骤202:提取跟踪目标T_List[n]的“指纹”f_phash,然后进入步骤203;
步骤203:以p_rect的左上角为起点,以T_List[n]的大小为大小,每次向右移动T_List[n]的宽度除以10或向下移动T_List[n]的高度除以10,得到的矩形提取指纹,并找到指纹相识度最大的矩形s_rect,然后进入步骤204;
步骤204:s_rect即为跟踪结果,用p_rect更新T_List[n]。
优选地,步骤202的“指纹”的具体方法为:
步骤301:缩小图像尺寸,将原始图像缩放到32*32;
步骤302:简化色彩,如果是将RGB图像,则将其转化为灰度图像;
步骤303:对图像进行DCT变换;
步骤304:缩小DCT图像,只保留左上角8*8的矩阵;
步骤305:计算8*8DCT图像的像素平均值;
步骤306:对于8*8DCT图像的每个点的,如果像素值大于像素平均值,则此像素点编码为1,否则编码为0;最终生成的编码序列即为图像的指纹。
本发明能适用于深度摄像机,行人检测的位置准确稳定,跟踪平稳,误检测少,且运行速度快,完全可以满足实时性要求。
应当理解,前述大体的描述和后续详尽的描述均为示例性说明和解释,并不应当用作对本发明所要求保护内容的限制。
附图说明
参考随附的附图,本发明更多的目的、功能和优点将通过本发明实施方式的如下描述得以阐明,其中:
图1示出了根据本发明的基于深度摄像机的行人检测跟踪方法的流程图;
图2示出了根据本发明的目标跟踪方法流程图;
图3示出了根据本发明的生成指纹方法流程图。
具体实施方式
通过参考示范性实施例,本发明的目的和功能以及用于实现这些目的和功能的方法将得以阐明。然而,本发明并不受限于以下所公开的示范性实施例;可以通过不同形式来对其加以实现。说明书的实质仅仅是帮助相关领域技术人员综合理解本发明的具体细节。
在下文中,将参考附图描述本发明的实施例。在附图中,相同的附图标记代表相同或类似的部件,或者相同或类似的步骤。
为了便于本领域普通技术人员理解和实施本发明,下面结合附图对本发明作进一步的详细描述。
图1示出了根据本发明的适基于深度摄像机的行人检测跟踪方法的流程图;
步骤101:读取视频流的一帧图像,并对图像的帧计数,计数为fN,每读取一帧fN加1,并判断fN能否被常量,即SKIP整除,如果能整除则进入步骤102,否则进入步骤107。
步骤102:本发明使用聚合通道特征法做行人检测,其中选取YUV颜色通道+梯度幅值通道+梯度方向通道组合成聚合通道特征。检测结果为一个矩形序列PR[N],其中N为检测到的行人的个数,PR[n]表示检测结果的第n个行人的矩形位置。然后进入步骤103。
步骤103:深度图像去噪声,先对RGB-D的D通道进行腐蚀操作,腐蚀半径为r,然后在进行膨胀操作,膨胀半径也为r,此操作可去除半径小于或等于r的噪声,并且对非噪声区域造成最少的影响,以便于更好的从深度图像中提取出行人的轮廓,然后进入步骤104。
步骤104:修正行人位置,在RGB_D的D通道找到PR[n]对应的位置,然后使用canny算子找到图像的边缘,也就是行人的边缘轮廓C[n],然后找C[n]的最小外接矩形BRect,BRect即为修正后行人的位置,然后用BRect替换PR[n],进入步骤105。
步骤105:去除误检测,漫水填充非常适用于深度图(RGB_D的D通道),可充分利用深度图的最大的特征:内部连续。在深度图像中,PR[n]默认为行人的位置,找到PR[n]的中心点center,然后以center作为漫水填充的种子点,一直向四周填充,填充的条件是相邻像素之间的深度值之差应当不低于阈值Ther_d。漫水区域的面积为m_area,计算m_area与PR[n]的面积比值,如果比值过大,或者过小则判定位置PR[n]为误检测,然后将其删除,进入步骤106。
步骤106:目标匹配,目标匹配充分利用图像的时空信息,根据图像的相邻两帧之前只存在微小的运动这一特性。
令T_List[n]为跟踪列表,PR[n]逐个比对T_List[n],如果PR[n]与T_List[n]的重合度达到80%,则进行相似度比对,否则把PR[n]直接加入到跟踪列表T_List[n],作为新的跟踪目标。
对于重合度达到80%的目标,先将图像的RGB通道进行灰度化处理,生成单通道的灰度图像m_gray。从m_gray中扣取处跟踪图像列表Tm_list[n]。同时从m_gray中扣取处行人检测的结果PRm[n]。并且将Tm_list[n]和PRm[n]缩放到同一大小(m_w*m_h)。
将PRm[n]在点(x,y)及其存在的周围(x-1,y-1),(x-1,y),(x-1,y+1),(x,y-1),(x,y+1),(x+1,y-1),(x+1,y),(x+1,y+1)的像素值,与Tm_list[i]在点(x,y)及存在的周围的像素值做差,如果其中的至少有一处的差值小于20,则记点(x,y)为相似点。依次计算点(x,y+1)…直到整幅图像遍历结束,得出PRm[n]与Tm_list[i]相似点最多的i,相似点个数为S[i],如果S[i]小于相识度匹配阈值,则把PR[n]加入到跟踪列表。否则记为PRm[n]与Tm_list[i]为同一目标。
步骤107:目标跟踪,以T_list为起点,开始对目标进行跟踪,直到fN能否被SKIP整除,进入步骤102,开始进行行人检测。其详细步骤如图2,后面会有详细的描述。
图2示出了根据本发明的目标跟踪方法流程图;
步骤201:对于跟踪目标T_List[n],以其中心为原点,将眼矩形放大到原来的2倍,结果产生矩形p_rect。进入步骤202。
步骤202:提取跟踪目标T_List[n]的“指纹”f_phash,“指纹”的详细提取步骤如图3,后面会有详细的描述。然后进入步骤203。
步骤203:以p_rect的左上角为起点,以T_List[n]的大小为大小,每次向右移动T_List[n]的宽度除以10或向下移动T_List[n]的高度除以10,得到的矩形提取指纹,并找到指纹相识度最大的矩形s_rect,然后进入步骤204。
步骤204:s_rect即为跟踪结果,用p_rect更新T_List[n]。
图3示出了根据本发明的生成指纹方法流程图。
步骤301:缩小图像尺寸,将原始图像缩放到32*32。
步骤302:简化色彩,如果是将RGB图像,则将其转化为灰度图像。
步骤303:对图像进行DCT变换。
步骤304:缩小DCT图像,只保留左上角8*8的矩阵。
步骤305:计算8*8DCT图像的像素平均值。
步骤306:对于8*8DCT图像的每个点的,如果像素值大于像素平均值,则此像素点编码为1,否则编码为0。最终生成的编码序列即为图像的指纹。
本专利能适用于深度摄像机,行人检测的位置准确稳定,跟踪平稳,误检测少,且运行速度快,完全可以满足实时性要求。
结合这里披露的本发明的说明和实践,本发明的其他实施例对于本领域技术人员都是易于想到和理解的。说明和实施例仅被认为是示例性的,本发明的真正范围和主旨均由权利要求所限定。
Claims (3)
1.一种基于深度摄像机的行人检测跟踪方法,其特征在于,包括步骤:
步骤101:读取视频流的一帧图像,并对图像的帧计数,计数为fN,每读取一帧fN加1,并判断fN能否被常量整除,如果能整除则进入步骤102,否则进入步骤107;
步骤102:使用聚合通道特征法做行人检测,其中选取YUV颜色通道+梯度幅值通道+梯度方向通道组合成聚合通道特征;检测结果为一个矩形序列PR[N],其中N为检测到的行人的个数,PR[n]表示检测结果的第n个行人的矩形位置,然后进入步骤103;
步骤103:深度图像去噪声,先对RGB-D的D通道进行腐蚀操作,腐蚀半径为r,然后在进行膨胀操作,膨胀半径也为r,然后进入步骤104;
步骤104:修正行人位置,在RGB_D的D通道找到PR[n]对应的位置,然后使用canny算子找到图像的边缘,即行人的边缘轮廓C[n],然后找C[n]的最小外接矩形BRect,BRect即为修正后行人的位置,然后用BRect替换PR[n],进入步骤105;
步骤105:去除误检测:在深度图像中,PR[n]默认为行人的位置,找到PR[n]的中心点center,然后以center作为漫水填充的种子点,一直向四周填充,填充的条件是相邻像素之间的深度值之差应当不低于阈值Ther_d;漫水区域的面积为m_area,计算m_area与PR[n]的面积比值,如果比值过大,或者过小则判定位置PR[n]为误检测,然后将其删除,进入步骤106;
步骤106:目标匹配,目标匹配充分利用图像的时空信息,根据图像的相邻两帧之前只存在微小的运动这一特性;
步骤107:目标跟踪,以T_list为起点,开始对目标进行跟踪,直到fN能否被所述常量整除,进入步骤102,开始进行行人检测。
2.根据权利要求1所述的方法,其特征在于:步骤107的具体方法为:
步骤201:对于跟踪目标T_List[n],以其中心为原点,将眼矩形放大到原来的2倍,结果产生矩形p_rect,进入步骤202;
步骤202:提取跟踪目标T_List[n]的指纹f_phash,然后进入步骤203;
步骤203:以p_rect的左上角为起点,以T_List[n]的大小为大小,每次向右移动T_List[n]的宽度除以10或向下移动T_List[n]的高度除以10,得到的矩形提取指纹,并找到指纹相识度最大的矩形s_rect,然后进入步骤204;
步骤204:s_rect即为跟踪结果,用p_rect更新T_List[n]。
3.根据权利要求2所述的方法,其特征在于:步骤202的指纹的具体方法为:
步骤301:缩小图像尺寸,将原始图像缩放到32*32;
步骤302:简化色彩,如果是将RGB图像,则将其转化为灰度图像;
步骤303:对图像进行DCT变换;
步骤304:缩小DCT图像,只保留左上角8*8的矩阵;
步骤305:计算8*8DCT图像的像素平均值;
步骤306:对于8*8DCT图像的每个点的,如果像素值大于像素平均值,则此像素点编码为1,否则编码为0;最终生成的编码序列即为图像的指纹。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710112261.6A CN106951831B (zh) | 2017-02-28 | 2017-02-28 | 一种基于深度摄像机的行人检测跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710112261.6A CN106951831B (zh) | 2017-02-28 | 2017-02-28 | 一种基于深度摄像机的行人检测跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106951831A true CN106951831A (zh) | 2017-07-14 |
CN106951831B CN106951831B (zh) | 2020-07-31 |
Family
ID=59468049
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710112261.6A Active CN106951831B (zh) | 2017-02-28 | 2017-02-28 | 一种基于深度摄像机的行人检测跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106951831B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107452012A (zh) * | 2017-07-28 | 2017-12-08 | 浙江大华技术股份有限公司 | 一种行人识别方法、装置和电子设备 |
CN109389116A (zh) * | 2017-08-14 | 2019-02-26 | 高德软件有限公司 | 一种字符检测方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006099597A2 (en) * | 2005-03-17 | 2006-09-21 | Honda Motor Co., Ltd. | Pose estimation based on critical point analysis |
CN103093211A (zh) * | 2013-01-27 | 2013-05-08 | 西安电子科技大学 | 基于深度核信息图像特征的人体运动跟踪方法 |
-
2017
- 2017-02-28 CN CN201710112261.6A patent/CN106951831B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006099597A2 (en) * | 2005-03-17 | 2006-09-21 | Honda Motor Co., Ltd. | Pose estimation based on critical point analysis |
CN103093211A (zh) * | 2013-01-27 | 2013-05-08 | 西安电子科技大学 | 基于深度核信息图像特征的人体运动跟踪方法 |
Non-Patent Citations (2)
Title |
---|
XIAOHUI ZHAO等: "A novel low false alarm rate pedestrian detection framework based on single depth images", 《IMAGE AND VISION COMPUTING》 * |
张雪华: "采用Kinect的移动机器人目标跟踪", 《智能系统学报》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107452012A (zh) * | 2017-07-28 | 2017-12-08 | 浙江大华技术股份有限公司 | 一种行人识别方法、装置和电子设备 |
CN107452012B (zh) * | 2017-07-28 | 2020-10-30 | 浙江大华技术股份有限公司 | 一种行人识别方法、装置和电子设备 |
CN109389116A (zh) * | 2017-08-14 | 2019-02-26 | 高德软件有限公司 | 一种字符检测方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN106951831B (zh) | 2020-07-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111191611B (zh) | 基于深度学习的交通标志标号识别方法 | |
CN106991370B (zh) | 基于颜色和深度的行人检索方法 | |
CN109919002B (zh) | 黄色禁停线识别方法、装置、计算机设备及存储介质 | |
CN106327488B (zh) | 一种自适应的前景检测方法及其检测装置 | |
Chun et al. | Floor detection based depth estimation from a single indoor scene | |
Hu et al. | A novel approach for crowd video monitoring of subway platforms | |
US20170103536A1 (en) | Counting apparatus and method for moving objects | |
KR20100056143A (ko) | 영역별 처리기법을 이용한 동작객체 검출방법 | |
JP2008035301A (ja) | 移動体追跡装置 | |
CN111967345A (zh) | 一种实时判定摄像头遮挡状态的方法 | |
CN106951831A (zh) | 一种基于深度摄像机的行人检测跟踪方法 | |
US20160035107A1 (en) | Moving object detection | |
CN106446832B (zh) | 一种基于视频的实时检测行人的方法 | |
Chowdhury et al. | A background subtraction method using color information in the frame averaging process | |
CN111583341B (zh) | 云台像机移位检测方法 | |
CN105930813B (zh) | 一种在任意自然场景下检测行文本的方法 | |
CN108416768B (zh) | 一种基于二进制的前景图相似度评测方法 | |
Malavika et al. | Moving object detection and velocity estimation using MATLAB | |
Garg et al. | Low complexity techniques for robust real-time traffic incident detection | |
Patel et al. | Threshold Based Image Binarization Technique for Number Plate Segmentation | |
Dewan et al. | Background independent moving object segmentation for video surveillance | |
CN113516609A (zh) | 分屏视频检测方法、装置、计算机设备和存储介质 | |
CN112819820B (zh) | 一种基于机器视觉的路面沥青修补检测方法 | |
CN110532922B (zh) | 一种在移动设备上进行实时分割深度图视频帧的方法 | |
CN110580444B (zh) | 一种人体检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |