CN105550675B - 一种基于优化聚合积分通道的双目行人检测方法 - Google Patents

一种基于优化聚合积分通道的双目行人检测方法 Download PDF

Info

Publication number
CN105550675B
CN105550675B CN201610072439.4A CN201610072439A CN105550675B CN 105550675 B CN105550675 B CN 105550675B CN 201610072439 A CN201610072439 A CN 201610072439A CN 105550675 B CN105550675 B CN 105550675B
Authority
CN
China
Prior art keywords
pedestrian
area
interest
region
sliding window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610072439.4A
Other languages
English (en)
Other versions
CN105550675A (zh
Inventor
金志刚
赵明昕
苏毅姗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201610072439.4A priority Critical patent/CN105550675B/zh
Publication of CN105550675A publication Critical patent/CN105550675A/zh
Application granted granted Critical
Publication of CN105550675B publication Critical patent/CN105550675B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于优化聚合积分通道的双目行人检测方法，包括：基于左右视点图，采用立体匹配算法实现左右视图匹配，提取稠密视差图；进行粗细二阶段分割，获取感兴趣区域与最小行人目标尺度；对行人图像集，采用聚合积分通道方法训练分类器；输入待检测双目视点图，提取感兴趣区域与最小行人目标尺度的信息，基于感兴趣区域运行滑窗，对每一滑窗区域求取不同尺度下的聚合积分通道特征，构建图像特征金字塔；每一感兴趣区域输出的图像金字塔层数均由其最小行人目标尺度实现自适应调整，将图像特征金字塔输入分类器，输出判定分数；筛选，输出较为准确的行人检测结果。本发明能准确获取潜在行人位置、简化计算数据量。

Description

一种基于优化聚合积分通道的双目行人检测方法
技术领域
本发明总体上涉及计算机视觉模式识别领域，更具体地涉及一种双目视觉环境下，采用二阶段分割方法获取感兴趣区域与最小目标尺度，基于聚合积分通道模型完成行人目标建模，并以此为基础，结合最小目标尺度优化检测阶段图像特征金字塔结构，以实现行人检测的方法。
背景技术
随着计算机视觉与机器学习的发展，行人检测因其在辅助驾驶、智能控制及人工智能等方面的广泛应用，得到了业内人员的广泛关注。由于背景的复杂性及行人非刚性变化的多样性，如何快速识别行人目标、有效区分障碍干扰，仍是该领域亟待解决的难题。
传统的行人检测多基于单摄像头环境，在单目视野下，以颜色、梯度、运动矢量等信息区分感兴趣区域，并基于感兴趣区域运行滑窗以实现行人检测。由于单目信息的局限性，往往较难规避障碍干扰的影响，误检率(FPR)较高。近年来兴起的双目行人检测方法，利用双目视觉提供的目标深度信息判断潜在行人区域，提高了检测准确性，但新增信息量引起了计算冗余度的大幅增长，难以满足检测的实时性要求。
为保证行人检测的准确度与计算速度，研究人员提出了多种有效的行人检测框架，如HOG+SVM行人检测框架、Viola&Jones框架、可变形部件模型(Deformable PartsModel)框架等。基于聚合积分通道特征的行人检测框架，对检测阶段图像特征金字塔的求取进行了优化，只计算某些尺度下的图像特征以估测相邻尺度下的特征。然而，所有上述方法在检测阶段对所有滑窗区域均采用固定且层数相同的金字塔结构，实际应用中，对于某一特定深度、特定尺寸的行人目标，许多尺度的特征计算是没有意义的，固定层数的金字塔计算存在大量冗余。
因此，进一步研究如何在准确获取潜在行人位置的同时尽量减小运算数据量，对行人检测的发展应用具有重要意义。
发明内容
本发明旨在改善现有技术的上述不足，提供一种能准确获取潜在行人位置、简化计算数据量的基于双目视觉的行人检测方法。
为达到上述目的，本发明采用如下的技术方案：
一种基于优化聚合积分通道的双目行人检测方法，包括下列步骤：
(1)预处理工作：对双目成像系统进行相机标定与立体校正，得到对准于前向平行结构的左右视点图；
(2)基于左右视点图，采用立体匹配算法实现左右视图匹配，提取稠密视差图；
(3)基于获取的稠密视差图，进行粗细二阶段分割，获取感兴趣区域与最小行人目标尺度：
a.在粗分割阶段，采用Otsu多阈值分割方法，输出最佳阈值下的粗分割后的像素集合；
b.在接下来的细分割阶段，采用区域生长方法，首先确定粗分割后的每个像素集合中比重最大的像素值，将这些像素点作为初始种子，第n块区域的生长阈值由下式确定：
其中，Tup、Tlow分别为第n块区域的生长阈值的上限和下限，δ为人工设定的可调变量，此时获得的生长区域为感兴趣区域，随后，采用上述阈值的1/2为新生长阈值，重新进行区域生长，即：
其中，Tup'、Tlow'为第n块区域的新生长阈值，此时获得的区域为最小行人目标尺度，分别采用矩形拟合方式标定所有的感兴趣区域与最小行人目标尺度。
(4)训练阶段：对行人图像集，采用聚合积分通道方法训练分类器；
(5)检测阶段，输入待检测双目视点图，按照步骤(1)～(3)提取感兴趣区域与最小行人目标尺度的信息，基于感兴趣区域运行滑窗，对每一滑窗区域求取不同尺度下的聚合积分通道特征，构建图像特征金字塔；在金字塔的构建上，对于某编号为i的感兴趣区域与其最小行人目标尺度结合根滤波器尺度该区域构建的图像特征金字塔层数ni依据下式确定：
即，每一感兴趣区域输出的图像金字塔层数均由其最小行人目标尺度实现自适应调整，将图像特征金字塔输入分类器，输出判定分数；
(6)对单感兴趣区域内的不同滑窗区域检测结果进行筛选，将分类器评分最高的滑窗区域作为行人检测结果，最终输出较为准确的行人检测结果。
其特征在于，步骤(6)最好采用非极大值抑制(NMS)约束原理，对单感兴趣区域内的不同滑窗区域检测结果进行筛选。
附图说明
图1是本发明的基本流程图。
图2是本发明各基本流程的实验效果图：(a)为待检测图像，(b)为立体匹配方法获得的稠密视差图、(c)为粗阶段多阈值分割结果，(d)为细阶段区域分割结果，(e)为最终行人检测结果，方框标定出检测到的行人目标。
具体实施方式
为使本发明的目的、实现方案和优点更为清晰，下面对本发明的具体实施作进一步的详细描述。
(1)预处理工作：对双目成像系统进行相机标定与立体校正，得到对准于前向平行结构的左右视点图；
(2)基于左右视点图提取稠密视差图。采用非局部视差聚合匹配(NLCA)算法实现左右视图匹配，根据胜者为王(WTA)规则选择最优视差值。有关NLCA算法用于双目视图立体匹配的合理性证明，可参见“Yang Qingxiong.Anon-local costaggregationmethod forstereo matching[C]//IEEE Computer Society Conference on Computer Vision andPattern Recognition(CVPR),Providence,RI,2012:1402-1409.”一文；
(3)基于获取的稠密视差图，进行粗细二阶段分割，获取感兴趣区域与最小行人目标尺度。在粗分割阶段，采用扩展的Otsu多阈值分割方法，输出最佳阈值下的分割结果，此时，考虑到行人检测的实际情况，将区域面积小于25×50的分割结果直接删除，最终分割结果表示为：
A1＝{k1,k1+1...k2},…An＝{kn,kn+1,...kn+1},…Am＝{km,km+1,...L}
其中k1～km为分割阈值。在接下来的细分割阶段，采用区域生长策略，首先选取每类比例最大的像素值作为初始种子，第n类的生长阈值由下式确定：
其中，δ为人工设定的可调变量。此时获得的生长区域为感兴趣区域。随后，设定上述阈值的1/2为新生长阈值，重新进行区域生长，此时获得的区域为潜在最小行人尺度，为区域生长可获得的行人最小面积区域。分别采用矩形拟合方式标定所有的ROIs与潜在行人最小尺度。
(4)训练阶段：对训练双目视点图像集，采用聚合积分通道方法训练分类器，有关聚合积分通道方法适用于行人检测分类器模型训练的合理性依据，可参见“Dollár P,Appel R,Belon gie S,et al.Fast feature pyramids for object detection[J].IEEETransactions on Pattern Analysis and Mach ine Intelligence(PAMI),2014,36(8):1532-1545.”一文。
(5)检测阶段：按照步骤(1)～(3)提取ROIs与潜在行人最小尺度信息。设定滑动窗口尺寸为128×64，步长为4，基于ROIs区域运行滑窗，对每一滑窗区域求取不同尺度下的聚合积分通道特征，构建图像特征金字塔。在金字塔的构建上，对于特定的ROIi区域与其潜在行人最小尺度结合根滤波器尺度该区域构建的图像特征金字塔层数依据下式确定：
即，每一ROI区域输出的图像金字塔层数均由其目标行人所在深度、行人面积实现自适应调整，从而减少不必要的尺度计算。
为尽量避免单目标重复检测与误检测的出现，采用非极大值抑制(NMS)约束原理，对单ROI区域内的不同滑窗区域检测结果进行筛选。遵循行人检测的一般设定，在窗口重叠率超过60％的范围内，采用NMS筛选出分类器评分最高的滑窗作为行人检测结果。窗口重叠率可根据实际场景作相应调整，在避免目标重复检测的同时，降低障碍物干扰的影响。最终输出较为准确的行人检测结果。

Claims (2)

1.一种基于优化聚合积分通道的双目行人检测方法，包括下列步骤：
(1)预处理工作：对双目成像系统进行相机标定与立体校正，得到对准于前向平行结构的左右视点图；
(2)基于左右视点图，采用立体匹配算法实现左右视图匹配，提取稠密视差图；
(3)基于获取的稠密视差图，进行粗细二阶段分割，获取感兴趣区域与最小行人目标尺度：
a.在粗分割阶段，采用Otsu多阈值分割方法，输出最佳阈值下的粗分割后的像素集合；
b.在接下来的细分割阶段，采用区域生长方法，首先确定粗分割后的每个像素集合中所占比例最大的像素值，将集合中等于该像素值的像素点作为初始种子，第n块区域的生长阈值由下式确定：
其中，Tup、Tlow分别为第n块区域的生长阈值的上限和下限，δ为人工设定的可调变量，此时获得的生长区域为感兴趣区域，随后，采用上述阈值的1/2为新生长阈值，重新进行区域生长，即：
其中，Tup'、Tlow'为第n块区域的新生长阈值，此时获得的区域为最小行人目标尺度，分别采用矩形拟合方式标定所有的感兴趣区域与最小行人目标尺度；
(4)训练阶段：对行人图像集，采用聚合积分通道方法训练分类器；
(5)检测阶段，输入待检测双目视点图，按照步骤(1)～(3)提取感兴趣区域与最小行人目标尺度的信息，基于感兴趣区域运行滑窗，对每一滑窗区域求取不同尺度下的聚合积分通道特征，构建图像特征金字塔；在金字塔的构建上，对于某编号为i的感兴趣区域与其最小行人目标尺度结合根滤波器尺度该区域构建的图像特征金字塔层数ni依据下式确定：
即，每一感兴趣区域输出的图像金字塔层数均由其最小行人目标尺度实现自适应调整，将图像特征金字塔输入分类器，输出判定分数；
(6)对单感兴趣区域内的不同滑窗区域检测结果进行筛选，将分类器评分最高的滑窗区域作为行人检测结果，最终输出较为准确的行人检测结果。
2.根据权利要求1的双目行人检测方法，其特征在于，步骤(6)采用非极大值抑制(NMS)约束原理，对单感兴趣区域内的不同滑窗区域检测结果进行筛选。
CN201610072439.4A 2016-02-02 2016-02-02 一种基于优化聚合积分通道的双目行人检测方法 Expired - Fee Related CN105550675B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610072439.4A CN105550675B (zh) 2016-02-02 2016-02-02 一种基于优化聚合积分通道的双目行人检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610072439.4A CN105550675B (zh) 2016-02-02 2016-02-02 一种基于优化聚合积分通道的双目行人检测方法

Publications (2)

Publication Number Publication Date
CN105550675A CN105550675A (zh) 2016-05-04
CN105550675B true CN105550675B (zh) 2019-02-22

Family

ID=55829858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610072439.4A Expired - Fee Related CN105550675B (zh) 2016-02-02 2016-02-02 一种基于优化聚合积分通道的双目行人检测方法

Country Status (1)

Country Link
CN (1) CN105550675B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056101A (zh) * 2016-06-29 2016-10-26 哈尔滨理工大学 用于人脸检测的非极大值抑制方法
CN106446832B (zh) * 2016-09-27 2020-01-10 成都快眼科技有限公司 一种基于视频的实时检测行人的方法
CN106886757B (zh) * 2017-01-19 2019-06-11 华中科技大学 一种基于先验概率图的多类交通灯检测方法及系统
CN110533663B (zh) * 2018-05-25 2022-03-04 杭州海康威视数字技术股份有限公司 一种图像视差确定方法、装置、设备及系统
CN108681753B (zh) * 2018-05-29 2021-03-30 武汉环宇智行科技有限公司 一种基于语义分割及神经网络的图像立体匹配方法及系统
CN110910438B (zh) * 2018-09-17 2022-03-22 中国科学院沈阳自动化研究所 一种超高分辨率双目图像的高速立体匹配算法
US10503966B1 (en) * 2018-10-11 2019-12-10 Tindei Network Technology (Shanghai) Co., Ltd. Binocular pedestrian detection system having dual-stream deep learning neural network and the methods of using the same
CN112651344A (zh) * 2020-12-29 2021-04-13 哈尔滨理工大学 一种基于YOLOv4的摩托车头盔佩戴检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5020920B2 (ja) * 2008-10-29 2012-09-05 株式会社豊田中央研究所 歩行者検出装置及びプログラム
CN103425967A (zh) * 2013-07-21 2013-12-04 浙江大学 一种基于行人检测和跟踪的人流监控方法
CN104573646A (zh) * 2014-12-29 2015-04-29 长安大学 基于激光雷达和双目相机的车前行人检测方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5020920B2 (ja) * 2008-10-29 2012-09-05 株式会社豊田中央研究所 歩行者検出装置及びプログラム
CN103425967A (zh) * 2013-07-21 2013-12-04 浙江大学 一种基于行人检测和跟踪的人流监控方法
CN104573646A (zh) * 2014-12-29 2015-04-29 长安大学 基于激光雷达和双目相机的车前行人检测方法及系统

Also Published As

Publication number Publication date
CN105550675A (zh) 2016-05-04

Similar Documents

Publication Publication Date Title
CN105550675B (zh) 一种基于优化聚合积分通道的双目行人检测方法
CN105825502B (zh) 一种基于显著性指导的词典学习的弱监督图像解析方法
CN110119728A (zh) 基于多尺度融合语义分割网络的遥感图像云检测方法
CN105069746B (zh) 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统
CN110175504A (zh) 一种基于多任务级联卷积网络的目标检测和对齐方法
CN108009509A (zh) 车辆目标检测方法
CN110033473B (zh) 基于模板匹配和深度分类网络的运动目标跟踪方法
CN103218831B (zh) 一种基于轮廓约束的视频运动目标分类识别方法
CN109934862A (zh) 一种点线特征结合的双目视觉slam方法
CN107204010A (zh) 一种单目图像深度估计方法与系统
CN108681692A (zh) 一种基于深度学习的遥感图像内新增建筑识别方法
CN105160310A (zh) 基于3d卷积神经网络的人体行为识别方法
CN106682569A (zh) 一种基于卷积神经网络的快速交通标识牌识别方法
CN104866829A (zh) 一种基于特征学习的跨年龄人脸验证方法
CN108021889A (zh) 一种基于姿态外形和运动信息的双通道红外行为识别方法
CN109446922B (zh) 一种实时鲁棒的人脸检测方法
CN105869178A (zh) 一种基于多尺度组合特征凸优化的复杂目标动态场景无监督分割方法
CN109255375A (zh) 基于深度学习的全景图像对象检测方法
CN110110646A (zh) 一种基于深度学习的手势图像关键帧提取方法
CN106909902A (zh) 一种基于改进的层次化显著模型的遥感目标检测方法
CN109543632A (zh) 一种基于浅层特征融合引导的深层网络行人检测方法
CN103984955B (zh) 基于显著性特征和迁移增量学习的多摄像机目标识别方法
CN110176016B (zh) 一种基于人体轮廓分割与骨骼识别的虚拟试衣方法
CN106023257A (zh) 一种基于旋翼无人机平台的目标跟踪方法
CN103886589A (zh) 面向目标的自动化高精度边缘提取方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190222

Termination date: 20200202