CN104636724A - 一种基于目标一致性的车载相机快速行人车辆检测方法 - Google Patents

一种基于目标一致性的车载相机快速行人车辆检测方法 Download PDF

Info

Publication number
CN104636724A
CN104636724A CN201510054968.7A CN201510054968A CN104636724A CN 104636724 A CN104636724 A CN 104636724A CN 201510054968 A CN201510054968 A CN 201510054968A CN 104636724 A CN104636724 A CN 104636724A
Authority
CN
China
Prior art keywords
image
frame
testing result
present frame
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510054968.7A
Other languages
English (en)
Other versions
CN104636724B (zh
Inventor
陶文兵
张治国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201510054968.7A priority Critical patent/CN104636724B/zh
Publication of CN104636724A publication Critical patent/CN104636724A/zh
Application granted granted Critical
Publication of CN104636724B publication Critical patent/CN104636724B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于车载双目相机道路场景的行人车辆快速检测方法。方法通过构建道路场景柱状模型,在柱状模型限定范围内对行人车辆目标搜索检测。同时,对前后帧左右帧的检测结果进行匹配,利用前后匹配对、左右匹配对对当前帧左幅图像的检测结果进行优化。本发明针对基于单目方法的行人车辆检测不够准确的问题,利用前后帧与左右帧的匹配结果,优化检测结果。针对基于双目图像的行人车辆检测不能够实时的问题,利用道路场景的柱状模型,减少检测区域,加快检测速度。本发明融合了双目图像的丰富信息,能够增加行人车辆检测的准确性和检测速度,同时也提出了一种基于双目图像的道路场景的行人车辆快速检测框架。

Description

一种基于目标一致性的车载相机快速行人车辆检测方法
技术领域
本发明属于计算机视觉技术领域,具体涉及一种基于目标一致性的车载相机快速行人车辆检测方法,该方法涉及到计算机视觉、图像处理等领域,可用于道路场景下视频监控中的行人车辆检测或者自动驾驶辅助系统中的行人车辆检测等。
背景技术
行人车辆检测被广泛应用到智能驾驶辅助等应用领域。基于视觉的智能车辆是在汽车上安装摄像镜头,利用计算机视觉技术,通过处理摄像镜头捕捉的图像,获得引导信息。与其他引导技术相比,视觉引导不必在道路上增加设施,适合来往车辆、行人、临时设施等不可预先建模确定的随机目标。随着我国车辆拥有数量的增加和道路交通状况的日益复杂以及对视频监控等的更高要求,基于检测的智能监控和智能驾驶也被广泛的重视。
在道路场景下行人和车辆检测的传统方法主要有:1)背景差法;2)帧差法;3)光流法。这三种方法不适用于静止的目标检测,只能区分前景和背景,不能够区分目标的类别,如行人车辆等。同时不能解决行人车辆形状和外貌变化以及不同运动方式的难点。目前较为盛行的行人车辆检测的方法都是基于学习的目标检测方法。这些方法集中学习行人车辆的不同变化,从而有很好的推广型和泛化性。目前的基于学习的行人车辆检测系统主要可以分为两类:单目行人车辆检测和双目行人车辆检测。
基于单目的行人车辆检测,是通过一个相机在水平或者垂直等不同的方向,对场景中的行人车辆进行拍摄。然后通过提取不同行人车辆的特征,分别训练得到行人车辆的分类器模型。然后利用滑动窗的方法,通过分类 器模型对拍摄到的图像进行行人车辆和背景的分类,对可能存在目标的位置用矩形框标注出来。对于得到的大量的矩形框,利用非极大抑制,将多余的矩形框合并,得到最终的行人车辆检测结果。基于单目视觉的行人车辆检测一般得到的信息量小,运算效率比较高。但是单目视觉无法获得更多的如图像深度等信息,从而无法更加精确的对行人车辆进行检测。
基于双目视觉的行人车辆检测是通过安装在两个不同角度的摄像机对同一个场景从不同的视角拍摄,然后通过两幅图像以及两幅图像之间的基本几何关系恢复场景的三维信息,从而获得更加丰富的场景信息,辅助行人车辆检测。基于双目视觉的行人车辆检测可以有效的解决行人车辆的遮挡问题,同时能够对场景中的行人车辆进行定位和深度的分析。
就目前来看,与双目结合的行人车辆检测,大部分是利用双目图像的几何特性计算视差图,通过视差图构建双目的深度图,然后通过基于图像处理的行人车辆方法,对深度图中的目标进行检测。在这种前提下,首先,构建深度图时需要的匹配算法往往花费很大时间,并且匹配效果不一定准确;其次,对于行人车辆的检测,基于图像处理的目标检测方法虽然在检测速度上能够达到道路场景下的需求,但是往往检测精度不够,而基于学习的行人检测方法往往计算量较大,不能满足道路场景下实时检测的需求。
发明内容
本发明所要解决的技术问题是克服道路场景下传统行人车辆检测精度的不足,提高行人车辆的检测速度,提供一种基于目标一致性的双目道路场景下行人车辆的检测方法,从而实现道路场景下行人车辆的快速和准确检测,该方法可用于道路场景下视频监控中的行人车辆检测或者自动驾驶辅助系统中的行人车辆检测等。
为了解决上述技术问题,本发明提供了一种基于目标一致性的车载相机快速行人车辆检测方法,包括如下步骤:
(1)从双目连续帧图像数据库中获得一帧双目图像作为当前帧图像, 所述双目图像为经过校正后的图像;
(2)对当前帧双目图像,建立左右图像的道路场景柱状模型,其中所述柱状模型是将行人车辆障碍物在图像中看做由一条条垂直的条状平面组成,柱状模型的下边缘为障碍物与地面的交线,上边缘为障碍物与背景的交线;
(3)对当前帧双目图像,在柱状模型的限定范围内,通过基于学习的行人检测算法,利用已经离线训练好的行人车辆模型,对左右两幅图像中的行人和车辆进行检测;
(4)判断当前帧的帧序是否大于2并且小于N-2,如果否,则跳转到步骤(8);如果是,则继续执行;其中N为双目连续帧图像数据库中的图像数目。
(5)将前一帧作为当前帧;
(6)匹配当前帧检测结果与当前帧的前一帧和后一帧的检测结果;通过前后帧结果的匹配,找到与当前帧中检测结果最相似的检测结果;
(7)根据前后帧匹配结果对当前帧的检测结果进行更新;当前帧结果帧匹配结果的可信度,并归一化;
(8)匹配更新后当前帧的左右两幅图像的检测结果;
(9)根据左右帧匹配结果对当前帧左图像中结果进行更新,当前帧左信度,并归一化;
(10)对于更新后的结果,采用一个高预设阈值进行过滤,得到最终检测结果,并输出;
(11)判断帧序是否小于等于N,如果是,跳转到步骤(1),继续循环;如果不是,则结束。
在本发明的一个实施例中,所述步骤(2)具体为:
(2.1)利用绝对误差和算法计算当前帧左幅图像中每一个点在当前帧右侧图像中的最佳匹配;
(2.2)对最佳匹配的两点的水平坐标相减,得到左右两幅图像的视差图,并归一化到0-255的灰度值,得到归一化后的视差图;
(2.3)对于归一化后的视差图,在垂直方向上计算投影,得到大小为256*V的垂直投影图像,其中V表示图像高度;对于垂直投影图像中的点(u,v),0<u<256,0<v<V,其像素值表示在归一化视差图中纵坐标为v的直线上像素值为u的点的个数并进行归一化后的结果;利用霍夫变换检测垂直投影图像中的倾斜直线和垂直方向直线;
(2.4)对于现实场景中的道路平面,根据垂直投影图像中倾斜直线上的点的纵坐标v以及现实场景与两图中坐标的映射关系,得到垂直投影图像中代表道路的倾斜直线在图像平面中反向映射关系:
&Delta; = b ah - d ( v - v 0 ) ( a cos &theta; + sin &theta; ) + b ah - d &alpha; ( a sin &theta; - cos &theta; ) ,
其中,h、b、θ分别为相机的高度、左右相机基线距离、相机光心轴与地面的夹角;v0为相机光心在图像上的坐标;a、b为道路平面的先验参数;根据反向映射关系在当前帧双目图像中得到道路位置;
(2.5)根据得到的道路位置,在水平方向上计算得到大小为U*256的水平投影图像;利用霍夫变换计算水平投影图像中的水平直线;水平投影图像中的水平直线表示行人车辆障碍物位于当前帧双目图像中道路平面的位置;
(2.6)根据步骤(2.4)中得到的垂直投影图像中垂直直线与倾斜直线的焦点确定行人车辆与地面相交的纵坐标,根据步骤(2.5)得到的水平投影图像中水平直线确定行人车辆与地面相交的横坐标;从而得到行人车辆与地面相交的位置,作为柱状模型的下边缘;
(2.7)根据柱状模型的下边缘,计算视差图中下边缘以上部分的视差相似度;其中视差相似度是通过柱状模型的下边缘视差值与在同一垂直线上的点的视差值之差得到的;若视差相差范围在设定范围内,则置为1,否则置为-1;从下边缘开始,沿垂直方向对视差相似度值进行累加,得到累积相似度图;
(2.8)根据累积相似度图,利用动态规划算法,计算累计相似度图中累计值最大的位置,得到柱状模型的最优上边缘,从而得到当前帧道路场景下柱状模型。
在本发明的一个实施例中,所述步骤(6)中检测结果匹配过程具体包括:
(6.1)输入当前帧左右图像的检测结果,并归一化到统一大小;
(6.2)提取检测结果的尺度不变特征和颜色特征;将归一化后的检测结果细分结果为更小的块;然后在LAB颜色空间提取每个块的颜色直方图,并对颜色直方图特征归一化;对于每个小块,进一步细分为子块,在8个方向上提取子块的SIFT特征并归一化;将颜色特征与SIFT特征相结合为匹配特征;
(6.3)对于前后帧中与当前帧的检测结果相同的位置,分别在水平方向和垂直方向上扩大一定的范围,作为前后两帧中的搜索范围;
(6.4)在前后帧限定的搜索范围内,计算位于范围内的检测结果所提取的匹配特征与当前结果的匹配特征的欧氏距离;选取欧氏距离最小的两个结果作为最优匹配;通过高斯函数将最优结果的欧氏距离转化为匹配相似度其中,分别表示当前帧第i个检测结果在前后帧中的匹配相似度。
在本发明的一个实施例中,所述步骤(8)具体包括: 
(8.1)根据步骤(2.2)得到的视差图,对左图像的检测结果的坐标 加上检测结果中心点所对应的视差值,得到右图像中对应的初步搜索范围;分别在水平方向和垂直方向上扩大预设范围,作为右图像中的搜索范围;
(8.2)根据步骤(6.2)中提取的当前帧左右图像检测结果的特征,在右图像限定的搜索范围内,计算位于范围内的检测结果所提取的匹配特征与左图像中结果的匹配特征的欧氏距离;选取欧氏距离最小的两个结果作为最优匹配;通过高斯函数将最优结果的欧氏距离转化为匹配相似度其中,表示当前左图像第i个检测结果在右图像中的匹配相似度。
在本发明的一个实施例中,在所述步骤(2.1)中,利用SAD算法对当前帧左幅图像中的一点进行匹配时,只在右幅图像中与当前匹配点相同水平坐标上进行搜索。
优选地,在所述步骤(2)中,所述柱状模型中条状平面的宽度为1个像素。
在本发明的一个实施例中,在所述步骤(3)中,采用基于可变形部分模型进行行人车辆检测,检测结果输出形式为行人车辆在图像中的左上角和右下角的四个坐标,以及每个行人车辆的可信度,在检测过程中,采用一个较低的预设阈值进行检测,所有可信度大于低预设阈值的检测均保留。
优选地,在所述步骤(6.1)中,将检测结果归一化大小为64*32像素。
优选地,在所述步骤(6.2)中,划分小块大小采用20*10像素,子块大小采用10*10像素。
优选地,在所述步骤(10)中,高预设阈值采用0。
按照本发明的道路场景下行人车辆的检测方法,在双目视觉的条件下,利用基于学习的行人车辆检测方法,同时融合双目视频左右帧图像、前后帧图像之间检测目标的一致性特征,优化了最终的检测结果,从而提高了道路场景下行人车辆的检测准确度。另外,方法结合双目特有的结构化信息,利用双目几何约束条件,构建道路场景柱状模型,减少检测搜索范围, 加快道路场景中行人车辆的检测速度。方法克服了双目图像计算速度慢,准确度不高的问题,推动双目视觉的实用性。不仅能使检测性能提高,而且算法基本上可以实时处理,能够用于实际的车载智能行人车辆检测系统。
附图说明
图1为本发明基于目标一致性的车载相机快速行人车辆检测方法的流程示意图;
图2本发明实施例中道路柱状模型建立示意图;
图3本发明实施例中匹配过程流程图;
图4本发明实施例中匹配特征提取示意图;
图5本发明实施例中输入图像与垂直投影图和水平投影图的关系示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明分为四部分,分别为双目图像柱状模型建立、双目图像行人车辆检测、检测结果匹配和检测结果优化部分。如图1所示为本发明的整体实施过程。本发明的具体流程如下:
(1)从双目连续帧图像数据库中获得一帧双目图像作为当前帧图像。所述双目图像为校正后的图像,故本方法中不需再考虑矫正过程。
(2)对当前帧双目图像,建立左右图像的道路场景柱状模型。通过建立道路场景的柱状模型,限定后续步骤中检测的搜索范围,如图2所示其具体步骤如下:
(2.1)利用绝对误差和算法(Sum of Absolute Differences,SAD) 计算当前帧左幅图像中每一个点在当前帧右侧图像中的最佳匹配。其中,由于输入图像已经经过校正,左右两幅图像中相同目标在垂直方向上偏差很小,所以利用SAD算法对当前帧左幅图像中的一点进行匹配时,只在右幅图像中与当前匹配点相同水平坐标上进行搜索。
(2.2)对最佳匹配的两点的水平坐标相减,得到左右两幅图像的视差图,并归一化到0-255的灰度值,得到归一化后的视差图。
(2.3)对于归一化后的视差图,在垂直方向上计算投影,得到大小为256*V的垂直投影图像,其中V表示图像高度。对于垂直投影图像中的点(u,v)(0<u<256,0<v<V),其像素值表示在归一化视差图中纵坐标为v的直线上像素值为u的点的个数并进行归一化后的结果。由于道路视差的连续性,道路场景反映在垂直投影图中的形式为一条倾斜直线。利用霍夫变换检测垂直投影图像中的倾斜直线和垂直方向直线。
(2.4)根据双目视觉中极限几何关系,能够得到现实场景中的点与左右两图图像中坐标点的映射关系以及与视差的映射关系。对于现实场景中的道路平面,根据垂直投影图像中倾斜直线上的点的纵坐标v以及现实场景与两图中坐标的映射关系,可以得到垂直投影图像中代表道路的倾斜直线在图像平面中反向映射关系:
&Delta; = b ah - d ( v - v 0 ) ( a cos &theta; + sin &theta; ) + b ah - d &alpha; ( a sin &theta; - cos &theta; ) ,
其中,h、b、θ分别为相机的高度、左右相机基线距离、相机光心轴与地面的夹角;v0为相机光心在图像上的坐标;a、b为道路平面的先验参数。根据反向映射关系得在当前帧双目图像中得到道路位置。如图5所示为反向映射的示意图。
(2.5)根据得到的道路位置,与步骤(2.3)类似,在水平方向上计算得到大小为U*256的水平投影图像。利用霍夫变换计算水平投影图像中的水平直线。水平投影图像中的水平直线表示行人车辆等障碍物位于当前帧 双目图像中道路平面的位置。
(2.6)根据步骤(2.4)中得到的垂直投影图像中垂直直线与倾斜直线的焦点确定行人车辆与地面相交的纵坐标,根据步骤(2.5)得到的水平投影图像中水平直线确定行人车辆与地面相交的横坐标。从而得到行人车辆与地面相交的位置,作为柱状模型的下边缘。
其中柱状模型是将行人车辆等障碍物在图像中看做由一条条垂直的条状平面组成。柱状模型的下边缘为障碍物与地面的交线,上边缘为障碍物与背景的交线。道路柱状模型能够有效的剔除背景,减少检测区域。优选地,柱状模型中条状平面的宽度为1个像素。
(2.7)根据柱状模型的下边缘,计算视差图中下边缘以上部分的视差相似度。视差相似度是通过柱状模型的下边缘视差值与在同一垂直线上的点的视差值之差得到的。若视差相差范围在设定范围内,则置为1,否则置为-1。从下边缘开始,沿垂直方向对视差相似度值进行累加,得到累积相似度图。
(2.8)根据累积相似度图,利用动态规划算法,计算累计相似度图中累计值最大的位置,得到柱状模型的最优上边缘。从而得到当前帧道路场景下柱状模型。
(3)对当前帧双目图像,在柱状模型的限定范围内,通过基于学习的行人检测算法,利用已经离线训练好的行人车辆模型,对左右两幅图像中的行人和车辆进行检测。
本发明中采用的是基于可变形部分模型的检测。检测结果输出形式为行人车辆在图像中的左上角和右下角的四个坐标,以及每个行人车辆的可信度。在检测过程中,采用一个较低的预设阈值进行检测,所有可信度大于低预设阈值的检测均保留,使检测结果尽可能包含所有的正确检测,不出现漏检的情况。优选的,对于本实施实例中采用的基于部分模型的行人车辆的检测方法,低预设阈值可采用-0.9。
(4)判断当前帧的帧序是否大于2并且小于N-2,如果否,则跳转到步骤(8);如果是,则继续执行。其中N为双目连续帧图像数据库中的图像数目。
(5)为了能够实现前后帧匹配,将前一帧作为当前帧。
(6)匹配当前帧检测结果与当前帧的前一帧和后一帧的检测结果。通过前后帧结果的匹配,找到与当前帧中检测结果最相似的检测结果。本步骤的输出为当前帧中每个结果与前后帧中结果构成的匹配对。如图3所示,检测结果匹配过程具体如下:
(6.1)输入当前帧左右图像的检测结果,并归一化到统一大小。优选地,检测结果归一化大小为64*32像素。
(6.2)提取检测结果的尺度不变特征(Scale Invariant Feature Transform,SIFT)和颜色特征。将归一化后的检测结果细分结果为更小的块。然后在LAB颜色空间提取每个块的颜色直方图,并对颜色直方图特征归一化。对于每个小块,进一步细分为子块,在8个方向上提取子块的SIFT特征并归一化。将颜色特征与SIFT特征相结合为匹配特征。如图4所示为本实施过程中匹配特征的提取示意。优选地,划分小块大小可采用20*10像素,子块大小可采用10*10像素。如图4所示为匹配特征提取示意图。
(6.3)根据连续帧中目标的连续性特征,目标在前后帧中的移动距离在一定的范围内。对于前后帧中与当前帧的检测结果相同的位置,分别在水平方向和垂直方向上扩大一定的范围,作为前后两帧中的搜索范围。其中,水平方向上扩大值可采用检测框宽度的一半,垂直方向上扩大的范围可采用20个像素。
(6.4)在前后帧限定的搜索范围内,计算位于范围内的检测结果所提取的匹配特征与当前结果的匹配特征的欧氏距离。选取欧氏距离最小的两个结果作为最优匹配。通过高斯函数将最优结果的欧氏距离转化为匹配相 似度其中,分别表示当前帧第i个检测结果在前后帧中的匹配相似度。
(7)根据前后帧匹配结果对当前帧的检测结果进行更新。当前帧结果帧匹配结果的可信度,并归一化。
(8)匹配更新后当前帧的左右两幅图像的检测结果。
(8.1)根据步骤(2.2)得到的视差图,对左图像的检测结果的坐标加上检测结果中心点所对应的视差值,得到右图像中对应的初步搜索范围。分别在水平方向和垂直方向上扩大一定的范围,作为右图像中的搜索范围。其中,搜索范围扩大值可采用与步骤(6.3)中相同的值作为优选值。
(8.2)根据步骤(6.2)中提取的当前帧左右图像检测结果的特征,在右图像限定的搜索范围内,计算位于范围内的检测结果所提取的匹配特征与左图像中结果的匹配特征的欧氏距离。选取欧氏距离最小的两个结果作为最优匹配。通过高斯函数将最优结果的欧氏距离转化为匹配相似度其中,表示当前左图像第i个检测结果在右图像中的匹配相似度。
(9)根据左右帧匹配结果对当前帧左图像中结果进行更新。当前帧左信度,并归一化。
(10)对于更新后的结果,采用一个高预设阈值进行过滤,得到最终检测结果,并输出。其中,对于本实施过程中采用的基于可变形部分模型的行人车辆检测,高预设阈值可采用0。
(11)判断帧序是否小于等于N,如果是,跳转到步骤(1),继续循环;如果不是,则算法结束。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等 同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于目标一致性的车载相机快速行人车辆检测方法,其特征在于,所述方法包括如下步骤:
(1)从双目连续帧图像数据库中获得一帧双目图像作为当前帧图像,所述双目图像为经过校正后的图像;
(2)对当前帧双目图像,建立左右图像的道路场景柱状模型,其中所述柱状模型是将行人车辆障碍物在图像中看做由一条条垂直的条状平面组成,柱状模型的下边缘为障碍物与地面的交线,上边缘为障碍物与背景的交线;
(3)对当前帧双目图像,在柱状模型的限定范围内,通过基于学习的行人检测算法,利用已经离线训练好的行人车辆模型,对左右两幅图像中的行人和车辆进行检测;
(4)判断当前帧的帧序是否大于2并且小于N-2,如果否,则跳转到步骤(8);如果是,则继续执行;其中N为双目连续帧图像数据库中的图像数目。
(5)将前一帧作为当前帧;
(6)匹配当前帧检测结果与当前帧的前一帧和后一帧的检测结果;通过前后帧结果的匹配,找到与当前帧中检测结果最相似的检测结果;
(7)根据前后帧匹配结果对当前帧的检测结果进行更新;当前帧结果帧匹配结果的可信度并归一化;
(8)匹配更新后当前帧的左右两幅图像的检测结果;
(9)根据左右帧匹配结果对当前帧左图像中结果进行更新,当前帧左信度并归一化;
(10)对于更新后的结果,采用一个高预设阈值进行过滤,得到最终检测结果,并输出;
(11)判断帧序是否小于等于N,如果是,跳转到步骤(1),继续循环;如果不是,则结束。
2.如权利要求1所述的方法,其特征在于,所述步骤(2)具体为:
(2.1)利用绝对误差和算法计算当前帧左幅图像中每一个点在当前帧右侧图像中的最佳匹配;
(2.2)对最佳匹配的两点的水平坐标相减,得到左右两幅图像的视差图,并归一化到0-255的灰度值,得到归一化后的视差图;
(2.3)对于归一化后的视差图,在垂直方向上计算投影,得到大小为256*V的垂直投影图像,其中V表示图像高度;对于垂直投影图像中的点(u,v),0<u<256,0<v<V,其像素值表示在归一化视差图中纵坐标为v的直线上像素值为u的点的个数并进行归一化后的结果;利用霍夫变换检测垂直投影图像中的倾斜直线和垂直方向直线;
(2.4)对于现实场景中的道路平面,根据垂直投影图像中倾斜直线上的点的纵坐标v以及现实场景与两图中坐标的映射关系,得到垂直投影图像中代表道路的倾斜直线在图像平面中反向映射关系:
其中,h、b、θ分别为相机的高度、左右相机基线距离、相机光心轴与地面的夹角;v0为相机光心在图像上的坐标;a、b为道路平面的先验参数;根据反向映射关系在当前帧双目图像中得到道路位置;
(2.5)根据得到的道路位置,在水平方向上计算得到大小为U*256的水平投影图像;利用霍夫变换计算水平投影图像中的水平直线;水平投影图像中的水平直线表示行人车辆障碍物位于当前帧双目图像中道路平面的位置;
(2.6)根据步骤(2.4)中得到的垂直投影图像中垂直直线与倾斜直线的焦点确定行人车辆与地面相交的纵坐标,根据步骤(2.5)得到的水平投影图像中水平直线确定行人车辆与地面相交的横坐标;从而得到行人车辆与地面相交的位置,作为柱状模型的下边缘;
(2.7)根据柱状模型的下边缘,计算视差图中下边缘以上部分的视差相似度;其中视差相似度是通过柱状模型的下边缘视差值与在同一垂直线上的点的视差值之差得到的;若视差相差范围在设定范围内,则置为1,否则置为-1;从下边缘开始,沿垂直方向对视差相似度值进行累加,得到累积相似度图;
(2.8)根据累积相似度图,利用动态规划算法,计算累计相似度图中累计值最大的位置,得到柱状模型的最优上边缘,从而得到当前帧道路场景下柱状模型。
3.如权利要求1或2所述的方法,其特征在于,所述步骤(6)中检测结果匹配过程具体包括:
(6.1)输入当前帧左右图像的检测结果,并归一化到统一大小;
(6.2)提取检测结果的尺度不变特征和颜色特征;将归一化后的检测结果细分结果为更小的块;然后在LAB颜色空间提取每个块的颜色直方图,并对颜色直方图特征归一化;对于每个小块,进一步细分为子块,在8个方向上提取子块的SIFT特征并归一化;将颜色特征与SIFT特征相结合为匹配特征;
(6.3)对于前后帧中与当前帧的检测结果相同的位置,分别在水平方向和垂直方向上扩大一定的范围,作为前后两帧中的搜索范围;
(6.4)在前后帧限定的搜索范围内,计算位于范围内的检测结果所提取的匹配特征与当前结果的匹配特征的欧氏距离;选取欧氏距离最小的两个结果作为最优匹配;通过高斯函数将最优结果的欧氏距离转化为匹配相 似度其中,分别表示当前帧第i个检测结果在前后帧中的匹配相似度。
4.如权利要求3所述的方法,其特征在于,所述步骤(8)具体包括:
(8.1)根据步骤(2.2)得到的视差图,对左图像的检测结果的坐标加上检测结果中心点所对应的视差值,得到右图像中对应的初步搜索范围;分别在水平方向和垂直方向上扩大预设范围,作为右图像中的搜索范围;
(8.2)根据步骤(6.2)中提取的当前帧左右图像检测结果的特征,在右图像限定的搜索范围内,计算位于范围内的检测结果所提取的匹配特征与左图像中结果的匹配特征的欧氏距离;选取欧氏距离最小的两个结果作为最优匹配;通过高斯函数将最优结果的欧氏距离转化为匹配相似度其中,表示当前左图像第i个检测结果在右图像中的匹配相似度。
5.如权利要求2所述的方法,其特征在于,在所述步骤(2.1)中,利用SAD算法对当前帧左幅图像中的一点进行匹配时,只在右幅图像中与当前匹配点相同水平坐标上进行搜索。
6.如权利要求1或2所述的方法,其特征在于,在所述步骤(2)中,所述柱状模型中条状平面的宽度为1个像素。
7.如权利要求1或2所述的方法,其特征在于,在所述步骤(3)中,采用基于可变形部分模型进行行人车辆检测,检测结果输出形式为行人车辆在图像中的左上角和右下角的四个坐标,以及每个行人车辆的可信度,在检测过程中,采用一个较低的预设阈值进行检测,所有可信度大于低预设阈值的检测均保留。
8.如权利要求3所述的方法,其特征在于,在所述步骤(6.1)中,将检测结果归一化大小为64*32像素。
9.如权利要求3所述的方法,其特征在于,在所述步骤(6.2)中,划分小块大小采用20*10像素,子块大小采用10*10像素。
10.如权利要求1或2所述的方法,其特征在于,在所述步骤(10)中,高预设阈值采用0。
CN201510054968.7A 2015-02-02 2015-02-02 一种基于目标一致性的车载相机快速行人车辆检测方法 Active CN104636724B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510054968.7A CN104636724B (zh) 2015-02-02 2015-02-02 一种基于目标一致性的车载相机快速行人车辆检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510054968.7A CN104636724B (zh) 2015-02-02 2015-02-02 一种基于目标一致性的车载相机快速行人车辆检测方法

Publications (2)

Publication Number Publication Date
CN104636724A true CN104636724A (zh) 2015-05-20
CN104636724B CN104636724B (zh) 2018-09-04

Family

ID=53215454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510054968.7A Active CN104636724B (zh) 2015-02-02 2015-02-02 一种基于目标一致性的车载相机快速行人车辆检测方法

Country Status (1)

Country Link
CN (1) CN104636724B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107730551A (zh) * 2017-01-25 2018-02-23 问众智能信息科技(北京)有限公司 车载相机姿态自动估计的方法和装置
CN107991677A (zh) * 2017-11-28 2018-05-04 广州汽车集团股份有限公司 一种行人检测方法
CN108363953A (zh) * 2018-01-12 2018-08-03 浙江大华技术股份有限公司 一种行人检测的方法及双目监控设备
CN108875505A (zh) * 2017-11-14 2018-11-23 北京旷视科技有限公司 基于神经网络的行人再识别方法和装置
CN111950434A (zh) * 2020-08-07 2020-11-17 武汉中海庭数据技术有限公司 一种基于离散点扫描的车道线结构化方法及系统
CN112733653A (zh) * 2020-12-30 2021-04-30 智车优行科技(北京)有限公司 目标检测方法和装置、计算机可读存储介质、电子设备
US11398009B2 (en) 2019-02-22 2022-07-26 Fujitsu Limited Method and apparatus for performing object detection based on images captured by a fisheye camera and electronic device
CN115214637A (zh) * 2021-04-01 2022-10-21 广州汽车集团股份有限公司 倒车制动辅助方法、辅助控制器、驾驶辅助系统和汽车
US11482013B2 (en) 2017-09-28 2022-10-25 Beijing Boe Technology Development Co., Ltd. Object tracking method, object tracking apparatus, vehicle having the same, and computer-program product

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106659A (zh) * 2013-01-28 2013-05-15 中国科学院上海微系统与信息技术研究所 基于双目视觉稀疏点匹配的空旷区域目标检测与跟踪方法
CN103413313A (zh) * 2013-08-19 2013-11-27 国家电网公司 基于电力机器人的双目视觉导航系统及方法
CN103868460A (zh) * 2014-03-13 2014-06-18 桂林电子科技大学 基于视差优化算法的双目立体视觉自动测量方法
CN104318561A (zh) * 2014-10-22 2015-01-28 上海理工大学 基于双目立体视觉与光流融合的车辆运动信息检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106659A (zh) * 2013-01-28 2013-05-15 中国科学院上海微系统与信息技术研究所 基于双目视觉稀疏点匹配的空旷区域目标检测与跟踪方法
CN103413313A (zh) * 2013-08-19 2013-11-27 国家电网公司 基于电力机器人的双目视觉导航系统及方法
CN103868460A (zh) * 2014-03-13 2014-06-18 桂林电子科技大学 基于视差优化算法的双目立体视觉自动测量方法
CN104318561A (zh) * 2014-10-22 2015-01-28 上海理工大学 基于双目立体视觉与光流融合的车辆运动信息检测方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107730551A (zh) * 2017-01-25 2018-02-23 问众智能信息科技(北京)有限公司 车载相机姿态自动估计的方法和装置
CN107730551B (zh) * 2017-01-25 2019-09-17 大众问问(北京)信息科技有限公司 车载相机姿态自动估计的方法和装置
US11482013B2 (en) 2017-09-28 2022-10-25 Beijing Boe Technology Development Co., Ltd. Object tracking method, object tracking apparatus, vehicle having the same, and computer-program product
CN108875505A (zh) * 2017-11-14 2018-11-23 北京旷视科技有限公司 基于神经网络的行人再识别方法和装置
CN107991677A (zh) * 2017-11-28 2018-05-04 广州汽车集团股份有限公司 一种行人检测方法
CN108363953A (zh) * 2018-01-12 2018-08-03 浙江大华技术股份有限公司 一种行人检测的方法及双目监控设备
CN108363953B (zh) * 2018-01-12 2020-09-29 浙江大华技术股份有限公司 一种行人检测的方法及双目监控设备
US11398009B2 (en) 2019-02-22 2022-07-26 Fujitsu Limited Method and apparatus for performing object detection based on images captured by a fisheye camera and electronic device
CN111950434B (zh) * 2020-08-07 2022-06-17 武汉中海庭数据技术有限公司 一种基于离散点扫描的车道线结构化方法及系统
CN111950434A (zh) * 2020-08-07 2020-11-17 武汉中海庭数据技术有限公司 一种基于离散点扫描的车道线结构化方法及系统
CN112733653A (zh) * 2020-12-30 2021-04-30 智车优行科技(北京)有限公司 目标检测方法和装置、计算机可读存储介质、电子设备
CN115214637A (zh) * 2021-04-01 2022-10-21 广州汽车集团股份有限公司 倒车制动辅助方法、辅助控制器、驾驶辅助系统和汽车
CN115214637B (zh) * 2021-04-01 2024-02-02 广州汽车集团股份有限公司 倒车制动辅助方法、辅助控制器、驾驶辅助系统和汽车

Also Published As

Publication number Publication date
CN104636724B (zh) 2018-09-04

Similar Documents

Publication Publication Date Title
CN104636724A (zh) 一种基于目标一致性的车载相机快速行人车辆检测方法
US11854272B2 (en) Hazard detection from a camera in a scene with moving shadows
WO2021004548A1 (zh) 一种基于双目立体视觉系统的车辆智能测速方法
CN104700414A (zh) 一种基于车载双目相机的前方道路行人快速测距方法
Broggi et al. Obstacle detection with stereo vision for off-road vehicle navigation
Toulminet et al. Vehicle detection by means of stereo vision-based obstacles features extraction and monocular pattern analysis
Li et al. Springrobot: A prototype autonomous vehicle and its algorithms for lane detection
US9336595B2 (en) Calibration device, method for implementing calibration, and camera for movable body and storage medium with calibration function
CN103123722A (zh) 道路对象检测方法和系统
CN104021368A (zh) 估计路面高度形状的方法和系统
Panev et al. Road curb detection and localization with monocular forward-view vehicle camera
CN110992424B (zh) 基于双目视觉的定位方法和系统
Samadzadegan et al. Automatic lane detection in image sequences for vision-based navigation purposes
CN109241855A (zh) 基于立体视觉的智能车辆可行驶区域探测方法
Manivannan et al. Vision based intelligent vehicle steering control using single camera for automated highway system
Gao et al. A practical method of road detection for intelligent vehicle
Guo et al. Robust road boundary estimation for intelligent vehicles in challenging scenarios based on a semantic graph
Rebut et al. Road obstacles detection using a self-adaptive stereo vision sensor: a contribution to the ARCOS French project
Cabani et al. A Fast and Self-adaptive Color Stereo Vision Matching; a first step for Roa Ostacle Detection
Kaneko et al. Landmark recognition based on image characterization by segmentation points for autonomous driving
CN114998849B (zh) 一种基于路端单目相机的交通流要素感知与定位方法及其应用
Liu et al. A Multi-Level Eigenvalue Fusion Algorithm for 3D Multi-Object Tracking
Xu et al. Extending the dynamic stixel world with b-spline based road estimation for obstacle detection
Nedevschi et al. Stereovision approach for obstacle detection on non-planar roads
Li et al. Multilane detection and tracking based on binocular vision stixel world estimation and IPM

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant