CN104700414A - 一种基于车载双目相机的前方道路行人快速测距方法 - Google Patents

一种基于车载双目相机的前方道路行人快速测距方法 Download PDF

Info

Publication number
CN104700414A
CN104700414A CN201510127482.1A CN201510127482A CN104700414A CN 104700414 A CN104700414 A CN 104700414A CN 201510127482 A CN201510127482 A CN 201510127482A CN 104700414 A CN104700414 A CN 104700414A
Authority
CN
China
Prior art keywords
image
pedestrian
binocular
camera
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510127482.1A
Other languages
English (en)
Other versions
CN104700414B (zh
Inventor
陶文兵
张治国
梁福禄
程刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201510127482.1A priority Critical patent/CN104700414B/zh
Publication of CN104700414A publication Critical patent/CN104700414A/zh
Application granted granted Critical
Publication of CN104700414B publication Critical patent/CN104700414B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明为一种基于车载双目相机的前方道路行人快速测距方法,公开了一种适用于自动驾驶系统的双目行人检测和测距方法。方法通过基于学习的行人检测方法,训练行人检测模型,利用行人检测模型对双目场景中的行人进行检测。通过颜色特征和尺度不变特征计算左图像检测结果中选取的点在右图像中的匹配点,计算匹配对之间的视差值。通过寻找视差中值的方法得到检测结果准确的视差值,并根据相机坐标系与图像坐标系之间的几何关系计算行人与相机的距离。方法针对现有的基于双目的行人检测测距的方法中存在的计算速度慢,测距不够准确的问题,利用道路柱状模型加快检测速度,利用多特征点匹配提高道路场景中行人距离测量的准确性。

Description

一种基于车载双目相机的前方道路行人快速测距方法
技术领域
[0001] 本发明属于计算机视觉及图像处理等技术领域,具体涉及一种基于车载双目相机 的前方道路行人快速测距方法,可用于复杂场景下的汽车自动驾驶辅助系统。
背景技术
[0002] 自动驾驶汽车不仅能大大提高交通系统的效率和安全性,同时也为我们节省了很 多宝贵时间,将是未来汽车发展的主流。在基于视觉导航的自动驾驶系统中,目标的检测和 测距是其中的关键技术,直接决定了自动驾驶系统的性能。
[0003] 在基于视觉的导航中,双目视觉技术是自动驾驶辅助系统中的主流应用技术。双 目测距利用双目立体视觉的原理,即两台摄像机分别对目标物体进行图像采集,把采集到 的两幅图像进行处理后通过立体匹配来计算出被测物体的深度距离。
[0004] 现有的基于双目立体视觉的自动驾驶辅助目标检测方法主要是通过同步采集安 装在车辆正前方的两个图像传感器(Charge-coupledDevice,CCD)各自输出的一帧图像, 然后对采集图像分别进行畸变校正;调用立体匹配流程对校正后的两幅图像进行立体匹 配,得到左右两幅图像中所有对应点的关系;根据摄像机参数计算两个CCD摄像机的投影 矩阵;寻找两幅校正后的图像中所对应像素点对;根据投影矩阵对该时刻采集的图像进行 场景的三维重建,得到障碍物场景的空间坐标,最后输出障碍物位置信息。另外一种方法是 通过双目视觉中的对应关系,对比两幅图像,获得双目图像的视差图;根据视差图获取视差 图相关线,利用霍夫变换,检测相关线上对应于目标的目标相关线,得到目标的位置信息。
[0005] 在这两种基于双目视觉的自动驾驶辅助系统中,一种是需要建立左右图像中所有 像素点的匹配关系,然后计算投影矩阵,重建场景的三维信息。由于双目图像信息量非常 大,建立每个像素点之间的对应关系以及重建三维场景的过程都非常消耗计算时间,对于 快速的道路环境下,不能够达到实时的处理效果。另一种是通过将道路抽象成一条直线,然 后将位于道路上的目标抽象成一条与道路相交的直线,通过检测直线来检测障碍物。在进 行抽象的过程中,背景中的目标也非常有可能被检测为立在道路直线上的直线。因此这种 方法对于目标的检测准确性不高。另外这种方法没有建立深度图,所输出的前方障碍物的 位置关系仅仅是相对的位置关系,无法得到确切的车辆与障碍物的具体距离。另外,两种方 法中都没有考虑检测障碍物的种类,导致这种方法无法实现障碍物对应的危险等级评价。
发明内容
[0006] 本发明所要解决的技术问题是克服现有基于双目的行人检测和测距中存在的检 测速度不足和检测精度不够的缺陷,充分利用双目视觉的特性,提供一种快速有效的道路 场景下行人的检测和测距方法。
[0007] 为了实现上述目的,本发明提供了一种快速的道路场景下行人检测和测距的方 法,所述方法包括如下步骤:
[0008] (1)从双目连续帧图像数据库中或者是双目摄像头中获取一帧双目图像作为当前 帧图像;
[0009] (2)对输入的双目图像进行预处理;
[0010] (3)对经过预处理后的当前帧双目图像,建立双目图像道路场景柱状模型,以限定 后续步骤中的检测搜索范围;
[0011] (4)对当前帧双目图像中的左图像,在柱状模型的限定范围内,通过基于学习的行 人检测算法,利用已经离线训练好的行人模型,对左图像中的行人进行检测;
[0012] (5)对左侧图像检测结果提取匹配点特征,计算匹配点视差值;
[0013] (6)根据左侧图像检测结果中的视差值,计算该检测结果的深度;
[0014] (7)输出检测目标坐标以及检测目标对应的深度;
[0015] (8)判断当前输入是否结束,如果否,则跳转到步骤⑴;如果是,则结束。
[0016] 本发明的一个实施例中,所述步骤(3)中的道路场景柱状模型是将障碍物在图像 中看作由一条条垂直的条状平面组成,其中柱状模型的下边缘为障碍物与地面的交线,上 边缘为障碍物与背景的交线。
[0017] 本发明的一个实施例中,所述步骤(3)中建立双目图像道路场景柱状模型,具体 包括如下子步骤:
[0018] (3. 1)利用绝对误差和算法计算当前帧左幅图像中每一个点在当前帧右侧图像中 的最佳匹配;
[0019] (3. 2)对最佳匹配的两点的水平坐标相减,得到左右两幅图像的视差图,并归一化 到0-255的灰度值,得到归一化后的视差图;
[0020] (3. 3)对于归一化后的视差图,在垂直方向上计算投影,得到大小为256*V的垂直 投影图像,其中V表示图像高度;对于垂直投影图像中的点(u,v),其像素值表示在归一化 视差图中纵坐标为V的直线上像素值为u的点的个数并进行归一化后的结果;利用霍夫变 换检测垂直投影图像中的倾斜直线和垂直方向直线;
[0021] (3. 4)根据垂直投影图像中倾斜直线上的点的纵坐标V以及现实场景与两图中坐 标的映射关系,得到垂直投影图像中代表道路的倾斜直线在图像平面中反向映射关系:
Figure CN104700414AD00061
[0023] 其中,h、b、0分别为相机的高度、左右相机基线距离、相机光心轴与地面的夹角; %为相机光心在图像上的坐标;a、b为道路平面的先验参数;根据反向映射关系得在当前 帧双目图像中得到道路位置;
[0024] (3. 5)与步骤(3. 3)类似,在水平方向上计算得到大小为U*256的水平投影图像, 利用霍夫变换计算水平投影图像中水平直线;
[0025] (3. 6)根据步骤(3. 4)中得到的垂直投影图像中垂直直线与倾斜直线的焦点确定 行人等障碍物与地面相交的纵坐标,根据步骤(3.5)得到的水平投影图像中水平直线确定 行人车辆与地面相交的横坐标,从而得到障碍物与地面相交的位置,作为柱状模型的下边 缘;
[0026] (3. 7)根据柱状模型的下边缘,计算视差图中下边缘以上部分的视差相似度,视差 相似度是通过柱状模型的下边缘视差值与在同一垂直线上的点的视差值之差得到的;若视 差相差范围在设定范围内,则置为1,否则置为-1 ;从下边缘开始,沿垂直方向对视差相似 度值进行累加,得到累积相似度图;
[0027] (3. 8)根据累积相似度图,利用动态规划算法,计算累计相似度图中累计值最大的 位置,得到柱状模型的最优上边缘,从而得到当前帧道路场景下柱状模型。
[0028] 本发明的一个实施例中,所述步骤(5)中匹配点视差值计算以及检测目标与相机 距离,具体包括如下子步骤:
[0029] (5. 1)在左图像中每个检测结果的矩形框中选取特征点;
[0030] (5. 2)提取这些特征点的颜色特征和尺度不变特征的组合特征;
[0031] (5. 3)利用绝对误差和算法计算左幅图像检测结果中提取的这些特征点的特征在 右图像中的最佳匹配;
[0032] (5. 4)对最佳匹配的两点的水平坐标相减,得到左侧检测结果矩形框所提取的这 些特征点的视差值。
[0033] 本发明的一个实施例中,所述步骤(6)具体包括如下子步骤:
[0034] (6. 1)对每个检测结果矩形框中选取的特征点的视差值进行排序,取这些特征点 视差值的中值,中值所得到的视差值即为当前检测结果与右幅图像中相同目标的视差值;
[0035] (6. 2)根据双目视觉中相机坐标系与图像坐标系之间的几何关系,计算障碍物与 相机之间的距离;
Figure CN104700414AD00071
[0037] 其中,B为双目相机中的基线距离;\#表示为左图像中点的横坐标;Y表示图像 中点的纵坐标,由于图像经过校正,左右图像中的点的纵坐标相同,Y=Yl6ft=Yl4ght;其中, f为相机焦距,D为匹配点计算得到的视差值,x、y、z为相机坐标系中目标点的坐标,z为目 标深度。
[0038] 本发明的一个实施例中,所述步骤(2)中的预处理过程采用高斯平滑和颜色直方 图均衡化,以减少因光照变换对检测产生的影响。
[0039] 本发明的一个实施例中,在所述步骤(4)中采用基于可变形部分模型的行人检测 方法,或者梯度直方图特征的行人检测方法,或者图像积分通道特征行人检测方法。
[0040] 本发明的一个实施例中,所述行人检测方法中的学习方法是:隐藏变量的支持向 量机方法,或者支持向量机方法,或者改进的迭代训练方法。
[0041] 本发明的一个实施例中,所述步骤(4)还包括:采用非极大抑制方法,将检测结果 重叠面积比大于一定预设阈值的初步检测结果进行聚类,进一步消除多余的检测窗口,得 到最终的检测结果。
[0042] 本发明的一个实施例中,在所述步骤(5. 1)中,在每个检测结果的矩形框中选取 的特征点为奇数个。
[0043] 按照本发明的快速行人检测测距方法,基于车载双目相机的几何特性,构建道路 场景的柱状模型,大大减少了行人检测过程中滑动窗搜索面积,从而减少整个行人测距过 程中的时间消耗,提高了行人测距的速度。同时,搜索面积的减少也能有效的减少检测过程 中的误检测,降低行人的误检率,提高方法的鲁棒性。另外,方法利用块匹配的方法,采用颜 色特征和尺度不变特征作为匹配特征,计算左侧图像中每个检测结果对应于右侧图像中的 多个匹配块。利用中值算法选取最佳匹配块,能够有效的剔除误匹配带来的测距不准等影 响,提高行人测距方法的精度和鲁棒性。方法克服了行人测距计算速度慢,准确度不高的问 题,推动了基于图像的行人测距方法的实用性。方法实现了道路场景下的快速行人检测和 测距过程,能够用于汽车自动驾驶的辅助系统。
附图说明
[0044] 图1本发明基于车载双目相机的前方道路行人快速测距方法实现的功能示意图;
[0045] 图2本发明基于车载双目相机的前方道路行人快速测距方法的整体流程图;
[0046] 图3本发明基于车载双目相机的前方道路行人快速测距方法中道路柱状模型计 算流程图;
[0047] 图4本发明基于车载双目相机的前方道路行人快速测距方法中目标距离计算过 程流程图。
具体实施方式
[0048] 为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对 本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并 不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要 彼此之间未构成冲突就可以相互组合。
[0049] 如图1所示为本发明基于车载双目相机的前方道路行人快速测距方法所以实现 的功能示意图,本发明通过车载双目相机,实现车辆在行驶过程中对前方行驶道路地面的 检测以及道路范围内的行人检测,并能够测定行驶车辆与检测的行人之间的距离,从而能 够进一步实现行人过近预警等技术。该发明可用于复杂场景下的汽车自动驾驶辅助系统。
[0050] 本发明方法分为两个部分,分别为行人检测过程和行人目标测距过程。如图2所 示为本发明中行人目标检测测距总体流程图。其具体流程如下:
[0051] (1)从双目连续帧图像数据库中或者是双目摄像头中获取一帧双目图像作为当前 帧图像。本发明所输入的双目图像为校正后的图像,输入的当前帧双目图像可以通过图像 校正算法进行校正,本方法中不需再考虑矫正过程。
[0052] (2)对输入的双目图像进行预处理。预处理过程可采用高斯平滑和颜色直方图均 衡化,减少因光照变换对检测产生的影响。
[0053] (3)对当前帧双目图像,建立双目图像道路场景柱状模型。通过建立道路场景的柱 状模型,限定后续步骤中的检测搜索范围。其中,道路场景柱状模型是将行人等障碍物在图 像中看作由一条条垂直的条状平面组成。柱状模型的下边缘为障碍物与地面的交线,上边 缘为障碍物与背景的交线。优选地,柱状模型中条状平面宽度为1个像素。如图2所示为 柱状模型构建过程,其具体流程如下:
[0054] (3. 1)利用绝对误差和算法(SumofAbsoluteDifferences,SAD)计算当前帧左 幅图像中每一个点在当前帧右侧图像中的最佳匹配。其中,由于输入图像已经经过校正,利 用SAD算法对当前帧左幅图像中的一点进行匹配时,只在右幅图像中与当前匹配点相同水 平坐标上进行搜索。
[0055] (3. 2)对最佳匹配的两点的水平坐标相减,得到左右两幅图像的视差图,并归一化 到0-255的灰度值,得到归一化后的视差图。
[0056] (3. 3)对于归一化后的视差图,在垂直方向上计算投影,得到大小为256*V的垂直 投影图像,其中V表示图像高度。对于垂直投影图像中的点(u,v) (0〈U〈256,0〈v〈V),其像素 值表示在归一化视差图中纵坐标为V的直线上像素值为u的点的个数并进行归一化后的结 果。利用霍夫变换检测垂直投影图像中的倾斜直线和垂直方向直线。
[0057] (3.4)根据垂直投影图像中倾斜直线上的点的纵坐标V以及现实场景与两图中 坐标的映射关系,可以得到垂直投影图像中代表道路的倾斜直线在图像平面中反向映射关 系:
Figure CN104700414AD00091
[0059] 其中,h、b、0分别为相机的高度、左右相机基线距离、相机光心轴与地面的夹角; %为相机光心在图像上的坐标;a、b为道路平面的先验参数。根据反向映射关系得在当前 帧双目图像中得到道路位置。
[0060] (3. 5)与步骤(3. 3)类似,在水平方向上计算得到大小为U*256的水平投影图像。 利用霍夫变换计算水平投影图像中水平直线。
[0061] (3. 6)根据步骤(3. 4)中得到的垂直投影图像中垂直直线与倾斜直线的焦点确定 行人等障碍物与地面相交的纵坐标;根据步骤(3. 5)得到的水平投影图像中水平直线确定 行人车辆与地面相交的横坐标。从而得到障碍物与地面相交的位置,作为柱状模型的下边 缘。
[0062] (3. 7)根据柱状模型的下边缘,计算视差图中下边缘以上部分的视差相似度。视差 相似度是通过柱状模型的下边缘视差值与在同一垂直线上的点的视差值之差得到的。若视 差相差范围在设定范围内,则置为1,否则置为-1。从下边缘开始,沿垂直方向对视差相似 度值进行累加,得到累积相似度图。
[0063] (3. 8)根据累积相似度图,利用动态规划算法,计算累计相似度图中累计值最大的 位置,得到柱状模型的最优上边缘。从而得到当前帧道路场景下柱状模型。
[0064] (4)对当前帧双目图像中的左图像,在柱状模型的限定范围内,通过基于学习的行 人检测算法,利用已经离线训练好的行人模型,对左图像中的行人进行检测。
[0065] 在本实施例中采用的是基于可变形部分模型的行人检测方法,除了上述行人检测 方法外,本发明中采用的行人检测模型可以通过任意的基于学习的行人检测方法训练得 到。在检测过程中,采用一个较低的预设阈值进行检测,所有可信度大于低预设阈值的检测 均保留,使检测结果尽可能包含所有的正确检测,不出现漏检的情况。优选的,对于本实施 实例中采用的基于部分模型的行人车辆的检测方法,低预设阈值可采用-0.9。采用非极大 抑制方法,将检测结果重叠面积比大于一定预设阈值的初步检测结果进行聚类,进一步消 除多余的检测窗口,得到最终的检测结果。检测结果输出形式为行人在图像中的左上角和 右下角的四个坐标值,以及每个行人的可信度值。优选地,重叠面积比的预设阈值的大小可 采用〇. 5。
[0066] (5)对左侧图像检测结果提取匹配点特征,计算匹配点视差值。如图3所示为本发 明中匹配点视差值计算以及检测目标与相机距离估计流程图,其具体过程如下:
[0067] (5. 1)在左图像中每个检测结果的矩形框中选取特征点。其中,本发明中在每个检 测结果的矩形框中选取的特征点为奇数个。优选地,在本发明中对每个检测结果矩形框所 选取的特征点个数可采用9个。9个特征点的选取方式为,首先得到检测结果矩形框的中心 点坐标为第1个特征点。在与中心点横坐标相同的直线上,对中心点坐标与检测框边界坐 标之间的线段进行三等分,取四个三等分点,作为特征点。同理,在与中心点纵坐标相同的 直线上,对中心点坐标与检测框边界坐标之间的线段进行三等分,取四个三等分点,作为特 征点。得到共9个特征点。
[0068] (5. 2)提取这9个点的颜色特征和尺度不变特征(ScaleInvariantFeature Transform,SIFT)的组合特征。其中,提取组合特征的方法为在9个点的周围取一个小的矩 形块,提取矩形块中的颜色直方图和SIFT特征,并将两个特征向量组合得到组合特征。其 中,小的矩形块的大小可采用10*10像素。组合特征的合成方式为,首先计算每个小块在 RGB颜色空间中的颜色直方图特征,然后计算一特征点为中心点的矩形块的SIFT特征,将 两种特征计算过程得到的特征向量首尾相接,得到组合特征。
[0069] (5. 3)利用SAD算法计算左幅图像检测结果中提取的9个点的特征在右图像中的 最佳匹配。其中,由于输入图像已经经过校正,左右两幅图像中相同目标在垂直方向上偏差 很小,所以利用SAD算法对当前帧左幅图像中的一点进行匹配时,只在右幅图像中与当前 匹配点相同水平坐标上进行搜索。同时由于本发明中,双目相机基线较窄,左右匹配点视差 应该在一定范围内,限定在水平坐标上搜索宽度应在一定的预设宽度范围内。其中预设宽 度可以采用左右各80个像素。
[0070] (5. 4)对最佳匹配的两点的水平坐标相减,得到左侧检测结果矩形框所提取的9 个特征点的视差值。
[0071] (6)根据左侧图像检测结果中9个点的视差值,计算该检测结果的深度。
[0072] (6. 1)对每个检测结果矩形框中选取的9个特征点的视差值进行排序,取9个特 征点视差值的中值,中值所得到的视差值即为当前检测结果与右幅图像中相同目标的视差 值。
[0073] (6. 2)根据双目视觉中相机坐标系与图像坐标系之间的几何关系,计算障碍物与 相机之间的距离。
Figure CN104700414AD00101
[0075] 其中,B为双目相机中的基线距离;\#表示为左图像中点的横坐标;Y表示图像 中点的纵坐标,由于图像经过校正,左右图像中的点的纵坐标相同,Y=Yleft=YHght;f为相 机焦距;D为匹配点计算得到的视差值;x、y、z为相机坐标系中目标点的坐标。其中,z为 目标深度。
[0076] (7)输出检测目标坐标以及检测目标对应的深度。
[0077] (8)判断当前输入是否结束,如果否,则跳转到步骤⑴;如果是,则算法结束。
[0078] 本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以 限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含 在本发明的保护范围之内。

Claims (10)

1. 一种基于车载双目相机的前方道路行人快速测距方法,其特征在于,所述方法包括 如下步骤: (1) 从双目连续帧图像数据库中或者是双目摄像头中获取一帧双目图像作为当前帧图 像; (2) 对输入的双目图像进行预处理; (3) 对经过预处理后的当前帧双目图像,建立双目图像道路场景柱状模型,以限定后续 步骤中的检测搜索范围; (4) 对当前帧双目图像中的左图像,在柱状模型的限定范围内,通过基于学习的行人检 测算法,利用已经离线训练好的行人模型,对左图像中的行人进行检测; (5) 对左侧图像检测结果提取匹配点特征,计算匹配点视差值; (6) 根据左侧图像检测结果中的视差值,计算该检测结果的深度; (7) 输出检测目标坐标以及检测目标对应的深度; (8) 判断当前输入是否结束,如果否,则跳转到步骤(1);如果是,则结束。
2. 如权利要求1所述的基于车载双目相机的前方道路行人快速测距方法,其特征在 于,所述步骤(3)中的道路场景柱状模型是将障碍物在图像中看作由一条条垂直的条状平 面组成,其中柱状模型的下边缘为障碍物与地面的交线,上边缘为障碍物与背景的交线。
3. 如权利要求1或2所述的基于车载双目相机的前方道路行人快速测距方法,其特征 在于,所述步骤(3)中建立双目图像道路场景柱状模型,具体包括如下子步骤: (3. 1)利用绝对误差和算法计算当前帧左幅图像中每一个点在当前帧右侧图像中的最 佳匹配; (3.2)对最佳匹配的两点的水平坐标相减,得到左右两幅图像的视差图,并归一化到 0-255的灰度值,得到归一化后的视差图; (3. 3)对于归一化后的视差图,在垂直方向上计算投影,得到大小为256*V的垂直投影 图像,其中V表示图像高度;对于垂直投影图像中的点(u,v),其像素值表示在归一化视差 图中纵坐标为v的直线上像素值为u的点的个数并进行归一化后的结果;利用霍夫变换检 测垂直投影图像中的倾斜直线和垂直方向直线; (3.4)根据垂直投影图像中倾斜直线上的点的纵坐标v以及现实场景与两图中坐标的 映射关系,得到垂直投影图像中代表道路的倾斜直线在图像平面中反向映射关系:
Figure CN104700414AC00021
其中,h、b、0分别为相机的高度、左右相机基线距离、相机光心轴与地面的夹角;V。为 相机光心在图像上的坐标;a、b为道路平面的先验参数;根据反向映射关系得在当前帧双 目图像中得到道路位置; (3. 5)与步骤(3. 3)类似,在水平方向上计算得到大小为U*256的水平投影图像,利用 霍夫变换计算水平投影图像中水平直线; (3.6)根据步骤(3.4)中得到的垂直投影图像中垂直直线与倾斜直线的焦点确定行人 等障碍物与地面相交的纵坐标,根据步骤(3.5)得到的水平投影图像中水平直线确定行人 车辆与地面相交的横坐标,从而得到障碍物与地面相交的位置,作为柱状模型的下边缘; (3. 7)根据柱状模型的下边缘,计算视差图中下边缘以上部分的视差相似度,视差相似 度是通过柱状模型的下边缘视差值与在同一垂直线上的点的视差值之差得到的;若视差相 差范围在设定范围内,则置为1,否则置为-1 ;从下边缘开始,沿垂直方向对视差相似度值 进行累加,得到累积相似度图; (3.8)根据累积相似度图,利用动态规划算法,计算累计相似度图中累计值最大的位 置,得到柱状模型的最优上边缘,从而得到当前帧道路场景下柱状模型。
4. 如权利要求1或2所述的基于车载双目相机的前方道路行人快速测距方法,其特征 在于,所述步骤(5)中匹配点视差值计算以及检测目标与相机距离,具体包括如下子步骤: (5. 1)在左图像中每个检测结果的矩形框中选取特征点; (5. 2)提取这些特征点的颜色特征和尺度不变特征的组合特征; (5. 3)利用绝对误差和算法计算左幅图像检测结果中提取的这些特征点的特征在右图 像中的最佳匹配; (5. 4)对最佳匹配的两点的水平坐标相减,得到左侧检测结果矩形框所提取的这些特 征点的视差值。
5. 如权利要求1或2所述的基于车载双目相机的前方道路行人快速测距方法,其特征 在于,所述步骤(6)具体包括如下子步骤: (6. 1)对每个检测结果矩形框中选取的特征点的视差值进行排序,取这些特征点视差 值的中值,中值所得到的视差值即为当前检测结果与右幅图像中相同目标的视差值; (6. 2)根据双目视觉中相机坐标系与图像坐标系之间的几何关系,计算障碍物与相机 之间的距离;
Figure CN104700414AC00031
其中,B为双目相机中的基线距离;Xleft表示为左图像中点的横坐标;Y表示图像中点 的纵坐标,由于图像经过校正,左右图像中的点的纵坐标相同,Y=Yl6ft=Y&ht;其中,f•为 相机焦距,D为匹配点计算得到的视差值,x、y、z为相机坐标系中目标点的坐标,z为目标 深度。
6. 如权利要求1或2所述的基于车载双目相机的前方道路行人快速测距方法,其特征 在于,所述步骤(2)中的预处理过程采用高斯平滑和颜色直方图均衡化,以减少因光照变 换对检测产生的影响。
7. 如权利要求1或2所述的基于车载双目相机的前方道路行人快速测距方法,其特征 在于,在所述步骤(4)中采用基于可变形部分模型的行人检测方法,或者梯度直方图特征 的行人检测方法,或者图像积分通道特征行人检测方法。
8. 如权利要求7所述的基于车载双目相机的前方道路行人快速测距方法,其特征在 于,所述行人检测方法中的学习方法是:隐藏变量的支持向量机方法,或者支持向量机方 法,或者改进的迭代训练方法。
9. 如权利要求1或2所述的基于车载双目相机的前方道路行人快速测距方法,其特征 在于,所述步骤(4)还包括:采用非极大抑制方法,将检测结果重叠面积比大于一定预设阈 值的初步检测结果进行聚类,进一步消除多余的检测窗口,得到最终的检测结果。
10. 如权利要求4所述的基于车载双目相机的前方道路行人快速测距方法,其特征在 于,在所述步骤(5. 1)中,在每个检测结果的矩形框中选取的特征点为奇数个。
CN201510127482.1A 2015-03-23 2015-03-23 一种基于车载双目相机的前方道路行人快速测距方法 Active CN104700414B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510127482.1A CN104700414B (zh) 2015-03-23 2015-03-23 一种基于车载双目相机的前方道路行人快速测距方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510127482.1A CN104700414B (zh) 2015-03-23 2015-03-23 一种基于车载双目相机的前方道路行人快速测距方法

Publications (2)

Publication Number Publication Date
CN104700414A true CN104700414A (zh) 2015-06-10
CN104700414B CN104700414B (zh) 2017-10-03

Family

ID=53347496

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510127482.1A Active CN104700414B (zh) 2015-03-23 2015-03-23 一种基于车载双目相机的前方道路行人快速测距方法

Country Status (1)

Country Link
CN (1) CN104700414B (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105302135A (zh) * 2015-09-18 2016-02-03 天津鑫隆机场设备有限公司 基于双目视觉的助航灯光光强检测车导航与定位系统
CN105427336A (zh) * 2015-12-31 2016-03-23 青岛歌尔声学科技有限公司 一种基于双目视频的测距方法和装置
CN105469386A (zh) * 2015-11-11 2016-04-06 浙江大华技术股份有限公司 一种确定立体相机高度与俯仰角的方法及装置
CN105631875A (zh) * 2015-12-25 2016-06-01 广州视源电子科技股份有限公司 确定相机坐标与机械臂手爪坐标映射关系的方法及其系统
CN106385546A (zh) * 2016-09-27 2017-02-08 华南师范大学 通过图像处理改善移动电子设备摄像效果的方法和系统
CN107622510A (zh) * 2017-08-25 2018-01-23 维沃移动通信有限公司 一种信息处理方法及装置
CN107909009A (zh) * 2017-10-27 2018-04-13 北京中科慧眼科技有限公司 一种基于路面学习的障碍物检测方法与装置
CN107993233A (zh) * 2016-10-26 2018-05-04 中国科学院深圳先进技术研究院 一种坑区域的定位方法及装置
CN108108667A (zh) * 2017-12-01 2018-06-01 大连理工大学 一种基于窄基线双目视觉的前方车辆快速测距方法
CN109116374A (zh) * 2017-06-23 2019-01-01 百度在线网络技术(北京)有限公司 确定障碍物距离的方法、装置、设备及存储介质
CN109389648A (zh) * 2018-09-19 2019-02-26 晓智科技(成都)有限公司 一种通过数据迭代减小测量数据误差的方法
CN109460709A (zh) * 2018-10-12 2019-03-12 南京大学 基于rgb和d信息融合的rtg视觉障碍物检测的方法
CN109711274A (zh) * 2018-12-05 2019-05-03 斑马网络技术有限公司 车辆检测方法、装置、设备和存储介质
CN110231013A (zh) * 2019-05-08 2019-09-13 哈尔滨理工大学 一种基于双目视觉的车前行人检测与人车距离获取方法
CN111336984A (zh) * 2020-03-20 2020-06-26 北京百度网讯科技有限公司 障碍物测距方法、装置、设备和介质
CN111780673A (zh) * 2020-06-17 2020-10-16 杭州海康威视数字技术股份有限公司 一种测距方法、装置及设备
US10861177B2 (en) 2015-11-11 2020-12-08 Zhejiang Dahua Technology Co., Ltd. Methods and systems for binocular stereo vision
TWI735336B (zh) * 2020-09-10 2021-08-01 財團法人車輛研究測試中心 定位製圖方法及移動裝置
WO2021196548A1 (zh) * 2020-04-01 2021-10-07 北京迈格威科技有限公司 距离确定方法、装置及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020061132A1 (en) * 2000-11-22 2002-05-23 Nec Corporation Stereo image processing apparatus and method of processing stereo image
CN101033972A (zh) * 2007-02-06 2007-09-12 华中科技大学 一种空间非合作物体三维信息的获取方法
CN101866497A (zh) * 2010-06-18 2010-10-20 北京交通大学 基于双目立体视觉的智能三维人脸重建方法及系统
CN102316307A (zh) * 2011-08-22 2012-01-11 安防科技(中国)有限公司 一种道路交通视频检测方法及装置
CN102592117A (zh) * 2011-12-30 2012-07-18 杭州士兰微电子股份有限公司 三维物体识别方法及系统
CN103390269A (zh) * 2012-05-11 2013-11-13 株式会社理光 连续型道路分割物检测方法和装置
CN104217615A (zh) * 2014-09-16 2014-12-17 武汉理工大学 一种基于车路协同的行人防碰撞系统和方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020061132A1 (en) * 2000-11-22 2002-05-23 Nec Corporation Stereo image processing apparatus and method of processing stereo image
CN101033972A (zh) * 2007-02-06 2007-09-12 华中科技大学 一种空间非合作物体三维信息的获取方法
CN101866497A (zh) * 2010-06-18 2010-10-20 北京交通大学 基于双目立体视觉的智能三维人脸重建方法及系统
CN102316307A (zh) * 2011-08-22 2012-01-11 安防科技(中国)有限公司 一种道路交通视频检测方法及装置
CN102592117A (zh) * 2011-12-30 2012-07-18 杭州士兰微电子股份有限公司 三维物体识别方法及系统
CN103390269A (zh) * 2012-05-11 2013-11-13 株式会社理光 连续型道路分割物检测方法和装置
CN104217615A (zh) * 2014-09-16 2014-12-17 武汉理工大学 一种基于车路协同的行人防碰撞系统和方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
上官珺: "《基于U-V视差算法的障碍物识别技术研究》", 《兰州工业高等专科学校学报》 *
李建文等: "《智能车辆双目立体视觉测距算法》", 《军事交通学院学报》 *
高爱华等: "《一种改进的行人检测方法》", 《西安工业大学学报》 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105302135A (zh) * 2015-09-18 2016-02-03 天津鑫隆机场设备有限公司 基于双目视觉的助航灯光光强检测车导航与定位系统
CN105302135B (zh) * 2015-09-18 2017-10-20 天津鑫隆机场设备有限公司 基于双目视觉的助航灯光光强检测车导航与定位系统
CN105469386B (zh) * 2015-11-11 2018-08-07 浙江大华技术股份有限公司 一种确定立体相机高度与俯仰角的方法及装置
CN105469386A (zh) * 2015-11-11 2016-04-06 浙江大华技术股份有限公司 一种确定立体相机高度与俯仰角的方法及装置
US10861177B2 (en) 2015-11-11 2020-12-08 Zhejiang Dahua Technology Co., Ltd. Methods and systems for binocular stereo vision
CN105631875A (zh) * 2015-12-25 2016-06-01 广州视源电子科技股份有限公司 确定相机坐标与机械臂手爪坐标映射关系的方法及其系统
CN105427336A (zh) * 2015-12-31 2016-03-23 青岛歌尔声学科技有限公司 一种基于双目视频的测距方法和装置
CN106385546A (zh) * 2016-09-27 2017-02-08 华南师范大学 通过图像处理改善移动电子设备摄像效果的方法和系统
CN107993233A (zh) * 2016-10-26 2018-05-04 中国科学院深圳先进技术研究院 一种坑区域的定位方法及装置
CN109116374A (zh) * 2017-06-23 2019-01-01 百度在线网络技术(北京)有限公司 确定障碍物距离的方法、装置、设备及存储介质
CN107622510A (zh) * 2017-08-25 2018-01-23 维沃移动通信有限公司 一种信息处理方法及装置
CN107909009A (zh) * 2017-10-27 2018-04-13 北京中科慧眼科技有限公司 一种基于路面学习的障碍物检测方法与装置
CN107909009B (zh) * 2017-10-27 2021-09-17 北京中科慧眼科技有限公司 一种基于路面学习的障碍物检测方法与装置
CN108108667A (zh) * 2017-12-01 2018-06-01 大连理工大学 一种基于窄基线双目视觉的前方车辆快速测距方法
CN109389648A (zh) * 2018-09-19 2019-02-26 晓智科技(成都)有限公司 一种通过数据迭代减小测量数据误差的方法
CN109460709A (zh) * 2018-10-12 2019-03-12 南京大学 基于rgb和d信息融合的rtg视觉障碍物检测的方法
CN109460709B (zh) * 2018-10-12 2020-08-04 南京大学 基于rgb和d信息融合的rtg视觉障碍物检测的方法
CN109711274A (zh) * 2018-12-05 2019-05-03 斑马网络技术有限公司 车辆检测方法、装置、设备和存储介质
CN110231013A (zh) * 2019-05-08 2019-09-13 哈尔滨理工大学 一种基于双目视觉的车前行人检测与人车距离获取方法
CN111336984A (zh) * 2020-03-20 2020-06-26 北京百度网讯科技有限公司 障碍物测距方法、装置、设备和介质
WO2021196548A1 (zh) * 2020-04-01 2021-10-07 北京迈格威科技有限公司 距离确定方法、装置及系统
CN111780673A (zh) * 2020-06-17 2020-10-16 杭州海康威视数字技术股份有限公司 一种测距方法、装置及设备
TWI735336B (zh) * 2020-09-10 2021-08-01 財團法人車輛研究測試中心 定位製圖方法及移動裝置

Also Published As

Publication number Publication date
CN104700414B (zh) 2017-10-03

Similar Documents

Publication Publication Date Title
CN104700414A (zh) 一种基于车载双目相机的前方道路行人快速测距方法
Broggi et al. Obstacle detection with stereo vision for off-road vehicle navigation
Oniga et al. Processing dense stereo data using elevation maps: Road surface, traffic isle, and obstacle detection
Broggi et al. The single frame stereo vision system for reliable obstacle detection used during the 2005 DARPA grand challenge on TerraMax
US9846812B2 (en) Image recognition system for a vehicle and corresponding method
US9336595B2 (en) Calibration device, method for implementing calibration, and camera for movable body and storage medium with calibration function
CN103487034A (zh) 一种基于立式标靶的车载单目摄像头测距测高方法
WO2021004312A1 (zh) 一种基于双目立体视觉系统的车辆智能测轨迹方法
CN103093479A (zh) 一种基于双目视觉的目标定位方法
WO2021004548A1 (zh) 一种基于双目立体视觉系统的车辆智能测速方法
CN103499337A (zh) 一种基于立式标靶的车载单目摄像头测距测高装置
Kellner et al. Road curb detection based on different elevation mapping techniques
CN109827516B (zh) 一种通过车轮来测量距离的方法
Musleh et al. Visual ego motion estimation in urban environments based on uv disparity
Pinggera et al. High-performance long range obstacle detection using stereo vision
Shunsuke et al. GNSS/INS/on-board camera integration for vehicle self-localization in urban canyon
Kellner et al. Multi-cue, model-based detection and mapping of road curb features using stereo vision
CN104636724B (zh) 一种基于目标一致性的车载相机快速行人车辆检测方法
Kühnl et al. Visual ego-vehicle lane assignment using spatial ray features
Hara et al. Vehicle localization based on the detection of line segments from multi-camera images
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
CN106446785A (zh) 基于双目视觉的可行道路检测方法
Nadav et al. Off-road path and obstacle detection using monocular camera
Zhang et al. Real-time obstacle detection based on stereo vision for automotive applications
Yuan et al. Estimation of vehicle pose and position with monocular camera at urban road intersections

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant