CN104700414B - 一种基于车载双目相机的前方道路行人快速测距方法 - Google Patents
一种基于车载双目相机的前方道路行人快速测距方法 Download PDFInfo
- Publication number
- CN104700414B CN104700414B CN201510127482.1A CN201510127482A CN104700414B CN 104700414 B CN104700414 B CN 104700414B CN 201510127482 A CN201510127482 A CN 201510127482A CN 104700414 B CN104700414 B CN 104700414B
- Authority
- CN
- China
- Prior art keywords
- image
- pedestrian
- mrow
- binocular
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
本发明为一种基于车载双目相机的前方道路行人快速测距方法，公开了一种适用于自动驾驶系统的双目行人检测和测距方法。方法通过基于学习的行人检测方法，训练行人检测模型，利用行人检测模型对双目场景中的行人进行检测。通过颜色特征和尺度不变特征计算左图像检测结果中选取的点在右图像中的匹配点，计算匹配对之间的视差值。通过寻找视差中值的方法得到检测结果准确的视差值，并根据相机坐标系与图像坐标系之间的几何关系计算行人与相机的距离。方法针对现有的基于双目的行人检测测距的方法中存在的计算速度慢，测距不够准确的问题，利用道路柱状模型加快检测速度，利用多特征点匹配提高道路场景中行人距离测量的准确性。
Description
技术领域
本发明属于计算机视觉及图像处理等技术领域，具体涉及一种基于车载双目相机的前方道路行人快速测距方法，可用于复杂场景下的汽车自动驾驶辅助系统。
背景技术
自动驾驶汽车不仅能大大提高交通系统的效率和安全性，同时也为我们节省了很多宝贵时间，将是未来汽车发展的主流。在基于视觉导航的自动驾驶系统中，目标的检测和测距是其中的关键技术，直接决定了自动驾驶系统的性能。
在基于视觉的导航中，双目视觉技术是自动驾驶辅助系统中的主流应用技术。双目测距利用双目立体视觉的原理，即两台摄像机分别对目标物体进行图像采集，把采集到的两幅图像进行处理后通过立体匹配来计算出被测物体的深度距离。
现有的基于双目立体视觉的自动驾驶辅助目标检测方法主要是通过同步采集安装在车辆正前方的两个图像传感器(Charge-coupled Device，CCD)各自输出的一帧图像，然后对采集图像分别进行畸变校正；调用立体匹配流程对校正后的两幅图像进行立体匹配，得到左右两幅图像中所有对应点的关系；根据摄像机参数计算两个CCD摄像机的投影矩阵；寻找两幅校正后的图像中所对应像素点对；根据投影矩阵对该时刻采集的图像进行场景的三维重建，得到障碍物场景的空间坐标，最后输出障碍物位置信息。另外一种方法是通过双目视觉中的对应关系，对比两幅图像，获得双目图像的视差图；根据视差图获取视差图相关线，利用霍夫变换，检测相关线上对应于目标的目标相关线，得到目标的位置信息。
在这两种基于双目视觉的自动驾驶辅助系统中，一种是需要建立左右图像中所有像素点的匹配关系，然后计算投影矩阵，重建场景的三维信息。由于双目图像信息量非常大，建立每个像素点之间的对应关系以及重建三维场景的过程都非常消耗计算时间，对于快速的道路环境下，不能够达到实时的处理效果。另一种是通过将道路抽象成一条直线，然后将位于道路上的目标抽象成一条与道路相交的直线，通过检测直线来检测障碍物。在进行抽象的过程中，背景中的目标也非常有可能被检测为立在道路直线上的直线。因此这种方法对于目标的检测准确性不高。另外这种方法没有建立深度图，所输出的前方障碍物的位置关系仅仅是相对的位置关系，无法得到确切的车辆与障碍物的具体距离。另外，两种方法中都没有考虑检测障碍物的种类，导致这种方法无法实现障碍物对应的危险等级评价。
发明内容
本发明所要解决的技术问题是克服现有基于双目的行人检测和测距中存在的检测速度不足和检测精度不够的缺陷，充分利用双目视觉的特性，提供一种快速有效的道路场景下行人的检测和测距方法。
为了实现上述目的，本发明提供了一种快速的道路场景下行人检测和测距的方法，所述方法包括如下步骤：
(1)从双目连续帧图像数据库中或者是双目摄像头中获取一帧双目图像作为当前帧图像；
(2)对输入的双目图像进行预处理；
(3)对经过预处理后的当前帧双目图像，建立双目图像道路场景柱状模型，以限定后续步骤中的检测搜索范围；
(4)对当前帧双目图像中的左图像，在柱状模型的限定范围内，通过基于学习的行人检测算法，利用已经离线训练好的行人模型，对左图像中的行人进行检测；
(5)对左侧图像检测结果提取匹配点特征，计算匹配点视差值；
(6)根据左侧图像检测结果中的视差值，计算该检测结果的深度；
(7)输出检测目标坐标以及检测目标对应的深度；
(8)判断当前输入是否结束，如果否，则跳转到步骤(1)；如果是，则结束。
本发明的一个实施例中，所述步骤(3)中的道路场景柱状模型是将障碍物在图像中看作由一条条垂直的条状平面组成，其中柱状模型的下边缘为障碍物与地面的交线，上边缘为障碍物与背景的交线。
本发明的一个实施例中，所述步骤(3)中建立双目图像道路场景柱状模型，具体包括如下子步骤：
(3.1)利用绝对误差和算法计算当前帧左幅图像中每一个点在当前帧右侧图像中的最佳匹配；
(3.2)对最佳匹配的两点的水平坐标相减，得到左右两幅图像的视差图，并归一化到0-255的灰度值，得到归一化后的视差图；
(3.3)对于归一化后的视差图，在垂直方向上计算投影，得到大小为256*V的垂直投影图像，其中V表示图像高度；对于垂直投影图像中的点(u,v)，其像素值表示在归一化视差图中纵坐标为v的直线上像素值为u的点的个数并进行归一化后的结果；利用霍夫变换检测垂直投影图像中的倾斜直线和垂直方向直线；
(3.4)根据垂直投影图像中倾斜直线上的点的纵坐标v以及现实场景与两图中坐标的映射关系，得到垂直投影图像中代表道路的倾斜直线在图像平面中反向映射关系：
其中，h、b、θ分别为相机的高度、左右相机基线距离、相机光心轴与地面的夹角；v0为相机光心在图像上的坐标；a、b为道路平面的先验参数；根据反向映射关系得在当前帧双目图像中得到道路位置；
(3.5)与步骤(3.3)类似，在水平方向上计算得到大小为U*256的水平投影图像，利用霍夫变换计算水平投影图像中水平直线；
(3.6)根据步骤(3.4)中得到的垂直投影图像中垂直直线与倾斜直线的焦点确定行人等障碍物与地面相交的纵坐标，根据步骤(3.5)得到的水平投影图像中水平直线确定行人车辆与地面相交的横坐标，从而得到障碍物与地面相交的位置，作为柱状模型的下边缘；
(3.7)根据柱状模型的下边缘，计算视差图中下边缘以上部分的视差相似度，视差相似度是通过柱状模型的下边缘视差值与在同一垂直线上的点的视差值之差得到的；若视差相差范围在设定范围内，则置为1，否则置为-1；从下边缘开始，沿垂直方向对视差相似度值进行累加，得到累积相似度图；
(3.8)根据累积相似度图，利用动态规划算法，计算累计相似度图中累计值最大的位置，得到柱状模型的最优上边缘，从而得到当前帧道路场景下柱状模型。
本发明的一个实施例中，所述步骤(5)中匹配点视差值计算以及检测目标与相机距离，具体包括如下子步骤：
(5.1)在左图像中每个检测结果的矩形框中选取特征点；
(5.2)提取这些特征点的颜色特征和尺度不变特征的组合特征；
(5.3)利用绝对误差和算法计算左幅图像检测结果中提取的这些特征点的特征在右图像中的最佳匹配；
(5.4)对最佳匹配的两点的水平坐标相减，得到左侧检测结果矩形框所提取的这些特征点的视差值。
本发明的一个实施例中，所述步骤(6)具体包括如下子步骤：
(6.1)对每个检测结果矩形框中选取的特征点的视差值进行排序，取这些特征点视差值的中值，中值所得到的视差值即为当前检测结果与右幅图像中相同目标的视差值；
(6.2)根据双目视觉中相机坐标系与图像坐标系之间的几何关系，计算障碍物与相机之间的距离；
其中，B为双目相机中的基线距离；Xleft表示为左图像中点的横坐标；Y表示图像中点的纵坐标，由于图像经过校正，左右图像中的点的纵坐标相同，Y＝Yleft＝Yright；其中，f为相机焦距，D为匹配点计算得到的视差值，x、y、z为相机坐标系中目标点的坐标，z为目标深度。
本发明的一个实施例中，所述步骤(2)中的预处理过程采用高斯平滑和颜色直方图均衡化，以减少因光照变换对检测产生的影响。
本发明的一个实施例中，在所述步骤(4)中采用基于可变形部分模型的行人检测方法，或者梯度直方图特征的行人检测方法，或者图像积分通道特征行人检测方法。
本发明的一个实施例中，所述行人检测方法中的学习方法是：隐藏变量的支持向量机方法，或者支持向量机方法，或者改进的迭代训练方法。
本发明的一个实施例中，所述步骤(4)还包括：采用非极大抑制方法，将检测结果重叠面积比大于一定预设阈值的初步检测结果进行聚类，进一步消除多余的检测窗口，得到最终的检测结果。
本发明的一个实施例中，在所述步骤(5.1)中，在每个检测结果的矩形框中选取的特征点为奇数个。
按照本发明的快速行人检测测距方法，基于车载双目相机的几何特性，构建道路场景的柱状模型，大大减少了行人检测过程中滑动窗搜索面积，从而减少整个行人测距过程中的时间消耗，提高了行人测距的速度。同时，搜索面积的减少也能有效的减少检测过程中的误检测，降低行人的误检率，提高方法的鲁棒性。另外，方法利用块匹配的方法，采用颜色特征和尺度不变特征作为匹配特征，计算左侧图像中每个检测结果对应于右侧图像中的多个匹配块。利用中值算法选取最佳匹配块，能够有效的剔除误匹配带来的测距不准等影响，提高行人测距方法的精度和鲁棒性。方法克服了行人测距计算速度慢，准确度不高的问题，推动了基于图像的行人测距方法的实用性。方法实现了道路场景下的快速行人检测和测距过程，能够用于汽车自动驾驶的辅助系统。
附图说明
图1本发明基于车载双目相机的前方道路行人快速测距方法实现的功能示意图；
图2本发明基于车载双目相机的前方道路行人快速测距方法的整体流程图；
图3本发明基于车载双目相机的前方道路行人快速测距方法中道路柱状模型计算流程图；
图4本发明基于车载双目相机的前方道路行人快速测距方法中目标距离计算过程流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示为本发明基于车载双目相机的前方道路行人快速测距方法所以实现的功能示意图，本发明通过车载双目相机，实现车辆在行驶过程中对前方行驶道路地面的检测以及道路范围内的行人检测，并能够测定行驶车辆与检测的行人之间的距离，从而能够进一步实现行人过近预警等技术。该发明可用于复杂场景下的汽车自动驾驶辅助系统。
本发明方法分为两个部分，分别为行人检测过程和行人目标测距过程。如图2所示为本发明中行人目标检测测距总体流程图。其具体流程如下：
(1)从双目连续帧图像数据库中或者是双目摄像头中获取一帧双目图像作为当前帧图像。本发明所输入的双目图像为校正后的图像，输入的当前帧双目图像可以通过图像校正算法进行校正，本方法中不需再考虑矫正过程。
(2)对输入的双目图像进行预处理。预处理过程可采用高斯平滑和颜色直方图均衡化，减少因光照变换对检测产生的影响。
(3)对当前帧双目图像，建立双目图像道路场景柱状模型。通过建立道路场景的柱状模型，限定后续步骤中的检测搜索范围。其中，道路场景柱状模型是将行人等障碍物在图像中看作由一条条垂直的条状平面组成。柱状模型的下边缘为障碍物与地面的交线，上边缘为障碍物与背景的交线。优选地，柱状模型中条状平面宽度为1个像素。如图2所示为柱状模型构建过程，其具体流程如下：
(3.1)利用绝对误差和算法(Sum of Absolute Differences，SAD)计算当前帧左幅图像中每一个点在当前帧右侧图像中的最佳匹配。其中，由于输入图像已经经过校正，利用SAD算法对当前帧左幅图像中的一点进行匹配时，只在右幅图像中与当前匹配点相同水平坐标上进行搜索。
(3.2)对最佳匹配的两点的水平坐标相减，得到左右两幅图像的视差图，并归一化到0-255的灰度值，得到归一化后的视差图。
(3.3)对于归一化后的视差图，在垂直方向上计算投影，得到大小为256*V的垂直投影图像，其中V表示图像高度。对于垂直投影图像中的点(u,v)(0<u<256,0<v<V)，其像素值表示在归一化视差图中纵坐标为v的直线上像素值为u的点的个数并进行归一化后的结果。利用霍夫变换检测垂直投影图像中的倾斜直线和垂直方向直线。
(3.4)根据垂直投影图像中倾斜直线上的点的纵坐标v以及现实场景与两图中坐标的映射关系，可以得到垂直投影图像中代表道路的倾斜直线在图像平面中反向映射关系：
其中，h、b、θ分别为相机的高度、左右相机基线距离、相机光心轴与地面的夹角；v0为相机光心在图像上的坐标；a、b为道路平面的先验参数。根据反向映射关系得在当前帧双目图像中得到道路位置。
(3.5)与步骤(3.3)类似，在水平方向上计算得到大小为U*256的水平投影图像。利用霍夫变换计算水平投影图像中水平直线。
(3.6)根据步骤(3.4)中得到的垂直投影图像中垂直直线与倾斜直线的焦点确定行人等障碍物与地面相交的纵坐标；根据步骤(3.5)得到的水平投影图像中水平直线确定行人车辆与地面相交的横坐标。从而得到障碍物与地面相交的位置，作为柱状模型的下边缘。
(3.7)根据柱状模型的下边缘，计算视差图中下边缘以上部分的视差相似度。视差相似度是通过柱状模型的下边缘视差值与在同一垂直线上的点的视差值之差得到的。若视差相差范围在设定范围内，则置为1，否则置为-1。从下边缘开始，沿垂直方向对视差相似度值进行累加，得到累积相似度图。
(3.8)根据累积相似度图，利用动态规划算法，计算累计相似度图中累计值最大的位置，得到柱状模型的最优上边缘。从而得到当前帧道路场景下柱状模型。
(4)对当前帧双目图像中的左图像，在柱状模型的限定范围内，通过基于学习的行人检测算法，利用已经离线训练好的行人模型，对左图像中的行人进行检测。
在本实施例中采用的是基于可变形部分模型的行人检测方法，除了上述行人检测方法外，本发明中采用的行人检测模型可以通过任意的基于学习的行人检测方法训练得到。在检测过程中，采用一个较低的预设阈值进行检测，所有可信度大于低预设阈值的检测均保留，使检测结果尽可能包含所有的正确检测，不出现漏检的情况。优选的，对于本实施实例中采用的基于部分模型的行人车辆的检测方法，低预设阈值可采用-0.9。采用非极大抑制方法，将检测结果重叠面积比大于一定预设阈值的初步检测结果进行聚类，进一步消除多余的检测窗口，得到最终的检测结果。检测结果输出形式为行人在图像中的左上角和右下角的四个坐标值，以及每个行人的可信度值。优选地，重叠面积比的预设阈值的大小可采用0.5。
(5)对左侧图像检测结果提取匹配点特征，计算匹配点视差值。如图3所示为本发明中匹配点视差值计算以及检测目标与相机距离估计流程图，其具体过程如下：
(5.1)在左图像中每个检测结果的矩形框中选取特征点。其中，本发明中在每个检测结果的矩形框中选取的特征点为奇数个。优选地，在本发明中对每个检测结果矩形框所选取的特征点个数可采用9个。9个特征点的选取方式为，首先得到检测结果矩形框的中心点坐标为第1个特征点。在与中心点横坐标相同的直线上，对中心点坐标与检测框边界坐标之间的线段进行三等分，取四个三等分点，作为特征点。同理，在与中心点纵坐标相同的直线上，对中心点坐标与检测框边界坐标之间的线段进行三等分，取四个三等分点，作为特征点。得到共9个特征点。
(5.2)提取这9个点的颜色特征和尺度不变特征(Scale Invariant FeatureTransform,SIFT)的组合特征。其中，提取组合特征的方法为在9个点的周围取一个小的矩形块，提取矩形块中的颜色直方图和SIFT特征，并将两个特征向量组合得到组合特征。其中，小的矩形块的大小可采用10*10像素。组合特征的合成方式为，首先计算每个小块在RGB颜色空间中的颜色直方图特征，然后计算一特征点为中心点的矩形块的SIFT特征，将两种特征计算过程得到的特征向量首尾相接，得到组合特征。
(5.3)利用SAD算法计算左幅图像检测结果中提取的9个点的特征在右图像中的最佳匹配。其中，由于输入图像已经经过校正，左右两幅图像中相同目标在垂直方向上偏差很小，所以利用SAD算法对当前帧左幅图像中的一点进行匹配时，只在右幅图像中与当前匹配点相同水平坐标上进行搜索。同时由于本发明中，双目相机基线较窄，左右匹配点视差应该在一定范围内，限定在水平坐标上搜索宽度应在一定的预设宽度范围内。其中预设宽度可以采用左右各80个像素。
(5.4)对最佳匹配的两点的水平坐标相减，得到左侧检测结果矩形框所提取的9个特征点的视差值。
(6)根据左侧图像检测结果中9个点的视差值，计算该检测结果的深度。
(6.1)对每个检测结果矩形框中选取的9个特征点的视差值进行排序，取9个特征点视差值的中值，中值所得到的视差值即为当前检测结果与右幅图像中相同目标的视差值。
(6.2)根据双目视觉中相机坐标系与图像坐标系之间的几何关系，计算障碍物与相机之间的距离。
其中，B为双目相机中的基线距离；Xleft表示为左图像中点的横坐标；Y表示图像中点的纵坐标，由于图像经过校正，左右图像中的点的纵坐标相同，Y＝Yleft＝Yright；f为相机焦距；D为匹配点计算得到的视差值；x、y、z为相机坐标系中目标点的坐标。其中，z为目标深度。
(7)输出检测目标坐标以及检测目标对应的深度。
(8)判断当前输入是否结束，如果否，则跳转到步骤(1)；如果是，则算法结束。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于车载双目相机的前方道路行人快速测距方法，其特征在于，所述方法包括如下步骤：
(1)从双目连续帧图像数据库中或者是双目摄像头中获取一帧双目图像作为当前帧图像；
(2)对输入的双目图像进行预处理；
(3)对经过预处理后的当前帧双目图像，建立双目图像道路场景柱状模型，以限定后续步骤中的检测搜索范围；其中建立双目图像道路场景柱状模型的具体子步骤包括：
(3.1)利用绝对误差和算法计算当前帧左幅图像中每一个点在当前帧右侧图像中的最佳匹配；
(3.2)对最佳匹配的两点的水平坐标相减，得到左右两幅图像的视差图，并归一化到0-255的灰度值，得到归一化后的视差图；
(3.3)对于归一化后的视差图，在垂直方向上计算投影，得到大小为256*V的垂直投影图像，其中V表示图像高度；对于垂直投影图像中的点(u,v)，其像素值表示在归一化视差图中纵坐标为v的直线上像素值为u的点的个数并进行归一化后的结果；利用霍夫变换检测垂直投影图像中的倾斜直线和垂直方向直线；
(3.4)根据垂直投影图像中倾斜直线上的点的纵坐标v以及现实场景与两图中坐标的映射关系，得到垂直投影图像中代表道路的倾斜直线在图像平面中反向映射关系：
<mrow>
<mi>&Delta;</mi>
<mo>=</mo>
<mfrac>
<mi>b</mi>
<mrow>
<mi>a</mi>
<mi>h</mi>
<mo>-</mo>
<mi>d</mi>
</mrow>
</mfrac>
<mrow>
<mo>(</mo>
<mi>v</mi>
<mo>-</mo>
<msub>
<mi>v</mi>
<mn>0</mn>
</msub>
<mo>)</mo>
</mrow>
<mrow>
<mo>(</mo>
<mi>a</mi>
<mi> </mi>
<mi>c</mi>
<mi>o</mi>
<mi>s</mi>
<mi>&theta;</mi>
<mo>+</mo>
<mi>sin</mi>
<mi>&theta;</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mfrac>
<mi>b</mi>
<mrow>
<mi>a</mi>
<mi>h</mi>
<mo>-</mo>
<mi>d</mi>
</mrow>
</mfrac>
<mrow>
<mo>(</mo>
<mi>a</mi>
<mi> </mi>
<mi>s</mi>
<mi>i</mi>
<mi>n</mi>
<mi>&theta;</mi>
<mo>-</mo>
<mi>c</mi>
<mi>o</mi>
<mi>s</mi>
<mi>&theta;</mi>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
其中，h、d、θ分别为相机的高度、左右相机基线距离、相机光心轴与地面的夹角；v0为相机光心在图像上的纵坐标；a、b为道路平面的先验参数；根据反向映射关系得在当前帧双目图像中得到道路位置；
(3.5)与步骤(3.3)类似，在水平方向上计算得到大小为U*256的水平投影图像，利用霍夫变换计算水平投影图像中水平直线；
(3.6)根据步骤(3.4)中得到的垂直投影图像中垂直直线与倾斜直线的交点确定行人等障碍物与地面相交的纵坐标，根据步骤(3.5)得到的水平投影图像中水平直线确定行人车辆与地面相交的横坐标，从而得到障碍物与地面相交的位置，作为柱状模型的下边缘；
(3.7)根据柱状模型的下边缘，计算视差图中下边缘以上部分的视差相似度，视差相似度是通过柱状模型的下边缘视差值与在同一垂直线上的点的视差值之差得到的；若视差相差范围在设定范围内，则置为1，否则置为-1；从下边缘开始，沿垂直方向对视差相似度值进行累加，得到累积相似度图；
(3.8)根据累积相似度图，利用动态规划算法，计算累计相似度图中累计值最大的位置，得到柱状模型的最优上边缘，从而得到当前帧道路场景下柱状模型；
(4)对当前帧双目图像中的左图像，在柱状模型的限定范围内，通过基于学习的行人检测算法，利用已经离线训练好的行人模型，对左图像中的行人进行检测；
(5)对左侧图像检测结果提取匹配点特征，计算匹配点视差值；
(6)根据左侧图像检测结果中的视差值，计算该检测结果的深度；
(7)输出检测目标坐标以及检测目标对应的深度；
(8)判断当前输入是否结束，如果否，则跳转到步骤(1)；如果是，则结束。
2.如权利要求1所述的基于车载双目相机的前方道路行人快速测距方法，其特征在于，所述步骤(3)中的道路场景柱状模型是将障碍物在图像中看作由一条条垂直的条状平面组成，其中柱状模型的下边缘为障碍物与地面的交线，上边缘为障碍物与背景的交线。
3.如权利要求1或2所述的基于车载双目相机的前方道路行人快速测距方法，其特征在于，所述步骤(5)具体包括如下子步骤：
(5.1)在左图像中每个检测结果的矩形框中选取特征点；
(5.2)提取这些特征点的颜色特征和尺度不变特征的组合特征；
(5.3)利用绝对误差和算法计算左幅图像检测结果中提取的这些特征点的特征在右图像中的最佳匹配；
(5.4)对最佳匹配的两点的水平坐标相减，得到左侧检测结果矩形框所提取的这些特征点的视差值。
4.如权利要求1或2所述的基于车载双目相机的前方道路行人快速测距方法，其特征在于，所述步骤(6)具体包括如下子步骤：
(6.1)对每个检测结果矩形框中选取的特征点的视差值进行排序，取这些特征点视差值的中值，中值所得到的视差值即为当前检测结果与右幅图像中相同目标的视差值；
(6.2)根据双目视觉中相机坐标系与图像坐标系之间的几何关系，计算障碍物与相机之间的距离；
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>x</mi>
<mo>=</mo>
<mfrac>
<mrow>
<mi>B</mi>
<mo>&CenterDot;</mo>
<msub>
<mi>X</mi>
<mrow>
<mi>l</mi>
<mi>e</mi>
<mi>f</mi>
<mi>t</mi>
</mrow>
</msub>
</mrow>
<mi>D</mi>
</mfrac>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>y</mi>
<mo>=</mo>
<mfrac>
<mrow>
<mi>B</mi>
<mo>&CenterDot;</mo>
<mi>Y</mi>
</mrow>
<mi>D</mi>
</mfrac>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>z</mi>
<mo>=</mo>
<mfrac>
<mrow>
<mi>B</mi>
<mo>&CenterDot;</mo>
<mi>f</mi>
</mrow>
<mi>D</mi>
</mfrac>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
其中，B为双目相机中的基线距离；Xleft表示为左图像中点的横坐标；Y表示图像中点的纵坐标，由于图像经过校正，左右图像中的点的纵坐标相同，Y＝Yleft＝Yright；其中，f为相机焦距，D为匹配点计算得到的视差值，x、y、z为相机坐标系中目标点的坐标，z为目标深度。
5.如权利要求1或2所述的基于车载双目相机的前方道路行人快速测距方法，其特征在于，所述步骤(2)中的预处理过程采用高斯平滑和颜色直方图均衡化，以减少因光照变换对检测产生的影响。
6.如权利要求1或2所述的基于车载双目相机的前方道路行人快速测距方法，其特征在于，在所述步骤(4)中采用基于可变形部分模型的行人检测方法，或者梯度直方图特征的行人检测方法，或者图像积分通道特征行人检测方法。
7.如权利要求6所述的基于车载双目相机的前方道路行人快速测距方法，其特征在于，所述行人检测方法中的学习方法是：隐藏变量的支持向量机方法，或者支持向量机方法，或者改进的迭代训练方法。
8.如权利要求1或2所述的基于车载双目相机的前方道路行人快速测距方法，其特征在于，所述步骤(4)还包括：采用非极大抑制方法，将检测结果重叠面积比大于一定预设阈值的初步检测结果进行聚类，进一步消除多余的检测窗口，得到最终的检测结果。
9.如权利要求3所述的基于车载双目相机的前方道路行人快速测距方法，其特征在于，在所述步骤(5.1)中，在每个检测结果的矩形框中选取的特征点为奇数个。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510127482.1A CN104700414B (zh) | 2015-03-23 | 2015-03-23 | 一种基于车载双目相机的前方道路行人快速测距方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510127482.1A CN104700414B (zh) | 2015-03-23 | 2015-03-23 | 一种基于车载双目相机的前方道路行人快速测距方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104700414A CN104700414A (zh) | 2015-06-10 |
| CN104700414B true CN104700414B (zh) | 2017-10-03 |
Family
ID=53347496
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510127482.1A Active CN104700414B (zh) | 2015-03-23 | 2015-03-23 | 一种基于车载双目相机的前方道路行人快速测距方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104700414B (zh) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105302135B (zh) * | 2015-09-18 | 2017-10-20 | 天津鑫隆机场设备有限公司 | 基于双目视觉的助航灯光光强检测车导航与定位系统 |
| US10861177B2 (en) | 2015-11-11 | 2020-12-08 | Zhejiang Dahua Technology Co., Ltd. | Methods and systems for binocular stereo vision |
| CN105469386B (zh) * | 2015-11-11 | 2018-08-07 | 浙江大华技术股份有限公司 | 一种确定立体相机高度与俯仰角的方法及装置 |
| CN105631875A (zh) * | 2015-12-25 | 2016-06-01 | 广州视源电子科技股份有限公司 | 确定相机坐标与机械臂手爪坐标映射关系的方法及其系统 |
| CN105427336B (zh) * | 2015-12-31 | 2019-06-04 | 青岛歌尔声学科技有限公司 | 一种基于双目视频的测距方法和装置 |
| CN106385546A (zh) * | 2016-09-27 | 2017-02-08 | 华南师范大学 | 通过图像处理改善移动电子设备摄像效果的方法和系统 |
| CN107993233B (zh) * | 2016-10-26 | 2022-02-22 | 中国科学院深圳先进技术研究院 | 一种坑区域的定位方法及装置 |
| CN109116374B (zh) * | 2017-06-23 | 2021-08-17 | 百度在线网络技术（北京）有限公司 | 确定障碍物距离的方法、装置、设备及存储介质 |
| CN107622510A (zh) * | 2017-08-25 | 2018-01-23 | 维沃移动通信有限公司 | 一种信息处理方法及装置 |
| CN107909009B (zh) * | 2017-10-27 | 2021-09-17 | 北京中科慧眼科技有限公司 | 一种基于路面学习的障碍物检测方法与装置 |
| CN108108667B (zh) * | 2017-12-01 | 2019-08-09 | 大连理工大学 | 一种基于窄基线双目视觉的前方车辆快速测距方法 |
| CN108665406B (zh) * | 2018-04-25 | 2022-06-28 | 珠海全志科技股份有限公司 | 一种硬件加速器的加速方法 |
| CN109389648B (zh) * | 2018-09-19 | 2022-04-22 | 晓智未来(成都)科技有限公司 | 一种通过数据迭代减小测量数据误差的方法 |
| CN109460709B (zh) * | 2018-10-12 | 2020-08-04 | 南京大学 | 基于rgb和d信息融合的rtg视觉障碍物检测的方法 |
| CN109711274A (zh) * | 2018-12-05 | 2019-05-03 | 斑马网络技术有限公司 | 车辆检测方法、装置、设备和存储介质 |
| CN109711294A (zh) * | 2018-12-14 | 2019-05-03 | 深圳市象形字科技股份有限公司 | 一种基于计算机视觉的辅助小提琴练习者弓法检测方法 |
| CN111598920A (zh) * | 2019-02-20 | 2020-08-28 | 纳恩博（北京）科技有限公司 | 一种轨迹预测方法、装置及存储介质 |
| CN110231013A (zh) * | 2019-05-08 | 2019-09-13 | 哈尔滨理工大学 | 一种基于双目视觉的车前行人检测与人车距离获取方法 |
| CN110490117B (zh) * | 2019-08-14 | 2023-04-07 | 智慧互通科技股份有限公司 | 一种基于图像深度信息的停车事件确定方法及系统 |
| CN111336984A (zh) * | 2020-03-20 | 2020-06-26 | 北京百度网讯科技有限公司 | 障碍物测距方法、装置、设备和介质 |
| CN111457886B (zh) * | 2020-04-01 | 2022-06-21 | 北京迈格威科技有限公司 | 距离确定方法、装置及系统 |
| CN111797684B (zh) * | 2020-05-25 | 2024-04-09 | 维森视觉丹阳有限公司 | 一种运动车辆双目视觉测距方法 |
| CN111780673B (zh) * | 2020-06-17 | 2022-05-31 | 杭州海康威视数字技术股份有限公司 | 一种测距方法、装置及设备 |
| TWI735336B (zh) * | 2020-09-10 | 2021-08-01 | 財團法人車輛研究測試中心 | 定位製圖方法及移動裝置 |
| CN113781543B (zh) * | 2021-11-10 | 2022-03-18 | 北京中科慧眼科技有限公司 | 基于双目相机的限高装置检测方法、系统和智能终端 |
| CN114445661B (zh) * | 2022-01-24 | 2023-08-18 | 电子科技大学 | 一种基于边缘计算的嵌入式图像识别方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101033972A (zh) * | 2007-02-06 | 2007-09-12 | 华中科技大学 | 一种空间非合作物体三维信息的获取方法 |
| CN101866497A (zh) * | 2010-06-18 | 2010-10-20 | 北京交通大学 | 基于双目立体视觉的智能三维人脸重建方法及系统 |
| CN102316307A (zh) * | 2011-08-22 | 2012-01-11 | 安防科技（中国）有限公司 | 一种道路交通视频检测方法及装置 |
| CN102592117A (zh) * | 2011-12-30 | 2012-07-18 | 杭州士兰微电子股份有限公司 | 三维物体识别方法及系统 |
| CN103390269A (zh) * | 2012-05-11 | 2013-11-13 | 株式会社理光 | 连续型道路分割物检测方法和装置 |
| CN104217615A (zh) * | 2014-09-16 | 2014-12-17 | 武汉理工大学 | 一种基于车路协同的行人防碰撞系统和方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002157576A (ja) * | 2000-11-22 | 2002-05-31 | Nec Corp | ステレオ画像処理装置及びステレオ画像処理方法並びにステレオ画像処理用プログラムを記録した記録媒体 |
-
2015
- 2015-03-23 CN CN201510127482.1A patent/CN104700414B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101033972A (zh) * | 2007-02-06 | 2007-09-12 | 华中科技大学 | 一种空间非合作物体三维信息的获取方法 |
| CN101866497A (zh) * | 2010-06-18 | 2010-10-20 | 北京交通大学 | 基于双目立体视觉的智能三维人脸重建方法及系统 |
| CN102316307A (zh) * | 2011-08-22 | 2012-01-11 | 安防科技（中国）有限公司 | 一种道路交通视频检测方法及装置 |
| CN102592117A (zh) * | 2011-12-30 | 2012-07-18 | 杭州士兰微电子股份有限公司 | 三维物体识别方法及系统 |
| CN103390269A (zh) * | 2012-05-11 | 2013-11-13 | 株式会社理光 | 连续型道路分割物检测方法和装置 |
| CN104217615A (zh) * | 2014-09-16 | 2014-12-17 | 武汉理工大学 | 一种基于车路协同的行人防碰撞系统和方法 |
Non-Patent Citations (3)
| Title |
|---|
| 《一种改进的行人检测方法》;高爱华等;《西安工业大学学报》;20120430;第32卷(第4期);第259页左栏第1段，最后一段 * |
| 《基于U-V视差算法的障碍物识别技术研究》;上官珺;《兰州工业高等专科学校学报》;20111031;第18卷(第5期);第18-23页 * |
| 《智能车辆双目立体视觉测距算法》;李建文等;《军事交通学院学报》;20150228;第17卷(第2期);第1章和第1.1节,第1.1.2节，第1.2节第2-3段，第1.5节第1-3段以及图4 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104700414A (zh) | 2015-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104700414B (zh) | 一种基于车载双目相机的前方道路行人快速测距方法 | |
| WO2021004548A1 (zh) | 一种基于双目立体视觉系统的车辆智能测速方法 | |
| US20220092797A1 (en) | Intelligent Vehicle Trajectory Measurement Method Based on Binocular Stereo Vision System | |
| US10452931B2 (en) | Processing method for distinguishing a three dimensional object from a two dimensional object using a vehicular system | |
| CN107341453B (zh) | 一种车道线提取方法及装置 | |
| Broggi et al. | The single frame stereo vision system for reliable obstacle detection used during the 2005 DARPA grand challenge on TerraMax | |
| CN109460709A (zh) | 基于rgb和d信息融合的rtg视觉障碍物检测的方法 | |
| Broggi et al. | Obstacle detection with stereo vision for off-road vehicle navigation | |
| Toulminet et al. | Vehicle detection by means of stereo vision-based obstacles features extraction and monocular pattern analysis | |
| CN105260699B (zh) | 一种车道线数据的处理方法及装置 | |
| CN111429514A (zh) | 一种融合多帧时序点云的激光雷达3d实时目标检测方法 | |
| CN105225482A (zh) | 基于双目立体视觉的车辆检测系统和方法 | |
| CN105667518A (zh) | 车道检测的方法及装置 | |
| CN109472831A (zh) | 面向压路机施工过程的障碍物识别测距系统及方法 | |
| CN108444390A (zh) | 一种无人驾驶汽车障碍物识别方法及装置 | |
| CN104636724B (zh) | 一种基于目标一致性的车载相机快速行人车辆检测方法 | |
| CN110334678A (zh) | 一种基于视觉融合的行人检测方法 | |
| CN106871906B (zh) | 一种盲人导航方法、装置及终端设备 | |
| CN110197173B (zh) | 一种基于双目视觉的路沿检测方法 | |
| CN102176243A (zh) | 一种基于可见光和红外摄像机的目标测距方法 | |
| CN107463890A (zh) | 一种基于单目前视相机的前车检测与跟踪方法 | |
| CN108645375B (zh) | 一种用于车载双目系统快速车辆测距优化方法 | |
| Shunsuke et al. | GNSS/INS/on-board camera integration for vehicle self-localization in urban canyon | |
| CN106446785A (zh) | 基于双目视觉的可行道路检测方法 | |
| CN107194343A (zh) | 基于位置相关的卷积与Fire模型的红绿灯检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |