CN110488320B - 一种利用立体视觉检测车辆距离的方法 - Google Patents

一种利用立体视觉检测车辆距离的方法 Download PDF

Info

Publication number
CN110488320B
CN110488320B CN201910783662.3A CN201910783662A CN110488320B CN 110488320 B CN110488320 B CN 110488320B CN 201910783662 A CN201910783662 A CN 201910783662A CN 110488320 B CN110488320 B CN 110488320B
Authority
CN
China
Prior art keywords
dimensional
image
vehicle
distance
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910783662.3A
Other languages
English (en)
Other versions
CN110488320A (zh
Inventor
朱正天
岳文静
陈志�
徐秋石
熊礼亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN201910783662.3A priority Critical patent/CN110488320B/zh
Publication of CN110488320A publication Critical patent/CN110488320A/zh
Application granted granted Critical
Publication of CN110488320B publication Critical patent/CN110488320B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section

Abstract

本发明公开了一种利用立体视觉检测车辆距离的方法,利用立体图像方法识别可能属于障碍的三维特征,通过三维特征检测滤除可能不属于障碍的特征;当确定障碍是车辆,使用基于对称的算法识别所有可能属于前一辆车的三维特征的元素,具体检测那辆车;当检测到前车后,通过最大化在前一帧的边界框中的图像部分与新帧之间的相关性来跟踪前车;检查边界框内的三维特征,计算到前车的距离。本发明方法在检测车辆距离时,具有较强的鲁棒性和可靠性。

Description

一种利用立体视觉检测车辆距离的方法
技术领域
本发明属于计算机视觉、传感器技术、视频图像处理等交叉技术领域,特别涉及一种利用立体视觉检测车辆距离的方法。
背景技术
立体视觉匹配(Stereo Matching)是计算机视觉中的一个重要而又非常困难的问题,它的目标是从不同视点图像中找到匹配的对应点。对于立体视觉匹配的研究,能够大大的增强计算机或机器人对环境的感知能力,使得机器人能够更好的适应环境、更加智能,从而能够更好地为人们服务。
在无人驾驶技术中,目前常用的感知方式有,广义“视觉”的超声波雷达、毫米波雷达、激光雷达(LiDAR)和摄像头等。超声波雷达由于反应速度和分辨率的问题主要用于倒车雷达,毫米波雷达和激光雷达承担了主要的中长距测距和环境感知,而摄像头主要用于交通信号灯和其他物体的识别。
在检测车辆距离方面,本发明提出一种利用立体视觉检测车辆距离的方法,旨在提高车辆距离检测准确性。
发明内容
为了解决现有技术中的问题,本发明提供一种利用立体视觉检测车辆距离的方法,该方法构造的车辆检测方法和普通方法相比,该方法能充分考虑前车形状,识别道路,障碍以及前车位置。
为实现上述目的,本发明采用的技术方案为:
一种利用立体视觉检测车辆距离的方法,包括以下步骤:
步骤1)输入车载视频图像,利用三维稀疏图的算法提取图像中的障碍,得到构造具体区域的三维稀疏图;
步骤2)应用匹配算法,利用三维稀疏图构建三维边缘形状,匹配算法是根据图像左右边缘点的位置提供的三维信息,使用动态规划方法,将右图像的边缘点与左图像的边缘点匹配,接着对错误匹配进行检测和纠正;
步骤3)结合阈值视差值法和倾角设定阈值法,选择三维形状,使三维图形被识别为障碍物或非障碍物,针对障碍物的边缘提取障碍物类的三维形状;
步骤4)前车检测,先进行对称检测,根据道路位置和透视限制确定感兴趣区域,搜索感兴趣区域的垂直对称性;
步骤5)检测到对称区域的宽度和位置后,将开始新的搜索,检测矩形边界框的两个底角是否满足车辆检测标准,确认前车后,搜索前车的顶部水平极限,并对前车进行定位;
步骤6)接下来进行跟踪阶段,在最大化前一帧边界框中的图像与新帧之间的相关性的基础上,检查边界框内的三维特征,计算到前车的距离。
进一步的,所述步骤1)具体如下:
步骤11)输入视频左图像、右图像的边缘点,被倾斜度的自适应一维算子分割,自适应一维算子,指在图像行中,具有自适应性的、用于边缘检测算子,倾斜度定义为在一组由两个端点限制的连续像素中,局部灰度极值的一个最大值和一个最小值;
步骤12)使用动态规划方法将右图像的边缘点与左图像的边缘点匹配,得到边缘点的三维信息,记该三维点为P,则三维点的坐标为:
Figure BDA0002177335050000021
其中:e是左、右图像两个光学中心之间的距离,px是CCD像素的宽度,f是左、右图像两个透镜的焦距,δ是三维点P的左、右投影横坐标差距,即δ=xl-xr,(xl,yl)和(xr,yr)分别是三维点P在左图像和右图像中的投影坐标。
进一步的,所述步骤2)具体如下:
步骤21)使用连接、深度和唯一性标准在正确图像中构建投影,开始三维形状的构建;
步骤22)删除边缘点与孤立的三维点关联三维形状,消除错误的边缘点关联;
步骤23)将校正步骤应用于未匹配或错误匹配的每个右边缘点:对于每个未匹配或错误匹配的右边缘点,查找未匹配或错误匹配的左边缘点,并验证差异连续性的标准,视差测量中的误差是由随机分量和错误的匹配分量来建模的。
进一步的,所述步骤3)具体如下:
步骤31)(xr,yr)是三维点P在右图像中的投影坐标,P的yr和δ被转换到一个灰度水平图上,一个累加器H(yr,δ)用在给定的图像行上,利用相同的视差来累加在给定的图像行上的这些点,计算立体视觉系统的高度H,和道路平面相对于立体视觉系统标定的倾角α;
步骤32)阈值视差值法选择三维形状:利用同形转换原理和立体视觉系统的具体配置,将右图像的每一行与视差值关联起来,道路的差异表示为:
Figure BDA0002177335050000031
道路的差异根据道路平面相对于立体视觉系统标定的倾角α、立体视觉系统的高度H和立体视觉系统的标定参量值yhorizon进行计算,其中:yhorizon=((h/2)-(f/py)×tanα),py是CCD像素的高度,h是图像高度的像素点数;
步骤33)倾角设定阈值法来选择三维片段:构建的三维形状通过一个或多个三维直线分割来估计,通过迭代分割方法,三维图形被分解为三维片段,为了选择属于障碍的三维片段,计算和道路平面有关的三维分割的倾角β,并对β设定阈值,
在第一步中,计算包含三维片段的直线矢量
Figure BDA0002177335050000032
Figure BDA0002177335050000033
其中:Vx,Vy,Vz分别为直线矢量
Figure BDA0002177335050000034
的x,y,z方向的量值,ml、mr分别是分割三维形状的一条三维直线,在左、右图像投影的斜率;bl和br分别是分割三维形状的一条三维直线,在左、右图像投影的y轴上的截距,w是图像宽度的像素点数,w×h是照相机的分辨率(以像素为单位)
mr、ml、br和bl是用最小二乘法计算的,并且分别是:
fr:xr→mr×y+br fl:xl→ml×y+bl
其中:fr和fl分别是左图像、右图像中三维片段投影的方程式;
在第二步中,使用几何特性计算三维路段相对于道路平面的倾斜角;
情形1:若VX≠0和VZ≠0,则三维分割的倾角β和立体视觉系统标定的倾角α的关系:
Figure BDA0002177335050000041
情形2:若Vz=0和Vx=0,则三维分割的倾角β和立体视觉系统标定的倾角α的关系:
Figure BDA0002177335050000042
其中:π为圆周率;
最后,若计算得出的倾角大于预定阈值,则提取该三维片段;
步骤34)O1是阈值视差值法选择的一组三维形状,O2为倾角设定阈值法选择的一组三维片段,O是用一组三维图形来表示的障碍物边缘;O3是三维形状的一部分,且O3=O1∩O2,O3包含的三维片段,通过阈值视差值法和倾角设定阈值法,将O3识别为对象;对于每个三维形状S,若
Figure BDA0002177335050000043
那么S属于O,O包含被视为障碍物边缘的三维形状;
步骤35)O用仅与O1或O2有关的三维图形完成,若三维形状O1∪O2是:场景中障碍物的实际三维边缘,或与道路具有相同的高度的三维形状O,或比三维形状O更接近立体视觉系统,则在图像中,三维形状O1∪O2的高度与三维形状O的高度相同;相反,O1∪O2的三维形状为:道路的实际三维边缘场景,或比三维形状O更接近立体视觉传感器,则三维形状O1∪O2是三维形状O在图像中的投影。
进一步的,所述步骤4)具体如下:
步骤41)对于感兴趣区域内的每个可能的对称轴,依次检查轴周围对称区域的不同宽度,得到新的对称图;
步骤42)匹配所有与轴对称,且与视觉系统距离相似的三维点对。
进一步的,所述步骤5)具体如下:
步骤51)使用传统的模式匹配技术,来检查代表车辆周围边界框,和边界框底部的两个角的存在;
步骤52)检测边界框的顶部,在由透视限制和大小约束确定的区域中查找边界框;
步骤53)不存在正确的边界框时,回溯,再次扫描对称映射,以获得下一个局部最大值,并对边界框执行新的搜索。
进一步的,所述步骤6)具体如下:
步骤61)检测到前面的车辆后,使用单目跟踪程序来加快计算速度,考虑由于相对距离的增加或减少而引起的被检测车辆尺寸的变化,计算了一些模板,扩大和减少包含车辆的图像部分,即边界框;每个模板与新框架匹配,并使用以下公式计算相关性:
Figure BDA0002177335050000051
其中:xq、yq是模板内的像素相对坐标;XA,YA表示模板尺寸;函数R和L返回像素强度;△x和△y通过在新模板上移动模板来改变;识别区域的最小值CT将识别到寻找车辆的新框架中;
步骤62)通过检查边界框内的三维特征,计算到前车的距离,建立三维特征距离的柱状图,对于距视觉系统的每个在0-100m的兴趣间隔内的距离,对边界框内相应的三维特征计数;
步骤63)使用局部平均运算符平滑柱状图,检测柱状图的峰值,该值为到前一辆车的距离,测量距离的绝对精度△Z由下式给出:
Figure BDA0002177335050000052
其中:△δ是视差的绝对精度。
与现有技术相比,本发明具有以下有益效果:
1、本发明旨在利用车辆特征提取优势使检测得到优化,并且该方法能够有效地识别道路,障碍以及前车位置;
2、在本发明中,汽车检测功能基于单眼模式分析和障碍的三维特征提取,它被用来增强单眼模式分析的鲁棒性、可靠性。单眼模式,指车载摄像头仅有一个图像接收眼;
3、在本发明中,用于三维特征选择的立体方法具有有效性,在后续检测阶段对特定车辆特征的利用,使得搜索和跟踪更加稳健;
4、本发明提出的车辆检测方法,可以使车辆检测系统可以面对不同的复杂情况。
附图说明
图1是基于立体视觉的车辆距离检测方法流程图。
具体实施方式
下面结合实施例对本发明作更进一步的说明。
一种利用立体视觉检测车辆距离的方法,包括以下步骤:
步骤1)输入车载视频图像,利用三维稀疏图的算法提取图像中的障碍,得到构造具体区域的三维稀疏图;
所述步骤1)具体如下:
步骤11)输入视频左图像、右图像的边缘点,被倾斜度的自适应一维算子分割,自适应一维算子,指在图像行中,具有自适应性的、用于边缘检测算子,倾斜度定义为在一组由两个端点限制的连续像素中,局部灰度极值的一个最大值和一个最小值;
步骤12)使用动态规划方法将右图像的边缘点与左图像的边缘点匹配,得到边缘点的三维信息,记该三维点为P,则三维点的坐标为:
Figure BDA0002177335050000061
其中:e是左、右图像两个光学中心之间的距离,px是CCD像素的宽度,f是左、右图像两个透镜的焦距,δ是三维点P的左、右投影横坐标差距,即δ=xl-xr,(xl,yl)和(xr,yr)分别是三维点P在左图像和右图像中的投影坐标。
步骤2)应用匹配算法,利用三维稀疏图构建三维边缘形状,匹配算法是根据图像左右边缘点的位置提供的三维信息,使用动态规划方法,将右图像的边缘点与左图像的边缘点匹配,接着对错误匹配进行检测和纠正;
所述步骤2)具体如下:
步骤21)使用连接、深度和唯一性标准在正确图像中构建投影,开始三维形状的构建;
步骤22)删除边缘点与孤立的三维点关联三维形状,消除错误的边缘点关联;
步骤23)将校正步骤应用于未匹配或错误匹配的每个右边缘点:对于每个未匹配或错误匹配的右边缘点,查找未匹配或错误匹配的左边缘点,并验证差异连续性的标准,视差测量中的误差是由随机分量和错误的匹配分量来建模的。
步骤3)结合阈值视差值法和倾角设定阈值法,选择三维形状,使三维图形被识别为障碍物或非障碍物,针对障碍物的边缘提取障碍物类的三维形状;
所述步骤3)具体如下:
步骤31)(xr,yr)是三维点P在右图像中的投影坐标,P的yr和δ被转换到一个灰度水平图上,一个累加器H(yr,δ)用在给定的图像行上,利用相同的视差来累加在给定的图像行上的这些点,计算立体视觉系统的高度H,和道路平面相对于立体视觉系统标定的倾角α;
步骤32)阈值视差值法选择三维形状:利用同形转换原理和立体视觉系统的具体配置,将右图像的每一行与视差值关联起来,道路的差异表示为:
Figure BDA0002177335050000071
道路的差异根据道路平面相对于立体视觉系统标定的倾角α、立体视觉系统的高度H和立体视觉系统的标定参量值yhorizon进行计算,其中:yhorizon=((h/2)-(f/py)×tanα),py是CCD像素的高度,h是图像高度的像素点数;
步骤33)倾角设定阈值法来选择三维片段:构建的三维形状通过一个或多个三维直线分割来估计,通过迭代分割方法,三维图形被分解为三维片段,为了选择属于障碍的三维片段,计算和道路平面有关的三维分割的倾角β,并对β设定阈值,
在第一步中,计算包含三维片段的直线矢量
Figure BDA0002177335050000072
Figure BDA0002177335050000081
其中:Vx,Vy,Vz分别为直线矢量
Figure BDA0002177335050000082
的x,y,z方向的量值,ml、mr分别是分割三维形状的一条三维直线,在左、右图像投影的斜率;bl和br分别是分割三维形状的一条三维直线,在左、右图像投影的y轴上的截距,w是图像宽度的像素点数,
mr、ml、br和bl是用最小二乘法计算的,并且分别是:
fr:xr→mr×y+br fl:xl→ml×y+bl
其中:fr和fl分别是左图像、右图像中三维片段投影的方程式;
在第二步中,使用几何特性计算三维路段相对于道路平面的倾斜角;
情形1:若VX≠0和VZ≠0,则三维分割的倾角β和立体视觉系统标定的倾角α的关系:
Figure BDA0002177335050000083
情形2:若Vz=0和Vx=0,则三维分割的倾角β和立体视觉系统标定的倾角α的关系:
Figure BDA0002177335050000084
其中:π为圆周率;
最后,若计算得出的倾角大于预定阈值,则提取该三维片段;
步骤34)O1是阈值视差值法选择的一组三维形状,O2为倾角设定阈值法选择的一组三维片段,O是用一组三维图形来表示的障碍物边缘;O3是三维形状的一部分,且O3=O1∩O2,O3包含的三维片段,通过阈值视差值法和倾角设定阈值法,将O3识别为对象;对于每个三维形状S,若
Figure BDA0002177335050000091
那么S属于O,O包含被视为障碍物边缘的三维形状;
步骤35)O用仅与O1或O2有关的三维图形完成,若三维形状O1∪O2是:场景中障碍物的实际三维边缘,或与道路具有相同的高度的三维形状O,或比三维形状O更接近立体视觉系统,则在图像中,三维形状O1∪O2的高度与三维形状O的高度相同;相反,O1∪O2的三维形状为:道路的实际三维边缘场景,或比三维形状O更接近立体视觉传感器,则三维形状O1∪O2是三维形状O在图像中的投影。
步骤4)前车检测,先进行对称检测,根据道路位置和透视限制确定感兴趣区域,搜索感兴趣区域的垂直对称性;
所述步骤4)具体如下:
步骤41)对于感兴趣区域内的每个可能的对称轴,依次检查轴周围对称区域的不同宽度,得到新的对称图;
步骤42)匹配所有与轴对称,且与视觉系统距离相似的三维点对。
步骤5)检测到对称区域的宽度和位置后,将开始新的搜索,检测矩形边界框的两个底角是否满足车辆检测标准,确认前车后,搜索前车的顶部水平极限,并对前车进行定位;
所述步骤5)具体如下:
步骤51)使用传统的模式匹配技术,来检查代表车辆周围边界框,和边界框底部的两个角的存在;
步骤52)检测边界框的顶部,在由透视限制和大小约束确定的区域中查找边界框;
步骤53)不存在正确的边界框时,回溯,再次扫描对称映射,以获得下一个局部最大值,并对边界框执行新的搜索。
步骤6)接下来进行跟踪阶段,在最大化前一帧边界框中的图像与新帧之间的相关性的基础上,检查边界框内的三维特征,计算到前车的距离。
所述步骤6)具体如下:
步骤61)检测到前面的车辆后,使用单目跟踪程序来加快计算速度,考虑由于相对距离的增加或减少而引起的被检测车辆尺寸的变化,计算了一些模板,扩大和减少包含车辆的图像部分,即边界框;每个模板与新框架匹配,并使用以下公式计算相关性:
Figure BDA0002177335050000101
其中:xq、yq是模板内的像素相对坐标;XA,YA表示模板尺寸;函数R和L返回像素强度;△x和△y通过在新模板上移动模板来改变;识别区域的最小值CT将识别到寻找车辆的新框架中;
步骤62)通过检查边界框内的三维特征,计算到前车的距离,建立三维特征距离的柱状图,对于距视觉系统的每个在0-100m的兴趣间隔内的距离,对边界框内相应的三维特征计数;
步骤63)使用局部平均运算符平滑柱状图,检测柱状图的峰值,该值为到前一辆车的距离,测量距离的绝对精度△Z由下式给出:
Figure BDA0002177335050000102
其中:△δ是视差的绝对精度。
实施例1
在本发明具体实施例1中,图1是利用立体视觉检测车辆距离的方法流程,第一阶段,输入图像视频流后,提取障碍物的三维边缘。为图1传感器配置的设计构建三维稀疏图的算法,将三维边缘形状构建为三维稀疏图。然后,应用匹配算法,根据左右边缘点的位置提供三维信息,使用动态规划方法,将右图像的边缘点与左图像的边缘点匹配,接着对错误匹配进行检测和纠正,完成由三维稀疏图到三维边缘形状的构建。最后,结合阈值视差值法和倾角设定阈值法,选择三维形状,使三维图形被识别为障碍物或非障碍物的边缘,针对障碍物提取障碍物类的三维形状。
第二阶段,根据道路位置和透视限制确定感兴趣的区域,搜索该区域可能的垂直对称性,对组合对称图中对应最大值的对称轴和对称宽度进行分析,以检测边界框的存在。检测到对称区域的宽度和位置后,将开始新的搜索,检测矩形边界框的两个底角是否满足车辆检测标准,确认前车后,搜索前车的顶部水平极限,并对前车进行定位;接下来进行跟踪阶段,在最大化前一帧边界框中的图像与新帧之间的相关性的基础上,检查边界框内的三维特征,计算到前车的距离。
训练的数据集完成,车辆距离计算完成。
以上所述仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种利用立体视觉检测车辆距离的方法,其特征在于,包括以下步骤:
步骤1)输入车载视频图像,利用三维稀疏图的算法提取图像中的障碍,得到构造具体区域的三维稀疏图;
步骤2)应用匹配算法,利用三维稀疏图构建三维边缘形状,匹配算法是根据图像左右边缘点的位置提供的三维信息,使用动态规划方法,将右图像的边缘点与左图像的边缘点匹配,接着对错误匹配进行检测和纠正;
步骤3)结合阈值视差值法和倾角设定阈值法,选择三维形状,使三维图形被识别为障碍物或非障碍物,针对障碍物的边缘提取障碍物类的三维形状;
步骤4)前车检测,先进行对称检测,根据道路位置和透视限制确定感兴趣区域,搜索感兴趣区域的垂直对称性;
步骤5)检测到对称区域的宽度和位置后,将开始新的搜索,检测矩形边界框的两个底角是否满足车辆检测标准,确认前车后,搜索前车的顶部水平极限,并对前车进行定位;
步骤6)接下来进行跟踪阶段,在最大化前一帧边界框中的图像与新帧之间的相关性的基础上,检查边界框内的三维特征,计算到前车的距离;
所述步骤3)具体如下:
步骤31)(xr,yr)是三维点P在右图像中的投影坐标,P的yr和δ被转换到一个灰度水平图上,一个累加器H(yr,δ)用在给定的图像行上,利用相同的视差来累加在给定的图像行上的这些点,计算立体视觉系统的高度H,和道路平面相对于立体视觉系统标定的倾角α;
步骤32)阈值视差值法选择三维形状:利用同形转换原理和立体视觉系统的具体配置,将右图像的每一行与视差值关联起来,道路的差异表示为:
Figure FDA0003933055260000011
道路的差异根据道路平面相对于立体视觉系统标定的倾角α、立体视觉系统的高度H和立体视觉系统的标定参量值yhorizon进行计算,其中:yhorizon=((h/2)-(f/py)×tanα),py是CCD像素的高度,h是图像高度的像素点数;
步骤33)倾角设定阈值法来选择三维片段:构建的三维形状通过一个或多个三维直线分割来估计,通过迭代分割方法,三维图形被分解为三维片段,为了选择属于障碍的三维片段,计算和道路平面有关的三维分割的倾角β,并对β设定阈值,
在第一步中,计算包含三维片段的直线矢量
Figure FDA0003933055260000021
Figure FDA0003933055260000022
其中:Vx,Vy,Vz分别为直线矢量
Figure FDA0003933055260000023
的x,y,z方向的量值,ml、mr分别是分割三维形状的一条三维直线,在左、右图像投影的斜率;bl和br分别是分割三维形状的一条三维直线,在左、右图像投影的y轴上的截距,w是图像宽度的像素点数,
mr、ml、br和bl是用最小二乘法计算的,并且分别是:
fr:xr→mr×y+br fl:xl→ml×y+bl
其中:fr和fl分别是左图像、右图像中三维片段投影的方程式;
在第二步中,使用几何特性计算三维路段相对于道路平面的倾斜角;
情形1:若VX≠0和VZ≠0,则三维分割的倾角β和立体视觉系统标定的倾角α的关系:
Figure FDA0003933055260000024
情形2:若Vz=0和Vx=0,则三维分割的倾角β和立体视觉系统标定的倾角α的关系:
Figure FDA0003933055260000025
其中:π为圆周率;
最后,若计算得出的倾角大于预定阈值,则提取该三维片段;
步骤34)O1是阈值视差值法选择的一组三维形状,O2为倾角设定阈值法选择的一组三维片段,O是用一组三维图形来表示的障碍物边缘;O3是三维形状的一部分,且O3=O1∩O2,O3包含的三维片段,通过阈值视差值法和倾角设定阈值法,将O3识别为对象;对于每个三维形状S,若
Figure FDA0003933055260000031
那么S属于O,O包含被视为障碍物边缘的三维形状;
步骤35)O用仅与O1或O2有关的三维图形完成,若三维形状O1∪O2是:场景中障碍物的实际三维边缘,或与道路具有相同的高度的三维形状O,或比三维形状O更接近立体视觉系统,则在图像中,三维形状O1∪O2的高度与三维形状O的高度相同;相反,O1∪O2的三维形状为:道路的实际三维边缘场景,或比三维形状O更接近立体视觉传感器,则三维形状O1∪O2是三维形状O在图像中的投影。
2.根据权利要求1所述的一种利用立体视觉检测车辆距离的方法,其特征在于,所述步骤1)具体如下:
步骤11)输入视频左图像、右图像的边缘点,被倾斜度的自适应一维算子分割,自适应一维算子,指在图像行中,具有自适应性的、用于边缘检测算子,倾斜度定义为在一组由两个端点限制的连续像素中,局部灰度极值的一个最大值和一个最小值;
步骤12)使用动态规划方法将右图像的边缘点与左图像的边缘点匹配,得到边缘点的三维信息,记该三维点为P,则三维点的坐标为:
Figure FDA0003933055260000032
其中:e是左、右图像两个光学中心之间的距离,px是CCD像素的宽度,f是左、右图像两个透镜的焦距,δ是三维点P的左、右投影横坐标差距,即δ=xl-xr,(xl,yl)和(xr,yr)分别是三维点P在左图像和右图像中的投影坐标。
3.根据权利要求1所述的一种利用立体视觉检测车辆距离的方法,其特征在于,所述步骤2)具体如下:
步骤21)使用连接、深度和唯一性标准在正确图像中构建投影,开始三维形状的构建;
步骤22)删除边缘点与孤立的三维点关联三维形状,消除错误的边缘点关联;
步骤23)将校正步骤应用于未匹配或错误匹配的每个右边缘点:对于每个未匹配或错误匹配的右边缘点,查找未匹配或错误匹配的左边缘点,并验证差异连续性的标准,视差测量中的误差是由随机分量和错误的匹配分量来建模的。
4.根据权利要求1所述的一种利用立体视觉检测车辆距离的方法,其特征在于,所述步骤4)具体如下:
步骤41)对于感兴趣区域内的每个可能的对称轴,依次检查轴周围对称区域的不同宽度,得到新的对称图;
步骤42)匹配所有与轴对称,且与视觉系统距离相似的三维点对。
5.根据权利要求1所述的一种利用立体视觉检测车辆距离的方法,其特征在于,所述步骤5)具体如下:
步骤51)使用传统的模式匹配技术,来检查代表车辆周围边界框,和边界框底部的两个角的存在;
步骤52)检测边界框的顶部,在由透视限制和大小约束确定的区域中查找边界框;
步骤53)不存在正确的边界框时,回溯,再次扫描对称映射,以获得下一个局部最大值,并对边界框执行新的搜索。
6.根据权利要求1所述的一种利用立体视觉检测车辆距离的方法,其特征在于,所述步骤6)具体如下:
步骤61)检测到前面的车辆后,使用单目跟踪程序来加快计算速度,考虑由于相对距离的增加或减少而引起的被检测车辆尺寸的变化,计算了一些模板,扩大和减少包含车辆的图像部分,即边界框;每个模板与新框架匹配,并使用以下公式计算相关性:
Figure FDA0003933055260000041
其中:xq、yq是模板内的像素相对坐标;XA,YA表示模板尺寸;函数R和L返回像素强度;Δx和Δy通过在新模板上移动模板来改变;识别区域的最小值CT将识别到寻找车辆的新框架中;
步骤62)通过检查边界框内的三维特征,计算到前车的距离,建立三维特征距离的柱状图,对于距视觉系统的每个在0-100m的兴趣间隔内的距离,对边界框内相应的三维特征计数;
步骤63)使用局部平均运算符平滑柱状图,检测柱状图的峰值,该值为到前一辆车的距离,测量距离的绝对精度ΔZ由下式给出:
Figure FDA0003933055260000051
其中:Δδ是视差的绝对精度。
CN201910783662.3A 2019-08-23 2019-08-23 一种利用立体视觉检测车辆距离的方法 Active CN110488320B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910783662.3A CN110488320B (zh) 2019-08-23 2019-08-23 一种利用立体视觉检测车辆距离的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910783662.3A CN110488320B (zh) 2019-08-23 2019-08-23 一种利用立体视觉检测车辆距离的方法

Publications (2)

Publication Number Publication Date
CN110488320A CN110488320A (zh) 2019-11-22
CN110488320B true CN110488320B (zh) 2023-02-03

Family

ID=68553255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910783662.3A Active CN110488320B (zh) 2019-08-23 2019-08-23 一种利用立体视觉检测车辆距离的方法

Country Status (1)

Country Link
CN (1) CN110488320B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913223A (zh) * 2021-02-09 2022-08-16 北京盈迪曼德科技有限公司 一种视觉扫地机正方向识别方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10255797A1 (de) * 2002-11-28 2004-06-17 Daimlerchrysler Ag Verfahren zur Erfassung der vorausliegenden Umgebung eines Strassenfahrzeugs mittels eines Umgebungserfassungssystems
CN101975951A (zh) * 2010-06-09 2011-02-16 北京理工大学 一种融合距离和图像信息的野外环境障碍检测方法
CN103477186A (zh) * 2011-04-07 2013-12-25 松下电器产业株式会社 立体摄像装置
CN104318561A (zh) * 2014-10-22 2015-01-28 上海理工大学 基于双目立体视觉与光流融合的车辆运动信息检测方法
CN106168808A (zh) * 2016-08-25 2016-11-30 南京邮电大学 一种基于深度学习的旋翼无人机自动巡航方法及其系统
CN107167811A (zh) * 2017-04-26 2017-09-15 西安交通大学 基于单目视觉与激光雷达融合的道路可行驶区域检测方法
CN108021899A (zh) * 2017-12-15 2018-05-11 郑州日产汽车有限公司 基于双目相机的车载智能前车防撞预警方法
CN108090930A (zh) * 2016-11-22 2018-05-29 广州映博智能科技有限公司 基于双目立体相机的障碍物视觉检测系统及方法
CN109583457A (zh) * 2018-12-03 2019-04-05 荆门博谦信息科技有限公司 一种机器人定位与地图构建的方法及机器人
CN109816692A (zh) * 2019-01-11 2019-05-28 南京理工大学 一种基于Camshift算法的运动目标跟踪方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10255797A1 (de) * 2002-11-28 2004-06-17 Daimlerchrysler Ag Verfahren zur Erfassung der vorausliegenden Umgebung eines Strassenfahrzeugs mittels eines Umgebungserfassungssystems
CN101975951A (zh) * 2010-06-09 2011-02-16 北京理工大学 一种融合距离和图像信息的野外环境障碍检测方法
CN103477186A (zh) * 2011-04-07 2013-12-25 松下电器产业株式会社 立体摄像装置
CN104318561A (zh) * 2014-10-22 2015-01-28 上海理工大学 基于双目立体视觉与光流融合的车辆运动信息检测方法
CN106168808A (zh) * 2016-08-25 2016-11-30 南京邮电大学 一种基于深度学习的旋翼无人机自动巡航方法及其系统
CN108090930A (zh) * 2016-11-22 2018-05-29 广州映博智能科技有限公司 基于双目立体相机的障碍物视觉检测系统及方法
CN107167811A (zh) * 2017-04-26 2017-09-15 西安交通大学 基于单目视觉与激光雷达融合的道路可行驶区域检测方法
CN108021899A (zh) * 2017-12-15 2018-05-11 郑州日产汽车有限公司 基于双目相机的车载智能前车防撞预警方法
CN109583457A (zh) * 2018-12-03 2019-04-05 荆门博谦信息科技有限公司 一种机器人定位与地图构建的方法及机器人
CN109816692A (zh) * 2019-01-11 2019-05-28 南京理工大学 一种基于Camshift算法的运动目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于三种分辨率的立体视觉障碍物检测算法;张家轩等;《计算机安全》;20101015(第10期);全文 *
基于像素群体特征的直线识别算法研究;宋晓宇等;《沈阳建筑大学学报(自然科学版)》;20070225(第01期);全文 *

Also Published As

Publication number Publication date
CN110488320A (zh) 2019-11-22

Similar Documents

Publication Publication Date Title
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN106951879B (zh) 基于摄像头与毫米波雷达的多特征融合车辆检测方法
CN111882612B (zh) 一种基于三维激光检测车道线的车辆多尺度定位方法
CN107463918B (zh) 基于激光点云与影像数据融合的车道线提取方法
US8867790B2 (en) Object detection device, object detection method, and program
JP3367170B2 (ja) 障害物検出装置
Broggi et al. Self-calibration of a stereo vision system for automotive applications
JP4363295B2 (ja) ステレオ画像による平面推定方法
Kubota et al. A global optimization algorithm for real-time on-board stereo obstacle detection systems
CN110197173B (zh) 一种基于双目视觉的路沿检测方法
CN112464812B (zh) 一种基于车辆的凹陷类障碍物检测方法
CN106156752B (zh) 一种基于逆投影三视图的车型识别方法
CN110414385B (zh) 一种基于单应性变换和特征窗口的车道线检测方法及系统
CN112991369A (zh) 基于双目视觉的行驶车辆外廓尺寸检测方法
JP5188429B2 (ja) 環境認識装置
JP4344860B2 (ja) ステレオ画像を用いた道路平面領域並びに障害物検出方法
Yenıaydin et al. Sensor fusion of a camera and 2d lidar for lane detection
Chang et al. Real-time vision-based preceding vehicle tracking and recognition
CN110488320B (zh) 一种利用立体视觉检测车辆距离的方法
Hernández et al. Lane marking detection using image features and line fitting model
CN112733678A (zh) 测距方法、装置、计算机设备和存储介质
WO2023131203A1 (zh) 语义地图更新方法、路径规划方法以及相关装置
CN115327572A (zh) 一种车辆前方障碍物检测方法
Sato et al. Efficient hundreds-baseline stereo by counting interest points for moving omni-directional multi-camera system
CN115063771A (zh) 对障碍物的距离检测的纠错方法、系统、存储介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant