CN110488320B - 一种利用立体视觉检测车辆距离的方法 - Google Patents
一种利用立体视觉检测车辆距离的方法 Download PDFInfo
- Publication number
- CN110488320B CN110488320B CN201910783662.3A CN201910783662A CN110488320B CN 110488320 B CN110488320 B CN 110488320B CN 201910783662 A CN201910783662 A CN 201910783662A CN 110488320 B CN110488320 B CN 110488320B
- Authority
- CN
- China
- Prior art keywords
- dimensional
- image
- vehicle
- distance
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
Abstract
本发明公开了一种利用立体视觉检测车辆距离的方法,利用立体图像方法识别可能属于障碍的三维特征,通过三维特征检测滤除可能不属于障碍的特征;当确定障碍是车辆,使用基于对称的算法识别所有可能属于前一辆车的三维特征的元素,具体检测那辆车;当检测到前车后,通过最大化在前一帧的边界框中的图像部分与新帧之间的相关性来跟踪前车;检查边界框内的三维特征,计算到前车的距离。本发明方法在检测车辆距离时,具有较强的鲁棒性和可靠性。
Description
技术领域
本发明属于计算机视觉、传感器技术、视频图像处理等交叉技术领域,特别涉及一种利用立体视觉检测车辆距离的方法。
背景技术
立体视觉匹配(Stereo Matching)是计算机视觉中的一个重要而又非常困难的问题,它的目标是从不同视点图像中找到匹配的对应点。对于立体视觉匹配的研究,能够大大的增强计算机或机器人对环境的感知能力,使得机器人能够更好的适应环境、更加智能,从而能够更好地为人们服务。
在无人驾驶技术中,目前常用的感知方式有,广义“视觉”的超声波雷达、毫米波雷达、激光雷达(LiDAR)和摄像头等。超声波雷达由于反应速度和分辨率的问题主要用于倒车雷达,毫米波雷达和激光雷达承担了主要的中长距测距和环境感知,而摄像头主要用于交通信号灯和其他物体的识别。
在检测车辆距离方面,本发明提出一种利用立体视觉检测车辆距离的方法,旨在提高车辆距离检测准确性。
发明内容
为了解决现有技术中的问题,本发明提供一种利用立体视觉检测车辆距离的方法,该方法构造的车辆检测方法和普通方法相比,该方法能充分考虑前车形状,识别道路,障碍以及前车位置。
为实现上述目的,本发明采用的技术方案为:
一种利用立体视觉检测车辆距离的方法,包括以下步骤:
步骤1)输入车载视频图像,利用三维稀疏图的算法提取图像中的障碍,得到构造具体区域的三维稀疏图;
步骤2)应用匹配算法,利用三维稀疏图构建三维边缘形状,匹配算法是根据图像左右边缘点的位置提供的三维信息,使用动态规划方法,将右图像的边缘点与左图像的边缘点匹配,接着对错误匹配进行检测和纠正;
步骤3)结合阈值视差值法和倾角设定阈值法,选择三维形状,使三维图形被识别为障碍物或非障碍物,针对障碍物的边缘提取障碍物类的三维形状;
步骤4)前车检测,先进行对称检测,根据道路位置和透视限制确定感兴趣区域,搜索感兴趣区域的垂直对称性;
步骤5)检测到对称区域的宽度和位置后,将开始新的搜索,检测矩形边界框的两个底角是否满足车辆检测标准,确认前车后,搜索前车的顶部水平极限,并对前车进行定位;
步骤6)接下来进行跟踪阶段,在最大化前一帧边界框中的图像与新帧之间的相关性的基础上,检查边界框内的三维特征,计算到前车的距离。
进一步的,所述步骤1)具体如下:
步骤11)输入视频左图像、右图像的边缘点,被倾斜度的自适应一维算子分割,自适应一维算子,指在图像行中,具有自适应性的、用于边缘检测算子,倾斜度定义为在一组由两个端点限制的连续像素中,局部灰度极值的一个最大值和一个最小值;
步骤12)使用动态规划方法将右图像的边缘点与左图像的边缘点匹配,得到边缘点的三维信息,记该三维点为P,则三维点的坐标为:
其中:e是左、右图像两个光学中心之间的距离,px是CCD像素的宽度,f是左、右图像两个透镜的焦距,δ是三维点P的左、右投影横坐标差距,即δ=xl-xr,(xl,yl)和(xr,yr)分别是三维点P在左图像和右图像中的投影坐标。
进一步的,所述步骤2)具体如下:
步骤21)使用连接、深度和唯一性标准在正确图像中构建投影,开始三维形状的构建;
步骤22)删除边缘点与孤立的三维点关联三维形状,消除错误的边缘点关联;
步骤23)将校正步骤应用于未匹配或错误匹配的每个右边缘点:对于每个未匹配或错误匹配的右边缘点,查找未匹配或错误匹配的左边缘点,并验证差异连续性的标准,视差测量中的误差是由随机分量和错误的匹配分量来建模的。
进一步的,所述步骤3)具体如下:
步骤31)(xr,yr)是三维点P在右图像中的投影坐标,P的yr和δ被转换到一个灰度水平图上,一个累加器H(yr,δ)用在给定的图像行上,利用相同的视差来累加在给定的图像行上的这些点,计算立体视觉系统的高度H,和道路平面相对于立体视觉系统标定的倾角α;
步骤32)阈值视差值法选择三维形状:利用同形转换原理和立体视觉系统的具体配置,将右图像的每一行与视差值关联起来,道路的差异表示为:
道路的差异根据道路平面相对于立体视觉系统标定的倾角α、立体视觉系统的高度H和立体视觉系统的标定参量值yhorizon进行计算,其中:yhorizon=((h/2)-(f/py)×tanα),py是CCD像素的高度,h是图像高度的像素点数;
步骤33)倾角设定阈值法来选择三维片段:构建的三维形状通过一个或多个三维直线分割来估计,通过迭代分割方法,三维图形被分解为三维片段,为了选择属于障碍的三维片段,计算和道路平面有关的三维分割的倾角β,并对β设定阈值,
其中:Vx,Vy,Vz分别为直线矢量的x,y,z方向的量值,ml、mr分别是分割三维形状的一条三维直线,在左、右图像投影的斜率;bl和br分别是分割三维形状的一条三维直线,在左、右图像投影的y轴上的截距,w是图像宽度的像素点数,w×h是照相机的分辨率(以像素为单位)
mr、ml、br和bl是用最小二乘法计算的,并且分别是:
fr:xr→mr×y+br fl:xl→ml×y+bl
其中:fr和fl分别是左图像、右图像中三维片段投影的方程式;
在第二步中,使用几何特性计算三维路段相对于道路平面的倾斜角;
情形1:若VX≠0和VZ≠0,则三维分割的倾角β和立体视觉系统标定的倾角α的关系:
情形2:若Vz=0和Vx=0,则三维分割的倾角β和立体视觉系统标定的倾角α的关系:
其中:π为圆周率;
最后,若计算得出的倾角大于预定阈值,则提取该三维片段;
步骤34)O1是阈值视差值法选择的一组三维形状,O2为倾角设定阈值法选择的一组三维片段,O是用一组三维图形来表示的障碍物边缘;O3是三维形状的一部分,且O3=O1∩O2,O3包含的三维片段,通过阈值视差值法和倾角设定阈值法,将O3识别为对象;对于每个三维形状S,若
那么S属于O,O包含被视为障碍物边缘的三维形状;
步骤35)O用仅与O1或O2有关的三维图形完成,若三维形状O1∪O2是:场景中障碍物的实际三维边缘,或与道路具有相同的高度的三维形状O,或比三维形状O更接近立体视觉系统,则在图像中,三维形状O1∪O2的高度与三维形状O的高度相同;相反,O1∪O2的三维形状为:道路的实际三维边缘场景,或比三维形状O更接近立体视觉传感器,则三维形状O1∪O2是三维形状O在图像中的投影。
进一步的,所述步骤4)具体如下:
步骤41)对于感兴趣区域内的每个可能的对称轴,依次检查轴周围对称区域的不同宽度,得到新的对称图;
步骤42)匹配所有与轴对称,且与视觉系统距离相似的三维点对。
进一步的,所述步骤5)具体如下:
步骤51)使用传统的模式匹配技术,来检查代表车辆周围边界框,和边界框底部的两个角的存在;
步骤52)检测边界框的顶部,在由透视限制和大小约束确定的区域中查找边界框;
步骤53)不存在正确的边界框时,回溯,再次扫描对称映射,以获得下一个局部最大值,并对边界框执行新的搜索。
进一步的,所述步骤6)具体如下:
步骤61)检测到前面的车辆后,使用单目跟踪程序来加快计算速度,考虑由于相对距离的增加或减少而引起的被检测车辆尺寸的变化,计算了一些模板,扩大和减少包含车辆的图像部分,即边界框;每个模板与新框架匹配,并使用以下公式计算相关性:
其中:xq、yq是模板内的像素相对坐标;XA,YA表示模板尺寸;函数R和L返回像素强度;△x和△y通过在新模板上移动模板来改变;识别区域的最小值CT将识别到寻找车辆的新框架中;
步骤62)通过检查边界框内的三维特征,计算到前车的距离,建立三维特征距离的柱状图,对于距视觉系统的每个在0-100m的兴趣间隔内的距离,对边界框内相应的三维特征计数;
步骤63)使用局部平均运算符平滑柱状图,检测柱状图的峰值,该值为到前一辆车的距离,测量距离的绝对精度△Z由下式给出:
其中:△δ是视差的绝对精度。
与现有技术相比,本发明具有以下有益效果:
1、本发明旨在利用车辆特征提取优势使检测得到优化,并且该方法能够有效地识别道路,障碍以及前车位置;
2、在本发明中,汽车检测功能基于单眼模式分析和障碍的三维特征提取,它被用来增强单眼模式分析的鲁棒性、可靠性。单眼模式,指车载摄像头仅有一个图像接收眼;
3、在本发明中,用于三维特征选择的立体方法具有有效性,在后续检测阶段对特定车辆特征的利用,使得搜索和跟踪更加稳健;
4、本发明提出的车辆检测方法,可以使车辆检测系统可以面对不同的复杂情况。
附图说明
图1是基于立体视觉的车辆距离检测方法流程图。
具体实施方式
下面结合实施例对本发明作更进一步的说明。
一种利用立体视觉检测车辆距离的方法,包括以下步骤:
步骤1)输入车载视频图像,利用三维稀疏图的算法提取图像中的障碍,得到构造具体区域的三维稀疏图;
所述步骤1)具体如下:
步骤11)输入视频左图像、右图像的边缘点,被倾斜度的自适应一维算子分割,自适应一维算子,指在图像行中,具有自适应性的、用于边缘检测算子,倾斜度定义为在一组由两个端点限制的连续像素中,局部灰度极值的一个最大值和一个最小值;
步骤12)使用动态规划方法将右图像的边缘点与左图像的边缘点匹配,得到边缘点的三维信息,记该三维点为P,则三维点的坐标为:
其中:e是左、右图像两个光学中心之间的距离,px是CCD像素的宽度,f是左、右图像两个透镜的焦距,δ是三维点P的左、右投影横坐标差距,即δ=xl-xr,(xl,yl)和(xr,yr)分别是三维点P在左图像和右图像中的投影坐标。
步骤2)应用匹配算法,利用三维稀疏图构建三维边缘形状,匹配算法是根据图像左右边缘点的位置提供的三维信息,使用动态规划方法,将右图像的边缘点与左图像的边缘点匹配,接着对错误匹配进行检测和纠正;
所述步骤2)具体如下:
步骤21)使用连接、深度和唯一性标准在正确图像中构建投影,开始三维形状的构建;
步骤22)删除边缘点与孤立的三维点关联三维形状,消除错误的边缘点关联;
步骤23)将校正步骤应用于未匹配或错误匹配的每个右边缘点:对于每个未匹配或错误匹配的右边缘点,查找未匹配或错误匹配的左边缘点,并验证差异连续性的标准,视差测量中的误差是由随机分量和错误的匹配分量来建模的。
步骤3)结合阈值视差值法和倾角设定阈值法,选择三维形状,使三维图形被识别为障碍物或非障碍物,针对障碍物的边缘提取障碍物类的三维形状;
所述步骤3)具体如下:
步骤31)(xr,yr)是三维点P在右图像中的投影坐标,P的yr和δ被转换到一个灰度水平图上,一个累加器H(yr,δ)用在给定的图像行上,利用相同的视差来累加在给定的图像行上的这些点,计算立体视觉系统的高度H,和道路平面相对于立体视觉系统标定的倾角α;
步骤32)阈值视差值法选择三维形状:利用同形转换原理和立体视觉系统的具体配置,将右图像的每一行与视差值关联起来,道路的差异表示为:
道路的差异根据道路平面相对于立体视觉系统标定的倾角α、立体视觉系统的高度H和立体视觉系统的标定参量值yhorizon进行计算,其中:yhorizon=((h/2)-(f/py)×tanα),py是CCD像素的高度,h是图像高度的像素点数;
步骤33)倾角设定阈值法来选择三维片段:构建的三维形状通过一个或多个三维直线分割来估计,通过迭代分割方法,三维图形被分解为三维片段,为了选择属于障碍的三维片段,计算和道路平面有关的三维分割的倾角β,并对β设定阈值,
其中:Vx,Vy,Vz分别为直线矢量的x,y,z方向的量值,ml、mr分别是分割三维形状的一条三维直线,在左、右图像投影的斜率;bl和br分别是分割三维形状的一条三维直线,在左、右图像投影的y轴上的截距,w是图像宽度的像素点数,
mr、ml、br和bl是用最小二乘法计算的,并且分别是:
fr:xr→mr×y+br fl:xl→ml×y+bl
其中:fr和fl分别是左图像、右图像中三维片段投影的方程式;
在第二步中,使用几何特性计算三维路段相对于道路平面的倾斜角;
情形1:若VX≠0和VZ≠0,则三维分割的倾角β和立体视觉系统标定的倾角α的关系:
情形2:若Vz=0和Vx=0,则三维分割的倾角β和立体视觉系统标定的倾角α的关系:
其中:π为圆周率;
最后,若计算得出的倾角大于预定阈值,则提取该三维片段;
步骤34)O1是阈值视差值法选择的一组三维形状,O2为倾角设定阈值法选择的一组三维片段,O是用一组三维图形来表示的障碍物边缘;O3是三维形状的一部分,且O3=O1∩O2,O3包含的三维片段,通过阈值视差值法和倾角设定阈值法,将O3识别为对象;对于每个三维形状S,若
那么S属于O,O包含被视为障碍物边缘的三维形状;
步骤35)O用仅与O1或O2有关的三维图形完成,若三维形状O1∪O2是:场景中障碍物的实际三维边缘,或与道路具有相同的高度的三维形状O,或比三维形状O更接近立体视觉系统,则在图像中,三维形状O1∪O2的高度与三维形状O的高度相同;相反,O1∪O2的三维形状为:道路的实际三维边缘场景,或比三维形状O更接近立体视觉传感器,则三维形状O1∪O2是三维形状O在图像中的投影。
步骤4)前车检测,先进行对称检测,根据道路位置和透视限制确定感兴趣区域,搜索感兴趣区域的垂直对称性;
所述步骤4)具体如下:
步骤41)对于感兴趣区域内的每个可能的对称轴,依次检查轴周围对称区域的不同宽度,得到新的对称图;
步骤42)匹配所有与轴对称,且与视觉系统距离相似的三维点对。
步骤5)检测到对称区域的宽度和位置后,将开始新的搜索,检测矩形边界框的两个底角是否满足车辆检测标准,确认前车后,搜索前车的顶部水平极限,并对前车进行定位;
所述步骤5)具体如下:
步骤51)使用传统的模式匹配技术,来检查代表车辆周围边界框,和边界框底部的两个角的存在;
步骤52)检测边界框的顶部,在由透视限制和大小约束确定的区域中查找边界框;
步骤53)不存在正确的边界框时,回溯,再次扫描对称映射,以获得下一个局部最大值,并对边界框执行新的搜索。
步骤6)接下来进行跟踪阶段,在最大化前一帧边界框中的图像与新帧之间的相关性的基础上,检查边界框内的三维特征,计算到前车的距离。
所述步骤6)具体如下:
步骤61)检测到前面的车辆后,使用单目跟踪程序来加快计算速度,考虑由于相对距离的增加或减少而引起的被检测车辆尺寸的变化,计算了一些模板,扩大和减少包含车辆的图像部分,即边界框;每个模板与新框架匹配,并使用以下公式计算相关性:
其中:xq、yq是模板内的像素相对坐标;XA,YA表示模板尺寸;函数R和L返回像素强度;△x和△y通过在新模板上移动模板来改变;识别区域的最小值CT将识别到寻找车辆的新框架中;
步骤62)通过检查边界框内的三维特征,计算到前车的距离,建立三维特征距离的柱状图,对于距视觉系统的每个在0-100m的兴趣间隔内的距离,对边界框内相应的三维特征计数;
步骤63)使用局部平均运算符平滑柱状图,检测柱状图的峰值,该值为到前一辆车的距离,测量距离的绝对精度△Z由下式给出:
其中:△δ是视差的绝对精度。
实施例1
在本发明具体实施例1中,图1是利用立体视觉检测车辆距离的方法流程,第一阶段,输入图像视频流后,提取障碍物的三维边缘。为图1传感器配置的设计构建三维稀疏图的算法,将三维边缘形状构建为三维稀疏图。然后,应用匹配算法,根据左右边缘点的位置提供三维信息,使用动态规划方法,将右图像的边缘点与左图像的边缘点匹配,接着对错误匹配进行检测和纠正,完成由三维稀疏图到三维边缘形状的构建。最后,结合阈值视差值法和倾角设定阈值法,选择三维形状,使三维图形被识别为障碍物或非障碍物的边缘,针对障碍物提取障碍物类的三维形状。
第二阶段,根据道路位置和透视限制确定感兴趣的区域,搜索该区域可能的垂直对称性,对组合对称图中对应最大值的对称轴和对称宽度进行分析,以检测边界框的存在。检测到对称区域的宽度和位置后,将开始新的搜索,检测矩形边界框的两个底角是否满足车辆检测标准,确认前车后,搜索前车的顶部水平极限,并对前车进行定位;接下来进行跟踪阶段,在最大化前一帧边界框中的图像与新帧之间的相关性的基础上,检查边界框内的三维特征,计算到前车的距离。
训练的数据集完成,车辆距离计算完成。
以上所述仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (6)
1.一种利用立体视觉检测车辆距离的方法,其特征在于,包括以下步骤:
步骤1)输入车载视频图像,利用三维稀疏图的算法提取图像中的障碍,得到构造具体区域的三维稀疏图;
步骤2)应用匹配算法,利用三维稀疏图构建三维边缘形状,匹配算法是根据图像左右边缘点的位置提供的三维信息,使用动态规划方法,将右图像的边缘点与左图像的边缘点匹配,接着对错误匹配进行检测和纠正;
步骤3)结合阈值视差值法和倾角设定阈值法,选择三维形状,使三维图形被识别为障碍物或非障碍物,针对障碍物的边缘提取障碍物类的三维形状;
步骤4)前车检测,先进行对称检测,根据道路位置和透视限制确定感兴趣区域,搜索感兴趣区域的垂直对称性;
步骤5)检测到对称区域的宽度和位置后,将开始新的搜索,检测矩形边界框的两个底角是否满足车辆检测标准,确认前车后,搜索前车的顶部水平极限,并对前车进行定位;
步骤6)接下来进行跟踪阶段,在最大化前一帧边界框中的图像与新帧之间的相关性的基础上,检查边界框内的三维特征,计算到前车的距离;
所述步骤3)具体如下:
步骤31)(xr,yr)是三维点P在右图像中的投影坐标,P的yr和δ被转换到一个灰度水平图上,一个累加器H(yr,δ)用在给定的图像行上,利用相同的视差来累加在给定的图像行上的这些点,计算立体视觉系统的高度H,和道路平面相对于立体视觉系统标定的倾角α;
步骤32)阈值视差值法选择三维形状:利用同形转换原理和立体视觉系统的具体配置,将右图像的每一行与视差值关联起来,道路的差异表示为:
道路的差异根据道路平面相对于立体视觉系统标定的倾角α、立体视觉系统的高度H和立体视觉系统的标定参量值yhorizon进行计算,其中:yhorizon=((h/2)-(f/py)×tanα),py是CCD像素的高度,h是图像高度的像素点数;
步骤33)倾角设定阈值法来选择三维片段:构建的三维形状通过一个或多个三维直线分割来估计,通过迭代分割方法,三维图形被分解为三维片段,为了选择属于障碍的三维片段,计算和道路平面有关的三维分割的倾角β,并对β设定阈值,
其中:Vx,Vy,Vz分别为直线矢量的x,y,z方向的量值,ml、mr分别是分割三维形状的一条三维直线,在左、右图像投影的斜率;bl和br分别是分割三维形状的一条三维直线,在左、右图像投影的y轴上的截距,w是图像宽度的像素点数,
mr、ml、br和bl是用最小二乘法计算的,并且分别是:
fr:xr→mr×y+br fl:xl→ml×y+bl
其中:fr和fl分别是左图像、右图像中三维片段投影的方程式;
在第二步中,使用几何特性计算三维路段相对于道路平面的倾斜角;
情形1:若VX≠0和VZ≠0,则三维分割的倾角β和立体视觉系统标定的倾角α的关系:
情形2:若Vz=0和Vx=0,则三维分割的倾角β和立体视觉系统标定的倾角α的关系:
其中:π为圆周率;
最后,若计算得出的倾角大于预定阈值,则提取该三维片段;
步骤34)O1是阈值视差值法选择的一组三维形状,O2为倾角设定阈值法选择的一组三维片段,O是用一组三维图形来表示的障碍物边缘;O3是三维形状的一部分,且O3=O1∩O2,O3包含的三维片段,通过阈值视差值法和倾角设定阈值法,将O3识别为对象;对于每个三维形状S,若
那么S属于O,O包含被视为障碍物边缘的三维形状;
步骤35)O用仅与O1或O2有关的三维图形完成,若三维形状O1∪O2是:场景中障碍物的实际三维边缘,或与道路具有相同的高度的三维形状O,或比三维形状O更接近立体视觉系统,则在图像中,三维形状O1∪O2的高度与三维形状O的高度相同;相反,O1∪O2的三维形状为:道路的实际三维边缘场景,或比三维形状O更接近立体视觉传感器,则三维形状O1∪O2是三维形状O在图像中的投影。
2.根据权利要求1所述的一种利用立体视觉检测车辆距离的方法,其特征在于,所述步骤1)具体如下:
步骤11)输入视频左图像、右图像的边缘点,被倾斜度的自适应一维算子分割,自适应一维算子,指在图像行中,具有自适应性的、用于边缘检测算子,倾斜度定义为在一组由两个端点限制的连续像素中,局部灰度极值的一个最大值和一个最小值;
步骤12)使用动态规划方法将右图像的边缘点与左图像的边缘点匹配,得到边缘点的三维信息,记该三维点为P,则三维点的坐标为:
其中:e是左、右图像两个光学中心之间的距离,px是CCD像素的宽度,f是左、右图像两个透镜的焦距,δ是三维点P的左、右投影横坐标差距,即δ=xl-xr,(xl,yl)和(xr,yr)分别是三维点P在左图像和右图像中的投影坐标。
3.根据权利要求1所述的一种利用立体视觉检测车辆距离的方法,其特征在于,所述步骤2)具体如下:
步骤21)使用连接、深度和唯一性标准在正确图像中构建投影,开始三维形状的构建;
步骤22)删除边缘点与孤立的三维点关联三维形状,消除错误的边缘点关联;
步骤23)将校正步骤应用于未匹配或错误匹配的每个右边缘点:对于每个未匹配或错误匹配的右边缘点,查找未匹配或错误匹配的左边缘点,并验证差异连续性的标准,视差测量中的误差是由随机分量和错误的匹配分量来建模的。
4.根据权利要求1所述的一种利用立体视觉检测车辆距离的方法,其特征在于,所述步骤4)具体如下:
步骤41)对于感兴趣区域内的每个可能的对称轴,依次检查轴周围对称区域的不同宽度,得到新的对称图;
步骤42)匹配所有与轴对称,且与视觉系统距离相似的三维点对。
5.根据权利要求1所述的一种利用立体视觉检测车辆距离的方法,其特征在于,所述步骤5)具体如下:
步骤51)使用传统的模式匹配技术,来检查代表车辆周围边界框,和边界框底部的两个角的存在;
步骤52)检测边界框的顶部,在由透视限制和大小约束确定的区域中查找边界框;
步骤53)不存在正确的边界框时,回溯,再次扫描对称映射,以获得下一个局部最大值,并对边界框执行新的搜索。
6.根据权利要求1所述的一种利用立体视觉检测车辆距离的方法,其特征在于,所述步骤6)具体如下:
步骤61)检测到前面的车辆后,使用单目跟踪程序来加快计算速度,考虑由于相对距离的增加或减少而引起的被检测车辆尺寸的变化,计算了一些模板,扩大和减少包含车辆的图像部分,即边界框;每个模板与新框架匹配,并使用以下公式计算相关性:
其中:xq、yq是模板内的像素相对坐标;XA,YA表示模板尺寸;函数R和L返回像素强度;Δx和Δy通过在新模板上移动模板来改变;识别区域的最小值CT将识别到寻找车辆的新框架中;
步骤62)通过检查边界框内的三维特征,计算到前车的距离,建立三维特征距离的柱状图,对于距视觉系统的每个在0-100m的兴趣间隔内的距离,对边界框内相应的三维特征计数;
步骤63)使用局部平均运算符平滑柱状图,检测柱状图的峰值,该值为到前一辆车的距离,测量距离的绝对精度ΔZ由下式给出:
其中:Δδ是视差的绝对精度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910783662.3A CN110488320B (zh) | 2019-08-23 | 2019-08-23 | 一种利用立体视觉检测车辆距离的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910783662.3A CN110488320B (zh) | 2019-08-23 | 2019-08-23 | 一种利用立体视觉检测车辆距离的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110488320A CN110488320A (zh) | 2019-11-22 |
CN110488320B true CN110488320B (zh) | 2023-02-03 |
Family
ID=68553255
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910783662.3A Active CN110488320B (zh) | 2019-08-23 | 2019-08-23 | 一种利用立体视觉检测车辆距离的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110488320B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114913223A (zh) * | 2021-02-09 | 2022-08-16 | 北京盈迪曼德科技有限公司 | 一种视觉扫地机正方向识别方法及系统 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10255797A1 (de) * | 2002-11-28 | 2004-06-17 | Daimlerchrysler Ag | Verfahren zur Erfassung der vorausliegenden Umgebung eines Strassenfahrzeugs mittels eines Umgebungserfassungssystems |
CN101975951A (zh) * | 2010-06-09 | 2011-02-16 | 北京理工大学 | 一种融合距离和图像信息的野外环境障碍检测方法 |
CN103477186A (zh) * | 2011-04-07 | 2013-12-25 | 松下电器产业株式会社 | 立体摄像装置 |
CN104318561A (zh) * | 2014-10-22 | 2015-01-28 | 上海理工大学 | 基于双目立体视觉与光流融合的车辆运动信息检测方法 |
CN106168808A (zh) * | 2016-08-25 | 2016-11-30 | 南京邮电大学 | 一种基于深度学习的旋翼无人机自动巡航方法及其系统 |
CN107167811A (zh) * | 2017-04-26 | 2017-09-15 | 西安交通大学 | 基于单目视觉与激光雷达融合的道路可行驶区域检测方法 |
CN108021899A (zh) * | 2017-12-15 | 2018-05-11 | 郑州日产汽车有限公司 | 基于双目相机的车载智能前车防撞预警方法 |
CN108090930A (zh) * | 2016-11-22 | 2018-05-29 | 广州映博智能科技有限公司 | 基于双目立体相机的障碍物视觉检测系统及方法 |
CN109583457A (zh) * | 2018-12-03 | 2019-04-05 | 荆门博谦信息科技有限公司 | 一种机器人定位与地图构建的方法及机器人 |
CN109816692A (zh) * | 2019-01-11 | 2019-05-28 | 南京理工大学 | 一种基于Camshift算法的运动目标跟踪方法 |
-
2019
- 2019-08-23 CN CN201910783662.3A patent/CN110488320B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10255797A1 (de) * | 2002-11-28 | 2004-06-17 | Daimlerchrysler Ag | Verfahren zur Erfassung der vorausliegenden Umgebung eines Strassenfahrzeugs mittels eines Umgebungserfassungssystems |
CN101975951A (zh) * | 2010-06-09 | 2011-02-16 | 北京理工大学 | 一种融合距离和图像信息的野外环境障碍检测方法 |
CN103477186A (zh) * | 2011-04-07 | 2013-12-25 | 松下电器产业株式会社 | 立体摄像装置 |
CN104318561A (zh) * | 2014-10-22 | 2015-01-28 | 上海理工大学 | 基于双目立体视觉与光流融合的车辆运动信息检测方法 |
CN106168808A (zh) * | 2016-08-25 | 2016-11-30 | 南京邮电大学 | 一种基于深度学习的旋翼无人机自动巡航方法及其系统 |
CN108090930A (zh) * | 2016-11-22 | 2018-05-29 | 广州映博智能科技有限公司 | 基于双目立体相机的障碍物视觉检测系统及方法 |
CN107167811A (zh) * | 2017-04-26 | 2017-09-15 | 西安交通大学 | 基于单目视觉与激光雷达融合的道路可行驶区域检测方法 |
CN108021899A (zh) * | 2017-12-15 | 2018-05-11 | 郑州日产汽车有限公司 | 基于双目相机的车载智能前车防撞预警方法 |
CN109583457A (zh) * | 2018-12-03 | 2019-04-05 | 荆门博谦信息科技有限公司 | 一种机器人定位与地图构建的方法及机器人 |
CN109816692A (zh) * | 2019-01-11 | 2019-05-28 | 南京理工大学 | 一种基于Camshift算法的运动目标跟踪方法 |
Non-Patent Citations (2)
Title |
---|
基于三种分辨率的立体视觉障碍物检测算法;张家轩等;《计算机安全》;20101015(第10期);全文 * |
基于像素群体特征的直线识别算法研究;宋晓宇等;《沈阳建筑大学学报(自然科学版)》;20070225(第01期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110488320A (zh) | 2019-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110569704B (zh) | 一种基于立体视觉的多策略自适应车道线检测方法 | |
CN106951879B (zh) | 基于摄像头与毫米波雷达的多特征融合车辆检测方法 | |
CN111882612B (zh) | 一种基于三维激光检测车道线的车辆多尺度定位方法 | |
CN107463918B (zh) | 基于激光点云与影像数据融合的车道线提取方法 | |
US8867790B2 (en) | Object detection device, object detection method, and program | |
JP3367170B2 (ja) | 障害物検出装置 | |
Broggi et al. | Self-calibration of a stereo vision system for automotive applications | |
JP4363295B2 (ja) | ステレオ画像による平面推定方法 | |
Kubota et al. | A global optimization algorithm for real-time on-board stereo obstacle detection systems | |
CN110197173B (zh) | 一种基于双目视觉的路沿检测方法 | |
CN112464812B (zh) | 一种基于车辆的凹陷类障碍物检测方法 | |
CN106156752B (zh) | 一种基于逆投影三视图的车型识别方法 | |
CN110414385B (zh) | 一种基于单应性变换和特征窗口的车道线检测方法及系统 | |
CN112991369A (zh) | 基于双目视觉的行驶车辆外廓尺寸检测方法 | |
JP5188429B2 (ja) | 環境認識装置 | |
JP4344860B2 (ja) | ステレオ画像を用いた道路平面領域並びに障害物検出方法 | |
Yenıaydin et al. | Sensor fusion of a camera and 2d lidar for lane detection | |
Chang et al. | Real-time vision-based preceding vehicle tracking and recognition | |
CN110488320B (zh) | 一种利用立体视觉检测车辆距离的方法 | |
Hernández et al. | Lane marking detection using image features and line fitting model | |
CN112733678A (zh) | 测距方法、装置、计算机设备和存储介质 | |
WO2023131203A1 (zh) | 语义地图更新方法、路径规划方法以及相关装置 | |
CN115327572A (zh) | 一种车辆前方障碍物检测方法 | |
Sato et al. | Efficient hundreds-baseline stereo by counting interest points for moving omni-directional multi-camera system | |
CN115063771A (zh) | 对障碍物的距离检测的纠错方法、系统、存储介质及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |