CN111443704B - 用于自动驾驶系统的障碍物定位方法及装置 - Google Patents

用于自动驾驶系统的障碍物定位方法及装置 Download PDF

Info

Publication number
CN111443704B
CN111443704B CN201911317016.4A CN201911317016A CN111443704B CN 111443704 B CN111443704 B CN 111443704B CN 201911317016 A CN201911317016 A CN 201911317016A CN 111443704 B CN111443704 B CN 111443704B
Authority
CN
China
Prior art keywords
lane line
image data
lane
obtaining
obstacle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911317016.4A
Other languages
English (en)
Other versions
CN111443704A (zh
Inventor
陈安
崔迪潇
江志浩
龚伟林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Zhijia Technology Co Ltd
Original Assignee
Suzhou Zhijia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Zhijia Technology Co Ltd filed Critical Suzhou Zhijia Technology Co Ltd
Priority to CN201911317016.4A priority Critical patent/CN111443704B/zh
Priority to PCT/CN2020/098264 priority patent/WO2021120574A1/en
Publication of CN111443704A publication Critical patent/CN111443704A/zh
Application granted granted Critical
Publication of CN111443704B publication Critical patent/CN111443704B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种用于自动驾驶系统的障碍物定位方法及装置，障碍物定位方法包括：步骤S1：对双目相机采集的图像数据进行预处理；步骤S2：根据预处理后的图像数据获得每一车道线像素的视差值；步骤S3：对车道线像素的视差值进行拟合获得多个车道线，并对多个车道线进行增强；步骤S4：通过搜索获得的障碍物两侧的车道线及图像数据获得障碍物的深度信息。

Description

用于自动驾驶系统的障碍物定位方法及装置
技术领域
本发明涉及一种障碍物定位方法及装置，具体地说，尤其涉及一种用于自动驾驶系统的障碍物定位方法及装置。
背景技术
近一个多世纪来，汽车的出现取代了传统交通运输方式，使得人们的生活更为便捷。近些年来，随着科技的发展，尤其是智能计算的飞速发展，自动驾驶汽车技术研究成为各行业聚焦的热点。麦肯锡发布的“决定未来经济的12项前沿技术”报告探讨了12项前沿技术对未来经济、社会的影响程度，分析估测了2025年12项技术各自的经济与社会影响力，其中自动驾驶汽车技术排在第6位，其2025年影响力估测为：经济效益每年约0。2-1。9万亿美元，社会效益每年可挽回3-15万个生命。
通常，自动驾驶汽车的系统一般分为三个模块，一是感知模块，相当于人的眼睛，通过摄像头、毫米波雷达、激光雷达等传感器实时采集周边环境状态，二是决策模块，相当于人的大脑，根据环境状态计算出最优的驾驶决策规划，三是执行模块，相当于人的手与脚，用于执行决策命令，进行油门、刹车、转向等相应的驾驶操作。
感知模块是自动驾驶系统的一个重要模块，没有可靠的感知模块，就无法实现安全的自动驾驶系统。而在感知模块中，双目是一个重要的设备装置，双目不仅具备单目的功能，还能提供距离信息。双目设备已经逐渐成为自动驾驶系统中一个不可或缺的传感器。实时、可靠、稳定的距离信息是感知模块的一个重要保证。没有准确和平滑的距离信息，感知就无法稳定给出可靠的障碍物距离速度等信息。
双目测距是一种通过计算双目采集的左图和右图的位置差异的视觉测距算法。传统双目视测距方法首先需要计算视差图。然后根据视差图计算图片上点的3D坐标。
双目视差图计算包括代价计算，代价聚合，视差图计算，视差图提精4个步骤。传统方法受限于匹配效果，对于遮挡区域处理不好。此外，当应用于高分辨率图像时，处理延时迅速增加，无法实时生成视差图。近年来随着深度学习技术的发展，传统双目测距算法也得到了快速的发展，目前发展了很多基于深度学习的视觉算法，但是目前基于深度学习的双目测距算法并没有超出传统双目测距算法的流程，只是将其中一些步骤做了些改进，由于视差图真值难以获得，深度学习的双目测距模型缺乏训练数据，许多模型容易过拟合到特定的相机，泛化性较弱。此外现在深度学习模型网络层数高，模型复杂，实时性差，仍无法应用到实际中。
得到视差图之后，就是计算目标的深度信息。通常在计算目标的深度信息时，将目标矩形框的平均深度信息作为目标的深度信息。但是在实际中由于障碍物的矩形框通常会包含很多背景区域，这就会影响实际目标的距离测量，使得实际得到的目标距离充满噪声，所以实际中计算得到的障碍物距离信息多会出现抖动，不平滑，甚至有时无法测量处距离信息。这难以满足自动驾驶的需求。
在获得目标的深度之后，通常还需要知道目标所在的车道信息。目前对于所在车道信息的处理方式有两种。一是在分别检测障碍物位置和车道线信息后，然后结合地图的方式来判断车辆所属车道。这种方式分别估计车道线和目标距离，然后在3D空间中对齐两者的方法。由于障碍物3D位置充满噪声，所以难以直接利用3D坐标去分配车道线。二是在图像上分配障碍物所属车道，这就需要得到一个比较好的车道线检测信息。但是往往由于车道线容易受遮挡，就难以得到比较稳定的结果。此外，这类方法仍旧面临着如何准确测量障碍物的3D坐标。
因此急需开发一种克服上述缺陷的用于自动驾驶系统的障碍物定位方法及装置。
发明内容
本发明所要解决的技术问题在于提供一种用于自动驾驶系统的障碍物定位方法，其中，包括：
步骤S1：对双目相机采集的图像数据进行预处理；
步骤S2：根据预处理后的所述图像数据获得每一车道线像素的视差值；
步骤S3：对所述车道线像素的视差值进行拟合获得多个车道线，并对多个所述车道线进行增强；
步骤S4：通过搜索获得的障碍物两侧的所述车道线及所述图像数据获得所述障碍物的深度信息。
上述的障碍物定位方法，其中，于所述步骤S1中包括：对所述双目相机采集的第一图像数据或第二图像数据通过双目校准矩阵矫正，并对所述第一图像数据或所述第二图像数据中的障碍物进行识别并标记检测矩形框。
上述的障碍物定位方法，其中，于所述步骤S2中包括：
步骤S21：根据所述双目相机的安装高度和安装角度获得BEV视角的透视投影变换矩阵；
步骤S22：通过所述透视投影变换矩阵将所述第一图像数据及所述第二图像数据的视角变换为俯仰视角；
步骤S23：将变换为俯仰视角的所述第一图像数据及所述第二图像数据按照BEV视角图像的高度切分成n段，其中n为大于1的正整数；
步骤S24：计算n段内每一车道线像素点深度值；
步骤S25：根据i+1段的深度值获得视差范围，根据所述视差范围在未标记检测矩形框的所述第二图像数据或所述第一图像数据中搜索最佳匹配点，然后根据视差计算公式得到每一车道线像素的视差值，其中i取值[n-1，1]。
上述的障碍物定位方法，其中，于所述步骤S3中包括：
步骤S31：根据每一车道线像素的视差值恢复得到每一车道线像素的3D位置坐标；
步骤S32：根据每一车道线像素的3D位置坐标通过拟合获得多个车道线；
步骤S33：根据车道线增强模型延长每一车道线至指定距离；
步骤S34：确定当前所在车道的左侧车道线及右侧车道线，生成N条等距平行的3D车道线；
步骤S35：将所述3D车道线根据投影矩阵投影到标记检测矩形框的所述第一图像数据或所述第二图像数据上，并对每一3D车道线进行编号。
上述的障碍物定位方法，其中，于所述步骤S4中包括：
步骤S41：选取每一障碍物的检测矩形框的底部中点，从底部中点出发向左查找第一个车道线点，从底部中点出发向右查找第二个车道线点，根据所述第一个车道线点及所述第二个车道线点所属车道线的编号，获得障碍物所在车道；
步骤S42：根据所述第一个车道线点及所述第二个车道线点的3D坐标位置获得底部中点的3D坐标位置，并经过双目校准矩阵获得底部中点的最终的3D坐标位置。
本发明还提供一种用于自动驾驶系统的障碍物定位装置，其中，包括：
双目相机，用以提供图像数据；
预处理单元，对所述双目相机采集的图像数据进行预处理；
视差值获得单元，根据预处理后的所述图像数据获得每一车道线像素的视差值；
车道线处理单元，对所述车道线像素的视差值进行拟合获得多个车道线，并对多个所述车道线进行增强；
深度信息获得单元，通过搜索获得的障碍物两侧的所述车道线及所述图像数据获得所述障碍物的深度信息。
上述的障碍物定位装置，其中，所述预处理单元对所述双目相机采集的第一图像数据或第二图像数据通过双目校准矩阵矫正，并对所述第一图像数据或所述第二图像数据中的障碍物进行识别并标记检测矩形框。
上述的障碍物定位装置，其中，所述视差值获得单元包括：
透视投影变换矩阵获得模块，根据所述双目相机的安装高度和安装角度获得BEV视角的透视投影变换矩阵；
视角变换模块，通过所述透视投影变换矩阵将所述第一图像数据及所述第二图像数据的视角变换为俯仰视角；
图像切分模块，将变换为俯仰视角的所述第一图像数据及所述第二图像数据按照BEV视角图像的高度切分成n段，其中n为大于1的正整数；
计算模块，计算n段内每一车道线像素点深度值；
视差值输出模块，根据i+1段的深度值获得视差范围，根据所述视差范围在未标记检测矩形框的所述第二图像数据或所述第一图像数据中搜索最佳匹配点，然后根据视差计算公式得到每一车道线像素的视差值，其中i取值[n-1，1]。
上述的障碍物定位装置，其中，所述车道线处理单元包括：
3D位置坐标恢复模块，根据每一车道线像素的视差值恢复得到每一车道线像素的3D位置坐标；
拟合模块，根据每一车道线像素的3D位置坐标通过拟合获得多个车道线；
车道线延长模块，根据车道线增强模型延长每一车道线至指定距离；
车道线编号模块，确定当前所在车道的左侧车道线及右侧车道线，生成N条等距平行的3D车道线，将所述3D车道线根据投影矩阵投影到标记检测矩形框的所述第一图像数据或所述第二图像数据上，并对每一3D车道线进行编号。
上述的障碍物定位装置，其中，所述深度信息获得单元包括：
障碍物车道获得模块，选取每一障碍物的检测矩形框的底部中点，从底部中点出发向左查找第一个车道线点，从底部中点出发向右查找第二个车道线点，根据所述第一个车道线点及所述第二个车道线点所属车道线的编号，获得障碍物所在车道；
障碍物位置获得模块，根据所述第一个车道线点及所述第二个车道线点的3D坐标位置获得底部中点的3D坐标位置，并经过双目校准矩阵获得底部中点的最终的3D坐标位置。
本发明针对于现有技术其功效在于：
1、通过使用车道线信息，能帮助更准确的计算车辆的3D位置信息；
2、通过结合车道线信息，可以准确实现车辆所在车道线的分配；
3、低延时，能够实时计算。
附图说明
图1为本发明障碍物定位方法的流程图；
图2为图1中步骤S2的分步骤流程图；
图3为图1中步骤S3的分步骤流程图；
图4为图1中步骤S4的分步骤流程图；
图5为本发明障碍物定位装置的结构示意图。
其中，附图标记：
双目相机 11
预处理单元 12
视差值获得单元 13
透视投影变换矩阵获得模块 131
视角变换模块 132
图像切分模块 133
计算模块 134
视差值输出模块 135
车道线处理单元 14
3D位置坐标恢复模块 141
拟合模块 142
车道线延长模块 143
车道线编号模块 144
深度信息获得单元 15
障碍物车道获得模块 151
障碍物位置获得模块 152
具体实施方式
兹有关本发明的详细内容及技术说明，现以一较佳实施例来作进一步说明，但不应被解释为对本发明实施的限制。
请参照图1-图4，图1为本发明障碍物定位方法的流程图；图2为图1中步骤S2的分步骤流程图；图3为图1中步骤S3的分步骤流程图；图4为图1中步骤S4的分步骤流程图。如图1-图4所示，本发明的障碍物定位方法，首先计算车道线的视差值，然后对拟合车道线，并对车道线增强，最后通过搜索障碍物两侧的车道线，通过利用车辆在路面行驶这一要求，能准确的确定车辆的深度信息。具体地说，本发明的障碍物定位方法包括：
步骤S1：对双目相机采集的图像数据进行预处理，其中，于所述步骤S1中包括：对所述双目相机采集的第一图像数据或第二图像数据通过双目校准矩阵矫正，并对所述第一图像数据或所述第二图像数据中的障碍物进行识别并标记检测矩形框。
需要说明的是，在本实施例中第一图像数据及第二图像数据是指双目相机在某一时刻拍摄得到的两张图像，并仅对第一图像数据及第二图像数据中的一者中的障碍物进行识别并标记检测矩形框。
步骤S2：根据预处理后的所述图像数据获得每一车道线像素的视差值。
其中，本发明的车道线3D计算方法是一种分段平面假设方法，具体地说，于所述步骤S2中包括：
步骤S21：根据所述双目相机的安装高度和安装角度获得BEV视角的透视投影变换矩阵，其中，双目相机的安装高度为双目相机相对于地面的高度，安装角度为双目相机与水平面的夹角。
透视投影变换矩阵
Figure BDA0002326100320000071
转换公式(u’,v’,w’)＝(u,v,1)M，(u,v)是原图上的一个像素，变换后的位置为(x,y)，其中x＝u’/w’，y＝v’/w’)，x＝(a11u+a21v+a31)/(a13u+a23v+a33)y＝(a12u+a22v+a32)/(a13u+a23v+a33)在原图上选定变换区域，(u0，v0)，(u1，v0)，(u2，v1)，(u3，v1)，要确保选定区域是一个梯形框。
其中(u0，v0)转换到(0，0)位置，(u1，v0)转换到(width-1，0)位置，(u2，v1)转换到(0，height-1)，(u3，v1)转换到(width-1，height-1)，其中width、height是图像的宽度和高度，据此可求解得到投影矩阵。
步骤S22：通过所述透视投影变换矩阵将标记检测矩形框的所述第一图像数据或所述第二图像数据的视角变换为俯仰视角，其中需要说明的是，本发明仅对标记检测矩形框的第一图像数据或第二图像数据中的一者进行角度变换。
步骤S23：将变换为俯仰视角的所述第一图像数据或所述第二图像数据按照BEV视角图像的高度切分成n段，其中n为大于1的正整数。
步骤S24：计算n段内每一车道线像素点深度值。
步骤S25：根据i+1段的深度值获得视差范围，根据所述视差范围在未标记检测矩形框的所述第二图像数据或所述第一图像数据中搜索最佳匹配点，然后根据视差计算公式得到每一车道线像素的视差值，其中i取值[n-1，1]。
以第一图像数据举例来说：
1、根据双目相机安装高度和安装角度计算到BEV视角的透视投影变换矩阵，并将第一图像数据和第二图像数据通过透视投影变换矩阵变换到俯视视角；
2、将变换到俯视视角的第一图像数据和第二图像数据按照BEV视角图像高度分成n段，其中，第n段为图像底部，第1段为图像顶部；
3、计算第n段内所有车道线像素点(u,v)的深度值，其深度值z计算如下：
z((v-cy)×cos(θ)/f+sin(θ))＝h
其中，f是相机焦距，θ是相机与水平方向的夹角，h是相机安装高度，cy是图像的中心行，其中cy是从相机的内参矩阵中获得。相机的内参矩阵形式如下：
Figure BDA0002326100320000081
Fx、fy表示相机的焦距，(cx，cy)是图像的中心点。
4、对i段，i取值[n-1,1]，分别根据i+1段的深度值，计算出最大视差值和最小视差值，即视差范围，具体地说，假设已知i+1段的最小深度值为depth，则i段的最大视差值为d_max＝(fB)/depth，其中B是左右相机的光心距离，f是相机的焦距(值同fx，fy)i段的最小视差值为d_min＝0。然后在视差范围内在数据搜索最佳匹配点，然后根据视差计算公式得到视差值，具体地说，假设左图上一个像素点(u0，v0)，右图上对应的像素点为(u1，v1)，其中u0，u1表示在图像的第几列，视差值disparity＝u0-u1
需要说明的，在本实施例中根据深度值获得视差范围，但本发明并不以此为限，在其他实施例中还可根据视差值获得视差范围。
步骤S3：对所述车道线像素的视差值进行拟合获得多个车道线，并对多个所述车道线进行增强。
其中，于所述步骤S3中包括：
步骤S31：根据每一车道线像素的视差值恢复得到每一车道线像素的3D位置坐标；
步骤S32：根据每一车道线像素的3D位置坐标通过拟合获得多个车道线；
步骤S33：根据车道线增强模型延长每一车道线至指定距离；
步骤S34：确定当前所在车道的左侧车道线及右侧车道线，生成N条等距平行的3D车道线；
步骤S35：将所述3D车道线根据投影矩阵投影到标记检测矩形框的所述第一图像数据或所述第二图像数据上，并对每一3D车道线进行编号。
具体地说，根据每个车道线像素的视差值恢复得到车道的3D位置；根据每一车道线像素的3D位置坐标通过拟合获得多个车道线，具体地说，在本实施例中，根据以下多项式方程拟合获得多个车道线，假设有点集{(x，y，z)}，则要拟合一条线，其线的多项式方程可以表示为：
F(x，y，z)＝ax^2+bx+cy^2+dy+ez^2+fz+h＝0；其中，a、b、c、d、e、f、h是多项式的参数；再根据多项式方程采样得到[0，Max]范围内的3D点,其中Max是指定的车道线延长的距离；确定当前所在车道的左侧车道线及右侧车道线，生成N条等距平行的3D车道线；将N条3D车道线根据投影矩阵投影到第一图像数据上，并对每一3D车道线进行编号。
步骤S4：通过搜索获得的障碍物两侧的所述车道线及所述图像数据获得所述障碍物的深度信息。
其中，于所述步骤S4中包括：
步骤S41：选取每一障碍物的检测矩形框的底部中点，从底部中点出发向左查找第一个车道线点，从底部中点出发向右查找第二个车道线点，根据所述第一个车道线点及所述第二个车道线点所属车道线的编号，获得障碍物所在车道；
步骤S42：根据所述第一个车道线点及所述第二个车道线点的3D坐标位置获得底部中点的3D坐标位置，并经过双目校准矩阵获得底部中点的最终的3D坐标位置。
具体地说，对每一个障碍物的检测矩形框，选取矩形框的底部中点，从该点出发向左查找第一个车道线点记为P1,从该点出发向右查找第一个车道线点为P2，根据P1,P2所属车道线的编号，获得障碍物所在车道；根据P1，P2点的深度信息，平均得到该点的深度信息，并经过双目校准矩阵计算得到该点的3D坐标位置，然后作为该障碍物的3D坐标位置。本发明障碍物目标距离测量方法,选取车辆与地面的连接点，计算连接点的深度信息，得到准确的3D坐标位置。本发明
请参照图5，图5为本发明障碍物定位装置的结构示意图。如图5所示，本发明的用于自动驾驶系统的障碍物定位装置，包括：双目相机11、预处理单元12、视差值获得单元13、车道线处理单元14及深度信息获得单元15；双目相机11用以提供图像数据；预处理单元12对所述双目相机11采集的图像数据进行预处理；视差值获得单元13根据预处理后的所述图像数据获得每一车道线像素的视差值；车道线处理单元14对所述车道线像素的视差值进行拟合获得多个车道线，并对多个所述车道线进行增强；深度信息获得单元15通过搜索获得的障碍物两侧的所述车道线及所述图像数据获得所述障碍物的深度信息。
其中，所述预处理单元12对所述双目相机采集的第一图像数据或第二图像数据通过双目校准矩阵矫正，并对所述第一图像数据或所述第二图像数据中的障碍物进行识别并标记检测矩形框。
进一步地，所述视差值获得单元13包括：
透视投影变换矩阵获得模块131根据所述双目相机11的安装高度和安装角度获得BEV视角的透视投影变换矩阵；
视角变换模块132通过所述透视投影变换矩阵将标记检测矩形框的所述第一图像数据或所述第二图像数据的视角变换为俯仰视角；
图像切分模块133将变换为俯仰视角的所述第一图像数据或所述第二图像数据按照BEV视角图像的高度切分成n段，其中n为大于1的正整数；
计算模块134计算n段内每一车道线像素点深度值；
视差值输出模块135根据i+1段的深度值获得视差范围，根据所述视差范围在未标记检测矩形框的所述第二图像数据或所述第一图像数据中搜索最佳匹配点，然后根据视差计算公式得到每一车道线像素的视差值，其中i取值[n-1，1]。
再进一步地，所述车道线处理单元14包括：
3D位置坐标恢复模块141根据每一车道线像素的视差值恢复得到每一车道线像素的3D位置坐标；
拟合模块142根据每一车道线像素的3D位置坐标通过拟合获得多个车道线；
车道线延长模块143根据车道线增强模型延长每一车道线至指定距离；
车道线编号模块144确定当前所在车道的左侧车道线及右侧车道线，生成N条等距平行的3D车道线，将所述3D车道线根据投影矩阵投影到标记检测矩形框的所述第一图像数据或所述第二图像数据上，并对每一3D车道线进行编号。
更进一步地，所述深度信息获得单元15包括：
障碍物车道获得模块151选取每一障碍物的检测矩形框的底部中点，从底部中点出发向左查找第一个车道线点，从底部中点出发向右查找第二个车道线点，根据所述第一个车道线点及所述第二个车道线点所属车道线的编号，获得障碍物所在车道；
障碍物位置获得模块152根据所述第一个车道线点及所述第二个车道线点的3D坐标位置获得底部中点的3D坐标位置，并经过双目校准矩阵获得底部中点的最终的3D坐标位置。
综上所述，本发明的障碍物定位方法及装置，通过将车道线和目标检测进行融合，利用车道线信息帮助车辆定位，能实现车辆的准确定位，降低车辆测距的误差，并且其处理延时低，可以实时处理。
上述仅为本发明的较佳实施例而已，并非用来限定本发明实施的范围，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (6)

1.一种用于自动驾驶系统的障碍物定位方法，其特征在于，包括：
步骤S1：对双目相机采集的图像数据进行预处理，其中所述步骤S1中包括对所述双目相机采集的第一图像数据或第二图像数据通过双目校准矩阵矫正，并对所述第一图像数据或所述第二图像数据中的障碍物进行识别并标记检测矩形框；
步骤S2：根据预处理后的所述图像数据获得每一车道线像素的视差值；
步骤S3：对所述车道线像素的视差值进行拟合获得多个车道线，并对多个所述车道线进行增强；
步骤S4：通过搜索获得的障碍物两侧的所述车道线及所述图像数据获得所述障碍物的深度信息，其中，所述步骤S4中包括：
步骤S41：选取每一障碍物的检测矩形框的底部中点，从底部中点出发向左查找第一个车道线点，从底部中点出发向右查找第二个车道线点，根据所述第一个车道线点及所述第二个车道线点所属车道线的编号，获得障碍物所在车道；
步骤S42：根据所述第一个车道线点及所述第二个车道线点的3D坐标位置获得底部中点的3D坐标位置，并经过双目校准矩阵获得底部中点的最终的3D坐标位置。
2.如权利要求1所述的障碍物定位方法，其特征在于，于所述步骤S2中包括：
步骤S21：根据所述双目相机的安装高度和安装角度获得BEV视角的透视投影变换矩阵；
步骤S22：通过所述透视投影变换矩阵将所述第一图像数据及所述第二图像数据的视角变换为俯仰视角；
步骤S23：将变换为俯仰视角的所述第一图像数据及所述第二图像数据按照BEV视角图像的高度切分成n段，其中n为大于1的正整数；
步骤S24：计算n段内每一车道线像素点深度值；
步骤S25：根据i+1段的深度值获得视差范围，根据所述视差范围在未标记检测矩形框的所述第二图像数据或所述第一图像数据中搜索最佳匹配点，然后根据视差计算公式得到每一车道线像素的视差值，其中i取值[n-1，1]。
3.如权利要求2所述的障碍物定位方法，其特征在于，于所述步骤S3中包括：
步骤S31：根据每一车道线像素的视差值恢复得到每一车道线像素的3D位置坐标；
步骤S32：根据每一车道线像素的3D位置坐标通过拟合获得多个车道线；
步骤S33：根据车道线增强模型延长每一车道线至指定距离；
步骤S34：确定当前所在车道的左侧车道线及右侧车道线，生成N条等距平行的3D车道线；
步骤S35：将所述3D车道线根据投影矩阵投影到标记检测矩形框的所述第一图像数据或所述第二图像数据上，并对每一3D车道线进行编号。
4.一种用于自动驾驶系统的障碍物定位装置，其特征在于，包括：
双目相机，用以提供图像数据；
预处理单元，对所述双目相机采集的图像数据进行预处理，所述预处理单元对所述双目相机采集的第一图像数据或第二图像数据通过双目校准矩阵矫正，并对所述第一图像数据或所述第二图像数据中的障碍物进行识别并标记检测矩形框；
视差值获得单元，根据预处理后的所述图像数据获得每一车道线像素的视差值；
车道线处理单元，对所述车道线像素的视差值进行拟合获得多个车道线，并对多个所述车道线进行增强；
深度信息获得单元，通过搜索获得的障碍物两侧的所述车道线及所述图像数据获得所述障碍物的深度信息；所述深度信息获得单元包括：
障碍物车道获得模块，选取每一障碍物的检测矩形框的底部中点，从底部中点出发向左查找第一个车道线点，从底部中点出发向右查找第二个车道线点，根据所述第一个车道线点及所述第二个车道线点所属车道线的编号，获得障碍物所在车道；
障碍物位置获得模块，根据所述第一个车道线点及所述第二个车道线点的3D坐标位置获得底部中点的3D坐标位置，并经过双目校准矩阵获得底部中点的最终的3D坐标位置。
5.如权利要求4所述的障碍物定位装置，其特征在于，所述视差值获得单元包括：
透视投影变换矩阵获得模块，根据所述双目相机的安装高度和安装角度获得BEV视角的透视投影变换矩阵；
视角变换模块，通过所述透视投影变换矩阵将所述第一图像数据及所述第二图像数据的视角变换为俯仰视角；
图像切分模块，将变换为俯仰视角的所述第一图像数据及所述第二图像数据按照BEV视角图像的高度切分成n段，其中n为大于1的正整数；
计算模块，计算n段内每一车道线像素点深度值；
视差值输出模块，根据i+1段的深度值获得视差范围，根据所述视差范围在未标记检测矩形框的所述第二图像数据或所述第一图像数据中搜索最佳匹配点，然后根据视差计算公式得到每一车道线像素的视差值，其中i取值[n-1，1]。
6.如权利要求5所述的障碍物定位装置，其特征在于，所述车道线处理单元包括：
3D位置坐标恢复模块，根据每一车道线像素的视差值恢复得到每一车道线像素的3D位置坐标；
拟合模块，根据每一车道线像素的3D位置坐标通过拟合获得多个车道线；
车道线延长模块，根据车道线增强模型延长每一车道线至指定距离；
车道线编号模块，确定当前所在车道的左侧车道线及右侧车道线，生成N条等距平行的3D车道线，将所述3D车道线根据投影矩阵投影到标记检测矩形框的所述第一图像数据或所述第二图像数据上，并对每一3D车道线进行编号。
CN201911317016.4A 2019-12-19 2019-12-19 用于自动驾驶系统的障碍物定位方法及装置 Active CN111443704B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911317016.4A CN111443704B (zh) 2019-12-19 2019-12-19 用于自动驾驶系统的障碍物定位方法及装置
PCT/CN2020/098264 WO2021120574A1 (en) 2019-12-19 2020-06-24 Obstacle positioning method and apparatus for autonomous driving system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911317016.4A CN111443704B (zh) 2019-12-19 2019-12-19 用于自动驾驶系统的障碍物定位方法及装置

Publications (2)

Publication Number Publication Date
CN111443704A CN111443704A (zh) 2020-07-24
CN111443704B true CN111443704B (zh) 2021-07-06

Family

ID=71650638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911317016.4A Active CN111443704B (zh) 2019-12-19 2019-12-19 用于自动驾驶系统的障碍物定位方法及装置

Country Status (2)

Country Link
CN (1) CN111443704B (zh)
WO (1) WO2021120574A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537100B (zh) * 2021-07-22 2022-03-22 元橡科技(苏州)有限公司 一种车辆辅助驾驶系统、车道线时空拟合的系统和方法、fpga芯片
CN113848931B (zh) * 2021-10-09 2022-09-27 上海联适导航技术股份有限公司 农机自动驾驶障碍物识别方法、系统、设备和存储介质
CN113674275B (zh) * 2021-10-21 2022-03-18 北京中科慧眼科技有限公司 基于稠密视差图的路面不平度检测方法、系统和智能终端
CN114723640B (zh) * 2022-05-23 2022-09-27 禾多科技（北京）有限公司 障碍物信息生成方法、装置、电子设备和计算机可读介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103593671A (zh) * 2013-11-25 2014-02-19 中国航天科工集团第三研究院第八三五七研究所 基于三摄像机协同的大范围车道线视觉检测方法
CN106228110A (zh) * 2016-07-07 2016-12-14 浙江零跑科技有限公司 一种基于车载双目相机的障碍物及可行驶区域检测方法
KR101716973B1 (ko) * 2015-11-23 2017-03-15 (주)베라시스 스테레오 영상 기반 도로상의 차량 검출 장치 및 방법
CN107590438A (zh) * 2017-08-16 2018-01-16 中国地质大学（武汉） 一种智能辅助驾驶方法及系统
CN108470469A (zh) * 2018-03-12 2018-08-31 海信集团有限公司 道路障碍物预警方法、装置及终端
CN109143215A (zh) * 2018-08-28 2019-01-04 重庆邮电大学 一种基于双目视觉与v2x通信的协同预警设备与方法
CN109269478A (zh) * 2018-10-24 2019-01-25 南京大学 一种基于双目视觉的集装箱码头场桥障碍物检测方法
CN109300159A (zh) * 2018-09-07 2019-02-01 百度在线网络技术（北京）有限公司 位置检测方法、装置、设备、存储介质及车辆
CN110333714A (zh) * 2019-04-09 2019-10-15 武汉理工大学 一种无人驾驶汽车路径规划方法和装置
CN110569704A (zh) * 2019-05-11 2019-12-13 北京工业大学 一种基于立体视觉的多策略自适应车道线检测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2960858B1 (en) * 2014-06-25 2018-08-08 Honda Research Institute Europe GmbH Sensor system for determining distance information based on stereoscopic images
US11461912B2 (en) * 2016-01-05 2022-10-04 California Institute Of Technology Gaussian mixture models for temporal depth fusion
CN106240458B (zh) * 2016-07-22 2017-12-12 浙江零跑科技有限公司 一种基于车载双目相机的车辆前方碰撞预警方法
CN107392103B (zh) * 2017-06-21 2020-06-26 海信集团有限公司 路面车道线的检测方法及装置、电子设备
CN108229406B (zh) * 2018-01-11 2022-03-04 海信集团有限公司 一种车道线检测方法、装置及终端
CN109740465B (zh) * 2018-12-24 2022-09-27 南京理工大学 一种基于实例分割神经网络框架的车道线检测算法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103593671A (zh) * 2013-11-25 2014-02-19 中国航天科工集团第三研究院第八三五七研究所 基于三摄像机协同的大范围车道线视觉检测方法
KR101716973B1 (ko) * 2015-11-23 2017-03-15 (주)베라시스 스테레오 영상 기반 도로상의 차량 검출 장치 및 방법
CN106228110A (zh) * 2016-07-07 2016-12-14 浙江零跑科技有限公司 一种基于车载双目相机的障碍物及可行驶区域检测方法
CN107590438A (zh) * 2017-08-16 2018-01-16 中国地质大学（武汉） 一种智能辅助驾驶方法及系统
CN108470469A (zh) * 2018-03-12 2018-08-31 海信集团有限公司 道路障碍物预警方法、装置及终端
CN109143215A (zh) * 2018-08-28 2019-01-04 重庆邮电大学 一种基于双目视觉与v2x通信的协同预警设备与方法
CN109300159A (zh) * 2018-09-07 2019-02-01 百度在线网络技术（北京）有限公司 位置检测方法、装置、设备、存储介质及车辆
CN109269478A (zh) * 2018-10-24 2019-01-25 南京大学 一种基于双目视觉的集装箱码头场桥障碍物检测方法
CN110333714A (zh) * 2019-04-09 2019-10-15 武汉理工大学 一种无人驾驶汽车路径规划方法和装置
CN110569704A (zh) * 2019-05-11 2019-12-13 北京工业大学 一种基于立体视觉的多策略自适应车道线检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CLARK: a heterogeneous sensor fusion method for finding lanes and obstacles;M. Beauvais, S. Lakshmanan;《Image and Vision Computing》;20001231;第18卷(第5期);全文 *
基于立体视觉的辅助驾驶系统若干关键技术研究;许世坤;《中国优秀硕士学位论文全文数据库》;20180315(第3期);全文 *
智能车辆的障碍物检测研究方法综述;王荣本;《公路交通科技》;20071130;第24卷(第11期);全文 *

Also Published As

Publication number Publication date
WO2021120574A1 (en) 2021-06-24
CN111443704A (zh) 2020-07-24

Similar Documents

Publication Publication Date Title
CN111443704B (zh) 用于自动驾驶系统的障碍物定位方法及装置
CN109034047B (zh) 一种车道线检测方法及装置
CN108802785B (zh) 基于高精度矢量地图和单目视觉传感器的车辆自定位方法
Ozgunalp et al. Multiple lane detection algorithm based on novel dense vanishing point estimation
CN112396650B (zh) 一种基于图像和激光雷达融合的目标测距系统及方法
CN106228110B (zh) 一种基于车载双目相机的障碍物及可行驶区域检测方法
Gandhi et al. Vehicle surround capture: Survey of techniques and a novel omni-video-based approach for dynamic panoramic surround maps
US9846812B2 (en) Image recognition system for a vehicle and corresponding method
US10909395B2 (en) Object detection apparatus
JP4919036B2 (ja) 移動物体認識装置
CN110569704A (zh) 一种基于立体视觉的多策略自适应车道线检测方法
WO2012043045A1 (ja) 画像処理装置及びそれを用いた撮像装置
CN104700414A (zh) 一种基于车载双目相机的前方道路行人快速测距方法
EP2757527B1 (en) System and method for distorted camera image correction
US10872246B2 (en) Vehicle lane detection system
KR20160123668A (ko) 무인자동주차 기능 지원을 위한 장애물 및 주차구획 인식 장치 및 그 방법
CN112037159B (zh) 一种跨相机道路空间融合及车辆目标检测跟踪方法及系统
CN110334678A (zh) 一种基于视觉融合的行人检测方法
JPH07129898A (ja) 障害物検出装置
CN111830953A (zh) 车辆自定位方法、装置及系统
EP3594902B1 (en) Method for estimating a relative position of an object in the surroundings of a vehicle and electronic control unit for a vehicle and vehicle
Zhang et al. Robust inverse perspective mapping based on vanishing point
CN106127787A (zh) 一种基于逆投影变换的相机标定方法
JP2017181476A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
CN110992424B (zh) 基于双目视觉的定位方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant