CN113255520A - 基于双目视觉和深度学习的车辆避障方法与电子设备 - Google Patents
基于双目视觉和深度学习的车辆避障方法与电子设备 Download PDFInfo
- Publication number
- CN113255520A CN113255520A CN202110568966.5A CN202110568966A CN113255520A CN 113255520 A CN113255520 A CN 113255520A CN 202110568966 A CN202110568966 A CN 202110568966A CN 113255520 A CN113255520 A CN 113255520A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- obstacle
- map
- depth
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000004438 eyesight Effects 0.000 title claims abstract description 24
- 238000013135 deep learning Methods 0.000 title claims abstract description 21
- 238000010586 diagram Methods 0.000 claims abstract description 25
- 230000011218 segmentation Effects 0.000 claims abstract description 13
- 230000009466 transformation Effects 0.000 claims abstract description 8
- 241001300198 Caperonia palustris Species 0.000 claims abstract description 3
- 235000000384 Veronica chamaedrys Nutrition 0.000 claims abstract description 3
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 15
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 10
- 230000033001 locomotion Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000004888 barrier function Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 238000012805 post-processing Methods 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000013136 deep learning model Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000005303 weighing Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 abstract description 5
- 230000000694 effects Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于双目视觉和深度学习的车辆避障方法：获得车辆前方的RGB图；获取车辆前方的深度信息图；预测得到可行驶区域分割结果；信息融合优化可行驶区域；摒除可行驶区域部分的深度信息，生成深度障碍主视图；获取车前三维空间中的障碍分布情况，并依此得到鸟瞰障碍散点图；对鸟瞰障碍散点图进行密度聚类，去除噪声；对鸟瞰障碍散点图进行欧氏距离变换并设置自适应阈值，将前方地图分为安全行驶区域和危险区域；通过鸟瞰安全行驶区域图和视场角边界信息构建用于路径规划的地图；使用动态窗口法结合用于路径规划的地图进行避障路径规划；根据避障路径轨迹计算期望速度与期望打角并下发控制系统。本发明还提供了相应的电子设备。
Description
技术领域
本发明属于计算机视觉技术领域，更具体地，涉及一种基于双目视觉和深度学习的车辆避障方法。
背景技术
导航是自动驾驶决策系统中最重要的基础功能之一，也是环境感知和车辆控制之间重要的的桥梁纽带，它决定了车辆如何利用环境信息，以安全到达目的地为目标做出科学的判断。更具体的，导航又可分为全局导航和局部导航。
全局导航的主流方法是基于GPS等定位卫星获取位置信息，利用全局路径规划算法综合考虑路况、路径长度等条件综合规划出的车辆由起点行驶到终点的道路。其目的是规划宏观上的行车路径，识别车体位置并对车行进的大方向做引导，为车的行为决策添加浅层约束。
局部导航可分为局部引导和局部避障，局部引导技术可以通过高精度地图配合三维建图等方式定位车辆位置、通过车道线检测识别车道线等技术手段，使得小车在正常行车状态下沿着既定道路行驶。
局部避障技术则是自动驾技术中的重难点之一，也是行车安全的重要保障，不同于前两者对于精度和召回率的较低要求，局部避障要求小车在面对有障碍物遮挡的复杂路况时能够迅速、及时的做出响应，使得小车能够自动躲避障碍物向安全区域行驶，其关键步骤在于识别障碍物，合理规划路线，根据规划路径向小车下达指令等。
已有的解决方案通常是基于激光雷达SLAM建图完成对车体周围环境立体模型的构建，并识别出其中的障碍信息。然而激光雷达造价高，成本负担大，且大多数情况下依然需要对建图的结果中安全/危险区域进行后处理筛选/比对。同时，实时建图对于算力的要求较为严格，普通的嵌入式开发板并不能提供建图所需的算力，实时性较差。因此，基于纯视觉感知进行避障作为另一种方案被提出。双目摄像头测量深度是一项较为成熟的技术，其基本原理来源于人眼的双目视觉效应，由于人的双眼位置不同，所以捕捉到的画面也有轻微的不同，大脑可以根据同一物体在双眼成像画面中的位置不同来判断物体的远近，双目摄像机正是利用了这一点，可以对捕获图像的每个像素点计算其深度信息得到深度图。
已有的基于双目摄像头的障碍识别技术有以下问题：传统的地面滤除算法通常复杂并且效果不佳、泛化性差，不能应对上下坡路面，而将地面误识别为障碍会导致车辆运行状态不稳定。若是仅对摄像头与地面水平的视野进行障碍提取，则会丢失很多对低矮障碍的检测信息，生成的避障地图语义信息弱；深度摄像头测距存在误差导致对障碍边缘的位置判断不准确、易被噪声干扰，直接使用会导致障碍误定位等。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于双目视觉和深度学习的车辆避障方案，能够规划出合理的路径，使得规划出的路径更加安全可靠，对小目标、低高度的障碍发现效果更显著，可以更好区分路面的可行驶性，路面摒除的鲁棒性更强。
为实现上述目的，按照本发明的一个方面，提供了一种基于双目视觉和深度学习的车辆避障方法，包括：
(1)获得车辆前方一定视场角的RGB图：
(2)通过双目摄像头获取车辆前方一定视场角的深度信息图：
(3)通过深度学习模型预测得到车辆前方视图中的可行驶区域分割结果；
(4)融合深度信息优化可行驶区域，对大面积空缺结合深度信息进行后处理补全，对小面积内孔洞使用OpenCv进行填充；
(5)摒除可行驶区域部分的深度信息，生成深度障碍主视图；
(6)通过深度障碍主视图获取车前三维空间中的障碍分布情况，并依此得到鸟瞰障碍散点图；
(7)对鸟瞰障碍散点图进行密度聚类，去除噪声；
(8)对鸟瞰障碍散点图进行欧氏距离变换并设置自适应阈值，将前方地图分为安全行驶区域和危险区域；
(9)通过鸟瞰安全行驶区域图和视场角边界信息构建用于路径规划的地图；
(10)使用动态窗口法结合用于路径规划的地图进行避障路径规划；
(11)根据避障路径轨迹计算期望速度与期望打角并下发控制系统。
本发明的一个实施例中，所述步骤(3)包括：
(3.1)使用语义分割网络PSPNet在BDD100K数据集上进行训练；
(3.2)使用训练好的模型对(1)中获取的RGB图像进行推理，预测得到车辆前方视图中的可行驶区域。
本发明的一个实施例中，所述步骤(4)包括：
(4.1)逐行对(2)中获取的深度信息图进行扫描；
(4.2)将每一行中被分割为(3)中预测出的可行驶区域的部分的坐标作为索引的深度值加入数组；
(4.3)将步骤(4.2)得到的数组去除无效值后取中位数作为画面此行的路面“深度”值；
(4.4)根据对不同路况的统计，同时考虑到依据双目视觉计算出的深度图像的误差，将深度信息图中此行深度在容忍深度范围中的部分的坐标作为索引加入可行驶区域分割结果；
(4.5)重复步骤(4.1)～(4.4)，将优化后的结果图进行闭操作处理，进而对结果中的孔洞进行填补，对小面积的噪声部分进行去除。
本发明的一个实施例中，所述步骤(5)具体为：
将(2)中获取的深度信息图中坐标索引为(4)中后处理过的可行驶区域的部分深度信息设为无穷远，即在映射到三维空间内时不会在考量空间内生成障碍点。
本发明的一个实施例中，所述步骤(6)包括：
(6.1)权衡边缘障碍信息损失、深度信息测量结果可靠性与画面畸变，取(5)中生成的深度障碍主视图横向视场角60°，纵向视场角45°的部分，通过标定得到此视场角边界在画面中的像素位置，得到剪裁后的可靠深度信息图；
(6.2)将步骤(6.1)得到的剪裁后的可靠深度信息图中的每个像素点通过计算横、纵向与画面正前方中心的夹角映射到车体坐标系下的车前三维空间中；
(6.3)将步骤(6.2)得到的所有障碍点投影到车体坐标系下的水平面，取前方9m，左右各4.5m形成鸟瞰障碍散点图。
本发明的一个实施例中，所述步骤(8)包括：
(8.1)使用欧氏距离变换计算(7)中滤波后的鸟瞰障碍散点图中每个前景点到与其最近背景点的距离；
(8.2)设置自适应阈值对步骤(8.1)得到的距离矩阵进行二值化，生成车体坐标系下车前方向水平面的鸟瞰安全行驶区域图。
本发明的一个实施例中，所述步骤(9)包括：
(9.1)新建空白地图，对(8)中处理后的鸟瞰安全行驶区域图中安全行驶区域的边界进行等间距取样并在地图对应位置设置障碍点，其余地方保留为安全区域；
(9.2)将步骤9.1得到的地图中对应的车辆横向视场角60°以外的部分设为不可达区域。
本发明的一个实施例中，所述步骤(10)包括：
(10.1)给定进入局部避障状态的时机和目标点；
(10.2)使用简化改进的动态窗口法进行路径规划，综合考量车辆运动学、安全性、舒适度的路径规划，生成规划路径点集。
本发明的一个实施例中，所述步骤(10.2)包括：
(10.2.1)在某一运动时刻，在(9)生成的车辆运行前方地图中，对下一个时间间隔内的车辆速度和转角进行动态窗口采样，得到多种可能的速度和转角组合；
(10.2.2)对步骤(10.2.1)得到的每一组可能的速度和转角，模拟一定时间内的轨迹，记录下每一组的模拟轨迹结果；
(10.2.3)根据给定的评价规则(由与最近障碍的距离代价、当前速度代价、与终点的距离和方向的代价加权叠加而成)对步骤(10.2.2)得到的每一条模拟轨迹结果进行评价，选取代价最小的轨迹所对应的速度和转角，并依此对下一个时间间隔内小车运动做出控制决策；
(10.2.4)依据步骤(10.2.3)得到的决策结果，更新车辆位置和姿态，重复上述步骤，直至到达目标点或达成某一终止条件。
按照本发明的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述基于双目视觉和深度学习的车辆避障方法。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有如下有益效果：
(1)本方法使用深度学习和深度图的信息融合摒除深度图中的可行驶区域部分，通过三维映射后压缩到二维平面生成鸟瞰障碍散点图，再通过欧式距离变换以及设置自适应阈值生成安全行驶区域，并使用动态窗口法规划出合理的路径，相较于传统方法，规划出的路径更加安全可靠，对小目标、低高度的障碍发现效果更显著，可以更好区分路面的可行驶性，路面摒除的鲁棒性更强；
(2)解决了双目深度只能选取很小的上下视场角，或需要多个双目摄像头纵向配合滤除地面进行避障的问题，降低了成本；解决了深度学习分割结果召回率较低导致鸟瞰障碍散点图中存在实际安全路面的问题；解决了纯视觉自动驾驶解决方案在传感器尽可能少的情况下的鸟瞰视角路径规划的地图生成问题，并改进适配了一种效果较好的路径规划方法；
(3)深度信息的融合确定可行驶区域相比于使用纯深度学习分割路面的方案路面分割结果召回率更高；相比于利用高度排除地面区域的视觉建图方案有更强的鲁棒性，可以区分人行道等高度差异不明显的地形，将不可行驶地面纳入障碍范畴；相比于只取正前方以上区域的视觉建图方案增加了低矮障碍的检测能力。
附图说明
图1为本发明实现避障导航的流程图；
图2-(1)～2-(4)为获取的原始RGB图；
图3-(1)～3-(4)为获取的原始深度信息图；
图4-(1)～4-(4)为预测出的可行驶区域图；
图5-(1)～5-(4)为信息融合后处理出的可行驶区域图；
图6-(1)～6-(8)为处理前后可行驶区域图叠加到RGB图上的效果对比图；
图7-(1)～7-(4)为摒除处理后的可行驶区域的深度信息图；
图8-(1)～8-(4)为生成鸟瞰障碍散点图并滤波后的效果图；
图9-(1)～9-(4)为生成的鸟瞰安全/危险行驶区域图；
图10-(1)～10-(4)为生成的用于避障路径规划的地图；
图11-(1)～11-(4)为避障路径规划的结果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，本发明公开了一种基于双目视觉和深度学习的车辆避障方法，包括：
(1)获得车辆前方一定视场角(例如横向90°，纵向60°)的RGB图：
具体地，可使用ZED相机持续获取视频流，从中提取单帧原始图像进行处理，保障实时性；图像尺寸为1280*720；如图2-(1)～2-(4)是ZED相机获取视频流中提取出的单帧原始图像的示例。
(2)通过双目摄像头获取车辆前方一定视场角的深度信息图：
具体地，可使用ZED相机自带的SDK获取根据双目摄像头左右眼视差计算出的深度信息图，图像尺寸为1280*720，此深度信息图中存储的的是每个像素点对应的景物到相机的垂直距离；如图3-(1)～3-(4)所示是图2-(1)～2-(4)对应的深度信息图经过最小最大值标准化之后的示例，颜色越深表征距离越近；
(3)通过深度学习模型预测得到车辆前方视图中的可行驶区域分割结果，具体包括：
(3.1)使用语义分割网络PSPNet在BDD100K数据集上进行训练；
(3.2)使用训练好的模型对(1)中获取的RGB图像进行推理，预测得到车辆前方视图中的可行驶区域；
如图4-(1)～4-(4)所示是使用语义分割网络模型对图2-(1)～2-(4)预测得到的可行驶区域划分结果，白色部分即被分类为可行驶区域的部分；
(4)融合深度信息优化可行驶区域，对大面积空缺结合深度信息进行后处理补全，对小面积内孔洞使用OpenCv进行填充，具体包括：
(4.1)逐行对(2)中获取的深度信息图进行扫描；
(4.2)将每一行中被分割为(3)中预测出的可行驶区域的部分的坐标作为索引的深度值加入数组；
(4.3)将步骤(4.2)得到的数组去除无效值后取中位数作为画面此行的路面“深度”值；
具体地，考虑到车辆与摄像头相对位置始终固定，且车辆当前行驶平面在前方所考量距离内被分割为可行驶区域的部分极大概率不会在横向上出现斜率的断层(当且仅当前方出现悬崖且车辆侧对着悬崖、分割模型又同时将悬崖上、下部分分割为路面时会出现，此种情况发生概率极低且不满足后续对路面的补足条件，不予考虑)，因此将步骤4.2得到的数组去除无效值后取中位数作为画面此行的路面“深度”值；
(4.4)根据对不同路况的统计，同时考虑到依据双目视觉计算出的深度图像的误差，经过实验后取步骤4.3得到的“深度”值±10cm作为容忍深度，将深度信息图中此行深度在容忍深度范围中的部分的坐标作为索引加入可行驶区域分割结果；
(4.5)重复步骤4.1～4.4，将优化后的结果图进行闭操作处理，进而对结果中的孔洞进行填补，对小面积的噪声部分进行去除；
如图5-(1)～5-(4)所示是图4-(1)～4-(4)使用深度信息图进行信息融合优化后的结果，白色部分即被最终认定为可行驶区域的部分；
如图6-(1)～6-(8)所示是将优化前(图4-(1)～4-(4))、后(图5-(1)～5-(4))的可行驶区域的部分分别叠加到图1-(1)～1-(4)上，取横向视场角60°，纵向视场角45°部分进行可视化的效果。可以看出，优化后的可行驶区域更加准确的分割出全部路面且没有影响到障碍部分，大大提高了方案后续步骤中对于低矮障碍的检测能力、加强了路面区域的去除效果；
(5)摒除可行驶区域部分的深度信息，生成深度障碍主视图：
具体地，将(2)中获取的深度信息图中坐标索引为(4)中后处理过的可行驶区域的部分深度信息设为无穷远，即在映射到三维空间内时不会在考量空间内生成障碍点；
如图7-(1)～7-(4)所示是图3-(1)～3-(4)将图5-(1)～5-(4)部分剔除(深度信息设置为无穷远)后的示例，颜色越深表征距离越近；
(6)通过深度障碍主视图获取车前三维空间中的障碍分布情况，并依此得到鸟瞰障碍散点图，具体包括：
(6.1)权衡边缘障碍信息损失、深度信息测量结果可靠性与画面畸变，取(5)中生成的深度障碍主视图横向视场角60°，纵向视场角45°的部分，通过标定得到此视场角边界在画面中的像素位置，得到剪裁后的可靠深度信息图；
(6.2)将步骤(6.1)得到的剪裁后的可靠深度信息图中的每个像素点通过计算横、纵向与画面正前方中心的夹角映射到车体坐标系下的车前三维空间中；
(6.3)将步骤(6.2)得到的所有障碍点投影到车体坐标系下的水平面，取前方9m，左右各4.5m形成鸟瞰障碍散点图。
(7)对鸟瞰障碍散点图进行密度聚类，去除噪声：
具体地，使用DBSCAN对(6)中得到的鸟瞰障碍散点图进行密度聚类，去除聚类结果中点群个数小于三个的离群噪声点；
如图8-(1)～8-(4)所示，是处理后的深度信息图经过鸟瞰变换之后，取车体坐标系下车前方向9m，左右各4.5m并经过滤波处理后的示例，白色部分为空地，黑色散点为障碍在俯视图上的分布；
(8)对鸟瞰障碍散点图进行欧氏距离变换并设置自适应阈值，将前方地图分为安全行驶区域和危险区域，具体包括：
(8.1)使用欧氏距离变换计算(7)中滤波后的鸟瞰障碍散点图中每个前景点(空地)到与其最近背景点(障碍)的距离；
(8.2)设置自适应阈值对步骤(8.1)得到的距离矩阵进行二值化，生成车体坐标系下车前方向水平面的鸟瞰安全行驶区域图；
如图9-(1)～9-(4)所示，是通过滤波处理后的鸟瞰障碍散点图计算得到的安全行驶区域的示例，白色部分为安全行驶区域，黑色部分为危险区域；
(9)通过鸟瞰安全行驶区域图和视场角边界信息构建用于路径规划的地图，具体包括：
(9.1)新建空白地图，对(8)中处理后的鸟瞰安全行驶区域图中安全行驶区域的边界进行等间距取样并在地图对应位置设置障碍点，其余地方保留为安全区域；
(9.2)将步骤9.1得到的地图中对应的车辆横向视场角60°以外的部分设为不可达区域，由于路径是实时规划更新的，因此此举不会影响车辆对这些区域的实际探索；
如图10-(1)～10-(4)所示是提取安全行驶区域边缘并添加横向视场角边线得到的用于进行路径规划的地图，白色部分为安全区域示意，黑色线为安全行驶区域边界点和横向视场角边线点连接构成的危险区域边缘；
(10)使用动态窗口法结合用于路径规划的地图进行避障路径规划，具体包括：
(10.1)给定进入局部避障状态的时机和目标点；
由于本发明仅就导航系统的局部避障部分进行阐述，因此认定进入局部避障状态的时机已给定、目标点已给定，不再赘述；
(10.2)使用简化改进的动态窗口法进行路径规划，综合考量车辆运动学、安全性、舒适度的路径规划，生成规划路径点集，具体做法为：
(10.2.1)在某一运动时刻，在(9)生成的车辆运行前方地图中，对下一个时间间隔内的车辆速度和转角(由车辆运动学简化进行约束)进行动态窗口采样，得到多种可能的速度和转角组合；
(10.2.2)对步骤(10.2.1)得到的每一组可能的速度和转角，模拟一定时间内的轨迹，记录下每一组的模拟轨迹结果；
(10.2.3)根据给定的评价规则(由与最近障碍的距离代价、当前速度代价、与终点的距离和方向的代价加权叠加而成)对步骤(10.2.2)得到的每一条模拟轨迹结果进行评价，选取代价最小的轨迹所对应的速度和转角，并依此对下一个时间间隔内小车运动做出控制决策；
(10.2.4)依据步骤(10.2.3)得到的决策结果，更新车辆位置和姿态，重复上述步骤，直至到达目标点或达成某一终止条件，为了达到避障实时性，本方案仅预测车前3米内轨迹点；
如图11-(1)～11-(4)所示是基于图10-(1)～10-(4)构建的地图进行避障路径规划得到的结果可视化示例，其中正方形表示车体，车体后方延伸线表示规划出的路径，车体前方延伸线表示车在到达此位置时刻的朝向与下一时刻规划出的后继路径；
(11)根据避障路径轨迹计算期望速度与期望打角并下发控制系统：
具体地，根据当前车速自适应选择追踪距离(追踪距离与车速正相关)，计算目标路径点与车头方向夹角，根据给出车辆下一时刻的期望打角和期望速度(期望速度与期望打角负相关)，由控制系统通过闭环控制执行。
本方案采用ZED双目摄像头，在ubuntu16.04系统下使用python语言实现。
进一步地，本发明还提供了一种电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述基于双目视觉和深度学习的车辆避障方法。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于双目视觉和深度学习的车辆避障方法，其特征在于，包括：
(1)获得车辆前方一定视场角的RGB图：
(2)通过双目摄像头获取车辆前方一定视场角的深度信息图：
(3)通过深度学习模型预测得到车辆前方视图中的可行驶区域分割结果；
(4)融合深度信息优化可行驶区域，对大面积空缺结合深度信息进行后处理补全，对小面积内孔洞使用OpenCv进行填充；
(5)摒除可行驶区域部分的深度信息，生成深度障碍主视图；
(6)通过深度障碍主视图获取车前三维空间中的障碍分布情况，并依此得到鸟瞰障碍散点图；
(7)对鸟瞰障碍散点图进行密度聚类，去除噪声；
(8)对鸟瞰障碍散点图进行欧氏距离变换并设置自适应阈值，将前方地图分为安全行驶区域和危险区域；
(9)通过鸟瞰安全行驶区域图和视场角边界信息构建用于路径规划的地图；
(10)使用动态窗口法结合用于路径规划的地图进行避障路径规划；
(11)根据避障路径轨迹计算期望速度与期望打角并下发控制系统。
2.如权利要求1所述的基于双目视觉和深度学习的车辆避障方法，其特征在于，所述步骤(3)包括：
(3.1)使用语义分割网络PSPNet在BDD100K数据集上进行训练；
(3.2)使用训练好的模型对(1)中获取的RGB图像进行推理，预测得到车辆前方视图中的可行驶区域。
3.如权利要求1或2所述的基于双目视觉和深度学习的车辆避障方法，其特征在于，所述步骤(4)包括：
(4.1)逐行对(2)中获取的深度信息图进行扫描；
(4.2)将每一行中被分割为(3)中预测出的可行驶区域的部分的坐标作为索引的深度值加入数组；
(4.3)将步骤(4.2)得到的数组去除无效值后取中位数作为画面此行的路面“深度”值；
(4.4)根据对不同路况的统计，同时考虑到依据双目视觉计算出的深度图像的误差，将深度信息图中此行深度在容忍深度范围中的部分的坐标作为索引加入可行驶区域分割结果；
(4.5)重复步骤(4.1)～(4.4)，将优化后的结果图进行闭操作处理，进而对结果中的孔洞进行填补，对小面积的噪声部分进行去除。
4.如权利要求1或2所述的基于双目视觉和深度学习的车辆避障方法，其特征在于，所述步骤(5)具体为：
将(2)中获取的深度信息图中坐标索引为(4)中后处理过的可行驶区域的部分深度信息设为无穷远，即在映射到三维空间内时不会在考量空间内生成障碍点。
5.如权利要求1或2所述的基于双目视觉和深度学习的车辆避障方法，其特征在于，所述步骤(6)包括：
(6.1)权衡边缘障碍信息损失、深度信息测量结果可靠性与画面畸变，取(5)中生成的深度障碍主视图横向视场角60°，纵向视场角45°的部分，通过标定得到此视场角边界在画面中的像素位置，得到剪裁后的可靠深度信息图；
(6.2)将步骤(6.1)得到的剪裁后的可靠深度信息图中的每个像素点通过计算横、纵向与画面正前方中心的夹角映射到车体坐标系下的车前三维空间中；
(6.3)将步骤(6.2)得到的所有障碍点投影到车体坐标系下的水平面，取前方9m，左右各4.5m形成鸟瞰障碍散点图。
6.如权利要求1或2所述的基于双目视觉和深度学习的车辆避障方法，其特征在于，所述步骤(8)包括：
(8.1)使用欧氏距离变换计算(7)中滤波后的鸟瞰障碍散点图中每个前景点到与其最近背景点的距离；
(8.2)设置自适应阈值对步骤(8.1)得到的距离矩阵进行二值化，生成车体坐标系下车前方向水平面的鸟瞰安全行驶区域图。
7.如权利要求1或2所述的基于双目视觉和深度学习的车辆避障方法，其特征在于，所述步骤(9)包括：
(9.1)新建空白地图，对(8)中处理后的鸟瞰安全行驶区域图中安全行驶区域的边界进行等间距取样并在地图对应位置设置障碍点，其余地方保留为安全区域；
(9.2)将步骤9.1得到的地图中对应的车辆横向视场角60°以外的部分设为不可达区域。
8.如权利要求1或2所述的基于双目视觉和深度学习的车辆避障方法，其特征在于，所述步骤(10)包括：
(10.1)给定进入局部避障状态的时机和目标点；
(10.2)使用简化改进的动态窗口法进行路径规划，综合考量车辆运动学、安全性、舒适度的路径规划，生成规划路径点集。
9.如权利要求8所述的基于双目视觉和深度学习的车辆避障方法，其特征在于，所述步骤(10.2)包括：
(10.2.1)在某一运动时刻，在(9)生成的车辆运行前方地图中，对下一个时间间隔内的车辆速度和转角进行动态窗口采样，得到多种可能的速度和转角组合；
(10.2.2)对步骤(10.2.1)得到的每一组可能的速度和转角，模拟一定时间内的轨迹，记录下每一组的模拟轨迹结果；
(10.2.3)根据给定的评价规则(由与最近障碍的距离代价、当前速度代价、与终点的距离和方向的代价加权叠加而成)对步骤(10.2.2)得到的每一条模拟轨迹结果进行评价，选取代价最小的轨迹所对应的速度和转角，并依此对下一个时间间隔内小车运动做出控制决策；
(10.2.4)依据步骤(10.2.3)得到的决策结果，更新车辆位置和姿态，重复上述步骤，直至到达目标点或达成某一终止条件。
10.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110568966.5A CN113255520B (zh) | 2021-05-25 | 2021-05-25 | 基于双目视觉和深度学习的车辆避障方法与电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110568966.5A CN113255520B (zh) | 2021-05-25 | 2021-05-25 | 基于双目视觉和深度学习的车辆避障方法与电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113255520A true CN113255520A (zh) | 2021-08-13 |
| CN113255520B CN113255520B (zh) | 2022-04-12 |
Family
ID=77184176
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110568966.5A Active CN113255520B (zh) | 2021-05-25 | 2021-05-25 | 基于双目视觉和深度学习的车辆避障方法与电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113255520B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113743265A (zh) * | 2021-08-24 | 2021-12-03 | 常熟理工学院 | 一种基于深度相机的自动驾驶可行驶区域检测方法及系统 |
| CN113781539A (zh) * | 2021-09-06 | 2021-12-10 | 京东鲲鹏(江苏)科技有限公司 | 深度信息获取方法、装置、电子设备和计算机可读介质 |
| CN114708567A (zh) * | 2022-06-06 | 2022-07-05 | 济南融瓴科技发展有限公司 | 一种基于双目摄像头的路面坑洼检测和避让方法及系统 |
| CN114905512A (zh) * | 2022-05-16 | 2022-08-16 | 安徽元古纪智能科技有限公司 | 一种智能巡检机器人全景追踪及避障方法及系统 |
| CN115100622A (zh) * | 2021-12-29 | 2022-09-23 | 中国矿业大学 | 深部受限空间无人运输设备可行驶域检测和自主避障方法 |
| CN115774444A (zh) * | 2021-09-09 | 2023-03-10 | 廊坊和易生活网络科技股份有限公司 | 一种基于稀疏导航地图的路径规划优化方法 |
| CN115797900A (zh) * | 2021-09-09 | 2023-03-14 | 廊坊和易生活网络科技股份有限公司 | 基于单目视觉的车路姿态感知方法 |
| RU2803671C1 (ru) * | 2021-12-29 | 2023-09-19 | Китайский Университет Горного Дела И Технологии | Метод определения зоны движения и самостоятельного объезда препятствий для беспилотного транспортного оборудования в подземных замкнутых пространствах |
| CN117173416A (zh) * | 2023-11-01 | 2023-12-05 | 山西阳光三极科技股份有限公司 | 基于图像处理的铁路货运车号图像清晰化处理方法 |
| WO2024060708A1 (zh) * | 2022-09-19 | 2024-03-28 | 北京京东尚科信息技术有限公司 | 目标检测方法和装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170314930A1 (en) * | 2015-04-06 | 2017-11-02 | Hrl Laboratories, Llc | System and method for achieving fast and reliable time-to-contact estimation using vision and range sensor data for autonomous navigation |
| CN110008848A (zh) * | 2019-03-13 | 2019-07-12 | 华南理工大学 | 一种基于双目立体视觉的道路可行驶区域识别方法 |
| CN111539280A (zh) * | 2020-04-15 | 2020-08-14 | 深圳一清创新科技有限公司 | 基于自动驾驶技术的路面清扫方法、装置和计算机设备 |
| CN112171675A (zh) * | 2020-09-28 | 2021-01-05 | 深圳市丹芽科技有限公司 | 一种移动机器人的避障方法、装置、机器人及存储介质 |
| CN112256034A (zh) * | 2020-11-02 | 2021-01-22 | 东软睿驰汽车技术（沈阳）有限公司 | 自主避障规划方法和装置 |
| CN112721950A (zh) * | 2021-01-14 | 2021-04-30 | 肖玉连 | 一种基于深度学习的自主车辆控制方法及系统 |
-
2021
- 2021-05-25 CN CN202110568966.5A patent/CN113255520B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170314930A1 (en) * | 2015-04-06 | 2017-11-02 | Hrl Laboratories, Llc | System and method for achieving fast and reliable time-to-contact estimation using vision and range sensor data for autonomous navigation |
| CN110008848A (zh) * | 2019-03-13 | 2019-07-12 | 华南理工大学 | 一种基于双目立体视觉的道路可行驶区域识别方法 |
| CN111539280A (zh) * | 2020-04-15 | 2020-08-14 | 深圳一清创新科技有限公司 | 基于自动驾驶技术的路面清扫方法、装置和计算机设备 |
| CN112171675A (zh) * | 2020-09-28 | 2021-01-05 | 深圳市丹芽科技有限公司 | 一种移动机器人的避障方法、装置、机器人及存储介质 |
| CN112256034A (zh) * | 2020-11-02 | 2021-01-22 | 东软睿驰汽车技术（沈阳）有限公司 | 自主避障规划方法和装置 |
| CN112721950A (zh) * | 2021-01-14 | 2021-04-30 | 肖玉连 | 一种基于深度学习的自主车辆控制方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| ZHANG Z等: "Monocular Depth Estimation for UAV Obstacle Avoidance", 《2019 4TH INTERNATIONAL CONFERENCE ON CLOUD COMPUTING AND INTERNET OF THINGS (CCIOT》 * |
| 宋子豪: "基于双目立体视觉的汽车测距避障和目标识别研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 * |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113743265B (zh) * | 2021-08-24 | 2024-01-12 | 常熟理工学院 | 一种基于深度相机的自动驾驶可行驶区域检测方法及系统 |
| CN113743265A (zh) * | 2021-08-24 | 2021-12-03 | 常熟理工学院 | 一种基于深度相机的自动驾驶可行驶区域检测方法及系统 |
| CN113781539A (zh) * | 2021-09-06 | 2021-12-10 | 京东鲲鹏(江苏)科技有限公司 | 深度信息获取方法、装置、电子设备和计算机可读介质 |
| CN115797900B (zh) * | 2021-09-09 | 2023-06-27 | 廊坊和易生活网络科技股份有限公司 | 基于单目视觉的车路姿态感知方法 |
| CN115774444B (zh) * | 2021-09-09 | 2023-07-25 | 廊坊和易生活网络科技股份有限公司 | 一种基于稀疏导航地图的路径规划优化方法 |
| CN115774444A (zh) * | 2021-09-09 | 2023-03-10 | 廊坊和易生活网络科技股份有限公司 | 一种基于稀疏导航地图的路径规划优化方法 |
| CN115797900A (zh) * | 2021-09-09 | 2023-03-14 | 廊坊和易生活网络科技股份有限公司 | 基于单目视觉的车路姿态感知方法 |
| WO2023123642A1 (zh) * | 2021-12-29 | 2023-07-06 | 中国矿业大学 | 深部受限空间无人运输设备可行驶域检测和自主避障方法 |
| CN115100622A (zh) * | 2021-12-29 | 2022-09-23 | 中国矿业大学 | 深部受限空间无人运输设备可行驶域检测和自主避障方法 |
| RU2803671C1 (ru) * | 2021-12-29 | 2023-09-19 | Китайский Университет Горного Дела И Технологии | Метод определения зоны движения и самостоятельного объезда препятствий для беспилотного транспортного оборудования в подземных замкнутых пространствах |
| CN115100622B (zh) * | 2021-12-29 | 2023-09-22 | 中国矿业大学 | 深部受限空间无人运输设备可行驶域检测和自主避障方法 |
| AU2022325172B2 (en) * | 2021-12-29 | 2023-10-05 | China University Of Mining And Technology | Method for drivable area detection and autonomous obstacle avoidance of unmanned haulage equipment in deep confined spaces |
| US11880208B2 (en) | 2021-12-29 | 2024-01-23 | China University Of Mining And Technology | Method for drivable area detection and autonomous obstacle avoidance of unmanned haulage equipment in deep confined spaces |
| CN114905512A (zh) * | 2022-05-16 | 2022-08-16 | 安徽元古纪智能科技有限公司 | 一种智能巡检机器人全景追踪及避障方法及系统 |
| CN114905512B (zh) * | 2022-05-16 | 2024-05-14 | 安徽元古纪智能科技有限公司 | 一种智能巡检机器人全景追踪及避障方法及系统 |
| CN114708567A (zh) * | 2022-06-06 | 2022-07-05 | 济南融瓴科技发展有限公司 | 一种基于双目摄像头的路面坑洼检测和避让方法及系统 |
| WO2024060708A1 (zh) * | 2022-09-19 | 2024-03-28 | 北京京东尚科信息技术有限公司 | 目标检测方法和装置 |
| CN117173416A (zh) * | 2023-11-01 | 2023-12-05 | 山西阳光三极科技股份有限公司 | 基于图像处理的铁路货运车号图像清晰化处理方法 |
| CN117173416B (zh) * | 2023-11-01 | 2024-01-05 | 山西阳光三极科技股份有限公司 | 基于图像处理的铁路货运车号图像清晰化处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113255520B (zh) | 2022-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113255520B (zh) | 基于双目视觉和深度学习的车辆避障方法与电子设备 | |
| Zhang et al. | Vehicle tracking and speed estimation from roadside lidar | |
| CN114842438B (zh) | 用于自动驾驶汽车的地形检测方法、系统及可读存储介质 | |
| CN111448478B (zh) | 用于基于障碍物检测校正高清地图的系统和方法 | |
| CN110007675B (zh) | 一种基于行车态势图的车辆自动驾驶决策系统及基于无人机的训练集制备方法 | |
| CN106681353B (zh) | 基于双目视觉与光流融合的无人机避障方法及系统 | |
| CN206691107U (zh) | 无人驾驶汽车系统及汽车 | |
| US9435885B2 (en) | Road-terrain detection method and system for driver assistance systems | |
| CN102682292B (zh) | 基于单目视觉的道路边缘检测及粗定位方法 | |
| Caraffi et al. | Off-road path and obstacle detection using decision networks and stereo vision | |
| CN110780305A (zh) | 一种基于多线激光雷达的赛道锥桶检测及目标点追踪方法 | |
| CN107161141A (zh) | 无人驾驶汽车系统及汽车 | |
| CN110986945B (zh) | 基于语义高度地图的局部导航方法和系统 | |
| DE112021006299T5 (de) | Verfahren und Systeme zur Bodensegmentierung mittels Graphenschnitten | |
| CN113537046A (zh) | 基于检测车辆轨迹大数据的地图车道线标注方法及系统 | |
| CN106446785A (zh) | 基于双目视觉的可行道路检测方法 | |
| WO2022047744A1 (zh) | 一种用于地图的路面提取方法及装置 | |
| CN109583312A (zh) | 车道线识别方法、装置、设备及存储介质 | |
| CN107220632B (zh) | 一种基于法向特征的路面图像分割方法 | |
| CN116508071A (zh) | 用于注释汽车雷达数据的系统和方法 | |
| CN117389288A (zh) | 一种基于深度图像的机器人避绕障方法及系统 | |
| Mutz et al. | Following the leader using a tracking system based on pre-trained deep neural networks | |
| CN110727269B (zh) | 车辆控制方法及相关产品 | |
| CN117423089A (zh) | 基于图像分割与雷达点云的可行驶区域拟合方法及设备 | |
| CN115482282A (zh) | 自动驾驶场景下具有多目标追踪能力的动态slam方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |