CN115797900B - 基于单目视觉的车路姿态感知方法 - Google Patents
基于单目视觉的车路姿态感知方法 Download PDFInfo
- Publication number
- CN115797900B CN115797900B CN202111056609.7A CN202111056609A CN115797900B CN 115797900 B CN115797900 B CN 115797900B CN 202111056609 A CN202111056609 A CN 202111056609A CN 115797900 B CN115797900 B CN 115797900B
- Authority
- CN
- China
- Prior art keywords
- road
- coordinate system
- information
- intelligent vehicle
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000004888 barrier function Effects 0.000 claims abstract description 17
- 230000009466 transformation Effects 0.000 claims abstract description 17
- 238000013135 deep learning Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000003708 edge detection Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 26
- 238000005457 optimization Methods 0.000 description 23
- 230000008447 perception Effects 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 241000282414 Homo sapiens Species 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 8
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000013433 optimization analysis Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- SAZUGELZHZOXHB-UHFFFAOYSA-N acecarbromal Chemical compound CCC(Br)(CC)C(=O)NC(=O)NC(C)=O SAZUGELZHZOXHB-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Traffic Control Systems (AREA)
Abstract
本公开实施例涉及一种基于单目视觉的车路姿态感知方法，包括：智能车视觉系统接收智能车前方指定区域的驾驶图像信息；采用深度学习的方法对所述驾驶图像信息进行分割标注，确定可通行区域和非可通行区域；基于透视投影变换模型对所述可通行区域进行转换处理，并获取可通行区域在RTK大地坐标下的数字化道路信息；基于智能车上的激光雷达和超声波，获取障碍物信息并转换至RTK大地坐标系下；基于所述RTK大地坐标下的可通行区域的数字化道路信息和障碍物信息，获取智能车相对于当前可通行道路的车路姿态信息。通过本方法可快速获取可通行道路的信息，并完成当前道路环境车路姿态的检测和跟踪。
Description
技术领域
本申请属于智能驾驶技术领域，具体涉及一种基于单目视觉的车路姿态感知方法。
背景技术
无人驾驶汽车作为人工智能技术在汽车行业、交通领域的延伸与应用，近几年在世界范围内受到了产学界甚至国家层面的密切关注，它的安全行驶依赖对道路环境的精确感知。对于无人车，道路环境可被划分为结构化道路和非结构化道路。结构化道路因其具有清晰的道路边界，路面均匀平整具有一致的光学性质，无人车很容易依据对道路标记线的检测定位，及时调整自己的方向。而现实环境中存在大量道路特征不明显的非结构化道路区域，由于缺乏明显的路面标识，其边际模糊，不同道路的差异性很大，并且经常会出现影响识别结果的未知因素，再加上离线高精地图对非结构化道路人工标注信息时常缺失，因此非结构化道路环境感知是无人驾驶的难点。事实上，人类驾驶汽车的时候并不需要高精度地图，仅需要感知汽车在道路的相对位置(左、中、右)即可。
鉴于此，当前研究人类驾驶汽车体验，并利用单车的雷达、视频、激光等传感器实现道路感知，即对道路本身、道路环境进行识别，如何借助于人类驾驶汽车的模式实现对道路参与主体的位置、速度以及运动方向进行识别，进而智能车智能系统进行高效地决策和控制，成为当前亟需解决的技术问题。
发明内容
(一)要解决的技术问题
鉴于现有技术的上述缺点、不足，本申请提供一种基于单目视觉的车路姿态感知方法。
(二)技术方案
为达到上述目的，本申请采用如下技术方案：
第一方面，本申请提供一种基于单目视觉的车路姿态感知方法，该方法包括：
A10、智能车视觉系统接收智能车前方指定区域的驾驶图像信息；
A20、通过深度学习的方法对所述驾驶图像信息进行分割标注，确定可通行区域和非可通行区域；
A30、基于透视投影变换模型对所述可通行区域进行转换处理，并获取可通行区域在RTK大地坐标下的数字化道路信息；
A40、基于智能车上的激光雷达和超声波，获取障碍物信息并转换至RTK大地坐标系下；
A50、基于所述RTK大地坐标下的可通行区域的数字化道路信息和障碍物信息，获取智能车相对于当前可通行道路的车路姿态信息。
可选地，所述A10包括：
智能车的单目相机实时采集智能车前方驾驶图像信息，并将采集的驾驶图像信息发送智能车视觉系统。
可选地，所述A20包括：
利用Mask R-CNN深度学习网络模型检测驾驶图像信息中道路的可通行区域和非可通行区域，并进行分割标注，获取驾驶图像信息中的可通行区域和非可通行区域。
可选地，所述A30包括：
A31、根据透视投影变换模型将智能车驾驶场景的摄像机视图转换到从上到下的虚拟鸟瞰视图，并将鸟瞰图进行二值化处理；
A32、基于二值化处理后的鸟瞰图，利用Canny边缘检测算子提取可通行区域的道路边界，并进行多项式曲线拟合，得到道路边界的曲线方程；
A33、基于道路世界坐标系、相机坐标系和图像坐标系之间坐标转换关系，获取图像坐标系中的每个像素(u,v)在道路投影面P上的绝对位置M(x0,y0,z0)：并确定可通行区域的道路边界在道路投影面的绝对位置；
其中，道路世界坐标系、相机坐标系和图像坐标系之间坐标转换关系为利用已知相机距离道路平面的高度信息和物像关系式计算的；
A34、利用车载RTK经纬度坐标通过坐标变换得到相机坐标系的经纬度坐标，实现从路面坐标系下可通行区域的边界米制坐标向RTK经纬度坐标的对齐变换，得到RTK大地坐标系下可通行区域道路边界经纬度坐标和道路边界拟合曲线起始点的方位角θ；
所述可通行区域的道路边界在大地坐标系下的经纬度坐标和可通行区域道路边界拟合曲线起始点的方位角θ组成数字化道路信息。
可选地，所述A33包括：
假设相机的内参矩阵中焦距f，光心(u0,v0)已知，智能车相对于路面的侧倾角和俯仰角都为0，相机高度zc＝hcam,则根据相机模型得到：
相机坐标系与路面坐标系互相平行，YC是镜头面法线(相机深度方向)，P是路面的切面，ZC和z方向同为路面的法线，x,y是相机坐标系XC,YC在路面的投影，O道路是相机坐标系原点O相机在路面切面上的投影，则道路投影面上点M在路面坐标系的坐标为(xc,yc,0)，通过公式(1)实现图像坐标系和路面坐标系从像素到米的尺度转换，从而确定可通行区域的道路边界在道路投影面的绝对位置；所述相机为智能车上安装的单目相机。
可选地，所述A34包括：
其中θ＜10°或θ＞350°为"东"，10°＜θ＜80°为"东北"；
80°＜θ＜100°为"北"，100°＜θ＜170°为"西北"；
170°＜θ＜190°为"西"，190°＜θ＜260°为"西南"；
260°＜θ＜280°为"南"，280°＜θ＜350°为"东南"。
可选地，A40包括：
获取智能车上激光雷达和超声波检测的障碍物信息；
将获取的障碍物信息转换到RTK大地坐标系下。
可选地，A50包括：
实时获取RTK大地坐标系下当前道路左右两侧可通行区域道路边界位置信息；
实时获取RTK大地坐标系下智能车与当前可通行道路边界相对方位信息；
根据RTK大地坐标系下智能车与道路的相对方位和道路边界，将智能车所在位置划分为极左，左，中，右，极右五个等级，进而判断智能车当前所处的道路状态(如顺行或逆行)。
总之，车路姿态信息的确定就是要解决智能车在哪，智能车面对的道路的方向和边缘，以及智能车所处在路的相对位置等问题。
第二方面，本发明实施例还提供一种嵌入式处理系统，包括：存储器、处理器，所述存储器上存储有计算机程序，所述处理器执行所述存储器中存储的计算机程序(例如该计算机程序可以在机器人操作系统ROS下实现运行或)，以实现执行上述第一方面任一所述的一种基于单目视觉的车路姿态感知方法的步骤。
第三方面，本发明实施例还提供一种智能车，包括安装在智能车前方的单目相机，以及激光雷达和多个传感器，还包括上述第二方面所述的嵌入式处理系统，所述单目相机、激光雷达和多个传感器均与所述嵌入式处理系统通信。
第四方面，本发明实施例还提供一种基于稀疏导航地图的路径规划优化方法，该方法包括：
B10、智能车视觉系统获取智能车上感测设备感测的障碍物信息和智能车前方指定区域的驾驶图像信息；
B20、所述智能车视觉系统将所述障碍物信息转换到RTK大地坐标系下，同时确定驾驶图像信息中的可通行区域并将确定的可通行区域转换到RTK大地坐标系下，获取可通行区域在RTK大地坐标下的数字化道路信息；
B30、依据已知稀疏导航地图和智能车的位置信息，获取稀疏导航数据；
B40、依据RTK坐标系下可通行区域的数字化道路信息和智能车安全距离为约束条件、结合二维经纬度栅格地图障碍物的信息，对所述稀疏导航数据进行碰撞检测，以获取优化后的导航数据；
B50、基于优化后的导航数据，采用A*算法获取智能车的最优路径规划方案。
可选地，B10包括：
B11、智能车视觉系统接收智能车前方指定区域的驾驶图像信息；
B12、基于智能车上的激光雷达和超声波，获取障碍物信息。
可选地，B20包括：
B21、对所述驾驶图像信息进行分割标注，确定可通行区域和非可通行区域；
B22、基于透视投影变换模型对所述可通行区域进行转换处理，并获取可通行区域在RTK大地坐标下的数字化道路信息；
B23、基于智能车上的激光雷达和超声波，获取障碍物信息并转换至RTK大地坐标系下。
可选地，B40包括：
B41、将稀疏导航数据的各导航点与视觉导航得到道路方向进行差异性分析，并将导航数据进行垂直投射，形成新的导航路径；
B42、以智能车安全距离和RTK大地坐标系下可通行区域的数字化道路信息为约束条件，对新的导航路径进行碰撞检测，确定第一次优化后的路径；
B43、依据RTK大地坐标系下的障碍物信息，建立二维经纬度栅格地图；
B44、将第一次优化后的路径在二维经纬度栅格地图中进行投影，获得路径数据；
B45、将投影的路径数据和障碍物信息进行碰撞检测，获得获取优化后的导航数据。
可选地，B50包括：
以当前智能车在栅格地图位置为起点M，优化后的导航数据的第一个点为终点N，已知道路边界和障碍物位置信息的情况下用A*寻路算法找到从M点到N点的最短路径，以此类推，从而实现稀疏导航地图模式下的智能车实时道路规划；
起点和终点为优化导航路径上的相邻两个路径点，导航的最短路径是由离散的路径点连线组成的。
(三)有益效果
本申请提供的技术方案可以包括以下有益效果：
本发明的方法首先结合轻量化单目图像分割网络模型获取可通行道路区域，并通过透视投影变换实现从路面坐标系下可通行区域边界米制坐标向RTK经纬度坐标的对齐变换，完成当前道路环境车路姿态的检测和跟踪。
区别于当前自动驾驶汽车利用高精度地图和高精度定位(厘米级别)来进行道路场景的感知和决策，基于车路姿态的概念，使得本发明的方法可以实现模仿人类驾驶汽车泛用性极强的感知，米级别的弱定位特点，即仅需要感知汽车在道路的相对位置(左、中、右)驾驶体验。
进一步地，在获取车路姿态信息之后，可对全局导航的稀疏拓扑图与当前实际物理世界道路进行差异性优化分析；最后在智能车局部感知系统中优化生成一个可通行的车辆规划轨迹，从而实现无先验地图模式下的智能车道路检测和路径优化。
附图说明
图1A为本发明一实施例提供的基于单目视觉的车路姿态感知方法的流程图；
图1B为本发明一实施例提供的基于稀疏导航地图的路径规划优化方法的流程图；
图2为采用Mask R-CNN深度学习模型分割可通行区域的示意图；
图3为采用对图2分割的可通行区域转换鸟瞰图并二值化后的示意图；
图4为鸟瞰图视角下得到通行区域曲线道路拟合效果的示意图；
图5为像平面和道路投影面转换关系的示意图；
图6为RTK大地坐标系下课通行区域道路边界栅格地图的示意图；
图7为非结构化道路环境车路姿态感知的示意图；
图8为高德稀疏导航地图给出的火车站站前广场错误导航数据的示意图；
图9为在高德错误导航数据基础上优化得到的导航路径示意图；
图10为智能车在稀疏导航地图基础上优化得到的导航数据的示意图；
图11为智能车在优化路径上的A*寻路轨迹的示意图；
图12为碰撞检测的示意图。
具体实施方式
为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。可以理解的是，以下所描述的具体的实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合；为了便于描述，附图中仅示出了与发明相关的部分。
当前，研究人类驾驶汽车体验，尤其是在高德或百度等稀导航地图模式下感知道路方法，即对道路本身、道路环境进行识别，对道路参与主体的位置、速度以及运动方向进行识别，并转化为数字化道路信息便于智能车智能系统进行高效地决策和控制，对未来智能车自动驾驶实现真正的商业化落地具有重要意义。
目前国内外关于数字化道路感知方法研究主要可以分为基于视觉传感器、基于雷达等距离传感器以及基于多种传感器数据融合三类。
基于视觉是指通过对车载摄像头获得的图像数据进行一系列处理，大体可分为基于道路边界和基于区域分割两种算法。基于道路边界的方法主要利用边缘、颜色等特征提取道路的边界线或消失点获取道路区域；基于区域分割的算法主要通过对道路图像进行区域分割聚类等方法，再利用道路的颜色、纹理等多特征信息融合，将道路区域分割出来。由于视觉传感器成本较低，且与人眼所得到的数据类似，直观便于研究，视觉传感器被广泛应用于当前道路识别。视觉传感器的缺陷在于图像容易受到光照、阴影、道路与周围环境区分程度较小等因素影响。
基于雷达是指通过对车载多线激光雷达获得的3D点云数据进行拼接处理生成点云高精地图，并利用点云纵向空间特征进行聚类，识别周围环境中的障碍物，最终为智能车的自主行驶提供栅格地图。激光雷达优点在于可以实现全天候不受光线干扰的道路及道路参与主体的感知识别，并进行较为准确的距离测量和速度测量。缺陷之一在于其分辨率较低，无法准确探测到距离稍微远一点的人、两轮车或动物，此外其无法识别道路的标志标线，裂纹，坑洼，路基，护栏，立杆等非结构化小目标，缺陷之二在于前后贴近的目标无法准确区分，而且点云拼接结果依赖于现场的实际三维结构，在结构化道路中，基本可以期待由中间的马路与两侧的路牙、树木、护栏组成；但在非结构化道路中，很难对场景结构有一个先验的知识，经常出现点云失效的场景，例如，在广场、商业街、单侧台阶、地上停车场等场景下会导致点云地图失效，此时就需要用其它传感器来进行补偿修复。
考虑到图像具有较好的横向纹理特征，而点云能够提供可靠的纵向空间特征。近年来有学者提出多车多传感器数据融合的道路识别和定位方案，旨在结合两种数据各自的优势，通过提高信息冗余程度来增强道路识别和定位准确率。即借助单车的雷达、视频、激光等传感器进行道路感知，然后通过车车通信，车云通信实现多辆车感知数据的共享，最终实现道路的精准全域感知。但是这个方案实现的前提是道路上所有车辆都装有各种传感器，这在极个别局部的受限环境下可能可以实现，如智慧矿山、智慧码头、智慧园区等，但在广域的道路上显然是不现实的，因此很难满足当前智能车城镇、乡村场景应用需求。
鉴于此，本发明模仿人在没有高精度先验地图模式下驾驶汽车体验，为保证智能车安全行驶的前提下有效降低道路感知方法的复杂度和计算量，提出了一种基于稀疏导航地图的车路姿态感知方法。
实施例一
区别于当前自动驾驶汽车利用高精度地图和高精度定位(厘米级别)来进行道路场景的感知和决策，本实施例的方法主要是模仿人类驾驶汽车强感知，弱定位的特点，仅需要感知汽车在道路的相对位置(左、中、右)驾驶体验，提出了获取车路姿态的概念，即通过将激光雷达和超声波得到的障碍物信息以及图像得到的道路方向和边界统一转换到车载GPS-RTK大地坐标系下，从而获得智能车与当前道路环境的相对方位(极左，左，中，右，极右)，方便智能车决策系统(如智能车视觉系统或控制系统)根据当前道路环境变化实时调整转向和速度。
本发明实施例提供一种基于单目视觉的车路姿态感知方法，该方法包括：
A10、智能车视觉系统接收智能车前方指定区域的驾驶图像信息。
举例来说，本实施例中智能车上设置有多个单目相机，如智能车前方可设置多个单目相机，进而借助于单目相机实时采集智能车前方驾驶图像信息，并将采集的驾驶图像信息发送智能车视觉系统。
本实施例中指定区域的驾驶图像信息中的最短范围宽为50m，长为30m，视场角为80°。
本实施例中不限定就是单目相机，还可以使用其他相机能获取上述最小范围的驾驶图像信息即可。
A20、通过深度学习的方法对所述驾驶图像信息进行分割标注，确定可通行区域和非可通行区域。
例如，可利用Mask R-CNN深度学习网络模型实现检测驾驶图像信息中道路的可通行区域和非可通行区域，并进行分割标注，获取可通行区域和非可通行区域。本实施例中仅以MASK R-CNN深度学习网络模型进行举例说明，并不对其限定。也就是说图像分割标注方法还可用其他图像分割方法实现道路分割。
A30、基于透视投影变换模型对所述可通行区域进行转换处理，并获取可通行区域在RTK(Real Time Kinematic，实时动态测量)大地坐标下的数字化道路信息。
在本实施例中，数字化道路信息可包括大地经纬度坐标下的道路边界位置和道路方向。
A40、基于智能车上的激光雷达和超声波，获取障碍物信息并转换至RTK大地坐标系下。
A50、基于所述RTK大地坐标下的可通行区域的数字化道路信息和障碍物信息，获取智能车相对于当前可通行道路的车路姿态信息。
本实施例中的车路姿态信息可包括，智能车的位置信息，道路的信息等，例如，RTK大地坐标系下智能车与当前可通行道路相对方位信息、当前道路左右两侧可通行区域边界、根据RTK大地坐标系下智能车与道路的相对方位和道路边界，将智能车所在位置划分为极左，左，中，右，极右五个等级，进而判断智能车当前所处的道路状态(顺行，逆行)等。其主要解决智能车在哪，智能车面对的道路的方向和边缘，以及智能车所处在路的哪个位置等问题。
与现有利用高精度导航地图的无人驾驶技术相比，本实施例中采用轻量化的单目图像对前方道路环境(例如由路沿台阶、车辆行人、土堆等复杂障碍物组成的可通行区域)进行识别和检测，并通过车载RTK经纬度坐标实现从路面坐标系下可通行区域边界米制坐标向RTK经纬度坐标的对齐变换，进而获得大地坐标系下可通行区域道路边界和道路方向。
实施例二
本发明实施例提供基于稀疏导航地图的路径规划优化方法，该方法包括：
B10、智能车视觉系统获取智能车上感测设备感测的障碍物信息和智能车前方指定区域的驾驶图像信息。
举例来说，该步骤可包括下述的子步骤：
B11、智能车视觉系统接收智能车前方指定区域的驾驶图像信息；
B12、基于智能车上的激光雷达和超声波，获取障碍物信息。
B20、智能车视觉系统将所述障碍物信息转换到RTK大地坐标系下，同时确定驾驶图像信息中的可通行区域并将确定的可通行区域转换到RTK大地坐标系下，获取可通行区域在RTK大地坐标下的数字化道路信息。
B30、依据已知稀疏导航地图和智能车的位置信息，获取稀疏导航数据；
B40、依据RTK坐标系下可通行区域的信息和智能车安全距离为约束条件、结合二维经纬度栅格地图障碍物的信息，对所述稀疏导航数据进行多次碰撞检测，以获取优化后的导航数据。
举例来说，该步骤可包括下述的图中未示出的子步骤：
B41、将导航数据的各导航点通过视觉导航得到道路方向，并将导航数据进行垂直投射，形成新的导航路径。
B42、以智能车安全距离(如前后各5m，左右各1m内无障碍物)和RTK大地坐标系下可通行区域的边界信息为约束条件，对新的导航路径进行碰撞检测，确定第一次优化后的路径。
该处的约束条件可包括激光雷达感知的障碍物约束条件，以及单目相机感知到的甬道左右边界约束等。
B43、依据RTK大地坐标系下的障碍物信息，建立二维经纬度栅格地图(参见CN111928862A中建立栅格地图的方法)。
B44、将第一次优化后的路径在栅格地图中进行投影，获得路径数据；
B45、将投影的路径数据和障碍物信息进行碰撞检测，获取优化后的导航数据。
B50、基于优化后的导航数据，采用A*算法获取智能车的最优路径规划方案。
例如，以当前智能车在栅格地图位置为起点M，优化后的导航数据的第一个点为终点N，已知道路边界和障碍物位置信息的情况下用A*寻路算法找到从M点到N点的最短路径，从而实现稀疏导航地图模式下的智能车实时道路规划；
起点和终点为优化导航路径上的相邻两个点，导航的最短路径是由离散的路径点连线组成的。举例来说，每个相邻的路径点大概为4米左右，在每两个相邻的路径点4米范围内用A*(最短路径算法)进行寻路，寻路的目的是绕着障碍物和甬道边界自主行走，而且保证走的距离最短。
本实施例中考虑到当前大规模高精度地图采集方案成本高、效率低，限制了无人驾驶技术发展。而低成本稀疏导航地图(如高德或百度地图)在城市非主干道路经常出现定位导航失效的情况，通过对低成本稀疏导航地图与当前传感器获取的实际物理世界道路环境进行二次差异性优化分析，并通过反复碰撞检测，最后在智能车局部感知栅格地图中生成一个车辆可通行的优化路径，从而有效纠正了高德稀疏地图错误导航路线，打破自动驾驶技术对高精度导航地图的依赖，为无高精度先验地图模式下智能车正常行驶提供安全可靠的导航和路径规划。
实施例三
本实施例的方法用于面向陌生环境中无先验地图模式下自主行驶的技术需求，公开了一种基于稀疏导航地图的车路姿态感知方法和路径规划优化方法。这两个方法中均可利用深度学习MASK-RCNN网络模型对当前道路可行驶区域进行分割检测(其他实施例中可选择其他网络模型，本实施不限定)，然后通过透视投影变换将激光雷达点云检测障碍物和MASK-RCNN图像分割得到道路边界信息统一到RTK世界坐标系，完成当前道路环境车路姿态的检测和跟踪。在路径规划优化方法中，考虑到稀疏导航地图仅能提供粗略的导航信息，结合视觉和激光雷达数据得到当前道路实际物理环境与稀疏导航地图的差异性进行两次路径优化，最终生成一个可通行的车辆规划轨迹，从而实现陌生环境下无先验地图模式下的道路检测和路径规划。
结合图1B至图11，对基于稀疏导航地图的车路姿态感知方法以及路径规划优化方法进行详细的说明，车路姿态感知方法可包括下述的步骤1和步骤2；路径规划优化方法可包括下述的步骤1至步骤5。具体说明如下：
步骤1：基于MASK-RCNN单目图像分割可行驶区域3D道路检测。
本步骤中单目相机采集的就是摄像机视图，下述将摄像机视图转换为鸟瞰视图主要是为了方便道路边界曲线方程的准确拟合。
上述步骤实现从图像中分割出前景(如道路等可通行区域)和背景(如非可通行区域)。
在该步骤中，多项式曲线拟合用于确定道路边界和道路方向。需要说明的是，多项式曲线拟合的是道路边缘曲线，是二维图像信息，需要用坐标系变化转为绝对位置信息，之所以在图像上进行道路拟合是为了减少曲线拟合计算量。
具体说明如下：
假设相机(即前述的位于智能车前方的单目相机)的内参矩阵中焦距f，光心(u0,v0)已知，车辆相对于路面的侧倾角和俯仰角都为0(侧倾角和俯仰角指的是图5中道路坐标系和摄像机坐标系的相对Y轴和X轴的倾斜角)，相机高度(即相机距离地面的高度)zc＝hcam,则根据相机模型可以得到：
由图5所示可知，相机坐标系与路面坐标系互相平行，YC是镜头面法线(相机深度方向)，P是路面的切面，ZC和z方向同为路面的法线，x,y是相机坐标系XC,YC在路面的投影，O道路是相机坐标系原点O相机在路面切面上的投影，则可知道路投影面上点M在路面坐标系的坐标为(xc,yc,0)，即通过公式(1)可以实现图像坐标系和路面坐标系从像素到米的尺度转换，从而确定道路可通行区域边界线在道路投影面的绝对位置，该绝对位置可对应数字化道路信息的道路边界。
其中θ＜10°或θ＞350°为"东"，10°＜θ＜80°为"东北"；
80°＜θ＜100°为"北"，100°＜θ＜170°为"西北"；
170°＜θ＜190°为"西"，190°＜θ＜260°为"西南"；
260°＜θ＜280°为"南"，280°＜θ＜350°为"东南"。
步骤2：基于图像、雷达和RTK多传感器复合的车路姿态感知。
这里所说的车路姿态感知是模拟人类驾驶汽车强感知，弱定位特点，仅需要感知汽车在道路的相对位置(左、中、右)驾驶体验，主要包括以下三个内容：
1)实时获取的RTK大地坐标系下当前道路左右两侧可通行区域道路边界位置信息；
2)实时获取的RTK大地坐标系下智能车与当前可通行道路边界相对方位信息；
3)根据RTK大地坐标系下智能车与道路的相对方位和道路边界，将车辆所在道路相对位置划分为极左，左，中，右，极右五个等级，进而判断智能车当前所处的道路状态(如顺行或逆行)。
举例来说，车路姿态感知就是智能车驾驶方向和速度根据图像传感器、激光雷达和超声波检测得到的道路环境变化进行随时调整。如图7所示的非结构化道路环境车路姿态感知示意图。图7中左侧为绿化带，右侧为停车位，没有明显的道路标记线，利用视觉传感器图像分割可以得到可通行区域的道路边界和方位(如星号所示)，利用超声波测距得到智能车附近障碍物信息(如波浪线所示)，假设超声波探测到小车右侧障碍物距离为d1，车载摄像头检测得到智能车左侧道路边界距离为d2，则可以根据d1与d2比值确定车辆所在道路方位，例如当10％＜d1/d2＜30％，则可以认为智能车在道路的右方位。
步骤3：结合稀疏导航地图与视觉道路检测第一次路径优化。
考虑到低成本稀疏导航地图在城市非主干道路上导航定位经常出错，如图8所示为高德地图在霸州市火车站站前广场的导航结果，本来应该是长方形直角的拐弯道路，高德地图上显示的却是向西的弯曲导航线，如果按高德地图错误导航数据将会使智能车行驶在广场的绿化带上，因此有必要根据步骤1视觉导航得到的道路实际方向与当前高德稀疏导航地图进行差异性分析。
特别说明，本实施例中以高德导航进行举例说明，并不限定仅仅就是高德导航数据，在实际高德地图的导航数据都是离散的经纬度导航点。
如图9所示，图中正方形虚线为高德稀疏导航数据，斜杠线为视觉检测到道路的边界线，菱形虚线为反复碰撞检测最终确定下来的优化路径。
步骤4：结合激光雷达栅格地图的第二次路径优化。
如图10所示为二次优化路径示意图，长条虚线为高德稀疏导航地图给出的错误导航数据，灰色实线为步骤1拟合出来可通行区域甬道边缘，与灰色实线交合的虚线为激光雷达探测得到的障碍物，方点虚线为二次优化后的最终导航数据。
关于第一次路径优化和第二次路径优化说明如下：
第一次路径优化可以理解为宏观稀疏的地图优化，相当于离线地图的规划，此时地图上只有一些基本的路况静态信息，比如说路、建筑、绿化带等不变的信息。
第二次路径规划可以理解为微观精确的地图规划，通常栅格地图是有刷新频率的，通过将第一次路径优化的地图投影到栅格地图后，就可以对道路中静态和动态的障碍物进行实时判别，比如道路中突然迎面行驶一辆车，或者道路一侧正在施工或者临时停了一辆洒水车，这些是无法在稀疏导航地图中看到，必须亲临现场通过视觉或者激光雷达等传感器探测得到。第二次路径规划就是让智能车能够感知这些在稀疏导航高德地图中看不到的路况信息，实现真正的自动驾驶，而不是人为辅助的自动驾驶。
上述步骤3和步骤4中均提及有碰撞检测，以下结合图12对碰撞检测进行说明。碰撞检测：以矩形与矩形碰撞检测为例介绍，实现的原理就是检测两个矩形是否重叠，如图12所示，假设矩形1的参数是：左上角的坐标是(x1,y1)，宽度是w1，高度是h1；矩形2的参数是：左上角的坐标是(x2,y2)，宽度是w2，高度是h2。
因此在检测两矩形框是否存在重叠区域数学上可以转化为比较中心点的坐标在X和Y方向上的距离和宽度的关系。即两个矩形中心点在X方向的距离△x的绝对值小于等于矩形宽度和的一半(w1+w2)/2，同时Y方向的距离的绝对值△y小于等于矩形高度和的一半(y1+y2)/2。
步骤5：利用A*算法在优化路径上寻路。
以当前智能车在栅格地图位置为起点M，二次优化的路径数据的第一个点为终点N，已知道路边界和障碍物位置信息的情况下用A*寻路算法找到从M点到N点的最短路径，从而实现稀疏导航地图模式下的智能车实时道路检测和跟踪。
需要说明的是，高德地图导航路径和优化后的路径都是离散的点，两两相邻的导航路径点间距为4-6米，本实施例是在这个范围内用A*算法避障。
如图11所示为智能车在优化路径上的A*寻路轨迹。其中，图中白色方块区域为激光雷达探测得到的障碍物，白色圆形虚点为二次优化路径轨迹，第一个白色圆形虚点为智能车在占用栅格地图当前位置(起点)，第三个白色圆形虚点为二次优化的路径数据的第一个点(终点)，红色实线为通过A*寻路算法得到的智能车安全行驶最短路径。
实施例四
本申请第三方面通过实施例三提供了一种嵌入式处理系统，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序(该计算机程序可以在机器人操作系统ROS实现运行)，计算机程序被处理器执行时实现如上实施例中任意一项所述的基于单目视觉的车路姿态感知方法的步骤。
嵌入式处理系统可包括：至少一个处理器、至少一个存储器、至少一个网络接口和其他的用户接口。其各个组件通过总线系统耦合在一起。可理解，总线系统用于实现这些组件之间的连接通信。总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。其中，用户接口可以包括显示器、键盘或者点击设备(例如，鼠标，轨迹球(trackball)或者触感板等。
可以理解，本实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
在本发明实施例中，处理器通过调用存储器存储的程序或指令，具体的，可以是应用程序中存储的程序或指令，处理器用于执行第一方面所提供的方法步骤。
上述本发明实施例揭示的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
另外，结合上述实施例中的基于单目视觉的车路姿态感知方法，本发明实施例可提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上方法实施例中的任意一种基于单目视觉的车路姿态感知方法。
本实施例中的嵌入式处理系统位于智能车中，智能车可以包括智能驾驶车辆或无人车等，本实施例不对其限定，本实施例的智能车中可设置各种传感器或相机，如单目相机和雷达等结构，该些结构可均与嵌入式处理系统通信连接或物理连接，其实现智能车的车路姿态感知方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
应当注意的是，在权利要求中，不应将位于括号之间的任何附图标记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。此外，需要说明的是，在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。
尽管已描述了本发明的优选实施例，但本领域的技术人员在得知了基本创造性概念后，则可对这些实施例做出另外的变更和修改。所以，权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也应该包含这些修改和变型在内。
Claims (8)
1.一种基于单目视觉的车路姿态感知方法，其特征在于，该方法包括：
A10、智能车视觉系统接收智能车前方指定区域的驾驶图像信息；
A20、通过深度学习的方法对所述驾驶图像信息进行分割标注，确定可通行区域和非可通行区域；
A30、基于透视投影变换模型对所述可通行区域进行转换处理，并获取可通行区域在RTK大地坐标下的数字化道路信息；
所述A30包括：A31、根据透视投影变换模型将智能车驾驶场景的摄像机视图转换到从上到下的虚拟鸟瞰视图，并将鸟瞰图进行二值化处理；
A32、基于二值化处理后的鸟瞰图，利用Canny边缘检测算子提取可通行区域的道路边界，并进行多项式曲线拟合，得到道路边界的曲线方程；
A33、基于道路世界坐标系、相机坐标系和图像坐标系之间坐标转换关系，获取图像坐标系中的每个像素(u,v)在道路投影面P上的绝对位置M(x0,y0,z0)：并确定可通行区域的道路边界在道路投影面的绝对位置；
其中，道路世界坐标系、相机坐标系和图像坐标系之间坐标转换关系为利用已知相机距离道路平面的高度信息和物像关系式计算的；
A34、利用车载RTK经纬度坐标通过坐标变换得到相机坐标系的经纬度坐标，实现从路面坐标系下可通行区域的边界米制坐标向RTK经纬度坐标的对齐变换，得到RTK大地坐标系下可通行区域道路边界经纬度坐标和道路边界拟合曲线起始点的方位角θ；
所述可通行区域的道路边界在大地坐标系下的经纬度坐标和可通行区域道路边界拟合曲线起始点的方位角θ组成数字化道路信息；
A40、基于智能车上的激光雷达和超声波，获取障碍物信息并转换至RTK大地坐标系下；
A50、基于所述RTK大地坐标下的可通行区域的数字化道路信息和障碍物信息，获取智能车相对于当前可通行道路的车路姿态信息；
所述A33包括：假设相机的内参矩阵中焦距f，光心(u0,v0)已知，智能车相对于路面的侧倾角和俯仰角都为0，相机高度zc＝hcam，则根据相机模型得到：
相机坐标系与路面坐标系互相平行，YC是镜头面法线即相机深度方向，P是路面的切面，ZC和z方向同为路面的法线，x,y是相机坐标系XC,YC在路面的投影，O道路是相机坐标系原点O相机在路面切面上的投影，则道路投影面上点M在路面坐标系的坐标为(xc,yc,0)，通过公式(1)实现图像坐标系和路面坐标系从像素到米的尺度转换，以确定可通行区域的道路边界在道路投影面的绝对位置；所述相机为智能车上安装的单目相机。
2.根据权利要求1所述的方法，其特征在于，所述A10包括：
智能车的单目相机实时采集智能车前方驾驶图像信息，并将采集的驾驶图像信息发送智能车视觉系统。
3.根据权利要求1所述的方法，其特征在于，所述A20包括：
利用Mask R-CNN深度学习网络模型检测驾驶图像信息中道路的可通行区域和非可通行区域，并进行分割标注，获取驾驶图像信息中的可通行区域和非可通行区域。
4.根据权利要求1所述的方法，其特征在于，所述A34包括：
其中θ＜10°或θ＞350°为"东"，10°＜θ＜80°为"东北"；
80°＜θ＜100°为"北"，100°＜θ＜170°为"西北"；
170°＜θ＜190°为"西"，190°＜θ＜260°为"西南"；
260°＜θ＜280°为"南"，280°＜θ＜350°为"东南"。
5.根据权利要求1所述的方法，其特征在于，A40包括：
获取智能车上激光雷达和超声波检测的障碍物信息；
将获取的障碍物信息转换到RTK大地坐标系下。
6.根据权利要求1所述的方法，其特征在于，A50包括：
实时获取的RTK大地坐标系下当前道路左右两侧可通行区域道路边界位置信息；
实时获取的RTK大地坐标系下智能车与当前可通行道路边界相对方位信息；
根据RTK大地坐标系下智能车与道路的相对方位和道路边界，将智能车所在位置划分为极左，左，中，右，极右五个等级，进而判断智能车当前所处的道路状态。
7.一种嵌入式处理系统，其特征在于，包括：存储器、处理器，所述存储器上存储有计算机程序，所述处理器执行所述存储器中存储的计算机程序，以实现执行上述权利要求1至6任一所述的一种基于单目视觉的车路姿态感知方法的步骤。
8.一种智能车，包括安装在智能车前方的单目相机，以及激光雷达和多个传感器，还包括上述权利要求7所述的嵌入式处理系统，所述单目相机、激光雷达和多个传感器均与所述嵌入式处理系统通信。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111056609.7A CN115797900B (zh) | 2021-09-09 | 2021-09-09 | 基于单目视觉的车路姿态感知方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111056609.7A CN115797900B (zh) | 2021-09-09 | 2021-09-09 | 基于单目视觉的车路姿态感知方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115797900A CN115797900A (zh) | 2023-03-14 |
| CN115797900B true CN115797900B (zh) | 2023-06-27 |
Family
ID=85473492
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111056609.7A Active CN115797900B (zh) | 2021-09-09 | 2021-09-09 | 基于单目视觉的车路姿态感知方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115797900B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116189114B (zh) * | 2023-04-21 | 2023-07-14 | 西华大学 | 一种车辆碰撞痕迹鉴定方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109829386A (zh) * | 2019-01-04 | 2019-05-31 | 清华大学 | 基于多源信息融合的智能车辆可通行区域检测方法 |
| CN111208839A (zh) * | 2020-04-24 | 2020-05-29 | 清华大学 | 一种实时感知信息与自动驾驶地图的融合方法及系统 |
| CN111332285A (zh) * | 2018-12-19 | 2020-06-26 | 长沙智能驾驶研究院有限公司 | 车辆避开障碍物的方法及装置、电子设备和存储介质 |
| CN113255520A (zh) * | 2021-05-25 | 2021-08-13 | 华中科技大学 | 基于双目视觉和深度学习的车辆避障方法与电子设备 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107505644B (zh) * | 2017-07-28 | 2020-05-05 | 武汉理工大学 | 基于车载多传感器融合的三维高精度地图生成系统及方法 |
| KR102146451B1 (ko) * | 2018-08-17 | 2020-08-20 | 에스케이텔레콤 주식회사 | 좌표계 변환 정보 획득 장치 및 방법 |
| CN110658531B (zh) * | 2019-08-23 | 2022-03-29 | 畅加风行(苏州)智能科技有限公司 | 一种用于港口自动驾驶车辆的动态目标追踪方法 |
| CN111679660B (zh) * | 2020-06-16 | 2022-08-05 | 中国科学院深圳先进技术研究院 | 一种融合类人驾驶行为的无人驾驶深度强化学习方法 |
| CN112101092A (zh) * | 2020-07-31 | 2020-12-18 | 北京智行者科技有限公司 | 自动驾驶环境感知方法及系统 |
| CN111928862B (zh) * | 2020-08-10 | 2023-11-21 | 廊坊和易生活网络科技股份有限公司 | 利用激光雷达和视觉传感器融合在线构建语义地图的方法 |
-
2021
- 2021-09-09 CN CN202111056609.7A patent/CN115797900B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111332285A (zh) * | 2018-12-19 | 2020-06-26 | 长沙智能驾驶研究院有限公司 | 车辆避开障碍物的方法及装置、电子设备和存储介质 |
| CN109829386A (zh) * | 2019-01-04 | 2019-05-31 | 清华大学 | 基于多源信息融合的智能车辆可通行区域检测方法 |
| CN111208839A (zh) * | 2020-04-24 | 2020-05-29 | 清华大学 | 一种实时感知信息与自动驾驶地图的融合方法及系统 |
| CN113255520A (zh) * | 2021-05-25 | 2021-08-13 | 华中科技大学 | 基于双目视觉和深度学习的车辆避障方法与电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115797900A (zh) | 2023-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11288521B2 (en) | Automated road edge boundary detection | |
| CN115774444B (zh) | 一种基于稀疏导航地图的路径规划优化方法 | |
| US11681746B2 (en) | Structured prediction crosswalk generation | |
| US11852729B2 (en) | Ground intensity LIDAR localizer | |
| US11670087B2 (en) | Training data generating method for image processing, image processing method, and devices thereof | |
| CN100494900C (zh) | 适用于自主移动车辆的环境感知的单目视觉导航方法 | |
| Zhu et al. | 3d lidar point cloud based intersection recognition for autonomous driving | |
| CN112346463B (zh) | 一种基于速度采样的无人车路径规划方法 | |
| CA2950791A1 (en) | Binocular visual navigation system and method based on power robot | |
| US20220363263A1 (en) | Automated bump and/or depression detection in a roadway | |
| Ye et al. | Robust lane extraction from MLS point clouds towards HD maps especially in curve road | |
| Rieken et al. | Toward perception-driven urban environment modeling for automated road vehicles | |
| CN109241855B (zh) | 基于立体视觉的智能车辆可行驶区域探测方法 | |
| Wang et al. | Map-enhanced ego-lane detection in the missing feature scenarios | |
| CN115797900B (zh) | 基于单目视觉的车路姿态感知方法 | |
| Xu et al. | Road lane modeling based on RANSAC algorithm and hyperbolic model | |
| KR102316818B1 (ko) | 도로 네트워크를 갱신하는 방법 및 장치 | |
| Guo et al. | Curb detection and compensation method for autonomous driving via a 3-D-LiDAR sensor | |
| Burger et al. | Unstructured road slam using map predictive road tracking | |
| Tian et al. | Vision-based mapping of lane semantics and topology for intelligent vehicles | |
| US20240208547A1 (en) | Route planning system and method of self-driving vehicle | |
| Yuan et al. | 3D traffic scenes construction and simulation based on scene stages | |
| Hongbo et al. | Relay navigation strategy study on intelligent drive on urban roads | |
| KR20220151572A (ko) | IPM 이미지와 정밀도로지도(HD Map) 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 방법 및 시스템 | |
| Zhao | Recognizing features in mobile laser scanning point clouds towards 3D high-definition road maps for autonomous vehicles |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A vehicle attitude perception method based on monocular vision Effective date of registration: 20231219 Granted publication date: 20230627 Pledgee: Bazhou Financing Guarantee Co.,Ltd. Pledgor: Langfang Heyi Life Network Technology Co.,Ltd. Registration number: Y2023980072844 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |