CN114120283A - 一种道路场景三维语义分割中未知障碍物的判别方法 - Google Patents

一种道路场景三维语义分割中未知障碍物的判别方法 Download PDF

Info

Publication number
CN114120283A
CN114120283A CN202111437760.5A CN202111437760A CN114120283A CN 114120283 A CN114120283 A CN 114120283A CN 202111437760 A CN202111437760 A CN 202111437760A CN 114120283 A CN114120283 A CN 114120283A
Authority
CN
China
Prior art keywords
road
dimensional
semantic segmentation
point cloud
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111437760.5A
Other languages
English (en)
Inventor
雷波
汤文豪
王晨晟
王密信
李忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
717th Research Institute of CSIC
Original Assignee
717th Research Institute of CSIC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 717th Research Institute of CSIC filed Critical 717th Research Institute of CSIC
Priority to CN202111437760.5A priority Critical patent/CN114120283A/zh
Publication of CN114120283A publication Critical patent/CN114120283A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种道路场景三维语义分割中未知障碍物的判别方法，先通过标定方法确定二维图像与三维点云的映射关系，再通过二维图像语义分割算法得到二维图像的语义分割结果，之后通过映射关系得到三维点云的语义分割结果，之后通过最小二乘平台拟合求取道路平面，再搜寻道路区域中的非道路点，最后通过3D区域生长标记未知道路障碍物。本发明相比于当前采用深度学习技术的环境感知方法，可以检测道路中的未知道路障碍物，提高了自动驾驶的安全性。

Description

一种道路场景三维语义分割中未知障碍物的判别方法
技术领域
本发明属于图像处理技术领域，涉及自动驾驶中三维点云与二维图像融合的环境感知方法，具体涉及一种道路场景三维语义分割中未知障碍物的判别方法。
背景技术
当前，激光雷达与可见光相机已经广泛应用于自动驾驶中。激光雷达提供场景中的点云信息，通过换算，可以得到每个点在某一坐标系下的三维坐标。可见光相机提供场景中的二维图像信息，可以得到场景在像平面上的颜色与纹理信息。当可见光相机与激光雷达的相对位置固定时，三维点云与二维图像在空间上存在一种映射关系，通过张正友标定法可以标定出一组参数，将点云坐标映射到二维图像中进行显示，也可以将图像中的每一个像素映射到三维空间坐标系中。
通过典型的基于深度学习二维语义分割算法，如Deeplab、Yolact等，可以对二维图像进行语义分割，对图像中的道路区域、行人、车辆与建筑物等进行像素级的分割。通过前述的映射关系，可以将二维图像中的分割结果映射到三维点云中，进而得到三维点云的语义分割结果。这类方法被广泛应用到无人驾驶的环境感知中。
然而，基于深度学习的语义分割算法需要事先对需要识别的目标进行标注，可以识别的目标种类都是事先预定好的。在实际的道路驾驶中，在道路中间可能会出现一些事先无法预见的道路障碍物，会对无人车本身的行驶安全带来威胁。
发明内容
本发明通过三维点云与二维图像的融合算法，提供一种道路场景三维语义分割中未知障碍物的判别方法，以解决神经网络模型不能识别未训练过的物体的问题，提高无人驾驶的安全性。
本发明解决其技术问题所采用的技术方案是：一种道路场景三维语义分割中未知障碍物的判别方法，包括如下步骤
(1)，通过标定方法确定二维图像与三维点云的映射关系；
(2)，通过二维图像语义分割算法得到二维图像的语义分割结果；
(3)，通过映射关系得到三维点云的语义分割结果；
(4)，通过最小二乘平台拟合求取道路平面；
(5)，搜寻道路区域中的非道路点；
(6)，通过3D区域生长标记未知道路障碍物。
其中，所述的步骤(1)是将激光雷达与可见光相机固连，形成一个三维点云与二维图像的融合采集系统，以激光雷达坐标系作为大地坐标系，忽略像空间坐标系与大地坐标系在Z方向的平移相对于目标的距离，认为Zc＝Zw，则图像上点的坐标与三维点云中对应点的坐标映射关系表示
Figure BDA0003382356610000021
令H＝A[RT]，作为图像平面与激光扫描平面的单应矩阵，求解单应矩阵H，得到每帧图像中的像素点与对应的激光点云之间的映射关系，进而进行数据融合与场景重建。
其中，所述的步骤(2)中建立标注数据集，对包括道路、人、车辆、建筑物在内的常见道路场景目标进行像素级标注，或者使用Cityscapes公开数据集，利用Yolact语义分割模型得到道路场景的图像语义分割结果。
其中，所述的步骤(3)中采集道路场景的三维点云数据与二维图像数据，通过标定求取得到变换矩阵H，得到三维点云中的语义分割结果。
其中，所述的步骤(4)中通过映射关系将三维点云映射到二维图像中，找到落在语义分割得到的道路区域中的点集Ω，Ω中只包含道路以及道路中的未知障碍物，其中的点记为pi(xi,yi,zi)∈Ω；
道路平面的方程可以写为z＝a0x+a1y+a2，其中a0,a1,a2可以通过解如下方程来计算：
Figure BDA0003382356610000031
其中，所述的步骤(5)中通过如下公式计算Ω中每一个点到道路拟合平面之间的距离：
Figure BDA0003382356610000032
设定一个阈值Th1，当di＞Th1时，可以认为pi(xi,yi,zi)不是道路中的点，而是属于Yolact模型无法识别的障碍物，令这些点组成的集合为Ψ。
其中，所述的步骤(6)中对集合Ψ中所有的点p′i(xi,yi,zi)进行遍历，计算每两个集合中点的距离，当点p′j(xj,yj,zj)与点p′i(xi,yi,zi)之间的距离小于阈值Th2时，认为这两个点属于同一个障碍物，其中Th2的取值应该接近激光雷达的空间分辨率；将图像中的区域生长算法扩展到3D点云空间中，即可得到一个或多个3D区域块，每个3D区域块代表一个道路障碍物。
本发明的有益效果是：本发明相比于当前采用深度学习技术的环境感知方法，可以检测道路中的未知道路障碍物，提高了自动驾驶的安全性。
附图说明
图1是本发明三维点云与二维图像的融合采集系统；
图2是本发明像空间坐标系与大地坐标系大致关系；
图3是本发明标定时所用的棋盘图标定板；
图4道路障碍物识别流程。
具体实施方式
下面将结合附图和具体实施方式对本发明作进一步的说明。
在自动驾驶所用的语义分割算法中，无法对未知道路障碍物进行识别。本发明利用三维点云与二维图像的融合结果，对图像道路区域对应的三维点云坐标进行平面拟合，再计算每一个点相对于拟合平面的距离。对于该距离大于一定阈值的点进行标记，再对所有以上点在3D空间内进行区域生长。最后将生长得到的每一个3D区域块标记为未知道路障碍物，以引导车辆对于行驶路线上的道路障碍物进行规避。
本发明公开的一种道路场景三维语义分割中未知障碍物的判别方法，先通过标定方法确定二维图像与三维点云的映射关系，再通过二维图像语义分割算法得到二维图像的语义分割结果，之后通过映射关系得到三维点云的语义分割结果，之后通过最小二乘平台拟合求取道路平面，再搜寻道路区域中的非道路点，最后通过3D区域生长标记未知道路障碍物。具体步骤如下。
(1)将激光雷达与可见光相机固连，形成一个三维点云与二维图像的融合采集系统，如图1所示。
以激光雷达坐标系作为大地坐标系，则像空间坐标系与大地坐标系大致关系如图2所示。其中，两个坐标系在Z方向的平移相对于目标的距离可以忽略，即可以认为Zc＝Zw，则图像上点的坐标与三维点云中对应点的坐标映射关系可以表示为
Figure BDA0003382356610000051
令H＝A[RT]，作为图像平面与激光扫描平面的单应矩阵，求解单应矩阵H，就能得到每帧图像中的像素点与对应的激光点云之间的映射关系，进而进行数据融合与场景重建。单应矩阵H是一个3行3列的矩阵，即有9个未知变量，由此可知，得到至少五组对应的像素平面特征角点坐标与激光扫描平面特征角点坐标，构成一个系数矩阵，此矩阵乘以自身的转置矩阵就得到一个半正定的系数矩阵，此半正定系数矩阵的最小特征值对应的特征向量就是单应矩阵H的初始值。通过在场景中设置如图3所示的黑白网格状标定板，可以求解H的值。
(2)建立常见道路场景目标的标注数据集，数据集中对常见的道路场景目标进行像素级标注，包括道路、人、车辆、建筑物等。也可以使用Cityscapes等公开数据集，利用Yolact语义分割模型可以得到道路场景的图像语义分割结果。
(3)采集道路场景的三维点云数据与二维图像数据，通过标定求取得到变换矩阵H，可以得到三维点云中的语义分割结果。
(4)通过映射关系将三维点云映射到二维图像中，找到落在语义分割得到的道路区域中的点集，记为Ω，其中的点记为pi(xi,yi,zi)∈Ω。此时，由于道路中的人和车辆等目标已被Yolact模型标记出来，Ω中只包含道路以及道路中的未知障碍物。
道路平面的方程可以写为z＝a0x+a1y+a2，其中，a0,a1,a2可以通过解如下方程来计算
Figure BDA0003382356610000061
(5)计算Ω中每一个点到道路拟合平面之间的距离：
Figure BDA0003382356610000062
设定一个阈值Th1，当di>Th1时，可以认为pi(xi,yi,zi)不是道路中的点，而是属于Yolact模型无法识别的障碍物，令这些点组成的集合为Ψ。
(6)对集合Ψ中所有的点p′i(xi,yi,zi)进行遍历，计算每两个集合中点的距离，当点p′j(xj,yj,zj)与点p′i(xi,yi,zi)之间的距离小于阈值Th2时，认为这两个点属于同一个障碍物。
Th2的取值应该接近激光雷达的空间分辨率。将图像中的区域生长算法扩展到3D点云空间中，即可得到一个或多个3D区域块，每个3D区域块代表一个道路障碍物。
上述实施例仅例示性说明本发明的原理及其功效，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (7)

1.一种道路场景三维语义分割中未知障碍物的判别方法，其特征在于：包括如下步骤
(1)，通过标定方法确定二维图像与三维点云的映射关系；
(2)，通过二维图像语义分割算法得到二维图像的语义分割结果；
(3)，通过映射关系得到三维点云的语义分割结果；
(4)，通过最小二乘平台拟合求取道路平面；
(5)，搜寻道路区域中的非道路点；
(6)，通过3D区域生长标记未知道路障碍物。
2.根据权利要求1所述的一种道路场景三维语义分割中未知障碍物的判别方法，其特征在于，所述的步骤(1)是将激光雷达与可见光相机固连，形成一个三维点云与二维图像的融合采集系统，以激光雷达坐标系作为大地坐标系，忽略像空间坐标系与大地坐标系在Z方向的平移相对于目标的距离，认为Zc＝Zw，则图像上点的坐标与三维点云中对应点的坐标映射关系表示
Figure FDA0003382356600000011
令H＝A[RT]，作为图像平面与激光扫描平面的单应矩阵，求解单应矩阵H，得到每帧图像中的像素点与对应的激光点云之间的映射关系，进而进行数据融合与场景重建。
3.根据权利要求2所述的一种道路场景三维语义分割中未知障碍物的判别方法，其特征在于，所述的步骤(2)中建立标注数据集，对包括道路、人、车辆、建筑物在内的常见道路场景目标进行像素级标注，或者使用Cityscapes公开数据集，利用Yolact语义分割模型得到道路场景的图像语义分割结果。
4.根据权利要求3所述的一种道路场景三维语义分割中未知障碍物的判别方法，其特征在于，所述的步骤(3)中采集道路场景的三维点云数据与二维图像数据，通过标定求取得到变换矩阵H，得到三维点云中的语义分割结果。
5.根据权利要求4所述的一种道路场景三维语义分割中未知障碍物的判别方法，其特征在于，所述的步骤(4)中通过映射关系将三维点云映射到二维图像中，找到落在语义分割得到的道路区域中的点集Ω，Ω中只包含道路以及道路中的未知障碍物，其中的点记为pi(xi,yi,zi)∈Ω；其中道路平面的方程写为z＝a0x+a1y+a2，通过解如下方程来计算a0,a1,a2：
Figure FDA0003382356600000021
6.根据权利要求5所述的一种道路场景三维语义分割中未知障碍物的判别方法，其特征在于，所述的步骤(5)中通过如下公式计算Ω中每一个点到道路拟合平面之间的距离：
Figure FDA0003382356600000022
设定一个阈值Th1，当di＞Th1时，可以认为pi(xi,yi,zi)不是道路中的点，而是属于Yolact模型无法识别的障碍物，令这些点组成的集合为Ψ。
7.根据权利要求6所述的一种道路场景三维语义分割中未知障碍物的判别方法，其特征在于，所述的步骤(6)中对集合Ψ中所有的点p′i(xi,yi,zi)进行遍历，计算每两个集合中点的距离，当点p′j(xj,yj,zj)与点p′i(xi,yi,zi)之间的距离小于阈值Th2时，认为这两个点属于同一个障碍物，其中Th2的取值应该接近激光雷达的空间分辨率；将图像中的区域生长算法扩展到3D点云空间中，即可得到一个或多个3D区域块，每个3D区域块代表一个道路障碍物。
CN202111437760.5A 2021-11-29 2021-11-29 一种道路场景三维语义分割中未知障碍物的判别方法 Pending CN114120283A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111437760.5A CN114120283A (zh) 2021-11-29 2021-11-29 一种道路场景三维语义分割中未知障碍物的判别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111437760.5A CN114120283A (zh) 2021-11-29 2021-11-29 一种道路场景三维语义分割中未知障碍物的判别方法

Publications (1)

Publication Number Publication Date
CN114120283A true CN114120283A (zh) 2022-03-01

Family

ID=80367811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111437760.5A Pending CN114120283A (zh) 2021-11-29 2021-11-29 一种道路场景三维语义分割中未知障碍物的判别方法

Country Status (1)

Country Link
CN (1) CN114120283A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114565616A (zh) * 2022-03-03 2022-05-31 湖南大学无锡智能控制研究院 一种非结构化道路状态参数估计方法及系统
CN115131360A (zh) * 2022-09-02 2022-09-30 海纳云物联科技有限公司 一种基于3d点云语义分割的道路坑洞检测方法及装置
CN116129112A (zh) * 2022-12-28 2023-05-16 深圳市人工智能与机器人研究院 一种核酸检测机器人的口腔三维点云分割方法及机器人
CN116381698A (zh) * 2023-06-05 2023-07-04 蘑菇车联信息科技有限公司 道路遗撒物的检测方法、装置及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210398A (zh) * 2019-06-03 2019-09-06 宁波智能装备研究院有限公司 一种三维点云语义分割标注方法
CN111666921A (zh) * 2020-06-30 2020-09-15 腾讯科技（深圳）有限公司 车辆控制方法、装置、计算机设备和计算机可读存储介质
CN111857111A (zh) * 2019-04-09 2020-10-30 商汤集团有限公司 对象三维检测及智能驾驶控制方法、装置、介质及设备
CN112308052A (zh) * 2020-12-29 2021-02-02 智道网联科技(北京)有限公司 一种道路异常区域检测方法、装置、电子设备及存储介质
CN112926395A (zh) * 2021-01-27 2021-06-08 上海商汤临港智能科技有限公司 目标检测方法、装置、计算机设备及存储介质
CN113111887A (zh) * 2021-04-26 2021-07-13 河海大学常州校区 一种基于相机和激光雷达信息融合的语义分割方法及系统
CN113298840A (zh) * 2021-05-26 2021-08-24 南京邮电大学 基于带电作业场景下的多模态物体检测方法、系统、装置及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111857111A (zh) * 2019-04-09 2020-10-30 商汤集团有限公司 对象三维检测及智能驾驶控制方法、装置、介质及设备
CN110210398A (zh) * 2019-06-03 2019-09-06 宁波智能装备研究院有限公司 一种三维点云语义分割标注方法
CN111666921A (zh) * 2020-06-30 2020-09-15 腾讯科技（深圳）有限公司 车辆控制方法、装置、计算机设备和计算机可读存储介质
CN112308052A (zh) * 2020-12-29 2021-02-02 智道网联科技(北京)有限公司 一种道路异常区域检测方法、装置、电子设备及存储介质
CN112926395A (zh) * 2021-01-27 2021-06-08 上海商汤临港智能科技有限公司 目标检测方法、装置、计算机设备及存储介质
CN113111887A (zh) * 2021-04-26 2021-07-13 河海大学常州校区 一种基于相机和激光雷达信息融合的语义分割方法及系统
CN113298840A (zh) * 2021-05-26 2021-08-24 南京邮电大学 基于带电作业场景下的多模态物体检测方法、系统、装置及存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114565616A (zh) * 2022-03-03 2022-05-31 湖南大学无锡智能控制研究院 一种非结构化道路状态参数估计方法及系统
CN114565616B (zh) * 2022-03-03 2022-12-09 湖南大学无锡智能控制研究院 一种非结构化道路状态参数估计方法及系统
CN115131360A (zh) * 2022-09-02 2022-09-30 海纳云物联科技有限公司 一种基于3d点云语义分割的道路坑洞检测方法及装置
CN116129112A (zh) * 2022-12-28 2023-05-16 深圳市人工智能与机器人研究院 一种核酸检测机器人的口腔三维点云分割方法及机器人
CN116381698A (zh) * 2023-06-05 2023-07-04 蘑菇车联信息科技有限公司 道路遗撒物的检测方法、装置及电子设备
CN116381698B (zh) * 2023-06-05 2024-03-12 蘑菇车联信息科技有限公司 道路遗撒物的检测方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN108647646B (zh) 基于低线束雷达的低矮障碍物的优化检测方法及装置
CN114120283A (zh) 一种道路场景三维语义分割中未知障碍物的判别方法
US9846812B2 (en) Image recognition system for a vehicle and corresponding method
Nedevschi et al. A sensor for urban driving assistance systems based on dense stereovision
WO2020160155A1 (en) Dynamic distance estimation output generation based on monocular video
CN111611853A (zh) 一种传感信息融合方法、装置及存储介质
CN111880191B (zh) 基于多智能体激光雷达和视觉信息融合的地图生成方法
CN110197173B (zh) 一种基于双目视觉的路沿检测方法
CN111723778B (zh) 基于MobileNet-SSD的车辆测距系统及方法
CN110717445A (zh) 一种用于自动驾驶的前车距离跟踪系统与方法
JP4344860B2 (ja) ステレオ画像を用いた道路平面領域並びに障害物検出方法
CN114399748A (zh) 一种基于视觉车道检测的农机实时路径校正方法
CN114972968A (zh) 基于多重神经网络的托盘识别和位姿估计方法
CN117409393A (zh) 一种焦炉机车激光点云与视觉融合障碍物检测方法及系统
CN114170499A (zh) 目标检测方法、跟踪方法、装置、视觉传感器和介质
CN113496163A (zh) 障碍物识别方法和装置
CN114677658B (zh) 十亿像素动态大场景图像采集和多目标检测方法及装置
CN114898144B (zh) 一种基于相机和毫米波雷达数据的自动对齐方法
KR20220151572A (ko) IPM 이미지와 정밀도로지도(HD Map) 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 방법 및 시스템
KR20230132325A (ko) 라이다를 이용한 차선 검출장치 및 방법
CN114152955A (zh) 一种基于slam技术的障碍物高精度识别系统
Sagar et al. A vison based lane detection approach using vertical lane finder method
CN112395985A (zh) 基于无人飞行器图像的地面无人车辆视觉道路检测方法
CN117152210B (zh) 基于动态观测视场角的图像动态追踪方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination