CN116311127A - 一种道路边界检测方法、计算机设备、可读存储介质及机动车 - Google Patents
一种道路边界检测方法、计算机设备、可读存储介质及机动车 Download PDFInfo
- Publication number
- CN116311127A CN116311127A CN202310260619.5A CN202310260619A CN116311127A CN 116311127 A CN116311127 A CN 116311127A CN 202310260619 A CN202310260619 A CN 202310260619A CN 116311127 A CN116311127 A CN 116311127A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- road
- boundary
- road boundary
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 51
- 238000001914 filtration Methods 0.000 claims abstract description 29
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 34
- 238000000034 method Methods 0.000 claims description 32
- 230000011218 segmentation Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 13
- 238000003491 array Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000002310 reflectometry Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 239000004575 stone Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000004568 cement Substances 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Nonlinear Science (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种道路边界检测方法、计算机设备、可读存储介质及机动车，涉及自动驾驶技术领域，运行自动驾驶的车辆通过所述道路边界检测方法识别检测道路的边界，所述道路边界检测方法包括如下步骤：对原始点云进行预处理；将原始点云根据障碍物类别进行分类，提取包含路边界的标签的点云；将提取的点云分为左右边点云；对左右边点云进行过滤，得到左右路边界候选点云；对左右路边界候选点云进行拟合，得到道路边界。本发明所提供的道路边界检测方法检测精度高，误检率低。
Description
技术领域
本发明涉及自动驾驶技术领域，具体涉及一种道路边界检测方法、计算机设备、可读存储介质及机动车。
背景技术
在自动驾驶领域中，基于3D激光雷达的感知方案可以实现高精度的环境场景检测，不仅可以探测到环境中的动态物体，也可以探测到环境中的静态物体。道路边界作为自动驾驶车辆必备的一项信息，对于车辆的可行驶区域确定以及车辆的行驶安全性至关重要。自动驾驶车辆行驶过程中，往往需要依赖道路边界信息。道路边界信息不仅可以生成可行驶区域，而且能够辅助车辆定位。正常行驶情况下，道路边界对于车辆是不可逾越的，它可以为车辆定位导航提供一个路径规划区间，因此准确的道路边界检测对于车辆自动驾驶以及辅助驾驶都是非常有意义的。
现有的基于激光雷达的道路边界检测方法，对于一些结构化的道路边界检测效果尚可，但对于非结构化的道路边界，例如植被覆盖的道路边沿、高速公路场景、道路中间的栅栏等非结构化场景，将难以检测出道路边界。同时，现有的方法中左右两侧道路的分割是将激光雷达的X坐标轴作为分界线，对于一些弯曲道路，将会出现误分割，导致分割的精度降低。并且，现有的道路边界拟合算法都是通过单一的二次抛物线拟合算法提取道路边界点。单一曲线拟合尤其在遮挡严重的场景存在着弊端。
发明内容
本发明旨在一定程度上解决相关技术中的技术问题之一。为此，本发明提供了一种道路边界检测方法，检测精度高，误检率低。
为了达到上述目的，本发明采用如下技术方案：
一种道路边界检测方法，运行自动驾驶的车辆通过所述道路边界检测方法识别检测道路的边界，所述道路边界检测方法包括如下步骤：
预处理：对原始点云进行预处理，形成二维数组；
语义分割：将原始点云根据障碍物类别进行分类，获得不同的语义标签，提取包含路边界的标签的点云；
割角：将提取的点云分为左边点云和右边点云；
滤波：对左边点云和右边点云进行过滤，得到左路边界候选点云和右路边界候选点云；
拟合：对左路边界候选点云和右路边界候选点云进行拟合，得到道路边界。
本发明所提供的技术方案，基于激光雷达点云语义，不依赖激光雷达的线束信息道路边界方法，相比于相机，可以很好的探测到场景物体的三维结构信息。通过深度学习训练语义分割模型，识别激光雷达点云中的不同类别，然后从包含道路边界的类别点云中提取道路边界信息，快速过滤掉干扰信息，具有良好的抗干扰能力，可以很好的区分出道路边界的遮挡物，有效解决了道路边界被车辆和行人遮挡的问题，保证了道路边界检测的精度和稳定性。即使车辆遮挡严重的道路边界，也可以区分检测出来，并可应用于机械激光雷达和固态激光雷达。
可选的，所述预处理步骤包括如下子步骤：
移除原始点云中X、Y、Z三个坐标通道中任意一个通道值为NaN无效点的点云数据；
将剩余点云数据转换为N×4的二维数组，所述二维数组的每一行数据为Ri(x,y,z,intensity)，包含点云数据的坐标信息以及每个点的反射率，所述二维数组的列数为每一帧点云的点数。
现有技术中虽然也存在对于点云数据的预处理，剔除点云数据中的NaN值点，以提升后续算法的处理效率。但是，本发明所提供的技术方案中预处理的目的与现有技术中预处理的目的不同。本发明中，预处理是为了将点云数据中的原始数据类型转换为卷积神经网络能够处理的矩阵数组，同时剔除掉数组中的无效点，保证数组数据的有效性，提升矩阵运算的效率。
可选的，所述语义分割步骤包括如下子步骤：
通过卷积神经网络对所述二维数组进行分割，将点云中的每个点设置相应的语义标签；
通过语义分割网络对具有语义标签的点云数据进行分类；
提取包含道路边界的语义标签对应的点云。
现有技术中，基于点云线束信息以及点云高程变化等方法，都是依赖于激光雷达点云的几何信息，容易受到动态障碍物遮挡的影响，同时需要进行地面过滤等操作，道路边界检测精度和稳定性都较差。而本发明所提供的技术方案，既不依赖激光雷达的线束信息道路边界方法，也不依赖激光点云的高程几何特征，充分考虑实际路面中的特殊情况，通过深度学习训练语义分割模型，识别激光点云中的不同类别，将激光雷达点云打上语义标签，通过类别标签分离出包含路边界的栅栏，水泥墙，交通标志物，路沿石等，从包含路边界的类别点云中提取道路边界信息，具有很好的抗干扰能力，检测精度较高，误检率低。
可选的，所述割角步骤包括如下子步骤：
将提取出的点云沿圆周方向划分为若干个扇形栅格，每个扇形栅格的圆心角为1°；
统计每个扇形栅格中的点的数量，保存数量为0的扇形栅格的角度位置标，并将数量为0的扇形栅格标注为1，其他扇形栅格标注为0；
对所有的标注进行中值滤波，得到扇形栅格数组，每个扇形栅格数组中保存标注值和扇形栅格的角度位置；
对所有标注为1的扇形栅格数组的角度位置进行排序，选择中间值作为道路的分割角，如果标注为1的扇形栅格数组的角度位置为0，则分割角为0；
按照如下公式划分左边点云和右边点云：
其中，pt为扇形栅格中的点，pt.x为扇形栅格中的点的x坐标，pt.y为扇形栅格中的点的y坐标，Pleft为左边点云，Pright为右边点云，α为分割角。
本发明提出一种新的道路路面检测方法，通过对语义分割之后的道路边界候选点云进行栅格化，统计栅格中点数为0的栅格所在的角度，然后通过中值滤波过滤掉一些异常值，过滤之后的非地面点云中间的区域将不再存在点云，由此可以较好地统计出前方道路趋势的角度。本发明所提供的技术方案，可以计算出道路分割角，提高道路分割的精度，同时还可以在环视激光雷达中检测检测道路的趋势，识别十字路口、三叉口以及弯道等场景，并能够较为准确将道路边界分割为左边界和右边界。
可选的，所述滤波步骤包括如下子步骤：
根据如下公式分别对左边点云和右边点云进行聚类，得到左聚类点云和右聚类点云：
其中，pi为第i个点，pj为第j个点，dthr为阈值；
分别计算左聚类点云和右聚类点云分别距离可行驶路面最近的点云簇的质心Y值；
根据如下公式对左边点云和右边点云进行筛选，得到左路边界区域点云和右路边界区域点云：
其中，Yright为右质心Y值，Yleft为左质心Y值，Pr_region为右路边界区域点云；Pl_region为左路边界区域点云；
通过距离滤波，从左路边界区域点云和右路边界区域点云中提取左路边界种子点和右路边界种子点；
分别对左路边界种子点和右路边界种子点进行曲率过滤，得到左路边界候选点云和右路边界候选点云。
可选的，从左路边界区域点云和右路边界区域点云中提取左路边界种子点和右路边界种子点包括如下步骤：
将左路边界区域点云和右路边界区域点云沿x轴方向进行格栅化，得到左格栅化点云和右格栅化点云；
在每个格栅中根据点云的Y轴方向的坐标进行删选，右格栅化点云中选择max(pt.y)作为右路边界种子点，左格栅化点云中选择min(pt.y)作为左路边界种子点。
现有技术中的其他方法，通常直接通过激光点云的线束曲率突变以及点云的高程突变等信息，提取道路边界的种子点。但是，现有技术中的这些方法，难以适用于没有圆周线束信息的固态激光雷达。同时，直接提取的种子点所含有的杂点很多，影响后续的拟合。而本发明通过滤波，克服了现有技术中的上述缺点，通过距离滤波找到沿着道路分割线方向上每一段的路沿种子点，其中左边路沿选择Y值最小的点，右边路沿选择Y值最大的点，通过这样可以提取到粗糙道路边界点云。不仅适用于各种3D激光雷达的道路边界路沿种子点的提取，同时也适用于视觉稠密点云的路边界种子点提取。
可选的，在所述拟合步骤中，计算左路边界候选点云和右路边界候选点云分别在车辆前进方向x轴向的最远距离，如果最远距离小于阈值，则采用一次多项式进行拟合，如果最远距离大于距离阈值，则采用二次多项式进行拟合。
可选的，一次多项式进行拟合包括如下步骤：
从左路边界候选点云和右路边界候选点云中随机选取两个点，计算直线模型y＝a0x+b0；
分别将选取的点云的pt.x坐标组成矩阵X1，pt.y坐标组成矩阵Y1；
根据公式M1＝X1inv*Y1计算模型参数矩阵M1＝[a0,b0]，其中，X1inv为X1的逆矩阵；
通过模型参数矩阵M1以及残差阈值Ttwo，统计直线模型的内点个数，
对直线模型进行迭代，获得直线模型的内点个数最大的模型作为最佳的模型直线模型M1best；
通过最佳直线模型M1best获得道路边界。
可选的，二次多项式进行拟合包括如下步骤：
从左路边界候选点云和右路边界候选点云中随机选取两三个点，计算抛物线模型y＝ax2+bx+c；
分别将选取的点云的pt.x坐标组成矩阵X2，pt.y坐标组成矩阵Y2；
根据公式M2＝X2inv*Y2计算模型参数矩阵M2＝[a,b,c]，其中，X2inv为X2的逆矩阵；
通过模型参数矩阵M2以及残差阈值Ttwo，统计抛物线模型的内点个数，
对抛物线模型进行迭代，获得抛物线模型的内点个数最大的模型作为最佳的模型抛物线模型M2best；
通过最佳抛物线模型M2best获得道路边界。
现有技术中的其他方法，通常选择某一个合适的多项式算法进行拟合。但是，当遇到遮挡时，短路沿通常在高次多项式下拟合的误差比一次多项式拟合的误差大。而本发明考虑到路沿遮挡情况，通过道路边界的长度可以识别一些遮挡过于严重的场景，通过计算X轴向距离，采用一次多项式拟合，可以很好保证路边界的准确性，不会导致路边界曲率过大。正常场景采用二次多项式拟合，保证实际检测路边界的形状与实际路边界形状相吻合。
同时，本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现前述任意一项所述的道路边界检测方法。
并且，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述任意一项所述的道路边界检测方法。
此外，本发明还提供了一种机动车，所述机动车具有自动驾驶功能，所述机动车运行自动驾驶功能时，通过权前述任意一项所述的道路边界检测方法检测道路边界；
或所述机动车具有前述的计算机设备；
或所述机动车具有前述的计算机可读存储介质，所述计算机程序被处理器执行时实现前述任意一项所述的道路边界检测方法。
本发明所提供的机动车，其有益效果与前述车辆控制方法的有益效果推理过程相类似，此处不再赘述。
本发明的这些特点和优点将会在下面的具体实施方式以及附图中进行详细的揭露。本发明最佳的实施方式或手段将结合附图来详尽表现，但并非是对本发明技术方案的限制。另外，在每个下文和附图中出现的这些特征、要素和组件是具有多个，并且为了表示方便而标记了不同的符号或数字，但均表示相同或相似构造或功能的部件。
附图说明
下面结合附图对本发明作进一步说明：
图1为本发明实施例的流程示意图。
具体实施方式
下面结合本发明实施例的附图对本发明实施例的技术方案进行解释和说明，但下述实施例仅为本发明的优选实施例，并非全部。基于实施方式中的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得其他实施例，都属于本发明的保护范围。
在本说明书中引用的“一个实施例”或“实例”或“例子”意指结合实施例本身描述的特定特征、结构或特性可被包括在本专利公开的至少一个实施例中。短语“在一个实施例中”在说明书中的各位置的出现不必都是指同一个实施例。
实施例：
如图1所示，本实施例提供了一种道路边界检测方法，运行自动驾驶的车辆通过本实施例所提供的道路边界检测方法识别检测道路的边界。
本实施例所提供的道路边界检测方法包括如下步骤：
预处理：对原始点云进行预处理，形成二维数组。现有技术中虽然也存在对于点云数据的预处理，剔除点云数据中的NaN值点，以提升后续算法的处理效率。但是，在本实施例中，预处理的目的与现有技术中预处理的目的不同。本实施例中，首先移除原始点云中X、Y、Z三个坐标通道中任意一个通道值为NaN的无效点的点云数据，得到有效的纯净点云；
将有效的纯净点云转换为N×4的二维数组，二维数组的每一行数据为Ri(x,y,z,intensity)，包含点云数据的坐标信息以及每个点的反射率，二维数组的列数为每一帧点云的点数。
通过前述预处理，将点云数据中的原始数据类型转换为卷积神经网络能够处理的矩阵数组，同时剔除掉数组中的无效点，保证数组数据的有效性，提升矩阵运算的效率。
语义分割：将原始点云根据障碍物类别进行分类，获得不同的语义标签，提取包含路边界的标签的点云。
在这一步骤中，通过卷积神经网络对二维数组进行分割，将点云中的每个点设置相应的语义标签。现有技术中，基于点云线束信息以及点云高程变化等方法，都是依赖于激光雷达点云的几何信息，容易受到动态障碍物遮挡的影响，同时需要进行地面过滤等操作，道路边界检测精度和稳定性都较差。而本实施例既不依赖激光雷达的线束信息道路边界方法，也不依赖激光点云的高程几何特征，充分考虑实际路面中的特殊情况，通过深度学习训练语义分割模型，识别激光点云中的不同类别，将激光雷达点云打上语义标签。而后通过语义分割网络对具有语义标签的点云数据进行分类，分类包含如路沿石RoadEdge、车辆Car、栅栏Fence、行人Pedestrian等不同的类别。
道路边界通常包含在路沿石RoadEdge，栅栏Fence等标签的点云中，因此提取包含道路边界的语义标签对应的点云。通过类别标签分离出包含路边界的栅栏，水泥墙，交通标志物，路沿石等，从包含路边界的类别点云中提取道路边界信息，具有很好的抗干扰能力，检测精度较高，误检率低。
割角：将提取的点云分为左边点云和右边点云。现有技术中，多采用基于激光雷达坐标系的X轴作为两边道路边界的分割线。但这样对于十字路口以及弯道场景会出现误分割问题。而本实施例提供的割角方法，可以检测道路的趋势，识别十字路口以及弯道等场景，并能够较为准确将道路边界分割为左边界和右边界，具体如下：
将提取出的点云沿圆周方向划分为若干个扇形栅格，每个扇形栅格的圆心角为1°；
统计每个扇形栅格中的点的数量，保存数量为0的扇形栅格的角度位置标，并将数量为0的扇形栅格标注为1，其他扇形栅格标注为0。在这一子步骤中，每一个扇形栅格中也可以保存点云的宽度，即扇形栅格中最近点与最远点的比值，作为扇形栅格中储存的值。
对所有的标注进行中值滤波，得到扇形栅格数组，每个扇形栅格数组中保存标注值和扇形栅格的角度位置；
对所有标注为1的扇形栅格数组的角度位置进行排序，选择中间值作为道路的分割角，如果标注为1的扇形栅格数组的角度位置为0，则表示前方车辆拥挤，遮挡严重，因而分割角为0；
按照如下公式划分左边点云和右边点云：
其中，pt为扇形栅格中的点，pt.x为扇形栅格中的点的x坐标，pt.y为扇形栅格中的点的y坐标，Pleft为左边点云，Pright为右边点云，α为分割角。
本实施例通过对语义分割之后的道路边界候选点云进行栅格化，统计栅格中点数为0的栅格所在的角度，然后通过中值滤波过滤掉一些异常值，过滤之后的非地面点云中间的区域将不再存在点云，由此可以较好地统计出前方道路趋势的角度。本实施例的割角步骤，不仅可以计算出道路分割角，提高道路分割的精度，还可以在环视激光雷达中检测检测道路的趋势，识别十字路口、三叉口以及弯道等场景，并能够较为准确将道路边界分割为左边界和右边界。
滤波：对左边点云和右边点云进行过滤，得到左路边界候选点云和右路边界候选点云。现有技术中的其他方法，通常直接通过激光点云的线束曲率突变以及点云的高程突变等信息，提取道路边界的种子点。但是，现有技术中的这些方法，难以适用于没有圆周线束信息的固态激光雷达。同时，直接提取的种子点所含有的杂点很多，影响后续的拟合。而本实施提供了如下的滤波方法：
根据如下公式分别对左边点云和右边点云进行聚类，得到左聚类点云和右聚类点云。聚类的算法，可以为欧式聚类算法，也可以为DBSCAN聚类算法，此处不做限定。本实施例中，聚类算法优选采用欧式聚类，即当第i个点与第j个点的聚类小于聚类的阈值dthr,则可以将第i个点pi纳入包含j的点云集Pj中：
|pi-pj|<dthr,(pi∈pj)
其中，pi为第i个点，pj为第j个点，dthr为阈值；
分别计算左聚类点云和右聚类点云分别距离可行驶路面最近的点云簇的质心Y值；
根据如下公式对左边点云和右边点云进行筛选，得到左路边界区域点云和右路边界区域点云：
其中，Yright为右质心Y值，Yleft为左质心Y值，Pr_region为右路边界区域点云；Pl_region为左路边界区域点云；
通过距离滤波，从左路边界区域点云和右路边界区域点云中提取左路边界种子点和右路边界种子点；
从左路边界区域点云和右路边界区域点云中提取左路边界种子点和右路边界种子点包括如下步骤：
将左路边界区域点云和右路边界区域点云沿x轴方向进行格栅化，得到左格栅化点云和右格栅化点云；
在每个格栅中根据点云的Y轴方向的坐标进行删选，右格栅化点云中选择max(pt.y)作为右路边界种子点，左格栅化点云中选择min(pt.y)作为左路边界种子点。
分别对左路边界种子点和右路边界种子点进行曲率过滤，得到左路边界候选点云和右路边界候选点云。
本实施提供了如下的滤波方法，克服了现有技术中的上述缺点，通过距离滤波找到沿着道路分割线方向上每一段的路沿种子点，其中左边路沿选择Y值最小的点，右边路沿选择Y值最大的点，通过这样可以提取到粗糙道路边界点云。不仅适用于各种3D激光雷达的道路边界路沿种子点的提取，同时也适用于视觉稠密点云的路边界种子点提取。
拟合：对左路边界候选点云和右路边界候选点云进行拟合，得到道路边界。现有技术中的其他方法，通常选择某一个合适的多项式算法进行拟合。但是，当遇到遮挡时，短路沿通常在高次多项式下拟合的误差比一次多项式拟合的误差大。因此，本实施例考虑到路沿遮挡情况，通过道路边界的长度可以识别一些遮挡过于严重的场景，通过计算X轴向距离，采用一次多项式拟合，可以很好保证路边界的准确性，不会导致路边界曲率过大。正常场景采用二次多项式拟合，保证实际检测路边界的形状与实际路边界形状相吻合。
在拟合步骤中，计算左路边界候选点云和右路边界候选点云分别在车辆前进方向x轴向的最远距离，如果最远距离小于阈值，则采用一次多项式进行拟合，如果最远距离大于距离阈值，则采用二次多项式进行拟合。
一次多项式进行拟合包括如下步骤：
从左路边界候选点云和右路边界候选点云中随机选取两个点，计算直线模型y＝a0x+b0；
分别将选取的点云的pt.x坐标组成矩阵X1，pt.y坐标组成矩阵Y1；
根据公式M1＝X1inv*Y1计算模型参数矩阵M1＝[a0,b0]，其中，X1inv为X1的逆矩阵；
通过模型参数矩阵M1以及残差阈值Ttwo，统计直线模型的内点个数。残差阈值Ttwo为本领域通用技术含义，此处不再赘述。
对直线模型进行迭代，获得直线模型的内点个数最大的模型作为最佳的模型直线模型M1best；
通过最佳直线模型M1best获得道路边界。
二次多项式进行拟合包括如下步骤：
从左路边界候选点云和右路边界候选点云中随机选取两三个点，计算抛物线模型y＝ax2+bx+c；
分别将选取的点云的pt.x坐标组成矩阵X2，pt.y坐标组成矩阵Y2；
根据公式M2＝X2inv*Y2计算模型参数矩阵M2＝[a,b,c]，其中，X2inv为X2的逆矩阵；
通过模型参数矩阵M2以及残差阈值Ttwo，统计抛物线模型的内点个数，此处残差阈值Ttwo亦为本领域通用技术含义，此处不再赘述。
对抛物线模型进行迭代，获得抛物线模型的内点个数最大的模型作为最佳的模型抛物线模型M2best；
通过最佳抛物线模型M2best获得道路边界。
本实施例所提供的技术方案，基于激光雷达点云语义，不依赖激光雷达的线束信息道路边界方法，相比于相机，可以很好的探测到场景物体的三维结构信息。通过深度学习训练语义分割模型，识别激光雷达点云中的不同类别，然后从包含道路边界的类别点云中提取道路边界信息，快速过滤掉干扰信息，具有良好的抗干扰能力，可以很好的区分出道路边界的遮挡物，有效解决了道路边界被车辆和行人遮挡的问题，保证了道路边界检测的精度和稳定性。即使车辆遮挡严重的道路边界，也可以区分检测出来，并可应用于机械激光雷达和固态激光雷达。
与此同时，本实施例还提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述点云语义分割方法的步骤。
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。据此，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可实现上述任意一项实施例的方法。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)以及存储器总线动态RAM(RDRAM)等。
并且，本实施例还提供了一种机动车，具有自动驾驶功能，本实施例所提供的机动车运行自动驾驶功能时，通过前述的道路边界检测方法检测道路边界；
或所述机动车具有前述的计算机设备；
或所述机动车具有前述的计算机可读存储介质，所述计算机程序被处理器执行时实现前述任意一项所述的道路边界检测方法。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，熟悉该本领域的技术人员应该明白本发明包括但不限于附图和上面具体实施方式中描述的内容。任何不偏离本发明的功能和结构原理的修改都将包括在权利要求书的范围中。
Claims (12)
1.一种道路边界检测方法，运行自动驾驶的车辆通过所述道路边界检测方法识别检测道路的边界，其特征在于，所述道路边界检测方法包括如下步骤：
预处理：对原始点云进行预处理，形成二维数组；
语义分割：将原始点云根据障碍物类别进行分类，获得不同的语义标签，提取包含路边界的标签的点云；
割角：将提取的点云分为左边点云和右边点云；
滤波：对左边点云和右边点云进行过滤，得到左路边界候选点云和右路边界候选点云；
拟合：对左路边界候选点云和右路边界候选点云进行拟合，得到道路边界。
2.根据权利要求1所述的道路边界检测方法，其特征在于，所述预处理步骤包括如下子步骤：
移除原始点云中X、Y、Z三个坐标通道中任意一个通道值为NaN无效点的点云数据；
将剩余点云数据转换为N×4的二维数组，所述二维数组的每一行数据为Ri(x,y,z,intensity)，包含点云数据的坐标信息以及每个点的反射率，所述二维数组的列数为每一帧点云的点数。
3.根据权利要求2所述的道路边界检测方法，其特征在于，所述语义分割步骤包括如下子步骤：
通过卷积神经网络对所述二维数组进行分割，将点云中的每个点设置相应的语义标签；
通过语义分割网络对具有语义标签的点云数据进行分类；
提取包含道路边界的语义标签对应的点云。
4.根据权利要求3所述的道路边界检测方法，其特征在于，所述割角步骤包括如下子步骤：
将提取出的点云沿圆周方向划分为若干个扇形栅格，每个扇形栅格的圆心角为1°；
统计每个扇形栅格中的点的数量，保存数量为0的扇形栅格的角度位置标，并将数量为0的扇形栅格标注为1，其他扇形栅格标注为0；
对所有的标注进行中值滤波，得到扇形栅格数组，每个扇形栅格数组中保存标注值和扇形栅格的角度位置；
对所有标注为1的扇形栅格数组的角度位置进行排序，选择中间值作为道路的分割角，如果标注为1的扇形栅格数组的角度位置为0，则分割角为0；
按照如下公式划分左边点云和右边点云：
其中，pt为扇形栅格中的点，pt.x为扇形栅格中的点的x坐标，pt.y为扇形栅格中的点的y坐标，Pleft为左边点云，Pright为右边点云α为分割角。
5.根据权利要求4所述的道路边界检测方法，其特征在于，所述滤波步骤包括如下子步骤：
根据如下公式分别对左边点云和右边点云进行聚类，得到左聚类点云和右聚类点云：
|pi-pj|<dthr,(pi∈pj)
其中，pi为第i个点，pj为第j个点，dthr为阈值；
分别计算左聚类点云和右聚类点云分别距离可行驶路面最近的点云簇的质心Y值；
根据如下公式对左边点云和右边点云进行筛选，得到左路边界区域点云和右路边界区域点云：
其中，Yright为右质心Y值，Yleft为左质心Y值，Pr_region为右路边界区域点云，Pl_region为左路边界区域点云；
通过距离滤波，从左路边界区域点云和右路边界区域点云中提取左路边界种子点和右路边界种子点；
分别对左路边界种子点和右路边界种子点进行曲率过滤，得到左路边界候选点云和右路边界候选点云。
6.根据权利要求5所述的道路边界检测方法，其特征在于，从左路边界区域点云和右路边界区域点云中提取左路边界种子点和右路边界种子点包括如下步骤：
将左路边界区域点云和右路边界区域点云沿x轴方向进行格栅化，得到左格栅化点云和右格栅化点云；
在每个格栅中根据点云的Y轴方向的坐标进行删选，右格栅化点云中选择max(pt.y)作为右路边界种子点，左格栅化点云中选择min(pt.y)作为左路边界种子点。
7.根据权利要求5所述的道路边界检测方法，其特征在于，在所述拟合步骤中，计算左路边界候选点云和右路边界候选点云分别在车辆前进方向x轴向的最远距离，如果最远距离小于阈值，则采用一次多项式进行拟合，如果最远距离大于距离阈值，则采用二次多项式进行拟合。
8.根据权利要求7所述的道路边界检测方法，其特征在于，一次多项式进行拟合包括如下步骤：
从左路边界候选点云和右路边界候选点云中随机选取两个点，计算直线模型y＝a0x+b0；
分别将选取的点云的pt.x坐标组成矩阵X1，pt.y坐标组成矩阵Y1；
根据公式M1＝X1inv*Y1计算模型参数矩阵M1＝[a0,b0]，其中，X1inv为X1的逆矩阵；
通过模型参数矩阵M1以及残差阈值Ttwo，统计直线模型的内点个数，
对直线模型进行迭代，获得直线模型的内点个数最大的模型作为最佳的模型直线模型M1best；
通过最佳直线模型M1best获得道路边界。
9.根据权利要求7所述的道路边界检测方法，其特征在于，二次多项式进行拟合包括如下步骤：
从左路边界候选点云和右路边界候选点云中随机选取两三个点，计算抛物线模型y＝ax2+bx+c；
分别将选取的点云的pt.x坐标组成矩阵X2，pt.y坐标组成矩阵Y2；
根据公式M2＝X2inv*Y2计算模型参数矩阵M2＝[a,b,c]，其中，X2inv为X2的逆矩阵；
通过模型参数矩阵M2以及残差阈值Ttwo，统计抛物线模型的内点个数，
对抛物线模型进行迭代，获得抛物线模型的内点个数最大的模型作为最佳的模型抛物线模型M2best；
通过最佳抛物线模型M2best获得道路边界。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任意一项所述的道路边界检测方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任意一项所述的道路边界检测方法。
12.一种机动车，其特征在于，所述机动车具有自动驾驶功能，所述机动车运行自动驾驶功能时，通过权利要求1至9中任意一项所述的道路边界检测方法检测道路边界；
或所述机动车具有权利要求10所述的计算机设备；
或所述机动车具有权利要求11所述的计算机可读存储介质，所述计算机程序被处理器执行时实现权利要求1至9中任意一项所述的道路边界检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310260619.5A CN116311127A (zh) | 2023-03-10 | 2023-03-10 | 一种道路边界检测方法、计算机设备、可读存储介质及机动车 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310260619.5A CN116311127A (zh) | 2023-03-10 | 2023-03-10 | 一种道路边界检测方法、计算机设备、可读存储介质及机动车 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116311127A true CN116311127A (zh) | 2023-06-23 |
Family
ID=86814627
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310260619.5A Pending CN116311127A (zh) | 2023-03-10 | 2023-03-10 | 一种道路边界检测方法、计算机设备、可读存储介质及机动车 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116311127A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116612451A (zh) * | 2023-07-20 | 2023-08-18 | 城市之光(深圳)无人驾驶有限公司 | 无人驾驶清扫车的路沿识别方法、装置、设备及存储介质 |
| CN117372988A (zh) * | 2023-12-08 | 2024-01-09 | 吉咖智能机器人有限公司 | 道路边界检测方法、装置、电子设备及存储介质 |
-
2023
- 2023-03-10 CN CN202310260619.5A patent/CN116311127A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116612451A (zh) * | 2023-07-20 | 2023-08-18 | 城市之光(深圳)无人驾驶有限公司 | 无人驾驶清扫车的路沿识别方法、装置、设备及存储介质 |
| CN116612451B (zh) * | 2023-07-20 | 2023-09-29 | 城市之光(深圳)无人驾驶有限公司 | 无人驾驶清扫车的路沿识别方法、装置、设备及存储介质 |
| CN117372988A (zh) * | 2023-12-08 | 2024-01-09 | 吉咖智能机器人有限公司 | 道路边界检测方法、装置、电子设备及存储介质 |
| CN117372988B (zh) * | 2023-12-08 | 2024-02-13 | 吉咖智能机器人有限公司 | 道路边界检测方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200410690A1 (en) | Method and apparatus for segmenting point cloud data, storage medium, and electronic device | |
| CN116311127A (zh) | 一种道路边界检测方法、计算机设备、可读存储介质及机动车 | |
| EP3879455A1 (en) | Multi-sensor data fusion method and device | |
| KR101822373B1 (ko) | 물체 탐지 장치 및 방법 | |
| US4970653A (en) | Vision method of detecting lane boundaries and obstacles | |
| EP3460516B1 (en) | A device and a method for distinguishing between traversable and non-traversable objects | |
| CN113424121A (zh) | 基于自动驾驶的车辆速度控制方法、装置和计算机设备 | |
| CN111537994B (zh) | 一种无人矿卡障碍物检测方法 | |
| CN110320531B (zh) | 基于激光雷达的障碍物识别方法、地图创建方法及装置 | |
| CN107192994A (zh) | 多线激光雷达海量点云数据快速有效提取及车辆、车道线特征识别方法 | |
| CN111325138B (zh) | 一种基于点云局部凹凸特征的道路边界实时检测方法 | |
| CN115066708A (zh) | 点云数据运动分割方法、装置、计算机设备和存储介质 | |
| CN111880196A (zh) | 一种无人矿车抗干扰方法、系统及计算机设备 | |
| EP3905106A1 (en) | Method for determining a drivable area | |
| CN114842450A (zh) | 一种可行驶区域检测方法、装置及设备 | |
| CN111722249B (zh) | 物体识别装置以及车辆控制系统 | |
| CN113740874A (zh) | 一种道路边沿检测方法、电子设备及车辆 | |
| Zhang et al. | A framework for turning behavior classification at intersections using 3D LIDAR | |
| CN113835102A (zh) | 车道线生成方法和装置 | |
| CN113008296A (zh) | 用于通过在点云平面上融合传感器数据来检测汽车环境的方法和汽车控制单元 | |
| CN116513171A (zh) | 一种基于车道信息的自动驾驶碰撞风险检测方法、系统及介质 | |
| CN113432615A (zh) | 基于多传感器融合可驾驶区域的检测方法、系统和车辆 | |
| CN117677976A (zh) | 可行驶区域生成方法、可移动平台及存储介质 | |
| Ma et al. | A convolutional neural network method to improve efficiency and visualization in modeling driver’s visual field on roads using MLS data | |
| DE102022110895A1 (de) | System und Verfahren zur Fenstergeneration fir Interessensbereiche für aufmerksamkeitsbasierte Wahrnehmung |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |