CN116612451B - 无人驾驶清扫车的路沿识别方法、装置、设备及存储介质 - Google Patents
无人驾驶清扫车的路沿识别方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116612451B CN116612451B CN202310892486.3A CN202310892486A CN116612451B CN 116612451 B CN116612451 B CN 116612451B CN 202310892486 A CN202310892486 A CN 202310892486A CN 116612451 B CN116612451 B CN 116612451B
- Authority
- CN
- China
- Prior art keywords
- point
- road
- point set
- fitting
- road edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 241001417527 Pempheridae Species 0.000 title claims abstract description 25
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 46
- 230000011218 segmentation Effects 0.000 claims description 42
- 238000012549 training Methods 0.000 claims description 35
- 238000010408 sweeping Methods 0.000 claims description 17
- 230000002159 abnormal effect Effects 0.000 claims description 13
- 238000012805 post-processing Methods 0.000 claims description 10
- 238000009499 grossing Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000012795 verification Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 238000009825 accumulation Methods 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000004140 cleaning Methods 0.000 abstract description 13
- 230000008447 perception Effects 0.000 abstract description 4
- 230000004044 response Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 238000002372 labelling Methods 0.000 description 5
- 238000007667 floating Methods 0.000 description 3
- 125000003275 alpha amino acid group Chemical group 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了无人驾驶清扫车的路沿识别方法、装置、设备及存储介质，该方法通过道路可行区域分割模型和路沿识别后处理算法，利用道路可行区域分割模型获取待检图像中道路前景像素的掩膜，而后，利用路沿识别后处理算法去除掩膜中的噪声、提取路沿的初始点集、平滑点集并过滤异常点以及拟合得到路沿曲线，有效实现了路沿的识别。解决了现有技术中路沿识别不准确、算法响应慢的问题，提升了无人驾驶车的路沿识别的鲁棒性、精度和算法效率，为无人清扫车的自动贴边清扫能力提供了良好的感知基础。
Description
技术领域
本发明涉及自动驾驶的视觉感知技术领域，尤其涉及一种无人驾驶清扫车的路沿识别方法、一种无人驾驶清扫车的路沿识别装置、一种电子设备、以及一种存储介质。
背景技术
无人驾驶清扫车的一项重要功能是自动贴边清扫，这要求其视觉感知模块能够精准地识别工作路段的道路边沿。路沿识别方法的精度和效率是决定无人驾驶清扫车贴边清扫性能的一项重要指标。目前，自动驾驶领域的路沿识别方法主要有两种，分别是基于激光雷达点云的识别方案以及基于计算机视觉的方案。其中，激光点云方案在清扫车贴近路沿时存在视野盲区，并且激光雷达的成本远高于相机。基于计算机视觉的方案因其硬件价格低廉、良好的感知视野以及能采集到稠密的信息，成为业界的主流方案。
然而，室外场景采集到的道路图像易受光照变化、路边植被干扰的影响，且不同工作路段的路沿形貌、背景信息差别大，使得路沿识别任务具有挑战性。并且应用于自动驾驶的识别算法需要具有很高的实时性。现有的路沿识别方法对路沿的特征描述能力有限，多数存在精度低、效率不高、不鲁棒等缺点，难以满足无人清扫车在多种场景自动作业的要求。
因此，现有技术还有待提高。
发明内容
鉴于上述现有技术的不足，本发明的目的在于提供一种应用于无人驾驶清扫车的路沿识别方法、相应的无人驾驶清扫车的路沿识别装置、一种设备以及一种存储介质，旨在解决现有技术在用于无人驾驶清扫车进行路沿识别时路沿识别不准确、算法响应慢以及精度不高的问题。
为了解决上述问题，本发明的技术方案如下：
提出一种无人驾驶清扫车的路沿识别方法，所述方法包括：
采集路沿的待检测图像，并将所述待检测图像输入至预训练的道路可行区域分割模型当中，以获取所述待检测图像对应的道路可行区域的掩膜图像；
将所述掩膜图像输入至路沿拟合后处理算法当中，以获取用于拟合路沿曲线的初始点集，并完成路沿曲线的拟合；
将得到的所述拟合路沿曲线进行离散化，以获取拟合后的路沿点集，并将路沿点集通过外参标定信息映射至车体坐标系供无人驾驶清扫车的规控模块使用。
在一个实施例中，所述道路可行区域分割模型的训练过程包括：
采集所述无人驾驶清扫车的工作路段的图像以构建所述道路可行区域分割模型的训练集以及验证集；
基于深度学习技术构建语义分割算法，根据所述训练集以及验证集利用所述语义分割算法训练所述道路可行区域分割模型；
根据预设评估指标在所述训练过程保存的所有模型权重中挑选最优的目标模型权重，以确定最终用于道路可行区域识别的分割模型。
在一个实施例中，所述路沿曲线的拟合后处理算法具体包含以下步骤：
针对所述掩膜图像进行连通域分析，过滤掉像素面积小于给定阈值的连通域，并保留面积最大的若干连通域，作为道路可行区域；
沿着所述掩膜图像的高度方向从上至下搜索，获取路沿在所有宽度索引的大致位置的图像点集，并将所述图像点集的坐标映射回所述待检测图像的原图坐标系，作为初始点集；
采用距离加权的平滑算法对所述初始点集进行平滑处理，并将平滑后的初始点集输入基于局部窗的估计方法并计算每个局部区间的估计点集；
通过统计区间内的初始点集的分布信息来过滤掉异常的局部估计点集，将所述局部区间的估计点集划分为3个类别，即异常点集、疑似点集和正常点集；
将所述正常点集用作候选点集，所述正常点集和所述疑似点集的并集用作判断内外点的点集，即判断点集，并将所述候选点集、判断点集输入至考虑外点误差的RANSAC拟合算法，以获取路沿曲线。
在一个实施例中，所述距离加权的平滑算法计算公式如下：
，
其中，为初始点集中索引i对应的横坐标值，r为局部平滑窗的半径，/>和/>分别为索引值i对应的平滑窗内j位置的横坐标和纵坐标值，/>为平滑后索引值i对应的纵坐标值，N为输入点集的数量。
在一个实施例中，所述基于局部窗的估计方法计算公式如下：
,
其中，和/>为经过平滑后点集中索引i的横纵坐标，W为原始图像的宽度，w为局部窗的宽度，“[ ]”表示向下取整操作，/>为估计后得到的第n个局部窗的估计点。
在一个实施例中，所述考虑外点误差的RANSAC拟合算法步骤如下所述:
计算输入所述候选点集的纵坐标的最大差值并设定第一阈值，当该差值小于所述第一阈值时，采用1阶多项式拟合；当该差值大于所述第一阈值时，分别进行1阶、3阶、5阶多项式拟合；
设置每个阶次的迭代次数为K次，并设置内点误差阈值，设置每个阶次迭代的提前终止条件为内点数量占所述判断点集的比例；
逐阶次进行迭代，记当前迭代的曲线阶次为o；单次迭代内，从候选点集中随机选取o+1个点计算多项式的解析解；
通过解析解计算所述判断点集内各个点的纵坐标的拟合数值，与其实际的观测值进行比较，计算两者差值；若所述差值小于所述内点误差阈值，则记该点为内点，否则记为外点；记录内点数量，并累计外点的差值。
在一个实施例中，通过所述内点数量和所述外点的差值的综合表现判断最优的迭代曲线，所述迭代曲线具体计算公式如下：
其中， 表示拟合曲线的曲线方程，O表示全部拟合阶次的集合，o表示当前拟合阶次，K表示单个阶次拟合的迭代次数上限，k表示第k次迭代，/>为判断点集内点n的坐标值，/>表示某次迭代的外点累计差值，N表示判断点集的数量，M表示某次迭代的内点数量，/>表示第k次迭代的外点累计的差值，/>表示第k次拟合的多项式系数，/>表示拟合误差最小的多项式系数，/>表示第k次拟合中内点数量。
相应的，本发明实施例公开了一种无人驾驶清扫车的路沿识别装置，所述装置包括：
图像采集模块，用于采集无人清扫车工作路段的原始图像，作为路沿识别的待检测目标图像；
语义分割模块，用于从待检测目标图像中分割道路可行区域的掩膜；
后处理模块，用于从分割掩膜图像中提取路沿信息并拟合路沿曲线，获取离散化的路沿点集；
数据集构建模块，用于采集、标记训练数据，并进行标注，构建训练数据集；
模型训练模块，用于将采集并经过标注的训练样本输入语义分割模型进行训练，并通过验证集的评价指标选取最优权重。
相应的，本发明实施例还提供了一种电子设备，包括：处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述所述无人驾驶清扫车的路沿识别方法的步骤。
相应的，本发明实施例还提供了一种计算机存储介质，所述存储介质中存储有至少一条程序指令，所述至少一条程序指令用于被处理器加载并执行以实现一方面上述所述无人驾驶清扫车的路沿识别的方法的步骤。
综上所述：本文提出的一种无人驾驶清扫车的路沿识别方法，通过道路可行区域分割模型和路沿识别后处理算法，利用道路可行区域分割模型获取待检图像中道路前景像素的掩膜，而后，利用路沿识别后处理算法去除掩膜中的噪声、提取路沿的初始点集、平滑点集并过滤异常点以及拟合得到路沿曲线，有效实现了路沿的识别。解决了现有技术中路沿识别不准确、算法响应慢的问题，提升了无人驾驶车的路沿识别的鲁棒性、精度和算法效率，为无人清扫车的自动贴边清扫能力提供了良好的感知基础。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1为本发明实施例提供的无人驾驶清扫车的路沿识别方法的步骤流程图；
图2为本发明实施例提供的无人驾驶清扫车的路沿识别方法的判断局部区间估计点异常方法的示意图；
图3为本发明实施例提供的无人驾驶清扫车的路沿识别方法的道路可行区域分割模型的训练过程；
图4为本发明实施例提供的无人驾驶清扫车的路沿识别装置的模块框图；
图5为本发明实施例提供的无人驾驶清扫车的路沿识别装置的部分模块框图。
实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。以下给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
除非另有定义，本文所使用的的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明的作用范围。本文所使用的术语“及 / 或”包括一个或多个相关的所列项目的任意的和所有的组合。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
以下将结合具体实施例和附图来详细说明本发明如何提升无人驾驶车的路沿识别鲁棒性、精度和算法效率。
实施例一
请参阅图1，所示为本发明第一实施例中提出的一种无人驾驶清扫车的路沿识别方法，所述方法包括步骤S10~S15。
步骤S10，采集路沿的待检测图像，并将所述待检测图像输入至预训练的道路可行区域分割模型当中，以获取所述待检测图像对应的道路可行区域的掩膜图像。
其中，所述待检测图像为固定在车体右侧的相机采集到的路面俯视图像，具体的，该待检测图像至少包括清扫车当前形式道路的像素信息。在输入预训练分割模型前，需要对图像进行预处理。首先，将图像缩放到模型接受的输入尺寸。原始待检测图像的分辨率为1920x1080，本发明实施例中将其缩放至480x256，这样可以接大地减少模型的推理复杂度，减少模型推理的时间。
而后，将图像进行正则化，图像的数据范围由0~255的uint8类型被转化为0~1范围内点浮点数据。将预处理后的图像数据输入预训练模型后，会生成一幅大小为480x256的道路可行区域掩膜图像，其中道路可行区域的像素值被标记为255，其他背景区域的像素值被标记为0。
其中，所述道路可行区域指的是车辆当前行驶方向的路面区域，其他背景区域指的是图像中除去可行区域其他部分，包括行驶路面和路边的障碍物、车体本身或其他交通参与者以及其他非路面区域。
步骤S11，对掩膜图像进行连通域分析，滤除前景像素中的噪声，并提取路沿大致位置的初始点集。
本实施例将所述掩膜图像输入至路沿拟合后处理算法当中，以获取用于拟合路沿曲线的初始点集，并完成路沿曲线的拟合。
获取道路可行区域的掩膜图后，本实施例首先对其进行连通域分析。若某个连通域面积小于400像素，则视为噪声，将其置为背景。而后，若剩余连通域数量大于2，则仅保留面积最大的两个连通域。针对处理后的掩膜图像，在图像水平方向的每个x坐标沿着图像垂直方向进行遍历，找到第一个前景像素（掩膜图中的像素值为255）的y坐标值。若该y坐标值大于1，则将点(x, y)视为路沿位置的一个初始点，并保存；若y坐标值为0或该列没有搜索到前景像素，则不记录。以此方式遍历完所有的x坐标后，得到一个表示路沿大致位置的初始点集。遍完所有x位置后，若初始点集包含的点数为0，则表示该待检测图像中不包含路沿，算法直接返回。
步骤S12，将初始点集映射至原图坐标系，并采用距离加权的平滑算法对点集进行平滑处理。
其中，映射操作即为将初始点集中每个点的x和y坐标分别乘以原图像与掩膜图像的宽、高比例。而后的距离加权的平滑算法公式如下：
（1）
式（1）中，为初始点集中索引值i对应的横坐标值，r为局部平滑窗的半径，/>和/>分别为索引值i对应的平滑窗内j位置的横坐标和纵坐标值，/>为平滑后索引值i对应的纵坐标值，N为输入点集的数量。本实施例中局部平滑窗的半径r取值为2。
步骤S13，采用基于局部窗的估计方法计算估计点集，并利用局部区间的分布信息将其划分为正常点集、疑似点集和异常点集。
前述平滑后的点集数量最多为480，为了进一步缩短后处理算法的时间消耗，本实施例对其进行进一步地估计以获取估计点集。首先，将初始点集映射回原图，然后采用距离加权的平均算法来估计点集，具体计算公式如下：
（2）
式（2）中，和/>为经过平滑后点集中索引i的横纵坐标，W为原始图像的宽度，w为局部窗的宽度，/>为估计后得到的第n个局部窗的估计点。本实施例中，原始图像宽度为1920，局部窗宽度被设置为 1920/30=64。原本每64个像素宽度内最多有480/30=16个平滑后的点，经过估计最多得到1个估计点，即最多得到30个点的估计点集提供给后续拟合算法使用，大大提升了计算效率。另外，针对原本点数小于4个点的局部区间，不记录该局部估计点。当估计点集包含的点数量小于局部区间数量的一般时，则不进行后续拟合，算法直接返回。
而后，本实施例还通过局部区间原始的点集的分布信息对局部区间的估计点进行分类。在估计局部区间点对时，统计局部区间内输入点的x,y坐标的最大值和最小值，获取局部窗内所有点的最小外接矩形。当该外接矩形高度小于给定阈值（本实施例设置为15像素）时，认为该局部区间的估计点是有效点。否则，进一步计算过该矩形两条对角线的直线方程，并针对每条直线计算输入点与该直线的平均累计误差，并取两者的最小值，计算公式如下：
（3）
式（3）中，为外接矩形的过对角线直线的序号，/>和/>分别为直线/>的斜率和截距，N为局部窗内的原始点数，/>和/>为前述平滑过后的原始点集，/>为局部窗内点与直线的平均累计差值。本实施例中当/>大于5.2时，试该局部区间的点位异常点，否则记为正常点。该步骤的启发源于一种差分的思想，由于路沿总体趋势是平滑的，在一个很小的区间内去分析时，可以将路沿近似看作一条直线段。当该区间内点的分布模式与直线段相差太大时，可以判断路沿分割受到干扰，以此排除一些落叶、杂草等障碍物对路沿拟合效果的干扰，提升算法的鲁棒性。请参阅图2，图左、中的局部区间的原始点与其中一条过对角线的直线累计差值很小，被判断为正常点；图右的局部区间的原始点与两条过外接矩形对角线的直线累计误差都较大，被判断为异常点。
而后，将异常点旁边的正常点标记为可疑点，将两侧都是可疑点的正常点也标记为可疑点。至此，估计点集被划分为正常点集、疑似点集、异常点集。
步骤S14，利用一种考虑外点误差的RANSAC改良算法对点集进行拟合，以获取路沿拟合曲线。前述正常点集被用作拟合算法的候选点集，前述正常点集和疑似点集的并集被用作判断点集，前述异常点集被丢弃不使用。
首先，确定考虑的拟合曲线的阶次。计算候选点集纵坐标的最大差值，当该差值小于第一阈值时，采用1阶多项式（直线）拟合；当该差值大于第一阈值时，分别进行1阶、3阶、5阶多项式拟合。在本实施例中，所述第一阈值采用60像素。
而后，设置每个阶次的迭代次数为K=50次，设置内点误差阈值为σ=3.0，设置每个阶次迭代的提前终止条件为内点数量占判断点集比例α=95%。
而后，逐阶次进行迭代，记当前迭代的曲线阶次为o。单次迭代内，从候选点集中随机选取o+1个点计算多项式的解析解。通过解析解计算判断点集内各个点的纵坐标的拟合数值，与其实际的观测值进行比较，计算两者差值；若差值小于内点误差阈值3.0，则记该点为内点，否则记为外点；记录内点数量，并累计外点的差值。通过内点数量和外点的差值综合判断最优的迭代曲线，具体计算公式如下：
，
式（5）和式（6）中， 表示拟合曲线的曲线方程，O表示全部拟合阶次的集合，o表示当前拟合阶次，K表示单个阶次拟合的迭代次数上限，k表示第k次迭代，/>为判断点集内点n的坐标值，/>表示某次迭代的外点累计差值，N表示判断点集的数量，M表示某次迭代的内点数量，/>表示第k次迭代的外点累计的差值，/>表示第k次拟合的多项式系数，/>表示拟合误差最小的多项式系数，/>表示第k次拟合中内点数量。本实施例中K=50。
步骤S15，对拟合得到的路沿曲线进行离散化，获取路沿的离散位置表达，供后续的规控模块使用。利用前述拟合得到的路线曲线离散化出一组表示路沿的离散坐标。本实施例中，在每个图像宽度位置都计算一个坐标值，即生成一组1920个点的路沿点集作为路沿识别的表达。
本实施例所述路沿识别方法具有很强的实时性，在CPU上算法全部运行时间小于20ms，其中后处理算法耗时仅有0.8ms，满足无人清扫车的作业要求。在替换更加轻量级的分割模型后，所述路沿识别方法的效率可进一步提高。
综上，本实施例中的路沿识别方法，通过结合语义分割模型和自定义的后处理算法，能够快速、精准地识别路沿，解决了现有技术响应慢、精度差的问题，为无人驾驶清扫车的贴边清扫功能提供了良好的感知基础。
实施例二
请参阅图3，本实施例详细介绍道路可行区域分割模型的训练过程，包括本公开使用的轻量级的语义分割算法的构建。
步骤S30，采集无人清扫车原始图像数据，进行数据标注，构建训练数据集。本实施例采用固定在车体右侧的相机采集数据，采集路段为无人清扫车的目标工作路段，包括城市辅道、园区、公园等场景。完成采集后，将采集的视频解帧并进行数据清洗。保留需要贴边清扫的路段数据，并去除场景重复的数据，共采用3000幅图像数据。将数据按照8:2的比例划分训练集和验证集。而后，采用labelme工具对数据按照语义分割的规范进行标注，将图像中的像素标注为两个类别，一类为道路可行区域，另一类为背景区域。
步骤S31，图像增强和预处理操作。本实施例采用photometric distortion+随机裁剪、随机水平翻转的方法对图像进行增强。首先，将图像缩放成1024x256分辨率大小。然后，在缩放后的图像中随机裁剪出480x256分辨率大小的区域，并限定其中前景像素面积占比小于0.75，以保证类别均衡性。接着采用0.5概率的水平翻转和photometric distortion进行数据增强。最后采用均值=(123.675, 116.28, 103.53)，标注差=(58.395, 57.12,57.375)对图像进行标准化，将uint8整型数据转化成浮点型。
步骤S32，构建轻量级语义分割算法，进行道路可行区域分割模型训练。
本实施例采用轻量级的HRNet构建语义分割模型。HRNet采用经典的encoder-decoder结构，但是其在backbone部分始终保留大分辨率的特征，能够有效提升语义分割模型的精度。Encoder部分采用了4 stages的HRNetv2-w18作为backbone，decoder部分采用FCN作为Head。为了使得网络更加轻量化，本实施例对backbone部分进行了裁剪。通过将stage3和stage4的模块数量都降为1，网络权重由原本的9.64M减少到3.54M，前向推理的浮点运算操作数也减少40%。本实施例定义道路可行区域检测为二分类语义分割任务，采用交叉熵LOSS作为损失函数。
模型训练采用带动量的mini-batch SGD作为优化器，动量值设置为0.9，权重衰减设置为0.0005，初始学习率设置为0.01，batch size设置为2；学习率衰减策略采用polyschedule，指数设置为0.9，最小学习率设置为0.0001；模型共训练20000轮迭代。
步骤S33，利用验证集进行模型评价，选取指标最优的目标模型权重。模型训练过程中，每2000次迭代保留一次权重，训练结束共生成10份权重。本实施例采用mIoU（meanIntersection over Union）指标评价模型。计算验证集上模型预测的道路可行区域与标注值的mIoU，并确定指标最高得分最高的权重为最终使用的道路可行区域分割模型。
综上，本实施例中的语义算法构建和模型训练，通过深度学习技术搭建轻量级的语义分割算法，有效提升了算法的鲁棒性和泛化性，解决了现有技术特征描述能力不足的问题。
实施例三
参见图4，所示为本实施例提供的一种无人驾驶清扫车的路沿识别装置的模块框图。所述路沿识别装置400包括：
图像采集模块401，用于采集无人清扫车工作路段的原始图像，作为路沿识别的待检测目标图像；
语义分割模块402，用于利用预训练的道路可行区域分割模型从待检测目标图像中分割道路可行区域的掩膜图像；
后处理模块403，用于对分割掩膜图像进行连通域分析，去除掩膜图中的噪声，从中提取路沿初始点集，对点集进行平滑，计算估计点并判断是否异常，拟合路沿曲线，以获取离散化的路沿点集。
在前述实施例的基础上，本实施例还提供一种路沿识别装置的部分模块框图，如图5所示，所述路沿识别装置400还包括：
数据集构建模块404，用于采集、标记训练数据，并进行标注，构建训练数据集；
模型训练模块405，用于构建语义分割算法，设定训练超参数，进行数据增强操作，将数据集输入语义分割模型进行训练，并通过验证集的评价指标选取最优权重作为最终使用的道路可行区域分割模型。
综上所述，本实施例提供的路沿识别装置，通过利用前述路沿识别方法显著提升路沿识别的算法鲁棒性、精度和推理效率。所提供的路沿识别装置的具体实施过程可以参见图1及图3所示的实施例提供的路沿识别方法的具体实施过程，在此不再一一赘述。
此外，本实施例还提供了一种电子设备，包括存储器以及处理器，所述存储器存储有计算程序，所述计算程序在所述处理器上运行时执行图1和图3所示的路沿识别方法。
另外，本公开实施例还提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行图1和图3所示的路沿识别方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是智能手机、个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (10)
1.一种无人驾驶清扫车的路沿识别方法，其特征在于，所述方法包括：
采集路沿的待检测图像，并将所述待检测图像输入至预训练的道路可行区域分割模型当中，以获取所述待检测图像对应的道路可行区域的掩膜图像；
将所述掩膜图像输入至路沿拟合后处理算法当中，以获取用于拟合路沿曲线的初始点集，并完成路沿曲线的拟合；
将得到的所述拟合路沿曲线进行离散化，以获取拟合后的路沿点集，并将路沿点集通过外参标定信息映射至车体坐标系供无人驾驶清扫车的规控模块使用。
2.根据权利要求1所述的无人驾驶清扫车的路沿识别方法，其特征在于，所述道路可行区域分割模型的训练过程包括：
采集所述无人驾驶清扫车的工作路段的图像以构建所述道路可行区域分割模型的训练集以及验证集；
基于深度学习技术构建语义分割算法，根据所述训练集以及验证集利用所述语义分割算法训练所述道路可行区域分割模型；
根据预设评估指标在所述训练过程保存的所有模型权重中挑选最优的目标模型权重，以确定最终用于道路可行区域识别的分割模型。
3.根据权利要求1所述的无人驾驶清扫车的路沿识别方法，其特征在于，所述路沿曲线的拟合后处理算法具体包含以下步骤：
针对所述掩膜图像进行连通域分析，过滤掉像素面积小于给定阈值的连通域，并保留面积最大的若干连通域，作为道路可行区域；
沿着所述掩膜图像的高度方向从上至下搜索，获取路沿在所有宽度索引的位置的图像点集，并将所述图像点集的坐标映射回所述待检测图像的原图坐标系，作为初始点集；
采用距离加权的平滑算法对所述初始点集进行平滑处理，并将平滑后的初始点集输入基于局部窗的估计方法并计算每个局部区间的估计点集；
通过统计区间内的初始点集的分布信息来过滤掉异常的局部估计点集，将所述局部区间的估计点集划分为3个类别，即异常点集、疑似点集和正常点集；
将所述正常点集用作候选点集，所述正常点集和所述疑似点集的并集用作判断内外点的点集，即判断点集，并将所述候选点集、判断点集输入至考虑外点误差的RANSAC拟合算法，以获取路沿曲线。
4.根据权利要求3所述的无人驾驶清扫车的路沿识别方法，其特征在于，所述距离加权的平滑算法计算公式如下：
，
其中，为初始点集中索引值i对应的横坐标值，r为局部平滑窗的半径，/>和/>分别为索引值i对应的平滑窗内j位置的横坐标和纵坐标值，/>为平滑后索引值i对应的纵坐标值，N为输入点集的数量。
5.根据权利要求3所述的无人驾驶清扫车的路沿识别方法，其特征在于，所述基于局部窗的估计方法计算公式如下：
，
其中，和/>为经过平滑后点集中索引i的横纵坐标，W为原始图像的宽度，w为局部窗的宽度,“[ ]”表示向下取整操作，/>为估计后得到的第n个局部窗的估计点。
6.根据权利要求3所述的无人驾驶清扫车的路沿识别方法，其特征在于，所述考虑外点误差的RANSAC拟合算法步骤如下所述:
计算输入所述候选点集的纵坐标的最大差值并设定第一阈值，当该差值小于所述第一阈值时，采用1阶多项式拟合；当该差值大于所述第一阈值时，分别进行1阶、3阶、5阶多项式拟合；
设置每个阶次的迭代次数为K次，并设置内点误差阈值，设置每个阶次迭代的提前终止条件为内点数量占所述判断点集的比例；
逐阶次进行迭代，记当前迭代的曲线阶次为o；单次迭代内，从候选点集中随机选取o+1个点计算多项式的解析解；
通过解析解计算所述判断点集内各个点的纵坐标的拟合数值，与其实际的观测值进行比较，计算两者差值；若所述差值小于所述内点误差阈值，则记该点为内点，否则记为外点；记录内点数量，并累计外点的差值。
7.根据权利要求6所述的无人驾驶清扫车的路沿识别方法，其特征在于，通过所述内点数量和所述外点的差值的综合表现判断最优的迭代曲线，所述迭代曲线具体计算公式如下：
，
式中， 表示拟合曲线的曲线方程，O表示全部拟合阶次的集合，o表示当前拟合阶次，K表示单个阶次拟合的迭代次数上限，k表示第k次迭代，/>为判断点集内点n的坐标值，/>表示某次迭代的外点累计的差值，N表示判断点集的数量，M表示某次迭代的内点数量，/>表示第k次迭代的外点累计的差值，/>表示第k次拟合的多项式系数，/>表示拟合误差最小的多项式系数，/>表示第k次拟合中内点数量。
8.一种无人驾驶清扫车的路沿识别装置，其特征在于，所述装置包括：
图像采集模块，用于采集无人清扫车工作路段的原始图像，作为路沿识别的待检测目标图像；
语义分割模块，用于从待检测目标图像中分割道路可行区域的掩膜；
后处理模块，用于从分割掩膜图像中提取路沿信息并拟合路沿曲线，获取离散化的路沿点集；
数据集构建模块，用于采集、标记训练数据，并进行标注，构建训练数据集；
模型训练模块，用于将采集并经过标注的训练样本输入语义分割模型进行训练，并通过验证集的评价指标选取最优权重。
9.一种电子设备，其特征在于，包括：处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-7中任一项所述的无人驾驶清扫车的路沿识别方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的无人驾驶清扫车的路沿识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310892486.3A CN116612451B (zh) | 2023-07-20 | 2023-07-20 | 无人驾驶清扫车的路沿识别方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310892486.3A CN116612451B (zh) | 2023-07-20 | 2023-07-20 | 无人驾驶清扫车的路沿识别方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116612451A CN116612451A (zh) | 2023-08-18 |
| CN116612451B true CN116612451B (zh) | 2023-09-29 |
Family
ID=87680456
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310892486.3A Active CN116612451B (zh) | 2023-07-20 | 2023-07-20 | 无人驾驶清扫车的路沿识别方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116612451B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110197173A (zh) * | 2019-06-13 | 2019-09-03 | 重庆邮电大学 | 一种基于双目视觉的路沿检测方法 |
| CN113792707A (zh) * | 2021-11-10 | 2021-12-14 | 北京中科慧眼科技有限公司 | 基于双目立体相机的地形环境检测方法、系统和智能终端 |
| CN114091506A (zh) * | 2021-08-24 | 2022-02-25 | 广东盈峰智能环卫科技有限公司 | 一种基于摄像头的道路边沿检测方法及装置 |
| CN115761682A (zh) * | 2022-12-01 | 2023-03-07 | 中国重汽集团济南动力有限公司 | 基于激光感知的可行驶区域的识别方法、装置、智能矿卡 |
| CN116311127A (zh) * | 2023-03-10 | 2023-06-23 | 浙江零跑科技股份有限公司 | 一种道路边界检测方法、计算机设备、可读存储介质及机动车 |
| CN116279592A (zh) * | 2023-04-26 | 2023-06-23 | 浙江科技学院 | 一种用于无人物流车的可行驶区域划分方法 |
-
2023
- 2023-07-20 CN CN202310892486.3A patent/CN116612451B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110197173A (zh) * | 2019-06-13 | 2019-09-03 | 重庆邮电大学 | 一种基于双目视觉的路沿检测方法 |
| CN114091506A (zh) * | 2021-08-24 | 2022-02-25 | 广东盈峰智能环卫科技有限公司 | 一种基于摄像头的道路边沿检测方法及装置 |
| CN113792707A (zh) * | 2021-11-10 | 2021-12-14 | 北京中科慧眼科技有限公司 | 基于双目立体相机的地形环境检测方法、系统和智能终端 |
| CN115761682A (zh) * | 2022-12-01 | 2023-03-07 | 中国重汽集团济南动力有限公司 | 基于激光感知的可行驶区域的识别方法、装置、智能矿卡 |
| CN116311127A (zh) * | 2023-03-10 | 2023-06-23 | 浙江零跑科技股份有限公司 | 一种道路边界检测方法、计算机设备、可读存储介质及机动车 |
| CN116279592A (zh) * | 2023-04-26 | 2023-06-23 | 浙江科技学院 | 一种用于无人物流车的可行驶区域划分方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116612451A (zh) | 2023-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108596129B (zh) | 一种基于智能视频分析技术的车辆越线检测方法 | |
| CN109829403B (zh) | 一种基于深度学习的车辆防碰撞预警方法及系统 | |
| CN108053419B (zh) | 基于背景抑制和前景抗干扰的多尺度目标跟踪方法 | |
| Rasmussen | Texture-Based Vanishing Point Voting for Road Shape Estimation. | |
| Kong et al. | Vanishing point detection for road detection | |
| Aly | Real time detection of lane markers in urban streets | |
| CN104318258B (zh) | 一种基于时域模糊和卡尔曼滤波器的车道线检测方法 | |
| CN103400151B (zh) | 一体化的光学遥感影像与gis自动配准与水体提取方法 | |
| CN106981202A (zh) | 一种基于车道模型的车辆来回变道检测方法 | |
| CN108280450A (zh) | 一种基于车道线的高速公路路面检测方法 | |
| CN116758059A (zh) | 一种用于路基路面的视觉无损检测方法 | |
| CN108171695A (zh) | 一种基于图像处理的高速公路路面检测方法 | |
| CN115546768B (zh) | 基于多尺度机制和注意力机制的路面标线识别方法及系统 | |
| CN107719361A (zh) | 基于图像视觉的自动泊车辅助方法及系统 | |
| CN111062967A (zh) | 一种基于目标动态跟踪的电力营业厅客流统计方法及系统 | |
| Revilloud et al. | A lane marker estimation method for improving lane detection | |
| CN113239733A (zh) | 一种多车道车道线检测方法 | |
| Chougule et al. | An efficient encoder-decoder CNN architecture for reliable multilane detection in real time | |
| CN116612451B (zh) | 无人驾驶清扫车的路沿识别方法、装置、设备及存储介质 | |
| CN117710918A (zh) | 一种车道线检测方法和系统 | |
| CN105631900A (zh) | 一种车辆跟踪方法及装置 | |
| Gupta et al. | Robust lane detection using multiple features | |
| CN116805409A (zh) | 一种利用行车视频进行路面状态识别与平整性评估的方法 | |
| CN113673383B (zh) | 一种面向复杂道路场景的时空域障碍物检测方法及系统 | |
| CN112215109B (zh) | 基于场景分析的车辆检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |