CN115273013B - 车道线检测方法、系统、计算机及可读存储介质 - Google Patents
车道线检测方法、系统、计算机及可读存储介质 Download PDFInfo
- Publication number
- CN115273013B CN115273013B CN202211180423.7A CN202211180423A CN115273013B CN 115273013 B CN115273013 B CN 115273013B CN 202211180423 A CN202211180423 A CN 202211180423A CN 115273013 B CN115273013 B CN 115273013B
- Authority
- CN
- China
- Prior art keywords
- lane line
- attention
- model
- self
- gnn
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 81
- 238000012549 training Methods 0.000 claims abstract description 47
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 37
- 239000011159 matrix material Substances 0.000 claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 238000012360 testing method Methods 0.000 claims description 30
- 238000001914 filtration Methods 0.000 claims description 18
- 238000007499 fusion processing Methods 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 8
- 230000001133 acceleration Effects 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 238000011056 performance test Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种车道线检测方法、系统、计算机及可读存储介质,该方法包括采集道路的场景图片,并识别出场景图片中的车道线区域;对场景图片进行预处理,以生成训练样本,并将训练样本输入至金字塔模型中,以输出第一特征矩阵;将第一特征矩阵输入至FPN模型中,并使FPN模型输出第二特征矩阵;将第二特征矩阵输入至自注意力图网络模型中,以预测出车道线ROI候选区域,并对车道线ROI候选区域进行分类以及回归预测处理,以完成训练;通过训练后的自注意力图网络模型识别出车道线区域中的车道线。通过上述方式能够摆脱传统算法中受遮挡噪声以及光线畸变等影响带来的不稳定性,提高了车道线检测的准确性。
Description
技术领域
本发明涉及图像数据处理技术领域,特别涉及一种车道线检测方法、系统、计算机及可读存储介质。
背景技术
随着科技的进步以及生产力的快速发展,例如物流机器人以及自动巡检机器人等设备已经得到了广泛的应用,能够大幅提升产品的生产效率。
其中,基于场景图片的车道线检测方法已经在上述机器人中得到了广泛的应用,用于使机器人按照特定的工作路线进行移动。
然而,现有传统的车道线检测方法大部分只适用于车道线的直线检测,当机器人处于车道线的弯道部分时,对于弯曲的车道线的检测稳定性较差,从而容易出现机器人偏离的现象,进而影响了机器人的工作效率。
发明内容
基于此,本发明的目的是提供一种车道线检测方法、系统、计算机及可读存储介质,以解决现有技术的车道线检测方法大部分只适用于车道线的直线检测,当机器人处于车道线的弯道部分时,对于弯曲的车道线的检测稳定性较差,从而容易出现机器人偏离的现象,进而影响了机器人工作效率的问题。
本发明实施例第一方面提出了一种车道线检测方法,所述方法包括:
通过拍摄设备采集当前道路的场景图片,并识别出所述场景图片中的车道线区域;
对所述场景图片进行预处理,以基于所述场景图片生成若干训练样本,并将若干所述训练样本输入至预设Backbone金字塔模型中,以使所述Backbone金字塔模型输出对应的若干第一特征矩阵;
将若干所述第一特征矩阵输入至预设FPN模型中,以使所述FPN模型对若干所述第一特征矩阵进行融合处理,并使所述FPN模型输出对应的第二特征矩阵;
将所述第二特征矩阵输入至预设Attention-GNN自注意力图网络模型中,以使所述Attention-GNN自注意力图网络模型预测出对应的车道线ROI候选区域,并依次对所述车道线ROI候选区域进行分类以及回归预测处理,以完成对所述Attention-GNN自注意力图网络模型的训练;
通过训练后的Attention-GNN自注意力图网络模型识别出所述车道线区域中的车道线。
本发明的有益效果是:通过拍摄设备实时采集道路的场景图片,并识别出当前场景图片中的车道线区域;进一步的,对场景图片进行预处理,以生成若干训练样本,并将当前若干训练样本输入至预设Backbone金字塔模型中,以使当前Backbone金字塔模型输出对应的若干第一特征矩阵;再将当前若干第一特征矩阵输入至预设FPN模型中,以使FPN模型对若干第一特征矩阵进行融合处理,并使FPN模型输出对应的第二特征矩阵;在此基础之上,将第二特征矩阵输入至预设Attention-GNN自注意力图网络模型中,以使Attention-GNN自注意力图网络模型预测出对应的车道线ROI候选区域,并依次对当前车道线ROI候选区域进行分类以及回归预测处理,以完成对Attention-GNN自注意力图网络模型的训练;最后只需通过训练后的Attention-GNN自注意力图网络模型识别出上述车道线区域中的车道线,就能够快速、准确的识别出当前道路的车道线。通过上述方式能够基于深度和空间的注意力模型生成标准的车道线ROI候选区域,从而提高了网络模型的检测鲁棒性和准确性。与此同时,本申请结合了深度卷积滤波算法和自注意力图网络模型,从而摆脱了传统算法中受遮挡噪声以及光线畸变等影响带来的不稳定性,进而提高了车道线检测的准确性、鲁棒性以及易用性,适用于大范围的推广与使用。
优选的,所述对所述场景图片进行预处理,以基于所述场景图片生成若干训练样本的步骤包括:
基于所述场景图片添加场景变化数据集,以根据所述场景变化数据集生成若干变化场景,并通过数据加扰算法对若干所述变化场景进行干扰处理,以对应生成若干所述训练样本。
优选的,所述依次对所述车道线ROI候选区域进行分类以及回归预测处理,以完成对所述Attention-GNN自注意力图网络模型的训练的步骤之后,所述方法还包括:
调用测试数据集合,并通过所述测试数据集合对训练后的Attention-GNN自注意力图网络模型进行性能测试,以使训练后的Attention-GNN自注意力图网络模型输出对应的测试模型;
将所述测试模型转换成对应的加速推理引擎。
优选的,所述将若干所述第一特征矩阵输入至预设FPN模型中,以使所述FPN模型对若干所述第一特征矩阵进行融合处理,并使所述FPN模型输出对应的第二特征矩阵的步骤包括:
当所述FPN模型接收到所述第一特征矩阵时,在所述FPN模型中调用出深度卷积滤波算法,并通过所述深度卷积滤波算法对若干所述第一特征矩阵进行融合处理,以使所述FPN模型输出对应的所述第二特征矩阵。
优选的,所述通过训练后的Attention-GNN自注意力图网络模型识别出所述车道线区域中的车道线的算法为:
其中,表示局部车道线ROI特征图,/>表示全局特征图,W表示注意力相关权重,G表示/>在全局特征图/>中的相关增益并加回局部ROI特征图/>的输出,C表示特征图的尺寸大小常量。
本发明实施例第二方面提出了一种车道线检测系统,所述系统包括:
采集模块,用于通过拍摄设备采集当前道路的场景图片,并识别出所述场景图片中的车道线区域;
处理模块,用于对所述场景图片进行预处理,以基于所述场景图片生成若干训练样本,并将若干所述训练样本输入至预设Backbone金字塔模型中,以使所述Backbone金字塔模型输出对应的若干第一特征矩阵;
融合模块,用于将若干所述第一特征矩阵输入至预设FPN模型中,以使所述FPN模型对若干所述第一特征矩阵进行融合处理,并使所述FPN模型输出对应的第二特征矩阵;
训练模块,用于将所述第二特征矩阵输入至预设Attention-GNN自注意力图网络模型中,以使所述Attention-GNN自注意力图网络模型预测出对应的车道线ROI候选区域,并依次对所述车道线ROI候选区域进行分类以及回归预测处理,以完成对所述Attention-GNN自注意力图网络模型的训练;
识别模块,用于通过训练后的Attention-GNN自注意力图网络模型识别出所述车道线区域中的车道线。
其中,上述车道线检测系统中,所述处理模块具体用于:
基于所述场景图片添加场景变化数据集,以根据所述场景变化数据集生成若干变化场景,并通过数据加扰算法对若干所述变化场景进行干扰处理,以对应生成若干所述训练样本。
其中,上述车道线检测系统中,所述车道线检测系统还包括测试模块,所述测试模块具体用于:
调用测试数据集合,并通过所述测试数据集合对训练后的Attention-GNN自注意力图网络模型进行性能测试,以使训练后的Attention-GNN自注意力图网络模型输出对应的测试模型;
将所述测试模型转换成对应的加速推理引擎。
其中,上述车道线检测系统中,所述融合模块具体用于:
当所述FPN模型接收到所述第一特征矩阵时,在所述FPN模型中调用出深度卷积滤波算法,并通过所述深度卷积滤波算法对若干所述第一特征矩阵进行融合处理,以使所述FPN模型输出对应的所述第二特征矩阵。
其中,上述车道线检测系统中,所述通过训练后的Attention-GNN自注意力图网络模型识别出所述车道线区域中的车道线的算法为:
其中,表示局部车道线ROI特征图,/>表示全局特征图,W表示注意力相关权重,G表示/>在全局特征图/>中的相关增益并加回局部ROI特征图/>的输出,C表示特征图的尺寸大小常量。
本发明实施例第三方面提出了一种计算机,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上面所述的车道线检测方法。
本发明实施例第四方面提出了一种可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上面所述的车道线检测方法。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
图1为本发明第一实施例提供的车道线检测方法的流程图;
图2为本发明第二实施例提供的车道线检测系统的结构框图。
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了便于理解本发明,下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是,本发明可以以许多不同的形式来实现,并不限于本文所描述的实施例。相反地,提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
需要说明的是,当元件被称为“固设于”另一个元件,它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件,它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
现有传统的车道线检测方法大部分只适用于车道线的直线检测,当机器人处于车道线的弯道部分时,对于弯曲的车道线的检测稳定性较差,从而容易出现机器人偏离的现象,进而影响了机器人的工作效率。
请参阅图1,所示为本发明第一实施例提供的车道线检测方法,本实施例提供的车道线检测方法能够基于深度和空间的注意力模型生成标准的车道线ROI候选区域,从而提高了网络模型的检测鲁棒性和准确性。与此同时,本申请结合了深度卷积滤波算法和自注意力图网络模型,从而摆脱了传统算法中受遮挡噪声以及光线畸变等影响带来的不稳定性,进而提高了车道线检测的准确性、鲁棒性以及易用性,适用于大范围的推广与使用。
具体的,本实施例提供的车道线检测方法具体包括以下步骤:
步骤S10,通过拍摄设备采集当前道路的场景图片,并识别出所述场景图片中的车道线区域;
具体的,在本实施例中,首先需要说明的是,本实施例提供的车道线检测方法具体应用在机器人或者汽车等移动的物体上,用于识别出其行径道路上的车道线,以避免出现偏离的现象。
另外,在本实施例中,需要指出的是,本实施例提供的车道线检测方法是基于设置在后台的检测服务器实现的,具体的,在该检测服务器的内部预先设置有若干算法,从而能够有效的提升数据的处理效率。
进一步的,在本实施例中,还需要指出的是,本实施例会预先在上述机器人或者汽车等能够移动的物体上安装摄像头或者相机等能够拍摄图片的设备,以实时获取行驶道路上的图片,进而识别出当前图片中的车道线。
因此,在本步骤中,需要说明的是,本实施例提供的检测服务器会通过预先设置好的拍摄设备实时采集当前机器人或者汽车行驶的道路的场景图片,进一步的,当前检测服务器对实时采集到的场景图片进行识别处理,以对应识别出当前场景图片中的车道线区域。
步骤S20,对所述场景图片进行预处理,以基于所述场景图片生成若干训练样本,并将若干所述训练样本输入至预设Backbone金字塔模型中,以使所述Backbone金字塔模型输出对应的若干第一特征矩阵;
进一步的,在本步骤中,需要说明的是,在上述检测服务器获取到当前场景图片中的车道线区域之后,当前检测服务器会进一步对当前场景图像进行预处理,以基于当前场景图片生成若干训练样本,与此同时,将实时生成的若干训练样本输入至预先设置好的Backbone金字塔模型中,以使当前Backbone金字塔模型输出对应的若干第一特征矩阵。
其中,在本步骤中,需要指出的是,上述对所述场景图片进行预处理,以基于所述场景图片生成若干训练样本的步骤包括:
基于所述场景图片添加场景变化数据集,以根据所述场景变化数据集生成若干变化场景,并通过数据加扰算法对若干所述变化场景进行干扰处理,以对应生成若干所述训练样本。
在本步骤中,需要说明的是,通过对实时获取到的场景图片添加场景变化数据集能够增加当前场景图片的多样性,能够有效的避免出现误检以及漏检的现象,与此同时,能够有效的抑制传统算法中受噪声以及光线畸变等影响带来的不稳定性。
步骤S30,将若干所述第一特征矩阵输入至预设FPN模型中,以使所述FPN模型对若干所述第一特征矩阵进行融合处理,并使所述FPN模型输出对应的第二特征矩阵;
具体的,在本步骤中,需要说明的是,在上述检测服务器获取到第一特征矩阵之后,当前检测服务器会进一步将获取到的若干第一特征矩阵输入至其内部预先设置好的FPN模型中,从而能够使当前FPN模型对实时接收到的若干第一特征矩阵进行融合处理,并最终使当前FPN模型输出对应的第二特征矩阵。
其中,在本步骤中,需要指出的是,上述将若干所述第一特征矩阵输入至预设FPN模型中,以使所述FPN模型对若干所述第一特征矩阵进行融合处理,并使所述FPN模型输出对应的第二特征矩阵的步骤包括:
当所述FPN模型接收到所述第一特征矩阵时,在所述FPN模型中调用出深度卷积滤波算法,并通过所述深度卷积滤波算法对若干所述第一特征矩阵进行融合处理,以使所述FPN模型输出对应的所述第二特征矩阵。
在本步骤中,需要说明的是,通过采用深度卷积滤波算法能够有效的减少模型的参数计算量,从而能够大幅的缩短计算的时间,提高了计算效率。
步骤S40,将所述第二特征矩阵输入至预设Attention-GNN自注意力图网络模型中,以使所述Attention-GNN自注意力图网络模型预测出对应的车道线ROI候选区域,并依次对所述车道线ROI候选区域进行分类以及回归预测处理,以完成对所述Attention-GNN自注意力图网络模型的训练;
更进一步的,在本步骤中,需要说明的是,在上述检测服务器获取到第二特征矩阵之后,当前检测服务器会进一步将当前实时获取到的第二特征矩阵输入至其内部预先设置好的Attention-GNN自注意力图网络模型中,以进一步使当前Attention-GNN自注意力图网络模型预测出对应的车道线ROI候选区域,并进一步对该车道线ROI候选区域进行分类以及回归预测处理,以最终完成对Attention-GNN自注意力图网络模型的训练。
其中,在本步骤中,需要指出的是,上述依次对所述车道线ROI候选区域进行分类以及回归预测处理,以完成对所述Attention-GNN自注意力图网络模型的训练的步骤之后,该方法还包括:
调用测试数据集合,并通过所述测试数据集合对训练后的Attention-GNN自注意力图网络模型进行性能测试,以使训练后的Attention-GNN自注意力图网络模型输出对应的测试模型;
将所述测试模型转换成对应的加速推理引擎。
在本步骤中,通过对训练完成的Attention-GNN自注意力图网络模型进行测试,能够进一步提升该Attention-GNN自注意力图网络模型的检测准确率,以最终准确的识别出上述车道线区域中的车道线。
步骤S50,通过训练后的Attention-GNN自注意力图网络模型识别出所述车道线区域中的车道线。
最后,在本步骤中,需要说明的是,在上述检测服务器对上述Attention-GNN自注意力图网络模型完成训练后,进一步的,就能够通过当前训练完成的Attention-GNN自注意力图网络模型识别出上述车道线区域中的车道线。
另外,在本实施例中,需要指出的是,上述通过训练后的Attention-GNN自注意力图网络模型识别出所述车道线区域中的车道线的算法为:
其中,表示局部车道线ROI特征图,/>表示全局特征图,W表示注意力相关权重,G表示/>在全局特征图/>中的相关增益并加回局部ROI特征图/>的输出,C表示特征图的尺寸大小常量。
使用时,通过拍摄设备实时采集道路的场景图片,并识别出当前场景图片中的车道线区域;进一步的,对场景图片进行预处理,以生成若干训练样本,并将当前若干训练样本输入至预设Backbone金字塔模型中,以使当前Backbone金字塔模型输出对应的若干第一特征矩阵;再将当前若干第一特征矩阵输入至预设FPN模型中,以使FPN模型对若干第一特征矩阵进行融合处理,并使FPN模型输出对应的第二特征矩阵;在此基础之上,将第二特征矩阵输入至预设Attention-GNN自注意力图网络模型中,以使Attention-GNN自注意力图网络模型预测出对应的车道线ROI候选区域,并依次对当前车道线ROI候选区域进行分类以及回归预测处理,以完成对Attention-GNN自注意力图网络模型的训练;最后只需通过训练后的Attention-GNN自注意力图网络模型识别出上述车道线区域中的车道线,就能够快速、准确的识别出当前道路的车道线。通过上述方式能够基于深度和空间的注意力模型生成标准的车道线ROI候选区域,从而提高了网络模型的检测鲁棒性和准确性。与此同时,本申请结合了深度卷积滤波算法和自注意力图网络模型,从而摆脱了传统算法中受遮挡噪声以及光线畸变等影响带来的不稳定性,进而提高了车道线检测的准确性、鲁棒性以及易用性,适用于大范围的推广与使用。
需要说明的是,上述的实施过程只是为了说明本申请的可实施性,但这并不代表本申请的车道线检测方法只有上述唯一一种实施流程,相反的,只要能够将本申请的车道线检测方法实施起来,都可以被纳入本申请的可行实施方案。
综上,本发明上述实施例提供的车道线检测方法能够基于深度和空间的注意力模型生成标准的车道线ROI候选区域,从而提高了网络模型的检测鲁棒性和准确性。与此同时,本申请结合了深度卷积滤波算法和自注意力图网络模型,从而摆脱了传统算法中受遮挡噪声以及光线畸变等影响带来的不稳定性,进而提高了车道线检测的准确性、鲁棒性以及易用性,适用于大范围的推广与使用。
请参阅图2,所示为本发明第二实施例提供的车道线检测系统,所述系统包括:
采集模块12,用于通过拍摄设备采集当前道路的场景图片,并识别出所述场景图片中的车道线区域;
处理模块22,用于对所述场景图片进行预处理,以基于所述场景图片生成若干训练样本,并将若干所述训练样本输入至预设Backbone金字塔模型中,以使所述Backbone金字塔模型输出对应的若干第一特征矩阵;
融合模块32,用于将若干所述第一特征矩阵输入至预设FPN模型中,以使所述FPN模型对若干所述第一特征矩阵进行融合处理,并使所述FPN模型输出对应的第二特征矩阵;
训练模块42,用于将所述第二特征矩阵输入至预设Attention-GNN自注意力图网络模型中,以使所述Attention-GNN自注意力图网络模型预测出对应的车道线ROI候选区域,并依次对所述车道线ROI候选区域进行分类以及回归预测处理,以完成对所述Attention-GNN自注意力图网络模型的训练;
识别模块52,用于通过训练后的Attention-GNN自注意力图网络模型识别出所述车道线区域中的车道线。
其中,上述车道线检测系统中,所述处理模块22具体用于:
基于所述场景图片添加场景变化数据集,以根据所述场景变化数据集生成若干变化场景,并通过数据加扰算法对若干所述变化场景进行干扰处理,以对应生成若干所述训练样本。
其中,上述车道线检测系统中,所述车道线检测系统还包括测试模块62,所述测试模块62具体用于:
调用测试数据集合,并通过所述测试数据集合对训练后的Attention-GNN自注意力图网络模型进行性能测试,以使训练后的Attention-GNN自注意力图网络模型输出对应的测试模型;
将所述测试模型转换成对应的加速推理引擎。
其中,上述车道线检测系统中,所述融合模块32具体用于:
当所述FPN模型接收到所述第一特征矩阵时,在所述FPN模型中调用出深度卷积滤波算法,并通过所述深度卷积滤波算法对若干所述第一特征矩阵进行融合处理,以使所述FPN模型输出对应的所述第二特征矩阵。
其中,上述车道线检测系统中,所述通过训练后的Attention-GNN自注意力图网络模型识别出所述车道线区域中的车道线的算法为:
其中,表示局部车道线ROI特征图,/>表示全局特征图,W表示注意力相关权重,G表示/>在全局特征图/>中的相关增益并加回局部ROI特征图/>的输出,C表示特征图的尺寸大小常量。
本发明第三实施例提供了一种计算机,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一实施例提供的车道线检测方法。
本发明第四实施例提供了一种可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一实施例提供的车道线检测方法。
综上所述,本发明上述实施例提供的车道线检测方法、系统、计算机及可读存储介质能够基于深度和空间的注意力模型生成标准的车道线ROI候选区域,从而提高了网络模型的检测鲁棒性和准确性。与此同时,本申请结合了深度卷积滤波算法和自注意力图网络模型,从而摆脱了传统算法中受遮挡噪声以及光线畸变等影响带来的不稳定性,进而提高了车道线检测的准确性、鲁棒性以及易用性,适用于大范围的推广与使用。
需要说明的是,上述各个模块可以是功能模块也可以是程序模块,既可以通过软件来实现,也可以通过硬件来实现。对于通过硬件来实现的模块而言,上述各个模块可以位于同一处理器中;或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (6)
1.一种车道线检测方法,其特征在于,所述方法包括:
通过拍摄设备采集当前道路的场景图片,并识别出所述场景图片中的车道线区域;
对所述场景图片进行预处理,以基于所述场景图片生成若干训练样本,并将若干所述训练样本输入至预设Backbone金字塔模型中,以使所述Backbone金字塔模型输出对应的若干第一特征矩阵;
将若干所述第一特征矩阵输入至预设FPN模型中,以使所述FPN模型对若干所述第一特征矩阵进行融合处理,并使所述FPN模型输出对应的第二特征矩阵;
将所述第二特征矩阵输入至预设Attention-GNN自注意力图网络模型中,以使所述Attention-GNN自注意力图网络模型预测出对应的车道线ROI候选区域,并依次对所述车道线ROI候选区域进行分类以及回归预测处理,以完成对所述Attention-GNN自注意力图网络模型的训练;
通过训练后的Attention-GNN自注意力图网络模型识别出所述车道线区域中的车道线;
其中,所述对所述场景图片进行预处理,以基于所述场景图片生成若干训练样本的步骤包括:
基于所述场景图片添加场景变化数据集,以根据所述场景变化数据集生成若干变化场景,并通过数据加扰算法对若干所述变化场景进行干扰处理,以对应生成若干所述训练样本;
其中,所述通过训练后的Attention-GNN自注意力图网络模型识别出所述车道线区域中的车道线的算法为:
其中,表示局部车道线ROI特征图,/>表示全局特征图,W表示注意力相关权重,G表示/>在全局特征图/>中的相关增益并加回局部ROI特征图/>的输出,C表示特征图的尺寸大小常量;
所述将若干所述第一特征矩阵输入至预设FPN模型中,以使所述FPN模型对若干所述第一特征矩阵进行融合处理,并使所述FPN模型输出对应的第二特征矩阵的步骤包括:
当所述FPN模型接收到所述第一特征矩阵时,在所述FPN模型中调用出深度卷积滤波算法,并通过所述深度卷积滤波算法对若干所述第一特征矩阵进行融合处理,以使所述FPN模型输出对应的所述第二特征矩阵。
2.根据权利要求1所述的车道线检测方法,其特征在于:所述依次对所述车道线ROI候选区域进行分类以及回归预测处理,以完成对所述Attention-GNN自注意力图网络模型的训练的步骤之后,所述方法还包括:
调用测试数据集合,并通过所述测试数据集合对训练后的Attention-GNN自注意力图网络模型进行性能测试,以使训练后的Attention-GNN自注意力图网络模型输出对应的测试模型;
将所述测试模型转换成对应的加速推理引擎。
3.一种车道线检测系统,其特征在于,所述系统包括:
采集模块,用于通过拍摄设备采集当前道路的场景图片,并识别出所述场景图片中的车道线区域;
处理模块,用于对所述场景图片进行预处理,以基于所述场景图片生成若干训练样本,并将若干所述训练样本输入至预设Backbone金字塔模型中,以使所述Backbone金字塔模型输出对应的若干第一特征矩阵;
融合模块,用于将若干所述第一特征矩阵输入至预设FPN模型中,以使所述FPN模型对若干所述第一特征矩阵进行融合处理,并使所述FPN模型输出对应的第二特征矩阵;
训练模块,用于将所述第二特征矩阵输入至预设Attention-GNN自注意力图网络模型中,以使所述Attention-GNN自注意力图网络模型预测出对应的车道线ROI候选区域,并依次对所述车道线ROI候选区域进行分类以及回归预测处理,以完成对所述Attention-GNN自注意力图网络模型的训练;
识别模块,用于通过训练后的Attention-GNN自注意力图网络模型识别出所述车道线区域中的车道线;
其中,所述处理模块具体用于:
基于所述场景图片添加场景变化数据集,以根据所述场景变化数据集生成若干变化场景,并通过数据加扰算法对若干所述变化场景进行干扰处理,以对应生成若干所述训练样本;
其中,所述车道线检测系统中,所述通过训练后的Attention-GNN自注意力图网络模型识别出所述车道线区域中的车道线的算法为:
其中,表示局部车道线ROI特征图,/>表示全局特征图,W表示注意力相关权重,G表示在全局特征图/>中的相关增益并加回局部ROI特征图/>的输出,C表示特征图的尺寸大小常量;
所述融合模块具体用于:
当所述FPN模型接收到所述第一特征矩阵时,在所述FPN模型中调用出深度卷积滤波算法,并通过所述深度卷积滤波算法对若干所述第一特征矩阵进行融合处理,以使所述FPN模型输出对应的所述第二特征矩阵。
4.根据权利要求3所述的车道线检测系统,其特征在于:所述车道线检测系统还包括测试模块,所述测试模块具体用于:
调用测试数据集合,并通过所述测试数据集合对训练后的Attention-GNN自注意力图网络模型进行性能测试,以使训练后的Attention-GNN自注意力图网络模型输出对应的测试模型;
将所述测试模型转换成对应的加速推理引擎。
5.一种计算机,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至2中任意一项所述的车道线检测方法。
6.一种可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至2中任意一项所述的车道线检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211180423.7A CN115273013B (zh) | 2022-09-27 | 2022-09-27 | 车道线检测方法、系统、计算机及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211180423.7A CN115273013B (zh) | 2022-09-27 | 2022-09-27 | 车道线检测方法、系统、计算机及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115273013A CN115273013A (zh) | 2022-11-01 |
CN115273013B true CN115273013B (zh) | 2024-05-03 |
Family
ID=83757668
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211180423.7A Active CN115273013B (zh) | 2022-09-27 | 2022-09-27 | 车道线检测方法、系统、计算机及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115273013B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018037053A (ja) * | 2016-08-29 | 2018-03-08 | 東軟集団股▲分▼有限公司 | 車線境界線を検出する方法、装置、およびデバイス |
CN112528878A (zh) * | 2020-12-15 | 2021-03-19 | 中国科学院深圳先进技术研究院 | 检测车道线的方法、装置、终端设备及可读存储介质 |
CN113468967A (zh) * | 2021-06-02 | 2021-10-01 | 北京邮电大学 | 基于注意力机制的车道线检测方法、装置、设备及介质 |
CN114550135A (zh) * | 2022-02-22 | 2022-05-27 | 无锡物联网创新中心有限公司 | 一种基于注意力机制和特征聚合的车道线检测方法 |
CN114550139A (zh) * | 2022-03-02 | 2022-05-27 | 盛景智能科技(嘉兴)有限公司 | 车道线检测方法及装置 |
-
2022
- 2022-09-27 CN CN202211180423.7A patent/CN115273013B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018037053A (ja) * | 2016-08-29 | 2018-03-08 | 東軟集団股▲分▼有限公司 | 車線境界線を検出する方法、装置、およびデバイス |
CN112528878A (zh) * | 2020-12-15 | 2021-03-19 | 中国科学院深圳先进技术研究院 | 检测车道线的方法、装置、终端设备及可读存储介质 |
CN113468967A (zh) * | 2021-06-02 | 2021-10-01 | 北京邮电大学 | 基于注意力机制的车道线检测方法、装置、设备及介质 |
CN114550135A (zh) * | 2022-02-22 | 2022-05-27 | 无锡物联网创新中心有限公司 | 一种基于注意力机制和特征聚合的车道线检测方法 |
CN114550139A (zh) * | 2022-03-02 | 2022-05-27 | 盛景智能科技(嘉兴)有限公司 | 车道线检测方法及装置 |
Non-Patent Citations (1)
Title |
---|
LaneAr:基于编解码实例分割的车道线检测方法;李杰等;《淮阴工学院学报》;20220630;第31卷(第3期);59-65 * |
Also Published As
Publication number | Publication date |
---|---|
CN115273013A (zh) | 2022-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111325713B (zh) | 基于神经网络的木材缺陷检测方法、系统及存储介质 | |
CN112183788B (zh) | 一种域自适应设备运检系统和方法 | |
CN111369545B (zh) | 边缘缺陷检测方法、装置、模型、设备及可读存储介质 | |
KR102503559B1 (ko) | 차량 이미지 비교 방법 및 그 시스템 | |
CN111008961B (zh) | 一种输电线路设备缺陷检测方法及其系统、设备、介质 | |
CN111222395A (zh) | 目标检测方法、装置与电子设备 | |
CN107273832B (zh) | 基于积分通道特征与卷积神经网络的车牌识别方法及系统 | |
CN111310770B (zh) | 目标检测方法和装置 | |
CN110287936B (zh) | 图像检测方法、装置、设备及存储介质 | |
CN113205507B (zh) | 一种视觉问答方法、系统及服务器 | |
CN111967396A (zh) | 障碍物检测的处理方法、装置、设备及存储介质 | |
CN111144425B (zh) | 检测拍屏图片的方法、装置、电子设备及存储介质 | |
Buza et al. | Unsupervised method for detection of high severity distresses on asphalt pavements | |
CN115578326A (zh) | 一种道路病害识别方法、系统、设备及存储介质 | |
CN114429577B (zh) | 一种基于高置信标注策略的旗帜检测方法及系统及设备 | |
CN111382695A (zh) | 用于检测目标的边界点的方法和装置 | |
CN115115863A (zh) | 水面多尺度目标检测方法、装置及系统和存储介质 | |
CN114693963A (zh) | 基于电力数据特征提取的识别模型训练、识别方法及装置 | |
Ahmed et al. | An observation of vision based underwater object detection and tracking | |
CN115273013B (zh) | 车道线检测方法、系统、计算机及可读存储介质 | |
CN115797314B (zh) | 零件表面缺陷检测方法、系统、设备及存储介质 | |
CN116152191A (zh) | 基于深度学习的显示屏裂纹缺陷检测方法、装置及设备 | |
CN114140429A (zh) | 一种车端实时停车位检测方法和装置 | |
CN110399868B (zh) | 一种滨海湿地鸟类检测方法 | |
CN111524161A (zh) | 提取轨迹的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |