CN115273013A - 车道线检测方法、系统、计算机及可读存储介质 - Google Patents

车道线检测方法、系统、计算机及可读存储介质 Download PDF

Info

Publication number
CN115273013A
CN115273013A CN202211180423.7A CN202211180423A CN115273013A CN 115273013 A CN115273013 A CN 115273013A CN 202211180423 A CN202211180423 A CN 202211180423A CN 115273013 A CN115273013 A CN 115273013A
Authority
CN
China
Prior art keywords
attention
lane line
model
self
gnn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211180423.7A
Other languages
English (en)
Other versions
CN115273013B (zh
Inventor
蔡孙增
于洪洲
黄丽莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Xiaoma Robot Co ltd
Original Assignee
Jiangxi Xiaoma Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Xiaoma Robot Co ltd filed Critical Jiangxi Xiaoma Robot Co ltd
Priority to CN202211180423.7A priority Critical patent/CN115273013B/zh
Publication of CN115273013A publication Critical patent/CN115273013A/zh
Application granted granted Critical
Publication of CN115273013B publication Critical patent/CN115273013B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Abstract

本发明提供了一种车道线检测方法、系统、计算机及可读存储介质，该方法包括采集道路的场景图片，并识别出场景图片中的车道线区域；对场景图片进行预处理，以生成训练样本，并将训练样本输入至金字塔模型中，以输出第一特征矩阵；将第一特征矩阵输入至FPN模型中，并使FPN模型输出第二特征矩阵；将第二特征矩阵输入至自注意力图网络模型中，以预测出车道线ROI候选区域，并对车道线ROI候选区域进行分类以及回归预测处理，以完成训练；通过训练后的自注意力图网络模型识别出车道线区域中的车道线。通过上述方式能够摆脱传统算法中受遮挡噪声以及光线畸变等影响带来的不稳定性，提高了车道线检测的准确性。

Description

车道线检测方法、系统、计算机及可读存储介质
技术领域
本发明涉及图像数据处理技术领域，特别涉及一种车道线检测方法、系统、计算机及可读存储介质。
背景技术
随着科技的进步以及生产力的快速发展，例如物流机器人以及自动巡检机器人等设备已经得到了广泛的应用，能够大幅提升产品的生产效率。
其中，基于场景图片的车道线检测方法已经在上述机器人中得到了广泛的应用，用于使机器人按照特定的工作路线进行移动。
然而，现有传统的车道线检测方法大部分只适用于车道线的直线检测，当机器人处于车道线的弯道部分时，对于弯曲的车道线的检测稳定性较差，从而容易出现机器人偏离的现象，进而影响了机器人的工作效率。
发明内容
基于此，本发明的目的是提供一种车道线检测方法、系统、计算机及可读存储介质，以解决现有技术的车道线检测方法大部分只适用于车道线的直线检测，当机器人处于车道线的弯道部分时，对于弯曲的车道线的检测稳定性较差，从而容易出现机器人偏离的现象，进而影响了机器人工作效率的问题。
本发明实施例第一方面提出了一种车道线检测方法，所述方法包括：
通过拍摄设备采集当前道路的场景图片，并识别出所述场景图片中的车道线区域；
对所述场景图片进行预处理，以基于所述场景图片生成若干训练样本，并将若干所述训练样本输入至预设Backbone金字塔模型中，以使所述Backbone金字塔模型输出对应的若干第一特征矩阵；
将若干所述第一特征矩阵输入至预设FPN模型中，以使所述FPN模型对若干所述第一特征矩阵进行融合处理，并使所述FPN模型输出对应的第二特征矩阵；
将所述第二特征矩阵输入至预设Attention-GNN自注意力图网络模型中，以使所述Attention-GNN自注意力图网络模型预测出对应的车道线ROI候选区域，并依次对所述车道线ROI候选区域进行分类以及回归预测处理，以完成对所述Attention-GNN自注意力图网络模型的训练；
通过训练后的Attention-GNN自注意力图网络模型识别出所述车道线区域中的车道线。
本发明的有益效果是：通过拍摄设备实时采集道路的场景图片，并识别出当前场景图片中的车道线区域；进一步的，对场景图片进行预处理，以生成若干训练样本，并将当前若干训练样本输入至预设Backbone金字塔模型中，以使当前Backbone金字塔模型输出对应的若干第一特征矩阵；再将当前若干第一特征矩阵输入至预设FPN模型中，以使FPN模型对若干第一特征矩阵进行融合处理，并使FPN模型输出对应的第二特征矩阵；在此基础之上，将第二特征矩阵输入至预设Attention-GNN自注意力图网络模型中，以使Attention-GNN自注意力图网络模型预测出对应的车道线ROI候选区域，并依次对当前车道线ROI候选区域进行分类以及回归预测处理，以完成对Attention-GNN自注意力图网络模型的训练；最后只需通过训练后的Attention-GNN自注意力图网络模型识别出上述车道线区域中的车道线，就能够快速、准确的识别出当前道路的车道线。通过上述方式能够基于深度和空间的注意力模型生成标准的车道线ROI候选区域，从而提高了网络模型的检测鲁棒性和准确性。与此同时，本申请结合了深度卷积滤波算法和自注意力图网络模型，从而摆脱了传统算法中受遮挡噪声以及光线畸变等影响带来的不稳定性，进而提高了车道线检测的准确性、鲁棒性以及易用性，适用于大范围的推广与使用。
优选的，所述对所述场景图片进行预处理，以基于所述场景图片生成若干训练样本的步骤包括：
基于所述场景图片添加场景变化数据集，以根据所述场景变化数据集生成若干变化场景，并通过数据加扰算法对若干所述变化场景进行干扰处理，以对应生成若干所述训练样本。
优选的，所述依次对所述车道线ROI候选区域进行分类以及回归预测处理，以完成对所述Attention-GNN自注意力图网络模型的训练的步骤之后，所述方法还包括：
调用测试数据集合，并通过所述测试数据集合对训练后的Attention-GNN自注意力图网络模型进行性能测试，以使训练后的Attention-GNN自注意力图网络模型输出对应的测试模型；
将所述测试模型转换成对应的加速推理引擎。
优选的，所述将若干所述第一特征矩阵输入至预设FPN模型中，以使所述FPN模型对若干所述第一特征矩阵进行融合处理，并使所述FPN模型输出对应的第二特征矩阵的步骤包括：
当所述FPN模型接收到所述第一特征矩阵时，在所述FPN模型中调用出深度卷积滤波算法，并通过所述深度卷积滤波算法对若干所述第一特征矩阵进行融合处理，以使所述FPN模型输出对应的所述第二特征矩阵。
优选的，所述通过训练后的Attention-GNN自注意力图网络模型识别出所述车道线区域中的车道线的算法为：
Figure 585275DEST_PATH_IMAGE001
Figure 854583DEST_PATH_IMAGE002
其中，
Figure 702453DEST_PATH_IMAGE003
表示局部车道线ROI特征图，
Figure 158842DEST_PATH_IMAGE004
表示全局特征图，W表示注意力相关权 重，G表示
Figure 383150DEST_PATH_IMAGE005
在全局特征图
Figure 480200DEST_PATH_IMAGE006
中的相关增益并加回局部ROI特征图
Figure 561288DEST_PATH_IMAGE007
的输出，C表示特征图 的尺寸大小常量。
本发明实施例第二方面提出了一种车道线检测系统，所述系统包括：
采集模块，用于通过拍摄设备采集当前道路的场景图片，并识别出所述场景图片中的车道线区域；
处理模块，用于对所述场景图片进行预处理，以基于所述场景图片生成若干训练样本，并将若干所述训练样本输入至预设Backbone金字塔模型中，以使所述Backbone金字塔模型输出对应的若干第一特征矩阵；
融合模块，用于将若干所述第一特征矩阵输入至预设FPN模型中，以使所述FPN模型对若干所述第一特征矩阵进行融合处理，并使所述FPN模型输出对应的第二特征矩阵；
训练模块，用于将所述第二特征矩阵输入至预设Attention-GNN自注意力图网络模型中，以使所述Attention-GNN自注意力图网络模型预测出对应的车道线ROI候选区域，并依次对所述车道线ROI候选区域进行分类以及回归预测处理，以完成对所述Attention-GNN自注意力图网络模型的训练；
识别模块，用于通过训练后的Attention-GNN自注意力图网络模型识别出所述车道线区域中的车道线。
其中，上述车道线检测系统中，所述处理模块具体用于：
基于所述场景图片添加场景变化数据集，以根据所述场景变化数据集生成若干变化场景，并通过数据加扰算法对若干所述变化场景进行干扰处理，以对应生成若干所述训练样本。
其中，上述车道线检测系统中，所述车道线检测系统还包括测试模块，所述测试模块具体用于：
调用测试数据集合，并通过所述测试数据集合对训练后的Attention-GNN自注意力图网络模型进行性能测试，以使训练后的Attention-GNN自注意力图网络模型输出对应的测试模型；
将所述测试模型转换成对应的加速推理引擎。
其中，上述车道线检测系统中，所述融合模块具体用于：
当所述FPN模型接收到所述第一特征矩阵时，在所述FPN模型中调用出深度卷积滤波算法，并通过所述深度卷积滤波算法对若干所述第一特征矩阵进行融合处理，以使所述FPN模型输出对应的所述第二特征矩阵。
其中，上述车道线检测系统中，所述通过训练后的Attention-GNN自注意力图网络模型识别出所述车道线区域中的车道线的算法为：
Figure 708236DEST_PATH_IMAGE008
Figure 532973DEST_PATH_IMAGE009
其中，
Figure 245714DEST_PATH_IMAGE010
表示局部车道线ROI特征图，
Figure 169807DEST_PATH_IMAGE011
表示全局特征图，W表示注意力相关权 重，G表示
Figure 866368DEST_PATH_IMAGE012
在全局特征图
Figure 166899DEST_PATH_IMAGE013
中的相关增益并加回局部ROI特征图
Figure 265305DEST_PATH_IMAGE014
的输出，C表示特征 图的尺寸大小常量。
本发明实施例第三方面提出了一种计算机，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上面所述的车道线检测方法。
本发明实施例第四方面提出了一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上面所述的车道线检测方法。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
图1为本发明第一实施例提供的车道线检测方法的流程图；
图2为本发明第二实施例提供的车道线检测系统的结构框图。
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
现有传统的车道线检测方法大部分只适用于车道线的直线检测，当机器人处于车道线的弯道部分时，对于弯曲的车道线的检测稳定性较差，从而容易出现机器人偏离的现象，进而影响了机器人的工作效率。
请参阅图1，所示为本发明第一实施例提供的车道线检测方法，本实施例提供的车道线检测方法能够基于深度和空间的注意力模型生成标准的车道线ROI候选区域，从而提高了网络模型的检测鲁棒性和准确性。与此同时，本申请结合了深度卷积滤波算法和自注意力图网络模型，从而摆脱了传统算法中受遮挡噪声以及光线畸变等影响带来的不稳定性，进而提高了车道线检测的准确性、鲁棒性以及易用性，适用于大范围的推广与使用。
具体的，本实施例提供的车道线检测方法具体包括以下步骤：
步骤S10，通过拍摄设备采集当前道路的场景图片，并识别出所述场景图片中的车道线区域；
具体的，在本实施例中，首先需要说明的是，本实施例提供的车道线检测方法具体应用在机器人或者汽车等移动的物体上，用于识别出其行径道路上的车道线，以避免出现偏离的现象。
另外，在本实施例中，需要指出的是，本实施例提供的车道线检测方法是基于设置在后台的检测服务器实现的，具体的，在该检测服务器的内部预先设置有若干算法，从而能够有效的提升数据的处理效率。
进一步的，在本实施例中，还需要指出的是，本实施例会预先在上述机器人或者汽车等能够移动的物体上安装摄像头或者相机等能够拍摄图片的设备，以实时获取行驶道路上的图片，进而识别出当前图片中的车道线。
因此，在本步骤中，需要说明的是，本实施例提供的检测服务器会通过预先设置好的拍摄设备实时采集当前机器人或者汽车行驶的道路的场景图片，进一步的，当前检测服务器对实时采集到的场景图片进行识别处理，以对应识别出当前场景图片中的车道线区域。
步骤S20，对所述场景图片进行预处理，以基于所述场景图片生成若干训练样本，并将若干所述训练样本输入至预设Backbone金字塔模型中，以使所述Backbone金字塔模型输出对应的若干第一特征矩阵；
进一步的，在本步骤中，需要说明的是，在上述检测服务器获取到当前场景图片中的车道线区域之后，当前检测服务器会进一步对当前场景图像进行预处理，以基于当前场景图片生成若干训练样本，与此同时，将实时生成的若干训练样本输入至预先设置好的Backbone金字塔模型中，以使当前Backbone金字塔模型输出对应的若干第一特征矩阵。
其中，在本步骤中，需要指出的是，上述对所述场景图片进行预处理，以基于所述场景图片生成若干训练样本的步骤包括：
基于所述场景图片添加场景变化数据集，以根据所述场景变化数据集生成若干变化场景，并通过数据加扰算法对若干所述变化场景进行干扰处理，以对应生成若干所述训练样本。
在本步骤中，需要说明的是，通过对实时获取到的场景图片添加场景变化数据集能够增加当前场景图片的多样性，能够有效的避免出现误检以及漏检的现象，与此同时，能够有效的抑制传统算法中受噪声以及光线畸变等影响带来的不稳定性。
步骤S30，将若干所述第一特征矩阵输入至预设FPN模型中，以使所述FPN模型对若干所述第一特征矩阵进行融合处理，并使所述FPN模型输出对应的第二特征矩阵；
具体的，在本步骤中，需要说明的是，在上述检测服务器获取到第一特征矩阵之后，当前检测服务器会进一步将获取到的若干第一特征矩阵输入至其内部预先设置好的FPN模型中，从而能够使当前FPN模型对实时接收到的若干第一特征矩阵进行融合处理，并最终使当前FPN模型输出对应的第二特征矩阵。
其中，在本步骤中，需要指出的是，上述将若干所述第一特征矩阵输入至预设FPN模型中，以使所述FPN模型对若干所述第一特征矩阵进行融合处理，并使所述FPN模型输出对应的第二特征矩阵的步骤包括：
当所述FPN模型接收到所述第一特征矩阵时，在所述FPN模型中调用出深度卷积滤波算法，并通过所述深度卷积滤波算法对若干所述第一特征矩阵进行融合处理，以使所述FPN模型输出对应的所述第二特征矩阵。
在本步骤中，需要说明的是，通过采用深度卷积滤波算法能够有效的减少模型的参数计算量，从而能够大幅的缩短计算的时间，提高了计算效率。
步骤S40，将所述第二特征矩阵输入至预设Attention-GNN自注意力图网络模型中，以使所述Attention-GNN自注意力图网络模型预测出对应的车道线ROI候选区域，并依次对所述车道线ROI候选区域进行分类以及回归预测处理，以完成对所述Attention-GNN自注意力图网络模型的训练；
更进一步的，在本步骤中，需要说明的是，在上述检测服务器获取到第二特征矩阵之后，当前检测服务器会进一步将当前实时获取到的第二特征矩阵输入至其内部预先设置好的Attention-GNN自注意力图网络模型中，以进一步使当前Attention-GNN自注意力图网络模型预测出对应的车道线ROI候选区域，并进一步对该车道线ROI候选区域进行分类以及回归预测处理，以最终完成对Attention-GNN自注意力图网络模型的训练。
其中，在本步骤中，需要指出的是，上述依次对所述车道线ROI候选区域进行分类以及回归预测处理，以完成对所述Attention-GNN自注意力图网络模型的训练的步骤之后，该方法还包括：
调用测试数据集合，并通过所述测试数据集合对训练后的Attention-GNN自注意力图网络模型进行性能测试，以使训练后的Attention-GNN自注意力图网络模型输出对应的测试模型；
将所述测试模型转换成对应的加速推理引擎。
在本步骤中，通过对训练完成的Attention-GNN自注意力图网络模型进行测试，能够进一步提升该Attention-GNN自注意力图网络模型的检测准确率，以最终准确的识别出上述车道线区域中的车道线。
步骤S50，通过训练后的Attention-GNN自注意力图网络模型识别出所述车道线区域中的车道线。
最后，在本步骤中，需要说明的是，在上述检测服务器对上述Attention-GNN自注意力图网络模型完成训练后，进一步的，就能够通过当前训练完成的Attention-GNN自注意力图网络模型识别出上述车道线区域中的车道线。
另外，在本实施例中，需要指出的是，上述通过训练后的Attention-GNN自注意力图网络模型识别出所述车道线区域中的车道线的算法为：
Figure 360300DEST_PATH_IMAGE015
Figure 544157DEST_PATH_IMAGE016
其中，
Figure 648379DEST_PATH_IMAGE017
表示局部车道线ROI特征图，
Figure 335712DEST_PATH_IMAGE018
表示全局特征图，W表示注意力相关权 重，G表示
Figure 867188DEST_PATH_IMAGE019
在全局特征图
Figure 774226DEST_PATH_IMAGE020
中的相关增益并加回局部ROI特征图
Figure 682139DEST_PATH_IMAGE021
的输出，C表示特征图 的尺寸大小常量。
使用时，通过拍摄设备实时采集道路的场景图片，并识别出当前场景图片中的车道线区域；进一步的，对场景图片进行预处理，以生成若干训练样本，并将当前若干训练样本输入至预设Backbone金字塔模型中，以使当前Backbone金字塔模型输出对应的若干第一特征矩阵；再将当前若干第一特征矩阵输入至预设FPN模型中，以使FPN模型对若干第一特征矩阵进行融合处理，并使FPN模型输出对应的第二特征矩阵；在此基础之上，将第二特征矩阵输入至预设Attention-GNN自注意力图网络模型中，以使Attention-GNN自注意力图网络模型预测出对应的车道线ROI候选区域，并依次对当前车道线ROI候选区域进行分类以及回归预测处理，以完成对Attention-GNN自注意力图网络模型的训练；最后只需通过训练后的Attention-GNN自注意力图网络模型识别出上述车道线区域中的车道线，就能够快速、准确的识别出当前道路的车道线。通过上述方式能够基于深度和空间的注意力模型生成标准的车道线ROI候选区域，从而提高了网络模型的检测鲁棒性和准确性。与此同时，本申请结合了深度卷积滤波算法和自注意力图网络模型，从而摆脱了传统算法中受遮挡噪声以及光线畸变等影响带来的不稳定性，进而提高了车道线检测的准确性、鲁棒性以及易用性，适用于大范围的推广与使用。
需要说明的是，上述的实施过程只是为了说明本申请的可实施性，但这并不代表本申请的车道线检测方法只有上述唯一一种实施流程，相反的，只要能够将本申请的车道线检测方法实施起来，都可以被纳入本申请的可行实施方案。
综上，本发明上述实施例提供的车道线检测方法能够基于深度和空间的注意力模型生成标准的车道线ROI候选区域，从而提高了网络模型的检测鲁棒性和准确性。与此同时，本申请结合了深度卷积滤波算法和自注意力图网络模型，从而摆脱了传统算法中受遮挡噪声以及光线畸变等影响带来的不稳定性，进而提高了车道线检测的准确性、鲁棒性以及易用性，适用于大范围的推广与使用。
请参阅图2，所示为本发明第二实施例提供的车道线检测系统，所述系统包括：
采集模块12，用于通过拍摄设备采集当前道路的场景图片，并识别出所述场景图片中的车道线区域；
处理模块22，用于对所述场景图片进行预处理，以基于所述场景图片生成若干训练样本，并将若干所述训练样本输入至预设Backbone金字塔模型中，以使所述Backbone金字塔模型输出对应的若干第一特征矩阵；
融合模块32，用于将若干所述第一特征矩阵输入至预设FPN模型中，以使所述FPN模型对若干所述第一特征矩阵进行融合处理，并使所述FPN模型输出对应的第二特征矩阵；
训练模块42，用于将所述第二特征矩阵输入至预设Attention-GNN自注意力图网络模型中，以使所述Attention-GNN自注意力图网络模型预测出对应的车道线ROI候选区域，并依次对所述车道线ROI候选区域进行分类以及回归预测处理，以完成对所述Attention-GNN自注意力图网络模型的训练；
识别模块52，用于通过训练后的Attention-GNN自注意力图网络模型识别出所述车道线区域中的车道线。
其中，上述车道线检测系统中，所述处理模块22具体用于：
基于所述场景图片添加场景变化数据集，以根据所述场景变化数据集生成若干变化场景，并通过数据加扰算法对若干所述变化场景进行干扰处理，以对应生成若干所述训练样本。
其中，上述车道线检测系统中，所述车道线检测系统还包括测试模块62，所述测试模块62具体用于：
调用测试数据集合，并通过所述测试数据集合对训练后的Attention-GNN自注意力图网络模型进行性能测试，以使训练后的Attention-GNN自注意力图网络模型输出对应的测试模型；
将所述测试模型转换成对应的加速推理引擎。
其中，上述车道线检测系统中，所述融合模块32具体用于：
当所述FPN模型接收到所述第一特征矩阵时，在所述FPN模型中调用出深度卷积滤波算法，并通过所述深度卷积滤波算法对若干所述第一特征矩阵进行融合处理，以使所述FPN模型输出对应的所述第二特征矩阵。
其中，上述车道线检测系统中，所述通过训练后的Attention-GNN自注意力图网络模型识别出所述车道线区域中的车道线的算法为：
Figure 223979DEST_PATH_IMAGE008
Figure 988673DEST_PATH_IMAGE009
其中，
Figure 819226DEST_PATH_IMAGE022
表示局部车道线ROI特征图，
Figure 327567DEST_PATH_IMAGE023
表示全局特征图，W表示注意力相关权重，G 表示
Figure 927176DEST_PATH_IMAGE024
在全局特征图
Figure 597192DEST_PATH_IMAGE025
中的相关增益并加回局部ROI特征图
Figure 977357DEST_PATH_IMAGE026
的输出，C表示特征图的尺寸 大小常量。
本发明第三实施例提供了一种计算机，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一实施例提供的车道线检测方法。
本发明第四实施例提供了一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一实施例提供的车道线检测方法。
综上所述，本发明上述实施例提供的车道线检测方法、系统、计算机及可读存储介质能够基于深度和空间的注意力模型生成标准的车道线ROI候选区域，从而提高了网络模型的检测鲁棒性和准确性。与此同时，本申请结合了深度卷积滤波算法和自注意力图网络模型，从而摆脱了传统算法中受遮挡噪声以及光线畸变等影响带来的不稳定性，进而提高了车道线检测的准确性、鲁棒性以及易用性，适用于大范围的推广与使用。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种车道线检测方法，其特征在于，所述方法包括：
通过拍摄设备采集当前道路的场景图片，并识别出所述场景图片中的车道线区域；
对所述场景图片进行预处理，以基于所述场景图片生成若干训练样本，并将若干所述训练样本输入至预设Backbone金字塔模型中，以使所述Backbone金字塔模型输出对应的若干第一特征矩阵；
将若干所述第一特征矩阵输入至预设FPN模型中，以使所述FPN模型对若干所述第一特征矩阵进行融合处理，并使所述FPN模型输出对应的第二特征矩阵；
将所述第二特征矩阵输入至预设Attention-GNN自注意力图网络模型中，以使所述Attention-GNN自注意力图网络模型预测出对应的车道线ROI候选区域，并依次对所述车道线ROI候选区域进行分类以及回归预测处理，以完成对所述Attention-GNN自注意力图网络模型的训练；
通过训练后的Attention-GNN自注意力图网络模型识别出所述车道线区域中的车道线。
2.根据权利要求1所述的车道线检测方法，其特征在于：所述对所述场景图片进行预处理，以基于所述场景图片生成若干训练样本的步骤包括：
基于所述场景图片添加场景变化数据集，以根据所述场景变化数据集生成若干变化场景，并通过数据加扰算法对若干所述变化场景进行干扰处理，以对应生成若干所述训练样本。
3.根据权利要求1所述的车道线检测方法，其特征在于：所述依次对所述车道线ROI候选区域进行分类以及回归预测处理，以完成对所述Attention-GNN自注意力图网络模型的训练的步骤之后，所述方法还包括：
调用测试数据集合，并通过所述测试数据集合对训练后的Attention-GNN自注意力图网络模型进行性能测试，以使训练后的Attention-GNN自注意力图网络模型输出对应的测试模型；
将所述测试模型转换成对应的加速推理引擎。
4.根据权利要求1所述的车道线检测方法，其特征在于：所述将若干所述第一特征矩阵输入至预设FPN模型中，以使所述FPN模型对若干所述第一特征矩阵进行融合处理，并使所述FPN模型输出对应的第二特征矩阵的步骤包括：
当所述FPN模型接收到所述第一特征矩阵时，在所述FPN模型中调用出深度卷积滤波算法，并通过所述深度卷积滤波算法对若干所述第一特征矩阵进行融合处理，以使所述FPN模型输出对应的所述第二特征矩阵。
5.根据权利要求1所述的车道线检测方法，其特征在于：所述通过训练后的Attention-GNN自注意力图网络模型识别出所述车道线区域中的车道线的算法为：
Figure 387036DEST_PATH_IMAGE001
Figure 893103DEST_PATH_IMAGE002
其中，
Figure 640480DEST_PATH_IMAGE003
表示局部车道线ROI特征图，
Figure 257406DEST_PATH_IMAGE004
表示全局特征图，W表示注意力相关权重，G表 示
Figure 406627DEST_PATH_IMAGE005
在全局特征图
Figure 83596DEST_PATH_IMAGE006
中的相关增益并加回局部ROI特征图
Figure 318269DEST_PATH_IMAGE007
的输出，C表示特征图的尺寸 大小常量。
6.一种车道线检测系统，其特征在于，所述系统包括：
采集模块，用于通过拍摄设备采集当前道路的场景图片，并识别出所述场景图片中的车道线区域；
处理模块，用于对所述场景图片进行预处理，以基于所述场景图片生成若干训练样本，并将若干所述训练样本输入至预设Backbone金字塔模型中，以使所述Backbone金字塔模型输出对应的若干第一特征矩阵；
融合模块，用于将若干所述第一特征矩阵输入至预设FPN模型中，以使所述FPN模型对若干所述第一特征矩阵进行融合处理，并使所述FPN模型输出对应的第二特征矩阵；
训练模块，用于将所述第二特征矩阵输入至预设Attention-GNN自注意力图网络模型中，以使所述Attention-GNN自注意力图网络模型预测出对应的车道线ROI候选区域，并依次对所述车道线ROI候选区域进行分类以及回归预测处理，以完成对所述Attention-GNN自注意力图网络模型的训练；
识别模块，用于通过训练后的Attention-GNN自注意力图网络模型识别出所述车道线区域中的车道线。
7.根据权利要求6所述的车道线检测系统，其特征在于：所述处理模块具体用于：
基于所述场景图片添加场景变化数据集，以根据所述场景变化数据集生成若干变化场景，并通过数据加扰算法对若干所述变化场景进行干扰处理，以对应生成若干所述训练样本。
8.根据权利要求6所述的车道线检测系统，其特征在于：所述车道线检测系统还包括测试模块，所述测试模块具体用于：
调用测试数据集合，并通过所述测试数据集合对训练后的Attention-GNN自注意力图网络模型进行性能测试，以使训练后的Attention-GNN自注意力图网络模型输出对应的测试模型；
将所述测试模型转换成对应的加速推理引擎。
9.一种计算机，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任意一项所述的车道线检测方法。
10.一种可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至5中任意一项所述的车道线检测方法。
CN202211180423.7A 2022-09-27 2022-09-27 车道线检测方法、系统、计算机及可读存储介质 Active CN115273013B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211180423.7A CN115273013B (zh) 2022-09-27 2022-09-27 车道线检测方法、系统、计算机及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211180423.7A CN115273013B (zh) 2022-09-27 2022-09-27 车道线检测方法、系统、计算机及可读存储介质

Publications (2)

Publication Number Publication Date
CN115273013A true CN115273013A (zh) 2022-11-01
CN115273013B CN115273013B (zh) 2024-05-03

Family

ID=83757668

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211180423.7A Active CN115273013B (zh) 2022-09-27 2022-09-27 车道线检测方法、系统、计算机及可读存储介质

Country Status (1)

Country Link
CN (1) CN115273013B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018037053A (ja) * 2016-08-29 2018-03-08 東軟集団股▲分▼有限公司 車線境界線を検出する方法、装置、およびデバイス
CN112528878A (zh) * 2020-12-15 2021-03-19 中国科学院深圳先进技术研究院 检测车道线的方法、装置、终端设备及可读存储介质
CN113468967A (zh) * 2021-06-02 2021-10-01 北京邮电大学 基于注意力机制的车道线检测方法、装置、设备及介质
CN114550135A (zh) * 2022-02-22 2022-05-27 无锡物联网创新中心有限公司 一种基于注意力机制和特征聚合的车道线检测方法
CN114550139A (zh) * 2022-03-02 2022-05-27 盛景智能科技(嘉兴)有限公司 车道线检测方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018037053A (ja) * 2016-08-29 2018-03-08 東軟集団股▲分▼有限公司 車線境界線を検出する方法、装置、およびデバイス
CN112528878A (zh) * 2020-12-15 2021-03-19 中国科学院深圳先进技术研究院 检测车道线的方法、装置、终端设备及可读存储介质
CN113468967A (zh) * 2021-06-02 2021-10-01 北京邮电大学 基于注意力机制的车道线检测方法、装置、设备及介质
CN114550135A (zh) * 2022-02-22 2022-05-27 无锡物联网创新中心有限公司 一种基于注意力机制和特征聚合的车道线检测方法
CN114550139A (zh) * 2022-03-02 2022-05-27 盛景智能科技(嘉兴)有限公司 车道线检测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李杰等: "LaneAr：基于编解码实例分割的车道线检测方法", 《淮阴工学院学报》 *
李杰等: "LaneAr：基于编解码实例分割的车道线检测方法", 《淮阴工学院学报》, vol. 31, no. 3, 30 June 2022 (2022-06-30), pages 59 - 65 *

Also Published As

Publication number Publication date
CN115273013B (zh) 2024-05-03

Similar Documents

Publication Publication Date Title
CN112183788B (zh) 一种域自适应设备运检系统和方法
CN111325713B (zh) 基于神经网络的木材缺陷检测方法、系统及存储介质
CN111008961B (zh) 一种输电线路设备缺陷检测方法及其系统、设备、介质
CN103582697A (zh) 图像处理装置、图像处理方法和图像处理系统
CN112766110A (zh) 物体缺陷识别模型的训练方法、物体缺陷识别方法及装置
CN111223129A (zh) 检测方法、检测装置、监控设备和计算机可读存储介质
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
CN115457415A (zh) 基于yolo-x模型的目标检测方法、装置、电子设备和存储介质
US10896509B2 (en) Processing digital image to remove unwanted portion
CN115578326A (zh) 一种道路病害识别方法、系统、设备及存储介质
CN113554645B (zh) 基于wgan的工业异常检测方法和装置
CN115170988A (zh) 基于深度学习的电网线路故障识别方法及系统
CN111382695A (zh) 用于检测目标的边界点的方法和装置
CN111008956A (zh) 基于图像处理的梁底裂纹检测方法、系统、装置及介质
Ahmed et al. An observation of vision based underwater object detection and tracking
CN116681885B (zh) 输变电设备红外图像目标识别方法及系统
CN113780287A (zh) 一种多深度学习模型的最优选取方法及系统
CN112070750A (zh) 皮革制品缺陷检测方法和装置
CN113592761A (zh) 存储介质、走线检测装置、走线检测模型训练装置及方法
CN115273013A (zh) 车道线检测方法、系统、计算机及可读存储介质
CN115690752A (zh) 一种驾驶员行为检测方法及装置
CN113705567B (zh) 船舶裂纹检测方法、系统、设备及计算机可读存储介质
CN115937736A (zh) 基于注意力和上下文感知的小目标检测方法
CN115393743A (zh) 基于双分支编解码网络的车辆检测方法、无人机、介质
CN115272340A (zh) 工业产品缺陷检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant