CN115588177B - 训练车道线检测网络的方法、电子设备、程序产品及介质 - Google Patents

训练车道线检测网络的方法、电子设备、程序产品及介质 Download PDF

Info

Publication number
CN115588177B
CN115588177B CN202211473580.7A CN202211473580A CN115588177B CN 115588177 B CN115588177 B CN 115588177B CN 202211473580 A CN202211473580 A CN 202211473580A CN 115588177 B CN115588177 B CN 115588177B
Authority
CN
China
Prior art keywords
lane line
network
loss
target
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211473580.7A
Other languages
English (en)
Other versions
CN115588177A (zh
Inventor
李丹洪
谢字希
邸皓轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202211473580.7A priority Critical patent/CN115588177B/zh
Publication of CN115588177A publication Critical patent/CN115588177A/zh
Application granted granted Critical
Publication of CN115588177B publication Critical patent/CN115588177B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种训练车道线检测网络的方法包括：将道路图像输入深度神经网络，通过深度神经网络输出第一车道线检测结果；确定第一车道线检测结果与车道线标签之间的第一网络损失；根据深度神经网络中至少两个卷积层输出的张量生成目标张量，将目标张量输入语义分割网络，通过语义分割网络输出第二车道线检测结果；确定第二车道线检测结果与车道线标签之间的第二网络损失；根据第一网络损失和第二网络损失的加权和确定目标损失；根据目标损失对深度神经网络进行训练。该方法利用语义分割网络对深度神经网络进行辅助训练，以提高深度神经网络的车道线识别能力。本申请还提供了能够实现上述方法的电子设备、程序产品及计算机可读存储介质。

Description

训练车道线检测网络的方法、电子设备、程序产品及介质
技术领域
本申请涉及通信技术领域，尤其涉及一种训练车道线检测网络的方法、电子设备、程序产品及计算机可读存储介质。
背景技术
车道线是分隔行驶车辆的交通标线，其包括白色虚线、白色实线、黄色虚线和黄色实线。车道线检测是智能驾驶的一项基本功能。
目前有一种训练车道线检测模型的方法大致如下：将样本图像的样本车道线进行标注，标注结果包括第一参考点和第二参考点；根据样本车道线的标注结果训练出样本车道线的参数集合，参数集合包括样本车道线的中点、角度和长度；根据参数集合训练得到检测模型。
在车道线识别时，将待识别图像输入检测模型，通过检测模型输出车道线的中点、角度和长度，根据输出的车道线的中点、角度和长度生成待识别图像的车道线。上述方法可能将车道线的中点、角度和长度进行错误组合，这样会生成错误的车道线。
发明内容
本申请提供了一种训练车道线检测网络的方法、电子设备、程序产品及计算机可读存储介质，目的在于解决现有检测模型输出车道线的几何特征后，错误组合车道线的几何特征得到错误车道线的问题。
为了实现上述目的，本申请提供了以下技术方案：
第一方面提供一种训练车道线检测网络的方法，该方法包括：获取道路图像以及道路图像的车道线标签；将道路图像输入深度神经网络，通过深度神经网络输出第一车道线检测结果；根据第一损失函数确定第一车道线检测结果与车道线标签之间的第一网络损失；根据深度神经网络中至少两个卷积层输出的张量生成目标张量，至少两个卷积层中任意两个卷积层的尺寸不同；将目标张量输入语义分割网络，通过语义分割网络输出第二车道线检测结果；根据第二损失函数确定第二车道线检测结果与车道线标签之间的第二网络损失；根据第一网络损失和第二网络损失的加权和确定目标损失；根据目标损失对深度神经网络进行训练。
依此实施，从深度神经网络的至少两个卷积层输出的张量对应于不同分辨率的图像特征，不同分辨率的图像特征保留了道路图像的不同层次的特征，因此至少两个卷积层输出的张量能够代表不同层次的道路图像特征，依此计算得到的第二网络损失能够在一定程度上反映出道路图像的特征与真实车道线的差异。
通过深度神经网络计算出的第一网络损失能够反映出深度神经网络的车道线检测结果与车道线标签之间的差异，通过语义分割网络计算出的第二网络损失能够反映出语义分割网络的车道线检测结果与车道线标签之间的差异，这样根据第一网络损失和第二网络损失计算出的目标损失包含了上述两种差异，与单个深度神经网络输出的网络损失相比，上述目标损失包含了更加全面的信息，因此基于目标损失训练深度神经网络能够提高深度神经网络识别车道线的准确性以及能够提高训练深度神经网络的鲁棒性。与现有的检测模型相比，本申请的深度神经网络的输入数据和输出数据都是像素，因此无需组合车道线的几何特征，由此能够克服错误组合车道线的几何特征生成错误车道线的问题。
在一种可能的实现方式中，语义分割网络包括主干网络和深监督分支网络，深监督分支网络与主干网络的卷积层连接，第二车道线检测结果包括主干网络检测结果和分支网络检测结果；
根据第二损失函数确定第二车道线检测结果与车道线标签之间的第二网络损失包括：根据第二损失函数确定主干网络检测结果与车道线标签之间的主干网络损失；根据第二损失函数确定分支网络检测结果与车道线标签之间的分支网络损失；确定第二网络损失为主干网络损失与分支网络损失的加权和。
在另一种可能的实现方式中，深度神经网络包括卷积层、注意力层和空洞空间金字塔池化层，注意力层用于给前一层输出的张量分配自注意力权重，空洞空间金字塔池化层用于按照空洞空间金字塔参数将前一层输出的张量进行池化。
在另一种可能的实现方式中，本申请的训练车道线检测网络的方法还包括：从第一车道线检测结果中从下往上依次选取像素组，像素组包括连续两行车道线像素；确定连续两行车道线像素中第一行车道线像素和第二行车道线像素；确定像素组的像素差为第一行车道线像素与第二行车道线像素之差；确定第一形状损失为全部像素组的像素差之和；
根据第一网络损失和第二网络损失的加权和确定目标损失包括：将第一网络损失和第二网络损失的加权和与第一形状损失进行第一加权运算；根据第一加权运算结果确定目标损失。
在另一种可能的实现方式中，本申请的训练车道线检测网络的方法还包括：从第一车道线检测结果中从下往上依次选取像素集合，像素集合包括连续三行车道线像素；从连续三行车道线像素中获取每行车道线像素的最大像素值；根据像素集合中每行车道线像素的最大像素值计算像素集合的目标差值；确定第二形状损失为全部像素集合的目标差值之和；
根据第一加权运算结果确定目标损失包括：将第一加权运算结果与第二形状损失进行第二加权运算；确定目标损失为第二加权运算结果。
在另一种可能的实现方式中，像素集合的目标差值、像素集合中每行车道线像素的最大像素值满足以下公式：
；
其中，为像素集合的目标差值，为像素集合中第一行车道线像素的最大像素值，为像素集合中第二行车道线像素的最大像素值，为像素集合中第三行车道线像素的最大像素值。
在另一种可能的实现方式中，车道线标签为经过平滑处理的标签；
根据第一网络损失和第二网络损失的加权和确定目标损失包括：获取车道线标签与整数型标签之间的交叉熵平滑损失；将第一网络损失和第二网络损失的加权和与交叉熵平滑损失进行第三加权运算；确定目标损失为第三加权运算结果。
在另一种可能的实现方式中，第一损失函数为二值交叉熵损失函数，第二损失函数为戴斯损失函数。
在另一种可能的实现方式中，获取道路图像包括：获取待修改道路图像；根据第一高度确定待修改道路图像的顶部区域；根据第二高度确定待修改道路图像的底部区域；根据剩余区域的图像生成道路图像，剩余区域为将待修改道路图像去除顶部区域和底部区域得到的区域。
在另一种可能的实现方式中，根据剩余区域的图像生成道路图像包括：将剩余区域的图像进行下采样，以得到道路图像。
在另一种可能的实现方式中，根据深度神经网络中至少两个卷积层输出的张量生成目标张量包括：将从深度神经网络中至少两个卷积层输出的张量修改为目标尺寸的张量；确定目标张量为目标尺寸的张量之和。
在另一种可能的实现方式中，上述方法还包括：获取待处理道路图像；将待处理道路图像输入深度神经网络，通过深度神经网络输出车道线图像，车道线图像包括多个像素；根据多个像素的位置从待处理道路图像中选取目标像素集合；将目标像素集合中每个像素的颜色修改为目标颜色，目标颜色与待处理道路图像中车道线的颜色不同。
第二方面提供一种电子设备，该电子设备包括获取单元和处理单元；
获取单元用于获取道路图像以及道路图像的车道线标签；
处理单元用于将道路图像输入深度神经网络，通过深度神经网络输出第一车道线检测结果；根据第一损失函数确定第一车道线检测结果与车道线标签之间的第一网络损失；根据深度神经网络中至少两个卷积层输出的张量生成目标张量，至少两个卷积层中任意两个卷积层的尺寸不同；将目标张量输入语义分割网络，通过语义分割网络输出第二车道线检测结果；根据第二损失函数确定第二车道线检测结果与车道线标签之间的第二网络损失；根据第一网络损失和第二网络损失的加权和确定目标损失；根据目标损失对深度神经网络进行训练。
在一种可能的实现方式中，语义分割网络包括主干网络和深监督分支网络，深监督分支网络与主干网络的卷积层连接，第二车道线检测结果包括主干网络检测结果和分支网络检测结果；
处理单元具体用于根据第二损失函数确定主干网络检测结果与车道线标签之间的主干网络损失；根据第二损失函数确定分支网络检测结果与车道线标签之间的分支网络损失；确定第二网络损失为主干网络损失与分支网络损失的加权和。
在另一种可能的实现方式中，深度神经网络包括卷积层、注意力层和空洞空间金字塔池化层，注意力层用于给前一层输出的张量分配自注意力权重，空洞空间金字塔池化层用于按照空洞空间金字塔参数将前一层输出的张量进行池化。
在另一种可能的实现方式中，处理单元还用于从第一车道线检测结果中从下往上依次选取像素组，像素组包括连续两行车道线像素；确定连续两行车道线像素中第一行车道线像素和第二行车道线像素；确定像素组的像素差为第一行车道线像素与第二行车道线像素之差；确定第一形状损失为全部像素组的像素差之和；
处理单元具体用于将第一网络损失和第二网络损失的加权和与第一形状损失进行第一加权运算；根据第一加权运算结果确定目标损失。
在另一种可能的实现方式中，处理单元还用于从第一车道线检测结果中从下往上依次选取像素集合，像素集合包括连续三行车道线像素；从连续三行车道线像素中获取每行车道线像素的最大像素值；根据像素集合中每行车道线像素的最大像素值计算像素集合的目标差值；确定第二形状损失为全部像素集合的目标差值之和；
处理单元具体用于将第一加权运算结果与第二形状损失进行第二加权运算；确定目标损失为第二加权运算结果。
在另一种可能的实现方式中，像素集合的目标差值、像素集合中每行车道线像素的最大像素值满足以下公式：
;
其中，为像素集合的目标差值，为像素集合中第一行车道线像素的最大像素值，为像素集合中第二行车道线像素的最大像素值，为像素集合中第三行车道线像素的最大像素值。
在另一种可能的实现方式中，车道线标签为经过平滑处理的标签；
处理单元具体用于获取车道线标签与整数型标签之间的交叉熵平滑损失；将第一网络损失和第二网络损失的加权和与交叉熵平滑损失进行第三加权运算；确定目标损失为第三加权运算结果。
在另一种可能的实现方式中，第一损失函数为二值交叉熵损失函数，第二损失函数为戴斯损失函数。
在另一种可能的实现方式中，获取单元具体用于获取待修改道路图像；根据第一高度确定待修改道路图像的顶部区域；根据第二高度确定待修改道路图像的底部区域；根据剩余区域的图像生成道路图像，剩余区域为将待修改道路图像去除顶部区域和底部区域得到的区域。
在另一种可能的实现方式中，获取单元具体用于将剩余区域的图像进行下采样，以得到道路图像。
在另一种可能的实现方式中，处理单元具体用于将从深度神经网络中至少两个卷积层输出的张量修改为目标尺寸的张量；确定目标张量为目标尺寸的张量之和。
在另一种可能的实现方式中，获取单元还用于获取待处理道路图像；处理单元还用于将待处理道路图像输入深度神经网络，通过深度神经网络输出车道线图像，车道线图像包括多个像素；根据多个像素的位置从待处理道路图像中选取目标像素集合；将目标像素集合中每个像素的颜色修改为目标颜色，目标颜色与待处理道路图像中车道线的颜色不同。
第三方面提供一种电子设备，其包括处理器和存储器，存储器用于存储程序；处理器通过执行程序用于实现第一方面的方法。
第四方面提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行第一方面的方法。
第五方面提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行第一方面的方法。
附图说明
图1a为本申请提供的车道线检测的一个场景示意图；
图1b为本申请提供的车机交互界面中车道识别选项的示意图；
图1c为本申请检测得到的一个车道线图像；
图2为本申请提供的训练车道线检测网络的流程图；
图3a为本申请提供的计算目标损失的一个时序图；
图3b为本申请提供的计算目标损失的另一个时序图；
图3c为本申请提供的计算目标损失的另一个时序图；
图3d为本申请提供的计算目标损失的另一个时序图；
图4为本申请提供的通过语义分割网络计算第二网络损失的一个示意图；
图5为本申请提供的车道线检测的一个示意图；
图6为本申请提供的电子设备的软件架构图；
图7为本申请提供的电子设备的硬件结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本申请实施例中，“一个或多个”是指一个、两个或两个以上；“和/或”，描述关联对象的关联关系，表示可以存在三种关系；例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
本申请实施例涉及的多个，是指大于或等于两个。需要说明的是，在本申请实施例的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。
本申请训练车道线检测网络的方法可应用于电子设备，电子设备可以是车载电脑，手机，平板电脑，台式电脑，可穿戴设备，虚拟现实设备，增强现实设备，混合现实设备等终端，或者是服务器，例如是中心服务器、边缘服务器或者是本地数据中心的本地服务器。
在一个车道线检测的应用场景中，当车辆在道路上行驶时，车辆的图像传感器可以摄取道路图像如图1a所示。参阅图1a，道路包括车道线101、车道线102和车道线103。参阅图1b，用户在车辆的触控屏上选择“行车辅助”的选项，行车辅助的界面包括的选项以“巡航”和“车道识别”为例，选择“车道识别”之后，将图1a所示的道路图像输入本申请的车道线检测网络，通过车道线检测网络输出的车道线如图1c所示。参阅图1c，对车道线101、车道线102和车道线103的检测结果分别为车道线111，车道线112和车道线113。在图1c中，车道线111，车道线112和车道线113为圆圈构成的虚线。在实际应用中，车道线检测结果可以采用其他图形进行标识或者采用实线进行标识，具体可以根据实际情况进行设置。
下面对本申请训练车道线检测网络的方法进行介绍，参阅图2，在一个实施例中，本申请训练车道线检测网络的方法包括：
步骤201、获取道路图像以及道路图像的车道线标签。
本实施例中，道路图像可以是通过图像传感器或相机获取的原始图像。或者，道路图像是去除了原始图像的顶部区域和底部区域的图像。
在一个可选实施例中，获取道路图像包括：获取待修改道路图像；根据第一高度确定待修改道路图像的顶部区域；根据第二高度确定待修改道路图像的底部区域；根据剩余区域的图像生成道路图像，剩余区域为将待修改道路图像去除顶部区域和底部区域得到的区域。待修改道路图像为通过图像传感器或相机获取的原始图像。第一高度和第二高度可以根据实际情况进行设置。这样可以缩小道路图像的数据量，减少训练过程的计算开销，提高训练效率。
本实施例中的道路图像可以是剩余区域的图像，也可以是将剩余区域的图像进行下采样得到的图像。由于车道线具有一定宽度，下采样后的道路图像包括若干车道线像素，这样可以进一步减少训练过程的计算开销，提高训练效率。
步骤202、将道路图像输入深度神经网络，通过深度神经网络输出第一车道线检测结果。
深度神经网络的卷积层可以是轻量级骨干网的卷积层。可选的，深度神经网络包括多个卷积层以及池化层。
另一可选的，深度神经网络包括多个卷积层、注意力层和空洞空间金字塔池化（atrous spatial pyramid pooling，ASPP）层，注意力层用于给前一层输出的张量分配自注意力权重，空洞空间金字塔池化层用于按照空洞空间金字塔参数将前一层输出的张量进行池化。空洞空间金字塔参数包括多个采样率，采样率可以根据实际情况进行设置，本申请不作限定。在训练过程中注意力层能够增加张量中车道线特征图像的权重。空洞空间金字塔池化层能够将不同尺寸的张量进行降维。
在任意两个卷积层之间可以配置至少一个注意力层和/或至少一个空洞空间金字塔池化层。需要说明的是，第i个卷积层与第i+1个卷积层之间也可以不配置注意力层或空洞空间金字塔池化层，或者第i个卷积层与第i+1个卷积层之间配置池化层。i为正整数。
在一个示例中，每个卷积层的输出端连接一个注意力层，该注意力层的输出端连接一个空洞空间金字塔池化层。在另一个示例中，每个卷积层的输出端连接一个空洞空间金字塔池化层，该空洞空间金字塔池化层的输出端连接一个注意力层。在另一个示例中，深度神经网络中部分卷积层的输出端连接注意力层，部分卷积层的输出端连接空洞空间金字塔池化层。应理解，卷积层的数量、注意力层的数量和位置、空洞空间金字塔池化层的数量和位置、池化层的数量和位置以及i的取值可以根据实际情况进行设置，本申请不作限定。
步骤203、根据第一损失函数确定第一车道线检测结果与车道线标签之间的第一网络损失。第一损失函数可以是二值交叉熵损失函数或交叉熵损失函数，具体不限于以上举例。
步骤204、根据深度神经网络中至少两个卷积层输出的张量生成目标张量，至少两个卷积层中任意两个卷积层的尺寸不同。
可选的，步骤204包括：将从深度神经网络中至少两个卷积层输出的张量修改为目标尺寸的张量；确定目标张量为目标尺寸的张量之和。目标尺寸为语义分割网络的输入张量尺寸，目标尺寸可以预先根据实际情况进行配置。
步骤205、将目标张量输入语义分割网络，通过语义分割网络输出第二车道线检测结果。
步骤206、根据第二损失函数确定第二车道线检测结果与车道线标签之间的第二网络损失。第二损失函数可以是但不限于戴斯损失函数。
步骤207、根据第一网络损失和第二网络损失的加权和确定目标损失。
步骤208、根据目标损失对深度神经网络进行训练。
具体的，根据目标损失和反向传播算法对深度神经网络进行训练。需要说明的是，迭代执行步骤201至步骤208可以对深度神经网络进行多次训练。将深度神经网络多次训练后，可以重新获取道路图像按照步骤201至步骤208对深度神经网络进行多次训练，直至达到训练结束条件为止。可选的，训练结束条件是预设训练次数，预设训练次数可以根据经验设置。另一可选的，训练结束条件为目标损失小于或等于预设损失阈值。
本实施例中，从深度神经网络的至少两个卷积层输出的张量对应于不同分辨率的图像特征，不同分辨率的图像特征保留了道路图像的不同层次的特征，因此至少两个卷积层输出的张量能够代表不同层次的道路图像特征，依此计算得到的第二网络损失能够在一定程度上反映出道路图像的特征与真实车道线的差异。
通过深度神经网络计算出的第一网络损失能够反映出深度神经网络的车道线检测结果与车道线标签之间的差异，通过语义分割网络计算出的第二网络损失能够反映出语义分割网络的车道线检测结果与车道线标签之间的差异，这样根据第一网络损失和第二网络损失计算出的目标损失包含了上述两种差异，与单个深度神经网络的网络损失相比，上述目标损失包含了更加全面的信息，因此能够提高深度神经网络识别车道线的准确性以及能够提高训练深度神经网络的鲁棒性。
下面介绍本申请提供的多种计算目标损失的方法：
在第一种方法中，目标损失为第一网络损失和第二网络损失的加权和。第一网络损失的权重和第二网络损失的权重可以根据实际情况进行设置。
下面以一个示意图对计算上述目标损失的过程进行介绍，参阅图3a，在一个实施例中，将道路图像输入深度神经网络后，通过深度神经网络输出第一车道线检测结果，使用二值交叉熵损失函数计算出第一车道线检测结果与该道路图像的车道线标签之间的第一网络损失。
通过深度神经网络输出3个尺寸的张量，3个卷积层输出的张量包括4*4的张量1，4*2的张量2和2*2的张量3为例，语义分割网络的输入张量尺寸以4*4为例，将张量2进行上采样以得到4*4的张量4，将张量3上采样以得到4*4的张量5，然后确定目标张量为张量1，张量4和张量5的张量和。将目标张量输入语义分割网络后，通过语义分割网络输出第二车道线检测结果，使用戴斯损失函数计算出将第二车道线检测结果与该道路图像的车道线标签之间的第二网络损失。将第一网络损失和第二网络损失的加权和作为目标损失。根据目标损失对深度神经网络进行梯度下降处理，从而更新深度神经网络的权重。应理解，本申请的深度神经网络输出多个尺寸的张量不限于3个。
在第二种方法中，目标损失为第一网络损失、第二网络损失与第一形状损失的加权和。在另一个可选实施例中，本申请的训练车道线检测网络的方法还包括：从第一车道线检测结果中从下往上依次选取像素组，像素组包括连续两行车道线像素；确定连续两行车道线像素中第一行车道线像素和第二行车道线像素；确定像素组的像素差为第一行车道线像素与第二行车道线像素之差；确定第一形状损失为全部像素组的像素差之和；
步骤207包括：将第一网络损失和第二网络损失的加权和与第一形状损失进行第一加权运算；根据第一加权运算结果确定目标损失。
本实施例中，当道路图像为灰度图像时，像素组的像素差为第一行车道线像素的灰度值与第二行车道线像素的灰度值之差。当道路图像为RGB图像时，对于每个像素组，从第一行车道线像素中选取第一目标车道线像素，从第二行车道线像素中选取第二目标车道线像素，计算第一目标车道线像素的颜色值与第二目标车道线像素的颜色值之差，以得到三个颜色差值，然后将三个颜色差值的L1范数作为像素组的像素差。
第一车道线检测结果包括N行，则第一形状损失满足以下公式：
。
为第i+1行第j个车道线像素，为第i行第j个车道线像素。
需要说明的是，当像素组的每行车道线包括m个车道线像素时，可以按照上述方法计算出m组像素差，将m组像素差之和作为该像素组的像素差。m为正整数。
本实施例可以计算出在第一车道线检测结果中连续两行的车道线像素的差异。由于连续两行的车道线像素应该相似或相同，因此基于该差异计算得到的第一形状损失能够反映出第一车道线检测结果的连续性。第一形状损失越小则表明第一车道线检测结果中的车道线的连续性越高，否则第一车道线检测结果中的车道线的连续性越低。根据第一形状损失、第一网络损失和第二网络损失的加权和能够更加全面地反映出深度神经网络输出的车道线检测结果与车道线标签之间的差异，基于该目标损失训练得到的深度神经网络能够更准确地识别车道线。
参阅图3b，在一个示例中，将道路图像输入深度神经网络后，通过深度神经网络输出第一车道线检测结果，使用二值交叉熵损失函数计算出第一车道线检测结果与该道路图像的车道线标签之间的第一网络损失，以及根据第一车道线检测结果获取第一形状损失。通过深度神经网络输出3个尺寸的张量，根据3个尺寸的张量生成目标张量，然后将目标张量输入语义分割网络后，通过语义分割网络输出第二车道线检测结果，使用戴斯损失函数计算出将第二车道线检测结果与该道路图像的车道线标签之间的第二网络损失。然后确定目标损失为第一网络损失、第二网络损失与第一形状损失的加权和。
在第三种方法中，目标损失为第一网络损失、第二网络损失与第二形状损失的加权和。在另一个可选实施例中，本申请的训练车道线检测网络的方法还包括：
从第一车道线检测结果中从下往上依次选取像素集合，像素集合包括连续三行车道线像素；从连续三行车道线像素中获取每行车道线像素的最大像素值；根据像素集合中每行车道线像素的最大像素值计算像素集合的目标差值；确定第二形状损失为全部像素集合的目标差值之和；
步骤207包括：确定目标损失为第一加权运算结果与第二形状损失的加权和。
在一个可选实施例中，当道路图像为灰度图像时，最大像素值为最大灰度值。像素集合的目标差值、第一行车道线像素的最大像素值、第二行车道线像素的最大像素值和第三行车道线像素的最大像素值满足以下公式：
。
第一车道线检测结果包括N行，第二形状损失满足以下公式：
。
为第i个像素集合的目标差值。
在另一个可选实施例中，当道路图像为RGB图像时，每行车道线像素的最大像素值包括最大红色值、最大绿色值和最大蓝色值。例如，第一行车道线像素的最大像素值包括第一行车道线像素的最大红色值、第一行车道线像素的最大绿色值和第一行车道线像素的最大蓝色值。第二行车道线像素的最大像素值包括第二行车道线像素的最大红色值、第二行车道线像素的最大绿色值和第二行车道线像素的最大蓝色值。第三行车道线像素的最大像素值包括第三行车道线像素的最大红色值、第三行车道线像素的最大绿色值和第三行车道线像素的最大蓝色值。
像素集合的目标红色差值、像素集合的目标绿色差值、像素集合的目标蓝色差值、第一行车道线像素的最大像素值、第二行车道线像素的最大像素值和第三行车道线像素的最大像素值满足以下公式：
;
；
。
像素集合的目标差值、像素集合的目标红色差值、像素集合的目标绿色差值、像素集合的目标蓝色差值满足以下公式：
。
第一车道线检测结果包括N行，第二形状损失满足以下公式：
。
为第i个像素集合的目标差值。
本实施例可以计算出确定第一车道线检测结果中连续三行最大像素，连续三行最大像素包括前2行最大像素的第一差值和后2行最大像素的第二差值，第一差值和第二差值的差值可以反映出三行车道线像素是否在一条直线上。当第二形状损失越小，表明第一车道线检测结果中的车道线越接近直线，否则表明第一车道线检测结果中的车道线越偏离直线。这样将第二形状损失、第一网络损失和第二网络损失的加权和能够更加全面地反映出车道线检测结果与车道线标签之间的差异，基于该目标损失训练得到的深度神经网络能够更准确地识别车道线。
参阅图3c，在一个示例中，将道路图像输入深度神经网络后，通过深度神经网络输出第一车道线检测结果，使用二值交叉熵损失函数计算出第一车道线检测结果与该道路图像的车道线标签之间的第一网络损失，以及根据第一车道线检测结果获取第二形状损失。通过深度神经网络输出3个尺寸的张量，根据3个尺寸的张量生成目标张量，然后将目标张量输入语义分割网络后，通过语义分割网络输出第二车道线检测结果，使用戴斯损失函数计算出将第二车道线检测结果与该道路图像的车道线标签之间的第二网络损失。然后确定目标损失为第一网络损失、第二网络损失与第二形状损失的加权和。
在第四种方法中，目标损失为第一网络损失、第二网络损失、第一形状损失与第二形状损失的加权和。在另一个可选实施例中，本申请的训练车道线检测网络的方法还包括：
从第一车道线检测结果中从下往上依次选取像素组，像素组包括连续两行车道线像素；确定连续两行车道线像素中第一行车道线像素和第二行车道线像素；确定像素组的像素差为第一行车道线像素与第二行车道线像素之差；确定第一形状损失为全部像素组的像素差之和；
从第一车道线检测结果中从下往上依次选取像素集合，像素集合包括连续三行车道线像素；从连续三行车道线像素中获取每行车道线像素的最大像素值；根据像素集合中每行车道线像素的最大像素值计算像素集合的目标差值；确定第二形状损失为全部像素集合的目标差值之和；
步骤207包括：将第一加权运算结果与第二形状损失进行第二加权运算；确定目标损失为第二加权运算结果。
本实施例中计算第一形状损失与第二形状损失的方法可参阅以上实施例中的相应描述。本申请中第一形状损失的权重与第二形状损失的权重可以根据实际情况进行设置，本申请不作限定。
参阅图3d，在一个示例中，将道路图像输入深度神经网络后，通过深度神经网络输出第一车道线检测结果，使用二值交叉熵损失函数计算出第一车道线检测结果与该道路图像的车道线标签之间的第一网络损失，以及根据第一车道线检测结果获取第一形状损失和第二形状损失。通过深度神经网络输出3个尺寸的张量，根据3个尺寸的张量生成目标张量，然后将目标张量输入语义分割网络后，通过语义分割网络输出第二车道线检测结果，使用戴斯损失函数计算出将第二车道线检测结果与该道路图像的车道线标签之间的第二网络损失。然后确定目标损失为第一网络损失、第二网络损失、第一形状损失与第二形状损失的加权和。
在第五种方法中，在另一个可选实施例中，车道线标签为经过平滑处理的标签；
步骤207包括：获取车道线标签与整数型标签之间的交叉熵平滑损失；将第一网络损失和第二网络损失的加权和与交叉熵平滑损失进行第三加权运算；确定目标损失为第三加权运算结果。
本实施例中，整数型的车道线标签为1，整数型的非车道线标签为。经过平滑处理的车道线标签为1-α，经过平滑处理的非车道线标签为α，α为（0，1）中的值。例如，α是0.1，0.15或0.2，α的取值可以根据实际情况进行设置。将标签进行平滑处理能够防止过拟合。需要说明的是，获取第一网络损失与第二网络损失的加权和之后，本申请可以将交叉熵平滑损失、第一形状损失和第二形状损失中的至少一项与该加权和进行加权运算以得到目标损失。
本申请的语义分割网络可以包括一个主干网络，或者包括一个主干网络和一个或多个深监督分支网络。参阅图4，在一个可选实施例中，语义分割网络包括主干网络和深监督分支网络，深监督分支网络与主干网络的卷积层连接，将目标张量输入主干网络，通过主干网络输出主干网络检测结果；将主干网络的卷积层输出的张量输入深监督分支网络，通过深监督分支网络输出分支网络检测结果，根据第二损失函数确定主干网络检测结果与车道线标签之间的主干网络损失；根据第二损失函数确定分支网络检测结果与车道线标签之间的分支网络损失；确定第二网络损失为主干网络损失与分支网络损失的加权和。其中，主干网络损失的权重与分支网络损失的权重可以根据实际情况进行设置。
本实施例中，主干网络的卷积层输出的张量能够反映出目标张量的部分特征。由于目标张量与不同分辨率的道路图像特征相关，因此基于主干网络卷积层输出的张量计算得到的分支网络检测结果能够在一定程度上反映出道路图像的特征与真实车道线的差异。与单个主干网络输出的网络损失相比，这样根据主干网络损失与分支网络损失计算出的第二网络损失包含了更加全面的信息，因此能够提高深度神经网络识别车道线的准确性以及能够提高训练深度神经网络的鲁棒性。
可选的，当主干网络包括L个卷积层时，深监督分支网络连接的主干网络卷积层为第L/2个卷积层或者第L/2个卷积层之后的卷积层。L为正整数。
参阅图5，在另一个可选实施例中，在步骤208之后，本申请训练车道线检测网络的方法还包括：获取待处理道路图像；将待处理道路图像输入深度神经网络，通过深度神经网络输出车道线图像，车道线图像包括多个像素；根据多个像素的位置从待处理道路图像中选取目标像素集合；将目标像素集合中每个像素的颜色修改为目标颜色。目标颜色的像素可以作为车道线标识，由此能够在道路图像上通过目标颜色显示车道线。
目标颜色与待处理道路图像中车道线的颜色不同。目标颜色可以是但不限于绿色或红色，具体可以根据实际情况进行设置。本申请还可以将车道线图像中每个像素的颜色设置为目标颜色。
参阅图6，本申请提供一种电子设备能够实现以上实施例中训练车道线检测网络的方法。在一个实施例中，该电子设备600包括获取单元601和处理单元602；
获取单元601用于获取道路图像以及道路图像的车道线标签；
处理单元602用于将道路图像输入深度神经网络，通过深度神经网络输出第一车道线检测结果；根据第一损失函数确定第一车道线检测结果与车道线标签之间的第一网络损失；根据深度神经网络中至少两个卷积层输出的张量生成目标张量，至少两个卷积层中任意两个卷积层的尺寸不同；将目标张量输入语义分割网络，通过语义分割网络输出第二车道线检测结果；根据第二损失函数确定第二车道线检测结果与车道线标签之间的第二网络损失；根据第一网络损失和第二网络损失的加权和确定目标损失；根据目标损失对深度神经网络进行训练。
在一个可选实施例中，语义分割网络包括主干网络和深监督分支网络，深监督分支网络与主干网络的卷积层连接，第二车道线检测结果包括主干网络检测结果和分支网络检测结果，主干网络检测结果是由主干网络处理目标张量所得，分支网络检测结果是由深监督分支网络处理主干网络的卷积层输出的张量所得；
处理单元602具体用于根据第二损失函数确定主干网络检测结果与车道线标签之间的主干网络损失；根据第二损失函数确定分支网络检测结果与车道线标签之间的分支网络损失；确定第二网络损失为主干网络损失与分支网络损失的加权和。
在另一个可选实施例中，深度神经网络包括卷积层、注意力层和空洞空间金字塔池化层，注意力层用于给前一层输出的张量分配自注意力权重，空洞空间金字塔池化层用于按照空洞空间金字塔参数将前一层输出的张量进行池化。
在另一个可选实施例中，处理单元602还用于从第一车道线检测结果中从下往上依次选取像素组，像素组包括连续两行车道线像素；确定连续两行车道线像素中第一行车道线像素和第二行车道线像素；确定像素组的像素差为第一行车道线像素与第二行车道线像素之差；确定第一形状损失为全部像素组的像素差之和；
处理单元602具体用于将第一网络损失和第二网络损失的加权和与第一形状损失进行第一加权运算；根据第一加权运算结果确定目标损失。
在另一个可选实施例中，处理单元602还用于从第一车道线检测结果中从下往上依次选取像素集合，像素集合包括连续三行车道线像素；从连续三行车道线像素中获取每行车道线像素的最大像素值；根据像素集合中每行车道线像素的最大像素值计算像素集合的目标差值；确定第二形状损失为全部像素集合的目标差值之和；
处理单元602具体用于将第一加权运算结果与第二形状损失进行第二加权运算；确定目标损失为第二加权运算结果。
在另一个可选实施例中，像素集合的目标差值、像素集合中每行车道线像素的最大像素值满足以下公式：
；
其中，为像素集合的目标差值，为第一行车道线像素的最大像素值，为第二行车道线像素的最大像素值，为第三行车道线像素的最大像素值。
在另一个可选实施例中，车道线标签为经过平滑处理的标签；
处理单元602具体用于获取车道线标签与整数型标签之间的交叉熵平滑损失；将第一网络损失和第二网络损失的加权和与交叉熵平滑损失进行第三加权运算；确定目标损失为第三加权运算结果。
在另一个可选实施例中，第一损失函数为二值交叉熵损失函数，第二损失函数为戴斯损失函数。
在另一个可选实施例中，获取单元601具体用于获取待修改道路图像；根据第一高度确定待修改道路图像的顶部区域；根据第二高度确定待修改道路图像的底部区域；根据剩余区域的图像生成道路图像，剩余区域为将待修改道路图像去除顶部区域和底部区域得到的区域。可选的，获取单元601具体用于将剩余区域的图像进行下采样，以得到道路图像。
在另一个可选实施例中，处理单元602具体用于将从深度神经网络中至少两个卷积层输出的张量修改为目标尺寸的张量；确定目标张量为目标尺寸的张量之和。
在另一个可选实施例中，获取单元601还用于获取待处理道路图像；处理单元602还用于将待处理道路图像输入深度神经网络，通过深度神经网络输出车道线图像，车道线图像包括多个像素；根据多个像素的位置从待处理道路图像中选取目标像素集合；将目标像素集合中每个像素的颜色修改为目标颜色，目标颜色与待处理道路图像中车道线的颜色不同。
下面对电子设备的硬件结构进行介绍，如图7所示，在一个实施例中，本申请提供的一种电子设备700包括：总线702、处理器704、存储器706和通信接口708。处理器704、存储器706和通信接口708之间通过总线702通信。应理解，本申请不限定电子设备700中的处理器、存储器和通信接口的个数。
总线702可以是外设部件互连标准（peripheral component interconnect，PCI）总线或扩展工业标准结构（extended industry standard architecture，EISA）总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条线表示，但并不表示仅有一根总线或一种类型的总线。总线702可包括在电子设备700各个部件（例如，存储器706、处理器704、通信接口708）之间传送信息的通路。
处理器704可以包括中央处理器(central processing unit，CPU)、图形处理器（graphics processing unit，GPU）、神经网络处理单元（neural-network processingunits，NPU）微处理器（micro processor，MP）或者数字信号处理器（digital signalprocessor，DSP）等处理器中的任意一种或多种。
存储器706可以包括易失性存储器(volatile memory)，例如随机存取存储器(random access memory，RAM)。处理器704还可以包括非易失性存储器(non-volatilememory)，例如只读存储器(read-only memory，ROM)，快闪存储器，机械硬盘（hard diskdrive，HDD）或固态硬盘（solid state drive，SSD）。
存储器706中存储有可执行的程序代码，处理器704执行该可执行的程序代码以分别实现前述获取单元601和处理单元602的功能，从而实现训练车道线检测网络的方法。也即，存储器706上存有用于执行训练车道线检测网络的方法的指令。
通信接口708使用例如但不限于网络接口卡、收发器一类的收发模块，来实现电子设备600与其他设备或通信网络之间的通信。
本申请实施例还提供了一种包含指令的计算机程序产品。计算机程序产品可以是包含指令的，能够运行在计算机上或被储存在任何可用介质中的软件或程序产品。当计算机程序产品在计算机上运行时，使得计算机执行训练车道线检测网络的方法。
本申请实施例还提供了一种计算机可读存储介质。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质的数据中心等数据存储设备。所述可用介质可以是磁性介质，（例如，软盘、硬盘、磁带）、光介质（例如，DVD）、或者半导体介质（例如固态硬盘）等。该计算机可读存储介质包括指令，所述指令指示计算机执行训练车道线检测网络的方法。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例的技术方案的范围。

Claims (14)

1.一种训练车道线检测网络的方法，其特征在于，包括：
获取道路图像；
获取所述道路图像的车道线标签；
将所述道路图像输入深度神经网络，通过所述深度神经网络输出第一车道线检测结果，所述深度神经网络包括卷积层、注意力层和空洞空间金字塔池化层，所述注意力层用于给前一层输出的张量分配自注意力权重，空洞空间金字塔池化层用于按照空洞空间金字塔参数将前一层输出的张量进行池化；
根据第一损失函数确定所述第一车道线检测结果与所述车道线标签之间的第一网络损失；
根据所述深度神经网络中至少两个卷积层输出的张量生成目标张量，所述至少两个卷积层中任意两个卷积层的尺寸不同；
将所述目标张量输入语义分割网络，通过所述语义分割网络输出第二车道线检测结果，所述语义分割网络包括主干网络和深监督分支网络，所述深监督分支网络与所述主干网络的卷积层连接；
根据第二损失函数确定所述第二车道线检测结果与所述车道线标签之间的第二网络损失；
根据所述第一网络损失和所述第二网络损失的加权和确定目标损失；
根据所述目标损失对所述深度神经网络进行训练。
2.根据权利要求1所述的方法，其特征在于，所述第二车道线检测结果包括主干网络检测结果和分支网络检测结果；
所述根据第二损失函数确定所述第二车道线检测结果与所述车道线标签之间的第二网络损失包括：
根据第二损失函数确定所述主干网络检测结果与所述车道线标签之间的主干网络损失；
根据所述第二损失函数确定所述分支网络检测结果与所述车道线标签之间的分支网络损失；
确定所述第二网络损失为所述主干网络损失与所述分支网络损失的加权和。
3.根据权利要求1所述的方法，其特征在于，
所述方法还包括：从所述第一车道线检测结果中从下往上依次选取像素组，所述像素组包括连续两行车道线像素；确定所述连续两行车道线像素中第一行车道线像素和第二行车道线像素；确定所述像素组的像素差为所述第一行车道线像素与所述第二行车道线像素之差；确定第一形状损失为全部像素组的像素差之和；
所述根据第一网络损失和第二网络损失的加权和确定目标损失包括：将所述第一网络损失和第二网络损失的加权和与第一形状损失进行第一加权运算；根据第一加权运算结果确定目标损失。
4.根据权利要求3所述的方法，其特征在于，
所述方法还包括：从所述第一车道线检测结果中从下往上依次选取像素集合，所述像素集合包括连续三行车道线像素；从连续三行车道线像素中获取每行车道线像素的最大像素值；根据所述像素集合中每行车道线像素的最大像素值计算所述像素集合的目标差值；确定第二形状损失为全部像素集合的目标差值之和；
所述根据第一加权运算结果确定目标损失包括：将所述第一加权运算结果与所述第二形状损失进行第二加权运算；确定目标损失为第二加权运算结果。
5.根据权利要求4所述的方法，其特征在于，所述像素集合的目标差值、所述像素集合中每行车道线像素的最大像素值满足以下公式：
其中，为所述像素集合的目标差值，为所述像素集合中第一行车道线像素的最大像素值，为所述像素集合中第二行车道线像素的最大像素值，为所述像素集合中第三行车道线像素的最大像素值。
6.根据权利要求1所述的方法，其特征在于，所述车道线标签为经过平滑处理的标签；
所述根据第一网络损失和第二网络损失的加权和确定目标损失包括：
获取所述车道线标签与整数型标签之间的交叉熵平滑损失；
将所述第一网络损失和所述第二网络损失的加权和与所述交叉熵平滑损失进行第三加权运算；
确定所述目标损失为第三加权运算结果。
7.根据权利要求1至6中任一项所述的方法，其特征在于，所述第一损失函数为二值交叉熵损失函数，所述第二损失函数为戴斯损失函数。
8.根据权利要求1至6中任一项所述的方法，其特征在于，所述获取道路图像包括：
获取待修改道路图像；
根据第一高度确定所述待修改道路图像的顶部区域；
根据第二高度确定所述待修改道路图像的底部区域；
根据剩余区域的图像生成道路图像，所述剩余区域为将所述待修改道路图像去除所述顶部区域和所述底部区域得到的区域。
9.根据权利要求8所述的方法，其特征在于，所述根据剩余区域的图像生成道路图像包括：
将剩余区域的图像进行下采样，以得到道路图像。
10.根据权利要求1至6中任一项所述的方法，其特征在于，所述根据所述深度神经网络中至少两个卷积层输出的张量生成目标张量包括：
将从所述深度神经网络中至少两个卷积层输出的张量修改为目标尺寸的张量；
确定目标张量为所述目标尺寸的张量之和。
11.根据权利要求1至6中任一项所述的方法，其特征在于，所述方法还包括：
获取待处理道路图像；
将所述待处理道路图像输入所述深度神经网络，通过所述深度神经网络输出车道线图像，所述车道线图像包括多个像素；
根据所述多个像素的位置从所述待处理道路图像中选取目标像素集合；
将所述目标像素集合中每个像素的颜色修改为目标颜色，所述目标颜色与所述待处理道路图像中车道线的颜色不同。
12.一种电子设备，其特征在于，包括：
获取单元，用于获取道路图像以及所述道路图像的车道线标签；
处理单元，用于将所述道路图像输入深度神经网络，通过所述深度神经网络输出第一车道线检测结果，所述深度神经网络包括卷积层、注意力层和空洞空间金字塔池化层，所述注意力层用于给前一层输出的张量分配自注意力权重，空洞空间金字塔池化层用于按照空洞空间金字塔参数将前一层输出的张量进行池化；根据第一损失函数确定所述第一车道线检测结果与所述车道线标签之间的第一网络损失；根据所述深度神经网络中至少两个卷积层输出的张量生成目标张量，所述至少两个卷积层中任意两个卷积层的尺寸不同；将所述目标张量输入语义分割网络，通过所述语义分割网络输出第二车道线检测结果，所述语义分割网络包括主干网络和深监督分支网络，所述深监督分支网络与所述主干网络的卷积层连接；根据第二损失函数确定所述第二车道线检测结果与所述车道线标签之间的第二网络损失；根据所述第一网络损失和所述第二网络损失的加权和确定目标损失；根据所述目标损失对所述深度神经网络进行训练。
13.一种电子设备，其特征在于，包括处理器和存储器，所述存储器用于存储指令，所述处理器用于执行所述指令，使得所述电子设备执行权利要求1至11中任一项所述的方法。
14.一种存储有指令的计算机可读存储介质，其特征在于，当所述指令在计算机上运行时，使得计算机执行权利要求1至11中任一项所述的方法。
CN202211473580.7A 2022-11-23 2022-11-23 训练车道线检测网络的方法、电子设备、程序产品及介质 Active CN115588177B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211473580.7A CN115588177B (zh) 2022-11-23 2022-11-23 训练车道线检测网络的方法、电子设备、程序产品及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211473580.7A CN115588177B (zh) 2022-11-23 2022-11-23 训练车道线检测网络的方法、电子设备、程序产品及介质

Publications (2)

Publication Number Publication Date
CN115588177A CN115588177A (zh) 2023-01-10
CN115588177B true CN115588177B (zh) 2023-05-12

Family

ID=84783204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211473580.7A Active CN115588177B (zh) 2022-11-23 2022-11-23 训练车道线检测网络的方法、电子设备、程序产品及介质

Country Status (1)

Country Link
CN (1) CN115588177B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949493A (zh) * 2021-03-03 2021-06-11 深圳瑞为智能科技有限公司 一种结合语义分割和注意力机制的车道线检测方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796003B (zh) * 2019-09-24 2022-04-26 成都旷视金智科技有限公司 车道线检测方法、装置及电子设备
CN113591509A (zh) * 2020-04-30 2021-11-02 深圳市丰驰顺行信息技术有限公司 车道线检测模型的训练方法、图像处理方法及装置
CN114120272A (zh) * 2021-11-11 2022-03-01 东南大学 一种融合边缘检测的多监督智能车道线语义分割方法
CN114494158A (zh) * 2022-01-07 2022-05-13 华为技术有限公司 一种图像处理方法、一种车道线检测方法及相关设备
CN114677560A (zh) * 2022-03-21 2022-06-28 国科温州研究院(温州生物材料与工程研究所) 基于深度学习算法的车道线检测方法及计算机系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949493A (zh) * 2021-03-03 2021-06-11 深圳瑞为智能科技有限公司 一种结合语义分割和注意力机制的车道线检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
田晟 ; 张剑锋 ; 张裕天 ; 许凯 ; .基于扩张卷积金字塔网络的车道线检测算法.西南交通大学学报.2019,第55卷(第02期),第1-3节. *

Also Published As

Publication number Publication date
CN115588177A (zh) 2023-01-10

Similar Documents

Publication Publication Date Title
CN112528878B (zh) 检测车道线的方法、装置、终端设备及可读存储介质
CN109478239B (zh) 检测图像中的对象的方法和对象检测系统
CN113785305B (zh) 一种检测倾斜文字的方法、装置及设备
CN110622177B (zh) 实例分割
CN113168510A (zh) 通过细化形状先验分割对象
KR20170140214A (ko) 신경망을 위한 훈련 기준으로서의 필터 특이성
CN114359851A (zh) 无人驾驶目标检测方法、装置、设备及介质
CN110569844B (zh) 基于深度学习的船舶识别方法及系统
JP2010157118A (ja) パターン識別装置及びパターン識別装置の学習方法ならびにコンピュータプログラム
CN114549369B (zh) 数据修复方法、装置、计算机及可读存储介质
CN115273032A (zh) 交通标志识别方法、装置、设备及介质
CN115272691A (zh) 一种钢筋绑扎状态检测模型的训练方法、识别方法及设备
CN117218622A (zh) 路况检测方法、电子设备及存储介质
CN111178363A (zh) 文字识别方法、装置、电子设备以及可读存储介质
CN111476226B (zh) 一种文本定位方法、装置及模型训练方法
CN115588177B (zh) 训练车道线检测网络的方法、电子设备、程序产品及介质
CN114898306B (zh) 一种检测目标朝向的方法、装置及电子设备
CN116630917A (zh) 一种车道线检测方法
CN114359572A (zh) 多任务检测模型的训练方法、装置及终端设备
CN114399657A (zh) 车辆检测模型训练方法、装置、车辆检测方法及电子设备
CN113780189A (zh) 一种基于U-Net改进的车道线检测方法
CN113780066A (zh) 行人重识别方法、装置、电子设备及可读存储介质
CN112434591B (zh) 车道线确定方法、装置
CN111179283A (zh) 图像语义分割方法及装置、存储介质
US20230298360A1 (en) Lane marker recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant