CN113591509A - 车道线检测模型的训练方法、图像处理方法及装置 - Google Patents
车道线检测模型的训练方法、图像处理方法及装置 Download PDFInfo
- Publication number
- CN113591509A CN113591509A CN202010359595.5A CN202010359595A CN113591509A CN 113591509 A CN113591509 A CN 113591509A CN 202010359595 A CN202010359595 A CN 202010359595A CN 113591509 A CN113591509 A CN 113591509A
- Authority
- CN
- China
- Prior art keywords
- lane line
- neural network
- loss
- convolutional neural
- semantic segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 114
- 238000012549 training Methods 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 146
- 230000011218 segmentation Effects 0.000 claims abstract description 124
- 238000002372 labelling Methods 0.000 claims abstract description 61
- 238000003062 neural network model Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims description 36
- 230000015654 memory Effects 0.000 claims description 33
- 230000006870 function Effects 0.000 claims description 29
- 238000004364 calculation method Methods 0.000 claims description 19
- 238000013507 mapping Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 5
- 238000009499 grossing Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 11
- 238000010606 normalization Methods 0.000 description 7
- 238000007726 management method Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000007599 discharging Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013140 knowledge distillation Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种车道线检测模型的训练方法、图像处理方法及装置，获取车道线样本标注图像；基于第一卷积神经网络模型对车道线样本标注图像进行语义分割，得到第一车道线语义分割结果；基于第二卷积神经网络模型对车道线样本标注图像进行语义分割，得到第二车道线语义分割结果，其中，第一卷积神经网络模型的卷积层数量大于第二卷积神经网络模型的卷积层数量；基于第一车道线语义分割结果和第二车道线语义分割结果计算输出差距损失；计算第二卷积神经网络模型中多个卷积层之间的自注意力特征损失；基于输出差距损失和自注意力特征损失对第二卷积神经网络模型的网络参数进行调整，得到车道线检测模型。
Description
技术领域
本申请涉及图像处理技术领域，具体涉及一种车道线检测模型的训练方法、图像处理方法及装置。
背景技术
在自动驾驶领域中，对周围环境的了解对安全驾驶至关重要，其中实时的车道线位置检测是十分必要的一个环节，可提供车道偏离警告等功能。
基于传统图像处理的方法具有较大的局限性，随着道路场景复杂性的增加，如强光、能见度低、阴影、遮挡等问题，效果大打折扣，且计算复杂度高，运行效率低；基于深度学习的方法往往需要构建庞大的模型才能达到较高的检测精度，但是带来的额外计算开销无法满足实时的检测需求，而轻量级的小模型学习能力有限，无法很好地解决车道线检测问题中正负样本分布严重不平衡的问题，导致检测精度偏低。
也即，现有技术的图像处理方法，无法同时提高车道线图像检测精度和降低计算负荷。
发明内容
本申请实施例提供一种车道线检测模型的训练方法、图像处理方法及装置，旨在解决如何同时提高图像检测精度和降低计算负荷。
第一方面，本申请提供一种车道线检测模型的训练方法，所述车道线检测模型的训练方法包括：
获取车道线样本标注图像；
基于第一卷积神经网络模型对所述车道线样本标注图像进行语义分割，得到第一车道线语义分割结果；
基于第二卷积神经网络模型对所述车道线样本标注图像进行语义分割，得到第二车道线语义分割结果，其中，所述第一卷积神经网络模型的卷积层数量大于所述第二卷积神经网络模型的卷积层数量；
基于所述第一车道线语义分割结果和所述第二车道线语义分割结果计算输出差距损失；
计算所述第二卷积神经网络模型中多个卷积层之间的自注意力特征损失；
基于所述输出差距损失和所述自注意力特征损失对所述第二卷积神经网络模型的网络参数进行调整，得到所述车道线检测模型。
其中，所述基于所述输出差距损失和所述自注意力特征损失对所述第二卷积神经网络模型的网络参数进行调整，得到所述车道线检测模型，包括：
基于所述第二车道线语义分割结果和所述车道线样本标注图像计算所述第二卷积神经网络模型的交叉熵损失；
基于所述输出差距损失、所述自注意力特征损失以及所述交叉熵损失对所述第二卷积神经网络模型的网络参数进行调整，得到所述车道线检测模型。
其中，所述基于所述输出差距损失、所述自注意力特征损失以及所述交叉熵损失对所述第二卷积神经网络模型的网络参数进行调整，得到所述车道线检测模型，包括：
获取所述输出差距损失、所述自注意力特征损失以及所述交叉熵损失的权重系数；
基于所述权重系数对所述输出差距损失、所述自注意力特征损失以及所述交叉熵损失加权处理，得到综合损失；
基于所述综合损失对所述第二卷积神经网络模型的网络参数进行调整，得到所述车道线检测模型。
其中，所述计算所述第二卷积神经网络模型中多个卷积层之间的自注意力特征损失，包括：
获取所述第二卷积神经网络模型对所述车道线样本标注图像进行语义分割时多个卷积层的多个卷积层输出特征图；
基于预设映射函数分别对所述多个卷积层输出特征图的维度进行压缩处理，得到所述第二卷积神经网络模型中所述多个卷积层对应的多个注意力特征图；
基于所述多个注意力特征图计算所述自注意力特征损失。
其中，所述基于预设映射函数分别对所述多个卷积层输出特征图的维度进行压缩处理，得到所述第二卷积神经网络模型中所述多个卷积层对应的多个注意力特征图，包括：
以所述多个卷积层输出特征图中的预设卷积层输出特征图的尺寸为基准，对所述多个卷积层输出特征图进行调整，以使所述多个卷积层输出特征图的尺寸相同。
其中，所述基于所述第二车道线语义分割结果和所述车道线样本标注图像计算所述第二卷积神经网络模型的交叉熵损失，包括：
基于所述车道线样本标注图像中的标注数据获取所述车道线样本标注图像中各个像素点的真实概率分布；
基于所述第二车道线语义分割结果获取所述车道线样本标注图像中各个像素点的预测概率分布；
基于所述真实概率分布和所述预测概率分布计算所述第二卷积神经网络模型的交叉熵损失。
其中，所述获取车道线样本标注图像，包括：
获取车道线图像；
对所述车道线图像进行标注，得到所述车道线样本标注图像。
第二方面，本申请提供一种图像处理方法，所述图像处理方法，包括：
获取车道线图像；
通过车道线检测模型对所述车道线图像进行语义分割，得到语义分割结果，其中，所述车道线检测模型为根据第一方面任意一项所述的车道线检测模型的训练方法得到的车道线检测模型。
第三方面，本申请提供一种车道线检测模型的训练装置，所述训练装置包括：
获取单元，用于获取车道线样本标注图像；
第一语义分割单元，用于基于第一卷积神经网络模型对所述车道线样本标注图像进行语义分割，得到第一车道线语义分割结果；
第二语义分割单元，用于基于第二卷积神经网络模型对所述车道线样本标注图像进行语义分割，得到第二车道线语义分割结果，其中，所述第一卷积神经网络模型的卷积层数量大于所述第二卷积神经网络模型的卷积层数量；
第一计算单元，用于基于所述第一车道线语义分割结果和所述第二车道线语义分割结果计算输出差距损失；
第二计算单元，用于计算所述第二卷积神经网络模型中多个卷积层之间的自注意力特征损失；
网络参数调整单元，用于基于所述输出差距损失和所述自注意力特征损失对所述第二卷积神经网络模型的网络参数进行调整，得到所述车道线检测模型。
其中，所述网络参数调整单元，还用于基于所述第二车道线语义分割结果和所述车道线样本标注图像计算所述第二卷积神经网络模型的交叉熵损失；
基于所述输出差距损失、所述自注意力特征损失以及所述交叉熵损失对所述第二卷积神经网络模型的网络参数进行调整，得到所述车道线检测模型。
其中，所述网络参数调整单元，还用于获取所述输出差距损失、所述自注意力特征损失以及所述交叉熵损失的权重系数；
基于所述权重系数对所述输出差距损失、所述自注意力特征损失以及所述交叉熵损失加权处理，得到综合损失；
基于所述综合损失对所述第二卷积神经网络模型的网络参数进行调整，得到所述车道线检测模型。
其中，所述第二计算单元，还用于获取所述第二卷积神经网络模型对所述车道线样本标注图像进行语义分割时多个卷积层的多个卷积层输出特征图；
基于预设映射函数分别对所述多个卷积层输出特征图的维度进行压缩处理，得到所述第二卷积神经网络模型中所述多个卷积层对应的多个注意力特征图；
基于所述多个注意力特征图计算所述自注意力特征损失。
其中，所述第二计算单元，还用于以所述多个卷积层输出特征图中的预设卷积层输出特征图的尺寸为基准，对所述多个卷积层输出特征图进行调整，以使所述多个卷积层输出特征图的尺寸相同。
其中，所述网络参数调整单元，还用于基于所述车道线样本标注图像中的标注数据获取所述车道线样本标注图像中各个像素点的真实概率分布；
基于所述第二车道线语义分割结果获取所述车道线样本标注图像中各个像素点的预测概率分布；
基于所述真实概率分布和所述预测概率分布计算所述第二卷积神经网络模型的交叉熵损失。
其中，所述获取单元，还用于获取车道线图像；
对所述车道线图像进行标注，得到所述车道线样本标注图像。
第四方面，本申请提供一种车道线检测模型的训练装置，所述训练装置包括：
一个或多个处理器；
存储器；以及
一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现权利要求第一方面中任一项所述的车道线检测模型的训练方法。
第五方面，本申请提供一种图像处理装置，所述图像处理装置包括：
获取单元，用于获取车道线图像；
语义分割单元，用于通过车道线检测模型对所述车道线图像进行语义分割，得到语义分割结果，其中，所述车道线检测模型为根据第一方面任意一项所述的车道线检测模型的训练方法得到的车道线检测模型。
第六方面，本申请提供一种图像处理装置，所述图像处理装置包括：
一个或多个处理器；
存储器；以及
一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现第二方面所述的图像处理方法。
第七方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行第一方面中任一项所述的车道线检测模型的训练方法中的步骤或者第二方面中任一项所述的图像处理方法中的步骤。
本申请中车道线检测模型的训练方法通过两个卷积神经网络模型对同一车道线样本标注图像进行语义分割，根据两个卷积神经网络模型的输出结果计算输出差距损失，输出差距损失可以让第二卷积神经网络模型模仿第一卷积神经网络模型的输出，获取第一卷积神经网络模型学到的知识，从而使最终得到的车道线检测模型具有较精确的图像检测能力，同时，通过计算自注意力特征损失可以让第二卷积神经网络模型较好地获取第一卷积神经网络模型学到的知识，避免出现模型差距过大导致无法学习的情况，因此，最终得到的第三卷积神经网络即可以具有第一卷积神经网络模型强大的学习能力，可以提高图像检测精度，又可以具有第二卷积神经网络模型较为简化的模型结构，可以降低计算负荷，从而可以同时提高图像检测精度和降低计算负荷。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的车道线检测模型的训练方法一个实施例流程示意图；
图2是本申请实施例提供的图像处理方法一个实施例流程示意图；
图3是本申请实施例中提供的车道线检测模型的训练装置一个实施例结构示意图；
图4是本申请实施例中提供的图像处理装置一个实施例结构示意图；
图5是本申请实施例中提供的车道线检测模型的训练装置另一个实施例结构示意图；
图6是本申请实施例中提供的图像处理装置另一个实施例结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本申请中，“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本申请，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本申请。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本申请的描述变得晦涩。因此，本申请并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。
本申请实施例提供一种车道线检测模型的训练方法、图像处理方法及装置。以下分别进行详细说明。
首先，本申请实施例中提供一种车道线检测模型的训练方法，该车道线检测模型的训练方法包括：
获取车道线样本标注图像；
基于第一卷积神经网络模型对车道线样本标注图像进行语义分割，得到第一车道线语义分割结果；
基于第二卷积神经网络模型对车道线样本标注图像进行语义分割，得到第二车道线语义分割结果，其中，第一卷积神经网络模型的卷积层数量大于第二卷积神经网络模型的卷积层数量；
基于第一车道线语义分割结果和第二车道线语义分割结果计算输出差距损失；
计算第二卷积神经网络模型中多个卷积层之间的自注意力特征损失；
基于输出差距损失和自注意力特征损失对第二卷积神经网络模型的网络参数进行调整，得到车道线检测模型。
参阅图1，图1是本申请实施例提供的车道线检测模型的训练方法的一个实施例流程示意图。如图1所示，该车道线检测模型的训练方法包括：
S101、获取车道线样本标注图像。
本申请实施例中，获取车道线图像；对车道线图像进行标注，得到车道线样本标注图像。其中，车道线图像为通过安装在车辆上的摄像头所采集的前方路况图像，车道线图像可以为任意尺寸的图像。可以通过人工标注或者机器标注的方式对车道线图像进行图像标注，得到车道线样本标注图像。例如，通过人工标注将车道线所在位置标记为‘1’，将非车道线的背景区域标记为‘0’，从而得到与车道线图像大小一致的二值化图像。
S102、基于第一卷积神经网络模型对车道线样本标注图像进行语义分割，得到第一车道线语义分割结果。
卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习(deeplearning)的代表算法之一。卷积神经网络具有表征学习(representation learning)能力，能够按其阶层结构对输入信息进行平移不变分类(shift-invariantclassification)，因此也被称为“平移不变人工神经网络(Shift-Invariant ArtificialNeural Networks,SIANN)”。卷积神经网络一般由输入层、卷积层、激活函数、池化层、全连接层组成。
本申请实施例中，语义分割的过程可以理解为在图像的每一个像素点上执行分类。第一车道线语义分割结果包括第一卷积神经网络模型预测的车道线样本标注图像中各个像素点属于车道线的概率和车道线样本标注图像中各个像素点属于非车道线的概率。当然，在其他实施例中，第一车道线语义分割结果也可以包括多个类别中每个类别对应的语义分割结果，某个类别对应的语义分割结果可以包括样本图像各个像素点属于该类别的概率，例如概率或者置信度，等等，本申请实施例对此不做限定。
S103、基于第二卷积神经网络模型对车道线样本标注图像进行语义分割，得到第二车道线语义分割结果，其中，第一卷积神经网络模型的卷积层数量大于第二卷积神经网络模型的卷积层数量。
本申请实施例中，第一卷积神经网络模型的卷积层数量大于第二卷积神经网络模型的卷积层数量。卷积神经网络中每层卷积层(Convolutional layer)由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法最佳化得到的。卷积运算的目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网路能从低级特征中迭代提取更复杂的特征。因此，第一卷积神经网络模型复杂度高但学习能力强，第二卷积神经网络模型学习能力弱但复杂度低。第一卷积神经网络模型和第二卷积神经网络模型为经过车道线样本标注图像训练集训练过的卷积神经网络模型。
本申请实施例中，第二车道线语义分割结果包括车道线样本标注图像中各个像素点属于车道线的概率和车道线样本标注图像中各个像素点属于非车道线的概率。当然，在其他实施例中，第二车道线语义分割结果也可以包括多个类别中每个类别对应的语义分割结果，某个类别对应的语义分割结果可以包括样本图像各个像素点属于该类别的概率，例如概率或者置信度，等等，本申请实施例对此不做限定。
S104、基于第一车道线语义分割结果和第二车道线语义分割结果计算输出差距损失。
本申请实施例中，基于第一车道线语义分割结果和第二车道线语义分割结果计算输出差距损失，包括：
(1)利用归一化指数函数对第一车道线语义分割结果进行归一化平滑处理，得到车道线样本标注图像中各个像素点的第一平滑概率。
在一个具体的实施例中，将车道线样本标注图像输入第一卷积神经网络模型进行计算，得到第一车道线语义分割结果OT，对第一车道线语义分割结果OT进行归一化平滑处理，得到车道线样本标注图像中各个像素点的第一平滑概率
在数学，尤其是概率论和相关领域中，归一化指数函数，或称Softmax函数，是逻辑函数的一种推广。它能将一个含任意实数的K维向量“压缩”到另一个K维实向量中，使得每一个元素的范围都在(0,1)之间，并且所有元素的和为1。第一平滑概率
满足如公式(1)所示的关系，
其中，第一车道线语义分割结果OT的维度均为H*W*C，其中H和W分别为车道线样本标注图像的高度和宽度，t为控制平滑度的平滑系数，C为模型输出的通道数量，优选地，C的值为2，第一平滑概率
表示第一卷积神经网络模型将像素点x预测为车道线和非车道线的平滑概率大小。
(2)利用归一化指数函数对第二车道线语义分割结果进行归一化平滑处理，得到车道线样本标注图像中各个像素点的第二平滑概率。
在一个具体的实施例中，将车道线样本标注图像输入第二卷积神经网络模型进行计算，得到第二车道线语义分割结果OS，对第二车道线语义分割结果OS进行归一化平滑处理，得到车道线样本标注图像中各个像素点的第二平滑概率
第二平滑概率
满足如公式(2)所示的关系，
其中，第二车道线语义分割结果OS的维度均为H*W*C，其中H和W分别为车道线样本标注图像的高度和宽度，t为控制平滑度的平滑系数，C为模型输出的通道数量，优选地，C的值为2，第二平滑概率
表示第二卷积神经网络模型将像素点x预测为车道线和非车道线的平滑概率大小。
(3)基于第一平滑概率和第二平滑概率计算输出差距损失。
在一个具体的实施例中，输出差距损失Lp满足如公式(3)所示的关系，
其中，Lp表示输出差距损失，n表示车道线样本标注图像中像素点的数量。
利用学习能力强的第一卷积神经网络模型更好地提取车道线图像的特征并得到更为准确的输出概率分布，计算输出差距损失Lp来让第二卷积神经网络模型模仿第一卷积神经网络模型的输出，即对于任意一张图片，计算该图片经过两个不同的模型之后输出的差距，以此来更新第二卷积神经网络模型的模型参数，将第一卷积神经网络学到的知识转移给第二卷积神经网络模型，最终得到车道线检测模型，使得车道线检测模型既能克服第二卷积神经网络模型学习能力有限的缺点，也能在不增加额外计算量的情况下，提升检测精度。
S105、计算第二卷积神经网络模型中多个卷积层之间的自注意力特征损失。
本申请实施例中，计算第二卷积神经网络模型中多个卷积层之间的自注意力特征损失，包括：
(1)获取第二卷积神经网络模型对车道线样本标注图像进行语义分割时多个卷积层的多个卷积层输出特征图。
在一个具体的实施例中，第二卷积神经网络模型包括多个卷积层，第二卷积神经网络模型对车道线样本标注图像进行语义分割时多个卷积层输出多个卷积层输出特征图，多个卷积层输出特征图的维度均为hi×wi×ci。例如，第二卷积神经网络模型包括4个卷积层，因此共得到4个卷积层输出特征图A1,A2,A3,A4。
(2)通过预设映射函数分别对多个卷积层输出特征图的维度进行压缩处理，得到第二卷积神经网络模型中多个卷积层对应的多个注意力特征图。
在一个具体的实施例中，以多个卷积层输出特征图中的预设卷积层输出特征图的尺寸为基准，对多个卷积层输出特征图进行调整，以使多个卷积层输出特征图的尺寸相同。预设卷积层输出特征图可以为多个卷积层输出特征图中的任意一个，例如第一个卷积层、最后一个卷积层或者尺寸最小的卷积层等。
利用预设映射函数，将多个卷积层输出特征图的输出维度压缩成hi×wi，用来表示该卷积层输出特征图中不同位置的像素点的重要程度，即注意力特征图。预设函数满足如(4)所示的关系；
其中，G(Am)为卷积层输出特征图Am对应的注意力特征图。
在一个具体的实施例中，第二卷积神经网络模型包括4个卷积层，因此共得到4个注意力特征图G(A1),G(A2),G(A3),G(A4)。
(3)基于多个注意力特征图构建自注意力特征损失。
在一个具体的实施例中，自注意力特征损失LA满足如公式(5)所示的关系，
其中，LA表示自注意力特征损失，M表示第二卷积神经网络模型中卷积层的数量。
利用自注意力特征损失LA引导第二卷积神经网络模型的浅层网络去学习深层网络的特征分布，将从第一卷积神经网络模型学到的知识迁移至浅层网络，解决第二卷积神经网络模型与第一卷积神经网络模型不匹配导致难以实现知识蒸馏的问题。
S106、基于输出差距损失和自注意力特征损失对第二卷积神经网络模型的网络参数进行调整，得到车道线检测模型。
本申请实施例中，第二卷积神经网络模型的网络参数包括第二卷积神经网络模型中各个神经元的权重。
基于输出差距损失和自注意力特征损失对第二卷积神经网络模型的网络参数进行调整，得到车道线检测模型，包括：
(1)基于第二车道线语义分割结果和车道线样本标注图像计算第二卷积神经网络模型的交叉熵损失。
在一个具体的实施例中，基于车道线样本标注图像中的标注数据获取车道线样本标注图像中各个像素点的真实概率分布。具体的，车道线样本标注图像中各个像素点的真实概率分布包括像素点属于车道线的真实概率和像素点属于非车道线的真实概率。例如，像素点的标记数据为‘1’，表示像素点属于车道线的真实概率为1，像素点属于非车道线的真实概率为0。
基于第二车道线语义分割结果获取车道线样本标注图像中各个像素点的预测概率分布。车道线样本标注图像中各个像素点的预测概率分布可以为车道线样本标注图像中各个像素点的第二平滑概率
获取步骤参阅S24。车道线样本标注图像中各个像素点的预测概率分布也可以为没有经过归一化平滑处理的第二车道线语义分割结果，即车道线样本标注图像中各个像素点属于车道线的概率pS,1(x)和车道线样本标注图像中各个像素点属于非车道线的概率pS,2(x)。
基于真实概率分布和预测概率分布计算第二卷积神经网络模型的交叉熵损失。具体的，交叉熵损失LS满足如公式(6)所示的关系，
其中，LS表示交叉熵损失，yj表示车道线样本标注图像中各个像素点的真实概率分布。
(2)基于输出差距损失、自注意力特征损失以及交叉熵损失对第二卷积神经网络模型的网络参数进行调整，得到车道线检测模型。
具体的，获取输出差距损失、自注意力特征损失以及交叉熵损失的权重系数；基于权重系数对输出差距损失、自注意力特征损失以及交叉熵损失加权处理，得到综合损失；基于综合损失对第二卷积神经网络模型的网络参数进行调整，得到车道线检测模型。综合损失Ltotal满足如公式(7)所示的关系，
Ltotal＝αLS+βLp+γLA (7)
其中，LS表示交叉熵损失，Lp表示输出差距损失，LA表示自注意力特征损失，α表示交叉熵损失的权重系数，β表示输出差距损失的权重系数，γ表示自注意力特征损失的权重系数。
本申请中车道线检测模型的训练方法通过两个卷积神经网络模型对同一车道线样本标注图像进行语义分割，根据两个卷积神经网络模型的输出结果计算输出差距损失，输出差距损失可以让第二卷积神经网络模型模仿第一卷积神经网络模型的输出，获取第一卷积神经网络模型学到的知识，从而使最终得到的车道线检测模型具有较精确的图像检测能力，同时，通过计算自注意力特征损失可以让第二卷积神经网络模型较好地获取第一卷积神经网络模型学到的知识，避免出现模型差距过大导致无法学习的情况，因此，最终得到的第三卷积神经网络即可以具有第一卷积神经网络模型强大的学习能力，可以提高图像检测精度，又可以具有第二卷积神经网络模型较为简化的模型结构，可以降低计算负荷，从而可以同时提高图像检测精度和降低计算负荷。
参阅图2，图2是本申请实施例提供的图像处理方法一个实施例流程示意图。如图2所示，该图像处理方法包括：
S201、获取车道线图像。
本申请实施例中，车道线图像为通过安装在车辆上的摄像头所采集的前方路况图像，车道线图像可以为任意尺寸的图像。
S202、通过车道线检测模型对车道线图像进行语义分割，得到语义分割结果。
本申请实施例中，车道线检测模型为上述任一实施例中的车道线检测模型。语义分割结果包括车道线图像各个像素点属于车道线的概率和车道线图像各个像素点属于非车道线的概率。
为了更好实施本申请实施例中车道线检测模型的训练方法，在车道线检测模型的训练方法基础之上，本申请实施例中还提供一种车道线检测模型的训练装置，如图3所示，图3是本申请实施例中提供的车道线检测模型的训练装置一个实施例结构示意图，该车道线检测模型的训练装置包括获取单元301、第一语义分割单元302、第二语义分割单元303、第一计算单元304、第二计算单元305、网络参数调整单元306：
获取单元301，用于获取车道线样本标注图像；
第一语义分割单元302，用于基于第一卷积神经网络模型对车道线样本标注图像进行语义分割，得到第一车道线语义分割结果；
第二语义分割单元303，用于基于第二卷积神经网络模型对车道线样本标注图像进行语义分割，得到第二车道线语义分割结果，其中，第一卷积神经网络模型的卷积层数量大于第二卷积神经网络模型的卷积层数量；
第一计算单元304，用于基于第一车道线语义分割结果和第二车道线语义分割结果计算输出差距损失；
第二计算单元305，用于计算第二卷积神经网络模型中多个卷积层之间的自注意力特征损失；
网络参数调整单元306，用于基于输出差距损失和自注意力特征损失对第二卷积神经网络模型的网络参数进行调整，得到车道线检测模型。
其中，网络参数调整单元306，还用于基于第二车道线语义分割结果和车道线样本标注图像计算第二卷积神经网络模型的交叉熵损失；
基于输出差距损失、自注意力特征损失以及交叉熵损失对第二卷积神经网络模型的网络参数进行调整，得到车道线检测模型。
其中，网络参数调整单元306，还用于获取输出差距损失、自注意力特征损失以及交叉熵损失的权重系数；
基于权重系数对输出差距损失、自注意力特征损失以及交叉熵损失加权处理，得到综合损失；
基于综合损失对第二卷积神经网络模型的网络参数进行调整，得到车道线检测模型。
其中，第二计算单元305，还用于获取第二卷积神经网络模型对车道线样本标注图像进行语义分割时多个卷积层的多个卷积层输出特征图；
基于预设映射函数分别对多个卷积层输出特征图的维度进行压缩处理，得到第二卷积神经网络模型中多个卷积层对应的多个注意力特征图；
基于多个注意力特征图计算自注意力特征损失。
其中，第二计算单元305，还用于以多个卷积层输出特征图中的预设卷积层输出特征图的尺寸为基准，对多个卷积层输出特征图进行调整，以使多个卷积层输出特征图的尺寸相同。
其中，网络参数调整单元306，还用于基于车道线样本标注图像中的标注数据获取车道线样本标注图像中各个像素点的真实概率分布；
基于第二车道线语义分割结果获取车道线样本标注图像中各个像素点的预测概率分布；
基于真实概率分布和预测概率分布计算第二卷积神经网络模型的交叉熵损失。
其中，获取单元301，还用于获取车道线图像；
对车道线图像进行标注，得到车道线样本标注图像。
本申请实施例中还提供一种图像处理装置，如图4所示，图4是本申请实施例中提供的图像处理装置一个实施例结构示意图，该图像处理装置包括获取单401元、语义分割单元402：
获取单元401，用于获取车道线图像；
语义分割单元402，用于通过车道线检测模型对所述车道线图像进行语义分割，得到语义分割结果，其中，所述车道线检测模型为根据上述任一实施例中的车道线检测模型的训练方法得到的车道线检测模型。
本申请实施例还提供一种车道线检测模型的训练装置。如图5所示，图5是本申请实施例中提供的车道线检测模型的训练装置另一个实施例结构示意图，具体来讲：
该车道线检测模型的训练装置可以包括一个或者一个以上处理核心的处理器501、一个或一个以上计算机可读计算机可读存储介质的存储器502、电源503和输入单元504等部件。本领域技术人员可以理解，图5中示出的车道线检测模型的训练装置结构并不构成对车道线检测模型的训练装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器501是该车道线检测模型的训练装置的控制中心，利用各种接口和线路连接整个车道线检测模型的训练装置的各个部分，通过运行或执行存储在存储器502内的软件程序和/或模块，以及调用存储在存储器502内的数据，执行车道线检测模型的训练装置的各种功能和处理数据，从而对车道线检测模型的训练装置进行整体监控。可选的，处理器501可包括一个或多个处理核心；优选的，处理器501可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器501中。
存储器502可用于存储软件程序以及模块，处理器501通过运行存储在存储器502的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器502可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据车道线检测模型的训练装置的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器502还可以包括存储器控制器，以提供处理器501对存储器502的访问。
车道线检测模型的训练装置还包括给各个部件供电的电源503，优选的，电源503可以通过电源管理系统与处理器501逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源503还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该车道线检测模型的训练装置还可包括输入单元504，该输入单元504可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，车道线检测模型的训练装置还可以包括显示单元等，在此不再赘述。具体在本实施例中，车道线检测模型的训练装置中的处理器501会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器502中，并由处理器501来运行存储在存储器502中的应用程序，从而实现各种功能，如下：
获取车道线样本标注图像；
基于第一卷积神经网络模型对车道线样本标注图像进行语义分割，得到第一车道线语义分割结果；
基于第二卷积神经网络模型对车道线样本标注图像进行语义分割，得到第二车道线语义分割结果，其中，第一卷积神经网络模型的卷积层数量大于第二卷积神经网络模型的卷积层数量；
基于第一车道线语义分割结果和第二车道线语义分割结果计算输出差距损失；
计算第二卷积神经网络模型中多个卷积层之间的自注意力特征损失；
基于输出差距损失和自注意力特征损失对第二卷积神经网络模型的网络参数进行调整，得到车道线检测模型。
本申请实施例还提供一种图像处理装置。如图6所示，图6是本申请实施例中提供的图像处理装置另一个实施例结构示意图，具体来讲：
该图像处理装置可以包括一个或者一个以上处理核心的处理器601、一个或一个以上计算机可读计算机可读存储介质的存储器602、电源603和输入单元604等部件。本领域技术人员可以理解，图6中示出的图像处理装置结构并不构成对图像处理装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器601是该图像处理装置的控制中心，利用各种接口和线路连接整个图像处理装置的各个部分，通过运行或执行存储在存储器602内的软件程序和/或模块，以及调用存储在存储器602内的数据，执行图像处理装置的各种功能和处理数据，从而对图像处理装置进行整体监控。可选的，处理器601可包括一个或多个处理核心；优选的，处理器601可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器601中。
存储器602可用于存储软件程序以及模块，处理器601通过运行存储在存储器602的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据图像处理装置的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器602还可以包括存储器控制器，以提供处理器601对存储器602的访问。
图像处理装置还包括给各个部件供电的电源603，优选的，电源603可以通过电源管理系统与处理器601逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源603还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该图像处理装置还可包括输入单元604，该输入单元604可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，图像处理装置还可以包括显示单元等，在此不再赘述。具体在本实施例中，图像处理装置中的处理器601会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中，并由处理器601来运行存储在存储器602中的应用程序，从而实现各种功能，如下：
获取车道线图像；
通过车道线检测模型对车道线图像进行语义分割，得到语义分割结果。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读计算机可读存储介质中，并由处理器进行加载和执行。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random AccessMemory)、磁盘或光盘等。其上存储有计算机程序，计算机程序被处理器进行加载，以执行本申请实施例所提供的任一种车道线检测模型的训练方法或者图像处理方法中的步骤。例如，计算机程序被处理器进行加载可以执行如下步骤：
获取车道线样本标注图像；
基于第一卷积神经网络模型对车道线样本标注图像进行语义分割，得到第一车道线语义分割结果；
基于第二卷积神经网络模型对车道线样本标注图像进行语义分割，得到第二车道线语义分割结果，其中，第一卷积神经网络模型的卷积层数量大于第二卷积神经网络模型的卷积层数量；
基于第一车道线语义分割结果和第二车道线语义分割结果计算输出差距损失；
计算第二卷积神经网络模型中多个卷积层之间的自注意力特征损失；
基于输出差距损失和自注意力特征损失对第二卷积神经网络模型的网络参数进行调整，得到车道线检测模型；
或者，获取车道线图像；
通过车道线检测模型对车道线图像进行语义分割，得到语义分割结果。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对其他实施例的详细描述，此处不再赘述。
具体实施时，以上各个单元或结构可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元或结构的具体实施可参见前面的方法实施例，在此不再赘述。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
以上对本申请实施例所提供的一种车道线检测模型的训练方法、图像处理方法及装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (11)
1.一种车道线检测模型的训练方法，其特征在于，所述车道线检测模型的训练方法包括：
获取车道线样本标注图像；
基于第一卷积神经网络模型对所述车道线样本标注图像进行语义分割，得到第一车道线语义分割结果；
基于第二卷积神经网络模型对所述车道线样本标注图像进行语义分割，得到第二车道线语义分割结果，其中，所述第一卷积神经网络模型的卷积层数量大于所述第二卷积神经网络模型的卷积层数量；
基于所述第一车道线语义分割结果和所述第二车道线语义分割结果计算输出差距损失；
计算所述第二卷积神经网络模型中多个卷积层之间的自注意力特征损失；
基于所述输出差距损失和所述自注意力特征损失对所述第二卷积神经网络模型的网络参数进行调整，得到所述车道线检测模型。
2.根据权利要求1所述的车道线检测模型的训练方法，其特征在于，所述基于所述输出差距损失和所述自注意力特征损失对所述第二卷积神经网络模型的网络参数进行调整，得到所述车道线检测模型，包括：
基于所述第二车道线语义分割结果和所述车道线样本标注图像计算所述第二卷积神经网络模型的交叉熵损失；
基于所述输出差距损失、所述自注意力特征损失以及所述交叉熵损失对所述第二卷积神经网络模型的网络参数进行调整，得到所述车道线检测模型。
3.根据权利要求2所述的车道线检测模型的训练方法，其特征在于，所述基于所述输出差距损失、所述自注意力特征损失以及所述交叉熵损失对所述第二卷积神经网络模型的网络参数进行调整，得到所述车道线检测模型，包括：
获取所述输出差距损失、所述自注意力特征损失以及所述交叉熵损失的权重系数；
基于所述权重系数对所述输出差距损失、所述自注意力特征损失以及所述交叉熵损失加权处理，得到综合损失；
基于所述综合损失对所述第二卷积神经网络模型的网络参数进行调整，得到所述车道线检测模型。
4.根据权利要求1-3任意一项所述的车道线检测模型的训练方法，其特征在于，所述计算所述第二卷积神经网络模型中多个卷积层之间的自注意力特征损失，包括：
获取所述第二卷积神经网络模型对所述车道线样本标注图像进行语义分割时多个卷积层的多个卷积层输出特征图；
基于预设映射函数分别对所述多个卷积层输出特征图的维度进行压缩处理，得到所述第二卷积神经网络模型中所述多个卷积层对应的多个注意力特征图；
基于所述多个注意力特征图计算所述自注意力特征损失。
5.根据权利要求4所述的车道线检测模型的训练方法，其特征在于，所述基于预设映射函数分别对所述多个卷积层输出特征图的维度进行压缩处理，得到所述第二卷积神经网络模型中所述多个卷积层对应的多个注意力特征图，包括：
以所述多个卷积层输出特征图中的预设卷积层输出特征图的尺寸为基准，对所述多个卷积层输出特征图进行调整，以使所述多个卷积层输出特征图的尺寸相同。
6.根据权利要求2或3所述的车道线检测模型的训练方法，其特征在于，所述基于所述第二车道线语义分割结果和所述车道线样本标注图像计算所述第二卷积神经网络模型的交叉熵损失，包括：
基于所述车道线样本标注图像中的标注数据获取所述车道线样本标注图像中各个像素点的真实概率分布；
基于所述第二车道线语义分割结果获取所述车道线样本标注图像中各个像素点的预测概率分布；
基于所述真实概率分布和所述预测概率分布计算所述第二卷积神经网络模型的交叉熵损失。
7.根据权利要求1所述的车道线检测模型的训练方法，其特征在于，所述获取车道线样本标注图像，包括：
获取车道线图像；
对所述车道线图像进行标注，得到所述车道线样本标注图像。
8.一种图像处理方法，其特征在于，所述图像处理方法，包括：
获取车道线图像；
通过车道线检测模型对所述车道线图像进行语义分割，得到语义分割结果，其中，所述车道线检测模型为根据权利要求1-7任意一项所述的车道线检测模型的训练方法得到的车道线检测模型。
9.一种车道线检测模型的训练装置，其特征在于，所述训练装置包括：
获取单元，用于获取车道线样本标注图像；
第一语义分割单元，用于基于第一卷积神经网络模型对所述车道线样本标注图像进行语义分割，得到第一车道线语义分割结果；
第二语义分割单元，用于基于第二卷积神经网络模型对所述车道线样本标注图像进行语义分割，得到第二车道线语义分割结果，其中，所述第一卷积神经网络模型的卷积层数量大于所述第二卷积神经网络模型的卷积层数量；
第一计算单元，用于基于所述第一车道线语义分割结果和所述第二车道线语义分割结果计算输出差距损失；
第二计算单元，用于计算所述第二卷积神经网络模型中多个卷积层之间的自注意力特征损失；
网络参数调整单元，用于基于所述输出差距损失和所述自注意力特征损失对所述第二卷积神经网络模型的网络参数进行调整，得到所述车道线检测模型。
10.一种车道线检测模型的训练装置，其特征在于，所述训练装置包括：
一个或多个处理器；
存储器；以及
一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现权利要求1至7中任一项所述的车道线检测模型的训练方法。
11.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行权利要求1至7中任一项所述的车道线检测模型的训练方法中的步骤或者权利要求8中所述的图像处理方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010359595.5A CN113591509A (zh) | 2020-04-30 | 2020-04-30 | 车道线检测模型的训练方法、图像处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010359595.5A CN113591509A (zh) | 2020-04-30 | 2020-04-30 | 车道线检测模型的训练方法、图像处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113591509A true CN113591509A (zh) | 2021-11-02 |
Family
ID=78236810
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010359595.5A Pending CN113591509A (zh) | 2020-04-30 | 2020-04-30 | 车道线检测模型的训练方法、图像处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113591509A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114120069A (zh) * | 2022-01-27 | 2022-03-01 | 四川博创汇前沿科技有限公司 | 基于方向自注意力的车道线检测系统、方法和存储介质 |
| CN114419378A (zh) * | 2022-03-28 | 2022-04-29 | 杭州未名信科科技有限公司 | 图像分类的方法、装置、电子设备及介质 |
| CN115588177A (zh) * | 2022-11-23 | 2023-01-10 | 荣耀终端有限公司 | 训练车道线检测网络的方法、电子设备、程序产品及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108197623A (zh) * | 2018-01-19 | 2018-06-22 | 百度在线网络技术（北京）有限公司 | 用于检测目标的方法和装置 |
| CN109087303A (zh) * | 2018-08-15 | 2018-12-25 | 中山大学 | 基于迁移学习提升语义分割模型效果的框架 |
| CN110084095A (zh) * | 2019-03-12 | 2019-08-02 | 浙江大华技术股份有限公司 | 车道线检测方法、车道线检测装置和计算机存储介质 |
| CN110472730A (zh) * | 2019-08-07 | 2019-11-19 | 交叉信息核心技术研究院(西安)有限公司 | 一种卷积神经网络的自蒸馏训练方法和可伸缩动态预测方法 |
| WO2019240964A1 (en) * | 2018-06-12 | 2019-12-19 | Siemens Aktiengesellschaft | Teacher and student based deep neural network training |
| CN110781768A (zh) * | 2019-09-30 | 2020-02-11 | 奇点汽车研发中心有限公司 | 目标对象检测方法和装置、电子设备和介质 |
-
2020
- 2020-04-30 CN CN202010359595.5A patent/CN113591509A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108197623A (zh) * | 2018-01-19 | 2018-06-22 | 百度在线网络技术（北京）有限公司 | 用于检测目标的方法和装置 |
| WO2019240964A1 (en) * | 2018-06-12 | 2019-12-19 | Siemens Aktiengesellschaft | Teacher and student based deep neural network training |
| CN109087303A (zh) * | 2018-08-15 | 2018-12-25 | 中山大学 | 基于迁移学习提升语义分割模型效果的框架 |
| CN110084095A (zh) * | 2019-03-12 | 2019-08-02 | 浙江大华技术股份有限公司 | 车道线检测方法、车道线检测装置和计算机存储介质 |
| CN110472730A (zh) * | 2019-08-07 | 2019-11-19 | 交叉信息核心技术研究院(西安)有限公司 | 一种卷积神经网络的自蒸馏训练方法和可伸缩动态预测方法 |
| CN110781768A (zh) * | 2019-09-30 | 2020-02-11 | 奇点汽车研发中心有限公司 | 目标对象检测方法和装置、电子设备和介质 |
Non-Patent Citations (5)
| Title |
|---|
| YIFAN LIU 等: "Structured Knowledge Distillation for Semantic Segmentation", 2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), 9 January 2020 (2020-01-09), pages 2599 - 2608 * |
| YUENAN HOU等: "Learning Lightweight Lane Detection CNNs by Self Attention Distillation", 2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV), pages 1013 - 1021 * |
| ZHEN ZHU 等: "Asymmetric Non-Local Neural Networks for Semantic Segmentation", 2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV), pages 593 - 602 * |
| 匡海威: "基于深度学习的车道线检测算法研究", 中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑), pages 035 - 379 * |
| 魏浩然: "约束优化在神经机器翻译中的应用研究", 中国优秀硕士学位论文全文数据库（哲学与人文科学辑）, 15 July 2019 (2019-07-15), pages 084 - 25 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114120069A (zh) * | 2022-01-27 | 2022-03-01 | 四川博创汇前沿科技有限公司 | 基于方向自注意力的车道线检测系统、方法和存储介质 |
| CN114120069B (zh) * | 2022-01-27 | 2022-04-12 | 四川博创汇前沿科技有限公司 | 基于方向自注意力的车道线检测系统、方法和存储介质 |
| CN114419378A (zh) * | 2022-03-28 | 2022-04-29 | 杭州未名信科科技有限公司 | 图像分类的方法、装置、电子设备及介质 |
| CN115588177A (zh) * | 2022-11-23 | 2023-01-10 | 荣耀终端有限公司 | 训练车道线检测网络的方法、电子设备、程序产品及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230394203A1 (en) | Generating integrated circuit floorplans using neural networks | |
| US20210042580A1 (en) | Model training method and apparatus for image recognition, network device, and storage medium | |
| EP4036803A1 (en) | Neural network model processing method and apparatus, computer device, and storage medium | |
| CN113591509A (zh) | 车道线检测模型的训练方法、图像处理方法及装置 | |
| EP4080416A1 (en) | Adaptive search method and apparatus for neural network | |
| CN111079833B (zh) | 图像识别方法、装置以及计算机可读存储介质 | |
| CN111242844B (zh) | 图像处理方法、装置、服务器和存储介质 | |
| Ke et al. | Data equilibrium based automatic image annotation by fusing deep model and semantic propagation | |
| CN112052948B (zh) | 一种网络模型压缩方法、装置、存储介质和电子设备 | |
| TWI831016B (zh) | 機器學習方法、機器學習系統以及非暫態電腦可讀取媒體 | |
| WO2023280113A1 (zh) | 数据处理方法、神经网络模型的训练方法及装置 | |
| CN115238076A (zh) | 提高多层级专利文本分类效果的方法、设备及存储介质 | |
| CN114677548A (zh) | 基于阻变存储器的神经网络图像分类系统及方法 | |
| CN114611692A (zh) | 模型训练方法、电子设备以及存储介质 | |
| CN112287656A (zh) | 文本比对方法、装置、设备和存储介质 | |
| CN109685208A (zh) | 一种用于神经网络处理器数据稀梳化加速的方法及装置 | |
| CN109359542A (zh) | 基于神经网络的车辆损伤级别的确定方法及终端设备 | |
| CN117391497A (zh) | 一种新闻稿件质量主客观评分一致性评价方法及系统 | |
| CN115620082B (zh) | 模型训练方法、头部姿态估计方法、电子设备及存储介质 | |
| CN111832435A (zh) | 基于迁移与弱监督的美丽预测方法、装置及存储介质 | |
| CN115905546A (zh) | 基于阻变存储器的图卷积网络文献识别装置与方法 | |
| CN115131597A (zh) | 数据处理方法、装置、电子设备和存储介质 | |
| CN111177493B (zh) | 数据处理方法、装置、服务器和存储介质 | |
| CN114648762A (zh) | 语义分割方法、装置、电子设备和计算机可读存储介质 | |
| CN114595751A (zh) | 节点分类方法、系统、可读存储介质及计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |