CN112307850A - 神经网络训练方法、车道线检测方法、装置和电子设备 - Google Patents

神经网络训练方法、车道线检测方法、装置和电子设备 Download PDF

Info

Publication number
CN112307850A
CN112307850A CN201910708803.5A CN201910708803A CN112307850A CN 112307850 A CN112307850 A CN 112307850A CN 201910708803 A CN201910708803 A CN 201910708803A CN 112307850 A CN112307850 A CN 112307850A
Authority
CN
China
Prior art keywords
network
loss
determining
networks
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910708803.5A
Other languages
English (en)
Inventor
刘春晓
马政
侯跃南
吕健勤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shangtang Technology Development Co Ltd
Original Assignee
Zhejiang Shangtang Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Shangtang Technology Development Co Ltd filed Critical Zhejiang Shangtang Technology Development Co Ltd
Priority to CN201910708803.5A priority Critical patent/CN112307850A/zh
Publication of CN112307850A publication Critical patent/CN112307850A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种神经网络训练方法、车道线检测方法、装置和电子设备。所述神经网络中包括任务检测网络和N个用于特征提取的第一网络，N为大于等于2的整数；所述方法包括：通过第n个第一网络对第一输入图像进行特征提取处理，获得所述第n个第一网络对应的特征图；分别基于N个特征图中的m个特征图生成m个注意力图；m小于等于N；基于所述m个注意力图之间的差异确定第一损失，所述任务检测网络根据第N个第一网络输出的特征图，确定检测结果；基于确定的检测结果和所述第一样本图像中的标注结果确定第二损失；根据所述第一损失和所述第二损失调整所述N个第一网络、所述m个生成网络和所述任务检测网络的网络参数。

Description

神经网络训练方法、车道线检测方法、装置和电子设备
技术领域
本发明涉及神经网络领域，具体涉及一种神经网络训练方法、车道线检测方法、装置和电子设备。
背景技术
车道线检测一直都是无人驾驶领域的核心技术之一。稳定，精确，尤其是是快速地检测出车道线对无人驾驶技术的发展具有重大意义。
发明内容
本发明实施例提供一种神经网络训练方法、车道线检测方法、装置和电子设备。
本发明实施例的技术方案是这样实现的：
本发明实施例提供了一种神经网络训练方法，
所述神经网络中包括任务检测网络和N个用于特征提取的第一网络，N为大于等于2的整数；所述方法包括：
通过第n个第一网络对第一输入图像进行特征提取处理，获得所述第n个第一网络对应的特征图；n为大于等于1且小于等于N的整数；当n＝1时，所述第一输入图像为第一样本图像，当n为大于1且小于等于N的整数时，所述第一输入图像为第n-1个第一网络对应的特征图；
分别基于N个特征图中的m个特征图生成m个注意力图；m小于等于N；所述m个注意力图基于m个生成网络分别对所述m个特征图的处理而生成；
基于所述m个注意力图之间的差异确定第一损失；
所述任务检测网络根据第N个第一网络输出的特征图，确定检测结果；
基于确定的检测结果和所述第一样本图像中的标注结果确定第二损失；
根据所述第一损失和所述第二损失调整所述N个第一网络、所述m个生成网络和所述任务检测网络的网络参数。
上述方案中，所述基于所述m个注意力图之间的差异确定第一损失，包括：
确定所述m个注意力图中第k个注意力图与第j个注意力图之间的差异，基于所述差异确定第一损失；j为大于等于1小于m的整数；k为大于j的整数；
所述根据所述第一损失和所述第二损失调整所述N个第一网络、所述m个生成网络和所述任务检测网络的网络参数，包括：
根据所述第一损失调整所述第j个注意力图对应的第一网络和生成网络的网络参数；
根据所述第二损失调整所述N个第一网络和所述任务检测网络的网络参数。
上述方案中，所述确定所述m个注意力图中第k个注意力图与第j个注意力图之间的差异，基于所述差异确定第一损失，包括：
分别确定所述第k个注意力图与第j个注意力图之间的欧式距离，得到k-j个欧式距离；
基于所述k-j个欧式距离确定第一损失。
上述方案中，在k与j的差值大于1的情况下，所述基于所述k-j个欧式距离确定第一损失，包括：
对所述k-j个欧式距离进行特定处理，基于特定处理结果确定第一损失；其中，所述特定处理包括：平均处理或加权平均处理。
上述方案中，所述任务检测网络用于车道线检测，所述任务检测网络包括第二网络，所述第一样本图像的标注结果包括标注的车道线；
所述任务检测网络根据第N个第一网络输出的特征图，确定检测结果，包括：
所述第二网络根据第N个第一网络输出的特征图，确定所述第一样本图像中的车道线；
所述基于确定的检测结果和所述第一样本图像中的标注结果确定第二损失，包括：
基于确定的所述第一图像中的车道线和所述第一样本图像中标注的车道线确定第二损失。
上述方案中，所述任务检测网络还包括第三网络；
所述任务检测网络根据第N个第一网络输出的特征图，确定检测结果，还包括：
所述第三网络根据第N个第一网络输出的特征图确定表征检测到的车道线数量的特征向量；
所述方法还包括：根据所述特征向量和所述第一样本图像对应的车道线数量的指示向量确定第三损失；所述车道线数量的指示向量根据所述第一样本图像中标注的车道线确定；
所述根据所述第一损失和所述第二损失调整所述N个第一网络、所述m个生成网络和所述任务检测网络的网络参数，包括：
根据所述第一损失、所述第二损失和所述第三损失调整所述N个第一网络、所述第二网络、所述第三网络和所述m个生成网络的网络参数。
上述方案中，所述神经网络采用以下步骤获得：
利用初始神经网络对第二样本图像进行处理，确定所述第二样本图像的检测结果；
根据确定的所述第二样本图像的检测结果以及所述第二样本图像的标注结果，调整所述初始神经网络的网络参数，直至所述初始神经网络的检测准确率达到第一预设阈值，得到所述神经网络。
本发明实施例还提供了一种车道线检测方法，所述方法包括：
利用神经网络对道路图像进行检测，确定出所述道路图像中的车道线，和/或确定出表征所述道路图像中的车道线数量的特征向量，其中，所述神经网络采用本发明实施例所述的神经网络训练方法训练得到，所述神经网络中的任务检测网络用于进行车道线检测。
本发明实施例还提供了一种神经网络训练装置，所述神经网络中包括任务检测网络和N个用于特征提取的第一网络，N为大于等于2的整数；
所述装置包括：
特征提取模块，用于通过第n个第一网络对第一输入图像进行特征提取处理，获得所述第n个第一网络对应的特征图；n为大于等于1且小于等于N的整数；当n＝1时，所述第一输入图像为第一样本图像，当n为大于1且小于等于N的整数时，所述第一输入图像为第n-1个第一网络对应的特征图；
生成模块，用于分别基于N个特征图中的m个特征图生成m个注意力图；m小于等于N；所述m个注意力图基于m个生成网络分别对所述m个特征图的处理而生成；
第一损失确定模块，用于基于所述m个注意力图之间的差异确定第一损失；
检测模块，用于所述任务检测网络根据第N个第一网络输出的特征图，确定检测结果；
第二损失确定模块，用于基于确定的检测结果和所述第一样本图像中的标注结果确定第二损失；
调整模块，用于根据所述第一损失和所述第二损失调整所述N个第一网络、所述m个生成网络和所述任务检测网络的网络参数。
上述方案中，所述第一损失确定模块，用于确定所述m个注意力图中第k个注意力图与第j个注意力图之间的差异，基于所述差异确定第一损失；j为大于等于1小于m的整数；k为大于j的整数；
所述调整模块，用于根据所述第一损失调整所述第j个注意力图对应的第一网络和生成网络的网络参数，根据所述第二损失调整所述N个第一网络和所述任务检测网络的网络参数。
上述方案中，所述第一损失确定模块，用于分别确定所述第k个注意力图与第j个注意力图之间的欧式距离，得到k-j个欧式距离；基于所述k-j个欧式距离确定第一损失。
上述方案中，所述第一损失确定模块，用于在k与j的差值大于1的情况下基于所述k-j个欧式距离确定第一损失，包括：对所述k-j个欧式距离进行特定处理，基于特定处理结果确定第一损失；其中，所述特定处理包括：平均处理或加权平均处理。
上述方案中，所述神经网络应用于车道线检测，所述任务检测网络还包括第二网络；所述第一样本图像的标注结果包括标注的车道线；
所述检测模块，用于所述第二网络根据第N个第一网络输出的特征图，确定所述第一样本图像中的车道线；
所述第二损失确定模块，用于基于确定的所述第一图像中的车道线和所述第一样本图像中标注的车道线确定第二损失。
上述方案中，所述任务检测网络还包括第三网络；所述装置还包括第三损失确定模块；
所述检测模块，还用于所述第三网络根据第N个第一网络输出的特征图确定表征检测到的车道线数量的特征向量；
所述第三损失确定模块，用于根据所述特征向量和所述第一样本图像对应的车道线数量的指示向量确定第三损失；所述车道线数量的指示向量根据所述第一样本图像中标注的车道线确定；
所述调整模块，用于根据所述第一损失、所述第二损失和所述第三损失调整所述N个第一网络、所述第二网络、所述第三网络和所述m个生成网络的网络参数。
上述方案中，所述装置还包括训练模块，所述训练模块用于采用以下步骤训练获得所述神经网络：
利用初始神经网络对第二样本图像进行处理，确定所述第二样本图像的检测结果；根据确定的所述第二样本图像的检测结果以及所述第二样本图像的标注结果，调整所述初始神经网络的网络参数，直至所述初始神经网络的检测准确率达到第一预设阈值，得到所述神经网络。
本发明实施例还提供了一种车道线检测装置，所述检测装置包括：检测单元和确定单元；其中，
所述检测单元，用于利用神经网络对道路图像进行检测；
所述确定单元，用于基于所述检测单元或的检测结果确定出所述道路图像中的车道线，和/或确定出表征所述道路图像中的车道线数量的特征向量；
其中，所述神经网络采用本发明实施例所述的神经网络训练方法训练得到，所述神经网络中的任务检测网络用于进行车道线检测。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例所述的神经网络训练方法的步骤；或者，该程序被处理器执行时实现本发明实施例所述的车道线检测方法的步骤。
本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明实施例所述的神经网络训练方法的步骤；或者，所述处理器执行所述程序时实现本发明实施例所述的车道线检测方法的步骤。
本发明实施例提供的神经网络训练方法、车道线检测方法、装置和电子设备，所述神经网络中包括任务检测网络和N个用于特征提取的第一网络，N为大于等于2的整数；所述方法包括：通过第n个第一网络对第一输入图像进行特征提取处理，获得所述第n个第一网络对应的特征图；n为大于等于1且小于等于N的整数；当n＝1时，所述第一输入图像为第一样本图像，当n为大于1且小于等于N的整数时，所述第一输入图像为第n-1个第一网络对应的特征图；分别基于N个特征图中的m个特征图生成m个注意力图；m小于等于N；所述m个注意力图基于m个生成网络分别对所述m个特征图的处理而生成；基于所述m个注意力图之间的差异确定第一损失，所述任务检测网络根据第N个第一网络输出的特征图，确定检测结果；基于确定的检测结果和所述第一样本图像中的标注结果确定第二损失；根据所述第一损失和所述第二损失调整所述N个第一网络、所述m个生成网络和所述任务检测网络的网络参数。采用本发明实施例的技术方案，先通过生成网络对第一网络处理后的特征图进行处理获得注意力图，以获得更为显著的局部特征；再通过注意力图之间的差异确定第一损失，基于第一损失对神经网络以及生成网络的网络参数进行调整，以将不同第一网络学习到的特征引导到其他的第一网络，并以此作为依据对第一网络的网络参数的调整，从而使得第一网络提取到的特征之间能够相互模仿，以在不增加训练数据的条件下，提升网络检测精度。
附图说明
图1为本发明实施例的神经网络训练方法的流程示意图一；
图2为本发明实施例的神经网络训练方法的流程示意图二；
图3a为本发明实施例的神经网络训练方法的数据流示意图；
图3b为图3a中的注意力图的示意图；
图4为本发明实施例的神经网络训练方法的流程示意图三；
图5为本发明实施例的神经网络训练装置的组成结构示意图一；
图6为本发明实施例的神经网络训练装置的组成结构示意图二；
图7为本发明实施例的神经网络训练装置的组成结构示意图三；
图8为本发明实施例的电子设备的硬件组成结构示意图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细的说明。
本发明实施例提供了一种神经网络训练方法，所述神经网络中包括任务检测网络和N个用于特征提取的第一网络，N为大于等于2的整数。图1为本发明实施例的神经网络训练方法的流程示意图一；如图1所示，所述方法包括：
步骤101：通过第n个第一网络对第一输入图像进行特征提取处理，获得所述第n个第一网络对应的特征图；n为大于等于1且小于等于N的整数；当n＝1时，所述第一输入图像为第一样本图像，当n为大于1且小于等于N的整数时，所述第一输入图像为基于第n-1个第一网络对应的特征图；
步骤102：分别基于N个特征图中的m个特征图生成m个注意力图；m小于等于N；所述m个注意力图基于m个生成网络分别对所述m个特征图的处理而生成；
步骤103：基于所述m个注意力图之间的差异确定第一损失；
步骤104：所述任务检测网络根据第N个第一网络输出的特征图，确定检测结果；基于确定的检测结果和所述第一样本图像中的标注结果确定第二损失；
步骤105：根据所述第一损失和所述第二损失调整所述N个第一网络、所述m个生成网络和所述任务检测网络的网络参数。
其中，步骤103和步骤104在执行时并无时序上的先后关系，可以先执行步骤103，后执行步骤104，也可以先执行步骤104，后执行步骤103，还可以步骤103和步骤104同时执行。
另外，本实施例中的神经网络的网络参数数量远小于现有的神经网络(可称为大网络)的网络参数数量。作为一种实施方式，相比于现有的神经网络(可称为大网络)的网络参数数量，本实施例中的神经网络的网络参数数量可以是大网络的网络参数数量的50％，甚至20％。其中，作为一种示例，神经网络的网络参数数量可通过神经网络中的网络层数量体现；例如，大网络的网络层数可以是100层，则本实施例中的神经网络(小网络)的网络层数可以是50层，甚至20层。即本发明实施例直接在网络参数数量较小的小网络上进行训练，占据较少的物理存储空间，大大提升了计算速度，尤其适用于需要进行车道线检测的无人驾驶场景，因为无人驾驶场景下需要车道线检测网络具有较快的计算速度，并且车载硬件的物理存储空间通常都有限，大网络不易部署。
本实施例中的神经网络至少包括任务检测网络和N个用于特征提取的第一网络，作为一种实施方式，所述第一网络可通过卷积网络实现，或者也可通过包含有卷积层的编码器结构实现。所述任务检测网络与设定的任务相关，用于获得与任务相关的检测结果。作为一种实施方式，所述任务检测网络可以进行显著性检测、分类、抠图；进一步地，所述任务检测网络可以进行车辆检测、车道线检测等等。例如，所述任务检测网络用于车道线检测，则可通过所述任务检测网络输出包含有车道线检测结果的图像。实际应用中所述任务检测网络也可通过卷积网络实现。
其中，N个第一网络依次连接，前一个第一网络的输出数据作为后一个第一网络的输入数据；所述任务检测网络与第N个第一网络连接，即第N个第一网络输出的特征图作为所述任务检测网络的输入数据。本实施例中，通过所述第一网络进行特征提取处理后获得各第一网络对应的特征图，每个第一网络的输出数据均称为特征图，由此可通过N个第一网络得到N个特征图。首个第一网络的第一输入数据(也即通过首个第一网络处理的数据)称为第一样本图像，其他第一网络(即第2个第一网络至第N个第一网络)的第一输入数据为该第一网络的前一个第一网络输出的特征图；例如，当前第一网络为第n个第一网络，则前一个第一网络为第n-1个第一网络。
假设第一网络的数量为4个，则第一样本图像输入至第一网络1进行特征提取处理，获得第一网络1的特征图，该第一网络1的特征图输入至第一网络2进行特征提取，以此类推，直至第一网络4输出特征图。
需要说明的是，本实施例中的特征图表示通过第一网络的特征提取处理后获得的特征图，经过不同的第一网络获得的特征图是不同的。
本实施例中，注意力图是基于特征图得到的；可以理解，本实施例中具有m个生成网络用于对特征图进行处理从而生成对应的注意力图，即通过生成网络以自学习的方式进一步学习具体和局部的知识(特征)，从而得到注意力图。其中，m小于等于N。作为一种实施方式，m等于N，即每个第一网络输出的特征图均输入至对应的生成网络，生成注意力图，总计生成N个注意力图。作为另一种实施方式，m小于N，则部分第一网络输出的特征图输入至对应的生成网络，生成注意力图，总计生成的注意力图数量小于N。
其中，所述生成网络可包括至少一个卷积层；通过所述至少一个卷积层对所述特征图进行处理，一方面，可通过至少一个卷积层的卷积处理进一步对特征图中的特征进行提取；另一方面，由于经过不同的第一网络的特征提取处理得到的特征图的尺寸和通道数量可能不同，因此通过生成网络的至少一个卷积层对特征图的处理，实现对通道(channel)数量和图像尺寸的调整，从而实现获得的m个注意力图的通道数量和图像尺寸均相同，以便于比对注意力图之间的差异。
本实施例中，所述注意力图(Attention Map)中的局部特征相比于特征图中的局部特征更为显著，例如注意力图中容易被关注到的局部特征可以是的车道线。可以理解，通过生成网络对所述特征图进行特征提取的处理过程主要对所述特征图中的局部特征进行特征提取处理。作为一种实施方式，特征图通过生成网络的处理得到注意力图后，注意力图中的对应于车道线的局部特征相比于特征图中的对应于车道线的局部特征更为显著。
作为一种示例，基于特征图生成注意力图，可包括：基于生成网络对所述特征图进行至少一次的卷积处理，并对所述特征图的通道数量和图像尺寸进行调整，获得处理后的多通道数据；按照像素点进行对应的多通道数据的处理，所述处理方式可包括以下其中之一：求和处理、平均处理、最大值处理等；基于处理后的数据生成注意力图。
可以理解，不同的特征图经过第一网络处理的次数不同，根据不同特征图生成的注意力图也是不同的。
在本发明的其他实施例中，通过所述生成网络对特征图进行处理，获得的图像也可以是显著性图(Saliency Map)或概率分布图(Probability Map)。
在本发明的一种可选实施例中，所述基于所述m个注意力图之间的差异确定第一损失，包括：确定所述m个注意力图中第k个注意力图与第j个注意力图之间的差异，基于所述差异确定第一损失；j为大于等于1小于m的整数；k为大于j的整数。
本实施例中，作为一种实施方式，k的取值可以为j+1，即通过确定第j+1个注意力图与第j个注意力图之间的差异，确定第j+1个注意力图与第j个注意力图之间的差异，即将第j+1个注意力图的知识传递给第j个注意力图，获得第一损失。
作为另一种实施方式，k的取值为大于j+1，例如j的取值1，k的取值为4，则对于第1个注意力图的知识(或特征)传递，可以分别确定第2个注意力图与第1个注意力图之间的差异，第3个注意力图与第1个注意力图之间的差异，以及第4个注意力图与第1个注意力图之间的差异，即分别将第2个注意力图的知识(或特征)传递给第1个注意力图，将第3个注意力图的知识(或特征)传递给第1个注意力图，第4个注意力图的知识(或特征)传递给第1个注意力图，从而使得第1个注意力图得到了第2个注意力图、第3个注意力图和第4个注意力图的知识(或特征)，基于传递得到的知识(或特征)确定第一损失。
由此可见，本发明实施例中以将不同第一网络学习到的特征引导到其他的第一网络，并以此作为依据对第一网络的网络参数的调整，即采用知识蒸馏的方式从而使得第一网络提取到的特征之间能够相互模仿，在不增加训练数据的条件下，提升网络检测精度。
其中，作为一种示例，所述第一损失的具体形式可通过以下函数表达式表示：
Figure BDA0002153019310000111
其中，Am和Am+1分别是第m个第一网络和第m+1个第一网络输出的特征图(featuremap)。Ψ(·)表示本实施例中提出的生成网络。以每个特征图均输入至对应的生成网络生成注意力图为例，Ψ(Am)和Ψ(Am+1)分别表示第m个和第m+1个注意力图(attention map)。M表示第一网络的数量。
在本发明的一种可选实施例中，所述确定所述m个注意力图中第k个注意力图与第j个注意力图之间的差异，基于所述差异确定第一损失，包括：分别确定所述第k个注意力图与第j个注意力图之间的欧式距离，得到k-j个欧式距离；基于所述k-j个欧式距离确定第一损失。
其中，在k与j的差值大于1的情况下，所述基于所述k-j个欧式距离确定第一损失，包括：对所述k-j个欧式距离进行特定处理，基于特定处理结果确定第一损失；其中，所述特定处理包括：平均处理或加权平均处理。
本实施例中，两个注意力图之间的第一损失可通过计算两个注意力图之间的欧式距离得到。作为一种实施方式，在k与j的差值为1的情况下，即本实施方式中仅将第j+1个注意力图的知识(或特征)传递给第j个注意力图的情况下，通过计算第j+1个注意力图与第j个注意力图的欧式距离，基于所述欧式距离确定第j+1个注意力图与第j个注意力图的第一损失。
作为另一种实施方式，在k与j的差值大于1的情况下，即将第j个注意力图后的多个注意力图的知识(或特征)传递给第j个注意力图的情况下，通过分别计算第k个注意力图与第j个注意力图之间的欧式距离，获得k-j个欧式距离，对所述k-j个欧式距离进行求和取平均值的方式进行处理，或者进行加权平均处理等，基于处理结果确定第一损失。
本实施例中，在神经网络并未训练到收敛状态的情况下，即所述任务检测网络获得的检测结果的准确度未达到预设要求的情况下，所述任务检测网络获得的检测结果并非准确，因此需要基于任务检测网络确定的检测结果和第一样本图像中的标注结果确定第二损失，分别基于第一损失和第二损失对对所述N个第一网络、所述m个生成网络和所述任务检测网络的网络参数进行调整。
在本发明的一种可选实施例中，所述任务检测网络用于车道线检测，所述任务检测网络包括第二网络，所述第一样本图像的标注结果包括标注的车道线；所述任务检测网络根据第N个第一网络输出的特征图，确定检测结果，包括：所述第二网络根据第N个第一网络输出的特征图，确定所述第一样本图像中的车道线；所述基于确定的检测结果和所述第一样本图像中的标注结果确定第二损失，包括：基于确定的所述第一图像中的车道线和所述第一样本图像中标注的车道线确定第二损失。
本实施例中，所述第一样本图像中的车道线标注结果可通过车道线二值化图像表示，所述车道线二值化图像中车道线部分的像素点为1，其余的背景部分的像素点为0。则第二网络根据第N个第一网络输出的特征图，获得包含有车道线标记的图像，基于所述包含有车道线标记的图像和所述车道线二值化图像确定第二损失，具体可计算两个图像中的车道线之间的欧式距离，基于计算出的欧式距离确定第二损失。
本实施例中，神经网络的损失包括第一损失和第二损失两部分。作为一种示例，神经网络的损失可通过如下表达式表示：
Figure BDA0002153019310000121
其中，
Figure BDA0002153019310000131
表示第二损失，Ldistill(Am,Am+1)表示第一损失，β表示权重系数。其中，所述第一损失的具体形式可参照前述所述，这里不再赘述。
在一种实施方式中，根据所述第一损失和所述第二损失调整所述N个第一网络、所述第二网络和所述m个生成网络的网络参数可包括：对所述第二损失中相关的网络参数进行求导处理，获得所述第二损失对应的该网络参数的第一求导处理结果，基于所述第一求导处理结果对所述第二网络中的所述网络参数进行调整，本实施方式适用于该网络参数仅与第二损失相关联而不与第一损失相关联的情况，则所述网络参数为所述第二网络中的网络参数。
或者，对所述第一损失相关的网络参数进行求导处理，获得所述第一损失对应的该网络参数的第二求导处理结果，基于所述第二求导处理结果对所述生成网络中的所述网络参数进行调整，本实施方式适用于该网络参数仅与第一损失相关联而不与第二损失相关联的情况，则所述网络参数为所述生成网络中的网络参数。
在另一实施方式中，根据所述第一损失和所述第二损失调整所述N个第一网络、所述第二网络和所述m个生成网络的网络参数可包括：对所述第一损失和第二损失相关的每个网络参数进行求导处理，获得所述第二损失对应的该网络参数的第一求导处理结果以及所述第一损失对应的该网络参数的第二求导处理结果，将所述第一求导处理结果和所述第二求导处理结果进行加权求和处理(可参照表达式(2))，根据处理结果调整第一网络的网络参数。本实施方式适用于该网络参数与第一损失和第二损失均相关联的情况，则所述网络参数为所述第一网络中的网络参数。
在本发明的一种可选实施例中，所述根据所述第一损失和所述第二损失调整所述N个第一网络、所述m个生成网络和所述任务检测网络的网络参数，包括：根据所述第一损失调整所述第j个注意力图对应的第一网络和生成网络的网络参数；根据所述第二损失调整所述N个第一网络和所述任务检测网络的网络参数。
本实施例中，由于注意力图是基于特征图得到的，而特征图是通过第一网络的特征提取处理得到的，也即注意力图是与第一网络和生成网络的网络参数相关的。基于此，本实施例基于m个注意力图之间的差异确定的第一损失是与第一网络和生成网络的网络参数相关的，因此根据所述第一损失调整所述第j个注意力图对应的第一网络和生成网络的网络参数。所述第二损失为与所述N个第一网络和所述任务检测网络(即第二网络)的网络参数相关的，因此根据所述第二损失调整所述N个第一网络和所述任务检测网络的网络参数。
其中，例如，可参考图3a，第一损失1是基于生成网络1和生成网络2输出的两个注意力图确定的，则所述第一损失1用于调整生成网络1和第一网络1的网络参数。
本实施例步骤105中，所述根据所述第一损失和所述第二损失调整所述N个第一网络、所述m个生成网络和所述任务检测网络的网络参数的收敛条件是损失收敛到预设数值，即获得的第一损失与第二损失之和收敛至一个稳定的数值的情况下，终止训练，此时获得已训练完成的所述神经网络，所述神经网络达到收敛状态。
本实施例中，无论是相邻的两个注意力图，或是不相邻的两个注意力图，在后的注意力图由于依据的特征图对应的第一网络的处理次数多于在先的注意力图依据的特征图对应的第一网络的处理次数。例如图3a中所示，生成网络4输出的注意力图是由生成网络4对第一网络4输出的特征图进行处理得到的，即第一网络4输出的特征图经历了第一网络1至第一网络4的特征提取处理，而生成网络1输出的注意力图是由生成网络1对第一网络1输出的特征图进行处理得到的，即第一网络1输出的特征图仅经历了第一网络1的特征提取处理。
上述过程中，从图3a的纵向上看，生成网络提取到的局部知识多于对应的第一网络提取到的局部知识；从图3a的横向上看，第一网络4提取到的特征(或知识)多于第一网络1提取到的特征(或知识)，即排序在后的第一网络提取到的特征(或知识)多于排序在先的第一网络提取到的特征(或知识)。而相对排序在后的第一网络(例如第一网络4)可称为深层网络，相对排序在先的第一网络(例如第一网络1)可称为前端网络。
采用本发明实施例的技术方案，先通过生成网络对第一网络处理后的特征图进行处理获得注意力图，以获得更为显著的局部特征；再通过注意力图之间的差异确定第一损失，基于第一损失对神经网络以及生成网络的网络参数进行调整，以将不同第一网络学习到的特征引导到其他的第一网络，并以此作为依据对第一网络的网络参数的调整，从而使得第一网络提取到的特征之间能够相互模仿，以在不增加训练数据的条件下，能够达到与大网络相当的车道线检测精度，且网络参数少，所以带来了更快的计算速度，更小的存储空间。
本发明实施例还提供了一种神经网络训练方法；所述神经网络中包括任务检测网络和N个用于特征提取的第一网络，N为大于等于2的整数，所述任务检测网络用于车道线检测；所述任务检测网络包括第二网络和第三网络。图2为本发明实施例的神经网络训练方法的流程示意图二；图3a为本发明实施例的神经网络训练方法的数据流示意图；图3b为图3a中的注意力图的示意图；如图2、图3a和图3b所示，所述方法包括：
步骤202：通过第n个第一网络对第一输入图像进行特征提取处理，获得所述第n个第一网络对应的特征图；n为大于等于1且小于等于N的整数；当n＝1时，所述第一输入图像为第一样本图像，当n为大于1且小于等于N的整数时，所述第一输入图像为第n-1个第一网络对应的特征图；
步骤203：分别基于N个特征图中的m个特征图生成m个注意力图；m小于等于N；
步骤204：基于所述m个注意力图之间的差异确定第一损失；
步骤205：所述第二网络根据第N个第一网络输出的特征图，确定所述第一样本图像中的车道线；
步骤206：基于确定的所述第一图像中的车道线和所述第一样本图像中标注的车道线确定第二损失，所述第一样本图像中包括标注的车道线；
步骤207：所述第三网络根据第N个第一网络输出的特征图确定表征检测到的车道线数量的特征向量；
步骤208：根据所述特征向量和所述第一样本图像对应的车道线数量的指示向量确定第三损失；所述车道线数量的指示向量根据所述第一样本图像中标注的车道线确定；
步骤209：根据所述第一损失、所述第二损失和所述第三损失调整所述N个第一网络、所述第二网络、所述第三网络和所述m个生成网络的网络参数。
本实施例步骤202至步骤206的详细描述具体可参照前述实施例中步骤101至步骤104的详细阐述，这里不再赘述。
本实施例中的神经网络应用于车道线检测中，所述神经网络至少包括任务检测网络和N个用于特征提取的第一网络，所述任务检测网络包括第二网络和第三网络。作为一种实施方式，所述第一网络可通过卷积网络实现。所述第二网络用于获得包含有车道线标记的第一图像，实际应用中所述第二网络也可通过卷积网络实现。所述第三网络用于获得表征是否检测到车道线的特征向量，即所述第二网络和所述第三网络是与设定的任务相关的。其中，所述第一网络可称为主干网络，所述第二网络和所述第三网络可称为分支网络。
其中，所述第二网络和所述第三网络分别与第N个第一网络连接，即第N个第一网络输出的特征图分别作为所述第二网络和第三网络的输入数据。所述第二网络的输出数据为包含有车道线标记的第一图像。所述第三网络的输出数据为表征检测到的车道线数量的特征向量。
在神经网络并未训练到收敛状态的情况下，即获得的第一图像中的标记的车道线的正确率并未达到预设阈值、和/或表征检测到的车道线数量的特征向量的正确率并未达到另一预设阈值的情况下，需要根据包括标注的车道线的第一样本图像和所述包含有车道线标记的第一图像确定第二损失，以及根据第一样本图像对应的车道线数量的指示向量和所述表征检测到的车道线数量的特征向量确定第三损失，基于所述第一损失、所述第二损失和第三损失对所述N个第一网络、所述第二网络、所述第三网络和所述m个生成网络的网络参数进行调整。即本实施例中，神经网络的损失包括第一损失、第二损失和第三损失三部分。其中，作为一种示例，表征检测到的车道线数量的特征向量中的每个向量分量的取值可以是0或1，特征向量中取值为1的向量分量的数量可以表示检测到的车道线的数量。例如图3a中所示，获得的特征向量中包括3个取值为1的向量分量，则可表示图中有三条车道线。
作为一种示例，所述神经网络的损失可通过如下表达式表示：
Figure BDA0002153019310000171
其中，
Figure BDA0002153019310000172
表示第三损失，
Figure BDA0002153019310000173
表示第二损失，Ldistill(Am,Am+1)表示第一损失，α和β均表示权重系数。其中，所述第一损失的具体形式可参照前述实施例中所述，这里不再赘述。
本实施例中，所述第三损失为与所述N个第一网络和所述第三网络的网络参数均相关的损失，所述第二损失为与所述N个第一网络和所述第二网络的网络参数均相关的损失，所述第一损失为与所述N个第一网络和所述m个生成网络的网络参数相关的损失。则所述根据所述第一损失、所述第二损失和所述第三损失调整所述N个第一网络、所述第二网络、所述第三网络和所述m个生成网络的网络参数可包括：对所述损失相关的每个网络参数进行求导处理，获得所述第二损失对应的该网络参数的第一求导处理结果，基于所述第一求导处理结果对所述第二网络中的所述网络参数进行调整，本实施方式适用于该网络参数仅与第二损失相关联而不与第一损失和第三损失相关联的情况，则所述网络参数为所述第二网络中的网络参数。或者，对所述损失相关的网络参数进行求导处理，获得所述第一损失对应的该网络参数的第二求导处理结果，基于所述第二求导处理结果对所述生成网络中的所述网络参数进行调整，本实施方式适用于该网络参数仅与第一损失相关联而不与第二损失和第三损失相关联的情况，则所述网络参数为所述生成网络中的网络参数。或者，对所述损失相关的网络参数进行求导处理，获得所述第三损失对应的该网络参数的第三求导处理结果，基于所述第三求导处理结果对所述第三网络中的所述网络参数进行调整，本实施方式适用于该网络参数仅与第三损失相关联而不与第二损失和第一损失相关联的情况，则所述网络参数为所述第三网络中的网络参数。
或者，所述根据所述第一损失、所述第二损失和所述第三损失调整所述N个第一网络、所述第二网络、所述第三网络和所述m个生成网络的网络参数可包括：对所述损失相关的每个网络参数进行求导处理，获得所述第三损失对应的该网络参数的第三求导处理结果、所述第二损失对应的该网络参数的第一求导处理结果以及所述第一损失对应的该网络参数的第二求导处理结果，将所述第三求导处理结果、所述第一求导处理结果和所述第二求导处理结果进行加权求和处理，根据处理结果调整第一网络的网络参数。本实施方式适用于该网络参数与第一损失、第二损失和第三损失均相关联的情况，则所述网络参数为为所述第一网络中的网络参数。
本发明实施例还提供了一种神经网络训练方法。图4为本发明实施例的神经网络训练方法的流程示意图三；如图4所示，在前述实施例的基础上，在执行步骤202之前，所述方法还包括：
步骤200：利用初始神经网络对第二样本图像进行处理，确定所述第二样本图像的检测结果；
步骤201：根据确定的所述第二样本图像的检测结果以及所述第二样本图像的标注结果，调整所述初始神经网络的网络参数，直至所述初始神经网络的检测准确率达到第一预设阈值，得到所述神经网络。
本实施例中，所述初始神经网络具有包括N个第一网络和任务检测网络的网络架构，其中，所述任务检测网络可包括第二网络和/或第三网络，当然，依据设定的任务内容，所述任务检测网络可包括对应于任务内容的其他网络。
在本发明的一种可选实施例中，所述利用初始神经网络对第二样本图像进行处理，确定所述第二样本图像的检测结果，包括：利用初始神经网络对第二样本图像进行处理，确定所述第二样本图像中的车道线，和/或，确定所述第二样本图像中表征检测到的车道线数量的特征向量；
所述根据确定的所述第二样本图像的检测结果以及所述第二样本图像的标注结果，调整所述初始神经网络的网络参数，包括：根据确定的所述第二样本图像中的车道线以及所述第二样本图像中的标注的车道线，和/或，根据确定的所述第二样本图像中表征检测到的车道线数量的特征向量以及所述第二样本图像对应的车道线数量的指示向量，调整所述初始神经网络的网络参数，直至所述初始神经网络的对车道线检测的准确率达到第一预设阈值，得到所述神经网络；所述第二样本图像对应的车道线数量的指示向量根据所述第二样本图像中标注的车道线确定。
其中，所述第一预设阈值可以是90％，当然也可以是其他数值，所述初始神经网络的对车道线检测的准确率达到第一预设阈值表明所述初始神经网络已接近收敛状态，也即从执行步骤202开始的神经网络为接近收敛状态的神经网络，以便于后续执行步骤202至步骤209的过程中，生成的注意力图体现的特征更为准确，知识蒸馏更有效率。
可选地，所述根据确定的所述第二样本图像中的车道线以及所述第二样本图像中的标注的车道线，和/或，根据确定的所述第二样本图像中表征检测到的车道线数量的特征向量以及所述第二样本图像对应的车道线数量的指示向量，调整所述初始神经网络的网络参数，包括：根据确定的所述第二样本图像中的车道线以及所述第二样本图像中的标注的车道线确定第四损失，和/或，根据确定的表征检测到的所述第二样本图像中的车道线数量的特征向量以及所述第二样本图像对应的车道线数量的指示向量确定第五损失；根据所述第四损失和/或所述第五损失调整所述初始神经网络的网络参数。
其中，所述根据所述第四损失和/或所述第五损失调整所述初始神经网络的网络参数，包括：根据所述第四损失调整所述初始神经网络中的N个第一网络和第二网络的网络参数，和/或，根据所述第五损失调整所述初始神经网络中的N个第一网络和第三网络的网络参数。
其中，所述第四损失的形式可参照前述实施例中的第二损失的描述，所述第五损失的形式可参照前述实施例中的第三损失的描述，这里不再赘述。
本发明实施例还提供了一种车道线检测方法，所述方法包括：利用神经网络对道路图像进行检测，确定出所述道路图像中的车道线，和/或确定出表征所述道路图像中的车道线数量的特征向量，其中，所述神经网络采用本发明前述实施例所述的神经网络训练方法训练得到，所述神经网络中的任务检测网络用于进行车道线检测。
本实施例中，所述神经网络具有包括N个第一网络和任务检测网络的网络架构，其中，所述任务检测网络可包括第二网络和/或第三网络，当然，依据设定的任务内容，所述任务检测网络可包括对应于任务内容的其他网络。
在本发明的一种可选实施例中，所述利用神经网络对道路图像进行检测，确定出所述道路图像中的车道线，和/或确定出表征所述道路图像中的车道线数量的特征向量，包括：所述第一网络对道路图像进行特征提取处理，获得特征图；所述第二网络根据所述特征图确定所述道路图像中的车道线，和/或，所述第三网络根据所述特征图确定表征检测到的车道线数量的特征向量。
本实施例中，用于检测车道线的神经网络不包括所述m个生成网络，即神经网络包括N个第一网络和第二网络，或者包括N个第一网络和第三网络，或者包括N个第一网络、第二网络和第三网络，所述神经网络对道路图像进行处理，获得所述道路图像中的车道线，和/或获得所述道路图像对应的表征检测到的车道线数量的特征向量。
本发明实施例还提供了一种神经网络训练装置。图5为本发明实施例的神经网络训练装置的组成结构示意图一；如图5所示，所述装置用于训练神经网络；所述神经网络中包括任务检测网络和N个用于特征提取的第一网络，N为大于等于2的整数；所述装置包括：
特征提取模块41，用于通过第n个第一网络对第一输入图像进行特征提取处理，获得所述第n个第一网络对应的特征图；n为大于等于1且小于等于N的整数；当n＝1时，所述第一输入图像为第一样本图像，当n为大于1且小于等于N的整数时，所述第一输入图像为第n-1个第一网络对应的特征图；
生成模块42，用于分别基于N个特征图中的m个特征图生成m个注意力图；m小于等于N；所述m个注意力图基于m个生成网络分别对所述m个特征图的处理而生成；
第一损失确定模块43，用于基于所述m个注意力图之间的差异确定第一损失；
检测模块44，用于所述任务检测网络根据第N个第一网络输出的特征图，确定检测结果；
第二损失确定模块45，用于基于确定的检测结果和所述第一样本图像中的标注结果确定第二损失；
调整模块46，用于根据所述第一损失和所述第二损失调整所述N个第一网络、所述m个生成网络和所述任务检测网络的网络参数。
在本发明的一种可选实施例中，所述第一损失确定模块43，用于确定所述m个注意力图中第k个注意力图与第j个注意力图之间的差异，基于所述差异确定第一损失；j为大于等于1小于m的整数；k为大于j的整数；
所述调整模块46，用于根据所述第一损失调整所述第j个注意力图对应的第一网络和生成网络的网络参数，根据所述第二损失调整所述N个第一网络和所述任务检测网络的网络参数。
在本发明的一种可选实施例中，所述第一损失确定模块43，用于分别确定所述第k个注意力图与第j个注意力图之间的欧式距离，得到k-j个欧式距离；基于所述k-j个欧式距离确定第一损失。
其中，可选地，所述第一损失确定模块43，用于在k与j的差值大于1的情况下基于所述k-j个欧式距离确定第一损失，包括：对所述k-j个欧式距离进行特定处理，基于特定处理结果确定第一损失；其中，所述特定处理包括：平均处理或加权平均处理。
在本发明的一种可选实施例中，所述任务检测网络应用于车道线检测，所述任务检测网络包括第二网络1；所述第一样本图像的标注结果包括标注的车道线；
所述检测模块44，用于所述第二网络根据第N个第一网络输出的特征图，确定所述第一样本图像中的车道线；
所述第二损失确定模块45，用于基于确定的所述第一图像中的车道线和所述第一样本图像中标注的车道线确定第二损失。
在本发明的一种可选实施例中，如图6所示，所述任务检测网络还包括第三网络；所述装置还包括第三损失确定模块47；
所述检测模块44，还用于所述第三网络根据第N个第一网络输出的特征图确定表征检测到的车道线数量的特征向量；
所述第三损失确定模块47，用于根据所述特征向量和所述第一样本图像对应的车道线数量的指示向量确定第三损失；所述车道线数量的指示向量根据所述第一样本图像中标注的车道线确定；
所述调整模块46，用于根据所述第一损失、所述第二损失和所述第三损失调整所述N个第一网络、所述第二网络、所述第三网络和所述m个生成网络的网络参数。
在本发明的一种可选实施例中，如图7所示，所述装置还包括训练模块48，训练模块48，用于采用以下步骤训练获得所述神经网络：
利用初始神经网络对第二样本图像进行处理，确定所述第二样本图像的检测结果；根据确定的所述第二样本图像的检测结果以及所述第二样本图像的标注结果，调整所述初始神经网络的网络参数，直至所述初始神经网络的检测准确率达到第一预设阈值，得到所述神经网络。
本发明实施例中，所述网络训练装置中的特征提取模块41、生成模块42、第一损失确定模块43、检测模块44、第二损失确定模块45、调整模块46、第三损失确定模块47和训练模块48，在实际应用中均可由中央处理器(CPU，Central Processing Unit)、数字信号处理器(DSP，Digital Signal Processor)、微控制单元(MCU，Microcontroller Unit)或可编程门阵列(FPGA，Field－Programmable Gate Array)实现。
需要说明的是：上述实施例提供的神经网络训练装置在进行神经网络训练时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的神经网络训练装置与神经网络训练方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本发明实施例还提供了一种车道线检测装置。所述检测装置包括：检测单元和确定单元；其中，
所述检测单元，用于利用神经网络对道路图像进行检测；
所述确定单元，用于基于所述检测单元或的检测结果确定出所述道路图像中的车道线，和/或确定出表征所述道路图像中的车道线数量的特征向量；
其中，所述神经网络采用本发明实施例所述的神经网络训练方法训练得到，所述神经网络中的任务检测网络用于进行车道线检测。
本发明实施例中，所述车道线检测装置中的检测单元和确定单元，在实际应用中均可由CPU、DSP、MCU或FPGA实现。
需要说明的是：上述实施例提供的车道线检测装置在进行车道线检测时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的车道线检测装置与车道线检测方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本发明实施例还提供了一种电子设备。图8为本发明实施例的电子设备的硬件组成结构示意图，如图8所示，所述电子设备包括存储器52、处理器51及存储在存储器52上并可在处理器51上运行的计算机程序，所述处理器51执行所述程序时实现本发明实施例所述神经网络训练方法的步骤；或者，所述处理器执行所述程序时实现本发明实施例所述车道线检测方法的步骤。
可以理解，电子设备中的各个组件通过总线系统53耦合在一起。总线系统53用于实现这些组件之间的连接通信。总线系统53除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图8中将各种总线都标为总线系统53。
可以理解，存储器52可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储器52旨在包括但不限于这些和任意其它适合类型的存储器。
上述本发明实施例揭示的方法可以应用于处理器51中，或者由处理器51实现。处理器51可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器51中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器51可以是通用处理器、DSP，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器51可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器52，处理器51读取存储器52中的信息，结合其硬件完成前述方法的步骤。
在示例性实施例中，电子设备可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)、通用处理器、控制器、微控制器(MCU，Micro Controller Unit)、微处理器(Microprocessor)、或其他电子元件实现，用于执行前述方法。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例所述神经网络训练方法的步骤；或者，该程序被处理器执行时实现本发明实施例所述车道线检测方法的步骤。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种神经网络训练方法，其特征在于，所述神经网络中包括任务检测网络和N个用于特征提取的第一网络，N为大于等于2的整数；所述方法包括：
通过第n个第一网络对第一输入图像进行特征提取处理，获得所述第n个第一网络对应的特征图；n为大于等于1且小于等于N的整数；当n＝1时，所述第一输入图像为第一样本图像，当n为大于1且小于等于N的整数时，所述第一输入图像为第n-1个第一网络对应的特征图；
分别基于N个特征图中的m个特征图生成m个注意力图；m小于等于N；所述m个注意力图基于m个生成网络分别对所述m个特征图的处理而生成；
基于所述m个注意力图之间的差异确定第一损失；
所述任务检测网络根据第N个第一网络输出的特征图，确定检测结果；
基于确定的检测结果和所述第一样本图像中的标注结果确定第二损失；
根据所述第一损失和所述第二损失调整所述N个第一网络、所述m个生成网络和所述任务检测网络的网络参数。
2.根据权利要求1所述的方法，其特征在于，所述基于所述m个注意力图之间的差异确定第一损失，包括：
确定所述m个注意力图中第k个注意力图与第j个注意力图之间的差异，基于所述差异确定第一损失；j为大于等于1小于m的整数；k为大于j的整数；
所述根据所述第一损失和所述第二损失调整所述N个第一网络、所述m个生成网络和所述任务检测网络的网络参数，包括：
根据所述第一损失调整所述第j个注意力图对应的第一网络和生成网络的网络参数；
根据所述第二损失调整所述N个第一网络和所述任务检测网络的网络参数。
3.根据权利要求2所述的方法，其特征在于，所述确定所述m个注意力图中第k个注意力图与第j个注意力图之间的差异，基于所述差异确定第一损失，包括：
分别确定所述第k个注意力图与第j个注意力图之间的欧式距离，得到k-j个欧式距离；
基于所述k-j个欧式距离确定第一损失。
4.根据权利要求3所述的方法，其特征在于，在k与j的差值大于1的情况下，所述基于所述k-j个欧式距离确定第一损失，包括：
对所述k-j个欧式距离进行特定处理，基于特定处理结果确定第一损失；其中，所述特定处理包括：平均处理或加权平均处理。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述任务检测网络用于车道线检测，所述任务检测网络包括第二网络，所述第一样本图像的标注结果包括标注的车道线；
所述任务检测网络根据第N个第一网络输出的特征图，确定检测结果，包括：
所述第二网络根据第N个第一网络输出的特征图，确定所述第一样本图像中的车道线；
所述基于确定的检测结果和所述第一样本图像中的标注结果确定第二损失，包括：
基于确定的所述第一图像中的车道线和所述第一样本图像中标注的车道线确定第二损失。
6.一种车道线检测方法，其特征在于，所述方法包括：
利用神经网络对道路图像进行检测，确定出所述道路图像中的车道线，和/或确定出表征所述道路图像中的车道线数量的特征向量，其中，所述神经网络采用权利要求1-5任一所述的方法训练得到，所述神经网络中的任务检测网络用于进行车道线检测。
7.一种神经网络训练装置，其特征在于，所述神经网络中包括任务检测网络和N个用于特征提取的第一网络，N为大于等于2的整数；所述装置包括：
特征提取模块，用于通过第n个第一网络对第一输入图像进行特征提取处理，获得所述第n个第一网络对应的特征图；n为大于等于1且小于等于N的整数；当n＝1时，所述第一输入图像为第一样本图像，当n为大于1且小于等于N的整数时，所述第一输入图像为第n-1个第一网络对应的特征图；
生成模块，用于分别基于N个特征图中的m个特征图生成m个注意力图；m小于等于N；所述m个注意力图基于m个生成网络分别对所述m个特征图的处理而生成；
第一损失确定模块，用于基于所述m个注意力图之间的差异确定第一损失；
检测模块，用于所述任务检测网络根据第N个第一网络输出的特征图，确定检测结果；
第二损失确定模块，用于基于确定的检测结果和所述第一样本图像中的标注结果确定第二损失；
调整模块，用于根据所述第一损失和所述第二损失调整所述N个第一网络、所述m个生成网络和所述任务检测网络的网络参数。
8.一种车道线检测装置，其特征在于，所述检测装置包括：检测单元和确定单元；其中，
所述检测单元，用于利用神经网络对道路图像进行检测；
所述确定单元，用于基于所述检测单元或的检测结果确定出所述道路图像中的车道线，和/或确定出表征所述道路图像中的车道线数量的特征向量；
其中，所述神经网络采用权利要求1-5任一所述的方法训练得到，所述神经网络中的任务检测网络用于进行车道线检测。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至5任一项所述方法的步骤；或者，该程序被处理器执行时实现权利要求6所述方法的步骤。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至5任一项所述方法的步骤；或者，所述处理器执行所述程序时实现权利要求6所述方法的步骤。
CN201910708803.5A 2019-08-01 2019-08-01 神经网络训练方法、车道线检测方法、装置和电子设备 Pending CN112307850A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910708803.5A CN112307850A (zh) 2019-08-01 2019-08-01 神经网络训练方法、车道线检测方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910708803.5A CN112307850A (zh) 2019-08-01 2019-08-01 神经网络训练方法、车道线检测方法、装置和电子设备

Publications (1)

Publication Number Publication Date
CN112307850A true CN112307850A (zh) 2021-02-02

Family

ID=74485413

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910708803.5A Pending CN112307850A (zh) 2019-08-01 2019-08-01 神经网络训练方法、车道线检测方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN112307850A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949493A (zh) * 2021-03-03 2021-06-11 深圳瑞为智能科技有限公司 一种结合语义分割和注意力机制的车道线检测方法及系统
CN113505800A (zh) * 2021-06-30 2021-10-15 深圳市慧鲤科技有限公司 图像处理方法及其模型的训练方法和装置、设备、介质
US20220319196A1 (en) * 2021-04-01 2022-10-06 Beijing Tusen Zhitu Technology Co., Ltd. Method and apparatus for detecting lane lines, electronic device and storage medium
CN117095360A (zh) * 2023-10-18 2023-11-21 四川傲空航天科技有限公司 基于sar卫星遥感技术的粮食作物监测方法及系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949493A (zh) * 2021-03-03 2021-06-11 深圳瑞为智能科技有限公司 一种结合语义分割和注意力机制的车道线检测方法及系统
CN112949493B (zh) * 2021-03-03 2024-04-09 深圳瑞为智能科技有限公司 一种结合语义分割和注意力机制的车道线检测方法及系统
US20220319196A1 (en) * 2021-04-01 2022-10-06 Beijing Tusen Zhitu Technology Co., Ltd. Method and apparatus for detecting lane lines, electronic device and storage medium
CN113505800A (zh) * 2021-06-30 2021-10-15 深圳市慧鲤科技有限公司 图像处理方法及其模型的训练方法和装置、设备、介质
CN117095360A (zh) * 2023-10-18 2023-11-21 四川傲空航天科技有限公司 基于sar卫星遥感技术的粮食作物监测方法及系统
CN117095360B (zh) * 2023-10-18 2023-12-15 四川傲空航天科技有限公司 基于sar卫星遥感技术的粮食作物监测方法及系统

Similar Documents

Publication Publication Date Title
CN112307850A (zh) 神经网络训练方法、车道线检测方法、装置和电子设备
US11200424B2 (en) Space-time memory network for locating target object in video content
CN112307978B (zh) 目标检测方法、装置、电子设备及可读存储介质
CN111914878B (zh) 特征点跟踪训练及跟踪方法、装置、电子设备及存储介质
CN113065525B (zh) 年龄识别模型训练方法、人脸年龄识别方法及相关装置
GB2579262A (en) Space-time memory network for locating target object in video content
CN117218102A (zh) 一种基于改进YOLOv5的绝缘子缺陷检测方法及其系统
Niu et al. Boundary-aware RGBD salient object detection with cross-modal feature sampling
CN115661767A (zh) 一种基于卷积神经网络的图像前方车辆目标识别方法
CN114399737A (zh) 一种道路检测方法、装置、存储介质及电子设备
CN113963236A (zh) 目标检测方法及装置
CN113239693A (zh) 意图识别模型的训练方法、装置、设备及存储介质
CN111401335B (zh) 一种关键点检测方法及装置、存储介质
CN117315310A (zh) 一种图像识别方法、图像识别模型训练方法及装置
CN110796003B (zh) 车道线检测方法、装置及电子设备
CN116012692A (zh) 一种模型生成方法、装置、电子设备及存储介质
CN112016571B (zh) 一种基于注意力机制的特征提取方法、装置及电子设备
CN114820755A (zh) 一种深度图估计方法及系统
CN111402164B (zh) 矫正网络模型的训练方法和装置、文本识别方法和装置
CN116912889B (zh) 行人重识别方法及装置
CN116912634B (zh) 目标追踪模型的训练方法及装置
CN116580063B (zh) 目标追踪方法、装置、电子设备及存储介质
CN115661492B (zh) 图像比对方法、装置、电子设备、存储介质和程序产品
CN113806542B (zh) 文本分析方法及系统
CN115988100B (zh) 基于多协议自适应的设备智能感知物联网网关管理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination