CN116012815A - 交通元素识别方法、多任务网络模型及训练方法和装置 - Google Patents

Abstract

本发明公开了一种交通元素识别方法、多任务网络模型及训练方法和装置，包括：主干网络对图像进行特征提取得到图像中的备选交通元素的特征信息；多尺度信息融合网络对特征信息进行融合处理，得到融合特征信息；检测子网络基于融合特征信息检测图像中第一指定类别的交通元素；语义分割子网络基于融合特征信息，对图像中第二指定类别的交通元素进行像素级分割；车道线检测子网络基于融合特征信息，对图像中车道线进行识别及像素级轮廓分割；检测子网络、语义分割子网络和车道线检测子网络对识别出的交通元素进行矢量化处理及添加类别标签后，输出交通元素识别结果。通过不同的子网络识别不同类型的交通元素，识别速度快、准确度高。

Description

交通元素识别方法、多任务网络模型及训练方法和装置

技术领域

本发明涉及地理信息技术领域，特别涉及一种交通元素识别方法、多任务网络模型及训练方法和装置。

背景技术

在地图技术领域和智能交通领域中，交通元素识别是不可或缺的关键技术。现有技术中，一般使用单一的检测模型或单一的分割模型对交通元素进行识别。由于交通元素种类繁多，不同类型的交通元素特征差异大，例如杆、车道线、标志牌三种交通元素特征差异很大，对这些交通要素进行识别时，只使用检测网络进行检测，对一些交通要素的识别效果并不理想，而只使用分割网络进行检测计算量远大于检测模型。例如针对交通要素例如杆和标牌，检测网络对杆这种交通要素的识别效果并不好,因此，一般会使用分割网络检测杆,而使用检测网络识别标牌，但如果在检测时检测数据和分割数据分配不均匀的话，会导致识别结果偏向于数据多的种类，也就是说哪种数据多，则检测结果就会偏向哪种数据，导致最终的识别结果不够准确。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种交通元素识别方法、多任务网络模型及训练方法和装置。

本发明实施例提供一种用于交通元素识别的多任务网络模型，包括：主干网络、多尺度信息融合网络和头部网络，头部网络包括检测子网络、语义分割子网络和车道线检测子网络；

所述主干网络，用于采用至少一种提取方式对图像进行特征提取，得到图像中的备选交通元素的特征信息，所述特征信息包括区域和/或位置；

所述多尺度信息融合网络，用于对所述备选交通元素的特征信息进行融合处理，得到图像中的备选交通元素融合特征信息；

所述检测子网络，用于基于备选交通元素的融合特征信息，检测图像中第一指定类别的交通元素，得到交通元素类型和位置；

所述语义分割子网络，用于基于备选交通元素的融合特征信息，对图像中第二指定类别的交通元素进行像素级分割，得到分割出的交通元素类型和轮廓；

所述车道线检测子网络，用于基于备选交通元素的融合特征信息，对图像中车道线进行识别及像素级轮廓分割，得到识别出的车道线轮廓；

所述检测子网络、语义分割子网络和车道线检测子网络对识别出的交通元素进行矢量化处理及添加类别标签后，输出交通元素识别结果。

在一些可选地实施例中，所述主干网络，具体用于：

对输入的图像进行分格处理，对分格处理后的图像进行多层卷积；

基于卷积处理的结果，采用配置的至少一种提取方式对图像进行交通元素特征提取，识别出图像中存在交通元素的区域以及对应的位置，在图像中用备选框标识出来，得到图像中的备选交通元素的特征信息。

在一些可选地实施例中，所述多尺度信息融合网络，具体用于：

对主干网络提取的所述备选交通元素的特征信息、多尺度信息融合网络中包括的上采样模块采集的特征信息进行多层融合处理和交通元素特征提取，在图像中用备选框标识出来，得到图像中的备选交通元素融合特征信息。

在一些可选地实施例中，所述检测子网络，具体用于：

基于备选交通元素的融合特征信息，检测图像中第一指定类别的交通元素；将检测到的第一指定类别的交通元素位置用目标框标识出来，并对识别出的交通元素进行矢量化处理及添加类别标签后，输出交通元素识别结果；

所述语义分割子网络，具体用于：基于备选交通元素的融合特征信息和第二指定类别的交通元素的特征信息，对图像中的像素进行分类，分割出属于第二指定类别的交通元素的区域，提取分割出的区域的轮廓线，得到分割出的交通元素类型和轮廓；对分割出的交通元素进行矢量化处理及添加类别标签后，输出交通元素识别结果；

所述车道线检测子网络，具体用于：基于备选交通元素的融合特征信息，对图像中车道线进行识别，分割出属于车道线的区域，提取车道线的轮廓线，对分割出的车道线进行矢量化处理及添加类别标签后，输出交通元素识别结果。

本发明实施例提供一种用于交通元素识别的多任务网络模型训练方法，包括：

对采集的样本图像进行标注，得到样本数据集；

使用样本数据集训练多任务网络模型，得到预测的交通元素识别结果；

基于预测的交通元素识别结果和标注真值确定损失函数，基于损失函数调整网络参数，继续训练网络，直至损失函数符合收敛条件，得到训练好的多任务网络模型；

所述多任务网络模型为上述的多任务网络模型。

在一些可选地实施例中，所述对采集的样本图像进行标注，得到样本数据集，包括：

对于采集的样本图像，根据样本图像中包含的交通要素，对样本图像进行标注，标注出样本图像中的交通元素位置和类别，得到包括样本图像、已标注的交通要素位置和类别的样本数据集。

在一些可选地实施例中，还包括：搭建多任务网络模型架构之后，训练多任务网络模型之前，加载样本数据集；

所述加载样本数据集，包括：

目标检测数据集构建模块对目标检测数据集进行解析、处理和调度；

语义分割数据集构建模块对语义分割数据集进行解析、处理和调度；

车道线检测数据集构建模块对车道线检测数据集进行解析、处理和调度；

数据集合构建模块对来源于目标检测数据集构建模块、语义分割数据集构建模块和车道线检测数据集构建模块的不同任务类型的数据集进行统一调度。

本发明实施例提供一种交通元素识别方法，包括：

获取待识别图像；

将待识别图像输入训练好的多任务网络模型中，输出交通元素识别结果；其中，所述多任务网络模型为上述的多任务网络模型。

在一些可选地实施例中，所述将待识别图像输入训练好的多任务网络模型中，输出交通元素识别结果，包括：

主干网络采用至少一种提取方式对图像进行特征提取，得到图像中的备选交通元素的特征信息，所述特征信息包括区域和/或位置；

多尺度特征融合网络对所述备选交通元素的特征信息进行融合处理，得到图像中的备选交通元素融合特征信息；

头部网络基于所述备选交通元素融合特征信息识别图像中的交通元素，对识别出交通元素进行矢量化处理及添加类别标签后，输出交通元素识别结果；其中：检测子网络检测图像中第一指定类别的交通元素，得到交通元素类型和位置；语义分割子网络对图像中第二指定类别的交通元素进行像素级分割，得到分割出的交通元素类型和轮廓；车道线检测子网络对图像中车道线进行识别及像素级轮廓分割，得到识别出的车道线轮廓。

本发明实施例提供一种用于交通元素识别的多任务网络模型训练装置，包括：

数据集构建模块，用于对采集的样本图像进行标注，得到样本数据集；

训练模块，用于使用样本数据集训练多任务网络模型，得到预测的交通元素识别结果；所述多任务网络模型为上述的多任务网络模型；

优化调整模块，用于基于预测的交通元素识别结果和标注真值确定损失函数，基于损失函数调整网络参数，继续训练网络，直至损失函数符合收敛条件，得到训练好的多任务网络模型。

本发明实施例提供一种交通元素识别装置，包括：

获取模块，用于获取待识别图像；

识别模块，用于将待识别图像输入训练好的多任务网络模型中，输出交通元素识别结果；其中，所述多任务网络模型为上述的多任务网络模型。

本发明实施例提供一种交通元素识别系统，包括终端设备和云端服务器；

所述终端设备中设置上述的用于交通元素识别的多任务网络模型训练装置和/或上述的交通元素识别装置；

所述云端服务器，用于接收终端设备发送的交通元素识别结果并存储。

本发明实施例提供一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现上述的用于交通元素识别的多任务网络模型训练方法和/或上述的交通元素识别方法。

本发明实施例提供一种终端设备，包括：存储器、处理器及存储于存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的用于交通元素识别的多任务网络模型训练方法和/或上述的交通元素识别方法。

本发明实施例提供的上述技术方案的有益效果至少包括：

本发明实施例提供的多任务网络模型中包括主干网络、多尺度特征融合网络和头部网络，头部网络包括三种不同的头部子网络，三个不同的头部子网络处理不同的交通要素，从摄像头读取原始图像数据，经过设计的神经网络模型，按照特定任务，如检测任务、语义分割任务、车道标线检测任务，输出对各种不同类型的交通元素的识别结果，检测子网络用来处理检测需求要素、分割子网络用来识别分割需求要素，车道线检测子网络用来识别车道线要素；使用多任务网络模型中的分割子网络识别杆会比检测网络识别杆精度提升，使用多任务网络模型中的检测子网络识别牌会比分割网络识别牌速度提升，比使用单一网络进行识别可以分别提升精度和速度，该模型检测准确度更高，识别效果更佳。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例一中用于交通元素识别的多任务网络模型的结构示意图；

图2为本发明实施例一中用于交通元素识别的多任务网络模型的一种具体网络架构图；

图3为本发明实施例二中用于交通元素识别的多任务网络模型训练方法的流程图；

图4为本发明实施例三中用于交通元素识别的多任务网络模型训练方法的流程图；

图5为本发明实施例三中数据集加载处理的示意图；

图6为本发明实施例三中任务采样调度的原理示意图；

图7为本发明实施例三中交通元素识别方法的流程图；

图8为本发明实施例中用于交通元素识别的多任务网络模型训练装置的结构示意图；

图9为本发明实施例中交通元素识别装置的结构示意图；

图10为本发明实施例中交通元素识别系统的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

为了解决现有技术中使用单一模型进行交通元素识别，识别效果不理想的问题，本发明实施例提供一种交通元素识别方法，使用多任务网络模型进行交通元素识别，以提高识别效果。

实施例一

本发明实施例一提供一种用于交通元素识别的多任务网络模型，其结构参见图1所示，包括：主干(backbone)网络10、多尺度信息融合(neck)网络20和头部(head)网络30，head网络30包括检测子网络301、语义分割子网络302和车道线检测子网络303；

主干网络10，用于采用至少一种提取方式对图像进行特征提取，得到图像中的备选交通元素的特征信息，所述特征信息包括区域和/或位置；

多尺度信息融合网络20，用于对所述备选交通元素的特征信息进行融合处理，得到图像中的备选交通元素融合特征信息；

检测子网络301，用于基于备选交通元素的融合特征信息，检测图像中第一指定类别的交通元素，得到交通元素类型和位置；

语义分割子网络302，用于基于备选交通元素的融合特征信息，对图像中第二指定类别的交通元素进行像素级分割，得到分割出的交通元素类型和轮廓；

车道线检测子网络303，用于基于备选交通元素的融合特征信息，对图像中车道线进行识别及像素级轮廓分割，得到识别出的车道线轮廓；

检测子网络301、语义分割子网络302和车道线检测子网络303对识别出交通元素进行矢量化处理及添加类别标签后，输出交通元素识别结果。

上述多任务网络模型中包含三种不同的head模块，三个不同的head模块处理不同的交通要素，从摄像头读取原始图像数据，经过专门设计的神经网络模型，按照特定任务，如检测任务、语义分割任务、车道标线检测任务，输出对各种交通元素的识别结果，具体地，网络模型结构主要分为三个部分，即backbone(主干网络)、neck(多尺度特征融合)网络和head(头部)网络，head网络分为三个子head，即detect head(检测子网络)、segmentationhead(分割子网络)和lane head(车道线子网络)，分别用来处理检测需求要素、分割需求要素和车道线要素。使用多任务网络模型中的分割任务识别杆会比检测网络识别杆精度提升，使用多任务网络模型中的检测任务识别杆会比分割网络识别杆速度提升，比单一的分别使用两种网络可以分别提升精度和速度。

上述主干网络，具体用于对输入的图像进行分格处理，对分格处理后的图像进行多层卷积；基于卷积处理的结果，采用配置的至少一种提取方式对图像进行交通元素特征提取，识别出图像中存在交通元素的区域以及对应的位置，在图像中用备选框标识出来，得到图像中的备选交通元素的特征信息。

上述多尺度信息融合网络，具体用于对主干网络提取的所述备选交通元素的特征信息、多尺度信息融合网络中包括的上采样模块采集的特征信息进行多层融合处理和交通元素特征提取，在图像中用备选框标识出来，得到图像中的备选交通元素融合特征信息。

上述检测子网络，具体用于基于备选交通元素的融合特征信息，检测图像中第一指定类别的交通元素；将检测到的第一指定类别的交通元素位置用目标框标识出来，并对识别出的交通元素进行矢量化处理及添加类别标签后，输出交通元素识别结果；所述第一指定类别的交通元素为检测需求要素，包括信号牌、标志牌、信号灯、锥桶、路面箭头和路面文字中的至少一种类别。

也就是说，在检测任务中，需要检测出道路出现的信号牌、信号灯、锥桶、路面箭头和路面文字等交通要素。这些要素均使用一个检测head检测出目标框，针对信号牌和路面箭头还需要继续进行精分类，最后将目标框结果和精分类结果上传到云端。

上述语义分割子网络，具体用于基于备选交通元素的融合特征信息和第二指定类别的交通元素的特征信息，对图像中的像素进行分类，分割出属于第二指定类别的交通元素的区域，提取分割出的区域的轮廓线，得到分割出的交通元素类型和轮廓；对分割出的交通元素进行矢量化处理及添加类别标签后，输出交通元素识别结果；所述第二指定类别的交通要素为分割需求要素，包括杆、绿化带、路牙、护栏、其他硬隔离、其他软隔离，施工围挡、拒马、可行驶区、导流区、警示区，隧道入口、龙门架中的至少一种类别。

也就是说，在分割任务中，需要分割出绿化带、路牙、护栏、其他硬隔离、其他软隔离，施工围挡、拒马、可行驶区、杆、导流区、警示区，隧道入口、龙门架等交通要素。这些要素均使用一个分割head分割出像素级分类结果，最后把每个元素提取出轮廓线，再带上类别标签作为矢量化结果上传到云端。

上述车道线检测子网络，具体用于基于备选交通元素的融合特征信息，对图像中车道线进行识别，分割出属于车道线的区域，提取车道线的轮廓线，对分割出的车道线进行矢量化处理及添加类别标签后，输出交通元素识别结果。

也就是说，在车道线识别任务中，需要识别到实线、虚线、停止线、停止让行线、减速让行线、路面箭头、纵向减速线(鱼骨线)、减速带1、减速带2、人行横道、路边停车位线、人行横道预告标识等交通要素，与分割类似，也是将每个元素提取出轮廓线，再带上类别标签作为矢量化结果上传到云端。

其中，矢量化处理是指在原始图片上把识别到的元素提取出轮廓线，再带上类别标签，得到的数据统一称之为矢量化数据，将矢量化数据传输到云端。上述多任务网络模型的整个处理过程，就是对一帧图像，同时执行上述三种head子网络的识别任务，对图像中不同交通要素进行不同处理，最终将处理得到的结果上传到云端，供后期制作地图使用。

上述多任务网络模型的一种具体网络架构如图2所示，该网络架构包括主干网络(Backbone)、多尺度特征融合(Neck)网络和三个head网络，三个head网络分别为检测子网络(detection head)、分割子网络(segmentation head)和车道线检测子网络(lanehead)。

其中：

Backbone网络对输入的图片进行特征提取，三个head网络共用一个backbone，用来提取图像的特征。例如可以提取图像中的存在交通元素的区域，将这些区域位置和范围提取出来。Backbone网络包括多层，例如图2中所示的Focus模块、Conv模块、BottleneckCSP模块和SPP模块。Focus模块可以对图像进行分格处理，对处理通道数量进行调整变化。例如，将三个通道上64*64的图片，按设定的提取规则进行像素提取，从而将一个图片分成四个图像格，即将三通道变为四通道。Conv模块为卷积模块，可实现卷积计算。BottleneckCSP模块也可以进行卷积计算，一般是融合了一些函数后的卷积计算。SPP模块可以解决图像处理过程中带来的图像失真，以及加快处理速度。Backbone网络通过对输入图像进行多层卷积处理，提取图像中的交通元素相关的特征，可以输出特征图，特征图中可以包括图像中可能的备选交通元素的特征信息，这些特征信息可以用目标框来表示，包括的目标框覆盖的区域和所在的位置等等，从而可以知道图像中哪些地方可能有交通元素存在。back bone网络可以使用多种不同方式对特征进行提取。Backbone网络可以分别对三种不同尺寸的图像进行最大池化处理，后续在Neck网络中可以将三种不同尺寸的图像的处理结果与特征图进行融合拼接处理。

Neck网络对back bone网络提取的特征进行特征融合，例如对于使用不同的方式提取的特征，可能存在重复性，可以进行融合处理，另外也可以对提取的特征进行更深入的特征提取。Neck网络包括多层，例如图2中所示的Neck网络的左边一列包括三个BottleneckCSP模块、两个Conv模块、两个Upsample模块、两个Concat模块；从backbone网络的SPP模块输出的特征信息，进入bneck网络的BottleneckCSP模块进行处理；从backbone网络的BottleneckCSP模块输出的特征信息，在neck网络中的Concat模块进行融合，Concat模块还会融合上采样模块的采集到的特征并输入到下一步的BottleneckCSP模块进行处理；右边一列包括两个BottleneckCSP模块、两个Concat模块、两个Conv模块，对左边Conv模块和最后一个BottleneckCSP模块的处理结果进一步深入处理；通过上采样和多层卷积输出若干交通元素的待选框，以及每个待选框的位置和对应的交通元素的类别，以便后续检测使用。Neck网络中左边一列的最后一个BottleneckCSP模块和右边一列的BottleneckCSP模块会向检测子网络(detect head)输出融合后的特征信息，而右边一列的Concat模块、Conv模块会向分割子网络(segmentation head)输出融合后的特征信息。

三个不同的head网络可以对融合后的特征信息进行分类处理，输出不同的处理结果。

detect head网络，包括三个detect模块和一个Postprocessing模块，通过Detect模块基于neck网络输出的备选交通元素的融合特征信息，检测指定类别的交通元素，融合特征信息后的图像进行检测，检测结果输入到Postprocessing模块进行处理，可以输出检测到的交通元素的类型和位置，并对识别出的交通元素进行矢量化处理及添加类别标签后，输出最终的交通元素识别结果。

segmentation head网络中，左边一列包括三个Conv模块和两个Upsample模块，右边一列包括Concat模块、RBF模块、pyramidpooling模块、FFM模块、Conv模块和Upsample模块。左边的Conv模块基于neck网络输出的备选交通元素的融合特征信息进行卷积处理，下边两个Conv模块将处理结果输入Upsample模块处理后，两个Upsample模块和最上边一个Conv的处理结果一起输入到右边一列的Concat模块进行融合，融合后的结果输入到RBF模块，RBF模块可以使用三种不同的卷积核进行空洞卷积，然后再将结果特征融合，融合后的卷积结果输入到pyramidpooling模块进行池化处理，池化处理后的结果输入到FFM模块进行特征融合，FFM模块可以对全局池化+1x1卷积+激活函数的结果和输入进行特征融合，融合后的特征再通过Conv模块进行卷积和Upsample进行上采样。segmentation head网络包括的各模块，可以实现对neck网络输出的备选交通元素的融合特征信息的分割处理，这里可以通过预测每个像素的类别进行像素级的分割，分割出交通元素的边缘，在图像中将可能是交通元素的区域分离出来，得到目标框的轮廓和对应的交通元素类型，对分割出的交通元素进行矢量化处理及添加类别标签后，输出交通元素识别结果。

lane head网络包括Conv模块、两个FC模块、ReLU模块、postprocessing模块。Conv模块可以对segmentation head网络中concat模块输出的融合特征信息进行卷积处理，经全连接层(FC)模块和激励层(ReLU)处理后可以识别出车道线候选点位置，再进入Postprocessing模块进行处理，对图像中车道线进行识别及像素级轮廓分割，得到识别出的车道线轮廓，对识别出交通元素车道线进行矢量化处理及添加类别标签后，输出交通元素识别结果，这里的类别就是车道线。lane head网络可以通过识别车道线的候选点的位置，拟合出车道线的轮廓。

实施例二

本发明实施例二提供一种用于交通元素识别的多任务网络模型训练方法，其流程如图3所示，包括如下步骤：

步骤S101：对采集的样本图像进行标注，得到样本数据集。

对于采集的样本图像，根据样本图像中包括含的交通要素，对对样本图像进行标注，标注出样本图像中的交通元素位置和类别，得到包括样本图像、已标注的交通要素位置和类别的样本数据集。如样本图像中包括信号灯、信号牌、看板、路面文字、路面箭头等交通元素，通过人工标注以及半自动标注的方法，对样本图像数据进行标注，标注出样本图像中的交通元素位置和类别，类似于贴标签的处理方法，制作样本数据集。对数据进行标注的方式可以选择标注框标注、语义标注等方式中的一种，对数据进行标注即贴标签之后，对交通元素进行分类，最终的到的样本数据集中包括采集的样本图像、标注出的样本图像中包括的交通元素位置及类别。

步骤S102：使用样本数据集训练多任务网络模型，得到预测的交通元素识别结果。

将获得的样本数据集输入到构建的多任务网络模型中，通过多任务网络模型对样本图像进行处理，识别样本图像中的交通元素，输出模型预测的交通元素识别结果。多任务网络模型对样本图像中的交通元素进行识别的过程参见实施例一的相关描述。

步骤S103：基于预测的交通元素识别结果和标注真值确定损失函数，基于损失函数调整网络参数，继续训练网络，直至损失函数符合收敛条件，得到训练好的多任务网络模型。

实施例三

本发明实施例三提供上述用于交通元素识别的多任务网络模型训练方法的一种具体实现过程，其流程如图4所示，包括如下步骤：

步骤S201：对模型训练配置信息进行初始化。

在进行模型训练前，进行模型训练的配置信息的初始化操作，包括解析配置信息、Log初始化、回调函数注册和任务管理器初始化等。解析配置信息是指配置文件中解析模型的配置信息，可以从配置文件中解析模型的结构定义等信息，可以通过解析yaml配置文件，获取模型结构定义信息，确定模型结构。yaml是一种配置文件书写语言。通过log初始化定义工程日志结构，获取日志句柄等。回调函数注册主要是通过注册回调函数，实现配置文件定义的主函数的调用。任务管理器初始化主要是获取任务调度类型，封装任务管理模块，以便后续根据任务调度类型进行数据调度。

步骤S202：搭建多任务网络模型。

完成模型训练的初始化过程之后，搭建多任务网络模型架构，搭建的网络模型结构中包括：①Backbone网络：用于特征提取；②Neck网络：用于多尺度信息融合；③Detection Head：检测子网络，用于预测目标的类别和位置；④Segmentation Head：语义分割子网络，用于预测每个像素点的类别；⑤Lane Head：车道线检测模块，用于预测车道线候选点的位置，拟合车道线，网络架构可以参见图1和图2。将各个子网络，通过卷积、池化、全连接和各种非线性激活函数(如：ReLU)进行组合，形成上述的5个子网络框架，构建出待训练的网络模型结构。

此外，为了训练多任务网络模型还需要定义模型的损失函数和优化器，进行学习率(Learning rate)调度。通过损失函数来衡量模型是否训练好，在损失函数不满足收敛条件时，通过优化器优化模型参数，通过学习率控制网络模型算法收敛的速度。还可以通过自动超参数搜索技术获取模型训练的最优超参数，以便对模型进行训练。

步骤S203：判断是否加载检查点(check point)？若是，执行步骤S204；若否，执行步骤S205。

在模型训练过程中，可以添加检查点(Checkpoint)用于保存模型的参数,以便进行推理及中断后再训练使用。若需要加载检查点，则执行步骤S204后再执行步骤S205，若不需要加载检查点，则直接执行步骤S205。

步骤S204：加载模型检查点。

若判断需要加载check point，则执行加载操作，将已保存的模型check point加载进来，然后再执行加载数据集的操作。

步骤S205：加载样本数据集。

该步骤实现数据集合构建(Dataset)和样本数据集的加载。样本数据集是通过对采集的样本图像进行标注得到的，数据集可以预先准备好，也可以在本步骤中构建。对采集的样本图像进行标注得到样本数据集的过程参见步骤S101。加载样本数据集时可以根据不同任务类型进行加载，例如：目标检测数据集构建模块对目标检测数据集进行解析、处理和调度；语义分割数据集构建模块对语义分割数据集进行解析、处理和调度；车道线检测数据集构建模块对车道线检测数据集进行解析、处理和调度；数据集合构建模块对来源于目标检测数据集构建模块、语义分割数据集构建模块和车道线检测数据集构建模块的不同任务类型的数据集进行统一调度。

参见图5所示的数据集加载处理过程，该过程是模型训练之前的数据预处理过程，数据集可以包括目标检测数据集、语义分割数据集、车道线检测数据集，对目标检测数据集进行解析，目标检测数据集构建模块(DetDataset)用于负责训练和预测过程中目标检测不同数据集的图片、进行标签一致化处理以及数据的统一调度；语义分割数据集构建模块(SegDataset)用于负责训练和预测过程中分割不同数据集的图片、进行标签一致化处理以及数据的统一调度，车道线检测数据集构建模块(LineDataset)用于负责训练和预测过程中车道线检测不同数据集的图片、进行标签一致化处理以及数据的统一调度；目标检测数据集构建模块(DetDataset)、语义分割数据集构建模块(SegDataset)和车道线检测数据集构建模块(LineDataset)将各自调度的数据统一提供给数据集合构建(Dataset)模块，数据集合构建(Dataset)模块用于负责训练和预测过程中数据流的统一调度，调度的数据来源于不同类型任务的数据集。

步骤S206：判断是否采用自动先验框(auto anchor)。若是，执行步骤S207；若否，返回继续执行步骤S208。

若确定需要加载自动先验框则执行步骤S207，来生成用于模型训练的自动先验框，斗则直接执行步骤S208.

步骤S207：利用目标检测数据集聚类生成先验框(anchor)。

这里的目标检测数据集可以是此前采集的样本数据集，利用样本数据集选择聚类算法对数据集中的数据进行聚类处理，得到先验框，例如可以采用K-means聚类算法，当然也可以选用其他的聚类算法。

步骤S208：任务采样调度。

确定用于模型训练的先验框后，可以调度数据开始模型的训练，本申请中可以基于不同的任务进行数据调度，任务采样调度模块可以采用不同的调度方式来进行不同任务的数据的采样调度。使用选择的调度方式对不同任务类型的样本数据进行采样调度，可以采用轮询采样、平均采样、加权采样、梯度累计采样中的至少一种调度方式来进行采样调度。任务采样调度模块可以单独设置也可以由图5中的Dataset模块实现，参见图6所示的调度方式，其中：

轮询采样是指以固定重复的顺序从不同任务类型的样本数据中循环进行采样，也就是，对需要采样的任务数据以固定重复的顺序进行采样，例如以固定的顺序从Task1、2、3的数据集中采样，以上述的目标检测数据集、语义分割数据集、车道线检测数据集，从三个数据集中按固定顺序获取数据，依次从每个数据集中获取一个，不断循环获取。

平均采样是指根据预设的均匀分布随机数从不同任务类型的样本数据中进行采样，也就是，在一定时间内对各数据集的采样的数据进行累加，用累加和除以采样的次数，得到每个数据集的采样平均数，并根据采样平均数确定均匀分布随机数，根据均匀分布随机数从每一个任务的数据集中均匀的抽取数据，每一个任务的数据集中的样本被抽取的概率是相等的，但抽取数据的顺序是不固定的、随机的。

加权采样是指按照设定采样权重从不同任务类型的样本数据中进行采样，以加权的方式从各任务的数据集中采样，为每个任务对应的数据集设置一个采样权重，按照采样权重采集各任务的数据。权重可以根据需要设置，例如：根据样本数量进行设置，样本数据少的数据集的权重大，样本数据多的数据集的权重小，根据权重进行采样。

梯度累计采样是指是指以固定重复的顺序从不同任务类型的样本数据中循环进行采样，在所有任务类型都采样后求取采样梯度，例如：以固定的顺序从Task1，2，3的数据集中采样，等所有的任务都采样一遍之后再求梯度。可以基于梯度调整多任务网络模型的参数，也可以将梯度与损失函数求差值，更新损失函数等等。

例如通过图5中所示的数据集合构建(Dataset)模块，统一调度不同任务对应的数据调度模块所调度数据，比如目标检测数据集构建模块(DetDataset)、语义分割数据集构建模块(SegDataset)和车道线检测数据集模块(LineDataset)所调度的不同任务的数据。

步骤S209：对多任务网络模型进行训练。

模型训练的过程中，使用调度的样本数据输入待训练的多任务网络模型，得到预测的交通元素识别结果，基于预测的交通元素识别结果和标注真值确定损失函数，基于损失函数调整网络参数，继续训练网络，直至损失函数符合收敛条件，得到训练好的多任务网络模型。

多任务网络模型训练过程包括前向传播和反向传播，前向传播实现基于样本数据输出预测的交通元素识别结果，反向传播实现基于预测的交通元素识别结果对网络模型的参数进行优化，通过多次前向传播过程和反向传播过程，直至预设的收敛条件成立，得到训练好的模型。

前向传播包括：从样本数据集中，随机抽取数据，通过Backbone主干网络进行特征提取，得到特征表示，再将特征表示输入到不同的任务处理haed子网络，包括detect head、segmentation head和line head中得到对应的输出值，即预测的交通元素识别结果。以Y＝3X+B进行举例，其中Y为输出值，3为预先确定得到的最优超参数，X则为从样本数据集中随机抽取数据，B可以设置一个对应的初始值，当通过正向传播后，得到输出值Y。

反向传播包括：根据模型输出的预测的交通元素识别结果，通过使用反向传播算法计算网络模型中每层的梯度，并根据选用的优化算法进行权重更新，优化模型的参数，例如优化Y＝3X+B中的B，并以优化后的B继续对网络模型进行训练，即在完成上述正向传播后，根据输出值Y与样本数据中标注的真值，来调整B值，即调整该权重值。具体可以是将识别出的样本图像中的交通元素位置和类别，与样本数据中标注出样本图像中的交通元素位置和类别进行比较来调整参数B。

上述通过前向传播和反向传播实现对模型进行训练，为一次完成的迭代过程，通过反复迭代，直到模型的目标函数收敛，即最终的输出值与样本图像的标注真值的差值满足一定阈值范围时，判断为收敛，此时停止迭代，得到迭代周期值。并将最终的模型参数记录下来。

步骤S210：保存训练好的多任务网络模型模型。

对训练好的模型的参数进行保存，以便后续使用，可以将模型参数以模型文件的方式进行保存。

实施例四

本发明实施例四提供一种交通元素识别方法，其流程如图7所示，包括如下步骤：

步骤S301：获取待识别图像。

步骤S302：将待识别图像输入训练好的多任务网络模型中，输出交通元素识别结果；其中，多任务网络模型为实施例一中训练的多任务网络模型。

主干网络采用至少一种提取方式对图像进行特征提取，得到图像中的备选交通元素的特征信息，所述特征信息包括区域和/或位置；

多尺度特征融合网络对所述备选交通元素的特征信息进行融合处理，得到图像中的备选交通元素融合特征信息；

head网络基于所述备选交通元素融合特征信息识别图像中的交通元素，对识别出交通元素进行矢量化处理及添加类别标签后，输出交通元素识别结果；其中：检测子网络检测图像中第一指定类别的交通元素，得到交通元素类型和位置；分割子网络对图像中第二指定类别的交通元素进行像素级分割，得到分割出的交通元素类型和轮廓；车道线检测子网络对图像中车道线进行识别及像素级轮廓分割，得到识别出的车道线轮廓。

多任务网络模型对待识别图像中的交通元素进行识别的过程参见实施例一的相关描述。

上述各实施例的方法中。

基于同一发明构思，本发明实施例还提供一种用于交通元素识别的多任务网络模型训练装置的结构示意图，该装置可以设置在具有计算处理功能的计算机设备中，该装置的结构参见图8所示，包括：

数据集构建模块11，用于对采集的样本图像进行标注，得到样本数据集；

训练模块12，用于使用样本数据集训练多任务网络模型，得到预测的交通元素识别结果；所述多任务网络模型为上述的多任务网络模型；

优化调整模块13，用于基于预测的交通元素识别结果和标注真值确定损失函数，基于损失函数调整网络参数，继续训练网络，直至损失函数符合收敛条件，得到训练好的多任务网络模型。

本发明实施例还提供一种交通元素识别装置的结构示意图，该装置可以设置在具有计算处理功能的计算机设备中，该装置的结构参见图9所示，包括：

获取模块21，用于获取待识别图像；

识别模块22，用于将待识别图像输入训练好的多任务网络模型中，输出交通元素识别结果；其中，所述多任务网络模型为上述的多任务网络模型。

本发明实施例还提供一种交通元素识别系统的结构示意图，该系统的结构参见图10所示，包括：终端设备100和云端服务器200；

终端设备100中设置上述的用于交通元素识别的多任务网络模型训练装置和/或上述的交通元素识别装置；

云端服务器200，用于接收终端设备100发送的交通元素识别结果并存储。

本发明实施例还提供一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现上述的用于交通元素识别的多任务网络模型训练方法和/或上述的交通元素识别方法。

本发明实施例还提供一种终端设备，包括：存储器、处理器及存储于存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的用于交通元素识别的多任务网络模型训练方法和/或上述的交通元素识别方法。

除非另外具体陈述，术语比如处理、计算、运算、确定、显示等等可以指一个或更多个处理或者计算系统、或类似设备的动作和/或过程，所述动作和/或过程将表示为处理系统的寄存器或存储器内的物理(如电子)量的数据操作和转换成为类似地表示为处理系统的存储器、寄存器或者其他此类信息存储、发射或者显示设备内的物理量的其他数据。信息和信号可以使用多种不同的技术和方法中的任何一种来表示。例如，在贯穿上面的描述中提及的数据、指令、命令、信息、信号、比特、符号和码片可以用电压、电流、电磁波、磁场或粒子、光场或粒子或者其任意组合来表示。

应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。

在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。

本领域技术人员还应当理解，结合本文的实施例描述的各种说明性的逻辑框、模块、电路和算法步骤均可以实现成电子硬件、计算机软件或其组合。为了清楚地说明硬件和软件之间的可交换性，上面对各种说明性的部件、框、模块、电路和步骤均围绕其功能进行了一般地描述。至于这种功能是实现成硬件还是实现成软件，取决于特定的应用和对整个系统所施加的设计约束条件。熟练的技术人员可以针对每个特定应用，以变通的方式实现所描述的功能，但是，这种实现决策不应解释为背离本公开的保护范围。

结合本文的实施例所描述的方法或者算法的步骤可直接体现为硬件、由处理器执行的软件模块或其组合。软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质连接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该ASIC可以位于用户终端中。当然，处理器和存储介质也可以作为分立组件存在于用户终端中。

对于软件实现，本申请中描述的技术可用执行本申请所述功能的模块(例如，过程、函数等)来实现。这些软件代码可以存储在存储器单元并由处理器执行。存储器单元可以实现在处理器内，也可以实现在处理器外，在后一种情况下，它经由各种手段以通信方式耦合到处理器，这些都是本领域中所公知的。

上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。

Claims (14)

1.一种用于交通元素识别的多任务网络模型，其特征在于，包括：主干网络、多尺度信息融合网络和头部网络，头部网络包括检测子网络、语义分割子网络和车道线检测子网络；

所述主干网络，用于采用至少一种提取方式对图像进行特征提取，得到图像中的备选交通元素的特征信息，所述特征信息包括区域和/或位置；

所述多尺度信息融合网络，用于对所述备选交通元素的特征信息进行融合处理，得到图像中的备选交通元素融合特征信息；

所述检测子网络，用于基于备选交通元素的融合特征信息，检测图像中第一指定类别的交通元素，得到交通元素类型和位置；

所述语义分割子网络，用于基于备选交通元素的融合特征信息，对图像中第二指定类别的交通元素进行像素级分割，得到分割出的交通元素类型和轮廓；

所述车道线检测子网络，用于基于备选交通元素的融合特征信息，对图像中车道线进行识别及像素级轮廓分割，得到识别出的车道线轮廓；

所述检测子网络、语义分割子网络和车道线检测子网络对识别出的交通元素进行矢量化处理及添加类别标签后，输出交通元素识别结果。

2.如权利要求1所述的多任务网络模型，其特征在于，所述主干网络，具体用于：

对输入的图像进行分格处理，对分格处理后的图像进行多层卷积；

基于卷积处理的结果，采用配置的至少一种提取方式对图像进行交通元素特征提取，识别出图像中存在交通元素的区域以及对应的位置，在图像中用备选框标识出来，得到图像中的备选交通元素的特征信息。

3.如权利要求1所述的多任务网络模型，其特征在于，所述多尺度信息融合网络，具体用于：

对主干网络提取的所述备选交通元素的特征信息、多尺度信息融合网络中包括的上采样模块采集的特征信息进行多层融合处理和交通元素特征提取，在图像中用备选框标识出来，得到图像中的备选交通元素融合特征信息。

4.如权利要求1所述的多任务网络模型，其特征在于，所述检测子网络，具体用于：

基于备选交通元素的融合特征信息，检测图像中第一指定类别的交通元素；将检测到的第一指定类别的交通元素位置用目标框标识出来，并对识别出的交通元素进行矢量化处理及添加类别标签后，输出交通元素识别结果；

所述语义分割子网络，具体用于：基于备选交通元素的融合特征信息和第二指定类别的交通元素的特征信息，对图像中的像素进行分类，分割出属于第二指定类别的交通元素的区域，提取分割出的区域的轮廓线，得到分割出的交通元素类型和轮廓；对分割出的交通元素进行矢量化处理及添加类别标签后，输出交通元素识别结果；

所述车道线检测子网络，具体用于：基于备选交通元素的融合特征信息，对图像中车道线进行识别，分割出属于车道线的区域，提取车道线的轮廓线，对分割出的车道线进行矢量化处理及添加类别标签后，输出交通元素识别结果。

5.一种用于交通元素识别的多任务网络模型训练方法，其特征在于，包括：

对采集的样本图像进行标注，得到样本数据集；

使用样本数据集训练多任务网络模型，得到预测的交通元素识别结果；

基于预测的交通元素识别结果和标注真值确定损失函数，基于损失函数调整网络参数，继续训练网络，直至损失函数符合收敛条件，得到训练好的多任务网络模型；

所述多任务网络模型为权利要求1-4任一所述的多任务网络模型。

6.如权利要求5所述的方法，其特征在于，所述对采集的样本图像进行标注，得到样本数据集，包括：

对于采集的样本图像，根据样本图像中包含的交通要素，对样本图像进行标注，标注出样本图像中的交通元素位置和类别，得到包括样本图像、已标注的交通要素位置和类别的样本数据集。

7.如权利要求5所述的方法，其特征在于，还包括：搭建多任务网络模型架构之后，训练多任务网络模型之前，加载样本数据集；

所述加载样本数据集，包括：

目标检测数据集构建模块对目标检测数据集进行解析、处理和调度；

语义分割数据集构建模块对语义分割数据集进行解析、处理和调度；

车道线检测数据集构建模块对车道线检测数据集进行解析、处理和调度；

数据集合构建模块对来源于目标检测数据集构建模块、语义分割数据集构建模块和车道线检测数据集构建模块的不同任务类型的数据集进行统一调度。

8.一种交通元素识别方法，其特征在于，包括：

获取待识别图像；

将待识别图像输入训练好的多任务网络模型中，输出交通元素识别结果；其中，所述多任务网络模型为权利要求1-4任一所述的多任务网络模型。

9.如权利要求8所述的方法，其特征在于，所述将待识别图像输入训练好的多任务网络模型中，输出交通元素识别结果，包括：

主干网络采用至少一种提取方式对图像进行特征提取，得到图像中的备选交通元素的特征信息，所述特征信息包括区域和/或位置；

多尺度特征融合网络对所述备选交通元素的特征信息进行融合处理，得到图像中的备选交通元素融合特征信息；

头部网络基于所述备选交通元素融合特征信息识别图像中的交通元素，对识别出交通元素进行矢量化处理及添加类别标签后，输出交通元素识别结果；其中：检测子网络检测图像中第一指定类别的交通元素，得到交通元素类型和位置；语义分割子网络对图像中第二指定类别的交通元素进行像素级分割，得到分割出的交通元素类型和轮廓；车道线检测子网络对图像中车道线进行识别及像素级轮廓分割，得到识别出的车道线轮廓。

10.一种用于交通元素识别的多任务网络模型训练装置，其特征在于，包括：

数据集构建模块，用于对采集的样本图像进行标注，得到样本数据集；

训练模块，用于使用样本数据集训练多任务网络模型，得到预测的交通元素识别结果；所述多任务网络模型为权利要求1-4任一所述的多任务网络模型；

优化调整模块，用于基于预测的交通元素识别结果和标注真值确定损失函数，基于损失函数调整网络参数，继续训练网络，直至损失函数符合收敛条件，得到训练好的多任务网络模型。

11.一种交通元素识别装置，其特征在于，包括：

获取模块，用于获取待识别图像；

识别模块，用于将待识别图像输入训练好的多任务网络模型中，输出交通元素识别结果；其中，所述多任务网络模型为权利要求1-4任一所述的多任务网络模型。

12.一种交通元素识别系统，其特征在于，包括终端设备和云端服务器；

所述终端设备中设置权利要求10所述的用于交通元素识别的多任务网络模型训练装置和/或权利要求11所述的交通元素识别装置；

所述云端服务器，用于接收终端设备发送的交通元素识别结果并存储。

13.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现权利要求5-7任一项所述的用于交通元素识别的多任务网络模型训练方法和/或权利要求8-9任一项所述的交通元素识别方法。

14.一种终端设备，其特征在于，包括：存储器、处理器及存储于存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求5-7任一项所述的用于交通元素识别的多任务网络模型训练方法和/或权利要求8-9任一项所述的交通元素识别方法。

Images