CN116071719A - 基于模型动态修正的车道线语义分割方法及装置 - Google Patents

Abstract

本申请涉及一种基于模型动态修正的车道线语义分割方法及装置。该方法包括：获取样本图像，将样本图像输入预设语义分割网络模型得到第一车道线结果，预设语义分割网络模型为根据样本图像输出目标车道线；基于预设回归算法，对第一车道线结果进行回归运算，得到第二车道线结果；根据预设阈值和第二车道线结果，修正样本图像。本申请提供的方案能够提高道路图像的车道线分割结果的准确率，并修正样本图像的误差。

Description

基于模型动态修正的车道线语义分割方法及装置

技术领域

本申请涉及智能驾驶领域，尤其涉及基于模型动态修正的车道线语义分割方法及装置。

背景技术

车道线是高精地图经验图层的核心要素。现有技术中，车道线多是根据交通标志半自动化生成，这种方式生成的车道线不符合人类驾驶习惯。还有基于感知障碍车轨迹聚合生成拟人化的车道线，但由于障碍车部署数量的限制，会出现部分车道线缺失的问题。目前，逐渐出现了多种图像分割模型，用于对各类图像进行分割。图像分割模型其中涉及一种重要的图像分割模型，即图像语义分割模型。

图像语义分割模型一般是对图像进行像素级的类别，可以对图像进行精细的分割传统的图像语义分割方法根据图像的颜色、纹理信息、空间结构等底层特征对图像进行分割，当各类别目标出现频率差别较大时，会导致模型不能在所有类别上同时收敛，因此在各类别上的语义分割效果不一致，分割效果较差。

针对图像语义分割任务中类别不平衡问题，本申请提供一种基于模型动态修正的车道线语义分割及装置，实时条件语义分割网络的结果。

发明内容

为解决或部分解决相关技术中存在的问题，本申请提供一种基于模型动态修正的车道线语义分割方法及装置，能够提高修正道路图像的车道线分割结果的准确率。

本申请第一方面提供一种基于模型动态修正的车道线语义分割方法，该方法包括：

获取样本图像，将样本图像输入预设语义分割网络模型得到第一车道线结果，预设语义分割网络模型为根据样本图像输出目标车道线；

基于预设回归算法，对第一车道线结果进行回归运算，得到第二车道线结果；

根据预设阈值和第二车道线结果，修正样本图像。

可选地，方法还包括获取预设语义分割网络，获取预设语义分割网络，包括：

将样本图像输入初始神经网络，得到预测图像；

根据预测图像和样本图像，计算初始神经网络的损失函数；

根据损失函数调整初始神经网络，得到预设语义分割网络。

可选地，基于预设回归算法，对第一车道线结果进行回归运算，得到第二车道线结果，包括：

将第一车道线结果和样本图像输入预设回归算法，得到第一回归损失值；

根据第一回归损失值修正第一车道线结果，得到第二车道线结果。

可选地，第二车道线结果包括每个车道线像素为车道线的概率值。

可选地，预设阈值包括第一阈值和第二阈值，根据预设阈值和第二车道线结果，修正样本图像，包括：

若第二车道线结果中像素点的概率值大于第一阈值，则查找像素点对应的样本像素点，在样本像素点为未标注车道线的情况下，将样本像素点修改为样本车道线；

若第二车道线结果中像素点的概率值小于第二阈值，则查找像素点对应的样本像素点，在样本像素点为已标注车道线的情况下，将样本像素点修改车道线背景。

可选地，修正样本图像之后还包括：

将修正后的样本图像输入预设语义分割网络，得到修正后的预测图像；

根据修正后的预测图像和样本图像计算预设语义分割网络的损失函数；

迭代预设语义分割网络的损失函数，得到目标语义分割网络。

本申请第二方面提供一种基于模型动态修正的车道线语义分割装置，包括：

获取模块，用于获取样本图像，将样本图像输入预设语义分割网络模型得到第一车道线结果，预设语义分割网络模型为根据样本图像输出目标车道线；

第一修正模块，用于基于预设回归算法，对第一车道线结果进行回归运算，得到第二车道线结果；

第二修正模块，用于根据预设阈值和第二车道线结果，修正样本图像。

可选地，该装置还包括第三修正模块，第三修正模块用于将修正后的样本图像输入预设语义分割网络，得到修正后的预测图像；根据修正后的预测图像和样本图像计算预设语义分割网络的损失函数；迭代预设语义分割网络的损失函数，得到目标语义分割网络。

本申请第三方面提供一种电子设备，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。

本申请第四方面提供一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。

本申请提供的技术方案可以包括以下有益效果：本申请通过获取样本图像，将样本图像输入预设语义分割网络模型得到第一车道线结果，预设语义分割网络模型为根据样本图像输出目标车道线；基于预设回归算法，对第一车道线结果进行回归运算，得到第二车道线结果；根据预设阈值和第二车道线结果，修正样本图像。其中，回归运算相当于二次修正预设语义分割网络模型，本申请提供的方案能够对初步合格的语义分割网络进行训练，从而修正样本数据中不合理的样本标识，进而根据修正后的样本数据进一步修正预设语义分割网络模型，从而达到动态训练语义分割网络模型和动态修正样本图像的目的。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

通过结合附图对本申请示例性实施方式进行更详细地描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。

图1是本申请实施例示出的基于模型动态修正的车道线语义分割方法的流程示意图；

图2是本申请实施例示出的基于模型动态修正的车道线语义分割装置的结构示意图；

图3是本申请实施例示出的车辆的结构示意图。

具体实施方式

下面将参照附图更详细地描述本申请的实施方式。虽然附图中显示了本申请的实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

为了便于本领域技术人员更好地理解本申请的技术方案，下面对本申请涉及的名词进行介绍。

1、人工智能(Artificial Intelligence，AI)：是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

2、机器学习(Machine Learning,ML)：是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

3、卷积神经网络(Convolutional Neural Network，CNN)：是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网络由一个或多个卷积层和顶端的全连通层(对应经典的神经网络)组成，同时也包括关联权重和池化层(pooling layer)。

4、深度特征：通过深度网络提取得到的图像特征，包含了图像的抽象信息。

5、语义分割：根据图像中每个像素所属的感兴趣对象，为其分配对应类别标签。

6、语义图像：为图像中每个像素分配了类别便签后得到的结果。

7、掩模图像：在本申请实施例中用于表示道路图像的标注图像，掩模图像例如可以采用二值图像，二值图像包括第一值的第一类像素点和像素值为第二值的第二类像素点，例如二值图像中一个像素点的值为0，意味着该像素点没有被选中，如果如二值图像中像素点的值为1，意味着该像素点被选中。

8、条件生成对抗网络(Conditional Generative Adversarial Nets，CGAN)：在GAN基础上做的一种改进，通过给原始GAN的生成器Generator和判别器Discriminator添加额外的条件信息，实现条件生成模型。额外的条件信息可以是类别标签或者其它的辅助信息。

9、ImageNet数据库：包含了1000个类别的大规模数据库。

10、MobileNetV2：一种常用的轻量化网络模型架构，在ImageNet数据库上进行训练，能用来提取图像特征。

11、图像分类和类别：图像分类是指根据各自在图像信息中所反映的不同特征，把不同类别的目标区分开来的图像处理方法。它利用计算机对图像进行定量分析，把图像或图像中的每个像素点或区域划归为若干个类别中的某一种，以代替人的视觉判读。类别又可以称为分类。本申请实施例中类别可以有两个或两个以上，例如车辆、公路等。在图像语义分割模型适用于不同的场景时，对应需要标注的类别可以不同。图像中各个目标实际是由像素点构成，所谓像素的类别即对应该目标的类别。

12、样本图像和目标图像：均属于图像，本申请实施例中将用于训练模型的图像称为样本图像，将后续使用模型进行处理的图像称为目标图像。

13、边缘信息和边缘像素点：边缘信息用于描述图像中像素点其邻域像素点灰度变化不连续的像素点的信息，这些像素点其邻域像素点灰度变化不连续的像素点即为边缘像素点，边缘信息具体可以包括各边缘像素点的灰度值，以及各边缘素点组成的形状等。边缘广泛存在于物体与背景之间、物体与物体之间。可以通过图像边缘检测获得图像中的边缘信息。

14、条件随机场(域)(conditionalrandomfields，简称CRF，或CRFs)，是一种判别式概率模型，是随机场的一种，常用于标注或分析序列资料，如自然语言文字或是生物序列。条件随机场是条件概率分布模型P(Y|X)，表示的是给定一组输入随机变量X的条件下另一组输出随机变量Y的马尔可夫随机场，也就是说CRF的特点是假设输出随机变量构成马尔可夫随机场。条件随机场可被看作是最大熵马尔可夫模型在标注问题上的推广。如同马尔可夫随机场，条件随机场为具有无向的图模型，图中的顶点代表随机变量，顶点间的连线代表随机变量间的相依关系，在条件随机场中，随机变量Y的分布为条件概率，给定的观察值则为随机变量X。原则上，条件随机场的图模型布局是可以任意给定的，一般常用的布局是链结式的架构，链结式架构不论在训练(training)、推论(inference)、或是解码(decoding)上，都存在效率较高的算法可供演算。条件随机场是一个典型的判别式模型，其联合概率可以写成若干势函数联乘的形式，其中最常用的是线性链条件随机场。

自动驾驶车在行驶时、或者在制作高精度地图时，需要知道车道线的准确位置，以便确定行驶安全区域，或者根据车道线做出一些决策。目前，逐渐出现了多种图像分割模型，用于对各类图像进行分割。图像分割模型其中涉及一种重要的图像分割模型，即图像语义分割模型。图像语义分割模型一般是对图像进行像素级的类别，可以对图像进行精细的分割。在对车道线进行语义分割前需要人工对图像中车道线部分的每一个像素进行标注，标注很难精确到像素级，很难保证每一个像素被标注的都是准确的，所以通常人工标注的数据都存在一些像素被错误标注的情况。如果想要标注的数据精确到每一个像素，一方面标注人员需要花更多的时间标注，标注成本变高，另一方面，即使花了大量时间标注，最后也很难保证每一个像素都被标注正确。

针对上述问题，本申请实施例提供一种基于模型动态修正的车道线语义分割方法，提高从道路图像中分割车道线的效率。

以下结合附图详细描述本申请实施例的技术方案。

参见图1，是本申请实施例示出的基于模型动态修正的车道线语义分割方法的流程示意图，主要包括步骤S101至步骤S103，说明如下：

步骤S101：获取样本图像，将样本图像输入预设语义分割网络模型得到第一车道线结果，预设语义分割网络模型为根据样本图像输出目标车道线。

在获取样本图像之前，还包括，对所述样本图像进行预处理，将车道图片进行灰度处理，对灰度处理后的车图片检测出车道线，并对车道线像素打上车道线标识。在本实施例中，车道线标识可以为0或1的数值标识(以车道线为1，背景为0作为示例)，车道线标识也可以为车道线像素对应车道线的分布概率。在步骤S101中，输出的目标车道线为样本图像中的携带有车道线标识的样本车道线。

在一种实施例中，获取车道线像素的车道线概率包括采用条件随机场算法，基于条件随机场算法计算样本图像的样本概率，具体包括：设置条件随机场的特征函数，根据所述特征函数计算所述图像训练集中道路图像的特征分数；对所述图像训练集中每张道路图像的特征分数加权求和，确定所述图像训练集中的特征函数集；根据特征函数集，得到所述图像训练集中像素点为车道线像素点的概率，以获取所述样本概率。

具体的，将样本图片中每个元素与标注图片中所划分的标签进行对比通过条件随机场引入特征函数(可以是概率矩阵)，计算每个像素成为车道线像素的转移概率，从而得到样本图片中每个像素对应的标签和概率得分。其中，条件随机场(conditional randomfields，简称CRF，或CRFs)，是一种判别式概率模型，是随机场的一种，常用于标注或分析序列资料，如自然语言文字或是生物序列。条件随机场是条件概率分布模型P(Y|X)，表示的是给定一组输入随机变量X的条件下另一组输出随机变量Y的马尔可夫随机场，也就是说条件随机场的特点是假设输出随机变量构成马尔可夫随机场。

在本申请实施例中，通过条件随机场引入特征函数，并将初始得分输入到特征函数之中，从而计算出样本图片中的每个像素成为车道线像素数的概率，得到概率得分，以获取每个像素的标签概率分布，也即获取每个元素与标签的相似度。

在一种实施例中，方法还包括获取预设语义分割网络，获取预设语义分割网络，包括：将样本图像输入初始神经网络，得到预测图像；根据预测图像和样本图像，计算初始神经网络的损失函数；根据损失函数调整初始神经网络，得到预设语义分割网络。

在本实施例中，在车道线标识为车道线对应的样本分布概率的情况下，获取的预测图像中，识别出的车道线的像素点对应的预测分布概率。针对相同车道线点的预测分布概率和样本概率，计算初始神经网络的损失函数，根据该损失函数对初始网络进行训练，直到输出概率误差范围内的预测图像。

在一种实施例中，样本图像采用非车道线边缘的车道线像素作为初始网络的训练样本，从而初始网络的训练样本集的准确率。具体包括：剔除车道线边缘区域内的像素点，得到样本车道线及样本车道线对应的车道线标识。例如，设置车道线边缘区域为车道边缘像素向内8个像素，剔除车道线两端8像素的车道线像素，生成样本车道线。

步骤S102：基于预设回归算法，对第一车道线结果进行，得到第二车道线结果。

在一种实施例中，基于预设回归算法，对第一车道线结果进行回归运算，得到第二车道线结果，包括：将第一车道线结果和样本图像输入预设回归算法，得到第一回归损失值；根据第一回归损失值修正第一车道线结果，得到第二车道线结果。

在一种实施例中，预设回归算法用于计算样本图像的分类损失。预设回归算法可以采用sofmax loss损失函数确定数据样本对应的分类损失值(分类损失值为上文的第一回归损失值)，在分类损失值未达到预设收敛情况下，根据分类损失值重新训练预设语义分割网络得到新的车道线分割结果，即第二车道线结果，第二车道线结果包括车道线像素及其对应的第二车道线标识。也就是说通过第二车道线结果修正样本图像，使修正后的样本图像输出的第一车道线结果，经过预设回归算法后，结果收敛。

本申请通过回归运算进一步地判断预设语义分割网络模型的分割结果，从而使得预设语义分割网络模型输出的结果更为准确。具体地，本申请的第一车道线结果包括像素点和像素点为车道线的概率值，第二车道线结果包括像素点和像素点为车道线的概率值，通过对第一车道线结果和第二车道线结果中概率值的计算，来判断分类损失值。如对于每次数据训练样本的每一训练样本，在获取到训练样本的车道线的真实分类概率后(车道线真实分类概率为样本像素点为样本图像中标识为车道线的概率)，本发明实施例可通过Softmaxloss损失函数等预测该训练样本所属的样本类，得到该训练样本的分类预测概率(即softmax loss预测样本像素点为真实车道线的概率)，从而可根据该训练样本的分类预测概率和该训练样本的真实分类概率，确定出该训练样本对应的分类损失值(如取该训练样本的分类预测概率和分类目标概率的差值)，进而可根据批数据训练样本中各训练样本对应的分类损失值，进而确定出每次数据训练样本对应的分类损失值(如取各训练样本的分类损失值的均值等)。

可见，每次数据训练样本对应的分类损失值是语义分割网络模型对于车道线和非车道线的类间分类的指标，每次数据训练样本对应的分类损失值，可以对车道线和非车道线的差异(类间差异)进行表示，将每次数据训练样本对应的分类损失值作为语义分割网络模型的优化目标的部分，可使得优化后的语义分割网络模型对于车道线和非车道线的类间区分具有较高的性能。

在此基础上，每次迭代过程中数据训练样本对应的中心损失值对训练样本的车道线分类(即判断像素点是否属于车道线)和训练样本所属的样本类的预测分布概率的概率差进行表示，因此，数据训练样本对应的分类损失值，可以说明训练样本的样本分布概率与其所属的样本类的预测分布概率的差异，可以对每一样本类中的训练样本的类内的样本分布概率差异进行表示，因此将每次数据训练样本对应的分类损失值作为语义分割网络模型的优化目标的部分，可使得优化后的语义分割网络模型对于车道线的类内差异具有不变性(如不同场景下的车道线和车道线之间的类内差异)，提升车道线检测的鲁棒性。

具体地，在本实施例中，获取预设语义分割网络模型的训练可以包含分类训练和回归训练，是联合训练的过程；每次迭代中每次数据训练样本对应的中心损失值和分类损失值构成的损失值，可以认为是分类训练的优化目标，如使每次数据训练样本对应的中心损失值和分类损失值构成的损失值最小，来作为语义分割网络模型训练中分类训练的优化目标；而每次迭代中，语义分割网络模型训练中回归训练的优化目标可以由每次数据训练样本对应的车道线框坐标回归损失值构成；通过联合每次迭代中每次数据训练样本对应的中心损失值，分类损失值和车道线框坐标回归损失值，可形成语义分割网络模型的目标损失值，来表示语义分割网络模型训练的优化目标。可选的，本发明实施例可将所述每次数据训练样本对应的中心损失值和第一设定权重的乘积，所述每次数据训练样本对应的车道线框坐标回归损失值和第二设定权重的乘积，及，所述每次数据训练样本对应的分类损失值进行求和，得到语义分割网络模型的目标损失值。

在一种实施例中，可以设置预设语义分割网络模型的损失函数和回归运算的损失函数在获取第二车道线结果的权重。

在一种实施例中，基于预设回归算法，对第一车道线结果进行，得到第二车道线结果，还包括，获取第一车道线结果，采用预设回归算法对第一车道线进行拟合，剔除差异较大的车道线像素，得到第二车道线结果。

具体包括：获取第一车道线像素点坐标，及其像素点的坐标。获取图像的最大行数m及最大列数n；初始化边缘图像矩阵V(i，j)＝0；对V中间像素逐行逐列采用预设回归算法进行如下操作：

其中A(i,j)为中间像素

其中A(i,j)为中间像素，Y_s为A(i,j)的8个领域；

得到初始的边缘图像V后；对上面的边缘图像进行二值化处理，低于指定阈值的像素点置零，高于指定阈值的像素点指定灰度值，得到新的灰度图像。对新的灰度图像进行连接像素数搜素，若该像素的联结像素数低于阈值，则将此像素点判定为噪点，并将噪点从边缘图中删除，从而得到第二车道线结果。

步骤S103：根据预设阈值和第二车道线结果，修正样本图像。

在一种实施例中，预设阈值包括第一阈值和第二阈值，根据预设阈值和第二车道线结果，修正样本图像，包括：若第二车道线结果中像素点的概率值大于第一阈值，则查找像素点对应的样本像素点，在样本像素点为未标注车道线的情况下，将样本像素点修改为样本车道线；若第二车道线结果中像素点的概率值小于第二阈值，则查找像素点对应的样本像素点，在样本像素点为已标注车道线的情况下，将样本像素点修改车道线背景。

本实施例的，第一阈值用于查找车道线像素点的偏差，第二车道线结果中像素点的概率值大于第一阈值，则查找像素点对应的样本像素点，在样本像素点为未标注车道线的情况下，将样本像素点修改为样本车道线；第二阈值用于差值背景像素点的偏差，若第二车道线结果中像素点的概率值小于第二阈值，则查找像素点对应的样本像素点，在样本像素点为已标注车道线的情况下，将样本像素点修改车道线背景。

在一种实施例中，修正样本图像之后还包括：将修正后的样本图像输入预设语义分割网络，得到修正后的预测图像；根据修正后的预测图像和样本图像计算预设语义分割网络的损失函数；迭代预设语义分割网络的损失函数，得到目标语义分割网络。

本实施例，最终获取的目标语义分割网络在修正样本图像的基础上，得到更好的神经网络。

本申请提供的技术方案可以包括以下有益效果：本申请通过获取样本图像，将样本图像输入预设语义分割网络模型得到第一车道线结果，预设语义分割网络模型为根据样本图像输出目标车道线；基于预设回归算法，对第一车道线结果进行回归运算，得到第二车道线结果；根据预设阈值和第二车道线结果，修正样本图像。其中，回归运算相当于二次修正预设语义分割网络模型，本申请提供的方案能够对初步合格的语义分割网络进行训练，从而修正样本数据中不合理的样本标识，进而根据修正后的样本数据进一步修正预设语义分割网络模型，从而达到动态训练语义分割网络模型和动态修正样本图像的目的如图2所示，本申请第二方面提供一种基于模型动态修正的车道线语义分割装置，包括：

获取模块201，用于获取样本图像，所述样本图像中包括样本车道线；

本申请第二方面提供一种基于模型动态修正的车道线语义分割装置，包括：

获取模块201，用于获取样本图像，将样本图像输入预设语义分割网络模型得到第一车道线结果，预设语义分割网络模型为根据样本图像输出目标车道线；

第一修正模块202，用于基于预设回归算法，对第一车道线结果进行回归运算，得到第二车道线结果；

第二修正模块203，用于根据预设阈值和第二车道线结果，修正样本图像。

在一种实施例中，该装置还包括第三修正模块，第三修正模块用于将修正后的样本图像输入预设语义分割网络，得到修正后的预测图像；根据修正后的预测图像和样本图像计算预设语义分割网络的损失函数；迭代预设语义分割网络的损失函数，得到目标语义分割网络。

参见图3，是本申请实施例示出的电子设备的结构示意图。电子设备300包括存储器310和处理器320。

处理器320可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器310可以包括各种类型的存储单元，例如系统内存、只读存储器(ROM)和永久存储装置。其中，ROM可以存储处理器320或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器310可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(例如DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器310可以包括可读和/或写的可移除的存储设备，例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM，双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等)、磁性软盘等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。

存储器310上存储有可执行代码，当可执行代码被处理器320处理时，可以使处理器320执行上文述及的方法中的部分或全部。

此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。

或者，本申请还可以实施为一种计算机可读存储介质(或非暂时性机器可读存储介质或机器可读存储介质)，其上存储有可执行代码(或计算机程序或计算机指令代码)，当可执行代码(或计算机程序或计算机指令代码)被车辆(或服务器等)的处理器执行时，使处理器执行根据本申请的上述方法的各个步骤的部分或全部。

以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种基于模型动态修正的车道线语义分割方法，其特征在于，所述方法包括：

获取样本图像，将所述样本图像输入预设语义分割网络模型得到第一车道线结果，所述预设语义分割网络模型为根据样本图像输出目标车道线；

基于预设回归算法，对第一车道线结果进行回归运算，得到第二车道线结果；

根据预设阈值和所述第二车道线结果，修正所述样本图像。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括获取所述预设语义分割网络模型，所述获取所述预设语义分割网络模型，包括：

将所述样本图像输入初始神经网络，得到预测图像；

根据所述预测图像和所述样本图像，计算所述初始神经网络的损失函数；

根据所述损失函数调整所述初始神经网络，得到所述预设语义分割网络模型。

3.根据权利要求1所述的方法，其特征在于，所述基于预设回归算法，对第一车道线结果进行回归运算，得到第二车道线结果，包括：

将所述第一车道线结果和所述样本图像输入所述预设回归算法，得到第一回归损失值；

根据所述第一回归损失值修正所述第一车道线结果，得到所述第二车道线结果。

4.根据权利要求1所述的方法，其特征在于，所述第二车道线结果包括每个像素点为车道线的概率值。

5.根据权利要求4所述的方法，其特征在于，所述预设阈值包括第一阈值和第二阈值，所述根据预设阈值和所述第二车道线结果，修正所述样本图像，包括：

若所述第二车道线结果中像素点的概率值大于第一阈值，则查找所述像素点对应的样本像素点，在所述样本像素点为未标注车道线的情况下，将所述样本像素点修改为样本车道线；

若所述第二车道线结果中像素点的概率值小于所述第二阈值，则查找所述像素点对应的样本像素点，在所述样本像素点为已标注车道线的情况下，将所述样本像素点修改车道线背景。

6.根据权利要求1所述的方法，其特征在于，所述修正所述样本图像之后还包括：

将修正后的所述样本图像输入所述预设语义分割网络，得到修正后的预测图像；

根据修正后的预测图像和所述样本图像计算所述预设语义分割网络的损失函数；

迭代所述预设语义分割网络的损失函数，得到所述目标语义分割网络。

7.一种基于模型动态修正的车道线语义分割装置，其特征在于，包括：

获取模块，用于获取样本图像，将所述样本图像输入预设语义分割网络模型得到第一车道线结果，所述预设语义分割网络模型为根据样本图像输出目标车道线；

第一修正模块，用于基于预设回归算法，对第一车道线结果进行回归运算，得到第二车道线结果；

第二修正模块，用于根据预设阈值和所述第二车道线结果，修正所述样本图像。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括第三修正模块，所述第三修正模块用于将修正后的所述样本图像输入所述预设语义分割网络，得到修正后的预测图像；根据修正后的预测图像和所述样本图像计算所述预设语义分割网络的损失函数；迭代所述预设语义分割网络的损失函数，得到所述目标语义分割网络。

9.一种电子设备，其特征在于，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1至6中任意一项所述的方法。

10.一种计算机可读存储介质，其特征在于，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1至6中任意一项所述的方法。

Images