CN114359873B - 一种融合道路空间先验和区域级特征的弱监督车辆可行域分割方法 - Google Patents
一种融合道路空间先验和区域级特征的弱监督车辆可行域分割方法 Download PDFInfo
- Publication number
- CN114359873B CN114359873B CN202210012751.XA CN202210012751A CN114359873B CN 114359873 B CN114359873 B CN 114359873B CN 202210012751 A CN202210012751 A CN 202210012751A CN 114359873 B CN114359873 B CN 114359873B
- Authority
- CN
- China
- Prior art keywords
- convolution
- road
- super
- space
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000013145 classification model Methods 0.000 claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 6
- 238000003709 image segmentation Methods 0.000 claims abstract description 4
- 238000011176 pooling Methods 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims 2
- 230000003044 adaptive effect Effects 0.000 claims 1
- 238000012512 characterization method Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 15
- 230000000875 corresponding effect Effects 0.000 description 10
- 238000000605 extraction Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种融合道路空间先验和区域级特征的弱监督车辆可行域分割方法，能够在自动驾驶复杂场景中解决类别标签与目标区域空间信息错误关联的问题，其具体实施方案为：1)获取数据集与对应标签；2)训练集数据处理；3)构建道路分类模型；4)训练道路分类模型；5)获取道路全局空间权重；6)提取超像素区域级特征；7)融合空间先验和区域级特征的自适应加权聚类；8)车辆可行域图像分割。本发明可通过道路全局空间权重生成方法优化可行域类别标签关联到的目标区域空间信息，提供精准的空间先验，并结合可行域局部相似性提取超像素区域级特征以获取可行域判别表征，从而有效提升弱监督车辆可行域分割的准确性和鲁棒性。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种融合道路空间先验和区域级特征的弱监督车辆可行域分割方法。
背景技术
车辆可行域分割旨在识别路面上可确保车辆安全行驶而不发生碰撞的可通行区域。作为自动驾驶领域中的关键感知问题之一，可行驶区域的准确识别对车辆轨迹预测和路径规划等都起着至关重要的作用。车辆可行域分割可作为全监督语义分割任务解决，但这种方法需要大量人工标注的像素级标签，过程耗时长且容易引入标注人员的主观误差，限制了车辆可行域分割方法在不同环境中的迁移性。因此，研究如何用更易获得的图像级弱标签来进行车辆可行域分割对于自动驾驶领域具有重要意义。
目前弱监督语义分割方法主要利用图像级弱标签的隐式定位能力，通过将类别标签与图像中的目标空间信息进行关联来实现像素级分割。在简单场景下，每张图像所包含的标签数量极少且差异较大，很容易将类别标签关联到目标判别区域的空间信息，而在自动驾驶场景下，图像中存在着大量类别标签，一些干扰性较强的非道路类别物体如车辆、行人等，会重复出现于每张图像中，导致模型难以直接有效学习到可行域的判别表征，关联到错误的目标区域空间信息。因此，现有适用于简单场景的弱监督语义分割方法难以直接应用在复杂场景弱监督语义分割任务中。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提出一种融合道路空间先验和区域级特征的弱监督车辆可行域分割方法，该方法通过道路全局空间权重生成方法来优化类别标签关联到的目标区域空间信息，通过超像素区域级特征提取方法融合可行域局部相似性与高级语义信息，从而有效学习到可行域判别表征，提高弱监督车辆可行域分割方法在自动驾驶复杂场景下的准确性和鲁棒性。
一、技术原理
现有的弱监督语义分割方法主要将类别标签与图像区域空间信息进行关联以实现目标的像素级分割，但现有技术并不适用于自动驾驶复杂场景，大量干扰性较强的非道路类别物体，如车辆、行人等重复出现于每张图像中，导致标签容易关联到错误的目标区域。为了实现类别标签与目标判别区域空间信息的有效关联，本发明提出道路全局空间权重生成方法：通过底部裁剪训练策略使分类模型更关注到路面特征，提取到准确的目标区域空间信息；同时，为了进一步优化空间信息的边界细节，对局部相似像素的空间信息进行聚合，通过生成的道路全局空间权重与类别标签进行关联，提升可行域判别区域定位的精准性。
为了充分利用可行域局部相似性的外观特点，本发明引入超像素区域级特征提取方法，通过超像素池化对区域内像素的多尺度特征进行聚合，结合超像素低级结构特征和神经网络高级语义信息，实现可行域判别表征的有效学习，提升可行域分割的准确性。
二、根据上述原理，本发明通过以下方案实现：
一种融合道路空间先验和区域级特征的弱监督车辆可行域分割方法，包括以下步骤：
(1)获取数据集与对应标签，具体包括以下步骤：
(1-a)从自动驾驶图像公开数据集获取道路图像作为正样本，从自然场景图像公开数据集获取非道路图像作为负样本，组成分类样本数据集，并制作对应的二分类标签；
(1-b)获取自动驾驶图像公开数据集，从其原始标签中提取出可行域边界标注信息，制作对应的分割标签；
(2)训练集数据处理，具体包括以下步骤：
(2-a)对步骤(1-a)获取的数据集图像缩放后进行随机裁剪与水平翻转；
(2-b)对步骤(2-a)获取的图像采取底部裁剪策略，将图像高度裁剪为m像素大小，其中m为正整数，取值范围为[20,224]；
(2-c)将步骤(2-b)获取的图像进行归一化操作；
(3)构建道路分类模型，具体包括以下步骤：
(3-a)构建分类基础网络，共包括五组卷积层，将步骤(2)得到的训练集图像依次经过这五组卷积层，得到高语义特征图Xc；第一组卷积层包括一个卷积模块；第二、三组卷积层各包括三个残差卷积模块，每个残差卷积模块内包括三个卷积模块；第四组卷积层包括六个残差卷积模块，每个残差卷积模块内包括三个卷积模块；第五组卷积层包括五个膨胀卷积残差模块，第一、二、三个膨胀卷积残差模块内包括一个卷积模块和两个膨胀卷积模块，第四个和第五个膨胀卷积残差模块内包括三个卷积模块和一个膨胀卷积模块；
(3-b)在步骤(3-a)描述的分类基础网络之上，增加目标分类模块，目标分类模块包括一个全局平均池化模块和一个1×1卷积模块，将步骤(3-a)得到的高语义特征图Xc作为目标分类模块的输入；全局平均池化模块的作用是对Xc各特征通道进行空间信息压缩，其输出为特征向量Vc，1×1卷积模块的作用是进行维度变换，利用分类权重矩阵W将Vc特征空间映射到类别标签空间；
(4)训练道路分类模型：
利用步骤(2)得到的训练集数据训练步骤(3)构建的道路分类模型，使用交叉熵作为分类模型的损失函数得到损失值，并使用随机梯度下降算法优化分类模型每一层的模型参数，更新分类权重矩阵W，直到损失值不再下降，得到训练好的道路分类模型；
(5)获取道路全局空间权重，具体包括以下步骤：
(5-a)生成类别空间权重图，将步骤(1-b)获取的自动驾驶图像输入到步骤(4)得到的训练好的道路分类模型中，自动驾驶图像通过步骤(3-a)构建的分类基础网络得到高语义特征图Xs，并与步骤(4)中学习到的分类权重矩阵W进行通道加权求和，获取自动驾驶图像对于每个类别的类别空间权重图；该权重图的作用是提供道路空间先验信息，获取图像中每个空间位置对目标类别的重要程度，其计算公式为：
其中Mj表示第j个类别的类别空间权重图，j＝0，1，表示高语义特征图Xs在第 l个通道上的特征图，/>表示第j个类别的分类权重矩阵在第l个通道上的权重值；
(5-b)对步骤(1-b)获取的自动驾驶图像进行超像素分割；
(5-c)对步骤(5-a)获取的类别空间权重图进行归一化操作并上采样到输入图像大小，将步骤(5-b)得到的超像素分割结果映射到可行域类别的类别空间权重图上，对超像素内部各像素的权重进行平均，获取道路全局空间权重；
(6)提取超像素区域级特征，具体包括以下步骤：
(6-a)构建特征提取器，其中共包括八组卷积层，步骤(1-b)获取的自动驾驶图像依次经过八组卷积层，在第七、八组卷积层分别输出得到中间特征图F1、 F2；第一组卷积层包括一个卷积块和一个残差卷积模块，第二组卷积层包括一个残差卷积模块，第三、四、五、六组卷积层各包括两个残差卷积模块，第七、八组卷积层各包括一个膨胀卷积残差模块；其中的所有卷积层中残差卷积模块都包括三个卷积模块，膨胀卷积残差模块都包括一个卷积模块和两个膨胀卷积模块；
(6-b)将步骤(6-a)得到的中间特征图F1和F2上采样到原图大小，通过拼接操作得到密集特征图Fdes，利用步骤(5-b)得到的超像素分割结果对Fdes进行超像素池化，提取每个超像素的区域级特征；该特征的提取为每个超像素生成一个全局描述符fregion，从而将超像素底层结构特征和神经网络高级语义信息相结合，其计算过程如下：
其中表示第i个超像素的区域级特征，Pi表示图像中第i个超像素，Fdes(x，y)表示密集特征图Fdes对应于超像素Pi内部空间位置(x，y)上的激活值，符号Pool表示全局池化操作；
(7)融合空间先验和区域级特征的自适应加权聚类：
基于步骤(5-c)获取的道路全局空间权重与步骤(6-b)提取的超像素区域级特征，进行自适应加权聚类，得到可行域掩膜；聚类阶段根据步骤(5-c)获取的道路全局空间权重的中值对所有超像素的所属类别簇进行随机初始化，具体过程可表示为：
其中Classi表示第i个超像素所属类别簇，wi表示第i个超像素的道路全局空间权重，K为聚类类别数，K为正整数且取值范围为[2，10]，符号median表示求中值操作，unif表示从区间内随机生成一个整数；根据得到的超像素初始类别，计算每个类别簇的聚类中心：
其中ck表示第k个类别簇的簇中心，k为整数，且0≤k＜K，为步骤(6-b) 中得到的第i个超像素的区域级特征；/>存在两种情况：在可行域类别簇中，即 k＝0时，簇中心由区域级特征与道路全局空间权重的空间加权平均值计算得到，在其他类别簇中，即0＜k＜K时，/>通过对所属的每个超像素分配与道路类别反向关联的排斥权重，使得这些类别簇的簇中心在空间意义上完全远离可行域类别簇；根据计算得到的簇中心，分别计算每一个超像素区域级特征到各个簇中心的欧几里得距离，将超像素重新分配到距离最近的簇中心所属类别簇，并计算新的簇中心；整个过程迭代进行，直到不再产生新的聚类分布或达到最大迭代次数，最终得到可行域掩膜；
(8)车辆可行域图像分割：
通过步骤(1-b)得到的自动驾驶图像，使用步骤(7)得到的可行域掩膜作为伪标签，训练车辆可行域分割网络，用训练好的分割模型对测试数据集中的每个自动驾驶图像进行分割，得到可行域最终分割结果。
在步骤(2-b)中，m为正整数，优选m为110。
在步骤(6-a)中，特征提取器使用预训练模型，不更新模型参数。
在步骤(7)中，K为正整数，优选K为4。
本发明与现有技术相比，具有以下优点：
(1)本发明提出的道路全局空间权重生成方法，能够获取具有边界细节的目标区域空间信息，通过全局空间权重与类别标签进行关联，得到图像内局部区域的空间重要性程度，提升目标判别区域定位的准确性。
(2)本发明提出的超像素区域级特征提取方法，能够获取高语义的可行域判别表征，通过超像素池化进行区域内多尺度特征聚合，从而充分融合可行域局部相似性与高级语义信息，提升分割精度。
附图说明
图1本发明实施方式的一种融合道路空间先验和区域级特征的弱监督车辆可行域分割方法流程图；
图2本发明实施方式的道路分类模型结构图；
图3本发明实施方式的超像素区域级特征提取方法框架图；
图4本发明实施方式的可行域掩膜分割结果与其他方法分割结果对比；
图5本发明实施方式的车辆可行域分割结果。
具体实施方式
下面说明本发明具体实施方式：
实施例1
图1所示为本发明实施方式的一种融合道路空间先验和区域级特征的弱监督车辆可行域分割方法流程图，具体步骤如下：
步骤1，获取数据集与对应标签。
(1-a)从自动驾驶图像公开数据集获取道路图像作为正样本，从自然场景图像公开数据集获取非道路图像作为负样本，组成分类样本数据集，并制作对应的二分类标签。
(1-b)获取自动驾驶图像公开数据集，从其原始标签中提取出可行域边界标注信息，制作对应的分割标签。
步骤2，训练集数据处理。
(2-a)对步骤(1-a)获取的数据集图像缩放后进行随机裁剪与水平翻转。
(2-b)对步骤(2-a)获取的图像采取底部裁剪策略，将图像高度裁剪为m像素大小，其中m为正整数，取值范围为[20，224]，本实施例选m为110。
(2-c)将步骤(2-b)获取的图像进行归一化操作。
步骤3，构建道路分类模型。
图2所示为本发明实施方式的道路分类模型结构图，具体步骤如下：
(3-a)构建分类基础网络，共包括五组卷积层，将步骤(2)得到的训练集图像依次经过这五组卷积层：第一组卷积层包括一个卷积模块，输入为3×110 ×224的训练图像，输出为64×110×224的中间特征图；第二组卷积层包括三个残差卷积模块，每个残差卷积模块内包括三个卷积模块，输入为64×110×224 的特征图，输出为128×55×112的中间特征图；第三组卷积层包括三个残差卷积模块，每个残差卷积模块内包括三个卷积模块，输入为128×55×112的特征图，输出为256×28×56的中间特征图；第四组卷积层包括六个残差卷积模块，每个残差卷积模块内包括三个卷积模块，输入为256×28×56的特征图，输出为512×14×28的中间特征图；第五组卷积层包括五个膨胀卷积残差模块，第一、二、三个膨胀卷积残差模块内包括一个卷积模块和两个膨胀卷积模块，第四个和第五个膨胀卷积残差模块内包括三个卷积模块和一个膨胀卷积模块，输入为512 ×14×28的特征图，输出为4096×14×28的高语义特征图Xc。
(3-b)在步骤(3-a)描述的分类基础网络之上，增加目标分类模块，目标分类模块包括一个全局平均池化模块和一个1×1卷积模块，将步骤(3-a)得到的高语义特征图Xc作为目标分类模块的输入；全局平均池化模块的作用是对Xc各特征通道进行空间信息压缩，输出长度为4096的特征向量Vc，1×1卷积模块的作用是进行维度变换，利用分类权重矩阵W将Vc特征空间映射到类别标签空间，输出长度为2的特征向量。
步骤4，训练道路分类模型。
利用步骤(2)得到的训练集数据训练步骤(3)构建的道路分类模型，使用交叉熵作为分类模型的损失函数得到损失值，并使用随机梯度下降算法优化分类模型每一层的模型参数，更新分类权重矩阵W，直到损失值不再下降，得到训练好的道路分类模型。
步骤5，获取道路全局空间权重。
(5-a)生成类别空间权重图，将步骤(1-b)获取的自动驾驶图像输入到步骤(4)得到的训练好的道路分类模型中，输入为3×224×224的自动驾驶图像，在步骤(3-a)构建的分类基础网络中得到4096×28×28的高语义特征图Xs，并与步骤(4)中学习到的2×4096的分类权重矩阵W进行通道加权求和，获取自动驾驶图像对于每个类别的28×28的类别空间权重图；该权重图的作用是提供道路空间先验信息，获取图像中每个空间位置对目标类别的重要程度，其计算公式为：
其中Mj表示第j个类别的类别空间权重图，j＝0，1，表示高语义特征图Xs在第 l个通道上的特征图，/>表示第j个类别的分类权重矩阵在第l个通道上的权重值。
(5-b)对步骤(1-b)获取的自动驾驶图像进行超像素分割。
(5-c)对步骤(5-a)获取的类别空间权重图进行归一化操作并上采样到输入图像大小，得到224×224的类别空间权重图，将步骤(5-b)得到的超像素分割结果映射到可行域类别的类别空间权重图上，对超像素内部各像素的权重进行平均，获取道路全局空间权重。
步骤6，提取超像素区域级特征。
图3所示为本发明实施方式的超像素区域级特征提取方法框架图，具体步骤如下：
(6-a)构建特征提取器，其中共包括八组卷积层，步骤(1-b)获取的自动驾驶图像依次经过八组卷积层，第一组卷积层包括一个卷积块和一个残差卷积模块，输入为3×224×224的自动驾驶图像，输出为16×224×224的中间特征图；第二组卷积层包括一个残差卷积模块，输入为16×224×224的特征图，输出为 32×112×112的中间特征图；第三组卷积层包括两个残差卷积模块，输入为32 ×112×112的特征图，输出为64×56×56的中间特征图；第四组卷积层包括两个残差卷积模块，输入为64×56×56的特征图，输出为128×28×28的中间特征图；第五组卷积层包括两个残差卷积模块，输入为128×28×28的特征图，输出为256×28×28的中间特征图；第六组卷积层包括两个残差卷积模块，输入为 256×28×28的特征图，输出为512×28×28的中间特征图；第七组卷积层包括一个膨胀卷积残差模块，输入为512×28×28的特征图，输出为512×28×28 的中间特征图F1；第八组卷积层包括一个膨胀卷积残差模块，输入为特征图F1，输出为512×28×28的中间特征图F2；其中的所有卷积层中残差卷积模块都包括三个卷积模块，膨胀卷积残差模块都包括一个卷积模块和两个膨胀卷积模块；特征提取器使用预训练模型，不更新模型参数。
(6-b)将步骤(6-a)得到的中间特征图F1和F2上采样到原图大小，通过拼接操作得到1024×224×224的密集特征图Fdes，利用步骤(5-b)得到的超像素分割结果对Fdes进行超像素池化，提取每个超像素的长度为1024的区域级特征；该特征的提取为每个超像素生成一个全局描述符fregion，从而将超像素底层结构特征和神经网络高级语义信息相结合，其计算过程如下：
其中表示第i个超像素的区域级特征，Pi表示图像中第i个超像素，Fdes(x，y)表示密集特征图Fdes对应于超像素Pi内部空间位置(x，y)上的激活值，符号Pool表示全局池化操作。
步骤7，融合空间先验和区域级特征的自适应加权聚类。
基于步骤(5-c)获取的道路全局空间权重与步骤(6-b)提取的超像素区域级特征，进行自适应加权聚类，得到可行域掩膜；聚类阶段根据步骤(5-c)获取的道路全局空间权重的中值对所有超像素的所属类别簇进行随机初始化，具体过程可表示为：
其中Classi表示第i个超像素所属类别簇，wi表示第i个超像素的道路全局空间权重，K为聚类类别数，K为正整数且取值范围为[2，10]，本实施例选K为4，符号 median表示求中值操作，unif表示从区间内随机生成一个整数；根据得到的超像素初始类别，计算每个类别簇的聚类中心：
其中ck表示第k个类别簇的簇中心，k为整数，且0≤k＜K，为步骤(6-b) 中得到的第i个超像素的区域级特征；/>存在两种情况：在可行域类别簇中，即 k＝0时，簇中心由区域级特征与道路全局空间权重的空间加权平均值计算得到，在其他类别簇中，即0＜k＜K时，/>通过对所属的每个超像素分配与道路类别反向关联的排斥权重，使得这些类别簇的簇中心在空间意义上完全远离可行域类别簇；根据计算得到的簇中心，分别计算每一个超像素区域级特征到各个簇中心的欧几里得距离，将超像素重新分配到距离最近的簇中心所属类别簇，并计算新的簇中心；整个过程迭代进行，直到不再产生新的聚类分布或达到最大迭代次数，最终得到可行域掩膜。
步骤8，车辆可行域图像分割。
通过步骤(1-b)得到的自动驾驶图像，使用步骤(7)得到的可行域掩膜作为伪标签，训练车辆可行域分割网络，用训练好的分割模型对测试数据集中的每个自动驾驶图像进行分割，得到可行域最终分割结果。
实施例2
采用实施例1中的方法对公开数据集Cityscapes进行弱监督车辆可行域分割实验。Cityscapes数据集中一共有19个类别，本实验选取道路类别作为前景，其他类别作为背景。本实验操作系统为Linux ubuntu 16.06版本，基于CUDA10.0 和cuDNN7.6.0的PyTorch1.7.1框架实现，使用搭载了两块NVIDIA GeForce RTX 2080 Ti(11GB)硬件的服务器训练并测试。
本实施例采用交并比(IoU)指标对DCWS、BBF、DTS、MMS、SC-CAM、 AffinityNet、SEC、CCNN、OAA九个分割网络与本发明方法在Cityscapes验证集与测试集上进行对比，交并比计算公式如下：
式中T表示自动驾驶图像可行域分割结果，P表示自动驾驶图像可行域分割标签，∩和∪分别表示交集和并集操作。
对比结果如表1和表2所示，可以发现，使用本发明对车辆可行域的分割结果相较于其他方法的分割结果更为准确。
图4所示为本发明实施方式的可行域掩膜分割结果与其他方法分割结果对比。其中图4(a)为测试数据集的测试样例，图4(b)为测试样例对应标签，图4(c)、4(d) 依次为MMS、本发明的可行域掩膜分割结果。可以看到本发明相较于MMS，可以获得更加准确的道路位置先验，如第一行测试样例中可行域掩膜分割结果；本发明对边界细节的处理效果也更好，如第三行测试样例中可行域掩膜分割结果。
图5所示为本发明实施方式的车辆可行域分割结果，其中图5(a)为测试数据集的测试样例，图5(b)为测试样例对应标签，图5(c)为测试样例的车辆可行域分割结果，图5(d)为测试样例与车辆可行域分割结果叠加图。可以看到本发明即使在具有行人、车辆、车道标志等的复杂道路场景中，也能实现高质量的弱监督车辆可行域分割结果。
以上所述实施例仅为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之原理所作的变化，均应涵盖在本发明的保护范围之内。
表1
(注：表中I表示图像级弱标签监督，V表示视频辅助监督，M表示人工先验监督)
表2
(注：表中I、V、M为监督方式，表示法都同表1；S表示方法适用于简单场景， C表示方法适用于复杂场景)。
Claims (5)
1.一种融合道路空间先验和区域级特征的弱监督车辆可行域分割方法，其特征在于包括以下步骤：
(1)获取数据集与对应标签，具体包括以下步骤：
(1-a)从自动驾驶图像公开数据集获取道路图像作为正样本，从自然场景图像公开数据集获取非道路图像作为负样本，组成分类样本数据集，并制作对应的二分类标签；
(1-b)获取自动驾驶图像公开数据集，从其原始标签中提取出可行域边界标注信息，制作对应的分割标签；
(2)训练集数据处理，具体包括以下步骤：
(2-a)对步骤(1-a)获取的数据集图像缩放后进行随机裁剪与水平翻转；
(2-b)对步骤(2-a)获取的图像采取底部裁剪策略，将图像高度裁剪为m像素大小，其中m为正整数，取值范围为[20,224]；
(2-c)将步骤(2-b)获取的图像进行归一化操作；
(3)构建道路分类模型，具体包括以下步骤：
(3-a)构建分类基础网络，共包括五组卷积层，将步骤(2)得到的训练集图像依次经过这五组卷积层，得到高语义特征图Xc；第一组卷积层包括一个卷积模块；第二、三组卷积层各包括三个残差卷积模块，每个残差卷积模块内包括三个卷积模块；第四组卷积层包括六个残差卷积模块，每个残差卷积模块内包括三个卷积模块；第五组卷积层包括五个膨胀卷积残差模块，第一、二、三个膨胀卷积残差模块内包括一个卷积模块和两个膨胀卷积模块，第四个和第五个膨胀卷积残差模块内包括三个卷积模块和一个膨胀卷积模块；
(3-b)在步骤(3-a)描述的分类基础网络之上，增加目标分类模块，目标分类模块包括一个全局平均池化模块和一个1×1卷积模块，将步骤(3-a)得到的高语义特征图Xc作为目标分类模块的输入；全局平均池化模块的作用是对Xc各特征通道进行空间信息压缩，其输出为特征向量Vc，1×1卷积模块的作用是进行维度变换，利用分类权重矩阵W将Vc特征空间映射到类别标签空间；
(4)训练道路分类模型：
利用步骤(2)得到的训练集数据训练步骤(3)构建的道路分类模型，使用交叉熵作为分类模型的损失函数得到损失值，并使用随机梯度下降算法优化分类模型每一层的模型参数，更新分类权重矩阵W，直到损失值不再下降，得到训练好的道路分类模型；
(5)获取道路全局空间权重，具体包括以下步骤：
(5-a)生成类别空间权重图，将步骤(1-b)获取的自动驾驶图像输入到步骤(4)得到的训练好的道路分类模型中，自动驾驶图像通过步骤(3-a)构建的分类基础网络得到高语义特征图Xs，并与步骤(4)中学习到的分类权重矩阵W进行通道加权求和，获取自动驾驶图像对于每个类别的类别空间权重图；
(5-b)对步骤(1-b)获取的自动驾驶图像进行超像素分割；
(5-c)对步骤(5-a)获取的类别空间权重图进行归一化操作并上采样到输入图像大小，将步骤(5-b)得到的超像素分割结果映射到可行域类别的类别空间权重图上，对超像素内部各像素的权重进行平均，获取道路全局空间权重；
(6)提取超像素区域级特征，具体包括以下步骤：
(6-a)构建特征提取器，其中共包括八组卷积层，步骤(1-b)获取的自动驾驶图像依次经过八组卷积层，在第七、八组卷积层分别输出得到中间特征图F1、F2；第一组卷积层包括一个卷积块和一个残差卷积模块，第二组卷积层包括一个残差卷积模块，第三、四、五、六组卷积层各包括两个残差卷积模块，第七、八组卷积层各包括一个膨胀卷积残差模块；其中的所有卷积层中残差卷积模块都包括三个卷积模块，膨胀卷积残差模块都包括一个卷积模块和两个膨胀卷积模块；
(6-b)将步骤(6-a)得到的中间特征图F1和F2上采样到原图大小，通过拼接操作得到密集特征图Fdes，利用步骤(5-b)得到的超像素分割结果对Fdes进行超像素池化，提取每个超像素的区域级特征；
(7)融合空间先验和区域级特征的自适应加权聚类：
基于步骤(5-c)获取的道路全局空间权重与步骤(6-b)提取的超像素区域级特征，进行自适应加权聚类，得到可行域掩膜；
(8)车辆可行域图像分割：
通过步骤(1-b)得到的自动驾驶图像，使用步骤(7)得到的可行域掩膜作为伪标签，训练车辆可行域分割网络，用训练好的分割模型对测试数据集中的每个自动驾驶图像进行分割，得到可行域最终分割结果。
2.如权利要求1所述的一种融合道路空间先验和区域级特征的弱监督车辆可行域分割方法，其特征在于，所述步骤(5-a)中的类别空间权重图，该权重图的作用是提供道路空间先验信息，获取图像中每个空间位置对目标类别的重要程度；以高语义特征图Xs和步骤(4)中学习到的分类权重矩阵W作为输入，进行通道加权求和，其计算公式为：
其中Mj表示第j个类别的类别空间权重图，j＝0,1，表示高语义特征图Xs在第l个通道上的特征图，/>表示第j个类别的分类权重矩阵在第l个通道上的权重值。
3.如权利要求1所述的一种融合道路空间先验和区域级特征的弱监督车辆可行域分割方法，其特征在于，所述步骤(6-b)中的超像素区域级特征，该特征的提取是通过对密集特征图Fdes进行超像素池化操作，为每个超像素生成一个全局描述符fregion，从而将超像素底层结构特征和神经网络高级语义信息相结合，其计算过程如下：
其中表示第i个超像素的区域级特征，Pi表示图像中第i个超像素，Fdes(x,y)表示密集特征图Fdes对应于超像素Pi内部空间位置(x,y)上的激活值，符号Pool表示全局池化操作。
4.如权利要求1所述的一种融合道路空间先验和区域级特征的弱监督车辆可行域分割方法，其特征在于，所述步骤(7)中融合空间先验和区域级特征的自适应加权聚类，聚类阶段根据步骤(5-c)获取的道路全局空间权重的中值对所有超像素的所属类别簇进行随机初始化，具体过程可表示为：
其中Classi表示第i个超像素所属类别簇，wi表示第i个超像素的道路全局空间权重，K为聚类类别数，K为正整数且取值范围为[2,10]，符号median表示求中值操作，unif表示从区间内随机生成一个整数；根据得到的超像素初始类别，计算每个类别簇的聚类中心：
其中ck表示第k个类别簇的簇中心，k为整数，且0≤k<K，为步骤(6-b)中得到的第i个超像素的区域级特征；/>存在两种情况：在可行域类别簇中，即k＝0时，/>簇中心由区域级特征与道路全局空间权重的空间加权平均值计算得到，在其他类别簇中，即0<k<K时，/>通过对所属的每个超像素分配与道路类别反向关联的排斥权重，使得这些类别簇的簇中心在空间意义上完全远离可行域类别簇；根据计算得到的簇中心，分别计算每一个超像素区域级特征到各个簇中心的欧几里得距离，将超像素重新分配到距离最近的簇中心所属类别簇，并计算新的簇中心；整个过程迭代进行，直到不再产生新的聚类分布或达到最大迭代次数，最终得到可行域掩膜。
5.如权利要求1所述的一种融合道路空间先验和区域级特征的弱监督车辆可行域分割方法，其特征在于，所述步骤(6-a)中的特征提取器，该特征提取器使用预训练模型，不更新模型参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210012751.XA CN114359873B (zh) | 2022-01-06 | 2022-01-06 | 一种融合道路空间先验和区域级特征的弱监督车辆可行域分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210012751.XA CN114359873B (zh) | 2022-01-06 | 2022-01-06 | 一种融合道路空间先验和区域级特征的弱监督车辆可行域分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114359873A CN114359873A (zh) | 2022-04-15 |
| CN114359873B true CN114359873B (zh) | 2024-04-26 |
Family
ID=81107592
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210012751.XA Active CN114359873B (zh) | 2022-01-06 | 2022-01-06 | 一种融合道路空间先验和区域级特征的弱监督车辆可行域分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114359873B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116630820B (zh) * | 2023-05-11 | 2024-02-06 | 北京卫星信息工程研究所 | 光学遥感数据星上并行处理方法与装置 |
| CN116664845B (zh) * | 2023-07-28 | 2023-10-13 | 山东建筑大学 | 基于块间对比注意力机制的智慧工地图像分割方法及系统 |
| CN117437608B (zh) * | 2023-11-16 | 2024-07-19 | 元橡科技（北京）有限公司 | 一种全地形路面类型识别方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10176405B1 (en) * | 2018-06-18 | 2019-01-08 | Inception Institute Of Artificial Intelligence | Vehicle re-identification techniques using neural networks for image analysis, viewpoint-aware pattern recognition, and generation of multi- view vehicle representations |
| AU2020103901A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field |
| CN113177518A (zh) * | 2021-05-24 | 2021-07-27 | 西安建筑科技大学 | 一种利用弱监督区域推荐的车辆重识别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11361470B2 (en) * | 2019-05-09 | 2022-06-14 | Sri International | Semantically-aware image-based visual localization |
-
2022
- 2022-01-06 CN CN202210012751.XA patent/CN114359873B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10176405B1 (en) * | 2018-06-18 | 2019-01-08 | Inception Institute Of Artificial Intelligence | Vehicle re-identification techniques using neural networks for image analysis, viewpoint-aware pattern recognition, and generation of multi- view vehicle representations |
| AU2020103901A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field |
| CN113177518A (zh) * | 2021-05-24 | 2021-07-27 | 西安建筑科技大学 | 一种利用弱监督区域推荐的车辆重识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 深度卷积神经网络图像语义分割研究进展;青晨;禹晶;肖创柏;段娟;;中国图象图形学报;20200616(第06期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114359873A (zh) | 2022-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114359873B (zh) | 一种融合道路空间先验和区域级特征的弱监督车辆可行域分割方法 | |
| CN111598030B (zh) | 一种航拍图像中车辆检测和分割的方法及系统 | |
| CN110084850B (zh) | 一种基于图像语义分割的动态场景视觉定位方法 | |
| Chen et al. | Vehicle detection in high-resolution aerial images based on fast sparse representation classification and multiorder feature | |
| CN106778604B (zh) | 基于匹配卷积神经网络的行人再识别方法 | |
| CN106557579B (zh) | 一种基于卷积神经网络的车辆型号检索系统及方法 | |
| CN109784197B (zh) | 基于孔洞卷积与注意力学习机制的行人再识别方法 | |
| CN111461039B (zh) | 基于多尺度特征融合的地标识别方法 | |
| CN109284669A (zh) | 基于Mask RCNN的行人检测方法 | |
| CN109446970A (zh) | 一种基于深度学习的变电站巡检机器人道路场景识别方法 | |
| CN111652293B (zh) | 一种多任务联合判别学习的车辆重识别方法 | |
| Nedović et al. | Stages as models of scene geometry | |
| Cai et al. | MHA-Net: Multipath Hybrid Attention Network for building footprint extraction from high-resolution remote sensing imagery | |
| CN106683119A (zh) | 基于航拍视频图像的运动车辆检测方法 | |
| CN110263716B (zh) | 一种基于街景图像的遥感影像超分辨率土地覆被制图方法 | |
| CN112906706A (zh) | 一种改进的基于编解码器的图像语义分割方法 | |
| CN109086777A (zh) | 一种基于全局像素特征的显著图精细化方法 | |
| CN108229435B (zh) | 一种用于行人识别的方法 | |
| CN106570874A (zh) | 一种结合图像局部约束与对象全局约束的图像标记方法 | |
| CN112070010B (zh) | 一种联合多损失动态训练策略增强局部特征学习的行人重识别方法 | |
| CN110852327A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN107808140A (zh) | 一种基于图像融合的单目视觉道路识别算法 | |
| CN111881716A (zh) | 一种基于多视角生成对抗网络的行人重识别方法 | |
| CN113269224A (zh) | 一种场景图像分类方法、系统及存储介质 | |
| CN105184299A (zh) | 基于局部约束线性编码的车身颜色识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |