CN110246141A - 一种基于联合角点池化的复杂交通场景下车辆图像分割方法 - Google Patents

Abstract

本发明提供一种基于联合角点池化的复杂交通场景下车辆图像分割方法，重新整合CamVid数据集，沙漏网络提取数据集特征，前景分割分支、背景分割分支分别对特征进行处理。在前景分割分支中，特征首先进入多目标角点池化模块处理，得到目标候选框、目标类别标签和感兴趣区域，利用掩膜扫描模块扫描出目标的精确掩膜；在背景分割分支中，特征图与多目标角点池化模块生成的感兴趣区域进行融合，利用语义分割模块生成背景图。前景分割分支生成的掩膜、目标类别和候选框与背景分割分支生成的背景图在前背景排序模块中进行排序和定位，生成全景分割结果。解决了现有技术在检测复杂交通场景下车辆时往往表现不佳，不能准确地将这些车辆逐一检测、框选的问题。

Description

一种基于联合角点池化的复杂交通场景下车辆图像分割方法

技术领域

本发明涉及图像分割技术领域，具体而言，尤其涉及一种基于联合角点池化的复杂交通场景下车辆图像分割方法。

背景技术

复杂交通场景下的车辆分割就是要从实际的交通场景下，对图像内的前景(车辆)和背景(建筑物等)进行识别、框选和准确的分割。通过建立深度神经网络模型并利用完整的数据集进行训练，使其能够适应各种复杂的实际环境如恶劣天气下图片内车辆较为模糊、弱光照条件下车辆不够清晰、拥堵环境下车辆展示不完整等。国内外学者在这一领域已经取得了不错的进展，其中FAIR研究团队将语义分割和实例分割统一起来，利用单一网络同时预测两个子任务，并对特征图进行合并得到全景分割结果。MIT与谷歌合作，使用由下而上的方法，同时实现了实例分割和语义分割的预测，融合两个预测结果得到全景分割。国内的中科院自动化研究所则分别从两个子网络提取关键信息，融合为全景分割。

恶劣天气下图片内车辆较为模糊、弱光照条件下车辆不够清晰、拥堵环境下车辆展示不完整等问题都可以利用全景分割来得到很好的结果。随着城市交通负担的日益加剧，建立高效准确的车辆检测识别系统势在必行，尤其是复杂交通场景下车辆的检测与分割更是有着广阔的应用前景，而且全景分割在自动驾驶辅助领域也有广阔的应用。在实际的交通场景中，摄像头采集到的图像会因各种情况而不是很令人满意，如光照较弱、天气恶劣使得成像模糊等，现有技术在检测这些成像质量较低的图像中车辆时往往表现不佳，不能准确地将这些车辆逐一检测、框选。

发明内容

根据上述提出的在实际的交通场景中，摄像头采集到的图像会因各种情况而不是很令人满意，如光照较弱、天气恶劣使得成像模糊等，现有技术在检测这些成像质量较低的图像中车辆时往往表现不佳，不能准确地将这些车辆逐一检测、框选的技术问题，而提供一种联合角点池化的全景分割实现复杂交通场景下车辆的检测方法。

本发明采用的技术手段如下：

一种基于联合角点池化的复杂交通场景下车辆图像分割方法，包括以下步骤：

步骤S1：获取CamVid目标检测数据集，制作CamVid车辆图像数据集；

步骤S2：选取沙漏网络为基石网络，并搭建神经网络框架；

步骤S3：设计前景分割神经网络，利用多目标角点池化模块对基石网络产生的特征进行处理，生成图片内目标的类别和目标候选框，并利用目标候选框生成感兴趣区域，利用掩膜扫描模块处理基石网络生成的特征，输出前景目标掩膜；

步骤S4：设计背景分割神经网络，将步骤S3生成的感兴趣区域和基石网络生成的特征在区域引导模块中进行融合，融合后的特征由语义分割模块处理，生成背景分割图；

步骤S5：设计损失函数；

步骤S6：利用前背景排序模块对步骤S3得到的前景目标掩膜和步骤S4得到的背景分割图进行融合，得到图像的全景分割结果。

进一步地，所述步骤S1的具体步骤如下：

步骤S11：下载CamVid数据集，分别提取验证数据集、训练数据集和测试数据集中的全部车辆类别图片；

步骤S12：将验证数据集和训练数据集中全部车辆类别图片用于模型训练，测试数据集用来做消融实验。

进一步地，所述步骤S2的具体步骤如下：

步骤S21：选取由两个沙漏模块组成的沙漏网络作为基石网络，且基石网络的输入和输出尺寸均为256*256；

步骤S22：将沙漏网络内的最大池化层替换为3*3的卷积核，降低特征分辨率；

步骤S23：将沙漏网络深度设置为104，采集整个网络最后一层的特征并将其传输到预测模块。

进一步地，所述步骤S5中设计损失函数，所述损失函数的定义如下：

L＝L_cls+L_box+L_mask+λL_sem+L_str

其中，λ为损失函数的超参数，λ＝1；

L_cls为分类损失函数：

上式中，H和W分别是图片的长和宽；(i,j)表示图片内位于第i行，第j列的像素；p_ij为该像素类别的预测值；y_ij为该像素类别的真实值；N为图片内目标总数；α＝2，β＝4，分别为损失函数的超参数；

L_box为目标候选框损失函数：

上式中，k和j表示图片内的第k和j个目标，b_uk为第k个目标的左上角点嵌入矢量，b_dk为第k个目标的右下角点嵌入矢量，b_k和b_j是第k和j个目标中心点的嵌入矢量，为嵌入向量维度，

L_mask为目标掩膜损失函数：

上式中，P_pk为前景掩膜的预测值，P_gk为前景掩膜的真实值；

L_sem为语义分割损失函数：

上式中，p_stuff(l)为语义分割模块得到的第l张图的背景预测值，p_truth(l)为第l张图的背景真实值；

L_str为前背景排序损失函数：

上式中，为第k个目标掩膜的预测得分，S_p(i,j)为掩膜在像素(i,j)处的预测得分，m(i,j)为掩膜在像素(i,j)处的影响系数，S_k(i,j)为掩膜在像素(i,j)处的真实得分，S_gk为第k个目标掩膜的真实得分。

进一步地，所述步骤S6的具体步骤如下：

步骤S61：利用前背景排序模块对步骤S3得到的前景目标掩膜进行排序；

步骤S62：所述前背景排序模块将步骤S4生成的背景分割图放置在最底层；

步骤S63：各前景目标掩膜与背景分割图进行融合，每个前景目标掩膜需要由前背景排序模块在背景分割图中寻找与之对应的位置。

较现有技术相比，本发明具有以下优点：

1、本发明提供的基于联合角点池化的复杂交通场景下车辆图像分割方法，不同于通常全景分割使用特征金字塔网络作为全景分割的基石网络，本发明使用了同一可以获取到图像全局和局部特征的沙漏网络作为全景分割的基石网络。

2、本发明使用自行设计的掩膜扫描模块来提取前景目标的掩膜，可以有效提高掩膜获取的准确性。

3、本发明利用区域引导模块来为语义分割模块生成输入特征，极大地提高了模型对弱光环境、恶劣天气和复杂交通环境的适应能力。

4、本发明利用前背景排序模块来对前背景分支产生的掩膜等特征进行排序，可以有效避免较大目标掩膜完全覆盖较小目标掩膜的问题，提高了全景分割的准确度。

基于上述理由本发明可在图像分割等领域广泛推广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明神经网络训练和检测流程示意图。

图2为本发明神经网络结构图。

图3为本发明掩膜扫描原理图。

图4为本发明区域引导模块结构示意图。

图5为本发明语义分割模块结构示意图。

图6为本发明前背景排序模块结构示意图。

图7为本发明前景扫描模块性能对比图。

图8为本发明区域引导模块性能对比图。

图9为本发明前背景排序模块性能对比图。

图10为本发明实施例正常环境下的全景分割结果图。

图11为本发明实施例在弱光照环境下的全景分割结果图。

图12为本发明实施例有车辆有部分被遮挡条件下的全景分割结果图。

图13为本发明实施例对较小目标的全景分割结果图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

如图1所示，本发明提供了一种基于联合角点池化的复杂交通场景下车辆图像分割方法，重新整合CamVid数据集，之后用沙漏网络提取数据集特征，沙漏网络所生成的特征包含数据集的全局特征和局部特征，这些特征经由前景分割分支和背景分割分支分别处理。在前景分割分支中，特征首先进入多目标角点池化模块处理，得到目标候选框、目标类别标签和感兴趣区域，之后利用掩膜扫描模块扫描出目标的精确掩膜；在背景分割分支中，特征图与多目标角点池化模块生成的感兴趣区域进行融合，之后利用语义分割模块生成背景图。前景分割分支生成的掩膜、目标类别和候选框与背景分割分支生成的背景图在前背景排序模块中进行排序和定位，即可生成全景分割结果。

实施例

本发明提供了一种基于联合角点池化的复杂交通场景下车辆图像分割方法，包括以下步骤：

步骤S1：获取CamVid目标检测数据集，制作CamVid车辆图像数据集；本实施例中，将训练数据集中的367张图片和验证数据集中的101张图片用于训练模型，测试数据集中的233张用于模型的测试。

步骤S2：选取沙漏网络为基石网络，并搭建神经网络框架；本实施例所对应的神经网络结构如图2所示，基石网络用来生成与输入图片相同尺寸的特征图，之后特征图分别经前景分割分支和背景分割分支处理，得到图片内目标的类别、候选框、前景目标掩膜和背景分割图。其中前景目标掩膜需要利用掩膜扫描模块扫描感兴趣区域来获取，背景分割图需要利用语义分割模块处理区域引导模块生成的特征来获取。

步骤S21：选取由两个沙漏模块组成的沙漏网络作为基石网络，且基石网络的输入和输出尺寸均为256*256；

步骤S22：将沙漏网络内的最大池化层替换为3*3的卷积核，降低特征分辨率；

步骤S23：将沙漏网络深度设置为104，采集整个网络最后一层的特征并将其传输到预测模块。

步骤S3：设计前景分割神经网络，利用多目标角点池化模块对基石网络产生的特征进行处理，生成图片内目标的类别和目标候选框，并利用目标候选框生成感兴趣区域，利用掩膜扫描模块处理基石网络生成的特征，输出前景目标掩膜。

本实施例所用的多目标角点池化模块可以利用基石网络生成的特征来获取图片内目标的类别、候选框和感兴趣区域。获取到的目标类别和候选框可直接用于全景分割，感兴趣区域则需要经掩膜扫描模块来获得目标的掩膜。将感兴趣区域传入区域引导模块可以与特征图融合，经语义分割模块处理后产生图片的背景分割图。

本实施例的前景掩膜扫描模块原理如图3所示，感兴趣区域中包含目标候选框的中心点，以该点为扫描起始点，设为A(x₀,y₀)，分别向该A点的四个方向扫描并取点；

步长设为：

其中，L_k和W_k分别是第k个目标候选框的长和宽，在本实施例中ε＝16。如图3所示，输入到前景扫描模块的感兴趣区域经处理后可生成前景目标掩膜。

本实施例的区域引导模块结构示意图如图4所示。多目标角点池化模块生成的感兴趣区域经一个3*3的卷积层后进行批量标准化，之后用线性激活函数处理，与基石网络生成的第i个特征图F_i进行逐元素相乘，产生的结果再与特征图F_i进行逐元素相加后输出S_i。区域引导模块可以非常明显地区分开前背景特征，有利于后续语义分割模块对背景的处理与分割。

步骤S4：设计背景分割神经网络，将步骤S3生成的感兴趣区域和基石网络生成的特征在区域引导模块中进行融合，融合后的特征由语义分割模块处理，生成背景分割图；

本实施例的语义分割模块如图5所示。全局平均池化层将输入到语义分割模块的第i个特征图S_i向量化后分别池化，之后送入对应的3*3卷积层。全局平均池化层增强了特征与对应类别的关系，适用于对卷积特征的处理；同时由于其没有参数需要优化，可以有效地防止过拟合。再对这些特征进行组归一化并经sigmoid激活函数处理后与输入S_i逐元素相乘后输出背景图M_i。

步骤S5：设计损失函数；

所述损失函数的定义如下：

L＝L_cls+L_box+L_mask+λL_5em+L_5p

其中，λ为损失函数的超参数，λ＝1；

L_cls为分类损失函数：

上式中，H和W分别是图片的长和宽；(i,j)表示图片内位于第i行，第j列的像素；p_ij为该像素类别的预测值；y_ij为该像素类别的真实值；N为图片内目标总数；α＝2，β＝4，分别为损失函数的超参数；

L_box为目标候选框损失函数：

上式中，k和j表示图片内的第k和j个目标，b_uk为第k个目标的左上角点嵌入矢量，b_dk为第k个目标的右下角点嵌入矢量，b_k和b_j是第k和j个目标中心点的嵌入矢量，为嵌入向量维度，

L_mask为目标掩膜损失函数：

上式中，P_pk为前景掩膜的预测值，P_gk为前景掩膜的真实值；

L_sem为语义分割损失函数：

上式中，p_stuff(l)为语义分割模块得到的第l张图的背景预测值，p_truth(l)为第l张图的背景真实值；

L_str为前背景排序损失函数：

上式中，为第k个目标掩膜的预测得分，S_p(i,j)为掩膜在像素(i,j)处的预测得分，m(i,j)为掩膜在像素(i,j)处的影响系数，S_k(i,j)为掩膜在像素(i,j)处的真实得分，S_gk为第k个目标掩膜的真实得分。

步骤S6：利用前背景排序模块对步骤S3得到的前景目标掩膜和步骤S4得到的背景分割图进行融合，得到图像的全景分割结果。

步骤S6的具体步骤如下：

步骤S61：利用前背景排序模块对步骤S3得到的前景目标掩膜进行排序；

步骤S62：所述前背景排序模块将步骤S4生成的背景分割图放置在最底层；

步骤S63：各前景目标掩膜与背景分割图进行融合，每个前景目标掩膜需要由前背景排序模块在背景分割图中寻找与之对应的位置。

本实施例的前背景排序模块如图6所示。目标候选框用来确定前景掩膜的最终位置，对各前景掩膜进行打分，同一位置的像素只能属于一个前景掩膜，第k个前景掩膜的分数S_pk计算如下：

其中，H和W为图片的长和宽，S_p(i,j)为位置(i,j)处的像素属于第k个掩膜的预测得分，m_k(i,j)为像素(i,j)属于第k个掩膜的得分，S_k(i,j)为位置(i,j)处的像素属于第k个掩膜的真实得分，M_k表示第k个掩膜。

如图7所示，本实施例还提供了前景掩膜扫描模块使用前后性能变化对比，从图中可以很明显地看出加入前景掩膜扫描模块的神经网络模型具有更好的分割性能。前景掩膜扫描模块相比普通的卷积层可以更加高效准确地为图片内的前景目标建立与其对应的掩膜。根据图11可以直观地看出前景掩膜扫描模块的性能，图11(a)中车辆有部分被灯柱所遮挡，但最终在分割结果中依然显示了完整的车辆掩膜。

如图8所示，本实施例还提供了区域引导模块使用前后性能变化对比，从图中可以明显看出引入区域引导模块后的神经网络模型具有更好的分割性能。区域引导模块可以让语义分割模块所要处理的特征更为明显，对前景掩膜所在区域内的特征给予较少的关注度，对前景掩膜所在区域外的特征给予更高的关注度，提高背景分割图的提取准确率。

如图9所示，本实施例还提供了前背景排序模块使用前后性能变化对比，从图中可以明显看出引入前背景排序模块后的神经网络模型具有更好的分割性能。该模块可以准确地将背景置于最底层，并将不同的前景掩膜放置于不同的图层。当较大车辆前存在一较小车辆，不使用前背景排序模块则该较大目标的掩膜会完全覆盖较小目标的掩膜，使得最终的全景分割结果不准确。引入该前背景排序模块后可以将较小目标的掩膜放置于较大目标掩膜的前面，最终的全景分割结果中就可以同时显示这两个目标，极大地提高了复杂环境下车辆分割的准确性和鲁棒性。

如图10-13所示是本实施例的全景分割结果图，其中，图10为正常环境下的全景分割结果，可以直观地看出该神经网络模型可以准确地对生成不同车辆的前景掩膜，并将背景置于最底层。图11所示为在弱光照环境下的分割，本发明所用的神经网络依然可以准确地生成全景分割结果，说明本发明得网络模型在弱光照环境下依然有着很强得鲁棒性。图12所示为有车辆有部分被遮挡条件下的分割，可以看出左边车辆有部分被灯柱所遮挡，但本发明的网络模型依然准确地将其前景掩膜完整地显示，说明本发明得网络模型可以很好地显示图片内的被遮挡车辆的完整掩膜。图13所示是对较小目标的分割，可以明显地看出图片内的两辆车很小，很容易被误判为图片内不存在车辆而使得分割出错，本发明的网络模型依然完整地显示处理其掩膜，说明本发明的网络模型对小目标也有着很强的检测和分割能力。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims (5)

1.一种基于联合角点池化的复杂交通场景下车辆图像分割方法，其特征在于，包括以下步骤：

步骤S1：获取CamVid目标检测数据集，制作CamVid车辆图像数据集；

步骤S2：选取沙漏网络为基石网络，并搭建神经网络框架；

步骤S3：设计前景分割神经网络，利用多目标角点池化模块对基石网络产生的特征进行处理，生成图片内目标的类别和目标候选框，并利用目标候选框生成感兴趣区域，利用掩膜扫描模块处理基石网络生成的特征，输出前景目标掩膜；

步骤S4：设计背景分割神经网络，将步骤S3生成的感兴趣区域和基石网络生成的特征在区域引导模块中进行融合，融合后的特征由语义分割模块处理，生成背景分割图；

步骤S5：设计损失函数；

步骤S6：利用前背景排序模块对步骤S3得到的前景目标掩膜和步骤S4得到的背景分割图进行融合，得到图像的全景分割结果。

2.根据权利要求1所述的基于联合角点池化的复杂交通场景下车辆图像分割方法，其特征在于，所述步骤S1的具体步骤如下：

步骤S11：下载CamVid数据集，分别提取验证数据集、训练数据集和测试数据集中的全部车辆类别图片；

步骤S12：将验证数据集和训练数据集中全部车辆类别图片用于模型训练，测试数据集用来做消融实验。

3.根据权利要求1所述的基于联合角点池化的复杂交通场景下车辆图像分割方法，其特征在于，所述步骤S2的具体步骤如下：

步骤S21：选取由两个沙漏模块组成的沙漏网络作为基石网络，且基石网络的输入和输出尺寸均为256*256；

步骤S22：将沙漏网络内的最大池化层替换为3*3的卷积核，降低特征分辨率；

步骤S23：将沙漏网络深度设置为104，采集整个网络最后一层的特征并将其传输到预测模块。

4.根据权利要求1所述的基于联合角点池化的复杂交通场景下车辆图像分割方法，其特征在于，所述步骤S5中设计损失函数，所述损失函数的定义如下：

L＝L_cls+L_box+L_mask+λL_sem+L_str

其中，λ为损失函数的超参数，λ＝1；

L_cls为分类损失函数：

上式中，H和W分别是图片的长和宽；(i,j)表示图片内位于第i行，第j列的像素；p_ij为该像素类别的预测值；y_ij为该像素类别的真实值；N为图片内目标总数；α＝2，β＝4，分别为损失函数的超参数；

L_box为目标候选框损失函数：

上式中，k和j表示图片内的第k和j个目标，b_uk为第k个目标的左上角点嵌入矢量，b_dk为第k个目标的右下角点嵌入矢量，b_k和b_j是第k和j个目标中心点的嵌入矢量，为嵌入向量维度，

L_mask为目标掩膜损失函数：

上式中，P_pk为前景掩膜的预测值，P_gk为前景掩膜的真实值；

L_sem为语义分割损失函数：

上式中，p_stuff(l)为语义分割模块得到的第l张图的背景预测值，p_truth(l)为第l张图的背景真实值；

L_str为前背景排序损失函数：

上式中，为第k个目标掩膜的预测得分，S_p(i,j)为掩膜在像素(i,j)处的预测得分，m(i,j)为掩膜在像素(i,j)处的影响系数，S_k(i,j)为掩膜在像素(i,j)处的真实得分，S_gk为第k个目标掩膜的真实得分。

5.根据权利要求1所述的基于联合角点池化的复杂交通场景下车辆图像分割方法，其特征在于，所述步骤S6的具体步骤如下：

步骤S61：利用前背景排序模块对步骤S3得到的前景目标掩膜进行排序；

步骤S62：所述前背景排序模块将步骤S4生成的背景分割图放置在最底层；

步骤S63：各前景目标掩膜与背景分割图进行融合，每个前景目标掩膜需要由前背景排序模块在背景分割图中寻找与之对应的位置。