CN113191367B - 基于密集尺度动态网络的语义分割方法 - Google Patents

Abstract

基于密集尺度动态网络的语义分割方法，解决了现有DCNN在语义分割时定位精度及同类对象的大尺度变化导致分割困难问题，属于语义分割技术领域。本发明提供一种密集尺度模块DSM，包括按顺序依次连接的n层并行单元，每层并行单元包括m个深度动态局部空洞卷积DDLAC和一个1×1卷积；每个DDLAC是通过将深度空洞卷积调整为由动态局部和有条件参数化卷积而生成的，包括条件滤波器生成网络CFGN和对应的动态局部滤波操作单元DLFO；将骨干网输出的特征图输入到每个CFGN中以生成滤波器集合。将骨干网输出的特征图输入到DSM的第一个DLFO中，每个DLFO在对应的滤波器集合的基础上进行分割，经过n层并行单元生成精细的分割图。

Description

基于密集尺度动态网络的语义分割方法

技术领域

本发明涉及基于密集尺度动态网络的语义分割方法，属于语义分割技术领域。

背景技术

语义分割在许多应用中起着重要作用，例如自动驾驶，医学影像，机器人视觉等。尽管基于深度卷积网络(DCNN)的语义分割算法的性能优于传统算法，但仍然面临两个重大挑战：1)大多数DCNN具有空间不变性，这种不变性降低了分割时的定位精度；2)在图像数据中，同类对象的大尺度变化导致分割困难。

当前主流的DCNN由空间域共享的滤波器(权重)组成。它们对局部图像变换具有空间不变性。这种不变性指的是：图像中的对象经过旋转或平移后，仍然能够被DCNN准确识别。这种不变性使得DCNN具有强大的数据抽象能力，非常适合分类任务；但不利于语义分割，因为这会导致分割时的定位精度降低。最近的研究表明，用于语义分割的理想滤波器应在空间上变化，以捕获不同位置的独特特征。而理想的DCNN应该是动态的，它可以将信息从共享空间域DCNN的通道维度转换为空间维度，并自动将不同的滤波器分配给空间维度上的不同对象区域。

物体的大尺度变化是指同一类别物体表现为十分多样的尺寸，大小差别极大。这是由于物体到相机的距离不同而引起的。这导致难以分割过大的或极小物体。大物体可能会超出DCNN的感受野，从而导致不连续的预测。小物体在感受野中的占比非常小，导致在感受野内看不见。

发明内容

针对现有DCNN在语义分割时定位精度及同类对象的大尺度变化导致分割困难问题，本发明提供一种基于密集尺度动态网络的语义分割方法。

本发明的一种基于密集尺度动态网络的语义分割方法，包括：

S1、将待分割的语义图像输入至骨干网中，得到特征图x_A；

S2、将特征图输入至密集尺度模块DSM对输入图像进行语义分割，获取最终分割图，包括：

所述密集尺度模块DSM包括按顺序依次连接的n层并行单元，每层并行单元包括m个深度动态局部空洞卷积和一个1×1卷积，每层并行单元的输出为m个深度动态局部空洞卷积DDLAC的输出与1×1卷积的乘积；每个深度动态局部空洞卷积DDLAC包括条件滤波器生成网络CFGN和动态局部滤波操作单元DLFO；

特征图x_B输入至深度动态局部空洞卷积DDLAC的动态局部滤波操作单元DLFO中，第1层并行单元的深度动态局部空洞卷积DDLAC中输入的特征图x_B为所述特征图x_A，第2层至第n层并行单元的深度动态局部空洞卷积DDLAC中输入的特征图x_B为前一层并行单元的输出；

特征图x_A同时输入至各深度动态局部空洞卷积DDLAC的条件滤波器生成网络CFGN中，每个条件滤波器生成网络生成形状为(K_h×K_ω，H，W，C_B)的动态局部滤波器集合F，实现动态获取不同的滤波器；

每个深度动态局部空洞卷积DDLAC利用动态局部滤波操作单元DLFO从特征图x_B中提取出形状为(H，W，C_B，K_h×K_ω)的数据块，并与相对应的条件滤波器生成网络CFGN生成的动态局部滤波器集合F进行相乘，作为深度动态局部空洞卷积DDLAC的输出；

K_h表示滤波器内核高度，K_ω表示滤波器内核宽度，H表示特征图x_B的高度，W表示特征图x_B的宽度，C_B表示特征图x_B的通道数。

第n层并行单元的输出为最终分割图。

作为优选，所述条件滤波器生成网络CFGN生成动态局部滤波器集合F的过程包括：

根据特征图x_A生成类别概率图P_A：

α_i，j，n表示P_A中的元素，N表示感受野的数量；

初始化滤波器生成形状为(K_h，K_ω，C_B，N)的可学习滤波器集F_L，F_L(c，n)表示可学习滤波器集F_L中形状为(K_h，K_ω)的滤波器，c∈{1，2，…，C_B}；

使用α_i，j，n参数化相应的滤波器F_L(c，n)来生成条件动态局部滤波器F(i，j，c)：

i∈{1，2，…，H}，j∈{1，2，…，W}；

所有条件动态局部滤波器F(i，j，c)组成形状为(K_h×K_ω，H，W，C_B)的动态局部滤波器集合F。

作为优选，

其中，Sample(·)表示采样操作，Softmax(·)表示回归模型，

表示1×1的卷积。

作为优选，所述动态局部滤波操作单元DLFO从特征图x_B中提取出数据块，并与相对应的条件滤波器生成网络CFGN生成的动态局部滤波器集合F进行相乘的过程包括：

提取特征图x_B中每个像素x_B(i，j，c)的带洞图像块Pat(i，j，c)，Pat(i，j，c)具有K_h×K_ω个元素，Pat(i，j，c)中的元素为：

其中x(·)表示Pat(i，j，c)中的元素，r_h表示带洞率的高度，r_ω表示带洞率的宽度；

所有带洞图像块Pat(i，j，c)形成形状为(H，W，C_B，K_h×Kω)的数据块Pat，该数据块Pat与形状为(K_h×K_ω，H，W，_CB)的动态局部滤波集F的乘积为：

Output＝Pat·F。

作为优选，n为至少大于2的整数，m为至少大于5的整数。

本发明的有益效果：本发明提出了一个密集尺度的动态网络(DsDNet)，包括一个密集尺度模块(DSM)和一个骨干网，可以动态地将不同的滤波器分配给不同的类对象区域，减轻定位精度降低的问题；并且可以生成比大多数多尺度方法(例如：空洞金子塔结构(ASPP)和DenseASPP)更密集的尺度和更大的感受野，解决了同类目标对象大尺度变化导致的分割困难问题。

附图说明

图1是本发明的原理示意图；

图2中，(a)是密集尺度模块的原理示意图，(b)为图1简化版本，从不同的DDLAC得到的多重尺度特征被重复融合；

图3中，(a)是DDLAC中CFGN的原理示意图，(b)是DDLAC的DLFO的原理示意图；

图4是本发明与对照方法对ADE20K数据集进行语义分割后的对比，其中(a)是输入的语义图像，(b)是正确分割图，(c)是对照方法的分割效果图，(d)是本发明的方法分割的效果图。

图5是本发明的DDLAC与空洞可分卷积ASC对比，其中(a)是输入的语义图像，(b)是利用空洞可分卷积ASC获得结果，(c)是本发明的DDLAC获得的结果。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

本发明的一种基于密集尺度动态网络的语义分割方法，包括：

步骤一、将待分割的语义图像输入至骨干网中，得到特征图；

步骤二、将特征图输入至密集尺度模块DSM对输入图像进行语义分割，获取最终分割图，包括：

本实施方式的密集尺度模块DSM包括按顺序依次连接的n层并行单元，每层并行单元包括m个深度动态局部空洞卷积和一个1×1卷积，每层并行单元的输出为m个深度动态局部空洞卷积DDLAC的输出与1×1卷积的乘积；每个深度动态局部空洞卷积DDLAC包括条件滤波器生成网络CFGN和动态局部滤波操作单元DLFO；

特征图x_B输入至深度动态局部空洞卷积DDLAC的动态局部滤波操作单元DLFO中，第1层并行单元的深度动态局部空洞卷积DDLAC中输入的特征图x_B为所述特征图x_A，第2层至第n层并行单元的深度动态局部空洞卷积DDLAC中输入的特征图x_B为前一层并行单元的输出；

特征图x_A同时输入至各深度动态局部空洞卷积DDLAC的条件滤波器生成网络CFGN中，每个条件滤波器生成网络生成形状为(K_h×K_ω，H，W，C_B)的动态局部滤波器集合F，实现动态获取不同的滤波器；

每个深度动态局部空洞卷积DDLAC利用动态局部滤波操作单元DLFO从特征图x_B中提取出形状为(H，W，C_B，K_h×K_ω)的数据块，并与相对应的条件滤波器生成网络CFGN生成的动态局部滤波器集合F进行相乘，作为深度动态局部空洞卷积DDLAC的输出；

K_h表示滤波器内核高度，K_ω表示滤波器内核宽度，H表示特征图x_B的高度，W表示特征图x_B的宽度，C_B表示特征图x_B的通道数。

第n层并行单元的输出为最终分割图。

本实施方式的步骤一中，可采用HRNet或ResNet作为DsDNET的骨干网。来自骨干网的输出特征图输入到三个分支中。第一个分支是在训练阶段，利用辅助损失函数在逐像素交叉熵损失的监督下提高骨干网输出特征图的质量，以获得更好的对象类概率。其目的在于改进特征图以在第二分支中更好地产生滤波器。第二分支将特征图输入到DSM中每个DDLAC的条件滤波器生成网络(CFGN)中以生成滤波器集合。在第三分支中，将特征图输入到DSM的第一层并行单元的DDLAC中，并通过DDLAC的一系列动态局部滤波操作(DLFO)生成精细的分割图。

密集尺度模块DSM中，让x代表输入特征图，y_n代表来自DSM的第n个并行结构的输出特征图。输出特征图y_n，y_n-1，…，y₂和y₁可以表示如下：

其中

和

分别表示第n个并行结构中的1×1卷积和DDLAC，并且1＝r₁≤r₂…≤r_m。m表示每个并行结构中的DDLAC的数量，n表示并行结构的数量，r₁、r₂…r_m表示每个DDLAC的带洞率。在这项工作中，所有DDLAC都是正方形滤波器，因此DDLAC的滤波器内核大小为K＝K_h＝K_w，K_h表示内核高度，K_w表示内核宽度，并且带洞率为r＝r_h＝r_ω，r_h表示带洞率的高度，r_ω表示带洞率的宽度。

如果删除所有1×1卷积和快速连接，DSM将简化为图3(b)的版本。其核心是将来自不同感受野的特征图进行反复融合。

DSM可以生成超密集尺度和大的感受野。具体而言，DDLAC的感受野大小受其内核大小和带洞率控制。对于具有带洞率r和内核大小K的DDLAC，其感受野大小为：

R＝(r-1)×(K-1)+K.

将两个DDLAC串联在一起可以产生更大的感受野。假设本实施方式串联两个DDLAC，其感受野大小分别为R₁R1和R₂R2，新的感受野大小为：

R₃＝R₁+R₂-1

DSM生成的不同感受野的数量为：

N＝mⁿ

最大感受野大小R_max为：

其中u表示第u个并行结构。随着m和n的增加，本实施方式的DSM将通过超密集感受野提取超高密度特征。

深度动态局部空洞卷积(DDLAC)是通过将深度空洞卷积调整为由动态局部和有条件参数化卷积而生成的。它由条件滤波器生成网络(CFGN)和动态局部滤波操作(DLF0)组成。具体为：

空洞卷积可以在不增加参数的情况下任意改变其感受野大小。考虑到三维深度空洞卷积，形状为(H，W，C_B)的输入特征图x_B中像素x(i，j，c)的空洞卷积输出y(i，j，c)定义为：

其中r_h和r_ω是带洞率的高度和宽度；H，W和C_B是x_B的高度，宽度和通道数；F(l，b，c)表示在位置(l，b)且内核高度为K_h且宽度为K_ω的滤波器F(c)。另外，i∈{1，2，…，H}，j∈{1，2，…，W}，l∈{-(K_h-1)/2，1-(K_h-1)/2，…，(K_h-1)/2}，b∈{-(K_ω-1)/2，1-(K_ω-1)/2，…，(K_ω-1)/2}，并且c∈{1，2，…，C_B}。由所有滤波器F(c)组成滤波器集F。因为F的深度属性，从而具有形状(K_h，K_ω，D₁＝1，D₂＝1，C_B)而不是(K_h，K_ω，D₁＝1，D₂＝1，C_B，C_o)，D₁表示在空间维的高度维上使用滤波器的数量，D₂表示在空间维的宽度维上使用滤波器的数量。C_o代表深度滤波器组的数量。假设D₁＝1和D₂＝1，这表示在所有通道的空间域中共享一个滤波器。假设D₁＝H且D₂＝W，表示滤波器在不同的空间位置上是变化的。

如果本实施方式的滤波器集F为动态局部滤波器集，即D₁＝H和D₂＝W，则DDLAC可表示为：

其中F(l，b，i，j，c)表示滤波器F(i，j，c)在(l，b，i，j，c)处的参数，F(i，j，c)∈F。

本实施方式的DDLAC中的条件滤波器生成网络CFGN生成动态局部滤波器集合F的过程包括：

如图3(a)所示，根据特征图x_A生成类别概率图P_A，x_A是骨干网的输出特征图。假设在语义分割任务中要分割N个类别，本实施方式使用x_A粗略地预测每个像素的类概率。具体来说，通过采样(上采样或下采样)，卷积和Softmax运算使x_A成为类概率图P_A：

其中，Sample(·)表示采样操作，目的是将特征图x_A的高度和宽度采样成与图4(b)所示的另一个特征图x_B的高度和宽度相同；Softmax(·)表示回归模型，

表示1×1的卷积，目的是将x_A的通道数减少到N。这样，P_A的形状就为(H，W，N)。

α_i，j，n表示P_A中的元素，N表示感受野的数量；

初始化滤波器生成形状为(K_h，K_ω，C_B，N)的可学习滤波器集F_L，F_L(c，n)表示可学习滤波器集F_L中形状为(K_h，K_ω)的滤波器，c∈{1，2，…，C_B}；

使用α_i，j，n参数化相应的滤波器F_L(c，n)来生成条件动态局部滤波器F(i，j，c)：

i∈{1，2，…，H}，j∈{1，2，…，W}；

所有条件动态局部滤波器F(i，j，c)组成形状为(K_h×K_ω，H，W，C_B)的动态局部滤波器集合F。

为实现DDLAC的卷积滤波运算，本实施方式中动态局部滤波操作单元DLFO从特征图x_B中提取出数据块，并与相对应的条件滤波器生成网络CFGN生成的动态局部滤波器集合F进行相乘的过程包括：

需要提取输入特征图x_B中每个像素x_B(i，j，c)的带洞图像块Pat(i，j，c)。它可以通过图像块提取操作来实现，如图3(b)所示。Pat(i，j，c)具有(K_h×K_ω)个元素，可以用矩阵描述为：

其中x(·)表示Pat(i，j，c)中的元素，r_h表示带洞率的高度，r_ω表示带洞率的宽度，元素x(·)中的第一项在每列中随着行数的增加加1，第二项在每行中随着列数的增加加1，第三项不随行数、列数的变化而改变；

所有带洞图像块Pat(i，j，c)形成形状为(H，W，C_B，K_h×K_ω)的数据块Pat，该数据块Pat与形状为(K_h×K_ω，H，W，C_B)的动态局部滤波集F的乘积为：

Output＝Pat·F (6)

其中Output是DDLAC的输出特征图，其形状为(H，W，C_B)。

本实施方式在TensorFlow框架上实现本实施方式的方法，并在配备有两个Inteli7-4960x CPU，两个32GB内存和8块NVIDIA GTX Geforce 1080Ti GPU的工作站上进行了训练。在训练中，初始学习率设置为0.01，乘以

以实现随着迭代次数的增加不断衰减。优化器是使用没有权重衰减的Adam。将最终损失函数的权重设置为1，将辅助损失函数的权重设置为0.4，以提高粗分类概率。ImageNet用于预训练本实施方式的骨干网。HRNetV2-W48用作所有三个数据集的骨干网。为了进行比较，ResNet101也用作ADE20K数据集的骨干网。

在训练阶段，将输入图像随机翻转并从0.5缩放到2.0进行数据增强。输入图像的裁剪大小在Cityscapes和ADE20K上为1024×1024，在PASCAL VOC 2012上为512×512。批处理大小为8。

HRNetV2-W48的头部由两个stride-23×3卷积组成，将输入图像分辨率降低到1/4。对于PASCAL VOC 2012，本实施方式对其进行了修改，使其包含了stride-13×3和stride-23×3，仅将分辨率降低到1/2。因此，对于三个数据集，输入到DDLAC中的特征图的大小均为256×256。

CPU用于推断，在尺度(0.5；0.75；1；1.25；1.5；1.75；2)上的平均预测分割图作为最终的预测图。使用平均交并比(mIoU)作为分割精度评价标准。

之后本实施方式与最先进的Cityscapes做比较。Cityscapes数据集是一个城市场景基础数据集，其中包含5000个高质量像素级别的精细注释图像和20000个粗略注释图像。共有30个类别，同时只有19个类别用于语义分割。而精细注释的图像集由2975、500和1525高分辨率(2048×1024)的街道场景图像组成，分别用于训练，验证和测试。粗略注释的图像集只能用于训练。另外，在本实施方式的实验中，Mapillary Vistas数据集也用于预训练从而与最先进的方法进行比较。

通过Subsec中详细的参数研究，本实施方式选择了性能最佳的DsDNet与其他最先进方法进行比较。在使用粗略注释的图像集或Mapillary Vistas数据集训练模型的情况下，本实施方式将模型的结果与其他最新先进的模型的结果在Cityscapes测试集上进行了比较。表1展示了本实施方式的方法获得了最先进的效果。很明显，在包括人行道，建筑，杆子，交通信号灯，交通标志，植被，地形，人，汽车，卡车，公共汽车和自行车的12个类别排名第一。这些类中的大多数要么是小对象类，要么是大对象类，或者是少数类。图5也直观地显示了本实施方式的方法比DenseASPP更能区分杆子，交通信号灯，公共汽车，人行道和边界区域。本实施方式的详细结果可在官方匿名结果网站上找到。

表1

本实施方式与最先进的PAS-CAL VOC 2012做比较。PASCAL VOC 2012是用于语义分割的基准数据集，具有21个对象类和一个背景类。它最初包含用于训练的1464张图像，用于验证的1449张图像和用于测试的1456张图像。该数据集通过额外的注释进行了扩充，最终产生了10582张用于训练的图像。在没有对MS-COCO数据集进行预训练的情况下，本实施方式将模型的结果与那些高级模型在PASCAL VOC 2012测试集上进行了比较。表2显示，本实施方式方法产生的mIOU为86.1％，可以在网站上找到它，并取得了较高的准确性。具体而言，在瓶子，椅子，桌子，马，摩托车，人，沙发，火车和电视这9类中排名第一。本实施方式也将在本实施方式再MS-COCO上进行预训练的方法的分割结果提交给官方评估服务器。mIoU为88.7％，可在网站上找到。

表2

本实施方式与最先进的ADE20K做比较。ADE20K数据集是一个挑战场景解析的数据集，包含了150个类，由20K/2K/3K图像组成，分别用于训练，验证和测试。表3记录了不同方法在ADE20K验证集上的结果。它表明本实施方式的有骨干网(ResNet101或HRNetV2-48)的DSM的表现要优于其他方法。此外，图4还表明，本实施方式的方法在分割属于小类且同时也是少数类的杆子方面要优于CaC-Net。

表3

本实施方式用ASPP和DenseASPP中的DDLAC替换了空洞可分卷积(ASC)，并用DSM中的ASC替换了DDLAC。对于DSM，本实施方式选择了最佳性能设置。对于ASPP，本实施方式使用两个版本：ASPP-1和ASPP-2。ASPP-1包含具有卷积速率的四个卷积(6、12、18、24)。ASPP-2由1×1卷积和三个具有膨胀率的卷积组成(6、12、18)。本实施方式使用HRNetV2-W48作为骨干网。ASC和DDLAC的核大小相同，为3×3。本实施方式找Cityscapes验证集进行了性能比较。每个模型都在Cityscapes训练集中进行了10万次迭代训练。

从表4中可以看出，本实施方式的DDLAC优于ASC。具体而言，用ASPP-1，ASPP-2和DenseASPP中的DDLAC代替ASC可使结果分别提高约0.4％，0.3％和0.6％的mIoU。用DSM中的ASC替换DDLAC会使结果恶化约0.6％。本实施方式的DSM优于DenseASPP 1.3％。

表4

本实施方式在Cityscapes验证集进行消融研究。通过参考ASPP和DenseASPP中空洞卷积的膨胀率，本实施方式将DSM中DDLAC的膨胀率设置为(1,3,6,12,18,24...)。实验设计的目的是为了研究DSM中n和m的值逐渐增加时DDCNet的性能。每个具有不同设置n，m和膨胀率的DDCNet在Cityscapes训练集上进行10万次迭代训练。表5显示了对Cityscapes验证集的评估结果。在一个训练步骤(梯度更新)上花费的运行时间(以秒为单位)用于衡量计算效率。

如表5所示，最佳结果来自m＝6，n＝5和膨胀率(1,3,6,12,18,24)的设置。排名第二的结果来自m＝7，n＝4和膨胀率(1、3、6、12、18、24、30)的设置。

表5

本实施方式的实证分析如下。由于输入到DDLAC的特征图的大小为256×256，因此大于256的大小的感受野将在输入的特征图之外提取信息，从而失去精确捕获特征的能力。当m＝6和n＝5时，最大感受野大小为244，并且不同尺度的数目为7776。当m＝7和n＝4时，最大感受野大小为243，并且不同尺度的数目为2401。两种设置都具有良好的效果，这是因为它们的最大感受野大小都小于256，以及它们的密度尺度。因为m＝6和n＝5的设置具有比m＝7和n＝4的设置更大的尺度，所以具有更好的结果。当设置m＝6且n<5或设置m＝7且n<4时，相应模型中的最大感受野大小和不同尺度的数目可能都不够，这会导致结果稍差。当设置m＝6且n>5或设置m＝7且n>4时，许多感受野大于256，这也会使模型的性能恶化。当设置m<6和r_i<24时，具有不同膨胀率的DDLAC的多样性不足以提取场景图像中足够的上下文特征，这也会导致结果稍差。另外，表5显示，随着m和n值的增加，模型的大小和运行时间正在缓慢增加。因此，本实施方式的模型可以设置相对较大的m和n值。但是，当m>7且n>3或m＝7且n>6时，GPU的内存无法承受。

虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其它所述实施例中。

Claims (4)

1.一种基于密集尺度动态网络的语义分割方法，其特征在于，所述方法包括：

S1、将待分割的语义图像输入至骨干网中，得到特征图x_A；

S2、将特征图输入至密集尺度模块DSM对输入图像进行语义分割，获取最终分割图，包括：

所述密集尺度模块DSM包括按顺序依次连接的n层并行单元，每层并行单元包括m个深度动态局部空洞卷积和一个1×1卷积，每层并行单元的输出为m个深度动态局部空洞卷积DDLAC的输出与1×1卷积的乘积；每个深度动态局部空洞卷积DDLAC包括条件滤波器生成网络CFGN和动态局部滤波操作单元DLFO；

特征图x_B输入至深度动态局部空洞卷积DDLAC的动态局部滤波操作单元DLFO中，第1层并行单元的深度动态局部空洞卷积DDLAC中输入的特征图x_B为所述特征图x_A，第2层至第n层并行单元的深度动态局部空洞卷积DDLAC中输入的特征图x_B为前一层并行单元的输出；

特征图x_A同时输入至各深度动态局部空洞卷积DDLAC的条件滤波器生成网络CFGN中，每个条件滤波器生成网络生成形状为(K_h×K_ω,H,W,C_B)的动态局部滤波器集合F，实现动态获取不同的滤波器；

每个深度动态局部空洞卷积DDLAC利用动态局部滤波操作单元DLFO从特征图x_B中提取出形状为(H,W,C_B,K_h×K_ω)的数据块，并与相对应的条件滤波器生成网络CFGN生成的动态局部滤波器集合F进行相乘，作为深度动态局部空洞卷积DDLAC的输出；

K_h表示滤波器内核高度，K_ω表示滤波器内核宽度，H表示特征图x_B的高度，W表示特征图x_B的宽度，C_B表示特征图x_B的通道数；

第n层并行单元的输出为最终分割图；

所述条件滤波器生成网络CFGN生成动态局部滤波器集合F的过程包括：

根据特征图x_A生成类别概率图P_A；

α_i,j,n表示P_A中的元素,表示感受野的数量；

初始化滤波器生成形状为(K_h,K_ω,C_B,N)的可学习滤波器集F_L，F_L(c,n)表示可学习滤波器集F_L中形状为(K_h,K_ω)的滤波器，c∈{1,2，...，C_B}；

使用α_i,j,n参数化相应的滤波器F_L(c,n)来生成条件动态局部滤波器F(i,j,c)：

i∈{1,2，...，H}，j∈{1,2，...，W}；

所有条件动态局部滤波器F(i,j,c)组成形状为(K_h×K_ω,H,W,C_B)的动态局部滤波器集合F；

其中，Sample(·)表示采样操作，Softmax(·)表示回归模型，

表示1×1的卷积；

所述动态局部滤波操作单元DLFO从特征图x_B中提取出数据块，并与相对应的条件滤波器生成网络CFGN生成的动态局部滤波器集合F进行相乘的过程包括：

提取特征图x_B中每个像素x_B(i,j,c)的带洞图像块Pat(i,j,c)，Pat(i,j,c)具有K_h×K_ω个元素，Pat(i,j,c)中的元素为：

其中x(·)表示Pat(i,j,c)中的元素，r_h表示带洞率的高度，r_ω表示带洞率的宽度；

所有带洞图像块Pat(i,j,c)形成形状为(H,W,C_B,K_h×K_ω)的数据块Pat，该数据块Pat与形状为(K_h×K_ω,H,W,C_B)的动态局部滤波集F的乘积为：

Output＝Pat·F。

2.根据权利要求1所述的一种基于密集尺度动态网络的语义分割方法，其特征在于，n为至少大于2的整数，m为至少大于5的整数。

3.根据权利要求1所述的一种基于密集尺度动态网络的语义分割方法，其特征在于，所述S1中的骨干网利用分割的语义图像与对应特征图组成的训练集进行训练，训练时，利用辅助损失函数，在逐像素交叉熵损失的监督下骨干网输出的特征图。

4.根据权利要求3所述的一种基于密集尺度动态网络的语义分割方法，其特征在于，所述骨干网采用高分辨率网络HRNet或残差网络ResNet实现。

Images