CN110599534B - 适用于2d卷积神经网络的可学习引导滤波模块和方法 - Google Patents

Abstract

一种适用于2D卷积神经网络的可学习引导滤波模块和方法，在所述引导滤波模块中，对于由输入的原始引导图获得的导向引导图，将每一个导向引导图与向指定方向进行位移后的原始特征图进行逐像素点的相乘操作，并将所有方向乘积结果进行求和，获得处理后的特征图，与原始特征图相比，其是以导向引导图为权重，对不同方向位移后的特征图进行加权求和的结果，从而实现引导滤波。

Description

适用于2D卷积神经网络的可学习引导滤波模块和方法

技术领域

本发明涉及双目深度估计领域，尤其是一种适用于2D卷积神经网络的可学习引导滤波模块和方法。

背景技术

双目深度估计(Binocular depth estimation)任务是根据校准后的双目相机拍摄的两张双目图像，获得场景深度图的过程，在自动驾驶、活体检测、三维重建等领域具有广泛的应用。视差是两张双目图片上对应点的像素距离，视差与深度存在反比关系，因此深度估计任务可以转化为视差匹配任务，深度图与视差图存在对应关系。如图1所示，双目深度估计任务就是要寻找一个计算模型，根据输入的左右目图像估计出左图(或右图)的深度图。

例如由哈佛大学和百度联合设计的GANet算法(Zhang F,Prisacariu V,Yang R,et al.GA-Net:Guided Aggregation Net for End-to-end Stereo Matching[C]//Proceedings of the IEEE Conference on Computer Vision and PatternRecognition.2019:185-194.)，由特征提取块、代价聚合模块、用于生成代价权重的引导子网和视差回归模块。左右图像被送进一个孪生的特征提取网络，该网络由沙漏网络堆叠而成，用提取的左右图像特征计算代价块(cost volume)，送进代价聚合块中进行正则化，细化和视差回归，引导子网络(绿色)为引导成本聚合过程生成权重矩阵(SGA和LGA)，采用多个SGA层进行成本聚合，LGA层可以在视差回归的softmax层前后实现。所得到的视差图具有较锐利的边缘和平滑的平面。

现有常用的视差匹配算法有两种，一种是基于回归的视差匹配方式，这种算法直接使用类似分割的网络模型，采用ResNet等基础网络进行特征提取，这种方法全程使用2D卷积实现，具有较快的运行速度，但是准确率不高，例如Monodepth等；另一种方案是采用模仿传统方案的视差分类结构，这种结构一般使用2D孪生结构提取左右图像的特征，然后使用提取到的特征构建代价块(Cost Volume)，再使用若干3D卷积对三维代价块进行视差回归，这种方案准确率高，但是计算开销大，难以应用在车载芯片等平台上，这种方法的代表是GCNet、PSMNet和GANet等。GANet中使用SGA与LGA进行引导聚合，模拟SGM算法中的动态规划过程，但是这些层都是作用在3D代价块上，而3D代价块的卷积操作对于车载芯片等嵌入式产品是无法承担的计算开销。

引导滤波(导向图滤波)是一种图像滤波技术，通过一张引导图G，对目标图像P(输入图像)进行滤波处理，使得最后的输出图像大体上与目标图像P相似，但是纹理部分与引导图G相似。其典型应用有两个：保边图像平滑，抠图。

以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

本发明的主要目的在于提供一种适用于2D卷积神经网络的可学习引导滤波模块和方法，至少解决现有的基于回归的全2D深度估计算法得到的深度图存在轮廓不清晰、平面不光滑，细节不完整、准确率不高的问题。

为实现上述目的，本发明采用以下技术方案：

一种适用于2D卷积神经网络的可学习引导滤波模块，在所述引导滤波模块中，对于由输入的原始引导图转换获得的导向引导图，使每一个导向引导图对应于特征图的向指定方向的位移操作，将每一个导向引导图与相对应方向位移后的特征图进行逐像素点的相乘操作，并将所有方向乘积结果进行求和，获得处理后的特征图，其是以导向引导图为权重，对不同方向位移后的特征图进行加权求和的结果，从而实现引导滤波。

进一步地：

设定引导半径r，对应的引导窗口宽度为w＝2*r+1，以确定引导滤波的范围。

引导窗口选择5*5大小，基础网络输出的最终结果为2*H*W维的特征图，2表示左右视差图有两张，或者两个通道，H为图像的高，W为图像的宽，对应的导向引导图为50张，每一张导向引导图与对应通道及位移的特征图进行相乘。

对于待处理的特征图F，维度为C*H*W，特征图的位移方向为d，D表示位移方向的集合，F向指定方向进行位移后的结果为

其中，位移操作以特征图大小为窗口，将特征图向位移方向滑动，滑出窗口的像素点丢弃，新加入窗口的像素点补零，最终的结果为各个方向的导向引导图ω(d)与该方向位移后的特征图

的逐点相乘，表示为

并将得到的所有特征图求和的结果Fd(p)，表示为公式1：

其中p代表特征图或导向引导图上一点。

原始引导图通过以下方式中的一种或多种获取：直接使用输入图片，送进网络中提取；使用中间层特征图；使用图片与上采样后的特征图concat在一起后的特征图；使用沙漏网络中间层的多级特征。

导向引导图具有原始图像梯度信息。

所述引导滤波模块是一系列串联的2D卷积网络。

一种适用于2D卷积神经网络的可学习引导滤波方法，使用所述的可学习引导滤波模块实现引导滤波。

一种全2D卷积神经网络，具有所述的可学习引导滤波模块。

一种2D深度估计系统，包括concat模块，导向引导图提取模块、ResNet模块、以及所述可学习引导滤波模块,用于实现全2D双目深度估计；

优选地，其中引导图来源为由所述concat模块concat到一起的左右图像，所述导向引导图提取模块中包含以多个卷积模块，除最后一个卷积模块Conv5只有卷积层之外，每个卷积模块由卷积层、BN层和ReLU层串联而成，所有卷积层的卷积核大小为3，填充和步长均为1，通道数的设置采用先增后减，最后增加为导向引导图的个数；

其中，在得到导向引导图之后，通过所述可学习引导滤波模块，将导向引导图与最后一层输出的特征图进行作用，使用导向引导图对不同方向位移后的特征图进行加权求和，获得滤波后的结果图。

一种在全2D卷积神经网络中训练引导滤波模块的方法，包括以下三步：

1)在加入引导滤波模块之前，首先训练基础网络架构，让模型充分学习；

2)在训练好的基础模型中加入所述的可学习引导滤波模块，并固定基础模型的参数，以训练基础模型时四分之一到二分之一的学习率训练2D可学习引导滤波模块，并训练第一阶段的三分之一轮次；

3)将模型中所有参数解除固定，以第一阶段学习率的四分之一进行微调，直到充分学习数据集中的信息。

本发明具有如下有益效果：

本发明设计了一种可学习引导滤波模块和方法，对于由输入的原始引导图转换得到的导向引导图，将每一个导向引导图与向指定方向进行位移后的原始特征图进行逐像素点的相乘操作，并将所有方向乘积结果进行求和，获得处理后的特征图，与原始特征图相比，其是以导向引导图为权重，对不同方向位移后的特征图进行加权求和的结果，从而实现引导滤波，克服现有技术的缺陷。本发明的可学习引导滤波模块可以方便地嵌入到需要保持边缘和补充细节特征的端到端深度学习任务中，在深度估计领域，全2D深度估计网络加入本模块后可以嵌入到芯片中，实现快速运行的双目深度估计算法(可基于回归估计路线)，将引导滤波改造成为可学习模式，对于细小结构、物体边缘和光滑平面情况具有较大的改善，且适用于深度估计或语义分割等全2D网络结构中，补充原图信息，在保证运行速度的情况下提高预测质量，是嵌入式设备中的一种高性能方案。

本发明实施例的优势至少具体体现在如下方面：

1)设计了一种2D可学习引导滤波模块/方法，使用位移特征图的加权求和方式模拟传统引导滤波结构，该模块可以方便地嵌入到任何需要补充原图信息的任务中，可以起到锐利边缘和平滑平面等作用；

2)将所涉及的可学习引导滤波模块嵌入到全2D深度估计框架中，在保证速度的同时提高了模型的预测准确率，使得基于深度学习的双目估计任务在芯片中的实时应用成为可能。

3)提出了一种三步走的训练策略，有效训练模块化的引导滤波结构。

附图说明

图1为双目深度估计任务示意图。

图2为本发明实施例可学习引导滤波模块的引导滤波详细过程。

图3为本发明实施例可学习引导滤波模块的特征图位移操作。

图4为本发明实施例可学习引导滤波模块嵌入全2D卷积神经网络的结构示意图。

具体实施方式

以下对本发明的实施方式作详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

本发明的实施例提供一种可学习引导滤波模块及其在全2D卷积神经网络中的应用方案：

基础网络模块

可学习引导滤波模块以模块的形式嵌入在全2D模型结构中，如Monodepth等2D双目视差估计算法，或以UNet等为基础的语义分割算法中。在Monodepth中，因为其本身为无监督模型，为了获得端到端的有监督深度估计网络，可以将模型编码器的第一层卷积的输入通道数从3变为6，然后将输入图片经过通道方向的concat操作送入网络，以稀疏或稠密深度图进行约束。

可学习引导滤波

引导滤波器在图像重建中具有保持边缘的作用，可用于降噪去雾、细节平滑和联合采样等任务中。引导滤波器使用引导图G作为滤波核对图像I进行滤波操作，使得滤波后的结果图I’能够获得引导图G的梯度。

对于端到端深度学习方法的图像处理任务，例如语义分割、双目深度估计等任务，这些任务中输入图与标签图存在像素级别的对应关系，而且预测结果的好坏很大程度上取决于对物体边界的探测准确度与平滑区域中噪声的强度。而引导滤波在这些任务中可以担任边界探测器的任务，直接将图片中的梯度信息传递到最终的预测结果中，作为预测结果的后处理单元使用。

本发明实施例的可学习引导滤波模块是作为基础网络的辅助模块使用的。

以全2D双目深度估计任务为例，可学习引导滤波模块本质上为一系列串联的2D卷积网络，将引导图输入到该模块中，可以获得导向引导图，每一个导向引导图对应于特征图的向特定方向的位移操作，然后将每一张导向引导图与相对应方向位移后的特征图进行逐像素点的相乘操作，并将所有方向乘积结果进行求和，这样一来，获得处理后的特征图就是以导向引导图为权重，对不同方向位移后的特征图进行加权求和的结果，可以起到引导滤波的效果。该引导滤波过程如图2所示。

在一些实施例中，引导半径r为1，2，3，对应的引导窗口w＝2*r+1大小为3*3、5*5或7*7等，引导半径即为引导滤波的范围，半径越大，滤波范围越大，能过滤的噪声区域也就越大，但是计算开销也会相应增加。优选地，引导窗口选择5*5大小。以5*5大小的引导窗口为例，基础网络输出的最终结果为2*H*W维的特征图(视差图)，这里的2表示左右视差图有两张，或者两个通道，H表示图像的高，W表示图像的宽，那么对应的导向引导图为2*5*5＝50张，每一张导向引导图与对应通道及位移的特征图进行相乘。

设需要处理的特征图为F，维度为C*H*W，特征图的位移方向为d＝(dh,dw)，D表示位移方向的集合，例如，引导半径为1的窗口D＝{(-1,-1),(-1,0),(-1,1),(0,-1),(0,0),(0,1),(1,-1),(1,0),(1,1)}特征图F向指定方向进行位移后的结果为

以d＝(1,1)为例，特征图的位移操作如图3所示，该位移操作以特征图大小为窗口，将特征图向d＝(1,1)方向滑动，滑出窗口的像素点丢弃，新加入窗口的像素点补零。

最终的结果为各个方向的引导图ω(d)与该方向位移后的特征图

的逐点相乘，并将得到的所有特征图求和的结果。如公式1所示，其中p代表特征图或引导图上一点。

原始引导图的来源

输入到引导滤波模块中的原始引导图可以采用以下获取方式中的一种或多种：

直接使用输入图片，送进网络中提取；

使用中间层特征图；

使用图片与上采样后的特征图concat在一起后的特征图；

使用沙漏网络中间层的多级特征。

优选地，导向引导图中有原始图像梯度信息。多层次的原始引导图特征一般优于单层次原始引导图。

将可学习引导滤波模块嵌入全2D网络中

本模块可以用于任何需要补充纹理信息的端到端2D网络中，以双目深度估计任务为例，可学习引导滤波模块嵌入到Monodepth中，如图4所示。

在一个实施例中，引导图来源为concat到一起的左右图像，用于将原始引导图转换为导向引导图的导向引导图提取模块中包含表1所示的以下层：

表1导向引导图提取模块

除最后一个卷积模块Conv5只有卷积层之外，每个卷积模块由卷积层、BN层和ReLU串联而成，所有卷积层的卷积核大小为3，填充和步长均为1，这样具有保持原图大小的功能，通道数的设置采用先增后减，最后增加为导向引导图的个数。

得到导向引导图之后，与模型最后一层输出的特征图进行作用(如果有softmax层应该放在它之前)，使用导向引导图对不同方向位移后的特征图进行加权求和获得滤波后的结果图。

训练策略

在优选的实施例中，本模块的训练采用三步走的策略：

在尚未加入本模块时，首先训练基础网络架构，让模型充分学习；

在训练好的基础模型中加入本模块，并固定基础模型的参数，以训练基础模型时四分之一到二分之一的学习率训练2D可学习引导滤波模块，并训练阶段一的三分之一轮次左右。

将模型中所有参数解除固定，以第一阶段学习率的四分之一进行微调，直到充分学习数据集中的信息。

以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。

Claims (10)

1.一种适用于2D卷积神经网络的可学习引导滤波模块，其特征在于,在所述引导滤波模块中，对于由输入的原始引导图转换得到的导向引导图，使每一个导向引导图对应于原始特征图的向指定方向的位移操作，将每一个导向引导图与相对应方向位移后的特征图进行逐像素点的相乘操作，并将所有方向乘积结果进行求和，获得处理后的特征图，其是以导向引导图为权重，对不同方向位移后的特征图进行加权求和的结果，从而实现引导滤波；其中，设定引导半径r，对应的引导窗口宽度为w＝2*r+1，以确定引导滤波的范围；基础网络输出的最终结果为2*H*W维的特征图，2表示左右视差图有两张，或者两个通道，H为图像的高，W为图像的宽，对应的导向引导图中的每一张导向引导图与对应通道及位移的特征图进行相乘。

2.如权利要求1所述的可学习引导滤波模块，其特征在于,引导窗口选择5*5大小，对应的导向引导图为50张。

3.如权利要求1至2任一项所述的可学习引导滤波模块，其特征在于,对于待处理的特征图F，维度为C*H*W，特征图的位移方向为d，D表示位移方向的集合，F向指定方向进行位移后的结果为

其中，位移操作以特征图大小为窗口，将特征图向位移方向滑动，滑出窗口的像素点丢弃，新加入窗口的像素点补零，最终的结果为各个方向的导向引导图ω(d)与该方向位移后的特征图

的逐点相乘，表示为

并将得到的所有特征图求和的结果F_d(p)，表示为公式1：

其中p代表特征图或导向引导图上一点。

4.如权利要求1至2任一项所述的可学习引导滤波模块，其特征在于,原始引导图通过以下方式中的一种或多种获取：直接使用输入图片，送进网络中提取；使用中间层特征图；使用图片与上采样后的特征图concat在一起后的特征图；使用沙漏网络中间层的多级特征。

5.如权利要求1至2任一项所述的可学习引导滤波模块，其特征在于,导向引导图具有原始图像梯度信息。

6.如权利要求1至2任一项所述的可学习引导滤波模块，其特征在于,所述引导滤波模块是一系列串联的2D卷积网络。

7.一种适用于2D卷积神经网络的可学习引导滤波方法，其特征在于,使用如权利要求1至6任一项所述的可学习引导滤波模块实现引导滤波。

8.一种全2D卷积神经网络，其特征在于,具有如权利要求1至6任一项所述的可学习引导滤波模块。

9.一种2D深度估计系统，其特征在于，包括concat模块，导向引导图提取模块、ResNet模块、以及如权利要求1至6任一项所述的可学习引导滤波模块,用于实现全2D双目深度估计；

其中引导图来源为由所述concat模块concat到一起的左右图像，所述导向引导图提取模块中包含有多个卷积模块，除最后一个卷积模块Conv5只有卷积层之外，每个卷积模块由卷积层、BN层和ReLU层串联而成，所有卷积层的卷积核大小为3，填充和步长均为1，通道数的设置采用先增后减，最后增加为导向引导图的个数；

其中，在得到导向引导图之后，通过所述可学习引导滤波模块，将导向引导图与最后一层输出的特征图进行作用，使用导向引导图对不同方向位移后的特征图进行加权求和，获得滤波后的结果图。

10.一种在全2D卷积神经网络中训练引导滤波模块的方法，其特征在于,包括以下三步：

1)在加入引导滤波模块之前，首先训练基础网络架构，让模型充分学习；

2)在训练好的基础模型中加入如权利要求1至6任一项所述的可学习引导滤波模块，并固定基础模型的参数，以训练基础模型时四分之一到二分之一的学习率训练2D可学习引导滤波模块，并训练第一阶段的三分之一轮次；

3)将模型中所有参数解除固定，以第一阶段学习率的四分之一进行微调，直到充分学习数据集中的信息。

Images