CN117409058B

CN117409058B - 一种基于自监督的深度估计匹配代价预估方法

Info

Publication number: CN117409058B
Application number: CN202311717087.XA
Authority: CN
Inventors: 王懂; 李宁; 居法银
Original assignee: Jiangsu Youzhong Micro Nano Semiconductor Technology Co ltd; Zhejiang Unisom New Material Technology Co ltd
Current assignee: Jiangsu Youzhong Micro Nano Semiconductor Technology Co ltd; Zhejiang Unisom New Material Technology Co ltd
Priority date: 2023-12-14
Filing date: 2023-12-14
Publication date: 2024-03-26
Anticipated expiration: 2043-12-14
Also published as: CN117409058A

Abstract

本发明公开了一种基于自监督的深度估计匹配代价预估方法，涉及图像处理技术领域，包括步骤：提取当前光场深度图像的输出张量；以输出张量为输入张量，通过自监督预测卷积注意块结合上下文信息动态调制当前光场深度图像各视角下的像素重建隐藏信息；对像素重建隐藏信息调制后的子孔径图像矩阵进行目标视差下的像素整合，并对整合后的子孔径图像矩阵进行卷积以获取各子孔径图像的成本构建函数；通过对各子孔径图像成本构建函数的输出进行聚合获取当前光场深度图像的三维张量；根据三维张量进行视差回归以获取低频深度估计结果。本发明解决了卷积神经网络不能够掌握局部特征的全局排列问题，并有效提高深度估计的精度和速度。

Description

一种基于自监督的深度估计匹配代价预估方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于自监督的深度估计匹配代价预估方法。

背景技术

利用低频图像中丰富的空间和角度信息，进行低频深度估计，得到场景深度，在光场图像处理中应用广泛。而深度估计是低频图像处理的基础任务，并基于深度学习的方法，通过特征提取、成本构建、成本聚合和深度回归等步骤实现低频深度估计。

其中，光场深度图像是多幅同一时间、同一场景、不同角度的子孔径图像的集合，匹配代价计算的目的在于衡量待匹配像素与候选像素之间的相关性，通过计算相关性找到不同视角图像中对应某个像素点的同名点，相当于是对深度估计的初步建模。

然而，匹配代价构建作为光场深度估计的关键步骤，在现有技术中仍存在不足之处。现有的方法是通过对每个子孔径图像进行一系列预先定义的偏移来构建匹配代价。虽然这种移位连接方案易于实现，但大量的移位操作降低了这些方法的效率。此外，在匹配成本构建过程中，对不同空间位置的像素进行均等处理，无法处理某些视图信息较少的空间变化遮挡，甚至会恶化估计结果。

发明内容

针对现有光场深度估计过程中对于匹配代价的估算不足，本发明提出了一种基于自监督的深度估计匹配代价预估方法，包括步骤：

S1：提取当前光场深度图像的输出张量；

S2：以输出张量为输入张量，通过自监督预测卷积注意块结合上下文信息动态调制当前光场深度图像各视角下的像素重建隐藏信息；

S3：对像素重建隐藏信息调制后的子孔径图像矩阵进行目标视差下的像素整合，并对整合后的子孔径图像矩阵进行卷积以获取各子孔径图像的成本构建函数；

S4：通过对各子孔径图像成本构建函数的输出进行聚合获取当前光场深度图像的三维张量；

S5：根据三维张量进行视差回归以获取低频深度估计结果。

进一步地，所述S2步骤中，上下文信息为像素点与其周围区域像素点之间的联系。

进一步地，所述S2步骤中，自监督预测卷积由一个被整流线性单元激活的掩膜卷积层和一个SE模块组成。

进一步地，所述S2步骤具体包括如下步骤：

S21：通过掩膜卷积在结合上下文信息的情况下对输入张量的各通道进行其它通道加权下的特征张量获取；

S22：通过SE模块对特征张量进行全局信息重新校准下当前光场深度图像各视角像素重建隐藏信息的动态调制。

进一步地，所述自监督预测卷积注意块通过如下损失函数实现自监督：

式中，为自监督预测卷积注意块的损失，/>为输入张量，/>为特征张量，为的深度估计匹配代价预估方法的损失，/>为一个超参数，用于调节自身损失函数相对于/>的权重，/>为正自然数，/>为总损失。

进一步地，所述S3步骤中，各子孔径图像的成本构建函数为调制卷积函数，所述调制卷积函数为内核大小U×V，并采用不同的扩张速率来集成不同视差下的角斑块。

进一步地，所述子孔径图像的卷积表示为如下公式：

式中，为视差d下，在空间位置p处产生的UV匹配代价，U和V为中心视图上相机平面上的点坐标，n为常数，/>为在视差d下的空间位置p处的角斑点，/>表示成本构建函数在第n个采样点的权重，/>为第n个采样点在空间位置p处的调制标量。

进一步地，所述S5步骤中，视差回归表示为如下公式：

式中，为低频深度估计结果，/>为最大视差，/>为最小视差，/>为第n个视差，/>为沿着三维张量/>的视差轴进行的/>归一化。

与现有技术相比，本发明至少含有以下有益效果：

（1）本发明所述的一种基于自监督的深度估计匹配代价预估方法，通过在深度估计中增加自监督预测卷积注意块，使深度估计被迫学习所发现的局部模式的全局结构，利用上下文信息动态调制不同视角下的像素重建隐藏信息，解决卷积神经网络不能够掌握局部特征的全局排列问题；

（2）通过一系列的具有不同膨胀率的卷积组成不同子孔径图像的成本构建函数，在不进行移位操作的情况下集成目标视差的像素，有效提高深度估计的精度和速度。

附图说明

图1为一种基于自监督的深度估计匹配代价预估方法的步骤图。

具体实施方式

以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。

面对现有深度估计匹配代价估算方法复杂且耗时，同时不能掌握局部特征的全局排列问题，如图1所示，本发明提出了一种基于自监督的深度估计匹配代价预估方法，包括步骤：

S1：提取当前光场深度图像的输出张量；

S5：根据三维张量进行视差回归以获取低频深度估计结果。

首先，针对卷积神经网络不能掌握局部特征的全局排列的问题，本发明提出了利用上下文信息（像素点与其周围区域像素点之间的联系）动态调制不同视角下的像素重建隐藏信息这一技术点。为此，本发明在此处引入了自监督预测卷积注意块，它是由一个被整流线性单元激活的掩膜卷积层和一个SE模块组成。

其中，掩膜卷积的可学习参数位于感受野的角落，由子核表示：

式中（为正自然数）是定义子内核大小的超参数，c是输入张量的通道数，每一个核/>位于感受野中的掩蔽区域的扩张率/>处，表示为：

因此，我们的感受野的空间大小d可以计算如下：

此处我们设X为掩膜卷积层的输入张量，每个核和相应输入之间的卷积运算的结果被求和为单个数。结果值表示为位于与M相同位置的预测。此时，我们在输入张量周围添加/>像素的零填充，并将步幅设置为1，使得输入中的每个像素都用作隐藏信息。因此，此处的输出张量Z的空间维度与输入张量X的空间维度相同。最后，通过ReLU激活并传递输出张量Z。

输出张量Z由通道注意力模块处理，该模块能为每个通道计算一个注意分数。由于Z的每个通道都是在屏蔽其它通道的情况下获取的，为了能够充分利用通道之间的关联信息，就需要利用掩膜卷积层产生的表示质量缩放的Z中的每个通道。为此，在掩膜卷积层的基础上，本发明又加入了对SE模块（包含Squeeze压缩和Excitation激励两部分）的运用。这是考虑到SE模块提供了一种机制，其可以对通道级的特征响应进行自适应重新校准。通过这种机制，使模型可以学会使用全局信息，并根据需要有选择地强调或抑制重建图。使用注意力的另一个动机则是为了增加建模能力，使自监督预测卷积注意块的输入和输出之间的非线性处理成为可能。

通过在每个通道上执行的全局池将通道注意块Z简化为向量。随后，标度因子向量计算公式如下：

式中，是激活函数，/>是ReLU激活，/>和/>分别表示两个连续全连接层的权重矩阵。第一层由/>神经元组成，以/>为还原比进行信息压缩，从而控制全连接层的输出向量大小。在空间维度上复制标度因子向量/>，生成与Z大小相同的张量S。并与元素相乘，最终生成包含重新校准的特征张量/>，其中h为特征图的高度，w为特征图的宽度。

同时，本发明还为预测卷积注意块增加了一个自监督任务，为每个应用隐藏滤波器的位置重建卷积感受野内的隐藏区域。为此，我们的预测卷积注意块需要学习提供相应的重建作为输出。将自监督重建损失定义为输入和输出之间的均方误差，表示如下：

而后将自监督重建的损失函数与深度估计匹配代价预估方法自身的损失函数相结合，从而生成一个新的损失函数，其由两个部分组成：

其中，为一个超参数，用于调节自身损失函数相对于/>的权重，/>为总损失。

进一步地，为了在不进行位移操作的情况下集成具有目标视差（每一个除背景以外的目标物体在不同子孔径图像中的位置不同，所以对于同一目标物体在不同子孔径图像的视差是不一样的，因此目标视差实际包含多个）的子孔径图像，本发明还对成本构建函数进行改进。首先，我们将成本构建函数设计为一系列的卷积，其大小为U×V，并采用不同的扩张速率来集成不同视差下的角斑块。而扩张卷积中的膨胀率与目标视差存在密切的相关性：

其中，H和W分别表示每个子孔径图像的高度和宽度。可以在不进行任何移位操作的情况下对不同差异下的角斑块进行积分，并通过对角斑块中的所有像素进行卷积来有效地构造匹配代价。

而为了有效的实现成本构建，本发明还通过引入调制机制，利用不同类型的隐藏信息来动态调整像素的振幅。具体来说，在视差d下的空间位置处，给定一个角斑点/>，那么调制卷积可表示为：

式中，为视差d下，在空间位置p处产生的UV匹配代价，/>表示成本构建函数在第n个采样点的权重，/>为第n个采样点在空间位置p处的调制标量。

最终，在对子孔径图像成本构建函数的输出通过三维卷积级联到同一个内核中实现成本聚合，获取当前光场深度图像的三维张量后，通过视差回归以获取低频深度估计的结果（可视化的深度图），视差回归可以表示为如下公式：

综上所述，本发明所述的一种基于自监督的深度估计匹配代价预估方法，通过在深度估计中增加自监督预测卷积注意块，使深度估计被迫学习所发现的局部模式的全局结构，利用上下文信息动态调制不同视角下的像素重建隐藏信息，解决卷积神经网络不能够掌握局部特征的全局排列问题。

通过一系列的具有不同膨胀率的卷积组成不同子孔径图像的成本构建函数，在不进行移位操作的情况下集成目标视差的像素，有效提高深度估计的精度和速度。

需要说明，本发明实施例中所有方向性指示（诸如上、下、左、右、前、后……）仅用于解释在某一特定姿态（如附图所示）下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，在本发明中如涉及“第一”、“第二”、“一”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

Claims

1.一种基于自监督的深度估计匹配代价预估方法，其特征在于，包括步骤：

S1：提取当前光场深度图像的输出张量；

S5：根据三维张量进行视差回归以获取低频深度估计结果；

所述S2步骤中，自监督预测卷积由一个被整流线性单元激活的掩膜卷积层和一个SE模块组成；

所述S3步骤中，各子孔径图像的成本构建函数为调制卷积函数，所述调制卷积函数为内核大小U×V，并采用不同的扩张速率来集成不同视差下的图像块；

所述子孔径图像的卷积表示为如下公式：

式中，为视差d下，在空间位置p处产生的UV匹配代价，U和V为中心视图上相机平面上的点坐标，n为常数，/>为在视差d下的空间位置p处的像素点，/>表示成本构建函数在第n个采样点的权重，/>为第n个采样点在空间位置p处的调制标量。

2.如权利要求1所述的一种基于自监督的深度估计匹配代价预估方法，其特征在于，所述S2步骤中，上下文信息为像素点与其周围区域像素点之间的联系。

3.如权利要求1所述的一种基于自监督的深度估计匹配代价预估方法，其特征在于，所述S2步骤具体包括如下步骤：

S22：通过SE模块对特征张量进行全局信息重新校准下当前光场深度图像各视角像素重建隐藏信息的动态调制；

所述其它通道为当前输入张量中除当前通道外的其它通道；

在空间维度上复制标度因子向量，生成与通道注意块Z大小相同的张量S，并与元素相乘生成包含重新校准的特征张量/>，其中h为特征图的高度，w为特征图的宽度；

所述标度因子向量通过如下公式获取：

式中，是激活函数，/>是ReLU激活，/>和/>分别表示两个连续全连接层的权重矩阵，c为输入张量的通道数。

4.如权利要求3所述的一种基于自监督的深度估计匹配代价预估方法，其特征在于，所述自监督预测卷积注意块通过如下损失函数实现自监督：

式中，为自监督预测卷积注意块的损失，/>为输入张量，/>为特征张量，/>为的深度估计匹配代价预估方法的损失，/>为一个超参数，用于调节自身损失函数相对于的权重，/>为正自然数，/>为总损失。

5.如权利要求1所述的一种基于自监督的深度估计匹配代价预估方法，其特征在于，所述S5步骤中，视差回归表示为如下公式：

式中，为低频深度估计结果，/>为最大视差，/>为最小视差，/>为第n个视差，为沿着三维张量/>的视差轴进行的/>归一化。