CN113780389A - 基于一致性约束的深度学习半监督密集匹配方法及系统 - Google Patents

Abstract

本发明属于密集匹配技术领域，特别涉及一种基于一致性约束的深度学习半监督密集匹配方法及系统，构建用于密集匹配的半监督深度学习网络，基于无监督和半监督损失函数并联合用于筛选反馈点的一致性约束函数共同作为网络训练学习的目标约束函数，利用该目标约束函数来学习输入图像到视差图的映射；将虚拟场景SceneFlow数据集作为训练样本，将收集的场景数据作为测试样本；利用训练样本和测试样本分别对网络进行预训练和测试调优；利用测试优化后的网络对目标场景数据进行密集匹配。本发明目标约束函数能够提升网络模型训练收敛精度，使网络更加稳定，保障密集匹配效果和质量，可适用于测绘摄影测量及计算机视觉等应用领域。

Description

基于一致性约束的深度学习半监督密集匹配方法及系统

技术领域

本发明属于密集匹配技术领域，特别涉及一种基于一致性约束的深度学习半监督密集匹配方法及系统。

背景技术

随着人工智能的发展，基于深度学习的有监督密集匹配方法在虚拟、室内以及驾驶等近景数据集上取得了不错的表现。深度学习方法在特征自动提取上具有传统方法无可比拟的优势。随着硬件技术的发展和深度学习理论的完善，这种方法在密集匹配上的潜力逐步显现。M-CNN在密集匹配过程中采用了深度学习方法提取特征，利用卷积神经网络提取到了更为稳健的特征，替代了传统的测度匹配和相关系数匹配等特征提取方法，取得了不错的效果，同时为密集匹配端到端网络的出现奠定了基础。首个端到端的密集匹配网络以光流预测网络FlowNet为基础，在改进其上采样模块后，应用于密集匹配网络。虽然其在KITTI数据集上的排名并不是当时最靠前的，但为后面其他端到端的网络提供了思路。考虑到DispNet视差图缺乏多尺度信息，且网络不包含视差精化模块，iResNet在DispNet基础上增加了多尺度信息，并采用贝叶斯网络精化视差，进一步提升了匹配精度。这个阶段的网络仍以类似“U-Net”的通用密集匹配网络结构为基础，通过大量的参数拟合密集匹配过程。另一方面，GCNet借鉴传统密集匹配思想，开创了密集匹配专用网络的分支，其基本流程为：特征提取、匹配代价构建、视差计算以及视差软回归四个步骤。该网络的主要贡献包括：①引入了残差块，进一步深挖特征；②首次提出深度学习匹配代价构建和视差计算网络结构；③引入视差软回归(soft argmax)，将分类问题变为回归问题，以较小的参数代价取得了不错的效果。随后，PSMNet针对GCNet网络缺乏多尺度信息的问题，利用空洞卷积、金字塔池化(spatial pyramid pooling，SPP)以及堆叠沙漏等多种方式引入全局信息，进一步提升了匹配的效果。随后的大多数网络均以PSMNet为原型进行改进；GwcNet在借鉴DispNet的左右特征图相关特征的基础上，提出分组相关网络，并验证特征相关信息在密集匹配中的有效性，进一步提升匹配精度；之后的AcfNet针对密集匹配中的匹配歧义问题，提出了单峰网络，其认为在视差软回归过程中，视差概率值应呈现单峰特性。最终通过追加子网络提供单峰信息实现精度提升；而深度剪枝网络针对密集匹配过程中，内存和计算量过大的问题，通过粗匹配方式预估视差的上下限，在保证一定精度的条件下，极大地减少计算时间和内存的消耗。虽然深度学习密集匹配的监督方法在精度已经远超传统方法，但其所需的密集匹配标签数据集获取代价仍是高昂的。Scene Flow通过虚拟方式从3D投影到2D，虽然标签数据精度极高，但虚拟图像特征与真实图像特征可能存在一定差距；KITTI数据集虽然图像为真实场景，且视差图采用较为精准的激光雷达数据，但获取成本高昂，并且可能存在一定粗差，需要人工进行剔除。此外，激光雷达生成的标签数据为半稠密状，仅有约1/3的点存在真值，在距离较远的天空等区域没有标签数据；而在遥感等领域，标签数据获取、制作困难，流程复杂，且目前没有标准化的商业方法。因此，深度学习监督训练方法的实用化受限于标签数据的获取和制作。

相比于监督方法，无监督方法不依赖数据标签，更贴近实用，是发展的必然趋势。无监督方法重点研究损失函数，通过设定目标损失函数来训练网络，以替代标签数据。深度学习无监督的开端可追溯到可微的图像重构损失函数，使网络可以进行端到端的无监督训练，随着重构损失可导这项关键技术突破，深度学习密集匹配无监督方法迎来了极大发展。从目前的实验结果来看，无监督方法精度与监督方法相比，仍有较大的差距。为改善无监督方法精度较低的问题，利用传统密集匹配方法，如AD-CENSUS、SGBM(Semi-Global BlockMatching)等，计算初始视差图，然后利用深度置信网络计算每个像素点的概率作为置信引导损失与之前的无监督损失合并，共同训练。但该方法需要利用标签真值训练深度置信网络。该网络在实际使用时，其置信网络需要在不同数据集上需要真值进行微调，实用性有待提高；若将人工设定阈值改为自适应阈值，提升了精度，但仍无法避免深度置信网络的训练需要标签真值的缺陷，无法更进一步投入实用。

发明内容

为此，本发明提供一种基于一致性约束的深度学习半监督密集匹配方法及系统，基于无监督和半监督损失函数并联合用于筛选反馈点的一致性约束函数共同作为网络训练学习的目标约束函数，能够对立体匹配结果进行筛选，提升网络模型训练收敛精度，使网络更加稳定，保证目标场景密集匹配效果和质量。

按照本发明所提供的设计方案，提供一种基于一致性约束的深度学习半监督密集匹配方法，包含：

构建用于密集匹配的半监督深度学习网络，基于无监督和半监督损失函数并联合用于筛选反馈点的一致性约束函数共同作为网络训练学习的目标约束函数，利用该目标约束函数来学习输入图像到视差图的映射，其中，目标约束函数包含重构映射一致性损失函数、平滑损失函数、左右一致性损失函数和立体匹配半监督损失函数；

将虚拟场景SceneFlow数据集作为训练样本，将收集的场景数据作为测试样本；利用训练样本对网络进行预训练，利用测试样本对预训练后的网络进行测试优化；

利用测试优化后的网络对目标场景数据进行密集匹配。

作为本发明基于一致性约束的深度学习半监督密集匹配方法，进一步地，半监督深度学习网络采用DispNet网络结构，该网络结构包含分别用于输入图像特征提取和视差图分辨率恢复的特征提取端和分辨率恢复端。

作为本发明基于一致性约束的深度学习半监督密集匹配方法，进一步地，DispNet网络采用DispNetS网络结构，将输入图像左右图在通道维进行叠加来进行特征提取。

作为本发明基于一致性约束的深度学习半监督密集匹配方法，进一步地，DispNet网络采用DispNetC网络结构，利用孪生网络将输入图像左右图分别进行特征提取并同时提取相关特征图，然后通过叠加来获取输入图像的特征。

作为本发明基于一致性约束的深度学习半监督密集匹配方法，进一步地，半监督深度学习网络采用PSMNetB网络结构，在输入图像特征提取和匹配代价构建之间增加用于特征卷积融合的金字塔池化模块，并通过三维卷积模块来进行匹配代价的计算。

作为本发明基于一致性约束的深度学习半监督密集匹配方法，进一步地，半监督深度学习网络采用PSMNetS网络结构，在输入图像特征提取和匹配代价构建部分增加用于特征卷积融合的金字塔池化模块，并通过堆叠沙漏模块来进行匹配代价的计算。

作为本发明基于一致性约束的深度学习半监督密集匹配方法，进一步地，重构映射一致性损失函数包含用于约束一次重构图像和输入图像一致的重构损失约束、用于约束二次重构图像和输入图像一致的重构一致性损失约束、及用于约束一次重构图像和二次重构图像一致性的重构映射一致性约束。

作为本发明基于一致性约束的深度学习半监督密集匹配方法，进一步地，通过输入图像的一阶差分对视差图的一阶差分加权来获取平滑损失函数；并在重构视差图的重叠区域，利用左右一致性损失函数来约束左右视差图一致性；立体匹配半监督损失函数对利用无监督获取的视差图和利用立体匹配方法获取的视差图两者之间的一致性进行约束。

作为本发明基于一致性约束的深度学习半监督密集匹配方法，进一步地，将收集的近景和遥感数据集作为用于测试调优的测试样本。

进一步地，本发明还提供一种基于一致性约束的深度学习半监督密集匹配系统，包含：模型构建模块、模型调优模块和密集匹配模块，其中，

模型构建模块，用于构建用于密集匹配的半监督深度学习网络，基于无监督和半监督损失函数并联合用于筛选反馈点的一致性约束函数共同作为网络训练学习的目标约束函数，利用该目标约束函数来学习输入图像到视差图的映射，其中，目标约束函数包含重构映射一致性损失函数、平滑损失函数、左右一致性损失函数和立体匹配半监督损失函数；

模型调优模块，用于将虚拟场景SceneFlow数据集作为训练样本，将收集的场景数据作为测试样本；利用训练样本对网络进行预训练，利用测试样本对预训练后的网络进行测试优化；；

密集匹配模块，用于利用测试优化后的网络对目标场景数据进行密集匹配。

本发明的有益效果：

本发明基于无监督和半监督损失函数并联合用于筛选反馈点的一致性约束函数共同作为网络训练学习的目标约束函数，能够对立体匹配结果进行筛选，有效避免无监督条件下网络结构对匹配精度的影响，可利用监督方法训练模型作为无监督方法预训练模型时，提升网络模型训练收敛速度和精度，同时能使网络更加稳定，使原本平滑损失不收敛的权重能够收敛，提升密集匹配在虚拟、室内以及驾驶等领域上的应用，具有较好的应用前景。

附图说明：

图1为实施例中基于一致性约束的深度学习半监督密集匹配流程示意；

图2为实施例中半监督网络结构示意；

图3为实施例中DispNet网络结构示意；

图4为实施例中PSMNet网络结构示意；

图5为实施例中重构映射一致损失原理示意；

图6为实施例中一致性约束下的半监督损失函数组成示意。

具体实施方式：

为使本发明的目的、技术方案和优点更加清楚、明白，下面结合附图和技术方案对本发明作进一步详细的说明。

随着人工智能的发展，基于深度学习的有监督密集匹配方法在虚拟、室内以及驾驶等近景数据集上取得了不错的表现，但当前监督方法数据集标签制作困难，无监督方法精度有待进一步提升，而半监督方法的置信网络需要利用标签进行学习，不能做到完全的无监督。为此，本发明实施例，提供一种基于一致性约束的深度学习半监督密集匹配方法，参见图1所示，包含：

S101、构建用于密集匹配的半监督深度学习网络，基于无监督和半监督损失函数并联合用于筛选反馈点的一致性约束函数共同作为网络训练学习的目标约束函数，利用该目标约束函数来学习输入图像到视差图的映射，其中，目标约束函数包含重构映射一致性损失函数、平滑损失函数、左右一致性损失函数和立体匹配半监督损失函数；

S102、将虚拟场景SceneFlow数据集作为训练样本，将收集的场景数据作为测试样本；利用训练样本对网络进行预训练，利用测试样本对预训练后的网络进行测试优化；；

S103、利用测试优化后的网络对目标场景数据进行密集匹配。

基于无监督和半监督损失函数并联合用于筛选反馈点的一致性约束函数共同作为网络训练学习的目标约束函数，能够对立体匹配结果进行筛选，有效避免无监督条件下网络结构对匹配精度的影响，可利用监督方法训练模型作为无监督方法预训练模型时，提升网络模型训练收敛速度和精度，同时能使网络更加稳定，使原本平滑损失不收敛的权重能够收敛，提升密集匹配在虚拟、室内以及驾驶等领域上的应用。本案实施例中，可将SGBM立体匹配结果作半监督损失和无监督损失方法相结合，并利用无监督方法帅选SGBM匹配结果中精度较高的点，剔除粗差，以提升网络模型训练收敛速度和精度。

半监督方法基于半监督数据集、网络结构、无监督损失函数以及半监督损失函数四个部分构建。即在原无监督网络基础上增加了SGBM的匹配结果和相应的监督损失函数。参见图2所示，输入图像首先通过有监督网络结构生成左视差图，然后将图像进行水平翻转并交换左右图位置输入到网络中，生成翻转的右视差图，通过左图、右图、左视差图以及右视差图，分别构建重构左图、重构右图、重构左视差图和重构右视差图，最后依据重构损失函数、平滑损失函数以及左右一致性损失函数和SGBM半监督损失函数进行网络的反馈训练，通过组合的目标约束函数来提升网络模型训练收敛速度和精度，进一步提升密集匹配在虚拟、室内以及驾驶等领域上的应用。

作为本发明实施例中基于一致性约束的深度学习半监督密集匹配方法，进一步地，半监督深度学习网络采用DispNet网络结构，该网络结构包含分别用于输入图像特征提取和视差图分辨率恢复的特征提取端和分辨率恢复端。进一步地，DispNet网络采用DispNetS网络结构，将输入图像左右图在通道维进行叠加来进行特征提取。进一步地，DispNet网络采用DispNetC网络结构，利用孪生网络将输入图像左右图分别进行特征提取并同时提取相关特征图，然后通过叠加来获取输入图像的特征。

DispNet网络由FlowNet网络改进得到，整体结构为全卷积网络，分为特征提取端和分辨率恢复端，中间设置跳层结构，网络可看作U-Net结构。类似于FlowNet的FlowNetS和FlowNetC两个不同版本，DispNet也分为DispNetS和DispNetC两个对应的版本，如图3，DispNetS与DispNetC的不同之处在于特征提取端的前半部分，前者是将左右图在通道维进行叠加，后者采用孪生网络形式，左右图片先分别提取特征，并同时提取相关特征图，二者叠加后继续进行特征提取和分辨率恢复。相较于其他有监督网络，DispNet的网络结简单，运算速度快，提升密集匹配网络模型的实际应用。

作为本发明实施例中基于一致性约束的深度学习半监督密集匹配方法，进一步地，半监督深度学习网络采用PSMNet网络结构，在输入图像特征提取和匹配代价构建之间增加用于特征卷积融合的金字塔池化模块，并通过三维卷积模块来进行匹配代价的计算。进一步地，半监督深度学习网络采用PSMNet网络结构，在输入图像特征提取和匹配代价构建部分增加用于特征卷积融合的金字塔池化模块，并通过堆叠沙漏模块来进行匹配代价的计算。

PSMNet沿用了GCNet架构，在特征提取部分和匹配代价构建部分之间增加了金字塔池化模块，并在代价计算过程利用堆叠沙漏模块替换传统的三维卷积模块。金字塔池化部分通过将提取后的特征图分别进行64×64、32×32、16×16、8×8的池化，其结果与未池化的特征图以及前一部分的跳层共同组成，再经过卷积融合，形成匹配代价构建所需的特征图；沙漏模块具有特征位置相互参考的功能，通过多个沙漏模型的堆叠，效果优于普通三维卷积。PSMNet在其消融实验过程中存在多个版本，参见图4所示，可选用视差计算部分为三维卷积模块的PSMNetB，另一个是采用堆叠沙漏模块的PSMNetS。

作为本发明实施例中基于一致性约束的深度学习半监督密集匹配方法，进一步地，重构映射一致性损失函数包含用于约束一次重构图像和输入图像一致的重构损失约束、用于约束二次重构图像和输入图像一致的重构一致性损失约束、及用于约束一次重构图像和二次重构图像一致性的重构映射一致性约束。进一步地，通过输入图像的一阶差分对视差图的一阶差分加权来获取平滑损失函数；并在重构视差图的重叠区域，利用左右一致性损失函数来约束左右视差图一致性；立体匹配半监督损失函数对利用无监督获取的视差图和利用立体匹配方法获取的视差图两者之间的一致性进行约束。

损失函数包括重构损失函数、平滑损失函数以及左右一致性损失函数。其总损失函数可定义为

C＝w_cmapC_cmap+w_dsC_ds+w_lrC_lr+w_supC_sup，

式中：w为损失函数权重；C表示损失函数；下标cmap表示循环重构映射一致、ds表示平滑、lr表示左右一致。

为便于损失函数的说明，设I为输入图像矩阵，D为视差预测图，下标L、R分别表示左右图像，则左视差图D_L和输入图像I_L，I_R之间的关系可表示为

D_L＝F_Net(θ；I_L，I_R)，

式中：F_Net为有监督网络结构，θ表示网络的参数。

将原始图像作水平方向的翻转变换，变换后的左图变为右图，右图变为左图，分别输入到网络中，则可以生成水平方向翻转后的右视差图，再做一次翻转变换后，得到右视差图，其过程可通过如下公式表示：

D_R＝F_filp<F_Net[θ；F_filp(I_L)，F_filp(I_R)]>，

式中：F_filp为水平方向翻转函数。

重构损失函数的思想是利用右图I_R和左视差图D_L通过STN网络重构左图

之后，比较左图I_L和重构左图

之间的相似度，同理可比较右图I_R和重构右图

重构过程可描述为

式中，F_grid表示由视差图生成采样格网的函数；上标wrap表示重构。

理论上来说，准确的视差值可使重构的图像和原始图像一致。

式中：F_SSIM表示图像相似度函数；α为权重调节因子，通常设置为0.85。

重构损失约束了输入图像I和利用预测视差图D一次重构后图像I^wrap的一致性；而循环重构一致损失利用了输入图像I和二次重构后图像I^wrap2的循环一致性。

C_cap＝F_avg(|D-D^wrap|).

式中，wrap1和wrap2分别表示一次重构和二次重构；F_grid表示由视差图生成采样格网的函数；F_STN表示重构过程。I_L和

IR和

成对出现，为简便表达，统一以I和I^wrap的形式表达。

重构约束和循环重构约束仅考虑了输入图像I和一次重构图像I^wrap、输入图像I和二次重构图像之间的一致性I^wrap2，但是未考虑到一次重构图像I^wrap和二次重构图像I^wrap2之间的一致性，因此需要进一步在原损失函数基础上增加该中间监督。将一次重构图像I^wrap和二次重构图像I^wrap2的一致性定义为重构映射一致性。

进一步比较可知，重构损失仅用到了左(右)图，预测右(左)视差图和右(左)图；循环重构一致损失仅用到了左(右)图，预测左视差图、预测右视差图；而重构映射一致同时用到了左右图像，预测左右视差图，因此约束更加严格。将三者结合起来，可以得到更严格的约束，从而达到提升匹配精度的目的。为了更加清晰展现该过程，以左图为例，将上述思想用图5表示，从图中可以看出，该损失函数由三部分组成，即重构损失C_ap、循环重构一致损失C_cap、以及重构映射一致损失C_map。该过程利用了左图、右图、预测右视差图、预测左视差图、一次重构右图、一次重构左图以及二次重构左图，约束条件更加严格。

将该损失函数命名为循环重构映射一致损失，用公式可以表述为：

C_cmap＝C_ap+C_cap+C_map

其中，C_ap表示重构损失函数；C_cap表示循环重构一致损失函数；C_map表示重构映射一致损失函数，其过程定义如下公式所示：

C_map＝F_avg(|I^wrap-I^wrap2|)

重构损失虽然能够对图像形成一定约束，但是在图像的重复纹理、弱纹理以及无纹理区域，该损失函数无法及时发现误匹配，因此，需要通过平滑损失函数辅助约束。平滑损失函数的思想利用原始图像对视差图进行约束，其核心思想是通过图像的纹理变化来约束视差的变化，即在视差变化大的区域，图像像素值也应当有较大变化。平滑损失函通过原图像I的一阶差分对视差图D的一阶差分进行加权得到，加权的形式为e的负指数形式，其损失函数定义为

其中，差分公式如下，

式中：M表示二维矩阵；d表示方向，包括x，y两个方向。

与重构图像的方法类似，重构视差图通过STN网络进行构建，其定义为

在重叠区域，左右视差图理论上应当是一致的，因此可以通过左右一致性进行约束，其定义为

C_lr＝F_avg(|D-D^wrap|).

半监督方法是将SGBM匹配方法的结果直接与真值在有效区域进行比较，然后利用smooth L₁计算监督损失函数，如公式：

C_sup＝F_{smooth L1}(|D^SGBM-D^P|·M^sup)

式中，D^SGBM，D^P分别表示SGBM预测的视差图和无监督方法预测的视差图

有效区域可表示为

M^sup＝M^valid×M^SGBM

式中，M_valid表示视差真值t在0到maxdisp范围内有效的像素，值为1，其余为0；M_SGBM表示D^SGBM视差值大于0的位置值为1，小于为0.

SGBM直接产生的结果可能存在一定粗差，对于密集匹配精度的提升存在一定影响。因此，考虑利用无监督方法获得的视差图D^pre与SGBM方法获得视差图D^SGBM一致性进行筛选，如图6所示。具体过程是将视差图D^SGBM和D^pre距离大于阈值t像素的点置为无效，不参与反向传播。其过程可表示为：

则一致性损失函数的定义如下公式所示：

C_supc＝F_smoothL1(|D^SGBM-D|·M^supc)

M^supc＝M^valid×M^con

式中，M_con表示D^SGBM视差值大于0的位置，值为1，反之为0.

作为本发明实施例中基于一致性约束的深度学习半监督密集匹配方法，进一步地，收集近景和遥感数据集作为用于测试调优的测试样本。

密集匹配在摄影测量领域和计算机视觉领域均有涉及，在摄影测量领域主要用于获取影像的高程信息，如DSM等；在计算机视觉领域主要用于获取摄像机基线到物体的距离信息，如汽车驾驶等场景。本案实施例中，可以根据实际应用需求，例如计算机视觉的自动驾驶获取深度信息和测绘里航空摄影测量生产，可使用驾驶场景数据集是KITTI2012和KITTI2015，航空数据集是Vaihingen和WHU数据集。

高精度、虚拟场景SceneFlow数据集在密集匹配领域占有重要的一席之地，许多经典网络在应用到真实场景之前，均会在该数据集上进行预训练。该数据集原包含39000对双目图像，后期经过筛选，实际采用的图像数为35858对。完整的数据集包含彩色双目图像、语义分割图、光流图、视差图、视差变化图、运动边界图以及相机数据。本案实施例中，可使用其中的彩色双目图像和视差图。该数据集由3个子数据集构成，分别为Flying Things3D、Driving和Monkaa数据子集。

近景和遥感数据集中，KITTI数据集为真实场景的汽车驾驶数据集，包含KITTI2012和KITTI2015两个子集，前者包含194对训练图像和195对测试图像，图像尺寸为1226像素×370像素；后者包含200对训练图像和200对测试图像，图像尺寸为1242像素×375像素。Vaihingen数据集为德国乡村航空场景，包含3条航带36张乡村影像，图像尺寸为9240像素×14430像素；航向重叠度和旁向重叠度均为60％。图像整体区域平坦，高层建筑较少，大部分为植被和密集低矮的房屋。数据集标签是由多套商业软件匹配出的DSM数据取平均后依据内外方位元素反算得到的半稠密视差图，裁切后的图像尺寸为955像素×360像素，共731对。WHU数据集为贵州乡村无人机场景，包括高楼大厦、少量的工厂以及一些山脉、河流等。拍摄航高为550米，地面分辨率10厘米，航向重叠率90％，旁向重叠率80％，共1776张尺寸为5376像素×5376像素的图像，对应1776视差真值图。经过整理和裁切，实际使用数据包含8316张训练图片和2663张测试图片，图像尺寸为768像素×384像素。

利用上述数据集作为半监督深度学习网络的训练学习样本数据，来获取用于密集匹配的目标网络模型，能够提升模型性能，其中，模型训练学习算法可设计如下：

步骤1：构建SGBM数据标签

步骤1.1：利用SGBM方法根据数据集图像生成视差图

步骤1.2：将生成的视差图放入到原始数据集中，构成半监督数据集

步骤2：输入图像到网络结构

步骤2.1：入读取输入的图像，格式通常为pfm，png，tif等，调整通道位置；

步骤2.2：输入图像归一化，将数据集图像灰度值分布变为均值和方差均为1的正太分布；

步骤2.3：将生成的图像输入到网络中。

步骤3：利用深度学习密集匹配网络生成视差图

网络结构可采用端到端的网络结构，如DispNetS、DispNetC、iResNet、GCNet、PSMNetB以及PSMNetS等，输入的图像经过网络计算，生成相应的视差图。

步骤4：计算损失

计算损失包含循环重构映射一致损失、平滑损失和左右一致损失。其中，循环重构映射一致包含重构损失、循环重构损失、重构映射一致损失和基于一致性约束的半监督损失函数(标红的为本专利创新的核心部分)。

步骤4.1：计算重构损失

步骤4.2：计算循环重构损失

步骤4.3：计算重构映射一致损失

步骤4.4：将步骤4.1、步骤4.2和步骤4.3的结果相加，组成重构损失

步骤4.5：计算平滑损失

步骤4.6：计算左右一致损失

步骤4.7：利用一致性约束，通过无监督方法剔除SGBM中的粗差，并计算基于一致约束的半监督损失。

步骤4.8：将步骤4.4、步骤4.5、步骤4.6和步骤4.7的结果按照权重0.1∶0.1∶1∶1相加。

步骤5：反向传播更新网络参数。

进一步地，基于上述方法，本发明实施例还提供一种基于一致性约束的深度学习半监督密集匹配系统，包含：模型构建模块、模型调优模块和密集匹配模块，其中，

模型构建模块，用于构建用于密集匹配的半监督深度学习网络，基于无监督和半监督损失函数并联合用于筛选反馈点的一致性约束函数共同作为网络训练学习的目标约束函数，利用该目标约束函数来学习输入图像到视差图的映射，其中，目标约束函数包含重构映射一致性损失函数、平滑损失函数、左右一致性损失函数和立体匹配半监督损失函数；

模型调优模块，用于将虚拟场景SceneFlow数据集作为训练样本，将收集的场景数据作为测试样本；利用训练样本对网络进行预训练，利用测试样本对预训练后的网络进行测试优化；

密集匹配模块，用于利用测试优化后的网络对目标场景数据进行密集匹配。

为验证本案方案有效性，下面结合试验数据做进一步解释说明：

在Windows10操作系统下进行，通过Anaconda创建虚拟环境，采用PyTorch作为深度学习框架，显卡为1080Ti，显存11G。由于显存限制，参数batchsize通过梯度累加模拟实现，设置为8，优化器为Adam，β₁＝0.9，β₂＝0.999。由于密集匹配网络对内存需求大，在训练过程中需要存储梯度，因此训练过程将原始图像随机裁剪为512×256大小的图片，该操作一方面可以节约内存，另一方面能够增强数据集。

参数指标分别为终点误差(End Point Error)和3像素误差(3Pixel Error)。EPE的定义为所有像素预测视差与真实值之差绝对值的平均值；3PE为预测值与真实值误差大于3像素占图像所有参与预测点总数的百分比。两个标准均为值越小，匹配效果越好。图像评价范围为裁剪非重叠边缘后的区域。

实验分别实现了基础的半监督结构、一致性结构以及渐进一致性，通过多个数据集的验证得到了最终结果，其中，一致性约束阈值为0.5。其中，考虑到Vaihingen数据集和WHU数据集样本容量过大，故采用小样本训练方式，实验结果如表1：

表1三种模式的半监督实验结果

从表1中可以看出，采用了半监督的方式将经典匹配方法SGBM的匹配结果中所包含的信息融入到深度学习网络结构中，拟提高当前无监督方法的精度，但由于引入信息的过程中包含了较多的粗差信息，导致直接结合的半监督方式没有达到预期效果，精度甚至低于无监督方法。而通过一致性方法剔除粗差后，精度显著提高，EPE从0.97像素下降到0.87像素，3PE从5.07％下降到4.19％，下降幅度分别达到了15.2％和15.4％。约束后的精度超过了无监督方法，EPE和3PE分别下降了9.7％和8.1％。证明了一致性约束条件下半监督方法的有效性。

其中，SGBM方法是密集匹配中一种经典的半全局算法，其核算匹配算法为SGM。Opencv中的SGBM方法涉及参数较多，具体参数值及含义可如表2所示：

表2SGBM方法参数设置

现有的SGBM方法直接匹配后的视差图在遮挡区域以及无纹理、弱纹理区域存在缺失，无法直接生成稠密视差图，导致其无法与深度学习方法比较精度，因此需要通过一定方法补全。传统方法沿核线的两个方向寻找最邻近且在两者中较小的非缺失像素视差值作为该点的视差进行补全，但是该方法会使图像出现水平条纹，因此需要通过滤波方法消除；此外，还可以考虑将已产生的视差结果作为标签数据，利用深度学习监督方法进行补全，如表3所示。

表3各后处理方法结果

具体的补全方法是将SGBM匹配结果有效的部分作为深度学习标签，其余部分用掩膜去除，进行半监督学习，实验结果如下表4。

表4利用深度学习方法补全视差图

从表中可以看出，利用深度学习方法补全视差图(PSMB+SGBM)所得到的精度远高于传统方法的精度，EPE和3PE比传统方法最好的5×5尺寸中值滤波平均降低了64.7％和23.2％，但其精度仍低于无监督方法。因此，实用价值并不是很大。

无监督方法指0.1C_ap+0.1C_lr+C_ds的无监督损失函数组合。C_ap、C_lr、C_ds与文中定义一致。

一致性约束能够通过无监督方法筛选出传统方法中精度较高的点作为引导，阈值越小，则选取的点越精确，但随之而来的是所能参与计算的点在减少。因此，存在一个平衡位置能使选取的点的个数和精度整体最优，使得最终的匹配精度提升。针对该问题，通过阈值的消融实验搜索该最佳位置。其实验结果如表5。考虑到WHU数据集包含8316对图像，数据量过大，导致训练时间过长。从实用性角度出发，从该数据集中随机选取200张图像进行微调。

表5不同阈值的一致性约束实验

从实验结果来看，阈值在0.5像素时效果较好，过大或者过小的阈值均会导致一致性约束精度降低。当视差阈值小于0.5像素时，精度会迅速降低，甚至低于无监督方法；当视差而阈值从1像素逐渐变大时，视差精度会缓慢下降。

从理论上来说，阈值越小，约束越严格，因此参与反向传播的点应该更少。在设定阈值时，因考虑一致性阈值选取点占总点数的百分比。由3.1节可知，20％的密度是当前已知收敛的下限，因此实验阈值测试对象以点占比为20％作为下限，上限以不再大幅提升为准，测试不同阈值的平均点数和点占比。受训练过程随机采样的影响，平均点数的数值并不是固定值，而是在某个固定值上下浮动，因此实际的平均点数取训练损失值收敛稳定后的连续三个轮次的平均值；点占比定义有效反馈点占当前区域总点数的百分比，裁剪区域像素数量为512×256像素，共131072个像素点。不同数据集以及不同阈值的点数和点占比如表6：

表6不同阈值的点数和点占比

从实验结果来看，阈值在0.1-5之间，点占比从10％至83％左右。在0.5或1时，精度最高，此时对应的点占比为54％至73％，效果最佳。

在实验过程中，发现随着阈值减小，受掩膜作用影响，实际参与反向传播的点数在减少，该过程会削弱半监督中，传统方法对无监督方法的引导作用，因此拟尝试通过归一化方法，使得约束权重不受点数影响，具体实验结果如表7：

表7归一化损失条件下的一致性约束

研究发现，归一化的方法相比于未归一化的方法并无明显提升，甚至精度更低。因此在一致性约束时，无需将点数归一化。此外，对比表2和表4可知无论是否归一化，精度最高的阈值在0.5像素至1像素，因此，在实际匹配时，推荐使用0.5像素或1像素作为视差阈值。

考虑WHU数据集过大，因此8316对影像中随机抽取部分影像进行微调。但是其中可能存在少量抽取数据无法代表整个数据集特征的情况，因此需要研究抽取数量和最终精度的关系，以保证网络的可靠性。实验结果如表8：

表8抽取图片数量对最终数据集精度的影响

从表中可以看出，在50-400之间随机选择部分图片进行实验对EPE和3PE并没有过多的影响，因此在实际训练中可采用该方式进行训练。

在重构损失函数和循环重构一致损失函数基础上提出了重构映射一致损失函数。与原有的重构损失函数、循环重构一致损失函数组合，构成了循环重构映射一致损失函数，并针对组合后损失函数的相关特性进行试验，可得出如下结论：迁移学习条件下，循环重构映射一致损失对精度有提升作用，EPE和3PE平均在两个KITTI数据集上平均下降5.75％和4.89％；②在无监督条件下，网络结构的对匹配精度具有一定影响。在参与测试的网络结构中，PSMNetS效果最佳；③利用监督方法训练的模型作为无监督方法的预训练模型时可使网络提升精度，收敛速度增加，同时能使网络更加稳定，使原本平滑损失不收敛的权重能够收敛。

基于上述的系统，本发明实施例还提供一种服务器，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述的方法。

基于上述的系统，本发明实施例还提供一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现上述的方法。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述系统实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述系统实施例中相应内容。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述系统实施例中的对应过程，在此不再赘述。

在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、系统和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和系统，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述系统的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种基于一致性约束的深度学习半监督密集匹配方法，其特征在于，包含：

构建用于密集匹配的半监督深度学习网络，基于无监督和半监督损失函数并联合用于筛选反馈点的一致性约束函数共同作为网络训练学习的目标约束函数，利用该目标约束函数来学习输入图像到视差图的映射，其中，目标约束函数包含重构映射一致性损失函数、平滑损失函数、左右一致性损失函数和立体匹配半监督损失函数；

将虚拟场景SceneFlow数据集作为训练样本，将收集的场景数据作为测试样本；利用训练样本对网络进行预训练，利用测试样本对预训练后的网络进行测试优化；

利用测试优化后的网络对目标场景数据进行密集匹配。

2.根据权利要求1所述的基于一致性约束的深度学习半监督密集匹配方法，其特征在于，半监督深度学习网络采用DispNet网络结构，该网络结构包含分别用于输入图像特征提取和视差图分辨率恢复的特征提取端和分辨率恢复端。

3.根据权利要求2所述的基于一致性约束的深度学习半监督密集匹配方法，其特征在于，DispNet网络采用DispNetS网络结构，将输入图像左右图在通道维进行叠加来进行特征提取。

4.根据权利要求2所述的基于一致性约束的深度学习半监督密集匹配方法，其特征在于，DispNet网络采用DispNetC网络结构，利用孪生网络将输入图像左右图分别进行特征提取并同时提取相关特征图，然后通过叠加来获取输入图像的特征。

5.根据权利要求1所述的基于一致性约束的深度学习半监督密集匹配方法，其特征在于，半监督深度学习网络采用PSMNetB网络结构，在输入图像特征提取和匹配代价构建之间增加用于特征卷积融合的金字塔池化模块，并通过三维卷积模块来进行匹配代价的计算。

6.根据权利要求1所述的基于一致性约束的深度学习半监督密集匹配方法，其特征在于，半监督深度学习网络采用PSMNetS网络结构，在输入图像特征提取和匹配代价构建部分增加用于特征卷积融合的金字塔池化模块，并通过堆叠沙漏模块来进行匹配代价的计算。

7.根据权利要求1所述的基于一致性约束的深度学习半监督密集匹配方法，其特征在于，重构映射一致性损失函数包含用于约束一次重构图像和输入图像一致的重构损失约束、用于约束二次重构图像和输入图像一致的重构一致性损失约束、及用于约束一次重构图像和二次重构图像一致性的重构映射一致性约束。

8.根据权利要求1所述的基于一致性约束的深度学习半监督密集匹配方法，其特征在于，通过输入图像的一阶差分对视差图的一阶差分加权来获取平滑损失函数；并在重构视差图的重叠区域，利用左右一致性损失函数来约束左右视差图一致性；立体匹配半监督损失函数对利用无监督获取的视差图和利用立体匹配方法获取的视差图两者之间的一致性进行约束。

9.根据权利要求1所述的基于一致性约束的深度学习半监督密集匹配方法，其特征在于，将收集的近景和遥感数据集作为用于测试调优的测试样本。

10.一种基于一致性约束的深度学习半监督密集匹配系统，其特征在于，包含：模型构建模块、模型调优模块和密集匹配模块，其中，

模型构建模块，用于构建用于密集匹配的半监督深度学习网络，基于无监督和半监督损失函数并联合用于筛选反馈点的一致性约束函数共同作为网络训练学习的目标约束函数，利用该目标约束函数来学习输入图像到视差图的映射，其中，目标约束函数包含重构映射一致性损失函数、平滑损失函数、左右一致性损失函数和立体匹配半监督损失函数；

模型调优模块，用于将虚拟场景SceneFlow数据集作为训练样本，将收集的场景数据作为测试样本；利用虚拟场景SceneFlow数据集对网络进行预训练，利用测试样本对预训练后的网络进行测试优化；

密集匹配模块，用于利用测试优化后的网络对目标场景数据进行密集匹配。

Images