CN111882485A - 分级特征反馈融合的深度图像超分辨率重建方法 - Google Patents

分级特征反馈融合的深度图像超分辨率重建方法 Download PDF

Info

Publication number
CN111882485A
CN111882485A CN202010566899.9A CN202010566899A CN111882485A CN 111882485 A CN111882485 A CN 111882485A CN 202010566899 A CN202010566899 A CN 202010566899A CN 111882485 A CN111882485 A CN 111882485A
Authority
CN
China
Prior art keywords
depth image
depth
texture
image
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010566899.9A
Other languages
English (en)
Other versions
CN111882485B (zh
Inventor
刘美琴
张帅勇
林春雨
赵耀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jiaotong University
Original Assignee
Beijing Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jiaotong University filed Critical Beijing Jiaotong University
Priority to CN202010566899.9A priority Critical patent/CN111882485B/zh
Publication of CN111882485A publication Critical patent/CN111882485A/zh
Application granted granted Critical
Publication of CN111882485B publication Critical patent/CN111882485B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明针对受限于深度相机采集装置，采集的深度图像存在分辨率较低、易受噪声干扰等问题，难以满足实际需求，提出了分级特征反馈融合的深度图像超分辨率重建方法，利用深层网络提取深度图像及其对应纹理图像的特征，构建深度‑纹理深层的特征表示。在此基础上，利用金字塔结构构建深度‑纹理的深层特征在不同尺度下的分层特征表示。还采用分级特征的反馈式融合策略，综合深度‑纹理的边缘特征，生成深度图像的边缘引导信息。深度图像的重建过程采用残差学习的方式，进一步增强深度图像的重建质量。本发明，通过实验结果表明，相比state‑of‑the‑arts方法，本发明提出的方法均实现了深度图像的主、客观质量的提升。

Description

分级特征反馈融合的深度图像超分辨率重建方法
技术领域
本发明涉及计算机视觉技术领域中的超分辨率重建，具体说是分级特征反馈融合的深度图像超分辨率重建方法。
背景技术
近年来，深度信息(指三维空间中的位置和尺寸信息)在计算机视觉领域的应用越来越广，在远程医疗、无人驾驶以及安防监控等应用中利用深度信息可以显著地提升产品的性能。通常，深度信息的采集是通过深度相机获取深度图像来实现的，由于受到深度相机采集装置的限制，深度图像的采集分辨率往往较低，如Mesa Swiss Ranger 4000采集的深度图像的分辨率仅为176×144，微软Kinect V2采集的深度图像的分辨率为512×424，均难以满足实际需求。因此，如何由低分辨率重建高分辨率的深度图像已经成为当前的研究热点。
与传统方法相比，卷积神经网络在图像超分辨率重建领域取得了显著的成就，此处的图像指代纹理图像。Dong等[1]首次提出了端到端的网络结构SRCNN(SuperResolution Convolution Neural Network)，直接学习从低分辨率到高分辨率的映射关系，验证了深度学习方法在解决图像超分辨率重建问题的有效性。Shi等[2]改进了SRCNN，采用亚像素卷积层实现高分辨率图像的重构，降低了计算复杂度。Lim等[3]提出了基于增强深层残差网络的单图像超分辨率方法EDSR(Enhanced Deep Super-ResolutionNetwork)，去掉了批归一化处理操作，可以堆叠更多的网络层，从而减少上采样模型的训练时间。然而，不同于纹理图像，深度图像的每个像素表征的是场景目标距离摄像头的距离，其边缘信息尤为重要。若直接应用上述单图像超分辨率方法，依靠空间映射的方式会导致深度图像边缘模糊，影响其超分辨率重建的结果。
同一场景下的纹理图像与深度图像具有一定的结构相似性，且高分辨率的纹理图像相比深度图像更容易获取。因此，许多学者利用高分辨率的纹理图像引导深度图像的超分辨率重建过程。如：Zhou等[5]提出了深度-纹理网络结构FCN(color-guided deep FullyConvolutional Network)，联合学习了从纹理图像到深度图像、从低分辨率的深度图像到高分辨率的深度图像两个非线性映射函数，在一定程度上揭示了纹理图像在深度图像超分辨率重建过程中的作用；Zhao等[6]提出了深度-纹理条件生成对抗网络CDcGAN(Color-Depth conditional Generative Adversarial Network)，学习低分辨率的深度图像和纹理图像之间的结构相似性，生成高分辨率的深度图像和纹理图像；Hui等[7]提出了多尺度融合策略MSG-Net(Multi-Scale Guided convolutional Network)，利用不同层次中丰富的分层纹理特征，消除了深度图像重建后存在的模糊现象；Li等[8]提出了深度图像超分辨率重建网络DepthSR-Net(hierarchical features driven residual learning forDepth map Super Resolution)，利用U-Net残差深层网络构建金字塔结构获取多个尺度的感受野，完成深度图像的超分辨率重建。
基于上述网络模型的方法可以获得良好的深度图像重建效果，但也存在一些不足：
(1)这些方法往往预先采用双三次插值方法对低分辨率的深度图像进行上采样，增加了模型的训练复杂度；
(2)这些方法融合浅层的深度特征和纹理特征，没有充分利用纹理特征与深度特征的深层关联，无法获取纹理图像对深度图像深层的指引信息。
公开于该背景技术部分的信息仅仅旨在加深对本发明的总体背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。
发明内容
针对现有技术中存在的缺陷，本发明的目的在于提供分级特征反馈融合的深度图像超分辨率重建方法，旨在根据低分辨率的深度图像按比例因子进行放大得到高分辨率的深度图像。
为达到以上目的，本发明采取的技术方案是：
分级特征反馈融合的深度图像超分辨率重建方法，其特征在于，单深度图像重建网络通过单层卷积提取深度图像的浅层特征，
深度-纹理融合特征增强网络通过单层卷积提取纹理图像的浅层特征；
所述单深度图像重建网络和深度-纹理融合特征增强网络，以级联多个残差块的形式构建深层网络，进一步提取深度图像和纹理图像的深层特征；
所述深度图像的深层特征上采样后，与纹理图像的深层特征利用深度-纹理反馈式融合模块DCB Fusion进行特征融合；
根据深度-纹理反馈式融合模块输出的深度-纹理融合特征，生成纹理图像对深度图像的边缘引导信息；
所述深度图像的边缘引导信息生成边缘引导图像后，与单深度图像重建网络生成的高分辨率深度图像融合，得到深度图像的超分辨率重建结果。
在上述技术方案的基础上，由单深度图像重建网络和深度-纹理融合特征增强网络两个子网络组成分级特征反馈式融合网络HFBN。
在上述技术方案的基础上，所述深度图像为低分辨率的深度图像DL，
所述纹理图像为与深度图像同一场景下的、对应比例因子放大的高分辨率纹理图像YC。
在上述技术方案的基础上，通过单深度图像重建网络提取深度图像的浅层特征
Figure BDA0002548151770000041
通过深度-纹理融合特征增强网络提取纹理图像的浅层特征
Figure BDA0002548151770000042
如公式(1)和(2)所示：
Figure BDA0002548151770000043
Figure BDA0002548151770000044
其中，HLF(·)和HCF(·)为3×3的卷积滤波器。
在上述技术方案的基础上，为了获取深度图像与纹理图像深层次的内部关联，所述单深度图像重建网络和深度-纹理融合特征增强网络，通过级联5个残差块构建深层网络，分别提取深度图像的深层特征和纹理图像的深层特征；
如公式(3)和(4)所示：
Figure BDA0002548151770000051
Figure BDA0002548151770000052
其中，
Figure BDA0002548151770000053
和
Figure BDA0002548151770000054
分别表示深度图像和纹理图像通过第i个(1≤i≤5)残差块的输出特征，HResL和HResC是相应的残差映射函数；
经过5个残差块提取特征后，深度图像和纹理图像的深层特征分别表示为：
Figure BDA0002548151770000055
和
Figure BDA0002548151770000056
在上述技术方案的基础上，所述残差块，由卷积和线性整流激活函数ReLU组成。
在上述技术方案的基础上，深度图像的深层特征FDL采用亚像素卷积层H↑进行上采样操作，放大所需比例因子的低分辨率深度图像的深层特征，生成与纹理图像空间一致的深度图像的深层特征
Figure BDA0002548151770000057
以便于与纹理图像的深层特征相融合，
如公式(5)所示：
Figure BDA0002548151770000058
在上述技术方案的基础上，所述深度-纹理反馈式融合模块DCB Fusion，通过深度-纹理反馈式融合策略，实现不同尺度特征的反馈式融合，以获取纹理图像对深度图像的边缘引导信息。
在上述技术方案的基础上，根据上采样操作后得到的深度图像的深层特征
Figure BDA0002548151770000059
生成高分辨率的深度图像，
根据纹理图像对深度图像的边缘引导信息，构建深度图像的边缘引导图像；
两者相加求和，完成对应比例因子放大的深度图像的超分辨率重建。
在上述技术方案的基础上，所述深度-纹理反馈式融合模块，包含多尺度分层特征构建子模块和反馈特征融合子模块；
所述多尺度分层特征构建子模块，利用并行的金字塔结构构建深度图像和纹理图像不同尺度下的分层特征表示，用于提供包含不同感受野的层次特征信息；
具体包括：
选用三层结构的并行金字塔，以避免因层数过高引起深度图像边缘的退化问题；
金字塔第j层(1≤j≤3)的深度图像深层特征
Figure BDA0002548151770000061
和纹理图像深层特征
Figure BDA0002548151770000062
是由第j-1层的分层特征
Figure BDA0002548151770000063
和
Figure BDA0002548151770000064
构建，
深度图像和纹理图像的多尺度分层特征构建方式分别如公式(6)和(7)所示：
Figure BDA0002548151770000065
Figure BDA0002548151770000066
其中，
Figure BDA0002548151770000067
表示纹理图像的深层特征FDC在金字塔第j层构建的分层特征，
Figure BDA0002548151770000068
表示深度图像
Figure BDA0002548151770000069
在金字塔第j层构建的分层特征，当j＝0时，
Figure BDA00025481517700000610
“*”表示卷积操作，“σ”表示线性整流ReLU激活函数，H↓表示最大池化层的2×下采样操作；
Figure BDA00025481517700000611
表示卷积的权重，
Figure BDA00025481517700000612
表示卷积的偏置；
所述反馈特征融合子模块，学习多级感受野下的纹理图像与深度图像的结构相似性，用于获取深度-纹理的边缘引导信息；
具体包括：
将金字塔最上层的深度图像的分层特征
Figure BDA0002548151770000071
和纹理图像的分层特征
Figure BDA0002548151770000072
融合，生成深度-纹理融合特征R3；
采用反馈式特征融合策略，将R3与分层特征
Figure BDA0002548151770000073
和
Figure BDA0002548151770000074
进行融合生成第二层的深度-纹理融合特征R2，
第一层的深度-纹理融合特征R1与R2采取相同的融合方式，深度-纹理融合特征的生成过程如公式(8)所示：
Figure BDA0002548151770000075
其中，R4为空集，
Figure BDA0002548151770000076
和
Figure BDA0002548151770000077
分别表示1×1卷积的权重与偏置，[,]表示级联，
Figure BDA0002548151770000078
表示通过反卷积实现的2×上采样操作，获得与第j-1层特征空间相匹配的分层特征；
将深度-纹理融合特征R1与深度图像的深层特征
Figure BDA0002548151770000079
和纹理图像的深层特征FDC进行融合，生成纹理图像对深度图像的边缘引导信息FDf，如公式(9)所示：
Figure BDA00025481517700000710
其中，Wr和br分别表示卷积的权重和偏置。
本发明所述的分级特征反馈融合的深度图像超分辨率重建方法，具有以下有益效果：
1、本发明提出的分级特征反馈融合网络HFBN(Hierarchical Feature BackwardNetwork)，在单深度图像重建网络的基础上，HFBN网络构建了深度-纹理融合特征增强网络来辅助深度图像的超分辨率重建，进一步增强了深度图像的重建质量；
2、网络可以直接处理低分辨率的深度图像，降低了计算复杂度；
3、单深度图像重建网络和深度-纹理融合特征增强网络构建深层网络，分别提取深度图像和纹理图像的深层特征，获取深度图像与纹理图像深层次的内部关联；
4、设计了反馈式融合策略，提高了金字塔不同层特征的相容性；
5、根据深度-纹理反馈特征融合模块融合深度图像和纹理图像的深层特征表示，获取包含多级感受野的纹理图像对深度图像的边缘引导信息；
6、采用残差学习的方式实现了纹理图像引导的深度图像超分辨率重建过程，降低了训练难度。
本发明所述的分级特征反馈融合的深度图像超分辨率重建方法，在单深度图像重建网络的基础上，该方法利用深度-纹理融合特征增强网络辅助完成深度图像的超分辨率重建。单深度图像重建网络和深度-纹理融合特征增强网络分别提取深度图像和纹理图像的深层特征，并利用并行金字塔结构构建深度图像和纹理图像的分层特征表示，获取不同尺度下的结构信息。为了提高不同尺度特征的相容性，本发明所提的方法设计了反馈式融合策略，实现金字塔不同层特征的反馈式融合，以结合深度-纹理边缘特征，生成深度图像的边缘引导信息。在重建阶段，采用残差学习的方式，通过边缘引导信息构建边缘引导图像后，与单深度图像重建网络的重建结果相加，获得了高质量的深度图像重建结果。与state-of-the-arts方法相比，实验结果验证本发明所提方法的有效性。
附图说明
本发明有如下附图：
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1分级特征反馈式融合网络的整体框架图。
图2分级特征反馈融合网络的整体步骤流程图。
图3残差块的结构框图。
图4深度-纹理反馈式融合模块的架构框图。
图5(a)4×深度-纹理引导的特征重建结果
Figure BDA0002548151770000091
重建的深度图像Dup。
图5(b)4×深度-纹理引导的特征重建结果FDf重建的引导图像Df。
图6 4×尺度下测试图片Art的视觉质量对比；
图6(a)为原始图像，图6(b)为Bicubic方法的超分辨率重建结果，图6(c)为DepthSR-Net方法[8]的超分辨率重建结果，图6(d)为HFBN方法的超分辨率重建结果。
图7 8×尺度下测试图Laundry的视觉质量对比；
图7(a)为原始图像，图7(b)为Bicubic方法的超分辨率重建结果，图7(c)为DepthSR-Net方法[8]的超分辨率重建结果，图7(d)为HFBN方法的超分辨率重建结果。
具体实施方式
以下结合附图对本发明作进一步详细说明。所述详细说明，为结合本发明的示范性实施例做出的说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
如图1、2所示，本发明所述的分级特征反馈融合的深度图像超分辨率重建方法，包括：
单深度图像重建网络通过单层卷积提取深度图像的浅层特征，
深度-纹理融合特征增强网络通过单层卷积提取纹理图像的浅层特征；
所述单深度图像重建网络和深度-纹理融合特征增强网络，以级联多个(5个)残差块的形式构建深层网络，进一步提取深度图像和纹理图像的深层特征；
所述深度图像的深层特征上采样后，与纹理图像的深层特征利用深度-纹理反馈式融合模块(Depth-Color Backward Fusion，DCB Fusion)进行特征融合；
根据深度-纹理反馈式融合模块输出的深度-纹理融合特征，生成纹理图像对深度图像的边缘引导信息；
所述深度图像的边缘引导信息生成边缘引导图像后，与单深度图像重建网络生成的高分辨率深度图像融合，得到深度图像的超分辨率重建结果。
在上述技术方案的基础上，由单深度图像重建网络和深度-纹理融合特征增强网络两个子网络组成分级特征反馈式融合网络HFBN。
由于深度图像和纹理图像表征不同的内容信息，采用同一网络提取特征，难以区分深度图像和纹理图像的特征。因此，本发明将HFBN网络分为单深度图像重建网络和深度-纹理融合特征增强网络，分别提取深度图像和纹理图像的深层特征。
在上述技术方案的基础上，所述深度图像为低分辨率的深度图像DL，
所述纹理图像为与深度图像同一场景下的、对应比例因子放大的高分辨率纹理图像YC。
在上述技术方案的基础上，通过单深度图像重建网络提取深度图像的浅层特征
Figure BDA0002548151770000111
通过深度-纹理融合特征增强网络提取纹理图像的浅层特征
Figure BDA0002548151770000112
如公式(1)和(2)所示：
Figure BDA0002548151770000113
Figure BDA0002548151770000114
其中，HLF(·)和HCF(·)为3×3的卷积滤波器。
在上述技术方案的基础上，为了获取深度图像与纹理图像深层次的内部关联，所述单深度图像重建网络和深度-纹理融合特征增强网络，通过级联5个残差块[3]构建深层网络，分别提取深度图像的深层特征和纹理图像的深层特征；
如公式(3)和(4)所示：
Figure BDA0002548151770000121
Figure BDA0002548151770000122
其中，
Figure BDA0002548151770000123
和
Figure BDA0002548151770000124
分别表示深度图像和纹理图像通过第i个(1≤i≤5)残差块的输出特征，HResL和HResC是相应的残差映射函数；
经过n个残差块提取特征后，深度图像和纹理图像的深层特征分别表示为：
Figure BDA0002548151770000125
和
Figure BDA0002548151770000126
通过级联5个残差块，即n值为5则：
经过5个残差块提取特征后，深度图像和纹理图像的深层特征分别表示为：
Figure BDA0002548151770000127
和
Figure BDA0002548151770000128
所述残差块的结构如图3所示，由卷积和线性整流激活函数ReLU(RectifiedLinear Unit)组成。
在上述技术方案的基础上，深度图像的深层特征FDL采用亚像素卷积层H↑进行上采样操作，放大所需比例因子的低分辨率深度图像的深层特征，生成与纹理图像空间一致的深度图像的深层特征
Figure BDA0002548151770000129
以便于与纹理图像的深层特征相融合，
如公式(5)所示：
Figure BDA00025481517700001210
此处，
Figure BDA00025481517700001211
有两个作用：
一是与纹理图像的深层特征FDC融合，生成纹理图像对深度图像的边缘引导信息；
二是将
Figure BDA0002548151770000131
作为单深度图像重建网络的重建特征，生成高分辨率的深度图像。
在上述技术方案的基础上，所述深度-纹理反馈式融合模块DCB Fusion，通过深度-纹理反馈式融合策略，实现不同尺度特征的反馈式融合，以获取纹理图像对深度图像的边缘引导信息。
在上述技术方案的基础上，根据上采样操作后得到的深度图像的深层特征
Figure BDA0002548151770000132
生成高分辨率的深度图像，
根据纹理图像对深度图像的边缘引导信息，构建深度图像的边缘引导图像；
两者相加求和，完成对应比例因子放大的深度图像的超分辨率重建。
在上述技术方案的基础上，如图4所示，所述深度-纹理反馈式融合模块，包含多尺度分层特征构建子模块和反馈特征融合子模块；
所述多尺度分层特征构建子模块，利用并行的金字塔结构构建深度图像和纹理图像不同尺度下的分层特征，用于提供包含不同感受野的层次特征信息；
具体包括：
选用三层结构的并行金字塔，以避免因层数过高引起深度图像边缘的退化问题；
金字塔第j层(1≤j≤3)的深度图像深层特征
Figure BDA0002548151770000141
和纹理图像深层特征
Figure BDA0002548151770000142
是由第j-1层的分层特征
Figure BDA0002548151770000143
和
Figure BDA0002548151770000144
构建，
深度图像和纹理图像的多尺度分层特征构建方式分别如公式(6)和(7)所示：
Figure BDA0002548151770000145
Figure BDA0002548151770000146
其中，
Figure BDA0002548151770000147
表示纹理图像的深层特征FDC在金字塔第j层构建的分层特征，
Figure BDA0002548151770000148
表示深度图像
Figure BDA0002548151770000149
在金字塔第j层构建的分层特征，当j＝0时，
Figure BDA00025481517700001410
“*”表示卷积操作，“σ”表示线性整流(Rectified Linear Unit，ReLU)激活函数，H↓表示最大池化层的2×下采样操作；
Figure BDA00025481517700001411
表示卷积的权重，
Figure BDA00025481517700001412
表示卷积的偏置；
所述反馈特征融合子模块，学习多级感受野下的纹理图像与深度图像的结构相似性，融合不同尺度的层次特征信息，获得包含多级感受野的纹理图像对深度图像的边缘引导信息；
具体包括：
将金字塔最上层的深度图像的分层特征
Figure BDA00025481517700001413
和纹理图像的分层特征
Figure BDA00025481517700001414
融合，生成深度-纹理融合特征R3；
采用反馈式特征融合策略，将R3与分层特征
Figure BDA00025481517700001415
和
Figure BDA00025481517700001416
进行融合生成第二层的深度-纹理融合特征R2，
第一层的深度-纹理融合特征R1与R2采取相同的融合方式，深度-纹理融合特征的生成过程如公式(8)所示：
Figure BDA0002548151770000151
其中，R4为空集，
Figure BDA0002548151770000152
和
Figure BDA0002548151770000153
分别表示1×1卷积的权重与偏置，[,]表示级联，
Figure BDA0002548151770000154
表示通过反卷积实现的2×上采样操作，获得与第j-1层特征空间相匹配的分层特征；
将深度-纹理融合特征R1与深度图像的深层特征
Figure BDA0002548151770000155
和纹理图像的深层特征FDC进行融合，生成纹理图像对深度图像的边缘引导信息FDf，如公式(9)所示：
Figure BDA0002548151770000156
其中，Wr和br分别表示卷积的权重和偏置。
本发明在构建单深度图像重建网络的基础上，通过深度-纹理融合特征增强网络生成深度图像的引导图像。
高分辨率的深度图像Dup(如图5(a)所示)通过深度图像的深层特征
Figure BDA0002548151770000157
生成，深度图像的引导图像Df(如图5(b)所示)由边缘引导信息DFf生成，包含大量的深度图像边缘信息。
以残差学习的方式通过公式(10)重建深度图像Dsr：
Figure BDA0002548151770000158
其中，HrL(·)表示单深度图像重建函数，HrC(·)表示引导图像生成函数。
采用残差学习的方式，HFBN网络在单深度图像重建网络的基础上，利用深度-纹理融合特征增强网络生成深度图像的边缘引导图像，进一步提高深度图像的重建质量。
以下为具体实施例。
为实现本发明所提的方法，在构建HFBN网络后需对网络进行训练。其数据集设置如下：
从"Middlebury"数据集(分辨率最小为432×368，最大为2300×1992)和"MPISintel depth"数据集(分辨率为1024×436)选取82张RGB-D图片作为训练集，10张RGB-D图片作为验证集，从"Middlebury"数据集选取"Art"、"Books"、"Laundry"、"Reindeer"、"Tsukuba"、"Teddy"图片作为测试集。
与DepthSR-Net方法[8]类似，原始的深度图像采用双三次插值方法生成对应的低分辨率深度图像DL，作为HFBN网络训练时输入的低分辨率深度图像。
在训练时，比例因子选取2×、3×、4×、8×，原始深度图像DH和纹理图像YC分别被分割成大小为128、144、128、128的块，低分辨率深度图像DL被分割成大小为64、48、32、16对应比例因子缩小的块，并利用随机旋转和翻转操作扩大数据集。
除标记参数的卷积层以外，网络的其他部分卷积核的大小为k＝3，通道数C＝64。
本发明采用均方根误差RMSE(Root Mean Square Error)作为模型训练中的损失函数，如公式(11)所示：
Figure BDA0002548151770000171
其中，N表示每批输入网络的训练样本数，N＝16，初始的学习率lr＝1e-4，且在第60个周期和第120个周期lr减半，共训练200个周期。ADAM方法[9]用于优化HBFN网络的训练过程，参数设置为β1＝0.9，β2＝0.999，ε＝1e-8。
在测试环节，采用均方根误差RMSE和峰值信噪比PSNR作为客观评价指标。
本发明基于HFBN网络的方法以HFBN方法指代，与传统方法(Bicubic，GF[10]，TGV[11]，JID[12])和基于学习的方法(SRCNN[1]，MSG-Net[7]，DepthSR-Net[8])进行比较，HFBN+表示采用self-ensemble[13]方法的HFBN网络的测试结果。为客观评价各方法的性能指标，上述方法采用相同的测试集进行测试。
当比例因子为2×、3×、4×、8×时，深度图像超分辨率重建的RMSE和PSNR的客观质量如表1-表4所示，其中最优结果用粗体显示、次优结果用下划线表示。
表1：2×的客观对比结果(RMSE/PSNR)
Figure BDA0002548151770000172
Figure BDA0002548151770000181
表2：3×的客观对比结果(RMSE/PSNR)
Figure BDA0002548151770000182
表3：4×的客观对比结果(RMSE/PSNR)
Figure BDA0002548151770000183
Figure BDA0002548151770000191
表4：8×的客观对比结果(RMSE/PSNR)
Figure BDA0002548151770000192
由表1到表3可知，当比例因子为2×、3×、4×时，HFBN方法均优于比较方法。
与Bicubic方法相比，HFBN方法重建深度图像的平均PSNR值提高了13.35dB(2×)、10.35dB(3×)、8.79dB(4×)、6.74dB(8×)；RMSE值平均降低了1.99(2×)、2.14(3×)、2.27(4×)、2.53(8×)。与MSG-Net[7]方法相比，HFBN方法重建深度图像的PSNR值平均提高了3.43dB(2×)、1.03dB(4×)、0.93dB(8×)；RMSE值平均降低了0.28(2×)、0.20(4×)、0.25(8×)。与DepthSR-Net方法[8]相比，HFBN方法重建深度图像的平均PSNR值提高了2.50dB(2×)、1.01dB(3×)、0.03dB(4×)、-0.68dB(8×)；RMSE值平均降低了0.16(2×)、0.05(3×)、-0.04(4×)、-0.29(8×)。
对比各测试图片的结果，当比例因子为4×时，HFBN方法在"Books"、"Laundry"和"Teddy"测试图片的重建结果均优于比较算法，在"Reindeer"、"Tsukuba"和"Art"测试图片的重建结果略低于DepthSR-Net方法[8]的重建结果。
由表1到表4的实验结果可知，HFBN+方法在测试集的重建结果都优于HFBN方法。当比例因子为8×时，HFBN+方法在"Tsukuba"测试图片的重建结果低于HFBN方法的重建结果。
当比例因子分别为4×、8×时，HFBN方法与Bicubic方法、DepthSR-Net方法[8]在测试图片"Art"和"Laundry"上的深度图像的超分辨率重建结果分别如图6、图7所示，尤其请注意图中的蓝框区域1和红框区域2，为方便展示，放大蓝框区域1，对应图片下方的左边图片；放大红框区域2，对应图片下方的右边图片。
在图6中，HFBN方法重建的"Art"边缘比Bicubic方法和DepthSR-Net[15]方法的重建结果更清晰，见图6中的蓝框区域1和红框区域2。由图7(c)和(d)中的蓝框区域1可知，因内部纹理干扰DepthSR-Net方法[8]导致深度图像的重建结果出现了白色条纹，而HFBN方法利用反馈式融合策略，消除了纹理图像内部纹理信息的不利引导，其重建结果未出现白色条纹。
本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。
参考文献
[1]Dong C,Loy C C,He K,et al.Learning a deep convolutional networkfor image super-resolution[C]//European conference on computervision.Springer,Cham,2014:184-199
[2]Shi W,Caballero J,Huszár F,et al.Real-time single image and videosuper-resolution using an efficient sub-pixel convolutional neural network[C]//Proceedings of the IEEE conference on computer vision and patternrecognition.2016:1874-1883.
[3]Lim B,Son S,Kim H,et al.Enhanced deep residual networks for singleimage super-resolution[C]//Proceedings of the IEEE conference on computervision and pattern recognition workshops.2017:136-144.
[4]He K,Zhang X,Ren S,et al.Deep residual learning for imagerecognition[C]//Proceedings of the IEEE conference on computer vision andpattern recognition.2016:770-778.
[5]Zhou W,Li X,Reynolds D.Guided deep network for depth map super-resolution:How much can color help？[C]//2017IEEE International Conference onAcoustics,Speech and Signal Processing(ICASSP).IEEE,2017:1457-1461.
[6]Zhao L,Bai H,Liang J,et al.Simultaneous color-depth super-resolution with conditional generative adversarial networks[J].PatternRecognition,2019,88:356-369.
[7]Hui T W,Loy C C,Tang X.Depth map super-resolution by deep multi-scale guidance[C]//European conference on computer vision.Springer,Cham,2016:353-369.
[8]Guo C,Li C,Guo J,et al.Hierarchical features driven residuallearning for depth map super-resolution[J].IEEE Transactions on ImageProcessing,2018,28(5):2545-2557.
[9]Kingma D P,Ba J.Adam:A method for stochastic optimization[J].arXivpreprint arXiv:1412.6980,2014.
[10]He K,Sun J,Tang X.Guided image filtering[C]//European conferenceon computer vision.Springer,Berlin,Heidelberg,2010:1-14.
[11]Ferstl D,Reinbacher C,Ranftl R,et al.Image guided depthupsampling using anisotropic total generalized variation[C]//Proceedings ofthe IEEE International Conference on Computer Vision.2013:993-1000.
[12]Kiechle M,Hawe S,Kleinsteuber M.A joint intensity and depth co-sparse analysis model for depth map super-resolution[C]//Proceedings of theIEEE international conference on computer vision.2013:1545-1552.
[13]Timofte R,Rothe R,Van Gool L.Seven ways to improve example-basedsingle image super resolution[C]//Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition.2016:1865-1873.

Claims (10)

1.分级特征反馈融合的深度图像超分辨率重建方法，其特征在于，单深度图像重建网络通过单层卷积提取深度图像的浅层特征，
深度-纹理融合特征增强网络通过单层卷积提取纹理图像的浅层特征；
所述单深度图像重建网络和深度-纹理融合特征增强网络，以级联多个残差块的形式构建深层网络，进一步提取深度图像和纹理图像的深层特征；
所述深度图像的深层特征上采样后，与纹理图像的深层特征利用深度-纹理反馈式融合模块DCB Fusion进行特征融合；
根据深度-纹理反馈式融合模块输出的深度-纹理融合特征，生成纹理图像对深度图像的边缘引导信息；
所述深度图像的边缘引导信息生成边缘引导图像后，与单深度图像重建网络生成的高分辨率深度图像融合，得到深度图像的超分辨率重建结果。
2.如权利要求1所述的分级特征反馈融合的深度图像超分辨率重建方法，其特征在于，由单深度图像重建网络和深度-纹理融合特征增强网络两个子网络组成分级特征反馈式融合网络HFBN。
3.如权利要求1所述的分级特征反馈融合的深度图像超分辨率重建方法，其特征在于，所述深度图像为低分辨率的深度图像DL，
所述纹理图像为与深度图像同一场景下的、对应比例因子放大的高分辨率纹理图像YC。
4.如权利要求3所述的分级特征反馈融合的深度图像超分辨率重建方法，其特征在于，通过单深度图像重建网络提取深度图像的浅层特征
Figure FDA0002548151760000021
通过深度-纹理融合特征增强网络提取纹理图像的浅层特征
Figure FDA0002548151760000022
如公式(1)和(2)所示：
Figure FDA0002548151760000023
Figure FDA0002548151760000024
其中，HLF(·)和HCF(·)为3×3的卷积滤波器。
5.如权利要求4所述的分级特征反馈融合的深度图像超分辨率重建方法，其特征在于，为了获取深度图像与纹理图像深层次的内部关联，所述单深度图像重建网络和深度-纹理融合特征增强网络，通过级联5个残差块构建深层网络，分别提取深度图像的深层特征和纹理图像的深层特征；
如公式(3)和(4)所示：
Figure FDA0002548151760000025
Figure FDA0002548151760000026
其中，
Figure FDA0002548151760000027
和
Figure FDA0002548151760000028
分别表示深度图像和纹理图像通过第i个(1≤i≤5)残差块的输出特征，HResL和HResC是相应的残差映射函数；
经过5个残差块提取特征后，深度图像和纹理图像的深层特征分别表示为：
Figure FDA0002548151760000031
和
Figure FDA0002548151760000032
6.如权利要求5所述的分级特征反馈融合的深度图像超分辨率重建方法，其特征在于，所述残差块，由卷积和线性整流激活函数ReLU组成。
7.如权利要求5所述的分级特征反馈融合的深度图像超分辨率重建方法，其特征在于，深度图像的深层特征FDL采用亚像素卷积层H↑进行上采样操作，放大所需比例因子的低分辨率深度图像的深层特征，生成与纹理图像空间一致的深度图像的深层特征
Figure FDA0002548151760000033
以便于与纹理图像的深层特征相融合，
如公式(5)所示：
Figure FDA0002548151760000034
8.如权利要求7所述的分级特征反馈融合的深度图像超分辨率重建方法，其特征在于，所述深度-纹理反馈式融合模块DCB Fusion，通过深度-纹理反馈式融合策略，实现不同尺度特征的反馈式融合，以获取纹理图像对深度图像的边缘引导信息。
9.如权利要求8所述的分级特征反馈融合的深度图像超分辨率重建方法，其特征在于，根据上采样操作后得到的深度图像的深层特征
Figure FDA0002548151760000041
生成高分辨率的深度图像，
根据纹理图像对深度图像的边缘引导信息，构建深度图像的边缘引导图像；
两者相加求和，完成对应比例因子放大的深度图像的超分辨率重建。
10.如权利要求8所述的分级特征反馈融合的深度图像超分辨率重建方法，其特征在于，所述深度-纹理反馈式融合模块，包含多尺度分层特征构建子模块和反馈特征融合子模块；
所述多尺度分层特征构建子模块，利用并行的金字塔结构构建深度图像和纹理图像不同尺度下的分层特征表示，用于提供包含不同感受野的层次特征信息；
具体包括：
选用三层结构的并行金字塔，以避免因层数过高引起深度图像边缘的退化问题；
金字塔第j层(1≤j≤3)的深度图像深层特征
Figure FDA0002548151760000042
和纹理图像深层特征
Figure FDA0002548151760000043
是由第j-1层的分层特征
Figure FDA0002548151760000044
和
Figure FDA0002548151760000045
构建，
深度图像和纹理图像的多尺度分层特征构建方式分别如公式(6)和(7)所示：
Figure FDA0002548151760000046
Figure FDA0002548151760000047
其中，
Figure FDA0002548151760000048
表示纹理图像的深层特征FDC在金字塔第j层构建的分层特征，
Figure FDA0002548151760000051
表示深度图像
Figure FDA0002548151760000052
在金字塔第j层构建的分层特征，当j＝0时，
Figure FDA0002548151760000053
“*”表示卷积操作，“σ”表示线性整流ReLU激活函数，H↓表示最大池化层的2×下采样操作；
Figure FDA0002548151760000054
表示卷积的权重，
Figure FDA0002548151760000055
表示卷积的偏置；
所述反馈特征融合子模块，学习多级感受野下的纹理图像与深度图像的结构相似性，用于获取深度-纹理的边缘引导信息；
具体包括：
将金字塔最上层的深度图像的分层特征
Figure FDA0002548151760000056
和纹理图像的分层特征
Figure FDA0002548151760000057
融合，生成深度-纹理融合特征R3；
采用反馈式特征融合策略，将R3与分层特征
Figure FDA0002548151760000058
和
Figure FDA0002548151760000059
进行融合生成第二层的深度-纹理融合特征R2，
第一层的深度-纹理融合特征R1与R2采取相同的融合方式，深度-纹理融合特征的生成过程如公式(8)所示：
Figure FDA00025481517600000510
其中，R4为空集，
Figure FDA00025481517600000511
和
Figure FDA00025481517600000512
分别表示1×1卷积的权重与偏置，[,]表示级联，
Figure FDA00025481517600000513
表示通过反卷积实现的2×上采样操作，获得与第j-1层特征空间相匹配的分层特征；
将深度-纹理融合特征R1与深度图像的深层特征
Figure FDA00025481517600000514
和纹理图像的深层特征FDC进行融合，生成纹理图像对深度图像的边缘引导信息FDf，如公式(9)所示：
Figure FDA00025481517600000515
其中，Wr和br分别表示卷积的权重和偏置。
CN202010566899.9A 2020-06-19 2020-06-19 分级特征反馈融合的深度图像超分辨率重建方法 Active CN111882485B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010566899.9A CN111882485B (zh) 2020-06-19 2020-06-19 分级特征反馈融合的深度图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010566899.9A CN111882485B (zh) 2020-06-19 2020-06-19 分级特征反馈融合的深度图像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN111882485A true CN111882485A (zh) 2020-11-03
CN111882485B CN111882485B (zh) 2023-08-18

Family

ID=73157778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010566899.9A Active CN111882485B (zh) 2020-06-19 2020-06-19 分级特征反馈融合的深度图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN111882485B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658134A (zh) * 2021-08-13 2021-11-16 安徽大学 一种多模态对齐校准的rgb-d图像显著目标检测方法
CN114494095A (zh) * 2022-01-28 2022-05-13 北京百度网讯科技有限公司 一种图像处理方法、装置、电子设备及存储介质
WO2023010831A1 (zh) * 2021-08-03 2023-02-09 长沙理工大学 提高图像分辨率的方法、系统、装置及存储介质
CN116740261A (zh) * 2022-03-02 2023-09-12 腾讯科技（深圳）有限公司 图像重建方法和装置、图像重建模型的训练方法和装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130044965A1 (en) * 2011-08-16 2013-02-21 Himax Technologies Limited Super resolution system and method with database-free texture synthesis
CN107358576A (zh) * 2017-06-24 2017-11-17 天津大学 基于卷积神经网络的深度图超分辨率重建方法
CN109671022A (zh) * 2019-01-22 2019-04-23 北京理工大学 一种基于深度特征翻译网络的图片纹理增强超分辨率方法
CN110111254A (zh) * 2019-04-24 2019-08-09 天津大学 一种基于多级递归引导和渐进监督的深度图超分辨率方法
CN110930309A (zh) * 2019-11-20 2020-03-27 武汉工程大学 基于多视图纹理学习的人脸超分辨率方法及装置
CN110930342A (zh) * 2019-10-28 2020-03-27 杭州电子科技大学 一种基于彩色图引导的深度图超分辨率重建网络构建方法
CN111105354A (zh) * 2019-12-24 2020-05-05 武汉工程大学 基于多源深度残差网络的深度图像超分辨率方法及装置
AU2020100200A4 (en) * 2020-02-08 2020-06-11 Huang, Shuying DR Content-guide Residual Network for Image Super-Resolution

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130044965A1 (en) * 2011-08-16 2013-02-21 Himax Technologies Limited Super resolution system and method with database-free texture synthesis
CN107358576A (zh) * 2017-06-24 2017-11-17 天津大学 基于卷积神经网络的深度图超分辨率重建方法
CN109671022A (zh) * 2019-01-22 2019-04-23 北京理工大学 一种基于深度特征翻译网络的图片纹理增强超分辨率方法
CN110111254A (zh) * 2019-04-24 2019-08-09 天津大学 一种基于多级递归引导和渐进监督的深度图超分辨率方法
CN110930342A (zh) * 2019-10-28 2020-03-27 杭州电子科技大学 一种基于彩色图引导的深度图超分辨率重建网络构建方法
CN110930309A (zh) * 2019-11-20 2020-03-27 武汉工程大学 基于多视图纹理学习的人脸超分辨率方法及装置
CN111105354A (zh) * 2019-12-24 2020-05-05 武汉工程大学 基于多源深度残差网络的深度图像超分辨率方法及装置
AU2020100200A4 (en) * 2020-02-08 2020-06-11 Huang, Shuying DR Content-guide Residual Network for Image Super-Resolution

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
CHUNLE GUO等: "Hierarchical Features Driven Residual Learning for Depth Map Super-Resolution", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
CHUNLE GUO等: "Hierarchical Features Driven Residual Learning for Depth Map Super-Resolution", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》, vol. 28, no. 5, 16 December 2018 (2018-12-16), pages 2545 - 2557, XP011713705, DOI: 10.1109/TIP.2018.2887029 *
FUZHI YANG等: "Learning Texture Transformer Network for Image Super-Resolution", 《ARXIV》 *
FUZHI YANG等: "Learning Texture Transformer Network for Image Super-Resolution", 《ARXIV》, 7 June 2020 (2020-06-07), pages 1 - 22 *
于淑侠等: "彩色图像多尺度引导的深度图像超分辨率重建", 《光电工程》 *
于淑侠等: "彩色图像多尺度引导的深度图像超分辨率重建", 《光电工程》, no. 04, 29 April 2020 (2020-04-29), pages 40 - 49 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023010831A1 (zh) * 2021-08-03 2023-02-09 长沙理工大学 提高图像分辨率的方法、系统、装置及存储介质
CN113658134A (zh) * 2021-08-13 2021-11-16 安徽大学 一种多模态对齐校准的rgb-d图像显著目标检测方法
CN114494095A (zh) * 2022-01-28 2022-05-13 北京百度网讯科技有限公司 一种图像处理方法、装置、电子设备及存储介质
CN116740261A (zh) * 2022-03-02 2023-09-12 腾讯科技（深圳）有限公司 图像重建方法和装置、图像重建模型的训练方法和装置

Also Published As

Publication number Publication date
CN111882485B (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
CN111882485A (zh) 分级特征反馈融合的深度图像超分辨率重建方法
CN108734659B (zh) 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法
CN107123089B (zh) 基于深度卷积网络的遥感图像超分辨重建方法及系统
CN112734646B (zh) 一种基于特征通道划分的图像超分辨率重建方法
CN110415199B (zh) 基于残差学习的多光谱遥感图像融合方法及装置
CN110969577A (zh) 一种基于深度双重注意力网络的视频超分辨率重建方法
CN114119444B (zh) 一种基于深度神经网络的多源遥感图像融合方法
CN106408524A (zh) 基于二维图像辅助的深度图像增强方法
CN110956581B (zh) 一种基于双通道生成-融合网络的图像模态变换方法
CN105976318A (zh) 一种图像超分辨率重建方法
WO2018235746A1 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
CN102842115A (zh) 基于双重字典学习的压缩感知图像超分辨率重建方法
CN111696035A (zh) 一种基于光流运动估计算法的多帧图像超分辨率重建方法
Xu et al. Joint demosaicing and super-resolution (JDSR): Network design and perceptual optimization
CN112801904B (zh) 一种基于卷积神经网络的混合退化图像增强方法
CN112508794B (zh) 医疗图像超分辨率重建方法及系统
CN110930308B (zh) 一种图像超分辨生成网络的结构搜索方法
CN104408697B (zh) 基于遗传算法和正则先验模型的图像超分辨重建方法
Jin et al. Enhanced bi-directional motion estimation for video frame interpolation
CN115578255A (zh) 一种基于帧间亚像素块匹配的超分辨率重建方法
CN107292316A (zh) 一种基于稀疏表示的提升图像清晰度的方法
CN115511767A (zh) 一种自监督学习的多模态图像融合方法及其应用
JP2019139713A (ja) 画像処理装置、撮像装置、画像処理方法、プログラムおよび記憶媒体
Zhang et al. Learning stacking regressors for single image super-resolution
Umer et al. Deep iterative residual convolutional network for single image super-resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20201103

Assignee: Beijing JAL Technology Co.,Ltd.

Assignor: Beijing Jiaotong University

Contract record no.: X2024980002524

Denomination of invention: A deep image super-resolution reconstruction method based on hierarchical feature feedback fusion

Granted publication date: 20230818

License type: Common License

Record date: 20240305

EE01 Entry into force of recordation of patent licensing contract