CN111105354A - 基于多源深度残差网络的深度图像超分辨率方法及装置 - Google Patents

基于多源深度残差网络的深度图像超分辨率方法及装置 Download PDF

Info

Publication number
CN111105354A
CN111105354A CN201911349902.5A CN201911349902A CN111105354A CN 111105354 A CN111105354 A CN 111105354A CN 201911349902 A CN201911349902 A CN 201911349902A CN 111105354 A CN111105354 A CN 111105354A
Authority
CN
China
Prior art keywords
resolution
depth image
image
color image
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911349902.5A
Other languages
English (en)
Inventor
卢涛
郝晓慧
张彦铎
胡记伟
魏明
许若波
陈冲
周强
郎秀娟
王宇
魏博识
王彬
吴志豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Institute of Technology
Wuhan Fiberhome Technical Services Co Ltd
Original Assignee
Wuhan Institute of Technology
Wuhan Fiberhome Technical Services Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Institute of Technology, Wuhan Fiberhome Technical Services Co Ltd filed Critical Wuhan Institute of Technology
Priority to CN201911349902.5A priority Critical patent/CN111105354A/zh
Publication of CN111105354A publication Critical patent/CN111105354A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多源深度残差网络的深度图像超分辨率方法及装置，属于深度图像超分辨率领域。由于彩色图像拥有丰富的纹理信息，本发明利用纹理信息丰富的彩色图像引导深度图像进行重建。因为残差信息代表图像的高频信息，因此本发明首先将高分辨率图像下采样至目标低分辨率图像，并且在双分支网络中分别提取输入的低分辨率彩色图像和深度图像的残差信息，然后将提取到的彩色图像和深度图像的残差信息在融合网络中进行融合，最后利用融合后的残差信息和输入的低分辨率深度图像对高分辨率深度图像进行重建。通过本发明提升了网络的重建性能，使得重建后的深度图像有较高质量的纹理信息。

Description

基于多源深度残差网络的深度图像超分辨率方法及装置
技术领域
本发明属于深度图像超分辨率技术领域，更具体地，涉及一种基于多源深度残差网络的深度图像超分辨率方法及装置。
背景技术
深度图像超分辨是一种特定领域的超分辨率方法，该方法从一张或多张输入的低分辨率(Low Resolution，LR)图像中重建高分辨率(High Resolution，HR)深度图像，被广泛应用在三维重建、三维电视、机器人目标感知等计算机视觉领域。
在深度图像中，像素值代表了物体与相机之间的距离，因此深度图像中的纹理信息在距离识别中起着重要的作用。然而，由于深度传感器的限制，深度图像的分辨率和质量往往低于相应的高分辨率彩色图像。因此，从低分辨率图像中恢复高分辨率深度图像对计算机视觉至关重要。
一般来说，现有的超分辨率方法大多可以直接应用于单张深度图像的超分辨率任务。然而，考虑到深度图像的特殊性，人们提出了各种增强深度图像边缘的方法。例如，为了获得高质量的信息提出了一种边缘引导的深度图像超分辨率方法；利用加权分析表示模型指导深度图像增强的方法。除上述方法之外，一些基于RGBD图像融合的深度图像SR重建方法被提出，例如，利用高阶正则化融合彩色和深度信息。
最近，卷积神经网络在超分辨率任务上表现出了良好的性能。例如：SRCNN使用卷积神经网络的图像超分辨率，它提供了低分辨率和高分辨率图像之间的端到端映射，但其训练收敛速度太慢，得到的高频信息不够准确。因此，VDSR利用更深层次的残差网络架构来追求精确的高频细节渲染。而对于深度图像，一些方法使用生成式对抗网络(GAN)同时进行彩色图像和深度图像超分辨率任务。虽然它们利用GAN对纹理信息进行了重建，但是生成的梯度信息并不稳定。除此之外，有的方法使用多尺度卷积神经网络(MS-Net,MSG-Net)将彩色和深度图像融合到特征域中。此方法虽然有效地改善了深度图像的边缘质量，但是为深度图像创建了冗余细节，而且彩色和深度在特征域的融合抑制了超分辨率重建过程中的高频信息的产生。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提出了一种基于多源深度残差网络的深度图像超分辨率方法及装置，由此解决如何提升网络的重建性能，使得重建后的深度图像有较高质量的纹理信息的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种基于多源深度残差网络的深度图像超分辨率方法，包括：
(1)分别将高分辨率深度图像和高分辨率彩色图像下采样至对应的目标低分辨率深度图像和目标低分辨率彩色图像，将所述高分辨率深度图像与对应的所述目标低分辨率深度图像输入深度图像超分辨率网络进行训练，以提取所述目标低分辨率深度图像的残差信息，将所述高分辨率彩色图像与对应的所述目标低分辨率彩色图像输入彩色图像超分辨率网络进行训练，以提取所述目标低分辨率彩色图像的残差信息；
(2)将所述目标低分辨率深度图像的残差信息和所述目标低分辨率彩色图像的残差信息进行拼接后，在残差融合网络进行融合，得到融合后的残差信息；
(3)利用所述融合后的残差信息和所述目标低分辨率深度图像来重建高分辨率深度图像，得到最终的高分辨率深度图像。
优选地，步骤(1)包括：
(1.1)分别将高分辨率深度图像和高分辨率彩色图像下采样至对应的目标低分辨率深度图像和目标低分辨率彩色图像；
(1.2)将所述高分辨率深度图像分为若干高分辨率深度图像块，将对应的所述目标低分辨率深度图像分为若干低分辨率深度图像块，将所述高分辨率彩色图像分为若干高分辨率彩色图像块，将对应的所述目标低分辨率彩色图像分为若干低分辨率彩色图像块；
(1.3)将各高分辨率深度图像块与对应的各低分辨率深度图像块输入深度图像超分辨率网络进行训练，以提取各低分辨率深度图像块的残差信息，将各高分辨率彩色图像块与对应的低分辨率彩色图像块输入彩色图像超分辨率网络进行训练，以提取各低分辨率彩色图像块的残差信息；
(1.4)将各低分辨率深度图像块的残差信息进行融合得到所述目标低分辨率深度图像的残差信息，将各低分辨率彩色图像块的残差信息进行融合得到所述目标低分辨率彩色图像的残差信息。
优选地，由
Figure BDA0002334390610000031
提取第j个低分辨率彩色图像块
Figure BDA0002334390610000032
的残差信息，由
Figure BDA0002334390610000033
提取第j个低分辨率深度图像块
Figure BDA0002334390610000034
的残差信息，其中，
Figure BDA0002334390610000035
表示彩色图像超分辨率网络第20层的权重，
Figure BDA0002334390610000036
表示深度图像超分辨率网络第20层的权重，
Figure BDA0002334390610000037
表示彩色图像超分辨率网络第19层产生的特征图，
Figure BDA0002334390610000038
表示深度图像超分辨率网络第19层产生的特征图，
Figure BDA0002334390610000039
表示彩色图像超分辨率网络第20层的偏置项，
Figure BDA00023343906100000310
表示深度图像超分辨率网络第20层的偏置项。
优选地，步骤(2)包括：
(2.1)由Concat函数将所述目标低分辨率深度图像的残差信息和所述目标低分辨率彩色图像的残差信息进行拼接得到拼接后的残差图；
(2.2)在残差融合网络中，将所述拼接后的残差图中不同通道的每个像素进行组合，得到融合后的残差信息。
优选地，由
Figure BDA00023343906100000311
得到融合后的残差信息，其中，fCa(XC,XD)表示拼接后的残差图，
Figure BDA00023343906100000312
表示残差融合网络中第2层的权重矩阵，
Figure BDA0002334390610000041
为残差融合网络中第1层生成的特征图，
Figure BDA0002334390610000042
为残差融合网络中第二层的偏置项，XC表示与高分辨率彩色图像大小相同的低分辨率彩色图像，XD表示与高分辨率深度图像大小相同的低分辨率深度图像。
优选地，步骤(3)包括：
由Y(XD)＝RF(fCa(XC,XD))+XD得到最终的高分辨率深度图像。
优选地，所述彩色图像超分辨率网络的损失函数为：
Figure BDA0002334390610000043
Figure BDA0002334390610000044
其中，
Figure BDA0002334390610000045
为第j个高分辨率彩色图像块，
Figure BDA0002334390610000046
为第j个低分辨率彩色图像块。
优选地，所述深度图像超分辨率网络的损失函数为：
Figure BDA0002334390610000047
Figure BDA0002334390610000048
其中，
Figure BDA0002334390610000049
为第j个高分辨率深度图像块，
Figure BDA00023343906100000410
为第j个低分辨率深度图像块。
优选地，所述多源深度残差网络的损失函数为：Loss＝LossC+LossD。
按照本发明的另一个方面，提供了一种基于多源深度残差网络的深度图像超分辨率装置，包括：
残差信息获取模块，用于分别将高分辨率深度图像和高分辨率彩色图像下采样至对应的目标低分辨率深度图像和目标低分辨率彩色图像，将所述高分辨率深度图像与对应的所述目标低分辨率深度图像输入深度图像超分辨率网络进行训练，以提取所述目标低分辨率深度图像的残差信息，将所述高分辨率彩色图像与对应的所述目标低分辨率彩色图像输入彩色图像超分辨率网络进行训练，以提取所述目标低分辨率彩色图像的残差信息；
融合模块，用于将所述目标低分辨率深度图像的残差信息和所述目标低分辨率彩色图像的残差信息进行拼接后，在残差融合网络进行融合，得到融合后的残差信息；
重建模块，用于利用所述融合后的残差信息和所述目标低分辨率深度图像来重建高分辨率深度图像，得到最终的高分辨率深度图像。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
本发明利用纹理信息丰富的彩色图像引导深度图像进行重建。因为残差信息代表图像的高频信息，因此该方法首先将高分辨率图像下采样至目标低分辨率图像，并且在双分支网络中分别提取输入的低分辨率彩色图像和深度图像的残差信息，然后将提取到的彩色图像和深度图像的残差信息在融合网络进行融合，最后利用融合的残差信息和输入的低分辨率深度图像对目标高分辨率深度图像进行重建。本方法提升了网络的重建性能，使得重建后的深度图像有较高质量的纹理信息。
附图说明
图1是本发明实施例提供的一种方法流程示意图；
图2是本发明实施例提供的一种网络结构图；
图3是本发明实施例提供的一种多源深度残差网络在尺度因子为2下的恢复图像；
图4是本发明实施例提供的一种多源深度残差网络在尺度因子为4下的恢复图像。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明提出了一种基于多源深度残差网络的深度图像超分辨率方法及装置，充分利用了多源信息，即彩色图像丰富的纹理信息和残差信息代表着高频信息的优点，提升了网络的性能，提高了重建的深度图像的质量。
如图1所示是本发明实施例提供的一种方法流程示意图，基于图2所示的网络结构实现，该方法包括以下步骤：
S1：将M张高分辨率彩色图像和深度图像下采样至对应的目标低分辨率图像，然后将彩色图像和深度图像分别分为N个彩色图像块和深度图像块。将高-低分辨率图像块对分别传送到彩色图像超分辨率网络(如图2中C-网络)和深度图像超分辨率网络(如图2中D-网络)中进行训练，以提取彩色图像块的残差信息和深度图像块的残差信息；
如图2所示，C-网络包含20个CR块，每一个CR块包含一个卷积层一个Relu函数，在C-网络的最后一层使用融合操作将残差块融合为整张残差图像。
如图2所示，D-网络包含20个CR块，每一个CR块包含一个卷积层一个Relu函数，在网络的最后一层使用融合操作将残差块融合为整张残差图像。
在本发明实施例中，步骤S1可以通过以下方式实现：
S11：M对高分辨率深度图像
Figure BDA0002334390610000061
和彩色图像
Figure BDA0002334390610000062
此时
Figure BDA0002334390610000063
i是训练样本的索引。将高分辨率深度图像和彩色图像进行尺度因子为t的下采样，得到M对低分辨率深度图像
Figure BDA0002334390610000064
和彩色图像
Figure BDA0002334390610000065
此时
Figure BDA0002334390610000066
其中，
Figure BDA0002334390610000067
表示与高分辨率彩色图像大小相同的低分辨率深度图像，
Figure BDA0002334390610000068
表示高分辨率深度图像，
Figure BDA0002334390610000069
表示与高分辨率彩色图像大小相同的低分辨率彩色图像，
Figure BDA00023343906100000610
表示高分辨率彩色图像，
Figure BDA00023343906100000611
表示低分辨率深度图像，
Figure BDA00023343906100000612
表示低分辨率彩色图像，m表示图像的宽，n表示图像的高。
S12：将M对高-低分辨率图像对分为N对高-低分辨率深度图像块
Figure BDA00023343906100000613
和彩色图像块
Figure BDA00023343906100000614
j为图像块的索引；
其中，
Figure BDA00023343906100000615
表示第j个低分辨率深度图像块，
Figure BDA00023343906100000616
表示第j个高分辨率深度图像块，
Figure BDA0002334390610000071
表示第j个低分辨率彩色图像块，
Figure BDA0002334390610000072
表示第j个高分辨率彩色图像块。
S13：将N对高-低分辨率图像块送入双分支网络，即彩色图像超分辨率网络(C-网络)和深度图像超分辨网络(D-网络)中来获得高质量残差信息。即：
Figure BDA0002334390610000073
Figure BDA0002334390610000074
其中，
Figure BDA0002334390610000075
和
Figure BDA0002334390610000076
分别表示C-网络和D-网络第20层的权重，
Figure BDA0002334390610000077
和
Figure BDA0002334390610000078
分别表示C-网络和D-网络第19层产生的特征图，
Figure BDA0002334390610000079
和
Figure BDA00023343906100000710
分别表示C-网络和D-网络第20层的偏置项。
S2：将获得彩色图像残差块和深度图像残差块进行融合，来得到彩色图像残差信息和深度图像残差信息；
其中，在步骤S2中，将获得的两种残差信息块分别经过融合操作来得到整张残差图。
S3：将获得的彩色图像残差信息和深度图像残差信息拼接后在融合网络进行融合；
如图2所示，融合网络由一个CR块和一个3*3的卷积层构成。
在本发明实施例中，步骤S3可以通过以下方式实现：
S31：将获得的彩色图像残差信息和深度图像残差信息拼接，即：
fCa(XC,XD)＝Concat(fC(XC),fD(XD)) (3)
其中，Concat函数在第三维连接多源残差信息，fC(XC)和fD(XD)分别为融合后的彩色残差信息和深度残差信息；
其中，XC表示与高分辨率彩色图像大小相同的低分辨率彩色图像，XD表示与高分辨率深度图像大小相同的低分辨率深度图像。
S32：在残差融合网络中，1×1卷积核是一个线性组合，可以将不同通道的每个像素进行组合。得到最终的融合残差为：
Figure BDA0002334390610000081
其中，
Figure BDA0002334390610000082
表示残差融合网络中第2层的权重矩阵，
Figure BDA0002334390610000083
为第1层生成的特征图，
Figure BDA0002334390610000084
为第二层的偏置项。
S4：利用融合后的残差信息与输入的低分辨率深度图像对目标高分辨率深度图像进行重建，最终得到超分后的高质量深度图像。
在本发明实施例中，步骤S4可以通过以下方式实现：
S41：利用融合后的残差信息与输入的低分辨率深度图像对高分辨率深度图像进行重建，最终得到超分后的高质量深度图像。即：
Y(XD)＝RF(fCa(XC,XD))+XD (5)
在本发明实施例中，网络的损失函数为：
Figure BDA0002334390610000085
Figure BDA0002334390610000086
其中，LossC和LossD分别为C-网络和D-网络的损失函数，
Figure BDA0002334390610000087
和
Figure BDA0002334390610000088
分别为高分辨率彩色图像块和深度图像块。
Figure BDA0002334390610000089
和
Figure BDA00023343906100000810
分别为低分辨率彩色图像块和深度图像块。整个多源残差网络的损失函数即：
Loss＝LossC+LossD (8)
测试实施例
本发明在公共数据库MPI Sintel和Middlebury上展开。在Middlebury数据库中，第6对、第10对和第18对图像来自2001年、2006年和2014年的数据集。本发明从MPI Sintel数据库中选取了58对图像大小为1024×436像素的彩色-深度图像对，从Middlebury数据库中选取了34对图像大小为1300×1110像素的彩色-深度图像对。使用82对图像进行训练，10对图像进行验证。
在训练和测试过程中，首先使用尺度因子为t对高分辨率图像进行下采样，得到低分辨率图像。训练时将整幅图像分割成大小为61×61像素的图像块，尺度因子t∈{2,4,8}。然后将图像块对送入网络中进行训练，利用公式(6)和(7)来优化网络，在优化后的网络中用公式(1)和(2)获得彩色残差信息和深度残差信息。利用公式(3)将获得的彩色图像残差信息和深度图像残差信息拼接，将拼接后的残差信息在残差融合网络中利用公式(4)融合。最后利用公式(5)将融合后的残差信息与输入的低分辨率深度图像对高分辨率深度图像进行重建，最终得到超分后的高质量深度图像。
本发明与其他的深度图像超分辨率方法不同，以下提供实验对比说明本方法的有效性。
多源深度残差网络重建后的深度图像如图3和图4所示所示，实验对比算法为Park等人的“Park J,Kim H,Tai Y W,et al.High quality depth map upsampling for 3d-tof cameras[C].2011International Conference on Computer Vision.IEEE,2011:1623-1630”，Ferstl等人的“Ferstl D,Reinbacher C,Ranftl R,et al.Image guideddepth upsampling using anisotropic total generalized variation[C].Proceedingsof the IEEE International Conference on Computer Vision.2013:993-1000”，Gu等人的“Gu S,Zuo W,Guo S,et al.Learning dynamic guidance for depth imageenhancement[C].Proceedings of the IEEE Conference on Computer Vision andPattern Recognition.2017:3769-3778”，SRCNN，Wang等人的“Wang Z,Liu D,Yang J,etal.Deep networks for image super-resolution with sparse prior[C].Proceedingsof the IEEE international conference on computer vision.2015:370-378”，MS-Net和MSG-Net(MS-Net的提升版本)，Ground-truth为原始高分辨率图像，MSRFN为本发明方法。
在本发明实施例中，把均方根误差(RMSE)作为客观评估标准。实验结果(表格中粗体表示最佳性能，下划线表示次好性能)及对比如下表1和表2所示：
表1
Figure BDA0002334390610000101
表2
Figure BDA0002334390610000102
从以上表1和表2可以看出，与Park等人的方法，Ferstl等人的方法，和MSG-Net(MS-Net的提升版本)相比，本发明在均方误差上低于其他方法。
在本发明的另一实施例中，还提供了一种基于多源深度残差网络的深度图像超分辨率装置，包括：
残差信息获取模块，用于分别将高分辨率深度图像和高分辨率彩色图像下采样至对应的目标低分辨率深度图像和目标低分辨率彩色图像，将高分辨率深度图像与对应的目标低分辨率深度图像输入深度图像超分辨率网络进行训练，以提取目标低分辨率深度图像的残差信息，将高分辨率彩色图像与对应的目标低分辨率彩色图像输入彩色图像超分辨率网络进行训练，以提取目标低分辨率彩色图像的残差信息；
融合模块，用于将目标低分辨率深度图像的残差信息和目标低分辨率彩色图像的残差信息进行拼接后，在残差融合网络进行融合，得到融合后的残差信息；
重建模块，用于利用融合后的残差信息和目标低分辨率深度图像来重建高分辨率深度图像，得到最终的高分辨率深度图像。
其中，各模块的具体实施方式可以参考方法实施例的描述，本发明实施例将不再复述。
需要指出，根据实施的需要，可将本申请中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多源深度残差网络的深度图像超分辨率方法，其特征在于，包括：
(1)分别将高分辨率深度图像和高分辨率彩色图像下采样至对应的目标低分辨率深度图像和目标低分辨率彩色图像，将所述高分辨率深度图像与对应的所述目标低分辨率深度图像输入深度图像超分辨率网络进行训练，以提取所述目标低分辨率深度图像的残差信息，将所述高分辨率彩色图像与对应的所述目标低分辨率彩色图像输入彩色图像超分辨率网络进行训练，以提取所述目标低分辨率彩色图像的残差信息；
(2)将所述目标低分辨率深度图像的残差信息和所述目标低分辨率彩色图像的残差信息进行拼接后，在残差融合网络进行融合，得到融合后的残差信息；
(3)利用所述融合后的残差信息和所述目标低分辨率深度图像来重建高分辨率深度图像，得到最终的高分辨率深度图像。
2.根据权利要求1所述的方法，其特征在于，步骤(1)包括：
(1.1)分别将高分辨率深度图像和高分辨率彩色图像下采样至对应的目标低分辨率深度图像和目标低分辨率彩色图像；
(1.2)将所述高分辨率深度图像分为若干高分辨率深度图像块，将对应的所述目标低分辨率深度图像分为若干低分辨率深度图像块，将所述高分辨率彩色图像分为若干高分辨率彩色图像块，将对应的所述目标低分辨率彩色图像分为若干低分辨率彩色图像块；
(1.3)将各高分辨率深度图像块与对应的各低分辨率深度图像块输入深度图像超分辨率网络进行训练，以提取各低分辨率深度图像块的残差信息，将各高分辨率彩色图像块与对应的低分辨率彩色图像块输入彩色图像超分辨率网络进行训练，以提取各低分辨率彩色图像块的残差信息；
(1.4)将各低分辨率深度图像块的残差信息进行融合得到所述目标低分辨率深度图像的残差信息，将各低分辨率彩色图像块的残差信息进行融合得到所述目标低分辨率彩色图像的残差信息。
3.根据权利要求2所述的方法，其特征在于，由
Figure FDA0002334390600000021
Figure FDA0002334390600000022
提取第j个低分辨率彩色图像块
Figure FDA0002334390600000023
的残差信息，由
Figure FDA0002334390600000024
提取第j个低分辨率深度图像块
Figure FDA0002334390600000025
的残差信息，其中，
Figure FDA0002334390600000026
表示彩色图像超分辨率网络第20层的权重，
Figure FDA0002334390600000027
表示深度图像超分辨率网络第20层的权重，
Figure FDA0002334390600000028
表示彩色图像超分辨率网络第19层产生的特征图，
Figure FDA0002334390600000029
表示深度图像超分辨率网络第19层产生的特征图，
Figure FDA00023343906000000210
表示彩色图像超分辨率网络第20层的偏置项，
Figure FDA00023343906000000211
表示深度图像超分辨率网络第20层的偏置项。
4.根据权利要求1至3任意一项所述的方法，其特征在于，步骤(2)包括：
(2.1)由Concat函数将所述目标低分辨率深度图像的残差信息和所述目标低分辨率彩色图像的残差信息进行拼接得到拼接后的残差图；
(2.2)在残差融合网络中，将所述拼接后的残差图中不同通道的每个像素进行组合，得到融合后的残差信息。
5.根据权利要求4所述的方法，其特征在于，由
Figure FDA00023343906000000212
Figure FDA00023343906000000213
得到融合后的残差信息，其中，fCa(XC,XD)表示拼接后的残差图，
Figure FDA00023343906000000214
表示残差融合网络中第2层的权重矩阵，
Figure FDA00023343906000000215
为残差融合网络中第1层生成的特征图，
Figure FDA00023343906000000216
为残差融合网络中第二层的偏置项，XC表示与高分辨率彩色图像大小相同的低分辨率彩色图像，XD表示与高分辨率深度图像大小相同的低分辨率深度图像。
6.根据权利要求5所述的方法，其特征在于，步骤(3)包括：
由Y(XD)＝RF(fCa(XC,XD))+XD得到最终的高分辨率深度图像。
7.根据权利要求3所述的方法，其特征在于，所述彩色图像超分辨率网络的损失函数为：
Figure FDA0002334390600000031
其中，
Figure FDA0002334390600000032
为第j个高分辨率彩色图像块，
Figure FDA0002334390600000033
为第j个低分辨率彩色图像块。
8.根据权利要求7所述的方法，其特征在于，所述深度图像超分辨率网络的损失函数为：
Figure FDA0002334390600000034
其中，
Figure FDA0002334390600000035
为第j个高分辨率深度图像块，
Figure FDA0002334390600000036
为第j个低分辨率深度图像块。
9.根据权利要求8所述的方法，其特征在于，所述多源深度残差网络的损失函数为：Loss＝LossC+LossD。
10.一种基于多源深度残差网络的深度图像超分辨率装置，其特征在于，包括：
残差信息获取模块，用于分别将高分辨率深度图像和高分辨率彩色图像下采样至对应的目标低分辨率深度图像和目标低分辨率彩色图像，将所述高分辨率深度图像与对应的所述目标低分辨率深度图像输入深度图像超分辨率网络进行训练，以提取所述目标低分辨率深度图像的残差信息，将所述高分辨率彩色图像与对应的所述目标低分辨率彩色图像输入彩色图像超分辨率网络进行训练，以提取所述目标低分辨率彩色图像的残差信息；
融合模块，用于将所述目标低分辨率深度图像的残差信息和所述目标低分辨率彩色图像的残差信息进行拼接后，在残差融合网络进行融合，得到融合后的残差信息；
重建模块，用于利用所述融合后的残差信息和所述目标低分辨率深度图像来重建高分辨率深度图像，得到最终的高分辨率深度图像。
CN201911349902.5A 2019-12-24 2019-12-24 基于多源深度残差网络的深度图像超分辨率方法及装置 Pending CN111105354A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911349902.5A CN111105354A (zh) 2019-12-24 2019-12-24 基于多源深度残差网络的深度图像超分辨率方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911349902.5A CN111105354A (zh) 2019-12-24 2019-12-24 基于多源深度残差网络的深度图像超分辨率方法及装置

Publications (1)

Publication Number Publication Date
CN111105354A true CN111105354A (zh) 2020-05-05

Family

ID=70424523

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911349902.5A Pending CN111105354A (zh) 2019-12-24 2019-12-24 基于多源深度残差网络的深度图像超分辨率方法及装置

Country Status (1)

Country Link
CN (1) CN111105354A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882485A (zh) * 2020-06-19 2020-11-03 北京交通大学 分级特征反馈融合的深度图像超分辨率重建方法
CN112686830A (zh) * 2020-12-30 2021-04-20 太原科技大学 基于图像分解的单一深度图的超分辨率方法
CN113674155A (zh) * 2021-08-25 2021-11-19 中国铁塔股份有限公司湖北省分公司 基于信息聚合网络的图像超分辨率方法、装置和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109741256A (zh) * 2018-12-13 2019-05-10 西安电子科技大学 基于稀疏表示和深度学习的图像超分辨率重建方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109741256A (zh) * 2018-12-13 2019-05-10 西安电子科技大学 基于稀疏表示和深度学习的图像超分辨率重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郝晓慧等: "Multi-Source Deep Residual Fusion Network for Depth Image Super-resolution", 《CONFERENCE: THE 2019 INTERNATIONAL CONFERENCE》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882485A (zh) * 2020-06-19 2020-11-03 北京交通大学 分级特征反馈融合的深度图像超分辨率重建方法
CN111882485B (zh) * 2020-06-19 2023-08-18 北京交通大学 分级特征反馈融合的深度图像超分辨率重建方法
CN112686830A (zh) * 2020-12-30 2021-04-20 太原科技大学 基于图像分解的单一深度图的超分辨率方法
CN112686830B (zh) * 2020-12-30 2023-07-25 太原科技大学 基于图像分解的单一深度图的超分辨率方法
CN113674155A (zh) * 2021-08-25 2021-11-19 中国铁塔股份有限公司湖北省分公司 基于信息聚合网络的图像超分辨率方法、装置和存储介质

Similar Documents

Publication Publication Date Title
Li et al. Survey of single image super‐resolution reconstruction
Hui et al. Progressive perception-oriented network for single image super-resolution
CN111105354A (zh) 基于多源深度残差网络的深度图像超分辨率方法及装置
Cheng et al. Zero-shot image super-resolution with depth guided internal degradation learning
CN109214989A (zh) 基于多方向特征预测先验的单幅图像超分辨率重建方法
CN112580473B (zh) 一种融合运动特征的视频超分辨率重构方法
Ye et al. Depth super-resolution with deep edge-inference network and edge-guided depth filling
Zhang et al. Deformable and residual convolutional network for image super-resolution
CN115526779A (zh) 一种基于动态注意力机制的红外图像超分辨率重建方法
CN115578262A (zh) 基于afan模型的偏振图像超分辨率重建方法
Yang et al. Image super-resolution reconstruction based on improved Dirac residual network
Deng et al. Multiple frame splicing and degradation learning for hyperspectral imagery super-resolution
CN112686830B (zh) 基于图像分解的单一深度图的超分辨率方法
CN111080533B (zh) 一种基于自监督残差感知网络的数码变焦方法
CN106570928B (zh) 一种基于图像的重光照方法
CN112598604A (zh) 一种盲脸复原方法及系统
CN115578260B (zh) 针对图像超分辨率的方向解耦的注意力方法和系统
CN111861870A (zh) 一种面向图像翻译的端到端的并行生成器网络构建方法
Yang et al. RSAMSR: A deep neural network based on residual self-encoding and attention mechanism for image super-resolution
Xiu et al. Double discriminative face super-resolution network with facial landmark heatmaps
CN113191367B (zh) 基于密集尺度动态网络的语义分割方法
Wang et al. Face super-resolution via hierarchical multi-scale residual fusion network
Wang et al. MSF-Net: Multi-Scale Feedback Reconstruction for Guided Depth Map Super-Resolution
Yang et al. FADLSR: A Lightweight Super-Resolution Network Based on Feature Asymmetric Distillation
Tan et al. DBSwin: Transformer based dual branch network for single image deraining

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200505