CN113506217A - 一种基于循环交互的立体图像超分辨率重建方法 - Google Patents

一种基于循环交互的立体图像超分辨率重建方法 Download PDF

Info

Publication number
CN113506217A
CN113506217A CN202110780942.6A CN202110780942A CN113506217A CN 113506217 A CN113506217 A CN 113506217A CN 202110780942 A CN202110780942 A CN 202110780942A CN 113506217 A CN113506217 A CN 113506217A
Authority
CN
China
Prior art keywords
sequence
interaction
resolution
propagation
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110780942.6A
Other languages
English (en)
Other versions
CN113506217B (zh
Inventor
雷建军
张哲�
彭勃
朱杰
范晓婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202110780942.6A priority Critical patent/CN113506217B/zh
Publication of CN113506217A publication Critical patent/CN113506217A/zh
Application granted granted Critical
Publication of CN113506217B publication Critical patent/CN113506217B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于循环交互的立体图像超分辨率重建方法，包括：通过队列重组转换将左右视点的多层特征重组为左右序列，重组排列遵循特征从浅层到深层的顺序；构建循环交互模块，以循环结构交互增强左右视点多层特征，所述循环交互模块由循环交互单元组成，循环交互单元由2个交互单元和跳连接组成；通过多次传播策略，循环交互输入序列中的左右视点多层特征，学习视点间依赖性以增强特征，进而获取最终的循环交互增强特征；基于循环交互增强特征，使用子像素卷积提高特征分辨率，使用n×n卷积将特征重建为高分辨率左右视图；使用相关性损失函数、差异损失函数和L1损失函数构建多损失函数机制，提升立体图像的超分辨率重建质量。

Description

一种基于循环交互的立体图像超分辨率重建方法
技术领域
本发明涉及深度学习、图像超分辨率重建领域，尤其涉及一种基于循环交互的立体图像超分辨率重建方法。
背景技术
随着立体显示设备的不断普及，立体图像显示质量愈发受到关注。立体显示中，高分辨率的立体图像能够为人们提供细腻逼真的立体视觉体验，因而至关重要。立体图像超分辨率重建旨在通过预测低分辨率立体图像中缺失的高频信息，实现高分辨率立体图像的重建。立体图像超分辨率重建能够恢复左右视点的纹理细节，使其被广泛应用于深度估计、视点合成和图像压缩等多种图像处理技术。此外，作为基础的图像处理任务，立体图像超分辨率重建也促进了很多高级计算机视觉任务的发展，例如：行人重识别和目标检测等。因此，立体图像超分辨率重建具有重要的研究意义和实际应用价值。然而，由于立体图像左右视点图像组成，视点间的视差关系会引起左右视图空间位置不一致，使得利用视点间信息以辅助立体图像超分辨率重建具有挑战性。因此，有效探索并利用立体图像的视点间相关性是重建高分辨率立体图像的关键。
得益于深度学习在单图超分辨率重建任务中的成功，近年来基于深度学习的立体图像超分辨率重建方法开始受到关注。Jeon等人提出了立体超分辨率方法，通过学习视差先验来获得低分辨率图像到高分辨率图像的端到端映射。Wang等人提出基于视差注意力的立体超分辨率重建方法，该方法通过使用视差注意力机制获取全局一致性，有效整合视点间信息以实现立体图像超分辨率重建。Song等人提出了基于自视差注意力机制的方法，同时获取自注意力图和视差注意力图，深入挖掘左右视点间的全局一致关系。Lei等人提出了基于深度交互学习的立体图像超分辨率重建方法，该方法通过构建交互模块以探索深层特征间的互补信息，提高立体图像超分辨率重建性能。然而，来自网络不同层级的左右视点不同层级特征间的互补信息未被充分挖掘。
因此，如何基于循环神经网络，有效利用不同层级特征间的视点间依赖性，以重建高分辨率立体图像，值得进一步的研究。这种不同层特征间的视点间依赖性需要被进一步探索和利用，以帮助重建高分辨率立体图像。
为了有效探索双视点多层特征间的视点间依赖性，基于循环神经网络的方法值得进一步的研究与开发。
发明内容
本发明提供了一种基于循环交互的立体图像超分辨率重建方法，本发明利用深度学习的特征表达能力，基于循环神经网络挖掘立体图像不同层级特征间的视点间依赖性，实现立体图像超分辨率重建，详见下文描述：
一种基于循环交互的立体图像超分辨率重建方法，所述方法包括以下步骤：
通过队列重组转换将左右视点的多层特征重组为左右序列，重组排列遵循特征从浅层到深层的顺序；
构建循环交互模块，以循环结构交互增强左右视点多层特征，所述循环交互模块由循环交互单元组成，所述循环交互单元由2个交互单元和跳连接组成；
通过多次传播策略，循环交互输入序列中的左右视点多层特征，学习视点间依赖性以增强特征，进而获取最终的循环交互增强特征；
基于循环交互增强特征，使用子像素卷积提高特征分辨率，使用n×n卷积将特征重建为高分辨率左右视图；
使用相关性损失函数、差异损失函数和L1损失函数构建多损失函数机制，提升立体图像的超分辨率重建质量。
其中，所述通过队列重组转换将左右视点的多层特征重组为左右序列具体为：
在队列重组转换过程中，左右序列由不同层级的左右视点特征交替排列组成，且重组排列遵循特征从浅层到深层的顺序。
进一步地，所述循环交互单元用于学习当前输入与之前的输入间的视点间依赖性，即：
在每个时间步，将传播的隐藏层状态与当前输入的特征进行交互，以获得增强的隐藏层状态和增强的当前特征；
将增强的隐藏层状态传播至下一时间步进行下一次交互增强，增强的当前特征保留以用作第n+1次传播；
在遍历序列S(n)中的所有特征后，最后一个隐藏层状态即为此次传播的增强特征F(n)，将增强特征F(n)作为序列S(n+1)的第一个特征，进行第n+1次传播。
其中，所述多次传播策略为：
利用多次传播策略获得的第n+1个左序列表达如下：
S(1)＝Sl
S(n+1)＝RI(n)(...RI(2)(RI(1)(S(1)))...)
其中，S(n+1)代表第n次传播RI(n)(·)输出的增强序列，RI(n)表示第n次循环交互；右序列的传播策略相同。
进一步地，所述第n次传播的循环过程表达如下：
Figure BDA0003156930550000031
Figure BDA0003156930550000032
Figure BDA0003156930550000033
Figure BDA0003156930550000034
其中，
Figure BDA0003156930550000035
代表第n次传播的第i时间步输出的隐藏层状态，
Figure BDA0003156930550000036
代表序列S(n)在第n次传播的第i时间步的输入特征，InUH和InUS分别代表用于增强隐藏层状态的交互单元和用于增强当前特征的交互单元，
Figure BDA0003156930550000037
和
Figure BDA0003156930550000038
由跳连接实现。
本发明提供的技术方案的有益效果是：
1、本发明利用深度学习的特征表达能力，使用循环结构充分挖掘双视点多层特征间的视点间依赖性，从而实现立体图像超分辨率重建；
2、本发明设计了循环交互模块，循环增强双视点特征，使其具有更强立体图像特征表达能力；同时，面向循环交互模块提出了队列重组转换和多次传播策略，辅助实现双视点特征的循环增强；
3、本发明通过在多个数据集上进行实验验证，可以获得优于现有立体图像超分辨率重建方法的性能。
附图说明
图1为一种基于循环交互的立体图像超分辨率重建方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
一、构建多层空间特征提取模块
对输入的左右视图，本发明实施例分两支路构建多层空间特征提取模块获取多层空间特征表达
Figure BDA0003156930550000041
和
Figure BDA0003156930550000042
具体地，两支路的多层空间特征提取模块共享参数，均由级联的p层残差组构成，第p层残差组输出的特征记作
Figure BDA0003156930550000043
和
Figure BDA0003156930550000044
其中，每个残差组由级联的多个残差块和一个通道注意力组成。
二、队列重组转换
对于左右视点的多层空间特征表达
Figure BDA0003156930550000045
和
Figure BDA0003156930550000046
本发明实施例设计队列重组转换将双视点多层特征重组为左右序列。在队列重组转换过程中，左右序列由不同层级的左右视点特征交替排列组成，且重组排列遵循特征从浅层到深层的顺序。左序列Sl和右序列Sr分别定义如下：
Figure BDA0003156930550000047
Figure BDA0003156930550000048
三、构建循环交互模块
为了充分探索并利用双视点多层特征间的视点间依赖性，本发明实施例构建循环交互模块，设计多次传播策略，以循环结构交互增强左右视点特征。以左视点支路为例，对于输入的左序列Sl，利用多次传播策略获得的第n+1个左序列表达如下：
S(1)＝Sl
S(n+1)＝RI(n)(...RI(2)(RI(1)(S(1)))...)
其中，S(n+1)代表第n次传播RI(n)(·)输出的增强序列，RI(n)表示第n次循环交互。循环交互模块由循环交互单元组成，对于第n次传播，输入序列S(n)中的特征利用循环交互单元实现交互。该循环交互单元由2个交互单元和跳连接组成。对于循环过程中的每一时间步，利用循环交互单元学习当前输入与之前的输入间的视点间依赖性。
具体地，在每个时间步，首先将传播的隐藏层状态与当前输入的特征进行交互，以获得增强的隐藏层状态和增强的当前特征。其中，增强的隐藏层状态传播至下一时间步进行下一次交互增强，增强的当前特征保留以用作第n+1次传播。在遍历序列S(n)中的所有特征后，最后一个隐藏层状态即为此次传播的增强特征F(n)。然后，增强特征F(n)作为序列S(n+1)的第一个特征(即第一个送入循环过程)，进行第n+1次传播。第n次传播的循环过程表达如下：
Figure BDA0003156930550000049
Figure BDA0003156930550000051
Figure BDA0003156930550000052
Figure BDA0003156930550000053
其中，
Figure BDA0003156930550000054
代表第n次传播的第i时间步输出的隐藏层状态。
Figure BDA0003156930550000055
代表序列S(n)在第n次传播的第i时间步的输入特征。InUH和InUS分别代表用于增强隐藏层状态的交互单元和用于增强当前特征的交互单元，
Figure BDA0003156930550000056
和
Figure BDA0003156930550000057
由跳连接实现。
通过使用多次传播策略，循环交互输入序列中的双视点多层特征，充分学习视点间依赖性以增强特征。整体循环交互进程表达如下：
F(n)＝RI(S(1))
其中，RI(·)代表循环交互进程。
具体到左右视点，最终获得的循环交互增强特征表达如下：
Fl＝RIl(Sl)
Fr＝RIr(Sr)
其中，RIl和RIr分别代表左右视点的循环交互模块，Fl和Fr分别代表循环交互增强的左右视点特征。
四、构建重建模块
为了将左右视点的增强特征重建为高分辨率立体图像，构建重建模块实现从特征域到图像域的转换。
对循环交互增强特征Fl和Fr，本发明实施例首先使用一层子像素卷积提高特征分辨率，然后使用一层n×n(本发明实施例优选以3×3为例进行说明)卷积将特征重建为高分辨率左右视图
Figure BDA0003156930550000058
和
Figure BDA0003156930550000059
五、构建多损失函数机制
为了增强立体图像的纹理细节，并保持视点间的视差一致性，本发明实施例使用相关性损失函数、差异损失函数和L1损失函数构建多损失函数机制，提升立体图像的超分辨率重建质量。
为保持重建立体图像的视点间相关性，本发明实施例利用相关性矩阵计算相关性损失。相关性损失函数的公式表达如下：
Figure BDA00031569305500000510
Figure BDA0003156930550000061
Figure BDA0003156930550000062
其中，N表示批次大小，||·||1表示L1距离，
Figure BDA0003156930550000063
表示转置的重建左视图，
Figure BDA0003156930550000064
表示重建的右视图，
Figure BDA0003156930550000065
表示转置的高分辨率左视图，Ir表示高分辨率右视图，×代表矩阵乘法。
此外，为了直接约束左右视点的差异，利用差异损失函数约束重建的左右视图，公式表达如下：
Figure BDA0003156930550000066
其中，|·|表示绝对值计算，Il表示高分辨率左视图。
最后，本发明实施例使用L1损失函数来约束重建立体图像的整体质量，L1损失函数的公式表达如下：
Figure BDA0003156930550000067
最终训练网络使用的损失函数表达如下：
L＝L1+Lcorr+Ldiff
训练基于循环交互的立体图像超分辨率重建网络。该训练过程中，基于循环交互的立体图像超分辨率重建网络包括：多层空间特征提取模块、队列重组转换、循环交互模块和重建模块。在该训练阶段，多层空间特征提取模块包含4个级联的残差组，每个残差组包含20层级联的残差块和1个通道注意力。
本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于循环交互的立体图像超分辨率重建方法，其特征在于，所述方法包括以下步骤：
通过队列重组转换将左右视点的多层特征重组为左右序列，重组排列遵循特征从浅层到深层的顺序；
构建循环交互模块，以循环结构交互增强左右视点多层特征，所述循环交互模块由循环交互单元组成，所述循环交互单元由2个交互单元和跳连接组成；
通过多次传播策略，循环交互输入序列中的左右视点多层特征，学习视点间依赖性以增强特征，进而获取最终的循环交互增强特征；
基于循环交互增强特征，使用子像素卷积提高特征分辨率，使用n×n卷积将特征重建为高分辨率左右视图；
使用相关性损失函数、差异损失函数和L1损失函数构建多损失函数机制，提升立体图像的超分辨率重建质量。
2.根据权利要求1所述的一种基于循环交互的立体图像超分辨率重建方法，其特征在于，所述通过队列重组转换将左右视点的多层特征重组为左右序列具体为：
在队列重组转换过程中，左右序列由不同层级的左右视点特征交替排列组成，且重组排列遵循特征从浅层到深层的顺序。
3.根据权利要求1所述的一种基于循环交互的立体图像超分辨率重建方法，其特征在于，所述循环交互单元用于学习当前输入与之前的输入间的视点间依赖性，即：
在每个时间步，将传播的隐藏层状态与当前输入的特征进行交互，以获得增强的隐藏层状态和增强的当前特征；
将增强的隐藏层状态传播至下一时间步进行下一次交互增强，增强的当前特征保留以用作第n+1次传播；
在遍历序列S(n)中的所有特征后，最后一个隐藏层状态即为此次传播的增强特征F(n)，将增强特征F(n)作为序列S(n+1)的第一个特征，进行第n+1次传播。
4.根据权利要求1所述的一种基于循环交互的立体图像超分辨率重建方法，其特征在于，所述多次传播策略为：
利用多次传播策略获得的第n+1个左序列表达如下：
S(1)＝Sl
S(n+1)＝RI(n)(...RI(2)(RI(1)(S(1)))...)
其中，S(n+1)代表第n次传播RI(n)(·)输出的增强序列，RI(n)表示第n次循环交互；右序列的传播策略相同。
5.根据权利要求4所述的一种基于循环交互的立体图像超分辨率重建方法，其特征在于，所述第n次传播的循环过程表达如下：
Figure FDA0003156930540000021
Figure FDA0003156930540000022
Figure FDA0003156930540000023
Figure FDA0003156930540000024
其中，
Figure FDA0003156930540000025
代表第n次传播的第i时间步输出的隐藏层状态，
Figure FDA0003156930540000026
代表序列S(n)在第n次传播的第i时间步的输入特征，InUH和InUS分别代表用于增强隐藏层状态的交互单元和用于增强当前特征的交互单元，
Figure FDA0003156930540000027
和
Figure FDA0003156930540000028
由跳连接实现。
CN202110780942.6A 2021-07-09 2021-07-09 一种基于循环交互的立体图像超分辨率重建方法 Active CN113506217B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110780942.6A CN113506217B (zh) 2021-07-09 2021-07-09 一种基于循环交互的立体图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110780942.6A CN113506217B (zh) 2021-07-09 2021-07-09 一种基于循环交互的立体图像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN113506217A true CN113506217A (zh) 2021-10-15
CN113506217B CN113506217B (zh) 2022-08-16

Family

ID=78012565

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110780942.6A Active CN113506217B (zh) 2021-07-09 2021-07-09 一种基于循环交互的立体图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN113506217B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102595171A (zh) * 2012-02-03 2012-07-18 浙江工商大学 一种多通道空时编码孔径的动态光场成像方法和成像系统
US20130147911A1 (en) * 2011-12-09 2013-06-13 Microsoft Corporation Automatic 2d-to-stereoscopic video conversion
CN104463958A (zh) * 2014-11-25 2015-03-25 四川大学 基于视差图融合的三维超分辨率方法
CN105513033A (zh) * 2015-12-07 2016-04-20 天津大学 一种非局部联合稀疏表示的超分辨率重建方法
CN109345444A (zh) * 2018-08-30 2019-02-15 浙江工业大学 深度感知增强的超分辨率立体图像构建方法
CN112184555A (zh) * 2020-10-21 2021-01-05 天津大学 一种基于深度交互学习的立体图像超分辨率重建方法
CN112634127A (zh) * 2020-12-22 2021-04-09 天津大学 一种无监督立体图像重定向方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130147911A1 (en) * 2011-12-09 2013-06-13 Microsoft Corporation Automatic 2d-to-stereoscopic video conversion
CN102595171A (zh) * 2012-02-03 2012-07-18 浙江工商大学 一种多通道空时编码孔径的动态光场成像方法和成像系统
CN104463958A (zh) * 2014-11-25 2015-03-25 四川大学 基于视差图融合的三维超分辨率方法
CN105513033A (zh) * 2015-12-07 2016-04-20 天津大学 一种非局部联合稀疏表示的超分辨率重建方法
CN109345444A (zh) * 2018-08-30 2019-02-15 浙江工业大学 深度感知增强的超分辨率立体图像构建方法
CN112184555A (zh) * 2020-10-21 2021-01-05 天津大学 一种基于深度交互学习的立体图像超分辨率重建方法
CN112634127A (zh) * 2020-12-22 2021-04-09 天津大学 一种无监督立体图像重定向方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIANJUN LEI，ET AL: "Deep Stereoscopic Image Super-Resolution via Interaction Module", 《IEEE》 *
李欣欣: "立体图像超分辨率重建技术研究", 《中国优秀硕士论文全文数据库》 *
钱斌豪: "立体图像的超分辨率算法研究", 《中国优秀硕士论文全文数据库》 *

Also Published As

Publication number Publication date
CN113506217B (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
CN110659727B (zh) 一种基于草图的图像生成方法
CN109711277A (zh) 基于时空频域混合学习的行为特征提取方法、系统、装置
CN110570522B (zh) 一种多视图三维重建方法
CN103945208B (zh) 一种针对多视点裸眼3d显示的并行同步缩放引擎及方法
CN100576934C (zh) 基于深度和遮挡信息的虚拟视点合成方法
EP3295368A1 (en) Deepstereo: learning to predict new views from real world imagery
CN112348870B (zh) 一种基于残差融合的显著性目标检测方法
CN113345082B (zh) 一种特征金字塔多视图三维重建方法和系统
CN113096239B (zh) 一种基于深度学习的三维点云重建方法
CN112767253A (zh) 一种多尺度特征融合的双目图像超分辨率重建方法
CN103473797B (zh) 基于压缩感知采样数据修正的空域可缩小图像重构方法
CN108924528B (zh) 一种基于深度学习的双目风格化实时渲染方法
Zheng et al. Colorful 3D reconstruction at high resolution using multi-view representation
CN115272608A (zh) 一种人手重建方法及设备
CN116596764A (zh) 一种基于Transformer与卷积交互的轻量级图像超分辨率方法
CN113506217B (zh) 一种基于循环交互的立体图像超分辨率重建方法
CN115049739A (zh) 一种基于边缘检测的双目视觉立体匹配方法
CN104796624A (zh) 一种光场编辑传播方法
CN112184555B (zh) 一种基于深度交互学习的立体图像超分辨率重建方法
Zhang et al. Recurrent interaction network for stereoscopic image super-resolution
CN112116646B (zh) 一种基于深度卷积神经网络的光场图像深度估计方法
CN115380312A (zh) 点云数据的处理方法、装置、电子设备及计算机存储介质
CN116246010A (zh) 一种基于图像的人体三维重建方法
CN115861062A (zh) 多尺度学习小波注意力机制网络及图像超分辨率重建方法
CN114881858A (zh) 基于多注意力机制融合的轻量级双目图像超分辨率方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant