CN111626927B - 采用视差约束的双目图像超分辨率方法、系统及装置 - Google Patents

采用视差约束的双目图像超分辨率方法、系统及装置 Download PDF

Info

Publication number
CN111626927B
CN111626927B CN202010274811.6A CN202010274811A CN111626927B CN 111626927 B CN111626927 B CN 111626927B CN 202010274811 A CN202010274811 A CN 202010274811A CN 111626927 B CN111626927 B CN 111626927B
Authority
CN
China
Prior art keywords
resolution
super
binocular
image
parallax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010274811.6A
Other languages
English (en)
Other versions
CN111626927A (zh
Inventor
杨杰
张天忆
黄晓霖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202010274811.6A priority Critical patent/CN111626927B/zh
Publication of CN111626927A publication Critical patent/CN111626927A/zh
Application granted granted Critical
Publication of CN111626927B publication Critical patent/CN111626927B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种采用视差约束的双目图像超分辨率方法、系统及装置，所述方法用成对的高、低分辨率双目图像作为训练集对神经网络进行训练，构建神经网络中的双目视差约束，得到双目超分辨率的神经网络模型，该模型是一种视差约束注意力机制网络模型；利用所述双目超分辨率的神经网络模型对待超分辨率的双目图像进行超分辨率，得到超分辨率后的双目图像。本发明所提出的双目图像超分辨方法，能够有效地利用双目视差约束提升图像分辨率，且端对端模型计算方便，使用训练后的模型具有较高的实时性。

Description

采用视差约束的双目图像超分辨率方法、系统及装置
技术领域
本发明涉及计算机视觉与数字图像处理领域，具体地，涉及一种基于视差约束下注意力机制网络的双目图像超分辨率方法、系统及装置。
背景技术
图像超分辨率是当前计算机视觉和图像处理领域的一个热点问题，即给定低分辨率图像，恢复出高分辨率的图像的方法，该方法输出的结果图像称为超分辨率图像。目前而言，图像超分辨方法按目标图像可分为针对单张图像的超分辨率(Single Image Super-Resolution,SISR)方法和针对双目图像的超分辨率方法；按照方法中的图像处理方式可分为基于深度学习的图像超分辨率方法和基于传统图像处理技术的图像超分辨率方法。
基于传统图像处理技术的超分辨率方法由于其计算复杂，通用性差，目前已经较少使用。主流的图像超分辨率方法为基于深度学习的方法，如SRCNN(超分辨率卷积神经网络)、VDSR(基于极深网络的超分辨率)等，但以上都属于单目图像超分辨率方法。目前的双目图像超分辨率方法以构建神经网络的方法为主，如Wang L G,Wang Y Q,Liang Z F,etal.Learning parallax attention for stereo image super-resolution.[C]//Computer Vision and Pattern Recognition(CVPR),2018 IEEE Conference on.IEEE,2019:12250-12259.，作者提出了一种基于双目注意力机制网络的超分辨率方法，该方法试图利用双目图像的映射关系，将低分辨率下的左、右特征图像进行融合，与其他单目的图像超分辨率方法相比增加了特征图像的信息量，提升了图像超分辨率的效果。
专利方面，公开号为CN105844630A的中国发明专利发明公开了一种双目视觉的图像超分辨率融合去噪方法。该方法通过提取SIFT特征对左右灰度图进行位置匹配，然后利用拉普拉斯算子对两图进行超分辨率融合，最后利用非局部均值滤波方法对融合后的图像进行去噪，属于基于传统图像处理技术的图像超分辨率方法。
然而以上方法均未考虑到双目超分辨率方法中，低分辨率图像与超分辨率图像左右图映射关系是否一致的问题，无法保证超分辨率的结果不改变原始双目图像的映射关系。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种采用视差约束的双目图像超分辨率方法、系统及装置，在神经网络训练中加入视差约束，使得低分辨率与超分辨率下双目图像的视差图尽可能相似，提升超分辨率在某些边缘和纹理上的效果。
根据本发明的第一方面，提供一种采用视差约束的双目图像超分辨率方法，包括：
用成对的高、低分辨率双目图像作为训练集对神经网络进行训练，构建神经网络中的双目视差约束，得到双目超分辨率的神经网络模型，该模型是一种视差约束注意力机制网络模型；
利用所述双目超分辨率的神经网络模型对待超分辨率的双目图像进行超分辨率，得到超分辨率后的双目图像。
可选地，所述构建神经网络中的双目视差约束，双目超分辨率的神经网络模型，包括：
对低分辨率双目图像进行特征提取得到特征图像，利用注意力机制建立能够表现映射关系的低分辨率双目图像视差图，用该视差图将所述特征图像进行拼接、融合并执行超分辨率操作，得到超分辨率后的双目图像，利用同样的注意力机制建立超分辨率双目图像视差图；
利用真实高分辨率双目图像与超分辨率双目图像的差距、低分辨率双目图像与超分辨率双目图像视差图的差距构建损失函数，输入训练集训练所述神经网络，优化所述神经网络的网络参数，得到双目超分辨率的神经网络模型。
可选地，所述对低分辨率双目图像进行特征提取得到特征图像，包括：
对于每对双目图像输入的左、右低分辨率图像，依次经过权值共享的卷积层、交替排布的带有残差的膨胀空间金字塔池化层和带有残差的卷积层，得到提取后的左、右特征图像。
可选地，所述利用注意力机制建立能够表现映射关系的低分辨率双目图像视差图，包括：
对于提取得到的左、右特征图像，输入并行注意力模块得到左、右视差图像。
可选地，所述用该视差图将特征图像进行拼接、融合并执行超分辨率操作，得到超分辨率后的双目图像，包括：
所述左、右视差图像经过拼接、融合、子像素卷积上采样操作得到超分辨率后的双目图像。
可选地，所述构建损失函数，包括：
将损失函数最小化问题定义为：
Figure BDA0002444392360000031
上式中，θ代表模型参数，n为每次训练的图像数即batch数量，其余三项损失函数分别为均方误差损失LMSE、视差约束损失LDC和并行注意力模块损失LPAM；以下假设I表示图像矩阵，D表示视差图张量；上标中SR表示超分辨率，HR表示高分辨率，LR表示低分辨率；下标中L表示左图，R表示右图，则
均方误差损失LMSE为：
Figure BDA0002444392360000032
视差约束损失LDC为：
Figure BDA0002444392360000033
其中，ups表示三次线性插值函数，将低分辨率视差图缩放到与超分辨率视差图相同的尺寸；
并行注意力模块损失LPAM为：
LPAM＝Lphoto+Lsmooth+Lcycle
其中，
Figure BDA0002444392360000034
Figure BDA0002444392360000035
Figure BDA0002444392360000036
上式中
Figure BDA0002444392360000037
为矩阵乘法，I为单位张量，i,j,k分别为张量的三个维度坐标。
可选地，所述方法还包括数据收集，将校正与配准后的双目高、低分辨率图像数据进行数据集划分，划分为训练集与测试集，所述训练集用于训练神经网络，所述测试集用于对所述双目超分辨率的神经网络模型结果进行测试。
根据本发明的第二方面，提供一种采用视差约束的双目图像超分辨率系统，包括：
模型构建模块，用成对的高、低分辨率双目图像作为训练集对神经网络进行训练，构建神经网络中的双目视差约束，得到双目超分辨率的神经网络模型，该模型是一种视差约束注意力机制网络模型；
测试模块，利用所述双目超分辨率的神经网络模型对待超分辨率的双目图像进行超分辨率，得到超分辨率后的双目图像。
根据本发明的第三方面，提供一种采用视差约束的双目图像超分辨率装置，包括：存储器，处理器，以及计算机程序；其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现上述的采用视差约束的双目图像超分辨率方法。
根据本发明的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的采用视差约束的双目图像超分辨率方法。
与现有技术相比，本发明具有如下至少一种有益效果：
本发明上述采用视差约束的双目图像超分辨率方法、系统和装置，利用双目图像的映射关系，采用带有视差约束的、利用注意力机制网络实现的双目图像超分辨率，将双目低分辨率图像转换为双目超分辨率图像，并尽可能使得低分辨率与超分辨率中的视差映射关系具有一致性，提升超分辨率在某些边缘和纹理上的效果。
本发明上述采用视差约束的双目图像超分辨率方法、系统和装置，有效地避免了利用单目图像超分辨率方法无法充分利用双目图像映射关系中所包含信息的问题。
本发明上述采用视差约束的双目图像超分辨率方法、系统和装置，能够有效地利用双目视差约束提升图像分辨率，且可以是端对端模型，计算方便，具有较高的实时性，可广泛运用在视频监控与医学图像等领域。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明一实施例中方法流程图；
图2为本发明一实施例中视差约束注意力机制网络示意图；
图3为本发明一实施例中输入图像的特征提取模块示意图；
图4为本发明一实施例中带有残差的膨胀空间金字塔池化层resASPP示意图；
图5为本发明一实施例中带有残差的卷积层res示意图；
图6为本发明一实施例中并行注意力模块PAM模块示意图(以左图对应的PAM为例)；
图7为本发明一实施例中上采样模块示意图；
图8为本发明一实施例中所展示的图像超分辨率结果图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。以下没有详细说明的部分可以采用现有技术实现。
图1为本发明一实施例中方法流程图。如图1所示，本实施例中的采用视差约束的双目图像超分辨率方法，构建一个端对端的深度神经网络，并用训练集中成对的双目图像进行训练，构建神经网络中的双目视差约束，然后利用测试集图像数据进行双目图像超分辨。
在优选实施例中，对于双目图像按照如下详细步骤进行超分辨率处理：
S1，将校正与配准后的双目高、低分辨率图像数据进行数据集划分，包括训练集与测试集。
S2，建立并训练视差约束注意力机制网络模型：首先对低分辨率双目图像进行特征提取，并利用注意力机制建立能够表现映射关系的低分辨率双目图像视差图，利用视差图将特征图像进行拼接、融合并执行超分辨率操作，得到超分辨率后的双目图像并利用同样的注意力机制建立超分辨率双目图像视差图；利用真实高分辨率与超分辨率图像的差距和低分辨率与超分辨率视差图的差距构建损失函数，输入训练集训练模型，优化网络模型参数；
S3，对待定图像进行超分辨率操作：将待超分辨率的双目图像输入S2所训练的模型中，得到超分辨后的输出图像。
本发明上述实施例利用双目图像的映射关系，提供了一种带有视差约束的，利用注意力机制网络实现的双目图像超分辨率方法。该方法能够利用神经网络，将双目低分辨率图像转换为双目超分辨率图像，并尽可能使得低分辨率与超分辨率中的视差映射关系具有一致性。本发明有效地避免了利用单目图像超分辨率方法无法充分利用双目图像映射关系中所包含信息的问题。
在部分优选实施例中，S1中，利用配准和校正后的高、低分辨率双目图像构建数据集，即对于某一个实体中的点对应双目图像的像素应当只有宽度上的位移，而没有高度上的位移。数据集划分为训练集与测试集，其中训练集用于S2的训练模型，测试集用于S3的测试模型。
在部分优选实施例中，S2中，得到的差约束注意力机制网络模型，如图2所示。其中，PAM表示并行注意力模块(Parallel-Attention Module,PAM)。
S2中，对低分辨率双目图像进行特征提取，可以按照以下方式进行：对于每对输入的左、右低分辨率图像
Figure BDA0002444392360000061
和/>
Figure BDA0002444392360000062
依次经过权值共享的卷积层(convolutional layer,conv)、交替排布的带有残差的膨胀空间金字塔池化层(residual Atrous SpatialPyramid Pooling,resASPP)和带有残差的卷积层(conv layer with residual,res)，如图3所示，图3中，卷积层conv指的是3×3卷积，带有残差的膨胀空间金字塔池化层resASPP的结构如图4所示，带有残差的卷积层res为串联的两个3×3卷积与输入相加得到的结构，如图5所示。用虚线箭头相连的两个模块权值共享，即拥有共同的参数。图4中，矩形除带有标注之外均为3×3卷积，膨胀系数由d进行标识，圆形Σ代表加法器。
将特征提取后的特征图输入到两个PAM模块中。两个PAM为对称结构，以其中一个为例，其结构如图6所示，并行注意力模块PAM模块示意图(以左图对应的PAM为例)，其中，concat表示张量拼接，
Figure BDA0002444392360000063
代表矩阵乘法。该模块可以输入经过特征提取后的左右特征图像，输出视差图和用于下一步上采样操作的张量。
将上一步PAM模块中得到的张量，经过上采样模块得到超分辨率图像。利用超分辨率左、右图进行特征提取并输入到PAM模块，可以得到超分辨率双目图像视差图，如图2所示。上采样模块的结构如图7所示。其中，Sub pixel指的是子像素卷积(Subpixelconvolution)操作。
将训练集输入模型，利用优化器迭代调整网络模型参数，使损失函数最小化，其中损失函数最小化问题定义为：
Figure BDA0002444392360000071
上式中，θ代表模型参数，n为每次训练的图像数即batch数量。其余三项损失函数分别为均方误差损失LMSE、视差约束损失LDC和并行注意力模块损失LPAM.
均方误差损失为：
Figure BDA0002444392360000072
其中，上标SR表示超分辨率图像，HR表示真实高分辨率图像；下标L与R分别代表左图、右图。
视差约束损失为：
Figure BDA0002444392360000073
其中，ups表示三次线性插值函数，将低分辨率视差图缩放到与超分辨率视差图相同的尺寸。
并行注意力模块损失为：
LPAM＝Lphoto+Lsmooth+Lcycle
其中，
Figure BDA0002444392360000074
Figure BDA0002444392360000075
/>
Figure BDA0002444392360000076
上式中
Figure BDA0002444392360000077
为矩阵乘法，I为单位张量。
在另一实施例中，提供一种采用视差约束的双目图像超分辨率系统，该系统可以用于实现上述方法，包括：模型构建模块，用成对的高、低分辨率双目图像作为训练集对神经网络进行训练，构建神经网络中的双目视差约束，得到双目超分辨率的神经网络模型，该模型是一种视差约束注意力机制网络模型；测试模块，利用所述双目超分辨率的神经网络模型对待超分辨率的双目图像进行超分辨率，得到超分辨率后的双目图像。
上述模块的具体实现技术可以采用上述实施例中的采用视差约束的双目图像超分辨率方法的对应技术。在此不再赘述。
在另一实施例中，还提供一种采用视差约束的双目图像超分辨率装置，包括：存储器，处理器，以及计算机程序；所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现上述任一项实施例中的采用视差约束的双目图像超分辨率方法。
在另一实施例中，还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现上述任一项实施例中的采用视差约束的双目图像超分辨率方法。
本发明上述实施例的效果通过以下实验进一步说明：
1.实验条件
本实验采用4560个高分辨率双目图像对，作为模型的训练集。高分辨率图像大小为512×512像素，在训练时切割成30×90像素的成对图像块输入网络。双目图像对用daVanci外科手术系统采集，并经过图像校正使左右图像对齐。另外，使用870对双目图像作为验证集，用来调整模型超参数；使用870对双目图像作为测试集，用来测试模型效果。模型实现采用Pytorch，计算硬件为Nvidia GTX 1080 Ti GPU。
训练过程中的参数如下：优化器采用Adam，动量设置为0.9；训练过程共80代，每次训练时的batch大小设置为8，图像放大倍数为4倍，初始模型学习率为0.0002，且每30代学习率减半。
为了表现超分辨率的效果，实验中对比了插值方法(bicubic)和其他基于神经网络的超分辨率方法，包括SRCNN、VDSR、DRRN、PASSR。
2.实验内容
从定性和定量两个角度对本发明实施例提出的双目超分辨图像方法进行验证。
2.1定性实验结果
本发明实施例对测试集中的图像进行了超分辨率操作，并与其他方法得到的结果进行对比。如图8所示，为超分辨率结果图，其中DCSSR为本发明实施例中的方法。图8中图像中，右下角的框中展示的是完整图像，其余部分为该图像中某个区块的局部放大。可以看到，与其他超分辨率的方法相比，本发明实施例所提出的方法恢复出了更多与边缘、纹理相关的细节，验证了本发明实施例在双目图像超分辨任务上具有良好的效果。
2.2定量分析
本发明实施例对测试集中的870对双目图像超分辨率结果进行了定量误差分析，所对比的方法包括插值方法(bicubic)、SRCNN、VDSR、DRRN和PASSR方法。评价指标包括图像的峰值信噪比(Peak Signal to Noise Ratio,PSNR)和结构相似度(StructuralSIMilarity index，SSIM)，峰值信噪比定义如下：
Figure BDA0002444392360000091
其中，MSE指真实高清图像I与超分辨率结果图像K的均方误差(Mean SquareError):
Figure BDA0002444392360000092
公式中的m和n分别表示图像的高和宽，I(i,j)表示图像I第i行，第j列上的像素值，取值范围为0-255。峰值信噪比的单位是分贝(dB)，均方误差越小，峰值信噪比越高，两张图像差距越小，说明算法效果越好。
结构相似度与图像像素均值与方差有关，其计算方式为
Figure BDA0002444392360000093
其中，μI为图像I的像素均值，σI为图像I的像素方差，σIK为图像I与K的像素协方差。常数c1、c2分别取c1＝(0.01×255)2，c2＝(0.03×255)2，SSIM的取值范围为0-1，且越接近1，两张图像差距越小，说明算法效果越好。
对测试集中的图像利用不同方法进行测试并取平均后，得到实验结果如表1所示：
表1.不同超分辨率方法在测试集上的PSNR和SSIM对比(最好的结果加粗表示)
Figure BDA0002444392360000094
从表1的结果可以看出，本发明实施例所提出的双目图像超分辨率方法取得了35.598dB的平均峰值信噪比和0.9809的结构相似度。相比于其他利用神经网络进行超分辨率的方法，该数值说明，本发明实施例所提出的超分辨率方法在测试集上的结果更好，利用双目图像之间的映射关系提升了超分辨率的效果。
本发明实施例能够有效地利用双目视差约束提升图像分辨率，且端对端模型计算方便，使用训练后的模型具有较高的实时性。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (8)

1.一种采用视差约束的双目图像超分辨率方法，其特征在于，包括：
用成对的高、低分辨率双目图像作为训练集对神经网络进行训练，构建神经网络中的双目视差约束，得到双目超分辨率的神经网络模型，该模型是一种视差约束注意力机制网络模型；
利用所述双目超分辨率的神经网络模型对待超分辨率的双目图像进行超分辨率，得到超分辨率后的双目图像；
所述构建神经网络中的双目视差约束，双目超分辨率的神经网络模型，包括：
对低分辨率双目图像进行特征提取得到特征图像，利用注意力机制建立能够表现映射关系的低分辨率双目图像视差图，用该视差图将所述特征图像进行拼接、融合并执行超分辨率操作，得到超分辨率后的双目图像，利用同样的注意力机制建立超分辨率双目图像视差图；
利用真实高分辨率双目图像与超分辨率双目图像的差距、低分辨率双目图像与超分辨率双目图像视差图的差距构建损失函数，输入训练集训练所述神经网络，优化所述神经网络的网络参数，得到双目超分辨率的神经网络模型；
所述构建损失函数，包括：
将损失函数最小化问题定义为：
Figure QLYQS_1
上式中，θ代表模型参数，n为每次训练的图像数即batch数量，其余三项损失函数分别为均方误差损失LMSM、视差约束损失LDC和并行注意力模块损失LPAM；以下假设I表示图像矩阵，D表示视差图张量；上标中SR表示超分辨率，HR表示高分辨率，LR表示低分辨率；下标中L表示左图，R表示右图，则
均方误差损失LMSE为：
Figure QLYQS_2
视差约束损失LDC为：
Figure QLYQS_3
其中，ups表示三次线性插值函数，将低分辨率视差图缩放到与超分辨率视差图相同的尺寸；
并行注意力模块损失LPAM为：
LPAM＝Lphoto+Lsmooth+Lcycle
其中，
Figure QLYQS_4
Figure QLYQS_5
Figure QLYQS_6
/>
上式中
Figure QLYQS_7
为矩阵乘法，I为单位张量，i,j,k分别为张量的三个维度坐标。
2.根据权利要求1所述的采用视差约束的双目图像超分辨率方法，其特征在于，所述对低分辨率双目图像进行特征提取得到特征图像，包括：
对于每对双目图像输入的左、右低分辨率图像，依次经过权值共享的卷积层、交替排布的带有残差的膨胀空间金字塔池化层和带有残差的卷积层，得到提取后的左、右特征图像。
3.根据权利要求2所述的采用视差约束的双目图像超分辨率方法，其特征在于，所述利用注意力机制建立能够表现映射关系的低分辨率双目图像视差图，包括：
对于提取得到的左、右特征图像，输入并行注意力模块得到左、右视差图像。
4.根据权利要求3所述的采用视差约束的双目图像超分辨率方法，其特征在于，所述用该视差图将特征图像进行拼接、融合并执行超分辨率操作，得到超分辨率后的双目图像，包括：
所述左、右视差图像经过拼接、融合、子像素卷积上采样操作得到超分辨率后的双目图像。
5.根据权利要求1-4任一项所述的采用视差约束的双目图像超分辨率方法，其特征在于，还包括数据收集，所述数据收集包括：将校正与配准后的双目高、低分辨率图像数据进行数据集划分，划分为训练集与测试集，所述训练集用于训练神经网络，所述测试集用于对所述双目超分辨率的神经网络模型结果进行测试。
6.一种采用视差约束的双目图像超分辨率系统，其特征在于，包括：
模型构建模块，用成对的高、低分辨率双目图像作为训练集对神经网络进行训练，构建神经网络中的双目视差约束，得到双目超分辨率的神经网络模型，该模型是一种视差约束注意力机制网络模型；
测试模块，利用所述双目超分辨率的神经网络模型对待超分辨率的双目图像进行超分辨率，得到超分辨率后的双目图像；
所述模型构建模块，构建神经网络中的双目视差约束，双目超分辨率的神经网络模型，包括：
对低分辨率双目图像进行特征提取得到特征图像，利用注意力机制建立能够表现映射关系的低分辨率双目图像视差图，用该视差图将所述特征图像进行拼接、融合并执行超分辨率操作，得到超分辨率后的双目图像，利用同样的注意力机制建立超分辨率双目图像视差图；
利用真实高分辨率双目图像与超分辨率双目图像的差距、低分辨率双目图像与超分辨率双目图像视差图的差距构建损失函数，输入训练集训练所述神经网络，优化所述神经网络的网络参数，得到双目超分辨率的神经网络模型；
所述构建损失函数，包括：
将损失函数最小化问题定义为：
Figure QLYQS_8
上式中，θ代表模型参数，n为每次训练的图像数即batch数量，其余三项损失函数分别为均方误差损失LMSE、视差约束损失LDC和并行注意力模块损失LPAM；以下假设I表示图像矩阵，D表示视差图张量；上标中SR表示超分辨率，HR表示高分辨率，LR表示低分辨率；下标中L表示左图，R表示右图，则
均方误差损失LMSE为：
Figure QLYQS_9
视差约束损失LDC为：
Figure QLYQS_10
其中，ups表示三次线性插值函数，将低分辨率视差图缩放到与超分辨率视差图相同的尺寸；
并行注意力模块损失LPAM为：
LPAM＝Lphoto+Lsmooth+Lcycle
其中，
Figure QLYQS_11
Figure QLYQS_12
Figure QLYQS_13
上式中
Figure QLYQS_14
为矩阵乘法，I为单位张量，i,j,k分别为张量的三个维度坐标。
7.一种采用视差约束的双目图像超分辨率装置，包括：存储器，处理器，以及计算机程序；其特征在于，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1-5任一项所述的方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1-5任一项所述的方法。
CN202010274811.6A 2020-04-09 2020-04-09 采用视差约束的双目图像超分辨率方法、系统及装置 Active CN111626927B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010274811.6A CN111626927B (zh) 2020-04-09 2020-04-09 采用视差约束的双目图像超分辨率方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010274811.6A CN111626927B (zh) 2020-04-09 2020-04-09 采用视差约束的双目图像超分辨率方法、系统及装置

Publications (2)

Publication Number Publication Date
CN111626927A CN111626927A (zh) 2020-09-04
CN111626927B true CN111626927B (zh) 2023-05-30

Family

ID=72272591

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010274811.6A Active CN111626927B (zh) 2020-04-09 2020-04-09 采用视差约束的双目图像超分辨率方法、系统及装置

Country Status (1)

Country Link
CN (1) CN111626927B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767293B (zh) * 2021-01-11 2023-04-11 达闼机器人股份有限公司 获取视差图像的方法、电子设备及存储介质
CN112767253B (zh) * 2021-02-05 2022-05-24 西南科技大学 一种多尺度特征融合的双目图像超分辨率重建方法
CN112907645B (zh) * 2021-03-05 2022-08-26 重庆紫光华山智安科技有限公司 视差图获取方法、装置、训练方法、电子设备和介质
CN113129278B (zh) * 2021-04-06 2022-11-01 华东师范大学 基于非局部分离注意力机制的X-Ray图片股骨干骨折检测方法
CN113393382B (zh) * 2021-08-16 2021-11-09 四川省人工智能研究院(宜宾) 一种基于多维度视差先验的双目图片超分辨率重建方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358576A (zh) * 2017-06-24 2017-11-17 天津大学 基于卷积神经网络的深度图超分辨率重建方法
CN110070489A (zh) * 2019-04-30 2019-07-30 中国人民解放军国防科技大学 一种基于视差注意力机制的双目图像超分辨方法
CN110610464A (zh) * 2019-08-15 2019-12-24 天津中科智能识别产业技术研究院有限公司 一种基于稠密残差神经网络的人脸图像超分辨率方法
CN110880162A (zh) * 2019-11-22 2020-03-13 中国科学技术大学 基于深度学习的快照光谱深度联合成像方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11024009B2 (en) * 2016-09-15 2021-06-01 Twitter, Inc. Super resolution using a generative adversarial network
US10547823B2 (en) * 2018-09-25 2020-01-28 Intel Corporation View interpolation of multi-camera array images with flow estimation and image super resolution using deep learning

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358576A (zh) * 2017-06-24 2017-11-17 天津大学 基于卷积神经网络的深度图超分辨率重建方法
CN110070489A (zh) * 2019-04-30 2019-07-30 中国人民解放军国防科技大学 一种基于视差注意力机制的双目图像超分辨方法
CN110610464A (zh) * 2019-08-15 2019-12-24 天津中科智能识别产业技术研究院有限公司 一种基于稠密残差神经网络的人脸图像超分辨率方法
CN110880162A (zh) * 2019-11-22 2020-03-13 中国科学技术大学 基于深度学习的快照光谱深度联合成像方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Pourya Shamsolmoali等.Deep convolution network for surveillance records super-resolution. Multimed Tools and Applications .2018,23815-23829. *
王辉等.一种基于神经网络的图像复原方法.红外与激光工程.2006,121-125. *

Also Published As

Publication number Publication date
CN111626927A (zh) 2020-09-04

Similar Documents

Publication Publication Date Title
CN111626927B (zh) 采用视差约束的双目图像超分辨率方法、系统及装置
Liang et al. Details or artifacts: A locally discriminative learning approach to realistic image super-resolution
CN109523470B (zh) 一种深度图像超分辨率重建方法及系统
CN111915484A (zh) 基于密集匹配与自适应融合的参考图引导超分辨率方法
CN110349087B (zh) 基于适应性卷积的rgb-d图像高质量网格生成方法
Sun et al. Multiscale generative adversarial network for real‐world super‐resolution
CN102402784A (zh) 一种基于最近特征线流形学习的人脸图像超分辨率方法
CN113538243B (zh) 基于多视差注意力模块组合的超分辨图像重建方法
CN113538246A (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
Shi et al. Exploiting multi-scale parallel self-attention and local variation via dual-branch transformer-CNN structure for face super-resolution
CN117575915B (zh) 一种图像超分辨率重建方法、终端设备及存储介质
Guan et al. Srdgan: learning the noise prior for super resolution with dual generative adversarial networks
CN115511708A (zh) 基于不确定性感知特征传输的深度图超分辨率方法及系统
CN112598604A (zh) 一种盲脸复原方法及系统
Li Image super-resolution using attention based densenet with residual deconvolution
CN113240584B (zh) 一种基于图片边缘信息的多任务手势图片超分辨率方法
CN115294225A (zh) 一种针对新冠肺炎胸部ct的渐进式反向投影网络超分辨率重建方法
CN103903239B (zh) 一种视频超分辨率重建方法及其系统
Tseng et al. Depth image super-resolution via multi-frame registration and deep learning
CN109087247A (zh) 一种对立体图像进行超分的方法
CN111696167A (zh) 自范例学习引导的单张影像超分辨率重构方法
CN116071239B (zh) 一种基于混合注意力模型的ct图像超分辨方法和装置
CN111080533B (zh) 一种基于自监督残差感知网络的数码变焦方法
CN110599403B (zh) 一种具有良好高频视觉效果的图像超分辨率重建方法
CN116188272A (zh) 适用于多模糊核的两阶段深度网络图像超分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant