CN116416132A - 基于多视角参考图像的图像重建方法、计算机设备及介质 - Google Patents

基于多视角参考图像的图像重建方法、计算机设备及介质 Download PDF

Info

Publication number
CN116416132A
CN116416132A CN202310222636.XA CN202310222636A CN116416132A CN 116416132 A CN116416132 A CN 116416132A CN 202310222636 A CN202310222636 A CN 202310222636A CN 116416132 A CN116416132 A CN 116416132A
Authority
CN
China
Prior art keywords
image
resolution
low
feature
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310222636.XA
Other languages
English (en)
Inventor
蒋佳芹
赵娇
罗磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Seed Space Technology Co ltd
Original Assignee
Shenzhen Seed Space Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Seed Space Technology Co ltd filed Critical Shenzhen Seed Space Technology Co ltd
Priority to CN202310222636.XA priority Critical patent/CN116416132A/zh
Publication of CN116416132A publication Critical patent/CN116416132A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种基于多视角参考图像的图像重建方法、计算机设备及计算机可读存储介质，通过所述方法，本发明将多个视角的高分辨率图像作为参考图像，采用基于像素变换的有参考超分图像重建方法来对低分辨率图像进行分辨率提升，缓解了仅使用单张参考图像进行超分重建所带来的全局清晰度不一致的问题，将图像拼接技术和有参考超分技术结合在一起，并且考虑到低分辨率图像和参考图像间内容的差异以及光流在简单强结构区域的不可靠性，额外引入了融合权重估计模块和梯度分支，生成全局清晰度一致且无明显几何错位和颜色不一致的大视场角高分辨率图像，由此提高了超分重建质量。

Description

基于多视角参考图像的图像重建方法、计算机设备及介质
技术领域
本申请涉及图像复原技术领域，尤其涉及一种基于多视角参考图像的图像重建方法、计算机设备及计算机可读存储介质。
背景技术
大视场角的高分辨率图像能同时提供全局视野和局部细节，随着智能手机的流行和快速发展，人们对大视场角高分辨率图像的需求量越来越大，增加或者提升硬件一定程度上能满足此需求，但相应地硬件会让手机变得更重或更贵，因此有必要设计一种相关算法用以将拍摄到的多张图像生成一张大视场角高分辨率图像。常见的算法思路是采用图像拼接技术将多张有重叠的小视场角高分辨率图像合成一张大视场角高分辨率图像，但图像拼接中存在几何错位和颜色不一致两大难题。最近，相关研究者表明可通过有参考的图像超分辨率方法来生成大视场角高分辨率图像，具体地，给定一张大视场角低分辨率图像和一张内容仅覆盖低分辨率图像中心区域的小视场角高分辨率图像(即参考图像)，计算低分辨率图块和高分辨率图块间的相似度，并为每个低分图块选择一个最相似的高分图块作为其图像超分的辅助信息。该类方法新颖且具有一定的效果，但小视场角高分辨率参考图像中有限的内容会导致超分结果中存在全局清晰度不一致的问题：中心区域有着与之一致的参考图像内容，四周区域仅有与之相似的参考图像内容，这使得超分结果的中心区域通常会比四周更清晰。由此可见，有无一致的参考图像内容对超分结果的质量有着显著的影响。由于上述提及的不足之处，现有的技术方案不能很好地生成令人满意的高质量大视场角高分辨率图像。
另外，上述有参考的图像超分辨率方法中，输入的是一张待超分的低分辨率图像和一张(或多张)与低分图像有着相似内容或结构的高分辨率图像，其中高分辨率图像作为参考图像可提供丰富的纹理信息来弥补低分辨率图像中丢失的细节，进而减轻单图超分辨率任务中的不适定性并生成有着丰富细节和真实纹理的超分结果。根据从高分辨率图像中捕获信息的方式，可将有参考的超分方法分为基于图块的相似性搜索方法和基于像素的变换方法。基于图块的相似性搜索方法注重结构相似，对参考图像的整体内容要求不高。该方法将低分图像和高分参考图像拆分成多个图块，为每个低分图块匹配一个与之最相似的高分图块，随后这个高分图块会直接代替低分图块或者用以辅助低分图块的重建。基于图块相似性搜索的有参考超分方法相对于单图超分方法来说有能力去处理一些图像退化更严重和上采样倍数更大的情况。但当低分图像和参考图像分辨率差异较大时，即使此时两图之间有着较大的内容重叠，基于图块相似性搜索的有参考超分方法的结果依旧会模糊、缺乏细节。对于低分图像和参考图像之间有着较大内容重叠和较大分辨率差异时，基于像素变换的有参考超分算法能生成更好的超分结果。该类超分算法首先估计上采样后的低分图像和参考图像之间的光流，然后基于光流将参考图像特征变换至低分图像视角，随后进行特征整合与超分结果重建。直接基于光流变换能取得一定的效果，但缺少对两图内容差异以及光流在简单强结构处不可靠等问题的考虑，使得现有的基于像素变换的方法的图像超分辨率方法不够鲁棒。
发明内容
本申请提供了一种基于多视角参考图像的图像重建方法及系统，以解决现有图像超分方法超分结果质量差、鲁棒性低的技术问题。
第一方面，本申请实施方式提供了一种基基于多视角参考图像的图像重建方法，所述图像超分方法包括：
获取一张低分辨率图像及所述低分辨率图像对应的至少两张高分辨率参考图像；
根据所述低分辨率图像依次对至少两张所述高分辨率参考图像进行图像粗对齐和图像精对齐，得到参考变换图像以及各个所述参考变换图像的预设位置点在所述低分辨率图像中的对应位置点；
利用各个所述参考变换图像以及各个所述参考变换图像的预设位置点在所述低分辨率图像中的对应位置点，在所述低分辨率图像中确定每个所述参考变换图像对应的低分辨率图块；
利用超分网络模型分别对所述参考变换图像及其对应的低分辨率图块进行特征提取，得到参考图像特征、低分辨率图像特征以及低分辨率图像梯度特征，获取所述低分辨率图像特征和所述参考图像特征之间的光流，并根据所述光流对所述参考图像特征进行特征变换得到光流变换参考图像特征；
利用所述超分网络模型，对所述光流变换参考图像特征、所述低分辨率图像特征和所述低分辨率图像梯度特征进行特征融合，得到低分辨率图像融合特征，并对所述低分辨率图像融合特征进行超分重建，得到小视场角高分辨率图块；
利用各个所述小视场角高分辨率图块进行加权融合，得到一张大视场角高分辨率图像。
进一步地，所述根据所述低分辨率图像依次对至少两张所述高分辨率参考图像进行图像粗对齐和图像精对齐，得到参考变换图像以及各个所述参考变换图像的预设位置点在所述低分辨率图像中的对应位置点，包括：
采集所述多张高分辨率参考图像
Figure BDA0004117325010000031
相对于低分辨率图像拍摄位置的旋转角度θi和φi，利用所述旋转角度θi和φi估计得到两图之间的旋转矩阵Ri和单应矩阵Hi，利用所述单应矩阵Hi计算得到粗变换后的多张高分辨率参考图像及其所述多张高分辨率参考图像左上顶点在所述低分辨率图像中的粗对齐位置；
将所述低分辨率图像和所述粗变换后的多张高分辨率参考图像拆分成多个格网并记录网格顶点位置，将所述网格顶点位置的集合记作顶点集合V，将所述低分辨率图像和所述多张粗变换后的高分辨率参考图像间匹配上的格网顶点组成格网顶点对，并纳入匹配点集合Mi，将顶点集合V和匹配点集合Mi表输入精对齐能量方程计算得到优化后的格网顶点，对所述优化后的格网顶点进行纹理映射计算得到多张精变换后的高分辨率参考图像及其左上顶点在低分辨率图像中的精对齐位置；
将所述多张精变换后的高分辨率参考图像作为所述多张高分辨率参考变换图像；将所述多张所述精变换后的高分辨率参考图像左上顶点在所述低分辨率图像中的精对齐位置作为所述对应位置点。
进一步地，所述利用超分网络模型分别对所述参考变换图像及其对应的低分辨率图块进行特征提取，得到参考图像特征、低分辨率图像特征以及低分辨率图像梯度特征，包括：
利用特征提取模块Ei，在尺度l中对所述参考变换图像
Figure BDA0004117325010000032
及其对应的低分辨率图块/>
Figure BDA0004117325010000033
进行特征提取，得到参考图像特征/>
Figure BDA0004117325010000034
和低分辨率图像特征/>
Figure BDA0004117325010000035
利用梯度特征提取模块GEl，对所述低分辨率图像
Figure BDA0004117325010000041
进行梯度特征提取，得到低分辨率图像梯度特征/>
Figure BDA0004117325010000042
进一步地，所述根据所述低分辨率图像特征，对所述参考图像特征进行特征变换得到光流变换参考图像特征，包括：
在特征变换模块FWM中，对尺度l+1的光流进行上采样得到光流初值fl+1，利用光流初值fl+1对所述参考图像特征
Figure BDA0004117325010000043
进行初步变换，得到参考图像变换特征；
利用残差估计模块REB，对所述参考图像变换特征和所述低分辨率图像特征
Figure BDA0004117325010000044
进行预测计算得到光流残差值/>
Figure BDA0004117325010000045
将所述光流残差值
Figure BDA0004117325010000046
与所述光流初值fl+1相加得到当前尺度l中的光流值fl；
利用所述参考图像特征
Figure BDA0004117325010000047
和所述光流值fl变换得到光流变换参考图像特征
Figure BDA0004117325010000048
进一步地，所述利用所述超分网络模型，对所述光流变换参考图像特征、所述低分辨率图像特征和所述低分辨率图像梯度特征进行特征融合，得到低分辨率图像融合特征，包括：
利用融合权重估计模块，根据所述光流变换参考图像特征
Figure BDA0004117325010000049
以及所述低分辨率图像估计得到参考图像特征权重值；
利用所述参考图像特征权重值对所述光流变换参考图像特征
Figure BDA00041173250100000410
和所述低分辨率图像特征/>
Figure BDA00041173250100000411
进行自适应整合，得到低分辨率图像初始融合特征/>
Figure BDA00041173250100000412
利用梯度调制模块GMl，根据所述低分辨率图像初始融合特征
Figure BDA00041173250100000413
对所述低分辨率图像梯度特征/>
Figure BDA00041173250100000414
进行调制，得到调制后的梯度特征/>
Figure BDA00041173250100000415
利用特征融合模块GFl，使用所述调制后的梯度特征
Figure BDA00041173250100000416
更新计算所述低分辨率图像初始融合特征/>
Figure BDA00041173250100000417
得到低分辨率图像融合特征/>
Figure BDA00041173250100000418
进一步地，所述利用超分网络模型分别对所述参考变换图像及其对应的低分辨率图块进行特征提取，得到参考图像特征、低分辨率图像特征以及低分辨率图像梯度特征，还包括：
利用梯度算子G(·)作用于所述低分辨率图块
Figure BDA00041173250100000419
得到低分辨率图块的梯度图
Figure BDA00041173250100000420
所述利用所述超分网络模型对所述低分辨率图像融合特征进行超分重建，得到小视场角高分辨率图块，包括：
将所述低分辨率图像融合特征
Figure BDA0004117325010000051
逐步传递至尺度l-1中进行信息交换，得到最高尺度最终融合特征/>
Figure BDA0004117325010000052
利用图像重建模块R以及所述最高尺度最终融合特征
Figure BDA0004117325010000053
计算得到超分结果图ISR，将所述超分结果图作为所述小视场角高分辨率图块；
在梯度重建模块GR中，利用所述调制后的梯度特征
Figure BDA0004117325010000054
计算生成高分辨率梯度图ISR-Grad并利用所述梯度图G(IGT)对所述高分辨率梯度图ISR-Grad进行监督。
进一步地，所述利用超分网络模型分别对所述参考变换图像及其对应的低分辨率图块进行特征提取，得到参考图像特征、低分辨率图像特征以及低分辨率图像梯度特征之前，还包括：
使用总损失函数以及训练样本集对所述超分网络模型进行训练。
进一步地，所述使用总损失函数以及训练样本集对所述超分网络模型进行训练，还包括：
使用总损失函数以及所述训练样本集对所述超分网络模型进行训练，直到所述超分网络模型收敛至最优精度，
所述总损失函数包括超分结果重建损失函数
Figure BDA0004117325010000055
光流正则项损失函数/>
Figure BDA0004117325010000056
光流变换损失函数/>
Figure BDA0004117325010000057
梯度图损失函数/>
Figure BDA0004117325010000058
以及梯度分支损失函数/>
Figure BDA0004117325010000059
所述总损失函数的具体公式为：
Figure BDA00041173250100000510
其中，权重系数α,β,γ,λ分别设为1，0.005，0.05，0.05。
第二方面，本申请还提供了一种计算机设备，所述计算机设备包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如上所述的基于多视角参考图像的图像重建方法。
第三方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上所述的基于多视角参考图像的图像重建方法。
相比于现有技术，本申请实施方式提供的一种基于多视角参考图像的图像重建方法，通过获取一张低分辨率图像及所述低分辨率图像对应的至少两张高分辨率参考图像；根据所述低分辨率图像依次对至少两张所述高分辨率参考图像进行图像粗对齐和图像精对齐，得到参考变换图像以及各个所述参考变换图像的预设位置点在所述低分辨率图像中的对应位置点；利用各个所述参考变换图像以及各个所述参考变换图像的预设位置点在所述低分辨率图像中的对应位置点，在所述低分辨率图像中确定每个所述参考变换图像对应的低分辨率图块；利用超分网络模型分别对所述参考变换图像及其对应的低分辨率图块进行特征提取，得到参考图像特征、低分辨率图像特征以及低分辨率图像梯度特征，获取所述低分辨率图像特征和所述参考图像特征之间的光流，并根据所述光流对所述参考图像特征进行特征变换得到光流变换参考图像特征；利用所述超分网络模型，对所述光流变换参考图像特征、所述低分辨率图像特征和所述低分辨率图像梯度特征进行特征融合，得到低分辨率图像融合特征，并对所述低分辨率图像融合特征进行超分重建，得到小视场角高分辨率图块；利用各个所述小视场角高分辨率图块进行加权融合，得到一张大视场角高分辨率图像。通过上述方式，本发明将多个视角的高分辨率图像作为参考图像，采用基于像素变换的有参考超分图像重建方法来对低分辨率图像进行分辨率提升，缓解了仅使用单张参考图像进行超分重建所带来的全局清晰度不一致的问题，将图像拼接技术和有参考超分技术结合在一起，并且考虑到低分辨率图像和参考图像间内容的差异以及光流在简单强结构区域的不可靠性，额外引入了融合权重估计模块和梯度分支，生成全局清晰度一致且无明显几何错位和颜色不一致的大视场角高分辨率图像，由此提高了超分重建质量。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施方式技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施方式提供的基于多视角参考图像的图像重建方法流程示意图；
图2为本申请实施方式提供的基于多视角参考图像的图像重建方法框架图；
图3为本申请实施方式提供的基于多视角参考图像的超分网络模型特征变换模块示意图；
图4为本申请实施方式提供的基于多视角参考图像的超分网络模型示意图；
图5为本申请实施方式提供的基于多视角参考图像的超分网络模型在Camera4×测试数据集上的实验结果示意图；
图6为本申请实施方式提供的基于多视角参考图像的图像重建方法在测试数据集上的实验结果示意图；
图7为本申请实施方式提供的一种计算机设备的结构示意性框图。
具体实施方式
下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
应当理解，为了便于清楚描述本申请实施方式的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
本申请发明人发现，现有的技术方案不能很好地生成令人满意的大视场角高分辨率图像，所以提出了一个新颖的框架来生成大视场角高分辨率图像，该框架将多张有重叠的小视场角高分辨率视作多视角参考图像来辅助大视场角低分辨率图像的超分。具体地，通过图像对齐将每张参考图像匹配到对应的低分辨率图像区域，随后该低分辨率图块在其对应的参考图像的帮助下实现分辨率提升，最后将所有高分辨率图块拼合在一起就能得到兼具大视场角和高分辨率的图像。相对于直接将多张参考图像拼接起来的作法，此框架生成超分结果是分图块处理的。生成的高分辨率图块间不可避免地存在小的几何错位和颜色差异，但这些问题通过一个简单的融合策略就能很好地解决，因此框架能很大程度上克服图像拼接中的几何错位和颜色不一致。除此之外，从多个视角的参考图像中获取高分辨率信息来实现超分能有效缓解超分结果图中全局清晰度不一致的问题。一旦实现低分图像和参考图像内容大致的对齐，随后就采用有参考超分的方法来提升低分图像的分辨率。考虑到基于图块相似性搜索的方法不擅长于处理本发明中涉及的图像间分辨率差异较大的情况，选用基于像素变换的方法。相对于现有的基于像素变换的方法，额外引入了融合权重估计模块和梯度分支。融合权重估计模块用以维持超分图像全局清晰度的一致性(重点是没有与之一致的参考图像的低分区域)，梯度分支用以减少超分图像中简单强结构区域的畸变。
为了解决上述问题，本申请提供了一种基于多视角参考图像的图像重建方法。
参阅图1，图1为本申请实施方式提供的基于多视角参考图像的图像重建方法流程示意图，包括步骤S101-S106。
步骤S101、获取一张低分辨率图像及所述低分辨率图像对应的至少两张高分辨率参考图像。
本实施例中，在进行图像超分之前需要获取一张大视场角低分辨率图像和多张与该低分辨率图像相关的小视场角高分辨率参考图像，该高分辨率参考图像需要带有相对于该大视场角低分辨率图像拍摄位置的旋转角度θi和φi，利用基于多视角参考图像的图像重建方法对该大视场角低分辨率图像和小视场角高分辨率参考图像进行处理，基于多视角参考图像的图像重建方法的框架图如图2所示。
步骤S102、根据所述低分辨率图像依次对至少两张所述高分辨率参考图像进行图像粗对齐和图像精对齐，得到参考变换图像以及各个所述参考变换图像的预设位置点在所述低分辨率图像中的对应位置点。
本实施例中，通过粗对齐和精对齐两种图像对齐方法，根据该低分辨率图像对该高分辨率参考图像进行图形变换，得到变换后的参考图像能够和该低分辨率图像实现对齐，并且记录变换后的参考图像与该低分辨率图像之间相对应的位置点，即为该位置对应点。
进一步地，步骤S102包括：
采集所述多张高分辨率参考图像
Figure BDA0004117325010000091
相对于低分辨率图像拍摄位置的旋转角度θi和φi，利用所述旋转角度θi和φi估计得到两图之间的旋转矩阵Ri和单应矩阵Hi，利用所述单应矩阵Hi计算得到粗变换后的多张高分辨率参考图像及其所述多张高分辨率参考图像左上顶点在所述低分辨率图像中的粗对齐位置；
将所述低分辨率图像和所述粗变换后的多张高分辨率参考图像拆分成多个格网并记录网格顶点位置，将所述网格顶点位置的集合记作顶点集合V，将所述低分辨率图像和所述多张粗变换后的高分辨率参考图像间匹配上的格网顶点组成格网顶点对，并纳入匹配点集合Mi，将顶点集合V和匹配点集合Mi表输入精对齐能量方程计算得到优化后的格网顶点，对所述优化后的格网顶点进行纹理映射计算得到多张精变换后的高分辨率参考图像及其左上顶点在低分辨率图像中的精对齐位置；
将所述多张精变换后的高分辨率参考图像作为所述多张高分辨率参考变换图像；将所述多张所述精变换后的高分辨率参考图像左上顶点在所述低分辨率图像中的精对齐位置作为所述对应位置点。
本实施例中，图像粗对齐过程，通常来说每个参考图像大致对应的低分辨率图像区域可通过特征匹配的方法得到，在采集多视高分辨率参考图像
Figure BDA0004117325010000092
时还记录了其相对于低分辨率图像拍摄位置的旋转角度θi和φi，基于角度便可估计两图之间的旋转矩阵Ri和单应矩阵Hi。根据单应矩阵Hi便可得到粗变换后的多张小视场角高分辨率参考图像及其左上顶点在低分辨率图像中的粗对齐位置，如下所示：
Figure BDA0004117325010000093
其中，W为变换操作。
图像精对齐，对于粗对齐后还残留着的错位，一种基于格网变换的方案被采用来实现参考图像和低分辨率图像的进一步对齐。和图像拼接工作NISwGSP类似，低分图像和参考图像被拆分成多个格网，并将所有格网顶点的集合记作V。随后两图间匹配上的格网顶点对被纳入匹配点集合Mi，将其作为后续能量方程求解的约束。为实现更好地对齐，将NISwGSP中用于约束相邻参考图像对齐情况的对齐项作用于参考图像及其对应的低分图像图块。精对齐的能量方程如下定义：
Figure BDA0004117325010000101
其中，N表示参考图像的数量，Mi表示第i对低分-参考图像对所对应的匹配点集合，(p,q)表示集合Mi中的一对匹配点，函数
Figure BDA0004117325010000102
将点p的位置分解为4个格网顶点位置的线性组合。
求解上述能量方程，将优化后的格网顶点送入纹理映射算法以生成精变换后的小视场角高分辨率参考图像及其左上顶点大视场角低分辨率图像中的精对齐位置，此时参考图像和低分辨率图像对齐得更好。与粗对齐相同，精对齐也会返回精变换后的小视场角高分辨率参考图像左上顶点大视场角低分辨率图像中的精对齐位置。
将所述多张精变换后的小视场角高分辨率参考图像作为所述多张小视场角高分辨率参考变换图像；将所述多张所述精变换后的小视场角高分辨率参考图像左上顶点在大视场角低分辨率图像中的精对齐位置作为所述多个对应位置。
步骤S103、利用各个所述参考变换图像以及各个所述参考变换图像的预设位置点在所述低分辨率图像中的对应位置点，在所述低分辨率图像中确定每个所述参考变换图像对应的低分辨率图块。
本实施例中，为每张对齐后的小视场角高分辨率参考变换图像确定其所对应的低分辨率图像区域，该低分辨率图像区域即为对应的低分辨率图块，将该小视场角高分辨率参考变换图像和对应的低分辨率图块组成低分图块-参考图像对。
步骤S104、利用超分网络模型分别对所述参考变换图像及其对应的低分辨率图块进行特征提取，得到参考图像特征、低分辨率图像特征以及低分辨率图像梯度特征，获取所述低分辨率图像特征和所述参考图像特征之间的光流，并根据所述光流对所述参考图像特征进行特征变换得到光流变换参考图像特征。
本实施例中，利用超分网络模型中的特征提取模块对每一个该低分图块-参考图像对进行特征提取，得到参考图像特征、低分辨率图像特征，利用梯度算子G(·)作用于所述低分辨率图块
Figure BDA0004117325010000111
得到低分辨率图块的梯度图，对所述参考变换图像及其对应的低分辨率图块进行特征提取，得到参考图像特征以及低分辨率图像特征，其中，参考变换图像及其对应的低分辨率图块作为一对相应的图像对，并根据所述低分辨率图像特征和所述参考图像特征获取两者之间的光流，使用光流对所述参考图像特征进行特征变换得到光流变换参考图像特征。
进一步地，步骤S104包括：
利用特征提取模块Ei，在尺度l中对所述参考变换图像
Figure BDA0004117325010000112
及其对应的低分辨率图块/>
Figure BDA0004117325010000113
进行特征提取，得到参考图像特征/>
Figure BDA0004117325010000114
和低分辨率图像特征/>
Figure BDA0004117325010000115
利用梯度特征提取模块GEl，对所述低分辨率图像
Figure BDA0004117325010000116
进行梯度特征提取，得到低分辨率图像梯度特征/>
Figure BDA0004117325010000117
利用梯度算子G(·)作用于所述低分辨率图块
Figure BDA0004117325010000118
得到低分辨率图块的梯度图
Figure BDA0004117325010000119
本实施例中，为估计精确的像素级光流和实现高质量的对齐，低分辨率图像在送入特征提取模块前要先上采样至参考图像大小。在尺度l，参考图像
Figure BDA00041173250100001110
和低分辨率图像
Figure BDA00041173250100001111
被送进特征提取模块Ei来生成参考图像特征/>
Figure BDA00041173250100001112
和低分辨率图像/>
Figure BDA00041173250100001113
Ei是一系列卷积层的堆叠。为充分利用上下文信息，来自前一个尺度的特征会与当前尺度的特征进行整合(除最高尺度外)。此外，梯度分支被引入来为主网络(图像超分辨率分支)提供额外的信息，具体地，低分辨率图像的梯度图/>
Figure BDA00041173250100001114
经梯度算子G(·)提取得到，低分辨率图像梯度特征
Figure BDA00041173250100001115
由梯度特征提取模块GEl提取得到。
进一步地，步骤S104还包括：
在特征变换模块FWM中，对尺度l+1的光流进行上采样得到光流初值fl+1，利用光流初值fl+1对所述参考图像特征
Figure BDA00041173250100001116
进行初步变换，得到参考图像变换特征；
利用残差估计模块REB，对所述参考图像变换特征和所述低分辨率图像特征
Figure BDA00041173250100001117
进行预测计算得到光流残差值/>
Figure BDA00041173250100001118
将所述光流残差值
Figure BDA00041173250100001119
与所述光流初值fl+1相加得到当前尺度l中的光流值fl；
利用所述参考图像特征
Figure BDA0004117325010000121
和所述光流值fl变换得到光流变换参考图像特征
Figure BDA0004117325010000122
本实施例中，参考图像特征和低分辨率图像特征间的高质量对齐通过基于光流的变换得以实现。在尺度l，参考图像特征
Figure BDA0004117325010000123
和低分辨率图像特征/>
Figure BDA0004117325010000124
被送入特征变换模块FWM，所述基于多视角参考图像的超分网络模型特征变换模块FWM如图3所示。首先，该参考图像特征经光流初值fl+1(上采样后的尺度l+1的光流)进行初步变换得到参考图像变换特征，然后将该参考图像变换特征和该低分辨率图像特征送入残差估计模块REB预测得到光流残差值/>
Figure BDA0004117325010000125
将光流残差值/>
Figure BDA0004117325010000126
与光流初值fl+1相加便可得到当前尺度l最终的光流值fl。最后参考图像特征经光流fl变换得到光流变换参考图像特征/>
Figure BDA0004117325010000127
进一步地，步骤S104之前，还包括：
使用总损失函数以及训练样本集对所述超分网络模型进行训练。
本实施例中，该基于多视角参考图像的图像重建方法通过超分网络模型(卷积神经网络)实现，其结构如图4(基于多视角参考图像的超分网络模型示意图)所示，主要包括特征提取、特征变换、基于梯度的特征融合和图像重建模块，使用该模型进行超分任务之前还需要使用总的损失函数和训练样本集对该超分网络模型进行训练。
进一步地，步骤S104之前，还包括：
使用总损失函数以及所述训练样本集对所述超分网络模型进行训练，直到所述超分网络模型收敛至最优精度，
所述总损失函数包括超分结果重建损失函数
Figure BDA0004117325010000128
光流正则项损失函数/>
Figure BDA0004117325010000129
光流变换损失函数/>
Figure BDA00041173250100001210
梯度图损失函数/>
Figure BDA00041173250100001211
以及梯度分支损失函数/>
Figure BDA00041173250100001212
所述总损失函数的具体公式为：
Figure BDA00041173250100001213
其中，权重系数α,β,γ,λ分别设为1，0.005，0.05，0.05。
本实施例中，使用总损失函数，基于训练样本集，对该超分网络模型进行训练。总损失函数包括：
(1)超分结果重建损失函数
Figure BDA00041173250100001214
基于感知损失函数/>
Figure BDA00041173250100001215
实现，约束超分结果ISR和真值IGT在VGG19特征层{φi|i＝2,7,14}上的差异：
Figure BDA00041173250100001216
Figure BDA0004117325010000131
(2)光流正则项损失函数
Figure BDA0004117325010000132
为保证光流的平滑性，约束每个尺度的光流残差值/>
Figure BDA0004117325010000133
尽可能地小，于是正则项损失函数定义为
Figure BDA0004117325010000134
其中，L为金字塔层数。该损失函数抑制了在不断精细化光流过程中相邻尺度间光流值的突变。
(3)光流变换损失函数
Figure BDA0004117325010000135
光流是本模型中实现对齐的中间变量，设计变换损失函数对光流进行间接监督。同样基于感知损失函数/>
Figure BDA0004117325010000136
实现，约束光流变换结果IRef-FlowW和真值IRef-WpGT在特征层上的差异：
Figure BDA0004117325010000137
(4)梯度图损失函数
Figure BDA0004117325010000138
为确保在梯度分支的帮助下，超分结果图中的简单强结构区域有着一致的梯度方向，我们约束超分结果的梯度图和高分辨率梯度图之间的差异尽可能地小：
Figure BDA0004117325010000139
(5)梯度分支损失函数
Figure BDA00041173250100001310
为确保梯度特征已从图像特征中捕获到足够的信息来重建高分辨率的梯度图，我们约束梯度分支输出的梯度图和高分辨率真实的梯度图之间的差异尽可能地小：
Figure BDA00041173250100001311
综上，该总损失函数为
Figure BDA00041173250100001312
其中，权重系数α,β,γ,λ分别设为1，0.005，0.05，0.05。使用该总损失函数对该超分网络模型进行训练，直到整个网络收敛至最优精度。
步骤S105、利用所述超分网络模型，对所述光流变换参考图像特征、所述低分辨率图像特征和所述低分辨率图像梯度特征进行特征融合，得到低分辨率图像融合特征，并对所述低分辨率图像融合特征进行超分重建，得到小视场角高分辨率图块。
本实施例中，利用所述超分网络模型中的特征融合模块，首先提取光流变换参考图像特征，然后将该光流变换参考图像特征、该低分辨率图像特征和该低分辨率图像梯度特征进行特征融合，得到低分辨率图像融合特征，用该超分网络模型的超分重建模块对该低分辨率图像融合特征进行超分重建计算，得到多个小视场角高分辨率图块，该多个小视场角高分辨率图块可以用来组成得到大视场角高分辨率图像。
进一步地，步骤S105包括：
利用融合权重估计模块，根据所述光流变换参考图像特征
Figure BDA0004117325010000141
以及所述低分辨率图像估计得到参考图像特征权重值；
利用所述参考图像特征权重值对所述光流变换参考图像特征
Figure BDA0004117325010000142
和所述低分辨率图像特征/>
Figure BDA0004117325010000143
进行自适应整合，得到低分辨率图像初始融合特征/>
Figure BDA0004117325010000144
利用梯度调制模块GMl，根据所述低分辨率图像初始融合特征
Figure BDA0004117325010000145
对所述低分辨率图像梯度特征/>
Figure BDA0004117325010000146
进行调制，得到调制后的梯度特征/>
Figure BDA0004117325010000147
利用特征融合模块GFl，使用所述调制后的梯度特征
Figure BDA0004117325010000148
更新计算所述低分辨率图像初始融合特征/>
Figure BDA0004117325010000149
得到低分辨率图像融合特征/>
Figure BDA00041173250100001410
本实施例中，由于视角的差异和视场角的局限性，低分辨率图像和参考图像难免会有内容的差异。对于没有与之一致参考内容的低分辨率图像区域，其分辨率提升应该更加依赖于其自身的特征。除此之外，直接基于光流进行变换会使得性能有限。因此，融合权重估计模块被用来估计参考图像特征的权重，利用融合权重估计模块，根据该光流变换参考图像特征
Figure BDA00041173250100001411
以及该低分辨率图像估计得到参考图像特征权重值，基于该参考图像特征权重值，该光流变换参考图像特征/>
Figure BDA00041173250100001412
和该低分辨率图像特征/>
Figure BDA00041173250100001413
能进行自适应整合，此时整合后的特征被记作低分辨率图像初始融合特征/>
Figure BDA00041173250100001414
如果估计的光流是可靠的，上述融合操作能生成令人满意的超分结果。然而，光流通常在简单强结构区域可靠度不高，因此在梯度分支得到的梯度特征被用来辅助图像特征生成有着较少畸变的超分图像。具体地，初始融合特征
Figure BDA00041173250100001415
被用来在梯度调制模块GMl中对梯度特征进行调制得到调制后的梯度特征/>
Figure BDA00041173250100001416
主要通过调整梯度的位置和强度值。然后，该调制后的梯度特征/>
Figure BDA00041173250100001417
被送入基于梯度的特征融合模块GFl去更新低分辨率图像初始融合特征/>
Figure BDA00041173250100001418
得到低分辨率图像融合特征/>
Figure BDA00041173250100001419
通过这个交替更新方案，梯度特征中的简单强结构信息能有效整合至图像特征中。
进一步地，步骤S105还包括：
利用梯度算子G(·)作用于所述低分辨率图块
Figure BDA00041173250100001420
得到低分辨率图块的梯度图
Figure BDA00041173250100001421
所述利用所述超分网络模型对所述低分辨率图像融合特征进行超分重建，得到小视场角高分辨率图块，包括：
将所述低分辨率图像融合特征
Figure BDA0004117325010000151
逐步传递至尺度l-1中进行信息交换，得到最高尺度最终融合特征/>
Figure BDA0004117325010000152
利用图像重建模块R以及所述最高尺度最终融合特征
Figure BDA0004117325010000153
计算得到超分结果图ISR，将所述超分结果图作为所述小视场角高分辨率图块；
在梯度重建模块GR中，利用所述调制后的梯度特征
Figure BDA0004117325010000154
计算生成高分辨率梯度图ISR-Grad并利用所述梯度图G(IGT)对所述高分辨率梯度图ISR-Grad进行监督。
本实施例中，利用梯度算子G(·)作用于所述低分辨率图块
Figure BDA0004117325010000155
得到低分辨率图块的梯度图/>
Figure BDA0004117325010000156
除最高尺度外，由特征融合模块输出的最终融合图像特征/>
Figure BDA0004117325010000157
会被逐步传递至尺度l-1以进行信息交换。对于最高尺度，最终融合特征/>
Figure BDA0004117325010000158
被送进图像重建模块R以生成超分结果ISR，作为该小视场角高分辨率图块。为实现更全面的监督，将最高尺度更新后的梯度特征送入梯度重建模块GR以生成高分辨率的梯度图ISR-Grad，并通过梯度图进行监督。
步骤S106、利用各个所述小视场角高分辨率图块进行加权融合，得到一张大视场角高分辨率图像。
本实施例中，利用该对应位置点找到各个小视场角高分辨图块的位置，利用该位置对每一个该小视场角高分辨率图块进行加权融合计算，得到一张大视场角高分辨率图像。
本发明通过图像对齐方法为每张参考图像确定其所对应的低分辨率图像区域；对于每一对低分-参考图像对，使用基于深度学习的有参考超分方法，将参考图像中的纹理信息整合至低分辨率图块中以提升后者的分辨率；将所有完成分辨率提升的低分辨率图块组合起来便可得到最终的大视场角高分辨率图像，对部分实验数据进行图像超分辨率处理，结果示例如图5(基于多视角参考图像的超分网络模型在Camera4×测试数据集上的实验结果示意图)和图6(基于多视角参考图像的图像重建方法在测试数据集上的实验结果示意图)所示，可以看出，本发明能有效地提升图像的分辨率，并稳定地生成大视场角高分辨率图像。本发明相对于现有技术，具有以下三个优点：1.无明显的几何错位和颜色不一致：本发明将多视角高分辨率图像视作参考图像，待确定其对应的低分辨率图像区域后，采用有参考超分的方法来对该图块进行分辨率提升。虽然这个过程中不可避免地会带来少许错位和颜色不一致，但由于待超分的图块均来自同一张低分辨率图像，前面出现的几何错位和颜色不一致程度较轻，且通过一个简单的融合就能得以解决；2.全局清晰度一致：本发明将多个视角的高分辨率图像作为参考图像，它们组合起来几乎能覆盖整个低分辨率图像，这能有效缓解仅使用单张参考图像进行超分所带来的全局清晰度不一致的问题；3.框架新颖：本发明首次提出将图像拼接技术和有参考超分技术结合在一起，以生成全局清晰度一致，且无明显几何错位和颜色不一致的大视场角高分辨率图像。不同于目前主流的基于图块相似性搜索的有参考超分方法，本发明根据任务需求采用了基于像素变换的方法。除此之外，考虑到低分和参考图像间内容的差异以及光流在简单强结构区域的不可靠性，本发明额外引入了融合权重估计模块和梯度分支。
请参阅图7，图7是本申请的实施例提供的一种计算机设备的结构示意性框图。该计算机设备可以是服务器。
参阅图7，该计算机设备包括通过模型总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器。
非易失性存储介质可存储操作模型和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种基于多视角参考图像的图像重建方法。
处理器用于提供计算和控制能力，支撑整个计算机设备的运行。
内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种基于多视角参考图像的图像重建方法。
该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
应当理解的是，处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本申请的实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现本申请实施例提供的任一项基于多视角参考图像的图像重建方法。
其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于多视角参考图像的图像重建方法，其特征在于，所述基于多视角参考图像的图像重建方法包括：
获取一张低分辨率图像及所述低分辨率图像对应的至少两张高分辨率参考图像；
根据所述低分辨率图像依次对至少两张所述高分辨率参考图像进行图像粗对齐和图像精对齐，得到参考变换图像以及各个所述参考变换图像的预设位置点在所述低分辨率图像中的对应位置点；
利用各个所述参考变换图像以及各个所述参考变换图像的预设位置点在所述低分辨率图像中的对应位置点，在所述低分辨率图像中确定每个所述参考变换图像对应的低分辨率图块；
利用超分网络模型分别对所述参考变换图像及其对应的低分辨率图块进行特征提取，得到参考图像特征、低分辨率图像特征以及低分辨率图像梯度特征，获取所述低分辨率图像特征和所述参考图像特征之间的光流，并根据所述光流对所述参考图像特征进行特征变换得到光流变换参考图像特征；
利用所述超分网络模型，对所述光流变换参考图像特征、所述低分辨率图像特征和所述低分辨率图像梯度特征进行特征融合，得到低分辨率图像融合特征，并对所述低分辨率图像融合特征进行超分重建，得到小视场角高分辨率图块；
利用各个所述小视场角高分辨率图块进行加权融合，得到一张大视场角高分辨率图像。
2.根据权利要求1所述的基于多视角参考图像的图像重建方法，其特征在于，所述根据所述低分辨率图像依次对至少两张所述高分辨率参考图像进行图像粗对齐和图像精对齐，得到参考变换图像以及各个所述参考变换图像的预设位置点在所述低分辨率图像中的对应位置点，包括：
采集所述多张高分辨率参考图像
Figure FDA0004117325000000011
相对于低分辨率图像拍摄位置的旋转角度θi和φi，利用所述旋转角度θi和φi估计得到两图之间的旋转矩阵Ri和单应矩阵Hi，利用所述单应矩阵Hi计算得到粗变换后的多张高分辨率参考图像及其所述多张高分辨率参考图像左上顶点在所述低分辨率图像中的粗对齐位置；
将所述低分辨率图像和所述粗变换后的多张高分辨率参考图像拆分成多个格网并记录网格顶点位置，将所述网格顶点位置的集合记作顶点集合V，将所述低分辨率图像和所述多张粗变换后的高分辨率参考图像间匹配上的格网顶点组成格网顶点对，并纳入匹配点集合Mi，将顶点集合V和匹配点集合Mi表输入精对齐能量方程计算得到优化后的格网顶点，对所述优化后的格网顶点进行纹理映射计算得到多张精变换后的高分辨率参考图像及其左上顶点在低分辨率图像中的精对齐位置；
将所述多张精变换后的高分辨率参考图像作为所述多张高分辨率参考变换图像；将所述多张所述精变换后的高分辨率参考图像左上顶点在所述低分辨率图像中的精对齐位置作为所述对应位置点。
3.根据权利要求1所述的基于多视角参考图像的图像重建方法，其特征在于，所述利用超分网络模型分别对所述参考变换图像及其对应的低分辨率图块进行特征提取，得到参考图像特征、低分辨率图像特征以及低分辨率图像梯度特征，包括：
利用特征提取模块Ei，在尺度l中对所述参考变换图像
Figure FDA0004117325000000021
及其对应的低分辨率图块
Figure FDA0004117325000000022
进行特征提取，得到参考图像特征/>
Figure FDA0004117325000000023
和低分辨率图像特征/>
Figure FDA0004117325000000024
利用梯度特征提取模块GEl，对所述低分辨率图块
Figure FDA0004117325000000025
进行梯度特征提取，得到低分辨率图像梯度特征/>
Figure FDA0004117325000000026
4.根据权利要求3所述的基于多视角参考图像的图像重建方法，其特征在于，所述根据所述低分辨率图像特征，对所述参考图像特征进行特征变换得到光流变换参考图像特征，包括：
在特征变换模块FWM中，对尺度l+1的光流进行上采样得到光流初值fl+1，利用光流初值fl+1对所述参考图像特征
Figure FDA0004117325000000027
进行初步变换，得到参考图像变换特征；
利用残差估计模块REB，对所述参考图像变换特征和所述低分辨率图像特征
Figure FDA0004117325000000028
进行预测计算得到光流残差值/>
Figure FDA0004117325000000029
将所述光流残差值
Figure FDA00041173250000000210
与所述光流初值fl+1相加得到当前尺度l中的光流值fl；
利用所述参考图像特征
Figure FDA00041173250000000211
和所述光流值fl变换得到光流变换参考图像特征
Figure FDA00041173250000000212
5.根据权利要求4所述的基于多视角参考图像的图像重建方法，其特征在于，所述利用所述超分网络模型，对所述光流变换参考图像特征、所述低分辨率图像特征和所述低分辨率图像梯度特征进行特征融合，得到低分辨率图像融合特征，包括：
利用融合权重估计模块，根据所述光流变换参考图像特征
Figure FDA0004117325000000031
以及所述低分辨率图像估计得到参考图像特征权重值；
利用所述参考图像特征权重值对所述光流变换参考图像特征
Figure FDA0004117325000000032
和所述低分辨率图像特征/>
Figure FDA0004117325000000033
进行自适应整合，得到低分辨率图像初始融合特征/>
Figure FDA0004117325000000034
利用梯度调制模块GMl，根据所述低分辨率图像初始融合特征
Figure FDA0004117325000000035
对所述低分辨率图像梯度特征/>
Figure FDA0004117325000000036
进行调制，得到调制后的梯度特征/>
Figure FDA0004117325000000037
利用特征融合模块GFl，使用所述调制后的梯度特征
Figure FDA0004117325000000038
更新计算所述低分辨率图像初始融合特征/>
Figure FDA0004117325000000039
得到低分辨率图像融合特征/>
Figure FDA00041173250000000310
6.根据权利要求1所述的基于多视角参考图像的图像重建方法，其特征在于，所述利用超分网络模型分别对所述参考变换图像及其对应的低分辨率图块进行特征提取，得到参考图像特征、低分辨率图像特征以及低分辨率图像梯度特征，还包括：
利用梯度算子G(·)作用于所述低分辨率图块
Figure FDA00041173250000000311
得到低分辨率图块的梯度图/>
Figure FDA00041173250000000312
所述利用所述超分网络模型对所述低分辨率图像融合特征进行超分重建，得到小视场角高分辨率图块，包括：
将所述低分辨率图像融合特征
Figure FDA00041173250000000313
逐步传递至尺度l-1中进行信息交换，得到最高尺度最终融合特征/>
Figure FDA00041173250000000314
利用图像重建模块R以及所述最高尺度最终融合特征
Figure FDA00041173250000000315
计算得到超分结果图ISR，将所述超分结果图作为所述小视场角高分辨率图块；
在梯度重建模块GR中，利用所述调制后的梯度特征
Figure FDA00041173250000000316
计算生成高分辨率梯度图ISR-Grad并利用所述梯度图G(IGT)对所述高分辨率梯度图ISR-Grad进行监督。
7.根据权利要求1所述的基于多视角参考图像的图像重建方法，其特征在于，所述利用超分网络模型分别对所述参考变换图像及其对应的低分辨率图块进行特征提取，得到参考图像特征、低分辨率图像特征以及低分辨率图像梯度特征之前，还包括：
使用总损失函数以及训练样本集对所述超分网络模型进行训练。
8.根据权利要求7所述的基于多视角参考图像的图像重建方法，其特征在于，所述使用总损失函数以及训练样本集对所述超分网络模型进行训练，还包括：
使用总损失函数以及所述训练样本集对所述超分网络模型进行训练，直到所述超分网络模型收敛至最优精度，
所述总损失函数包括超分结果重建损失函数
Figure FDA0004117325000000041
光流正则项损失函数/>
Figure FDA0004117325000000042
光流变换损失函数/>
Figure FDA0004117325000000043
梯度图损失函数/>
Figure FDA0004117325000000044
以及梯度分支损失函数/>
Figure FDA0004117325000000045
所述总损失函数的具体公式为：
Figure FDA0004117325000000046
其中，权重系数α,β,γ,λ分别设为1，0.005，0.05，0.05。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1至8中任一项所述的基于多视角参考图像的图像重建方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1至7中任一项所述的基于多视角参考图像的图像重建方法。
CN202310222636.XA 2023-03-09 2023-03-09 基于多视角参考图像的图像重建方法、计算机设备及介质 Pending CN116416132A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310222636.XA CN116416132A (zh) 2023-03-09 2023-03-09 基于多视角参考图像的图像重建方法、计算机设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310222636.XA CN116416132A (zh) 2023-03-09 2023-03-09 基于多视角参考图像的图像重建方法、计算机设备及介质

Publications (1)

Publication Number Publication Date
CN116416132A true CN116416132A (zh) 2023-07-11

Family

ID=87058944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310222636.XA Pending CN116416132A (zh) 2023-03-09 2023-03-09 基于多视角参考图像的图像重建方法、计算机设备及介质

Country Status (1)

Country Link
CN (1) CN116416132A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116912148A (zh) * 2023-09-12 2023-10-20 深圳思谋信息科技有限公司 图像增强方法、装置、计算机设备及计算机可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116912148A (zh) * 2023-09-12 2023-10-20 深圳思谋信息科技有限公司 图像增强方法、装置、计算机设备及计算机可读存储介质
CN116912148B (zh) * 2023-09-12 2024-01-05 深圳思谋信息科技有限公司 图像增强方法、装置、计算机设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
US7889949B2 (en) Joint bilateral upsampling
US20200234414A1 (en) Systems and methods for transforming raw sensor data captured in low-light conditions to well-exposed images using neural network architectures
CN101477684B (zh) 一种利用位置图像块重建的人脸图像超分辨率方法
Dai et al. Awnet: Attentive wavelet network for image isp
US10991150B2 (en) View generation from a single image using fully convolutional neural networks
US20230052483A1 (en) Super resolution using convolutional neural network
CN108171735B (zh) 基于深度学习的十亿像素视频对齐方法及系统
CN111340696B (zh) 融合仿生视觉机制的卷积神经网络图像超分辨率重建方法
Huang et al. Hybrid image enhancement with progressive laplacian enhancing unit
Mishra et al. Self-FuseNet: data free unsupervised remote sensing image super-resolution
CN116416132A (zh) 基于多视角参考图像的图像重建方法、计算机设备及介质
CN117173012A (zh) 无监督的多视角图像生成方法、装置、设备及存储介质
CN111861888A (zh) 图像处理方法、装置、电子设备及存储介质
CN118505960A (zh) 一种无监督多尺度单应性估计的图像对齐方法
US12094079B2 (en) Reference-based super-resolution for image and video enhancement
CN108492264B (zh) 一种基于sigmoid变换的单帧图像快速超分辨方法
Li et al. Pansharpening via subpixel convolutional residual network
CN104933692B (zh) 一种人脸超分辨率的重建方法及装置
Cheng et al. Self-calibrated attention neural network for real-world super resolution
Zhang et al. Bilateral upsampling network for single image super-resolution with arbitrary scaling factors
Liu et al. A novel convolutional neural network architecture for image super-resolution based on channels combination
Deng et al. Attention-guided network with inverse tone-mapping guided up-sampling for HDR imaging of dynamic scenes
CN110503603A (zh) 一种基于引导上采样获得光场重对焦图像的方法
CN118411313B (zh) 一种基于叠加注意力特征融合的sar光学图像去云方法
WO2022151330A1 (zh) 一种图像处理的方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination