CN111696035A - 一种基于光流运动估计算法的多帧图像超分辨率重建方法 - Google Patents

一种基于光流运动估计算法的多帧图像超分辨率重建方法 Download PDF

Info

Publication number
CN111696035A
CN111696035A CN202010436239.9A CN202010436239A CN111696035A CN 111696035 A CN111696035 A CN 111696035A CN 202010436239 A CN202010436239 A CN 202010436239A CN 111696035 A CN111696035 A CN 111696035A
Authority
CN
China
Prior art keywords
frame
image
resolution
optical flow
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010436239.9A
Other languages
English (en)
Inventor
贾海涛
周兰兰
王磊
贾宇明
许文波
罗欣
赵行伟
范世炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202010436239.9A priority Critical patent/CN111696035A/zh
Publication of CN111696035A publication Critical patent/CN111696035A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于光流运动估计算法的多帧图像超分辨率重建方法，属于计算机视觉领域。该方法分为三个模块：第一个模块为光流运动估计算法模块，能够计算出输入的两帧低分辨率图像之间的运动矢量；第二个模块为运动变换模块，能够将低分辨图像通过运动矢量变换为另一帧低分辨率图像；第三个模块为多帧图像融合重建模块，能够将不同帧低分辨率图像的信息进行融合，重建为一帧高分辨率图像。本发明在多帧图像融合重建的基础上，结合光流的运动估计算法，通过对多帧图像运动变换对齐融合重建的方式将多帧相邻的低分辨率图像信息都利用了起来，能够得到具有更好高频细节的高分辨率图像，且重建图像的客观评价指标峰值信噪比PSNR和结构相似度SSIM更高。

Description

一种基于光流运动估计算法的多帧图像超分辨率重建方法
技术领域
本发明属于计算机视觉领域，具体涉及能够获得清晰的高频细节的基于光流运动估计算法的多帧图像超分辨率重建技术。
背景技术
高分辨率图像是指分辨率更高，图像的像素数量更多的一类图像，它更能够反映出成像目标的细节特征。这对于许多不同的应用场景来说都是必要且珍贵的一种图像数据。例如，在医学影像领域，高分辨率图像能够帮助医生判断病灶的特征以保证诊断的精准度；在航空及航天遥感领域，从更高分辨率的图像中观察到的地物更为清晰，因此可以提升图像目标识别等计算机视觉应用的精度；在摄影领域，更高分辨率图像带来更强的视觉效果和目标场景的保真度。
图像超分辨率重建方法是将成像系统获得的单帧或多帧低分辨率图像通过计算的方式得到高分辨率图像的一种技术。历经将近三十多年的发展，超分辨成像方法不仅在学术界受到广泛关注，部分超分辨成像技术已经实现了工业化，甚至进入人们的日常生活中。这种技术出现最重要的价值是它能够使用低成本的低分辨率相机来代替高分辨率相机，以此来降低成像系统的经济成本，工艺难度和高分辨率成像系统的光学系统难度。一般来说，超分辨成像方法分为两种，分别是多帧超分辨成像和单帧超分辨成像。两种方法的区别在于输入低分辨率图像的数量。如果对于某一固定场景成像的多帧低分辨率图像序列之间存在低于一个像素的位移，亚像元的位移造成的新的空间维信息的补充，使得多帧低分辨率图像拼接得到高分辨率图像。
近年来，随着人工智能的大力发展，使得针对深度神经网络的研究产生了飞跃式的进展。深度学习技术与许多学科领域的结合都取得了引人注目的成果。在计算机视觉与图像处理领域，将深度学习技术应用于图像超分辨率重建问题已成为当下及未来的一个主要的研究方向。
这类算法不需要使用插值处理操作或通过多幅图像之间的映射关系以获取高分辨率图像，其凭借着优越的重建效果与理想的重建速率，迅速成为图像超分辨率重建领域研究的热点——通过卷积神经网络将更多关键的图像像素信息作为网络模型的输入，利用更加丰富的先验知识作为条件约束，最终实现效果更加出色的超分辨率重建。因此，研究基于深度学习的图像超分辨率重建算法有着重要且深远的现实意义与应用价值。
运动估计作为很多计算机视觉任务的基础，是一个长期研究的课题。近年来，Dosovitskiy等人的开创性工作FlowNet即Learning Optical Flow with ConvolutionalNetworks基于卷积网络的光流估计算法表明，图像帧之间的运动估计是可以通过一个卷积神经网络端到端的学习得到的。
近年来，卷积神经网络已经成为解决计算机视觉领域问题的首选方法，它最先被成功的应用于图像分类任务中并以其惊人的准确度而受到大量关注，最近，它也被成功地应用于许多逐像素预测的图像任务中，如语义分割、图像深度估计以及本文中所研究的图像超分辨等。受此启发，Dosovitskiy等人开创性的提出将卷积神经网络用于运动估计问题之中，具体来说就是他们将图像帧间的运动估计问题建模为一个使用卷积神经网络进行逐像素光流值预测的监督学习问题，在给定一个包含大量图像对以及它们之间真实光流信息的数据集后，训练出一个网络直接对图像x-y方向上的光流进行预测。依照这一思想，作者提出了FlowNet算法即基于卷积网络的光流估计算法，该算法将两张输入图像进行堆叠并送入一个设计好的网络之中，让网络自行学习如何处理图像对以提取它们之间的运动信息。
由先前大量学者的工作可以看到，卷积神经网络擅长于通过交错的卷积层与池化层来提取图像的高维抽象特征。考虑到网络训练在计算上的可行性以及输入图像大部分区域上的信息汇聚，使用一定步长的卷积与池化是非常有必要的，但是这样的处理就会导致分辨率的降低，因此为了最终得到密集的逐像素预测结果，就需要使用一种方法来对低分辨率的输出进行分辨率的提升。在文中作者就提出了Refinement即细化结构来完成这一功能。该结构主要是由反卷积层组成。为了进行分辨率的提升以及光流估计结果的进一步改善，该结构在原始的特征映射上使用反卷积层，然后将得到的结果与FlowNet算法中相对应的来自“收缩部分”的特征映射以及粗略估计的光流信息这三个部分进行级联，这种方式的好处就是既保留了低分辨率特征中的高级信息又保留了在较低层的特征映射中提供的良好的局部信息。每执行这一步骤一次，分辨率都会有两倍的提升，重复执行四次之后，预测出的光流信息的分辨率仍然比输入图像小四倍，实验发现继续重复此步骤并不能再进一步的提高光流预测的准确性，因此使用了一个相对来说计算成本较低的双线性插值将输出上采样到与输入图像相同的大小，这个双线性上采样的结果就是网络最终的光流预测结果。
发明内容
本发明的目的是提出了一种基于光流运动估计算法的多帧图像超分辨率重建方法。该方法分为三个模块，第一个模块为光流运动估计算法模块，能够计算出输入的两帧低分辨率图像之间的运动矢量。第二个模块为运动变换模块，能够将低分辨图像通过运动矢量变换为另一帧低分辨率图像。第三个模块为多帧图像融合重建模块，能够将不同帧低分辨率图像的信息进行融合，并且重建为一帧高分辨率图像；
本发明采用的技术方案如下：
一种基于光流运动估计算法的多帧图像超分辨率重建方法，该方法包括以下步骤：
S1、选取三帧连续的低分辨率图像
Figure BDA0002502349960000031
中间帧低分辨率图像
Figure BDA0002502349960000032
为待重建的图像。将第一帧低分辨率图像
Figure BDA0002502349960000033
与中间帧低分辨率图像
Figure BDA0002502349960000034
输入基于卷积网络的光流估计算法即FlowNet光流估计算法，输出第一帧光流文件
Figure BDA0002502349960000035
光流文件里面包含的信息是运动信息，即通过光流估计算法将时间信息转换成了x-y坐标的运动矢量，其中LR表示低分辨率。同理，中间帧低分辨率图像
Figure BDA0002502349960000036
与第三帧低分辨率图像
Figure BDA0002502349960000037
输入FlowNet光流估计算法得到第三帧光流文件
Figure BDA0002502349960000038
S2、通过第一帧光流文件
Figure BDA0002502349960000039
对第一帧低分辨率图像
Figure BDA00025023499600000310
进行运动变换得到了第一帧运动信息补齐后的图像
Figure BDA00025023499600000311
运动变换过程为将
Figure BDA00025023499600000312
与
Figure BDA00025023499600000313
逐像素相加得到了
Figure BDA00025023499600000314
通过第三帧光流文件
Figure BDA00025023499600000315
对第三帧低分辨率图像
Figure BDA00025023499600000316
进行运动变换得到了第三帧运动信息补齐后的图像
Figure BDA00025023499600000317
S3、将第一帧和第三帧运动信息补齐后的图像
Figure BDA0002502349960000041
与中间帧低分辨率图像
Figure BDA0002502349960000042
输入到多帧图像融合重建模块中，输出一帧高分辨率图像。这帧高分辨率图像就是中间帧低分辨率图像结合前后相邻帧的信息融合重建的高分辨率图像。
所述步骤S3具体过程为：
S3.1、将三帧相邻的低分辨率图像输入到一个通道数为3的卷积层中，输出线性特征图。
S3.2、将线性特征图输入修正线性单元即激活层，得到非线性的特征图。
S3.3、将非线性特征图经过6个具有相同结构的残差网络模块，得到高频细节特征图。
S3.4、将得到的高频细节特征图依次输入两个亚像素卷积层，提高输出图像的分辨率，得到放大的特征图。
S3.5、将放大的特征图输入到最后一个卷积层，将通道数降到RGB通道，输出最终的一帧高分辨率图像。
本专利提出了一种基于光流运动估计算法的多帧图像超分辨率重建方法。其主体网络为多帧图像融合重建模块，并且结合基于光流的运动估计算法，通过对多帧图像运动变换对齐融合重建的方式将多帧相邻的低分辨率图像信息都利用了起来，能够得到具有更好高频细节的高分辨率图像，且重建图像的客观评价指标峰值信噪比PSNR和结构相似度SSIM更高。
附图说明
图1为本发明基于流光运动估计算法的多帧图像超分辨率重建方法的流程图。
具体实施方式
S1、选取三帧连续的低分辨率图像
Figure BDA0002502349960000043
中间帧低分辨率图像
Figure BDA0002502349960000044
为待重建的图像。将第一帧低分辨率图像
Figure BDA0002502349960000045
与中间帧低分辨率图像
Figure BDA0002502349960000046
输入基于卷积网络的光流估计算法，即FlowNet光流估计算法，输出第三帧光流文件
Figure BDA0002502349960000051
光流文件里面包含的信息是运动信息，即光流估计算法将时间信息转换成了x-y坐标的运动矢量，其中LR表示低分辨率。同理，中间帧低分辨率图像
Figure BDA0002502349960000052
与第三帧低分辨率图像
Figure BDA0002502349960000053
输入FlowNet光流估计算法得到第三帧光流文件
Figure BDA0002502349960000054
S2、通过第一帧光流文件
Figure BDA0002502349960000055
对低分辨率图像
Figure BDA0002502349960000056
进行运动变换得到了
Figure BDA0002502349960000057
运动变换过程为将
Figure BDA0002502349960000058
与
Figure BDA0002502349960000059
逐像素相加得到了
Figure BDA00025023499600000510
这个
Figure BDA00025023499600000511
同样为低分辨率图像，因为它经过了运动变换的补偿对齐操作，所以得到的
Figure BDA00025023499600000512
与中间帧低分辨率图像
Figure BDA00025023499600000513
的物体的位置相似。通过第三帧光流文件
Figure BDA00025023499600000514
对低分辨率图像
Figure BDA00025023499600000515
进行运动变换得到了
Figure BDA00025023499600000516
这个
Figure BDA00025023499600000517
也是与中间帧低分辨率图像
Figure BDA00025023499600000518
的物体的位置相似。
S3、将
Figure BDA00025023499600000519
与中间帧低分辨率图像
Figure BDA00025023499600000520
输入到多帧图像融合重建模块中，输出一帧高分辨率图像。这帧高分辨率图像就是中间帧低分辨率图像结合前后相邻帧的信息融合重建的高分辨率图像。
S3.1、将三帧相邻的低分辨率图像输入到一个通道数为3的卷积层中，输出线性特征图。
S3.2、将线性特征图输入修正线性单元即激活层，得到非线性的特征图。
S3.3、将非线性特征图经过6个具有相同结构的残差网络模块，得到高频细节特征图。每个残差网络模块的构成分别是卷积层，用于提取输入特征的特征图；然后是批处理归一化层，它能够防止梯度消失；接着是修正线性单元即ReLU激活函数层，增加网络的非线性，防止梯度消失；然后再是卷积层、批处理归一化层；最后使用跳跃连接将低维度的图像特征与高维度的图像特征逐像素相加。
S3.4、将得到的高频细节特征图依次输入两个亚像素卷积层，提高输出图像的分辨率，得到放大的特征图。每个亚像素卷积层能够将图像放大2倍，使用两个亚像素卷积层将图像放大4倍。
S3.5、将放大的特征图输入到最后一个卷积层，将通道数降到RGB通道，输出最终的一帧高分辨率图像。
本发明提出的一种基于光流运动估计算法的多帧图像超分辨率重建方法，该方法通过三个模块将输入的三帧相邻的低分辨率图像重建为一帧高分辨率图像，三个模块依次为：第一个模块为光流运动估计算法模块，能够计算出输入的两帧低分辨率图像之间的运动矢量；第二个模块为运动变换模块，能够将低分辨图像通过运动矢量变换为另一帧低分辨率图像；第三个模块为多帧图像融合重建模块，能够将不同帧低分辨率图像的信息进行融合，并且重建为一帧高分辨率图像。

Claims (2)

1.一种基于光流运动估计算法的多帧图像超分辨率重建方法，该方法包括以下步骤：
S1、选取三帧连续的低分辨率图像
Figure FDA0002502349950000011
中间帧低分辨率图像
Figure FDA0002502349950000012
为待重建的图像；将第一帧低分辨率图像
Figure FDA0002502349950000013
与中间帧低分辨率图像
Figure FDA0002502349950000014
输入基于卷积网络的光流估计算法，得到第一帧光流文件
Figure FDA0002502349950000015
光流文件里面包含的信息是运动信息，即通过光流估计算法将时间信息转换成了x-y坐标的运动矢量；同理，中间帧低分辨率图像
Figure FDA0002502349950000016
与第三帧低分辨率图像
Figure FDA0002502349950000017
输入基于卷积网络的光流估计算法得到第三帧光流文件
Figure FDA0002502349950000018
S2、通过第一帧光流文件
Figure FDA0002502349950000019
对第一帧低分辨率图像
Figure FDA00025023499500000110
进行运动变换，得到第一帧运动信息补齐后的图像
Figure FDA00025023499500000111
运动变换过程为将
Figure FDA00025023499500000112
与
Figure FDA00025023499500000113
逐像素相加得到了
Figure FDA00025023499500000114
通过第三帧光流文件
Figure FDA00025023499500000115
对第三帧低分辨率图像
Figure FDA00025023499500000116
进行运动变换得到了第三帧运动信息补齐后的图像
Figure FDA00025023499500000117
S3、将第一帧和第三帧运动信息补齐后的图像
Figure FDA00025023499500000118
与中间帧低分辨率图像
Figure FDA00025023499500000119
输入到多帧图像融合重建模块中，输出一帧高分辨率图像，这帧高分辨率图像就是中间帧低分辨率图像结合前后相邻帧的信息融合重建的高分辨率图像。
2.如权利要求1所述的一种基于光流运动估计算法的多帧图像超分辨率重建方法，其特征在于，所述步骤S3具体过程为：
S3.1、将三帧相邻的低分辨率图像输入到一个通道数为3的卷积层中，输出线性特征图；
S3.2、将线性特征图输入修正线性单元即激活层，得到非线性的特征图；
S3.3、将非线性特征图经过6个具有相同结构的残差网络模块，得到高频细节特征图；
S3.4、将得到的高频细节特征图依次输入两个亚像素卷积层，提高输出图像的分辨率，得到放大的特征图；
S3.5、将放大的特征图输入到最后一个卷积层，将通道数降到RGB通道，输出最终的一帧高分辨率图像。
CN202010436239.9A 2020-05-21 2020-05-21 一种基于光流运动估计算法的多帧图像超分辨率重建方法 Pending CN111696035A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010436239.9A CN111696035A (zh) 2020-05-21 2020-05-21 一种基于光流运动估计算法的多帧图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010436239.9A CN111696035A (zh) 2020-05-21 2020-05-21 一种基于光流运动估计算法的多帧图像超分辨率重建方法

Publications (1)

Publication Number Publication Date
CN111696035A true CN111696035A (zh) 2020-09-22

Family

ID=72478089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010436239.9A Pending CN111696035A (zh) 2020-05-21 2020-05-21 一种基于光流运动估计算法的多帧图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN111696035A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465725A (zh) * 2020-12-10 2021-03-09 西安交通大学 一种基于PWC-Net的红外图像帧率上转换方法
CN113130050A (zh) * 2021-04-20 2021-07-16 皖南医学院第一附属医院（皖南医学院弋矶山医院） 一种医学信息显示方法及显示系统
CN113469880A (zh) * 2021-05-28 2021-10-01 北京迈格威科技有限公司 图像拼接方法及装置、存储介质及电子设备
CN113538525A (zh) * 2021-05-28 2021-10-22 北京旷视科技有限公司 光流估计方法、模型训练方法及对应装置
CN113592709A (zh) * 2021-02-19 2021-11-02 腾讯科技（深圳）有限公司 图像超分处理方法、装置、设备及存储介质
CN114897697A (zh) * 2022-05-18 2022-08-12 北京航空航天大学 一种面向相机成像模型的超分辨率重建方法
CN115578255A (zh) * 2022-09-22 2023-01-06 北京航空航天大学 一种基于帧间亚像素块匹配的超分辨率重建方法
WO2023025245A1 (zh) * 2021-08-25 2023-03-02 中兴通讯股份有限公司 视频图像处理方法、网络训练方法、电子设备、和计算机可读存储介质
WO2023061187A1 (zh) * 2021-10-14 2023-04-20 华为技术有限公司 一种光流估计方法和装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100201719A1 (en) * 2009-02-06 2010-08-12 Semiconductor Energy Laboratory Co., Ltd. Method for driving display device
CN109118431A (zh) * 2018-09-05 2019-01-01 武汉大学 一种基于多记忆及混合损失的视频超分辨率重建方法
CN109949223A (zh) * 2019-02-25 2019-06-28 天津大学 基于反卷积稠密连接的图像超分辨率重构方法
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN110232653A (zh) * 2018-12-12 2019-09-13 天津大学青岛海洋技术研究院 快速轻型超分辨率重建密集残差网络
CN110634105A (zh) * 2019-09-24 2019-12-31 南京工程学院 一种光流法和深度网络结合的视频高时空分辨率信号处理方法
CN110689509A (zh) * 2019-09-10 2020-01-14 上海大学 基于循环多列3d卷积网络的视频超分辨率重建方法
CN110992265A (zh) * 2019-12-02 2020-04-10 北京数码视讯科技股份有限公司 图像处理方法及模型、模型的训练方法及电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100201719A1 (en) * 2009-02-06 2010-08-12 Semiconductor Energy Laboratory Co., Ltd. Method for driving display device
CN109118431A (zh) * 2018-09-05 2019-01-01 武汉大学 一种基于多记忆及混合损失的视频超分辨率重建方法
CN110232653A (zh) * 2018-12-12 2019-09-13 天津大学青岛海洋技术研究院 快速轻型超分辨率重建密集残差网络
CN109949223A (zh) * 2019-02-25 2019-06-28 天津大学 基于反卷积稠密连接的图像超分辨率重构方法
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN110689509A (zh) * 2019-09-10 2020-01-14 上海大学 基于循环多列3d卷积网络的视频超分辨率重建方法
CN110634105A (zh) * 2019-09-24 2019-12-31 南京工程学院 一种光流法和深度网络结合的视频高时空分辨率信号处理方法
CN110992265A (zh) * 2019-12-02 2020-04-10 北京数码视讯科技股份有限公司 图像处理方法及模型、模型的训练方法及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
方明: "视频图像光流场估计技术及应用", 国防工业出版社, pages: 1 - 6 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465725A (zh) * 2020-12-10 2021-03-09 西安交通大学 一种基于PWC-Net的红外图像帧率上转换方法
CN113592709B (zh) * 2021-02-19 2023-07-25 腾讯科技（深圳）有限公司 图像超分处理方法、装置、设备及存储介质
CN113592709A (zh) * 2021-02-19 2021-11-02 腾讯科技（深圳）有限公司 图像超分处理方法、装置、设备及存储介质
CN113130050A (zh) * 2021-04-20 2021-07-16 皖南医学院第一附属医院（皖南医学院弋矶山医院） 一种医学信息显示方法及显示系统
CN113130050B (zh) * 2021-04-20 2023-11-24 皖南医学院第一附属医院（皖南医学院弋矶山医院） 一种医学信息显示方法及显示系统
WO2022247394A1 (zh) * 2021-05-28 2022-12-01 北京迈格威科技有限公司 图像拼接方法及装置、存储介质及电子设备
CN113538525A (zh) * 2021-05-28 2021-10-22 北京旷视科技有限公司 光流估计方法、模型训练方法及对应装置
CN113469880A (zh) * 2021-05-28 2021-10-01 北京迈格威科技有限公司 图像拼接方法及装置、存储介质及电子设备
CN113538525B (zh) * 2021-05-28 2023-12-05 北京旷视科技有限公司 光流估计方法、模型训练方法及对应装置
WO2023025245A1 (zh) * 2021-08-25 2023-03-02 中兴通讯股份有限公司 视频图像处理方法、网络训练方法、电子设备、和计算机可读存储介质
WO2023061187A1 (zh) * 2021-10-14 2023-04-20 华为技术有限公司 一种光流估计方法和装置
CN114897697A (zh) * 2022-05-18 2022-08-12 北京航空航天大学 一种面向相机成像模型的超分辨率重建方法
CN115578255A (zh) * 2022-09-22 2023-01-06 北京航空航天大学 一种基于帧间亚像素块匹配的超分辨率重建方法

Similar Documents

Publication Publication Date Title
CN111696035A (zh) 一种基于光流运动估计算法的多帧图像超分辨率重建方法
CN111311490B (zh) 基于多帧融合光流的视频超分辨率重建方法
Wang et al. Deep video super-resolution using HR optical flow estimation
Liu et al. Video super-resolution based on deep learning: a comprehensive survey
Wang et al. Deep learning for image super-resolution: A survey
Kappeler et al. Video super-resolution with convolutional neural networks
Li et al. From beginner to master: A survey for deep learning-based single-image super-resolution
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN113837938B (zh) 基于动态视觉传感器重建潜在图像的超分辨率方法
CN115222601A (zh) 基于残差混合注意力网络的图像超分辨率重建模型及方法
CN109902809B (zh) 一种利用生成对抗网络辅助语义分割模型
CN112396607A (zh) 一种可变形卷积融合增强的街景图像语义分割方法
Chen et al. Single-image super-resolution using multihypothesis prediction
CN113554032B (zh) 基于高度感知的多路并行网络的遥感图像分割方法
CN111696038A (zh) 图像超分辨率方法、装置、设备及计算机可读存储介质
CN113283444A (zh) 一种基于生成对抗网络的异源图像迁移方法
CN116664397B (zh) TransSR-Net结构化图像超分辨重建方法
Zhou et al. Image super-resolution based on dense convolutional auto-encoder blocks
CN115578255A (zh) 一种基于帧间亚像素块匹配的超分辨率重建方法
CN115187638A (zh) 一种基于光流遮罩的无监督单目深度估计方法
Yang et al. A survey of super-resolution based on deep learning
CN116486074A (zh) 一种基于局部和全局上下文信息编码的医学图像分割方法
CN113610912B (zh) 三维场景重建中低分辨率图像单目深度估计系统及方法
CN114332625A (zh) 基于神经网络的遥感图像彩色化和超分辨率方法及系统
CN112785502B (zh) 一种基于纹理迁移的混合相机的光场图像超分辨率方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200922