CN111028150A - 一种快速时空残差注意力视频超分辨率重建方法 - Google Patents
一种快速时空残差注意力视频超分辨率重建方法 Download PDFInfo
- Publication number
- CN111028150A CN111028150A CN201911187313.1A CN201911187313A CN111028150A CN 111028150 A CN111028150 A CN 111028150A CN 201911187313 A CN201911187313 A CN 201911187313A CN 111028150 A CN111028150 A CN 111028150A
- Authority
- CN
- China
- Prior art keywords
- resolution
- video
- super
- attention
- residual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims abstract description 36
- 238000003062 neural network model Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 238000012360 testing method Methods 0.000 claims abstract description 7
- 238000005070 sampling Methods 0.000 claims abstract description 5
- 238000002360 preparation method Methods 0.000 claims abstract description 4
- 238000011084 recovery Methods 0.000 claims abstract description 4
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 3
- 230000006870 function Effects 0.000 claims description 16
- 238000013507 mapping Methods 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 6
- 230000002457 bidirectional effect Effects 0.000 description 3
- 125000004122 cyclic group Chemical group 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明提出一种快速时空残差注意力视频超分辨率重建方法，通过在神经网络模型中增加注意力上采样机制，将网络注意力集中于高频信息，从而得到更好的恢复结果；视频超分辨率重建实现过程包括训练与测试数据准备，设置神经网络模型的网络结构，训练好神经网络模型，将测试的低分辨率视频输入到训练好的神经网络模型中，模型的输出为重建后的超分辨率视频帧，将得到的连续帧合成视频得到超分辨率视频；所述神经网络模型的网络结构，包括低分辨率特征提取部分、快速时空残差块部分、高分辨率重建部分和高分辨率残差学习部分。本发明提出在高分辨率重建部分使用注意力机制，用于更好地复现高频信息。
Description
技术领域
本发明涉及视频超分辨率重建领域技术，尤其涉及一种快速时空残差注意力视频超分辨率重建方法。
背景技术
视频超分辨率重建是一种将视频的连续低分辨率视频重建为其相应的高分辨率视频的技术。视频超分辨率重建技术在卫星成像、安防监控、以及视频传输优化有着极其重要的作用。
得益于深度学习在计算机视觉领域的快速发展，Dong等人首次利用基于深度学习的3层网络从单张低分辨率图像重建出其对应的超分辨率图像，大幅超越传统的插值重建方法[1]。自此开始越来越多的基于深度学习的超分辨率方法被发明出来。视频超分辨率可以简单地一帧一帧地使用图像超分重建方法进行超分，但这忽视了视频序列中帧间连续性带来的帧与帧之间的相关性和互补信息。因此，不同于图像超分辨率，如何高效利用视频的帧间连续帧带来的更多的信息往往被看作视频超分重建的一个关键。
为了提高视频超分辨率的重建效果，深度学习的视频超分辨率方法主要使用视频前后连续帧片段重建出其对应的一张高分辨率视频帧。
近年来，视频超分辨率基本上使用二维卷积网络学习低分辨率视频连续帧的特征，但是二维卷积不能直接作用于视频四维数据(帧序列、宽、高、色彩通道)，因此帧间融合技术往往被引入以用来融合多帧之间的信息。中国发明专利“基于双向循环卷积网络的视频超分辨率方法和系统”(公开号CN105072373B，公开日为2018.03.27)采用双向循环卷积网络将前后相关联的帧信息用于辅助超分重建。Kappeler等人设计了基于深度卷积神经网络的视频超分辨率复原方法(Video super-resolution using convolutional neuralnetwork,VSRCNN)[5]，使用了堆叠的方式将前后关联帧图像与当前帧在颜色维度堆叠，然后放入网络进行训练以达到融合多帧信息的效果。在Caballero等人设计的具有时空网络和运动补偿的实时视频超分辨率方法(Video efficient sub-pixel convolutionalneural network，VESPCN)[6]以及Tao等人设计的深层细节的视频超分辨率方法(sub-pixel motion compensation Video Super-resolution，SPMC-VideoSR)[7]等都引入了运动估计来估算帧间信息，从而融合多帧信息。中国公开专利“一种基于深度学习的视频超分辨率重建方法”(公开号CN109102462A，公开日期2018.12.28)使用3D卷积构建了双向循环神经网络使用3D卷积进行时空特征融合。
尽管已有多种引入帧间信息融合的视频超分辨率复原方法，但是实际应用中，无论是运动估计还是原始的3D卷积都会消耗巨大的计算资源，这会导致重建时间过长，网络的深度不能变的更深，使其重建效果并不令人满意。本发明可以在一定程度上解决最后重建过程中丢失过多的高频信息问题。
本发明中涉及的参考文献如下：
[1]C.Dong,C.C.Loy,K.He,and X.Tang,“Learning a deep convolutionalnetwork for image super-resolution,”in European Conference on ComputerVision,2014,pp.184–199.
[2]C.Ledig et al.,“Photo-realistic single image super-resolutionusing a generative adversarial network,”in CVPR,2017,vol.2,no.3,p.4.
[3]Y.Zhang,Y.Tian,Y.Kong,B.Zhong,and Y.Fu,“Residual dense network forimage super-resolution,”in CVPR,2018.
[4]Y.Huang,W.Wang,and L.Wang,“Bidirectional recurrent convolutionalnetworks for multi-frame super-resolution,”in Advances in Neural InformationProcessing Systems,2015,pp.235–243.
[5]A.Kappeler,S.Yoo,Q.Dai,and A.K.Katsaggelos,“Video super-resolutionwith convolutional neural networks,”IEEE Transactions on ComputationalImaging,vol.2,no.2,pp.109–122,2016.
[6]J.Caballero et al.,“Real-time video super-resolution with spatio-temporal networks and motion compensation,”in IEEE Conference on ComputerVision and Pattern Recognition(CVPR),2017.
[7]X.Tao,H.Gao,R.Liao,J.Wang,and J.Jia,“Detail-revealing deep videosuper-resolution,”in Proceedings of the IEEE International Conference onComputer Vision,Venice,Italy,2017,pp.22–29.
发明内容
为了解决上述技术问题，本发明提供了一种快速时空残差注意力视频超分辨率重建方法，通过将一个三维时空卷积拆分成两个三维时空分步卷积减少计算量，并有效结合不同层次的残差学习，不仅可以使得视频超分辨率重建的视频更加清晰，显著提高了视频显示的效果，同时也保证了较低的计算资源消耗，而且避免在最后重建过程中丢失过多的高频信息。
本发明采用的技术方案是一种快速时空残差注意力视频超分辨率重建方法，通过在神经网络模型中增加注意力上采样机制，将网络注意力集中于高频信息，从而得到更好的恢复结果；
视频超分辨率重建实现过程包括训练与测试数据准备，设置神经网络模型的网络结构，训练好神经网络模型，将测试的低分辨率视频输入到训练好的神经网络模型中，模型的输出为重建后的超分辨率视频帧，将得到的连续帧合成视频得到超分辨率视频；
所述神经网络模型的网络结构，包括低分辨率特征提取部分、快速时空残差块部分、高分辨率重建部分和高分辨率残差学习部分，所述高分辨率重建部分包括一个用于融合特征的3D卷积，之后分为高分辨率映射分支和注意力模块分支，最后两个分支相乘并使用一个卷积融合特征。
而且，所述低分辨率特征提取部分，包括对输入的低分辨率视频LR应用3D卷积和激活函数运算进行特征提取，输出结果F0。
而且，所述快速时空残差块部分，由若干个快速时空残差块组成，第一个残差块输入为低分辨率特征提取部分输出，之后每个残差块输入为上一个残差块的输出。
而且，高分辨率重建部分的输入为快速时空残差块部分的输出，高分辨率映射分支对快速时空残差块部分输出的融合结果
应用一个3D卷积，输出结果Fup，意力模块分支对快速时空残差块部分输出FD应用一个串联连续1个下采样，然后采用n个上采样卷积，使得此处输出分辨率和高分辨率映射部分相同，其中n＝s/2，s是缩放比例，输出结果为FA；最后两个分支相乘并使用一个卷积融合特征，得到输出
而且，高分辨率残差学习部分中，引入一个映射函数，将低分视频LR映射到高分空间，然后和高分辨率重建部分的输出相加，取其结果的中间一帧作为最后的超分结果。
本发明采用以上技术方案，特点在于：第一，本发明提出使用三维卷积对低分辨率的视频进行特征提取，可以避免进行传统的光流法估计运动补偿，为了进一步减小计算资源的消耗，本发明提出快速时空残差块，使用连续的空间三维卷积和时间三维卷积替代时空三维卷积，这可以减少大量的计算消耗并能很好地学习到低分辨率视频的时空特征。第二，与最经典的基于深度学习的残差超分辨率网络相比，本发明提出在低分辨率上应用残差学习之外，将低分辨率视频直接映射到高分辨率空间以构建高分辨率空间的残差学习，这可以有效减缓视频重建部分的压力，极大地提高视频图像的重建效果。第三，增加了注意力上采样模块，这个模块可以很好地将网络注意力集中于高频信息，从而得到更好的恢复结果。
附图说明
图1是本发明实施例中快速时空残差注意力视频超分辨率重建方法的原理示意图；
图2是本发明实施例中快速时空残差块原理示意图；
图3是图1中的部分细节图。
具体实施方式
下面结合附图及实施例对本发明作进一步的详细描述。
如图1所示，本发明实施例公开了一种快速时空残差注意力视频超分辨率重建方法，其包括如下步骤：
步骤1：训练与测试数据准备：
采集连续镜头拍摄的N个视频，从中裁剪出5×sH×sW大小的视频块，即每个视频块取5帧，裁剪的高度为sH、宽度为sW；然后进行旋转(0°，90°，180°，270°)，即上下左右翻转，将得到的视频块的中间帧作为高分辨率视频HR，对得到的视频块进行下采样s倍得到5×H×W低分辨率视频块LR，高度为H、宽度为W，这些高低分辨率作为视频对(LR，HR)用于网络的训练和测试。取视频对的90％作为训练视频对，10％作为测试视频对。
具体实施时，缩放比例s可预先设定，优选采用正整数。
步骤2：设置网络结构：本发明所提出的网络模型将视频对中的LR作为输入，网络输出与HR相同大小的超分结果SR。网络主要包含四个部分：
(1)低分辨率特征提取部分：对输入的低分辨率视频LR(图中记为ILR)应用一个简单的3×3×3卷积核的3D卷积Conv和激活函数运算ReLU进行特征提取，输出结果F0，其计算公式是：
F0＝max(W1*LR+B1,0) (1)
其中W1和B1分别是本发明的第一层的卷积权值参数和偏置参数；
(2)快速时空残差块部分：如图2所示本部分由D个快速时空残差块组成。具体实施时，D的取值可根据需要设置。第一个残差块输入为低分辨率特征提取部分输出，之后每个残差块输入为上一个残差块的输出。每个残差块由一个3×3×1卷积核的3D卷积(即l×k×k Conv3d)和一个1×1×3卷积核的3D卷积(即k×k×l Conv3d)以及一个激活函数运算ReLU(即图2中PReLU)组成，假设残差块的输入为Fd，输出为Fd+1，其计算公式是：
Fd+1＝Hd(Fd)＝Fd+max(Wd2*(Wd1*Fd+Bd1)+Bd2,0) (2)
其中Hd()表示本发明快速时空残差块所代表的函数，Wd1和Bd1分别是本发明快速时空残差块的第一个3D卷积的卷积权值参数和偏置参数，其中Wd2和Bd2分别是本发明快速时空残差块的第二个3D卷积的卷积权值参数和偏置参数；
同时，本发明在这里引入低分辨率上的残差连接，将F0直接加到最后一个快速时空残差块结果上，因此快速时空残差块部分其计算公式是：
FD＝F0+HD(F0)＝F0+HD(HD-1(…(H2(H1(F0)))…)) (3)
其中，Hd()表示本发明快速时空残差块所代表的函数，d＝1,2,…D。
最后应用一个激活函数ReLU：
(3)高分辨率重建部分(AUM)，详见图3：此部分的输入为快速时空残差块部分的输出，首先使用一个3D卷积Conv融合特征：
其中，WP和BP分别是这个3D卷积的卷积权值参数和偏置参数。
然后分为高分辨率映射和注意力模块两部分。
参见图3中，分支Upsampling branch：高分辨率映射部分对快速时空残差块部分输出的融合结果
应用一个3×3×3卷积核的3D卷积，输出结果Fup，其计算公式是：
其中WL1和BL1分别是本发明高分辨率重建部分3×3×3卷积核的3D反卷积卷积权值参数和偏置参数。
参见图3中，分支Attention Mask branch：注意力模块部分对快速时空残差块部分输出FD应用一个串联连续1个下采样，然后采用n个上采样卷积，使得此处输出分辨率和高分辨率映射部分相同，其中n＝s/2，s是缩放比例，输出结果为FA，其计算公式是：
其中
表示本发明快速时空残差块所代表的函数输出，
和
分别是本发明高分辨率重建部分注意力模块下采样卷积的卷积权值参数和偏置参数；
和
分别是本发明高分辨率重建部分注意力模块第k个上采样卷积的卷积权值参数和偏置参数，k＝1,2,…n。
最后以上两部分相乘并使用一个卷积融合特征，总的输出
可以表示为：
其中，WAUM和BAUM分别是最后一个卷积的卷积权值参数和偏置参数。
(4)高分辨率残差学习部分：由于低分辨率和高分辨率存在分辨率的区别，因此不能直接将低分辨率的视频加到高分辨率重建部分输出，本发明引入一个映射函数，将低分视频LR映射到高分空间，然后和高分辨率重建部分的输出相加，取其结果的中间一帧作为最后的超分结果，其计算公式是：
其中HS表示将低分视频LR映射到高分空间的映射函数，这可以是一个反卷积函数或者任意的插值函数，如最邻近插值、双三次插值等。
步骤3：训练：随机初始化各层的连接权值W和偏置b，使用学习速率r，可以取1e-4，采用欧氏距离计算网络输出SR和目标高分辨率帧HR之间的距离作为损失函数。
使用自适应矩估计优化器Adam优化网络参数，反复迭代直到网络输出误差达到预设精度或者训练次数达到预设的最大迭代次数，训练结束，保存网络结构和参数，得到训练好的神经网络模型。
步骤4：测试：将测试的低分辨率视频输入到训练好的神经网络模型中，模型的输出即为重建后的超分辨率视频帧，将得到的连续帧合成视频便是超分辨率视频。当重建的所有高分辨率视频帧与其对应的高分辨率视频帧比较时已经获得预先设定的重建效果时，则停止优化参数，否则重复步骤3直到获得预先设定的重建效果。
本发明以上流程可采用计算机软件技术实现自动运行流程。
为了验证本发明的有效性，采用了25个YUV格式的公开视频数据集进行4倍视频超分辨率重建训练。本发明得到的重建效果与一些现有技术进行比较，例如双三次插值法、SRCNN[1]、SRGAN[2]、RDN[3]、BRCN[4]、VESPCN[6]，本发明较现有技术相比取得了更高的PSNR和SSIM值，也得到了更高质量的重建视频图像。
Claims (5)
1.一种快速时空残差注意力视频超分辨率重建方法，其特征在于：通过在神经网络模型中增加注意力上采样机制，将网络注意力集中于高频信息，从而得到更好的恢复结果；
视频超分辨率重建实现过程包括训练与测试数据准备，设置神经网络模型的网络结构，训练好神经网络模型，将测试的低分辨率视频输入到训练好的神经网络模型中，模型的输出为重建后的超分辨率视频帧，将得到的连续帧合成视频得到超分辨率视频；
所述神经网络模型的网络结构，包括低分辨率特征提取部分、快速时空残差块部分、高分辨率重建部分和高分辨率残差学习部分，所述高分辨率重建部分包括一个用于融合特征的3D卷积，之后分为高分辨率映射分支和注意力模块分支，最后两个分支相乘并使用一个卷积融合特征。
2.根据权利要求1所述快速时空残差注意力视频超分辨率重建方法，其特征在于：所述低分辨率特征提取部分，包括对输入的低分辨率视频LR应用3D卷积和激活函数运算进行特征提取，输出结果F0。
3.根据权利要求2所述快速时空残差注意力视频超分辨率重建方法，其特征在于：所述快速时空残差块部分，由若干个快速时空残差块组成，第一个残差块输入为低分辨率特征提取部分输出，之后每个残差块输入为上一个残差块的输出。
4.根据权利要求3所述快速时空残差注意力视频超分辨率重建方法，其特征在于：高分辨率重建部分的输入为快速时空残差块部分的输出，高分辨率映射分支对快速时空残差块部分输出的融合结果
应用一个3D卷积，输出结果Fup，意力模块分支对快速时空残差块部分输出FD应用一个串联连续1个下采样，然后采用n个上采样卷积，使得此处输出分辨率和高分辨率映射部分相同，其中n＝s/2，s是缩放比例，输出结果为FA；最后两个分支相乘并使用一个卷积融合特征，得到输出
5.根据权利要求4所述快速时空残差注意力视频超分辨率重建方法，其特征在于：高分辨率残差学习部分中，引入一个映射函数，将低分视频LR映射到高分空间，然后和高分辨率重建部分的输出相加，取其结果的中间一帧作为最后的超分结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911187313.1A CN111028150B (zh) | 2019-11-28 | 2019-11-28 | 一种快速时空残差注意力视频超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911187313.1A CN111028150B (zh) | 2019-11-28 | 2019-11-28 | 一种快速时空残差注意力视频超分辨率重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111028150A true CN111028150A (zh) | 2020-04-17 |
| CN111028150B CN111028150B (zh) | 2022-04-15 |
Family
ID=70202762
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911187313.1A Active CN111028150B (zh) | 2019-11-28 | 2019-11-28 | 一种快速时空残差注意力视频超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111028150B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111667445A (zh) * | 2020-05-29 | 2020-09-15 | 湖北工业大学 | 一种基于Attention多特征融合的图像压缩感知重建方法 |
| CN111681166A (zh) * | 2020-06-02 | 2020-09-18 | 重庆理工大学 | 一种堆叠注意力机制编解码单元的图像超分辨率重建方法 |
| CN111932454A (zh) * | 2020-07-22 | 2020-11-13 | 杭州电子科技大学 | 基于改进的二元闭环神经网络的logo图案重建方法 |
| CN112070677A (zh) * | 2020-09-18 | 2020-12-11 | 中国科学技术大学 | 基于时间切片的视频时空超分辨率增强方法 |
| CN112329690A (zh) * | 2020-11-16 | 2021-02-05 | 河北工业大学 | 基于时空残差网络和时序卷积网络的连续手语识别方法 |
| CN112991181A (zh) * | 2021-03-31 | 2021-06-18 | 武汉大学 | 一种基于反应扩散方程的图像超分辨率重建方法 |
| CN113066022A (zh) * | 2021-03-17 | 2021-07-02 | 天津大学 | 一种基于高效时空信息融合的视频比特增强方法 |
| CN113284068A (zh) * | 2021-06-04 | 2021-08-20 | 中国科学院光电技术研究所 | 一种基于通道共享时空网络的自适应光学图像盲复原方法 |
| CN113487481A (zh) * | 2021-07-02 | 2021-10-08 | 河北工业大学 | 基于信息构建和多密集残差块的循环视频超分辨率方法 |
| CN113556496A (zh) * | 2020-04-23 | 2021-10-26 | 京东方科技集团股份有限公司 | 视频分辨率提升方法及装置、存储介质及电子设备 |
| CN113592746A (zh) * | 2021-07-07 | 2021-11-02 | 电子科技大学 | 一种由粗到细地融合时空信息的压缩视频质量增强方法 |
| CN115638731A (zh) * | 2022-09-07 | 2023-01-24 | 清华大学 | 一种基于超分辨率的振动台试验计算机视觉位移测量方法 |
| CN115861078A (zh) * | 2023-02-22 | 2023-03-28 | 成都索贝数码科技股份有限公司 | 基于双向时空递归传播神经网络的视频增强方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107274347A (zh) * | 2017-07-11 | 2017-10-20 | 福建帝视信息科技有限公司 | 一种基于深度残差网络的视频超分辨率重建方法 |
| US20180293706A1 (en) * | 2017-04-05 | 2018-10-11 | Here Global B.V. | Deep convolutional image up-sampling |
| CN109584161A (zh) * | 2018-11-29 | 2019-04-05 | 四川大学 | 基于通道注意力的卷积神经网络的遥感图像超分辨率重建方法 |
| CN109949217A (zh) * | 2017-12-20 | 2019-06-28 | 四川大学 | 基于残差学习和隐式运动补偿的视频超分辨率重建方法 |
| CN110288529A (zh) * | 2019-06-28 | 2019-09-27 | 闽江学院 | 一种基于递归局部合成网络的单幅图像超分辨率重建方法 |
-
2019
- 2019-11-28 CN CN201911187313.1A patent/CN111028150B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180293706A1 (en) * | 2017-04-05 | 2018-10-11 | Here Global B.V. | Deep convolutional image up-sampling |
| CN107274347A (zh) * | 2017-07-11 | 2017-10-20 | 福建帝视信息科技有限公司 | 一种基于深度残差网络的视频超分辨率重建方法 |
| CN109949217A (zh) * | 2017-12-20 | 2019-06-28 | 四川大学 | 基于残差学习和隐式运动补偿的视频超分辨率重建方法 |
| CN109584161A (zh) * | 2018-11-29 | 2019-04-05 | 四川大学 | 基于通道注意力的卷积神经网络的遥感图像超分辨率重建方法 |
| CN110288529A (zh) * | 2019-06-28 | 2019-09-27 | 闽江学院 | 一种基于递归局部合成网络的单幅图像超分辨率重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| SHENG LI,ETC: "Fast Spatio-Temoral Residual Network for Video Super-Resolution", 《2019IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113556496B (zh) * | 2020-04-23 | 2022-08-09 | 京东方科技集团股份有限公司 | 视频分辨率提升方法及装置、存储介质及电子设备 |
| CN113556496A (zh) * | 2020-04-23 | 2021-10-26 | 京东方科技集团股份有限公司 | 视频分辨率提升方法及装置、存储介质及电子设备 |
| WO2021213340A1 (zh) * | 2020-04-23 | 2021-10-28 | 京东方科技集团股份有限公司 | 视频分辨率提升方法及装置、存储介质及电子设备 |
| CN111667445A (zh) * | 2020-05-29 | 2020-09-15 | 湖北工业大学 | 一种基于Attention多特征融合的图像压缩感知重建方法 |
| CN111681166A (zh) * | 2020-06-02 | 2020-09-18 | 重庆理工大学 | 一种堆叠注意力机制编解码单元的图像超分辨率重建方法 |
| CN111681166B (zh) * | 2020-06-02 | 2023-04-18 | 重庆理工大学 | 一种堆叠注意力机制编解码单元的图像超分辨率重建方法 |
| CN111932454B (zh) * | 2020-07-22 | 2022-05-27 | 杭州电子科技大学 | 基于改进的二元闭环神经网络的logo图案重建方法 |
| CN111932454A (zh) * | 2020-07-22 | 2020-11-13 | 杭州电子科技大学 | 基于改进的二元闭环神经网络的logo图案重建方法 |
| CN112070677A (zh) * | 2020-09-18 | 2020-12-11 | 中国科学技术大学 | 基于时间切片的视频时空超分辨率增强方法 |
| CN112070677B (zh) * | 2020-09-18 | 2024-04-02 | 中国科学技术大学 | 基于时间切片的视频时空超分辨率增强方法 |
| CN112329690A (zh) * | 2020-11-16 | 2021-02-05 | 河北工业大学 | 基于时空残差网络和时序卷积网络的连续手语识别方法 |
| CN113066022B (zh) * | 2021-03-17 | 2022-08-16 | 天津大学 | 一种基于高效时空信息融合的视频比特增强方法 |
| CN113066022A (zh) * | 2021-03-17 | 2021-07-02 | 天津大学 | 一种基于高效时空信息融合的视频比特增强方法 |
| CN112991181A (zh) * | 2021-03-31 | 2021-06-18 | 武汉大学 | 一种基于反应扩散方程的图像超分辨率重建方法 |
| CN113284068A (zh) * | 2021-06-04 | 2021-08-20 | 中国科学院光电技术研究所 | 一种基于通道共享时空网络的自适应光学图像盲复原方法 |
| CN113487481B (zh) * | 2021-07-02 | 2022-04-12 | 河北工业大学 | 基于信息构建和多密集残差块的循环视频超分辨率方法 |
| CN113487481A (zh) * | 2021-07-02 | 2021-10-08 | 河北工业大学 | 基于信息构建和多密集残差块的循环视频超分辨率方法 |
| CN113592746A (zh) * | 2021-07-07 | 2021-11-02 | 电子科技大学 | 一种由粗到细地融合时空信息的压缩视频质量增强方法 |
| CN113592746B (zh) * | 2021-07-07 | 2023-04-18 | 电子科技大学 | 一种由粗到细地融合时空信息的压缩视频质量增强方法 |
| CN115638731A (zh) * | 2022-09-07 | 2023-01-24 | 清华大学 | 一种基于超分辨率的振动台试验计算机视觉位移测量方法 |
| CN115638731B (zh) * | 2022-09-07 | 2023-08-15 | 清华大学 | 一种基于超分辨率的振动台试验计算机视觉位移测量方法 |
| CN115861078A (zh) * | 2023-02-22 | 2023-03-28 | 成都索贝数码科技股份有限公司 | 基于双向时空递归传播神经网络的视频增强方法及系统 |
| CN115861078B (zh) * | 2023-02-22 | 2023-05-12 | 成都索贝数码科技股份有限公司 | 基于双向时空递归传播神经网络的视频增强方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111028150B (zh) | 2022-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111028150B (zh) | 一种快速时空残差注意力视频超分辨率重建方法 | |
| Kappeler et al. | Video super-resolution with convolutional neural networks | |
| WO2021208122A1 (zh) | 基于深度学习的视频盲去噪方法及装置 | |
| CN108830790B (zh) | 一种基于精简卷积神经网络的快速视频超分辨率重建方法 | |
| CN111709895A (zh) | 基于注意力机制的图像盲去模糊方法及系统 | |
| CN110634105B (zh) | 一种光流法和深度网络结合的视频高时空分辨率信号处理方法 | |
| CN113139898B (zh) | 基于频域分析和深度学习的光场图像超分辨率重建方法 | |
| CN110751597B (zh) | 基于编码损伤修复的视频超分辨方法 | |
| CN111008938B (zh) | 一种基于内容和连续性引导的实时多帧比特增强方法 | |
| CN108989731B (zh) | 一种提高视频空间分辨率的方法 | |
| CN110889895A (zh) | 一种融合单帧重建网络的人脸视频超分辨率重建方法 | |
| CN111476745A (zh) | 一种进行运动模糊超分辨的多分支网络及方法 | |
| WO2022016350A1 (zh) | 光场图像的处理方法、编码器、解码器及存储介质 | |
| CN112422870B (zh) | 一种基于知识蒸馏的深度学习视频插帧方法 | |
| CN113850718A (zh) | 一种基于帧间特征对齐的视频同步时空超分方法 | |
| CN113052764A (zh) | 一种基于残差连接的视频序列超分重建方法 | |
| CN114757828A (zh) | 基于Transformer的视频时空超分辨率方法 | |
| CN115953294A (zh) | 一种基于浅层通道分离与聚合的单图像超分辨率重建方法 | |
| CN115345791A (zh) | 一种基于注意力机制残差网络模型的红外图像去模糊算法 | |
| Chandramouli et al. | A generative model for generic light field reconstruction | |
| Zheng et al. | Depth image super-resolution using multi-dictionary sparse representation | |
| WO2023185284A1 (zh) | 视频处理方法和装置 | |
| CN116668738A (zh) | 一种视频时空超分辨率重构方法、装置及存储介质 | |
| CN113487481B (zh) | 基于信息构建和多密集残差块的循环视频超分辨率方法 | |
| CN114677282A (zh) | 一种图像超分辨率重建方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |