CN110706155B - 一种视频超分辨率重建方法 - Google Patents

一种视频超分辨率重建方法 Download PDF

Info

Publication number
CN110706155B
CN110706155B CN201910863808.5A CN201910863808A CN110706155B CN 110706155 B CN110706155 B CN 110706155B CN 201910863808 A CN201910863808 A CN 201910863808A CN 110706155 B CN110706155 B CN 110706155B
Authority
CN
China
Prior art keywords
resolution
video
space
multiplied
time correlation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910863808.5A
Other languages
English (en)
Other versions
CN110706155A (zh
Inventor
王中元
易鹏
江奎
韩镇
胡瑞敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201910863808.5A priority Critical patent/CN110706155B/zh
Publication of CN110706155A publication Critical patent/CN110706155A/zh
Application granted granted Critical
Publication of CN110706155B publication Critical patent/CN110706155B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Television Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种视频超分辨率重建方法，包括非局部时空网络和渐进式融合网络两个部分。在非局部时空网络中，将输入的多帧融合到一起形成整块高维特征张量图，对其进行变形，分离，计算并提取非局部时空相关性，进而得到混合了非局部时空相关性的多帧视频。在渐进式融合网络中，将非局部时空网络输出的多帧送入渐进式融合残差块，逐渐地融合多帧之间的时空相关性。最后，将融合好的低分辨率特征张量图放大，得到最终的高分辨率视频帧。本发明有效融合了多帧之间的时空相关性，能够在增强视频分辨率的同时恢复丰富的纹理细节。

Description

一种视频超分辨率重建方法
技术领域
本发明属于数字图像处理技术领域，涉及一种视频超分辨率重建方法，具体涉及一种基于非局部时空相关性及渐进式融合网络的视频超分辨率重建方法。
背景技术
随着科学技术的发展，人们对于高清视频的需要也在日益增长，从720P(1280×720)到1080P(1920×1080)高清，再到4K(3840×2160)甚至是8K(7680×4320)的超高清。因此，作为一种能从给定的低分辨率视频生成高分辨率视频的技术，视频超分辨率便有了重要用途。目前，视频超分辨率被广泛应用于如视频监控，数字电视，卫星遥感等领域。
传统的超分辨率方法有基于插值的方法，如双三次插值方法。这类方法从给定的低分辨率图像，计算对应高分辨率图像中未知的像素值。图像插值方法计算量少，处理速度快，在工业界得到了广泛的应用。然而，这种方法过于简单，重建效果往往过于模糊，画面过光滑而缺少纹理细节。而且，他们大都针对单张图像超分辨率，只能利用帧内空间相关性，无法利用连续视频帧的帧间时间相关性。
最近，基于深度学习，特别是卷积神经网络(CNN)的超分辨率方法取得了巨大的成功。目前的一些视频超分辨率方法通常采用显式或隐式的运动补偿，利用视频帧间的时间相关性。然而，这种方法需要引入额外的光流网络，增加了额外的参数量和计算量，也使得训练网络的难度加大。此外，一些视频超分辨率方法采用直接融合、慢融合或是3D卷积神经网络的方法来融合时域多帧互补信息。但是，直接融合与慢融合方式过于简单，难以有效地利用多帧相关性；3D卷积神经网络的融合效果相对较好，但计算量过大，严重影响处理速度。
Sajjadi等人提出了一种帧递归视频超分辨率CNN网络，先放大第一个低分辨率视频帧，再利用放大后的高分辨率视频帧监督处理下一个低分辨率视频帧，从而重建整个视频。该方法每一帧只需处理一次，速度较快，但它不能利用下一延时帧的信息来帮助恢复当前帧。Jo等人提出了一种基于3D卷积的视频超分辨率网络，该网络利用3D卷积，能较好地利用帧间的时空相关性，但存在计算量巨大、效率低的弊端。
发明内容
为了解决上述技术问题，本发明提供了一种基于非局部时空相关性及渐进式融合网络的视频超分辨率重建方法。在非局部时空网络中采用非局部残差块，直接提取多帧的非局部时空相关性；在渐进式融合网络中，利用渐进式融合残差块，更有效地融合多帧之间的时空相关性。同时采用一种跨通道参数共享技术，极大地减少了渐进式融合网络的参数需求。
本发明所采用的技术方案为：一种基于非局部时空相关性及渐进式融合网络的视频超分辨率重建方法，其特征在于，包括以下步骤：
步骤1：选取若干视频数据作为训练样本，从每个视频帧中相同的位置截取大小为T×H×s×W×s×C像素的图像作为高分辨率学习目标，将其下采样s倍，得到大小为T×H×W×C的低分辨率图像，作为网络的输入；其中，T为帧数，H和W分别为图像的高和宽，C为图像的通道数，s为下采样倍数；
步骤2：将低分辨率帧输入现有的非局部时空网络融合，形成一整块高维特征张量，对高维特征张量进行变形，分离，计算并提取非局部时空相关性，进而得到混合了非局部时空相关性的多帧视频；
步骤3：将混合了非局部时空相关性的多帧视频输入渐进式融合网络，逐渐地融合多帧之间的时空相关性；
步骤4：提取渐进式融合网络中卷积层的参数，并把参数共享给相同深度的其他卷积层；
步骤5：将融合了时空相关性的多帧继续融合，进而得到一个低分辨率特征张量图；
步骤6：将低分辨率特征张量图放大，获得高分辨率图像。
本发明使用了非局部残差块，直接提取多帧的非局部时空相关性，并使用渐进式融合残差块，加强多帧之间时空相关性的融合效果，使得能够提取更加丰富的纹理细节。此外，通过采用跨通道参数共享技术，极大地减少了渐进式融合网络的参数量，提升了网络存储和运算效率。
附图说明
图1为本发明实施例的非局部残差块结构图；
图2为本发明实施例的渐进式融合残差块结构图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
请见图1和图2，一种基于非局部时空相关性及渐进式融合网络的视频超分辨率重建方法，包括以下步骤：
步骤1：选取若干视频数据作为训练样本，从每个视频帧中相同的位置截取大小为T×H×s×W×s×C像素的图像作为高分辨率学习目标，将其下采样s倍，得到大小为T×H×W×C的低分辨率图像，作为网络的输入。其中T为帧数，H和W分别为图像的高和宽，C为图像的通道数，s为下采样倍数；
步骤2：将低分辨率帧输入非局部时空网络，将它们融合在一起形成一整块高维特征张量，对其进行变形，分离，计算并提取非局部时空相关性，进而得到混合了非局部时空相关性的多帧视频；
本发明采用一种非局部残差块，对输入进行变形，分离，计算等操作，提取视频帧的非局部时空相关性。
非局部残差块的输入X尺寸为T×H×W×C，其中T为帧数，H和W分别为图像的高和宽，C为图像的通道数。改变X的形状，进而得到X1以及X2，进一步将X2变形分别得到X3和X4。同时，对X2进行卷积，得到输入的一种特征表示G。将X3和X4相乘得到F，对F做指数归一化，得到非局部时空关系图。将非局部时空关系图与输入的特征表示G相乘，就得到了提取了非局部时空相关性的特征图Y。将Y进一步变形并卷积，使其与输入X的尺寸相同，并与X相加，最终得到了输出Z。
具体实现过程为：
S(X)＝T×H×W×C (1)其中，S(X)表示输入帧X的形状；
将X变形得到X1，再将X1的空间尺寸转化部分为通道数得到X2，进一步将X2变形得到X3和X4；
S(X1)＝H×W×(C×T) (2)
S(X2)＝(H/r)×(W/r)×(C×T×r2) (3)
S(X3)＝(H×W/r2)×(C×T×r2) (4)
S(X4)＝(C×T×r2)×(H×W/r2) (5)
其中，r为转化倍数；
F＝X3×X4 (6)
G＝g(X2) (7)
Y＝softmax(F)×G (8)
Z＝w(Y)+X (9)
其中，将X3和X4相乘得到F，F为输入X的非局部时空关系图，将X2进行卷积得到G，G为输入X的一种特征表示；softmax(F)表示将F指数化归一，将其与变形的G相乘得到Y，Y为获得了非局部时空关系的多帧；将Y进行卷积并变形后，与输入X相加得到输出Z，Z为非局部残差块的输出多帧。
步骤3：将混合了非局部时空相关性的多帧视频输入渐进式融合网络，逐渐地融合多帧之间的时空相关性；
本实施例采用一种渐进式融合残差块，逐渐地融合多帧之间的时空相关性；
Figure BDA0002200645350000041
Figure BDA0002200645350000042
Figure BDA0002200645350000043
其中，
Figure BDA0002200645350000044
表示输入的第t帧，
Figure BDA0002200645350000045
表示第1层的第t个卷积，
Figure BDA0002200645350000046
表示将输入
Figure BDA0002200645350000047
送入
Figure BDA0002200645350000048
卷积得到的特征张量图；I1表示将所有帧的特征张量图
Figure BDA0002200645350000049
融合后得到的混合特征张量图，I2表示把I1送入C2卷积得到的特征张量图；将I2与
Figure BDA00022006453500000410
融合后，送入
Figure BDA00022006453500000411
卷积，并与
Figure BDA00022006453500000412
相加，就得到了输出Ot，Ot为经过了渐进式融合后的多帧。
本实施例以输入5帧为例。渐进式融合残差块首先使用5个卷积，分别处理对应的5个视频帧。将得到的5个特征张量图融合为1个，并利用1个卷积来压缩它的通道数，得到1个混合有所有帧信息的混合特征张量图。将输入的5帧依次与该混合特征张量图拼接，并使用新的5个卷积处理这5个新的混合特征张量图。将得到的5个混合特征张量图与5个输入帧依次相加，最终得到5个输出。
步骤4：将渐进式融合网络中卷积层的参数提取出来，并把参数共享给相同深度的其他卷积层；
本实施例采用现有的跨通道参数共享方法，将渐进式融合残差块中卷积参数提取出来，并共享给其它相同层数的卷积块。
本实施例以输入5帧为例。在卷积的过程中，把网络中相同深度的5个卷积层的参数共享为一致，以减小网络参数量。
步骤5：将融合了时空相关性的多帧继续融合，进而得到一个低分辨率特征张量图；
步骤6：将低分辨率特征张量图放大，获得高分辨率图像；
本发明能够利用多帧的非局部时空相关性保证重建效果，并利用跨通道参数共享技术减小网络参数量。
应当理解的是，本说明书未详细阐述的部分均属于现有技术；上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (4)

1.一种视频超分辨率重建方法，其特征在于，包括以下步骤：
步骤1：选取若干视频数据作为训练样本，从每个视频帧中相同的位置截取大小为T×H×s×W×s×C像素的图像作为高分辨率学习目标，将其下采样s倍，得到大小为T×H×W×C的低分辨率图像，作为网络的输入；其中，T为帧数，H和W分别为图像的高和宽，C为图像的通道数，s为下采样倍数；
步骤2：将低分辨率帧输入非局部时空网络融合，形成一整块高维特征张量，对高维特征张量进行变形，分离，计算并提取非局部时空相关性，进而得到混合了非局部时空相关性的多帧视频；
步骤3：将混合了非局部时空相关性的多帧视频输入渐进式融合网络，逐渐地融合多帧之间的时空相关性；
步骤4：提取渐进式融合网络中卷积层的参数，并把参数共享给相同深度的其他卷积层；
步骤5：将融合了时空相关性的多帧继续融合，进而得到一个低分辨率特征张量图；
步骤6：将低分辨率特征张量图放大，获得高分辨率图像。
2.根据权利要求1所述的视频超分辨率重建方法，其特征在于：步骤2中，采用非局部残差块，提取视频帧的非局部时空相关性；
S(X)＝T×H×W×C (1)
其中，S(X)表示输入帧X的形状；
将X变形得到X1，再将X1的空间尺寸转化部分为通道数得到X2，进一步将X2变形得到X3和X4；
S(X1)＝H×W×(C×T) (2)
S(X2)＝(H/r)×(W/r)×(C×T×r2) (3)
S(X3)＝(H×W/r2)×(C×T×r2) (4)
S(X4)＝(C×T×r2)×(H×W/r2) (5)
其中，r为转化倍数；
F＝X3×X4 (6)
G＝g(X2) (7)
Y＝softmax(F)×G (8)
Z＝w(Y)+X (9)
其中，将X3和X4相乘得到F，F为输入X的非局部时空关系图，将X2进行卷积得到G，G为输入X的一种特征表示；softmax(F)表示将F指数化归一，将其与变形的G相乘得到Y，Y为获得了非局部时空关系的多帧；将Y进行卷积并变形后，与输入X相加得到输出Z，Z为非局部残差块的输出多帧。
3.根据权利要求1所述的视频超分辨率重建方法，其特征在于：步骤3中，采用渐进式融合残差块，逐渐地融合多帧之间的时空相关性；
Figure FDA0002200645340000021
Figure FDA0002200645340000022
Figure FDA0002200645340000023
其中，
Figure FDA0002200645340000024
表示输入的第t帧，
Figure FDA0002200645340000025
表示第1层的第t个卷积，
Figure FDA0002200645340000026
表示将输入
Figure FDA0002200645340000027
送入
Figure FDA0002200645340000028
卷积得到的特征张量图；I1表示将所有帧的特征张量图
Figure FDA0002200645340000029
融合后得到的混合特征张量图，I2表示把I1送入C2卷积得到的特征张量图；将I2与
Figure FDA00022006453400000210
融合后，送入
Figure FDA00022006453400000211
卷积，并与
Figure FDA00022006453400000212
相加，就得到了输出Ot，Ot为经过了渐进式融合后的多帧。
4.根据权利要求1所述的视频超分辨率重建方法，其特征在于：步骤4中，采用跨通道参数共享方法，将渐进式融合残差块中卷积参数提取出来，并共享给其它相同层数的卷积块。
CN201910863808.5A 2019-09-12 2019-09-12 一种视频超分辨率重建方法 Active CN110706155B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910863808.5A CN110706155B (zh) 2019-09-12 2019-09-12 一种视频超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910863808.5A CN110706155B (zh) 2019-09-12 2019-09-12 一种视频超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN110706155A CN110706155A (zh) 2020-01-17
CN110706155B true CN110706155B (zh) 2022-11-29

Family

ID=69195132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910863808.5A Active CN110706155B (zh) 2019-09-12 2019-09-12 一种视频超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN110706155B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112070665B (zh) * 2020-08-03 2023-08-18 武汉大学 生成对抗式视频超分辨率重建及重建图像真伪性鉴别方法
CN112801877B (zh) * 2021-02-08 2022-08-16 南京邮电大学 一种视频帧的超分辨率重构方法
CN113205005B (zh) * 2021-04-12 2022-07-19 武汉大学 一种面向低光照低分辨率的人脸图像幻构方法
CN113344780A (zh) * 2021-05-20 2021-09-03 武汉大学 全知型视频超分辨率网络、视频超分辨率重建方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3319039A1 (en) * 2016-11-07 2018-05-09 UMBO CV Inc. A method and system for providing high resolution image through super-resolution reconstruction
CN108830790A (zh) * 2018-05-16 2018-11-16 宁波大学 一种基于精简卷积神经网络的快速视频超分辨率重建方法
CN109118431A (zh) * 2018-09-05 2019-01-01 武汉大学 一种基于多记忆及混合损失的视频超分辨率重建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3319039A1 (en) * 2016-11-07 2018-05-09 UMBO CV Inc. A method and system for providing high resolution image through super-resolution reconstruction
CN108830790A (zh) * 2018-05-16 2018-11-16 宁波大学 一种基于精简卷积神经网络的快速视频超分辨率重建方法
CN109118431A (zh) * 2018-09-05 2019-01-01 武汉大学 一种基于多记忆及混合损失的视频超分辨率重建方法

Also Published As

Publication number Publication date
CN110706155A (zh) 2020-01-17

Similar Documents

Publication Publication Date Title
CN110706155B (zh) 一种视频超分辨率重建方法
CN111311490B (zh) 基于多帧融合光流的视频超分辨率重建方法
CN109118431B (zh) 一种基于多记忆及混合损失的视频超分辨率重建方法
CN110120011B (zh) 一种基于卷积神经网络和混合分辨率的视频超分辨方法
CN111028150B (zh) 一种快速时空残差注意力视频超分辨率重建方法
Liu et al. Robust video super-resolution with learned temporal dynamics
CN111260560B (zh) 一种融合注意力机制的多帧视频超分辨率方法
CN110930309B (zh) 基于多视图纹理学习的人脸超分辨率方法及装置
CN112991183B (zh) 一种基于多帧注意力机制渐进式融合的视频超分辨率方法
CN112218072B (zh) 一种基于解构压缩和融合的视频编码方法
CN112804561A (zh) 视频插帧方法、装置、计算机设备及存储介质
CN112381866B (zh) 一种基于注意力机制的视频比特增强方法
CN113066022B (zh) 一种基于高效时空信息融合的视频比特增强方法
CN115578255A (zh) 一种基于帧间亚像素块匹配的超分辨率重建方法
CN115052187A (zh) 一种基于在线训练的超分辨率直播系统
CN104820966A (zh) 一种空时配准解卷积的非同步多视频超分辨率方法
CN114494050A (zh) 一种基于事件相机的自监督视频去模糊和图像插帧方法
CN114202463A (zh) 面向云端融合的视频超分辨率方法及系统
CN112862675A (zh) 时空超分辨率的视频增强方法和系统
CN114387161B (zh) 一种视频超分辨率重建方法
CN117173025A (zh) 基于跨层混合注意力Transformer的单帧图像超分辨率方法及系统
CN116668738A (zh) 一种视频时空超分辨率重构方法、装置及存储介质
Zhao et al. Multiframe joint enhancement for early interlaced videos
CN113487481B (zh) 基于信息构建和多密集残差块的循环视频超分辨率方法
CN112348745B (zh) 一种基于残差卷积网络的视频超分辨率重构方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant