CN110706155A - 一种视频超分辨率重建方法 - Google Patents
一种视频超分辨率重建方法 Download PDFInfo
- Publication number
- CN110706155A CN110706155A CN201910863808.5A CN201910863808A CN110706155A CN 110706155 A CN110706155 A CN 110706155A CN 201910863808 A CN201910863808 A CN 201910863808A CN 110706155 A CN110706155 A CN 110706155A
- Authority
- CN
- China
- Prior art keywords
- resolution
- video
- space
- multiplied
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000004927 fusion Effects 0.000 claims abstract description 34
- 230000000750 progressive effect Effects 0.000 claims abstract description 26
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims abstract description 17
- 238000005070 sampling Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Television Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种视频超分辨率重建方法,包括非局部时空网络和渐进式融合网络两个部分。在非局部时空网络中,将输入的多帧融合到一起形成整块高维特征张量图,对其进行变形,分离,计算并提取非局部时空相关性,进而得到混合了非局部时空相关性的多帧视频。在渐进式融合网络中,将非局部时空网络输出的多帧送入渐进式融合残差块,逐渐地融合多帧之间的时空相关性。最后,将融合好的低分辨率特征张量图放大,得到最终的高分辨率视频帧。本发明有效融合了多帧之间的时空相关性,能够在增强视频分辨率的同时恢复丰富的纹理细节。
Description
技术领域
本发明属于数字图像处理技术领域,涉及一种视频超分辨率重建方法,具体涉及一种基于非局部时空相关性及渐进式融合网络的视频超分辨率重建方法。
背景技术
随着科学技术的发展,人们对于高清视频的需要也在日益增长,从720P(1280×720)到1080P(1920×1080)高清,再到4K(3840×2160)甚至是8K(7680×4320)的超高清。因此,作为一种能从给定的低分辨率视频生成高分辨率视频的技术,视频超分辨率便有了重要用途。目前,视频超分辨率被广泛应用于如视频监控,数字电视,卫星遥感等领域。
传统的超分辨率方法有基于插值的方法,如双三次插值方法。这类方法从给定的低分辨率图像,计算对应高分辨率图像中未知的像素值。图像插值方法计算量少,处理速度快,在工业界得到了广泛的应用。然而,这种方法过于简单,重建效果往往过于模糊,画面过光滑而缺少纹理细节。而且,他们大都针对单张图像超分辨率,只能利用帧内空间相关性,无法利用连续视频帧的帧间时间相关性。
最近,基于深度学习,特别是卷积神经网络(CNN)的超分辨率方法取得了巨大的成功。目前的一些视频超分辨率方法通常采用显式或隐式的运动补偿,利用视频帧间的时间相关性。然而,这种方法需要引入额外的光流网络,增加了额外的参数量和计算量,也使得训练网络的难度加大。此外,一些视频超分辨率方法采用直接融合、慢融合或是3D卷积神经网络的方法来融合时域多帧互补信息。但是,直接融合与慢融合方式过于简单,难以有效地利用多帧相关性;3D卷积神经网络的融合效果相对较好,但计算量过大,严重影响处理速度。
Sajjadi等人提出了一种帧递归视频超分辨率CNN网络,先放大第一个低分辨率视频帧,再利用放大后的高分辨率视频帧监督处理下一个低分辨率视频帧,从而重建整个视频。该方法每一帧只需处理一次,速度较快,但它不能利用下一延时帧的信息来帮助恢复当前帧。Jo等人提出了一种基于3D卷积的视频超分辨率网络,该网络利用3D卷积,能较好地利用帧间的时空相关性,但存在计算量巨大、效率低的弊端。
发明内容
为了解决上述技术问题,本发明提供了一种基于非局部时空相关性及渐进式融合网络的视频超分辨率重建方法。在非局部时空网络中采用非局部残差块,直接提取多帧的非局部时空相关性;在渐进式融合网络中,利用渐进式融合残差块,更有效地融合多帧之间的时空相关性。同时采用一种跨通道参数共享技术,极大地减少了渐进式融合网络的参数需求。
本发明所采用的技术方案为:一种基于非局部时空相关性及渐进式融合网络的视频超分辨率重建方法,其特征在于,包括以下步骤:
步骤1:选取若干视频数据作为训练样本,从每个视频帧中相同的位置截取大小为T×H×s×W×s×C像素的图像作为高分辨率学习目标,将其下采样s倍,得到大小为T×H×W×C的低分辨率图像,作为网络的输入;其中,T为帧数,H和W分别为图像的高和宽,C为图像的通道数,s为下采样倍数;
步骤2:将低分辨率帧输入现有的非局部时空网络融合,形成一整块高维特征张量,对高维特征张量进行变形,分离,计算并提取非局部时空相关性,进而得到混合了非局部时空相关性的多帧视频;
步骤3:将混合了非局部时空相关性的多帧视频输入渐进式融合网络,逐渐地融合多帧之间的时空相关性;
步骤4:提取渐进式融合网络中卷积层的参数,并把参数共享给相同深度的其他卷积层;
步骤5:将融合了时空相关性的多帧继续融合,进而得到一个低分辨率特征张量图;
步骤6:将低分辨率特征张量图放大,获得高分辨率图像。
本发明使用了非局部残差块,直接提取多帧的非局部时空相关性,并使用渐进式融合残差块,加强多帧之间时空相关性的融合效果,使得能够提取更加丰富的纹理细节。此外,通过采用跨通道参数共享技术,极大地减少了渐进式融合网络的参数量,提升了网络存储和运算效率。
附图说明
图1为本发明实施例的非局部残差块结构图;
图2为本发明实施例的渐进式融合残差块结构图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合附图及实施例对本发明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明。
请见图1和图2,一种基于非局部时空相关性及渐进式融合网络的视频超分辨率重建方法,包括以下步骤:
步骤1:选取若干视频数据作为训练样本,从每个视频帧中相同的位置截取大小为T×H×s×W×s×C像素的图像作为高分辨率学习目标,将其下采样s倍,得到大小为T×H×W×C的低分辨率图像,作为网络的输入。其中T为帧数,H和W分别为图像的高和宽,C为图像的通道数,s为下采样倍数;
步骤2:将低分辨率帧输入非局部时空网络,将它们融合在一起形成一整块高维特征张量,对其进行变形,分离,计算并提取非局部时空相关性,进而得到混合了非局部时空相关性的多帧视频;
本发明采用一种非局部残差块,对输入进行变形,分离,计算等操作,提取视频帧的非局部时空相关性。
非局部残差块的输入X尺寸为T×H×W×C,其中T为帧数,H和W分别为图像的高和宽,C为图像的通道数。改变X的形状,进而得到X1以及X2,进一步将X2变形分别得到X3和X4。同时,对X2进行卷积,得到输入的一种特征表示G。将X3和X4相乘得到F,对F做指数归一化,得到非局部时空关系图。将非局部时空关系图与输入的特征表示G相乘,就得到了提取了非局部时空相关性的特征图Y。将Y进一步变形并卷积,使其与输入X的尺寸相同,并与X相加,最终得到了输出Z。
具体实现过程为:
S(X)=T×H×W×C (1)其中,S(X)表示输入帧X的形状;
将X变形得到X1,再将X1的空间尺寸转化部分为通道数得到X2,进一步将X2变形得到X3和X4;
S(X1)=H×W×(C×T) (2)
S(X2)=(H/r)×(W/r)×(C×T×r2) (3)
S(X3)=(H×W/r2)×(C×T×r2) (4)
S(X4)=(C×T×r2)×(H×W/r2) (5)
其中,r为转化倍数;
F=X3×X4 (6)
G=g(X2) (7)
Y=softmax(F)×G (8)
Z=w(Y)+X (9)
其中,将X3和X4相乘得到F,F为输入X的非局部时空关系图,将X2进行卷积得到G,G为输入X的一种特征表示;softmax(F)表示将F指数化归一,将其与变形的G相乘得到Y,Y为获得了非局部时空关系的多帧;将Y进行卷积并变形后,与输入X相加得到输出Z,Z为非局部残差块的输出多帧。
步骤3:将混合了非局部时空相关性的多帧视频输入渐进式融合网络,逐渐地融合多帧之间的时空相关性;
本实施例采用一种渐进式融合残差块,逐渐地融合多帧之间的时空相关性;
其中,表示输入的第t帧,表示第1层的第t个卷积,表示将输入送入卷积得到的特征张量图;I1表示将所有帧的特征张量图融合后得到的混合特征张量图,I2表示把I1送入C2卷积得到的特征张量图;将I2与融合后,送入卷积,并与相加,就得到了输出Ot,Ot为经过了渐进式融合后的多帧。
本实施例以输入5帧为例。渐进式融合残差块首先使用5个卷积,分别处理对应的5个视频帧。将得到的5个特征张量图融合为1个,并利用1个卷积来压缩它的通道数,得到1个混合有所有帧信息的混合特征张量图。将输入的5帧依次与该混合特征张量图拼接,并使用新的5个卷积处理这5个新的混合特征张量图。将得到的5个混合特征张量图与5个输入帧依次相加,最终得到5个输出。
步骤4:将渐进式融合网络中卷积层的参数提取出来,并把参数共享给相同深度的其他卷积层;
本实施例采用现有的跨通道参数共享方法,将渐进式融合残差块中卷积参数提取出来,并共享给其它相同层数的卷积块。
本实施例以输入5帧为例。在卷积的过程中,把网络中相同深度的5个卷积层的参数共享为一致,以减小网络参数量。
步骤5:将融合了时空相关性的多帧继续融合,进而得到一个低分辨率特征张量图;
步骤6:将低分辨率特征张量图放大,获得高分辨率图像;
本发明能够利用多帧的非局部时空相关性保证重建效果,并利用跨通道参数共享技术减小网络参数量。
应当理解的是,本说明书未详细阐述的部分均属于现有技术;上述针对较佳实施例的描述较为详细,并不能因此而认为是对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。
Claims (4)
1.一种视频超分辨率重建方法,其特征在于,包括以下步骤:
步骤1:选取若干视频数据作为训练样本,从每个视频帧中相同的位置截取大小为T×H×s×W×s×C像素的图像作为高分辨率学习目标,将其下采样s倍,得到大小为T×H×W×C的低分辨率图像,作为网络的输入;其中,T为帧数,H和W分别为图像的高和宽,C为图像的通道数,s为下采样倍数;
步骤2:将低分辨率帧输入非局部时空网络融合,形成一整块高维特征张量,对高维特征张量进行变形,分离,计算并提取非局部时空相关性,进而得到混合了非局部时空相关性的多帧视频;
步骤3:将混合了非局部时空相关性的多帧视频输入渐进式融合网络,逐渐地融合多帧之间的时空相关性;
步骤4:提取渐进式融合网络中卷积层的参数,并把参数共享给相同深度的其他卷积层;
步骤5:将融合了时空相关性的多帧继续融合,进而得到一个低分辨率特征张量图;
步骤6:将低分辨率特征张量图放大,获得高分辨率图像。
2.根据权利要求1所述的视频超分辨率重建方法,其特征在于:步骤2中,采用非局部残差块,提取视频帧的非局部时空相关性;
S(X)=T×H×W×C (1)
其中,S(X)表示输入帧X的形状;
将X变形得到X1,再将X1的空间尺寸转化部分为通道数得到X2,进一步将X2变形得到X3和X4;
S(X1)=H×W×(C×T) (2)
S(X2)=(H/r)×(W/r)×(C×T×r2) (3)
S(X3)=(H×W/r2)×(C×T×r2) (4)
S(X4)=(C×T×r2)×(H×W/r2) (5)
其中,r为转化倍数;
F=X3×X4 (6)
G=g(X2) (7)
Y=softmax(F)×G (8)
Z=w(Y)+X (9)
其中,将X3和X4相乘得到F,F为输入X的非局部时空关系图,将X2进行卷积得到G,G为输入X的一种特征表示;softmax(F)表示将F指数化归一,将其与变形的G相乘得到Y,Y为获得了非局部时空关系的多帧;将Y进行卷积并变形后,与输入X相加得到输出Z,Z为非局部残差块的输出多帧。
4.根据权利要求1所述的视频超分辨率重建方法,其特征在于:步骤4中,采用跨通道参数共享方法,将渐进式融合残差块中卷积参数提取出来,并共享给其它相同层数的卷积块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910863808.5A CN110706155B (zh) | 2019-09-12 | 2019-09-12 | 一种视频超分辨率重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910863808.5A CN110706155B (zh) | 2019-09-12 | 2019-09-12 | 一种视频超分辨率重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110706155A true CN110706155A (zh) | 2020-01-17 |
CN110706155B CN110706155B (zh) | 2022-11-29 |
Family
ID=69195132
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910863808.5A Active CN110706155B (zh) | 2019-09-12 | 2019-09-12 | 一种视频超分辨率重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110706155B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112070665A (zh) * | 2020-08-03 | 2020-12-11 | 武汉大学 | 生成对抗式视频超分辨率重建及重建图像真伪性鉴别方法 |
CN112801877A (zh) * | 2021-02-08 | 2021-05-14 | 南京邮电大学 | 一种视频帧的超分辨率重构方法 |
CN113205005A (zh) * | 2021-04-12 | 2021-08-03 | 武汉大学 | 一种面向低光照低分辨率的人脸图像幻构方法 |
CN113344780A (zh) * | 2021-05-20 | 2021-09-03 | 武汉大学 | 全知型视频超分辨率网络、视频超分辨率重建方法及系统 |
JP7508525B2 (ja) | 2022-10-21 | 2024-07-01 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3319039A1 (en) * | 2016-11-07 | 2018-05-09 | UMBO CV Inc. | A method and system for providing high resolution image through super-resolution reconstruction |
CN108830790A (zh) * | 2018-05-16 | 2018-11-16 | 宁波大学 | 一种基于精简卷积神经网络的快速视频超分辨率重建方法 |
CN109118431A (zh) * | 2018-09-05 | 2019-01-01 | 武汉大学 | 一种基于多记忆及混合损失的视频超分辨率重建方法 |
-
2019
- 2019-09-12 CN CN201910863808.5A patent/CN110706155B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3319039A1 (en) * | 2016-11-07 | 2018-05-09 | UMBO CV Inc. | A method and system for providing high resolution image through super-resolution reconstruction |
CN108830790A (zh) * | 2018-05-16 | 2018-11-16 | 宁波大学 | 一种基于精简卷积神经网络的快速视频超分辨率重建方法 |
CN109118431A (zh) * | 2018-09-05 | 2019-01-01 | 武汉大学 | 一种基于多记忆及混合损失的视频超分辨率重建方法 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112070665A (zh) * | 2020-08-03 | 2020-12-11 | 武汉大学 | 生成对抗式视频超分辨率重建及重建图像真伪性鉴别方法 |
CN112070665B (zh) * | 2020-08-03 | 2023-08-18 | 武汉大学 | 生成对抗式视频超分辨率重建及重建图像真伪性鉴别方法 |
CN112801877A (zh) * | 2021-02-08 | 2021-05-14 | 南京邮电大学 | 一种视频帧的超分辨率重构方法 |
CN112801877B (zh) * | 2021-02-08 | 2022-08-16 | 南京邮电大学 | 一种视频帧的超分辨率重构方法 |
CN113205005A (zh) * | 2021-04-12 | 2021-08-03 | 武汉大学 | 一种面向低光照低分辨率的人脸图像幻构方法 |
CN113205005B (zh) * | 2021-04-12 | 2022-07-19 | 武汉大学 | 一种面向低光照低分辨率的人脸图像幻构方法 |
CN113344780A (zh) * | 2021-05-20 | 2021-09-03 | 武汉大学 | 全知型视频超分辨率网络、视频超分辨率重建方法及系统 |
JP7508525B2 (ja) | 2022-10-21 | 2024-07-01 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN110706155B (zh) | 2022-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110706155B (zh) | 一种视频超分辨率重建方法 | |
CN109118431B (zh) | 一种基于多记忆及混合损失的视频超分辨率重建方法 | |
CN111028150B (zh) | 一种快速时空残差注意力视频超分辨率重建方法 | |
CN110120011B (zh) | 一种基于卷积神经网络和混合分辨率的视频超分辨方法 | |
Ying et al. | Deformable 3d convolution for video super-resolution | |
CN111260560B (zh) | 一种融合注意力机制的多帧视频超分辨率方法 | |
CN112991183B (zh) | 一种基于多帧注意力机制渐进式融合的视频超分辨率方法 | |
CN102714726B (zh) | 使用元数据的用于时间缩放的边缘增强 | |
CN111583112A (zh) | 视频超分辨率的方法、系统、装置和存储介质 | |
CN110930309A (zh) | 基于多视图纹理学习的人脸超分辨率方法及装置 | |
CN112218072B (zh) | 一种基于解构压缩和融合的视频编码方法 | |
CN112804561A (zh) | 视频插帧方法、装置、计算机设备及存储介质 | |
CA2441473C (en) | Method for compressing and decompressing video data | |
CN111696035A (zh) | 一种基于光流运动估计算法的多帧图像超分辨率重建方法 | |
CN113066022B (zh) | 一种基于高效时空信息融合的视频比特增强方法 | |
CN104820966B (zh) | 一种空时配准解卷积的非同步多视频超分辨率方法 | |
CN112750094A (zh) | 一种视频处理方法及系统 | |
CN115052187A (zh) | 一种基于在线训练的超分辨率直播系统 | |
CN114202463B (zh) | 面向云端融合的视频超分辨率方法及系统 | |
CN114494050A (zh) | 一种基于事件相机的自监督视频去模糊和图像插帧方法 | |
CN112435165A (zh) | 基于生成对抗网络的两阶段视频超分辨率重建方法 | |
Zhao et al. | Multiframe joint enhancement for early interlaced videos | |
Chen et al. | Estimating the resize parameter in end-to-end learned image compression | |
CN112348745B (zh) | 一种基于残差卷积网络的视频超分辨率重构方法 | |
CN113077385A (zh) | 基于对抗生成网络和边缘增强的视频超分辨率方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |