CN112070665B - 生成对抗式视频超分辨率重建及重建图像真伪性鉴别方法 - Google Patents
生成对抗式视频超分辨率重建及重建图像真伪性鉴别方法 Download PDFInfo
- Publication number
- CN112070665B CN112070665B CN202010766362.7A CN202010766362A CN112070665B CN 112070665 B CN112070665 B CN 112070665B CN 202010766362 A CN202010766362 A CN 202010766362A CN 112070665 B CN112070665 B CN 112070665B
- Authority
- CN
- China
- Prior art keywords
- network
- video frame
- scale
- resolution
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 17
- 238000004364 calculation method Methods 0.000 claims abstract description 16
- 230000007246 mechanism Effects 0.000 claims abstract description 14
- 230000003287 optical effect Effects 0.000 claims abstract description 12
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 26
- 238000010586 diagram Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 101001116774 Homo sapiens Methionine-R-sulfoxide reductase B2, mitochondrial Proteins 0.000 claims description 8
- 102100024862 Methionine-R-sulfoxide reductase B2, mitochondrial Human genes 0.000 claims description 8
- 238000005065 mining Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000001427 coherent effect Effects 0.000 claims description 2
- 239000012467 final product Substances 0.000 claims description 2
- 230000005021 gait Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 claims description 2
- 230000003042 antagnostic effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种生成对抗式视频超分辨率重建及重建图像真伪性鉴别方法,在显隐混合约束机制网络中,对输入视频帧分别进行显式的光流估计、运动补偿,以及隐式的长间距相关性计算,共同约束网络以增强视频的时域连贯性。在多通道多尺度结构网络中,将显隐混合约束机制网络输出的多帧分别送入多通道子网络和多尺度子网络,学习低分辨率视频帧中蕴含的帧内空间相关信息和帧间时间相关信息。最后,使用生成对抗训练方法,通过混合损失函数训练整体网络,将多通道多尺度网络产生的低分辨率特征张量图进行融合并放大,得到最终的高分辨率视频帧。本发明能充分利用视频帧中蕴含的时空相关信息,增强视频帧的时域连贯性,恢复逼真的图像细节。
Description
技术领域
本发明属于数字图像处理技术领域,涉及一种视频超分辨率重建方法及重建图像真伪性鉴别方法,具体涉及一种生成对抗式视频超分辨率重建及重建图像真伪性鉴别方法。
背景技术
视频成为人们获取信息的主要来源之一,由于设备的限制,大量视频的分辨率较低,不能满足人们的需求。视频超分辨率能从给定的低分辨率视频生成高质量的高分辨率视频,因而有着重要用途。目前,视频超分辨率技术被广泛应用于如卫星图像,医疗影像,安防监控等领域。
学术界近年发展了众多的基于深度卷积神经网络(CNN)的超分辨率方法。这些视频超分辨率模型通常采用显式约束(光流估计和运动补偿)或是隐式计算的方法来对视频帧进行预处理。然而,光流估计是基于卷积的局部性计算,没有考虑到利用长间距相关性,隐式的方法则缺乏明确约束,无法保证增强视频帧的时域连贯性。
此外,现有视频超分辨率模型往往基于单张图像超分辨率模型的设计机制,仅仅采用了单通道单尺度的网络结构。但是,单通道的结构没有考虑输入包含多帧的特点,而单尺度的结构忽视了图像内部包含自相似性的特点。单通道单尺度结构的模型难以充分利用视频帧内空间相关信息和帧间时间相关信息,制约了多帧互补信息的利用潜力。
从训练的角度看,现存的大多数视频超分辨率模型基于单一内容损失,训练目标是使生成的视频和真实视频在像素级别上的内容尽可能接近。然而,基于单一内容损失的模型虽然能够较好地重建视频中的低频信息,却难以恢复出视频中的高频细节,生成的视频往往过于模糊且时域上存在不稳定的现象。
发明内容
为了解决上述技术问题,本发明提供了一种生成对抗式视频超分辨率重建及重建图像真伪性鉴别方法。
本发明所采用的技术方案是:生成对抗式视频超分辨率重建及重建图像真伪性鉴别方法,包括以下步骤:
步骤1:选取若干视频数据作为训练样本,从每个视频帧中相同的位置截取图像作为高分辨率学习目标,将其下采样s倍,得到低分辨率图像,作为网络的输入;
步骤2:将低分辨率帧输入显隐混合约束机制网络,分别对输入视频帧进行显式约束和隐式计算,增强输入视频帧的时域连贯性;
本发明分别采用显式光流估计和运动补偿,以及隐式长间距图像相关性计算的方法共同增强输入视频帧的时域连贯性。一方面,利用光流估计网络NetOF提取光流场F=(u,v),进而用运动补偿算法对特征图Y进行扭曲变换,得到运动补偿后的视频帧W。另一方面,使用隐式计算网络NetIM计算并利用视频图像长间距相关性,得到特征张量图G。将运动补偿后的视频帧W与隐式计算得到的特征G送入融合网络NetM,融合显示运动补偿与隐式计算的结果,得到最终的输出I。同时,构建时域连贯性损失函数LTI对显隐混合约束机制网络进行约束。
步骤3:将增强了时域连贯性的视频帧送入多通道多尺度结构网络,充分挖掘视频帧中蕴含的时空相关信息;
在多尺度残差块中,使用下采样操作将输入特征图的空间尺度缩小至原来的二分之一,执行两次该操作得到/>和/>分别用卷积层/>进一步提取它们的特征,得到/>进而将底层的特征信息依次向上传递,将最底层的两层特征图/>和/>连结起来得到I2。然后,对Ii上采样,将它的空间尺度放大2倍得到/>与上一层一致。进而将特征图/>与/>连结起来,融合两个不同尺度空间的图像特征信息,得到Ii。最后,分别对特征图I0,I1与I2用卷积处理,并与初始特征图相加,得到输出Oi。
在多通道多尺度结构网络中,对于给定输入视频帧数据I,分别用若干多通道残差块MCRB与多尺度残差块MSRB挖掘其时空相关特征信息,得到输出Oc和Os。
步骤4:将多通道子网络和多尺度子网络产生的特征张量图融合,得到一个低分辨率特征张量图,并将其放大获得高分辨率图像;
步骤5:使用生成对抗训练方法,构建一个判别网络,来判断一张高分辨率图像是网络生成的还是原始真实的;
首先,采用用一层卷积C1计算输入视频帧I的特征,并采用一个批归一化层BN1将其特征归一化得到B1。将B1下采样r倍,再次重复卷积C2和归一化操作BN2,提取该空间尺度下的特征信息,得到B2。然后重复n次这样的处理操作,得到第n层空间尺度下的特征信息Bn。对于所有空间尺度下的特征信息B1,B2,…,Bn,用全局平均池化操作Pi(·)计算各自的概率并融合相加,得到最终的真伪概率P,且P∈[0,1]。
作为优选,构建基于内容损失,感知损失,对抗损失,时域一致性损失以及时域连贯性损失的混合损失函数,共同约束网络模型的训练。
利用输入低分辨率视频帧ILR,真实的高分辨率视频帧IHR,生成的超分辨率视频帧ISR,以及现有的与训练好的VGG网络构建内容损失Lc,感知损失Lp,对抗损失与/>以及时域一致性损失LTC。基于这些不同的损失函数,分配不同的权重α1~α5来构建总体混合损失函数LG。
本发明使用了显隐混合约束机制网络,能用显式约束和隐式计算共同增强输入视频的时域连贯性,并使用多通道多尺度结构网络,充分挖掘视频帧中蕴含的时空相关信息。此外,通过生成对抗训练方法,并构建混合损失函数,监督显隐混合约束机制网络和多通道多尺度结构网络的训练,使得生成符合人眼视觉感知的高自然度视频。
附图说明
图1为本发明实施例的流程图;
图2为本发明实施例的整体框架图;
图3为本发明实施例的显隐混合约束机制网络图;
图4为本发明实施例的多尺度残差块结构图;
图5为本发明实施例的多通道多尺度网络结构图;
图6为本发明实施例的判别网络结构图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合附图及实施例对本发明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明。
请见图1-图6,本发明提供的一种生成对抗式视频超分辨率重建方法,包括以下步骤:
步骤1:选取若干视频数据作为训练样本,从每个视频帧中相同的位置截取图像作为高分辨率学习目标,将其下采样s倍,得到低分辨率图像,作为网络的输入;
步骤2:将低分辨率图像输入显隐混合约束机制网络,分别对输入低分辨率图像进行显式约束和隐式计算,增强输入低分辨率图像的时域连贯性;
本实施例中,首先使用现有的非局部残差块NLRB提取输入低分辨率图像X的非局部特征信息Y=NLRB(X);然后,分别用显式约束和隐式计算的方式对非局部特征信息Y作进一步处理:
F=NetOF(Y) (1)
G=NetIM(Y) (2)
其中,NetOF表示光流估计网络,其作用是根据给定输入多个视频帧的信息Y提取它们之间的光流场F,NetIM表示隐式计算网络,其作用是计算输入的特征信息;
根据得到的光流场F,用运动补偿算法对特征图Y进行扭曲变换,得到运动补偿后的视频帧W;将运动补偿后的视频帧W与隐式计算得到的特征信息G送入融合网络NetM,融合显示运动补偿与隐式计算的结果,得到最终的输出I:
I=NetM(W,G) (3)
引入损失函数来对输出视频帧I进行约束:
其中,t表示时序标记,表示任意给定时序t,LTI表示时域连贯性损失函数,C表示中心,Xc为输入视频帧的中心帧,即待放大的那一帧,It为t时刻输出的每视频帧。
步骤3:将增强了时域连贯性的低分辨率图像送入多通道多尺度结构网络,充分挖掘低分辨率图像中蕴含的时空相关信息;
本实施例采用的多通道多尺度结构网络,在多尺度残差块中,设为输入特征图,使用下采样操作将其空间尺度缩小至原来的二分之一,执行两次该操作得到/>和/>
其中,Sdp(·)表示下采样操作,倍数为2,则和/>的空间尺度分别为原空间尺度的二分之一和四分之一;
分别用卷积层进一步提取它们的特征,得到/>
将底层的特征信息依次向上传递,将最底层的两层特征图和/>连结起来得到I2:
对Ii上采样,将它的空间尺度放大2倍得到与上一层一致:
将特征图与/>连结起来,融合两个不同尺度空间的图像特征信息,得到Ii:
最后,分别对特征图I0,I1与I2用卷积处理,并与初始特征图相加,得到输出:
其中,表示第二层卷积,而Oi为多尺度残差块的输出,“+”用来实现残差学习操作;
在多通道多尺度结构网络中,对于给定输入视频帧数据I,分别用若干多通道残差块与多尺度残差块挖掘其时空相关特征信息:
Oc=MCRBm(…(MCRBi(…(MCRB1(I))))),i∈{1,2,…,m} (11)
Os=MSRBn(…(MSRBi(…(MSRB1(I))))),i∈{1,2,…,n} (12)
其中,MCRB和MSRB分别表示多通道残差块和多尺度残差块,MCRBi和MSRBi分别表示第i个多通道残差块和第i个多尺度残差块,Oc和Os分别为多通道残块分支和多尺度残差块分支的输出,而m和n则为两个残差块各自的数目。
步骤4:将多通道子网络和多尺度子网络产生的特征张量图在通道维度拼接起来以融合二者,得到一个低分辨率特征张量图,并对其使用现有的亚像素放大方法获得高分辨率图像。
本实施例使用生成对抗训练方法构建判别网络,来判断一张高分辨率图像是网络生成的还是原始真实的;
设给定输入视频帧I,首先用一层卷积计算其特征,并采用一个批归一化层将其特征归一化:
B1=BN1(C1(I)) (13)
其中,B1为得到的归一化特征图,C1(·)和BN1(·)分别为第一次卷积和归一化操作;
将B1下采样,再次重复卷积和归一化操作,提取该空间尺度下的特征信息,得到B2:
其中,表示第一次下采样操作,r为缩放倍数,C2(·)和BN2(·)则分别为第二次卷积和归一化操作;
重复n次这样的处理操作,则第n层空间尺度下的特征信息Bn为:
对于所有空间尺度下的特征信息B1,B2,…,Bn,用全局平均池化操作Pi(·)计算各自的概率并融合相加,得到最终的真伪概率P:
P=P1(B1)+P2(B2)+…+Pn(Bn) (16)
其中,P(·)为判断输入视频帧是真实的还是生成的概率,且P∈[0,1]。
本实施例中,构建基于内容损失、感知损失、对抗损失、时域一致性损失以及时域连贯性损失的混合损失函数,共同约束所述判别网络的训练;
用ILR表示输入低分辨率视频帧,IHR表示真实的高分辨率视频帧,而ISR表示生成的超分辨率视频帧:
ISR=G(ILR) (17)
其中,G(·)表示生成网络,即构建的显隐混合约束机制网络与构建的多通道多尺度结构网络结合起来的整体;
内容损失Lc如下:
Lc=|ISR-IHR| (18)
引入现有预训练的VGG网络,分别对IHR与ISR提取它们的语义特征,尽可能使它们的语义特征相近,从而构建感知损失Lp:
Lp=(φ(IHR)-φ(ISR))2 (19)
其中,φ(·)表示用VGG网络提取特征层;
构建对抗损失,分别约束生成网络与判别网络:
其中,与/>分别表示生成网络和判别网络的对抗损失,G(·)和D(·)分别表示生成网络和判别网络;
建立时域一致性损失LTC来约束生成网络,使其生成时间上连贯、稳定的视频帧:
其中,t为视频帧的时间步态,表示t时刻的低分辨率视频帧,/>表示t时刻的高分辨率视频帧,判别网络的总体损失函数为/>而生成网络的总体混合损失函数LG如下:
其中,LTI为公式(4)中的时域连贯性损失函数,α1~α5分别为对应的每个部分损失函数的参数,用来调整各部分损失函数的权重。
本发明在显隐混合约束机制网络中,分别采用显式约束和隐式计算的方法共同增强视频的时域连贯性;在多通道多尺度结构网络中,分别采用多通道残差块和多尺度残差块充分挖掘视频帧的时空相关信息;在生成对抗训练方法中,构建判别网络对一张高分辨率图像进行真伪判断,并建立基于内容损失,感知损失,对抗损失,时域一致性损失以及时域连贯性损失的混合损失函数,指导显隐混合约束机制网络及多通道多尺度结构网络的训练。
本发明能够充分挖掘视频帧的时空相关信息,有效增强输入视频帧的时域连贯性,且能恢复出含有更多逼真细节的视频内容。
应当理解的是,本说明书未详细阐述的部分均属于现有技术。
应当理解的是,上述针对较佳实施例的描述较为详细,并不能因此而认为是对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。
Claims (3)
1.一种生成对抗式视频超分辨率重建方法,其特征在于,包括以下步骤:
步骤1:选取若干视频数据作为训练样本,从每个视频帧中相同的位置截取图像作为高分辨率学习目标,将其下采样s倍,得到低分辨率图像,作为网络的输入;
步骤2:将低分辨率图像输入显隐混合约束机制网络,分别对输入低分辨率图像进行显式约束和隐式计算,增强输入低分辨率图像的时域连贯性;
其中,采用显式约束和隐式计算的混合方案处理低分辨率图像;
首先,使用非局部残差块NLRB提取输入低分辨率图像X的非局部特征信息Y=NLRB(X);然后,分别用显式约束和隐式计算的方式对非局部特征信息Y作进一步处理:
F=NetOF(Y) (1)
G=NetIM(Y) (2)
其中,NetOF表示光流估计网络,其作用是根据给定输入多个视频帧的信息Y提取它们之间的光流场F,NetIM表示隐式计算网络,其作用是计算输入的特征信息;
根据得到的光流场F,用运动补偿算法对特征图Y进行扭曲变换,得到运动补偿后的视频帧W;将运动补偿后的视频帧W与隐式计算得到的特征信息G送入融合网络NetM,融合显示运动补偿与隐式计算的结果,得到最终的输出I:
I=NetM(W,G) (3)
引入损失函数来对输出视频帧I进行约束:
其中,t表示时序标记,表示任意给定时序t,LTI表示时域连贯性损失函数,C表示中心,Xc为输入视频帧的中心帧,即待放大的那一帧,It为t时刻输出的每视频帧;
步骤3:将增强了时域连贯性的低分辨率图像送入多通道多尺度结构网络,挖掘低分辨率图像中蕴含的时空相关信息;
所述多通道多尺度结构网络,在多尺度残差块中,设为输入特征图,使用下采样操作将其空间尺度缩小至原来的二分之一,执行两次该操作得到/>和/>
其中,Sdp(·)表示下采样操作,倍数为2,则和/>的空间尺度分别为原空间尺度的二分之一和四分之一;
分别用卷积层进一步提取它们的特征,得到/>
将底层的特征信息依次向上传递,将最底层的两层特征图和/>连结起来得到I2:
对Ii上采样,将它的空间尺度放大2倍得到与上一层一致:
将特征图与/>连结起来,融合两个不同尺度空间的图像特征信息,得到Ii:
最后,分别对特征图I0,I1与I2用卷积处理,并与初始特征图相加,得到输出:
其中,表示第二层卷积,而Oi为多尺度残差块的输出,“+”用来实现残差学习操作;
在多通道多尺度结构网络中,对于给定输入视频帧数据I,分别用若干多通道残差块与多尺度残差块挖掘其时空相关特征信息:
Oc=MCRBm(…(MCRBi(…(MCRB1(I))))),i∈{1,2,…,m} (11)
Os=MSRBn(…(MSRBi(…(MSRB1(I))))),i∈{1,2,…,n} (12)
其中,MCRBi和MSRBi分别表示第i个多通道残差块和第i个多尺度残差块,Oc和Os分别为多通道残块分支和多尺度残差块分支的输出,而m和n则为两个残差块各自的数目;
步骤4:将多通道子网络和多尺度子网络产生的特征张量图在通道维度拼接起来以融合二者,得到一个低分辨率特征张量图,并对其使用现有的亚像素放大方法获得高分辨率图像。
2.一种基于重建的超分辨率图像真伪性判断方法,其特征在于:基于权利要求1所述的方法获得的高分辨率图像,使用生成对抗训练方法构建判别网络,来判断高分辨率图像是网络生成的还是原始真实的;
设给定输入视频帧I,首先用一层卷积计算其特征,并采用一个批归一化层将其特征归一化:
B1=BN1(C1(I)) (13)其中,B1为得到的归一化特征图,C1(·)和BN1(·)分别为第一次卷积和归一化操作;
将B1下采样,再次重复卷积和归一化操作,提取该空间尺度下的特征信息,得到B2:
其中,表示第一次下采样操作,r为缩放倍数,C2(·)和BN2(·)则分别为第二次卷积和归一化操作;
重复n次这样的处理操作,则第n层空间尺度下的特征信息Bn为:
对于所有空间尺度下的特征信息B1,B2,…,Bn,用全局平均池化操作Pi(·)计算各自的概率并融合相加,得到最终的真伪概率P:
P=P1(B1)+P2(B2)+…+Pn(Bn) (16)
其中,P(·)为判断输入视频帧是真实的还是生成的概率,且P∈[0,1]。
3.根据权利要求2所述的基于重建的超分辨率图像真伪性判断方法,其特征在于:构建基于内容损失、感知损失、对抗损失、时域一致性损失以及时域连贯性损失的混合损失函数,共同约束所述判别网络的训练;
用ILR表示输入低分辨率视频帧,IHR表示真实的高分辨率视频帧,而ISR表示生成的超分辨率视频帧:
ISR=G(ILR) (17)
其中,G(·)表示生成网络,即构建的显隐混合约束机制网络与构建的多通道多尺度结构网络结合起来的整体;
内容损失Lc如下:
Lc=|ISR-IHR| (18)
引入现有预训练的VGG网络,分别对IHR与ISR提取它们的语义特征,尽可能使它们的语义特征相近,从而构建感知损失Lp:
Lp=(φ(IHR)-φ(ISR))2 (19)
其中,φ(·)表示用VGG网络提取特征层;
构建对抗损失,分别约束生成网络与判别网络:
其中,与/>分别表示生成网络和判别网络的对抗损失,G(·)和D(·)分别表示生成网络和判别网络;
建立时域一致性损失LTC来约束生成网络,使其生成时间上连贯、稳定的视频帧:
其中,t为视频帧的时间步态,表示t时刻的低分辨率视频帧,/>表示t时刻的高分辨率视频帧,判别网络的总体损失函数为/>而生成网络的总体混合损失函数LG如下:
其中,LTI为公式(4)中的时域连贯性损失函数,α1~α5分别为对应的每个部分损失函数的参数,用来调整各部分损失函数的权重。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010766362.7A CN112070665B (zh) | 2020-08-03 | 2020-08-03 | 生成对抗式视频超分辨率重建及重建图像真伪性鉴别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010766362.7A CN112070665B (zh) | 2020-08-03 | 2020-08-03 | 生成对抗式视频超分辨率重建及重建图像真伪性鉴别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112070665A CN112070665A (zh) | 2020-12-11 |
CN112070665B true CN112070665B (zh) | 2023-08-18 |
Family
ID=73657681
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010766362.7A Active CN112070665B (zh) | 2020-08-03 | 2020-08-03 | 生成对抗式视频超分辨率重建及重建图像真伪性鉴别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112070665B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109949217B (zh) * | 2017-12-20 | 2023-04-11 | 四川大学 | 基于残差学习和隐式运动补偿的视频超分辨率重建方法 |
CN112712537B (zh) * | 2020-12-21 | 2022-10-18 | 深圳大学 | 视频时空超分辨率实现方法及装置 |
CN112862675A (zh) * | 2020-12-29 | 2021-05-28 | 成都东方天呈智能科技有限公司 | 时空超分辨率的视频增强方法和系统 |
CN114494023B (zh) * | 2022-04-06 | 2022-07-29 | 电子科技大学 | 一种基于运动补偿与稀疏增强的视频超分辨率实现方法 |
CN114760477B (zh) * | 2022-06-15 | 2022-08-16 | 武汉大学 | 一种视频数据显隐混合对齐方法、系统及设备 |
CN115567720A (zh) * | 2022-09-09 | 2023-01-03 | 中国银行股份有限公司 | 视频传输方法、装置、存储介质和设备 |
CN116523740B (zh) * | 2023-03-13 | 2023-09-15 | 武汉大学 | 一种基于光场的红外图像超分辨率方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109118431A (zh) * | 2018-09-05 | 2019-01-01 | 武汉大学 | 一种基于多记忆及混合损失的视频超分辨率重建方法 |
CN109949217A (zh) * | 2017-12-20 | 2019-06-28 | 四川大学 | 基于残差学习和隐式运动补偿的视频超分辨率重建方法 |
CN110706155A (zh) * | 2019-09-12 | 2020-01-17 | 武汉大学 | 一种视频超分辨率重建方法 |
CN111311490A (zh) * | 2020-01-20 | 2020-06-19 | 陕西师范大学 | 基于多帧融合光流的视频超分辨率重建方法 |
-
2020
- 2020-08-03 CN CN202010766362.7A patent/CN112070665B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109949217A (zh) * | 2017-12-20 | 2019-06-28 | 四川大学 | 基于残差学习和隐式运动补偿的视频超分辨率重建方法 |
CN109118431A (zh) * | 2018-09-05 | 2019-01-01 | 武汉大学 | 一种基于多记忆及混合损失的视频超分辨率重建方法 |
CN110706155A (zh) * | 2019-09-12 | 2020-01-17 | 武汉大学 | 一种视频超分辨率重建方法 |
CN111311490A (zh) * | 2020-01-20 | 2020-06-19 | 陕西师范大学 | 基于多帧融合光流的视频超分辨率重建方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112070665A (zh) | 2020-12-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112070665B (zh) | 生成对抗式视频超分辨率重建及重建图像真伪性鉴别方法 | |
CN111243066B (zh) | 一种基于自监督学习与生成对抗机制的人脸表情迁移方法 | |
Jiang et al. | Two-step domain adaptation for underwater image enhancement | |
CN111901598B (zh) | 视频解码与编码的方法、装置、介质及电子设备 | |
Panetta et al. | Tmo-net: A parameter-free tone mapping operator using generative adversarial network, and performance benchmarking on large scale hdr dataset | |
CN111275638B (zh) | 基于多通道注意力选择生成对抗网络的人脸修复方法 | |
CN112767279B (zh) | 一种基于离散小波集成生成对抗网络的水下图像增强方法 | |
CN116309232B (zh) | 一种结合物理先验与深度学习的水下图像增强方法 | |
CN111738948B (zh) | 一种基于双U-net的水下图像增强方法 | |
CN115914505B (zh) | 基于语音驱动数字人模型的视频生成方法及系统 | |
CN110660020A (zh) | 一种基于融合互信息的对抗生成网络的图像超分辨率方法 | |
CN113283444A (zh) | 一种基于生成对抗网络的异源图像迁移方法 | |
CN112541865A (zh) | 基于生成对抗网络的水下图像增强方法 | |
CN113689382A (zh) | 基于医学影像和病理图像的肿瘤术后生存期预测方法及系统 | |
Li et al. | Single image dehazing with an independent detail-recovery network | |
Wang et al. | Weakly supervised single image dehazing | |
CN113920171B (zh) | 基于特征级和决策级融合的双模态目标跟踪方法 | |
CN113888399B (zh) | 一种基于风格融合与域选结构的人脸年龄合成方法 | |
CN111861949A (zh) | 一种基于生成对抗网络的多曝光图像融合方法及系统 | |
Zheng et al. | Double-branch dehazing network based on self-calibrated attentional convolution | |
CN113379606B (zh) | 一种基于预训练生成模型的人脸超分辨方法 | |
Zhu et al. | Learning knowledge representation with meta knowledge distillation for single image super-resolution | |
Li et al. | DADRnet: Cross-domain image dehazing via domain adaptation and disentangled representation | |
CN117689592A (zh) | 一种基于级联自适应网络的水下图像增强方法 | |
Zhang et al. | Skeleton-based action recognition with attention and temporal graph convolutional network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |