CN111626944A - 一种基于时空金字塔网络和对抗自然先验的视频去模糊方法 - Google Patents
一种基于时空金字塔网络和对抗自然先验的视频去模糊方法 Download PDFInfo
- Publication number
- CN111626944A CN111626944A CN202010320383.6A CN202010320383A CN111626944A CN 111626944 A CN111626944 A CN 111626944A CN 202010320383 A CN202010320383 A CN 202010320383A CN 111626944 A CN111626944 A CN 111626944A
- Authority
- CN
- China
- Prior art keywords
- video
- network
- space
- time
- discriminator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims abstract description 9
- 238000013507 mapping Methods 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000000007 visual effect Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 4
- 230000003042 antagnostic effect Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于时空金字塔网络与对抗自然先验的视频去模糊方法，包括以下步骤：将实际环境中采集的运动模糊视频数据进行处理，将其映射到Ycbcr彩色空间，单独将Y通道数据输入时空金字塔模块提取模糊视频的不同尺寸的时域与空域信息；将通过时空金字塔模块提取后的特征图输入到特征重构模块对特征进行处理和重构得到去模糊后的视频帧；将经过前面时空金字塔模块的时空金字塔网络处理后获取的Y通道去模糊视频数据与相对应清晰的视频数据分别计算获得视频自然先验信息，改进判别器对视频图像的细节捕获能力。上述技术方案，能够将模糊的视频通过时空金字塔网络和对抗自然先验技术处理后，得到更高的定量指标及更好的视觉效果。
Description
技术领域
本发明涉及视频处理技术领域，具体涉及一种基于时空金字塔网络和对抗自然先验的视频去模糊方法。
背景技术
随着移动互联网以及电子信息技术的迅猛发展，每天有海量的视频数据产生，视频分析与处理技术对于安防、监控等具有极其重要的价值。然而，在视频实时拍摄的过程中，往往由于拍摄设备的抖动以及拍摄目标运动等因素的影响，使得拍摄的视频出现一定程度的模糊，严重的影响人们从视频中获取有价值的细节信息。但很多时候，视频的内容质量严重影响了视频的可应用程度，例如：自动驾驶汽车，道路监控，安防监控等场景。
模糊视频处理已有较多研究，从技术方面来看，主要分为三大类：视频图像的非盲运动去模糊，视频图像的盲运动去模糊，基于视频的运动去模糊算法。最早被提出的非盲运动去模糊算法是逆滤波(Inverse Filter)去卷积方法。Nathan 采用二位逆滤波算法来进行还原处理，随着研究的不断深入，Donatelli等人将偏微分方程(Partial DifferentialEquation,PDE)理论应用于视频图像的恢复处理。而盲运动去模糊算法中，Fergus等人深入研究对比了运动模糊退化的视频图像以及原始清晰的视频图像各自的梯度分布，提出一种基于分布统计模型的盲运动去模糊算法。而Takeda针对视频图像序列的特性，充分利用时域上的信息，建立三维的时空不变的点扩散函数模型来对视频序列进行去模糊处理。
随着研究的深入，运动视频图像去模糊技术已经取得了一定发展，然而，目前仍存在一些关键问题尚待解决。目前的视频图像去模糊算法大多针对空间不变的运动模糊，对于其他模糊情况并不适用；复原算法会受到噪声的影响，噪声污染会导致去模糊算法在处理过程中提取出错误的信息；最后，目前的去模糊算法普遍采用去卷积的方法来估计潜在清晰的视频图像，运算量较大，对于时域信息采集较差。
发明内容
针对现有技术存在的不足，本发明的目的在于提供一种基于时空金字塔网络和对抗自然先验的视频去模糊方法，该视频去模糊方法消除拍摄设备拍摄过程中模糊视频图像的模糊像素，并借助于图像自然先验来改进GAN网络，提高网络训练过程的稳定性，改善生成器网络的性能，实现视频去模糊任务，生成更加清晰和真实的视频。
为实现上述目的，本发明提供了如下技术方案：一种基于时空金字塔网络与对抗自然先验的视频去模糊方法，包括以下步骤：
(1)将实际环境中采集的运动模糊视频数据进行处理，将其映射到Ycbcr 彩色空间，单独将Y通道数据输入时空金字塔模块提取模糊视频的不同尺寸的时域与空域信息，其中对应的cb、cr空间数据保留用于最后清晰视频的合成；
(2)将通过时空金字塔模块提取后的特征图输入到特征重构模块对特征进行处理和重构得到去模糊后的视频帧；
(3)将经过前面时空金字塔模块的时空金字塔网络处理后获取的Y通道去模糊视频数据与相对应清晰的视频数据分别计算获得视频自然先验信息，
其中，代表输入视频帧Y通道数据，
表示对应视频帧的梯度强度，
表示视频帧在x方向上的梯度信息，
表示视频帧在y方向上的梯度信息；
(4)分别将计算得到的图像自然先验信息
分别送入判别器，对判别器网络进行训练，对生成的样本和清晰的样本进行判别，进而指导生成器网络进行视频去模糊任务，生成器网络和判别器网络优化的目标函数为：
先优化判别器网络，再优化生成器网络，其中，E表示数学期望，h服从概率分布Ptrain，
服从概率分布
作为优选的：步骤(1)包括以下子步骤:
首先，将输入的连续模糊的5帧以中间帧为中心将其划分为3段子序列，分别为1帧，3帧，5帧；通过2维和3维卷积对这些子序列单独处理，采集视频不同尺度时域和空域信息；
其次，将提取到不同尺度的时域和空域信息进行动态融合，从而捕获到视频局部到全局的时空信息。
作为优选的：步骤(2)包括以下子步骤:
首先，将3个不同的视频子序列用2维和3维卷积同时处理这些视频子序列，生成通道大小相同的特征数据；
接着，将各通道的特征数据进行动态融合，并作为后续子层特征重构模块的输入。
作为优选的：步骤(3)具体包括以下子步骤:
首先，将生成器网络生成的去模糊视频和原视频对应的清晰视频分别计算得到两组信息和分别送入判别器网络，对判别器网络进行训练，优化目标函数：
其中,G代表的是一个已知的视频去模糊网络,目的是优化判别器网络；
其次，根据网络的损失函数对生成器网络进行训练更新，改进其视频区模糊任务,优化目标函数：
其中，E表示数学期望，
表示通过G网络生成的去模糊视频。
作为优选的：步骤(4)具体包括以下子步骤:
首先，分别计算输出数据与对应清晰图像的自然先验信息，其计算公式：
接着将其分别送入判别器，计算判别器网络的判别损失对如下的判别器优化函数进行优化：
进而更新判别器；
最后，更新整个生成对抗网络：
其中，W，H为输入视频帧的宽度和高度；
为清晰视频在(x,y)位置的像素；G(Iblurry)x,y为经过时空金字塔网络恢复图像在(x,y)清晰位置的像素；α表示超参数；
表示计算图像先验。
本发明的优点是：与现有技术相比，本发明的有益效果为：
1.本发明所提出的时空金字塔模块能够捕获视频不同尺度的时空信息，且对这些信息进行动态融合形成局部与全局时空信息；
2.本发明提出的对抗自然先验能够有效提升GAN网络训练的稳定性，以及 GAN网络中判别器的效果，进而提升生成器视频去模糊效果。
下面结合说明书附图和具体实施例对本发明作进一步说明。
附图说明
图1为本发明实施例时空金字塔网络示意图；
图2为本发明实施例基于时空金字塔网络和对抗自然先验的生成对抗网络框架图。
具体实施方式
参见图1和图2，本发明公开的一种基于时空金字塔网络与对抗自然先验的视频去模糊方法，包括以下步骤：
(1)将实际环境中采集的运动模糊视频数据进行处理，将其映射到Ycbcr 彩色空间，单独将Y通道数据输入时空金字塔模块提取模糊视频的不同尺寸的时域与空域信息，其中对应的cb、cr空间数据保留用于最后清晰视频的合成；
(2)将通过时空金字塔模块提取后的特征图输入到特征重构模块对特征进行处理和重构得到去模糊后的视频帧；
(3)将经过前面时空金字塔模块的时空金字塔网络处理后获取的Y通道去模糊视频数据与相对应清晰的视频数据分别计算获得视频自然先验信息，
其中，代表输入视频帧Y通道数据，
表示表示对应视频帧的梯度强度，
表示视频帧在x方向上的梯度信息，
表示视频帧在y方向上的梯度信息；
(4)分别将计算得到的图像自然先验信息
分别送入判别器，对判别器网络进行训练，对生成的样本和清晰的样本进行判别，进而指导生成器网络进行视频去模糊任务，生成器网络和判别器网络优化的目标函数为：
先优化判别器网络，再优化生成器网络，其中，E表示数学期望，h服从概率分布ptrain，
服从概率分布
作为优选的：步骤(1)包括以下子步骤:
首先，将输入的连续模糊的5帧以中间帧为中心将其划分为3段子序列，分别为1帧，3帧，5帧；通过2维和3维卷积对这些子序列单独处理，采集视频不同尺度时域和空域信息；
其次，将提取到不同尺度的时域和空域信息进行动态融合，从而捕获到视频局部到全局的时空信息。
作为优选的：步骤(2)包括以下子步骤:
首先，将3个不同的视频子序列用2维和3维卷积同时处理这些视频子序列，生成通道大小相同的特征数据；
接着，将各通道的特征数据进行动态融合，并作为后续子层特征重构模块的输入。
作为优选的：步骤(3)具体包括以下子步骤:
首先，将生成器网络生成的去模糊视频和原视频对应的清晰视频分别计算得到两组信息和分别送入判别器网络，对判别器网络进行训练，优化目标函数：
其中,G代表的是一个已知的视频去模糊网络,目的是优化判别器网络；
其次，根据网络的损失函数对生成器网络进行训练更新，改进其视频区模糊任务,优化目标函数：
其中，E表示数学期望，
表示通过G网络生成的去模糊视频。
作为优选的：步骤(4)具体包括以下子步骤:
首先，分别计算输出数据与对应清晰图像的自然先验信息，其计算公式：
接着将其分别送入判别器，计算判别器网络的判别损失对如下的判别器优化函数进行优化：
进而更新判别器；
最后，更新整个生成对抗网络：
其中，W，H为输入视频帧的宽度和高度；
为清晰视频在(x,y)位置的像素；G(Iblurry)x,y为经过时空金字塔网络恢复图像在(x,y)清晰位置的像素；α表示超参数；
表示计算图像先验。
本发明的实施例采用一台具有Inter Xeno Silver 4114中央处理器，8G 字节内存和单个NVIDIA GTX1080ti GPU现存为8G字节的计算机并用Python语言编制了基于时空金字塔网络和对抗自然先验的视频去模糊方法程序，实现了本次发明的模型算法。
发明的基于时空金字塔网络和对抗自然先验的视频去模糊方法主要包括以下四个步骤：输入视频数据的标准化，视频去模糊处理，计算图像自然先验并优化整个网络，合成去模糊视频。具体步骤如下所述：
(1)为了减少实现本发明过程中所需要的硬件资源，首先需要将输入模糊视频读入并将数据映射到Ycbcr彩色空间，将其归一化处理后的Y通道数据作为整个网络的输入。
(2)时空金字塔模块。首先，将输入连续5帧以中间帧为中心分为3个子视频序列，然后用2维和3维卷积并行提取出视频不同尺度的时空信息，生成蕴含时空信息相同通道的特征数据；最后，将这些特征进行动态融合，并作为后续特征重构模块的输入。
(3)顺序通过特征重构模块，得到去模糊的残差结构，通过与输入的Y通道图片相加恢复去模糊图片，此时图片已完成去模糊操作；
(4)首先，计算输出数据与对应清晰图像的自然先验信息，其计算公式如下所示：
接着将其分别送入判别器，计算判别器网络的判失损失对如下的判别器优化函数进行优化：
进而更新判别器；
最后，根据公式(3)更新判别器：
并进行反向传播，更新生成器。
实际应用时，包括以下步骤：
(a)将实际环境中采集的运动模糊视频进行标准化处理，将其映射到Ycbcr 彩色空间，单独将Y通道图片作为整个网络模型的输入，对应的cb、cr通道图片数据保留用于清晰视频的合成；
(b)对输入的视频图像使用时空金字塔模块进行特征的提取，捕获模糊视频不同尺度时域与空域信息；
(c)将(b)中提取的特征图作为输入，利用金字塔网络(生成器网络) 进行视频去模糊任务，产生Y通道上去模糊的视频图像；
(d)通过图像恢复子层，形成去模糊的残差图像，与步骤(a)的输入进行线性组合，得到去模糊的Y通道图片；
(e)将Y通道图片计算自然先验信息，并送入判别器，更新判别器，进而更新生成器。
进一步设置是:步骤(a)包括以下子步骤:
首先，将视频图像进行读取，并将RGB彩色空间映射到Ycbcr彩色空间；
接着，将视频数据进行归一化处理，得到数值大小在区间[0,1]之间的张量。
进一步设置是:步骤(b)具体包括以下子步骤:
首先，将3个不同的视频子序列用2维和3维卷积同时处理这些视频子序列，生成通道大小相同的特征数据；
接着，将各通道的特征数据进行动态融合，并作为后续子层(特征重构模块)的输入。
进一步设置是:步骤(d)具体包括以下子步骤:
首先，分别计算输出数据与对应清晰图像的自然先验信息，其计算公式：
接着将其分别送入判别器，计算判别器网络的判别损失对如下的判别器优化函数进行优化：
进而更新判别器；
最后，更新整个生成对抗网络：
其中，W，H为输入视频帧的宽度和高度；
为清晰视频在(x,y)位置的像素；G(Iblurry)x,y为经过时空金字塔网络恢复图像在(x,y)清晰位置的像素；α表示超参数；
表示计算图像先验。
图1是本发明提出时空金字塔网络其包括时空金字塔模块和特征重构模块, 表格1为本发明提出的时空金字塔网络每层详细的网络组件；
表格1
图2是本发明提出的基于时空金字塔网络和对抗自然先验的生成对抗网络框架图,表格2是本发明使用的判别器网络每层详细的网络组件。
表格2
本发明去模糊方法消除拍摄设备拍摄过程中模糊视频图像的模糊像素，并借助于图像自然先验来改进GAN网络，提高网络训练过程的稳定性，改善生成器网络的性能，实现视频去模糊任务，生成更加清晰和真实的视频。
上述实施例对本发明的具体描述，只用于对本发明进行进一步说明，不能理解为对本发明保护范围的限定，本领域的技术工程师根据上述发明的内容对本发明作出一些非本质的改进和调整均落入本发明的保护范围之内。
Claims (5)
1.一种基于时空金字塔网络与对抗自然先验的视频去模糊方法，其特征在于：包括以下步骤：
(1)将实际环境中采集的运动模糊视频数据进行处理，将其映射到Ycbcr彩色空间，单独将Y通道数据输入时空金字塔模块提取模糊视频的不同尺寸的时域与空域信息，其中对应的cb、cr空间数据保留用于最后清晰视频的合成；
(2)将通过时空金字塔模块提取后的特征图输入到特征重构模块对特征进行处理和重构得到去模糊后的视频帧；
(3)将经过前面时空金字塔模块的时空金字塔网络处理后获取的Y通道去模糊视频数据与相对应清晰的视频数据分别计算获得视频自然先验信息，
其中，代表输入视频帧Y通道数据，
表示对应视频帧的梯度强度，
表示视频帧在x方向上的梯度信息，
表示视频帧在y方向上的梯度信息；
(4)分别将计算得到的图像自然先验信息
分别送入判别器，对判别器网络进行训练，对生成的样本和清晰的样本进行判别，进而指导生成器网络进行视频去模糊任务，生成器网络和判别器网络优化的目标函数为：
先优化判别器网络，再优化生成器网络，其中，E表示数学期望，h服从概率分布Ptrain，
服从概率分布
2.根据权利要求1所述的一种基于时空金字塔网络与对抗自然先验的视频去模糊方法，其特征在于：步骤(1)包括以下子步骤:
首先，将输入的连续模糊的5帧以中间帧为中心将其划分为3段子序列，分别为1帧，3帧，5帧；通过2维和3维卷积对这些子序列单独处理，采集视频不同尺度时域和空域信息；
其次，将提取到不同尺度的时域和空域信息进行动态融合，从而捕获到视频局部到全局的时空信息。
3.根据权利要求1所述的一种基于时空金字塔网络与对抗自然先验的视频去模糊方法，其特征在于：步骤(2)包括以下子步骤:
首先，将3个不同的视频子序列用2维和3维卷积同时处理这些视频子序列，生成通道大小相同的特征数据；
接着，将各通道的特征数据进行动态融合，并作为后续子层特征重构模块的输入。
4.根据权利要求1所述的一种基于时空金字塔网络与对抗自然先验的视频去模糊方法，其特征在于：
步骤(3)具体包括以下子步骤:
首先，将生成器网络生成的去模糊视频和原视频对应的清晰视频分别计算得到两组信息和分别送入判别器网络，对判别器网络进行训练，优化目标函数：
其中,G代表的是一个已知的视频去模糊网络,目的是优化判别器网络；
其次，根据网络的损失函数对生成器网络进行训练更新，改进其视频区模糊任务,优化目标函数：
其中，E表示数学期望，
表示通过G网络生成的去模糊视频。
5.根据权利要求1所述的一种基于时空金字塔网络与对抗自然先验的视频去模糊方法，其特征在于：步骤(4)具体包括以下子步骤:
首先，分别计算输出数据与对应清晰图像的自然先验信息，其计算公式：
接着将其分别送入判别器，计算判别器网络的判别损失对如下的判别器优化函数进行优化：
进而更新判别器；
最后，更新整个生成对抗网络：
其中，W，H为输入视频帧的宽度和高度；
为清晰视频在(x,y)位置的像素；G(Iblurry)x,y为经过时空金字塔网络恢复图像在(x,y)清晰位置的像素；α表示超参数；
表示计算图像先验。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010320383.6A CN111626944B (zh) | 2020-04-21 | 2020-04-21 | 一种基于时空金字塔网络和对抗自然先验的视频去模糊方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010320383.6A CN111626944B (zh) | 2020-04-21 | 2020-04-21 | 一种基于时空金字塔网络和对抗自然先验的视频去模糊方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111626944A true CN111626944A (zh) | 2020-09-04 |
| CN111626944B CN111626944B (zh) | 2023-07-25 |
Family
ID=72260543
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010320383.6A Active CN111626944B (zh) | 2020-04-21 | 2020-04-21 | 一种基于时空金字塔网络和对抗自然先验的视频去模糊方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111626944B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112750093A (zh) * | 2021-01-25 | 2021-05-04 | 中国人民解放军火箭军工程大学 | 一种基于时序标签传递的视频图像去雾方法 |
| WO2022068321A1 (en) * | 2020-09-29 | 2022-04-07 | International Business Machines Corporation | Video frame synthesis using tensor neural networks |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017101489A1 (zh) * | 2015-12-14 | 2017-06-22 | 乐视控股（北京）有限公司 | 图像滤波方法及装置 |
| CN109871790A (zh) * | 2019-01-30 | 2019-06-11 | 天津大学 | 一种基于混合神经网络模型的视频去色方法 |
| CN110473147A (zh) * | 2018-05-09 | 2019-11-19 | 腾讯科技（深圳）有限公司 | 一种视频去模糊方法和装置 |
-
2020
- 2020-04-21 CN CN202010320383.6A patent/CN111626944B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017101489A1 (zh) * | 2015-12-14 | 2017-06-22 | 乐视控股（北京）有限公司 | 图像滤波方法及装置 |
| CN110473147A (zh) * | 2018-05-09 | 2019-11-19 | 腾讯科技（深圳）有限公司 | 一种视频去模糊方法和装置 |
| CN109871790A (zh) * | 2019-01-30 | 2019-06-11 | 天津大学 | 一种基于混合神经网络模型的视频去色方法 |
Non-Patent Citations (2)
| Title |
|---|
| GONG, D.,ET.AL: "Self-paced kernel estimation for robust blind image deblurring" * |
| 季露;陈志;岳文静;: "基于模型融合和特征关联的视频目标跟踪算法" * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022068321A1 (en) * | 2020-09-29 | 2022-04-07 | International Business Machines Corporation | Video frame synthesis using tensor neural networks |
| US11553139B2 (en) | 2020-09-29 | 2023-01-10 | International Business Machines Corporation | Video frame synthesis using tensor neural networks |
| GB2614212A (en) * | 2020-09-29 | 2023-06-28 | Ibm | Video frame synthesis using tensor neural networks |
| GB2614212B (en) * | 2020-09-29 | 2024-02-07 | Ibm | Video frame synthesis using tensor neural networks |
| CN112750093A (zh) * | 2021-01-25 | 2021-05-04 | 中国人民解放军火箭军工程大学 | 一种基于时序标签传递的视频图像去雾方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111626944B (zh) | 2023-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111062872B (zh) | 一种基于边缘检测的图像超分辨率重建方法及系统 | |
| CN111915530B (zh) | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 | |
| Anvari et al. | Dehaze-GLCGAN: unpaired single image de-hazing via adversarial training | |
| Wang et al. | MAGAN: Unsupervised low-light image enhancement guided by mixed-attention | |
| CN113673590A (zh) | 基于多尺度沙漏密集连接网络的去雨方法、系统和介质 | |
| CN112070688A (zh) | 一种基于上下文引导生成对抗网络的单幅图像去雾方法 | |
| CN116596792B (zh) | 一种面向智能船舶的内河雾天场景恢复方法、系统及设备 | |
| CN111626944B (zh) | 一种基于时空金字塔网络和对抗自然先验的视频去模糊方法 | |
| CN115115549A (zh) | 多支路融合注意力机制的图像增强模型、方法、设备及存储介质 | |
| CN117274059A (zh) | 基于图像编码-解码的低分辨率图像重构方法及其系统 | |
| Wang et al. | Joint framework for single image reconstruction and super-resolution with an event camera | |
| CN106997583A (zh) | 一种水下机器人自适应图像增强和特征提取方法 | |
| Zheng et al. | Overwater image dehazing via cycle-consistent generative adversarial network | |
| Zhang et al. | DarkVision: a benchmark for low-light image/video perception | |
| CN115760640A (zh) | 基于含噪Retinex模型的煤矿低光照图像增强方法 | |
| Song et al. | An adaptive real-time video defogging method based on context-sensitiveness | |
| Xu et al. | ARID: A comprehensive study on recognizing actions in the dark and a new benchmark dataset | |
| Qu et al. | LEUGAN: low-light image enhancement by unsupervised generative attentional networks | |
| Wang et al. | Research on single image dehazing enhancement method based on cyclegan | |
| CN112767261A (zh) | 一种基于广义非凸张量鲁棒主成分分析模型的针对彩色图像和视频的非局部去噪框架 | |
| Deng et al. | Colour Variation Minimization Retinex Decomposition and Enhancement with a Multi-Branch Decomposition Network | |
| CN112487947A (zh) | 基于图像融合与目标检测网络的低照度图像目标检测方法 | |
| Ding et al. | Degraded Data Enhancement Based on Regional Similarity Fusion | |
| Su et al. | Image denoising algorithm based on multi-scale fusion and adaptive attention mechanism | |
| Zhang et al. | Combined image enhancement for recyclable waste object detection in low-light environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |