CN111340740A - 一种融合多种正则化方法提升视频恢复的时域稳定性方法 - Google Patents

一种融合多种正则化方法提升视频恢复的时域稳定性方法 Download PDF

Info

Publication number
CN111340740A
CN111340740A CN202010412736.5A CN202010412736A CN111340740A CN 111340740 A CN111340740 A CN 111340740A CN 202010412736 A CN202010412736 A CN 202010412736A CN 111340740 A CN111340740 A CN 111340740A
Authority
CN
China
Prior art keywords
cnn
batch
pictures
definition
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010412736.5A
Other languages
English (en)
Other versions
CN111340740B (zh
Inventor
刘佳扬
田超博
刘宇新
朱政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Microframe Information Technology Co ltd
Original Assignee
Hangzhou Microframe Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Microframe Information Technology Co ltd filed Critical Hangzhou Microframe Information Technology Co ltd
Priority to CN202010412736.5A priority Critical patent/CN111340740B/zh
Publication of CN111340740A publication Critical patent/CN111340740A/zh
Application granted granted Critical
Publication of CN111340740B publication Critical patent/CN111340740B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种融合多种正则化方法提升视频恢复的时域稳定性方法，属于视频恢复技术领域。所述方法包括以下内容：在使用深度学习做视频恢复时，一个常见的问题就是单帧处理后的图像在时域上出现不一致，针对这个问题，本发明提出融合多种正则化方法，提高算法鲁棒性。为CNN视频恢复模型加入微变换不变正则化方法、单色图像正则化方法、线性变换一致正则化方法和二次处理不变损失正则化方法，通过以上方法优化和调整神经网络的损失函数，得到更加鲁棒的视频恢复模型，以解决单帧处理后的图像在时域上出现的不一致问题。

Description

一种融合多种正则化方法提升视频恢复的时域稳定性方法
技术领域
本发明涉及视频恢复技术领域，尤其涉及一种融合多种正则化方法提升视频恢复的时域稳定性方法。
背景技术
近些年来，随着互联网的发展和智能终端的普及，图像和视频已成为人类活动中最常用的信息载体。然而，在图像的获取、传输、储存和处理的过程中，总会受到各种退化因素的影响，造成图像质量的退化，对于后续的图像理解和使用造成了极大影响，所以，为了获取高质量图像，需要对视频图像进行恢复处理，尽可能的保持原始信息完整性。所以，视频恢复一直是图像处理和计算机视觉研究的热点。
目前做法的局限性在于：目前使用深度学习的方法来减弱或消除退化因素对图像质量的影响，提高图像的清晰度、信噪比和分辨率，已是很常见的做法，然而往往恢复结果在时域稳定性方面不是很理想，往往会出现相邻帧闪动的现象，要解决这一问题，就必须要将反映图像视频本真性质的先验信息融入到复原过程中，以便约束复原方法在本真信号附近的合理区域内寻找最终的恢复结果。
发明内容
本发明从图像视频复原的正则化优化建模出发，通过加入特定的训练样本和加入不变损失项来优化和调整视频恢复模型的损失函数，提高算法鲁棒性，从而提升图像视频恢复的时域稳定性。
1、一种融合多种正则化方法提升视频恢复的时域稳定性方法，具体包括以下内容：
（1）给CNN的损失函数加入微变换不变正则项：
（1.1）首先筛选一批高清图片，对这批高清图片进行调整。
（1.2）然后将调整后的高清图片集加入某种目标失真，得到一批失真的图片集，这批失真的图片集作为神经网络的输入，标签即无噪声的图片。
（1.3）最后使用这批失真的图片集对CNN视频恢复模型进行训练，CNN的损失函数如下式，其中MSE（Mean Square Error）为均方误差，Ii为原始高清图片，Yi为输出的无噪图片：
Figure 103922DEST_PATH_IMAGE001
。
（2）给CNN的损失函数加入单色图像正则项：
（2.1）首先筛选一批单色图片，作为CNN的训练集。
（2.2）然后为单色图片集加入目标失真，该图片集作为神经网络的输入对CNN视频恢复模型进行训练，CNN的损失函数如下式，其中MSE（Mean Square Error）为均方误差，Y是输出的无噪图片，BW是输入的单色图片：
Figure 454131DEST_PATH_IMAGE002
。
（3）给CNN的损失函数加入线性变换一致正则项：
（3.1）首先筛选一批高清图片作为CNN的训练集，对这批高清图片加入线性变换。
（3.2）然后对变换后的图片集加入目标失真，将该图片集作为神经网络的输入。
（3.3）最后使用这批失真的图片集对CNN视频恢复模型进行训练，CNN的损失函数如下式，其中MSE(Mean Square Error)为均方误差，其中I0为原始高清图片，Y0为输出的高清图片，It为进行线性变换的图片，Yt为进行线性变换恢复后的图片，L2为L2范数：矩阵中每个元素的平方和的平方根，也可理解为一个大向量的欧式距离：
Figure 482130DEST_PATH_IMAGE003
。
（4）CNN加入二次处理不变损失项:
（4.1）首先筛选一批高清图片作为CNN的训练集，对高清图片加入目标失真，得到一批失真的图片集。
（4.2）然后对失真的图片集进行恢复，经过CNN视频恢复模型输出去除失真的高清图片集。
（4.3）将这批高清的图片作为输入再次通过相同的视频恢复模型，得到二次处理后的图片,对同一张失真图片两次进行恢复所得到的输出应该相同或相似，即二次处理不变正则项，即Y0和Y'相同或相似。CNN的损失函数如下式：
Figure 850664DEST_PATH_IMAGE004
。
其中I0为原始高清图片，Y0为输出的高清图片，Y'为二次处理后输出的图片。
（5）将需要恢复的图像输入已经训练好的CNN视频恢复模型，所述已经训练好的CNN视频恢复模型是融合了微变换不变正则项、单色图像正则项、线性变换一致正则项和二次处理不变损失项。
（6）输出恢复后的高清图片，然后将所有帧融合，得到恢复后的高清视频。
本发明通过加入特定的训练样本和加入不变损失项来优化和调整视频恢复模型的损失函数，提高算法鲁棒性，从而提升图像视频恢复的时域稳定性。
附图说明
图1为本发明一种融合多种正则化方法提升视频恢复的时域稳定性方法的应用流程图。
图2为本发明方法（1）的流程图。
图3为本发明方法（2）的流程图。
图4为本发明方法（3）的流程图。
图5为本发明方法（4）的流程图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
下面结合附图对本发明作更进一步的说明。
1、如图2所示，给CNN的损失函数加入微变换不变正则项：
（1）首先筛选一批高清图片，对这批高清图片进行调整，例如给高清图像加入高斯噪声，调整亮度/饱和度等微幅操作。
（2）然后将调整后的高清图片集加入某种目标失真，得到一批失真的图片集，这批失真的图片集作为神经网络的输入，标签即无噪声的图片。
（3）最后使用这批失真的图片集对CNN视频恢复模型进行训练，CNN的损失函数如下式，其中MSE（Mean Square Error）为均方误差，Ii为原始高清图片，Yi为输出的无噪图片：
Figure 978020DEST_PATH_IMAGE001
。
2、如图3所示，给CNN的损失函数加入单色图像正则项：
（1）首先筛选一批单色图片，例如纯白和纯黑图片，作为CNN的训练集。
（2）然后为单色图片集加入目标失真，该图片集作为神经网络的输入对CNN视频恢复模型进行训练，CNN的损失函数如下式，其中MSE(Mean Square Error)为均方误差，Y是输出的无噪图片，BW是输入的单色图片：
Figure 877842DEST_PATH_IMAGE002
。
3、如图4所示，给CNN的损失函数加入线性变换一致正则项：
（1）首先筛选一批高清图片作为CNN的训练集，对这批高清图片加入平移/旋转/缩放等线性变换。
（2）然后对变换后的图片集加入目标失真，将该图片集作为神经网络的输入。
（3）最后使用这批失真的图片集对CNN视频恢复模型进行训练，CNN的损失函数如下式，其中MSE(Mean Square Error)为均方误差，其中I0为原始高清图片，Y0为输出的高清图片，It为进行线性变换的图片，Yt为进行线性变换恢复后的图片，L2为L2范数：矩阵中每个元素的平方和的平方根，也可理解为一个大向量的欧式距离：
Figure 129439DEST_PATH_IMAGE003
。
4、如图5所示，CNN加入二次处理不变损失项：
（1）首先筛选一批高清图片作为CNN的训练集，对高清图片加入目标失真，得到一批失真的图片集。
（2）然后对失真的图片集进行恢复，经过CNN视频恢复模型输出去除失真的高清图片集。
（3）将这批高清的图片作为输入再次通过相同的视频恢复模型，得到二次处理后的图片,对同一张失真图片两次进行恢复所得到的输出应该相同或相似，即二次处理不变正则项，即Y0和Y'相同或相似。CNN的损失函数如下式：
Figure 431107DEST_PATH_IMAGE005
。
其中I0为原始高清图片，Y0为输出的高清图片，Y'为二次处理后输出的图片。
5、如图1所示，应用融合4种正则项的CNN视频恢复模型：
（1）将需要恢复的图像输入已经训练好的CNN视频恢复模型，所述已经训练好的CNN视频恢复模型是融合了微变换不变正则项、单色图像正则项、线性变换一致正则项和二次处理不变损失项。
（2）输出恢复后的高清图片，然后将所有帧融合，得到恢复后的高清视频。
本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (1)

1.一种融合多种正则化方法提升视频恢复的时域稳定性方法，针对CNN视频恢复模型的训练数据加入一些先验性质的约束来优化模型的损失函数，以提高相邻图像帧在时域上的一致性，其特征在于，包括以下内容：
（1）给CNN的损失函数加入微变换不变正则项：
（1.1）首先筛选一批高清图片，对这批高清图片进行微幅操作，包括加入高斯噪声，调整亮度/饱和度；
（1.2）然后将微幅操作后的高清图片集加入某种目标失真，得到一批失真的图片集，这批失真的图片集作为神经网络的输入，标签即无噪声的图片；
（1.3）最后使用这批失真的图片集对CNN视频恢复模型进行训练；
（2）给CNN的损失函数加入单色图像正则项：
（2.1）首先筛选一批单色图片，作为CNN的训练集；
（2.2）然后为单色图片集加入目标失真，该图片集作为神经网络的输入对CNN视频恢复模型进行训练；
（3）给CNN的损失函数加入线性变换一致正则项：
（3.1）首先筛选一批高清图片作为CNN的训练集，对这批高清图片加入平移/旋转/缩放等线性变换；
（3.2）然后对变换后的图片集加入目标失真，将该图片集作为神经网络的输入；
（3.3）最后使用这批失真的图片集对CNN视频恢复模型进行训练；
（4）CNN加入二次处理不变损失项：
（4.1）首先筛选一批高清图片作为CNN的训练集，对高清图片加入目标失真，得到一批失真的图片集；
（4.2）然后对失真的图片集输入CNN视频恢复模型进行恢复，输出一批高清图片；
（4.3）将这批高清的图片作为输入再次通过相同的神经网络，得到二次处理后的图片,同一张失真图片两次进行恢复所得到的输出相同或相似，即二次处理不变正则项；
（5）将需要恢复的图像输入已经训练好的CNN视频恢复模型，所述已经训练好的CNN视频恢复模型是融合了微变换不变正则项、单色图像正则项、线性变换一致正则项和二次处理不变损失项；
（6）输出恢复后的高清图片，然后将所有帧融合，得到恢复后的高清视频。
CN202010412736.5A 2020-05-15 2020-05-15 一种融合多种正则化方法提升视频恢复的时域稳定性方法 Active CN111340740B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010412736.5A CN111340740B (zh) 2020-05-15 2020-05-15 一种融合多种正则化方法提升视频恢复的时域稳定性方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010412736.5A CN111340740B (zh) 2020-05-15 2020-05-15 一种融合多种正则化方法提升视频恢复的时域稳定性方法

Publications (2)

Publication Number Publication Date
CN111340740A true CN111340740A (zh) 2020-06-26
CN111340740B CN111340740B (zh) 2021-01-15

Family

ID=71182962

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010412736.5A Active CN111340740B (zh) 2020-05-15 2020-05-15 一种融合多种正则化方法提升视频恢复的时域稳定性方法

Country Status (1)

Country Link
CN (1) CN111340740B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113159072A (zh) * 2021-04-22 2021-07-23 中国人民解放军国防科技大学 一种基于一致正则化的在线超限学习机目标识别方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107506800A (zh) * 2017-09-21 2017-12-22 深圳市唯特视科技有限公司 一种基于无监督域适应的无标签视频人脸识别方法
CN109949234A (zh) * 2019-02-25 2019-06-28 华中科技大学 基于深度网络的视频复原模型训练方法及视频复原方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107506800A (zh) * 2017-09-21 2017-12-22 深圳市唯特视科技有限公司 一种基于无监督域适应的无标签视频人脸识别方法
CN109949234A (zh) * 2019-02-25 2019-06-28 华中科技大学 基于深度网络的视频复原模型训练方法及视频复原方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘晓光: "一种具有组合正则的图像恢复方法", 《西南民族大学学报》 *
顾振辉: "基于Mask R-CNN改进的遥感图像舰船检测", 《计算机工程与应用》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113159072A (zh) * 2021-04-22 2021-07-23 中国人民解放军国防科技大学 一种基于一致正则化的在线超限学习机目标识别方法及系统
CN113159072B (zh) * 2021-04-22 2022-07-19 中国人民解放军国防科技大学 基于一致正则化的在线超限学习机目标识别方法及系统

Also Published As

Publication number Publication date
CN111340740B (zh) 2021-01-15

Similar Documents

Publication Publication Date Title
Ullah et al. Light-DehazeNet: a novel lightweight CNN architecture for single image dehazing
Zhang et al. Recursive neural network for video deblurring
Liu et al. Progressive image denoising through hybrid graph Laplacian regularization: A unified framework
Zhao et al. Tensor completion via complementary global, local, and nonlocal priors
Jiang et al. Noise robust face hallucination via locality-constrained representation
Song et al. Multi-stage feature fusion network for video super-resolution
Tu et al. Joint face image restoration and frontalization for recognition
CN108229234B (zh) 一种融合数字编码的可扫描图像生成方法
Giraldo et al. GraphBGS: Background subtraction via recovery of graph signals
Zhang et al. Single image dehazing via dual-path recurrent network
Shi et al. Low-light image enhancement algorithm based on retinex and generative adversarial network
Bai et al. Adaptive correction procedure for TVL1 image deblurring under impulse noise
Niu et al. Effective image restoration for semantic segmentation
Xu et al. Dual adversarial adaptation for cross-device real-world image super-resolution
CN111340740B (zh) 一种融合多种正则化方法提升视频恢复的时域稳定性方法
Xia et al. Single image rain removal via a simplified residual dense network
CN111369477A (zh) 一种针对视频恢复任务的预分析和工具自适应的方法
Yogananda et al. Graph laplacian regularization with sparse coding in secure image restoration and representation for Internet of Things.
Chen et al. CERL: A unified optimization framework for light enhancement with realistic noise
CN111340146A (zh) 一种通过共享特征提取网络加速视频恢复任务的方法
US11928855B2 (en) Method, device, and computer program product for video processing
Li et al. An enhance relative total variation with bf model for edge-preserving image smoothing
Nimisha et al. Blind super-resolution of faces for surveillance
Yang et al. Difflle: Diffusion-guided domain calibration for unsupervised low-light image enhancement
Lahiri et al. Improved techniques for GAN based facial inpainting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant