CN108961186A - 一种基于深度学习的老旧影片修复重制方法 - Google Patents

一种基于深度学习的老旧影片修复重制方法 Download PDF

Info

Publication number
CN108961186A
CN108961186A CN201810699895.0A CN201810699895A CN108961186A CN 108961186 A CN108961186 A CN 108961186A CN 201810699895 A CN201810699895 A CN 201810699895A CN 108961186 A CN108961186 A CN 108961186A
Authority
CN
China
Prior art keywords
network
training
data set
image
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810699895.0A
Other languages
English (en)
Other versions
CN108961186B (zh
Inventor
赵岩
聂可卉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Timor View Mdt Infotech Ltd
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201810699895.0A priority Critical patent/CN108961186B/zh
Publication of CN108961186A publication Critical patent/CN108961186A/zh
Application granted granted Critical
Publication of CN108961186B publication Critical patent/CN108961186B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于深度学习的老旧影片修复重制方法，其包括以下步骤：步骤1：将视频通过ffmpeg抽帧，并分别形成去隔行扫描模型、视频插帧模型、去模糊网络和超分辨率模型的训练数据集；步骤2：训练去隔行扫描网络模型；步骤3：训练视频插帧网络模型；步骤4：训练去模糊网络；步骤5：训练超分辨率网络；步骤6：训练去噪网络。本发明基于深度学习对老旧影片分别应用去隔行扫描，视频去噪，视频去模糊，视频插帧和超分辨率技术对其进行修复，与人工手动相比，稳定性更高，提高了运算速度，提高了图像复原的精确度。本发明处理后的图像复原效果好、复原后图像清晰度高、使用方便、成本低等优点。

Description

一种基于深度学习的老旧影片修复重制方法
技术领域
本发明涉及深度学习和计算机视觉，尤其涉及一种基于深度学习的老旧影片修复重制方法。
背景技术
影片文化遗产是一个国家和民族的珍贵记忆，是未来非物质文化遗产的重要组成部分，是近现代中华民族文化走出去的优良载体。对传统的红色电影、反映中国近现代拼搏奋斗的正能量精神的电影来说，能够利用现代技术加以复原并呈现的更加丰满。但由于过去拍摄技术限制，大量老旧影片已无法满足人们对高清视觉的观看需求。
我国需要修复的电影胶片数量庞大，现存的胶片电影光故事片就有二三万部，而如今每年仅可修复约60部老电影胶片。按照目前全国的修复速度，将会有不少拷贝在修复之前“死去”，目前国家已重视到情况的严重性，正大力支持和提倡老电影修复产业，但是有能力进行精致修复的经典影片仅有200部。为了对年代久远、损伤严重的影片进行较好的修复，需要通过图像重构技术等，“制造”出画面上已经消失的细节信息以及对影像去模糊超分辨率等处理翻新。人工精修，基本上一个工作人员一天只能完成100到200帧的画面修复，一部90分钟的电影，大约有12万9600帧画面。如果要一帧一帧地精细修复，一部电影起码要用几个月的时间，成本也在百万级。
发明内容
本发明的目的在于提供一种基于深度学习的老旧影片修复重制方法。
本发明采用的技术方案是：
一种基于深度学习的老旧影片修复重制方法，其包括以下步骤：
步骤1：将视频通过ffmpeg抽帧，并分别形成去隔行扫描模型的训练数据集、视频插帧模型的训练数据集、去模糊网络的训练数据集和超分辨率模型的训练数据集；
步骤2：训练去隔行扫描网络模型，输入隔行扫描的奇数场和偶数场图像块得到去隔行扫描的预测结果
步骤2.1：去隔行扫描网络包括特征提取模块、非线性映射模块和重建模块；去隔行扫描的特征提取模块和非线性映射模块由简单的串联卷积层堆叠而成，并且每个卷积层后都有ReLU作为激活函数，ReLU函数公式如下所示：
f(x)＝max(0，x)；
步骤2.2：使用MSE-1函数作为训练去隔行扫描网络模型的损失函数，MSE-1函数如下所示：
其中，MSE-1表示损失函数，为训练的输入目标图像块，为训练的网络输出的预测图像块；
步骤3：训练视频插帧网络模型，输入连续三张视频帧It-1、It、It+1，分别表示前一帧、当前帧和后一帧，得到当前帧It的预测结果It′，即为插帧网络的输出；
步骤3.1：视频插帧网络模型的非线性映射模块采取U-Net的网络结构，U-Net的网络结构包括编码模块和解码模块；编码模块包括串联卷积层和一个平均池化层；平均池化层的作用是对输出的特征图进行下采样，通过除去特征图中不重要的样本进一步减少参数量；解码模块依次包含串联卷积层和上采样层；
步骤3.2：使用MSE-2函数作为视频插帧网络中训练的损失函数，MSE-2函数如下所示：
其中，MSE-2表示损失函数，It为训练的输入目标图像块，It′为训练的网络输出的预测图像块；
步骤4：训练去模糊网络；
步骤4.1：对训练数据集中的子图像块进行归一化处理和提取Y通道数据，
步骤4.2：将处理过后的模糊的子图像块利用残差网络模型分别经过特征提取、残差卷积和重建后获得去模糊的子图像块；
步骤4.3：使用MSE-3函数作为去模糊网络的损失函数，MSE-3函数如下所示：
其中，MSE-3表示损失函数，为训练的输入目标图像块，为训练的网络输出的预测图像块；
步骤5：训练超分辨率网络
步骤5.1：对训练数据集中的子图像块进行归一化处理和提取Y通道数据，
步骤5.2：输入处理过后的下采样子图像块利用超分辨率网络模型分别经过特征提取、非线性映射和重建得到网络输出
步骤5.3：使用Charbonnier函数作为超分辨率网络的损失函数；
步骤6：训练去噪网络，选用NTIRE2018所提供的数据集来进行训练；
步骤6.1：对输入噪声图像利用去噪网络模型分别经过特征提取和非线性映射得到去噪网络输出，
步骤6.2：使用Charbonnier函数作为去噪网络的损失函数。
进一步地，步骤1具体包括以下步骤：
步骤1.1：形成去隔行扫描模型的训练数据集：
步骤1.1.1：将视频通过ffmpeg抽帧得到每一帧图像，将得到的视频帧分别进行偶数场扫描和奇数场扫描得到隔行扫描的训练数据集，原始图像作为训练目标；
步骤1.1.2：每次取隔行扫描数据集中的子视频帧和对应的训练目标，按d×d大小截取子图像块和形成若干个图像块的配对集
步骤1.1.3：随机打乱配对集中的子图像块的顺序，得到去隔行扫描模型的训练数据集；
步骤1.2：形成视频插帧模型的训练数据集：
步骤1.2.1：将视频通过ffmpeg抽帧得到每一帧图像作为训练数据，每次取连续的三帧图像为一组训练视频帧对，其中每组的第二帧作为训练网络的目标，
步骤1.2.2：对每组图像按d×d大小截取子图像块It-1，It，It+1形成若干个子图像块的配对集{It-1，It，It+1}；
步骤1.2.3：随机打乱配对集中的子图像块的顺序，得到视频插帧模型的训练数据集；
步骤1.3：形成去模糊网络的训练数据集：
步骤1.3.1：根据图像模糊公式：
b(x，y)＝(k×I)×(x，y)+G(x，y)
其中b、I、k分别表示为模糊图片、原图、模糊核，G代表噪声；模糊核k大小的宽和高分别从(0，5)中随机取值，高斯白噪声方差G，从(0，100)内随机取值，使得每一个高清视频都有对应的不同程度模糊的视频；
步骤1.3.2：分别对高清视频和模糊视频进行抽帧，得到高清数据集和对应的模糊数据集；
步骤1.3.3：每次取模糊数据集中的视频帧按d×d大小截取子图像块同时在高清数据集中取对应的视频帧执行相同操作，得到子图像块形成若干个子图像块的配对集
步骤1.3.4：随机打乱配对集中的子图像块的顺序，得到模糊网络的训练数据集；
步骤1.4：形成超分辨率模型的训练数据集：
步骤1.4.1：将视频通过ffmpeg抽帧得到每一帧图像，将得到的视频帧进行下采样形成低分辨率视频帧，原始高分辨率视频帧作为训练目标；
步骤1.4.2：每次取低分辨率视频数据集中的低分辨率视频帧和对应训练目标的视频帧，按d×d大小截取子图像块和形成若干个子图像块的配对集
步骤1.4.3：随机打乱配对集中的子图像块的顺序，得到超分辨率模型的训练数据集；
3.根据权利要求1所述的一种基于深度学习的老旧影片修复重制方法，其特征在于：步骤4.1提取Y通道数据的具体步骤为：
步骤4.1.1：图像块的像素值是在[0，255]范围内，将图像块中的每个像素值除以255，使得每个像素值介于[0，1]之间，得到归一化后的图像；
步骤4.1.2：取归一化后的RGB图像块，将其转换为YCbcCr格式，根据公式
Y＝(0.256789×R+0.504129×G+0.097906×B)+16.0
Cb＝(-0.148223×R-0.290992×G+0.439215×B)+128.0
Cr＝(0.439215×R-0.367789×G-0.071426×B)+128.0
将得到的YCbCr的图像块进行通道分离，得到Y通道数据。
进一步地，步骤4.2、步骤5.2和步骤6.1中的特征提取阶段包含一个卷积层和非线性激活层，通过学习得到底层特征F1；
其中W1和B1为初始卷积层的权重和偏置参数，*代表卷积操作；
进一步地，步骤4.2中的残差卷积阶段的每个残差卷积模块包括依次设置的一个卷积层、一个非线性激活层、一个卷积层和一个跳跃连接操作；跳跃连接操作将该残差卷积块的输入特征F2k-1与该残差卷积块中第二个卷积层的输出特征相加，即：
F2k+1＝(W2k+1*Fk+b2k+1)+F2k-1
式中，k代表残差块序号，Fk代表残差块中第一个卷积层和非线性激活层的输出，W2k+1和b2k+1分别代表残差块中第二个卷积层的权重和偏置，F2k-1代表残差块的输入。
进一步地，步骤5.2和步骤6.1中非线性映射阶段的每一放大级别设置5个深度记忆模块，且所有卷积层后都是激活函数为带泄露线性整流函数的非线性激活层；深度记忆模块包括模块由残差模块和密集模块单元堆叠而成的深度记忆；
每个深度记忆模块的具体操作为：
步骤S1：每个深度记忆模块先提取特征，该特征记为f1，并通过三层卷积操作，并与特征f1相加，该操作的输出记为r1，
步骤S2：提特征f1经过四层卷积的密集连接，该操作的输出记为d1，
然后将r1，d1与特征f1进行连接操作，此时的输出特征记为f2；
步骤S3：特征f2通过两层卷积操作，并与特征f2相加，该操作的输出记为r2；同时，特征f2经过四层卷积的密集连接，该操作的输出记为b2；
步骤S4：将r2，b2和特征f2进行连接操作。
进一步地，步骤5.2中重建阶段的重建层是反卷积层，反卷积层将前一层网络的输出进行上采样，使输出的超分辨率图像与训练目标大小相等。
进一步地，步骤5.3和步骤6.2中的Charbonnier函数如下所示：
其中，为训练的输入目标图像块，为网络输出的预测图像块，且ε设置为0.001，使用Adam优化方法使Charbonnier损失函数最小化。
本发明采用以上技术方案，基于深度学习对老旧影片分别应用去隔行扫描，视频去噪，视频去模糊，视频插帧和超分辨率技术对其进行修复，与人工手动相比，稳定性更高，提高了运算速度，同时减少了计算机内存的消耗。本发明有效的解决了现有复原算法的噪声问题，提高了图像复原的精确度，增加了复原图像的清晰度从而提高了图像修复的效果。本发明处理后的图像复原效果好、复原后图像清晰度高、使用方便、成本低等优点。
附图说明
以下结合附图和具体实施方式对本发明做进一步详细说明；
图1为本发明一种基于深度学习的老旧影片修复重制方法的流程示意图；
图2为本发明一种基于深度学习的老旧影片修复重制方法的超分辨率的网络结构图；
图3为本发明一种基于深度学习的老旧影片修复重制方法的深度记忆模块结构图。
具体实施方式
如图1-3之一所示，本发明提出了一种基于深度学习的老旧影片修复重制方法，该修复过程主要包括去隔行扫描，视频去噪，视频去模糊，视频插帧和超分辨率技术，其具体流程如图1所示。本发明中所有卷积层均使用大小为3×3的卷积核，其具体步骤如下：
步骤1：将视频通过ffmpeg抽帧，并分别形成去隔行扫描模型的训练数据集、视频插帧模型的训练数据集、去模糊网络的训练数据集和超分辨率模型的训练数据集；
步骤1.1：形成去隔行扫描模型(model1)的训练数据集：
步骤1.1.1：将视频通过ffmpeg抽帧得到每一帧图像，将得到的视频帧分别进行偶数场扫描和奇数场扫描得到隔行扫描的训练数据集，原始图像作为训练目标；
步骤1.1.2：每次取隔行扫描数据集中的子视频帧和对应的训练目标，按d×d大小截取子图像块和形成若干个图像块的配对集
步骤1.1.3：随机打乱配对集中的子图像块的顺序，得到去隔行扫描模型(model1)的训练数据集；
步骤1.2：形成视频插帧模型(model2)的训练数据集：
步骤1.2.1：将视频通过ffmpeg抽帧得到每一帧图像作为训练数据，每次取连续的三帧图像为一组训练视频帧对，其中每组的第二帧作为训练网络的目标，
步骤1.2.2：对每组图像按d×d大小截取子图像块It-1，It，It+1形成若干个子图像块的配对集{It-1，It，It+1}；
步骤1.2.3：随机打乱配对集中的子图像块的顺序，得到视频插帧模型(model2)的训练数据集；
步骤1.3：形成去模糊网络(model3)的训练数据集：
步骤1.3.1：根据图像模糊公式：
b(x，y)＝(k×I)×(x，y)+G(x，y)
其中b、I、k分别表示为模糊图片、原图、模糊核，G代表噪声；模糊核k大小的宽和高分别从(0，5)中随机取值，高斯白噪声方差G，从(0，100)内随机取值，使得每一个高清视频都有对应的不同程度模糊的视频；
步骤1.3.2：分别对高清视频和模糊视频进行抽帧，得到高清数据集和对应的模糊数据集；
步骤1.3.3：每次取模糊数据集中的视频帧按d×d大小截取子图像块同时在高清数据集中取对应的视频帧执行相同操作，得到子图像块形成若干个子图像块的配对集
步骤1.3.4：随机打乱配对集中的子图像块的顺序，得到模糊网络(model3)的训练数据集；
步骤1.4：形成超分辨率模型(model4)的训练数据集：
步骤1.4.1：将视频通过ffmpeg抽帧得到每一帧图像，将得到的视频帧进行下采样形成低分辨率视频帧，原始高分辨率视频帧作为训练目标；
步骤1.4.2：每次取低分辨率视频数据集中的低分辨率视频帧和对应训练目标的视频帧，按d×d大小截取子图像块和形成若干个子图像块的配对集
步骤1.4.3：随机打乱配对集中的子图像块的顺序，得到超分辨率模型(model4)的训练数据集；
步骤2：训练去隔行扫描网络模型(model1)
步骤2.1：输入隔行扫描的奇数场和偶数场图像块得到去隔行扫描的预测结果即为去隔行扫描网络的输出。其中，去隔行扫描网络主要包括特征提取模块，非线性映射模块和重建模块组成。去隔行扫描的特征提取模块和非线性映射模块都是由简单的串联卷积层堆叠而成，并且每个卷积层后都有非线性整流函数(ReLU)作为激活函数，ReLU函数公式如下所示：
f(x)＝max(0，x)
步骤2.2：使用MSE函数作为视频插帧网络中训练目标图像块It和网络输出的预测图像块It′的损失函数，MSE函数如下所示：
步骤3：训练视频插帧网络模型(model2)。
步骤3.1：输入连续三张视频帧It-1，It，It+1(分别表示前一帧，当前帧和后一帧)，得到当前帧It的预测结果It′，即为插帧网络的输出。其中，视频插帧网络模型的非线性映射模块采取与U-Net[1]的网络结构，其编码模块包括串联卷积层和一个平均池化层。平均池化层的作用是对输出的特征图进行下采样，通过除去特征图中不重要的样本进一步减少参数量。其解码模块依次包含串联卷积层和上采样层。
步骤3.2：使用MSE函数作为视频插帧网络中训练目标图像块It和网络输出的预测图像块It′的损失函数，MSE函数如下所示：
步骤4：训练去模糊网络(model3)
步骤4.1：对训练数据集中的子图像块进行归一化处理和提取Y通道数据，
步骤4.2：将处理过后的模糊的子图像块利用残差网络模型分别经过特征提取、残差卷积和重建后获得去模糊的子图像块；
进一步地，步骤4.2中的特征提取阶段包含一个卷积层和非线性激活层，通过学习得到底层特征F1；
其中W1和B1为初始卷积层的权重和偏置参数，*代表卷积操作；
进一步地，步骤4.2中的残差卷积阶段的每个残差卷积模块包括依次设置的一个卷积层、一个非线性激活层、一个卷积层和一个跳跃连接操作；跳跃连接操作将该残差卷积块的输入特征F2k-1与该残差卷积块中第二个卷积层的输出特征相加，即：
F2k+1＝(W2k+1*Fk+b2k+1)+F2k-1
式中，k代表残差块序号，Fk代表残差块中第一个卷积层和非线性激活层的输出，W2k+1和b2k+1分别代表残差块中第二个卷积层的权重和偏置，F2k-1代表残差块的输入。
进一步地，步骤4.2中的重建阶段的重建层为卷积层，重建得到去模糊后的图像块。
步骤4.3：使用MSE-3函数作为去模糊网络的损失函数，MSE-3函数如下所示：
其中，MSE-3表示损失函数，为训练的输入目标图像块，为训练的网络输出的预测图像块；
步骤5：训练超分辨率网络(model4)；其中，超分辨率网络分别包括特征提取模块、非线性映射模块和重建模块，其网络结构图如图2所示。
步骤5.1：对训练数据集中的子图像块进行归一化处理和提取Y通道数据，
步骤5.2：输入处理过后的下采样子图像块利用超分辨率网络模型分别经过特征提取、非线性映射和重建得到网络输出
进一步地，步骤5.2中的特征提取阶段包含一个卷积层和非线性激活层，通过学习得到底层特征F1；
其中W1和B1为初始卷积层的权重和偏置参数，*代表卷积操作；
进一步地，步骤5.2和步骤6.1中非线性映射阶段的每一放大级别设置5个深度记忆模块，且所有卷积层后都是激活函数为带泄露线性整流函数的非线性激活层；深度记忆模块包括模块由残差模块和密集模块单元堆叠而成的深度记忆；
每个深度记忆模块的具体操作为：
步骤S1：每个深度记忆模块先提取特征，该特征记为f1，并通过三层卷积操作，并与特征f1相加，该操作的输出记为r1，
步骤S2：提特征f1经过四层卷积的密集连接(concat)，该操作的输出记为d1，
然后将r1，d1与特征f1进行连接操作，此时的输出特征记为f2；
步骤S3：特征f2通过两层卷积操作，并与特征f2相加，该操作的输出记为r2；同时，特征f2经过四层卷积的密集连接，该操作的输出记为b2；
步骤S4：将r2，b2和特征f2进行连接操作。
进一步地，步骤5.2中重建阶段的重建层是反卷积层(deconvolution)，反卷积层将前一层网络的输出进行上采样，使输出的超分辨率图像与训练目标大小相等。
步骤5.3：使用Charbonnier函数作为超分辨率网络的损失函数；Charbonnier函数如下所示：
通常情况下，ε设置为0.001，使用Adam优化方法使损失函数最小化。
步骤6：训练去噪网络(model5)：
选用NTIRE2018所提供的数据集来进行训练；
步骤6.1：对输入噪声图像利用去噪网络模型分别经过特征提取和非线性映射得到去噪网络输出，
进一步地，步骤6.1中的特征提取阶段包含一个卷积层和非线性激活层，通过学习得到底层特征F1；
其中W1和B1为初始卷积层的权重和偏置参数，*代表卷积操作；
进一步地，步骤6.1中非线性映射阶段的每一放大级别设置5个深度记忆模块，且所有卷积层后都是激活函数为带泄露线性整流函数的非线性激活层；深度记忆模块包括模块由残差模块和密集模块单元堆叠而成的深度记忆；
每个深度记忆模块的具体操作为：
步骤S1：每个深度记忆模块先提取特征，该特征记为f1，并通过三层卷积操作，并与特征f1相加，该操作的输出记为r1，
步骤S2：提特征f1经过四层卷积的密集连接，该操作的输出记为d1，
然后将r1，d1与特征f1进行连接操作，此时的输出特征记为f2；
步骤S3：特征f2通过两层卷积操作，并与特征f2相加，该操作的输出记为r2；同时，特征f2经过四层卷积的密集连接，该操作的输出记为b2；
步骤S4：将r2，b2和特征f2进行连接操作。
步骤6.2：使用Charbonnier函数作为去噪网络的损失函数。Charbonnier函数如下所示：
通常情况下，ε设置为0.001，使用Adam优化方法使损失函数最小化。
本发明采用以上技术方案，基于深度学习对老旧影片分别应用去隔行扫描，视频去噪，视频去模糊，视频插帧和超分辨率技术对其进行修复，与人工手动相比，稳定性更高，提高了运算速度，同时减少了计算机内存的消耗。本发明有效的解决了现有复原算法的噪声问题，提高了图像复原的精确度，增加了复原图像的清晰度从而提高了图像修复的效果。本发明处理后的图像复原效果好、复原后图像清晰度高、使用方便、成本低等优点。
参考文献
[1]Olaf Ronneberger，Philipp Fisher，and Thomas Brox.U-Net：Convolutional Networks for Biomedicla Image Segmentation[C]//InternationalConference on Medical Image computing and computer-assistedintervention.Springer，Cham，2015：234-241.
[2]KaiMing He，XiangYu Zhang，ShaoQing Ren，et al.Deep Residual Learningfor Image Recognition[C]//Procedings of the IEEE conference on computervision and pattern recognition.2015：770-778.
[3]Gao Huang，Zhuang Liu，Laurens van der Maaten，et al.DenselyConnected Convolutional Networks[C].Procedings of the IEEE conference oncomputer vision and pattern recognition.2017：4700-4708.
[4]WeiSheng Lai，JiaBin Huang，Narendra Ahuja，et al.Deep LaplacianPyramid Networks for Fast and Accurate Super-Resolution[C].Procedings of theIEEE conference on computer vision and pattern recognition.2017：624-632.

Claims (8)

1.一种基于深度学习的老旧影片修复重制方法，其特征在于：其包括以下步骤：
步骤1：将视频通过ffmpeg抽帧，并分别形成去隔行扫描模型的训练数据集、视频插帧模型的训练数据集、去模糊网络的训练数据集和超分辨率模型的训练数据集；
步骤2：训练去隔行扫描网络模型，输入隔行扫描的奇数场和偶数场图像块得到去隔行扫描的预测结果
步骤2.1：去隔行扫描网络包括特征提取模块、非线性映射模块和重建模块；去隔行扫描的特征提取模块和非线性映射模块由简单的串联卷积层堆叠而成，并且每个卷积层后都有ReLU作为激活函数，ReLU函数公式如下所示：
f(x)＝max(0，x)；
步骤2.2：使用MSE-1函数作为训练去隔行扫描网络模型的损失函数，MSE-1函数如下所示：
其中，MSE-1表示损失函数，为训练的输入目标图像块，为训练的网络输出的预测图像块；
步骤3：训练视频插帧网络模型，输入连续三张视频帧It-1、It、It+1，分别表示前一帧、当前帧和后一帧，得到当前帧It的预测结果It′，即为插帧网络的输出；
步骤3.1：视频插帧网络模型的非线性映射模块采取U-Net的网络结构，U-Net的网络结构包括编码模块和解码模块；编码模块包括串联卷积层和一个平均池化层；平均池化层的作用是对输出的特征图进行下采样，通过除去特征图中不重要的样本进一步减少参数量；解码模块依次包含串联卷积层和上采样层；
步骤3.2：使用MSE-2函数作为视频插帧网络中训练的损失函数，MSE-2函数如下所示：
其中，MSE-2表示损失函数，It为训练的输入目标图像块，It′为训练的网络输出的预测图像块；
步骤4：训练去模糊网络；
步骤4.1：对训练数据集中的子图像块进行归一化处理和提取Y通道数据，
步骤4.2：将处理过后的模糊的子图像块利用残差网络模型分别经过特征提取、残差卷积和重建后获得去模糊的子图像块；
步骤4.3：使用MSE-3函数作为去模糊网络的损失函数，MSE-3函数如下所示：
其中，MSE-3表示损失函数，为训练的输入目标图像块，为训练的网络输出的预测图像块；
步骤5：训练超分辨率网络
步骤5.1：对训练数据集中的子图像块进行归一化处理和提取Y通道数据，
步骤5.2：输入处理过后的下采样子图像块利用超分辨率网络模型分别经过特征提取、非线性映射和重建得到网络输出
步骤5.3：使用Charbonnier函数作为超分辨率网络的损失函数；
步骤6：训练去噪网络，选用NTIRE2018所提供的数据集来进行训练；
步骤6.1：对输入噪声图像利用去噪网络模型分别经过特征提取和非线性映射得到去噪网络输出；
步骤6.2：使用Charbonnier函数作为去噪网络的损失函数。
2.根据权利要求1所述的一种基于深度学习的老旧影片修复重制方法，其特征在于：步骤1具体包括以下步骤：
步骤1.1：形成去隔行扫描模型的训练数据集：
步骤1.1.1：将视频通过ffmpeg抽帧得到每一帧图像，将得到的视频帧分别进行偶数场扫描和奇数场扫描得到隔行扫描的训练数据集，原始图像作为训练目标；
步骤1.1.2：每次取隔行扫描数据集中的子视频帧和对应的训练目标，按d×d大小截取子图像块和形成若干个图像块的配对集
步骤1.1.3：随机打乱配对集中的子图像块的顺序，得到去隔行扫描模型的训练数据集；
步骤1.2：形成视频插帧模型的训练数据集：
步骤1.2.1：将视频通过ffmpeg抽帧得到每一帧图像作为训练数据，每次取连续的三帧图像为一组训练视频帧对，其中每组的第二帧作为训练网络的目标，
步骤1.2.2：对每组图像按d×d大小截取子图像块It-1，It，It+1形成若干个子图像块的配对集{It-1，It，It+1}；
步骤1.2.3：随机打乱配对集中的子图像块的顺序，得到视频插帧模型的训练数据集；
步骤1.3：形成去模糊网络的训练数据集：
步骤1.3.1：根据图像模糊公式：
b(x，y)＝(k×I)＝(x，y)+G(x，y)
其中b、I、k分别表示为模糊图片、原图、模糊核，G代表噪声；模糊核k大小的宽和高分别从(0，5)中随机取值，高斯白噪声方差G，从(0，100)内随机取值，使得每一个高清视频都有对应的不同程度模糊的视频；
步骤1.3.2：分别对高清视频和模糊视频进行抽帧，得到高清数据集和对应的模糊数据集；
步骤1.3.3：每次取模糊数据集中的视频帧按d×d大小截取子图像块同时在高清数据集中取对应的视频帧执行相同操作，得到子图像块形成若干个子图像块的配对集
步骤1.3.4：随机打乱配对集中的子图像块的顺序，得到模糊网络的训练数据集；
步骤1.4：形成超分辨率模型的训练数据集：
步骤1.4.1：将视频通过ffmpeg抽帧得到每一帧图像，将得到的视频帧进行下采样形成低分辨率视频帧，原始高分辨率视频帧作为训练目标；
步骤1.4.2：每次取低分辨率视频数据集中的低分辨率视频帧和对应训练目标的视频帧，按d×d大小截取子图像块和形成若干个子图像块的配对集
步骤1.4.3：随机打乱配对集中的子图像块的顺序，得到超分辨率模型的训练数据集。
3.根据权利要求1所述的一种基于深度学习的老旧影片修复重制方法，其特征在于：步骤4.1提取Y通道数据的具体步骤为：
步骤4.1.1：图像块的像素值是在[0,255]范围内，将图像块中的每个像素值除以255，使得每个像素值介于[0,1]之间，得到归一化后的图像；
步骤4.1.2：取归一化后的RGB图像块，将其转换为YCbcCr格式，根据公式
Y＝(0.256789×R+0.504129×G+0.097906×B)+16.0
Cb＝(-0.148223×R-0.290992×G+0.439215×B)+128.0
Cr＝(0.439215×R-0.367789×G-0.071426×B)+128.0
将得到的YCbCr的图像块进行通道分离，得到Y通道数据。
4.根据权利要求1所述的一种基于深度学习的老旧影片修复重制方法，其特征在于：步骤4.2、步骤5.2和步骤6.1中的特征提取阶段包含一个卷积层和非线性激活层，通过学习得到底层特征F1；
其中W1和B1为初始卷积层的权重和偏置参数,*代表卷积操作。
5.根据权利要求1所述的一种基于深度学习的老旧影片修复重制方法，其特征在于：步骤4.2中的残差卷积阶段的每个残差卷积模块包括依次设置的一个卷积层、一个非线性激活层、一个卷积层和一个跳跃连接操作；跳跃连接操作将该残差卷积块的输入特征F2k-1与该残差卷积块中第二个卷积层的输出特征相加，即：
F2k+1＝(W2k+1*Fk+b2k+1)+F2k-1
式中，k代表残差块序号，Fk代表残差块中第一个卷积层和非线性激活层的输出，W2k+1和b2k+1分别代表残差块中第二个卷积层的权重和偏置，F2k-1代表残差块的输入。
6.根据权利要求1所述的一种基于深度学习的老旧影片修复重制方法，其特征在于：步骤5.2和步骤6.1中非线性映射阶段的每一放大级别设置5个深度记忆模块，且所有卷积层后都是激活函数为带泄露线性整流函数的非线性激活层；深度记忆模块包括模块由残差模块和密集模块单元堆叠而成的深度记忆；
每个深度记忆模块的具体操作为：
步骤S1:每个深度记忆模块先提取特征，该特征记为f1，并通过三层卷积操作，并与特征f1相加，该操作的输出记为r1，
步骤S2:提特征f1经过四层卷积的密集连接，该操作的输出记为d1，
然后将r1，d1与特征f1进行连接操作，此时的输出特征记为f2；
步骤S3:特征f2通过两层卷积操作，并与特征f2相加，该操作的输出记为r2；同时，特征f2经过四层卷积的密集连接，该操作的输出记为b2；
步骤S4:将r2，b2和特征f2进行连接操作。
7.根据权利要求1所述的一种基于深度学习的老旧影片修复重制方法，其特征在于：步骤5.2中重建阶段的重建层是反卷积层，反卷积层将前一层网络的输出进行上采样，使输出的超分辨率图像与训练目标大小相等。
8.根据权利要求1所述的一种基于深度学习的老旧影片修复重制方法，其特征在于：步骤5.3和步骤6.2中的Charbonnier函数如下所示：
其中，为训练的输入目标图像块，为网络输出的预测图像块，且ε设置为0.001，使用Adam优化方法使Charbonnier损失函数最小化。
CN201810699895.0A 2018-06-29 2018-06-29 一种基于深度学习的老旧影片修复重制方法 Active CN108961186B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810699895.0A CN108961186B (zh) 2018-06-29 2018-06-29 一种基于深度学习的老旧影片修复重制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810699895.0A CN108961186B (zh) 2018-06-29 2018-06-29 一种基于深度学习的老旧影片修复重制方法

Publications (2)

Publication Number Publication Date
CN108961186A true CN108961186A (zh) 2018-12-07
CN108961186B CN108961186B (zh) 2022-02-15

Family

ID=64484635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810699895.0A Active CN108961186B (zh) 2018-06-29 2018-06-29 一种基于深度学习的老旧影片修复重制方法

Country Status (1)

Country Link
CN (1) CN108961186B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109559290A (zh) * 2018-12-14 2019-04-02 中国石油大学(华东) 一种深度非对称跳跃连接的图像降噪方法
CN109785249A (zh) * 2018-12-22 2019-05-21 昆明理工大学 一种基于持续性记忆密集网络的图像高效去噪方法
CN109816620A (zh) * 2019-01-31 2019-05-28 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110276739A (zh) * 2019-07-24 2019-09-24 中国科学技术大学 一种基于深度学习的视频去抖方法
CN110378860A (zh) * 2019-07-30 2019-10-25 腾讯科技（深圳）有限公司 修复视频的方法、装置、计算机设备和存储介质
CN110428382A (zh) * 2019-08-07 2019-11-08 杭州微帧信息科技有限公司 一种用于移动终端的高效视频增强方法、装置和存储介质
CN110490817A (zh) * 2019-07-22 2019-11-22 武汉大学 一种基于掩模学习的图像噪声抑制方法
CN110751597A (zh) * 2019-10-12 2020-02-04 西安电子科技大学 基于编码损伤修复的视频超分辨方法
CN111524068A (zh) * 2020-04-14 2020-08-11 长安大学 一种基于深度学习的变长输入超分辨率视频重建方法
CN111738951A (zh) * 2020-06-22 2020-10-02 北京字节跳动网络技术有限公司 图像处理方法及装置
CN111757087A (zh) * 2020-06-30 2020-10-09 北京金山云网络技术有限公司 Vr视频的处理方法、装置和电子设备
CN112188236A (zh) * 2019-07-01 2021-01-05 北京新唐思创教育科技有限公司 视频插帧模型训练、视频插帧生成方法及相关装置
CN112686811A (zh) * 2020-11-27 2021-04-20 深兰科技（上海）有限公司 视频处理方法、视频处理装置、电子设备和存储介质
CN113034392A (zh) * 2021-03-22 2021-06-25 山西三友和智慧信息技术股份有限公司 一种基于U-net的HDR去噪和去模糊方法
CN113554058A (zh) * 2021-06-23 2021-10-26 广东奥普特科技股份有限公司 视觉目标图像分辨率增强的方法、系统、装置及存储介质
CN113888426A (zh) * 2021-09-28 2022-01-04 国网安徽省电力有限公司电力科学研究院 一种基于深度可分离残差网络的电力监控视频去模糊方法
CN114286126A (zh) * 2020-09-28 2022-04-05 阿里巴巴集团控股有限公司 视频处理方法及装置
CN114697709A (zh) * 2020-12-25 2022-07-01 华为技术有限公司 视频传输方法及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070071362A1 (en) * 2004-12-16 2007-03-29 Peyman Milanfar Dynamic reconstruction of high-resolution video from color-filtered low-resolution video-to-video super-resolution
CN101231693A (zh) * 2007-01-24 2008-07-30 通用电气公司 由视频重建复原的面部图像的系统和方法
US20090060373A1 (en) * 2007-08-24 2009-03-05 General Electric Company Methods and computer readable medium for displaying a restored image
CN102496165A (zh) * 2011-12-07 2012-06-13 四川九洲电器集团有限责任公司 一种基于运动检测与特征提取的综合性视频处理方法
CN104616257A (zh) * 2015-01-26 2015-05-13 山东省计算中心（国家超级计算济南中心） 一种模糊退化数字图像在司法中的复原取证方法
JP2015095702A (ja) * 2013-11-11 2015-05-18 株式会社朋栄 １パスビデオ超解像処理方法及びその映像処理を遂行する映像処理装置
US9218648B2 (en) * 2009-10-27 2015-12-22 Honeywell International Inc. Fourier domain blur estimation method and system
CN106251289A (zh) * 2016-07-21 2016-12-21 北京邮电大学 一种基于深度学习和自相似性的视频超分辨率重建方法
CN106683067A (zh) * 2017-01-20 2017-05-17 福建帝视信息科技有限公司 一种基于残差子图像的深度学习超分辨率重建方法
CN107274347A (zh) * 2017-07-11 2017-10-20 福建帝视信息科技有限公司 一种基于深度残差网络的视频超分辨率重建方法
CN108109109A (zh) * 2017-12-22 2018-06-01 浙江大华技术股份有限公司 一种超分辨率图像重构方法、装置、介质及计算设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070071362A1 (en) * 2004-12-16 2007-03-29 Peyman Milanfar Dynamic reconstruction of high-resolution video from color-filtered low-resolution video-to-video super-resolution
CN101231693A (zh) * 2007-01-24 2008-07-30 通用电气公司 由视频重建复原的面部图像的系统和方法
US20090060373A1 (en) * 2007-08-24 2009-03-05 General Electric Company Methods and computer readable medium for displaying a restored image
US9218648B2 (en) * 2009-10-27 2015-12-22 Honeywell International Inc. Fourier domain blur estimation method and system
CN102496165A (zh) * 2011-12-07 2012-06-13 四川九洲电器集团有限责任公司 一种基于运动检测与特征提取的综合性视频处理方法
JP2015095702A (ja) * 2013-11-11 2015-05-18 株式会社朋栄 １パスビデオ超解像処理方法及びその映像処理を遂行する映像処理装置
CN104616257A (zh) * 2015-01-26 2015-05-13 山东省计算中心（国家超级计算济南中心） 一种模糊退化数字图像在司法中的复原取证方法
CN106251289A (zh) * 2016-07-21 2016-12-21 北京邮电大学 一种基于深度学习和自相似性的视频超分辨率重建方法
CN106683067A (zh) * 2017-01-20 2017-05-17 福建帝视信息科技有限公司 一种基于残差子图像的深度学习超分辨率重建方法
CN107274347A (zh) * 2017-07-11 2017-10-20 福建帝视信息科技有限公司 一种基于深度残差网络的视频超分辨率重建方法
CN108109109A (zh) * 2017-12-22 2018-06-01 浙江大华技术股份有限公司 一种超分辨率图像重构方法、装置、介质及计算设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YUKI MATSUSHITA ET AL: "Simultaneous deblur and super-resolution technique for video sequence captured by hand-held video camera", 《2014 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》 *
潘浩: "数字视频的修复方法研究", 《中国博士学位论文全文数据库信息科技辑》 *
贾苏娟: "视频图像超分辨率重建算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109559290A (zh) * 2018-12-14 2019-04-02 中国石油大学(华东) 一种深度非对称跳跃连接的图像降噪方法
CN109785249A (zh) * 2018-12-22 2019-05-21 昆明理工大学 一种基于持续性记忆密集网络的图像高效去噪方法
CN109816620A (zh) * 2019-01-31 2019-05-28 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN109816620B (zh) * 2019-01-31 2021-01-05 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN112188236A (zh) * 2019-07-01 2021-01-05 北京新唐思创教育科技有限公司 视频插帧模型训练、视频插帧生成方法及相关装置
CN110490817A (zh) * 2019-07-22 2019-11-22 武汉大学 一种基于掩模学习的图像噪声抑制方法
CN110276739A (zh) * 2019-07-24 2019-09-24 中国科学技术大学 一种基于深度学习的视频去抖方法
CN110276739B (zh) * 2019-07-24 2021-05-07 中国科学技术大学 一种基于深度学习的视频去抖方法
CN110378860A (zh) * 2019-07-30 2019-10-25 腾讯科技（深圳）有限公司 修复视频的方法、装置、计算机设备和存储介质
CN110378860B (zh) * 2019-07-30 2023-08-18 腾讯科技（深圳）有限公司 修复视频的方法、装置、计算机设备和存储介质
CN110428382B (zh) * 2019-08-07 2023-04-18 杭州微帧信息科技有限公司 一种用于移动终端的高效视频增强方法、装置和存储介质
CN110428382A (zh) * 2019-08-07 2019-11-08 杭州微帧信息科技有限公司 一种用于移动终端的高效视频增强方法、装置和存储介质
CN110751597A (zh) * 2019-10-12 2020-02-04 西安电子科技大学 基于编码损伤修复的视频超分辨方法
CN111524068A (zh) * 2020-04-14 2020-08-11 长安大学 一种基于深度学习的变长输入超分辨率视频重建方法
CN111524068B (zh) * 2020-04-14 2023-06-02 长安大学 一种基于深度学习的变长输入超分辨率视频重建方法
CN111738951A (zh) * 2020-06-22 2020-10-02 北京字节跳动网络技术有限公司 图像处理方法及装置
CN111738951B (zh) * 2020-06-22 2024-03-15 北京字节跳动网络技术有限公司 图像处理方法及装置
CN111757087A (zh) * 2020-06-30 2020-10-09 北京金山云网络技术有限公司 Vr视频的处理方法、装置和电子设备
CN114286126A (zh) * 2020-09-28 2022-04-05 阿里巴巴集团控股有限公司 视频处理方法及装置
CN112686811A (zh) * 2020-11-27 2021-04-20 深兰科技（上海）有限公司 视频处理方法、视频处理装置、电子设备和存储介质
CN114697709A (zh) * 2020-12-25 2022-07-01 华为技术有限公司 视频传输方法及装置
CN113034392A (zh) * 2021-03-22 2021-06-25 山西三友和智慧信息技术股份有限公司 一种基于U-net的HDR去噪和去模糊方法
CN113554058A (zh) * 2021-06-23 2021-10-26 广东奥普特科技股份有限公司 视觉目标图像分辨率增强的方法、系统、装置及存储介质
CN113888426A (zh) * 2021-09-28 2022-01-04 国网安徽省电力有限公司电力科学研究院 一种基于深度可分离残差网络的电力监控视频去模糊方法
CN113888426B (zh) * 2021-09-28 2024-06-14 国网安徽省电力有限公司电力科学研究院 一种基于深度可分离残差网络的电力监控视频去模糊方法

Also Published As

Publication number Publication date
CN108961186B (zh) 2022-02-15

Similar Documents

Publication Publication Date Title
CN108961186B (zh) 一种基于深度学习的老旧影片修复重制方法
US10970600B2 (en) Method and apparatus for training neural network model used for image processing, and storage medium
CN109741256B (zh) 基于稀疏表示和深度学习的图像超分辨率重建方法
CN112435191B (zh) 一种基于多个神经网络结构融合的低照度图像增强方法
CN108921786A (zh) 基于残差卷积神经网络的图像超分辨率重构方法
CN103871041B (zh) 基于认知正则化参数构建的图像超分辨率重构方法
CN106709875A (zh) 一种基于联合深度网络的压缩低分辨率图像复原方法
CN111667410B (zh) 图像分辨率提升方法、装置及电子设备
CN107424121B (zh) 一种基于分数阶微分的模糊图像超分辨率重构方法
CN111696035A (zh) 一种基于光流运动估计算法的多帧图像超分辨率重建方法
CN113724136B (zh) 一种视频修复方法、设备及介质
CN109886906B (zh) 一种细节敏感的实时弱光视频增强方法和系统
CN104504672B (zh) 基于NormLV特征的低秩稀疏邻域嵌入超分辨方法
Choi et al. Wavelet attention embedding networks for video super-resolution
CN115578255A (zh) 一种基于帧间亚像素块匹配的超分辨率重建方法
CN117333398A (zh) 一种基于自监督的多尺度图像去噪方法及装置
CN114972036A (zh) 一种基于融合退化先验的盲图像超分辨率重建方法和系统
CN115187455A (zh) 一种用于压缩图像的轻量级超分辨率重建模型及系统
CN103685858A (zh) 视频实时处理的方法及设备
Zhang et al. Multi-scale-based joint super-resolution and inverse tone-mapping with data synthesis for UHD HDR video
CN113240581A (zh) 一种针对未知模糊核的真实世界图像超分辨率方法
CN117745541A (zh) 一种基于轻量级混合注意力网络的图像超分辨率重建方法
CN111814543B (zh) 深度视频对象修复篡改检测方法
CN103400394B (zh) 基于特征导向变分光流的视频超分辨率方法
CN117455804A (zh) 基于注意力机制残差傅里叶变换网络的图像去模糊方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190716

Address after: 350000 Area B, 5th Floor, No. 2 Building, Yunzu, 528 Xihong Road, Gulou District, Fuzhou City, Fujian Province

Applicant after: Fujian Timor view Mdt InfoTech Ltd

Address before: Unit 5, Unit 14, Comprehensive Dormitory Building, Guangming Lane News Center, New District, Hohhot City, Inner Mongolia Autonomous Region, 010000

Applicant before: Zhao Yan

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant