CN110533615A - 一种基于生成对抗网络的老电影大面积破损修复方法 - Google Patents
一种基于生成对抗网络的老电影大面积破损修复方法 Download PDFInfo
- Publication number
- CN110533615A CN110533615A CN201910810872.7A CN201910810872A CN110533615A CN 110533615 A CN110533615 A CN 110533615A CN 201910810872 A CN201910810872 A CN 201910810872A CN 110533615 A CN110533615 A CN 110533615A
- Authority
- CN
- China
- Prior art keywords
- frame
- network
- damaged
- sequence
- old film
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 15
- 230000008439 repair process Effects 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 5
- 230000000873 masking effect Effects 0.000 claims description 5
- 230000008447 perception Effects 0.000 claims description 5
- 239000003550 marker Substances 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 3
- 230000014509 gene expression Effects 0.000 description 9
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 230000004069 differentiation Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000011017 operating method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000017260 vegetative to reproductive phase transition of meristem Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于生成对抗网络的老电影大面积破损修复方法，该方法针对老电影大面积破损设计了一种修复方法，包括三个步骤：（1）对待修复老电影进行预处理，标记破损帧掩膜；（2）将老电影中未破损序列输入生成对抗网络，进行深度网络模型训练；（3）将老电影中破损序列输入步骤2所训练的网络模型，最终输出修复结果。本方法所设计生成对抗网络的生成网络采用逐帧修复的方式，接收破损帧和已修复帧为输入，判别网络对抗式地判别生成网络输出结果的真假，通过多损失联合的目标函数实现网络的训练。该方法相较现有方法在修复质量和效率方面都有一定的提高，具有工程应用价值。
Description
技术领域
本发明涉及视频处理及计算机图像修复技术领域，特别涉及一种基于生成对抗网络的老电影大面积破损修复方法。
背景技术
老电影作为一种重要的文化遗产，各国越来越重视对其的保护。伴随着现代电影制作工艺的进一步发展，影像处理技术已全面进入数字化时代，借助跨学科的技术手段，对老电影进行数字化存储和修复，不仅可以对这些珍贵资料进行抢救与保护，还可使其重新发挥文化和商业价值。大面积破损作为老电影修复中的难点，现有方法通过搜索已有信息对缺损区域进行填充，不能获取视频的语义和全局结构信息，对于老电影大面积破损的修复处理效果不佳。
发明内容
本发明提供了一种基于生成对抗网络的老电影大面积破损修复方法，能够提高老电影大面积破损修复的质量和效率。
为达到上述目的，本发明采用如下的技术方案：
一种基于生成对抗网络的老电影大面积破损修复方法，包含以下操作步骤：
步骤1：对待修复老电影进行预处理，标记破损帧掩膜；
步骤2：将老电影中未破损序列输入生成对抗网络，进行深度网络模型训练；
步骤3：将老电影中破损序列输入步骤2所训练的网络模型，输出修复结果。
所述步骤1的预处理包括如下操作：
1-1：对待修复老电影进行分镜处理，然后划分为每30帧为一组的视频序列；
1-2：对序列帧的分辨率进行调整，缩放为256*256；
1-3：对破损帧进行标记，得到二值标记掩膜，1代表破损区域，0代表未破损区域；
1-4：对未破损帧采用随机方式产生二值掩膜，每帧标记的破损均不相同，1代表破损区域，0代表未破损区域；
1-5：对未破损序列按5:1的比例划分训练集和验证集。
所述步骤2的网络模型训练包括如下操作：
2-1：深度网络由生成网络和判别网络组成，生成网络以序列中连续破损三帧和前两帧修复结果作为输入，输出为修复后的当前帧；
2-2：生成网络由三个部分组成，分别是当前帧生成网络、光流生成网络、遮蔽生成网络；
2-3：判别网络由两个部分组成，分别是单帧时空判别器和序列时空判别器；
2-4：目标函数由四个损失项组成，分别是对抗损失、判别器特征匹配损失、光流损失、感知损失；
2-5：网络模型采用学习率为0.002的优化算法，批处理尺寸设定为1。
所述步骤3的老电影修复输出包括如下操作：
3-1：序列采用逐帧依次修复的方式，修复从序列的第一个破损帧开始；
3-2：对于序列破损首帧，网络模型的一项输入为前两帧和该帧，另一项输入为前两帧；
3-3：对于序列破损的第二帧，网络模型的一项输入是前两帧和该帧，另一项输入为前一个修复帧和再前一帧；
3-4：对于序列破损的第三帧及后续帧，网络模型的一项输入是前两帧和该帧，另一项输入为前两个修复帧。
与现有技术相比，本发明具有如下的优点：
本方法所设计生成对抗网络的生成网络采用逐帧修复的方式，接收破损帧和已修复帧为输入，判别网络对抗式地判别生成网络输出结果的真假，通过多损失联合的目标函数实现网络的训练。该方法相较现有方法在修复质量和效率方面都有一定的提高，具有工程应用价值。
附图说明
图1为一种基于生成对抗网络的老电影大面积破损修复方法的生成网络架构。
图2为本方法训练的网络模型应用到步骤1验证集序列的修复结果。
图3为本方法训练的网络模型应用到步骤1实际破损序列的修复结果。
具体实施方式
以下结合附图对本发明的实施例进行详细的说明。
一种基于生成对抗网络的老电影大面积破损修复方法，包含以下操作步骤：
步骤1：对待修复老电影进行预处理，标记破损帧掩膜；具体包括：
1-1：对待修复老电影进行分镜处理，然后划分为每30帧为一组的视频序列；
1-2：对序列帧的分辨率进行调整，缩放为256*256；
1-3：对破损帧进行标记，得到二值标记掩膜，1代表破损区域，0代表未破损区域；
1-4：对未破损帧采用随机方式产生二值掩膜，每帧标记的破损均不相同，1代表破损区域，0代表未破损区域；
1-5：对未破损序列按5:1的比例划分训练集和验证集。
步骤2：将老电影中未破损序列输入生成对抗网络，进行深度网络模型训练；具体包括：
2-1：深度网络由生成网络和判别网络组成，生成网络以序列中连续破损三帧和前两帧修复结果作为输入，输出修复后的当前帧
2-2：生成网络由三个部分组成，分别是当前帧生成网络、光流生成网络、遮蔽生成网络；
生成网络结构如图1所示，首先，当前帧生成网络、光流生成网络和遮蔽生成网络共用如下结构：经过4个由卷积、实例正则化和修正线性单元顺序构成的神经网络层和5个残差块层后得到中间特征，与此同时，经过4个由卷积、实例正则化和修正线性单元顺序构成的神经网络层和5个残差块层后得到另一个中间特征，两个特征相加并作为后续的输入。然后，对于当前帧修复网络，紧接着4个残差块层和4个由反卷积、实例正则化和修正线性单元构成的卷积层输出当前帧修复结果对于光流生成网络和遮蔽生成网络，紧接着4个残差块层和3个由反卷积、实例正则化和修正线性单元构成的卷积层；两者不同之处在于，光流生成网络最后接一个卷积层输出修复后的光流遮蔽生成网络最后接一个带激活函数的卷积层输出修复后的遮蔽掩膜最终对当前帧的修复由如下表达式计算：
式中，表示由和作为输入，F表示神经网络模型。
2-3：判别网络由两个部分组成，分别是单帧时空判别器和序列时空判别器；
所述判别网络描述为，单帧时空判别器的网络结构采用多尺度块对抗网络，输入为真实的当前帧、破损帧集合或修复后的当前帧、破损帧集合；序列时空对抗网络结构采用多尺度对抗网络，输入为真实的修复序列、真实光流序列集合或修复后的序列、真实光流序列集合。
2-4：目标函数由四个损失项组成，分别是对抗损失、判别器特征匹配损失、光流损失、感知损失；
所述目标函数表达式如下：
式中表示目标函数联合损失，是关于单帧时空判别器DI的对抗损失，是关于序列时空判别器DV的对抗损失,是判别器特征匹配损失,是光流损失,是感知损失，λFM、λw和λvgg分别是判别器匹配损失,光流损失和感知损失所对应的权重系数，λFM的取值为10，λw取值为20，λvgg取值为10。的详细表达式如下：
式中φI为随机选取操作，表示随机选取序列中的一帧，i为帧序号，表示真实序列，表示输入序列，表示修复序列，xi表示随机选择的实际帧，si表示随机选择的实际帧，表示随机选择的修复帧。的详细表达式如下：
式中φV为随机选取操作，表示随机选取连续的三帧，i为帧序号，表示真实光流序列，表示随机选择的真实帧集合，表示对应的真实光流集合，表示随机选择的修复帧集合。的详细表达式如下：
式中t是帧序号，表示判别网络DI第n层的特征映射，表示判别网络DV第n层的特征映射。的详细表达式如下：
式中t是帧序号，是修复光流，wt是真实光流，bt是真实遮蔽掩膜，是通过预测的xt的下一帧，xt+1是xt真实的下一帧。的详细表达式如下
式中t是帧序号，Ψn是预训练深度网络第n层的特征映射。
2-5：网络模型采用学习率为0.0002的优化算法，批处理尺寸设定为1。
步骤3：将老电影中破损序列输入步骤2所训练的网络模型，输出修复结果；具体包括：
3-1：序列采用逐帧依次修复的方式，修复从序列的第一个破损帧开始；
3-2：对于序列破损首帧，网络模型的一项输入为前两帧和该帧，另一项输入为前两帧；
3-3：对于序列破损的第二帧，网络模型的一项输入是前两帧和该帧，另一项输入为前一个修复帧和再前一帧；
3-4：对于序列破损的第三帧及后续帧，网络模型的一项输入是前两帧和该帧，另一项输入为前两个修复帧。
下面结合具体的实例证明本发明提供的一种基于生成对抗网络的老电影大面积破损修复方法的可行性，详见下文描述：
本发明截取老电影《山间铃响马帮来》部分序列进行实验。图2(a)为添加随机掩膜后的验证集破损输入序列，图2(b)为采用本方法的修复结果；图3(a)为实际破损序列，图3(b)为采用本方法的修复结果。图2和3表明，本方法能够充分利用了序列全局的语义结构信息较好地对实现对老电影的修复，还原出破损区域的语义信息并保持修复结果时空上的连续性。本方法训练的网络模型能够用于实际的破损序列修复。
Claims (4)
1.一种基于生成对抗网络的老电影大面积破损修复方法，其特征在于，包含以下操作步骤：
步骤1：对待修复老电影进行预处理，标记破损帧掩膜；
步骤2：将老电影中未破损序列输入生成对抗网络，进行深度网络模型训练；
步骤3：将老电影中破损序列输入步骤2所训练的网络模型，输出修复结果。
2.根据权利要求1所述的一种基于生成对抗网络的老电影大面积破损修复方法，其特征在于，所述步骤1的预处理包括如下操作：
1-1：对待修复老电影进行分镜处理，然后划分为每30帧为一组的视频序列；
1-2：对序列帧的分辨率进行调整，缩放为256*256；
1-3：对破损帧进行标记，得到二值标记掩膜，1代表破损区域，0代表未破损区域；
1-4：对未破损帧采用随机方式产生二值掩膜，每帧标记的破损均不相同，1代表破损区域，0代表未破损区域；
1-5：对未破损序列按5:1的比例划分训练集和验证集。
3.根据权利要求1所述的一种基于生成对抗网络的老电影大面积破损修复方法，其特征在于，所述步骤2的网络模型训练包括如下操作：
2-1：深度网络由生成网络和判别网络组成，生成网络以序列中连续破损三帧和前两帧修复结果作为输入，输出为修复后的当前帧；
2-2：生成网络由三个部分组成，分别是当前帧生成网络、光流生成网络、遮蔽生成网络；
2-3：判别网络由两个部分组成，分别是单帧时空判别器和序列时空判别器；
2-4：目标函数由四个损失项组成，分别是对抗损失、判别器特征匹配损失、光流损失、感知损失；
2-5：网络模型采用学习率为0.002的优化算法，批处理尺寸设定为1。
4.根据权利要求1所述的一种基于生成对抗网络的老电影大面积破损修复方法，其特征在于，所述步骤3的老电影修复输出包括如下操作：
3-1：序列采用逐帧依次修复的方式，修复从序列的第一个破损帧开始；
3-2：对于序列破损首帧，网络模型的一项输入为前两帧和该帧，另一项输入为前两帧；
3-3：对于序列破损的第二帧，网络模型的一项输入是前两帧和该帧，另一项输入为前一个修复帧和再前一帧；
3-4：对于序列破损的第三帧及后续帧，网络模型的一项输入是前两帧和该帧，另一项输入为前两个修复帧。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910810872.7A CN110533615A (zh) | 2019-08-30 | 2019-08-30 | 一种基于生成对抗网络的老电影大面积破损修复方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910810872.7A CN110533615A (zh) | 2019-08-30 | 2019-08-30 | 一种基于生成对抗网络的老电影大面积破损修复方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110533615A true CN110533615A (zh) | 2019-12-03 |
Family
ID=68665315
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910810872.7A Pending CN110533615A (zh) | 2019-08-30 | 2019-08-30 | 一种基于生成对抗网络的老电影大面积破损修复方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110533615A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112215140A (zh) * | 2020-10-12 | 2021-01-12 | 苏州天必佑科技有限公司 | 一种基于时空对抗的3维信号处理方法 |
| WO2022179124A1 (zh) * | 2021-02-27 | 2022-09-01 | 华为技术有限公司 | 一种图像修复方法及装置 |
| WO2023193521A1 (zh) * | 2022-04-06 | 2023-10-12 | 腾讯科技（深圳）有限公司 | 一种视频修复的方法、相关装置、设备以及存储介质 |
| CN117575917A (zh) * | 2023-11-08 | 2024-02-20 | 齐齐哈尔大学 | 一种基于深度学习的老电影修复方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108960086A (zh) * | 2018-06-20 | 2018-12-07 | 电子科技大学 | 基于生成对抗网络正样本增强的多姿态人体目标跟踪方法 |
| CN109657156A (zh) * | 2019-01-22 | 2019-04-19 | 杭州师范大学 | 一种基于循环生成对抗网络的个性化推荐方法 |
| CN109785258A (zh) * | 2019-01-10 | 2019-05-21 | 华南理工大学 | 一种基于多判别器生成对抗网络的人脸图像修复方法 |
| CN109872278A (zh) * | 2018-12-18 | 2019-06-11 | 深圳先进技术研究院 | 基于u形网络和生成对抗网络的图像云层移除方法 |
-
2019
- 2019-08-30 CN CN201910810872.7A patent/CN110533615A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108960086A (zh) * | 2018-06-20 | 2018-12-07 | 电子科技大学 | 基于生成对抗网络正样本增强的多姿态人体目标跟踪方法 |
| CN109872278A (zh) * | 2018-12-18 | 2019-06-11 | 深圳先进技术研究院 | 基于u形网络和生成对抗网络的图像云层移除方法 |
| CN109785258A (zh) * | 2019-01-10 | 2019-05-21 | 华南理工大学 | 一种基于多判别器生成对抗网络的人脸图像修复方法 |
| CN109657156A (zh) * | 2019-01-22 | 2019-04-19 | 杭州师范大学 | 一种基于循环生成对抗网络的个性化推荐方法 |
Non-Patent Citations (1)
| Title |
|---|
| TING-CHUN WANG等: "Video-to-Video Synthesis", 《PROCEEDINGS OF THE 32ND INTERNATIONAL CONFERENCE ON NEURAL INFORMATION PROCESSING SYSTEMS》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112215140A (zh) * | 2020-10-12 | 2021-01-12 | 苏州天必佑科技有限公司 | 一种基于时空对抗的3维信号处理方法 |
| WO2022179124A1 (zh) * | 2021-02-27 | 2022-09-01 | 华为技术有限公司 | 一种图像修复方法及装置 |
| WO2023193521A1 (zh) * | 2022-04-06 | 2023-10-12 | 腾讯科技（深圳）有限公司 | 一种视频修复的方法、相关装置、设备以及存储介质 |
| CN117575917A (zh) * | 2023-11-08 | 2024-02-20 | 齐齐哈尔大学 | 一种基于深度学习的老电影修复方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110533615A (zh) | 一种基于生成对抗网络的老电影大面积破损修复方法 | |
| CN110084121A (zh) | 基于谱归一化的循环生成式对抗网络的人脸表情迁移的实现方法 | |
| CN110533606B (zh) | 基于生成式对抗网络的安检x光违禁品图像数据增强方法 | |
| CN107886089A (zh) | 一种基于骨架图回归的三维人体姿态估计的方法 | |
| CN109872278B (zh) | 基于u形网络和生成对抗网络的图像云层移除方法 | |
| CN109800770A (zh) | 一种实时目标检测的方法、系统及装置 | |
| CN110503619A (zh) | 图像处理方法、装置及可读存储介质 | |
| CN111539886A (zh) | 一种基于多尺度特征融合的去雾方法 | |
| CN109522958A (zh) | 基于跨尺度特征融合的深度卷积神经网络目标检测方法 | |
| Wang et al. | Structure and evolution of magnetic fields associated with solar eruptions | |
| Fitzgerald et al. | FCB-SwinV2 transformer for polyp segmentation | |
| CN111292349B (zh) | 一种基于推荐候选框融合的用于目标检测的数据增强方法 | |
| Sitarek et al. | Nature of the low-energy, γ-like background for the Cherenkov Telescope Array | |
| CN116630183A (zh) | 一种基于生成式对抗网络的文字图像修复方法 | |
| Droz et al. | A neural network classifier for electron identification on the DAMPE experiment | |
| Yan et al. | Textual prompt guided image restoration | |
| Yuan et al. | A novel dense generative net based on satellite remote sensing images for vehicle classification under foggy weather conditions | |
| CN111724410A (zh) | 一种基于残余注意力的目标跟踪方法 | |
| CN116051944A (zh) | 基于属性语义分离的缺陷图像生成方法和系统、存储介质 | |
| Jian et al. | Object and contour detection with an architecture-fusion network | |
| An et al. | Generating infrared image from visible image using Generative Adversarial Networks | |
| Storey-Fisher et al. | Anomaly Detection in Astronomical Images with Generative Adversarial Networks | |
| Zeng et al. | Swin-CasUNet: cascaded U-Net with Swin Transformer for masked face restoration | |
| Sheng et al. | An Unsupervised Hunt for Gravitational Lenses | |
| Xie et al. | Foggy non-motor vehicle detection algorithm based on image enhancement and full-dimensional dynamic convolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191203 |