CN112565628B - 一种卡通视频重制方法及系统 - Google Patents

一种卡通视频重制方法及系统 Download PDF

Info

Publication number
CN112565628B
CN112565628B CN202011386058.6A CN202011386058A CN112565628B CN 112565628 B CN112565628 B CN 112565628B CN 202011386058 A CN202011386058 A CN 202011386058A CN 112565628 B CN112565628 B CN 112565628B
Authority
CN
China
Prior art keywords
image frame
cartoon
cartoon image
module
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011386058.6A
Other languages
English (en)
Other versions
CN112565628A (zh
Inventor
刘晓平
陈缘
赵洋
曹力
李琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202011386058.6A priority Critical patent/CN112565628B/zh
Publication of CN112565628A publication Critical patent/CN112565628A/zh
Application granted granted Critical
Publication of CN112565628B publication Critical patent/CN112565628B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种卡通视频重制方法及系统。系统包括依次串联的初步降质模块、图像生成模块和图像增强模块，以及并联的质量评价模块、风格判别模块和色彩评价模块。先利用初步降质模块和图像生成模块对卡通图像帧进行处理生成第二卡通图像帧，并通过判别损失对第二卡通图像帧进行判断，若不符合输出要求则调整图像生成模块的参数，直到输出符合要求的第二卡通图像帧。将第二卡通图像帧和卡通图像帧均作为训练样本集对图像增强模块进行训练，得到卡通视频重制模型。可直接利用卡通视频重制模型对实时输入的卡通视频中的待处理卡通图像帧进行重制处理。该方法及系统可有效提升早期卡通视频的清晰度，提升观看体验。

Description

一种卡通视频重制方法及系统
技术领域
本发明涉及图像处理技术领域，特别是涉及一种卡通视频重制方法及系统。
背景技术
早期的卡通视频的制作方式、存储方式、传输方式等与现今有很大不同，且早期的卡通视频存在较多划痕、噪声、泛白，存在模糊、压缩失真、色彩退化、边缘不够锐利等问题。直接利用现今的播放或显示设备观看早期的卡通视频，其清晰度较低，很难满足现今人们的观看需求。
近年来，计算机视觉、图像处理、深度学习等领域发展迅速，这些领域中的很多方法能够提升自然图像或拍摄视频的质量和清晰度。但自然图像或拍摄视频与卡通视频在图像形成原理上完全不同，现今的自然图像或拍摄视频图像的处理方法也并不适用于卡通视频。
发明内容
为了解决上述问题，本发明中提出了一种卡通视频重制方法及系统，适用于卡通视频，能够有效去除卡通视频中的划痕、噪声、泛白，有效解决模糊、压缩失真、色彩退化、边缘不够锐利等问题，有效提升早期卡通视频的质量和清晰度，满足现今人们的观看需求。
为实现上述目的，本发明提供了如下方案：
一种卡通视频重制方法，包括：
选取多个卡通图像帧FHi，对所述卡通图像帧FHi预处理得到第一卡通图像帧FMi；其中，i表示所述卡通图像帧的数量，为正整数；
利用第一卷积神经网络对所述第一卡通图像帧FMi做生成判别操作得到第二卡通图像帧FLi，计算并判断所述第二卡通图像帧FLi的判别损失
Figure BDA0002810976020000011
是否在设定范围内，若是，则认为所述第二卡通图像帧FLi符合输出要求，输出的所述第二卡通图像帧FLi和所述卡通图像帧FHi共同构成训练样本集；若否，则对所述第一卷积神经网络的参数进行调整，在调整后重新处理所述第一卡通图像帧FMi；
利用第二卷积神经网络对所述第二卡通图像帧FLi做特征融合及处理操作得到第三卡通图像帧FSi；
计算并判断所述第三卡通图像帧FSi的重建损失
Figure BDA0002810976020000021
质量损失
Figure BDA0002810976020000022
风格损失
Figure BDA0002810976020000023
与色彩损失
Figure BDA0002810976020000024
之和是否在设定范围内；
若是，则认为所述第三卡通图像帧FSi符合输出要求；
若否，则对所述第二卷积神经网络的参数进行调整；在调整后重新处理所述第二卡通图像帧FLi；
待所有所述第三卡通图像帧FSi均符合输出要求后，即得到了卡通视频重制模型；直接利用所述卡通视频重制模型对实时输入的卡通视频的待处理卡通图像帧进行处理。
本发明还介绍了一种卡通视频重制系统，包括：
初步降质模块，用于选取多个卡通图像帧FHi，对所述卡通图像帧FHi预处理得到第一卡通图像帧FMi；其中，i表示所述卡通图像帧的数量，为正整数；
图像生成模块，用于利用第一卷积神经网络对所述第一卡通图像帧FMi做生成判别操作得到第二卡通图像帧FLi，计算并判断所述第二卡通图像帧FLi的判别损失
Figure BDA00028109760200000213
是否在设定范围内；
若是，则认为所述第二卡通图像帧FLi符合输出要求，输出的所述第二卡通图像帧FLi和所述卡通图像帧FHi共同构成训练样本集；
若否，则所述图像生成模块对所述第一卷积神经网络的参数进行调整，在调整后重新处理所述第一卡通图像帧FMi。
图像增强模块，用于利用第二卷积神经网络对所述第二卡通图像帧FLi做特征融合及处理操作得到第三卡通图像帧FSi，计算所述第三卡通图像帧的重建损失
Figure BDA0002810976020000025
质量评价模块，用于计算所述第三卡通图像帧FSi的质量损失
Figure BDA0002810976020000026
风格判别模块，用于计算所述第三卡通图像帧FSi的风格损失
Figure BDA0002810976020000027
色彩评价模块，用于计算所述第三卡通图像帧FSi的色彩损失
Figure BDA0002810976020000028
判断所述重建损失
Figure BDA0002810976020000029
所述质量损失
Figure BDA00028109760200000210
所述风格损失
Figure BDA00028109760200000211
与所述色彩损失
Figure BDA00028109760200000212
之和是否在设定范围内；
若是，则认为所述第三卡通图像帧FSi符合输出要求；
若否，则所述图像增强模块对所述第二卷积神经网络的参数进行调整；
在调整后重新处理所述第二卡通图像帧；
待所有所述第三卡通图像帧FSi均符合输出要求后，即得到了所述卡通视频重制系统对应的卡通视频重制模型，直接利用所述卡通视频重制模型对实时输入的卡通视频的待处理卡通图像帧进行处理。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明将卷积神经网络应用到了卡通视频图像的质量和清晰度处理过程中，利用由多个卡通视频图像帧构成的训练样本集训练得到了卡通图像帧处理结果在设定范围内的卡通视频重制系统。利用该卡通视频重制系统对待处理卡通图像帧进行重制，可获得更高质量、更高清晰度的卡通图像帧。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1中卡通视频重制方法的流程图；
图2为本发明实施例3中卡通视频重制系统的结构示意图；
图3为本发明实施例4中初步降质模块的结构示意图；
图4为本发明实施例4中图像生成模块的结构示意图；
图5为本发明实施例4中图像增强模块的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如背景技术所述，早期的卡通视频与现今的卡通视频在制作方式、存储方式、传输方式上存在很大不同。若通过现今的显示设备观看早期的卡通视频，会存在划痕、噪声、泛白较多，模糊、压缩失真、色彩退化、边缘不够锐利等问题。
本发明中将深度卷积神经网络应用到了早期卡通视频的处理过程中，能够有效提高早期卡通视频的质量和清晰度，解决早期卡通视频存在的上述问题。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1：
本实施例中介绍了一种卡通视频重制方法，其大致过程如图1所示：
先选取多个卡通图像帧FHi，对卡通图像帧FHi预处理得到第一卡通图像帧FMi；其中，i表示卡通图像帧的数量，为正整数；
之后利用第一卷积神经网络对第一卡通图像帧FMi做生成判别操作得到第二卡通图像帧FLi，计算并判断第二卡通图像帧FLi的判别损失
Figure BDA0002810976020000041
是否在设定范围内，若是，则认为第二卡通图像帧FLi符合输出要求，输出的第二卡通图像帧FLi和卡通图像帧FHi共同构成训练样本集；若否，则对第一卷积神经网络的参数进行调整，在调整后重新处理第一卡通图像帧FMi；
然后利用第二卷积神经网络对第二卡通图像帧FLi做特征融合及处理操作得到第三卡通图像帧FSi；
计算并判断第三卡通图像帧FSi的重建损失
Figure BDA0002810976020000042
质量损失
Figure BDA0002810976020000043
风格损失
Figure BDA0002810976020000044
与色彩损失
Figure BDA0002810976020000045
之和是否在设定范围内；
若是，则认为第三卡通图像帧FSi符合输出要求；若否，则对第二卷积神经网络的参数进行调整；在调整后重新处理第二卡通图像帧FLi；
待所有第三卡通图像帧FSi均符合输出要求后，即得到了卡通视频重制模型；直接利用卡通视频重制模型对实时输入的卡通视频的待处理卡通图像帧进行处理。
通过上述过程得到的处理后的第三卡通图像帧与待处理卡通视频的卡通图像帧相比，具有更高的质量和清晰度，能够解决待处理卡通视频中存在的划痕、噪声、泛白较多，模糊、压缩失真、色彩退化、边缘不够锐利等问题。
本发明在实施例2中给出了对上述过程的详细解释：
实施例2：
1)对所述卡通图像帧FHi做预处理的具体步骤包括：
降分辨率处理、添加噪声处理、添加模拟划痕和压缩处理；
具体为：
利用FFMPEG在卡通视频中每隔一秒抽取一张卡通图像帧FHi；
利用双线性插值法降低卡通图像帧FHi的分辨率，得到降分辨率后的卡通图像帧；
在降分辨率后的卡通图像帧中添加噪声，噪声包括高斯噪声或椒盐噪声，两者比例任意，得到添加噪声后的卡通图像帧；
利用Matlab从实时输入的卡通视频中裁剪划痕区域；
对划痕区域依次进行缩放处理、旋转处理和灰度值的增减，得到模拟划痕并添加到添加噪声后的卡通图像帧中；
对添加模拟划痕的卡通图像帧做压缩处理，压缩质量随机，得到第一卡通图像帧FMi。
2)对所述第一卡通图像帧FMi的处理过程：
对第一卡通图像帧FMi做生成操作得到第二卡通图像帧FLi具体为：
对所述第一卡通图像帧FMi做编码操作得到第一卡通图像帧的编码图像；对所述第一卡通图像帧的编码图像做残差计算操作得到第一卡通图像帧的残差图像；对所述第一卡通图像帧的残差图像做解码操作，得到所述第二卡通图像帧FLi。
对所述第二卡通图像帧FLi做判别操作；
计算第二卡通图像帧FLi的判别损失
Figure BDA0002810976020000051
计算公式为：
Figure BDA0002810976020000052
其中，FOi表示实时输入的卡通视频的待处理卡通图像帧，DFOi表示FOi经判别操作得到的输出，DFLi表示FLi经判别操作得到的输出。
判断第二卡通图像帧FLi的判别损失
Figure BDA0002810976020000053
是否在设定范围内；
若是，则认为第二卡通图像帧FLi符合输出要求；
若否，则需要对生成操作或判别操作的参数进行调整。
3)对所述第二卡通图像帧FLi的具体处理过程：
对第二卡通图像帧FLi做时域特征融合操作得到时域特征融合图像帧；
对第二卡通图像帧FLi做边缘特征提取操作得到边缘图像帧；
将时域特征融合图像帧和边缘图像帧合并后做特征提取及处理操作得到第三卡通图像帧FSi。
计算并判断第三卡通图像帧FSi的重建损失
Figure BDA0002810976020000061
质量损失
Figure BDA0002810976020000062
风格损失
Figure BDA0002810976020000063
和色彩损失
Figure BDA0002810976020000064
之和是否在设定范围内具体包括：
计算第三卡通图像帧FSi与卡通图像帧FHi的均方误差，作为重建损失
Figure BDA0002810976020000065
计算第三卡通图像帧FSi的质量分数SQi；根据质量分数SQi计算第三卡通图像帧FSi的质量损失
Figure BDA0002810976020000066
Figure BDA0002810976020000067
计算第三卡通图像帧FSi的风格损失
Figure BDA0002810976020000068
计算公式为：
Figure BDA0002810976020000069
其中，DSFHi表示FHi经风格判别操作得到的输出，DSFSi表示FSi经风格判别操作得到的输出。
计算第三卡通图像帧FSi的色彩评价分数SCi；根据色彩评价分数SCi计算第三卡通图像帧FSi的色彩损失
Figure BDA00028109760200000610
Figure BDA00028109760200000611
其中，i表示卡通图像帧的数量，为正整数。
若第三卡通图像帧FSi的重建损失
Figure BDA00028109760200000612
质量损失
Figure BDA00028109760200000613
风格损失
Figure BDA00028109760200000614
与色彩损失
Figure BDA00028109760200000615
之和在设定范围内，则认为第三卡通图像帧FSi符合输出要求，反之则需要调整第二卷积操作的参数，重新处理第二卡通图像帧FLi，直到训练样本集中所有的第三卡通图像帧均符合输出要求为止，此时得到了卡通视频重制模型，可直接利用该模型对实时输入的卡通视频进行重制处理。
为了更好地解释上述过程，本发明在实施例3中将所述卡通视频重制方法引入到了具体的卷积神经网络中，并构建了卡通视频重制系统，在卡通视频重制系统和卷积神经网络的基础上，对卡通视频中卡通图像帧的重制过程做了更具体详细的说明。
实施例3：
如图2所示，为实施例3中的一种卡通视频重制系统，包括：
依次串联的初步降质模块、图像生成模块和图像增强模块，以及依次并联的质量评价模块、风格判别模块和色彩评价模块；
其中，初步降质模块、图像生成模块和图像增强模块用于对卡通图像帧FHi的重制处理，以得到可供输出的第三卡通图像帧FSi；质量评价模块、风格判别模块和色彩评价模块均用于对第三卡通图像帧FSi进行评价，以判断其是否符合输出标准。
更具体的：
初步降质模块用于选取多个卡通图像帧FHi，对卡通图像帧FHi预处理得到第一卡通图像帧FMi；其中，i表示卡通图像帧的数量，为正整数；
图像生成模块用于利用第一卷积神经网络对第一卡通图像帧FMi做生成判别操作得到第二卡通图像帧FLi，计算并判断第二卡通图像帧FLi的判别损失
Figure BDA0002810976020000079
是否在设定范围内，若是，则认为第二卡通图像帧FLi符合输出要求，输出的第二卡通图像帧FLi和卡通图像帧FHi共同构成训练样本集；若否，则图像生成模块对第一卷积神经网络的参数进行调整，在调整后重新处理第一卡通图像帧FMi；
图像增强模块用于利用第二卷积神经网络对第二卡通图像帧FLi做特征融合及处理操作得到第三卡通图像帧FSi，计算第三卡通图像帧的重建损失
Figure BDA0002810976020000071
质量评价模块用于计算第三卡通图像帧FSi的质量损失
Figure BDA0002810976020000072
风格判别模块用于计算第三卡通图像帧FSi的风格损失
Figure BDA0002810976020000073
色彩评价模块用于计算第三卡通图像帧FSi的色彩损失
Figure BDA0002810976020000074
判断重建损失
Figure BDA0002810976020000075
质量损失
Figure BDA0002810976020000076
风格损失
Figure BDA0002810976020000077
与色彩损失
Figure BDA0002810976020000078
之和是否在设定范围内；
若是，则认为第三卡通图像帧FSi符合输出要求；
若否，则图像增强模块对第二卷积神经网络的参数进行调整；在调整后重新处理第二卡通图像帧；
待所有第三卡通图像帧FSi均符合输出要求后，即得到了卡通视频重制系统对应的卡通视频重制模型，直接利用卡通视频重制模型对实时输入的卡通视频的待处理卡通图像帧进行处理。
本发明在实施例4中对实施例3中的卡通视频重制系统做了更进一步的限定，以详细说明卡通视频重制系统中各模块的具体结构，以及利用这些具体结构对卡通图像帧FHi的具体处理过程。
实施例4：
如图3、4、5所示，分别是本发明中初步降质模块、图像生成模块和图像增强模块的结构示意图。
其中，初步降质模块包括依次串联的降分辨率模块、添加噪声模块、添加模拟划痕模块和压缩模块；
降分辨率模块用于利用FFMPEG在卡通视频中每隔一秒抽取一张卡通图像帧FHi，并利用双线性插值法降低卡通图像帧FHi的分辨率，得到降分辨率后的卡通图像帧；
添加噪声模块用于在降分辨率后的卡通图像帧中添加噪声，噪声包括高斯噪声或椒盐噪声，两者比例任意，得到添加噪声后的卡通图像帧；
添加模拟划痕模块用于利用Matlab从实时输入的卡通视频中裁剪划痕区域，对划痕区域依次进行缩放处理、旋转处理和灰度值的增减，得到模拟划痕并添加到添加噪声后的卡通图像帧中；
压缩模块用于对添加模拟划痕的卡通图像帧做压缩处理，压缩质量随机，得到第一卡通图像帧FMi。
图像生成模块包括依次串联的生成网络和判别网络；
生成网络用于对第一卡通图像帧FMi做生成操作得到第二卡通图像帧FLi；判别网络用于对第二卡通图像帧FLi做判别操作，并计算第二卡通图像帧FLi的判别损失
Figure BDA0002810976020000081
具体为：
Figure BDA0002810976020000082
其中，FOi表示实时输入的卡通视频的待处理卡通图像帧，DFOi表示FOi经判别网络得到的输出，DFLi表示FLi经判别网络得到的输出。
更具体的，生成网络中包括依次串联的编码器模块、残差模块和解码器模块；编码器模块用于对第一卡通图像帧FMi做编码操作得到第一卡通图像帧的编码图像；残差模块用于对第一卡通图像帧的编码图像做残差计算操作得到第一卡通图像帧的残差图像；解码器模块用于对第一卡通图像帧的残差图像做解码操作，得到第二卡通图像帧FLi；
判别网络包括判别卷积模块。
本发明实施例4还对编码器模块、残差模块、解码器模块和判别卷积模块做了更进一步细分。
其中，
编码器模块包括m个卷积核大小为n×n的卷积层和ReLU激活函数层；其中，m和n均为正整数，卷积层的卷积步长任意；本实施例中m为4，n为3，卷积步长为2；
第一卡通图像帧FMi依次经编码器模块中的m个卷积核大小为n×n的卷积层和ReLU激活函数层后得到第一卡通图像帧的编码图像；
残差模块包括m个相同类型的残差块；
每个残差块包括依次串联的一个快捷连接且卷积核大小为n×n的卷积层和ReLU激活函数层；其中，m和n均为正整数；
第一卡通图像帧的编码图像依次经残差模块中m个包含一个快捷连接且卷积核大小为n×n的卷积层和ReLU激活函数层的残差块后得到第一卡通图像帧的残差图像；
解码器模块包括m个卷积核大小为n×n的反卷积层和ReLU激活函数层；其中，m和n均为正整数；
第一卡通图像帧的残差图像依次经解码器模块中的m个卷积核大小为n×n的反卷积层和ReLU激活函数层得到第二卡通图像帧FLi；
判别卷积模块包括m个卷积核大小为n×n的卷积层、批正则化层、LeakyReLU激活函数层、一个卷积核大小为n×n的卷积层和Sigmoid激活函数层；其中，m和n均为正整数。
本发明实施例4中的图像增强模块包括时域特征融合模块、边缘提取模块和特征提取及处理模块；其中，时域特征融合模块和边缘提取模块并联；时域特征融合模块对第二卡通图像帧FLi做时域特征融合操作得到时域特征融合图像帧；边缘提取模块对第二卡通图像帧FLi做边缘特征提取操作得到边缘图像帧；
时域特征融合图像帧和边缘图像帧合并后通过特征提取及处理模块，做特征提取及处理操作得到第三卡通图像帧FSi，并计算第三卡通图像帧FSi与卡通图像帧FHi的均方误差，作为重建损失
Figure BDA0002810976020000091
更具体的，实施例4中对时域特征融合模块、边缘提取模块和特征提取及融合模块均做了进一步细分：
时域特征融合模块包括并联的注意力模块和多尺度特征融合模块；
注意力模块包括依次串联的一个卷积核大小为n×n的卷积层、一个池化模块、k个ResNet模块、一个卷积核大小为1×1的卷积层和softmax激活函数层；其中，k和n均为正整数；实施例4中的k为4，池化模块选择卷积核大小为2×2且步长为2的最大池化；
多尺度特征融合模块包括一个卷积核大小为n×n的特征卷积层、第一空洞卷积组模块、第二空洞卷积组模块和第三空洞卷积组模块；第一空洞卷积组模块、第二空洞卷积组模块和第三空洞卷积组模块并联；其中，n为正整数；
第一空洞卷积组模块、第二空洞卷积组模块和第三空洞卷积组模块均包括三个并联的空洞卷积层：第一空洞卷积层、第二空洞卷积层和第三空洞卷积层；
第一空洞卷积层是扩张率为1且卷积核大小为n×n的空洞卷积层；第二空洞卷积层是扩张率为3且卷积核大小为n×n的空洞卷积层；第三空洞卷积层是扩张率为5且卷积核大小为n×n的空洞卷积层；
第二卡通图像帧FLi经注意力模块和多尺度特征融合模块后得到时域特征融合图像帧；
边缘提取模块为基于VGG16的边缘提取模块；
第二卡通图像帧FLi经基于VGG16的边缘提取模块后得到边缘图像帧；
特征提取及处理模块包括依次串联的s个感受野模块、一个ResNet模块和一个基于像素混排的上采样模块；其中，s为正整数；本实施例中的s为3。
感受野模块包括依次串联的一个并联模块、一个卷积核大小为1×1的卷积层和ReLU激活函数层；
并联模块包括相互并联的第一支路、第二支路和第三支路；
第一支路包括依次串联的一个卷积核大小为1×1的卷积层、一个卷积核大小为n×n的卷积层和一个扩张率为5且卷积核大小为n×n的空洞卷积层；
第二支路包括依次串联的一个卷积核大小为1×1的卷积层和一个空洞卷积组模块；空洞卷积组模块包括并联的一个扩张率为1且卷积核大小为n×n的空洞卷积层和一个扩张率为3且卷积核大小为n×n的空洞卷积层；
第三支路包括依次串联的一个卷积核大小为1×1的卷积层、一个卷积核大小为n×n的卷积层和一个扩张率为1且卷积核大小为n×n的空洞卷积层；
时域特征融合图像帧和边缘图像帧经特征提取及处理模块后得到第三卡通图像帧FSi；之后计算第三卡通图像帧FSi与卡通图像帧FHi的均方误差，以该均方误差的值作为第三卡通图像帧FSi的重建损失
Figure BDA0002810976020000111
在输出前还需经质量评价模块、风格判别模块和色彩评价模块的评价，判断得到的第三卡通图像帧FSi是否符合输出要求。
具体的，在本发明实施例4中对质量评价模块、风格判别模块和色彩评价模块的结构做了进一步细分：
质量评价模块包括依次串联的w个质量特征提取模块和一个全连接层；其中，w为正整数；本实施例中w为5；其中的质量特征提取模块包括依次串联的卷积模块和池化模块；卷积模块包括依次串联的两个卷积核大小为n×n的卷积层和ReLU激活函数层；
第三卡通图像帧FSi依次经w个质量特征提取模块和一个全连接层后得到质量分数SQi，后根据质量分数SQi计算出第三卡通图像帧FSi的质量损失
Figure BDA0002810976020000117
Figure BDA0002810976020000112
风格判别模块包括依次串联的v个风格特征提取模块和一个卷积核大小为n×n的卷积层；其中，v和n均为正整数；本实施例中v为3；
色彩评价模块包括依次串联的v个风格特征提取模块、一个卷积核大小为n×n的卷积层和Sigmoid激活函数层；风格特征提取模块包括依次串联的一个卷积核大小为n×n的卷积层、批正则化层和ReLU激活函数层；
第三卡通图像帧FSi和卡通图像帧FHi经风格判别模块得到第三卡通图像帧FSi的风格损失
Figure BDA0002810976020000113
Figure BDA0002810976020000114
其中，DSFHi表示FHi经风格判别模块得到的输出，DSFSi表示FSi经风格判别模块得到的输出；
第三卡通图像帧FSi经色彩评价模块得到第三卡通图像帧FSi的色彩分数SCi，后根据色彩分数SCi计算出第三卡通图像帧FSi的色彩损失
Figure BDA0002810976020000115
Figure BDA0002810976020000116
其中，i表示卡通图像帧的数量，为正整数。
基于上述，本发明基于训练样本集中卡通图像帧构建卡通视频重制模型的具体过程为：
先选取多个卡通图像帧，之后将每个卡通图像帧输入初步降质模块得到第一卡通图像帧；图像生成模块对第一卡通图像帧进行处理得到第二卡通图像帧；至此，可得到多个第二卡通图像帧。
计算并判断每个第二卡通图像帧的判别损失是否在设定范围内，若是，则认为第二卡通图像帧符合输出要求；若否，则对图像生成模块的参数进行调整，直到第二卡通图像帧符合输出要求为止。
然后将连续三张第二卡通图像帧输入到边缘提取模块中，得到三张边缘图像帧EM1、EM2和EM3；时域特征融合模块中的注意力模块对连续三张第二卡通图像帧中的每两张第二卡通图像帧的差值图进行处理，得到注意力图；
图像增强模块中的多尺度特征融合模块中的特征卷积层对连续三张第二卡通图像帧做特征卷积处理后得到特征图FM2并进行2倍下采样得到特征图FM1，对特征图FM2进行4倍下采样得到特征图FM0；
特征图FM0经第一空洞卷积组模块做2倍上采样后与特征图FM1合并后作为第二空洞卷积组模块的输入，经第二空洞卷积组模块做2倍上采样后与特征图FM2合并，将此时合并后的图像帧与注意力模块输出的注意力图相乘作为第三空洞卷积组模块的输入，得到融合特征图FM；
最后将融合特征图FM和边缘图像帧EM1、EM2和EM3均作为特征提取及处理模块的输入，经特征提取及处理模块处理得到第三卡通图像帧。之后计算第三卡通图像帧与卡通图像帧的均方误差，以该均方误差作为第三卡通图像帧的重建损失，并通过质量评价模块计算第三卡通图像帧的质量损失，通过风格判别模块计算第三卡通图像帧的风格损失，通过色彩评价模块计算第三卡通图像帧的色彩损失。
通过上述过程，可分别计算出每个第三卡通图像帧的重建损失、质量损失、风格损失与色彩损失以及四种损失之和。判断每个第三卡通图像帧的四种损失之和是否在设定范围内；若否，则对图像增强模块的参数进行调整，若是，则认为得到了卡通视频重制模型，且第三卡通图像帧符合输出要求。可直接通过卡通视频重制模型对实时输入的卡通视频进行重制。
基于上述，利用本发明实施例1-4中的卡通视频重制方法或卡通视频重制系统对早期卡通视频进行处理，能够有效解决其中的划痕、噪声、泛白较多，模糊、压缩失真、色彩退化、边缘不够锐利等问题，有效提升早期卡通视频的观看体验。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (4)

1.一种卡通视频重制方法，其特征在于，包括：
选取多个卡通图像帧FHi，对所述卡通图像帧FHi预处理得到第一卡通图像帧FMi；其中，i表示所述卡通图像帧的数量，为正整数；
利用第一卷积神经网络对所述第一卡通图像帧FMi做生成判别操作得到第二卡通图像帧FLi，计算并判断所述第二卡通图像帧FLi的判别损失
Figure FDA0003477836300000011
是否在设定范围内，若是，则认为所述第二卡通图像帧FLi符合输出要求，输出的所述第二卡通图像帧FLi和所述卡通图像帧FHi共同构成训练样本集；若否，则对所述第一卷积神经网络的参数进行调整，在调整后重新处理所述第一卡通图像帧FMi；
利用第二卷积神经网络对所述第二卡通图像帧FLi做特征融合及处理操作得到第三卡通图像帧FSi；
计算并判断所述第三卡通图像帧FSi的重建损失、质量损失、风格损失与色彩损失之和是否在设定范围内；
若是，则认为所述第三卡通图像帧FSi符合输出要求；
若否，则对所述第二卷积神经网络的参数进行调整；在调整后重新处理所述第二卡通图像帧FLi；
待所有所述第三卡通图像帧FSi均符合输出要求后，即得到了卡通视频重制模型；直接利用所述卡通视频重制模型对实时输入的卡通视频的待处理卡通图像帧进行处理；
所述对所述卡通图像帧FHi预处理得到第一卡通图像帧FMi，具体包括：
在卡通视频中抽取所述卡通图像帧FHi，依次对所述卡通图像帧FHi做降分辨率处理、添加噪声处理、添加模拟划痕处理和压缩处理，具体包括：
利用FFMPEG在所述卡通视频中每隔一秒抽取一张所述卡通图像帧FHi；
利用双线性插值法降低所述卡通图像帧FHi的分辨率，得到降分辨率后的卡通图像帧；
在所述降分辨率后的卡通图像帧中添加噪声，所述噪声包括高斯噪声和椒盐噪声，两者比例任意，得到添加噪声后的卡通图像帧；
利用Matlab从所述实时输入的卡通视频中裁剪划痕区域；
对所述划痕区域依次进行缩放处理、旋转处理和灰度值的增减，得到模拟划痕并添加到所述添加噪声后的卡通图像帧中；
对添加模拟划痕的卡通图像帧做压缩处理，压缩质量随机，得到所述第一卡通图像帧FMi；
所述利用第一卷积神经网络对所述第一卡通图像帧FMi做生成判别操作得到第二卡通图像帧FLi，具体包括：
对所述第一卡通图像帧FMi做生成操作得到所述第二卡通图像帧FLi；
对所述第二卡通图像帧FLi做判别操作；计算所述第二卡通图像帧FLi的判别损失
Figure FDA0003477836300000021
具体为：
Figure FDA0003477836300000022
其中，FOi表示实时输入的卡通视频的待处理卡通图像帧，DFOi表示FOi经判别操作得到的输出，DFLi表示FLi经判别操作得到的输出；
所述对第一卡通图像帧FMi做生成操作得到所述第二卡通图像帧FLi，具体包括：
对所述第一卡通图像帧FMi做编码操作得到第一卡通图像帧的编码图像；
对所述第一卡通图像帧的编码图像做残差计算操作得到第一卡通图像帧的残差图像；
对所述第一卡通图像帧的残差图像做解码操作，得到所述第二卡通图像帧FLi；
所述利用第二卷积神经网络对所述第二卡通图像帧FLi做特征融合及处理操作得到第三卡通图像帧FSi，具体包括：
对所述第二卡通图像帧FLi做时域特征融合操作得到时域特征融合图像帧；
对所述第二卡通图像帧FLi做边缘特征提取操作得到边缘图像帧；
将所述时域特征融合图像帧和所述边缘图像帧合并后做特征提取及图像增强处理操作得到所述第三卡通图像帧FSi。
2.根据权利要求1所述的卡通视频重制方法，其特征在于，所述计算并判断所述第三卡通图像帧FSi的重建损失
Figure FDA0003477836300000023
质量损失
Figure FDA0003477836300000024
风格损失
Figure FDA0003477836300000025
和色彩损失
Figure FDA0003477836300000026
之和是否在设定范围内，具体包括：
计算所述第三卡通图像帧FSi与所述卡通图像帧FHi的均方误差，作为所述重建损失
Figure FDA0003477836300000027
计算所述第三卡通图像帧FSi的质量分数SQi；根据所述质量分数SQi计算所述第三卡通图像帧FSi的质量损失
Figure FDA0003477836300000028
Figure FDA0003477836300000029
计算所述第三卡通图像帧FSi的风格损失
Figure FDA0003477836300000031
Figure FDA0003477836300000032
其中，DSFHi表示FHi经风格判别操作得到的输出，DSFSi表示FSi经风格判别操作得到的输出；
计算所述第三卡通图像帧FSi的色彩评价分数SCi；根据所述色彩评价分数SCi计算所述第三卡通图像帧FSi的色彩损失
Figure FDA0003477836300000033
Figure FDA0003477836300000034
其中，i表示所述卡通图像帧的数量，为正整数。
3.一种卡通视频重制系统，其特征在于，包括：
初步降质模块，用于选取多个卡通图像帧FHi，对所述卡通图像帧FHi预处理得到第一卡通图像帧FMi；其中，i表示所述卡通图像帧的数量，为正整数；
图像生成模块，用于利用第一卷积神经网络对所述第一卡通图像帧FMi做生成判别操作得到第二卡通图像帧FLi，计算并判断所述第二卡通图像帧FLi的判别损失
Figure FDA0003477836300000035
是否在设定范围内，若是，则认为所述第二卡通图像帧FLi符合输出要求，输出的所述第二卡通图像帧FLi和所述卡通图像帧FHi共同构成训练样本集；若否，则所述图像生成模块对所述第一卷积神经网络的参数进行调整，在调整后重新处理所述第一卡通图像帧FMi；
图像增强模块，用于利用第二卷积神经网络对所述第二卡通图像帧FLi做特征融合及处理操作得到第三卡通图像帧FSi，计算所述第三卡通图像帧的重建损失
Figure FDA0003477836300000036
质量评价模块，用于计算所述第三卡通图像帧FSi的质量损失
Figure FDA0003477836300000037
风格判别模块，用于计算所述第三卡通图像帧FSi的风格损失
Figure FDA0003477836300000038
色彩评价模块，用于计算所述第三卡通图像帧FSi的色彩损失
Figure FDA0003477836300000039
判断所述重建损失
Figure FDA00034778363000000310
所述质量损失
Figure FDA00034778363000000311
所述风格损失
Figure FDA00034778363000000312
与所述色彩损失
Figure FDA00034778363000000313
之和是否在设定范围内；若是，则认为所述第三卡通图像帧FSi符合输出要求；若否，则所述图像增强模块对所述第二卷积神经网络的参数进行调整；在调整后重新处理所述第二卡通图像帧FLi；
待所有所述第三卡通图像帧FSi均符合输出要求后，即得到了所述卡通视频重制系统对应的卡通视频重制模型，直接利用所述卡通视频重制模型对实时输入的卡通视频的待处理卡通图像帧进行处理；
所述初步降质模块包括：
降分辨率模块，用于利用FFMPEG在所述卡通视频中每隔一秒抽取一帧所述卡通图像帧FHi，利用双线性插值法降低所述卡通图像帧FHi的分辨率，得到降分辨率后的卡通图像帧；
添加噪声模块，用于在所述降分辨率后的卡通图像帧中添加噪声，所述噪声包括高斯噪声和椒盐噪声，两者比例任意，得到添加噪声后的卡通图像帧；
添加模拟划痕模块，用于利用Matlab从所述实时输入的卡通视频中裁剪划痕区域，对所述划痕区域依次进行缩放处理、旋转处理和灰度值的增减，得到模拟划痕并添加到所述添加噪声后的卡通图像帧中；
压缩模块，用于对添加模拟划痕的卡通图像帧做压缩处理，压缩质量随机，得到所述第一卡通图像帧FMi；
所述图像生成模块包括：
生成网络，用于对所述第一卡通图像帧FMi做生成操作得到所述第二卡通图像帧FLi；
判别网络，用于对所述第二卡通图像帧FLi做判别操作；
并计算所述第二卡通图像帧FLi的判别损失
Figure FDA0003477836300000042
具体为：
Figure FDA0003477836300000041
其中，FOi表示实时输入的卡通视频的待处理卡通图像帧，DFOi表示FOi经所述判别网络得到的输出，DFLi表示FLi经所述判别网络得到的输出；
所述生成网络包括：
编码器模块，用于对所述第一卡通图像帧FMi做编码操作得到第一卡通图像帧的编码图像；
残差模块，用于对所述第一卡通图像帧的编码图像做残差计算操作得到第一卡通图像帧的残差图像；
解码器模块，用于对所述第一卡通图像帧的残差图像做解码操作，得到所述第二卡通图像帧FLi；
所述判别网络包括判别卷积模块；
所述图像增强模块包括：
时域特征融合模块，用于对所述第二卡通图像帧FLi做时域特征融合操作得到时域特征融合图像帧；
边缘提取模块，用于对所述第二卡通图像帧FLi做边缘特征提取操作得到边缘图像帧；
特征提取及处理模块，用于对所述时域特征融合图像帧和所述边缘图像帧合并后做特征提取及图像增强处理操作得到所述第三卡通图像帧FSi，并计算所述第三卡通图像帧FSi与所述卡通图像帧FHi的均方误差，作为所述重建损失
Figure FDA0003477836300000051
4.根据权利要求3所述的卡通视频重制系统，其特征在于，
所述质量评价模块计算所述第三卡通图像帧FSi的质量损失
Figure FDA0003477836300000052
具体为：
计算所述第三卡通图像帧FSi的质量分数SQi；根据所述质量分数SQi计算所述第三卡通图像帧FSi的质量损失
Figure FDA0003477836300000053
所述风格判别模块计算所述第三卡通图像帧FSi的风格损失
Figure FDA0003477836300000054
具体为：
Figure FDA0003477836300000055
其中，DSFHi表示FHi经所述风格判别模块得到的输出，DSFSi表示FSi经所述风格判别模块得到的输出；
所述色彩评价模块计算所述第三卡通图像帧FSi的色彩损失
Figure FDA0003477836300000056
具体为：
计算所述第三卡通图像帧FSi的色彩评价分数SCi；根据所述色彩评价分数SCi计算所述第三卡通图像帧FSi的色彩损失
Figure FDA0003477836300000057
其中，i表示所述卡通图像帧的数量，为正整数。
CN202011386058.6A 2020-12-01 2020-12-01 一种卡通视频重制方法及系统 Active CN112565628B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011386058.6A CN112565628B (zh) 2020-12-01 2020-12-01 一种卡通视频重制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011386058.6A CN112565628B (zh) 2020-12-01 2020-12-01 一种卡通视频重制方法及系统

Publications (2)

Publication Number Publication Date
CN112565628A CN112565628A (zh) 2021-03-26
CN112565628B true CN112565628B (zh) 2022-03-29

Family

ID=75046961

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011386058.6A Active CN112565628B (zh) 2020-12-01 2020-12-01 一种卡通视频重制方法及系统

Country Status (1)

Country Link
CN (1) CN112565628B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830812A (zh) * 2018-06-12 2018-11-16 福建帝视信息科技有限公司 一种基于网格结构深度学习的视频高帧率重制方法
CN109903228A (zh) * 2019-02-28 2019-06-18 合肥工业大学 一种基于卷积神经网络的图像超分辨率重建方法
CN109993820A (zh) * 2019-03-29 2019-07-09 合肥工业大学 一种动画视频自动生成方法及其装置
CN111787187A (zh) * 2020-07-29 2020-10-16 上海大学 利用深度卷积神经网络进行视频修复的方法、系统、终端

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10529115B2 (en) * 2017-03-20 2020-01-07 Google Llc Generating cartoon images from photos
CN110473147A (zh) * 2018-05-09 2019-11-19 腾讯科技（深圳）有限公司 一种视频去模糊方法和装置
CN110136066B (zh) * 2019-05-23 2023-02-24 北京百度网讯科技有限公司 面向视频的超分辨率方法、装置、设备和存储介质
CN110751597B (zh) * 2019-10-12 2023-03-28 西安电子科技大学 基于编码损伤修复的视频超分辨方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830812A (zh) * 2018-06-12 2018-11-16 福建帝视信息科技有限公司 一种基于网格结构深度学习的视频高帧率重制方法
CN109903228A (zh) * 2019-02-28 2019-06-18 合肥工业大学 一种基于卷积神经网络的图像超分辨率重建方法
CN109993820A (zh) * 2019-03-29 2019-07-09 合肥工业大学 一种动画视频自动生成方法及其装置
CN111787187A (zh) * 2020-07-29 2020-10-16 上海大学 利用深度卷积神经网络进行视频修复的方法、系统、终端

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Blind Quality Assessment for Cartoon Images;Yuan Chen 等;《IEEE》;20190729;全文 *
Gradual Upsampling Network for single image super-resolution;Yang Zhao 等;《arXiv.org》;20180704;全文 *
图像超分辨率重建算法研究;李立琴;《硕士论文》;20130424;全文 *
基于卷积神经网络的视频图像超分辨率重建方法;刘村等;《计算机应用研究》;20180209(第04期);全文 *
结合深度残差学习和感知损失的图像去噪;吴从中等;《中国图象图形学报》;20181016(第10期);全文 *

Also Published As

Publication number Publication date
CN112565628A (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
Sun et al. MC360IQA: A multi-channel CNN for blind 360-degree image quality assessment
CN112233038B (zh) 基于多尺度融合及边缘增强的真实图像去噪方法
JP7379787B2 (ja) フィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法
CN112767251B (zh) 基于多尺度细节特征融合神经网络的图像超分辨率方法
CN111901598B (zh) 视频解码与编码的方法、装置、介质及电子设备
Panetta et al. Tmo-net: A parameter-free tone mapping operator using generative adversarial network, and performance benchmarking on large scale hdr dataset
CN112102212B (zh) 一种视频修复方法、装置、设备及存储介质
CN112541864A (zh) 一种基于多尺度生成式对抗网络模型的图像修复方法
CN112767279B (zh) 一种基于离散小波集成生成对抗网络的水下图像增强方法
CN112365422B (zh) 基于深层聚合网络的不规则缺失图像修复方法及其系统
CN113487618B (zh) 人像分割方法、装置、电子设备及存储介质
CN110766623A (zh) 一种基于深度学习的立体图像修复方法
CN114245215A (zh) 说话视频的生成方法、装置、电子设备、介质及产品
CN112200732B (zh) 一种清晰特征融合的视频去模糊方法
CN110610458A (zh) 一种基于岭回归的gan图像增强交互处理方法及系统
CN113160286A (zh) 一种基于卷积神经网络的近红外和可见光图像融合方法
CN109257592B (zh) 基于深度学习的立体视频质量客观评价方法
CN115170388A (zh) 人物线稿生成方法、装置、设备及介质
Hovhannisyan et al. AED-Net: A single image dehazing
CN114202460A (zh) 面对不同损伤图像的超分辨率高清重建方法和系统及设备
CN112565628B (zh) 一种卡通视频重制方法及系统
CN117274059A (zh) 基于图像编码-解码的低分辨率图像重构方法及其系统
CN114998142A (zh) 一种基于密集特征多监督约束的运动去模糊方法
CN114549302A (zh) 一种图像超分辨率重建方法及系统
CN114663285B (zh) 基于卷积神经网络的老电影超分辨系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant