CN113724152A - 基于深度学习的视频去瑕疵方法及计算机可读存储介质 - Google Patents
基于深度学习的视频去瑕疵方法及计算机可读存储介质 Download PDFInfo
- Publication number
- CN113724152A CN113724152A CN202110878145.1A CN202110878145A CN113724152A CN 113724152 A CN113724152 A CN 113724152A CN 202110878145 A CN202110878145 A CN 202110878145A CN 113724152 A CN113724152 A CN 113724152A
- Authority
- CN
- China
- Prior art keywords
- video
- image sequence
- training
- model
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000013135 deep learning Methods 0.000 title claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 62
- 238000007781 pre-processing Methods 0.000 claims abstract description 24
- 230000006870 function Effects 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 18
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 16
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 16
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 10
- 230000007547 defect Effects 0.000 claims description 14
- 230000008439 repair process Effects 0.000 claims description 13
- 230000000694 effects Effects 0.000 claims description 11
- 238000012800 visualization Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 13
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000000428 dust Substances 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000002950 deficient Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的视频去瑕疵方法及计算机可读存储介质，其中方法中数据预处理用于处理图片并得到训练数据对，将训练数据对交给模型训练和加权损失函数计算步骤；模型训练用于根据输入的多帧图像的运动信息估计出存在的瑕疵位置，并利用相邻帧的信息修复瑕疵，输出修复后的图像序列；视频预处理用于将输入的一段视频序列处理成图像序列形式，提供给模型推理和视频合成步骤使用；模型推理用于根据输入的图像序列的运动信息估计出存在的瑕疵位置，并利用相邻帧的信息修复瑕疵，输出修复后的图像序列给视频合成步骤；视频合成用于将模型推理输出的图像序列与视频预处理提供的图像序列合成处理，生成视频形式保存。
Description
技术领域
本发明属于视频处理技术领域，具体涉及一种基于深度学习的视频去瑕疵方法。
背景技术
对于一些年代久远的影片，影片在拍摄、存储和数字化过程中，会存在诸如灰尘、霉斑、划痕等类型瑕疵，对于其他类型的视频也会有各种画面瑕疵产生。在重新播放的过程中，为了实现更好的播放效果，需要对各类瑕疵进行修复。
比如针对划痕，目前针对图像中的划痕的修复方法主要是采用传统的两步法，首先基于直线检测算法，找到划痕的位置，再使用图像填充算法将划痕区域填充好，完成划痕的修复，此种方法的局限是不能检测到弯曲的划痕，而且由于图像中物体本身也存在直线的纹理，比如电线杆和桌腿，会造成误检。比如针对灰尘、霉斑等造成的画面斑点，很难直接检测到斑点，一般是采用像素阈值分割算法，此类方法不仅阈值需要针对不同处理图像手动调整，不利于大批量自动化处理，而且对于复杂场景的效果很差；此外还有人工修复的方法，这种方法修复的瑕疵种类多，比传统方法效果更好，但是人工修复的成本太高，影片需要逐帧修复，重复劳动，效率低。
发明内容
本发明要解决的技术问题是提供一种基于深度学习的视频去瑕疵方法及计算机可读存储介质，用于解决现有瑕疵修复方法只能适用单一场景的问题，而且无需调节参数，可以自动修复视频的绝大多数瑕疵。
为解决上述技术问题，本发明采用如下的技术方案：
本发明一方面提供一种基于深度学习的视频去瑕疵方法，包括训练部分和推理部分，所述训练部分进一步包括数据预处理、模型训练和加权损失函数计算步骤，所述推理部分包括视频预处理、模型推理和视频合成步骤，
数据预处理用于处理图片并得到训练数据对，将训练数据对交给模型训练和加权损失函数计算步骤；
模型训练用于根据输入的多帧图像的运动信息估计出存在的瑕疵位置，并利用相邻帧的信息修复瑕疵，输出修复后的图像序列；
视频预处理用于将输入的一段视频序列处理成图像序列形式，提供给模型推理和视频合成步骤使用；
模型推理用于根据输入的图像序列的运动信息估计出存在的瑕疵位置，并利用相邻帧的信息修复瑕疵，输出修复后的图像序列给视频合成步骤；
视频合成用于将模型推理输出的图像序列与视频预处理提供的图像序列合成处理，生成视频形式保存。
优选地，所述训练数据对包括带有瑕疵的图像序列和没有瑕疵的干净的参考图像序列。
优选地，训练部分进一步包括可视化和调节步骤，所述可视化和调节步骤用于对模型训练输出的图像序列和训练超参数进行处理，便于可视化和调节操作。
优选地，训练数据对采用对真实的老片采样后进行人工修复得到。
优选地，训练数据对采用在正常图像上叠加瑕疵效果得到。
优选地，视频预处理步骤具体为：将输入的一段视频处理成图像序列，结合场景切换，将每个场景内的序列按照连续的若干帧，进行色彩空间变换，从RGB色彩空间转到LAB色彩空间，将L分量序列作为输入图像序列交给模型推理步骤，AB分量序列交给视频合成步骤使用。
优选地，模型训练步骤中包括若干个网络层，每个网络层由一个三维卷积层和一个激活层组成。
本发明又一方面提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
采用本发明具有如下的有益效果：采用本发明技术方案可以修复一些年代久远的影片，可修复在拍摄、存储和数字化过程中存在的诸如灰尘、霉斑、划痕等造成的各种画面瑕疵，通过该技术可以修复绝大多数类型的影片瑕疵，同时该技术采用端到端处理，即输入视频文件后，不需要手动调节参数，执行后就能得到处理好的视频，可以自动完成影片画面瑕疵的修复。可以自动修复影片的绝大多数瑕疵，再由人工修复完成后续处理，减轻了人力成本和设备成本。
附图说明
图1为本发明实施例的基于深度学习的视频去瑕疵方法的步骤流程图；
图2为一具体应用实例中输入的某一帧带瑕疵的图片；
图3为图2采用本发明方法修复后的效果图；
图4为一具体应用实例中输入的某一帧带瑕疵的图片；
图5为图4采用本发明方法修复后的效果图；
图6为一具体应用实例中输入的某一帧带瑕疵的图片；
图7为图6采用本发明方法修复后的效果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
参照图1，所示为本发明实施例的基于深度学习的视频去瑕疵方法的步骤流程图，其包括训练部分和推理部分，训练部分进一步包括数据预处理、模型训练和加权损失函数计算步骤，推理部分包括视频预处理、模型推理和视频合成步骤，数据预处理用于处理图片并得到训练数据对，将训练数据对交给模型训练和加权损失函数计算步骤；模型训练用于根据输入的多帧图像的运动信息估计出存在的瑕疵位置，并利用相邻帧的信息修复瑕疵，输出修复后的图像序列；视频预处理用于将输入的一段视频序列处理成图像序列形式，提供给模型推理和视频合成步骤使用；模型推理用于根据输入的图像序列的运动信息估计出存在的瑕疵位置，并利用相邻帧的信息修复瑕疵，输出修复后的图像序列给视频合成步骤；视频合成用于将模型推理输出的图像序列与视频预处理提供的图像序列合成处理，生成视频形式保存。
实施例2
在实施例1的基础上，本发明实施例的基于深度学习的视频去瑕疵方法进一步包括可视化和调节步骤，所述可视化和调节步骤用于对模型训练输出的图像序列和训练超参数进行处理，便于可视化和调节操作。
具体应用实例中，对于数据预处理步骤，将待训练的图像处理成模型适用的训练数据对，
<X，Y>＝<xi，yi>(0＜i≤N)，N为数据对的个数
数据对是由带有瑕疵的图像序列X＝xi(0＜i≤N)和没有瑕疵的干净的参考图像序列Y＝yi(0＜i≤N)组成，每组数据对包含m帧连续的序列。以年代久远的老片为例，这类老片一般都存在各种画面上的瑕疵。
真实的老片几乎没有对应正常无瑕疵的图像，因此无法组成数据对，在实际训练时有两种方案解决没有训练数据对的问题，一种是对真实的老片采样后进行人工修复，一种是在正常图像上叠加各种效果，比如添加划痕、斑块、加噪等，模拟真实老片的退化效果，本发明技术方案中两种方案都可以使用，主要采用第二种方案。生成训练数据对后做RGB色彩空间到LAB色彩空间变换，这一转换的目的是可以避免颜色信息对瑕疵区域的干扰。色彩空间转换过程如下，
首先对RGB空间作gamma校正，g(.)是校正函数，
然后计算中间量rgb，由中间量转换到LAB空间，步骤如下，
其中f(.)公式如下，
最后将转换后的LAB空间中的L分量(即Xl)，交给模型训练模块和加权损失函数计算模块。
具体应用实例中，对于模型训练步骤，由三维卷积层和激活函数层组合而成。其中三维卷积层为在二维卷积基础上增加了一维，可以用于时序数据或三维数据的处理，但不能使用二维卷积替代三维卷积；激活函数层为非线性函数，用于提高模型的拟合能力，本发明技术方案中使用了两种激活函数，ELU和Tanh。激活函数表示为，
其中α是可学习的参数，在模型训练过程中会不断迭代学习到一个最佳大小，
模型训练步骤中由若干个网络层Mj(0＜j≤λ)组成，λ为网络层个数，λ≥4，每层网络由一个三维卷积层和一个激活层组成。这一模块的作用是对输入的图像序列Xl提取物体的时序和空间位置信息，利用瑕疵在不同帧中出现的无规律性和物体的相对运动信息估计出序列中可能存在的瑕疵位置，再融合多帧信息对可能存在瑕疵的位置上的内容进行重建，以此完成去除瑕疵的目的，过程可表示为，
Fj＝Mj(Fj-1)，其中，F0＝Xl and(0＜j≤λ)
其中Fj(0＜j≤λ)是通过Mj(0＜j≤λ)对Xl提取到的特征，然后将处理后的图像序列
传递给后续模块。
具体应用实例中，对于加权损失函数计算步骤，将模型训练步骤输出的图像序列
与数据预处理步骤提供的参考图像序列Y＝yi(0＜i≤N)经过加权处理后计算绝对误差损失函数
误差计算公式如下：
加权损失函数计算的优化目标是求解模型训练模块中的模型参数θ，使得损失函数
达到最小化，即：
其中θ表示要优化的模型参数，N是训练样本个数。
具体应用实例中，对于可视化和调节步骤，将模型训练步骤输出的数据
保存为图片形式，便于可视化研究，以及统计训练过程中的部分超参数，比如训练学习率rate，训练迭代次数epoch，每次训练使用的序列数量batch_size等，根据这些超参数，可以调节训练进度和方向，方便对训练过程进行控制。该模块在整个模型中可根据需要选择添加与否。
具体应用实例中，对于视频预处理步骤，将输入的一段视频处理成图像序列，结合场景切换，将每个场景内的序列按照连续的m帧，进行色彩空间变换，从RGB色彩空间转到LAB色彩空间，将L分量序列X′l作为输入图像序列交给模型推理模块，AB分量序列X′ab交给视频合成步骤使用。
具体应用实例中，对于模型推理步骤，与训练部分的模型训练步骤功能类似，提取图像序列X′l中物体的时序信息和空间位置信息，利用瑕疵在相邻帧中出现的无规律性和物体的相对运动信息估计出序列中可能存在的瑕疵位置，再融合相邻帧的信息修复瑕疵，输出修复后的图像序列
给合成步骤视频，过程如下，
F′j＝Mj(F′j-1)，其中，F′0＝x′l and(0＜j≤λ)
其中F′j是图像序列X’l经过网络层Mj后提取的特征，λ是网络层个数，最后将图像序列
传递给视频合成步骤。
具体应用实例中，对于视频合成步骤，将模型推理步骤输出的图像序列
与视频预处理步骤提供的AB分量序列X′ab合成转换到RGB色彩空间，按照时间戳顺序合成视频形式保存。
参见图2至图7，分别为输入的某一帧带瑕疵的图片以及采用本发明方法修复后的示意图，可以看出采用本发明对于诸如灰尘、霉斑、划痕等造成的各种画面瑕疵有较好的修复作用。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任意一实施例中的基于深度学习的视频去瑕疵方法的步骤。
计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
应当理解，本文所述的示例性实施例是说明性的而非限制性的。尽管结合附图描述了本发明的一个或多个实施例，本领域普通技术人员应当理解，在不脱离通过所附权利要求所限定的本发明的精神和范围的情况下，可以做出各种形式和细节的改变。
Claims (8)
1.一种基于深度学习的视频去瑕疵方法，其特征在于，包括训练部分和推理部分，所述训练部分进一步包括数据预处理、模型训练和加权损失函数计算步骤，所述推理部分包括视频预处理、模型推理和视频合成步骤，
数据预处理用于处理图片并得到训练数据对，将训练数据对交给模型训练和加权损失函数计算步骤；
模型训练用于根据输入的多帧图像的运动信息估计出存在的瑕疵位置，并利用相邻帧的信息修复瑕疵，输出修复后的图像序列；
视频预处理用于将输入的一段视频序列处理成图像序列形式，提供给模型推理和视频合成步骤使用；
模型推理用于根据输入的图像序列的运动信息估计出存在的瑕疵位置，并利用相邻帧的信息修复瑕疵，输出修复后的图像序列给视频合成步骤；
视频合成用于将模型推理输出的图像序列与视频预处理提供的图像序列合成处理，生成视频形式保存。
2.如权利要求1所述的基于深度学习的视频去瑕疵方法，其特征在于，所述训练数据对包括带有瑕疵的图像序列和没有瑕疵的干净的参考图像序列。
3.如权利要求1或2所述的基于深度学习的视频去瑕疵方法，其特征在于，训练部分进一步包括可视化和调节步骤，所述可视化和调节步骤用于对模型训练输出的图像序列和训练超参数进行处理，便于可视化和调节操作。
4.如权利要求1或2所述的基于深度学习的视频去瑕疵方法，其特征在于，训练数据对采用对真实的老片采样后进行人工修复得到。
5.如权利要求1或2所述的基于深度学习的视频去瑕疵方法，其特征在于，训练数据对采用在正常图像上叠加瑕疵效果得到。
6.如权利要求1或2所述的基于深度学习的视频去瑕疵方法，其特征在于，视频预处理步骤具体为：将输入的一段视频处理成图像序列，结合场景切换，将每个场景内的序列按照连续的若干帧，进行色彩空间变换，从RGB色彩空间转到LAB色彩空间，将L分量序列作为输入图像序列交给模型推理步骤，AB分量序列交给视频合成步骤使用。
7.如权利要求1或2所述的基于深度学习的视频去瑕疵方法，其特征在于，模型训练步骤中包括若干个网络层，每个网络层由一个三维卷积层和一个激活层组成。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110878145.1A CN113724152B (zh) | 2021-07-30 | 基于深度学习的视频去瑕疵方法及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110878145.1A CN113724152B (zh) | 2021-07-30 | 基于深度学习的视频去瑕疵方法及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113724152A true CN113724152A (zh) | 2021-11-30 |
| CN113724152B CN113724152B (zh) | 2024-06-28 |
Family
ID=
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114882385A (zh) * | 2022-05-13 | 2022-08-09 | 中国农业科学院农业信息研究所 | 一种基于无人机平台的大田麦穗计数方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005223883A (ja) * | 2004-01-09 | 2005-08-18 | Nippon Hoso Kyokai <Nhk> | 映像修復装置、映像修復方法及び映像修復プログラム |
| CN1794785A (zh) * | 2005-11-03 | 2006-06-28 | 上海交通大学 | 用自适应平滑修复模型修复电影胶片中霉斑噪声的方法 |
| CN102129670A (zh) * | 2011-02-25 | 2011-07-20 | 上海交通大学 | 电影划痕损伤的检测修复方法 |
| CN103227888A (zh) * | 2013-04-21 | 2013-07-31 | 中国科学技术大学 | 一种基于经验模式分解和多种评价准则的视频去抖动方法 |
| US20170180722A1 (en) * | 2015-12-22 | 2017-06-22 | Mti Film, Llc | Automatic Defective Digital Motion Picture Pixel Detection |
| CN108510450A (zh) * | 2018-02-07 | 2018-09-07 | 北京农业信息技术研究中心 | 一种作物叶片图像的光照处理方法及装置 |
| CN109920018A (zh) * | 2019-01-23 | 2019-06-21 | 平安科技（深圳）有限公司 | 基于神经网络的黑白照片色彩恢复方法、装置及存储介质 |
| CN111127376A (zh) * | 2019-12-13 | 2020-05-08 | 无锡科技职业学院 | 一种数字视频文件修复方法及装置 |
| CN111614974A (zh) * | 2020-04-07 | 2020-09-01 | 上海推乐信息技术服务有限公司 | 一种视频图像修复方法和系统 |
| CN112508937A (zh) * | 2020-12-22 | 2021-03-16 | 北京百度网讯科技有限公司 | 生成划痕数据的方法、装置、电子设备和存储介质 |
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005223883A (ja) * | 2004-01-09 | 2005-08-18 | Nippon Hoso Kyokai <Nhk> | 映像修復装置、映像修復方法及び映像修復プログラム |
| CN1794785A (zh) * | 2005-11-03 | 2006-06-28 | 上海交通大学 | 用自适应平滑修复模型修复电影胶片中霉斑噪声的方法 |
| CN102129670A (zh) * | 2011-02-25 | 2011-07-20 | 上海交通大学 | 电影划痕损伤的检测修复方法 |
| CN103227888A (zh) * | 2013-04-21 | 2013-07-31 | 中国科学技术大学 | 一种基于经验模式分解和多种评价准则的视频去抖动方法 |
| US20170180722A1 (en) * | 2015-12-22 | 2017-06-22 | Mti Film, Llc | Automatic Defective Digital Motion Picture Pixel Detection |
| CN108510450A (zh) * | 2018-02-07 | 2018-09-07 | 北京农业信息技术研究中心 | 一种作物叶片图像的光照处理方法及装置 |
| CN109920018A (zh) * | 2019-01-23 | 2019-06-21 | 平安科技（深圳）有限公司 | 基于神经网络的黑白照片色彩恢复方法、装置及存储介质 |
| CN111127376A (zh) * | 2019-12-13 | 2020-05-08 | 无锡科技职业学院 | 一种数字视频文件修复方法及装置 |
| CN111614974A (zh) * | 2020-04-07 | 2020-09-01 | 上海推乐信息技术服务有限公司 | 一种视频图像修复方法和系统 |
| CN112508937A (zh) * | 2020-12-22 | 2021-03-16 | 北京百度网讯科技有限公司 | 生成划痕数据的方法、装置、电子设备和存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| CHANG LI等: "Inpainting of Continuous Frames of Old Movies Based on Deep Neural Network", 《2018 INTERNATIONAL CONFERENCE ON AUDIO, LANGUAGE AND IMAGE PROCESSING》, 6 November 2018 (2018-11-06), pages 132 - 137 * |
| HUAMING LIU等: "Image inpainting based on generative adversarial networks", 《2018 14TH INTERNATIONAL CONFERENCE ON NATURAL COMPUTATION, FUZZY SYSTEMS AND KNOWLEDGE DISCOVERY》, 8 May 2019 (2019-05-08), pages 373 - 8 * |
| 于冰等: "基于时空生成对抗网络的视频修复", 《计算机辅助设计与图形学学报》, vol. 32, no. 5, 31 May 2020 (2020-05-31), pages 769 - 779 * |
| 龙振兴: "电影胶片斑块损伤修复技术的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 2, 15 December 2011 (2011-12-15), pages 138 - 1313 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114882385A (zh) * | 2022-05-13 | 2022-08-09 | 中国农业科学院农业信息研究所 | 一种基于无人机平台的大田麦穗计数方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108986050B (zh) | 一种基于多分支卷积神经网络的图像和视频增强方法 | |
| CN110853110B (zh) | 一种基于生成对抗网络的图片自动调色方法 | |
| CN110969589A (zh) | 基于多流注意对抗网络的动态场景模糊图像盲复原方法 | |
| CN110717868B (zh) | 视频高动态范围反色调映射模型构建、映射方法及装置 | |
| CN108346135B (zh) | 一种改进的Criminisi图像修复方法 | |
| CN113096029A (zh) | 基于多分支编解码器神经网络的高动态范围图像生成方法 | |
| CN111787187B (zh) | 利用深度卷积神经网络进行视频修复的方法、系统、终端 | |
| CN111127376B (zh) | 一种数字视频文件修复方法及装置 | |
| CN113052764B (zh) | 一种基于残差连接的视频序列超分重建方法 | |
| CN111968122B (zh) | 一种基于卷积神经网络的纺织材料ct图像分割方法和装置 | |
| CN115713487A (zh) | 用于x射线焊缝图像的缺陷识别方法、设备和存储介质 | |
| CN107424121B (zh) | 一种基于分数阶微分的模糊图像超分辨率重构方法 | |
| CN114842400A (zh) | 基于残差块和特征金字塔的视频帧生成方法及系统 | |
| CN115731132A (zh) | 图像修复方法、装置、设备及介质 | |
| CN113962905A (zh) | 基于多阶段特征互补网络的单幅图像去雨方法 | |
| CN109741258A (zh) | 基于重建的图像超分辨率方法 | |
| CN113724152A (zh) | 基于深度学习的视频去瑕疵方法及计算机可读存储介质 | |
| CN109767407A (zh) | 一种去雾过程中大气透射率图像的二次估计方法 | |
| CN113724152B (zh) | 基于深度学习的视频去瑕疵方法及计算机可读存储介质 | |
| CN114022392A (zh) | 用于单幅图像去雾的串行注意增强UNet++去雾网络 | |
| CN113012079B (zh) | 低亮度车底图像增强方法、装置及存储介质 | |
| CN116542962A (zh) | 一种基于改进Yolov5m模型光伏电池缺陷检测方法 | |
| CN116681631A (zh) | 基于对偶网络的低质量胶片图像修复增强方法及系统 | |
| CN112950510B (zh) | 一种大场景拼接图像色差校正方法 | |
| CN115147311A (zh) | 基于HSV与AM-RetinexNet图像增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |