CN114331912B - 一种图像修复方法及装置 - Google Patents

一种图像修复方法及装置 Download PDF

Info

Publication number
CN114331912B
CN114331912B CN202210009011.0A CN202210009011A CN114331912B CN 114331912 B CN114331912 B CN 114331912B CN 202210009011 A CN202210009011 A CN 202210009011A CN 114331912 B CN114331912 B CN 114331912B
Authority
CN
China
Prior art keywords
image
area
scratch
repaired
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210009011.0A
Other languages
English (en)
Other versions
CN114331912A (zh
Inventor
钟梓东
王前前
王诗吟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202210009011.0A priority Critical patent/CN114331912B/zh
Publication of CN114331912A publication Critical patent/CN114331912A/zh
Priority to PCT/CN2023/070461 priority patent/WO2023131189A1/zh
Application granted granted Critical
Publication of CN114331912B publication Critical patent/CN114331912B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供了一种图像修复方法及装置，涉及图像处理技术领域。该方法包括：获取待修复图像；确定所述待修复图像的对象区域和划痕区域，所述对象区域为所述待修复图像中的目标对象所在的区域；根据所述对象区域和所述划痕区域，确定对象划痕区域和背景划痕区域；根据所述对象划痕区域对所述对象区域进行图像修复，获取对象图像；根据所述背景划痕区域对所述待修复图像进行图像修复，获取背景图像；融合所述对象图像和所述背景图像，获取所述待修复图像的修复图像。本发明实施例用于提升图像的修复效果，提高图像修复效率，减少图像修复人力成本。

Description

一种图像修复方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像修复方法及装置。
背景技术
由于年代久远、保存不当等因素，很多照片会出现泛黄、噪声多、划痕和污渍等问题，而此类照片又往往寄托了很多人们的情感，因此对此类照片进行修复具有非常重要的意义。
相关技术中，普遍采用的划痕修复的方式为：根据划痕区域周围未受损区域的颜色值对划痕区域的各个像素点的颜色值进行估计，例如将划痕区域的各个像素点的颜色值设置为周围未受损区域的颜色值的平均值。然而，由于此类方法无法捕获高层语义，因此很难为具有非重复模式的图像生成真实的结构，修复效果较差。
发明内容
有鉴于此，本发明实施例提供了一种图像修复方法及装置，用于提升图像的修复质量，提高图像修复效率。
为了实现上述目的，本发明实施例提供技术方案如下：
第一方面，本发明的实施例提供了一种图像修复方法，包括：
获取待修复图像；
确定所述待修复图像的对象区域和划痕区域，所述对象区域为所述待修复图像中的目标对象所在的区域；
根据所述对象区域和所述划痕区域，确定对象划痕区域和背景划痕区域；
根据所述对象划痕区域对所述对象区域进行图像修复，获取对象图像；
根据所述背景划痕区域对所述待修复图像进行图像修复，获取背景图像；
融合所述对象图像和所述背景图像，获取所述待修复图像的修复图像。
作为本发明实施例一种可选的实施方式，所述根据所述对象区域和所述划痕区域，确定对象划痕区域和背景划痕区域，包括：
基于分割网络模型和所述对象区域，获取所述对象划痕区域，所述分割网络模型为基于第一样本数据对U形网络UNET进行训练得到的网络模型，所述第一样本数据包括多个包含所述目标对象的样本图像以及各个样本图像对应的划痕区域；
根据所述划痕区域和所述对象划痕区域确定所述背景划痕区域。
作为本发明实施例一种可选的实施方式，所述根据所述对象划痕区域对所述对象区域进行图像修复，获取对象图像，包括：
将所述对象划痕区域和所述对象区域输入第一图像修复网络模型，并获取所述第一图像修复网络模型的输出作为所述对象图像；
其中，所述第一图像修复网络模型为基于第二样本数据对第一网络模型进行训练得到的网络模型，所述第二样本数据包括多个具有划痕的样本对象图像以及各个样本对象图像对应的无划痕图像。
作为本发明实施例一种可选的实施方式，所述根据所述背景划痕区域对所述待修复图像进行图像修复，获取背景图像，包括：
将所述背景划痕区域和所述待修复图像输入第二图像修复网络模型，并获取所述第二图像修复网络模型的输出作为所述背景图像；
其中，所述第二图像修复网络模型为基于第三样本数据对第二网络模型进行训练得到的网络模型，所述第三样本数据包括多个具有划痕的样本图像以及各个样本图像对应的无划痕图像。
作为本发明实施例一种可选的实施方式，在确定所述待修复图像的对象区域和划痕区域之后，所述方法还包括：
判断各个划痕区域的面积是否大于或等于阈值面积；
将面积小于所述阈值面积的划痕区域从所述待修复图像的划痕区域中删除。
作为本发明实施例一种可选的实施方式，在根据所述对象区域将所述划痕区域分割为对象划痕区域和背景划痕区域之前，所述方法还包括：
检测所述待修复图像是否为彩色图像；
若所述待修复图像不为彩色图像，则对所述待修复图像进行上色处理。
作为本发明实施例一种可选的实施方式，在对所述待修复图像进行上色处理之后，所述方法还包括：
确定所述待修复图像的优化区域，所述优化区域为所述待修复图像中颜色值属于预设颜色范围的像素点组成的区域；
基于预设优化算法对所述优化区域进行优化处理。
作为本发明实施例一种可选的实施方式，在对所述待修复图像进行上色处理之后，所述方法还包括：
基于完美反射算法对所述待修复图像进行白平衡处理。
作为本发明实施例一种可选的实施方式，在对所述待修复图像进行上色处理之后，所述方法还包括：
基于高动态范围成像网络模型HDRNET调整所述待修复图像的对比度。
作为本发明实施例一种可选的实施方式，在融合所述对象图像和所述背景图像，获取所述待修复图像的修复图像之前，所述方法还包括：
分别对所述对象图像和所述背景图像进行去模糊处理。
第二方面，本发明的实施例提供了一种图像修复装置，包括：
获取单元，用于获取待修复图像；
检测单元，用于确定所述待修复图像的对象区域和划痕区域；
确定单元，用于根据所述对象区域和所述划痕区域，确定对象划痕区域和背景划痕区域；
修复单元，用于根据所述对象划痕区域对所述对象区域进行图像修复，获取对象图像；
所述修复单元，还用于根据所述背景划痕区域对所述待修复图像进行图像修复，获取背景图像；
融合单元，用于融合所述对象图像和所述背景图像，获取所述待修复图像的修复图像。
作为本发明实施例一种可选的实施方式，所述确定单元，具体用于基于分割网络模型和所述对象区域，获取所述对象划痕区域，所述分割网络模型为基于第一样本数据对U形网络UNET进行训练得到的网络模型，所述第一样本数据包括多个包含所述目标对象的样本图像以及各个样本图像对应的划痕区域；根据所述划痕区域和所述对象划痕区域确定所述背景划痕区域。
作为本发明实施例一种可选的实施方式，所述修复单元，具体用于将所述对象划痕区域和所述对象区域输入第一图像修复网络模型，并获取所述第一图像修复网络模型的输出作为所述对象图像；
其中，所述第一图像修复网络模型为基于第二样本数据对第一网络模型进行训练得到的网络模型，所述第二样本数据包括多个具有划痕的样本对象图像以及各个样本对象图像对应的无划痕图像。
作为本发明实施例一种可选的实施方式，所述修复单元，具体用于将所述背景划痕区域和所述待修复图像输入第二图像修复网络模型，并获取所述第二图像修复网络模型的输出作为所述背景图像；
其中，所述第二图像修复网络模型为基于第三样本数据对第二网络模型进行训练得到的网络模型，所述第三样本数据包括多个具有划痕的样本图像以及各个样本图像对应的无划痕图像。
作为本发明实施例一种可选的实施方式，所述检测单元，还用于在确定所述待修复图像的对象区域和划痕区域之后，判断各个划痕区域的面积是否大于或等于阈值面积；将面积小于所述阈值面积的划痕区域从所述待修复图像的划痕区域中删除。
作为本发明实施例一种可选的实施方式，
所述检测单元，还用于根据所述对象区域将所述划痕区域分割为对象划痕区域和背景划痕区域之前，检测所述待修复图像是否为彩色图像；
所述修复单元，还用于在所述待修复图像不为彩色图像的情况下则对所述待修复图像进行上色处理。
作为本发明实施例一种可选的实施方式，
所述检测单元，还用于在对所述待修复图像进行上色处理之后，确定所述待修复图像的优化区域，所述优化区域为所述待修复图像中颜色值属于预设颜色范围的像素点组成的区域；
所述修复单元，还用于基于预设优化算法对所述优化区域进行优化处理。
作为本发明实施例一种可选的实施方式，所述修复单元，还用于在对所述待修复图像进行上色处理之后，基于完美反射算法对所述待修复图像进行白平衡处理。
作为本发明实施例一种可选的实施方式，所述修复单元，还用于在对所述待修复图像进行上色处理之后，基于高动态范围成像网络模型HDRNET调整所述待修复图像的对比度。
作为本发明实施例一种可选的实施方式，所述修复单元，还用于在融合所述对象图像和所述背景图像，获取所述待修复图像的修复图像之前，分别对所述对象图像和所述背景图像进行去模糊处理。
第三方面，本发明实施例提供一种电子设备，包括：存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于在执行计算机程序时，使得所述电子设备实现上述任一实施方式所述的图像修复方法。
第四方面，本发明实施例提供一种计算机可读存储介质，当所述计算机程序被计算设备执行时，使得所述计算设备实现上述任一实施方式所述的图像修复方法。
第五方面，本发明实施例提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机实现上述任一实施方式所述的图像修复方法。
本发明实施例提供的图像修复方法在对获取的待修复图像进行修复时，首先确定所述待修复图像的划痕区域和目标对象所在的对象区域，然后根据所述对象区域和所述划痕区域确定对象划痕区域和背景划痕区域，并分别根据所述对象划痕区域对所述对象区域进行图像修复获取对象图像，根据所述背景划痕区域对所述待修复图像进行图像修复获取背景图像，最后融合所述对象图像和所述背景图像，获取所述待修复图像的修复图像。由于本发明实施例提供的图像修复方法可以根据所述对象区域和所述划痕区域确定对象划痕区域和背景划痕区域，并分别根据所述对象划痕区域和所述背景划痕区域对所述待修复图像中的对象区域和所述待修复图像进行修复，因此本发明实施例可以提升图像的修复效果。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要调用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的图像修复方法的步骤流程图之一；
图2为本发明实施例提供的图像修复方法的场景界面图；
图3为本发明实施例提供的划痕区域的示意图；
图4为本发明实施例提供的U形网络的示意图；
图5为本发明实施例提供的图像修复方法的步骤流程图之二；
图6为本发明实施例提供的图像修复方法的架构图；
图7为本发明实施例提供的图像修复装置的结构示意图；
图8为本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面将对本发明的方案进行进一步描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但本发明还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本发明的一部分实施例，而不是全部的实施例。
在本发明实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，调用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。此外，在本发明实施例的描述中，除非另有说明，“多个”的含义是指两个或两个以上。
时代相对久远的影像资料，例如一些经典影像资料（照片、视频、画像）往往承载着人们对一个时代的记忆，通过这些影像资料人们可以追忆童年、缅怀先烈、重温经典等。然而，由于技术不成熟、保存环境恶劣、保存不当等原因，往往会造成影像资料存在划痕及局部损坏等问题。一些用户会通过人为修复的方式对影像资料进行修复，但是人为修复成本较高、效率较低。针对上述问题，本发明实施例提供了一种图像修复方法及装置，旨在尽可能为用户以及公益事业提供影像资料修复支持。
本发明实施例提供了一种图像修复方法，参照图1所示，该图像修复方法包括如下步骤S11至S16：
S11、获取待修复图像。
作为本发明实施例一种可选的实施方式，获取待修复图像可以包括：接收用户上传、导入、发送、下载的待修复图像。
示例性的，参照图2所示，在一些实施例中，获取待修复图像的实现过程可以包括：在应用程序的初始界面21中显示用于触发对图像或视频进行发布的第一控件211。当接收到用户对第一控件211的输入时，应用程序跳转至内容创作界面22，所述内容创作界面22包括用于触发用于对图像或视频进行优化处理的第二控件221。当接收到用户对第二控件221的输入时，应用程序跳转至处理方式选择界面23，所述处理方式选择界面23中包含用于触发对图像进行修复的第三控件231。当接收到用户对第三控件231的输入时，应用程序跳转至图像修复界面24，所述图像修复界面24中包含用于触发选择待修复图像的第四控件241。当接收到用户对第四控件241的输入时，应用程序跳转至图像预览界面25，图像预览界面中包括本地存储的多个图像的预览图像。当接收到用户对图像预览界面25中的某一图像的预览图像的选择操作时，应用程序跳转至图像上传界面26，所述图像上传界面26中包含用于触发对选中图像进行上传的第五控件261。当将接收到用户的对第五控件261的操作时，将选中图像确定为所述待修复图像。
作为本发明实施例一种可选的实施方式，获取待修复图像可以包括：通过数字化设备对用户选定的实体照片、图像进行数字化，获取所述待修复图像。
S12、确定所述待修复图像的对象区域和划痕区域。
其中，所述对象区域为所述待修复图像中的目标对象所在的区域。
示例性的，目标对象可以图像中的任意物体，比如车、花朵、鼠标、飞鸟等等；也可以是图像中物体的某个或多个部位，如头部、尾部。
可选的，确定所述待修复图像的对象区域的实现方式可以包括：通过关键点识别技术识别待修复图像的对象（例如基于车身关键点识别模型识别待修复图像中的车身），并通过矩形框标记待修复图像的各个对象区域，以及将各个矩形框内的区域确定为所述待修复图像的对象区域。
可选的，确定所述待修复图像的划痕区域的实现方式可以包括：通过预训练的划痕检测网络模型确定所述待修复图像划痕区域。
需要说明的是，在本发明实施例中，所述待修复图像的对象区域和划痕区域的数量均可以为一个或多个。
S13、根据所述对象区域和所述划痕区域，确定对象划痕区域和背景划痕区域。
本发明实施例中的对象划痕区域是指所述划痕区域与所述对象区域的交集，而所述背景划痕区域则是指所述划痕区域与所述对象区域的差集。例如：如图3所示，区域31为所述待修复图像的对象区域，区域32为所述待修复图像的划痕区域，对象划痕区域33为区域31与区域32的交集，背景划痕区域34为区域31与区域32的差集。
作为本发明实施例一种可选的实施方式，上述步骤S13（根据所述对象区域和所述划痕区域，确定对象划痕区域和背景划痕区域）的实现方式包括如下步骤a和步骤b：
步骤a、基于分割网络模型和所述对象区域，获取所述对象划痕区域。
其中，所述分割网络模型为基于第一样本数据对U形网络（UNET）进行训练得到的网络模型，所述第一样本数据包括多个包含所述目标对象的样本图像以及各个样本图像对应的划痕区域。
示例性的，获取第一样本数据的方式可以包括：对实体对象进行图像采集获取多张对象图像，然后随机为每一张对象图像生成划痕区域，并将各个划痕区域叠加于对应的对象图像上生成多张样本对象图像，最后根据各个样本对象图像和对应的划痕区域生成所述第一样本数据。
具体的，参照图4所示，U形网络（UNET）是一种特殊的卷积神经网络，由于这种特殊的卷积神经网络的结构形似字母U，因此命名为U形网络。U形网络主要由两部分组成：收缩路径（contracting path）41和与所述收缩路径41相对称的扩展路径（expanding path）42。其中，收缩路径41主要是用于捕捉图像中的上下文信息（context information），扩展路径42则是用于对图像中所需要分割出来的部分进行精准定位（localization）。收缩路径41包括多个编码模块，每一个编码模块包括两个卷积层（unpadded convolutional layers）和一个最大池化层（Maxpooling layer）；扩展路径42包括多个解码模块，每一个解码模块包括三个卷积层。
步骤b、根据所述划痕区域和所述对象划痕区域确定所述背景划痕区域。
可选的，可以使用所述划痕区域减去所述对象划痕区域，将所述划痕区域中剩余的区域确定为所述背景划痕区域。
S14、根据所述对象划痕区域对所述对象区域进行图像修复，获取对象图像。
作为本发明实施例一种可选的实施方式，上述步骤S14（根据所述对象划痕区域对所述对象区域进行图像修复，获取对象图像）包括：
将所述对象划痕区域和所述对象区域输入第一图像修复网络模型，并获取所述第一图像修复网络模型的输出作为所述对象图像；
其中，所述第一图像修复网络模型为基于第二样本数据对第一网络模型进行训练得到的网络模型，所述第二样本数据包括多个样本对象图像以及各个样本对象图像对应的无划痕图像。
即，将所述对象区域和所述对象划痕区域送入预先训练的对象修复网络模型，从而对所述对象区域进行划痕修复，获取修复后的对象图像。
示例性的，获取第二样本数据的方式可以包括：对实体对象进行图像采集获取多张对象图像，然后随机为每一张对象图像生成划痕区域，并将各个划痕区域叠加于对应的对象图像上生成多张样本对象图像，最后根据各个样本对象图像和对应的无划痕图像（未叠加划痕区域的对象图像）生成所述第二样本数据。
S15、根据所述背景划痕区域对所述待修复图像进行图像修复，获取背景图像。
作为本发明实施例一种可选的实施方式，上述步骤S15（根据所述背景划痕区域对所述待修复图像进行图像修复，获取背景图像）包括：
将所述背景划痕区域和所述待修复图像输入第二图像修复网络模型，并获取所述第二图像修复网络模型的输出作为所述背景图像；
其中，所述第二图像修复网络模型为基于第三样本数据对第二网络模型进行训练得到的网络模型，所述第三样本数据包括多个具有划痕的样本图像以及各个样本图像对应的无划痕图像。
即，将所述待修复图像整体和所述背景划痕区域和预先训练的图像修复网络模型，从而对所述待修复图像进行划痕修复，获取修复后的背景图像。
示例性的，获取第三样本数据的方式可以包括：对任意实体进行图像采集获取多张图像，然后随机为每一张图像生成划痕区域，并将各个划痕区域叠加于对应的图像上生成多张样本图像，最后根据各个样本图像和对应的无划痕图像（未叠加划痕区域的图像）生成所述第三样本数据。
S16、融合所述对象图像和所述背景图像，获取所述待修复图像的修复图像。
本发明实施例提供的图像修复方法及装置能够为用户提供修复支持，特别是为针对有价值的视频及图像，提供深度的公益修复提供了技术支持。
示例性的，可以按照所述对象图像的位置坐标，将所述对象图像与所述背景图像叠加，从而获取所述待修复图像的修复图像。
需要说明的是，本发明实施例提供的图像修复方法可以基于终端设备的硬件和终端设备上安装的软件完成，也可以为终端设备获取到待修复图像后，将待修复图像上传至服务器，由于服务器执行上述图像修复方法，获取待修复图像的修复图像，并将待修复图像返回终端设备。
本发明实施例提供的图像修复方法在对获取的待修复图像进行修复时，首先确定所述待修复图像的划痕区域和目标对象所在的对象区域，然后根据所述对象区域和所述划痕区域确定对象划痕区域和背景划痕区域，并分别根据所述对象划痕区域对所述对象区域进行图像修复获取对象图像，根据所述背景划痕区域对所述待修复图像进行图像修复获取背景图像，最后融合所述对象图像和所述背景图像，获取所述待修复图像的修复图像。由于本发明实施例提供的图像修复方法可以根据所述对象区域和所述划痕区域确定对象划痕区域和背景划痕区域，并分别根据所述对象划痕区域和所述背景划痕区域对所述待修复图像中的对象区域和所述待修复图像进行修复，因此本发明实施例可以提升图像的修复效果。
本发明实施例还提供了另一种图像修复方法，参照图5所示，该图像修复方法包括如下步骤S501至S516：
S501、获取待修复图像。
S502、确定所述待修复图像的对象区域和划痕区域。
其中，所述对象区域为所述待修复图像中的目标对象所在的区域。
S503、判断各个划痕区域的面积是否大于或等于阈值面积。
在上步骤S503中，若一个或多个划痕区域的面积小于所述阈值面积，则执行如下步骤S504，若各个划痕区域的面积均大于所述阈值面积，则跳过下述步骤S504，直接执行下述步骤S505。
S504、将面积小于所述阈值面积的划痕区域从所述待修复图像的划痕区域中删除。
在确定所述待修复图像的划痕区域时，很可能会将所述待修复图像中的白色区域或反光区域误确定为划痕区域，进而导致白色或反光区域被错误的作为划痕区域修复。考虑到影响图像的视觉效果的划痕区域面积一般都比较大，且面积较小的划痕区域对图像的视觉效果影响很小，因此上述实施例对每一个划痕区域的面积大小进行判断，并将面积小于阈值面积的划痕区域从所述待修复图像的划痕区域中删除，从而避免图像修复过程中误将所述待修复图像中的白色区域或反光区域作为划痕区域修复，由此提高图像修复质量。
S505、检测所述待修复图像是否为彩色图像。
具体的，理论上黑白图像的同一像素点的红色分量、蓝色分量以及绿色分量均相等，而彩色图像同一像素点的红色分量、蓝色分量以及绿色分量可以不同，因此可以随机选取所述待修复图像的多个像素点，并查看各个像素点的红色分量、蓝色分量以及绿色分量的差值是否均在预设范围内；若是，则确定所述待修复图像为黑白图像；若否，则确定所述待修复图像为彩色图像。
在上述步骤S505中，若确定所述待修复图像不为彩色图像（为黑白图像），则执行如下步骤S506，而若确定所述待修复图像为彩色图像，则跳过下述步骤S506，直接执行下述步骤S507。
S506、对所述待修复图像进行上色处理。
具体的，可以基于生成对抗网络（Generative Adversarial Networks，GAN）对所述待修复图像进行上色处理。
可选的，基于生成对抗网络对所述待修复图像进行上色处理的实现方式可以包括：
首先构建生成对抗网络模型；将待上色的样本图像输入所述生成对抗网络模型的生成器进行训练，得到各个样本图像对应的彩色图像，并将符合正态分布的噪声输入所述生成对抗网络模型的生成器进行训练，得到所述样本图像的对应的虚拟图像；计算所述样本图像的对应的虚拟图像与所述样本图像对应的彩色图像样本之间的损失，获得所述生成对抗网络模型的生成器的损失结果，基于所述生成对抗网络模型的生成器的损失结果利用反向传播算法更新所述生成对抗网络模型的生成器的参数；将所述样本图像对应的彩色图像和所述样本图像对应的虚拟图像输入所述生成对抗网络模型的判别器进行判别，得到所述生成对抗网络模型的判别器的判别损失，并基于所述判别损失利用反向传播算法更新所述生成对抗网络模型的判别器的参数；当所述生成对抗网络模型收敛时，将所述生成对抗网络模型确定为训练完成的生成对抗网络，并基于训练完成的生成对抗网络对所述待修复图像进行上色处理。
S507、确定所述待修复图像的优化区域。
其中，所述优化区域为所述待修复图像中颜色值属于预设颜色范围的像素点组成的区域。
可选的，可以预先设置所述预设颜色范围，并遍历所述待修复图像中的各个像素点，确定颜色值属于预设颜色范围的像素点，最后将颜色值属于预设颜色范围的像素点组合为所述优化区域。
S508、基于预设优化算法对所述优化区域进行优化处理。
示例性的，对所述优化区域进行优化处理的预设优化算法可以包括：对所述优化区域进行平滑处理（磨皮）、对所述优化区域进行纹理增强、对所述优化区域进行颜色映射等。
S509、基于完美反射（Perfect Reflector）算法对所述待修复图像进行白平衡处理。
具体的，完美反射算法又称镜面算法，其原理为：由于镜面是可以完全反射光源的光线，因此若待修复图像中存镜面，则在特定光源下，可以将所获得的镜面的色彩信息认为是当前光源的信息。在此理论下，待修复图像中一定存在一个纯白色的像素点或者最亮的像素点，在对待修复图像进行白平衡调整的时，以该像素点作为参考来校准待修复图像的各个像素的亮度。
作为本发明实施例一种可选的实施方式，基于完美反射算法对所述待修复图像进行白平衡处理的过程可以包括：确定所述待修复图像的各个颜色通道的最大值；确定使白色像素点数量超过总像素点数量预设比例的阈值；计算颜色通道之和大于所述阈值的像素点的各个颜色通道的平均值；根据各个颜色通道的最大值和各个颜色通道的平均值计算各个像素点的亮度。
S510、基于高动态范围成像网络模型（High Dynamic Range Net, HDRNet）调整所述待修复图像的对比度。
作为本发明实施例一种可选的实施方式，基于高动态范围成像网络模型调整所述待修复图像的对比度的实现方式可以包括：通过对样本图像进行下采样得到低分辨率图像，并设置低分辨率图像的训练标签，通过在低分辨率图像和标签训练得到双边网格的仿射变换参数，通过双边网格对待修复图像进行操作得到对比度调整后的图像。
S511、根据所述对象区域和所述划痕区域，确定对象划痕区域和背景划痕区域。
S512、根据所述对象划痕区域对所述对象区域进行图像修复，获取对象图像。
S513、对所述对象图像进行去模糊处理。
S514、根据所述背景划痕区域对所述待修复图像进行图像修复，获取背景图像。
S515、对所述背景图像进行去模糊处理。
由于上述实施例在融合所述对象图像和所述背景图像之前，还会对分别所述对象图像和所述背景图像进行去模糊处理，因此上述实施例可以减少所述对象图像和所述背景图像中的噪声点，进而提高最终生成的修复图像的清晰度。
S516、融合所述对象图像和所述背景图像，获取所述待修复图像的修复图像。
进一步的，参照图6所示，用于实现图5所示图像修复方法的系统架构包括：检测模块61、色彩修复模块62、对比度调节模块63、划痕修复模块64、去模糊模块65以及融合模块66。
其中，检测模块61，包括：对象检测单元611、划痕检测单元612以及色彩检测单元 613。对象检测单元611用于确定待修复图像的对象区域；划痕检测单元612用 于确定待修复图像的划痕区域；色彩检测单元613用于确定待修复图像是否为彩色图像。
色彩修复模块62包括：上色单元621和色彩优化单元622。上色单元621用于在检测 模块61确定待修复图像不为彩色图像的情况下，对待修复图像进行上色；色 彩优化单元622用于在检测模块61确定待修复图像为彩色图像的情况下，对待修复 图像中的优化区域进行优化处理，以及在检测模块61确定待修复图像不为彩 色图像的情况下，对上色后的待修复图像中的优化区域进行优化处理。
对比度调节模块63包括：白平衡单元631和对比度单元632。白平衡单元631用于基于完美反射算法待修复图像进行白平衡处理；对比度单元632用于基于高动态范围成像网络模型调整所述待修复图像的对比度。
划痕修复模块64包括：划痕确定单元641、对象修复单元642和背景修复单元643。 划痕确定单元641用于对根据所述对象区域将所述划痕区域分割为对 象划痕区域和背景划痕区域。对象修复单元642用于根据所述对 象划痕区域对所述对象区域进行图像修复，获取对象图像，背景修复单元642用于根据所述背景划痕区域对所述待修复图像进行图像修复，获取背景图像。
去模糊模块65包括：对象去模糊单元651和背景去模糊单元652。对象去模糊单元 651用于对对象图像进行从去模糊处理，背景去模糊单元652用于对背景图像进行从去模糊处理。
融合模块66，用于融合去模糊处理后的对象图像和背景图像，获取所述待修复图 像的修复图像。
基于同一发明构思，作为对上述方法的实现，本发明实施例还提供了一种图像修复装置，该实施例与前述方法实施例对应，为便于阅读，本实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的图像修复装置能够对应实现前述方法实施例中的全部内容。
本发明实施例提供了一种图像修复装置，图7为该图像修复装置的结构示意图，如图7所示，该图像修复装置700包括：
获取单元71，用于获取待修复图像；
检测单元72，用于确定所述待修复图像的对象区域和划痕区域；
确定单元73，用于根据所述对象区域和所述划痕区域，确定对象划痕区域和背景划痕区域；
修复单元74，用于根据所述对象划痕区域对所述对象区域进行图像修复，获取对象图像；
所述修复单元74，还用于根据所述背景划痕区域对所述待修复图像进行图像修复，获取背景图像；
融合单元75，用于融合所述对象图像和所述背景图像，获取所述待修复图像的修复图像。
作为本发明实施例一种可选的实施方式，所述确定单元73，具体用于基于分割网络模型和所述对象区域，获取所述对象划痕区域，所述分割网络模型为基于第一样本数据对U形网络UNET进行训练得到的网络模型，所述第一样本数据包括多个包含所述目标对象的样本图像以及各个样本图像对应的划痕区域；根据所述划痕区域和所述对象划痕区域确定所述背景划痕区域。
作为本发明实施例一种可选的实施方式，所述修复单元74，具体用于将所述对象划痕区域和所述对象区域输入第一图像修复网络模型，并获取所述第一图像修复网络模型的输出作为所述对象图像；
其中，所述第一图像修复网络模型为基于第二样本数据对第一网络模型进行训练得到的网络模型，所述第二样本数据包括多个具有划痕的样本对象图像以及各个样本对象图像对应的无划痕图像。
作为本发明实施例一种可选的实施方式，所述修复单元74，具体用于将所述背景划痕区域和所述待修复图像输入第二图像修复网络模型，并获取所述第二图像修复网络模型的输出作为所述背景图像；
其中，所述第二图像修复网络模型为基于第三样本数据对第二网络模型进行训练得到的网络模型，所述第三样本数据包括多个具有划痕的样本图像以及各个样本图像对应的无划痕图像。
作为本发明实施例一种可选的实施方式，所述检测单元72，还用于在确定所述待修复图像的对象区域和划痕区域之后，判断各个划痕区域的面积是否大于或等于阈值面积；将面积小于所述阈值面积的划痕区域从所述待修复图像的划痕区域中删除。
作为本发明实施例一种可选的实施方式，
所述检测单元72，还用于根据所述对象区域将所述划痕区域分割为对象划痕区域和背景划痕区域之前，检测所述待修复图像是否为彩色图像；
所述修复单元74，还用于在所述待修复图像不为彩色图像的情况下则对所述待修复图像进行上色处理。
作为本发明实施例一种可选的实施方式，
所述检测单元72，还用于在对所述待修复图像进行上色处理之后，确定所述待修复图像的优化区域，所述优化区域为所述待修复图像中颜色值属于预设颜色范围的像素点组成的区域；
所述修复单元74，还用于基于预设优化算法对所述优化区域进行优化处理。
作为本发明实施例一种可选的实施方式，所述修复单元74，还用于在对所述待修复图像进行上色处理之后，基于完美反射算法对所述待修复图像进行白平衡处理。
作为本发明实施例一种可选的实施方式，所述修复单元74，还用于在对所述待修复图像进行上色处理之后，基于高动态范围成像网络模型HDRNET调整所述待修复图像的对比度。
作为本发明实施例一种可选的实施方式，所述修复单元74，还用于在融合所述对象图像和所述背景图像，获取所述待修复图像的修复图像之前，分别对所述对象图像和所述背景图像进行去模糊处理。
本实施例提供的日志输出设备可以执行上述方法实施例提供的图像修复方法，其实现原理与技术效果类似，此处不再赘述。
基于同一发明构思，本发明实施例还提供了一种电子设备。图8为本发明实施例提供的电子设备的结构示意图，如图8所示，本实施例提供的电子设备包括：存储器801和处理器802，所述存储器801用于存储计算机程序；所述处理器802用于在执行计算机程序时执行上述实施例提供的图像修复方法。
基于同一发明构思，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当计算机程序被处理器执行时，使得所述计算设备实现上述实施例提供的图像修复方法。
基于同一发明构思，本发明实施例还提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算设备实现上述实施例提供的图像修复方法。
本领域技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动存储介质。存储介质可以由任何方法或技术来实现信息存储，信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。根据本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (13)

1.一种图像修复方法，其特征在于，包括：
获取待修复图像；
确定所述待修复图像的对象区域和划痕区域，所述对象区域为所述待修复图像中的目标对象所在的区域；所述对象区域的面积小于所述待修复图像的面积；
根据所述对象区域和所述划痕区域，确定对象划痕区域和背景划痕区域；所述对象划痕区域是所述划痕区域与所述对象区域的交集，所述背景划痕区域是所述划痕区域与所述对象区域的差集；
根据所述对象划痕区域对所述对象区域进行图像修复，获取对象图像；
根据所述背景划痕区域对所述待修复图像进行图像修复，获取背景图像；
融合所述对象图像和所述背景图像，获取所述待修复图像的修复图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述对象区域和所述划痕区域，确定对象划痕区域和背景划痕区域，包括：
基于分割网络模型和所述对象区域，获取所述对象划痕区域，所述分割网络模型为基于第一样本数据对U形网络UNET进行训练得到的网络模型，所述第一样本数据包括多个包含所述目标对象的样本图像以及各个样本图像对应的划痕区域；
根据所述划痕区域和所述对象划痕区域确定所述背景划痕区域。
3.根据权利要求1所述的方法，其特征在于，所述根据所述对象划痕区域对所述对象区域进行图像修复，获取对象图像，包括：
将所述对象划痕区域和所述对象区域输入第一图像修复网络模型，并获取所述第一图像修复网络模型的输出作为所述对象图像；
其中，所述第一图像修复网络模型为基于第二样本数据对第一网络模型进行训练得到的网络模型，所述第二样本数据包括多个具有划痕的样本对象图像以及各个样本对象图像对应的无划痕图像。
4.根据权利要求1所述的方法，其特征在于，所述根据所述背景划痕区域对所述待修复图像进行图像修复，获取背景图像，包括：
将所述背景划痕区域和所述待修复图像输入第二图像修复网络模型，并获取所述第二图像修复网络模型的输出作为所述背景图像；
其中，所述第二图像修复网络模型为基于第三样本数据对第二网络模型进行训练得到的网络模型，所述第三样本数据包括多个样本图像以及随机为各个样本图像生成的划痕区域。
5.根据权利要求1所述的方法，其特征在于，在确定所述待修复图像的对象区域和划痕区域之后，所述方法还包括：
判断各个划痕区域的面积是否大于或等于阈值面积；
将面积小于所述阈值面积的划痕区域从所述待修复图像的划痕区域中删除。
6.根据权利要求1-5任一项所述的方法，其特征在于，在根据所述对象区域将所述划痕区域分割为对象划痕区域和背景划痕区域之前，所述方法还包括：
检测所述待修复图像是否为彩色图像；
若所述待修复图像不为彩色图像，则对所述待修复图像进行上色处理。
7.根据权利要求6所述的方法，其特征在于，在对所述待修复图像进行上色处理之后，所述方法还包括：
确定所述待修复图像的优化区域，所述优化区域为所述待修复图像中颜色值属于预设颜色范围的像素点组成的区域；
基于预设优化算法对所述优化区域进行优化处理。
8.根据权利要求6所述的方法，其特征在于，在对所述待修复图像进行上色处理之后，所述方法还包括：
基于完美反射算法对所述待修复图像进行白平衡处理。
9.根据权利要求6所述的方法，其特征在于，在对所述待修复图像进行上色处理之后，所述方法还包括：
基于高动态范围成像网络模型HDRNET调整所述待修复图像的对比度。
10.根据权利要求6所述的方法，其特征在于，在融合所述对象图像和所述背景图像，获取所述待修复图像的修复图像之前，所述方法还包括：
分别对所述对象图像和所述背景图像进行去模糊处理。
11.一种图像修复装置，其特征在于，包括：
获取单元，用于获取待修复图像；
检测单元，用于确定所述待修复图像的对象区域和划痕区域；
确定单元，用于根据所述对象区域和所述划痕区域，确定对象划痕区域和背景划痕区域；所述对象区域的面积小于所述待修复图像的面积；
修复单元，用于根据所述对象划痕区域对所述对象区域进行图像修复，获取对象图像；所述对象划痕区域是所述划痕区域与所述对象区域的交集，所述背景划痕区域是所述划痕区域与所述对象区域的差集；
所述修复单元，还用于根据所述背景划痕区域对所述待修复图像进行图像修复，获取背景图像；
融合单元，用于融合所述对象图像和所述背景图像，获取所述待修复图像的修复图像。
12.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于在执行计算机程序时，使得所述电子设备实现权利要求1-10任一项所述的图像修复方法。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，当所述计算机程序被计算设备执行时，使得所述计算设备实现权利要求1-10任一项所述的图像修复方法。
CN202210009011.0A 2022-01-06 2022-01-06 一种图像修复方法及装置 Active CN114331912B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210009011.0A CN114331912B (zh) 2022-01-06 2022-01-06 一种图像修复方法及装置
PCT/CN2023/070461 WO2023131189A1 (zh) 2022-01-06 2023-01-04 一种图像修复方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210009011.0A CN114331912B (zh) 2022-01-06 2022-01-06 一种图像修复方法及装置

Publications (2)

Publication Number Publication Date
CN114331912A CN114331912A (zh) 2022-04-12
CN114331912B true CN114331912B (zh) 2023-09-29

Family

ID=81025371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210009011.0A Active CN114331912B (zh) 2022-01-06 2022-01-06 一种图像修复方法及装置

Country Status (2)

Country Link
CN (1) CN114331912B (zh)
WO (1) WO2023131189A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114331912B (zh) * 2022-01-06 2023-09-29 北京字跳网络技术有限公司 一种图像修复方法及装置
CN117726551A (zh) * 2022-09-06 2024-03-19 北京字跳网络技术有限公司 图像的修复方法、装置及电子设备
CN118140247A (zh) * 2022-09-30 2024-06-04 京东方科技集团股份有限公司 图像修复方法、装置、设备和非瞬态计算机存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106920233A (zh) * 2017-02-24 2017-07-04 中国人民解放军国防科学技术大学 基于图像处理的划痕检测方法、装置及电子设备
CN110288036A (zh) * 2019-06-28 2019-09-27 北京字节跳动网络技术有限公司 图像修复方法、装置及电子设备
CN110298790A (zh) * 2019-06-28 2019-10-01 北京金山云网络技术有限公司 一种对图像进行超分辨率重建的处理方法及装置
CN112258404A (zh) * 2020-10-15 2021-01-22 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备和存储介质
CN112614066A (zh) * 2020-12-23 2021-04-06 文思海辉智科科技有限公司 图像修复方法、装置及电子设备
CN112967196A (zh) * 2021-03-05 2021-06-15 北京百度网讯科技有限公司 图像修复方法及装置、电子设备和介质
CN113077400A (zh) * 2021-04-09 2021-07-06 广州繁星互娱信息科技有限公司 图像修复方法、装置、计算机设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103905813B (zh) * 2014-04-15 2016-02-24 福州大学 基于背景提取与分区修复的dibr空洞填补方法
KR20210066366A (ko) * 2019-11-28 2021-06-07 삼성전자주식회사 영상 복원 방법 및 장치
CN114331912B (zh) * 2022-01-06 2023-09-29 北京字跳网络技术有限公司 一种图像修复方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106920233A (zh) * 2017-02-24 2017-07-04 中国人民解放军国防科学技术大学 基于图像处理的划痕检测方法、装置及电子设备
CN110288036A (zh) * 2019-06-28 2019-09-27 北京字节跳动网络技术有限公司 图像修复方法、装置及电子设备
CN110298790A (zh) * 2019-06-28 2019-10-01 北京金山云网络技术有限公司 一种对图像进行超分辨率重建的处理方法及装置
CN112258404A (zh) * 2020-10-15 2021-01-22 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备和存储介质
CN112614066A (zh) * 2020-12-23 2021-04-06 文思海辉智科科技有限公司 图像修复方法、装置及电子设备
CN112967196A (zh) * 2021-03-05 2021-06-15 北京百度网讯科技有限公司 图像修复方法及装置、电子设备和介质
CN113077400A (zh) * 2021-04-09 2021-07-06 广州繁星互娱信息科技有限公司 图像修复方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
WO2023131189A1 (zh) 2023-07-13
CN114331912A (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
CN114331912B (zh) 一种图像修复方法及装置
US10666873B2 (en) Exposure-related intensity transformation
US9619897B2 (en) Correction of blotches in component images
CN111292264B (zh) 一种基于深度学习的图像高动态范围重建方法
KR101643607B1 (ko) 영상 데이터 생성 방법 및 장치
US20200007760A1 (en) Imaging apparatus and imaging method, and image processing apparatus and image processing method
Martin et al. MaterIA: Single Image High‐Resolution Material Capture in the Wild
JP7387261B2 (ja) 情報処理装置、情報処理方法及びプログラム
Agrafiotis et al. The effect of underwater imagery radiometry on 3D reconstruction and orthoimagery
US20220375050A1 (en) Electronic device performing image inpainting and method of operating the same
KR20230074136A (ko) 세일리언시 기반 캡처 또는 이미지 프로세싱
JP2020149611A (ja) 情報処理装置および蓄積画像選択方法
US20190172226A1 (en) System and method for generating training images
Tuptewar et al. Robust exemplar based image and video inpainting for object removal and region filling
Uchida et al. Pixelwise jpeg compression detection and quality factor estimation based on convolutional neural network
Nabizadeh et al. Image inpainting by adaptive fusion of variable spline interpolations
KR101904108B1 (ko) 평면 모델링을 통한 깊이 영상의 가변적 블록 부호화 방법 및 장치
Dong et al. Damage recognition of road auxiliary facilities based on deep convolution network for segmentation and image region correction
KR102371145B1 (ko) 이미지 복원을 위한 장치 및 그 장치의 구동방법
Balaji et al. Single image dehazing via transmission map estimation using deep neural networks
Reddy et al. Deep Learning based Image Enhancing Environment with Noise Suppression
CN116452962A (zh) 水下目标检测方法、装置及训练方法、装置及电子设备
RU2560086C1 (ru) Система и способ для временного дополнения видео
Kaur et al. Dehazing image using analytical model and color attenuation prior
RU2020123288A (ru) Способы и устройства для кодирования и декодирования многовидовой видеопоследовательности всенаправленного видео

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant