CN111738961A - 一种电子图像的修复方法、装置、设备及可读存储介质 - Google Patents
一种电子图像的修复方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN111738961A CN111738961A CN202010624028.8A CN202010624028A CN111738961A CN 111738961 A CN111738961 A CN 111738961A CN 202010624028 A CN202010624028 A CN 202010624028A CN 111738961 A CN111738961 A CN 111738961A
- Authority
- CN
- China
- Prior art keywords
- area
- generator
- electronic image
- preset
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000012549 training Methods 0.000 claims description 51
- 230000008569 process Effects 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 13
- 230000008439 repair process Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004088 simulation Methods 0.000 abstract 1
- 230000002950 deficient Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000007547 defect Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000005067 remediation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请实施例提供了一种电子图像的修复方法、装置、设备及可读存储介质，获取第一区域，第一区域为电子图像中包括的预设对象以及电子图像的背景像素的区域，将第一区域输入预设的生成器，得到生成器生成的第二区域，在第二区域中，预设对象被模拟背景像素替换，使用第二区域，在电子图像中替换第一区域，得到修复后的电子图像。模拟背景像素为生成器模拟第一区域中电子图像的背景像素生成，第二区域为与第一区域的电子图像的背景相似度高的区域，修复后的电子图像的第一区域与第一区域外侧的背景图像没有明显的边界。可见，相对于现有技术的人工修复方法，提高了修复效率且提高了修复后图像的整体性。
Description
技术领域
本申请涉及图像处理技术领域，更具体地说，涉及一种电子图像的修复方法、装置、设备及可读存储介质。
背景技术
在档案数字化加工中，通过扫描或者对原始文档拍照得到的电子图像往往存在瑕疵区域，实际应用中，原始文档的残缺部分、装订导致的孔洞、或者操作不当均可能造成电子图像中存在瑕疵区域。例如图1a所示，瑕疵区域为原始文档中存在的污点经扫描后在电子图像上呈现的黑色块。因数字化加工要求，需要对电子图像进行修复，从而去除瑕疵区域。
目前，修复电子图像的方法为人工审查得到瑕疵区域，并使用修图软件对电子图像进行手工修复。图1b示例了人工修复图1a所示的电子图像后的效果图，从图1b可以看出，修复后的瑕疵区域为纯色块，纯色块与电子图像中其他区域的边缘过于锐化，而导致修改后图像的在视觉上整体性降低，即视觉上被划分为修复区域和原始区域。
可见，目前采用的人工修复电子图像的方法效率低且修复后图像在视觉上整体性降低。
发明内容
有鉴于此，本申请提供了一种电子图像的修复方法、装置、设备及可读存储介质，用于提高修复效率以及修复后图像在视觉上整体性，如下：
一种电子图像的修复方法，包括：
获取第一区域，所述第一区域为电子图像中包括的预设对象以及所述电子图像的背景像素的区域；
将所述第一区域输入预设的生成器，得到所述生成器生成的第二区域，在所述第二区域中，所述预设对象被模拟背景像素替换，所述模拟背景像素为所述生成器模拟所述电子图像的背景像素生成；
使用所述第二区域，在所述电子图像中替换所述第一区域。
可选地，将所述第一区域输入预设的生成器，得到所述生成器生成的第二区域，包括：
响应于所述第一区域的尺度大于预设阈值，将所述第一区域输入预设的生成器，得到所述生成器生成的第二区域。
可选地，还包括：
响应于所述第一区域的尺度不大于所述预设阈值，从所述电子图像中提取第三区域，所述第三区域为所述第一区域的相邻区域，且所述第三区域中不包括所述预设对象；
统计所述第三区域中的像素的均值；
在所述电子图像中，将所述第一区域中的像素值替换为所述均值。
可选地，预设的生成器的训练过程包括：
使用样本图像集，训练所述生成器，使得所述生成器输出的图像，与输入的所述样本图像集中的样本图像的差异不大于预设差异阈值，其中，所述样本图像集包括不具有所述预设对象的所述电子图像中的区域。
可选地，预设的生成器包括：生成式对抗网络中的生成器；
可选地，预设的生成器的训练过程，还包括：
使用样本图像集以及所述生成器的输出结果，训练所述生成式对抗网络中的判别器；
使用训练后的所述判别器的输出结果，调整训练后的所述生成器。
一种电子图像的修复装置，包括：
第一区域获取单元，用于获取第一区域，所述第一区域为电子图像中包括的预设对象以及所述电子图像的背景像素的区域；
第二区域生成单元，用于将所述第一区域输入预设的生成器，得到所述生成器生成的第二区域，在所述第二区域中，所述预设对象被模拟背景像素替换，所述模拟背景像素为所述生成器模拟所述电子图像的背景像素生成；
修复单元，用于使用所述第二区域，在所述电子图像中替换所述第一区域。
可选地，第二区域生成单元用于将所述第一区域输入预设的生成器，得到所述生成器生成的第二区域，包括：
所述第二区域生成单元具体用于：
响应于所述第一区域的尺度大于预设阈值，将所述第一区域输入预设的生成器，得到所述生成器生成的第二区域；
可选地，第二区域生成单元用于将所述第一区域输入预设的生成器，得到所述生成器生成的第二区域，还包括：
所述第二区域生成单元具体用于：
响应于所述第一区域的尺度不大于所述预设阈值，从所述电子图像中提取第三区域，所述第三区域为所述第一区域的相邻区域，且所述第三区域中不包括所述预设对象；
统计所述第三区域中的像素的均值；
在所述电子图像中，将所述第一区域中的像素值替换为所述均值。
一种电子图像的修复设备，包括：存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现如上所述的电子图像的修复方法的各个步骤。
一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如上所述的电子图像的修复方法的各个步骤。
从上述技术方案可以看出，本申请实施例提供的一种电子图像的修复方法、装置、设备及可读存储介质，获取第一区域，其中，第一区域为电子图像中包括的预设对象以及电子图像的背景像素的区域，将第一区域输入预设的生成器，得到生成器生成的第二区域，在第二区域中，预设对象被模拟背景像素替换，本方法使用第二区域，在电子图像中替换第一区域，得到修复后的电子图像。由于模拟背景像素为生成器模拟第一区域中电子图像的背景像素生成，也即，第二区域的像素与第一区域的电子图像的背景像素相似度高，因此，修复后的电子图像的第二区域(即修复之前的包括瑕疵区域的第一区域)像素与第二区域相邻的区域像素没有明显的边界。可见，使用本申请提供的电子图像的修复方法使用生成器自动生成第二区域，并替换第一区域得到修复后电子图像，相对于现有技术的人工修复方法，提高修复效率的同时提高了修复后图像在视觉上整体性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1a示例了包括瑕疵区域的电子图像的示例图；
图1b示例了人工修复图1a所示的电子图像后的效果图；
图2为本申请实施例提供的一种电子图像的修复方法的流程示意图；
图3示例了申请实施例提供的一种电子图像的修复方法修复图1a所示的电子图像后的效果图；
图4为本申请实施例提供的又一种电子图像的修复方法的流程示意图；
图5为本申请实施例提供的一种生成式对抗网络的结构示意图；
图6示例了电子图像修复后的效果图；
图7为本申请实施例提供的一种电子图像的修复装置的结构示意图；
图8为本申请实施例提供的一种电子图像的修复设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本方法可以但不限于应用于对电子图像的修复场景，还可以应用于其他场景，例如，对电子图像中的部分内容进行模糊处理。并且，本申请实施例中的电子图像也不限于扫描或拍照得到的电子图像。本申请实施例仅以修复扫描原始文档得到的包括瑕疵区域的电子图像(如图1a所示)为例，对本申请提供的电子图像的修复方法进行说明。
图2为本申请实施例提供的一种电子图像的修复方法的流程示意图，如图2所示，本方法具体包括下述S201～S203。
S201、获取第一区域。
本实施例中，第一区域为电子图像中包括的预设对象以及电子图像的背景像素的区域。本实施例中，电子图像的背景像素，是指电子图像中，预设对象的邻域像素。
本实施例中，预设对象为瑕疵区域，第一区域为瑕疵区域的最小外包矩形围成的区域，例如图1a所示的电子图像中，瑕疵区域为黑色区域，第一区域为黑色区域的最小外包矩形围成的区域，即图1a中所示的虚线矩形框围成的区域，在图1a中，预设对象的邻域包括虚线矩形框围成的区域中除瑕疵区域以外的区域，可见，虚线矩形框围成的区域包括黑色区域以及电子图像的背景像素。
需要说明的是，第一区域中包括预设对象以及电子图像的背景像素即可，本实施例对第一区域的具体形状不做限定，即第一区域可以为其他形状(规则或不规则均可)的区域。
S202、将第一区域输入预设的生成器，得到生成器生成的第二区域。
本实施例中，生成器为预先训练得到的模型。将第一区域输入生成器，生成器可以模拟第一区域中的电子图像的背景，生成模拟背景像素，并且，输出第二区域，在第二区域中，预设对象被模拟背景像素替换。
本实施例中，生成器可以为预先训练神经网络模型得到的生成器。训练过程可以包括下述A1～A2。
A1、将样本图像集中的样本图像输入至神经网络模型。
本实施例中，样本图像集包括不具有预设对象的电子图像中的区域。也即，样本图像中不包括预设对象(即瑕疵区域)。可以理解的是，样本图像中包括电子图像中预设对象的邻域。
A2、以预设的训练条件为输出目标，训练神经网络模型，得到生成器。
本实施例中，训练条件包括：生成器输出的图像与输入的样本图像集中的样本图像的差异不大于预设差异阈值。差异阈值根据实际需求预设，差异阈值越小，表示生成器输出的图像与输入的样本图像集中的样本图像的相似度越高。
可以理解的是，本实施例将第一区域输入训练后的生成器，生成器输出的第二区域中预设对象被模拟背景像素替换，其中，模拟背景像素与输入的第一区域中的电子图像的背景像素差异不大于预设差异阈值，也即第二区域的像素与第一区域中的电子图像的背景像素相似度高。
S203、使用第二区域，在电子图像中替换第一区域。
由上可知，第二区域的像素与第一区域中的电子图像的背景像素相似度高，电子图像的背景像素为预设对象的邻域的像素，所以本实施例将第二区域在电子图像中替换第一区域，得到的电子图像中的预设对象与邻域的差异较小，达到修复电子图像的目的，并且整体性较高。
以图1a中所示的电子图像为例，本实施例将虚线矩形区域输入至预设的生成器，得到生成器生成的第二区域，第二区域中的瑕疵区域被模拟背景像素替换，将该第二区域作为替换图像，替换虚线矩形区域，得到图1a修复后的图像如图3所示。从图3所示的电子图像可以看出，由于模拟背景像素与虚线矩形区域中的电子图像的背景像素差异不大于预设差异阈值，所以第二区域的像素与第一区域中的电子图像的背景像素相似度高，所以替换后的第一区域与电子图像中第一区域的邻域没有明显的边界。
从上述技术方案可以看出，本申请实施例提供的一种电子图像的修复方法，获取第一区域，其中，第一区域为电子图像中包括的预设对象以及电子图像的背景像素的区域，将第一区域输入预设的生成器，得到生成器生成的第二区域，在第二区域中，预设对象被模拟背景像素替换，本方法使用第二区域，在电子图像中替换第一区域，得到修复后的电子图像。由于模拟背景像素为生成器模拟第一区域中电子图像的背景像素生成，也即，第二区域的像素与第一区域的电子图像的背景像素相似度高，因此，修复后的电子图像的第二区域(即修复之前的包括瑕疵区域的第一区域)像素与第二区域相邻的区域像素没有明显的边界。可见，使用本申请提供的电子图像的修复方法使用生成器自动生成第二区域，并替换第一区域得到修复后电子图像，相对于现有技术的人工修复方法，提高修复效率的同时提高了修复后图像在视觉上整体性。
需要说明的是，上述S1～S3为本申请实施例提供的电子图像的修复方法可选的一种具体实施方式，图4为本申请实施例提供的又一种电子图像的修复方法的流程示意图，如图4所示，本方法可以包括下述S401～S407。
S401、获取第一区域。
S402、判断第一区域的尺度是否大于预设阈值，若是，则执行S403～S404，若否，则执行S405～S407。
本实施例中，阈值可以根据实际应用预设，本实施例中，第一区域的尺度可以为第一区域的尺寸与电子图像尺寸的比例值。第一区域的尺度大于预设阈值时，表示瑕疵区域在电子图像中占比较大(如图1a所示的电子图像中的瑕疵区域)，第一区域的尺度不大于预设阈值时，表示瑕疵区域在电子图像中占比较小(如图6所示的电子图像中的瑕疵区域)。
S403、将第一区域输入预设的生成器，得到生成器生成的第二区域。
响应于第一区域的尺度大于预设阈值，本实施例可以参照上述S202将第一区域输入预设的生成器，得到生成器生成的第二区域。
需要说明的是，上述实施例中提及的生成器可以包括多种类型，本实施例中，生成器为生成式对抗网络(GAN，Generative Adversarial Networks)中的生成器。生成式对抗网络的结构示意图如图5所示。生成式对抗网络包括生成器和判别器。
则预设的生成器的训练过程为生成式对抗网络中生成器和判别器的联合训练过程，具体可以包括下述B1～B5。
B1、将样本图像集中的样本图像输入至生成器。
本实施例中，样本图像集中的样本图像包括电子图像的背景。样本图像的尺寸可以根据需求进行预设。
B2、以预设的第一训练条件为输出目标，训练生成器。
本实施例中，第一训练条件包括：生成器输出的图像(记为假样本图像)与输入的样本图像集中的样本图像的差异不大于预设差异阈值。差异阈值根据实际需求预设，差异阈值越小表示假样本图像与样本图像相似度越高。
B3、将样本图像集中的样本图像以及生成器输出的图像输入至判别器，训练判别器。
本实施例中，判别器用于依据输入的样本图像以及生成器输出的假样本图像，判断假样本图像是否为真，为真指的是判断生成器输出的假样本图像与样本图像的相似度高。
需要说明的是，生成器和判别器的训练次数比可以根据实际应用预设，本实施例中，训练次数比预设为5，也即，执行B1～B2训练生成器5次，得到训练后的生成器，再执行B3训练判别器1次。
B4、根据判别器的输出结果，调整生成器中的模型参数，返回B1。
B5、当生成器的损失函数不断变小，并且判别器的损失函数在0附近震荡，结束训练。
本实施例中，训练后的生成式对抗网络中的生成器可以模拟第一区域中的电子图像的背景，生成判别器无法判断真假的模拟背景，因此该模拟背景与电子图像的背景的差异更小，以及模拟背景与电子图像的背景的相似度更高。
需要说明的是，本申请实施例中的生成式对抗网络的具体类型不做限定，例如，可以为CycleGAN、WGAN、以及DCGAN中的任一种。
S404、使用第二区域，在电子图像中替换第一区域。
具体可以参照上述S203，在此不做赘述。
S405、从电子图像中提取第三区域。
本实施例中，第三区域为第一区域的相邻区域，且第三区域中不包括预设对象。如图6所示，电子图像中的瑕疵区域为圆形黑色块，第一区域为该圆形黑色块的最小外包矩形(虚线矩形框)围成的区域，在图6中，第三区域为虚线矩形框向4条矩形边外侧扩大50个像素得到的矩形框(长虚线矩形框)与虚线矩形框之间的区域。可见第三区域中的像素与第一区域中的电子图像背景像素差异较小。
S406、统计第三区域中的像素的均值。
本实施例中，像素的均值可以为加和求平均的像素值，也可以为加和求平均的像素值，其中，第三区域中越靠近第一区域的像素的权值越大。对此本实施例不做限定。
S407、在电子图像中，将第一区域中的像素值替换为均值。
上述可知，均值为第三区域的像素的均值，由于第三区域中的像素与第一区域中的电子图像背景差异较小，所以均值与第一区域中的像素值差异较小，本实施例将第一区域中的像素值替换为均值后，可以得到修复后的电子图像，如图6修复效果图所示。
需要说明的是，上述S403～S404和S405～S407中分别提供了两种得到第一区域待替换的像素值的方法，其中，S403～S404通过生成器得到电子图像的背景的模拟背景，S405～S407通过得到第三区域的像素均值，得到第一区域待替换的像素值。本申请实施例通过判断第一区域的尺度选择不同的方法得到第一区域待替换的像素值，相对于现有技术的人工修复方法，一方面在第一区域尺度较大的情况下，提高修复效率以及修复后图像在视觉上整体性，另一方面，在第一区域尺度较小的情况下，降低计算资源的需求，提高计算效率。更为重要的是，在第一区域尺度较小的情况下，修复后的视觉上区域，因为尺度较小，所以，即使边缘锐利，视觉上也不明显，所以，能够保证视觉上的整体性不降低。
本申请实施例还提供了一种电子图像的修复装置，下面对本申请实施例提供的电子图像的修复装置进行描述，下文描述的电子图像的修复装置与上文描述的电子图像的修复方法可相互对应参照。
请参阅图7，示出了本申请实施例提供的一种电子图像的修复装置的结构示意图，如图7所示，该装置可以包括：
第一区域获取单元701，用于获取第一区域，所述第一区域为电子图像中包括的预设对象以及所述电子图像的背景像素的区域；
第二区域生成单元702，用于将所述第一区域输入预设的生成器，得到所述生成器生成的第二区域，在所述第二区域中，所述预设对象被模拟背景像素替换，所述模拟背景为所述生成器模拟所述电子图像的背景像素生成；
修复单元703，用于使用所述第二区域，在所述电子图像中替换所述第一区域。
可选地，第二区域生成单元用于将所述第一区域输入预设的生成器，得到所述生成器生成的第二区域，包括：
所述第二区域生成单元具体用于：
响应于所述第一区域的尺度大于预设阈值，将所述第一区域输入预设的生成器，得到所述生成器生成的第二区域；
可选地，第二区域生成单元用于将所述第一区域输入预设的生成器，得到所述生成器生成的第二区域，还包括：
所述第二区域生成单元具体用于：
响应于所述第一区域的尺度不大于所述预设阈值，从所述电子图像中提取第三区域，所述第三区域为所述第一区域的相邻区域，且所述第三区域中不包括所述预设对象；
统计所述第三区域中的像素的均值；
在所述电子图像中，将所述第一区域中的像素值替换为所述均值。
可选地，本装置还包括模型训练单元；
模型训练单元用于训练所述生成器，包括：模型训练单元具体用于：
使用样本图像集，训练所述生成器，使得所述生成器输出的图像，与输入的所述样本图像集中的样本图像的差异不大于预设差异阈值，其中，所述样本图像集包括不具有所述预设对象的所述电子图像中的区域。
可选地，所述预设的生成器包括：生成式对抗网络中的生成器；
可选地，模型训练单元用于训练所述生成器，还包括：模型训练单元具体用于：
使用样本图像集以及所述生成器的输出结果，训练所述生成式对抗网络中的判别器；
使用训练后的所述判别器的输出结果，调整训练后的所述生成器。
本申请实施例还提供了一种电子图像的修复设备，请参阅图8，示出了该电子图像的修复设备的结构示意图，该设备可以包括：至少一个处理器801，至少一个通信接口802，至少一个存储器803和至少一个通信总线804；
在本申请实施例中，处理器801、通信接口802、存储器803、通信总线804的数量为至少一个，且处理器801、通信接口802、存储器803通过通信总线804完成相互间的通信；
处理器801可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路等；
存储器803可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)等，例如至少一个磁盘存储器；
其中，存储器存储有程序，处理器可执行存储器存储的程序，实现本申请实施例公开的电子图像的修复方法，如下：
一种电子图像的修复方法，包括：
获取第一区域，所述第一区域为电子图像中包括的预设对象以及所述电子图像的背景像素的区域；
将所述第一区域输入预设的生成器，得到所述生成器生成的第二区域，在所述第二区域中，所述预设对象被模拟背景像素替换，所述模拟背景像素为所述生成器模拟所述电子图像的背景像素生成；
使用所述第二区域，在所述电子图像中替换所述第一区域。
可选地，将所述第一区域输入预设的生成器，得到所述生成器生成的第二区域，包括：
响应于所述第一区域的尺度大于预设阈值，将所述第一区域输入预设的生成器，得到所述生成器生成的第二区域。
可选地，还包括：
响应于所述第一区域的尺度不大于所述预设阈值，从所述电子图像中提取第三区域，所述第三区域为所述第一区域的相邻区域，且所述第三区域中不包括所述预设对象；
统计所述第三区域中的像素的均值；
在所述电子图像中，将所述第一区域中的像素值替换为所述均值。
可选地，预设的生成器的训练过程包括：
使用样本图像集，训练所述生成器，使得所述生成器输出的图像，与输入的所述样本图像集中的样本图像的差异不大于预设差异阈值，其中，所述样本图像集包括不具有所述预设对象的所述电子图像中的区域。
可选地，预设的生成器包括：生成式对抗网络中的生成器；
可选地，预设的生成器的训练过程，还包括：
使用样本图像集以及所述生成器的输出结果，训练所述生成式对抗网络中的判别器；
使用训练后的所述判别器的输出结果，调整训练后的所述生成器。
本申请实施例还提供一种可读存储介质，该可读存储介质可存储有适于处理器执行的计算机程序，计算机程序被处理器执行时，实现本申请实施例公开的电子图像的修复方法，如下：
一种电子图像的修复方法，包括：
获取第一区域，所述第一区域为电子图像中包括的预设对象以及所述电子图像的背景像素的区域；
将所述第一区域输入预设的生成器，得到所述生成器生成的第二区域，在所述第二区域中，所述预设对象被模拟背景像素替换，所述模拟背景像素为所述生成器模拟所述电子图像的背景像素生成；
使用所述第二区域，在所述电子图像中替换所述第一区域。
可选地，将所述第一区域输入预设的生成器，得到所述生成器生成的第二区域，包括：
响应于所述第一区域的尺度大于预设阈值，将所述第一区域输入预设的生成器，得到所述生成器生成的第二区域。
可选地，还包括：
响应于所述第一区域的尺度不大于所述预设阈值，从所述电子图像中提取第三区域，所述第三区域为所述第一区域的相邻区域，且所述第三区域中不包括所述预设对象；
统计所述第三区域中的像素的均值；
在所述电子图像中，将所述第一区域中的像素值替换为所述均值。
可选地，预设的生成器的训练过程包括：
使用样本图像集，训练所述生成器，使得所述生成器输出的图像，与输入的所述样本图像集中的样本图像的差异不大于预设差异阈值，其中，所述样本图像集包括不具有所述预设对象的所述电子图像中的区域。
可选地，预设的生成器包括：生成式对抗网络中的生成器；
可选地，预设的生成器的训练过程，还包括：
使用样本图像集以及所述生成器的输出结果，训练所述生成式对抗网络中的判别器；
使用训练后的所述判别器的输出结果，调整训练后的所述生成器。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种电子图像的修复方法，其特征在于，包括：
获取第一区域，所述第一区域为电子图像中包括的预设对象以及所述电子图像的背景像素的区域；
将所述第一区域输入预设的生成器，得到所述生成器生成的第二区域，在所述第二区域中，所述预设对象被模拟背景像素替换，所述模拟背景像素为所述生成器模拟所述电子图像的背景像素生成；
使用所述第二区域，在所述电子图像中替换所述第一区域。
2.根据权利要求1所述的方法，其特征在于，所述将所述第一区域输入预设的生成器，得到所述生成器生成的第二区域，包括：
响应于所述第一区域的尺度大于预设阈值，将所述第一区域输入预设的生成器，得到所述生成器生成的第二区域。
3.根据权利要求2所述的方法，其特征在于，还包括：
响应于所述第一区域的尺度不大于所述预设阈值，从所述电子图像中提取第三区域，所述第三区域为所述第一区域的相邻区域，且所述第三区域中不包括所述预设对象；
统计所述第三区域中的像素的均值；
在所述电子图像中，将所述第一区域中的像素值替换为所述均值。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述预设的生成器的训练过程包括：
使用样本图像集，训练所述生成器，使得所述生成器输出的图像，与输入的所述样本图像集中的样本图像的差异不大于预设差异阈值，其中，所述样本图像集包括不具有所述预设对象的所述电子图像中的区域。
5.根据权利要求3所述的方法，其特征在于，所述预设的生成器包括：
生成式对抗网络中的生成器；
所述预设的生成器的训练过程，还包括：
使用样本图像集以及所述生成器的输出结果，训练所述生成式对抗网络中的判别器；
使用训练后的所述判别器的输出结果，调整训练后的所述生成器。
6.一种电子图像的修复装置，其特征在于，包括：
第一区域获取单元，用于获取第一区域，所述第一区域为电子图像中包括的预设对象以及所述电子图像的背景像素的区域；
第二区域生成单元，用于将所述第一区域输入预设的生成器，得到所述生成器生成的第二区域，在所述第二区域中，所述预设对象被模拟背景像素替换，所述模拟背景像素为所述生成器模拟所述电子图像的背景像素生成；
修复单元，用于使用所述第二区域，在所述电子图像中替换所述第一区域。
7.根据权利要求6所述的装置，其特征在于，所述第二区域生成单元用于将所述第一区域输入预设的生成器，得到所述生成器生成的第二区域，包括：
所述第二区域生成单元具体用于：
响应于所述第一区域的尺度大于预设阈值，将所述第一区域输入预设的生成器，得到所述生成器生成的第二区域。
8.根据权利要求7所述的装置，其特征在于，所述第二区域生成单元用于将所述第一区域输入预设的生成器，得到所述生成器生成的第二区域，还包括：
所述第二区域生成单元具体用于：
响应于所述第一区域的尺度不大于所述预设阈值，从所述电子图像中提取第三区域，所述第三区域为所述第一区域的相邻区域，且所述第三区域中不包括所述预设对象；
统计所述第三区域中的像素的均值；
在所述电子图像中，将所述第一区域中的像素值替换为所述均值。
9.一种电子图像的修复设备，其特征在于，包括：存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现如权利要求1～5中任一项所述的电子图像的修复方法的各个步骤。
10.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1～5中任一项所述的电子图像的修复方法的各个步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010624028.8A CN111738961B (zh) | 2020-06-30 | 2020-06-30 | 一种电子图像的修复方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010624028.8A CN111738961B (zh) | 2020-06-30 | 2020-06-30 | 一种电子图像的修复方法、装置、设备及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111738961A true CN111738961A (zh) | 2020-10-02 |
| CN111738961B CN111738961B (zh) | 2023-03-17 |
Family
ID=72652336
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010624028.8A Active CN111738961B (zh) | 2020-06-30 | 2020-06-30 | 一种电子图像的修复方法、装置、设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111738961B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112258416A (zh) * | 2020-10-27 | 2021-01-22 | 维沃移动通信有限公司 | 图像处理方法、装置、电子设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110084766A (zh) * | 2019-05-08 | 2019-08-02 | 北京市商汤科技开发有限公司 | 一种图像处理方法、装置和电子设备 |
| CN110660033A (zh) * | 2019-09-25 | 2020-01-07 | 北京奇艺世纪科技有限公司 | 一种字幕的去除方法、装置及电子设备 |
-
2020
- 2020-06-30 CN CN202010624028.8A patent/CN111738961B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110084766A (zh) * | 2019-05-08 | 2019-08-02 | 北京市商汤科技开发有限公司 | 一种图像处理方法、装置和电子设备 |
| CN110660033A (zh) * | 2019-09-25 | 2020-01-07 | 北京奇艺世纪科技有限公司 | 一种字幕的去除方法、装置及电子设备 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112258416A (zh) * | 2020-10-27 | 2021-01-22 | 维沃移动通信有限公司 | 图像处理方法、装置、电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111738961B (zh) | 2023-03-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111507958B (zh) | 目标检测方法、检测模型的训练方法及电子设备 | |
| CN106875408B (zh) | 用于截图的方法、装置及终端设备 | |
| CN110660033B (zh) | 一种字幕的去除方法、装置及电子设备 | |
| CN111899243A (zh) | 一种图像清晰度评价方法、设备和计算机可读存储介质 | |
| CN112614066A (zh) | 图像修复方法、装置及电子设备 | |
| CN107358597A (zh) | 一种胶点检验方法与装置 | |
| CN111738961B (zh) | 一种电子图像的修复方法、装置、设备及可读存储介质 | |
| CN113034447A (zh) | 一种边缘缺陷检测方法和装置 | |
| CN111031359B (zh) | 视频播放方法、装置、电子设备和计算机可读存储介质 | |
| CN113052754B (zh) | 一种图片背景虚化的方法及装置 | |
| CN113888431A (zh) | 图像修复模型的训练方法、装置、计算机设备及存储介质 | |
| CN111145202B (zh) | 模型生成方法、图像处理方法、装置、设备及存储介质 | |
| CN116309483A (zh) | 基于ddpm的半监督变电设备表征缺陷检测方法及系统 | |
| CN113112511B (zh) | 试卷批改的方法、装置、存储介质及电子设备 | |
| CN112232345B (zh) | 配置信息确定和图像有效区域提取方法和装置 | |
| CN115661156B (zh) | 图像生成方法、装置、存储介质、设备及计算机程序产品 | |
| CN111784667A (zh) | 一种裂纹识别方法及装置 | |
| CN116631003A (zh) | 基于p&id图纸的设备识别方法、装置、存储介质及电子设备 | |
| CN113033542B (zh) | 一种文本识别模型的生成方法以及装置 | |
| CN115619796A (zh) | 获取光伏组件模板的方法及装置、非易失性存储介质 | |
| CN113326893A (zh) | 车牌识别模型的训练、识别方法、装置及电子设备 | |
| CN110211085B (zh) | 一种图像融合质量评价方法和系统 | |
| CN108447107B (zh) | 用于生成视频的方法和装置 | |
| CN115564700A (zh) | 图像处理方法及系统、存储介质、电子装置 | |
| CN111340137A (zh) | 图像识别方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |