CN107730457A - 一种图像补全方法、装置、电子设备及存储介质 - Google Patents

Abstract

一种图像补全方法、装置、电子设备及存储介质。本发明公开了一种图像补全方法，包括以下步骤：获取待补全图像并对待补全图像进行预处理；所述待补全图像中包含有部分被遮挡的图案；根据待补全图像得出图案被遮挡的区域并将该区域移除，得到带有缺失部分的待补全图像；依次从缺失部分的边缘开始查找带有缺失部分的待补全图像的缺失部分的每个像素点以及每个像素点所对应的相邻像素点，并结合系统中的预设模型，得到对应像素点的颜色分布；根据缺失部分的每个像素点的颜色分布得出对应像素点的颜色信息并进行对应填充。本发明还公开一种电子设备、计算机可读存储介质和图像补全装置。本发明具有操作简单、学习门槛低、补全速度快等特点。

Description

一种图像补全方法、装置、电子设备及存储介质

技术领域

本发明涉及一种图像处理技术，尤其涉及一种图像补全方法、装置、电子设备及存储介质。

背景技术

目前，随着数码相机和智能手机等的出现，人们可以随时随地拍摄各种照片，比如在节假日全家畅游动物园、在展馆中拍摄模型或模具等，使用数码相机、手机拍摄就显得十分常见。但是，比如在动物园中的动物大都是围在栅栏中，这样拍摄的动物照片都会有栅栏在中间形成干扰，导致拍摄的动物图片不全。若是想要得到一张完整的动物图片，就需要对拍摄的动物图片做后期处理，比如去掉干扰的栅栏、遮挡物等，通常采用图像处理软件来进行上述操作。但是，一般来说图像处理软件，比如PS，其操作复杂、学习门槛较高，普通用户很难熟练掌握。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供一种图像补全方法，其能够解决现有技术中图像补全只能由具有专业的图像处理软件的技术人员来实现的问题。

本发明的目的之二在于提供一种电子设备，其能够解决现有技术中图像补全只能由具有专业的图像处理软件的技术人员来实现的问题。

本发明的目的之三在于提供一种计算机可读存储介质，其能够解决现有技术中图像补全只能由具有专业的图像处理软件的技术人员来实现的问题。

本发明的目的之四在于提供一种图像补全装置，其能够解决现有技术中图像补全只能由具有专业的图像处理软件的技术人员来实现的问题。

本发明的目的之一采用如下技术方案实现：

一种图像补全方法，包括以下步骤：

预处理步骤：获取待补全图像并对待补全图像进行预处理；所述待补全图像中包含有部分被遮挡的图案；

移除步骤：根据待补全图像得出图案被遮挡的区域并将该区域移除，得到带有缺失部分的待补全图像；

查找步骤：依次从缺失部分的边缘开始查找带有缺失部分的待补全图像的缺失部分的每个像素点以及每个像素点所对应的相邻像素点；

匹配步骤：获取缺失部分的每个像素点所对应的相邻像素点的分布位置及颜色信息，并结合系统中的预设模型，得到对应像素点的颜色分布；

填充步骤：根据缺失部分的每个像素点的颜色分布得出对应像素点的颜色信息并进行对应填充；

其中，所述相邻像素点为未缺失部分的像素点或缺失部分已被填充颜色的像素点。

进一步地，所述根据缺失部分的各个像素点的颜色分布得到对应像素点的颜色信息具体为：选取颜色分布中出现概率最高的颜色作为对应像素点的颜色信息。

进一步地，所述预设模型的建立过程如下：

分别获取包含有同一图案的多个图像并依次对每个图像执行S1和S2，进而建立对应的预设模型；

其中：S1、获取包含有同一种图案的图像并对其进行预处理；

S2、对所述图像中的图案进行随机遮挡形成多个留白图像，并根据卷积神经网络算法对图像以及多个留白图像分别进行处理，查找得出与每个被遮挡区域的像素点所对应的相邻像素点的颜色信息，从而得出所述图像的每个像素点与其相邻像素点的对应关系模板。

进一步地，所述图案为动物图案。

本发明的目的之二采用如下技术方案实现：

一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如前所述的图像补全方法的步骤。

本发明的目的之三采用如下技术方案实现：

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前所述的图像补全方法的步骤。

本发明的目的之四采用如下技术方案实现：

一种图像补全装置，包括：

预处理模块，用于获取待补全图像并对待补全图像进行预处理；所述待补全图像中包含有部分被遮挡的图案；

移除模块，用于根据待补全图像得出图案被遮挡的区域并将该区域移除，得到带有缺失部分的待补全图像；

查找模块，用于依次从缺失部分的边缘开始查找带有缺失部分的待补全图像的缺失部分的每个像素点以及每个像素点所对应的相邻像素点；

匹配模块，用于获取缺失部分的每个像素点所对应的相邻像素点的分布位置及颜色信息，并结合系统中的预设模型，得到对应像素点的颜色分布；

填充模块，用于根据缺失部分的每个像素点的颜色分布得出对应像素点的颜色信息并进行对应填充；

其中，所述相邻像素点为未缺失部分的像素点或缺失部分已被填充颜色的像素点。

进一步地，所述根据缺失部分的各个像素点的颜色分布得到对应像素点的颜色信息具体为：选取颜色分布中出现概率最高的颜色作为对应像素点的颜色信息。

进一步地，所述预设模型的建立过程如下：

分别获取包含有同一图案的多个图像并依次对每个图像执行S1和S2，进而建立对应的预设模型；

其中：S1、获取包含有同一种图案的图像并对其进行预处理；

S2、对所述图像中的图案进行随机遮挡形成多个留白图像，并根据卷积神经网络算法对图像以及多个留白图像分别进行处理，查找得出与每个被遮挡区域的像素点所对应的相邻像素点的颜色信息，从而得出所述图像的每个像素点与其相邻像素点的对应关系模板。

进一步地，所述图案为动物图案。

相比现有技术，本发明的有益效果在于：

本发明通过对大量包含有完整图案的图像进行学习训练建立对应的模型，也即是得到图案中缺失部分与未缺失部分的相邻像素点之间的对应模板，从而通过待补全的图像中未缺失部分的像素点的颜色来得到其相邻的缺失部分的像素点的颜色，并对其进行填充，从而得到包含完整图案的图像，也即是实现了待补全的图像的自动补全，解决了不具备专业的图像处理软件技术的普通用户也可以对图像进行补全的问题。本发明具有操作简单、学习门槛低等特点。

附图说明

图1为本发明提供的图像补全方法的方法流程图；

图2为本发明提供的图像补全装置的装置模块图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

实施例

本发明涉及图像处理的方法，即是图像补全方法，其用于对拍摄后的图像进行自动后期处理，去除干扰区域，并对所拍摄的图案的缺失部分进行自动补全，从而解决了专业图像处理软件(如PS)操作复杂，学习成本高，普通用户无法使用软件的问题。比如用户旅游时在动物园内所拍摄的动物照片，由于动物都被围于栅栏内，在拍摄时很多情况下，动物的某部分都会被栅栏所遮挡，导致不能够拍摄完整的动物图案。

本发明是首先通过对大量完整图案的图像进行学习训练，从而建立对应的参考模型，然后通过将待补全图像在参考模型中进行匹配，进而将待补全图像中图案的缺失部分补全，形成完整图案，比如将旅游时所拍摄的不完整动物图案进行补全，从而得到完整动物图案的图像。

在对图像进行补全操作时，首先要通过对大量的图像进行识别训练得到对应的图像模型。本申请中选用动物图案作为实施例来说明参考模型的建立，比如首先收集包含有大量的完整的动物图案的图像，该图像可以是包含有同一种动物图案的多个不同角度的图像，也可以是不同动物图案的图像。参考模型建立过程如下：

S11、获取含有完整图案的图像并对图像进行预处理。预处理过程是将图像均处理为相同格式、相同大小的图像，这样可以对图像进行归一化。再比如，该预处理还能够将图像中不相关的其他图案去除，以免造成干扰。

S12、对图像中的完整图案进行随机遮挡形成多个留白图像，并将每个留白图像均作为输入数据，将含有完整图案的图像作为输出数据，然后利用卷积神经网络算法对图像与对应的多个留白图像进行处理，查找得出与每个被遮挡区域的像素点所对应的相邻像素点的颜色信息，从而得出所述图像的每个像素点与其相邻像素点的对应关系模板。本申请中根据相邻两个像素点的颜色信息是相同的，从而能够根据与被遮挡区域的像素点所对应的相邻像素点的颜色信息来得到被遮挡区域的像素点的颜色信息。

该留白图像是指图案带有缺失部分的图像。由于图像中的图案是随机遮挡的，因此可通过这种方法计算得出每个处于被遮挡区域边缘的像素点的颜色分布。也即是S13：通过对包含有同一种图案的多个图像均进行相应处理，建立对应的边缘特征学习集，也即是参考模型，例如为每种动物图案建立相应的参考模型。由于动物所拍摄的角度不同，其所对应的颜色分布也可能有所差异，因此在选取图像时，可选择不同拍摄角度的图像。

其中，对图像中的图案进行随机遮挡是指将图像上的图案(动物)的一部分进行随机遮挡掉，使得图案的某部分成为空白。另外，本文中的实施例均是以包含有动物的照片或图片等进行说明的，当然本申请不仅仅只针对动物图像进行补全，也可以针对其他具有相同特点的图案进行补全。

为了使得人们能够快速对所拍摄的图案进行补全时，本发明提供了一种图像补全方法，如图1所示，其包括以下步骤：

S21、获取待补全图像并对待补全图像进行预处理。该待补全图像中包含有部分被遮挡的图案，比如被遮挡的动物图案。为了使得将用户所拍摄的待补全图像与系统中建立动物模型时所处理的图像进行归一化，首先对待补全图像进行预处理。比如将待补全图像的大小、格式进行转换。另外还对待补全图像中的其他不相关的图案进行去除处理，比如去除干扰区域等。

S22、根据待补全图像得出图案被遮挡的区域并将其移除，得到带有缺失部分的待补全图像。通过对待补全图像进行处理，首先将动物图案被遮挡的区域移除，得到带有缺失部分的图像，也即是留白处理。

S23、依次从缺失部分的边缘开始查找带有缺失部分的待补全图像中缺失部分的所有像素点以及每个像素点所对应的相邻像素点，其中，相邻像素点为未缺失部分的像素点或已被填充颜色的像素点。由于本发明中的动物模型采用的边缘特征学习集，因此，在补全图像时也是从缺失部分的边缘开始进行填充，依次向缺失部分的中间进行，直到将所有的缺失部分的像素点的颜色均得到并填充完毕。

S24、获取缺失部分的每个像素点所对应的相邻像素点的分布位置及颜色信息。由于相邻像素点为未缺失部分或已被填充颜色的像素点，那么其颜色信息是固定的，因此就可以根据该相邻像素点的颜色信息来得到与其相邻的缺失部分的像素点的颜色分布。

S25、根据每个像素点所对应的相邻像素点的分布位置、颜色信息以及系统中的预设模型，得出对应像素点的颜色分布。又在建立模型时，图案是被随机遮挡的，那么对于一个像素点其可能由于被遮挡的方案不同，在模型内可能就会存在多个相邻的像素点，那么在将未缺失部分的相邻像素点与预设模型进行匹配时，就可以匹配到相邻像素点的颜色信息有多个，那么相应地缺失部分的像素点的颜色信息也可能存在多个。

S26、根据每个像素点的颜色分布得到对应像素点的颜色信息并对其进行填充，直到将缺失部分的每个像素点的颜色均填充，也即是将待补全图像的缺失部分补全。由于每个像素点的颜色分布中可能存在多种不同或相同的颜色信息，选取其中颜色信息出现的概率最高的将其作为对应像素点的颜色信息，然后将该颜色信息填充到对应的像素点，也即是将该像素点的颜色补齐。这样，将缺失部分的像素点填充后，该像素点的颜色信息成为已知的，也即是可看作为未缺失的像素点，然后在根据上述方法依次从缺失部分的边缘向中间依次进行填充其他缺失部分的像素点，从而将缺失部分的图案填充完毕。

依次通过上述方法可得到缺失部分的每个像素点的颜色，并对其进行填充，即是将待补全图像的缺失部分的像素点全部填充相应的颜色，这样就对待补全图像完成了补全处理。

另外，在对像素点进行填充时，首先针对缺失部分的边缘像素点进行填充，然后从边缘向中间依次填充每一个像素点，直到缺失部分的所有像素点均被填充相应颜色，则认为该待补全图像补全。

首先找出缺失部分的边缘像素点的相邻像素点的分布位置和颜色信息，然后将其与动物模型中对应的图像进行匹配，进而得到模版中对应相邻像素点的缺失部分的边缘像素点的颜色概率分布，然后取其中颜色概率值最高的作为边缘像素点的颜色信息，并对该边缘像素点进行填充。当填充完毕后，再针对该填充后的图像的边缘像素点作上述相同的步骤，直到所有的缺少部分的像素点均填充完毕，从而得到完整的补全图像。

在使用时，用户只需要将待补全图像通过输入设备将其输入到该发明所对应的软件系统中，系统通过上述方法对待补全图像进行处理后就输出对应的补全图像，其操作简单、自动补全，不需要用户进行任何专业性的操作即可完成图像的补全。

本发明解决了现有技术中对于那些不能够熟练掌握专业性的图像处理软件的普通用户来说，也可以快速完成图像的补全，大大方便了用户的操作，给用户带来了良好的体验和方便。

另外，本发明所提供的实施例只是针对包含有动物的图像，当然其他包含有类似特点的图像也可以通过本发明来实现。比如对于一些大型的模型展览，通过收集大量的模型图片，并对其进行学习训练，然后通过本发明方法就可以对模型图片进行补全。另外，还比如对于缺失的人物照片，通过学习该人物不同角度的照片图像或视频图像建立对应的模型，就可以通过本发明方法补全该人物残缺的照片。当然，对于同类的植物、花卉、名胜古迹、建筑物等，也可以利用本发明的方法进行学习训练从而实现图片缺失部分的自动补全。

本发明还提供了一种电子设备，其包括存储器、处理器以及存储在存储器上并可在处理上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：

预处理步骤：获取待补全图像并对待补全图像进行预处理；所述待补全图像中包含有部分被遮挡的图案；

移除步骤：根据待补全图像得出图案被遮挡的区域并将该区域移除，得到带有缺失部分的待补全图像；

查找模块，用于依次从缺失部分的边缘开始查找带有缺失部分的待补全图像的缺失部分的每个像素点以及每个像素点所对应的相邻像素点；

匹配步骤：获取缺失部分的每个像素点所对应的相邻像素点的分布位置及颜色信息，并结合系统中的预设模型，得到对应像素点的颜色分布；

填充步骤：根据缺失部分的每个像素点的颜色分布得出对应像素点的颜色信息并进行对应填充；

其中，所述相邻像素点为未缺失部分的像素点或缺失部分已被填充颜色的像素点。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如下的步骤：

预处理步骤：获取待补全图像并对待补全图像进行预处理；所述待补全图像中包含有部分被遮挡的图案；

移除步骤：根据待补全图像得出图案被遮挡的区域并将该区域移除，得到带有缺失部分的待补全图像；

查找步骤：依次从缺失部分的边缘开始查找带有缺失部分的待补全图像的缺失部分的每个像素点以及每个像素点所对应的相邻像素点；

匹配步骤：获取缺失部分的每个像素点所对应的相邻像素点的分布位置及颜色信息，并结合系统中的预设模型，得到对应像素点的颜色分布；

填充步骤：根据缺失部分的每个像素点的颜色分布得出对应像素点的颜色信息并进行对应填充；

其中，所述相邻像素点为未缺失部分的像素点或缺失部分已被填充颜色的像素点。

如图2所示，一种图像补全装置，其包括：

预处理模块，用于获取待补全图像并对待补全图像进行预处理；所述待补全图像中包含有部分被遮挡的图案；

移除模块，用于根据待补全图像得出图案被遮挡的区域并将该区域移除，得到带有缺失部分的待补全图像；

查找模块，用于依次从缺失部分的边缘开始查找带有缺失部分的待补全图像的缺失部分的每个像素点以及每个像素点所对应的相邻像素点；

匹配模块，用于获取缺失部分的每个像素点所对应的相邻像素点的分布位置及颜色信息，并结合系统中的预设模型，得到对应像素点的颜色分布；

填充模块，用于根据缺失部分的每个像素点的颜色分布得出对应像素点的颜色信息并进行对应填充；

其中，所述相邻像素点为未缺失部分的像素点或缺失部分已被填充颜色的像素点。

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (10)

1.一种图像补全方法，其特征在于包括以下步骤：

预处理步骤：获取待补全图像并对待补全图像进行预处理；所述待补全图像中包含有部分被遮挡的图案；

移除步骤：根据待补全图像得出图案被遮挡的区域并将该区域移除，得到带有缺失部分的待补全图像；

查找步骤：依次从缺失部分的边缘开始查找带有缺失部分的待补全图像的缺失部分的每个像素点以及每个像素点所对应的相邻像素点；

匹配步骤：获取缺失部分的每个像素点所对应的相邻像素点的分布位置及颜色信息，并结合系统中的预设模型，得到对应像素点的颜色分布；

填充步骤：根据缺失部分的每个像素点的颜色分布得出对应像素点的颜色信息并进行对应填充；

其中，所述相邻像素点为未缺失部分的像素点或缺失部分已被填充颜色的像素点。

2.如权利要求1所述的图像补全方法，其特征在于：所述根据缺失部分的各个像素点的颜色分布得到对应像素点的颜色信息具体为：选取颜色分布中出现概率最高的颜色作为对应像素点的颜色信息。

3.如权利要求1所述的图像补全方法，其特征在于：所述预设模型的建立过程如下：

分别获取包含有同一图案的多个图像并依次对每个图像执行S1和S2，进而建立对应的预设模型；

其中：S1、获取包含有同一种图案的图像并对其进行预处理；

S2、对所述图像中的图案进行随机遮挡形成多个留白图像，并根据卷积神经网络算法对图像以及多个留白图像分别进行处理，查找得出与每个被遮挡区域的像素点所对应的相邻像素点的颜色信息，从而得出所述图像的每个像素点与其相邻像素点的对应关系模板。

4.如权利要求1-3中任一项所述的图像补全方法，其特征在于：所述图案为动物图案。

5.一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述程序时实现如权利要求1-4中任一项所述的图像补全方法的步骤。

6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-4中任一项所述的图像补全方法的步骤。

7.一种图像补全装置，其特征在于包括：

预处理模块，用于获取待补全图像并对待补全图像进行预处理；所述待补全图像中包含有部分被遮挡的图案；

移除模块，用于根据待补全图像得出图案被遮挡的区域并将该区域移除，得到带有缺失部分的待补全图像；

查找模块，用于依次从缺失部分的边缘开始查找带有缺失部分的待补全图像的缺失部分的每个像素点以及每个像素点所对应的相邻像素点；

匹配模块，用于获取缺失部分的每个像素点所对应的相邻像素点的分布位置及颜色信息，并结合系统中的预设模型，得到对应像素点的颜色分布；

填充模块，用于根据缺失部分的每个像素点的颜色分布得出对应像素点的颜色信息并进行对应填充；

其中，所述相邻像素点为未缺失部分的像素点或缺失部分已被填充颜色的像素点。

8.如权利要求7所述的图像补全装置，其特征在于：所述根据缺失部分的各个像素点的颜色分布得到对应像素点的颜色信息具体为：选取颜色分布中出现概率最高的颜色作为对应像素点的颜色信息。

9.如权利要求7所述的图像补全装置，其特征在于：所述预设模型的建立过程如下：

分别获取包含有同一图案的多个图像并依次执行S1和S2，进而建立对应的预设模型；

其中：S1、获取包含有同一种图案的图像并对其进行预处理；

S2、对所述图像中的图案进行随机遮挡形成多个留白图像，并根据卷积神经网络算法对图像以及多个留白图像分别进行处理，查找得出与每个被遮挡区域的像素点所对应的相邻像素点的颜色信息，从而得出所述图像的每个像素点与其相邻像素点的对应关系模板。

10.如权利要求7-9中任一项所述的图像补全装置，其特征在于：所述图案为动物图案。