CN109255768A - 图像补全方法、装置、终端及计算机可读存储介质 - Google Patents

图像补全方法、装置、终端及计算机可读存储介质 Download PDF

Info

Publication number
CN109255768A
CN109255768A CN201811127920.4A CN201811127920A CN109255768A CN 109255768 A CN109255768 A CN 109255768A CN 201811127920 A CN201811127920 A CN 201811127920A CN 109255768 A CN109255768 A CN 109255768A
Authority
CN
China
Prior art keywords
image
completion
mentioned
processed
encoding encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811127920.4A
Other languages
English (en)
Inventor
张弓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen City Wang Keming Communication Software Co Ltd
Original Assignee
Shenzhen City Wang Keming Communication Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen City Wang Keming Communication Software Co Ltd filed Critical Shenzhen City Wang Keming Communication Software Co Ltd
Priority to CN201811127920.4A priority Critical patent/CN109255768A/zh
Publication of CN109255768A publication Critical patent/CN109255768A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请属于图像处理技术领域，尤其涉及一种图像补全方法、装置、终端及计算机可读存储介质，其中，所述方法包括：获取待处理图像；将所述待处理图像输入训练好的卷积自编码器，获取所述卷积自编码器输出的与所述待处理图像对应的补全图像；输出所述补全图像；可以解决图像补全效果不佳的问题，使得输出的补全图像具有较佳的补全效果。

Description

图像补全方法、装置、终端及计算机可读存储介质
技术领域
本申请属于图像处理技术领域，尤其涉及一种图像补全方法、装置、终端及计算机可读存储介质。
背景技术
图像补全是一种对图像中的缺失部分进行语义填充的图像编辑技术，补全区域和正常的图像区域具有语义相关性，补全之后的图像可以做到比较真实。
常用的图像补全方法是在同一张图像中寻找相似纹理或者图像块进行图像补全，或者在一个数据集中寻找相似区域进行图像补全。然而，这种图像补全方法容易发生物体错位，出现图像补全效果不佳的问题。
发明内容
本申请实施例提供一种图像补全方法、装置、终端及计算机可读存储介质，可以解决图像补全效果不佳的技术问题。
本申请实施例第一方面提供一种图像补全方法，包括：
获取待处理图像；
将所述待处理图像输入训练好的卷积自编码器，获取所述卷积自编码器输出的与所述待处理图像对应的补全图像；
输出所述补全图像。
本申请实施例第二方面提供一种图像补全装置，包括：
获取单元，用于获取待处理图像；
补全单元，用于将所述待处理图像输入训练好的卷积自编码器，获取所述卷积自编码器输出的与所述待处理图像对应的补全图像；
输出单元，用于输出所述补全图像。
本申请实施例第三方面提供一种终端，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述方法的步骤。
本申请实施例第四方面提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述方法的步骤。
本申请实施例中，通过将待处理图像输入训练好的卷积自编码器，并获取上述卷积自编码器输出的与上述待处理图像对应的补全图像，使得图像补全的过程中是通过训练好的卷积自编码器运算得到，而不是通过在同一张图像中寻找相似纹理或者图像块进行图像补全，或者在一个数据集中寻找相似区域进行图像补全，因此，不会出现物体错位，或者在找不到相似的区域时出现补全效果不佳的问题，使得输出的补全图像具有较佳的补全效果。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本申请实施例提供的一种图像补全方法的实现流程示意图；
图2是本申请实施例提供的训练卷积自编码器的流程示意图；
图3是本申请实施例提供的利用卷积自编码器进行图像补全的效果示意图；
图4是本申请实施例提供的一种图像补全方法的另一实现流程示意图；
图5是本申请实施例提供的检测待处理图像是否存在缺失部分的流程示意图；
图6是本申请实施例提供的步骤102的具体实现流程示意图；
图7是本申请实施例提供的训练子卷积自编码器的实现流程示意图；
图8是本申请实施例提供的图像补全装置的结构示意图；
图9是本申请实施例提供的终端的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
为了说明本申请上述的技术方案，下面通过具体实施例来进行说明。
常用的图像补全方法是在同一张图像中寻找相似纹理或者图像块进行图像补全，或者在一个数据集中寻找相似区域进行图像补全。
例如，当图像中目标人脸的左边眼睛出现缺失，则可能会通过寻找目标人脸的右边眼睛进行补全，此时，将会出现补全区域中的眼睛无法与右边眼睛形成轴对称，而出现错位。
又例如，当图像中目标人脸的鼻子全部出现缺失时，则通过在同一张图像中寻找相似纹理或者图像块进行图像补全，或者在一个数据集中寻找相似的区域进行图像补全时，有可能出现补全区域中补全的仅仅是一块平整的皮肤，而不是一个鼻子的形状，因此，在同一张图像中寻找相似的纹理或者图像块进行图像补全，或者在一个数据集中寻找相似的区域进行图像补全的方法容易在找不到相似区域时，出现补全效果不佳的问题。
本申请实施例中，通过将待处理图像输入训练好的卷积自编码器，并获取上述卷积自编码器输出的与上述待处理图像对应的补全图像，使得图像补全的过程中是通过训练好的卷积自编码器运算得到，而不是通过在同一张图像中寻找相似纹理或者图像块进行图像补全，或者在一个数据集中寻找相似区域进行图像补全，因此，不会出现物体错位，或者在找不到相似的区域时出现补全效果不佳的问题，使得输出的补全图像具有较佳的补全效果。
如图1示出了本申请实施例提供的一种图像补全方法的实现流程示意图，该方法应用于终端，可以由终端上配置的图像补全装置执行，适用于需提高图像补全效果的情形，包括步骤101至步骤103。
步骤101中，获取待处理图像。
本申请实施例中，上述待处理图像可以是用户拍照预览时获取的预览图像，也可以是拍照完成后拍摄得到的照片，或者为用户从网络中获取的待处理图像。例如，通过公共运营商网络在浏览器中下载的图像；或者，还可以是视频中的某一帧图像，比如，电影或者电视剧中的其中一帧图像。此处可以对待处理图像的来源不作限定。
步骤102中，将上述待处理图像输入训练好的卷积自编码器，获取该卷积自编码器输出的与上述待处理图像对应的补全图像。
在本申请实施例中，上述卷积自编码器为在终端设备出厂之前就已部署在终端设备中的卷积自编码器，用于对输入至该卷积自编码器的图像的进行图像补全。
卷积自编码器利用了传统自编码器的无监督的学习方式，结合了卷积神经网络的卷积和池化操作，实现特征提取。其中，卷积神经网络由一个由卷积层和池化层组成的神经网络。卷积层的作用相当于一个滤波器，而池化层则是提取不变特征。自编码器则是一个由输入层、隐含层和输出层所构成的神经网络，通过利用输入层与输出层之间的映射关系，实现样本重构，从而提取特征。
卷积自编码器创建的目的就在于，利用卷积神经网络的卷积和池化操作，实现特征不变性提取的无监督特征。
在训练卷积自编码器时，可以先假设有k个卷积核，每个卷积核由参数ωk和bk组成，若用hk表示卷积层，则hk＝σ(x*ωk+bk)；将得到的hk进行特征重构可以得到将输入的样本和最终利用特征重构得出来的结果比较，优化上述卷积自编码器，就可以得到一个完整的卷积自编码器
具体的，作为本申请的一种实施方式，如图2所示，上述卷积自编码器的训练过程可以包括：步骤201至步骤203。
步骤201，获取第一样本图像；上述第一样本图像为不存在缺失部分的样本图像。
该第一样本图像用于校正待训练的卷积自编码器输出的第一补全样本图像。
步骤202，将上述第一样本图像抠除一个或多个面积小于第一预设阈值的子图像，得到第二样本图像，并将上述第一样本图像和上述第二样本图像输入待训练的卷积自编码器，得到上述待训练的卷积自编码器输出的与上述第一样本图像对应的第一补全样本图像。
例如，如图3所示，上述第一样本图像为图像31，上述第二样本图像为上述第一样本图像31抠除面积小于第一预设阈值的任意一个子图像之后得到的图像32，将图像31和图像32输入待训练的卷积自编码器，得到上述待训练的卷积自编码器输出的与上述第一样本图像对应的第一补全样本图像33。
步骤203，判断上述第一补全样本图像与上述第一样本图像的第一代价函数是否达到最小化，若上述第一代价函数达到最小化，则确认得到训练好的卷积自编码器；若上述第一代价函数未达到最小化，则调整上述待训练的卷积自编码器的参数，重新输出与上述第一样本图像对应的第一补全样本图像，直至上述第一代价函数达到最小化。
例如，如图3所示，本申请实施例中，通过计算上述第一补全样本图像33与上述第一样本图像31的第一代价函数，判断该第一代价函数是否达到最小化，若上述第一代价函数未达到最小化，则调整待训练的卷积自编码器的参数，重复执行上述步骤202，输出新的第一补全样本图像；接着，重新判断上述第一代价函数是否达到最小化，直至上述第一代价函数达到最小化，则确认得到训练好的卷积自编码器。
需要说明的是，由于当上述第一样本图像被抠除的子图像的面积大于或等于第一预设阈值时，则有可能使得卷积自编码器需要训练非常长的时间才能使输出的第一补全样本图像与上述第一样本图像的第一代价函数达到最小化，或者，甚至有可能使得输出的第一补全样本图像与上述第一样本图像的第一代价函数无法达到最小化，即，卷积自编码器无法收敛。因此，需要限定上述第一样本图像被抠除的子图像的面积应小于第一预设阈值。
可选的，上述第一预设阈值可以为根据第一样本图像的图像大小计算得到的面积阈值。例如，该第一预设阈值可以为第一样本图像面积的一百分之一。
还需要说明的是，上述重复执行步骤202的过程中，上述第一样本图像被抠除的子图像为任意一个或多个面积小于第一预设阈值的子图像，使得卷积自编码器的训练样本可以达到随机化，并最终使得训练好的卷积自编码器可以适应各种缺失图像的图像补全，不会发生物体错位的问题。
其中，当上述第一样本图像被抠除的子图像为多个面积小于第一预设阈值的子图像，需要使得上述多个面积小于第一预设阈值的子图像的面积总和应小于第二预设阈值，该第二预设阈值可以根据抠除的子图像数量进行确定，并且被抠除的子图像数量应不大于第三预设阈值。所述第三预设阈值可以根据图像的总面积以及上述第一预设阈值进行设定。例如，该第三预设阈值为总面积与第一预设阈值的比值的四分之一。
实际应用中，上述第一样本图像可以是各种各样的样本图像，例如，上述样本图像为拍摄建筑物得到的样本图像、拍摄植物得到的样本图像、拍摄人物得到的样本图像。
在本申请的一些实施方式中，步骤203中，若上述第一代价函数达到最小化，则确认得到训练好的卷积自编码器可以包括：若上述第一代价函数达到最小化，则检测利用当前的第一样本图像对上述待训练的卷积自编码器的训练次数是否达到第一预设次数，若达到第一预设次数，则利用下一个第一样本图像对上述待训练的卷积自编码器的训练第一预设次数，直至对上述待训练的卷积自编码器完成第二预设数量的第一样本图像的训练后，确认得到训练好的卷积自编码器。
例如，上述第一预设次数为100次，第二预设数量为10000个，则执行上述步骤203的过程中，若上述第一代价函数达到最小化，则检测利用当前的第一样本图像对上述待训练的卷积自编码器的训练次数是否达到100次，若未达到100次，则重复步骤202，将当前的第一样本图像抠除面积小于第一预设阈值的任意一个或多个子图像，得到第二样本图像，并将上述第一样本图像和上述第二样本图像输入待训练的卷积自编码器，得到上述待训练的卷积自编码器输出的与上述第一样本图像对应的第一补全样本图像；再执行步骤203，判断上述第一补全样本图像与上述第一样本图像对应的第一代价函数是否达到最小化；若上述第一代价函数未达到最小化，则调整上述待训练的卷积自编码器的参数，重新执行步骤201，直至上述第一代价函数达到最小化后，检测利用当前的第一样本图像对上述待训练的卷积自编码器的训练次数是否达到100次，若达到100次，则利用下一个第一样本图像对上述待训练的卷积自编码器的训练100次，直至对上述待训练的卷积自编码器完成10000个第一样本图像的训练后，确认得到训练好的卷积自编码器。
需要说明的是，上述第一预设次数和第二预设数量可以根据卷积自编码器的实际训练情况确定，只需要保证待训练的卷积自编码器接受了足够多的样本图像的训练，使得训练好的卷积自编码器能够适应不同类型的图像缺失的补全，具有较好的补全效果，不会发生物体错位的问题即可。
例如，当上述第一样本图像包含人脸图像时，则上述第二样本图像可以为被随机地抠除第一样本图像中目标人脸的左眼缺失部分的图像、右眼缺失部分的图像、左边嘴巴缺失部分的图像或右边嘴巴缺失部分的图像等等图像，使得得到的训练好的卷积自编码器能够适应不同人脸图像的缺失。
在本申请的一些实施方式中，上述第一代价函数可以为第一补全样本图像中补全区域的每个像素点的像素值与上述第一样本图像中对应像素点的像素值的差的平方和。
上述判断上述第一代价函数是否达到最小化包括：若上述第一代价函数的函数值不再发生变化，或者变化的幅度小于变化阈值时，则表示上述第一代价函数达到最小化。
步骤103中，输出上述补全图像。
在利用训练好的卷积自编码器对上述待处理图像进行补全处理之后，通过输出上述补全图像，使得用户可以对上述补全图像进行查看。
本申请的一些实施方式中，在输出上述补全图像的过程中，还可以对上述补全图像进行清晰度检测，并在补全图像的清晰度低于预设的清晰度阈值时，还可以对该补全图像进行超分辨率重建，提高补全图像的清晰度。
例如，在进行图像补全的过程中，有可能因为图像缺失部分的面积过大，使得对缺失部分进行补全时，出现类似马赛克等清晰度较低的情况，因此，可以在输出上述补全图像的过程中，对上述补全图像进行清晰度检测，并在补全图像的清晰度低于预设的清晰度阈值时，对该补全图像进行超分辨率重建，提高补全图像的清晰度。
本申请实施例中，由于训练好的卷积自编码器，并获取上述卷积自编码器输出的与上述待处理图像对应的补全图像，使得图像补全的过程中是通过训练好的卷积自编码器运算得到，而不是通过在同一张图像中寻找相似纹理或者图像块进行图像补全，或者在一个数据集中寻找相似区域进行图像补全，因此，不会出现物体错位或者在找不到相似的区域时，出现补全效果不佳的问题，使得输出的补全图像具有较佳的补全效果。
如图4所示，为本申请实施例提供的另一种图像补全方法的示意图，该方法对上述图1所示的实施例的步骤102做进一步限定，能够减少卷积自编码器的运算量。其中，本实施例与图1所示的实施例相同部分不再赘述，该方法包括步骤401至步骤405。
步骤401，获取待处理图像。
步骤402，检测上述待处理图像是否存在缺失部分。
本申请实施例中，通过检测上述待处理图像是否存在缺失部分，使得只有在上述待处理图像存在缺失部分时，才输入至上述训练好的卷积自编码器中进行图像补全，而不是将每个待处理图像都输入至上述训练好的卷积自编码器中进行一次图像补全的运算，有效降低了卷积自编码器的运算量。
步骤403，若上述待处理图像存在缺失部分，则将上述待处理图像输入训练好的卷积自编码器，获取上述卷积自编码器输出的与上述待处理图像对应的补全图像；并执行步骤404，输出上述补全图像；若上述待处理图像不存在缺失部分，则执行步骤405，直接输出上述待处理图像。
可选的，作为本申请的一种实施方式，如图5所示，上述步骤402检测待处理图像是否存在缺失部分包括：步骤501至步骤503。
步骤501，对上述待处理图像进行目标检测，获取上述待处理图像中包含的目标对象。
本申请实施例中，对上述待处理图像进行目标检测包括通过目标检测算法对上述待处理图像中的目标对象进行检测，常用的目标检测算法有局部二值模式算法、定向梯度特征结合支持向量机模型以及卷积神经网络模型等。
上述目标对象可以是待处理图像中包含的任何一个目标物体。
步骤502，提取上述目标对象的特征信息，并根据上述特征信息判断上述目标对象是否出现缺失。
例如，提取上述目标对象的轮廓信息和纹理信息，并根据上述目标对象的轮廓信息和纹理信息判断上述目标对象是否出现缺失。
例如，对于图像缺失部分，其纹理将与其周围部分的纹理不同。
步骤503，若上述目标对象出现缺失，则确认上述待处理图像存在缺失部分。
也就是说，通过确定上述待处理图像中包含的目标对象是否出现缺失，实现对上述待处理图像是否存在缺失部分的判断。
作为本申请的一种实施方式，上述在确认待处理图像存在缺失部分之后，需要将上述待处理图像输入训练好的卷积自编码器，获取上述卷积自编码器输出的与上述待处理图像对应的补全图像。
具体的，如图6所示，将上述待处理图像输入训练好的卷积自编码器，获取上述卷积自编码器输出的与待处理图像对应的补全图像包括步骤601至步骤603。
步骤601，根据上述特征信息获取出现缺失的目标对象的预设类型。
其中，上述预设类型是指目标对象的属性，例如，上述出现缺失的目标对象为人物时，则该预设类型可以为人物，若出现缺失的目标对象为小狗，则该预设类型可以为小狗。
其中，根据上述特征信息获取出现缺失的目标对象的预设类型包括根据目标对象的轮廓信息和纹理信息获取上述目标对象的预设类型。
步骤602，根据上述预设类型确定与上述出现缺失的目标对象匹配的训练好的子卷积自编码器。
本申请实施例中，与上述出现缺失的目标对象匹配的训练好的子卷积自编码器是指利用与缺失的目标对象的预设类型为同一类型的第二样本图像训练的训练好的卷积自编码器。
步骤603，将上述待处理图像输入上述子卷积自编码器，获得上述子卷积自编码器输出的与上述出现缺失的目标对象对应的补全图像。
可选的，如图7所示，上述子卷积自编码器的训练过程包括步骤701至步骤703。
步骤701，获取第三样本图像；上述第三样本图像为包含一种预设类型的目标对象并且不存在缺失部分的样本图像。
步骤702，将上述第三样本图像抠除一个或多个面积小于第一预设阈值的子图像，得到存在缺失部分的第四样本图像，并将上述第三样本图像和上述第四样本图像输入待训练的子卷积自编码器，得到上述待训练的子卷积自编码器输出的与上述第四样本图像对应的第二补全样本图像。
步骤703，判断上述第二补全样本图像与上述第三样本图像对应的第二代价函数是否达到最小化，若上述第二代价函数达到最小化，则确认得到与上述预设类型的目标对象匹配的训练好的子卷积自编码器；若上述第二代价函数未达到最小化，则调整上述待训练的子卷积自编码器的参数，重新输出与上述第三样本图像对应的第二补全样本图像，直至上述第二代价函数达到最小化。
需要说明的是，上述子卷积自编码器的训练过程可以参考上述卷积自编码器的训练过程。训练好的子卷积自编码器与训练好的卷积自编码器的区别在于子卷积自编码器为针对一种预设类型的目标对象的缺失进行补全的卷积自编码器，具有较好的图像补全效果，并且由于其针对性较强，使得其进行图像补全时具有较高的补全效率；而卷积自编码器由于其利用的是多种多样的样本图像进行训练，使其具有较好的普适性，可以对多种预设类型的目标对象同时存在缺失的情况下进行一次性图像补全。
可选的，上述将上述待处理图像输入上述子卷积自编码器，获得上述子卷积自编码器输出的与上述出现缺失的目标对象对应的补全图像，包括：若上述待处理图像中包含多种预设类型的目标对象出现缺失，则将上述待处理图像输入与每一种预设类型的目标对象匹配的训练好的子卷积自编码器，获得与上述待处理图像对应的补全图像。
也就是说，在利用子卷积自编码器对待处理图像中包含的多种预设类型的目标对象均存在缺失的情况下进行图像补全时，可以将其依次输入多个训练好的子卷积自编码器中，并且上一个子卷积自编码器输出的第二补全图像作为下一个子卷积自编码器的输入，使得上述待处理图像中的每个目标对象的缺失均可以使用对应的子卷积自编码器进行图像补全，可以实现较高质量的图像补全。
图8示出了本申请实施例提供的一种图像补全装置800的结构示意图，包括获取单元801、补全单元802和输出单元803。
获取单元801，用于获取待处理图像；
补全单元802，用于将上述待处理图像输入训练好的卷积自编码器，获取上述卷积自编码器输出的与上述待处理图像对应的补全图像；
输出单元803，用于输出上述补全图像。
在本申请的一些实施方式中，上述补全单元具体用于检测上述待处理图像是否存在缺失部分；若上述待处理图像存在缺失部分，则将上述待处理图像输入训练好的卷积自编码器。
在本申请的一些实施方式中，上述补全单元具体用于对上述待处理图像进行目标检测，获取上述待处理图像中包含的目标对象；提取上述目标对象的特征信息，并根据上述特征信息判断上述目标对象是否出现缺失；若上述目标对象出现缺失，则确认上述待处理图像存在缺失部分。
可选的，上述图像补全装置还可以包括训练单元，用于进行卷积自编码器的训练；具体用于获取第一样本图像；上述第一样本图像为不存在缺失部分的样本图像；将上述第一样本图像抠除一个或多个面积小于第一预设阈值的子图像，得到第二样本图像，并将上述第一样本图像和上述第二样本图像输入待训练的卷积自编码器，得到上述待训练的卷积自编码器输出的与上述第一样本图像对应的第一补全样本图像；判断上述第一补全样本图像与上述第一样本图像对应的第一代价函数是否达到最小化；若上述第一代价函数达到最小化，则确认得到训练好的卷积自编码器；若上述第一代价函数未达到最小化，则调整上述待训练的卷积自编码器的参数，重新输出与上述第一样本图像对应的第一补全样本图像，直至上述第一代价函数达到最小化。
在本申请的一些实施方式中，上述补全单元还具体用于根据上述特征信息获取出现缺失的目标对象的预设类型；根据上述预设类型确定与上述出现缺失的目标对象匹配的训练好的子卷积自编码器；将上述待处理图像输入上述子卷积自编码器，获得上述子卷积自编码器输出的与上述出现缺失的目标对象对应的补全图像。
在本申请的一些实施方式中，上述补全单元还具体用于若上述待处理图像中包含多种预设类型的目标对象出现缺失，则将上述待处理图像输入与每一种预设类型的目标对象匹配的训练好的子卷积自编码器，获得与上述待处理图像对应的补全图像。
在本申请的一些实施方式中，上述训练单元还具体用于获取第三样本图像；上述第三样本图像为包含一种预设类型的目标对象并且不存在缺失部分的样本图像；将上述第三样本图像抠除一个或多个面积小于第一预设阈值的子图像，得到存在缺失部分的第四样本图像，并将上述第三样本图像和上述第四样本图像输入待训练的子卷积自编码器，得到上述待训练的子卷积自编码器输出的与上述第四样本图像对应的第二补全样本图像；判断上述第二补全样本图像与上述第三样本图像对应的第二代价函数是否达到最小化，若上述第二代价函数达到最小化，则确认得到与上述预设类型的目标对象匹配的训练好的子卷积自编码器；若上述第二代价函数未达到最小化，则调整上述待训练的子卷积自编码器的参数，重新输出与上述第三样本图像对应的第二补全样本图像，直至上述第二代价函数达到最小化。
需要说明的是，为描述的方便和简洁，上述描述的图像补全装置800的具体工作过程，可以参考上述图1至图7中上述方法的对应过程，在此不再赘述。
如图9所示，本申请提供一种用于实现上述图像处理的方法的终端，上述终端可以为需要进行图像处理的智能手机、平板电脑、个人电脑、学习机等终端，包括：一个或多个输入设备93(图9中仅示出一个)和一个或多个输出设备94(图9中仅示出一个)。处理器91、存储器92、输入设备93和输出设备94通过总线95连接。
应当理解，在本申请实施例中，所称处理器91可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备93可以包括虚拟键盘、触控板、指纹采传感器(用于采集用户的指纹信息和指纹的方向信息)、麦克风等，输出设备94可以包括显示器、扬声器等。
存储器92可以包括只读存储器和随机存取存储器，并向处理器91提供指令和数据。存储器92的一部分或全部还可以包括非易失性随机存取存储器。例如，存储器92还可以存储设备类型的信息。
上述存储器92存储有计算机程序，上述计算机程序可在上述处理器91上运行，例如，上述计算机程序为图像处理的方法的程序。上述处理器91执行上述计算机程序时实现上述图像补全方法实施例中的步骤，例如图1所示的步骤101至步骤103。或者，上述处理器91执行上述计算机程序时实现上述各装置实施例中各模块/单元的功能，例如图8所示单元801至803的功能。
上述计算机程序可以被分割成一个或多个模块/单元，上述一个或者多个模块/单元被存储在上述存储器92中，并由上述处理器91执行，以完成本申请。上述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述上述计算机程序在上述进行图像补全终端中的执行过程。例如，上述计算机程序可以被分割成获取单元、补全单元和输出单元，各单元具体功能如下：获取单元，用于获取待处理图像；补全单元，用于将上述待处理图像输入训练好的卷积自编码器，获取上述卷积自编码器输出的与上述待处理图像对应的补全图像；输出单元，用于输出上述补全图像。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上上述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种图像补全方法，其特征在于，包括：
获取待处理图像；
将所述待处理图像输入训练好的卷积自编码器，获取所述卷积自编码器输出的与所述待处理图像对应的补全图像；
输出所述补全图像。
2.如权利要求1所述的方法，其特征在于，所述将所述待处理图像输入训练好的卷积自编码器包括：
检测所述待处理图像是否存在缺失部分；
若所述待处理图像存在缺失部分，则将所述待处理图像输入训练好的卷积自编码器。
3.如权利要求2所述的方法，其特征在于，所述检测所述待处理图像是否存在缺失部分包括：
对所述待处理图像进行目标检测，获取所述待处理图像中包含的目标对象；
提取所述目标对象的特征信息，并根据所述特征信息判断所述目标对象是否出现缺失；
若所述目标对象出现缺失，则确认所述待处理图像存在缺失部分。
4.如权利要求1-3任意一项所述的方法，其特征在于，所述卷积自编码器的训练过程包括：
获取第一样本图像；所述第一样本图像为不存在缺失部分的样本图像；
将所述第一样本图像抠除一个或多个面积小于第一预设阈值的子图像，得到第二样本图像，并将所述第一样本图像和所述第二样本图像输入待训练的卷积自编码器，得到所述待训练的卷积自编码器输出的与所述第一样本图像对应的第一补全样本图像；
判断所述第一补全样本图像与所述第一样本图像对应的第一代价函数是否达到最小化；若所述第一代价函数达到最小化，则确认得到训练好的卷积自编码器；若所述第一代价函数未达到最小化，则调整所述待训练的卷积自编码器的参数，重新输出与所述第一样本图像对应的第一补全样本图像，直至所述第一代价函数达到最小化。
5.如权利要求3所述的方法，其特征在于，所述将所述待处理图像输入训练好的卷积自编码器，获取所述卷积自编码器输出的与所述待处理图像对应的补全图像，包括：
根据所述特征信息获取出现缺失的目标对象的预设类型；
根据所述预设类型确定与所述出现缺失的目标对象匹配的训练好的子卷积自编码器；
将所述待处理图像输入所述子卷积自编码器，获得所述子卷积自编码器输出的与所述出现缺失的目标对象对应的补全图像。
6.如权利要求5所述的方法，其特征在于，所述将所述待处理图像输入所述子卷积自编码器，获得所述子卷积自编码器输出的与所述出现缺失的目标对象对应的补全图像，包括：
若所述待处理图像中包含多种预设类型的目标对象出现缺失，则将所述待处理图像输入与每一种预设类型的目标对象匹配的训练好的子卷积自编码器，获得与所述待处理图像对应的补全图像。
7.如权利要求5或6所述的方法，其特征在于，所述子卷积自编码器的训练过程包括：
获取第三样本图像；所述第三样本图像为包含一种预设类型的目标对象并且不存在缺失部分的样本图像；
将所述第三样本图像抠除一个或多个面积小于第一预设阈值的子图像，得到存在缺失部分的第四样本图像，并将所述第三样本图像和所述第四样本图像输入待训练的子卷积自编码器，得到所述待训练的子卷积自编码器输出的与所述第四样本图像对应的第二补全样本图像；
判断所述第二补全样本图像与所述第三样本图像对应的第二代价函数是否达到最小化，若所述第二代价函数达到最小化，则确认得到与所述预设类型的目标对象匹配的训练好的子卷积自编码器；若所述第二代价函数未达到最小化，则调整所述待训练的子卷积自编码器的参数，重新输出与所述第三样本图像对应的第二补全样本图像，直至所述第二代价函数达到最小化。
8.一种图像补全装置，其特征在于，包括：
获取单元，用于获取待处理图像；
补全单元，用于将所述待处理图像输入训练好的卷积自编码器，获取所述卷积自编码器输出的与所述待处理图像对应的补全图像；
输出单元，用于输出所述补全图像。
9.一种终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任意一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述方法的步骤。
CN201811127920.4A 2018-09-21 2018-09-21 图像补全方法、装置、终端及计算机可读存储介质 Pending CN109255768A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811127920.4A CN109255768A (zh) 2018-09-21 2018-09-21 图像补全方法、装置、终端及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811127920.4A CN109255768A (zh) 2018-09-21 2018-09-21 图像补全方法、装置、终端及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN109255768A true CN109255768A (zh) 2019-01-22

Family

ID=65046951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811127920.4A Pending CN109255768A (zh) 2018-09-21 2018-09-21 图像补全方法、装置、终端及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN109255768A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110781223A (zh) * 2019-10-16 2020-02-11 深圳市商汤科技有限公司 数据处理方法及装置、处理器、电子设备及存储介质
CN111583159A (zh) * 2020-05-29 2020-08-25 北京金山云网络技术有限公司 一种图像补全方法、装置及电子设备
CN111640076A (zh) * 2020-05-29 2020-09-08 北京金山云网络技术有限公司 一种图像补全方法、装置及电子设备
CN112270369A (zh) * 2020-11-05 2021-01-26 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备
CN114332334A (zh) * 2021-12-31 2022-04-12 中国电信股份有限公司 图像处理方法、装置、存储介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408546A (zh) * 2016-09-05 2017-02-15 广东欧珀移动通信有限公司 图像修复方法、装置和终端设备
CN107730457A (zh) * 2017-08-28 2018-02-23 广东数相智能科技有限公司 一种图像补全方法、装置、电子设备及存储介质
CN108124102A (zh) * 2017-12-28 2018-06-05 北京小米移动软件有限公司 图像处理方法、装置及计算机可读存储介质
CN108257100A (zh) * 2018-01-12 2018-07-06 北京奇安信科技有限公司 一种图像修复方法及服务器
CN108520503A (zh) * 2018-04-13 2018-09-11 湘潭大学 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408546A (zh) * 2016-09-05 2017-02-15 广东欧珀移动通信有限公司 图像修复方法、装置和终端设备
CN107730457A (zh) * 2017-08-28 2018-02-23 广东数相智能科技有限公司 一种图像补全方法、装置、电子设备及存储介质
CN108124102A (zh) * 2017-12-28 2018-06-05 北京小米移动软件有限公司 图像处理方法、装置及计算机可读存储介质
CN108257100A (zh) * 2018-01-12 2018-07-06 北京奇安信科技有限公司 一种图像修复方法及服务器
CN108520503A (zh) * 2018-04-13 2018-09-11 湘潭大学 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RAYMOND A. YEH ET AL: "Semantic Image Inpainting With Deep Generative Models", 《THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110781223A (zh) * 2019-10-16 2020-02-11 深圳市商汤科技有限公司 数据处理方法及装置、处理器、电子设备及存储介质
CN111583159A (zh) * 2020-05-29 2020-08-25 北京金山云网络技术有限公司 一种图像补全方法、装置及电子设备
CN111640076A (zh) * 2020-05-29 2020-09-08 北京金山云网络技术有限公司 一种图像补全方法、装置及电子设备
CN111640076B (zh) * 2020-05-29 2023-10-10 北京金山云网络技术有限公司 一种图像补全方法、装置及电子设备
CN111583159B (zh) * 2020-05-29 2024-01-05 北京金山云网络技术有限公司 一种图像补全方法、装置及电子设备
CN112270369A (zh) * 2020-11-05 2021-01-26 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备
CN114332334A (zh) * 2021-12-31 2022-04-12 中国电信股份有限公司 图像处理方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN109255768A (zh) 图像补全方法、装置、终端及计算机可读存储介质
EP3627392A1 (en) Object identification method, system and device, and storage medium
CN108351961B (zh) 以图像为基础的生物识别系统及计算机实施方法
CN108765278A (zh) 一种图像处理方法、移动终端及计算机可读存储介质
CN110363091B (zh) 侧脸情况下的人脸识别方法、装置、设备及存储介质
CN111738243B (zh) 人脸图像的选择方法、装置、设备及存储介质
CN108830892B (zh) 人脸图像处理方法、装置、电子设备及计算机可读存储介质
CN111597884A (zh) 面部动作单元识别方法、装置、电子设备及存储介质
CN109086742A (zh) 场景识别方法、场景识别装置及移动终端
CN107423306B (zh) 一种图像检索方法及装置
CN109598234A (zh) 关键点检测方法和装置
CN109358922A (zh) 一种个性化菜单展示方法、装置、智能终端及存储介质
CN110334605A (zh) 基于神经网络的手势识别方法、装置、存储介质及设备
CN110415212A (zh) 异常细胞检测方法、装置及计算机可读存储介质
CN107463818A (zh) 解锁控制方法及相关产品
CN110415184B (zh) 一种基于正交元空间的多模态图像增强方法
WO2020253304A1 (zh) 人脸识别装置及图像处理方法、特征提取模型、存储介质
CN109389076B (zh) 图像分割方法及装置
CN109005368A (zh) 一种高动态范围图像的生成方法、移动终端及存储介质
CN110363747A (zh) 智能化异常细胞判断方法、装置及计算机可读存储介质
CN109785246A (zh) 一种非局部均值滤波的降噪方法、装置及设备
CN116934907A (zh) 图像生成方法、设备和存储介质
CN111080670A (zh) 图像提取方法、装置、设备及存储介质
CN109118447A (zh) 一种图片处理方法、图片处理装置及终端设备
CN115457568B (zh) 一种基于生成对抗网络的历史文档图像降噪方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190122