CN108765315A - 图像补全方法、装置、计算机设备及存储介质 - Google Patents

图像补全方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN108765315A
CN108765315A CN201810417418.0A CN201810417418A CN108765315A CN 108765315 A CN108765315 A CN 108765315A CN 201810417418 A CN201810417418 A CN 201810417418A CN 108765315 A CN108765315 A CN 108765315A
Authority
CN
China
Prior art keywords
image
completion
absent region
pixel
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810417418.0A
Other languages
English (en)
Other versions
CN108765315B (zh
Inventor
张弓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201810417418.0A priority Critical patent/CN108765315B/zh
Publication of CN108765315A publication Critical patent/CN108765315A/zh
Application granted granted Critical
Publication of CN108765315B publication Critical patent/CN108765315B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T5/90
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请提出一种图像补全方法、装置、计算机设备及存储介质,其中,方法包括:对待补全的第一图像进行图像特征提取,并根据提取的图像特征,识别出第一图像中的缺失区域,对第一图像中缺失区域周边区域的内容进行识别,得到缺失区域所缺失的内容对应的语义,根据所缺失的内容对应的语义,对第一图像中的缺失区域进行补全,得到补全后的第二图像。该方法在对缺失区域进行补全时,是根据缺失内容对应的语义进行补全的,而缺失区域所缺失的内容对应的语义是根据缺失区域周边区域的内容确定的,因此补全后的图像中缺失区域部分与周边区域内容,契合度更高,提高了补全效果。

Description

图像补全方法、装置、计算机设备及存储介质
技术领域
本申请涉及图像处理技术领域,尤其涉及一种图像补全方法、装置、计算机设备及存储介质。
背景技术
在实际生活中,难免会遇到图像中某一个部分被遮挡或者缺失的情况,例如,一张人脸图像中人脸的某个部位被遮挡,从而会影响整个图像的整体效果,图像补全技术应运而生。图像补全是一种对图像中的缺失位置进行语义填充的图像编辑技术,使得补全之后的图像看起来比较真实。
目前,图像补全方法通常是在同一张图像中寻找相似的纹理或者图像块进行匹配,或者在一个很大的数据集中寻找相似的区域对缺失位置或者遮挡位置进行补全。如果找不到相似的区域,则图像补全结果不佳、存在违和感。可见,相关技术中图像补全方法,存在补全效果不佳的问题。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
本申请提出一种图像补全方法,通过根据从待补全的图像中提取的图像特征,识别出缺失区域,之后对缺失区域周边区域的内容进行识别,得到缺失区域所缺失的内容对应的语义,以实现根据缺失的内容对应的语义,对图像中的缺失区域进行补全,相比利用纹理或者区域相似进行补全,补全后图像中缺失区域的内容与周边区域的内容,契合度更高,提高了补全后的效果。
本申请提出一种图像补全装置。
本申请提出一种计算机设备。
本申请提出一种非临时性计算机可读存储介质。
本申请一方面实施例提出了一种图像补全方法,包括:
对待补全的第一图像进行图像特征提取,并根据提取的所述图像特征,识别出所述第一图像中的缺失区域;
对所述第一图像中所述缺失区域周边区域的内容进行识别,得到所述缺失区域所缺失的内容对应的语义;
根据所述所缺失的内容对应的语义,对所述第一图像中的所述缺失区域进行补全,得到补全后的第二图像。
本申请实施例的图像补全方法,通过对待补全的第一图像进行图像特征提取,并根据提取的图像特征,识别出第一图像中的缺失区域,对第一图像中缺失区域周边区域的内容进行识别,得到缺失区域所缺失的内容对应的语义,根据所缺失的内容对应的语义,对第一图像中的缺失区域进行补全,得到补全后的第二图像。本实施例中,在对缺失区域进行补全时,是根据缺失内容对应的语义进行补全的,而缺失区域所缺失的内容对应的语义是根据缺失区域周边区域的内容确定的,因此补全后的图像中缺失区域部分与周边区域内容,契合度更高,提高了补全效果。
本申请另一方面实施例提出了一种图像补全装置,包括:
第一识别模块,用于对待补全的第一图像进行图像特征提取,并根据提取的所述图像特征,识别出所述第一图像中的缺失区域;
第二识别模块,用于对所述第一图像中所述缺失区域周边区域的内容进行识别,得到所述缺失区域的缺失内容对应的语义;
第三识别模块,用于根据所述缺失内容对应的语义,对所述第一图像中的所述缺失区域进行补全,得到补全后的第二图像。
本申请实施例的图像补全装置,通过对待补全的第一图像进行图像特征提取,并根据提取的图像特征,识别出第一图像中的缺失区域,对第一图像中缺失区域周边区域的内容进行识别,得到缺失区域所缺失的内容对应的语义,根据所缺失的内容对应的语义,对第一图像中的缺失区域进行补全,得到补全后的第二图像。本实施例中,在对缺失区域进行补全时,是根据缺失内容对应的语义进行补全的,而缺失区域所缺失的内容对应的语义是根据缺失区域周边区域的内容确定的,因此补全后的图像中缺失区域部分与周边区域内容,契合度更高,提高了补全效果。
本申请另一方面实施例提出了一种计算机设备,包括处理器和存储器;其中,所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于实现如上述一方面实施例所述的图像补全方法。
本申请另一方面实施例提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述一方面实施例所述的图像补全方法。
本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本申请实施例提供的第一种图像补全方法的流程示意图;
图2为本申请实施例提供的第二种图像补全方法的流程示意图;
图3为本申请实施例提供的一种训练目标神经网络的方法的流程示意图;
图4为本申请实施例提供的一种利用训练样本对神经网络进行训练的方法的流程示意图;
图5为本申请实施例提供的一种训练神经网络的过程示意图;
图6为本申请实施例提供的第三种图像补全方法的流程示意图;
图7为本申请实施例提供的利用目标神经网络对图像进行补全的示意图;
图8为本申请实施例提供的一种图像补全装置的结构示意图;
图9示出了适于用来实现本申请实施方式的示例性计算机设备的框图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的图像补全方法、装置、计算机设备及存储介质。
目前,图像补全方法通常是在同一张图像中寻找相似的纹理或者图像块进行匹配,或者在一个很大的数据集中寻找相似的区域对缺失位置或者遮挡位置进行补全。如果找不到相似的区域,则图像补全结果不佳、存在违和感。可见,相关技术中图像补全方法,存在补全效果不佳的问题。
针对这一问题,本申请实施例提出一种图像补全方法,通过根据从待补全的图像中提取的图像特征,识别出缺失区域,之后对缺失区域周边区域的内容进行识别,得到缺失区域所缺失的内容对应的语义,以实现根据缺失的内容对应的语义,对图像中的缺失区域进行补全,相比利用纹理或者区域相似进行补全,补全后图像中缺失区域的内容与周边区域的内容,契合度更高,提高了补全后的效果。
图1为本申请实施例提供的第一种图像补全方法的流程示意图。
如图1所示,该图像补全方法包括:
步骤101,对待补全的第一图像进行图像特征提取,并根据提取的图像特征,识别出第一图像中的缺失区域。
本实施例中,提取的图像特征包括颜色特征、纹理特征、形状特征、空间关系特征等。在提取待补全的第一图像的图像特征之后,可根据提取的图像特征,识别出第一图像中的缺失区域。
作为一种可能的实现方式,可根据图像的纹理特征,识别出第一图像中的缺失区域。由于纹理特征一种全局特征,描述了图像或图像区域所对应物体的表面性质,可将纹理特征发生突变的边界围成的区域,作为缺失区域。
步骤102,对第一图像中缺失区域周边区域的内容进行识别,得到缺失区域所缺失的内容对应的语义。
其中,语义是指人眼看起来图像区域或整体内容的含义。
相关技术中,通过寻找相似的纹理或者图像块对缺失区域进行补全,可能会存在找不到匹配的纹理或者图像块,从而降低了图像的补全效果。
为了提高补全后缺失区域与周边区域的契合度,在识别出缺失区域后,可对缺失区域周边区域的内容进行识别,以得到缺失区域所缺失的内容对应的语义。
例如,在待补全的人脸图像中,缺失了一个鼻子,可根据缺失的鼻子周围的眼睛、下巴等,识别出缺失区域所缺失的内容对应的语义为鼻子。
步骤103,根据所缺失的内容对应的语义,对第一图像中的缺失区域进行补全,得到补全后的第二图像。
本实施例中,可根据缺失区域的内容对应的语义,和缺失区域周边区域的图像特征,对第一图像中的缺失区域进行补全。
例如,人脸图像中缺失区域的内容对应的语义为鼻子,可根据该语义和鼻子周边区域的纹理特征、颜色特征等,人脸图像中的缺失区域进行补全。
在上述实施例的基础上,对于步骤101,对待补全的第一图像进行图像特征提取,根据提取的图像特征,识别出第一图像中的缺失区域,作为另一种可能的实现方式,还可根据缺失区域的像素点的位置信息,确定出缺失区域。图2为本申请实施例提供的第二种图像补全方法的流程示意图。
如图2所示,上述步骤101可包括:
步骤201,对第一图像中每个像素点进行图像特征提取。
本实施例中,可对第一图像中每个像素点提取图像特征,如每个像素点的颜色特征、亮度、饱和度等。
步骤202,获取每个像素点在第一图像中的位置信息。
其中,像素点的位置可以是在二维图像中的位置信息,即像素点所在的行和列。
步骤203,根据每个像素点的位置信息和图像特征,从所有的像素点中识别出属于缺失区域的像素点。
本实施例中,可根据每个像素点的位置信息,确定出与像素点相邻的相邻像素点。然后,针对每个像素点,比较像素点与相邻像素点的图像特征,例如,比较像素点与相邻像素点的颜色值、亮度、饱和度等,得到像素点与相邻像素点的图像特征之间的差异,并与预设差异阈值进行比较。
之后,从所有像素点中,识别出与相邻像素点的图像特征之间的差异小于预设差异阈值,且图像特征满足预设的图像特征条件的至少一个第一像素点。其中,预设的图像特征条件可以是图像的颜色值为白色或者灰色,也可以是饱和度小于预设阈值等。
在识别出第一图像中的所有第一像素点后,将由第一像素点构成的区域内的像素点识别为属于缺失区域的像素点。也就是说,第一像素点构成的区域为缺失区域。
步骤204,根据缺失区域的像素点的位置信息,确定出缺失区域。
可以理解的是,所有缺失区域的像素点构成了缺失区域。在确定出缺失区域的像素点后,可根据缺失区域的像素点的位置信息,如像素点所在的行与列,确定出缺失区域在第一图像中的范围,即确定出第一图像中的缺失区域。
本申请实施例的图像补全方法,通过比较像素点与相邻像素点的图像特征,以识别出像素点与相邻像素点的图像特征之间的差异满足预设的差异阈值,且像素点的图像特征满足预设的图像特征条件的第一像素点,作为缺失区域的像素点,进而根据缺失区域的像素点的位置信息,确定出缺失区域,从而提高了缺失区域的识别准确度。
在上述实施例的基础上,还可在对待补全的第一图像进行图像特征提取之前,训练得到目标神经网络,根据训练好的目标神经网络对图像进行补全。图3为本申请实施例提供的一种训练目标神经网络的方法的流程示意图。
如图3所示,该训练目标神经网络的方法包括:
步骤301,采集第一样本图像,并根据第一样本图像生成存在缺失的第二样本图像。
本实施例中,可通过摄像装置采集第一样本图像,或者从图像数据库中获取第一样本图像。在获取第一样本图像后,可根据从第一样本图像中随机抠去一个区域,得到存在缺失区域的第二样本图像。其中,所扣去区域的形状、大小等可根据需要确定。
在一些实施例中,也可在扣去位置填充随机数生成第二样本图像。
步骤302,利用第一样本图像、第二样本图像和第一样本图像与第二样本图像之间的对应关系,构成训练样本。
在根据第一样本图像生成第二样本图像后,可使第一样本图像和第二样本图像之间建立对应关系,并将一组具有对应关系的第一样本图像和第二样本图像,作为一个训练样本。由此可以得到多个训练样本,以训练神经网络。
比如,通过第一样本图像A生成存在缺失的第二样本图像B,那么(A,B)构成一个训练样本。
以卷积神经网络为例,卷积神经网络由卷积层、池化层、全连层构成,其中,卷积层可以用于特征提取。作为一个示例,可将卷积神经网络的整体层数设置为16层,其中,前八层可用于提取图像特征,后八层可用于利用提取的特征进行图像的生成。
本实施例中,可将第一样本图像和第二样本图像,构成训练样本,以对卷积神经网络进行训练。
步骤303,将训练样本输入到构建的神经网络中进行训练,得到训练好的目标神经网络。
本实施例中,可将多对第一样本图像和第二样本图像,输入到构建的神经网络中进行训练,得到训练好的目标神经网络。
作为一种可能的实现方式,神经网络可包括特征提取层、缺失区域识别层、缺失内容识别层和缺失内容补全层,通过逐层对神经网络进行训练,得到训练好的目标神经网络。图4为本申请实施例提供的一种利用训练样本对神经网络进行训练的方法的流程示意图。
如图4所示,该方法包括:
步骤401,将第一样本图像和第二样本图像输入到神经网络中,利用神经网络中的特征提取层,提取第二样本图像的每个像素点的特征信息;特征信息包括图像特征和位置信息。
图5为本申请实施例提供的一种训练神经网络的过程示意图。
本实施例中,在将第一样本图像和第二样本图像输入到神经网络后,如图5所示,可先利用神经网络中的特征提取层,提取第二样本图像中每个像素点的特征信息。其中,特征信息包括图像特征,如颜色特征、饱和度、亮度等,和位置信息,如像素点所在的行与列。
步骤402,将特征提取层提取的特征信息输入到神经网络中的缺失区域识别层,得到第二样本图像的缺失区域。
如图5所示,在特征提取层提取每个像素点的特征信息后,将每个像素点的特征信息输入到神经网络的缺失区域识别层,通过缺失区域识别层,得到第二样本图像的缺失区域。
本实施例中,缺失区域识别层识别出第二样本图像中缺失区域的方法,可参见上述实施例中,通过比较像素点与相邻像素点的图像特征,得到缺失区域的像素点,进而根据缺失区域的像素点的位置信息,确定出缺失区域的方法,故在此不再赘述。
步骤403,将第二样本图像的缺失区域和特征提取层提取的特征信息,输入到神经网络中的缺失内容识别层,得到第二样本图像的缺失区域所缺失内容对应的语义。
如图5所示,可将第二样本图像的缺失区域和特征提取层提取的特征信息,输入到神经网络中的缺失内容识别层,以使缺失内容识别层根据特征信息,确定缺失区域所缺失的内容对应的语义。
例如,第二样本图像为缺失了鼻子的一张人脸图像,缺失内容识别层可根据存在缺失区域的人脸图像中每个像素点的特征信息,确定缺失区域所缺失的内容对应的语义为鼻子。
步骤404,将第二样本图像的缺失内容对应的语义,输入到缺失内容补全层,结合特征提取层提取的特征信息,对第二样本图像中的缺失区域进行补全,得到补全后的第二样本图像。
如图5所示,在根据缺失内容识别层,得到第二样本图像的缺失区域所缺失内容对应的语义后,可将第二样本图像的缺失内容对应的语义,输入到缺失内容补全层。缺失内容补全层可根据提取的第二样本图像中每个像素点的特征信息,确定缺失区域的像素点的图像特征,以根据确定的缺失区域的像素点的图像特征对第二样本图像中的缺失区域进行补全。
步骤405,将补全后的第二样本图像与第一样本图像进行比较,获取代价函数,如果代价函数最小则完成对神经网络的训练,得到目标神经网络,如果代价函数未达到最小则返回,则调整神经网络返回继续训练,直到代价函数最小。
在获得补全后的第二样本图像后,将补全后的第二样本图像与第一样本图像进行比较,也就是将补全后的图像与原始的不存在缺失的图像进行比较,得到两个图像的差异,以根据两个图像差异得到代价函数。
如果代价函数最小,说明补全后的第二样本图像与第一样本图像的差异最小,则完成对神经网络的训练,得到目标神经网络。如果代价函数未达到最小,说明补全后的缺失区域与周围区域契合不够完美,还需要继续训练神经网络,则调整神经网络返回继续训练,直到代价函数最小。
在根据图3和图4所示的流程完成对神经网络的训练后,可利用训练好的神经网络对待补全的图像进行补全。图6为本申请实施例提供的第三种图像补全方法的流程示意图。
如图6所示,该图像补全方法包括:
步骤501,将第一图像输入到目标神经网络中,通过特征提取层,对第一图像进行特征提取,得到第一图像的特征信息。
本实施例中,在对待补全的第一图像进行补全时,可将第一图像输入到目标神经网络中,先通过目标神经网络中的特征提取层,对第一图像中的像素点进行特征提取,得到第一图像的特征信息。
其中,特征信息包括像素点的位置信息和图像特征。
步骤502,将第一图像的特征信息,输入到目标神经网络中的缺失区域识别层,识别出第一图像中的缺失区域。
在获得第一图像的特征信息后,可将特征信息输入到目标神经网络中的缺失区域识别层,以识别出第一图像中的缺失区域。
本实施例中,根据特征信息识别缺失区域的方法,可参见上述实施例,在此不再赘述。
步骤503,将识别出的第一图像的缺失区域和特征提取层提取的特征信息,输入到目标神经网络中的缺失内容识别层,得到缺失区域所缺失的内容对应的语义。
为了确定缺失区域所缺失的内容对应的语义,需要确定第一图像中的缺失区域,即确定缺失区域的范围。本实施例中,可将缺失区域识别层识别出的缺失区域和特征提取层提取的特征信息,输入到目标神经网络中的缺失内容识别层,以根据第一图像中每个像素点的特征信息,确定缺失内容对应的语义。
步骤504,将得到的缺失内容对应的语义,输入到目标神经网络中的缺失内容补全层,结合特征提取层提取的特征信息,得到补全后的所述第一图像。
本实施例中,在缺失内容识别层识别出第一图像中缺失区域所缺失内容对应的语义后,将得到的缺失内容对应的语义,输入到目标神经网络中的缺失内容补全层。缺失内容补全层,根据缺失内容对应语义,并结合特征提取层提取的特征信息,对缺失区域进行补全,得到补全后的第一图像。
举例来说,如图7所示,兔子的脸部图像中左眼睛及周围区域被遮挡,也就是说,兔子的脸部图像中存在缺失区域。为了补全兔子的脸部图像,如图7所示,可将存在缺失的兔子的脸部图像,输入到训练好的目标神经网络中,通过目标神经网络进行补全,最终目标神经网络输出补全后的兔子的脸部图像。
本申请实施例的图像补全方法,通过训练好的目标神经网络中的特征提取层、缺失区域识别层、缺失内容识别层、缺失内容补全层,逐层学习图像特征,对待补全的图像进行补全,相比利用纹理或者区域相似进行补全,补全后图像中缺失区域的内容与周边区域的内容,契合度更高,提高了补全后的效果,并且利用训练好的目标神经网络进行补全,补全效率高。
为了实现上述实施例,本申请实施例还提出一种图像补全装置。图8为本申请实施例提供的一种图像补全装置的结构示意图。
如图8所示,该图像补全装置包括:第一识别模块610、第二识别模块620、第三识别模块630。
第一识别模块610用于对待补全的第一图像进行图像特征提取,并根据提取的图像特征,识别出第一图像中的缺失区域。
第二识别模块620用于对第一图像中缺失区域周边区域的内容进行识别,得到缺失区域的缺失内容对应的语义。
第三识别模块630用于根据缺失内容对应的语义,对第一图像中的缺失区域进行补全,得到补全后的第二图像。
在本实施例一种可能的实现方式中,第一识别模块610可包括:
提取单元,用于对第一图像中每个像素点进行图像特征提取;
获取单元,用于获取每个像素点在所述第一图像中的位置信息;
识别单元,用于根据每个像素点的位置信息和图像特征,从所有的像素点中识别出属于缺失区域的像素点;
确定单元,用于根据缺失区域的像素点的位置信息,确定出缺失区域。
进一步地,在本实施例一种可能的实现方式中,识别单元还用于:
根据每个像素点的位置信息,确定与像素点相邻的相邻像素点;
将像素点与相邻的像素点的图像特征进行比较;
从所有的像素点,识别出与相邻像素点的图像特征之间的差异小于预设差异阈值,且图像特征满足预设的图像特征条件的至少一个第一像素点;
将由第一像素点构成的区域内的像素点识别为属于缺失区域的像素点。
在本实施例一种可能的实现方式中,该装置还可包括:
采集模块,用于对待补全的第一图像进行图像特征提取之前,采集第一样本图像,并根据第一样本图像生成存在缺失区域的第二样本图像;利用第一样本图像、第二样本图像和第一样本图像与第二样本图像之间的对应关系,构成训练样本;
训练模块,用于将训练样本输入到构建的神经网络中进行训练,得到训练好的目标神经网络。
在本实施例一种可能的实现方式中,神经网络包括特征提取层、缺失区域识别层、缺失内容识别层和缺失内容补全层,训练模块还用于:
将第一样本图像和第二样本图像输入到神经网络中,利用神经网络中的特征提取层,提取第二样本图像的每个像素点的特征信息;特征信息包括图像特征和位置信息;
将特征提取层提取的特征信息输入到神经网络中的缺失区域识别层,得到第二样本图像的缺失区域;
将第二样本图像的缺失区域和特征提取层提取的特征信息,输入到神经网络中的缺失内容识别层,得到第二样本图像的缺失区域所缺失内容对应的语义;
将第二样本图像的缺失内容对应的语义,输入到缺失内容补全层,结合特征提取层提取的特征信息,对第二样本图像中的缺失区域进行补全,得到补全后的第二样本图像;
将补全后的第二样本图像与第一样本图像进行比较,获取代价函数,如果代价函数最小则完成对神经网络的训练,得到目标神经网络,如果代价函数未达到最小则返回,则调整神经网络返回继续训练,直到代价函数最小。
在本实施例一种可能的实现方式中,第一识别模块610还用于:
将第一图像输入到目标神经网络中,通过特征提取层,对第一图像进行特征提取,得到第一图像的特征信息;
将第一图像的特征信息,输入到目标神经网络中的缺失区域识别层,识别出第一图像中的缺失区域;
第二识别模块620还用于:
将识别出的第一图像的缺失区域和特征提取层提取的特征信息,输入到目标神经网络中的缺失内容识别层,得到缺失区域所缺失的内容对应的语义。
第三识别模块630还用于:
将得到的缺失内容对应的语义,输入到目标神经网络中的缺失内容补全层,结合特征提取层提取的特征信息,得到补全后的第一图像。
上述图像补全装置中各个模块的划分仅用于举例说明,在其他实施例中,可将图像补全装置按照需要划分为不同的模块,以完成上述图像补全装置的全部或部分功能。
需要说明的是,前述对图像补全方法实施例的解释说明,也适用于该实施例的图像补全装置,故在此不再赘述。
本申请实施例的图像补全装置,通过对待补全的第一图像进行图像特征提取,并根据提取的所述图像特征,识别出第一图像中的缺失区域,对第一图像中缺失区域周边区域的内容进行识别,得到缺失区域所缺失的内容对应的语义,根据所缺失的内容对应的语义,对第一图像中的缺失区域进行补全,得到补全后的第二图像。本实施例中,在对缺失区域进行补全时,是根据缺失内容对应的语义进行补全的,而缺失区域所缺失的内容对应的语义是根据缺失区域周边区域的内容确定的,因此补全后的图像中缺失区域部分与周边区域内容,契合度更高,提高了补全效果。
为了实现上述实施例,本申请实施例还提出一种算机设备,包括处理器和存储器;其中,处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序,以用于实现如上述例实施例所述的图像补全方法。
为了实现上述实施例,本申请实施例还提出一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述实施例所述的图像补全方法。
图9示出了适于用来实现本申请实施方式的示例性计算机设备的框图。图9显示的计算机设备12仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图9所示,计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,系统存储器28,连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture;以下简称:ISA)总线,微通道体系结构(Micro Channel Architecture;以下简称:MAC)总线,增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation;以下简称:VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection;以下简称:PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(Random Access Memory;以下简称:RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图9未显示,通常称为“硬盘驱动器”)。尽管图9中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如:光盘只读存储器(Compact Disc Read OnlyMemory;以下简称:CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory;以下简称:DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器28中,这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该计算机设备12交互的设备通信,和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network;以下简称:LAN),广域网(Wide Area Network;以下简称:WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白,尽管图中未示出,可以结合计算机设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现前述实施例中提及的方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种图像补全方法,其特征在于,包括以下步骤:
对待补全的第一图像进行图像特征提取,并根据提取的所述图像特征,识别出所述第一图像中的缺失区域;
对所述第一图像中所述缺失区域周边区域的内容进行识别,得到所述缺失区域所缺失的内容对应的语义;
根据所述所缺失的内容对应的语义,对所述第一图像中的所述缺失区域进行补全,得到补全后的第二图像。
2.根据权利要求1所述的方法,其特征在于,所述对待补全的第一图像进行图像特征提取,并根据提取的所述图像特征,识别出所述第一图像中的缺失区域,包括:
对所述第一图像中每个像素点进行图像特征提取;
获取每个像素点在所述第一图像中的位置信息;
根据每个像素点的位置信息和图像特征,从所有的像素点中识别出属于所述缺失区域的像素点;
根据所述缺失区域的像素点的位置信息,确定出所述缺失区域。
3.根据权利要求2所述的方法,其特征在于,所述根据每个像素点的位置信息和图像特征,从所有的像素点中识别出属于所述缺失区域的像素点,包括:
根据每个像素点的位置信息,确定与所述像素点相邻的相邻像素点;
将所述像素点与所述相邻的像素点的图像特征进行比较;
从所有的像素点,识别出与相邻像素点的图像特征之间的差异小于预设差异阈值,且所述图像特征满足预设的图像特征条件的至少一个第一像素点;
将由所述第一像素点构成的区域内的像素点识别为属于所述缺失区域的像素点。
4.根据权利要求1所述的方法,其特征在于,所述对待补全的第一图像进行图像特征提取之前,还包括:
采集第一样本图像,并根据所述第一样本图像生成存在缺失区域的第二样本图像;
利用所述第一样本图像、所述第二样本图像和所述第一样本图像与所述第二样本图像之间的对应关系,构成训练样本;
将所述训练样本输入到构建的神经网络中进行训练,得到训练好的目标神经网络。
5.根据权利要求4所述的方法,其特征在于,所述神经网络包括特征提取层、缺失区域识别层、缺失内容识别层和缺失内容补全层;
则所述将所述训练样本输入到构建的神经网络中进行训练,得到训练好的目标神经网络,包括:
将所述第一样本图像和第二样本图像输入到所述神经网络中,利用所述神经网络中的特征提取层,提取所述第二样本图像的每个像素点的特征信息;所述特征信息包括图像特征和位置信息;
将所述特征提取层提取的特征信息输入到所述神经网络中的缺失区域识别层,得到所述第二样本图像的缺失区域;
将所述第二样本图像的缺失区域和所述特征提取层提取的特征信息,输入到所述神经网络中的缺失内容识别层,得到所述第二样本图像的缺失区域所缺失内容对应的语义;
将所述第二样本图像的所述缺失内容对应的语义,输入到缺失内容补全层,结合所述特征提取层提取的特征信息,对所述第二样本图像中的所述缺失区域进行补全,得到补全后的所述第二样本图像;
将补全后的所述第二样本图像与第一样本图像进行比较,获取代价函数,如果所述代价函数最小则完成对所述神经网络的训练,得到所述目标神经网络,如果所述代价函数未达到最小则返回,则调整所述神经网络返回继续训练,直到所述代价函数最小。
6.根据权利要求5所述的方法,其特征在于,所述对待补全的第一图像进行图像特征提取,并根据提取的所述图像特征,识别出所述第一图像中的缺失区域,包括:
将所述第一图像输入到所述目标神经网络中,通过所述特征提取层,对所述第一图像进行特征提取,得到所述第一图像的特征信息;
将所述第一图像的特征信息,输入到所述目标神经网络中的缺失区域识别层,识别出所述第一图像中的缺失区域;
所述对所述第一图像中所述缺失区域周边区域的内容进行识别,得到所述缺失区域的缺失内容对应的语义,包括:
将识别出的所述第一图像的缺失区域和所述特征提取层提取的特征信息,输入到所述目标神经网络中的缺失内容识别层,得到所述缺失区域所缺失的内容对应的语义;
所述根据所述缺失内容对应的语义,对所述第一图像中的所述缺失区域进行补全,得到补全后的第二图像,包括:
将得到的所述缺失内容对应的语义,输入到目标神经网络中的缺失内容补全层,结合所述特征提取层提取的特征信息,得到补全后的所述第一图像。
7.一种图像补全装置,其特征在于,包括:
第一识别模块,用于对待补全的第一图像进行图像特征提取,并根据提取的所述图像特征,识别出所述第一图像中的缺失区域;
第二识别模块,用于对所述第一图像中所述缺失区域周边区域的内容进行识别,得到所述缺失区域的缺失内容对应的语义;
第三识别模块,用于根据所述缺失内容对应的语义,对所述第一图像中的所述缺失区域进行补全,得到补全后的第二图像。
8.根据权利要求7所述的装置,其特征在于,所述第一识别模块包括:
提取单元,用于对所述第一图像中每个像素点进行图像特征提取;
获取单元,用于获取每个像素点在所述第一图像中的位置信息;
识别单元,用于根据每个像素点的位置信息和图像特征,从所有的像素点中识别出属于所述缺失区域的像素点;
确定单元,用于根据所述缺失区域的像素点的位置信息,确定出所述缺失区域。
9.一种计算机设备,其特征在于,包括处理器和存储器;
其中,所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于实现如权利要求1-6中任一所述的图像补全方法。
10.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-6中任一所述的图像补全方法。
CN201810417418.0A 2018-05-04 2018-05-04 图像补全方法、装置、计算机设备及存储介质 Active CN108765315B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810417418.0A CN108765315B (zh) 2018-05-04 2018-05-04 图像补全方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810417418.0A CN108765315B (zh) 2018-05-04 2018-05-04 图像补全方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN108765315A true CN108765315A (zh) 2018-11-06
CN108765315B CN108765315B (zh) 2021-09-07

Family

ID=64009019

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810417418.0A Active CN108765315B (zh) 2018-05-04 2018-05-04 图像补全方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN108765315B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110245567A (zh) * 2019-05-16 2019-09-17 深圳前海达闼云端智能科技有限公司 避障方法、装置、存储介质及电子设备
CN110674277A (zh) * 2019-09-29 2020-01-10 北京金山安全软件有限公司 交互数据有效性识别方法和装置
CN111325699A (zh) * 2020-03-20 2020-06-23 腾讯科技(深圳)有限公司 图像修复方法和图像修复模型的训练方法
CN111784799A (zh) * 2020-06-30 2020-10-16 北京百度网讯科技有限公司 图像填充方法、装置、设备及存储介质
CN112258606A (zh) * 2020-10-21 2021-01-22 腾讯科技(深圳)有限公司 图像处理方法、装置、设备及可读存储介质
CN116228605A (zh) * 2023-05-09 2023-06-06 深圳大学 图像补全方法、装置、计算机设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102324102A (zh) * 2011-10-08 2012-01-18 北京航空航天大学 一种图像场景空洞区域结构和纹理信息自动填补方法
CN103310415A (zh) * 2013-03-15 2013-09-18 清华大学 基于人脸的图像缺损补绘方法及系统
EP3048579A1 (en) * 2015-01-26 2016-07-27 Sony Corporation Structure analysis method for recovering missing structures in an image after object removal
CN106780304A (zh) * 2016-12-06 2017-05-31 仙桃市寒悦社美图有限公司 手机图片处理软件
CN107343148A (zh) * 2017-07-31 2017-11-10 广东欧珀移动通信有限公司 图像补全方法、装置和终端
CN107730457A (zh) * 2017-08-28 2018-02-23 广东数相智能科技有限公司 一种图像补全方法、装置、电子设备及存储介质
CN107945140A (zh) * 2017-12-20 2018-04-20 中国科学院深圳先进技术研究院 一种图像修复方法、装置及设备
CN108460746A (zh) * 2018-04-10 2018-08-28 武汉大学 一种基于结构和纹理分层预测的图像修复方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102324102A (zh) * 2011-10-08 2012-01-18 北京航空航天大学 一种图像场景空洞区域结构和纹理信息自动填补方法
CN103310415A (zh) * 2013-03-15 2013-09-18 清华大学 基于人脸的图像缺损补绘方法及系统
EP3048579A1 (en) * 2015-01-26 2016-07-27 Sony Corporation Structure analysis method for recovering missing structures in an image after object removal
CN106780304A (zh) * 2016-12-06 2017-05-31 仙桃市寒悦社美图有限公司 手机图片处理软件
CN107343148A (zh) * 2017-07-31 2017-11-10 广东欧珀移动通信有限公司 图像补全方法、装置和终端
CN107730457A (zh) * 2017-08-28 2018-02-23 广东数相智能科技有限公司 一种图像补全方法、装置、电子设备及存储介质
CN107945140A (zh) * 2017-12-20 2018-04-20 中国科学院深圳先进技术研究院 一种图像修复方法、装置及设备
CN108460746A (zh) * 2018-04-10 2018-08-28 武汉大学 一种基于结构和纹理分层预测的图像修复方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110245567A (zh) * 2019-05-16 2019-09-17 深圳前海达闼云端智能科技有限公司 避障方法、装置、存储介质及电子设备
CN110245567B (zh) * 2019-05-16 2023-04-07 达闼机器人股份有限公司 避障方法、装置、存储介质及电子设备
CN110674277A (zh) * 2019-09-29 2020-01-10 北京金山安全软件有限公司 交互数据有效性识别方法和装置
CN111325699A (zh) * 2020-03-20 2020-06-23 腾讯科技(深圳)有限公司 图像修复方法和图像修复模型的训练方法
CN111784799A (zh) * 2020-06-30 2020-10-16 北京百度网讯科技有限公司 图像填充方法、装置、设备及存储介质
CN111784799B (zh) * 2020-06-30 2024-01-12 北京百度网讯科技有限公司 图像填充方法、装置、设备及存储介质
CN112258606A (zh) * 2020-10-21 2021-01-22 腾讯科技(深圳)有限公司 图像处理方法、装置、设备及可读存储介质
CN116228605A (zh) * 2023-05-09 2023-06-06 深圳大学 图像补全方法、装置、计算机设备和存储介质
CN116228605B (zh) * 2023-05-09 2023-09-08 深圳大学 图像补全方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN108765315B (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
CN108765315A (zh) 图像补全方法、装置、计算机设备及存储介质
CN109871909A (zh) 图像识别方法及装置
CN105139004B (zh) 基于视频序列的人脸表情识别方法
KR102174379B1 (ko) 세그멘테이션을 수행하는 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법
CN106408037A (zh) 图像识别方法及装置
CN108549643A (zh) 翻译处理方法和装置
CN109242831A (zh) 图像质量检测方法、装置、计算机设备和存储介质
CN110287854A (zh) 表格的提取方法、装置、计算机设备和存储介质
CN109191552A (zh) 三维模型处理方法、装置、电子设备和存储介质
CN109977826A (zh) 物体的类别识别方法和装置
JP2005309608A (ja) 文字認識結果出力装置、文字認識装置、その方法及びプログラム
CN108632641A (zh) 视频处理方法及装置
CN109740572A (zh) 一种基于局部彩色纹理特征的人脸活体检测方法
CN107633237A (zh) 图像背景分割方法、装置、设备及介质
CN109214334A (zh) 车道线处理方法和装置
CN108008898A (zh) 页面信息获取方法、装置、计算机设备和存储介质
CN109272579A (zh) 基于三维模型的美妆方法、装置、电子设备和存储介质
CN110188303A (zh) 页面错误识别方法和装置
CN109558767A (zh) 汽车及道路限速标志的识别方法、装置
CN109308716A (zh) 一种图像匹配方法、装置、电子设备及存储介质
CN108479070A (zh) 虚拟模型生成方法和装置
CN104182744B (zh) 文本检测方法和装置以及文本信息提取方法和系统
CN109948515A (zh) 物体的类别识别方法和装置
CN110191314A (zh) 基于安卓系统的摄像头数据处理方法、装置和车载设备
RU2715515C2 (ru) Система и способ выявления изображения, содержащего идентификационный документ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant