CN116523799A - 基于多粒度图文语义学习的文本引导图像修复模型及方法 - Google Patents

基于多粒度图文语义学习的文本引导图像修复模型及方法 Download PDF

Info

Publication number
CN116523799A
CN116523799A CN202310796408.3A CN202310796408A CN116523799A CN 116523799 A CN116523799 A CN 116523799A CN 202310796408 A CN202310796408 A CN 202310796408A CN 116523799 A CN116523799 A CN 116523799A
Authority
CN
China
Prior art keywords
image
global
granularity
text
generator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310796408.3A
Other languages
English (en)
Other versions
CN116523799B (zh
Inventor
王崎
吴兴财
赵克君
高杨杨
吴雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou University
Original Assignee
Guizhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou University filed Critical Guizhou University
Priority to CN202310796408.3A priority Critical patent/CN116523799B/zh
Publication of CN116523799A publication Critical patent/CN116523799A/zh
Application granted granted Critical
Publication of CN116523799B publication Critical patent/CN116523799B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于多粒度图文语义学习的文本引导图像修复模型及方法，属于图像处理领域，包括依次设置的三阶段生成器、掩码重构模块和双鉴别器；三阶段生成器，用于分别在全局粗粒度修复阶段、局部细粒度修复阶段和全局细粒度修复阶段对受损图像进行修复；掩码重构模块，用于在模型训练阶段对受损图像中的目标对象的生成进行惩罚；双鉴别器，用于分别从全局和局部的角度对所修复图像进行判别。本发明采用上述基于多粒度图文语义学习的文本引导图像修复模型及方法，可根据给定的文本和受损图像，更好地预测受损区域中物体的视觉语义信息，生成更多的细粒度纹理，有效地提高图像修复的质量。

Description

基于多粒度图文语义学习的文本引导图像修复模型及方法
技术领域
本发明涉及图像处理技术领域，尤其涉及基于多粒度图文语义学习的文本引导图像修复模型及方法。
背景技术
近些年，深度学习技术在各种研究领域中获得了巨大的发展，如卷积神经网络、循环神经网络、生成对抗网络、Transformer和扩散模型等。其中，基于生成对抗网络的文本生成图像任务和图像修复任务都取得了意想不到的成果。但由于上述两个任务是根据不同的约束条件进行图像生成的，例如单一的文本条件或单一的视觉条件。
为了解决单一的图像生成条件带来的局限性，最近的研究者提出了一个新的图像修复任务，称为文本引导图像修复任务。
文本引导图像修复任务是将给定的文本与受损图像相融合，生成与符合人类视觉感知并和文本信息一致的图像。具体来说，文本信息与图像信息是异构的，通过理解文本能获得图像中目标对象的详细信息，使得在图像修复的过程中所预测的视觉语义得到更多的补充信息。换而言之，生成的受损区域可以根据人类的想法去改变图像修复的方向，从而使得所生成的图像更符合人类视觉感知并更具真实感。
然而，该任务还存在着两个关键的问题需要我们解决。其一，如何将互为异构的图像和文本之间的语义信息进行融合。其二，有着丰富语义信息的文本中可能会存在一些与图像生成无关的词语，这可能会分散模型对图像中的目标对象的生成，从而降低图像的质量或者直接导致图像修复失败。
为了解决这些问题，现有的研究方法在图像修复方法的网络框架的基础上引入注意力机制将文本语义与视觉语义进行融合，从而达到通过文本引导图像修复的目的。但是这些方法没有针对所修复的图像中目标对象的细节纹理进行进一步的生成，也没有对受损区域的视觉语义生成进行深层次的预测，使得所修复图像的像素模糊，难以达到正常的人类视觉感知。
发明内容
为解决上述问题，本发明提供一种基于多粒度图文语义学习的文本引导图像修复模型及方法，可根据给定的文本和受损图像，更好地预测受损区域中物体的视觉语义信息，生成更多的细粒度纹理，有效地提高图像修复的质量。
为实现上述目的，本发明提供了基于多粒度图文语义学习的文本引导图像修复模型，包括依次设置的三阶段生成器、掩码重构模块和双鉴别器；
三阶段生成器，用于分别在全局粗粒度修复阶段、局部细粒度修复阶段和全局细粒度修复阶段对受损图像进行修复；
掩码重构模块，用于在模型训练阶段对受损图像中的目标对象的生成进行惩罚；
双鉴别器，用于分别从全局和局部的角度对所修复图像进行判别。
优选的，三阶段生成器与输入的受损图像之间还依次设置有文本编码器和多注意模块；
文本编码器，用于提取文本中的单词特征和句子特征；
多注意模块，用于提取的单词特征和句子特征与视觉特征进行自注意力特征融合。
优选的，多注意模块包括依次设置的全局粗粒度注意力模块、局部细粒度注意力模块和全局细粒度注意力模块；
对应的，三阶段生成器包括全局粗粒度生成器、局部细粒度生成器和全局细粒度生成器；
全局粗粒度生成器、局部细粒度生成器和全局细粒度生成器均包括跳跃连接的编码器和解码器。
优选的，双鉴别器中包括用于分别从全局和局部的角度对所修复图像进行判别的全局鉴别器和局部鉴别器，全局鉴别器由五个卷积层构成，局部鉴别器由四个卷积层构成。
基于多粒度图文语义学习的文本引导图像修复模型的方法，包括以下步骤：
S1、获取受损图像，并其将输入三阶段生成器；
S2、提取给定的文本的文本特征；
S3、通过三阶段生成器分别生成全局粗粒度图像、局部细粒度图像/>和全局细粒度图像/>，并通过掩码重构模块对受损图像中的目标对象的生成进行惩罚；
S4、通过双鉴别器判别全局细粒度图像和细粒度对象/>；
S5、计算总损失函数。
优选的，在步骤S1中，将图像数据集中的受损图像/>的尺寸统一设置为256 像素 × 256像素，再将其输入到三阶段生成器中；其中受损图像/>的受损区域为图像总面积的20%到 50%的像素块。
优选的，在步骤S2中，提取文本数据集中文本/>中包含的受损图像/>中目标对象的描述信息，并利用预训练好的文本编码器，提取给定的文本/>的单词特征和句子特征。
优选的，步骤S3具体包括以下步骤：
S31、生成全局粗粒度图像：
S311、将受损图像输入到具有八个卷积块的全局粗粒度生成器的编码器中，其中每个卷积块都只有一个卷积层；
S312、将全局粗粒度生成器的编码器的第四个卷积块的输出特征送入到全局粗粒度注意力模块中，并与单词特征/>融合，而后将得到的特征与句子特征/>经过一个神经网络，得到文本引导图像特征/>；
S313、再将文本引导图像特征送回全局粗粒度生成器的编码器中，并与其第四个卷积块的输出特征/>拼接，然后送入其第五个卷积块中，再进行下一步的卷积操作；
S314、做完卷积操作后，通过全局粗粒度生成器的解码器，得到全局粗粒度图像；
S315、利用掩码重构模块将全局粗粒度图像和真实图像/>中的目标对象都抽取出来，得到全局粗粒度对象/>和真实图像对象/>，再利用掩码重构损失/>进行约束，表达式如下：
（1）；
S32、生成局部细粒度图像：
S321、将全局粗粒度图像输入到具有九个卷积块的局部细粒度生成器的编码器中，其中每个卷积块都有两个卷积层；
S322、将局部细粒度生成器的编码器的第四个卷积块的输出特征送入到局部细粒度注意力模块与单词特征/>进行融合，而后将得到的特征与经全局粗粒度注意力模块的最后一层残差层的输出特征经过一个神经网络，得到文本引导图像特征/>；
S323、再将文本引导图像特征送回局部细粒度生成器的编码器中，并与其第四个卷积块的输出特征/>拼接，然后送入其第五个卷积块中，进行下一步的卷积操作；
S324、做完卷积操作后，再通过局部细粒度生成器的解码器，得到局部细粒度图像；
S325、利用掩码重构模块将局部细粒度图像和真实图像/>中的目标对象都抽取出来，得到局部细粒度对象/>和真实图像对象/>，再利用掩码重构损失/>进行约束，表达式如下：
（2）；
S33、生成全局细粒度图像：
S331、将局部细粒度图像输入到具有九个卷积块的全局细粒度生成器的编码器中，其中，每个卷积块都有两个卷积层;
S332、将全局细粒度生成器的编码器的第四个卷积块的输出特征送入到全局细粒度注意力模块与单词特征/>进行融合，而后将得到的特征与经局部细粒度注意力模块的最后一层残差层的输出特征经过一个神经网络，得到文本引导图像特征/>；
S333、再将文本引导图像特征送回全局细粒度生成器的编码器，并与其第四个卷积块的输出特征/>拼接，然后送入其第五个卷积块中，进行下一步的卷积操作；
S334、做完卷积操作后，再通过全局细粒度生成器的解码器得到全局细粒度图像；
S335、利用掩码重构模块将全局细粒度图像和真实图像/>中的目标对象都抽取出来，得到全局细粒度对象/>和真实图像对象/>，再利用掩码重构损失/>进行约束，表达式如下：
（3）
步骤S312、S322、S332所述的神经网络包括依次连接的全连接层、上采样层、残差层和下采样层。
优选的，步骤S4具体包括以下步骤：
S41、将全局细粒度图像和真实图像/>分别经过全局鉴别器进行判别，并利用全局对抗损失/>进行计算，表达式如下：
（4）
式中，为真实图像/>的数据分布期望；/>为全局鉴别器对真实图像/>的判别；/>为全局细粒度图像/>的数据分布期望；/>为全局鉴别器对全局细粒度图像/>的判别；
S42、分别截取细粒度图像和真实图像/>对应受损部位的矩形像素块/>和/>，并将它们经过局部鉴别器进行判别，并利用局部对抗损失/>进行计算，表达式如下：
（5）
式中，为矩形像素块/>的数据分布期望；/>为局部鉴别器对矩形像素块/>的判别；/>为矩形像素块/>的数据分布期望；/>为局部鉴别器对矩形像素块/>的判别。
优选的，步骤S5具体包括以下步骤：
使用全局重构损失将全局粗粒度图像/>、局部细粒度图像/>和全局细粒度图像/>分别与真实图像/>进行计算,定义如下：
（6）
得到如下总损失函数：
（7）
式中，、/>和/>均为用于平衡总损失函数的超参数。
本发明具有以下有益效果：
1、通过利用文本引导受损图像进行修复，从而获得高质量的且符合文本语义的图像；
2、可针对性的修复受损图像中目标对象的细节纹理，生成清晰度高、与人类视觉感知相符合并与文本描述一致的图像。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的基于多粒度图文语义学习的文本引导图像修复模型的结构框图；
图2为本发明的基于多粒度图文语义学习的文本引导图像修复模型的多注意力模块的结构框图；
图3为本发明的基于多粒度图文语义学习的文本引导图像修复模型的三阶段生成器的结构框图；
图4为本发明的对比例的图像修复效果举例图。
具体实施方式
为了使本发明实施例公开的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明实施例进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本发明实施例，并不用于限定本发明实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。
需要说明的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
如图1所示，基于多粒度图文语义学习的文本引导图像修复模型，包括依次设置的三阶段生成器、掩码重构模块和双鉴别器；其中，三阶段生成器，用于分别在全局粗粒度修复阶段、局部细粒度修复阶段和全局细粒度修复阶段对受损图像进行修复；掩码重构模块，用于在模型训练阶段对受损图像中的目标对象的生成进行惩罚；双鉴别器，用于分别从全局和局部的角度对所修复图像进行判别。
优选的，三阶段生成器与输入的受损图像之间还依次设置有文本编码器和多注意模块；文本编码器，用于提取文本中的单词特征和句子特征；
如图2和图3所示，多注意模块，用于提取的单词特征和句子特征与视觉特征进行自注意力特征融合。
优选的，多注意模块包括依次设置的全局粗粒度注意力模块、局部细粒度注意力模块和全局细粒度注意力模块；对应的，三阶段生成器包括全局粗粒度生成器、局部细粒度生成器和全局细粒度生成器；全局粗粒度生成器、局部细粒度生成器和全局细粒度生成器均包括跳跃连接的编码器和解码器。
优选的，双鉴别器中包括用于分别从全局和局部的角度对所修复图像进行判别的全局鉴别器和局部鉴别器，全局鉴别器由五个卷积层构成，局部鉴别器由四个卷积层构成。
基于多粒度图文语义学习的文本引导图像修复模型的方法，包括以下步骤：
S1、获取受损图像，并其将输入三阶段生成器；
优选的，在步骤S1中，将图像数据集中的受损图像/>的尺寸统一设置为256像素 × 256像素，再将其输入到三阶段生成器中；其中受损图像/>的受损区域为图像总面积的20%到 50%的像素块。
S2、提取给定的文本的文本特征；
优选的，在步骤S2中，提取文本数据集中文本/>中包含的受损图像/>中目标对象的描述信息，例如描述目标对象的颜色、形状和大小等文本。并利用预训练好的文本编码器（如循环神经网络），提取给定的文本/>的单词特征和句子特征。
S3、通过三阶段生成器分别生成全局粗粒度图像、局部细粒度图像/>和全局细粒度图像/>，并通过掩码重构模块对受损图像中的目标对象的生成进行惩罚；
优选的，步骤S3具体包括以下步骤：
S31、生成全局粗粒度图像：
S311、将受损图像输入到具有八个卷积块的全局粗粒度生成器的编码器中，其中每个卷积块都只有一个卷积层；
S312、将全局粗粒度生成器的编码器的第四个卷积块的输出特征送入到全局粗粒度注意力模块中，并与单词特征/>融合，而后将得到的特征与句子特征/>经过一个神经网络，得到文本引导图像特征/>；
S313、再将文本引导图像特征送回全局粗粒度生成器的编码器中，并与其第四个卷积块的输出特征/>拼接，然后送入其第五个卷积块中，再进行下一步的卷积操作；
S314、做完卷积操作后，通过全局粗粒度生成器的解码器，得到全局粗粒度图像；
S315、利用掩码重构模块将全局粗粒度图像和真实图像/>中的目标对象都抽取出来，得到全局粗粒度对象/>和真实图像对象/>，再利用掩码重构损失/>进行约束，表达式如下：
（1）；
S32、生成局部细粒度图像：
S321、将全局粗粒度图像输入到具有九个卷积块的局部细粒度生成器的编码器中，其中每个卷积块都有两个卷积层；
S322、将局部细粒度生成器的编码器的第四个卷积块的输出特征送入到局部细粒度注意力模块与单词特征/>进行融合，而后将得到的特征与经全局粗粒度注意力模块的最后一层残差层的输出特征经过一个神经网络，得到文本引导图像特征/>；
S323、再将文本引导图像特征送回局部细粒度生成器的编码器中，并与其第四个卷积块的输出特征/>拼接，然后送入其第五个卷积块中，进行下一步的卷积操作；
S324、做完卷积操作后，再通过局部细粒度生成器的解码器，得到局部细粒度图像；
S325、利用掩码重构模块将局部细粒度图像和真实图像/>中的目标对象都抽取出来，得到局部细粒度对象/>和真实图像对象/>，再利用掩码重构损失/>进行约束，表达式如下：
（2）；
S33、生成全局细粒度图像：
S331、将局部细粒度图像输入到具有九个卷积块的全局细粒度生成器的编码器中，其中，每个卷积块都有两个卷积层;
S332、将全局细粒度生成器的编码器的第四个卷积块的输出特征送入到全局细粒度注意力模块与单词特征/>进行融合，而后将得到的特征与经局部细粒度注意力模块的最后一层残差层的输出特征经过一个神经网络，得到文本引导图像特征/>；
S333、再将文本引导图像特征送回全局细粒度生成器的编码器，并与其第四个卷积块的输出特征/>拼接，然后送入其第五个卷积块中，进行下一步的卷积操作；
S334、做完卷积操作后，再通过全局细粒度生成器的解码器得到全局细粒度图像；
S335、利用掩码重构模块将全局细粒度图像和真实图像/>中的目标对象都抽取出来，得到全局细粒度对象/>和真实图像对象/>，再利用掩码重构损失/>进行约束，表达式如下：
（3）
步骤S312、S322、S332所述的神经网络包括依次连接的全连接层、上采样层、残差层和下采样层。
S4、通过双鉴别器判别全局细粒度图像和细粒度对象/>；
优选的，步骤S4具体包括以下步骤：
S41、将全局细粒度图像和真实图像/>分别经过全局鉴别器进行判别，并利用全局对抗损失/>进行计算，表达式如下：
（4）
式中，为真实图像/>的数据分布期望；/>为全局鉴别器对真实图像/>的判别；/>为全局细粒度图像/>的数据分布期望；/>为全局鉴别器对全局细粒度图像/>的判别；
S42、为了使受损区域的边缘像素与生成的像素块之间可以平滑过渡，分别截取细粒度图像和真实图像/>对应受损部位的矩形像素块/>和/>，并将它们经过局部鉴别器进行判别，并利用局部对抗损失/>进行计算，表达式如下：
（5）
式中，为矩形像素块/>的数据分布期望；/>为局部鉴别器对矩形像素块/>的判别；/>为矩形像素块/>的数据分布期望；/>为局部鉴别器对矩形像素块/>的判别。
S5、计算总损失函数；
优选的，步骤S5具体包括以下步骤：
除了前面提及的掩码重构损失、/>和/>全局对抗损失/>和局部对抗损失/>之外，通过引入了图文匹配损失/>对文本特征和图像特征的融合进行约束，使生成图像的关键对象更加真实并且与对应文本的匹配度更高；
同时为了使生成的全局粗粒度图像、局部细粒度图像/>和全局细粒度图像/>与真实图像/>更加接近，使用全局重构损失/>将全局粗粒度图像/>、局部细粒度图像/>和全局细粒度图像/>分别与真实图像/>进行计算,定义如下：
（6）
得到如下总损失函数：
（7）
式中，、/>和/>均为用于平衡总损失函数的超参数。
需要说明的是，在整个训练过程中，使用NVIDIA GTX 3090Ti GPU进行实验；且整个网络框架都是基于Pytorch实现的；网络的学习率是0.0002；网络参数有Adam优化，参数，参数/>；平衡总损失函数的超参数/>，/>，/>和/>。
对比例
如图4所示，对比方法1采用：J. Li, N. Wang, L. Zhang, B. Du, D. Tao,Recurrent feature reasoning for imageinpainting, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020, pp. 7760–7768.
对比方法2采用：H. Wu, J. Zhou, Y. Li, Deep generative model for imageinpainting with local binary pattern learning and spatialattention, IEEETransactions on Multimedia (2020).
对比方法3采用：H. Liu, Z. Wan, W. Huang, Y. Song, X. Han, J. Liao, Pd-gan: Probabilistic diverse gan for image inpainting, computervision andpattern recognition (2021).
对比方法4采用：L. Zhang, Q. Chen, B. Hu, S. Jiang, Text-guided neuralimage inpainting, in: Proceedings of the 28th ACMInternational Conference onMultimedia, 2020, pp. 1302–1310.
对比方法5采用：Q. Lin, B. Yan, J. Li, W. Tan, Mmfl: Multimodal fusionlearning for text-guided image inpainting, in: Proceedings ofthe 28th ACMInternational Conference on Multimedia, 2020, pp. 1094–1102。
证明了相较于其他方法，本发明所用方法可更好地预测受损区域中物体的视觉语义信息，生成更多的细粒度纹理，有效地提高图像修复的质量。
最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。

Claims (5)

1.基于多粒度图文语义学习的文本引导图像修复模型，其特征在于：包括依次设置的三阶段生成器、掩码重构模块和双鉴别器；
三阶段生成器，用于分别在全局粗粒度修复阶段、局部细粒度修复阶段和全局细粒度修复阶段对受损图像进行修复；
三阶段生成器与输入的受损图像之间还依次设置有文本编码器和多注意模块；
文本编码器，用于提取文本中的单词特征和句子特征；
多注意模块，用于提取的单词特征和句子特征与视觉特征进行自注意力特征融合；
多注意模块包括依次设置的全局粗粒度注意力模块、局部细粒度注意力模块和全局细粒度注意力模块；
对应的，三阶段生成器包括全局粗粒度生成器、局部细粒度生成器和全局细粒度生成器；
全局粗粒度生成器、局部细粒度生成器和全局细粒度生成器均包括跳跃连接的编码器和解码器；
掩码重构模块，用于在模型训练阶段对受损图像中的目标对象的生成进行惩罚；
双鉴别器，用于分别从全局和局部的角度对所修复图像进行判别；
双鉴别器中包括用于分别从全局和局部的角度对所修复图像进行判别的全局鉴别器和局部鉴别器，全局鉴别器由五个卷积层构成，局部鉴别器由四个卷积层构成。
2.如上述权利要求1所述的基于多粒度图文语义学习的文本引导图像修复模型的方法，其特征在于：包括以下步骤：
S1、获取受损图像 ，并其将输入三阶段生成器；
S2、提取给定的文本的文本特征；
S3、通过三阶段生成器分别生成全局粗粒度图像、局部细粒度图像/>和全局细粒度图像/>，并通过掩码重构模块对受损图像中的目标对象的生成进行惩罚；
S31、生成全局粗粒度图像：
S311、将受损图像输入到具有八个卷积块的全局粗粒度生成器的编码器中，其中每个卷积块都只有一个卷积层；
S312、将全局粗粒度生成器的编码器的第四个卷积块的输出特征送入到全局粗粒度注意力模块中，并与单词特征/>融合，而后将得到的特征与句子特征/>经过一个神经网络，得到文本引导图像特征/>；
S313、再将文本引导图像特征送回全局粗粒度生成器的编码器中，并与其第四个卷积块的输出特征/>拼接，然后送入其第五个卷积块中，再进行下一步的卷积操作；
S314、做完卷积操作后，通过全局粗粒度生成器的解码器，得到全局粗粒度图像；
S315、利用掩码重构模块将全局粗粒度图像和真实图像/>中的目标对象都抽取出来，得到全局粗粒度对象/>和真实图像对象/>，再利用掩码重构损失/>进行约束，表达式如下：
（1）；
S32、生成局部细粒度图像：
S321、将全局粗粒度图像输入到具有九个卷积块的局部细粒度生成器的编码器中，其中每个卷积块都有两个卷积层；
S322、将局部细粒度生成器的编码器的第四个卷积块的输出特征送入到局部细粒度注意力模块与单词特征/>进行融合，而后将得到的特征与经全局粗粒度注意力模块的最后一层残差层的输出特征经过一个神经网络，得到文本引导图像特征/>；
S323、再将文本引导图像特征送回局部细粒度生成器的编码器中，并与其第四个卷积块的输出特征/>拼接，然后送入其第五个卷积块中，进行下一步的卷积操作；
S324、做完卷积操作后，再通过局部细粒度生成器的解码器，得到局部细粒度图像；
S325、利用掩码重构模块将局部细粒度图像和真实图像/>中的目标对象都抽取出来，得到局部细粒度对象/>和真实图像对象/>，再利用掩码重构损失/>进行约束，表达式如下：
（2）；
S33、生成全局细粒度图像：
S331、将局部细粒度图像输入到具有九个卷积块的全局细粒度生成器的编码器中，其中，每个卷积块都有两个卷积层;
S332、将全局细粒度生成器的编码器的第四个卷积块的输出特征送入到全局细粒度注意力模块与单词特征/>进行融合，而后将得到的特征与经局部细粒度注意力模块的最后一层残差层的输出特征经过一个神经网络，得到文本引导图像特征/>；
S333、再将文本引导图像特征送回全局细粒度生成器的编码器，并与其第四个卷积块的输出特征/>拼接，然后送入其第五个卷积块中，进行下一步的卷积操作；
S334、做完卷积操作后，再通过全局细粒度生成器的解码器得到全局细粒度图像；
S335、利用掩码重构模块将全局细粒度图像和真实图像/>中的目标对象都抽取出来，得到全局细粒度对象/>和真实图像对象/>，再利用掩码重构损失/>进行约束，表达式如下：
（3）
步骤S312、S322、S332所述的神经网络包括依次连接的全连接层、上采样层、残差层和下采样层；
S4、通过双鉴别器判别全局细粒度图像和细粒度对象/>；
步骤S4具体包括以下步骤：
S41、将全局细粒度图像和真实图像/>分别经过全局鉴别器进行判别，并利用全局对抗损失/>进行计算，表达式如下：
（4）
式中，为真实图像/>的数据分布期望；/>为全局鉴别器对真实图像/>的判别；/>为全局细粒度图像/>的数据分布期望；/>为全局鉴别器对全局细粒度图像/>的判别；
S42、分别截取全局细粒度图像和真实图像/>对应受损部位的矩形像素块/>和/>，并将它们经过局部鉴别器进行判别，并利用局部对抗损失/>进行计算，表达式如下：
（5）
式中，为矩形像素块/>的数据分布期望；/>为局部鉴别器对矩形像素块/>的判别；/>为矩形像素块/>的数据分布期望；/>为局部鉴别器对矩形像素块/>的判别。
3.根据权利要求2所述的基于多粒度图文语义学习的文本引导图像修复模型的方法，其特征在于：在步骤S1中，将图像数据集中的受损图像/>的尺寸统一设置为/>，再将其输入到三阶段生成器中；其中受损图像/>的受损区域为图像总面积的/>到/>的像素块。
4.根据权利要求2所述的基于多粒度图文语义学习的文本引导图像修复模型的方法，其特征在于：在步骤S2中，提取文本数据集中文本/>中包含的受损图像/>中目标对象的描述信息，并利用预训练好的文本编码器，提取给定的文本/>的单词特征和句子特征。
5.根据权利要求2所述的基于多粒度图文语义学习的文本引导图像修复模型的方法，其特征在于：步骤S5具体包括以下步骤：
使用全局重构损失将全局粗粒度图像/>、局部细粒度图像/>和全局细粒度图像/>分别与真实图像/>进行计算,定义如下：
（6）
得到如下总损失函数：
（7）
式中，、/>和/>均为用于平衡总损失函数的超参数。
CN202310796408.3A 2023-07-03 2023-07-03 基于多粒度图文语义学习的文本引导图像修复模型及方法 Active CN116523799B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310796408.3A CN116523799B (zh) 2023-07-03 2023-07-03 基于多粒度图文语义学习的文本引导图像修复模型及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310796408.3A CN116523799B (zh) 2023-07-03 2023-07-03 基于多粒度图文语义学习的文本引导图像修复模型及方法

Publications (2)

Publication Number Publication Date
CN116523799A true CN116523799A (zh) 2023-08-01
CN116523799B CN116523799B (zh) 2023-09-19

Family

ID=87401494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310796408.3A Active CN116523799B (zh) 2023-07-03 2023-07-03 基于多粒度图文语义学习的文本引导图像修复模型及方法

Country Status (1)

Country Link
CN (1) CN116523799B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116721176A (zh) * 2023-08-10 2023-09-08 南强优视(厦门)科技有限公司 一种基于clip监督的文本到人脸图像生成方法及装置
CN116958997A (zh) * 2023-09-19 2023-10-27 南京大数据集团有限公司 一种基于异质图神经网络的图文摘要方法及系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340122A (zh) * 2020-02-29 2020-06-26 复旦大学 一种多模态特征融合的文本引导图像修复方法
CN111861945A (zh) * 2020-09-21 2020-10-30 浙江大学 一种文本引导的图像修复方法和系统
US20200394459A1 (en) * 2019-06-17 2020-12-17 Nvidia Corporation Cell image synthesis using one or more neural networks
US20210183022A1 (en) * 2018-11-29 2021-06-17 Tencent Technology (Shenzhen) Company Limited Image inpainting method and apparatus, computer device, and storage medium
US20210383242A1 (en) * 2018-11-13 2021-12-09 Samsung Electronics Co., Ltd. Joint unsupervised object segmentation and inpainting
CN113869007A (zh) * 2021-10-11 2021-12-31 大连理工大学 一种基于深度学习的文本生成图像学习模型
US20220012815A1 (en) * 2020-05-15 2022-01-13 Retrace Labs Artificial Intelligence Architecture For Evaluating Dental Images And Documentation For Dental Procedures
CN114022372A (zh) * 2021-10-25 2022-02-08 大连理工大学 一种引入语义损失上下文编码器的掩膜图像修补方法
CN114549970A (zh) * 2022-01-13 2022-05-27 山东师范大学 融合全局细粒度信息的夜间小目标果实检测方法及系统
CN114677311A (zh) * 2022-03-03 2022-06-28 南京邮电大学 一种基于注意力机制的跨模态图像修复方法及装置
CN114782265A (zh) * 2022-04-15 2022-07-22 南京信息工程大学 基于对抗多尺度与残差多通道空间注意力的图像修复方法
CN114863441A (zh) * 2022-04-22 2022-08-05 佛山智优人科技有限公司 一种基于文字属性引导的文本图像编辑方法及系统
CN115391625A (zh) * 2022-07-28 2022-11-25 广东工业大学 一种基于多粒度特征融合的跨模态检索方法和系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210383242A1 (en) * 2018-11-13 2021-12-09 Samsung Electronics Co., Ltd. Joint unsupervised object segmentation and inpainting
US20210183022A1 (en) * 2018-11-29 2021-06-17 Tencent Technology (Shenzhen) Company Limited Image inpainting method and apparatus, computer device, and storage medium
US20200394459A1 (en) * 2019-06-17 2020-12-17 Nvidia Corporation Cell image synthesis using one or more neural networks
CN111340122A (zh) * 2020-02-29 2020-06-26 复旦大学 一种多模态特征融合的文本引导图像修复方法
US20220012815A1 (en) * 2020-05-15 2022-01-13 Retrace Labs Artificial Intelligence Architecture For Evaluating Dental Images And Documentation For Dental Procedures
CN111861945A (zh) * 2020-09-21 2020-10-30 浙江大学 一种文本引导的图像修复方法和系统
CN113869007A (zh) * 2021-10-11 2021-12-31 大连理工大学 一种基于深度学习的文本生成图像学习模型
CN114022372A (zh) * 2021-10-25 2022-02-08 大连理工大学 一种引入语义损失上下文编码器的掩膜图像修补方法
CN114549970A (zh) * 2022-01-13 2022-05-27 山东师范大学 融合全局细粒度信息的夜间小目标果实检测方法及系统
CN114677311A (zh) * 2022-03-03 2022-06-28 南京邮电大学 一种基于注意力机制的跨模态图像修复方法及装置
CN114782265A (zh) * 2022-04-15 2022-07-22 南京信息工程大学 基于对抗多尺度与残差多通道空间注意力的图像修复方法
CN114863441A (zh) * 2022-04-22 2022-08-05 佛山智优人科技有限公司 一种基于文字属性引导的文本图像编辑方法及系统
CN115391625A (zh) * 2022-07-28 2022-11-25 广东工业大学 一种基于多粒度特征融合的跨模态检索方法和系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LISAI ZHANG等: "Text-Guided Neural Image Inpainting", 《COMPUTER VISION AND PATTERN RECOGNITION》, pages 1 - 9 *
ZIJIAN ZHANG等: "Text-Guided Image Inpainting", 《MM \'20》, pages 1 - 9 *
姚玉媛: "基于用户感知机理的跨模态传输策略研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, pages 136 - 449 *
张素素;倪建成;周子力;侯杰;: "融合语义标签和噪声先验的图像生成", 计算机应用, no. 05, pages 1431 - 1439 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116721176A (zh) * 2023-08-10 2023-09-08 南强优视(厦门)科技有限公司 一种基于clip监督的文本到人脸图像生成方法及装置
CN116721176B (zh) * 2023-08-10 2023-11-10 南强优视(厦门)科技有限公司 一种基于clip监督的文本到人脸图像生成方法及装置
CN116958997A (zh) * 2023-09-19 2023-10-27 南京大数据集团有限公司 一种基于异质图神经网络的图文摘要方法及系统
CN116958997B (zh) * 2023-09-19 2024-01-23 南京大数据集团有限公司 一种基于异质图神经网络的图文摘要方法及系统

Also Published As

Publication number Publication date
CN116523799B (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
CN116523799B (zh) 基于多粒度图文语义学习的文本引导图像修复模型及方法
Chen et al. Pre-trained image processing transformer
CN111340122B (zh) 一种多模态特征融合的文本引导图像修复方法
Xie et al. Image inpainting with learnable bidirectional attention maps
CN109949222B (zh) 基于语义图的图像超分辨率重建方法
Zhang et al. NTIRE 2023 challenge on image super-resolution (x4): Methods and results
Wen et al. Video super-resolution via a spatio-temporal alignment network
Meishvili et al. Learning to have an ear for face super-resolution
Yun et al. Joint face super-resolution and deblurring using generative adversarial network
Bandara et al. Adamae: Adaptive masking for efficient spatiotemporal learning with masked autoencoders
CN114638768B (zh) 一种基于动态关联学习网络的图像去雨方法、系统及设备
CN114004766A (zh) 一种水下图像增强方法、系统和设备
CN115293968A (zh) 一种超轻量高效的单图像超分辨率方法
CN115293986A (zh) 一种多时相遥感图像云区重建方法
Sui et al. Gcrdn: Global context-driven residual dense network for remote sensing image super-resolution
Hou et al. Semi‐supervised image super‐resolution with attention CycleGAN
CN113065496A (zh) 神经网络机器翻译模型训练方法、机器翻译方法和装置
CN113658047A (zh) 一种结晶图像超分辨率重建方法
CN113516604A (zh) 图像修复方法
CN115496134B (zh) 基于多模态特征融合的交通场景视频描述生成方法和装置
Wang et al. Disentangled representation learning and enhancement network for single image de-raining
CN115578242A (zh) 水印消除方法及其装置、设备、介质、产品
CN114943655A (zh) 基于循环深度卷积生成对抗网络结构的图像修复系统
CN112801912B (zh) 一种人脸图像复原方法、系统、装置及存储介质
Yan et al. Textual Prompt Guided Image Restoration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant