CN113129234A - 一种场内外特征融合的残缺图像精细修复方法 - Google Patents

一种场内外特征融合的残缺图像精细修复方法 Download PDF

Info

Publication number
CN113129234A
CN113129234A CN202110423212.0A CN202110423212A CN113129234A CN 113129234 A CN113129234 A CN 113129234A CN 202110423212 A CN202110423212 A CN 202110423212A CN 113129234 A CN113129234 A CN 113129234A
Authority
CN
China
Prior art keywords
feature
representing
features
image
incomplete
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110423212.0A
Other languages
English (en)
Other versions
CN113129234B (zh
Inventor
徐涛
周纪勇
蔡磊
吴韶华
赵未硕
马玉琨
蔡豪杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan Institute of Science and Technology
Original Assignee
Henan Institute of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan Institute of Science and Technology filed Critical Henan Institute of Science and Technology
Priority to CN202110423212.0A priority Critical patent/CN113129234B/zh
Publication of CN113129234A publication Critical patent/CN113129234A/zh
Application granted granted Critical
Publication of CN113129234B publication Critical patent/CN113129234B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种场内外特征融合的残缺图像精细修复方法，其步骤为：检测残缺图像中存在的目标，利用知识库检索与目标相关的常识性知识，基于RNN的编码器将常识性知识转化为场外特征；提取残缺图像的目标特征信息并进行处理得到场内特征，利用改进的DMN+模型场外特征与场内特征进行融合，得到融合特征；将融合特征输入到带有环境注意机制的粗修复网络，得到粗修复图像；将粗修复图像输入到精细修复网络中进一步细化，从而实现残缺图像的修复。本发明利用知识库中的常识性知识弥补目标信息的不足；环境注意机制更大程度上利用背景信息；增加相关特征连贯层解决了残缺区域的语义相关性和特征连续性的问题，提高图像的修复结果。

Description

一种场内外特征融合的残缺图像精细修复方法
技术领域
本发明涉及图像修复的技术领域，尤其涉及一种场内外特征融合的残缺图像精细修复方法。
背景技术
图像修复是指因遮挡、模糊、传输干扰等各种因素造成信息缺失或损坏的图片，可通过利用图像缺失部分邻域的信息和图像整体的结构等信息，按照一定的信息复原技术对图像的缺失或损坏的区域进行修复。但由于图像修复技术具有独特的功能经常被应用到许多图像处理的场景中，例如删除图像中不需要的物体、去除目标物上的遮挡物体、修复损坏等任务，图像修复的核心技术是图像修复区域既要保持全局语义结构，又要保证生成逼真的纹理细节。随着深度学习方法的快速发展，同时也为图像修复模型开辟了一条新的路径。基于深度学习的图像修复模型是将一个深度神经网络通过在数据库中经过大量的训练，学习到图像更多深层次的特征信息，从而得到了更加逼真的图像修复效果。随着生成式对抗网络(GANs)作为一种无监督的深度学习模型被应用于图像修复领域，使得基于深度学习的图像修复得到了进一步的发展。
公开号为CN112381725A的发明专利公开了一种基于深度卷积对抗生成网络的图像修复方法及装置，通过对待修复图像进行预处理以获得边缘原图，然后利用预先训练的深度卷积对抗生成网络，根据边缘原图生成与待修复图像对应的目标生成图像。然而该方法忽略了残缺区域的语义相关性和特征连续性而导致图像的修复效果并不理想。同时上述修复方法面对特征信息严重缺失信息不足的残缺图像时，其修复效果就会显示出不能有效修复的现象。因此，本发明提出了基于场内外特征融合的残缺图像精细修复方法解决上述问题。
发明内容
针对现有图像修复方法的修复效果不理想，不能有效修复的技术问题，本发明提出一种场内外特征融合的残缺图像精细修复方法，利用知识库中的常识性知识，弥补原图像目标信息的不足，利用背景信息及残缺区域的语义相关性和特征连续性，从而提高图像的修复效果。
为了达到上述目的，本发明的技术方案是这样实现的：一种场内外特征融合的残缺图像精细修复方法，其步骤如下：
步骤一：检测残缺图像中存在的目标，利用知识库检索与目标相关的常识性知识，基于RNN的编码器将常识性知识转化为场外特征；
步骤二：提取残缺图像的目标特征信息并进行处理得到场内特征，利用改进的DMN+模型将步骤一得到的场外特征与场内特征进行融合，得到融合特征；
步骤三：将步骤二得到的融合特征输入到带有环境注意机制的粗修复网络，得到粗修复图像；
步骤四：将步骤三得到的粗修复图像输入到精细修复网络中，通过精细修复网络对粗修复图像进一步细化获得精细修复图像，从而实现残缺图像的修复。
所述步骤一中场外特征的获取方法为：
根据知识库中的常识性知识，对残缺图像Iin中的目标β判断推理，推测出可能相关的目标{α1，α2，....，αk}；
从知识库中检索与目标αk相关的常识性描述为：
Figure BDA0003028457060000021
其中，{m1，m2，...，mn}是从知识库中检索到的目标αk的常识性描述，n表示每个目标的常识性描述的个数；
将常识性描述{m1，m2，...，mn}编码转换成单词序列{M1，M2，...，Mt}，通过xt＝weMt的映射关系将常识性描述中的每一个单词映射到一个连续的向量空间中；其中，xt表示目标αk的第t个单词的映射向量，we为映射权重；
通过基于RNN的编码器将映射向量xt进行编码：
Figure BDA0003028457060000022
其中，Tt-1表示编码器的隐藏状态，RNNfast()表示基于RNN的编码器的编码函数，
Figure BDA0003028457060000023
表示第t个单词的映射向量通过基于RNN的编码器所得的特征向量；
将通过基于RNN的编码器得到的特征向量x′E定义为场外特征XE，即
Figure BDA0003028457060000024
所述目标β是通过YOLOv3目标识别模型检测残缺图像Iin得到的。
所述场内特征的提取方法为：
将信息残缺图像Iin输入到改进的DMN+模型中，改进的DMN+模型的第一层提取目标特征信息
Figure BDA0003028457060000025
目标特征信息
Figure BDA0003028457060000026
作为改进的DMN+模型的第二层输入，改进的DMN+模型的第三层及以上的层的输入
Figure BDA0003028457060000027
为目标特征信息
Figure BDA0003028457060000028
和前一层输出
Figure BDA0003028457060000029
的总和：
Figure BDA00030284570600000210
其中，i＝2，……，ni，ni为改进的DMN+模型的层数；
则场内特征为：
Figure BDA00030284570600000211
其中，W1和b1表示映射参数；tanh()为映射函数。
所述改进的DMN+模型对目标特征信息进行学习，并将提取的特征之间进行信息交互，获取更多的与目标特征信息相关的场外特征；所述改进的DMN+模型将场外特征与场内特征进行融合的方法为：
Figure BDA0003028457060000031
ft＝soft max(W3tanh(W2zt+b2)+b3)，
gt＝AGRU(XE，ft)；
其中，γt-1表示第t-1个场外特征与图像特征在改进的DMN+模型的记忆模块中交互运算后输出的情景记忆状态，zt表示相关的场外特征XE、情景记忆状态γt-1和场内特征X之间的交互运算后的向量，
Figure BDA00030284570600000313
表示向量相乘的运算符号，|·|表示元素的绝对值，[：]表示是多个元素交互运算；ft表示全连接层的输出，W2、W3、b2和b3均表示学习参数，soft max(·)表示输出激活函数，AGRU(·)表示改进的DMN+模型的注意机制循环模块的函数；gt表示第t个场外特征被检测后门循环模块的状态，且：gt＝ftGRU(XE，gt-1)+(1-ft-1)gt-1；
通过注意力机制利用当前的状态和改机的DMN+模型的情景记忆状态更新储存器的记忆状态为：γt＝ReLU(W4[γt-1：gt：X]+d4)；其中，γt表示更新后的情景记忆状态，ReLU()为整流线性激活函数，W4和d4均表示学习参数；
通过改进的DMN+模型提取的场外特征为：
Figure BDA0003028457060000032
Xr＝[X，XE]；
其中，
Figure BDA0003028457060000033
表示改进的DMN+模型最后一层输出的具有场外知识弥补的图像信息，W5和d5均表示学习参数；XE表示具有相关性的场外特征，Xr表示融合后的特征；
最后将
Figure BDA0003028457060000034
输入到改进的DMN+模型的输出层，得到经场外知识优化的残缺图像Iopt。
所述粗修复网络是基于对抗性神经网络策略的WGAN-GP修复模型，WGAN-GP修复模型利用Wasserstein-1距离构成惩罚梯度函数对生成器形成约束为：
Figure BDA0003028457060000035
其中，
Figure BDA0003028457060000036
表示从生成特征分布Pr和原始特征分布Pg采样点之间的直线上采样的特征，
Figure BDA0003028457060000037
表示特征
Figure BDA0003028457060000038
通过判别器D的输出值，
Figure BDA0003028457060000039
表示1-Lipschithz函数约束下的采样样本，
Figure BDA00030284570600000310
表示特征
Figure BDA00030284570600000311
的分布距离函数，||·||2表示所有矩阵列向量绝对值之和的最大值；S表示掩膜矩阵，λ表示惩罚函数的权重；
Wasserstein-1距离为：
Figure BDA00030284570600000312
其中，Pr表示残缺区域的生成特征Xrs的分布，Pg表示残缺图像对应的原始特征Xrc的分布，∏(Pr，Pg)表示生成特征分布Pr和原始特征分布Pg采样点分布的边际，E[·]为分布特征之间距离函数，inf表示取下限函数，W(Pr，Pg)表示生成特征分布和原始特征分布的距离；
所述WGAN-GP修复模型利用梯度惩罚约束条件训练和优化原始的WGAN-GP网络的生成器，即：
Wasserstein-1距离W(Pr，Pg)通过比较生成数据分布和原始数据分布，目标函数为：
Figure BDA0003028457060000041
其中，L表示1-Lipschitz函数的集合，Pr表示残缺区域的生成特征分布，Pg表示残缺图像对应的原始特征分布，G表示生成器，D表示判别器，D(Xrs)和D(Xrc)分别表示生成特征和原始特征通过判别器D的输出值；
Figure BDA0003028457060000042
和
Figure BDA0003028457060000043
分别表示生成特征分布和原始特征分布的分布距离函数。
所述粗修复网络的WGAN-GP修复模型的变分自编码器提取具有场外知识弥补的残缺图像信息
Figure BDA0003028457060000044
的深度特征得到原始特征为
Figure BDA0003028457060000045
WGAN-GP修复模型的生成器依据向量元素
Figure BDA0003028457060000046
生成残缺区域特征得到生成特征为
Figure BDA0003028457060000047
其中，
Figure BDA0003028457060000048
表示具有场外知识弥补的图像信息
Figure BDA0003028457060000049
的深度特征的向量元素，k1表示深度特征向量元素的个数其中，
Figure BDA00030284570600000410
表示生成残缺区域特征的向量元素，k2表示生成残缺区域特征向量元素的个数；
在经场外知识优化的残缺图像Iopt的完整区域中提取与残缺区域的生成特征
Figure BDA00030284570600000411
相关的环境特征
Figure BDA00030284570600000412
并整形为卷积滤波器，使用余弦相似度检测提取的环境特征
Figure BDA00030284570600000413
和残缺区域的生成特征
Figure BDA00030284570600000414
的匹配程度，即：
Figure BDA00030284570600000415
其中，
Figure BDA00030284570600000416
表示环境特征
Figure BDA00030284570600000417
和残缺区域的生成特征
Figure BDA00030284570600000418
之间相似度，<·>表示向量间的数量积；
环境特征
Figure BDA00030284570600000419
和残缺区域的生成特征
Figure BDA00030284570600000420
之间相似度权衡注意权重，即每个像素的注意程度为
Figure BDA00030284570600000421
其中，soft max1表示环境注意机制的softmax函数，权重α是一个常数；
通过与注意程度
Figure BDA00030284570600000422
最相关的
Figure BDA00030284570600000423
的值先进行左右传播、再进行自上而下的传播，最终获得环境特征
Figure BDA00030284570600000424
的相似度
Figure BDA00030284570600000425
为：
Figure BDA0003028457060000051
其中，a∈(0，k2)，k2表示相关环境的个数；
得到具有相似度的局部环境特征为
Figure BDA0003028457060000052
其中，
Figure BDA0003028457060000053
表示具有相似度的局部环境特征的向量元素，k3表示具有相似度的局部环境特征的向量元素个数；
在完整区域中提取与原始特征Xrc相关的完整区域的环境特征：
X′rg＝frgA(Xrs，Hrs，Wrs)；
其中，Hrs表示输入图像的高度，Wrs表示输入图片的宽度，frgA(c)为全局环境特征的提取函数；
通过1×1卷积层将这局部环境注意机制和全局环境注意机制的背景特征信息进行融合，得到分层的环境注意机制，通过分层的环境注意机制得到的背景特征为：
X′rs-g＝fconv([X′rs：X′rg])；
其中，fconv(c)表示卷积运算，[：]是交互运算；
WGAN-GP模型的解码器对残缺区域的生成特征Xrs、原始特征Xrc和背景特征X′rs-g进行解码生成粗修复图像Irou。
所述精细修复网络增加了相关特征连贯层的WGAN-GP修复模型，并通过特征相关性对上下语义情景结构进行保留。
所述精细修复网络的WGAN-GP修复模型的变分自编码器提取粗修复图像Irou的深度特征为Xfc＝{xfc1，xfc2...，xfck4}，其中，
Figure BDA0003028457060000054
表示粗修复图像Irou深度特征的向量元素，k4表示深度特征向量元素的个数；WGAN-GP修复模型的生成器依据向量元素
Figure BDA0003028457060000055
生成残缺区域特征为
Figure BDA0003028457060000056
其中，
Figure BDA0003028457060000057
表示生成残缺区域特征向量元素，k5表示生成残缺区域特征向量元素的个数；
在残缺图像信息完整区域中搜索最匹配的特征
Figure BDA0003028457060000058
用于初始化xfsa；然后，将特征
Figure BDA0003028457060000059
作为主要的特征信息，参考已经生成的特征xfsa-1，在生成的特征过程中还原特征xfsa，判断特征之间的相关度：
Figure BDA00030284570600000510
Figure BDA0003028457060000061
其中，Da表示生成特征xfsa和邻近特征xfsa-1之间的相似性，
Figure BDA00030284570600000612
表示最匹配的特征
Figure BDA0003028457060000062
和生成特征xfsa之间的相似性；
将相似性
Figure BDA0003028457060000063
和
Figure BDA0003028457060000064
视为生成特征的权重，生成的特征表示为：
Figure BDA0003028457060000065
通过精细修复网络的解码器将通过相关特征连贯层生成的残缺区域生成特征
Figure BDA0003028457060000066
和变分自编码器提取的深度特征Xfc进行解码生成精细修复图像Irou。
所述改进的DMN+模型的优化损失函数Ld为：Ld＝max(0，W6-So(XE，γt)+SR(XE，X))；
其中，SO(·)表示情景记忆状态γt和场外特征XE之间的匹配度，SR(·)表示场内特征X和场外特征XE之间的匹配度，W6表示权重，一般取值为0～1；
所述WGAN-GP模型的对抗性损失函数DR为：
Figure BDA0003028457060000067
其中，D代表WGAN-GP网络的判别器，Igt表示没有经过掩膜处理的原图像，
Figure BDA0003028457060000068
表示对判别器鉴定后的原始数据取平均值的操作，
Figure BDA0003028457060000069
表示对判别器鉴定后的生成数据取平均值的操作；
所述精细修复网络将变分自编码器和解码器对应层的特征空间设定为目标计算出距离Lc，从而得到一致性损失为：
Figure BDA00030284570600000610
其中，
Figure BDA00030284570600000611
表示精细修复网络中经训练得到的参数，W(·)表示编码器中相关特征连贯层的特征空间，Wd(·)是解码器中相关特征连贯层的对应层特征空间。
与现有技术相比，本发明的有益效果：主要分为三个部分：场内外特征融合部分、粗糙修复部分和精细修复部分，将信息残缺的图像Iin输入到场内外特征融合网络得到一个特征信息更加丰富的输出结果，并将其输入到粗糙修复网络中，得到一个粗糙修复图像Irou；将粗糙修复图像Irou输入到精细修复网络中，精细修复网络会迅速的提取叠加区域的有效特征信息；经精细修复网络后，输出一个精细修复图像Ifin，从而实现残缺图像的修复。
本发明提出利用知识库中的常识性知识，弥补原图像目标信息的不足：从知识库中提取关于目标的文字特征描述，并将文字转化成单个单词，通过基于RNN的编码器将场外的文字特征描述编码成特征向量并存储到知识存储单元的内存槽中；并通过改进的DMN+(动态内存网络DMN))模型检索与目标信息相关的特征向量实现融合，从而解决目标信息不足的问题。
由于残缺图像的目标特征严重缺失，极大的影响了残缺图像的修复效果，本发明提出环境注意机制检索相关的环境特征信息：首先利用对抗神经网络构建粗修复网络模型，并在模型中引入分层的环境注意机制，分层的环境注意机制在测试中能够更大程度上利用背景信息，从而得到一个效果较好的图像修复结果。
现有的修复方法往往忽略了残缺区域的语义相关性和特征连续性而导致修复并不理想，因此本发明在粗修复网络模型上再构建一个精细修复网络模型，其网络结构与粗修复网络基本相同，不同的是为了提高语义相关性和特征连续性，本发明提出相关特征连贯层，特征相关性分为两个阶段：搜索阶段和生成阶段，在图像信息完整的区域中寻找与生成特征最匹配特征，同时参考邻近已经生成的特征生成具有特征相关性的特征信息，解决了残缺区域的语义相关性和特征连续性的问题，提高图像的修复结果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的流程图。
图2为本发明场内特征和场外特征融合的流程图。
图3为本发明修复结果的对比图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，一种场内外特征融合的残缺图像精细修复方法，其步骤为：
步骤一：检测残缺图像中存在的目标，利用知识库检索与目标相关的常识性知识，基于RNN的编码器将常识性知识转化为场外特征。
本发明利用知识库中的常识性知识，弥补原图像目标信息的不足。图像中目标α是残缺的，由于特征信息的不足无法实现对其准确地识别。然而，通过YOLOv3目标识别模型已经检测出残缺图像Iin中存在目标β，根据知识库中相应的常识性知识，对已经检测出的目标β判断推理，从而可以推测出与其可能相关的目标{α1，α2，...，αk}。因此，依据常识性知识得到目标与对象之间的关系可以表示为：
Figure BDA0003028457060000081
这些目标{α1，α2，...，αk}是根据知识库中的常识性知识推理出来。同时，知识库中还包含着物体的基本特征信息，通过从知识库获得目标相关的常识性知识去弥补原目标信息的不足，从而解决信息不足的问题。从知识库中检索到对目标相关的常识性知识，并且保证检索出来的常识性知识与知识库中相应的语义实体进行匹配，最终从知识库中检索到的目标相关常识性知识可以表示为：
Figure BDA0003028457060000082
其中，{m1，m2，...，mn}是从知识库中检索到的目标αk的常识性描述，n表示每个目标的常识性描述的个数。为了对检测到的目标相关常识性知识进行编码，将这些常识性描述{m1，m2，...，mn}转换成单词序列{M1，M2，...，Mt}，并且通过xt＝weMt的映射关系将目标相关常识性知识中的每一个单词映射到一个连续的向量空间中，其中，xt表示映射向量，we为映射权重，然后将通过基于RNN的编码器映射向量进行编码：
Figure BDA0003028457060000083
其中，xt表示检索到的关于目标αk的第t个单词的映射向量，Tt-1表示编码器的隐藏状态，RNNfast()表示基于RNN的编码器的编码函数，
Figure BDA0003028457060000084
表示第t个单词的映射向量通过基于RNN编码器所得的特征向量，将通过基于RNN的编码器得到的特征向量其定义为场外特征XE，可以表示为
Figure BDA0003028457060000085
步骤二：提取残缺图像的目标特征信息并进行处理得到场内特征，利用改进的DMN+模型将步骤一得到的场外特征与场内特征进行融合，得到融合特征。
知识库中得到的自然知识编码成向量存储到知识存储单元的内存槽中，并将外部知识融入到目标特征提取的过程中，弥补原目标物特征的不足，从而提高修复模型的修复能力。将k个目标αk在知识库相对应的特征语义描述通过基于RNN的编码器编码到场内外特征融合模型的储存空间中，那么存储空间中就含有k×n个相关的特征向量。然而当储存空间的向量足够大时，将会增加从候选知识中提取有用的信息的难度。为了解决这一问题，提出改进的DMN+模型。同时为了保证改进的DMN+模型对上下文信息的理解和原始输入的记忆，改进了DMN+的输入，将信息残缺图像Iin作为输入信息输入到改进的DMN+模型中，改进的DMN+模型的第一层有效地提取目标特征信息
Figure BDA0003028457060000091
目标特征信息
Figure BDA0003028457060000092
作为改进的DMN+模型的第二层输入，第三层及以上的层的输入
Figure BDA0003028457060000093
为原始输入的目标特征信息
Figure BDA0003028457060000098
和前一层输出
Figure BDA0003028457060000094
的总和：
Figure BDA0003028457060000095
其中，i＝2，……，ni；ni为改进的DMN+模型的层数，ni层数一般大于单词向量的个数。
通过改进的DMN+模型对目标特征的学习，让DNM+模型提取到的特征之间进行信息交互，以获取更多的与目标信息相关的场外特征信息，更有利于实现图像的修复。将待修复目标融合后的特征向量输入到改进的DMN+模型中，其处理过程如下式所示：
Figure BDA0003028457060000096
Figure BDA0003028457060000097
ft＝soft max(W3 tanh(W2zt+b2)+b3) (7)
gt＝AGRU(XE，ft) (8)
其中，X表示图像目标映射后的目标向量，即场内特征，W1和b1表示映射参数，其取值为[0，1]，γt-1表示第t-1个单词对应的场外特征向量与图像特征在改进的DMN+模型的记忆模块交互运算后输出的模型情景记忆状态，记忆模块的作用是结合图像特征和场外特征进行迭代生成记忆，并且检索相关的场外向量。zt表示相关的场外特征XE、模型情景记忆状态γt-1和被映射的目标向量X之间的交互运算后的向量，
Figure BDA0003028457060000099
表示向量相乘的运算符号，|·|表示元素的绝对值，[：]表示是多个元素交互运算。值得说明的是，模型情景记忆γt-1和被映射的目标向量X需要先通过复制扩展达到具有相同维度，才能与场外特征XE进行交互运算。ft表示全连接层的输出，W2、W3、b2和b3均表示学习参数，其取值一般在0～0.5之间。softmax(c)表示输出激活函数，AGRU(·)表示改进的DMN+模型的注意机制循环模块(AGRU)的函数；gt表示第t个场外特征被检测后门循环模块(GRU)的状态，其工作原理如下：
gt＝ftGRU(XE，gt-1)+(1-ft-1)gt-1 (9)
通过注意力机制利用当前的状态和DMN+模型的情景记忆更新储存器的记忆状态，如公式(10)所示：
γt＝Re LU(W4[γt-1：gt：X]+d4) (10)
其中，γt表示更新后的模型情景记忆状态，ReLU()为整流线性激活函数，W4和d4均表示学习参数，其取值一般为0.001～0.1。通过改进的DMN+模型提取场外特征表示为：
Figure BDA0003028457060000101
Xr＝[X，XE] (12)
其中，
Figure BDA0003028457060000102
表示改进的DMN+模型最后一层输出的具有场外知识弥补的图像信息，W5和d5均表示学习参数，其取值为[0，0.5]。XE表示具有相关性的场外特征，Xr表示融合后的特征。最后将
Figure BDA0003028457060000103
输入到改进的DMN+模型输出层，得到经过场外知识优化的残缺图像Iopt。通过公式(4)-公式(12)实现了残缺目标的场内外特征信息的融合，丰富了残缺图像原有的特征信息，解决了缺失目标物的特征信息不足的问题。
如图2所示，模型情景记忆状态γt与场外特征XE交互运算实现相关场外特征的检索，目标共有t个场外特征向量，第一层通过提取目标特征，并依据目标特征检索第一个场外特征向量通过公式(6)、(7)、(9)、(10)的运算输出结果，同时将第一个场外特征向量进行记忆，将具有情景记忆的目标特征检索第2个场外特征向量通过公式(6)、(7)、(9)、(10)的运算输出结果，.....，将第t-1个场外特征向量进行记忆，将具有情景记忆的目标特征检索第t个场外特征向量通过公式(6)、(7)、(9)、(10)的运算输出结果，最终得到公式(11)和公式(12)。
为提高场内外特征融合网络检索相关场外特征的能力和优化注意机制参数，在采用改进的DMN+模型进行场内外特征融合时定义一个优化损失函数Ld，如下式所示：
Ld＝max(0，W6-So(XE，γt)+SR(XE，X)) (13)
其中，SO(c)表示情景记忆状态γt和场外特征XE之间的匹配度，SR(·)表示场内特征X和场外特征XE之间的匹配度，W6表示权重，一般取值为0～1。
步骤三：将步骤二得到的融合特征输入到带有环境注意机制的粗修复网络，得到粗修复图像。
本发明的粗略修复网络是基于对抗性神经网络策略的修复模型，是将变分自编码器(VAE)的每一层都与解码器对应层的特征关联起来。编码器生成待修复图像的深度特征表示，通过解码器依据该深度特征预测并生成缺失区域信息。首先通过WGAN-GP修复模型的变分自编码器提取具有场外知识弥补的图像信息
Figure BDA0003028457060000104
信息
Figure BDA0003028457060000105
是最后改进的DNM+输出的图像信息，这个输出的图像信息所包含特征就是Xr。经场外知识优化的残缺图像Iopt的深度特征，并将其表示
Figure BDA0003028457060000111
其中，
Figure BDA0003028457060000112
表示具有场外知识弥补的图像信息
Figure BDA0003028457060000113
(经场外知识优化的残缺图像Iopt)的深度特征的第k1个向量元素，k1表示深度特征向量元素的个数；通过WGAN-GP修复模型的生成器依据向量元素
Figure BDA0003028457060000114
生成残缺区域特征表示为
Figure BDA0003028457060000115
其中，
Figure BDA0003028457060000116
表示生成残缺区域特征的第k2个向量元素，k2表示生成残缺区域特征向量元素的个数。为了更好地提取残缺区域特征，本发明引入Wasserstein-1距离构成惩罚梯度函数对生成器形成约束，其原理为：
Figure BDA0003028457060000117
其中，
Figure BDA0003028457060000118
表示从生成特征分布Pr和原始特征分布Pg采样点之间的直线上采样的特征，
Figure BDA0003028457060000119
表示特征
Figure BDA00030284570600001119
通过判别器D的输出值，
Figure BDA00030284570600001110
表示1-Lipschithz函数约束下的采样样本，
Figure BDA00030284570600001111
表示特征
Figure BDA00030284570600001112
的分布距离函数，||·||2表示所有矩阵列向量绝对值之和的最大值。S表示掩膜矩阵，缺失像素的掩膜值为0，其它部分的掩膜值为1。λ表示惩罚函数的权重，其取值为[0，0.5]。
图像的WGAN-GP修复模型中的Wasserstein-1距离表示为：
Figure BDA00030284570600001113
其中，Pr表示残缺区域的生成特征Xrs的分布，Pg表示残缺图像对应的原始特征Xrc分布，∏(Pr，Pg)表示生成特征分布Pr和原始特征分布Pg采样点分布的边际，E[·]分布特征之间距离函数，inf表示取下限函数，W(Pr，Pg)表示生成特征分布和原始特征分布的距离。
利用梯度惩罚约束条件训练和优化原始WGAN-GP网络的生成器，使其更易学习并匹配出待修复区域的有效信息，提升粗修复网络模型的稳定性，其原理如下：
Wasserstein-1距离W(Pr，Pg)是通过比较生成数据分布和原始数据分布，其目标函数为：
Figure BDA00030284570600001114
其中，L表示1-Lipschitz函数的集合，Pr表示残缺区域的生成特征分布，Pg表示残缺图像对应的原始特征分布，G表示生成器，D表示判别器，D(Xrs)和D(Xrc)分别表示生成特征和原始特征通过判别器D的输出值。
Figure BDA00030284570600001115
和
Figure BDA00030284570600001116
分别表示生成特征分布和原始特征分布的分布距离函数。
为了提高修复模型效果，在粗修复网络中引入环境注意机制，通过分层的环境注意机制对相关环境检索并利用，可以更多的关注背景信息提高修复的效果。为了生成与环境特征匹配的特征，在完整区域中提取与残缺区域的生成特征
Figure BDA00030284570600001117
相关的环境特征
Figure BDA00030284570600001118
并将其整形为卷积滤波器。使用余弦相似度来检测提取的环境特征
Figure BDA0003028457060000121
和残缺区域的生成特征
Figure BDA0003028457060000122
的匹配程度，使用余弦相似度来检测，其原理如下：
Figure BDA0003028457060000123
其中，
Figure BDA0003028457060000124
表示环境特征
Figure BDA0003028457060000125
和残缺区域的生成特征
Figure BDA0003028457060000126
之间相似度，<·>表示向量间的数量积。然后，环境特征
Figure BDA0003028457060000127
和残缺区域的生成特征
Figure BDA0003028457060000128
之间相似度权衡注意权重，即每个像素的注意程度可以表示为
Figure BDA0003028457060000129
其中，softmax1表示环境注意机制的softmax函数，权重α是一个常数，其取值为[0.5，1]。为了保证所构建的局部环境注意机制能够获取注意力一致的背景特征，通过与注意程度
Figure BDA00030284570600001210
最相关的
Figure BDA00030284570600001211
的值先进行左右传播，然后再进行自上而下的传播，最终获得环境特征
Figure BDA00030284570600001212
的相似度
Figure BDA00030284570600001213
其原理如下所示：
Figure BDA00030284570600001214
其中，a∈(0，k2)，k2表示相关环境的个数；将所得具有相似度的局部环境特征记为
Figure BDA00030284570600001215
其中，
Figure BDA00030284570600001216
表示具有相似度的局部环境特征的向量元素，k3表示具有相似度的局部环境特征的向量元素个数。
为了更大的利用背景信息，在完整区域中提取与残缺区域的生成特征Xrc相关的完整区域的环境特征：
X′rg＝frgA(Xrs，Hrs，Wrs) (19)
其中，Hrs表示输入图片的高度，Wrs表示输入图片的宽度。frgA(·)为全局环境特征的提取函数。
通过公式(16)-公式(19)可以得到局部环境注意机制和全局环境注意机制，接下来通过1×1卷积层将这两部分的背景特征信息融合，从而得到分层的环境注意机制。通过分层的环境注意机制得到的背景特征可以表示为：
X′rs-g＝fconv([X′rs：X′rg]) (20)
其中，fconv(·)表示卷积运算，[：]指的是交互运算。分层的环境注意机制在测试中能够更大程度上利用背景信息，在训练中丰富了目标数据。
通过WGAN-GP模型的解码器对残缺区域的生成特征Xrs、深度特征Xrc和背景特征X′rs-g进行解码生成粗修复图像Irou。为了进一步提高图像修复的效果，本发明引入对抗损失，其中，对抗性损失函数DR用于粗修复网络，即：
Figure BDA0003028457060000131
其中，D代表WGAN-GP网络的判别器，Igt表示没有经过掩膜处理的不残缺的原图像，
Figure BDA0003028457060000132
表示对判别器鉴定后的原始数据取平均值的操作，
Figure BDA0003028457060000133
表示对判别器鉴定后的生成数据取平均值的操作。对抗性损失函数DR用于约束模型的训练，从而提高粗修复的结果。
GAN网络修复的原理是通过编码器将图像特征编码成向量，通过解码器将向量变成图像，通过生成器生成缺失区域的信息，通过判别器判断生成信息是否合理。生成器和判别器之间不停的讨价还价，达成一致后生成修复图像。WGAN-GP网络通过距离W(Pr，Pg)对生成器和判别器形成了约束条件，在这个约束条件下修复的又好又快。
步骤四：将步骤三得到的粗修复图像输入到精细修复网络中，通过精细修复网络对粗修复图像进一步细化获得精细修复图像，从而实现残缺图像的修复。
将粗修复图像Irou输入到精细修复网络中，首先通过WGAN-GP修复模型的变分自编码器提取粗修复图像Irou的深度特征，并将其表示Xfc＝{xfc1，xfc2...，xfck4}，其中，
Figure BDA0003028457060000134
表示粗修复图像Irou深度特征的向量元素，k4表示深度特征向量元素的个数。通过WGAN-GP修复模型的生成器依据向量元素
Figure BDA0003028457060000135
生成残缺区域特征表示为
Figure BDA0003028457060000136
其中，
Figure BDA0003028457060000137
表示生成残缺区域特征向量元素，k5表示生成残缺区域特征向量元素的个数。生成器的工作原理与步骤三相同。为了增强修复区域特征之间的语义相关性和特征连续性，本发明提出新的相关特征连贯层，并通过特征相关性对上下语义情景结构进行保留，使其推测出来的残缺部分更加合理，且其推测出来的残缺部分更加合理。相关特征连贯层实现特征之间语义相关和特征连续分为两个阶段：搜索阶段和生成阶段。对于残缺图像的修复区域生成每一个特征xfsa，其中a∈(1，k5)。在残缺图像信息完整的区域中搜索最匹配的特征
Figure BDA0003028457060000138
用于初始化xfsa。然后，将特征
Figure BDA0003028457060000139
作为主要的特征信息，同时参考已经生成的特征xfsa-1，再生成的特征过程中还原特征xfsa，通过下式判断特征之间的相关度：
Figure BDA00030284570600001310
Figure BDA0003028457060000141
其中，Da表示生成特征xfsa和邻近特征xfsa-1之间的相似性，
Figure BDA0003028457060000142
表示最匹配的特征
Figure BDA0003028457060000143
和生成特征xfsa之间的相似性。将相似性
Figure BDA00030284570600001410
和
Figure BDA0003028457060000144
视为生成特征的权重，这样每一个特征都包含着上下文结构和先前特征的信息，因此生成的特征可以表示为：
Figure BDA0003028457060000145
由于特征的生成过程是一个迭代过程，因此生成特征x′fsa与之前生成所有的特征(xfs1～xfsa-1)和最匹配的特征
Figure BDA0003028457060000146
有关，因此得到的每一个特征同时获得了更多的上下文信息，从而获取更加逼真的修复结果。细修复网络利用相关特征连贯层检测粗修复网络修复的效果，并将融合不同好的特征进行融合。
通过精细修复模型的解码器将通过相关特征连贯层生成的残缺区域生成特征
Figure BDA0003028457060000147
和精细修复模型的变分自编码器提取的深度特征Xfc进行解码生成精细修复图像Irou。
过去图像修复常常采用感知损失来提高图像修复网络的是识别能力。由于本发明在精细修复网络中引入了一个新的相关特征连贯层，过去的感知损失方法并不能直接用于优化基于卷积的修复模型，会影响到修复模型的训练和修复的结果。为了解决这一问题，本发明调整了感知损失的形式，并提出了一致性损失的解决方案。本发明在Places2数据库中预训练的修复模型变分自编码器提取待修复图像的深度特征；然后，对于待修复图像缺失任何位置，都将变分自编码器和解码器对应层的特征空间设定为目标，根据这个理论计算出距离Lc，从而得到的一致性损失定义如下式所示：
Figure BDA0003028457060000148
其中，
Figure BDA0003028457060000149
表示精细修复网络中经训练得到的参数。W(·)表示编码器中相关特征连贯层的特征空间，Wd(·)是解码器中相关特征连贯层对应层的特征空间。
为了使粗略修复图像Ir和精细修复图像Im更加接近于真实图像，将Wasserstein-1距离作为判断条件，修复损失函数如下式所示：
Lr＝||Irou-Igt||1+||Ifin-Igt||1 (26)
其中，||Irou-Igt||1表示粗修复网络的损失函数，||Ifin-Igt||1表示细修复网络的损失函数。
为了验证本发明所提出的图像修复模型的性能，在Places2数据集和UnderwaterTarget数据集进行大量的仿真实验。Places2数据集是由麻省理工大学负责维护的场景图像数据集。数据库涉及400多个场景，共包含1千万张照片。该数据集也是图像修复领域广为应用的数据集之一，本发明从Places2数据集中选取大量的建筑和风景照片，用于训练和实验。Underwater Target数据集是实验室团队主要针对水下图像所建立的数据集。在水下图像处理领域的研究中有着重要意义，其中包括鱼雷、潜艇、蛙人、AUV等类别，目前处于进一步建设和完善中。本发明从Underwater Target数据集中选取大量的鱼雷、潜艇、AUV图像进行实验，实验结果如图3所示。本发明的损失函数Lr、PSNR、SSIM值如表1所示。
图3左边为本发明所提修复模型在Place2数据集的实验结果，右边为本发明所提修复模型在Underwater Target数据集实验结果。从实验结果可以得出本发明提出的图像修复方法能有效的修复目标的特征，同时在纹理重建方面也非常合理。如表1所示，本发明的修复模型在Place2和Underwater Target数据集中实验结果的PSNR、SSIM和损失函数Lr值。本发明的修复模型在Place2和Underwater Target数据集的，PSNR值和SSIM值，损失函数Lr的值表1所示。
表1 Place2和Underwater Target数据集各修复结果的SSIM值
Figure BDA0003028457060000151
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种场内外特征融合的残缺图像精细修复方法，其特征在于，其步骤如下：
步骤一：检测残缺图像中存在的目标，利用知识库检索与目标相关的常识性知识，基于RNN的编码器将常识性知识转化为场外特征；
步骤二：提取残缺图像的目标特征信息并进行处理得到场内特征，利用改进的DMN+模型将步骤一得到的场外特征与场内特征进行融合，得到融合特征；
步骤三：将步骤二得到的融合特征输入到带有环境注意机制的粗修复网络，得到粗修复图像；
步骤四：将步骤三得到的粗修复图像输入到精细修复网络中，通过精细修复网络对粗修复图像进一步细化获得精细修复图像，从而实现残缺图像的修复。
2.根据权利要求1所述的场内外特征融合的残缺图像精细修复方法，其特征在于，所述步骤一中场外特征的获取方法为：
根据知识库中的常识性知识，对残缺图像Iin中的目标β判断推理，推测出可能相关的目标{α1,α2,...,αk}；
从知识库中检索与目标αk相关的常识性描述为：
Figure FDA0003028457050000011
其中，{m1,m2,...,mn}是从知识库中检索到的目标αk的常识性描述，n表示每个目标的常识性描述的个数；
将常识性描述{m1,m2,...,mn}编码转换成单词序列{M1,M2,...,Mt}，通过xt＝weMt的映射关系将常识性描述中的每一个单词映射到一个连续的向量空间中；其中，xt表示目标αk的第t个单词的映射向量，we为映射权重；
通过基于RNN的编码器将映射向量xt进行编码：
Figure FDA0003028457050000012
其中，Tt-1表示编码器的隐藏状态，RNNfast()表示基于RNN的编码器的编码函数，
Figure FDA0003028457050000013
表示第t个单词的映射向量通过基于RNN的编码器所得的特征向量；
将通过基于RNN的编码器得到的特征向量
Figure FDA0003028457050000014
定义为场外特征XE，即
Figure FDA0003028457050000015
3.根据权利要求2所述的场内外特征融合的残缺图像精细修复方法，其特征在于，所述目标β是通过YOLOv3目标识别模型检测残缺图像Iin得到的。
4.根据权利要求1或2所述的场内外特征融合的残缺图像精细修复方法，其特征在于，所述场内特征的提取方法为：
将信息残缺图像Iin输入到改进的DMN+模型中，改进的DMN+模型的第一层提取目标特征信息
Figure FDA0003028457050000021
目标特征信息
Figure FDA0003028457050000022
作为改进的DMN+模型的第二层输入，改进的DMN+模型的第三层及以上的层的输入
Figure FDA0003028457050000023
为目标特征信息
Figure FDA0003028457050000024
和前一层输出
Figure FDA0003028457050000025
的总和：
Figure FDA0003028457050000026
其中，i＝2,……,ni，ni为改进的DMN+模型的层数；
则场内特征为：
Figure FDA0003028457050000027
其中，W1和b1表示映射参数；tanh()为映射函数。
5.根据权利要求4所述的场内外特征融合的残缺图像精细修复方法，其特征在于，所述改进的DMN+模型对目标特征信息进行学习，并将提取的特征之间进行信息交互，获取更多的与目标特征信息相关的场外特征；所述改进的DMN+模型将场外特征与场内特征进行融合的方法为：
Figure FDA0003028457050000028
ft＝softmax(W3tanh(W2zt+b2)+b3)，
gt＝AGRU(XE,ft)；
其中，γt-1表示第t-1个场外特征与图像特征在改进的DMN+模型的记忆模块中交互运算后输出的情景记忆状态，zt表示相关的场外特征XE、情景记忆状态γt-1和场内特征X之间的交互运算后的向量，
Figure FDA00030284570500000212
表示向量相乘的运算符号，|·|表示元素的绝对值，[:]表示是多个元素交互运算；ft表示全连接层的输出，W2、W3、b2和b3均表示学习参数，softmax(·)表示输出激活函数，AGRU(·)表示改进的DMN+模型的注意机制循环模块的函数；gt表示第t个场外特征被检测后门循环模块的状态，且：gt＝ftGRU(XE,gt-1)+(1-ft-1)gt-1；
通过注意力机制利用当前的状态和改机的DMN+模型的情景记忆状态更新储存器的记忆状态为：γt＝ReLU(W4[γt-1:gt:X]+d4)；其中，γt表示更新后的情景记忆状态，ReLU()为整流线性激活函数，W4和d4均表示学习参数；
通过改进的DMN+模型提取的场外特征为：
Figure FDA0003028457050000029
Xr＝[X,XE]；
其中，
Figure FDA00030284570500000210
表示改进的DMN+模型最后一层输出的具有场外知识弥补的图像信息，W5和d5均表示学习参数；XE表示具有相关性的场外特征，Xr表示融合后的特征；
最后将
Figure FDA00030284570500000211
输入到改进的DMN+模型的输出层，得到经场外知识优化的残缺图像Iopt。
6.根据权利要求1、2或5所述的场内外特征融合的残缺图像精细修复方法，其特征在于，所述粗修复网络是基于对抗性神经网络策略的WGAN-GP修复模型，WGAN-GP修复模型利用Wasserstein-1距离构成惩罚梯度函数对生成器形成约束为：
Figure FDA0003028457050000031
其中，
Figure FDA0003028457050000032
表示从生成特征分布Pr和原始特征分布Pg采样点之间的直线上采样的特征，
Figure FDA0003028457050000033
表示特征
Figure FDA0003028457050000034
通过判别器D的输出值，
Figure FDA0003028457050000035
表示1-Lipschithz函数约束下的采样样本，
Figure FDA0003028457050000036
表示特征
Figure FDA0003028457050000037
的分布距离函数，||·||2表示所有矩阵列向量绝对值之和的最大值；S表示掩膜矩阵，λ表示惩罚函数的权重；
Wasserstein-1距离为：
Figure FDA0003028457050000038
其中，Pr表示残缺区域的生成特征Xrs的分布，Pg表示残缺图像对应的原始特征Xrc的分布，П(Pr,Pg)表示生成特征分布Pr和原始特征分布Pg采样点分布的边际，E[·]为分布特征之间距离函数，inf表示取下限函数，W(Pr,Pg)表示生成特征分布和原始特征分布的距离；
所述WGAN-GP修复模型利用梯度惩罚约束条件训练和优化原始的WGAN-GP网络的生成器，即：
Wasserstein-1距离W(Pr,Pg)通过比较生成数据分布和原始数据分布，目标函数为：
Figure FDA0003028457050000039
其中，L表示1-Lipschitz函数的集合，Pr表示残缺区域的生成特征分布，Pg表示残缺图像对应的原始特征分布，G表示生成器，D表示判别器，D(Xrs)和D(Xrc)分别表示生成特征和原始特征通过判别器D的输出值；
Figure FDA00030284570500000310
和
Figure FDA00030284570500000311
分别表示生成特征分布和原始特征分布的分布距离函数。
7.根据权利要求5所述的场内外特征融合的残缺图像精细修复方法，其特征在于，所述粗修复网络的WGAN-GP修复模型的变分自编码器提取具有场外知识弥补的残缺图像信息
Figure FDA00030284570500000312
的深度特征得到原始特征为
Figure FDA00030284570500000313
WGAN-GP修复模型的生成器依据向量元素
Figure FDA00030284570500000314
生成残缺区域特征得到生成特征为
Figure FDA00030284570500000315
其中，
Figure FDA00030284570500000316
表示具有场外知识弥补的图像信息
Figure FDA00030284570500000317
的深度特征的向量元素，k1表示深度特征向量元素的个数其中，
Figure FDA00030284570500000318
表示生成残缺区域特征的向量元素，k2表示生成残缺区域特征向量元素的个数；
在经场外知识优化的残缺图像Iopt的完整区域中提取与残缺区域的生成特征
Figure FDA0003028457050000041
相关的环境特征
Figure FDA0003028457050000042
并整形为卷积滤波器，使用余弦相似度检测提取的环境特征
Figure FDA0003028457050000043
和残缺区域的生成特征
Figure FDA0003028457050000044
的匹配程度，即：
Figure FDA0003028457050000045
其中，
Figure FDA0003028457050000046
表示环境特征
Figure FDA0003028457050000047
和残缺区域的生成特征
Figure FDA0003028457050000048
之间相似度，＜·＞表示向量间的数量积；
环境特征
Figure FDA0003028457050000049
和残缺区域的生成特征
Figure FDA00030284570500000410
之间相似度权衡注意权重，即每个像素的注意程度为
Figure FDA00030284570500000411
其中，softmax1表示环境注意机制的softmax函数，权重α是一个常数；
通过与注意程度
Figure FDA00030284570500000412
最相关的
Figure FDA00030284570500000413
的值先进行左右传播、再进行自上而下的传播，最终获得环境特征
Figure FDA00030284570500000414
的相似度
Figure FDA00030284570500000415
为：
Figure FDA00030284570500000416
其中，a∈(0,k2)，k2表示相关环境的个数；
得到具有相似度的局部环境特征为
Figure FDA00030284570500000417
其中，
Figure FDA00030284570500000418
表示具有相似度的局部环境特征的向量元素，k3表示具有相似度的局部环境特征的向量元素个数；
在完整区域中提取与原始特征Xrc相关的完整区域的环境特征：
X′rg＝frgA(Xrs,Hrs,Wrs)；
其中，Hrs表示输入图像的高度，Wrs表示输入图片的宽度，frgA(·)为全局环境特征的提取函数；
通过1×1卷积层将这局部环境注意机制和全局环境注意机制的背景特征信息进行融合，得到分层的环境注意机制，通过分层的环境注意机制得到的背景特征为：
X′rs-g＝fconv([X′rs:X′rg])；
其中，fconv(·)表示卷积运算，[:]是交互运算；
WGAN-GP模型的解码器对残缺区域的生成特征Xrs、原始特征Xrc和背景特征X′rs-g进行解码生成粗修复图像Irou。
8.根据权利要求1、2、5或7所述的场内外特征融合的残缺图像精细修复方法，其特征在于，所述精细修复网络增加了相关特征连贯层的WGAN-GP修复模型，并通过特征相关性对上下语义情景结构进行保留。
9.根据权利要求8所述的场内外特征融合的残缺图像精细修复方法，其特征在于，所述精细修复网络的WGAN-GP修复模型的变分自编码器提取粗修复图像Irou的深度特征为Xfc＝{xfc1,xfc2...,xfck4}，其中，
Figure FDA0003028457050000051
表示粗修复图像Irou深度特征的向量元素，k4表示深度特征向量元素的个数；WGAN-GP修复模型的生成器依据向量元素
Figure FDA0003028457050000052
生成残缺区域特征为
Figure FDA0003028457050000053
其中，
Figure FDA0003028457050000054
表示生成残缺区域特征向量元素，k5表示生成残缺区域特征向量元素的个数；
在残缺图像信息完整区域中搜索最匹配的特征
Figure FDA0003028457050000055
用于初始化xfsa；然后，将特征
Figure FDA0003028457050000056
作为主要的特征信息，参考已经生成的特征xfsa-1，在生成的特征过程中还原特征xfsa，判断特征之间的相关度：
Figure FDA0003028457050000057
Figure FDA0003028457050000058
其中，Da表示生成特征xfsa和邻近特征xfsa-1之间的相似性，
Figure FDA0003028457050000059
表示最匹配的特征
Figure FDA00030284570500000510
和生成特征xfsa之间的相似性；
将相似性
Figure FDA00030284570500000511
和
Figure FDA00030284570500000512
视为生成特征的权重，生成的特征表示为：
Figure FDA00030284570500000513
通过精细修复网络的解码器将通过相关特征连贯层生成的残缺区域生成特征
Figure FDA00030284570500000514
和变分自编码器提取的深度特征Xfc进行解码生成精细修复图像Irou。
10.根据权利要求9所述的场内外特征融合的残缺图像精细修复方法，其特征在于，所述改进的DMN+模型的优化损失函数Ld为：Ld＝max(0,W6-So(XE,γt)+SR(XE,X))；
其中，SO(·)表示情景记忆状态γt和场外特征XE之间的匹配度，SR(·)表示场内特征X和场外特征XE之间的匹配度，W6表示权重,一般取值为0～1；
所述WGAN-GP模型的对抗性损失函数DR为：
Figure FDA0003028457050000061
其中，D代表WGAN-GP网络的判别器，Igt表示没有经过掩膜处理的原图像，
Figure FDA0003028457050000062
表示对判别器鉴定后的原始数据取平均值的操作，
Figure FDA0003028457050000063
表示对判别器鉴定后的生成数据取平均值的操作；
所述精细修复网络将变分自编码器和解码器对应层的特征空间设定为目标计算出距离Lc，从而得到一致性损失为：
Figure FDA0003028457050000064
其中，
Figure FDA0003028457050000065
表示精细修复网络中经训练得到的参数，W(·)表示编码器中相关特征连贯层的特征空间，Wd(·)是解码器中相关特征连贯层的对应层特征空间。
CN202110423212.0A 2021-04-20 2021-04-20 一种场内外特征融合的残缺图像精细修复方法 Active CN113129234B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110423212.0A CN113129234B (zh) 2021-04-20 2021-04-20 一种场内外特征融合的残缺图像精细修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110423212.0A CN113129234B (zh) 2021-04-20 2021-04-20 一种场内外特征融合的残缺图像精细修复方法

Publications (2)

Publication Number Publication Date
CN113129234A true CN113129234A (zh) 2021-07-16
CN113129234B CN113129234B (zh) 2022-11-01

Family

ID=76778307

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110423212.0A Active CN113129234B (zh) 2021-04-20 2021-04-20 一种场内外特征融合的残缺图像精细修复方法

Country Status (1)

Country Link
CN (1) CN113129234B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115795081A (zh) * 2023-01-20 2023-03-14 安徽大学 一种基于多通道融合的跨域残缺足迹图像检索系统
CN116051936A (zh) * 2023-03-23 2023-05-02 中国海洋大学 基于时空分离外部注意力的叶绿素浓度有序补全方法
CN116523985A (zh) * 2023-05-06 2023-08-01 兰州交通大学 一种结构和纹理特征引导的双编码器图像修复方法
CN116843572A (zh) * 2023-07-03 2023-10-03 广东开放大学（广东理工职业学院） 一种基于坐标的图像修复方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108920587A (zh) * 2018-06-26 2018-11-30 清华大学 融合外部知识的开放域视觉问答方法及装置
US20190355102A1 (en) * 2018-05-15 2019-11-21 Adobe Inc. Digital Image Completion by Learning Generation and Patch Matching Jointly
CN112184582A (zh) * 2020-09-28 2021-01-05 中科人工智能创新技术研究院(青岛)有限公司 一种基于注意力机制的图像补全方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190355102A1 (en) * 2018-05-15 2019-11-21 Adobe Inc. Digital Image Completion by Learning Generation and Patch Matching Jointly
CN108920587A (zh) * 2018-06-26 2018-11-30 清华大学 融合外部知识的开放域视觉问答方法及装置
CN112184582A (zh) * 2020-09-28 2021-01-05 中科人工智能创新技术研究院(青岛)有限公司 一种基于注意力机制的图像补全方法及装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HONGYU LIU ET AL.: "Coherent semantic attention for image inpainting", 《2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 *
JIUXIANG GU ET AL.: "Scene graph generation with external knowledge and image reconstruction", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
TAO XU ET AL.: "Underwater Target Detection Method Based on Third Party Information Transfer Learning", 《2020 5TH INTERNATIONAL CONFERENCE ON ADVANCED ROBOTICS AND MECHATRONICS (ICARM)》 *
刘建伟 等: "生成对抗网络在各领域应用研究进展", 《自动化学报》 *
邵杭 等: "基于并行对抗与多条件融合的生成式高分辨率图像修复", 《模式识别与人工智能》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115795081A (zh) * 2023-01-20 2023-03-14 安徽大学 一种基于多通道融合的跨域残缺足迹图像检索系统
CN116051936A (zh) * 2023-03-23 2023-05-02 中国海洋大学 基于时空分离外部注意力的叶绿素浓度有序补全方法
CN116051936B (zh) * 2023-03-23 2023-06-20 中国海洋大学 基于时空分离外部注意力的叶绿素浓度有序补全方法
CN116523985A (zh) * 2023-05-06 2023-08-01 兰州交通大学 一种结构和纹理特征引导的双编码器图像修复方法
CN116523985B (zh) * 2023-05-06 2024-01-02 兰州交通大学 一种结构和纹理特征引导的双编码器图像修复方法
CN116843572A (zh) * 2023-07-03 2023-10-03 广东开放大学（广东理工职业学院） 一种基于坐标的图像修复方法
CN116843572B (zh) * 2023-07-03 2024-04-05 广东开放大学（广东理工职业学院） 一种基于坐标的图像修复方法

Also Published As

Publication number Publication date
CN113129234B (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
CN113129234B (zh) 一种场内外特征融合的残缺图像精细修复方法
CN110516095B (zh) 基于语义迁移的弱监督深度哈希社交图像检索方法和系统
CN107871014A (zh) 一种基于深度融合哈希的大数据跨模态检索方法及系统
CN112949647B (zh) 三维场景描述方法、装置、电子设备和存储介质
CN113298815A (zh) 一种半监督遥感图像语义分割方法、装置和计算机设备
CN111444367A (zh) 一种基于全局与局部注意力机制的图像标题生成方法
CN114022372B (zh) 一种引入语义损失上下文编码器的掩膜图像修补方法
CN113066089B (zh) 一种基于注意力引导机制的实时图像语义分割方法
CN113298816A (zh) 一种遥感图像语义分割方法、装置和计算机设备
CN110347853B (zh) 一种基于循环神经网络的图像哈希码生成方法
CN114758152A (zh) 一种基于注意力机制和邻域一致性的特征匹配方法
CN114463492A (zh) 一种基于深度学习的自适应通道注意力三维重建方法
CN114611617A (zh) 基于原型网络的深度领域自适应图像分类方法
CN113269848A (zh) 基于注意力机制的遥感图像重构系统
Hughes et al. A semi-supervised approach to SAR-optical image matching
CN116596966A (zh) 一种基于注意力和特征融合的分割与跟踪方法
CN115222954A (zh) 弱感知目标检测方法及相关设备
CN112668662B (zh) 基于改进YOLOv3网络的野外山林环境目标检测方法
CN117576149A (zh) 一种基于注意力机制的单目标跟踪方法
CN112035689A (zh) 一种基于视觉转语义网络的零样本图像哈希检索方法
CN104700380B (zh) 基于单照片与画像对的人脸画像合成方法
CN115578574A (zh) 一种基于深度学习和拓扑感知的三维点云补全方法
CN111553371B (zh) 一种基于多特征提取的图像语义描述方法及系统
CN114913546A (zh) 一种人物交互关系检测方法及系统
CN115357712A (zh) 方面级情感分析方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant