CN111667443B - 一种基于上下文融合的丝绸纹样图像修复方法 - Google Patents
一种基于上下文融合的丝绸纹样图像修复方法 Download PDFInfo
- Publication number
- CN111667443B CN111667443B CN202010475564.6A CN202010475564A CN111667443B CN 111667443 B CN111667443 B CN 111667443B CN 202010475564 A CN202010475564 A CN 202010475564A CN 111667443 B CN111667443 B CN 111667443B
- Authority
- CN
- China
- Prior art keywords
- feature
- silk pattern
- pattern image
- discriminator
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 37
- 238000013528 artificial neural network Methods 0.000 claims abstract description 29
- 230000007547 defect Effects 0.000 claims abstract description 18
- 230000008439 repair process Effects 0.000 claims abstract description 13
- 238000010586 diagram Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 10
- 230000002950 deficient Effects 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 2
- 230000000737 periodic effect Effects 0.000 abstract description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 4
- 238000004364 calculation method Methods 0.000 abstract description 3
- 230000005540 biological transmission Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 18
- 230000004913 activation Effects 0.000 description 8
- 239000011800 void material Substances 0.000 description 7
- 230000003042 antagnostic effect Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241000209202 Bromus secalinus Species 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30124—Fabrics; Textile; Paper
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于上下文融合的丝绸纹样图像修复方法。首先，构建丝绸纹样图像数据集。然后，搭建并训练第一阶段生成式对抗卷积神经网络，对含损丝绸纹样图像进行粗修复。接着，利用丝绸纹样图像中的纹样单元具有周期性复现的特点，在特征空间中，通过置信值计算、匹配搜索、加权求和，实现上下文融合。最后，搭建并训练第二阶段生成式对抗卷积神经网络，以上下文融合后的特征图作为输入，精确修复缺损区域。本发明以数字化手段实现丝绸纹样修复，有助于提高丝绸文物修复、保护、存储、检索、展示和传播等环节的自动化程度。
Description
技术领域
本发明涉及一种基于上下文融合的丝绸纹样图像修复方法，属于图像处理技术领域。
背景技术
丝绸是中国古代劳动人民发明并大规模生产的纺织品。丝绸纹样是反映中国古代社会民族心理、哲学观念、审美意识和生活习俗的符号，是研究中国古代社会政治、经济结构、对外交流和文化变迁的载体。然而，丝绸文物历经千年的风蚀雨淋，使得丝绸纹样残缺不全。对残缺的丝绸纹样进行修复是保护丝绸文物的重要一环。
传统方法利用丝绸纹样单元具有周期性复现的特点，通过人工手绘实现修复。这不但要求从业人员具备扎实的专业知识和高超的绘画技艺，而且耗时费力，流程繁琐，效率低下，难以大规模推广。对丝绸文物进行成像，建立图像修复模型，再利用计算机实现求解，是数字化实现丝绸纹样修复的重要途径，具有自动化程度高的优势，有利于大规模应用。
基于扩散的方法利用偏微分方程或变分泛函模型来刻画上下文信息渐进传播的规律。然而，这类方法以图像的分段光滑先验为基本假设，只适用于修复结构简单、纹理同质、形状细长的小范围缺损。基于样本块的方法利用图像的自相似性等先验知识，以块为单位提取特征描述子，并按照某种相似性度量函数在样本库中搜索最佳匹配块，实现对缺损区域的填充。然而，这类方法存在着错误匹配、误差累积等问题，并且不具备语义推导能力，对于大面积缺损的修复效果不佳。近年来，以数据为驱动，以端到端模式进行训练的深度神经网络被广泛应用于识别、定位、分割、追踪、风格迁移等计算机视觉任务，取得了突破性的进展。上下文编码器(Context Encoder)[D.Pathak,
J.Donahue,T.Darrell,A.A.Efros,Context Encoders:Feature Learning by Inpainting,IEEE Conference onComputer Vision and Pattern Recognition(CVPR),2016,2536-2544]是一种基于深度神经网络的图像修复方法，它将缺损像素值回归和低维流形逼近作为训练目标，同时考虑重构损失和对抗损失，成功地克服了修复区域模糊化的问题。然而，该方法忽略了图像的自相似性等先验知识，导致在修复的结果图像中存在着色彩畸变和纹理扭曲。中国专利申请“基于VAE-GAN与相似块搜索的人脸图像修复方法及装置”[专利申请号201910055717.9，公开号CN109903236A]采用上下文编码器的基本网络架构，设计了一种在图像空域考虑边缘相似性的匹配-代换机制，进一步对网络的输出图像进行后处理。然而，该方法所设计的匹配-代换机制忽略了高层次的语义特征，因此仅适用于轮廓和结构相对简单的人脸图像。
发明内容
本发明针对现有技术的缺陷，提供一种基于上下文融合的丝绸纹样图像修复方法。利用丝绸纹样单元具有周期性复现的特点，将深度神经网络方法和样本块搜索方法相结合，从数据驱动和知识驱动两条途径自动挖掘对有用的信息，高质量实现丝绸纹样图像的修复。
为了解决上述技术问题，本发明的技术方案是提供一种基于上下文融合的丝绸纹样图像修复方法，其特征在于，包括以下步骤：
步骤1：构建丝绸纹样图像数据集；采集多幅完好的丝绸纹样图像；运用裁剪和缩放操作对丝绸纹样图像的空间分辨率进行归一化；参照典型的丝绸纹样残缺形状，从完好的丝绸纹样图像中分割出缺损区域，获得含损丝绸纹样图像；记录缺损区域的真实像素值，将其作为驱动深度神经网络训练的标签；
步骤2：含损丝绸纹样图像的第一阶段修复；搭建生成式对抗卷积神经网络，并利用步骤1中所构建的丝绸纹样图像数据集进行训练；所述生成式对抗卷积神经网络由生成器和鉴别器构成；生成器和鉴别器的输入均为图像；生成器和鉴别器的输出分别为图像和特征图；生成器以补全缺损区域内容并欺骗鉴别器为训练目标；鉴别器以判别图像真伪为训练目标；
步骤3：在特征空间中进行上下文融合；将步骤2中所得的第一阶段修复结果图像转换至特征空间；将转换得到的特征图划分成特征块，并计算每个特征块的置信值；对各个含损特征块，按照置信值由高到低的顺序，在上下文特征空间中搜索多个相似的匹配特征块；通过加权求和融合多个匹配特征块，并用融合后的特征块替代原含损特征块；对完成上下文融合的含损特征块，更新其置信值；
步骤4：含损丝绸纹样图像的第二阶段修复；搭建生成式对抗卷积神经网络，并利用步骤1中所构建的丝绸纹样图像数据集进行训练；所述生成式对抗卷积神经网络由生成器和鉴别器构成；生成器和鉴别器的输入均为步骤3中所得的特征图；生成器和鉴别器的输出分别为图像和特征图；生成器以还原缺损区域内容并欺骗鉴别器为训练目标；鉴别器以判别图像真伪为训练目标。
作为优选方案，在所述步骤1中，利用JPEG(Joint Photographic Experts Group,JPEG)压缩、空间几何变换、直方图均衡化等多种图像处理算法对训练集中的丝绸纹样图像进行操作，扩充训练样本的数量。
作为优选方案，在所述步骤2中，生成式对抗卷积神经网络的生成器由多个卷积层、空洞卷积层级联而成；其中，将第l个卷积层与倒数第l个卷积层跨层短接，实现特征图拼接，防止信息丢失。
作为优选方案，在所述步骤2、4中，生成式对抗卷积神经网络的鉴别器由多个卷积层级联而成；鉴别器所输出的特征图中的每个元素表示空域中不同位置局部感受野的真伪判别结果。
作为优选方案，在所述步骤3中，特征提取器由VGG19(Visual Geometry Group19)网络的前若干个卷积层组成，实现图像从空域到特征空间的转换；其中，VGG19网络通过ImageNet数据集预训练，并在特征提取过程中冻结所有VGG19的网络参数。
作为优选方案，在所述步骤3中，根据含损特征块对应局部感受野内完好像素的数量占比确定初始置信值；进一步地，对各个含损特征块，通过加权平均统合其支撑域内邻域特征块的置信值，对初始置信值进行修正；置信值较高的含损特征块优先进行匹配搜索和上下文融合。
作为优选方案，在所述步骤3中，上下文特征空间的搜索范围包括完好特征块以及置信度较高的含损特征块(经第一阶段修复)；利用余弦函数度量特征块之间的相似性；根据相似性，选取多个匹配特征块，并对相似性值进行归一化处理，得到用于匹配特征块融合的权重值；同时，用该组权重值对匹配特征块的置信值进行加权求和，实现置信值的更新。
本发明提供了一种基于上下文融合的两阶段丝绸纹样图像修复方法。通过数据驱动端到端训练的两个生成式对抗卷积神经网络，分别实现前后两个阶段的修复。考虑到丝绸纹样图像中的纹样单元具有周期性复现的特点，本发明在上下文特征空间中搜索含损特征块的匹配块，并通过加权求和实现融合。第一阶段为上下文特征融合提供了基础，第二阶段利用了上下文特征融合的结果，两个阶段相互协作以由粗到精的方式对丝绸纹样图像进行修复。
相比现有技术，本发明提供的一种基于上下文融合的丝绸纹样图像修复方法具有如下有益效果：
1、本发明将深度神经网络方法和样本块搜索方法相结合，在前后两个生成式对抗卷积神经网络之间嵌入上下文融合模块，从数据驱动和知识驱动两条途径自动挖掘对丝绸纹样图像修复有用的信息，从而有效地克服修复结果图像中存在着的色彩畸变问题和纹理扭曲问题，为高质量实现丝绸纹样图像的修复提供保证。
2、本发明充分利用丝绸纹样图像的自相似性(即纹样单元具有周期性复现的特点)，在特征空间中，通过置信值计算、匹配搜索、加权求和，实现上下文融合。上下文融合模块直接利用图像的自相性先验知识对第一阶段的修复结果进行提升和补充，为第二阶段进行的精确修复奠定基础。
3、本发明以数字化手段实现丝绸纹样修复，有助于提高丝绸文物修复、保护、存储、检索、展示和传播等环节的自动化程度。
附图说明
图1为本实施例提供的一种基于上下文融合的丝绸纹样图像修复方法流程图；
图2为第一阶段修复的生成式对抗U型卷积神经网络结构图；
图3为第二阶段修复的生成式对抗卷积神经网络结构图。
具体实施方式
为使本发明更明显易懂，兹以优选实施例，并配合附图作详细说明如下。
实施例
图1为本实施例提供的一种融合上下文的丝绸纹样图像修复方法流程图，具体包括以下步骤：
步骤1：构建丝绸纹样图像数据集。采集1000幅完好的丝绸纹样图像，获得丝绸纹样图像数据集。运用裁剪和缩放(宽高等比例)操作将每幅丝绸纹样图像的空间分辨率归一化为224×224×3。从丝绸纹样图像数据集中随机选取800幅丝绸纹样图像组成训练集，其余200幅丝绸纹样图像组成测试集。运用JPEG压缩(质量因子分别设为95、90、85、80、75、70、65、60、55、50)、旋转(旋转角度分别设为90度、180度、270度)，以及镜像翻转(翻转方向分别设为水平、竖直)操作依次对训练集中的丝绸纹样图像进行处理，将训练样本数量扩充15倍，获得包含800×15＝12000幅丝绸纹样图像的训练集。
参照典型的丝绸纹样残缺形状，构建二值的缺损图样Ω∈{0,1}224×224×1。其中，取值为0的元素表示对应的像素值缺损，取值为1的元素表示对应的像素值完好。计算丝绸纹样图像Ik与缺损图样Ω的哈达玛积，即
其中下标k＝1,2,…,12000表示索引号。将含损图像
与相应的完好图像Ik配对，获得用于驱动深度神经网络训练的缺损区域真实像素值。
步骤2：含损丝绸纹样图像的第一阶段修复。搭建生成式对抗U型卷积神经网络GAN_1，并利用步骤1中所构建的丝绸纹样图像数据集进行训练。所述的生成式对抗U型卷积神经网络GAN_1包括生成器G1和鉴别器D1。生成器G1以缺损像素值回归并欺骗鉴别器D1为训练目标，鉴别器D1以判别图像真伪为训练目标。生成式对抗U型卷积神经网络GAN_1的训练方式为：固定生成器G1的参数，优化鉴别器D1的参数；固定鉴别器D1的参数，优化生成器G1的参数；反复执行上述两个优化步骤，交替训练生成器G1和鉴别器D1，不断提高生成图像的视觉质量。
如图2所示，在本实施例中，生成器G1的输入为含损图像
与缺损图样Ω拼接后的4通道张量。其中，
中的缺损像素值预先设置为
中完好部分的像素值均值。生成器G1输出一幅224×224×3的彩色图像
生成器G1由12个卷积层级联而成。各个卷积层的输出依次经过批归一化(Batch Normalization,BN)处理和ELU函数激活之后，作为下一个卷积层的输入。最后一个卷积层的激活函数为tanh函数。同时，将生成器G1中的第l个卷积层与第12-l个卷积层跨层短接，实现特征图拼接。综上所述，生成器G1中信号的前向传播流程为：
(G1-1)第一个卷积层的输入为一幅224×224×3的含损丝绸纹样图像与对应的224×224×1的缺损图样拼接后的4通道张量；第一个卷积层采用128个7×7×4的卷积核，设置步长为2；第一个卷积层的输出为112×112×128的特征图。
(G1-2)第二个卷积层的输入为(G1-1)中得到的输出特征图；第二个卷积层采用64个5×5×128的卷积核，设置步长为2；第二个卷积层的输出为56×56×64的特征图。
(G1-3)第三个卷积层的输入为(G1-2)中得到的输出特征图；第三个卷积层采用64个3×3×64的卷积核，设置步长为2；第三个卷积层的输出为28×28×64的特征图。
(G1-4)第四个卷积层的输入为(G1-3)中得到的输出特征图；第四个卷积层采用32个3×3×64的卷积核，设置步长为1、空洞率为2；第四个卷积层的输出为28×28×32的特征图。
(G1-5)第五个卷积层的输入为(G1-4)中得到的输出特征图；第五个卷积层采用32个3×3×32的卷积核，设置步长为1、空洞率为3；第五个卷积层的输出为28×28×32的特征图。
(G1-6)第六个卷积层的输入为(G1-5)中得到的输出特征图；第六个卷积层采用16个3×3×32的卷积核，设置步长为1、空洞率为4；第六个卷积层的输出为28×28×16的特征图。
(G1-7)第七个卷积层的输入为(G1-6)中得到的输出特征图；第七个卷积层采用16个3×3×16的卷积核，设置步长为1，得到28×28×16的特征图；将该特征图与(G1-5)中得到的输出特征图拼接；第七个卷积层的输出为28×28×48的特征图。
(G1-8)第八个卷积层的输入为(G1-7)中得到的输出特征图；第八个卷积层采用32个3×3×48的卷积层，设置步长为1，得到28×28×32的特征图；将该特征图与(G1-4)中得到的输出特征图拼接；第八个卷积层的输出为28×28×64的特征图。
(G1-9)第九个卷积层的输入为(G1-8)中得到的输出特征图；第九个卷积层采用32个3×3×64的卷积核，设置步长为1，得到28×28×32的特征图；将该特征图与(G1-3)中得到的输出特征图拼接；第九个卷积层的输出为28×28×96的特征图。
(G1-10)第十个卷积层的输入为(G1-9)中得到的输出特征图；第十个卷积层采用64个3×3×96的卷积核，设置步长为1/2(微步幅)，得到56×56×64的特征图；将该特征图与(G1-2)中得到的输出特征图拼接；第十个卷积层的输出为56×56×128的特征图。
(G1-11)第十一个卷积层的输入为(G1-10)中得到的输出特征图；第十一个卷积层采用64个5×5×128的卷积核，设置步长为1/2(微步幅)，得到112×112×64的特征图；将该特征图与(G1-1)中得到的输出特征图拼接；第十一个卷积层的输出为112×112×192的特征图。
(G1-12)第十二个卷积层的输入为(G1-11)中得到的输出特征图；第十二个卷积层采用3个7×7×192的卷积核，设置步长为1/2(微步幅)，得到224×224×3的输出图像
在本实施例中，将生成器G1的重构损失函数定义为：
式中的上标“(1)”表示“第一阶段”。
如图2所示，在本实施例中，鉴别器D1的输入为图像。鉴别器D1的输出为28×28×1的特征图，其中每个元素表示空域中不同位置局部感受野的真伪判别结果。本实施例借鉴了PatchGAN的思想，将鉴别器D1的对抗损失函数定义为：
其中粗体1表示28×28的全1矩阵。鉴别器D1由5个卷积层级联而成。各个卷积层的输出依次经过批归一化(Batch Normalization,BN)处理和ReLU(Rectified Linear Unit,ReLU)函数激活之后，作为下一个卷积层的输入。最后一个卷积层的激活函数为Sigmoid函数。综上所述，鉴别器D1中信号的前向传播流程为：
(D1-1)第一个卷积层的输入为一幅224×224×3的图像；第一个卷积层采用64个5×5×4的卷积核，设置步长为2；第一个卷积层的输出为112×112×64的特征图。
(D1-2)第二个卷积层的输入为(D1-1)中得到的输出特征图；第二个卷积层采用128个5×5×64的卷积核，设置步长为1；第二个卷积层的输出为112×112×128的特征图。
(D1-3)第三个卷积层的输入为(D1-2)中得到的输出特征图；第三个卷积层采用128个5×5×128的卷积核，设置步长为2；第三个卷积层的输出为56×56×128的特征图。
(D1-4)第四个卷积层的输入为(D1-3)中得到的输出特征图；第四个卷积层采用256个5×5×128的卷积核，设置步长为1；第四个卷积层的输出为56×56×256的特征图。
(D1-5)第五个卷积层的输入为(D1-4)中得到的输出特征图；第五个卷积层采用1个5×5×256的卷积核，设置步长为2；第五个卷积层的输出为28×28×1的特征图。
训练完成后，将生成器G1的输出
和含损图像
按照缺损图样Ω拼合：
得到第一阶段的修复结果图像
步骤3：在修复结果图像
的特征空间中进行上下文融合。本步骤可进一步分为特征提取、置信值计算、匹配搜索，以及上下文融合4个子步骤。
步骤3.1：本实施例将VGG19的前八个卷积层和前两个全局池化层：conv1_1、conv1_2、max_pool1、conv2_1、conv2_2、max_pool2、conv3_1、conv3_2、conv3_3、conv3_4作为特征提取器FvGG19。其中，VGG19网络通过ImageNet数据集预训练，并在特征提取过程中冻结所有VGG19的网络参数。基于VGG19的特征提取器FVGG19将一幅224×224×3的图像
转化为56×56×256的特征图。将该特征图进一步划分成3×3×256的特征块，划分步长为1，得到(56-3+1)2＝2916个特征块。
步骤3.2：对缺损图样Ω进行降采样操作，得到与特征空间维度一致的置信值模板M∈[0,1]56×56×1。其中，取值为0的元素表示对应的局部感受野内包含缺损像素(经第一阶段修复)，取值为1的元素表示对应的局部感受野内均为完好像素。对各含损特征块，计算对应的局部感受野内完好像素的占比，并用计算所得的占比值更新置信值。接着，对各含损特征块，统计上、下、左、右四个邻域特征块的置信值均值，并将当前置信值与邻域置信值均值以1比0.8的比例进行加权平均，再一次更新置信值。
步骤3.3：按照置信值由高到低的顺序，依次将各含损特征块作为匹配对象，利用余弦距离在上下文特征空间中搜索出5个最为相似且置信值大于0.9的匹配特征块。通过匹配搜索，每个含损特征块对应5个匹配特征块。
步骤3.4：对各含损特征张量块，计算与之对应的5个匹配特征块的加权平均，并利用计算所得的均值张量替代原特征块，实现上下文融合。其中，权重值为5个匹配特征块的相似性值归一化处理后的结果；进一步地，用该组权重值对匹配特征块的置信值进行加权求和，实现置信值的更新。
步骤4：含损丝绸纹样图像的第二阶段修复。搭建生成式对抗卷积神经网络GAN_2，并利用步骤1中所构建的丝绸纹样图像数据集进行训练。所述的生成式对抗神经网络GAN_2包括生成器G2和鉴别器D2。生成器G2以缺损像素值回归并欺骗鉴别器D2为训练目标，鉴别器D2以判别VGG19特征图的真伪为训练目标。生成式对抗卷积神经网络GAN_2的训练方式为：固定生成器G2的参数，优化鉴别器D2的参数；固定鉴别器D2的参数，优化生成器G2的参数；反复执行上述优化步骤，交替训练生成器G2和鉴别器D2，不断提高生成图像的视觉质量。
如图3所示，生成器G2的输入为通过步骤3进行上下文融合后的特征图。生成器G2输出一幅224×224×3的彩色图像
生成器G2由10个卷积层级联而成。各个卷积层的输出依次经过批归一化(Batch Normalization,BN)处理和ELU函数激活之后，作为下一个卷积层的输入。最后一个卷积层的激活函数为tanh函数。同时，第一、二、三个卷积层分别与第七、六、五个卷积层跨层短接，实现特征图拼接。综上所述，生成器G2中信号的前向传播流程为：
(G2-1)第一个卷积层的输入为上下文融合后的56×56×256的特征图；第一个卷积层采用64个3×3×256的卷积核，设置步长为2；第一个卷积层的输出为28×28×64的特征图。
(G2-2)第二个卷积层的输入为(G2-1)中得到的输出特征图；第二个卷积层采用32个3×3×64的卷积核，设置步长为1、空洞率为2；第二个卷积层的输出为28×28×32的特征图。
(G2-3)第三个卷积层的输入为(G2-2)中得到的输出特征图；第三个卷积层采用32个3×3×32的卷积核，设置步长为1、空洞率为3；第三个卷积层的输出为28×28×32的特征图。
(G2-4)第四个卷积层的输入为(G2-3)中得到的输出特征图；第四个卷积层采用16个3×3×32的卷积核，设置步长为1、空洞率为4；第四个卷积层的输出为28×28×16的特征图。
(G2-5)第五个卷积层的输入为(G2-4)中得到的输出特征图；第五个卷积层采用16个3×3×16的卷积核，设置步长为1，得到28×28×16的特征图；将该特征图与(G2-3)中得到的输出特征图拼接；第五个卷积层的输出为28×28×48的特征图。
(G2-6)第六个卷积层的输入为(G2-5)中得到的输出特征图；第六个卷积层采用32个3×3×48的卷积层，设置步长为1，得到28×28×32的特征图；将该特征图与(G2-2)中得到的输出特征图拼接；第六个卷积层的输出为28×28×64的特征图。
(G2-7)第七个卷积层的输入为(G2-6)中得到的输出特征图；第七个卷积层采用32个3×3×64的卷积核，设置步长为1，得到28×28×32的特征图；将该特征图与(G2-1)中得到的输出特征图拼接；第七个卷积层的输出为28×28×96的特征图。
(G2-8)第八个卷积层的输入为(G2-7)中得到的输出特征图；第八个卷积层采用64个3×3×96的卷积核，设置步长为1/2(微步幅)，得到56×56×64的特征图。
(G2-9)第九个卷积层的输入为(G2-8)中得到的输出特征图；第九个卷积层采用64个5×5×64的卷积核，设置步长为1/2(微步幅)，得到112×112×64的特征图。
(G2-10)第十个卷积层的输入为(G2-9)中得到的输出特征图；第十个卷积层采用3个7×7×64的卷积核，设置步长为1/2(微步幅)，得到224×224×3的输出图像
在本实施例中，将生成器G2的重构损失函数定义为：
式中的上标“(2)”表示“第二阶段”。
如图3所示，在本实施例中，鉴别器D2的输入为56×56×256的VGG19特征图。鉴别器D2的输出为28×28×1的特征图，其中每个元素表示空域中不同位置局部感受野的真伪判别结果。本实施例将鉴别器D2的对抗损失函数定义为：
鉴别器D2由5个卷积层级联而成。各个卷积层的输出依次经过批归一化(BatchNormalization,BN)处理和ReLU函数激活之后，作为下一个卷积层的输入。最后一个卷积层的激活函数为Sigmoid函数。综上所述，鉴别器D2中信号的前向传播流程为：
(D2-1)第一个卷积层的输入为56×56×256的VGG19特征图；第一个卷积层采用64个5×5×256的卷积核，设置步长为1；第一个卷积层的输出为56×56×64的特征图。
(D2-2)第二个卷积层的输入为(D2-1)中得到的输出特征图；第二个卷积层采用128个5×5×64的卷积核，设置步长为1；第二个卷积层的输出为56×56×128的特征图。
(D2-3)第三个卷积层的输入为(D2-2)中得到的输出特征图；第三个卷积层采用128个5×5×128的卷积核，设置步长为1；第三个卷积层的输出为56×56×128的特征图。
(D2-4)第四个卷积层的输入为(D2-3)中得到的输出特征图；第四个卷积层采用256个5×5×128的卷积核，设置步长为2；第四个卷积层的输出为28×28×256的特征图。
(D2-5)第五个卷积层的输入为(D2-4)中得到的输出特征图；第五个卷积层采用1个5×5×256的卷积核，设置步长为1；第五个卷积层的输出为28×28×1的特征图。
训练完成后，将生成器G2的输出
和含损图像
按照缺损图样Ω拼合：
得到最终的修复结果图像
以上所述，仅为本发明的较佳实施例，并非对本发明任何形式上和实质上的限制。应当指出，对于本技术领域的普通技术人员，在不脱离本发明方法的前提下，还将可以做出若干改进和补充，这些改进和补充也应视为本发明的保护范围。凡熟悉本专业的技术人员，在不脱离本发明的精神和范围的情况下，当可利用以上所揭示的技术内容而做出的些许更动、修饰与演变的等同变化，均为本发明的等效实施例；同时，凡依据本发明的实质技术对上述实施例所作的任何等同变化的更动、修饰与演变，均仍属于本发明的技术方案的范围内。
Claims (4)
1.一种基于上下文融合的丝绸纹样图像修复方法，其特征在于，包括如下步骤：
步骤1：构建丝绸纹样图像数据集；采集多幅完好的丝绸纹样图像；运用裁剪和缩放操作对丝绸纹样图像的空间分辨率进行归一化；参照典型的丝绸纹样残缺形状，从完好的丝绸纹样图像中分割出缺损区域，获得含损丝绸纹样图像；记录缺损区域的真实像素值，将其作为驱动深度神经网络训练的标签；
步骤2：含损丝绸纹样图像的第一阶段修复；搭建生成式对抗卷积神经网络，并利用步骤1中所构建的丝绸纹样图像数据集进行训练；所述生成式对抗卷积神经网络由生成器和鉴别器构成；生成器和鉴别器的输入均为图像；生成器和鉴别器的输出分别为图像和特征图；生成器以补全缺损区域内容并欺骗鉴别器为训练目标；鉴别器以判别图像真伪为训练目标；
步骤3：在特征空间中进行上下文融合；将步骤2中所得的第一阶段修复结果图像转换至特征空间；将转换得到的特征图划分成特征块，并计算每个特征块的置信值；对各个含损特征块，按照置信值由高到低的顺序，在上下文特征空间中搜索多个相似的匹配特征块；通过加权求和融合多个匹配特征块，并用融合后的特征块替代原含损特征块；对完成上下文融合的含损特征块，更新其置信值；
所述步骤3中，特征提取器由VGG19网络的前若干个卷积层组成，实现图像从空域到特征空间的转换；其中，VGG19网络通过ImageNet数据集预训练，并在特征提取过程中冻结所有VGG19的网络参数；
所述步骤3中，根据含损特征块对应局部感受野内完好像素的数量占比确定初始置信值；进一步地，对各个含损特征块，通过加权平均统合其支撑域内邻域特征块的置信值，对初始置信值进行修正；置信值较高的含损特征块优先进行匹配搜索和上下文融合；
所述步骤3中，上下文特征空间的搜索范围包括完好特征块以及置信度较高的含损特征块；利用余弦函数度量特征块之间的相似性；根据相似性，选取多个匹配特征块，并对相似性值进行归一化处理，得到用于匹配特征块融合的权重值；同时，用该组权重值对匹配特征块的置信值进行加权求和，实现置信值的更新；
步骤4：含损丝绸纹样图像的第二阶段修复；搭建生成式对抗卷积神经网络，并利用步骤1中所构建的丝绸纹样图像数据集进行训练；所述生成式对抗卷积神经网络由生成器和鉴别器构成；生成器和鉴别器的输入均为步骤3中所得的特征图；生成器和鉴别器的输出分别为图像和特征图；生成器以还原缺损区域内容并欺骗鉴别器为训练目标；鉴别器以判别图像真伪为训练目标。
2.如权利要求1所述的一种基于上下文融合的丝绸纹样图像修复方法，其特征在于：在所述步骤1中，利用JPEG压缩、空间几何变换、直方图均衡化图像处理算法对训练集中的丝绸纹样图像进行操作，扩充训练样本的数量。
3.如权利要求1所述的一种基于上下文融合的丝绸纹样图像修复方法，其特征在于：在所述步骤2中，生成式对抗卷积神经网络的生成器由多个卷积层、空洞卷积层级联而成；其中，将第l个卷积层与倒数第l个卷积层跨层短接，实现特征图拼接，防止信息丢失。
4.如权利要求1所述的一种基于上下文融合的丝绸纹样图像修复方法，其特征在于：在所述步骤2、4中，生成式对抗卷积神经网络的鉴别器由多个卷积层级联而成；鉴别器所输出的特征图中的每个元素表示空域中不同位置局部感受野的真伪判别结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010475564.6A CN111667443B (zh) | 2020-05-29 | 2020-05-29 | 一种基于上下文融合的丝绸纹样图像修复方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010475564.6A CN111667443B (zh) | 2020-05-29 | 2020-05-29 | 一种基于上下文融合的丝绸纹样图像修复方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111667443A CN111667443A (zh) | 2020-09-15 |
| CN111667443B true CN111667443B (zh) | 2021-10-12 |
Family
ID=72385267
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010475564.6A Active CN111667443B (zh) | 2020-05-29 | 2020-05-29 | 一种基于上下文融合的丝绸纹样图像修复方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111667443B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113641910B (zh) * | 2021-08-19 | 2023-09-29 | 武汉东湖学院 | 一种古瓷碎片修复再利用文化传播系统及方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109377448A (zh) * | 2018-05-20 | 2019-02-22 | 北京工业大学 | 一种基于生成对抗网络的人脸图像修复方法 |
| CN109801230A (zh) * | 2018-12-21 | 2019-05-24 | 河海大学 | 一种基于新编码器结构的图像修复方法 |
| CN109903236A (zh) * | 2019-01-21 | 2019-06-18 | 南京邮电大学 | 基于vae-gan与相似块搜索的人脸图像修复方法及装置 |
| CN110020996A (zh) * | 2019-03-18 | 2019-07-16 | 浙江传媒学院 | 一种基于先验知识约束的图像修复方法、系统以及计算机设备 |
| CN110599411A (zh) * | 2019-08-08 | 2019-12-20 | 中国地质大学（武汉） | 一种基于条件生成对抗网络的图像修复方法及系统 |
| CN110765339A (zh) * | 2019-11-14 | 2020-02-07 | 南宁师范大学 | 一种基于生成对抗网络的残缺中文书法修复补全方法 |
-
2020
- 2020-05-29 CN CN202010475564.6A patent/CN111667443B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109377448A (zh) * | 2018-05-20 | 2019-02-22 | 北京工业大学 | 一种基于生成对抗网络的人脸图像修复方法 |
| CN109801230A (zh) * | 2018-12-21 | 2019-05-24 | 河海大学 | 一种基于新编码器结构的图像修复方法 |
| CN109903236A (zh) * | 2019-01-21 | 2019-06-18 | 南京邮电大学 | 基于vae-gan与相似块搜索的人脸图像修复方法及装置 |
| CN110020996A (zh) * | 2019-03-18 | 2019-07-16 | 浙江传媒学院 | 一种基于先验知识约束的图像修复方法、系统以及计算机设备 |
| CN110599411A (zh) * | 2019-08-08 | 2019-12-20 | 中国地质大学（武汉） | 一种基于条件生成对抗网络的图像修复方法及系统 |
| CN110765339A (zh) * | 2019-11-14 | 2020-02-07 | 南宁师范大学 | 一种基于生成对抗网络的残缺中文书法修复补全方法 |
Non-Patent Citations (2)
| Title |
|---|
| 一种基于生成对抗网络的图像修复算法;李天成等;《计算机应用与软件》;20191231;第36卷(第12期);195-200、267 * |
| 基于条件生成对抗网络的模糊图像修复的研究;樊晶华;《中国优秀硕士学位论文全文数据库（信息科技辑）》;20200315;第2020年卷(第3期);I138-1177 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111667443A (zh) | 2020-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113362223B (zh) | 基于注意力机制和双通道网络的图像超分辨率重建方法 | |
| CN109033998B (zh) | 基于注意力机制卷积神经网络的遥感影像地物标注方法 | |
| CN111062892B (zh) | 一种基于复合残差网络和深层监督的单幅图像去雨方法 | |
| CN113052210B (zh) | 一种基于卷积神经网络的快速低光照目标检测方法 | |
| CN113240613A (zh) | 一种基于边缘信息重建的图像修复方法 | |
| CN111062329B (zh) | 基于增广网络的无监督行人重识别方法 | |
| CN111640116B (zh) | 基于深层卷积残差网络的航拍图建筑物分割方法及装置 | |
| CN113743269A (zh) | 一种轻量化识别视频人体姿态的方法 | |
| CN113269224A (zh) | 一种场景图像分类方法、系统及存储介质 | |
| CN114463492A (zh) | 一种基于深度学习的自适应通道注意力三维重建方法 | |
| CN114565628B (zh) | 一种基于边界感知注意的图像分割方法及系统 | |
| CN114463340B (zh) | 一种边缘信息引导的敏捷型遥感图像语义分割方法 | |
| CN113486894A (zh) | 一种卫星图像特征部件语义分割方法 | |
| CN111667443B (zh) | 一种基于上下文融合的丝绸纹样图像修复方法 | |
| CN116486074A (zh) | 一种基于局部和全局上下文信息编码的医学图像分割方法 | |
| CN114998688A (zh) | 一种基于YOLOv4改进算法的大视场目标检测方法 | |
| CN113256538B (zh) | 一种基于深度学习的无监督去雨方法 | |
| CN113626917A (zh) | 基于全景技术和bim模型的构件工程量算量方法及系统 | |
| CN113066074A (zh) | 一种基于双目视差偏移融合的视觉显著性预测方法 | |
| CN116994164A (zh) | 一种多模态航拍图像融合与目标检测联合学习方法 | |
| CN116416161A (zh) | 一种改进生成对抗网络的图像修复方法 | |
| CN116188778A (zh) | 一种基于超分辨的双边语义分割方法 | |
| CN115966004A (zh) | 基于注意力指导轻量级网络的人脸关键点检测方法 | |
| CN115660979A (zh) | 一种基于注意力机制的双判别器图像修复方法 | |
| CN113223006B (zh) | 一种基于深度学习的轻量级目标语义分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |