CN115131234B - 一种基于两阶段神经网络的数字壁画修复方法 - Google Patents
一种基于两阶段神经网络的数字壁画修复方法 Download PDFInfo
- Publication number
- CN115131234B CN115131234B CN202210675973.XA CN202210675973A CN115131234B CN 115131234 B CN115131234 B CN 115131234B CN 202210675973 A CN202210675973 A CN 202210675973A CN 115131234 B CN115131234 B CN 115131234B
- Authority
- CN
- China
- Prior art keywords
- gray level
- image
- module
- color
- level image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000008439 repair process Effects 0.000 title claims abstract description 24
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 14
- 230000004927 fusion Effects 0.000 claims abstract description 19
- 238000011084 recovery Methods 0.000 claims abstract description 19
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 5
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 230000000750 progressive effect Effects 0.000 claims description 3
- 238000007670 refining Methods 0.000 claims 1
- 238000012549 training Methods 0.000 abstract description 17
- 238000010422 painting Methods 0.000 abstract description 7
- 239000003086 colorant Substances 0.000 abstract description 2
- 238000003062 neural network model Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 11
- 238000013135 deep learning Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 238000013526 transfer learning Methods 0.000 description 3
- 238000009933 burial Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007430 reference method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于两阶段神经网络的数字壁画修复方法，采用灰度图重建模块和色彩恢复模块两阶段神经网络模型，其中灰度图重建模块由区域识别模块、特征推理模块、特征融合模块组成，色彩恢复模块由三个结构相同、尺寸不同的残差网络组成。该方法将常规的单阶段图像恢复网络拆分成灰度图重建和颜色填充两个阶段，宏观上降低了图像修复模型的训练难度。第一阶段使用灰度图重建模块通过循环特征推理的方式恢复出单通道的灰度图，第二阶段使用色彩恢复模块运用图像有效区域的彩色颜色特征对无效区域的灰度图进行由粗糙到细致的颜色填充，更大限度的避免了图像颜色失真的现象。对大面积受损壁画，能够获得结构清晰、颜色逼真的修复图像。
Description
技术领域
本发明属于图像处理、计算机视觉技术领域，具体涉及一种基于两阶段神经网络的数字壁画修复方法。
背景技术
壁画的数字化保护是一种新兴的高效率、低风险的文物保护方法。通过扫描、拍摄等方式将壁画转化为数字信息进行保存。将这些壁画图像通过人工智能技术进行修复，可以多次调整得到最终的满意结果，最大程度的保持了文物本体的原始样貌。
深度学习可以获取更高层次的语义信息。因此与传统方法相比，基于深度学习的图像修复方法得到的输出图像内容更加合理。当图像内容丰富、图案复杂时，使用深度学习进行图像修复更加具有优势。当前基于深度学习的图像修复模型普遍使用编码器-解码器结构。编码器起到提取信息、获取特征的作用。解码器利用这些图像特征推理出完整图像。
近年来，图像修复工作者们大多使用自编码网络中的编码器-解码器结构来完成图像修复修复任务。此过程中编码器捕捉图像缺失区域周围的有效信息并进行编码，解码器利用这些图像特征推理出完整图像。同时通过引入注意力机制的方法在特征空间中寻找与缺失区域最相似的特征来提高图像修复的完整度与细腻度。但这种方法存在以下缺陷：
(1)当图像缺失孔洞过大时，深度学习网络很难直接从图像已知区域提取出未知区域中心的信息。
(2)现有的基于编码器-解码器结构的图像修复模型，普遍会出现一定程度的颜色泄漏的现象，即修复后图像的某些区域会因受到图像其他区域的影响而出现较明显的颜色失真。
发明内容
针对现有技术中存在的大尺寸壁画修复困难问题和颜色恢复失真的技术问题，本发明的目的在于，提供一种基于两阶段神经网络的数字壁画修复方法。
为了实现上述任务，本发明采取如下的技术解决方案：
一种基于两阶段神经网络的数字壁画修复方法，其特征在于，采用主体由灰度图重建模块和色彩恢复模块构成的两阶段网络模型，其中，灰度图重建模块由三个子模块构成，分别是依次连接的区域识别模块、特征推理模块、特征融合模块；色彩恢复模块由三个结构相同、尺寸不同的残差网络(ResNet)组成；
对数字壁画修复包含以下两阶段：
第一阶段：重建灰度图
使用灰度图重建模块对破损图片的灰度图进行重建。灰度图重建模块通过由外向内逐层递进的方式恢复图像的灰度信息，它将破损图像及破损图像的灰度图作为输入，输出完整的灰度图像。灰度图重建模块包含区域识别、特征推理和特征融合三个子模块，并且运用了循环推理的方法。每次迭代修复一个破损外围环形区域。经过多次迭代完成对图像的完全修复。其中，区域标识模块对破损区域边缘的一个环形区域进行标识，这个环形区域会作为本次迭代的特征推理区域，特征推理模块对此环形区域的信息进行推理，在完成环形区域的特征推理之后，破损区域会向内收缩变小，在此基础上进行下一次的区域识别和特征推理。经过多次迭代即可完成对整个破损区域灰度图的修复。最后将每次循环得到的输出级联后送入特征融合模块，进一步提升灰度图重建的质量。
第二阶段：恢复色彩
在第一阶段获得灰度图后，将灰度图作为输入送入色彩恢复模块；该色彩恢复模块的任务是通过使用图像有效区域的颜色特征对破损区域的灰度图进行颜色填充；
根据本发明，所述色彩恢复模块的每个残差网络的输入的图像尺寸是其前一个残差网络输入尺寸的2倍，通过这样的结构顺序来完成由粗糙到细致的颜色填充。
本发明的基于两阶段神经网络的数字壁画修复方法，将常规的单阶段图像恢复网络拆分成灰度图重建和颜色填充两个阶段，宏观上降低了图像修复模型的训练难度。第一阶段通过循环特征推理网络恢复出单通道的灰度图比直接恢复三通道的彩色图像更加容易。此阶段结构和纹理的准确的恢复是后续能够用修复出逼真图像的保证。第二阶段运用图像有效区域的颜色特征对无效区域的灰度图进行由粗糙到细致的颜色填充，可以有效的避免图像颜色失真的现象。对大面积受损壁画，能够获得结构清晰、颜色逼真的修复图像，通常超过现有主流基准方法。
附图说明
图1是本发明方法采用的两阶段神经网络结构示意图；
图2是残差网络(ResNet)结构示意图；
图3是掩膜示例；
图4是真实破损墓葬壁画修复效果对比。
以下结合附图和实施例对本发明作进一步地详细说明。
具体实施方式
需要说明的是，在以下的实施例中所涉及的英文定义如下：
古代壁画：Ancient murals，图像修复：Image inpainting，深度学习：Deeplearning，神经网络：Neural networks。
ResNet：Residual Neural Network残差网络。
参见图1至图3，本实施例给出一种基于两阶段神经网络的数字壁画修复方法，两阶段网络模型主体由灰度图重建模块和色彩恢复模块两部分构成；其中，灰度图重建模块由三个子模块构成，分别是依次连接的区域识别模块、特征推理模块、特征融合模块(图1)；色彩恢复模块由三个结构相同、尺寸不同的残差网络(ResNet)组成(图2)。
对数字壁画修复包含以下两阶段：
第一阶段：重建灰度图
在开始修复之前，需要准备与破损壁画图像对应的掩膜(图3)。掩膜的尺寸与被修复图像的尺寸相同。掩膜可以反映出受损图像的受损区域。掩膜中黑色区域的值为0，表示图像中的破损区域，即无效区域。掩膜中白区域的值为1，表示图像中的未受损区域，即有效区域。将掩膜与破损图像逐像素相乘，使原图中无效区域全部变为0，而有效区域像素值不变。将通过上述预处理后的图像将作为实际的网络的输入。
使用灰度图重建模块对破损图片的灰度图进行重建。灰度图重建模块通过由外向内逐层递进的方式恢复图像的灰度信息，它将破损图像及破损图像的灰度图作为输入，输出完整的灰度图像。灰度图重建模块包含区域识别、特征推理和特征融合三个子模块，并且运用了循环推理的方法。每次迭代修复一个破损外围环形区域。经过多次迭代完成对图像的完全修复。其中，区域标识模块对破损区域边缘的一个环形区域进行标识，这个环形区域会作为本次迭代的特征推理区域，特征推理模块对此环形区域的信息进行推理，在完成环形区域的特征推理之后，破损区域会向内收缩变小，在此基础上进行下一次的区域识别和特征推理。经过多次迭代即可完成对整个破损区域灰度图的修复。最后将每次循环得到的输出级联后送入特征融合模块，进一步提升灰度图重建的质量。
灰度图重建模块包含区域识别、特征推理和特征融合三个子模块，其中，区域识别模块由4个部分卷积层组成，使用区域识别模块对每次迭代中需要推理的区域进行识别，部分卷积层可以更新掩膜并在图像有效区域上进行特征图的卷积操作；掩膜经过区域识别模块会被更新，更新前后掩膜发生变化的环形区域即是本次迭代中进行特征推理的区域，而被环形内圈包围的中心区域在本次循环中不会发生改变。令F*表示部分卷积层输出的特征图，表示F*的第z个通道中坐标为(x,y)位置上的特征值。则/>可以表示为：
式中，Wz是第z个卷积核的权重，fx,和mx,分别是中心在(x,y)并且与卷积核大小相同的输入特征块和输入掩膜块。
更新后的掩膜M*在位置(x,y)处的数值可以表示为：
在区域识别模块将本次迭代需要推理的区域确定后，特征推理模块将会对此区域的信息进行推理；
使用一个编码器-解码器结构的网络作为特征推理模块。
在编解码器中间的瓶颈处加入一个注意力层，用于根据特征值判断图像中的相似区域，利用图像中相似的特征进行信息互补，达到有效区域纹理细化修复区域；
本实施例中，所述注意力层有效区域纹理细化修复区域的方法包含：
首先测出特征图中不同区域的相似度：
其中，表示第i次循环的特征图中坐标为(x,y)和(x′,y′)两个像素的相似性。
接下来将这个相似度数值在一个正方形邻域内进行平均：
接下来使用softmax函数将相似度归一化为注意力评分
由于特征图每经过一次循环都要经过注意力层，所以为了获得最终的注意力评分，需要将历次循环中的注意力层产生的注意力评分综合考虑，即：
在计算第i次循环中的注意力评分时，需要考虑到第i-1次循环中的注意力评分，当一个像素点在第i-1次循环和第i次循环中都位于有效区域时，即掩膜值为1时，通过加权求和的方式得到第i次循环后的注意力评分：
当一个像素点在第i-1次循环中不在有效区域时(掩膜值为0)，就不用考虑之前的注意力得分对第i次循环的影响：
最后以注意力评分为权重重构特征图；此时，在(x,y)处的特征值可以表示为：
在得到重构后的特征图后，将原特征图F和/>串联起来作为后面卷积层的输入；
本实施例中，将历次迭代的输出结果串联后送入特征融合模块进行融合。特征融合模块由1个均值融合层和4个卷积层构成。通过融合历次迭代的输出特征，能够获得更加准确清晰的修复效果。特征融合模块的第一层是均值融合层，令Fi为第i次迭代输出的特征图，为Fi上位置为(x,y,z)的特征值，Mi为第i次迭代输出的与Fi相对应的掩膜，/>为Mi上位置为(x,y,z)的掩膜值。则经过均值融合层得到的特征图/>中的特征值可以表示为：
其中，N为需要融合的特征图的数量，同时也是循环的次数。
特征融合模块最终输出修复好的完整灰度图。
第二阶段：恢复色彩
在第一个阶段获得灰度图后，将灰度图和原始破损图片作为输入送入第二阶段的色彩恢复模块。该模块的任务是通过使用图像有效区域的颜色特征对破损区域的灰度图进行颜色填充。色彩恢复模块由多个级联的ResNet网络构成。每个ResNet网络的输入的图像尺寸是其前一个ResNet网络输入尺寸的2倍。通过这样的结构顺序来完成由又粗糙到细致的颜色填充。
具体的实现步骤是：
首先将灰度图重建模块恢复出的完整灰度图进行下采样。
下采样得到的小尺寸的灰度图分别为原尺寸的
然后将尺寸最小的灰度图作为输入放入第一个ResNet中进行颜色恢复，得到相同尺寸的彩色图像。
将这个彩色图像进行上采样，扩大其尺寸为原来的2倍。
将上采样之后的彩色图和同尺寸的灰度图串联作为输入放入第二个ResNet网络中。
重上述操作，最后一个ResNet网络输出的彩色图像与原始破损图像的尺寸相同。
两阶段网络模型训练过程：
(1)灰度图重建模块的训练
针对灰度图重建模块的训练，发明人构建了一个关于输出的修复后的灰度图和原始完整灰度图之间的损失函数，损失函数构建方法如下。
在总损失函数中使用了感知损失(perceptual loss)和风格损失(style loss)。感知损失和风格损失可以比较生成图像与真实图像之间的深层次特征差异。这种损失函数可以有效地将图像的结构和纹理信息反馈给模型。这里我们使用一个经过预训练并且参数固定的VGG-16网络对生成图像以及真实图像的特征进行提取，然后使用提取出的特征图构造损失函数。我们令表示VGG-16网络第i个池化层输出的特征图，Hi、Wi、Ci分别代表第i个特征图的高度、宽度和通道数，则感知损失可以表示为：
同理，可以将风格损失表示为：
其中，可通过下面的等式计算获得：
此外，发明人还将有效区域和破损区域的L1损失Lvalid和Lhole引入损失函数。最终，灰度图重建模块的总损失函数为：
Lgrayscale＝λperceptualLperceptual+λstyleLstyle+λvalidLvalid+λholeLhole
在训练过程中，发明人使用的两个彼此独立的数据集分别是Place2数据集和自制的Murals1数据集。Place2数据集中有来自365个场景类别的180万张训练图像，验证集中每个类别有50张图像，而测试集中每个类别有900张图像。Murals1数据集共包含400张取自唐代墓葬壁画的图片。其中有300张作为训练图像，50张作为验证图像，另外50张作为测试图像。我们将上述方法生成的掩膜与图像数据集中的图片合成来模拟破损图像。由于训练集包括Place2和Murals1，发明人运用了迁移学习的方法对网络进行训练。首先使用Place2数据集对模型进行训练以及交叉验证。在此基础上，将训练好的模型参数作为初始值，使用Murals1数据集进行训练和测试。
训练中使用Adam优化器，以6张图像为一批对模型进行训练。在迁移学习的第一阶段，首先在Place2数据集上以2×10-4的学习率对模型进行训练，再用5×10-5的学习率对模型进行微调。这样初步得到了图像修复模型参数。在迁移学习的第二阶段，将在Place2数据集上训练好的模型使用Murals1数据集继续以1×10-4的学习率进行训练，最后使用2×10-5的学习率对模型进行微调。在训练过程中，交叉验证用于选择最佳的模型进行测试。我们使用NVIDIA TITAN Xpgpu对模型进行训练。模型使用Place2数据集训练10天并微调2天，在此基础上使用Murals1数据集训练4天并微调1天。
(2)色彩恢复模块的训练
由于真实像素仅在非缺失区域有效，因此对每个ResNet构建一个掩膜重建损失函数，仅在图像有效区域计算损失函数值。则第n个ResNet的损失函数公式为:
其中，In为第n个ResNet输出的彩色图像，为原始破损图像经过下采样后得到的与In尺寸相同的图像。Mn为初始掩膜经过下采样后得到的与In尺寸相同的掩膜。构造这样的损失函数可以达到使网络通过学习有效区域颜色特征来填充无效区域色彩的目的。
色彩恢复模块无需提前在数据集上进行训练。只需要在实际的修复过程中，在特定的待修复图像上进行训练即可。针对某一特定图像，先对第一个ResNet迭代训练400次，将第400次迭代的输出经过上采样后送入第二个ResNet作为输入。然后对第二个ResNet迭代训练400次，将第400次迭代的输出经过上采样后送入第三个ResNet作为输入。最后在第三个ResNet训练迭代400次，第400次迭代的输出即为最终的图像修复结果。
实验验证：
在本实施例中，申请人选取了真实的破损墓葬壁画图像进行了测试和对比，基准对比方法分别是GL、PCN、LBAM和RFR，如图4所示。GL、PCN修复的壁画会出现比较严重的伪影。LBAM、RFR虽然能产生比较合理的修复结果，但在细节处理上仍不能令人满意。相比以上四种修复方法，本实施例的两阶段神经网络模型修复后的壁画结构更加清晰，颜色更加逼真。
综上所述，本实施例给出的基于两阶段神经网络的数字壁画修复方法，对大面积受损壁画，能够获得结构清晰、颜色逼真的修复图像，通常超过现有主流基准方法。
Claims (1)
1.一种基于两阶段神经网络的数字壁画修复方法，其特征在于，采用主体由灰度图重建模块和色彩恢复模块构成的两阶段网络模型，其中，灰度图重建模块由依次连接的区域识别模块、特征推理模块、特征融合模块；色彩恢复模块由三个结构相同、尺寸不同的残差网络组成；对数字壁画修复包含以下两阶段：
第一阶段：重建灰度图
使用灰度图重建模块对破损图片的灰度图进行重建，灰度图重建模块通过由外向内逐层递进的方式恢复图像的灰度信息，它将破损图像及破损图像的灰度图作为输入，输出完整的灰度图像；灰度图重建模块包含区域识别、特征推理和特征融合三个子模块，并且运用了循环推理的方法，每次迭代修复一个破损外围环形区域；经过多次迭代完成对图像的完全修复；其中，区域标识模块对破损区域边缘的一个环形区域进行标识，这个环形区域会作为本次迭代的特征推理区域，特征推理模块对此环形区域的信息进行推理，在完成环形区域的特征推理之后，破损区域会向内收缩变小，在此基础上进行下一次的区域识别和特征推理；经过多次迭代即可完成对整个破损区域灰度图的修复；最后将每次循环得到的输出级联后送入特征融合模块，进一步提升灰度图重建的质量；
所述特征推理模块是一个编码器-解码器结构的网络，在编解码器中间的瓶颈处加入一个注意力层，用于根据特征值判断图像中的相似区域，利用图像中相似的特征进行信息互补，达到有效区域纹理细化修复；
所述注意力层有效区域纹理细化修复区域的方法包含：
首先测出特征图中不同区域的相似度：
其中，表示第i次循环的特征图中坐标为(x,y)和(x′,y′)两个像素的相似性；
接下来将这个相似度数值在一个正方形邻域内进行平均：
接下来使用softmax函数将相似度归一化为注意力评分
由于特征图每经过一次循环都要经过注意力层，所以为了获得最终的注意力评分，需要将历次循环中的注意力层产生的注意力评分综合考虑，即：
在计算第i次循环中的注意力评分时，需要考虑到第i-1次循环中的注意力评分，当一个像素点在第i-1次循环和第i次循环中都位于有效区域时，即掩膜值为1时，通过加权求和的方式得到第i次循环后的注意力评分：
当一个像素点在第i-1次循环中不在有效区域时，即掩膜值为0，就不用考虑之前的注意力得分对第i次循环的影响：
最后以注意力评分为权重重构特征图；此时，在(x,y)处的特征值可以表示为：
在得到重构后的特征图后，将原特征图F和/>串联起来作为后面卷积层的输入；
第二阶段：恢复色彩
在第一阶段获得灰度图后，将灰度图作为输入送入色彩恢复模块；该色彩恢复模块的任务是通过使用图像有效区域的颜色特征对破损区域的灰度图进行颜色填充；
所述色彩恢复模块的每个残差网络的输入的图像尺寸是其前一个残差网络输入尺寸的2倍，通过这样的结构顺序来完成由粗糙到细致的颜色填充。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210675973.XA CN115131234B (zh) | 2022-06-15 | 2022-06-15 | 一种基于两阶段神经网络的数字壁画修复方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210675973.XA CN115131234B (zh) | 2022-06-15 | 2022-06-15 | 一种基于两阶段神经网络的数字壁画修复方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115131234A CN115131234A (zh) | 2022-09-30 |
| CN115131234B true CN115131234B (zh) | 2023-09-19 |
Family
ID=83377386
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210675973.XA Active CN115131234B (zh) | 2022-06-15 | 2022-06-15 | 一种基于两阶段神经网络的数字壁画修复方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115131234B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010211498A (ja) * | 2009-03-10 | 2010-09-24 | Kyodo Printing Co Ltd | 画像処理プログラム及び画像処理システム |
| CN105488503A (zh) * | 2015-11-27 | 2016-04-13 | 东北大学 | 一种非编码圆环形标记点圆心图像坐标检测方法 |
| CN109741268A (zh) * | 2018-12-05 | 2019-05-10 | 天津大学 | 一种针对壁画的破损图像补全方法 |
| CN111292265A (zh) * | 2020-01-22 | 2020-06-16 | 东华大学 | 一种基于生成式对抗神经网络的图像修复方法 |
| CN111476213A (zh) * | 2020-05-19 | 2020-07-31 | 武汉大势智慧科技有限公司 | 一种基于道路影像的遮挡物覆盖区域填充方法和装置 |
| CN111968053A (zh) * | 2020-08-13 | 2020-11-20 | 南京邮电大学 | 基于门控卷积生成对抗网络的图像修复方法 |
| CN112801914A (zh) * | 2021-02-09 | 2021-05-14 | 北京工业大学 | 一种基于纹理结构感知的二段式图像修复方法 |
| CN113870128A (zh) * | 2021-09-08 | 2021-12-31 | 武汉大学 | 一种基于深度卷积对抗式网络的数字壁画图像修复方法 |
| CN113989140A (zh) * | 2021-10-22 | 2022-01-28 | 长沙理工大学 | 一种基于自注意力机制的循环特征推理的图像修复方法 |
| CN114022383A (zh) * | 2021-11-05 | 2022-02-08 | 瞬联软件科技（北京）有限公司 | 一种文字图像的摩尔纹祛除方法、装置及电子设备 |
-
2022
- 2022-06-15 CN CN202210675973.XA patent/CN115131234B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010211498A (ja) * | 2009-03-10 | 2010-09-24 | Kyodo Printing Co Ltd | 画像処理プログラム及び画像処理システム |
| CN105488503A (zh) * | 2015-11-27 | 2016-04-13 | 东北大学 | 一种非编码圆环形标记点圆心图像坐标检测方法 |
| CN109741268A (zh) * | 2018-12-05 | 2019-05-10 | 天津大学 | 一种针对壁画的破损图像补全方法 |
| CN111292265A (zh) * | 2020-01-22 | 2020-06-16 | 东华大学 | 一种基于生成式对抗神经网络的图像修复方法 |
| CN111476213A (zh) * | 2020-05-19 | 2020-07-31 | 武汉大势智慧科技有限公司 | 一种基于道路影像的遮挡物覆盖区域填充方法和装置 |
| CN111968053A (zh) * | 2020-08-13 | 2020-11-20 | 南京邮电大学 | 基于门控卷积生成对抗网络的图像修复方法 |
| CN112801914A (zh) * | 2021-02-09 | 2021-05-14 | 北京工业大学 | 一种基于纹理结构感知的二段式图像修复方法 |
| CN113870128A (zh) * | 2021-09-08 | 2021-12-31 | 武汉大学 | 一种基于深度卷积对抗式网络的数字壁画图像修复方法 |
| CN113989140A (zh) * | 2021-10-22 | 2022-01-28 | 长沙理工大学 | 一种基于自注意力机制的循环特征推理的图像修复方法 |
| CN114022383A (zh) * | 2021-11-05 | 2022-02-08 | 瞬联软件科技（北京）有限公司 | 一种文字图像的摩尔纹祛除方法、装置及电子设备 |
Non-Patent Citations (7)
| Title |
|---|
| C3N: content-constrained convolutional network for mural image completion基于弱监督深度学习的图像检索技术研究;Xianlin Peng 等;《Neural Computing and Applications》;1-13 * |
| Image Inpainting for Irregular Holes Using Partial Convolutions;Guilin Liu 等;《ECCV 2018》;1-16 * |
| MeGAN: 基于多任务增强生成对抗网络的图像合成;彭进业 等;《西北学学学报（自然科学版）》;第50卷(第3期);1-8 * |
| 图像修复方法综述;李雪涛 等;《激光与光电子学进展》;第60卷(第2期);1-16 * |
| 基于像素权值的高效小波图像修复算法;吕永利 等;《信息与控制》;第44卷(第1期);104-109 * |
| 基于多级解码网络的图像修复;刘微容;《电子学报》(第3期);625-636 * |
| 基于部分卷积神经网络的古代绘画图像修复研究;赵 华 宇;《中国优秀硕士学位论文全文数据库 (哲学与人文科学辑)》;F097-20 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115131234A (zh) | 2022-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108537742B (zh) | 一种基于生成对抗网络的遥感图像全色锐化方法 | |
| CN111784602B (zh) | 一种生成对抗网络用于图像修复的方法 | |
| CN111340122B (zh) | 一种多模态特征融合的文本引导图像修复方法 | |
| CN111047522B (zh) | 一种基于边缘生成的图像修复方法 | |
| CN112288647A (zh) | 一种基于门控卷积的遥感影像云和阴影修复的方法 | |
| CN110223234A (zh) | 基于级联收缩扩张的深度残差网络图像超分辨率重建方法 | |
| CN112184554A (zh) | 一种基于残差混合膨胀卷积的遥感图像融合方法 | |
| CN112686816A (zh) | 一种基于内容注意力机制和掩码先验的图像补全方法 | |
| CN109685716A (zh) | 一种基于高斯编码反馈的生成对抗网络的图像超分辨率重建方法 | |
| CN107423747A (zh) | 一种基于深度卷积网络的显著性目标检测方法 | |
| CN112488935B (zh) | 基于纹理约束和泊松融合的生成对抗指静脉图像修复方法 | |
| CN112184582B (zh) | 一种基于注意力机制的图像补全方法及装置 | |
| CN106022355A (zh) | 基于3dcnn的高光谱图像空谱联合分类方法 | |
| CN112270651A (zh) | 一种基于多尺度判别生成对抗网络的图像修复方法 | |
| CN112598602A (zh) | 一种基于掩码的深度学习视频去摩尔纹方法 | |
| CN113298736A (zh) | 一种基于面部样式的人脸图像修复方法 | |
| CN112801914A (zh) | 一种基于纹理结构感知的二段式图像修复方法 | |
| CN112163998A (zh) | 一种匹配自然降质条件的单图像超分辨率分析方法 | |
| CN114638768B (zh) | 一种基于动态关联学习网络的图像去雨方法、系统及设备 | |
| CN113378812A (zh) | 一种基于Mask R-CNN和CRNN的数字表盘识别方法 | |
| CN114022506A (zh) | 一种边缘先验融合多头注意力机制的图像修复方法 | |
| CN112686817B (zh) | 一种基于不确定性估计的图像补全方法 | |
| Li et al. | Line drawing guided progressive inpainting of mural damages | |
| CN113705538A (zh) | 基于深度学习的高分遥感影像道路变化检测装置及方法 | |
| CN115131234B (zh) | 一种基于两阶段神经网络的数字壁画修复方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |