CN117094919B - 基于扩散模型的壁画数字化修复系统及方法 - Google Patents
基于扩散模型的壁画数字化修复系统及方法 Download PDFInfo
- Publication number
- CN117094919B CN117094919B CN202311365641.2A CN202311365641A CN117094919B CN 117094919 B CN117094919 B CN 117094919B CN 202311365641 A CN202311365641 A CN 202311365641A CN 117094919 B CN117094919 B CN 117094919B
- Authority
- CN
- China
- Prior art keywords
- image
- content
- style
- network
- repair
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010422 painting Methods 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000009792 diffusion process Methods 0.000 title claims abstract description 46
- 230000008439 repair process Effects 0.000 claims abstract description 156
- 238000002372 labelling Methods 0.000 claims abstract description 17
- 230000000694 effects Effects 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims description 135
- 238000013139 quantization Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 19
- 230000011218 segmentation Effects 0.000 claims description 16
- 230000007246 mechanism Effects 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 10
- 238000003708 edge detection Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000003930 cognitive ability Effects 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 5
- 230000002452 interceptive effect Effects 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 230000007547 defect Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 238000007689 inspection Methods 0.000 claims description 4
- 238000004088 simulation Methods 0.000 claims description 4
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims description 3
- 229910052799 carbon Inorganic materials 0.000 claims description 3
- 238000012512 characterization method Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 230000009916 joint effect Effects 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012805 post-processing Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000002441 reversible effect Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 abstract description 4
- 238000004458 analytical method Methods 0.000 abstract description 2
- 230000010354 integration Effects 0.000 abstract description 2
- 239000003086 colorant Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000000750 progressive effect Effects 0.000 description 3
- 230000019771 cognition Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了基于扩散模型的壁画数字化修复系统及方法，属于数字图像修复领域，包括由受损程度评级模块、受损区域标注模块、线稿修复模块、内容修复模块、风格统一模块组成的扩散模型。本发明采用上述基于扩散模型的壁画数字化修复系统及方法，通过多模块的集成，实现了对于壁画的分析修复与利用，同时通过模拟壁画真实修复流程，按照线稿‑内容‑风格的技术路线进行修复，确保修复效果的真实性与还原程度，从而实现了对不同程度受损壁画的智能化、人机协同的数字化修复，以有效地恢复壁画的原始面貌。
Description
技术领域
本发明涉及数字图像修复技术领域，尤其涉及基于扩散模型的壁画数字化修复系统及方法。
背景技术
敦煌壁画是中国壁画艺术的精华，也是世界壁画艺术的瑰宝。敦煌莫高窟存在于1000多年的历史长河中，积累了大量的壁画艺术精品，是中华民族文化的象征。且敦煌壁画内容丰富，反映了不同历史时期的社会面貌。它们运用了独特的艺术手法，将中国绘画推向一个新的高峰，对后世艺术发展影响深远。但是长期以来，敦煌壁画一直面临严重的损毁困境。壁画损毁的主要原因为自然因素和人为因素。就自然因素而言，敦煌所处的干旱风化气候是首要因素，即日夜温差巨大导致墙体开裂剥落，强劲的风沙通过机械碰撞削弱了壁画表面。就人为因素而言，个别壁画遭遇人为刻画破坏和盗窃。可以看出，复杂的自然地貌环境与不当的人类活动共同导致了敦煌壁画严重的风化剥落问题。使得敦煌壁画的修复还原成为文化与技术领域共同亟待解决的问题。
目前，壁画实体修复是保护壁画的一般技术手段。具体来说，实体修复方法包括：清洗去污、加固墙体、修补开裂、着色补绘等。这些方法由专业的文物修复人员进行操作完成，主要修复壁画破损的墙体结构，以及补全剥落脱漆的描绘内容。但受到自然环境与人为活动的影响，实体修复在时间与空间上局限性较大，修复周期冗长，效果有限，且后期维护工作艰巨。
鉴于实体修复周期冗长、效果有限的困境，故现有技术开展了数字化修复方法的研究，以更好地保护壁画文化遗产。数字修复的优势在于时间效率高、档次可控、成本较低。
目前有关数字化修复技术有以下研究：
在专利号CN202110460228.9公开的《一种基于邻近像素点和自编码器的敦煌壁画修复方法》中提出了一种数字化壁画修复方法。该方法的核心思想是通过自编码器技术进行修复。其首先获取了目标敦煌壁画的原始图像，并将其分解为结构层图像和纹理层图像，然后通过明确定义的纹理层中待修复区域和第一已知区域(未破损区域)以及已知像素点的信息，进行修复工作。修复的过程涉及重建纹理层图像，与结构层图像合并得到最终修复结果。该方法从结构与纹理出发，在数字化修复过程中尽可能保持壁画的真实性与忠实度，但在面对受损程度较高的壁画图像时，原画面难以提供足够细节内容，在保持壁画原有结构和艺术特征方面存在一定挑战。
在专利号CN202111049091.4公开的《一种基于深度卷积对抗式网络的数字壁画图像的修复方法》中采用了深度卷积对抗式网络(DCGAN)进行修复。该方法首先针对壁画图像的裁切和筛选构建图像数据集，基于DCGAN进行模型训练，再通过多次迭代完成对壁画图像的数字化生成任务。这种方法相对于传统的修复方法，深度学习了壁画图像的内容和结构，生成的结果更加真实且富有艺术性。同时其采用了复杂的损失函数保持修复图像的纹理和结构特征，从而实现修复结果的高度还原。然而，该方法需要较多的计算资源和训练时间，在追求生成内容的艺术性的同时，对于壁画原始的图像细节与风格可能会有所更改，缺少对壁画特点方面的关注。
壁画数字化修复方法有很多，如《一种基于邻近像素点和自编码器的敦煌壁画修复方法》、《一种基于深度卷积对抗式网络的数字壁画图像的修复方法》等等，然而尽管上述方法在数字化修复领域取得了显著进展，但是仍然面临着壁画实际数字化修复中的多项复杂问题。首先，对于具有特殊色彩和结构特征的敦煌壁画数据集等，现有深度学习模型的训练数据相对有限，这导致了模型在理解和修复这类壁画时表现不佳。其次，实际数字化修复过程中存在壁画受损程度不一、修复细节要求高、原始风格保留、修复结果的真实性与忠实性等多样化的挑战。再次，目前数字修复主要采用高清扫描获取图像及基于Photoshop、Illustrator等软件的图像处理方法，具有自动化程度有限、需大量人工操作、效率不高等缺点，难以实现高质量的细节补全和风格仿真，无法满足大规模高质量修复的需求。
因此，在壁画数字化修复领域，依然存在许多未被充分探索的领域和问题，需要进一步的探讨和创新。
发明内容
为解决上述问题，本发明提供一种基于扩散模型的壁画数字化修复系统及方法，引入了稳定扩散模型，旨在解决不同程度受损的壁画图像修复问题，在尽量保持修复结果的真实性和忠实性基础上，实现了对不同受损程度的壁画修复。
为实现上述目的，本发明提供了基于扩散模型的壁画数字化修复系统，包括由受损程度评级模块、受损区域标注模块、线稿修复模块、内容修复模块、风格统一模块组成的扩散模型；
受损程度评级模块，用于根据壁画图像的受损程度分级，便于后续根据分级结果执行分级修复策略；
受损区域标注模块，用于标注壁画图像中的受损区域的位置和范围；
线稿修复模块，用于重建壁画图像的基本线稿；
内容修复模块，用于对壁画图像的画面进行修复；
风格统一模块，用于对壁画图像的整体风格进行色彩统一。
优选的，基于多层次网络架构模型DARM，多层次网络架构模型DARM包括异构级联图编解码网络、线稿修复网络和内容-风格联合修复网络；
异构级联图编解码网络，用于在内容-风格联合修复网络的中间层引入原图编码特征进行先验引导作为先验特征；
线稿修复网络，用于完成对于线稿结构的修复任务；
内容-风格联合修复网络，用于内容修复以及风格转化。
优选的，异构级联图编解码网络包括向量量化变自动编码器、解码器和残差引导模块，其中，向量量化变自动编码器用于使用预训练的VQVAE编码器对壁画图像进行矢量量化，提取语义级的离散表示；解码器用于对隐空间修复结果的解码，得到最终的修复结果；
向量量化变自动编码器包括卷积层、向量量化层和损失函数，卷积层用于提取输入图像的特征表示，向量量化层用于将特征映射到离散的代码书中，损失函数用于优化向量量化变自动编码器的参数；
解码器由对称设置的卷积层和全连接层组成；
残差引导模块采用卷积神经网络结构，其由卷积层、池化层和全连接层组成。
优选的，内容-风格联合修复网络采用联合U-Net的模式，内容-风格联合修复网络包括内容U-Net网络和风格U-Net网络；内容U-Net网络用于根据输入的残差图像，恢复受损区域的缺失内容；风格U-Net网络用于将经内容修复后的图像进行风格转换，使其与壁画的风格相符；
内容U-Net网络的编码器和解码器均为对称的U形结构，其中，内容U-Net网络的编码器用于逐渐降低图像分辨率并提取特征表示，内容U-Net网络的解码器用于逐渐恢复图像分辨率并生成内容修复后的图像；
通过交叉注意力机制在U-Net网络中引入先验特征，并在内容U-Net网络的前期和风格U-Net网络的后期逐步增加引导权重，实现了在内容修复的前期进行约束，并允许在内容修复后期生成新内容，且在风格U-Net网络的后期加入残差引导以规范整体风格；
引导模块采用CNN结构，其包括卷积层和池化层，用于提取图像的内容和风格信息；
线稿修复网络为去噪U-Net网络结构，其内部具有残差连接。
基于扩散模型的壁画数字化修复系统的方法，包括以下步骤：
S1、收集壁画图像，并利用受损程度评级模块评估壁画图像受损程度并分级；
S2、训练扩散模型以及多层次网络架构模型DARM；
S3、利用扩散模型对于不同受损程度的壁画图像采取不同的数字化修复策略；
S4、评估修复结果。
优选的，在步骤S1中，根据受损程度将收集壁画图像分为优质图像、低受损程度图像、高受损程度图像，存入预置数据库。
优选的，在步骤S2中，将优质图像作为预训练扩散模型的训练数据，且在训练过程中，采用渐进式增大残差图像中的损坏程度进行训练；
步骤S2所述的扩散模型训练步骤如下：
Sa21、训练线稿修复模块：
Sa211、预处理数据集：首先从预置数据库中获得优质图像作为完整图像，然后对完整图像应用Canny边缘检测算子，以获取目标线稿图像；
Sa212、构建线稿预训练数据集：其包括完整线稿图像和受损线稿图像，其中完整线稿图像为完整图像，受损线稿图像通过两种方式生成：一种是使用随机涂抹完整图像，对完整图像中部分像素随机添加mask，另一种是通过人工制造笔画破损完整图像；每张图像都分别经过两种受损处理，以增加预训练数据集；且受损线稿图像整体模拟受损区域分别是30％、60％、90％，以满足不同受损程度的修复任务；
Sa213、训练生成线稿修复模块：将构建好线稿预训练数据集输入线稿修复网络中进行预训练；
Sa214、迭代与人工微调：对所得到的线稿修复模块进行应用检测，使用人工监督的方式观察线稿修复模块的缺陷，在此基础上再微调训练数据集与训练轮次，进行模型的迭代优化更新；
Sa22、训练内容修复模块：
Sa221、构建内容预训练数据集：在预置数据库中选择优质图像作为完整图像，并经过多尺度处理，获得不同大小面片的内容表征，再使用Canny边缘检测算子方法提取不同面片大小对应的线稿图，得到多尺度的线稿图，再将多尺度的线稿图与原始优质图像集合得到内容预训练数据集；
Sa222、预训练内容修复模块：其包括两个阶段：第一阶段，固定风格修复模块，训练优化内容修复模块；第二阶段，结合风格修复模块和引导模块进行整体微调，得到初步内容修复模型；
Sa223、人工微调：将实际训练数据引入初步内容修复模型，观察修复效果并进行细节微调，最终得到内容修复模型；
Sa24、训练风格修复模块：
Sa241、构建风格预训练数据集：在预置数据库中选择优质图像作为完整图像，对于完整图像风格做文本标注；
Sa242、预训练风格模型：输入内容修复结果并在去噪U-Net网络的后期使用残差图像特征做引导，完成训练；其包括两个阶段：第一阶段，固定内容修复模型，训练优化风格修复网络；第二阶段，结合内容修复模型和引导模块做整体微调，得到初步风格修复模型；
Sa243、人工微调：将实际训练数据引入初步风格修复模型，进行细节微调，最终得到风格修复模型。
优选的，步骤S2所述的多层次网络架构模型DARM训练步骤如下：
Sb21、训练异构级联图编解码网络：
Sb211、固定向量量化变自动编码器训练解码器还原输入图像，并通过优化重构损失函数训练解码器的还原能力；
Sb212、固定向量量化变自动编码器和解码器训练残差引导模块，训练生成先验特征；
Sb213、使用异构编解码器和联合Unet进行整体参数的进一步优化，整合并重新加权两部分的损失函数，进行小幅度的参数调整，以确保特征引导模块在联合修复模块中完成特征引导；
在步骤Sb211中，使用VQVAE中训练编解码过程；
步骤Sb212中所述的残差引导模块是针对完整图像与重构后的损坏图像的残差图像的编码器，编码得到残差特征输入内容-风格联合修复网络，将内容损失和风格损失加权整合为整体损失进行优化，最终期望得到对内容风格网络重要的编码特征；
步骤Sb213中所述的异构编解码器和联合Unet形成了Encoder-Decoder-Guide的整体网络，减小学习率的设定；其具体包括以下步骤：
Sb2131、将整体损失设置为加权后的重构损失与内容风格损失；
Sb2132、通过同时激活特征引导模块进行联合U-Net的训练，并以整体损失函数进行优化。此外，在微调过程中，适当减小学习率以进行进一步的参数优化；
Sb2133、选取联合效果最佳的网络参数为最终的编解码模型；
在Sb2132中，设定α、β、γ、δ是权重系数，其中α表示重建损失的权重系数；β表示内容修复损失的权重系数；γ表示风格重建损失的权重系数；δ表示特征引导损失的权重系数，则整体损失表达式如下：
L_total＝α*L_reconstruction+β*L_content+γ*L_style+δ*L_guide
式中，L_total表示整体损失；L_reconstruction表示重建损失；L_content表示内容修复损失；L_style表示风格修复损失；L_guide表示特征引导损失；
在步骤Sb212中，利用残差引导模块的全连接层将提取的特征编码成一个残差特征向量，并将其引入内容U-Net网络与风格U-Net网络的中间层进行融合，以提供内容-风格联合修复网络中的先验引导，且在内容U-Net网络后期逐步减少原图编码特征，在风格U-Net后期逐步增加原图编码特征；
Sb22、训练线稿修复网络：
Sb221、制作线稿受损图像：采用人工笔触和随机掩膜两种形式生成不同受损程度的线稿受损图像，模拟不同场景下的线稿受损；
Sb222、构建一个包含完整线稿图像、受损线稿图像和修复后的线稿图像的数据集；
训练特征空间表示下的U-Net去噪网络，在训练过程中，将受损线稿图像作为网络的输入，修复后的线稿图像作为目标输出，并将线稿的初始结构定义为约束条件，其损失函数定义为下式：
式中，LLDM表示整体损失；Eε(x),y,∈～(0,1),t表示在图像输入、步数信息、条件信息下对噪声的预测结果；∈表示编码器；∈θ表示去噪的自编码器；zt表示图像的潜在空间表达；t表示步数；τθ(y)表示条件；
Sb223、人工确认修复后的线稿图像，并确认修复后的线稿图像与原始内容图像叠加，以构成下一层修复网络的输入；
Sb23、采用分阶段的策略训练内容-风格联合修复网络：
Sb231、固定风格U-Net网络，训练内容U-Net网络：
在内容U-Net网络的训练中，输入内容是编码后的完整图像与上采样的损坏图像的残差图像，通过扩散过程和去噪过程完成对去噪网络的训练，最终完成对于差异图像内容的预测，并将预测结果与损坏图像相加得到完整图像；
Sb232、输入经内容U-Net网络修复后的图像，并固定内容U-Net网络，训练风格U-Net网络；
优选的，在步骤S3中，低受损程度图像的修复步骤为：
第一步：利用受损区域标注模块标注待修复的受损区域：首先使用基于YOLOv8的预训练全景分割模型对输入图像进行实例分割，生成各个区域段的像素级掩码和边界框信息；而后在全景分割的基础上，通过文物修复人员的交互操作，准确定位感兴趣的受损区域，输出感兴趣的受损区域的精细掩码；
第二步：内容修复：在内容修复模块中，基于U-Net网络架构，引入特征引导模块，利用特征引导模块经CNN提取完整图像的特征，再通过交叉注意力机制融合到U-Net层中，计算高斯分布的KL散度为损失进行迭代更新，通过去噪完成对内容的修复；
第三步：风格统一：利用风格统一模块对壁画整体风格的认知能力，完成对整体画面风格的统一修复，确保受损区域与壁画图像整体的风格协调一致；
高受损程度图像的修复步骤为：
第一步：线稿修复：利用线稿修复模块恢复高受损程度图像的基本结构和轮廓，在线稿修复模块中，通过Canny算子提取高受损图像的线稿结构作为待修复内容，然后进入线稿修复模块进行修复，通过线稿去噪网络中重复的逆向去噪处理，得到完整线稿图像的线稿结构，将所得的完整线稿图像的线稿结构与初始的受损线稿图像进行叠加，得到具有完整线稿和受损画面的图像，作为下一修复阶段中的受损线稿图像；
第二步：内容修复：利用内容修复模块填补经线稿修复后的高受损程度图像，经内容修复后的高受损程度图像返回步骤Sb2作为输入的训练数据；
第三步：风格统一：利用风格统一模块对壁画整体风格的认知能力，完成对整体画面风格的统一修复，确保受损区域与壁画图像整体的风格协调一致；
线稿修复包括以下步骤：首先在完整图像中利用Canny边缘检测算子提取线稿图像，使用预训练的VQVAE编码器对线稿图像进行编码，得到离散的语义向量表示；然后引入线稿修复网络去噪，完成去噪后使用解码器重新解码成线稿图像；最后进入后处理阶段，进行人工检查和修正，确保输出的线稿图像结构清晰合理，再将修复后的线稿图像与原始受损线稿图像内容叠加，用作下一层修复网络的输入。
优选的，在步骤S4中，使用定性与定量相结合的评估机制，其中定量指的是：使用定量指标评估图像修复的效果；定性指的是：引入专业人员进行主观评分，结合各项指标的综合权重给出综合评分意见。
本发明采用DARS(Diffusion-based Artwork Restoration System)的模块化深度学习修复系统，完成对于历史壁画的分级数字化修复任务，该多层次的网络架构模型称为DARM(Diffusion-based Artwork Restoration Model)，实现了对壁画线稿、内容和风格的修复，模拟了人工分步修复的工作流程；具有以下有益效果：
1、针对不同受损程度的壁画提出了分级修复策略。DARS首先使用受损程度评估模块评估损伤程度，实现对优质、低程度受损和高程度受损的分类，优质壁画数据集用于训练其他模型，对于待修复图像采取不同的修复策略，解决一个模型难以兼顾不同损伤的问题；
2、基于残差图像的渐进训练策略：DARS使用目标图像减去上采样后的受损图像得到的残差作为输入图像，可以更好地保留原图细节。在训练过程中，DARS采用渐进式的策略逐步增大残差图像中的损坏程度进行训练，即先使用轻微受损的样本训练内容修复模块，然后固定内容修复模块，增加损坏程度训练风格统一模块。随着训练批次的增加，逐步提高残差图像中的损坏程度。这种渐进策略可以让模型更好地处理不同程度的损坏。
3、模块化设计的多步修复过程：针对修复结果的还原性问题，DARS模拟了文物修复师的工作流程，采用“线稿-内容”分步修复的技术路线。对于线稿修复，DARS使用线稿模型进行结构性损坏的智能补线，重建壁画的基本线稿，还原结构细节。
4、基于原图像编码的引导机制：在联合内容-风格修复网络中，DARS实现了使用上采样编码后的原图进行逐步引导的策略，即将原始未受损图像进行上采样和编码，然后分别在网络的前期中间层和后期中间层引入编码特征，可以让内容模型更关注补全新内容，风格模型更关注调整样式，同时原图特征的逐步引导，使得整个网络既重构内容，又预留风格。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明所述的基于扩散模型的壁画数字化修复系统的原理流程图。
图2为本发明所述的基于扩散模型的壁画数字化修复系统的多层次网络架构模型DARM结构图。
具体实施方式
为了使本发明实施例公开的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明实施例进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本发明实施例，并不用于限定本发明实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。
需要说明的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
扩散模型采用随机过程和随机微分方程建模图像中像素值的变化，从而在复杂和多样性的壁画修复任务中表现出独特的优势。相对于传统深度学习算法，扩散模型在以下方面具备独特的优势。第一：具有自适应性，扩散模型能够适应不同程度和类型的壁画受损，无需大规模标记数据的支持。第二：支持多模态处理，使其不仅能够恢复图像的内容，还能够保持图像的风格和细节，使修复后的壁画更加贴近原作。第三：修复的高效性，合理调整参数后，扩散模型能够在相对短的时间内完成复杂的修复任务。
目前扩散模型中的主流模型之一为稳定扩散模型(Stable Diffusion)，其主体分为三个部分，分别是自编码器，去噪和条件约束。自编码器用于将图像在像素空间和隐空间中进行转换，提升计算效率。去噪器指的是在隐空间中训练一个U-Net网络，并添加交叉注意力机制，对不同时间步T的噪声图像做出预测，在原表征上减去预测的噪声得到预期图像的结果。条件约束指的是在去噪过程中的条件引导，该部分基于已有模型，如Clip等对所需条件进行转化，连接到U-Net的去噪网络中，以完成对于目标图像的条件引导。在应用阶段，该模型被用于对输入图像进行降噪处理、条件生成与优化等，对于数字化壁画图像的修复具有重要应用价值。
基于上述理论设计本发明：如图1和图2所示，基于扩散模型的壁画数字化修复系统，包括由受损程度评级模块、受损区域标注模块、线稿修复模块、内容修复模块、风格统一模块组成的扩散模型；受损程度评级模块，用于根据壁画图像的受损程度分级，便于后续根据分级结果执行分级修复策略；受损区域标注模块，用于标注壁画图像中的受损区域的位置和范围；线稿修复模块，用于重建壁画图像的基本线稿；内容修复模块，用于对壁画图像的画面进行修复；风格统一模块，用于对壁画图像的整体风格进行色彩统一。
优选的，基于多层次网络架构模型DARM，多层次网络架构模型DARM包括异构级联图编解码网络、线稿修复网络和内容-风格联合修复网络；异构级联图编解码网络，用于在内容-风格联合修复网络的中间层引入原图编码特征进行先验引导作为先验特征；线稿修复网络，用于完成对于线稿结构的修复任务；内容-风格联合修复网络，用于内容修复以及风格转化。
优选的，异构级联图编解码网络包括向量量化变自动编码器、解码器和残差引导模块，其中，向量量化变自动编码器用于使用预训练的VQVAE编码器对壁画图像进行矢量量化，提取语义级的离散表示；解码器用于对隐空间修复结果的解码，得到最终的修复结果；向量量化变自动编码器包括卷积层、向量量化层和损失函数，卷积层用于提取输入图像的特征表示，向量量化层用于将特征映射到离散的代码书中，损失函数用于优化向量量化变自动编码器的参数；解码器由对称设置的卷积层和全连接层组成；残差引导模块采用卷积神经网络结构，其由卷积层、池化层和全连接层组成。应用过程中编码部分使用预训练好的VQVAE编码器对图像进行矢量量化，提取语义级的离散表示。解码部分通过解码器完成对隐空间修复结果的解码，得到最终的修复结果。该网络的关键在于编解码器也用于从原始图像中提取编码特征，以提供内容-风格联合修复网络训练推理的先验引导，即在内容-风格联合修复网络的中间层，引入原图编码特征进行先验引导作为先验特征。
优选的，内容-风格联合修复网络采用联合U-Net的模式，内容-风格联合修复网络包括内容U-Net网络和风格U-Net网络；内容U-Net网络用于根据输入的残差图像，恢复受损区域的缺失内容；风格U-Net网络用于将经内容修复后的图像进行风格转换，使其与壁画的风格相符；内容U-Net网络的编码器和解码器均为对称的U形结构，其中，内容U-Net网络的编码器用于逐渐降低图像分辨率并提取特征表示，内容U-Net网络的解码器用于逐渐恢复图像分辨率并生成内容修复后的图像；通过交叉注意力机制在U-Net网络中引入先验特征，并在内容U-Net网络的前期和风格U-Net网络的后期逐步增加引导权重，实现了在内容修复的前期进行约束，并允许在内容修复后期生成新内容，且在风格U-Net网络的后期加入残差引导以规范整体风格；引导模块采用CNN结构，其包括卷积层和池化层，用于提取图像的内容和风格信息；线稿修复网络为去噪U-Net网络结构，其内部具有残差连接。
基于扩散模型的壁画数字化修复系统的方法，包括以下步骤：
S1、收集壁画图像，并利用受损程度评级模块评估壁画图像受损程度并分级；
优选的，在步骤S1中，根据受损程度将收集壁画图像分为优质图像、低受损程度图像、高受损程度图像，存入预置数据库。
本实施例中，受损程度评级模块可将壁画图像分为优质图像、低受损程度图像、高受损程度图像，对应为高质量图像、中质量图像和低质量图像，将分级处理后的图像放入预置数据库。且将高质量图像作为预训练模型的训练数据。其具体评价标准如下：
优质图像/高质量图像：结构完整，内容完整，整体画面风格统一，色彩保真程度较强，可以明确看出壁画的构图内容及部分细节，用于后续训练模型的图像质量。
低受损程度图像/中质量图像：画面中的线条结构比较完整，但是部分内容或者色块脱落模糊。
高程度受损图像/低质量图像：画面中结构线条受损，内容残缺，色彩暗沉模糊甚至缺失。
S2、训练扩散模型以及多层次网络架构模型DARM；
优选的，在步骤S2中，将优质图像作为预训练扩散模型的训练数据，且在训练过程中，采用渐进式增大残差图像中的损坏程度进行训练；
步骤S2所述的扩散模型训练步骤如下：
Sa21、训练线稿修复模块：
Sa211、预处理数据集：首先从预置数据库中获得优质图像作为完整图像，然后对完整图像应用Canny边缘检测算子，以获取目标线稿图像；
Sa212、构建线稿预训练数据集：其包括完整线稿图像和受损线稿图像，其中完整线稿图像为完整图像，受损线稿图像通过两种方式生成：一种是使用随机涂抹完整图像，对完整图像中部分像素随机添加mask，另一种是通过人工制造笔画破损完整图像；每张图像都分别经过两种受损处理，以增加预训练数据集；且受损线稿图像整体模拟受损区域分别是30％、60％、90％，以满足不同受损程度的修复任务；
Sa213、训练生成线稿修复模块：将构建好线稿预训练数据集输入线稿修复网络中进行预训练；
Sa214、迭代与人工微调：对所得到的线稿修复模块进行应用检测，使用人工监督的方式观察线稿修复模块的缺陷，在此基础上再微调训练数据集与训练轮次，进行模型的迭代优化更新；
Sa22、训练内容修复模块：
Sa221、构建内容预训练数据集：在预置数据库中选择优质图像作为完整图像，并经过多尺度处理，获得不同大小面片的内容表征，再使用Canny边缘检测算子方法提取不同面片大小对应的线稿图，得到多尺度的线稿图，再将多尺度的线稿图与原始优质图像集合得到内容预训练数据集；
Sa222、预训练内容修复模块：其包括两个阶段：第一阶段，固定风格修复模块，训练优化内容修复模块；第二阶段，结合风格修复模块和引导模块进行整体微调，得到初步内容修复模型；
Sa223、人工微调：将实际训练数据引入初步内容修复模型，观察修复效果并进行细节微调，最终得到内容修复模型；
Sa24、训练风格修复模块：
Sa241、构建风格预训练数据集：在预置数据库中选择优质图像作为完整图像，对于完整图像风格做文本标注；
Sa242、预训练风格模型：输入内容修复结果并在去噪U-Net网络的后期使用残差图像特征做引导，完成训练；其包括两个阶段：第一阶段，固定内容修复模型，训练优化风格修复网络；第二阶段，结合内容修复模型和引导模块做整体微调，得到初步风格修复模型；
Sa243、人工微调：将实际训练数据引入初步风格修复模型，进行细节微调，最终得到风格修复模型。
优选的，步骤S2所述的多层次网络架构模型DARM训练步骤如下：
Sb21、训练异构级联图编解码网络：
Sb211、固定向量量化变自动编码器训练解码器还原输入图像，并通过优化重构损失函数训练解码器的还原能力；
Sb212、固定向量量化变自动编码器和解码器训练残差引导模块，训练生成先验特征；
Sb213、使用异构编解码器和联合Unet进行整体参数的进一步优化，整合并重新加权两部分的损失函数，进行小幅度的参数调整，以确保特征引导模块在联合修复模块中完成特征引导；
在步骤Sb211中，使用VQVAE中训练编解码过程；
步骤Sb212中所述的残差引导模块是针对完整图像与重构后的损坏图像的残差图像的编码器，编码得到残差特征输入内容-风格联合修复网络，将内容损失和风格损失加权整合为整体损失进行优化，最终期望得到对内容风格网络重要的编码特征；在内容网络前期增加残差特征，风格网络后期增加残差特征，来保证内容U-Net生成新内容而风格U-Net获取壁画原貌的风格提示，形成内容补全和风格迁移的协同。
步骤Sb213中所述的异构编解码器和联合Unet形成了Encoder-Decoder-Guide的整体网络，减小学习率的设定；其具体包括以下步骤：
Sb2131、将整体损失设置为加权后的重构损失与内容风格损失；
Sb2132、在风格修复网络和内容修复网络中同时激活特征引导模块进行训练，并将整体损失为损失函数进行优化，降低学习率进行微调；
Sb2133、选取联合效果最佳的网络参数为最终的编解码模型；
在Sb2132中，设定α、β、γ、δ是权重系数，其中α表示重建损失的权重系数；β表示内容修复损失的权重系数；γ表示风格重建损失的权重系数；δ表示特征引导损失的权重系数。用于平衡不同损失项的贡献，则整体损失表达式如下：
L_total＝α*L_reconstruction+β*L_content+γ*L_style+δ*L_guide
式中，L_total表示整体损失；L_reconstruction表示重建损失；L_content表示内容修复损失；L_style表示风格修复损失；L_guide表示特征引导损失；
在步骤Sb212中，利用残差引导模块的全连接层将提取的特征编码成一个残差特征向量，并将其引入内容U-Net网络与风格U-Net网络的中间层进行融合，以提供内容-风格联合修复网络中的先验引导，且在内容U-Net网络后期逐步减少原图编码特征，在风格U-Net后期逐步增加原图编码特征；通过这种方式，实现了一个综合的编解码系统，能够在壁画数字化修复中有效地提取编码特征、完成修复任务，并通过引导模块实现内容-风格网络的先验引导，从而确保修复效果的真实性和还原程度。
Sb22、训练线稿修复网络：
Sb221、制作线稿受损图像：采用人工笔触和随机掩膜两种形式生成不同受损程度的线稿受损图像，模拟不同场景下的线稿受损；
Sb222、构建一个包含完整线稿图像、受损线稿图像和修复后的线稿图像的数据集，要求确保数据集中的线稿是准确的，经过了人工检查和修正。
训练特征空间表示下的U-Net去噪网络，在训练过程中，将受损线稿图像作为网络的输入，修复后的线稿图像作为目标输出，并将线稿的初始结构定义为约束条件，其损失函数定义为下式：
式中，LLDM表示整体损失；Eε(x),y,∈～(0,1),t表示图像输入、步数信息、条件信息下对噪声的预测结果；∈表示编码器；∈θ表示去噪的自编码器；zt表示图像的潜在空间表达；t表示步数；τθ(y)表示条件；Sb223、人工确认修复后的线稿图像，并确认修复后的线稿图像与原始内容图像叠加，以构成下一层修复网络的输入；
Sb23、采用分阶段的策略训练内容-风格联合修复网络：
Sb231、固定风格U-Net网络，训练内容U-Net网络：
在内容U-Net网络的训练中，输入内容是编码后的完整图像与上采样的损坏图像的残差图像，通过扩散过程和去噪过程完成对去噪网络的训练，最终完成对于差异图像内容的预测，并将预测结果与损坏图像相加得到完整图像，减少了训练过程的难度与不稳定性，并对内容中的高频细节差异进行了学习；
Sb232、输入经内容U-Net网络修复后的图像，并固定内容U-Net网络，训练风格U-Net网络；
内容-风格联合修复网络能够同时处理内容修复和风格转换任务，通过内容修复U-Net和风格转换U-Net的协同工作，还原数字化壁画的内容和风格。同时，编码引导模块的引入有助于提供有用的先验信息，帮助网络更好地完成修复任务。
S3、利用扩散模型对于不同受损程度的壁画图像采取不同的数字化修复策略；
优选的，在步骤S3中，低受损程度图像的修复步骤为：
第一步：利用受损区域标注模块标注待修复的受损区域：首先使用基于YOLOv8的预训练全景分割模型对输入图像进行实例分割(YOLOv8通过主干网络和特征金字塔网络实现多尺度特征提取，含有检测分支和分割分支，可以对所有实例进行全景分割)，生成各个区域段的像素级掩码和边界框信息；而后在全景分割的基础上，通过文物修复人员的交互操作，准确定位感兴趣的受损区域，输出感兴趣的受损区域的精细掩码；通过受损区域标注模块可以完成对受损图像的精确定位，使后续内容修复关键集中于受损区域而保持修复结果忠实性，提高修复的精确性和效率。
上述结合了全景分割与交互分割的优势，既具有效率，也保证精度。全景分割可以快速提供候选目标区域，交互分割进一步提高关键区域的提取准确性。与全手动标注相比，该方法更高效；与全自动分割相比，结果更加准确。从而形成的精准受损区域掩膜，为后续模块提供了有效的先验信息，指导模型仅针对受损区域生成修复内容，而保留未损区域的原始内容，提升数字修复系统对局部受损的还原能力，使最终结果更加逼真。
第二步：内容修复：在内容修复模块中，基于U-Net网络架构，引入特征引导模块，利用特征引导模块经CNN提取完整图像的特征，再通过交叉注意力机制融合到U-Net层中，计算高斯分布的KL散度为损失进行迭代更新，通过去噪完成对内容的修复；
第三步：风格统一：利用风格统一模块对壁画整体风格的认知能力(风格统一模块中主要使用了预训练的风格模型，该模型通过在预训练过程中对多幅壁画整体风格的学习，具有对壁画整体风格的认知能力)，完成对整体画面风格的统一修复，确保受损区域与壁画图像整体的风格协调一致；
高受损程度图像的修复步骤为：
第一步：线稿修复：利用线稿修复模块恢复高受损程度图像的基本结构和轮廓，在线稿修复模块中，通过Canny算子提取高受损图像的线稿结构作为待修复内容，然后进入线稿修复模块进行修复，通过线稿去噪网络中重复的逆向去噪处理，得到完整线稿图像的线稿结构，将所得的完整线稿图像的线稿结构与初始的受损线稿图像进行叠加，得到具有完整线稿和受损画面的图像，作为下一修复阶段中的受损线稿图像；
第二步：内容修复：利用内容修复模块填补经线稿修复后的高受损程度图像，经内容修复后的高受损程度图像返回步骤Sb2作为输入的训练数据，以帮助模型迭代优化；
第三步：风格统一：利用风格统一模块对壁画整体风格的认知能力，完成对整体画面风格的统一修复，确保受损区域与壁画图像整体的风格协调一致；本实施例的风格包括颜色、纹理和艺术风格的统一，有助于达到修复结果的高度逼真性和艺术性，使其与原始壁画相符。尤其是在大面积重建的情况下，需要保持对原风格的忠实还原程度
线稿修复包括以下步骤：首先在完整图像中利用Canny边缘检测算子提取线稿图像，使用预训练的VQVAE编码器对线稿图像进行编码，得到离散的语义向量表示；然后引入线稿修复网络去噪，完成去噪后使用解码器重新解码成线稿图像；最后进入后处理阶段，进行人工检查和修正，确保输出的线稿图像结构清晰合理，再将修复后的线稿图像与原始受损线稿图像内容叠加，用作下一层修复网络的输入。
S4、评估修复结果。
优选的，在步骤S4中，使用定性与定量相结合的评估机制，其中定量指的是：使用定量指标(如PSNR)评估图像修复的效果；定性指的是：引入专业人员进行主观评分，结合各项指标的综合权重给出综合评分意见。
因此，本发明采用上述基于扩散模型的壁画数字化修复系统及方法，通过多模块的集成，实现了对于壁画的分析修复与利用，同时通过模拟壁画真实修复流程，按照线稿-内容-风格的技术路线进行修复，确保修复效果的真实性与还原程度，从而实现了对不同程度受损壁画的智能化、人机协同的数字化修复，以有效地恢复壁画的原始面貌，DARS整个流程高度模块化，分步修复技术确保每一步骤的修复质量，确保对历史壁画的智能化保护与修复。
最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。
Claims (4)
1.基于扩散模型的壁画数字化修复系统，其特征在于：包括由受损程度评级模块、受损区域标注模块、线稿修复模块、内容修复模块、风格统一模块组成的扩散模型；
受损程度评级模块，用于根据壁画图像的受损程度分级，便于后续根据分级结果执行分级修复策略；
受损区域标注模块，用于标注壁画图像中的受损区域的位置和范围；
线稿修复模块，用于重建壁画图像的基本线稿；
内容修复模块，用于对壁画图像的画面进行修复；
风格统一模块，用于对壁画图像的整体风格进行色彩统一；
基于多层次网络架构模型DARM，多层次网络架构模型DARM包括异构级联图编解码网络、线稿修复网络和内容-风格联合修复网络；
异构级联图编解码网络，用于在内容-风格联合修复网络的中间层引入原图编码特征进行先验引导作为先验特征；
线稿修复网络，用于完成对于线稿结构的修复任务；
内容-风格联合修复网络，用于内容修复以及风格转化；
异构级联图编解码网络包括向量量化变自动编码器、解码器和残差引导模块，其中，向量量化变自动编码器用于使用预训练的VQVAE编码器对壁画图像进行矢量量化，提取语义级的离散表示；解码器用于对隐空间修复结果的解码，得到最终的修复结果；
向量量化变自动编码器包括卷积层、向量量化层和损失函数，卷积层用于提取输入图像的特征表示，向量量化层用于将特征映射到离散的代码书中，损失函数用于优化向量量化变自动编码器的参数；
解码器由对称设置的卷积层和全连接层组成；
残差引导模块采用卷积神经网络结构，其由卷积层、池化层和全连接层组成；
内容-风格联合修复网络采用联合U-Net的模式，内容-风格联合修复网络包括内容U-Net网络和风格U-Net网络；内容U-Net网络用于根据输入的残差图像，恢复受损区域的缺失内容；风格U-Net网络用于将经内容修复后的图像进行风格转换，使其与壁画的风格相符；
内容U-Net网络的编码器和解码器均为对称的U形结构，其中，内容U-Net网络的编码器用于逐渐降低图像分辨率并提取特征表示，内容U-Net网络的解码器用于逐渐恢复图像分辨率并生成内容修复后的图像；
通过交叉注意力机制在U-Net网络中引入先验特征，并在内容U-Net网络的前期和风格U-Net网络的后期逐步增加引导权重，实现了在内容修复的前期进行约束，并允许在内容修复后期生成新内容，且在风格U-Net网络的后期加入残差引导以规范整体风格；
引导模块采用CNN结构，其包括卷积层和池化层，用于提取图像的内容和风格信息；
线稿修复网络为去噪U-Net网络结构，其内部具有残差连接。
2.如上述权利要求1所述的基于扩散模型的壁画数字化修复系统的方法，其特征在于：包括以下步骤：
S1、收集壁画图像，并利用受损程度评级模块评估壁画图像受损程度并分级；
S2、训练扩散模型以及多层次网络架构模型DARM；
在步骤S2中，将优质图像作为预训练扩散模型的训练数据，且在训练过程中，采用渐进式增大残差图像中的损坏程度进行训练；
步骤S2所述的扩散模型训练步骤如下：
Sa21、训练线稿修复模块：
Sa211、预处理数据集：首先从预置数据库中获得优质图像作为完整图像，然后对完整图像应用Canny边缘检测算子，以获取目标线稿图像；
Sa212、构建线稿预训练数据集：其包括完整线稿图像和受损线稿图像，其中完整线稿图像为完整图像，受损线稿图像通过两种方式生成：一种是使用随机涂抹完整图像，对完整图像中部分像素随机添加mask，另一种是通过人工制造笔画破损完整图像；每张图像都分别经过两种受损处理，以增加预训练数据集；且受损线稿图像整体模拟受损区域分别是30％、60％、90％，以满足不同受损程度的修复任务；
Sa213、训练生成线稿修复模块：将构建好线稿预训练数据集输入线稿修复网络中进行预训练；
Sa214、迭代与人工微调：对所得到的线稿修复模块进行应用检测，使用人工监督的方式观察线稿修复模块的缺陷，在此基础上再微调训练数据集与训练轮次，进行模型的迭代优化更新；
Sa22、训练内容修复模块：
Sa221、构建内容预训练数据集：在预置数据库中选择优质图像作为完整图像，并经过多尺度处理，获得不同大小面片的内容表征，再使用Canny边缘检测算子方法提取不同面片大小对应的线稿图，得到多尺度的线稿图，再将多尺度的线稿图与原始优质图像集合得到内容预训练数据集；
Sa222、预训练内容修复模块：其包括两个阶段：第一阶段，固定风格修复模块，训练优化内容修复模块；第二阶段，结合风格修复模块和引导模块进行整体微调，得到初步内容修复模型；
Sa223、人工微调：将实际训练数据引入初步内容修复模型，观察修复效果并进行细节微调，最终得到内容修复模型；
Sa24、训练风格修复模块：
Sa241、构建风格预训练数据集：在预置数据库中选择优质图像作为完整图像，对于完整图像风格做文本标注；
Sa242、预训练风格模型：输入内容修复结果并在去噪U-Net网络的后期使用残差图像特征做引导，完成训练；其包括两个阶段：第一阶段，固定内容修复模型，训练优化风格修复网络；第二阶段，结合内容修复模型和引导模块做整体微调，得到初步风格修复模型；
Sa243、人工微调：将实际训练数据引入初步风格修复模型，进行细节微调，最终得到风格修复模型；
步骤S2所述的多层次网络架构模型DARM训练步骤如下：
Sb21、训练异构级联图编解码网络：
Sb211、固定向量量化变自动编码器训练解码器还原输入图像，并通过优化重构损失函数训练解码器的还原能力；
Sb212、固定向量量化变自动编码器和解码器训练残差引导模块，训练生成先验特征；
Sb213、使用异构编解码器和联合Unet进行整体参数的进一步优化，整合并重新加权两部分的损失函数，进行小幅度的参数调整，以确保特征引导模块在联合修复模块中完成特征引导；
在步骤Sb211中，使用VQVAE中训练编解码过程；
步骤Sb212中所述的残差引导模块是针对完整图像与重构后的损坏图像的残差图像的编码器，编码得到残差特征输入内容-风格联合修复网络，将内容损失和风格损失加权整合为整体损失进行优化，最终期望得到对内容风格网络重要的编码特征；
步骤Sb213中所述的异构编解码器和联合Unet形成了Encoder-Decoder-Guide的整体网络，减小学习率的设定；其具体包括以下步骤：
Sb2131、将整体损失设置为加权后的重构损失与内容风格损失；
Sb2132、在风格修复网络和内容修复网络中同时激活特征引导模块进行训练，并将整体损失为损失函数进行优化；
Sb2133、选取联合效果最佳的网络参数为最终的编解码模型；
在Sb2132中，设定α、β、γ、δ是权重系数，其中α表示重建损失的权重系数；β表示内容修复损失的权重系数；γ表示风格重建损失的权重系数；δ表示特征引导损失的权重系数，则整体损失表达式如下：
L_total＝α*L_reconstruction+β*L_content+γ*L_style+δ*L_guide
式中，L_total表示整体损失；L_reconstruction表示重建损失；L_content表示内容修复损失；L_style表示风格修复损失；L_guide表示特征引导损失；
在步骤Sb212中，利用残差引导模块的全连接层将提取的特征编码成一个残差特征向量，并将其引入内容U-Net网络与风格U-Net网络的中间层进行融合，以提供内容-风格联合修复网络中的先验引导，且在内容U-Net网络后期逐步减少原图编码特征，在风格U-Net后期逐步增加原图编码特征；
Sb22、训练线稿修复网络：
Sb221、制作线稿受损图像：采用人工笔触和随机掩膜两种形式生成不同受损程度的线稿受损图像，模拟不同场景下的线稿受损；
Sb222、构建一个包含完整线稿图像、受损线稿图像和修复后的线稿图像的数据集；
训练特征空间表示下的U-Net去噪网络，在训练过程中，将受损线稿图像作为网络的输入，修复后的线稿图像作为目标输出，并将线稿的初始结构定义为约束条件，其损失函数定义为下式：
式中，LLDM表示整体损失；Eε(x),y,∈～(0,1),t表示在图像输入、步数信息、条件信息下对噪声的预测结果；∈表示编码器；∈θ表示去噪的自编码器；zt表示图像的潜在空间表达；t表示步数；τθ(y)表示条件；
Sb223、人工确认修复后的线稿图像，并确认修复后的线稿图像与原始内容图像叠加，以构成下一层修复网络的输入；
Sb23、采用分阶段的策略训练内容-风格联合修复网络：
Sb231、固定风格U-Net网络，训练内容U-Net网络：
在内容U-Net网络的训练中，输入内容是编码后的完整图像与上采样的损坏图像的残差图像，通过扩散过程和去噪过程完成对去噪网络的训练，最终完成对于差异图像内容的预测，并将预测结果与损坏图像相加得到完整图像；
Sb232、输入经内容U-Net网络修复后的图像，并固定内容U-Net网络，训练风格U-Net网络；
S3、利用扩散模型对于不同受损程度的壁画图像采取不同的数字化修复策略；
在步骤S3中，低受损程度图像的修复步骤为：
第一步：利用受损区域标注模块标注待修复的受损区域：首先使用基于YOLOv8的预训练全景分割模型对输入图像进行实例分割，生成各个区域段的像素级掩码和边界框信息；而后在全景分割的基础上，通过文物修复人员的交互操作，准确定位感兴趣的受损区域，输出感兴趣的受损区域的精细掩码；
第二步：内容修复：在内容修复模块中，基于U-Net网络架构，引入特征引导模块，利用特征引导模块经CNN提取完整图像的特征，再通过交叉注意力机制融合到U-Net层中，计算高斯分布的KL散度为损失进行迭代更新，通过去噪完成对内容的修复；
第三步：风格统一：利用风格统一模块对壁画整体风格的认知能力，完成对整体画面风格的统一修复，确保受损区域与壁画图像整体的风格协调一致；
高受损程度图像的修复步骤为：
第一步：线稿修复：利用线稿修复模块恢复高受损程度图像的基本结构和轮廓，在线稿修复模块中，通过Canny算子提取高受损图像的线稿结构作为待修复内容，然后进入线稿修复模块进行修复，通过线稿去噪网络中重复的逆向去噪处理，得到完整线稿图像的线稿结构，将所得的完整线稿图像的线稿结构与初始的受损线稿图像进行叠加，得到具有完整线稿和受损画面的图像，作为下一修复阶段中的受损线稿图像；
第二步：内容修复：利用内容修复模块填补经线稿修复后的高受损程度图像，经内容修复后的高受损程度图像返回步骤Sb2作为输入的训练数据；
第三步：风格统一：利用风格统一模块对壁画整体风格的认知能力，完成对整体画面风格的统一修复，确保受损区域与壁画图像整体的风格协调一致；
线稿修复包括以下步骤：首先在完整图像中利用Canny边缘检测算子提取线稿图像，使用预训练的VQVAE编码器对线稿图像进行编码，得到离散的语义向量表示；然后引入线稿修复网络去噪，完成去噪后使用解码器重新解码成线稿图像；最后进入后处理阶段，进行人工检查和修正，确保输出的线稿图像结构清晰合理，再将修复后的线稿图像与原始受损线稿图像内容叠加，用作下一层修复网络的输入；
S4、评估修复结果。
3.根据权利要求2所述的基于扩散模型的壁画数字化修复系统的方法，其特征在于：在步骤S1中，根据受损程度将收集壁画图像分为优质图像、低受损程度图像、高受损程度图像，存入预置数据库。
4.根据权利要求2所述的基于扩散模型的壁画数字化修复系统的方法，其特征在于：在步骤S4中，使用定性与定量相结合的评估机制，其中定量指的是：使用定量指标评估图像修复的效果；定性指的是：引入专业人员进行主观评分，结合各项指标的综合权重给出综合评分意见。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311365641.2A CN117094919B (zh) | 2023-10-20 | 2023-10-20 | 基于扩散模型的壁画数字化修复系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311365641.2A CN117094919B (zh) | 2023-10-20 | 2023-10-20 | 基于扩散模型的壁画数字化修复系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117094919A CN117094919A (zh) | 2023-11-21 |
| CN117094919B true CN117094919B (zh) | 2023-12-15 |
Family
ID=88771957
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311365641.2A Active CN117094919B (zh) | 2023-10-20 | 2023-10-20 | 基于扩散模型的壁画数字化修复系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117094919B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117292009B (zh) * | 2023-11-24 | 2024-04-05 | 福建帝视科技集团有限公司 | 一种基于多模态和参考图像的黑白图像上色方法及终端 |
| CN118521510A (zh) * | 2024-04-12 | 2024-08-20 | 兰州交通大学 | 一种基于条件隐扩散模型的敦煌壁画数字化修复方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108665416A (zh) * | 2017-03-29 | 2018-10-16 | 清华大学 | 破损壁画修复方法及系统 |
| CN110009576A (zh) * | 2019-02-28 | 2019-07-12 | 西北大学 | 一种壁画图像修复模型建立及修复方法 |
| CN111127346A (zh) * | 2019-12-08 | 2020-05-08 | 复旦大学 | 基于部分到整体注意力机制的多层次图像修复方法 |
| CN111784602A (zh) * | 2020-06-28 | 2020-10-16 | 江西理工大学 | 一种生成对抗网络用于图像修复的方法 |
| WO2021077140A2 (en) * | 2021-02-05 | 2021-04-22 | Innopeak Technology, Inc. | Systems and methods for prior knowledge transfer for image inpainting |
-
2023
- 2023-10-20 CN CN202311365641.2A patent/CN117094919B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108665416A (zh) * | 2017-03-29 | 2018-10-16 | 清华大学 | 破损壁画修复方法及系统 |
| CN110009576A (zh) * | 2019-02-28 | 2019-07-12 | 西北大学 | 一种壁画图像修复模型建立及修复方法 |
| CN111127346A (zh) * | 2019-12-08 | 2020-05-08 | 复旦大学 | 基于部分到整体注意力机制的多层次图像修复方法 |
| CN111784602A (zh) * | 2020-06-28 | 2020-10-16 | 江西理工大学 | 一种生成对抗网络用于图像修复的方法 |
| WO2021077140A2 (en) * | 2021-02-05 | 2021-04-22 | Innopeak Technology, Inc. | Systems and methods for prior knowledge transfer for image inpainting |
Non-Patent Citations (3)
| Title |
|---|
| 图像修复方法综述;李雪涛等;《激光与光电子学进展》;第60卷(第2期);第0200002-1至0200002-16页 * |
| 基于多层次融合的敦煌壁画轮廓线提取方法研究;刘宝锴;《哲学与人文科学辑》;第1-57页 * |
| 多尺度特征和注意力融合的生成对抗壁画修复;陈永等;《北京航空航天大学学报》;第49卷(第2期);第254-262页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117094919A (zh) | 2023-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117094919B (zh) | 基于扩散模型的壁画数字化修复系统及方法 | |
| CN112686817B (zh) | 一种基于不确定性估计的图像补全方法 | |
| CN112686816A (zh) | 一种基于内容注意力机制和掩码先验的图像补全方法 | |
| CN116090360B (zh) | 一种基于多模态实体对齐的rpa流程推荐方法 | |
| CN111222519A (zh) | 一种层次化彩绘文物线稿提取模型构建、方法及装置 | |
| CN114638768B (zh) | 一种基于动态关联学习网络的图像去雨方法、系统及设备 | |
| CN110895795A (zh) | 改进的语义图像修补模型方法 | |
| CN116258854A (zh) | 一种基于密集连接策略和图像梯度的路面裂缝分割方法 | |
| CN116503513A (zh) | 一种基于条件扩散模型的草图引导图像编辑方法 | |
| CN118097318B (zh) | 基于视觉语义融合的可控缺陷图像生成方法及设备 | |
| Lv et al. | SeparaFill: Two generators connected mural image restoration based on generative adversarial network with skip connect | |
| CN113487512B (zh) | 一种基于边缘信息指导的数字图像修复方法及装置 | |
| CN118212240A (zh) | 一种汽车齿轮生产缺陷检测方法 | |
| CN117974444A (zh) | 基于扩散模型的海面高度超分辨率重建方法 | |
| CN113034388A (zh) | 一种古代绘画虚拟修复方法及修复模型的构建方法 | |
| CN117671429A (zh) | 一种基于扩散模型的零件表面缺陷生成与嵌入方法 | |
| Zhang et al. | Colorization for anime sketches with cycle-consistent adversarial network | |
| CN116523985B (zh) | 一种结构和纹理特征引导的双编码器图像修复方法 | |
| CN116109510A (zh) | 一种基于结构和纹理对偶生成的人脸图像修复方法 | |
| CN116309157A (zh) | 一种结合递归式推理与特征再优化的秦俑纹理修复方法 | |
| Liu et al. | Old-Photo Restoration with Detail-and Structure-Enhanced Cascaded Learning | |
| CN114596218A (zh) | 基于卷积神经网络的古代绘画图像修复方法、模型和装置 | |
| CN115034965A (zh) | 基于深度学习的超分辨率水下图像增强方法及系统 | |
| Lee et al. | AutoCaCoNet: Automatic Cartoon Colorization Network using self-attention GAN, segmentation, and color correction | |
| Ashwini et al. | Enhancing the Resolution of Ancient Artworks using Generative Adversarial Networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |