CN116309157A - 一种结合递归式推理与特征再优化的秦俑纹理修复方法 - Google Patents

一种结合递归式推理与特征再优化的秦俑纹理修复方法 Download PDF

Info

Publication number
CN116309157A
CN116309157A CN202310257663.0A CN202310257663A CN116309157A CN 116309157 A CN116309157 A CN 116309157A CN 202310257663 A CN202310257663 A CN 202310257663A CN 116309157 A CN116309157 A CN 116309157A
Authority
CN
China
Prior art keywords
feature
texture
image
map
qin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310257663.0A
Other languages
English (en)
Inventor
周明全
南海阳
周蓬勃
任勇
刘阳洋
曹欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NORTHWEST UNIVERSITY
Original Assignee
NORTHWEST UNIVERSITY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NORTHWEST UNIVERSITY filed Critical NORTHWEST UNIVERSITY
Priority to CN202310257663.0A priority Critical patent/CN116309157A/zh
Publication of CN116309157A publication Critical patent/CN116309157A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种结合递归式推理与特征再优化的秦俑纹理修复方法，包括步骤：1、采用基于标记的分水岭算法得到待修复纹理区域的二值黑白掩码图，将其与破损秦俑纹理图像作为神经网络的输入；2、动态识别当前待修复区域，生成每轮次的待修复圈层区域；3、进行特征层面上的多次递归式推理，在卷积神经网络多次推理特征的基础上加入知识一致注意力机制，以合成高质量的特征；4、自适应地聚合各轮所产生的特征图，逐步完善对纹理缺失部分的特征推理；5、优化不同分辨率尺度的中间特征从而提升待修复区域的特征填充质量，解码特征图得到修复后的完整秦俑纹理图像。本发明可以对不同分辨率秦俑纹理图进行高质量修复，具有良好的图像修复性能。

Description

一种结合递归式推理与特征再优化的秦俑纹理修复方法
技术领域
本发明属于文物修复技术领域，具体是一种结合递归式推理与特征再优化的秦俑纹理修复方法。
背景技术
文物修复是运用传统工艺和现代技术手段直接在文物上进行物理的和化学的修复措施，以保存和认识文物的艺术和历史原貌，减缓或终止文物病害，保证文物安全并能使其长期保存，是文物保护的重要组成部分。
由于文物出土后几乎不存在完好无损的情况，需要运用现代信息技术将采集的文物数据进行数据预处理、碎片分类和拼接从而得到文物的数字化三维模型，其表面包含丰富的二维文物纹理信息。但是，因文物自身缺陷，运用计算机扫描技术进行数字化后的文物模型，表面纹理仍存在大量划痕与破损，甚至存在较多孔洞、缺失等。目前，针对以秦兵马俑为代表的文物纹理修复方法中，主要以基于模型的修复方法为主，包括基于偏微分方程的方法、基于样本图的方法、基于变分的方法等。虽然基于模型的方法理论基础较为牢固，具有较为稳定的理论保证，针对噪声、模糊等问题修复效果较为有效，但是，其仅适用于处理边缘、划痕等小尺寸图像破损的修复，而其对大尺度破损修复效果易于模糊、失效；而且，其针对特定的修复任务，需要大量的本领域专业知识与先验信息，还要对具有不同特性的图像设计不同的模型，对图像的实时性修复满足程度较差，整体修复效率偏低。况且，由于文物表面纹理进行修复的领域较为冷门，加之秦俑图像纹理数据集收集不易，使得相关的图像处理研究较少，从而导致现有的文物修复方法少，且存在修复质量欠佳、可修复分辨率跨度小和可迁移性弱等问题。此外，运用机器学习神经网络对多分辨率秦俑纹理图进行修复时，对训练集数量的要求增大，易造成网络模型冗余度高，难以提高修复的可迁移性。
鉴于保持文物完整性与精确性是对数字化文物进行表面纹理与立体几何形状的多维度修复的根本要求，其对后续的文物拼接配准、精细分类、语义分割、虚拟展示，以及数字化智慧博物馆、文化遗产元宇宙的建立有着积极的意义，因此亟需提供一种能够实现不同分辨率秦俑纹理图的高质量修复方法，在不添加过多额外参数的前提下，实现不同分辨率秦俑纹理图的高质量修复，从而更好的文物图像修复性能。
发明内容
针对现有技术存在的不足，本发明的目的是提供一种结合递归式推理与特征再优化的秦俑纹理修复方法，可以对不同分辨率秦俑纹理图进行高质量修复，具有良好的图像修复性能。
为了实现上述目的，本发明采用以下技术方案予以实现：
一种结合递归式推理与特征再优化的秦俑纹理修复方法，包括如下步骤：
步骤1、对破损秦俑纹理图像进行待修复区域的识别与标注，采用基于标记的分水岭算法对标注后的兵马俑表层纹理缺失图像进行图像分割，得到待修复纹理区域的二值黑白掩码图，将破损秦俑纹理图像与二值黑白掩码图作为神经网络的输入；
步骤2、通过待修复区域识别网络模块完成纹理图与掩码图的动态映射，确定当前迭代轮次的待更新填充区域，面向秦俑表面纹理的待修复区域，随着破损区域修复程度的深化，迭代更新特征和掩码，生成每轮次的待修复圈层区域；
步骤3、切入特征推理网络模块，面向待修复条状区域带，采用卷积神经网络对填充区域进行特征层面上的多次递归式推理，在卷积神经网络多次推理特征的基础上加入每轮迭代间的知识一致注意力机制，以合成高质量的特征；
步骤4、多次递归推理的特征结果自适应地聚合于本轮待补全区域，并进入特征聚合网络模块，汇聚各相邻轮次的优质特征信息，自适应地聚合各轮所产生的特征图，由外而内地逐层次缩小待修复填充的范围，用生成的高质量特征值填充本区域，层层完善对特征图缺失部分的填充；
步骤5、特征图填充完毕后，进入中间特征优化网络模块，通过多分辨率反向传播的思路对不同分辨率尺度的中间特征进行优化从而提升待修复区域的特征填充质量，然后对优化后的聚合特征进行解码，得到修复后的完整秦俑纹理图像。
进一步地，所述步骤1的具体过程为：
步骤1.1、将秦俑纹理图Q0中的破损区域进行人工标记，得到含有标记的待修复秦俑纹理图像Q1，标记区域作为纹理图的目标修复区域；
步骤1.2、采用基于标记的分水岭算法对含有标记的纹理图Q1进行图像分割，基于图像前景和背景的标记生成图像分割种子点集合，遍历每个种子点且进行扩展；
步骤1.3、由扩展后的种子点确定切割分界轮廓线，并用黑白颜色填充分割图像，得到与待修复图相对应的黑白掩码图M1，将黑白掩码图M1和含有标记的纹理图Q1作为神经网络的输入。
进一步地，所述步骤2的具体过程为：
步骤2.1、在含有标记的纹理图Q1中，将待修复区域视为无效像素区域从而不进行卷积，只采用部分卷积对图像的有效像素区域进行卷积，特征图中的有效区域
Figure BDA0004130217700000031
为每点特征图块fx,与掩码图块mx,逐点乘积，表示为：
Figure BDA0004130217700000032
式中，Cz代表模块卷积层的第z个卷积核，T表示转置，x,y代表特征点的横坐标和纵坐标，b代表偏移量；
步骤2.2、本轮卷积结束后，识别本轮迭代中特征图的掩码图待更新区域，通过权重因子sum(mx,)！利用掩码边缘像素点特征信息，加强图像破损边缘像素点的呈现，动态更新的掩码图中的任意点
Figure BDA0004130217700000033
表示为：
Figure BDA0004130217700000034
步骤2.3、对于动态更新的掩码图中的任意点
Figure BDA0004130217700000035
将无效像素区域掩码进行收紧，将有效像素区域掩码进行扩张，以窗口半径为参数对掩码图中的有效区域进行拓展；
步骤2.4、更新后的掩膜与更新前的掩码之差作为新一轮迭代需要填补更新的每轮次的待修复圈层区域，直到循环至下一层后，再一次缩小待补全区域。
进一步地，所述步骤3的具体过程为：
步骤3.1、在特征图层面渐进循环地进行递归式特征推理，以添加了跳跃连接的编解码器为基础，由外到内地逐步补全特征图的待补全区域；
步骤3.2、在卷积神经网络多次推理特征的基础上加入知识一致性注意力机制，融合相邻的两个迭代轮次的信息，从背景中搜索合适的纹理像素以替换特征图缺失区域中的像素点；
步骤3.3、汇集不同循环间的注意力得分，按比例生成累计分值并用作特征图重建的产生过程，以合成高质量特征并补全相应位置。
进一步地，所述步骤4的具体过程为：
步骤4.1、聚焦于已补全的相应位置，只对本轮待补全区域中的有效修复位置的特征点进行平均运算融合，N个轮次特征聚合结果
Figure BDA0004130217700000041
表示为：
Figure BDA0004130217700000042
式中，i代表第i个特征点；
步骤4.2、在模块的特征聚合部分加入注意力机制，对聚合特征图的特征值进行优化，且不改变聚合特征图的尺寸；
步骤4.3、持续进行特征聚合与特征图的填充，当特征图中的待补区域被完全填充或已经达到迭代上限，得到最终的聚合特征图。
进一步地，所述步骤5的具体过程为：
步骤5.1、超出网络原训练分辨率的纹理与掩码图P0在中间特征优化网络模块的网络编码阶段生成中间特征图F0；
步骤5.2、中间特征图F0经解码生成初步修复图像W0，采用双线性插值对图像下采样，经过高斯滤波平滑处理将初步修复图像W0缩小至与网络训练分辨率一致的图像W2；
步骤5.3、采用双线性插值对图像下采样，将纹理与掩码图P0缩小至与网络最优分辨率相同大小的图P1，对图P1进行相同的编解码操作，得低分辨率的优质修复结果图W1；
步骤5.4、计算W2与W1的平滑平均绝对误差损失，采用反向传播机制优化中间特征图F0；
步骤5.5、经过步骤5.1-步骤5.4的迭代后，得到最终的优化后的聚合特征，对该优化特征进行解码，生成高于原网络分辨率的高分修复图。
本发明与现有技术相比，具有如下技术效果：
本发明从人体大脑的图像修复思维中得到灵感，通过多轮次推理并优化纹理图像的数字化特征，以纹理中缺失部分的边缘为起点，进行由浅入深的层层填充，再通过中间特征的再优化，实现不同分辨率秦俑纹理图的高质量修复；可对以秦俑为代表的多尺度文物纹理进行更为优质的修复，解决了不同分辨率文物图像修复质量欠佳与可迁移性弱的问题，具备更好的稳定性、鲁棒性与更为优质的图像修复性能，使数字化文物的纹理得到更好的修复与传承。
附图说明
图1是本发明的流程图；
图2是本发明的神经网络结构示意图；
图3是本发明提供的中间特征在优化网络模块的结构示意图；
图4是不同图像修复方法效果指标对比分析图。
具体实施方式
以下结合实施例对本发明的具体内容做进一步详细解释说明。
如图1和图2所示，一种结合递归式推理与特征再优化的秦俑纹理修复方法，包括如下步骤：
步骤1、对破损秦俑纹理图像进行待修复区域的识别与标注，采用基于标记的分水岭算法对标注后的兵马俑表层纹理缺失图像进行图像分割，得到待修复纹理区域的二值黑白掩码图，将破损秦俑纹理图像与二值黑白掩码图作为神经网络的输入，具体包括如下步骤：
步骤1.1、将分辨率为256*256的秦俑纹理图Q0中的破损区域进行人工标记，得到含有白色轮廓标记的待修复秦俑纹理图像Q1，标记区域作为纹理图的目标修复区域；
步骤1.2、采用基于标记的分水岭算法对含有标记的纹理图Q1进行图像分割，基于图像前景和背景的标记生成图像分割种子点集合，遍历每个种子点且进行扩展，前景设为白色，背景设为黑色；
步骤1.3、由扩展后的种子点确定切割分界轮廓线，并用黑白颜色填充分割图像，得到与待修复图相对应的黑白掩码图M1，将黑白掩码图M1和含有标记的纹理图Q1共同作为神经网络的输入；
步骤2、通过待修复区域识别网络模块完成纹理图与掩码图的动态映射，确定当前迭代轮次的待更新填充区域，面向秦俑表面纹理的待修复区域，随着破损区域修复程度的深化，迭代更新特征和掩码，生成每轮次的待修复圈层区域，具体包括如下步骤：
步骤2.1、在含有标记的纹理图Q1中，将待修复区域视为无效像素区域从而不进行卷积，只采用部分卷积针对性地对图像的有效像素区域进行卷积，特征图中的有效区域
Figure BDA0004130217700000061
为每点特征图块fx,与掩码图块mx,逐点乘积，表示为：
Figure BDA0004130217700000062
式中，Cz代表模块卷积层的第z个卷积核，T表示转置，x,y代表特征点的横坐标和纵坐标，b代表偏移量；
步骤2.2、本轮卷积结束后，识别本轮迭代中特征图的掩码图待更新区域，通过权重因子sum(mx,)！利用掩码边缘像素点特征信息，加强图像破损边缘像素点的有效性呈现，动态更新的掩码图中的任意点
Figure BDA0004130217700000063
表示为：
Figure BDA0004130217700000064
步骤2.3、对于动态更新的掩码图中的任意点
Figure BDA0004130217700000065
将无效像素区域掩码进行收紧，将有效像素区域掩码进行扩张，以窗口半径为参数对掩码图中的有效区域进行拓展；
步骤2.4、更新后的掩膜与更新前的掩码之差，作为新一轮迭代需要填补更新的条状定位区域，直到循环至下一层后，再一次缩小待补全区域；
步骤3、在下一网络阶段切入特征推理网络模块，面向待修复条状区域带，采用卷积神经网络对填充区域进行特征层面上的多次递归式推理，在卷积神经网络多次推理特征的基础上加入每轮迭代间的知识一致注意力机制，以合成高质量的特征，具体包括如下过程：
步骤3.1、在特征图层面渐进循环地进行递归式特征推理，以添加了跳跃连接的编解码器为基础，由外到内地逐步补全特征图的待补全区域；
步骤3.2、在卷积神经网络多次推理特征的基础上加入知识一致性注意力机制，融合相邻的两个迭代轮次的信息，从背景中搜索合适的纹理像素以替换特征图缺失区域中的像素点；
步骤3.3、汇集不同循环间的注意力得分，按比例生成累计分值，作用于特征图重建的产生过程，以辅助合成高质量特征并补全相应位置；
步骤4、多次递归推理的特征结果自适应地聚合于本轮待补全区域，并进入特征聚合网络模块，汇聚各相邻轮次的优质特征信息，自适应地聚合各轮所产生的特征图，由外而内地逐层次缩小待修复填充的范围，用生成的高质量特征值填充本区域，层层完善对特征图缺失部分的填充，具体包括如下过程：
步骤4.1、聚焦于已补全的相应位置，只对本轮待补全区域中的有效修复位置的特征点进行平均运算融合，N个轮次特征聚合结果
Figure BDA0004130217700000071
表示为：
Figure BDA0004130217700000072
式中，i代表第i个特征点；
步骤4.2、在模块的特征聚合部分加入注意力机制，对聚合特征图的特征值进行优化，且不改变聚合特征图的尺寸；
步骤4.3、持续进行特征聚合与特征图的填充，当特征图中的待补区域被完全填充或已经达到迭代上限，上限设为8次，得到最终的聚合特征图；
步骤5、特征图填充完毕后，进入中间特征优化网络模块，通过多分辨率反向传播的思路对不同分辨率尺度的中间特征进行优化从而提升待修复区域的特征填充质量，然后对优化后的聚合特征进行解码，得到修复后的完整秦俑纹理图，如图3所示，具体过程为：
步骤5.1、超出网络原训练分辨率256*256的纹理与掩码图，即512*512高分辨率待修复图像P0，在在中间特征优化网络模块的网络编码阶段生成中间特征图F0；
步骤5.2、中间特征图F0经解码生成初步修复图像W0，采用双线性插值对图像下采样，经过高斯滤波平滑处理将初步修复图像W0缩小至与网络训练分辨率一致的256*256图像W2；
步骤5.3、采用双线性插值对图像下采样，将纹理与掩码图P0缩小至与网络最优分辨率相同大小的图P1，对图P1进行相同的编解码操作，得低分辨率的256*256优质修复结果图W1；
步骤5.4、计算W2与W1的平滑平均绝对误差损失，采用反向传播机制优化中间特征图F0；
步骤5.5、经过步骤5.1-步骤5.4的迭代后，得到最终的优化后的聚合特征，对优化特征进行解码，生成高于原网络分辨率512*512的高分修复图。
如图4所示，利用峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)、结构相似性指数(Structural Similarity Index,SSIM)、傅里叶起始距离(Fréchet InceptionDistance,FID)和可学习感知图像块相似性(Learned Perceptual Image PatchSimilarity,LPIPS对本实施例的效果做出详细描述，其中：
1)、PSNR为图像峰值信号能量与均方差之比，对破损秦俑纹理图像和修复后的完整秦俑纹理图像求得的PSNR越大，表示图像修复质量越好；
2)、SSIM是无单位相似性指标，分值介于-1到1之间，是对基于图像信号的局部结构信息，对破损秦俑纹理图像和修复后的完整秦俑纹理图像的亮度、对比度、结构进行比较，以评估图像数字修复的质量，两幅图互为反色则得分为-1，完全不同的两图分数为0，两图像完全相同则分值为1；
3)、FID，指从特征统计方面评估与比对效果，通过比较修复图像的特征向量与真实图像特征向量之间的傅里叶距离来进行衡量，FID的正态分布距离越小，表示修复图像和真实图像之间特征统计量越相似，修复网络的生成与填充质量越好，若FID分值为0，则表示破损秦俑纹理图像和修复后的完整秦俑纹理图像完全相同；
4)、LPIPS，是指以感知相似度的度量出发，对特征维度的差异进行运算，LPIPS计算结果数值越小，表示破损秦俑纹理图像和修复后的完整秦俑纹理图像之间差异越小，图像感知质量就越好。
从图4可以看出，本实施例(Ours)的结合递归式推理与特征再优化的秦俑纹理修复方法于与其它图像修复方法相比，在各项修复效果度量指标中均达到了最优效果。

Claims (6)

1.一种结合递归式推理与特征再优化的秦俑纹理修复方法，其特征在于，包括如下步骤：
步骤1、对破损秦俑纹理图像进行待修复区域的识别与标注，采用基于标记的分水岭算法对标注后的兵马俑表层纹理缺失图像进行图像分割，得到待修复纹理区域的二值黑白掩码图，将破损秦俑纹理图像与二值黑白掩码图作为神经网络的输入；
步骤2、通过待修复区域识别网络模块完成纹理图与掩码图的动态映射，确定当前迭代轮次的待更新填充区域，面向秦俑表面纹理的待修复区域，随着破损区域修复程度的深化，迭代更新特征和掩码，生成每轮次的待修复圈层区域；
步骤3、切入特征推理网络模块，面向待修复条状区域带，采用卷积神经网络对填充区域进行特征层面上的多次递归式推理，在卷积神经网络多次推理特征的基础上加入每轮迭代间的知识一致注意力机制，以合成高质量的特征；
步骤4、多次递归推理的特征结果自适应地聚合于本轮待补全区域，并进入特征聚合网络模块，汇聚各相邻轮次的优质特征信息，自适应地聚合各轮所产生的特征图，由外而内地逐层次缩小待修复填充的范围，用生成的高质量特征值填充本区域，层层完善对特征图缺失部分的填充；
步骤5、特征图填充完毕后，进入中间特征优化网络模块，通过多分辨率反向传播的思路对不同分辨率尺度的中间特征进行优化从而提升待修复区域的特征填充质量，然后对优化后的聚合特征进行解码，得到修复后的完整秦俑纹理图像。
2.根据权利要求1所述的结合递归式推理与特征再优化的秦俑纹理修复方法，其特征在于，所述步骤1的具体过程为：
步骤1.1、将秦俑纹理图Q0中的破损区域进行人工标记，得到含有标记的待修复秦俑纹理图像Q1，标记区域作为纹理图的目标修复区域；
步骤1.2、采用基于标记的分水岭算法对含有标记的纹理图Q1进行图像分割，基于图像前景和背景的标记生成图像分割种子点集合，遍历每个种子点且进行扩展；
步骤1.3、由扩展后的种子点确定切割分界轮廓线，并用黑白颜色填充分割图像，得到与待修复图相对应的黑白掩码图M1，将黑白掩码图M1和含有标记的纹理图Q1作为神经网络的输入。
3.根据权利要求1所述的结合递归式推理与特征再优化的秦俑纹理修复方法，其特征在于，所述步骤2的具体过程为：
步骤2.1、在含有标记的纹理图Q1中，将待修复区域视为无效像素区域从而不进行卷积，只采用部分卷积对图像的有效像素区域进行卷积，特征图中的有效区域
Figure FDA0004130217690000021
为每点特征图块fx,与掩码图块mx,逐点乘积，表示为：
Figure FDA0004130217690000022
式中，Cz代表模块卷积层的第z个卷积核，T表示转置，x,y代表特征点的横坐标和纵坐标，b代表偏移量；
步骤2.2、本轮卷积结束后，识别本轮迭代中特征图的掩码图待更新区域，通过权重因子sum(mx,)！利用掩码边缘像素点特征信息，加强图像破损边缘像素点的呈现，动态更新的掩码图中的任意点
Figure FDA0004130217690000023
表示为：
Figure FDA0004130217690000024
步骤2.3、对于动态更新的掩码图中的任意点
Figure FDA0004130217690000025
将无效像素区域掩码进行收紧，将有效像素区域掩码进行扩张，以窗口半径为参数对掩码图中的有效区域进行拓展；
步骤2.4、更新后的掩膜与更新前的掩码之差作为新一轮迭代需要填补更新的每轮次的待修复圈层区域，直到循环至下一层后，再一次缩小待补全区域。
4.根据权利要求1所述的结合递归式推理与特征再优化的秦俑纹理修复方法，其特征在于，所述步骤3的具体过程为：
步骤3.1、在特征图层面渐进循环地进行递归式特征推理，以添加了跳跃连接的编解码器为基础，由外到内地逐步补全特征图的待补全区域；
步骤3.2、在卷积神经网络多次推理特征的基础上加入知识一致性注意力机制，融合相邻的两个迭代轮次的信息，从背景中搜索合适的纹理像素以替换特征图缺失区域中的像素点；
步骤3.3、汇集不同循环间的注意力得分，按比例生成累计分值并用作特征图重建的产生过程，以合成高质量特征并补全相应位置。
5.根据权利要求1所述的结合递归式推理与特征再优化的秦俑纹理修复方法，其特征在于，所述步骤4的具体过程为：
步骤4.1、聚焦于已补全的相应位置，只对本轮待补全区域中的有效修复位置的特征点进行平均运算融合，N个轮次特征聚合结果
Figure FDA0004130217690000031
表示为：
Figure FDA0004130217690000032
式中，i代表第i个特征点；
步骤4.2、在模块的特征聚合部分加入注意力机制，对聚合特征图的特征值进行优化，且不改变聚合特征图的尺寸；
步骤4.3、持续进行特征聚合与特征图的填充，当特征图中的待补区域被完全填充或已经达到迭代上限，得到最终的聚合特征图。
6.根据权利要求1所述的结合递归式推理与特征再优化的秦俑纹理修复方法，其特征在于，所述步骤5的具体过程为：
步骤5.1、超出网络原训练分辨率的纹理与掩码图P0在中间特征优化网络模块的网络编码阶段生成中间特征图F0；
步骤5.2、中间特征图F0经解码生成初步修复图像W0，采用双线性插值对图像下采样，经过高斯滤波平滑处理将初步修复图像W0缩小至与网络训练分辨率一致的图像W2；
步骤5.3、采用双线性插值对图像下采样，将纹理与掩码图P0缩小至与网络最优分辨率相同大小的图P1，对图P1进行相同的编解码操作，得低分辨率的优质修复结果图W1；
步骤5.4、计算W2与W1的平滑平均绝对误差损失，采用反向传播机制优化中间特征图F0；
步骤5.5、经过步骤5.1-步骤5.4的迭代后，得到最终的优化后的聚合特征，对该优化特征进行解码，生成高于原网络分辨率的高分修复图。
CN202310257663.0A 2023-03-16 2023-03-16 一种结合递归式推理与特征再优化的秦俑纹理修复方法 Pending CN116309157A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310257663.0A CN116309157A (zh) 2023-03-16 2023-03-16 一种结合递归式推理与特征再优化的秦俑纹理修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310257663.0A CN116309157A (zh) 2023-03-16 2023-03-16 一种结合递归式推理与特征再优化的秦俑纹理修复方法

Publications (1)

Publication Number Publication Date
CN116309157A true CN116309157A (zh) 2023-06-23

Family

ID=86802737

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310257663.0A Pending CN116309157A (zh) 2023-03-16 2023-03-16 一种结合递归式推理与特征再优化的秦俑纹理修复方法

Country Status (1)

Country Link
CN (1) CN116309157A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116596922A (zh) * 2023-07-17 2023-08-15 山东龙普太阳能股份有限公司 一种太阳能热水器生产质量检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116596922A (zh) * 2023-07-17 2023-08-15 山东龙普太阳能股份有限公司 一种太阳能热水器生产质量检测方法
CN116596922B (zh) * 2023-07-17 2023-09-12 山东龙普太阳能股份有限公司 一种太阳能热水器生产质量检测方法

Similar Documents

Publication Publication Date Title
Tang et al. Delicate textured mesh recovery from nerf via adaptive surface refinement
CN113449594B (zh) 一种多层网络组合的遥感影像地类语义分割与面积计算方法
CN108038906B (zh) 一种基于图像的三维四边形网格模型重建方法
CN105551028A (zh) 一种基于遥感影像的地理空间数据动态更新的方法及系统
CN110197505B (zh) 基于深度网络及语义信息的遥感图像双目立体匹配方法
CN109840483B (zh) 一种滑坡裂缝检测与识别的方法及装置
CN106780508A (zh) 一种基于Gabor变换的GrabCut纹理图像分割方法
CN111899295A (zh) 一种基于深度学习的单目场景深度预测方法
CN116309157A (zh) 一种结合递归式推理与特征再优化的秦俑纹理修复方法
Xu et al. Remote sensing image denoising using patch grouping-based nonlocal means algorithm
CN103020905B (zh) 针对文字图像的稀疏约束自适应nlm超分辨率重建方法
CN110363178B (zh) 基于局部和全局深度特征嵌入的机载激光点云分类方法
CN115482380A (zh) 一种基于深度学习的多等级公路三维点云目标分割方法
Jiang et al. AGD-Linknet: a road semantic segmentation model for high resolution remote sensing images integrating attention mechanism, gated decoding block and dilated convolution
CN113421210A (zh) 一种基于双目立体视觉的表面点云重建方法
CN115063679B (zh) 一种基于深度学习的路面质量评估方法
CN116883565A (zh) 一种数字孪生场景的显隐式模型融合渲染方法及应用
CN114049567B (zh) 自适应软标签生成方法以及在高光谱图像分类中的应用
Li et al. FA-GAN: a feature attention GAN with fusion discriminator for non-homogeneous dehazing
Chen et al. Overview of digital image restoration
CN115115860A (zh) 一种基于深度学习的图像特征点检测匹配网络
CN112164087B (zh) 基于边缘约束和分割边界搜索的超像素分割方法及装置
CN111461139B (zh) 一种复杂场景下的多目标视觉显著性分层检测方法
CN114359255A (zh) 一种基于改进Yolov5s的公路路面修补检测方法
CN111429436A (zh) 一种基于多尺度注意力和标签损失的本质图像分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination