CN117934338A - 一种图像修复方法和系统 - Google Patents

一种图像修复方法和系统 Download PDF

Info

Publication number
CN117934338A
CN117934338A CN202410332139.XA CN202410332139A CN117934338A CN 117934338 A CN117934338 A CN 117934338A CN 202410332139 A CN202410332139 A CN 202410332139A CN 117934338 A CN117934338 A CN 117934338A
Authority
CN
China
Prior art keywords
self
image
representing
attention model
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410332139.XA
Other languages
English (en)
Other versions
CN117934338B (zh
Inventor
刘婷婷
陈明举
段正旭
崔安乐
兰中孝
易思航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University of Science and Engineering
Original Assignee
Sichuan University of Science and Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University of Science and Engineering filed Critical Sichuan University of Science and Engineering
Priority to CN202410332139.XA priority Critical patent/CN117934338B/zh
Publication of CN117934338A publication Critical patent/CN117934338A/zh
Application granted granted Critical
Publication of CN117934338B publication Critical patent/CN117934338B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种图像修复方法和系统，涉及机器学习技术领域，该方法为对待修复图像进行预处理，得到图像修复区域样本；构建自注意力模型；自注意力模型包括自注意力编码器和解码器；基于所述图像修复区域样本和联合损失函数，对自注意力模型进行训练，得到训练好的自注意力模型；自注意力模型用于基于待修复图像，进行图像修复，得到修复后的图像。本发明提高了图像的修复效率和质量。

Description

一种图像修复方法和系统
技术领域
本说明书涉及机器学习技术领域，特别涉及一种图像修复方法和系统。
背景技术
图像修复是指对损坏或缺失的图像进行修复和恢复的过程。这个过程通常涉及到对图像进行分析、处理、修改和合成，以恢复其完整性和视觉效果，在对于图像进行修复时，需要应用到图像修复方法。
CN113516604A公开了一种图像修复方法，该方法着眼于图像超分辨率重建中对目标局部细节的修复效果，能够提升目标局部细节的修复效果。现如今的图像修复方法虽然也能够对于图像进行修复处理，但修复方法并未在内建立Transformer模型，在进行图像修复时，无法提升图像修复的效率，针对于修复区域需要进行大量的计算与推导，极大影响工作效率，同时单次只能对于单块图像区域进行修复，修复效果不佳，整体方法的实际应用效果不佳。
发明内容
针对现有技术中的上述不足，本发明提供的一种图像修复方法和系统提高了图像的修复效率和质量。
为了达到上述发明目的，本发明采用的技术方案为：
S1：对待修复图像进行预处理，得到图像修复区域样本；
S2：构建自注意力模型；所述自注意力模型包括自注意力编码器和解码器；
S3：基于所述图像修复区域样本和联合损失函数，对所述自注意力模型进行训练，得到训练好的自注意力模型；所述自注意力模型用于基于待修复图像，进行图像修复，得到修复后的图像。
本发明有益效果为：对待修复图像进行预处理，利用联合损失函数得到训练好的自注意力模型。通过这种方式得到的自注意力模型，无需进行大量复杂的运算与推定实现对于图像的修复，且能够同时对于不同区域进行同步图像修复，大大提高对于图像的修复效率和修复质量；通过对图像修复区域进行取样并进行特征提取，使修复后的图像与原图像的重合度提高，得到更好的应用效果。
进一步地：所述S1包括：
利用标记线对所述待修复图像进行划分，得到图像修复区域样本。
进一步地：所述S2中自注意力模型结构包括编码器和解码器：
所述编码器，包括至少一个自注意力编码器，用于提取图像修复区域样本的多尺度特征，得到特征向量；
所述解码器，包括马尔科夫全局判别器，用于基于所述特征向量，对图像进行重建，得到修复后的图像。
进一步地有益效果为：更好地从不规则边界捕获信息，得到更复杂的特征向量；用了马尔可夫全局判别器能够更好地保证区域结构与整体结构的一致性，在不增加计算复杂度的情况下，提高窗口间的信息聚合和分类，有效地获取到图像远距离依赖关系，解决卷积运算受限于局部特征提取的问题。
进一步地：所述自注意力编码器包括卷积核和交叉窗口聚合模块：
所述卷积核，用于提取图像修复区域样本的多尺度特征；
所述交叉窗口聚合模块，用于对所述多尺度特征进行聚合和分类，得到特征向量。
进一步地：所述交叉窗口聚合模块具体包括窗口聚合层、多层感知层、残差层和归一化层：
所述窗口聚合层包括矩形窗口自注意力机制和局部互补机制，用于对所述多尺度特征进行加权卷积，得到卷积结果；
所述多层感知层，用于对所述多尺度特征进行分类处理，得到分类结果；
所述残差层，用于对所有的卷积结果进行残差连接以及对所有的分类结果进行残差连接；
所述归一化层，用于对所述卷积结果和分类结果进行归一化处理，得到特征向量。
进一步地：所述S3包括：
S310：将图像修复区域样本划分为训练集、验证集和测试集；其中，所述验证集用于验证自注意力模型的可行性，所述测试集用于评估模型的性能；
S320：通过将训练集输入自注意力模型，利用联合损失函数训练自注意力模型，得到训练好的自注意力模型：
；
；
其中，表示自注意力模型，/>表示/>激活函数，/>、和/>分别表示自注意力模型的键、值和对参数，/>表示相对位置偏差，/>表示头部编号为k的尺寸，/>表示/>的转置矩阵，/>表示通道维度，/>表示头部编号。
进一步地有益效果为：通过自注意力模型对图像修复区域样本进行处理，可以考虑到多种损失情况，减少训练环节的损失，使预测结果更准确。
进一步地：所述联合损失函数的表达式为：
；
其中，表示联合损失函数，α、β、γ和λ表示超参数，/>表示重建损失，/>表示感知损失，/>表示风格损失，/>表示对抗损失。
本说明书一个或多个实施例提供一种图像修复系统，包括预处理模块、模型构建模块和训练模块：
所述预处理模块，用于对待修复图像进行预处理，得到图像修复区域样本；
所述模型构建模块，用于构建自注意力模型；所述自注意力模型包括自注意力编码器和解码器；
所述训练模块，用于基于所述图像修复区域样本和联合损失函数，对所述自注意力模型进行训练，得到训练好的自注意力模型；所述自注意力模型用于基于待修复图像，进行图像修复，得到修复后的图像。
进一步地，所述图像修复系统位于修复装置的中心盒内，所述修复装置包括：机壳，所述机壳的顶面上固定安装有提手，所述机壳的一侧外壁上设置有显示屏与控制面板，所述显示屏位于控制面板的上方。
附图说明
本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：
图1是根据本说明书一些实施例所示的一种图像修复系统的模块示意图；
图2是根据本说明书一些实施例所示的一种图像修复方法的示例性流程图；
图3是根据本说明书一些实施例所示的修复装置的示例性结构图；
其中，1、提手，2、机壳，3、显示屏，4、控制面板。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
实施例一
图1是根据本说明书一些实施例所示的一种图像修复系统的模块示意图。
在一些实施例中，所述图像修复系统100可以包括预处理模块、模型构建模块和训练模块。
预处理模块，用于对待修复图像进行预处理，得到图像修复区域样本；关于图像修复区域样本的更多细节可以参见图2及其相关描述。
模型构建模块，用于构建自注意力模型；所述自注意力模型包括自注意力编码器和解码器；关于自注意力模型的更多细节可以参见图2及其相关描述。
训练模块，用于基于所述图像修复区域样本和联合损失函数，对所述自注意力模型进行训练，得到训练好的自注意力模型；所述自注意力模型用于基于待修复图像，进行图像修复，得到修复后的图像；关于训练自注意力模型的更多细节可以参见图2及其相关描述。
在一些实施例中，如图3所示，图像修复系统位于修复装置的中心盒内，所述修复装置包括：机壳2，所述机壳2的顶面上固定安装有提手1，所述机壳2的一侧外壁上设置有显示屏3与控制面板4，所述显示屏3位于控制面板4的上方。
在一些实施例中，图像修复系统可以用于执行图像修复方法，包括：S1：对待修复图像进行预处理，得到图像修复区域样本；S2：构建自注意力模型；所述自注意力模型包括自注意力编码器和解码器；S3：基于所述图像修复区域样本和联合损失函数，对所述自注意力模型进行训练，得到训练好的自注意力模型；所述自注意力模型用于基于待修复图像，进行图像修复，得到修复后的图像。
在本说明书的一些实施例中，处理器利用图像修复系统执行图像修复方法。通过这种方式，无需进行大量复杂的运算与推定实现对于图像的修复，且能够同时对于不同区域进行同步图像修复，大大提高对于图像的修复效率和修复质量；通过对图像修复区域进行取样并进行特征提取，使修复后的图像与原图像的重合度提高，得到更好的应用效果。
实施例二
图2是根据本说明书一些实施例所示的一种图像修复方法的示例性流程图。如图2所示，流程200包括下述步骤。在一些实施例中，流程200可以由处理器执行。
S1：对待修复图像进行预处理，得到图像修复区域样本。
待修复图像是需要进行质量和缺损修复的图像。例如，待修复图像可以包括缺损的人脸图像、风景图像等。
在一些实施例中，工作人员可以基于历史图像数据中选择缺损图像作为待修复图像。
图像修复区域样本是凸显待修复区域的待修复图像样本。例如，图像修复区域样本可以包括图像纹理样本、图像颜色组成样本与图像结构样本等。
在一些实施例中，处理器可以利用标记线对所述待修复图像进行划分，得到图像修复区域样本。
S2：构建自注意力模型；所述自注意力模型包括自注意力编码器和解码器。
自注意力模型是用于对图像进行修复的模型。自注意力模型的类型可以是多种。例如，自注意力模型的类型可以包括神经网络模型等。
在一些实施例中，自注意力模型结构可以包括编码器和解码器。
编码器，包括至少一个自注意力编码器，用于提取图像修复区域样本的多尺度特征，得到特征向量。
在一些实施例中，处理器可以利用部分卷积层替换所有的普通卷积，通过跳跃连接在多尺度上结合低层和高层特征，得到特征向量。
在一些实施例中，自注意力编码器可以包括卷积核和交叉窗口聚合模块。
卷积核，用于提取图像修复区域样本的多尺度特征。
交叉窗口聚合模块，用于对所述多尺度特征进行聚合和分类，得到特征向量。
在一些实施例中，交叉窗口聚合模块可以包括窗口聚合层、多层感知层、残差层和归一化层。
窗口聚合层包括矩形窗口自注意力机制和局部互补机制，用于对所述多尺度特征进行加权卷积，得到卷积结果。
在一些实施例中，处理器可以利用并行的矩形窗口自注意力机制和局部互补机制，对输入的Q、K数据进行注意力操作，对输入的V数据进行自适应地选择注意力或卷积操作，综合所有处理结果，得到卷积结果；其中，Q、K、V表示键，值，对。
在一些实施例中，注意力操作过程具体表示为：
；
其中，表示窗口注意力，/>表示将所有头连接起来，/>，/>，/>表示第1、2、M个头的输出，/>表示卷积操作，/>表示自注意力模型的对参数，/>表示用于特征聚合的投影矩阵，/>表示多尺度特征，/>表示头部编号。
多层感知层，用于对所述多尺度特征进行分类处理，得到分类结果。
残差层，用于对所有的卷积结果进行残差连接以及对所有的分类结果进行残差连接。
归一化层，用于对所述卷积结果和分类结果进行归一化处理，得到特征向量。
解码器，包括马尔科夫全局判别器，用于基于所述特征向量，对图像进行重建，得到修复后的图像。
通过这种方式，可以更好地从不规则边界捕获信息，得到更复杂的特征向量；用了马尔可夫全局判别器能够更好地保证区域结构与整体结构的一致性，在不增加计算复杂度的情况下，提高窗口间的信息聚合和分类，有效地获取到图像远距离依赖关系，解决卷积运算受限于局部特征提取的问题。
S3：基于所述图像修复区域样本和联合损失函数，对所述自注意力模型进行训练，得到训练好的自注意力模型；所述自注意力模型用于基于待修复图像，进行图像修复，得到修复后的图像。
联合损失函数是用于监督自注意力模型训练的损失函数。例如，联合损失函数可以包括重建损失、感知损失、风格损失和对抗损失。
在一些实施例中，处理器可以基于以下步骤实现S3：S310：将图像修复区域样本划分为训练集、验证集和测试集；S320：通过将训练集输入自注意力模型，利用联合损失函数训练自注意力模型，得到训练好的自注意力模型。
训练集是用于对自注意力模型进行训练的图像数据集。
验证集可以用于验证自注意力模型的可行性。
测试集可以用于评估模型的性能。
在一些实施例中，处理器可以按8：1：1的比例将图像修复区域样本划分为训练集、验证集和测试集。
在一些实施例中，自注意力模型的输入可以是训练集，自注意力模型的输出可以是修复后的图像。
在一些实施例中，自注意力模型可以通过多个有标签的训练样本训练得到。例如，可以将多个带有标签的训练样本输入初始自注意力模型，通过标签和初始自注意力模型的结果构建损失函数，基于损失函数通过梯度下降或其他方法迭代更新初始自注意力模型的参数，包括函数的均方差与结构相似度。当满足预设条件时模型训练完成，得到训练好的自注意力模型。其中，预设条件可以是损失函数收敛、迭代的次数达到阈值等。
在一些实施例中，训练样本可以包括训练集。标签可以是训练集中图像修复区域样本对应的修复后图像。标签可以人工标注。
在一些实施例中，处理器可以使用Adam优化器对自注意力模型进行优化，参数设置为，/>。例如，处理器可以使用2×10-4的学习率进行初始训练，然后以5×10-5的学习率对模型进行微调，并且冻结生成器的BN层，鉴别器以生成器的1/10的学习率进行训练，完成对自注意力模型的优化。
在一些实施例中，自注意力模型的表达式可以为：
S320：通过将训练集输入自注意力模型，利用联合损失函数训练自注意力模型，得到训练好的自注意力模型：
；
；
其中，表示自注意力模型，/>表示/>激活函数，/>、和/>分别表示自注意力模型的键、值和对参数，B表示相对位置偏差，/>表示头部编号为k的尺寸，/>表示/>的转置矩阵，/>表示通道维度，/>表示头部编号。
在一些实施例中，联合损失函数的表达式可以为：
；
其中，表示联合损失函数，α、β、γ和λ表示超参数，/>表示重建损失,/>表示感知损失,/>表示风格损失，/>表示对抗损失。
在一些实施例中，重建损失的表达式可以为：
；
其中，表示补偿图像，/>表示实际图像，/>表示补偿图像与实际图像差值的范数；补偿图像可以是模型输出的修复后的图像，实际图像可以是标签图像。
在一些实施例中，感知损失的表达式可以为：
；
其中，表示采样结果，/>表示样本数量，/>表示补偿图像，/>表示实际图像，表示给定输入图像I通过卷积神经网络模型第/>层池化层得到的激活映射，例如，卷积神经网络模型可以是VGG-16模型。
在一些实施例中，风格损失的表达式可以为：
；
其中，表示采样结果，/>表示由激活映射/>的Gram矩阵，/>表示给定输入图像I通过卷积神经网络模型第/>层池化层得到的激活映射，/>表示第/>层池化层，/>表示第/>层池化层。
在一些实施例中，对抗损失的表达式可以为：
；
其中，G表示生成器，D表示判别器，表示生成器的最小值，/>表示判别器的最大值，/>表示表示从真实数据/>中采样得到的样本，/>表示真实样本的识别结果，/>表示表示从某一特定分布/>中得到的采样，/>表示表示生成的虚假样本，/>表示从真实数据中进行采样，/>表示真实数据，/>表示从特定分布中进行采样，表示某一特定分布。
在一些实施例中，越大，相当于/>越大，即判别器越能利用/>准确地将真实样本识别出来。
本说明书一些实施例中，通过自注意力模型对图像修复区域样本进行处理，可以考虑到多种损失情况，减少训练环节的损失，使预测结果更准确。
在一些实施例中，处理器可以将测试集中的图像选择随机选择对应的掩码生成破损图像，输入训练好的自注意力模型中，得到修复后的图像，对图像的修复质量进行评分，用于评估自注意力模型的性能，评估指标可以包括PSNR、SSIM等。评分可以分为三个等级，分别为评估分为90以上时，评级为优秀，评估分为70-90分之间时评级为良好，评估分为70以下时则评级为较差。
在本说明书的一些实施例中，处理器可以对待修复图像进行预处理，利用联合损失函数得到训练好的自注意力模型。通过这种方式得到的自注意力模型，无需进行大量复杂的运算与推定实现对于图像的修复，且能够同时对于不同区域进行同步图像修复，大大提高对于图像的修复效率和修复质量；通过对图像修复区域进行取样并进行特征提取，使修复后的图像与原图像的重合度提高，得到更好的应用效果。

Claims (9)

1.一种图像修复方法，其特征在于，包括：
S1：对待修复图像进行预处理，得到图像修复区域样本；
S2：基于生成器、判别器和交叉窗口聚合注意力，构建自注意力模型；
S3：基于所述图像修复区域样本和联合损失函数，对所述自注意力模型进行训练，得到训练好的自注意力模型；所述自注意力模型用于将待修复图像输入训练好的自注意力模型中，进行图像修复，得到修复后的图像。
2.根据权利要求1所述的图像修复方法，其特征在于，所述S1包括：
利用标记线对所述待修复图像进行划分，得到图像修复区域样本。
3.根据权利要求1所述的图像修复方法，其特征在于，所述S2中自注意力模型结构包括编码器和解码器：
所述编码器，属于所述生成器，包括至少一个自注意力编码器，用于提取图像修复区域样本的多尺度特征，得到特征向量；
所述解码器，属于判别器，包括马尔科夫全局判别器，用于基于所述特征向量，对图像进行重建，得到修复后的图像。
4.根据权利要求3所述的图像修复方法，其特征在于，所述自注意力编码器包括卷积核和交叉窗口聚合模块：
所述卷积核，用于提取图像修复区域样本的多尺度特征；
所述交叉窗口聚合模块，用于利用交叉窗口聚合注意力，对所述多尺度特征进行聚合和分类，得到特征向量。
5.根据权利要求4所述的图像修复方法，其特征在于，所述交叉窗口聚合模块具体包括窗口聚合层、多层感知层、残差层和归一化层：
所述窗口聚合层包括矩形窗口自注意力机制和局部互补机制，用于对所述多尺度特征进行加权卷积，得到卷积结果：
；
其中，表示窗口注意力，/>表示将所有头连接起来，/>，/>，/>表示第1、2、M个头的输出，/>表示卷积操作，/>表示自注意力模型的对参数，/>表示用于特征聚合的投影矩阵，/>表示多尺度特征，/>表示头部编号；
所述多层感知层，用于对所述多尺度特征进行分类处理，得到分类结果；
所述残差层，用于对所有的卷积结果进行残差连接以及对所有的分类结果进行残差连接；
所述归一化层，用于对所述卷积结果和分类结果进行归一化处理，得到特征向量。
6.根据权利要求1所述的图像修复方法，其特征在于，所述S3包括：
S310：将图像修复区域样本划分为训练集、验证集和测试集；其中，所述验证集用于验证自注意力模型的可行性，所述测试集用于评估模型的性能；
S320：通过将训练集输入自注意力模型，利用联合损失函数训练自注意力模型，得到训练好的自注意力模型：
；
；
其中，表示自注意力模型，/>表示/>激活函数，/>、/>和分别表示自注意力模型的键、值和对参数，/>表示相对位置偏差，/>表示头部编号为k的尺寸，/>表示/>的转置矩阵，/>表示通道维度，/>表示头部编号。
7.根据权利要求6所述的图像修复方法，其特征在于，所述联合损失函数的表达式为：
；
其中，表示联合损失函数，α、β、γ和λ表示超参数，/>表示重建损失，/>表示感知损失，/>表示风格损失，/>表示对抗损失。
8.一种图像修复系统，用于执行如权利要求1~7任一项所述图像修复方法,其特征在于，包括预处理模块、模型构建模块和训练模块：
所述预处理模块，用于对待修复图像进行预处理，得到图像修复区域样本；
所述模型构建模块，用于构建自注意力模型；所述自注意力模型包括自注意力编码器和解码器；
所述训练模块，用于基于所述图像修复区域样本和联合损失函数，对所述自注意力模型进行训练，得到训练好的自注意力模型；所述自注意力模型用于基于待修复图像，进行图像修复，得到修复后的图像。
9.根据权利要求8所述的图像修复系统，其特征在于，所述图像修复系统位于修复装置的中心盒内，所述修复装置包括：机壳（2），所述机壳（2）的顶面上固定安装有提手（1），所述机壳（2）的一侧外壁上设置有显示屏（3）与控制面板（4），所述显示屏（3）位于控制面板（4）的上方。
CN202410332139.XA 2024-03-22 2024-03-22 一种图像修复方法和系统 Active CN117934338B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410332139.XA CN117934338B (zh) 2024-03-22 2024-03-22 一种图像修复方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410332139.XA CN117934338B (zh) 2024-03-22 2024-03-22 一种图像修复方法和系统

Publications (2)

Publication Number Publication Date
CN117934338A true CN117934338A (zh) 2024-04-26
CN117934338B CN117934338B (zh) 2024-07-09

Family

ID=90759530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410332139.XA Active CN117934338B (zh) 2024-03-22 2024-03-22 一种图像修复方法和系统

Country Status (1)

Country Link
CN (1) CN117934338B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516604A (zh) * 2021-09-14 2021-10-19 成都数联云算科技有限公司 图像修复方法
CN113837940A (zh) * 2021-09-03 2021-12-24 山东师范大学 基于密集残差网络的图像超分辨率重建方法及系统
CN115018727A (zh) * 2022-06-14 2022-09-06 中国地质大学（武汉） 一种多尺度图像修复方法、存储介质及终端
CN116703725A (zh) * 2023-06-01 2023-09-05 华东理工大学 感知多重特征的双分支网络实现针对真实世界文本图像的超分辨率的方法
WO2023185243A1 (zh) * 2022-03-29 2023-10-05 河南工业大学 基于注意力调制上下文空间信息的表情识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837940A (zh) * 2021-09-03 2021-12-24 山东师范大学 基于密集残差网络的图像超分辨率重建方法及系统
CN113516604A (zh) * 2021-09-14 2021-10-19 成都数联云算科技有限公司 图像修复方法
WO2023185243A1 (zh) * 2022-03-29 2023-10-05 河南工业大学 基于注意力调制上下文空间信息的表情识别方法
CN115018727A (zh) * 2022-06-14 2022-09-06 中国地质大学（武汉） 一种多尺度图像修复方法、存储介质及终端
CN116703725A (zh) * 2023-06-01 2023-09-05 华东理工大学 感知多重特征的双分支网络实现针对真实世界文本图像的超分辨率的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHENG CHEN，YULUN ZHANG 等: ""cross aggregation transformer for image restoration"", 《36TH CONFERENCE ON NEURAL INFORMATION PROCESSING SYSTEMS》, 23 March 2023 (2023-03-23), pages 25478 - 25490 *
石浩德，陈明举 等: ""基于人脸结构信息引导的人脸图像修复网络"", 《液晶与显示》, vol. 38, no. 2, 28 February 2023 (2023-02-28), pages 245 - 255 *

Also Published As

Publication number Publication date
CN117934338B (zh) 2024-07-09

Similar Documents

Publication Publication Date Title
CN110059694B (zh) 电力行业复杂场景下的文字数据的智能识别方法
CN108537742B (zh) 一种基于生成对抗网络的遥感图像全色锐化方法
CN111652225B (zh) 基于深度学习的非侵入式摄像读取方法及系统
CN112419202B (zh) 基于大数据及深度学习的野生动物图像自动识别系统
CN116311483B (zh) 基于局部面部区域重构和记忆对比学习的微表情识别方法
CN109492610B (zh) 一种行人重识别方法、装置及可读存储介质
CN115272777B (zh) 面向输电场景的半监督图像解析方法
CN118196309B (zh) 基于图像处理工控机的高清视觉检测识别系统
CN114170144A (zh) 一种输电线路销钉缺陷检测方法、设备及介质
CN116012835A (zh) 一种基于文本分割的两阶段场景文本擦除方法
CN111126155B (zh) 一种基于语义约束生成对抗网络的行人再识别方法
CN111008570B (zh) 一种基于压缩-激励伪三维网络的视频理解方法
CN115762721A (zh) 一种基于计算机视觉技术的医疗影像质控方法和系统
CN111626296A (zh) 基于深度神经网络的医学图像分割系统及方法、终端
Qu et al. Learning to segment every referring object point by point
CN114550014A (zh) 道路分割方法及计算机装置
CN114581789A (zh) 一种高光谱图像分类方法及系统
CN114187506A (zh) 视点意识的动态路由胶囊网络的遥感图像场景分类方法
CN117909881A (zh) 多源数据融合的抽油机的故障诊断方法及装置
CN116503398B (zh) 绝缘子污闪检测方法、装置、电子设备及存储介质
CN117934338B (zh) 一种图像修复方法和系统
CN116597503A (zh) 一种基于时空特征的课堂行为检测方法
CN115966006A (zh) 基于深度学习模型的跨年龄式人脸识别系统
CN115861922A (zh) 一种稀疏烟火检测方法、装置、计算机设备及存储介质
CN115937095A (zh) 融合图像处理算法和深度学习的印刷缺陷检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant