CN114581343A - 一种图像的修复方法、装置、电子设备及存储介质 - Google Patents
一种图像的修复方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114581343A CN114581343A CN202210477935.3A CN202210477935A CN114581343A CN 114581343 A CN114581343 A CN 114581343A CN 202210477935 A CN202210477935 A CN 202210477935A CN 114581343 A CN114581343 A CN 114581343A
- Authority
- CN
- China
- Prior art keywords
- image
- sample
- loss function
- defect
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000007547 defect Effects 0.000 claims abstract description 149
- 238000001228 spectrum Methods 0.000 claims abstract description 65
- 230000005641 tunneling Effects 0.000 claims abstract description 37
- 230000008439 repair process Effects 0.000 claims abstract description 30
- 238000001000 micrograph Methods 0.000 claims abstract description 25
- 238000012876 topography Methods 0.000 claims abstract description 21
- 230000006870 function Effects 0.000 claims description 161
- 238000012549 training Methods 0.000 claims description 46
- 230000008447 perception Effects 0.000 claims description 27
- 238000012360 testing method Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 12
- 230000003042 antagnostic effect Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 9
- 230000000873 masking effect Effects 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 11
- 230000008569 process Effects 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000002950 deficient Effects 0.000 description 3
- 230000001788 irregular Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000010183 spectrum analysis Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本公开提供了一种图像的修复方法、装置、电子设备及存储介质，通过构建由扫描隧道显微镜微分电导图、扫描隧道显微镜形貌图以及纹理图像数据组成的样本图像数据集训练图像修复模型；为待修复图像配置用于标示密集且离散的缺陷位置区域的缺陷遮罩及对应的遮罩频谱；将缺陷位置区域对应的区域图像的图像频谱和遮罩频谱输入至训练好的频域卷积网络，得到区域图像对应的初步修复图像；将初步修复图像输入至训练好的细节修复网络，得到区域图像对应的细节修复图像；将待修复图像中的缺陷位置区域的图像替换成细节修复图像，得到修复后的扫描隧道显微镜图像。针对具有高密度纹理细节和周期性，缺陷密集并离散的扫描隧道显微镜图像可以有较好的修复效果。
Description
技术领域
本公开涉及图像处理技术领域，具体而言，涉及一种图像的修复方法、装置、电子设备及存储介质。
背景技术
作为具有原子级高分辨的成像工具，扫描隧道显微镜（Scanning TunnelingMicroscope，STM）已经被广泛应用于多个领域，包括能源、光电、电子和量子信息等等。通过对表面进行定量的形貌或者微分电导扫描，可以实现对材料微观结构、局域电子态等特征信息的获取、分析和评估。STM所探测的隧穿电流一般为纳安（nA）量级，因此对环境的要求也非常严格，轻微的振动和电磁干扰都会对扫描图像有很大影响。另一方面，材料表面本身也存在一些天然的本征缺陷，如空位、吸附原子等等。这些缺陷的存在会对STM图像的频谱分析造成干扰。尤其是利用准粒子干涉扫描技术来获得高精度表面电子态信息时，缺陷的干扰显得更加严重。因此，针对STM图像的缺陷修复可以去除缺陷扰动，提高微分电导图的频谱分析精度，是一个亟待解决的重要问题。
在现有的基于深度学习的图像修复算法中，大多适用于人脸、自然场景和纹理图像上，并且使用的是规则矩形遮罩和不规则连续遮罩。这些算法难以重建STM图像的高频细节，导致边界伪影、扭曲图案和模糊纹理的差异，同时，无法适应STM图像这种具有高密度纹理细节和周期性，缺陷密集并离散的图像，进而导致修复效果较差。
发明内容
本公开实施例至少提供一种图像的修复方法、装置、电子设备及存储介质，针对具有高密度纹理细节和周期性，缺陷密集并离散的隧道扫描显微镜图像可以有较好的修复效果。
本公开实施例提供了一种图像的修复方法，所述方法包括：
构建由扫描隧道显微镜微分电导图数据集、扫描隧道显微镜形貌图数据集以及纹理图像数据集组成的样本图像数据集；
将所述样本图像数据集划分为训练集与测试集，训练预先构建的由频域卷积网络与细节修复网络级联组成的图像修复模型；
获取由扫描隧道显微镜拍摄的待修复图像，并为所述待修复图像配置用于标示所述待修复图像中密集且离散的缺陷位置区域的缺陷遮罩及对应的遮罩频谱；
将所述缺陷位置区域对应的区域图像的图像频谱和所述遮罩频谱输入至训练好的所述频域卷积网络，得到所述区域图像对应的初步修复图像；其中，所述频域卷积网络通过预设的频域损失函数进行约束；
将所述初步修复图像输入至训练好的所述细节修复网络，得到所述区域图像对应的细节修复图像；所述细节修复网络通过由预设的感知损失函数、风格损失函数、最小化绝对误差函数以及对抗损失函数构建的目标损失函数进行约束；
将所述待修复图像中的缺陷位置区域的图像替换成所述细节修复图像，得到修复后的扫描隧道显微镜图像。
一种可选的实施方式中，基于以下方法训练所述图像修复模型：
确定所述扫描隧道显微镜微分电导图数据集、所述扫描隧道显微镜形貌图数据集以及所述纹理图像数据集样本图像数据集中包括的每个样本缺陷图像对应的样本修复图像；
为每个所述样本缺陷图像配置用于标示所述样本缺陷图像中密集且离散的缺陷位置区域的样本缺陷遮罩；
分别确定所述样本缺陷图像对应的样本图像频谱以及所述样本缺陷遮罩对应的样本遮罩频谱；
根据所述样本图像频谱、所述样本遮罩频谱以及所述样本修复图像训练所述图像修复模型。
一种可选的实施方式中，基于以下公式构建所述频域损失函数：
其中，C代表所述样本缺陷图像的通道数；H代表所述样本缺陷图像的高度参数；W代表所述样本缺陷图像的宽度参数；
为代表所述样本修复图像频域信息的参数；
为代表所述初步修复图像频域信息的参数；
代表所述频域损失函数。
一种可选的实施方式中，针对所述细节修复网络中的生成器，采用所述感知损失函数、所述风格损失函数以及所述最小化绝对误差函数进行约束；
针对所述细节修复网络中的鉴别器，采用所述对抗损失函数进行约束。
一种可选的实施方式中，基于以下方法构建所述目标损失函数：
分别为所述感知损失函数、所述风格损失函数、所述最小化绝对误差函数以及所述对抗损失函数配置对应的权重参数；
根据所述权重参数、所述感知损失函数、所述风格损失函数、所述最小化绝对误差函数以及所述对抗损失函数，确定所述目标损失函数。
本公开实施例还提供一种图像的修复装置，所述装置包括：
数据集构建模块，用于构建由扫描隧道显微镜微分电导图数据集、扫描隧道显微镜形貌图数据集以及纹理图像数据集组成的样本图像数据集；
训练模块，用于将所述样本图像数据集划分为训练集与测试集，训练预先构建的由频域卷积网络与细节修复网络级联组成的图像修复模型；
配置模块，用于获取由扫描隧道显微镜拍摄的待修复图像，并为所述待修复图像配置用于标示所述待修复图像中密集且离散的缺陷位置区域的缺陷遮罩及对应的遮罩频谱；
初步修复模块，用于将所述缺陷位置区域对应的区域图像的图像频谱和所述遮罩频谱输入至训练好的所述频域卷积网络，得到所述区域图像对应的初步修复图像；其中，所述频域卷积网络通过预设的频域损失函数进行约束；
细节修复模块，用于将所述初步修复图像输入至训练好的所述细节修复网络，得到所述区域图像对应的细节修复图像；所述细节修复网络通过由预设的感知损失函数、风格损失函数、最小化绝对误差函数以及对抗损失函数构建的目标损失函数进行约束；
替换模块，用于将所述待修复图像中的缺陷位置区域的图像替换成所述细节修复图像，得到修复后的扫描隧道显微镜图像。
一种可选的实施方式中，所述装置还包括训练模块，所述训练模块用于：
确定所述扫描隧道显微镜微分电导图数据集、所述扫描隧道显微镜形貌图数据集以及所述纹理图像数据集样本图像数据集中包括的每个样本缺陷图像对应的样本修复图像；
为每个所述样本缺陷图像配置用于标示所述样本缺陷图像中密集且离散的缺陷位置区域的样本缺陷遮罩；
分别确定所述样本缺陷图像对应的样本图像频谱以及所述样本缺陷遮罩对应的样本遮罩频谱；
根据所述样本图像频谱、所述样本遮罩频谱以及所述样本修复图像训练所述图像修复模型。
一种可选的实施方式中，所述细节修复模块具体用于：
分别为所述感知损失函数、所述风格损失函数、所述最小化绝对误差函数以及所述对抗损失函数配置对应的权重参数；
根据所述权重参数、所述感知损失函数、所述风格损失函数、所述最小化绝对误差函数以及所述对抗损失函数，确定所述目标损失函数。
本公开实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述图像的修复方法，或上述图像的修复方法中任一种可能的实施方式中的步骤。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述图像的修复方法，或上述图像的修复方法中任一种可能的实施方式中的步骤。
本公开实施例提供的一种图像的修复方法、装置、电子设备及存储介质，通过构建由扫描隧道显微镜微分电导图数据集、扫描隧道显微镜形貌图数据集以及纹理图像数据集组成的样本图像数据集；将样本图像数据集划分为训练集与测试集，训练预先构建的由频域卷积网络与细节修复网络级联组成的图像修复模型；获取由扫描隧道显微镜拍摄的待修复图像，并为待修复图像配置用于标示待修复图像中密集且离散的缺陷位置区域的缺陷遮罩及对应的遮罩频谱；将缺陷位置区域对应的区域图像的图像频谱和遮罩频谱输入至训练好的频域卷积网络，得到区域图像对应的初步修复图像；其中，频域卷积网络通过预设的频域损失函数进行约束；将初步修复图像输入至训练好的细节修复网络，得到区域图像对应的细节修复图像；细节修复网络通过由预设的感知损失函数、风格损失函数、最小化绝对误差函数以及对抗损失函数构建的目标损失函数进行约束；将待修复图像中的缺陷位置区域的图像替换成细节修复图像，得到修复后的扫描隧道显微镜图像。针对具有高密度纹理细节和周期性，缺陷密集并离散的扫描隧道显微镜图像可以有较好的修复效果。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种图像的修复方法的流程图；
图2示出了本公开实施例所提供的一种图像修复模型的训练方法的流程图；
图3示出了本公开实施例所提供的一种图像的修复装置的示意图；
图4示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
经研究发现，在现有的基于深度学习的图像修复算法中，大多适用于人脸、自然场景和纹理图像上，并且使用的是规则矩形遮罩和不规则连续遮罩。这些算法难以重建STM图像的高频细节，导致边界伪影、扭曲图案和模糊纹理的差异，同时，无法适应STM图像这种具有高密度纹理细节和周期性，缺陷密集并离散的图像，进而导致修复效果较差。
基于上述研究，本公开提供了一种图像的修复方法、装置、电子设备及存储介质，通过构建由扫描隧道显微镜微分电导图数据集、扫描隧道显微镜形貌图数据集以及纹理图像数据集组成的样本图像数据集；将样本图像数据集划分为训练集与测试集，训练预先构建的由频域卷积网络与细节修复网络级联组成的图像修复模型；获取由扫描隧道显微镜拍摄的待修复图像，并为待修复图像配置用于标示待修复图像中密集且离散的缺陷位置区域的缺陷遮罩及对应的遮罩频谱；将缺陷位置区域对应的区域图像的图像频谱和遮罩频谱输入至训练好的频域卷积网络，得到区域图像对应的初步修复图像；其中，频域卷积网络通过预设的频域损失函数进行约束；将初步修复图像输入至训练好的细节修复网络，得到区域图像对应的细节修复图像；细节修复网络通过由预设的感知损失函数、风格损失函数、最小化绝对误差函数以及对抗损失函数构建的目标损失函数进行约束；将待修复图像中的缺陷位置区域的图像替换成细节修复图像，得到修复后的扫描隧道显微镜图像。针对具有高密度纹理细节和周期性，缺陷密集并离散的扫描隧道显微镜图像可以有较好的修复效果。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种图像的修复方法进行详细介绍，本公开实施例所提供的图像的修复方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备（User Equipment，UE）、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理（Personal Digital Assistant，PDA）、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该图像的修复方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图1所示，为本公开实施例提供的一种图像的修复方法的流程图，所述方法包括步骤S101~S106，其中：
S101、构建由扫描隧道显微镜微分电导图数据集、扫描隧道显微镜形貌图数据集以及纹理图像数据集组成的样本图像数据集。
在具体实施中，由于目前并没有可以适配扫描隧道显微镜之类具有缺陷密集且离散特性的图像数据集，因此，为提升图像修复模型的修复效果，首先建立以扫描隧道显微镜微分电导图数据集、扫描隧道显微镜形貌图数据集以及纹理图像数据集构成的样本图像数据集，用于训练图像修复模型。
这里，扫描隧道显微镜微分电导图数据集，由扫描隧道显微镜（ScanningTunneling Microscope，STM）拍摄得到的微分电导图构成；扫描隧道显微镜形貌图数据集，由扫描隧道显微镜拍摄得到的形貌图构成；纹理图像数据集则可以采用公共的纹理图像数据集（Describable Textures Dataset，DTD），在DTD数据集中，其中包含有47种纹理图像，这些纹理图像有些纹理比较稀疏，有些比较密集，为了适应扫描隧道显微镜图像中，缺陷密集并离散的特点，可以从DTD数据集中选择与扫描隧道显微镜图像特点相似的，具有周期性和高密度纹理的部分图像构建纹理图像数据集。
需要说明的是，本实施例所提供的图像修复方法不仅可以适用于扫描隧道显微镜图像，还可以适用于其他具有密集且离散缺陷的图像，相对应的，所构建的样本图像数据集也可以采用其他具有密集且离散缺陷的图像数据构成，对此不做具体限制。
S102、将所述样本图像数据集划分为训练集与测试集，训练预先构建的由频域卷积网络与细节修复网络级联组成的图像修复模型。
在具体实施中，将样本图像数据集划分为训练集与测试集，针对测试集中包括的样本图像数据进行手动的缺陷补偿，并利用训练集以及测试集针对预先构建好的图像修复模型进行训练，图像修复模型由频域卷积网络与细节修复网络级联组成。
这里，频域卷积网络用于针对扫描隧道显微镜图像，在频域范围内进行初步的粗补偿，细节修复网络用于针对扫描隧道显微镜图像，在空间域范围内进行进一步的细节修复，以恢复扫描隧道显微镜图像的色彩、风格等细节特征。
需要说明的是，在将样本图像数据集划分为训练集与测试集的过程中，针对扫描隧道显微镜微分电导图数据集，可以首先对样本图像数据集中的图像进行灰度化处理，同时为其配置对应的训练遮罩；针对扫描隧道显微镜形貌图数据集在测试集构建过程中，对提取出的图像缺陷或噪声进行二值化处理，同时为其配置对应的训练遮罩。在训练遮罩的配置过程中，针对不同的图像数据集需要采用相同的裁剪方式。
S103、获取由扫描隧道显微镜拍摄的待修复图像，并为所述待修复图像配置用于标示所述待修复图像中密集且离散的缺陷位置区域的缺陷遮罩及对应的遮罩频谱。
在具体实施中，针对需要进行修复的扫描隧道显微镜图像，为其配置对应的缺陷遮罩，缺陷遮罩可以包括透明的不规则缺陷区域，除此之外的区域为不透明的背景区域，其中透明的缺陷区域适应于待修复图像中，密集且离散的缺陷部分，不透明的背景区域用于遮盖待修复图像中的非缺陷部分。这样，当使用缺陷遮罩对待修复图像进行遮盖时，可以精确定位待修复图像中的缺陷部分的位置并确定缺陷部分的形状，同时，可以适应STM图像中缺陷密集且离散的特性，以便于后续针对待修复图像中的缺陷区域进行修复处理。
这里，遮罩频谱可以通过将缺陷遮罩进行离散傅里叶变换（(Discrete FourierTransform，DFT）处理，用以反映缺陷遮罩在频域范围内的特征。
S104、将所述缺陷位置区域对应的区域图像的图像频谱和所述遮罩频谱输入至训练好的所述频域卷积网络，得到所述区域图像对应的初步修复图像；其中，所述频域卷积网络通过预设的频域损失函数进行约束。
在具体实施中，将缺陷遮罩所标示的待检测图像中具有缺陷部分的区域图像对应的图像频谱和缺陷遮罩对应的遮罩频谱作为图像修复模型中，频域卷积网络的输入，由频域卷积网络在频域范围内针对待修复图像进行初步的粗修复，得到区域图像对应的初步修复图像。
需要说明的是，频域卷积网络的输出为初步修复图像对应的频谱，需要进行傅里叶逆变换将其由频域转换为空间域，才可以得到初步修复图像，以便于作为后续细节修复网络的输入进行进一步的细节修复处理。
这里，频域卷积网络经过样本图像数据集的训练后，学习有具有缺陷的缺陷图像的频谱与不具有缺陷的真值图像的频谱之间的映射关系，以完成针对缺陷图像（即待修复图像中缺陷位置的区域图像）的初步修复工作。
其中，频域卷积网络可以恢复区域图像的高频细节，但是，其在图像色彩、图像清晰度等方面的修复效果仍然较差，因此需要进一步的针对初步修复图像进行细节修复。
这样，通过进行离散傅里叶变换，可以将区域图像由空间域转换至频域范围，以使区域图像对应的图像频谱中的每个频率分量充分捕获全局上下文信息，从而更好地反映区域图像的全局结构。
进一步的，频域卷积网络是通过预设的频域损失函数进行约束的，作为一种可能的实施方式，可以基于以下公式定义：
其中，C代表样本图像数据集的训练集中，样本缺陷图像的通道数；H代表样本图像数据集的训练集中，样本缺陷图像的高度参数；W代表样本图像数据集的训练集中，样本缺陷图像的宽度参数；
为代表样本图像数据集的测试集中，样本修复图像频域信息的参数；
为代表初步修复图像频域信息的参数；
代表频域损失函数。
S105、将所述初步修复图像输入至训练好的所述细节修复网络，得到所述区域图像对应的细节修复图像；所述细节修复网络通过由预设的感知损失函数、风格损失函数、最小化绝对误差函数以及对抗损失函数构建的目标损失函数进行约束。
在具体实施中，将频域卷积网络的输出作为细节修复网络的输入，针对经过频域卷积网络初步粗修复后的初步修复图像进行细节修复处理，得到细节修复图像，以针对区域图像进行色彩、风格等细节特征进行修复。
作为一种可能的实施方式，细节修复网络可以采用基于U型网络的改进Transformer，将卷积层替换为改进后的Transformer模块（The LeWin Transformerblock），核心结构包括基于非重叠窗口的多头注意力机制（non-overlapping Window-based Multi-head Self-Attention，WMSA）、局部增强的前馈神经网络（Locally-enhancedFeed-Forward Network，LeFF）。
需要说明的是，细节修复网络是通过由预设的感知损失函数、风格损失函数、最小化绝对误差函数以及对抗损失函数构建的目标损失函数进行约束的。其中，感知损失函数与风格损失函数可以处理由预先训练的VGG-19网络提取高级特征，来比较图像之间的高级感知和语义差异以获得详细的纹理，恢复图像的深层特征信息。
这里，由于在针对待修复图像的细节恢复过程中，最小化绝对误差损失通常用于恢复结果中的精确结构，对抗损失则尽可能使修复结果分布拟合真值分布。然而仅使用最小化绝对误差损失和对抗损失会出现平滑的纹理，对高分辨率纹理的恢复超出了最小化绝对误差损失和对抗损失的能力。而感知损失和风格损失则可以用于弥补这一缺陷，在缺陷修复的风格重建过程中，纹理效果明显；感知重建时，边缘，颜色，细节信息多。
作为一种可能的实施方式，可以基于以下公式定义感知损失函数：
其中，C代表图像的通道数；H代表图像的高度参数；W代表图像的宽度参数；
代表预训练网络VGG-19第i层的特征图；Ci、Hi、Wi分别代表第i层特征图的通道数；Ipred2为代表细节修复图像的参数；Igt为代表不具有缺陷的真值图像的参数；Lperc代表感知损失函数。
作为一种可能的实施方式，可以基于以下公式定义风格损失函数：
其中，C代表图像的通道数；H代表图像的高度参数；W代表图像的宽度参数；
代表预训练网络VGG-19第i层的特征图；Ci、Hi、Wi分别代表第i层特征图的通道数；Ipred2为代表细节修复图像的参数；Igt为代表不具有缺陷的真值图像的参数；Lstyle代表风格损失函数；
是一个
的由
构建的格拉姆矩阵。
进一步的，针对所述细节修复网络中的生成器，采用所述感知损失函数、所述风格损失函数以及所述最小化绝对误差函数进行约束；针对所述细节修复网络中的鉴别器，采用所述对抗损失函数进行约束。
作为一种可能的实施方式，基于以下方法构建所述目标损失函数：分别为所述感知损失函数、所述风格损失函数、所述最小化绝对误差函数以及所述对抗损失函数配置对应的权重参数；根据所述权重参数、所述感知损失函数、所述风格损失函数、所述最小化绝对误差函数以及所述对抗损失函数，确定所述目标损失函数。
具体的，可以基于以下公式定义目标损失函数：
其中，
代表对抗损失函数；
代表最小化绝对误差函数；
代表风格损失函数；
代表感知损失函数；
代表最小化绝对误差函数在目标损失函数中对应的权重参数；
代表对抗损失函数在目标损失函数中对应的权重参数；
代表感知损失函数在目标损失函数中对应的权重参数；
代表风格损失函数在目标损失函数中对应的权重参数。
需要说明的是，
可以根据实际需要进行选择，在此不做具体限制。
这样，利用细节修复网络针对经过频域卷积网络初步修复后得到的初步修复图像进行进一步的细节修复工作，得到修复了边缘、颜色等细节信息的细节修复图像，可以在捕获更多的局部上下信息的同时减少计算量，并能够恢复图像色彩以及图像特征。
S106、将所述待修复图像中的缺陷位置区域的图像替换成所述细节修复图像，得到修复后的扫描隧道显微镜图像。
在具体实施中，为了防止频域卷积网络、细节修复网络进行的两次修复过程中，在待修复图像中的非缺陷部分引入新的噪声，导致修复后图像中的非缺陷区域相较于待修复图像的非缺陷区域产生微小的误差，因此在经过频域卷积网络、细节修复网络针对待修复图像进行的两次修复过程后，将待修复图像中的缺陷位置区域的图像替换成所述细节修复图像，得到修复后的扫描隧道显微镜图像，这样，可以在修复过程中专注于具有缺陷的区域，而减少图像修复模型的修复过程对不具有缺陷的区域的影响。
作为一种可能的实施方式，可以在细节修复网络的最后一层嵌入融合网络，将细节修复图像、待修复图像以及缺陷遮罩输入至融合网络，将待修复图像中的缺陷部分替换为细节修复图像，以获取修复后的扫描隧道显微镜图像。
本公开实施例提供的一种图像的修复方法，通过构建由扫描隧道显微镜微分电导图数据集、扫描隧道显微镜形貌图数据集以及纹理图像数据集组成的样本图像数据集；将样本图像数据集划分为训练集与测试集，训练预先构建的由频域卷积网络与细节修复网络级联组成的图像修复模型；获取由扫描隧道显微镜拍摄的待修复图像，并为待修复图像配置用于标示待修复图像中密集且离散的缺陷位置区域的缺陷遮罩及对应的遮罩频谱；将缺陷位置区域对应的区域图像的图像频谱和遮罩频谱输入至训练好的频域卷积网络，得到区域图像对应的初步修复图像；其中，频域卷积网络通过预设的频域损失函数进行约束；将初步修复图像输入至训练好的细节修复网络，得到区域图像对应的细节修复图像；细节修复网络通过由预设的感知损失函数、风格损失函数、最小化绝对误差函数以及对抗损失函数构建的目标损失函数进行约束；将待修复图像中的缺陷位置区域的图像替换成细节修复图像，得到修复后的扫描隧道显微镜图像。针对具有高密度纹理细节和周期性，缺陷密集并离散的扫描隧道显微镜图像可以有较好的修复效果。
参见图2所示，为本公开实施例提供的一种图像修复模型的训练方法的流程图，所述方法包括步骤S201~S204，其中：
S201、确定所述扫描隧道显微镜微分电导图数据集、所述扫描隧道显微镜形貌图数据集以及所述纹理图像数据集样本图像数据集中包括的每个样本缺陷图像对应的样本修复图像。
S202、为每个所述样本缺陷图像配置用于标示所述样本缺陷图像中密集且离散的缺陷位置区域的样本缺陷遮罩。
S203、分别确定所述样本缺陷图像对应的样本图像频谱以及所述样本缺陷遮罩对应的样本遮罩频谱。
S204、根据所述样本图像频谱、所述样本遮罩频谱以及所述样本修复图像训练所述图像修复模型。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与图像的修复方法对应的图像的修复装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述图像的修复方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
请参阅图3，图3为本公开实施例提供的一种图像的修复装置的示意图。如图3中所示，本公开实施例提供的修复装置300包括：
数据集构建模块310，用于构建由扫描隧道显微镜微分电导图数据集、扫描隧道显微镜形貌图数据集以及纹理图像数据集组成的样本图像数据集；
训练模块320，用于将所述样本图像数据集划分为训练集与测试集，训练预先构建的由频域卷积网络与细节修复网络级联组成的图像修复模型；
配置模块330，用于获取由扫描隧道显微镜拍摄的待修复图像，并为所述待修复图像配置用于标示所述待修复图像中密集且离散的缺陷位置区域的缺陷遮罩及对应的遮罩频谱；
初步修复模块340，用于将所述缺陷位置区域对应的区域图像的图像频谱和所述遮罩频谱输入至训练好的所述频域卷积网络，得到所述区域图像对应的初步修复图像；其中，所述频域卷积网络通过预设的频域损失函数进行约束；
细节修复模块350，用于将所述初步修复图像输入至训练好的所述细节修复网络，得到所述区域图像对应的细节修复图像；所述细节修复网络通过由预设的感知损失函数、风格损失函数、最小化绝对误差函数以及对抗损失函数构建的目标损失函数进行约束；
替换模块360，用于将所述待修复图像中的缺陷位置区域的图像替换成所述细节修复图像，得到修复后的扫描隧道显微镜图像。
一种可选的实施方式中，所述修复装置300还包括训练模块，所述训练模块用于：
确定所述扫描隧道显微镜微分电导图数据集、所述扫描隧道显微镜形貌图数据集以及所述纹理图像数据集样本图像数据集中包括的每个样本缺陷图像对应的样本修复图像；
为每个所述样本缺陷图像配置用于标示所述样本缺陷图像中密集且离散的缺陷位置区域的样本缺陷遮罩；
分别确定所述样本缺陷图像对应的样本图像频谱以及所述样本缺陷遮罩对应的样本遮罩频谱；
根据所述样本图像频谱、所述样本遮罩频谱以及所述样本修复图像训练所述图像修复模型。
一种可选的实施方式中，所述细节修复模块350具体用于：
分别为所述感知损失函数、所述风格损失函数、所述最小化绝对误差函数以及所述对抗损失函数配置对应的权重参数；
根据所述权重参数、所述感知损失函数、所述风格损失函数、所述最小化绝对误差函数以及所述对抗损失函数，确定所述目标损失函数。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
本公开实施例提供的一种图像的修复装置，通过构建由扫描隧道显微镜微分电导图数据集、扫描隧道显微镜形貌图数据集以及纹理图像数据集组成的样本图像数据集；将样本图像数据集划分为训练集与测试集，训练预先构建的由频域卷积网络与细节修复网络级联组成的图像修复模型；获取由扫描隧道显微镜拍摄的待修复图像，并为待修复图像配置用于标示待修复图像中密集且离散的缺陷位置区域的缺陷遮罩及对应的遮罩频谱；将缺陷位置区域对应的区域图像的图像频谱和遮罩频谱输入至训练好的频域卷积网络，得到区域图像对应的初步修复图像；其中，频域卷积网络通过预设的频域损失函数进行约束；将初步修复图像输入至训练好的细节修复网络，得到区域图像对应的细节修复图像；细节修复网络通过由预设的感知损失函数、风格损失函数、最小化绝对误差函数以及对抗损失函数构建的目标损失函数进行约束；将待修复图像中的缺陷位置区域的图像替换成细节修复图像，得到修复后的扫描隧道显微镜图像。针对具有高密度纹理细节和周期性，缺陷密集并离散的扫描隧道显微镜图像可以有较好的修复效果。
对应于图1中的图像的修复方法，本公开实施例还提供了一种电子设备400，如图4所示，为本公开实施例提供的电子设备400结构示意图，包括：
处理器41、存储器42、和总线43；存储器42用于存储执行指令，包括内存421和外部存储器422；这里的内存421也称内存储器，用于暂时存放处理器41中的运算数据，以及与硬盘等外部存储器422交换的数据，处理器41通过内存421与外部存储器422进行数据交换，当所述电子设备400运行时，所述处理器41与所述存储器42之间通过总线43通信，使得所述处理器41执行图1中的图像的修复方法的步骤。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的图像的修复方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机程序产品包括有计算机指令，所述计算机指令被处理器执行时可以执行上述方法实施例中所述的图像的修复方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包（Software Development Kit，SDK）等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-OnlyMemory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种图像的修复方法，其特征在于，包括：
构建由扫描隧道显微镜微分电导图数据集、扫描隧道显微镜形貌图数据集以及纹理图像数据集组成的样本图像数据集；
将所述样本图像数据集划分为训练集与测试集，训练预先构建的由频域卷积网络与细节修复网络级联组成的图像修复模型；
获取由扫描隧道显微镜拍摄的待修复图像，并为所述待修复图像配置用于标示所述待修复图像中密集且离散的缺陷位置区域的缺陷遮罩及对应的遮罩频谱；
将所述缺陷位置区域对应的区域图像的图像频谱和所述遮罩频谱输入至训练好的所述频域卷积网络，得到所述区域图像对应的初步修复图像；其中，所述频域卷积网络通过预设的频域损失函数进行约束；
将所述初步修复图像输入至训练好的所述细节修复网络，得到所述区域图像对应的细节修复图像；所述细节修复网络通过由预设的感知损失函数、风格损失函数、最小化绝对误差函数以及对抗损失函数构建的目标损失函数进行约束；
将所述待修复图像中的缺陷位置区域的图像替换成所述细节修复图像，得到修复后的扫描隧道显微镜图像。
2.根据权利要求1所述的方法，其特征在于，基于以下方法训练所述图像修复模型：
确定所述扫描隧道显微镜微分电导图数据集、所述扫描隧道显微镜形貌图数据集以及所述纹理图像数据集样本图像数据集中包括的每个样本缺陷图像对应的样本修复图像；
为每个所述样本缺陷图像配置用于标示所述样本缺陷图像中密集且离散的缺陷位置区域的样本缺陷遮罩；
分别确定所述样本缺陷图像对应的样本图像频谱以及所述样本缺陷遮罩对应的样本遮罩频谱；
根据所述样本图像频谱、所述样本遮罩频谱以及所述样本修复图像训练所述图像修复模型。
3.根据权利要求2所述的方法，其特征在于，基于以下公式构建所述频域损失函数：
其中，C代表所述样本缺陷图像的通道数；H代表所述样本缺陷图像的高度参数；W代表所述样本缺陷图像的宽度参数；
为代表所述样本修复图像频域信息的参数；
为代表所述初步修复图像频域信息的参数；
代表所述频域损失函数。
4.根据权利要求1所述的方法，其特征在于：
针对所述细节修复网络中的生成器，采用所述感知损失函数、所述风格损失函数以及所述最小化绝对误差函数进行约束；
针对所述细节修复网络中的鉴别器，采用所述对抗损失函数进行约束。
5.根据权利要求1所述的方法，其特征在于，基于以下方法构建所述目标损失函数：
分别为所述感知损失函数、所述风格损失函数、所述最小化绝对误差函数以及所述对抗损失函数配置对应的权重参数；
根据所述权重参数、所述感知损失函数、所述风格损失函数、所述最小化绝对误差函数以及所述对抗损失函数，确定所述目标损失函数。
6.一种图像的修复装置，其特征在于，包括：
数据集构建模块，用于构建由扫描隧道显微镜微分电导图数据集、扫描隧道显微镜形貌图数据集以及纹理图像数据集组成的样本图像数据集；
训练模块，用于将所述样本图像数据集划分为训练集与测试集，训练预先构建的由频域卷积网络与细节修复网络级联组成的图像修复模型；
配置模块，用于获取由扫描隧道显微镜拍摄的待修复图像，并为所述待修复图像配置用于标示所述待修复图像中密集且离散的缺陷位置区域的缺陷遮罩及对应的遮罩频谱；
初步修复模块，用于将所述缺陷位置区域对应的区域图像的图像频谱和所述遮罩频谱输入至训练好的所述频域卷积网络，得到所述区域图像对应的初步修复图像；其中，所述频域卷积网络通过预设的频域损失函数进行约束；
细节修复模块，用于将所述初步修复图像输入至训练好的所述细节修复网络，得到所述区域图像对应的细节修复图像；所述细节修复网络通过由预设的感知损失函数、风格损失函数、最小化绝对误差函数以及对抗损失函数构建的目标损失函数进行约束；
替换模块，用于将所述待修复图像中的缺陷位置区域的图像替换成所述细节修复图像，得到修复后的扫描隧道显微镜图像。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括训练模块，所述训练模块用于：
确定所述扫描隧道显微镜微分电导图数据集、所述扫描隧道显微镜形貌图数据集以及所述纹理图像数据集样本图像数据集中包括的每个样本缺陷图像对应的样本修复图像；
为每个所述样本缺陷图像配置用于标示所述样本缺陷图像中密集且离散的缺陷位置区域的样本缺陷遮罩；
分别确定所述样本缺陷图像对应的样本图像频谱以及所述样本缺陷遮罩对应的样本遮罩频谱；
根据所述样本图像频谱、所述样本遮罩频谱以及所述样本修复图像训练所述图像修复模型。
8.根据权利要求6所述的装置，其特征在于，所述细节修复模块具体用于：
分别为所述感知损失函数、所述风格损失函数、所述最小化绝对误差函数以及所述对抗损失函数配置对应的权重参数；
根据所述权重参数、所述感知损失函数、所述风格损失函数、所述最小化绝对误差函数以及所述对抗损失函数，确定所述目标损失函数。
9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至5中任一项所述的修复方法的步骤。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至5中任一项所述的修复方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210477935.3A CN114581343B (zh) | 2022-05-05 | 2022-05-05 | 一种图像的修复方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210477935.3A CN114581343B (zh) | 2022-05-05 | 2022-05-05 | 一种图像的修复方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114581343A true CN114581343A (zh) | 2022-06-03 |
| CN114581343B CN114581343B (zh) | 2022-07-29 |
Family
ID=81777929
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210477935.3A Active CN114581343B (zh) | 2022-05-05 | 2022-05-05 | 一种图像的修复方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114581343B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116503427A (zh) * | 2023-06-27 | 2023-07-28 | 深圳市合成快捷电子科技有限公司 | 一种基于计算机视觉的柔性电路板缺陷区域快速分割方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11166806A (ja) * | 1997-12-03 | 1999-06-22 | Jeol Ltd | 走査トンネル顕微鏡 |
| CN107300629A (zh) * | 2017-07-31 | 2017-10-27 | 清华大学 | 扫描探针标定方法 |
| WO2021077140A2 (en) * | 2021-02-05 | 2021-04-22 | Innopeak Technology, Inc. | Systems and methods for prior knowledge transfer for image inpainting |
| CN113962893A (zh) * | 2021-10-27 | 2022-01-21 | 山西大学 | 基于多尺度局部自注意力生成对抗网络的人脸图像修复方法 |
-
2022
- 2022-05-05 CN CN202210477935.3A patent/CN114581343B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11166806A (ja) * | 1997-12-03 | 1999-06-22 | Jeol Ltd | 走査トンネル顕微鏡 |
| CN107300629A (zh) * | 2017-07-31 | 2017-10-27 | 清华大学 | 扫描探针标定方法 |
| WO2021077140A2 (en) * | 2021-02-05 | 2021-04-22 | Innopeak Technology, Inc. | Systems and methods for prior knowledge transfer for image inpainting |
| CN113962893A (zh) * | 2021-10-27 | 2022-01-21 | 山西大学 | 基于多尺度局部自注意力生成对抗网络的人脸图像修复方法 |
Non-Patent Citations (1)
| Title |
|---|
| 冯浪等: "基于扩张卷积的图像修复", 《计算机应用》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116503427A (zh) * | 2023-06-27 | 2023-07-28 | 深圳市合成快捷电子科技有限公司 | 一种基于计算机视觉的柔性电路板缺陷区域快速分割方法 |
| CN116503427B (zh) * | 2023-06-27 | 2023-09-22 | 深圳市合成快捷电子科技有限公司 | 一种基于计算机视觉的柔性电路板缺陷区域快速分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114581343B (zh) | 2022-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106228528B (zh) | 一种基于决策图与稀疏表示的多聚焦图像融合方法 | |
| CN109872278B (zh) | 基于u形网络和生成对抗网络的图像云层移除方法 | |
| CN114581343B (zh) | 一种图像的修复方法、装置、电子设备及存储介质 | |
| CN114240797B (zh) | 一种oct图像去噪方法、装置、设备及介质 | |
| CN109242924A (zh) | 一种基于深度学习的核磁共振图像的降采样伪影去除方法 | |
| CN108460400A (zh) | 一种结合多种特征信息的高光谱图像分类方法 | |
| Teng et al. | Adaptive morphological filtering method for structural fusion restoration of hyperspectral images | |
| CN111080540B (zh) | 一种图像修复模型的训练方法和计算机设备 | |
| CN111291704A (zh) | 干扰去除方法、装置、计算机设备和存储介质 | |
| Sarkar et al. | 3d shape processing by convolutional denoising autoencoders on local patches | |
| Pardyl et al. | Active visual exploration based on attention-map entropy | |
| Adamek et al. | Using dempster-shafer theory to fuse multiple information sources in region-based segmentation | |
| Thanh et al. | Distorted image reconstruction method with trimmed median | |
| Zhou et al. | Directional relative total variation for structure–texture decomposition | |
| Saveliev | A graph, non-tree representation of the topology of a gray scale image | |
| Bouchet et al. | On the Performance of Some Edge Detectors for Gray Scale Images. | |
| Sridevi et al. | p-Laplace Variational Image Inpainting Model Using Riesz Fractional Differential Filter. | |
| Wang et al. | Selective extraction of entangled textures via adaptive PDE transform | |
| Sun et al. | Differential abnormality-based tampering detection in digital document images | |
| Malm et al. | Closing curves with Riemannian dilation: application to segmentation in automated cervical cancer screening | |
| Xu et al. | A multistaged automatic restoration of noisy microscopy cell images | |
| Sargolzaei et al. | Impulse image noise reduction using fuzzy-cellular automata method | |
| Wang et al. | Image segmentation method for an illumination highlight region of interior design effects based on the partial differential equation | |
| CN109064425A (zh) | 一种自适应非局部总变分的图像去噪方法 | |
| Oroumchian | ECEI Spectrogram Denoising and Feature Extraction Using a Multi-Wavelet Convolutional Neural Network Model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |