CN115439375B - 图像去模糊模型的训练方法和装置以及应用方法和装置 - Google Patents

图像去模糊模型的训练方法和装置以及应用方法和装置 Download PDF

Info

Publication number
CN115439375B
CN115439375B CN202211361715.0A CN202211361715A CN115439375B CN 115439375 B CN115439375 B CN 115439375B CN 202211361715 A CN202211361715 A CN 202211361715A CN 115439375 B CN115439375 B CN 115439375B
Authority
CN
China
Prior art keywords
image
sample
target
generator
generate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211361715.0A
Other languages
English (en)
Other versions
CN115439375A (zh
Inventor
成勇毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guoyi Quantum Technology Hefei Co ltd
Original Assignee
Chinainstru and Quantumtech Hefei Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chinainstru and Quantumtech Hefei Co Ltd filed Critical Chinainstru and Quantumtech Hefei Co Ltd
Priority to CN202211361715.0A priority Critical patent/CN115439375B/zh
Publication of CN115439375A publication Critical patent/CN115439375A/zh
Application granted granted Critical
Publication of CN115439375B publication Critical patent/CN115439375B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像去模糊模型的训练方法和装置以及应用方法和装置，属于电子显微镜图像处理技术领域。所述图像去模糊模型包括生成器，第一判别器和第二判别器，所述第一判别器的输入端与所述生成器的输出端连接，所述方法包括：获取训练集，训练集包括样本模糊图像和样本清晰图像；将样本模糊图像输入至生成器，获取生成器生成的目标清晰图像；基于目标清晰图像和样本清晰图像，训练第一判别器；对样本清晰图像进行模糊处理，生成目标模糊图像；基于目标模糊图像和样本模糊图像，训练第二判别器；基于样本模糊图像和目标清晰图像，训练生成器。本申请的图像去模糊模型的训练方法，能够降低模型训练难度。

Description

图像去模糊模型的训练方法和装置以及应用方法和装置
技术领域
本申请属于电子显微镜图像处理技术领域，尤其涉及一种图像去模糊模型的训练方法和装置以及应用方法和装置。
背景技术
扫描电子显微镜(ScanningElectronMicroscope，SEM)被广泛应用于各行各业，在采用扫描电子显微镜采集图像时，往往需要对图像进行放大处理，在进行放大处理的过程中会影响所采集的图像的清晰度。相关技术中，一般采用先确定模糊核，然后基于模糊核对采集的模糊图像进行去卷积处理以得到清晰的图像，该处理过程需耗费较长的计算时间，且通用性差。
发明内容
本申请实施例的目的是提供一种图像去模糊模型的训练方法和装置以及应用方法和装置，能够解决现有图像去模糊模型的训练难度较大的问题。
第一方面，本申请实施例提供了一种图像去模糊模型的训练方法，所述图像去模糊模型包括生成器，第一判别器和第二判别器，所述第一判别器的输入端与所述生成器的输出端连接，所述方法包括：
获取训练集，所述训练集包括样本模糊图像和样本清晰图像；
将所述样本模糊图像输入至所述生成器，获取所述生成器生成的目标清晰图像；
基于所述目标清晰图像和所述样本清晰图像，训练所述第一判别器；
对所述样本清晰图像进行模糊处理，生成目标模糊图像；
基于所述目标模糊图像和所述样本模糊图像，训练所述第二判别器；
基于所述样本模糊图像和所述目标清晰图像，训练所述生成器。
根据本申请提供的一种图像去模糊模型的训练方法，所述将所述样本模糊图像输入至所述生成器，获取所述生成器生成的目标清晰图像，包括：
对所述样本模糊图像进行线性整流处理，生成第一图像；
对所述第一图像进行最大池化处理，生成第二图像；
对所述第二图像进行线性整流处理，生成第三图像；
对所述第三图像进行最大池化处理，生成第四图像；
对所述第四图像进行线性整流处理以及反卷积处理，生成第五图像；
连接所述第五图像和所述第三图像，并对连接后的图像进行线性整流处理，生成第六图像；
对所述第六图像进行所述反卷积处理，生成第七图像；
连接所述第七图像和所述第一图像，并对连接后的图像进行线性整流处理，生成第八图像；
对所述第八图像进行卷积处理，生成第九图像；
对所述第九图像进行归一化处理，生成所述目标清晰图像。
根据本申请提供的一种图像去模糊模型的训练方法，还包括：基于所述目标清晰图像、所述样本清晰图像、所述目标模糊图像和所述样本模糊图像中的至少两种，训练所述图像去模糊模型对应的目标损失函数。
根据本申请提供的一种图像去模糊模型的训练方法，所述目标损失函数基于循环损失函数和对抗损失函数之和确定。
根据本申请提供的一种图像去模糊模型的训练方法，所述对抗损失函数为最小二乘损失函数。
根据本申请提供的一种图像去模糊模型的训练方法，所述图像去模糊模型还包括模糊层，所述模糊层的输入端与所述生成器的输出端连接，所述第二判别器的输入端与所述模糊层的输出端连接，所述模糊层的输出端与所述生成器的输入端连接，所述对所述样本清晰图像进行模糊处理，生成目标模糊图像，包括：
将所述样本清晰图像输入至所述模糊层，获取所述模糊层输出的所述目标模糊图像。
根据本申请提供的一种图像去模糊模型的训练方法，所述获取训练集，包括：
获取第一对象对应的第一模糊图像和所述第一对象对应的第一清晰图像；
获取第二对象对应的第二模糊图像和第三对象对应的第二清晰图像；
基于所述第一模糊图像、所述第一清晰图像、所述第二模糊图像和所述第二清晰图像，确定所述训练集；
其中，所述第一对象、所述第二对象和所述第三对象为不同的对象
第二方面，本申请实施例提供了一种图像去模糊模型的应用方法，应用于如第一方面所述的图像去模糊模型，所述方法包括：
获取待处理图像；
将所述待处理图像输入至所述图像去模糊模型的所述生成器，获取所述生成器输出的目标图像。
第三方面，本申请实施例提供了一种图像去模糊模型的训练装置，所述图像去模糊模型包括生成器，第一判别器和第二判别器，所述第一判别器的输入端与所述生成器的输出端连接，该装置包括：
第一获取模块，用于获取训练集，所述训练集包括样本模糊图像和样本清晰图像；
第一处理模块，用于将所述样本模糊图像输入至所述生成器，获取所述生成器生成的目标清晰图像；
第二处理模块，用于基于所述目标清晰图像和所述样本清晰图像，训练所述第一判别器；
第三处理模块，用于对所述样本清晰图像进行模糊处理，生成目标模糊图像；
第四处理模块，用于基于所述目标模糊图像和所述样本模糊图像，训练所述第二判别器；
第五处理模块，用于基于所述样本模糊图像和所述目标清晰图像，训练所述生成器。
第四方面，本申请实施例提供了一种图像去模糊模型的应用装置，应用于如第一方面所述的图像去模糊模型，该装置包括：
第二获取模块，用于获取待处理图像；
第六处理模块，用于将所述待处理图像输入至所述图像去模糊模型的所述生成器，获取所述生成器输出的目标图像。
第五方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法。
第六方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面或第二方面所述的方法。
第七方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面或第二方面所述的方法。
第八方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面或第二方面所述的方法。
在本申请实施例中，通过设置一个生成器和两个判别器，可以实现采用成对和/或非成对的样本模糊图像和样本清晰图像即可对生成器和判别器进行训练，在降低样本获取难度以及模型训练难度的同时，还可以保证模型具有较高的计算精度和准确度。
附图说明
本申请的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本申请实施例提供的图像去模糊模型的训练方法的流程示意图之一；
图2是本申请实施例提供的图像去模糊模型的训练方法的流程示意图之二；
图3是本申请实施例提供的图像去模糊模型的训练方法的流程示意图之三；
图4是本申请实施例提供的图像去模糊模型的训练方法的流程示意图之四；
图5是本申请实施例提供的图像去模糊模型的应用方法的流程示意图；
图6是本申请实施例提供的图像去模糊模型的训练装置的结构示意图；
图7是本申请实施例提供的图像去模糊模型的应用装置的结构示意图；
图8是本申请实施例提供的电子设备的结构示意图；
图9是本申请实施例提供的电子设备的硬件示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像去模糊模型的训练方法、图像去模糊模型的训练装置、电子设备和可读存储介质进行详细地说明。
其中，图像去模糊模型的训练方法可应用于终端，具体可由，终端中的硬件或软件执行。
该终端包括但不限于具有触摸敏感表面（例如，触摸屏显示器和/或触摸板）的移动电话或平板电脑等便携式通信设备。还应当理解的是，在某些实施例中，该终端可以不是便携式通信设备，而是具有触摸敏感表面（例如，触摸屏显示器和/或触摸板）的台式计算机。
以下各个实施例中，描述了包括显示器和触摸敏感表面的终端。然而，应当理解的是，终端可以包括诸如物理键盘、鼠标和控制杆的一个或多个其它物理用户接口设备。
本申请实施例提供的图像去模糊模型的训练方法，该图像去模糊模型的训练方法的执行主体可以为电子设备或者电子设备中能够实现该图像去模糊模型的训练方法的功能模块或功能实体，本申请实施例提及的电子设备包括但不限于手机、平板电脑、电脑、相机和可穿戴设备等，下面以电子设备作为执行主体为例对本申请实施例提供的图像去模糊模型的训练方法进行说明。
如图1所示，该图像去模糊模型的训练方法包括：步骤110、步骤120、步骤130、步骤140、步骤150和步骤160。
需要说明的是，如图2所示，该图像去模糊模型包括生成器，第一判别器和第二判别器；第一判别器的输入端与生成器的输出端连接。
其中，图像去模糊模型用于对模糊图像进行去模糊处理，生成清晰的图像。
生成器用于根据原始模糊图像生成新的清晰图像。
第一判别器用于对原始清晰图像和新生成的清晰图像进行判别。
第二判别器用于对原始模糊图像和新生成的模糊图像进行判别。
步骤110、获取训练集，训练集包括样本模糊图像和样本清晰图像；
在该步骤中，训练集为用于对图像去模糊模型进行训练的样本数据。
样本模糊图像为样本数据中模糊的图像，样本清晰图像为样本数据中清晰的图像。
样本模糊图像和样本清晰图像的数量均可以为多张。
在一些实施例中，样本模糊图像的数量可以与样本清晰图像的数量保持一致。
需要说明的是，在本申请中，样本模糊图像和样本清晰图像，可以表现为相对应的图像，或者可以表现为非对应的图像；或者还可以表现为部分样本模糊图像和样本清晰图像为相对应的图像，另一部分样本模糊图像和样本清晰图像为非相对应的图像。
其中，样本模糊图像和样本清晰图像为相对应的图像，表现为样本模糊图像和样本清晰图像所对应的内容相同，仅清晰程度不同；样本模糊图像和样本清晰图像为非对应的图像，表现为样本模糊图像和样本清晰图像多对应的内容和清晰度均不同。
在一些实施例中，步骤110，可以包括：
获取第一对象对应的第一模糊图像和第一对象对应的第一清晰图像；
获取第二对象对应的第二模糊图像和第三对象对应的第二清晰图像；
基于第一模糊图像、第一清晰图像、第二模糊图像和第二清晰图像，确定训练集；
其中，第一对象、第二对象和第三对象为不同的对象。
在该实施例中，对象可以为生物体，如人、动植物或动植物标本等；或者可以为非生物体，如化学样本或石头切片样本等；或者也可以为某个环境区域，如某片自然区域或城市建筑区域等，本申请不作限定。
第一对象、第二对象和第三对象为不同的对象，即第一对象对应的图像、第二对象对应的图像与第三对象对应的图像的内容互不相同。
可以理解的是，第一模糊图像和第一清晰图像对应的内容相同，而清晰度不同；
第二模糊图像和第二清晰图像对应的内容和清晰度均不同。
需要说明的是，第一对象、第二对象和第三对象的数量均可以为多个。
在实际执行过程中，例如，用户可以通过离焦、正焦的方式采集1000对512x512大小的成对图像数据集，每一对图像数据集均对应一个第一对象，且每一对图像数据集包括同一个第一对象对应的第一模糊图像和第一清晰图像。
用户还可以采集1000张512x512大小的第三对象对应的第二清晰图像，以及1000张512x512大小第二对象对应的第二模糊图像，这些样本图像即为非成对图像数据集。
将以上采集的图像按照清晰和模糊特征进行分类并保存，即可得到训练集。
根据本申请实施例提供的去模糊模型的训练方法，通过分别获取成对与非成对的样本模糊图像和样本清晰图像作为训练样本，用于后续的模型训练，可以显著降低样本获取难度，有助于提高模型的通用性。
步骤120、将样本模糊图像输入至生成器，获取生成器生成的目标清晰图像；
在该步骤中，目标清晰图像为对样本模糊图像进行去模糊处理后，所得到的清晰的图像。
在实际执行过程中，生成器可以为UNet网络或者其他任意可实现本功能的神经网络，本申请不作限定。
下面以生成器为UNet网络为例，对步骤120的实现方式进行具体说明。
在一些实施例中，步骤120可以包括：
对样本模糊图像进行线性整流处理，生成第一图像；
对第一图像进行最大池化处理，生成第二图像；
对第二图像进行线性整流处理，生成第三图像；
对第三图像进行最大池化处理，生成第四图像；
对第四图像进行线性整流处理以及反卷积处理，生成第五图像；
连接第五图像和第三图像，并对连接后的图像进行线性整流处理，生成第六图像；
对第六图像进行反卷积处理，生成第七图像；
连接第七图像和第一图像，并对连接后的图像进行线性整流处理，生成第八图像；
对第八图像进行卷积处理，生成第九图像；
对第九图像进行归一化处理，生成目标清晰图像。
在该实施例中，对样本模糊图像进行线性整流处理可以表现为对样本模糊图像依次进行卷积处理、规范化处理以及线性整流处理。
最大池化处理，即取局部接受域中值最大的点，以减小卷积层参数误差造成估计均值的偏移。
反卷积处理即卷积的转置处理。
在实际执行过程中，可以通过设置特殊结构的生成器以执行该步骤120。
例如，如图3所示，生成器可以包括线性整流层、最大池化（Max-pooling）层、连接层（Concat）、反卷积（Transposed convolution）层、卷积（conv）层和归一化（Sigmoid）层。
其中，在一些实施例中，线性整流层可以包括顺次连接的卷积（conv）层、规范处理层（Instance Norm）和线性整流单元（ReLU）。
继续参考图3，在实际执行过程中，可以基于如下步骤执行：
1）将样本模糊图像输入至线性整流层，经多次线性整流处理生成第一图像，并将第一图像分别输入至最大池化层和连接层；
2）最大池化层对第一图像进行最大池化处理生成第二图像，并将第二图像输入至线性整流层；
3）线性整流层对第二图像进行多次线性整流处理生成第三图像后，将第三图像分别输入至最大池化层和连接层；
4）最大池化层对第三图像进行最大池化处理生成第四图像，并将第四图像输入至线性整流层；
5）线性整流层对第四图像经多次线性整流处理后，将处理的图像输入至反卷积层；
6）反卷积层对处理的图像进行反卷积处理以生成第五图像，并将第五图像输入至连接层；
7）连接层连接第五图像和第三图像后将连接后的图像输入至线性整流层；
8）线性整流层对连接后的图像进行线性整流处理，生成第六图像，并将第六图像输入至反卷积层；
9）反卷积层对第六图像进行反卷积处理，生成第七图像，并将第七图像输入至连接层；
10）连接层连接第七图像和第一图像后将连接后的图像输入至线性整流层；
11）线性整流层对连接后的图像进行线性整流处理，生成第八图像，并将第八图像输入至卷积层；
12）卷积层对第八图像进行卷积处理，生成第九图像，并将第九图像输入至归一化层；
13）归一化层对第九图像进行归一化处理，生成目标清晰图像。
需要说明的是，在其他实施例中，可重复执行步骤3）-步骤7），本申请不作限定。
根据本申请实施例提供的去模糊模型的训练方法，通过设置一个生成器以生成目标清晰图像，然后将生成的目标清晰图像一路用于训练第一判别器，一路用于生成目标模糊图像以用于后续对第二判别器的训练，实现对一个生成器的复用以在确保功能不变的情况下减少生成器的数量，从而降低训练难度，使得模型的结构更加简单轻便，从而提高模型的通用性。
步骤130、基于目标清晰图像和样本清晰图像，训练第一判别器；
在该步骤中，通过对样本模糊图像进行去模糊处理后所得到的目标清晰图像，可以为与经处理的样本模糊图像对应的样本清晰图像，也可以为与经处理的样本模糊图像不对应的样本清晰图像。
即，在本步骤中，用于生成目标清晰图像的样本模糊图像，与样本清晰图像对应内容可能保持一致，也可能不一致。
例如，如图2所示，在通过生成器得到目标清晰图像后，生成器将生成的目标清晰图像发送至第一判别器，此外，第一判别器还可以获取样本清晰图像。
第一判别器基于接收到的目标清晰图像和样本清晰图像进行训练，直至第一判别器的准确率达到第一目标阈值。
其中，第一目标阈值可以基于用户自定义，如确定为80％或90％等。
在实际执行过程中，第一判别器可以为多尺度马尔科夫判别器或者其他任意可实现本功能的判别器，本申请不作限定。
下面以第一判别器为多尺度马尔科夫判别器为例，对步骤130的实现方式进行具体说明。
在一些实施例中，判别器可以包括卷积层和多个线性整流层，多个线性整流层顺次连接，且多个线性整流层中最后一个线性整流层的输出端与卷积层的输入端连接。
在该实施例中，如图4所示，在一些实施例中，线性整流层可以包括顺次连接的卷积（conv）层、规范处理层（Instance Norm）和线性整流单元（ReLU）。
线性整流层的数量可以为4、5或其他正整数层，本申请不作限定。
需要说明的是，各判别器可以对应3各尺度的输入，其中，3个尺度的输入大小分别为原图大小、二分之一大小及四分之一大小。
步骤140、对样本清晰图像进行模糊处理，生成目标模糊图像；
在该步骤中，可以通过确定模糊核，然后基于模糊核对样本清晰图像进行模糊处理，以生成目标模糊图像。
即采用模糊核对样本清晰图像中的任一像素点进行处理，如采用均值法进行处理，从而使得处理后的该像素点对应的像素值与相邻像素点的像素值更为接近，使得所得到的目标模糊图像更平滑。
需要说明的是，在一些实施例中，基于样本模糊图像生成的目标清晰图像，可以作为后续处理过程中的样本清晰图像，用于生成目标模糊图像；基于样本清晰图像生成的目标模糊图像，可以作为后续处理过程中的样本模糊图像，用于生成目标清晰图像。
在一些实施例中，图像去模糊模型还可以包括模糊层，模糊层的输入端与生成器的输出端连接，第二判别器的输入端与模糊层的输出端连接，模糊层的输出端与生成器的输入端连接，步骤140，还可以包括：将样本清晰图像输入至模糊层，获取模糊层输出的目标模糊图像。
在该实施例中，继续参考图2，模糊层的输入端与生成器的输出端连接，用于接收由生成器G对样本模糊图像x进行去模糊处理所生成的目标清晰图像y1，并对目标清晰图像y1进行模糊处理，以生成目标模糊图像x1。
模糊层的输出端还与生成器的输入端连接，用于将对样本清晰图像y进行模糊处理所生成的目标模糊图像x2输入至生成器G，以供生成器基于目标模糊图像x2生成目标清晰图像y2。
模糊层的输出端还可以与第二判别器的输入端连接，用于将对样本清晰图像进行模糊处理所生成的目标模糊图像输入至第二判别器，以供第二判别器进行后续计算。
例如，模糊层中的模糊核可以为20x20的线性模糊核，该20x20的线性模糊核可以通过一个卷积层生成。
步骤150、基于目标模糊图像和样本模糊图像，训练第二判别器；
在该步骤中，目标模糊图像为对经生成器生成的目标清晰图像进行模糊处理后，所得到的模糊图像。
例如，继续参考图2，在通过生成器得到目标清晰图像后，生成器将生成的目标清晰图像一路发送至第一判别器，另一路发送至模糊层。
模糊层对目标清晰图像进行模糊处理，生成目标模糊图像后，将生成的目标模糊图像发送至第二判别器。
第二判别器基于接收到的目标模糊图像和样本模糊图像进行训练，直至第二判别器的准确率达到第一目标阈值。
其中，第一目标阈值可以基于用户自定义，如确定为80％或90％等。
在实际执行过程中，第二判别器可以为多尺度马尔科夫判别器或者其他任意可实现本功能的判别器，本申请不作限定。
在第二判别器为多尺度马尔科夫判别器的情况下，其具体结构与第一判别器类似，在此不作赘述。
步骤160、基于样本模糊图像和目标清晰图像，训练生成器。
在该步骤中，可以基于样本模糊图像和目标清晰图像训练生成器，直至生成的目标清晰图像为真实图像的可能性超过第二目标阈值。
其中，第二目标阈值可以基于用户自定义，如确定为50％或60％等。
在一些实施例中，还可以基于以上步骤，交替训练生成器、第一判别器和第二判别器，直至目标损失函数达到稳定值，此时表征图像去模糊模型达到稳定状态，且具有较高的计算精度。
例如，训练过程中可以使用Adam优化器，开始的学习率设置为0.0001。每个epoch迭代10000次，在训练完10个epoch后，每5个epoch减小学习率为原学习率的0.6倍，训练30个epoch，直至训练完成。
申请人在研发过程中发现，相关技术中，存在一种基于DeblurGAN等用于去除运动模糊从而实现图像去模糊效果的方法，但该方法需要模糊-清晰成对的图像作为训练数据，在现实中往往不容易获得精确的成对图像，从而使得训练成本较高且样本获取难度较大；除此之外，相关技术中还存在另一种基于循环生成对抗网络(CycleGAN)使用非成对的数据进行训练以进行图像去模糊的方法，但该方法导致模型的训练难度较大。
而在本申请中，通过设置一个生成器和两个判别器，可以显著降低训练难度；还可以同时支持基于成对以及非成对的图像数据的训练，以降低样本获取难度，从而提高了模型的鲁棒性和训练效率，且具有较高的计算精度和准确度。
根据本申请实施例提供的去模糊模型的训练方法，通过设置一个生成器和两个判别器，可以实现采用成对和/或非成对的样本模糊图像和样本清晰图像即可对生成器和判别器进行训练，在降低样本获取难度以及模型训练难度的同时，还可以保证模型具有较高的计算精度和准确度。
在一些实施例中，该方法还可以包括：基于目标清晰图像、样本清晰图像、目标模糊图像和样本模糊图像中的至少两种，训练图像去模糊模型对应的目标损失函数。
在该实施例中，目标损失函数为用于训练生成器和判别器的函数。
目标损失函数可以表现为任意形式，如目标损失函数可以包括循环损失函数和对抗损失函数中的至少一种。
在一些实施例中，目标损失函数可以基于循环损失函数和对抗损失函数之和确定。
在该实施例中，循环损失函数可以通过如下公式确定：
Figure 167639DEST_PATH_IMAGE001
其中，
Figure 98686DEST_PATH_IMAGE002
为循环损失函数，/>
Figure 853016DEST_PATH_IMAGE003
为目标模糊图像与样本模糊图像之间的像素差的均值，/>
Figure 590028DEST_PATH_IMAGE004
为目标清晰图像与样本清晰图像之间的像素差的均值，x为输入的模糊图像，y为输入的清晰图像，h为模拟的模糊核，G（*）为生成器。
继续参考图2，在实际执行过程中，可以基于样本模糊图像x和目标模糊图像x1训练循环损失函数，还可以基于样本清晰图像y和目标清晰图像y2训练循环损失函数。
在一些实施例中，对抗损失函数为最小二乘损失函数。
在该实施例中，对抗损失函数可以通过如下公式确定：
Figure 113413DEST_PATH_IMAGE005
其中，
Figure 543257DEST_PATH_IMAGE006
为对抗损失函数，x为输入的模糊图像，y为输入的清晰图像，h为模拟的模糊核，/>
Figure 784883DEST_PATH_IMAGE007
为第二判别器，/>
Figure 246957DEST_PATH_IMAGE008
为第一判别器，G（*）为生成器。
继续参考图2，在实际执行过程中，可以基于样本模糊图像x和目标模糊图像x2训练对抗损失函数，还可以基于样本清晰图像y和目标清晰图像y1训练对抗损失函数。
根据本申请实施例提供的去模糊模型的训练方法，通过采用具有特殊结构的循环生成对抗网络(CycleGAN)，仅利用一个生成器与两个判别器即可实现图像去模糊处理，去模糊效果较好；除此之外，通过减少生成器的数量，还能够降低模型训练过程中的难度，支持使用成对与非成对的图像数据进行训练，使得模型具备更好的鲁棒性，从而提高模型的通用性。
本申请实施例提供的图像去模糊模型的训练方法，执行主体可以为图像去模糊模型的训练装置。本申请实施例中以图像去模糊模型的训练装置执行图像去模糊模型的训练方法为例，说明本申请实施例提供的图像去模糊模型的训练装置。
本申请实施例还提供一种图像去模糊模型的训练装置。
该图像去模糊模型包括生成器，第一判别器和第二判别器，第一判别器的输入端与生成器的输出端连接。
如图6所示，该图像去模糊模型的训练装置包括：第一获取模块610、第一处理模块620、第二处理模块630、第三处理模块640、第四处理模块650和第五处理模块660。
第一获取模块610，用于获取训练集，训练集包括样本模糊图像和样本清晰图像；
第一处理模块620，用于将样本模糊图像输入至生成器，获取生成器生成的目标清晰图像；
第二处理模块630，用于基于目标清晰图像和样本清晰图像，训练第一判别器；
第三处理模块640，用于对样本清晰图像进行模糊处理，生成目标模糊图像；
第四处理模块650，用于基于目标模糊图像和样本模糊图像，训练第二判别器；
第五处理模块660，用于基于样本模糊图像和目标清晰图像，训练生成器。
根据本申请实施例提供的图像去模糊模型的训练装置，通过设置一个生成器和两个判别器，可以实现采用成对和/或非成对的样本模糊图像和样本清晰图像即可对生成器和判别器进行训练，在降低样本获取难度以及模型训练难度的同时，还可以保证模型具有较高的计算精度和准确度。
在一些实施例中，第一处理模块620，还可以用于：
对样本模糊图像进行线性整流处理，生成第一图像；
对第一图像进行最大池化处理，生成第二图像；
对第二图像进行线性整流处理，生成第三图像；
对第三图像进行最大池化处理，生成第四图像；
对第四图像进行线性整流处理以及反卷积处理，生成第五图像；
连接第五图像和第三图像，并对连接后的图像进行线性整流处理，生成第六图像；
对第六图像进行反卷积处理，生成第七图像；
连接第七图像和第一图像，并对连接后的图像进行线性整流处理，生成第八图像；
对第八图像进行卷积处理，生成第九图像；
对第九图像进行归一化处理，生成目标清晰图像。
在一些实施例中，该装置还可以包括第七处理模块，用于：基于目标清晰图像、样本清晰图像、目标模糊图像和样本模糊图像中的至少两种，训练图像去模糊模型对应的目标损失函数。
在一些实施例中，图像去模糊模型还包括模糊层，模糊层的输入端与生成器的输出端连接，第二判别器的输入端与模糊层的输出端连接，模糊层的输出端与生成器的输入端连接，第三处理模块640，还可以用于：将样本清晰图像输入至模糊层，获取模糊层输出的目标模糊图像。
在一些实施例中，第一获取模块610，还可以用于：
获取第一对象对应的第一模糊图像和第一对象对应的第一清晰图像；
获取第二对象对应的第二模糊图像和第三对象对应的第二清晰图像；
基于第一模糊图像、第一清晰图像、第二模糊图像和第二清晰图像，确定训练集；
其中，第一对象、第二对象和第三对象为不同的对象。
本申请实施例中的图像去模糊模型的训练装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置（Mobile Internet Device，MID）、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、机器人、可穿戴设备、超级移动个人计算机（ultra-mobilepersonal computer，UMPC）、上网本或者个人数字助理（personal digital assistant，PDA）等，还可以为服务器、网络附属存储器（Network Attached Storage，NAS）、个人计算机（personal computer，PC）、电视机（television，TV）、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的图像去模糊模型的训练装置可以为具有操作系统的装置。该操作系统可以为安卓（Android）操作系统，可以为IOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的图像去模糊模型的训练装置能够实现图1-图4方法实施例实现的各个过程，为避免重复，这里不再赘述。
本申请实施例还提供一种图像去模糊模型的应用方法。
该图像去模糊模型的应用方法应用于如上任意实施例所述的图像去模糊模型。
如图5所示，该图像去模糊模型的应用方法，包括：步骤510和步骤520。
步骤510、获取待处理图像；
在该步骤中，待处理图像为需进行去模糊处理的图像。
步骤520、将待处理图像输入至图像去模糊模型的生成器，获取生成器输出的目标图像。
在该步骤中，目标图像为与待处理图像的内容相同，且清晰度更高的图像。
图像去模糊模型用于对待处理图像进行去模糊处理，生成目标图像。
例如，将待处理图像输入至图像去模糊模型，基于图像去模糊模型中的生成器，即可生成目标图像，该生成的目标图像的清晰度较高，其中，生成器为预先训练好的。
根据本申请实施例提供的图像去模糊模型的应用方法，通过采用预先训练好的图像去模糊模型对待处理图像进行去模糊处理，具有较高的处理精度，适用于任意环境，具有较高的使用通用性。
本申请实施例提供的图像去模糊模型的应用方法，执行主体可以为图像去模糊模型的应用装置。本申请实施例中以图像去模糊模型的应用装置执行图像去模糊模型的应用方法为例，说明本申请实施例提供的图像去模糊模型的应用装置。
本申请实施例还提供一种图像去模糊模型的应用装置。
如图7所示，该图像去模糊模型的应用装置包括：第二获取模块710和第六处理模块720。
第二获取模块710，用于获取待处理图像；
第六处理模块720，用于将待处理图像输入至图像去模糊模型的生成器，获取生成器输出的目标图像。
根据本申请实施例提供的图像去模糊模型的应用装置，通过采用预先训练好的图像去模糊模型对待处理图像进行去模糊处理，具有较高的处理精度，适用于任意环境，具有较高的使用通用性。
本申请实施例中的图像去模糊模型的应用装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置（Mobile Internet Device，MID）、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、机器人、可穿戴设备、超级移动个人计算机（ultra-mobilepersonal computer，UMPC）、上网本或者个人数字助理（personal digital assistant，PDA）等，还可以为服务器、网络附属存储器（Network Attached Storage，NAS）、个人计算机（personal computer，PC）、电视机（television，TV）、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的图像去模糊模型的应用装置可以为具有操作系统的装置。该操作系统可以为安卓（Android）操作系统，可以为IOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的图像去模糊模型的应用装置能够实现图5方法实施例实现的各个过程，为避免重复，这里不再赘述。
在一些实施例中，如图8所示，本申请实施例还提供一种电子设备800，包括处理器801、存储器802及存储在存储器802上并可在处理器801上运行的计算机程序，该程序被处理器801执行时实现上述图像去模糊模型的训练或图像去模糊模型的应用方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图9为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备900包括但不限于：射频单元901、网络模块902、音频输出单元903、输入单元904、传感器905、显示单元906、用户输入单元907、接口单元908、存储器909以及处理器910等部件。
本领域技术人员可以理解，电子设备900还可以包括给各个部件供电的电源（比如电池），电源可以通过电源管理系统与处理器910逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图9中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
应理解的是，本申请实施例中，输入单元904可以包括图形处理器（GraphicsProcessing Unit，GPU）9041和麦克风9042，图形处理器9041对在视频捕获模式或图像捕获模式中由图像捕获装置（如摄像头）获得的静态图片或视频的图像数据进行处理。显示单元906可包括显示面板9061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板9061。用户输入单元907包括触控面板9071以及其他输入设备9072中的至少一种。触控面板9071，也称为触摸屏。触控面板9071可包括触摸检测装置和触摸控制器两个部分。其他输入设备9072可以包括但不限于物理键盘、功能键（比如音量控制按键、开关按键等）、轨迹球、鼠标、操作杆，在此不再赘述。
存储器909可用于存储软件程序以及各种数据。存储器909可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令（比如声音播放功能、图像播放功能等）等。此外，存储器909可以包括易失性存储器或非易失性存储器，或者，存储器909可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器909包括但不限于这些和任意其它适合类型的存储器。
处理器910可包括一个或多个处理单元；处理器910集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器910中。
本申请实施例还提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述图像去模糊模型的训练方法或图像去模糊模型的应用方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述图像去模糊模型的训练方法或图像去模糊模型的应用方法。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图像去模糊模型的训练方法或图像去模糊模型的应用方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端（可以是手机，计算机，服务器，或者网络设备等）执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本申请的实施例，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。

Claims (9)

1.一种图像去模糊模型的训练方法，其特征在于，所述图像去模糊模型包括生成器，第一判别器和第二判别器，所述第一判别器的输入端与所述生成器的输出端连接，所述方法包括：
获取训练集，所述训练集包括样本模糊图像和样本清晰图像；
将所述样本模糊图像输入至所述生成器，获取所述生成器生成的目标清晰图像；
基于所述目标清晰图像和所述样本清晰图像，训练所述第一判别器；
对所述样本清晰图像进行模糊处理，生成目标模糊图像；
基于所述目标模糊图像和所述样本模糊图像，训练所述第二判别器；
基于所述样本模糊图像和所述目标清晰图像，训练所述生成器；
所述将所述样本模糊图像输入至所述生成器，获取所述生成器生成的目标清晰图像，包括：
对所述样本模糊图像进行线性整流处理，生成第一图像；
对所述第一图像进行最大池化处理，生成第二图像；
对所述第二图像进行线性整流处理，生成第三图像；
对所述第三图像进行最大池化处理，生成第四图像；
对所述第四图像进行线性整流处理以及反卷积处理，生成第五图像；
连接所述第五图像和所述第三图像，并对连接后的图像进行线性整流处理，生成第六图像；
对所述第六图像进行所述反卷积处理，生成第七图像；
连接所述第七图像和所述第一图像，并对连接后的图像进行线性整流处理，生成第八图像；
对所述第八图像进行卷积处理，生成第九图像；
对所述第九图像进行归一化处理，生成所述目标清晰图像。
2.根据权利要求1所述的图像去模糊模型的训练方法，其特征在于，还包括：基于所述目标清晰图像、所述样本清晰图像、所述目标模糊图像和所述样本模糊图像中的至少两种，训练所述图像去模糊模型对应的目标损失函数。
3.根据权利要求2所述的图像去模糊模型的训练方法，其特征在于，所述目标损失函数基于循环损失函数和对抗损失函数之和确定。
4.根据权利要求3所述的图像去模糊模型的训练方法，其特征在于，所述对抗损失函数为最小二乘损失函数。
5.根据权利要求1-4任一项所述的图像去模糊模型的训练方法，其特征在于，所述图像去模糊模型还包括模糊层，所述模糊层的输入端与所述生成器的输出端连接，所述第二判别器的输入端与所述模糊层的输出端连接，所述模糊层的输出端与所述生成器的输入端连接，所述对所述样本清晰图像进行模糊处理，生成目标模糊图像，包括：
将所述样本清晰图像输入至所述模糊层，获取所述模糊层输出的所述目标模糊图像。
6.根据权利要求1-4任一项所述的图像去模糊模型的训练方法，其特征在于，所述获取训练集，包括：
获取第一对象对应的第一模糊图像和所述第一对象对应的第一清晰图像；
获取第二对象对应的第二模糊图像和第三对象对应的第二清晰图像；
基于所述第一模糊图像、所述第一清晰图像、所述第二模糊图像和所述第二清晰图像，确定所述训练集；
其中，所述第一对象、所述第二对象和所述第三对象为不同的对象。
7.一种图像去模糊模型的应用方法，其特征在于，应用于如权利要求1-6任一项所述的图像去模糊模型，所述方法包括：
获取待处理图像；
将所述待处理图像输入至所述图像去模糊模型的所述生成器，获取所述生成器输出的目标图像。
8.一种图像去模糊模型的训练装置，其特征在于，所述图像去模糊模型包括生成器，第一判别器和第二判别器，所述第一判别器的输入端与所述生成器的输出端连接，所述装置包括：
第一获取模块，用于获取训练集，所述训练集包括样本模糊图像和样本清晰图像；
第一处理模块，用于将所述样本模糊图像输入至所述生成器，获取所述生成器生成的目标清晰图像；
第二处理模块，用于基于所述目标清晰图像和所述样本清晰图像，训练所述第一判别器；
第三处理模块，用于对所述样本清晰图像进行模糊处理，生成目标模糊图像；
第四处理模块，用于基于所述目标模糊图像和所述样本模糊图像，训练所述第二判别器；
第五处理模块，用于基于所述样本模糊图像和所述目标清晰图像，训练所述生成器；
所述第一处理模块，还用于：
对所述样本模糊图像进行线性整流处理，生成第一图像；
对所述第一图像进行最大池化处理，生成第二图像；
对所述第二图像进行线性整流处理，生成第三图像；
对所述第三图像进行最大池化处理，生成第四图像；
对所述第四图像进行线性整流处理以及反卷积处理，生成第五图像；
连接所述第五图像和所述第三图像，并对连接后的图像进行线性整流处理，生成第六图像；
对所述第六图像进行所述反卷积处理，生成第七图像；
连接所述第七图像和所述第一图像，并对连接后的图像进行线性整流处理，生成第八图像；
对所述第八图像进行卷积处理，生成第九图像；
对所述第九图像进行归一化处理，生成所述目标清晰图像。
9.一种图像去模糊模型的应用装置，其特征在于，应用于如权利要求1-6任一项所述的图像去模糊模型，所述装置包括：
第二获取模块，用于获取待处理图像；
第六处理模块，用于将所述待处理图像输入至所述图像去模糊模型的所述生成器，获取所述生成器输出的目标图像。
CN202211361715.0A 2022-11-02 2022-11-02 图像去模糊模型的训练方法和装置以及应用方法和装置 Active CN115439375B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211361715.0A CN115439375B (zh) 2022-11-02 2022-11-02 图像去模糊模型的训练方法和装置以及应用方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211361715.0A CN115439375B (zh) 2022-11-02 2022-11-02 图像去模糊模型的训练方法和装置以及应用方法和装置

Publications (2)

Publication Number Publication Date
CN115439375A CN115439375A (zh) 2022-12-06
CN115439375B true CN115439375B (zh) 2023-03-24

Family

ID=84252319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211361715.0A Active CN115439375B (zh) 2022-11-02 2022-11-02 图像去模糊模型的训练方法和装置以及应用方法和装置

Country Status (1)

Country Link
CN (1) CN115439375B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116468613B (zh) * 2023-06-20 2023-10-27 深圳市景创科技电子股份有限公司 超高清虚拟显示及控制方法、装置、设备及计算机介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109727201A (zh) * 2017-10-30 2019-05-07 富士通株式会社 信息处理设备、图像处理方法以及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416752B (zh) * 2018-03-12 2021-09-07 中山大学 一种基于生成式对抗网络进行图像去运动模糊的方法
CN110473147A (zh) * 2018-05-09 2019-11-19 腾讯科技（深圳）有限公司 一种视频去模糊方法和装置
CN110570375B (zh) * 2019-09-06 2022-12-09 腾讯科技（深圳）有限公司 一种图像处理方法、装置、电子设置以及存储介质
CN111260545B (zh) * 2020-01-20 2023-06-20 北京百度网讯科技有限公司 生成图像的方法和装置
CN111428575B (zh) * 2020-03-02 2022-03-04 武汉大学 一种基于孪生网络的针对模糊目标的跟踪方法
CN113160179A (zh) * 2021-04-23 2021-07-23 杭州电子科技大学 一种基于动态区域卷积的图像去模糊方法
CN113538266A (zh) * 2021-07-07 2021-10-22 南京国电南自电网自动化有限公司 一种基于wgan的模糊航拍图像处理方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109727201A (zh) * 2017-10-30 2019-05-07 富士通株式会社 信息处理设备、图像处理方法以及存储介质

Also Published As

Publication number Publication date
CN115439375A (zh) 2022-12-06

Similar Documents

Publication Publication Date Title
CN109791625B (zh) 使用人工神经网络进行面部识别
CN110610154A (zh) 行为识别方法、装置、计算机设备和存储介质
CN111160288A (zh) 手势关键点检测方法、装置、计算机设备和存储介质
WO2019055093A1 (en) EXTRACTION OF SPATIO-TEMPORAL CHARACTERISTICS FROM A VIDEO
CN115439375B (zh) 图像去模糊模型的训练方法和装置以及应用方法和装置
CN107368181B (zh) 一种手势识别方法及装置
CN110956131B (zh) 单目标追踪方法、装置及系统
CN109859314A (zh) 三维重建方法、装置、电子设备和存储介质
CN115661336A (zh) 一种三维重建方法及相关装置
ABAWATEW et al. Attention augmented residual network for tomato disease detection andclassification
CN110852351A (zh) 基于图像的垃圾分类方法、装置、终端设备和存储介质
Cheng et al. Weighted feature fusion and attention mechanism for object detection
US11080551B2 (en) Proposal region filter for digital image processing
CN111639523B (zh) 目标检测方法、装置、计算机设备和存储介质
Qing et al. Attentive and context-aware deep network for saliency prediction on omni-directional images
CN112699784A (zh) 一种人脸朝向估计方法、装置、电子设备及存储介质
Wang et al. Binarization method based on evolution equation for document images produced by cameras
Wilk et al. Sub-pixel point detection algorithm for point tracking with low-power wearable camera systems: A simplified linear interpolation
Panteleris et al. Toward augmented reality in museums: evaluation of design choices for 3D object pose estimation
CN113780555A (zh) 基于数据增强的模型训练方法、装置、设备及存储介质
Liu et al. A fast button surface defects detection method based on convolutional neural network
Xiong et al. PC-SuperPoint: interest point detection and descriptor extraction using pyramid convolution and circle loss
Ma et al. A continuation method for image registration based on dynamic adaptive kernel
Tamayo et al. Entropy-Based Saliency Computation in Log-Polar Images.
Zhang et al. Global context-aware feature modulation networks for unified multi-scale super-resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 230088 floor 1-4, zone a, building E2, phase II, innovation industrial park, No. 2800, innovation Avenue, high tech Zone, Hefei, Anhui Province

Patentee after: Guoyi Quantum Technology (Hefei) Co.,Ltd.

Address before: 230088 floor 1-4, zone a, building E2, phase II, innovation industrial park, No. 2800, innovation Avenue, high tech Zone, Hefei, Anhui Province

Patentee before: Guoyi Quantum (Hefei) Technology Co.,Ltd.

CP01 Change in the name or title of a patent holder