CN117649364B - 基于改进DeblurGANv2模型的真菌孢子显微图像去模糊方法 - Google Patents
基于改进DeblurGANv2模型的真菌孢子显微图像去模糊方法 Download PDFInfo
- Publication number
- CN117649364B CN117649364B CN202410126237.8A CN202410126237A CN117649364B CN 117649364 B CN117649364 B CN 117649364B CN 202410126237 A CN202410126237 A CN 202410126237A CN 117649364 B CN117649364 B CN 117649364B
- Authority
- CN
- China
- Prior art keywords
- microscopic image
- image
- deblurring
- spore
- fungal spore
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 241000233866 Fungi Species 0.000 title claims abstract description 46
- 230000002538 fungal effect Effects 0.000 claims abstract description 99
- 238000012549 training Methods 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 12
- 230000002194 synthesizing effect Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 7
- 239000000203 mixture Substances 0.000 claims description 6
- 230000006872 improvement Effects 0.000 claims description 5
- 238000012795 verification Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 description 14
- 230000000875 corresponding effect Effects 0.000 description 11
- 201000010099 disease Diseases 0.000 description 9
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 9
- 230000004913 activation Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000004927 fusion Effects 0.000 description 7
- 241000209140 Triticum Species 0.000 description 4
- 235000021307 Triticum Nutrition 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 240000008042 Zea mays Species 0.000 description 3
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 3
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 3
- 235000005822 corn Nutrition 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 208000035143 Bacterial infection Diseases 0.000 description 2
- 208000031888 Mycoses Diseases 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 2
- 235000007164 Oryza sativa Nutrition 0.000 description 2
- 101100456045 Schizosaccharomyces pombe (strain 972 / ATCC 24843) map3 gene Proteins 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000000969 carrier Substances 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000012535 impurity Substances 0.000 description 2
- 238000001000 micrograph Methods 0.000 description 2
- 238000000399 optical microscopy Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 235000009566 rice Nutrition 0.000 description 2
- 238000001308 synthesis method Methods 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 208000022362 bacterial infectious disease Diseases 0.000 description 1
- 235000013339 cereals Nutrition 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000010902 straw Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
Abstract
本发明公开了一种基于改进DeblurGANv2模型的真菌孢子显微图像去模糊方法及装置，该方法包括：获取真菌孢子显微图像数据集；基于改进DeblurGANv2模型构建真菌孢子显微图像去模糊网络模型，所述改进DeblurGANv2模型包括在FPN网络中融入CBAM注意力模块并增加一条自底向上的5层特征增强路径；将真菌孢子显微图像数据集输入真菌孢子显微图像去模糊网络模型对生成器和判别器进行训练，得到训练完成的真菌孢子显微图像去模糊网络模型；基于训练完成的去模糊网络模型中的生成器对待处理的模糊真菌孢子显微图像进行去模糊。本发明有效提高了真菌孢子显微图像去模糊后的图像质量。
Description
技术领域
本发明涉及农业图像处理技术领域，具体涉及一种基于改进DeblurGANv2模型的真菌孢子显微图像去模糊方法。
背景技术
在植物病害中真菌病害种类最多，约有3万多种，每种作物上都可发现几种甚至几十种。各类农作物主要病害约有1000多种，细分这些病害的侵染循环中，约有60%的种类都是真菌孢子经气流传播、侵染作物、引起发病危害。例如，玉米大斑病是玉米种植中的常见气传真菌病害之一，可造成产量减产20%～50%，同时对品质也有较大影响；气传真菌病害中的小麦条锈病对麦地年均影响面积可达400万公顷，导致产量下降约1200万吨；近年来，气传真菌病害的水稻稻瘟病发生面积在400万公顷左右，引起粮食损失30万～60万吨；使用仪器对空中真菌孢子的捕捉、采集并监测孢子消长与田间病情的相关性，进而实现病害的早期预警，则可组织有效防控措施，防止农作物病害的大面积发生，是保障农产品丰产、优质是重要的技术措施。
随着光学显微成像技术的低成本化和模块化，使得以载玻片为载体结合光学显微成像的智能孢子捕捉仪相继出现。然而，目前大部分麦区一般实行小麦与玉米或水稻轮作，田间秸秆存量大，为各种真菌繁殖和积累提供了充足载体，使得空气中不仅含有真菌孢子，也会使灰尘、其他孢子和花粉等杂质增多，在病害暴发时还会出现空气中真菌孢子数量大幅增多，从图2可以看出，受显微成像景深小的限制，同时孢子是立体类椭圆形状，成像时孢子不完全在同一水平面，故只能把对焦点部分成像的较清楚，而其他空间位置的孢子会呈现出模糊不清的现象，导致孢子边缘模糊和高频信息缺失。因此，使用合适的模糊复原算法去除离焦模糊对后续孢子目标检测尤为重要。近年来，随着深度学习快速发展，由于无需对模糊核进行估计，生成对抗网络因其能保留图像中丰富的细节、创造出和真实图像十分接近的图像等特点而被广泛应用于图像去模糊任务中。Kupyn等人在2018年提出的去模糊生成对抗网络（Deblurring generative adversarial networks, DeblurGAN）是一种结合条件生成对抗网络和内容损失的端到端运动去模糊学习模型，该网络通过生成器对图像进行去模糊化，并通过判别器来监督网络训练方向。Kupyn等人于2019年在DeblurGAN的基础上又提出了改进型去模糊生成对抗网络（Deblurring Generative Adversarial Networks-v2, DeblurGAN-v2），该网络引入特征金字塔结构，同时以轻量级网络Inception-ResNet-v2作为骨干网络，不仅提高了去模糊的图像质量，而且使网络速度得到较大提升。
综上所述，基于生成对抗网络的模糊复原取得了较好的去模糊效果，但显微图像与普通图像有所不同，本发明中显微图像孢子的边缘纹理细节较为丰富，而边缘轮廓细节对后续孢子目标检测尤为重要，清晰的孢子边缘能有效降低误检和漏检问题。因此，针对孢子显微图像离焦模糊复原问题，对微小真菌孢子的特征提取中，如何有效融合孢子浅层特征的细节信息和深层特征的语义信息，构筑强鲁棒性的孢子显微图像离焦模糊复原模型，保留孢子轮廓结构丰富信息的同时，生成清晰的孢子显微图像，值得进一步研究。
因此，如何开发出一种针对真菌孢子显微图像去模糊方法已经成为亟待解决的技术问题。
发明内容
针对上述现有技术存在的问题，本发明提供了一种基于改进DeblurGANv2模型的真菌孢子显微图像去模糊方法及装置，有效提高针对真菌孢子显微图像去模糊效果和效率。该技术方案如下：
第一方面，提供了一种基于改进DeblurGANv2模型的真菌孢子显微图像去模糊方法，其特征在于，包括：
（1）获取真菌孢子显微图像数据集；
（2）基于改进DeblurGANv2模型构建真菌孢子显微图像去模糊网络模型，所述改进DeblurGANv2模型包括在生成器的FPN结构后增加一条自底向上的特征增强路径，所述特征增强路径以FPN结构最浅层特征为最底层输入并通过横向连接将FPN结构的前4个输出特征图融入特征增强路径；
（3）将真菌孢子显微图像数据集输入真菌孢子显微图像去模糊网络模型对生成器和判别器进行训练，得到训练完成的真菌孢子显微图像去模糊网络模型；
（4）基于训练完成的去模糊网络模型中的生成器对待处理的模糊真菌孢子显微图像进行去模糊。
在一些实施方式中，所述自底向上的特征增强路径包括5层，该特征增强路径包括：
FPN结构最浅层特征图C横向连接为增强路径中的最底层特征图；
底层特征图经过一个步长为2的33的卷积运算得到分辨率减半的特征图，
此时与FPN输出特征图层的分辨率大小相等；
特征图和进行逐像素相加后再经过一个33的卷积得到增强路径的层特
征图；
得到后，按照获取层特征图的方法循环3次，依次得到增强路径的
层特征图。
在一些实施方式中，所述生成器中基于特征增强路径特征图作为特征融合模块的
输出特征图。具体的，将特征增强路径特征图作为特征融合模块的输出特征图。
在一些实施方式中，所述改进DeblurGANv2模型中，还包括：在生成器的FPN第一层
提取的最大尺度特征图即最浅层特征图C通过横向连接向后传递时添加CBAM注意力模块，
所述CBAM注意力模块包括通道注意力模块CAM和空间注意力模块SAM。
在一些实施方式中，DeblurGANv2模型中的判别器的结构，包括：
判别器模型层数为5层，
Layer1是一个卷积核大小为4，步长为2的卷积层，其后连接LeakyReLU作为激活函数；
Layer2和Layer3均由一个卷积核大小为4、步长为2的卷积层，其后连接Norm_layer作为归一化层和LeakyReLU作为激活函数组成；
Layer4由一个卷积核大小为4、步长为1的卷积层和一个Norm_layer作为归一化层、LeakyReLU作为激活函数组成；
Layer5是一个输出通道为1的卷积层作为全连接层，用于输出判别结果。
在一些实施方式中，所述（1）获取真菌孢子图像数据集，包括：
（11）获取真菌孢子原始显微图像；
（12）对真菌孢子原始显微图像合成对应的模糊图像，得到2000张真菌孢子模糊图像和对应的清晰图像组成的数据集，将真菌孢子数据集按6:2:2划分为训练集、验证集和测试集。
在一些实施方式中，所述（12），包括：
在合成模糊图像之前，对孢子显微图像集进行特异性清晰程度判断，在孢子显微图像清晰程度大于预设值时，对孢子显微图像合成对应的模糊图像；
所述清晰程度判断方法包括：
对采集的真菌孢子原始显微图像，与拉普拉斯算子进行卷积计算，得到图像的梯度图，
基于梯度图的方差表示图像的清晰程度，在梯度图的方差大于预设值时，确定为清晰的孢子显微图像。
在一些实施方式中，所述（12）中合成模糊图像的方法包括：
对于清晰图像，采用预设的正方形高斯核与真菌孢子清晰图像进行步长为1的卷积操作，根据不同大小的模糊核得到模糊程度不同的真菌孢子图像；
基于合成的多幅模糊图像和与之对应的清晰图像组成真菌孢子显微图像数据集。
在一些实施方式中，所述（3）中，真菌孢子去模糊网络模型训练过程中采用的损失函数为：
式中，为像素损失，为内容损失，为鉴别器损失；
所述像素损失的计算公式为：
其中，I表示清晰图像，表示将模糊图像输入生成器后生成器输出结果，
W和H表示图像的宽和高；
所述内容损失的计算公式为：
其中，I表示清晰图像，表示将模糊图像输入生成器后生成器输出结果，
其中是在VGG19网络中第i个最大池化层之前通过第j次卷积后获得的特征图，和是特征图的宽和高；
所述鉴别器损失的计算公式为：
其中，表示将图像随机裁切为7070大小后输入鉴别器并计算损失，表
示将生成器输出的完整图像输入鉴别器并计算损失。
第二方面，提供了一种基于改进DeblurGANv2模型的真菌孢子显微图像去模糊装置，该装置包括：
真菌孢子显微图像数据集单元，用于获取真菌孢子显微图像数据集；
去模糊网络模型构建单元，用于基于改进DeblurGANv2模型构建真菌孢子显微图像去模糊网络模型，所述改进DeblurGANv2模型包括在生成器的FPN结构后增加一条自底向上的特征增强路径，所述特征增强路径以FPN结构最浅层特征为最底层输入并通过横向连接将FPN结构的前4个输出特征图融入特征增强路径；
去模糊网络模型训练单元，用于将真菌孢子显微图像数据集输入真菌孢子显微图像去模糊网络模型对生成器和判别器进行训练，得到训练完成的真菌孢子显微图像去模糊网络模型；
真菌孢子显微图像去模糊单元，用于基于训练完成的去模糊网络模型中的生成器对待处理的模糊真菌孢子显微图像进行去模糊。
第三方面，提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述第一方面所述的基于改进DeblurGANv2模型的真菌孢子显微图像去模糊方法。
第四方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的基于改进DeblurGANv2模型的真菌孢子显微图像去模糊方法。
本发明的一种基于改进DeblurGANv2模型的真菌孢子显微图像去模糊方法及装置，具备如下有益效果：第一，本发明提出一种真菌孢子显微图像离焦模糊合成方法，可用于合成数据集对去模糊模型进行训练；第二，本发明优化特征提取网络提取目标特征，同时优化特征融合模块，对真菌孢子离焦模糊图像去模糊，峰值信噪比(PSNR)为28.88，结构相似性（SSIM）为0.962，均方误差(MSE)为0.0014；第三，本发明与现有技术相比，能够实现复杂环境下的真菌孢子显微图像去模糊，具有更广阔的应用前景。
附图说明
图1为本发明的方法流程图；
图2为本发明采集的真菌孢子原始显微图像；
图3为本发明基于改进DeblurGANv2技术的真菌孢子显微图像去模糊方法网络结构图；
图4为本发明设计的特征增强路径结构图；
图5为当真菌孢子显微图像离焦模糊程度为轻度时，本发明的真菌孢子显微图像去模糊方法的去模糊效果图；
图6为当真菌孢子显微图像离焦模糊程度为中度时，本发明的真菌孢子显微图像去模糊方法的去模糊效果图；
图7为当真菌孢子显微图像离焦模糊程度为重度时，本发明的真菌孢子显微图像去模糊方法的去模糊效果图。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本申请实施例提供了一种基于改进DeblurGANv2模型的真菌孢子显微图像去模糊方法，该方法包括如下步骤：
（1）获取真菌孢子显微图像数据集；
（2）基于改进DeblurGANv2模型构建真菌孢子显微图像去模糊网络模型，改进DeblurGANv2模型在包括原始特征提取网络FPN结构后增加一条自底向上的特征增强路径，基于特征增强路径输出的多个特征图作为特征融合模块的输出特征图；
（3）将真菌孢子显微图像数据集输入真菌孢子显微图像去模糊网络模型对生成器和判别器进行训练，得到训练完成的真菌孢子显微图像去模糊网络模型；
（4）从训练完成的去模糊网络模型中提取训练完毕的生成器,利用所述训练完成的生成器对需要去模糊的真菌孢子显微图像进行去模糊。
在一种实施方式中，上述步骤（1）获取真菌孢子图像数据集，包括：
（11）获取真菌孢子原始显微图像
在该步骤中，由于去模糊模型的训练需要成对的模糊-清晰图像，而在实际条件下获取一组图像内容完全一样的模糊清晰图像难度过大，所以在此类实验中一般采用由清晰图像合成与之对应的模糊图像的方式来构成实验所需数据集。在拍摄过程中，受客观因素影响，一些图像存在重影、杂质过多等问题，因此需要对获得的图像进行预处理，获得2000张显微图像。
（12）对真菌孢子原始显微图像合成对应的模糊图像，得到2000张真菌孢子模糊图像和对应的清晰图像组成的数据集，将真菌孢子数据集按6:2:2划分为训练集、验证集和测试集。其中，在训练去模糊网络模型中，将训练集输入真菌孢子去模糊网络模型对生成器和判别器进行训练，得到训练后的真菌孢子去模糊网络模型，用验证集对训练后的真菌孢子去模糊网络模型进行验证。
在一种实施方式中，上述步骤（12）合成模糊图像，包括如下步骤：
（121）对孢子显微图像集进行特异性清晰程度判断，在孢子显微图像清晰程度大于预设值时，进入步骤（122）对孢子显微图像合成对应的模糊图像；
该步骤中，清晰程度判断方法包括：对采集的真菌孢子原始显微图像，与拉普拉斯算子进行卷积计算，得到图像的梯度图，基于梯度图的方差表示图像的清晰程度，在梯度图的方差大于预设值时，确定为清晰的孢子显微图像。例如，在梯度图的方差大于预设值时，确定为清晰的孢子显微图像。
（122）对于清晰图像，采用预设的正方形高斯核与真菌孢子清晰图像进行步长为1
的卷积操作，根据不同大小的模糊核得到模糊程度不同的真菌孢子图像；该步骤中，正方形
高斯核边长为N，N为随机取值，范围是16-100；高斯核中每个元素的计算公式：，其中，是标准方差，x和y分别对应了当前位置到卷积核中心的整数
距离。
（123）基于合成的多幅模糊图像和与之对应的清晰图像组成真菌孢子图像数据集。
在一种实施方式中，上述步骤（2）中基于改进DeblurGANv2模型构建真菌孢子显微图像去模糊网络模型，其中改进DeblurGANv2模型包括：在生成器的FPN结构后增加一条自底向上的特征增强路径，所述特征增强路径以FPN结构最浅层特征为最底层输入并通过横向连接将FPN结构的前4个输出特征图融入特征增强路径。具体来说，该构建真菌孢子显微图像去模糊网络模型的过程包括：
（21）构建真菌孢子显微图像去模糊网络生成器模型，在原始特征提取网络FPN中融入CBAM注意力模块，并增加一条自底向上的5层特征增强路径，浅层特征图的信息通过更短的路径向上传播，可以保留特征图中更多的细节信息，具体实施方式如下：
在所述生成器特征提取网络FPN第一层提取的最大尺度特征图通过横向连接向后传递时添加CBAM注意力模块。CBAM注意力模块包括通道注意力模块CAM和空间注意力模块SAM。
所述通道注意力模块首先将输入的特征图分别经过全局最大池化和全局平均池
化,得到两个的特征图，再将它们送入含有两层神经网络的共享的全连接层,共享全
连接层采用Relu激活函数，而后将共享的全连接层输出的两个特征向量进行element-wise
加和与Sigmoid激活，生成的特征向量即为原输入特征图通道维度的注意力权重。
所述空间注意力模块将通道注意力模块的输出特征图作为输入特征图，首先将输
入特征图做全局最大池化和全局平均池化，得到两个的特征图，将其在通道维度
拼接用卷积进行特征提取，卷积操作采用大小为，步距1，激活函数为Sigmoid的卷积
核，降维到1，再经过Sigmod函数生成空间注意力权重，与该模块的输入特征图进行
ELement-wise乘法操作重新生成特征图。
将特征提取网络FPN中最浅层特征图C横向连接为增强路径中的最底层特征图
；底层特征图经过一个步长为2的33的卷积运算得到分辨率减半的特征图，此时与
FPN输出特征图层的分辨率大小相等；将特征图和进行逐像素相加后再经过一个3
3的卷积就得到增强路径的层特征图；得到后，按照上述方法循环3次，得到增强路径
的层特征图。最终用本发明提出的特征增强路径特征图作为特征融合模块
的输出特征图。
（22）构建真菌孢子显微图像去模糊网络判别器模型：判别器网络基于卷积神经网络结构组成，具体细节如下：
判别器模型层数为5层，Layer1是一个卷积核大小为4，步长为2的卷积层，其后连接LeakyReLU作为激活函数；Layer2和Layer3均由一个卷积核大小为4、步长为2的卷积层，其后连接Norm_layer作为归一化层和LeakyReLU作为激活函数组成；Layer4由一个卷积核大小为4、步长为1的卷积层和一个Norm_layer作为归一化层、LeakyReLU作为激活函数组成；Layer5是一个输出通道为1的卷积层作为全连接层，用于输出判别结果。
在一种实施方式中，上述步骤（3）训练真菌孢子显微图像去模糊网络模型的过程，包括：
（31）设置训练参数：设定样本批尺寸batch size为8，训练过程采用自适应估计方
法进行优化，训练共200个迭代周期，训练初始学习率设为，迭代周期，学习率采用线
性衰减方式，学习率从第50个迭代周期开始衰减，最小学习率为；
（32）改进DeblurGANv2模型的训练：
将所述真菌孢子清晰-模糊显微图像集输入真菌孢子显微图像去模糊网络，所述生成器接收模糊图像，输出对应清晰图像；所述判别器接收数据集中清晰图像和生成器合成的清晰图像并输出判别结果；两者互相对抗，当判别器对生成器生成的清晰图像判断真伪概率为50%时训练完成。此时提取生成器作为真菌孢子显微图像去模糊模型。
需要说明的是，上述步骤（3）的训练过程中，本申请实施例采用的损失函数为：
式中，为像素损失，为内容损失，为鉴别器损失；
所述像素损失的计算公式为：
其中，I表示清晰图像，表示将模糊图像输入生成器后生成器输出结果，
W和H表示图像的宽和高；
所述内容损失的计算公式为：
其中，I表示清晰图像，表示将模糊图像输入生成器后生成器输出结果，
其中是在VGG19网络中第i个最大池化层之前通过第j次卷积后获得的特征图，和是特征图的宽和高；
所述鉴别器损失的计算公式为：
其中，表示将图像随机裁切为7070大小后输入鉴别器并计算损失，表
示将生成器输出的完整图像输入鉴别器并计算损失。
本申请实施例提供了一种基于改进DeblurGANv2模型的真菌孢子显微图像去模糊装置，该装置包括：
真菌孢子显微图像数据集单元，用于获取真菌孢子显微图像数据集；
去模糊网络模型构建单元，用于基于改进DeblurGANv2模型构建真菌孢子显微图像去模糊网络模型，所述改进DeblurGANv2模型包括在生成器的FPN结构后增加一条自底向上的特征增强路径，所述特征增强路径以FPN结构最浅层特征为最底层输入并通过横向连接将FPN结构的前4个输出特征图融入特征增强路径；
去模糊网络模型训练单元，用于将真菌孢子显微图像数据集输入真菌孢子显微图像去模糊网络模型对生成器和判别器进行训练，得到训练完成的真菌孢子显微图像去模糊网络模型；
真菌孢子显微图像去模糊单元，用于基于训练完成的去模糊网络模型中的生成器对待处理的模糊真菌孢子显微图像进行去模糊。
本申请实施例提供的基于改进DeblurGANv2模型的真菌孢子显微图像去模糊装置，用于执行本发明上述基于改进DeblurGANv2模型的真菌孢子显微图像去模糊方法，其实施方式与本发明提供的基于改进DeblurGANv2模型的真菌孢子显微图像去模糊方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
本申请实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现前述的真菌孢子显微图像去模糊方法。具体来说，该电子设备可以包括：处理器、通信接口、存储器和通信总线，其中，处理器、通信接口、存储器通过通信总线完成相互间的通信。处理器可以调用存储器中的计算机程序，以执行基于前述改进DeblurGANv2模型的真菌孢子显微图像去模糊方法的步骤。
上述的存储器中的计算机程序可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
又一方面，本申请实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述基于改进DeblurGANv2模型的真菌孢子显微图像去模糊方法的步骤。
为了分析不同模块对模型的重要性，在自建真菌孢子数据集上进行了消融实验。本发明以DeblurGANv2模型为基准，比较了添加一些不同模块后模型的性能。实验比较结果如表1所示。
本申请在原始DeblurGANv2模型中特征提取网络FPN后加入特征增强路径，改进后的网络模型在各个指标均实现了提升。从表1可以看出，PSNR提升了3.29%，SSIM提升了0.35%，MSE下降了17.65%（PSNR和SSIM指标与模型性能正相关，MSE指标与模型性能负相关）。证明特征增强路径可以增加模型的特征提取能力，浅层特征图的信息可以通过更短的路径向上传播，可以保留特征图中更多的细节信息。
本申请在原始DeblurGANv2模型中特征提取网络融入CBAM注意力模块，改进后的网络模型在各个指标均实现了提升，PSNR提升了0.47%，SSIM提升了0.09%，MSE下降了5.88%。证明CBAM注意力模块可以增加模型对孢子这类小目标的特征提取能力，增强网络性能。
表1 不同模块对模型的性能作用对比表
| 特征增强路径 | CBAM | PSNR/dB | SSIM | MSE |
| × | × | 27.96 | 0.9626 | 0.0017 |
| √ | × | 28.51 | 0.9656 | 0.0014 |
| × | √ | 28.09 | 0.9635 | 0.0016 |
| √ | √ | 28.88 | 0.9660 | 0.0014 |
在相同实验条件下，使用改进DeblurGANv2模型分别与DeepDeblur、SRN-Deblur和DeblurGANv2三种模型进行去模糊性能对比实验，去模糊实验对比数据如表2所示。
表2 不同模型对孢子数据集的去模糊结果对比
| Model | PSNR | SSIM | MSE |
| DeepDeblur | 27.72 | 0.9541 | 0.0016 |
| SRN-Deblur | 21.46 | 0.8976 | 0.0062 |
| DeblurGANv2 | 27.96 | 0.9626 | 0.0017 |
| 改进DeblurGANv2 | 28.88 | 0.9660 | 0.0014 |
结果表明，本文提出的算法相比于其他主流去模糊模型，在PSNR、SSIM和MSE上性能均有提升。从表2中可看出，本发明提出的改进DeblurGANv2技术与DeepDeblur、SRN-Deblur、DeblurGANv2三种算法模型的性能对比结果看出，PSNR分别提升了4.18%、34.57%和3.29%；SSIM分别提升了1.24%、7.62%和0.35%；MSE分别下降了12.5%、77.41%和17.64%，进一步提升了模型的去模糊性能。
比较表2中3种算法模型的图像质量评价数值表明，本文算法的PSNR和MSE都有提升，表明本文算法模糊区域的纹理增强更明显；本文算法SSIM也有提升，表明本文算法去模糊后图像的结构细节更多；并且在3种评价方法下都体现出更好的图像质量，鲁棒性更强。
如图5～图7所示，从图5、图6中可以看出，当真菌孢子显微图像离焦模糊程度为轻度和中度时，本发明均能较好的恢复出对应的清晰图像，恢复图像中真菌孢子的纹理、颜色、边界等信息准确；从图7中可以看出，当离焦模糊程度为重度时，图像中的信息由于离焦模糊丢失过多，增加了模型的去模糊难度。但是由于改进DeblurGANv2模型在体征提取阶段和特征融合阶段针对孢子的特征做了改进，使得网络在模糊程度高时能显著的关注图像中孢子所在区域，在离焦模糊程度较高时，依然实现了较好的去模糊性能。因此，本发明使用的改进DeblurGANv2模型优于传统方法，在多项评价指标中达到更好的性能。
综上所述，为了提高真菌孢子离焦模糊图像去模糊效果，本发明提出了一种真菌孢子离焦模糊图像合成方法，合成数据集用于去模糊模型的训练；在特征提取阶段融入CBAM注意力模块，降低图像中无效特征的影响；在特征融合阶段，增加了一条自底向上的特征增强路径，浅层特征图的信息可以通过更短的路径向上传播，可以保留特征图中更多的细节信息。结果表明，本发明能有效地提取孢子特征，并在多项评价指标中实现更好的去模糊性能，PSNR为28.88，SSIM为0.966，MSE为0.0014。同时，与其他方法相比，本发明仍然获得了更好的去模糊结果，这证明了它对密集粘黏小目标具有更好的实用性和更好的鲁棒性。
本发明不局限于上述具体的实施方式，本领域的普通技术人员从上述构思出发，不经过创造性的劳动，所做出的种种变换，均落在本发明的保护范围之内。
Claims (7)
1.一种基于改进DeblurGANv2模型的真菌孢子显微图像去模糊方法，其特征在于，包括：
（1）获取真菌孢子显微图像数据集；
（2）基于改进DeblurGANv2模型构建真菌孢子显微图像去模糊网络模型，所述改进DeblurGANv2模型包括在生成器的FPN结构后增加一条自底向上的特征增强路径，所述特征增强路径以FPN结构最浅层特征为最底层输入并通过横向连接将FPN结构的前4个输出特征图融入特征增强路径；
（3）将真菌孢子显微图像数据集输入真菌孢子显微图像去模糊网络模型对生成器和判别器进行训练，得到训练完成的真菌孢子显微图像去模糊网络模型；
（4）基于训练完成的去模糊网络模型中的生成器对待处理的模糊真菌孢子显微图像进行去模糊；
所述自底向上的特征增强路径包括5层，该特征增强路径包括：FPN结构最浅层特征图横向连接为增强路径中的最底层特征图/>；底层特征图/>经过一个步长为2的3/>3的卷积运算得到分辨率减半的特征图/>，此时与FPN输出特征图/>层的分辨率大小相等；特征图和/>进行逐像素相加后再经过一个3/>3的卷积得到增强路径的/>层特征图；得到/>后，按照获取/>层特征图的方法循环3次，依次得到增强路径的/>层特征图；
所述真菌孢子显微图像数据集的获取方法，包括：
（121）在合成模糊图像之前，对孢子显微图像集进行特异性清晰程度判断，在孢子显微图像清晰程度大于预设值时，对孢子显微图像合成对应的模糊图像；所述清晰程度判断方法包括：对采集的真菌孢子原始显微图像，与拉普拉斯算子进行卷积计算，得到图像的梯度图；基于梯度图的方差表示图像的清晰程度，在梯度图的方差大于预设值时，确定为清晰的孢子显微图像；
（122）对于清晰图像，采用预设的正方形高斯核与真菌孢子清晰图像进行步长为1的卷积操作，根据不同大小的模糊核得到模糊程度不同的真菌孢子图像；正方形高斯核边长为N，N为随机取值，范围是16-100；高斯核中每个元素的计算公式：，其中，/>是标准方差，x和y分别对应了当前位置到卷积核中心的整数距离；
（123）基于合成的多幅模糊图像和与之对应的清晰图像组成真菌孢子显微图像数据集。
2.根据权利要求1所述的基于改进DeblurGANv2模型的真菌孢子显微图像去模糊方法，其特征在于，所述改进DeblurGANv2模型中，还包括：在生成器的FPN第一层提取的最大尺度特征图即最浅层特征图通过横向连接向后传递时添加CBAM注意力模块，所述CBAM注意力模块包括通道注意力模块CAM和空间注意力模块SAM。
3.根据权利要求1所述的基于改进DeblurGANv2模型的真菌孢子显微图像去模糊方法，其特征在于，所述（1）获取真菌孢子图像数据集，包括：
（11）获取真菌孢子原始显微图像；
（12）对真菌孢子原始显微图像合成对应的模糊图像，得到2000张真菌孢子模糊图像和对应的清晰图像组成的数据集，将真菌孢子数据集按6:2:2划分为训练集、验证集和测试集。
4.根据权利要求1所述的基于改进DeblurGANv2模型的真菌孢子显微图像去模糊方法，其特征在于，所述（3）中，真菌孢子去模糊网络模型训练过程中采用的损失函数为：
；
式中，为像素损失，/>为内容损失，/>为鉴别器损失；
所述像素损失的计算公式为：
；
其中，表示清晰图像，/>表示将模糊图像输入生成器后生成器输出结果，W和H表示图像的宽和高；
所述内容损失的计算公式为：
；
其中，表示清晰图像，/>表示将模糊图像输入生成器后生成器输出结果，其中是在VGG19网络中第i个最大池化层之前通过第j次卷积后获得的特征图，/>和/>是特征图的宽和高；
所述鉴别器损失的计算公式为：
；
其中，表示将图像随机裁切为70/>70大小后输入鉴别器并计算损失，/>表示将生成器输出的完整图像输入鉴别器并计算损失。
5.基于改进DeblurGANv2模型的真菌孢子显微图像去模糊装置，其特征在于，包括：
真菌孢子显微图像数据集单元，用于获取真菌孢子显微图像数据集；
去模糊网络模型构建单元，用于基于改进DeblurGANv2模型构建真菌孢子显微图像去模糊网络模型，所述改进DeblurGANv2模型包括在生成器的FPN结构后增加一条自底向上的特征增强路径，所述特征增强路径以FPN结构最浅层特征为最底层输入并通过横向连接将FPN结构的前4个输出特征图融入特征增强路径；
去模糊网络模型训练单元，用于将真菌孢子显微图像数据集输入真菌孢子显微图像去模糊网络模型对生成器和判别器进行训练，得到训练完成的真菌孢子显微图像去模糊网络模型；
真菌孢子显微图像去模糊单元，用于基于训练完成的去模糊网络模型中的生成器对待处理的模糊真菌孢子显微图像进行去模糊；
所述去模糊网络模型构建单元中，自底向上的特征增强路径包括5层，该特征增强路径包括：FPN结构最浅层特征图横向连接为增强路径中的最底层特征图/>；底层特征图/>经过一个步长为2的3/>3的卷积运算得到分辨率减半的特征图/>，此时与FPN输出特征图/>层的分辨率大小相等；特征图/>和/>进行逐像素相加后再经过一个3/>3的卷积得到增强路径的/>层特征图；得到/>后，按照获取/>层特征图的方法循环3次，依次得到增强路径的层特征图；
所述真菌孢子显微图像数据集单元，包括：
（121）在合成模糊图像之前，对孢子显微图像集进行特异性清晰程度判断，在孢子显微图像清晰程度大于预设值时，对孢子显微图像合成对应的模糊图像；所述清晰程度判断方法包括：对采集的真菌孢子原始显微图像，与拉普拉斯算子进行卷积计算，得到图像的梯度图；基于梯度图的方差表示图像的清晰程度，在梯度图的方差大于预设值时，确定为清晰的孢子显微图像；
（122）对于清晰图像，采用预设的正方形高斯核与真菌孢子清晰图像进行步长为1的卷积操作，根据不同大小的模糊核得到模糊程度不同的真菌孢子图像；正方形高斯核边长为N，N为随机取值，范围是16-100；高斯核中每个元素的计算公式：，其中，/>是标准方差，x和y分别对应了当前位置到卷积核中心的整数距离；
（123）基于合成的多幅模糊图像和与之对应的清晰图像组成真菌孢子显微图像数据集。
6.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述真菌孢子显微图像去模糊方法。
7.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述真菌孢子显微图像去模糊方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410126237.8A CN117649364B (zh) | 2024-01-30 | 2024-01-30 | 基于改进DeblurGANv2模型的真菌孢子显微图像去模糊方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410126237.8A CN117649364B (zh) | 2024-01-30 | 2024-01-30 | 基于改进DeblurGANv2模型的真菌孢子显微图像去模糊方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117649364A CN117649364A (zh) | 2024-03-05 |
| CN117649364B true CN117649364B (zh) | 2024-05-07 |
Family
ID=90050023
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410126237.8A Active CN117649364B (zh) | 2024-01-30 | 2024-01-30 | 基于改进DeblurGANv2模型的真菌孢子显微图像去模糊方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117649364B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111462010A (zh) * | 2020-03-31 | 2020-07-28 | 腾讯科技（深圳）有限公司 | 图像处理模型的训练方法、图像处理方法、装置及设备 |
| CN112001858A (zh) * | 2020-08-10 | 2020-11-27 | 深思考人工智能科技(上海)有限公司 | 一种细胞病理图像处理的方法及系统 |
| CN113111859A (zh) * | 2021-05-12 | 2021-07-13 | 吉林大学 | 一种基于深度学习的车牌去除模糊检测方法 |
| CN113673396A (zh) * | 2021-08-10 | 2021-11-19 | 佛山市海天(高明)调味食品有限公司 | 一种孢子发芽率计算方法、装置及存储介质 |
| CN116958786A (zh) * | 2023-08-08 | 2023-10-27 | 淮阴工学院 | 一种基于YOLOv5和ResNet50神经网络的化工废渣动态视觉识别方法 |
-
2024
- 2024-01-30 CN CN202410126237.8A patent/CN117649364B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111462010A (zh) * | 2020-03-31 | 2020-07-28 | 腾讯科技（深圳）有限公司 | 图像处理模型的训练方法、图像处理方法、装置及设备 |
| CN112001858A (zh) * | 2020-08-10 | 2020-11-27 | 深思考人工智能科技(上海)有限公司 | 一种细胞病理图像处理的方法及系统 |
| CN113111859A (zh) * | 2021-05-12 | 2021-07-13 | 吉林大学 | 一种基于深度学习的车牌去除模糊检测方法 |
| CN113673396A (zh) * | 2021-08-10 | 2021-11-19 | 佛山市海天(高明)调味食品有限公司 | 一种孢子发芽率计算方法、装置及存储介质 |
| CN116958786A (zh) * | 2023-08-08 | 2023-10-27 | 淮阴工学院 | 一种基于YOLOv5和ResNet50神经网络的化工废渣动态视觉识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| 【实例分割】6、PAN | 反向 FPN! ⾃下向上的特征融合_pan 特征融合;呆呆的猫;《CSDN》;20221208;1-5 * |
| 水下图像的去模糊算法研究及目标识别系统实现;李泽杰;《中国优秀硕士学位论文全文数据库 信息科技辑》;20230115;I138-2210 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117649364A (zh) | 2024-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111354017B (zh) | 一种基于孪生神经网络及平行注意力模块的目标跟踪方法 | |
| Zhang et al. | Ga-net: Guided aggregation net for end-to-end stereo matching | |
| CN109376611B (zh) | 一种基于3d卷积神经网络的视频显著性检测方法 | |
| CN109815919B (zh) | 一种人群计数方法、网络、系统和电子设备 | |
| CN111275643B (zh) | 基于通道和空间注意力的真实噪声盲去噪网络系统及方法 | |
| CN110110596B (zh) | 高光谱图像特征提取、分类模型构建及分类方法 | |
| CN109978848B (zh) | 基于多光源颜色恒常模型检测眼底图像中硬性渗出的方法 | |
| CN112257766B (zh) | 一种基于频域滤波处理的自然场景下阴影识别检测方法 | |
| CN109461172A (zh) | 人工与深度特征联合的相关滤波视频自适应跟踪方法 | |
| CN109753996B (zh) | 基于三维轻量化深度网络的高光谱图像分类方法 | |
| Cap et al. | LASSR: Effective super-resolution method for plant disease diagnosis | |
| CN112288026B (zh) | 一种基于类激活图的红外弱小目标检测方法 | |
| CN111931722B (zh) | 一种结合颜色比率特征的相关滤波跟踪方法 | |
| CN118097150B (zh) | 一种小样本伪装目标分割方法 | |
| CN112598708A (zh) | 一种基于四特征融合和权重系数的高光谱目标跟踪方法 | |
| CN115393225A (zh) | 一种基于多层次特征提取融合的低光照图像增强方法 | |
| CN115049054B (zh) | 基于特征图响应的通道自适应分段动态网络剪枝方法 | |
| KR102466061B1 (ko) | 계층적 생성 적대 네트워크를 이용한 노이즈 제거 장치 및 그 방법 | |
| Guo et al. | Multi-scale multi-attention network for moiré document image binarization | |
| CN114862710A (zh) | 红外和可见光图像融合方法及装置 | |
| CN114596274A (zh) | 基于改进Cascade RCNN网络的自然背景柑橘黄龙病检测方法 | |
| Kiran et al. | Plant Leaf Disease Detection Using Efficient Image Processing and Machine Learning Algorithms | |
| Li et al. | Single image dehazing via region adaptive two-shot network | |
| CN117671540A (zh) | 基于多谱频率通道注意力航拍图像小目标检测方法及系统 | |
| CN117649364B (zh) | 基于改进DeblurGANv2模型的真菌孢子显微图像去模糊方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |