CN112435185B - 模糊花粉图片处理方法、装置及电子设备 - Google Patents
模糊花粉图片处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN112435185B CN112435185B CN202011301802.8A CN202011301802A CN112435185B CN 112435185 B CN112435185 B CN 112435185B CN 202011301802 A CN202011301802 A CN 202011301802A CN 112435185 B CN112435185 B CN 112435185B
- Authority
- CN
- China
- Prior art keywords
- pollen
- picture
- fuzzy
- block
- clear
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title abstract description 13
- 238000013508 migration Methods 0.000 claims abstract description 23
- 230000005012 migration Effects 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 15
- 238000005070 sampling Methods 0.000 claims description 34
- 238000000034 method Methods 0.000 claims description 31
- 238000010586 diagram Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 7
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 208000035285 Allergic Seasonal Rhinitis Diseases 0.000 description 1
- 206010020751 Hypersensitivity Diseases 0.000 description 1
- 206010048908 Seasonal allergy Diseases 0.000 description 1
- 230000000172 allergic effect Effects 0.000 description 1
- 208000030961 allergic reaction Diseases 0.000 description 1
- 208000010668 atopic eczema Diseases 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 201000004338 pollen allergy Diseases 0.000 description 1
- 210000002345 respiratory system Anatomy 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000001179 sorption measurement Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供一种模糊花粉图片处理方法、装置及电子设备，该方法包括：将待处理的模糊花粉图片输入自编码生成器模型，输出清晰花粉图片；其中，所述自编码生成器模型是以模糊花粉图片为样本，以与所述模糊花粉图片对应的清晰花粉图片为标签，进行监督训练后得到；所述自编码生成器模型包括编码器层、多尺度特征匹配层和纹理迁移层。实现对模糊花粉图片的去模糊处理，有助于提高花粉识别的准确率和效率，为准确快速的进行花粉浓度预报提供了前提条件。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种模糊花粉图片处理方法、装置及电子设备。
背景技术
随着城市绿化水平的不断提高，春秋季节空气中会充斥着大量的致敏花粉，花粉直径一般在30～50微米，它们在空气中飘散时，极易被人吸进呼吸道内，有花粉过敏史的人吸入这些花粉后，会产生过敏反应，严重影响患者的正常生活。目前，一种收集花粉图片的方法是将吸附有花粉的载玻片放置在电子显微镜下拍摄成片，由于花粉吸附过程掺杂灰尘以及对玻片拍摄时对焦不成功的原因，拍摄结果就会出现大量的模糊花粉图像。有效的花粉种类识别和浓度监测可以降低过敏发病率。
花粉去模糊的主要任务是将模糊花粉恢复到潜在的清晰水平。传统的去模糊方法主要集中利用滤波函数对花粉进行去噪去模糊，例如维纳滤波法、约束最小二乘法、插值法等，都难以取得令人满意的结果。目前应用比较多的是基于深度学习的生成对抗网络方法，通过训练生成器对模糊花粉的纹理模拟生成，利用鉴别器进行迭代优化，最终达到去模糊的目的。然而在生成器中由于对花粉估计模糊核半径和位置的偏差、反卷积偏差和多个批量正则化结构的影响，导致生成的花粉出现棋盘格偏差和颜色失真干扰。而且鉴别器中只对生成花粉图片和清晰花粉求取距离相似度，导致花粉特征提取被忽略。
发明内容
针对现有技术存在的上述技术问题，本发明提供一种模糊花粉图片处理方法、装置及电子设备。
第一方面，本发明提供一种模糊花粉图片处理方法，包括：
将待处理的模糊花粉图片输入自编码生成器模型，输出清晰花粉图片；
其中，所述自编码生成器模型是以模糊花粉图片为样本，以与所述模糊花粉图片对应的清晰花粉图片为标签，进行监督训练后得到；所述自编码生成器模型包括编码器层、多尺度特征匹配层和纹理迁移层。
可选地，所述编码器层包括卷积层、残差层和跳跃连接层；所述编码器层基于所述模糊花粉图片和与所述模糊花粉图片对应的清晰花粉图片，生成所述模糊花粉图片的特征图和与所述模糊花粉图片对应的清晰花粉图片的特征图，并输出至多尺度特征匹配层。
可选地，所述多尺度特征匹配层用于将所述模糊花粉图片的特征图和与所述模糊花粉图片对应的清晰花粉图片的特征图分别依次进行上采样和下采样，获得采样后的模糊花粉图片的特征图和与所述模糊花粉图片对应的清晰花粉图片的特征图；
将所述采样后的模糊花粉图片的特征图和与所述模糊花粉图片对应的清晰花粉图片的特征图分别划分多个区块，计算所述模糊花粉图片的特征图中各区块与所述模糊花粉图片对应的清晰花粉图片中各区块的特征相似度；
基于最大特征相似度确定所述模糊花粉图片的特征图中各区块与所述模糊花粉图片对应的清晰花粉图片中各区块的对应关系，并输出至纹理迁移层。
可选地，所述计算所述模糊花粉图片的特征图中各区块与所述模糊花粉图片对应的清晰花粉图片中各区块的特征相似度，具体为：
其中，Sj(x,y)表示以(x,y)为中心的ILR↑块和第j个IRef↓↑之间的特征相似度，P(x,y)表示以(x,y)坐标为中心的块，Pj表示第j个块，IRef↓↑表示清晰花粉的特征块上采样和下采样结果，ILR↑表示模糊花粉的特征块上采样和下采样结果，ILR↑表示模糊花粉的特征块上采样和下采样结果，φ(IRef↓↑)表示块的特征图，P(x,y)φ(ILR↑)表示以(x,y)坐标为中心的模糊块ILR↑的特征图，表示IRef↓↑的第j块被规范化。
可选地，所述纹理迁移层用于基于所述调整后的所述模糊花粉图片的特征图中各区块与所述模糊花粉图片对应的清晰花粉图片中各区块的对应关系，将模糊花粉图片上的各区块用与其对应的清晰花粉图片中的区块进行替换，生成清晰花粉图片。
可选地，所述生成清晰花粉图片，具体为：
其中，ISR表示生成的清晰花粉图，表示前一层的特征图输入，ML-1表示该层的特征图中各区块与清晰花粉图片的特征图中各区块的对应关系，Res表示输入到残差层计算，λ表示映射系数。
第二方面，本发明提供一种模糊花粉图片处理装置，包括：
输入模块，用于将待处理的模糊花粉图片输入自编码生成器模型；
输出模块，用于输出清晰花粉图片；
其中，所述自编码生成器模型是以模糊花粉图片为样本，以与所述模糊花粉图片对应的清晰花粉图片为标签，进行监督训练后得到；所述自编码生成器模型包括依次连接的编码器层、多尺度特征匹配层和纹理迁移层。
可选地，所述编码器层包括卷积层、残差层和跳跃连接层；所述编码器层基于所述模糊花粉图片和与所述模糊花粉图片对应的清晰花粉图片，生成所述模糊花粉图片的特征图和与所述模糊花粉图片对应的清晰花粉图片的特征图，并输出至多尺度特征匹配层。
第三方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的方法的步骤。
第四方面，本发明提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。
本发明提供的模糊花粉图片处理方法、装置及电子设备，该方法将待处理的模糊花粉图片输入自编码生成器模型，所述自编码生成器模型的编码器层、多尺度特征匹配层和纹理迁移层分别对所述待处理的模糊花粉图片进行处理，输出清晰花粉图片，从而实现对模糊花粉图片的去模糊处理，有助于提高花粉识别的准确率和效率，为准确快速的进行花粉浓度预报提供了前提条件。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的模糊花粉图片处理方法的流程示意图；
图2是本发明提供的编码层的结构示意图；
图3是本发明提供的模糊花粉图片处理装置的结构示意图；
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供了一种模糊花粉图片处理方法。图1为本发明提供的模糊花粉图片处理方法的流程示意图，如图1所述，该方法包括：
步骤101：将待处理的模糊花粉图片输入自编码生成器模型；
步骤102：输出清晰花粉图片；
其中，所述自编码生成器模型是以模糊花粉图片为样本，以与所述模糊花粉图片对应的清晰花粉图片为标签，进行监督训练后得到；所述自编码生成器模型包括编码器层、多尺度特征匹配层和纹理迁移层。
具体地，获取待处理的模糊花粉图片，即待识别的模糊花粉图片，将所述待处理的模糊花粉图片输入自编码生成器模型，输出清晰花粉图片。所述自编码生成器模型是以模糊花粉图片为样本，以与所述模糊花粉图片对应的清晰花粉图片为标签，进行监督训练后得到；所述自编码生成器模型包括编码器层、多尺度特征匹配层和纹理迁移层。
光学显微镜镜下扫描的花粉图片一般会有多层，由于扫描过程会对焦在多层焦平面，造成不同程度模糊的图像。相应地，在构造样本数据集时，选择一张清晰花粉，三种不同焦平面的花粉各一张，以此来丰富样本数据集。由于一组样本数据集选取的是同一花粉不同焦平面的图像，可以最大限度将对应位置的花粉特征进行提取还原，并且省去了标注成本，提高了效率。
在所述自编码生成器模型的训练阶段，由于样本数据集较小，采用随机水平翻转或随机噪声等数据增强方法衍生出更多的训练样本，减少花粉颗粒因不同的大小、位置等因素对模型的影响，防止模型过拟合，提高模型的泛化能力。将样本数据集分为训练集合测试集，例如：样本数据集的70％作为训练集，30％作为测试集。
本发明提供的方法，将待处理的模糊花粉图片输入自编码生成器模型，所述自编码生成器模型的编码器层、多尺度特征匹配层和纹理迁移层分别对所述待处理的模糊花粉图片进行处理，输出清晰花粉图片，从而实现对模糊花粉图片的去模糊处理，有助于提高花粉识别的准确率和效率，为准确快速的进行花粉浓度预报提供了前提条件。
基于上述实施例，所述编码器层包括卷积层、残差层和跳跃连接层；所述编码器层基于所述模糊花粉图片和与所述模糊花粉图片对应的清晰花粉图片，生成所述模糊花粉图片的特征图和与所述模糊花粉图片对应的清晰花粉图片的特征图，并输出至多尺度特征匹配层。
具体地，编码器层的网络结构如图2所示，主干网络由4个卷积层和7个残差模块串联以及3个跳跃连接层组成，每一卷积层和残差层都会生成特征图。为了防止随着层数的加深，卷积层对特征的提取能力变弱，加入3个跳跃连接层对特征图进行连接，对应相同尺寸的残差块用跳跃连接，以保留特征信息。网络主要包括两个稠密块，第1层到第11层为稠密块1，包含4层卷积块、4个下采样残差模块和3个上采样残差模块，负责对花粉的不同尺寸纹理特征进行提取生成。稠密块2为3个跳跃连接层，分别连接对应尺寸的残差采样块，负责对层数加深的特征进行连接。
其中，第1层和第2层为256×256×64(长×高×宽)，步长为1的卷积核。第3层128×128×128的下采样残差模块，第4层为64×64×256的下采样残差模块，第5层为32×32×512的下采样残差模块，第6层为16×16×1024的下采样残差模块，第7-9层分别为32×32×512、64×64×256、128×128×128的上采样残差模块。第10和11层为256×256×64(长×高×宽)的卷积核，步长为1。
所述编码器层的卷积层、残差层和跳跃连接层对所述模糊花粉图片和与所述模糊花粉图片对应的清晰花粉图片进行处理，最终生成所述模糊花粉图片的特征图和与所述模糊花粉图片对应的清晰花粉图片的特征图，并输出至多尺度特征匹配层。
本发明提供的方法，针对花粉图片失焦模糊的问题，纹理特征难以识别和检测的特点，在编码器层中加入跳跃连接层用于连接相同尺寸的残差块，从而将特征信息充分保留，并结合多层残差网络代替简单的反卷积方法，有效消除去模糊过程出现的棋盘格和颜色失真的情况，提升了模糊花粉图片的去模糊效果。
基于上述任一实施例，所述多尺度特征匹配层用于将所述模糊花粉图片的特征图和与所述模糊花粉图片对应的清晰花粉图片的特征图分别依次进行上采样和下采样，获得采样后的模糊花粉图片的特征图和与所述模糊花粉图片对应的清晰花粉图片的特征图。
具体地，将所述模糊花粉图片的特征图(记为A)和与所述模糊花粉图片对应的清晰花粉图片的特征图(记为B)分别依次进行相同倍率的上采样和下采样，分别获得上采样后的模糊花粉图片的特征图(记为A1)、上采样后的与所述模糊花粉图片对应的清晰花粉图片的特征图(记为B1)、下采样后的模糊花粉图片的特征图(记为B1)和下采样后的与所述模糊花粉图片对应的清晰花粉图片的特征图(记为B2)。
将所述采样后的模糊花粉图片的特征图和与所述模糊花粉图片对应的清晰花粉图片的特征图分别划分多个区块，计算所述模糊花粉图片的特征图中各区块与所述模糊花粉图片对应的清晰花粉图片中各区块的特征相似度。
具体地，将A1、B1、A2、B2按照相同的划分规则分别划分为数量相同的多个区块，可以理解的是，A1中的各个区块a11、a12、……、a1n，必然与A2中的各个区块a21、a22、……、a2n存在一一对应的关系，类似地，B1中的各个区块b11、b12、……、b1n，必然与B2中的各个区块b21、b22、……、b2n存在一一对应的关系。
计算A1中的各个区块a11、a12、……、a1n与B1中的各个区块b11、b12、……、b1n之间的特征相似度，基于最大特征相似度建立A1中的各个区块与B1中的各个区块之间的对应关系；同样地，计算A2中的各个区块与B2中的各个区块之间的特征相似度，基于最大特征相似度建立A2中的各个区块与B2中的各个区块之间的对应关系。
基于最大特征相似度确定所述模糊花粉图片的特征图中各区块与所述模糊花粉图片对应的清晰花粉图片中各区块的对应关系，并输出至纹理迁移层。
具体地，所述多尺度特征匹配层是用于最终获取A中各个区块a1、a2、……、an与B中各个区块b1、b2、……、bn的对应关系，可以理解的是，A1和A2是A分别进行上采样和下采样后的图像，那么A、A1和A2中的各个区块必然存在一一对应的关系，类似地，B、B1和B2中的各个区块也必然存在一一对应的关系。例如：区块区块a11即为A中的区块a1，区块a21即为A中的区块a1；区块b14即为B上中的区块b4，区块b25即为B中的区块b5。
在获取A1中的各个区块与B1中的各个区块之间的对应关系及A2中的各个区块与B2中的各个区块之间的对应关系之后，基于最大相似度原则，最终获取A中各个区块与B中各个区块的对应关系。例如：若与a11对应的区块为b12，两区块之间的相似度为0.6；与a21对应的区块为b23，两区块之间的相似度为0.8，则最终确定的与A中的区块a1对应的区块为B中的区块b3。
本发明提供的方法，将采样后的模糊花粉图片的特征图和与所述模糊花粉图片对应的清晰花粉图片的特征图分别划分多个区块，基于最大特征相似度确定所述模糊花粉图片的特征图中各区块与所述模糊花粉图片对应的清晰花粉图片中各区块的对应关系，利用多尺度特征匹配层进行特征相似度计算，将模糊花粉图片的特征图和清晰花粉图片的特征图进行匹配，提升了模糊花粉图片的去模糊效果。
基于上述任一实施例，所述计算所述模糊花粉图片的特征图中各区块与所述模糊花粉图片对应的清晰花粉图片中各区块的特征相似度，具体为：
其中，Sj(x,y)表示以(x,y)为中心的ILR↑块和第j个IRef↓↑之间的特征相似度，P(x,y)表示以(x,y)坐标为中心的块，Pj表示第j个块，IRef↓↑表示清晰花粉的特征块上采样和下采样结果，ILR↑表示模糊花粉的特征块上采样和下采样结果，φ(IRef↓↑)表示块的特征图，突出纹理和结构信息，P(x,y)φ(ILR↑)表示以(x,y)坐标为中心的模糊块ILR↑的特征图，表示IRef↓↑的第j块被规范化，可以更有效的挑选到匹配的j层。相似度计算可以作为卷积操作作用在每个模糊花粉图片的特征图的区块上，分别以每个清晰花粉图片的特征图中的区块作为卷积核，将多个特征相似度结果进行比较，最终每个模糊花粉图片的特征图的区块都可以确定对应的清晰花粉图片的特征图中的区块。
基于上述任一实施例，所述纹理迁移层用于基于所述调整后的所述模糊花粉图片的特征图中各区块与所述模糊花粉图片对应的清晰花粉图片中各区块的对应关系，将模糊花粉图片上的各区块用与其对应的清晰花粉图片中的区块进行替换，生成清晰花粉图片。
具体地，基于获取到的A中各区块与B中各区块的对应关系，对于每一个A中的区块，都将被其对应的相似度最大的B中的区块替换掉，替换区块之间的重叠部分取各块的平均值作为最终值，得到交换后的特征图M。
可选地，交换后的特征图M按照以下公式进行计算：
其中，w(x,y)指以(x,y)为中心的w块的坐标，PW(x,y)(M)表示最终拼接得到的特征图M中的w块，表示与ILR↑块相似度最大的第j个IRef↓↑的位置，将j*位置的特征图Pj*(φ(IRef))拼接到M的w块上，完成特征的替换，得到交换后的特征图M。
本发明提供的方法，通过将特征相似度最高的纹理替换到模糊花粉图片中，从而生成融合了花粉不同特征的纹理细节，达到去模糊保留特征的效果，从而恢复出花粉图片中重要的特征信息。
基于上述任一实施例，所述生成清晰花粉图片，具体为：
其中，ISR表示生成的清晰花粉图，表示前一层的特征图输入，ML-1表示该层的特征图中各区块与清晰花粉图片的特征图中各区块的对应关系，Res表示输入到残差层计算，λ表示映射系数，λ一般取0.5。
具体地，当所有纹理级别都迁移完毕，在最后一层获取超分辨图像时将直接输出合并图像。
下面对本发明提供的模糊花粉图片处理装置进行描述，下文描述的模糊花粉图片处理装置与上文描述的模糊花粉图片处理方法可相互对应参照。
基于上述任一实施例，图3为本发明实施例提供的模糊花粉图片处理装置的结构示意图，如图3所示，该模糊花粉图片处理装置包括输入模块301和输出模块302。
其中，输入模块301用于将待处理的模糊花粉图片输入自编码生成器模型；输出模块302用于输出清晰花粉图片；其中，所述自编码生成器模型是以模糊花粉图片为样本，以与所述模糊花粉图片对应的清晰花粉图片为标签，进行监督训练后得到；所述自编码生成器模型包括依次连接的编码器层、多尺度特征匹配层和纹理迁移层。
本发明实施例提供的装置，将待处理的模糊花粉图片输入自编码生成器模型，所述自编码生成器模型的编码器层、多尺度特征匹配层和纹理迁移层分别对所述待处理的模糊花粉图片进行处理，输出清晰花粉图片，从而实现对模糊花粉图片的去模糊处理，有助于提高花粉识别的准确率和效率，为准确快速的进行花粉浓度预报提供了前提条件。
基于上述任一实施例，所述编码器层包括卷积层、残差层和跳跃连接层；所述编码器层基于所述模糊花粉图片和与所述模糊花粉图片对应的清晰花粉图片，生成所述模糊花粉图片的特征图和与所述模糊花粉图片对应的清晰花粉图片的特征图，并输出至多尺度特征匹配层。
基于上述任一实施例，所述多尺度特征匹配层用于将所述模糊花粉图片的特征图和与所述模糊花粉图片对应的清晰花粉图片的特征图分别依次进行上采样和下采样，获得采样后的模糊花粉图片的特征图和与所述模糊花粉图片对应的清晰花粉图片的特征图；
将所述采样后的模糊花粉图片的特征图和与所述模糊花粉图片对应的清晰花粉图片的特征图分别划分多个区块，计算所述模糊花粉图片的特征图中各区块与所述模糊花粉图片对应的清晰花粉图片中各区块的特征相似度；
基于最大特征相似度确定所述模糊花粉图片的特征图中各区块与所述模糊花粉图片对应的清晰花粉图片中各区块的对应关系，并输出至纹理迁移层。
基于上述任一实施例，所述计算所述模糊花粉图片的特征图中各区块与所述模糊花粉图片对应的清晰花粉图片中各区块的特征相似度，具体为：
其中，Sj(x,y)表示以(x,y)为中心的ILR↑块和第j个IRef↓↑之间的特征相似度，P(x,y)表示以(x,y)坐标为中心的块，Pj表示第j个块，IRef↓↑表示清晰花粉的特征块上采样和下采样结果，ILR↑表示模糊花粉的特征块上采样和下采样结果，ILR↑表示模糊花粉的特征块上采样和下采样结果，φ(IRef↓↑)表示块的特征图，P(x,y)φ(ILR↑)表示以(x,y)坐标为中心的模糊块ILR↑的特征图，表示IRef↓↑的第j块被规范化。
基于上述任一实施例，所述纹理迁移层用于基于所述调整后的所述模糊花粉图片的特征图中各区块与所述模糊花粉图片对应的清晰花粉图片中各区块的对应关系，将模糊花粉图片上的各区块用与其对应的清晰花粉图片中的区块进行替换，生成清晰花粉图片。
基于上述任一实施例，所述生成清晰花粉图片，具体为：
其中，ISR表示生成的清晰花粉图，表示前一层的特征图输入，ML-1表示该层的特征图中各区块与清晰花粉图片的特征图中各区块的对应关系，Res表示输入到残差层计算，λ表示映射系数。
本发明实施例的模糊花粉图片处理装置，可用于执行上述各轨道模糊花粉图片处理方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(CommunicationsInterface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行模糊花粉图片处理方法，该方法包括：将待处理的模糊花粉图片输入自编码生成器模型，输出清晰花粉图片；其中，所述自编码生成器模型是以模糊花粉图片为样本，以与所述模糊花粉图片对应的清晰花粉图片为标签，进行监督训练后得到；所述自编码生成器模型包括编码器层、多尺度特征匹配层和纹理迁移层。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行模糊花粉图片处理方法，该方法包括：将待处理的模糊花粉图片输入自编码生成器模型，输出清晰花粉图片；其中，所述自编码生成器模型是以模糊花粉图片为样本，以与所述模糊花粉图片对应的清晰花粉图片为标签，进行监督训练后得到；所述自编码生成器模型包括编码器层、多尺度特征匹配层和纹理迁移层。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (6)
1.一种模糊花粉图片处理方法，其特征在于，包括：
将待处理的模糊花粉图片输入自编码生成器模型，输出清晰花粉图片；
其中，所述自编码生成器模型是以模糊花粉图片为样本，以与所述模糊花粉图片对应的清晰花粉图片为标签，进行监督训练后得到；所述自编码生成器模型包括编码器层、多尺度特征匹配层和纹理迁移层；
所述编码器层包括卷积层、残差层和跳跃连接层；所述编码器层基于所述模糊花粉图片和与所述模糊花粉图片对应的清晰花粉图片，生成所述模糊花粉图片的特征图和与所述模糊花粉图片对应的清晰花粉图片的特征图，并输出至多尺度特征匹配层；
所述多尺度特征匹配层用于将所述模糊花粉图片的特征图和与所述模糊花粉图片对应的清晰花粉图片的特征图分别依次进行上采样和下采样，获得采样后的模糊花粉图片的特征图和与所述模糊花粉图片对应的清晰花粉图片的特征图；
将所述采样后的模糊花粉图片的特征图和与所述模糊花粉图片对应的清晰花粉图片的特征图分别划分多个区块，计算所述模糊花粉图片的特征图中各区块与所述模糊花粉图片对应的清晰花粉图片中各区块的特征相似度；
基于最大特征相似度确定所述模糊花粉图片的特征图中各区块与所述模糊花粉图片对应的清晰花粉图片中各区块的对应关系，并输出至纹理迁移层；
所述纹理迁移层用于基于调整后的所述模糊花粉图片的特征图中各区块与所述模糊花粉图片对应的清晰花粉图片中各区块的对应关系，将模糊花粉图片上的各区块用与其对应的清晰花粉图片中的区块进行替换，生成清晰花粉图片。
2.根据权利要求1所述的模糊花粉图片处理方法，其特征在于，所述计算所述模糊花粉图片的特征图中各区块与所述模糊花粉图片对应的清晰花粉图片中各区块的特征相似度，具体为：
其中，Sj(x,y)表示以(x,y)为中心的ILR↑块和第j个IRef↓↑之间的特征相似度，P(x,y)表示以(x,y)坐标为中心的块，Pj表示第j个块，IRef↓↑表示清晰花粉的特征块上采样和下采样结果，ILR↑表示模糊花粉的特征块上采样和下采样结果，ILR↑表示模糊花粉的特征块上采样和下采样结果，φ(IRef↓↑)表示块的特征图，P(x,y)φ(ILR↑)表示以(x,y)坐标为中心的模糊块ILR ↑的特征图，表示IRef↓↑的第j块被规范化。
3.根据权利要求1所述的模糊花粉图片处理方法，其特征在于，所述生成清晰花粉图片，具体为：
其中，ISR表示生成的清晰花粉图，表示前一层的特征图输入，ML-1表示该层的特征图中各区块与清晰花粉图片的特征图中各区块的对应关系，Res表示输入到残差层计算，λ表示映射系数。
4.一种模糊花粉图片处理装置，其特征在于，包括：
输入模块，用于将待处理的模糊花粉图片输入自编码生成器模型；
输出模块，用于输出清晰花粉图片；
其中，所述自编码生成器模型是以模糊花粉图片为样本，以与所述模糊花粉图片对应的清晰花粉图片为标签，进行监督训练后得到；所述自编码生成器模型包括依次连接的编码器层、多尺度特征匹配层和纹理迁移层；
所述编码器层包括卷积层、残差层和跳跃连接层；所述编码器层基于所述模糊花粉图片和与所述模糊花粉图片对应的清晰花粉图片，生成所述模糊花粉图片的特征图和与所述模糊花粉图片对应的清晰花粉图片的特征图，并输出至多尺度特征匹配层；
所述多尺度特征匹配层用于将所述模糊花粉图片的特征图和与所述模糊花粉图片对应的清晰花粉图片的特征图分别依次进行上采样和下采样，获得采样后的模糊花粉图片的特征图和与所述模糊花粉图片对应的清晰花粉图片的特征图；
将所述采样后的模糊花粉图片的特征图和与所述模糊花粉图片对应的清晰花粉图片的特征图分别划分多个区块，计算所述模糊花粉图片的特征图中各区块与所述模糊花粉图片对应的清晰花粉图片中各区块的特征相似度；
基于最大特征相似度确定所述模糊花粉图片的特征图中各区块与所述模糊花粉图片对应的清晰花粉图片中各区块的对应关系，并输出至纹理迁移层；
所述纹理迁移层用于基于调整后的所述模糊花粉图片的特征图中各区块与所述模糊花粉图片对应的清晰花粉图片中各区块的对应关系，将模糊花粉图片上的各区块用与其对应的清晰花粉图片中的区块进行替换，生成清晰花粉图片。
5.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至3任一项所述模糊花粉图片方法的步骤。
6.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述模糊花粉图片方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011301802.8A CN112435185B (zh) | 2020-11-19 | 2020-11-19 | 模糊花粉图片处理方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011301802.8A CN112435185B (zh) | 2020-11-19 | 2020-11-19 | 模糊花粉图片处理方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112435185A CN112435185A (zh) | 2021-03-02 |
| CN112435185B true CN112435185B (zh) | 2024-06-21 |
Family
ID=74694380
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011301802.8A Active CN112435185B (zh) | 2020-11-19 | 2020-11-19 | 模糊花粉图片处理方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112435185B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113436137A (zh) * | 2021-03-12 | 2021-09-24 | 北京世纪好未来教育科技有限公司 | 一种图像清晰度识别方法、装置、设备及介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108376387A (zh) * | 2018-01-04 | 2018-08-07 | 复旦大学 | 基于聚合膨胀卷积网络的图像去模糊方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105407261A (zh) * | 2014-08-15 | 2016-03-16 | 索尼公司 | 图像处理装置、方法以及电子设备 |
| CN110458003B (zh) * | 2019-06-29 | 2023-09-19 | 天津大学 | 基于局部注意力模型的面部表情动作单元对抗合成方法 |
| CN111199522B (zh) * | 2019-12-24 | 2024-02-09 | 芽米科技(广州)有限公司 | 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法 |
| CN111382675B (zh) * | 2020-02-24 | 2024-02-27 | 江苏大学 | 一种用于行人识别数据集增强训练的生成对抗网络系统 |
| CN111369543B (zh) * | 2020-03-07 | 2024-06-04 | 北京工业大学 | 一种基于双重自注意力模块的快速花粉颗粒检测算法 |
-
2020
- 2020-11-19 CN CN202011301802.8A patent/CN112435185B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108376387A (zh) * | 2018-01-04 | 2018-08-07 | 复旦大学 | 基于聚合膨胀卷积网络的图像去模糊方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于生成对抗网络的QR码去模糊算法;林凡强;陈柯成;陈丹蕾;杨斯涵;陈凡曾;;包装工程;20181110(第21期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112435185A (zh) | 2021-03-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Cross-SRN: Structure-preserving super-resolution network with cross convolution | |
| CN107358242B (zh) | 目标区域颜色识别方法、装置及监控终端 | |
| CN112446383B (zh) | 车牌识别方法及装置、存储介质、终端 | |
| CN111680690B (zh) | 一种文字识别方法及装置 | |
| CN110781923A (zh) | 特征提取方法及装置 | |
| CN110598788A (zh) | 目标检测方法、装置、电子设备及存储介质 | |
| Shajkofci et al. | Semi-blind spatially-variant deconvolution in optical microscopy with local point spread function estimation by use of convolutional neural networks | |
| CN112258537B (zh) | 一种基于卷积神经网络的监督暗视觉图像边缘检测方法 | |
| CN111612759B (zh) | 一种基于深度卷积生成式对抗网络的印刷品缺陷识别方法 | |
| CN113436162A (zh) | 一种水下机器人液压油管道表面焊缝缺陷识别方法及装置 | |
| JP2007531469A (ja) | カラーデジタル画像におけるハンギングワイヤの検出 | |
| CN112435185B (zh) | 模糊花粉图片处理方法、装置及电子设备 | |
| CN113012068A (zh) | 图像去噪方法、装置、电子设备及计算机可读存储介质 | |
| CN114266894A (zh) | 一种图像分割方法、装置、电子设备及存储介质 | |
| Zhao et al. | Crnet: Unsupervised color retention network for blind motion deblurring | |
| CN112560864A (zh) | 图像语义分割方法、装置及图像语义分割模型的训练方法 | |
| CN116071309A (zh) | 元器件的声扫缺陷检测方法、装置、设备和存储介质 | |
| CN113744142B (zh) | 图像修复方法、电子设备及存储介质 | |
| CN114758145A (zh) | 一种图像脱敏方法、装置、电子设备及存储介质 | |
| CN108810319B (zh) | 图像处理装置和图像处理方法 | |
| CN113065400A (zh) | 基于无锚框两阶段网络检测发票印章的方法及装置 | |
| Zheng et al. | Joint residual pyramid for joint image super-resolution | |
| CN115358952A (zh) | 一种基于元学习的图像增强方法、系统、设备和存储介质 | |
| CN113051901B (zh) | 一种身份证文本识别方法、系统、介质及电子终端 | |
| CN113012132A (zh) | 一种图像相似度确定方法、装置及计算设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |