CN113723470A - 融合多层信息的花粉图像合成方法、装置及电子设备 - Google Patents

融合多层信息的花粉图像合成方法、装置及电子设备 Download PDF

Info

Publication number
CN113723470A
CN113723470A CN202110908383.2A CN202110908383A CN113723470A CN 113723470 A CN113723470 A CN 113723470A CN 202110908383 A CN202110908383 A CN 202110908383A CN 113723470 A CN113723470 A CN 113723470A
Authority
CN
China
Prior art keywords
pollen
images
multilayer
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110908383.2A
Other languages
English (en)
Inventor
李建强
赵琳娜
徐曦
王全增
程文秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202110908383.2A priority Critical patent/CN113723470A/zh
Publication of CN113723470A publication Critical patent/CN113723470A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种融合多层信息的花粉图像合成方法、装置及电子设备，该方法包括：获取通过扫描同一花粉内容得到的与焦平面对应的多层花粉图像；计算多层花粉图像各自的真实感知分数，将多层花粉图像分为多对图像，在每对图像中进行真实感知分数大小的对比，并将对比结果作为标签；将每对图像和标签输入孪生神经网络进行处理，得到多层花粉图像的质量分数排序信息；将多层花粉图像及其质量分数排序信息输入条件生成对抗网络进行处理，得到合成的花粉图像。本发明达到了在合成过程中充分融合图像的深度信息、保留重要信息和提高多层信息利用率的目的。

Description

融合多层信息的花粉图像合成方法、装置及电子设备
技术领域
本发明涉及计算机图像处理技术领域，尤其涉及一种融合多层信息的花粉图像合成方法、装置及电子设备。
背景技术
在我国，空气传播花粉的季节和地理散播规律，每到换季时节来临，部分人群就会因空气中存在的花粉颗粒而引起强烈的过敏反应，严重影响着其正常的生活。近年来，基于深度学习的花粉检测方法被应用到致敏疾病的预防工作上。
然而，深度学习模型具有众多的可调参数，其性能严重依赖于大量的数据样本。在实际场景中，花粉数据的采集十分复杂且耗时，导致现有的花粉数据样本数量有限，高质量的花粉数据样本更是十分匮乏，无法满足深度学习任务的数据量需求。
为了解决花粉数据匮乏的问题，需要合成花粉图像。现有技术采用图像合成手段都是以单层图像作为输入，这样忽略了多层信息之间的可融合、可互补的特性，容易造成图像的深度信息不精确、重要信息缺失、图像利用率较低等问题，无法生成包含丰富信息的高质量的新数据。
发明内容
本发明提供一种融合多层信息的花粉图像合成方法、装置及电子设备，用以解决现有技术中基于单层图像生成花粉图像，导致生成的花粉图像深度信息不准确、重要信息缺失、图像利用率低的缺陷，实现多层花粉图像之间的有效互补，生成内容丰富、质量高的花粉图像。
本发明提供一种融合多层信息的花粉图像合成方法，包括：
获取通过扫描同一花粉内容得到的与焦平面对应的多层花粉图像；
计算所述多层花粉图像各自的真实感知分数，将所述多层花粉图像分为多对图像，在每对图像中进行真实感知分数大小的对比，并将对比结果作为标签；
将所述每对图像和所述标签输入孪生神经网络进行处理，得到所述多层花粉图像的质量分数排序信息；
将所述多层花粉图像及其质量分数排序信息输入条件生成对抗网络进行处理，得到合成的花粉图像；其中所述条件生成对抗网络使用根据所述多层花粉图像的质量分数排序信息确定的指示质量分数次高的花粉图像的向量作为生成器和判别器的条件约束。
根据本发明提供的融合多层信息的花粉图像合成方法，所述计算所述多层花粉图像各自的真实感知分数包括：使用Tenengrad梯度方法计算所述多层花粉图像各自的真实感知分数。
根据本发明提供的融合多层信息的花粉图像合成方法，所述孪生神经网络的分支网络为Alexnet网络，所述分支网络的输出为所述每对图像各自的质量分数。
根据本发明提供的融合多层信息的花粉图像合成方法，所述条件生成对抗网络的生成器的输入为：
所述多层花粉图像和所述条件约束。
根据本发明提供的融合多层信息的花粉图像合成方法，所述条件生成对抗网络的判别器的输入为：
使用根据所述多层花粉图像的质量分数排序信息确定的质量分数最高的花粉图像、所述生成器生成的花粉图像和所述条件约束。
根据本发明提供的融合多层信息的花粉图像合成方法，所述条件生成对抗网络的判别器包括三层卷积层，每层卷积层均采用LReLU作为激活函数。
根据本发明提供的融合多层信息的花粉图像合成方法，所述条件生成对抗网络的损失函数包括绝对值损失函数、感知损失函数和样式损失函数。
本发明还提供一种融合多层信息的花粉图像合成装置，包括：
花粉图像获取模块，用于获取通过扫描同一花粉内容得到的与焦平面对应的多层花粉图像；
多层花粉预处理模块，用于计算所述多层花粉图像各自的真实感知分数，将所述多层花粉图像分为多对图像，在每对图像中进行真实感知分数大小的对比，并将对比结果作为标签；
排序信息提取模块，用于将所述每对图像和所述标签输入孪生神经网络进行处理，得到所述多层花粉图像的质量分数排序信息；
花粉图像合成模块，用于将所述多层花粉图像及其质量分数排序信息输入条件生成对抗网络进行处理，得到合成的花粉图像；其中所述条件生成对抗网络使用根据所述多层花粉图像的质量分数排序信息确定的指示质量分数次高的花粉图像的向量作为生成器和判别器的条件约束。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述融合多层信息的花粉图像合成方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述融合多层信息的花粉图像合成方法的步骤。
本发明提供的融合多层信息的花粉图像合成方法、装置及电子设备，通过在多层花粉数据的基础上，使用孪生神经网络提取得到多层花粉图像之间的排序信息，以此生成约束，进而指导条件生成对抗网络合成与质量分数最高的图像接近的新花粉图像，达到在合成过程中充分融合图像的深度信息、保留重要信息和提高多层信息利用率的目的。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的融合多层信息的花粉图像合成方法的流程示意图之一；
图2是本发明提供的多层花粉图像信息融合图；
图3是本发明提供的融合多层信息的花粉图像合成方法的流程示意图之二；
图4是本发明提供的融合多层信息的花粉图像合成装置的结构示意图；
图5是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是根据本发明实施例的融合多层信息的花粉图像合成方法的流程图，参考图1，本发明实施例提出的融合多层信息的花粉图像合成方法包括：
步骤110，获取通过扫描同一花粉内容得到的与焦平面对应的多层花粉图像；
步骤120，计算所述多层花粉图像各自的真实感知分数，将所述多层花粉图像分为多对图像，在每对图像中进行真实感知分数大小的对比，并将对比结果作为标签；
步骤130，将所述每对图像和所述标签输入孪生神经网络进行处理，得到所述多层花粉图像的质量分数排序信息；
步骤140，将所述多层花粉图像及其质量分数排序信息输入条件生成对抗网络进行处理，得到合成的花粉图像；其中所述条件生成对抗网络使用根据所述多层花粉图像的质量分数排序信息确定的指示质量分数次高的花粉图像的向量作为生成器和判别器的条件约束。
图2是本发明提供的多层花粉图像信息融合图，参考图2，通过扫描同一花粉内容得到的与焦平面对应的多层花粉图像，其包含等间距的多层焦平面的花粉图像，并且在三维显微成像时，成像的每一幅二维图像都包含来自当前焦平面的图像和相邻离焦层面的模糊图像，故多层花粉数据不同层的二维成像之间在内容上具有强烈的相关性，在质量上有明显的差异性，更重要的是，所表现的信息较单层图像来说更加丰富，并且可以有效地进行融合和互补。为此，本发明基于花粉数据的特点，对现有的图像合成方法进行了改进，提出了一种基于多层信息融合的花粉图像合成方法，保证多层花粉图像信息之间的有效互补，在一定程度上避免了可用的花粉信息的遗漏和缺失。从而得到内容更丰富、质量更高的新花粉图像，提高图像信息的利用率，这对基于深度学习模型的花粉检测任务具有十分重要的现实意义。
本发明所述的基于多层信息融合的花粉图像合成方法由三个阶段组成，其中所述的第一阶段为多层花粉预处理器，选取感知指标计算图像的真实感知分数，在图像对之间，进行分数对比。将对比结果定义为数据标签。第二阶段为排序信息学习器。此阶段的训练过程以第一阶段生成的图片对和标签为输入，学习多层花粉数据之间的排序信息，测试过程中，输出多层花粉图像对应的质量评价分数，多层花粉图像之间的相对排序信息以及当前质量分数最高的花粉图像。第三阶段为花粉数据合成器。本阶段分别设计条件约束、生成器及判别器，将质量分数最高的花粉图像作为合成目标，指导条件生成式对抗网络生成接近最高质量分数的新花粉图像。
具体地，图3是本发明提供的融合多层信息的花粉图像合成方法的流程示意图之二，参考图3，本发明所述的基于多层信息融合的花粉图像合成方法包括：
步骤S1：多层花粉预处理器。
步骤S11：整理多层花粉数据。本发明选定多层花粉数据来作为基础数据集。同一花粉内容的图像同共包含m层对应的焦平面扫描图像，m为大于1的正整数，将m层花粉图像以两张为一对构建花粉图像对。
步骤S12：设定感知质量标签。为了突出表示多层花粉图像中存在的离焦模糊而造成的图片质量差异，本发明选定Tenengrad梯度方法作为无参考图像质量分数评价。Tenengrad梯度方法是一种常用的图像清晰度评价函数，是一种基于梯度的函数。它具体是利用Sobel算子分别计算水平和垂直方向的梯度，主要的衡量指标是经过Sobel算子处理后的图像的平均灰度值，同一场景下所得分数越高，说明梯度值越高，代表图像质量越好。在本发明中，我们认定对焦好的图像具有更尖锐的边缘，故具有更大的梯度函数值。
设输入图像为I，Tenengrad梯度计算得到花粉图像的真实图像质量分数，记为P，T表示Tenengrad梯度方法的映射。则P的具体计算如下公式：
Figure BDA0003202716470000061
Figure BDA0003202716470000062
其中，N为图像中像素总数，S(x,y)表示图像I在(x,y)点处的梯度，Gx、Gy分别为Sobel算子提取的水平和垂直方向的梯度值。
本发明具有一定的灵活性，具体的感知质量指标可以根据任务需求进行更换。
步骤S13：生成数据对标签。对于一对图像对，给定两个花粉图像输入设定为I1和I2，其对应真实质量感知分数为P1和P2，根据真实质量感知分数的相对大小，本发明设定图像对的标签，记作
Figure BDA0003202716470000075
具体公式如下：
Figure BDA0003202716470000071
Figure BDA0003202716470000072
充分表示图像对中的相对的质量感知分数的大小关系。如果
Figure BDA0003202716470000073
则说明输入图像对中，I1图像的真实感知质量分数低于I2，即I1边缘梯度信息更清晰，I1的图像质量优于I2；如果
Figure BDA0003202716470000074
则说明输入图像对中，I2图像的真实感知质量分数低于I1，即I2边缘梯度信息更清晰，I2的图像质量优于I1。
步骤S2：排序信息学习器。排序信息学习器中特征提取模块采用经典的卷积神经网络(CNN)来构建孪生网络结构进行多层花粉图像之间的排序信息学习。本发明将该损失函数命名为排序对损失，来衡量排序信息提取模型所预测的质量分数是否与真实感知分数一致。
步骤S21：孪生网络训练。本发明基于经典的CNN网络，构建起孪生网络的结构来训练排序信息学习器，学习多层花粉图像之间的排序信息。孪生网络具有两个相同的网络分支，本发明以步骤S1获取到的花粉数据图像对和标签作为孪生网络两个分支的输入。分支网络采用了经典的Alexnet网络，主要作用是进行不同层花粉图像的特征提取。网络共包含8层，其中前5层为卷积层，后3层为全连接层。输出的最后一层用作量化排序信息学习器的分数预测结果。
在网络训练的全过程中，我们只关心图像质量分数的相对排名，而不特别关注质量分数本身。在整个训练过程中，两个分支网络之间共享训练过程中的所有参数，分别产生各自的预测分数。最后共同输入到损失函数中。
步骤S22：损失函数内容。对于一对图像对，给定两个花粉图像输入设定为I1和I2，我们让排序信息学习器学习多层花粉图像之间的排序信息，得到的对应预测质量分数分别为S1和S2，对应关系如下：
S1＝R(I1；θR)
S2＝R(I2；θR)
其中，R表示排序信息学习器预测质量分数的映射，θR表示孪生网络训练过程中的所有参数。
为了让排序信息学习器学习的排序信息和真实感知质量分数更接近，故本发明设定排序对损失函数，具体内容如下：
Figure BDA0003202716470000081
其中，L表示一个损失函数的映射，
Figure BDA0003202716470000082
表示训练时数据对的标签。ε是为了增大S1和S2之间的距离。
损失函数的梯度通过反向传播的方式计算并使用随机梯度方法训练孪生网络。
步骤S3：花粉数据合成器。生成式对抗网络(GAN)能够通过训练从而学习数据的分布，进而生成新的样本。但是，GAN生成的图像是随机的，不能控制生成图像属于何种类别。故本发明引入条件生成对抗网络(CGAN)。CGAN是在GAN基础上做的一种改进，通过给原始GAN的生成器(记为G)和判别器(记为D)添加额外的条件信息，从而生成新的数据样本。
步骤S31：条件约束器Y。本发明基于步骤S11中的图像，设定每组花粉数据包含m层二维图像，则向量L＝(l1，li2，li3，...，lm)表示一组多层花粉图像，向量V＝(v1，v2，v3，...，vm)表示当前组多层花粉图像每层图像的质量分数。设定Sm表示最大质量分数，则根据向量L和V，本发明设定max_score_img函数，逐层检索多层花粉图像的质量分数，寻找Sm并输出对应层的花粉图像，以此作为生成器阶段用作对比的真实图像。算法伪代码如下：
Figure BDA0003202716470000091
另外，本发明根据多层花粉图像之间的质量分数排序信息，采用one-hot编码方式重新编码向量L，作为条件生成式对抗网络的约束变量，设定变量Sc为次高的质量分数，我们将质量分数次高的第n层图像向量位标注为1，其余位为0，最终将向量L作为后续生成器G和判别器D的条件约束。具体公式如下：
L[i]＝1 if V[i]＝Sc
L[i]＝0 if V[i]！＝Sc
步骤S32：生成器G。生成器G，用于捕捉数据分布。本发明中，生成器G以多层花粉图像和类别标签y(类别标签y即条件约束)的联合作为输入。本发明中生成器G采用Unet网络，分别构成编码器和解码器，用于将多层花粉数据中的原始图像转化为接近同组数据中质量分数最高的花粉数据，P_MP代表多层花粉图像样本的概率分布，P_HQ代表同组数据中质量分数最高的花粉数据的概率分布。
所述的编码器包括有5个卷积块和4个池化层。卷积块为两层相同的卷积层组成，其卷积层的卷积核为3×3，步长为1，padding为1，以ReLU做激活函数；
所述的解码器包括有5个卷积块和4个池化层。解码器的卷积块由两层相同的卷积层组成，以ReLU做激活函数。解码器中的卷积块进行反卷积操作，将原有的多层花粉图像样本的概率分布转化为质量分数高的图像的概率分布。
步骤S33：判别器D。判别器D，包含三层卷积层，均采用LReLU做激活函数。其基于PatchGAN中的判别器，判断整幅图像中每个批次的真伪。不仅用于识别一个样本来自于真实数据而非生成样本的概率，而且需要识别出输入样本和条件是否匹配，若不匹配，则梯度下降，继续训练。本发明中，判别器D需要使用生成图像和真实图像(即质量分数最高的花粉图像)以及类别标签y联合作为输入。同时，为了使生成的样本更真实，本发明添加L1损失，使得输出样本更接近目标样本。
步骤S34：网络训练。所述网络训练包括以下步骤：(1)训练生成器G，训练次数以生成器G的参数达到不变时为止；(2)训练判别器D，训练次数以判别器D的参数达到不变时为止；(3)继续训练生成器G，直到其损失函数G*达到最小化，即完成对网络模型的训练；
本发明中生成器和判别器的优化目标如下：
Figure BDA0003202716470000111
其中E表示期望，PHQ代表步骤S2质量分数高的图像的概率分布，PMP代表多层花粉图像样本的概率分布。L为步骤S31中的条件约束。D(x|L)表示判别器对高质量分数的图像样本进行判别，G(y|L)表示生成的伪数据，D(G(y|L))表示判别器对于伪数据的判别结果。对于生成器，其损失函数LG的计算公式如下所示：
Figure BDA0003202716470000112
其中，L1损失也被称为最小绝对值偏差(LAD)，绝对值损失函数(LAE)。其作用为将目标值与估计值的之间的绝对差值的总和最小化。
Lperc为感知损失，为了测量图片两张图片之间的感知相似性。感知损失将真实图片卷积得到的特征与生成图片卷积得到的特征作比较，使得图像高层信息，即内容和全局结构更接近。其定义如下：
Figure BDA0003202716470000113
其中，
Figure BDA0003202716470000114
为对应的最高质量的花粉图片，
Figure BDA0003202716470000115
是生成器生成的图片。
其中Lstyle为样式损失，用于减少转置卷积层引起的上采样过程中的伪影，其定义如下：
Figure BDA0003202716470000116
其中Gram是一个由从预先训练好的网络中提取的特征图构造的Gram矩阵。
对于CGAN网络的训练，采用的方法为单独交替迭代训练。首先训练生成器G，将原始多层花粉数据输入到网络中，使生成器G输出一个伪数据集(此时新花粉数据的合成效果不一定最佳)；固定生成器G，再训练判别器D，训练次数以判别器D的参数不变时为止。当判别器D训练到达一定次数时，参数不变，继续训练生成器G；如此循环往复，直到生成器G的损失函数达到最小化，即完成对网络模型的训练。
下面对本发明提供的融合多层信息的花粉图像合成装置进行描述，下文描述的融合多层信息的花粉图像合成装置与上文描述的融合多层信息的花粉图像合成方法可相互对应参照。图4是本发明提供的融合多层信息的花粉图像合成装置的结构示意图，如图4所示，本发明提供的融合多层信息的花粉图像合成装置包括：
花粉图像获取模块410，用于获取通过扫描同一花粉内容得到的与焦平面对应的多层花粉图像；
多层花粉预处理模块420，用于计算所述多层花粉图像各自的真实感知分数，将所述多层花粉图像分为多对图像，在每对图像中进行真实感知分数大小的对比，并将对比结果作为标签；
排序信息提取模块430，用于将所述每对图像和所述标签输入孪生神经网络进行处理，得到所述多层花粉图像的质量分数排序信息；
花粉图像合成模块440，用于将所述多层花粉图像及其质量分数排序信息输入条件生成对抗网络进行处理，得到合成的花粉图像；其中所述条件生成对抗网络使用根据所述多层花粉图像的质量分数排序信息确定的指示质量分数次高的花粉图像的向量作为生成器和判别器的条件约束。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
由于本发明实施例提供的融合多层信息的花粉图像合成装置，可以用于执行上述实施例所述的融合多层信息的花粉图像合成方法，其工作原理和有益效果类似，故此处不再详述，具体内容可参见上述实施例的介绍。
图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行融合多层信息的花粉图像合成方法，该方法包括：获取通过扫描同一花粉内容得到的与焦平面对应的多层花粉图像；计算所述多层花粉图像各自的真实感知分数，将所述多层花粉图像分为多对图像，在每对图像中进行真实感知分数大小的对比，并将对比结果作为标签；将所述每对图像和所述标签输入孪生神经网络进行处理，得到所述多层花粉图像的质量分数排序信息；将所述多层花粉图像及其质量分数排序信息输入条件生成对抗网络进行处理，得到合成的花粉图像；其中所述条件生成对抗网络使用根据所述多层花粉图像的质量分数排序信息确定的指示质量分数次高的花粉图像的向量作为生成器和判别器的条件约束。
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的融合多层信息的花粉图像合成方法，该方法包括：获取通过扫描同一花粉内容得到的与焦平面对应的多层花粉图像；计算所述多层花粉图像各自的真实感知分数，将所述多层花粉图像分为多对图像，在每对图像中进行真实感知分数大小的对比，并将对比结果作为标签；将所述每对图像和所述标签输入孪生神经网络进行处理，得到所述多层花粉图像的质量分数排序信息；将所述多层花粉图像及其质量分数排序信息输入条件生成对抗网络进行处理，得到合成的花粉图像；其中所述条件生成对抗网络使用根据所述多层花粉图像的质量分数排序信息确定的指示质量分数次高的花粉图像的向量作为生成器和判别器的条件约束。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的融合多层信息的花粉图像合成方法，该方法包括：获取通过扫描同一花粉内容得到的与焦平面对应的多层花粉图像；计算所述多层花粉图像各自的真实感知分数，将所述多层花粉图像分为多对图像，在每对图像中进行真实感知分数大小的对比，并将对比结果作为标签；将所述每对图像和所述标签输入孪生神经网络进行处理，得到所述多层花粉图像的质量分数排序信息；将所述多层花粉图像及其质量分数排序信息输入条件生成对抗网络进行处理，得到合成的花粉图像；其中所述条件生成对抗网络使用根据所述多层花粉图像的质量分数排序信息确定的指示质量分数次高的花粉图像的向量作为生成器和判别器的条件约束。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个、三个等，除非另有明确具体的限定。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种融合多层信息的花粉图像合成方法，其特征在于，包括：
获取通过扫描同一花粉内容得到的与焦平面对应的多层花粉图像；
计算所述多层花粉图像各自的真实感知分数，将所述多层花粉图像分为多对图像，在每对图像中进行真实感知分数大小的对比，并将对比结果作为标签；
将所述每对图像和所述标签输入孪生神经网络进行处理，得到所述多层花粉图像的质量分数排序信息；
将所述多层花粉图像及其质量分数排序信息输入条件生成对抗网络进行处理，得到合成的花粉图像；其中所述条件生成对抗网络使用根据所述多层花粉图像的质量分数排序信息确定的指示质量分数次高的花粉图像的向量作为生成器和判别器的条件约束。
2.根据权利要求1所述的融合多层信息的花粉图像合成方法，其特征在于，所述计算所述多层花粉图像各自的真实感知分数包括使用Tenengrad梯度方法计算所述多层花粉图像各自的真实感知分数。
3.根据权利要求1所述的融合多层信息的花粉图像合成方法，其特征在于，所述孪生神经网络的分支网络为Alexnet网络，所述分支网络的输出为所述每对图像各自的质量分数。
4.根据权利要求1所述的融合多层信息的花粉图像合成方法，其特征在于，所述条件生成对抗网络的生成器的输入为：
所述多层花粉图像和所述条件约束。
5.根据权利要求4所述的融合多层信息的花粉图像合成方法，其特征在于，所述条件生成对抗网络的判别器的输入为：
使用根据所述多层花粉图像的质量分数排序信息确定的质量分数最高的花粉图像、所述生成器生成的花粉图像和所述条件约束。
6.根据权利要求5所述的融合多层信息的花粉图像合成方法，其特征在于，所述条件生成对抗网络的判别器包括三层卷积层，每层卷积层均采用LReLU作为激活函数。
7.根据权利要求1或4至6任一项所述的融合多层信息的花粉图像合成方法，其特征在于，所述条件生成对抗网络的损失函数包括绝对值损失函数、感知损失函数和样式损失函数。
8.一种融合多层信息的花粉图像合成装置，其特征在于，包括：
花粉图像获取模块，用于获取通过扫描同一花粉内容得到的与焦平面对应的多层花粉图像；
多层花粉预处理模块，用于计算所述多层花粉图像各自的真实感知分数，将所述多层花粉图像分为多对图像，在每对图像中进行真实感知分数大小的对比，并将对比结果作为标签；
排序信息提取模块，用于将所述每对图像和所述标签输入孪生神经网络进行处理，得到所述多层花粉图像的质量分数排序信息；
花粉图像合成模块，用于将所述多层花粉图像及其质量分数排序信息输入条件生成对抗网络进行处理，得到合成的花粉图像；其中所述条件生成对抗网络使用根据所述多层花粉图像的质量分数排序信息确定的指示质量分数次高的花粉图像的向量作为生成器和判别器的条件约束。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现根据权利要求1至7任一项所述融合多层信息的花粉图像合成方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现根据权利要求1至7任一项所述融合多层信息的花粉图像合成方法的步骤。
CN202110908383.2A 2021-08-09 2021-08-09 融合多层信息的花粉图像合成方法、装置及电子设备 Pending CN113723470A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110908383.2A CN113723470A (zh) 2021-08-09 2021-08-09 融合多层信息的花粉图像合成方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110908383.2A CN113723470A (zh) 2021-08-09 2021-08-09 融合多层信息的花粉图像合成方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN113723470A true CN113723470A (zh) 2021-11-30

Family

ID=78675189

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110908383.2A Pending CN113723470A (zh) 2021-08-09 2021-08-09 融合多层信息的花粉图像合成方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN113723470A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325931A (zh) * 2018-08-22 2019-02-12 中北大学 基于生成对抗网络和超分辨率网络的多模态图像融合方法
CN112215788A (zh) * 2020-09-15 2021-01-12 湖北工业大学 基于改进生成对抗网络的多聚焦图像融合算法
CN113077471A (zh) * 2021-03-26 2021-07-06 南京邮电大学 一种基于u型网络的医学图像分割方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325931A (zh) * 2018-08-22 2019-02-12 中北大学 基于生成对抗网络和超分辨率网络的多模态图像融合方法
CN112215788A (zh) * 2020-09-15 2021-01-12 湖北工业大学 基于改进生成对抗网络的多聚焦图像融合算法
CN113077471A (zh) * 2021-03-26 2021-07-06 南京邮电大学 一种基于u型网络的医学图像分割方法

Similar Documents

Publication Publication Date Title
Li et al. PDR-Net: Perception-inspired single image dehazing network with refinement
CN107767413B (zh) 一种基于卷积神经网络的图像深度估计方法
CN112001960B (zh) 基于多尺度残差金字塔注意力网络模型的单目图像深度估计方法
CN110555434B (zh) 一种局部对比和全局指导的立体图像视觉显著性检测方法
CN110458165B (zh) 一种引入注意力机制的自然场景文本检测方法
CN110648334A (zh) 一种基于注意力机制的多特征循环卷积显著性目标检测方法
CN111754446A (zh) 一种基于生成对抗网络的图像融合方法、系统及存储介质
CN110807757B (zh) 基于人工智能的图像质量评估方法、装置及计算机设备
CN113762138B (zh) 伪造人脸图片的识别方法、装置、计算机设备及存储介质
CN109711268B (zh) 一种人脸图像筛选方法及设备
CN112016682B (zh) 视频表征学习、预训练方法及装置、电子设备、存储介质
CN112818849B (zh) 基于对抗学习的上下文注意力卷积神经网络的人群密度检测算法
Messai et al. Adaboost neural network and cyclopean view for no-reference stereoscopic image quality assessment
CN110827312A (zh) 一种基于协同视觉注意力神经网络的学习方法
CN111696196A (zh) 一种三维人脸模型重建方法及装置
CN115131797A (zh) 一种基于特征增强金字塔网络的场景文本检测方法
CN111914938B (zh) 一种基于全卷积二分支网络的图像属性分类识别方法
CN110766052A (zh) 图像展示方法、评估模型生成方法、装置及电子设备
CN113393434A (zh) 一种基于非对称双流网络架构的rgb-d显著性检测方法
CN115546505A (zh) 一种基于深度学习的无监督单目图像深度估计方法
CN112668638A (zh) 一种图像美学质量评估和语义识别联合分类方法及系统
Wang et al. No-reference stereoscopic image quality assessment using quaternion wavelet transform and heterogeneous ensemble learning
CN115526891B (zh) 一种缺陷数据集的生成模型的训练方法及相关装置
CN116645513A (zh) 水印提取方法、模型训练方法、装置、电子设备及介质
CN113723470A (zh) 融合多层信息的花粉图像合成方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination