CN113610712A - 一种分辨率提升方法、装置、电子设备及存储介质 - Google Patents

一种分辨率提升方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113610712A
CN113610712A CN202110891114.XA CN202110891114A CN113610712A CN 113610712 A CN113610712 A CN 113610712A CN 202110891114 A CN202110891114 A CN 202110891114A CN 113610712 A CN113610712 A CN 113610712A
Authority
CN
China
Prior art keywords
feature map
module
sub
image
downsampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110891114.XA
Other languages
English (en)
Inventor
周骏
马云鹏
黄承志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest University
Original Assignee
Southwest University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest University filed Critical Southwest University
Priority to CN202110891114.XA priority Critical patent/CN113610712A/zh
Publication of CN113610712A publication Critical patent/CN113610712A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种分辨率提升方法、装置、电子设备及存储介质，该方法包括：获得等离子体的待处理图像，等离子体的待处理图像是通过暗场显微镜处理后的图像；超分辨模型是第一样本图像和第二样本图像进行训练获得的；使用超分辨模型中的桥接模块对编码特征图进行采样，获得采样后的特征图；使用超分辨模型中的解码模块对采样后的特征图进行解码，获得处理后的图像，处理后的图像的分辨率高于待处理图像的分辨率。通过上述实现方式，可以有效的在活细胞内、生命体或其他环境的复杂背景下，特异性地对金属纳米颗粒的等离子进行高分辨率成像，并且相较现有技术实现了高通量智能化的分析与计算。

Description

一种分辨率提升方法、装置、电子设备及存储介质
技术领域
本申请涉及分析化学、成像分析和等离子体光散射成像的技术领域，具体而言，涉及一种分辨率提升方法、装置、电子设备及存储介质。
背景技术
金属纳米颗粒因为其良好的光稳定性，被用作分子探针研究耗时的生物学过程，在生物医学领域受到广泛的关注。暗场显微成像技术是常用的对金属纳米颗粒成像的一种技术。然而，当目标观测物为金属纳米颗粒时，由于光的衍射作用，在暗场成像中，当粒子距离太近时，成像分辨率将受到光学衍射的干扰，会在检测平面形成衍射斑，进而导致成像分辨率较低。
针对此问题，现有的解决方案是，根据角度相关的偏振显微成像技术的成像原理，通过相对于线偏振光旋转样品为基础，实现对一小部分金属纳米颗粒选择性成像，然后使用从一系列图像获得的纳米颗粒的位置以重建整个图像；然而，现有的解决方案所需实验数据复杂，且在活细胞内、生命体或其他环境的复杂背景下，使用暗场显微成像技术对金属纳米颗粒的等离子进行成像存在分辨率不高的问题。
发明内容
本申请实施例的目的在于提供一种分辨率提升方法、装置、电子设备及存储介质，用于改善等离子暗场成像分辨率低的问题。
本申请实施例提供了一种分辨率提升方法，包括：获得等离子体的待处理图像，等离子体的待处理图像是通过暗场显微镜处理后的图像；使用超分辨模型中的编码模块对待处理图像进行编码，获得编码特征图，超分辨模型是第一样本图像和第二样本图像进行训练获得的，第一样本图像是使用暗场显微镜获取等离子体的暗场图像，第二样本图像是使用电子显微镜获取等离子体的电子图像，并根据电子图像对第一样本图像进行处理获得的，第一样本图像的分辨率低于第二样本图像的分辨率；使用超分辨模型中的桥接模块对编码特征图进行采样，获得采样后的特征图；使用超分辨模型中的解码模块对采样后的特征图进行解码，获得处理后的图像，处理后的图像的分辨率高于待处理图像的分辨率。在上述的实现过程中，通过采用暗场显微镜获取的第一样本图像和根据电子显微镜对等离子体进行处理后的图像对第一样本图处理，获取的第二样本图像进行训练的超分辨模型，对暗场显微镜处理得到的等离子体的待处理图像进行编码、采样和解码，进行抽象特征识别和特征提取，从而获得待处理图像的高层语义信息和底层语义信息，通过对高层语义信息和底层语义信息的融合以提高等离子体的待处理图像的分辨率。
可选地，在本申请实施例中，编码模块包括：网络加深模块和至少一个子下采样模块；使用超分辨模型中的编码模块对待处理图像进行编码，获得编码特征图，包括：使用网络加深模块对待处理图像进行特征提取，获得第一编码特征图；使用至少一个子下采样模块对第一编码特征图进行下采样，获得编码特征图。在上述的实现过程中，通过网络加深模块加深神经网络使得非线性表达更好，从而可以拟合更加复杂的特征；下采样模块对待处理图像进行下采样可以对待处理图像去噪，保留待处理图像的主要特征信息，减少计算量，增加模型的计算速度。
可选地，在本申请实施例中，子下采样模块包括：第一子下采样模块、第二子下采样模块、第三子下采样模块；使用至少一个子下采样模块对第一编码特征图进行下采样，获得编码特征图，包括：使用第一子下采样模块对第一编码特征图进行下采样，获得第一下采样特征图；使用第二子下采样模块对第一下采样特征图进行下采样，获得第二下采样特征图；使用第三子下采样模块对第二下采样特征图进行下采样，获得编码特征图。在上述的实现过程中，通过使用三个下采样模块对图像进行下采样，使得卷积能在更大的图像范围上进行特征提取，得到包含有底层语义信息的特征图，从而在后面特征图连接操作中增加图片的分辨率。
可选地，在本申请实施例中，使用第一子下采样模块对第一编码特征图进行下采样，获得第一下采样特征图，包括：使用第一子下采样模块中的挤压激励层对第一编码特征图的特征权重进行校准，获得校准后的特征权重；使用第一子下采样模块中的第一归一化激活层对校准后的特征权重进行归一化处理，获得第一下采样归一化特征图；使用第一子下采样模块中的第一卷积层对第一下采样归一化特征图进行下采样，获得第一下采样卷积特征图；使用第一子下采样模块中的第二归一化激活层对第一下采样卷积特征图进行归一化处理，获得第二下采样归一化特征图；使用第一子下采样模块中的第二卷积层对第二下采样归一化特征图进行卷积，获取第二下采样卷积特征图；使用第一子下采样模块中的残差层对第二下采样特征图和所述校准后的特征权重进行残差处理，获得第一下采样特征图。
可选地，在本申请实施例中，解码模块包括：子上采样模块和输出模块；使用超分辨模型中的解码模块对采样后的特征图进行解码，获得处理后的图像，包括：使用上采样模块对采样后的特征图进行上采样，获得上采样特征图；使用输出模块对上采样特征图进行处理后输出，获得处理后的图像。在上述的实现过程中，使用上采样模块提取图像上采样特征，获得包含有高层语义信息的特征图，从而在后面特征图连接操作中增加图片的分辨率。
可选地，在本申请实施例中，子上采样模块包括：第一子上采样模块、第二子上采样模块、第三子上采样模块，使用上采样模块对采样后的特征图进行上采样，获得上采样特征图，包括：使用第一子上采样模块对第二下采样特征图和采样后的特征图进行上采样，获得第一上采样特征图；使用第二子上采样模块对第一下采样特征图和第一上采样特征图进行上采样，获得第二上采样特征图；使用第三子上采样模块对第一编码特征图和第二上采样特征图进行上采样，获得上采样特征图。在上述的实现过程中，通过使用三个上采样模块对图像进行上采样，将图像逐渐放大，从而以更高的分辨率进行显示图像。
本申请实施例还提供了一种分辨率提升装置，使用第一子上采样模块对第二下采样特征图和采样后的特征图进行上采样，获得第一上采样特征图，包括：使用第一子上采样模块中的注意层对第二下采样特征图和采样后的特征图进行注意力计算，获得第一注意特征图；使用第一子上采样模块中的上采样层对第一注意特征图进行上采样，获取第一上采样子特征图；使用第一子上采样模块中的连接层对第二下采样特征图和第一上采样子特征图进行连接，获得第一连接特征图；使用第一子上采样模块中的第一归一化激活层对第一连接特征图进行归一化处理，获得第一上采样归一化特征图；使用第一子上采样模块中的第一反卷积层对第一上采样归一化特征图进行反卷积，获得第一反卷积特征图；使用第一子上采样模块中的第二归一化激活层对第一反卷积特征图进行归一化处理，获得第二上采样归一化特征图；使用第一子上采样模块中的第二反卷积层对第二上采样归一化特征图进行反卷积，获得第二反卷积特征图；使用第一子上采样模块中的残差层对第二反卷积特征图进行残差处理，获得第一上采样特征图。
本申请实施例还提供了一种获得等离子体暗场成像高分辨图装置，包括：图像获得模块，用于使用暗场显微镜对等离子体进行处理，获得所等离子体的待处理图像；图像编码模块，用于使用超分辨模型中的编码模块对待处理图像进行编码，获得编码特征图，超分辨模型是使用暗场显微镜获取的第一样本图像和根据电子显微镜对等离子体进行处理后的图像对第一样本图处理，获取的第二样本图像进行训练获得的，第一样本图像的分辨率低于第二样本图像的分辨率；图像采样模块，使用超分辨模型中的桥接模块对编码特征图进行采样，获得采样后的特征图；图像解码模块，用于使用超分辨模型中的解码模块对采样后的特征图进行解码，获得处理后的图像，处理后的图像的分辨率高于待处理图像的分辨率。
本申请实施例还提供了一种电子设备，包括：处理器和存储器，存储器存储有处理器可执行的机器可读指令，机器可读指令被处理器执行时执行如上面描述的方法。
本申请实施例还提供了一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上面描述的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出的本申请实施例提供的分辨率提升方法的在服务器上执行分辨率提升的流程示意图；
图2示出的本申请实施例提供的超分辨率模型的示意图；
图3示出的本申请实施例提供的分辨率提升装置的结构示意图；
图4示出的本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述。
在介绍本申请实施例提供的分辨率提升方法之前，先介绍本申请实施例中所涉及的一些概念：
暗场显微成像技术，又称暗视野显微是当前广泛使用的显微成像技术之一。其工作原理是利用暗场显微镜(Dark-Field Microscope，DFM)的暗场聚光镜将光照集中在目标观测物体上，除去目标观测物体以外的光线或电子进入物镜，使目镜中观测到的视野背景是黑的，只有物体的边缘是亮的，使得暗场光散射成像具有高信噪比。
深度学习(Deep Learning，DL)，学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。
ResUNet++模型，是将ResUNet作为主要架构，ResUnet使用了深度残差学习和U-net的优点。在此基础上，ResUNet++模型还增加残差层挤压和激励层、空洞空间卷积池化金字塔(atrous spatial pyramid pooling，ASPP)、以及注意层，ResUNet++模型充分将深度残差学习能力和U-Net结构特征融合能力相结合，构建更深层次的U型结构网络。
卷积神经网络(Convolutional Neural Networks，CNN)，是一种前馈神经网络，人工神经元可以响应周围单元，可以进行大型图像处理。卷积神经网络包括一维卷积神经网络、二维卷积神经网络以及三维卷积神经网络。一维卷积神经网络常应用于序列类的数据处理；二维卷积神经网络常应用于图像类文本的识别；三维卷积神经网络主要应用于医学图像以及视频类数据识别。
最近邻插值(nearest_neighbor)，也称作零阶插值，就是令变换后像素的灰度值等于距它最近的输入像素的灰度值。
双线性插值，又称为双线性内插。在数学上，双线性插值是有两个变量的插值函数的线性插值扩展，其核心思想是在两个方向分别进行一次线性插值。双线性插值作为数值分析中的一种插值算法，广泛应用在信号处理，数字图像和视频处理等方面。
双三次插值，又叫双立方插值，用于在图像中"插值"(Interpolating)或增加"像素"(Pixel)数量/密度的一种方法。通常利用插值技术增加图形数据，以便在它打印或其他形式输出的时候，能够增大打印面积以及(或者)分辨率。
需要说明的是，本申请实施例提供的分辨率提升方法可以被电子设备执行，这里的电子设备是指具有执行计算机程序功能的设备终端或者服务器，设备终端例如：智能手机、个人电脑(personal computer，PC)、平板电脑、个人数字助理(personal digitalassistant，PDA)、移动上网设备(mobile Internet device，MID)、网络交换机或网络路由器等。
下面介绍本申请实施例提供的分辨率提升方法的应用场景，具体例如：在活细胞内、生命体或其他环境的复杂背景下特异性对金属纳米颗粒的等离子进行成像，获取待处理图像，然后通过超分辨模型对待处理图像进行进一步的处理，以提升等离子进行成像的分辨率。通过上述方式，可以获得金属纳米颗粒在活细胞内、生命体或其他环境的复杂背景下分辨率更高的图像。此处的图像用法具体例如，利用金属纳米颗粒图像进行医疗诊断、对探针与细胞的相互过程进行研究，或者，对金属纳米颗粒细胞中的受限运动以及内吞进入细胞的过程进行研究，由于提供的金属纳米颗粒图像分辨率更加高，因此提高了诊断或研究结果的可靠性。请参见图1示出的本申请实施例提供的分辨率提升方法的在服务器上执行分辨率提升的流程示意图；该分辨率提升方法的主要思路是，通过超分辨模型对暗场显微镜处理得到的等离子体的待处理图像进行编码、采样和解码，进行抽象特征识别和特征提取，从而获得待处理图像的高层语义信息和底层语义信息，通过对高层语义信息和底层语义信息的融合以提高等离子体的待处理图像的分辨率，其中上述超分辨模型是使用暗场显微镜获取的第一样本图像和根据电子显微镜对等离子体进行处理后的图像对第一样本图处理，获取的第二样本图像进行训练获得的。该方法包括：
步骤S100:获得等离子体的待处理图像。
在上述步骤S100中，获取等离子体的待处理图像包括但不限于以下三种方式：第一种方式，通过暗场显微镜对等离子体进行处理，获得等离子体的暗场图像，并将等离子体的暗场图像作为待处理图像。暗场显微成像技术是当前广泛使用的显微成像技术之一。利用暗场显微镜可以有效地观察到纳米颗粒的等离子共振散射信号，并根据信号的光谱和颜色对纳米颗粒进行特异性识别：并且，暗场显微镜中配备了暗场聚光镜能够只让斜射的光照射到金属纳米颗粒样品上，从而屏蔽了来自光源的背景信号，同时，由于获取的信号是来自金属纳米颗粒的高效率的瑞利(Rayleigh)散射光，使得暗场光散射成像具有高信噪比的优点。因此，在暗场显微镜的暗场模式下，可以有效观察到纳米颗粒的等离子共振散射信号，并根据信号的光谱和颜色对纳米颗粒进行特异性的识别。然后，对暗场显微镜下获得的图像进行切片处理，以获取待处理图像。
第二种方式，获取预先储存的待处理图像。例如，从文件夹或者数据库中获取待处理图像。
第三种方式，接收第三方设备发送的待处理图像。需要注意的是，第二种方式和第三种方式获取的待处理图像是暗场显微技术下的等离子体图像。
在步骤S100之后，执行步骤S200:使用超分辨模型中的编码模块对待处理图像进行编码，获得编码特征图。
请参见图2示出的本申请实施例提供的超分辨率模型的示意图；其中，超分辨模型是第一样本图像和第二样本图像进行训练获得的，第一样本图像是使用暗场显微镜获取等离子体的暗场图像，第二样本图像是使用电子显微镜获取等离子体的电子图像，并根据电子图像对第一样本图像进行处理获得的，第一样本图像的分辨率低于第二样本图像的分辨率；具体的，首先，获取暗场显微镜处理后的等离子低分辨图像以及电子显微镜处理后的等离子高分辨图像。对上述低分辨图像和高分辨图像进行预处理以获取多个第一样本图像和第二样本图像；其中，预处理包括以下步骤：
步骤一：对低分辨图像进行切片,使得每张样本图像中只包含了区分不开的等离子体颗粒，其中经过切片处理的低分辨图像为第一样本图像。
步骤二:根据高分辨图像对切片后的低分辨图像进行手工标注，以确定等离子体的精确位置，并根据手工标注对地分辨图像进行掩膜处理，经过手工标注、掩膜处理和切片处理的图像即为第二样本图像。
然后，将第一样本图像和第二样本图像进行配对，形成数据对，根据多个数据对训练NanoNet模型，获得超分辨模型。在具体的实践过程中，该NanoNet模型的主干网络可以采用ResUNet++体系结构的神经网络模型。
上述编码模块包括网络加深模块和子下采样模块，其中，网络加深模块用于对步骤S100中的等离子的待处理图像进行特征提取，获得第一编码特征图，子下采用模块用于对第一编码特征图进行下采用以获得编码特征图，请参见图2，具体的，网络加深模块的执行步骤包括：
步骤S210:使用网络加深模块中的第一卷积层对待处理图像进行卷积处理，获得第一卷积特征图。
在步骤S210中卷积层(Conv2D(3*3))的卷积处理的方式为通过64种不同的滤波器对待处理图像进行卷积。其中，输入的待处理图像的像素为256*256，通道数是3(R通道，G通道，B通道)，通过卷积层的卷积处理得到待处理图像的64个维度的特征，即得到64个第一卷积特征图。
在步骤S210之后，执行步骤S211:使用网络加深模块中的归一化激活层对第一卷积特征图进行归一化处理，获得第一归一化特征图。
归一化激活层包括批量归一化(Batch Normalization，BN)函数和非线性激活(Rectified Linear Units，ReLu)函数。其中BN函数可以避免梯度爆炸和消失，而ReLu函数用于防止梯度消失。经过归一化激活层后，得到的第一归一化特征图的像素为256*256，通道数为64。
在步骤S211之后，执行步骤S212:使用网络加深模块中的第二卷积层对第一归一化特征图进行卷积处理，获得第二卷积特征图。
步骤S211中的卷积层对第一归一化特征图进行再卷积可以增加卷积深度，从而获得更多的图像特征。经过归步骤S211的卷积层后，得到的第二卷积特征图的像素为256*256，通道数为64。
在步骤S212之后，执行步骤S213:使用网络加深模块中的残差层对第二卷积特征图进行残差处理，获得第一编码特征图。
其中，步骤S213中的残差层(addition)能够避免增加网络深度时网络退化的问题。经过残差层后，得到的第一编码特征图的像素为256*256，通道数为64。
请参见图2，子下采样模块包括：第一子下采样模块、第二子下采样模块、第三子下采样模块；其中，第一子下采样模块对第一编码特征图进行下采样，获得第一下采样特征图；第二子下采样模块对第一下采样特征图进行下采样，获得第二下采样特征图；使用第三子下采样模块对第二下采样特征图进行下采样，获得编码特征图。
具体的，每一个子下采样模块都包括：挤压激励层、第一归一化激活层、第一卷积层、第二归一化激活层、第二卷积层和残差层。其中，每个子下采样模块的执行步骤包括：
步骤S213后，执行步骤S220:使用挤压激励层对输入的图像的特征权重进行校准，获得校准后的特征权重。
其中，输入的图像指的是输入子下采样模块的图像。例如，对第一子下采样模块而言，输入的图像为第一编码特征图；对第二子下采样模块而言，输入的图像为第一下采样特征图；对第三子下采样模块而言，输入的图像为第二下采样特征图。挤压激励层，即挤压和激励(Suqeeze&Excite，SE)块，其目的是通过显式地建模其卷积特征的通道之间的相互依赖性来提高网络产生的表示质量，通过SE块学习使用全局信息来选择性地强调信息性特征，并抑制不太有用的特征。
在步骤S220之后，执行步骤S221:使用子下采样模块的第一归一化激活层对校准后的特征权重进行归一化处理，获得子采样模块的第一下采样归一化特征图。
步骤S221就第一子下采样模块而言，为使用第一子下采样模块中的第一归一化激活层对校准后的特征权重进行归一化处理，获得第一下采样归一化特征图。
在步骤S221之后，执行步骤S222:使用第一卷积层对子采样模块的第一下采样归一化特征图进行下采样，获得子采样模块的第一下采样卷积特征图。
需要注意的是，上述步骤S222中的卷积层的卷积核步长为2，通过步骤S222的卷积层得到的第一下采样卷积特征图的像素为原来的一半，通道数为原来的2倍。例如，对第一子下采样模块而言，步骤S222为使用第一子下采样模块中的第一卷积层对第一下采样归一化特征图进行下采样，获得第一下采样卷积特征图。
在步骤S222之后，执行步骤S223:使用第二归一化激活层对子采样模块的第一下采样卷积特征图进行归一化处理，获得子采样模块的第二下采样归一化特征图。
就第一子下采样模块而言，步骤S223为使用第一子下采样模块中的第二归一化激活层对第一下采样卷积特征图进行归一化处理，获得第二下采样归一化特征图。
在步骤S223之后，执行步骤S224:使用第二卷积层对子下采样模块的第二下采样归一化特征图进行卷积，获取子下采样模块的第二下采样卷积特征图。
就第一子下采样模块而言，步骤S224为使用第一子下采样模块中的第二卷积层对第二下采样归一化特征图进行卷积，获取第二下采样卷积特征图。
在步骤S224之后，执行步骤S225:使用子下采样模块的残差层对第二下采样特征图和校准后的特征权重进行残差处理，获得子模块的下采样特征图。
就第一子下采样模块而言，步骤S225为使用第一子下采样模块中的残差层对第二下采样特征图和校准后的特征权重进行残差处理，获得第一下采样特征图。
可以理解地是，上述步骤S220-步骤S224中的第一归一化激活层、第二归一化激活层、第二卷积层以及残差层与网络加深模块中的卷积层、归一化激活层和残差层一样。
在步骤S200之后，执行步骤S300:使用超分辨模型中的桥接模块对编码特征图进行采样，获得采样后的特征图。
在上述步骤S300中，桥接模块为ASPP，通过ASPP可以对步骤S200中获得的编码特征图以不同采样率的空洞卷积并行采样，以扩大了图像的上下文的捕捉比例范围，从而精确地捕获多尺度信息。
在步骤S300之后，执行步骤S400：使用超分辨模型中的解码模块对采样后的特征图进行解码，获得处理后的图像。
其中，解码模块包括子上采样模块和输出模块，子上采样模块用于对采样后的特征图进行上采样，获得上采样特征图；输出模块用于对上采样特征图进行处理后输出，获得处理后的图像。
请参见图2，子上采样模块包括：第一子上采样模块、第二子上采样模块、第三子上采样模块；其中，第一子上采样模块对第二下采样特征图和采样后的特征图进行上采样，获得第一上采样特征图；第二子上采样模块对第一下采样特征图和第一上采样特征图进行上采样，获得第二上采样特征图；第三子上采样模块对第一编码特征图和第二上采样特征图进行上采样，获得上采样特征图。
同时，每一个子上采样模块都包括：注意层、上采样层、连接层、第一归一化激活层、第一反卷积层、第二归一化激活层、第二反卷积层和残差层。
具体的，每个子上采样模块的执行步骤，包括：
步骤S410:使用子上采样模块中的注意层对对应的编码特征图和初始化特征图进行注意力计算，获得子上采样模块的注意特征图。注意层(Attention)，用于给像素点分配不同的权重，增强提升最终效果的特征质量。经过注意力层后，特征图的尺度不变，通道数不变。其中，步骤S410中，对应的编码特征图和初始化特征图，具体而言，第一子上采样模块为第二下采样特征图和采样后的特征图，第二子上采样模块为第一下采样特征图和第一上采样特征图，第三子上采样模块为第一编码特征图和第二上采样特征图。就第一上采样子模块而言，步骤S410为使用第一子上采样模块中的注意层对第二下采样特征图和采样后的特征图进行注意力计算，获得第一注意特征图。
在步骤S410后，执行S411:使用子上采样模块中的上采样层对子上采样模块的第一注意特征图进行上采样，获取子上采样模块的第一上采样子特征图。
通过上采样层(UpSampling)可以将子上采样模块的第一注意特征图的像素增加一倍，但并不改变其通道数量。其中，上采样的方式可以使用插值算法来获得，插值算法具体例如：最近邻插值算法、双线性插值算法和双三次插值算法。就第一上采样子模块而言，步骤S411为使用第一子上采样模块中的上采样层对第一注意特征图进行上采样，获取第一上采样子特征图。第一上采样子特征图的像素为64*64，通道数为512。
在步骤S411后，执行S412:使用子上采样模块中的连接层对对应的编码特征图和该子上采样模块的第一上采样子特征图进行连接，获得子上采样模块的第一连接特征图；
连接层(Concatenate)，既保留了对应的编码特征图高层语义信息，又保留了子上采样模块的第一上采样子特征图的底层语义信息。步骤S412中，第一上采样模块、第二上采样模块和第三上采样模块的对应的编码特征图与步骤S410一致。就第一上采样子模块而言，步骤S412为使用第一子上采样模块中的连接层对第二下采样特征图和第一上采样子特征图进行连接，获得第一连接特征图。
在步骤S412后，执行S413:使用子上采样模块中的第一归一化激活层对子上采样模块的第一连接特征图进行归一化处理，获得子上采样模块的第一上采样归一化特征图。
就第一上采样子模块而言，步骤S413为使用第一子上采样模块中的第一归一化激活层对第一连接特征图进行归一化处理，获得第一上采样归一化特征图。
在步骤S413后，执行步骤S414:使用子上采样模块中的第一反卷积层(ConvTranspose2D)对子上采样模块的第一上采样归一化特征图进行反卷积，获得子上采样模块的第一反卷积特征图。
就第一上采样子模块而言，步骤S414为使用第一子上采样模块中的第一反卷积层对第一上采样归一化特征图进行反卷积，获得第一反卷积特征图。
在步骤S414后，执行S415:使用子上采样模块中的第二归一化激活层对子上采样模块的第一反卷积特征图进行归一化处理，获得子上采样模块的第二上采样归一化特征图。
就第一上采样子模块而言，步骤S415为使用第一子上采样模块中的第二归一化激活层对第一反卷积特征图进行归一化处理，获得第二上采样归一化特征图。
在步骤S415后，执行步骤S416:使用子上采样模块中的第二反卷积层对子上采样模块的第二上采样归一化特征图进行反卷积，获得子上采样模块的第二反卷积特征图。
就第一上采样子模块而言，步骤S416为使用第一子上采样模块中的第二反卷积层对第二上采样归一化特征图进行反卷积，获得第二反卷积特征图。
在步骤S416后，执行步骤S417:使用子上采样模块中的残差层对子上采样模块的第二反卷积特征图进行残差处理，获得该子上采样模块对应的上采样特征图。
就第一上采样子模块而言，步骤S417为使用第一子上采样模块中的残差层对第二反卷积特征图进行残差处理，获得第一上采样特征图。
其中，步骤S413-S416中卷积层、归一化激活层、残差层与网络加深层中卷积层、归一化激活层、残差层一样。
步骤S400之后，执行步骤S500:使用输出模块对上采样特征图进行输出处理，获得处理后的图像。
其中步骤S500包括以下步骤：
步骤S510:使用输出模块中的池化(ASPP)层对上采样图像进行特征提取，获得第一输出图像。
步骤S520:使用输出模块中的卷积层(Conv2D 1*1)对第一输出图像进行卷积处理，获得第二输出图像。
其中，第二输出图像为像素为256*256的图像。
步骤S530:使用模块中的sigmoid层进行激活处理，得到处理后的图像。
其中，处理后的图像为只有0和1的二值图像。
通过上述实现方式，可以实现对10nm的两个颗粒进行识别。
请参见图3示出的本申请实施例提供的分辨率提升装置的结构示意图；本申请实施例提供了一种分辨率提升装置600，包括：
图像获得模块601，用于获得等离子体的待处理图像，所述等离子体的待处理图像是通过暗场显微镜处理后的图像。
图像编码模块602，用于使用超分辨模型中的编码模块对待处理图像进行编码，获得编码特征图，超分辨模型是使用暗场显微镜获取的第一样本图像和根据电子显微镜对等离子体进行处理后的图像对第一样本图处理，获取的第二样本图像进行训练获得的，第一样本图像的分辨率低于第二样本图像的分辨率。
图像采样模块603，使用超分辨模型中的桥接模块对编码特征图进行采样，获得采样后的特征图。
图像解码模块604，用于使用超分辨模型中的解码模块对采样后的特征图进行解码，获得处理后的图像，处理后的图像的分辨率高于待处理图像的分辨率。
请参见图4示出的本申请实施例提供的电子设备的结构示意图。本申请实施例提供的一种电子设备700，包括：处理器710和存储器720，存储器720存储有处理器710可执行的机器可读指令，机器可读指令被处理器710执行时执行如上的方法。
本申请实施例还提供了一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上的方法。
其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random Access Memory,简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory,简称EPROM)，可编程只读存储器(Programmable Red-Only Memory,简称PROM)，只读存储器(Read-OnlyMemory,简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
本申请实施例提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施例仅是示意性的，例如，附图中的流程图和框图显示了根据本申请实施例的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以和附图中所标注的发生顺序不同。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这主要根据所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以使用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请实施例中的各个实施例的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上的描述，仅为本申请实施例的可选实施方式，但本申请实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请实施例的保护范围之内。

Claims (10)

1.一种分辨率提升方法，其特征在于，包括：
获得等离子体的待处理图像，所述等离子体的待处理图像是通过暗场显微镜处理后的图像；
使用超分辨模型中的编码模块对所述待处理图像进行编码，获得编码特征图，所述超分辨模型是第一样本图像和第二样本图像进行训练获得的，所述第一样本图像是使用暗场显微镜获取等离子体的暗场图像，所述第二样本图像是使用电子显微镜获取所述等离子体的电子图像，并根据所述电子图像对所述第一样本图像进行处理获得的，所述第一样本图像的分辨率低于所述第二样本图像的分辨率；
使用所述超分辨模型中的桥接模块对所述编码特征图进行采样，获得采样后的特征图；
使用所述超分辨模型中的解码模块对所述采样后的特征图进行解码，获得处理后的图像，所述处理后的图像的分辨率高于所述待处理图像的分辨率。
2.根据权利要求1所述方法，其特征在于，所述编码模块包括：网络加深模块和至少一个子下采样模块；所述使用超分辨模型中的编码模块对所述待处理图像进行编码，获得编码特征图，包括：
使用所述网络加深模块对所述待处理图像进行特征提取，获得第一编码特征图；
使用所述至少一个子下采样模块对所述第一编码特征图进行下采样，获得编码特征图。
3.根据权利要求2所述方法，其特征在于，所述子下采样模块包括：第一子下采样模块、第二子下采样模块、第三子下采样模块；所述使用所述至少一个子下采样模块对所述第一编码特征图进行下采样，获得编码特征图，包括：
使用所述第一子下采样模块对所述第一编码特征图进行下采样，获得第一下采样特征图；
使用所述第二子下采样模块对所述第一下采样特征图进行下采样，获得第二下采样特征图；
使用所述第三子下采样模块对所述第二下采样特征图进行下采样，获得所述编码特征图。
4.根据权利要求3所述方法，其特征在于，所述使用所述第一子下采样模块对所述第一编码特征图进行下采样，获得第一下采样特征图，包括：
使用所述第一子下采样模块中的挤压激励层对所述第一编码特征图的特征权重进行校准，获得校准后的特征权重；
使用所述第一子下采样模块中的第一归一化激活层对所述校准后的特征权重进行归一化处理，获得第一下采样归一化特征图；
使用所述第一子下采样模块中的第一卷积层对所述第一下采样归一化特征图进行下采样，获得第一下采样卷积特征图；
使用所述第一子下采样模块中的第二归一化激活层对所述第一下采样卷积特征图进行归一化处理，获得第二下采样归一化特征图；
使用所述第一子下采样模块中的第二卷积层对所述第二下采样归一化特征图进行卷积，获取第二下采样卷积特征图；
使用所述第一子下采样模块中的残差层对所述第二下采样特征图和所述校准后的特征权重进行残差处理，获得第一下采样特征图。
5.根据权利要求3所述方法，其特征在于，所述解码模块包括：子上采样模块和输出模块；所述使用所述超分辨模型中的解码模块对所述采样后的特征图进行解码，获得处理后的图像，包括：
使用所述子上采样模块对所述采样后的特征图进行上采样，获得上采样特征图；
使用所述输出模块对所述上采样特征图进行处理后输出，获得处理后的图像。
6.根据权利要求5所述方法，其特征在于，所述子上采样模块包括：第一子上采样模块、第二子上采样模块、第三子上采样模块，所述使用所述上采样模块对所述采样后的特征图进行上采样，获得上采样特征图，包括：
使用所述第一子上采样模块对所述第二下采样特征图和所述采样后的特征图进行上采样，获得第一上采样特征图；
使用所述第二子上采样模块对所述第一下采样特征图和所述第一上采样特征图进行上采样，获得第二上采样特征图；
使用所述第三子上采样模块对所述第一编码特征图和所述第二上采样特征图进行上采样，获得所述上采样特征图。
7.根据权利要求6所述方法，其特征在于，所述使用所述第一子上采样模块对所述第二下采样特征图和所述采样后的特征图进行上采样，获得第一上采样特征图，包括：
使用所述第一子上采样模块中的注意层对所述第二下采样特征图和所述采样后的特征图进行注意力计算，获得第一注意特征图；
使用所述第一子上采样模块中的上采样层对所述第一注意特征图进行上采样，获取第一上采样子特征图；
使用所述第一子上采样模块中的连接层对所述第二下采样特征图和所述第一上采样子特征图进行连接，获得第一连接特征图；
使用所述第一子上采样模块中的第一归一化激活层对所述第一连接特征图进行归一化处理，获得第一上采样归一化特征图；
使用所述第一子上采样模块中的第一反卷积层对所述第一上采样归一化特征图进行反卷积，获得第一反卷积特征图；
使用所述第一子上采样模块中的第二归一化激活层对所述第一反卷积特征图进行归一化处理，获得第二上采样归一化特征图；
使用所述第一子上采样模块中的第二反卷积层对所述第二上采样归一化特征图进行反卷积，获得第二反卷积特征图；
使用所述第一子上采样模块中的残差层对所述第二反卷积特征图进行残差处理，获得第一上采样特征图。
8.一种分辨率提升装置，其特征在于，包括：
图像获得模块，用于使用暗场显微镜对等离子体进行处理，获得所述等离子体的待处理图像；
图像编码模块，用于使用超分辨模型中的编码模块对所述待处理图像进行编码，获得编码特征图，所述超分辨模型是使用暗场显微镜获取的第一样本图像和根据电子显微镜对等离子体进行处理后的图像对所述第一样本图处理，获取的第二样本图像进行训练获得的，所述第一样本图像的分辨率低于所述第二样本图像的分辨率；
图像采样模块，使用所述超分辨模型中的桥接模块对所述编码特征图进行采样，获得采样后的特征图；
图像解码模块，用于使用所述超分辨模型中的解码模块对所述采样后的特征图进行解码，获得处理后的图像，所述处理后的图像的分辨率高于所述待处理图像的分辨率。
9.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的方法。
10.一种存储介质，其特征在于，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任一所述的方法。
CN202110891114.XA 2021-08-04 2021-08-04 一种分辨率提升方法、装置、电子设备及存储介质 Pending CN113610712A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110891114.XA CN113610712A (zh) 2021-08-04 2021-08-04 一种分辨率提升方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110891114.XA CN113610712A (zh) 2021-08-04 2021-08-04 一种分辨率提升方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113610712A true CN113610712A (zh) 2021-11-05

Family

ID=78306776

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110891114.XA Pending CN113610712A (zh) 2021-08-04 2021-08-04 一种分辨率提升方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113610712A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180293707A1 (en) * 2017-04-10 2018-10-11 Samsung Electronics Co., Ltd. System and method for deep learning image super resolution
CN109118491A (zh) * 2018-07-30 2019-01-01 深圳先进技术研究院 一种基于深度学习的图像分割方法、系统及电子设备
CN110334645A (zh) * 2019-07-02 2019-10-15 华东交通大学 一种基于深度学习的月球撞击坑识别方法
CN111311704A (zh) * 2020-01-21 2020-06-19 上海联影智能医疗科技有限公司 图像重建方法、装置、计算机设备和存储介质
CN111970513A (zh) * 2020-08-14 2020-11-20 成都数字天空科技有限公司 一种图像处理方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180293707A1 (en) * 2017-04-10 2018-10-11 Samsung Electronics Co., Ltd. System and method for deep learning image super resolution
CN109118491A (zh) * 2018-07-30 2019-01-01 深圳先进技术研究院 一种基于深度学习的图像分割方法、系统及电子设备
CN110334645A (zh) * 2019-07-02 2019-10-15 华东交通大学 一种基于深度学习的月球撞击坑识别方法
CN111311704A (zh) * 2020-01-21 2020-06-19 上海联影智能医疗科技有限公司 图像重建方法、装置、计算机设备和存储介质
CN111970513A (zh) * 2020-08-14 2020-11-20 成都数字天空科技有限公司 一种图像处理方法、装置、电子设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DEBESH JHA等: "ResUNet++: An Advanced Architecture for Medical Image Segmentation", ARXIV:1911.07067V1, 16 November 2019 (2019-11-16) *
MING KE SONG等: "High Resolution of Plasmonic Resonance Scattering Imaging with Deep Learning", ACS PUBLICATIONS, 11 March 2022 (2022-03-11) *
侯淑莲等: "显微镜概述", 现代物理知识, no. 02, 20 March 2001 (2001-03-20) *

Similar Documents

Publication Publication Date Title
Ouyang et al. Deep learning massively accelerates super-resolution localization microscopy
CN107679525B (zh) 图像分类方法、装置及计算机可读存储介质
Smal et al. Quantitative comparison of spot detection methods in fluorescence microscopy
Yang et al. Low-dose x-ray tomography through a deep convolutional neural network
Li et al. Survey of single image super‐resolution reconstruction
CN111968064B (zh) 一种图像处理方法、装置、电子设备及存储介质
Bizhani et al. Reconstructing high fidelity digital rock images using deep convolutional neural networks
CN112446892A (zh) 一种基于注意力学习的细胞核分割方法
Zhang et al. Correction of out-of-focus microscopic images by deep learning
CN111914654A (zh) 一种文本版面分析方法、装置、设备和介质
Quan et al. Collaborative deep learning for super-resolving blurry text images
CN112597852B (zh) 细胞分类方法、装置、电子设备及存储介质
Moshayedi et al. Sunfa Ata Zuyan machine learning models for moon phase detection: algorithm, prototype and performance comparison
Song et al. S^ 2 RGAN S 2 RGAN: sonar-image super-resolution based on generative adversarial network
CN116797791A (zh) 一种基于深度学习的线粒体分割与分类方法
CN116563550A (zh) 基于混合注意力的滑坡解译语义分割方法、系统、装置及介质
Talreja et al. DANS: Deep attention network for single image super-resolution
CN111986210B (zh) 一种医学影像小病灶分割方法
CN113610712A (zh) 一种分辨率提升方法、装置、电子设备及存储介质
Ashaduzzman et al. Using deep learning super-resolution for improved segmentation of sem biofilm images
Patrick et al. Automated Grain Boundary Detection for Bright-Field Transmission Electron Microscopy Images via U-Net
CN114140381A (zh) 一种基于MDP-net的玻璃体混浊分级筛查方法及装置
Li et al. MFCA-Net: a deep learning method for semantic segmentation of remote sensing images
Rempakos et al. Spatial transformer generative adversarial network for image super-resolution
Roy et al. Single Image Super-resolution with a Switch Guided Hybrid Network for Satellite Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination