CN113781298A - 超分辨率图像的处理方法及装置、电子设备、存储介质 - Google Patents

Abstract

本发明提供了一种超分辨率图像的处理方法及装置、电子设备、存储介质，该方法包括：获取含有多种生物结构的超分辨率图像；通过将所述超分辨率图像输入预设卷积神经网络进行特征提取，输出与所述超分辨率图像对应的多色超分辨率图像；其中，所述预设卷积神经网络为利用不同生物结构的超分辨图像数据集训练得到的多通道卷积神经网络。通过本发明，解决了相关技术中需要拍摄多张超分辨图像实现多色超分辨率成像，进而导致多色超分辨率成像操作复杂、效率低等的技术问题。

Description

超分辨率图像的处理方法及装置、电子设备、存储介质

技术领域

本发明涉及荧光多色显微成像领域，具体而言，涉及一种超分辨率图像的处理方法及装置、电子设备、存储介质。

背景技术

在每个生物细胞中，细胞器和细胞骨架之间存在着无数复杂且精密的相互作用，以维持细胞内稳态和执行各项生理功能。观察细胞内多种细胞器和细胞骨架的相互作用对细胞生物学的研究意义重大，然而，长时程、多色、高时空分辨率的活细胞成像目前面临着许多挑战，主要表现在两个方面：一是空间分辨率受到光学衍射极限的限制，二是激光照射带来的光漂白和光毒性。

相关技术中，为了突破光学衍射极限，多种超分辨率成像技术被提出来，例如，结构光照明超分辨率成像技术(Structured illumination microscopy，简称SIM技术)，受激发射损耗超分辨显微技术(Stimulated emission depletion microscopy，简称STED技术)和随机激发光学重建超分辨显微技术(Stochastic optical reconstructionmicroscopy，简称STORM技术)等；然而，这些超分辨率成像方法需要采集多张原始图像，对多张原始图像进行处理，不仅操作复杂，效率低，时间分辨率也低，对生物样本的光漂白和光毒性较大，将上述超分辨率成像方法用于活细胞多色成像，极大地限制了超分辨率成像方法在多色活细胞成像实验中的广泛应用。

针对上述相关技术中存在的技术问题，目前没有提出有效的解决方案。

发明内容

鉴于上述问题，本发明提出了一种超分辨率图像的处理方法及装置、电子设备、存储介质，以至少解决相关技术中需要利用多张超分辨图像实现多色超分辨率成像，进而导致多色超分辨率成像操作复杂、效率低等的技术问题。

第一方面，本发明提供了一种超分辨率图像的处理方法，包括：获取含有多种生物结构的超分辨率图像；通过将所述超分辨率图像输入预设卷积神经网络进行特征提取，输出与所述超分辨率图像对应的多色超分辨率图像；其中，所述预设卷积神经网络为利用不同生物结构的超分辨图像数据集训练得到的多通道卷积神经网络。

可选的，在通过将所述超分辨率图像输入预设卷积神经网络进行特征提取，输出与所述超分辨率图像对应的多色超分辨率图像之前，所述方法还包括：获取不同生物结构的超分辨率图像数据集；通过对不同生物结构的超分辨率图像进行图像叠加，得到由叠加后的超分辨率图像与未叠加的图像构成的数据集；通过将叠加后的超分辨率图像输入由基于注意力机制、激活函数以及残差网络搭建的卷积神经网络模型中，并以未进行图像叠加的超分辨率图像作为真值进行训练，生成所述预设卷积神经网络。

可选的，在输出与所述超分辨率图像对应的多色超分辨率图像之后，所述方法还包括：计算不同生物结构的超分辨率图像数据集中未进行图像叠加的真值图像与所述预设卷积神经网络输出的多色超分辨率图像之间的均方误差以及结构相似度；利用所述均方误差、所述结构相似度和结构相似度损失的权重构建所述预设卷积神经网络的损失函数。

可选的，所述预设卷积神经网络包括浅层特征提取子网络、深层特征提取子网络和输出子网络，所述通过将所述超分辨率图像输入预设卷积神经网络进行特征提取输出与所述超分辨率图像对应的多色超分辨率图像包括：将所述超分辨率图像输入所述浅层特征提取子网络，由所述浅层特征提取子网络学习特征后，将提取到的浅层特征输入所述深层特征提取子网络；通过所述深层特征提取子网络中预设个顺次相连的残差模块学习特征后，提取所述浅层特征对应的深层特征，并输入所述输出子网络；通过所述输出子网络对所述深层特征进行特征融合，得到并输出所述超分辨率图像对应的多色超分辨率图像。

可选的，所述残差模块包括多个顺次相连的特征通道注意力卷积模块，所述特征通道注意力卷积模块包括特征提取子模块、特征通道注意力子模块和残差输出模块；所述通过所述深层特征提取子网络中预设个顺次相连的残差模块学习特征后，提取所述浅层特征对应的深层特征并输入所述输出子网络包括：选定预设个残差模块中任一残差模块作为目标残差模块，选定所述目标残差模块中多个特征通道注意力卷积模块中的任一特征通道注意力卷积模块作为目标特征通道注意力卷积模块，对所述目标特征通道注意力卷积模块的输入进行特征提取，由所述目标特征通道注意力卷积模块中的特征提取子模块提取出所述目标特征通道注意力卷积模块的输入对应的第一特征，并将所述第一特征输入所述目标特征通道注意力卷积模块中的特征通道注意力卷积子模块；通过所述目标特征通道注意力卷积模块中的特征通道注意力卷积子模块进行特征提取，生成第二特征；将所述第二特征与所述目标特征通道注意力卷积模块的输入进行特征融合，得到第三特征，并由所述目标特征通道注意力卷积模块中的残差输出模块输出；将所述目标特征通道注意力卷积模块中残差输出模块的输出作为下一个特征通道注意力卷积模块的输入，由所述下一个特征通道注意力卷积模块进行特征提取；在顺次经过所有特征通道注意力卷积模块特征提取后，将最后一个特征通道注意力卷积模块中残差输出模块的输出作为下一个残差模块的输入，由所述下一个残差模块进行特征提取；在顺次经过所有残差模块特征提取后，将最后一个残差模块的输出作为所述深层特征，并输入至所述输出子网络。

可选的，所述特征通道注意力卷积子模块包括卷积-激活单元、池化单元和自适应加权单元，所述通过所述目标特征通道注意力卷积模块中的特征通道注意力卷积子模块进行特征提取生成第二特征包括：将所述第一特征输入所述卷积-激活单元，经过所述卷积-激活单元卷积激活后提取所述第一特征对应的通道特征，并输入至所述池化单元；通过所述池化单元对所述通道特征进行全局平均池化，得到与预设特征通道个数等同的多个通道特征参数，并输入所述自适应加权单元；通过所述自适应加权单元对所述多个通道特征参数进行加权，得到加权后的通道特征，将所述加权后的通道特征作为所述第二特征。

第二方面，本发明提供了一种超分辨率图像的处理装置，包括：第一获取模块，用于获取含有多种生物结构的超分辨率图像；学习模块，用于通过将所述超分辨率图像输入预设卷积神经网络进行特征提取，输出与所述超分辨率图像对应的多色超分辨率图像；其中，所述预设卷积神经网络为利用不同生物结构的超分辨图像数据集训练得到的多通道卷积神经网络。

可选的，所述装置还包括：第二获取模块，用于在通过将所述超分辨率图像输入预设卷积神经网络进行特征提取，输出与所述超分辨率图像对应的多色超分辨率图像之前，获取不同生物结构的超分辨率图像数据集；叠加模块，用于通过对不同生物结构的超分辨率图像进行图像叠加，得到由叠加后的超分辨率图像与未叠加的图像构成的数据集；训练模块，用于通过将叠加后的超分辨率图像输入由基于注意力机制、激活函数以及残差网络搭建的卷积神经网络模型中，并以未进行图像叠加的超分辨率图像作为真值进行训练，生成所述预设卷积神经网络。

可选的，所述装置还包括：计算模块，用于在输出与所述超分辨率图像对应的多色超分辨率图像之后，计算不同生物结构的超分辨率图像数据集中未进行图像叠加的真值图像与所述预设卷积神经网络输出的多色超分辨率图像之间的均方误差以及结构相似度；构建模块，用于利用所述均方误差、所述结构相似度和结构相似度损失的权重构建所述预设卷积神经网络的损失函数。

可选的，所述预设卷积神经网络包括浅层特征提取子网络、深层特征提取子网络和输出子网络，所述学习模块包括：第一提取单元，用于将所述超分辨率图像输入所述浅层特征提取子网络，由所述浅层特征提取子网络学习特征后，将提取到的浅层特征输入所述深层特征提取子网络；第二提取单元，用于通过所述深层特征提取子网络中预设个顺次相连的残差模块学习特征后，提取所述浅层特征对应的深层特征，并输入所述输出子网络；融合单元，用于通过所述输出子网络对所述深层特征进行特征融合，得到并输出所述超分辨率图像对应的多色超分辨率图像。

可选的，所述残差模块包括多个顺次相连的特征通道注意力卷积模块，所述特征通道注意力卷积模块包括特征提取子模块、特征通道注意力子模块和残差输出模块；所述第二提取单元包括：提取子单元，用于选定预设个残差模块中任一残差模块作为目标残差模块，选定所述目标残差模块中多个特征通道注意力卷积模块中的任一特征通道注意力卷积模块作为目标特征通道注意力卷积模块，对所述目标特征通道注意力卷积模块的输入进行特征提取，由所述目标特征通道注意力卷积模块中的特征提取子模块提取出所述目标特征通道注意力卷积模块的输入对应的第一特征，并将所述第一特征输入所述目标特征通道注意力卷积模块中的特征通道注意力卷积子模块；生成子单元，用于通过所述目标特征通道注意力卷积模块中的特征通道注意力卷积子模块进行特征提取，生成第二特征；将所述第二特征与所述目标特征通道注意力卷积模块的输入进行特征融合，得到第三特征，并由所述目标特征通道注意力卷积模块中的残差输出模块输出；第一学习子单元，用于将所述目标特征通道注意力卷积模块中残差输出模块的输出作为下一个特征通道注意力卷积模块的输入，由所述下一个特征通道注意力卷积模块进行特征提取；第二学习子单元，用于在顺次经过所有特征通道注意力卷积模块特征提取后，将最后一个特征通道注意力卷积模块中残差输出模块的输出作为下一个残差模块的输入，由所述下一个残差模块进行特征提取；输出子单元，用于在顺次经过所有残差模块特征提取后，将最后一个残差模块的输出作为所述深层特征，并输入至所述输出子网络。

可选的，所述特征通道注意力卷积子模块包括卷积-激活单元、池化单元和自适应加权单元，所述生成子单元用于：将所述第一特征输入所述卷积-激活单元，经过所述卷积-激活单元卷积激活后提取所述第一特征对应的通道特征，并输入至所述池化单元；通过所述池化单元对所述通道特征进行全局平均池化，得到与预设特征通道个数等同的多个通道特征参数，并输入所述自适应加权单元；通过所述自适应加权单元对所述多个通道特征参数进行加权，得到加权后的通道特征，将所述加权后的通道特征作为所述第二特征。

第三方面，本发明还提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

第四方面，本发明还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项装置实施例中的步骤。

本发明实施例提供的超分辨率图像的处理方法，通过利用不同生物结构的超分辨图像数据集训练得到的多通道卷积神经网络，然后，获取单张含有多种生物结构的超分辨率图像，无需获取多种原始图像；接着，将单张超分辨率图像输入预先训练得到的卷积神经网络中进行特征提取，能够输出与超分辨率图像对应的各种多色超分辨率图像，实现了从单张同时包含多种生物结构的超分辨率图像中将这些结构分离，输出多张分别只包含特定生物结构的超分辨率图像，从而实现快速多色超分辨率活细胞成像，操作简单，简化了样品制备流程，提高了活细胞成像效率，解决了相关技术中需要利用多张超分辨图像实现多色超分辨率成像，进而导致多色超分辨率成像操作复杂、效率低等的技术问题，从而提高了成像时间分辨率以及减少了总的成像曝光时间，以缓解光漂白和光毒性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍。

图1是本发明实施例提供的一种超分辨率图像的处理方法应用于计算机终端的硬件结构框图；

图2是根据本发明实施例提供的一种超分辨率图像的处理方法的流程图；

图3是根据本发明实施例提供的一种多通道卷积神经网络模型的训练流程图；

图4是根据本发明实施例提供的一种特征通道注意力卷积神经网络模型的框架图；

图5是根据本发明实施例提供的基于单输入、单输出特征通道注意力卷积神经网络模型输出的示意图；

图6是根据本发明实施例提供的一种基于单输入、多输出特征通道注意力卷积神经网络模型示意图；

图7是根据本发明实施例提供的基于单输入、多输出特征通道注意力卷积神经网络模型输出的示意图；

图8是根据本发明实施例提供的基于多输入、多输出特征通道注意力卷积神经网络模型输出的示意图；

图9是根据本发明实施例提供的一种超分辨率图像的处理装置的结构框图；

图10是根据本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”及其变体要被解读为意味着“包括但不限于”的开放式术语。

为了解决相关技术存在的技术问题，在本实施例中提供了一种超分辨率图像的处理方法。下面以具体地实施例对本发明的技术方案以及本发明的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。

本发明实施例所提供的方法实施例可以在移动终端、服务器、计算机终端或者类似的运算装置中执行。以运行在计算机终端上为例，图1是本发明实施例提供的一种超分辨率图像的处理方法应用于计算机终端的硬件结构框图。如图1所示，计算机终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述计算机终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述计算机终端的结构造成限定。例如，计算机终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的超分辨率图像的处理方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器，也可以包括易失性存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

图2是根据本发明实施例提供的一种超分辨率图像的处理方法的流程图，如图2所示，该流程包括如下步骤：

步骤S202，获取含有多种生物结构的超分辨率图像；

优选地，本实施例处理的图像为单张包含多种生物结构的超分辨率图像。

步骤S204，通过将超分辨率图像输入预设卷积神经网络进行特征提取，输出与超分辨率图像对应的多色超分辨率图像；其中，预设卷积神经网络为利用不同生物结构的超分辨图像数据集训练得到的多通道卷积神经网络。

可选的，将单张包含多种细胞器的超分辨率图像输入预先训练好的多通道卷积神经网络，可实现快速多色超分辨率活细胞成像。

本发明实施例提供的超分辨率图像的处理方法，通过利用不同生物结构的超分辨图像数据集训练得到的多通道卷积神经网络，然后，获取单张含有多种生物结构的超分辨率图像，无需获取多种原始图像；接着，将单张超分辨率图像输入预先训练得到的卷积神经网络中进行特征提取，能够输出与超分辨率图像对应的各种多色超分辨率图像，实现了从单张同时包含多种生物结构的超分辨率图像中将这些结构分离，输出多张分别只包含特定生物结构的超分辨率图像，从而实现快速多色超分辨率活细胞成像，操作简单，简化了样品制备流程，提高了活细胞成像效率，解决了相关技术中需要利用多张超分辨图像实现多色超分辨率成像，进而导致多色超分辨率成像操作复杂、效率低等的技术问题，从而提高了成像时间分辨率以及减少了总的成像曝光时间，以缓解光漂白和光毒性。

可选的，在通过将超分辨率图像输入预设卷积神经网络进行特征提取，输出与超分辨率图像对应的多色超分辨率图像之前，还包括：获取不同生物结构的超分辨率图像数据集；通过对不同生物结构的超分辨率图像进行图像叠加，得到由叠加后的超分辨率图像与未叠加的图像构成的数据集；通过将叠加后的超分辨率图像输入由基于注意力机制、激活函数以及残差网络搭建的卷积神经网络模型中，并以未进行图像叠加的超分辨率图像作为真值进行训练，生成预设卷积神经网络。

在本案的一个可选实施例中，图3是根据本发明实施例提供的一种多通道卷积神经网络模型的训练流程图，如图3所示，具体包括以下步骤：

步骤S301，获取数据集；

优选地，利用光学显微系统拍摄或从公开数据库下载用于神经网络模型训练和测试的数据集，例如下载公开数据集BioSR，并将所下载数据集分成三个部分：训练集、验证集和测试集。

步骤S302，数据预处理与扩增；

利用光学显微系统拍摄或从公开数据库下载数据集之后，对数据集进行归一化、高斯滤波等预处理，将多种不同细胞器的图片进行归一化(即标准化处理)并叠加，生成多种细胞器叠加图像，目的是将多种不同细胞器的图片限定在一定范围内，从而消除多种不同细胞器的图片中差异较大的图片导致的不良影响，缩短训练时间，提高数据训练速度和精确度；

进一步地，使用随机剪裁、随机角度旋转等方式将训练数据集进行扩增以备训练神经网络。

步骤S303，搭建神经网络模型；可选的，由基于注意力机制、激活函数(比如GELU激活函数、Sigmoid激活函数)以及残差网络搭建卷积神经网络模型。例如，使用基于卷积神经网络CNN(全称为Convolutional neural network)。

步骤S304，神经网络模型训练；

步骤S305，超分辨率图像多通道预测。

将上述扩增后的数据集输入搭建的神经网络的初始模型中进行训练，生成多通道卷积神经网络(即上述预设卷积神经网络)，以实现超分辨率图像多通道预测，实现快速多色超分辨率活细胞成像。

在本案的一个可选的实施例中，在输出与超分辨率图像对应的多色超分辨率图像之后，还包括：计算不同生物结构的超分辨率图像数据集中未进行图像叠加的真值图像与预设卷积神经网络输出的多色超分辨率图像之间的均方误差以及结构相似度；利用均方误差、结构相似度和结构相似度损失的权重构建预设卷积神经网络的损失函数。

可选地，训练时的损失函数由神经网络的输出图像与真值图像(即上述不同生物结构的超分辨率图像数据集中未进行图像叠加的图像)之间的均方误差(全称为Meansquare error，简称MSE)和结构相似度(全称为Structural similarity，简称SSIM)两部分构建。

在本案的一个可选的实施例中，预设卷积神经网络包括浅层特征提取子网络、深层特征提取子网络和输出子网络，通过将超分辨率图像输入预设卷积神经网络进行特征提取输出与超分辨率图像对应的多色超分辨率图像包括：将超分辨率图像输入浅层特征提取子网络，由浅层特征提取子网络学习特征后，将提取到的浅层特征输入深层特征提取子网络；通过深层特征提取子网络中预设个顺次相连的残差模块学习特征后，提取浅层特征对应的深层特征，并输入输出子网络；通过输出子网络对深层特征进行特征融合，得到并输出超分辨率图像对应的多色超分辨率图像。

图4是根据本发明实施例提供的一种特征通道注意力卷积神经网络模型的框架图，如图4所示，特征通道注意力卷积神经网络模型(即上述预设卷积神经网络)包括浅层特征提取子网络、深层特征提取子网络和输出子网络。

首先，浅层特征提取子网络中包括一个卷积层和一个GELU激活函数顺次连接得到，输入的超分辨率图像依次通过一个卷积层和一个GELU激活函数，通过卷积激活提取浅层特征，其中，GELU激活函数可以用公式(1)表示为：

进一步地，深层特征提取子网络包括预设个残差模块(比如4个残差模块)、一个卷积层和一个GELU激活函数顺次连接得到，从浅层特征中进一步地提取超分辨率图像的深层特征，然后通过输出子网络输出；输出子网络由一个卷积层和一个GELU激活函数构成，用于对提取到的深层特征进行特征融合，并输出最终的多色超分辨率图像。

根据上述实施例，残差模块包括多个顺次相连的特征通道注意力卷积模块，特征通道注意力卷积模块包括特征提取子模块、特征通道注意力子模块和残差输出模块；通过深层特征提取子网络中预设个顺次相连的残差模块学习特征后，提取浅层特征对应的深层特征并输入输出子网络包括：选定预设个残差模块中任一残差模块作为目标残差模块，选定目标残差模块中多个特征通道注意力卷积模块中的任一特征通道注意力卷积模块作为目标特征通道注意力卷积模块，对目标特征通道注意力卷积模块的输入进行特征提取，由目标特征通道注意力卷积模块中的特征提取子模块提取出目标特征通道注意力卷积模块的输入对应的第一特征，并将第一特征输入目标特征通道注意力卷积模块中的特征通道注意力卷积子模块；通过目标特征通道注意力卷积模块中的特征通道注意力卷积子模块进行特征提取，生成第二特征；将第二特征与目标特征通道注意力卷积模块的输入进行特征融合，得到第三特征，并由目标特征通道注意力卷积模块中的残差输出模块输出；将目标特征通道注意力卷积模块中残差输出模块的输出作为下一个特征通道注意力卷积模块的输入，由下一个特征通道注意力卷积模块进行特征提取；在顺次经过所有特征通道注意力卷积模块特征提取后，将最后一个特征通道注意力卷积模块中残差输出模块的输出作为下一个残差模块的输入，由下一个残差模块进行特征提取；在顺次经过所有残差模块特征提取后，将最后一个残差模块的输出作为深层特征，并输入至输出子网络。

如图4所示，残差模块中，输入特征通道首先经过q个特征通道注意力卷积模块(典型值为q＝4)，输出的特征通道再与输入的特征通道相加作为残差模块的输出。

进一步的，特征通道注意力卷积模块由以下几个模块构成：

(1)特征提取模块(即上述特征提取子模块)：该模块由1个卷积层、1个GELU激活函数、1个卷积层、1个GELU激活函数顺次连接构成；

(2)特征通道注意力模块(即上述特征通道注意力子模块)；

(3)残差输出模块：用特征通道注意力卷积模块的输入与傅立叶域特征通道注意力模块的输出相加，作为本模块最终的输出。

可选的，特征通道注意力卷积子模块包括卷积-激活单元、池化单元和自适应加权单元，通过目标特征通道注意力卷积模块中的特征通道注意力卷积子模块进行特征提取生成第二特征包括：将第一特征输入卷积-激活单元，经过卷积-激活单元卷积激活后提取第一特征对应的通道特征，并输入至池化单元；通过池化单元对通道特征进行全局平均池化，得到与预设特征通道个数等同的多个通道特征参数，并输入自适应加权单元；通过自适应加权单元对多个通道特征参数进行加权，得到加权后的通道特征，将加权后的通道特征作为第二特征：

(1)卷积-激活模块(即上述卷积-激活单元)：特征通道依次经过一个卷积层和一个ReLU激活函数进行特征提取，其中，ReLU激活函数可以用公式(2)表示为：

(2)池化模块(即上述池化单元)：对上一步(1)得到的通道特征进行全局平均池化，得到等同于特征通道数量的n个系数(即上述多个特征通道系数)，分别作为n个特征通道的信息代表数值；

(3)自适应加权模块(即上述自适应加权单元)：将上一步得到的n个系数依次通过一个全链接层、一个ReLU激活函数、一个全链接层和一个Sigmoid激活函数，得到n个加权系数，并用这n个加权系数对输入的n个特征通道进行加权，输出加权之后的特征通道，其中，Sigmoid激活函数分别用公式(3)表示为：

通过本发明实施例，利用特征通道注意力卷积神经网络的特征提取能力，对单张包含多种生物结构的超分辨图像进行多通道预测，实现低成本的快速多色超分辨率活体成像。

下面结合具体实施例对本发明做进一步地的说明：

实施例1

在本实施例中，基于单输入、单输出特征通道注意力卷积神经网络模型，对多细胞器叠加图像进行多通道(多色)预测的流程，具体可分为以下几个步骤实施：

步骤S401，下载公开数据集BioSR，并将所下载数据集分成三个部分：训练集、验证集和测试集；

步骤S402，将训练集和验证集中的多种不同细胞器的图片进行归一化(或高斯滤波处理)并叠加，生成多种细胞器叠加图像，将未叠加的图像作为真值。然后对数据进行扩增，包括随机剪裁、随机角度旋转等操作，产生20,000对多种细胞器叠加(尺寸为128128)-对应区域单个细胞器(尺寸为128128)的灰度图像对用于网络训练和验证；

步骤S403，使用基于Tensorflow的Keras深度学习框架和Python编程语言搭建如图4所示的特征通道注意力卷积神经网络模型；

步骤S404，开始训练网络模型。需要注意的是，训练中，可以设定初始学习率为，训练批大小为3，使用Adam优化器进行反向传播迭代优化。训练时的损失函数由网络输出图像

与真值图像(Y)之间的均方误差(Mean square error，简写为MSE)和结构相似度(Structural similarity，简写为SSIM)两部分组成，用公式(4)可以表示为：

其中，λ为结构相似度损失的权重。

步骤405，如图5所示，将多种细胞器叠加的超分辨率图像分别输入对应不同细胞器的卷积神经网络模型，即可输出多张对应的单细胞器超分辨率图像，即多色超分辨率图像，图5是根据本发明实施例提供的基于单输入、单输出特征通道注意力卷积神经网络模型输出的示意图。

实施例2

在本实施例中，基于单输入、多输出特征通道注意力卷积神经网络模型，对多细胞器叠加图像进行多通道(多色)预测的流程，具体可分为以下几个步骤实施：

步骤501，下载公开数据集BioSR，并将所下载数据集分成三个部分：训练集、验证集和测试集；

步骤502，类似实施例1的步骤402，对显微图像数据集进行预处理和数据扩增，产生20,000对多种细胞器叠加(尺寸为128×128)-对应区域单个细胞器(尺寸为128×128)的灰度图像对用于网络训练和验证；

步骤503，使用基于Tensorflow的Keras深度学习框架和Python编程语言，在图4所示的网络基础上，搭建如图6所示的特征通道注意力卷积神经网络模型，图6是根据本发明实施例提供的一种基于单输入、单输出特征通道注意力卷积神经网络模型示意图；

步骤504，开始训练网络模型。在本实施例中，只需训练一个网络模型，该网络模型可同时输出多种对应不同生物结构的超分辨率图像。训练中，可以设定初始学习率为1×10^-4，训练批大小为3，使用Adam优化器进行反向传播迭代优化。训练时的损失函数由网络输出图像

与真值图像(y)之间的均方误差(Mean square error，简写为MSE)和结构相似度(Structural similarity，简写为SSIM),以及网络输入图像(x)与各输出细胞器叠加图像

四部分组成，用公式(5)可以表示为：

其中，λ，μ和α用于调整各项权重。

步骤505，如图7所示，将多种细胞器叠加的超分辨率图像输入训练完成的三输出特征通道注意力卷积神经网络模型，即可输出对应的三张单细胞器预测超分辨率图像，图7是根据本发明实施例提供的基于单输入、多输出特征通道注意力卷积神经网络模型输出的示意图。

实施例3

在本实施例中，基于多个时间点输入、多输出特征通道注意力卷积神经网络模型，对多细胞器叠加图像进行多通道(多色)预测的流程，具体可分为以下几个步骤实施：

步骤S601，利用光学显微系统拍摄具有多个连续时间点的数据集，并将所下载数据集分成三个部分：训练集、验证集和测试集；

步骤602，类似实施例1的步骤402，对显微图像数据集进行预处理和数据扩增，产生20,000对多种细胞器叠加(尺寸为128×128×t)-对应单个细胞器真值(尺寸为128×128)的灰度图像对用于网络训练和验证，其中t代表每次输入到神经网络中的时间点个数，真值对应的时间点为t个时间点中最中间的那一个；

步骤603，类似实施例1的步骤403，使用基于Tensorflow的Keras深度学习框架和Python编程语言搭建，如图6所示的特征通道注意力卷积神经网络模型；

步骤604，类似实施例1的步骤404，训练所搭建的特征通道注意力卷积神经网络，特别地，在本实施例中，神经网络的输入为3通道数据，即三个连续时间点的多细胞器叠加超分辨率图像，而输出亦为3通道数据，即三张对应区域的单细胞器超分辨率预测图像，这三张单细胞器超分辨预测图像对应输入的3个时间点中最中间的时间；

步骤605，如图8所示，将三个连续时间点的多细胞器叠加超分辨率图像作为三通道输入卷积神经网络模型，即可输出对应的三张单细胞器预测超分辨率图像(对应输入图像中最中间的时间点)，图8是根据本发明实施例提供的基于多输入、多输出特征通道注意力卷积神经网络模型输出的示意图。

本发明仅列举以上述实施例进行说明，训练神经网络所使用的训练集、特征通道注意力卷积神经网络的超参数、输入和输出图像通道数等都是可以变化的，本发明也有很多潜在的、未举例说明的应用场景。在本发明技术方案的基础上，凡根据本发明原理对神经网络训练方法或策略进行细节调整的，均不应排除在本发明的保护范围之外。

基于上文各个实施例提供的超分辨率图像的处理方法，基于同一发明构思，在本实施例中还提供了一种超分辨率图像的处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图9是根据本发明实施例提供的一种超分辨率图像的处理装置的结构框图，如图9所示，该装置包括：第一获取模块90，用于获取含有多种生物结构的超分辨率图像；学习模块92，连接至上述第一获取模块90，用于通过将超分辨率图像输入预设卷积神经网络进行特征提取，输出与超分辨率图像对应的多色超分辨率图像；其中，预设卷积神经网络为利用不同生物结构的超分辨图像数据集训练得到的多通道卷积神经网络。

可选的，上述装置还包括：第二获取模块，用于在通过将超分辨率图像输入预设卷积神经网络进行特征提取，输出与超分辨率图像对应的多色超分辨率图像之前，获取不同生物结构的超分辨率图像数据集；叠加模块，用于通过对不同生物结构的超分辨率图像进行图像叠加，得到由叠加后的超分辨率图像与未叠加的图像构成的数据集；训练模块，用于通过将叠加后的超分辨率图像输入由基于注意力机制、激活函数以及残差网络搭建的卷积神经网络模型中，并以未进行图像叠加的超分辨率图像作为真值进行训练，生成预设卷积神经网络。

可选的，上述装置还包括：计算模块，用于在输出与超分辨率图像对应的多色超分辨率图像之后，计算不同生物结构的超分辨率图像数据集中未进行图像叠加的真值图像与预设卷积神经网络输出的多色超分辨率图像之间的均方误差以及结构相似度；构建模块，用于利用均方误差、结构相似度和结构相似度损失的权重构建预设卷积神经网络的损失函数。

可选的，预设卷积神经网络包括浅层特征提取子网络、深层特征提取子网络和输出子网络，学习模块92包括：第一提取单元，用于将超分辨率图像输入浅层特征提取子网络，由浅层特征提取子网络学习特征后，将提取到的浅层特征输入深层特征提取子网络；第二提取单元，用于通过深层特征提取子网络中预设个顺次相连的残差模块学习特征后，提取浅层特征对应的深层特征，并输入输出子网络；融合单元，用于通过输出子网络对深层特征进行特征融合，得到并输出超分辨率图像对应的多色超分辨率图像。

可选的，残差模块包括多个顺次相连的特征通道注意力卷积模块，特征通道注意力卷积模块包括特征提取子模块、特征通道注意力子模块和残差输出模块；第二提取单元包括：提取子单元，用于选定预设个残差模块中任一残差模块作为目标残差模块，选定目标残差模块中多个特征通道注意力卷积模块中的任一特征通道注意力卷积模块作为目标特征通道注意力卷积模块，对目标特征通道注意力卷积模块的输入进行特征提取，由目标特征通道注意力卷积模块中的特征提取子模块提取出目标特征通道注意力卷积模块的输入对应的第一特征，并将第一特征输入目标特征通道注意力卷积模块中的特征通道注意力卷积子模块；生成子单元，用于通过目标特征通道注意力卷积模块中的特征通道注意力卷积子模块进行特征提取，生成第二特征；将第二特征与目标特征通道注意力卷积模块的输入进行特征融合，得到第三特征，并由目标特征通道注意力卷积模块中的残差输出模块输出；第一学习子单元，用于将目标特征通道注意力卷积模块中残差输出模块的输出作为下一个特征通道注意力卷积模块的输入，由下一个特征通道注意力卷积模块进行特征提取；第二学习子单元，用于在顺次经过所有特征通道注意力卷积模块特征提取后，将最后一个特征通道注意力卷积模块中残差输出模块的输出作为下一个残差模块的输入，由下一个残差模块进行特征提取；输出子单元，用于在顺次经过所有残差模块特征提取后，将最后一个残差模块的输出作为深层特征，并输入至输出子网络。

可选的，特征通道注意力卷积子模块包括卷积-激活单元、池化单元和自适应加权单元，生成子单元用于：将第一特征输入卷积-激活单元，经过卷积-激活单元卷积激活后提取第一特征对应的通道特征，并输入至池化单元；通过池化单元对通道特征进行全局平均池化，得到与预设特征通道个数等同的多个通道特征参数，并输入自适应加权单元；通过自适应加权单元对多个通道特征参数进行加权，得到加权后的通道特征，将加权后的通道特征作为第二特征。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

基于上文各个实施例提供的超分辨率图像的处理方法，基于同一发明构思，在本实施例中还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，获取含有多种生物结构的超分辨率图像；

S2，通过将所述超分辨率图像输入预设卷积神经网络进行特征提取，输出与所述超分辨率图像对应的多色超分辨率图像；其中，所述预设卷积神经网络为利用不同生物结构的超分辨图像数据集训练得到的多通道卷积神经网络。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

基于上述图2所示方法和图9所示装置的实施例，为了实现上述目的，本发明实施例还提供了一种电子设备，如图10所示，包括存储器1002和处理器1001，其中存储器1002和处理器1001均设置在总线1003上存储器1002存储有计算机程序，处理器1001执行计算机程序时实现图2所示的超分辨率图像的处理方法。

基于这样的理解，本发明的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个存储器(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施场景所述的方法。

可选地，该设备还可以连接用户接口、网络接口、摄像头、射频(Radio Frequency，RF)电路，传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等，可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如蓝牙接口、WI-FI接口)等。

本领域技术人员可以理解，本实施例提供的一种电子设备的结构并不构成对该实体设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种超分辨率图像的处理方法，其特征在于，包括：

获取含有多种生物结构的超分辨率图像；

通过将所述超分辨率图像输入预设卷积神经网络进行特征提取，输出与所述超分辨率图像对应的多色超分辨率图像；

其中，所述预设卷积神经网络为利用不同生物结构的超分辨图像数据集训练得到的多通道卷积神经网络。

2.根据权利要求1所述的方法，其特征在于，在通过将所述超分辨率图像输入预设卷积神经网络进行特征提取，输出与所述超分辨率图像对应的多色超分辨率图像之前，所述方法还包括：

获取不同生物结构的超分辨率图像数据集；

通过对不同生物结构的超分辨率图像进行图像叠加，得到由叠加后的超分辨率图像与未叠加的图像构成的数据集；

通过将叠加后的超分辨率图像输入由基于注意力机制、激活函数以及残差网络搭建的卷积神经网络模型中，并以未进行图像叠加的超分辨率图像作为真值进行训练，生成所述预设卷积神经网络。

3.根据权利要求2所述的方法，其特征在于，在输出与所述超分辨率图像对应的多色超分辨率图像之后，所述方法还包括：

计算不同生物结构的超分辨率图像数据集中未进行图像叠加的真值图像与所述预设卷积神经网络输出的多色超分辨率图像之间的均方误差以及结构相似度；

利用所述均方误差、所述结构相似度和结构相似度损失的权重构建所述预设卷积神经网络的损失函数。

4.根据权利要求1所述的方法，其特征在于，所述预设卷积神经网络包括浅层特征提取子网络、深层特征提取子网络和输出子网络，所述通过将所述超分辨率图像输入预设卷积神经网络进行特征提取输出与所述超分辨率图像对应的多色超分辨率图像包括：

将所述超分辨率图像输入所述浅层特征提取子网络，由所述浅层特征提取子网络提取特征后，将提取到的浅层特征输入所述深层特征提取子网络；

通过所述深层特征提取子网络中预设个顺次相连的残差模块学习特征后，提取所述浅层特征对应的深层特征，并输入所述输出子网络；

通过所述输出子网络对所述深层特征进行特征融合，得到并输出所述超分辨率图像对应的多色超分辨率图像。

5.根据权利要求4所述的方法，其特征在于，所述残差模块包括多个顺次相连的特征通道注意力卷积模块，所述特征通道注意力卷积模块包括特征提取子模块、特征通道注意力子模块和残差输出模块；

所述通过所述深层特征提取子网络中预设个顺次相连的残差模块学习特征后，提取所述浅层特征对应的深层特征并输入所述输出子网络包括：

选定预设个残差模块中任一残差模块作为目标残差模块，选定所述目标残差模块中多个特征通道注意力卷积模块中的任一特征通道注意力卷积模块作为目标特征通道注意力卷积模块，对所述目标特征通道注意力卷积模块的输入进行特征提取，由所述目标特征通道注意力卷积模块中的特征提取子模块提取出所述目标特征通道注意力卷积模块的输入对应的第一特征，并将所述第一特征输入所述目标特征通道注意力卷积模块中的特征通道注意力卷积子模块；

通过所述目标特征通道注意力卷积模块中的特征通道注意力卷积子模块进行特征提取，生成第二特征；将所述第二特征与所述目标特征通道注意力卷积模块的输入进行特征融合，得到第三特征，并由所述目标特征通道注意力卷积模块中的残差输出模块输出；

将所述目标特征通道注意力卷积模块中残差输出模块的输出作为下一个特征通道注意力卷积模块的输入，由所述下一个特征通道注意力卷积模块进行特征提取；

在顺次经过所有特征通道注意力卷积模块特征提取后，将最后一个特征通道注意力卷积模块中残差输出模块的输出作为下一个残差模块的输入，由所述下一个残差模块进行特征提取；

在顺次经过所有残差模块特征提取后，将最后一个残差模块的输出作为所述深层特征，并输入至所述输出子网络。

6.根据权利要求5所述的方法，其特征在于，所述特征通道注意力卷积子模块包括卷积-激活单元、池化单元和自适应加权单元，所述通过所述目标特征通道注意力卷积模块中的特征通道注意力卷积子模块进行特征提取生成第二特征包括：

将所述第一特征输入所述卷积-激活单元，经过所述卷积-激活单元卷积激活后提取所述第一特征对应的通道特征，并输入至所述池化单元；

通过所述池化单元对所述通道特征进行全局平均池化，得到与预设特征通道个数等同的多个通道特征参数，并输入所述自适应加权单元；

通过所述自适应加权单元对所述多个通道特征参数进行加权，得到加权后的通道特征，将所述加权后的通道特征作为所述第二特征。

7.一种超分辨率图像的处理装置，其特征在于，包括：

第一获取模块，用于获取含有多种生物结构的超分辨率图像；

提取模块，用于通过将所述超分辨率图像输入预设卷积神经网络进行特征提取，输出与所述超分辨率图像对应的多色超分辨率图像；

其中，所述预设卷积神经网络为利用不同生物结构的超分辨图像数据集训练得到的多通道卷积神经网络。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

第二获取模块，用于在通过将所述超分辨率图像输入预设卷积神经网络进行特征提取，输出与所述超分辨率图像对应的多色超分辨率图像之前，获取不同生物结构的超分辨率图像数据集；

叠加模块，用于通过对不同生物结构的超分辨率图像进行图像叠加，得到由叠加后的超分辨率图像与未叠加的图像构成的数据集；

训练模块，用于通过将叠加后的超分辨率图像输入由基于注意力机制、激活函数以及残差网络搭建的卷积神经网络模型中，并以未进行图像叠加的超分辨率图像作为真值进行训练，生成所述预设卷积神经网络。

9.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。

10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

Images