CN116630313B - 一种荧光成像检测系统及其方法 - Google Patents

Abstract

本申请涉及荧光成像检测技术领域，其具体地公开了一种荧光成像检测系统及其方法，其首先获取靶标分子的荧光检测图像；然后对所述荧光检测图像进行图像分析以得到荧光检测特征；接着，基于所述荧光检测特征，生成优化荧光检测图像；最后，对所述优化荧光检测图像进行图像语义分割以得到靶标分子的数量统计值。这样，其能够有效地对于靶标分子的荧光检测图像进行优化，从而更准确地检测出靶标分子的数量统计值，优化了靶标分子检测的准确性和灵敏度。

Description

一种荧光成像检测系统及其方法

技术领域

本申请涉及荧光成像检测技术领域，且更为具体地，涉及一种荧光成像检测系统及其方法。

背景技术

单分子检测技术是近年来迅速发展起来的一种高灵敏度检测技术，与其他的分子检测技术相比，这种方式具有速度更快，灵敏度更高、对样本量需求少等优势，对于临床诊断具有深远的应用价值。

然而，传统荧光成像系统的灵敏度易受到光源强度和探测器性能的限制，导致在低浓度的目标分子存在时，检测的信号强度较弱，可能无法准确检测到目标分子的存在。并且，荧光成像系统的分辨率取决于光学系统的性能。传统系统的分辨率有限，可能无法解析非常接近的目标分子或细胞结构。不仅如此，传统的荧光成像系统需要依靠PCR信号扩增技术来进行常见靶标分子的检测，降低了检测的灵敏度。

因此，期望一种优化的荧光成像检测系统。

发明内容

本申请提供一种荧光成像检测系统及其方法，能够有效地对于靶标分子的荧光检测图像进行优化，从而更准确地检测出靶标分子的数量统计值，优化了靶标分子检测的准确性和灵敏度。

第一方面，提供了一种荧光成像检测系统，所述系统包括：荧光检测图像采集模块，用于获取靶标分子的荧光检测图像；荧光图像分析模块，用于对所述荧光检测图像进行图像分析以得到荧光检测特征；图像优化模块，用于基于所述荧光检测特征，生成优化荧光检测图像；以及，靶标分子数据统计模块，用于对所述优化荧光检测图像进行图像语义分割以得到靶标分子的数量统计值。

第二方面，提供了一种荧光成像检测方法，所述方法包括：荧光检测图像采集模块，用于获取靶标分子的荧光检测图像；荧光图像分析模块，用于对所述荧光检测图像进行图像分析以得到荧光检测特征；图像优化模块，用于基于所述荧光检测特征，生成优化荧光检测图像；以及，靶标分子数据统计模块，用于对所述优化荧光检测图像进行图像语义分割以得到靶标分子的数量统计值。

本申请提供的一种荧光成像检测系统及其方法，能够有效地对于靶标分子的荧光检测图像进行优化，从而更准确地检测出靶标分子的数量统计值，优化了靶标分子检测的准确性和灵敏度。

附图说明

图1为本申请实施例的荧光成像检测系统的示意性框图。

图2为本申请实施例的荧光成像检测系统中荧光图像分析模块的示意性框图。

图3为本申请实施例的荧光成像检测系统中图像特征显化单元的示意性框图。

图4为本申请实施例的荧光成像检测方法的示意性流程图。

图5为本申请实施例的荧光成像检测方法的模型架构的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

如上所述，传统的荧光成像系统需要依靠PCR信号扩增技术来进行常见靶标分子的检测，降低了检测的灵敏度。针对上述技术问题，本申请的技术构思为通过使用光点TM荧光材料来进行抗体染色，以提高亮度、稳定性和均一性，这意味着只需要普通的荧光显微镜系统就可以实现单分子荧光计数，从设备成本和检测时间成本上都具有显著的优势。这样，就能够利用单颗粒光学技术直接对抗体进行计数来实现单分子绝对定量检测。此外，还通过设计好的引物与目标片段的分子杂交进行分子捕获，再通过单颗粒光学技术进行单分子信号计数，以实现对于靶标分子的无扩增检测，这样，摆脱了PCR这个信号扩增的步骤，保证了较高的检测灵敏度。

图1为本申请实施例的荧光成像检测系统的示意性框图。如图1所示，荧光成像检测系统100，包括：

荧光检测图像采集模块110，用于获取靶标分子的荧光检测图像。应可以理解，考虑到在实际进行靶标分子的荧光成像检测时，关键在于对于荧光检测图像中有关于靶标分子的数量统计值进行评估。因此，在本申请的技术方案中，在通过荧光显微镜采集靶标分子的荧光检测图像后，在后端引入图像处理和分析算法来进行所述靶标分子的荧光检测图像的分析，以进行该荧光检测图像的优化，从而更准确地对于靶标分子的数量统计值进行检测，优化了靶标分子检测的准确性和灵敏度。这里，对于本领域技术人员应当知道，靶标分子是指在生物学或化学研究中，被用作研究对象的分子。它可以是蛋白质、核酸、细胞器或其他生物分子。在药物研发领域，靶标分子通常是与疾病相关的蛋白质，通过与这些蛋白质相互作用，药物可以调节其功能，从而治疗疾病。研究靶标分子的结构、功能和相互作用对于药物发现和治疗策略的设计非常重要。荧光检测是一种常用的方法，用于在细胞或生物样本中标记和检测靶标分子。荧光检测是一种使用荧光标记物来检测和定量分析样品中特定分子的方法。在荧光检测中，目标分子通常会被标记上荧光染料或荧光蛋白，使其能够发出可见光范围内的荧光信号荧光检测的原理是，通过激发样品中的荧光标记物，使其吸收能量并从基态跃迁到激发态。随后，荧光标记物会自发地从激发态返回到基态，并释放出能量，产生荧光信号。这个荧光信号可以通过荧光显微镜或荧光光谱仪来检测和记录。它可以用于检测和定量分析细胞中的特定蛋白质、核酸或其他生物分子，研究它们的定位、表达水平、相互作用等。荧光检测还可以应用于药物筛选、疾病诊断和生物传感器等领域。

荧光图像分析模块120，用于对所述荧光检测图像进行图像分析以得到荧光检测特征。应可以理解，考虑到仅仅得到靶标分子的数量统计值可能无法提供足够的信息来进行定量分析。并且，荧光检测图像中的分子往往会有重叠或接触的情况，直接进行图像语义分割可能无法准确地区分不同的分子。而图像分析可以提取更多的荧光检测特征，例如形状特征、纹理特征、空间分布特征等。这些特征可以进一步用于后续荧光检测图像优化。

可选地，在本申请实施例的一子实施例中，图2为本申请实施例的荧光成像检测系统中荧光图像分析模块的示意性框图。所述荧光图像分析模块120，包括：

图片缩放单元121，用于对所述荧光检测图像进行自适应图片缩放以得到缩放后荧光检测图像。应可以理解，考虑到由于所述荧光检测图像在采集的过程中，可能会具有不同的分辨率和大小，并且在实际进行靶标分子的荧光检测以进行靶标分子的数量统计时，常常需要比较不同样本或实验条件下的荧光检测图像。如果图像具有不同的大小和分辨率，直接进行比较可能会引入误差。因此，在本申请的技术方案中，在特征提取前需要对所述荧光检测图像进行自适应图片缩放以得到缩放后荧光检测图像。应可以理解，自适应图片缩放技术可以通过添加少量的黑边来改变图像的纵横比以达到标准大小，从而加快网络的推理速度。这样，能够在不改变图像内容的情况下，将所述荧光检测图像缩放到网络所需的大小，从而减少了网络的计算量和内存占用。并且，通过自适应图片缩放技术，可以将图像统一到相同的大小和分辨率，方便进行更加准确的比较和分析。

可选地，在该子实施例的一孙实施例中，对所述荧光检测图像进行等比例缩放以得到缩放后荧光检测图像。应可以理解，等比例缩放是最简单的自适应缩放技术，通过保持图像的宽高比来调整图像尺寸。图像会根据显示设备的尺寸等比例地缩放，以适应不同大小的屏幕。

可选地，在该子实施例的另一孙实施例中，对所述荧光检测图像进行响应式设计以得到缩放后荧光检测图像。应可以理解，响应式设计是一种基于CSS媒体查询和弹性布局的技术，可以根据屏幕尺寸和分辨率调整图像大小。通过使用不同的CSS样式和布局规则，可以在不同设备上呈现不同大小的图像。

可选地，在该子实施例的另一孙实施例中，对所述荧光检测图像进行自适应图像加载以得到缩放后荧光检测图像。应可以理解，自适应图像加载使用JavaScript或其他前端脚本来根据设备和网络条件加载适合的图像版本。例如，可以根据屏幕尺寸和带宽选择加载高分辨率或低分辨率的图像。

可选地，在该子实施例的另一孙实施例中，对所述荧光检测图像进行矢量图形缩放以得到缩放后荧光检测图像。应可以理解，使用矢量图形格式（如SVG）可以实现无损缩放，因为矢量图形是基于数学公式描述的，可以无限放大或缩小而不失真。

图像特征提取单元122，用于通过基于深度神经网络模型的荧光检测图像特征提取器对所述缩放后荧光检测图像进行图像特征提取以得到荧光检测特征图。应可以理解，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来进行所述缩放后荧光检测图像的特征挖掘，特别地，考虑到MBCNet模型是一种用于图像分割的深度卷积神经网络，主要解决多次卷积和上采样造成边界信息丢失的问题。该网络采用了多尺度融合的边界特征提取分支，能够提高图像分割的精度。因此，在本申请的技术方案中，进一步将所述缩放后荧光检测图像通过包含主干网络和边界特征提取分支的MBCNet模型以得到荧光检测特征图。值得一提的是，这里，所述MBCNet模型包含两个分支，一个是主干网络，另一个是边界特征提取分支。所述主干网络用于提取所述缩放后荧光检测图像中有关于靶标分子的全局特征分布信息，而边界特征提取分支则用于提取所述缩放后荧光检测图像中有关于靶标分子的边界特征信息，以此来更为精准地进行靶标分子的数量统计。

可选地，在该子实施例的一孙实施例中，所述图像特征提取单元，包括：使用所述基于深度神经网络模型的荧光检测图像特征提取器以如下公式对所述缩放后荧光检测图像进行图像特征提取以得到所述荧光检测特征图；

其中，所述公式为：

其中，表示卷积层，/>表示池化层，/>表示全连接层，/>表示当前层的第/>个特征图在位置/>处的神经元值，/>是第/>个特征图对应的权重，/>表示当前卷积层的输入，表示矩阵相乘，/>是与卷积核见过卷积运算后的特征图在位置/>处的神经元值，/>是第/>个特征图对应的偏置，/>表示最大值函数，/>是/>个特征图在位置/>处的神经元值，/>表示全连接层输出的第/>个神经元的值，/>是全连接层第/>个神经元对应的权重，/>表示矩阵的转置，/>是当前全连接层的输入，/>是第/>个神经元对应的偏置，/>为激活函数，其形式为/>，其中，/>表示函数变量。应当可以理解，/>函数是一种常用的激活函数，用于神经网络中的每个神经元的输出。其主要特点是简单且易于计算，它将负数的输出值设为0，而正数的输出值保持不变。这种非线性的激活函数能够引入非线性特性，使神经网络能够学习复杂的非线性关系。相比于传统的激活函数（如sigmoid和tanh），ReLU函数在训练过程中更不容易出现梯度消失的问题，有助于加速神经网络的训练。ReLU函数的另一个优点是它不会对正数进行缩放，因此可以更好地保留输入数据的原始范围和分布。这对于一些需要保持输入数据的绝对值大小的任务（如图像处理）非常重要。

可选地，在该子实施例的一孙实施例中，MBCNet的特征提取阶段包含4个卷积层：C1、C3、C5、C7；其中C1层包含12个卷积核，C3层16个卷积核，C5层22个卷积核，C7层50个卷积核，C1层和C3层的卷积核窗口大小均为5×5，而C5层和C7层的卷积核窗口大小为3×3,所有卷积核窗口的滑动步长均取为1，除卷积层外,本阶段剩下的网络层均为池化层，分别为P2、P4、P6。池化层使用的池化函数为最大池化,即在上一层特征图中的小邻域内取值最大的神经元作为该层的神经元, 池化窗口大小为2×2，滑动步长为2。为了防止过拟合,利用Dropout技术从P2-C3、P4-C5、P6-C7的连接中分别随机选择25%的权重和偏置不参与运算。这里，对于本领域技术人员应当可以了解，Dropout技术是一种用于深度神经网络的正则化方法。在训练过程中，Dropout会随机地将一些神经元的输出置为零，以防止过拟合现象的发生。具体而言，Dropout会在每次训练迭代中随机选择一部分神经元，并将它们的输出值设置为零。这样做的效果是，每个神经元都不能依赖于其他特定的神经元，因此强迫网络中的神经元发展出更加鲁棒的特征表示。通过使用Dropout技术，神经网络可以在训练过程中变得更加健壮和泛化能力更强。它可以减少过拟合，提高模型的泛化能力，从而在测试数据上表现更好。此外，Dropout还可以防止网络对特定输入特征的过度依赖，促使网络学习到更多的特征组合，提高模型的鲁棒性。

图像特征显化单元123，用于对所述荧光检测特征图进行梯度加权激活映射以得到显化荧光检测特征图作为所述荧光检测特征。应可以理解，在进行所述靶标分子的荧光检测图像的特征提取以进行靶标分子的数量统计时，为了能够更加准确地对于靶标分子的数量机进行有效统计，在本申请的技术方案中，进一步对所述荧光检测特征图进行梯度加权激活映射以得到显化荧光检测特征图。这样，能够通过梯度加权激活映射来进一步增强所述荧光检测特征图。应可以理解，所述梯度加权激活映射技术是一种可视化方法，通过分析卷积神经网络的激活图和梯度信息，将模型对于特定类别的关注区域可视化出来。通过对所述荧光检测特征图进行梯度加权激活映射处理，可以强化特征图中靶标分子所在的相关区域，使其更加突出和明显。这样，能够使得不均匀分布区域中的所述靶标分子更容易被检测到，从而提高对于所述靶标分子的数量统计的精准度。

可选地，在该子实施例的一孙实施例中，图3为本申请实施例的荧光成像检测系统中图像特征显化单元的示意性框图。如图3所示，所述图像特征显化单元123，包括：梯度计算子单元1231，用于计算所述荧光检测特征图中各个特征值的梯度以得到多个梯度值；激活子单元1232，用于使用ReLU函数分别对所述多个梯度值进行激活以得到多个激活后梯度值；归一化子单元1233，用于对所述多个激活后梯度值进行归一化处理以得到多个归一化后梯度值；梯度加权子单元1234，用于将所述多个归一化后梯度值与所述荧光检测特征图中对应位置特征值进行点乘以得到多个加权后梯度值；以及，特征显化子单元1235，用于将所述多个加权后梯度值与所述荧光检测特征图中对应特征值进行逐位置相乘以得到所述显化荧光检测特征图。

图像特征优化单元124，用于对所述显化荧光检测特征图的沿通道维度的每个特征矩阵进行通道维度遍历流形式凸优化以得到优化后显化荧光检测特征图作为所述荧光检测特征。应可以理解，在本申请的技术方案中，将所述缩放后荧光检测图像通过包含主干网络和边界特征提取分支的MBCNet模型时，得到的所述荧光检测特征图的各个特征矩阵会表达荧光检测图像的主干图像语义特征和边缘图像语义特征，而在进行梯度加权激活映射后，可以进一步强化各个特征矩阵内及特征矩阵之间的区域边缘梯度效果，从而强化了各个特征矩阵内的主特征分布。但是，这也会导致所述显化荧光检测特征图的各个特征矩阵之间存在较大的特征分布差异，使得其整体流形几何连续性差，影响其通过基于解码器的生成器的生成效果。因此，本申请的申请人对所述显化荧光检测特征图的沿通道维度的每个特征矩阵，例如记为，进行通道维度遍历流形式凸优化。

所述图像特征优化单元，包括：以如下优化公式对所述显化荧光检测特征图的沿通道维度的每个特征矩阵进行通道维度遍历流形式凸优化以得到优化后显化荧光检测特征图作为所述荧光检测特征；

其中，所述优化公式为：

其中，表示所述显化荧光检测特征图，/>表示对特征图进行全局均值池化，和/>分别为基于所述显化荧光检测特征图的各个特征矩阵的全局均值组成的全局均值池化向量通过线性变换得到的列向量和行向量，/>表示矩阵的谱范数，即/>的最大本征值的平方根，/>表示矩阵地转置，/>表示所述显化荧光检测特征图的第/>个特征矩阵，/>表示矩阵相乘，/>表示矩阵的按位置点乘，且/>为所述优化后显化荧光检测特征图的第/>个特征矩阵。

这里，所述显化荧光检测特征图的通道维度遍历流形式凸优化通过结构化调制的特征矩阵的最大分布稠密性方向来确定所述显化荧光检测特征图的各个特征矩阵的流形的基维度，并沿所述显化荧光检测特征图的通道方向对特征矩阵流形进行遍历，以通过沿通道方向堆叠遍历流形的基维度来约束每个特征矩阵所表示的遍历流形的凸优化连续性，从而实现由优化后的特征矩阵/>的遍历流形组成的所述显化荧光检测特征图的高维特征流形的几何连续性，从而改善所述显化荧光检测特征图通过基于解码器的生成器的生成效果。

图像优化模块130，用于基于所述荧光检测特征，生成优化荧光检测图像。应可以理解，进一步地，将优化后显化荧光检测特征图通过基于解码器的生成器以得到优化荧光检测图像，也就是说，在进行所述靶标分子的荧光检测图像中有关于靶标分子的特征分布信息提取后，进一步对该荧光检测图像进行优化，从而有利于提高对于靶标分子的数量统计精度。

可选地，在本申请实施例的一子实施例中，所述图像优化模块，用于：将优化后显化荧光检测特征图通过基于解码器的生成器以得到所述优化荧光检测图像。这里，解码器是一种用于将编码后的信息转换回原始形式的设备或算法。在计算机科学和信息技术领域，解码器通常用于将经过编码的数据重新还原为其原始格式，以便进行进一步处理或显示。在机器学习和深度学习中，解码器是一种网络结构，用于从编码得到地低维表示中恢复高维原始数据。

可选地，在该子实施例的一孙实施例中，将优化后显化荧光检测特征图通过基于解码器的生成器以得到所述优化荧光检测图像，包括：所述解码器可以是反卷积解码器（Deconvolution Decoder）。应可以理解，反卷积解码器是一种常用的解码器类型，用于将编码后的低维特征图还原为原始图像。它通过使用反卷积层（也称为转置卷积层）来将特征图的尺寸逐渐放大，同时恢复图像的细节和结构。具体地，反卷积解码器通常与卷积神经网络（CNN）结构相对应，用于图像生成和语义分割等任务。在卷积神经网络中，卷积层用于提取特征并减小输入数据的空间维度。反卷积解码器则相反，它通过反卷积操作将低维表示转换为高维数据。反卷积操作可以看作是卷积的逆过程，它在输出上进行滑动窗口操作，并使用可学习的权重进行填充和扩展，以逐步恢复原始数据的空间维度。反卷积解码器通常由多个反卷积层和激活函数组成。每个反卷积层都会将输入的低维表示映射回更高维的特征空间，并且逐渐恢复原始数据的细节和结构。激活函数通常用于引入非线性，增加模型的表达能力。

可选地，在该子实施例的一孙实施例中，将优化后显化荧光检测特征图通过基于解码器的生成器以得到所述优化荧光检测图像，包括：所述解码器可以是注意力解码器（Attention Decoder）。应可以理解，在传统的解码器中，通常使用固定权重来对输入序列的不同部分进行加权求和，以生成输出。而注意力解码器通过引入注意力机制，动态地计算每个输入部分的权重，以便更加准确地对输入序列进行建模。注意力解码器的核心思想是，根据当前解码器的状态和输入序列的不同部分之间的关系，计算每个输入部分的注意力权重。这些权重可以看作是解码器对输入序列中不同部分的关注程度。然后，根据这些权重对输入序列进行加权求和，以生成最终的输出。注意力解码器通常由多个注意力层和激活函数组成。每个注意力层都会计算输入序列中每个部分的注意力权重，并将这些权重应用于输入序列，以生成加权和的表示。激活函数通常用于引入非线性，增加模型的表达能力。

靶标分子数据统计模块140，用于对所述优化荧光检测图像进行图像语义分割以得到靶标分子的数量统计值。应可以理解，在得到优化后的所述荧光检测图像后，进一步对所述优化荧光检测图像进行图像语义分割，以此来将所述优化荧光检测图像中有关于多个靶标分子的数量进行统计，从而得到靶标分子的数量统计值。

值得一提的是，在本申请实施例的其他子实施例中，还可以通过其他方式对所述荧光检测图像进行图像分析以得到荧光检测特征，例如，对所述荧光检测图像进行预处理以得到预处理荧光检测图像，例如调整大小、裁剪、归一化等操作。应可以理解，通过预处理荧光检测图像，可以使得数据更易于处理和分析，同时减少不相关信息的干扰，提高后续任务的准确性和效率。具体地，荧光检测图像可能具有不同的尺寸，为了方便后续处理和分析，需要将它们调整为统一的大小。这可以避免由于尺寸不一致而导致的计算复杂性和内存消耗增加。有时候荧光检测图像中可能存在一些不相关的区域，例如背景或噪声。通过裁剪图像，可以去除这些不相关的区域，提高后续处理的准确性和效率。荧光检测图像的像素值范围可能不一致，归一化可以将像素值映射到一个统一的范围内，例如[0,1]或[-1,1]。这有助于提高模型的稳定性和收敛速度，同时减少特征之间的偏差。

使用ResNet对所述预处理荧光检测图像进行图像特征提取以得到预处理荧光检测特征图。这里，应当知晓，ResNet（Residual Network）又称残差神经网络，它通过引入残差连接（residual connection）来解决深层网络训练过程中的梯度消失和梯度爆炸问题，使得可以训练更深的网络。ResNet的核心思想是通过跳跃连接（skip connection）来实现残差学习。在传统的卷积神经网络中，信息通过层层传递，每一层都对输入进行变换。而在ResNet中，引入了跳跃连接，将输入直接添加到输出上，形成了一个残差块。这样可以使得网络在学习残差时更加容易，从而提高了网络的训练效果。ResNet的基本单元是残差块（residual block），其中包含了多个卷积层和批量归一化层。残差块可以堆叠在一起形成深层网络。此外，为了降低特征图的尺寸，ResNet还引入了池化层和步长卷积层。可以使用预训练的ResNet模型，如ResNet-50、ResNet-101等，作为特征提取器。通过在大规模图像数据集上进行预训练，ResNet模型可以学习到通用的图像特征表示，然后可以将这些特征用于其他图像相关任务，如图像分类、目标检测、图像分割等。

使用特征选择算法对所述预处理荧光检测特征图进行特征增强以得到增强预处理荧光检测特征图以作为荧光检测特征。应可以理解，通过特征选择算法对预处理的荧光检测特征图进行特征增强，可以提高模型的性能和效果，减少计算和存储资源的消耗，并帮助理解数据和模型的特征。具体地，预处理荧光检测特征图可能包含大量的特征，其中一些特征可能是冗余的或者对任务没有贡献。通过特征选择算法，可以选择最具有代表性和相关性的特征，从而降低特征的维度，减少计算复杂度和存储空间的消耗。特征选择算法可以帮助排除那些对任务不相关或者噪声较大的特征，从而提高模型的性能和泛化能力。通过选择最相关的特征，可以减少模型的过拟合风险，提高模型的准确性和稳定性。特征选择算法可以帮助理解数据中哪些特征对于任务的重要性较高。通过选择具有较高重要性的特征，可以更好地理解数据的特点和模型的决策过程，提高对数据的解释性和可解释性。

综上，本申请提供的一种荧光成像检测系统，能够有效地对于靶标分子的荧光检测图像进行优化，从而更准确地检测出靶标分子的数量统计值，优化了靶标分子检测的准确性和灵敏度。

图4为本申请实施例的荧光成像检测方法的示意性流程图。如图4所示，该方法包括：S110，获取靶标分子的荧光检测图像；S120，对所述荧光检测图像进行图像分析以得到荧光检测特征；S130，基于所述荧光检测特征，生成优化荧光检测图像；以及，S140，对所述优化荧光检测图像进行图像语义分割以得到靶标分子的数量统计值。

图5为本申请实施例的荧光成像检测方法的模型架构的示意图。如图5所示，所述模型架构的输入为靶标分子的荧光检测图像。其首先，对所述荧光检测图像进行自适应图片缩放以得到缩放后荧光检测图像。然后，将所述缩放后荧光检测图像通过基于深度神经网络模型的荧光检测图像特征提取器以得到荧光检测特征图。接着，对所述荧光检测特征图进行梯度加权激活映射以得到显化荧光检测特征图。再然后，对所述显化荧光检测特征图的沿通道维度的每个特征矩阵进行通道维度遍历流形式凸优化以得到优化后显化荧光检测特征图，并将所述优化后显化荧光检测特征图通过基于解码器的生成器以得到所述优化荧光检测图像。最后，对所述优化荧光检测图像进行图像语义分割以得到靶标分子的数量统计值。

这里，本领域技术人员可以理解，上述荧光成像检测方法中的各个步骤的具体操作已经在上面参考图1到图3的荧光成像检测系统的描述中得到了详细介绍，并因此，将省略其重复描述。

本发明实施例还提供一种芯片系统，芯片系统包括至少一个处理器，当程序指令在该至少一个处理器中执行时，使得本申请实施例提供的方法得以实现。

本发明实施例还提供一种计算机存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得，该计算机执行上述方法实施例的方法。

本发明实施例还提供一种包含指令的计算机程序产品，该指令被计算机执行时使得计算机执行上述方法实施例的方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其他任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

Claims (7)

1.一种荧光成像检测系统，其特征在于，包括：

荧光检测图像采集模块，用于获取靶标分子的荧光检测图像；

荧光图像分析模块，用于对所述荧光检测图像进行图像分析以得到荧光检测特征；

图像优化模块，用于基于所述荧光检测特征，生成优化荧光检测图像；以及

靶标分子数据统计模块，用于对所述优化荧光检测图像进行图像语义分割以得到靶标分子的数量统计值；

其中，所述荧光图像分析模块，包括：

图片缩放单元，用于对所述荧光检测图像进行自适应图片缩放以得到缩放后荧光检测图像；

图像特征提取单元，用于通过基于深度神经网络模型的荧光检测图像特征提取器对所述缩放后荧光检测图像进行图像特征提取以得到荧光检测特征图；

图像特征显化单元，用于对所述荧光检测特征图进行梯度加权激活映射以得到显化荧光检测特征图；以及

图像特征优化单元，用于对所述显化荧光检测特征图的沿通道维度的每个特征矩阵进行通道维度遍历流形式凸优化以得到优化后显化荧光检测特征图作为所述荧光检测特征；

其中，所述图像特征优化单元，包括：以如下优化公式对所述显化荧光检测特征图的沿通道维度的每个特征矩阵进行通道维度遍历流形式凸优化以得到优化后显化荧光检测特征图作为所述荧光检测特征；

其中，所述优化公式为：

其中，表示所述显化荧光检测特征图，/>表示对特征图进行全局均值池化，和/>分别为基于所述显化荧光检测特征图的各个特征矩阵的全局均值组成的全局均值池化向量通过线性变换得到的列向量和行向量，/>表示矩阵的谱范数，/>表示所述显化荧光检测特征图的第/>个特征矩阵，/>表示矩阵相乘，/>表示矩阵的按位置点乘，且/>为所述优化后显化荧光检测特征图的第/>个特征矩阵。

2.根据权利要求1所述的荧光成像检测系统，其特征在于，所述深度神经网络模型为包含主干网络和边界特征提取分支的MBCNet模型。

3.根据权利要求2所述的荧光成像检测系统，其特征在于，所述图像特征提取单元，包括：使用所述基于深度神经网络模型的荧光检测图像特征提取器以如下图像特征提取公式对所述缩放后荧光检测图像进行图像特征提取以得到所述荧光检测特征图；

其中，所述图像特征提取公式为：

其中，表示卷积层，/>表示池化层，/>表示全连接层，/>表示当前层的第/>个特征图在位置/>处的神经元值，/>是第/>个特征图对应的权重，/>表示当前卷积层的输入，/>表示矩阵相乘，/>是与卷积核见过卷积运算后的特征图在位置/>处的神经元值，/>是第/>个特征图对应的偏置，/>表示最大值函数，/>是/>个特征图在位置处的神经元值，/>表示全连接层输出的第/>个神经元的值，/>是全连接层第/>个神经元对应的权重，/>表示矩阵的转置，/>是当前全连接层的输入，/>是第/>个神经元对应的偏置，/>为激活函数。

4.根据权利要求3所述的荧光成像检测系统，其特征在于，所述图像特征显化单元，包括：

梯度计算子单元，用于计算所述荧光检测特征图中各个特征值的梯度以得到多个梯度值；

激活子单元，用于使用ReLU函数分别对所述多个梯度值进行激活以得到多个激活后梯度值；

归一化子单元，用于对所述多个激活后梯度值进行归一化处理以得到多个归一化后梯度值；

梯度加权子单元，用于将所述多个归一化后梯度值与所述荧光检测特征图中对应位置特征值进行点乘以得到多个加权后梯度值；

特征显化子单元，用于将所述多个加权后梯度值与所述荧光检测特征图中对应特征值进行逐位置相乘以得到所述显化荧光检测特征图。

5.根据权利要求4所述的荧光成像检测系统，其特征在于，所述图像优化模块，用于：将所述优化后显化荧光检测特征图通过基于解码器的生成器以得到所述优化荧光检测图像。

6.一种荧光成像检测方法，其特征在于，包括：

获取靶标分子的荧光检测图像；

对所述荧光检测图像进行图像分析以得到荧光检测特征；

基于所述荧光检测特征，生成优化荧光检测图像；以及

对所述优化荧光检测图像进行图像语义分割以得到靶标分子的数量统计值；

其中，对所述荧光检测图像进行图像分析以得到荧光检测特征，包括：

对所述荧光检测图像进行自适应图片缩放以得到缩放后荧光检测图像；

通过基于深度神经网络模型的荧光检测图像特征提取器对所述缩放后荧光检测图像进行图像特征提取以得到荧光检测特征图；以及

对所述荧光检测特征图进行梯度加权激活映射以得到显化荧光检测特征图；

对所述显化荧光检测特征图的沿通道维度的每个特征矩阵进行通道维度遍历流形式凸优化以得到优化后显化荧光检测特征图作为所述荧光检测特征；

其中，对所述显化荧光检测特征图的沿通道维度的每个特征矩阵进行通道维度遍历流形式凸优化以得到优化后显化荧光检测特征图作为所述荧光检测特征，包括：以如下优化公式对所述显化荧光检测特征图的沿通道维度的每个特征矩阵进行通道维度遍历流形式凸优化以得到优化后显化荧光检测特征图作为所述荧光检测特征；

其中，所述优化公式为：

其中，表示所述显化荧光检测特征图，/>表示对特征图进行全局均值池化，和/>分别为基于所述显化荧光检测特征图的各个特征矩阵的全局均值组成的全局均值池化向量通过线性变换得到的列向量和行向量，/>表示矩阵的谱范数，/>表示所述显化荧光检测特征图的第/>个特征矩阵，/>表示矩阵相乘，/>表示矩阵的按位置点乘，且/>为所述优化后显化荧光检测特征图的第/>个特征矩阵。

7.根据权利要求6所述的荧光成像检测方法，其特征在于，所述图像特征提取单元，包括：使用所述基于深度神经网络模型的荧光检测图像特征提取器以如下图像特征提取公式对所述缩放后荧光检测图像进行图像特征提取以得到所述荧光检测特征图；

其中，所述图像特征提取公式为：

其中，表示卷积层，/>表示池化层，/>表示全连接层，/>表示当前层的第/>个特征图在位置/>处的神经元值，/>是第/>个特征图对应的权重，/>表示当前卷积层的输入，/>表示矩阵相乘，/>是与卷积核见过卷积运算后的特征图在位置/>处的神经元值，/>是第/>个特征图对应的偏置，/>表示最大值函数，/>是/>个特征图在位置处的神经元值，/>表示全连接层输出的第/>个神经元的值，/>是全连接层第/>个神经元对应的权重，/>表示矩阵的转置，/>是当前全连接层的输入，/>是第/>个神经元对应的偏置，/>为激活函数。