CN117969479A - 一种基于深度学习的荧光寿命成像方法及相关设备 - Google Patents
一种基于深度学习的荧光寿命成像方法及相关设备 Download PDFInfo
- Publication number
- CN117969479A CN117969479A CN202410160521.7A CN202410160521A CN117969479A CN 117969479 A CN117969479 A CN 117969479A CN 202410160521 A CN202410160521 A CN 202410160521A CN 117969479 A CN117969479 A CN 117969479A
- Authority
- CN
- China
- Prior art keywords
- training
- model
- data
- module
- training data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 35
- 238000013135 deep learning Methods 0.000 title claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 150
- 230000007246 mechanism Effects 0.000 claims abstract description 22
- 238000004088 simulation Methods 0.000 claims description 21
- 238000012360 testing method Methods 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 10
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 9
- 238000002073 fluorescence micrograph Methods 0.000 claims description 9
- 230000009286 beneficial effect Effects 0.000 abstract description 10
- 238000001514 detection method Methods 0.000 abstract description 8
- 230000008447 perception Effects 0.000 abstract description 7
- 238000000034 method Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 8
- 238000001161 time-correlated single photon counting Methods 0.000 description 8
- 239000011324 bead Substances 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 210000004027 cell Anatomy 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- GNBHRKFJIUUOQI-UHFFFAOYSA-N fluorescein Chemical compound O1C(=O)C2=CC=CC=C2C21C1=CC=C(O)C=C1OC1=CC(O)=CC=C21 GNBHRKFJIUUOQI-UHFFFAOYSA-N 0.000 description 4
- 238000002292 fluorescence lifetime imaging microscopy Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- PYWVYCXTNDRMGF-UHFFFAOYSA-N rhodamine B Chemical compound [Cl-].C=12C=CC(=[N+](CC)CC)C=C2OC2=CC(N(CC)CC)=CC=C2C=1C1=CC=CC=C1C(O)=O PYWVYCXTNDRMGF-UHFFFAOYSA-N 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000012377 drug delivery Methods 0.000 description 1
- 238000007876 drug discovery Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003834 intracellular effect Effects 0.000 description 1
- 150000002500 ions Chemical class 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- XJCPMUIIBDVFDM-UHFFFAOYSA-M nile blue A Chemical compound [Cl-].C1=CC=C2C3=NC4=CC=C(N(CC)CC)C=C4[O+]=C3C=C(N)C2=C1 XJCPMUIIBDVFDM-UHFFFAOYSA-M 0.000 description 1
- 210000002826 placenta Anatomy 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- UNFWWIHTNXNPBV-WXKVUWSESA-N spectinomycin Chemical compound O([C@@H]1[C@@H](NC)[C@@H](O)[C@H]([C@@H]([C@H]1O1)O)NC)[C@]2(O)[C@H]1O[C@H](C)CC2=O UNFWWIHTNXNPBV-WXKVUWSESA-N 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 210000004895 subcellular structure Anatomy 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
Landscapes
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
本申请实施例属于荧光寿命成像技术领域，涉及一种基于深度学习的荧光寿命成像方法、装置、计算机设备及存储介质。本申请将图像每个像素的光子衰减直方图看做一个数据序列，一维卷积层可以使用相同的卷积核对整个输入进行滑动，这种参数共享有助于减少模型的参数数量，加快训练速度，降低过拟合的风险，并提高模型的泛化能力。同时，通道注意力机制可以动态地强调重要的通道，使得模型能够更加关注对荧光寿命检测更加重要的特定通道，有助于提高对于特定荧光信号的感知能力，并且通过调整权重，通道注意力机制有助于减少可能存在于荧光信号中的冗余信息，从而提高模型的鲁棒性和泛化性，使其可以适用于不同的样品和实验环境。
Description
技术领域
本申请涉及荧光寿命成像技术领域，尤其涉及一种基于深度学习的荧光寿命成像方法及相关设备。
背景技术
荧光寿命成像显微镜(FLIM)在分子生物学、分析化学和药物领域有着广泛的应用。由于荧光寿命对周遭环境的变化很敏感，它可以提供关于活细胞中细胞微环境的丰富信息。FLIM提供了一种独特的定量方法来监测细胞内参数，这些参数无法通过基于强度的测量获得，包括离子浓度、pH和温度。它也不受实验条件的影响，如光学器件和荧光浓度。FLIM在药物传递和发现方面有着广泛的应用。
目前常用的荧光寿命检测方法分为基于时域的方法和基于频域的方法，其中，时域方法中的时间相关单光子计数(TCSPC)方法因其在时间分辨率和信噪比方面的高性能而被广泛应用，成为最常见的荧光寿命成像方法。TCSPC的检测原理是通过记录样品被激发后发射的荧光光子到达探测器的时间，通过记录大量荧光光子的到达时间形成一个衰减直方图，该直方图表示一个像素点上不同时间发射的光子数量，之后通过最小二乘法或最大似然估计法对直方图进行曲线拟合，拟合的曲线包含了该像素点的寿命信息。
然而，申请人发现，传统的曲线拟合算法需要多次迭代，计算量大，成像速度慢，对时间敏感目标的成像效果并不理想，并且拟合算法为了设置合适的初始条件还需对寿命参数的先验知识，条件要求较高，由此可见，传统的曲线拟合算法存在效率低、成像效果差的问题。
发明内容
本申请实施例的目的在于提出一种基于深度学习的荧光寿命成像方法、装置、计算机设备及存储介质，以解决传统的曲线拟合算法存在效率低、成像效果差的问题。
为了解决上述技术问题，本申请实施例提供一种基于深度学习的荧光寿命成像方法，采用了如下所述的技术方案：
获取模型训练数据，其中，所述模型训练数据包括训练集以及测试集；
调用初始图像生成模型，其中，所述初始图像生成模型至少包括一个一维卷积层、两个带有通道注意力机制的残差块以及由一维卷积层和全连接层组成的参数提取模块；
将所述训练集按照数据类型划分为N组训练数据组；
依次将所述训练数据组输入至所述初始图像生成模型进行模拟训练，得到训练结果数据；
比对所述训练结果数据以及所述测试集，得到比对结果；
若所述比对结果不满足预设准确比例，则对所述初始图像生成模型进行参数调整，并再次输入所述训练数据组进行模拟训练；
直至所述比对结果满足所述预设准确比例时，得到训练好的图像生成模型；
获取用户终端发送的原始荧光图像；
将所述原始荧光图像输入至所述训练好的图像生成模型进行图像生成操作，得到目标荧光寿命图像；
向所述用户终端输出所述目标荧光寿命图像。
进一步的，所述获取模型训练数据的步骤，具体包括下述步骤：
获取原始图像数据；
将所述原始图像数据的每个像素的光子衰减序列作为一个训练数据，得到所述模型训练数据；
根据所述数据类型对所述模型训练数据进行分类，得到不同样品的训练集。
为了解决上述技术问题，本申请实施例还提供一种基于深度学习的荧光寿命成像装置，采用了如下所述的技术方案：
训练数据获取模块，用于获取模型训练数据，其中，所述模型训练数据包括训练集以及测试集；
模型调用模块，用于调用初始图像生成模型，其中，所述初始图像生成模型至少包括一个一维卷积层、两个带有通道注意力机制的残差块以及由一维卷积层和全连接层组成的参数提取模块；
训练数据划分模块，用于将所述训练集按照数据类型划分为N组训练数据组；
模拟训练模块，用于依次将所述训练数据组输入至所述初始图像生成模型进行模拟训练，得到训练结果数据；
比对模块，用于比对所述训练结果数据以及所述测试集，得到比对结果；
参数调整模块，用于若所述比对结果不满足预设准确比例，则对所述初始图像生成模型进行参数调整，并再次输入所述训练数据组进行模拟训练；
训练完成模块，用于直至所述比对结果满足所述预设准确比例时，得到训练好的图像生成模型；
原始图像获取模块，用于获取用户终端发送的原始荧光图像；
图像生成模块，用于将所述原始荧光图像输入至所述训练好的图像生成模型进行图像生成操作，得到目标荧光寿命图像；
图像输出模块，用于向所述用户终端输出所述目标荧光寿命图像。
进一步的，所述训练数据获取模块参数调整模块包括：
原始图像获取子模块，用于获取原始图像数据；
训练数据获取子模块，用于将所述原始图像数据的每个像素的光子衰减序列作为一个训练数据，得到所述模型训练数据；
数据分类子模块，用于根据所述数据类型对所述模型训练数据进行分类，得到不同样品的训练集。
为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：
包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如上所述的基于深度学习的荧光寿命成像方法的步骤。
为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上所述的基于深度学习的荧光寿命成像方法的步骤。
本申请提供了一种基于深度学习的荧光寿命成像方法，包括：获取模型训练数据，其中，所述模型训练数据包括训练集以及测试集；调用初始图像生成模型，其中，所述初始图像生成模型至少包括一个一维卷积层、两个带有通道注意力机制的残差块以及由一维卷积层和全连接层组成的参数提取模块；将所述训练集按照数据类型划分为N组训练数据组；依次将所述训练数据组输入至所述初始图像生成模型进行模拟训练，得到训练结果数据；比对所述训练结果数据以及所述测试集，得到比对结果；若所述比对结果不满足预设准确比例，则对所述初始图像生成模型进行参数调整，并再次输入所述训练数据组进行模拟训练；直至所述比对结果满足所述预设准确比例时，得到训练好的图像生成模型；获取用户终端发送的原始荧光图像；将所述原始荧光图像输入至所述训练好的图像生成模型进行图像生成操作，得到目标荧光寿命图像；向所述用户终端输出所述目标荧光寿命图像。与现有技术相比，本申请将图像每个像素的光子衰减直方图看做一个数据序列，一维卷积层可以使用相同的卷积核对整个输入进行滑动，这种参数共享有助于减少模型的参数数量，加快训练速度，降低过拟合的风险，并提高模型的泛化能力。同时，通道注意力机制可以动态地强调重要的通道，使得模型能够更加关注对荧光寿命检测更加重要的特定通道，有助于提高对于特定荧光信号的感知能力，并且通过调整权重，通道注意力机制有助于减少可能存在于荧光信号中的冗余信息，从而提高模型的鲁棒性和泛化性，使其可以适用于不同的样品和实验环境。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例一提供的基于深度学习的荧光寿命成像方法的实现流程图；
图2是本申请实施例一提供的初始图像生成模型的一个实施例的结构示意图；
图3是本申请实施例一提供的荧光珠寿命信息提取的比对示意图；
图4是本申请实施例一提供的罗丹明与荧光素混合染料寿命信息提取的比对示意图；
图5是本申请实施例一提供的组织细胞寿命信息提取的比对示意图；
图6是本申请实施例二提供的基于深度学习的荧光寿命成像装置的结构示意图；
图7是根据本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
继续参考图1，示出了根据本申请的基于深度学习的荧光寿命成像方法的一个实施例的流程图。的基于深度学习的荧光寿命成像方法，包括：步骤S201、步骤S202、步骤S203、步骤S204、步骤S205、步骤S206、步骤S207、步骤S208、步骤S209以及步骤S210。
在步骤S201中，获取模型训练数据，其中，模型训练数据包括训练集以及测试集。
在本申请实施例中，本模型以不同像素单元的光子衰减序列为训练数据，根据所需的不同荧光寿命类型可以分别采集荧光珠、亚细胞结构、组织细胞等不同的荧光图像，将采集到的数据分为训练集和测试集。
在本实施例的一些可选的实现方式中，对采集到的SPCM原始数据进行滤波以去除背景噪声，并将不同图像所得数据链接为一个整体作为网络模型的输入。
在步骤S202中，调用初始图像生成模型，其中，初始图像生成模型至少包括一个一维卷积层、两个带有通道注意力机制的残差块以及由一维卷积层和全连接层组成的参数提取模块。
在本申请实施例中，参考图2，示出了初始图像生成模型的一个实施例的结构示意图，模型的第一部分是一个具有大核尺寸、大步长的一维卷积层，期望它可以提取光子衰减序列更多的一般特征；模型的第二部分是两个带有通道注意力机制的残差块。它首先使用平均池化层对特征图(N,52,32)按通道压缩，将每个通道都压缩为1(N,1,1)，然后使用一个全连接层将其压缩(N/C,1,1)。压缩完了之后，再用一个全连接层将通道数扩展到原来的大小(N,1,1)，然后再经过一个sigmoid映射。最后，将得到的权重通过乘法逐通道地加权到先前的特征上，即每个通道的值和特征图对应通道相乘。这个先压缩，再升维的过程中，使用全连接层为每个特征图生成了一个权重，这个权重用来表明当前通道的重要性。这就是通道注意力机制的核心。这种设计使得模型能够更好地适应输入数据的复杂关系，提高网络对于不同通道特征的感知和利用能力，从而增强了模型的表征能力。通道注意力的引入有助于提高模型的性能，特别是在处理荧光寿命图像这种具有丰富通道信息的数据时更为明显；模型的最后一部分用于输出提取到的寿命参数，由2个具有点向卷积(核尺寸为1)和一个全连接层组成。使用点向卷积的目的是实现特征池化，从而有效地重建最终输出中的寿命参数。
在步骤S203中，将训练集按照数据类型划分为N组训练数据组。
在步骤S204中，依次将训练数据组输入至初始图像生成模型进行模拟训练，得到训练结果数据。
在本申请实施例中，将训练集中的数据以200个为一组，输入到网络中当中，经过反向传播过程不断更新参数，对模型进行训练，在满足预设停止条件时保存模型，经过正向传播得到训练结果。
在步骤S205中，比对训练结果数据以及测试集，得到比对结果。
在步骤S206中，若比对结果不满足预设准确比例，则对初始图像生成模型进行参数调整，并再次输入训练数据组进行模拟训练。
在步骤S207中，直至比对结果满足预设准确比例时，得到训练好的图像生成模型。
在步骤S208中，获取用户终端发送的原始荧光图像。
在步骤S209中，将原始荧光图像输入至训练好的图像生成模型进行图像生成操作，得到目标荧光寿命图像。
在步骤S210中，向用户终端输出目标荧光寿命图像。
在本申请实施例中，提供了一种基于深度学习的荧光寿命成像方法，包括：获取模型训练数据，其中，模型训练数据包括训练集以及测试集；调用初始图像生成模型，其中，初始图像生成模型至少包括一个一维卷积层以及两个带有通道注意力机制的残差块；根据预设数量将训练集划分为N组训练数据组；依次将训练数据组输入至初始图像生成模型进行模拟训练，得到训练结果数据；比对训练结果数据以及测试集，得到比对结果；若比对结果不满足预设准确比例，则对初始图像生成模型进行参数调整，并再次输入训练数据组进行模拟训练；直至比对结果满足预设准确比例时，得到训练好的图像生成模型；获取用户终端发送的原始荧光图像；将原始荧光图像输入至训练好的图像生成模型进行图像生成操作，得到目标荧光寿命图像；向用户终端输出目标荧光寿命图像。与现有技术相比，本申请将图像每个像素的光子衰减直方图看做一个数据序列，一维卷积层可以使用相同的卷积核对整个输入进行滑动，这种参数共享有助于减少模型的参数数量，加快训练速度，降低过拟合的风险，并提高模型的泛化能力。同时，通道注意力机制可以动态地强调重要的通道，使得模型能够更加关注对荧光寿命检测更加重要的特定通道，有助于提高对于特定荧光信号的感知能力，并且通过调整权重，通道注意力机制有助于减少可能存在于荧光信号中的冗余信息，从而提高模型的鲁棒性和泛化性，使其可以适用于不同的样品和实验环境。
在本实施例的一些可选的实现方式中，上述步骤S201具体包括下述步骤：
获取原始图像数据；
将原始图像数据的每个像素的光子衰减序列作为一个训练数据，得到模型训练数据；
根据数据类型对模型训练数据进行分类，得到不同样品的训练集。
在本实施例的一些可选的实现方式中，一维卷积层包括归一化模块以及线性整流模块。
在本申请实施例中，使用了批处理归一化(BN)和整流线性单元(ReLU)模块来优化我们的神经网络。BN层在每个卷积层之后，激活函数之前，可以自适应归一化数据，减少内部协方差的偏移，加速网络训练；而ReLU作为激活函数可以解决训练过程中的梯度消失问题，同时使模型更加泛化。
在本实施例的一些可选的实现方式中，步骤S206具体包括：
根据均方根传播算法以及穷举搜索算法对初始图像生成模型的核大小以及各个卷积层的步长进行优化。
在本申请实施例中，优化器采用学习率为1e-5的自适应矩估计(Adam)算法，对超参数进行优化。
在实际应用中，若是对荧光珠寿命信息进行提取，使用本申请技术方案提取荧光珠寿命信息，并与TCSPC拟合结果进行比较，如图3所示。调整bin值发现，在不同强度下模型的预测结果与TCSPC拟合结果结构相似性指数(SSIM)均大于0.95，可以实现单寿命荧光珠的荧光寿命获取。
在实际应用中，若是对罗丹明与荧光素混合染料寿命信息进行提取，使用本申请技术方案提取罗丹明与荧光素混合染料的寿命数据，并与TCSPC拟合结果进行比较，如图4所示。分别将罗丹明与荧光素染料按浓度比1:1，1:2，2:1混合(初始浓度均为0.1mmol/L),模型的预测结果与TCSPC拟合结果的SSIM大于0.95，说明本方法对于混合染料依旧有效。
在实际应用中，若是组织细胞寿命信息进行提取，使用本申请技术方案对尼罗兰染色的胎盘切片进行寿命信息提取，并与TCSPC拟合结果进行比较，如图3。模型的预测结果与TCSPC拟合结果的SSIM为0.9997，均方根误差(MSE)为0.014，结果表明本方法在结构更加复杂、寿命成分更加多样的组织细胞切片中依然有良好效果。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
实施例二
进一步参考图6，作为对上述图1所示方法的实现，本申请提供了一种基于深度学习的荧光寿命成像装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图6所示，本实施例的基于深度学习的荧光寿命成像装置200包括：训练数据获取模块201、模型调用模块202、训练数据划分模块203、模拟训练模块204、比对模块205、参数调整模块206、训练完成模块207、原始图像获取模块208、图像生成模块209以及图像输出模块210，其中：
训练数据获取模块201，用于获取模型训练数据，其中，模型训练数据包括训练集以及测试集；
模型调用模块202，用于调用初始图像生成模型，其中，初始图像生成模型至少包括一个一维卷积层、两个带有通道注意力机制的残差块以及由一维卷积层和全连接层组成的参数提取模块；
训练数据划分模块203，用于将训练集按照数据类型划分为N组训练数据组；
模拟训练模块204，用于依次将训练数据组输入至初始图像生成模型进行模拟训练，得到训练结果数据；
比对模块205，用于比对训练结果数据以及测试集，得到比对结果；
参数调整模块206，用于若比对结果不满足预设准确比例，则对初始图像生成模型进行参数调整，并再次输入训练数据组进行模拟训练；
训练完成模块207，用于直至比对结果满足预设准确比例时，得到训练好的图像生成模型；
原始图像获取模块208，用于获取用户终端发送的原始荧光图像；
图像生成模块209，用于将原始荧光图像输入至训练好的图像生成模型进行图像生成操作，得到目标荧光寿命图像；
图像输出模块210，用于向用户终端输出目标荧光寿命图像。
在本实施例中，提供了一种基于深度学习的荧光寿命成像装置200，包括：训练数据获取模块201、模型调用模块202、训练数据划分模块203、模拟训练模块204、比对模块205、参数调整模块206、训练完成模块207、原始图像获取模块208、图像生成模块209以及图像输出模块210。与现有技术相比，本申请将图像每个像素的光子衰减直方图看做一个数据序列，一维卷积层可以使用相同的卷积核对整个输入进行滑动，这种参数共享有助于减少模型的参数数量，加快训练速度，降低过拟合的风险，并提高模型的泛化能力。同时，通道注意力机制可以动态地强调重要的通道，使得模型能够更加关注对荧光寿命检测更加重要的特定通道，有助于提高对于特定荧光信号的感知能力，并且通过调整权重，通道注意力机制有助于减少可能存在于荧光信号中的冗余信息，从而提高模型的鲁棒性和泛化性，使其可以适用于不同的样品和实验环境。
在本实施例的一些可选的实现方式中，训练数据获取模块包括：
原始图像获取子模块，用于获取原始图像数据；
训练数据获取子模块，用于将原始图像数据的每个像素的光子衰减序列作为一个训练数据，得到模型训练数据；
数据分类子模块，用于根据数据类型对模型训练数据进行分类，得到不同样品的训练集。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图7，图7为本实施例计算机设备基本结构框图。
所述计算机设备300包括通过系统总线相互通信连接存储器310、处理器320、网络接口330。需要指出的是，图中仅示出了具有组件310-330的计算机设备300，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器310至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器310可以是所述计算机设备300的内部存储单元，例如该计算机设备300的硬盘或内存。在另一些实施例中，所述存储器310也可以是所述计算机设备300的外部存储设备，例如该计算机设备300上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器310还可以既包括所述计算机设备300的内部存储单元也包括其外部存储设备。本实施例中，所述存储器310通常用于存储安装于所述计算机设备300的操作系统和各类应用软件，例如基于深度学习的荧光寿命成像方法的计算机可读指令等。此外，所述存储器310还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器320在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器320通常用于控制所述计算机设备300的总体操作。本实施例中，所述处理器320用于运行所述存储器310中存储的计算机可读指令或者处理数据，例如运行所述基于深度学习的荧光寿命成像方法的计算机可读指令。
所述网络接口330可包括无线网络接口或有线网络接口，该网络接口330通常用于在所述计算机设备300与其他电子设备之间建立通信连接。
本申请提供的计算机设备，将图像每个像素的光子衰减直方图看做一个数据序列，一维卷积层可以使用相同的卷积核对整个输入进行滑动，这种参数共享有助于减少模型的参数数量，加快训练速度，降低过拟合的风险，并提高模型的泛化能力。同时，通道注意力机制可以动态地强调重要的通道，使得模型能够更加关注对荧光寿命检测更加重要的特定通道，有助于提高对于特定荧光信号的感知能力，并且通过调整权重，通道注意力机制有助于减少可能存在于荧光信号中的冗余信息，从而提高模型的鲁棒性和泛化性，使其可以适用于不同的样品和实验环境。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的基于深度学习的荧光寿命成像方法的步骤。
本申请提供的计算机可读存储介质，将图像每个像素的光子衰减直方图看做一个数据序列，一维卷积层可以使用相同的卷积核对整个输入进行滑动，这种参数共享有助于减少模型的参数数量，加快训练速度，降低过拟合的风险，并提高模型的泛化能力。同时，通道注意力机制可以动态地强调重要的通道，使得模型能够更加关注对荧光寿命检测更加重要的特定通道，有助于提高对于特定荧光信号的感知能力，并且通过调整权重，通道注意力机制有助于减少可能存在于荧光信号中的冗余信息，从而提高模型的鲁棒性和泛化性，使其可以适用于不同的样品和实验环境。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。
Claims (6)
1.一种基于深度学习的荧光寿命成像方法，其特征在于，包括下述步骤：
获取模型训练数据，其中，所述模型训练数据包括训练集以及测试集；
调用初始图像生成模型，其中，所述初始图像生成模型至少包括一个一维卷积层、两个带有通道注意力机制的残差块以及由一维卷积层和全连接层组成的参数提取模块；
将所述训练集按照数据类型划分为N组训练数据组；
依次将所述训练数据组输入至所述初始图像生成模型进行模拟训练，得到训练结果数据；
比对所述训练结果数据以及所述测试集，得到比对结果；
若所述比对结果不满足预设准确比例，则对所述初始图像生成模型进行参数调整，并再次输入所述训练数据组进行模拟训练；
直至所述比对结果满足所述预设准确比例时，得到训练好的图像生成模型；
获取用户终端发送的原始荧光图像；
将所述原始荧光图像输入至所述训练好的图像生成模型进行图像生成操作，得到目标荧光寿命图像；
向所述用户终端输出所述目标荧光寿命图像。
2.根据权利要求1所述的基于深度学习的荧光寿命成像方法，其特征在于，所述获取模型训练数据的步骤，具体包括下述步骤：
获取原始图像数据；
将所述原始图像数据的每个像素的光子衰减序列作为一个训练数据，得到所述模型训练数据；
根据所述数据类型对所述模型训练数据进行分类，得到不同样品的训练集。
3.一种基于深度学习的荧光寿命成像装置，其特征在于，包括：
训练数据获取模块，用于获取模型训练数据，其中，所述模型训练数据包括训练集以及测试集；
模型调用模块，用于调用初始图像生成模型，其中，所述初始图像生成模型至少包括一个一维卷积层、两个带有通道注意力机制的残差块以及由一维卷积层和全连接层组成的参数提取模块；
训练数据划分模块，用于将所述训练集按照数据类型划分为N组训练数据组；
模拟训练模块，用于依次将所述训练数据组输入至所述初始图像生成模型进行模拟训练，得到训练结果数据；
比对模块，用于比对所述训练结果数据以及所述测试集，得到比对结果；
参数调整模块，用于若所述比对结果不满足预设准确比例，则对所述初始图像生成模型进行参数调整，并再次输入所述训练数据组进行模拟训练；
训练完成模块，用于直至所述比对结果满足所述预设准确比例时，得到训练好的图像生成模型；
原始图像获取模块，用于获取用户终端发送的原始荧光图像；
图像生成模块，用于将所述原始荧光图像输入至所述训练好的图像生成模型进行图像生成操作，得到目标荧光寿命图像；
图像输出模块，用于向所述用户终端输出所述目标荧光寿命图像。
4.根据权利要求3所述的基于深度学习的荧光寿命成像装置，其特征在于，所述训练数据获取模块包括：
原始图像获取子模块，用于获取原始图像数据；
训练数据获取子模块，用于将所述原始图像数据的每个像素的光子衰减序列作为一个训练数据，得到所述模型训练数据；
数据分类子模块，用于根据所述数据类型对所述模型训练数据进行分类，得到不同样品的训练集。
5.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至2中任一项所述的基于深度学习的荧光寿命成像方法的步骤。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至2中任一项所述的基于深度学习的荧光寿命成像方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410160521.7A CN117969479A (zh) | 2024-02-05 | 2024-02-05 | 一种基于深度学习的荧光寿命成像方法及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410160521.7A CN117969479A (zh) | 2024-02-05 | 2024-02-05 | 一种基于深度学习的荧光寿命成像方法及相关设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117969479A true CN117969479A (zh) | 2024-05-03 |
Family
ID=90862536
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410160521.7A Pending CN117969479A (zh) | 2024-02-05 | 2024-02-05 | 一种基于深度学习的荧光寿命成像方法及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117969479A (zh) |
-
2024
- 2024-02-05 CN CN202410160521.7A patent/CN117969479A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111860573B (zh) | 模型训练方法、图像类别检测方法、装置和电子设备 | |
| WO2021098362A1 (zh) | 视频分类模型构建、视频分类的方法、装置、设备及介质 | |
| CN113159147B (zh) | 基于神经网络的图像识别方法、装置、电子设备 | |
| CN110991311A (zh) | 一种基于密集连接深度网络的目标检测方法 | |
| CN111612017A (zh) | 一种基于信息增强的目标检测方法 | |
| CN110909222B (zh) | 基于聚类的用户画像建立方法、装置、介质及电子设备 | |
| CN110827924B (zh) | 基因表达数据的聚类方法、装置、计算机设备及存储介质 | |
| CN111784595B (zh) | 一种基于历史记录的动态标签平滑加权损失方法及装置 | |
| CN115443490A (zh) | 影像审核方法及装置、设备、存储介质 | |
| CN116894985B (zh) | 半监督图像分类方法及半监督图像分类系统 | |
| CN111368989B (zh) | 神经网络模型的训练方法、装置、设备及可读存储介质 | |
| WO2024051655A1 (zh) | 全视野组织学图像的处理方法、装置、介质和电子设备 | |
| CN111160491B (zh) | 一种卷积神经网络中的池化方法和池化模型 | |
| CN113472860A (zh) | 大数据和数字化环境下的业务资源分配方法及服务器 | |
| CN116227573B (zh) | 分割模型训练方法、图像分割方法、装置及相关介质 | |
| CN117969479A (zh) | 一种基于深度学习的荧光寿命成像方法及相关设备 | |
| CN112509052B (zh) | 黄斑中心凹的检测方法、装置、计算机设备和存储介质 | |
| CN115049546A (zh) | 样本数据处理方法、装置、电子设备及存储介质 | |
| CN112036501A (zh) | 基于卷积神经网络的图片的相似度检测方法及其相关设备 | |
| CN115953248B (zh) | 基于沙普利可加性解释的风控方法、装置、设备及介质 | |
| CN117376977B (zh) | 一种手机5g无线信号测试系统、方法、设备及介质 | |
| CN113672783B (zh) | 特征处理方法、模型训练方法及媒体资源处理方法 | |
| Wang et al. | Bio-driven visual saliency detection with color factor | |
| KR20140104789A (ko) | 정지영상의 식별자 생성 방법 및 이를 수행하는 영상 처리 장치 | |
| CN113837101B (zh) | 手势识别方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination |