CN115644804B - 一种基于钙成像恢复算法的双光子成像方法及系统 - Google Patents

Abstract

本申请公开了一种基于钙成像恢复算法的双光子成像方法及系统，方法包括：对固定在载物台上的生物样本进行钙离子探针标记；控制飞秒激光器按照预设频率将飞秒激光射出至二向色镜，并由二向色镜将飞秒激光反射至生物样本表面；基于探测器采集生物样本被激发出的荧光信号，并将荧光信号转化为待处理图像；根据待处理图像以及训练后的插帧恢复网络模型，得到目标图像。通过将采集到的低采样帧率的待处理图像输入至训练后的插帧恢复网络模型的方式，不仅可保障在采集图像的过程中实现在生物样本在低光毒性和光漂白作用下的长时间观测，还可基于插帧恢复网络模型将采集到的图像恢复为高帧率、高质量的图像，进而保障生物样本的钙成像精度。

Description

一种基于钙成像恢复算法的双光子成像方法及系统

技术领域

本申请属于计算摄像学和计算机视觉技术领域，特别的涉及一种基于钙成像恢复算法的双光子成像方法及系统。

背景技术

建立神经元群的活动与具体的动物行为之间的相关性是理解大脑如何进行编码的关键步骤，现有技术中多光子显微镜检查以及遗传编码的荧光钙指示剂（如GCaMP）已成为研究大脑神经回路动力学的基本方法。然而由于激光对于生物组织的光毒性，光漂白等影响的存在，长时间持续性地对大脑活动进行观测一直是一件具有挑战性的任务。

双光子钙成像技术是一种高分辨率的成像技术，它可以在活体状态下对大脑中的多个神经元和树突棘进行成像，然而目前双光子显微镜成像帧率较低，时间分辨率受限，限制了其在对于时空分辨率要求较高场景下的研究应用，且长时间对生物组织的照射也会对成像精度造成影响。

发明内容

本申请为解决上述提到的双光子显微镜成像帧率较低，时间分辨率受限，限制了其在对于时空分辨率要求较高场景下的研究应用，且长时间对生物组织的照射也会对成像精度造成影响等技术问题，提出一种基于钙成像恢复算法的双光子成像方法及系统，其技术方案如下：

第一方面，本申请实施例提供了一种基于钙成像恢复算法的双光子成像方法，方法应用于双光子显微成像平台，双光子显微成像平台包括飞秒激光器、二向色镜、载物台以及探测器，方法包括：

对固定在载物台上的生物样本进行钙离子探针标记；

控制飞秒激光器按照预设频率将飞秒激光射出至二向色镜，并由二向色镜将飞秒激光反射至生物样本表面；

基于探测器采集生物样本被激发出的荧光信号，并将荧光信号转化为待处理图像；

根据待处理图像以及训练后的插帧恢复网络模型，得到目标图像；其中，目标图像对应的子图像帧数大于待处理图像的子图像帧数，插帧恢复网络模型由多个已知至少三帧子图像的样本图像训练得到。

在第一方面的一种可选方案中，双光子显微成像平台还包括设置在二向色镜以及载物台之间的筒镜，筒镜由至少两个聚焦透镜以及振镜组成；

由二向色镜将飞秒激光反射至生物样本表面，包括：

由二向色镜将飞秒激光反射至至少两个聚焦透镜，并由至少两个聚焦透镜对飞秒激光进行聚焦处理；

按照第一轨迹控制振镜进行移动，以使振镜将处理后的飞秒激光射出至生物样本表面。

在第一方面的又一种可选方案中，双光子显微成像平台还包括设置在筒镜与载物台之间的物镜；

在由振镜将处理后的飞秒激光射出至生物样本表面之前，还包括：

获取生物样本的成像深度，并基于生物样本的成像深度生成第二轨迹；

由振镜将处理后的飞秒激光射出至生物样本表面，包括：

由振镜将处理后的飞秒激光射出至物镜；

按照第二轨迹控制物镜进行移动，并由物镜将处理后的飞秒激光射出至生物样本表面。

在第一方面的又一种可选方案中，将荧光信号转化为待处理图像，包括：

由探测器将荧光信号转化为电信号；

基于图像重建算法对电信号进行处理，生成待处理图像。

在第一方面的又一种可选方案中，根据待处理图像以及训练后的插帧恢复网络模型，得到目标图像，包括：

按照预设采样帧率从待处理图像中提取出至少两帧子图像；

基于至少两帧子图像对应的时间间隔以及帧数构建时间标识矩阵；

对至少两帧子图像以及时间标识矩阵进行归一化处理，并根据处理后的至少两帧子图像、处理后的时间标识矩阵以及训练后的插帧恢复网络模型，得到目标图像。

在第一方面的又一种可选方案中，根据处理后的至少两帧子图像、处理后的时间标识矩阵以及训练后的插帧恢复网络模型，得到目标图像，包括：

基于预设采样帧率以及生物样本的成像深度，在模型数据库中确定出目标插帧恢复网络模型；其中，模型数据库包括多个不同类型精度的训练后的插帧恢复网络模型，精度类型由预设采样帧率以及生物样本的成像深度确定；

将处理后的至少两帧子图像以及处理后的时间标识矩阵输入至目标插帧恢复网络模型，得到目标图像。

在第一方面的又一种可选方案中，在插帧恢复网络模型由多个已知至少三帧子图像的样本图像训练得到的过程中，将至少三帧子图像中的第一帧子图像以及最后一帧子图像作为训练数据，将至少三帧子图像中每一帧子图像作为验证数据；将训练数据输入至插帧恢复网络模型进行迭代训练，并通过损失函数对插帧恢复网络模型进行优化；当插帧恢复网络模型根据训练数据输出的预测数据与验证数据的相似度满足预设条件时，确定插帧恢复网络模型训练完成。

第二方面，本申请实施例提供了一种基于钙成像恢复算法的双光子成像系统，系统应用于双光子显微成像平台，双光子显微成像平台包括飞秒激光器、二向色镜、载物台以及探测器，系统包括：

标记模块，用于对固定在载物台上的生物样本进行钙离子探针标记；

控制模块，用于控制飞秒激光器按照预设频率将飞秒激光射出至二向色镜，并由二向色镜将飞秒激光反射至生物样本表面；

转化模块，用于基于探测器采集生物样本被激发出的荧光信号，并将荧光信号转化为待处理图像；

处理模块，用于根据待处理图像、预设频率以及训练后的插帧恢复网络模型，得到目标图像；其中，目标图像的频率大于预设频率，目标图像对应的图像帧数大于待处理图像的图像帧数。

在第二方面的一种可选方案中，双光子显微成像平台还包括设置在二向色镜以及载物台之间的筒镜，筒镜由至少两个聚焦透镜以及振镜组成；

控制模块包括：

第一控制单元，用于由二向色镜将飞秒激光反射至至少两个聚焦透镜，并由至少两个聚焦透镜对飞秒激光进行聚焦处理；

第二控制单元，用于按照第一轨迹控制振镜进行移动，以使振镜将处理后的飞秒激光射出至生物样本表面。

在第二方面的又一种可选方案中，双光子显微成像平台还包括设置在筒镜与载物台之间的物镜；

控制模块还包括：

获取单元，用于在由振镜将处理后的飞秒激光射出至生物样本表面之前，获取生物样本的成像深度，并基于生物样本的成像深度生成第二轨迹；

第二控制单元具体用于：

由振镜将处理后的飞秒激光射出至物镜；

按照第二轨迹控制物镜进行移动，并由物镜将处理后的飞秒激光射出至生物样本表面。

在第二方面的又一种可选方案中，转化模块包括：

第一转化单元，用于由探测器将荧光信号转化为电信号；

第二转化单元，用于基于图像重建算法对电信号进行处理，生成待处理图像。

在第二方面的又一种可选方案中，处理模块包括：

提取单元，用于按照预设采样帧率从待处理图像中提取出至少两帧子图像；

矩阵构建单元，用于基于至少两帧子图像对应的时间间隔以及帧数构建时间标识矩阵；

模型处理单元，用于对至少两帧子图像以及时间标识矩阵进行归一化处理，并根据处理后的至少两帧子图像、处理后的时间标识矩阵以及训练后的插帧恢复网络模型，得到目标图像。

在第二方面的又一种可选方案中，模型处理单元具体用于：

基于预设采样帧率以及生物样本的成像深度，在模型数据库中确定出目标插帧恢复网络模型；其中，模型数据库包括多个不同类型精度的训练后的插帧恢复网络模型，精度类型由预设采样帧率以及生物样本的成像深度确定；

将处理后的至少两帧子图像以及处理后的时间标识矩阵输入至目标插帧恢复网络模型，得到目标图像。

在第二方面的又一种可选方案中，在插帧恢复网络模型由多个已知至少三帧子图像的样本图像训练得到的过程中，将至少三帧子图像中的第一帧子图像以及最后一帧子图像作为训练数据，将至少三帧子图像中每一帧子图像作为验证数据；将训练数据输入至插帧恢复网络模型进行迭代训练，并通过损失函数对插帧恢复网络模型进行优化；当插帧恢复网络模型根据训练数据输出的预测数据与验证数据的相似度满足预设条件时，确定插帧恢复网络模型训练完成。

第三方面，本申请实施例还提供了一种基于钙成像恢复算法的双光子成像系统，系统应用于双光子显微成像平台，双光子显微成像平台包括飞秒激光器、二向色镜、载物台以及探测器，系统包括处理器以及存储器；

处理器与存储器连接；

存储器，用于存储可执行程序代码；

处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于实现本申请实施例第一方面或第一方面的任意一种实现方式提供的基于钙成像恢复算法的双光子成像方法。

第四方面，本申请实施例提供了一种计算机存储介质，计算机存储介质存储有计算机程序，计算机程序包括程序指令，程序指令当被处理器执行时，可实现本申请实施例第一方面或第一方面的任意一种实现方式提供的基于钙成像恢复算法的双光子成像方法。

在本申请实施例中，可在基于生物样本进行钙成像时，对固定在载物台上的生物样本进行钙离子探针标记；接着控制飞秒激光器按照预设频率将飞秒激光射出至二向色镜，并由二向色镜将飞秒激光反射至生物样本表面；接着基于探测器采集生物样本被激发出的荧光信号，并将荧光信号转化为待处理图像；接着根据待处理图像以及训练后的插帧恢复网络模型，得到目标图像；其中，目标图像对应的子图像帧数大于待处理图像的子图像帧数，插帧恢复网络模型由多个已知至少三帧子图像的样本图像训练得到。通过将采集到的低采样帧率的待处理图像输入至训练后的插帧恢复网络模型的方式，不仅可保障在采集图像的过程中实现在生物样本在低光毒性和光漂白作用下的长时间观测，还可基于插帧恢复网络模型将采集到的图像恢复为高帧率、高质量的图像，进而保障生物样本的钙成像精度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种基于钙成像恢复算法的双光子成像方法的流程示意图；

图2为本申请实施例提供的一种预设频率的效果示意图；

图3为本申请实施例提供的一种双光子显微成像平台的结构示意图；

图4为本申请实施例提供的一种插帧恢复网络模型的训练流程示意图；

图5为本申请实施例提供的一种基于钙成像恢复算法的双光子成像系统的结构示意图；

图6为本申请实施例提供的又一种基于钙成像恢复算法的双光子成像系统的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

在下述介绍中，术语“第一”、“第二”仅为用于描述的目的，而不能理解为指示或暗示相对重要性。下述介绍提供了本申请的多个实施例，不同实施例之间可以替换或者合并组合，因此本申请也可认为包含所记载的相同和/或不同实施例的所有可能组合。因而，如果一个实施例包含特征A、B、C，另一个实施例包含特征B、D，那么本申请也应视为包括含有A、B、C、D的一个或多个所有其他可能的组合的实施例，尽管该实施例可能并未在以下内容中有明确的文字记载。

下面的描述提供了示例，并且不对权利要求书中阐述的范围、适用性或示例进行限制。可以在不脱离本申请内容的范围的情况下，对描述的元素的功能和布置做出改变。各个示例可以适当省略、替代或添加各种过程或组件。例如所描述的方法可以以所描述的顺序不同的顺序来执行，并且可以添加、省略或组合各种步骤。此外，可以将关于一些示例描述的特征组合到其他示例中。

请参阅图1，图1示出了本申请实施例提供的一种基于钙成像恢复算法的双光子成像方法的流程示意图。

如图1所示，该基于钙成像恢复算法的双光子成像方法至少可以包括以下步骤：

步骤102、对固定在载物台上的生物样本进行钙离子探针标记。

在本申请实施例中基于钙成像恢复算法的双光子成像方法可应用于双光子显微成像平台，该双光子显微成像平台可用于对标记有钙离子的生物样本进行点扫描成像，并将该经过点扫描的初始钙成像恢复为高帧率的钙成像，以在对生物样本不造成光损伤的情况下保障高质量的钙成像。

双光子显微成像平台至少可以包括飞秒激光器、二向色镜、载物台以及探测器，其中，飞秒激光器可由该双光子显微成像平台控制射出一定频率的近红外的飞秒激光信号，二向色镜可通过折射原理改变飞秒激光信号的移动轨迹，载物台可用于固定生物样本，以便于通过二向色镜将飞秒激光信号射出至生物样本表面。可以理解的是，生物样本在标记有钙离子的情况下可基于飞秒激光信号激发出荧光信号，且该荧光信号的射出方向可与射出至该生物样本表面上的飞秒激光信号相反。

具体地，可在基于生物样本进行钙成像时，先将生物样本固定在载物台的指定位置，以使飞秒激光信号可准确射出至生物样本表面上的指定位置。可以理解的是，在本申请实施例中双光子显微成像平台还可在将生物样本固定在载物台之后控制载物台进行移动，以使飞秒激光信号可准确射出至生物样本表面上的指定位置，且在进行钙成像的过程中可通过控制该载物台的移动来将飞秒激光信号射出至生物样本表面的不同位置。

进一步的，可在将生物样本固定在载物台之后，对该生物样本进行钙离子探针标记，在标记过程中可对生物样本表面的多个位置进行钙离子探针标记，以满足对生物样本的不同位置钙成像需求。可以理解的是，在本申请实施例中可由双光子显微成像平台对生物样本自动进行钙离子探针标记，也即是说，在将生物样本固定在载物台的指定位置之后，双光子显微成像平台可按照预设标记轨迹控制标记装置在生物样本表面进行钙离子探针标记。当然，此处还可由人工对该生物样本进行钙离子探针标记，本申请实施例不限定于此。

步骤104、控制飞秒激光器按照预设频率将飞秒激光射出至二向色镜，并由二向色镜将飞秒激光反射至生物样本表面。

具体地，双光子显微成像平台在对生物样本进行钙离子探针标记之后，可控制飞秒激光器按照预设频率将飞秒激光信号射出至二向色镜，并由二色向镜利用反射原理将该飞秒激光信号反射至载物台上的生物样本表面。其中，预设频率可用于控制飞秒激光信号射出至生物样本表面的时长，以避免生物样本表面在飞秒激光信号长时间的照射下造成脑区荧光标记细胞的光损伤。

此处可参阅图2示出的本申请实施例提供的一种预设频率的效果示意图。如图2所示的两种预设频率，上半部分对应的预设频率中在一个周期内飞秒激光信号的发射时长小于停止发射时长，下半部分对应的预设频率中在相同周期内飞秒激光信号的发射时长等于停止发射时长，该方式可实现对间隔时间成像的控制，进而有效降低对生物样本的光毒性以及光漂白，且还可有效延长对生物样本的观测时长。

作为本申请实施例的一种可选，双光子显微成像平台还包括设置在二向色镜以及载物台之间的筒镜，筒镜由至少两个聚焦透镜以及振镜组成；

由二向色镜将飞秒激光反射至生物样本表面，包括：

由二向色镜将飞秒激光反射至至少两个聚焦透镜，并由至少两个聚焦透镜对飞秒激光进行聚焦处理；

按照第一轨迹控制振镜进行移动，以使振镜将处理后的飞秒激光射出至生物样本表面。

具体地，双光子显微成像平台在控制飞秒激光器按照预设频率将飞秒激光射出至二向色镜之后，可由二向色镜将飞秒激光信号反射至筒镜的至少两个聚焦透镜，以由该至少连个聚焦透镜对该飞秒激光信号进行聚焦处理。其中，该至少两个聚焦透镜可将平行射出的飞秒激光信号聚焦为点激光信号，以有效保障钙成像的成像精度。

进一步的，在飞秒激光信号聚焦为点激光信号之后，双光子显微成像平台还可控制振镜按照第一轨迹进行移动，以使该点激光信号可通过振镜射出至生物样本表面。其中，该第一轨迹可以但不局限于包括振镜沿X方向的移动轨迹以及沿Y方向的移动轨迹，且在振镜按照第一轨迹移动的过程中该振镜可将点激光信号射出至生物样本表面的不同位置，直至将该点激光信号射出至生物样本表面的目标位置。

作为本申请实施例的又一种可选，双光子显微成像平台还包括设置在筒镜与载物台之间的物镜；

在由振镜将处理后的飞秒激光射出至生物样本表面之前，还包括：

获取生物样本的成像深度，并基于生物样本的成像深度生成第二轨迹；

由振镜将处理后的飞秒激光射出至生物样本表面，包括：

由振镜将处理后的飞秒激光射出至物镜；

按照第二轨迹控制物镜进行移动，并由物镜将处理后的飞秒激光射出至生物样本表面。

具体地，为保障生物样本的钙成像可呈现不同的成像深度，以满足不同的成像需求，双光子显微成像平台还可获取生物样本的成像深度，并根据该生物样本的成像深度生成用于控制物镜移动的第二轨迹。其中，设置在筒镜与载物台之间的物镜可用于调节飞秒激光信号射出至生物样本表面的深度，进而可调节该生物样本所被激发出的荧光信号的深度。可以理解的是，物镜的中心轴向可与筒镜的中心轴心保持一致，以便于飞秒激光信号快速从筒镜射出至物镜，并由物镜快速将飞秒激光信号射出至生物样本表面，且在本申请实施例中第二轨迹可以但不局限于为控制物镜沿中心轴线向靠近筒镜的方向竖直移动，或是控制物镜沿中心轴线向靠近载物台的方向竖直移动。

当双光子显微成像平台在控制飞秒激光器按照预设频率将飞秒激光射出至二向色镜，并由二色向镜将飞秒激光信号射出至筒镜之后，可根据生成的第二轨迹控制物镜沿着中心轴线移动至指定位置，接着由物镜将飞秒激光信号射出至生物样本表面。

还可以理解的是，此处双光子显微成像平台还可在控制飞秒激光器按照预设频率将飞秒激光射出至二向色镜之前，根据获取的生物样本的成像深度生成第二轨迹，并按照第二轨迹控制物镜移动至可形成指定成像深度的位置，本申请实施例不限定于此。

步骤106、基于探测器采集生物样本被激发出的荧光信号，并将荧光信号转化为待处理图像。

具体地，双光子显微成像平台在将飞秒激光信号射出至生物样本表面之后，可由探测器采集由生物样本激发出的荧光信号，此处探测器可以但不局限于设置在该生物样本所激发出的荧光信号的射出路径上，例如当飞秒激光信号垂直射出至生物样本表面时，生物样本可将激发出的荧光信号沿着与飞秒激光信号相反的方向射出，并由垂直设置在生物样本上方的探测器采集，以提高整体成像速率。可以理解的是，当二向色镜反射的飞秒激光信号可垂直射出至生物样本表面时，生物样本所激发出的荧光信号可沿着该飞秒激光信号相反的方向垂直射出至该二向色镜，此处利用荧光信号可透射出二向色镜的特性，可将探测器设置在该二向色镜的上方，以便于快速采集生物样本所激发出的荧光信号。

进一步的，双光子显微成像平台在基于探测器采集生物样本被激发出的荧光信号之后，可由该探测器将荧光信号转化为电信号，并基于图像重建算法对转化后的电信号进行处理，以根据该电信号生成相应的待处理图像。可以理解的是，该待处理图像中每一帧子图像可与上述提到的预设频率保持一致，在生成该每一帧子图像的过程中可有效降低对生物样本的光毒性以及光漂白，且还可有效延长对生物样本的观测时长。

此处可参阅图3示出的本申请实施例提供的一种双光子显微成像平台的结构示意图。如图3所示，该双光子显微成像平台可以包括飞秒激光器、扫描光路、二向色镜、筒镜、物镜、载物台、探测器以及处理器，其中，处理器可控制飞秒激光器按照预设频率射出飞秒激光信号至扫描光路，由扫描光路将飞秒激光信号快速射出至二向色镜。接着，二向色镜利用反射特性将飞秒激光信号沿着物镜轴心方向反射至筒镜，并由筒镜在对飞秒激光信号进行聚焦处理之后将点激光信号沿着物镜的轴心方向射出至物镜。接着，物镜可根据获取到的成像深度将点激光信号射出至生物样本表面，以使生物样本所激发出的荧光信号所对应的图像可与该成像深度一致。接着，生物样本可根据点激光信号激发出荧光信号，该荧光信号沿着物镜的轴心方向垂直射向物镜，并由物镜将该荧光信号沿着筒镜的轴心方向垂直射向筒镜。接着，筒镜可将该荧光信号继续沿着筒镜的轴心方向垂直射向二向色镜，并利用二向色镜对荧光信号的透射特性将该荧光信号射向设置在该二向色镜上方的探测器，以由该探测器采集到荧光信号。接着，探测器可将采集到的荧光信号转化为电信号，并将该电信号发送回处理器，以由处理器基于图像重建算法对转化后的电信号进行处理，以根据该电信号生成相应的待处理图像。

步骤108、根据待处理图像以及训练后的插帧恢复网络模型，得到目标图像。

具体地，双光子显微成像平台在生成待处理图像之后，可按照预设采样帧率所该待处理图像中提取出至少两帧子图像，其中，该待处理图像至少可以包括两帧连续的子图像，预设采样帧率可以但不局限于为间隔采集连续的两帧子图像或是间隔采集连续的三帧子图像，也即是说从待处理图像所提取出的至少两帧子图像为连续的子图像。可以理解的是，当待处理图像为一段视频时，可先将视频按照时间间隔分解为多帧图像，再按照预设采样帧率从该多帧图像中提取出至少两帧连续的子图像。

进一步的，双光子显微成像平台在提取出至少两帧连续的子图像之后，可根据该至少两帧连续的子图像的时间间隔以及帧数构建相应的时间标识矩阵。其中，时间标识矩阵可理解为标识输入帧与输出帧之间时间间隔的指示性数字矩阵，其可与该至少两帧连续的子图像一起作为插帧恢复网络模型的输入。可以理解的是，当至少两帧连续的子图像为两帧连续的子图像时，配合构建的时间标识矩阵以及该两帧连续的子图像输入至插帧恢复网络模型所预测结果的精度可达到第二精度要求；当至少两帧连续的子图像为至少三帧连续的子图像时，配合构建的时间标识矩阵以及该至少三帧连续的子图像输入至插帧恢复网络模型所预测结果的精度可达到第一精度要求，此处第一精度要求高于第二精度要求，该第一精度要求可以但不局限于为钙成像尖峰的曲线拟合误差在0至5%之间，该第二精度要求可以但不局限于为钙成像尖峰的曲线拟合误差在5%至10%之间，且一般来说仅仅是为了观察钙活动的图像第二精度已经满足要求，如果需要做神经元分割任务或者神经元相关性分析等则考虑离线进行第一精度预测输出。

需要说明的是，就单个神经元ROI区域，可通过测试插入帧的灰度值减去原始帧的灰度值，再除以原始帧的灰度值的方式，对所有神经元胞体ROI求和取平均来得到即为钙成像尖峰的曲线拟合误差。

进一步的，双光子显微成像平台在构建时间标识矩阵之后，可对该至少两帧子图像以及时间标识矩阵统一进行最大最小值归一化处理，也即将该至少两帧子图像以及时间标识矩阵对应的数据编码中最大值和最小值（默认为0）归一化到[0，1]之间，以使该至少两帧子图像以及时间标识矩阵的大小保持一致且转化统一。可以理解的是，时间标识矩阵随该至少两帧子图像进行相同的归一化，并作为新通道加在插帧恢复网络模型的输入帧上，故该插帧恢复网络模型的输入帧由变为/>，其中w为图像宽度，h为图像高度，c为图像原始通道数，n为输入的帧数。

此处，插帧恢复网络模型可根据输入的至少两帧连续的子图像以及时间标识矩阵输出至少三帧连续的子图像，其中，当至少两帧连续的子图像为两帧连续的子图像时，该至少三帧连续的子图像中第一帧子图像以及最后一帧子图像可与上述提到的两帧连续的子图像相同。以该至少两帧连续的子图像为a1以及a2为例，插帧恢复网络模型根据输入的a1、a2以及时间标识矩阵所输出的子图像可以但不局限于依次表示为a1、a3、a4、a5以及a2，其中a3、a4以及a5可为a1与a2之间所补充的中间帧子图像。

在本申请实施例中提到的插帧恢复网络模型可为U型结构，其可以包括编码模块、解码模块和GRU传递模块，该编码模块和解码模块采用五层带有“跳跃”连接的卷积块，该GRU模块可对不同输入帧子图像进行信息提取组合，以配合特殊的输入时间标识矩阵，达到精准预测中间帧的目的。可以理解的是，该插帧恢复网络模型的损失函数模块可包含L1-Loss函数以及SSIM-Loss函数，通过五折交叉验证的方法，并尝试不同的损失函数组合，最终选取（3，1）的组合系数作为插帧恢复网络模型最后的训练损失函数。

其中，L1-Loss函数的公式如下所示：

上式中可对应为补充的中间帧子图像，/>可对应为插帧恢复网络模型的预测结果。

其中，SSIM -Loss函数的公式如下所示：

上式中以及/>可分别对应为x以及y的均值，/>以及/>可分别对应为x以及y的方差，/>可对应为x以及y的协方差，/>以及/>可为防止分母近似为0的正整数。

还可以理解的是，本申请实施例中插帧恢复网络模型所选用的优化器为Adam，该优化器具有实现简单、计算高效、适用范围广等特点。

进一步的，双光子显微成像平台在对至少两帧子图像以及时间标识矩阵进行归一化处理之后，可根据该处理后的至少两帧子图像、处理后的时间标识矩阵以及训练后的插帧恢复网络模型，得到目标图像。其中，双光子显微成像平台可以但不局限于将处理后的至少两帧子图像、处理后的时间标识矩阵输入至训练好的插帧恢复网络模型中，以得到补充由多帧中间子图像的目标图像，进而实现将低帧率的图像恢复为高帧率的图像，且整个过程不会对生物样本产生光毒性和光漂白性所导致的问题。

此处插帧恢复网络模型的训练过程可以但不局限于参照图4示出的本申请实施例提供的一种插帧恢复网络模型的训练流程示意图。如图4所示，在插帧恢复网络模型由多个已知至少三帧子图像的样本图像训练得到的过程中，可以但不局限于将至少三帧子图像中的第一帧子图像以及最后一帧子图像作为训练数据，将至少三帧子图像中每一帧子图像作为验证数据；将训练数据输入至插帧恢复网络模型进行迭代训练，并通过损失函数对插帧恢复网络模型进行优化；当插帧恢复网络模型根据训练数据输出的预测数据与验证数据的相似度满足预设条件时，确定插帧恢复网络模型训练完成。当插帧恢复网络模型根据训练数据输出的预测数据与验证数据的相似度不满足预设条件时，可重新设置参数至插帧恢复网络模型中，并重复对该插帧恢复网络模型进行训练的步骤。可以理解的是，预设条件可以但不局限于为预设的相似度区间，当处于该预设的相似度区间内时，可表明验证数据与预测数据的相似度较高；当不处于该预设的相似度区间内时，可表明验证数据于预测数据的相似度较低。

此外，由于插帧恢复网络模型的通用性，为了适应不同模态的成像数据，本申请实施例还可以针对性的实现不同模态的帧率提升视频模型的训练。同时采用不同的钙离子探针也会产生不同的模型，所以实验操作中，一般还可根据对应的探针和成像装置生成对应的训练模型，用来更好地得到推断结果。

作为本申请实施例的又一种可选，根据处理后的至少两帧子图像、处理后的时间标识矩阵以及训练后的插帧恢复网络模型，得到目标图像，包括：

基于预设采样帧率以及生物样本的成像深度，在模型数据库中确定出目标插帧恢复网络模型；其中，模型数据库包括多个不同类型精度的训练后的插帧恢复网络模型，精度类型由预设采样帧率以及生物样本的成像深度确定；

将处理后的至少两帧子图像以及处理后的时间标识矩阵输入至目标插帧恢复网络模型，得到目标图像。

具体地，双光子显微成像平台在对至少两帧子图像以及时间标识矩阵进行归一化处理之后，还可以但不局限于根据获取的生物样本的成像深度以及预设的采样帧率，在模型数据库中确定出相应的目标插帧恢复网络模型，其中，该模型数据库中可包括有多个不同类型精度的训练后的插帧恢复网络模型，每种精度类型可对应有预设采样帧率以及生物样本的成像深度，可以理解的是，该模型数据库中每个插帧恢复网络模型可直接对应有预设采样帧率以及生物样本的成像深度，此处不限定于此。当然，在本申请实施例中还可根据获取的精度类型或是至少两帧连续的子图像的帧数来直接确定出目标插帧恢复网络模型，此处不过多赘述。

进一步的，在确定出目标插帧恢复网络模型之后，双光子显微成像平台可将处理后的至少两帧子图像、处理后的时间标识矩阵输入至该目标插帧恢复网络模型中，以得到补充由多帧中间子图像的目标图像，进而实现将低帧率的图像恢复为高帧率的图像，且整个过程不会对生物样本产生光毒性和光漂白性所导致的问题。

对于本申请实施例的应用场景，在得到长时间的观测的双光子钙成像数据后可以用于生物神经编解码、神经元分割等实验应用，其优势在于观测时间变长，对于神经元编解码的应用来说，可以研究更多的长时间行为对应的神经元活动，对于神经元分割项目来说，由于长时间观测，带来了分割稳定性的优势，之前由于短时间的观测，有些神经元钙信号可能只出现了短暂的时间（强度有限）或者压根没有出现，导致错误的分割了神经元或者遗漏了这一部分的神经元，对于后续的生物学研究是不利的，有了长时间观测的系统和方法可以带来更多更准确的数据，从而促进神经元编解码，钙成像相关领域的进步。

请参阅图5，图5示出了本申请实施例提供的一种基于钙成像恢复算法的双光子成像系统的结构示意图。

如图5所示，该基于钙成像恢复算法的双光子成像系统应用于双光子显微成像平台，双光子显微成像平台包括飞秒激光器、二向色镜、载物台以及探测器，该基于钙成像恢复算法的双光子成像系统至少可以包括标记模块501、控制模块502、转化模块503以及处理模块504，其中：

标记模块501，用于对固定在载物台上的生物样本进行钙离子探针标记；

控制模块502，用于控制飞秒激光器按照预设频率将飞秒激光射出至二向色镜，并由二向色镜将飞秒激光反射至生物样本表面；

转化模块503，用于基于探测器采集生物样本被激发出的荧光信号，并将荧光信号转化为待处理图像；

处理模块504，用于根据待处理图像、预设频率以及训练后的插帧恢复网络模型，得到目标图像；其中，目标图像的频率大于预设频率，目标图像对应的图像帧数大于待处理图像的图像帧数。

在一些可能的实施例中，双光子显微成像平台还包括设置在二向色镜以及载物台之间的筒镜，筒镜由至少两个聚焦透镜以及振镜组成；

控制模块包括：

第一控制单元，用于由二向色镜将飞秒激光反射至至少两个聚焦透镜，并由至少两个聚焦透镜对飞秒激光进行聚焦处理；

第二控制单元，用于按照第一轨迹控制振镜进行移动，以使振镜将处理后的飞秒激光射出至生物样本表面。

在一些可能的实施例中，双光子显微成像平台还包括设置在筒镜与载物台之间的物镜；

控制模块还包括：

获取单元，用于在由振镜将处理后的飞秒激光射出至生物样本表面之前，获取生物样本的成像深度，并基于生物样本的成像深度生成第二轨迹；

第二控制单元具体用于：

由振镜将处理后的飞秒激光射出至物镜；

按照第二轨迹控制物镜进行移动，并由物镜将处理后的飞秒激光射出至生物样本表面。

在一些可能的实施例中，转化模块包括：

第一转化单元，用于由探测器将荧光信号转化为电信号；

第二转化单元，用于基于图像重建算法对电信号进行处理，生成待处理图像。

在一些可能的实施例中，处理模块包括：

提取单元，用于按照预设采样帧率从待处理图像中提取出至少两帧子图像；

矩阵构建单元，用于基于至少两帧子图像对应的时间间隔以及帧数构建时间标识矩阵；

模型处理单元，用于对至少两帧子图像以及时间标识矩阵进行归一化处理，并根据处理后的至少两帧子图像、处理后的时间标识矩阵以及训练后的插帧恢复网络模型，得到目标图像。

在一些可能的实施例中，模型处理单元具体用于：

基于预设采样帧率以及生物样本的成像深度，在模型数据库中确定出目标插帧恢复网络模型；其中，模型数据库包括多个不同类型精度的训练后的插帧恢复网络模型，精度类型由预设采样帧率以及生物样本的成像深度确定；

将处理后的至少两帧子图像以及处理后的时间标识矩阵输入至目标插帧恢复网络模型，得到目标图像。

在一些可能的实施例中，在插帧恢复网络模型由多个已知至少三帧子图像的样本图像训练得到的过程中，将至少三帧子图像中的第一帧子图像以及最后一帧子图像作为训练数据，将至少三帧子图像中每一帧子图像作为验证数据；将训练数据输入至插帧恢复网络模型进行迭代训练，并通过损失函数对插帧恢复网络模型进行优化；当插帧恢复网络模型根据训练数据输出的预测数据与验证数据的相似度满足预设条件时，确定插帧恢复网络模型训练完成。

本领域的技术人员可以清楚地了解到本申请实施例的技术方案可借助软件和/或硬件来实现。本说明书中的“单元”和“模块”是指能够独立完成或与其他部件配合完成特定功能的软件和/或硬件，其中硬件例如可以是现场可编程门阵列（Field－ProgrammableGate Array，FPGA）、集成电路（Integrated Circuit，IC）等。

请参阅图6，图6示出了本申请实施例提供的又一种基于钙成像恢复算法的双光子成像系统的结构示意图。

如图6所示，该基于钙成像恢复算法的双光子成像系统600应用于双光子显微成像平台，双光子显微成像平台包括飞秒激光器、二向色镜、载物台以及探测器，该基于钙成像恢复算法的双光子成像系统600可以包括：至少一个处理器601、至少一个网络接口604、用户接口603、存储器605以及至少一个通信总线602。

其中，通信总线602可用于实现上述各个组件的连接通信。

其中，用户接口603可以包括按键，可选用户接口还可以包括标准的有线接口、无线接口。

其中，网络接口604可以但不局限于包括蓝牙模块、NFC模块、Wi-Fi模块等。

其中，处理器601可以包括一个或者多个处理核心。处理器601利用各种接口和线路连接整个电子设备600内的各个部分，通过运行或执行存储在存储器605内的指令、程序、代码集或指令集，以及调用存储在存储器605内的数据，执行路由设备600的各种功能和处理数据。可选的，处理器601可以采用DSP、FPGA、PLA中的至少一种硬件形式来实现。处理器601可集成CPU、GPU和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器601中，单独通过一块芯片进行实现。

其中，存储器605可以包括RAM，也可以包括ROM。可选的，该存储器605包括非瞬时性计算机可读介质。存储器605可用于存储指令、程序、代码、代码集或指令集。存储器605可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令（比如触控功能、声音播放功能、图像播放功能等）、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器605可选的还可以是至少一个位于远离前述处理器601的存储装置。如图6所示，作为一种计算机存储介质的存储器605中可以包括操作系统、网络通信模块、用户接口模块以及基于钙成像恢复算法的双光子成像应用程序。

具体地，处理器601可以用于调用存储器605中存储的基于钙成像恢复算法的双光子成像应用程序，并具体执行以下操作：

对固定在载物台上的生物样本进行钙离子探针标记；

控制飞秒激光器按照预设频率将飞秒激光射出至二向色镜，并由二向色镜将飞秒激光反射至生物样本表面；

基于探测器采集生物样本被激发出的荧光信号，并将荧光信号转化为待处理图像；

根据待处理图像以及训练后的插帧恢复网络模型，得到目标图像；其中，目标图像对应的子图像帧数大于待处理图像的子图像帧数，插帧恢复网络模型由多个已知至少三帧子图像的样本图像训练得到。

在一些可能的实施例中，双光子显微成像平台还包括设置在二向色镜以及载物台之间的筒镜，筒镜由至少两个聚焦透镜以及振镜组成；

由二向色镜将飞秒激光反射至生物样本表面，包括：

由二向色镜将飞秒激光反射至至少两个聚焦透镜，并由至少两个聚焦透镜对飞秒激光进行聚焦处理；

按照第一轨迹控制振镜进行移动，以使振镜将处理后的飞秒激光射出至生物样本表面。

在一些可能的实施例中，双光子显微成像平台还包括设置在筒镜与载物台之间的物镜；

在由振镜将处理后的飞秒激光射出至生物样本表面之前，还包括：

获取生物样本的成像深度，并基于生物样本的成像深度生成第二轨迹；

由振镜将处理后的飞秒激光射出至生物样本表面，包括：

由振镜将处理后的飞秒激光射出至物镜；

按照第二轨迹控制物镜进行移动，并由物镜将处理后的飞秒激光射出至生物样本表面。

在一些可能的实施例中，将荧光信号转化为待处理图像，包括：

由探测器将荧光信号转化为电信号；

基于图像重建算法对电信号进行处理，生成待处理图像。

在一些可能的实施例中，根据待处理图像以及训练后的插帧恢复网络模型，得到目标图像，包括：

按照预设采样帧率从待处理图像中提取出至少两帧子图像；

基于至少两帧子图像对应的时间间隔以及帧数构建时间标识矩阵；

对至少两帧子图像以及时间标识矩阵进行归一化处理，并根据处理后的至少两帧子图像、处理后的时间标识矩阵以及训练后的插帧恢复网络模型，得到目标图像。

在一些可能的实施例中，根据处理后的至少两帧子图像、处理后的时间标识矩阵以及训练后的插帧恢复网络模型，得到目标图像，包括：

基于预设采样帧率以及生物样本的成像深度，在模型数据库中确定出目标插帧恢复网络模型；其中，模型数据库包括多个不同类型精度的训练后的插帧恢复网络模型，精度类型由预设采样帧率以及生物样本的成像深度确定；

将处理后的至少两帧子图像以及处理后的时间标识矩阵输入至目标插帧恢复网络模型，得到目标图像。

在一些可能的实施例中，在插帧恢复网络模型由多个已知至少三帧子图像的样本图像训练得到的过程中，将至少三帧子图像中的第一帧子图像以及最后一帧子图像作为训练数据，将至少三帧子图像中每一帧子图像作为验证数据；将训练数据输入至插帧恢复网络模型进行迭代训练，并通过损失函数对插帧恢复网络模型进行优化；当插帧恢复网络模型根据训练数据输出的预测数据与验证数据的相似度满足预设条件时，确定插帧恢复网络模型训练完成。

本申请还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。其中，计算机可读存储介质可以包括但不限于任何类型的盘，包括软盘、光盘、DVD、CD-ROM、微型驱动器以及磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪速存储器设备、磁卡或光卡、纳米系统（包括分子存储器IC），或适合于存储指令和/或数据的任何类型的媒介或设备。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器（Read-Only Memory， ROM）、随机存取存储器（Random Access Memory，RAM）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通进程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器（Read-Only Memory， ROM）、随机存取器（Random AccessMemory，RAM）、磁盘或光盘等。

以上所述者，仅为本公开的示例性实施例，不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰，皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践这里的公开后，将容易想到本公开的其实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的范围和精神由权利要求限定。

Claims (7)

1.一种基于钙成像恢复算法的双光子成像方法，其特征在于，所述方法应用于双光子显微成像平台，所述双光子显微成像平台包括飞秒激光器、二向色镜、载物台以及探测器，所述方法包括：

对固定在所述载物台上的生物样本进行钙离子探针标记；

控制所述飞秒激光器按照预设频率将飞秒激光射出至所述二向色镜，并由所述二向色镜将所述飞秒激光反射至所述生物样本表面；

基于所述探测器采集所述生物样本被激发出的荧光信号，并将所述荧光信号转化为待处理图像；

其中，所述探测器设置在所述生物样本所激发出的荧光信号的射出路径上，以当所述飞秒激光垂直射出至所述生物样本表面时，所述生物样本可将激发出的所述荧光信号沿着与所述飞秒激光相反的方向射出，并由垂直设置在所述生物样本上方的所述探测器采集；

其中，所述探测器设置在所述二向色镜的上方，以利用所述二向色镜的透射特性，快速采集所述生物样本所激发出的荧光信号；

根据所述待处理图像以及训练后的插帧恢复网络模型，得到目标图像；其中，所述目标图像对应的子图像帧数大于所述待处理图像的子图像帧数，所述插帧恢复网络模型由多个已知至少三帧子图像的样本图像训练得到；

其中，所述根据所述待处理图像以及训练后的插帧恢复网络模型，得到目标图像，包括：

按照预设采样帧率从所述待处理图像中提取出至少两帧子图像；

基于所述至少两帧子图像对应的时间间隔以及帧数构建时间标识矩阵；

对所述至少两帧子图像以及所述时间标识矩阵进行归一化处理，并根据处理后的所述至少两帧子图像、处理后的所述时间标识矩阵以及训练后的插帧恢复网络模型，得到目标图像；

其中，所述根据处理后的所述至少两帧子图像、处理后的所述时间标识矩阵以及训练后的插帧恢复网络模型，得到目标图像，包括：

基于所述预设采样帧率以及生物样本的成像深度，在模型数据库中确定出目标插帧恢复网络模型；其中，所述模型数据库包括多个不同类型精度的训练后的插帧恢复网络模型，所述精度类型由所述预设采样帧率以及所述生物样本的成像深度确定；

将处理后的所述至少两帧子图像以及处理后的所述时间标识矩阵输入至目标插帧恢复网络模型，得到目标图像；

其中，在所述插帧恢复网络模型由多个已知至少三帧子图像的样本图像训练得到的过程中，将所述至少三帧子图像中的第一帧子图像以及最后一帧子图像作为训练数据，将所述至少三帧子图像中每一帧子图像作为验证数据；将所述训练数据输入至所述插帧恢复网络模型进行迭代训练，并通过损失函数对所述插帧恢复网络模型进行优化；当所述插帧恢复网络模型根据所述训练数据输出的预测数据与所述验证数据的相似度满足预设条件时，确定所述插帧恢复网络模型训练完成。

2.根据权利要求1所述的方法，其特征在于，所述双光子显微成像平台还包括设置在所述二向色镜以及所述载物台之间的筒镜，所述筒镜由至少两个聚焦透镜以及振镜组成；

所述由所述二向色镜将所述飞秒激光反射至所述生物样本表面，包括：

由所述二向色镜将所述飞秒激光反射至所述至少两个聚焦透镜，并由所述至少两个聚焦透镜对所述飞秒激光进行聚焦处理；

按照第一轨迹控制所述振镜进行移动，以使所述振镜将处理后的所述飞秒激光射出至所述生物样本表面。

3.根据权利要求2所述的方法，其特征在于，所述双光子显微成像平台还包括设置在所述筒镜与所述载物台之间的物镜；

在所述由所述振镜将处理后的所述飞秒激光射出至所述生物样本表面之前，还包括：

获取所述生物样本的成像深度，并基于所述生物样本的成像深度生成第二轨迹；

所述由所述振镜将处理后的所述飞秒激光射出至所述生物样本表面，包括：

由所述振镜将处理后的所述飞秒激光射出至所述物镜；

按照所述第二轨迹控制所述物镜进行移动，并由所述物镜将处理后的所述飞秒激光射出至所述生物样本表面。

4.根据权利要求1所述的方法，其特征在于，所述将所述荧光信号转化为待处理图像，包括：

由所述探测器将所述荧光信号转化为电信号；

基于图像重建算法对所述电信号进行处理，生成待处理图像。

5.一种基于钙成像恢复算法的双光子成像系统，其特征在于，所述系统应用于双光子显微成像平台，所述双光子显微成像平台包括飞秒激光器、二向色镜、载物台以及探测器，所述系统包括：

标记模块，用于对固定在所述载物台上的生物样本进行钙离子探针标记；

控制模块，用于控制所述飞秒激光器按照预设频率将飞秒激光射出至所述二向色镜，并由所述二向色镜将所述飞秒激光反射至所述生物样本表面；

转化模块，用于基于所述探测器采集所述生物样本被激发出的荧光信号，并将所述荧光信号转化为待处理图像；

其中，所述探测器设置在所述生物样本所激发出的荧光信号的射出路径上，以当所述飞秒激光垂直射出至所述生物样本表面时，所述生物样本可将激发出的所述荧光信号沿着与所述飞秒激光相反的方向射出，并由垂直设置在所述生物样本上方的所述探测器采集；

其中，所述探测器设置在所述二向色镜的上方，以利用所述二向色镜的透射特性，快速采集所述生物样本所激发出的荧光信号；

处理模块，用于根据所述待处理图像、所述预设频率以及训练后的插帧恢复网络模型，得到目标图像；其中，所述目标图像的频率大于所述预设频率，所述目标图像对应的图像帧数大于所述待处理图像的图像帧数；

其中，所述根据所述待处理图像以及训练后的插帧恢复网络模型，得到目标图像，包括：

按照预设采样帧率从所述待处理图像中提取出至少两帧子图像；

基于所述至少两帧子图像对应的时间间隔以及帧数构建时间标识矩阵；

对所述至少两帧子图像以及所述时间标识矩阵进行归一化处理，并根据处理后的所述至少两帧子图像、处理后的所述时间标识矩阵以及训练后的插帧恢复网络模型，得到目标图像；

其中，所述根据处理后的所述至少两帧子图像、处理后的所述时间标识矩阵以及训练后的插帧恢复网络模型，得到目标图像，包括：

基于所述预设采样帧率以及生物样本的成像深度，在模型数据库中确定出目标插帧恢复网络模型；其中，所述模型数据库包括多个不同类型精度的训练后的插帧恢复网络模型，所述精度类型由所述预设采样帧率以及所述生物样本的成像深度确定；

将处理后的所述至少两帧子图像以及处理后的所述时间标识矩阵输入至目标插帧恢复网络模型，得到目标图像；

其中，在所述插帧恢复网络模型由多个已知至少三帧子图像的样本图像训练得到的过程中，将所述至少三帧子图像中的第一帧子图像以及最后一帧子图像作为训练数据，将所述至少三帧子图像中每一帧子图像作为验证数据；将所述训练数据输入至所述插帧恢复网络模型进行迭代训练，并通过损失函数对所述插帧恢复网络模型进行优化；当所述插帧恢复网络模型根据所述训练数据输出的预测数据与所述验证数据的相似度满足预设条件时，确定所述插帧恢复网络模型训练完成。

6.一种基于钙成像恢复算法的双光子成像系统，其特征在于，所述系统应用于双光子显微成像平台，所述双光子显微成像平台包括飞秒激光器、二向色镜、载物台以及探测器，所述系统包括处理器以及存储器；

所述处理器与所述存储器连接；

所述存储器，用于存储可执行程序代码；

所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行如权利要求1-4任一项所述方法的步骤。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在计算机或处理器上运行时，使得所述计算机或处理器执行如权利要求1-4任一项所述方法的步骤。