CN110680284A - 一种基于3D-Unet的介观荧光分子成像三维重建方法及系统 - Google Patents

一种基于3D-Unet的介观荧光分子成像三维重建方法及系统 Download PDF

Info

Publication number
CN110680284A
CN110680284A CN201910986976.3A CN201910986976A CN110680284A CN 110680284 A CN110680284 A CN 110680284A CN 201910986976 A CN201910986976 A CN 201910986976A CN 110680284 A CN110680284 A CN 110680284A
Authority
CN
China
Prior art keywords
data set
residual error
error module
fluorescence
unet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910986976.3A
Other languages
English (en)
Inventor
杨福刚
杜慧
王玉玲
弓雪
陈洋
张艳丽
郑毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Technology and Business University
Original Assignee
Shandong Technology and Business University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Technology and Business University filed Critical Shandong Technology and Business University
Priority to CN201910986976.3A priority Critical patent/CN110680284A/zh
Publication of CN110680284A publication Critical patent/CN110680284A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

本发明公开了一种基于3D‑Unet的介观荧光分子成像三维重建方法及系统，包括：获取生物组织表面光子通量，得到生物组织表面荧光光子强度测量数据集；基于计算机仿真生成的内嵌荧光生物标签的仿体，得到光子强度仿真数据集；将生物组织表面荧光光子强度测量数据集与仿真数据集混合，并选择其中一部分作为训练数据集；基于训练数据集进行3D‑Unet网络模型的训练，得到模型参数；对介观尺度的生物组织内部生物标签进行三维重建。本发明较传统三维重建方法，重建效率和鲁棒性更高，得到的重建结果具有更高的精度和分辨率，更适用于介观尺度生物标签的三维重建。

Description

一种基于3D-Unet的介观荧光分子成像三维重建方法及系统
技术领域
本发明属于介观尺度荧光分子层析成像技术领域，尤其涉及一种基于3D-Unet的介观荧光分子成像三维重建方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
光学分子影像学是近十几年来蓬勃发展的新型成像模态。随着生物荧光蛋白技术不断发展，使得荧光分子影像技术能够更精准地介入生物生理过程进行跟踪观察。在分子影像学诸多成像模态中，因工作原理和工作方式不同而各具不同性能，适用于不同的应用领域。光学分子成像技术根据成像深度的不同，分为显微光学成像、介观光学成像和宏观光学成像三种。显微光学成像的成像深度较为有限(几百微米)，主要针对细胞进行成像。宏观光学成像技术通常具有几厘米的成像深度，但其分辨率往往被限制在毫米量级，主要针对身体器官进行成像。而介观光学成像则以毫米级的成像深度和数十到几百微米的成像分辨率填补了微观和宏观光学成像在成像深度和空间分辨率的空白地带，主要针对生物组织进行成像。微观和宏观光学成像尺度上均有较多的三维成像重建技术，而在介观光学成像尺度上则缺乏快速的三维重建方法。介观荧光分子层析成像(Mesoscopic FluorescenceMolecular Tomography，MFMT)正好填补了光学分子成像在介观尺度上的空白地带，该技术能够对介观尺度的生物组织内部的生化反应及其变化过程进行实时、定量观测。
然而，介观荧光分子层析成像系统只能在生物组织表面探测经过生物组织内部多次散射、反射、吸收后的光子信号，无法直接获取生物组织的内部空间信息，所以必须通过相应的三维重建算法才能复原出生物组织内部荧光标签或肿瘤靶标的三维分布。而由于荧光光子数量和强度随深度增加呈指数衰减，这使得在较深位置获得荧光团分布的三维重建变得更加困难，其三维重建过程是一个不适定、病态问题。同时，由于介观尺度重建空间分辨率高，所需数据量很大，这使得传统的迭代重建算法不仅耗时巨大，且重建精度和分辨率都会受到限制。
发明内容
为克服上述现有基于传统串行迭代算法进行三维重建的技术不足，本发明提供了一种基于3D-Unet的介观荧光分子成像三维重建方法及系统，能够以较快的计算速度得到更高精度和分辨率的重建结果，更加适应于介观尺度的荧光分子成像三维重建。
为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
一种基于3D-Unet的介观荧光分子成像三维重建方法，包括：
获取生物组织表面光子通量，得到生物组织表面荧光光子测量数据集；
基于计算机仿真生成的内嵌荧光生物标签的仿体，得到其光子强度仿真数据集；
将生物组织表面荧光光子测量数据集与仿真数据集混合，并随机选择其中一部分作为训练数据集；
基于训练数据集进行3D-Unet网络模型的训练，得到模型参数；
对介观尺度的生物组织内部生物标签或肿瘤靶标进行三维重建。
进一步地，将生物组织表面荧光测量数据集与仿真数据集混合，包括：
通过多次仿真生成多个荧光光子强度的仿真数据集，每次生成的数据均是一个m×n矩阵数据；
对每次生成的数据集分别添加三种不同信噪比的高斯噪声，从而在三种信噪比噪声下均得到多组m×n矩阵数据；
分别从含有三种信噪比噪声的多个仿真数据集中随机抽取一个，再分别从抽取出来的三种仿真数据集中随机抽取25％，同时随机抽取测量数据集的25％。将从三个仿真数据集和测量数据集中随机抽取的数据组合成一个新m×n矩阵数据；将上述随机抽取和组合过程重复多次，得到多个重新组合的m×n矩阵数据；
将多个重新组合的m×n的矩阵数据转换为三维数据并保存。
进一步地，所述3D-Unet网络模型包括：十四个残差模块、三个最大池化单元、三个转置卷积单元和一个输出单元。
进一步地，第一残差模块的输出端依次连接第二残差模块、第十三残差模块和第十四残差模块；第二残差模块的输出端还连接至第一最大池化单元；
第一最大池化单元的输出端依次连接第三残差模块、第四残差模块、第十一残差模块、第十二残差模块和第三转置卷积单元；第四残差模块的输出端还连接至第二最大池化单元；第三转置卷积单元的输出端连接至第十三残差模块；
第二最大池化单元的输出端依次连接第五残差模块、第六残差模块、第九残差模块、第十残差模块和第二转置卷积单元；第六残差模块的输出端还连接至第三最大池化单元；第二转置卷积单元的输出端连接至第十一残差模块；
第三最大池化单元的输出端依次连接第七残差模型、第八残差模型和第一转置卷积单元；第一转置卷积单元的输出端连接至第九残差模块；
其中，第一残差模块的输入端为3D-Unet网络模型的输入端，用于输入数据集；第十四残差模块的输出端连接输出单元。
进一步地，将生物组织表面荧光测量数据集与仿真数据集混合后，划分为训练数据集、验证数据集和测试数据集；
基于训练数据集进行3D-Unet网络模型的训练后，基于验证数据集进行验证；最后，基于测试数据集优化3D-Unet网络模型。
一个或多个实施例提供了一种基于3D-Unet的介观荧光分子成像三维重建系统，包括：
测量数据获取模块，获取生物组织表面光子通量，得到生物组织表面荧光光子通量的测量数据集；
仿真数据获取模块，基于计算机仿真技术生成内嵌荧光生物标签的仿体，得到光子强度仿真数据集；
组合数据获取模块，将生物组织表面荧光测量数据集与仿真数据集混合，并选择其中一部分作为训练数据集；
网络模型训练模块，基于训练数据集进行3D-Unet网络模型的训练，得到模型参数；
三维重建模块，对介观尺度的生物组织内部生物标签进行三维重建。
一个或多个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的基于3D-Unet的介观荧光分子成像三维重建方法。
一个或多个实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的基于3D-Unet的介观荧光分子成像三维重建方法。
以上一个或多个技术方案存在以下有益效果：
本发明引入深度学习神经网络，对介观尺度的生物组织内部生物标签进行三维重建，将实际测量数据和计算机仿真数据进行融合来作为训练数据集，一方面增加了样本数量，保证了模型的训练精度和泛化能力，相较于传统重建方法，最终重建得到的三维图像分辨率更高，更加适合于介观尺度的荧光分子成像，有望填补肿瘤靶向疗法中空间成像分辨率在介观尺度上的空白，可提供丰富的肿瘤靶区三维生理信息。并且，通过训练数据集训练、验证数据集验证和测试数据集优化的方式，提高了模型的泛化能力，保证了模型具有较高的鲁棒性和稳定性；另一方面，本发明所提出的深度学习重建算法是基于并行运算架构，其重建速度远远高于传统串行迭代算法，这为该技术的临床快捷应用提供可能。同时，由于所设计的网络模型中含有多个卷积层，不仅可以自主提取训练数据中的有效特征，而且能够去除冗余数据量，且抗噪性能强，使得重建图像分辨率和精度更高。
本发明采用包含十四个残差模块、三个最大池化单元、三个转置卷积单元和一个输出单元的3D-Unet网络架构，相较于原来的3D-Unet网络架构，本发明网络架构设计使用了残差模块，以防止在梯度消失的情况下加深卷积网络，从而取得更高层次的特征。但是，网络越深，参数学习越困难，过多的网络层次反而使得三维重建效率和精确度下降，本发明所述深度学习网络架构模型的网络深度能够兼顾重建效率和精确度。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明一个或多个实施例中基于3D-Unet的介观荧光分子成像三维重建方法流程图；
图2为本发明一个或多个实施例中3D-Unet网络结构图；
图3为本发明一个或多个实施例中残差模块内部结构图；
图4为本发明一个或多个实施例中输出单元结构图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
本实施例公开了一种基于3D-Unet的介观荧光分子成像三维重建方法，包括：
步骤1：利用电子倍增电荷耦合相机(Election Multiplying CCD，EMCCD)收集生物组织表面光子通量，得到生物组织表面荧光光子强度测量数据集；
步骤2：通过计算机模拟仿真生成内嵌荧光生物标签仿体的光子强度仿真数据集；
步骤2.1：采用与MFMT光学系统完全一致的光学系统参数，在计算机上仿真生成内嵌生物标签的仿体；
步骤2.2：通过荧光分子层析成像中光子传播描述方程，得到仿体荧光光子强度仿真数据；
步骤2.2.1：通过辐射传输方程(RTE)描述荧光分子层析成像中的稳态光子传播过程，在扩散近似下，化简为具有Robin边界条件的耦合扩散方程，如下：
Figure BDA0002237001650000061
Figure BDA0002237001650000062
其中x和e分别代表激发光和发射光，r代表荧光激发位置，D代表扩散系数，μ代表吸收系数，Q代表激发源的分布，μx，μe分别表示激发光和发射光的光子密度分布，η·μaf(r)代表需要重建的生物组织内部生物标签；
步骤2.2.2：基于蒙特卡洛仿真方法，结合Robin边界条件，将步骤2.2.1中的耦合扩散方程转化为以下两个式子：
Figure BDA0002237001650000063
步骤2.2.3：将步骤2.2.2中的两个式子转化成一个式子，即FMT问题可以表示为以下等式：
Figure BDA0002237001650000072
其中，A∈Rm×n代表m行×n列敏感矩阵，
Figure BDA0002237001650000073
表示生物组织表面荧光测量值。
步骤3：对仿真数据集添加不同信噪比的高斯噪声进行数据扩增，并与生物组织表面荧光测量数据集混合用作3D-Unet网络模型的训练数据集、测试数据集、验证数据集；
步骤3.1：通过计算机仿真生成的仿体荧光强度仿真数据是一个m×n矩阵数据，对每次生成的数据分别添加1％，5％，10％的高斯噪声，在每种信噪比噪声下分别扩展出多组m×n矩阵数据；
步骤3.2：分别利用添加1％，5％，10％的三种不同信噪比噪声数据集来扩增出多组数据，并随机抽取一组。随机抽取三组仿真数据集的25％，同时随机抽取测量数据集的25％，将随机抽取的4种25％的数据随机组合成一个新的m×n矩阵数据，如步骤3.2所述方法，循环多次；
步骤3.3：将重新组合成的多组m×n矩阵数据转换成l×w×h的三维数据(l、w、h分别对应生理切片的长、宽、高)，并保存为nii格式的图像文件；
步骤3.4：调整仿体中内嵌生物标签的深度位置，以增加仿真的次数，每次都对得到的仿体荧光强度仿真数据进行上述3.1-3.3三步处理，以增加网络模型的泛化能力。
步骤4：搭建由十四个残差模块、三个最大池化单元、三个转置卷积单元和一个输出单元组成的3D-Unet网络模型架构；
所述的十四个残差模块中的每一个残差模块如图3所示均包括第一3D卷积子单元、第一3D批量归一化子单元、第一LeakyReLU子单元、第二3D卷积子单元、第二3D批量归一化子单元和第二LeakyReLU子单元；其中，第一3D卷积子单元的输入端接收外部数据，两个输出端分别与第一3D批量归一化子单元和第二LeakyReLU子单元连接，第一3D批量归一化子单元的输出端与第一LeakyReLU子单元连接，第一LeakyReLU子单元的输出端与第二3D卷积子单元连接，第二3D卷积子单元的输出端与第二3D批量归一化子单元连接，第二3D批量归一化子单元与第二LeakyReLU子单元连接，第二LeakyReLU子单元输出处理后的数据；其中，第一残差模块、第二残差模块、第十三残差模块和第十四残差模块中的两个3D卷积核个数均为16，第三残差模块、第四残差模块、第十一残差模块和第十二残差模块中的两个3D卷积核个数均为32，第五残差模块、第六残差模块、第九残差模块和第十残差模块中的两个3D卷积核个数均为64，第七残差模块和第八残差模块中的两个3D卷积核个数均为128，并且所有残差模块中第一3D卷积子单元和第二3D卷积子单元的卷积核大小均为3、步长均为1；
所述的三个最大池化单元的卷积核个数均为2，步长均为2，大小为2；
所述的3D转置卷积子单元的卷积核个数均为2，步长为2，大小为2；
所述的输出单元如图4，所示包括顺次连接的第三3D卷积子单元、第三LeakyReLU子单元、第四3D卷积子单元和一个sigmoid激活函数；第三3D卷积子单元的输入端接收外部数据，第四3D卷积子单元的输出端输出处理后的数据；其中，第三3D卷积子单元的卷积核个数为64、卷积核大小为1、步长为1，第四3D卷积子单元的卷积核个数为1，卷积核大小为1，步长为1；
其中如图2所示：第一残差模块的输入端输入训练样本集，输出端与第二残差模块连接，第二残差模块的两个输出端分别与第一最大池化和第十三残差模块连接，第一最大池化的输出端与第三残差模块的输入端连接，第三残差模块的输出端连接第四残差模块，第四残差模块的两个输出端分别与第二最大池化和第十一残差模块连接，第二最大池化输出端与第五残差模块连接，第五残差模块输出端与第六残差模块连接，第六残差模块的两个输出端分别与第三最大池化和第九残差模块连接，第三最大池化输出端与第七残差模块连接，第七残差块的输出端与第八残差模块连接，第八残差模块的输出端连接第一转置卷积，第一转置卷积的输出端连接第九残差模块，第九残差模块的输出端连接第十残差模块，第十残差模块的输出端与第二转置卷积相连，第二转置卷积的输出端连接第十一残差模块，第十一残差模块的输出端连接第十二残差模块，第十二残差模块的输出端连接第三转置卷积，第三转置卷积的输出端连接第十三残差模块，第十三残差模块的输出端连接第十四残差模块，第十四残差模块的输出端连接输出单元。
相较于原来的3D-Unet网络架构，本发明网络架构设计使用了残差模块，以防止在梯度消失的情况下加深卷积网络，从而取得更高层次的特征。但是，网络越深，参数学习越困难，过多的网络层次反而使得三维重建效率和精确度下降，基于此，最终设计出所述深度学习网络架构模型。
步骤5：将训练数据集和验证数据集输入到3D-Unet网络模型中，对网络模型分别进行训练和验证，并使用随机梯度下降算法(SGD)优化网络参数；
具体地，将训练数据集和验证数据集输入到3D-Unet网络模型中，对网络模型分别进行训练和验证，并使用随机梯度下降算法(SGD)优化网络参数；
在前向传播算法中，得到预测重建的生物组织内部生物标签数据；
在反向传播算法中，选取LeakyReLU作为激活函数，如下式：
f(z)＝max(0，x)+leak*min(0,x)
式中，leak是一个很小的常数，用以保留一些负轴的值，使得负轴的信息不会全部丢失；
采用均方误差作为损失函数，通过最小化损失函数来优化网络，如式：
Figure BDA0002237001650000101
该网络模型在Tensorflow-gpu1.13.0和Python3.7软件环境上实现，训练批量大小为100，训练500个周期。为防止训练次数过多出现过拟合或训练次数过少出现欠拟合的情况，而设置了early_stopping_patience＝50，patience＝10，使网络模型自主训练到合适次数后停止。学习率设定为按原始值10-3呈指数衰减。采用随机梯度下降法(SGD)优化网络模型，反复训练网络模型以更新权重W和偏置b，直至收敛，结束训练过程。利用NVIDIAGeForce GTX1080Ti的GPU进行并行运算，加速上述算法运算速度，提高整体重构效率。
步骤6：输入测试数据集验证3D-Unet网络模型的泛化能力并采用验证后的网络模型对介观尺度的生物组织内部生物标签进行三维重建；
实施例二
本实施例的目的是提供一种基于3D-Unet的介观荧光分子成像三维重建系统。
为了实现上述目的，本实施例提供了如下一种技术方案：
一种基于3D-Unet的介观荧光分子成像三维重建系统，其特征在于，包括：
测量数据获取模块，获取生物组织表面光子通量，得到生物组织表面荧光光子强度测量数据集；
仿真数据获取模块，基于计算机仿真生成的内嵌荧光生物标签的仿体，得到光子强度仿真数据集；
组合数据获取模块，将生物组织表面荧光测量数据集与仿真数据集混合，并选择其中一部分作为训练数据集；
网络模型训练模块，基于训练数据集进行3D-Unet网络模型的训练，得到模型参数；
三维重建模块，对介观尺度的生物组织内部生物标签进行三维重建。
实施例三
本实施例的目的是提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行以下步骤：
获取生物组织表面荧光光子通量，得到生物组织表面荧光测量数据集；
基于计算机仿真生成内嵌荧光生物标签的仿体，得到光子强度仿真数据集；
将生物组织表面荧光测量数据集与仿真数据集混合，并选择其中一部分作为训练数据集；
基于训练数据集进行3D-Unet网络模型的训练，得到模型参数；
对介观尺度的生物组织内部生物标签进行三维重建。
实施例四
本实施例的目的是提供一种电子设备。
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤，包括：
获取生物组织表面荧光光子通量，得到生物组织表面荧光光子测量数据集；
基于计算机仿真生成的内嵌荧光生物标签的仿体，得到光子强度仿真数据集；
将生物组织表面荧光测量数据集与仿真数据集混合，并随机选择其中一部分作为训练数据集；
基于训练数据集进行3D-Unet网络模型的训练，得到模型参数；
对介观尺度的生物组织内部生物标签进行三维重建。
以上实施例二、三和四中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。
以上一个或多个实施例具有以下技术效果：
本发明引入深度学习神经网络，对介观尺度的生物组织内部生物标签进行三维重建，将实际测量数据和计算机仿真数据进行融合来获取输入数据集，增加了样本数量，保证了模型的训练精度和鲁棒性，相较于传统重建方法，最终重建得到的三维图像分辨率更高，更加适合于介观尺度的荧光分子成像，有望填补肿瘤靶向疗法中介观尺度的成像分辨率空白，可够提供肿瘤靶区丰富的三维生理信息。并且，通过采用训练数据集训练、验证数据集验证和测试数据集优化的方式，提高了模型的泛化能力，保证了模型具有较高的精确度、鲁棒性和稳定性。
本发明采用包含十四个残差模块、三个最大池化单元、三个转置卷积单元和一个输出单元的3D-Unet网络架构，相较于原来的3D-Unet网络架构，本发明网络架构设计使用了残差模块，以防止在梯度消失的情况下加深卷积网络，从而取得更高层次的特征。但是，网络越深，参数学习越困难，过多的网络层次反而使得三维重建效率和精确度下降，本发明所述深度学习网络架构模型的网络深度能够兼顾重建效率和精确度。
本发明提出了一种“端到端”的利用3D-Unet网络模型进行介观荧光分子成像三维重建的算法。基于该架构和相应的仪器和测量数据，可对生物组织内部深层荧光标签三维分布进行快速成像。所述“端到端”是指从输入端(输入数据)到输出端后得到一个预测结果，与真实结果相比较会得到一个误差，该误差会在模型中的每一层反向传播。每一层的表示都会根据该误差进行相应调整，直到模型收敛。相比与“非端到端”，“端到端”的学习省去了在每一个独立学习任务执行之前所做的数据标注，而为样本做标注会使得整个网络效率降低，且容易引入中间误差。
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (9)

1.一种基于3D-Unet的介观荧光分子成像三维重建方法，其特征在于，包括:
获取生物组织表面荧光光子通量，得到生物组织表面荧光光子强度测量数据集；
基于计算机仿真生成的内嵌荧光生物标签的仿体，得到光子强度仿真数据集；
将生物组织表面荧光光子强度测量数据集与仿真数据集混合，并随机选择其中一部分作为训练数据集；
基于训练数据集进行3D-Unet网络模型的训练，得到模型参数；
对介观尺度的生物组织内部生物标签进行三维重建。
2.如权利要求1所述的基于3D-Unet的介观荧光分子成像三维重建方法，其特征在于，得到荧光光子强度仿真数据集包括：
采用与介观荧光分子层析成像系统一致的参数，通过计算机仿真生成内嵌生物标签的仿体；
通过荧光分子层析成像中光子传播描述方程，得到仿体荧光光子强度仿真数据；
调整仿体中内嵌生物标签的深度位置，进行多次仿真。
3.如权利要求1所述的基于3D-Unet的介观荧光分子成像三维重建方法，其特征在于，将生物组织表面荧光测量数据集与仿真数据集混合包括：
通过多次仿真生成多个荧光光子强度仿真数据，每次生成的数据均是一个m×n矩阵数据；
对每次生成的数据分别添加三种不同的高斯噪声，从而在三种信噪比噪声下均可扩增得到多组m×n矩阵数据；
分别从三种信噪比噪声下的多个仿真数据集中随机抽取一个，再分别从抽取出来的三个仿真数据集中随机抽取25％，同时随机抽取测量数据集的25％，将从三个仿真数据和测量数据中随机抽取的数据组合成一个m×n矩阵数据；将上述随机抽取和组合过程重复多次，得到多个重新组合的m×n矩阵数据；
将多个重新组合的m×n的矩阵数据转换成三维数据并保存。
4.如权利要求1所述的基于3D-Unet的介观荧光分子成像三维重建方法，其特征在于，所述3D-Unet网络模型包括：十四个残差模块、三个最大池化单元、三个转置卷积单元和一个输出单元。
5.如权利要求4所述的基于3D-Unet的介观荧光分子成像三维重建方法，其特征在于，第一残差模块的输出端依次连接第二残差模块、第十三残差模块和第十四残差模块；第二残差模块的输出端还连接至第一最大池化单元；
第一最大池化单元的输出端依次连接第三残差模块、第四残差模块、第十一残差模块、第十二残差模块和第三转置卷积单元；第四残差模块的输出端还连接至第二最大池化单元；第三转置卷积单元的输出端连接至第十三残差模块；
第二最大池化单元的输出端依次连接第五残差模块、第六残差模块、第九残差模块、第十残差模块和第二转置卷积单元；第六残差模块的输出端还连接至第三最大池化单元；第二转置卷积单元的输出端连接至第十一残差模块；
第三最大池化单元的输出端依次连接第七残差模型、第八残差模型和第一转置卷积单元；第一转置卷积单元的输出端连接至第九残差模块；
其中，第一残差模块的输入端为3D-Unet网络模型的输入端，用于输入训练数据集；第十四残差模块的输出端连接输出单元。
6.如权利要求1所述的基于3D-Unet的介观荧光分子成像三维重建方法，其特征在于，将生物组织表面荧光测量数据集与仿真数据集混合后，划分为训练数据集、验证数据集和测试数据集；
基于训练数据集进行3D-Unet网络模型的训练后，基于验证数据集进行验证；最后基于测试数据集优化3D-Unet网络模型。
7.一种基于3D-Unet的介观荧光分子成像三维重建系统，其特征在于，包括：
测量数据获取模块，获取生物组织表面荧光光子通量，得到生物组织表面荧光测量数据集；
仿真数据获取模块，基于计算机仿真生成的内嵌荧光生物标签的仿体，得到光子强度仿真数据集；
组合数据获取模块，将生物组织表面荧光测量数据集与仿真数据集混合，并选择其中一部分作为训练数据集；
网络模型训练模块，基于训练数据集进行3D-Unet网络模型的训练，得到模型参数；
三维重建模块，对介观尺度的生物组织内部生物标签进行三维重建。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6任一项所述的基于3D-Unet的介观荧光分子成像三维重建方法。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6任一项所述的基于3D-Unet的介观荧光分子成像三维重建方法。
CN201910986976.3A 2019-10-17 2019-10-17 一种基于3D-Unet的介观荧光分子成像三维重建方法及系统 Withdrawn CN110680284A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910986976.3A CN110680284A (zh) 2019-10-17 2019-10-17 一种基于3D-Unet的介观荧光分子成像三维重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910986976.3A CN110680284A (zh) 2019-10-17 2019-10-17 一种基于3D-Unet的介观荧光分子成像三维重建方法及系统

Publications (1)

Publication Number Publication Date
CN110680284A true CN110680284A (zh) 2020-01-14

Family

ID=69113335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910986976.3A Withdrawn CN110680284A (zh) 2019-10-17 2019-10-17 一种基于3D-Unet的介观荧光分子成像三维重建方法及系统

Country Status (1)

Country Link
CN (1) CN110680284A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111310903A (zh) * 2020-02-24 2020-06-19 清华大学 基于卷积神经网络的三维单分子定位系统
CN112785592A (zh) * 2021-03-10 2021-05-11 河北工业大学 基于多重扩张路径的医学影像深度分割网络
WO2021246968A1 (en) * 2020-06-05 2021-12-09 National University Of Singapore Deep fluorescence imaging by laser-scanning excitation and artificial neural network processing
CN115825032A (zh) * 2023-02-08 2023-03-21 之江实验室 一种数字化荧光仿生模体成像方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111310903A (zh) * 2020-02-24 2020-06-19 清华大学 基于卷积神经网络的三维单分子定位系统
WO2021246968A1 (en) * 2020-06-05 2021-12-09 National University Of Singapore Deep fluorescence imaging by laser-scanning excitation and artificial neural network processing
CN112785592A (zh) * 2021-03-10 2021-05-11 河北工业大学 基于多重扩张路径的医学影像深度分割网络
CN115825032A (zh) * 2023-02-08 2023-03-21 之江实验室 一种数字化荧光仿生模体成像方法及系统
US12109073B2 (en) 2023-02-08 2024-10-08 Zhejiang Lab Meta fluorescence tissue mimicking phantom of imaging method and system

Similar Documents

Publication Publication Date Title
CN110680284A (zh) 一种基于3D-Unet的介观荧光分子成像三维重建方法及系统
Lösel et al. Introducing Biomedisa as an open-source online platform for biomedical image segmentation
CN112819170B (zh) 控制脉冲生成方法、装置、系统、设备及存储介质
US8073658B2 (en) Monte Carlo simulation using GPU units on personal computers
CN108451508B (zh) 基于多层感知机的生物自发荧光三维成像方法
CN109191564B (zh) 基于深度学习的激发荧光断层成像三维重建方法
Oden et al. Selection and assessment of phenomenological models of tumor growth
CN108062744A (zh) 一种基于深度学习的质谱图像超分辨率重建方法
CN110880196B (zh) 基于深度学习的肿瘤光声图像快速重建方法及装置
CN107358653A (zh) 成像重建方法及装置
Lu et al. A parallel adaptive finite element simplified spherical harmonics approximation solver for frequency domain fluorescence molecular imaging
CN110974166B (zh) 基于k近邻局部连接网络的光学断层成像方法、系统
CN113409466B (zh) 基于gcn残差连接网络的激发荧光断层成像方法
CN107713995B (zh) 一种基于惩罚算法的生物发光断层成像光源重建方法
CN109166103A (zh) 基于多层感知网络的激发荧光断层成像方法
Rubidha Devi et al. Deep Learning (DL) on Exascale Computing to Speed Up Cancer Investigation
Plšek et al. CAvity DEtection Tool (CADET): pipeline for detection of X-ray cavities in hot galactic and cluster atmospheres
CN110772227A (zh) 基于全卷积编解码架构的介观荧光探针重建方法及系统
CN101739503B (zh) 一种预测光在生物组织中传播模型的实现方法
CN111751343A (zh) 基于瓶颈残差gan的介观荧光分子层析成像方法及系统
Hegde et al. A hidden population of active galactic nuclei can explain the overabundance of luminous $ z> 10$ objects observed by JWST
Lindner et al. TuMore: generation of synthetic brain tumor MRI data for deep learning based segmentation approaches
Roniotis et al. A complete mathematical study of a 3D model of heterogeneous and anisotropic glioma evolution
CN108230335B (zh) 多光谱荧光分割方法及装置
CN112037297B (zh) 一种基于网格重组的混合光传输建模方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200114