CN109191564A - 基于深度学习的激发荧光断层成像三维重建方法 - Google Patents

Abstract

本发明提供一种基于深度学习的激发荧光断层成像三维重建方法，该方法包括如下步骤：S1、生成训练样本；S2、设置深度学习模型，构建深度学习模型包括图片信息编码阶段、图片信息融合阶段和三维重建阶段；以及S3、对深度学习模型进行训练，将生物体的数据输入训练后的深度学习模型，获得生物体的三维重建图像。本发明以统计学习为基础，训练得到光子传播的前向以及逆向过程，提高了生物激发荧光计算机断层扫描三维重建的精度以及速度。

Description

基于深度学习的激发荧光断层成像三维重建方法

技术领域

本发明涉及生物医学分子影像领域，尤其涉及一种激发荧光断层成像三维重建方法。

背景技术

激发荧光成像(Fluorescence Molecular Imaging，FMI)技术是近年来新兴的一种分子影像技术。相比于其他光学分子影像技术，FMI技术具有探针种类多、信号强度高、采集信息丰富、可实时在体成像的特性。FMI技术被广泛应用于小动物在体成像的相关研究中。激发荧光断层成像(Fluorescence Molecular Tomography，FMT)以FMI技术为基础，结合结构断层成像技术(如，X射线计算机断层成像、核磁共振成像等)来生成生物体内荧光的三维影像，从而精确定位靶向生物组织，并获得荧光的三维强度分布，定性和定量分析靶向生物组织的生理和病理特征。

目前激发荧光计算机断层扫描三维重建技术主要是结合FMI成像和X射线计算机断层成像(X-CT)。该技术通过FMI成像得到待测物在生物体表面的荧光分布，通过X-CT获得生物体的体内器官分布，进而建立光子散射传播模型。该传播模型以生物体表面FMI荧光分布为依据，逆向推导生物体内自发荧光光源的光子分布。但是，光在生物组织中的传输模型(前向)采用的是辐射传输方程的高阶简化球谐波近似形式，并对生物组织进行网格划分进行有限元求解，导致这种方法精度低、速度慢；除此之外，从X-CT等结构断层成像中提取器官分布需要借助图像分割过程。该过程分割得到的结果存在误差，不能非常准确的描述器官分布。此外，以生物体器官分布为依托构建光子传播模型需要器官的光学散射参数和光学吸收参数。但是这些光学参数需要通过离体实验测量得到，光学性质在离体实验中容易发生改变，难以准确得到器官光学参数。

发明内容

为了克服上述问题的至少一个方面，本发明实施例提供一种基于深度学习的激发荧光断层成像三维重建方法，有别于传统的以构建光学传输模型为基础的方法，本发明实施例以统计学习为基础，训练学习得到光子传播的前向以及逆向过程，提高了生物激发荧光计算机断层扫描三维重建的精度以及速度。

根据本发明的一个方面，提供一种基于深度学习的激发荧光断层成像三维重建方法，该方法包括如下步骤：S1、生成训练样本；S2、设置深度学习模型，构建深度学习模型包括图片信息编码阶段、图片信息融合阶段和三维重建阶段；以及S3、对深度学习模型进行训练，将生物体的数据输入训练后的深度学习模型，获得生物体的三维重建图像。

根据本发明的基于深度学习的激发荧光断层成像三维重建方法的一些实施例，步骤S1包括：S1.1、构建仿真网格；S1.2、在仿真网格中生成单光源激发荧光训练样本并构成单光源激发荧光训练样本集；以及S1.3、改变单光源激发荧光训练样本产生激发荧光图像的顺序并添加随机干扰，得到新的激发荧光训练样本。

根据本发明的基于深度学习的激发荧光断层成像三维重建方法的一些实施例，步骤S1.3包括：S1.3.1、在单光源激发荧光训练样本集中选取一个网格为基准网格，将单光源激发荧光训练样本集中不属于基准网格的训练样本映射到基准网格中；以及S1.3.2、在基准网格中改变单光源激发荧光训练样本产生激发荧光图像的顺序并添加随机干扰，得到新的激发荧光训练样本。

根据本发明的基于深度学习的激发荧光断层成像三维重建方法的一些实施例，在步骤S2的图片信息编码阶段，对每个训练样本的输入图片进行信息编码，提取输入图片的语义特征。

根据本发明的基于深度学习的激发荧光断层成像三维重建方法的一些实施例，通过下式对每个训练样本的输入图片进行信息编码：

其中，N为正整数，表示第i个训练样本中第j张生物体表荧光分布图所产生的语义信息，Model_VGG16()表示迁移ImageNet数据集上训练好的VGG16模型，表示第i个训练样本中第j张生物体表荧光分布图。

根据本发明的基于深度学习的激发荧光断层成像三维重建方法的一些实施例，在图片信息融合阶段，融合高层语义特征，得到输入数据。

根据本发明的基于深度学习的激发荧光断层成像三维重建方法的一些实施例，在三维重建阶段，根据输入数据得到待测生物体的位置以及形状。

根据本发明的基于深度学习的激发荧光断层成像三维重建方法的一些实施例，三维重建阶段还包括在多层感知机中修正输出结果中的负值。

根据本发明的基于深度学习的激发荧光断层成像三维重建方法的一些实施例，通过下式修正输出结果中的负值：

其中，Y表示输出结果，Y⁺表示最终输出结果，ReLU函数表示正值修正响应单元。

根据本发明的基于深度学习的激发荧光断层成像三维重建方法的一些实施例，多层感知机包括输入层、隐含层以及输出层，隐含层之间的关系或者隐含层与输入层之间的关系如下式：

其中，Lh_k表示第k个隐含层，h₈表示输入层的输入数据，W_i，k表示第i个输入层向第k个隐含层的线性单元的链接权重，b_i，k表示第i个输入层向第k个隐含层的线性单元的链接偏置，Dropout_0.3()函数是一个随机性函数，表示每个元素都有30％概率清零。

根据本发明的基于深度学习的激发荧光断层成像三维重建方法的一些实施例，隐含层与输出层之间的关系如下式：

其中，均是输出层的输出结果，分别表示输出位置和输出形状，W_k，y是第k个隐含层向输出层y的线性链接权重，W_k，shape是第k个隐含层向输出层shape的线性链接权重，b_k，y是第k个隐含层向输出层y的线性链接偏置，b_k，shape是第k个隐含层向输出层shape的线性链接偏置，soft max()函数是使输出形状中任一点是肿瘤的概率和不是肿瘤的概率之和为1。

根据本发明的基于深度学习的激发荧光断层成像三维重建方法的一些实施例，通过输出位置与实际位置之间的均方差以及输出形状与实际形状之间的二分类交叉熵的加权和对深度学习模型进行训练。

根据本发明的基于深度学习的激发荧光断层成像三维重建方法的一些实施例，通过下式对深度学习模型进行训练：

其中Loss表示损失函数，表示输出位置坐标，y表示实际位置坐标；表示输出形状，shape表示实际形状，λ表示形状损失的权重，||·||₂表示二范数，CrossEntropyLoss()表示N*N*N个体素点分别独立进行二分类所产生的损失函数，N为正整数。

与现有技术相比，本发明至少具有如下优点：本发明以统计学习为基础，训练学习得到光子传播的前向以及逆向过程，提高了生物激发荧光计算机断层扫描三维重建的精度以及速度。

附图说明

通过下文中参照附图对本发明所作的描述，本发明的其它目的和优点将显而易见，并可帮助对本发明有全面的理解。

图1是根据本发明实施例的基于深度学习的激发荧光断层成像三维重建方法的工作流程图；

图2是根据本发明实施例的肝癌肿瘤和激发光源的位置示意图；

图3是根据本发明实施例的VGG16的数据传输图；

图4是根据本发明实施例的多层感知机的数据传输图；

图5是根据本发明实施例的损失函数迭代训练的曲线图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。

本发明提供一种基于深度学习的激发荧光断层成像三维重建方法，该方法以统计学习为基础，训练学习得到光子传播的前向以及逆向过程，提高了生物激发荧光计算机断层扫描三维重建的精度以及速度。

下面结合附图对本发明实施例作进一步的说明。

图1是根据本发明实施例的基于深度学习的激发荧光断层成像三维重建方法的工作流程图。如图1所示，基于深度学习的激发荧光断层成像三维重建方法包括如下步骤：

S1、生成训练样本。

本实施例中可以使用蒙特卡洛仿真生成训练样本，用于对之后生成的三维重建模型进行训练。当然，生成训练样本的方法不限于蒙特卡洛仿真，任何能够实现与蒙特卡洛仿真相同的技术效果的方法都可以用于生成训练样本。

根据优选的实施例，步骤S1可以包括：

S1.1、构建仿真网格。通过X射线计算机断层成像(X-CT)技术获取成像对象同类的X-CT影像，成像对象是指生物体中包含待成像物质的部位，例如，待成像物质为小鼠脑胶质瘤，成像对象即小鼠脑部。将成像对象同类的多种生物体的X-CT影像进行分割，同类生物体的种类例如可以是3种-5种，构建网格化数据，并使用相关器官的光学参数描述不同分割区域的光学性质，从而构建仿真网格。特别的，为了使得仿真网格更加准确，对多个X-CT影像的获取都是在同一个空间位置中拍摄得到。

S1.2、在仿真网格中生成单光源激发荧光训练样本，并由此构成单光源激发荧光训练样本集。使用蒙特卡洛仿真平台“分子光学仿真环境”(MOSE)进行光学仿真。在仿真网格中设定多个单个半径为0.5mm-0.6mm的球形肿瘤，且多个球形肿瘤直径间距为0.5mm。不同的肿瘤位置分别生成生物激发荧光训练样本。激发光源位置距离生物体表面不超过2mm，并且激发光源位置具有多个，本实施例中将激发光源位置的数量设置为8个，当然，在其他的实施例中也可以是其他数量。图2是肝癌肿瘤和激发光源的位置示意图。如图2左图所示，实线圈内的为肝癌肿瘤，肝癌肿瘤主要分布在肝脏内部以及肝脏表面的区域内，如图2右图所示，激发光源的位置以肿瘤中心为圆心，均匀分布在生物体表上，每两个激发光源之间相隔45°。该类样本为单光源激发荧光训练样本，这些样本组成单光源激发荧光训练样本集。

S1.3、改变单光源激发荧光训练样本产生激发荧光图像的顺序并添加随机干扰，得到新的激发荧光训练样本。单光源激发荧光训练样本可能过于单一，为了扩充训练样本，可以改变单光源激发荧光训练样本产生激发荧光图像的顺序并添加随机干扰，得到新的激发荧光训练样本。

根据优选的实施例，步骤S1.3可以包括：

S1.3.1、在单光源激发荧光训练样本集中选取一个网格为基准网格，将单光源激发荧光训练样本集中不属于基准网格的训练样本映射到基准网格中。例如，生物发荧光仿真样本(x₁，y₁)在基准仿真网格中，(x₂，y₂)不属于基准仿真网格，则将y₂映射到(x₁，y₁)所在仿真网格中。具体可以通过下式进行映射：

y′₂＝y₂+x₂-x₁

如果样本属于基准网格，则直接进入步骤S1.3.2。

S1.3.2、在基准网格中改变单光源激发荧光训练样本产生激发荧光图像的顺序并添加随机干扰，得到新的激发荧光训练样本。也即是打乱各单光源激发荧光训练样本中图片的顺序并添加随机噪声，从而得到新的激发荧光训练样本。

S2、设置深度学习模型，构建深度学习模型包括图片信息编码阶段、图片信息融合阶段和三维重建阶段。

在图片信息编码阶段，对每个训练样本的输入图片进行信息编码，提取输入图片的语义特征。由于对于每个待测物(例如肝癌肿瘤)位置，均会有8个角度各不相同的激发光源，因此会产生8张输入图片。因此对每个样本的8张图片分别使用相同的VGG16模型进行高层语义的信息编码。

根据优选的实施例，可以通过下式对每个训练样本的输入图片进行信息编码：

其中，N为正整数，本实施例中N取8，表示第i个训练样本中第j张生物体表荧光分布图所产生的语义信息，Model_VGG16()表示迁移ImageNet数据集上训练好的VGG16模型，表示第i个训练样本中第j张生物体表荧光分布图。

Model_VGG16()包括输入层、卷积层、池化层以及输出层。本发明实施例中卷积层可以为15个，当然，在其他的实施例中也可以是其他数量，如图3所示，A表示输入层，B1表示第一卷积层，B15表示第十五卷积层，C1表示第一池化层，C15表示第十五池化层，D表示输出层。第一卷积层中的每一个单元只需感受输入层局部图像区域，而不需要对全局图像做感受，第二卷积层又会感受第一卷积层局部区域，依此类推，在更高卷积层，将这些感受不同局部的神经元综合起来就可以得到全局的信息。为了加速网络模型的收敛以及提高结果的准确性，对卷积层输出结果进行非线性修正。卷积层之间的关系或者卷积层与输入层之间的关系如下式：

其中，Co_k表示第k个卷积层，I表示输入层的输入数据，W_i，k表示输入层向第k个隐含层的线性单元的链接权重，b_i，k表示输入层向第k个隐含层的线性单元的链接偏置。Co_k(i，j)表示第k卷积层中i行j列的数据，W_k-1，k(m，n)表示第k-1卷积层到第k卷积层的卷积核中第m行n列的数据。Relu对每层卷积层输出结果进行非线性变换：

当输入做出少量平移时，池化层能够帮助卷积层得到的语义信息近似不变，池化层的输入与输出之间关系如下公式：

O为池化层输出结果，I为输入数据。池化层取输入数据局部区域的最大值。

其中，隐含层与输出层之间的关系如下式：

其中，φ为从输入图片提取的高级语义信息，Co₁₅为第15卷积层的输出结果，该输出结果为多维矩阵，Flatten()函数把一个多维矩阵转换成一个列向量。

在图片信息融合阶段，融合高层语义特征，得到输入数据。可以把在图片信息编码阶段生成的高层语义特征按照下列顺序输入长短时记忆网格(LSTM)：

i_t＝σ(U_ih_t-1+Z_iφ^t+b_i)

f_t＝σ(U_fh_t-1+Z_fφ^t+b_f)

c_t＝f_tc_t-1+i_ttanh(U_ch_t-1+Z_cφ^t+b_c)

o_t＝σ(U_oh_t-1+Z_oφ^t+b_o)

h_t＝o_ttanh(c_t)

其中，U_*，Z_*，b_*是模型权重以及偏置，i_t，ft，c_t，o_t，h_t分别是LSTM根据输入Info^t以及网格权重计算得到的输入门、遗忘门、记忆门、输出门以及隐藏门数据。σ()为Sigmoid函数。把函数输入值映射到0至1之间，映射后值的大小代表对应输入门、遗忘门、记忆门打开的概率大小。当一个样本的8张图片的高层语义特征全部输入LSTM后，最后一步的隐藏门的数据h₈作为模型下一阶段的输入数据。

在三维重建阶段，根据输入数据得到待测物的位置以及形状。本实施例中，多层感知机(MLP)根据输入数据h₈可以分别产生待测物(例如肿瘤)的重心位置坐标以及形状。其中，待测物的形状可以是8*8*8的立方体，根据每个体素点值可以确定此处是否有待测物。

三维重建阶段还包括在多层感知机中修正输出结果中的负值。

根据优选的实施例，可以通过下式修正输出结果中的负值：

其中，Y表示输出结果，Y⁺表示最终输出结果，ReLU函数表示正值修正响应单元。

多层感知机包括输入层、隐含层以及输出层。图4是根据本发明实施例的多层感知机的数据传输图。本发明实施例中隐含层可以为4个，当然，在其他的实施例中也可以是其他数量，如图4所示，E为输入层，F1为第一隐含层，F4为第四隐含层，G1表示第一池化层，G4表示第四池化层，H表示输出层。输入层中的每一个单元都会将数据传输到第一隐含层中的每一个单元，第一隐含层中的每一个单元又会将数据传输到第二隐含层中的每一个单元，依次类推，第四隐含层中的每一个单元会将数据传输到输出层中的每一个单元。为了使得输出结果更加准确，可以对输出结果进行修正。隐含层之间的关系或者隐含层与输入层之间的关系如下式：

其中，Lh_k表示第k个隐含层，h₈表示输入层的输入数据，W_i，k表示第i个输入层向第k个隐含层的线性单元的链接权重，b_i，k表示第i个输入层向第k个隐含层的线性单元的链接偏置，Dropout_0.3()函数是一个随机性函数，表示每个元素都有30％概率清零。Dropout_p()函数是一个随机性函数，其作用是给输入向量中每一个元素产生一个随机数，即每个元素都有P概率清零。在本实施例中将概率P设为30％。

隐含层与输出层之间的关系如下式：

其中，均是输出层的输出结果，分别表示输出位置和输出形状，W_k，y是第k个隐含层向输出层y的线性链接权重，W_k，shape是第k个隐含层向输出层shape的线性链接权重，b_k，y是第k个隐含层向输出层y的线性链接偏置，b_k，shape是第k个隐含层向输出层shape的线性链接偏置，soft max()函数是使输出形状中任一点是肿瘤的概率和不是肿瘤的概率之和为1，i、j均为正整数。

S3、对深度学习模型进行训练，将生物体的数据输入训练后的深度学习模型，获得生物体的三维重建图像。在本实施例中，通过对深度学习模型的训练可以得到线性链接权重和线性链接偏置的值，从而可以更好的构建三维重建图像。

根据优选的实施例，可以通过输出位置与实际位置之间的均方差以及输出形状与实际形状之间的二分类交叉熵的加权和对深度学习模型进行训练。

可以通过下式对深度学习模型进行训练：

其中Loss表示损失函数，表示输出位置坐标，y表示实际位置坐标；表示输出形状，shape表示实际形状，λ表示形状损失的权重，||·||₂表示二范数，CrossEntropyLoss()表示N*N*N个体素点分别独立进行二分类所产生的损失函数，N为正整数。其中CrossEntropy函数如下所示：

其中，T表示体素点是否为肿瘤的真实标签，表示模型输出的体素点是否为肿瘤的预测值；λ为肿瘤形状损失的权重，本实施例中可以设置为2.0。上述损失函数可以使用Adam最优化方法进行迭代训练。图4是根据本发明实施例的损失函数迭代训练的曲线图。如图4所示，横坐标表示迭代次数，纵坐标表示损失函数的值，图中Q表示的是测试损失，图中V表示的是训练损失。随着迭代次数的增加，测试损失和训练损失均动态减少，表明随着迭代次数的增加，损失越来越小。并且，测试损失减少的程度小于训练损失，表明训练损失的迭代训练效果更好。

本发明提供的基于深度学习的激发荧光断层成像三维重建方法，有别于传统的以构建光学传输模型为基础的方法，本发明以统计学习为基础，训练得到光子传播的前向以及逆向过程。本发明无需构建光子传播模型，更无需依赖于生物器官的光学参数特性，因此不会具有器官分布描述不准确、器官光学参数不准确等传统光子转播模型方法所产生的问题。从而提高了生物激发荧光计算机断层扫描三维重建的精度以及速度。

此外，由于基于深度学习的激发荧光断层成像三维重建方法是一种基于统计学习的机器学习方法，其需要大量的训练样本，即标定了生物体内肿瘤的位置以及形状和相应的生物表面激发荧光分布的训练样本。通过不同的肿瘤位置以及形状和表面荧光分布的关联性，得到深度学习模型的权重参数，进而得到用于生物激发荧光计算机断层扫描三维重建的深度神经网络模型。出于这种考虑，本发明利用蒙特卡洛模拟仿真训练样本以及训练样本数量扩充方法，从而增加了训练样本数量，进而提高深度神经网络模型的重建能力。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (13)

1.一种基于深度学习的激发荧光断层成像三维重建方法，其特征在于，包括如下步骤：

S1、生成训练样本；

S2、设置深度学习模型，构建所述深度学习模型包括图片信息编码阶段、图片信息融合阶段和三维重建阶段；以及

S3、对所述深度学习模型进行训练，将生物体的数据输入训练后的深度学习模型，获得所述生物体的三维重建图像。

2.根据权利要求1所述的基于深度学习的激发荧光断层成像三维重建方法，其特征在于，所述步骤S1包括：

S1.1、构建仿真网格；

S1.2、在所述仿真网格中生成单光源激发荧光训练样本并构成单光源激发荧光训练样本集；以及

S1.3、改变单光源激发荧光训练样本产生激发荧光图像的顺序并添加随机干扰，得到新的激发荧光训练样本。

3.根据权利要求2所述的基于深度学习的激发荧光断层成像三维重建方法，其特征在于，所述步骤S1.3包括：

S1.3.1、在所述单光源激发荧光训练样本集中选取一个网格为基准网格，将单光源激发荧光训练样本集中不属于所述基准网格的训练样本映射到所述基准网格中；以及

S1.3.2、在所述基准网格中改变所述单光源激发荧光训练样本产生激发荧光图像的顺序并添加随机干扰，得到新的激发荧光训练样本。

4.根据权利要求1所述的基于深度学习的激发荧光断层成像三维重建方法，其特征在于，在步骤S2的所述图片信息编码阶段，对每个训练样本的输入图片进行信息编码，提取所述输入图片的语义特征。

5.根据权利要求4所述的基于深度学习的激发荧光断层成像三维重建方法，其特征在于，通过下式对每个训练样本的输入图片进行信息编码：

其中，N为正整数，表示第i个训练样本中第j张生物体表荧光分布图所产生的语义信息，Model_VGG16()表示迁移lmageNet数据集上训练好的VGG16模型，表示第i个训练样本中第j张生物体表荧光分布图。

6.根据权利要求4所述的基于深度学习的激发荧光断层成像三维重建方法，其特征在于，在所述图片信息融合阶段，融合所述高层语义特征，得到输入数据。

7.根据权利要求6所述的基于深度学习的激发荧光断层成像三维重建方法，其特征在于，在所述三维重建阶段，根据所述输入数据得到待测生物体的位置以及形状。

8.根据权利要求7所述的基于深度学习的激发荧光断层成像三维重建方法，其特征在于，所述三维重建阶段还包括在多层感知机中修正输出结果中的负值。

9.根据权利要求8所述的基于深度学习的激发荧光断层成像三维重建方法，其特征在于，通过下式修正输出结果中的负值：

其中，Y表示输出结果，Y⁺表示最终输出结果，ReLU函数表示正值修正响应单元。

10.根据权利要求9所述的基于深度学习的激发荧光断层成像三维重建方法，其特征在于，所述多层感知机包括输入层、隐含层以及输出层，所述隐含层之间的关系或者所述隐含层与所述输入层之间的关系如下式：

其中，Lh_k表示第k个隐含层，h₈表示输入层的输入数据，W_i，k表示第i个输入层向第k个隐含层的线性单元的链接权重，b_i，k表示第i个输入层向第k个隐含层的线性单元的链接偏置，Dropout_0.3()函数是一个随机性函数，表示每个元素都有30％概率清零。

11.根据权利要求10所述的基于深度学习的激发荧光断层成像三维重建方法，其特征在于，所述隐含层与所述输出层之间的关系如下式：

其中，均是输出层的输出结果，分别表示输出位置和输出形状，W_k，y是第k个隐含层向输出层y的线性链接权重，W_k，shape是第k个隐含层向输出层shape的线性链接权重，b_k，y是第k个隐含层向输出层y的线性链接偏置，b_k，shape是第k个隐含层向输出层shape的线性链接偏置，soft max()函数是使输出形状中任一点是肿瘤的概率和不是肿瘤的概率之和为1。

12.根据权利要求10所述的基于深度学习的激发荧光断层成像三维重建方法，其特征在于，通过所述输出位置与实际位置之间的均方差以及所述输出形状与实际形状之间的二分类交叉熵的加权和对所述深度学习模型进行训练。

13.根据权利要求12所述的基于深度学习的激发荧光断层成像三维重建方法，其特征在于，通过下式对所述深度学习模型进行训练：

其中Loss表示损失函数，表示输出位置坐标，y表示实际位置坐标；表示输出形状，shape表示实际形状，λ表示形状损失的权重，||·||₂表示二范数，CrossEntropyLoss()表示N*N*N个体素点分别独立进行二分类所产生的损失函数，N为正整数。