CN117455898B - 一种基于深度学习的生物体内部结构生成方法 - Google Patents

Abstract

本发明涉及生命科学和医学影像设备技术领域，尤其涉及一种基于深度学习的生物体内部结构生成方法；包括以下步骤：S1、构建并训练成像目标的内部器官生成模型；S2、获取所要成像目标的三维体表轮廓图像；S3、将获取到的成像目标的三维体表轮廓图像输入内部器官生成模型，得到内部器官分布三维图像；S4、将内部器官分布三维图像与三维体表轮廓图像进行融合、显示；通过基于深度神经网络的成像目标内部器官生成模型，只需要获取成像目标的三维体表轮廓图像，输入模型后即可快速准确的获取成像目标的内部器官分布三维图像，简化了操作步骤，实现了自动成像、成像效率的提高，具有高推广性。

Description

一种基于深度学习的生物体内部结构生成方法

技术领域

本发明涉及生命科学和医学影像设备技术领域，尤其涉及一种基于深度学习的生物体内部结构生成方法。

背景技术

医用体表成像是一种针对人体表面进行图像捕获和分析的技术。目前的体表成像技术主要包括激光扫描成像、飞行时间成像、立体视觉成像和结构光成像。

其中激光成像可以利用激光束对物体进行扫描，从而获得物体表面的三维形态信息。它在医疗影像领域的应用主要是利用激光束对人体进行扫描，以获取精确的图像信息。这种技术的基本原理是，使用激光束扫描物体表面并测量物体表面反射回来的激光光束的时间和强度信息，这样就可以确定物体表面的形态和位置。

飞行时间成像系统由图像传感器、图像处理芯片和调制光源组成。简单地说，这些系统的工作原理是用调制光源照亮一个场景，然后测量反射回来的波的相位差。由于光速是恒定的，飞行时间成像系统可以根据光线返回相机的时间来计算到场景中每个点的距离。飞行时间成像系统不是逐行扫描图像，而是依次照亮整个场景，然后测量反射回图像传感器的光的相位差。飞行时间成像系统可用于大视野、远距离、低精度、低成本的3D图像采集。其特点是：检测速度快、视野范围较大、工作距离远、价格便宜，但精度低，易受环境光的干扰。

立体视觉字面意思是用一只眼睛或两只眼睛感知三维结构，一般情况下是指从不同的视点获取两幅或多幅图像重构目标物体3D结构或深度信息。深度感知视觉线索可分为Ocular cues和 Binocular cues。目前立体视觉3D可以通过单目视觉、双目视觉、多（目）视觉、光场3D成像（电子复眼或阵列相机）实现。

结构光成像是一种基于三维重建原理的成像技术，它通过投射特定的结构光（例如条纹、格子等）到拍摄对象表面上，然后利用相机记录下这些结构光在物体表面的形变情况，从而推算出物体表面的三维形状信息。结构光成像通常由三个主要部分组成：投影系统、相机和计算机处理系统。投影系统通常通过投射光栅或条纹图案来照射被测物体，这些光栅或条纹的形状和大小可以根据实际需要进行调整。相机用于记录被测物体表面的结构光图案，并将其转换成数字图像。相机的分辨率和采集速度对成像精度和实时性都有很大影响。计算机处理系统用于处理采集到的图像数据，并根据结构光形变信息来重建被测物体的三维形状。这个过程通常包括图像预处理、相机标定、三维重建和数据可视化等步骤。结构光成像技术具有非接触、高精度、高效率等优点，广泛应用于工业制造、医学影像、文物保护以及虚拟现实等领域。

但是，目前的医用体表成像系统，在进行体表成像的时候，无法呈现生物体内部器官结构以及分布情况，而获取内部器官结构以及分布情况需要使用到CT图像、磁共振图像、或者其它能够呈现成像生物体内部结构的影像，降低了成像的效率。

因此，亟需提供一种基于深度学习的生物体内部结构生成方法，相对于现有技术，实现在进行体表成像时生物体内部器官结构以及分布情况的自动成像。

发明内容

本发明解决现有技术存在的技术问题，本发明提供了一种基于深度学习的生物体内部结构生成方法。

为实现上述目的，本发明采用的技术方案如下：

一种基于深度学习的生物体内部结构生成方法，包括以下步骤：

S1、构建并训练成像目标的内部器官生成模型；

S2、获取所要成像目标的三维体表轮廓图像；

S3、将获取到的成像目标的三维体表轮廓图像输入内部器官生成模型，得到内部器官分布三维图像；

S4、将内部器官分布三维图像与三维体表轮廓图像进行叠加融合、显示；

S1具体包括以下步骤：

S101、获取成像目标的原始三维体表轮廓图像和内部结构图像；

S102、对内部结构图像进行勾画处理，从而得到器官的二进制掩膜图像；

S103、获取与原始三维体表轮廓图像配准的器官掩膜图像；

S104、对原始三维体表轮廓图像进行归一化处理，设定处理后的三维体表轮廓图像作为深度学习神经网络的输入图像，器官掩膜图像为深度学习神经网络的输出结果，将三维体表轮廓图像、器官掩膜图像作为一个训练数据样本对；

S105、利用训练数据样本对训练基于神经网络的成像目标内部器官生成模型。

进一步地，S105步骤中内部器官生成模型的训练方法为：深度学习神经网络采用扩散模型架构，所述扩散模型在工作时先进行前向过程，再进行逆扩散过程；

前向过程是逐步添加高斯噪声的过程，具体为对成像目标的器官掩膜图像添加随机噪声；

逆扩散过程是在三维体表轮廓图像的指导下学习成像目标器官掩膜上的随机噪声分量、对成像目标的器官掩膜进行去噪的过程。

更进一步地，前向过程通过下式表示：

上式中，表示三维体表轮廓图像，/>表示超参数，取值范围是（0,1），并且满足：；t表示某一次的高斯噪声，/>表示带有t时刻高斯噪声的数据样本，/>表示单位矩阵。

更进一步地，所述逆扩散过程为高斯分布过程，具体通过下式表示：

上式中，表示三维体表轮廓图像，/>、/>都表示学习参数，/>表示S104中归一化处理得到的三维体表轮廓图像。

进一步地，S102步骤中获取器官的二进制掩膜图像的具体方法为：勾画出内部结构图像中成像目标的器官轮廓，并将器官轮廓外区域赋值为1，轮廓以内区域赋值为0，从而得到目标器官的二进制掩膜图像。

进一步地，S103步骤中获取器官掩膜图像的具体方法为：将二进制掩膜图像与原始三维体表轮廓图像进行配准得到轮廓配准位移场，将轮廓配准位移场作用于二进制掩膜图像，得到与三维体表轮廓图像配准的器官掩膜图像。

更进一步地，将二进制掩膜图像与原始三维体表轮廓图像进行配准的方法为：首先针对同一个截面的原始三维体表轮廓图像和器官掩膜图像，原始三维体表轮廓图像截面之后是一条体表轮廓曲线，将器官掩膜图像的边缘与该条体表轮廓曲线进行弹性配准，得到弹性配准位移场，再将该弹性配准位移场作用于器官掩膜图像内部的器官结构。

更进一步地，将二进制掩膜图像与原始三维体表轮廓图像进行配准的方法为：将原始三维体表轮廓图像与二进制掩膜图像的三维轮廓进行曲面间的配准，得到弹性配准位移场，再将该弹性配准位移场作用于器官掩膜图像内部的器官结构。

进一步地，对原始三维体表轮廓图像进行归一化处理具体通过下式进行：

上式中，表示第j张归一化后的三维体表轮廓图像，/>表示第j张原始三维体表轮廓图像，/>表示第j张原始三维体表轮廓图像中的最小数值，/>表示第j张原始三维体表轮廓图像中的最大数值。

与现有技术相比，本发明的有益效果为：

本发明通过基于深度神经网络的成像目标内部器官生成模型，只需要获取成像目标的三维体表轮廓图像，输入模型后即可快速准确的获取成像目标的内部器官分布三维图像，无需进行额外的内部结构成像操作，简化了操作步骤，实现了自动成像、成像效率的提高，具有高推广性。

附图说明

图1是本发明方法的流程图。

具体实施方式

下面将结合附图说明对本发明的技术方案进行清楚的描述，显然，所描述的实施例并不是本发明的全部实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

如图1所示，本发明提供一种基于深度学习的生物体内部结构生成方法，包括以下步骤：

S1、构建并训练成像目标内部器官生成模型，具体包括以下步骤：

S101、获取成像目标的原始三维体表轮廓图像和内部结构图像。

具体地说，成像目标的原始三维体表轮廓图像可以通过光学体表成像获得，也可以通过雷达等其他方式获得；内部结构图像可以通过CT图像、磁共振图像或者其他能够呈现成像生物内部结构的影像。

S102、勾画处理内部结构图像，从而获取器官的二进制掩膜图像：在步骤S101中获取到的内部结构图像中勾画成像目标的器官轮廓，并将器官轮廓以外区域赋值为1，轮廓以内区域赋值为0，从而得到目标器官的二进制掩膜图像。

S103、获取与原始三维体表轮廓图像配准的器官掩膜图像：将二进制掩膜图像与S101步骤获取到的原始三维体表轮廓图像进行配准得到轮廓配准位移场，将所得到的轮廓配准位移场作用于二进制掩膜图像，最终得到与原始三维体表轮廓图像配准的器官掩膜图像。

具体地说，配准方法为：首先针对同一个截面的原始三维体表轮廓图像和器官掩膜图像，原始三维体表轮廓图像截面之后是一条体表轮廓曲线，将器官掩膜图像的边缘与该条体表轮廓曲线进行弹性配准，得到弹性配准位移场，再将该弹性配准位移场作用于器官掩膜图像内部的器官结构，最终可以得到配准好的器官掩膜图像。也可以直接将原始三维体表轮廓图像跟二进制掩膜图像的三维轮廓进行曲面间的配准，得到弹性配准位移场，再将该弹性配准位移场作用于器官掩膜图像内部的器官结构。

S104、模型训练样本的数据处理：对原始三维体表轮廓图像进行归一化处理得到归一化后的三维体表轮廓图像，归一化的公式如下：

上式中，表示第j张归一化后的三维体表轮廓图像，/>表示第j张原始三维体表轮廓图像，/>表示第j张原始三维体表轮廓图像中的最小数值，/>表示第j张原始三维体表轮廓图像中的最大数值。

归一化后的三维体表轮廓图像记作N，使用归一化后的三维体表轮廓图像N作为深度学习神经网络的输入图像，使用配准后的成像目标的器官掩膜图像作为输出结果，将三维体表轮廓图像和相应的成像目标的器官掩膜图像作为一个训练数据样本对。

S105、利用训练样本对训练成像目标内部器官生成模型：构建基于深度神经网络的成像目标内部器官生成模型，将训练样本对输入深度神经网络中进行训练，其中，深度神经网络采用扩散模型架构，所述的扩散模型在工作时，通过对成像目标的器官掩膜图像添加随机噪声，并在三维体表轮廓图像指导下学习成像目标的器官掩膜上随机噪声分量，然后对成像目标的器官掩膜进行去噪，得到相关的成像目标器官结构。

具体地说，扩散模型来源于平衡热力学，设定一个扩散步骤的马尔科夫链，通过逐步向真实数据中添加随机噪声，这个过程称为前向过程，然后学习反向去噪过程，反向去噪过程称为逆扩散过程，从噪声中得到所需的数据样本结果，前向过程是一个逐步添加高斯噪声的过程，例如，输入数据分布为，在前向过程中一共加入T次高斯噪声，从而生成一系列带有高斯噪声的数据样本/>，/>，/>，…，/>，…，/>；前向过程通过下表达式表示：

上式中，表示超参数，取值范围是（0,1），并且满足：/>；t表示某一次的高斯噪声，/>表示单位矩阵。

逆扩散过程是在三维体表轮廓图像指导下，从高斯噪声中逐步恢复原始图像（器官掩膜图像）的过程，在正向过程中每次添加很少的高斯噪声，所以逆扩散过程也可以被视为高斯分布，整个过程可以使用神经网络模拟，逆扩散过程通过下式表示：

上式中，表示逆扩散过程，/>表示三维体表轮廓图像，/>、/>都表示学习参数，/>表示S104中归一化处理得到的三维体表轮廓图像。

S2、获取所要成像目标的三维体表轮廓图像。

S3、利用成像目标内部器官生成模型分布三维图像：将S2步骤获取的三维体表轮廓图像输入成像目标内部器官生成模型内，得到成像目标的器官掩膜图像，即内部器官分布三维图像。

S4、将内部器官分布三维图像与三维体表轮廓图像进行叠加融合、显示。

本发明通过基于深度神经网络的成像目标内部器官生成模型，只需要获取成像目标的三维体表轮廓图像，输入模型后即可快速准确的获取成像目标的内部器官分布三维图像，无需进行额外的内部结构成像操作，简化了操作步骤，实现了成像效率的提高，具有高推广性。

最后应当说明的是，以上内容仅用以说明本发明的技术方案，而非对本发明保护范围的限制，本领域的普通技术人员对本发明的技术方案进行的简单修改或者等同替换，均不脱离本发明技术方案的实质和范围。

Claims (6)

1.一种基于深度学习的生物体内部结构生成方法，其特征在于，包括以下步骤：

S1、构建并训练成像目标的内部器官生成模型；

S2、获取所要成像目标的三维体表轮廓图像；

S3、将获取到的成像目标的三维体表轮廓图像输入内部器官生成模型，得到内部器官分布三维图像；

S4、将内部器官分布三维图像与三维体表轮廓图像进行叠加融合、显示；

S1具体包括以下步骤：

S101、获取成像目标的原始三维体表轮廓图像和内部结构图像；

S102、对内部结构图像进行勾画处理，从而得到器官的二进制掩膜图像；

S103、获取与原始三维体表轮廓图像配准的器官掩膜图像，具体方法为：将二进制掩膜图像与原始三维体表轮廓图像进行配准得到轮廓配准位移场，将轮廓配准位移场作用于二进制掩膜图像，得到与三维体表轮廓图像配准的器官掩膜图像；

将二进制掩膜图像与原始三维体表轮廓图像进行配准的方法为：首先针对同一个截面的原始三维体表轮廓图像和器官掩膜图像，原始三维体表轮廓图像截面之后是一条体表轮廓曲线，将器官掩膜图像的边缘与该条体表轮廓曲线进行弹性配准，得到弹性配准位移场，再将该弹性配准位移场作用于器官掩膜图像内部的器官结构；

或者，将二进制掩膜图像与原始三维体表轮廓图像进行配准的方法为：将原始三维体表轮廓图像与二进制掩膜图像的三维轮廓进行曲面间的配准，得到弹性配准位移场，再将该弹性配准位移场作用于器官掩膜图像内部的器官结构；

S104、对原始三维体表轮廓图像进行归一化处理，设定处理后的三维体表轮廓图像作为深度学习神经网络的输入图像，器官掩膜图像为深度学习神经网络的输出结果，将三维体表轮廓图像、器官掩膜图像作为一个训练数据样本对；

S105、利用训练数据样本对训练基于神经网络的成像目标内部器官生成模型。

2.根据权利要求1所述的一种基于深度学习的生物体内部结构生成方法，其特征在于，S105步骤中内部器官生成模型的训练方法为：深度学习神经网络采用扩散模型架构，所述扩散模型在工作时先进行前向过程，再进行逆扩散过程；

前向过程是逐步添加高斯噪声的过程，具体为对成像目标的器官掩膜图像添加随机噪声；

逆扩散过程是在三维体表轮廓图像的指导下学习成像目标器官掩膜上的随机噪声分量、对成像目标的器官掩膜进行去噪的过程。

3.根据权利要求2所述的一种基于深度学习的生物体内部结构生成方法，其特征在于，前向过程通过下式表示：

上式中，表示三维体表轮廓图像，/>表示超参数，取值范围是（0,1），并且满足：；t表示某一次的高斯噪声，/>表示带有t时刻高斯噪声的数据样本，/>表示单位矩阵。

4.根据权利要求2所述的一种基于深度学习的生物体内部结构生成方法，其特征在于，所述逆扩散过程为高斯分布过程，具体通过下式表示：

上式中，表示三维体表轮廓图像，/>、/>都表示学习参数，/>表示S104中归一化处理得到的三维体表轮廓图像。

5.根据权利要求1所述的一种基于深度学习的生物体内部结构生成方法，其特征在于，S102步骤中获取器官的二进制掩膜图像的具体方法为：勾画出内部结构图像中成像目标的器官轮廓，并将器官轮廓外区域赋值为1，轮廓以内区域赋值为0，从而得到目标器官的二进制掩膜图像。

6.根据权利要求1所述的一种基于深度学习的生物体内部结构生成方法，其特征在于，对原始三维体表轮廓图像进行归一化处理具体通过下式进行：

上式中，表示第j张归一化后的三维体表轮廓图像，/>表示第j张原始三维体表轮廓图像，/>表示第j张原始三维体表轮廓图像中的最小数值，/>表示第j张原始三维体表轮廓图像中的最大数值。