CN111968222A - 一种人体组织非静止状态下三维超声重建方法 - Google Patents

Abstract

本发明提供了一种人体组织非静止状态下三维超声重建方法。首先，采集视频数据并建立人体位移视频数据库，并利用数据库中的图像及其标注信息对三维卷积神经网络进行训练；然后，利用训练好的网络检测得到超声扫描中发生移动时刻的起始图像帧序号，根据序号将二维超声图像序列分段；接着，采用贝塞尔插值算法对每段二维超声图像序列进行三维重建；最后，采用基于互信息的方法实现分段三维超声图像的配准，实现对被扫描组织的准确三维容积图像重建。本发明解决了现有超声自动扫描机器人在扫描人体过程中，当人体组织发生不自主移动时三维超声重建技术的误差较大问题，能够得到高质量的超声扫描图像，实用性较强。

Description

一种人体组织非静止状态下三维超声重建方法

技术领域

本发明属医学图像处理技术领域，具体涉及一种人体组织非静止状态下三维超声重建方法。

背景技术

医疗超声是四大医学影像模态之一，据WTO统计，超过25％的医学影像检查采用了超声，是应用最多的医学影像模态。与其它医学成像技术(如计算机断层扫描技术CT、核磁共振成像技术MRI、核医学成像技术PET)相比，超声成像具有无电离辐射、对人体无损伤、无痛苦、实时性好、成本低的特点，超声对软组织的鉴别力较高，在对人体软组织疾病进行诊断和对心血管脏器的血流动力学测量方面有其他方法不能相比的优势。超声成像已经在预防、诊断、治疗、康复、监护和普查人体疾病中得到了广泛应用，成为现代医学中使用最为广泛的诊断手段之一，并且随着人们健康需求的提高，其应用深度和广度都在不断扩大。

超声自动扫描机器人的工作过程通常包含以下步骤：确定扫描人体组织部位，以一定的扫描手法并通过机器人控制探头接触人体组织部位；在沿扫描路径扫描过程中，通过对环境的观察调整探头姿态以及规划扫描轨迹；最后可视化扫描结果。当完成扫描后，为直观地显示超声扫描结果，需要对成像数据进行可视化。为直观地显示超声扫描结果，需要对成像数据进行可视化。由于采集到的B超图像都有相对应的位置信息，可以采用三维重建的方法获得三维影像。关于三维超声图像重建技术，研究人员已经提出了大量可行的三维重建算法，这些算法大体可以分为三类：基于像素的三维重建算法(Pixel-Based Methods,PBM)、基于体素的三维重建算法(Voxel-Based Methods,VBM)和基于函数的三维重建算法(Function-Based Methods,FBM)。Welch等人完成的近实时三维重建系统，每次等待固定数目的原始二维图像采集后，利用邻域平均插值算法重建出部分的三维体并渲染显示出来。A.L.Bogush在2004年提出了用三次样条插值对不规则排列的二维超声图像进行插值的方法，实现了对目标对象的三维重建。

但是，已有的基于B超图像实现三维重建的技术都有一个假设：扫描成像过程中被扫查部位保持静止不动。事实上，这个假设在临床上是难以成立的；在机器人扫描过程中，被扫描者无法保持真正的静止状态。人体组织会不自主的产生一定组织的移动，如呼吸、肢体的非自主移动、体内血流与组织形变等等。组织移动拟通过上述方法进行检测。在人体组织发生偏移后，机器人的路径会重新自主规划，然而这将会导致路径改变后新采集到的二维超声图像序列在空间位置上和之前的图像序列存在偏差，即：由于人体部位的移动，人体组织内的特定解剖结构在世界坐标系中的定位也发生变化了，那么原始路径与新路径上采集到的B超图像集(假定它们对应相同的解剖结构)在世界坐标系的位置也发生变化，这样就无法通过机器人系统坐标读数准确地实现对被扫描组织的总体三维数据重构。

发明内容

为了解决现有超声自动扫描机器人在扫描人体过程中，当人体组织发生不自主移动时成像误差增大的问题，本发明提供一种人体组织非静止状态下三维超声重建方法。首先，采集视频数据并建立人体位移视频数据库，并利用数据库中的图像及其标注信息对三维卷积神经网络进行训练；然后，利用训练好的网络检测得到超声扫描中发生移动时刻的起始图像帧序号，根据序号将二维超声图像序列分段；接着，采用贝塞尔插值算法对每段二维超声图像序列进行三维重建；最后，采用基于互信息的方法实现分段三维超声图像的配准，实现对被扫描组织的准确三维容积图像重建。

一种人体组织非静止状态下三维超声重建方法，其特征在于步骤如下：

步骤1：使用深度摄像仪采集视频数据，建立人体位移的视频数据库，数据库中包括人体移动视频图像及其标注信息，标注信息包括该视频图像中人体位移为轻微移动或明显移动两类；

步骤2：利用数据库中带标注的视频图像对三维卷积神经网络模型进行训练，训练好的网络模型对若干帧视频图像进行检测，得到其中的人体的位移是否属于明显移动的预测和发生移动的起始时刻图像帧序号；

步骤3：对需要检查的患者人体部位进行超声扫描，将扫描得到的图像输入到步骤2训练好的网络模型，得到人体组织发生移动的起始时刻图像帧序号N_bias，将超声探头移动过程中采集到的发生组织移动的系列图像设置为组织偏移拐点序列，并记录这些图像对应的人体组织部位；对记录的组织偏移拐点序列人体组织部位进行重新超声扫描，得到新的超声图像序列，以初始扫描得到的人体组织发生移动的起始时刻图像帧序号N_bias为界，将超声图像序列分为两组，序号小于N_bias的图像为一组，其余图像为另一组；

步骤4：采用贝塞尔插值算法分别对步骤3得到的两组图像序列进行三维重建；

步骤5：采用互信息方法对三维重建后的两组图像进行配准，得到最终的三维超声图像。

进一步地，步骤4所述的采用贝塞尔插值算法对图像序列进行三维重建的具体步骤如下：

步骤a：设置大小为m的控制窗口，m取值不超过图像序列所包含的最大帧数，控制窗口的起点设定在该组图像序列中的第一帧图像处，控制窗口包含第1～m帧超声图像中相同位置的m个像素点，通过坐标转换，将每个像素点映射到三维重建体积坐标系中，得到该像素点的三维空间坐标；

步骤b：设控制窗口内m个像素点的三维空间坐标为R_i(x_i,y_i,z_i)，i＝1,…,m，利用下式构建得到一条基于位置的m-1次贝塞尔曲线B(u)：

其中，u表示曲线B(u)的自变量，

表示组合数；

设控制窗口内m个像素点在三维空间对应的体素的灰度值分别为V₁、V₂、…、V_m，利用下式构建得到一条基于体素灰度值的m-1次贝塞尔曲线V(t)：

其中，t表示曲线的自变量，

表示组合数；

步骤c：重复步骤a和b，遍历同一个控制窗口内超声图像上的所有像素点；

步骤d：沿序列图像的帧序号，将控制窗口向后移动n帧，n为小于m的整数值，重复以上步骤a-c，直至遍历完该组图像序列中的所有超声图像；若最后一个控制窗口中的图像帧数g小于设定的固定帧数m，则采用g-1阶贝塞尔曲线进行插值；对于控制窗口之间存在的重叠区域，采用距离加权法重新计算图像中的像素点映射得到的体素灰度值，其表达式如下：

其中，V表示重叠区域像素点映射得到的体素灰度值，V_pre表示重叠区域的前一帧图像中的像素点映射得到的体素灰度值，V_after表示重叠区域的后一帧图像中的像素点映射得到的体素灰度值，d₁表示待插值体素与体素V_pre之间的空间坐标距离，d₂表示待插值体素与体素V_after之间的空间坐标距离；

步骤e：对一个超声图像序列，重复以上步骤a-d，直到控制窗口遍历所有帧图像，得到该图像序列的一个三维体数据。

进一步地，步骤5所述的采用互信息方法对三维重建后的两组图像进行配准的具体过程如下：

对于两组待配准三维图像R、F，以图像R的空间坐标为基准，构建如下配准优化函数T^*：

其中，

为图像R和图像F之间的相似性度量函数，T_V表示在测度S下的空间变换；

本发明采用如下的互信息作为相似性度量函数：

其中，H(R)表示图像R的香农熵，H(F)表示图像F的香农熵，H(R,F)表示图像R和图像F的联合熵；

采用粒子群优化算法求解公式4的配准优化函数，得到实现配准的最优变换T_V；

利用最优变换T_V对浮动图像F进行变换，完成其与图像R的配准。

本发明的有益效果是：首先，该方法采集视频数据并建立人体位移视频数据库，并利用数据库中的图像及其标注信息对三维卷积神经网络进行训练，得到一个可以检测超声扫描中人体是否发生明显移动并记录发生移动的起始时刻图像帧序号的网络；然后，该方法利用训练好的网络检测得到超声扫描中发生移动时刻的起始图像帧序号，根据序号将二维超声图像序列分段，使得每一组图像序列连续且准确；接着，该方法采用贝塞尔插值算法对每段二维超声图像序列进行三维重建，实现了超声图像从二维图像到三维图像的转化；最后，该方法采用基于互信息的方法实现分段三维超声图像的配准，实现对被扫描组织的准确三维容积图像重建。本发明解决了人体组织非静止状态下三维超声重建技术的误差较大问题，能够得到高质量的超声扫描图像，实用性较强。

附图说明

图1是本发明的一种人体组织非静止状态下三维超声重建方法流程图；

图2是本发明在每一组超声图像序列中定义一个控制窗口的示意图；

图3是本发明分段三维超声图像配准的过程图。

具体实施方式

下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。

如图1所示，本发明提供了一种人体组织非静止状态下三维超声重建方法，其具体实现过程如下：

步骤一：使用深度摄像仪采集视频数据，并视频图像中人体位移的明显程度进行人工标注，分为两大类：轻微移动和明显移动，如此建立得到人体位移的视频数据库，数据库中包括人体移动视频图像及其为轻微移动或明显移动的标注信息。

步骤二：利用建立好的数据库中带标注的视频图像对已有的三维卷积神经网络模型(3D CNN)进行训练获得自动检测人体位移程度的三维深度网络结构。网络模型能通过数帧图像检测出人体的位移是否属于明显移动，并检测出发生移动时刻的起始图像帧序号N_bias。

步骤三：对需要检查的患者人体部位进行超声扫描，在超声扫描过程中，利用步骤二所得到的网络模型可检测出人体发生移动时刻的起始图像帧序号N_bias，将超声探头移动过程中采集到的发生组织移动后的一系列图像设置为“组织偏移拐点序列”，并记录这些图像对应的人体组织。根据N_bias记录的发生位移的人体组织部位，控制超声探头走位重新扫描“组织偏移拐点序列”对应的人体组织。然后根据N_bias对所有超声图像序列进行分组，小于N_bias为一组，大于N_bias为一组。

步骤四：分别对每组二维超声图像序列采用贝塞尔插值算法进行三维重建得到三维图像。

(1)在每一组超声图像序列中定义一个控制窗口，如图2所示。设置控制窗口大小为m帧，m最大不超过图像序列所包含的最大帧数，控制窗口的起点设定在该组图像中的第一帧图像处，控制窗口包含第1～m帧超声图像中相同位置的m个像素点P₁、P₂、…、P_m，通过坐标转换，将每个像素点映射到三维重建体积坐标系中，得到该像素点的三维空间坐标。

(2)设控制窗口内m个像素点的三维空间坐标为R_i(x_i,y_i,z_i)，i＝1,…,m，利用下式构建得到一条基于位置的m-1次贝塞尔曲线B(u)：

其中，u表示曲线B(u)的自变量，

表示组合数。

设控制窗口内m个像素点在三维空间对应的体素的灰度值分别为V₁、V₂、…、V_m，利用下式构建得到一条基于体素灰度值的m-1次贝塞尔曲线V(t)：

其中，t表示曲线的自变量，

表示组合数。

(3)重复以上步骤(1)和(2)，遍历同一个控制窗口内超声图像上的所有像素点。

(4)沿序列图像的帧序号，将控制窗口向后移动n帧(n<m)，重复以上步骤(1)-(3)，直至遍历完该组序列图像中的所有超声图像。若最后一个控制窗口中的图像帧数g小于设定的固定帧数m，则采用g-1阶贝塞尔曲线进行插值。对于控制窗口之间存在的重叠区域，采用距离加权法重新计算图像中的像素点映射得到的体素灰度值，其表达式如下：

其中，V表示重叠区域像素点映射得到的体素灰度值，V_pre表示重叠区域的前一帧图像中的像素点映射得到的体素灰度值，V_after表示重叠区域的后一帧图像中的像素点映射得到的体素灰度值，d₁表示待插值体素与体素V_pre之间的空间坐标距离，d₂表示待插值体素与体素V_after之间的空间坐标距离。

(5)对每一个分组内的超声图像序列，重复以上步骤(1)-(4)直到控制窗口遍历当前分组内的所有扫描图像，得到一个三维体数据。

根据得到的三维体数据，可以利用CUDA并行计算技术实现三维重建和可视化。

步骤五：人体组织发生偏移后，不同分组的超声图像序列在空间位置上已经存在偏差，无法通过机器人系统坐标读数实现被扫描组织的总体三维数据重构，因此通过基于互信息的方法实现分段三维超声图像配准。过程如图3所示，具体为：

假设两组待配准三维图像分别为R、F，以图像R的空间坐标为基准(R即为参照图像)，在测度S下的图像配准准则即为寻找一个空间变换T_V，对图像F做变换T_V(F即为浮动图像)，使得在此变换下测度S最大。

构建如下配准优化函数T^*：

其中，

为图像R和图像F之间的相似性度量函数，当两幅图像完全配准时，该函数取值最大。本发明采用互信息作为相似性度量函数，即：

其中，H(R)表示图像R的香农熵，H(F)表示图像F的香农熵，H(R,F)表示图像R和图像F的联合熵。

采用粒子群优化算法求解上述配准优化函数，得到实现配准的最优变换T_V。

然后，对浮动图像F利用最优变换T_V，使其与参照图像R实现配准。

Claims (3)

1.一种人体组织非静止状态下三维超声重建方法，其特征在于步骤如下：

步骤1：使用深度摄像仪采集视频数据，建立人体位移的视频数据库，数据库中包括人体移动视频图像及其标注信息，标注信息包括该视频图像中人体位移为轻微移动或明显移动两类；

步骤2：利用数据库中带标注的视频图像对三维卷积神经网络模型进行训练，训练好的网络模型对若干帧视频图像进行检测，得到其中的人体的位移是否属于明显移动的预测和发生移动的起始时刻图像帧序号；

步骤3：对需要检查的患者人体部位进行超声扫描，将扫描得到的图像输入到步骤2训练好的网络模型，得到人体组织发生移动的起始时刻图像帧序号N_bias，将超声探头移动过程中采集到的发生组织移动的系列图像设置为组织偏移拐点序列，并记录这些图像对应的人体组织部位；对记录的组织偏移拐点序列人体组织部位进行重新超声扫描，得到新的超声图像序列，以初始扫描得到的人体组织发生移动的起始时刻图像帧序号N_bias为界，将超声图像序列分为两组，序号小于N_bias的图像为一组，其余图像为另一组；

步骤4：采用贝塞尔插值算法分别对步骤3得到的两组图像序列进行三维重建；

步骤5：采用互信息方法对三维重建后的两组图像进行配准，得到最终的三维超声图像。

2.如权利要求1所述的一种人体组织非静止状态下三维超声重建方法，其特征在于：步骤4所述的采用贝塞尔插值算法对图像序列进行三维重建的具体步骤如下：

步骤a：设置大小为m的控制窗口，m取值不超过图像序列所包含的最大帧数，控制窗口的起点设定在该组图像序列中的第一帧图像处，控制窗口包含第1～m帧超声图像中相同位置的m个像素点，通过坐标转换，将每个像素点映射到三维重建体积坐标系中，得到该像素点的三维空间坐标；

步骤b：设控制窗口内m个像素点的三维空间坐标为R_i(x_i,y_i,z_i)，i＝1,…,m，利用下式构建得到一条基于位置的m-1次贝塞尔曲线B(u)：

其中，u表示曲线B(u)的自变量，

表示组合数；

设控制窗口内m个像素点在三维空间对应的体素的灰度值分别为V₁、V₂、…、V_m，利用下式构建得到一条基于体素灰度值的m-1次贝塞尔曲线V(t)：

其中，t表示曲线的自变量，

表示组合数；

步骤c：重复步骤a和b，遍历同一个控制窗口内超声图像上的所有像素点；

步骤d：沿序列图像的帧序号，将控制窗口向后移动n帧，n为小于m的整数值，重复以上步骤a-c，直至遍历完该组图像序列中的所有超声图像；若最后一个控制窗口中的图像帧数g小于设定的固定帧数m，则采用g-1阶贝塞尔曲线进行插值；对于控制窗口之间存在的重叠区域，采用距离加权法重新计算图像中的像素点映射得到的体素灰度值，其表达式如下：

其中，V表示重叠区域像素点映射得到的体素灰度值，V_pre表示重叠区域的前一帧图像中的像素点映射得到的体素灰度值，V_after表示重叠区域的后一帧图像中的像素点映射得到的体素灰度值，d₁表示待插值体素与体素V_pre之间的空间坐标距离，d₂表示待插值体素与体素V_after之间的空间坐标距离；

步骤e：对一个超声图像序列，重复以上步骤a-d，直到控制窗口遍历所有帧图像，得到该图像序列的一个三维体数据。

3.如权利要求1或2所述的一种人体组织非静止状态下三维超声重建方法，其特征在于：步骤5所述的采用互信息方法对三维重建后的两组图像进行配准的具体过程如下：

对于两组待配准三维图像R、F，以图像R的空间坐标为基准，构建如下配准优化函数T^*：

其中，

为图像R和图像F之间的相似性度量函数，T_V表示在测度S下的空间变换；

本发明采用如下的互信息作为相似性度量函数：

其中，H(R)表示图像R的香农熵，H(F)表示图像F的香农熵，H(R,F)表示图像R和图像F的联合熵；

采用粒子群优化算法求解公式4的配准优化函数，得到实现配准的最优变换T_V；

利用最优变换T_V对浮动图像F进行变换，完成其与图像R的配准。

Images