CN110742652A

CN110742652A - 一种对消化道肿瘤磁辅助超声图像的三维重建设备及方法

Info

Publication number: CN110742652A
Application number: CN201910881960.6A
Authority: CN
Inventors: 李宝鹏; 高伟; 雷浩; 孙忠涵; 宋宗玺; 樊学武
Original assignee: XiAn Institute of Optics and Precision Mechanics of CAS
Current assignee: XiAn Institute of Optics and Precision Mechanics of CAS
Priority date: 2019-09-18
Filing date: 2019-09-18
Publication date: 2020-02-04

Abstract

本发明涉及一种对消化道肿瘤磁辅助超声图像的三维重建设备及方法。旨在解决现有技术中存在的依靠超声图像进行三维重建难度大、易失败的问题。本发明的三维重建设备包括超声设备，所述超声设备包括超声内镜和图像处理装置和磁定位设备，磁定位设备包括内部磁极和外部磁极；内部磁极固定在超声内镜上；外部磁极固定于人体外部且与消化道相对应；图像处理装置用于将超声图像信息与磁定位设备提供的磁定位信息结合进行三维重建。基于上述的三维重建设备，本发明还提供了一种对消化道肿瘤磁辅助超声图像的三维重建方法。

Description

一种对消化道肿瘤磁辅助超声图像的三维重建设备及方法

技术领域

本发明涉及消化道肿瘤三维轮廓的光电检测领域，具体涉及一种对消化道肿瘤磁辅助超声图像的三维重建设备及方法。

背景技术

消化道肿瘤是我国最常见的恶性肿瘤，疾病负担严重，是我国肿瘤防治的重点。内镜下粘膜治疗技术是早期消化道肿瘤的主要治疗手段，但由于内镜下粘膜治疗技术操作难度大，医生训练周期长，同时存在穿孔和出血风险，极大地限制了应用。

早期消化道肿瘤的有效诊疗对于提高肿瘤治疗意义重大，然而一直以来消化道肿瘤缺少无创消融治疗手段。针对上述临床重大需求，如何获得病变部位的三维信息变得非常重要，联合磁定位技术与内镜技术将治疗电极置入消化道内，通过数字医学技术完成治疗方案设计与评估，以期实现消化道肿瘤无创和精准治疗，形成若干无创肿瘤治疗领域的新原理、新技术和新装置，是肿瘤治疗领域的重大突破。

研究消化道肿瘤的三维重建方法，确定消化道肿瘤的位置、形态和边界，对于肿瘤的精准治疗具有重要意义。但是超声内镜在消化道内部的运动很难保证有规则的运动，通常内镜一直在晃动，没有精确的运动，单纯的依靠超声图像信息进行三维重建，难度非常大，很容易重建失败。

发明内容

本发明为了解决现有技术中存在的依靠超声图像进行三维重建难度大、易失败的问题，而提供了一种对消化道肿瘤磁辅助超声图像的三维重建设备及方法，针对超声图像单一模态三维重建的局限性，结合磁信息，进行多源信息互补和融合，完成消化道肿瘤的三维重建，为治疗过程提供精确可靠的几何影像表征信息。

为达到上述目的，本发明所采用的技术方案为：

采用磁定位提供的定位信息，利用定位信息辅助的进行断层成像，完成三维重建。而且磁定位信息稳定、可靠，可以有效的辅助超声图像完成断层三维重建。

本发明的一种对消化道肿瘤磁辅助超声图像的三维重建设备，其特殊之处在于：包括超声设备，所述超声设备包括超声内镜和图像处理装置，其特殊之处在于：

还包括磁定位设备；磁定位设备包括内部磁极和外部磁极；

内部磁极固定在超声内镜上；外部磁极固定于人体外部且与消化道相对应；

所述图像处理装置用于将超声图像信息与磁定位设备提供的磁定位信息结合进行三维重建。

其中，内部磁极和外部磁极均为永磁极或电磁极。

基于上述的三维重建设备，本发明还提供了一种对消化道肿瘤磁辅助超声图像的三维重建方法，其特殊之处在于，包括以下步骤：

步骤1)、离线标定超声内镜和内部磁极之间的位置姿态关系[R,T]，其中，R表示旋转矩阵，T表示平移向量；

1.1)将超声内镜和内部磁极固定在一起，作为测量系统，将其放置于二维平移台上；将标定物与外部磁极固定，并与测量系统对应；

1.2)采用三坐标测量机测量出标定物与外部磁极的位置姿态关系[R₁，T₁]；

1.3)以标定物上某一点为消化道外坐标系的原点，依次沿x轴方向和y轴方向多次移动二维平移台，并记录每次的移动距离和超声图像，采用相机标定算法得出超声内镜与标定物相对于标定坐标系的位置姿态关系[R₂，T₂]；

1.4)采集内部磁极的定位信息和外部磁极的定位信息，计算得出内部磁极和外部磁极的位置姿态关系[R₃，T₃]；

1.5)通过步骤1.2)、1.3)和1.4)的计算结果求出超声内镜与内部磁极的位置姿态关系[R,T]:

[R,T]＝[R₁，T₁][R₂，T₂]*[R₃，T₃]^-1

步骤2)、进行在线测量，并记录磁定位信息：

将固定有内部磁极的超声内镜放入人体消化道部，将外部磁极固定在人体外且与内部磁极相对应的位置；再次采集内部磁极的定位信息和外部磁极的定位信息，计算得出内部磁极和外部磁极的位置姿态关系[R₄，T₄]，结合步骤1.5)的计算公式得出超声内镜与内部磁极的位置姿态关系[R,T]，计算得出超声内镜与外部磁极的关系[R₅,T₅]为：

[R₅,T₅]＝[R,T]*[R₄,T₄]；

步骤3)、多次采集消化道肿瘤区域的超声图像，并且记录每幅超声图像对应的磁定位信息，再对每幅超声图像进行预处理，并进行病变部位识别，以及边缘提取和边沿定位，获得边沿信息；

步骤4)、超声图像校准：

根据步骤2)所得的对应的磁定位信息[R,T]以及步骤3)所得的边沿信息对每幅超声图像进行磁定位校准，并将超声图像按照空间顺序依次放置；

步骤5)、超声图像三维重建：

对经过磁定位校准后的超声图像采用断层成像方法进行三维重建。

进一步地，所述超声内镜和内部磁极的位置和姿态关系[R,T]与标定坐标系关系为：

其中：T＝[x,y,z]^T

x,y,z分别表示沿着消化道外的坐标系O-XYZ中X,Y,Z轴的平移量；

α,β,γ分别表示X,Y,Z轴的旋转量。

进一步地，所述步骤3)中的边缘提取和边沿定位是利用低回声特性提取病变部位的轮廓信息，结合图像抠图算法完成。

进一步地，所述步骤4)中的磁定位校准是利用磁极提供的位姿信息，将采集到的所有超声图像均放置放置在消化道外坐标系O-XYZ中，使得超声图像按照同一方位序列布局，形成序列图像。

进一步地，所述步骤5)还包括剔除步骤：即如果超声图像倾斜角度α、β以及γ大于设定值，则进行三维重建时剔除该超声图像。

进一步地，所述设定值为30°。

进一步地，所述步骤1)在光学平台上完成。

进一步地，所述步骤3)中的预处理为对采集图像进行滤波、增强处理。

本发明的有益效果是：

1.本发明的超声内镜和内部磁极固定在一起组成测量系统，结构紧凑，方便可行，测量系统摆脱了依靠超声内镜三维重建时容易失败的情形，磁极为超声内镜图像提供了定位信息，使得测量系统不只获得超声图像信息，也同时获得图像的位置和姿态信息，多源信息的融合使得三维重建结果更加鲁棒。

2.本发明的方法主要包括离线标定、在线测量以及三维重建，该方法采集磁极信息与超声图像信息结合进行三维重建，能够避免仅仅依靠超声图像信息的三维重建失败的情况；即针对超声图像单一模态三维重建的局限性，结合磁定位信息，进行多源信息互补和融合，完成消化道肿瘤的三维重建，为治疗过程提供精确可靠的几何影响表征信息。

附图说明

图1为消化道肿瘤的磁辅助的超声图像的三维重建系统示意图；

图2为消化道内磁极坐标系与消化道外磁极坐标系示意图。

图中，1-超声内镜，2-内部磁极，3-外部磁极。

具体实施方式

为使本发明的目的、优点和特征更加清楚，以下结合附图和具体实施例对本发明提出的一种对消化道肿瘤磁辅助超声图像的三维重建设备及方法作进一步详细说明。根据下面具体实施方式，本发明的优点和特征将更清楚。需要说明的是：附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的；其次，附图所展示的结构往往是实际结构的一部分。

下面结合附图和具体实施方式对本发明进行详细说明。

本实施例的一种对消化道肿瘤磁辅助超声图像的三维重建设备，其结构如下：

如图1所示，包括超声设备，所述超声设备包括超声内镜1和图像处理装置，还包括磁定位设备；磁定位设备包括内部磁极2和外部磁极3；内部磁极2固定在超声内镜1上；外部磁极3固定于人体外部且与消化道相对应；

其中，内部磁极2和外部磁极3均为永磁极或电磁极。

本实施例的一种对消化道肿瘤磁辅助超声图像的三维重建方法，具体包括以下步骤：

位置和姿态关系[R,T]与标定坐标系关系为：

其中：T＝[x,y,z]^T

x,y,z分别表示沿着消化道外的坐标系O-XYZ中X,Y,Z轴的平移量；

α,β,γ分别表示X,Y,Z轴的旋转量。

1.1)将超声内镜和内部磁极固定在一起，作为测量系统，将其放置于二维平移台上；将标定物与外部磁极固定，放置与光学平台上并与测量系统对应；该标定物可以采用精密精密加工的标定立方体；

1.3)以标定物上某一点为标定坐标系的原点，依次沿x轴方向和y轴方向多次移动二维平移台，并记录每次的移动距离和超声图像，在超声图像中识别出标定物，采用相机标定算法，联立方程组，得出超声内镜与标定物相对于标定坐标系的位置姿态关系[R₂，T₂]；

[R,T]＝[R₁，T₁][R₂，T₂]*[R₃，T₃]^-1

步骤2)、进行在线测量，并记录磁定位信息：

[R₅,T₅]＝[R,T]*[R₄,T₄]；

可根据临床医生的经验，辅助边缘提取；为了完成自动的边缘提取和边沿定位，利用超声图像数据的特点，考虑利用超声信息构建早期消化道癌组织和正常组织的超声图像数据库。利用度量学习算法分别利用超声信息构建消化道癌组织和正常组织的分类器。在构建学习算法中考虑强噪声复杂背景的影响，学习算法建模时重点关注噪声的影响，构建适用于消化道癌分类问题的分类器。可以自动完成超声图像病变部位的边缘提取，边沿定位。

步骤4)、超声图像校准：

根据步骤2)所得的对应的磁定位信息[R₅,T₅]以及步骤3)所得的边沿信息对每幅超声图像进行磁定位校准，并将超声图像按照空间顺序依次放置；

即，每幅超声图像乘以对应的旋转和平移矩阵，使得所有的超声图像均位于同一个外部的空间坐标中，将图像按照空间顺序依次放置。

步骤5)、基于断层轮廓进行三维重建：

如图2所示，旋转矩阵R和平移向量T表示消化道内的磁极坐标系(o-xyz)(注：小写字母)，先旋转(见α,β,γ)，再平移(见x,y,z)后，能够完全与消化道外的坐标系(O-XYZ)(注：大写字母)重合。消化道外部磁极固定，便可根据内部磁极的磁定位信息得到消化道内的内部磁极的旋转矩阵R和平移向量T，进而得到超声图像的空间坐标系的方向和位置。

再进行剔除步骤：即如果超声图像倾斜角度α、β以及γ大于设定值，则进行三维重建时剔除该超声图像。

得到三维重建结果，可以进行病灶尺寸测量；为下一步的诊断和治疗，给医生提供数据支持。

其中，步骤4)中的磁定位校准就是利用磁极提供的位姿信息，将采集到的所有超声图像均放置在消化道外坐标系O-XYZ中，使得超声图像按照同一方位序列布局，形成序列图像。

Claims

1.一种对消化道肿瘤磁辅助超声图像的三维重建设备，包括超声设备，所述超声设备包括超声内镜和图像处理装置，其特征在于：

还包括磁定位设备；

所述磁定位设备包括内部磁极和外部磁极；

所述内部磁极固定在超声内镜上；

所述外部磁极固定于人体外部且与消化道相对应；

2.根据权利要求1所述的一种对消化道肿瘤磁辅助超声图像的三维重建设备，其特征在于：

所述内部磁极为永磁极或电磁极；

所述外部磁极为永磁极或电磁极。

3.一种对消化道肿瘤磁辅助超声图像的三维重建方法，其特征在于，包括以下步骤：

1.3)以标定物上某一点为标定坐标系的原点，依次沿x轴方向和y轴方向多次移动二维平移台，并记录每次的移动距离和超声图像，采用相机标定算法得出超声内镜与标定物相对于标定坐标系的位置姿态关系[R₂，T₂]；

[R,T]＝[R₁，T₁][R₂，T₂]*[R₃，T₃]^-1

步骤2)、进行在线测量，并记录磁定位信息：

[R₅,T₅]＝[R,T]*[R₄,T₄]；

步骤4)、超声图像校准：

步骤5)、超声图像三维重建：

4.根据权利要求3所述的一种对消化道肿瘤磁辅助超声图像的三维重建方法，其特征在于：

所述超声内镜和内部磁极的位置和姿态关系[R,T]与标定坐标系关系为：

其中：T＝[x,y,z]^T

x,y,z分别表示沿着消化道外的坐标系O-XYZ中X,Y,Z轴的平移量；

α,β,γ分别表示X,Y,Z轴的旋转量。

5.根据权利要求4所述的一种对消化道肿瘤磁辅助超声图像的三维重建方法，其特征在于：所述步骤3)中的边缘提取和边沿定位是利用低回声特性提取病变部位的轮廓信息，结合图像抠图算法完成。

6.根据权利要求5所述的一种对消化道肿瘤磁辅助超声图像的三维重建方法，其特征在于：所述步骤4)中的磁定位校准是利用磁极提供的位姿信息，将采集到的所有超声图像均放置放置在消化道外坐标系O-XYZ中，使得超声图像按照同一方位序列布局，形成序列图像。

7.根据权利要求6所述的一种对消化道肿瘤磁辅助超声图像的三维重建方法，其特征在于：所述步骤5)还包括剔除步骤：即如果超声图像倾斜角度α、β以及γ大于设定值，则进行三维重建时剔除该超声图像。

8.根据权利要求7所述的一种对消化道肿瘤磁辅助超声图像的三维重建方法，其特征在于：所述设定值为30°。

9.根据权利要求8所述的一种对消化道肿瘤磁辅助超声图像的三维重建方法，其特征在于：所述步骤1)在光学平台上完成。

10.根据权利要求9所述的一种对消化道肿瘤磁辅助超声图像的三维重建方法，其特征在于：所述步骤3)中的预处理为对采集图像进行滤波、增强处理。