CN113888698A - 一种面向肝切除术的动态三维重建方法及系统 - Google Patents

一种面向肝切除术的动态三维重建方法及系统 Download PDF

Info

Publication number
CN113888698A
CN113888698A CN202111196268.3A CN202111196268A CN113888698A CN 113888698 A CN113888698 A CN 113888698A CN 202111196268 A CN202111196268 A CN 202111196268A CN 113888698 A CN113888698 A CN 113888698A
Authority
CN
China
Prior art keywords
data
reconstructed
target
space
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111196268.3A
Other languages
English (en)
Inventor
张立华
邝昊鹏
杨鼎康
王顺利
杨仲伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202111196268.3A priority Critical patent/CN113888698A/zh
Publication of CN113888698A publication Critical patent/CN113888698A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及一种面向肝切除术的动态三维重建方法及系统,包括:基于术前CT图像得到初始网格数据;使用术中CT获取手术区域的二维投影图像,得到目标网格数据;使用目标网格数据与初始网格数据分别构建曲面模型并进行刚性配准,划定形变区域较大的模型曲面部分为待重构空间;将待重构空间内的初始网格区域进行非刚性变形,重建待重构空间的高分辨率曲面模型;使用生成的待重构空间的高分辨率曲面模型替代术前全肝组织精准三维曲面模型的对应部分。与现有技术相比,本发明解决了现有技术时间复杂度高、算力要求高、不能进行局部区域动态监测的问题,实现了在术中快速重建手术区域肝脏组织曲面,达到手术过程中动态监测和辅助精准切除的目的。

Description

一种面向肝切除术的动态三维重建方法及系统
技术领域
本发明涉及三维重建技术领域,尤其是涉及一种面向肝切除术的动态三维重建方法及系统。
背景技术
通过三维重建技术可以利用CT/MRI等医疗影像建立清晰的全肝组织三维模型,进一步可以对癌症患者肝脏组织中的癌灶进行可视化。在原发性肝癌患者的肝切除术前,可以使用三维重建技术帮助医生划定最优手术边界,以达到术中沿最小损伤、最大获益的路径切除病灶的目的。
然而在肝切除术中,一方面,各种处理手段会导致肝脏组织产生不同的形变,使得最优手术切除边界难以精准可控。目前基于超声和CT影像的三维重建技术研究存在时间复杂度高的问题,无法在术中快速重建肝脏中的复杂管道(如肝静脉、门静脉及胆管系统),很难达到手术过程中动态监测和精准切除的目的。
中国专利CN106960470A中公开了一种三维点云曲面重建方法及装置,通过对网格数据进行平滑和/或细化处理,使得空间物体的重构曲面比较光滑,从而得到较为逼真的三维物体模型。但是该发明效率低下,在手术场景下很难对医生提供及时有效的帮助。中国专利CN106846465A公开了一种CT三维重建方法及系统,基于分布式技术,通过多个下位机计算二维投影图像中各像素点的投影矩阵和迭代衰减分量,进而更新待重建三维体数据的当前迭代状态,将迭代终止后待重建三维体数据的当前迭代状态作为CT针对二维投影图像的三维重现结果。解决了算法计算量大、计算效率低以及计算结果可重用性差等问题,保证了三维重建图像质量。但是该发明的算力要求高,需要对医院的硬件环境进行升级才可部署;其对重建三维体数据的更新,需要进行多次迭代且为全局更新,无法定位术中操作区域,无法达到随着手术流程进行,对医生操作区域进行动态定位与实时辅助的目的。现有技术中,面向肝切除术的三维重建方法或装置成本高、算力要求比较高,若部署在医院,则需要对医院的硬件环境进行升级,且效率低,每次进行重建的反应速度慢,在手术场景下很难对医生提供及时有效的帮助,而且不能随着手术流程的进行,对医生操作区域进行动态建模,因此,临床效果不佳。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种面向肝切除术的动态三维重建方法及系统,基于高精度自适应插值算法,通过将CT图像中目标组织的轮廓数据进行网格化处理,利用术前患者的全肝组织精准三维曲面模型做参照,在术中CT辅助下,自动定位医生手术的操作区域,将各种处理手段下导致肝脏组织产生的不同形变曲面进行高分辨率的快速重构,解决了现有技术时间复杂度高、算力要求高、不能进行局部区域动态监测的问题,实现了在术中快速重建手术区域肝脏组织曲面,达到手术过程中动态监测和辅助精准切除的目的。
本发明的目的可以通过以下技术方案来实现:
一种面向肝切除术的动态三维重建方法,包括以下步骤:
获取术前CT图像,对术前CT图像中全肝组织的轮廓数据进行网格化处理,得到初始网格数据;
使用术中CT在至少两个旋转角度下获取手术区域的二维投影图像,对二维投影图像中全肝组织的轮廓数据进行三维网格化处理,得到目标网格数据;
使用目标网格数据与初始网格数据分别构建曲面模型并进行刚性配准,划定形变区域较大的模型曲面部分为待重构空间;
基于初始网格数据确定了将待重构空间内的初始网格区域,基于目标网格数据确定了待重构空间内的目标网格区域,将待重构空间内的初始网格区域进行非刚性变形,重建待重构空间的高分辨率曲面模型;
获取术前全肝组织精准三维曲面模型,使用生成的待重构空间的高分辨率曲面模型替代术前全肝组织精准三维曲面模型的对应部分,并进行可视化。
进一步的,术前CT图像的精度不低于术中CT获取的二维投影图像的精度。
进一步的,所述的获取术前CT图像,对术前CT图像中全肝组织的轮廓数据进行网格化处理,得到初始网格数据具体为:
在术前利用CT将全肝组织进行三维重建,并将全肝组织中的各级组织的轮廓数据转化为具有不同标识的初始点云数据P;使用Delaunay三角化算法将各级组织对应的初始点云数据分别进行三角化,得到各级组织的三角化的初始网格数据;其中,第i级组织的初始点云数据为:
Figure BDA0003303152560000031
Ni为第i级组织的初始点云数据的数量。
进一步的,所述的使用术中CT在至少两个旋转角度下获取手术区域的二维投影图像,对二维投影图像中全肝组织的轮廓数据进行三维网格化处理,得到目标网格数据具体为:
使用术中CT在至少两个旋转角度进行扫描,得到手术区域的二维投影图像,对二维投影图像使用阈值分割法与边缘检测算法,获得全肝组织的各级组织的轮廓数据,并根据术中CT的扫描参数将各级组织的轮廓数据转化为目标点云数据D;随各级组织的目标点云数据分别进行三维网格化处理,得到各级组织的三角化的目标网格数据;其中,第i级组织的目标点云数据为:
Figure BDA0003303152560000032
Mi为第i级组织的目标点云数据的数量。
进一步的,所述的使用目标网格数据与初始网格数据分别构建曲面模型并进行刚性配准,划定形变区域较大的模型曲面部分为待重构空间具体为:
利用ICP算法进行目标网格数据与初始网格数据的各级组织之间的刚性配准,目标网格数据与初始网格数据之间映射得到点对,以点对间的欧式距离和作为目标函数;以各级组织中目标函数最小的组织为参照物,加入其他各级组织的目标网格数据与初始网格数据,得到肝脏区域中形变较大的区域,将该区域划分为待重构空间;其中,待重构空间内包含了第i级组织的初始网格数据pi和第i级组织的目标网格数据di
Figure BDA0003303152560000033
Figure BDA0003303152560000034
ni为第i级组织的初始网格数据的数量,mi为第i级组织的目标网格数据的数量,且ni>>mi
进一步的,基于初始网格区域内的初始网格数据得到初始网格点,基于目标网格区域内的目标网格数据得到目标网格点,所述的将待重构空间内的初始网格区域进行非刚性变形,重建待重构空间的高分辨率曲面模型具体为:
将待重构空间内的目标网格点一一映射到初始网格点,并将所有点的映射关系保存为满足单射要求的映射集F:
Figure BDA0003303152560000041
其中,
Figure BDA0003303152560000042
Figure BDA0003303152560000043
满足
Figure BDA0003303152560000044
以在映射集F具备映射关系的初始网格点为关键点,将待重构空间内所有初始网格点通过逆映射插值到目标网格区域,在目标网格区域形成新的目标点云数据:
Figure BDA0003303152560000045
Figure BDA0003303152560000046
将待重构空间内经过插值扩充后的新的目标点云数据进行三维网格化处理,使其满足相邻网格的公共边处保持边界连续的条件,重建待重构空间的高分辨率曲面模型。
一种面向肝切除术的动态三维重建系统,包括:
术前模型网格化处理模块,用于获取术前CT图像,对术前CT图像中全肝组织的轮廓数据进行网格化处理,得到初始网格数据;
术中图像获取模块,用于获取术中CT在至少两个旋转角度下得到的手术区域的二维投影图像;
术中图像网格化处理模块,用于对二维投影图像中全肝组织的轮廓数据进行三维网格化处理,得到目标网格数据;
全肝组织刚性配准模块,用于使用目标网格数据与初始网格数据分别构建曲面模型并进行刚性配准;
待重构空间划分模块,用于划定形变区域较大的模型曲面部分为待重构空间;
待重构空间高分辨率插值模块,基于初始网格数据确定了将待重构空间内的初始网格区域,基于目标网格数据确定了待重构空间内的目标网格区域,用于将待重构空间内的初始网格区域进行非刚性变形;
形变区域高分辨率曲面重建模块,用于重建待重构空间的高分辨率曲面模型;
动态重建结果可视化模块,用于使用生成的待重构空间的高分辨率曲面模型替代术前全肝组织精准三维曲面模型的对应部分,并进行可视化。
进一步的,所述术前模型网格化处理模块的具体执行内容为:
在术前利用CT将全肝组织进行三维重建,并将全肝组织中的各级组织的轮廓数据转化为具有不同标识的初始点云数据P;使用Delaunay三角化算法将各级组织对应的初始点云数据分别进行三角化,得到各级组织的三角化的初始网格数据;其中,第i级组织的初始点云数据为:
Figure BDA0003303152560000051
Ni为第i级组织的初始点云数据的数量。
进一步的,所述术中图像获取模块的具体执行内容为:
使用术中CT在至少两个旋转角度进行扫描,得到手术区域的二维投影图像;
所述术中图像网格化处理模块的具体执行内容为:
对二维投影图像使用阈值分割法与边缘检测算法,获得全肝组织的各级组织的轮廓数据,并根据术中CT的扫描参数将各级组织的轮廓数据转化为目标点云数据D;随各级组织的目标点云数据分别进行三维网格化处理,得到各级组织的三角化的目标网格数据;其中,第i级组织的目标点云数据为:
Figure BDA0003303152560000052
Mi为第i级组织的目标点云数据的数量。
进一步的,所述全肝组织刚性配准模块的具体执行内容为:
利用ICP算法进行目标网格数据与初始网格数据的各级组织之间的刚性配准,目标网格数据与初始网格数据之间映射得到点对;
所述待重构空间划分模块的具体执行内容为:
以点对间的欧式距离和作为目标函数,以各级组织中目标函数最小的组织为参照物,加入其他各级组织的目标网格数据与初始网格数据,得到肝脏区域中形变较大的区域,将该区域划分为待重构空间;其中,待重构空间内包含了第i级组织的初始网格数据pi和第i级组织的目标网格数据di
Figure BDA0003303152560000053
Figure BDA0003303152560000054
ni为第i级组织的初始网格数据的数量,mi为第i级组织的目标网格数据的数量,且ni>>mi
进一步的,基于初始网格区域内的初始网格数据得到初始网格点,基于目标网格区域内的目标网格数据得到目标网格点,所述待重构空间高分辨率插值模块的具体执行内容为:
将待重构空间内的目标网格点一一映射到初始网格点,并将所有点的映射关系保存为满足单射要求的映射集F:
Figure BDA0003303152560000055
其中,
Figure BDA0003303152560000056
Figure BDA0003303152560000057
满足
Figure BDA0003303152560000058
以在映射集F具备映射关系的初始网格点为关键点,将待重构空间内所有初始网格点通过逆映射插值到目标网格区域,在目标网格区域形成新的目标点云数据:
Figure BDA0003303152560000061
Figure BDA0003303152560000062
形变区域高分辨率曲面重建模块的具体执行内容为:
将待重构空间内经过插值扩充后的新的目标点云数据进行三维网格化处理,使其满足相邻网格的公共边处保持边界连续的条件,重建待重构空间的高分辨率曲面模型。
与现有技术相比,本发明具有以下有益效果:
(1)本发明使用患者术前全肝组织精准三维曲面模型为参照,保证了术中三维曲面模型的高精度,且可以实现每个患者的个性化建模,为肝切除术个性化精准切除提供了极有力的支撑;
(2)本发明在进行三维建模中,使用各级器官组织的轮廓数据转化为点云数据,并不是完整CT影像的全部体元数据,而且对于待重构空间的自动划分进一步减少了三维曲面建模的计算量,故而本发明极大节约了算力,并提高了计算效率,使得整个软件系统满足各级医院的部署条件;
(3)本发明对于待重构空间的自动划分代表了对术中复杂条件下器官组织产生形变区域的自动监测,加上其动态重构的特点,结合现有技术中的导航技术完全可以实现辅助医生完成术中沿最小损伤、最大获益的路径切除病灶的目的。
附图说明
图1为动态三维重建方法的流程图;
图2为动态三维重建系统的架构图;
图3为实施例中肝脏血管系统动态三维重建方法的流程图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
在附图中,结构相同的部件以相同数字标号表示,各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的,本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰,附图中有些地方适当夸大了部件。
实施例1:
一种面向肝切除术的动态三维重建方法,如图1所示,包括以下步骤:
1)获取术前CT图像,对术前CT图像中全肝组织的轮廓数据进行网格化处理,得到初始网格数据;
在术前利用增强CT将全肝组织(包括各肝段、肝静脉、门静脉及胆管系统、肿瘤病灶等)进行三维重建,并将全肝组织中的各级组织的轮廓数据转化为具有不同颜色标识的初始点云数据P;使用Delaunay三角化算法将各级组织对应的初始点云数据分别进行三角化,得到各级组织的高分辨率的三角化的初始网格数据;其中,第i级组织的初始点云数据为:
Figure BDA0003303152560000071
Ni为第i级组织的初始点云数据的数量。
2)使用术中CT在至少两个旋转角度下获取手术区域的二维投影图像,对二维投影图像中全肝组织的轮廓数据进行三维网格化处理,得到目标网格数据;
使用术中CT在至少两个旋转角度进行快速平扫,得到手术区域的二维投影图像,也称为CT切片图像,术中的CT切片图像的精度可低于术前CT图像,如若术前CT图像的体素大小为1mm*1mm*1mm,术中CT切片图像的体素大小可以为2mm*2mm*2mm,但术中CT的扫描范围需要覆盖整个肝脏区域;
对CT切片图像使用阈值分割法与边缘检测算法,快速获得全肝组织的各级组织的轮廓数据,并根据术中CT的扫描参数将各级组织的轮廓数据转化为目标点云数据D;随各级组织的目标点云数据分别进行三维网格化处理,得到各级组织的低分辨率的三角化的目标网格数据;其中,第i级组织的目标点云数据为:
Figure BDA0003303152560000072
Mi为第i级组织的目标点云数据的数量。
3)使用目标网格数据与初始网格数据分别构建曲面模型并进行刚性配准,划定形变区域较大的模型曲面部分为待重构空间;
利用ICP算法进行低分辨率的目标网格数据与高分辨率的初始网格数据的各级组织之间的刚性配准,目标网格数据与初始网格数据之间映射得到点对,以点对间的欧式距离和作为目标函数;以各级组织中目标函数最小的组织为参照物,加入其他各级组织的目标网格数据与初始网格数据,得到肝脏区域中形变较大的区域,将该区域划分为待重构空间;其中,待重构空间内包含了第i级组织的初始网格数据pi和第i级组织的目标网格数据di
Figure BDA0003303152560000081
Figure BDA0003303152560000082
ni为第i级组织的初始网格数据的数量,mi为第i级组织的目标网格数据的数量,且ni>>mi
4)基于初始网格数据确定了将待重构空间内的初始网格区域,基于目标网格数据确定了待重构空间内的目标网格区域,将待重构空间内的初始网格区域进行非刚性变形,重建待重构空间的高分辨率曲面模型;
基于初始网格区域内的初始网格数据得到初始网格点,基于目标网格区域内的目标网格数据得到目标网格点。将待重构空间内的目标网格点一一映射到初始网格点,并将所有点的映射关系保存为满足单射要求的映射集F:
Figure BDA0003303152560000083
其中,
Figure BDA0003303152560000084
Figure BDA0003303152560000085
满足
Figure BDA0003303152560000086
以在映射集F具备映射关系的初始网格点为关键点,将待重构空间内所有初始网格点通过逆映射插值到目标网格区域,在目标网格区域形成高分辨率的新的目标点云数据:
Figure BDA0003303152560000087
Figure BDA0003303152560000088
将待重构空间内经过插值扩充后的高分辨率的新的目标点云数据进行三维网格化处理,并对各级组织进行渲染,使其满足相邻网格的公共边处保持边界连续的条件,重建待重构空间的高分辨率曲面模型。
5)获取术前全肝组织精准三维曲面模型,患者术前的全肝组织精准三维曲面模型由真实CT图像形成,使用生成的待重构空间的高分辨率曲面模型替代术前全肝组织精准三维曲面模型的对应部分,并进行可视化,动态更新术中全肝组织三维曲面模型,将视图自动定位,实现对产生形变区域的可视化。
实施例2:
一种面向肝切除术的动态三维重建系统,如图2所示,包括:
①术前模型网格化处理模块,用于获取术前CT图像,对术前CT图像中全肝组织的轮廓数据进行网格化处理,得到初始网格数据;
具体的,在术前利用增强CT将全肝组织(包括各肝段、肝静脉、门静脉及胆管系统、肿瘤病灶等)进行三维重建,并将全肝组织中的各级组织的轮廓数据转化为具有不同颜色标识的初始点云数据P;使用Delaunay三角化算法将各级组织对应的初始点云数据分别进行三角化,得到各级组织的高分辨率的三角化的初始网格数据;其中,第i级组织的初始点云数据为:
Figure BDA0003303152560000091
Ni为第i级组织的初始点云数据的数量。
②术中图像获取模块,用于获取术中CT在至少两个旋转角度下得到的手术区域的二维投影图像;
具体的,使用术中CT在至少两个旋转角度进行快速平扫,得到手术区域的二维投影图像,也称为CT切片图像,术中的CT切片图像的精度可低于术前CT图像,如若术前CT图像的体素大小为1mm*1mm*1mm,术中CT切片图像的体素大小可以为2mm*2mm*2mm,但术中CT的扫描范围需要覆盖整个肝脏区域。
③术中图像网格化处理模块,用于对二维投影图像中全肝组织的轮廓数据进行三维网格化处理,得到目标网格数据;
具体的,对CT切片图像使用阈值分割法与边缘检测算法,快速获得全肝组织的各级组织的轮廓数据,并根据术中CT的扫描参数将各级组织的轮廓数据转化为目标点云数据D;随各级组织的目标点云数据分别进行三维网格化处理,得到各级组织的低分辨率的三角化的目标网格数据;其中,第i级组织的目标点云数据为:
Figure BDA0003303152560000092
Mi为第i级组织的目标点云数据的数量。
④全肝组织刚性配准模块,用于使用目标网格数据与初始网格数据分别构建曲面模型并进行刚性配准;
具体的,利用ICP算法进行低分辨率的目标网格数据与高分辨率的初始网格数据的各级组织之间的刚性配准,目标网格数据与初始网格数据之间映射得到点对;
⑤待重构空间划分模块,用于划定形变区域较大的模型曲面部分为待重构空间;
具体的,以点对间的欧式距离和作为目标函数,以各级组织中目标函数最小的组织为参照物,加入其他各级组织的目标网格数据与初始网格数据,得到肝脏区域中形变较大的区域,将该区域划分为待重构空间;其中,待重构空间内包含了第i级组织的初始网格数据pi和第i级组织的目标网格数据di
Figure BDA0003303152560000101
Figure BDA0003303152560000102
ni为第i级组织的初始网格数据的数量,mi为第i级组织的目标网格数据的数量,且ni>>mi
⑥待重构空间高分辨率插值模块,基于初始网格数据确定了将待重构空间内的初始网格区域,基于目标网格数据确定了待重构空间内的目标网格区域,用于将待重构空间内的初始网格区域进行非刚性变形;
具体的,基于初始网格区域内的初始网格数据得到初始网格点,基于目标网格区域内的目标网格数据得到目标网格点。将待重构空间内的目标网格点一一映射到初始网格点,并将所有点的映射关系保存为满足单射要求的映射集F:
Figure BDA0003303152560000103
其中,
Figure BDA0003303152560000104
Figure BDA0003303152560000105
满足
Figure BDA0003303152560000106
以在映射集F具备映射关系的初始网格点为关键点,将待重构空间内所有初始网格点通过逆映射插值到目标网格区域,在目标网格区域形成高分辨率的新的目标点云数据:
Figure BDA0003303152560000107
Figure BDA0003303152560000108
⑦形变区域高分辨率曲面重建模块,用于重建待重构空间的高分辨率曲面模型;
具体的,将待重构空间内经过插值扩充后的高分辨率的新的目标点云数据进行三维网格化处理,并对各级组织进行渲染,使其满足相邻网格的公共边处保持边界连续的条件,重建待重构空间的高分辨率曲面模型。
⑧动态重建结果可视化模块,用于使用生成的待重构空间的高分辨率曲面模型替代术前全肝组织精准三维曲面模型的对应部分,并进行可视化,动态更新术中全肝组织三维曲面模型,将视图自动定位,实现对产生形变区域的可视化。
实施例3:
本实施例以一种面向肝切除术的肝脏血管系统动态三维重建方法为实施背景,流程图如图3所示,可适用于在术前使用传统CT/螺旋CT/锥束CT模型下进行三维重建的情况,该方法可以由本申请提供的动态三维重建系统来执行,该系统可由软件和/或硬件来实现,可集成于计算机等设备中,具体包括如下步骤:
S1.获取术前高精度CT图像,对其中肝脏区域血管系统的轮廓数据进行网格化处理,得到高分辨率的初始网格数据,将各类血管进行分类;
其中,CT进行扫描时可以得到扫描区域的全部体素信息,但是输出时选取的体素大小可以根据实际需求进行确定,为了保证术前数据的高分辨率,这里以体素大小为1mm*1mm*1mm为例。CT图像数据保存在Num*H*W的三维数组中,Num为图像数据帧数,H为图像数据高度,W为图像数据宽度。医生在术前拿到切片图像后会对血管轮廓进行描点刻画,该部分轮廓描点可直接导出并形成点云数据P,借此可以使用Delaunay三角化算法将各类血管对应的初始点云数据分别进行三角化,得到各级组织高分辨率的三角化初始网格数据。
其中,第i个类别的血管的初始点云数据可表示为:
Figure BDA0003303152560000111
Ni为第i个类别血管的初始点云数据的数量。
S2.使用术中CT在至少两个旋转角度下获取手术区域的二维投影图像,并使用阈值分割法与边缘检测算法,快速获得各类血管的轮廓数据;
其中,术中CT在至少两个旋转角度进行快速扫描且扫描范围需要覆盖整个肝脏区域,这是因为不同血管的走向不同,单一方向会损失同一血管的大量空间信息,而手术操作未影响到的肝脏区域血管对后续的刚性配准极为重要。另外输出的CT切片图像精度可低于术前CT图像,本实施例中以术中CT切片图像体素大小2mm*2mm*2mm为例。
其中,对CT切片图像使用的阈值分割法需要在有经验的医生提前设置好各类血管的阈值范围。而边缘检测算法的使用可以避免因阈值范围设置不精确而导致的大量干扰数据,然后通过计算连通量和离群值检测,就可以快速获得各类血管的轮廓数据,并根据CT扫描参数将其转化为目标点云数据D;
S3.对术中低分辨率CT切片图像中肝脏区域血管系统的轮廓数据进行三维网格化处理,得到低分辨率的目标网格数据;
其中的三维网格化处理手段同上,可以使用Delaunay三角化算法将各类血管对应的目标点云数据分别进行三维网格化处理,得到各类血管低分辨率的三角化目标网格数据,其中第i类血管的目标点云数据为:
Figure BDA0003303152560000112
Mi为第i类血管的目标点云数据的数量。
S4.使用目标网格数据与初始网格数据分别构建曲面模型并进行刚性配准,划定形变较大的区域为待重构空间;
其中各类血管目标网格数据与初始网格数据之间的刚性配准分别使用ICP算法进行,以点对间的欧式距离和作为目标函数;
其中为防止术中获得的各类血管的轮廓数据与术前的类别不一致,在此步骤分别将术中各类血管的目标网格数据与术前初始网格数据进行刚性配准,若肝脏血管系统中的血管被分为I个类别,则步骤将并行处理I*I次刚性配准;
待重构空间的自动划分为:以I*I次刚性配准中目标函数最小的对应的血管为参照物,加入其他血管的目标网格数据与初始网格数据,然后计算肝脏区域内形变较大的区域,获得待重构空间;
其中待重构空间内包含了第i类血管的初始网格数据pi和第i类血管的目标网格数据di
Figure BDA0003303152560000121
Figure BDA0003303152560000122
ni为第i类血管的初始点云数量,mi为第i类血管的目标点云数量,且ni>>mi
其中,肝脏区域内形变较大的区域是通过刚性配准后,对匹配精度较差区域进行计算得到的,由于待重构空间可大于实际产生形变区域的性质,可以对全部空间均匀划分,然后并行计算各区域匹配度,将匹配度较低的区域全部划分为待重构空间。
S5.将待重构空间内的初始网格区域进行非刚性变形,使该区域内的目标网格点一一映射到初始网格点,重建待重构空间的高分辨率血管曲面模型;
其中需要先将待重构空间内的目标网格点一一映射到初始网格点,并将所有点的映射关系保存为满足单射要求的映射集F:
Figure BDA0003303152560000123
其中,
Figure BDA0003303152560000124
Figure BDA0003303152560000125
满足
Figure BDA0003303152560000126
其中待重构空间的高分辨插值,需要以在映射集具备映射关系的初始网格点为关键点,将待重构空间内所有初始网格点通过逆映射插值到目标网格区域,逆映射后待重构空间内的新的目标点云数据为:
Figure BDA0003303152560000127
Figure BDA0003303152560000128
重建待重构空间的高分辨率曲面模型时,只需将待重构空间经过插值扩充后的新的目标点云数据进行三角网格化处理,并使其满足相邻三角化网格的公共边处保持边界连续的条件即可。
S6.使用生成的待重构空间的高分辨率血管曲面模型,替代术前肝脏区域血管系统精准三维曲面模型的对应部分,并进行可视化。
本申请具有以下改进点:
基于术前高精度CT图像得到初始网格数据,在术中实时获取手术区域的CT切片图像,得到目标网格数据,在全肝组织刚性配准中,使用了患者术前的高分辨的三维数据(即初始网格数据)为参照,保证了患者个性化建模的基础,也是后续对待重构空间进行重建的必备条件;
在全肝组织刚性配准中,利用术中条件下全肝组织在同一时刻只会有部分形变的特点,使用各级组织分别进行刚性配准,可以依据点对之间的欧式距离和作为目标函数,以各级组织中目标函数最小的那个组织为参照物,得到形变后肝脏组织与术前的对照,这是与传统刚性配准不一致的地方。
在待重构空间的自动划分中,肝脏区域内形变较大的区域是通过刚性配准后对匹配精度较差区域进行计算得到的,由于待重构空间可大于实际产生形变区域的性质,可以使用全部空间均匀划分并行计算各区域匹配度的方式,避免了贪婪计算带来的额外算力需求;
在待重构空间内的高分辨率插值计算中,先将目标网格点一一映射到初始网格点,再以初始网格点为关键点,由初始网格点(基于术前高精度图像)进行逆映射插值到目标网格区域,保证了重建图像在整体结构的准确性;对新的目标点云数据进行三角网格化处理时,使用三角化网格的边界连续作为约束,保证了重建曲面的光滑性。
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种面向肝切除术的动态三维重建方法,其特征在于,包括以下步骤:
获取术前CT图像,对术前CT图像中全肝组织的轮廓数据进行网格化处理,得到初始网格数据;
使用术中CT在至少两个旋转角度下获取手术区域的二维投影图像,对二维投影图像中全肝组织的轮廓数据进行三维网格化处理,得到目标网格数据;
使用目标网格数据与初始网格数据分别构建曲面模型并进行刚性配准,划定形变区域较大的模型曲面部分为待重构空间;
基于初始网格数据确定了将待重构空间内的初始网格区域,基于目标网格数据确定了待重构空间内的目标网格区域,将待重构空间内的初始网格区域进行非刚性变形,重建待重构空间的高分辨率曲面模型;
获取术前全肝组织精准三维曲面模型,使用生成的待重构空间的高分辨率曲面模型替代术前全肝组织精准三维曲面模型的对应部分,并进行可视化。
2.根据权利要求1所述的一种面向肝切除术的动态三维重建方法,其特征在于,所述的获取术前CT图像,对术前CT图像中全肝组织的轮廓数据进行网格化处理,得到初始网格数据具体为:
在术前利用CT将全肝组织进行三维重建,并将全肝组织中的各级组织的轮廓数据转化为具有不同标识的初始点云数据P;使用Delaunay三角化算法将各级组织对应的初始点云数据分别进行三角化,得到各级组织的三角化的初始网格数据;其中,第i级组织的初始点云数据为:
Figure FDA0003303152550000011
Ni为第i级组织的初始点云数据的数量。
3.根据权利要求1所述的一种面向肝切除术的动态三维重建方法,其特征在于,所述的使用术中CT在至少两个旋转角度下获取手术区域的二维投影图像,对二维投影图像中全肝组织的轮廓数据进行三维网格化处理,得到目标网格数据具体为:
使用术中CT在至少两个旋转角度进行扫描,得到手术区域的二维投影图像,对二维投影图像使用阈值分割法与边缘检测算法,获得全肝组织的各级组织的轮廓数据,并根据术中CT的扫描参数将各级组织的轮廓数据转化为目标点云数据D;随各级组织的目标点云数据分别进行三维网格化处理,得到各级组织的三角化的目标网格数据;其中,第i级组织的目标点云数据为:
Figure FDA0003303152550000021
Mi为第i级组织的目标点云数据的数量。
4.根据权利要求1所述的一种面向肝切除术的动态三维重建方法,其特征在于,所述的使用目标网格数据与初始网格数据分别构建曲面模型并进行刚性配准,划定形变区域较大的模型曲面部分为待重构空间具体为:
利用ICP算法进行目标网格数据与初始网格数据的各级组织之间的刚性配准,目标网格数据与初始网格数据之间映射得到点对,以点对间的欧式距离和作为目标函数;以各级组织中目标函数最小的组织为参照物,加入其他各级组织的目标网格数据与初始网格数据,得到肝脏区域中形变较大的区域,将该区域划分为待重构空间;其中,待重构空间内包含了第i级组织的初始网格数据pi和第i级组织的目标网格数据di
Figure FDA0003303152550000022
Figure FDA0003303152550000023
ni为第i级组织的初始网格数据的数量,mi为第i级组织的目标网格数据的数量,且ni>>mi
5.根据权利要求4所述的一种面向肝切除术的动态三维重建方法,其特征在于,基于初始网格区域内的初始网格数据得到初始网格点,基于目标网格区域内的目标网格数据得到目标网格点,所述的将待重构空间内的初始网格区域进行非刚性变形,重建待重构空间的高分辨率曲面模型具体为:
将待重构空间内的目标网格点一一映射到初始网格点,并将所有点的映射关系保存为满足单射要求的映射集F:
Figure FDA0003303152550000024
其中,
Figure FDA0003303152550000025
Figure FDA0003303152550000026
满足
Figure FDA0003303152550000027
以在映射集F具备映射关系的初始网格点为关键点,将待重构空间内所有初始网格点通过逆映射插值到目标网格区域,在目标网格区域形成新的目标点云数据:
Figure FDA0003303152550000028
Figure FDA0003303152550000029
将待重构空间内经过插值扩充后的新的目标点云数据进行三维网格化处理,使其满足相邻网格的公共边处保持边界连续的条件,重建待重构空间的高分辨率曲面模型。
6.一种面向肝切除术的动态三维重建系统,其特征在于,基于如权利要求1-5中任一所述的一种面向肝切除术的动态三维重建方法,包括:
术前模型网格化处理模块,用于获取术前CT图像,对术前CT图像中全肝组织的轮廓数据进行网格化处理,得到初始网格数据;
术中图像获取模块,用于获取术中CT在至少两个旋转角度下得到的手术区域的二维投影图像;
术中图像网格化处理模块,用于对二维投影图像中全肝组织的轮廓数据进行三维网格化处理,得到目标网格数据;
全肝组织刚性配准模块,用于使用目标网格数据与初始网格数据分别构建曲面模型并进行刚性配准;
待重构空间划分模块,用于划定形变区域较大的模型曲面部分为待重构空间;
待重构空间高分辨率插值模块,基于初始网格数据确定了将待重构空间内的初始网格区域,基于目标网格数据确定了待重构空间内的目标网格区域,用于将待重构空间内的初始网格区域进行非刚性变形;
形变区域高分辨率曲面重建模块,用于重建待重构空间的高分辨率曲面模型;
动态重建结果可视化模块,用于使用生成的待重构空间的高分辨率曲面模型替代术前全肝组织精准三维曲面模型的对应部分,并进行可视化。
7.根据权利要求6所述的一种面向肝切除术的动态三维重建系统,其特征在于,所述术前模型网格化处理模块的具体执行内容为:
在术前利用CT将全肝组织进行三维重建,并将全肝组织中的各级组织的轮廓数据转化为具有不同标识的初始点云数据P;使用Delaunay三角化算法将各级组织对应的初始点云数据分别进行三角化,得到各级组织的三角化的初始网格数据;其中,第i级组织的初始点云数据为:
Figure FDA0003303152550000031
Ni为第i级组织的初始点云数据的数量。
8.根据权利要求6所述的一种面向肝切除术的动态三维重建系统,其特征在于,所述术中图像获取模块的具体执行内容为:
使用术中CT在至少两个旋转角度进行扫描,得到手术区域的二维投影图像;
所述术中图像网格化处理模块的具体执行内容为:
对二维投影图像使用阈值分割法与边缘检测算法,获得全肝组织的各级组织的轮廓数据,并根据术中CT的扫描参数将各级组织的轮廓数据转化为目标点云数据D;随各级组织的目标点云数据分别进行三维网格化处理,得到各级组织的三角化的目标网格数据;其中,第i级组织的目标点云数据为:
Figure FDA0003303152550000041
Mi为第i级组织的目标点云数据的数量。
9.根据权利要求6所述的一种面向肝切除术的动态三维重建系统,其特征在于,所述全肝组织刚性配准模块的具体执行内容为:
利用ICP算法进行目标网格数据与初始网格数据的各级组织之间的刚性配准,目标网格数据与初始网格数据之间映射得到点对;
所述待重构空间划分模块的具体执行内容为:
以点对间的欧式距离和作为目标函数,以各级组织中目标函数最小的组织为参照物,加入其他各级组织的目标网格数据与初始网格数据,得到肝脏区域中形变较大的区域,将该区域划分为待重构空间;其中,待重构空间内包含了第i级组织的初始网格数据pi和第i级组织的目标网格数据di
Figure FDA0003303152550000042
Figure FDA0003303152550000043
ni为第i级组织的初始网格数据的数量,mi为第i级组织的目标网格数据的数量,且ni>>mi
10.根据权利要求9所述的一种面向肝切除术的动态三维重建系统,其特征在于,基于初始网格区域内的初始网格数据得到初始网格点,基于目标网格区域内的目标网格数据得到目标网格点,所述待重构空间高分辨率插值模块的具体执行内容为:
将待重构空间内的目标网格点一一映射到初始网格点,并将所有点的映射关系保存为满足单射要求的映射集F:
Figure FDA0003303152550000044
其中,
Figure FDA0003303152550000045
Figure FDA0003303152550000046
满足
Figure FDA0003303152550000047
以在映射集F具备映射关系的初始网格点为关键点,将待重构空间内所有初始网格点通过逆映射插值到目标网格区域,在目标网格区域形成新的目标点云数据:
Figure FDA0003303152550000051
Figure FDA0003303152550000052
形变区域高分辨率曲面重建模块的具体执行内容为:
将待重构空间内经过插值扩充后的新的目标点云数据进行三维网格化处理,使其满足相邻网格的公共边处保持边界连续的条件,重建待重构空间的高分辨率曲面模型。
CN202111196268.3A 2021-10-14 2021-10-14 一种面向肝切除术的动态三维重建方法及系统 Pending CN113888698A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111196268.3A CN113888698A (zh) 2021-10-14 2021-10-14 一种面向肝切除术的动态三维重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111196268.3A CN113888698A (zh) 2021-10-14 2021-10-14 一种面向肝切除术的动态三维重建方法及系统

Publications (1)

Publication Number Publication Date
CN113888698A true CN113888698A (zh) 2022-01-04

Family

ID=79002718

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111196268.3A Pending CN113888698A (zh) 2021-10-14 2021-10-14 一种面向肝切除术的动态三维重建方法及系统

Country Status (1)

Country Link
CN (1) CN113888698A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115690411A (zh) * 2022-09-22 2023-02-03 推想医疗科技股份有限公司 一种肝段分割方法、装置、电子设备及存储介质
CN115931811A (zh) * 2023-03-09 2023-04-07 良渚实验室 一种高通量神经环路解析方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115690411A (zh) * 2022-09-22 2023-02-03 推想医疗科技股份有限公司 一种肝段分割方法、装置、电子设备及存储介质
CN115931811A (zh) * 2023-03-09 2023-04-07 良渚实验室 一种高通量神经环路解析方法和系统

Similar Documents

Publication Publication Date Title
US8199981B2 (en) Methods and systems for segmentation using boundary reparameterization
JP6355766B2 (ja) 医用イメージングのための骨セグメンテーションにおけるユーザ誘導される形状モーフィング
WO2019023900A1 (zh) 在体数据中提取感兴趣区域的方法及系统
US7492968B2 (en) System and method for segmenting a structure of interest using an interpolation of a separating surface in an area of attachment to a structure having similar properties
US20180189966A1 (en) System and method for guidance of laparoscopic surgical procedures through anatomical model augmentation
CN103679810A (zh) 肝部ct图像的三维重建方法
CN113888698A (zh) 一种面向肝切除术的动态三维重建方法及系统
US9547906B2 (en) System and method for data driven editing of rib unfolding
CN114155376A (zh) 目标特征点提取方法、装置、计算机设备和存储介质
CN109767458B (zh) 一种半自动分段的顺序优化配准方法
Kretschmer et al. ADR-anatomy-driven reformation
Chen et al. Real-time freehand 3D ultrasound imaging
JP2004174241A (ja) 画像形成方法
US11189030B2 (en) Method and device for determining liver segments in a medical image
CN113129418B (zh) 基于三维影像的目标表面重建方法、装置、设备和介质
US10922853B2 (en) Reformatting while taking the anatomy of an object to be examined into consideration
CN108805876B (zh) 使用生物力学模型的磁共振和超声图像的可形变配准的方法和系统
CN108885797B (zh) 成像系统和方法
CN111445479B (zh) 医学图像中感兴趣区域的分割方法及装置
CN116168097A (zh) 构建cbct勾画模型和勾画cbct图像的方法、装置、设备及介质
CN114299096A (zh) 一种轮廓勾画方法、装置、设备及存储介质
WO2020090445A1 (ja) 領域修正装置、方法およびプログラム
WO2016131955A1 (en) Automatic 3d model based tracking of deformable medical devices with variable appearance
CN114998150B (zh) 超声图像的三维重建方法及装置
CN116681705B (zh) 基于人脑海马体纵向结构的表面形态测量方法及处理设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination