CN114931435B - 三维模型处理方法、装置和电子设备 - Google Patents
三维模型处理方法、装置和电子设备 Download PDFInfo
- Publication number
- CN114931435B CN114931435B CN202210625486.2A CN202210625486A CN114931435B CN 114931435 B CN114931435 B CN 114931435B CN 202210625486 A CN202210625486 A CN 202210625486A CN 114931435 B CN114931435 B CN 114931435B
- Authority
- CN
- China
- Prior art keywords
- image
- dimensional model
- target part
- lung
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 29
- 210000000056 organ Anatomy 0.000 claims abstract description 59
- 238000000034 method Methods 0.000 claims abstract description 56
- 238000012545 processing Methods 0.000 claims abstract description 48
- 238000003709 image segmentation Methods 0.000 claims abstract description 18
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 210000004072 lung Anatomy 0.000 claims description 107
- 210000001519 tissue Anatomy 0.000 claims description 53
- 230000002685 pulmonary effect Effects 0.000 claims description 35
- 210000004204 blood vessel Anatomy 0.000 claims description 28
- 210000003437 trachea Anatomy 0.000 claims description 18
- 238000002591 computed tomography Methods 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 14
- 238000006073 displacement reaction Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 238000009499 grossing Methods 0.000 claims description 9
- 210000001147 pulmonary artery Anatomy 0.000 claims description 8
- 230000011514 reflex Effects 0.000 claims description 4
- 210000004872 soft tissue Anatomy 0.000 claims description 4
- 210000000115 thoracic cavity Anatomy 0.000 claims 2
- 230000000007 visual effect Effects 0.000 abstract description 5
- 230000000875 corresponding effect Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000011218 segmentation Effects 0.000 description 9
- 208000027418 Wounds and injury Diseases 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000006378 damage Effects 0.000 description 5
- 208000014674 injury Diseases 0.000 description 5
- 230000003902 lesion Effects 0.000 description 5
- 238000002595 magnetic resonance imaging Methods 0.000 description 5
- 238000001356 surgical procedure Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000004807 localization Effects 0.000 description 4
- 210000003484 anatomy Anatomy 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005481 NMR spectroscopy Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 208000019693 Lung disease Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000003123 bronchiole Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004199 lung function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Robotics (AREA)
- Veterinary Medicine (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明提供了一种三维模型处理方法、装置和电子设备。其中，该方法包括：获取患者的目标部位的图像，对目标部位的图像进行预处理；对预处理后的目标部位的图像进行图像分割处理，确定目标部位的各个器官的图像；基于目标部位的各个器官的图像、预先获取的目标部位的生理参数和力学参数建立目标部位的三维模型；在AR显示设备中展示三维模型。该方式中可以建立患者目标部位的三维模型并在AR电子设备中展示，可以更加直观、清晰的形式查看患者的病灶部位。
Description
技术领域
本发明增强现实技术领域，尤其是涉及一种三维模型处理方法、装置和电子设备。
背景技术
现有的辅助肺部病灶定位的方法主要使用诸如光学、电磁等各种形态的导航手术系统，在外科手术中用于获得关于物体(例如物体和患者的解剖结构)的空间定位的信息。这种信息可在手术过程中实时显示在显示屏上，以辅助外科医生或其他专业人员。导航手术系统执行将真实三维空间中被跟踪的物体配准到由系统维护的坐标系(例如计算三维空间)的任务。通过这种方式，物体的姿势(位置和朝向)可通过计算获知，并且可在系统中彼此关联。相对姿势信息可用于确定关于真实三维空间中的物体的各种测量值或其他参数。
然而，导航手术系统一般显示的是二维图像，医生对肺部病患的伤病处诊断查看时，由于只能根据CT(Computed Tomography，电子计算机断层扫描)或核磁共振的二维图像完成对病患伤病处的查看和术前术后的规划指导，使得主治医生就必须要求具备很高的工作经验和手术经验，且也引起了医生对病人病患处术前规划和术后指导存在着难度大的问题。
发明内容
有鉴于此，本发明的目的在于提供一种三维模型处理方法、装置和电子设备，以在AR(Augmented Reality，增强现实)电子设备中展示患者目标部位的三维模型，以更加直观、清晰的形式查看患者的病灶部位。
第一方面，本发明实施例提供了一种三维模型处理方法，方法包括：获取患者的目标部位的图像，对目标部位的图像进行预处理；对预处理后的目标部位的图像进行图像分割处理，确定目标部位的各个器官的图像；基于目标部位的各个器官的图像、预先获取的目标部位的生理参数和力学参数建立目标部位的三维模型；在AR显示设备中展示三维模型。
在本申请较佳的实施例中，上述对目标部位的图像进行预处理的步骤，包括：对目标部位的图像依次进行图像增强处理和图像插值处理。
在本申请较佳的实施例中，上述目标部位为肺部，肺部的器官包括：肺实质、肺气管、肺血管；上述对预处理后的目标部位的图像进行图像分割处理，确定目标部位的各个器官的图像的步骤，包括：对预处理后的肺部的图像进行粗分割，得到低密度组织的图像和高密度组织的图像；其中，低密度组织包括肺实质和肺气管；高密度组织包括肺血管和肺结节；基于肺气管的特征从低密度组织的图像中确定肺气管的图像；基于肺血管的特征从高密度组织的图像中确定肺血管的图像。
在本申请较佳的实施例中，上述从高密度组织的图像中确定肺血管的图像的步骤，包括：对高密度组织的图像进行空洞修补处理和边缘平滑处理；基于肺血管的特征从空洞修补处理和边缘平滑处理之后的高密度组织的图像中确定肺血管的图像。
在本申请较佳的实施例中，上述对预处理后的目标部位的图像进行图像分割处理，确定目标部位的各个器官的图像的步骤，还包括：如果肺部组织的图像中表征左肺和右肺粘连，从肺部组织的图像中确定左肺的图像和右肺的图像。
在本申请较佳的实施例中，上述基于目标部位的各个器官的图像、预先获取的目标部位的生理参数和力学参数建立目标部位的三维模型的步骤，包括：基于目标部位的各个器官的图像、预先获取的目标部位的生理参数和力学参数确定三维模型中每个顶点的位移；基于位移之后的顶点建立目标部位的三维模型。
在本申请较佳的实施例中，上述三维模型包括目标部位的各个器官对应的三维子模型；上述在AR显示设备中展示三维模型的步骤，包括：响应针对AR显示设备的定位操作，确定定位操作对应的目标部位的目标器官；在AR显示设备中展示目标器官对应的三维子模型。
第二方面，本发明实施例还提供一种三维模型处理装置，装置包括：目标部位的图像获取模块，用于获取患者的目标部位的图像，对目标部位的图像进行预处理；各个器官的图像确定模块，用于对预处理后的目标部位的图像进行图像分割处理，确定目标部位的各个器官的图像；三维模型建立模块，用于基于目标部位的各个器官的图像、预先获取的目标部位的生理参数和力学参数建立目标部位的三维模型；三维模型展示模块，用于在AR显示设备中展示三维模型。
第三方面，本发明实施例还提供了一种电子设备，包括处理器和存储器，该存储器存储有能够被该处理器执行的计算机可执行指令，该处理器执行该计算机可执行指令以实现上述三维模型处理方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述的三维模型处理方法。
本发明实施例带来了以下有益效果：
本发明实施例提供的一种三维模型处理方法、装置和电子设备，对预处理后的患者的目标部位的图像进行图像分割处理，确定目标部位的各个器官的图像；基于目标部位的各个器官的图像、预先获取的目标部位的生理参数和力学参数建立目标部位的三维模型，并可以在AR显示设备中展示三维模型。该方式中可以建立患者目标部位的三维模型并在AR电子设备中展示，可以更加直观、清晰的形式查看患者的病灶部位。
本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种导航手术系统的控制方式的示意图；
图2为本发明实施例提供的一种三维模型处理方法的流程图；
图3为本发明实施例提供的另一种三维模型处理方法的流程图；
图4为本发明实施例提供的一种肺部导航定位系统的示意图；
图5为本发明实施例提供的一种图像分割处理方式的示意图；
图6为本发明实施例提供的一种三维模型处理装置的结构示意图；
图7为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，现有的辅助肺部病灶定位的方法主要使用诸如光学、电磁等各种形态的导航手术系统，在外科手术中用于获得关于物体(例如物体和患者的解剖结构)的空间定位的信息。这种信息可在手术过程中实时显示在显示屏上，以辅助外科医生或其他专业人员。导航手术系统执行将真实三维空间中被跟踪的物体配准到由系统维护的坐标系(例如计算三维空间)的任务。通过这种方式，物体的姿势(位置和朝向)可通过计算获知，并且可在系统中彼此关联。相对姿势信息可用于确定关于真实三维空间中的物体的各种测量值或其他参数。
参见图1所示的一种导航手术系统的控制方式的示意图，首先导入CT图像，对图像分割从而生成肺部模型，将虚拟模型和真实的物体进行匹配。在确定实际的病灶部位之后，可以控制机械臂进行手术。
然而，导航手术系统一般显示的是二维图像，医生对肺部病患的伤病处诊断查看时，由于只能根据CT或核磁共振的二维图像完成对病患伤病处的查看和术前术后的规划指导，使得主治医生就必须要求具备很高的工作经验和手术经验，且也引起了医生对病人病患处术前规划和术后指导存在着难度大的问题。因此，研发设计一种具有对肺部疾病患者医疗时辅助应用的系统是很有必要的。
基于此，本发明实施例提供的一种三维模型处理方法、装置和电子设备，具体提供了一种基于混合现实和有限元分析的辅助肺部导航定位的系统，可以将提取并优化的模型以三维的形式显示在AR眼镜中，以更加直观、清晰的形式查看病灶部位。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种三维模型处理方法进行详细介绍。
实施例一：
本发明实施例提供一种三维模型处理方法，参见图2所示的一种三维模型处理方法的流程图，该三维模型处理方法包括如下步骤：
步骤S202，获取患者的目标部位的图像，对目标部位的图像进行预处理。
本实施例中患者的目标部位可以为患者身体内的任一部位，其中，目标部位一般为患者出现病变的病灶部位，本实施例中以患者的目标部位是患者的肺部为例，此后不再赘述。
目标部位的图像可以是CT图像，也可以是MRI(Magnetic Resonance Imaging，磁共振成像)图像。其中，CT图像和MRI图像的给可以为DICOM(Digital Imaging andCommunications in Medicine，医学数字成像和通信)格式。本实施例可以对目标部位的图像进行预处理，以扩大图像中不同物体特征之间的差别，保持图像的比较好的边缘轮廓。
步骤S204，对预处理后的目标部位的图像进行图像分割处理，确定目标部位的各个器官的图像。
目标部位一般包括多个器官，因此可以对预处理后的目标部位的图像进行图像分割处理，从而分割出目标部位的各个器官的图像。以肺部为例，可以分割出肺实质、肺气管、肺血管等器官的图像。
步骤S206，基于目标部位的各个器官的图像、预先获取的、目标部位的生理参数和力学参数建立目标部位的三维模型。
本实施例中可以各个器官的图像、目标部位的生理参数和目标部位的力学参数建立用于AR显示的三维模型。AR是通过利用三维建模、实时跟踪及注册、智能交互等多种技术实现的，它将计算机生成的文字、图像、三维模型、视频等信息仿真模拟后，映射到真实世界中，将仿真模型和真实模型所获得的两种信息互为补充，从而达到对真实世界的“增强”。
其中，在建模的过程中可以使用有限元分析的方法，有限元分析是现如今发展较为成熟的一项技术，指利用数学近似的方法对真实物理系统(几何和载荷工况)进行模拟，利用简单而又相互关联的元素，使用有限数量的未知量去逼近无限未知量的真实系统。
通过有限元分析方法可以模拟软组织的生理反应和物理特性，使模型不在保持病人做CT扫描时的形状，达到更加逼真、贴近实际效果。例如通过有限元分析方法可以模拟肺部在不同体位下的形变模型，并在塌陷状态下确定左肺和右肺的相对偏移。
步骤S208，在AR显示设备中展示三维模型。
在建立三维模型之后，可以在AR显示设备中展示三维模型。AR显示设备可以为AR眼镜，医生可以在AR显示设备中对三维模型的展示位置进行定位，从而展示特定位置的特定器官的三维模型，以更加直观、清晰的形式查看病灶部位。
本发明实施例提供的一种三维模型处理方法，对预处理后的患者的目标部位的图像进行图像分割处理，确定目标部位的各个器官的图像；基于目标部位的各个器官的图像、预先获取的目标部位的生理参数和力学参数建立目标部位的三维模型，并可以在AR显示设备中展示三维模型。该方式中可以建立患者目标部位的三维模型并在AR电子设备中展示，可以更加直观、清晰的形式查看患者的病灶部位。
实施例二：
本实施例提供了另一种三维模型处理方法，该方法在上述实施例的基础上实现，参加图3所示的另一种三维模型处理方法的流程图，该三维模型处理方法包括如下步骤：
步骤S302，获取患者的目标部位的图像，对目标部位的图像依次进行图像增强处理和图像插值处理。
以目标部位是肺部为例，本实施例提供的方法可以应用于基于增强现实、有限元分析的肺部导航定位系统，参见图4所示的一种肺部导航定位系统的示意图，肺部导航定位系统包括：医学影像处理模块、模型提取模块、有限元分析模块和AR显示模块。
如图4所示，医学影像处理模块具有图像获取和预处理的功能。DICOM格式的CT图像或MRI图像读取后，可以使用中值滤波进行图像增强处理，突出图像中的“有用”信息，扩大图像中不同物体特征之间的差别，为图像的信息提取及其他图像分析技术奠定基础，接着可以针对CT断层图像进行基于轮廓形状的图像插值处理，来保持比较好的边缘轮廓。
步骤S304，对预处理后的目标部位的图像进行图像分割处理，确定目标部位的各个器官的图像。
以目标部位是肺部为例，肺部的器官包括：肺实质、肺气管、肺血管。具体地，可以对预处理后的肺部的图像进行粗分割，得到低密度组织的图像和高密度组织的图像；其中，低密度组织包括肺实质和肺气管；高密度组织包括肺血管和肺结节；基于肺气管的特征从低密度组织的图像中确定肺气管的图像；基于肺血管的特征从高密度组织的图像中确定肺血管的图像。
如图4所示，模型提取模块具有肺部组织分割的功能。参见图5所示的一种图像分割处理方式的示意图，在导入CT图像序列之后，首先对肺部组织进行粗分割，之后基于三维区域生长法对肺气管分割，使用投影积分法进行左右肺分离，使用阈值法和连通域算法进行肺血管分割，从而最后输出肺叶、肺气管、肺血管的分割结果。
其中，肺实质、肺气管、肺血管等肺部组织的分割是肺功能定量评估的前提，可以基于阈值分割、区域生长综合方法进行肺实质、肺气管、肺血管分割：
1)针对肺部CT图像中密度较低的肺部组织，使用全局阈值法和三维区域生长法对肺部组织进行粗分割，粗分割后的肺部组织包含肺实质、肺气管，左右肺可能发生粘连。
2)针对肺气管分割，使用改进区域生长法的肺气管分割方法，结合多种特征作为改进的生长准则，使气管分割能提取出更多的细支气管。
3)具体地，如果肺部组织的图像中表征左肺和右肺粘连，从肺部组织的图像中确定左肺的图像和右肺的图像。针对左右肺粘连的问题，可以使用积分投影法检测左右肺是否粘连并分离左右肺。
4)具体地，对高密度组织的图像进行空洞修补处理和边缘平滑处理；基于肺血管的特征从空洞修补处理和边缘平滑处理之后的高密度组织的图像中确定肺血管的图像。
针对肺实质分割中由于肺血管、肺结节等高密度组织而存在大量空洞的问题，使用形态学闭运算对左右肺分别进行孔洞修补及平滑边缘，将肺血管、肺结节等高密度组织纳入肺实质区域，防止欠分割。
5)针对肺实质区域内的高密度组织容易对肺血管提取造成干扰的问题，可以使用阈值法和连通域算法分割肺血管，高效率地提取肺血管，保证血管的连通性。
步骤S306，基于目标部位的各个器官的图像、预先获取的目标部位的生理参数和力学参数建立目标部位的三维模型。
具体地，基于目标部位的各个器官的图像、预先获取的目标部位的生理参数和力学参数确定三维模型中每个顶点的位移；基于位移之后的顶点建立目标部位的三维模型。
如图4所示，有限元分析模块可以依据肺组织生理参数，力学参数，结合有限元方法，进行形变建模。有限元分析模块的输入包含肺的顺应性、气体量和胸腔运动的相关参数。使用弹性力学的三维动态形变模型建模，求解有限元分析方程，提取肺表面每个顶点的位移，从而计算出肺表面的整体变化。
步骤S308，在AR显示设备中展示三维模型。
具体地，响应针对AR显示设备的定位操作，确定定位操作对应的目标部位的目标器官；在AR显示设备中展示目标器官对应的三维子模型。
如图4所示，AR显示模块可以通过网络传输把形变模型和定位信息传输到AR显示设备，并在其中显示出虚拟模型。通过实时追踪辅助工具的位姿，显示工具与待定位区域的相对位置关系，指引到达定位区域。
相比于医生通过CT或MRI二维图像查看患者的病灶部位和其与周围组织的关系，需要结合解剖学的知识理解并制定治疗计划的方式，本发明实施例提供的上述方法引入了AR技术，可以将提取并优化的模型以三维的形式显示在AR眼镜等AR显示设备中，以更加直观、清晰的形式查看病灶部位。进一步使虚拟模型与真实部位进行匹配，引导工具达到目标区域。
本发明实施例提供的上述方法还引入有限元分析模块，可以模拟软组织的生理反应和物理特性，使模型不在保持病人做CT扫描时的形状，达到更加逼真、贴近实际效果。例如模拟肺部在不同体位下的形变模型，并在塌陷状态下，左肺和右肺的相对偏移。
实施例三：
对应于上述方法实施例，本发明实施例提供了一种三维模型处理装置，参见图6所示的一种三维模型处理装置的结构示意图，该三维模型处理装置包括：
目标部位的图像获取模块61，用于获取患者的目标部位的图像，对目标部位的图像进行预处理；
各个器官的图像确定模块62，用于对预处理后的目标部位的图像进行图像分割处理，确定目标部位的各个器官的图像；
三维模型建立模块63，用于基于目标部位的各个器官的图像、预先获取的目标部位的生理参数和力学参数建立目标部位的三维模型；
三维模型展示模块64，用于在AR显示设备中展示三维模型。
本发明实施例提供的一种三维模型处理装置，对预处理后的患者的目标部位的图像进行图像分割处理，确定目标部位的各个器官的图像；基于目标部位的各个器官的图像、预先获取的目标部位的生理参数和力学参数建立目标部位的三维模型，并可以在AR显示设备中展示三维模型。该方式中可以建立患者目标部位的三维模型并在AR电子设备中展示，可以更加直观、清晰的形式查看患者的病灶部位。
上述目标部位的图像获取模块，用于对目标部位的图像依次进行图像增强处理和图像插值处理。
上述目标部位为肺部，肺部的器官包括：肺实质、肺气管、肺血管；上述各个器官的图像确定模块，用于对预处理后的肺部的图像进行粗分割，得到低密度组织的图像和高密度组织的图像；其中，低密度组织包括肺实质和肺气管；高密度组织包括肺血管和肺结节；基于肺气管的特征从低密度组织的图像中确定肺气管的图像；基于肺血管的特征从高密度组织的图像中确定肺血管的图像。
上述各个器官的图像确定模块，用于对高密度组织的图像进行空洞修补处理和边缘平滑处理；基于肺血管的特征从空洞修补处理和边缘平滑处理之后的高密度组织的图像中确定肺血管的图像。
上述各个器官的图像确定模块，还用于如果肺部组织的图像中表征左肺和右肺粘连，从肺部组织的图像中确定左肺的图像和右肺的图像。
上述三维模型建立模块，用于基于目标部位的各个器官的图像、预先获取的目标部位的生理参数和力学参数确定三维模型中每个顶点的位移；基于位移之后的顶点建立目标部位的三维模型。
上述三维模型包括目标部位的各个器官对应的三维子模型；上述三维模型展示模块，用于响应针对AR显示设备的定位操作，确定定位操作对应的目标部位的目标器官；在AR显示设备中展示目标器官对应的三维子模型。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的三维模型处理装置的具体工作过程，可以参考前述的三维模型处理方法的实施例中的对应过程，在此不再赘述。
实施例四：
本发明实施例还提供了一种电子设备，用于运行上述三维模型处理方法；参见图7所示的一种电子设备的结构示意图，该电子设备包括存储器100和处理器101，其中，存储器100用于存储一条或多条计算机指令，一条或多条计算机指令被处理器101执行，以实现上述三维模型处理方法。
进一步地，图7所示的电子设备还包括总线102和通信接口103，处理器101、通信接口103和存储器100通过总线102连接。
其中，存储器100可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线102可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器100，处理器101读取存储器100中的信息，结合其硬件完成前述实施例的方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述三维模型处理方法，具体实现可参见方法实施例，在此不再赘述。
本发明实施例所提供的三维模型处理方法、装置和电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和/或装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (9)
1.一种三维模型处理方法，其特征在于，所述方法包括：
获取患者的目标部位的图像，对所述目标部位的图像进行预处理；
对预处理后的所述目标部位的图像进行图像分割处理，确定所述目标部位的各个器官的图像；
基于所述目标部位的各个器官的图像、预先获取的所述目标部位的生理参数和力学参数建立所述目标部位的三维模型；
在AR显示设备中展示所述三维模型；
基于所述目标部位的各个器官的图像、预先获取的所述目标部位的生理参数和力学参数建立所述目标部位的三维模型的步骤，包括：有限元分析模块基于所述目标部位的各个器官的图像、预先获取的所述目标部位的生理参数和力学参数确定所述三维模型中每个顶点的位移；基于位移之后的所述顶点建立所述目标部位的三维模型；
所述生理参数包括：顺应性参数和气体量参数，所述力学参数包括：胸腔运动参数，所述三维模型包括：弹性力学的三维动态形变模型；所述有限元分析模块用于模拟软组织的生理反应和物理特性，使所述三维模型不保持患者做CT扫描时的形状；
所述三维模型用于模拟目标部位在不同体位下的形变，所述三维模型还用于确定塌陷状态下的目标部位的各个子部位的相对偏移。
2.根据权利要求1所述的方法，其特征在于，对所述目标部位的图像进行预处理的步骤，包括：
对所述目标部位的图像依次进行图像增强处理和图像插值处理。
3.根据权利要求1所述的方法，其特征在于，所述目标部位为肺部，所述肺部的器官包括：肺实质、肺气管、肺血管；
对预处理后的所述目标部位的图像进行图像分割处理，确定所述目标部位的各个器官的图像的步骤，包括：
对预处理后的所述肺部的图像进行粗分割，得到低密度组织的图像和高密度组织的图像；其中，所述低密度组织包括所述肺实质和所述肺气管；所述高密度组织包括所述肺血管和肺结节；
基于所述肺气管的特征从所述低密度组织的图像中确定所述肺气管的图像；
基于所述肺血管的特征从所述高密度组织的图像中确定所述肺血管的图像。
4.根据权利要求3所述的方法，其特征在于，从所述高密度组织的图像中确定所述肺血管的图像的步骤，包括：
对所述高密度组织的图像进行空洞修补处理和边缘平滑处理；
基于所述肺血管的特征从所述空洞修补处理和所述边缘平滑处理之后的所述高密度组织的图像中确定所述肺血管的图像。
5.根据权利要求3所述的方法，其特征在于，对预处理后的所述目标部位的图像进行图像分割处理，确定所述目标部位的各个器官的图像的步骤，还包括：
如果所述肺部组织的图像中表征左肺和右肺粘连，从所述肺部组织的图像中确定所述左肺的图像和所述右肺的图像。
6.根据权利要求1所述的方法，其特征在于，所述三维模型包括所述目标部位的各个器官对应的三维子模型；在AR显示设备中展示所述三维模型的步骤，包括：
响应针对AR显示设备的定位操作，确定所述定位操作对应的所述目标部位的目标器官；
在所述AR显示设备中展示所述目标器官对应的三维子模型。
7.一种三维模型处理装置，其特征在于，所述装置包括：
目标部位的图像获取模块，用于获取患者的目标部位的图像，对所述目标部位的图像进行预处理；
各个器官的图像确定模块，用于对预处理后的所述目标部位的图像进行图像分割处理，确定所述目标部位的各个器官的图像；
三维模型建立模块，用于基于所述目标部位的各个器官的图像、预先获取的所述目标部位的生理参数和力学参数建立所述目标部位的三维模型；
三维模型展示模块，用于在AR显示设备中展示所述三维模型；
所述三维模型建立模块，用于：有限元分析模块基于所述目标部位的各个器官的图像、预先获取的所述目标部位的生理参数和力学参数确定所述三维模型中每个顶点的位移；基于位移之后的所述顶点建立所述目标部位的三维模型；
所述生理参数包括：顺应性参数和气体量参数，所述力学参数包括：胸腔运动参数，所述三维模型包括：弹性力学的三维动态形变模型；所述有限元分析模块用于模拟软组织的生理反应和物理特性，使所述三维模型不保持患者做CT扫描时的形状；
所述三维模型用于模拟目标部位在不同体位下的形变，所述三维模型还用于确定塌陷状态下的目标部位的各个子部位的相对偏移。
8.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至6任一项所述的三维模型处理方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现权利要求1至6任一项所述的三维模型处理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210625486.2A CN114931435B (zh) | 2022-06-02 | 2022-06-02 | 三维模型处理方法、装置和电子设备 |
| PCT/CN2023/097920 WO2023232129A1 (zh) | 2022-06-02 | 2023-06-02 | 三维模型处理方法、装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210625486.2A CN114931435B (zh) | 2022-06-02 | 2022-06-02 | 三维模型处理方法、装置和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114931435A CN114931435A (zh) | 2022-08-23 |
| CN114931435B true CN114931435B (zh) | 2023-02-17 |
Family
ID=82866010
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210625486.2A Active CN114931435B (zh) | 2022-06-02 | 2022-06-02 | 三维模型处理方法、装置和电子设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114931435B (zh) |
| WO (1) | WO2023232129A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114931435B (zh) * | 2022-06-02 | 2023-02-17 | 上海市胸科医院 | 三维模型处理方法、装置和电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103310457A (zh) * | 2013-06-18 | 2013-09-18 | 哈尔滨工程大学 | 一种基于抛物线修正凸包的肺实质分割方法 |
| CN104956405A (zh) * | 2013-02-13 | 2015-09-30 | 三菱电机株式会社 | 用于模拟胸部4dct的方法 |
| CN111127552A (zh) * | 2020-03-26 | 2020-05-08 | 南京景三医疗科技有限公司 | 血管三维重建方法、医疗设备及存储介质 |
| CN111292309A (zh) * | 2020-02-13 | 2020-06-16 | 中国人民解放军国防科学技术大学 | 一种肺组织异化程度判断方法及装置 |
| CN114037803A (zh) * | 2022-01-11 | 2022-02-11 | 真健康（北京）医疗科技有限公司 | 医学图像三维重建方法及系统 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102243759B (zh) * | 2010-05-10 | 2014-05-07 | 东北大学 | 一种基于几何形变模型的三维肺血管图像分割方法 |
| CN102949240B (zh) * | 2011-08-26 | 2014-11-26 | 高欣 | 一种影像导航肺部介入手术系统 |
| JP6131161B2 (ja) * | 2013-09-27 | 2017-05-17 | 富士フイルム株式会社 | 画像位置合わせ装置、方法、およびプログラム、並びに３次元変形モデル生成方法 |
| DE102019200786A1 (de) * | 2019-01-23 | 2020-07-23 | Siemens Healthcare Gmbh | Bildgebendes medizinisches Gerät, Verfahren zum Unterstützen von medizinischem Personal, Computerprogrammprodukt und computerlesbares Speichermedium |
| CN111369675B (zh) * | 2020-04-14 | 2023-07-21 | 中国医学科学院肿瘤医院 | 基于肺结节脏层胸膜投影的三维可视模型重建方法及装置 |
| CN112258511A (zh) * | 2020-09-08 | 2021-01-22 | 广东省智能制造研究所 | 一种基于偏微分方程的患者肺部病变预测方法及系统 |
| CN114931435B (zh) * | 2022-06-02 | 2023-02-17 | 上海市胸科医院 | 三维模型处理方法、装置和电子设备 |
-
2022
- 2022-06-02 CN CN202210625486.2A patent/CN114931435B/zh active Active
-
2023
- 2023-06-02 WO PCT/CN2023/097920 patent/WO2023232129A1/zh unknown
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104956405A (zh) * | 2013-02-13 | 2015-09-30 | 三菱电机株式会社 | 用于模拟胸部4dct的方法 |
| CN103310457A (zh) * | 2013-06-18 | 2013-09-18 | 哈尔滨工程大学 | 一种基于抛物线修正凸包的肺实质分割方法 |
| CN111292309A (zh) * | 2020-02-13 | 2020-06-16 | 中国人民解放军国防科学技术大学 | 一种肺组织异化程度判断方法及装置 |
| CN111127552A (zh) * | 2020-03-26 | 2020-05-08 | 南京景三医疗科技有限公司 | 血管三维重建方法、医疗设备及存储介质 |
| CN114037803A (zh) * | 2022-01-11 | 2022-02-11 | 真健康（北京）医疗科技有限公司 | 医学图像三维重建方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023232129A1 (zh) | 2023-12-07 |
| CN114931435A (zh) | 2022-08-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102018565B1 (ko) | 수술 시뮬레이션 정보 구축 방법, 장치 및 프로그램 | |
| CN110010249B (zh) | 基于视频叠加的增强现实手术导航方法、系统及电子设备 | |
| CN107067398B (zh) | 用于三维医学模型中缺失血管的补全方法及装置 | |
| CN108420529A (zh) | 基于电磁定位技术和术中图像引导的手术导航仿真方法 | |
| US20160228075A1 (en) | Image processing device, method and recording medium | |
| Wu et al. | Three-dimensional modeling from endoscopic video using geometric constraints via feature positioning | |
| US9808145B2 (en) | Virtual endoscopic image generation device, method, and medium containing program | |
| US9830737B2 (en) | Virtual endoscopic image generation device, method, and medium containing program | |
| WO2023246521A1 (zh) | 基于混合现实的病灶定位方法、装置和电子设备 | |
| US10078906B2 (en) | Device and method for image registration, and non-transitory recording medium | |
| Shao et al. | Augmented reality calibration using feature triangulation iteration-based registration for surgical navigation | |
| CN114931435B (zh) | 三维模型处理方法、装置和电子设备 | |
| JP6493877B2 (ja) | 基準点評価装置、方法およびプログラム、並びに位置合せ装置、方法およびプログラム | |
| CN114831729B (zh) | 超声心动图和ct多模态图像融合的左心耳封堵模拟系统 | |
| CN111260704A (zh) | 基于启发式树搜索的血管结构3d/2d刚性配准方法及装置 | |
| KR102213412B1 (ko) | 기복모델 생성방법, 장치 및 프로그램 | |
| KR20190004591A (ko) | 증강현실 기술을 이용한 간병변 수술 내비게이션 시스템 및 장기 영상 디스플레이 방법 | |
| CN113893033B (zh) | 一种肺部经皮穿刺导航方法及系统 | |
| Schenkenfelder et al. | Elastic registration of abdominal MRI scans and RGB-D images to improve surgical planning of breast reconstruction | |
| RU2736800C1 (ru) | Способ подготовки и выполнения хирургической операции на органах малого таза | |
| KR101540402B1 (ko) | 의료용 바늘의 삽입 경로의 생성 방법 | |
| JP7172086B2 (ja) | 手術シミュレーション装置及び手術シミュレーションプログラム | |
| CN111329589A (zh) | 一种手持式智能融合造影导航系统 | |
| US10438368B2 (en) | Apparatus, method, and system for calculating diameters of three-dimensional medical imaging subject | |
| US11657547B2 (en) | Endoscopic surgery support apparatus, endoscopic surgery support method, and endoscopic surgery support system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |