CN111145190B - 一种基于医学图像处理与可视化的单个器官互动方法 - Google Patents

一种基于医学图像处理与可视化的单个器官互动方法 Download PDF

Info

Publication number
CN111145190B
CN111145190B CN201911374756.1A CN201911374756A CN111145190B CN 111145190 B CN111145190 B CN 111145190B CN 201911374756 A CN201911374756 A CN 201911374756A CN 111145190 B CN111145190 B CN 111145190B
Authority
CN
China
Prior art keywords
node
transformation
3dslicer
nodes
visualization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911374756.1A
Other languages
English (en)
Other versions
CN111145190A (zh
Inventor
吴健
马骥
杨帅
周正
张久成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN201911374756.1A priority Critical patent/CN111145190B/zh
Publication of CN111145190A publication Critical patent/CN111145190A/zh
Application granted granted Critical
Publication of CN111145190B publication Critical patent/CN111145190B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明公开了一种基于医学图像处理与可视化的单个器官互动方法，属于计算机辅助医疗领域。本发明基于医学图像处理与可视化，在利用CT切片重建出三维图像之后，可以使各个内脏器官分离，进而可以分别进行平移、旋转和缩放变换。本发明借助医学开源软件3DSlicer来实现，有以下步骤：在3DSlicer的变换模块中添加两个按钮，第一个按钮的功能为将重建出的三维模型转换为可以进行变换的节点，第二个为重置按钮，可以将进行了各种变换后的各个人体器官恢复到最初的位置。本发明可以使各科医生更加直观方便地观察利用CT切片等重建出的三维模型，更加真切与细致地观察各个器官和与病人交流讲解，并且还可以单独的与每个器官进行互动，兼具科研价值与实际应用价值。

Description

一种基于医学图像处理与可视化的单个器官互动方法
技术领域
本发明涉及医学图像处理、医学可视化、计算机图形学、软件工程领域，尤其涉及一种基于医学图像处理与可视化的单个器官互动方法，可应用于病灶观察、医患交流和教学等。
背景技术
内脏与骨骼疾病在全球范围内都非常普遍，对人类健康构成了巨大威胁，并且给患者家庭与社会带来了非常严重的负担。3DSlicer是世界上著名的开源医疗科研软件，基于ITK、VTK、QT等数十个专业软件库来开发，具有很好的可扩展性，容易进行二次开发。但是目前并没有提供给各科医生真切与细致的观察各个器官和与病人交流讲解的可视化应用，也没有很好的实现单个器官互动的解决方案。
发明内容
本发明的目的在于针对现有技术的不足，提供一种基于医学图像处理与可视化的单个器官互动方法，用户可以只点击三个按钮(ModeltoTransformNode按钮、ResetModel重置按钮、3Dslicer Segmentation模块自带的Export按钮)，然后使用鼠标左右键与滚轮就可以实现对单个器官进行平移、旋转和缩放变换。
为了达到上述目的，本发明采用如下技术方案：一种基于医学图像处理与可视化的单个器官互动方法，该方法包括以下步骤：
(1)导入CT图像序列到3DSlicer，在3DSlicer中显示CT图像内容；
(2)利用3Dslicer的Segment Editor模块每次对一个CT图像序列进行分割，分割出各个器官和骨骼，每个分割后的器官或骨骼对应vtkMRMLSegmentationNode分割节点中的一个Segment；每个CT图像序列对应一个vtkMRMLSegmentationNode分割节点；
(3)将每个Segment导出为一个vtkMRMLModelNode模型节点；
(4)进入3DSlicer的Transform模块，点击ModeltoTransformNode按钮实现单个器官互动，所述ModeltoTransformNode按钮的实现逻辑如下：
a.获取所有类名为vtkMRMLModelNode模型节点的节点对象，存储到一个vtkCollection集合对象中；
b.循环遍历该vtkCollection集合对象，如果vtkCollection集合对象中的某个对象不是3DSlicer自带的vtkMRMLModelNode模型节点，则为其创建一个vtkMRMLTransformNode变换节点，然后将这个变换节点添加到vtkMRMLScene场景中，再把每个变换节点应用到对应的vtkMRMLModelNode模型节点上；
c.为每个变换节点创建vtkMRMLDisplayNode显示节点，再把显示节点的边框可视属性SetEditorVisibility设置为真，如此便可以进行平移、旋转变换，然后把显示节点的缩放变换开关SetEditorScalingEnabled打开，如此便可以进行等比例与不等比例的缩放变换，从而实现单个器官互动。
进一步地，如果想把变换后的vtkMRMLModelNode模型节点恢复到原始位置，即恢复到世界坐标系的原点位置，可以点击ResetModel重置按钮，ResetModel重置按钮的实现逻辑如下：获取所有类名为vtkMRMLTransformNode变换节点的节点对象，循环遍历这些变换节点，将其从vtkMRMLScene场景中移除，然后将该变换节点删除。
进一步地，所述步骤(1)中，还可以导入已分割好的NRRD格式数据，该数据通过NPY格式数据转换而来；将NRRD格式数据导入3Dslicer的Data模块，在该模块中进行数据变换，转换成vtkMRMLSegmentationNode分割节点，进入到3Dslicer的Segment Editor模块中，该操作可以省去分割步骤。
本发明的有益效果是：本发明可以使各科医生更加直观方便地观察利用CT切片等重建出的三维模型，更加真切与细致地观察各个器官和与病人交流讲解，并且还可以单独的与每个器官进行互动，兼具科研价值与实际应用价值，在教学与演示方面也有广泛的可用性。游戏和科研的关系确立已经存在了十几年之久，两者的结合解决了一个又一个的科研难题，尤其是在生物与医疗领域，因此，还可以以本发明为蓝本来扩展开发出相关的数字娱乐应用或者科研游戏，从而让广大玩家帮助科研人员完成相关工作。
附图说明
图1是加载数据并完成分割之后的三维图像；
图2是将分割后数据转为模型之后的结果；
图3是为每个模型生成变换节点之后的结果；
图4是使用鼠标操作进行了变换之后的结果；
图5是移除所有变换节点，把所有器官恢复到世界坐标原点的结果。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。
本发明提供的一种基于医学图像处理与可视化的单个器官互动方法，包括以下步骤：
(1)导入CT图像序列到3DSlicer，在3DSlicer中显示CT图像内容；
此外，还可以导入已分割好的NRRD格式数据，该数据通过NPY格式数据转换而来；将NRRD格式数据导入3Dslicer的Data模块，在该模块中进行数据变换，转换成vtkMRMLSegmentationNode分割节点，进入到3Dslicer的Segment Editor模块中，该操作可以省去分割步骤。
(2)利用3Dslicer的Segment Editor模块每次对一个CT图像序列进行分割，分割出各个器官和骨骼，每个分割后的器官或骨骼对应vtkMRMLSegmentationNode分割节点中的一个Segment；每个CT图像序列对应一个vtkMRMLSegmentationNode分割节点；
(3)将每个Segment导出为一个vtkMRMLModelNode模型节点；
(4)进入3DSlicer的Transform模块，点击ModeltoTransformNode按钮实现单个器官互动，所述ModeltoTransformNode按钮的实现逻辑如下：
a.获取所有类名为vtkMRMLModelNode模型节点的节点对象，存储到一个vtkCollection集合对象中；
b.循环遍历该vtkCollection集合对象，如果vtkCollection集合对象中的某个对象不是3DSlicer自带的vtkMRMLModelNode模型节点，则为其创建一个vtkMRMLTransformNode变换节点，然后将这个变换节点添加到vtkMRMLScene场景中，再把每个变换节点应用到对应的vtkMRMLModelNode模型节点上；
c.为每个变换节点创建vtkMRMLDisplayNode显示节点，再把显示节点的边框可视属性SetEditorVisibility设置为真，如此便可以进行平移、旋转变换，然后把显示节点的缩放变换开关SetEditorScalingEnabled打开，如此便可以进行等比例与不等比例的缩放变换，从而实现单个器官互动。
如果想把变换后的vtkMRMLModelNode模型节点恢复到原始位置，即恢复到世界坐标系的原点位置，可以点击ResetModel重置按钮，ResetModel重置按钮的实现逻辑如下：获取所有类名为vtkMRMLTransformNode变换节点的节点对象，循环遍历这些变换节点，将其从vtkMRMLScene场景中移除，然后将该变换节点删除。
图1是加载数据并完成分割之后的三维图像，图2是将分割后数据转为模型之后的结果，图3是为每个模型生成变换节点之后的结果，图4是使用鼠标操作进行了变换之后的结果，图5是移除所有变换节点，把所有器官恢复到世界坐标原点的结果。用户可以只点击三个按钮(ModeltoTransformNode按钮、ResetModel重置按钮、3Dslicer Segmentation模块自带的Export按钮)，然后使用鼠标左右键与滚轮就可以实现对单个器官进行平移、旋转和缩放变换。
因此，本发明可以使各科医生更加直观方便地观察利用CT切片等重建出的三维模型，更加真切与细致地观察各个器官和与病人交流讲解，并且还可以单独的与每个器官进行互动，在教学与演示方面具有广泛可用性。
以上所述仅是本发明的优选实施方式，虽然本发明已以较佳实施例披露如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何的简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (3)

1.一种基于医学图像处理与可视化的单个器官互动方法，其特征在于，该方法包括以下步骤：
(1)导入CT图像序列到3DSlicer，在3DSlicer中显示CT图像内容；
(2)利用3Dslicer的Segment Editor模块每次对一个CT图像序列进行分割，分割出各个器官和骨骼，每个分割后的器官或骨骼对应vtkMRMLSegmentationNode分割节点中的一个Segment；每个CT图像序列对应一个vtkMRMLSegmentationNode分割节点；
(3)将每个Segment导出为一个vtkMRMLModelNode模型节点；
(4)进入3DSlicer的Transform模块，点击ModeltoTransformNode按钮实现单个器官互动，所述ModeltoTransformNode按钮的实现逻辑如下：
a.获取所有类名为vtkMRMLModelNode模型节点的节点对象，存储到一个vtkCollection集合对象中；
b.循环遍历该vtkCollection集合对象，如果vtkCollection集合对象中的某个对象不是3DSlicer自带的vtkMRMLModelNode模型节点，则为其创建一个vtkMRMLTransformNode变换节点，然后将这个变换节点添加到vtkMRMLScene场景中，再把每个变换节点应用到对应的vtkMRMLModelNode模型节点上；
c.为每个变换节点创建vtkMRMLDisplayNode显示节点，再把显示节点的边框可视属性SetEditorVisibility设置为真，如此便可以进行平移、旋转变换，然后把显示节点的缩放变换开关SetEditorScalingEnabled打开，如此便可以进行等比例与不等比例的缩放变换，从而实现单个器官互动。
2.根据权利要求1所述的一种基于医学图像处理与可视化的单个器官互动方法，其特征在于，如果想把变换后的vtkMRMLModelNode模型节点恢复到原始位置，即恢复到世界坐标系的原点位置，可以点击ResetModel重置按钮，ResetModel重置按钮的实现逻辑如下：获取所有类名为vtkMRMLTransformNode变换节点的节点对象，循环遍历这些变换节点，将其从vtkMRMLScene场景中移除，然后将该变换节点删除。
3.根据权利要求1所述的一种基于医学图像处理与可视化的单个器官互动方法，其特征在于，所述步骤(1)中，还可以导入已分割好的NRRD格式数据，该数据通过NPY格式数据转换而来；将NRRD格式数据导入3Dslicer的Data模块，在该模块中进行数据变换，转换成vtkMRMLSegmentationNode分割节点，进入到3Dslicer的Segment Editor模块中，该操作可以省去分割步骤。
CN201911374756.1A 2019-12-27 2019-12-27 一种基于医学图像处理与可视化的单个器官互动方法 Active CN111145190B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911374756.1A CN111145190B (zh) 2019-12-27 2019-12-27 一种基于医学图像处理与可视化的单个器官互动方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911374756.1A CN111145190B (zh) 2019-12-27 2019-12-27 一种基于医学图像处理与可视化的单个器官互动方法

Publications (2)

Publication Number Publication Date
CN111145190A CN111145190A (zh) 2020-05-12
CN111145190B true CN111145190B (zh) 2022-06-17

Family

ID=70520837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911374756.1A Active CN111145190B (zh) 2019-12-27 2019-12-27 一种基于医学图像处理与可视化的单个器官互动方法

Country Status (1)

Country Link
CN (1) CN111145190B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112415002B (zh) * 2020-11-10 2023-03-14 之江实验室 一种基于图像传感器的多模态传感器件
CN113012789A (zh) * 2021-03-24 2021-06-22 纵深视觉科技(南京)有限责任公司 一种病患信息的可视化方法、装置、介质及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1473672A1 (en) * 2003-04-29 2004-11-03 Deutsches Krebsforschungszentrum Stiftung des öffentlichen Rechts 3-dimensional visualization and quantification of histological sections
CN101520817A (zh) * 2008-10-07 2009-09-02 华南师范大学 一种海量医学图像三维可视化处理系统
CN103295234A (zh) * 2013-05-17 2013-09-11 上海大图医疗科技有限公司 基于形变表面模型的医学图像分割系统及方法
CN109658419A (zh) * 2018-11-15 2019-04-19 浙江大学 一种医学图像中小器官的分割方法
CN110458949A (zh) * 2019-08-14 2019-11-15 首都医科大学附属北京天坛医院 三维模型的二维切平面的重建方法、移动终端及电子设备
CN110522516A (zh) * 2019-09-23 2019-12-03 杭州师范大学 一种用于手术导航的多层次交互可视化方法
CN110547869A (zh) * 2019-09-17 2019-12-10 上海交通大学 一种基于虚拟现实的术前辅助规划装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8160345B2 (en) * 2008-04-30 2012-04-17 Otismed Corporation System and method for image segmentation in generating computer models of a joint to undergo arthroplasty
US9165362B2 (en) * 2013-05-07 2015-10-20 The Johns Hopkins University 3D-2D image registration for medical imaging

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1473672A1 (en) * 2003-04-29 2004-11-03 Deutsches Krebsforschungszentrum Stiftung des öffentlichen Rechts 3-dimensional visualization and quantification of histological sections
CN101520817A (zh) * 2008-10-07 2009-09-02 华南师范大学 一种海量医学图像三维可视化处理系统
CN103295234A (zh) * 2013-05-17 2013-09-11 上海大图医疗科技有限公司 基于形变表面模型的医学图像分割系统及方法
CN109658419A (zh) * 2018-11-15 2019-04-19 浙江大学 一种医学图像中小器官的分割方法
CN110458949A (zh) * 2019-08-14 2019-11-15 首都医科大学附属北京天坛医院 三维模型的二维切平面的重建方法、移动终端及电子设备
CN110547869A (zh) * 2019-09-17 2019-12-10 上海交通大学 一种基于虚拟现实的术前辅助规划装置
CN110522516A (zh) * 2019-09-23 2019-12-03 杭州师范大学 一种用于手术导航的多层次交互可视化方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Xiaolin Zhang 等.Three-dimensional reconstruction of medical images based on 3D slicer.《Journal of Complexity in Health Sciences》.2019,第2卷(第1期),1-12. *
冯浩哲 等.面向3D CT影像处理的无监督推荐标注算法.《计算机辅助设计与图形学学报》.2019,第31卷(第2期),183-189. *

Also Published As

Publication number Publication date
CN111145190A (zh) 2020-05-12

Similar Documents

Publication Publication Date Title
Kent et al. Mixed reality in design prototyping: A systematic review
Keefe et al. Interactive coordinated multiple-view visualization of biomechanical motion data
CN111145190B (zh) 一种基于医学图像处理与可视化的单个器官互动方法
WO2013177520A1 (en) Hybrid image/scene renderer with hands free control
Ćuković et al. Marker based vs. natural feature tracking augmented reality visualization of the 3D foot phantom
O'leary et al. Enhancements to VTK enabling scientific visualization in immersive environments
Pires et al. On the use of virtual reality for medical imaging visualization
Chakraborty et al. Captive: a cube with augmented physical tools
Horton et al. Game-engine-assisted research platform for scientific computing (GEARS) in virtual reality
Borgbjerg Web‐based imaging viewer for real‐color volumetric reconstruction of human visible project and DICOM datasets
Carlbom et al. Modeling and analysis of empirical data in collaborative environments.
US10319133B1 (en) Posing animation hierarchies with dynamic posing roots
Autin et al. uPy: a ubiquitous CG Python API with biological-modeling applications
Krieger et al. Multimodal extended reality applications offer benefits for volumetric biomedical image analysis in research and medicine
Koehring et al. A framework for interactive visualization of digital medical images
Hempe et al. A semantics-based, active render framework to realize complex eRobotics applications with realistic virtual testing environments
Li et al. Context encoder guided self-supervised siamese depth estimation based on stereo laparoscopic images
Yonker et al. 3D medical image segmentation in virtual reality
Donatiello et al. Towards an immersive visualization of consumer-level simulations of vehicular traffic
Moorhead et al. Visualization research challenges: a report summary
Deakyne et al. Immersive anatomical scenes that enable multiple users to occupy the same virtual space: a tool for surgical planning and education
Baaden et al. Web Molecular Graphics: Emerging Technologies & Standards
Polys et al. Cross-platform presentation of interactive volumetric imagery
Oldfield A Java applet for multiple linked visualization of protein structure and sequence
Liao et al. Research on the key technologies of virtual acupuncture simulation based on JOGL

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant