CN106898043A - 一种基于虚拟现实的医学影像系统 - Google Patents

一种基于虚拟现实的医学影像系统 Download PDF

Info

Publication number
CN106898043A
CN106898043A CN201710069475.XA CN201710069475A CN106898043A CN 106898043 A CN106898043 A CN 106898043A CN 201710069475 A CN201710069475 A CN 201710069475A CN 106898043 A CN106898043 A CN 106898043A
Authority
CN
China
Prior art keywords
virtual reality
model
file
module
medical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710069475.XA
Other languages
English (en)
Inventor
李岩
殷朋举
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Wisdom Vision Technology Co Ltd
Original Assignee
Shanghai Wisdom Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Wisdom Vision Technology Co Ltd filed Critical Shanghai Wisdom Vision Technology Co Ltd
Priority to CN201710069475.XA priority Critical patent/CN106898043A/zh
Publication of CN106898043A publication Critical patent/CN106898043A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于虚拟现实的医学影像系统，包括医学影像三维可视化模块、医学模型优化模块以及虚拟现实应用模块；其中，标准医学影像文件DICOM文件作为系统的输入，经过医学影像三维可视化模块生成STL格式的模型文件，STL文件经过医学模型优化模块生成FBX或OBJ格式的模型文件，虚拟现实应用模块使用FBX或OBJ格式的模型文件进行虚拟现实交互设计，并生成虚拟现实应用场景。该系统将虚拟现实技术与医学影像技术相融合。

Description

一种基于虚拟现实的医学影像系统
技术领域
本发明属于医学技术领域，涉及一种基于虚拟现实的医学影像系统。
背景技术
现有的三维医学影像技术由于其使用鼠标加显示器的展示效果，并没有发挥出应有的三维作用，所以临床诊断，医学教学等领域还不能广泛的接受这种三维影像的展现模式。现实(virtual reality)技术的出现使得三维影像的应用得到了发展，虚拟现实技术以其浸沉感、交互性和构想性的三大特点，为三位医学影像的应用提供了新的可能。
发明内容
本发明的目的在于提供一种基于虚拟现实的医学影像系统，该系统将虚拟现实技术与医学影像技术相融合。
其具体技术方案为：
一种基于虚拟现实的医学影像系统，包括医学影像三维可视化模块、医学模型优化模块以及虚拟现实应用模块；
所述医学影像三维可视化模块包括滤波降噪，图像分割，三维面绘制重建三个部分，输入数据文标准DICOM文件，其中，滤波降噪用于去除原始数据的噪声，使用中值滤波算法；图像分割用于将所需的人体结构进行提取；三维重建的用途是将分割的人体结构变为三维数据，使用面绘制算法；三维重建后生成基础模型文件，该文件将用于医学模型优化模块；
所述的医学模型优化模块，包括模型细分，贴图制作以及动画制作三个部分，输入的数据均为医学影像三维可视化模块生成的基础模型文件，模型细分的用途是根据需求将人体结构进行进一步分解；贴图制作的用途是根据需求为模型制作合理的颜色和表面效果；动画制作的用途是将人体的一些器官的生理特征展现出来；这三个部分的实现借助于现有的三维模型制作软件，并生成优化模型文件；
所述虚拟现实应用模块，包括虚拟场景搭建，模型交互设计，虚拟现实应用发布三个部分，使用医学模型优化模块生成的优化模型文件作为输入，场景搭建部分使用游戏引擎设计展示场景，模型交互设计将医学模型优化模块的优化模型文件导入设计好的场景，并按需求进行交互的设计；虚拟现实应用发布的目的是将设计好的场景和交互通过引擎平台发布为可以引用的程序。
进一步，所述面绘制算法为MC移动立方体算法。
进一步，所述基础模型文件为STL格式的文件。
进一步，所述三维模型制作软件为MAYA或3DMAX。
进一步，所述优化模型文件为FBX或OBJ格式的文件。
进一步，所述游戏引擎为unity3d引擎或unreal引擎。
与现有技术相比，本发明的有益效果为：
本发明在虚拟现实空间中使用真实的医学影像数据，具体方案分为医学影像处理、模型优化处理和虚拟现实交互设计三个模块。这三个模块环环相扣，缺一不可。
医学影像处理模块中，将目前流行的CT、MRI或其他影像设备采集的数据进行三维可视化，针对于不同需求的手术，设计具有特异性的影像操作，如骨骼和器官的分割，特殊部位的分割，病灶的检测等等。在经过上述处理后，获取想要人体结构或病理信息，并能够将此信息以三维模型的方式导出，用作后续的虚拟现实的操作数据。
模型优化模块中，对处理过后的原始三维影像数据进行平滑等操作，让模型在允许的是失真范围内变的更美观，同时针对不同的需求为模型添加或删除一些信息，以方便应对后期不同应用的需求。
虚拟现实交互设计模块中，使用虚拟现实设计引擎(如unity3D)进行设计，将前期优化好的医学影像模型功能是可以自动将模型数据都入到虚拟现实场景中去，同时，设计合理的交互方法，来实现效果更好的模型互动，并通过虚拟现实硬件设备进行使用(如HTCVIVE)
附图说明
图1是基于虚拟现实的医学影像系统的原理图；
图2是基于医学影像三维可视化模块的流程图；
图3是医学模型优化模块的流程图；
图4是虚拟现实应用模块的流程图。
具体实施方式
下面结合附图和具体实施例对本发明的技术方案作进一步详细地说明。
如图1所示，一种基于虚拟现实的医学影像系统，包括三个模块，医学影像三维可视化模块、医学模型优化模块以及虚拟现实应用模块。三个模块的逻辑如下图。其中，标准医学影像文件DICOM文件作为系统的输入，经过医学影像三维可视化模块生成STL格式的模型文件，STL文件经过医学模型优化模块生成FBX或OBJ格式的模型文件，虚拟现实应用模块使用FBX或OBJ格式的模型文件进行虚拟现实交互设计，并生成虚拟现实应用场景。
如图2所示，所述的医学影像三维可视化模块，包括滤波降噪，图像分割，三维面绘制重建三个部分，输入数据文标准DICOM文件，其中，滤波降噪是为了去除原始数据的噪声，使用中值滤波算法；图像分割是为了将所需的人体结构进行提取，如提取人体骨骼结构，使用区域生长算法；三维重建是为了将分割的人体结构变为三维数据，使用面绘制算法，如MC移动立方体算法。三维重建后即可生成基础模型文件，如STL格式的文件，该文件将用于医学模型优化模块。
如图3所示，所述的医学模型优化模块，包括模型细分，贴图制作以及动画制作三个部分，输入的数据均为医学影像三维可视化模块生成的基础模型文件。模型细分是为了根据需求将人体结构进行进一步分解，如心脏分解为左右两个部分；贴图制作部分是为了根据需求为模型制作合理的颜色和表面效果，如心脏的红色效果；动画制作是为了将人体的一些器官的生理特征展现出来，如心脏的泵血功能。这三个部分的实现借助于现有的三维模型制作软件，如MAYA或3DMAX，并生成优化模型文件，如FBX或OBJ格式的文件。
如图4所示，所述的虚拟现实应用模块，包括虚拟场景搭建，模型交互设计，虚拟现实应用发布三个部分，使用医学模型优化模块生成的优化模型文件作为输入，场景搭建部分使用游戏引擎设计展示场景，如unity3d引擎或unreal引擎，模型交互设计将医学模型优化模块的优化模型文件导入设计好的场景，并按需求进行交互的设计，比如心脏的切割，放大缩小；虚拟现实应用发布的目的是将设计好的场景和交互通过引擎平台发布为可以引用的程序，如使用unity3d平台和STEAMVR SDK发布为可以使用HTC vive硬件观看的应用程序。
以上所述，仅为本发明较佳的具体实施方式，本发明的保护范围不限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可显而易见地得到的技术方案的简单变化或等效替换均落入本发明的保护范围内。

Claims (6)

1.一种基于虚拟现实的医学影像系统，其特征在于，包括医学影像三维可视化模块、医学模型优化模块以及虚拟现实应用模块；
所述医学影像三维可视化模块包括滤波降噪，图像分割，三维面绘制重建三个部分，输入数据文标准DICOM文件，其中，滤波降噪用于去除原始数据的噪声，使用中值滤波算法；图像分割用于将所需的人体结构进行提取；三维重建的用途是将分割的人体结构变为三维数据，使用面绘制算法；三维重建后生成基础模型文件，该文件将用于医学模型优化模块；
所述的医学模型优化模块，包括模型细分，贴图制作以及动画制作三个部分，输入的数据均为医学影像三维可视化模块生成的基础模型文件，模型细分的用途是根据需求将人体结构进行进一步分解；贴图制作的用途是根据需求为模型制作合理的颜色和表面效果；动画制作的用途是将人体的一些器官的生理特征展现出来；这三个部分的实现借助于现有的三维模型制作软件，并生成优化模型文件；
所述虚拟现实应用模块，包括虚拟场景搭建，模型交互设计，虚拟现实应用发布三个部分，使用医学模型优化模块生成的优化模型文件作为输入，场景搭建部分使用游戏引擎设计展示场景，模型交互设计将医学模型优化模块的优化模型文件导入设计好的场景，并按需求进行交互的设计；虚拟现实应用发布的目的是将设计好的场景和交互通过引擎平台发布为可以引用的程序。
2.根据权利要求1所述的基于虚拟现实的医学影像系统，其特征在于，所述面绘制算法为MC移动立方体算法。
3.根据权利要求1所述的基于虚拟现实的医学影像系统，其特征在于，所述基础模型文件为STL格式的文件。
4.根据权利要求1所述的基于虚拟现实的医学影像系统，其特征在于，所述三维模型制作软件为MAYA或3DMAX。
5.根据权利要求1所述的基于虚拟现实的医学影像系统，其特征在于，所述优化模型文件为FBX或OBJ格式的文件。
6.根据权利要求1所述的基于虚拟现实的医学影像系统，其特征在于，所述游戏引擎为unity3d引擎或unreal引擎。
CN201710069475.XA 2017-02-08 2017-02-08 一种基于虚拟现实的医学影像系统 Pending CN106898043A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710069475.XA CN106898043A (zh) 2017-02-08 2017-02-08 一种基于虚拟现实的医学影像系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710069475.XA CN106898043A (zh) 2017-02-08 2017-02-08 一种基于虚拟现实的医学影像系统

Publications (1)

Publication Number Publication Date
CN106898043A true CN106898043A (zh) 2017-06-27

Family

ID=59198029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710069475.XA Pending CN106898043A (zh) 2017-02-08 2017-02-08 一种基于虚拟现实的医学影像系统

Country Status (1)

Country Link
CN (1) CN106898043A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107731081A (zh) * 2017-11-15 2018-02-23 电子科技大学 减速器虚拟现实装配系统
CN110517238A (zh) * 2019-08-20 2019-11-29 厦门天允星途医疗科技有限公司 Ct医学影像ai三维重建与人机交互可视化网络系统
CN117689814A (zh) * 2023-12-11 2024-03-12 苏州睿酷医疗科技有限责任公司 一种虚拟现实医学数据显示方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7587075B1 (en) * 2004-11-01 2009-09-08 Novaptus Systems, Incorporated Virtual cosmetic and reconstructive surgery systems, methods, and apparatuses
CN102157016A (zh) * 2011-04-26 2011-08-17 南通大学 基于idl语言的医学图像三维可视化方法
CN103942405A (zh) * 2013-12-31 2014-07-23 北京航空航天大学 三维医学数据仿真模拟的远程共享与交互研讨方法
CN104463965A (zh) * 2014-12-17 2015-03-25 中国科学院自动化研究所 一种面向微创心血管介入手术的训练场景模拟系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7587075B1 (en) * 2004-11-01 2009-09-08 Novaptus Systems, Incorporated Virtual cosmetic and reconstructive surgery systems, methods, and apparatuses
CN102157016A (zh) * 2011-04-26 2011-08-17 南通大学 基于idl语言的医学图像三维可视化方法
CN103942405A (zh) * 2013-12-31 2014-07-23 北京航空航天大学 三维医学数据仿真模拟的远程共享与交互研讨方法
CN104463965A (zh) * 2014-12-17 2015-03-25 中国科学院自动化研究所 一种面向微创心血管介入手术的训练场景模拟系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
方驰华主编: "《数字化胰腺外科学》", 31 December 2015, 人民军医出版社 *
杨震等: ""3DsMax软件用于人体软组织器官形变模拟的研究"", 《医疗卫生装备》 *
王宜龙: ""基于VTK的医学图像三维重建的研究与应用"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107731081A (zh) * 2017-11-15 2018-02-23 电子科技大学 减速器虚拟现实装配系统
CN107731081B (zh) * 2017-11-15 2020-07-31 电子科技大学 减速器虚拟现实装配系统
CN110517238A (zh) * 2019-08-20 2019-11-29 厦门天允星途医疗科技有限公司 Ct医学影像ai三维重建与人机交互可视化网络系统
CN110517238B (zh) * 2019-08-20 2022-01-11 厦门天允星途医疗科技有限公司 Ct医学影像ai三维重建与人机交互可视化网络系统
CN117689814A (zh) * 2023-12-11 2024-03-12 苏州睿酷医疗科技有限责任公司 一种虚拟现实医学数据显示方法及系统

Similar Documents

Publication Publication Date Title
JP6837551B2 (ja) Ｈｍｄｓに基づく医学画像形成装置
CN103153589B (zh) 三维造型模具的制作方法以及医疗、医学培训、科研和教育用支持工具
US10950338B2 (en) Method and apparatus for generating an artificial intelligence 3D dataset and performing interactive manipulation and rendering of the dataset
Tietjen et al. Combining Silhouettes, Surface, and Volume Rendering for Surgery Education and Planning.
CN104091347A (zh) 一种基于3d打印技术的颅内肿瘤手术规划模拟方法
CN110490881A (zh) 医学影像分割方法、装置、计算机设备及可读存储介质
Huang et al. 3D reconstruction and visualization from 2D CT images
CN106898043A (zh) 一种基于虚拟现实的医学影像系统
CN114445431B (zh) 一种医学三维影像任意切割的方法与装置
WO2017165566A1 (en) High definition, color images, animations, and videos for diagnostic and personal imaging applications
CN109360219A (zh) 一种增强现实辅助手术方法及系统
CN201516047U (zh) 一种虚拟肝脏超声成像装置
McGhee 3‐D visualization and animation technologies in anatomical imaging
Zhang et al. Online view enhancement for exploration inside medical volumetric data using virtual reality
KR102241312B1 (ko) 머신러닝 기반 결절 이미지 자동 연속 표시 장치 및 방법
CN100583159C (zh) 空腔性脏器内壁快速体绘制方法
CN101582172A (zh) 一种具有生理功能的人体肾脏计算机三维模型构建方法
Chen et al. A system design for virtual reality visualization of medical image
WO2021081772A1 (zh) 基于vrds ai脑部影像的分析方法和相关装置
Sousa et al. Novel virtual nasal endoscopy system based on computed tomography scans
WO2020168695A1 (zh) 基于VRDS 4D医学影像的肿瘤与血管Ai处理方法及产品
Zhang et al. Real-time interactive heart illustration platform via hardware accelerated rendering
Kumar et al. 3D reconstruction of facial structures from 2D images for cosmetic surgery
Guo et al. A Novel Surgeon Training System for the Vascular Interventional Surgery based on Augmented Reality
Liu et al. Realization of solid plane cutting system and reconstruction of medical 3D image based on MC algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170627

WD01 Invention patent application deemed withdrawn after publication