CN109157284A - 一种脑肿瘤医学影像三维重建显示交互方法及系统 - Google Patents

一种脑肿瘤医学影像三维重建显示交互方法及系统 Download PDF

Info

Publication number
CN109157284A
CN109157284A CN201811139835.XA CN201811139835A CN109157284A CN 109157284 A CN109157284 A CN 109157284A CN 201811139835 A CN201811139835 A CN 201811139835A CN 109157284 A CN109157284 A CN 109157284A
Authority
CN
China
Prior art keywords
brain tumor
brain
image
tumor
threedimensional model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811139835.XA
Other languages
English (en)
Inventor
区耀文
黄晓蔚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Dica Visual Technology Co Ltd
Original Assignee
Guangzhou Dica Visual Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Dica Visual Technology Co Ltd filed Critical Guangzhou Dica Visual Technology Co Ltd
Priority to CN201811139835.XA priority Critical patent/CN109157284A/zh
Publication of CN109157284A publication Critical patent/CN109157284A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107Visualisation of planned trajectories or target regions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20032Median filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Robotics (AREA)
  • Geometry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Computer Graphics (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明属于医学影像三维重建技术领域,具体涉及一种脑肿瘤医学影像三维重建显示交互方法及系统,包括:获取若干张医学diacom图像,对每张医学diacom图像进行预处理得到预处理图像;根据预处理图像进行三维建模得到脑部三维模型;对脑部三维模型进行分析得到脑肿瘤信息,根据脑肿瘤信息推荐切除脑肿瘤方案;根据操作指令在脑部三维模型上模拟肿瘤切除,通过裸眼3D显示器显示医生模拟手术的整个操作过程,并根据医生的术中操作进行手术提醒;对医生的操作进行评估并得到评估结果本发明通过脑肿瘤医学影像构建脑部三维模型并模拟手术,人机交互过程通过裸眼3D显示器显示,增强了虚拟现实感,通过对脑肿瘤的分析为医生切除肿瘤的方案,提高了医生诊断的效率。

Description

一种脑肿瘤医学影像三维重建显示交互方法及系统
技术领域
本发明属于医学影像三维重建技术领域,具体涉及一种脑肿瘤医学影像三维重建显示交互方法及系统。
背景技术
医学影像三维重建是将医学diacom的医学序列图像通过计算机可视化技术重建成三维的立体图像并直观地显示在屏幕上,为用户提供一系列交互功能的技术。多排螺旋CT等的应用使得三维形式显示组织和器官变得可行且必要;图像三维显示技术可以更好的显示数据和诊断信息,为医生提供逼真的显示手段和定量分析工具;三维显示可可以避免医生陷入医学diacom图像的数据海洋,防止过多浏览断层图像而造成漏诊率上升。
现有的三维医学影像,使得医生能够从多角度、多层次对其感兴趣的病灶区域以及其他组织器官进行定量和定性分析,大大提高了医生诊断的准确率。但现有的三维医学影像系统虽然是三维显示,但对于观察者而言,立体效果较差;且现有的三维医学影像系统虽便于医生进行观察,但不能为医生推荐切除肿瘤方案。
发明内容
针对现有技术中的缺陷,本发明提供了一种脑肿瘤医学影像三维重建显示交互方法及系统,通过脑肿瘤医学影像构建脑部三维模型,并根据医生的操作指令模拟手术,人机交互过程通过裸眼3D显示器显示,增强了虚拟现实感,通过对脑肿瘤的分析为医生推荐切除肿瘤的方案,提高了医生诊断的效率。
第一方面,本发明提供了一种脑肿瘤医学影像三维重建显示交互方法,包括以下步骤:
S1,获取扫描设备扫描病人头部后的若干张医学diacom图像,并对每张医学diacom图像进行预处理,得到预处理图像;
S2,根据预处理图像进行三维建模得到脑部三维模型,并通过裸眼3D显示器显示脑部三维模型;
S3,对脑部三维模型进行分析得到脑肿瘤信息,并根据脑肿瘤信息推荐切除脑肿瘤方案,以为医生提供参考;
S4,根据人机交互设备的操作指令,在脑部三维模型上进行脑肿瘤定位、手术规划与模拟肿瘤切除,通过裸眼3D显示器显示脑肿瘤定位以及医生模拟手术的整个操作过程,并根据医生的术中操作进行手术提醒;
S5,肿瘤切除后,对医生的操作进行评估并得到评估结果。
优选地,所述对每张医学diacom图像进行预处理,具体为:
将每张医学diacom图像转化为256色的BMP图像;
使用边缘检测从BMP图像中分割出感兴趣的图像并通过灰度直方图进行均衡化处理,使图像中灰度集中的区域拉开或使灰度分布均匀,从而增大方差,使图像的细节清晰;
对均衡化的图像进行平滑与锐化滤波处理,从而得到预处理图像。
优选地,所述步骤S2具体为:
根据预处理图像得到要进行三维建模的体数据;
进行体数据的光线模拟,即从视点位置向包围盒上投射射线,确定投射的入射光线;
对入射光线进行光线重采样;
在对入射光线进行光线重采用时,通过插值算法计算每个采样点的颜色值和不透明值;
将每一条光线上所有采样点的颜色值和不透明度值按照一定的规则进行合成,从而得到该条光线在屏幕上所对应像素点的颜色值,当所有光线的像素点颜色值都被合成出来后,在裸眼3D显示器上即得到脑部三维模型。
优选地,所述脑肿瘤信息包括肿瘤种类、肿瘤位置、肿瘤大小、肿瘤形态和肿瘤毗邻关系;
所述切除脑肿瘤方案包括麻醉方式、肿瘤切除方式、切除所用工具、肿瘤切除方法步骤和注意事项。
优选地,所述根据脑肿瘤信息推荐切除脑肿瘤方案,具体为:
根据匹配规则,将脑肿瘤信息与数据库内的若干切除脑肿瘤模板进行匹配,并得到每个切除脑肿瘤模板的匹配值;
选择最大的匹配值所对应的切除脑肿瘤模板作为推荐的切除脑肿瘤方案。
优选地,所述根据人机交互设备的操作指令,在脑部三维模型上进行脑肿瘤定位、手术规划与模拟肿瘤切除,具体为:
根据人机交互设备发送的开始指令,在脑部三维模型所在的三维场景中创建虚拟手;
根据人机交互设备发送的手术工具选择指令,建立虚拟工具,并将虚拟手和虚拟工具进行位置关系的结合;
根据人机交互设备发送的互动操作数据,并根据互动操作数据实时更新三维场景中虚拟手的位置形态、虚拟工具的位置形态和脑部三维模型的位置形态,从而实现在脑部三维模型上模拟脑肿瘤定位、手术规划与脑肿瘤切除。
第二方面,本发明提供了一种脑肿瘤医学影像三维重建显示交互系统,适用于第一方面所述的脑肿瘤医学影像模拟重建立体显示方法,包括裸眼3D显示屏、人机交互设备和服务器,所述裸眼3D显示屏和人机交互设备分别与服务器通信;
所述服务器用于:
获取扫描设备扫描病人头部后的若干张医学diacom图像,并对每张医学diacom图像进行预处理,得到预处理图像;
根据预处理图像进行三维建模得到脑部三维模型,并通过裸眼3D显示器显示脑部三维模型;
对脑部三维模型进行分析得到脑肿瘤信息,并根据脑肿瘤信息推荐切除脑肿瘤方案,以为医生提供参考;
根据人机交互设备的操作指令,在脑部三维模型上进行脑肿瘤定位、手术规划与模拟肿瘤切除,通过裸眼3D显示器显示脑肿瘤定位以及医生模拟手术的整个操作过程,并根据医生的术中操作进行手术提醒;
肿瘤切除后,对医生的操作进行评估并得到评估结果。
优选地,所述根据脑肿瘤信息推荐切除脑肿瘤方案,具体为:
根据匹配规则,将脑肿瘤信息与数据库内的若干切除脑肿瘤模板进行匹配,并得到每个切除脑肿瘤模板的匹配值;
选择最大的匹配值所对应的切除脑肿瘤模板作为推荐的切除脑肿瘤方案。
优选地,所述数据库内存储有若干切除脑肿瘤模板,每个切除脑肿瘤模块包括肿瘤信息、麻醉方式、肿瘤切除方式、切除所用工具、肿瘤切除方法步骤和注意事项。
优选地,所述人机交互设备包括数据手套、三维立体定位装置和连接线,所述三维立体定位装置安装在数据手套上,所述数据手套与三维立体定位装置连接,所述数据手套通过连接线与服务器通信,所述数据手套用于采集操作者的手的动作,所述三维立体定位装置根据数据手套在空间的移动,计算出数据手套的位置数据和方位数据,并将位置数据和方位数据发送给服务器;所述三维立体定位装置包括发射器、接收器和控制器,所述发射器发射电磁信号,所述接收器接收发射器发射的电磁信号,所述接收器安装在数据手套的手背位置,用于检测数据手套的位置和方向,接收器将3个位置参数和3个方向参数发送给控制器,控制器与服务器通信,控制器控制发射器的信号发射,并将接收器接收的电磁信号转换为数字信号发送给服务器;所述服务器将数字信号处理得到数据手套的当前位置和运动方向,并实时更新三维模型中虚拟手的位置形态。
本发明的有益效果为:本发明通过脑肿瘤医学影像构建脑部三维模型,并根据医生的操作指令模拟手术,人机交互过程通过裸眼3D显示器显示,增强了虚拟现实感,通过对脑肿瘤的分析为医生推荐切除肿瘤的方案,提高了医生诊断的效率。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中,类似的元件或部分一般由类似的附图标记标识。附图中,各元件或部分并不一定按照实际的比例绘制。
图1为本实施例中脑肿瘤医学影像三维重建显示交互方法的流程图;
图2为本实施例中脑肿瘤医学影像三维重建显示交互系统的结构图;
图3为本实施例中人机交互设备的结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
本实施例提供了一种脑肿瘤医学影像三维重建显示交互方法,如图1所示,包括但不限于以下步骤:
S1,获取扫描设备扫描病人头部后的若干张医学diacom图像,并对每张医学diacom图像进行预处理,得到预处理图像;
S2,根据预处理图像进行三维建模得到脑部三维模型,并通过裸眼3D显示器显示脑部三维模型;
S3,对脑部三维模型进行分析得到脑肿瘤信息,并根据脑肿瘤信息推荐切除脑肿瘤方案,以为医生提供参考;
S4,根据人机交互设备的操作指令,在脑部三维模型上进行脑肿瘤定位、手术规划与模拟肿瘤切除,通过裸眼3D显示器显示脑肿瘤定位以及医生模拟手术的整个操作过程,并根据医生的术中操作进行手术提醒;
S5,肿瘤切除后,对医生的操作进行评估并得到评估结果。
其中,步骤S1中所述对每张医学diacom图像进行预处理,具体为:
将每张医学diacom图像转化为256色的BMP图像;
使用边缘检测从BMP图像中分割出感兴趣的图像并通过灰度直方图进行均衡化处理,使图像中灰度集中的区域拉开或使灰度分布均匀,从而增大方差,使图像的细节清晰;
对均衡化的图像进行平滑与锐化滤波处理,从而得到预处理图像。
本实施例中,多排螺旋CT对病人脑部进行扫描后得到若干张脑横断面的医学diacom图像,为了有利于从图像中准确地提取出有用的信息,需要对原始图像进行预处理,以突出有效的图像信息,消除或减少噪声的干扰。
由于原始图像灰阶较多,为了提高后续的处理速度,将原始图像转换为256色的BMP图像。首先对BMP图像通过边缘检测去除头发头皮等不需要的部分,再对分割出的感兴趣的图像通过灰度直方图进行均衡化处理。均匀量化的自然图像的灰度直方图通常在低灰度区间上频率较大,使得图像中较暗区域中的细节看不清楚,采用直方图修整可使原图像灰度集中的区域拉开或使灰度分布均匀,从而增加反差,使图像的细节清楚。然后通过平滑技术平滑图像中的噪声,本实施例采用中值滤波,在除去图像中的孤立点、线的噪声的同时,能很好的保护了图像的边缘信息。经过上述处理后得到预处理图像。
其中,所述步骤S2具体为:
根据预处理图像得到要进行三维建模的体数据;
进行体数据的光线模拟,即从视点位置向包围盒上投射射线,确定投射的入射光线;
对入射光线进行光线重采样;
在对入射光线进行光线重采用时,通过插值算法计算每个采样点的颜色值和不透明值;
将每一条光线上所有采样点的颜色值和不透明度值按照一定的规则进行合成,从而得到该条光线在屏幕上所对应像素点的颜色值,当所有光线的像素点颜色值都被合成出来后,在裸眼3D显示器上即得到脑部三维模型。
本实施例中,进行三维建模时采用体绘制方法,体绘制是在三维空间数据场中不创建任何中间几何图元直接将离散的三维数据转换为三维图像,其基本思想是对三维体数据中的每个体素进行处理,根据每个体素的数据值为器赋予相应的颜色值和不透明值,并加以考虑每个体素对光线的发射、反射和透射作用,计算出每个体素的光照强度,然后对视线上的每一个体素点的颜色值和不透明度进行叠加合成,从而形成最终的三维图像。本实施例中根据预处理图像得到要进行三维建模的体数据,提数据的光线模拟即从视点位置向包围盒上投射射线,光线穿越包围盒即等价于光线穿越了体数据,然后根据视点位置和包围盒表面上的点坐标就可唯一确定光线投射的方向,从而确定投射的入射光线。然后对光线进行采样,所谓光线重采用即对光线在包围盒的入射点和出射点之间的采样,在采样时计算每个采用点的颜色值和不透明值,最后通过图像合成即得到三维图像;通过计算插件对模型的深度计算与裸眼立体显像合成,在裸眼3D显示器上可看到立体的脑部三维模型。
脑部三维模型构建好后,对病人的脑肿瘤情况进行分析并得到脑肿瘤信息,所述脑肿瘤信息包括但不限于肿瘤种类、肿瘤位置、肿瘤大小、肿瘤形态和肿瘤毗邻关系。医生可以对肿瘤的医学数字关键信息进行选择,如定位、颜色、显示方式、透明或不透明等。
其中,所述根据脑肿瘤信息推荐切除脑肿瘤方案,具体为:
根据匹配规则,将脑肿瘤信息与数据库内的若干切除脑肿瘤模板进行匹配,并得到每个切除脑肿瘤模板的匹配值;
选择最大的匹配值所对应的切除脑肿瘤模板作为推荐的切除脑肿瘤方案。
本实施例中,对脑肿瘤信息进行分析得到切除脑肿瘤方案,即通过匹配从数据库中选取症状相同或最接近的切除脑肿瘤模板作为推荐的切除脑肿瘤方案,所述切除脑肿瘤方案包括但不限于麻醉方式、肿瘤切除方式、切除所用工具、肿瘤切除方法步骤和注意事项。医生可在显示器上看到推荐的切除脑肿瘤方案的相关信息,从而为医生的诊断提供参考和辅助,判断是否需要手术切除,如何进行手术切除。
其中,根据人机交互设备的操作指令,在脑部三维模型上进行脑肿瘤定位、手术规划与模拟肿瘤切除,具体为:
根据人机交互设备发送的开始指令,在脑部三维模型所在的三维场景中创建虚拟手;
根据人机交互设备发送的手术工具选择指令,建立虚拟工具,并将虚拟手和虚拟工具进行位置关系的结合;
根据人机交互设备发送的互动操作数据,并根据互动操作数据实时更新三维场景中虚拟手的位置形态、虚拟工具的位置形态和脑部三维模型的位置形态,从而实现在脑部三维模型上模拟肿瘤的切除。
本实施例的人机交互设备包括数据手套,医生确定好切除方案后,将数据手套戴上,然后进行模拟手术切除,根据数据手套的开始指令,在三维场景中创建虚拟手,该虚拟手模拟医生的手部动作,然后赶紧医生在三维软件中选择的手术工具,创建虚拟工具,并将虚拟手与虚拟工具进行位置关系的结合,即虚拟手拿着虚拟工具,然后根据数据手套的互动操作数据开始模拟手术,从而提高虚拟现实感,帮助医生更好的掌握手术要领,医生通过裸眼3D显示器可以看到手术后的效果。模拟过程中,手术医生对于能不能切除,能切多少,手术切面可能遇到什么器官,均可清晰了解和把握,使手术变为更直观、精准和安全,为术前分析和制定最优手术方法提供依据,提高医疗诊断水平。
综上所述,本实施例通过脑肿瘤医学影像构建脑部三维模型,并根据医生的操作指令模拟手术,人机交互过程通过裸眼3D显示器显示,增强了虚拟现实感,通过对脑肿瘤的分析为医生推荐切除肿瘤的方案,提高了医生诊断的效率。
实施例二:
本实施例提供了一种脑肿瘤医学影像三维重建显示交互系统,适用于实施例一所述的脑肿瘤医学影像模拟重建立体显示方法,如图2所示,包括裸眼3D显示屏、人机交互设备和服务器,所述裸眼3D显示屏和人机交互设备分别与服务器通信;
所述裸眼3D显示屏用于显示三维场景,为医生展示整个模拟手术的过程。
所述人机交互设备用于获取医生进行模拟手术过程中的操作指令。
所述服务器用于:
获取扫描设备扫描病人头部后的若干张医学diacom图像,并对每张医学diacom图像进行预处理,得到预处理图像;
根据预处理图像进行三维建模得到脑部三维模型,并通过裸眼3D显示器显示脑部三维模型;
对脑部三维模型进行分析得到脑肿瘤信息,并根据脑肿瘤信息推荐切除脑肿瘤方案,以为医生提供参考;
根据人机交互设备的操作指令,在脑部三维模型上进行脑肿瘤定位、手术规划与模拟肿瘤切除,通过裸眼3D显示器显示脑肿瘤定位以及医生模拟手术的整个操作过程,并根据医生的术中操作进行手术提醒;
肿瘤切除后,对医生的操作进行评估并得到评估结果。
本实施例,多排螺旋CT对病人脑部进行扫描后得到若干张脑横断面的医学diacom图像,服务器获取原始的医学diacom图像后,为了有利于从图像中准确地提取出有用的信息,需要对原始图像进行预处理,以突出有效的图像信息,消除或减少噪声的干扰,进行处理后得到预处理图像。然后根据预处理图像得到要进行三维建模的体数据,采用体绘制方法进行三维建模,得到脑部三维模型。脑部三维模型构建好后,对病人的脑肿瘤情况进行分析并得到脑肿瘤信息,所述脑肿瘤信息包括但不限于肿瘤种类、肿瘤位置、肿瘤大小、肿瘤形态和肿瘤毗邻关系。
其中,所述根据脑肿瘤信息推荐切除脑肿瘤方案,具体为:
根据匹配规则,将脑肿瘤信息与数据库内的若干切除脑肿瘤模板进行匹配,并得到每个切除脑肿瘤模板的匹配值;选择最大的匹配值所对应的切除脑肿瘤模板作为推荐的切除脑肿瘤方案。
本实施例中,所述数据库内存储有若干切除脑肿瘤模板,每个切除脑肿瘤模块包括肿瘤信息、麻醉方式、肿瘤切除方式、切除所用工具、肿瘤切除方法步骤和注意事项。对脑肿瘤信息进行分析得到切除脑肿瘤方案,即通过匹配从数据库中选取症状相同或最接近的切除脑肿瘤模板作为推荐的切除脑肿瘤方案。医生可在显示器上看到推荐的切除脑肿瘤方案的相关信息,从而为医生的诊断提供参考和辅助,判断是否需要手术切除,如何进行手术切除。
如图3所示,所述人机交互设备包括数据手套、三维立体定位装置和连接线,所述三维立体定位装置安装在数据手套上,所述数据手套与三维立体定位装置连接,所述数据手套通过连接线与服务器通信,所述数据手套用于采集操作者的手的动作,所述三维立体定位装置根据数据手套在空间的移动,计算出数据手套的位置数据和方位数据,并将位置数据和方位数据发送给服务器;所述三维立体定位装置包括发射器、接收器和控制器,所述发射器发射电磁信号,所述接收器接收发射器发射的电磁信号,所述接收器安装在数据手套的手背位置,用于检测数据手套的位置和方向,接收器将3个位置参数和3个方向参数发送给控制器,控制器与服务器通信,控制器控制发射器的信号发射,并将接收器接收的电磁信号转换为数字信号发送给服务器;所述服务器将数字信号处理得到数据手套的当前位置和运动方向,并实时更新三维模型中虚拟手的位置形态。所述数据手套采用有五个传感器的数据手套,所述数据手套通过USB接口与服务器通信。采用数据手套作为人机交互设备,医生操作简单、灵活操作,使用方便。
本实施例中,医生确定好切除方案后,将数据手套戴上,然后进行模拟手术切除,根据数据手套的开始指令,在三维场景中创建虚拟手,该虚拟手模拟医生的手部动作,然后赶紧医生在三维软件中选择的手术工具,创建虚拟工具,并将虚拟手与虚拟工具进行位置关系的结合,即虚拟手拿着虚拟工具,然后根据数据手套的互动操作数据开始模拟手术,从而提高虚拟现实感,帮助医生更好的掌握手术要领,医生通过裸眼3D显示器可以看到手术后的效果。模拟过程中,手术医生对于能不能切除,能切多少,手术切面可能遇到什么器官,均可清晰了解和把握,使手术变为更直观、精准和安全,为术前分析和制定最优手术方法提供依据,提高医疗诊断水平。
综上所述,本实施例通过脑肿瘤医学影像构建脑部三维模型,并根据医生的操作指令模拟手术,人机交互过程通过裸眼3D显示器显示,增强了虚拟现实感,通过对脑肿瘤的分析为医生推荐切除肿瘤的方案,提高了医生诊断的效率。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了实施例。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同的步骤来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
应该理解到,本实施例所描述的方法,可以通过其它的方式实现。例如,以上所描述的方法步骤是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如一个步骤可分为几个步骤执行,或几个步骤合成一个步骤执行,或一些特征可以忽略,或不执行。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种脑肿瘤医学影像三维重建显示交互方法,其特征在于,包括以下步骤:
S1,获取扫描设备扫描病人头部后的若干张医学diacom图像,并对每张医学diacom图像进行预处理,得到预处理图像;
S2,根据预处理图像进行三维建模得到脑部三维模型,并通过裸眼3D显示器显示脑部三维模型;
S3,对脑部三维模型进行分析得到脑肿瘤信息,并根据脑肿瘤信息推荐切除脑肿瘤方案,以为医生提供参考;
S4,根据人机交互设备的操作指令,在脑部三维模型上进行脑肿瘤定位、手术规划与模拟肿瘤切除,通过裸眼3D显示器显示脑肿瘤定位以及医生模拟手术的整个操作过程,并根据医生的术中操作进行手术提醒;
S5,肿瘤切除后,对医生的操作进行评估并得到评估结果。
2.根据权利要求1所述的一种脑肿瘤医学影像三维重建显示交互方法,其特征在于,所述对每张医学diacom图像进行预处理,具体为:
将每张医学diacom图像转化为256色的BMP图像;
使用边缘检测从BMP图像中分割出感兴趣的图像并通过灰度直方图进行均衡化处理,使图像中灰度集中的区域拉开或使灰度分布均匀,从而增大方差,使图像的细节清晰;
对均衡化的图像进行平滑与锐化滤波处理,从而得到预处理图像。
3.根据权利要求1所述的一种脑肿瘤医学影像三维重建显示交互方法,其特征在于,所述步骤S2具体为:
根据预处理图像得到要进行三维建模的体数据;
进行体数据的光线模拟,即从视点位置向包围盒上投射射线,确定投射的入射光线;
对入射光线进行光线重采样;
在对入射光线进行光线重采用时,通过插值算法计算每个采样点的颜色值和不透明值;
将每一条光线上所有采样点的颜色值和不透明度值按照一定的规则进行合成,从而得到该条光线在屏幕上所对应像素点的颜色值,当所有光线的像素点颜色值都被合成出来后,在裸眼3D显示器上即得到脑部三维模型。
4.根据权利要求1所述的一种脑肿瘤医学影像三维重建显示交互方法,其特征在于,所述脑肿瘤信息包括肿瘤种类、肿瘤位置、肿瘤大小、肿瘤形态和肿瘤毗邻关系;
所述切除脑肿瘤方案包括麻醉方式、肿瘤切除方式、切除所用工具、肿瘤切除方法步骤和注意事项。
5.根据权利要求4所述的一种脑肿瘤医学影像三维重建显示交互方法,其特征在于,所述根据脑肿瘤信息推荐切除脑肿瘤方案,具体为:
根据匹配规则,将脑肿瘤信息与数据库内的若干切除脑肿瘤模板进行匹配,并得到每个切除脑肿瘤模板的匹配值;
选择最大的匹配值所对应的切除脑肿瘤模板作为推荐的切除脑肿瘤方案。
6.根据权利要求1所述的一种脑肿瘤医学影像三维重建显示交互方法,其特征在于,所述根据人机交互设备的操作指令,在脑部三维模型上进行脑肿瘤定位、手术规划与模拟肿瘤切除,具体为:
根据人机交互设备发送的开始指令,在脑部三维模型所在的三维场景中创建虚拟手;
根据人机交互设备发送的手术工具选择指令,建立虚拟工具,并将虚拟手和虚拟工具进行位置关系的结合;
根据人机交互设备发送的互动操作数据,并根据互动操作数据实时更新三维场景中虚拟手的位置形态、虚拟工具的位置形态和脑部三维模型的位置形态,从而实现在脑部三维模型上模拟脑肿瘤定位、手术规划与脑肿瘤切除。
7.一种脑肿瘤医学影像三维重建显示交互系统,适用于权利要求1至6任一项所述的脑肿瘤医学影像模拟重建立体显示方法,其特征在于,包括裸眼3D显示屏、人机交互设备和服务器,所述裸眼3D显示屏和人机交互设备分别与服务器通信;
所述服务器用于:
获取扫描设备扫描病人头部后的若干张医学diacom图像,并对每张医学diacom图像进行预处理,得到预处理图像;
根据预处理图像进行三维建模得到脑部三维模型,并通过裸眼3D显示器显示脑部三维模型;
对脑部三维模型进行分析得到脑肿瘤信息,并根据脑肿瘤信息推荐切除脑肿瘤方案,以为医生提供参考;
根据人机交互设备的操作指令,在脑部三维模型上进行脑肿瘤定位、手术规划与模拟肿瘤切除,通过裸眼3D显示器显示脑肿瘤定位以及医生模拟手术的整个操作过程,并根据医生的术中操作进行手术提醒;
肿瘤切除后,对医生的操作进行评估并得到评估结果。
8.根据权利要求6所述的一种脑肿瘤医学影像三维重建显示交互系统,其特征在于,所述根据脑肿瘤信息推荐切除脑肿瘤方案,具体为:
根据匹配规则,将脑肿瘤信息与数据库内的若干切除脑肿瘤模板进行匹配,并得到每个切除脑肿瘤模板的匹配值;
选择最大的匹配值所对应的切除脑肿瘤模板作为推荐的切除脑肿瘤方案。
9.根据权利要求8所述的一种脑肿瘤医学影像三维重建显示交互系统,其特征在于,所述数据库内存储有若干切除脑肿瘤模板,每个切除脑肿瘤模块包括肿瘤信息、麻醉方式、肿瘤切除方式、切除所用工具、肿瘤切除方法步骤和注意事项。
10.根据权利要求6所述的一种脑肿瘤医学影像三维重建显示交互系统,其特征在于,所述人机交互设备包括数据手套、三维立体定位装置和连接线,所述三维立体定位装置安装在数据手套上,所述数据手套与三维立体定位装置连接,所述数据手套通过连接线与服务器通信,所述数据手套用于采集操作者的手的动作,所述三维立体定位装置根据数据手套在空间的移动,计算出数据手套的位置数据和方位数据,并将位置数据和方位数据发送给服务器;所述三维立体定位装置包括发射器、接收器和控制器,所述发射器发射电磁信号,所述接收器接收发射器发射的电磁信号,所述接收器安装在数据手套的手背位置,用于检测数据手套的位置和方向,接收器将3个位置参数和3个方向参数发送给控制器,控制器与服务器通信,控制器控制发射器的信号发射,并将接收器接收的电磁信号转换为数字信号发送给服务器;所述服务器将数字信号处理得到数据手套的当前位置和运动方向,并实时更新三维模型中虚拟手的位置形态。
CN201811139835.XA 2018-09-28 2018-09-28 一种脑肿瘤医学影像三维重建显示交互方法及系统 Pending CN109157284A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811139835.XA CN109157284A (zh) 2018-09-28 2018-09-28 一种脑肿瘤医学影像三维重建显示交互方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811139835.XA CN109157284A (zh) 2018-09-28 2018-09-28 一种脑肿瘤医学影像三维重建显示交互方法及系统

Publications (1)

Publication Number Publication Date
CN109157284A true CN109157284A (zh) 2019-01-08

Family

ID=64892880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811139835.XA Pending CN109157284A (zh) 2018-09-28 2018-09-28 一种脑肿瘤医学影像三维重建显示交互方法及系统

Country Status (1)

Country Link
CN (1) CN109157284A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109512512A (zh) * 2019-01-14 2019-03-26 常州锦瑟医疗信息科技有限公司 基于点云匹配的神经外科术中增强现实定位的方法和装置
CN109799936A (zh) * 2019-01-22 2019-05-24 上海联影医疗科技有限公司 一种图像生成方法、装置、设备及介质
CN110428887A (zh) * 2019-08-05 2019-11-08 河南省三门峡市中心医院(三门峡市儿童医院、三门峡市妇幼保健院) 一种脑肿瘤医学影像三维重建显示交互方法及系统
CN111340937A (zh) * 2020-02-17 2020-06-26 四川大学华西医院 一种脑肿瘤医学影像三维重建显示交互方法及系统
CN111553979A (zh) * 2020-05-26 2020-08-18 广州狄卡视觉科技有限公司 基于医学影像三维重建的手术辅助系统及方法
WO2020168696A1 (zh) * 2019-02-22 2020-08-27 未艾医疗技术(深圳)有限公司 基于VRDS 4D医学影像的动脉与静脉Ai处理方法及产品
WO2020168694A1 (zh) * 2019-02-22 2020-08-27 未艾医疗技术(深圳)有限公司 基于VRDS 4D医学影像的肿瘤Ai处理方法及产品
WO2020173054A1 (zh) * 2019-02-28 2020-09-03 未艾医疗技术(深圳)有限公司 Vrds 4d医学影像处理方法及产品
CN117338419A (zh) * 2023-09-28 2024-01-05 杭州盛星医疗科技有限公司 一种穿刺设备引导方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503451A (zh) * 2016-10-24 2017-03-15 京东方科技集团股份有限公司 一种在线手术方案分析系统
CN106725846A (zh) * 2016-11-21 2017-05-31 厦门强本宇康科技有限公司 一种基于人体器官3d模型的手术仿真系统及方法
CN106890024A (zh) * 2016-12-29 2017-06-27 李岩 一种肝脏肿瘤热消融手术的术前辅助装置
CN106901834A (zh) * 2016-12-29 2017-06-30 陕西联邦义齿有限公司 微创心脏外科手术的术前规划及手术虚拟现实模拟方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503451A (zh) * 2016-10-24 2017-03-15 京东方科技集团股份有限公司 一种在线手术方案分析系统
CN106725846A (zh) * 2016-11-21 2017-05-31 厦门强本宇康科技有限公司 一种基于人体器官3d模型的手术仿真系统及方法
CN106890024A (zh) * 2016-12-29 2017-06-27 李岩 一种肝脏肿瘤热消融手术的术前辅助装置
CN106901834A (zh) * 2016-12-29 2017-06-30 陕西联邦义齿有限公司 微创心脏外科手术的术前规划及手术虚拟现实模拟方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
卢开文: "医学影像三维重建系统的研究与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
宁康杰: "基于VR外设的沉浸式手术训练仿真系统研究", 《中国优秀硕士学位论文全文数据库医药卫生科技辑》 *
李艳梅: "图像增强的相关技术及应用研究", 《中国博士学位论文全文数据库信息科技辑》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109512512A (zh) * 2019-01-14 2019-03-26 常州锦瑟医疗信息科技有限公司 基于点云匹配的神经外科术中增强现实定位的方法和装置
CN109799936B (zh) * 2019-01-22 2022-05-24 上海联影医疗科技股份有限公司 一种图像生成方法、装置、设备及介质
CN109799936A (zh) * 2019-01-22 2019-05-24 上海联影医疗科技有限公司 一种图像生成方法、装置、设备及介质
CN111613302B (zh) * 2019-02-22 2024-03-05 曹生 基于医学影像的肿瘤Ai处理方法及产品
AU2019430773B2 (en) * 2019-02-22 2022-09-15 Sheng Cao VRDS 4D medical image-based AI processing method and product for tumors
WO2020168696A1 (zh) * 2019-02-22 2020-08-27 未艾医疗技术(深圳)有限公司 基于VRDS 4D医学影像的动脉与静脉Ai处理方法及产品
WO2020168694A1 (zh) * 2019-02-22 2020-08-27 未艾医疗技术(深圳)有限公司 基于VRDS 4D医学影像的肿瘤Ai处理方法及产品
CN111613302A (zh) * 2019-02-22 2020-09-01 未艾医疗技术(深圳)有限公司 基于VRDS 4D医学影像的肿瘤Ai处理方法及产品
AU2019430854B2 (en) * 2019-02-22 2022-09-08 Sheng Cao VRDS 4D medical image-based artery and vein Ai processing method and product
AU2019431568B2 (en) * 2019-02-28 2022-09-22 Sheng Cao Method and product for processing of vrds 4d medical images
WO2020173054A1 (zh) * 2019-02-28 2020-09-03 未艾医疗技术(深圳)有限公司 Vrds 4d医学影像处理方法及产品
CN110428887A (zh) * 2019-08-05 2019-11-08 河南省三门峡市中心医院(三门峡市儿童医院、三门峡市妇幼保健院) 一种脑肿瘤医学影像三维重建显示交互方法及系统
CN111340937A (zh) * 2020-02-17 2020-06-26 四川大学华西医院 一种脑肿瘤医学影像三维重建显示交互方法及系统
CN111553979A (zh) * 2020-05-26 2020-08-18 广州狄卡视觉科技有限公司 基于医学影像三维重建的手术辅助系统及方法
CN111553979B (zh) * 2020-05-26 2023-12-26 广州雪利昂生物科技有限公司 基于医学影像三维重建的手术辅助系统及方法
CN117338419A (zh) * 2023-09-28 2024-01-05 杭州盛星医疗科技有限公司 一种穿刺设备引导方法及装置

Similar Documents

Publication Publication Date Title
CN109157284A (zh) 一种脑肿瘤医学影像三维重建显示交互方法及系统
JP5130529B2 (ja) 情報処理装置およびプログラム
CN109584349B (zh) 用于渲染材料属性的方法和设备
US11016579B2 (en) Method and apparatus for 3D viewing of images on a head display unit
JP3483929B2 (ja) 3次元画像生成方法
US20170035517A1 (en) Dynamic and interactive navigation in a surgical environment
US20110254845A1 (en) Image processing method and image processing apparatus
CN107924580A (zh) 在医学成像中的表面体积混合模块的可视化
CN107599412A (zh) 一种基于组织结构的三维建模方法、系统及三维模型
JP2020506452A (ja) Hmdsに基づく医学画像形成装置
CN107405126A (zh) 检索成对的医学图像的对应结构
US20140193789A1 (en) Cutting simulation device and cutting simulation program
CN113017832A (zh) 一种基于虚拟现实技术的穿刺手术模拟方法
JP2007512064A (ja) 3次元画像データにおけるナビゲーションのための方法
Linney et al. Three-dimensional visualization of computerized tomography and laser scan data for the simulation of maxillo-facial surgery
CN108830915A (zh) 口腔影像3d模拟动画实现方法及装置
Shi et al. A new volumetric geometric model for cutting procedures in surgical simulation
Pflesser et al. Volume based planning and rehearsal of surgical interventions
JP7172086B2 (ja) 手術シミュレーション装置及び手術シミュレーションプログラム
CN114616594A (zh) 用于从体积渲染自动生成具有颜色映射的三维多边形模型的系统和方法
Kameyama et al. Virtual surgical operation system using volume scanning display
Raposio et al. An “augmented-reality” aid for plastic and reconstructive surgeons
Wróbel et al. Three dimensional image projections and its measurement using the vrml technique
Krapichler et al. Human-machine interface for a VR-based medical imaging environment
CN113781635A (zh) 医学图像投影方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190108