CN109036548A - 基于混合现实三维可视化的辅助诊疗系统 - Google Patents

Abstract

本发明涉及一种基于混合现实三维可视化的辅助诊疗系统，包括：数据预处理单元，用于接收云平台上医院提供的医学影像，并转为常用的Dicom格式用于后面的数字化处理；三维重构单元，采用vtk环境下的重构技术，对影像进行体绘制，生成可用的STL格式，然后对三维模型进行人工处理，完善模型；模型上传单元，对模型进行格式转换，生成混合现实系统可用的文件格式，并进行文件上传；辅助医疗单元，在手术过程中通过混合现实设备通过视觉叠加技术将3D模型覆盖在人体上，辅助医生进行手术。本发明在医疗领域的应用，解决目前医生在手术中无法将3D显示的人体结构与病人真实的解剖部位进行对应，进而实施精准手术的问题。

Description

基于混合现实三维可视化的辅助诊疗系统

技术领域

本发明属于图像识别和医学图像处理领域，涉及一种基于混合现实三维可视化的辅助诊疗系统。

背景技术

混合现实指的是合并现实和虚拟世界而产生的新的可视化环境，在新的可视化环境里物理和数字对象共存，并实时互动。混合现实的实现需要在一个能与现实世界各事物相互交互的环境中，如果一切事物都是虚拟的那就是虚拟现实，如果展现出来的虚拟信息只能简单叠加在现实事物上，那就是增强现实。将二者的优势结合即为混合现实的最终目的所在。

随着科技的不断发展，智能医疗技术也不断在提高。从前，医生在手术中无法将3D显示的人体结构与病人真实的解剖部位进行对应，进而实施精准手术。因此，如果能够将混合现实的原理应用于医学领域，辅助诊疗，将具有巨大的市场应用前景。

发明内容

本发明的目的是提供一种基于混合现实三维可视化的辅助诊疗系统，解决目前医生在手术中无法将3D显示的人体结构与病人真实的解剖部位进行对应，进而实施精准手术的问题。

本发明通过以下技术方案来实现：一种基于混合现实三维可视化的辅助诊疗系统，包括：

数据预处理单元，用于接收云平台上医院提供的医学影像，并转为常用的Dicom格式用于后面的数字化处理；

三维重构单元，采用vtk环境下的重构技术，对影像进行体绘制，生成可用的STL格式，然后对三维模型进行人工处理，完善模型；

模型上传单元，对模型进行格式转换，生成混合现实系统可用的文件格式，并进行文件上传；

辅助医疗单元，在手术过程中通过混合现实设备通过视觉叠加技术将3D模型覆盖在人体上，辅助医生进行手术。

进一步的，所述的三维重构单元包括重建模块和人工处理模块，重建模块是基于vtk环境下的重构技术对Dicom格式影像进行图像渲染，实现三维重构，人工处理模块是对模型进行人工处理，处理方式包括蜂窝状缺损创新的处理、快速光滑处理、去除钉状物处理、补洞处理。

进一步的，所述的蜂窝状缺损创新的处理是将模型向外抽壳一定厚度，根据模型大小不同抽壳厚度经验值在1～5mm，此时模型会在外出形成一个新的模型变成内外两层结构。

进一步的，所述的补洞处理是在蜂窝状缺损创新的处理方法处理后将模型调入Geomagic Studio软件做差别比对，两模型细节处差别较大的部分使用雕刻刀工具处理，然后通过添加材质或删除材质处理减小形状误差。

进一步的，所述的辅助医疗单元包括UI模块和体感控制模块，UI模块用于承载混合现实模型的各项功能模块，用于系统与可视化用户交互，体感控制模块通过与混合现实设备的手势感应，实现对模型的放大缩小，也能够以不同角度翻转观测其结构和空间位置关系。

所述的混合现实设备为微软Hololens眼镜。

采用上述技术方案的积极效果：本发明从病灶的三维重建过程，采用的技术，虚拟现实与实际场景的结合，来说明混合现实系统在医疗领域的应用，该技术的实施，实现了医生跨空间实时互动与远程手术参与，可以为我国医联体和分级诊疗制度提供高效、低成本、简易的最优解决方案。

附图说明

图1是基于混合现实技术的三维可视化辅助诊疗系统方框图；

图2是基于混合现实技术的三维可视化辅助诊疗系统的流程示意图；

图3是混合现实设备；

图4是混合现实手势操作示意图；

图5是混合现实辅助诊疗系统显示主动脉模型。

具体实施方式

下面结合附图对本发明的技术方案做进一步的说明，但不应理解为对本发明的限制：

一种基于混合现实三维可视化的辅助诊疗系统，包括：

数据预处理单元，用于接收云平台上医院提供的医学影像，并转为常用的Dicom格式用于后面的数字化处理；

三维重构单元，采用vtk环境下的重构技术，对影像进行体绘制，生成可用的STL格式，然后对三维模型进行人工处理，完善模型；

模型上传单元，对模型进行格式转换，生成混合现实系统可用的文件格式，并进行文件上传；

辅助医疗单元，在手术过程中通过混合现实设备通过视觉叠加技术将3D模型覆盖在人体上，辅助医生进行手术。所述的混合现实设备为微软Hololens眼镜(图3)。

所述的三维重构单元包括重建模块和人工处理模块，重建模块是基于vtk环境下的重构技术对Dicom格式影像进行图像渲染，实现三维重构，人工处理模块是对模型进行人工处理，处理方式包括蜂窝状缺损创新的处理、快速光滑处理、去除钉状物处理、补洞处理。

所述的蜂窝状缺损创新的处理是将模型向外抽壳一定厚度，根据模型大小不同抽壳厚度经验值在1～5mm，此时模型会在外出形成一个新的模型变成内外两层结构。

所述的补洞处理是在蜂窝状缺损创新的处理方法处理后将模型调入GeomagicStudio软件做差别比对，两模型细节处差别较大的部分使用雕刻刀工具处理，然后通过添加材质或删除材质处理减小形状误差。

所述的辅助医疗单元包括UI模块和体感控制模块，UI模块用于承载混合现实模型的各项功能模块，用于系统与可视化用户交互，体感控制模块通过与混合现实设备的手势感应，实现对模型的放大缩小，也能够以不同角度翻转观测其结构和空间位置关系。

具体的操作步骤如下(图2)：

一、原始数据读入：

读取原始数据格式为Dicom，尾缀为.dcm；或者NIFTI数据，格式尾缀为.nii和.nii.gz。

二、混合现实重构模型读入：

将模型转换虚拟设备可用的格式FBX格式模型文件，上传到混合现实系统中。

三、辅助医疗：

通过佩戴混合现实HoloLens眼镜，该眼镜的硬件构成是由两块用于3D成像的镜片以及安装在眼睛顶部用来探测手势的3D相机组成，搭载3轴加速度、重力、数字罗盘等感测器，内置了一台微型3D投影仪，可将虚拟画面投射到眼镜片上，采用镜面反射从而使虚拟影像和显示画面叠加在一起，支持位置追踪和手势交互。

1、缩放、移动、旋转：

点击影像边角方框可缩放调整影像大小，点击影像即可移动影像的空间方位，点击水平方向圆点可左右(绕垂直轴)旋转影像，点击纵向方圆点可上下(横轴)旋转影像；

2、模型爆炸分离与一键还原：

在电脑端点击“Explosion”爆炸功能按键，眼镜中的模型会按事先调整好的爆炸轨迹和爆炸后模型位置进行爆炸拆分，可通过眼镜手势点击单个模型进行缩放、移动、旋转操作；再次点击“Explosion”爆炸功能按键，眼镜中的模型会还原到原来位置；

3、调颜色、调透明度：

点击爆炸功能按键模型爆炸后，电脑端“Color”颜色功能键由不可选状态变为可选，点击“Color”颜色功能键，电脑端出现色板，调整颜色及透明度，点击“应用”，眼镜中模型会随之改变颜色及透明度；

4、自动定位、配准：

在制作模型时可添加自动定位、配准功能，具体方法是，在三维重建是在皮肤上特征位置如：眉心、锁骨中心、肋骨剑突、肚脐、膝关节等处添加标记，生成二维码，重建后的病变器官模型的位置和标记位置相对不变，手术时将二维码贴于标记位置处，手术时使用MR设备扫描二维码，拓盟混合现实辅助手术系统会根据二维码信息自动调取模型并匹配到对应位置。由于病人拍CT时和手术时的姿势和身体状态会有些许不同，贴二维码时也可能有误差，使用移动、旋转功能轻微调整即可，大大提高了医生调取模型，调整模型位置的速度及准确性；

5、距离测量、角度测量：

在MR眼镜中点击模型，在模型下方会出现测量标尺按键，距离测量具体操作是点击测量标尺按键，在模型上选取第一标记点A然后再选区第二标记点B，会在MR眼镜中自动出现两标记点AB的距离信息，可多次测量。角度测量的具体操作是选取距离测量中的一个标记点A或B作为角度测量的第一标记点A或B,在模型上选取角度测量第二标记点C，此时会出现AC或BC之间的距离信息和∠ABC或∠BAC的角度信息；

6、手术入路模拟：

拓盟混合现实辅助手术系统开发有识别手术刀和钢钉功能，提前在模型上规划出手术刀的切割轨迹或钢钉的刺入轨迹，手术时MR眼镜识别手术刀或钢钉后会将规划好的轨迹已绿色曲线或线段高亮显示，医生按照规划好的轨迹手术即可，避免手术时反复确认手术入路轨迹，提高手术速度及精准度，做到胸有成竹；

7、视角切割：

有时模型结构复杂，还需要知道各个模型之间的关系，不适合使用“Explosion”爆炸功能观察模型。拓盟混合现实辅助手术系统开发有视角切割功能，只要佩戴MR眼镜贴近模型时，模型会被MR眼镜位置的视角平面切割，保留远离MR眼镜一侧模型，更加方便的观察模型内部的细微结构；

8、多方视角：

对于同一套模型，在不同视角观察的结果是不一样的。为了避免因视角问题而造成盲点漏掉模型细节影像手术效果，可使用多方视角功能。方案是将一台MR眼镜设置为主眼镜，其他MR眼镜则为辅助眼镜，多台眼镜同时识别周围环境地形。由于周围环境固定，由主眼镜调取模型后模型相对周围环境位置是固定的，每台MR眼镜相对周围环境位置固定，多台眼镜便可以用不同的视角去观察主眼镜调取的模型；

9、远程手术实时指导：

由于现阶段全国各地医疗资源分布不均，对于医疗条件和手术水平相对较差的医院的医生手术时迫切需要水平相对较高的医生实时指导。而传统方法不能很好的满足这一需求。采用拓盟混合现实辅助手术系统可以将主刀医生佩戴的MR眼镜中的图像实时传输到远方指导医生的电脑中。指导医生便可以主刀医生的视角去观察病情并给与及时的指导；

10、拍照、录像，手术教学：

手术过程的资料是十分宝贵的，对于复杂疑难手术的手术过程资料特别有学习借鉴意义。手术时，主刀医生的助手和学生可以通过电脑端以主刀医生的视角去观察手术过程，参照学习。并可以使用电脑将主刀医生看到的画面拍照或录制下来，将大量的手术资料汇总起来，对于医学院学生和年轻医生特别有学习指导意义，主刀医生手术后也可反复观看手术过程资料分析总结提高自身水平，对于解决医患纠纷也具有举证作用。

实施例1

本实施例以主动脉疾病的辅助诊疗为例，说明混合现实技术在主动脉疾病辅助诊疗过程中的应用效果。

参照图1，本发明基于混合现实技术的三维可视化辅助诊疗系统，包含数据预处理单元、三维重构单元、模型上传单元、辅助医疗单元。

数据预处理单元用于接受医院提供的主动脉影像。

三维重构单元包括重建模块和人工处理模块，重建过程是通过vtk中的管线重构方式，不过由于源数据不同，可能会造成重建出很多噪点，在生成的目标器官模型上会有蜂窝状缺损或尖锐的钉状物，在目标模型周围会存在离散的碎片或团状物，需要通过人工处理。处理方式包括蜂窝状缺损创新的处理、快速光滑处理、去除钉状物处理，补洞处理。

对于存在模型蜂窝状缺损创新的处理方法：

将模型向外抽壳一定厚度，根据模型大小不同抽壳厚度经验值在1～5mm，此时模型会在外出形成一个新的模型变成内外两层结构，具体步骤为；

步骤一、选择模型各部分表面面片；

步骤二、选择有界组件(将生成的壳全部选中)；

步骤三、反选选区(将原模型选中)；

步骤四、删除选区；

步骤五、将模型向内抽壳步骤一中厚度，得到无蜂窝眼结构模型。

对于补洞处理方法：

快速光滑处理、去除钉状物处理，补洞处理会改变模型形状，为满足模型处理的精准度要求，通过蜂窝状缺损创新的处理方法处理后将模型调入Geomagic Studio软件做差别比对，两模型细节处差别较大的部分使用雕刻刀工具处理，然后通过添加材质或删除材质处理减小形状误差。

将处理好的模型文件打包上传到拓盟MR影像管理平台，转审人员审核。

使用Unity软件进行格式转换，具体方法是：

步骤一、导入FBX格式模型文件；

步骤二、添加材质球，调节颜色和透明度；

步骤三、将材质球纹理贴图到导入的FBX格式模型文件上；

步骤四、对贴图后的模型截图；

步骤五、导入Unity软件官方AssetBoundleCreate.cs插件；

步骤六、使用Custom Editor菜单内Create AssectBundles Main功能生成assetboundle格式模型文件。

最后将assetboundle格式模型文件和模型截图图片上传到拓盟医学影像管理平台，使用HoloLens眼镜观测到的结果如图4和图5所示。

本发明从病灶的三维重建过程，采用的技术，虚拟现实与实际场景的结合，来说明混合现实系统在医疗领域的应用，该技术的实施，实现了医生跨空间实时互动与远程手术参与，可以为我国医联体和分级诊疗制度提供高效、低成本、简易的最优解决方案。

Claims (6)

1.一种基于混合现实三维可视化的辅助诊疗系统，其特征在于，包括：

数据预处理单元，用于接收云平台上医院提供的医学影像，并转为常用的Dicom格式用于后面的数字化处理；

三维重构单元，采用vtk环境下的重构技术，对影像进行体绘制，生成可用的STL格式，然后对三维模型进行人工处理，完善模型；

模型上传单元，对模型进行格式转换，生成混合现实系统可用的文件格式，并进行文件上传；

辅助医疗单元，在手术过程中通过混合现实设备通过视觉叠加技术将3D模型覆盖在人体上，辅助医生进行手术。

2.根据权利要求1所述的基于混合现实三维可视化的辅助诊疗系统，其特征在于：所述的三维重构单元包括重建模块和人工处理模块，重建模块是基于vtk环境下的重构技术对Dicom格式影像进行图像渲染，实现三维重构，人工处理模块是对模型进行人工处理，处理方式包括蜂窝状缺损创新的处理、快速光滑处理、去除钉状物处理、补洞处理。

3.根据权利要求2所述的基于混合现实三维可视化的辅助诊疗系统，其特征在于：所述的蜂窝状缺损创新的处理是将模型向外抽壳一定厚度，根据模型大小不同抽壳厚度经验值在1～5mm，此时模型会在外出形成一个新的模型变成内外两层结构。

4.根据权利要求2所述的基于混合现实三维可视化的辅助诊疗系统，其特征在于：所述的补洞处理是在蜂窝状缺损创新的处理方法处理后将模型调入Geomagic Studio软件做差别比对，两模型细节处差别较大的部分使用雕刻刀工具处理，然后通过添加材质或删除材质处理减小形状误差。

5.根据权利要求1所述的基于混合现实三维可视化的辅助诊疗系统，其特征在于：所述的辅助医疗单元包括UI模块和体感控制模块，UI模块用于承载混合现实模型的各项功能模块，用于系统与可视化用户交互，体感控制模块通过与混合现实设备的手势感应，实现对模型的放大缩小，也能够以不同角度翻转观测其结构和空间位置关系。

6.根据权利要求1-5中任一项权利要求所述的基于混合现实三维可视化的辅助诊疗系统，其特征在于：所述的混合现实设备为微软Hololens眼镜。