CN113256791A - 一种全息增强现实辅助的外科手术术中人机交互诊疗系统 - Google Patents
一种全息增强现实辅助的外科手术术中人机交互诊疗系统 Download PDFInfo
- Publication number
- CN113256791A CN113256791A CN202110566989.2A CN202110566989A CN113256791A CN 113256791 A CN113256791 A CN 113256791A CN 202110566989 A CN202110566989 A CN 202110566989A CN 113256791 A CN113256791 A CN 113256791A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- rendering
- module
- vtk
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 30
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 12
- 238000003745 diagnosis Methods 0.000 title claims abstract description 10
- 238000009877 rendering Methods 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 27
- 230000000694 effects Effects 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims abstract description 10
- 238000005516 engineering process Methods 0.000 claims abstract description 8
- 230000000007 visual effect Effects 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims abstract description 5
- 238000012800 visualization Methods 0.000 claims abstract description 3
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000002452 interceptive effect Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 7
- 239000011521 glass Substances 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 210000004556 brain Anatomy 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000031700 light absorption Effects 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 3
- 239000000725 suspension Substances 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000005266 casting Methods 0.000 claims description 2
- 230000001421 changed effect Effects 0.000 claims 1
- 238000001356 surgical procedure Methods 0.000 claims 1
- 230000010287 polarization Effects 0.000 abstract description 9
- 230000010354 integration Effects 0.000 abstract description 2
- 230000009466 transformation Effects 0.000 abstract description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/38—Creation or generation of source code for implementing user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/80—Shading
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Geometry (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Architecture (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明提供一种全息增强现实辅助的外科手术术中人机交互诊疗系统，包括二维显示模块、三维显示模块、用户交互模块以及全息投影模块；所述的二维显示模块可以对导入的DICOM图像文件计算处理；所述的三维显示模块可以利用开源图像处理和可视化工具函式库VTK、ITK对医学影像进行三维重建与渲染；所述的用户交互模块可以模型进行缩放和旋转位姿变换；所述的全息投影模块可以将渲染或切割的三维模型采用偏振式3D的方式推送到可交互显示的屏幕上，通过调整视距达到不同的立体效果。本发明所设计的系统集成度高，具有全息增强现实技术的智能诊疗系统，对于其他的智能医学手术交互系统也具有极大的参考价值。
Description
技术领域
本发明属于虚拟仿真领域，尤其涉及一种全息增强现实辅助的外科手术术中人机交互诊疗系统。
背景技术
近年来，医学影像的三维重建技术具有着至关重要的意义，三维重建技术是通过对二维的横断面的序列切片数据影像进行三维重建，并且通过矩阵计算生成冠状面和矢状面的序列图像，同时对三维重建模型可以进行切割和标定等操作。
该技术已经成为医学领域的主要研究趋势，并且基本满足医生的临床需求，三维重建技术可以根据二维的序列断层医学影像重建出完整的三维虚拟立体模型，使用者可以对虚拟立体的三维模型进行切割、标注等交互操作，相比于二维影像，三维模型具有多层次、多方位的好处，这种新型的多模态影像重建技术可以弥补传统单一模态影像技术在诊断方面的不足，可以有效提高诊断的效率与精准性。
因此，提出一种全息增强现实辅助的外科手术术中人机交互诊疗系统，为使用者提供逼真立体的虚拟环境，在虚拟环境中展示出更丰富的医学影像信息，也可以为医学上的教学以及实验提供便利。
发明内容
为了解决上述技术问题，本发明提供一种全息增强现实辅助的外科手术术中人机交互诊疗系统，包括二维显示模块、三维显示模块、用户交互模块以及全息投影模块；
所述的二维显示模块可以对导入的DICOM图像文件计算处理，进行冠状面、矢状面和横断面的显示；
所述的三维显示模块可以利用开源图像处理和可视化工具函式库VTK、ITK对医学影像进行三维重建与渲染，三维模型便于使用者更直观地观察虚拟立体的信息；
所述的用户交互模块可以模型进行缩放和旋转位姿变换，可以通过鼠标拖拽或旋转操作切割面，对三维模型进行实时切割显示，也可以通过坐标计算对导入的各种形式的模型以及辅助线的计算和规划，进行动画渲染；
所述的全息投影模块可以将渲染或切割的三维模型采用偏振式3D的方式推送到可交互显示的屏幕上，并通过调整视距达到不同的立体效果。
优选的，所述的二维显示模块中对导入的DICOM图像文件计算处理，进行冠状面、矢状面和横断面的显示，是直接采用已经封装了VTK管线的vtkImageViewer2类进行图像显示，可以更加方便的完成图像显示和交互，同样是二维图像，和横断面类似，为了获取与坐标轴对齐的角色的包围盒，采用VTK中的GetBounds()方法，通过矩阵的Translate()空间几何变换，对于冠状面来说就是RotateX和SetSliceOrientationToYZ，对于矢状面来说就是RotateY和SetSliceOrientationToXZ，对于横断面来说就是RotateZ和SetSliceOrientationToXY，之后通过vtkImageReslice重新显示管线和渲染，即可对二维图像进行显示。
优选的，所述的三维显示模块中的三维重建与渲染，当渲染不满足需求时，启动多种渲染方式，利用面绘制和体绘制方法，通过VTK的Property属性，利用SetAmbient参数设置环境光照系数，打开或者关闭阴影测试，利用SetDiffuse参数设置漫反射光系数，利用SetSpecularPower参数设置镜面光强度，利用SetOpacity参数设置不透明度或设置梯度不透明属性，设置颜色属性，来实现面绘制或者体绘制的三维渲染。
优选的，所述面绘制利用的算法是移动立方体算法，所述体绘制利用的算法是光线投影法，所述光线投影法包括各种光学模型，通常是光吸收模型和发光模型。
优选的，所述的用户交互模块中对三维模型进行实时切割，是利用vtkPlane类库进行切割平面的构建与初始化，利用vtkClipPolyData类库设置隐函数，利用该隐函数将滤波后的数据映射到当前几何图元，利用SetGenerateClippedOutput方法设置是否需要生成被剪切掉的部分，利用GetClippedOutputPort()函数输出剪切留下的部分，利用GetOutputPort()函数对剪切掉的部分予以显示。
优选的，所述的用户交互模块中通过坐标计算对导入的各种形式的模型以及辅助线的计算和规划，进行动画渲染，是在VTK中具备vtkSTLReader类，与DICOM格式类似，可以实例化一个Reader对象读取STL、OBJ格式的文件，只需要读取其所在路径即可，读取后不需要进行VTK的数据滤波，可以直接进入映射和渲染流程，VTK中通常都是静态交互，但是通过VTK中封装的CreateRepeatingTimer类，可以实例化自增的时间，在时间进程中不断对角色进行实时渲染，实现虚拟仿真的动画效果。
优选的，所述的全息投影模块中采用偏振式3D的方式推送到可交互显示的屏幕上，其中偏振式3D是利用光的振动方向对原始图像进行分解，将两个不同的偏振光方向的图像传送给观看者，当两幅图像通过偏振式眼镜时，观看者便可以通过大脑将左右眼接收的两组图片合成立体图像；其中可交互显示的屏幕，是将软件系统的图像导入基于光子透明芯片显示技术的透明屏幕上面，即光子悬浮屏，通过使用裸眼3D或带3D眼镜的方式来实现观看。
优选的，所述的全息投影模块中调整视距达到不同的立体效果，是通过设置一个双眼距离的参数，实现方式为移动右眼相机位置，根据Qt的滑块的值来计算右眼相机移动距离，得到计算的值后遍历所有绘制器和渲染器，设置一遍最新的相机，在重新渲染显示后，即可得到右眼相机产生变化的效果，在3D合成时，可以得到不同的效果。
与现有技术相比，本发明的有益效果为：
1、本发明通过多模态的配准和融合技术，将各种类型传感器的信息匹配融合起来，对图像进行综合有效的利用，能够适用于多个技术领域。
2、本发明设置有二维显示模块和三维显示模块，通过交互部件，对二维影像与三维立体模型实现切割和标注联动，在一套虚实结合的可视化虚拟手术场景中重建出患者个性化三维虚拟化头颅模型，能够更全面地展示立体信息。
3、本发明既可以为使用者提供逼真立体的虚拟环境，在虚拟环境中展示出更丰富的医学影像信息，也可以为医学上的教学以及实验提供便利。
4、本发明采用的是一套开源的技术架构，在降低开发成本的同时，能够使软件具有更高的安全性和灵活度，其核心功能全部采用VTK工具函式库，可视化界面采用Qt开发框架，提高了界面的美观度。
5、本发明所设计的系统集成度高，具有全息增强现实技术的智能诊疗系统，对于其他的智能医学手术交互系统也具有极大的参考价值。
附图说明
图1是本发明的系统总体框架流程图；
图2是本发明的系统应用场景仿真效果图；
图3是本发明的全息投影框架流程图；
图4是本发明的用户界面显示图。
具体实施方式
以下结合附图对本发明做进一步描述：
实施例1：
本发明按照如附图1所示的结构框架，依次搭建二维显示模块和三维显示模块，用于显示二维数据和三维模型，并进行实时联动。
步骤1、二维显示模块可以对导入的DICOM图像文件计算处理，进行冠状面、矢状面和横断面的显示，直接采用已经封装了VTK管线的vtkImageViewer2类进行图像显示，可以更加方便的完成图像显示和交互。
步骤2、同样是二维图像，和横断面类似，为了获取与坐标轴对齐的角色的包围盒，采用VTK中的GetBounds()方法，通过矩阵的Translate()空间几何变换，对于冠状面来说就是RotateX和SetSliceOrientationToYZ，对于矢状面来说就是RotateY和SetSliceOrientationToXZ，对于横断面来说就是RotateZ和SetSliceOrientationToXY，之后通过vtkImageReslice重新显示管线和渲染，即可对二维图像进行显示。
步骤3、三维显示模块可以利用VTK对医学影像进行三维重建与渲染，三维模型便于使用者更直观地观察虚拟立体的信息，利用面绘制和体绘制方法，所述面绘制利用的算法是移动立方体算法，所述体绘制利用的算法是光线投影法，所述光线投影法包括各种光学模型，通常是光吸收模型和发光模型；通过VTK的Property属性，利用SetAmbient参数设置环境光照系数，打开或者关闭阴影测试，利用SetDiffuse参数设置漫反射光系数，利用SetSpecularPower参数设置镜面光强度，利用SetOpacity参数设置不透明度或设置梯度不透明属性，设置颜色属性，来实现面绘制或者体绘制的三维渲染。
步骤4、二三维联动可以利用鼠标的交互进行横断面、冠状面和矢状面的实时联动，各投影面的各个轴心以及坐标轴都可以通过拖拽交互，将平面角色指定默认道具，创建重分割光标reslice cursor，附属配件widget和rep装配体；将图像平面小部件和重新分割光标小部件绑定在一起；将窗口初始化为合理的值；使各子窗口共享相同的颜色映射；显示数据管线和渲染角色及所处环境；定义交互进行图像显示。
具体的，通过上述步骤实现二维影像与三维立体模型的切割和标注联动，如附图2所示，在一套虚实结合的可视化虚拟手术场景中重建出患者个性化三维虚拟化头颅模型，能够更全面地展示立体信息。
实施例2：
本发明按照如附图1所示的结构框架，依次搭建用户交互模块与全息投影模块，构成一种全息增强现实辅助的外科手术术中人机交互诊疗技术，如附图3所示，具体流程为：
步骤1、利用vtkPlane类库进行切割平面的构建与初始化，利用vtkClipPolyData类库设置隐函数，利用该隐函数将滤波后的数据映射到当前几何图元，利用SetGenerateClippedOutput方法设置是否需要生成被剪切掉的部分，利用GetClippedOutputPort()函数输出剪切留下的部分，利用GetOutputPort()函数对剪切掉的部分予以显示。
步骤2、通过坐标计算对导入的STL格式的骨钻和切板模型以及辅助线的计算和规划进行动画渲染，是在VTK中具备vtkSTLReader类，与DICOM格式类似，可以实例化一个Reader对象读取STL、OBJ格式的文件，只需要读取其所在路径即可，读取后不需要进行VTK的数据滤波，可以直接进入映射和渲染流程，VTK中通常都是静态交互，但是通过VTK中封装的CreateRepeatingTimer类，可以实例化自增的时间，在时间进程中不断对角色进行实时渲染，实现虚拟仿真的动画效果。
步骤3、采用偏振式3D的方式推送到可交互显示的屏幕上，偏振式3D是利用光的振动方向对原始图像进行分解，将两个不同的偏振光方向的图像传送给观看者，当两幅图像通过偏振式眼镜时，观看者便可以通过大脑将左右眼接收的两组图片合成立体图像；其中可交互显示的屏幕，是将软件系统的图像导入基于光子透明芯片显示技术的透明屏幕上面，即光子悬浮屏，该屏幕可以方便地悬挂在医院的手术台前，在透明屏幕凌空产生高清、亮丽的图像，该屏幕安装不需改变环境原有的布局，适合虚拟展示使用，并通过使用裸眼3D或带3D眼镜的方式来实现观看
步骤4、为了不同的使用者在不同的距离适配不同的屏幕，本文设置了一个双眼距离的参数，实现方式为移动右眼相机位置，根据Qt的滑块的值来计算右眼相机移动距离，得到计算的值后遍历所有绘制器和渲染器，设置一遍最新的相机，在重新渲染显示后，即可得到右眼相机产生变化的效果，在3D合成时，可以得到不同的效果，如附图4所示，面向全息增强现实的医学影像重建与智能分析数据显示在界面中。
在本发明的描述中，需要理解的是，术语“同轴”、“底部”、“一端”、“顶部”、“中部”、“另一端”、“上”、“一侧”、“顶部”、“内”、“前部”、“中央”、“两端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”、“第三”、“第四”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量，由此，限定有“第一”、“第二”、“第三”、“第四”的特征可以明示或者隐含地包括至少一个该特征。
在本发明中，除非另有明确的规定和限定，术语“安装”、“设置”、“连接”、“固定”、“旋接”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及等同物限定。
Claims (8)
1.一种全息增强现实辅助的外科手术术中人机交互诊疗系统，其特征在于，包括二维显示模块、三维显示模块、用户交互模块以及全息投影模块；
所述的二维显示模块可以对导入的DICOM图像文件计算处理，进行冠状面、矢状面和横断面的显示；
所述的三维显示模块可以利用开源图像处理和可视化工具函式库VTK、ITK对医学影像进行三维重建与渲染，三维模型便于使用者更直观地观察虚拟立体的信息；
所述的用户交互模块可以模型进行缩放和旋转位姿变换，可以通过鼠标拖拽或旋转操作切割面，对三维模型进行实时切割显示，也可以通过坐标计算对导入的各种形式的模型以及辅助线的计算和规划，进行动画渲染；
所述的全息投影模块可以将渲染或切割的三维模型采用偏振式3D的方式推送到可交互显示的屏幕上，并通过调整视距达到不同的立体效果。
2.如权利要求1所述的一种全息增强现实辅助的外科手术术中人机交互诊疗系统，其特征在于，所述的二维显示模块中对导入的DICOM图像文件计算处理，进行冠状面、矢状面和横断面的显示，是直接采用已经封装了VTK管线的vtkImageViewer2类进行图像显示，可以更加方便的完成图像显示和交互，同样是二维图像，和横断面类似，为了获取与坐标轴对齐的角色的包围盒，采用VTK中的GetBounds()方法，通过矩阵的Translate()空间几何变换，对于冠状面来说就是RotateX和SetSliceOrientationToYZ，对于矢状面来说就是RotateY和SetSliceOrientationToXZ，对于横断面来说就是RotateZ和SetSliceOrientationToXY，之后通过vtkImageReslice重新显示管线和渲染，即可对二维图像进行显示。
3.如权利要求1所述的一种全息增强现实辅助的外科手术术中人机交互诊疗系统，其特征在于，所述的三维显示模块中的三维重建与渲染，当渲染不满足需求时，启动多种渲染方式，利用面绘制和体绘制方法，通过VTK的Property属性，利用SetAmbient参数设置环境光照系数，打开或者关闭阴影测试，利用SetDiffuse参数设置漫反射光系数，利用SetSpecularPower参数设置镜面光强度，利用SetOpacity参数设置不透明度或设置梯度不透明属性，设置颜色属性，来实现面绘制或者体绘制的三维渲染。
4.如权利要求3所述的一种全息增强现实辅助的外科手术术中人机交互诊疗系统，其特征在于，所述面绘制利用的算法是移动立方体算法，所述体绘制利用的算法是光线投影法，所述光线投影法包括各种光学模型，通常是光吸收模型和发光模型。
5.如权利要求1所述的一种全息增强现实辅助的外科手术术中人机交互诊疗系统，其特征在于，所述的用户交互模块中对三维模型进行实时切割，是利用vtkPlane类库进行切割平面的构建与初始化，利用vtkClipPolyData类库设置隐函数，利用该隐函数将滤波后的数据映射到当前几何图元，利用SetGenerateClippedOutput方法设置是否需要生成被剪切掉的部分，利用GetClippedOutputPort()函数输出剪切留下的部分，利用GetOutputPort()函数对剪切掉的部分予以显示。
6.如权利要求1所述的一种全息增强现实辅助的外科手术术中人机交互诊疗系统，其特征在于，所述的用户交互模块中通过坐标计算对导入的各种形式的模型以及辅助线的计算和规划，进行动画渲染，是在VTK中具备vtkSTLReader类，与DICOM格式类似，可以实例化一个Reader对象读取STL、OBJ格式的文件，只需要读取其所在路径即可，读取后不需要进行VTK的数据滤波，可以直接进入映射和渲染流程，VTK中通常都是静态交互，但是通过VTK中封装的CreateRepeatingTimer类，可以实例化自增的时间，在时间进程中不断对角色进行实时渲染，实现虚拟仿真的动画效果。
7.如权利要求1所述的一种全息增强现实辅助的外科手术术中人机交互诊疗系统，其特征在于，所述的全息投影模块中采用偏振式3D的方式推送到可交互显示的屏幕上，其中偏振式3D是利用光的振动方向对原始图像进行分解，将两个不同的偏振光方向的图像传送给观看者，当两幅图像通过偏振式眼镜时，观看者便可以通过大脑将左右眼接收的两组图片合成立体图像，其中可交互显示的屏幕，是将软件系统的图像导入基于光子透明芯片显示技术的透明屏幕上面，即光子悬浮屏，通过使用裸眼3D或带3D眼镜的方式来实现观看。
8.如权利要求1所述的一种全息增强现实辅助的外科手术术中人机交互诊疗系统，其特征在于，所述的全息投影模块中调整视距达到不同的立体效果，是通过设置一个双眼距离的参数，实现方式为移动右眼相机位置，根据Qt的滑块的值来计算右眼相机移动距离，得到计算的值后遍历所有绘制器和渲染器，设置一遍最新的相机，在重新渲染显示后，即可得到右眼相机产生变化的效果，在3D合成时，可以得到不同的效果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110566989.2A CN113256791A (zh) | 2021-05-24 | 2021-05-24 | 一种全息增强现实辅助的外科手术术中人机交互诊疗系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110566989.2A CN113256791A (zh) | 2021-05-24 | 2021-05-24 | 一种全息增强现实辅助的外科手术术中人机交互诊疗系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113256791A true CN113256791A (zh) | 2021-08-13 |
Family
ID=77184106
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110566989.2A Pending CN113256791A (zh) | 2021-05-24 | 2021-05-24 | 一种全息增强现实辅助的外科手术术中人机交互诊疗系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113256791A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114430482A (zh) * | 2022-04-02 | 2022-05-03 | 深圳市即达健康医疗科技有限公司 | 一种全息诊断系统、方法，计算机设备及存储介质 |
| WO2024037109A1 (zh) * | 2022-08-16 | 2024-02-22 | 珠海赛纳数字医疗技术有限公司 | 显示方法、装置、设备和存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070270682A1 (en) * | 2006-05-17 | 2007-11-22 | The Gov't Of The U.S., As Represented By The Secretary Of Health & Human Services, N.I.H. | Teniae coli guided navigation and registration for virtual colonoscopy |
| CN107016228A (zh) * | 2016-11-25 | 2017-08-04 | 斯图尔特平李 | 一种基于hmds的医学成像系统 |
| CN108830000A (zh) * | 2018-06-26 | 2018-11-16 | 北京理工大学 | 一种基于vtk的运载火箭结构有限元分析可视化方法 |
| CN109727306A (zh) * | 2018-11-20 | 2019-05-07 | 哈尔滨理工大学 | 一种基于vtk的脊柱医学图像三维可视化方法 |
| CN110310726A (zh) * | 2019-08-12 | 2019-10-08 | 杨晓鹏 | 基于医学影像三维重建及全息显示的肝段切除术辅助系统 |
| CN111553979A (zh) * | 2020-05-26 | 2020-08-18 | 广州狄卡视觉科技有限公司 | 基于医学影像三维重建的手术辅助系统及方法 |
-
2021
- 2021-05-24 CN CN202110566989.2A patent/CN113256791A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070270682A1 (en) * | 2006-05-17 | 2007-11-22 | The Gov't Of The U.S., As Represented By The Secretary Of Health & Human Services, N.I.H. | Teniae coli guided navigation and registration for virtual colonoscopy |
| CN107016228A (zh) * | 2016-11-25 | 2017-08-04 | 斯图尔特平李 | 一种基于hmds的医学成像系统 |
| CN108830000A (zh) * | 2018-06-26 | 2018-11-16 | 北京理工大学 | 一种基于vtk的运载火箭结构有限元分析可视化方法 |
| CN109727306A (zh) * | 2018-11-20 | 2019-05-07 | 哈尔滨理工大学 | 一种基于vtk的脊柱医学图像三维可视化方法 |
| CN110310726A (zh) * | 2019-08-12 | 2019-10-08 | 杨晓鹏 | 基于医学影像三维重建及全息显示的肝段切除术辅助系统 |
| CN111553979A (zh) * | 2020-05-26 | 2020-08-18 | 广州狄卡视觉科技有限公司 | 基于医学影像三维重建的手术辅助系统及方法 |
Non-Patent Citations (3)
| Title |
|---|
| ANDYJMR: "《VTK笔记-多边形剪切（VTKClipPolyData）》", 28 March 2019 * |
| 王鸿鹏等: "人工耳蜗精准植入机器人术像一体化手术路径规划", 《机器人》 * |
| 陈家照等: "基于虚拟装配技术的油库设备示教研究", 《电脑知识与技术》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114430482A (zh) * | 2022-04-02 | 2022-05-03 | 深圳市即达健康医疗科技有限公司 | 一种全息诊断系统、方法，计算机设备及存储介质 |
| CN114430482B (zh) * | 2022-04-02 | 2022-08-05 | 深圳市即达健康医疗科技有限公司 | 一种全息诊断系统、方法，计算机设备及存储介质 |
| WO2024037109A1 (zh) * | 2022-08-16 | 2024-02-22 | 珠海赛纳数字医疗技术有限公司 | 显示方法、装置、设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220378510A1 (en) | System and method for multi-client deployment of augmented reality instrument tracking | |
| JP6837551B2 (ja) | Ｈｍｄｓに基づく医学画像形成装置 | |
| US8743109B2 (en) | System and methods for multi-dimensional rendering and display of full volumetric data sets | |
| CN113256791A (zh) | 一种全息增强现实辅助的外科手术术中人机交互诊疗系统 | |
| US20220346888A1 (en) | Device and system for multidimensional data visualization and interaction in an augmented reality virtual reality or mixed reality environment | |
| US20230355315A1 (en) | Surgical navigation system and applications thereof | |
| CN113645896A (zh) | 手术计划、手术导航和成像用系统 | |
| CN111553979A (zh) | 基于医学影像三维重建的手术辅助系统及方法 | |
| CN101046890A (zh) | 用于扩展表示三维图像数据组的图像处理装置 | |
| Abou El-Seoud et al. | An interactive mixed reality ray tracing rendering mobile application of medical data in minimally invasive surgeries | |
| Wiet et al. | A volumetric approach to virtual simulation of functional endoscopic sinus surgery | |
| Ratti et al. | PHOXEL-SPACE: an interface for exploring volumetric data with physical voxels | |
| US20230054394A1 (en) | Device and system for multidimensional data visualization and interaction in an augmented reality virtual reality or mixed reality image guided surgery | |
| Noon | A volume rendering engine for desktops, laptops, mobile devices and immersive virtual reality systems using GPU-based volume raycasting | |
| Li et al. | 3d volume visualization and screen-based interaction with dynamic ray casting on autostereoscopic display | |
| Shen et al. | Medvis: A real-time immersive visualization environment for the exploration of medical volumetric data | |
| Fischer | Rendering methods for augmented reality | |
| Williams | A method for viewing and interacting with medical volumes in virtual reality | |
| Stoyanov et al. | Current issues of photorealistic rendering for virtual and augmented reality in minimally invasive surgery | |
| US20230230321A1 (en) | Extended reality-based user interface add-on, system and method for reviewing 3d or 4d medical image data | |
| Kirmizibayrak | Interactive volume visualization and editing methods for surgical applications | |
| Kameyama et al. | Virtual surgical operation system using volume scanning display | |
| US20240087218A1 (en) | Systems and methods for automated rendering | |
| Hawkes | Virtual Reality and Augmented Reality in Medicine | |
| Ting et al. | Two-Dimensional Medical Image 3D Visualization System’s Realization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210813 |
|
| RJ01 | Rejection of invention patent application after publication |