CN114711962B - 一种增强现实手术规划导航系统及方法 - Google Patents

一种增强现实手术规划导航系统及方法 Download PDF

Info

Publication number
CN114711962B
CN114711962B CN202210404998.6A CN202210404998A CN114711962B CN 114711962 B CN114711962 B CN 114711962B CN 202210404998 A CN202210404998 A CN 202210404998A CN 114711962 B CN114711962 B CN 114711962B
Authority
CN
China
Prior art keywords
medical image
dimensional
module
augmented reality
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210404998.6A
Other languages
English (en)
Other versions
CN114711962A (zh
Inventor
李靖南
赖爱民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Enweishi Medical Technology Co ltd
Original Assignee
Beijing Enweishi Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Enweishi Medical Technology Co ltd filed Critical Beijing Enweishi Medical Technology Co ltd
Priority to CN202210404998.6A priority Critical patent/CN114711962B/zh
Publication of CN114711962A publication Critical patent/CN114711962A/zh
Application granted granted Critical
Publication of CN114711962B publication Critical patent/CN114711962B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Robotics (AREA)
  • Computer Graphics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种增强现实手术规划导航系统及方法，包括便携式智能终端设备、医学影像数据导入模块、医疗影像快速标记模块、三维立体手术规划模块和增强现实手术导航模块；医学影像数据导入模块用于将连续的多层医学影像数据导入系统，并通过医疗影像快速标记模块和三维立体手术规划模块完成对虚拟医学影像三维模型建模与渲染；增强现实手术导航模块根据所建立的现实场景中的三维空间坐标系，初步锚定医学影像三维模型在现实空间坐标系中的方位；将医学影像三维模型与患者手术区域画面相融合，再经方位配准后得到增强现实导航画面，显示于所述监视器上。本发明解决了现有导航系统所存在的弊端，提升手术规划和导航的效率及可信度，推广应用成本更低。

Description

一种增强现实手术规划导航系统及方法
技术领域
本发明涉及医疗设备技术领域，具体涉及一种增强现实手术规划导航系统及方法。
背景技术
传统手术导航系统体积硕大，组成部分复杂且分散，医生需一边手持交互装置(探针)与患者交互的同时，一边注视另一侧监视器上的二维图像(三轴截面视图)，凭借个人经验和非直观的想象来建立手术区域的立体结构关系。传统手术导航方式存在操作与反馈相割裂的问题，需大量克服反直觉的训练来掌握，操作难度较大，上手周期较长，对医生使用造成不可忽视的挑战和难度，对于实施精密手术来讲也面临着较大风险。
传统导航系统普遍运行在PC主机电脑平台之上，借助传统的、基于多边形建模的方式呈现三维模型，其计算和渲染的效率较低，过度依赖计算机中央处理器(CPU)的性能，未能充分发挥图形处理器(GPU)在三维渲染方面的优势，因此，不得不降低三维模型精度以匹配有限的硬件资源，或者堆砌高成本硬件设备以承载高精度三维模型。因此，传统导航系统不仅造成资源浪费，更不适用于便携式智能终端平台，限制了手术规划导航系统在灵活性、便捷性、延展性等方面的发展空间。
同时，传统导航硕大繁重的产品形态导致设备成本居高不下，不利于在广大各级医院推广；同时，繁冗的系统设计和配置过程，严重影响资源的利用率和使用效率，无法及时响应紧急和突发情况。
发明内容
本发明的目的在于解决现有导航系统依靠医生个人经验与非直观的想象建立手术区域的立体结构关系所存在的弊端，提升手术规划和导航的效率及可信度，实现医学影像画面与患者实体在空间方位上的关联匹配，达到使用灵活、便捷，且成本低廉，便于推广应用之目的，为此，本发明提供了一种增强现实手术规划导航系统及方法。
本发明所采用的技术方案如下：
一方面，本发明提供了一种增强现实手术规划导航系统，所述系统包括便携式智能终端设备及嵌入并运行于所述便携式智能终端设备中的医学影像数据导入模块、医疗影像快速标记模块、三维立体手术规划模块和增强现实手术导航模块；
所述医学影像数据导入模块，用于将连续的多层医学影像数据导入系统；
所述医疗影像快速标记模块，用于对导入的医学影像数据进行逐层图像序列预览及快速ROI标记；
所述三维立体手术规划模块，根据导入医学影像体素信息所包含的坐标及灰度，构建患者的医学影像三维模型；
所述便携式智能终端设备上还设有监视器、空间定位追踪装置和视频捕获装置；
所述空间定位追踪装置，用于确立患者所处现实场景中的三维空间坐标系，并实时定位和追踪所述便携式智能终端设备在三维空间坐标系中的方位；
所述视频捕获装置，用于实时捕捉患者手术区域画面；
所述增强现实手术导航模块根据所建立的现实场景中的三维空间坐标系，初步锚定医学影像三维模型在现实空间坐标系中的方位；将构建患者的医学影像三维模型与患者手术区域画面相融合，再经方位配准后得到增强现实导航画面104，显示于所述监视器上。
优选地，所述医疗影像快速标记模块以列表形式绘制，通过所述便携式智能终端设备呈现出所导入的医学影像序列缩略图，每个缩略图展开后，显示完整清晰的二维平面灰度图。
优选地，所述三维立体手术规划模块采用运行于图形处理器上的专用渲染脚本语言进行三维建模和渲染，根据医学影像体素信息中包含的坐标及灰度值构建出患者医学影像的三维模型及纹理。
进一步地，所述三维立体手术规划模型与所述医疗影像快速标记模块相关联，所述三维立体手术规划模块根据所述医疗影像快速标记模块中标记的二维ROI标记信息构建ROI三维模型，其按照相对方位关系将二维ROI标记信息准确嵌入患者的医学影像三维模型中。
进一步地，所述三维立体手术规划模块中还设有虚拟穿刺探针模块，其用于在所构建的医学影像三维模型中创建和调整用于手术的多条穿刺路径，并通过对应的不同颜色进行区分显示。
进一步地，所述三维立体手术规划模块中还设有三轴切面模块，用于在所构建的医学影像三维模型中调整切面沿所在冠状轴、矢状轴和垂直轴的位移及旋转角度，并实时更新医学影像三维模型、虚拟穿刺路径与切面相交的图像。
进一步地，所述三维立体手术规划模块还用于选择并隐藏所构建的ROI三维模型及所述虚拟穿刺探针模块所建立的穿刺路径。
另一方面，本发明还提供了一种增强现实手术规划导航方法，所述方法如下：
步骤1，将患者连续的多层医学影像数据通过医学影像数据导入模块导入便携式智能终端设备中；
步骤2，医疗影像快速标记模块对导入的多层医学影像数据进行二维ROI标记；
步骤3，三维立体手术规划模块采用图形处理器上的专用渲染脚本语言对导入的多层医学影像数据构建患者的医学影像三维模型；
步骤4，便携式智能终端设备上的视频捕获装置实时捕捉患者手术区域画面，并经空间定位追踪装置实时定位和追踪便携式智能终端设备在现实场景三维空间坐标系中的拍摄方位；
步骤5，增强现实手术导航模块初步锚定与便携式智能终端设备的拍摄方位相一致的患者医学影像三维模型的方位；
步骤6，将所构建的患者医学影像三维模型与患者手术区域画面进行融合，再经方位配准后得到增强现实导航画面104，显示于监视器上。
所述步骤1中的医学影像数据导入模块支持导入来自多家厂商的医学影像设备所采集到的多种格式医学影像数据，包括但不限于DICOM、NIFTI格式；并对所采集到的医学影像数据中包含的体素信息进行格式转换，生成统一格式的副本数据集，供后续各模块计算所用。
优选地，所述步骤2中的医疗影像快速标记模块通过采用切换ROI绘笔颜色的方法对多组ROI标记区域进行标记。
优选地，所述步骤2中的医疗影像快速标记模块通过采用切换ROI绘笔颜色的方法对多组ROI标记区域进行标记。
优选地，所述步骤2中的医疗影像快速标记模块采用逐层读取每一层医学影像信息的方法进行图像序列预览及快速ROI标记，其进行二维ROI标记的具体方法是：
步骤2.1，医学影像数据区间重映射：先遍历导入的多层医学影像数据，得到最大值mmax和最小值mmin，然后将医学影像数据m从区间[mmin，mmax]重映射到颜色空间[cmin，cmax]中，得到最终数值c，映射公式为：
步骤2.2，指定区域标记点，得到标记点P处颜色空间值cp、坐标(xp，yp)和匹配算法阈值k；
步骤2.3，由指定点向周围区域匹配，若指定点P四周的点Q满足k-|cq-cp|＞＝0，则视为有效点并加入集合S，否则不加入；
步骤2.4，从集合S中取出未处理的点当作指定点，重装执行步骤2.3；
步骤2.5，重复执行步骤2.4和步骤2.3，直至集合S中不再有新点加入或所有点都被访问为止，得到的最终集合S即为需要标记得范围。
优选地，所述步骤3中的三维立体手术规划模块根据导入医学影像体素所包含的坐标和灰度值构建患者的医学影像三维模型，其具体方法是：
步骤3.1，医学影像数据区间重映射：遍历医学影像数据，得到医学影像数据最大值mmax和最小值mmin；
步骤3.2，将医学影像数据m从区间[mmin，mmax]重映射到归一化的颜色空间[0，1]中，得到最终数值c，其映射公式为：
进一步地，所述步骤3中还包括医学影像三维纹理的构建，其具体方法是：
步骤3.3，根据归一化之后的医学影像数据D构建三维纹理T，其中D为一维数组，T为三维数组；
三维纹理坐标(u，v，w)与D的索引i满足关系i＝u+uv+uvw；
步骤3.4，根据颜色空间范围C和空间界限B对三维纹理进行裁剪，
当体素且时为有效体素，其中C为[cmin，cmax]，B为[xmin，xmax，ymin，ymax，zmin，zmax]；
步骤3.5，光照渲染后的颜色值C为：C＝((Mn)·(MV-Q))CvCl，
其中，V-体素物体坐标，n-体素的法线，Cv-体素颜色值，M-物体空间到世界空间的转换矩阵，Q-世界空间中观察点坐标，Cl-光照颜色。
所述步骤3中，三维立体手术规划模块根据医疗影像快速标记模块中的二维ROI标记方法构建ROI三维模型，通过在连续的医学影像图层中抽取少量不连续的间隔图层进行ROI区域的标记，并按照正确的相对方位关系嵌入患者的医学影像三维模型中。
进一步地，所述步骤5中的增强现实手术导航模块还包括对ROI三维模型和虚拟穿刺探针所产生的虚拟数字影像在现实场景三维空间坐标系中的方位锚定。
进一步地，所述步骤6中的增强现实手术导航模块对已锚定的虚拟数字影像进行手动精细化方位调整，以完成三维医学影像与患者实体的配准。
本发明技术方案，具有如下优点：
A.本发明通过运行在便携式智能终端设备上的增强现实规划导航系统，通过所建立的医疗影像快速标记模块和三维立体手术规划模块对导入的患者多层医学影像进行ROI标记，构建出患者的医学三维模型，再通过空间定位追踪装置和视频捕获装置建立患者手术区域的三维空间坐标系，结合增强现实手术导航模型初步锚地虚拟影像三维模型在现实空间坐标系中的方位，并将三维化的医学影像与现实场景中患者手术区域进行配准与空间方位融合，允许便携式智能终端设备围绕手术区域周围空间进行六自由度方位移动和观察，为医生实时呈现全息化的参考信息，从而提供相比于传统导航系统更直观、更准确的立体融合影像，医生无须依靠非直观的想象将相互割裂的医学影像画面与患者实体进行空间方位上的再关联匹配，大大提升了手术规划和导航的效率及可信度，适合于更多医生的进行术前规划和术中导航等服务。
B.本发明通过使用图形处理器专用脚本语言(Shader)，从连续多层医学影像数据中读取包含的体素信息并建立三维模型及纹理，充分发挥图形处理器优异的三维渲染性能，与传统的、基于多边形的三维建模方法相比，本发明将三维模型构建、渲染、控制、刷新等一系列任务运行在更适用于此类运算处理的图形处理器(GPU)上，让三维模型的精度和渲染速度不再受制于中央处理器(CPU)的性能及可分配资源，同时让三维模型相关的处理工作与应用程序中其他程序逻辑并行，从而提高应用程序整体的运行效率及效果，为本发明增强现实导航系统在便携式智能终端设备上实现六自由度方位移动，并观察全息化的融合信息等功能提供技术支撑。
C.本发明在医疗影像快速标记模块中所采用的快速ROI标记方法，其允许通过在连续的医学影像图层中抽取少量不连续的间隔图层进行ROI区域的标记并构建相应的三维模型，可大幅度简化和加速导航实施前的准备工作，从而让手术规划导航系统有能力及时响应多种临床及诊疗场景。
附图说明
为了更清楚地说明本发明具体实施方式，下面将对具体实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明所提供的增强现实手术规划导航系统使用场景示意图；
图2是本发明所提供的系统模块组成结构图；
图3是本发明所提供的二维预览标记示意图；
图4是本发明所提供的三维立体手术规划示意图；
图5是本发明所提供的增强现实手术导航示意图。
图中标识如下：
101-便携式智能终端设备；102-空间定位追踪装置；103-视频捕获装置；104-增强现实导航画面，105-手术区域。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1和图2所示，本发明提供了一种增强现实手术规划导航系统，整个系统包括便携式智能终端设备101及安装在便携式智能终端设备101上运行的医学影像数据导入模块、医疗影像快速标记模块、三维立体手术规划模块和增强现实手术导航模块。其中的便携式智能终端设备101上安装有监视器、空间定位追踪装置102和视频捕获装置103。这里的便携式智能终端设备101优选为便携式的平板电脑，监视器为其上的显示屏。
其中的医学影像数据导入模块负责将连续的多层医学影像数据导入应用程序中，并对医学影像数据中所包含的体素信息进行格式转换，生成统一格式的副本数据集，供该系统后续各模块计算所用。当然，本发明所采用的医学影像数据导入模块可以支持导入来自多个不同厂商医学影像设备的各种不同格式的医学影像数据，包括但不限于DICOM、NIFTI格式等。
医疗影像快速标记模块负责逐层读取医学影像数据中的每一层医学影像信息，提供图像序列预览及快速ROI标记功能。比如，医疗影像快速标记模块以列表形式绘制呈现所导入医学影像序列缩略图，并提供图层选择功能，针对选中的缩略图图层，将其展开后可以显示完整清晰的二维平面灰度图，方便医生实时查看患者医学影像中各图层的情况。
为了对导入的患者医学影像进行ROI标记，本发明还为医疗影像快速标记模块提供了一种快速ROI标记方法，该方法允许通过在连续的医学影像图层中抽取少量不连续的间隔图层进行ROI区域的标记，为在后续步骤中构建相应ROI三维模型做准备，如图3所示。该方法可大幅度简化和加速导航实施前的准备工作，从而让手术规划导航系统有能力及时响应多种临床及诊疗场景。
具体的ROI标记方法如下：
(1)医学影像数据区间重映射：先遍历医学影像数据，得到最大值mmax和最小值mmin，然后将医学影像数据m从区间[mmin，mmax]重映射到颜色空间[cmin，cmax]中，得到最终数值c，映射公式为：
(2)指定区域标记点：指定标记点，得到标记点P处颜色空间值cp，坐标(xp，yp)和匹配算法阈值k。
(3)由指定点向周围区域匹配：如果指定点P四周的点Q满足k-|cq-cp|＞＝0，则视为有效点并加入集合S，否则不加入。
(4)从集合S中取出未处理的点作为指定点，重装执行步骤(3)。
重复执行步骤(4)和(3)，直至集合S中不再有新点加入或者所有点都被访问为止，得到的最终集合S即为需要标记得范围。
当然，本发明所提供的医疗影像快速标记模块支持通过切换ROI绘笔的颜色可标记多组ROI区域，更直观清楚。
本发明提供的三维立体手术规划模块，其负责构建患者三维模型、构建ROI三维模型、创建和调整虚拟穿刺探针、三轴切面调整及预览。三维立体手术规划模块优选使用运行在图形处理器上的专用渲染脚本语言(Shader)，根据医学影像体素信息包含的坐标及灰度等数值构建患者三维模型及纹理。具体计算过程如下：
(1)医学影像数据区间重映射：遍历医学影像数据，得到最大值mmax和最小值mmin，然后将医学影像数据m从区间[mmin，mmax]重映射到归一化的颜色空间[0，1]中，得到最终数值c，映射公式为：
(2)三维纹理构建：根据归一化之后的医学影像数据D构建三维纹理T。D为一维数组，T为三维数组。构建时三维纹理坐标(u，v，w)与D的索引i满足关系i＝u+uv+uvw。
(3)三维纹理裁剪：裁剪分两部分，根据颜色空间范围C和空间界限B来裁剪，当体素且时为有效体素。
其中C为[cmin，cmax]。B为[xmin，xmax，ymin，ymax，zmin，zmax]。
(4)光照渲染：已知体素物体坐标V，体素的法线n，体素颜色值Cv，物体空间到世界空间的转换矩阵M，世界空间中观察点坐标Q，光照颜色Cl，得到光照后的颜色值C为：
C＝((Mn)·(MV-Q))CvCl
三维立体手术规划模块根据医疗影像快速标记模块中标记的ROI信息构建ROI三维模型，并按照正确的相对方位关系嵌入患者三维模型中，可以在三维模型中查看不同图层的图像情况。具体计算过程与医疗影像快速标记模块中所提供的ROI标记方法相同。
另外，在三维立体手术规划模块中还提供了虚拟穿刺探针模块和三轴切面模块。
虚拟穿刺探针模块允许在医学影像三维模型中创建和调整多条穿刺路径，采用自定义颜色进行区分。所提供的三轴切面模块，可以提供解剖学标准轴上的切面功能，这里的三轴指的是冠状轴、矢状轴和垂直轴，如图4和图5所示，可分别调整切面沿所在轴的位移及旋转角度，并实时更新上述三维模型、虚拟穿刺路径等元素与切面相交的图像。切面与患者三维模型相交的截面渲染计算过程为：
已知体素物体坐标V，物体空间到世界空间的转换矩阵M，截面的世界空间坐标Q，截面世界空间的法线nq，求出体素到截面的距离d为
当d＞0时在截面上方，d＜0时在截面下发。d＝0时在截面处。筛选出|d|为比较小值的体素集合S即为截面。
三维立体手术规划模块还可以支持医生选择和隐藏任意ROI三维模型及虚拟穿刺探针，更方便医生操作与观察。
本发明中所提供的增强现实手术导航模块，主要负责在现实场景三维空间坐标系中初步锚定虚拟三维医学影像、精细化方位配准、增强现实导航画面104融合、虚拟影像观察模式调整等功能。增强现实手术导航模块根据所建立的现实场景三维空间坐标系确定所构建的患者三维医学影像，并根据便携式智能终端设备101在现实场景三维空间坐标系中的拍摄方位，初步锚地三维医学影像方位，使所拍摄的患者手术区域方位与在便携式智能终端设备上所呈现的三维医学影像方位保持一致。当然，本发明还包括但不限于对ROI三维模型和虚拟穿刺探针所产生的虚拟数字影像在现实场景三维空间坐标系中的方位锚定，在此不再赘述。
另外，增强现实手术导轨模块还具有手动配准功能，允许对已锚定的患者医学影像三维模型、ROI三维模型和虚拟穿刺探针等虚拟数字影像进行手动精细化方位调整，以完成三维虚拟数字影像与患者实体的配准。
本发明所提供系统的规划导航方法如下：
S1，将患者连续的多层医学影像数据通过医学影像数据导入模块导入便携式智能终端设备中；
S2，医疗影像快速标记模块对导入的多层医学影像数据进行二维ROI标记；
S3，三维立体手术规划模块采用图形处理器上的专用渲染脚本语言对导入的多层医学影像数据构建患者的医学影像三维模型；
S4，便携式智能终端设备上的视频捕获装置实时捕捉患者手术区域105画面，并经空间定位追踪装置实时定位和追踪便携式智能终端设备在现实场景三维空间坐标系中的拍摄方位；
S5，增强现实手术导航模块初步锚定与便携式智能终端设备的拍摄方位相一致的患者医学影像三维模型的方位；
S6，将所构建的患者医学影像三维模型与患者手术区域105画面进行融合，再经精细化方位配准后得到增强现实导航画面104，显示于监视器上。
本发明通过增强现实手术导航模块实时获取视频捕获装置所拍摄的现实场景画面，经空间定位追踪装置所确立的现实场景三维空间坐标系，将所构建的三维虚拟数字影像与拍摄的患者手术区域105现实场景画面进行方位融合，再经配准后得到增强现实导航画面104呈现于监视器上，且在便携式智能终端设备101围绕患者手术区域105进行六自由度方位调整过程中，通过监视器观察增强现实导航画面104，虚拟数字影像与患者实体对应部位的相对方位、大小、透视关系始终保持不变，为医生实时呈现全息化的参考信息，从而提供相比于传统导航系统更直观、更准确的立体融合影像，医生无须依靠非直观的想象将相互割裂的医学影像画面与患者实体进行空间方位上的关联匹配，提升了手术规划和导航的效率及可信度。本发明还可以通过选择和隐藏任意ROI三维模型及虚拟穿刺探针，并支持患者三维模型的透明度调整，以获得不同程度的融合效果，通过对比度变化以凸显ROI区域及虚拟穿刺探针处于患者手术区域105的方位以及与其他生理组织的相对关系，大大提高了手术实施的精准度，给医生带来了直观操作上的便利性。本发明采用集成化的便携式智能终端设备，设备体积小巧，显著降低了医院成本，更有利于在广大医院进行推广应用。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明的保护范围之中。

Claims (13)

1.一种增强现实手术规划导航方法，其特征在于，所述方法如下：步骤1，将患者连续的多层医学影像数据通过医学影像数据导入模块导入便携式智能终端设备中；
步骤2，医疗影像快速标记模块对导入的多层医学影像数据进行二维ROI标记；
步骤3，三维立体手术规划模块采用图形处理器上的专用渲染脚本语言对导入的多层医学影像数据构建患者的医学影像三维模型；
步骤4，便携式智能终端设备上的视频捕获装置实时捕捉患者手术区域画面，并经空间定位追踪装置实时定位和追踪便携式智能终端设备在现实场景三维空间坐标系中的拍摄方位；
步骤5，增强现实手术导航模块初步锚定与便携式智能终端设备的拍摄方位相一致的患者医学影像三维模型的方位；
步骤6，将所构建的患者医学影像三维模型与患者手术区域画面进行融合，再经方位配准后得到增强现实导航画面，显示于监视器上；
所述步骤3中的三维立体手术规划模块根据导入医学影像体素所包含的坐标和灰度值构建患者的医学影像三维模型，其具体方法是：
步骤3.1，医学影像数据区间重映射：遍历医学影像数据，得到医学影像数据最大值mmax和最小值mmin；
步骤3.2，将医学影像数据m从区间[mmin,mmax]重映射到归一化的颜色空间[0,1]中，得到最终数值c，其映射公式为：
所述步骤3中还包括医学影像三维纹理的构建，其具体方法是：
步骤3.3，根据归一化之后的医学影像数据D构建三维纹理T，其中D为一维数组，T为三维数组；
三维纹理坐标(u,v,w)与D的索引i满足关系i＝u+uv+uvw；
步骤3.4，根据颜色空间范围C和空间界限B对三维纹理进行裁剪，
当体素且时为有效体素，其中C为[cmin,cmax]，B为[xmin,xmax,ymin,ymax,zmin,zmax]；
步骤3.5，光照渲染后的颜色值C为：C＝((Mn)·(MV-Q))CvCl，
其中，V-体素物体坐标，n-体素的法线，Cv-体素颜色值，M-物体空间到世界空间的转换矩阵，Q-世界空间中观察点坐标，Cl-光照颜色。
2.根据权利要求1所述的增强现实手术规划导航方法，其特征在于，
所述步骤1中的医学影像数据导入模块支持导入来自多家厂商的医学影像设备所采集到的多种格式医学影像数据，包括但不限于DICOM、NIFTI格式，并对所采集到的医学影像数据中包含的体素信息进行格式转换，生成统一格式的副本数据集，供后续各模块计算所用。
3.根据权利要求1所述的增强现实手术规划导航方法，其特征在于，所述步骤2中的医疗影像快速标记模块通过采用切换ROI绘笔颜色的方法对多组ROI标记区域进行标记。
4.根据权利要求3所述的增强现实手术规划导航方法，其特征在于，
所述步骤2中的医疗影像快速标记模块采用逐层读取每一层医学影像信息的方法进行图像序列预览及快速ROI标记，其进行二维ROI标记的具体方法是：
步骤2.1，医学影像数据区间重映射：先遍历医学影像数据，得到最大值mmax和最小值mmin，然后将医学影像数据m从区间[mmin,mmax]重映射到颜色空间[cmin,cmax]中，得到最终数值c，映射公式为：
步骤2.2，指定区域标记点，得到标记点P处颜色空间值cp、坐标(xp,yp)和匹配算法阈值k；
步骤2.3，由指定点向周围区域匹配：如果指定点P四周的点Q满足k-|cq-cp|>＝0，则视为有效点并加入集合S，否则不加入；
步骤2.4，从集合S中取出未处理的点当作指定点，重装执行步骤2.3；
步骤2.5，重复执行步骤2.4和步骤2.3，直至集合S中不再有新点加入或所有点都被访问为止，得到的最终集合S即为需要标记的范围。
5.根据权利要求4所述的增强现实手术规划导航方法，其特征在于，
所述步骤3中，三维立体手术规划模块根据医疗影像快速标记模块中的二维ROI标记方法构建ROI三维模型，通过在连续的医学影像图层中抽取少量不连续的间隔图层进行ROI区域的标记，并按照正确的相对方位关系嵌入患者的医学影像三维模型中。
6.根据权利要求5所述的增强现实手术规划导航方法，其特征在于，
所述步骤5中的增强现实手术导航模块还包括对ROI三维模型和虚拟穿刺探针所产生的虚拟数字影像在现实场景三维空间坐标系中的方位锚定。
7.根据权利要求6所述的增强现实手术规划导航方法，其特征在于，所述步骤6中的增强现实手术导航模块采用对已锚定的虚拟数字影像进行手动精细化方位调整方法，完成三维医学影像与患者实体的配准。
8.一种增强现实手术规划导航系统，其特征在于，采用权利要求1-7任一项所述的方法，所述系统包括便携式智能终端设备及嵌入并运行于所述便携式智能终端设备中的医学影像数据导入模块、医疗影像快速标记模块、三维立体手术规划模块和增强现实手术导航模块；
所述医学影像数据导入模块，用于将连续的多层医学影像数据导入系统；
所述医疗影像快速标记模块，用于对导入的医学影像数据进行逐层图像序列预览及快速ROI标记；
所述三维立体手术规划模块，根据导入医学影像体素信息所包含的坐标及灰度，构建患者的医学影像三维模型；
所述便携式智能终端设备上还设有监视器、空间定位追踪装置和视频捕获装置；
所述空间定位追踪装置，用于确立患者所处现实场景中的三维空间坐标系，并实时定位和追踪所述便携式智能终端设备在三维空间坐标系中的方位；
所述视频捕获装置，用于实时捕捉患者手术区域画面；
所述增强现实手术导航模块根据所建立的现实场景中的三维空间坐标系，初步锚定医学影像三维模型在现实空间坐标系中的方位；将构建患者的医学影像三维模型与患者手术区域画面相融合，再经方位配准后得到增强现实导航画面(104)，显示于所述监视器上。
9.根据权利要求8所述的增强现实手术规划导航系统，其特征在于，所述医疗影像快速标记模块以列表形式绘制，通过所述便携式智能终端设备呈现出所导入的医学影像序列缩略图，每个缩略图展开后，显示完整清晰的二维平面灰度图。
10.根据权利要求8或9所述的增强现实手术规划导航系统，其特征在于，所述三维立体手术规划模块与所述医疗影像快速标记模块相关联，所述三维立体手术规划模块根据所述医疗影像快速标记模块中标记的二维ROI标记信息构建ROI三维模型，其按照相对方位关系将二维ROI标记信息准确嵌入患者的医学影像三维模型中。
11.根据权利要求10所述的增强现实手术规划导航系统，其特征在于，所述三维立体手术规划模块中还设有虚拟穿刺探针模块，其用于在所构建的医学影像三维模型中创建和调整用于手术的多条穿刺路径，并通过对应的不同颜色进行区分显示。
12.根据权利要求11所述的增强现实手术规划导航系统，其特征在于，所述三维立体手术规划模块中还设有三轴切面模块，用于在所构建的医学影像三维模型中调整切面沿所在冠状轴、矢状轴和垂直轴的位移及旋转角度，并实时更新医学影像三维模型、虚拟穿刺路径与切面相交的图像。
13.根据权利要求12所述的增强现实手术规划导航系统，其特征在于，所述三维立体手术规划模块还用于选择并隐藏所构建的ROI三维模型及所述虚拟穿刺探针模块所建立的穿刺路径。
CN202210404998.6A 2022-04-18 2022-04-18 一种增强现实手术规划导航系统及方法 Active CN114711962B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210404998.6A CN114711962B (zh) 2022-04-18 2022-04-18 一种增强现实手术规划导航系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210404998.6A CN114711962B (zh) 2022-04-18 2022-04-18 一种增强现实手术规划导航系统及方法

Publications (2)

Publication Number Publication Date
CN114711962A CN114711962A (zh) 2022-07-08
CN114711962B true CN114711962B (zh) 2024-09-06

Family

ID=82243175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210404998.6A Active CN114711962B (zh) 2022-04-18 2022-04-18 一种增强现实手术规划导航系统及方法

Country Status (1)

Country Link
CN (1) CN114711962B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115908648B (zh) * 2023-02-23 2023-06-02 北京泽桥医疗科技股份有限公司 一种基于画面识别的医学三维动画嵌入系统
CN117115401B (zh) * 2023-10-16 2024-02-06 深圳卡尔文科技有限公司 一种ar导航数据处理方法、系统和存储介质
CN117357253B (zh) * 2023-11-28 2024-04-12 哈尔滨海鸿基业科技发展有限公司 一种便携式医学成像示踪导航装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105286988A (zh) * 2015-10-12 2016-02-03 北京工业大学 一种ct影像引导肝肿瘤热消融针定位与导航系统
CN109907825A (zh) * 2019-03-25 2019-06-21 天津大学 混合现实引导的近距离粒子手术植入系统
CN111627521A (zh) * 2020-06-04 2020-09-04 常州市第二人民医院 增强现实在放疗中的应用

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6666579B2 (en) * 2000-12-28 2003-12-23 Ge Medical Systems Global Technology Company, Llc Method and apparatus for obtaining and displaying computed tomography images using a fluoroscopy imaging system
CN1655191A (zh) * 2005-02-25 2005-08-17 浙江大学 基于可编程图形硬件的多边形网格模型的快速体素化方法
CN104966312B (zh) * 2014-06-10 2017-07-21 腾讯科技（深圳）有限公司 一种3d模型的渲染方法、装置及终端设备
JP6436258B1 (ja) * 2018-03-27 2018-12-12 大日本印刷株式会社 コンピュータプログラム、画像処理装置及び画像処理方法
CN110660130A (zh) * 2019-09-23 2020-01-07 重庆邮电大学 一种面向医学影像的移动增强现实系统构建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105286988A (zh) * 2015-10-12 2016-02-03 北京工业大学 一种ct影像引导肝肿瘤热消融针定位与导航系统
CN109907825A (zh) * 2019-03-25 2019-06-21 天津大学 混合现实引导的近距离粒子手术植入系统
CN111627521A (zh) * 2020-06-04 2020-09-04 常州市第二人民医院 增强现实在放疗中的应用

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邝宇林.基于机器学习的甲状腺肿瘤识别与图像分割.《中国优秀学位论文全文数据库 医药卫生科技辑》.2021,(第2021年03期),第1-82页. *

Also Published As

Publication number Publication date
CN114711962A (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
CN114711962B (zh) 一种增强现实手术规划导航系统及方法
US6049622A (en) Graphic navigational guides for accurate image orientation and navigation
US7496222B2 (en) Method to define the 3D oblique cross-section of anatomy at a specific angle and be able to easily modify multiple angles of display simultaneously
CN111553979B (zh) 基于医学影像三维重建的手术辅助系统及方法
US20220346888A1 (en) Device and system for multidimensional data visualization and interaction in an augmented reality virtual reality or mixed reality environment
CN104274247A (zh) 医学手术导航方法
WO2020205714A1 (en) Surgical planning, surgical navigation and imaging system
Kruger et al. Sinus endoscopy-application of advanced GPU volume rendering for virtual endoscopy
Bornik et al. Computer-aided liver surgery planning: an augmented reality approach
TW202207242A (zh) 用於增強現實脊柱手術之系統及方法
Hachaj et al. Visualization of perfusion abnormalities with GPU-based volume rendering
CN110993067A (zh) 医学影像标注系统
Allison et al. Mixr: A standard architecture for medical image analysis in augmented and mixed reality
Martschinke et al. Projection Mapping for In-Situ Surgery Planning by the Example of DIEP Flap Breast Reconstruction.
KR102213412B1 (ko) 기복모델 생성방법, 장치 및 프로그램
US20230054394A1 (en) Device and system for multidimensional data visualization and interaction in an augmented reality virtual reality or mixed reality image guided surgery
Karner et al. Single-shot deep volumetric regression for mobile medical augmented reality
Klein et al. Visual computing for medical diagnosis and treatment
EP3929702A1 (en) Extended reality-based user interface add-on, system and method for reviewing 3d or 4d medical image data
CN106580477A (zh) 一种腹部外科精准手术系统及方法
CN113662663A (zh) 一种ar全息手术导航系统坐标系转换方法、装置及系统
Grandi et al. Spatially aware mobile interface for 3d visualization and interactive surgery planning
Fischer Rendering methods for augmented reality
Kirmizibayrak Interactive volume visualization and editing methods for surgical applications
CN109242964A (zh) 三维医学模型的处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant