CN111631814A - 术中血管立体定位导航系统及方法 - Google Patents
术中血管立体定位导航系统及方法 Download PDFInfo
- Publication number
- CN111631814A CN111631814A CN202010531106.XA CN202010531106A CN111631814A CN 111631814 A CN111631814 A CN 111631814A CN 202010531106 A CN202010531106 A CN 202010531106A CN 111631814 A CN111631814 A CN 111631814A
- Authority
- CN
- China
- Prior art keywords
- blood vessel
- dimensional
- vessel model
- dimensional blood
- augmented reality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000004204 blood vessel Anatomy 0.000 title claims abstract description 190
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000003190 augmentative effect Effects 0.000 claims abstract description 66
- 239000003550 marker Substances 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims description 14
- 230000003321 amplification Effects 0.000 claims description 5
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 5
- 239000003292 glue Substances 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 17
- 230000000007 visual effect Effects 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 description 16
- 238000010968 computed tomography angiography Methods 0.000 description 14
- 210000001519 tissue Anatomy 0.000 description 11
- 210000003205 muscle Anatomy 0.000 description 9
- 210000000988 bone and bone Anatomy 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 238000001356 surgical procedure Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000002792 vascular Effects 0.000 description 3
- ZCYVEMRRCGMTRW-UHFFFAOYSA-N 7553-56-2 Chemical compound [I] ZCYVEMRRCGMTRW-UHFFFAOYSA-N 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000002872 contrast media Substances 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 229910052740 iodine Inorganic materials 0.000 description 2
- 239000011630 iodine Substances 0.000 description 2
- 210000003462 vein Anatomy 0.000 description 2
- 206010071229 Procedural haemorrhage Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002682 general surgery Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 210000000496 pancreas Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000009958 sewing Methods 0.000 description 1
- 238000004659 sterilization and disinfection Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000007631 vascular surgery Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
Landscapes
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Robotics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pathology (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供一种术中血管立体定位导航系统及方法，术中血管立体定位导航系统包括：增强现实头戴式设备和配置于人体上的图形标记；所述增强现实头戴式设备通过定位所述图形标记向术区投影三维血管模型，并显示叠加投影于术区的三维血管模型，从而立体定位人体血管。本发明中，通过佩戴增强现实头戴式设备，术者直视术区，通过观察叠加投影在术区的三维血管模型，精确、立体定位血管，在该过程中术者无需在术区与显示器之间切换视野，且无需配备其他硬件，可有效减少手术室内污染风险。
Description
技术领域
本发明涉及医疗器械技术领域，特别是涉及增强现实头戴式设备技术领域。
背景技术
术区重要血管定位是众多外科手术降低手术风险提高手术成功率的必要条件，如普外科复杂术区的血管定位，可以减少术中出血；血管外科术区血管定位，可以明确手术部位；整形修复外科的皮瓣血管定位，可以减少误伤目标血管的风险等。现有的血管成像方法，主要集中于术前血管定位，以彩色多普勒超声及CT血管造影技术最为常见。其中CT血管造影可以提供血管管径、走行等信息，且能清楚显示血管与周边肌肉的关系，并能利用CT数据获得三维血管模型提供直观影像资料，已逐渐成为血管成像及定位的金标准。但无论哪种术前血管成像信息都无法在术中与患者精确配对，实现术中血管立体定位。
随着计算机辅助外科技术不断的发展，利用术前影像数据计算获得个体化三维血管模型进行术中导航的虚拟现实技术已被广泛应用于多个外科学科。其中，增强现实(augmented reality,AR)技术是现今最为前沿的可视化技术之一。它借助显示技术、交互技术、传感技术和计算机图形技术将计算机生成的增强信息(如病人个体化血管三维模型)和使用者周围的真实世界(如病人)融为一体。同时展现给使用者。使使用者从感官效果上相信增强信息是其周围环境的有机组成部分，增强使用者的感官感受。目前已有数个研究机构将增强现实技术应用于术中导航，如肝胆胰外科、神经外科，颅颌面外科等。鲜有报道将该技术应用于术中血管立体定位。如将该技术应用于术中血管定位，术者可通过观察精确配准叠加至患者躯体的三维血管模型而实现血管精准定位。但现有的增强现实导航系统，需要通过高清摄像头拍摄获取真实场景，随后数据输入至工作站，和定位仪获取的位置信息结合处理，最终输出至显示器显示增强信息与真实场景融合的增强图像。因此，需要在手术室中额外配备高清摄像头、工作站、红外或电磁定位仪、二维显示器等硬件设备，而该类设备都无法进行彻底消毒灭菌且体积庞大，无疑增加了手术室污染的风险。另一方面，红外或电磁定位仪通常售价高昂，增加了导航系统的造价。如能有一硬件设备能将摄像、数据处理，显示等功能集合于一身，将大大降低手术室硬件配备的空间以及污染风险。如能摒弃应用定位仪获取位置信息这一技术，而应用其他性价比更高的定位方法，将大大降低定位导航系统的造价，更利于远期推广。
发明内容
鉴于以上所述现有技术的缺陷，本发明的目的在于提供一种术中血管立体定位导航系统及方法，用于解决现有技术中血管立体定位导航系统使用不便，增加手术风险的问题。
为实现上述目的及其他相关目的，本发明提供一种术中血管立体定位导航系统，包括：增强现实头戴式设备和配置于人体上的图形标记；所述增强现实头戴式设备通过定位所述图形标记向术区投影三维血管模型，并显示叠加投影于术区的三维血管模型，从而立体定位人体血管。
于本发明的一实施例中，所述增强现实头戴式设备包括：头戴式设备本体；设于所述头戴式设备本体中的：三维数据模块，用于接收导入的用于模拟人体组织的三维血管模型；摄像模块，用于捕获配置于人体上的图形标记；定位模块，用于将所述三维血管模型与所述图形标记进行定位；投影模块，用于根据所述图形标记将所述三维血管模型配准投影到与所述图形标记对应的位置；显示模块，包含一半透式镜片，接收所述摄像投影模块的投影并通过所述半透式镜片显示手术场景与所述三维血管模型结合的增强现实图像。
于本发明的一实施例中，所述三维数据模块包括：导入单元，用于接收导入的用于模拟人体组织的三维血管模型；模型操控单元，用于对所述三维血管模型进行操控处理。
于本发明的一实施例中，对所述三维血管模型进行的操控处理包括透明化处理、旋转、放大和获取解剖解说信息。
于本发明的一实施例中，所述摄像模块通过摄像头采集配置有图形标记的人体部位图像；所述定位模块包括：捕获单元，用于从所述人体部位图像中捕获所述图形标记；位置计算单元，用于计算所述摄像头与所述图形标记的相对位置，并根据所述相对位置调整待投影的所述三维血管模型的位置和方向；所述投影模块将所述三维血管模型投影到与所述图形标记对
于本发明的一实施例中，所述图形标记缝合于人体上，或通过固定架固定于人体上或人体周围；或采用医用胶水黏附于人体皮肤表面。
本发明的实施例还提供一种术中血管立体定位导航方法，包括：通过增强现实头戴式设备定位配置于人体上的图形标记，向所述图形标记对应的术区位置投影三维血管模型，并显示叠加投影于术区的三维血管模型，从而立体定位人体血管。
于本发明的一实施例中，所述通过增强现实头戴式设备定位配置于人体上的图形标记，向所述图形标记对应的术区位置投影三维血管模块，并显示叠加投影于术区的三维血管模型的一种实现方式包括：构建用于模拟人体组织的三维血管模型，并通过AR三维血管模型处理软件对所述三维血管模型模型进行配准；将配准后的所述三维血管模型导入一增强现实头戴式设备；通过所述增强现实头戴式设备捕获配置于人体上的图形标记，并根据所述图形标记将所述三维血管模型配准投影到与所述图形标记对应的位置；通过所述增强现实头戴式设备的半透式镜片显示手术场景与所述三维血管模型结合的增强现实图像。
于本发明的一实施例中，所述术中血管立体定位导航方法还包括：对所述三维血管模型进行透明化处理、旋转、放大和获取解剖解说信息的操控处理。
于本发明的一实施例中，所述根据所述图形标记将所述三维血管模型配准投影到与所述图形标记对应的位置的一种具体实现方式包括：通过增强现实头戴式设备的摄像头采集配置有图形标记的人体部位图像；从所述人体部位图像中捕获所述图形标记；计算所述摄像头与所述图形标记的相对位置，并根据所述相对位置调整待投影的所述三维血管模型的位置和方向；将所述三维血管模型投影到与所述图形标记对应的位置。
如上所述，本发明的一种术中血管立体定位导航系统及方法，具有以下有益效果：
1、本发明中，通过佩戴增强现实头戴式设备，术者直视术区，即可获得虚实结合的血管立体定位导航信息，无需在手术器械上安装定位装置，通过观察叠加投影在术区的三维血管模型，精确、立体定位血管，在该过程中术者无需在术区与显示器之间切换视野，且无需配备其他硬件，克服了当前术中导航技术普遍存在的直观性差，操作连续性不足的问题。
2、本发明使用二维图形标记完成自动配准，无需配备其他配准设备，配准方法简单经济，且具有很高的配准精度。
3.本发明适用增强现实头戴式设备同时具有三维数据模块，定位模块，投影模块，显示模块，无需再手术室配备其他相关硬件，可有效减少手术室内污染风险。
4、本发明可以与增强现实头戴式设备实时交互，对模型进行透明度，大小，旋转角度的调整，便于术者术中观察模型。
附图说明
图1显示为本发明的一实施例中术中血管立体定位导航系统的整体原理结构示意图。
图2显示为本发明的一实施例中增强现实头戴式设备的原理结构示意图。
图3显示为本发明的一实施例中增强现实头戴式设备中三维数据模块的原理结构示意图。
图4显示为本发明的一实施例中增强现实头戴式设备中摄像投影模块的原理结构示意图。
图5显示为本发明的一实施例中术中血管立体定位导航方法的流程示意图。
图6显示为本发明的一实施例中术中血管立体定位导航方法中配准投影的流程示意图。
图7显示为本发明的一实施例中术中血管立体定位导航方法的具体实施示意图。
图8和图9显示为本发明的一实施例中增强现实头戴式设备的应用实例图。
元件标号说明
1 术中血管立体定位导航系统
100 增强现实头戴式设备
110 头戴式设备本体
120 三维数据模块
121 导入单元
122 模型操控单元
130 摄像模块
140 定位模块
141 捕获单元
142 位置计算单元
150 投影模块
160 显示模块
200 图形标记
S100～S400 步骤
S310～S340 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。
请参阅图1至图9。须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
本发明实施例的目的在于提供一种术中血管立体定位导航系统及方法，用于解决现有技术中血管立体定位导航系统使用不便，增加手术风险的问题。填补术中血管立体定位的空白(以往技术无法实现术中，立体，定位)，且配准准确性高，精确性高，本实施例中的术中导航系统克服了当前导航技术普遍存在的直观性差，操作连续性不足的问题，无需配备高昂定位仪，性价比高，同时减少污染手术室风险。
以下将详细阐述本实施例的一种术中血管立体定位导航系统及方法的原理及实施方式，使本领域技术人员不需要创造性劳动即可理解本实施例的一种术中血管立体定位导航系统及方法。
实施例1
如图1所示，本实施例提供一种术中血管立体定位导航系统1，所述术中血管立体定位导航系统1包括：增强现实头戴式设备100和配置于人体上的图形标记200。
所述增强现实头戴式设备100通过定位所述图形标记200向术区投影三维血管模型，并显示叠加投影于术区的三维血管模型，从而立体定位人体血管。
具体地，于本实施例中，所述增强现实头戴式设备100用于术中血管定位导航，具体地，如图2所示，所述增强现实头戴式设备100包括：头戴式设备本体110；设于所述头戴式设备本体110中的：三维数据模块120，摄像模块130，定位模块140，投影模块150以及显示模块160。
于本实施例中，所述头戴式设备本体110至少配置有CPU、GPU、多个摄像头、传感器和显示屏。优选地，所述头戴式设备本体110采用HoloLens，HoloLens是微软公司开发的一种混合现实头戴式显示器。本实施例中利用HoloLens和设计的增强现实软件实现术中血管立体定位导航。
于本实施例中，所述三维数据模块120用于接收导入的用于模拟人体组织的三维血管模型。
其中，通过CT及CTA获取病人数据，使用三维重建软件重建病人拟术区血管及肌肉、骨等组织的三维血管模型及图形标记三维血管模型。CTA即CT血管造影，需在扫描前静脉推注碘造影剂，CTA扫描的三维数据包括血管、肌肉、骨骼的三维数据，通过三维重建软件例如mimics 15.0把图形标记200、血管、肌肉、骨骼等三维数据构建成三维血管模型。
具体地，于本实施例中，如图3所示，所述三维数据模块120包括：导入单元121和模型操控单元122。
于本实施例中，所述导入单元121用于接收导入的用于模拟人体组织的三维血管模型；将三维血管模型数据导入AR三维血管模型处理软件，完成三维血管模型优化及配准，并将优化配准后的三维血管模型数据导入HoloLens AR头显。HoloLens AR头显中的三维数据模块120接收导入的用于模拟人体组织的三维血管模型。
于本实施例中，所述模型操控单元122用于对所述三维血管模型进行操控处理。其中，对所述三维血管模型进行的操控处理包括但不限于透明化处理、旋转、放大和获取解剖解说信息。
即于本实施例中，术中可以使用HoloLens交互功能，对三维血管模型进行透明化处理，增强视觉感受，旋转，放大模型，对三维血管模型模型进行细致的观察。
于本实施例中，所述摄像模块130用于捕获配置于人体上的图形标记200，所述定位模块140用于将所述三维血管模型与所述图形标记200进行定位；所述投影模块150用于根据所述图形标记200将所述三维血管模型配准投影到与所述图形标记对应的位置。
具体地，于本实施例中，如图4所示，所述摄像模块130通过摄像头采集配置有图形标记的人体部位图像。
于本实施例中，所述定位模块140包括：捕获单元141和位置计算单元142。
所述捕获单元141用于从所述人体部位图像中捕获所述图形标记200；所述位置计算单元142用于计算所述摄像头与所述图形标记200的相对位置，并根据所述相对位置调整待投影的所述三维血管模型的位置和方向。
所述投影模块150将所述三维血管模型投影到与所述图形标记200对应的位置。三维血管模型投影在图形标记200的正中心，使得三维血管模型与病体图像叠加融合。
于本实施例中，所述图形标记200优选为方形，中间为黑白相间图形，外为白色边框。所述图形标记200缝合于人体上，或通过固定架固定于人体上或人体周围，或采用医用胶水黏附于人体皮肤表面。图形标记200使与躯体保持相对位置一致，可采用缝合在皮肤，或者是应用躯体固定支架的方法。使用缝合在皮肤或者应用躯体固定支架固定图形标记200，微创或无创，减轻病人的痛苦。
于本实施例中，使用图形标记200完成自动配准，无需配备其他配准设备，配准方法简单经济，且具有很高的配准精度，可减少手术室污染风险。
具体地，所述所述增强现实头戴式设备100的实施过程如下：
术中开启HoloLens AR头显，HoloLens配备的摄像头获取手术场景视频流，捕捉到图形标志，HoloLens CPU计算出图形标记200和和摄像头的相对位置；得到图形标记200和摄像头两者相对位置后，调整三维血管模型的位置和方向；将三维血管模型投影到图形标记200所在位置，完成初始配准，并呈现在HoloLens AR头显半透式镜片。
于本实施例中，所述显示模块160包含一半透式镜片，接收所述投影模块150的投影并通过所述半透式镜片显示手术场景与所述三维血管模型结合的增强现实图像。
HoloLens佩戴头者通过半透式镜片可以同时看见手术场景及三维血管模型，获得虚实结合的增强图像。其后HoloLens应用其配备的深度感受器完成初始配准之后的三维血管模型跟踪显示。
所以本实施例中，通过佩戴增强现实头戴式设备100，术者直视术区，即可获得虚实结合的血管立体定位导航信息，无需在手术器械上安装定位装置，术者无需在术区与显示器之间切换视野，克服了当前术中导航技术普遍存在的直观性差，操作连续性不足的问题。
本实施例中，术中血管立体定位导航系统1通过一个增强现实头戴式设备100即能完成术中场景拍摄、虚实图像配准跟踪，增强信息显示的导航所有过程。将利用CT血管成像数据获得的血管三维血管模型与HoloLens结合，不但可以辅助实现术中血管立体定位，还可以减少导航系统配备，简化导航步骤，从而优化导航过程，增强导航系统的临床可操作性。
此外，为了突出本发明的创新部分，本实施例中并没有将与解决本发明所提出的技术问题关系不太密切的技术特征引入，但这并不表明本实施例中不存在其它的结构和功能特征。
需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
实施例2
如图5所示，本实施例提供一种术中血管立体定位导航方法，所述术中血管立体定位导航方法包括：通过增强现实头戴式设备定位配置于人体上的图形标记，向所述图形标记对应的术区位置投影三维血管模型，并显示叠加投影于术区的三维血管模型，从而立体定位人体血管。
具体地，于本一实施例中，所述通过增强现实头戴式设备定位配置于人体上的图形标记，向所述图形标记对应的术区位置投影三维血管模块，并显示叠加投影于术区的三维血管模型的一种实现方式包括：
步骤S100，构建用于模拟人体组织的三维血管模型，并通过AR三维血管模型处理软件对所述三维血管模型模型进行配准；
步骤S200，将配准后的所述三维血管模型导入一增强现实头戴式设备；
步骤S300，通过所述增强现实头戴式设备捕获配置于人体上的图形标记，并根据所述图形标记将所述三维血管模型配准投影到与所述图形标记对应的位置；
步骤S400，通过所述增强现实头戴式设备的半透式镜片显示手术场景与所述三维血管模型结合的增强现实图像。
以下对本实施例的术中血管立体定位导航方法进行详细说明。
步骤S100，构建用于模拟人体组织的三维血管模型。
通过CT及CTA获取病人数据，使用三维重建软件重建病人拟术区血管及肌肉、骨等组织的三维血管模型及图形标记三维血管模型。CTA即CT血管造影，需在扫描前静脉推注碘造影剂，CTA扫描的三维数据包括血管、肌肉、骨骼的三维数据，通过三维重建软件例如mimics 19.0把图形标记200、血管、肌肉、骨骼等三维数据构建成三维血管模型。
步骤S200，将配准后的所述三维血管模型导入一增强现实头戴式设备。
于本实施例中，头戴式设备本体110至少配置有CPU、GPU、多个摄像头、传感器和显示屏。优选地，所述头戴式设备本体110采用HoloLens，HoloLens是微软公司开发的一种混合现实头戴式显示器。本实施例中利用HoloLens和设计的增强现实软件实现术中血管立体定位导航。
于本实施例中，将三维血管模型数据导入AR三维血管模型处理软件，完成三维血管模型优化及配准，并将优化后的三维血管模型数据导入HoloLens AR头显。HoloLens AR头显接收导入的用于模拟人体组织的三维血管模型。
步骤S300，通过所述增强现实头戴式设备100捕获配置于人体上的图形标记200，并根据所述图形标记200将所述三维血管模型配准投影到与所述图形标记200对应的位置。
具体地，如图6所示，于本实施例中，所述根据所述图形标记200将所述三维血管模型配准投影到与所述图形标记200对应的位置的一种具体实现方式包括：
步骤S310，通过增强现实头戴式设备100的摄像头采集配置有图形标记200的人体部位图像；
步骤S320，从所述人体部位图像中捕获所述图形标记200；
步骤S330，计算所述摄像头与所述图形标记200的相对位置，并根据所述相对位置调整待投影的所述三维血管模型的位置和方向；
步骤S340，将所述三维血管模型投影到与所述图形标记200对应的位置。
三维血管模型投影在图形标记200的正中心，使得三维血管模型与病体图像叠加融合。
于本实施例中，所述图形标记200优选为方形，中间为黑白相间图形，外为白色边框。所述图形标记200缝合于人体上或通过固定架固定于人体上。图形标记200使与躯体保持相对位置一致，可缝合于人体上，或通过固定架固定于人体上或人体周围，或采用医用胶水黏附于人体皮肤表面，微创或无创，有效减轻病人的痛苦。
于本实施例中，使用图形标记200完成自动配准，无需配备其他配准设备，配准方法简单经济，且具有很高的配准精度。
具体地，步骤S300的实施过程如下：
术中开启HoloLens AR头显，HoloLens配备的摄像头获取手术场景视频流，捕捉到图形标志，HoloLens CPU计算出图形标记200和和摄像头的相对位置；得到图形标记200和摄像头两者相对位置后，调整三维血管模型的位置和方向；将三维血管模型投影到图形标记200所在位置，完成初始配准，并呈现在HoloLens AR头显半透式镜片。
步骤S400，通过所述增强现实头戴式设备的半透式镜片显示手术场景与所述三维血管模型结合的增强现实图像。
HoloLens佩戴头者通过半透式镜片可以同时看见手术场景及三维血管模型，获得虚实结合的增强图像。其后HoloLens应用其配备的深度感受器完成初始配准之后的三维血管模型跟踪显示。
所以本实施例中，通过佩戴增强现实头戴式设备100，术者直视术区，即可获得虚实结合的血管立体定位导航信息，无需在手术器械上安装定位装置，术者无需在术区与显示器之间切换视野，克服了当前术中导航技术普遍存在的直观性差，操作连续性不足的问题，而且有效减少手术室内污染风险。
于本实施例中，所述术中血管立体定位导航方法还包括：对所述三维血管模型进行操控处理。其中，对所述三维血管模型进行的操控处理包括透明化处理、旋转、放大及获取解剖解说信息。
即于本实施例中，术中可以使用HoloLens交互功能，对三维血管模型进行透明化处理、旋转、放大，对三维血管模型模型进行细致的观察，而且还可以获取解剖解说信息。
如图7所示，本实施例术中血管立体定位导航方法的具体执行过程如下：
于患者身上固定图形标记200，患者术前进行CT和/或CTA形成三维数据，包括血管、肌肉、骨骼的三维数据，通过三维重建软件把图形标记200、血管、肌肉、骨骼等三维数据重建三维血管模型。然后将虚拟的三维血管模型导入AR(增强现实)软件，优化三维血管模型。
术中时，在进行完常规消毒铺巾等操作后，HoloLens摄像头将术区视频流输出HoloLensCPU，CPU捕捉视频流中的图形标记200位置，同图形标记200完成初始配准投射虚拟的三维血管模型至HoloLens半透式镜片，术者通过半透式镜片看到虚拟的三维血管模型和术区虚实叠加的导航图像，术者在导航图像的指导下实现术中血管定位，如图8和图9所示。
可见，本实施例中，术中血管立体定位导航方法通过一个增强现实头戴式设备100即能完成术中场景拍摄、虚实图像配准跟踪，增强信息显示的导航所有过程。将利用CT血管成像数据获得的血管三维血管模型与HoloLens结合，不但可以辅助实现术中血管立体定位，还可以减少导航系统配备，简化导航步骤，从而优化导航过程，增强导航系统的临床可操作性。
综上所述，本发明中，通过佩戴增强现实头戴式设备，术者直视术区，即可获得虚实结合的血管立体定位导航信息，无需在手术器械上安装定位装置，通过观察叠加投影在术区的三维血管模型，精确、立体定位血管，在该过程中术者无需在术区与显示器之间切换视野，克服了当前术中导航技术普遍存在的直观性差，操作连续性不足的问题；本发明使用二维图形标记完成自动配准，无需配备其他配准设备，配准方法简单经济，且具有很高的配准精度，本发明适用增强现实头戴式设备同时具有三维数据模块，定位模块，投影模块，显示模块，无需再手术室配备其他相关硬件，可有效减少手术室内污染风险；；本发明可以与增强现实头戴式设备实时交互，对模型进行透明度，大小，旋转角度的调整，便于术者术中观察模型。所以，本发明有效克服了现有技术中的缺陷而具有高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种术中血管立体定位导航系统，其特征在于：包括：
增强现实头戴式设备和配置于人体上的图形标记；
所述增强现实头戴式设备通过定位所述图形标记向术区投影三维血管模型，并显示叠加投影于术区的三维血管模型，从而立体定位人体血管。
2.根据权利要求1所述的术中血管立体定位导航系统，其特征在于：所述增强现实头戴式设备包括：
头戴式设备本体；设于所述头戴式设备本体中的：
三维数据模块，用于接收导入的用于模拟人体组织的三维血管模型；
摄像模块，用于捕获配置于人体上的图形标记；
定位模块，用于将所述三维血管模型与所述图形标记进行定位；
投影模块，用于根据所述图形标记将所述三维血管模型配准投影到与所述图形标记对应的位置；
显示模块，包含一半透式镜片，接收所述投影模块的投影并通过所述半透式镜片显示手术场景与所述三维血管模型结合的增强现实图像。
3.根据权利要求2所述的术中血管立体定位导航系统，其特征在于：所述三维数据模块包括：
导入单元，用于接收导入的用于模拟人体组织的三维血管模型；
模型操控单元，用于对所述三维血管模型进行操控处理。
4.根据权利要求3所述的术中血管立体定位导航系统，其特征在于：对所述三维血管模型进行的操控处理包括透明化处理、旋转、放大和获取解剖解说信息。
5.根据权利要求2或3所述的术中血管立体定位导航系统，其特征在于：
所述摄像模块通过摄像头采集配置有图形标记的人体部位图像；
所述定位模块包括：
捕获单元，用于从所述人体部位图像中捕获所述图形标记；
位置计算单元，用于计算所述摄像头与所述图形标记的相对位置，并根据所述相对位置调整待投影的所述三维血管模型的位置和方向；
所述投影模块将所述三维血管模型投影到与所述图形标记对应的位置。
6.根据权利要求1所述的术中血管立体定位导航系统，其特征在于：所述图形标记缝合于人体上，或通过固定架固定于人体上或人体周围，或采用医用胶水黏附于人体皮肤表面。
7.一种术中血管立体定位导航方法，其特征在于：包括：
通过增强现实头戴式设备定位配置于人体上的图形标记，向所述图形标记对应的术区位置投影三维血管模型，并显示叠加投影于术区的三维血管模型，从而立体定位人体血管。
8.根据权利要求7所述的术中血管立体定位导航方法，其特征在于：所述通过增强现实头戴式设备定位配置于人体上的图形标记，向所述图形标记对应的术区位置投影三维血管模块，并显示叠加投影于术区的三维血管模型的一种实现方式包括：
构建用于模拟人体组织的三维血管模型，并通过AR三维血管模型处理软件对所述三维血管模型模型进行配准；
将配准后的所述三维模型三维血管模型导入一增强现实头戴式设备；
通过所述增强现实头戴式设备捕获配置于人体上的图形标记，并根据所述图形标记将所述三维血管模型配准投影到与所述图形标记对应的位置；
通过所述增强现实头戴式设备的半透式镜片显示手术场景与所述三维血管模型结合的增强现实图像。
9.根据权利要求7所述的术中血管立体定位导航方法，其特征在于：所述术中血管立体定位导航方法还包括：
对所述三维血管模型进行透明化处理、旋转、放大和获取解剖解说信息的操控处理。
10.根据权利要求7所述的术中血管立体定位导航方法，其特征在于：所述根据所述图形标记将所述三维血管模型配准投影到与所述图形标记对应的位置的一种具体实现方式包括：
通过增强现实头戴式设备的摄像头采集配置有图形标记的人体部位图像；
从所述人体部位图像中捕获所述图形标记；
计算所述摄像头与所述图形标记的相对位置，并根据所述相对位置调整待投影的所述三维血管模型的位置和方向；
将所述三维血管模型投影到与所述图形标记对应的位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010531106.XA CN111631814B (zh) | 2020-06-11 | 2020-06-11 | 术中血管立体定位导航系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010531106.XA CN111631814B (zh) | 2020-06-11 | 2020-06-11 | 术中血管立体定位导航系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111631814A true CN111631814A (zh) | 2020-09-08 |
| CN111631814B CN111631814B (zh) | 2024-03-29 |
Family
ID=72322916
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010531106.XA Active CN111631814B (zh) | 2020-06-11 | 2020-06-11 | 术中血管立体定位导航系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111631814B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114581635A (zh) * | 2022-03-03 | 2022-06-03 | 上海涞秋医疗科技有限责任公司 | 一种基于HoloLens眼镜的定位方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2425075A1 (en) * | 2000-10-05 | 2002-04-11 | Siemens Corporate Research, Inc. | Intra-operative image-guided neurosurgery with augmented reality visualization |
| US20160191887A1 (en) * | 2014-12-30 | 2016-06-30 | Carlos Quiles Casas | Image-guided surgery with surface reconstruction and augmented reality visualization |
| US20160225192A1 (en) * | 2015-02-03 | 2016-08-04 | Thales USA, Inc. | Surgeon head-mounted display apparatuses |
| US20160324580A1 (en) * | 2015-03-23 | 2016-11-10 | Justin Esterberg | Systems and methods for assisted surgical navigation |
| US20180049622A1 (en) * | 2016-08-16 | 2018-02-22 | Insight Medical Systems, Inc. | Systems and methods for sensory augmentation in medical procedures |
| US20190192230A1 (en) * | 2017-12-12 | 2019-06-27 | Holo Surgical Inc. | Method for patient registration, calibration, and real-time augmented reality image display during surgery |
-
2020
- 2020-06-11 CN CN202010531106.XA patent/CN111631814B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2425075A1 (en) * | 2000-10-05 | 2002-04-11 | Siemens Corporate Research, Inc. | Intra-operative image-guided neurosurgery with augmented reality visualization |
| US20160191887A1 (en) * | 2014-12-30 | 2016-06-30 | Carlos Quiles Casas | Image-guided surgery with surface reconstruction and augmented reality visualization |
| US20160225192A1 (en) * | 2015-02-03 | 2016-08-04 | Thales USA, Inc. | Surgeon head-mounted display apparatuses |
| US20160324580A1 (en) * | 2015-03-23 | 2016-11-10 | Justin Esterberg | Systems and methods for assisted surgical navigation |
| US20180049622A1 (en) * | 2016-08-16 | 2018-02-22 | Insight Medical Systems, Inc. | Systems and methods for sensory augmentation in medical procedures |
| US20190192230A1 (en) * | 2017-12-12 | 2019-06-27 | Holo Surgical Inc. | Method for patient registration, calibration, and real-time augmented reality image display during surgery |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114581635A (zh) * | 2022-03-03 | 2022-06-03 | 上海涞秋医疗科技有限责任公司 | 一种基于HoloLens眼镜的定位方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111631814B (zh) | 2024-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Park et al. | Augmented and mixed reality: technologies for enhancing the future of IR | |
| Gsaxner et al. | The HoloLens in medicine: A systematic review and taxonomy | |
| Bichlmeier et al. | The virtual mirror: a new interaction paradigm for augmented reality environments | |
| Andrews et al. | Registration techniques for clinical applications of three-dimensional augmented reality devices | |
| Rosenthal et al. | Augmented reality guidance for needle biopsies: an initial randomized, controlled trial in phantoms | |
| Bichlmeier et al. | Contextual anatomic mimesis hybrid in-situ visualization method for improving multi-sensory depth perception in medical augmented reality | |
| Kersten-Oertel et al. | The state of the art of visualization in mixed reality image guided surgery | |
| Navab et al. | First deployments of augmented reality in operating rooms | |
| Navab et al. | Laparoscopic virtual mirror new interaction paradigm for monitor based augmented reality | |
| US11574446B2 (en) | Digital image reality aligning kit and method applied to mixed reality system for surgical navigation | |
| US20210196404A1 (en) | Implementation method for operating a surgical instrument using smart surgical glasses | |
| CN101869501B (zh) | 计算机辅助针刀定位系统 | |
| CN112168346A (zh) | 三维医学影像与患者实时重合的方法及手术辅助系统 | |
| US11660158B2 (en) | Enhanced haptic feedback system | |
| Gsaxner et al. | Augmented reality in oral and maxillofacial surgery | |
| CN117918955B (zh) | 一种增强现实外科导航装置、方法、系统设备及介质 | |
| CA3230781A1 (en) | Surgical systems and methods for positioning objects using augmented reality navigation | |
| Traub et al. | Advanced display and visualization concepts for image guided surgery | |
| CN115105204A (zh) | 一种腹腔镜增强现实融合显示方法 | |
| CN111631814B (zh) | 术中血管立体定位导航系统及方法 | |
| Zhang et al. | Research on accuracy of augmented reality surgical navigation system based on multi-view virtual and real registration technology | |
| Harders et al. | Multimodal augmented reality in medicine | |
| Vogt | Real-Time Augmented Reality for Image-Guided Interventions | |
| CN116823898A (zh) | 一种混合现实增强显示方法及系统 | |
| Bichlmeier et al. | Evaluation of the virtual mirror as a navigational aid for augmented reality driven minimally invasive procedures |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |