CN113952033A - 一种双源内窥手术导航系统及方法 - Google Patents
一种双源内窥手术导航系统及方法 Download PDFInfo
- Publication number
- CN113952033A CN113952033A CN202111569993.0A CN202111569993A CN113952033A CN 113952033 A CN113952033 A CN 113952033A CN 202111569993 A CN202111569993 A CN 202111569993A CN 113952033 A CN113952033 A CN 113952033A
- Authority
- CN
- China
- Prior art keywords
- endoscopic
- target
- navigation module
- fluorescence
- navigation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000002674 endoscopic surgery Methods 0.000 title claims abstract description 13
- 238000001356 surgical procedure Methods 0.000 claims abstract description 13
- 238000002073 fluorescence micrograph Methods 0.000 claims description 31
- 210000004204 blood vessel Anatomy 0.000 claims description 23
- 230000003287 optical effect Effects 0.000 claims description 12
- 230000009977 dual effect Effects 0.000 claims 1
- 230000008569 process Effects 0.000 description 12
- 206010028980 Neoplasm Diseases 0.000 description 10
- 238000002591 computed tomography Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 5
- 238000012795 verification Methods 0.000 description 5
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 4
- 229960004657 indocyanine green Drugs 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 102000004506 Blood Proteins Human genes 0.000 description 2
- 108010017384 Blood Proteins Proteins 0.000 description 2
- 238000012274 Preoperative evaluation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 210000004185 liver Anatomy 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Robotics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pathology (AREA)
- Gynecology & Obstetrics (AREA)
- Radiology & Medical Imaging (AREA)
- Endoscopes (AREA)
Abstract
本申请提供了一种双源内窥手术导航系统及方法，涉及手术导航技术领域，其技术方案要点是：包括：荧光内窥导航模块，用于获取目标的荧光图像，并确定所述目标的手术位置；三维导航模块，用于构建所述目标的三维模型以及跟踪所述荧光内窥导航模块的位置，并在所述三维模型中建立所述荧光内窥导航模块的模型，所述荧光内窥导航模块的位置与手术工具的位置关联；显示模块，用于显示所述荧光图像、所述荧光内窥导航模块以及所述手术工具在所述三维模型中的位置。本申请提供的一种双源内窥手术导航系统及方法具有提高手术操作准确度和手术成功率的优点。
Description
技术领域
本申请涉及手术导航技术领域，具体而言，涉及一种双源内窥手术导航系统及方法。
背景技术
早期的手术导航系统主要是术中超声导航系统，在术中实时用超声探测病灶或者组织形态，以达到精准手术的目的。但是由于术中超声存在较多限制，如腔内气体干扰等，实际临床应用并不普及。随着AR技术和CT技术发展，以术前CT数据为基础进行三维建模，并将三维模型实时融合到二维内窥图像中进行手术导航，这种导航方式逐渐普及。但目前这种结构信息导航的方式还存在较多问题，如三维模型与实际的组织无法一对一匹配，精度不符合临床需求，部分情况下反而会影响术中操作。
针对上述问题，申请人提出了一种新的手术导航方案。
发明内容
本申请的目的在于提供一种双源内窥手术导航系统及方法，具有提高手术操作准确度和手术成功率的优点。
第一方面，本申请提供了一种双源内窥手术导航系统，技术方案如下：
包括：
荧光内窥导航模块，用于获取目标的荧光图像，并确定所述目标的手术位置；
三维导航模块，用于构建所述目标的三维模型以及跟踪所述荧光内窥导航模块的位置，并在所述三维模型中建立所述荧光内窥导航模块的模型，所述荧光内窥导航模块的位置与手术工具的位置关联；
显示模块，用于显示所述荧光图像、所述荧光内窥导航模块以及所述手术工具在所述三维模型中的位置。
利用荧光内窥导航模块实现荧光导航，利用三维导航模块实现三维导航，然后将两种导航方式相结合，利用荧光内窥导航模块获取目标的荧光图像，将荧光图像与三维模型相互对照验证，互为补充，解决现有技术中三维模型精度不高，无法与组织完全一一匹配的问题。
进一步地，在本申请中，所述荧光内窥导航模块包括：
光源单元，用于产生光线，使所述光线照射在所述目标上；
摄像单元，用于接收所述目标的反射光，根据所述反射光生成所述荧光图像。
通过光源单元照亮目标，然后由摄像单元接收反射光并生成图像，从而进行导航。
进一步地，在本申请中，所述三维导航模块包括：
三维重建单元，用于构建所述目标的三维模型；
光学跟踪单元，所述光学跟踪单元包括固定元件以及跟踪元件，所述荧光内窥导航模块固定在所述固定元件上，所述跟踪元件用于对所述荧光内窥导航模块的姿态以及位置进行实时跟踪。
利用三维重建单元构建三维模型，利用光学跟踪单元追踪荧光内窥导航模块的位置，从而实现两种导航方式互补参照的效果。
进一步地，在本申请中，所述三维导航模块还包括规划单元，所述规划单元用于根据所述三维模型事先规划手术方案，并将所述手术方案显示在所述显示模块上。
第二方面，本申请还提供一种双源内窥手术导航方法，包括：
获取目标的三维模型信息；
获取所述目标的荧光图像信息，所述荧光图像信息通过荧光内窥导航模块获得；
根据所述目标的三维模型信息以及所述荧光图像信息对所述目标的手术进行导航。
进一步地，在本申请中，所述根据所述目标的三维模型信息以及所述荧光图像信息对所述目标的手术进行导航的步骤包括：
获取所述荧光内窥导航模块的第一位置信息；
将所述荧光内窥导航模块的第一位置信息匹配至所述目标的三维模型上，得到所述荧光内窥导航模块在所述三维模型上的第二位置信息；
根据所述荧光图像信息以及所述第二位置信息对所述目标的手术进行导航。
进一步地，在本申请中，所述根据所述荧光图像信息以及所述第二位置信息对所述目标的手术进行导航的步骤包括：
关联所述荧光内窥导航模块与手术工具的相对位置关系；
根据所述荧光内窥导航模块的所述第二位置信息得到所述手术工具的第三位置信息；
根据所述荧光图像信息以及所述第三位置信息对所述目标的手术进行导航。
进一步地，在本申请中，还包括：
获取事先规划的手术方案；
根据所述事先规划的手术方案、所述荧光图像信息以及所述第三位置信息对所述目标的手术进行导航。
进一步地，在本申请中，所述事先规划的手术方案至少包括主要分支血管的位置信息。
进一步地，在本申请中，还包括：
根据所述第三位置信息以及所述主要分支血管的位置信息进行预警。
由上可知，本申请提供的一种双源内窥手术导航系统及方法，利用荧光内窥导航模块实现荧光导航，利用三维导航模块实现三维导航，然后将两种导航方式相结合，利用荧光内窥导航模块获取目标的荧光图像，将荧光图像与三维模型相互对照验证，互为补充，因此具有提高手术操作准确度和手术成功率的有益效果。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
图1为本申请提供的一种双源内窥手术导航系统结构示意图。
图2为本申请提供的一种双源内窥手术导航系统结构示意图。
图3为本申请提供的一种双源内窥手术导航方法流程图。
图中：100、荧光内窥导航模块；200、三维导航模块；300、显示模块；110、光源单元；120、摄像单元；210、三维重建单元；220、光学跟踪单元；230、规划单元。
具体实施方式
下面将结合本申请中附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在现有的手术导航方式中，通常采用三维结构导航的方式进行导航，但是三维结构导航的方式对术前的数据要求十分准确，通常通过术前CT来获取数据，然后根据术前的CT数据建立三维模型，而如果术前的CT数据存在干扰噪声，则会导致建立的三维模型精度不高，难以发挥真正的作用，因此，三维结构导航目前仅仅只是存在与理论阶段，难以应用到实际的手术中。对此，申请人提出了一种将三维结构导航与荧光导航结合的方案。
请参照图1至图3，一种双源内窥手术导航系统，其技术方案具体包括：
荧光内窥导航模块100，用于获取目标的荧光图像，并确定目标的手术位置；其中，目标指的可以是生物体。
三维导航模块200，用于构建目标的三维模型以及跟踪荧光内窥导航模块100的位置，并在三维模型中建立荧光内窥导航模块100的模型，荧光内窥导航模块100的位置与手术工具的位置关联；
显示模块300，用于显示荧光图像、荧光内窥导航模块100以及手术工具在三维模型中的位置。
其中，显示模块300可以包含有至少两块显示屏，至少一块显示屏用于显示荧光图像，至少一块显示屏用于显示荧光内窥导航模块100以及手术工具在三维模型中的位置，这样有利于医生进行对照验证。
通过上述技术方案，利用荧光内窥导航模块100实现荧光导航，利用三维导航模块200实现三维导航，然后将两种导航方式相结合，利用荧光内窥导航模块100获取目标的荧光图像，将荧光图像与三维模型相互对照验证，互为补充，解决现有技术中三维模型精度不高，无法与目标组织完全一一匹配的问题。
进一步地，在其中一些实施例中，荧光内窥导航模块100包括：
光源单元110，用于产生光线，使光线照射在目标上；
摄像单元120，用于接收目标的反射光，根据反射光生成荧光图像。
通过上述技术方案，利用光源单元110照射在目标上，目标做好荧光标记，光线包括白光以及激光，白光以及激光同时照射在目标上，目标发出近红外光以及反射白光，并通过摄像单元120分别接收成像，然后通过现有的图像算法融合，形成荧光图像，进而实现荧光导航。
在目前的实际手术过程中，例如在对肿瘤进行切除的手术中，如果肿瘤较小，即癌细胞较少，使用传统的内窥镜或者三维导航的方式进行导航的话，肿瘤与目标组织的边界难以区分，这就给医生动手术带来了很大的干扰。
因此，在一些实施方式中，可以给目标注射吲哚菁绿，吲哚菁绿会与血浆蛋白结合，光源单元110可以发出白光以及波长为805mm的激光，吲哚菁绿与血浆蛋白结合以后，在波长为805mm的激光照射下，可以激发出波长为835mm的近红外光，因此，光源单元110发生的白光以及波长为805mm的激光照射在被注射了吲哚菁绿的目标上之后，目标会发出波长为835mm的近红外光同时反射白光，摄像单元120可以包含两个相机，一个相机用于接收白光，另一个相机用于接收波长为835mm的近红外光，然后分别成像，最后通过算法融合，形成荧光图像，通过使肿瘤区域显色，进而实现导航的效果，使医生可以很清楚的分析肿瘤所在的区域。摄像单元120用于接收目标的反射光，这里的反射光包含了目标反射的白光以及目标发出的波长为835mm的近红外光。
进一步地，在其中一些实施例中，三维导航模块200包括：
三维重建单元210，用于构建目标的三维模型；
光学跟踪单元220，光学跟踪单元220包括固定元件以及跟踪元件，荧光内窥导航模块100固定在固定元件上，跟踪元件用于对荧光内窥导航模块100的姿态以及位置进行实时跟踪。
通过上述技术方案，利用三维重建单元210构建目标的三维模型，然后利用光学跟踪单元220对荧光内窥导航模块100的姿态以及位置进行跟踪，在目标的三维模型内实时显示荧光内窥导航模块100的位置，因此，实施手术的医生可以观察到荧光内窥导航模块100生成的荧光图像，同时还可以观察到荧光导航模块在目标三维模型上的位置，由于手术工具的位置与荧光导航模块的位置相关联，因此可以确定手术工具的位置，医生可以结合荧光导航和三维导航，进而更准确的判断实施手术的位置以及手术工具的位置，从而提高手术操作准确度和手术成功率。
具体的，三维重建单元210可以是图像处理工作站或计算机，在一些具体实施方式中，通过CT检测得到目标术前的数据，并将目标的组织，例如肝脏、动脉血管、静脉血管、肿瘤等组织分割出来，然后通过三维重建单元210进行三维建模，其中，组织的分割方法可以采用半自动交互分割法，然后利用深度学习技术，采用V-Net网络对肝脏、血管、肿瘤等组织进行自动提取和分割，再由医生对组织边界进行细化处理，使得分割组织解剖边界更准确。
光学跟踪单元220包括固定元件以及跟踪元件，其中，固定元件可以是一个导航架，将荧光内窥导航模块100固定在导航架上，跟踪元件可以是一个光学摄像头，光学摄像头对准导航架上的荧光内窥导航模块100，实时跟踪荧光内窥导航模块100的姿态和位置，并且，以跟踪元件作为原点建立坐标系，可以得到荧光内窥导航模块100在目标体内的实际坐标位置，然后将荧光内窥导航模块100的实际坐标位置通过坐标转换矩阵转换至三维模型的坐标内，从而可以在三维模型内显示荧光内窥导航模块100的实时位置。
进一步地，在其中一些实施例中，三维导航模块200还包括规划单元230，规划单元230用于根据三维模型事先规划手术方案，并将手术方案显示在显示模块300上。
通过上述技术方案，利用规划单元230录入事先规划好的手术方案，然后在实际手术过程中，可以将手术方案展示在显示模块300上，给实施手术的医生提供参考。
在手术前规划手术方案是目前临床外科具有重要临床意义的一个步骤，对手术方案选择，手术路径规划具有重要指导意义。术前规划手术方案指的是针对当前手术规划方案评估组织状态，以确定最佳方案。目前的手术方案的规划还存在许多的不足，现有的手术方案的规划主要过程都是集中在术前，手术方案需要医生在术前完成并熟悉，在具体实施手术的过程中，较难将手术方案与术中场景进行一一对应。
针对目前手术方案规划存在的问题，本申请提出了将术前规划的手术方案加入三维导航模块200中，在手术实时三维导航的过程中，可选择规划好的手术方案进行导航，实时显示术前手术方案的内容和术前评估得到的组织信息，将规划路径与术中场景匹配，能够有效增强手术导航效果，便于医生在术中及时调整手术路径，增强导航效果。
对此，在这基础上，采用荧光导航的方式还起到了对照验证的作用，因为实际手术过程与事先规划好的手术方案不一定完全对应，例如在切除肿瘤的手术中，医生按照事先规划好的路径进行手术，在这个过程中，可以通过荧光图像验证事先规划好的手术方案中，其路径是否包含有肿瘤，这可以通过荧光图像快速进行识别，可以对事先规划好的手术方案进行对照验证，防止事先规划的手术方案存在错误，而医生仍然按照错误的手术方案进行手术。
第二方面，参照图1至图3，本申请还提供一种双源内窥手术导航方法，包括：
S110、获取目标的三维模型信息；其中，三维模型信息可以通过术前CT获取目标数据，然后通过计算机生成三维模型；
S120、获取目标的荧光图像信息，荧光图像信息通过荧光内窥导航模块100获得；具体的，荧光内窥导航模块100可以是荧光内窥镜。
S130、根据目标的三维模型信息以及荧光图像信息对目标的手术进行导航。
通过上述技术方案，利用荧光内窥导航模块100实现荧光导航，利用三维模型信息实现三维导航，然后将两种导航方式相结合，利用荧光内窥导航模块100获取目标的荧光图像，将荧光图像与三维模型信息相互对照验证，互为补充，解决现有技术中利用三维模型进行导航但是精度不高，无法与目标组织完全一一匹配的问题。
具体的，可以设置两个显示屏，其中一个显示屏根据目标的三维模型信息显示目标的三维模型，另一个显示屏则显示荧光图像信息，可以使医生更好的进行对照验证。
进一步地，在其中一些实施例中，根据目标的三维模型信息以及荧光图像信息对目标的手术进行导航的步骤包括：
获取荧光内窥导航模块100的第一位置信息；其中，可以通过光学摄像头实时追踪荧光内窥导航模块100的第一位置信息。
将荧光内窥导航模块100的第一位置信息匹配至目标的三维模型上，得到荧光内窥导航模块100在三维模型上的第二位置信息；
根据荧光图像信息以及第二位置信息对目标的手术进行导航。
通过上述技术方案，将荧光内窥导航模块100在目标内的实际位置映射至目标的三维模型上，荧光内窥导航模块100在实际移动时，其移动的信息可以实时反映在目标的三维模型上，结合荧光内窥导航模块100在目标三维模型上的位置以及荧光内窥导航模块100获得的荧光图像信息，可以给医生带来准确的导航，从而提高手术操作准确度和手术成功率。
具体的，将荧光内窥导航模块100的第一位置信息匹配至目标的三维模型上的步骤主要包括定标以及坐标系转化，具体为：将荧光内窥导航模块100放置在目标预先标记的三个点上，并记录三个点的坐标，然后获取目标三维模型内对应的三个点的坐标，根据实际的三个点的坐标与三维模型上对应的三个点的坐标得到坐标转换矩阵，然后根据坐标转换矩阵可以确定荧光内窥导航模块100在三维模型中的位置，并根据荧光内窥导航模块100的实际形状尺寸以及姿态，在三维模型上建立荧光内窥导航模块100的模型，即虚拟的荧光内窥导航模块100，使医生可以直观的观察荧光内窥导航模块100在目标内的移动。
进一步地，在其中一些实施例中，获取荧光内窥导航模块100的成像参数信息，成像参数信息至少包括成像的视角信息，根据视角信息，得到虚拟的荧光内窥导航模块100在目标三维模型下的视野图像，医生可以根据该视野图像与实际的荧光内窥导航模块100生成的荧光图像信息做对比，从而起到更好的导航效果。
进一步地，在其中一些实施例中，实时跟踪荧光内窥导航模块100的姿态，根据荧光内窥导航模块100的姿态实时显示虚拟的荧光内窥导航模块100在目标三维模型下的视野图像。
具体的，可以采用光学摄像头对荧光内窥导航模块100的姿态进行跟踪。
进一步地，在其中一些实施例中，根据荧光图像信息以及第二位置信息对目标的手术进行导航的步骤包括：
关联荧光内窥导航模块100与手术工具的相对位置关系；
根据荧光内窥导航模块100的第二位置信息得到手术工具的第三位置信息；
根据荧光图像信息以及第三位置信息对目标的手术进行导航。
通过上述技术方案，手术工具的位置与荧光内窥导航模块100的位置相关联，在确定荧光内窥导航模块100的位置之后，便可以确定手术工具的位置，并且可以将手术工具同样实时显示在目标的三维模型上，医生便可以通过荧光内窥导航模块100准确寻找到手术位置，然后将手术工具移动至手术位置进行手术。
具体的，可以在手术工具上安装追踪球，追踪球与荧光内窥导航模块100关联，只要荧光内窥导航模块100的位置确定了，就可以根据荧光内窥导航模块100与手术工具的相对位置确定手术工具的实际位置。
进一步地，在其中一些实施例中，还包括：
获取事先规划的手术方案；
根据事先规划的手术方案、荧光图像信息以及第三位置信息对目标的手术进行导航。
通过上述技术方案，获取事先规划好的手术方案，然后在实际手术过程中，可以将手术方案展示在目标的三维模型上，给实施手术的医生提供参考。
在手术前规划手术方案是目前临床外科具有重要临床意义的一个步骤，对手术方案选择，手术路径规划具有重要指导意义。术前规划手术方案指的是针对当前手术规划方案评估组织状态，以确定最佳方案。目前的手术方案的规划还存在许多的不足，现有的手术方案的规划主要过程都是集中在术前，手术方案需要医生在术前完成并熟悉，在具体实施手术的过程中，较难将手术方案与术中场景进行一一对应。
针对目前手术方案规划存在的问题，本申请提出了根据事先规划的手术方案、荧光图像信息以及第三位置信息对目标的手术进行导航，实时显示术前手术方案的内容和术前评估得到的组织信息，将规划路径与术中场景匹配，能够有效增强手术导航效果，便于医生在术中及时调整手术路径，增强导航效果。
进一步地，在其中一些实施例中，事先规划的手术方案至少包括主要分支血管的位置信息；其中，主要分支血管可以由医生在规划手术方案时根据实际情况进行筛选。
然后根据第三位置信息以及主要分支血管的位置信息进行预警。
通过上述技术方案，通过第三位置信息以及主要分支血管的位置信息进行预警，防止手术工具对目标的主要分支血管造成损伤。
因为在实际手术过程中，如果手术工具离目标组织的主要分支血管过近，就很容易与主要分支血管接触，进而划伤主要分支血管，因此，当手术工具离主要分支血管过于接近的时候，需要进行预警，以提醒医生。
具体的，可以通过流域分析算法来确定影响比较大的血管，将影响比较大的血管设为主要分支血管，预警方式可以通过图像处理的方式，当靠近主要分支血管时，将主要分支血管的显示变红，还可以增加一定透明度的低频红色信号，作为警示荧光。
进一步地，事先规划的手术方案至少包括手术范围信息，确定手术范围内的主要分支血管的位置信息，由于医生需要在手术范围内开展手术，因此主要是在手术范围内操作手术工具，即，在手术范围内，手术工具更容易与主要分支血管发生接触，因此可以仅针对手术范围内的主要分支血管进行预警。
进一步地，当手术工具靠近手术范围时，也可以进行预警，可以用于提醒医生，具体的，当手术工具靠近手术范围或警示血管3cm时，发生预警用于提醒医生。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (9)
1.一种双源内窥手术导航系统，其特征在于，包括：
荧光内窥导航模块，用于获取目标的荧光图像，并确定所述目标的手术位置；
三维导航模块，用于构建所述目标的三维模型以及跟踪所述荧光内窥导航模块的位置，并在所述三维模型中建立所述荧光内窥导航模块的模型，所述荧光内窥导航模块的位置与手术工具的位置关联；
所述三维导航模块包括：
三维重建单元，用于构建所述目标的三维模型；
光学跟踪单元，所述光学跟踪单元包括固定元件以及跟踪元件，所述荧光内窥导航模块固定在所述固定元件上，所述跟踪元件用于对所述荧光内窥导航模块的姿态以及位置进行实时跟踪；
显示模块，用于显示所述荧光图像、所述荧光内窥导航模块以及所述手术工具在所述三维模型中的位置。
2.根据权利要求1所述的一种双源内窥手术导航系统，其特征在于，所述荧光内窥导航模块包括：
光源单元，用于产生光线，使所述光线照射在所述目标上；
摄像单元，用于接收所述目标的反射光，根据所述反射光生成所述荧光图像。
3.根据权利要求1所述的一种双源内窥手术导航系统，其特征在于，所述三维导航模块还包括规划单元，所述规划单元用于根据所述三维模型事先规划手术方案，并将所述手术方案显示在所述显示模块上。
4.一种双源内窥手术导航方法，其特征在于，包括：
获取目标的三维模型信息；
获取所述目标的荧光图像信息，所述荧光图像信息通过荧光内窥导航模块获得；
根据所述目标的三维模型信息以及所述荧光图像信息对所述目标的手术进行导航。
5.根据权利要求4所述的一种双源内窥手术导航方法，其特征在于，所述根据所述目标的三维模型信息以及所述荧光图像信息对所述目标的手术进行导航的步骤包括：
获取所述荧光内窥导航模块的第一位置信息；
将所述荧光内窥导航模块的第一位置信息匹配至所述目标的三维模型上，得到所述荧光内窥导航模块在所述三维模型上的第二位置信息；
根据所述荧光图像信息以及所述第二位置信息对所述目标的手术进行导航。
6.根据权利要求5所述的一种双源内窥手术导航方法，其特征在于，所述根据所述荧光图像信息以及所述第二位置信息对所述目标的手术进行导航的步骤包括：
关联所述荧光内窥导航模块与手术工具的相对位置关系；
根据所述荧光内窥导航模块的所述第二位置信息得到所述手术工具的第三位置信息；
根据所述荧光图像信息以及所述第三位置信息对所述目标的手术进行导航。
7.根据权利要求6所述的一种双源内窥手术导航方法，其特征在于，还包括：
获取事先规划的手术方案；
根据所述事先规划的手术方案、所述荧光图像信息以及所述第三位置信息对所述目标的手术进行导航。
8.根据权利要求7所述的一种双源内窥手术导航方法，其特征在于，所述事先规划的手术方案至少包括主要分支血管的位置信息。
9.根据权利要求8所述的一种双源内窥手术导航方法，其特征在于，还包括：
根据所述第三位置信息以及所述主要分支血管的位置信息进行预警。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111569993.0A CN113952033B (zh) | 2021-12-21 | 2021-12-21 | 一种双源内窥手术导航系统及方法 |
| PCT/CN2022/079328 WO2023115707A1 (zh) | 2021-12-21 | 2022-03-04 | 一种双源内窥手术导航系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111569993.0A CN113952033B (zh) | 2021-12-21 | 2021-12-21 | 一种双源内窥手术导航系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113952033A true CN113952033A (zh) | 2022-01-21 |
| CN113952033B CN113952033B (zh) | 2022-04-19 |
Family
ID=79473378
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111569993.0A Active CN113952033B (zh) | 2021-12-21 | 2021-12-21 | 一种双源内窥手术导航系统及方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113952033B (zh) |
| WO (1) | WO2023115707A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023115707A1 (zh) * | 2021-12-21 | 2023-06-29 | 广东欧谱曼迪科技有限公司 | 一种双源内窥手术导航系统及方法 |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040044295A1 (en) * | 2002-08-19 | 2004-03-04 | Orthosoft Inc. | Graphical user interface for computer-assisted surgery |
| US20050203343A1 (en) * | 2004-03-05 | 2005-09-15 | Korea Electrotechnology Research Institute | Fluorescent endoscope system having improved image detection module |
| US20080071141A1 (en) * | 2006-09-18 | 2008-03-20 | Abhisuek Gattani | Method and apparatus for measuring attributes of an anatomical feature during a medical procedure |
| CN105411677A (zh) * | 2014-09-16 | 2016-03-23 | X-Nav技术有限责任公司 | 用于探测和追踪图像姿态的图像导航系统 |
| CN106102647A (zh) * | 2014-03-17 | 2016-11-09 | 直观外科手术操作公司 | 用于利用基准标记的台姿态跟踪的方法和装置 |
| CN106420057A (zh) * | 2016-11-23 | 2017-02-22 | 北京锐视康科技发展有限公司 | 一种pet‑荧光双模态术中导航成像系统及其成像方法 |
| CN107260305A (zh) * | 2017-06-16 | 2017-10-20 | 青岛大学附属医院 | 计算机辅助微创手术系统 |
| CN107536643A (zh) * | 2017-08-18 | 2018-01-05 | 北京航空航天大学 | 一种前交叉韧带重建的增强现实手术导航系统 |
| CN207429159U (zh) * | 2017-04-14 | 2018-06-01 | 苏州影睿光学科技有限公司 | 基于近红外成像的手术导航系统 |
| CN108348134A (zh) * | 2016-02-10 | 2018-07-31 | 奥林巴斯株式会社 | 内窥镜系统 |
| CN108478174A (zh) * | 2018-03-20 | 2018-09-04 | 广东欧谱曼迪科技有限公司 | 基于曝光反馈的双相机系统及其术中荧光导航调整方法 |
| JP2019072259A (ja) * | 2017-10-17 | 2019-05-16 | 国立大学法人千葉大学 | 内視鏡画像処理プログラム、内視鏡システム及び内視鏡画像処理方法 |
| CN111772792A (zh) * | 2020-08-05 | 2020-10-16 | 山东省肿瘤防治研究院（山东省肿瘤医院） | 基于增强现实和深度学习的内窥镜手术导航方法、系统和可读存储介质 |
| CN111887817A (zh) * | 2020-08-27 | 2020-11-06 | 复旦大学附属中山医院 | 一种吲哚菁绿荧光联合多模态影像引导肝脏门静脉流域显影方法 |
| CN112132944A (zh) * | 2020-09-30 | 2020-12-25 | 湖南能创科技有限责任公司 | 一种基于增强现实的工业内窥影像实现方法及系统 |
| US20210049762A1 (en) * | 2015-09-18 | 2021-02-18 | Auris Health, Inc. | Navigation of tubular networks |
| US20210128243A1 (en) * | 2019-11-01 | 2021-05-06 | Chang Bing Show Chwan Memorial Hospital | Augmented reality method for endoscope |
| CN113453606A (zh) * | 2018-12-20 | 2021-09-28 | 阿克拉伦特公司 | 具有双图像传感器的内窥镜 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107874832B (zh) * | 2017-11-22 | 2020-03-10 | 合肥美亚光电技术股份有限公司 | 骨科手术器械导航系统及方法 |
| CN108577791B (zh) * | 2018-05-16 | 2020-05-12 | 广东欧谱曼迪科技有限公司 | 一种荧光导航内窥镜系统及其增强荧光成像灵敏度的方法 |
| US11172184B2 (en) * | 2018-12-13 | 2021-11-09 | Covidien Lp | Systems and methods for imaging a patient |
| CN110720985A (zh) * | 2019-11-13 | 2020-01-24 | 安徽领航智睿科技有限公司 | 一种多模式引导的手术导航方法和系统 |
| CA3103096A1 (en) * | 2019-12-16 | 2021-06-16 | Orthosoft Ulc | Method and system for spine tracking in computer-assisted surgery |
| CN113952033B (zh) * | 2021-12-21 | 2022-04-19 | 广东欧谱曼迪科技有限公司 | 一种双源内窥手术导航系统及方法 |
-
2021
- 2021-12-21 CN CN202111569993.0A patent/CN113952033B/zh active Active
-
2022
- 2022-03-04 WO PCT/CN2022/079328 patent/WO2023115707A1/zh unknown
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040044295A1 (en) * | 2002-08-19 | 2004-03-04 | Orthosoft Inc. | Graphical user interface for computer-assisted surgery |
| US20050203343A1 (en) * | 2004-03-05 | 2005-09-15 | Korea Electrotechnology Research Institute | Fluorescent endoscope system having improved image detection module |
| US20080071141A1 (en) * | 2006-09-18 | 2008-03-20 | Abhisuek Gattani | Method and apparatus for measuring attributes of an anatomical feature during a medical procedure |
| CN106102647A (zh) * | 2014-03-17 | 2016-11-09 | 直观外科手术操作公司 | 用于利用基准标记的台姿态跟踪的方法和装置 |
| CN105411677A (zh) * | 2014-09-16 | 2016-03-23 | X-Nav技术有限责任公司 | 用于探测和追踪图像姿态的图像导航系统 |
| US20210049762A1 (en) * | 2015-09-18 | 2021-02-18 | Auris Health, Inc. | Navigation of tubular networks |
| CN108348134A (zh) * | 2016-02-10 | 2018-07-31 | 奥林巴斯株式会社 | 内窥镜系统 |
| CN106420057A (zh) * | 2016-11-23 | 2017-02-22 | 北京锐视康科技发展有限公司 | 一种pet‑荧光双模态术中导航成像系统及其成像方法 |
| CN207429159U (zh) * | 2017-04-14 | 2018-06-01 | 苏州影睿光学科技有限公司 | 基于近红外成像的手术导航系统 |
| CN107260305A (zh) * | 2017-06-16 | 2017-10-20 | 青岛大学附属医院 | 计算机辅助微创手术系统 |
| CN107536643A (zh) * | 2017-08-18 | 2018-01-05 | 北京航空航天大学 | 一种前交叉韧带重建的增强现实手术导航系统 |
| JP2019072259A (ja) * | 2017-10-17 | 2019-05-16 | 国立大学法人千葉大学 | 内視鏡画像処理プログラム、内視鏡システム及び内視鏡画像処理方法 |
| CN108478174A (zh) * | 2018-03-20 | 2018-09-04 | 广东欧谱曼迪科技有限公司 | 基于曝光反馈的双相机系统及其术中荧光导航调整方法 |
| CN113453606A (zh) * | 2018-12-20 | 2021-09-28 | 阿克拉伦特公司 | 具有双图像传感器的内窥镜 |
| US20210128243A1 (en) * | 2019-11-01 | 2021-05-06 | Chang Bing Show Chwan Memorial Hospital | Augmented reality method for endoscope |
| CN111772792A (zh) * | 2020-08-05 | 2020-10-16 | 山东省肿瘤防治研究院（山东省肿瘤医院） | 基于增强现实和深度学习的内窥镜手术导航方法、系统和可读存储介质 |
| CN111887817A (zh) * | 2020-08-27 | 2020-11-06 | 复旦大学附属中山医院 | 一种吲哚菁绿荧光联合多模态影像引导肝脏门静脉流域显影方法 |
| CN112132944A (zh) * | 2020-09-30 | 2020-12-25 | 湖南能创科技有限责任公司 | 一种基于增强现实的工业内窥影像实现方法及系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023115707A1 (zh) * | 2021-12-21 | 2023-06-29 | 广东欧谱曼迪科技有限公司 | 一种双源内窥手术导航系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023115707A1 (zh) | 2023-06-29 |
| CN113952033B (zh) | 2022-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10948415B2 (en) | Method of determining surgical margins using fluorescence biopsy specimen imager | |
| EP3614928B1 (en) | Tissue imaging system | |
| Sato et al. | Image guidance of breast cancer surgery using 3-D ultrasound images and augmented reality visualization | |
| US9510914B2 (en) | System and methods for intraoperative guidance feedback | |
| KR101572487B1 (ko) | 환자와 3차원 의료영상의 비침습 정합 시스템 및 방법 | |
| CN102843972B (zh) | 用于将图像与管状结构融合的基于仪器的图像配准 | |
| US10758209B2 (en) | Photoacoustic tracking and registration in interventional ultrasound | |
| US10055848B2 (en) | Three-dimensional image segmentation based on a two-dimensional image information | |
| CN110584783B (zh) | 外科手术导航系统 | |
| JP2016539744A (ja) | 医療映像を用いた血管分析情報提供方法及び装置 | |
| CN113974830A (zh) | 一种用于超声引导甲状腺肿瘤热消融的手术导航系统 | |
| CN106456254B (zh) | 用于对第二目标内的第一目标进行成像的成像装置 | |
| CN113952033B (zh) | 一种双源内窥手术导航系统及方法 | |
| CN112656369A (zh) | 一种基于ar技术的近红外荧光甲状旁腺的识别增强方法 | |
| CN114882093B (zh) | 术中三维点云生成方法、装置和术中局部结构导航方法 | |
| CN213030699U (zh) | 一种成像系统 | |
| van der Schot et al. | Computer‐assisted fetal laser surgery in the treatment of twin‐to‐twin transfusion syndrome: Recent trends and prospects | |
| CN112704474A (zh) | 一种用于检测甲状旁腺位置的ar检测眼镜 | |
| CN111671466A (zh) | 一种成像系统 | |
| Paolucci et al. | Ultrasound based planning and navigation for non-anatomical liver resections–an Ex-Vivo study | |
| CN112704473A (zh) | 一种甲状旁腺的位置增强设备 | |
| CN111658141B (zh) | 一种胃切除术端口位置导航系统、装置及存储介质 | |
| Fu et al. | A novel intrarenal multimodal 2D/3D registration algorithm and preliminary phantom study | |
| US11941765B2 (en) | Representation apparatus for displaying a graphical representation of an augmented reality | |
| US20240144497A1 (en) | 3D Spatial Mapping in a 3D Coordinate System of an AR Headset Using 2D Images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 528253 Room 503, Floor 5, Building A, Jingu Zhichuang Industrial Community, No. 2, Yong'an North Road, Dawu Community, Guicheng Street, Nanhai District, Foshan City, Guangdong Province (residence declaration) Patentee after: Guangdong Oupu Mandi Technology Co.,Ltd. Address before: Room B, room 504-2, floor 5, block a, Jingu photoelectric community, No. 1, Yongan North Road, Pingzhou, Guicheng Street, Nanhai District, Foshan City, Guangdong Province, 528251 Patentee before: GUANGDONG OPTOMEDIC TECHNOLOGY CO.,LTD. |
|
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Guo Zhifei Inventor after: Ren Junyu Inventor after: Zhong Wenzhao Inventor after: Chen Zihao Inventor after: Liang Jiangrong Inventor after: An Xin Inventor before: Guo Zhifei Inventor before: Ren Junyu Inventor before: Liang Jiangrong Inventor before: An Xin |