CN107374729B - 基于ar技术的手术导航系统及方法 - Google Patents
基于ar技术的手术导航系统及方法 Download PDFInfo
- Publication number
- CN107374729B CN107374729B CN201710719544.7A CN201710719544A CN107374729B CN 107374729 B CN107374729 B CN 107374729B CN 201710719544 A CN201710719544 A CN 201710719544A CN 107374729 B CN107374729 B CN 107374729B
- Authority
- CN
- China
- Prior art keywords
- positioning
- image
- dynamic
- real
- patient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005516 engineering process Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 title abstract description 30
- 239000011521 glass Substances 0.000 claims abstract description 66
- 238000004088 simulation Methods 0.000 claims abstract description 36
- 230000003287 optical effect Effects 0.000 claims description 34
- TZCXTZWJZNENPQ-UHFFFAOYSA-L barium sulfate Chemical compound [Ba+2].[O-]S([O-])(=O)=O TZCXTZWJZNENPQ-UHFFFAOYSA-L 0.000 claims description 20
- 230000003068 static effect Effects 0.000 claims description 17
- 239000011248 coating agent Substances 0.000 claims description 11
- 238000000576 coating method Methods 0.000 claims description 11
- 230000003190 augmentative effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 7
- 210000003484 anatomy Anatomy 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 3
- 238000001356 surgical procedure Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002594 fluoroscopy Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003287 bathing Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
Abstract
本发明公开了一种基于AR技术的手术导航系统及方法，所述术导航系统包括扫描装置、处理器、动态定位获取装置和AR眼镜；扫描装置在手术前对患者进行扫描以获取扫描图像数据并发送至处理器；处理器接收扫描图像数据并生成患者的三维模拟图像；动态定位获取装置在手术中获取患者在动态定位获取装置坐标系中的定位图像和第一实时动态数据，还用于获取AR眼镜在动态定位获取装置坐标系中的第二实时动态数据，并发送至处理器；处理器根据三维模拟图像、定位图像、第一实时动态数据和第二实时动态数据生成三维导航图像并发送至AR眼镜；AR眼镜接收并显示三维导航图像。本发明能够在AR眼镜中动态呈现手术过程并与患者精准叠加。
Description
技术领域
本发明涉及一种基于AR技术的手术导航系统及方法。
背景技术
现有技术中，为了使医生能够清晰的了解手术器械相对病人解剖结构的位置，普遍采用计算机辅助导航技术，该导航技术的工作原理为：在患者的手术部位附近和手术器械上安装能够发出信号的装置，通常采用红外线作为发射源、CCD(电荷耦合元件)相机为接收器，利用发出的信号对患者的骨骼位置和手术器械的位置以及运动轨迹进行跟踪，同时将这些信息通过显示器展示给医生；在术中进行患者手术部位的X线透视，并将透视图像与得到的患者骨骼位置和手术器械位置图像进行合成，从而得到医生进行手术采用的导航图像。
由于上述导航系统是将定位和引导信息显示在系统屏幕上，医生通过观察导航屏幕上的图像来进行手术操作，使得导航信息与手术场景相分离。术中，医生为了观察手术器械相对于病人解剖结构的位置，不得不在病人手术部位和导航屏幕之间来回切换视野，这不利于医生将注意力集中于病人手术部位进行手术，会干扰手术进程并加大导航定位误差。
另一方面，导航信息不易理解。医生主要利用导航系统屏幕上显示的叠加了手术器械信息的断层图像来进行术中定位，而这些图像并不能很好地反映出病人当前体位，使得医生不能直观地理解真实手术场景中手术器械与实际病人解剖结构间的空间位置关系，造成手术导航系统的作用不能得到充分发挥。
发明内容
本发明要解决的技术问题是为了克服现有技术中AR眼镜中的导航信息与实际手术场景不能精准的动态叠加的缺陷，提供一种基于AR技术的手术导航系及方法。
本发明是通过下述技术方案解决上述技术问题：
一种基于AR技术的手术导航系统，包括扫描装置、处理器、动态定位获取装置和AR眼镜；
所述扫描装置用于在手术前对患者进行扫描以获取扫描图像数据并发送至所述处理器；
所述处理器用于接收所述扫描图像数据并生成所述患者的三维模拟图像；
所述动态定位获取装置用于在手术中获取患者在动态定位获取装置坐标系中的定位图像和第一实时动态数据并发送至所述处理器，还用于获取所述AR眼镜在所述动态定位获取装置坐标系中的第二实时动态数据并发送至所述处理器；
所述处理器还用于根据所述定位图像将所述三维模拟图像在所述动态定位获取装置坐标系中进行静态注册，并根据所述第一实时动态数据将静态注册后的三维模拟图像与所述患者进行动态配准；
所述处理器根据所述第二实时动态数据和所述第一实时动态数据获取所述患者在AR眼镜坐标系中的坐标数据，并结合动态配准后的三维模拟图像生成与实际环境中患者实时重合的三维导航图像并发送至所述AR眼镜，所述静态注册是获取实际患者在动态定位获取装置坐标系的坐标，所述动态配准是获取患者在动态定位获取装置坐标系的动态坐标。
所述AR眼镜用于接收并显示所述三维导航图像。
较佳地，所述动态定位获取装置包括光学动态追踪设备和定位摄像设备，所述定位摄像设备在所述动态定位获取装置坐标系中的坐标为一预设坐标；
所述光学动态追踪设备用于获取所述第一实时动态数据和所述第二实时动态数据；
所述定位摄像设备用于获取所述定位图像；
所述处理器还用于根据所述预设坐标和所述定位图像生成坐标参数，并根据所述坐标参数进行所述静态注册。
较佳地，所述动态定位获取装置还包括若干个标记部件，所述标记部件包括定位部件和动态追踪部件；所述定位部件和所述动态追踪部件贴附在距离患者手术部位一定预设范围内的身体上，所述动态追踪部件还设置在所述AR眼镜上；
所述扫描装置用于在手术前获取包含有定位部件图像的扫描图像数据；
所述定位摄像设备用于在手术中获取包含有定位部件图像和动态追踪部件图像的定位图像；
所述光学动态追踪设备用于在手术中识别所述动态追踪部件以获取所述第一实时动态数据和所述第二实时动态数据。
较佳地所述定位部件的正面图案和反面图案相同；
所述正面图案为硫酸钡的涂痕，所述扫描装置用于在手术前扫描获取包含有所述涂痕的扫描图像数据，所述扫描装置包括CT设备，硫酸钡能够被CT设备的X线显影；
所述反面图案在贴附所述定位部件时印制在患者皮肤上形成水印图案，所述定位摄像设备用于在手术中获取包含有所述水印图案的定位图像，患者做完CT后，将定位标记移除，反面图案的水印图案可以留在皮肤上一周左右的时间。
较佳地，所述动态追踪部件还设置在手术器械上；
所述定位摄像设备用于在手术中获取包含有定位部件图像、动态追踪部件图像和手术器械图像的定位图像；
所述光学动态追踪设备还用于在手术中识别所述动态追踪部件以获取所述手术器械的第三实时动态数据；
所述处理器用于根据所述第一实时动态数据和所述第三实时动态数据将静态注册后的三维模拟图像与所述患者进行动态配准。
一种基于AR技术的手术导航方法，所述手术导航方法利用如上各优选项任意组合的手术导航系统实现，包括：
所述扫描装置在手术前对患者进行扫描以获取扫描图像数据并发送至所述处理器，所述处理器接收所述扫描图像数据并生成所述患者的三维模拟图像；
所述动态定位获取装置在手术中获取患者在动态定位获取装置坐标系中的定位图像和第一实时动态数据并发送至所述处理器，还用于获取所述AR眼镜在所述动态定位获取装置坐标系中的第二实时动态数据并发送至所述处理器；
所述处理器根据所述定位图像将所述三维模拟图像在所述动态定位获取装置坐标系中进行静态注册，并根据所述第一实时动态数据将静态注册后的三维模拟图像与所述患者进行动态配准；
所述处理器根据所述第二实时动态数据和所述第一实时动态数据获取所述患者在AR眼镜坐标系中的坐标数据，并结合动态配准后的三维模拟图像生成与实际环境中患者实时重合的三维导航图像并发送至所述AR眼镜；
所述AR眼镜接收并显示所述三维导航图像。
较佳地，所述动态定位获取装置包括光学动态追踪设备和定位摄像设备，所述定位摄像设备在所述动态定位获取装置坐标系中的坐标为一预设坐标；
所述光学动态追踪设备获取所述第一实时动态数据和所述第二实时动态数据，所述定位摄像设备用于获取所述定位图像；
所述处理器根据所述预设坐标和所述定位图像生成坐标参数，并根据所述坐标参数进行所述静态注册。
较佳地，所述动态定位获取装置还包括若干个标记部件，所述标记部件包括定位部件和动态追踪部件；所述定位部件和所述动态追踪部件贴附在距离患者手术部位一定预设范围内的身体上，所述动态追踪部件还设置在所述AR眼镜上；
所述扫描装置在手术前获取包含有定位部件图像的扫描图像数据；
所述定位摄像设备在手术中获取包含有定位部件图像和动态追踪部件图像的定位图像；
所述光学动态追踪设备在手术中识别所述动态追踪部件以获取所述第一实时动态数据和所述第二实时动态数据。
较佳地，所述定位部件的正面图案和反面图案相同；
所述正面图案为硫酸钡的涂痕，所述扫描装置在手术前扫描获取包含有所述涂痕的扫描图像数据；
所述反面图案在贴附所述定位部件时印制在患者皮肤上形成水印图案，所述定位摄像设备在手术中获取包含有所述水印图案的定位图像。
较佳地，所述动态追踪部件还设置在手术器械上；
所述定位摄像设备在手术中获取包含有定位部件图像、动态追踪部件图像和手术器械图像的定位图像；
所述光学动态追踪设备在手术中识别所述动态追踪部件以获取所述手术器械的第三实时动态数据；
所述处理器根据所述第一实时动态数据和所述第三实时动态数据将静态注册后的三维模拟图像与所述患者进行动态配准。
本发明的积极进步效果在于：本发明的手术导航系统通过扫描设备获取患者三维模拟图像，并依靠动态定位获取装置实时将患者和手术器械的实时动态数据叠加到三维模拟图像中，再结合AR眼镜的实时动态数据，使得在AR眼镜中呈现的图像与现实环境中的患者精准叠加，同时更直观的呈现手术器械相对患者解剖结构的空间位置图，更好的辅助医生进行手术。
附图说明
图1为本发明实施例1的基于AR技术的手术导航系统的结构框图。
图2为本发明实施例2的基于AR技术的手术导航系统的结构框图。
图3为本发明实施例3的基于AR技术的手术导航系统的结构框图。
图4为本发明实施例5的基于AR技术的手术导航系统的结构框图。
图5为本发明实施例6的基于AR技术的手术导航方法的流程图。
图6为本发明实施例6的基于AR技术的手术导航方法中生成三维导航图像的流程图。
图7为本发明实施例7的基于AR技术的手术导航方法的流程图。
图8为本发明实施例7的基于AR技术的手术导航方法中生成三维导航图像的流程图。
图9为本发明实施例8的基于AR技术的手术导航方法的流程图。
图10为本发明实施例9的基于AR技术的手术导航方法的流程图。
图11为本发明实施例10的基于AR技术的手术导航方法的流程图。
图12为本发明实施例10的基于AR技术的手术导航方法中生成三维导航图像的流程图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。下列实施例中未注明具体条件的实验方法，按照常规方法和条件，或按照商品说明书选择。
实施例1
一种基于AR技术的手术导航系统，具体如图1所示，包括扫描装置1、处理器2、动态定位获取装置3和AR眼镜4，其中，扫描装置1、动态定位获取装置3和AR眼镜4分别与处理器2通信连接。
扫描装置1用于在手术前对患者5进行扫描以获取扫描图像数据并发送至处理器2，本实施例中的扫描装置1可以为CT设备，患者经过CT设备扫描后会生成多张断层图像，这些断层图像即上述的扫描图像数据。
处理器2用于接收扫描图像数据，并根据扫描图像数据生成患者5的三维模拟图像，需要说明的是，生成的三维模拟图像与患者5为一比一等比例模拟，并且，通过该三维模拟图像可以观察到患者5的骨骼、血管、肌肉组织等。
另外，在患者5位于动态定位获取装置3的有效测试范围内时，动态定位获取装置3可以在手术中获取患者5在动态定位获取装置坐标系中的初始静态的定位图像和第一实时动态数据，并将这些信息发送至处理器2，处理器2通过机器视觉算法对定位图像进行处理，从定位图像中获取目标图像，并计算出目标图像在动态定位获取装置坐标系中的坐标参数。
同时，动态定位获取装置3还用于获取AR眼镜4在动态定位获取装置坐标系中的第二实时动态数据并发送至处理器2。具体地说，可以在AR眼镜上设置可被动态定位获取装置3追踪的标记部件，动态定位获取装置3通过追踪该标记部件进而获取AR眼镜4在动态定位获取装置坐标系中的第二实时动态数据。
上述提到的处理器2还用于根据患者5的坐标参数将三维模拟图像在动态定位获取装置坐标系中进行静态注册，并根据第一实时动态数据将静态注册后的三维模拟图像与患者5进行动态配准。需要解释的是，静态注册就是将处理器2中存储的三维模拟图像放入到动态定位获取装置坐标系中，使得三维模拟图像的坐标与实际环境中患者5的坐标是相同的。动态配准就是根据获取的第一实时动态数据，使三维模拟图像和现实环境中患者5同步运动。
考虑到在手术时，佩戴AR眼镜4的医生不可避免的需要移动，为了方便医生手术观察，本实施例可以将AR眼镜4中的虚拟成像与现实环境中的患者5进行实时重合，具体如下：
处理器2根据第二实时动态数据和第一实时动态数据获取患者5在AR坐标系中的坐标数据，并结合动态配准后的三维模拟图像生成与实际环境中患者实时重合的三维导航图像并发送至AR眼镜4，AR眼镜4用于接收并显示三维导航图像。
也就是说，以AR眼镜4为视点，并以该视点为坐标原点构建AR坐标系，实时计算出患者5在AR坐标系中的坐标数据，并将注册配准后的三维模拟图像移入到该坐标数据代表的位置。而在实际情况中，患者5在动态定位获取装置坐标系中的坐标是能够被获取的，AR眼镜4在动态定位获取装置坐标系中的坐标也是能够被获取的，不难理解，通过处理器2将患者5在动态定位获取装置坐标系中的坐标减去AR眼镜4在动态定位获取装置坐标系中的坐标，即可得到患者5在AR坐标系中的坐标，从而处理器2将注册配准后的三维模拟图像放入AR坐标系的相应坐标中，便可生成三维导航图像，并且，该三维导航图像与实际环境中的患者5是实时重合的。
在手术时，即使佩戴AR眼镜4的医生位置发生移动，处理器2也会实时根据AR眼镜4以及患者5在动态定位获取装置坐标系中的坐标，间接计算出患者5在AR坐标系中的坐标，将注册配准后的三维模拟图像放入AR坐标系中，确保医生在AR眼镜4中看到的虚拟图像与现实环境中的患者是实时重合的，使得在AR眼镜4中呈现的图像与现实环境中的患者5精准叠加，从而便于医生对患者的实体以及虚拟成像进行观察，有利于手术的开展。
实施例2
本实施例的基于AR眼镜的手术导航系统是在实施例1的基础上进一步改进，具体如图2所示，动态定位获取装置3包括光学动态追踪设备32和定位摄像设备31，比如NDI光学动态追踪设备和双目摄像机，光学动态追踪设备32用于获取第一实时动态数据和第二实时动态数据；定位摄像设备31用于获取定位图像。处理器2还用于根据预设坐标和定位图像生成坐标参数，该坐标参数即表示患者在动态定位获取装置坐标系中的位置。处理器2根据坐标参数将将三维模拟图像在动态定位获取装置坐标系中进行静态注册。
需要说明的是，定位摄像设备31在动态定位获取装置坐标系中的坐标为一预设坐标，即定位摄像设备31在动态定位获取装置坐标系中的的位置已知，本实施例以NDI光学动态追踪设备和双目摄像机为例进行具体说明。
双目摄像机位于NDI光学动态追踪设备的有效追踪范围内，NDI光学动态追踪设备可以获取双目摄像机的坐标位置。具体实现方式是，可以通过在双目摄像机上装设能够被NDI光学动态追踪设备追踪的定位标记，该定位标记可以是有源标记也可以是无源标记，本实施例对此不作具体限定。NDI光学动态追踪设备通过追踪定位标记发射的红外光或定位标记反射的红外光，从而获取双目摄像机在动态定位获取装置坐标系下的坐标，并发送至处理器2。
值得注意的是，光学动态追踪设备32也是具有定位测距的功能，但是精度小于专业的定位摄像设备，因此，为确保手术过程中获取到的动、静态数据的精度，本实施例选用光学动态追踪设备和定位摄像设备两种设备，由光学动态追踪设备获取患者5的第一实时动态数据和AR眼镜4的第二实时动态数据，由定位摄像设备获取患者5的定位图像，其中由于定位摄像设备在动态定位获取装置坐标系中的坐标为一预设坐标，再结合定位图像即可完成静态注册。
实施例3
本实施例的基于AR眼镜的手术导航系统是在实施例2的基础上进一步改进，具体如图3所示，动态定位获取装置3还包括若干个标记部件，标记部件包括定位部件61和动态追踪部件62；定位部件61和动态追踪部件62贴附在距离患者手术部位一定预设范围内的身体上，动态追踪部件62还设置在AR眼镜4上；
扫描装置1用于在手术前获取包含有定位部件图像的扫描图像数据；
定位摄像设备31用于在手术中获取包含有定位部件图像和动态追踪部件图像的定位图像；
光学动态追踪设备32用于在手术中识别动态追踪部件以获取第一实时动态数据和第二实时动态数据.
本实施例中，通过在患者和AR眼镜上设有定位部件和动态追踪部件，定位部件能够被定位摄像设备识别，动态追踪部件能够被光学动态追踪设备识别。
实施例4
本实施例的基于AR眼镜的手术导航系统是在实施例3的基础上进一步改进，主要改进之处在于：定位部件的正面图案和反面图案相同，正面图案为硫酸钡的涂痕，扫描装置用于在手术前扫描获取包含有涂痕的扫描图像数据；反面图案在贴附定位部件时印制在患者皮肤上形成水印图案，定位摄像设备用于在手术中获取包含有水印图案的定位图像。
需要解释的是，考虑到在实际情况中，患者扫描与手术并不是同期进行，中间往往存在间隔，间隔的时间可以是三天、五天或者一周，在此期间，患者进行的生活活动，例如洗澡、睡觉等，这些行为可能会导致定位部件偏移，使得在手术时，定位摄像设备获取的含有定位部件图像的定位图像不准确，从而影响三维模拟图像在动态定位获取装置坐标系中的定位。因此，反面图案在贴附定位部件时可以印制在患者皮肤上形成水印图案，水印图案可以在患者体表保持一段时间，避免发生偏移。
本实施例中，定位部件为薄膜状，正反面设有图案且相同，图案可以是网格状、同心圆、等距点等，定位部件上设有1个或多个特殊点，用于在手术过程中进行定位参考，定位部件的正面采用硫酸钡的涂痕，硫酸钡能够被CT设备的X线显影即能够实现被CT设备识别。
实施例5
本实施例的基于AR眼镜的手术导航系统是在实施例3的基础上进一步改进，具体如图4所示，动态追踪部件还设置在手术器械7上；
定位摄像设备31用于在手术中获取包含有定位部件图像、动态追踪部件图像和手术器械图像的定位图像；
光学动态追踪设备32还用于在手术中识别动态追踪部件62以获取手术器械7的第三实时动态数据；
处理器2用于根据第一实时动态数据和第三实时动态数据将静态注册后的三维模拟图像与患者进行动态配准。
值得一提的是，手术导航系统还包括报警装置，报警装置与处理器通信连接。而三维导航图像上标记有提醒部位，该提醒部位可以是重要的血管或者神经等，处理器实时计算手术器械与提醒部位之间的最小距离，当手术器械与提醒部位之间的最小距离小于或等于预设值时，处理器控制报警装置发出提醒信号，提醒医生需小心操作，当手术器械与提醒部位之间的最小距离小于或等于预设危险值时，处理器控制报警装置发出警示信号，提醒医生当前操作风向较高，通过上述报警装置提高手术的安全系数。
本实施例中，通过在手术器械上设置标记部件，手术过程中实时获取手术器械的动态数据并纳入到三维模拟图像中，使得医生能够更加直观的呈现手术器械相对于患者解剖结构的空间位置图，更好的辅助医生进行手术。
实施例6
如图5-6所示，一种基于AR技术的手术导航方法，其特征在于，手术导航方法利用实施例1中的手术导航系统实现，包括一下步骤：
步骤101、扫描装置在手术前对患者进行扫描以获取扫描图像数据并发送至处理器；
步骤102、处理器接收扫描图像数据并生成患者的三维模拟图像；
步骤103、动态定位获取装置在手术中获取患者在动态定位获取装置坐标系中的定位图像和第一实时动态数据并发送至处理器，获取AR眼镜在动态定位获取装置坐标系中的第二实时动态数据并发送至处理器；
步骤104、处理器根据接收到的三维模拟图像、定位图像、第一实时动态数据和第二实时动态数据生成三维导航图像并发送至AR眼镜；
具体的，包括以下步骤：
步骤1041、根据定位图像将三维模拟图像在动态定位获取装置坐标系中进行静态注册；
步骤1042、根据第一实时动态数据将静态注册后的三维模拟图像与患者进行动态配准；
步骤1043、根据第二实时动态数据和第一实时动态数据获取患者在AR眼镜坐标系中的坐标数据，并结合和动态配准后的三维模拟图像生成与实际环境中患者实时重合的三维导航图像。
步骤105、AR眼镜接收并显示三维导航图像。
本实施例中，通过扫描设备获取患者三维模拟图像，并依靠动态定位获取装置实时的将患者的实时动态数据叠加到三维模拟图像中，再结合AR眼镜的实时动态数据，使得在AR眼镜中呈现的图像与现实环境中的患者精准叠加，更好的辅助医生进行手术。
实施例7
如图7-8所示，本实施例的基于AR眼镜的手术导航方法是在实施例6的基础上进一步改进，动态定位获取装置包括光学动态追踪设备和定位摄像设备，定位摄像设备在动态定位获取装置坐标系中的坐标为一预设坐标；
步骤103用步骤103a替换：
步骤103a、定位摄像设备在手术中获取患者在动态定位获取装置坐标系中的定位图像并发送至处理器，光学动态追踪设备获取手术中患者在动态定位获取装置坐标系中的第一实时动态数据和AR眼镜的第二实时动态数据并发送至处理器。
步骤1041用步骤1041a替换：
1041a、处理器根据预设坐标和定位图像生成坐标参数，并根据坐标参数进行静态注册。
本实施例中，为确保手术过程中获取到的动静态数据的精度，结合光学动态追踪设备和定位摄像设备两种设备，由光学动态追踪设备获取患者的第一实时动态数据和AR眼镜的第二实时动态数据，由定位摄像设备获取患者的定位图像，其中由于定位摄像设备在动态定位获取装置坐标系中的坐标为一预设坐标，再结合定位图像即可完成静态注册。
实施例8
如图9所示，本实施例的基于AR眼镜的手术导航方法是在实施例7的基础上进一步改进，动态定位获取装置还包括若干个标记部件，标记部件包括定位部件和动态追踪部件；定位部件和动态追踪部件贴附在距离患者手术部位一定预设范围内的身体上，动态追踪部件还设置在AR眼镜上；
步骤101用步骤101a替换：
步骤101a、扫描装置在手术前对患者进行扫描以获取包含有定位部件图像的扫描图像数据并发送至处理器；
步骤103a用步骤103b替换：
步骤103b、定位摄像设备在手术中获取在动态定位获取装置坐标系中的包含有定位部件图像和动态追踪部件图像的定位图像并发送至处理器，光学动态追踪设备在手术中识别动态追踪部件以获取手术中患者在动态定位获取装置坐标系中的第一实时动态数据和AR眼镜的第二实时动态数据并发送至处理器。
本实施例中，通过在患者和AR眼镜上设有定位部件和动态追踪部件，定位部件能够被定位摄像设备识别，动态追踪部件能够被光学动态追踪设备识别。
实施例9
如图10所示，本实施例的基于AR眼镜的手术导航方法是在实施例8的基础上进一步改进，定位部件的正面图案和反面图案相同；正面图案为硫酸钡的涂痕，反面图案在贴附定位部件时印制在患者皮肤上形成水印图案；
步骤101a用步骤101b替换：
步骤101b、扫描装置在手术前对患者进行扫描以获取包含有涂痕的扫描图像数据并发送至处理器；
步骤103b用步骤103c替换：
步骤103c、定位摄像设备在手术中获取在动态定位获取装置坐标系中的包含有水印图案和动态追踪部件图像的定位图像并发送至处理器，光学动态追踪设备在手术中识别动态追踪部件以获取手术中患者在动态定位获取装置坐标系中的第一实时动态数据和AR眼镜的第二实时动态数据并发送至处理器。
本实施例中，定位部件为薄膜状，正反面设有图案且相同，图案可以是网格状、同心圆、等距点等，定位部件上设有1个或多个特殊点，用于在手术过程中进行定位参考，定位部件的正面采用硫酸钡的涂痕，硫酸钡能够被CT设备的X线显影即能够实现被CT设备识别，另外，由于一般患者做完CT后，往往不能即可进行手术，则需要定位部件长时间贴在患者上，这种情况下，定位标记部件很容易移为且不方便，通过印制的方式使得水印图案保留在患者上，水印图案可以保留一周时间。
实施例10
如图11-12所示，本实施例的基于AR眼镜的手术导航方法是在实施例8的基础上进一步改进，动态追踪部件还设置在手术器械上；
步骤103b用步骤103d替换：
步骤103d、定位摄像设备在手术中获取在动态定位获取装置坐标系中的包含有定位部件图像、动态追踪部件图像和手术器械图像的定位图像并发送至处理器，光学动态追踪设备在手术中识别动态追踪部件以获取手术中患者在动态定位获取装置坐标系中的第一实时动态数据、AR眼镜的第二实时动态数据和手术器械的第三实时动态数据并发送至处理器。
步骤1042用步骤1042b替换：
步骤1042b、根据第一实时动态数据和第三实时动态数据将静态注册后的三维模拟图像与患者进行动态配准。
本实施例中，通过在手术器械上设置标记部件，手术过程中实时获取手术器械的动态数据并纳入到三维模拟图像中，使得医生能够更加直观的呈现手术器械相对于患者解剖结构的空间位置图，更好的辅助医生进行手术。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。
Claims (3)
1.一种基于AR技术的手术导航系统，其特征在于，所述手术导航系统包括扫描装置、处理器、动态定位获取装置和AR眼镜；
所述扫描装置用于在手术前对患者进行扫描以获取扫描图像数据并发送至所述处理器；
所述处理器用于接收所述扫描图像数据并生成所述患者的三维模拟图像；
所述动态定位获取装置用于在手术中获取患者在动态定位获取装置坐标系中的定位图像和第一实时动态数据并发送至所述处理器，还用于获取所述AR眼镜在所述动态定位获取装置坐标系中的第二实时动态数据并发送至所述处理器；
所述处理器还用于根据所述定位图像将所述三维模拟图像在所述动态定位获取装置坐标系中进行静态注册，并根据所述第一实时动态数据将静态注册后的三维模拟图像与所述患者进行动态配准；
所述处理器根据所述第二实时动态数据和所述第一实时动态数据获取所述患者在AR眼镜坐标系中的坐标数据，并结合动态配准后的三维模拟图像生成与实际环境中患者实时重合的三维导航图像并发送至所述AR眼镜；
所述AR眼镜用于接收并显示所述三维导航图像；
所述动态定位获取装置包括光学动态追踪设备和定位摄像设备，所述定位摄像设备在所述动态定位获取装置坐标系中的坐标为一预设坐标；
所述光学动态追踪设备用于获取所述第一实时动态数据和所述第二实时动态数据；
所述定位摄像设备用于获取所述定位图像；
所述处理器还用于根据所述预设坐标和所述定位图像生成坐标参数，并根据所述坐标参数进行所述静态注册；
所述动态定位获取装置还包括若干个标记部件，所述标记部件包括定位部件和动态追踪部件；所述定位部件和所述动态追踪部件贴附在距离患者手术部位一定预设范围内的身体上，所述动态追踪部件还设置在所述AR眼镜上；
所述扫描装置用于在手术前获取包含有定位部件图像的扫描图像数据；
所述定位摄像设备用于在手术中获取包含有定位部件图像和动态追踪部件图像的定位图像；
所述光学动态追踪设备用于在手术中识别所述动态追踪部件以获取所述第一实时动态数据和所述第二实时动态数据。
2.如权利要求1所述的手术导航系统，其特征在于，所述定位部件的正面图案和反面图案相同；
所述正面图案为硫酸钡的涂痕，所述扫描装置用于在手术前扫描获取包含有所述涂痕的扫描图像数据；
所述反面图案在贴附所述定位部件时印制在患者皮肤上形成水印图案，所述定位摄像设备用于在手术中获取包含有所述水印图案的定位图像。
3.如权利要求1所述的手术导航系统，其特征在于，所述动态追踪部件还设置在手术器械上；
所述定位摄像设备用于在手术中获取包含有定位部件图像、动态追踪部件图像和手术器械图像的定位图像；
所述光学动态追踪设备还用于在手术中识别所述动态追踪部件以获取所述手术器械的第三实时动态数据；
所述处理器用于根据所述第一实时动态数据和所述第三实时动态数据将静态注册后的三维模拟图像与所述患者进行动态配准。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710719544.7A CN107374729B (zh) | 2017-08-21 | 2017-08-21 | 基于ar技术的手术导航系统及方法 |
| PCT/CN2018/099849 WO2019037606A1 (zh) | 2017-08-21 | 2018-08-10 | 基于ar技术的手术导航系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710719544.7A CN107374729B (zh) | 2017-08-21 | 2017-08-21 | 基于ar技术的手术导航系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107374729A CN107374729A (zh) | 2017-11-24 |
| CN107374729B true CN107374729B (zh) | 2021-02-23 |
Family
ID=60353855
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710719544.7A Active CN107374729B (zh) | 2017-08-21 | 2017-08-21 | 基于ar技术的手术导航系统及方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN107374729B (zh) |
| WO (1) | WO2019037606A1 (zh) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107374729B (zh) * | 2017-08-21 | 2021-02-23 | 刘洋 | 基于ar技术的手术导航系统及方法 |
| TWI741196B (zh) * | 2018-06-26 | 2021-10-01 | 華宇藥品股份有限公司 | 整合擴增實境之手術導航方法及系統 |
| CN108657074A (zh) * | 2018-06-29 | 2018-10-16 | 姜鹏飞 | 一种移动车辆内用户视觉增强的方法及装置 |
| CN109106448A (zh) * | 2018-08-30 | 2019-01-01 | 上海霖晏医疗科技有限公司 | 一种手术导航方法和装置 |
| CN109717957B (zh) * | 2018-12-27 | 2021-05-11 | 北京维卓致远医疗科技发展有限责任公司 | 基于混合现实的控制系统 |
| CN111374784B (zh) * | 2018-12-29 | 2022-07-15 | 海信视像科技股份有限公司 | 一种增强现实ar定位系统及方法 |
| CN109758231A (zh) * | 2019-03-05 | 2019-05-17 | 钟文昭 | 基于混合现实的胸腔内手术导航方法及系统 |
| CN109730771A (zh) * | 2019-03-19 | 2019-05-10 | 安徽紫薇帝星数字科技有限公司 | 一种基于ar技术的手术导航系统 |
| CN110215284B (zh) * | 2019-06-06 | 2021-04-02 | 上海木木聚枞机器人科技有限公司 | 一种可视化系统和方法 |
| TWI741536B (zh) * | 2020-03-20 | 2021-10-01 | 台灣骨王生技股份有限公司 | 基於混合實境的手術導航影像成像方法 |
| CN111588999B (zh) * | 2020-05-25 | 2022-07-08 | 李硕 | 手术导向模型、头戴可穿戴设备辅助手术导航系统 |
| CN112155727A (zh) * | 2020-08-31 | 2021-01-01 | 上海市第一人民医院 | 基于三维模型的手术导航系统、方法、设备和介质 |
| CN111973273A (zh) * | 2020-08-31 | 2020-11-24 | 上海交通大学医学院附属第九人民医院 | 基于ar技术的手术导航系统、方法、设备和介质 |
| CN112190331A (zh) * | 2020-10-15 | 2021-01-08 | 北京爱康宜诚医疗器材有限公司 | 手术导航信息的确定方法、装置及系统、电子装置 |
| CN113081273B (zh) * | 2021-03-24 | 2023-07-28 | 上海微创医疗机器人（集团）股份有限公司 | 打孔辅助系统及手术机器人系统 |
| CN114587657A (zh) * | 2022-02-06 | 2022-06-07 | 上海诠视传感技术有限公司 | 一种基于混合现实技术的口腔种植辅助导航方法及系统 |
| CN114587658A (zh) * | 2022-02-06 | 2022-06-07 | 上海诠视传感技术有限公司 | Ar眼镜识别口腔种植手机在空间坐标系中位置的方法及系统 |
| CN114587650A (zh) * | 2022-02-06 | 2022-06-07 | 上海诠视传感技术有限公司 | 一种基于混合现实技术的牙齿根管口治疗辅助导航的方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103211655A (zh) * | 2013-04-11 | 2013-07-24 | 深圳先进技术研究院 | 一种骨科手术导航系统及导航方法 |
| CN104434313A (zh) * | 2013-09-23 | 2015-03-25 | 中国科学院深圳先进技术研究院 | 一种腹部外科手术导航方法及系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8526688B2 (en) * | 2006-03-09 | 2013-09-03 | General Electric Company | Methods and systems for registration of surgical navigation data and image data |
| TWI517828B (zh) * | 2012-06-27 | 2016-01-21 | 國立交通大學 | 影像追蹤系統及其影像追蹤方法 |
| CN105852970B (zh) * | 2016-04-29 | 2019-06-14 | 北京柏惠维康科技有限公司 | 神经外科机器人导航定位系统及方法 |
| CN106859767A (zh) * | 2017-03-29 | 2017-06-20 | 上海霖晏网络科技有限公司 | 一种手术导航方法 |
| CN107374729B (zh) * | 2017-08-21 | 2021-02-23 | 刘洋 | 基于ar技术的手术导航系统及方法 |
-
2017
- 2017-08-21 CN CN201710719544.7A patent/CN107374729B/zh active Active
-
2018
- 2018-08-10 WO PCT/CN2018/099849 patent/WO2019037606A1/zh active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103211655A (zh) * | 2013-04-11 | 2013-07-24 | 深圳先进技术研究院 | 一种骨科手术导航系统及导航方法 |
| CN104434313A (zh) * | 2013-09-23 | 2015-03-25 | 中国科学院深圳先进技术研究院 | 一种腹部外科手术导航方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019037606A1 (zh) | 2019-02-28 |
| CN107374729A (zh) | 2017-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107374729B (zh) | 基于ar技术的手术导航系统及方法 | |
| CN107440797B (zh) | 用于手术导航的注册配准系统及方法 | |
| US11058497B2 (en) | Use of augmented reality to assist navigation during medical procedures | |
| US7050845B2 (en) | Projecting patient image data from radioscopic imaging methods and/or tomographic imaging methods onto video images | |
| RU2529380C2 (ru) | Оценка глубины в реальном времени по монокулярным изображениям эндоскопа | |
| US6690964B2 (en) | Method and device for visualization of positions and orientation of intracorporeally guided instruments during a surgical intervention | |
| US20160000518A1 (en) | Tracking apparatus for tracking an object with respect to a body | |
| WO2017222673A1 (en) | Projection in endoscopic medical imaging | |
| US20050203380A1 (en) | System and method for augmented reality navigation in a medical intervention procedure | |
| US8666476B2 (en) | Surgery assistance system | |
| CN107049489B (zh) | 一种手术导航方法及系统 | |
| WO2007115825A1 (en) | Registration-free augmentation device and method | |
| Hu et al. | Head-mounted augmented reality platform for markerless orthopaedic navigation | |
| CN110547872A (zh) | 手术导航注册系统 | |
| CN109674533B (zh) | 基于便携式彩超设备的手术导航系统及方法 | |
| CN109730771A (zh) | 一种基于ar技术的手术导航系统 | |
| WO2008035271A2 (en) | Device for registering a 3d model | |
| CN111973273A (zh) | 基于ar技术的手术导航系统、方法、设备和介质 | |
| JP2017205343A (ja) | 内視鏡装置、内視鏡装置の作動方法 | |
| US10182776B2 (en) | System and method for correlating object information with X-ray images | |
| Wengert et al. | Endoscopic navigation for minimally invasive suturing | |
| Chen et al. | Video-guided calibration of an augmented reality mobile C-arm | |
| KR101592444B1 (ko) | 투명디스플레이를 이용한 의료용 영상증강 장치 및 구현 방법 | |
| JP2009172124A (ja) | 手術ナビゲーションシステム、画像表示方法、コンピュータプログラム及び記録媒体 | |
| US20190029561A1 (en) | Image registration system and method using subject-specific tracker |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20180223 Address after: 201100 Shanghai city Minhang District Jianchuan Road No. 951 Building 1 No. 0 Bay North Building 607 Applicant after: Liu Yang Applicant after: SHANGHAI LIN YAN MEDICAL TECHNOLOGY Co.,Ltd. Address before: 201100 Shanghai city Minhang District Jianchuan Road No. 951 Building 1 No. 0 Bay North Building 607 Applicant before: SHANGHAI LIN YAN MEDICAL TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1247069 Country of ref document: HK |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Surgical Navigation System and Method Based on AR Technology Effective date of registration: 20230324 Granted publication date: 20210223 Pledgee: Industrial Bank Co.,Ltd. Shanghai Pudong Sub branch Pledgor: SHANGHAI LIN YAN MEDICAL TECHNOLOGY Co.,Ltd.|Liu Yang Registration number: Y2023310000085 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Granted publication date: 20210223 Pledgee: Industrial Bank Co.,Ltd. Shanghai Pudong Sub branch Pledgor: SHANGHAI LIN YAN MEDICAL TECHNOLOGY Co.,Ltd.|Liu Yang Registration number: Y2023310000085 |