CN113143463B - 一种手术导航装置、系统、标定方法、介质及电子设备 - Google Patents

一种手术导航装置、系统、标定方法、介质及电子设备 Download PDF

Info

Publication number
CN113143463B
CN113143463B CN202110282432.6A CN202110282432A CN113143463B CN 113143463 B CN113143463 B CN 113143463B CN 202110282432 A CN202110282432 A CN 202110282432A CN 113143463 B CN113143463 B CN 113143463B
Authority
CN
China
Prior art keywords
coordinate
coordinate system
projector
transformation matrix
patient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110282432.6A
Other languages
English (en)
Other versions
CN113143463A (zh
Inventor
赵语云
高塬
刘积昊
谢叻
郑国焱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202110282432.6A priority Critical patent/CN113143463B/zh
Publication of CN113143463A publication Critical patent/CN113143463A/zh
Application granted granted Critical
Publication of CN113143463B publication Critical patent/CN113143463B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107Visualisation of planned trajectories or target regions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108Computer aided selection or customisation of medical implants or cutting guides
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明提供一种手术导航装置、系统、标定方法、介质及电子设备。所述手术导航装置包括:CT图像获取模块,用于获取患者的CT图像;三维模型构建模块,与所述CT图像获取模块相连,用于根据所述患者的CT图像获取手术区域的三维模型;第一坐标获取模块,用于获取第一坐标;第二坐标获取模块,与所述第一坐标获取模块相连,用于将所述第一坐标转换为第二坐标;投影控制模块,与所述三维模型构建模块和所述第二坐标获取模块相连,用于根据所述第二坐标控制所述投影仪将所述手术区域的三维模型投射至所述手术区域。所述手术导航装置能够将所述手术区域的三维模型投射至所述手术区域的实际位置,无需术者时刻关注计算机的显示屏幕。

Description

一种手术导航装置、系统、标定方法、介质及电子设备
技术领域
本发明涉及手术导航领域,特别是涉及一种手术导航装置、系统、标定方法、介质及电子设备。
背景技术
医生在进行传统外科手术时,经常会因为患者皮肤肌肉的遮挡而无法直接观察到患者皮下的组织结构。因此,医生很难准确地判断手术目标区域的具体位置。并且,在进行穿刺手术时,因为术者无法观察到脏器内的血管分布,因而可能会在手术中误伤到器官内的血管,造成对患者的二次创伤。
随着计算机技术的发展,手术导航技术越来越多地应用于实际临床外科手术当中。使用手术导航技术辅助手术时,术者通常需要根据术前影像数据规划手术路径,在术中通过追踪定位技术追踪手术器械即可在计算机三维虚拟图像中可视化手术目标区域、周围危机器官以及手术器械等的虚拟物体模型。然而,发明人在实际应用中发现,传统手术导航技术只能在计算机屏幕上显示目标手术区域与手术器械,术者在手术时需要时刻注视计算机屏幕,这不仅容易分散术者的注意力,而且计算机中的虚拟场景很难和显示手术场景相结合,术者难以直观地感受到虚拟模型与实际物体间的位置关系。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供一种手术导航装置、系统、标定方法、介质及电子设备,用于解决现有手术导航技术中的虚拟物体模型只能在计算机屏幕上进行显示的问题。
为实现上述目的及其他相关目的,本发明的第一方面提供一种手术导航装置;所述手术导航装置包括:CT图像获取模块,用于获取患者的CT图像;三维模型构建模块,与所述CT图像获取模块相连,用于根据所述患者的CT图像获取手术区域的三维模型;第一坐标获取模块,用于获取第一坐标,所述第一坐标是指所述手术区域在患者坐标系中的坐标,所述患者坐标系是指基于所述患者的坐标系;第二坐标获取模块,与所述第一坐标获取模块相连,用于将所述第一坐标转换为第二坐标,所述第二坐标是指所述手术区域在一投影仪坐标系中的坐标,所述投影仪坐标系是指基于一投影仪的坐标系;投影控制模块,与所述三维模型构建模块和所述第二坐标获取模块相连,用于根据所述第二坐标控制所述投影仪将所述手术区域的三维模型投射至所述手术区域。
于所述第一方面的一实施例中,所述第二坐标获取模块包括:第一变换矩阵获取单元,用于获取第一变换矩阵,所述第一变换矩阵是指所述患者坐标系与一参考架坐标系之间的变换矩阵,所述参考架坐标系是指基于一第一参考架的坐标系,所述第一参考架用于固定于所述患者身上;第二变换矩阵获取单元,用于获取第二变换矩阵,所述第二变换矩阵是指所述参考架坐标系与一空间定位仪坐标系之间的变换矩阵,所述空间定位仪坐标系是指基于一空间定位仪的坐标系;第三变换矩阵获取单元,用于获取第三变换矩阵,所述第三变换矩阵是指所述空间定位仪坐标系与所述投影仪坐标系之间的变换矩阵;坐标变换单元,与所述第一变换矩阵获取单元、所述第二变换矩阵获取单元、所述第三变换矩阵获取单元和所述第一坐标获取模块相连,用于根据所述第一变换矩阵、所述第二变换矩阵和所述第三变换矩阵对所述第一坐标进行变换,以得到所述第二坐标。
于所述第一方面的一实施例中,所述第一变换矩阵获取单元包括:第三坐标获取子单元,用于获取多个特征点在所述患者坐标系中的坐标;第四坐标获取子单元,用于获取所述多个特征点在所述参考架坐标系中的坐标;变换矩阵获取子单元,与所述第三坐标获取子单元和所述第四坐标获取子单元相连,用于根据所述多个特征点在所述患者坐标系中的坐标以及所述多个特征点在所述参考架坐标系中的坐标进行配准,进而获取所述第一变换矩阵。
于所述第一方面的一实施例中,所述第一参考架包括多个反光球,所述空间定位仪根据所述第一参考架上的反光球获取所述第二变换矩阵;和/或所述投影仪上固定有第二参考架,所述第二参考架包括多个反光球,所述空间定位仪根据所述第二参考架上的反光球获取所述第三变换矩阵。
于所述第一方面的一实施例中,所述手术导航装置还包括标定模块,所述标定模块与所述投影仪相连,用于对所述投影仪进行标定。
于所述第一方面的一实施例中,所述投影控制模块还用于控制所述投影仪向一平面投射一标定图案;所述标定模块包括:标定点坐标获取单元,用于获取所述标定图案中多个标定点在空间定位仪坐标系中的三维坐标;标定点坐标转换单元,与所述标定点坐标获取单元相连,用于将所述多个标定点在空间定位仪坐标系中的三维坐标转换为所述多个标定点在所述投影仪坐标系中的三维坐标;透视投影矩阵获取单元,与所述标定点坐标转换单元相连,用于根据所述多个标定点在所述投影仪坐标系中的三维坐标与所述多个标定点的二维像素坐标获取一透视投影矩阵;投影参数获取单元,与所述透视投影矩阵获取单元相连,用于根据所述透视投影矩阵对所述投影仪进行标定,以获取所述投影仪在所述投影仪坐标系中的投影参数。
本发明的第二方面提供一种手术导航系统,所述手术导航系统包括本发明第一方面任一项所述的手术导航装置;并且所述手术导航系统还包括投影仪、空间定位仪、第一参考架、第二参考架和/或探针。
本发明的第三方面提供一种投影仪标定方法,所述投影仪标定方法包括:利用一投影仪向一平面投射一标定图案;获取所述标定图案中的多个标定点在一空间定位仪坐标系中的三维坐标,所述空间定位仪坐标系是指基于一空间定位仪的坐标系;将所述多个标定点在所述空间定位仪坐标系中的三维坐标转换为所述多个标定点在一投影仪坐标系中的三维坐标,所述投影仪坐标系是指基于所述投影仪的坐标系;根据所述多个标定点在所述投影仪坐标系中的三维坐标与所述多个标定点的二维像素坐标获取一投射投影矩阵;根据所述投射投影矩阵对所述投影仪进行标定,以获取所述投影仪在所述投影仪坐标系中的投影参数。
本发明的第四方面提供一种计算机可读存储介质,其上存储有计算机程序;该计算机程序被处理器执行时实现本发明第三方面所述的投影仪标定方法。
本发明的第五方面提供一种电子设备,所述电子设备包括:存储器,存储有一计算机程序;处理器,与所述存储器通信相连,调用所述计算机程序时执行本发明第三方面所述的投影仪标定方法;显示器,与所述处理器和所述存储器通信相连,用于显示所述投影仪标定方法的相关GUI交互界面。
如上所述,本发明所述手术导航装置、系统、标定方法、介质及电子设备的一个技术方案具有以下有益效果:
所述手术导航装置能够根据患者的CT图像获取手术区域的三维模型,并通过坐标转换的方式获取手术区域在投影仪坐标系中的坐标,进而控制所述投影仪将所述手术区域的三维模型投射至所述手术区域。基于本发明所述手术导航装置,术者通过观察所述投影仪的投影即可获取所述手术区域的三维模型,因此术者无需时刻关注计算机屏幕,有利于术者在手术过程中集中注意力。并且,所述投影仪在所述手术导航装置的控制下,能够将所述手术区域的三维模型直接投射至所述手术区域的实际位置,因而所述三维模型能够跟手术场景紧密结合,术者能够直观地感受到三维模型与实际场景之间的位置关系。
附图说明
图1显示为本发明所述手术导航装置于一具体实施例中的结构示意图。
图2显示为本发明所述手术导航装置于一具体实施例中第二坐标获取模块的具体结构示意图。
图3显示为本发明所述手术导航装置于一具体实施例中第一变换矩阵获取单元的具体结构示意图。
图4A显示为本发明所述手术导航装置于一具体实施例中所采用的标定图案的示例图。
图4B显示为发明所述手术导航装置于一具体实施例中标定模块的具体结构示意图。
图5显示为本发明所述手术导航系统于一具体实施例中的结构示意图。
图6A显示为本发明所述投影仪标定方法于一具体实施例中的流程图。
图6B显示为本发明所述投影仪标定方法于一具体实施例中获取第四变换矩阵的流程图。
图7显示为本发明所述电子设备于一具体实施例中的结构示意图。
元件标号说明
1 手术导航装置
11 CT图像获取模块
12 三维模型构建模块
13 第一坐标获取模块
14 第二坐标获取模块
141 第一变换矩阵获取单元
1411 第三坐标获取子单元
1412 第四坐标获取子单元
1413 变换矩阵获取子单元
142 第二变换矩阵获取单元
143 第三变换矩阵获取单元
144 坐标变换单元
15 投影控制模块
16 标定模块
161 标定点坐标获取单元
162 标定点坐标转换单元
163 透视投影矩阵获取单元
164 投影参数获取单元
2 投影仪
3 空间定位仪
4 探针
5 手术导航系统
51 计算机
52 投影仪
53 空间定位仪
54 探针
55 参考架
700 电子设备
710 存储器
720 处理器
730 显示器
S61~S65 步骤
S621~S623 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。此外,此外,在本文中,诸如“第一”、“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
传统手术导航技术只能在计算机屏幕上显示目标手术区域与手术器械,术者在手术时需要时刻注视计算机屏幕,这不仅容易分散术者的注意力,而且计算机中的虚拟场景很难和显示手术场景相结合,术者难以直观地感受到虚拟模型与实际物体间的位置关系。
针对这一问题,本发明提供一种手术导航装置,所述手术导航装置能够根据患者的CT图像获取手术区域的三维模型,并通过坐标转换的方式获取手术区域在投影仪坐标系中的坐标,进而控制所述投影仪将所述手术区域的三维模型投射至所述手术区域。基于本发明所述手术导航装置,术者通过观察所述投影仪的投影即可获取所述手术区域的三维模型,因此术者无需时刻关注计算机屏幕,有利于术者在手术过程中集中注意力。并且,所述投影仪在所述手术导航装置的控制下,能够将所述手术区域的三维模型直接投射至所述手术区域的实际位置,因而所述三维模型能够跟手术场景紧密结合,术者能够直观地感受到三维模型与实际场景之间的位置关系。
请参阅图1,于本发明的一实施例中,所述手术导航装置1包括CT图像获取模块11、三维模型构建模块12、第一坐标获取模块13、第二坐标获取模块14和投影控制模块15。本实施例中,所述手术导航装置1与投影仪2配合使用。
所述CT图像获取模块11用于获取患者的CT图像。具体地,所述CT图像获取模块11可以为一具有CT扫描功能的模块,用于对患者进行CT扫描以获取所述患者的CT图像,或者,所述CT图像获取模块11也可以为一具有CT图像接收功能的模块,用于从外部CT扫描设备获取所述患者的CT图像。
所述三维模型构建模块12与所述CT图像获取模块11相连,用于根据所述患者的CT图像获取患者手术区域的虚拟三维模型。例如,所述三维模型构建模块12可以采用表面重建算法获取所述手术区域的三维模型。
所述第一坐标获取模块13用于获取第一坐标,所述第一坐标是指所述手术区域在患者坐标系{Image}中的坐标。所述患者坐标系是指基于患者自身所建立的坐标系,具体应用中,可以根据实际需求选取患者身体的任一点作为原点构建所述患者坐标系,所述患者坐标系随患者的移动而移动。因此,当所述手术区域不变时,所述手术区域在所述患者坐标系中的坐标保持不变。
所述第二坐标换取模块14与所述第一坐标获取模块13相连,用于将所述第一坐标转换为第二坐标,所述第二坐标是指所述手术区域在投影仪坐标系{Projector}中的坐标,所述投影仪坐标系是指基于投影仪2建立的坐标系。具体应用中,可以根据实际需求选取所述投影仪2的任一点作为原点构建所述投影仪坐标系。
所述投影控制模块15与所述三维模型构建模块12和所述第二坐标获取模块14相连,并与投影仪2相连。所述投影控制模块15根据所述第二坐标控制所述投影仪的投影参数,以使所述投影仪将所述手术区域的三维模型投射至所述第二坐标对应的位置,也即患者的手术区域的实际位置。其中,所述投影参数包括投影仪光心、焦点、视角等。
可选地,所述投影控制模块15中包括一虚拟相机,所述虚拟相机的参数与所述投影仪2的投影参数相同,通过调整所述虚拟相机的参数即可实现对所述投影仪2的控制。
根据以上描述可知,本实施例所述手术导航装置通过患者的CT图像获取手术区域的三维模型,并通过将第一坐标转换为第二坐标来获取患者的手术区域在所述投影仪坐标系中的位置,进而控制所述投影仪将所述手术区域的三维模型投射至患者身上的实际手术区域。在手术过程中,术者只需观察实际手术区域即可得知所述手术区域的三维模型。与现有技术相比,基于本实施例所述手术导航装置,术者无需长时间关注计算机屏幕,有利于术者在手术过程中集中注意力。并且,所述三维模型能够跟手术场景紧密结合,术者能够直观地感受到三维模型与实际场景之间的位置关系。
此外,本实施例采用投影仪将所述手术区域的三维模型投射至所述手术区域的实际位置,与采用虚拟现实技术相比,本实施例所述手术导航装置无需术者通过头戴式头盔、手持平板等方式将所述三维模型叠加于患者身上,因而不会造成术者的视觉遮挡,且不会引入额外的干扰。
于本发明的一实施例中,所述手术导航装置需要与一第一参考架和一空间定位仪配合使用。所述第一参考架用于固定于患者身上的任意位置,所述第一参考架随患者的移动而移动。所述空间定位仪例如为光学空间定位仪,用于通过红外线测距的方式获取物体在空间定位仪坐标系中的三维坐标。
请参阅图2,于本实施例中,所述第二坐标获取模块14包括第一变换矩阵获取单元141、第二变换矩阵获取单元142、第三变换矩阵获取单元143和坐标变换单元144。
所述第一变换矩阵获取单元141用于获取第一变换矩阵
Figure BDA0002979105480000071
所述第一变换矩阵是指所述患者坐标系{Image}与一参考架坐标系{Patient}之间的变换矩阵,所述参考架坐标系是指基于所述第一参考架的坐标系,所述第一参考架用于固定于所述患者身上。实际应用中,可以根据实际需求选取所述第一参考架上的任一点作为所述参考架坐标系的原点。
所述第二变换矩阵获取单元142用于获取第二变换矩阵
Figure BDA0002979105480000072
所述第二变换矩阵是指所述参考架坐标系{Patient}与一空间定位仪坐标系{Camera}之间的变换矩阵,所述空间定位仪坐标系是指基于所述空间定位仪的坐标系。
所述第三变换矩阵获取单元143用于获取第三变换矩阵
Figure BDA0002979105480000073
所述第三变换矩阵是指所述空间定位仪坐标系{Camera}与所述投影仪坐标系{Projector}中之间的变换矩阵。
所述坐标变换单元144与所述第一变换矩阵获取单元141、所述第二变换矩阵获取单元142、所述第三变换矩阵获取单元143和所述第一坐标获取模块13相连,用于根据所述第一变换矩阵
Figure BDA0002979105480000081
所述第二变换矩阵
Figure BDA0002979105480000082
和所述第三变换矩阵
Figure BDA0002979105480000083
对所述第一坐标进行变换,以得到所述第二坐标。
具体地,所述坐标变换单元144通过变换
Figure BDA0002979105480000084
即可将所述患者坐标系中的第一坐标变换为所述投影仪坐标系中的第二坐标。
优选地,所述第二坐标获取模块14通过实时更新所述第一变换矩阵、所述第二变换矩阵和所述第三变换矩阵,能够根据所述患者的位置实时更新所述投影仪的投影参数,以保证所述投影仪始终将所述手术区域的三维模型投射至所述手术区域的实际位置。
请参阅图3,于本发明的一实施例中,所述第一变换矩阵获取单元141包括第三坐标获取子单元1411、第四坐标获取子单元1412和变换矩阵获取子单元1413。
所述第三坐标获取子单元1411用于获取所述患者坐标系中多个特征点的坐标,所述特征点位于所述患者的身上,实际应用中可以根据需求选取所述特征点。如前所述,所述患者坐标系是基于所述患者的坐标系,因此,无论患者是否移动,所述多个特征点与所述患者坐标系原点之间的相对位置保持不变。故,可以通过测量等方式获取所述多个特征点在所述患者坐标系中的坐标。
所述第四坐标获取子单元1412用于获取所述多个特征点在所述参考架坐标系中的坐标。如前所述,所述第一参考架固定于患者身上,因此,无论患者是否移动,所述多个特征点与所述参考架坐标系原点之间的相对位置基本保持不变。故,可以通过测量等方式获取所述多个特征点在所述参考架坐标系中的坐标。
所述变换矩阵获取子单元1413与所述第三坐标获取子单元1411和所述第四坐标获取子单元1412相连,用于根据所述多个特征点在所述患者坐标系中的坐标以及所述多个特征点在所述参考架坐标系中的坐标进行配准,进而获取所述第一变换矩阵。其中,所述配准可以通过现有技术实现,此处不做过多赘述。
于本发明的一实施例中,所述第一参考架包括4个或4个以上的反光球,所述空间定位仪根据所述第一参考架上的反光球获取所述第二变换矩阵。具体地,红外线自所述空间定位仪发出并到达所述反光球,经反光球反射后回到所述空间定位仪,根据红外线的发出时刻和接收时刻即可获取反光球的位置,结合红外线的角度即可实现对反光球的定位,进而可以获取反光球在所述空间定位仪坐标系中的三维坐标。所述反光球在所述参考架坐标系中的三维坐标可以通过测量等方式获取。根据所述反光球在所述空间定位仪坐标系中的三维坐标及其在所述参考架坐标系中的三维坐标进行配准,即可得到所述第二变换矩阵。
于本发明的一实施例中,所述投影仪上固定有第二参考架,所述第二参考架包括4个或4个以上的反光球,所述空间定位仪根据所述第二参考架上的反光球获取所述第三变换矩阵。具体地,所述空间定位仪能够通过红外线测距获取所述反光球在所述空间定位仪坐标系中的三维坐标。由于所述第二参考架固定在所述投影仪上,因而所述反光球在所述投影仪坐标系中的三维坐标可以通过测量等方式获取。根据所述反光球在所述空间定位仪坐标系中的三维坐标及其在所述投影仪坐标系中的三维坐标进行配准,即可得到所述第三变换矩阵。
于本发明的一实施例中,所述手术导航装置还包括标定模块,所述标定模块与所述投影仪相连,用于对所述投影仪进行标定。
可选地,本实施例中,所述投影控制模块15还用于控制所述投影仪向以平面投射一标定图案,所述标定图案例如图4A所示。请参阅图4B,本实施例中所述标定模块16包括标定点坐标获取单元161、标定点坐标转换单元162、透视投影矩阵获取单元163和投影参数获取单元164。
所述标定点坐标获取单元161与所述空间定位仪3相连,本实施例中所述空间定位仪3用于获取探针4的尖端在所述空间定位仪坐标系中的三维坐标。
优选地,可以在所述探针4上固定第三参考架,所述第三参考架包括4个或4个以上的反光球。基于所述第三参考架构建一探针坐标系,所述探针4的尖端在所述探针坐标系中的坐标基本保持不变。所述空间定位仪3能够获取所述探针坐标系与所述空间定位仪坐标系之间的第四变换矩阵
Figure BDA0002979105480000091
具体获取方式与前述第三变换矩阵类似,此处不做赘述。
在对所述投影仪2进行标定时,利用所述探针4的尖端逐一放置在所述标定图案的角点(即标定点)上。所述空间定位仪3实时更新所述第四转换矩阵
Figure BDA0002979105480000092
根据所述探针4的尖端在所述探针坐标系中的坐标以及所述第四转换矩阵即可获取所述多个标定点在所述空间定位仪坐标系中的三维坐标。
所述标定点坐标转换单元162与所述标定点坐标获取单元161相连,用于将所述多个标定点在空间定位仪坐标系中的三维坐标转换为所述多个标定点在所述投影仪坐标系中的三维坐标。具体地,所述标定点坐标转换单元162可以利用所述第三变换矩阵
Figure BDA0002979105480000093
实现上述转换。
所述透视投影矩阵获取单元163与所述标定点坐标转换单元162相连,用于根据所述多个标定点在所述投影仪坐标系中的三维坐标与所述多个标定点的二维像素坐标获取一透视投影矩阵。其中,所述标定点的二位像素坐标是指所述标定点在所述标定图案中的坐标。
可选地,所述透视投影矩阵获取单元163基于直接线性变换算法计算所述多个标定点的三维坐标及其对应的二位像素坐标之间的透视投影变换矩阵。具体地,假设某标定点A的三维坐标为(X,Y,Z,1)T,该标定点A对应的二维像素坐标为(u,v,1)T,则从三维坐标映射到二维像素坐标的公式为:
Figure BDA0002979105480000101
令l12=1,将上式进行变换得到下式:
Figure BDA0002979105480000102
记为B×L=C。
在上式中,共有11个未知数l1至l11,因此,至少需要六对标定点即可使用最小二乘法求解得到L=(BT×B)-1(BT×C),该矩阵即为所述透视投影矩阵。
所述投影参数获取单元164与所述透视投影矩阵获取单元163相连,用于根据所述透视投影矩阵对所述投影仪2进行标定,以获取所述投影仪2在所述投影仪坐标系中的投影参数。具体地:
Figure BDA0002979105480000103
其中,在所述投影仪2的投影参数中,光心为(cx,cy),焦点为(fx,fy)。
基于以上对所述手术导航装置的描述,本发明还提供一种手术导航系统。请参阅图5,于本发明的一实施例中,所述手术导航系统5包括计算机51、投影仪52、空间定位仪53、探针54和参考架55。
所述计算机51配置有图1所示的手术导航装置,所述计算机51包括但不限于台式电脑、笔记本电脑等。所述计算机51用于对所述投影仪52进行标定和/或控制所述投影仪52将手术区域的三维模型投射至所述手术区域的实际位置。所述投影仪52用于将所述手术区域投射至所述手术区域的实际位置,和/或用于投射一标定图案至一平面。所述空间定位仪53用于获取相应设备在空间定位仪坐标系中的三维坐标。所述探针54用于配合其他设备实现对所述投影仪52的标定。所述参考架55用于辅助实现相应坐标系至所述空间定位仪坐标系之间的转换。所述手术导航系统5中包含的参考架可以为1个或多个,例如,所述手术导航系统5可以包含固定于患者身体上的第一参考架、固定于投影仪52上的第二参考架和/或固定于探针54上的第三参考架。
本发明还提供一种投影仪标定方法。请参阅图6A,于本发明的一实施例中,所述投影仪标定方法包括:
S61,利用一投影仪向一平面投射一标定图案,所述标定图案例如图4A所示。
S62,获取所述标定图案中的多个标定点在一空间定位仪坐标系中的三维坐标,所述空间定位仪坐标系是指基于一空间定位仪的坐标系。
本实施例中,步骤S62可以利用一探针配合所述空间定位仪实现。具体地,所述探针上固定有第三参考架,所述第三参考架包括4个或4个以上的反光球。基于所述第三参考架构建一探针坐标系,当所述探针的尖端指向某一特定的标定点时,所述探针的尖端在所述探针坐标系中的坐标基本保持不变。所述空间定位仪能够获取所述探针坐标系与所述空间定位仪坐标系之间的第四变换矩阵
Figure BDA0002979105480000111
所述步骤S62的具体实现方法包括:利用所述探针的尖端逐一放置在所述标定图案的角点(即标定点)上。所述空间定位仪实时更新所述第四转换矩阵
Figure BDA0002979105480000112
根据所述探针的尖端在所述探针坐标系中的坐标以及所述第四转换矩阵即可获取所述多个标定点在所述空间定位仪坐标系中的三维坐标。
S63,将所述多个标定点在所述空间定位仪坐标系中的三维坐标转换为所述多个标定点在一投影仪坐标系中的三维坐标,所述投影仪坐标系是指基于投影仪的坐标系。具体地,步骤S63可以利用上述第三变换矩阵
Figure BDA0002979105480000121
实现该转换。
S64,根据所述多个标定点在所述投影仪坐标系中的三维坐标与所述多个标定点的二维像素坐标获取一投射投影矩阵。
可选地,所述步骤S64基于直接线性变换算法计算所述多个标定点的三维坐标及其对应的二位像素坐标之间的透视投影变换矩阵。具体地,假设某标定点A的三维坐标为(X,Y,Z,1)T,该标定点A对应的二维像素坐标为(u,v,1)T,则从三维坐标映射到二维像素坐标的公式为:
Figure BDA0002979105480000122
令l12=1,将上式进行变换得到下式:
Figure BDA0002979105480000123
记为B×L=C。
在上式中,共有11个未知数l1至l11,因此,至少需要六对标定点即可使用最小二乘法求解得到L=(BT×B)-1(BT×C),该矩阵即为所述透视投影矩阵。
S65,根据所述投射投影矩阵对所述投影仪进行标定,以获取所述投影仪在所述投影仪坐标系中的投影参数。具体地:
Figure BDA0002979105480000124
其中,在所述投影仪的投影参数中,光心为(cx,cy),焦点为(fx,fy)。
可选地,请参阅图6B,本实施例中获取所述第四变换矩阵的实现方法包括:
S621,获取所述探针上的多个特征点在所述探针坐标系中的坐标。如前所述,所述探针坐标系为基于所述第三参考架建立的坐标系,因此,无论所述探针移动与否,所述多个特征点在所述探针坐标系中的坐标基本保持不变。
S622,获取所述多个特征点在所述投影仪坐标系中的坐标,该坐标可以由所述空间定位仪通过红外测距实现。
S623,根据所述多个特征点在所述探针坐标系中的坐标及其在所述投影仪坐标系中的坐标进行配准,进而获取所述第四变换矩阵。
本实施例所述投影仪标定方法能够实现对所述投影仪的标定,标定以后的所述投影仪可用于图1所示的手术导航装置和/或图5所述的手术导航系统。
基于以上所述投影仪标定方法的描述,本发明还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现图6A所示的投影仪标定方法。
基于以上对所述投影仪标定方法的描述,本发明还提供一种电子设备。请参阅图7,于本发明的一实施例中,所述电子设备700包括存储器710、处理器720和显示器730。
所述存储器710存储有一计算机程序。所述处理器720与所述存储器710相连,用于调用所述计算机程序时执行图6A所示的投影仪标定方法。所述显示器730与所述处理器720和所述存储器710相连,用于显示所述投影仪标定方法的相关GUI交互界面。
本发明所述的投影仪标定方法的保护范围不限于本实施例列举的步骤执行顺序,凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
本发明所述手术导航装置能够根据患者的CT图像获取手术区域的三维模型,并通过坐标转换的方式获取手术区域在投影仪坐标系中的坐标,进而控制所述投影仪将所述手术区域的三维模型投射至所述手术区域。基于本发明所述手术导航装置,术者通过观察所述投影仪的投影即可获取所述手术区域的三维模型,因此术者无需时刻关注计算机屏幕,有利于术者在手术过程中集中注意力。并且,所述三维模型能够跟手术场景紧密结合,术者能够直观地感受到三维模型与实际场景之间的位置关系。
此外,本发明所述手术导航装置采用投影仪将所述手术区域的三维模型投射至所述手术区域的实际位置,与采用虚拟现实技术相比,本实施例所述手术导航装置无需术者通过头戴式头盔、手持平板等方式即可将所述三维模型叠加于患者身上,因而不会造成术者视觉的遮挡,且不会引入额外的干扰。
综上所述,本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。

Claims (6)

1.一种手术导航装置,其特征在于,所述手术导航装置包括:
CT图像获取模块,用于获取患者的CT图像;
三维模型构建模块,与所述CT图像获取模块相连,用于根据所述患者的CT图像获取手术区域的三维模型;
第一坐标获取模块,用于获取第一坐标,所述第一坐标是指所述手术区域在患者坐标系中的坐标,所述患者坐标系是指基于所述患者的坐标系;
第二坐标获取模块,与所述第一坐标获取模块相连,用于将所述第一坐标转换为第二坐标,所述第二坐标是指所述手术区域在一投影仪坐标系中的坐标,所述投影仪坐标系是指基于一投影仪的坐标系;
投影控制模块,与所述三维模型构建模块和所述第二坐标获取模块相连,用于根据所述第二坐标控制所述投影仪将所述手术区域的三维模型投射至所述手术区域;
其中,所述第二坐标获取模块包括:
第一变换矩阵获取单元,用于获取第一变换矩阵,所述第一变换矩阵是指所述患者坐标系与一参考架坐标系之间的变换矩阵,所述参考架坐标系是指基于一第一参考架的坐标系,所述第一参考架用于固定于所述患者身上;
第二变换矩阵获取单元,用于获取第二变换矩阵,所述第二变换矩阵是指所述参考架坐标系与一空间定位仪坐标系之间的变换矩阵,所述空间定位仪坐标系是指基于一空间定位仪的坐标系;
第三变换矩阵获取单元,用于获取第三变换矩阵,所述第三变换矩阵是指所述空间定位仪坐标系与所述投影仪坐标系之间的变换矩阵;
坐标变换单元,与所述第一变换矩阵获取单元、所述第二变换矩阵获取单元、所述第三变换矩阵获取单元和所述第一坐标获取模块相连,用于根据所述第一变换矩阵、所述第二变换矩阵和所述第三变换矩阵对所述第一坐标进行变换,以得到所述第二坐标。
2.根据权利要求1所述的手术导航装置,其特征在于,所述第一变换矩阵获取单元包括:
第三坐标获取子单元,用于获取多个特征点在所述患者坐标系中的坐标;
第四坐标获取子单元,用于获取所述多个特征点在所述参考架坐标系中的坐标;
变换矩阵获取子单元,与所述第三坐标获取子单元和所述第四坐标获取子单元相连,用于根据所述多个特征点在所述患者坐标系中的坐标以及所述多个特征点在所述参考架坐标系中的坐标进行配准,进而获取所述第一变换矩阵。
3.根据权利要求1所述的手术导航装置,其特征在于:
所述第一参考架包括多个反光球,所述空间定位仪根据所述第一参考架上的反光球获取所述第二变换矩阵;和/或
所述投影仪上固定有第二参考架,所述第二参考架包括多个反光球,所述空间定位仪根据所述第二参考架上的反光球获取所述第三变换矩阵。
4.根据权利要求1-3任一项所述的手术导航装置,其特征在于:所述手术导航装置还包括标定模块,所述标定模块与所述投影仪相连,用于对所述投影仪进行标定。
5.根据权利要求4所述的手术导航装置,其特征在于,所述投影控制模块还用于控制所述投影仪向一平面投射一标定图案;所述标定模块包括:
标定点坐标获取单元,用于获取所述标定图案中多个标定点在空间定位仪坐标系中的三维坐标;
标定点坐标转换单元,与所述标定点坐标获取单元相连,用于将所述多个标定点在空间定位仪坐标系中的三维坐标转换为所述多个标定点在所述投影仪坐标系中的三维坐标;透视投影矩阵获取单元,与所述标定点坐标转换单元相连,用于根据所述多个标定点在所述投影仪坐标系中的三维坐标与所述多个标定点的二维像素坐标获取一透视投影矩阵;
投影参数获取单元,与所述透视投影矩阵获取单元相连,用于根据所述透视投影矩阵对所述投影仪进行标定,以获取所述投影仪在所述投影仪坐标系中的投影参数。
6.一种手术导航系统,其特征在于:
所述手术导航系统包括权利要求1-5任一项所述的手术导航装置;并且
所述手术导航系统还包括投影仪、空间定位仪、第一参考架、第二参考架和/或探针。
CN202110282432.6A 2021-03-16 2021-03-16 一种手术导航装置、系统、标定方法、介质及电子设备 Active CN113143463B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110282432.6A CN113143463B (zh) 2021-03-16 2021-03-16 一种手术导航装置、系统、标定方法、介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110282432.6A CN113143463B (zh) 2021-03-16 2021-03-16 一种手术导航装置、系统、标定方法、介质及电子设备

Publications (2)

Publication Number Publication Date
CN113143463A CN113143463A (zh) 2021-07-23
CN113143463B true CN113143463B (zh) 2022-08-26

Family

ID=76887487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110282432.6A Active CN113143463B (zh) 2021-03-16 2021-03-16 一种手术导航装置、系统、标定方法、介质及电子设备

Country Status (1)

Country Link
CN (1) CN113143463B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113664836B (zh) * 2021-09-15 2023-10-10 上海交通大学 手眼标定方法、机器人、介质及电子设备
CN114209433B (zh) * 2021-12-31 2023-09-05 杭州三坛医疗科技有限公司 一种手术机器人导航定位装置
CN114469353A (zh) * 2022-04-18 2022-05-13 湖南科迈森医疗科技有限公司 机器人辅助宫腔镜手术系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016095168A1 (zh) * 2014-12-18 2016-06-23 复旦大学 基于平板电脑的手术导航用的体数据可视化方法
CN110946654A (zh) * 2019-12-23 2020-04-03 中国科学院合肥物质科学研究院 一种基于多模影像融合的骨科手术导航系统
CN111603205A (zh) * 2020-03-23 2020-09-01 苏州新医智越机器人科技有限公司 用于穿刺手术机器人ct舱内三维影像重建和定位分析系统
CN112002018A (zh) * 2020-08-18 2020-11-27 云南省第一人民医院 一种基于混合现实的术中位置导航系统、装置及方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140022283A1 (en) * 2012-07-20 2014-01-23 University Health Network Augmented reality apparatus
JP5987998B2 (ja) * 2014-04-21 2017-01-25 アドバンストヘルスケア株式会社 手術支援システム、プロジェクタシステム,医療画像投影方法
US10314658B2 (en) * 2017-04-21 2019-06-11 Biosense Webster (Israel) Ltd. Registration of an anatomical image with a position-tracking coordinate system based on visual proximity to bone tissue
CN109498156A (zh) * 2017-09-14 2019-03-22 北京大华旺达科技有限公司 一种基于三维扫描的头部手术导航方法
US10869727B2 (en) * 2018-05-07 2020-12-22 The Cleveland Clinic Foundation Live 3D holographic guidance and navigation for performing interventional procedures
CN109674532A (zh) * 2019-01-25 2019-04-26 上海交通大学医学院附属第九人民医院 基于mr的手术导航系统及其设备、方法和存储介质
CN112155727A (zh) * 2020-08-31 2021-01-01 上海市第一人民医院 基于三维模型的手术导航系统、方法、设备和介质
CN112451093B (zh) * 2021-01-26 2021-05-04 浙江大学 图像引导机器人微创外科手术的物理空间与图像空间配准方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016095168A1 (zh) * 2014-12-18 2016-06-23 复旦大学 基于平板电脑的手术导航用的体数据可视化方法
CN110946654A (zh) * 2019-12-23 2020-04-03 中国科学院合肥物质科学研究院 一种基于多模影像融合的骨科手术导航系统
CN111603205A (zh) * 2020-03-23 2020-09-01 苏州新医智越机器人科技有限公司 用于穿刺手术机器人ct舱内三维影像重建和定位分析系统
CN112002018A (zh) * 2020-08-18 2020-11-27 云南省第一人民医院 一种基于混合现实的术中位置导航系统、装置及方法

Also Published As

Publication number Publication date
CN113143463A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
CN113143463B (zh) 一种手术导航装置、系统、标定方法、介质及电子设备
KR102014355B1 (ko) 수술도구의 위치 정보 산출 방법 및 장치
US9498132B2 (en) Visualization of anatomical data by augmented reality
CN110876643B (zh) 医疗手术导航系统及方法
Andrews et al. Registration techniques for clinical applications of three-dimensional augmented reality devices
CN101375805A (zh) 一种计算机辅助引导电子内窥镜操作的方法和系统
JP2007512854A (ja) 手術用ナビゲーションシステム(カメラプローブ)
CN108969099B (zh) 一种校正方法、手术导航系统、电子设备及存储介质
Zeng et al. A surgical robot with augmented reality visualization for stereoelectroencephalography electrode implantation
US20180168736A1 (en) Surgical navigation system and instrument guiding method for the same
WO2012045626A1 (en) Image projection system for projecting image on the surface of an object
US11344180B2 (en) System, apparatus, and method for calibrating oblique-viewing rigid endoscope
WO2016095168A1 (zh) 基于平板电脑的手术导航用的体数据可视化方法
Nguyen et al. An augmented reality system characterization of placement accuracy in neurosurgery
CN112515763B (zh) 目标物的定位显示方法、系统、装置和电子设备
CN111973273A (zh) 基于ar技术的手术导航系统、方法、设备和介质
CN108778135B (zh) 多模态x射线成像中的光学相机选择
EP4231271A1 (en) Method and system for generating a simulated medical image
Harders et al. Multimodal augmented reality in medicine
CN113648061B (zh) 一种基于混合现实的头戴式导航系统及导航配准方法
WO2022133049A1 (en) Systems and methods for registering a 3d representation of a patient with a medical device for patient alignment
CN114948206A (zh) 一种融合偏振光成像的手术导航系统
CN114041876A (zh) 一种基于结构光的增强现实骨科透视导航方法及系统
CN111631814A (zh) 术中血管立体定位导航系统及方法
CN116823897A (zh) 一种混合现实增强显示系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant