CN112155727A - 基于三维模型的手术导航系统、方法、设备和介质 - Google Patents

基于三维模型的手术导航系统、方法、设备和介质 Download PDF

Info

Publication number
CN112155727A
CN112155727A CN202010900142.9A CN202010900142A CN112155727A CN 112155727 A CN112155727 A CN 112155727A CN 202010900142 A CN202010900142 A CN 202010900142A CN 112155727 A CN112155727 A CN 112155727A
Authority
CN
China
Prior art keywords
patient
positioning
real
image
dynamic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010900142.9A
Other languages
English (en)
Inventor
马小军
付强
吴建锋
杭栋华
朱亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai First Peoples Hospital
Original Assignee
Shanghai First Peoples Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai First Peoples Hospital filed Critical Shanghai First Peoples Hospital
Priority to CN202010900142.9A priority Critical patent/CN112155727A/zh
Publication of CN112155727A publication Critical patent/CN112155727A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08—Accessories or related features not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08—Accessories or related features not otherwise provided for
    • A61B2090/0801—Prevention of accidental cutting or pricking
    • A61B2090/08021—Prevention of accidental cutting or pricking of the patient or his organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3966—Radiopaque markers visible in an X-ray image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery

Abstract

本申请提供了一种基于三维模型的手术导航系统、方法、设备和介质，通过获取手术前对患者的扫描图像数据并据以生成三维模拟图像；在手术过程中获取患者在动态定位坐标系中的定位图像、及患者实时动态数据，并获取手术器械在动态定位坐标系中的器械实时动态数据；将三维模拟图像与患者进行动态配准；实时计算患者与手术器械的空间坐标位置信息，并与三维模拟图像实时融合，以供得到能实时显示患者与手术器械的动态位置关系的手术导航三维模型。本申请通过扫描设备获取患者三维模拟图像，并依靠动态定位获取装置实时将患者和手术器械的实时动态数据叠加到三维模型，能够更直观的呈现手术器械相对患者解剖结构的空间位置图，更好的辅助医生进行手术。

Description

基于三维模型的手术导航系统、方法、设备和介质
技术领域
本发明涉及手术导航三维模型技术领域，特别是涉及一种基于三维模型的手术导航系统、方法、设备和介质。
背景技术
现有技术中，为了使医生能够清晰的了解手术器械相对病人解剖结构的位置，普遍采用计算机辅助导航技术，该导航技术的工作原理为：在患者的手术部位附近和手术器械上安装能够发出信号的装置，通常采用红外线作为发射源、CCD(电荷耦合元件)相机为接收器，利用发出的信号对患者的骨骼位置和手术器械的位置以及运动轨迹进行跟踪，同时将这些信息通过显示器展示给医生；在术中进行患者手术部位的X线透视，并将透视图像与得到的患者骨骼位置和手术器械位置图像进行合成，从而得到医生进行手术采用的导航图像。
由于上述导航系统是将定位和引导信息显示在系统屏幕上，医生通过观察导航屏幕上的图像来进行手术操作，使得导航信息与手术场景相分离。术中，医生为了观察手术器械相对于病人解剖结构的位置，不得不在病人手术部位和导航屏幕之间来回切换视野，这不利于医生将注意力集中于病人手术部位进行手术，会干扰手术进程并加大导航定位误差。
另一方面，导航信息不易理解。医生主要利用导航系统屏幕上显示的叠加了手术器械信息的断层图像来进行术中定位，而这些图像并不能很好地反映出病人当前体位，使得医生不能直观地理解真实手术场景中手术器械与实际病人解剖结构间的空间位置关系，造成手术导航系统的作用不能得到充分发挥。另外，通常存在手术器械定位复杂的问题，在手术时，又普遍必需透视配准的过程，需要较大的手术空间，配准过程还延长了手术时间，医护人员和患者受到额外的辐射。
发明内容
鉴于以上所述现有技术的缺点，本申请的目的在于提供一种基于三维模型的手术导航系统、方法、设备和介质，以克服现有技术中AR实时监测机器人中的导航信息与实际手术场景相不能精准的动态叠加的缺陷。
为实现上述目的及其他相关目的，本申请提供一种基于三维模型的手术导航系统，所述系统包括：扫描装置、处理器、及动态定位获取装置；所述扫描装置，用于在手术前对患者进行扫描以得到扫描图像数据，并将所述扫描图像数据发送至所述处理器；所述动态定位获取装置，用于在手术过程中获取患者在动态定位坐标系中的定位图像、及患者实时动态数据，并获取手术器械在所述动态定位坐标系中的器械实时动态数据；所述处理器，用于依据所述扫描图像数据生成三维模拟图像；以及依据所述定位图像、及患者实时动态数据，将三维模拟图像与所述患者进行动态配准；以及依据所述动态定位坐标系中的所述实时动态数据、及器械实时动态数据，实时计算患者与手术器械的空间坐标位置信息，并与三维模拟图像实时融合，以供得到能实时显示患者与手术器械的动态位置关系的手术导航三维模型。
于本申请的一实施例中，所述动态定位获取装置包括：用于获取所述患者实时动态数据和所述器械实时动态数据的光学动态追踪设备、用于获取所述定位图像的定位摄像设备、及多个标记部件；其中，所述标记部件包括：定位部件和动态追踪部件。
于本申请的一实施例中，所述动态定位获取装置包括：用于获取所述患者实时动态数据和所述器械实时动态数据的光学动态追踪设备、用于获取所述定位图像的定位摄像设备、及多个标记部件；其中，所述标记部件包括：定位部件和动态追踪部件。
于本申请的一实施例中，所述定位摄像设备在动态定位坐标系中的坐标为一预设坐标，以供所述处器理根据所述预设坐标和所述定位图像生成坐标参数，并根据所述坐标参数将所述三维模拟图像在所述动态定位坐标系中进行静态注册。
于本申请的一实施例中，所述定位部件和所述动态追踪部件贴附在患者身体上距离手术部位一定预设范围内位置，以供所述扫描装置扫描的扫描图像数据中包含定位部件图像和动态追踪部件图像、以及供所述定位摄像设备获取的所述定位图像中包含定位部件图像和动态追踪部件图像。
于本申请的一实施例中，所述定位部件为薄膜状，且其正面图案和反面图案相同；所述正面图案为硫酸钡的涂痕；所述扫描装置在手术前对患者进行扫描得到的扫描图像数据包含有所述涂痕；所述反面图案在贴附所述定位部件于患者身上时，在患者皮肤印制形成有水印图案；所述定位摄像设备在手术过程中获取的所述定位图像包含有所述水印图案。
于本申请的一实施例中，所述动态追踪部件还设置在所述手术器械上，以供所述定位摄像设备获取的所述定位图像中还包含手术器械图像；以及供所述光学追踪设备在手术中识别所述动态追踪部件以获取对应所述手术器械的器械实时动态数据；所述处理器还用于根据所述患者实时动态数据和所述器械实时动态数据将静态注册后的三维模拟图像与所述患者进行动态配准。
为实现上述目的及其他相关目的，本申请提供一种基于三维模型的手术导航方法，应用于如上所述的基于三维模型的手术导航系统，所述方法包括：获取手术前对患者进行扫描的扫描图像数据，并据以生成三维模拟图像；在手术过程中获取患者在动态定位坐标系中的定位图像、及患者实时动态数据，并获取手术器械在所述动态定位坐标系中的器械实时动态数据；依据所述定位图像、及患者实时动态数据，将三维模拟图像与所述患者进行动态配准；依据所述动态定位坐标系中的所述实时动态数据、及器械实时动态数据，实时计算患者与手术器械的空间坐标位置信息，并与三维模拟图像实时融合，以供得到能实时显示患者与手术器械的动态位置关系的手术导航三维模型。
于本申请的一实施例中，所述依据所述定位图像、及患者实时动态数据，将三维模拟图像与所述患者进行动态配准，包括：根据所述定位图像、及所述动态定位坐标系中的预设坐标，生成坐标参数；根据所述坐标参数将所述三维模拟图像在所述动态定位坐标系中进行静态注册；根据所述患者实时动态数据和所述器械实时动态数据将静态注册后的三维模拟图像与所述患者进行动态配准。
为实现上述目的及其他相关目的，本申请提供一种计算机设备，所述设备包括：存储器、处理器、及通信器；所述存储器用于存储计算机指令；所述处理器运行计算机指令实现如上所述的方法；所述通信器用于与外部设备通信连接。
为实现上述目的及其他相关目的，本申请提供一种计算机可读存储介质，存储有计算机指令，所述计算机指令被运行时执行如上所述的方法。
综上所述，本申请提供的一种基于三维模型的手术导航系统、方法、设备和介质，通过获取手术前对患者进行扫描的扫描图像数据，并据以生成三维模拟图像；在手术过程中获取患者在动态定位坐标系中的定位图像、及患者实时动态数据，并获取手术器械在所述动态定位坐标系中的器械实时动态数据；依据所述定位图像、及患者实时动态数据，将三维模拟图像与所述患者进行动态配准；依据所述动态定位坐标系中的所述实时动态数据、及器械实时动态数据，实时计算患者与手术器械的空间坐标位置信息，并与三维模拟图像实时融合，以供得到能实时显示患者与手术器械的动态位置关系的手术导航三维模型。
具有以下有益效果：
本申请的手术导航系统通过扫描设备获取患者三维模拟图像，并依靠动态定位获取装置实时将患者和手术器械的实时动态数据叠加到三维模型，能够更直观的呈现手术器械相对患者解剖结构的空间位置图，更好的辅助医生进行手术。
附图说明
图1显示为本申请于一实施例中基于三维模型的手术导航系统的场景示意图。
图2显示为本申请于一实施例中基于三维模型的手术导航系统的结构示意图。
图3显示为本申请于一实施例中基于三维模型的手术导航方法的流程示意图。
图4显示为本申请于一实施例中计算机设备的结构示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本申请的基本构想，虽然图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，但其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
在通篇说明书中，当说某部分与另一部分“连接”时，这不仅包括“直接连接”的情形，也包括在其中间把其它元件置于其间而“间接连接”的情形。另外，当说某种部分“包括”某种构成要素时，只要没有特别相反的记载，则并非将其它构成要素，排除在外，而是意味着可以还包括其它构成要素。
其中提到的第一、第二及第三等术语是为了说明多样的部分、成分、区域、层及/或段而使用的，但并非限定于此。这些术语只用于把某部分、成分、区域、层或段区别于其它部分、成分、区域、层或段。因此，以下叙述的第一部分、成分、区域、层或段在不超出本申请范围的范围内，可以言及到第二部分、成分、区域、层或段。
再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
为了克服现有技术中AR实时监测机器人中的导航信息与实际手术场景相不能精准的动态叠加的缺陷，本申请提供了一种基于三维模型的手术导航系统、方法、设备和介质。
如图1所示，展示为本申请于一实施例中所述基于三维模型的手术导航系统的场景示意图。如图所示，所述系统包括：扫描装置1、处理器2、及动态定位获取装置3。
其中，所述扫描装置1所述扫描装置1，用于在手术前对患者5进行扫描以得到扫描图像数据，并将所述扫描图像数据发送至所述处理器2。
所述动态定位获取装置3，用于在手术过程中获取患者5在动态定位坐标系中的定位图像、患者实时动态数据、及手术器械4在所述动态定位坐标系中的器械实时动态数据，并发送至所述处理器2。具体地，所述动态定位获取装置3包括：用于获取所述患者实时动态数据和所述器械实时动态数据的光学动态追踪设备、用于获取所述定位图像的定位摄像设备、及多个标记部件33，所述标记部件33包括：定位部件和动态追踪部件。
所述处理器2，用于依据所述扫描图像数据生成三维模拟图像；以及依据所述定位图像、及患者实时动态数据，将三维模拟图像与所述患者5进行动态配准；以及依据所述动态定位坐标系中的所述实时动态数据、及器械实时动态数据，实时计算患者5与手术器械4的空间坐标位置信息，并与三维模拟图像实时融合，以供得到能实时显示患者5与手术器械4的动态位置关系的手术导航三维模型。
下面通过实施例的方式进一步说明本申请，但并不因此将本申请限制在所述的实施例范围之中。下列实施例中未注明具体条件的实验方法，按照常规方法和条件，或按照商品说明书选择。
如图2所示，展示为本申请于一实施例中所述基于三维模型的手术导航系统的结构示意图。如图所示，所述系统包括：扫描装置1、处理器2、及动态定位获取装置3。
扫描装置1用于在手术前对患者5进行扫描以获取扫描图像数据并发送至处理器2，如在本申请中的扫描装置1可以为CT设备，患者5经过CT设备扫描后会生成多张断层图像，这些断层图像即上述的扫描图像数据。
处理器2用于接收扫描图像数据，并根据扫描图像数据生成患者5的三维模拟图像，需要说明的是，生成的三维模拟图像与患者5为一比一等比例模拟，并且，通过该三维模拟图像可以观察到患者5的骨骼、血管、肌肉组织等。
另外，在患者5位于动态定位获取装置3的有效测试范围内时，动态定位获取装置3可以在手术中获取患者5在动态定位置坐标系中的初始静态的定位图像和患者实时动态数据，并将这些信息发送至处理器2，处理器2通过机器视觉算法对定位图像进行处理，从定位图像中获取目标图像，并计算出目标图像在定位获取装置3坐标系中的坐标参数。
同时，动态定位获取装置3还用于手术器械4在动态定位置坐标系中的器械实时动态数据并发送至处理器2。具体地说，可以在手术器械4上设置可被动态定位获取装置3追踪的标记部件33，动态定位获取装置3通过追踪该标记部件33进而获取手术器械4在动态定位置坐标系中的器械实时动态数据。
上述提到的处理器2还用于根据患者5的坐标参数将三维模拟图像在动态定位置坐标系中进行静态注册，并根据患者实时动态数据将静态注册后的三维模拟图像与患者5进行动态配准。
需要解释的是，静态注册就是将处理器2中存储的三维模拟图像放入到定位获取装置3坐标系中，使得三维模拟图像的坐标与实际环境中患者5的坐标是相同的。动态配准就是根据获取的患者实时动态数据，使三维模拟图像和现实环境中患者5同步运动。
处理器2依据所述动态定位坐标系中的所述实时动态数据、及器械实时动态数据，由于所述实时动态数据、及器械实时动态数据同在一所述动态定位坐标系中，故可以实时计算患者与手术器械的空间坐标位置信息，然后与三维模拟图像实时融合，得到能实时显示患者与手术器械的动态位置关系的手术导航三维模型。
在手术时，处理器2也会实时根据手术器械4以及患者5在动态定位置坐标系中的坐标，间接计算出患者5与手术器械4之间的空间坐标位置信息，然后与注册配准后的三维模拟图像融合，依靠动态定位获取装置实时将患者和手术器械的实时动态数据叠加到三维模型上，能够更直观的呈现手术器械相对患者解剖结构的空间位置图，更好的辅助医生进行手术。
于本实施例，动态定位获取装置3包括光学动态追踪设备31和定位摄像设备31，比如NDI光学追设备和双目摄像机，光学动态追踪设备31用于获取患者实时动态数据和器械实时动态数据；定位摄像设备31用于获取定位图像。处理器2还用于根据预设坐标和定位图像生成坐标参数，该坐标参数即表示患者5在动态定位置坐标系中的位置。处理器2根据坐标参数将将三维模拟图像在动态定位置坐标系中进行静态注册。
需要说明的是，定位摄像设备31在动态定位置坐标系中的坐标为一预设坐标，即定位摄像设备31在动态定位置坐标系中的位置已知，本实施例以NDI光学追设备和双目摄像机为例进行具体说明。
双目摄像机位于NDI光学追踪设备的有效追踪范围内，NDI光学追踪设备可以获取双目摄像机的坐标位置。具体实现方式是，可以通过在双目摄像机上装设能够被NDI光学追踪设备追踪的定位标记，该定位标记可以是有源标记也可以是无源标记，本实施例对此不作具体限定。NDI光学追踪设备通过追踪定位标记发射的红外光或定位标记反射的红外光，从而获取双目摄像机在动态定位置坐标系下的坐标，并发送至处理器2。
值得注意的是，光学动态追踪设备31也是具有定位测距的功能，但是精度小于专业的定位摄像设备31，因此，为确保手术过程中获取到的动、静态数据的精度，本实施例选用光学动态追踪设备31和定位摄像设备31两种设备，由光学动态追踪设备31获取患者5的患者实时动态数据和手术器械4的器械实时动态数据，由定位摄像设备31获取患者5的定位图像，其中由于定位摄像设备31在动态定位置坐标系中的坐标为一预设坐标，再结合定位图像即可完成静态注册。
于本实施例中，所述动态定位获取装置3还包括若干个标记部件33，标记部件33包括定位部件331和动态追踪部件332；定位部件331和动态追踪部件332贴附在距离患者5手术部位一定预设范围内的身体上，动态追踪部件332还设置在手术器械4上；
扫描装置1用于在手术前获取包含有定位部件331图像的扫描图像数据；
定位摄像设备31用于在手术中获取包含有定位部件331图像和动态追踪部件332图像的定位图像；
光学追踪设备用于在手术中识别动态追踪部件332以获取患者实时动态数据和器械实时动态数据.
本实施例中，通过在患者5和手术器械4上设有定位部件331和动态追踪部件332，定位部件331能够被定位摄像设备31识别，动态追踪部件332能够被光学追踪设备识别。
于本实施例中，定位部件331的正面图案和反面图案相同，正面图案为硫酸钡的涂痕，扫描装置1用于在手术前扫描获取包含有涂痕的扫描图像数据；反面图案在贴附定位部件331时印制在患者5皮肤上形成水印图案，定位摄像设备31用于在手术中获取包含有水印图案的定位图像。
需要解释的是，考虑到在实际情况中，患者5扫描与手术并不是同期进行，中间往往存在间隔，间隔的时间可以是三天、五天或者一周，在此期间，患者5进行的生活活动，例如行走，睡姿改变等，这些行为可能会导致定位部件331偏移，使得在手术时，定位摄像设备31获取的含有定位部件331图像的定位图像不准确，从而影响三维模拟图像在动态定位置坐标系中的定位。因此，反面图案在贴附定位部件331时可以印制在患者5皮肤上形成水印图案，水印图案可以在患者5体表保持一段时间，避免发生偏移。
本实施例中，定位部件331为薄膜状，正反面设有图案且相同，图案可以是网格状、同心圆、等距点等，定位部件331上设有1个或多个特殊点，用于在手术过程中进行定位参考，定位部件331的正面采用硫酸钡的涂痕，硫酸钡能够被CT设备的X线显影即能够实现被CT设备识别。
进一步地，动态追踪部件332还设置在手术器械4上；
定位摄像设备31用于在手术中获取包含有定位部件331图像、动态追踪部件332图像和手术器械4图像的定位图像；
光学追踪设备还用于在手术中识别动态追踪部件332以获取手术器械4的器械实时动态数据；
处理器2用于根据患者实时动态数据和患者实时动态数据将静态注册后的三维模拟图像与患者5进行动态配准。
于本申请一或多个实施例中，所述系统还可包括报警装置，报警装置与处理器2通信连接。而三维导航图像上标记有提醒部位，该提醒部位可以是重要的血管或者神经等部位，处理器2实时计算手术器械4与提醒部位之间的最小距离，当手术器械4与提醒部位之间的最小距离小于或等于预设值时，处理器2控制报警装置发出提醒信号，提醒医生需小心操作，当手术器械4与提醒部位之间的最小距离小于或等于预设危险值时，处理器2控制报警装置发出警示信号，提醒医生当前操作风向较高，通过上述报警装置提高手术的安全系数。
本实施例中，通过在手术器械4上设置标记部件33，手术过程中实时获取手术器械4的动态数据并纳入到三维模拟图像中，使得医生能够更加直观的呈现手术器械4相对于患者5解剖结构的空间位置图，更好的辅助医生进行手术。
综上所述，本申请的手术导航系统通过扫描设备获取患者三维模拟图像，并依靠动态定位获取装置实时将患者和手术器械的实时动态数据叠加到三维模拟图像中，再结合AR实时监测机器人的实时动态数据，使得在AR实时监测机器人中呈现的图像与现实环境中的患者精准叠加，同时更直观的呈现手术器械相对患者解剖结构的空间位置图，更好的辅助医生进行手术。
如图3所示，展示为本申请于一实施例中的基于三维模型的手术导航方法的流程示意图。如图所示，所述方法包括：
步骤S301：获取手术前对患者进行扫描的扫描图像数据，并据以生成三维模拟图像；
步骤S302：在手术过程中获取患者在动态定位坐标系中的定位图像、及患者实时动态数据，并获取手术器械在所述动态定位坐标系中的器械实时动态数据；
步骤S303：依据所述定位图像、及患者实时动态数据，将三维模拟图像与所述患者进行动态配准；
于本申请一实施例中，该步骤S103具体包括：
A、根据所述定位图像、及所述动态定位坐标系中的预设坐标，生成坐标参数；
B、根据所述坐标参数将所述三维模拟图像在所述动态定位坐标系中进行静态注册；
C、根据所述患者实时动态数据和所述器械实时动态数据将静态注册后的三维模拟图像与所述患者进行动态配准。
步骤S304：依据所述动态定位坐标系中的所述实时动态数据、及器械实时动态数据，实时计算患者与手术器械的空间坐标位置信息，并与三维模拟图像实时融合，以供得到能实时显示患者与手术器械的动态位置关系的手术导航三维模型。
具体来说，本方法的实施例与图1和图2所述的基于三维模型的手术导航系统的实施例类似，故针对方法的实施例此处不再赘述。但须知的是，所述方法可应用于图1或图2中的处理器2中，即处理器通过执行本方法的程序，借助如图1或图2中的扫描装置、动态定位获取装置、及手术器械等设备提供相关数据，以协助完成如图1或图2所示系统所实现功能。
如图4所示，展示为本申请于一实施例中的计算机设备的结构示意图。如图所示，所述计算机设备400包括：存储器401、处理器402、及处理器403；所述存储器401用于存储计算机指令；所述处理器402运行计算机指令实现如图3所述的方法；所述处理器403用于与外部设备通信连接。
所述外部设备可如图1或图2中所述的扫描装置、动态定位获取装置、及手术器械等设备。
在一些实施例中，所述计算机设备400中的所述存储器401的数量均可以是一或多个，所述处理器402的数量均可以是一或多个，所述处理器4032的数量均可以是一或多个，而图4中均以一个为例。
于本申请一实施例中，所述计算机设备400中的处理器402会按照如图3所述的步骤，将一个或多个以应用程序的进程对应的指令加载到存储器401中，并由处理器402来运行存储在存储器401中的应用程序，从而实现如图3所述的方法。
所述存储器401可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。所述存储器401存储有操作系统和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。操作系统可包括各种系统程序，用于实现各种基础业务以及处理基于硬件的任务。
所述处理器402可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
所述通信器403用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信连接。所述通信器403可包含一组或多组不同通信方式的模块，例如，与CAN总线通信连接的CAN通信模块。所述通信连接可以是一个或多个有线/无线通讯方式及其组合。通信方式包括：互联网、CAN、内联网、广域网(WAN)、局域网(LAN)、无线网络、数字用户线(DSL)网络、帧中继网络、异步传输模式(ATM)网络、虚拟专用网络(VPN)和/或任何其它合适的通信网络中的任何一个或多个。例如：WIFI、蓝牙、NFC、GPRS、GSM、及以太网中任意一种及多种组合。
在一些具体的应用中，所述计算机设备400的各个组件通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清除说明起见，在图4中将各种总线都成为总线系统。
于本申请的一实施例中，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如图3所述的方法。
在任何可能的技术细节结合层面，本申请可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本申请的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是(但不限于)电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路配置数据或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本申请的各个方面。
综上所述，本申请提供的一种基于三维模型的手术导航系统、方法、设备和介质，通过获取手术前对患者进行扫描的扫描图像数据，并据以生成三维模拟图像；在手术过程中获取患者在动态定位坐标系中的定位图像、及患者实时动态数据，并获取手术器械在所述动态定位坐标系中的器械实时动态数据；依据所述定位图像、及患者实时动态数据，将三维模拟图像与所述患者进行动态配准；依据所述动态定位坐标系中的所述实时动态数据、及器械实时动态数据，实时计算患者与手术器械的空间坐标位置信息，并与三维模拟图像实时融合，以供得到能实时显示患者与手术器械的动态位置关系的手术导航三维模型。
本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中包含通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。

Claims (10)

1.一种基于三维模型的手术导航系统，其特征在于，所述系统包括：扫描装置、处理器、及动态定位获取装置；
所述扫描装置，用于在手术前对患者进行扫描以得到扫描图像数据，并将所述扫描图像数据发送至所述处理器；
所述动态定位获取装置，用于在手术过程中获取患者在动态定位坐标系中的定位图像、及患者实时动态数据，并获取手术器械在所述动态定位坐标系中的器械实时动态数据；
所述处理器，用于依据所述扫描图像数据生成三维模拟图像；以及依据所述定位图像、及患者实时动态数据，将三维模拟图像与所述患者进行动态配准；以及依据所述动态定位坐标系中的所述实时动态数据、及器械实时动态数据，实时计算患者与手术器械的空间坐标位置信息，并与三维模拟图像实时融合，以供得到能实时显示患者与手术器械的动态位置关系的手术导航三维模型。
2.根据权利要求1所述的系统，其特征在于，所述动态定位获取装置包括：用于获取所述患者实时动态数据和所述器械实时动态数据的光学动态追踪设备、用于获取所述定位图像的定位摄像设备、及多个标记部件；其中，所述标记部件包括：定位部件和动态追踪部件。
3.根据权利要求2所述的系统，其特征在于，所述定位摄像设备在动态定位坐标系中的坐标为一预设坐标，以供所述处器理根据所述预设坐标和所述定位图像生成坐标参数，并根据所述坐标参数将所述三维模拟图像在所述动态定位坐标系中进行静态注册。
4.根据权利要求2所述的系统，其特征在于，所述定位部件和所述动态追踪部件贴附在患者身体上距离手术部位一定预设范围内位置，以供所述扫描装置扫描的扫描图像数据中包含定位部件图像和动态追踪部件图像、以及供所述定位摄像设备获取的所述定位图像中包含定位部件图像和动态追踪部件图像。
5.根据权利要求2或4所述的系统，其特征在于，所述定位部件为薄膜状，且其正面图案和反面图案相同；
所述正面图案为硫酸钡的涂痕；所述扫描装置在手术前对患者进行扫描得到的扫描图像数据包含有所述涂痕；
所述反面图案在贴附所述定位部件于患者身上时，在患者皮肤印制形成有水印图案；所述定位摄像设备在手术过程中获取的所述定位图像包含有所述水印图案。
6.根据权利要求2所述的系统，其特征在于，所述动态追踪部件还设置在所述手术器械上，以供所述定位摄像设备获取的所述定位图像中还包含手术器械图像；以及供所述光学追踪设备在手术中识别所述动态追踪部件以获取对应所述手术器械的器械实时动态数据；
所述处理器还用于根据所述患者实时动态数据和所述器械实时动态数据将静态注册后的三维模拟图像与所述患者进行动态配准。
7.一种基于三维模型的手术导航方法，其特征在于，应用于如权利要求1至6中任意一项所述的基于三维模型的手术导航系统，所述方法包括：
获取手术前对患者进行扫描的扫描图像数据，并据以生成三维模拟图像；
在手术过程中获取患者在动态定位坐标系中的定位图像、及患者实时动态数据，并获取手术器械在所述动态定位坐标系中的器械实时动态数据；
依据所述定位图像、及患者实时动态数据，将三维模拟图像与所述患者进行动态配准；
依据所述动态定位坐标系中的所述实时动态数据、及器械实时动态数据，实时计算患者与手术器械的空间坐标位置信息，并与三维模拟图像实时融合，以供得到能实时显示患者与手术器械的动态位置关系的手术导航三维模型。
8.根据权利要求7所述的方法，其特征在于，所述依据所述定位图像、及患者实时动态数据，将三维模拟图像与所述患者进行动态配准，包括：
根据所述定位图像、及所述动态定位坐标系中的预设坐标，生成坐标参数；
根据所述坐标参数将所述三维模拟图像在所述动态定位坐标系中进行静态注册；
根据所述患者实时动态数据和所述器械实时动态数据将静态注册后的三维模拟图像与所述患者进行动态配准。
9.一种计算机设备，其特征在于，所述设备包括：存储器、处理器、及通信器；所述存储器用于存储计算机指令；所述处理器运行计算机指令实现如权利要求7或8所述的方法；所述通信器用于与外部设备通信连接。
10.一种计算机可读存储介质，其特征在于，存储有计算机指令，所述计算机指令被运行时执行如权利要求7或8所述的方法。
CN202010900142.9A 2020-08-31 2020-08-31 基于三维模型的手术导航系统、方法、设备和介质 Pending CN112155727A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010900142.9A CN112155727A (zh) 2020-08-31 2020-08-31 基于三维模型的手术导航系统、方法、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010900142.9A CN112155727A (zh) 2020-08-31 2020-08-31 基于三维模型的手术导航系统、方法、设备和介质

Publications (1)

Publication Number Publication Date
CN112155727A true CN112155727A (zh) 2021-01-01

Family

ID=73858678

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010900142.9A Pending CN112155727A (zh) 2020-08-31 2020-08-31 基于三维模型的手术导航系统、方法、设备和介质

Country Status (1)

Country Link
CN (1) CN112155727A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113081265A (zh) * 2021-03-24 2021-07-09 重庆博仕康科技有限公司 手术导航空间配准方法、装置以及手术导航系统
CN113100939A (zh) * 2021-04-06 2021-07-13 德智鸿(上海)机器人有限责任公司 骨科手术导航方法、装置、计算机设备、系统和存储介质
CN113133828A (zh) * 2021-04-01 2021-07-20 上海复拓知达医疗科技有限公司 一种用于手术导航的交互配准系统、方法、电子设备和可读存储介质
CN113143463A (zh) * 2021-03-16 2021-07-23 上海交通大学 一种手术导航装置、系统、标定方法、介质及电子设备
CN113648056A (zh) * 2021-08-18 2021-11-16 上海电气集团股份有限公司 混合现实显示设备及其手术导航方法、手术导航系统
CN114159157A (zh) * 2021-12-06 2022-03-11 北京诺亦腾科技有限公司 辅助移动器械的方法、装置、设备及存储介质
CN116370072A (zh) * 2023-03-31 2023-07-04 普朗克(广州)医疗科技有限公司 手术辅助方法、装置、设备及存储介质
CN116725674A (zh) * 2023-08-14 2023-09-12 成都寻创信息技术有限公司 三维实时图像的追踪方法、装置及存储介质
CN117274506A (zh) * 2023-11-20 2023-12-22 华中科技大学同济医学院附属协和医院 一种导管下介入目标场景的三维重建方法及系统
WO2024067629A1 (en) * 2022-09-26 2024-04-04 Shanghai United Imaging Healthcare Co., Ltd. Methods, systems, and mediums for scanning

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060036162A1 (en) * 2004-02-02 2006-02-16 Ramin Shahidi Method and apparatus for guiding a medical instrument to a subsurface target site in a patient
CN103519895A (zh) * 2013-10-18 2014-01-22 江苏艾迪尔医疗科技股份有限公司 一种骨科手术辅助导引方法
CN107374729A (zh) * 2017-08-21 2017-11-24 上海霖晏医疗科技有限公司 基于ar技术的手术导航系统及方法
US20170354426A1 (en) * 2014-12-23 2017-12-14 Yann GLARD Surgical navigation system
CN111388087A (zh) * 2020-04-26 2020-07-10 深圳市鑫君特智能医疗器械有限公司 手术导航系统及执行手术导航方法的计算机与存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060036162A1 (en) * 2004-02-02 2006-02-16 Ramin Shahidi Method and apparatus for guiding a medical instrument to a subsurface target site in a patient
CN103519895A (zh) * 2013-10-18 2014-01-22 江苏艾迪尔医疗科技股份有限公司 一种骨科手术辅助导引方法
US20170354426A1 (en) * 2014-12-23 2017-12-14 Yann GLARD Surgical navigation system
CN107374729A (zh) * 2017-08-21 2017-11-24 上海霖晏医疗科技有限公司 基于ar技术的手术导航系统及方法
CN111388087A (zh) * 2020-04-26 2020-07-10 深圳市鑫君特智能医疗器械有限公司 手术导航系统及执行手术导航方法的计算机与存储介质

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113143463A (zh) * 2021-03-16 2021-07-23 上海交通大学 一种手术导航装置、系统、标定方法、介质及电子设备
CN113081265A (zh) * 2021-03-24 2021-07-09 重庆博仕康科技有限公司 手术导航空间配准方法、装置以及手术导航系统
CN113133828A (zh) * 2021-04-01 2021-07-20 上海复拓知达医疗科技有限公司 一种用于手术导航的交互配准系统、方法、电子设备和可读存储介质
CN113133828B (zh) * 2021-04-01 2023-12-01 上海复拓知达医疗科技有限公司 一种用于手术导航的交互配准系统、方法、电子设备和可读存储介质
WO2022206434A1 (zh) * 2021-04-01 2022-10-06 上海复拓知达医疗科技有限公司 一种用于手术导航的交互配准系统、方法、电子设备和可读存储介质
CN113100939A (zh) * 2021-04-06 2021-07-13 德智鸿(上海)机器人有限责任公司 骨科手术导航方法、装置、计算机设备、系统和存储介质
CN113648056B (zh) * 2021-08-18 2022-08-23 上海电气集团股份有限公司 混合现实显示设备及手术导航系统
CN113648056A (zh) * 2021-08-18 2021-11-16 上海电气集团股份有限公司 混合现实显示设备及其手术导航方法、手术导航系统
CN114159157A (zh) * 2021-12-06 2022-03-11 北京诺亦腾科技有限公司 辅助移动器械的方法、装置、设备及存储介质
WO2024067629A1 (en) * 2022-09-26 2024-04-04 Shanghai United Imaging Healthcare Co., Ltd. Methods, systems, and mediums for scanning
CN116370072A (zh) * 2023-03-31 2023-07-04 普朗克(广州)医疗科技有限公司 手术辅助方法、装置、设备及存储介质
CN116725674A (zh) * 2023-08-14 2023-09-12 成都寻创信息技术有限公司 三维实时图像的追踪方法、装置及存储介质
CN116725674B (zh) * 2023-08-14 2023-12-15 成都寻创信息技术有限公司 三维实时图像的追踪方法、装置及存储介质
CN117274506A (zh) * 2023-11-20 2023-12-22 华中科技大学同济医学院附属协和医院 一种导管下介入目标场景的三维重建方法及系统

Similar Documents

Publication Publication Date Title
CN112155727A (zh) 基于三维模型的手术导航系统、方法、设备和介质
CN107374729B (zh) 基于ar技术的手术导航系统及方法
Navab et al. First deployments of augmented reality in operating rooms
US20150223902A1 (en) Navigation with 3d localization using 2d images
CN111973273A (zh) 基于ar技术的手术导航系统、方法、设备和介质
EP3009073B1 (en) Real-time simulation of fluoroscopic images
CN107440797A (zh) 用于手术导航的注册配准系统及方法
JP2019506919A (ja) 電磁センサ追跡システムのためのモーション・ボックス視覚化
US20190139300A1 (en) Medical scene model
Rodas et al. See it with your own eyes: Markerless mobile augmented reality for radiation awareness in the hybrid room
CN115315729A (zh) 用于促进远程呈现或交互的方法和系统
De Silva et al. C-arm positioning using virtual fluoroscopy for image-guided surgery
Liu et al. Toward intraoperative image-guided transoral robotic surgery
CN109106448A (zh) 一种手术导航方法和装置
Uneri et al. Known-component 3D-2D registration for image guidance and quality assurance in spine surgery pedicle screw placement
CN106175931A (zh) 荧光镜视场的标记
Haliburton et al. A visual odometry base-tracking system for intraoperative C-arm guidance
Killeen et al. Mixed reality interfaces for achieving desired views with robotic X-ray systems
JP4290398B2 (ja) 身体部位に挿入された検査器具の３次元位置の検出装置および放射線画像作成装置
JP2007021193A (ja) 画像処理装置及び画像処理プログラム
CN113842227B (zh) 医疗辅助三维模型定位匹配方法、系统、设备及介质
US20200380705A1 (en) Registration facility, method for registering, corresponding computer program and computer-readable storage medium
CN109907833B (zh) 医学成像中的标记描绘
JP2014104328A (ja) 手術支援システム、手術支援方法及び手術支援プログラム
Shoji et al. Camera motion tracking of real endoscope by using virtual endoscopy system and texture information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210101