CN107669338A - 用于导航和可视化的系统和方法 - Google Patents

用于导航和可视化的系统和方法 Download PDF

Info

Publication number
CN107669338A
CN107669338A CN201710653497.0A CN201710653497A CN107669338A CN 107669338 A CN107669338 A CN 107669338A CN 201710653497 A CN201710653497 A CN 201710653497A CN 107669338 A CN107669338 A CN 107669338A
Authority
CN
China
Prior art keywords
image
surgical
computing device
certain embodiments
view data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710653497.0A
Other languages
English (en)
Inventor
P·M·博努蒂
J·E·贝耶斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
P Technology LLC
P Tech LLC
Original Assignee
P Technology LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/299,981 external-priority patent/US10058393B2/en
Application filed by P Technology LLC filed Critical P Technology LLC
Publication of CN107669338A publication Critical patent/CN107669338A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00005—Cooling or heating of the probe or tissue immediately surrounding the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2072—Reference field transducer attached to an instrument or patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/061—Measuring instruments not otherwise provided for for measuring dimensions, e.g. length
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/392—Radioactive markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A61B2090/3941—Photoluminescent markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3991—Markers, e.g. radio-opaque or breast lesions markers having specific anchoring means to fixate the marker to the tissue, e.g. hooks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/94—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text
    • A61B90/96—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text using barcodes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/98—Identification means for patients or instruments, e.g. tags using electromagnetic means, e.g. transponders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

提供了用于可视化外科手术部位的系统。该系统包括：用于对患者进行手术的机器人机构；耦接到机器人机构的成像设备，该成像设备被配置为提供感兴趣的部位的图像数据；以及耦接到该成像设备的计算设备。该计算设备包括一个或多个处理器以及被配置为存储可执行指令的至少一个存储器设备。该可执行指令当由处理器执行时被配置为：接收感兴趣的部位的图像数据，跟踪所接收的图像数据中的感兴趣的部位的运动模式，基于所跟踪的运动模式来过滤所接收的图像数据以移除其中的视线限制以及更改其中的像素，以及从经过滤的图像数据生成输出帧。该系统还包括呈现界面设备，该呈现界面设备耦接到计算设备并且被配置为呈现输出帧以用于感兴趣的部位的可视化。

Description

用于导航和可视化的系统和方法
技术领域
本公开的领域总体涉及可视化和导航，更具体地，涉及对用户没 有直接视线的部位进行可视化的方法和系统。
背景技术
一般地，当执行精细的任务(诸如驾驶、操作机械或执行外科手 术)时，清晰的可视化是重要的。例如，外科手术需要直接视线以准 备和进行外科手术，从而确保准确性。为了减少外科手术期间的并发 症，外科医生试图使对身体的任何干扰最小化。这些干扰可能包括最 小化的切口，其使外科手术部位减小，这转而可能限制外科医生的视 野。因此，在执行任务时(例如，手术前、手术中和手术后)存在向 用户(例如，内科医生和外科医生)提供反馈的可视化和导航的需要， 从而提高任务的准确性和效率。
发明内容
在一个方面，提供了用于外科手术部位的导航的机器人系统。机 器人系统包括耦接到展示界面的计算设备、手术构件和通信接口。计 算设备还耦接到被配置为提供外科手术部位的成像数据的第一成像设 备。计算设备还耦接到被配置为提供与第一成像设备的成像数据不同 的第二类型的外科手术部位的成像数据的第二计算设备。计算设备被 配置为共同配准成像数据以创建外科手术部位图像，以在展示界面上 向外科医生显示。
在各种实施例中可以独立地实现或者可以与其它实施例结合来 实现已经讨论的特征、功能和优点，其进一步的细节可以参考以下说 书和附图看出。
附图说明
图1是用于外科手术的机器人系统100的框图。
图2是可以与图1中示出的系统一起使用的示例性手术构件的透 视图。
图3是可以与图1中示出的系统一起使用的可替代的手术构件的 透视图。
图4是可以与图1中示出的系统一起使用的可替代的手术构件的 透视图。
图5是患者经受使用图1中示出的系统的手术的透视图。
图6A和6B是由图1中示出的系统产生的示例性图像。
图7是具有可以用与图1中示出的系统一起使用的标记物的脊柱 的一部分的透视图。
图8是用于与图1中示出的系统一起使用的示例性温度植入物的 剖开图。
图9A是由图1中示出的系统产生的示例性图像。
图9B是图9A中示出的示例性图像的图解。
图10-12是对由图1中示出的系统执行的图像滤波的示例性数据 流图像。
具体实施方式
本文描述的系统和方法使得能够在外科手术期间进行准确的导 航。本文描述的系统和方法在外科手术期间提供了患者的身体内部的 标志物信息。如本文使用的，术语“组织”或“身体组织”是指一起 执行某些特定的功能的分工相似的细胞的组或层，并且可以指身体内 任何类型的组织，包括但不限于骨头、器官、软骨、肌肉、皮肤、脂 肪、神经和伤痕。如本文使用的，术语“手术”或“外科手术”是指 对患者执行以诊断和/或治疗病理状态的操作。
图1是用于外科手术的机器人系统100的框图。系统100包括计 算设备102、用户输入控制104、展示界面106、通信界面108、成像 设备110和具有至少一个终端效应器114的手术构件112。在一些实 施例中，系统100被通信耦接(例如，通过电线或线缆，或者通过蓝 牙或Wi-Fi无线地耦接)到另外的手术室系统，包括但不限于监测外 科手术室控制件120、外科手术监测系统122和附加的外科手术系统 124以及手术桌或手术床220。机器人系统100可以附接到门，可以安 装到桌，和/或安装到患者。如本文进一步描述的，系统100可以附接到患者的身体组织或相对其移动。此外，系统100可以是微型机器人， 其可以被摄入或置于患者的身体内，包括可以无线通信和/或经由电磁 射频运动、超声、电容耦合等再充电的传感器。室控制件120的非限 制性示例是HVAC(温度、湿度)、氧气、氮气、二氧化碳和光照， 外科手术监测系统122的非限制性示例包括心脏、血液动力学、呼吸、 神经、血糖、血液化学、器官功能、分娩和体温监测。附加的外科手 术系统124包括但不限于麻醉(例如，氧气、二氧化碳、氮气、一氧 化二氮等)、内镜、关节镜、电磁指导、肿瘤学、导航、关节镜检查、 组织消融、超声消融、心脏、支架、瓣膜、心血管、ESW、吸入、泌 尿道、脑脊液、滑液、OB/GYN、ENG、神经外科、整形手术、肺胃 肠病学及静脉输注系统。本领域普通技术人员将理解，着眼于细胞化 学，可以以微观方式使用系统100，和/或以宏观方式使用系统100。
计算设备102包括至少一个存储设备120和耦接到存储设备120 以用于执行指令的一个或多个处理器122(例如，多核配置)。在一 些实施例中，可执行指令存储于存储设备120中。此外，可以使用一 个或多个异质处理器系统来实现处理器122，其中主处理器与单个芯 片上的次级处理器一起呈现。作为另一个例示性示例，处理器122可 以是包含相同类型的多个处理器的对称的多处理器系统。处理器122 可以执行局部处理，并且通过通信耦接到处理设备102的计算设备和/ 或处理器接收局部处理，以使得能够进行云端或远程处理。此外，可 以使用任何合适的可编程电路(包括一个或多个系统和微控制器、微 处理器、精简指令集电路(RISC)、特定用途集成电路(ASIC)、 可编程逻辑电路、现场可编程门阵列(FPGA)以及任何其它能够执 行本文描述的功能的电路)来实现处理器122。在示例性实施例中， 处理器从设备110接收成像信息并且创建共同配准的图像以在界面 106上显示并且基于成像信息向构件112提供运动限制。
在示例性实施例中，存储设备120是一个或多个使得信息(诸如 可执行指令和/或其它数据)能够被存储或恢复的设备。存储设备120 可以包括一个或多个计算机可读介质，诸如(而非限制)，动态随机 存取存储器(DRAM)、静态随机存取存储器(SRAM)、固态盘和/或硬盘。存储设备120可以被配置为存储(非限制)应用源代码、应 用对象代码、感兴趣的源代码部分、感兴趣的对象代码部分、配置数 据、执行事件和/或其它类型的数据。在一些实施例中，存储设备120 在本地恢复或存储有限的信息或者不在本地恢复或存储信息，而是在 通信耦接到系统100的设备上存储信息以实现云端存储。
在一些实施例中，计算设备102包括耦接到处理器122的展示界 面106。展示界面106向用户/外科医生呈现信息，诸如患者信息和/ 或图像(例如，扫描)。例如，展示界面106可以包括可以耦接到显 示设备(诸如阴极射线管(CRT)、液晶显示器(LCD)、有机LED(OLED)显示器和/或“电子墨水”显示器)的显示适配器(未示出)。 在一些实施例中，展示界面106包括一个或多个显示设备。在示例性 实施例中，展示界面106显示从成像设备110接收并且由处理器122 创建的外科手术部位数据。外科手术部位数据可以被显示在展示界面106上和/或以使用户能够看到外科手术部位的任何形式显示，包括但 不限于眼镜、位于外科手术头盔内的平视显示器、在用户的视网膜上 投射信息的视网膜显示器以及位于手术室内或某些其它远程位置处的 监视器。在一些实施例中，展示界面106从系统100将图像直接投射 到外科医生的视网膜。在一些实施例中，将外科手术部位数据与可听 命令一起提供到外科医生以在手术期间帮助引导外科医生。
在示例性实施例中，计算设备102包括用户输入接口104。在示 例性实施例中，用户输入接口104耦接到处理器122并且从用户/外科 医生接收输入。用户输入接口104可以包括例如键盘、指向设备、鼠 标、光笔、触敏面板(例如，触摸板或触摸屏)、陀螺仪、加速计、位置检测器和/或音频用户输入接口。在一些实施例中，用户输入接口 104是从手术构件112提供反馈(例如，压力、转矩)的触觉反馈系 统。在一些实施例中，单个构件(诸如触摸屏)可以用作展示界面106 的显示设备和用户输入接口104二者。在一个或一些实施例中，用户 输入接口是感测振动、热量、热特性等的传感器。
在一个实施例中，用户输入接口104是耦接到外科医生的一个或 多个传感器，被配置为检测肌肉运动，使得手术构件112和/或一个或 多个终端效应器114将响应于检测到的肌肉运动。在一些实施例中， 传感器位于外科医生或用户的皮肤中，使得传感器可以检测肌肉和/ 或神经的机械(例如，物理运动)信号或电信号。此系统使得外科医 生能够远程执行手术而不使用直接耦接到手术构件112和/或终端效应 器114的仪器。在一些实施例中，结合使用相机(即，成像设备110) 与传感器以确定和/或追踪外科医生运动模式从而对于外科医生运动 提供更有效的判断。
在示例性实施例中，计算设备102包括或耦接到通信接口108， 通信接口108耦接到处理器122。通信接口108与成像设备110、手术 构件112和/或远程计算系统(未示出)(诸如移动电话和/或平板电 脑)通信。为了与成像设备110、手术构件112和/或远程计算系统通 信，通信接口108可以包括例如有线网络适配器、无线网络适配器(例 如，蓝牙、Wi-Fi)和/或移动电讯适配器。在示例性实施例中，通信 接口108和展示界面106使得能够利用系统100对手术进行远程协商。 例如，在手术期间，外科医生可以从远程外科医生、助手或药品销售 代表接收手术期间的指导。此外，系统100包括构件112的传感器， 其感测构件的运动并且向系统100提供反馈，以使系统100能够提供 信号以通过外科医生正在交互的设备向外科医生提供触觉反馈和/或 警报。一个或多个成像设备110可以向远程用户提供对实时发生在手 术期间的事物的可视化，同时允许外科医生与远程连接的人交互地通 信。一个或多个成像设备110还可以提供手术前和/或手术后图像。此 外，可以在手术进行时利用不同类型的成像设备(例如，光纤、光、 声、激光等)。
此外，还可以利用上述远程会议技术来实现远程存货管理。例如， 医疗设备公司或代表可以利用一个或多个成像设备110来查看手术室 中或手术室外部安全的位置(例如，药房、储存室)中现有的存货， 以确定在手术期间使用了什么设备和/或物品。在一些实施例中，成像 设备110(例如，相机)扫描存货系统(例如，手推车)以经由处理 器122确定哪些物品不再存在并且在手术期间被使用。注意，系统100 可以通过使用附加的传感器来确定存货水平。例如，在一些实施例中， 系统100耦接到秤量存货以确定缺失的物品的称具。在一个实施例中， 使用传感器来提供反馈以基于位移、已知的存货位置中的空的空间和/或一堆或一批存货的形状改变来确定缺失的存货。可替代地，系统100 被配置为使用被配置为通过从存货接收信息来提供设备信息的自动识 别和数据捕捉(AIDC)传感器来追踪存货，信息包括但不限于包括条 形码、射频识别(RFID)、生物识别、磁条、光学字符识别(OCR)、 智能卡和语音识别。
由系统100处理设备使用情况并经由通信接口108将其传输到医 院计费部门、医疗设备供应商、经营者、门诊和/或其它需要追踪设备 使用的主体(例如，保险、手术付款人和政府报告主体)。应注意， 系统100被配置为追踪医疗和/或医院内的存货系统，包括但不限于植 入物、外科手术器械、一次性医疗设备、药物和支撑物。此外，本文 描述的存货控制特征可以由医疗领域以外的需要存货控制的任何系统 使用。
在一些实施例中，系统100将运动模式用于导航(例如，外科手 术导航、车辆导航等)。在外科手术情景中，抽搐、移动或以运动模 式动作的组织的实际运动或刺激可以被系统100追踪并用于导航(即， 理解软组织相对于软组织和/或骨头位于哪里)。例如，如果使用电刺 激来刺激肌肉或神经以使其抽搐，则系统100可以追踪这些移动模式 以确定神经或肌肉位于哪里。在另一个示例性实施例中，可以在血管 中生成痉挛以确定血管位于哪里以创建导航模式。系统100还可以被 用于微观级以在细胞膜和/或细胞受体被刺激的细胞级创建导航。当移 动模式被追踪时，使用本文描述的方法的系统100可以移动像素和/ 或增强或改变视觉。例如，如果刺激组织、细胞和/或膜以使其移动， 则系统100可以消除或移除这些像素。
在一些实施例中，系统100的方面使用伸肌光学系统。本领域普 通技术人员熟知许多光学系统。例如，如果在光学传感器的道路上有 浊斑，诸如阴沉、出血或滑液，光学传感器可能不准确地记录特性， 诸如pH或压力。通过移除浊斑，系统100改进光学传感器的功能。 在一些实施例中，系统100改变光以通过频闪、闪光亮/灭、和/或显 示不同反射强度(即反射率)对频率或强度进行着色。系统100还可 以基于光的颜色、频率、强度和/或频闪来移除反射不同的组织。
图2-4是可以与图1所示的系统100一起使用的示例性手术构件 210、230和250的示意图。图2是遥控机械手210形式的示例性手术 构件112的示意图。遥控机械手210从操作输入接口104的用户/外科 医生接收手术指令。在此实施例中，当手臂212使用终端效应器和机 械手214对患者200执行实际外科手术从而实行这些移动时，用户/ 外科医生能够执行正常的外科手术移动。应注意，使用遥控机械手 210，外科医生不需要在手术室到场，而是可以在世界上的任何地方， 这使得远程手术是可能的。在一些实施例中，遥控机械手210包括臂 214内的成像设备110(例如，内窥镜)。
图3是用户可移动机器人手臂220形式的替代性手术构件112的 示意图。在示例性实施例中，通过处理部224的移动，手术机械臂220 将终端效应器222移动就位。在手术期间，外科医生在由计算设备102 和/或处理器122利用从成像设备110获得的信息施加的限制下使用臂 220(更具体地，终端效应器222)。
图4是手动外科手术工具230形式的替代性手术构件112的示意 图。在此实施例中，工具203被操纵为手提的(即，手拿式)，使得 外科医生在手术期间可以操纵工具230。工具230包括能够对患者执 行外科手术功能的终端效应器232。在实施例中，工具230可以至少 部分地消毒。在另一个实施例中，工具230包括覆盖工具230的部分 和手术室的消毒部分(诸如袖子、被单)的外科手术排出物。
应注意，系统100被配置为仅使用系统100(包括手术构件112， 其非限制性示例表示为遥控机械手210、臂220和工具230)完成整个 外科手术。如上所述，手术构件可以包括一个或多个终端效应器214、 222和232来执行用于执行外科手术所需要的动作。构件112的动作 可以是任何外科手术动作，包括但不限于缝纫、缝合、订、切割、锯、 烧灼、抓、捏、拉紧、张紧、移动、植体、移除、观察、感测力、感 测压力和绑。终端效应器214、222和232可以是执行外科动作所需要 的任何终端效应器，包括但不限于钳、针、针驱动器、牵开器、夹钳、探针抓紧器、心脏稳定器、气球、组织解剖器、锯、刀、磨、铰刀、 凝聚装置、激光、超声变换器/探针、烧灼器械、解剖器、吻合器、剪 刀、抓紧器和密封器。
在示例性实施例中，系统100包括至少一个成像设备110。如图 5所示，成像设备110可以基本环绕经受手术(即，在手术进行中) 的患者200或定位在患者200附近，手术至少部分地由手术构件112 和/或终端效应器114进行。在示例性实施例中，成像设备110包括耦 接到扫描器302的C臂300。在一个实施例中，扫描器302是被配置 为检测患者200的身体内部的放射性示踪物的伽马相机。替代地，扫 描器302是能够扫描和/或检测患者200的环境信息、手术部位和/或 手术室的任何设备，包括但不限于内窥镜、荧光镜(例如，X射线、CT、CAT扫描)、激光或超声多普勒测速仪、投影射线照相、MRI、 SPECT、PET、超声、红外、弹性摄影、触觉成像、光声成像、热成 像、断层摄影、超声心动图、NIRS和fNIRS。在一个实施例中，可 以结合经由多种技术扫描到和/或检测到的环境信息(例如，结合可见 光波长和红外成像技术)。在一些实施例中，成像设备110可以具有 位于外科手术部位处、附近、邻近或其内部的一个或多个扫描器302 以执行成像。在一个实施例中，成像设备110包括被配置为定位手术 构件标记物250的扫描器302，手术构件标记物250位于手术构件112 上。标记物250信息被传输到计算设备102以确定构件相对于患者 200、系统100的其它构件和/或手术室的位置。在示例性实施例中， 系统100包括成像设备110，其提供对外科手术部位的整体成像以向 用户提供完成手术必需的成像。例如，在膝盖关节造形术中，手术中 使用的一个或多个成像设备110将会向外科医生提供膝盖以及相关的 接合处(例如，髋部和踝部)的图像以确保有效的手术。在此手术中， 系统100将产生髋部、膝盖和踝部的三维模型，以在所有角度中提供 手术的视野，包括前后(AP)视野和内外(ML)视野。虽然提供了 关节造形术的非限制性示例，应注意，利用系统100，可以利用整体 成像进行任何类型的手术。
在使用机器人系统100的准备中，需要校准以确保终端效应器 114的准确性。典型地，在手术前进行对患者的成像(例如，CT)， 并且图像被加载到系统100中。在一些例子中，在系统100的校准期 间，当患者200在手术室内并且在手术桌上时，患者标记物物被放置或钉入身体以提供标志物信息。系统100被配置为将患者标志物信息 与手术前提供的图像相关联，以提供如图9中所示的外科手术部位的 地图。
在一些实施例中，通过将机器人系统耦接到外科手术桌和/或患 者来帮助校准。将系统100耦接到外科手术桌或床为系统100提供了 相对的患者位置信息，因为患者在手术期间移动。参考图2，手术构 件112可以被配置为在遥控机械手210的底部230处或者在遥控机械 手210的一个或多个臂220处或其附近经由耦接机械232直接耦接到 桌220。参考图3，可移动机器人臂220可以被配置为具有设置在臂 220内的一个或多个凹部或坞部(dock)240，用于直接耦接到桌220。 除了耦接到桌220以外。构件112可以直接耦接到患者。在一些实施 例中，可以对每个患者创建定制的或3D打印的设备250以在手术期 间穿戴。为了创建这样的设备250，可以对外科手术部位进行手术前 扫描并且定制设备250将被操纵为放置在患者上。在一个这样的非限 制性示例中，如图3中所示，对于大脑外科手术，为患者定制头盔250， 其包括为构件112提供耦接点的附接部252以及用于执行手术的孔 254。设备250可以被操纵为适合经受手术的任何身体部分，包括但不 限于腹部、腿、膝盖、脚、踝部、脖子、背部、躯干、手臂、手、头 部和面部。
应注意，手术构件可以被配置为接入(dock)或电耦接到外科手 术桌或床，使得可以经由通信接口来传输上述的每一个之间的通信。 在一些实施例中，手术构件112刚性耦接到桌或床，而其它实施例提 供构件112与桌之间的电线、线缆或无线(例如，蓝牙或Wi-Fi)耦 接。此外，在一些实施例中，手术构件112刚性地直接耦接到患者或 耦接到手术期间使用的外科手术器械(例如，外科手术机器人、器械、 可视化系统、牵引器、电外科手术系统、刀、锯和磨)。在一些实施 例中，手术构件112用于传达者(transmitter)/内科医生办公室或其 它地方，诸如保险公司等。
在示例性实施例中，放射性示踪剂被插入到身体中，并且患者的 标志物信息由系统100的放射性检测器(例如，扫描仪302)检测并 且经由展示接口106被提供给外科医生以增加外科手术的效率和准确 性。如众所周知的，放射性示踪剂从身体内发射伽马射线(gamma ray)。这些示踪剂通常是与能够检测特定生理过程和/或解剖标志物 的化合物(例如放射性药物)连接的短寿命同位素。在一些实施例中， 通过静脉内注射(例如IV)、吸入或口服来给予示踪剂。在一些实施 例中，示踪剂是光学的和/或可生物降解的。
在示例性实施例中，锝-99m被用作放射性示踪剂。锝-99m发射 140千电子伏(kev)的半衰期为大约6小时的伽马射线，其以高锝酸 盐离子(TcO4)的形式排出。替代地，任何放射性示踪剂都可以与本 文描述的系统和方法一起使用，这些放射性示踪剂包括但不限于铋 -213、钙-47、碳-11、铯-137、铬-51、钴-57、钴-60、铜-67、镝-165、 铒-169、氟-18、镓-67、钬-166、铟-111、碘-123、碘-125、碘-131、 铱-192、铁-59、铱-192、氪-81m、镥-177、钼-99、氮-13、氧-15、钯 -103、磷-32和磷-33、铑-42、铼-186、铼-188、铷-82、钐-153、硒-75、钠-24、锶-85、锶-89、锶-92、硫-35、锝-99m、铊-201、铀-235、氙-133、 镱-169和钇-90。
在一些实施例中，由伽马相机检测这些示踪剂，伽马相机识别使 得能够从许多不同角度查看患者的内部标志物的光子。在这种实施例 中，相机根据辐射从其发射出的点来构建图像，并且该图像由系统100 增强并且由医师在监视器106上查看。在替代性实施例中，执行正电 子发射断层摄影(PET)，其中PET相机检测相反方向上的两个可识 别的伽马射线的发射以识别标志物。在还有的另一个实施例中，执行 心肌灌注成像(MPI)以识别标志物。在一些实施例中，与计算机断 层摄影(CT)扫描一起使用具有用示踪剂(例如，伽马，PET，MPI) 识别出的标志物的图像，并且该图像由系统100共同配准(例如分层) 以提供完整的标志物信息。应当注意，示踪剂图像可以与任何其他类 型的成像(例如超声、x射线和MRI)共同配准，以产生标志物信息。 在一个实施例中，示踪剂用于具有或者不具有辐射的超声导航。超声 导航可以用于表面映射或配准解剖数据点。
在机器人辅助的外科手术(例如利用系统100的外科手术)期间， 需要具有多个固定点以供跟踪器识别从而允许导航计算。目前，在关 节成形术(arthroplasty)的情况下，将入侵针插入到骨骼中以校准机 器人系统并创建标志物。在示例性实施例中，经由示踪器找到的标志 物信息用于校准和导航计算。在这种实施例中，在将放射性药物(例 如锝)引入系统中后，示踪剂被成骨细胞吸收并在所得图像上被注意 到。通常，示踪剂在图像上显得暗，并且可以被称为热点。这些位置 由系统100与其他图像共同配准，并且系统100使用已知算法执行计 算以确定用于外科手术的关键距离和/或边界层。
图6A和图6B是由系统100创建、显示和/或利用的示例性图像 400的图示。在示例性图像400中，使用伽马相机创建的骨扫描被示 出为具有多个热点402，这些热点402指示放射性药物的位置。在一 些实施例中，(例如外科医生，医师的助手，护士)在组织(例如骨)内创建切口，该切口将促进成骨细胞形成和热点形成，因为成骨细胞 将吸收示踪剂。在这样的实施方案中，可以将示踪剂直接注入和/或直 接放置在切口上，使得示踪剂基本保持在适当的位置并且避免示踪剂 的系统性引入。在一个实施例中，不同的示踪剂可以被吸收到不同的 组织(如甲状腺，肝脏，肾脏等)中。系统100还能够使用超声、径 向等距(radialized isometry)和/或前、后和周向的三维视图来创建、 显示和/或利用三维图像。
如图7所示，在一个实施例中，除了创建组织切口之外和/或作 为其替换，使用者还将一个或多个组织标记物420放置在身体内的离 散位置。组织标记物420可以用示踪剂注射，填充或形成，以(例如 通过热谱图(thermogram))提供位置信息。在一个实施例中，标记 物420是形成为粘附于身体组织轮廓的支架。支架420可以形成为直 接粘附到组织和/或使用固定物固定(固定物例如是外科手术粘合剂、 生物粘合剂、胶水、紧固件、超声波焊接、其他组织重建修复方法)。 替代地，示踪剂可以与介质(例如PLLA、胶原)复合并且使用或不 使用固定物而定位在组织上。应当注意，标记物可以是可生物降解的， 使得组织标记物可以在外科手术后保留在身体中。另外，标记物可以 由不可生物降解的材料制成。在一些实施例中，标记物包括无线发射 器(例如，RFID标签、蓝牙)，该无线发射器至少提供并发症风险 评估和/或存货的位置信息。另外，标记物可以是组织中的传感器。
在一个实施例中，传感器422定位在手术部位内。传感器422被 配置成检测非视线外科手术数据并将其通过系统100传输给外科医 生。尽管传感器被配置成以无线方式与系统100进行通信，但是传感 器422可以电耦合到系统100以通过传输线(例如光纤或金属电缆) 直接通信。在一个实施例中，传感器422将用作盖革(Geiger)计数 器并检测特定位置内的示踪剂。在一个实施例中，传感器422由电容 器供电。在另一个实施例中，通过利用通过热施加而通过细胞膜的电 能，传感器422由跨膜的体流(body flow)供电(即，将组织转化成 电池)。应该注意，体流可以通过合成组织完成。在一个实施例中， 传感器422测量细胞内的微细胞的微细胞电梯度。在一些实施例中， 传感器422被配置成检测力以提供关于施加在组织上和组织周围的力 的反馈。在一些实施例中，传感器422测量在外科手术期间由身体(例 如神经)发射的电脉冲。在这样的实施例中，传感器422可以通过EEG、 EMG、微电极阵列或其他电生理记录方法检测脉冲。在一个实施例中， 传感器422被提供以使得在手术期间检测到体感诱发电位。应当注意， 传感器422可以是监测环境因素的任何传感器，这些环境因素包括但 不限于力、声、振动、密度、压力、光学、化学和电。在一些实施例 中，传感器422是光学的和/或可生物降解的。传感器422也可以定位 在患者的皮肤上或者可以植入患者的身体中。在一些实施例中，传感 器422部分地降解。例如，传感器422可以包括可生物降解的涂层， 或者当暴露于水时在特定时间内缓慢降解。降解可以通过热、pH等 加速。在一些实施例中，传感器422是例如通过电磁、光学、激光、 超声、振动和/或热技术可再充电的。
在一个实施例中，传感器422被配置成测量特定工具的距离。例 如，如图7所示，末端执行器114(例如超声手术刀)可以具有位于 固定位置的发射器424。当末端执行器114插入身体中时，系统100 可以监测该工具相对于传感器422的距离。在示例性实施例中，传感器被放置在脊髓430的至少一部分上。当该工具在内部朝向脊髓430 前进时，系统100和/或处理器122将锁定(防止)末端执行器起作用 和/或前进以防止破坏脊髓430。在一些实施例中，传感器直接检测工 具而不需要发射器。例如，传感器可以检测由工具发射的振动或声能 以确定该工具相对于传感器的位置。
如上所述，可以对系统100进行校准，使得标记物420和/或传 感器422提供边界，使得不是外科手术的一部分的对身体的部分的干 扰最小化。另外，标记物420和/或传感器422可以在故障发生时提供 辅助保护层。在这样的实施例中，标记物和/或传感器可以要求系统100 的软件执行对校准的第一检查并且在整个手术中确认导航。
应当注意，虽然本文所示的方法和系统被描绘为针对关节成形 术，但是本文所述的方法和系统可以针对任何外科手术用在身体的任 何部位中。例如，示踪剂可以被吸收到器官(例如心脏，胆囊等)中， 这使得系统100能够为手术构件112和/或末端执行器114创建边界， 使得末端执行器不会在边界之外工作，其中该边界是使用从标记物 420、传感器422和/或扫描仪302获得的信息创建的。因此，当软组 织移动或被移动时，系统100可以保持手术部位的准确位置。此外， 本文描述的方法和系统可以用于使用通过CT、MRI、超声技术等的 术前成像而引导的机器人技术和/或触觉技术。本文描述的方法和系统 也可以在手术中独立使用。
在示例性实施例中，系统100从软件接收指令，该软件使得处理 器122能够确定手术部位内的边界并且防止(例如，锁定或禁用)构 件112和/或末端执行器114在所确定的边界之外操作。为此，如果由 于边界而阻止构件112和/或末端执行器114继续操作，则系统100和 /或处理器122被配置为确定是移动构件112和/或末端执行器114还 是工作台220的一部分(或全部)，以使得构件112和/或端部执行器 114能够进一步操作。在一个实施例中，将对要移动的对象的确定提 供给外科医生以使得能够进行手动干预。
替代地，系统100向适当的对象(例如，执行器114或工作台220) 提供信号以使得手术能够继续。提供给工作台220的信号可以是使得 工作台根据需要重新定位患者的任何信号，包括但不限于操纵、旋转、 转矩、扭转、分散、弯曲、伸展、上升、下降、膨胀或使用牵开器(即 内部的或外部的)或垫板将对象引入/拔出外科手术部位。对象的这种 重新定位使得外科医生能够相对于门(portal)或切口优化身体的部 分。例如，系统100被配置为提供操纵血管血流、器官位置或任何其 他身体部位的位置的指令。提供给工作台220的信号也可以是使得工 作台相对于身体部位移动的任何信号。身体部分还可以相对于工作台 220和/或相对于耦合到系统100的其它系统(例如，120、122、124 和220)移动。此外，工作台和身体部位可以同时一起移动或独立地 移动。除了提供操纵工作台220的指令之外，系统100还可以向耦合 到系统100的其他系统(例如，120、122、124和220)提供指令。例 如，系统100操纵工作台220的变化，系统100还将传输信号以调整 照明或可视化以重新定位到手术部位的新位置。本文描述的信号可以 通过语音命令、远程命令、成像控制和/或机器人激活来启用对系统100 的各方面的控制和/或激活。还可以利用具有或不具有导航或可视化的 机器人机制来控制系统100的方面。
另外，如果处理器122确定了患者的持续改变将有助于手术的有 效性，则可生成信号并将其传输到麻醉系统和/或麻醉师以改变所给出 的麻醉剂(例如，量或类型)。在一个实施例中，处理器122生成并 传输指示麻醉的信号，以例如增加或减少肺的充气、改变血压、心跳 率、肺体积等。此外，处理器122能够控制用于经皮神经电刺激(TENS) 的电流以刺激肌肉活动和/或血管活动和控制位置。例如，可以使用电 热振动来刺激组织和/或电体细胞(soma)。
图8是用于与图1所示的系统100一起使用的示例性温度植入物 500的剖视透视图。植入物500包括加热部分502，该加热部分502 向与植入物500直接接触的组织提供加热。植入物500还包括围绕并 邻近加热部分502的冷却部分504，该冷却部分504防止不与加热部 分502直接接触的组织的加热。加热部分包括表面506，该表面506 被配置为由于定位在植入物500内的加热元件510而升高温度。加热 元件510可以是向表面506产生热量的任何元件，包括但不限于金属、 陶瓷和复合材料。在一个实施例中，从振动(例如超声)能量的使用 中产生热量。在示例性实施例中，表面506被制造成包括聚合物，但 是可以包括能够进行热传递的任何材料，包括但不限于金属和聚合物 复合材料。在一些实施例中，加热部分502包括磁性表面。加热元件 510还可以是例如通过微观膜、细胞膜、神经纤维、线粒体和/或细胞 内受体(intracellular)向植入物表面、细胞膜、肿瘤或感染部位产生 电荷的任何元件。
为了向植入物500提供冷却，冷却部分504包括热交换器以减少 对不与表面506直接接触的组织的加热。在一个实施例中，植入物500 被制造为模块化的。在这样的实施例中，植入物500被制造成具有多 个可移除部分，例如基部部分520和第一模块化部分522。可以添加 或移除一个或多个模块化部分522以增加或减小植入物500的尺寸， 从而提供可变大小的植入物。
在示例性实施例中，加热元件510和/或冷却部分504被控制器 530和电源532供电。在一个实施例中，电源532是电池。替代地， 电源532是将电力(例如，A/C或D/C电流)从电源(例如，插座) 转换到由加热元件510和/或加热交换器504使用的电气信号的电力转换器。植入物500还包括传感器534，传感器534被配置为监视操作 部位内的环境因素。在一个实施例中，传感器534是被配置为监视植 入物500和/或与表面506接触的组织和/或与植入物500相邻的组织 的温度的温度传感器。附加地，传感器534可以是监视包括但不限于力、声学、振动、密度、压力、光学、化学和电气的环境因素的任何 传感器。在一些实施例中，植入物500包括耦接到控制器530的定时 器(未示出)，该定时器使得控制器选择性地在预定时间或间隔处向 加热元件510提供电力。在一个实施例中，传感器534是内部传感器。
传感器534耦接到通信接口540，通信接口540耦接到处理器542 和/或控制器530。通信接口540与图1所示的系统100通信。除了提 供操作部位信息之外，通信接口540还远程地接收指令，用于向植入 物500供电和调整植入物500的参数(例如，温度)。为了与系统100通信，通信接口540可以包括例如有线网络适配器、无线网络适配器 和/或移动电信适配器。此外，通信接口540可以经由神经传输、蜂窝 模传输和/或蜂窝信号进行通信。
在使用中，植入物500被放置在组织上。在一些实施例中，植入 物500加热组织预定量的时间，并然后被移除。在被移除之后，热谱 扫描可以被进行以便向系统100提供标志物信息。在一个实施例，植 入物500保持定位在身体内以允许在手术过程中对组织的选择性加 热。得到的热谱图像可以与对患者拍摄的其他图像(例如，CT、MRI、X射线、伽马)共同配准，以向系统100和/或患者提供标志物信息。 在一些实施例中，热谱可以被用作上面描述的放射性同位素的替代。 使用植入物500和得到的热谱图像的优点在于，标志物信息可以被提 供和配准，而无需具有使得植入物500被定位在关节置换后面的填充 物的侧边、背部或当中的部位的直接线，不需要会阻碍外科手术的部 位的直接线。在一些实施例中，植入物500使用电气、热和/或磁技术 来刺激肌肉、血管、神经等以便在移动模式上收缩。标志物信息可以 通过创建边界级别以及导航来检测。例如，刺激器会移动以检测移动 在何处并且然后创建边界层或到特定部位的导向方向。
在一个实施例中，系统100包括以血管确定设备形式的扫描仪 302。扫描仪被配置为定位身体中的血管和流速。扫描仪302可以包括 用于定位血管的任何流量确定技术，包括但不限于超声流量计和/或激 光多普勒速度计。一旦血管被定位，位置信息可以被发送到系统100 以被输入到图像和导航校准中。在一个实施例中，系统100基于所定 位的血管的尺寸和/或流速来确定血管的类型(例如，动脉、静脉、毛 细血管)。手术部位内的血管可以被用作边界以使得当接近血管时手 术构件112和/或末端效应器114将被禁用，以在手术期间维持患者安 全。
图9A是由图1所示的处理器122使用从扫描仪302接收的用于 显示在界面106上的信息来创建的示例图案600。图9B是图像600的 示意性呈现。图像600由从扫描仪302创建的共同配准的多个图像创 建。如图像中所示，从MRI中具有股骨604和胫骨606的膝关节被创建。根据流动确定技术，图像600还显示位于股骨604和胫骨606后 面的血管602。放射性示踪剂信息被热点608示出，热点608从伽马 相机或PET导出，并且传感器422或标记物610也可以被定位。图像 600还包括来自患者的热成像信息612。在一个实施例中，图像600 包括切割导向器614，该切割导向器614显示组织的将被医生移除的 部分。应当注意的，能够被系统100识别的标志物、传感器或标记物 中的任何或全部可以用作手术构件112和/或末端执行器114的边界或 限制。附加地，本文描述的任何成像和/或标志物确定技术可以被组合使得处理器122可以共同配准信息以产生系统100的图像和指令。
除了图像600，处理器和/或系统100还可以基于图9示出的信息 来生成采用动画或3-D渲染的形式的手术部位的复合图像。这样的图 像将提供手术部位的重构，使得医生旋转通过手术部位并且使整个部 位从任何期望的角度都可视化。如上所示，产生的图像还会使得医生 接收部位的整体视图。例如，当图像600的一部分显示膝盖的一部分 时，医生的视图将提供用于相对信息的骨盆、臀部、脚和踝的视图。 这样的信息对于确定手术部位(例如，膝盖移动)中的对象如何影响 主体的远程部分(例如，臀部、脊柱和踝)是至关重要的。除了光学 改变之外，产生的图像还可以启动电气和/或运动模式的检测。
在示例性实施例中，由系统100产生的图像还向医生提供在手术 部位中定位解剖结构(例如，骨、器官、动脉、血管、软骨)以及通 过颜色编码或标识来表示这些结构的能力。基于医生的需求，在手术 期间，这样的结构还可以经由输入界面104被移除或添加到视图。由 系统100产生的图像还可以被用于外部切除系统(external ablation system)，其利用超声、热以及类似的技术来细化精确的组织位置， 以用于切除肿瘤、用抗生素治疗感染以增强生长、神经组织、重新连 接神经元、和/或修复复杂的神经束。
为了减少接收的或由外科手术导致的创伤(例如，疼痛、肿胀等)， 外科手术标记物和/或传感器可以被定位在医生感兴趣的点处。外科手 术标记物是包括当暴露于紫外线光时发荧光的染料的物质。作为直接 将外科手术标记物放置在组织上的替代方案，组织闭合设备(例如， 缝合、钉固定)可以用染料浸染，使得其被吸收或转移到与闭合设备 直接接触的组织。例如，在关节翻修手术过程中，感染的关节替换部 件被提取并且被替换，在医生提取关节替换部件之后并且在闭合手术 部位以允许身体消除/对抗存在的感染之前，他/她可以将外科手术标 记物置于切口或开放组织上。当患者返回以进行二次手术(例如，将药物放置于身体中)时，紫外线光可以用于定位之前的切口位置。使 用UV指示的位置，医生可以利用之前的切口来打开手术部位。利用 之前的切口可以较大地减少对患者的疼痛、炎症以及创伤，因为瘢痕 组织通常形成在之前切口的位置处，已经发现这与对肌肉组织的障碍 (即，切口)相比对患者有较少的创伤。
除了从成像设备110在系统100中创建的图像之外，系统100可 以包括软件过滤器，用于过滤来自图像的能够限制用户(例如，医师/ 医生、驾驶者、机器操作者等)的视线的材料和/或对象。例如，本文 描述的过滤器会通过过滤不透明出血或血流以及允许医生确定出血的 位置或源头，增强医生在手术(关节镜术)期间使手术部位可视化的 能力。在另一个示例性实施例中，本文描述的过滤器会通过过滤雾、 雨等以及允许驾驶者确定在即将到来的道路延伸上是否存在危险，增 强驾驶者使即将到来的道路延伸可视化的能力。当视频被数字化时， 每个帧被二维阵列表示。在阵列中的每个位置表示一个像素，并且每 个像素包含表示颜色和其他属性的一组值。本文描述的过滤器操控这 些像素值。例如，本文描述的过滤器可以在电气充电或运动改变的情 况下或在没有电气充电或运动改变的情况下改变像素和/或移除像素。 应当注意的是，这些过滤器可以被应用到任何视频格式以及包括但不 限于PAL、NTSC、MP4和AVI的编码方法。
在一个实施例中，在系统100内利用第一过滤器，第一过滤器被 配置为确定在外科手术期间在外科手术部位的盐溶液中何时存在血 液。这通过监视对于以特定模式移动的目标颜色的范围的帧序列来完 成。在一个实施例中，第一过滤器使血液的颜色值降低以与周围的颜 色匹配。可替代地，第一过滤器使血液的颜色(例如，红色)的强度 降低以使得外科医生能够更好地可视化预期区域。在一些实施例中， 第一过滤器使颜色值降低并且使颜色的强度降低。例如，人们可以看 到产生这些改变的反射系数(例如，反射率)、不同光源的反射率和/ 或不同的移动。在一些实施例中，第一过滤器利用振动改变、声学改 变、移动改变和/或移动或者具有特定电荷的电池来完成该确定。第一 过滤器可以移除组织/骨头中的这些像素。在一些实施例中，目标(例 如，组织)可以被磁化。在一些实施例中，过滤器反弹、改变和/或反 射光。例如，过滤器可以使得用户能够利用反射光通过使用发射率或反射系数来看见角落。
在另一个实施例中，系统100利用第二过滤器来向用户提供图像。 第二过滤器被配置为通过移除每个帧中满足预定标准(例如，血流) 的像素来调整图像中的特定颜色。然后缓冲器中将在不使用第二过滤 器的情况下在标准图像上显示的像素将替代被遮挡的像素被使用。这 将给予第二过滤器滞后性，该滞后性允许第二过滤器使用先前的信息 来帮助再现可以遮挡其它感兴趣对象(例如，软组织、软骨、肌肉、 骨头)的视图的对象(例如，血液、关节滑膜、组织脂肪、碎屑、骨 头碎片)后面的事物。应当注意的是第一过滤器和第二过滤器可以被 组合使用以提供对外科手术部位的准确渲染，该准确渲染使得外科医 生能够选择性地从他们的视图中消除不需要的对象。例如，多个过滤 器可以被用来将橙色像素改变为红色像素。在一些实施例中，一个过 滤器是软件过滤器，例如机械过滤器(例如，胶片、棱镜、菲涅尔透 镜、UV透镜)。
在一些实施例中，通过生成基线图像并且将基线图像与在预定时 间增量(例如，0.1、0.5、1、2、30秒或分钟)处取得的新图像进行 比较来利用第二过滤器。在这样的实施例中，像素可以被比较以确定 流体或其它移动对象的流动模式。附加地，系统100被配置为通过接 收成像信息、与已知的成像信息(例如，手术前扫描)进行比较、确 定差别以及向接收到的成像信息添加必要的数据来增强图像中的对 象。
图9是用于与图1中示出的系统100一起使用的可视化方法的示 例性流程图700。在示例性实施例中，系统100接收部位的图像。在 一些实施例中，图像由计算设备102从成像设备110和或输入接口104 接收。在一些实施例中，图像由计算设备102通过通信接口108从远 程位置接收。
图10-图12是利用图9中示出的方法的图像。
在一些实施例中，系统100利用过滤器来确定血液流的源。一旦 系统100和/或处理器122确定了血液流的位置或源，则系统100可以 在图像上指示血液的源。附加地，系统100还可以在图像中血液具有 较强浓度的某些区域处指示血液的特定浓度。在一些实施例中，系统 100可以确定可以指示血液流的源的一个或多个位置中的血液流的速 度。系统100和/或处理器122可以利用具有非限制性示例为圆圈、标 记物或颜色区分的指示标在图像上指示上文描述的确定中的任何确 定，以便外科医生可以容易地定位血液流的区域，以允许电烙器定位 出血的源和/或施加压力以进行凝血。
在一个实施例中，诊断超声头或B型超声头被嵌入到成像设备 110(例如，照相机)中以实现来自诊断超声的信息与视频信息的实时 叠加。这向外科医生提供外科手术部位的三维视图以及直接的照相机 视图。这样的组合在利用过滤器从外科医生的视图中移除血液或其它 碎屑方面是有用的。在一些实施例中，第二门超声或外部超声与照相 机结合被利用以同样实现这些过滤器。如果使用内部或外部超声，使 用多普勒信息来为了过滤而更好地检测血液是可能的。过滤器将如先 前所述那样工作以用于移除颜色或使用来自先前帧的信息。多普勒信 息在对出血位置的较精确的确定方面是有用的。过滤器还应当监视血 液流的急剧增加。如果系统100确定血液流的增加已发生，则向用户 发送可能需要注意的出血正在发生并且正在被滤除的警报。在一个实 施例中，警报作为警示外科医生血液流增加的覆盖物被提供。可替代 地，系统100可以被配置为当视场中血液的量超过预定阈值时关闭过 滤器。在一些实施例中，系统100被配置为滤除产生在预定阈值处或 在预定阈值之上的反射的对象。
在一个实施例中，系统100创建被用于滤除特定对象的带电粒子 过滤器。在这样的实施例中，系统100在附接到特定对象的部位处投 射或发送若干带电粒子(例如，气体中的离子)。通过确定要被滤除 的对象以及将粒子充电到将使得粒子能够附接或耦接到对象的预定设 置来选择电荷。一旦粒子附接到对象，则系统100检测对象的位置并 且从所生成的图像中滤除信息。
在一些实施例中，物理光学过滤器在照明和可视化系统上被利用 或者与照明和可视化系统一起被利用以辅助可视化。例如，物理过滤 器可以被应用到光以基本上阻挡预定的颜色(例如，红色)在成像中 出现。可替代地，物理过滤器可以被用来显著增加图像中的特定颜色 的亮度或着色。由此，物理过滤器可以被用来滤除其它不想要的性质 (例如，UV、太阳光子)。
在示例性实施例中，系统100被配置为使得外科医生和/或用户 能够在过滤器之间进行切换、组合特定过滤器、移除特定过滤器以及 一起打开和关闭过滤器。虽然上文讨论的软件过滤器在外科手术期间 的血液应用中被提供，但是这些技术还可以被用于消除图像的其它不 想要的元素，这些不想要的元素包括但不限于在电烙术期间释放的烟 或者照相机视图中的移动的对象和碎屑。本文描述的可视化系统是有 价值的，因为系统100使得外科医生能够在降低来自光的热量的基本 上暗的房间中操作或执行外科手术，来自光的热在手术期间可能是不 利的并且影响组织愈合。此外，本文描述的系统消除了在内窥镜手术 期间对于水或二氧化碳气体的需要。
在一些实施例中，成像设备110是用于检查身体的内部系统(例 如，腹部)的可摄取类型照相机。内窥镜应用、结肠镜检查或显微外 科手术可以被用于修复单独的神经纤维或血管纤维。系统100的方面 可以被用于贲门切除(cardia ablation)以确切地定位不规律的心律来 自何处。
图10是用于与图1中示出的系统100一起使用的示例性两输入 过滤方法700的数据流示意图。在方法700中，计算设备102从由主 照相机(例如，成像设备110)捕获的当前场景创建缓冲的场景702。 计算设备102使用由次照相机(例如，成像设备110)捕获的场景来创建背景模型704。次照相机可以使用CT、MRI、红外、超声和/或 类似的技术来捕获图像。计算设备102利用阈值(T1)从由主照相机 捕获的当前场景减去背景模型704来创建前景掩模(mask)706。此 外，计算设备102取得前景掩模的补体以生成前景掩模补体708(即， 背景掩模)。计算设备102从由主照相机捕获的当前场景中减去前景 掩模706以生成背景710。计算设备102还从由主照相机捕获的当前 场景中减去前景掩模补体708来生成前景712。并且计算设备102从 一个或多个缓冲的场景702减去前景掩模补体708来生成缓冲的背景 714。计算设备102生成前景712和缓冲的背景714的加权平均或阈值 (T2)。然后计算设备102通过确定背景710和加权平均之间的绝对 差来生成输出帧716。
图11是用于与图1中示出的系统100一起使用的示例性两输入 过滤方法800的数据流示意图。在方法800中，计算设备102从由主 照相机捕获的当前场景创建缓冲的主场景802以及从由次照相机捕获 的当前场景创建缓冲的次场景804。计算设备102使用缓冲的主场景 802和缓冲的次场景804来寻找遮挡视图的在前景中的对象不存在的 帧。在该实施例中，计算设备102可以从主输入、次输入、输出帧716、 主缓冲区802和次缓冲区804的任何组合来创建背景模型704。如上 文所描述的，计算设备102利用背景模型704来从主照相机创建前景 掩模706。除了如上文所描述的生成背景710之外，计算设备102将 背景掩模708应用到主照相机输入来生成主前景图像806。计算设备 102还将背景掩模708应用到次照相机输入来生成次前景图像812。为 了创建缓冲的主前景图像808，计算设备102将背景掩模708应用到 从缓冲的主场景802选择的图像。并且计算设备102通过将背景掩模 708应用到从缓冲的次场景804选择的图像来生成缓冲的次前景图像 810。计算设备102对时间T2内的主前景图像806、时间T3内的缓冲 的主前景图像、时间T4内的缓冲的次前景图像、以及时间T5内的次 前景图像812取加权平均。计算设备102通过取加权平均和背景图像 710之间的绝对差来生成最终输出帧716。
图12是用于与图1中示出的系统100一起使用的示例性色移过 滤方法900的数据流示意图。在方法900中，计算设备102从主照相 机输入创建主色移图像902以及从次照相机输入创建次色移图像904。 在实施例中，色移取决于感兴趣的一个或多个波长。计算设备102将 背景掩模708应用到色移主图像902来创建色移主前景图像908以及 将背景掩模708应用到色移次图像904来创建色移次前景图像910。 计算设备对主前景图像806、色移主前景图像908阈值(T3)、色移 次前景图像910阈值(T4)和次前景阈值(T5)取加权平均(T2)。计算设备102通过取加权平均和背景图像710之间的绝对差来生成最 终输出帧716。
上文描述的系统和方法可以在肿瘤(tumor)手术、肿瘤学手术、 内窥镜手术、关节镜手术和/或诸如超声切除之类的组织切除手术中被 使用。例如，系统和方法可以被用于外科手术期间的引导、指向和/ 或定位任务。在一些实施例中，系统和方法可以在宏观级别进行，而 在一些实施例中系统和方法可以在微观级别进行，以寻找特定细胞、 移动模式、可视化模式和/或电磁模式。在实施例中，上文描述的系统 和方法可以被用于检测诸如肿瘤细胞之类的细胞或感染，这样的细胞 或感染可以利用由系统和方法的方面提供的导航可视化来移除。例如， 可以使患者调整或以静脉方式给出将由诸如肿瘤或感染细胞之类的异 常细胞吸收的标记物，然后系统和方法的可视化方面可以被用来移除 具有光频率、振动等类型的像素或增强具有光频率、振动等类型的像 素。肿瘤细胞或感染细胞可以通过外部组织切除(诸如超声、热引导 的切除)被移除或者被内部移除。此外，它可以在特定细胞的移除期 间在宏观级别和微观级别两者上来引导外科医生。例如，对于阿兹海 默疾病的淀粉样蛋白沉积的细胞和/或创建肥厚组织或感染组织的细 胞。
虽然上文描述的系统和方法已经以非限制性的医疗设置被描述， 但是还应当注意的是上文描述的系统和方法(例如，软件过滤器)还 可以在非医疗应用中被使用，诸如当存在雾或雨时优化汽车上的平视 显示器。在这样的实施例中，车辆系统可以被配置为利用上文描述的 过滤器来过滤对象(例如，雾、霭、太阳、污染、烟或雨)并且作为 乘客的视图的替代或附加而向车辆乘客提供清楚的图像。这样的系统 还被配置为检测车辆路径中的对象以及向乘客警告所检测的对象。
本文描述的实施例使得身体中的非视线结构和/或标志物在外科 手术之前、外科手术期间和/或外科手术之后能够被观察。与要求对象 通过有创的措施被固定到身体的至少一些已知的导航系统相比，本文 描述的系统和方法能够向机器人系统提供信息以使得校准和/或边界 层配置能够辅助创建更有效和安全的外科手术。本文描述的方法和系 统向外科医生提供在没有已知系统中需要的部位的直接视线的情况下 来校准机器人系统和进行外科手术的能力。因为粒子基于它们的密度、 厚度或移动而将具有不同的振动频率，所以本文描述的方法和系统可 以使视场振动。具有可变移动模式的粒子然后可以被移除。例如，这 可以通过振动、声学、电磁、外部压缩、内部压缩、磁频率等来进行。 虽然可能存在轻微的延迟，但是任何延迟将不会影响用于手术治疗或 非手术任务的可视化。
本文描述的实施例可以利用非暂态计算机可读介质中体现的可 执行指令，非暂态计算机可读介质包括但不限于计算设备的存储设备 或存储器区域。这样的指令当由一个或多个处理器执行时使得(一个 或多个)处理器执行上文描述的方法的至少一部分。如本文使用的， “存储设备”是有形物品，诸如可操作以存储数据的硬盘驱动器、固 态存储器设备和/或光盘。
虽然本发明的各个实施例的特定特征可以被示出在一些附图中 而没有示出在其他附图中，这仅仅是为了方便的目的。根据本发明的 原理，结合任何其他附图的任何特征，附图的任何特征可以被引用和/ 或被要求保护。相应地，虽然本文描述的许多过程涉及关节成形术或 者矫形外科，本文描述的方法和系统可以在任何外科手术中利用，这 些外科手术包括但不限于通用外科、心胸外科、组织切除、超声消融、 关节镜手术、内镜手术、心脏病和电生理手术、结直肠外科、整形外 科、麻醉、疼痛管理过程、ENT过程、胃肠外科、妇科手术、神经外 科、肿瘤手术、小儿科手术、放射外科、重建外科、脊柱外科、移植 外科、泌尿手术以及血管外科。附加地，应当注意到，本文描述的系 统和方法可以被利用来提供加密技术，这是通过确定已知的模式以及 基于确定已经检测到已知的模式来接受或拒绝的。
虽然系统100被描述为包括手术构件112和至少一个末端效应器 114，但是应当注意的是系统100可以独立操作以向用户提供可视化和 /或导航。例如，系统100可以被用于手动手术环境中，在手动手术环 境中系统100向手动(即，在没有机器人辅助的情况下)操作的外科 医生提供手术部位信息。附加地，本文描述的系统100可以被用来向 其它非医疗和/或非手术应用提供可视化和/或导航。例如，系统100 和方法700的部分可以被安装在车辆中以提供所需的可视化和/或导 航。系统100和方法700的部分可以被用来使得驾驶者/乘客能够“透 过”将限制视线的对象来看。在汽车、卡车、摩托车、公交或其它地 面车辆的情况中，系统100和方法700被用来从可视化图像中移除在 空气或流体介质中混淆的雾、云层、雨、日光、冰雹、霭、污染、烟、 雪或任何其它形式的碎屑以提供车辆的行进路径的基本上清楚的图 像。因此，系统100被配置为向空中车辆(例如，飞机、飞船、火箭、 气球、无人机(UAV)(例如，无人驾驶飞机))以及水下车辆(例 如，船、轮船和潜艇)提供相同的可视化。附加地，系统100和方法 700的部分可以被用于任何再现视频或图像馈送的应用中，再现视频或图像馈送的应用包括但不限于包括居住和商用监控系统、电视制作 系统和装备、望远镜、双筒望远镜、海洋应用和卫星影像。还应当注 意到本文描述的系统和方法可以与美国专利申请号：14/451,562、 10/102,413、13/559,352和62/275,436中描述的技术一起被利用，这些 美国专利申请中的每个的完整内容在此通过引用并入本文。
写出的描述使用示例来公开各种实施例，其中包括最佳模式，使 得本领域任何技术人员能够实行这些实施例，包括制作和使用任何设 备或系统并且执行任何包含的方法。可授权的范围由权利要求限定， 并且可以包括本领域技术人员想到的其他示例。这样的其他示例意图 被包含在权利要求的范围内，如果这些示例具有与权利要求的文字语 言没有区别的结构化元件，或者如果它们包括与权利要求的文字语言 具有不显著区别的等同结构化元件。
用于手术部位的导航的机器人系统被提供。该机器人系统包括耦 接到呈现界面的计算设备、手术部件和通信接口。计算设备还耦接到 第一成像设备，第一成像设备被配置为提供手术部位的成像数据。计 算设备还耦接到第二计算设备，该第二计算设备被配置为提供第二类 型的手术部位的成像数据，该成像数据与第一成像设备的成像数据不 同。计算设备被配置为将成像数据共同配准以创建手术部位图像，用 于在呈现界面上显示给医生。

Claims (1)

1.一种用于可视化外科手术部位的系统，所述系统包括：
用于对患者进行手术的机器人机构；
耦接到所述机器人机构的成像设备，所述成像设备被配置为提供感兴趣的部位的图像数据；
耦接到所述成像设备的计算设备，所述计算设备包括一个或多个处理器以及至少一个存储器设备，所述至少一个存储器设备被配置为存储可执行指令，所述可执行指令当由所述处理器执行时被配置为：
接收所述感兴趣的部位的图像数据，
跟踪所接收的图像数据中的所述感兴趣的部位的运动模式，
基于所跟踪的运动模式来过滤所接收的图像数据以移除其中的视线限制以及更改其中的像素，以及
从经过滤的图像数据生成输出帧；以及
耦接到所述计算设备的呈现界面设备，所述呈现界面设备被配置为呈现所述输出帧以用于所述感兴趣的部位的可视化。
CN201710653497.0A 2016-08-02 2017-08-02 用于导航和可视化的系统和方法 Pending CN107669338A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662369821P 2016-08-02 2016-08-02
US62/369,821 2016-08-02
US15/299,981 2016-10-21
US15/299,981 US10058393B2 (en) 2015-10-21 2016-10-21 Systems and methods for navigation and visualization

Publications (1)

Publication Number Publication Date
CN107669338A true CN107669338A (zh) 2018-02-09

Family

ID=59501285

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710653497.0A Pending CN107669338A (zh) 2016-08-02 2017-08-02 用于导航和可视化的系统和方法

Country Status (3)

Country Link
EP (2) EP3845195A3 (zh)
CN (1) CN107669338A (zh)
HK (1) HK1245618A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110013220A (zh) * 2019-02-20 2019-07-16 广州乔铁医疗科技有限公司 一种机器人式红外热扫描医学镜系统
TWI688367B (zh) * 2018-08-02 2020-03-21 炳碩生醫股份有限公司 手術輔助系統及應用該手術輔助系統獲取表面資訊的方法
CN111557733A (zh) * 2020-05-02 2020-08-21 中国人民解放军空军军医大学 基于三维重建的智能腹腔镜超视距术野导航系统
CN112641513A (zh) * 2020-12-15 2021-04-13 深圳市精锋医疗科技有限公司 手术机器人及其控制方法、控制装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112843506B (zh) * 2019-11-28 2023-07-04 重庆西山科技股份有限公司 手术系统、超声吸引刀系统
EP4169470B1 (en) * 2021-10-25 2024-05-08 Erbe Vision GmbH Apparatus and method for positioning a patient's body and tracking the patient's position during surgery
US20230135286A1 (en) * 2021-11-01 2023-05-04 Medtronic Navigation, Inc. Systems, devices, and methods for tracking one or more surgical landmarks
CN116269155B (zh) * 2023-03-22 2024-03-22 新光维医疗科技(苏州)股份有限公司 图像诊断方法、图像诊断装置、及图像诊断程序

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8073528B2 (en) * 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
JP6368988B2 (ja) 2013-05-20 2018-08-08 株式会社リコー 投射光学系および画像表示装置
WO2015020093A1 (ja) * 2013-08-08 2015-02-12 オリンパスメディカルシステムズ株式会社 手術画像観察装置
US9633276B2 (en) * 2014-07-14 2017-04-25 Sony Corporation Blood detection system with real-time capability and method of operation thereof
JP6452643B2 (ja) 2016-05-13 2019-01-16 カンタツ株式会社 撮像レンズ

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI688367B (zh) * 2018-08-02 2020-03-21 炳碩生醫股份有限公司 手術輔助系統及應用該手術輔助系統獲取表面資訊的方法
US11298186B2 (en) 2018-08-02 2022-04-12 Point Robotics Medtech Inc. Surgery assistive system and method for obtaining surface information thereof
CN110013220A (zh) * 2019-02-20 2019-07-16 广州乔铁医疗科技有限公司 一种机器人式红外热扫描医学镜系统
CN111557733A (zh) * 2020-05-02 2020-08-21 中国人民解放军空军军医大学 基于三维重建的智能腹腔镜超视距术野导航系统
CN112641513A (zh) * 2020-12-15 2021-04-13 深圳市精锋医疗科技有限公司 手术机器人及其控制方法、控制装置

Also Published As

Publication number Publication date
EP3278759B1 (en) 2021-04-07
EP3278759A1 (en) 2018-02-07
EP3845195A3 (en) 2021-12-15
HK1245618A1 (zh) 2018-08-31
EP3845195A2 (en) 2021-07-07

Similar Documents

Publication Publication Date Title
US11744651B2 (en) Systems and methods for navigation and visualization
CN107669338A (zh) 用于导航和可视化的系统和方法
US20230346507A1 (en) Augmented reality display for cardiac and vascular procedures with compensation for cardiac motion
US20220192776A1 (en) Augmented Reality Viewing and Tagging For Medical Procedures
CN105208960B (zh) 用于与外部成像集成的机器人医疗系统的系统和方法
EP1795142B1 (en) Medical tracking system using a gamma camera
US20170296292A1 (en) Systems and Methods for Surgical Imaging
Brouwer et al. Image navigation as a means to expand the boundaries of fluorescence-guided surgery
US7203277B2 (en) Visualization device and method for combined patient and object image data
CN110248618A (zh) 用于在计算机辅助手术中显示患者数据的方法及系统
TWI396523B (zh) 用以加速牙科診斷及手術規劃之系統及其方法
CN107847278A (zh) 光学靶向和轨迹可视化
CN111356395A (zh) 用于在程序期间帮助可视化的系统和方法
CN109982657A (zh) 具有多模态图像显示的外科手术系统
US20190059736A1 (en) System for Fluorescence Aided Surgery
Esposito et al. Multimodal US–gamma imaging using collaborative robotics for cancer staging biopsies
Vijayalakshmi Image-guided surgery through internet of things
US20230015717A1 (en) Anatomical scanning, targeting, and visualization
AU2022349022A1 (en) Anatomical scanning, targeting, and visualization
Li et al. Advances of surgical robotics: image-guided classification and application
Liu et al. Augmented Reality in Image-Guided Robotic Surgery
Shar Dual-camera infrared guidance for computed tomography biopsy procedures
Liu AUGMENTED REALITY AND INTRAOPERATIVE C-ARM CONE-BEAM COMPUTED TOMOGRAPHY FOR IMAGE-GUIDED ROBOTIC SURGERY
Schoovaerts et al. Computer Assisted Radiology and Surgery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1245618

Country of ref document: HK

WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180209