CN113423358A - 利用基于传感器的导航和内窥镜检查的组合的外科系统 - Google Patents

利用基于传感器的导航和内窥镜检查的组合的外科系统 Download PDF

Info

Publication number
CN113423358A
CN113423358A CN201980092112.5A CN201980092112A CN113423358A CN 113423358 A CN113423358 A CN 113423358A CN 201980092112 A CN201980092112 A CN 201980092112A CN 113423358 A CN113423358 A CN 113423358A
Authority
CN
China
Prior art keywords
image
time
past
surgical
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980092112.5A
Other languages
English (en)
Other versions
CN113423358B (zh
Inventor
E·沙梅利
J·帕鲁什
F·阿克巴里安
Y·阿尔加维
A·戈瓦里
B·易布拉西米
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Biosense Webster Israel Ltd
Acclarent Inc
Original Assignee
Biosense Webster Israel Ltd
Acclarent Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Biosense Webster Israel Ltd, Acclarent Inc filed Critical Biosense Webster Israel Ltd
Publication of CN113423358A publication Critical patent/CN113423358A/zh
Application granted granted Critical
Publication of CN113423358B publication Critical patent/CN113423358B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/233—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the nose, i.e. nasoscopes, e.g. testing of patency of Eustachian tubes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/24—Surgical instruments, devices or methods, e.g. tourniquets for use in the oral cavity, larynx, bronchial passages or nose; Tongue scrapers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/062—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using magnetic field
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2072—Reference field transducer attached to an instrument or patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/254—User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • Otolaryngology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Quality & Reliability (AREA)
  • Dentistry (AREA)
  • Pulmonology (AREA)
  • Endoscopes (AREA)

Abstract

可使用内窥镜相机来捕获解剖结构的术前图像集合。在捕获时使用图像引导外科手术(IGS)技术来使每个所捕获图像与该相机的位置和取向相关联。可使用该图像数据和位置数据来创建所捕获图像的导航标测图。在对该解剖结构进行外科规程期间，可捕获实时内窥镜视图并将其显示给外科医生。IGS导航系统可确定实时图像的位置和取向；并且除该实时图像之外还从该导航标测图中选择适当的术前图像以显示给该外科医生。

Description

利用基于传感器的导航和内窥镜检查的组合的外科系统
优先权
本申请要求2018年12月14日提交的名称为″Surgical System with Combinationof Sensor-Based Navigation and Endoscopy″的美国临时专利申请62/779,614的优先权，该专利申请的公开内容以引用方式全文并入本文。
背景技术
图像引导外科手术(IGS)为一种这样的技术：其中使用计算机来获得已经插入患者体内的器械的位置与手术前获得的图像集合(例如，CT或MRI扫描、3-D标测图等)的实时相关性，使得计算机系统可在手术前获得的图像上叠加器械的当前位置。可用于IGS手术中的电磁IGS导航系统的示例为由Biosense-Webster，Inc.(Irvine，California)提供的
Figure BDA0003211307250000011
3系统。在一些IGS规程中，在外科手术之前获得手术区的数字断层扫描(例如，CT或MRI、3-D标测图等)。然后使用专门编程的计算机将数字断层扫描数据转化成数字地图。在外科手术期间，具有传感器(例如，发出电磁场和/或响应于外部生成电磁场的电磁线圈)的特殊器械用于执行手术，同时传感器向指示每个外科器械的当前位置的计算机发送数据。该计算机将从传感器接收的数据与由手术前断层扫描生成的数字地图相关联。断层扫描图像连同指示器(例如，十字准线或照亮点等)一起示于视频监视器上，从而示出每个外科器械相对于扫描图像中所示解剖结构的实时位置。即使外科医生不能直接在体内器械当前位置处目视查看其本身，但外科医生能够通过查看视频监视器而了解每个配备传感器的器械的确切位置。
IGS导航的使用可显著提高外科规程的安全性和成功率。例如，外科医生可能够将器械更精确地定位在解剖结构处。由IGS导航系统提供的虚拟视图还可与由内窥镜(例如，独立内窥镜或与在外科部位处使用的另一个外科器械一起集成的内窥镜)捕获的实际视频和图像一起显示。利用用于模拟虚拟视图和器械位置的术前获得的局部解剖图像以及规程期间的外科部位的实时图像，外科医生具有可在规程期间考虑以便引导他们的动作并确定规程何时完成的宽范围的输入。即便如此，术前图像在某种程度上受到限制，因为它们通常是使用间接成像技术产生的。例如，不是像相机那样捕获从对象直接反射的光并且产生对象的全彩真实感图像，而是通过解译各种非视觉因素(诸如磁力、无线电波、x射线或电离辐射)来产生IGS导航术前图像。
虽然所得的图像集合可用于许多应用中，但它们可能无法捕获解剖结构的一些方面(例如，颜色、纹理和其他表面特性)，并且与直接图像捕获相比，可能具有降低的分辨率和清晰度。虽然内窥镜图像可提供此类另外的细节和清晰度，但内窥镜视图限于解剖结构的在其当前状态下的实时图像。对规程期间可供外科医生使用的信息的任何此类限制可导致负面结果，这可能需要后续和矫正规程。
尽管已研制出若干系统和方法并用于外科，但是据信，本发明人之前尚未有人研制出或使用所附权利要求书中所描述的发明。
附图说明
虽然在说明书之后提供了特别指出和清楚地要求保护本发明的权利要求书，但是据信通过对下面某些示例的描述并结合附图可以更好地理解本发明，附图中类似的附图标记表示相同元件，并且其中：
图1示出了在坐在示例性医疗手术椅中的患者上使用的示例性手术导航系统的示意图；
图2示出了能够与外科手术导航系统一起使用的示例性内窥镜的示意图；
图3示出了示例性比较界面的模拟屏幕截图；
图4示出了具有导航图像的示例性比较界面的模拟屏幕截图；
图5示出了具有时序图像序列的示例性比较界面的模拟屏幕截图；
图6示出了可执行来提供图3至图5中的任一者的比较界面的高层级步骤的示例性集合的流程图；
图7示出了可执行来创建图像导航标测图的示例性步骤集合的流程图；
图8示出了可执行来在规程期间捕获实时图像的示例性步骤集合的流程图；
图9示出了可执行来创建比较图像的示例性步骤集合的流程图；并且
图10示出了可执行来经由图3至图5中的任一者的比较界面显示信息的示例性步骤集合的流程图。
附图并非旨在以任何方式进行限制，并且可以设想本发明的各种实施方案可以多种其它方式来执行，包括那些未必在附图中示出的方式。并入本说明书中并构成其一部分的附图示出了本发明的若干方面，并与说明书一起用于解释本发明的原理；然而，应当理解，本发明并不限于所示出的明确布置方式。
具体实施方式
本发明的某些示例的以下说明不应用于限定本发明的范围。根据以举例的方式示出的以下说明，本发明的其他示例、特征、方面、实施方案和优点对于本领域的技术人员而言将是显而易见的，一种最佳方式被设想用于实施本发明。如将认识到，本发明能够具有其它不同且明显的方面，所有这些方面均不脱离本发明。因此，附图和说明应被视为实质上是例示性的而非限制性的。
应当理解，本文使用的术语″近侧″和″远侧″是相对于握持手持件组件的临床医生而言的。因此，端部执行器相对于较近的手持件组件而言处于远侧。还应当理解，为方便和清晰起见，本文关于临床医生握持手持件组件的情况也使用空间术语诸如″顶部″和″底部″。然而，外科器械在许多取向和位置中使用，并且这些术语并非旨在为限制性的和绝对的。
还应当理解，本文所述的教导内容、表达、型式、示例等中的任何一者或多者可与本文所述的其他教导内容、表达、型式、示例等中的任何一者或多者相结合。因此下述教导内容、表达、型式、示例等不应被视为彼此分离。参考本文的教导内容，本文的教导内容可进行组合的各种合适方式对于本领域的技术人员而言将显而易见。此类修改和变型旨在包括在权利要求书的范围内。
I.示例性图像引导外科手术导航系统
当在患者(P)的头部(H)内执行医疗规程时，可能期望的是获得关于器械在患者(P)的头部(H)内位置的信息，尤其是在器械处于难以或不可能获得器械的工作元件在患者(P)的头部(H)内的内窥镜视图的位置时。图1示出了能够使用图像引导执行ENT规程的示例性IGS导航系统(10)。除了具有本文所述的部件和可操作性之外或者代替本文所述的部件和可操作性，IGS导航系统(10)可根据以下专利的教导内容中的至少一些来构造和操作：2010年5月18日公布的名称为″Methods and Devices for Performing Procedureswithin the Ear，Nose，Throat and Paranasal Sinuses″的美国专利7,720,521，其公开内容以引用方式并入本文；以及2014年12月11日公布的名称为″Systems and Methods forPerforming Image Guided Procedures within the Ear，Nose，Throat and ParanasalSinuses″的美国专利公布2014/0364725，其公开内容以引用方式并入本文。
本示例的IGS导航系统(10)包括场发生器组件(20)，该场发生器组件包括集成到马蹄形框架(22)中的磁场发生器(24)的集合。场发生器(24)能够操作以生成围绕患者(P)的头部(H)的不同频率的交变磁场。在该示例中，导航导丝(40)被插入到患者(P)的头部(H)中。导航导丝(40)可为独立装置或可定位在端部执行器或医疗器械(诸如外科切割器械或扩张器械)的其他位置上。在本示例中，将框架(22)安装到座椅(30)，其中患者(P)坐在座椅(30)中，使得框架(22)位于患者(P)的头部(H)附近。仅以举例的方式，座椅(30)和/或场发生器组件(20)可根据以下美国专利申请的教导内容中的至少一些来配置和操作：2018年3月23日提交的名称为″Apparatus to Secure Field Generating Device to Chair″的美国专利申请15/933,737，其公开内容以引用方式并入本文。
本示例的IGS导航系统(10)还包括处理器(12)，该处理器控制场发生器(24)和IGS导航系统(10)的其他元件。例如，处理器(12)能够操作以驱动场发生器(24)生成交变电磁场；并且处理来自导航导丝(40)的信号，以确定传感器在患者(P)的头部(H)内的导航导丝(40)中的位置。处理器(12)包括与一个或多个存储器通信的处理单元。本示例的处理器(12)安装在控制台(18)中，该控制台包括操作控件(14)，该操作控件包括小键盘和/或指向装置(诸如鼠标或轨迹球)。在执行外科规程时，医师使用操作控件(14)与处理器(12)进行交互。在一些具体实施中，处理器(12)可包括一个或多个存储器和处理单元，其可跨靠近IGS导航系统(10)定位的一个或多个单独的计算装置分布(例如，外科套件内的一个或多个计算机)、远离IGS导航系统(10)定位(例如，跨网络与IGS导航系统(10)通信的一个或多个远程服务器、虚拟服务器或云服务器)、或它们的组合。在此类具体实施中，不同的任务可由处理器(12)的不同子部件或子处理器处理，例如，外科套件内的计算机、处理器和存储器可处理和提供器械跟踪特征，而远程定位的服务器可接收内窥镜图像、局部解剖图像和其他图像并且向所接收的图像应用图像处理、存储、加密或其他任务。
导航导丝(40)包括响应于在场发生器(24)所生成的交变磁场内定位的传感器(未示出)。联接单元(42)固定到导航导丝(40)的近侧端部并且被配置为在控制台(18)和导航导丝(40)之间提供数据和其他信号的通信。联接单元(42)可提供数据和其他信号的有线或无线通信。
在本示例中，导航导丝(40)的传感器包括位于导航导丝(40)的远侧端部处的至少一个线圈。当此类线圈定位在场发生器(24)所生成的交变电磁场内时，交变磁场可在线圈中生成电流，并且此电流可沿着导航导丝(40)中的电导管传送，并且经由联接单元(42)进一步传送到处理器(12)。此现象可以使IGS导航系统(10)能够确定导航导丝(40)或其他医疗器械(例如，扩张器械、外科切割器械等)的远侧端部在三维空间内(即，在患者(P)的头部(H)内等)的位置。为了实现这一点，处理器(12)执行算法以根据导航导丝(40)中线圈的位置相关信号计算导航导丝(40)的远侧端部的位置坐标。尽管在该示例中方位传感器位于导丝(40)中，但此类方位传感器可集成到各种其他种类的器械中，包括更详细地描述于下文的那些。
处理器(12)使用存储在处理器(12)的存储器中的软件来校准和操作IGS导航系统(10)。此类操作包括驱动场发生器(24)、处理来自导航导丝(40)的数据、处理来自操作控件(14)的数据以及驱动显示屏(16)。在一些具体实施中，操作还可包括监视以及强制执行IGS导航系统(10)的一个或多个安全特征或功能。处理器(12)还能够操作以经由显示屏(16)实时提供视频，该显示屏示出导航导丝(40)的远侧端部相对于患者头部(H)的摄像机图像的位置、患者头部(H)的CT扫描图像和/或患者鼻腔内及患者鼻腔附近的解剖结构的计算机生成的三维模型。显示屏(16)可在外科规程期间同时地和/或彼此叠加地显示此类图像。此类显示图像还可包括插入患者头部(H)中的器械(诸如导航导丝(40))的图形表示，使得操作者可实时查看器械在其实际位置的虚拟渲染。仅以举例的方式，显示屏(16)可根据2016年1月14日公布的名称为″Guidewire Navigation for Sinuplasty″的美国公布2016/0008083的教导内容中的至少一些教导内容来提供图像，该公布的公开内容以引用方式并入本文。
在操作者还使用内窥镜的情况下，也可在显示屏(16)上提供内窥镜图像。例如，图2示出了能够与IGS导航系统(10)一起使用的示例性内窥镜(100)的示意图。内窥镜(100)包括能够操作以捕获图像和视频的相机(102)，该相机可定位在可被导航到鼻腔中以捕获外科部位处的图像的刚性主体或柔性主体(例如，类似于导航导丝(40))的远侧端部处。还包括位置传感器(104)或跟踪传感器，该位置传感器或跟踪传感器靠近相机(102)并且被配置为由IGS导航系统(10)(例如，类似于导航导丝(40))跟踪以便确定相机(102)的位置、取向或两者。虽然上述器械跟踪技术包括使用场发生器组件(20)来产生与导航导丝(40)中的位置传感器相互作用的磁场以便实现位置跟踪，但应当理解，存在其他类型的位置跟踪并且可用本文所公开的技术来实现这些跟踪。例如，在一些情况下，跟踪区域(例如，诸如磁场)可替代地使用以下来实现：无线信标三角测量，其与内窥镜(100)的位置传感器(104)通信并定位内窥镜的位置传感器；或其他形式的无线定位和跟踪，其能够在患者体内进行检测。
例如，电力和信息可经由沿着内窥镜(100)的主体延伸的导线传送，以实现相机(102)的操作，向位置传感器(104)发送或接收信息并且从相机(102)接收图像作为数字数据(例如，经由数据连接)或光学数据(例如，经由光纤)。本示例的内窥镜(100)还包括类似于联接单元(42)的联接单元(106)，该联接单元可被配置为使得内窥镜(100)能够与IGS导航系统(10)一起使用。这可包括：例如，从位置传感器(104)接收信号并将它们传送到处理器(12)，使得可确定位置传感器(104)的位置；以及从相机(102)接收信号或数据并将它们传送(例如，在接收它们时以原始格式传送，或在转换(诸如在传送之前将经由光纤接收的光学图像数据转换为数字图像数据)之后传送)到处理器(12)，使得它们可经由显示屏(16)显示。
虽然位置传感器(104)被描述为能够用于确定三维空间内的位置，但应当理解，位置传感器(104)的一些具体实施也可能够用于(例如，通过使用陀螺仪元件，两个或更多个独立跟踪的传感器(诸如彼此具有固定关系的正交线圈，或其他类似装置)的组合)确定三维空间内的取向。由于位置传感器(104)可能够用于确定所跟踪区域内的位置和取向两者，因此有时也可将其称为具有一种或两种能力的跟踪传感器。在其中位置传感器(104)或另一个连接的装置或部件不能够确定内窥镜(100)的取向的具体实施中，IGS导航系统(10)可通过假设内窥镜(100)总是朝向外科部位内的特定解剖目标或其他点取向来自动确定取向。
当此类器械结合位置传感器(如位置传感器(104))时，通过显示屏(16)提供的图像可帮助引导操作者在患者头部(H)内调转和以其他方式操纵器械。还应当理解，如下所述的外科器械和其他种类外科器械的其他部件可结合传感器(如导航导丝(40)的传感器或内窥镜(100)的传感器(104))。
II.用于图像的比较导航的示例性系统
如已经描述的，内窥镜(诸如内窥镜(100))可与IGS导航系统(10)一起使用，以便捕获要显示在显示屏(16)上的内窥镜图像和视频。此类内窥镜图像可根据需要单独显示、与其他图像(例如，虚拟内窥镜视图、术前CT图像视图等)结合显示以及与其他信息和界面一起显示。可有利地经由显示屏(16)显示的界面的一个示例可示出术前和术中或术后内窥镜图像的组合，以便示出外科部位的当前外观以及外科部位的一个或多个过去外观。以此方式，外科医生可利用可用于确定当前执行的手术步骤是否已成功或完成的另外背景(例如，外科部位的一个或多个过去外观)来查看外科部位的当前外观。
仅以举例的方式，可能期望的是，在执行医疗规程(诸如功能性鼻窦内窥镜手术(FESS)、鼻甲切除术、鼻窦扩张术或参考本文的教导内容对于本领域的技术人员将显而易见的各种其他医疗规程)之后，将鼻腔内各种解剖结构的术前内窥镜图像与术中或术后内窥镜图像进行比较。此类视觉比较可容易使得操作者能够在医疗规程之前、期间和之后比较组织结构，其中医疗规程导致此类组织结构的重塑或其他修改。通过使内窥镜位置数据直接结合到术前图像数据中，可基于以下来选择最适当的术前图像：器械在医疗规程期间或之后的实时位置；或在医疗规程之后做出的用户选择。
例如，图3至图5各自示出了在IGS导航期间可经由显示器(诸如显示屏(16))显示以便提供此类另外的背景的界面，而图6至图10示出了可执行来配置和提供图3至图5的界面中的一者或多者的步骤的集合。具体地，图3示出了示例性比较界面(200)的模拟屏幕截图。比较界面(200)包括术前内窥镜图像(202)和术前内窥镜图像状态(204)以及实时内窥镜图像(206)和实时内窥镜图像状态(208)。应当指出的是，当在本文中使用时，将内窥镜图像或信息描述为与捕获或状态的″术前″定时相关联可指示内窥镜图像或状态是在特定手术开始之前(诸如在手术前几天或几周的外科部位的会诊或探查性成像期间)捕获的；但也可指示内窥镜图像或状态是在手术的当前或最接近阶段之前的任何时间捕获的，诸如就在手术的第一阶段期间进行的第一组织修改之前捕获的，或就在手术的第二阶段期间进行的第二组织修改之前捕获的，或在其他时间捕获的。虽然图3示出了并排显示的实时内窥镜图像(206)和术前内窥镜图像(202)，但应当理解，它们可以相对于彼此的各种其他方式显示，或者可以重叠(例如，术前内窥镜图像(202)可被修改为半透明的并且覆盖在实时内窥镜图像(206)上)。
术前内窥镜图像(202)可示出从过去时刻(例如，在当前规程开始之前，或在当前规程的先前阶段期间)捕获的内窥镜图像，而术前内窥镜图像状态(204)可示出与术前内窥镜图像(202)相关联的一条或多条信息。例如，术前内窥镜图像状态(204)可包括位置传感器(104)在捕获术前内窥镜图像(202)时的三维位置，其可被显示为信息(例如，x，y和z坐标)或可被显示为在捕获时相对于外科部位的模拟位置(例如，位置传感器(104)相对于外科部位的渲染三维位置)。
实时内窥镜图像(206)可示出从当前时刻捕获的内窥镜图像，诸如由内窥镜(100)在当前外科规程期间捕获的图像，而实时内窥镜图像状态(208)可示出与实时内窥镜图像(206)相关联的一条或多条信息。实时内窥镜图像状态(208)可示出与术前图像状态(204)中所示的信息类似的信息；并且可包括位置传感器(104)在将实时内窥镜图像(206)捕获为坐标(例如，x，y和z坐标)时的三维位置，或者可被显示为相对于外科部位的模拟位置。
当实时内窥镜图像(206)示出了经由内窥镜(100)捕获的外科部位的实时图像或视频时，通过比较来自位置传感器(104)的与每个内窥镜图像或视频相关联的过去和当前位置数据，术前内窥镜图像(202)将示出从与实时内窥镜图像(206)的视角相同或类似的视角捕获的外科部位的过去图像或视频，如下面将在图6至图10中更详细地解释的。利用此类接口，当外科医生移动内窥镜(100)(例如推进、缩回、在任一方向上旋转、使其在任何方向上机械地进行关节运动)时，由位置传感器(104)提供的实时位置数据以及实时内窥镜图像(206)中所示的实时图像将改变。当实时位置数据改变时，术前内窥镜图像(202)也可基于实时位置数据来进行更新，以示出先前从与实时位置数据所指示的视角相同或类似的视角捕获的图像。
作为上文的示例，在一些具体实施中，术前内窥镜图像(202)可响应于变化的位置数据而自动更新，并且可呈现为看起来是术前内窥镜图像的视频的图像序列，或者在位置数据未改变时呈现为静止图像。这样，术前内窥镜图像(202)可提供在术前捕获的与由内窥镜(100)实时捕获的图类似的透视图和视图。在一些具体实施中，术前内窥镜图像(202)可呈现为静止图像，该静止图像由用户在需要时(例如，基于按钮输入、语音输入或其他输入)手动更新，使得用户可定位内窥镜(100)，然后手动更新所显示的术前内窥镜图像。在一些具体实施中，术前内窥镜图像(202)可呈现为静止图像，该静止图像仅在内窥镜(100)未大幅度移动或定位时基于变化的位置数据来自动更新，使得静止图像将在内窥镜(100)发生有目的的移动之后自动更新，然后停止。
在一些具体实施中，术前内窥镜图像(202)可呈现为基于变化的位置数据从术前获得的图像或视频中选择的循环图像序列。这可包括例如：响应于位置数据的变化，显示图像序列，该图像序列包括与该位置数据相关联的术前获得的内窥镜图像以及与(例如，来自略有不同的位置或取向的)附近位置数据相关联的若干其他术前获得的内窥镜图像，这可提供围绕且相对于由术前内窥镜图像显示的外科部位的轻微移动感。用于显示术前内窥镜图像(202)的其他技术存在并且在下文进行描述，或者参考本文的教导内容对于本领域的技术人员将显而易见。
在此类界面的一些具体实施中，术前图像状态(204)、实时内窥镜图像状态(208)或两者可提供将其相对于彼此的视角(例如，三维空间中的位置和取向)描述为可执行来更准确地对准图像的数字偏移或定向移动或旋转的信息。例如，在从具有位置x1，y1和z1的视角和具有偏航1，俯仰1和横滚1的取向捕获实时内窥镜图像(206)的情况下，可不存在先前从该确切视角捕获的图像。相反，可显示具有视角x1，y2和z1以及取向偏航1，横滚1和俯仰2的最佳匹配。在这种情况下，实时内窥镜图像状态(208)可示出数字、文本或方向信息，这些信息指示必须进行改变以减小或消除y1和y2之间(例如，向上指向的方向箭头)的差值以及俯仰1和俯仰2之间(例如，向上指示旋转节距的方向箭头)的差值。
图4示出可向诸如IGS导航系统(10)的系统的用户显示的示例性另选比较界面(201)的模拟屏幕截图。比较界面(201)包括实时内窥镜图像(206)和实时内窥镜图像状态(204)，并且还包括术前图像状态(208)和包括术前内窥镜图像(202)的术前图像的面板(205)。术前图像的面板(205)还包括数字扫描图像集合(例如，CT或MRI、3-D标测图等)，该数字扫描图像集合包括自上而下的图像(210)、前图像(212)和侧图像(214)，这些图像各自具有重叠器械位置(211)。重叠器械位置(211)可基于位置传感器(104)来表示内窥镜(100)的实时位置，并且可以用常规装置或控件(例如，小键盘、鼠标、触摸屏或使用导航箭头或控件)来导航数字扫描图像中的每个数字扫描图像；或者可基于来自位置传感器(104)的数据来自动选择和显示(例如，可基于所确定的x和z坐标来选择自上而下的图像(210)，可基于所确定的x坐标和y坐标来选择前图像(212)，并且可基于所确定的y坐标和z坐标来选择侧图像(214)。
与图3的示例一样，可基于来自位置传感器(104)的数据来选择和显示术前内窥镜图像(202)，使得所显示的内窥镜图像的视角基于来自位置传感器(104)的数据匹配或基本上匹配由内窥镜(100)捕获的实时内窥镜图像(206)的当前视角。这样，当外科医生移动内窥镜(100)并且接收内窥镜图像和作为实时内窥镜图像(206)的视频时，术前图像的面板(205)中的一个或多个图像也可更新以显示类似的视角，如将在下文更详细地描述的。
图5示出了除了实时内窥镜图像(206)和实时内窥镜图像状态(204)之外还包括时序内窥镜图像面板(217)的示例性另选比较界面(203)的模拟屏幕截图。时序图像面板(217)可包括(例如，按捕获时间、规程阶段排序的)有序内窥镜图像集合，其示出在初始内窥镜图像(例如，术前内窥镜图像(202)，其可在规程之前或在规程的第一组织修改或步骤之前捕获)和更新的内窥镜图像(例如，实时内窥镜图像(206)，或内窥镜图像(207)，其可以是在实时内窥镜图像(206)之前捕获或保存的最新内窥镜图像)之间出现的不同时刻的外科部位。居间内窥镜图像集合(216a，216b，216c，216d)可从与术前内窥镜图像(202)和实时内窥镜图像(206)中所示类似或相同的角度示出外科部位在不同时间的一个或多个内窥镜图像；并且如图所示，可包括第一内窥镜图像(216a)、第二内窥镜图像(216b)、第三内窥镜图像(216c)和第四内窥镜图像(216d)。与先前的示例一样，可基于来自位置传感器(100)的数据来确定时序图像面板(217)中内窥镜图像的选择和显示，使得那些内窥镜图像示出来自匹配或基本上匹配的视角的外科部位作为由内窥镜(100)当前捕获的实时内窥镜图像(206)。
例如，在特定外科规程具有五个主要步骤的情况下，每个居间内窥镜图像可在完成一个步骤之后示出外科部位。在此类示例中，术前内窥镜图像(202)可示出在任何组织修改之前的外科部位，第一内窥镜图像(216a)可示出在规程的第一阶段期间的第一组织修改集合之后的外科部位，而第四内窥镜图像(216d)可示出在规程的第四阶段期间的后续组织修改集合之后的外科部位，并且内窥镜图像(207)可示出在规程的最后阶段的组织修改集合之后的外科部位。
又如，居间内窥镜图像中的一个或多个居间内窥镜图像可示出由外科医生手动确定的不同时间的外科部位。在此类示例中，外科医生可通过与IGS导航系统(10)的按钮或控件进行交互来标记要添加到居间内窥镜图像集合的当前实时内窥镜图像(206)，这可允许外科医生选择要保存特定阶段的内窥镜图像或其他参考内窥镜图像以供将来经由比较界面(203)进行参考。又如，一个或多个居间内窥镜图像可示出由IGS导航系统(10)或在规程期间使用的另一个工具或装置自动确定的不同时间的外科部位。在此类示例中，内窥镜图像可基于来自外科器械、外科器械发生器或另一个装置的信息或活动自动添加到中间内窥镜图像。这可包括每当激活切割工具时捕获内窥镜图像，使得自动创建示出每次组织修改或激活之前的外科部位的居间内窥镜图像集合。又如，内窥镜图像可基于时间的流逝来捕获并添加到居间内窥镜图像(例如，内窥镜图像可基于可配置的计划表定期捕获并添加到居间内窥镜图像)。
在任何情况下，居间内窥镜图像集合可被设定尺寸和布置用于以变化的方式显示，包括作为以下示例中的一个或多个示例。在一些具体实施中，内窥镜图像可被设定尺寸和布置成使得每个图像同时经由比较界面(203)显示。在一些具体实施中，内窥镜图像可基于用户输入来水平地或横向地滚动或遍历，这可适应较大居间内窥镜图像集合。在一些具体实施中，内窥镜图像可使用各种数字操纵来显示。这可包括例如显示为视频序列(例如，每个内窥镜图像可按序列简要地显示以形成观看视频的视觉感而不是查看多个分离图像的视觉感)，或者使用图像变形来显示(例如，其中第一内窥镜图像和第二内窥镜图像用于产生和显示多个居间内窥镜图像，这些居间内窥镜图像形成术前获得的内窥镜图像逐渐变形为当前或以其他方式更新的内窥镜图像的视觉感)。
比较界面(203)还包括时序状态(215)，该时序状态可示出类似于术前内窥镜图像状态(208)的信息，并且可另外示出时序相关的信息，诸如捕获居间内窥镜图像中的每个居间内窥镜图像的时间(例如，以小时和分钟为单位的时间、自捕获以来的持续时间、捕获图像的规程阶段)以及其捕获的情况(例如，其为手动添加还是自动添加，以及在什么条件下或响应于什么事件而进行)。
III.用于比较导航的示例性方法
当图3至图5示出了可由诸如IGS导航系统(10)的系统提供的比较界面的变型时，图6至图10示出了可由这种系统执行来配置和显示那些界面的步骤。例如，图6示出了可执行来提供图3至图5中的任一者的比较界面的高层级步骤(300)的示例性集合的流程图。这些步骤包括创建(框302)术前内窥镜图像(例如，过去内窥镜图像、先前捕获的内窥镜图像或历史内窥镜图像)的内窥镜图像标测图，这可包括在规程开始之前使用内窥镜(100)从多个不同的视角(例如，相对于外科部位的不同的位置和取向)捕获外科部位的内窥镜图像，以便创建内窥镜图像集合和相关联的位置或视角数据。系统还可在规程期间经由内窥镜(100)接收(框304)实时内窥镜图像，其中此类实时内窥镜图像也与位置或视角数据相关联。然后，系统可基于内窥镜图像标测图和实时内窥镜图像创建(框306)一个或多个比较内窥镜图像，这可包括从内窥镜图像标测图中选择匹配的内窥镜图像并且在不进行修改的情况下使用它；或者修改或组合来自内窥镜图像标测图的一个或多个内窥镜图像以提供作为比较图像。利用一个或多个创建的(框306)比较内窥镜图像，系统然后可经由诸如显示屏(16)的显示器提供(框308)比较界面，该显示屏包括本文所示和所述的特征的任何组合。
图7示出了可在诸如创建(框302)内窥镜图像标测图的步骤期间执行的示例性步骤集合(400)的流程图。内窥镜(100)可导航到外科部位，并且系统可在内窥镜(100)捕获(框404)目标解剖结构的内窥镜图像集合时显示(框402)外科部位处的目标解剖结构。当每个内窥镜图像被内窥镜(100)捕获时，系统可从位置传感器(104)接收(框406)视角数据(例如，位置、取向或两者)并且将该视角数据与对应的内窥镜图像相关联(框408)。结果是目标解剖结构的内窥镜图像集合，其中每个内窥镜图像在捕获时与相对于目标解剖结构的视角相关联。内窥镜图像可作为静止内窥镜图像由内窥镜捕获；或作为内窥镜图像/帧的视频序列由内窥镜捕获，这可能是实现所得的内窥镜图像集合的特定分辨率、清晰度或焦点期望的。
在一些具体实施中，系统可从所得的内窥镜图像集合识别并丢弃重复的内窥镜图像(例如，从完全相同的视角捕获的两个内窥镜图像)或基本上重复的内窥镜图像(例如，从视觉上并未彼此不同的两个不同视角捕获的两个内窥镜图像)，以便减小内窥镜图像标测图的总体尺寸并减少其内容。
在一些具体实施中，系统可确定可修改来自第一视角的内窥镜图像以提供来自第二视角的基本上重复的内窥镜图像。例如，在第二视角线性地或基本上线性地定位在第一视角和目标解剖结构之间的情况下，来自第二视角的内窥镜图像可看起来是来自第一视角的目标解剖结构的缩放的、放大的或更接近的内窥镜图像。换句话讲，从最远侧视角捕获的目标解剖结构的内窥镜图像可被裁剪和放大(例如，在添加到内窥镜图像标测图之前修改，或者在从内窥镜图像标测图中选择内窥镜图像时实时修改)，以模拟来自最远侧视角和目标解剖结构之间的每个视角的内窥镜图像，这可进一步减小内窥镜图像标测图的尺寸并减少其内容，并且还可减少在内窥镜图像标测图的创建期间将内窥镜(100)导航到每一个不同视角的需要(例如，如果从多个远侧视角捕获内窥镜图像，则可模拟更近侧视角而不是需要朝目标解剖结构推进内窥镜(100))。
在捕获(框404)术前内窥镜图像期间，系统可向内窥镜(100)的用户提供指示已经捕获的视角和尚未捕获的视角的指令。这可包括例如方向提示，该方向提示指示内窥镜(100)应移动或旋转以从期望的视角捕获内窥镜图像(例如，其中系统已由用户或基于特定规程配置为从外科部位周围的十个不同视角捕获内窥镜图像)。又如，这可包括显示三维球体或其他对象，其中目标解剖结构的表示位于固定点处；以及将已捕获视角的对象的区域渲染为在视觉上不同于尚未捕获视角的区域。利用这种系统，内窥镜(100)的用户可参考渲染的三维对象，以有助于将内窥镜(100)导航到不同的视角，以便从该视角捕获内窥镜图像。
一旦被捕获并与视角数据相关联，内窥镜图像集合可以变化的方式存储，诸如其中可基于查询中使用的视角数据的确切或部分匹配来选择内窥镜图像的数据库；或者可被编译成对象或软件模块，该对象或软件模块可接收视角数据作为输入并且作为响应提供匹配或类似的内窥镜图像。
图8示出了可在诸如在医疗规程期间接收(框304)实时内窥镜图像的步骤期间执行的示例性步骤集合(410)的流程图。当内窥镜(100)在医疗规程期间定位时，它可实时捕获(框412)外科部位的实时内窥镜图像，以便经由显示屏(16)显示此类信息。IGS导航系统(10)可被配置为在规程期间经由位置传感器(104)跟踪内窥镜(100)的位置，以便提供器械的正常IGS导航跟踪(例如，以便提供诸如重叠器械位置(211)的特征)。也可接收(框414)可常规地仅用于跟踪的此类数据作为视角数据并将其保持或存储，以便提供比较界面的一个或多个特征。
系统还可接收(框416)与所捕获的(框412)内窥镜图像相关联的一条或多条元数据，该一条或多条元数据可包括例如捕获时间、捕获期间的规程阶段、捕获期间的器械状态(例如，切割装置是否在捕获期间激活)或来自外科医生的标记或以其他方式将所捕获的(框412)内窥镜图像与特定特性相关联(例如，标记所捕获的内窥镜图像以显示为时序图像面板(217)中的居间内窥镜图像)的手动输入。当所接收的(框416)内窥镜图像元数据指示特定的实时内窥镜图像正被标记或保存(例如，作为用户输入的结果或基于器械的激活、规程阶段的完成或已描述的其他情况自动地进行)，内窥镜图像可被添加到内窥镜图像标测图以供将来匹配和显示(例如，经由比较界面(203))。然后，系统可将所捕获的(框412)实时内窥镜图像与视角数据、元数据或两者相关联(框418)，这可包括以一定形式存储或转换内窥镜图像和数据，该形式可高效地进行比较、对其进行查询或以其他方式针对所创建的(框302)图像标测图进行评估，以便识别匹配或基本上匹配所捕获的(框412)实时内窥镜图像的先前内窥镜图像。
图9示出了可在诸如创建(框306)比较内窥镜图像的步骤期间执行的示例性步骤集合(420)的流程图。一旦与视角数据相关联(框418)，就可将实时内窥镜图像与所创建的(框302)内窥镜图像标测图进行比较，以确定内窥镜图像标测图是否包含其视角匹配或基本上匹配捕获即时实时内窥镜图像的视角的一个或多个内窥镜图像。可确定匹配或基本上匹配实时内窥镜图像的视角的视角高于配置的匹配阈值(框422)。匹配阈值可被手动配置为在确定内窥镜图像标测图内的实时内窥镜图像是否存在良好内窥镜图像匹配时容许视角方差。容许的视角方差可按照坐标表示(例如，如果差值为5mm或更小，则x，y或z坐标的方差可被认为是可接受的匹配，或者如果差值为10度或更小，则偏航、俯仰、或横滚的方差可被认为是可接受的匹配)或者表示为跨所有坐标的差值的总和(例如，x坐标的微小差值可能是可接受的，而x，y和z坐标的微小差值可能是不可接受的)。
在图像标测图内无内窥镜图像满足匹配阈值的情况下，系统可确定(框422)不存在良好匹配；并且确定(框424)可进行以便使内窥镜(100)处于内窥镜图像标测图确实包含良好内窥镜图像匹配的视角的视角调节。这可包括例如识别内窥镜图像标测图内落到低于匹配阈值(框422)但为下一个最佳匹配的一个或多个内窥镜图像，然后经由显示屏(16)提供用于将内窥镜(100)导航到那些视角中的一个或多个视角的指令(例如，通过提供示出位置、取向或两者的变化的数字信息或方向箭头)。
在确定高于匹配阈值(框422)的一个或多个内窥镜图像在内窥镜图像标测图内的情况下，系统可确定(框426)最佳或最接近的匹配(例如，在若干图像高于阈值的情况下，其视角具有每坐标最小差值或跨所有坐标的最小总差值的图像)。在一些情况下，系统可执行(框428)一个或多个内窥镜图像操纵或图像插值过程，以便准备所确定的(框426)最佳匹配以用于显示。这可包括以一种或多种方式修改术前获得的内窥镜图像，以为实时内窥镜图像提供更好的比较图像，并且可包括例如调节术前获得的内窥镜图像的尺寸或分辨率，使术前获得的内窥镜图像平滑或模糊，裁剪术前获得的内窥镜图像，调节术前获得的内窥镜图像的颜色、亮度或色调，以及其他变化，以便在视觉上更好地匹配经由内窥镜(100)捕获的实时内窥镜图像。这还可包括(例如，使用图像变形、混合或用于组合来自略有不同的视角的两个图像的其他技术)组合在被确定(框426)为最佳匹配时相等或近乎相等的一个或内窥镜图像。在执行(框428)任何所需的调节之后，系统然后可创建(框430)适于经由比较界面显示的比较输出内窥镜图像，这可包括例如将最终调节的内窥镜图像转换为适于显示的特定格式。
图10示出了可执行来经由诸如图3至图5所示的那些的具有一个或多个特征的比较界面显示信息的示例性步骤集合(432)的流程图。当提供比较界面时，系统可显示(框434)实时内窥镜图像，诸如可经由内窥镜(100)捕获并且显示为实时内窥镜图像(206)。在术前获得的比较内窥镜图像可用(框436)或可创建(如图6至图9所述(例如，通过识别(框426)最佳匹配并将其准备用于显示))的情况下，系统还可显示(框440)比较内窥镜图像，该比较内窥镜图像可被显示为术前内窥镜图像(202)。在合适的匹配内窥镜图像不可用(框436)的情况下，系统可显示(框438)指示内窥镜图像标测图不包含来自适于显示的视角的术前获得的内窥镜图像的警告，可提供信息(例如，方向箭头)以帮助用户将内窥镜(100)导航到合适的内窥镜图像可用的视角，或者可进行两者。
当显示(框434)实时内窥镜图像并且显示(框440)术前获得的比较内窥镜图像时，系统可提供另外的特征和信息，诸如图3至图5的比较界面所示的那些特征和信息。此类特征可静态启用或被配置用于特定界面；或者可在操作期间由用户启用或禁用。例如，可启用(框442)状态信息以便显示(框444)实时内窥镜图像、比较内窥镜图像或两者的状态信息，其可包括术前内窥镜图像状态(204)、实时内窥镜图像状态(208)和时序状态(215)中的一者或多者。又如，可启用(框446)导航图像以便显示(框440)比较内窥镜图像，显示(框434)实时内窥镜图像并且显示(框448)相关联的导航图像集合，诸如术前内窥镜图像的面板(205)。
又如，可启用(框450)时序图像显示。当启用时，系统可(例如，通过执行诸如图9所示的那些步骤的步骤来匹配和准备来自不同时刻的多个内窥镜图像)确定(框452)与当前实时图像的视角相关联的时序内窥镜图像集合，然后将那些内窥镜图像显示(框454)为视频序列、变形内窥镜图像或时序图像面板(217)中的居间内窥镜图像，如已经描述的。
IV.示例性组合
以下实施例涉及本文的教导内容可被组合或应用的各种非穷尽性方式。应当理解，以下实施例并非旨在限制可在本专利申请或本专利申请的后续提交文件中的任何时间提供的任何权利要求的覆盖范围。不旨在进行免责声明。提供以下实施例仅仅是出于例示性目的。预期本文的各种教导内容可按多种其他方式进行布置和应用。还设想到，一些变型可省略在以下实施例中所提及的某些特征。因此，下文提及的方面或特征中的任一者均不应被视为决定性的，除非另外例如由发明人或关注发明人的继承者在稍后日期明确指明如此。如果本专利申请或与本专利申请相关的后续提交文件中提出的任何权利要求包括下文提及的那些特征之外的附加特征，则这些附加特征不应被假定为因与专利性相关的任何原因而被添加。
实施例1
一种图像引导外科手术(IGS)导航系统，包括：内窥镜，该内窥镜包括相机和跟踪传感器，其中该跟踪传感器被配置为与跟踪区域进行交互；处理器，该处理器被配置为基于该跟踪传感器与该跟踪区域的交互来跟踪该相机；以及显示器；其中该处理器还被配置为：接收患者的外科部位的过去图像，其中该过去图像由该相机在第一时间捕获；确定该相机在该第一时间的过去图像跟踪数据集合；将该过去图像和该过去图像跟踪数据集合添加到图像标测图作为过去视角，其中该图像标测图包括该外科部位的多个过去视角，并且该多个过去视角中的每个过去视角包括：从视角捕获的该外科部位的图像，以及与该视角相关联的跟踪数据集合；接收该外科部位的手术图像，其中该手术图像由该相机在第二时间捕获；确定该相机在该第二时间的实时图像跟踪数据集合；基于该实时图像跟踪数据集合和该多个过去视角中的匹配视角的该跟踪数据集合来确定该匹配视角；以及经由该显示器显示该手术图像和该匹配视角的该外科部位的该图像。
实施例2
根据实施例1所述的IGS导航系统，其中该处理器包括定位在能够使用该IGS导航系统的外科套件内的计算机和定位在该外科套件之外的远程计算机；其中该跟踪区域包括由跟踪场发生器提供的磁场；并且其中该过去图像跟踪数据集合描述该相机的位置和取向。
实施例3
根据实施例1至2中任何一项或多项所述的IGS导航系统，其中该处理器还被配置为：接收该外科部位的后续手术图像，确定该后续手术图像的后续实时图像跟踪数据集合，基于该后续实时图像跟踪数据集合来重新确定该匹配视角，并且响应于接收到一个或多个后续手术图像，经由该显示器近实时地显示每个后续手术图像和该匹配视角的该外科部位的该图像。
实施例4
根据实施例1至3中任何一项或多项所述的IGS导航系统，其中该处理器还被配置为当确定该匹配视角时：基于该实时图像跟踪数据集合的每个位置和取向坐标来查询该图像标测图以确定最佳匹配视角，确定该最佳匹配视角的每个位置和取向坐标相对于该实时图像跟踪数据集合的偏移，并且当该偏移在配置的可接受匹配阈值内时，选择该最佳匹配视角作为该匹配视角。
实施例5
根据实施例1至4中任何一项或多项所述的IGS导航系统，其中该处理器还被配置为：显示图像状态，其中该图像状态包括该实时图像跟踪数据集合与该匹配视角的该跟踪数据集合的比较，该比较指示该手术图像的实时视角相对于该匹配视角的视角的偏移。
实施例6
根据实施例1至5中任何一项或多项所述的IGS导航系统，其中该处理器还被配置为：同时显示该手术图像和该匹配视角的该外科部位的该图像。
实施例7
根据实施例6所述的IGS导航系统，其中该处理器还被配置为：在术前图像的面板内显示该匹配视角的该外科部位的该图像，其中该术前图像的面板还包括该患者的至少三个数字扫描图像，并且其中该至少三个数字扫描图像中的每个数字扫描图像包括重叠器械位置。
实施例8
根据实施例1至7中任何一项或多项所述的IGS导航系统，其中该处理器还被配置为：确定该手术图像应保持为居间图像；将该手术图像、该实时图像跟踪数据集合和该第二时间添加到该图像标测图作为居间视角；基于该实时图像跟踪数据集合和与每个居间视角相关联的居间跟踪数据集合来确定该图像标测图的一个或多个匹配居间视角；并且显示该一个或多个匹配居间视角的居间图像集合。
实施例9
根据实施例8所述的IGS导航系统，其中该处理器还被配置为：基于外科切割器械的激活状态来确定该手术图像应保持为居间图像。
实施例10
根据实施例8至9中任何一项或多项所述的IGS导航系统，其中该居间图像集合中的每个居间图像被单独显示为按与每个居间图像相关联的捕获时间排序的视频序列。
实施例11
根据实施例8至10中任何一项或多项所述的IGS导航系统，其中该居间图像集合中的每个居间图像被单独显示为按与每个居间图像相关联的捕获时间排序的渐变图像变形。
实施例12
根据实施例1至11中任何一项或多项所述的IGS导航系统，其中该处理器还被配置为：在不能够确定该匹配视角的情况下，经由该显示器显示指示将导致该匹配视角在该图像标测图中可用的该相机的视角变化的消息。
实施例13
根据实施例1至12中任何一项或多项所述的IGS导航系统，其中该处理器还被配置为：接收该外科部位的第二过去图像，并且基于第二过去图像跟踪数据集合来确定与该第二过去图像相关联的视角；确定与该第二过去图像相关联的该视角是否是已经在该外科部位的该多个过去视角内的视角的重复视角；并且仅在该视角不是重复视角的情况下将该第二过去图像添加到该多个过去视角。
实施例14
一种用于在图像引导(IGS)导航外科手术期间提供比较界面的方法，包括：在处理器处：接收患者的外科部位的过去图像，其中该过去图像由内窥镜的相机在第一时间捕获，以及基于该内窥镜的跟踪传感器来确定该相机在该第一时间的过去图像跟踪数据集合；将该过去图像和该过去图像跟踪数据集合添加到图像标测图作为过去视角，其中该图像标测图包括该外科部位的多个过去视角，并且该多个过去视角中的每个过去视角包括：从视角捕获的该外科部位的图像以及与该视角相关联的跟踪数据集合，接收该外科部位的手术图像，其中该手术图像由该相机在第二时间捕获，并且确定该相机在该第二时间的实时图像跟踪数据集合；基于该实时图像跟踪数据集合和该多个过去视角中的匹配视角的该跟踪数据集合来确定该匹配视角；以及经由显示器显示该手术图像和该匹配视角的该外科部位的该图像。
实施例15
根据实施例14所述的方法，还包括：接收该外科部位的后续手术图像并且确定该后续手术图像的后续实时图像跟踪数据集合；基于该后续实时图像跟踪数据集合来重新确定该匹配视角；以及响应于接收到一个或多个后续手术图像，经由该显示器实时地显示每个后续手术图像和该匹配视角的该外科部位的该图像。
实施例16
根据实施例14至15中任何一项或多项所述的方法，还包括当确定该匹配视角时：基于该实时图像跟踪数据集合的每个位置和取向坐标来查询该图像标测图以确定最佳匹配视角，确定该最佳匹配视角的每个位置和取向坐标相对于该实时图像跟踪数据集合的偏移，以及当该偏移在配置的可接受匹配阈值内时，选择该最佳匹配视角作为该匹配视角。
实施例17
根据实施例14至16中任何一项或多项所述的方法，还包括：同时显示该手术图像和该匹配视角的该外科部位的该图像。
实施例18
根据实施例17所述的方法，还包括：在术前图像的面板内显示该匹配视角的该外科部位的该图像，其中该术前图像的面板还包括该患者的至少三个数字扫描图像，并且其中该至少三个数字扫描图像中的每个数字扫描图像包括重叠器械位置。
实施例19
根据实施例14至18中任何一项或多项所述的方法，还包括：在不能够确定该匹配视角的情况下，经由该显示器显示指示将导致该匹配视角在该图像标测图中可用的该相机的视角变化的消息。
实施例20
一种处理器，该处理器被配置为：接收患者的外科部位的过去图像，其中该过去图像由相机在第一时间捕获；确定该相机在该第一时间的过去图像跟踪数据集合；将该过去图像和该过去图像跟踪数据集合添加到图像标测图作为过去视角，其中该图像标测图包括该外科部位的多个过去视角，并且该多个过去视角中的每个过去视角包括：从视角捕获的该外科部位的图像，以及与该视角相关联的跟踪数据集合；接收该外科部位的手术图像，其中该手术图像由该相机在第二时间捕获；确定该相机在该第二时间的实时图像跟踪数据集合；基于该实时图像跟踪数据集合和该多个过去视角中的匹配视角的该跟踪数据集合来确定该匹配视角；以及经由显示器显示该手术图像和该匹配视角的该外科部位的该图像。
V.杂项
应当理解，本文所述的任何示例还可包括除上述那些之外或代替上述那些的各种其他特征。仅以举例的方式，本文所述的任何示例还可包括以引用方式并入本文的各种参考文献中任何一者中公开的各种特征中的一种或多种。
应当理解，本文所述的教导内容、表达、实施方案、示例等中的任何一者或多者可与本文所述的其他教导内容、表达、实施方案、示例等中的任何一者或多者进行组合。因此，上述教导内容、表达、实施方案、示例等不应视为彼此孤立。参考本文的教导内容，本文的教导内容可进行组合的各种合适方式对于本领域的技术人员而言将显而易见。此类修改和变型旨在包括在权利要求书的范围内。
应当理解，据称以引用方式并入本文的任何专利、专利公布或其他公开材料，无论是全文或部分，仅在所并入的材料与本公开中所述的现有定义、陈述或者其他公开材料不冲突的范围内并入本文。因此，并且在必要的程度下，本文明确列出的公开内容代替以引用方式并入本文的任何冲突材料。据称以引用方式并入本文但与本文列出的现有定义、陈述或其他公开材料相冲突的任何材料或其部分，将仅在所并入的材料与现有的公开材料之间不产生冲突的程度下并入。
本文所公开的装置的型式可设计为使用一次后丢弃，也可设计为供多次使用。在任一种情况下或两种情况下，可对这些型式进行修复以在至少一次使用之后重复使用。修复可包括以下步骤的任意组合：拆卸装置，然后清洁或替换特定零件以及随后进行重新组装。具体地，可拆卸所述装置的型式，并且可选择性地以任何组合形式来更换或拆除所述装置的任意数量的特定部件或零件。在清洁和/或更换特定零件时，所述装置的型式可在修复设施中进行重新组装以供随后使用，或者在即将进行外科前由外科团队进行重新组装。本领域的技术人员将会了解，装置的修复可利用多种技术进行拆卸、清洁/更换、以及重新组装。此类技术的使用以及所得的修复装置均在本申请的范围内。
仅以举例的方式，本文所述的型式可在外科手术之前进行处理。首先，可以获取新的或用过的器械，并且根据需要进行清洁。然后，可对器械进行消毒。在一种消毒技术中，将所述器械放置在密闭且密封的容器(诸如，塑料或TYVEK袋)中。然后可将容器和器械置于可穿透所述容器的辐射场，诸如γ辐射、x射线或高能电子。辐射可杀死器械上和容器中的细菌。经消毒的器械随后可被储存在无菌容器中。密封的容器可使器械保持无菌，直到在外科设施中打开所述容器。还可使用本领域已知的任何其它技术对装置进行消毒，所述技术包括但不限于β辐射或γ辐射、环氧乙烷或蒸汽。
在已经示出并描述了本发明的各种型式的情况下，通过本领域技术人员在不脱离本发明范围的前提下进行适当修改来实现对本文所述方法和系统的进一步改进。已经提及了若干此类可能的修改，并且其他修改对于本领域的技术人员而言将显而易见。例如，上文所讨论的示例、型式、几何形状、材料、尺寸、比率、步骤等等均是示例性的而非必需的。因此，本发明的范围应根据以下权利要求书来考虑，并且应理解为不限于说明书和附图中示出和描述的结构和操作的细节。

Claims (20)

1.一种图像引导外科手术(IGS)导航系统，包括：
(a)内窥镜，所述内窥镜包括相机和跟踪传感器，其中所述跟踪传感器被配置为与跟踪区域进行交互；
(b)处理器，所述处理器被配置为基于所述跟踪传感器与所述跟踪区域的交互来跟踪所述相机；以及
(c)显示器；
其中所述处理器还被配置为：
(i)接收患者的外科部位的过去图像，其中所述过去图像由所述相机在第一时间捕获，
(ii)确定所述相机在所述第一时间的过去图像跟踪数据集合，
(iii)将所述过去图像和所述过去图像跟踪数据集合添加到图像标测图作为过去视角，其中所述图像标测图包括所述外科部位的多个过去视角，并且所述多个过去视角中的每个过去视角包括：
(A)从视角捕获的所述外科部位的图像，以及
(B)与所述视角相关联的跟踪数据集合，
(iv)接收所述外科部位的手术图像，其中所述手术图像由所述相机在第二时间捕获，
(v)确定所述相机在所述第二时间的实时图像跟踪数据集合，
(vi)基于所述实时图像跟踪数据集合和所述多个过去视角中的匹配视角的所述跟踪数据集合来确定所述匹配视角，并且
(vii)经由所述显示器显示所述手术图像和所述匹配视角的所述外科部位的所述图像。
2.根据权利要求1所述的IGS导航系统，其中所述处理器包括定位在能够使用所述IGS导航系统的外科套件内的计算机和定位在所述外科套件之外的远程计算机；
其中所述跟踪区域包括由跟踪场发生器提供的磁场；并且
其中所述过去图像跟踪数据集合描述所述相机的位置和取向。
3.根据权利要求1所述的IGS导航系统，其中所述处理器还被配置为：
(i)接收所述外科部位的后续手术图像，
(ii)确定所述后续手术图像的后续实时图像跟踪数据集合，
(iii)基于所述后续实时图像跟踪数据集合来重新确定所述匹配视角，并且
(iv)响应于接收到一个或多个后续手术图像，经由所述显示器近实时地显示每个后续手术图像和所述匹配视角的所述外科部位的所述图像。
4.根据权利要求1所述的IGS导航系统，其中所述处理器还被配置为在确定所述匹配视角时：
(i)基于所述实时图像跟踪数据集合的每个位置和取向坐标来查询所述图像标测图以确定最佳匹配视角，
(ii)确定所述最佳匹配视角的每个位置和取向坐标相对于所述实时图像跟踪数据集合的偏移，并且
(iii)当所述偏移在配置的可接受匹配阈值内时，选择所述最佳匹配视角作为所述匹配视角。
5.根据权利要求1所述的IGS导航系统，其中所述处理器还被配置为：显示图像状态，其中所述图像状态包括所述实时图像跟踪数据集合与所述匹配视角的所述跟踪数据集合的比较，所述比较指示所述手术图像的实时视角相对于所述匹配视角的视角的偏移。
6.根据权利要求1所述的IGS导航系统，其中所述处理器还被配置为：同时显示所述手术图像和所述匹配视角的所述外科部位的所述图像。
7.根据权利要求6所述的IGS导航系统，其中所述处理器还被配置为：在术前图像的面板内显示所述匹配视角的所述外科部位的所述图像，其中所述术前图像的面板还包括所述患者的至少三个数字扫描图像，并且其中所述至少三个数字扫描图像中的每个数字扫描图像包括重叠器械位置。
8.根据权利要求1所述的IGS导航系统，其中所述处理器还被配置为：
(i)确定所述手术图像应保持为居间图像，
(ii)将所述手术图像、所述实时图像跟踪数据集合和所述第二时间添加到所述图像标测图作为居间视角，
(iii)基于所述实时图像跟踪数据集合和与每个居间视角相关联的居间跟踪数据集合来确定所述图像标测图的一个或多个匹配居间视角，并且
(iv)显示所述一个或多个匹配居间视角的居间图像集合。
9.根据权利要求8所述的IGS导航系统，其中所述处理器还被配置为：基于外科切割器械的激活状态来确定所述手术图像应保持为居间图像。
10.根据权利要求8所述的IGS导航系统，其中所述居间图像集合中的每个居间图像被单独显示为按与每个居间图像相关联的捕获时间排序的视频序列。
11.根据权利要求8所述的IGS导航系统，其中所述居间图像集合中的每个居间图像被单独显示为按与每个居间图像相关联的捕获时间排序的渐变图像变形。
12.根据权利要求1所述的IGS导航系统，其中所述处理器还被配置为：在不能够确定所述匹配视角的情况下，经由所述显示器显示指示将导致所述匹配视角在所述图像标测图中可用的所述相机的视角变化的消息。
13.根据权利要求1所述的IGS导航系统，其中所述处理器还被配置为：
(i)接收所述外科部位的第二过去图像，并且基于第二过去图像跟踪数据集合来确定与所述第二过去图像相关联的视角，
(ii)确定与所述第二过去图像相关联的所述视角是否是已经在所述外科部位的所述多个过去视角内的视角的重复视角，并且
(iii)仅在所述视角不是重复视角的情况下将所述第二过去图像添加到所述多个过去视角。
14.一种用于在图像引导(IGS)导航外科手术期间提供比较界面的方法，包括：
(a)在处理器处：
(i)接收患者的外科部位的过去图像，其中所述过去图像由内窥镜的相机在第一时间捕获，以及
(ii)基于所述内窥镜的跟踪传感器来确定所述相机在所述第一时间的过去图像跟踪数据集合；
(b)将所述过去图像和所述过去图像跟踪数据集合添加到图像标测图作为过去视角，其中所述图像标测图包括所述外科部位的多个过去视角，并且所述多个过去视角中的每个过去视角包括：
(i)从视角捕获的所述外科部位的图像，以及
(ii)与所述视角相关联的跟踪数据集合，
(c)接收所述外科部位的手术图像，其中所述手术图像由所述相机在第二时间捕获，并且确定所述相机在所述第二时间的实时图像跟踪数据集合；
(d)基于所述实时图像跟踪数据集合和所述多个过去视角中的匹配视角的所述跟踪数据集合来确定所述匹配视角；以及
(e)经由显示器显示所述手术图像和所述匹配视角的所述外科部位的所述图像。
15.根据权利要求14所述的方法，还包括：
(a)接收所述外科部位的后续手术图像并且确定所述后续手术图像的后续实时图像跟踪数据集合；
(b)基于所述后续实时图像跟踪数据集合来重新确定所述匹配视角；以及
(c)响应于接收到一个或多个后续手术图像，经由所述显示器实时地显示每个后续手术图像和所述匹配视角的所述外科部位的所述图像。
16.根据权利要求14所述的方法，还包括当确定所述匹配视角时：
(i)基于所述实时图像跟踪数据集合的每个位置和取向坐标来查询所述图像标测图以确定最佳匹配视角，
(ii)确定所述最佳匹配视角的每个位置和取向坐标相对于所述实时图像跟踪数据集合的偏移，以及
(iii)当所述偏移在配置的可接受匹配阈值内时，选择所述最佳匹配视角作为所述匹配视角。
17.根据权利要求14所述的方法，还包括：同时显示所述手术图像和所述匹配视角的所述外科部位的所述图像。
18.根据权利要求17所述的方法，还包括：在术前图像的面板内显示所述匹配视角的所述外科部位的所述图像，其中所述术前图像的面板还包括所述患者的至少三个数字扫描图像，并且其中所述至少三个数字扫描图像中的每个数字扫描图像包括重叠器械位置。
19.根据权利要求14所述的方法，还包括：在不能够确定所述匹配视角的情况下，经由所述显示器显示指示将导致所述匹配视角在所述图像标测图中可用的所述相机的视角变化的消息。
20.一种处理器，所述处理器被配置为：
(a)接收患者的外科部位的过去图像，其中所述过去图像由相机在第一时间捕获；
(b)确定所述相机在所述第一时间的过去图像跟踪数据集合；
(c)将所述过去图像和所述过去图像跟踪数据集合添加到图像标测图作为过去视角，其中所述图像标测图包括所述外科部位的多个过去视角，并且所述多个过去视角中的每个过去视角包括：
(i)从视角捕获的所述外科部位的图像，以及
(ii)与所述视角相关联的跟踪数据集合；
(d)接收所述外科部位的手术图像，其中所述手术图像由所述相机在第二时间捕获；
(e)确定所述相机在所述第二时间的实时图像跟踪数据集合；
(f)基于所述实时图像跟踪数据集合和所述多个过去视角中的匹配视角的所述跟踪数据集合来确定所述匹配视角；并且
(g)经由显示器显示所述手术图像和所述匹配视角的所述外科部位的所述图像。
CN201980092112.5A 2018-12-14 2019-12-07 利用基于传感器的导航和内窥镜检查的组合的外科系统 Active CN113423358B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862779614P 2018-12-14 2018-12-14
US62/779614 2018-12-14
US16/665133 2019-10-28
US16/665,133 US11514576B2 (en) 2018-12-14 2019-10-28 Surgical system with combination of sensor-based navigation and endoscopy
PCT/IB2019/060537 WO2020121149A1 (en) 2018-12-14 2019-12-07 Surgical system with combination of sensor-based navigation and endoscopy

Publications (2)

Publication Number Publication Date
CN113423358A true CN113423358A (zh) 2021-09-21
CN113423358B CN113423358B (zh) 2024-07-09

Family

ID=71073693

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980092112.5A Active CN113423358B (zh) 2018-12-14 2019-12-07 利用基于传感器的导航和内窥镜检查的组合的外科系统

Country Status (6)

Country Link
US (1) US11514576B2 (zh)
EP (1) EP3893790A1 (zh)
JP (1) JP7532370B2 (zh)
CN (1) CN113423358B (zh)
IL (1) IL283910B2 (zh)
WO (1) WO2020121149A1 (zh)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
US11504192B2 (en) 2014-10-30 2022-11-22 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11911045B2 (en) 2017-10-30 2024-02-27 Cllag GmbH International Method for operating a powered articulating multi-clip applier
US11564756B2 (en) 2017-10-30 2023-01-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11696778B2 (en) 2017-10-30 2023-07-11 Cilag Gmbh International Surgical dissectors configured to apply mechanical and electrical energy
US11510741B2 (en) 2017-10-30 2022-11-29 Cilag Gmbh International Method for producing a surgical instrument comprising a smart electrical system
US11801098B2 (en) 2017-10-30 2023-10-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11903601B2 (en) 2017-12-28 2024-02-20 Cilag Gmbh International Surgical instrument comprising a plurality of drive systems
US11666331B2 (en) 2017-12-28 2023-06-06 Cilag Gmbh International Systems for detecting proximity of surgical end effector to cancerous tissue
US11633237B2 (en) 2017-12-28 2023-04-25 Cilag Gmbh International Usage and technique analysis of surgeon / staff performance against a baseline to optimize device utilization and performance for both current and future procedures
US11540855B2 (en) 2017-12-28 2023-01-03 Cilag Gmbh International Controlling activation of an ultrasonic surgical instrument according to the presence of tissue
US11109866B2 (en) 2017-12-28 2021-09-07 Cilag Gmbh International Method for circular stapler control algorithm adjustment based on situational awareness
US11864728B2 (en) 2017-12-28 2024-01-09 Cilag Gmbh International Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US11786251B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US10758310B2 (en) 2017-12-28 2020-09-01 Ethicon Llc Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices
US11659023B2 (en) * 2017-12-28 2023-05-23 Cilag Gmbh International Method of hub communication
US11696760B2 (en) 2017-12-28 2023-07-11 Cilag Gmbh International Safety systems for smart powered surgical stapling
US11612408B2 (en) 2017-12-28 2023-03-28 Cilag Gmbh International Determining tissue composition via an ultrasonic system
US11786245B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Surgical systems with prioritized data transmission capabilities
US11423007B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Adjustment of device control programs based on stratified contextual data in addition to the data
US11576677B2 (en) 2017-12-28 2023-02-14 Cilag Gmbh International Method of hub communication, processing, display, and cloud analytics
US11602393B2 (en) 2017-12-28 2023-03-14 Cilag Gmbh International Surgical evacuation sensing and generator control
US11832899B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical systems with autonomously adjustable control programs
US11998193B2 (en) 2017-12-28 2024-06-04 Cilag Gmbh International Method for usage of the shroud as an aspect of sensing or controlling a powered surgical device, and a control algorithm to adjust its default operation
US11389164B2 (en) 2017-12-28 2022-07-19 Cilag Gmbh International Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices
US11832840B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical instrument having a flexible circuit
US12062442B2 (en) 2017-12-28 2024-08-13 Cilag Gmbh International Method for operating surgical instrument systems
US11571234B2 (en) 2017-12-28 2023-02-07 Cilag Gmbh International Temperature control of ultrasonic end effector and control system therefor
US11166772B2 (en) 2017-12-28 2021-11-09 Cilag Gmbh International Surgical hub coordination of control and communication of operating room devices
US11937769B2 (en) 2017-12-28 2024-03-26 Cilag Gmbh International Method of hub communication, processing, storage and display
US11969216B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Surgical network recommendations from real time analysis of procedure variables against a baseline highlighting differences from the optimal solution
US11076921B2 (en) 2017-12-28 2021-08-03 Cilag Gmbh International Adaptive control program updates for surgical hubs
US11589888B2 (en) 2017-12-28 2023-02-28 Cilag Gmbh International Method for controlling smart energy devices
US11818052B2 (en) 2017-12-28 2023-11-14 Cilag Gmbh International Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11744604B2 (en) 2017-12-28 2023-09-05 Cilag Gmbh International Surgical instrument with a hardware-only control circuit
US11257589B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Real-time analysis of comprehensive cost of all instrumentation used in surgery utilizing data fluidity to track instruments through stocking and in-house processes
US20190201594A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Method of sensing particulate from smoke evacuated from a patient, adjusting the pump speed based on the sensed information, and communicating the functional parameters of the system to the hub
US11896443B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Control of a surgical system through a surgical barrier
US11857152B2 (en) 2017-12-28 2024-01-02 Cilag Gmbh International Surgical hub spatial awareness to determine devices in operating theater
US20190201113A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Controls for robot-assisted surgical platforms
US11844579B2 (en) 2017-12-28 2023-12-19 Cilag Gmbh International Adjustments based on airborne particle properties
US11771487B2 (en) 2017-12-28 2023-10-03 Cilag Gmbh International Mechanisms for controlling different electromechanical systems of an electrosurgical instrument
US11202570B2 (en) 2017-12-28 2021-12-21 Cilag Gmbh International Communication hub and storage device for storing parameters and status of a surgical device to be shared with cloud based analytics systems
US11969142B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws
US20190206569A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Method of cloud based data analytics for use with the hub
US11464559B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Estimating state of ultrasonic end effector and control system therefor
US11896322B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub
US11678881B2 (en) 2017-12-28 2023-06-20 Cilag Gmbh International Spatial awareness of surgical hubs in operating rooms
US10892995B2 (en) 2017-12-28 2021-01-12 Ethicon Llc Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11672605B2 (en) 2017-12-28 2023-06-13 Cilag Gmbh International Sterile field interactive control displays
US11132462B2 (en) 2017-12-28 2021-09-28 Cilag Gmbh International Data stripping method to interrogate patient records and create anonymized record
US11559307B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method of robotic hub communication, detection, and control
US11559308B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method for smart energy device infrastructure
US11529187B2 (en) 2017-12-28 2022-12-20 Cilag Gmbh International Surgical evacuation sensor arrangements
US11259830B2 (en) 2018-03-08 2022-03-01 Cilag Gmbh International Methods for controlling temperature in ultrasonic device
US11298148B2 (en) 2018-03-08 2022-04-12 Cilag Gmbh International Live time tissue classification using electrical parameters
US11678927B2 (en) 2018-03-08 2023-06-20 Cilag Gmbh International Detection of large vessels during parenchymal dissection using a smart blade
US11259806B2 (en) 2018-03-28 2022-03-01 Cilag Gmbh International Surgical stapling devices with features for blocking advancement of a camming assembly of an incompatible cartridge installed therein
US11090047B2 (en) 2018-03-28 2021-08-17 Cilag Gmbh International Surgical instrument comprising an adaptive control system
US11464511B2 (en) 2019-02-19 2022-10-11 Cilag Gmbh International Surgical staple cartridges with movable authentication key arrangements
US11298129B2 (en) 2019-02-19 2022-04-12 Cilag Gmbh International Method for providing an authentication lockout in a surgical stapler with a replaceable cartridge
WO2021003304A1 (en) 2019-07-01 2021-01-07 Berlin Michael S Image guidance methods and apparatus for glaucoma surgery
CN113160149B (zh) * 2021-03-31 2024-03-01 杭州海康威视数字技术股份有限公司 一种目标显示方法、装置、电子设备及内窥镜系统
US20230068745A1 (en) * 2021-09-02 2023-03-02 Covidien Lp Real-time registration using near infrared fluorescence imaging

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040034300A1 (en) * 2002-08-19 2004-02-19 Laurent Verard Method and apparatus for virtual endoscopy
KR100961661B1 (ko) * 2009-02-12 2010-06-09 주식회사 래보 수술용 항법 장치 및 그 방법
US8266333B1 (en) * 2009-05-29 2012-09-11 Z Microsystems, Inc. System and method for parallel image processing and routing
US20130281821A1 (en) * 2011-01-13 2013-10-24 Koninklijke Philips Electronics N.V. Intraoperative camera calibration for endoscopic surgery
US20130296682A1 (en) * 2012-05-04 2013-11-07 Microsoft Corporation Integrating pre-surgical and surgical images
WO2014140813A1 (en) * 2013-03-11 2014-09-18 Fondation De Cooperation Scientifique Anatomical site relocalisation using dual data synchronisation
CN104203073A (zh) * 2012-10-18 2014-12-10 奥林巴斯医疗株式会社 图像处理装置和图像处理方法
CN105208958A (zh) * 2013-03-15 2015-12-30 圣纳普医疗(巴巴多斯)公司 用于微创治疗的导航和模拟的系统和方法
CN105596005A (zh) * 2009-03-26 2016-05-25 直观外科手术操作公司 用于为操纵内窥镜设备的末端朝向一个或更多个界标转向提供视觉引导和在内窥镜导航中辅助操作者的系统
US20160191887A1 (en) * 2014-12-30 2016-06-30 Carlos Quiles Casas Image-guided surgery with surface reconstruction and augmented reality visualization
CN106535745A (zh) * 2014-07-09 2017-03-22 阿克拉伦特公司 用于鼻窦扩张术的导丝导航

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100377685C (zh) 2002-08-30 2008-04-02 奥林巴斯株式会社 医疗处理系统、内窥镜系统、内窥镜插入操作程序及内窥镜装置
US7720521B2 (en) 2004-04-21 2010-05-18 Acclarent, Inc. Methods and devices for performing procedures within the ear, nose, throat and paranasal sinuses
US20070208252A1 (en) 2004-04-21 2007-09-06 Acclarent, Inc. Systems and methods for performing image guided procedures within the ear, nose, throat and paranasal sinuses
CA2588002A1 (en) * 2005-01-18 2006-07-27 Traxtal Inc. Method and apparatus for guiding an instrument to a target in the lung
US20060241405A1 (en) 2005-03-09 2006-10-26 Aesculap Ag & Co. Kg Method and apparatus for performing an orthodepic stability test using a surgical navigation system
US7835785B2 (en) * 2005-10-04 2010-11-16 Ascension Technology Corporation DC magnetic-based position and orientation monitoring system for tracking medical instruments
US20140128727A1 (en) * 2012-11-08 2014-05-08 Navident Technologies, Inc. Surgical location monitoring system and method using natural markers
US20140160264A1 (en) * 2012-12-10 2014-06-12 The Johns Hopkins University Augmented field of view imaging system
US11278353B2 (en) * 2016-03-16 2022-03-22 Synaptive Medical Inc. Trajectory alignment system and methods
US10602917B2 (en) 2013-12-31 2020-03-31 Karl Storz Imaging, Inc. Switching between white light imaging and excitation light imaging leaving last video frame displayed
US11188285B2 (en) * 2014-07-02 2021-11-30 Covidien Lp Intelligent display
US11094223B2 (en) * 2015-01-10 2021-08-17 University Of Florida Research Foundation, Incorporated Simulation features combining mixed reality and modular tracking
US10413366B2 (en) * 2016-03-16 2019-09-17 Synaptive Medical (Bardbados) Inc. Trajectory guidance alignment system and methods
US10561370B2 (en) 2017-04-26 2020-02-18 Accalrent, Inc. Apparatus to secure field generating device to chair
US20200297430A1 (en) * 2019-03-22 2020-09-24 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040034300A1 (en) * 2002-08-19 2004-02-19 Laurent Verard Method and apparatus for virtual endoscopy
KR100961661B1 (ko) * 2009-02-12 2010-06-09 주식회사 래보 수술용 항법 장치 및 그 방법
CN105596005A (zh) * 2009-03-26 2016-05-25 直观外科手术操作公司 用于为操纵内窥镜设备的末端朝向一个或更多个界标转向提供视觉引导和在内窥镜导航中辅助操作者的系统
US8266333B1 (en) * 2009-05-29 2012-09-11 Z Microsystems, Inc. System and method for parallel image processing and routing
US20130281821A1 (en) * 2011-01-13 2013-10-24 Koninklijke Philips Electronics N.V. Intraoperative camera calibration for endoscopic surgery
US20130296682A1 (en) * 2012-05-04 2013-11-07 Microsoft Corporation Integrating pre-surgical and surgical images
CN104203073A (zh) * 2012-10-18 2014-12-10 奥林巴斯医疗株式会社 图像处理装置和图像处理方法
WO2014140813A1 (en) * 2013-03-11 2014-09-18 Fondation De Cooperation Scientifique Anatomical site relocalisation using dual data synchronisation
US20160022125A1 (en) * 2013-03-11 2016-01-28 Institut Hospitalo-Universitaire De Chirurgie Mini-Invasive Guidee Par L'image Anatomical site relocalisation using dual data synchronisation
CN105208958A (zh) * 2013-03-15 2015-12-30 圣纳普医疗(巴巴多斯)公司 用于微创治疗的导航和模拟的系统和方法
CN106535745A (zh) * 2014-07-09 2017-03-22 阿克拉伦特公司 用于鼻窦扩张术的导丝导航
US20160191887A1 (en) * 2014-12-30 2016-06-30 Carlos Quiles Casas Image-guided surgery with surface reconstruction and augmented reality visualization

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
姚瀚勋;夏学巍;肖晶;王文波;: "导航辅助神经内镜硬通道技术治疗基底节区高血压脑出血患者的临床疗效", 重庆医学, no. 08, 20 March 2018 (2018-03-20) *

Also Published As

Publication number Publication date
US20200193600A1 (en) 2020-06-18
IL283910A (en) 2021-07-29
EP3893790A1 (en) 2021-10-20
US11514576B2 (en) 2022-11-29
JP7532370B2 (ja) 2024-08-13
CN113423358B (zh) 2024-07-09
WO2020121149A1 (en) 2020-06-18
JP2022512420A (ja) 2022-02-03
IL283910B1 (en) 2024-03-01
IL283910B2 (en) 2024-07-01

Similar Documents

Publication Publication Date Title
CN113423358B (zh) 利用基于传感器的导航和内窥镜检查的组合的外科系统
US20200331147A1 (en) Tool position and identification indicator displayed in a boundary area of a computer display screen
JP7443353B2 (ja) 位置及び方向（ｐ＆ｄ）追跡支援の光学的視覚化を使用したコンピュータ断層撮影（ｃｔ）画像の補正
US20190192230A1 (en) Method for patient registration, calibration, and real-time augmented reality image display during surgery
EP4353177A2 (en) A graphical user interface for use in a surgical navigation system with a robot arm
WO2019079126A1 (en) DISPLAYING PREOPERATIVE AND INTRA-OPERATIVE IMAGES
CN111317568B (zh) 胸部成像、距离测量、手术感知以及通知系统和方法
US10955657B2 (en) Endoscope with dual image sensors
WO2011122032A1 (ja) 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム
US20210121238A1 (en) Visualization system and method for ent procedures
US20230259248A1 (en) Method for real time update of fly-through camera placement
JP6952740B2 (ja) ユーザーを支援する方法、コンピュータープログラム製品、データ記憶媒体、及び撮像システム
JP2023507063A (ja) 手術中に画像取込装置を制御するための方法、装置、およびシステム
WO2023129934A1 (en) Systems and methods for integrating intra-operative image data with minimally invasive medical techniques
EP4384985A1 (en) Systems and methods for depth-based measurement in a three-dimensional view
CN116829089A (zh) 用于基于术中成像更新图形用户界面的系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant