CN108697319B - 用于眼科手术的可视化系统 - Google Patents

用于眼科手术的可视化系统 Download PDF

Info

Publication number
CN108697319B
CN108697319B CN201780013764.6A CN201780013764A CN108697319B CN 108697319 B CN108697319 B CN 108697319B CN 201780013764 A CN201780013764 A CN 201780013764A CN 108697319 B CN108697319 B CN 108697319B
Authority
CN
China
Prior art keywords
image
distal tip
surgical instrument
retina
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780013764.6A
Other languages
English (en)
Other versions
CN108697319A (zh
Inventor
T·黑伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alcon Inc
Original Assignee
Alcon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alcon Inc filed Critical Alcon Inc
Publication of CN108697319A publication Critical patent/CN108697319A/zh
Application granted granted Critical
Publication of CN108697319B publication Critical patent/CN108697319B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/01—Guiding arrangements therefore
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements
    • A61B3/0058—Operational features thereof characterised by display arrangements for multiple images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/1005—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring distances inside the eye, e.g. thickness of the cornea
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/1025—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for confocal scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/13—Ophthalmic microscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0066—Optical coherence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/066—Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/684—Indicating the position of the sensor on the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6844—Monitoring or controlling distance between sensor and tissue
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0012—Surgical microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/18—Arrangements with more than one light path, e.g. for comparing two specimens
    • G02B21/20—Binocular arrangements
    • G02B21/22—Stereoscopic arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/306—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using optical fibres
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A61B2090/3735—Optical coherence tomography [OCT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/05—Surgical care
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/007—Methods or devices for eye surgery

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Gynecology & Obstetrics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

披露了一种眼科手术系统，所述眼科手术系统包括被配置用于产生眼睛的眼底图像的成像单元、以及被配置用于产生所述眼睛的深度分辨图像的深度成像系统。所述系统还包括通信地联接到所述成像单元和深度成像系统的跟踪系统，所述跟踪系统包括处理器和存储器，所述处理器和存储器被配置用于：分析由所述成像单元产生的所述眼底图像以确定手术器械的远侧末端在所述眼底图像中的位置，分析由所述深度成像系统产生的所述深度分辨图像以确定所述手术器械的所述远侧末端与所述眼睛的视网膜之间的距离，产生视觉指示器以覆盖所述眼底图像的一部分，所述视觉指示器指示所述远侧末端与视网膜之间的所确定的距离，修改所述视觉指示器以实时跟踪所述远侧末端在所述眼底图像内的位置的变化，以及修改所述视觉指示器以实时指示所述手术器械的所述远侧末端与视网膜之间的距离的变化。

Description

用于眼科手术的可视化系统
技术领域
本披露整体涉及外科手术，更具体地涉及眼科手术可视化系统和方法。
背景技术
许多显微外科手术要求精密切割和/或去除身体组织。例如，某些眼科外科手术要求切割和/或去除玻璃体液，一种充满眼睛的后段的透明胶状材料。玻璃体液或玻璃体由通常附接至视网膜的微观原纤维构成。切割和去除玻璃体必须万分小心地进行，以免造成对视网膜的牵扯、视网膜从脉络膜上分离、视网膜撕裂、或者在最坏情况下切割和去除视网膜本身。诸如移动组织管理(例如，切割和去除在视网膜的分离部分或视网膜撕裂部附近的玻璃体)、玻璃体基础解剖、以及切割和去除膜的精细手术是特别困难的。
用于后段眼科手术的显微外科切割探针通常经由巩膜中、睫状体扁平部附近的切口插入。外科医生在后段手术期间也插入其他显微外科器械，诸如光纤照明器、输注插管、成像探针(例如，OCT探针)或抽吸探针。
为了帮助外科医生进行这些类型和其他类型的外科手术，外科医生可以使用呈现有待治疗的组织(诸如患者的眼组织)的显微镜视图的成像系统。因此，可以为这种成像系统的用户提供手术器械(诸如钳子或其他工具)以及感兴趣的眼睛区域的特写视图。此类系统还可以提供可能对外科医生有用的附加信息，诸如感兴趣的眼睛区域的光学相干断层扫描(OCT)图像。OCT成像通常利用近红外光并且能够获得或产生表面下面的组织的图像。
尽管成像系统有所进步，但执行眼外科手术仍然具有挑战性。特别是，观察立体显微镜图像的外科医生可能难以精确地辨别手术工具插入眼睛中的深度及其与特定组织(诸如视网膜)的接近度。外科医生通常依赖于随着时间积累起来的经验和判断用于在精细手术过程中指导，因此需要改进的可视化技术来改善患者安全性和手术结果。
发明内容
在某些实施例中，眼科手术系统包括：被配置用于产生眼睛的眼底图像的成像单元，以及被配置用于产生眼睛的深度分辨图像的深度成像系统。该系统进一步包括通信地联接到成像单元和深度成像系统的跟踪系统。跟踪系统包括处理器和存储器，该处理器和存储器被配置用于：分析由成像单元产生的眼底图像以确定手术器械的远侧末端在眼底图像中的位置，分析由深度成像系统产生的深度分辨图像以确定手术器械的远侧末端与眼睛视网膜之间的距离，产生视觉指示器以覆盖眼底图像的一部分，该视觉指示器指示远侧末端与视网膜之间的所确定的距离，修改视觉指示器以实时跟踪远侧末端在眼底图像内的位置的变化，以及修改视觉指示器以实时指示手术器械的远侧末端与视网膜之间的距离的变化。
跟踪系统的处理器和存储器可以进一步被配置用于基于深度分辨图像中的图像像素分析来确定手术器械的远侧末端与眼睛视网膜之间的距离。
深度成像系统可以被配置用于基于由与手术器械成一体的成像探针接收的信号来产生眼睛的深度分辨图像。
在某些实施例中，跟踪系统的处理器和存储器被配置用于产生视觉指示器以覆盖眼底图像内手术器械的远侧末端。
跟踪系统的处理器和存储器可以被配置用于通过以下方式修改视觉指示器以指示手术器械的远侧末端与视网膜之间的距离变化：与手术器械的远侧末端和视网膜之间的距离变化成比例地增加或减小视觉指示器的尺寸。
在某些实施例中，跟踪系统的处理器和存储器被配置用于通过修改视觉指示器的颜色来修改视觉指示器，以指示手术器械的远侧末端与视网膜之间的距离变化。
根据某些实施例，深度成像系统是被配置用于产生眼睛的光学相干断层扫描(OCT)图像的OCT系统。OCT系统可包括可操作用于产生OCT成像光束的OCT光源和可操作以引导OCT成像光束的光束扫描器。跟踪系统可以被配置用于分析OCT图像，以确定手术器械的远侧末端与眼睛的视网膜之间的距离。跟踪系统的处理器和存储器可以被配置用于使得光束扫描器基于手术器械的远侧末端在眼底图像内的确定位置，将OCT成像光束引导至眼睛的包括手术器械的远侧末端的特定区域。
在某些实施例中，手术器械包括被配置用于传输OCT成像光束的第一光纤，以及被配置用于传输由眼睛反射的光的第二光纤。
根据某些实施例，跟踪系统的处理器和存储器被配置用于通过以下方式确定手术器械的远侧末端在眼底图像中的位置：产生眼底图像的增强图像，估计增强图像内的标记图像，从增强图像中提取标记图像，以及从标记的图像中确定标记的位置。
在某些实施例中，视觉指示器和眼底图像显示在目镜中或抬头屏幕上。视觉指示器也可以由用户配置。
在某些实施例中，成像单元包括如在共焦扫描眼底镜中使用的手术显微镜、二维相机、线扫描相机和单个检测器中的至少一者。
某些实施例包括一种方法，该方法包括：产生眼睛的眼底图像，产生眼睛的深度分辨图像，分析眼底图像以确定手术器械的远侧末端在眼底图像中的位置，分析深度分辨图像以确定手术器械的远侧末端与眼睛的视网膜之间的距离，产生视觉指示器以覆盖眼底图像内的手术器械的远侧末端，该视觉指示器指示远侧末端与视网膜之间的所确定的距离，修改视觉指示器以实时跟踪远侧末端在眼底图像内的位置的变化，以及修改视觉指示器以实时指示手术器械的远侧末端与视网膜之间的距离变化。
根据某些实施例，修改视觉指示器以实时指示手术器械的远侧末端与视网膜之间的距离变化包括：与手术器械的远侧末端和视网膜之间的距离变化成比例地增加或减小视觉指示器的尺寸。
在某些实施例中，修改视觉指示器以实时指示手术器械的远侧末端与视网膜之间的距离变化包括修改视觉指示器的颜色。
某些实施例进一步包括基于手术器械的远侧末端在眼底图像内的确定位置，将成像系统的成像光束引导至眼睛的包括手术器械的远侧末端的特定区域。
在某些实施例中，分析眼底图像以确定手术器械的远侧末端在眼底图像中的位置包括：产生眼底图像的增强图像，估计增强图像内的标记图像，从增强图像中提取标记图像，以及从标记的图像中确定标记的位置。
在某些实施例中，该方法包括在目镜中或在抬头屏幕上显示视觉指示器。该方法还可以包括接收与一种类型的视觉指示器有关的用户输入。
本披露内容的某些实施例可以提供一个或多个技术优点。例如，某些实施例提供了视觉指示器，该视觉指示器可以允许外科医生以提高的精度执行玻璃体切除术，并且降低在玻璃体切除术期间损伤视网膜的风险。具体地讲，某些实施例提供了视觉指示器，该视觉指示器显示为位于手术器械的远侧末端定位处的覆盖图。这方面可以通过提供关于手术工具和敏感组织的实际和/或相对位置以及它们之间的距离的准确、实时信息而不妨碍外科医生观察周围组织，从而辅助外科医生。此外，通过提供指示器以警告外科医生手术器械的精确位置，包括其与敏感组织诸如视网膜的接近度，某些实施例增加外科医生的精准度、意识度和信心，从而提高患者安全性和手术结果。此外，指示器可以作为目镜或抬头显示器内的图像覆盖而提供，使得外科医生可以容易地监视指示器而不会将注意力从术野转移。另外，可以与工具和眼组织的接近度的变化成比例地修改指示器的多个特征或方面，从而向外科医生提供关于工具定位的直观且即时的反馈。
附图说明
为了更彻底地理解本披露内容及其优点，现在参考结合附图进行的以下说明，在这些附图中相同的参考数字指示相同的特征，并且在附图中：
图1示出了根据某些实施例的包括手术显微镜和集成OCT系统的眼科手术可视化系统的实例；
图2示出了根据某些实施例的与可视化系统一起使用的示例性手术器械；
图3A至图3C示出了根据某些实施例的包括由可视化系统提供的视觉指示器的显微镜图像；
图4A至图4C示出了根据某些实施例的包括由可视化系统提供的各种替代性视觉指示器的显微镜图像；
图5是示出根据某些实施例的用于跟踪和指示插入眼睛中的手术器械的位置及其与眼组织的接近度的方法的流程图；
图6示出了根据某些实施例的用于手术器械的各种类型的标记；
图7A至图7B示出了根据某些实施例的包括可切换单通道数据注入的示例性眼科手术可视化系统；
图8示出了根据某些实施例的包括双通道数据注入的示例性眼科手术可视化系统；
图9示出了根据某些实施例的包括双通道数据注入的另一示例性眼科手术可视化系统；并且
图10A至图10C示出了根据某些实施例的包括带3-D感知的双通道数据注入的示例性眼科手术可视化系统。
本领域的技术人员将理解，下面描述的附图仅用于说明目的，而无意限制申请人的披露内容的范围。
具体实施方式
出于促进对本披露内容的原理的理解的目的，现在将参考附图中展示的实施例，并且将使用特定语言来描述这些实施例。然而，应当理解，并非旨在限制本披露内容的范围。本披露内容所涉及领域内的技术人员通常将能够想到对于所描述的系统、装置和方法的改变和进一步修改，以及对于本披露内容的原理的任何进一步应用。具体地讲，可以想到关于一个实施例描述的系统、装置和/或方法可与关于本披露内容的其他实施例描述的特征、部件和/或步骤组合。然而，为简洁起见，将不单独地描述这些组合的众多重复。为简单起见，在一些情况下，贯穿这些附图使用相同的附图标记来指代相同或相似的零件。本文对位置、距离或接近度的提及可以指一个或多个实际和/或相对位置、距离或接近度。
一般来讲，本披露内容涉及一种眼科手术可视化系统，该眼科手术可视化系统能够提供传达手术工具与特定组织(诸如视网膜)的接近度的一个或多个视觉指示器。某些实施例向用户提供眼组织的显微镜图像，该显微镜图像包括指示特定眼组织(例如，视网膜)与插入眼睛中的手术工具(例如，玻璃体切除术探针的末端)之间的距离的计算机产生的视觉指示器(例如，指针、形状、图标或其他图形元素)。可以实时修改视觉指示器的一个或多个特征(例如，其颜色、尺寸、形状)以反映手术工具与特定眼组织之间的距离。在某些实施例中，递增地并且与距离的变化成比例地修改视觉指示器的特征(例如，尺寸、颜色)，以直观地传达工具的移动。可以基于能够实时分辨深度的成像系统诸如OCT成像系统、超声成像系统、多光谱成像系统、计算机轴向断层摄影(CAT)扫描系统、磁共振成像(MRI)系统或正电子发射断层摄影(PET)成像系统获得的数据确定手术工具与特定眼组织之间的距离。某些实施例还实时跟踪手术工具在显微镜图像内的移动，并且可以将视觉指示器显示为在目镜中或在抬头显示器上呈现的显微镜图像中的动态覆盖。例如，当视觉指示器在视网膜的显微镜图像内移动时，视觉指示器可以被显示为叠加在手术工具的远侧端部上的图形覆盖，并且可以根据手术工具的远侧端部与视网膜之间的距离连续地更新覆盖指示器的尺寸和/或颜色。
图1示出了根据本披露内容的特定实施例的眼科手术可视化系统的实例。手术显微镜100包括集成的OCT和显示系统。手术显微镜100可以促进在外科手术期间放大患者眼睛102的视图，并且总体上可以包括目镜104、中继透镜106、放大/聚焦光学器件108、物镜110以及手术观察光学器件112。目镜104、中继透镜106、放大/聚焦光学器件108、物镜110以及手术观察光学器件112中的每一者都可以包括如本领域普通技术人员所理解的任何合适的光学部件。
手术显微镜100此外可以包括集成OCT系统114和实时数据投影单元116，该集成OCT系统可操作以产生患者眼睛102的OCT图像，该实时数据投影单元可操作以经由一个或两个目镜104将这些OCT图像显示给外科医生。OCT系统114集成到手术显微镜100(如下文进一步详细讨论的)中的位置可以有利地允许随着外科医生经由放大/聚焦光学器件108操纵显微镜视野而使OCT扫描范围自动调整。而且，实时数据投影单元116可以有利地允许外科医生查看由OCT系统114产生的OCT图像而不需要观看分开的显示监视器。
OCT系统114可以包括光源/分析单元118和光束扫描器120。一般来讲，光源/分析单元118可以产生OCT成像光束122，并且光束扫描器120(与手术显微镜的其他光学部件相结合)可以将产生的OCT成像光束122引导至患者眼睛102内的特定区域。OCT成像光束122从患者眼睛102内的特定区域的反射(反射的OCT成像光束124)可以沿着与OCT成像光束122相同的光路返回至光源/分析单元118，并且光源/分析单元118可以通过确定反射124与OCT成像光束122的参考臂之间的干涉来产生该特定区域的OCT图像。如本领域技术人员将理解的是，本披露内容设想的是，OCT系统114可以包括用于操纵OCT成像光束122的任何合适的附加光学部件，并且为了简洁起见没有描绘/描述出这些附加部件。
在某些实施例中，OCT成像光束122可以包括覆盖相对窄的波长带(例如，830nm-870nm、790nm-900nm、950nm-1150nm)的红外光束或近红外光束。然而，可以使用具有任何合适的光谱范围的OCT成像光束122。
在某些实施例中，OCT成像光束122可以连同OCT系统114的任何其他合适的光学部件(未描绘出，如上所述)穿过光束扫描器120(下文进一步详细描述)。OCT成像光束122然后可以经由手术显微镜100的上述光学部件中的一个或多个被引导至患者眼睛104(如下文进一步详细描述的)。
光束扫描器120可以包括促进OCT成像光束122在X-Y平面中聚焦的任何合适的光学部件或光学部件组合。例如，光束扫描器120可以包括一对扫描反射镜、微镜装置、基于MEMS的装置、可变形平台、基于检流计的扫描器、多边形扫描器和/或谐振PZT扫描器中的一者或多者。在某些实施例中，光束扫描器120的光学部件的定位可以以自动化的方式进行操纵。仅是作为一个实例，光束扫描器120可以包括一对扫描反射镜，这些扫描反射镜各自联接至马达驱动器，这些马达驱动器可操作以使反射镜围绕垂直轴线旋转。作为结果，通过控制所联接的马达的定位(例如，根据预先确定或选择的扫描图样)，可以控制OCT成像光束122在患者眼睛104内的X-Y定位。此外，可以通过本领域理解的OCT系统114的一个或多个其他部件来控制OCT成像光束122的焦深以便促进3-D OCT成像。
如上所述，反射的OCT光束124可以沿与OCT成像光束122行进的光路基本上相同的光路返回至OCT系统114。一旦反射的OCT光束124到达光源/分析单元118，光源/分析单元118就可以基于反射的OCT光束124与OCT成像光束122的参考臂之间的干涉来构建OCT图像(A型扫描)(如本领域已知的)。而且，通过经由光束扫描器120在X-Y平面内移动成像光束和/或改变成像光束122的焦深，可以产生多个OCT图像(A型扫描)并且将这些图像结合到OCT截面图像(B型扫描)中，并且可以结合多个这样的截面图像(B型扫描)以产生3-D OCT图像。
在某些实施例中，OCT系统114可以经由位于手术显微镜100的光路中的光束耦合器126被集成到手术显微镜100中。光束耦合器126可以包括光学元件，该光学元件被配置用于反射OCT成像光束122的光谱范围内的波长(例如，红外波长)，同时允许可见光谱中的光穿过手术显微镜100。又如，光束耦合器126可以包括二向色热镜、偏振分束器和陷波滤光器中的一者。
在某些实施例中，OCT系统114可以经由位于手术显微镜100的光路中的光束耦合器126被集成到手术显微镜100中。光束耦合器126可以包括光学元件，该光学元件被配置用于反射OCT成像光束122的光谱范围内的波长(例如，红外波长)，同时允许可见光谱中的光穿过手术显微镜100。又如，光束耦合器126可以包括二向色热镜、偏振分束器和陷波滤光器中的一者。
在某些实施例中，光束耦合器126可以沿手术观察光学器件112与目镜104之间的光路定位。手术观察光学器件112可以包括下置的黄斑透镜(drop-on macular lens)、基于接触的广角透镜、如(双目间接检眼镜)BIOM的基于非接触的观察系统、或任何其他合适的观察光学器件。更具体地，光束耦合器126可以沿放大/聚焦光学器件108与目镜104之间的光路来定位。作为结果，OCT成像光束122将穿过放大/聚焦光学器件108，从而允许OCT扫描范围随着外科医生经由放大/聚焦光学器件108操纵显微镜视野而自动调整。虽然没有描绘，但是本披露内容设想的是，OCT系统114此外可以包括任何合适的光学部件，从而鉴于OCT成像光束116穿过放大/聚焦光学器件108和物镜110的事实而促进OCT成像光束122在患者眼睛102内的适当聚焦。
在某些实施例中，除了OCT成像光束122之外，OCT系统114还可以产生可见的瞄准光束(未描绘出)。这种可见的瞄准光束可以经由目镜104对外科医生可见并且可以帮助外科医生引导OCT成像。在此类实施例中，光束耦合器126可以被配置用于反射OCT成像光束122的光谱范围(例如，红外波长)和窄的可见光带(落入该窄带内的瞄准光束)，同时允许处于瞄准光束的窄带之外的可见光穿过手术显微镜100。
由OCT系统114产生的一个或多个OCT图像(在图1中用附图标记128标识)可以被传达至实时数据投影单元116以用于经由一个或两个目镜104显示给外科医生，所述一个或多个OCT图像可以包括A型扫描、B型扫描、或者通过结合上述多个B型扫描而构造的3-D OCT图像。
虽然没有描绘，但是本披露内容设想的是，某些实施例可包括一个或多个附加或替代性深度成像系统，诸如超声成像系统、多光谱成像系统、计算机轴向断层摄影(CAT)扫描系统、磁共振成像(MRI)系统或正电子发射断层摄影(PET)成像系统。此类成像系统可以与本文描述的OCT成像系统类似地配置(例如，与显微镜100集成、基于探针和/或与手术器械146集成)以产生可以由跟踪单元144分析的深度分辨图像。
实时数据投影单元116可以包括用于投影图像的任何合适的装置并且可以包括用于聚焦该图像的任何合适的光学器件(未描绘出)。例如，实时数据投影单元116可以包括抬头显示器、一维显示阵列、二维显示阵列、屏幕、投影仪装置或全息显示器中的一者。
实时数据投影单元116可以经由位于手术显微镜100的光路中的光束分离器130而集成到手术显微镜100中。光束分离器130可以包括光学元件，该光学元件被配置用于将由实时数据投影单元116产生的投影图像朝向一个或多个目镜104反射，而基本上不干扰从患者眼睛102反射的可见光。
在某些实施例中，手术显微镜100可以附加地或替代性地包括基于探针的OCT系统134。基于探针的OCT系统134可以与上文关于OCT系统114所述的基本上相同的方式产生OCT图像136，不同的是，可以在患者眼睛102内使用可插入患者眼睛102中的探针138来引导由基于探针的OCT系统134产生的OCT成像光束。在包括OCT系统114和基于探针的OCT系统134两者的实施例中，手术显微镜100此外可以包括来源选择单元140。来源选择单元140可以包括任何合适的切换装置，该切换装置允许选择(由OCT系统114产生的)OCT图像128或者(由基于探针的OCT系统134产生的)OCT图像136，以便传达至实时数据投影单元116或显示器132。作为结果，外科医生可以选择在手术过程中使用哪个OCT成像系统来成像。
在某些实施例中，手术器械146可以附加地或替代性地与OCT成像探针138集成在一起，或者包括附加的或替代性的OCT成像探针。例如，手术器械146可以与基于探针的OCT系统134通信地联接。手术器械146可包括一根或多根光纤，这些光纤沿器械的长度朝向其远侧末端向下延伸，以传输和/或接收OCT成像光束或来自眼睛102的反射光。光纤可终止于远侧末端处或附近，以将成像光束传输到眼睛102中。手术器械146的此类光纤和其他部件可以被配置用于将OCT成像光束传输到眼睛102并将反射返回到光源/分析单元118。这样，可以使用手术器械146而非单独的OCT探针或光束扫描器将OCT成像光束引导至患者的眼睛102内。在此类实施例中，可以在不调节朝向器械的OCT光束的情况下确定手术器械146的远侧末端与眼睛102之间的距离；由于成像光束从手术器械的末端投影，因此不必调整外部OCT成像光束就可以在成像视野内涵盖眼组织和手术器械两者。在某些实施例中，手术器械146可以与深度成像探针集成或包括深度成像探针，而不是OCT成像探针。
由实时数据投影单元116投影的OCT图像(例如，OCT图像128和/或OCT图像136)可以显示为与由外科医生经由目镜104观察的可见结构对准的半透明覆盖图。在此类实施例中，在OCT图像与眼睛的实际结构之间的对准可以例如基于视网膜跟踪(以下进一步描述)、器械跟踪(以下进一步描述)、瞄准光束或其任何组合来实现。
在某些其他实施例中，由实时数据投影单元116投影的OCT图像可以被显示在外科医生的视野的拐角或者任何其他合适的位置中，其中这些图像基本上不损害外科医生透过目镜104观察眼睛102的能力。
尽管上文描述了实时数据投影单元116将OCT图像128和/或OCT图像136投影到手术显微镜100的光路中，使得它们可透过一个或多个目镜104进行观察，但是本披露内容设想的是，实时数据投影单元116可以附加地或替代性地根据特定需要将任何其他合适的信息(例如，从OCT数据、眼底图像、手术参数、手术模式、手术指示器等中提取和/或突出显示的信息)投影到手术显微镜100的光路中。
手术显微镜100此外可以包括成像单元142和跟踪单元144。跟踪单元144可以通信地联接(经由有线或无线通信)到OCT系统114、实时数据投影单元116和显示器132，以提供图像、指示器和其他数据而向系统操作员显示。如下文进一步详细描述的，OCT系统114、成像单元142和跟踪单元144可共同促进对手术器械146在患者眼睛102内的位置、深度、接近度和移动的跟踪。
成像单元142可以包括用于产生患者眼睛102的眼底图像148的任何合适的装置，并且可以包括用于执行该功能的合适的放大和聚焦光学器件(未描绘出)。作为简化的实例，被患者眼睛102反射的沿着手术显微镜100的光路的可见光或近红外光150可以经由反射镜152被引导朝向成像单元142，该反射镜沿着光路放置并且可操作以部分地反射此类光。在某个实施例中，眼底图像148可以是患者眼睛102的离散的静止影像。在其他实施例中，眼底图像148可以包括患者眼睛102的连续视频流。眼底图像148可以包括可由系统100的其他部件处理和修改的多个图像帧。示例性成像单元可以包括数码摄像机、线扫描眼底镜或共焦扫描眼底镜。
在所描绘的实施例中，因为在经由实时数据投影单元116将OCT图像引入光路中之前从光路采样可见光或近红外光150，所以产生的眼底图像148将不包含经投影的OCT图像(这对于下文描述的器械跟踪可能是有益的)。虽然成像单元142被描绘和描述为位于相对于手术显微镜100和OCT系统114的光学部件的特定定位处，但是本披露内容设想的是，成像单元142可以根据特定需要放置在相对于那些部件的任何合适的位置处。
手术显微镜100的跟踪单元144可操作以至少部分地基于由成像单元142产生的眼底图像148和由深度成像系统产生的深度分辨图像或三维图像来确定手术器械146在患者眼睛102内的位置/定位、深度、接近度和运动，所述深度成像系统诸如为OCT系统114、超声成像系统、多光谱成像系统、计算机轴向断层摄影(CAT)扫描系统、磁共振成像(MRI)系统或正电子发射断层摄影(PET)成像系统。
跟踪单元144可以包括硬件、固件和软件的任何合适的组合。在某些实施例中，跟踪单元144可包括处理器154和存储器156。处理器154可以包括一个或多个微处理器、现场可编程门阵列(FPGA)、控制器或任何其他合适的计算装置或资源。处理器154可以单独工作或与图1中描绘的其他部件一起工作以提供本文描述的功能性。存储器156可以采取易失存储器或非易失存储器的形式，包括但不限于磁性介质、光学介质、随机存取存储器(RAM)、只读存储器(ROM)、可移动介质或任何其他合适的存储器部件。存储器156可以存储程序和算法的指令，这些指令当由处理器154执行时实现跟踪单元144的功能性。
跟踪单元144可被编程以(或者可将软件存储在存储器156中，该软件当由处理器154执行时可操作以)分析眼底图像148从而确定和跟踪手术器械146的位置。例如，处理器154可以接收和处理或分析由成像单元142获取的图像148，并且可以基于经处理的图像来产生指示器和图像，以供实时数据投影单元116或显示器132显示。处理器154可以处理或分析多个图像以跟踪手术器械146的位置变化，以及修改指示器和图像以反映此类变化。跟踪单元144的存储器156可以存储预处理和/或后处理的图像数据。处理器154可基于眼底图像148来检测并计算手术器械146在术野中的位置和/或取向(或位置和取向的变化)。
另外，跟踪单元144可被编程以(或者可将软件存储在存储器156中，该软件当由处理器154执行时可操作以)确定远侧末端149的深度及其与眼睛102的特定组织的接近度。例如，处理器154可以接收由OCT系统114(或替代性深度成像系统)获取的三维或深度分辨成像数据，并且可以分析该数据以确定远侧末端149与眼睛102的视网膜之间的距离和/或接近度。基于所确定的距离，跟踪单元144可以产生指示器，以供实时数据投影单元116或显示器132显示，从而警告系统操作员关于远侧末端149与特定眼组织(诸如视网膜)的接近度。处理器154可以连续或重复地确定或计算与远侧末端149相关的位置、取向和距离/接近度数据，以跟踪远侧末端149并更新指示器，从而提供远侧末端144在显微镜图像中的定位的实时指示以及远侧末端144与眼睛146的视网膜之间的距离。处理器154还可以连续或重复地修改视觉指示器的特征(例如，尺寸、颜色)，该修改是递增的并且与远侧末端149和眼睛102的视网膜之间的距离变化成比例，以直观地传达远侧末端149的移动。跟踪单元144的存储器156可以存储预处理和/或后处理的深度成像数据。
此外，跟踪单元144可被编程以(或者可将软件存储在存储器156中，该软件当由处理器154执行时可操作以)产生待传达给OCT系统114的信号158，以便致使OCT系统114的光束扫描器120引导OCT成像光束122在患者眼睛102内的位置。例如，可以基于手术器械146在患者眼睛102内的所确定的位置来产生信号158，并且OCT系统114的光束扫描器120可以将OCT成像光束122引导至手术器械146的远侧末端149的附近位置。作为结果，可以在外科医生最感兴趣的区域中产生OCT图像128，并且跟踪单元144可以使用由OCT系统114产生的数据在整个手术中计算远侧末端149与视网膜之间的距离。而且，在OCT图像128在显微镜视野中被显示为半透明覆盖图的实施例中，对手术器械146的跟踪此外可以促进该覆盖图的正确定位。
又如，可以基于患者眼睛102的视网膜的所确定的位置(由跟踪单元144通过以类似于本文关于跟踪手术器械146所讨论的方式处理眼底图像148来确定)产生信号158，并且OCT系统114的光束扫描器120可以将OCT成像光束122引导至相对于视网膜的恒定位置。而且，在OCT图像128在显微镜视野中被显示为半透明覆盖图的实施例中，对视网膜的跟踪此外可以促进该覆盖图的正确定位。
尽管手术显微镜100被描绘和描述为包括通过固定的单通道而显示的OCT图像(即实时数据投影单元116联接至两个目镜104之一的光路)，但是本披露内容设想了其他实施例(如下文关于图7至图10所描述的)。
现在将根据某些实施例更详细地讨论跟踪单元144的功能性和操作。
跟踪单元144可以使用各种技术来确定和跟踪手术器械146在显微镜图像内的位置(例如，远侧末端149在显微镜图像内的X-Y定位)。在某些实施例中，手术器械146可具有附接或嵌入的感测装置。例如，手术器械146可以具有一个或多个陀螺仪、加速度计、重力传感器、线性加速度传感器、旋转矢量传感器、地磁场传感器或其他类型的传感器，以感测定位、位置或移动的变化。由此类传感器产生的数据可以被提供给跟踪单元144，该跟踪单元可以分析该数据以确定手术器械146的位置、定位和/或移动。
在某些实施例中，跟踪单元144可以使用基于图像的处理技术来确定和跟踪手术器械146的位置。例如，跟踪单元144可以将机器视觉或计算机视觉算法用于从成像单元142获取的图像，以确定和跟踪手术器械146的位置。跟踪单元144可以应用特征识别或提取技术和/或基于运动的对象跟踪和图像处理算法(例如，边缘检测、角点检测、斑点检测、斑点提取、脊检测、尺度不变的特征变换、运动检测、背景减除、帧差、光流、阈值处理、模板匹配、霍夫变换等)。附加地或替代性地，跟踪单元144可以使用基于区域的对象跟踪技术。
例如，跟踪单元144可以将特征识别或提取技术(例如，边缘检测、角点检测、斑点检测、斑点提取、脊检测、尺度不变的特征变换、运动检测、光流、阈值处理、模板匹配、霍夫变换)应用于深度分辨图像，以在由深度成像系统获得的图像数据内检测或分离远侧末端149和眼睛102的视网膜。跟踪单元144可以获得并存储眼睛102的参考图像，并且可以将在外科手术期间获得的图像与参考图像进行比较，以确定手术器械146的远侧末端的位置和移动及其与眼睛102的视网膜之间的距离。
根据某些实施例，跟踪单元144可被编程以使用基于特征的对象跟踪在从成像单元142接收的图像内提取和搜索手术器械146的独特特征(例如，轮廓、边缘、形状、颜色、角点/兴趣点等)，来确定和跟踪手术器械146的位置。在此类实施例中，跟踪单元144可以使用标记147来辅助对手术器械146的位置的确定和跟踪。如图2所示，手术器械146可包括定位在远侧部分144处或附近的标记147，该标记在可见光或红外光谱或者可由成像单元142检测到的其他光谱范围内具有高对比度特征。通过使用可与眼睛102的眼底中的颜色或图案区分的颜色或图案，可以获得高对比度。光源145(诸如内照明器或光纤照明器)可以发射成像光以照射眼睛102的眼底。下文将参考图6更详细地讨论标记147。
跟踪单元144还可以确定并跟踪手术器械146与眼睛102中的组织之间的距离和接近度。在某些实施例中，跟踪单元144从OCT成像系统114或能够确定组织和器械深度及定位的替代性深度成像系统接收深度分辨图像数据。跟踪单元144可以将基于图像的处理技术应用于此类图像数据，以便确定和/或提取与手术器械146和眼睛102中的组织相关的位置和定位数据。基于该分析，跟踪单元144可以计算手术器械146的各部分(例如，远侧末端149)与眼睛102中的组织(例如，视网膜)之间的距离。跟踪单元144可以通过实时地处理由深度成像系统获得的图像数据流来跟踪该距离的变化。跟踪单元144还可以存储图像分析数据，以便计算和跟踪手术器械146的位置和移动及其与眼睛102中的组织之间的距离的变化。
在某些实施例中，跟踪单元144从深度分辨成像系统诸如OCT系统114接收图像数据。跟踪单元144可以被配置用于分析深度分辨图像以标识图像中描绘的特征，诸如视网膜和/或手术工具。跟踪单元144可以记录深度图像数据并标识深度分辨图像中的标识特征的坐标。此类坐标可以使用计算机视觉或机器视觉算法(诸如边缘或斑点检测)进行数字化，并且可以用于计算图像内的特征之间的距离。
在某些实施例中，可以使用校准样本材料来形成在已知定位坐标内的位置处的参考标记的3-D阵列。可以获得深度分辨图像(例如，OCT图像)以建立参考标记的已知定位坐标与参考标记在所获得的深度分辨图像中的深度分辨图像之间的映射关系。该映射关系可以作为数字校准数据而存储，并且可用于计算深度分辨图像中的特征(例如，视网膜和手术工具的切割末端)之间的距离，并且用于控制深度分辨成像系统的成像光束。
在深度分辨成像探针与手术器械146分离的实施例中，深度分辨图像可描绘包括手术器械146和眼睛102的视网膜的特征。例如，跟踪单元144可以接收描绘眼睛102的视网膜和手术器械146的远侧末端的深度分辨图像(例如，A型扫描或B型扫描)。跟踪单元144可以基于所接收的深度图像的特征来确定眼睛102的视网膜与手术器械146的远侧末端之间的距离或接近度。例如，在此类图像中，眼睛102的视网膜和手术器械146的远侧末端可在图像内看上去间隔一定空间(假设它们不接触)。跟踪单元144可以基于眼睛102的视网膜与手术器械146的远侧末端之间在图像中的分离程度来确定它们之间的距离或接近度。例如，如上所讨论，可以使用数字化坐标。又如，跟踪单元144可以基于在深度分辨图像中将眼睛102的视网膜和手术器械146的远侧末端分离的像素的数量来确定距离或接近度，该深度分辨图像可具有固定的z深度分辨率。在具有固定z深度的深度分辨图像(诸如OCT图像)中，可以基于一个个对应于固定距离的像素来计算图像中的特征(例如，工具顶部和视网膜)之间的距离和/或接近度。跟踪单元144可标识和处理深度分辨图像中的像素计数以确定所成像的对象之间的距离。为了方便这种方法，跟踪单元144可以有利地使深度成像系统将深度成像光束引导至手术器械146附近的位置，如上所述。
在某些实施例中，跟踪单元144可以从至少部分地集成在手术器械146内的深度分辨成像探针接收图像数据。在一个实例中，手术器械146可包括集成的深度成像探针。手术器械146可包括一根或多根光纤，所述一根或多根光纤由深度成像系统(例如，OCT系统114)使用以传输成像光束、传输来自眼睛的反射光，并且产生眼睛102的深度分辨图像(例如，A型扫描或B型扫描)。此类深度分辨图像可描绘眼睛102的视网膜，而不描绘手术器械146(因为此类图像是从器械146末端的有利点获得的)。跟踪单元144可以基于所接收的深度图像的特征来确定眼睛102的视网膜与手术器械146的远侧末端之间的距离或接近度。例如，如上所讨论，可以使用数字化坐标，或者跟踪单元144可标识和处理深度分辨图像中的像素计数以确定所成像的对象之间的距离。在某些实施例中，跟踪单元144可基于图像边缘(或者对应于手术器械146的远侧末端的其他特征)与深度分辨图像中描绘的眼睛102的视网膜之间的像素来确定距离或接近度，该深度分辨图像可具有固定的z深度分辨率。如上所述，在具有固定z深度的深度分辨图像(诸如OCT图像)中，可以基于对应于固定距离的像素来计算图像中的特征(例如，工具和视网膜)之间的距离和/或接近度。在此类实施例中，可以连续地确定手术工具与眼组织的接近度，而无需主动地将成像光束引导朝向手术器械146。
跟踪单元144可以附加地或替代性地使用各种基于图像的处理技术(例如，机器视觉或计算机视觉算法、基于运动的对象跟踪算法、基于区域的对象跟踪技术和/或基于特征的对象跟踪)来分析深度分辨图像(例如，OCT图像)，并且确定和跟踪手术器械146与眼睛102中的组织之间的距离。例如，跟踪单元144可以将特征识别或提取技术(例如，边缘检测、角点检测、斑点检测、斑点提取、脊检测、尺度不变的特征变换、运动检测、光流、阈值处理、模板匹配、霍夫变换)应用于深度分辨图像，以在由深度成像系统获得的图像数据内检测或分离远侧末端149和眼睛102的视网膜。跟踪单元144可以获得并存储眼睛102的参考图像，并且可以将在外科手术期间获得的图像与参考图像进行比较，以确定手术器械146的远侧末端的位置和移动及其与眼睛102的视网膜之间的距离。
跟踪单元144可以产生指示器(例如，数字、形状、颜色、图形或符号，或其他图形元素)以供实时数据投影单元116或显示器132显示，从而标识远侧末端149的位置、取向和深度及其与视网膜的接近度。例如，跟踪单元144可以产生指示器(例如，点或箭头)并将指示器覆盖到显微镜图像中远侧末端149的定位处，从而突出显示其位置而不干扰外科医生观察周围组织。在某些实施例中，跟踪单元144将指示器作为远侧末端149在图像148中的所确定位置处的覆盖图而应用。在其他实施例中，指示器可以是位于显微镜图像中其他位置的覆盖图。处理器154可以跟踪远侧末端149的位置、取向和深度/接近度，以便提供实时更新的动态指示。因此，指示器可以通过提供远侧末端149与视网膜之间距离的准确、实时的指示(这可能难以从立体显微镜图像精确地辨别)来辅助外科医生。
跟踪单元144可以产生并传送指定指示器在图像中的定位的信号，以使实时数据投影单元116或显示器132将指示器投影或显示为显微镜图像上的覆盖图。跟踪单元144可替代性地产生包括指示器覆盖图的经修改的眼底图像，并且将经修改的图像传送到实时数据投影单元116或显示器132以呈现给用户。
在一些实例中，指示器的一个方面可以直接指示远侧末端149与视网膜之间的距离。例如，指示器可以是指定该距离的数值(例如，对于2.0mm为“2.0”，对于1.0mm为“1.0”，对于0.5mm为“0.5”)。在一些实例中，跟踪单元144可以产生具有间接指示远侧末端149与眼睛102的视网膜之间距离的特定特征(例如，尺寸、形状、颜色、闪烁速率、亮度、透明度、数量等)的指示器。另外，可以随着远侧末端149与眼睛102的视网膜之间的距离变化修改或调整指示器。在某些实施例中，递增地并且与该距离变化成比例地修改视觉指示器的特征(例如，尺寸、颜色)，以直观地传达远侧末端149的移动。
在某些实施例中，跟踪单元144可以将特定颜色与远侧末端149和视网膜之间的特定距离相关联。例如，跟踪单元144可以将绿色指示器与2mm或更大的距离，黄色指示器与1mm的距离，红色指示器与小于0.5mm的距离相关联。颜色方案可以是渐变的，使得指示器随着距离从2mm减小到0.5mm以中间色调从绿色过渡到黄色再到红色。颜色的递增变化可以与距离的递增变化成比例。
在某些实施例中，跟踪单元144可以将特定指示器尺寸与特定距离相关联，使得随着远侧末端149与眼睛102的视网膜之间的距离减小，所产生的指示器将逐渐变大或变小。例如，跟踪单元144可以产生作为远侧末端149上的三角形覆盖图的视觉指示器，该视觉指示器在远侧末端远离视网膜移动时变大，并在远侧末端接近视网膜时变小。跟踪单元144可将较小尺寸与远侧末端149的较大深度相关联，以在远侧末端接近视网膜时提供指示器正远离系统操作员移动的印象。尺寸的递增变化可以与距离的递增变化成比例。跟踪单元144还可以设置指示器尺寸的上限和下限，以避免妨碍外科医生观察周围组织或者避免指示器可能变得过小而无法清楚地看到的情况。
可以修改各种指示器特征以指示距离。在一些实例中，随着远侧末端149与眼睛102的视网膜之间的距离减小，跟踪单元144修改指示器以逐渐变亮、从透明过渡到不透明、开始闪烁、以增加的速率闪烁和/或改变形状或形式。例如，当远侧末端149与视网膜之间的距离小于预设阈值(诸如0.5mm)时，跟踪单元144可以使指示器闪烁。
一些实例可以利用指示器特征的组合来指示距离。例如，跟踪单元144可将最小指示器尺寸与距离阈值相关联(以避免进一步减小指示器的尺寸)，并且可以随着距离超出该阈值而修改指示器以变为不同颜色、变得更亮和/或闪烁。
可递增调节或连续可变的特征诸如尺寸、颜色、闪烁速率、亮度等有利地允许与距离的递增变化成比例地修改特征。以这种方式将指示器变化与距离相关联有利地为外科医生提供了在手术期间可以容易地监测的距离的直观指示和距离的变化。
某些实施例可以基于距离来修改指示器的定位或位置。例如，某些实施例可以提供仅在远侧末端149与视网膜之间的距离下降到阈值(例如，2mm)以下时出现的视觉指示器。又如，当眼睛102的组织和手术器械146被分开至少阈值距离时，某些实施例可以在第一位置显示视觉指示器(例如，在显微镜图像的外边缘附近)，并且当达到该阈值时，重新定位视觉指示器至第二位置(例如，在远侧末端149附近)。
在某些实施例中，指示器可以附加地或替代性地指示手术器械146的取向，例如指向角。例如，可将箭头用作指示器以指示手术器械146的指向方向。指示器还可以包括图像诸如眼睛102的视网膜区域的OCT图像，或者手术设置参数诸如玻璃体切除术探针的切割速度。
跟踪单元144的各种实施例可以允许用户配置指示器的外观、特征和行为。例如，用户可以为指示器配置特定尺寸和形状，并且可以配置如何修改指示器以指示距离。跟踪单元144的某些实施例包括用户接口以接收关于自定义设置的用户输入，这些自定义设置定义视觉指示器将被显示和修改的时间、位置和方式。在某些实施例中，用户可以经由踏板、开关、软键、控制台按钮、语音命令或其他输入机构来控制是否显示视觉指示器。视觉指示器还可以被配置用于基于计时器、手术器械146的特定移动或手术器械146和/或远侧末端149的定位或位置而出现。
图3和图4示出了根据某些实施例的视觉指示器。图3和图4在左侧示出了包括视网膜103的眼睛102。将手术器械146(这里是玻璃体切除术探针)和光源145插入眼睛102的后区。图3和图4进一步在右侧示出了经由目镜104(具有来自实时数据投影单元116的输入)和/或显示器132显示给系统操作员的对应显微镜图像。显微镜图像显示眼底105、手术器械146(它可以包括标记147，未示出)以及由跟踪单元144产生的指示器300。如图3和图4的实施例中所示，指示器300表现为叠加在手术器械146的远侧末端149处的覆盖图。指示器300可以表现为完全叠加在远侧末端149上的覆盖图(使得指示器的任何部分都不在由远侧末端149的边缘形成的边界以外)，以便不阻挡外科医生观察眼底105。根据某些实施例，指示器300可以替代性地表现为部分地覆盖远侧末端149或者在远侧末端149附近而不覆盖它的指示器。随着手术器械146在眼睛102内移动，跟踪单元144跟踪远侧末端149并将指示器300保持为远侧末端149上或附近的覆盖图。另外，指示器300的特征被示出为递增地并且(尽管未按比例绘制)和远侧末端149与视网膜103之间的距离变化成比例地进行修改。
在图3的实施例中，指示器300随着远侧末端149接近视网膜103而变大。在图3A中，手术器械146的远侧末端149与视网膜103分开相对大的距离。因此，跟踪单元144产生供显示的相对大的指示器300(这里是三角形)，它在右侧所示的显微镜图像中覆盖远侧末端149。在图3B中，远侧末端149与视网膜103之间的距离减小，并且在图3C中，该距离甚至进一步减小。随着远侧末端149接近视网膜103，跟踪单元144减小指示器300的尺寸以传达远侧末端149正在越来越靠近视网膜103(和/或远离成像单元或系统操作员)。这样，可以与远侧末端149和视网膜103之间的距离变化成比例地增加或减小视觉指示器300的尺寸。由于跟踪单元144以小的增量连续地(或频繁地)调整视觉指示器300的尺寸，因此它可以向外科医生提供远侧末端149的深度及其与视网膜103的距离的直观、实时的指示。因此，在该实例中，响应于远侧末端149与视网膜103之间的距离变化，修改视觉指示器的特征(在该实例中为尺寸)。该实例进一步示出了可以如何修改指示器300以跟踪远侧末端149在显微镜图像内的移动。也就是说，即使当远侧末端149在显微镜图像内移动时，指示器300也保持为覆盖图。
图4示出了在某些实施例中可以如何使用附加的特征和指示器。同图3一样，图4示出了随着远侧末端149接近图4B和图4C中的视网膜103，指示器300(这里为圆形)变得相对较小，并且即使当远侧末端149在图右侧的显微镜图像内移动时，指示器300仍保持为覆盖图。
另外，图4的指示器300根据由跟踪单元144计算的距离而改变透明度。在图4A中，在手术器械146的远侧末端149与视网膜103的距离相对较大的情况下，指示器300看起来几乎是透明的。在图4B中，随着该距离减小，指示器300是半透明的。并且如图4C中所示，当该距离下降到预定阈值距离(例如，0.5m)以下时指示器300变得不透明并且开始闪烁。随着距离减小，指示器300还可以变得更亮(或更密集)，使得它从图4A中的低亮度过渡到图4B中的中等亮度，再到图4C中的最大亮度。因此，可以与远侧末端149和视网膜103之间的距离变化成比例地改变视觉指示器300的各种特征，以提供远侧末端149的深度的直观指示。
图4的显微镜图像还描绘了第二指示器302，它是远侧末端149与视网膜103之间的所确定的距离的数值(这里以毫米为单位)。第二指示器302在这里被示为定位于远侧末端149附近的覆盖图，但是在其他实施例中它可以定位于显微镜视图内的其他位置。
图4另外描绘了第三指示器304，它包括围绕显微镜视图的外边缘的有色环。在该实例中，指示器304根据所确定的距离改变颜色，从绿色过渡到黄色再到红色，分别如图4A、图4B和图4C所示。指示器304可以以与指示器300相同的方式改变特征以指示接近度和/或距离(例如，改变亮度、透明度、闪烁速率等)。
应当理解，上文讨论的实例是非限制性的，并且本披露内容设想的是，指示器300可以采用任何合适的形式并且具有任何合适的特征以指示远侧末端149的定位、取向和深度，或者其与视网膜的距离或接近度。
图5是示出根据某些实施例的用于确定、跟踪和指示手术器械146的深度和位置的方法500的流程图。跟踪单元144的某些实例包括处理器，该处理器被配置用于(或者可将软件存储在存储器中，该软件当由处理器执行时可操作以)执行方法500的步骤。
在步骤502，跟踪单元144接收眼底的图像。例如，跟踪单元144可接收由成像单元142捕获的一个或多个照片或视频帧。
在步骤504，跟踪单元144可以对接收的图像执行对比度和特征增强处理。例如，跟踪单元144可以接收红绿蓝(RGB)格式的图像。跟踪单元144可以将RGB格式图像转换为色相-饱和度-明度(HSV)空间。
在步骤506，跟踪单元144可以确定图像中的标记(例如，标记147)的一阶估计掩模。例如，基于标记147的预定颜色，跟踪单元144可以将标准应用于HSV图像的色相和饱和度通道以将标记147与背景分离，从而显现并估计标记147的图像。
在步骤508，跟踪单元144可以从眼底图像提取标记147的图像并标识标记的定位。例如，跟踪单元144可以利用斑点检测过程通过搜索图像帧中的近似恒定属性的区域，以检测图像148中的标记147的边界。因此，跟踪单元144可以找到标记147的边界并从图像帧中提取该标记以确定其在图像中的定位。
在步骤510，跟踪单元144可分析从图像帧提取的标记147的形状和取向，并且可以基于预定的图案或颜色(例如，条纹的位置和方向)来确定标记的取向。例如，如果标记147具有条纹，则跟踪单元144可以基于条纹的取向和方向来确定标记147的取向。
在步骤512，跟踪单元144可确定手术器械146的远侧末端149在图像帧内的定位和取向。在特定实施例中，跟踪单元144可基于标记147的位置和取向确定结果(在先前步骤中描述)来确定远侧末端149在图像中的位置和取向。为了便于这样的确定，标记147可以定位在距远侧末端149的预定距离处，并且可以具有指示手术器械146的指向方向的图案(例如，条带、条纹或箭头)。因此，基于标记147的定位和图案，跟踪单元144可以确定远侧末端149的定位和手术器械146的指向方向或取向。
在步骤514，跟踪单元144从产生眼睛102的深度分辨图像的成像系统接收图像数据。此类图像可以包括手术器械146(如果通过器械外部的成像探针获得)，或者可以使用手术器械146本身获得(例如，经由延伸到器械146的末端的一根或多根光纤)。在某些实施例中，跟踪单元144从OCT系统114接收图像数据。在其他实施例中，跟踪单元144可以从提供深度分辨或三维图像数据的替代性系统诸如超声成像系统、多光谱成像系统、计算机轴向断层摄影(CAT)扫描系统、磁共振成像(MRI)系统、正电子发射断层摄影(PET)成像系统或其他成像系统接收图像数据。跟踪单元144可分析所接收的图像数据以标识远侧末端149的深度及其与眼睛102的视网膜之间的距离或接近度。
在步骤516，跟踪单元144分析所接收的图像数据以确定远侧末端149的深度及其与眼睛102的视网膜的接近度。跟踪单元144可处理在步骤514接收到的图像(或者与图像相关或从图像中提取的数据)，以计算手术器械146的一部分(例如，远侧末端149)与眼睛102中的组织(例如，视网膜)之间的距离。例如，跟踪单元144可以记录深度图像数据并标识深度分辨图像中的标识特征的坐标。此类坐标可以使用计算机视觉或机器视觉算法(诸如边缘或斑点检测)进行数字化，并且可以用于计算图像内的特征之间的距离。
在某些实施例中，跟踪单元144可以基于所接收的深度图像的特征来确定眼睛102的视网膜与远侧末端149之间的距离或接近度。跟踪单元144可以基于眼睛102的视网膜与远侧末端149之间在图像中的分离程度来确定它们之间的距离或接近度。在某些实施例中，跟踪单元144可基于在OCT图像中将眼睛102的视网膜和远侧末端149分离的像素的数量来确定距离或接近度，该OCT图像可具有固定的z深度分辨率。在某些实施例中，跟踪单元144可基于图像边缘(或对应于远侧末端149的其他特征)与OCT图像中描绘的眼睛102的视网膜之间的像素来确定距离或接近度。
在步骤518，跟踪单元144产生指示器，以作为显微镜图像内的远侧末端149上的覆盖图显示。跟踪单元144的某些实施例可以基于所确定的手术器械146的位置、深度和取向产生一个或多个视觉指示器，并将指示器覆盖到显微镜图像中用于手术引导。例如，基于步骤512和516的确定结果，跟踪单元144可产生指示器，以供实时数据投影单元116或显示器132显示，从而警告系统操作员远侧末端149与特定眼组织(诸如视网膜)的接近度。如上所述，指示器的特征可指示远侧末端149与眼睛102的视网膜之间的接近度或距离。跟踪单元144可将指示器作为图像148中的远侧末端149的所确定位置处的覆盖图而应用。这样，当远侧末端149接近眼睛102的视网膜时，指示器可以警告系统操作员。
跟踪单元144可针对从成像单元142接收的多个眼底图像148执行方法500，以实时跟踪远侧末端149的定位和取向，以及远侧末端149与眼睛102的视网膜之间的距离。因此，实时数据投影单元116和显示器132可将产生的一个或多个指示器投影或显示为眼底的实时视频中的覆盖图，以跟踪远侧末端149的定位和移动及其与眼睛102的视网膜的接近度。
图6示出了标记147的各种实例。标记147可具有被构造用于环绕手术器械146的远侧部分143的环状、带状形状。标记147可具有内表面602和外表面604。内表面602可具有粘合剂并且可被构造用于粘附或粘结到手术器械146的外表面。远侧部分143的外表面可具有被构造用于容纳环状、带状形状标记147的周向沟槽。因此，标记147可以牢固地配合在周向沟槽中。外表面604可以具有被构造用于将标记147与眼底图像中的其他要素区分开的颜色或图案。
一个或多个标记147可以用于手术器械146。标记147可以由生物相容材料和/或合成材料诸如无菌塑料形成。在一些实施例中，标记147可以是内接在手术器械146的远侧部分143的外表面上的涂料层。标记147可彼此重叠或者是分开的。标记147可具有一种或多种不出现在典型眼底图像中的高对比度颜色，诸如绿色。因此，绿色标记147可与眼底图像中的其他要素区分开。
标记147可具有各种颜色、纹理或特殊对比度特征。标记147可包括可以标识器械146的取向和角度的图案。例如，如图6所示，标记147a可具有纯色高对比度颜色。当环状、带状形状标记147a被切开时，标记147a可以是纯色的带。在另一个实例中，标记147b可具有可将标记147b与背景眼底图像区分开的纹理图案。示例性标记147c可包括被配置用于反射或发射红外光的红外颜色。也可以使用具有各种光谱吸收/发射的标记114。
标记114可以包括字母、数字、条形码、图案、符号或图片。示例性标记147d可包括字母。如图6所示，假设标记147d围绕器械146的远侧部分143环绕360度，字母“A”可以位于零度定位附近，而字母“E”可以位于360度定位附近。字母15“B”、“C”和“D”可以位于“A”与“E”之间的相应定位处。因此，基于字母的取向，可以确定标记147d的旋转定位并且间接地确定手术器械146的旋转定位。示例性标记147e可包括数字“1”至“5”。类似地，这些数字可以指示手术器械146的旋转定位。此外，这些字母或数字的取向还可以指示手术器械146的倾斜角度。例如，这些数字或字母可以相对于远侧末端149取向，使得数字或字母的底部朝向远侧末端149。因此，基于数字或字母的取向，可以确定远侧末端149的倾斜角度。
示例性标记147f可包括条形码或条纹。条纹的方向可以指示手术器械146的倾斜角度。此外，条纹的数量可以改变以指示标记147f的旋转定位，并且间接地指示手术器械146的旋转定位。标记147g具有各种点图案。点数可以指示标记147f的旋转定位，并且点的对准可以指示标记147f的倾斜角度。也可在标记114上使用其他符号。例如，可以在标记114h和114i的不同旋转定位处使用各种符号诸如形状或非字符符号，以指示旋转定位。另外，图片可用于指示标记114j的旋转定位和倾斜定位。可以在标记114上使用可以指示手术器械146的取向和定位的其他图案或符号。
图7A至图7B示出了根据本披露内容的某些实施例的具有可切换的单通道数据注入的眼科手术显微镜100的实施例。为了简洁起见，虽然图7A至图7B没有描绘如图1中描绘的眼科手术显微镜100的某些部件，但是本披露内容设想的是包括这些部件，并且这些部件以与如上文关于图1所述基本上相同的方式起作用。
在图7A至图7B所描绘的实施例中，眼科手术显微镜100包括能够进行单通道数据注入的实时数据投影单元116(即，如图1所示，由实时数据投影单元116注入的图像仅能透过这两个目镜104之一观察)。然而，与图1中描绘的实施例不同，图7A至图7B中描绘的实施例提供了改变数据被注入到哪个通道(即，目镜104)的能力。更具体地，图7A描绘了一个实施例，其中实时数据投影单元116和光束分离器130中的一者或两者可以从一侧向另一侧平移，以改变注入数据的通道，而图7B描绘了一个实施例，其中实时数据投影单元116和光束分离器130的组件可围绕手术显微镜100的中点旋转，以改变注入数据的通道。作为结果，可以为外科医生提供选择使用哪只眼睛来观察注入数据的灵活性。
图8展示了根据本披露内容的某些实施例的具有双通道数据注入的眼科手术显微镜100的实施例。为了简洁起见，虽然图8没有描绘如图1中描绘的眼科手术显微镜100的某些部件，但是本披露内容设想的是包括这些部件，并且这些部件以与如上文关于图1所述基本上相同的方式起作用。
在图8所描绘的实施例中，手术显微镜100包括单个实时数据投影单元116和两个光束分离器130(130a和130b)，每个光束分离器与显微镜的对应通道相关联。光束分离器130a和130b可以被配置成使得由实时数据投影单元116投影的数据被复制并且可以经由两个目镜104观察。可以选择光束分离器130a和130b的反射率，使得可以透过每个目镜104观察的图像的亮度相同。而且，光束分离器可以是可移动的以便改变在外科医生视野内的移动。替代性地，可以通过在由实时数据投影单元116投影的图像的光路中放置光束偏转装置(例如，声光偏转器)来实现外科医生视野内的移动。
图9展示了根据本披露内容的某些实施例的具有双通道数据注入的眼科手术显微镜100的替代性实施例。为了简洁起见，虽然图9没有描绘如图1中描绘的眼科手术显微镜100的某些部件，但是本披露内容设想的是包括这些部件，并且这些部件以与如上文关于图1所述基本上相同的方式起作用。
在图9的实施例中，包括两个实时数据投影单元116(116a和116b)。每个实时数据投影单元投影图像，该图像由对应的光束分离器130联接到手术显微镜的光路中。因为每个实时数据投影单元可以注入唯一图像，所以图4的实施例可以促进3-D感知。更具体地，每个实时数据投影单元116可以用略微不同的视角投影相同的图像，以便在透过目镜104观察时提供3-D感知。
图10A至图10C示出了根据本披露内容的某些实施例的具有带3-D感知的双通道数据注入的眼科手术显微镜100的实施例。为了简洁起见，虽然图10A至图10C没有描绘如图1中描绘的眼科手术显微镜100的某些部件，但是本披露内容设想的是包括这些部件，并且这些部件以与上文关于图1所述基本上相同的方式起作用。
在图10A至图10C中描绘的实施例中，使用一个实时数据投影单元116而不是两个(如在上文关于图4所述的实施例中)来促进3-D感知。在图10A中描绘的实施例中，单个实时数据投影单元116投影并排图像，这些图像可以略微不同以提供3-D感知(如上所述)。所投影的并排图像可以被光束分离器500分离并且通过光束分离器130a和130b投影到各个目镜104中。在某些实施例中，滤光器502a和502b也可以被放置在所投影的图像的光路中以便进一步促进3-D感知。
在图10B中描绘的实施例中，实时数据投影单元116可以投影颜色编码图像(诸如立体图中的红色和青色编码图像)，并且颜色编码图像可以穿过光束分离器504a和504b以便被引导朝向手术显微镜100的两个通道。滤光器506a和506b可以被放置在每个通道的图像的光路中以便分离颜色编码信息。例如，滤光器506a(如红色滤光器)可以被插入左通道，并且滤光器506b(如青色滤光器)可以被添加至右通道，以便分离所投影的图像中的红色/青色信息。通过适当地校准所投影的图像，可以提供3-D感知而不需要外科医生佩戴额外的眼镜或光学装置。
在图10C中描绘的实施例中，实时数据显示单元116可以是偏振显示器/投影仪(诸如偏振调制投影仪)并且可以投影偏振编码图像。所投影的偏振编码图像可以穿过偏振光束分离器508a和508b以在这两个通道之间划分。例如，p偏振图像可以被分到一只眼睛(标记为510a)，而s偏振图像将被分到另一只眼睛(标记为510b)。附加地或替代性地，通过将波片512a和512b插入这两个通道中，左旋圆偏振图像可以被分到一只眼睛，而右旋圆偏振图像可以被分到另一只眼睛。通过适当地校准所投影的图像，可以提供3-D感知而不需要外科医生佩戴额外的眼镜或光学装置。
将认识到，各种以上披露的和其他的特征和功能、及其替代方案可以按期望组合到许多其他不同的系统或应用中。还将认识到，其中的各种目前未预见或未预料到的替代方案、修改、变化或改进可以后续由本领域的技术人员做出，所述替代方案、变化和改进也旨在被所附权利要求涵盖。

Claims (19)

1.一种眼科手术系统，包括：
成像单元，所述成像单元被配置用于产生眼睛的眼底图像；
深度成像系统，所述深度成像系统被配置用于产生所述眼睛的深度分辨图像；
跟踪系统，用于跟踪手术器械的位置、深度、接近度和移动，并且所述跟踪系统通信地联接到所述成像单元和深度成像系统，所述跟踪系统包括处理器和存储器，所述处理器和存储器被配置用于：
分析由所述成像单元产生的所述眼底图像，以确定手术器械的远侧末端在所述眼底图像中的位置；
分析由所述深度成像系统产生的所述深度分辨图像，以确定所述手术器械的所述远侧末端与所述眼睛的视网膜之间在深度方向上的距离；
产生视觉指示器以覆盖所述眼底图像的一部分，所述视觉指示器指示所述远侧末端与视网膜之间在深度方向上的所确定的距离，所述视觉指示器在所述手术器械移动时保持在所述远侧末端上；
修改所述视觉指示器以实时跟踪所述远侧末端在所述眼底图像内的位置的变化；以及
修改所述视觉指示器的亮度或透明度以实时指示所述手术器械的所述远侧末端与视网膜之间在深度方向上的距离的变化，其中随着所述手术器械的所述远侧末端与所述视网膜之间的所述距离减小，所述亮度增加或所述透明度减小。
2.如权利要求1所述的眼科手术系统，其中：
所述跟踪系统的所述处理器和存储器被进一步配置用于基于所述深度分辨图像中的图像像素分析来确定所述手术器械的所述远侧末端与所述眼睛的视网膜之间在深度方向上的距离。
3.如权利要求1或2所述的眼科手术系统，其中：
所述深度成像系统被配置用于基于由与所述手术器械成一体的成像探针接收的信号来产生所述眼睛的深度分辨图像。
4.如权利要求1或2所述的眼科手术系统，其中所述跟踪系统的所述处理器和存储器被配置用于通过以下方式修改所述视觉指示器以指示所述手术器械的所述远侧末端与视网膜之间在深度方向上的距离的变化：与所述手术器械的所述远侧末端和视网膜之间在深度方向上的距离的变化成比例地增加或减小所述视觉指示器的尺寸。
5.如权利要求1或2所述的眼科手术系统，其中所述跟踪系统的所述处理器和存储器被配置用于通过修改所述视觉指示器的颜色来修改所述视觉指示器，以指示所述手术器械的所述远侧末端与视网膜之间在深度方向上的距离的变化。
6.如权利要求1或2所述的眼科手术系统，其中：
所述深度成像系统是被配置用于产生所述眼睛的光学相干断层扫描OCT图像的OCT系统，所述OCT系统包括：
OCT光源，所述光源可操作用于产生OCT成像光束；以及
光束扫描器，所述光束扫描器可操作用于引导所述OCT成像光束；并且
所述跟踪系统被配置用于分析所述OCT图像，以确定所述手术器械的所述远侧末端与所述眼睛的视网膜之间在深度方向上的距离。
7.如权利要求6所述的眼科手术系统，其中所述跟踪系统的所述处理器和存储器被进一步配置用于使得所述光束扫描器基于所述手术器械的所述远侧末端在所述眼底图像内的所确定的位置，将所述OCT成像光束引导至所述眼睛的包括所述手术器械的所述远侧末端的特定区域。
8.如权利要求6所述的眼科手术系统，其中所述手术器械包括被配置用于传输所述OCT成像光束的第一光纤、以及被配置用于传输由所述眼睛反射的光的第二光纤。
9.如权利要求1或2所述的眼科手术系统，其中所述跟踪系统的所述处理器和存储器被配置用于通过以下方式确定所述手术器械的所述远侧末端在所述眼底图像中的位置：
产生所述眼底图像的增强图像；
估计所述增强图像内的标记图像；
从所述增强图像中提取所述标记图像；以及
从所述标记的图像确定所述标记的位置。
10.如权利要求1或2所述的眼科手术系统，其中所述视觉指示器和眼底图像显示在目镜中或抬头屏幕上。
11.如权利要求1或2所述的眼科手术系统，其中所述视觉指示器可由用户配置。
12.如权利要求1或2所述的眼科手术系统，其中所述成像单元包括如在共焦扫描眼底镜中使用的手术显微镜、二维相机、线扫描相机和单个检测器中的至少一种。
13.一种用于眼科手术系统的可视化方法，包括：
产生眼睛的眼底图像；
产生所述眼睛的深度分辨图像；
分析所述眼底图像以确定手术器械的远侧末端在所述眼底图像中的位置；
分析所述深度分辨图像以确定所述手术器械的所述远侧末端与所述眼睛的视网膜之间在深度方向上的距离；
产生视觉指示器以覆盖所述眼底图像内的所述手术器械的所述远侧末端，所述视觉指示器指示所述远侧末端与视网膜之间在深度方向上的所确定的距离，所述视觉指示器在所述手术器械移动时保持在所述远侧末端上；
修改所述视觉指示器以实时跟踪所述远侧末端在所述眼底图像内的位置的变化；以及
修改所述视觉指示器的亮度或透明度以实时指示所述手术器械的所述远侧末端与视网膜之间在深度方向上的距离的变化，其中随着所述手术器械的所述远侧末端与所述视网膜之间的所述距离减小，所述亮度增加或所述透明度减小。
14.如权利要求13所述的方法，其中修改所述视觉指示器以实时指示所述手术器械的所述远侧末端与视网膜之间在深度方向上的距离的变化包括：与所述手术器械的所述远侧末端和视网膜之间在深度方向上的距离的变化成比例地增加或减小所述视觉指示器的尺寸。
15.如权利要求13或14所述的方法，其中修改所述视觉指示器以实时指示所述手术器械的所述远侧末端与视网膜之间在深度方向上的距离的变化包括修改所述视觉指示器的颜色。
16.如权利要求13或14所述的方法，还包括：基于所述手术器械的所述远侧末端在所述眼底图像内的所确定的位置，将成像系统的成像光束引导至所述眼睛的包括所述手术器械的所述远侧末端的特定区域。
17.如权利要求13或14所述的方法，其中分析所述眼底图像以确定手术器械的远侧末端在所述眼底图像中的位置包括：
产生所述眼底图像的增强图像；
估计所述增强图像内的标记图像；
从所述增强图像中提取所述标记图像；以及
从所述标记的图像确定所述标记的位置。
18.如权利要求13或14所述的方法，还包括：在目镜中或在抬头屏幕上显示所述视觉指示器。
19.如权利要求13或14所述的方法，还包括：接收与一种类型的视觉指示器有关的用户输入。
CN201780013764.6A 2016-03-31 2017-03-28 用于眼科手术的可视化系统 Active CN108697319B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/087,585 US11071449B2 (en) 2016-03-31 2016-03-31 Visualization system for ophthalmic surgery
US15/087,585 2016-03-31
PCT/IB2017/051775 WO2017168328A1 (en) 2016-03-31 2017-03-28 Visualization system for ophthalmic surgery

Publications (2)

Publication Number Publication Date
CN108697319A CN108697319A (zh) 2018-10-23
CN108697319B true CN108697319B (zh) 2022-03-04

Family

ID=58464614

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780013764.6A Active CN108697319B (zh) 2016-03-31 2017-03-28 用于眼科手术的可视化系统

Country Status (7)

Country Link
US (1) US11071449B2 (zh)
EP (1) EP3435838A1 (zh)
JP (1) JP6927991B2 (zh)
CN (1) CN108697319B (zh)
AU (1) AU2017243802B2 (zh)
CA (1) CA3013283A1 (zh)
WO (1) WO2017168328A1 (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015066532A1 (en) 2013-11-01 2015-05-07 Daniel Brady Two-part accommodating intraocular lens device
US10004596B2 (en) 2014-07-31 2018-06-26 Lensgen, Inc. Accommodating intraocular lens device
WO2017096087A1 (en) 2015-12-01 2017-06-08 Daniel Brady Accommodating intraocular lens device
DE102017108193A1 (de) * 2017-04-18 2018-10-18 Rowiak Gmbh OCT-Bilderfassungvorrichtung
WO2018216788A1 (ja) * 2017-05-25 2018-11-29 株式会社トプコン 眼科用顕微鏡及び機能拡張ユニット
US20180360655A1 (en) * 2017-06-16 2018-12-20 Michael S. Berlin Methods and systems for oct guided glaucoma surgery
US20190117459A1 (en) * 2017-06-16 2019-04-25 Michael S. Berlin Methods and Systems for OCT Guided Glaucoma Surgery
JP2020535890A (ja) * 2017-10-06 2020-12-10 アルコン インコーポレイティド 追跡範囲内における目の動きの追跡
WO2019077431A2 (en) 2017-10-16 2019-04-25 Novartis Ag OCT-ACTIVATED INJECTION FOR VITREO-RETINAL SURGERY
CA3074066A1 (en) * 2017-10-27 2019-05-02 Alcon Inc. Foot pedal controlled oct-display for vitreoretinal surgery
DE102017223006A1 (de) * 2017-12-18 2019-06-19 Geuder Ag Vorrichtung zum Einbringen eines Mediums in das menschliche oder tierische Auge
US11517474B2 (en) * 2017-12-19 2022-12-06 Alcon Inc. Methods and systems for eye illumination
JP2021508586A (ja) * 2018-01-02 2021-03-11 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． Ｏｓｓインターベンショナルデバイスのアニメーション位置表示
JP7134656B2 (ja) * 2018-03-15 2022-09-12 ソニー・オリンパスメディカルソリューションズ株式会社 医療用表示制御装置、および表示制御方法
JP7070992B2 (ja) * 2018-03-20 2022-05-18 ｉ－ＰＲＯ株式会社 眼科手術装置および眼科撮影装置
WO2019197993A1 (en) 2018-04-11 2019-10-17 Alcon Inc. Illuminating ophthalmic endoprobe
JP7164339B2 (ja) * 2018-07-11 2022-11-01 株式会社トプコン 光凝固装置
CN109893102B (zh) * 2019-01-15 2022-01-07 温州医科大学 一种黄斑区脉络膜毛细血管密度的分析算法
WO2020227210A1 (en) 2019-05-03 2020-11-12 Mark Lobanoff Near-infrared illumination for surgical procedure
CN110638527B (zh) * 2019-07-01 2021-06-01 中国科学院苏州生物医学工程技术研究所 基于光学相干层析增强现实的手术显微成像系统
DE102019123742B4 (de) 2019-09-04 2021-12-30 Carl Zeiss Meditec Ag Augenchirurgie-Operationssystem und computerimplementiertes Verfahren zum Bereitstellen der Lage wenigstens eines Trokarpunkts
US11607112B2 (en) * 2019-11-08 2023-03-21 Meditrina, Inc. Endoscope and method of use
JP2023505429A (ja) * 2019-12-13 2023-02-09 アルコン インコーポレイティド 角膜クロスリンキングのシステム及び方法
US20230107680A1 (en) * 2020-03-10 2023-04-06 Leica Microsystems Inc. Systems, Methods and Computer Program Products for Optimizing Optics of a Surgical Microscope Having an Integrated Imaging System
US11832883B2 (en) * 2020-04-23 2023-12-05 Johnson & Johnson Surgical Vision, Inc. Using real-time images for augmented-reality visualization of an ophthalmology surgical tool
CN111679421A (zh) * 2020-05-29 2020-09-18 江苏集萃微纳自动化系统与装备技术研究所有限公司 基于3d成像技术的智能显微操作系统
US20220122239A1 (en) * 2020-10-21 2022-04-21 Johnson & Johnson Surgical Vision, Inc. Visualizing an organ using multiple imaging modalities combined and displayed in virtual reality
CN112842252A (zh) * 2020-12-31 2021-05-28 北京理工大学 空间自定位的眼科光学相干层析成像系统
JP2024507470A (ja) * 2021-02-22 2024-02-20 アルコン インコーポレイティド デジタル画像相関を通した網膜牽引の追跡
DE102021202626A1 (de) 2021-03-18 2022-09-22 Carl Zeiss Meditec Ag Vorrichtung zur OCT-basierten Bildgebung, Mikroskopiesystem und Verfahren zum Betrieb eines Mikroskopiesystems
CN113703151B (zh) * 2021-08-25 2024-02-02 中国人民解放军总医院第三医学中心 一种低照度可调焦间接检眼镜
EP4311475A1 (en) * 2022-07-25 2024-01-31 Ellex Medical Pty. Ltd. Device and method for determining location of an object of interest within an eye of a patient, and ophthalmic apparatus
CN115554020B (zh) * 2022-09-02 2023-05-16 重庆贝奥新视野医疗设备有限公司 一种眼科手术三维导航系统及实现方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120101040A (ko) * 2009-10-30 2012-09-12 더 존스 홉킨스 유니버시티 외과 수술 시 임상적으로 중요한 해부상의 랜드마크에 대한 시각 추적 및 주석 달기
CN103156573A (zh) * 2011-12-08 2013-06-19 徕卡显微系统(瑞士)股份公司 用于眼科的手术显微镜系统及其检测单元
CN104334072A (zh) * 2012-04-05 2015-02-04 拜奥普蒂根公司 使用光学相干层析成像的外科显微镜以及有关系统和方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9867669B2 (en) 2008-12-31 2018-01-16 Intuitive Surgical Operations, Inc. Configuration marker design and detection for instrument tracking
US8512236B2 (en) 2008-01-11 2013-08-20 Oraya Therapeutics, Inc. System and method for positioning and stabilizing an eye
US8363783B2 (en) * 2007-06-04 2013-01-29 Oraya Therapeutics, Inc. Method and device for ocular alignment and coupling of ocular structures
US8265364B2 (en) 2010-02-05 2012-09-11 Alcon Lensx, Inc. Gradient search integrated with local imaging in laser surgical systems
US9532708B2 (en) 2010-09-17 2017-01-03 Alcon Lensx, Inc. Electronically controlled fixation light for ophthalmic imaging systems
US20120184846A1 (en) * 2011-01-19 2012-07-19 Duke University Imaging and visualization systems, instruments, and methods using optical coherence tomography
JP2014510557A (ja) 2011-01-25 2014-05-01 ノバルティス アーゲー 動作の撮像および取込みを医療で使用するためのシステムおよび方法
WO2014121268A1 (en) * 2013-02-04 2014-08-07 The Cleveland Clinic Foundation Instrument depth tracking for oct-guided procedures
JP6191194B2 (ja) 2013-03-28 2017-09-06 株式会社ニデック 光断層像撮影装置
US9597009B2 (en) * 2013-12-19 2017-03-21 Novartis Ag Marker-based tool tracking
US10188467B2 (en) * 2014-12-12 2019-01-29 Inneroptic Technology, Inc. Surgical guidance intersection display
US9579017B2 (en) 2015-06-15 2017-02-28 Novartis Ag Tracking system for surgical optical coherence tomography

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120101040A (ko) * 2009-10-30 2012-09-12 더 존스 홉킨스 유니버시티 외과 수술 시 임상적으로 중요한 해부상의 랜드마크에 대한 시각 추적 및 주석 달기
CN103156573A (zh) * 2011-12-08 2013-06-19 徕卡显微系统(瑞士)股份公司 用于眼科的手术显微镜系统及其检测单元
CN104334072A (zh) * 2012-04-05 2015-02-04 拜奥普蒂根公司 使用光学相干层析成像的外科显微镜以及有关系统和方法

Also Published As

Publication number Publication date
AU2017243802A1 (en) 2018-08-16
US11071449B2 (en) 2021-07-27
CN108697319A (zh) 2018-10-23
AU2017243802B2 (en) 2022-03-10
JP6927991B2 (ja) 2021-09-01
US20170280989A1 (en) 2017-10-05
WO2017168328A1 (en) 2017-10-05
EP3435838A1 (en) 2019-02-06
CA3013283A1 (en) 2017-10-05
JP2019511273A (ja) 2019-04-25

Similar Documents

Publication Publication Date Title
CN108697319B (zh) 用于眼科手术的可视化系统
US11185225B2 (en) Surgical microscope with integrated optical coherence tomography and display systems
EP3554337B1 (en) Adaptive image registration for ophthalmic surgery
EP3082569B1 (en) Marker-based tool tracking
CN108289607B (zh) 眼科可视化中用于光学相干断层成像术的位置指示符
US10973585B2 (en) Systems and methods for tracking the orientation of surgical tools
JP5289962B2 (ja) 視力矯正支援システム
US11931292B2 (en) System and method for improved electronic assisted medical procedures
CN111163684B (zh) 眼科设备
US10779729B2 (en) Ophthalmic apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200521

Address after: Fribourg

Applicant after: ALCON, Inc.

Address before: Basel

Applicant before: NOVARTIS AG

GR01 Patent grant
GR01 Patent grant