CN117425425A - 显微手术期间的暖白光照明及数字图像的数字图像处理 - Google Patents

显微手术期间的暖白光照明及数字图像的数字图像处理 Download PDF

Info

Publication number
CN117425425A
CN117425425A CN202280040197.4A CN202280040197A CN117425425A CN 117425425 A CN117425425 A CN 117425425A CN 202280040197 A CN202280040197 A CN 202280040197A CN 117425425 A CN117425425 A CN 117425425A
Authority
CN
China
Prior art keywords
pixel region
processor
eye
digital
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280040197.4A
Other languages
English (en)
Inventor
G·梅耶斯
A·弗莱德曼
M·瑞米瑞兹卢纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alcon Inc
Original Assignee
Alcon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alcon Inc filed Critical Alcon Inc
Publication of CN117425425A publication Critical patent/CN117425425A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/13—Ophthalmic microscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0008—Apparatus for testing the eyes; Instruments for examining the eyes provided with illuminating means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A61B3/145—Arrangements specially adapted for eye photography by video means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0012—Surgical microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)
  • Image Processing (AREA)
  • Endoscopes (AREA)
  • Pyrane Compounds (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

一种用于在例如眼睛手术的显微手术期间增强数字图像的方法，所述方法包括在用暖白光照射目标解剖结构时使用数字相机来收集目标解剖结构的数字图像。该方法包括经由与数字相机通信的处理器识别显微手术的预定阶段。在这些图像内，该处理器将例如瞳孔像素区域的第一像素区域与例如虹膜像素区域的第二像素区域数字隔离，并调整这些像素区域的组成像素的特性。可能作为指令记录在计算机可读介质中的该方法可以用于在眼睛手术的预定阶段增强红色反射。一种系统包括相机、处理器和用于发射色温小于约4000°K的暖白光的照明源。

Description

显微手术期间的暖白光照明及数字图像的数字图像处理
技术领域
本公开总体上涉及用于在用暖白光照射人类患者的目标解剖结构时收集和处理目标解剖结构的数字图像的自动化方法和相关的基于硬件和软件系统的数字图像处理解决方案。
背景技术
现代显微手术涉及各种特定任务的精密手术工具的使用，外科医生在手术场景中操纵每种手术工具。手术场景和目标解剖结构的放大立体图像通常使用一个或多个高分辨率显示屏显示在手术室内。目标解剖结构放大图像的数字呈现使得主治临床医生在执行给定的手术任务时能够正确地可视化手术场景。
手术场景的可视化需要充足的任务照明。手术任务照明是任务特定的，其中照明设备可能包括安装有显微镜的照明源、头顶手术照明阵列、外科医生佩戴的头灯或者内照明器或光棒中的任何一个或全部。每个照明设备发射具有特定波长范围和对应色温的光。因此，任务照明之后通常会进行数字图像处理，以便经由手术室内所使用的显示屏和光学器件呈现目标解剖结构更真实的表示。
发明内容
本文公开了用于选择性地增强在显微手术期间使用暖白光照明实时收集的数字图像的方法及配套的系统和软件解决方案。由于最小化人眼暴露于蓝色波长光的益处，本文所描述的各种实施例均涉及眼睛手术，主要包括但不限于白内障手术、晶状体置换以及受益于眼睛自然红色反射检测和分析的其他手术。然而，本领域技术人员将会理解，寻求限制给定目标解剖结构的蓝光暴露的其他显微手术可以受益于所公开的解决方案。
在特定实施例中，一种用于在显微手术期间增强数字图像的方法包括在显微手术期间收集人类患者的目标解剖结构的数字图像。在用暖白光照射目标解剖结构时，这通过操作数字相机来实现。该实施例中的方法还包括经由与数字相机有线或无线通信的处理器来识别显微手术的预定阶段。在这些数字图像内，处理器的操作将第一像素区域与第二像素区域隔离(例如，在代表性眼睛手术中，将瞳孔像素区域与周围虹膜像素区域隔离)，然后调整包括该第一像素区域或第二像素区域的组成像素的特性。然后经由一个或多个显示屏呈现或显示具有经调整的特性的图像，即经调整的图像。
本文还公开了一种用于在上述眼睛手术期间增强数字图像的系统。该系统可以包括照明源(比如安装有显微镜的灯)、以及数字相机和上述处理器，其中处理器与数字相机和灯通信或集成在一起。照明源可操作用于将暖白光引导到目标眼睛上/中。数字相机可操作用于在用暖白光照射眼睛时收集目标眼睛的数字图像。
在系统的示例性配置中，在需要目标眼睛的增强红色反射时，处理器对眼睛手术的预定阶段进行检测。例如，白内障手术期间的非限制代表性手术阶段包括切口、晶状体植入和晶状体摘除。该实施例中的处理器例如使用数字相机和运动跟踪逻辑来跟踪目标眼睛的运动。在眼睛手术的预定阶段期间在目标眼睛的数字图像内，处理器将瞳孔像素区域与围绕瞳孔像素区域的虹膜像素区域数字隔离，并调整包括该瞳孔像素区域或该虹膜像素区域的组成像素的特性，从而生成经调整的图像。如本文所提供的经调整的图像具有增强的红色反射。处理器还可操作用于向至少一个显示屏输出视频显示控制信号，以使(多个)屏在眼睛手术的预定阶段期间显示经调整的图像。
本主题公开的另一个方面包括一种计算机可读介质，其上记录有用于在代表性眼睛手术期间增强红色反射的指令。在这种情况下，由处理器中某个处理器执行这些指令使得处理器执行如以下公开中详细描述的本方法的逻辑块或序列。
通过以下结合附图对实施本公开的最佳模式的详细描述，本公开的上述特征和优点以及其他可能的特征和优点将显现。
附图说明
本文描述的附图仅出于说明性目的，本质上是示意性的，并且旨在是示例性的而不是限制本公开的范围。
图1图示了使用处理器的代表性手术室，该处理器被配置为执行体现根据本主题公开的方法的指令。
图2是图1所示的处理器在非限制性实施例中的示意性图示，在该非限制性实施例中，处理器是电子控制单元(ECU)的一部分，在示例性眼睛手术期间进行相关联的信号处理。
图3是用于在图2的代表性眼睛手术期间增强红色反射并限制蓝光暴露的系统的示意性图示。
图4示出了具有单独的瞳孔像素区域和虹膜像素区域的目标眼睛的像素图像。
图5是描述了根据本公开的用于数字增强在暖白光照明条件下收集的图像的方法的流程图。
以上发明内容并不旨在表示本主题公开的每个可能的实施例或每个方面。相反，前述发明内容旨在举例说明本文公开的一些新颖方面和特征。通过以下结合附图和所附权利要求对实施本主题公开的代表性实施例和模式的详细描述，本主题公开的上述特征和优点以及其他特征和优点将显而易见。
具体实施方式
本文描述了本公开的实施例。然而，应当理解，所公开的实施例仅是示例，并且其他实施例可以采取各种替代形式。这些附图不一定按比例绘制。一些特征可以被放大或者最小化以便示出具体部件的细节。因此，本文公开的具体结构和功能细节不应被解释为限制性的，而仅作为用于传授本领域技术人员以不同方式采用本公开的代表性基础。
如本领域普通技术人员将理解的，参考任一附图图示和描述的各种特征可以与一个或多个其他附图中图示的特征进行组合，以产生未明确图示或描述的实施例。图示的特征组合为典型应用提供了代表性实施例。然而，对于特定的应用或实施方式，可能需要与本公开的教导相一致的特征的各种组合和修改。
在以下描述中，某些术语可以仅用于参考目的，因此不旨在进行限制。例如，比如“上方”和“下方”等术语是指附图中所参考的方向。比如“前”、“后”、“之前”、“之后”、“左”、“右”“后方”和“侧”等术语描述了部件或元件的部分在一致但任意的参考系内的取向和/或位置，这通过参考描述所讨论的部件或元件的文本和相关联附图而变得清楚。此外，比如“第一”、“第二”、“第三”等术语可以用于描述单独的部件。这种术语可以包括以上具体提到的词语、其派生词以及类似含义的词语。
如本领域所理解的，术语“全光谱光”描述了人类可见光的全波长范围，常规定义为380纳米(nm)到700nm。除波长外，还经常使用比如“暖白光”、“日光白光”和“冷白光”等描述从色温方面来描述可见光。色温以开尔文度(°K)表示，其中特别是暖白光通常是指色温小于约4000°K的光。这种光主要落在全光谱光的橙色和红色范围内。与暖白光相比，冷白光的色温更高，约为5500°K到7000°K或更高，并且通常以蓝光为主。日光白光落在常规定义的暖白光与冷白光的色温限制之间。
医用级显微镜用于显微手术，以帮助外科医生准确地可视化相关的目标解剖结构。例如，眼科显微镜及相关联的高分辨率成像软件使眼科医生能够准确地可视化目标眼睛的内部和外部解剖结构。这种显微镜被配备为对眼睛进行照射和成像。这通常使用全光谱光或日光白光，以产生看起来自然真实的图像。
然而，全光谱光和日光白光包含高水平的蓝光，即其波长落在380nm到450nm范围内的光能。长时间暴露于蓝光会对暴露的组织(主要是角膜、视网膜及晶状体的暴露和辐照表面)造成光毒性风险。这种暴露可能导致患者的恢复时间增加、术后不适和细胞损伤。因此，本解决方案旨在最小化蓝光暴露，同时以其他方式来充分利用暖白光的属性，比如通过在如下所述的代表性眼睛手术期间选择性地增强目标眼睛的红色反射响应。
现在参考附图，其中相同的附图标记指代相同的部件，图1示意性地描绘了在代表性显微手术期间可能出现的手术室10。如本领域技术人员所理解的，手术室10可以配备有多轴手术机器人12和操作平台14。手术机器人12可以连接到在图1中示出为数字眼科显微镜的显微镜16，通过该显微镜，外科医生能够在高放大率下观察患者的目标解剖结构。照明源35和数字相机36可以耦合到显微镜16或与显微镜成为一体。例如，使用相关联的硬件和软件，使用显微镜16的外科医生能够观察目标解剖结构的高度放大的增强数字图像19。经由一个或多个高分辨率显示屏20和200来促进可视化，这些高分辨率显示屏中的任何一个或全部可以包括触摸屏200T，例如电容式显示表面。如所示出的，增强数字图像19具有代表性目标眼睛30(见图2)，其中图1中的图像19包括瞳孔300、周围虹膜350、以及巩膜400的部分。
手术室10内还存在包含电子控制单元(ECU)50C的机柜22，该电子控制单元的处理器52在图2中示出。在可能的实施方式中，所描绘的ECU 50C可以容纳在机柜22内。下文描述了其他实施例，其中处理器52与手术室10内除机柜22外的其他硬件集成在一起或集成在其中，因此图1所图示的实施方式是非限制性且示例性的，ECU 50C和处理器52的相关处理功能在下文可互换地描述，而不考虑任一设备的特定位置。
ECU 50C被配置为接收数字图像数据(箭头38)，该数字图像数据可能是如图1中由箭头“图像1”和“图像2”所表示的立体图像。在收集数字图像数据(箭头38)的同时，ECU 50C执行体现方法50的指令，下文将参考图5对该方法的示例进行描述。ECU 50C被用作系统70的一部分，其部件在图2和图3中进行描绘，在一些实施例中，系统70可操作用于选择性地增强目标眼睛30的红色反射响应(“红色反射”)(见图2和图3)。在不同的实施例中，红色反射增强根据本主题公开自动地或响应于外科医生的命令来执行。此外，在本公开的范围内，当外科医生对红色反射进行的检测和评估具有参考价值时，红色反射增强可以仅限于眼睛手术的预定阶段，例如，在示例性眼睛手术中进行切口或摘除或植入人工晶状体时。
关于红色反射，在白内障手术和某些其他眼科手术期间，外科医生可能希望检测和评估眼睛对入射光的反射性能。因此，术语“红色反射”是指当光进入瞳孔300并在玻璃体腔23后部的视网膜18反射时通常发生的可检测的反射现象，这两种反射现象均示出在图2中，并且具有特有的红色色调。红色反射测试通常被眼睛外科医生及其他临床医生用来检测眼睛后部解剖结构的可能异常。还可经由红色反射测试检测的沿光轴11定位的混浊，同样在图2中与瞳孔300和晶状体29一起示出。这种混浊通常是由于白内障造成的，例如白内障导致晶状体29逐渐混浊。其他可能导致红色反射不良的原因包括角膜瘢痕和玻璃体出血。因此，在诊断或治疗各种眼睛疾病时，外科医生会对缺乏适当的红色反射响应感兴趣。
在该已确立的示例性使用环境中，利用体现算法的指令或计算机可执行代码对图1中所描绘的ECU 50C进行编程，这些指令或计算机可执行代码进而被执行以执行图5的方法50。当执行本方法50时，ECU 50C经由显示屏20和/或200无缝呈现增强数字图像19。也就是说，从外科医生的角度来看，数字图像处理功能由ECU 50C以不引人注目和透明的方式执行，从而使得增强数字图像19最终具有所期望得到的增强红色反射，同时最小化暴露于潜在有害的蓝光。
参考图2，示出了目标眼睛30在系统70的红色反射增强、眼睛安全辅助下进行的代表性眼睛手术。作为这种由系统70辅助的眼睛手术的一部分，目标眼睛30被暖白光(箭头WL)照射，该暖白光由照明源35引导到目标眼睛30上并最终进入目标眼睛。照明源35可以体现为灯，例如基于发光二极管(LED)的灯、基于卤素的灯、或耦合到图1所示的眼科显微镜16或与其成为一体的其他适合配置的照明源35。在可能的实施例中，暖白光(箭头WL)在色温小于约4000°K的意义上是“暖”的，在其他实施例中色温可能略微超出该范围，例如高达约4500°K。
所图示实施例中的系统70还包括数字相机36，该数字相机可操作用于在使用暖白光(箭头WL)的照明条件下收集目标眼睛30的数字图像。在示例性实施例中，数字相机36可以是图1所示的上述显微镜16的高动态范围(HDR)数字相机。因此，系统70的部件(即其组装的内部部件或附接的外部部件)可以与显微镜16成为一体，图4的方法50的方法步骤被是显微镜16的编程功能。可以实现其他实施例，在这些其他实施例中，体现方法50的指令记录在非暂态计算机可读介质上(例如，ECU 50C的存储器54中)，并且由如图所示的ECU 50C的处理器52执行，或者在其他实施例中由远离ECU 50C定位的处理器52执行，从而使得ECU 50C或处理器52能够使系统70的所公开动作发生。如上所述，在替代性实施例中，处理器52可以集成到其他硬件中，例如显微镜16和/或数字相机36，在ECU 50C的构造中包括处理器52是非限制性的。
在外科医生期望测试和评估目标眼睛30的红色反射的代表性眼睛手术的预定阶段期间，处理器52使照明源35发射暖白光(箭头WL)，这可能仅需要在手术开始时打开照明源35。同时，处理器52例如经由对应的相机控制信号(箭头CC36)命令数字相机36收集数字图像数据(箭头38)。所收集的数字图像数据(箭头38)通过传递导体或无线传送到处理器52，用于执行体现方法50的各种数字图像处理步骤。
当作为本方法50的一部分选择性地增强目标眼睛30的红色反射时，处理器52最终会向(多个)显示屏20和/或200输出视频显示控制信号(箭头CC20)，从而使(多个)显示屏20和/或200显示如下所阐述的目标眼睛30的放大动态图像。在不对红色反射进行评估的其他时间，可以根据需要使用数字相机36来对目标眼睛30进行成像，并且可以根据外科医生的判断根据需要使用来自电磁光谱的其他部分的光进行照明。
仅为了说明清楚和简单起见，在图2中将ECU 50C示意性地描绘为整体式盒体。ECU50C的所实施的实施例可以包括一个或多个联网的计算机设备，每个联网的计算机设备具有(多个)处理器52和足够量的存储器54，存储器包括非暂态(例如，有形)介质，在该非暂态介质上记录或存储了体现方法50(“RR-Algo”)的、可由处理器52读取和执行的一组计算机可读指令。图形用户界面(GUI)设备60可以用于促进外科医生和主治手术团队与系统70直观交互，下文会详细描述可能的用例。存储器54可以采取许多形式，包括但不限于非易失性介质和易失性介质。体现方法50的指令可以存储于存储器54中，并由处理器52选择性地执行以执行下文所描述的各种功能。作为独立设备或集成到数字相机26和/或显微镜16中的ECU 50C还可以包括用于跟踪目标眼睛30并可能执行其他任务(如识别手术工具和/或外科医生，这发生在如下所述的眼睛手术过程期间)的常驻机器视觉/运动跟踪逻辑58(“视觉-跟踪”)。
如本领域技术人员所理解的，非易失性介质可以包括光盘和/或磁盘或其他持久存储器，而易失性介质可以包括动态随机存取存储器(DRAM)、静态RAM(SRAM)等，任何或所有这些可以构成ECU 50C的主存储器。输入/输出(I/O)电路系统56可以用于促进与手术期间所使用的各种外围设备(包括数字相机36、照明源35以及(多个)高分辨率显示屏20和/或200)的连接和通信。其他未描绘但本领域中通常使用的硬件可以作为ECU 50C的一部分被包括，包括但不限于本地振荡器或高速时钟、信号缓冲器、滤波器、放大器等。
现在参考图3，系统70的操作涉及用暖白光(箭头WL)照射目标眼睛30，如上面一般所述，其中暖白光(箭头WL)由照明源(L)35例如，直接或使用偏振引导到目标眼睛30上/中。如本领域所理解的，入射的暖白光(箭头WL)通过扩张瞳孔300进入目标眼睛30，并在玻璃体腔21或图2的后部由视网膜18的表面进行反射。反射光(箭头WLR)可以经由反射镜39朝向发射滤光片40重定向。发射滤光片40进而将反射光(箭头WLR')朝向与上述ECU 50C或(多个)处理器52有线或无线通信的一组预先定位的光电传感器42重定向。在一些实施例中，发射滤光片40和光电传感器42可以与数字相机36成为一体，或者发射滤光片40可以定位于外部，如图3中为了说明清楚起见示出的。
作为本方法的一部分，处理器52被配置为由外科医生单独判断、或在其他实施例中由ECU 50C的检测能力或机器学习辅助来辅助检测眼睛手术的需要检测红色反射的预定阶段。例如，图1至图3的示例性ECU 50C可以可操作地连接到GUI设备60，使得识别眼睛手术的预定阶段可能包括从GUI设备60接收输入信号(箭头CC60)。在这种实施例中，被示出为指示双向握手通信的双向信号的输入信号(箭头CC60)指示眼睛手术的预定阶段。外科医生可以与显示屏20或200(显示屏本身可选地被配置成电容式触摸表面)交互，以手动输入眼睛手术的预定阶段。替代性地，ECU 50C或(多个)处理器52可以确定执行眼睛手术的外科医生的身份，比如使用机器学习(例如，神经网络)来识别手术过程中的特定行为模式。在这种实施例中，输入信号(箭头CC60)指示外科医生的身份。
当期望检测红色反射时，可以使用(多个)处理器52利用数字相机36和常驻运动跟踪逻辑58来跟踪目标眼睛30的运动，其中数字相机36的操作经由相机控制信号(箭头CC36)来控制。如图3所示，手术期间的目标眼睛30具有被虹膜区域350包围的扩张瞳孔300，该虹膜区域进而被目标眼睛30的巩膜或白睛包围。如本领域所理解的，瞳孔300和目标眼睛30的注视方向可以由处理器52使用图2的逻辑58来实时检测和跟踪，其中这种跟踪在图3中由跟踪圆300-T指示。
简要参考图4，在目标眼睛30的所收集的数字图像19(如根据在眼睛手术的预定阶段期间传输到处理器52的数字图像数据(箭头38)所构建的数字图像)内，处理器52将瞳孔像素区域30P与围绕瞳孔像素区域30P的虹膜像素区域30I数字隔离。如本文所使用的，瞳孔像素区域30P对应于与图3的瞳孔300的成像表面区域重合的图像像素。同样地，虹膜像素区域30I对应于与图3的虹膜区域350的图像表面区域重合的图像像素，并且也可能对应于与周围巩膜400的图像表面区域重合的图像像素，例如，作为巩膜像素区域30S。此后，处理器52以不同的方式调整包括瞳孔像素区域30P或虹膜像素区域30I或可能两者的组成像素的特性，从而生成具有数字增强红色反射的经调整的图像数据。
这可以基于眼睛手术的预定阶段发生，或者调整组成像素的特性可以基于外科医生的身份发生。例如，处理器52可以例如使用神经网络或(多种)其他适合的机器随时间的推移学习算法来学习外科医生的照明偏好，并且经由处理器52至少部分地基于该照明偏好单独地或使用GUI设备60来生成输入信号(箭头CC60)。使用说明性使用场景，例如，如果“外科医生A”在之前的N次手术中始终表现出特定的照明偏好，则ECU 50C可以将外科医生A相对于不同外科医生(“外科医生B”)的偏好登记在存储器52中，然后在第N+1次手术期间实施该照明偏好，而不需要来自该外科医生的任何肯定响应或输入。然后，如图3所示，处理器52向显示屏20和/或200输出视频显示控制信号(箭头CC20)，以使显示屏20和/或200在眼睛手术的预定阶段期间显示经调整的图像。
参考图5，方法50的非限制性实施例可以用于在眼睛手术期间选择性地增强目标眼睛30的红色反射响应(图2和图3)，同时最小化暴露于蓝光。如上所述，本教导特别适合用于白内障手术的某些阶段，比如典型白内障手术的切口阶段和白内障摘除阶段。如上所述，本教导的各方面都可以应用于其他类型的显微手术或其他医疗程序，其中减少人体组织暴露于入射蓝光将是有益的。
特别地，当用于优化眼科手术的手术及患者健康结果时，方法50将对眼睛安全的暖白光照明的使用与ECU 50C或处理器52的编程数字图像处理功能相结合，以便同时经由选择性调整的图像创建手术场景的理想的、真实的数字渲染和投影。
正如图3所描绘的，方法50的示例性实施例从框B51开始，其中，对目标眼睛30进行照射和成像。框B51包括在目标眼睛30由暖白光(箭头WL)照射时使用数字相机36来收集目标眼睛30的数字图像。当数字相机36被体现为或包括HDR数字相机(例如，作为图1的显微镜16的整体部件)时，收集数字图像数据(图2的箭头38)可以包括收集目标眼睛30的三维HDR图像。
作为框B51的一部分，暖白光(图2和图3中的箭头WL)可以由图2所示的照明源35可能使用本领域所理解的偏振技术同轴地或倾斜地引导到目标眼睛30上/中。在某些配置中，照明源35可以是显微镜16的整体部件。在方法50的一些实施方式中，暖白光(箭头WL)的色温小于约4000°K，在其他实施例中，色温范围可能大于4000°K。然而，由于减少暴露于蓝光是方法50的目标，因此用作暖白光(箭头WL)的大部分或基本上所有组成光都应当由落在红色光谱(例如，620nm至750nm)和/或橙色光谱(例如，590nm至620nm)内的光而非全光谱光构成。
一种实施框B51的方法是控制照明源35发射的光的光谱，使得所发射的光包括更多的红色波长。然后，较暖的光会产生更高的红色反射。替代性地，可以在照明源35之后实施激发光学滤光片37，以阻挡蓝色和绿色波长，从而增加红色波长比。这种方法使得能够使用冷照明源35，然后经由发射光学滤光片37阻挡蓝光(例如，400nm至500nm)和一些绿光(例如，500nm至600nm)。所得到的光谱将具有更大的红色波长含量，从而提供了预期的暖白光(箭头WL)。此后，方法50进行到框B53。
框B53包括使用数字相机36、特别是使用其光电传感器42来检测经重定向的反射光(图3的箭头WLR')。光电传感器42的可能实施例包括例如光伏电池、光电传感器(photoelectric sensor)、光电管或其他适合于应用的光电检测器形式的光子检测器。例如，在典型的数字相机构造中，可以使用电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)集成电路来将经重定向的反射光(箭头WLR')的检测光子处理成对应的电子信号。来自光电传感器42的经处理的读数最终作为图像数据(箭头38)被传输到ECU 50C，此后方法50进行到框B54。
框B54包括经由与数字相机36通信的处理器52来识别眼睛手术的需要或受益于红色反射检测的预定阶段。为此，图1至图3的处理器52可以可操作地连接到图2和图3所示的GUI设备60，使得识别眼睛手术的预定阶段可以包括从GUI设备60接收输入信号(箭头CC60)，其中该输入信号(箭头CC60)可能指示眼睛手术的预定阶段。
替代性地，处理器52可以选择性地识别执行眼睛手术的外科医生，在这种情况下，输入信号(箭头CC60)指示外科医生的身份。用于识别外科医生的说明性示例方法包括登记外科医生的动作，比如触摸GUI设备60上的图标以从显示的外科医生姓名列表中选择外科医生的姓名，或使用机器视觉/面部识别软件来自动识别外科医生。其他可能的实施例包括经由处理器52例如使用神经网络或(多种)其他机器随时间的推移学习算法来学习外科医生的照明偏好，然后基于外科医生的身份和外科医生所展现的照明偏好经由处理器52来生成输入信号(箭头CC60)。
在方法50的一些实施方式中，识别眼睛手术的预定阶段可以包括经由处理器5250C例如使用数字相机36和相关联的机器视觉逻辑来检测手术工具。这种逻辑可以是跟踪逻辑58的一部分，或者是被配置为基于手术工具的形状和大小来检测和识别该手术工具的单独算法。然后，处理器52可以基于手术工具的标识来自动检测眼睛手术的预定阶段。当通过上述技术中任何一种或其他合适的方式检测到眼睛手术的预定阶段时，方法50进行到框B55。当处理器52未检测到眼睛手术的预定阶段时，方法50替代性地进行到框B56。
在框B55处，处理器52将瞳孔像素区域(PPR)30P与围绕PPR 30P的虹膜像素区域30I数字隔离，其中这样的区域如图4所图示的。作为框B55的一部分，处理器52可以单独或使用ECU 50C的相关联的功能利用数字相机36和上述运动跟踪逻辑58来跟踪目标眼睛30的运动。如在人工智能领域中众所周知的，眼睛跟踪算法通常用于检测和跟踪用户的注视方向，并将所得到的检测数据(比如所估计的光轴)转换为相关的参考系。在本方法50中，相关的参考系包括构成由所收集的图像数据(箭头38)描述的各种数字图像的组成图像像素的平面。通过跟踪图3的瞳孔300的运动并映射其对应的像素位置，处理器52能够实时跟踪目标眼睛30的运动，使得瞳孔像素区域30P在整个眼睛手术过程中在所显示的图像内都保持可识别。一旦处理器52已经数字隔离了瞳孔像素区域30P，方法50就进行到框B57。
框B56可能需要对目标眼睛30的全数字图像(包括瞳孔像素区域30P和虹膜像素区域30I，并且可能包括位于虹膜像素区域30I之外的成像区域)执行默认图像处理算法。当执行框B54判定不需要红色反射时，换言之，可以使用默认图像处理算法来处理(多个)全数字图像，自动白平衡(AWB)是一种可能的默认解决方案。
如本领域所理解的，当产生看起来更自然的数字图像时，AWB算法自动校正环境照明条件。典型的AWB算法以像素图像的形式估计成像场景的照度，然后校正像素图像内的颜色平衡。例如，颜色平衡校正可能需要使用自动或用户选择的直方图调整来舍弃红色、绿色和蓝色直方图光谱极端处的某些像素颜色，然后拉伸剩余范围。其他方法包括对图像中最亮像素和最暗像素的相应色调进行平均，或应用加权函数。一旦已经应用了默认算法，方法50就进行到框B60。
在框B57处，ECU 50C接下来确定在瞳孔像素区域30P内是否需要增益调整。实施框B57的可能方法包括允许外科医生例如经由图3的GUI设备60比如通过触摸GUI设备60触敏屏上的对应图标来选择作为选项的增益调整。替代性地，处理器52可以对如在框B51处收集到的目标眼睛30的完整图像的亮度、颜色或其他特性进行处理，以确定是否可以经由处理瞳孔像素区域30P、虹膜像素区域30I或两者来最好地获得改善的红色反射对比度。作为框B57的一部分，处理器52可以将相应的瞳孔像素区域30P和虹膜像素区域30I的组成像素的光谱含量彼此进行比较和/或与阈值进行比较。当需要对瞳孔像素区域30P的组成像素进行增益调整时，方法50进行到框B58。否则，方法50进行到框B59。
在框B58处，处理器52调整包括瞳孔像素区域30P的组成像素的特性，以选择性地增强红色反射。例如，作为框B58的一部分，处理器52可以增加作为特性的数字增益，在这种情况下，仅调整瞳孔像素区域30P的组成像素。如在数字图像处理领域中所理解的，可以例如在框B53处采用模拟增益调整，以便调整检测灵敏度(通常通过放大或抑制由图2的光电传感器42检测到的每个光子生成的对应电压进行)。与模拟增益调整相比，框B58中所采用的数字增益调整用于在这种电压被读取和数字化之后调整像素值。一旦瞳孔像素区域30P中的数字增益得到提升，方法50就进行到框B61。
框B59包括调整包括虹膜像素区域30I的组成像素的特性，比如通过将白平衡算法仅应用于虹膜像素区域30I的组成像素。在框B59处同时或交替进行的图像处理算法可以包括色调映射，其将高动态范围图像的色调值压缩到较低范围。然后，方法50进行到框B61。
在框B60处，处理器52经由图1的显示屏20和/或200显示未经调整的图像数据(箭头38)。经由将视频显示控制信号(图2的箭头CC20)传输到显示屏20和/或200来执行框B60，以便用所显示的目标眼睛30的放大图像来照射这些显示屏。然后，方法50返回到框B51。
框B61包括经由显示屏显示经调整的图像。所显示图像的内容将根据是从框B58(其中，处理器52提升如上所述的瞳孔像素区域的数字增益)，还是从框B59(其中，处理器52将白平衡算法或(多个)其他适合的图像处理技术应用于位于瞳孔像素区域之外的数字图像部分)到达框B61而变化。然后，方法50返回到框B51。
如上所阐述的本教导在白内障摘除、晶状体置换和其他眼睛手术期间将暖白光照明与选择性数字图像处理相结合，以便降低蓝光毒性的风险，并选择性地增强红色反射。方法50背离了使用广谱光或落入日光白色波长范围内的光的基于显微镜的照明的常规实践。
虽然对所显示图像的数字颜色调整可以用于在这种宽光谱光或暖白光照明条件下产生真实的手术场景，但是进入患者眼睛的光是不受影响的，因此包含高水平的蓝色波长光。因此，常规图像颜色调整无法避免所述光毒性风险。此外，本教导用于在手术的预定阶段期间选择性地自动增强红色反射，因此不影响外科医生的操作。鉴于上述公开，本领域技术人员将很容易理解这些和其他益处。
具体实施方式和附图对于本公开是支持性的和描述性的，但是本公开的范围仅由权利要求限定。虽然已经详细描述了用于实施所要求保护的公开的一些最佳模式和其他实施例，但是存在各种替代设计和实施例来实践所附权利要求中限定的公开。此外，附图中所示的实施例或本说明书中提到的多个不同的实施例的特性不一定要被理解为彼此独立的实施例。而是，在实施例的这些示例之一中描述的每个特性可以与来自其他实施例的一个或多个其他期望的特性相结合，从而产生没有用文字描述或参考附图描述的其他实施例。因此，这样的其他实施例落入所附权利要求的范围框架内。

Claims (20)

1.一种用于在显微手术期间增强数字图像的方法，所述方法包括：
在所述显微手术期间，在用暖白光照射目标解剖结构时，使用数字相机来收集所述目标解剖结构的数字图像数据；
经由与所述数字相机通信的处理器识别所述显微手术的预定阶段；
在所述数字图像数据内，将第一像素区域与第二像素区域隔离；
响应于输入信号，经由所述处理器选择性地调整包括所述第一像素区域或所述第二像素区域的组成像素的特性，从而提供增强的第一像素区域或增强的第二像素区域；以及
将视频显示控制信号传输到至少一个数字显示屏，从而呈现具有所述增强的第一像素区域或所述增强的第二像素区域的所述目标解剖结构的经调整的数字图像。
2.如权利要求1所述的方法，其中，所述显微手术是眼睛手术，并且所述目标解剖结构是人类患者的目标眼睛，所述方法包括：
识别所述眼睛手术的需要检测所述目标眼睛的红色反射的预定阶段，其中，所述第一像素区域是瞳孔像素区域，并且所述第二像素区域是所述目标眼睛的相应瞳孔和虹膜的虹膜像素区域。
3.如权利要求2所述的方法，进一步包括：
使用眼科显微镜的照明源将所述暖白光引导到所述目标眼睛上。
4.如权利要求1所述的方法，其中，所述数字相机包括高动态范围HDR数字相机，并且其中，收集数字图像包括经由所述HDR数字相机收集所述目标解剖结构的三维HDR图像。
5.如权利要求1所述的方法，其中，所述处理器操作性地连接到图形用户界面GUI设备，并且其中，识别所述显微手术的预定阶段包括从所述GUI设备接收指示所述显微手术的预定阶段的输入信号。
6.如权利要求1所述的方法，其中，识别所述显微手术的预定阶段包括经由所述处理器使用机器视觉逻辑来检测在所述显微手术的预定阶段中使用的手术工具，以及基于所述手术工具的标识来自动检测所述显微手术的预定阶段。
7.如权利要求1所述的方法，进一步包括：
经由所述处理器使用神经网络来随时间的推移学习执行所述显微手术的外科医生的照明偏好；以及
经由所述处理器基于所述照明偏好调整所述组成像素的特性。
8.如权利要求1所述的方法，其中，调整包括所述第一像素区域或所述第二像素区域的组成像素的特性包括将白平衡算法仅应用于包括所述第一像素区域或所述第二像素区域的组成像素。
9.如权利要求1所述的方法，进一步包括在所述显微手术的预定阶段期间经由所述处理器跟踪所述目标解剖结构的运动。
10.如权利要求1所述的方法，其中，调整包括所述第一像素区域或所述第二像素区域的组成像素的特性包括经由所述处理器自动增加仅所述第一像素区域或所述第二像素区域的组成像素的数字增益。
11.如权利要求1所述的方法，其中，将所述第一像素区域与所述第二像素区域隔离包括使用所述数字相机和所述处理器的运动跟踪逻辑自动跟踪所述目标解剖结构的运动。
12.一种用于在眼睛手术期间增强数字图像数据的系统，所述系统包括：
照明源，所述照明源能够操作用于将暖白光引导到目标眼睛上，所述暖白光的色温小于约4000°K；
数字相机，所述数字相机能够操作用于在用所述暖白光照射所述目标眼睛时收集所述目标眼睛的数字图像；以及
处理器，所述处理器与所述数字相机通信，其中，所述处理器被配置为：
检测所述眼睛手术的需要增强所述目标眼睛的红色反射的预定阶段；
使用所述数字相机和运动跟踪逻辑自动跟踪所述目标眼睛的运动；
在所述眼睛手术的预定阶段期间在所述目标眼睛的数字图像内，将瞳孔像素区域与围绕所述瞳孔像素区域的虹膜像素区域数字隔离；
调整包括所述瞳孔像素区域或所述虹膜像素区域的组成像素的特性，从而生成具有所述增强的红色反射的经调整的图像；以及
向一个或多个显示屏输出视频显示控制信号，从而使所述显示屏在所述眼睛手术的预定阶段期间显示具有所述增强的反射的经调整的图像。
13.如权利要求12所述的系统，进一步包括所述显示屏。
14.如权利要求12所述的系统，其中，所述照明源是耦合到眼科显微镜或与所述眼科显微镜成为一体的灯。
15.如权利要求14所述的系统，其中，所述数字相机包括所述眼科显微镜的高动态范围HDR数字相机。
16.如权利要求12所述的系统，进一步包括图形用户界面GUI设备，其中，所述处理器被配置为通过从所述GUI设备接收输入信号来识别所述眼睛手术的预定阶段，并且其中，所述输入信号指示所述眼睛手术的预定阶段。
17.如权利要求12所述的系统，其中，所述处理器被配置为确定执行所述眼睛手术的外科医生的身份，并且所述输入信号指示所述外科医生的身份，使得所述处理器被配置为基于所述外科医生的身份来调整所述组成像素的特性。
18.如权利要求12所述的系统，其中，所述处理器被配置为响应于输入信号而通过以下操作来调整所述组成像素的特性：
将白平衡算法仅应用于所述虹膜像素区域的组成像素；或
仅增加所述瞳孔像素区域的组成像素的数字增益。
19.一种计算机可读介质，其上记录有用于在眼睛手术期间增强红色反射响应的指令，其中，由处理器执行所述指令使得所述处理器：
在用来自眼科显微镜的暖白光照射目标眼睛时，从与所述处理器通信的数字相机接收所述目标眼睛的数字图像，所述暖白光的色温小于约4000°K；
在所述眼睛手术的需要检测增强的红色反射的预定阶段期间在所述目标眼睛的数字图像内，将瞳孔像素区域与围绕所述瞳孔像素区域的虹膜像素区域隔离；
调整包括所述瞳孔像素区域或所述虹膜像素区域的组成像素的特性，从而生成具有所述增强的红色反射的经调整的图像，包括将白平衡算法仅应用于所述虹膜像素区域的组成像素，或仅自动增加所述瞳孔像素区域的组成像素的数字增益；以及
向至少一个显示屏传输视频显示控制信号，从而使所述至少一个显示屏在所述眼睛手术的预定阶段期间显示所述经调整的图像。
20.如权利要求19所述的计算机可读介质，其中，所述处理器操作性地连接到图形用户界面GUI设备，并且其中，由所述处理器执行所述指令使得所述处理器使用来自所述GUI设备的输入信号来识别所述眼睛手术的预定阶段，所述输入信号指示所述眼睛手术的预定阶段和/或执行所述眼睛手术的外科医生的身份。
CN202280040197.4A 2021-06-11 2022-04-13 显微手术期间的暖白光照明及数字图像的数字图像处理 Pending CN117425425A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163209523P 2021-06-11 2021-06-11
US63/209,523 2021-06-11
PCT/IB2022/053496 WO2022259050A1 (en) 2021-06-11 2022-04-13 Warm white light illumination and digital image processing of digital images during microsurgery

Publications (1)

Publication Number Publication Date
CN117425425A true CN117425425A (zh) 2024-01-19

Family

ID=81384972

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280040197.4A Pending CN117425425A (zh) 2021-06-11 2022-04-13 显微手术期间的暖白光照明及数字图像的数字图像处理

Country Status (6)

Country Link
US (2) US11792376B2 (zh)
EP (1) EP4351400A1 (zh)
CN (1) CN117425425A (zh)
AU (1) AU2022288681A1 (zh)
CA (1) CA3217557A1 (zh)
WO (1) WO2022259050A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10304267B9 (de) 2003-02-03 2006-06-29 Carl Zeiss Augenchirurgie-Mikroskopiesystem
DE102010016623A1 (de) 2010-04-23 2011-10-27 Leica Microsystems (Schweiz) Ag Beleuchtungseinrichtung für ein ophthalmologisches Operationsmikroskop
US10073515B2 (en) * 2013-09-18 2018-09-11 Nanophthalmos, Llc Surgical navigation system and method
DE102014212371A1 (de) 2014-06-26 2015-12-31 Carl Zeiss Meditec Ag Beleuchtungsvorrichtung für ein optisches Beobachtungsgerät

Also Published As

Publication number Publication date
US20230421737A1 (en) 2023-12-28
EP4351400A1 (en) 2024-04-17
CA3217557A1 (en) 2022-12-15
AU2022288681A1 (en) 2023-11-09
WO2022259050A1 (en) 2022-12-15
US20220400241A1 (en) 2022-12-15
US11792376B2 (en) 2023-10-17

Similar Documents

Publication Publication Date Title
US11813024B2 (en) Hand-held portable fundus camera for screening photography
US20210353144A1 (en) Wide Field Fundus Camera with Auto-Montage at A Single Alignment
KR101998595B1 (ko) 이미지 기반 황달 진단 방법 및 장치
US10258232B2 (en) Wide field fundus camera
US20210325649A1 (en) System and method to automatically adjust illumination during a microsurgical procedure
US10945637B2 (en) Image based jaundice diagnosing method and apparatus and image based jaundice diagnosis assisting apparatus
JP5773598B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN107076973A (zh) 手术显微镜中的眩光减少
US20220338733A1 (en) External alignment indication/guidance system for retinal camera
KR20040005592A (ko) 안과장치
JP2014083095A (ja) 眼科撮影装置、眼科撮影装置の制御方法、プログラム
US11792376B2 (en) Warm white light illumination and digital image processing of digital images during microsurgery
JP2005261447A (ja) 眼科撮影装置
JP2021145914A (ja) 眼科装置及びその作動方法
CN108230287B (zh) 一种眼前节图像的晶体区域的检测方法及装置
WO2019158916A1 (en) Imaging device and method of imaging a subject's eye
JP2015146961A (ja) 眼科装置及び眼科装置の制御方法
CN114223194B (zh) 用于玻璃体视网膜手术的场景相机系统和方法
WO2023053556A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2016106932A (ja) 内視鏡画像処理装置、内視鏡画像処理方法、プログラム、及び、内視鏡システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination