CN112119340B - 外科显微镜中受限视场的照明 - Google Patents

外科显微镜中受限视场的照明 Download PDF

Info

Publication number
CN112119340B
CN112119340B CN201980032789.XA CN201980032789A CN112119340B CN 112119340 B CN112119340 B CN 112119340B CN 201980032789 A CN201980032789 A CN 201980032789A CN 112119340 B CN112119340 B CN 112119340B
Authority
CN
China
Prior art keywords
view
lighting
field
target
data indicative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980032789.XA
Other languages
English (en)
Other versions
CN112119340A (zh
Inventor
J·萨帕塔
C·E·瓦格斯席尔瓦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gentex Corp
Original Assignee
Gentex Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gentex Corp filed Critical Gentex Corp
Publication of CN112119340A publication Critical patent/CN112119340A/zh
Application granted granted Critical
Publication of CN112119340B publication Critical patent/CN112119340B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/0012Surgical microscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00174Optical arrangements characterised by the viewing angles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • G02B21/08Condensers
    • G02B21/082Condensers for incident illumination only
    • G02B21/084Condensers for incident illumination only having annular illumination around the objective
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本发明公开了用于有效照明目标的一种或多种技术和/或一个或多个系统。所述目标可以在受限视场区域中。此类系统可以减轻外科规程设置、研究部位或人类可在受限视场范围内进行操作的其他局部区域的阴影和光均匀性不足。一个或多个照明模块可被设置在目标区域中,以在所述受限视场中照明一个或多个照明目标位置。对象检测部件可以检测所述目标视场区域中的对象或期望的目标,并且将指示所检测到的对象/目标的数据提供给照明模块调节部件。基于指示所检测到的对象/目标的所述数据,所述照明模块调节部件可以将指示照明调节的数据提供给所述第一照明模块以提供所需照明。

Description

外科显微镜中受限视场的照明
相关申请
本申请要求2018年4月18日提交的标题为“CONFINED FIELD OF VIEWILLUMINATION”的美国临时序列号62/659,221的优先权,本申请以引用方式并入本文。
技术领域
本公开内容大体上涉及用于照明目标的系统和方法,更具体地涉及外科显微镜中受限视场的照明。
背景技术
光学显微镜利用可见光来照明受限视场内的目标对象。这些和其他受限视场通常利用照明源提供可见光,该可见光照明目标对象以进行期望的查看。经常利用某种放大倍数的一些受限视场可用于以微型尺度操纵目标对象,诸如在临床环境、研究环境、制造等方面。在这些情况下,例如对视场内的或与之相邻的对象进行操作或操纵可使照明减少,诸如由阴影和其他照明畸变源导致,例如由于固定的照明类型和源/位置。当前的照明系统表明无法在不在照明目标上方或周围进行器械活动或对象操纵的情况下消除受限场景视场内的阴影、反射和其他照明畸变源。
发明内容
提供此发明内容是为了以简化形式介绍一些概念,这些概念将在下面的具体实施方式中进一步描述。本发明内容既不旨在标识所要求保护的主题的关键因素或必要特征,也不旨在用于限制所要求保护的主题的范围。
本文所述的一种或多种技术和一个或多个系统可用于改善受限视场(FOV)的场景照明,所述照明可受到障碍、畸变以及对FOV照明均匀性的任何其他干扰源的影响。例如,
本文所述的照明系统和方法可以利用以可配置模块分组的光源阵列来动态地适应使用照明的受限场景FOV的特定需求。
在示例性实施方式中,用于照明目标的系统可包括第一照明模块,该第一照明模块将光引导向视场区域中的目标位置;图像识别子系统,该图像识别子系统基于限制参数建立包括目标位置的受限视场区域,并且检测该受限视场区域中的对象;以及运动控制子系统,该运动控制子系统从图像识别子系统接收指示在受限视场中所检测到的对象的数据,并且将指示照明调节的数据传输至第一照明模块,该指示照明调节的数据基于指示在受限视场区域中所检测到的对象的数据。
在示例性实施方式中,第一照明模块可包括多个光源。
在示例性实施方式中,系统还可以包括第二照明模块,该第二照明模块可包括多个光源。
在示例性实施方式中,系统还可以包括光学检测装置,其中该光学检测装置为外科显微镜,并且基于该外科显微镜的光学参数来确定限制参数。
在示例性实施方式中,限制参数可包括物理边界,这些物理边界包括以下项中的至少一者:视线约束或外科显微镜放大区域约束。
在示例性实施方式中,限制参数可包括光学检测装置约束,这些光学检测装置约束包括以下项中的至少一者:像素数量、图像大小、光学吸收、色深或响应时间。
在示例性实施方式中,图像识别子系统可包括具有预测逻辑的优化器子系统,该预测逻辑预测在受限视场区域中所检测到的对象的将来位置,并且指示照明调节的数据基于对象的预测的将来位置。
在示例性实施方式中,预测逻辑可基于对象的将来位置来提供光干扰的预测。
在示例性实施方式中,指示照明调节的数据可包括以下项中的至少一者:亮度调节数据、波长调节数据、偏振调节数据或焦点调节数据。
在示例性实施方式中,一种用于照明目标的方法可包括:由第一照明模块将光引导向视场区域中的目标位置;由图像识别子系统基于限制参数在包括目标位置的视场内建立受限视场区域;由图像识别子系统检测受限视场区域内的对象;以及由图像识别子系统将指示所检测到的对象的数据传输至运动控制子系统;以及由运动控制子系统将指示照明调节的数据传输至第一照明模块,该指示照明调节的数据基于指示在受限视场区域中所检测到的对象的数据;以及由第一照明模块基于所接收的指示照明调节的数据将光引导向受限视场中的目标位置。
在示例性实施方式中,限制参数包括物理边界,这些物理边界包括以下项中的至少一者:视线约束或外科显微镜放大区域约束。
在示例性实施方式中,限制参数可包括光学检测装置约束,这些光学检测装置约束包括以下项中的至少一者:像素数量、图像大小、光学吸收、色深或响应时间。
在示例性实施方式中,该方法还可以包括由优化器子系统的预测逻辑来预测在受限视场区域中所检测到的对象的将来位置,并且该指示照明调节的数据基于对象的预测的将来位置。
在示例性实施方式中,预测逻辑可基于对象的将来位置来提供光干扰的预测。
在示例性实施方式中,指示照明调节的数据可包括以下项中的至少一者:亮度调节数据、波长调节数据、偏振调节数据或焦点调节数据。
在示例性实施方式中,用于照明目标的系统可包括:第一照明模块,该第一照明模块将光引导向视场区域中的目标位置;图像识别子系统,该图像识别子系统基于限制参数来建立包括目标位置的受限视场区域;对象检测部件,该对象检测部件检测在受限视场区域之外的视场区域中的对象;优化器子系统,该优化器子系统基于在受限视场区域之外的视场中所检测到的对象来预测在受限视场区域中光干扰的形成,并且基于所预测的光干扰来生成照明调节数据;以及照明模块调节部件,该照明模块调节部件从优化器子系统接收照明调节数据,并且将该照明调节数据传输至第一照明模块。
在示例性实施方式中,优化器子系统可包括预测逻辑,该预测逻辑预测对象在受限视场内的将来位置,并且指示照明调节的数据基于对象在受限视场内的预测的将来位置。
在示例性实施方式中,预测逻辑可基于对象在受限视场内的将来位置来提供光干扰的预测。
在示例性实施方式中,限制参数可包括物理边界,这些物理边界包括以下项中的至少一者:视线约束或外科显微镜放大区域约束。
在示例性实施方式中,限制参数可包括光学检测装置约束,这些光学检测装置约束包括以下项中的至少一者:像素数量、图像大小、光学吸收、色深或响应时间。
为了实现前述以及相关目的,以下描述和附图阐述了某些说明性方面和实施方式。这些仅指示可以采用一个或多个方面的各种方式中的一些方式。当结合附图考虑时,根据以下具体实施方式,本公开的其他方面、优点和新颖特征将变得显而易见。
附图说明
图1是示出本文所述的一种或多种技术的一个或多个部分的示例性实施方式的流程图。
图2是示出本文所述的一种或多种技术和/或一个或多个系统的示例性实施方式的部件图。
图3是示出本文所述的一种或多种技术和/或一个或多个系统的示例性实施方式的部件图。
图4是示出本文所述的一个或多个系统的一个或多个部分的示例性实施方式的示意图。
图5是示出本文所述的一个或多个系统的一个或多个部分的示例性实施方式的框图。
具体实施方式
现在参考附图描述要求保护的主题,其中贯穿全文,相同的附图标记通常用于表示相同的元件。在下面的描述中,出于解释的目的,阐述了许多具体细节以便提供对所要求保护的主题的透彻理解。然而很明显,没有这些具体细节也可以实践所要求保护的主题。在其他情况下,以框图形式示出结构和装置,以便于描述所要求保护的主题。
例如,本文所公开的方法和系统可适于但不限于在外科手术室、牙科诊所、医疗干预室、医学检查室、实验室和/或其他利用均匀泛光的临床的或其他关键的人类操作受限区域中使用。在另一个非限制性实例中,本文所公开的方法和系统可适于在受限视场(诸如显微镜或其他放大的查看区域)或易受场景照明障碍、畸变和影响指定视场的照明均匀性的干扰源的影响的任何其他受限视场中的操作。
例如,本文所述的方法和系统解决的一些问题可以包括但不限于:减轻阴影或以其他方式造成的目标对象或受限视场中的位置的所需照明不足;同时照明多个目标对象或区域;实时创建改进的照明模式来解决光源和照明目标之间的(例如,由对象造成的)动态干扰;实时创建更期望的光波长图案,以便突出显示指定的照明目标;以及改进用于操作照明系统的控制对象。
在一个方面,用于受限视场(FOV)的照明的系统和方法可以利用光源阵列,这些光源阵列可以可配置模块分组以动态地适应其中使用照明的受限场景FOV的特定需求。在一个实施方式中,经配置的模块可以可扩展的串联方式工作。在该实施方式中,在每个系统中使用的模块的数量可以随在特定情况下所要求的照明性质而变化。此外,照明目标或多个目标所处位置的FOV的特性、操作类型以及其他因素可影响模块的类型和数量。作为一个实例,这些模块可位于机架或支架上,围绕FOV中的(例如,处于固定或可配置高度的)目标对象,从而为场景FOV或其待照明的指定FOV的部分提供照明。在该实例中,模块可被布置成使得照明目标或多个照明目标可被直接照明。
在一个实施方式中,一个或多个光阵列模块可包括多个可分别配置的光源。在该实施方式中,相应的模块和/或多个光源中的每一个光源可能能够诸如由系统以地址或某种其他身份标识的形式用唯一标识符来设置(例如,编程或以其他方式配置)。此外,相应的光源可被配置为通过改变FOV中的空间的目标点来自动调节其照明特性和/或照明方向。例如,可以多种方式来调节空间中的目标点(例如,其瞄准点),包括但不限于参考空间中被称为原点的已知点来改变(例如,x轴、y轴和z轴上的)轴线值或以其他方式改变极坐标。例如,目标点可包括照明场景FOV针对期望的操作和FOV特性有效地照亮的三维空间中的位置(例如,或者在平面上的位置)。
在一个实施方式中,控制系统可以根据诸如(例如,对于已知情况)由用户编程或由自动预加载参数提供的期望设置来管理分别在每个系统中配置的多个光源。在一个实施方式中,在照明过程中这些设置可以根据需要手动地或自动地进行动态(例如,实时)更新,并且由用户进行编程。在一个实施方式中,照明源的管理可以通过用户经由视觉、听觉、触摸或其他可电磁识别的输入向系统发出控制命令来完成。
在一个实施方式中,可以通过使用自主优化器算法的控制系统来实现对多个光源的自动管理。优化器算法可以分别在相应的光源和/或系统中可用的全部光阵列模块和单个光源处找到输入和输出、阈值和限制以及其他参数之间的路径。
作为说明性实例,在指定的照明过程中,并且如果由用户编程,则系统可以动态地根据指定的一个或多个照明目标的位置和定位以及与当前或可能引起障碍或畸变的对象之间的关系,动态地优化相应的单个光源的照明特性和/或方向。也就是说,例如,当操纵目标对象或目标对象上的位置时,照明特性和/或方向可以自动调节以适应情况(例如,以提供期望的照明质量)。
在一个实施方式中,示例性系统还可以根据所识别的照明畸变或照明均匀性不足来提供场景FOV的期望的照明特性(例如,针对情况的最佳照明)。也就是说,例如,如果在场景FOV中检测到不期望的照明特性,则系统可以自动调节照明特性来改善照明特性,以满足期望的质量。
另选地,在一个实施方式中,用户可以设置用于照明的初始目标或多个目标,并且使系统设置处于静态,至少到以其他方式编程为止,或者直到照明过程结束为止。在一个实施方式中,如果在主动照明过程中出现故障、失灵或意外行为,则可以将系统配置为默认为静态模式,并且可以用可用光源照明整个场景FOV,至少直到过程结束或终止为止。
在一个实施方式中,一个或多个单独的光源可被设置在相应的可配置模块中。在一个实施方式中,相应光源的分布性质、类型和大小,以及它们在模块中的布置可提供可定制的设置。例如,根据使用情况,可以定制安装和设置,以减轻对显微镜或其他用于观察目标对象的FOV查看装置的干扰。在该实例中,一个或多个模块的配置可以减轻对象(诸如家具、设备)以及其他大体积对象的存在所造成的照明干扰。在另一个实例中,一个或多个模块和/或单个光源的配置可以减轻在受限视场中对象的存在或可能存在所造成的照明干扰。在一个非限制性实例中,对象可以是大小会干扰放大的受限视场区域的对象。
在一个实施方式中,示例性照明系统可以诸如借助于预先确定的声音模式以及/或者通过视觉用户界面向用户提供感官反馈,该视觉用户界面还可以提供控制命令、历史记录、命令确认,以及当前系统状态和即将发生的事件,等等。
在一个实施方式中,示例性照明系统和/或照明方法可包括光源阵列、控制系统、用户反馈子系统以及能够与系统外部的其他装置和/或网络进行通信的一个或多个通信部件。例如,光源系统可包括分别由单独的光源组成的一个或多个可配置模块。在该实例中,相应的光源可具有单独的运动控件和致动器。此外,在该实施方式中,控制系统可包括图像识别子系统(IRS)、运动控件、优化器子系统和/或记录器子系统。
在一个实施方式中,IRS可以将视场(FOV)可视化,并且可以利用照明阵列的光入射区域为FOV创建分区。例如,在激活时,IRS可以针对FOV平面以及FOV和照明阵列之间平行的平面处的对象运动动态地分析FOV,并且将该信息与所检测到的FOV平面中的任何目标对象的照明变化结合起来。在该实例中,基于IRS数据,位置优化器可以为灯阵列内配置的灯生成更新的灯配置参数。
作为说明性实例,在图1中描述了用于动态FOV处理的过程的描述。如示例性技术100中所示,可以在102处检测到视场(FOV),例如,由IRS可视化。视场可包括目标区域和/或对象或潜在对象(例如,可能潜在进入FOV的对象)。视场可受到约束。例如,视场可受到物理边界(例如,视线或外科显微镜放大区域)的约束。视场还可受到光学检测装置(例如,相机)参数的约束。例如,光学检测装置可受到像素数量、图像大小、光学吸收、色深、响应时间等的约束。与相应的约束相关联的参数可以被存储,并且由系统例如由优化算法用作限制参数。可基于约束参数来建立受限视场。在一个实例中,受限视场可以是整个视场的子集。在另一个实例中,受限视场可包括整个视场的多个不重叠的子集。
在示例性实施方式中,系统还可以包括在腹腔镜手术中使用的光学检测装置,并且限制参数可基于光学检测装置的光学参数,并且使用体内环境。
在104处,可以创建FOV的分区。作为说明性实例,如图2的示例性实施方式200所示,灯阵列202可被配置为具有一个或多个灯模块204。在该实例中,相应的灯模块204可被配置为例如至少基于灯阵列配置和FOV 206的诸如在分区中创建的几何形状来向预先确定的区208(例如,图1的104)提供照明。
返回图1,在106处,包括灯模块LI-Ln(例如,204)的灯阵列(例如,202)
可以被通电而进入预设配置,从而在108处为FOV提供照明。在110处,阵列可以例如使用相应的区(例如,208)和FOV(例如,206)开始动态扫描操作。在一个实施方式中,基于在112处从位于FOV中的对象或目标激活的动态照射反馈,动态扫描操作可以提供指示针对在FOV中检测到的情况的照明优化的数据。例如,FOV中的一个或多个对象可基于它们相对于一个或多个灯模块的取向在FOV中创建昏暗区(例如,由阴影创建)。因此,在该实例中,来自FOV照射的动态(例如,实时)反馈可提供可用于减轻FOV中的昏暗区域的数据,并且为所需任务提供所需的照明量和照明类型。
作为说明性实例,如图3所示,相应的灯模块304可配置有运动控件和致动器,使得能够改变在FOV的正交轴线上的入射区域的光束。在该说明性实例300中,可以至少基于灯模块304的平移和/或倾斜,将基础照明区308调节为交替照明区310,从而导致FOV处照射入射的变化。返回图1,在114处,位置优化器(例如,优化器子系统)可以解析相应的灯阵列的1-n个活动灯模块(例如,204)。
优化器子系统可以例如包括优化算法。在非限制性实例中,可以在受控环境中通过机器学习过程来生成(例如,训练)优化算法,在该受控环境中,该算法在一段时间内得到改进和优化。在另一个实例中,优化子系统的优化算法可以是可配置的,并且可以(例如,基于环境、几何或性能要求)更改和/或更新。
优化器算法还可以包括预测逻辑,使得动态扫描数据可以用于预测对象在受限视场内的将来位置。例如,动态扫描数据可提供一个或多个移动对象的多次读取。优化器算法的预测逻辑可以在受限视场内的实际干扰检测之前提供光干扰的预测。可以用可从优化器子系统发送到一个或多个相应的灯模块的调节数据来主动校正此类提前预测的光干扰。
在另一个示例性实施方式中,通过对小于光学检测装置(例如,相机)实际视场的视场的限定区域的约束进行数学模拟,可以在非物理受限设置中使用预测逻辑。
返回图1,作为(例如,来自优化器子系统的)确定的调节的结果,在116处,照明模块1-n可以分别调节其相应的X轴、Y轴、和Z轴。在118处,灯模块1-n可以相应地调节其相应的第二参数(例如,亮度)。在120处,灯模块1-n可以相应地调节其相应的n个参数(例如,亮度、颜色、波长、偏振、焦点等)。该过程可以在114处进行迭代,至少直到不再需要优化和/或FOV中的操作已经完成为止。
在一方面,诸如本文所述的照明系统可以是模块化的可扩展照明系统。例如,模块化的可扩展照明系统可用于照明具有各种大小和特性的FOV,并且包括各种操作。图4是示出示例性照明系统400的一个实施方式的示意图,该示例性照明系统可以是模块化的可扩展照明系统。在该实例中,系统400、主电源450可以向一个或多个模块化部件(例如,子系统)诸如图像识别部件404和阵列控制部件406提供动力(例如,电力)。如上所述,并且如图所示,图像识别部件404可以从包括目标操作/对象/目标的视场402接收反馈(例如,图像、数据、照射等)。例如,反馈可用于生成用于调节相应的灯模块来产生用于目标区域的所需照明的数据。在该示例性实施方式400中,图像识别部件404可包括图像采集部件,诸如用于相应的1-n灯模块;图像处理模块,用于处理图像;以及通信模块,用于与一个或多个其他部件进行通信。
此外,在实例中,系统400、阵列控制部件406可被配置为提供数据、电力和其他信号以控制一个或多个灯模块。例如,图像识别部件404可以向阵列控制部件406提供指示视场402的一个或多个特性诸如目标对象、照射、对象的位置、矢量等的数据。在该实例中,指示视场402的一个或多个特性的数据,与从使用过的输入/输出部件452提供的输入数据相结合,可用于控制一个或多个灯模块408。在该实施方式中,阵列控制部件406可包括通信模块,用于与一个或多个其他部件进行通信;主处理器,用于处理数据;位置优化器(例如,包括一个或多个优化算法的优化器子系统),用于生成指示FOV 402中的优化照明的数据;以及事件记录器,用于收集和记录事件数据。在一个实施方式中,输入/输出部件452可用于接收来自用户的输入,其中该输入指示用于示例性系统400的指令,以及/或者可用于向系统信息的用户提供输出,诸如视觉和/或听觉指示符。
如示例性实施方式中所示,示例性系统400可包括一个或多个灯模块408。例如,一组灯模块408可包括第一灯模块410和n个附加的灯模块412(例如,一个或多个附加的模块)。例如,可以在示例性系统400中利用灯模块412的n个集合,并且实际数量、位置、类型和大小可取决于预期使用受限视场的情况、所执行的操作类型和/或所需的照明特性类型。
在该实施方式中,相应的照明模块410、412可包括CPU,该CPU具有用于处理数据(例如,操作指令)的电源;以及I/O转换器,用于接收数据并且传输响应数据。此外,相应的模块可包括一个或多个驱动器板,用于向相应的独立的灯阵列提供指令信号和/或电力;分别与用于调节光源(例如,平移和/或倾斜)的致动器(诸如,伺服器)耦接的一个或多个灯阵列,用于向视场402提供期望的照明。此外,在该实施方式中,可以控制相应的灯模块410、412以整体上或通过控制单个光源来调节灯模块的亮度、颜色、波长、偏振、焦点等。
这种照明系统和方法适于解决场景照明障碍、阴影、畸变以及对指定的场景FOV的照明均匀性产生影响的任何其他干扰源。适于解决不能同时照明多个照明目标的问题。当期望实时优化照明模式以解决器械使用或在光源和照明目标之间的其他对象的动态干扰时,本发明是适用的。本发明还适于解决操作灯具、照明和控制系统所需的对控制对象的无菌要求。
本发明适于但不限于在外科手术室或任何显微镜使用设置下照明用显微镜可见的外科手术过程。本发明还适于照明台式实验室在临床、化学和其他实验室环境下的规程和实践。本发明还适用于工作台工程、制造和机械以及修配车间的设置,这些设置由于其自身的配置、器械和对象的移动以及人为操纵或移动而容易受到照明干扰。本发明还适用于受益于无需接触照明装置或以其他方式与照明装置进行物理交互的任何照明设置。
图5示出了非限制性示例性环境500。环境的组成部分仅供参考,并且未按比例示出。例如,环境可以是手术室。手术室包含第一医疗设备502。例如,医疗设备502可以是光学检测装置,例如外科显微镜。外科显微镜具有视场504。外科显微镜502还具有受限视场506。受限视场506小于视场504。如上文更详细讨论的,可根据基于例如外科显微镜502的限制参数来建立受限视场。
目标508(例如,患者身体的一部分)位于视场504和受限视场506内。外科医生(未示出)可使用显微镜来创建目标508的一部分的放大视图。
手术室具有常规照明装置525。常规照明装置525照明包括目标508、视场504和受限视场506的房间。如上文更详细讨论的,由于阴影、反射、干涉和其他照明畸变,将在视场504和受限视场506中产生照明畸变。例如,第二医疗设备530可以从自常规照明装置525入射的光产生阴影或反射。例如,第二医疗设备530可以是机架或其他医疗装置。
动态照明控制系统512和照明模块510A和/或510B(例如,如先前更详细描述的系统400)可用于减轻由外科显微镜502拍摄的图像以及由外部光学系统540拍摄的图像中的照明畸变。外部光学系统540例如可以是作为医疗导航系统的一部分的立体相机。在该非限制性实例中示出了两个照明模块510A和510B,但也可以使用单个照明模块(例如,510A或510B)。在另外的实例中,可以使用两个以上的光模块(例如,可采用n个模块)。此外,灯模块510A和灯模块510B被示出为位于
外科显微镜502上或与之相邻。但任何灯模块组合,即单个、多个、两个以上(plural)的灯模块组合,都可以位于环境500中的任何位置,这些位置至少允许至目标508和视场504和受限视场506的部分视线。
在实例中,可以将对象520引入视场504和/或对象508附近的受限视场506中。对象520可以是例如外科器械(例如,导航指示器)。对象520的引入可导致目标508的照明发生不希望的变化。例如,对象520的引入可导致阴影、反射、干涉和/或其他照明畸变,如先前更详细讨论的。为了校正这些照明畸变,例如可以使用动态照明控制系统512以及照明模块510A和/或510B,例如以上更详细描述的示例性技术100中所描述的。如前所述,动态照明控制系统512和照明模块510A和/或510B的此类校正可以自动完成或由例如外科医生手动完成。
如前所述,动态照明控制系统512和照明模块510A和/或510B进行的校正可以是预测性的。例如,动态照明控制系统512和灯模块510A和/或510B可以通过预测由对象520从视场504移动到受限视场506中引起的照明畸变来预先制止对可能的照明畸变的校正。其他预测方面可以通过利用外科显微镜502和/或外部光学系统540先前捕获的图像来进行,以使用例如优化器系统的预测逻辑来创建基于时间的进程,如先前更详细讨论的那样。
词语“示例性”在本文中用来表示用作示例、实例或说明。本文中被描述为“示例性”的任何方面或设计不必被解释为优于其他方面或设计。相反,词语“示例性”的使用旨在以具体方式呈现概念。如在本申请中使用的,术语“或”旨在表示包含性的“或”而不是排他性的“或”。也就是说,除非另有说明或从上下文可以清楚得知,否则“X采用A或B”旨在表示任何自然的包含性排列。也就是说,如果X采用A;X采用B;或者X采用A和B两者,则前述任何情况都满足“X采用A或B”。此外,A和B等中的至少一者通常意指A或B或A和B两者。此外,本申请和所附权利要求书中使用的冠词“一个”(“a”和“an”)通常可以解释为意指“一个或多个”,除非另有说明或从上下文可以清楚地理解为单数形式。
尽管已经用结构特征和/或方法动作特定的语言描述了主题,但应当理解,所附权利要求书中定义的主题不必限于上述的特定特征或动作。相反,上述特定特征和动作作为实现权利要求的示例性形式公开。
如在本申请中所使用的,术语“部件”、“模块”、“系统”、“接口”等通常旨在表示与计算机有关的实体,可以是硬件、硬件和软件的组合、软件或执行中的软件。例如,部件可以是但不限于在处理器上运行的进程、处理器、对象、可执行文件、执行线程、程序和/或计算机。作为说明,在控制器上运行的应用程序和控制器两者都可以是部件。一个或多个部件可以驻留在执行的进程和/或线程中,并且部件可位于一台计算机上以及/或者分布在两台或更多台计算机之间。
此外,可以使用标准编程和/或工程技术产生软件、固件、硬件或它们的任何组合来控制计算机以实现所公开的主题,从而将所要求保护的主题实现为制造方法、设备或制品。本文所使用的术语“制品”旨在涵盖可从任何计算机可读装置、载体或介质访问的计算机程序。当然,本领域的技术人员将认识到可以在不背离所要求保护的主题的范围或精神的情况下对该配置进行许多修改。
此外,尽管已经相对于一个或多个实施方式示出和描述了本公开,但是基于对本说明书和附图的阅读和理解,本领域的其他技术人员将想到等同的变更和修改。本公开包括所有此类修改和变更,并且仅由所附权利要求书的范围限制。特别是关于上述部件(例如,元件、资源等)执行的各种功能,除非另有说明,否则用于描述此类部件的术语旨在与执行所描述部件的指定功能的任何部件相对应(例如,在功能上等同),即使在结构上不等同于执行在本文中示出的本公开示例性实施方式中的功能的公开结构。此外,虽然本公开的特定特征可能已经关于若干实施方式中的仅一个实施方式公开,但是根据任何给定的或特定的应用可能期望的和可能对其有利的情况,这种特征可以与其他实施方式的一个或多个其他特征组合。此外,就具体实施方式或权利要求书中使用的术语“包括”(“includes”)、“具有”(“having”、“has”)、“带有”(“with”)或它们的变体的范围而言,此类术语旨在以类似于术语“包括”(“comprising”)的方式具有包含性。
在上文中已经描述了实施方式。对于本领域的技术人员而言显而易见的是,在不脱离本发明的总体范围的情况下,上述方法和设备可包括变化和修改。旨在包括所有此类修改和变更,只要这些修改和变更落入所附权利要求或其等同内容的范围之内。

Claims (14)

1.一种用于照明目标的系统,包括:
第一照明模块,所述第一照明模块将光引导向视场区域中的目标位置;
图像识别子系统,所述图像识别子系统基于限制参数建立包括所述目标位置的受限视场区域,并且检测所述受限视场区域中的对象;以及
运动控制子系统,所述运动控制子系统从所述图像识别子系统接收指示所述受限视场中所检测到的对象的数据,并且将指示照明调节的数据传输至所述第一照明模块,指示照明调节的所述数据基于指示所述受限视场区域中所检测到的对象的所述数据;
其中所述图像识别子系统包括具有预测逻辑的优化器子系统,所述预测逻辑预测在所述受限视场区域中检测到的所述对象的将来位置,并且指示所述照明调节的所述数据基于所述对象的所预测的将来位置;并且
其中所述预测逻辑基于所述对象的所述将来位置来提供光干扰的预测。
2.如权利要求1所述的系统,其中所述第一照明模块包括多个光源。
3.如权利要求1所述的系统,还包括第二照明模块,所述第二照明模块包括多个光源。
4.如权利要求1所述的系统,还包括光学检测装置,其中所述光学检测装置是外科显微镜,并且基于所述外科显微镜的光学参数来确定所述限制参数。
5.如权利要求1所述的系统,其中所述限制参数包括物理边界,所述物理边界包括以下项中的至少一者:
视线约束,或者
外科显微镜放大区域的约束。
6.如权利要求1所述的系统,其中所述限制参数包括光学检测装置约束,所述光学检测装置约束包括以下项中的至少一者:
像素数量、
图像大小、
光学吸收、
色深、
或响应时间。
7.如权利要求1所述的系统,其中指示照明调节的所述数据包括以下项中的至少一者:
亮度调节数据、
波长调节数据、
偏振调节数据、
或焦点调节数据。
8.一种照明目标的方法,包括:
由第一照明模块将光引导向视场范围内的目标位置;
由图像识别子系统基于限制参数在包括所述目标位置的所述视场内建立受限视场区域;
由所述图像识别子系统检测所述受限视场区域内的对象;
由所述图像识别子系统将指示所检测到的对象的数据传输至运动控制子系统;
由所述运动控制子系统将指示照明 调节的数据传输至所述第一照明模块,指示所述照明 调节的所述数据基于指示在所述受限视场区域中所检测到的对象的所述数据;
由所述第一照明模块基于所接收的指示所述照明调节的数据,将所述光引导向所述受限视场中的所述目标位置;以及
由优化器子系统的预测逻辑来预测在所述受限视场区域中检测到的所述对象的将来位置,并且指示所述照明调节的所述数据基于所述对象的所述预测将来位置;
其中所述预测逻辑基于所述对象的所述将来位置来提供光干扰的预测。
9.如权利要求8所述的方法,其中所述限制参数包括物理边界,所述物理边界包括以下项中的至少一者:
视线约束,或者
外科显微镜放大区域的约束。
10.如权利要求8所述的方法,其中所述限制参数包括光学检测装置约束,所述光学检测装置约束包括以下项中的至少一者:
像素数量、
图像大小、
光学吸收、
色深、
或响应时间。
11.如权利要求8所述的方法,其中指示照明调节的所述数据包括以下项中的至少一者:
亮度调节数据、
波长调节数据、
偏振调节数据、
或焦点调节数据。
12.一种用于照明目标的系统,包括:
第一照明模块,所述第一照明模块将光引导向视场区域中的目标位置;
图像识别子系统,所述图像识别子系统基于限制参数来建立包括所述目标位置的受限视场区域;
对象检测部件,所述对象检测部件用于检测所述受限视场区域之外的所述视场区域中对象;
优化器子系统,所述优化器子系统基于在所述受限视场区域之外的所述视场中所检测到的对象来预测所述受限视场中的光干扰的形成,并且基于所预测的光干扰来生成照明调节数据;以及
照明模块调节部件,所述照明模块调节部件从所述优化器子系统接收所述照明调节数据,并且将所述照明调节数据传输至所述第一照明模块;
其中所述优化器子系统包括预测逻辑,所述预测逻辑预测所述对象在所述受限视场内的将来位置,并且指示所述照明调节的所述数据基于所述对象在所述受限视场内的所述预测将来位置;并且
其中所述预测逻辑基于所述对象在所述受限视场内的所述将来位置来提供光干扰的预测。
13.如权利要求12所述的系统,其中所述限制参数包括物理边界,所述物理边界包括以下项中的至少一者:
视线约束,或者
外科显微镜放大区域的约束。
14.如权利要求12所述的系统,其中所述限制参数包括光学检测装置约束,所述光学检测装置约束包括以下项中的至少一者:
像素数量,
图像大小,
光学吸收、
色深、
或响应时间。
CN201980032789.XA 2018-04-18 2019-04-18 外科显微镜中受限视场的照明 Active CN112119340B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862659221P 2018-04-18 2018-04-18
US62/659,221 2018-04-18
PCT/US2019/028074 WO2019204579A1 (en) 2018-04-18 2019-04-18 Confined field of view illumination in surgical microscopy

Publications (2)

Publication Number Publication Date
CN112119340A CN112119340A (zh) 2020-12-22
CN112119340B true CN112119340B (zh) 2022-07-12

Family

ID=66429604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980032789.XA Active CN112119340B (zh) 2018-04-18 2019-04-18 外科显微镜中受限视场的照明

Country Status (5)

Country Link
US (1) US11467389B2 (zh)
EP (1) EP3781976A1 (zh)
CN (1) CN112119340B (zh)
CA (1) CA3100816A1 (zh)
WO (1) WO2019204579A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6810812B2 (ja) * 2017-09-13 2021-01-06 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法及びプログラム
FI130350B (fi) * 2019-03-12 2023-07-05 Planmeca Oy Operaatiovalaisin hammashoitoa varten
KR102243079B1 (ko) * 2019-06-28 2021-04-21 주식회사 스몰머신즈 광원 위치를 보정하기 위한 현미경 장치 및 그 방법
DE102019129932B4 (de) * 2019-11-06 2023-12-21 Technische Universität Braunschweig Optische Detektionseinrichtung und Verfahren zum Betreiben einer optischen Detektionseinrichtung
EP4096562A1 (en) 2020-01-31 2022-12-07 American Sterilizer Company Surgical light head with beam spreading and adjustable power balancing
US11659642B1 (en) 2021-12-06 2023-05-23 American Sterilizer Company Surgical lighting system co-illumination detection

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106456267A (zh) * 2014-03-28 2017-02-22 直观外科手术操作公司 器械在视野中的定量三维可视化

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3723009A1 (de) 1987-07-11 1989-01-19 Heraeus Gmbh W C Operationsleuchte
US20020159146A1 (en) 2001-04-26 2002-10-31 Leica Microsystems Heidelberg Gmbh Apparatus and process for changing the illumination power in a microscope
US6880957B2 (en) 2002-03-28 2005-04-19 Mark Wayne Walters Lighting apparatus with electronic shadow compensation
US9955551B2 (en) 2002-07-12 2018-04-24 Yechezkal Evan Spero Detector controlled illuminating system
MX2007016046A (es) * 2005-06-13 2008-03-10 Tripath Imaging Inc Sistema y metodo para re-ubicar un objeto en una muestra en un portaobjetos con un dispositivo de imagen de microscopio.
JP5087745B2 (ja) 2005-09-26 2012-12-05 国立大学法人浜松医科大学 複数の観察手法を用いた顕微鏡細胞観察・検査システム
DE102006028530A1 (de) 2005-11-11 2007-05-16 Till I D Gmbh Mikroskopvorrichtung
US8040597B2 (en) 2006-05-16 2011-10-18 Olympus Corporation Illuminating device
JP4933878B2 (ja) 2006-11-07 2012-05-16 オリンパス株式会社 顕微鏡装置
EP2099377B1 (en) * 2007-06-18 2013-10-30 BrainLAB AG A method and system for integrating image information from an external source
EP2136128B1 (de) 2008-06-20 2011-01-19 TRUMPF Medizin Systeme GmbH + Co. KG Operationsleuchte
US8890946B2 (en) * 2010-03-01 2014-11-18 Eyefluence, Inc. Systems and methods for spatially controlled scene illumination
EP2495487B1 (de) 2011-03-02 2014-06-11 TRUMPF Medizin Systeme GmbH + Co. KG Operationsleuchte und Verfahren zum Ausleuchten einer Operationsstelle
US9757206B2 (en) 2011-08-21 2017-09-12 M.S.T. Medical Surgery Technologies Ltd Device and method for assisting laparoscopic surgery—rule based approach
US20140368904A1 (en) 2012-02-29 2014-12-18 Agilent Technologies, Inc. Software Defined Microscope
US9587804B2 (en) 2012-05-07 2017-03-07 Chia Ming Chen Light control systems and methods
US9788906B2 (en) 2013-03-15 2017-10-17 Synaptive Medical (Barbados) Inc. Context aware surgical systems for intraoperatively configuring imaging devices
JP6150586B2 (ja) 2013-03-29 2017-06-21 オリンパス株式会社 顕微鏡
DE102013012231B4 (de) 2013-07-23 2022-07-14 Drägerwerk AG & Co. KGaA Verfahren für die Verbesserung der Ausleuchtung eines Ausleuchtbereichs einer Ausleuchtvorrichtung
JP6313776B2 (ja) 2013-10-07 2018-04-18 オリンパス株式会社 単一発光粒子検出を用いた光分析装置、光分析方法及び光分析用コンピュータプログラム
WO2016138063A1 (en) 2015-02-24 2016-09-01 Nanoscopia (Cayman), Inc. Microscope assembly
CA2999952C (en) * 2015-09-26 2023-08-15 Synaptive Medical (Barbados) Inc. Tracked suction tool
US10240751B2 (en) 2016-03-24 2019-03-26 TurningMode, LLC Systems and methods of illumination

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106456267A (zh) * 2014-03-28 2017-02-22 直观外科手术操作公司 器械在视野中的定量三维可视化

Also Published As

Publication number Publication date
US11467389B2 (en) 2022-10-11
CA3100816A1 (en) 2019-10-24
US20190324253A1 (en) 2019-10-24
CN112119340A (zh) 2020-12-22
EP3781976A1 (en) 2021-02-24
WO2019204579A1 (en) 2019-10-24

Similar Documents

Publication Publication Date Title
CN112119340B (zh) 外科显微镜中受限视场的照明
JP6850648B2 (ja) 可変焦点距離撮像システム
JP5404428B2 (ja) コンピュータ制御された照明システム
DE102018206406B3 (de) Mikroskopiesystem und Verfahren zum Betrieb eines Mikroskopiesystems
US9602715B2 (en) Adaptable operating frequency of a variable focal length lens in an adjustable magnification optical system
JP2021082329A (ja) 視標追跡システム
US10240751B2 (en) Systems and methods of illumination
US20140066722A1 (en) Surgical Lamps and Methods for Illuminating Operating Sites
EP3539732A1 (en) Appearance inspection system, setting device, image processing device, inspection method, and program
CN105658170A (zh) 用于改善照明设备的照明区域的照明的方法
JP2011186928A (ja) 情報処理装置および情報処理装置の制御方法
US9678326B2 (en) Generating perspective views in microscopy
JP5096955B2 (ja) 観察装置の制御方法および観察装置ならびに観察装置の制御プログラム
JP2014103958A (ja) 植物生育環境制御システム及び植物生育環境制御方法
US10754137B2 (en) Microscope apparatus
CN113873960B (zh) 用于对象跟踪的照明系统和方法
EP4354394A2 (en) Camera tracking system for computer assisted surgery navigation
EP2760257A1 (en) Lighting arrangement
US10682186B2 (en) Visualization system having an illumination apparatus
US20220057618A1 (en) Microscope system with an input unit for simultaneously adjusting at least three adjustment parameters by means of an input pointer that is positionable in an input area
JP2024149432A (ja) 自動的な影形成補償を備える照明装置および照明方法
US20230310089A1 (en) Method for operating a robotic visualization system, and robotic visualization system
Teuber et al. Optimized positioning of autonomous surgical lamps
US20240151957A1 (en) Microscopy system and method for operating a microscopy system
US20240080956A1 (en) Illumination device and illumination process with contrast variation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant