CN116269172A - 带有自适应照明控制的内窥镜系统 - Google Patents

带有自适应照明控制的内窥镜系统 Download PDF

Info

Publication number
CN116269172A
CN116269172A CN202211577539.4A CN202211577539A CN116269172A CN 116269172 A CN116269172 A CN 116269172A CN 202211577539 A CN202211577539 A CN 202211577539A CN 116269172 A CN116269172 A CN 116269172A
Authority
CN
China
Prior art keywords
scene
illumination
images
determining
correspondence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211577539.4A
Other languages
English (en)
Inventor
J·博梅特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Karl Storz Se Imaging
Original Assignee
Karl Storz Se Imaging
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Karl Storz Se Imaging filed Critical Karl Storz Se Imaging
Publication of CN116269172A publication Critical patent/CN116269172A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0605—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for spatially modulated illumination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0607—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for annular illumination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0676—Endoscope light sources at distal tip of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0684—Endoscope light sources using light emitting diodes [LED]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2461—Illumination
    • G02B23/2469—Illumination using optical fibres
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Endoscopes (AREA)

Abstract

本发明公开了带有自适应照明控制的内窥镜系统，并且涉及一种用于为带有多个发光元件(诸如不同的光纤或不同的远侧发光二极管(LED)等)的内窥镜产生自适应照明控制的方法。可以在每个光的基础上局部地调整递送到场景的光量，以管理场景的动态范围。例如，高反射金属工具可以受益于减少的光，而腔室可以受益于投射到内腔中的增加的光。

Description

带有自适应照明控制的内窥镜系统
技术领域
本发明涉及一种用于观察器械(诸如内窥镜)的照射系统的系统。更具体地，本发明涉及一种用于内窥镜自适应照明控制的装置以及对应的方法。
背景技术
当今许多医学调查和外科手术程序都是通过内窥镜手段执行的。因此，患者的压力可以大大降低。然而，由于内窥镜通道导致视野减小，因此内窥镜程序需要操作者进行大量练习，以准确估计到要执行外科手术操纵的内部身体腔室的表面的距离。这些设备通常用于具有挑战性的高动态范围(HDR)场景，该场景可以包括来自湿解剖体、深内腔和高反射金属工具的镜面高光。很难适当地曝光此类场景，因为成像器的每个像素所接收的信号量可能显著变化。
现有的HDR技术具有各种缺点。通常，组合不同曝光下的图像的算法需要在每个图像的瞬时动态范围中的一定量的重叠。由于与高光或金属工具相关联的光强度可能比周围组织亮许多数量级，因此可能需要获取跨越这些极端的在相邻曝光中具有足够的重叠的不合理数量的图像。
图1A图示了用于传统内窥镜10的基础照射系统100。通常，内窥镜10具有通过物镜14的固定视线12。内窥镜场视场16由照射场18覆盖，照射场18通常由远程光源11产生并经由光纤光导13传输。照射场18被设计为覆盖整个视场16，以确保均匀的图像亮度。为此，照射场18通常被设计成关于物镜14径向对称，其中光从均匀分布的光纤出口15发出，如图1B所示，或者从单个环形出口17发出，如图1C所示。
授予Todd等人的题为“ENDOSCOPE WITH INTEGRATED LIGHT SOURCE”的美国专利No.7,668,450B2教导了一种用于内窥镜成像系统的基于LED的光源单元，该光源单元通过内窥镜为摄像机产生照射。该光源单元包括安装到导热基板的LED阵列。该光源单元集成到内窥镜的近端，并直接耦合到延伸到内窥镜的尖端的光纤。多个这样的光源单元可以集成到内窥镜的壳体中。从每个光源单元发出的光被引导到内窥镜的尖端的独特部分，并且医生可以在外科手术期间控制每个个体光源单元的光输出。然而，该参考文献需要手动控制光源单元和色温操纵。这种手动控制是不希望的，因为它需要医生在内窥镜程序期间手动控制照明，并且可能是医生不希望的负担。
授予Niida的题为“ENDOSCOPE APPARATUS”的美国专利公开No.20090149713A1教导了一种内窥镜装置，该内窥镜装置包括CCD和用于照射视野以用于进行CCD的图像拾取的多个LED。在该参考文献中，图像被划分成网格，并且照射器以相同的方式进行结构化。多个LED以简单的方式布置在与每个LED所照射的区域相对应的位置，即，左上方的照射器以一对一的对应关系命中左上方的网格区域，这似乎贯穿始终使用。Niida没有考虑或描述当照射区可能重叠时如何执行自适应照明控制，或者如何管理控制重叠的多个照射器的情况，或者这种重叠的细节将如何根据场景几何形状而变化。近对象相对于远对象或中心对象相对于偏心对象等全部将趋于破坏这种网格假设。
授予Govari等人的题为“OTOSCOPE WITH CONTROLLED ILLUMINATION”的美国专利No.10,594,946B2教导了多个照射器以及处理器，这些照射器围绕物镜布置并被配置为照射对象，该处理器被耦合以响应于信号差分地调整由照射器发射的相应光强度并且不像先前的参考文献那样假设一对一的对应关系。他们描述了使用平面目标来校准系统，以获得矩阵，该矩阵制定出光源叠加在目标上的方式。他们还承认，对于除此平面校准目标之外的任何其他项，由于场景的3D结构，将存在此映射的失真。他们基本上使用校准结果作为未知目标的初始种子，并且然后进行差分调整，直到针对当前场景重新校准照射。
专利申请DE102006017003A1教导了一种用于深度采集的内窥镜，在该内窥镜中，发射经调制的光信号，并且使用接收到的光信号的调制参数来计算深度数据。经由用作分束器的平面半透明反射镜，光束可以由两个图像传感器接收，其中一个图像传感器捕获用于生成3D数据的调制参数，而另一个图像传感器被提供用于捕获内窥镜场景的视觉图像。
在US2006/0025692A1中，描述了一种用于生成内窥镜荧光图像的内窥镜装置，使得例如利用超声、微波或激光操作的距离测量单元生成距离信号。然而，参考文献没有描述如何使用投射分束器的公共中心，使得光到区域的对应关系不是暂且假设的，而是由任意场景几何形状的光学设计确定的。
专利申请DE102008018636A1教导了一种用于内窥镜3D数据采集的装置，该装置包括用于至少生成经调制的测量辐射的光生成构件、用于将测量辐射传输到待观察对象上的光传输构件以及用于将来自待观察对象的信号辐射成像到相敏图像传感器上的光成像构件，该专利申请通过引用全部并入本申请中。通过评估由相敏图像传感器提供的数据，生成关于被观察对象的3D数据。该装置无法预测绝对3D数据的收集。
公开WO94/03100教导了一种用于描绘身体内部的方法，其中空间数据场与位于特定位置的身体相关联，并且连续地记录视频摄像机的空间位置，在摄像机之前安装有内窥镜。此外，计算在每种情况下对应于视频摄像机的当前视角的数据场的描绘，并且在监视器上同时显示光学图像和数据场。借助于用户的输入过程，数据场的一个或多个特征点与屏幕上的相关联的光学描绘相协调。对于数据场，可以使用三维重建，该三维重建是从一个或多个先前拍摄的视频记录中获取的，经由超声或通过立体测量分析的距离测量与该三维重建相关联。然而，超声距离测量仅允许收集相对少的数据点，而立体测量分析仅限于高对比度表面。因此，并且由于用户的必要交互，该方法的可用性和由此产生的优点受到限制。
专利DE10200408164B3公开了一种用于产生身体内部的虚拟3D模型的至少一部分的装置，该装置包括内窥镜；定位系统，其带有惯性感测系统以记录内窥镜的位置和定向；以及距离测量系统，其用于获取内窥镜距身体内部的表面上的至少一个点的至少一个距离，该专利申请通过引用全部并入本申请中。借助于通过内窥镜发射的激光束在三角测量基础上或通过激光束的运行时测量，或者借助于由内窥镜投射到身体内部的表面上的图案或通过超声，来测量距离。根据由距离测量系统记录的身体内部的表面上的点，产生身体内部的表面的虚拟模型的一部分。因为这需要从内窥镜的多个不同位置和定向进行距离测量，所以只能实现相对低的空间分辨率。
在
Figure BDA0003989497630000031
等人在《微创治疗》第19期(2010年)：282-273中的“SpatialOrientation in Translumenal Surgery”的一篇文章中，描述了一种柔性内窥镜，其近端行安装有飞行时间(TOF)传感器。惯性传感器位于内窥镜的远端，以便基于重力建立内窥镜图像或提供校正的图像水平。然而，惯性传感器需要相对大的结构面积，并且因此不能容易地集成到远端部分，特别是在具有小直径的柔性内窥镜中。
发明内容
因此，本发明的目的是提供一种用于提供自适应照明的镜(scope)的照射系统。
本发明的另一个目的是提供一种用于可以使用多个照明元件提供照射的镜的照射系统，其中照明元件和场景区域之间的对应关系不是假定的，而是计算的。
本发明的又一个目的是提供一种用于可以提供白光(WL)和红外(IR)照射的镜的照射系统。
本发明的另一个目的是提供一种用于自动调整所捕获的场景的照射而不需要用户手动调整的镜的照射系统。自适应照明可以例如通过执行基于电子的软件和/或硬件来自动执行。
为了克服现有技术的缺陷并实现所列出的目的和优点中的至少一些，本申请包括一种内窥镜系统，该内窥镜系统包括位于远端的多个照明元件，用于捕获由多个照明元件照射的场景的第一组一个或多个图像的摄像头，以及包括至少一个过程的软件和/或硬件，其中该至少一个过程被配置为：基于第一组一个或多个图像确定场景的多个区域的对应关系，确定多个区域处的所测量的光强度，基于该对应关系和所测量的光强度来确定照明元件的驱动强度，并使照明元件施加该驱动强度。
附图说明
图1A-图1C是现有技术中存在的内窥镜照射系统的示意图。
图2是根据本公开的一个或多个实施例的用于自动化内窥镜设备动作的示例过程流程图。
图3描绘了根据本公开的一个或多个实施例的示例混合过程和数据流。
图4是根据本公开的一个或多个实施例的用于确定自动化动作的示例过程流程图。
图5描绘了根据本公开的一个或多个实施例的示例混合过程和数据流。
图6是根据本公开的一个或多个实施例的自动化内窥镜设备控制系统的示例用例。
图7示意性地图示了根据本公开的一个或多个实施例的神经网络服务器的示例架构。
详细描述参考附图进行阐述。提供附图仅用于说明的目的，并且仅描绘本公开的示例实施例。提供这些附图是为了促进理解本公开，并且不应被视为限制本公开的广度、范围或适用性。使用相同的附图标记指示相似但不一定相同或等同的部件；也可以使用不同的附图标记来标识相似的部件。各种实施例可以利用不同于附图中所示的元件或部件，并且一些元件和/或部件可以不存在于各种实施例中。根据上下文，使用单数术语来描述部件或元件可能包含多个此类部件或元件，反之亦然。
具体实施方式
现有的HDR技术具有各种缺点。通常，组合不同曝光下的图像的算法需要在每个图像的瞬时动态范围中的一定量的重叠。由于与高光或金属工具相关联的光强度可能比周围组织亮许多数量级，因此可能需要获取跨越这些极端的在相邻曝光中具有足够的重叠的不合理数量的图像。在某些情况下，减少成像器所看到的极端的自适应照明可能更有效，特别是当照射的动态范围与成像器的动态范围相当或远大于成像器的动态范围时。
在内窥镜摄像机系统以及外窥镜中，通常通过多个发光元件(诸如不同的光纤或不同的远侧LED等)提供照明。通过使用调光器机制(例如，LED的脉宽调制、数字光处理器/数字反射镜设备的使用、类似LCD的机制等)，可以在每个光的基础上局部地调整递送到场景的光量，以管理场景的动态范围。例如，高反射金属工具可以受益于减少的光，而腔室可以受益于投射到内腔中的增加的光。根据本文描述的各种实施例，分析过程的量可以引导场景的物理重新照明以改善照射质量。
本申请涉及与近侧摄像头、视频内窥镜和外窥镜一起使用的内窥镜系统，其中在该近侧摄像头处光经由两个或更多个照明元件(例如，光纤或LED)递送，视频内窥镜使用两个或更多个远侧LED，外窥镜带有用于照射的两个或更多个出口。照明元件可以被独立地控制，使得一些元件可以比其他元件更亮。此外，感兴趣的区域可以由多个照明元件以重叠的方式照射。例如，第一照明元件和第二照明元件可以投射到区域，使得它们部分重叠，一个完全重叠另一个，等等。在各种实施例中，这里描述的自适应照明控制可以用于使用可以具有重叠照射区域的多个照明元件将不同量的光(例如，光的强度)递送到不同区域。
在现有技术中，已经使用图像处理技术来捕获图像(“原始图像”)并执行数字成像后处理，以通过操纵图像强度值来数字地重新照亮场景。相反，根据本申请的实施例直接调制照射场景的光元件以实现类似的效果。这可以相对于使用数字增益来操纵曝光不足的传感器区域引起改善的噪声性能，并且在通常会过度曝光并在成像器上剪裁的区域中引起改善的高光行为。
本申请在外科医生希望看到金属切割工具和背景组织两者的切除器(resectoscope)应用中可能特别有用，但是来自伸出/缩回臂的不希望的反射在图像中引起不同程度的干涉。
本文所述的设备通常用于具有挑战性的高动态范围场景，该场景可以包括大范围的解剖体，该解剖体可以包括是高反射的区域和低反射的其他区域。例如，典型环境可以包括来自湿解剖体、深内腔和高反射金属工具的镜面高光。此外，某些区域(诸如腔室)可能需要更多的照射。这些高反射和低反射区域可能散布在场景中，使得难以适当地照射场景。因此，可能难以适当地曝光这样的场景，因为图像的每个像素所接收的信号量可能显著变化。
在至少一个实施例中，内窥镜尖端的远端可以至少包括分束器/投射器类型的系统，该系统使用公共投射中心，使得基于任意场景几何形状的光学设计来计算(而不是暂且假设)光与区域的对应关系。
在至少一个实施例中，照射元件不位于同一位置，并且立体三角测量技术可以用于计算光与区域的对应关系。可以使用结构化光来执行实时或近实时立体三角测量。在各种实施例中，分束器用于将红外图案(例如，星座)投射到场景上。红外图案可以具有预定的几何形状，诸如同心圆、水平和/或竖直条等等。投射的图案可以被捕获，并且然后被处理以识别基于图案所投射到的场景的几何形状的任何变形。基于这些变形，可以计算光与区域的对应关系，而不是暂且假设。可以使用红外或近红外波段来避免干扰可见光成像。当调整与特定NIR点相关联的白光照射点时，可以使用指示的相同的对应关系信息。可以使用与立体三角测量系统相关联的摄像机成像射线(可以称为“对应关系射线”)，并且场景照射射线可以具有比目前描述的更一般的关系。利用该方法，可以执行一次三角测量以确定相对于成像器的3D场景，并且可以计算附加三角测量以将照射射线与3D场景区域相关联。
在至少一个实施例中，动态调整投射到重叠区域上的多个照明元件(例如，LED)的强度。摄像头捕获视频帧，这些视频帧被分析以确定由特定照明元件主要照射的场景区域是过度曝光还是曝光不足。这些基于区域的图像度量继而用于计算对每个照明元件的驱动水平的适当调整。进一步的图像处理可以补偿不同区域接收不同光量的事实，例如，通过调整(例如，归一化)投射到每个区域上的光的强度。与后处理技术(如高动态范围(HDR)照射)相比，该方法具有各种优点。在HDR场景中，典型成像器的动态范围受到限制，并且照射可能超过典型成像器的范围。相比之下，通过调整相应照明元件的驱动水平而不是执行后处理调整，场景的反射率和照射可以被归一化，使得典型的成像器能够捕获高对比度场景内的色调值的整个范围。
本发明的一个方面是使用多个照明元件，其照射区域可以基于场景的地形而重叠和改变。不同的照明元件如何对场景的照射作出贡献可能计算起来是复杂的，涉及各种三维因素的确定，诸如到目标的距离、场景几何形状等，这些因素可能难以从捕获2D图像的摄像头中确定。例如，内窥镜可以用于提供体内中空器官或腔室的视频或图像，该器官或腔室具有变化的地形、深度等，这影响每个照明元件对特定像素或区域的照射贡献的程度。此外，当在内窥镜程序期间检查不同区域时，可以预期每个照明元件对每个像素的贡献会改变。
在至少一个实施例中，从内窥镜摄像机系统的视频馈送中提取图像。利用局部光水平的估计来计算基础图像，以便合成新图像，其中图像可以通过图像强度值的操纵来数字重新点亮(re-lit)。类似的局部强度信息可以用于直接调制照射场景的照明元件以实现类似的效果。这可以相对于使用数字增益来操纵曝光不足的传感器区域引起改善的噪声性能，并且在否则将过度曝光并在成像器上剪裁的区域中引起改善的高光行为。
确定哪些照明元件对应于所捕获图像的哪些区域可能不是不重要的，因为它通常取决于理解3D场景的不同元件如何映射到2D图像上。各种因素(诸如到目标的距离、场景几何形状等)影响不同照明元件如何贡献于场景的照射。
在至少一个实施例中，不可见波长的光可以用于将结构化图案投射到场景。这些结构化图案可以例如作为红外信号投射在可见光谱以外的波长上。可以使用范围从0.7微米至1.4微米的近红外(NIR)波长将星座图案空间编码到照射中。NIR或其他不可见光的使用不会干扰可见光成像。在某些情况下，可见光可以用于通过使用帧缓冲区临时投射结构化光帧——例如，如果摄像头以每秒60帧的速度捕获视频，则结构化光可以投射1/60秒、2/60秒等。在各种实施例中，通过在正常帧和通过使用帧缓冲区对用户隐藏的结构化光帧之间进行时间排序，将结构化图案投射在可见波长上。即使没有密集投射，诸如例如仅两个不同的光元件照射场景的左半部分和右半部分，系统也可以在仅左、仅右和左与右之间排序，例如，以将每个光元件的贡献与场景内的每个区域相关。
在至少一个实施例中，可以使用一个摄像机或多个摄像机的布置来投射图案(或多个图案的布置)。例如，可以使用深度摄像机来投射图案。深度摄像机的一个示例是微软的Kinect传感器，它发射光(例如红外光谱)并使用结构化光确定场景深度信息。可以使用投射的图案的一种方式是通过在已知的源光的射线和传感器接收到的图像射线之间进行三角测量来生成深度图。星座图案促进建立对应关系。根据本文描述的各种技术，可以使用光源和图像位置之间的这种对应关系信息来控制照明元件的照射的强度，以提供更好的场景的整体照射。
虽然上述技术包括通过使用投射的NIR结构化光图案的可见光成像，但本公开的原理不限于可见光成像。例如，本文描述的技术可以应用于其他类型的成像。相同的原理可以应用于吲哚菁绿(ICG)成像的情境中，其中可见光和NIR光的作用互换：在此类实施例中，可见光投射将用于使用可见光投射器来投射结构化光图案，并且NIR光用于激发光并且NIR摄像机用于对ICG发射成像。
如图2所示，根据本申请的附加实施例，内窥镜21包括细长柔性轴22。轴22包括柔性外轴23，该外轴在其远端部分以一个或多个远侧窗口24、24’结束。附加的光学、机械和电子部件被封闭在柔性外轴内。位于轴的近端部分中的是内窥镜头25，其例如可以包括用于控制内窥镜尖端(即远端部分26)的控制元件，以及冲洗和抽吸连接器(未示出)。此外，用于与光源连接的光导线缆以及电源和信号线缆也可以联接在内窥镜头25上(未示出)。
测量辐射和照射光通过光传导体27被引导到内窥镜21的远端部分26，并且在一些情况下，经由未示出的加宽透镜通过窗口24’被传到到内部身体腔室的表面区域。光传导体27由玻璃纤维束构成并且具有柔性配置。
信号辐射从腔室的表面的观察区域通过窗口24进入内窥镜物镜28，并被分束器29分成到达位于轴22的纵向方向上的远端部分26的图像传感器30的部分，以及传输到位于内窥镜头25中的图像传感器31的另一部分。为了将信号辐射的对应部分传输到图像传感器31，在轴22内放置由有序光纤束组成的柔性图像传导体32。在图像传导体32的远端表面33上，信号辐射的一部分由自适应透镜34成像。数值孔径由自适应透镜34调整，以允许光纤的最佳使用。根据未示出的实施例，图像传导体32可以粘结到分束器29的近端出口表面上，其中粘结剂优选地具有与光纤芯的折射率相等的折射率，或者在光纤芯的折射率和分束器29的折射率之间。从图像传导体32的近端表面35，成像透镜36在图像传感器31的传感器表面上生成图像。同样安装在轴22内部的电线37用于向远侧图像传感器30供电并用于数据传输。用于连接光传导体27或电线37以及用于将图像传感器31与未示出的控制和评估设备连接的光导线缆和电线缆可以连接到内窥镜头25。
另外未示出的位置感测或位置记录系统的线圈38、38’位于远端部分26中。线圈38、38’在其远端部分中环绕图像传导体32；线圈38、38’以这种方式可以位于轴22的内部，而轴直径基本上没有增大。至少在线圈38、38’的区域中，外轴23(以及在某些情况下，其他周围和加强件)是非金属构造的，以便不干扰位置感测系统的功能。未示出的电线从线圈38、38’在轴21内部被引导到内窥镜头25，并且同样不会导致轴直径的增大。因为线圈38、38’位于轴22的远端部分26中，所以线圈与轴的远端(特别是内窥镜物镜28、由其在远侧图像传感器30上生成的图像，以及经由自适应透镜34由内窥镜物镜28在图像传导体32的远端表面33上生成的图像)保持固定的几何关系。在各种实施例中，图像传感器31测量投射到场景上的结构化光(SL)图案，并由此基于SL图案的变形来确定与场景相关的3D数据。例如，可以将一系列水平和垂直条的预定图案投射到场景上，并且可以基于条在所捕获的图像中如何变形来确定3D信息。
图3以简化的示意图示出了作为本发明装置的一部分的柔性内窥镜50的附加实施例。图3所示的实施例与图2所示的实施例的不同之处在于，分束器52和图像传感器53不位于内窥镜50的远端部分51中，而是位于近端部分54中。图像传感器55也位于近端部分54中。分束器可以例如偏转信号辐射的一部分，以在图像传感器53上生成内部身体腔室的区域的可视图像，并且可以将用于生成3D数据的信号辐射的部分传递到图像传感器55上；图像传感器53和图像传感器55的布置也可以颠倒。
在图3中未示出的柔性轴内部，放置有柔性图像传导体56，来自观察区域的信号辐射通过象征性指示的内窥镜物镜57耦合到该柔性图像传导体56中。通过位于内窥镜50的近端部分54中且未示出的成像透镜以及在一些情况下的自适应透镜，在图像传感器53以及图像传感器55的传感器表面上生成观察区域的图像。位于内窥镜50的远端部分51中的是位置记录系统的两个线圈58、58’，其绕组以紧凑的布置环绕图像传导体58。如参考图2所解释的，利用由位置记录系统提供的数据，可以确定照明元件和所捕获的图像的场景区域之间的对应关系。
对于本发明装置的附加的未示出的实施例(其以其他方式如图2或图3所示配置)，图像传感器可以经由柔性图像传导体与轴的近端连接。因此，大大促进了内窥镜的操作。
图4图示了场景点X与成像器402、近红外(NIR)投射器404和白光投射器406之间的三焦点张量关系的示意图400。
场景可以指具有不同地形、深度等的身体中的中空器官或腔室的场景，并且场景点X可以指场景内的个体点。场景可以被捕获并渲染为2D图像，并且可以被各种投射器照射。例如，场景点X的射线可以穿过具有第一投射中心C的成像器402(例如，摄像头)的第一成像平面，并对应于成像器402处的第一像素x。以此方式，可以由成像器402构建场景的图像。同样，场景可以由投射器照射。NIR投射器404可以将NIR星座投射到场景上。通过x’投射的NIR星座点可以对应于场景点X，并且具有像素x”的可见光投射器打开以命中相同的场景点X。
NIR投射器404可以用于将预定图案投射到场景上，诸如同心圆、水平和/或竖直条等的图案。投射的图案可以在成像器402处被捕获，并且然后被处理以识别基于图案所投射到的场景的几何形状的任何变形。基于这些变形，可以计算光与区域的对应关系，而不是暂且假设。上述对应关系可以用于执行自适应照明技术。成像器402在x处测量的像素强度可以用于确定白光投射器406在x”处的驱动强度。可替代地，像素x的渲染可以调整(例如，归一化)x”处的已知驱动强度。
在一些实施例中，分束器用于通过在(一个或多个)投射器和(一个或多个)成像器之间建立公共投射中心来建立投射器的照射射线和摄像机的成像射线之间的对应关系。可以在制造时经由校准建立对应关系，使得其不会随着场景几何形状而显著变化，在此类实施例中，可以避免立体三角测量。
根据至少一个实施例的一个方面，内窥镜包括带有独立驱动强度的多个照明元件。照明元件的示例包括光纤、分立LED、数字微镜设备等等。多个照明元件可以被配置为照射重叠或潜在重叠的区域。在此上下文中的依赖性控制可以指彼此结合考虑的第一照明元件和第二照明元件的驱动强度。例如，如果第一照明元件和第二照明元件重叠一个区域，则可以计算第一照明元件与第二照明元件的驱动强度，使得它们的第一驱动强度和第二驱动强度的组合强度处于期望的水平。可以依赖性地控制多个照明元件的驱动强度以对场景照明。
根据至少一个实施例的一个方面，本文描述了一种动态确定哪些照明元件照射区域的哪些部分的方法。可以编程地并且实时或近实时地执行确定。这可能不同于常规技术，在常规技术中照明元件与区域的对应关系可以是固定的和/或假设是固定的。这样的假设对于内窥镜中的使用可能是不现实和/或不切实际的，因为内窥镜程序期间所捕获的场景的几何形状可能不同，使得平面几何形状和/或对应关系的假设可能导致较差或低于标准的照明。
根据至少一个实施例的一个方面，本文描述了一种可能使用双边滤波器实时或近实时地确定场景内的多个区域的光强度的方法。
根据至少一个实施例的一个方面，本文描述了一种基于每个场景区域的所测量的强度导出每个照明元件的适当驱动水平的方法。在各种实施例中，可以以编程方式实时或近实时地协调作用于稍微独立的场景区域上的多个独立光源的控制。例如，可以存在多个光元件贡献照射的某些场景区域，并且信号可以在光元件之间适当地分割。提供给反射率较高的区域(例如，金属器械所在的区域)的驱动强度可以降低，提供给其他区域(诸如身体腔室)的驱动强度可以增加，以提供对内部身体腔室的更大可见性，等等。
根据至少一个实施例的一个方面，本文描述了一种执行运动跟踪和预测以识别帧中的不同对象并基于对象的属性调整照射水平的方法。例如，可以提取视频的帧以识别对象，诸如金属工具。金属工具可以是高反射的，并且可以调整对金属工具所在的场景区域有贡献的照明元件，以降低递送到该区域的光的总体强度。一旦对象被识别为高反射，就可以在对象移动时在场景中跟踪该对象，并且可以将降低的光强度递送到对象移动时所占据的场景的区域。在某些情况下，为金属工具确定降低的强度水平，并且当工具在场景中移动时，为该工具占据的帧区域保持该降低的强度水平。
图5描绘了根据至少一个实施例的用于内窥镜自适应光的过程500，该过程可以使用多个照明元件来执行，这些照明元件的照射区域可以基于场景的地形而重叠和改变。每个照明元件与场景的对应关系可以按这种方式是非固定的，即假设对应关系是不利的或不切实际的。可以在第一步骤502中初始化照明系统，以在相等的驱动强度应用于所有照明元件的情况下捕获标准图像。这可以用于识别过度曝光和/或曝光不足的区域。例如，金属器械可以是过度曝光的。
在第二步骤504中，每个照明元件可以与受影响的场景区域相关。这可以以各种方式执行。例如，一次可以打开一个照明元件，以隔离每个照明元件对场景的影响。这可以作为校准过程的一部分执行。照明元件与其受影响的场景区域的对应关系可以连续计算，按照方案计算，等等。在一些实施例中，以循环方式计算照明元件的对应关系。例如，可以扰动第一照明元件(例如，强度增加或减小)，可以捕获扰动对场景的影响以确定第一对应关系，并且然后可以不扰动第一照明元件(例如，反转驱动强度的增加或减少)。然后，第二照明元件可以被扰动以确定第二对应关系，并且然后一旦确定了第二对应关系，就不扰动第二照明元件，依此类推。在一些实施例中，基于摄像头的帧捕获速率来校准扰动。例如，如果摄像头以每秒60帧(60fps)捕获视频帧，则照明元件可以连续一次一个地扰动1/60秒。例如，如果存在6个照明元件，则可以在1/10秒内建立所有6个照明元件的对应关系。
在各种实施例中，结构化光可以用于确定照明元件与其照射区域的对应关系。结构化光是将已知图案(例如网格或水平条)投射到场景上的过程。这些光在撞击表面时变形的方式允许视觉系统计算场景中的对象的深度和表面信息，如结构化光3D扫描仪中所使用的那样。确定投射的图案如何变形可以用于建立照明元件和场景区域之间的对应关系。在各种实施例中，可以使用范围从0.7微米至1.4微米的近红外(NIR)波长将星座图案空间编码到照射中。NIR或其他不可见光的使用不会干扰可见光成像。在某些情况下，可见光可以用于通过使用帧缓冲区临时投射结构化光帧。
在各种实施例中，一旦计算了每个照明元件的对应关系，第三步骤506包括计算每个照明元件适当的驱动强度，以确定如何更好地曝光每个区域。例如，可以通过降低对应于过度曝光的区域的照明元件的任何适当组合的驱动强度来校正过度曝光的区域。应当注意，不同的场景区域可能需要不同的照射水平，并且该照射可以由影响相应区域的多个照明元件的阵列中的任何一个提供。例如，考虑具有9个场景区域的说明性场景，这些场景区域被组织为3x3正方矩阵。每个场景区域的强度可以被测量为I1,1至I3,3：
I1,1 I1,2 I1,3
I2,1 I2,2 I2,3
I3,1 I3,2 I3,3
还假设例如存在n个照明元件。每个照明元件可以与每个场景区域相关，以确定每个区域如何受照明元件的驱动强度影响的权重。每个照明元件w1...n对每个区域的总体贡献Wx,y可以定义为：
Figure BDA0003989497630000131
可以对每个区域的总体贡献进行归一化，使得wi x,y表示第i个照明元件对区域x,y的强度贡献的比例或百分比。3x3正方矩阵的贡献权重可定义为：
W1,1 W1,2 W1,3
W2,1 W2,2 W2,3
W3,1 W3,2 W3,3
可以为每个区域确定目标强度水平T。目标强度水平跨每个场景区域可以是相同的值。例如，操作者可以经由图形用户界面为整个场景选择更高或更低的强度水平，以增加或减少整个场景的照射。在一些实施例中，为每个区域设置相同的目标强度水平T，并且可以求解方程组以确定每个场景区域的适当调整后的权重W’x,y，其中个体照明元件的驱动强度是要求解的变量，以确定可以如何为每个区域实现目标强度水平T。在一些实施例中，可以提供每个区域的公差，使得如果权重导致在公差ΔT内的强度值，则其仍然是可接受的驱动强度。在一些实施例中，基于过度曝光和/或曝光不足的区域选择方程组。这可以用作一种改善系统的计算性能并且快速解析和固定提供给观看者最难看清的区域的照射的技术。这在各种情况下可能是有用的，诸如在可以调整以实现期望照明的照明元件的数量有限的情况下。
在一些实施例中，第四步骤508包括执行后处理以调整像素强度以补偿局部照射水平。这些技术可以利用HDR融合技术，诸如曝光包围(exposure-bracketing)和色调映射(tone-mapping)。相对于标准图像，可以改善暗背景解剖体的可见性，并降低不需要的光斑的可见性。
根据至少一个实施例，本文描述的技术可以彼此结合使用。例如，可以使用多个照明元件的驱动强度以将过度曝光的极端照射区域降低到典型成像器的动态范围内，并且然后可以使用HDR技术对所捕获的图像进行后处理。与在没有自适应照明的情况下执行HDR的技术相比，这具有各种优势。通常，组合不同曝光的图像的HDR算法需要在每个图像的瞬时动态范围中的一定量的重叠。由于与高光或金属工具相关联的光强度可能比周围组织亮许多数量级，因此可能需要获取跨越这些极端的在相邻曝光中具有足够的重叠的不合理数量的图像。可以通过使用自适应照明技术来消除这种繁重和/或不切实际的要求。
在一些实施例中，如果照射光的射线和由场景反射的图像形成射线之间的对应关系是固定的，则将光元件与场景区域相关可以作为制造校准步骤来完成。然而，应当注意，不需要固定的对应关系，并且在一些实施例中，甚至可以预期对应关系是动态的并且可以在动态场景中改变。Charette等人描述的光学对准投射器/分束器/传感器方案是诸如一种系统的示例。如果这些射线不保证重合(coincident)，则与像素的对应关系将随场景几何形状而变化。在这种情况下，对应关系步骤可以在运行时使用立体三角测量来主动完成，就像使用结构化光摄像机完成一样，或者以个体地检查每个光元件的“蛮力”方式来完成。改善的对应关系确定技术可以包括使用光元件的线性组合来求解每个元件的贡献。这种方法的一个示例将是只激活奇数元件，然后只激活偶数元件，然后仅激活左半元件，然后仅激活右半元件。求解方程组可以导出每个元件的贡献，而无需将成像限制到每次一个光元件。
在一些实施例中，运动跟踪和/或对象跟踪技术可以结合本文描述的各种技术来使用。例如，可以使用图像处理技术从所捕获的图像中提取一组特征。特征可以指可能感兴趣的捕获图像的某个分立部分。例如，身体腔室内的金属工具可被识别为特征。被特征占据的图像的部分可以被称为图块(patch)。继续前面的示例，可以分析每个图块以确定是否跟踪该特征。例如，可以将每个特征的照射强度计算为图块所占据的每个像素的强度值的平均值。可以跟踪被认为过度曝光或曝光不足的特征。每个被跟踪的对象可以具有特定的目标强度值，该目标强度值被选择以减少或增加提供给被对象占据的场景区域的整体照射。例如，此类系统的目标可以是识别某些高反射对象(诸如金属工具)，并且然后跟踪这些对象，并为这些场景区域提供降低的照射水平，以降低不需要的光斑的可见性。
不可见(或不可察觉)的结构化光使用结构化光，而不干扰其他计算机视觉任务，投射的图案对这些计算机视觉任务来说将是困惑的。示例方法包括使用红外光或在两个完全相反的图案之间交替的极高帧速率。
图6图示了根据各种实施例的示例内窥镜尖端。其他部件可以并入到图6中所描绘的内窥镜尖端中。例如，可以使用其他元件(诸如摄像头或成像传感器)来从远端捕获视频和/或静止图像。
在至少一个实施例中，图6中所描绘的第一内窥镜尖端602描绘了三个分立部件——摄像机610、提供白光(WL)照射的第一照明元件612(例如，第一投射器)和提供红外(IR)照射的第二照明元件614(例如第二投射器)。IR照射可以用于使用肉眼不可见的波长投射星座图案，从而不分散或改变用户的感知。WL照射可以用于提供白光或其他可见光以照射场景或场景区域，从而向人类用户提供她/他可以用于执行内窥镜程序的图像。摄像机或其他成像传感器可以用于例如从内部身体腔室捕获视频和/或静止图像。
在至少一个实施例中，图6中描绘的第二内窥镜尖端604描绘了两个分立的部件——摄像机616和照明元件618(例如投射器)。照明元件可以是提供NIR和WL照射两者的投射。分束器可以用于将投射器提供的照射分成多个部分，包括成像部分和反应控制部分——例如，以同时提供WL照射和IR照射。
在至少一个实施例中，图6中描绘的第三内窥镜尖端606描绘了一个分立部件620。分立部件可以包括集成单元中的重合WL照射和摄像机。在一些实施例中，WL照射用于确定照明元件与一个或多个场景区域之间的对应关系。
在至少一个实施例中，图6中描绘的第四内窥镜尖端608描绘了摄像机622和多个照明元件(例如，照明元件624)。时间排序可以用于隔离每个照明元件对场景的不同部分的贡献。本文描述的照明元件可以是粗略的，不一定是投射器分辨率。
在现有技术中，已知的是将内窥镜的外轴和内轴之间的光导元件引导到远端，外轴的外表面实现内窥镜的外极限，并且内轴被提供用于接收成像光学器件。
图7描绘了根据本公开的一个或多个实施例的用于自动化内窥镜设备控制系统的示例用例700。在图7中，设备710的内窥镜系统可以包括摄像机系统720。摄像机系统可以包括远端，其中远端包括多个照明元件和用于从远端捕获图像的摄像机或摄像头。摄像机系统720的远端可以用于捕获要在其中执行外科手术操纵的内部身体腔室的图像。
在至少一个实施例中，摄像机系统720被配置为以编程方式执行自适应照明技术。在至少一个实施例中，第一步骤730包括确定多个照明元件在场景或场景区域上的对应关系。可以使用结构化光或使用不可见光测量对应关系的其他技术来确定对应关系。在某些情况下，可以使用可见光来确定对应关系，例如，通过干扰场景的照射达短的持续时间——可能是图像传感器可以捕获的单个帧的长度。由成像传感器捕获的场景可以被划分为多个区域(例如，在正方形或矩形网格中)，并且可以计算每个照明元件在每个场景区域上的贡献。在至少一个实施例中，第二步骤740包括测量递送到每个区域的光强度，并且第三步骤750包括确定如何调整多个照明元件的驱动强度。可以求解或以其他方式优化方程组以改善场景的照明。例如，对过度曝光的场景区域的白光照射可以减少，而对曝光不足的场景区域的照射可以增加。
图1-图7的方法、过程流程或用例的一个或多个操作可以在上文中被描述为由用户设备执行，或者更具体地，由使用硬件和/或软件在设备上执行的一个或多个程序模块、应用等执行。然而，应当理解，图1-图7的方法、过程流程或用例的任何操作可以至少部分地由一个或多个其他设备以分布式方式执行，或者更具体地，由在此类设备上执行的一个或多个程序模块、应用等执行。此外，应当理解，响应于作为应用、程序模块等的一部分提供的计算机可执行指令的执行而执行的处理在本文中可以互换地描述为由应用或程序模块本身或者由应用、程序模块等正在其上执行的设备执行。虽然可以在说明性设备的情境中描述图1-图7的方法、过程流程或用例的操作，但是应当理解，可以结合许多其他设备配置来实施此类操作。
在图1-图7的说明性方法、过程流程和用例中描述和描绘的操作可以按照本公开的各种示例实施例中所期望的任何合适的顺序(诸如所描绘的顺序)来完成或执行。此外，在某些示例实施例中，至少一部分操作可以并行完成。此外，在某些示例实施例中，可以执行比图1-图7所描绘的那些更少、更多或不同的操作。
尽管已经描述了本公开的特定实施例，但是本领域的普通技术人员将认识到许多其他修改和替代实施例在本公开的范围内。例如，关于特定设备或部件描述的任何功能和/或处理能力可以由任何其他设备或部件执行。此外，虽然已经根据本公开的实施例描述了各种说明性实施方式和架构，但是本领域的普通技术人员将理解，对本文描述的说明性实施方式和架构的许多其他修改也在本公开内容的范围内。
以上参考根据示例实施例的系统、方法、装置和/或计算机程序产品的框图和流程图描述了本公开的某些方面。应当理解，框图和流程图中的一个或多个框以及框图和流程中的框的组合可以分别通过执行计算机可执行程序指令来实施。类似地，根据一些实施例，框图和流程图的一些框可以不一定需要按照呈现的顺序执行，或者可以根本不一定需要执行。此外，在某些实施例中，可以存在超出框图和/或流程图的框中所描绘的部件和/或操作的附加部件和/或操作。
因此，框图和流程图的框支持用于执行指定功能的构件的组合、用于执行指定功能的元件或步骤的组合和用于执行指定功能的程序指令构件。还应当理解，框图和流程图的每个框以及框图和流程图中的框的组合可以由执行指定功能或元件或步骤的专用的基于硬件的计算机系统或专用硬件和计算机指令的组合来实施。

Claims (20)

1.一种用于捕获场景的内窥镜系统，包括：
多个照明元件，其位于远端；
摄像头，其用于捕获所述场景的第一组一个或多个图像；以及
软件和/或硬件，其包括至少一个过程，其中所述至少一个过程被配置为：
确定所述第一组一个或多个图像的多个区域与所述多个照明元件中的第一照明元件之间的对应关系；
确定所述多个区域处的像素强度；
基于所述对应关系和所述像素强度确定所述第一照明元件的第一驱动强度；并且
使所述第一照明元件施加所述第一驱动强度。
2.根据权利要求1所述的内窥镜系统，其中所述至少一个过程被配置为：
从所述摄像头获得在所述第一照明元件施加所述第一驱动强度之后由所述多个照明元件照射的所述场景的第二组一个或多个图像；并且
对所述第二组一个或多个图像执行一种或多种数字图像后处理技术。
3.根据权利要求2所述的内窥镜系统，其中所述一种或多种数字图像后处理技术包括曝光包围和色调映射中的至少一种。
4.根据权利要求1所述的内窥镜系统，其中所述至少一个过程被配置为通过至少以下步骤来确定所述场景的所述多个区域的所述对应关系：
识别预定图案；
从所述第一组一个或多个图像中的第一图像确定由所述第一照明元件使用一个或多个不可见波长投射到所述场景上的实际图案；以及
基于所述预定图案和所述实际图案的比较来确定所述第一照明元件的第二对应关系。
5.根据权利要求4所述的内窥镜系统，其中所述一个或多个不可见波长的范围为0.7至1.4微米。
6.根据权利要求1所述的内窥镜系统，其中所述至少一个过程被配置为通过至少部分地基于所述多个区域的目标像素强度来至少求解方程组来确定所述多个照明元件的驱动强度。
7.根据权利要求1所述的内窥镜系统，其中所述至少一个过程被配置为通过至少以下步骤来确定所述场景的所述多个区域的所述对应关系：
从所述第一组一个或多个图像中确定至少一个特征；
确定所述特征在所述第一组一个或多个图像中过度曝光；
确定所述特征的目标像素强度；
通过第二组一个或多个图像跟踪所述特征；以及
根据所述目标像素强度照射所述第二组一个或多个图像中的所述特征。
8.根据权利要求1所述的内窥镜系统，其中第一照明元件的第一照射区域至少部分地与第二照明元件的第二照射区域重叠。
9.根据权利要求1所述的内窥镜系统，进一步包括分束器，所述分束器在所述第一照明元件的照射射线和所述摄像头的成像射线之间建立固定的对应关系。
10.根据权利要求1所述的内窥镜系统，其中：
所述多个区域中的第一区域在所述第一组一个或多个图像中曝光不足；并且
作为由所述第一照明元件施加所述第一驱动强度的结果，增加了对与所述第一区域相对应的所述场景区域的照射。
11.一种用于向场景提供自适应照明的方法，包括：
由摄像头捕获由多个照明元件照射的所述场景的第一组一个或多个图像；以及
确定基于所述第一组一个或多个图像的所述场景的多个区域与所述多个照明元件中的第一照明元件之间的对应关系；
确定所述多个区域处的像素强度；
基于所述对应关系和所述像素强度确定所述第一照明元件的第一驱动强度；以及
使所述第一照明元件施加所述第一驱动强度。
12.根据权利要求11所述的方法，进一步包括：
从所述摄像头获得在所述第一照明元件施加所述第一驱动强度之后由所述多个照明元件照射的所述场景的第二组一个或多个图像；以及
对所述第二组一个或多个图像执行一种或多种数字图像后处理技术。
13.根据权利要求12所述的方法，其中所述一种或多种数字图像后处理技术包括曝光包围和色调映射中的至少一种。
14.根据权利要求11所述的方法，确定所述场景的所述多个区域的所述对应关系包括：
识别预定图案；
从所述第一组一个或多个图像中的第一图像确定由所述第一照明元件使用一个或多个不可见波长投射到所述场景上的实际图案；以及
基于所述预定图案和所述实际图案的比较来确定所述第一照明元件的第二对应关系。
15.根据权利要求14所述的方法，其中所述一个或多个不可见波长的范围为0.7至1.4微米。
16.根据权利要求11所述的方法，其中确定所述多个照明元件的所述驱动强度包括至少部分地基于所述多个区域的目标强度来求解方程组。
17.根据权利要求11所述的方法，其中确定所述场景的所述多个区域的所述对应关系包括：
从所述第一组一个或多个图像中确定至少一个特征；
确定所述特征在所述第一组一个或多个图像中过度曝光；
确定所述特征的目标像素强度；
通过第二组一个或多个图像跟踪所述特征；以及
根据所述目标像素强度照射所述第二组一个或多个图像中的所述特征。
18.根据权利要求11所述的方法，其中所述第一照明元件的第一照射区域至少部分地与第二照明元件的第二照射区域重叠。
19.根据权利要求11所述的方法，其中分束器用于在所述第一照明元件的照射射线和所述摄像头的成像射线之间建立固定的对应关系。
20.根据权利要求11所述的方法，其中：
所述多个区域中的第一区域在所述第一组一个或多个图像中曝光不足；并且
作为由所述第一照明元件施加所述第一驱动强度的结果，增加了对与所述第一区域相对应的场景区域的照射。
CN202211577539.4A 2021-12-21 2022-12-09 带有自适应照明控制的内窥镜系统 Pending CN116269172A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/557,434 US11892617B2 (en) 2021-12-21 2021-12-21 Endoscope system with adaptive lighting control
US17/557,434 2021-12-21

Publications (1)

Publication Number Publication Date
CN116269172A true CN116269172A (zh) 2023-06-23

Family

ID=84547387

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211577539.4A Pending CN116269172A (zh) 2021-12-21 2022-12-09 带有自适应照明控制的内窥镜系统

Country Status (3)

Country Link
US (2) US11892617B2 (zh)
EP (1) EP4201298A1 (zh)
CN (1) CN116269172A (zh)

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0435855Y2 (zh) 1985-07-19 1992-08-25
DE3935297A1 (de) 1989-10-24 1991-04-25 Wolf Gmbh Richard Einrichtung zur automatischen lichtversorgungsregelung von endoskopen
AT399647B (de) 1992-07-31 1995-06-26 Truppe Michael Anordnung zur darstellung des inneren von körpern
US6464633B1 (en) 1999-08-23 2002-10-15 Olympus Optical Co., Ltd. Light source device for endoscope using DMD
IL135571A0 (en) 2000-04-10 2001-05-20 Doron Adler Minimal invasive surgery imaging system
JP4520010B2 (ja) 2000-10-04 2010-08-04 Ｈｏｙａ株式会社 電子内視鏡装置
US6980227B2 (en) 2001-10-01 2005-12-27 Pentax Corporation Electronic endoscope with light-amount adjustment apparatus
JP5461753B2 (ja) 2004-07-30 2014-04-02 オリンパス株式会社 内視鏡装置
US8029439B2 (en) 2005-01-28 2011-10-04 Stryker Corporation Disposable attachable light source unit for an endoscope
US7668450B2 (en) 2005-01-28 2010-02-23 Stryker Corporation Endoscope with integrated light source
JP4772357B2 (ja) 2005-03-31 2011-09-14 オリンパスメディカルシステムズ株式会社 光源装置及び撮像装置
DE102006017003A1 (de) 2006-04-11 2007-10-18 Friedrich-Alexander-Universität Erlangen-Nürnberg Endoskop zur Tiefendatenakquisition
JP2008048905A (ja) 2006-08-24 2008-03-06 Olympus Medical Systems Corp 内視鏡装置
DE102008018636B4 (de) 2008-04-11 2011-01-05 Storz Endoskop Produktions Gmbh Vorrichtung und Verfahren zur endoskopischen 3D-Datenerfassung
US8758234B2 (en) 2008-07-08 2014-06-24 Karl Storz Imaging, Inc. Solid state variable direction of view endoscope
JP2011224042A (ja) 2010-04-15 2011-11-10 Fujifilm Corp 光源装置及びこれを用いた内視鏡装置
US9408527B2 (en) 2012-11-01 2016-08-09 Karl Storz Imaging, Inc. Solid state variable direction of view endoscope with rotatable wide-angle field for maximal image performance
US10616491B2 (en) 2013-02-01 2020-04-07 Deka Products Limited Partnership Endoscope with pannable camera and related method
DE102013113511A1 (de) 2013-12-05 2015-06-11 Karl Storz Gmbh & Co. Kg Endoskop, Exoskop oder Mikroskop und Verfahren zur Beleuchtung eines Betätigungsbereiches eines Endoskops, Exoskops oder Mikroskops
US10594946B2 (en) 2015-02-27 2020-03-17 Biosense Webster (Israel) Ltd. Otoscope with controlled illumination
DE102017115739A1 (de) 2017-07-13 2019-01-17 Karl Storz Se & Co. Kg Bildgebendes medizinisches Instrument wie ein Endoskop, ein Exoskop oder ein Mikroskop
US10924689B1 (en) 2019-11-22 2021-02-16 Karl Storz Imaging, Inc. Method and apparatus to improve high dynamic range image capture using image sensor with polarization

Also Published As

Publication number Publication date
US20230194851A1 (en) 2023-06-22
US20240264424A1 (en) 2024-08-08
EP4201298A1 (en) 2023-06-28
US11892617B2 (en) 2024-02-06

Similar Documents

Publication Publication Date Title
US11852461B2 (en) Generation of one or more edges of luminosity to form three-dimensional models of objects
EP3073894B1 (en) Corrected 3d imaging
US10104363B2 (en) Optical system in 3D focus scanner
US10184894B2 (en) Cancer diagnostic device, diagnostic system, and diagnostic device
CN110192390A (zh) 头戴式显示器的光场捕获和渲染
CN111803013A (zh) 一种内窥镜成像方法和内窥镜成像系统
US20150272422A1 (en) Endoscope system, processor device, and method for operating endoscope system
EP3616595B1 (en) Medical observation device such as a microscope or an endoscope, and method for displaying medical images
JP2003529432A (ja) イメージセンサおよびそれを使用した内視鏡
CN112351723B (zh) 电子内窥镜系统与数据处理装置
CN114846518A (zh) 用于医疗成像的增强现实头戴设备
JP2021145859A (ja) 医療用画像処理装置及び医療用観察システム
CN212326346U (zh) 一种内窥镜成像系统
US11892617B2 (en) Endoscope system with adaptive lighting control
CN106455948B (zh) 摄像系统
CN117716252A (zh) 医学成像中基于摄像头的患者监测
JP2011019692A (ja) 医療用観察システム
US20240249408A1 (en) Systems and methods for time of flight imaging
US11648080B2 (en) Medical observation control device and medical observation system that correct brightness differences between images acquired at different timings
JP7451679B2 (ja) 内視鏡システム、内視鏡及び距離算出方法
JP2024518392A (ja) 医療イメージングのための拡張現実ヘッドセット及びプローブ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication