CN115802926A - 用于在管理描绘对象的图像帧的自动曝光时对对象进行打折的装置、系统和方法 - Google Patents

用于在管理描绘对象的图像帧的自动曝光时对对象进行打折的装置、系统和方法 Download PDF

Info

Publication number
CN115802926A
CN115802926A CN202180049384.4A CN202180049384A CN115802926A CN 115802926 A CN115802926 A CN 115802926A CN 202180049384 A CN202180049384 A CN 202180049384A CN 115802926 A CN115802926 A CN 115802926A
Authority
CN
China
Prior art keywords
auto
exposure
frame
image frame
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180049384.4A
Other languages
English (en)
Inventor
Z·何
J·M·迪卡洛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Publication of CN115802926A publication Critical patent/CN115802926A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/0016—Holding or positioning arrangements using motor drive units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Abstract

一种说明性装置可在由图像捕获系统捕获的图像帧中标识与图像帧中描绘的对象的描绘相对应的对象区域。该装置可以通过对图像帧中的对象区域进行打折来确定图像帧的帧自动曝光值。基于帧自动曝光值，该装置可更新一个或多个自动曝光参数，以供图像捕获系统用于捕获附加图像帧。还公开了用于管理图像帧的自动曝光的对应装置、系统和方法。

Description

用于在管理描绘对象的图像帧的自动曝光时对对象进行打折 的装置、系统和方法
相关申请
本申请要求对2020年7月10日提交的美国临时专利申请号63/050,598具有优先权，该专利申请的全部内容通过引用并入本文。
背景技术
自动曝光算法通过分析图像帧以确定图像帧所描绘的场景中存在多少光并基于该分析更新捕获图像帧的图像捕获设备的自动曝光参数来操作。以这种方式，可连续更新自动曝光参数，以使图像捕获设备为正在捕获的图像帧提供所需的曝光量。如果没有良好的自动曝光管理，在图像捕获过程中可能会由于过度曝光(例如，由于饱和度而丢失细节，图像看起来太亮)或曝光不足(例如，因为噪声而丢失细节并且图像看起来太暗)而丢失细节。
虽然常规的自动曝光算法足以满足多种类型的图像，但描绘与图像中的其他描绘对象具有不同亮度的对象的图像可能会带来挑战，特别是当对象占据图像的相对较大部分且图像的查看者不太可能对对象感兴趣时。当常规的自动曝光算法处理描绘此类对象的图像帧时，算法可能会对图像帧过度曝光或曝光不足和/或遇到其他不希望的问题(例如，当对象移入和移出帧时亮度不一致等)。
发明内容
下面的描述呈现了本文描述的装置、系统和方法的一个或多个方面的简化概述。该概述不是对所有预期方面的广泛概述，并且既不旨在标识所有方面的关键或决定性要素，也不旨在描绘任何或所有方面的范围。其唯一目的是呈现本文描述的系统和方法的一个或多个方面，作为下文呈现的详细描述的前奏。
用于管理图像帧的自动曝光的说明性装置可包括一个或多个处理器和存储可执行指令的存储器，当由一个或多个处理器执行时，可执行指令使装置执行本文所述的各种操作。例如，该装置可以标识与图像捕获系统捕获的图像帧中描绘的对象的描绘相对应的对象区域。该装置可以通过对图像帧中的对象区域进行打折来确定图像帧的帧自动曝光值。基于帧自动曝光值，该装置可更新一个或多个自动曝光参数，以供图像捕获系统用于捕获附加图像帧。
用于管理图像帧的自动曝光的说明性系统可以包括照明源、图像捕获设备和一个或多个处理器。照明源可以被配置为在医疗程序期间照亮包括身体内部视图的场景。图像捕获设备可以被配置为在医疗程序期间捕获图像帧序列。图像帧序列可以包括描绘医疗程序期间的场景的图像帧。一个或多个处理器可以被配置为确定图像帧中描绘的场景的环境影像的色域。例如，色域可以涵盖与身体内部视图中可见的血液和组织相对应的红色范围。一个或多个处理器还可以在图像帧中标识与图像帧中描绘的对象的描绘相对应的对象区域。该标识可以基于图像帧中包括的像素单元的一个或多个色度特性来执行，诸如通过确定像素单元的色度特性是否包括在场景的环境影像的标识色域内。一个或多个处理器可通过对图像帧中的对象区域进行打折来确定图像帧的帧自动曝光值，并且可基于帧自动曝光值更新一个或多个自动曝光参数，以供图像捕获设备或照明源用于捕获附加图像帧。
说明性非暂时性计算机可读介质可存储指令，指令在执行时使计算设备的一个或多个处理器执行本文所述的各种操作。例如，一个或多个处理器可以标识与图像捕获系统捕获的图像帧中描绘的对象的描绘相对应的对象区域。一个或多个处理器可以通过对图像帧中的对象区域进行打折来确定图像帧的帧自动曝光目标。基于帧自动曝光目标，一个或多个处理器可以更新一个或多个自动曝光参数，以供图像捕获系统用于捕获附加图像帧。
用于管理图像帧的自动曝光的说明性方法可以包括本文描述的各种操作，其中的每一个可以由计算设备(诸如本文描述的自动曝光管理装置)执行。例如，该方法可包括在由图像捕获系统捕获的图像帧中标识与图像帧中描绘的对象的描绘相对应的对象区域。该方法可以进一步包括通过对图像帧中的对象区域进行打折来确定图像帧的帧自动曝光值和帧自动曝光目标。基于帧自动曝光值和帧自动曝光目标，执行该方法的计算设备可以更新一个或多个自动曝光参数，以供图像捕获系统用于捕获附加图像帧。
附图说明
附图图示了各种实施例并且是说明书的一部分。所图示的实施例仅是示例并且不限制本公开的范围。在整个附图中，相同或相似的附图标记表示相同或相似的元件。
图1示出了根据本文描述的原理用于管理图像帧的自动曝光的说明性自动曝光管理装置。
图2示出了根据本文描述的原理用于管理图像帧的自动曝光的说明性自动曝光管理方法。
图3示出了根据本文描述的原理用于管理图像帧的自动曝光的说明性自动曝光管理系统。
图4A图示了根据本文描述的原理，可以如何采用局部特性来标识与在说明性图像帧中描绘的说明性对象的描绘相对应的对象区域。
图4B图示了根据本文描述的原理，可以如何采用全局特性来标识与在说明性图像帧中描绘的说明性对象的描绘相对应的对象区域。
图4C图示了根据本文描述的原理，作为用于说明性图像帧的帧自动曝光数据点的确定的一部分，与所标识的对象区域相关联的像素单元如何可以被打折。
图5示出了根据本文描述的原理用于管理图像帧的自动曝光的说明性流程图。
图6示出了根据本文描述的原理用于标识说明性图像帧内的对象区域的说明性流程图。
图7A-图7B示出了根据本文描述的原理可以在颜色空间内分析以便于在说明性图像帧内标识对象区域的说明性几何特性。
图8示出了根据本文描述的原理可以分配给像素单元的权重值的说明性范围，以指示像素单元对应于在图像帧中描绘的对象的描绘的置信水平。
图9示出了根据本文描述的原理基于加权像素单元确定帧自动曝光值和帧自动曝光目标的说明性流程图。
图10示出了根据本文描述的原理更新自动曝光参数的说明性技术。
图11示出了根据本文描述的原理的说明性计算机辅助医疗系统。
图12示出了根据本文描述的原理的说明性计算系统。
具体实施方式
本文描述了用于管理图像帧的自动曝光的装置、系统和方法。如上所述，描绘特定类型对象的图像帧的自动曝光管理可以与独特的挑战相关联。例如，如果一个特定对象的亮度与图像帧中描绘的其他内容不同(例如，如果对象明显比其他内容暗或亮)，则该对象可能会显著影响图像帧的平均自动曝光值或自动曝光目标(例如，将平均值向上或向下拉到显著程度)。对象相对于图像帧越大，这种效果可能越明显。如果对象在主观上是图像帧所描绘的内容的重要部分(例如，图像帧的查看者可能希望详细看到的内容)，则可能希望对象以这种方式影响自动曝光管理，并且常规的自动曝光算法可以充分执行。但是，如果对象是场景中必须描绘的体外对象，但不太可能是查看者希望关注或相对于其他内容详细查看的对象(例如，与场景的环境影像明显不同的体外对象)，则对象对图像帧的平均自动曝光值和/或目标的影响可能是不期望的。例如，当自动曝光管理试图为对象提供合适的曝光时，图像帧中描绘的其他内容(例如，用户可能更希望详细查看的场景的环境影像)的曝光可能会受到损害。具体地，由于体外对象对图像帧的自动曝光特性的不利影响，图像帧中描绘的其他对象和/或场景内容可能会变得至少有点过度曝光或曝光不足。
作为这类问题可能发生的一个示例，将考虑在身体上进行的医疗程序(例如，手术程序等)期间捕获身体内部视图的内窥镜图像捕获设备。在这种情况下，内窥镜影像的查看者(例如，外科医生或其他辅助医疗程序的人)可能希望看到内部视图中存在的解剖结构(例如，组织)的细节。但是，场景中必须存在的一个或多个其他对象可能符合体外对象的以下一个或多个标准：(1)在外观上明显不同于场景的其他影像(例如，明显比场景的环境影像暗或亮)，或(2)不太可能成为图像的查看者的重要关注区域。例如，由计算机辅助医疗系统(例如，单端口计算机辅助医疗系统)的内窥镜捕获的图像帧可以与身体内部解剖结构的影像一起描绘用于完成医疗程序的一个或多个体外对象。体外对象的一个示例可以是作为医疗程序的一部分用于操纵组织的器械的深色轴。例如，当器械在手术过程中用于执行组织操纵操作时，器械的轴可以被黑色护套覆盖，并且可以在图像帧中可见。类似地，超声探头、器械头部、器械携带的工具和/或其他器械相关对象可能符合可能对内窥镜场景中的自动曝光管理产生不利影响的体外对象的标准。体外对象的另一个示例可以是颜色鲜艳(例如，白色)的纱布或作为医疗程序一部分使用的其他此类材料(例如，用于治疗疝气的网状材料等)。
在此场景中捕获的图像帧的查看者(例如，协助执行医疗程序的医务人员)可能希望查看解剖内容的细节(例如，身体组织、血液等)，而不是可能存在于捕获图像中的大型和/或深色器械轴或其他此类体外对象的细节。因此，本文描述的自动曝光管理装置、系统和方法可以执行操作以标识图像帧中可能对应于体外对象(诸如，器械轴)的描绘(例如，描绘或构成描绘的一部分)的区域，使得这些对象区域可以作为自动曝光管理所基于的因素而被打折(discount)(例如，忽略或淡化)。通过这种方式，体外对象可能不太可能不希望地将场景的平均亮度上拉或下拉，从而减轻或解决上述与组织内容的不希望的过度曝光或曝光不足相关的问题。此外，本文所述的自动曝光管理还可有助于稳定图像帧序列的自动曝光特性(例如，平均亮度等)，否则，随着器械和其他体外对象进出帧，图像帧序列可能会发生很大变化，从而导致场景的闪烁和不一致的自动曝光。因此，本文所述的自动曝光管理还可以减轻或解决由移动器械引起的亮度波动问题和其他相关问题(例如，查看者注意力分散、查看者眼疲劳等)。
在整个说明书中，将引用涉及内窥镜视图的医疗程序示例，其中器械和其他体外对象与身体组织和解剖结构一起被描绘，以说明要求保护的主题的各个方面。然而，应当理解，此类内窥镜图像仅旨在作为示例，本文描述的原理可在各种实现方式中应用于可能服务于特定应用或用例的任何合适类型的内容。例如，作为几个附加示例，本文所述的自动曝光管理可应用于场景中可能存在对象的摄影应用中，诸如，保持相机的深色或浅色三脚架、吊杆麦克风、相机镜头的错位拇指或手指遮挡部分和/或可能不期望地影响图像帧序列的自动曝光管理的其他此类体外对象。
现在将参考附图详细描述各种具体实施例。将理解，以下描述的特定实施例作为各种新颖和创造性原理如何应用于各种情况的非限制性示例来提供。此外，应当理解，本文未明确描述的其他示例也可由所附权利要求的范围涵盖。本文所述的自动曝光管理装置、系统和方法可提供上述任何益处，以及下文将描述和/或显而易见的各种附加和/或替代益处。
图1示出了根据本文描述的原理用于管理图像帧的自动曝光的说明性自动曝光管理装置100(装置100)。装置100可由包括在图像捕获系统(例如，内窥镜图像捕获系统等)内的计算机资源(例如，服务器、处理器、存储器设备、存储设备等)、与图像捕获系统相关联(例如，通信地耦合到图像捕获系统的)的计算系统的计算机资源和/或由可服务于特定实现方式的任何其他合适的计算资源来实现。
如图所示，装置100可包括(但不限于)选择性地和通信地彼此耦合的存储器102和处理器104。存储器102和处理器104可以各自包括被配置为存储和/或处理计算机软件的计算机硬件或由其来实现。图1中未明确示出的计算机硬件和/或软件的各种其他部件也可以包括在装置100内。在一些示例中，存储器102和处理器104可以分布在可以服务于特定实现方式的多个设备和/或多个位置之间。
存储器102可以存储和/或以其他方式维护处理器104使用的可执行数据，以执行本文描述的任何功能。例如，存储器102可存储可由处理器104执行的指令106。存储器102可以由一个或多个存储器设备或存储设备(包括本文描述的任何存储器设备或存储设备)实现，存储器设备或存储设备被配置为以暂时性或非暂时性方式存储数据。指令106可以由处理器104执行，以使装置100执行本文描述的任何功能。指令106可以由任何合适的应用、软件、代码和/或其他可执行数据实例来实现。此外，存储器102还可以维护处理器104在特定实现方式中访问、管理、使用和/或传输的任何其他数据。
处理器104可由一个或多个计算机处理设备实现，包括通用处理器(例如，中央处理单元(CPU)、图形处理单元(GPU)、微处理器等)、专用处理器(例如，专用集成电路(ASIC)、现场可编程门阵列(FPGA)等)、图像信号处理器等。使用处理器104(例如，当处理器104被指示执行由存储在存储器102中的指令106表示的操作时)，装置100可以执行与管理图像帧的自动曝光相关联的各种功能，图像帧描绘的对象(例如，体外对象)对图像帧(例如，在内窥镜医疗程序期间，在身体内部的场景中存在的诸如深色器械轴的对象)的自动曝光管理的影响将被打折。
图2示出了根据本文描述的原理的说明性自动曝光管理方法200(方法200)，装置100可以执行该方法来管理图像帧的自动曝光。尽管图2示出了根据一个实施例的说明性操作，但其他实施例可以省略、添加、重新排序和/或修改图2中所示的任何操作。在一些示例中，图2所示或相对于图2所述的多个操作可以彼此同时(例如，并行)执行，而不是如所示和/或所述顺序执行。图2所示的一个或多个操作可由自动曝光管理装置(例如，装置100)、自动曝光管理系统(例如，下文所述的自动曝光管理系统的实现方式)和/或其任何实现方式执行。
在操作202处，装置100可以标识由图像捕获系统捕获的图像帧中的对象区域。对象区域可以对应于在图像帧中描绘的对象的描绘。例如，对象区域所对应的对象可以是体外对象，诸如上述任何对象(例如，低亮度器械轴或超声探头、高亮度纱布或网状材料等)或符合上述用于体外对象的一些或所有标准的另一对象(例如，作为相对较大的对象，查看者不太可能感兴趣，与其他描绘的内容具有显著不同的自动曝光特性等)。如下文将更详细描述的，装置100可基于与图像帧中包括的像素单元(例如，个体像素或像素组)相关联的局部特性、基于与图像帧相关联的全局特性和/或基于可服务于特定实现方式的任何其他因素来标识对象区域。
在操作204处，装置100可以通过对图像帧中的对象区域进行打折来确定图像帧的一个或多个帧自动曝光数据点。例如，通过对被标识为包括在对象区域内的像素单元进行打折(例如，完全忽略或以其他方式淡化影响)，装置100可以确定图像帧的自动曝光值(帧自动曝光值)、图像帧的自动曝光目标(帧自动曝光目标)和/或可服务于特定实现方式的任何其他帧自动曝光数据点。
自动曝光值将被理解为表示特定图像帧或其部分(例如，区域、像素单元等)的某些自动曝光相关特性(例如，亮度、信号强度、色度等)。例如，装置100可以通过分析由图像捕获系统捕获的图像帧来检测这些特性。单元自动曝光值可以指为像素单元确定的亮度。例如，单元自动曝光值可在像素被一起分组为网格中的像素单元等的实现方式中被确定为个体像素的亮度或像素组的平均亮度。作为另一个示例，帧自动曝光值可指图像帧内包括的一些或所有像素单元的平均亮度，使得帧自动曝光值与图像帧的对应方式与单元自动曝光值与特定像素单元的对应方式类似。
在这些示例中，应当理解，自动曝光值所指的平均亮度(和/或某些示例中的一个或多个其他平均曝光相关特性)可被确定为可服务于特定实现方式的任何类型的平均值。例如，图像帧的平均自动曝光值可指图像帧中像素单元的平均亮度，该平均亮度是通过对图像帧的每个像素单元的相应亮度值求和，然后将该和除以值的总数而确定的。作为另一示例，图像帧的平均自动曝光值可指图像帧中像素单元的中值亮度，该中值亮度被确定为当每个像素单元的相应亮度值按值排序时的中心亮度值。作为另一个示例，图像帧的平均自动曝光值可指图像帧中像素单元的模式亮度，该模式亮度被确定为每个像素单元的相应亮度值中最普遍或最经常重复的亮度值。在其他示例中，其他类型的平均值(除平均值、中值或模式值外)和/或其他类型的曝光相关特性(除亮度外)也可用于以可以服务于特定实现方式的任何方式确定自动曝光值。
自动曝光目标将被理解为指的是特定图像帧或其部分(例如，区域、像素单元等)的自动曝光值的目标(例如，目标、期望值、理想值、最佳值等)。装置100可以基于特定环境和任何合适的标准来确定自动曝光目标，并且自动曝光目标可以与由自动曝光值表示的相同的自动曝光相关特性(例如，亮度、信号强度、色度等)相关。例如，可以在期望的亮度水平(或其他与曝光相关的特性)下确定自动曝光目标，诸如与中间灰度相关联的亮度水平等。因此，单元自动曝光目标可指的是为像素单元确定的期望目标亮度(例如，在像素一起被分组为网格中的像素单元的实现方式中，为个体像素确定的期望的目标亮度或为一组像素确定的平均期望目标亮度)。作为另一个示例，帧自动曝光目标可以指的是图像帧内包括的一些或所有像素单元的平均期望目标亮度，因此，可以以与单元自动曝光目标对应于特定像素单元类似的方式表示对应于图像帧的自动曝光目标。类似地，如上文关于如何确定帧自动曝光值所述，此类示例中的帧自动曝光目标可通过使用平均值、中值、模式值或其他合适类型的平均技术对个体单元自动曝光目标进行平均来确定。
在操作204处，确定帧自动曝光数据点(诸如帧自动曝光值和/或帧自动曝光目标)可以以可以服务于特定实现方式的任何方式对在操作202处标识的对象区域进行打折。例如，如下文将更详细地描述的，在采用单元自动曝光数据点的加权平均来确定帧自动曝光数据点的实现方式中，分配给与对象区域相对应的像素单元的权重值可以设置为低于与对象区域不对应的像素单元的权重值，或者可以完全归零。以这些方式，不同的实现方式可以被配置为通过出于自动曝光管理的目的完全忽略对象区域(例如，完全排除对象区域对自动曝光管理产生的影响)、通过将对象区域的影响降低到更有限的程度(例如，淡化但不完全排除对象区域对自动曝光管理的影响)或者通过根据与每个像素单元相关联的置信水平执行这两者来对对象区域进行打折。
在操作206处，装置100可以更新(例如，调整或维护)一个或多个自动曝光参数，以供图像捕获系统用于捕获一个或多个附加图像帧。在一些示例中，装置100可基于图像帧像素的自动曝光值、自动曝光目标和/或其他自动曝光数据点更新一个或多个自动曝光参数，因为这些数据点已被确定(例如，在操作204处)。例如，假设装置100已经确定了帧自动曝光值和/或帧自动曝光目标，装置100可以在操作206处基于帧自动曝光值和/或帧自动曝光目标更新一个或多个自动曝光参数。例如，装置100可以基于帧自动曝光值和帧自动曝光目标确定图像帧的自动曝光增益(帧自动曝光增益)，并可基于帧自动曝光增益执行一个或多个自动曝光参数的更新。
装置100可以通过基于自动曝光增益调整参数或合适地保持参数来更新自动曝光参数。以这种方式，图像捕获系统可使用自动曝光参数(例如，曝光时间参数、快门光圈参数、照明强度参数、图像信号模拟和/或数字增益等)捕获一个或多个附加图像帧(例如，被捕获的图像帧序列中的后续图像帧)，该自动曝光参数可减小为那些附加图像帧检测到的自动曝光值和那些附加图像帧所期望的自动曝光目标之间的差异。因此，与不进行这种调整可能捕获的情况相比，可以以更理想的曝光特性捕获附加图像帧，并且装置100的用户可以体验到上好的图像(例如，以期望的亮度水平显示除体外对象以外的内容的细节的图像等)。
装置100可以由一个或多个计算设备或由通用或专用计算系统的计算资源来实现，如下文将更详细地描述的。在某些实施例中，实现装置100的一个或多个计算设备或计算资源可与其他部件(诸如用于捕获装置100被配置为处理的图像帧的图像捕获系统)通信地耦合。在其他实施例中，装置100可包括在自动曝光管理系统内(例如，作为其一部分实现)。这样的自动曝光管理系统可以被配置为执行本文描述的将由装置100执行的所有相同功能(例如，包括上文描述的方法200的操作)，但可以进一步并入诸如图像捕获系统的附加部件，以便还能够执行与这些附加部件相关联的功能。
图3示出了用于管理图像帧的自动曝光的说明性自动曝光管理系统300(系统300)。如图所示，系统300可包括装置100以及图像捕获系统302的实现，该图像捕获系统包括照明源304和图像捕获设备306，该图像捕获设备包括快门308、图像传感器310和处理器312(例如，一个或多个实现图像信号处理流水线的图像信号处理器)。在系统300内，装置100和图像捕获系统302可通信地耦合，以允许装置100根据本文所述的操作引导图像捕获系统302，以及允许图像捕获系统302捕获并向装置100提供图像帧序列314和/或其他合适的捕获图像数据。下面将更详细地描述图像捕获系统302的每个部件。
如前所述，虽然本文描述的原理可应用于各种各样的成像场景，但本文明确描述的许多示例涉及可使用计算机辅助医疗系统执行的医疗程序，如下文将结合图11更详细地描述的。在此类示例中，图像被捕获的场景可包括正在执行医疗程序的身体的内部视图(例如，活体动物的身体、人或动物尸体、人体或动物解剖结构的一部分、从人体或动物解剖结构中移除的组织、非组织工件、训练模型等)。因此，系统300或其某些部件(例如，图像捕获系统302)可以与计算机辅助医疗系统集成(例如，通过计算机辅助医疗系统的成像和计算资源实现)，并且在自动曝光管理中要折扣的对象可以包括与计算机辅助医疗系统或医疗程序相关联的对象(例如，包括在计算机辅助医疗系统中的器械、用于医疗程序的纱布或网状材料等)。
在某些此类示例中，装置100可被配置为基于体外对象和身体内部视图中表征的组织的颜色差异来标识对象区域。例如，装置100可确定，对于图像帧中描绘的场景的环境影像(例如，对于除了诸如器械、纱布或其他体内异物的体外对象的场景元素的影像)，包含与身体内部视图中可见的血液和组织相对应的红色范围的色域。然后，基于包括在图像帧中的像素单元的一个或多个色度特性，装置100可以通过执行操作，包括例如确定像素单元的色度特性是否包括在场景的环境影像的色域内，来标识图像帧内与图像帧中描绘的对象的描绘相对应的对象区域。
照明源304可被实现为提供任何类型的照明(例如，可见光、红外或近红外光、荧光激发光等)，并且可被配置为与图像捕获系统302内的图像捕获设备306互操作。例如，照明源304可向场景提供一定量的照明，以便于图像捕获设备306捕获场景的最佳照明图像。
图像捕获设备306可以由任何合适的相机或被配置为捕获场景的图像的其他设备来实现。例如，在医疗程序示例中，图像捕获设备306可由配置为捕获图像帧序列314的内窥镜图像捕获设备实现，该图像帧序列可包括描绘经历医疗程序的身体的视图(例如，内部视图)的图像帧。如图所示，图像捕获设备306可包括诸如快门308、图像传感器310和处理器312的部件。
图像传感器310可以由任何合适的图像传感器实现，诸如电荷耦合器件(CCD)图像传感器、互补金属氧化物半导体(CMOS)图像传感器等。
快门308可以与图像传感器310互操作，以帮助捕获和检测来自场景的光。例如，快门308可被配置为使图像传感器310暴露于所捕获的每个图像帧的一定量的光。快门308可以包括电子快门和/或机械快门。快门308可以通过打开到由快门光圈参数定义的特定光圈大小和/或打开由曝光时间参数定义的指定时间量来控制图像传感器310被曝光多少光。如下文将更详细描述的，这些快门相关参数可包括在装置100配置为更新的自动曝光参数中。
处理器312可以由一个或多个图像信号处理器实现，图像信号处理器被配置为实现图像信号处理流水线的至少一部分。处理器312可以处理自动曝光统计输入(例如，通过点击流水线中间的信号来检测和处理各种自动曝光数据点和/或其他统计数据)、对图像传感器310捕获的数据执行光学伪影校正(例如，通过减少固定图案噪声，校正缺陷像素，校正透镜阴影问题等)、执行信号重建操作(例如，白平衡操作、去马赛克和颜色校正操作等)、应用图像信号模拟和/或数字增益和/或执行可服务于特定实现方式的任何其他功能。各种自动曝光参数可以规定如何执行处理器312的功能。例如，可设置自动曝光参数以定义处理器312所应用的模拟和/或数字增益，如下文将更详细描述的。
在一些示例中，图像捕获设备306的内窥镜实现方式可包括立体内窥镜，该内窥镜包括两组完整的图像捕获部件(例如，两个快门308、两个图像传感器310等)，以适应呈现给所捕获图像帧的查看者的双眼(例如，左眼和右眼)的立体差异。相反，在其他示例中，图像捕获设备306的内窥镜实现方式可以包括具有单个快门308、单个图像传感器310的单镜内窥镜等。
装置100可以被配置为控制图像捕获系统302的各种自动曝光参数，并且可以基于由图像捕获系统302捕获的传入图像数据实时调整这样的自动曝光参数。如上所述，图像捕获系统302的某些自动曝光参数可以与快门308和/或图像传感器310相关联。例如，装置100可根据与快门允许图像传感器310暴露于场景的时间长度相对应的曝光时间参数、与快门308的光圈大小相对应的快门光圈参数或与快门318相关联的任何其他合适的自动曝光参数来引导快门308。其他自动曝光参数可以与图像捕获系统302的各方面或与快门308和/或传感器310无关的图像捕获过程相关联。例如，装置100可调整与照明源304提供的照明强度相对应的照明源304的照明强度参数、与照明源304提供照明的时间段相对应的照明持续时间参数等。作为又一示例，装置100可调整与由处理器312应用于图像传感器310生成的图像数据(例如，亮度数据)的一个或多个模拟和/或数字增益(例如，模拟增益、拜耳增益、RGB增益等)相对应的增益参数。
这些或其他合适参数中的任何一个或其任何组合可由装置100基于当前图像帧的分析来更新和/或以其他方式调整以用于后续图像帧。例如，在帧自动曝光增益(例如，帧自动曝光目标除以帧自动曝光值)被确定为6.0的一个示例中，可以如下设置各种自动曝光参数：1)当前照明强度参数可以设置为100％(例如，最大输出)；2)曝光时间参数可以设置为1/60秒(例如，60fps)；3)模拟增益可以设置为5.0(上限为10.0)；4)拜耳增益可以设置为1.0(上限为3.0)；以及5)RGB增益可以设置为2.0(上限为2.0)。使用这些设置，增益分布在模拟增益(10.0/5.0＝2.0)、拜耳增益(3.0/1.0＝3.0)和RGB增益(2.0/2.0＝1.0)之间，以建立帧所需的6.0总自动曝光增益(3.0*2.0*1.0＝6.0)。
图4A-图4C示出了说明性图像帧402的各个方面，该图像帧描绘了对图像帧序列的自动曝光管理的影响可以被装置100打折的说明性对象。例如，图像帧402可以是由系统300捕获并作为图像帧序列314的图像帧中的一个所包括的图像帧。图像帧402被示出为在背景前面描绘图像帧404的查看者可能感兴趣的各种对象404和可能是要打折的体外对象的特定对象406(例如，因为查看者不太可能感兴趣，因为它具有与对象404及背景显著不同的亮度等)。例如，在医疗程序示例中，对象404中的每一个可表示解剖背景上表征的解剖对象(例如，表征与解剖对象的亮度相似的血液、组织等的背景)，而对象406可以表示器械轴、一块纱布或者另一种这样的使得自动曝光管理可能需要打折的体外对象。虽然在图4A和4B中仅图示了单个体外对象406并在本文的许多示例中进行了描述，但应当理解，通过以本文针对对象406和/或本文描述的其他单独体外对象所描述的相同方式对每个对象进行打折，可以从图像帧中对多个体外对象进行打折。例如，图像帧402可描绘多个器械轴(例如，来自两个不同器械、三个不同器械等)，可描绘器械轴和一块纱布等。
图4A图示了如何采用局部特性来标识与图像帧402中描绘的对象406的描绘相对应的对象区域。例如，局部特性可包括与图像帧402内包括的个体像素单元相关联的色度特性(例如，颜色特性)或亮度特性(例如，亮度特性)，以及图像帧402的其他内容和/或对象406预期的对应特性。
虽然图4A被描绘为黑白图，但用于填充图像帧402中描绘的各种对象和背景区域的各种数字1-9将被理解为表示不同的颜色或可替代地表示不同的亮度值。在这种基于数字的色度/亮度标记法中，相互更接近的数字(例如，1和2、8和9等)将被理解为表示类似的颜色(例如，红色和红橙色、绿色和绿黄色等)或类似的亮度水平，而远离彼此的数字(例如，1和8、2和9等)将被理解为表示更明显的颜色(例如，红色和绿色、蓝色和橙色等)或不同的亮度水平。在一些示例中，这种基于数字的标记法可以被解释为环绕，使得数字1被认为与数字9相邻，数字1表示的颜色或亮度与数字9表示的颜色或亮度相似。
参考图4A，就色度特性而言，对象406的颜色(显示为数字9表示的颜色)可以与对象404和背景的颜色(显示为数字3-5范围内的类似颜色)明显不同。用于标识与对象406的描绘相对应的对象区域的一个局部特性可以是对象406颜色是否接近于对于已知的体外对象可预期的预定颜色(例如，对于预期通常存在于医疗程序现场的器械轴或护套，诸如金属灰色或黑色的中性颜色等)。如果数字9表示中性色(例如，黑色、灰色等)，而数字3-5表示不同的红色色泽(例如，通常与身体内部场景中存在的组织、血液和/或血性组织相关的色泽)，则装置100可以至少部分地基于对象406的颜色与器械的预期中性色的相似程度来标识对象区域。
作为用于标识对象区域的局部特性的另一示例，装置100可以确定对象406的颜色是否与场景的平均颜色(例如，包括对象的整个场景的平均颜色、场景的环境影像的平均颜色等)显著不同，或者与要在自动曝光管理中考虑的场景的环境影像的预期颜色显著不同(例如，组织和解剖对象的预期颜色，诸如与组织或血液相关联的红色)。例如，如果再次假设数字9表示中性颜色，而数字3-5表示红色色泽，则装置100可以至少部分地基于对象406的颜色与对象404和背景的预期红色的不同程度来标识对象区域。如果基于数字的标记法被解释为表示亮度特性而不是色度特性，则可以在亮度方面进行类似的推断，以进一步便于标识对象区域。
图4B图示了如何采用全局特性来标识与图像帧402中描绘的对象406的描绘相对应的对象区域。例如，全局特性可以与针对对象406执行的对象跟踪相关。装置100或独立于装置100的系统可以采用计算机视觉技术、运动跟踪技术(例如，在对象406是机器人控制的器械等的示例中)和/或跟踪图像帧序列内的对象的其他方式。无论哪种情况，装置100都可以获得基于对象跟踪生成的数据，以标识对象406的位置。例如，对象跟踪数据可表示指示对象跟踪已确定对象406当前位于何处的边界框408等。
通过分析诸如图4A和图4B所示的局部和/或全局特性，装置100可以成功且有效地标识与图像帧402中的对象406的描绘相对应的对象区域。下文将更详细地描述涉及此类局部和/或全局特性的分析。一旦标识了对象区域，装置100就可被配置为在确定帧自动曝光数据点(例如，将用作后续图像帧的自动曝光管理基础的帧自动曝光值和/或帧自动曝光目标)时对标识的对象区域进行打折。
为了说明，图4C示出了作为图像帧402的帧自动曝光数据点的确定的一部分，与所标识的对象区域410相关联的像素单元如何可以被打折。如上所述，像素单元可指的是可服务于特定实现方式或图像帧的个体像素或像素组。例如，图像帧(诸如图像帧402)可被划分为网格的单元，每个单元可包括一个或多个单独像素，使得每个像素单元指代具有其相应一个或多个像素的网格单元。在一种情况下，图像帧被划分的网格的每个单元可以仅包括一个单独的像素，从而致使上述像素单元仅具有单独的像素。在其他情况下，网格的每个单元可包括一组若干像素(例如，4像素、16像素、512像素等)，从而致使上述像素单元包括一组像素。
如图4C所示，图像帧402包括许多小正方形的网格，每个小正方形表示图像帧402的像素单元(例如，个体像素或像素组)。图4C中的每个像素单元根据分配给该像素单元的权重值进行阴影化，如下文将要更详细描述的。例如，没有任何阴影的像素单元(例如，大多数仍为白色的像素单元)可被理解为被分配的允许自动曝光管理充分考虑像素单元的权重值，而包括至少某种程度的阴影的像素单元(例如对象区域410中的像素单元)可以被理解为被分配的使像素单元被自动曝光管理打折的权重值。
图4C中所示的不同阴影可表示不同的权重值，并且如下文更详细描述的，可对应于装置100的像素将在对象区域410内被标识的置信水平。例如，如图所示，可以将较浅的阴影分配给对象406周围的外围像素单元，因为这些像素单元可以部分表示对象406，部分表示其他影像(例如，背景)，和/或因为装置100可能难以基于局部和全局特性和/或可使用的其他因素以100％置信度确定给定像素单元是否与对象406相关联。作为不同权重值的结果，当执行自动曝光管理时(例如，当确定帧自动曝光数据点并基于帧自动曝光数据点更新自动曝光参数时)，装置100可将对象区域410的不同部分打折到不同程度。例如，对于以黑色阴影表示的对象区域410的内部部分，装置100可以在自动曝光管理中完全忽略这些像素单元，而对于以交叉阴影线或点表示的对象区域410的外围部分，装置100可以将这些像素单元的影响不同程度地打折(例如，对于用交叉阴影线表示的像素单元，较大程度地打折，对于用点阴影表示的像素单元，较小程度地打折，等等)。
图5示出了用于使用例如装置100、方法200和/或系统300的实现方式来管理图像帧的自动曝光的说明性流程图500。如图所示，流程图500图示了各种操作502-512，每个操作将在下面更详细地描述。应当理解，操作502-512表示一个实施例，其他实施例可省略、添加、重新排序和/或修改这些操作中的任何一个。如将要描述的，流程图500的各种操作502-512可针对图像帧序列中的一个图像帧或多个图像帧(例如，每个图像帧)执行。应当理解的是，根据各种条件，并非每个操作都可以针对每个帧执行，并且图像帧序列中每帧执行的操作的组合和/或顺序可能不同。
在操作502处，可获得由图像捕获系统捕获的图像帧(例如，访问、加载、捕获、生成等)。如前所述，在某些示例中，图像帧可以是描绘一个或多个对象(包括其对图像帧序列的自动曝光管理的影响将被打折的体外对象)的图像帧。例如，所获得的图像帧可以类似于上述图像帧402，并且体外对象可以是对象406。操作502可以以任何合适的方式执行，诸如通过从图像捕获系统访问图像帧(例如，在操作502正由通信地耦合到图像捕获系统的装置100的实现方式来执行的情况下)或通过使用集成图像捕获系统来捕获图像帧(例如在操作502正由包括集成图像捕获系统302的系统300的实现方式来执行的情况下)。
在操作504处，装置100可基于可服务于特定实现方式的任何合适因素来标识在操作502处获得的图像帧内的对象区域。例如，可基于与图像帧中包括的像素单元相关联的一个或多个局部特性、基于与图像帧相关联的一个或多个全局特性或者基于两者的组合(例如，与图像帧中包括的像素单元相关联的局部特性和与图像帧相关联的全局特性的组合)在操作504处执行对象区域的标识。为此，如图所示，操作504可包括操作506(其中装置100分析图像帧的像素单元的局部特性)和操作508(其中装置100分析图像帧的全局特性)中的一个或两个。如图5所示，图6-图8进一步图示了如何在操作504处标识对象区域的各个方面。
图6示出了用于标识说明性图像帧(诸如在操作502处获得的图像帧)内的对象区域的示例性流程图600。如图所示，流程图600包括多个操作602-616，这些操作可在装置100开始执行操作504(标记为开始(START))和流程图600完成且对象区域已被标识(标记为结束(END))之间执行。
在操作602处，装置100可以迭代通过图像帧的每个像素单元或图像帧的一部分。对于每个像素单元Pi，可在操作604处分析像素单元(例如，可包括执行操作606-610中的一个或多个)，并可在操作612处分配权重值(Wi)。此外(例如，在执行操作604和612之前、之后或同时)，可在操作614处确定每个像素单元Pi的诸如单元自动曝光值(Vi)和/或单元自动曝光目标(Ti)的单元自动曝光数据点。然后，在操作616处，可基于已执行的操作604-614的结果为每个像素单元Pi确定加权像素单元。如图所示，装置100可以继续以这种方式处理每个像素单元，只要图像帧中仍有尚未处理的像素单元(未完成)，并且可以通过在操作602处迭代图像帧的所有像素单元时结束(完成)。在某些示例中，为了自动曝光管理的目的，不是迭代通过图像帧的所有像素单元，而是可以考虑图像帧的某个区域(例如，图像帧的中心区域，诸如图像帧的中心50％、图像帧的中心80％等)，同时可以忽略图像帧的另一个区域(例如，图像帧的外围区域，诸如图像帧的外部50％、图像帧的外部20％等)。在这些示例中，当要考虑的区域(例如，中心区域)的所有像素都已迭代通过时，操作602可完成迭代(完成)。
在操作604处，装置100可以分析当前像素单元Pi，以确定像素单元是否对应于图像帧内的特定对象(例如，体外对象)的描绘，或者，在某些实现方式中，确定像素单元对应于特定对象的描绘的置信水平(例如，在0％置信度至100％置信度的尺度上或在另一合适的尺度上，诸如高-中-低置信尺度上等)。如图所示，为了在操作604处完成此分析，装置100可执行操作606至610中的任何或所有操作或未明确示出的其他合适操作，以帮助实现相同的目的。
操作606和608在图6中均被示为属于局部类别，因为这些操作主要或完全基于与被分析的像素单元相关联的一个或多个局部特性来确定像素单元的置信度。局部特性可以包括如上文关于图4A所述的各种类型的像素单元特性。例如，与像素单元相关联的一个或多个局部特性可以包括像素单元的亮度特性(例如，像素单元的平均亮度等)。作为另一示例，与像素单元相关联的一个或多个局部特性可以包括像素单元的色度特性(例如，像素单元的平均颜色等)。在一些实现方式中，与像素单元相关联的一个或多个局部特性可包括像素单元的色度和亮度特性。例如，可以基于色度特性和亮度特性两者的比较，以下面描述的方式确定像素单元描绘体外对象的置信度。
在操作606处，可将像素单元的一个或多个局部特性和与对象区域正在被标识的对象(例如，在一个特定示例中，具有低亮度和中性金属色的器械轴)相关联的对应特性进行比较。在这样的示例中，对象区域的标识可以基于像素单元的亮度特性和同该对象相关联的亮度特性的比较(例如，确定像素单元是否与预期的器械轴对象一样暗)和/或基于像素单元的色度特性和与该对象相关联的色度特性的比较(例如，以确定像素单元的颜色是否与预期的器械轴对象的颜色类似地为中性)。
为了进一步说明操作606，图7A示出了可在说明性颜色空间700内分析的说明性几何特性，以帮助标识图像帧内的对象区域。作为操作606的一部分(或在未明确示出的单独操作中)，装置100可以对与当前像素单元Pi相关联的颜色数据进行归一化和分解，以区分颜色数据的色度特性和颜色数据的亮度特性。例如，每个像素单元的归一化颜色数据可从红-绿-蓝(RGB)颜色空间(其中每个像素的色度和亮度特性由红色值、绿色值和蓝色值共同表示)分解为考虑原色、二次色和/或三次色并且分别考虑亮度特性的不同颜色空间。如图7A所示的一个示例，颜色数据的分解可包括将颜色数据从RGB颜色空间转换为YUV颜色空间。应当理解，在其他实现方式中，颜色数据的分解可包括将颜色数据转换为青-品红-黄-黑-红-绿-蓝(CMYKRGB)颜色空间、CIELAB颜色空间或其他合适的允许独立于亮度特性方便地分析色度特性的颜色空间。
在图7A中，在与YUV颜色空间700相关联的UV坐标空间内绘制若干不同点702(例如，点702-1至702-4)，以表示若干像素单元示例的相应颜色(或更一般地，表示像素单元示例的相应色度特性)。对于UV空间中由点702表示的每个示例像素单元，应当理解，单独的亮度值Y也可与像素单元相关联(例如，以表示像素单元的亮度特性)，尽管图7A中未示出。
为了将像素单元的色度特性与特定对象(例如，在自动曝光管理中要打折的体外对象)的色度特性进行比较，装置100可以在UV坐标平面内应用几何原理。例如，如果特定对象的色度特性由UV坐标空间中的点704表示，装置100可以计算特定点702和点704之间的距离(例如，欧几里德距离)，以确定像素单元的颜色与特定对象的颜色有多相似或不相似的客观和定量度量。例如，由于点702-1相对靠近点704，点702-1和704的比较可以表明这些点所表示的色度特性非常相似(如相对接近的点所示)，而点702-4和704的比较可以表明由这些点表示的色度特性相当不同(如这些点之间相对较远的距离所示)。
在一些示例中，操作606的对象比较可包括确定这些点之间的距离是否超过或不超过特定阈值。这种确定可用于为给定像素单元分配权重值，如下文将更详细描述的。为了说明，在点704周围以半径708绘制阈值706。与点704足够接近以在阈值706的圆内的任何点702可被认为超过或满足阈值706。例如，由点702-1表示的色度特性与由点704表示的色度特性足够相似以满足阈值706。相反，距离点704足够远而在阈值706的圆之外的任何点702可被认为不超过或不满足阈值706。例如，点702-2至702-4所表示的色度特性与点704所表示的色度特性的差异足够大，无法满足阈值706。
在图6的操作608处，可将像素单元的一个或多个局部特性与同对象以外的场景内容(例如，环境影像，诸如亮红色血液、组织和/或身体内部视图中存在的其他场景内容以及深色、中性色器械轴)相关联的对应特性进行比较。因此在这些示例中，对象区域的标识可以基于像素单元的亮度特性和与场景的环境影像相关联的亮度特性的比较(例如，确定像素单元是否与场景中描绘的血液和组织的预期亮度相似)和/或基于像素单元的色度特性和与该场景的环境影像相关联的色度特性的比较(例如，以确定像素单元的颜色是否与场景中描绘的血液和组织的预期颜色类似地为红色)。
为了进一步说明操作608，图7B示出了可在上文关于图7A描述的说明性颜色空间700内分析的附加说明性几何特性。图7B示出了YUV颜色空间700的UV坐标空间内的相同点702。此外，图7B示出了装置100可确定与场景的环境影像相关联的色域710(例如，对于医疗程序示例，包含对应于身体内部视图中可见的血液和组织的红色范围的色域)。例如，色域710可由装置100预定义和访问(例如，作为特定场景(诸如，手术程序等)的简档从存储器加载)，或可基于场景或其环境影像的平均色域确定，如已分析的图像帧或先前图像帧所示。虽然色域710被示为不规则形状，但应当理解，色域710可在其他示例中实现为圆、多边形或可服务于特定实现方式的任何其他合适形状。
为了将像素单元的色度特性与其他场景内容的色度特性进行比较(例如，场景中的环境影像的色度特性，包括要被打折的体外对象之外的对象和内容)，装置100可以再次在UV坐标平面内应用几何原理。例如，如果场景的环境影像的色度特性由UV坐标空间中的色域710表示，则装置100可以确定特定点702是否包括在色域710内。例如，由于点702-3和702-4位于色域710的边界内，因此可以确定这些点可能表示场景的环境影像(例如，不描绘体外对象)。相反，由于点702-1和702-2位于色域710的边界之外，因此可以确定这些点可能不表示场景的环境影像(例如，更可能描绘体外对象)。
不同像素单元的亮度特性可以以与关于图7A和图7B描述的色度特性类似的方式分析并与场景中存在的体外对象(例如，器械轴)或环境影像(例如，血液和组织)的已知亮度特性进行比较。然而，与色度特性、亮度特性、距离、阈值、范围(类似于色域)等在二维坐标平面上表示的情况不同，所有这些都可以在一维数字线上确定和表示。
返回图6，操作610可以作为操作606和/或608的补充或替代来执行。在操作610处，装置100可以执行对象跟踪，以确定图像帧中描绘的场景内的对象(例如，要打折的体外对象)的位置。操作610被示出为属于全局类别，因为操作610被配置为主要或完全基于与被分析的图像帧相关联的一个或多个全局特性来帮助确定每个像素单元的置信度。如上文关于图4B所述，一个或多个全局特性可包括基于从跟踪图像帧中描绘的场景内的特定对象的位置的对象跟踪系统接收到的对象跟踪数据确定的对象位置特性。
对象跟踪系统可以由任何合适的系统实现，并且可以以可服务于特定实现方式的任何方式操作。例如，在要跟踪的对象是由计算机辅助医疗系统内的机械臂控制的器械的示例中，对象跟踪系统可以集成在计算机辅助医疗系统内(例如与装置100和/或系统300的实现方式一起集成)并且可以基于与机械臂的运动相关联的运动学数据来跟踪对象的位置。运动学数据可由计算机辅助医疗系统基于每个机械臂被引导进行的运动和指示机械臂如何定位的传感器连续生成和跟踪。因此，这些数据可被转换为指示，例如，由一个机械臂控制的器械相对于由另一个机械臂(或在某些实现方式中由同一机械臂)控制的成像设备(例如，内窥镜)在空间中的位置。
在相同或其他示例中，对象跟踪系统可基于应用于包括图像帧的图像帧序列的图像帧的计算机视觉技术来跟踪对象的位置。例如，为识别医疗程序中的器械或在另一环境中识别另一类型的对象而执行的对象识别技术(例如，包括利用机器学习或其他类型人工智能的技术)也可用于帮助跟踪对象在场景中的位置。
可以使用利用运动学、计算机视觉或其他合适技术确定的对象跟踪数据，代替或补充从上述基于局部的技术导出的数据，作为装置100确定每个像素单元是否对应于图像帧中对象的描绘的置信水平的基础。因此，可以以任何合适的方式确定和表示对象跟踪数据。作为一个示例，对象跟踪系统可输出围绕图像帧中对象的描绘的边界框(例如，诸如图4B中的边界框408)的坐标。作为另一个示例，对象跟踪系统可以输出场景中描绘的各种对象(例如，器械、解剖对象等)的语义分割图，该语义分割图包括将在自动曝光管理中打折的对象的语义分割数据。
在操作612处，可基于在操作604处执行的像素单元分析和/或基于其他合适的加权因子(例如，像素单元在图像帧内的空间位置等)，为图像帧或其区域(例如，每个像素单元Pi)的多个像素中的每个像素分配相应的权重值(Wi)。在操作612处分配的相应权重值可指示像素单元被包括在体外对象的描绘中的相应置信水平(例如，每个特定像素单元对应于或不对应于体外对象的描绘的置信水平)，如任何基于局部的像素比较操作(诸如操作606和608)、任何基于全局的对象跟踪操作(诸如操作610)或在特定实现方式中可以作为操作604的一部分执行的任何其他置信度分析所指示的。例如，可通过使用拜耳公式或以其他合适方式考虑局部和全局特性来估计像素单元描绘体外对象的概率。
在一些示例中，权重值也可以以考虑每个像素单元在图像帧的查看者的关注区域内的可能性，以及因此，每个像素单元相对于图像帧中的其他像素单元被认为是多么重要的方式确定。例如，在某些实现方式中，可以假设查看者可能将注意力集中在图像帧的中心附近，因此分配给每个像素单元的权重值可以至少部分地基于像素单元与图像帧的中心的接近度(例如，较高的权重值指示更接近中心，较低的权重值指示距离中心更远)。作为另一个示例，一种实现方式可以包括眼睛跟踪功能，以实时确定查看者正在关注图像帧的哪个部分，分配给每个像素单元的权重值可以至少部分地基于像素单元与检测到的实时关注区域的接近度(例如，而不是图像帧的中心或除了图像帧的中心之外)。在其他示例中，分配给像素单元的权重值可能受到其他基于空间位置的标准(例如，与图像帧中除中心以外的另一假定关注区域的接近度等)或基于非空间位置的标准的影响。可替代地，在某些示例中，可以将每个像素单元视为同等重要，而不管其空间位置如何，这样权重值完全基于置信度分析，而不是像素单元的空间位置。
图8示出了可在操作612处分配给像素单元的权重值的说明性范围，以指示像素单元被包括在图像帧内的体外对象的描绘中的置信水平。具体地，权重值802被描绘为能够基于在操作604处执行的像素单元分析在置信尺度上从100％置信度滑动到0％置信度。应当理解，权重值802仅表示可分配给特定像素单元的总权重值的基于置信度的方面，并且在将总权重值分配给特定的像素单元时，还可考虑一个或多个其他方面(例如，如上所述的基于空间位置的方面)。
如果在操作604处执行的分析(例如，与操作606-610中的任何一个相关联的分析)产生非常高的置信水平，则权重值802可以越过阈值上限804并被分配第一权重值。例如，第一权重值可以是本文中称为空权重值的最小权重值(例如，0％)。第一权重值可促使自动曝光管理由于像素单元描绘要被打折的对象的高置信水平而对该像素单元进行打折(例如完全忽略)。相反，如果在操作604处执行的分析产生非常低的置信水平，则权重值802可越过阈值下限806并被分配第二权重值。例如，第二权重值可以是本文称为全权重值的最大权重值(例如，100％)。第二权重值可促使自动曝光管理对该像素单元给予显著或完全的权重，这是由于像素单元没有描绘要被打折的对象的置信度。如果由操作604确定的置信水平在这些阈值之间(例如，既不是很高也不是很低)，则权重值802可被分配在第一权重值和第二权重值之间的操作权重值(例如，大于0％且小于100％的值)。例如，由于像素单元部分地描绘了要打折的对象(例如，描绘了对象的边缘的一部分等)的可能性，或者由于缺乏关于像素单元是否描绘了对象的确定性，操作权重值可以促使自动曝光管理在有限程度上考虑该像素单元。
与操作604相关联的每个分析可有助于分配给像素单元的总权重值。例如，可基于操作606处的分析来分配总权重值，该分析指示像素单元在色度上与对象的预期色度有多相似，基于操作608处的分析来分配总权重值，该分析指示像素单元在色度上与场景的环境影像的预期色度有多相似，和/或基于局部或全局特性的附加分析来分配总权重值。
在某些实现方式中，可基于与操作606或608相关联的局部特性分析、对像素单元的局部特性(例如，与像素单元的色度或亮度相关联的特性等)的另一分析或这些局部特性分析的组合(例如，基于操作606处的对象比较和操作608处的场景比较的组合)，来分配总权重值。作为可如何将局部置信度分析转换为权重值的一个示例(或组合若干这些方面的总权重值的一个方面)，将再次考虑上文关于图7A描述(并与操作606相关联)的色度阈值。在该示例中，如图7A所示，装置100可通过以下方式比较特定像素单元的色度特性与同体外对象相关联的色度特性：1)确定在代表特定像素单元的色度特性的第一点(例如，点702中的一个)和代表与对象相关联的色度特性的第二点(例如点704)之间(例如，在颜色空间700内)的距离，以及2)基于第一点和第二点之间的颜色空间内的距离，从而将权重值分配给特定像素单元。
在该示例中，当第一点和第二点之间的距离大于第一距离阈值时(例如当第一点位于距第二点的外半径之外时)，可以确定权重值802不超过阈值下限806(因此被分配第二权重值)，因为该较大的距离指示很有可能该像素单元描绘对象。相反，当第一点和第二点之间的距离小于第二距离阈值时(例如，当第一点位于距第二点的内半径内时)，可以确定权重值802超过阈值上限804(因此被分配第一权重值)，因为该较小的距离指示很有可能该像素单元描绘对象。在其他示例中，当第一点和第二点之间的距离在第一距离阈值和第二距离阈值之间时(例如，当第一点位于距第二点的内半径和外半径之间时)，可以确定权重值802超过阈值下限806且不超过阈值上限804(因此被分配特定的操作权重值)。这是因为中等距离可以指示像素单元可能部分地描绘对象(例如，由于像素单元位于对象的边缘，像素单元的一些单独像素描绘对象，而其他像素没有描绘对象)，或者不确定该像素单元是否描绘对象。
返回图6，在该特定示例中基于操作606分配的权重值802可以用作像素单元的总权重值，或者可以用作在确定总权重值时将与其他因素或方面一起考虑(例如，组合、平均等)的一个因素或方面。例如，如上所述基于操作606分配的权重值802可与基于与操作608相关联的类似分析或基于像素单元的其他局部特性分配的一个或多个单独权重值802(例如，另一个第一、第二或操作权重值)组合。基于不同分析分配的不同权重值可以以任何合适的方式组合。例如，装置100可被配置为使用从任何分析中返回的最高权重值、从任何分析中返回的最低权重值或从分析中返回的所有权重值的中值或模式作为总权重值。可替代地，装置100可被配置为通过计算权重值的平均值将不同权重值组合成总权重值。例如，如果从操作606返回第二权重值(例如，100％的全权重值)并且从操作608返回第一权重值(例如，0％的空权重值)，则装置100可以将这两个权重值平均为操作权重值(例如，50％)。
此外，诸如操作610的对象跟踪的全局分析可作为上述局部分析的补充或替代使用。例如，完全包括在由操作610跟踪的体外对象的边界框内的像素单元可以被分配第一权重值802(例如，空权重值)，完全位于该边界框外的像素单元可被分配第二权重值802(例如，全权重值)，并且被确定为在边界框的边界上(或附近)的像素单元可以被分配操作权重值802(例如，大于第一权重值且小于第二权重值的权重值)。与上述关于局部特性描述的权重值802一样，基于全局特性分析以这种方式分配的权重值802在某些示例中可以用作总权重值，或者可以包括通过组合多个这样的方面确定的总权重值的一个方面。例如，基于操作610确定的全局权重值可以以本文所述的任何方式(例如，使用最大权重值、使用最小权重值、计算平均权重值等)与一个或多个其他全局权重值或一个或多个局部权重值组合。
在操作614处，可确定当前像素单元(Pi)的一个或多个单元自动曝光数据点(例如，单元自动曝光值(Vi)、单元自动曝光目标(Ti)等)。例如，无论操作604是否揭示像素单元是体外对象的一部分、不是对象的一部分或是未确定，操作614可分析像素单元的特性(诸如像素单元的亮度)以确定像素单元有多亮(例如，单元自动曝光值Vi)和/或像素单元期望什么亮度值(例如，单元自动曝光目标Ti)。在每个像素单元i由个体像素实现的实现方式中，在操作614处确定的单元自动曝光值和单元自动曝光目标可以实现为个体像素的像素自动曝光值和像素自动曝光目标。相反，在将每个像素单元i实现为图像帧区域中的像素分组的实现方式中，在操作614处确定的单元自动曝光值和单元自动曝光目标可被确定为像素单元内包括的个体像素的像素自动曝光值的平均值(例如，平均值、中值、模式等)和/或像素自动曝光目标。如上所述，由于操作614可以独立于操作604-612，因此操作614可在操作604-612之前、之后或与其同时执行。
在操作616处，操作612和614的输出可被组合以形成与正被处理的像素单元Pi相对应的加权像素单元。如图所示，每个加权像素单元可包括与像素单元Pi的单元自动曝光值(Vi)相关联的数据、与像素单元Pi的单元自动曝光目标(Ti)相关联的数据以及与像素单元Pi的权重值(Wi)相关联的数据。如下文将更详细地描述的，图像帧的每个像素单元的加权像素单元可用于以对与体外对象相关联的对象区域打折的方式确定帧自动曝光数据点(例如，帧自动曝光值和帧自动曝光目标)。一旦在操作602处已经迭代了图像帧的所有像素单元Pi(例如，或其一部分等)，流程可以继续(完成)到流程图600的结束，在该点，操作504可以完成，并且已经基于分配给像素单元的相应权重值标识了对象区域。
返回图5，流程可从操作504进行到操作510，其中装置100可确定帧自动曝光数据点，诸如图像帧的帧自动曝光值(VF)和图像帧的帧自动曝光目标(TF)。在操作510处，可以以对在操作504处标识的对象区域进行打折的方式确定帧自动曝光数据点。例如，可在操作504期间(例如，在图6的操作616处)确定的加权像素单元内对所标识的对象区域进行编码，且这些加权像素单元可用于确定帧自动曝光数据点。
图9示出了实现可执行操作510的一种方式的说明性流程图900。流程图900示出了装置100如何可以基于加权像素单元来确定帧自动曝光值和帧自动曝光目标，该加权像素单元是在操作504处作为对象区域的标识的一部分而确定的。具体地，如图所示，不同加权像素单元(例如，在操作504处分析的每个像素单元Pi中的一个)可以为要执行的流程图900的各种操作902-910提供输入数据，以便通过对对象区域进行打折来最终确定帧自动曝光值(VF)和帧自动曝光目标(TF)。
在操作902处，装置100可将来自每个加权像素单元的每个单元自动曝光值Vi缩放对应的权重值Wi，并可将这些缩放的单元自动曝光值组合在一起(例如，求和等)以形成单个值。类似地，在操作904处，装置100可将每个加权像素单元中的每个单元自动曝光目标Ti缩放对应的权重值Wi，并可将这些缩放的单元自动曝光目标组合在一起(例如，求和等)以形成另一个单值。在操作906处，装置100可以以类似的方式组合每个权重值(例如，将权重值相加在一起等)。
在操作908处，装置100可以基于分配给像素单元的相应权重值来确定帧自动曝光值。例如，可将帧自动曝光值确定为像素单元的相应单元自动曝光值的加权平均值。装置100可以基于操作902和906的输出(例如，通过将操作902的输出除以操作906的输出)在操作908处确定加权平均值以形成帧自动曝光值。这样，帧自动曝光值VF可根据等式1确定(其中i是用于迭代每个加权像素单元的索引)：
Figure BDA0004047458860000251
在操作910处，装置100可以基于分配给像素单元的相应权重值来确定帧自动曝光目标。例如，可将帧自动曝光目标确定为像素单元的相应单元自动曝光目标的加权平均值。装置100可以基于操作904和906的输出(例如，将操作904的输出除以操作906的输出)在操作910处确定加权平均值以形成帧自动曝光目标。这样，帧自动曝光值TF可根据等式2确定(其中i是用于迭代每个加权像素单元的索引)：
Figure BDA0004047458860000252
在其他实施例中，合并各种像素单元的单元自动曝光数据点和权重值的加权平均值可以以其他方式计算，以基于像素单元已被加权以消除或淡化对被确定为至少部分地对应于图像帧内体外对象的描绘的像素单元的自动曝光管理的影响的方式类似地对被标识的对象区域进行打折。
一旦在操作908处确定了帧自动曝光值并且在图9的操作910处确定了帧自动曝光目标，图5的操作510可能已完成并且流程可以在流程图500内进行到操作512，其中装置100可以基于通过对对象区域进行打折而确定的帧自动曝光值和/或帧自动曝光目标来更新图像捕获系统的自动曝光参数。在操作512处，装置100可以更新(例如，调整或保持)图像捕获系统的自动曝光参数，以准备图像捕获系统捕获图像帧序列中的后续图像帧。
图10示出了用于在操作512处更新自动曝光参数的说明性技术1000。如图所示，先前确定的帧自动曝光值和帧自动曝光目标用作图10所示操作的输入。例如，操作1002可接收帧自动曝光值和帧自动曝光目标作为输入，并可将其用作确定帧自动曝光增益的基础。帧自动曝光增益可被确定为对应于帧自动曝光目标与帧自动曝光值的比率。通过这种方式，如果帧自动曝光值已经等于帧自动曝光目标(例如，使得不需要进一步调整以与目标对齐)，则帧自动曝光增益可以设置为增益1，以便系统不会尝试提高也不会衰减图像捕获系统捕获的后续帧的自动曝光值。相反，如果帧自动曝光目标与帧自动曝光值不同，则可将帧自动曝光增益设置为对应于小于或大于1的值，以使系统提高或衰减后续帧的自动曝光值，以尝试使自动曝光值更紧密匹配所需的自动曝光目标。
在操作1004处，可将帧自动曝光增益与为图像帧序列中的先前图像帧确定的其他数据(例如，其他帧自动曝光增益)一起作为输入。基于这些输入，操作1004应用滤波以确保自动曝光增益不会比预期更快地变化，从而确保呈现给用户的图像帧保持一致的亮度并逐渐变化。在操作1004处执行的滤波可以使用诸如时间无限脉冲响应(IIR)滤波器的平滑滤波器或可服务于特定实现方式的另一种这样的数字或模拟滤波器来执行。
在操作1006处，经滤波的帧自动曝光增益可用作调整图像捕获系统的一个或多个自动曝光参数的基础(例如，供图像捕获设备或照明源用于捕获附加图像帧)。例如，如上所述，调整后的自动曝光参数可以包括曝光时间参数、快门光圈参数、亮度增益参数等。对于其中场景的照明主要或完全由图像捕获系统控制的图像捕获系统(例如，包括上述内窥镜图像捕获设备的图像捕获系统、包括闪光灯或其他照明源的图像捕获系统等)，经调整的自动曝光参数可进一步包括照明强度参数、照明持续时间参数等。
对图像捕获系统的自动曝光参数的调整可以使图像捕获系统以各种不同方式曝光后续图像帧。例如，通过调整曝光时间参数，可以调整图像捕获系统中包括的快门的快门速度。例如，快门可保持打开较长时间段(例如，从而增加图像传感器的曝光时间量)或较短时间段(例如，从而减少图像传感器的曝光时间量)。作为另一个示例，通过调整快门光圈参数，可以将快门的光圈调整为打开的更宽(例如，从而增加暴露于图像传感器的光量)或更小(例如，由此减少暴露于图像感应器的光量)。作为又一个示例，通过调整亮度增益参数，可以增加或减小灵敏度(例如，ISO灵敏度)，以放大或衰减图像捕获系统捕获的照度。对于图像捕获系统控制场景照明的实现方式，可调整照明强度和/或照明持续时间参数以增加用于照亮被捕获场景的光的强度和持续时间，从而也影响图像传感器暴露于光的量。
返回图5，在执行流程图500的操作之后，可以认为当前图像帧已被装置100完全处理，并且流程可以返回到操作502，在该处可以获得图像帧序列的后续图像帧。可以对后续图像帧和/或其他后续图像帧重复该过程。应当理解，在某些示例中，可根据流程图500分析每个图像帧，以使自动曝光数据点(例如，帧自动曝光值和帧自动曝光目标等)和自动曝光参数尽可能最新。在其他示例中，只有某些图像帧(例如，每隔一个图像帧、每隔三个图像帧等)可以进行如此分析，以在更定期的自动曝光处理仍然允许实现设计规范和目标的情况下节省处理带宽。还应当理解，自动曝光效果可能倾向于滞后于场景中亮度变化几帧，因为基于一个特定帧进行的自动曝光参数调整不会影响该帧的曝光，而是会影响后续帧。
基于装置100对自动曝光参数进行的任何调整(和/或基于合适时将自动曝光参数保持在其当前水平)，装置100可以成功管理图像捕获系统所捕获的图像帧的自动曝光，并且后续图像帧可以以期望的自动曝光特性被捕获，以便在呈现给用户时具有吸引人的和有益的外观。
如前所述，在某些示例中，装置100、方法200和/或系统300可各自与用于在身体上执行医疗程序(例如，手术程序、诊断程序、探察程序等)的计算机辅助医疗系统相关联。为了说明，图11示出了可用于执行包括手术和/或非手术程序在内的各种类型的医疗程序的说明性计算机辅助医疗系统1100。
如图所示，计算机辅助医疗系统1100可包括操纵器组件1102(图11中示出了操纵器推车)、用户控制装置1104和辅助装置1106，所有这些都彼此通信地耦合。医疗团队可以使用计算机辅助医疗系统1100来在患者1108的身体上或在可服务于特定实现方式的任何其他身体上执行计算机辅助医疗程序或其他类似操作。如图所示，医疗团队可包括第一用户1110-1(诸如用于手术程序的外科医生)、第二用户1110-2(诸如患者侧助理)、第三用户1110-3(诸如另一助理、护士、受训者等)和第四用户1110-4(诸如用于手术程序的麻醉师)，所有这些用户可以统称为用户1110，并且他们中的每一个可以控制计算机辅助医疗系统1100、与其交互或以其他方式成为计算机辅助医疗系统1100的用户。在医疗程序期间，可以存在更多、更少或替代的可服务于特定实现方式的用户。例如，不同医疗程序或非医疗程序的团队组成可能有所不同，并包括具有不同角色的用户。
虽然图11图示了正在进行的微创医疗程序，诸如微创手术程序，但应当理解，计算机辅助医疗系统1100可类似地用于执行开放式医疗程序或其他类型的操作。例如，还可以执行诸如探索性成像操作、用于训练目的的模拟医疗程序和/或其他操作等操作。
如图11所示，操纵器组件1102可包括一个或多个操纵器臂1112(例如，操纵器臂1112-1至1112-4)，一个或多个器械可耦合至该操纵器臂。器械可用于患者1108身上的计算机辅助医疗程序(例如，在外科示例中，通过至少部分插入患者1108体内并在患者1108体内操纵)。尽管操纵器组件1102在本文中被描绘和描述为包括四个操纵器臂1112，但应认识到，操纵器组件1102可包括单个操纵器臂1112或可服务于特定实现方式的任何其他数量的操纵器臂。虽然图11的示例将操纵器臂1112示为机器人操纵器臂，但应当理解，在一些示例中，一个或多个器械可部分或完全手动控制，诸如通过手持和由人手动控制。例如，这些部分或完全手动控制的器械可与耦合到图11中所示的操纵器臂1112的计算机辅助器械结合使用，或作为其替代。
在医疗操作期间，用户控制装置1104可被配置为便于用户1110-1对操纵器臂1112和附接到操纵器臂1112的器械进行远程操作控制。为此，用户控制装置1104可以向用户1110-1提供由成像设备捕获的与患者1108相关联的操作区域的影像。为了便于控制器械，用户控制装置1104可以包括一组主控制器。这些主控制器可由用户1110-1操纵，以控制操纵器臂1112或耦合到操纵器臂1112的任何器械的移动。
辅助装置1106可以包括一个或多个计算设备，该计算设备被配置为执行辅助功能以支持医疗程序，诸如为计算机辅助医疗系统1100的成像设备、图像处理或协调部件提供吹气、电烙能量、照明或其他能量。在一些示例中，辅助装置1106可配置有显示监视器1114，该监视器被配置为显示一个或多个用户界面，或支持医疗程序的图形或文本信息。在某些情况下，显示监视器1114可由触摸屏显示器实现并提供用户输入功能。
如下文将更详细描述的，装置100可在计算机辅助医疗系统1100内实现或可与计算机辅助医疗系统1100一起操作。例如，在某些实现方式中，装置100可通过附接到操纵器臂1112之一的器械(例如，内窥镜或其他成像器械)内包括的计算资源来实现，或通过与操纵器组件1102、用户控制装置1104、辅助装置1106或图11中未明确示出的另一系统部件相关联的计算资源来实现。
操纵器组件1102、用户控制装置1104和辅助装置1106可以以任何合适的方式彼此通信耦合。例如，如图11所示，操纵器组件1102、用户控制装置1104和辅助装置1106可以借助于控制线1116通信耦合，控制线116可以代表可以服务于特定实现方式的任何有线或无线通信链路。为此，操纵器组件1102、用户控制装置1104和辅助装置1106可以各自包括一个或多个有线或无线通信接口，诸如一个或多个局域网接口、Wi-Fi网络接口、蜂窝接口等等。
在某些实施例中，本文描述的一个或多个过程可以至少部分地实现为包含在非暂时性计算机可读介质中并且可由一个或多个计算设备执行的指令。通常，处理器(例如，微处理器)从非暂时性计算机可读介质(例如，存储器等)接收指令，并执行那些指令，从而执行一个或多个过程，包括一个或多个本文所述的过程。可以使用多种已知的计算机可读介质中的任一种来存储和/或传送这样的指令。
计算机可读介质(也称为处理器可读介质)包括参与提供可由计算机(例如，由计算机的处理器)读取的数据(例如，指令)的任何非暂时性介质。这种介质可以采用许多形式，包括但不限于非易失性介质和/或易失性介质。非易失性介质可以包括例如光盘或磁盘以及其他持久性存储器。易失性介质可以包括例如动态随机存取存储器(DRAM)，其通常构成主存储器。计算机可读介质的常见形式包括，例如，磁盘、硬盘、磁带、任何其他磁介质、压缩盘只读存储器(CD-ROM)、数字视频盘(DVD)、任何其他光学介质、随机存取存储器(RAM)、可编程只读存储器(PROM)、电可擦除可编程只读存储器(EPROM)、FLASH-EEPROM、任何其他存储器芯片或盒式磁带或计算机可以读取的任何其他有形介质。
图12图示出了说明性计算系统1200，该计算系统可以被具体配置为执行本文描述的一个或多个过程。例如，计算系统1200可包括或实现(或部分实现)自动曝光管理装置(诸如装置100)、自动曝光管理系统(诸如系统300)或本文所述的任何其他计算系统或设备。
如图12所示，计算系统1200可以包括经由通信基础设施1210通信连接的通信接口1202、处理器1204、存储设备1206和输入/输出(“I/O”)模块1208。尽管图12中示出了说明性计算系统1200，但图12中所示的部件并非旨在进行限制。在其他实施例中可以使用附加的或替代的部件。现在将更详细地描述图12中所示的计算系统1200的部件。
通信接口1202可以被配置为与一个或多个计算设备通信。通信接口1202的示例包括但不限于有线网络接口(诸如网络接口卡)、无线网络接口(诸如无线网络接口卡)、调制解调器、音频/视频连接和任何其他合适的接口。
处理器1204通常代表能够处理数据或解释、执行和/或引导本文描述的指令、过程和/或操作中的一个或多个的执行的任何类型或形式的处理单元。处理器1204可以根据一个或多个应用1212或诸如可以存储在存储设备1206或另一计算机可读介质中的其他计算机可执行指令来引导手术的执行。
存储设备1206可以包括一个或多个数据存储介质、设备或配置并且可以采用数据存储介质和/或设备的任何类型、形式和组合。例如，存储设备1206可以包括但不限于硬盘驱动器、网络驱动器、闪存驱动器、磁盘、光盘、RAM、动态RAM、其他非易失性和/或易失性数据存储单元，或其组合或子组合。电子数据，包括本文描述的数据，可以临时和/或永久地存储在存储设备1206中。例如，代表一个或多个被配置为引导处理器1204执行本文所述的任何操作的可执行应用1212的数据可以存储在存储设备1206中。在一些示例中，数据可以被布置在驻留在存储设备1206内的一个或多个数据库中。
I/O模块1208可以包括一个或多个I/O模块，这些I/O模块被配置为接收用户输入并提供用户输出。一个或多个I/O模块可用于接收单个虚拟体验的输入。I/O模块1208可以包括支持输入和输出能力的任何硬件、固件、软件或其组合。例如，I/O模块1208可以包括用于捕获用户输入的硬件和/或软件，包括但不限于键盘或小键盘、触摸屏部件(例如，触摸屏显示器)、接收器(例如，RF或红外接收器)、运动传感器和/或一个或多个输入按钮。
I/O模块1208可以包括用于向用户呈现输出的一个或多个设备，包括但不限于图形引擎、显示器(例如，显示屏)、一个或多个输出驱动器(例如，显示驱动器)、一个或多个音频扬声器和一个或多个音频驱动器。在某些实施例中，I/O模块1208被配置为向显示器提供图形数据以呈现给用户。图形数据可以代表一个或多个图形用户界面和/或可以服务于特定实现方式的任何其他图形内容。
在一些示例中，本文描述的任何设施可以由计算系统1200的一个或多个部件实现或在计算系统1200的一个或多个部件内实现。例如，驻留在存储设备1206内的一个或多个应用1212可以被配置为引导处理器1204执行与装置100的处理器104相关联的一个或多个过程或功能。同样，装置100的存储器102可以由存储设备1206实现或在其内实现。
在前面的描述中，已经参考附图描述了各种说明性实施例。然而，很明显，可以对其进行各种修改和改变，并且可以实施附加的实施例，而不脱离如在所附权利要求中阐述的本发明的范围。例如，本文描述的一个实施例的某些特征可以与本文描述的另一实施例的特征组合或替代另一实施例。因此，说明书和附图被认为是说明性的而不是限制性的。

Claims (44)

1.一种装置，包括：
一个或多个处理器；以及
存储可执行指令的存储器，当由所述一个或多个处理器执行时，所述可执行指令使所述装置执行以下操作：
在由图像捕获系统捕获的图像帧中，标识与所述图像帧中描绘的对象的描绘相对应的对象区域；
通过对所述图像帧中的所述对象区域进行打折来确定所述图像帧的帧自动曝光值；以及
基于所述帧自动曝光值更新一个或多个自动曝光参数，以供所述图像捕获系统用于捕获附加图像帧。
2.根据权利要求1所述的装置，其中：
当所述指令由所述一个或多个处理器执行时，所述指令使所述装置向包括在所述图像帧中的像素单元分配指示所述像素单元被包括在所述对象的所述描绘中的相应置信水平的相应权重值；以及
标识所述对象区域基于分配给所述像素单元的所述相应权重值。
3.根据权利要求2所述的装置，其中，通过对所述对象区域进行打折来确定所述帧自动曝光值包括：
确定包括在所述图像帧中的像素单元的相应单元自动曝光值；以及
基于分配给所述像素单元的所述相应权重值，将所述帧自动曝光值确定为所述像素单元的所述相应单元自动曝光值的加权平均值。
4.根据权利要求1所述的装置，其中，标识所述对象区域基于与所述图像帧中包括的像素单元相关联的一个或多个局部特性。
5.根据权利要求4所述的装置，其中：
与所述像素单元相关联的所述一个或多个局部特性包括所述像素单元的色度特性；以及
标识所述对象区域包括将所述像素单元的所述色度特性和与所述对象相关联的色度特性进行比较。
6.根据权利要求5所述的装置，其中：
将所述像素单元的所述色度特性和与所述对象相关联的所述色度特性进行比较包括，对于每个像素单元：
在颜色空间内确定代表所述像素单元的色度特性的第一点和代表与所述对象相关联的所述色度特性的第二点之间的距离；以及
基于所述第一点和所述第二点之间的所述距离，将权重值分配给所述像素单元，将所述权重值分配为：
如果所述距离超过阈值上限，则第一权重值，
如果所述距离不超过阈值下限，则第二权重值，其中，所述第二权重值大于所述第一权重值，并且
如果所述距离超过所述阈值下限并且不超过所述阈值上限，则在所述第一权重值和所述第二权重值之间的操作权重值；以及
基于分配给所述像素单元的所述权重值执行对所述对象区域的标识。
7.根据权利要求4所述的装置，其中：
与所述像素单元相关联的所述一个或多个局部特性包括所述像素单元的亮度特性；以及
标识所述对象区域包括将所述像素单元的所述亮度特性和与所述对象相关联的亮度特性进行比较。
8.根据权利要求4所述的装置，其中：
与所述像素单元相关联的所述一个或多个局部特性包括所述像素单元的色度特性和亮度特性；以及
标识所述对象区域包括：
将所述像素单元的所述色度特性和与所述对象相关联的色度特性进行比较，以及
将所述像素单元的所述亮度特性和与所述对象相关联的亮度特性进行比较。
9.根据权利要求4所述的装置，其中：
当所述指令由所述一个或多个处理器执行时，所述指令使所述装置确定所述图像帧中描绘的场景的环境影像的色域；
与所述像素单元相关联的所述一个或多个局部特性包括所述像素单元的色度特性；以及
标识所述对象区域包括确定所述像素单元的所述色度特性是否包括在所述场景的所述环境影像的所述色域内。
10.根据权利要求9所述的装置，其中：
所述图像捕获系统包括内窥镜图像捕获设备，所述内窥镜图像捕获设备被配置为捕获作为在身体上执行医疗程序期间捕获的图像帧序列的一部分的所述图像帧；
所述图像帧中描绘的所述场景是所述身体的内部视图；以及
所述场景的所述环境影像的所述色域包含对应于在所述身体的所述内部视图中可见的血液和组织的红色范围。
11.根据权利要求4所述的装置，其中，每个所述像素单元是个体像素。
12.根据权利要求4所述的装置，其中：
所述图像帧被划分为网格的单元，每个单元包括个体像素的分组；以及
每个所述像素单元是包括个体像素的相应分组的所述网格的单元。
13.根据权利要求1所述的装置，其中，标识所述对象区域基于与所述图像帧相关联的一个或多个全局特性。
14.根据权利要求13所述的装置，其中，与所述图像帧相关联的所述一个或多个全局特性包括基于从对象跟踪系统接收到的对象跟踪数据确定的对象位置特性，所述对象跟踪系统跟踪所述图像帧中描绘的场景内的所述对象的位置。
15.根据权利要求14所述的装置，其中：
所述对象包括由机械臂控制的器械；以及
所述对象跟踪系统基于与所述机械臂的运动相关联的运动学数据来跟踪所述对象的所述位置。
16.根据权利要求14所述的装置，其中，所述对象跟踪系统基于应用于包括所述图像帧的图像帧序列的图像帧的计算机视觉技术来跟踪所述对象的所述位置。
17.根据权利要求1所述的装置，其中，标识所述对象区域基于以下的组合：
与包括在所述图像帧中的像素单元相关联的局部特性；以及
与所述图像帧相关联的全局特性。
18.根据权利要求1所述的装置，其中：
当所述指令由所述一个或多个处理器执行时，所述指令使所述装置执行以下操作：
通过对所述图像帧中的所述对象区域进行打折来确定所述图像帧的帧自动曝光目标；以及
基于所述帧自动曝光值和所述帧自动曝光目标确定帧自动曝光增益；以及
更新所述一个或多个自动曝光参数包括基于所述帧自动曝光增益来更新所述一个或多个自动曝光参数。
19.根据权利要求18所述的装置，其中：
当由所述一个或多个处理器执行时，所述指令使得所述装置使用平滑滤波器并基于与包括所述图像帧的图像帧序列中的一个或多个帧相关联的一个或者多个帧自动曝光参数增益来滤波所述帧自动曝光增益；以及
更新所述一个或多个自动曝光参数是基于经滤波的帧自动曝光增益。
20.根据权利要求1所述的装置，其中，所述一个或多个自动曝光参数包括以下一个或多个：
曝光时间参数；
快门光圈参数；
照明强度参数；或
亮度增益参数。
21.一种系统，包括：
照明源，所述照明源被配置为在医疗程序期间照亮包括身体内部视图的场景；
图像捕获设备，所述图像捕获设备被配置为在所述医疗程序期间捕获图像帧序列，所述图像帧序列包括描绘所述医疗程序期间的所述场景的图像帧；以及
一个或多个处理器，所述一个或多个处理器被配置为：
确定所述图像帧中描绘的所述场景的环境影像的色域，所述色域包含对应于在所述身体内部视图中可见的血液和组织的红色范围；
基于所述图像帧中包括的像素单元的一个或多个色度特性，在所述图像帧中标识与所述图像帧中描绘的对象的描绘相对应的对象区域，所述标识包括确定所述像素单元的所述色度特性是否包括在所述场景的所述环境影像的所述色域内；
通过对所述图像帧中的所述对象区域进行打折来确定所述图像帧的帧自动曝光值；以及
基于所述帧自动曝光值更新一个或多个自动曝光参数，以供所述图像捕获设备或所述照明源用于捕获附加图像帧。
22.根据权利要求21所述的系统，其中：
所述一个或多个处理器被配置为向所述像素单元分配指示所述像素单元被包括在所述对象的所述描绘中的相应置信水平的相应权重值；以及
标识所述对象区域基于分配给所述像素单元的所述相应权重值。
23.根据权利要求22所述的系统，其中，通过对所述对象区域进行打折来确定所述帧自动曝光值包括：
确定包括在所述图像帧中的像素单元的相应单元自动曝光值；以及
基于分配给所述像素单元的所述相应权重值，将所述帧自动曝光值确定为所述像素单元的所述相应单元自动曝光值的加权平均值。
24.根据权利要求21所述的系统，其中：
标识所述对象区域包括将所述像素单元的所述色度特性和与所述对象相关联的色度特性进行比较；
将所述像素单元的所述色度特性和与所述对象相关联的所述色度特性进行比较包括，对于每个像素单元：
在颜色空间内确定代表所述像素单元的色度特性的第一点和代表与所述对象相关联的所述色度特性的第二点之间的距离；以及
基于所述第一点和所述第二点之间的所述距离，将权重值分配给所述像素单元，将所述权重值分配为：
如果所述距离超过阈值上限，则第一权重值，
如果所述距离不超过阈值下限，则第二权重值，其中，所述第二权重值大于所述第一权重值，并且
如果所述距离超过所述阈值下限并且不超过所述阈值上限，则在所述第一权重值和所述第二权重值之间的操作权重值；以及
标识所述对象区域是基于分配给所述像素单元的所述权重值。
25.根据权利要求21所述的系统，其中，标识所述对象区域基于与所述图像帧相关联的一个或多个全局特性。
26.根据权利要求25所述的系统，其中：
所述对象包括用于所述医疗程序的器械；
所述系统进一步包括：
控制所述器械的运动的机械臂，以及
对象跟踪系统，所述对象跟踪系统被配置为在所述医疗过程期间基于以下一个或多个来跟踪所述对象在所述场景内的位置：
与所述机械臂的运动相关联的运动学数据，或
应用于所述图像帧序列的图像帧的计算机视觉技术；以及
与所述图像帧相关联的所述一个或多个全局特性包括基于从所述对象跟踪系统接收到的对象跟踪数据确定的对象位置特性。
27.根据权利要求21所述的系统，其中，标识所述对象区域基于以下的组合：
与包括在所述图像帧中的像素单元相关联的局部特性；以及
与所述图像帧相关联的全局特性。
28.根据权利要求21所述的系统，其中：
所述图像捕获设备包括图像传感器和快门；以及
所述一个或多个自动曝光参数包括以下中的一个或多个：
对应于所述快门允许所述图像传感器暴露于被照射组织的多长时间的曝光时间参数，
对应于所述快门的光圈大小的快门光圈参数，
与所述照明源提供的照明强度相对应的照明强度参数，以及
对应于应用于由所述图像传感器生成的亮度数据的增益的亮度增益参数。
29.一种存储指令的非暂时性计算机可读介质，当所述指令被执行时，所述指令使计算设备的一个或多个处理器执行以下操作：
在由图像捕获系统捕获的图像帧中，标识与所述图像帧中描绘的对象的描绘相对应的对象区域；
通过对所述图像帧中的所述对象区域进行打折来确定所述图像帧的帧自动曝光目标；以及
基于所述帧自动曝光目标更新一个或多个自动曝光参数，以供所述图像捕获系统用于捕获附加图像帧。
30.根据权利要求29所述的非暂时性计算机可读介质，其中：
当所述指令被执行时，所述指令使所述一个或多个处理器向所述图像帧中包括的像素单元分配指示所述像素单元被包括在所述对象的所述描绘中的相应置信水平的相应权重值；以及
标识所述对象区域基于分配给所述像素单元的所述相应权重值。
31.根据权利要求30所述的非暂时性计算机可读介质，其中，通过对所述对象区域进行打折来确定所述帧自动曝光目标包括：
确定包括在所述图像帧中的像素单元的相应单元自动曝光目标；以及
基于分配给所述像素单元的所述相应权重值，将所述帧自动曝光目标确定为所述像素单元的所述相应单元自动曝光目标的加权平均值。
32.根据权利要求29所述的非暂时性计算机可读介质，其中，标识所述对象区域基于与所述图像帧中包括的像素单元相关联的一个或多个局部特性。
33.根据权利要求29所述的非暂时性计算机可读介质，其中，标识所述对象区域基于与所述图像帧相关联的一个或多个全局特性。
34.根据权利要求29所述的非暂时性计算机可读介质，其中，标识所述对象区域基于以下的组合：
与包括在所述图像帧中的像素单元相关联的局部特性；以及
与所述图像帧相关联的全局特性。
35.根据权利要求29所述的非暂时性计算机可读介质，其中：
所述指令在被执行时使所述一个或多个处理器执行以下操作：
通过对所述图像帧中的所述对象区域进行打折来确定所述图像帧的帧自动曝光值；以及
基于所述帧自动曝光值和所述帧自动曝光目标确定帧自动曝光增益；以及
更新所述一个或多个自动曝光参数包括基于所述帧自动曝光增益来更新所述一个或多个自动曝光参数。
36.一种方法，包括：
由计算设备在由图像捕获系统捕获的图像帧中标识与所述图像帧中描绘的对象的描绘相对应的对象区域；
由所述计算设备通过对所述图像帧中的所述对象区域进行打折来确定所述图像帧的帧自动曝光值和帧自动曝光目标；以及
由所述计算设备并基于所述帧自动曝光值和所述帧自动曝光目标更新一个或多个自动曝光参数，以供所述图像捕获系统用于捕获附加图像帧。
37.根据权利要求36所述的方法，进一步包括由所述计算设备向所述图像帧中包括的像素单元分配指示所述像素单元包括在所述对象的所述描绘中的相应置信水平的相应权重值；以及
其中，标识所述对象区域基于分配给所述像素单元的所述相应权重值。
38.根据权利要求37所述的方法，其中，通过对所述对象区域进行打折来确定所述帧自动曝光值和所述帧自动曝光目标包括：
确定包括在所述图像帧中的像素单元的相应单元自动曝光值和自动曝光目标；
基于分配给所述像素单元的所述相应权重值，将所述帧自动曝光值确定为所述像素单元的所述相应单元自动曝光值的加权平均值；以及
基于分配给所述像素单元的所述相应权重值，将所述帧自动曝光目标确定为所述像素单元的所述相应单元自动曝光目标的加权平均值。
39.根据权利要求36所述的方法，其中，标识所述对象区域基于与所述图像帧中包括的像素单元相关联的一个或多个局部特性。
40.根据权利要求39所述的方法，其中：
与所述像素单元相关联的所述一个或多个局部特性包括所述像素单元的色度特性；以及
标识所述对象区域包括将所述像素单元的所述色度特性和与所述对象相关联的色度特性进行比较。
41.根据权利要求40所述的方法，其中：
将所述像素单元的所述色度特性和与所述对象相关联的所述色度特性进行比较包括，对于每个像素单元：
在颜色空间内确定代表所述像素单元的色度特性的第一点和代表与所述对象相关联的所述色度特性的第二点之间的距离；以及
基于所述第一点和所述第二点之间的所述距离，将权重值分配给所述像素单元，将所述权重值分配为：
如果所述距离超过阈值上限，则第一权重值，
如果所述距离不超过阈值下限，则第二权重值，其中，所述第二权重值大于所述第一权重值，并且
如果所述距离超过所述阈值下限并且不超过所述阈值上限，则在所述第一权重值和所述第二权重值之间的操作权重值；以及
基于分配给所述像素单元的所述权重值执行对所述对象区域的标识。
42.根据权利要求36所述的方法，其中，标识所述对象区域基于与所述图像帧相关联的一个或多个全局特性。
43.根据权利要求36所述的方法，其中，标识所述对象区域基于以下的组合：
与包括在所述图像帧中的像素单元相关联的局部特性；以及
与所述图像帧相关联的全局特性。
44.根据权利要求36所述的方法，进一步包括由所述计算设备并基于所述帧自动曝光值和所述帧自动曝光目标确定帧自动曝光增益；以及
其中，更新所述一个或多个自动曝光参数包括基于所述帧自动曝光增益来更新所述一个或多个自动曝光参数。
CN202180049384.4A 2020-07-10 2021-07-07 用于在管理描绘对象的图像帧的自动曝光时对对象进行打折的装置、系统和方法 Pending CN115802926A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063050598P 2020-07-10 2020-07-10
US63/050,598 2020-07-10
PCT/US2021/040712 WO2022011029A1 (en) 2020-07-10 2021-07-07 Apparatuses, systems, and methods for discounting an object while managing auto-exposure of image frames depicting the object

Publications (1)

Publication Number Publication Date
CN115802926A true CN115802926A (zh) 2023-03-14

Family

ID=77207239

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180049384.4A Pending CN115802926A (zh) 2020-07-10 2021-07-07 用于在管理描绘对象的图像帧的自动曝光时对对象进行打折的装置、系统和方法

Country Status (5)

Country Link
US (1) US20230255443A1 (zh)
EP (1) EP4179724A1 (zh)
JP (1) JP2023533018A (zh)
CN (1) CN115802926A (zh)
WO (1) WO2022011029A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024039586A1 (en) * 2022-08-15 2024-02-22 Intuitive Surgical Operations, Inc. Systems and methods for detecting and mitigating extraneous light at a scene

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7538801B2 (en) * 2003-09-15 2009-05-26 Micron Technology, Inc. Region-based auto gain control and auto exposure control method and apparatus
US9413976B2 (en) * 2012-08-08 2016-08-09 Intuitive Surgical Operations, Inc. Auto exposure of a camera in a surgical robot

Also Published As

Publication number Publication date
WO2022011029A1 (en) 2022-01-13
JP2023533018A (ja) 2023-08-01
EP4179724A1 (en) 2023-05-17
US20230255443A1 (en) 2023-08-17

Similar Documents

Publication Publication Date Title
CN110505459B (zh) 适用于内窥镜的图像颜色校正方法、装置和存储介质
JP5814698B2 (ja) 自動露光制御装置、制御装置、内視鏡装置及び内視鏡装置の作動方法
JP3810776B2 (ja) ディジタル画像中の赤目を検出し補正する方法
JP6825625B2 (ja) 画像処理装置および画像処理装置の作動方法、並びに医療用撮像システム
US20220012915A1 (en) Apparatuses, systems, and methods for managing auto-exposure of image frames depicting signal content against a darkened background
US11721086B2 (en) Image processing system and image processing method
US9345391B2 (en) Control device, endoscope apparatus, aperture control method, and information storage medium
US9754189B2 (en) Detection device, learning device, detection method, learning method, and information storage device
US20190328218A1 (en) Image processing device, image processing method, and computer-readable recording medium
CN115802926A (zh) 用于在管理描绘对象的图像帧的自动曝光时对对象进行打折的装置、系统和方法
CN114663293A (zh) 一种图像增强方法、装置、电子设备及内窥镜系统
JP2014232470A (ja) 検出装置、学習装置、検出方法、学習方法及びプログラム
US20230262347A1 (en) Apparatuses, systems, and methods for managing auto-exposure of image frames depicting color-biased content
US11936989B2 (en) Apparatuses, systems, and methods for gaze-based auto-exposure management of image frames
EP4356601A1 (en) Depth-based auto-exposure management
US20220014661A1 (en) Apparatuses, systems, and methods for managing auto-exposure of image frames based on signal region size
US20220280026A1 (en) Method of image enhancement for distraction deduction
CN115719415B (zh) 一种视野可调双视频融合成像方法及系统
CN112639865B (zh) 图像处理系统、学习完毕模型和图像处理方法
CN116777786A (zh) 基于内窥镜成像的视频图像生成方法和装置及内窥镜系统
WO2018198254A1 (ja) 画像処理装置、画像処理方法およびプログラム
EP4356600A1 (en) Auto-exposure management of multi-component images
JP2016106932A (ja) 内視鏡画像処理装置、内視鏡画像処理方法、プログラム、及び、内視鏡システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination