CN111418200A - 用于曝光校正的自适应红外照明 - Google Patents

用于曝光校正的自适应红外照明 Download PDF

Info

Publication number
CN111418200A
CN111418200A CN201980006027.2A CN201980006027A CN111418200A CN 111418200 A CN111418200 A CN 111418200A CN 201980006027 A CN201980006027 A CN 201980006027A CN 111418200 A CN111418200 A CN 111418200A
Authority
CN
China
Prior art keywords
illumination
image
illuminator
scene
power
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980006027.2A
Other languages
English (en)
Other versions
CN111418200B (zh
Inventor
比尔·杜兰
亚德里恩·米尔恰·普罗卡
尼克希尔·萨瑟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN111418200A publication Critical patent/CN111418200A/zh
Application granted granted Critical
Publication of CN111418200B publication Critical patent/CN111418200B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19604—Image analysis to detect motion of the intruder, e.g. by frame subtraction involving reference image or background adaptation with time to compensate for changing conditions, e.g. reference image update on detection of light level change
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

一种为相机提供自适应IR照明的系统和方法。在一些实施方式中，IR照明适应于正被监视的场景中的对象，并且IR照明适应可以连同自动曝光和其他曝光调整方法来实现。一些实施方式包括：使用第一IR照明功率来照明场景；利用相机来捕获场景的第一图像；以及确定第一图像的第一区域是曝光不足还是曝光过度。当第一区域曝光不足时，场景以大于第一照明功率的第二功率水平被照明并且第二图像被捕获。当第一区域曝光过度时，场景以小于第一照明功率的第三功率水平被照明并且第三图像被捕获。可以重复所述操作，直到场景照明令人满意为止。

Description

用于曝光校正的自适应红外照明
技术领域
所公开的实施方式通常涉及在夜间模式下控制相机，包括但不限于由相机提供的自适应红外照明。
背景技术
一些安全相机取决于环境光条件以两种模式之一进行操作。当存在足够的环境光足以照明场景时，使用白天模式。当环境光不足以充分照明场景时，使用夜间模式(或IR模式)，在这种情况下，相机可以提供自己的红外(IR)照明(例如，使用机载IR LED)。
这种相机的一个挑战是，当在夜间模式期间由相机提供红外照明时，红外照明可能导致由相机捕获的图像和视频的一些区域曝光过度而其他区域曝光不足。各种条件和情况可能在IR照明活跃时导致这种曝光过度或曝光不足(例如，捕获的场景的性质，在IR照明变为活跃后是否引入外部照明等)。这是一个挑战，因为由于曝光过度或曝光不足，可能难以看清相机捕获的图像和视频中的重要细节。
发明内容
因此，存在对安全相机的需求，该安全相机实施用于曝光校正的更有效方法以改善夜间模式下的图像质量。
根据一些实施方式，本文描述了为相机提供更有效的IR照明的系统和方法。与现有方法相比，所描述的系统和方法可以提供一个或多个优点：
·适应于场景的红外照明；以及
·可以连同自动曝光和其他曝光调整方法来实施IR照明。
特别地，本文描述的系统和方法可以利用图像处理和分析来确定是否需要以及需要多少IR照明调制以及经由其他方法的可能地其他曝光调整来校正从例如家庭安全相机接收的视频或图像中的曝光过度或曝光不足情形。
在一些实施方式中，一种用于在夜间模式(即，IR模式)中操作的相机系统中使IR照明适应的方法包括：由IR照明器使用处于第一照明功率的第一IR光来照明场景；通过相机的图像传感器捕获相机的视场内的场景的第一图像，并将与第一图像相对应的第一图像数据存储在存储器中；以及确定第一图像的第一区域是具有低于下照明阈值的照明水平，从而由于曝光不足而导致第一区域中的图像细节损失，还是具有高于上照明阈值的照明水平，从而由于曝光过度而导致第一区域中的图像细节损失。当第一区域具有低于下照明阈值的照明水平时(即，当第一区域曝光不足时)，该方法包括：由IR照明器使用处于大于第一照明功率的第二功率水平的第二IR光来照明场景；由图像传感器捕获场景的第二图像；以及在存储器中存储与第二图像相对应的第二图像数据。当第一区域具有高于上照明阈值的照明水平时(即，当第一区域曝光过度时)，该方法包括：由IR照明器使用处于小于第一照明功率的第三功率水平的第三IR光来照明场景；由图像传感器捕获场景的第三图像；在存储器中存储与第三图像相对应的第三图像数据。在一些实施方式中，可以针对可能曝光过度或曝光不足的第一图像的一个或多个区域执行上述这些操作。一个或多个区域可以是第一图像的具有相似亮度或暗度的连续区域(例如，如在确定操作中所标识的)，或者可以是第一图像的预定义的图块(tile)(例如，参考第一图像定义的预定义的网格的图块的集合)。
在一些实施方式中，当IR照明器包括向正被监视的场景提供基本均匀的照明的单个IR照明器元件或多个IR照明器元件并且不能调整照明器元件的空间分布时，通过减小或增加IR照明器元件的功率和/或接通占空比来校正第一区域的曝光过度或曝光不足。
在一些实施方式中，当IR照明器包括向正被监视的场景提供基本均匀的照明的多个IR照明器元件并且那些元件可以被单独地接通或关断时，通过单独地接通或关断，和/或共同地或者单独地降低或增加IR照明器元件的功率和/或接通占空比来校正第一区域的曝光过度或曝光不足。
在一些实施方式中，当IR照明器包括相对于正被监视的场景具有可调整的空间照明分布或方向性的单个IR照明器元件时，通过使IR照明元件的空间分布或方向性适应以降低第一图像的曝光过度区域的方向上的IR照明强度或者增加曝光不足区域的方向上的IR照明强度来校正第一区域的曝光过度或曝光不足。在一些实施方式中，还可以结合减小或增加IR照明器元件的功率和/或接通占空比来执行IR照明中的空间或方向适应。
在一些实施方式中，IR照明器可以包括多个IR照明器元件，其具有相对于正被监视的场景可调整的或不同的空间照明分布。例如，不同的照明器元件可以指向不同的方向，或者可以被配置为在可选择的方向上产生具有更高强度的光(例如，使用方向滤光器或机电致动器来选择照明元件的照明的主要方向)。照明元件也可以单独地接通或者关断。在这样的实施方式中，通过单独接通或者关断其主要照明方向/空间分布在曝光不足或曝光过度的第一区域的单独IR元件和/或基于第一图像的曝光过度或曝光不足的位置来自适应地选择单独照明元件的主要照明方向来校正第一区域的曝光过度或曝光不足。在一些实施方式中，IR照明中的这种空间适应可以与共同或单独地减小或增加IR照明器元件的功率和/或接通占空比组合。
在一些实施方式中，独立于或结合IR照明器的功率或其他操作参数的调整以调整IR照明器的整体强度和/或空间分布，可以通过调整诸如帧速率、传感器增益、光圈和/或曝光时间的相机的成像设置中的一个或多个来校正曝光过渡或曝光不足情况。
在一些实施方式中，可以在第一图像中识别感兴趣对象。例如，感兴趣对象可能是相机视场中的运动中的对象、被标识为可能是正在接近前门的人的对象或被识别为未知的物的对象。一旦识别出感兴趣对象，如本文所述的评估与感兴趣对象相对应的第一图像的第一区域，以确定该区域是曝光过度还是曝光不足，并且如果需要调整场景照明以校正第一区域的曝光。在一些实施方式中，在随后的视频帧中跟踪感兴趣对象，并且照明器提供的场景照明如本文所述的被适应于当感兴趣对象移动进入视场内时如果需要保持该感兴趣对象的正确的曝光。因此，例如，如果未知的个体在晚上接近门口，结果是当该个体的脸靠近照明器时该个体的脸开始变得曝光过度，采用本文所述的自适应照明方法，随着该个体接近前面，照明被降低，并且该个体的脸保持被正确地曝光，这在产生的相机图像/视频中保留脸部特征，并防止图像其他部分曝光不足。类似地，如果未知个体离监控相机太远而不能被充分照明，则采用本文所述的自适应照明方法，照明被增加，并且个体或个体的面部保持正确曝光，从而允许产生的相机图像\视频中的个体的脸部特征或者活动的检测。
在一些实施方式中，在确定图像的部分被曝光过度(即，太亮)的程度时，相机可以减少相机的图像传感器的增益或减少相机的相关联的曝光时间和/或光圈以在后续图像中更正确地曝光(即，变暗)曝光过度区域。在另一示例中，在确定图像的部分曝光不足(即，太暗)的程度时，相机可以减少图像传感器的增益或降低相机的相关联曝光时间和/或光圈以在后续图像中更正确地曝光(即，变暗)曝光不足区域。
在一些实施方式中，可以通过扩展相机自动曝光(AE)能力的能力来管理对曝光过度和/或曝光不足情况的程度的确定以及对诸如图像传感器增益和/或曝光时间的相机参数的相关联的调整。
在又一方面，一些实施方式包括一种用于控制相机模式的系统，该系统包括：控制器、存储一个或多个程序以供控制器执行的存储器、包括多个传感器位置的颜色传感器阵列，该传感器位置包括第一、第二和第三像素，每个像素在不同的相应可见光频率下具有相应的峰值响应，以及被配置为将光聚焦在传感器阵列上的镜头组件，该一个或多个程序包括用于执行上述方法中的任一个的指令。
在又一方面，一些实施方式包括一种非暂时性计算机可读存储介质，其存储由相机系统执行的一个或多个程序，该相机系统包括：控制器；存储器，其存储由控制器执行的一个或多个程序；颜色传感器阵列，其包括多个传感器位置，该传感器位置包括第一、第二和第三像素，每个像素在不同的相应可见光频率下具有相应的峰值响应；以及被配置为将光聚焦在该传感器阵列上的透镜组件，该一个或多个程序包括用于执行上述方法中的任一个的指令。
因此，提供了相机和相机程序模块，其实现了用于自适应地调整IR照明的更有效方法。这样的方法可以补充或替代用于曝光调整的常规方法。
附图说明
为了更好地理解各种所描述的实施方式，应连同以下附图参考以下实施方式的描述，在附图中，相同的附图标记在贯穿附图中指对应的部分。
图1是根据一些实施方式的图像和/或视频捕获设备(例如，相机)的概述框图。
图2是说明根据一些实施方式的代表性图像和/或视频捕获设备(例如，相机)的框图。
图3A是示出了当相机提供IR照明时夜间模式期间曝光过度和/或曝光不足的结果的来自相机的图像。
图3B是根据覆盖在图3A的图像上的一些实施方式的用于处理图像以确定曝光过度或曝光不足的图块化布置的图示。
图3C是根据一些实施方式的示出了在图3A的场景和条件下由相机提供的对红外照明的调整的结果的来自相机的图像。
图4A-4B示出了根据一些实施方式的用于调整IR照明的方法的流程图。
贯穿附图的各个视图，相同的附图标记指对应的部分。
具体实施方式
现在将详细参考实施方式，其示例在附图中示出。在下面的详细描述中，阐述了许多具体细节以便提供对所描述的各种实施方式的透彻理解。然而，对于本领域的普通技术人员显而易见的是，可以在没有这些具体细节的情况下实践各种所描述的实施方式。在其他实例中，未详细描述公知的方法、过程、组件、电路和网络，以免不必要地使实施方式的各方面不清楚。
当视频监视相机处于夜间模式(也称为IR模式)时，它采用一个或多个IR照明器在黑暗或低光条件下照明场景。当现有的相机(例如，不根据本文描述的实施方式操作的相机)使用IR照明器照明场景时，它不区分地进行照明——不管场景中表面的接近度。结果，对于现有的安装在其和其IR照明器靠近场景中的一个或多个表面(例如，房屋的结构元素诸如墙壁、拐角、屋檐、天花板、内置橱柜等或一个或多个对象诸如带框的照片、家具、电子设备、电源线、花瓶等)的位置处的视频监视相机，会出现与场景中的其他表面相比，场景中靠近的元素/对象的表面响应于照明而产生高水平的反射IR光的问题。由于来自非常靠近相机且在相机视场内的表面的高水平IR反射，这可能导致场景的差图像质量(例如，由相机捕获的图像和/或视频中的)。差图像的特征在于，非常靠近的表面过饱和且过亮，而场景的其余部分(可能是包含感兴趣细节的场景的部分)的照明很差/曝光不足。换句话说，不区分的IR照明通常引起“隐藏”真正感兴趣区域中的细节。
不区分的IR照明的情况可能成为问题的情况是，具有相关联IR照明器的家庭安全相机被安装在门旁边或集成在门铃中(例如，监视家庭入口附近的活动)。由于外部门/家庭入口通常是嵌入的(例如，门经常在门框和周围的装饰条(molding)内凹进家庭外表面内和/或位于靠近附近墙壁的凹壁龛中和/或位于悬垂物下方)，这种安装导致相机和相关联的IR照明器在安装的一侧比另一侧更靠近墙壁，或者比被监视场景的其他区域更靠近附近的悬垂物。在这种情况下，在存在不区分的IR照明的情况下，在视频或静止图像中，靠近相机的墙壁、门框、装饰条或悬垂物被显现为过于明亮，而包括感兴趣区域的场景的其余部分(例如，通往前门的路径、入口区域或前院附近的部分)将照明很差/曝光不足，这与安装了外部家庭安全相机的房主所希望的相反。
本文描述的实施方式通过基于从相机接收的视频或静止图像的内容来使由与家庭安全相机相关联的IR照明器产生的IR照明的方向(即，空间分布)和/或强度适应来解决在存在IR照明的情况下附近结构曝光过度的问题。特别地，对接收的视频图像进行处理以快速检测被IR饱和/曝光过度的区域。然后，此信息用于调整一些或所有IR发射器的IR发射功率(例如，通过关断和/或降低特别或所有IR发射器的功率来调整左/右或顶部/底部发射器)直到减少相邻反射壁的饱和伪影为止，使得图像的感兴趣部分具有改善的质量。
在一些实施方式中，图像处理和分析被应用于检测IR曝光图像的曝光过度或曝光不足的区域，并且如果存在这种情况，则需要确定经由其他方式进行多少IR照明调制/适应以及可能地其他曝光调整以校正曝光过度或曝光不足情况。在一些实施方式中，曝光过度检测方法包括IR发射器的快速开关脉冲，以识别与相机的视场中的曝光过度结构相对应的图像中的热点(例如，在一些实施方式中，曝光过度结构可以被识别为相机的视场中的对象，当IR发射器是脉冲的时，该对象在连续的视频帧中可视地“闪烁”关和开)。在一些实施方案中，通过使用将亮度阈值应用于图像的单独图块的亮度值来识别热点(例如，通过用上述阈值亮度值识别为热点/曝光过度的区域/图块)。在一些实施方式中，用于校正曝光过度条件的方法包括选择性地关断适当的IR发射器(例如，当IR照明器包括多个IR发射器时)并相对于“热点”调整IR强度。
在一些实施方式中，在由相机检测运动时(例如，检测在相机的视场(FOV)中移动的对象、人或动物)，在有限的时间量内增加了IR照明功率以提供改善的相机图像传感器信噪性能。增加的信噪性能改善了通过在相机和/或接收和分析来自相机的视频的服务器中执行的面部检测算法(例如，在相机和/或服务器执行的软件模块中实现的面部检测算法)来识别人脸的可能性。当本文所述的方法在其FOV包括通向诸如到住宅的前走道的被监视建筑物或结构的路径的相机系统或智能门铃中实现时，以这种方式增加相机信噪性能是有用的。
在一些实施方式中，一种用于校正曝光过度或曝光不足情况的方法，包括作为相机的AE算法的部分的调制向一个或多个IR照明器的IR功率。这个想法是，AE算法了解夜间模式，并且当前的IR功率被用于驱动IR照明器，因此可以被配置为调整IR功率，作为其对场景的适应的一部分。在此算法中，AE还使用图块化来检测场景被靠近相机的对象淹没的情况。在采用照明视场内各个区域的多个独立控制的IR LED的相机设计中，可以在某些图块中检测到曝光过度或曝光不足，以提高或降低覆盖包含那些图块的区域的LED的功率。该算法的目的是在可能的情况下降低IR功率，以使光源检测更加准确，并改善夜间模式下的整体图像质量。
图1是根据一些实施方式的场景的用于捕获图像和视频的示例设备或系统100(例如，相机或相机系统)。相机100包括镜头系统102、IR照明器104、一个或多个图像传感器106、一个或多个处理器108、存储器110、通信接口112和IR滤光器114。
镜头系统或组件102接收光并将其聚焦在图像传感器106上。镜头系统102包括一个或多个镜头。在一些实施方式中，镜头系统102包括以下一项或多项：聚焦和变焦系统或组件(例如，用于朝向或远离场景延伸镜头以调整焦点和/或变焦水平)，以及快门系统或组件(例如，用于调控接收多少光和持续接收光多长时间)。
图像传感器106捕获由镜头系统102聚焦的光，并将捕获的光转换为可以被记录为数字数据的信号。在一些实施方式中，图像传感器106使用电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)或N型金属氧化物半导体(NMOS)技术。
IR照明器104在活跃时发出红外(IR)光。IR照明器104包括一个或多个单独的IR照明发射单元。在一些实施方式中，IR照明器104包括一个或多个IR发光二极管(LED)，并且每个IR LED是单独的IR照明发射单元。在一些实施方式中，IR照明器104(例如，多个IR LED的集合)的IR照明发射单元可以被单独地，成对地或者以整个单元的集合的其他子集被供电和控制。在一些实施方式中，IR照明器104的IR照明发射单元被一致地(例如，作为单元的集合整体)供电和控制。
在一些实施方式中，IR照明发射单元(或“发射器”)可以具有均匀的或可选择的/可控制的照明方向；和/或由多个照明器元件组成的IR照明器的每个元件可以具有独立可控制的一个或多个不同的操作特性。例如，不同的照明器元件可以指向不同的方向，或者可以被可配置为在可选择的方向上产生具有更高强度的光(例如，使用方向滤光器或机电致动器来选择照明元件的照明的主要方向)。在一些实施方式中，IR照明器包括单个IR照明器元件或多个IR照明器元件，其向被监视的场景提供基本均匀的照明，并且不能调整照明器元件的空间分布。在一些实施方式中，IR照明器包括单个IR照明器元件，其相对于被监视的场景具有可调整的空间照明分布或方向性。在一些实施方式中，可以以可调整的占空比(例如，占空比是照明器接通的时间的百分比)在接通和关断状态之间循环IR照明器104。在不同的实施方式中，可以单独或组合调整不同照明器配置的这些可控制方面中的一个或多个，以校正相机视场内的场景的图像和/或视频中的曝光过度或曝光不足情况。本文所述的技术还适用于对由于来自在不是包括但不限于可见光和紫外线区域的电磁频谱的IR区域或除所述IR区域之外中活跃的照明器的照明引起的图像(或图像的部分)中曝光过度或曝光不足情况的校正。
本文所述的各种实施方式指调整一个或多个相机参数(例如不限于：照明功率输出、照明空间分布、照明占空比、传感器增益、快门速度、镜头光圈、曝光时间和/或帧频)以校正曝光过度或曝光不足的情况。在一些实施方式中，这种调整的量是可变量，该可变量是基于通过其来确定整个图像或图像的部分(例如，本文所述的“图块”)的曝光是高于还是低于可接受曝光范围的量。例如，可以基于通过其来确定整个图像或图像的部分的曝光是高于还是低于可接受或目标曝光范围的量(例如，绝对值、百分比或其他度量)将照明功率、输出、增益、快门速度(或其他可调整的相机参数)中的一个或多个调整相应相机参数的当前值的预定百分比。在一些实施方式中，这样的调整量是存储在相机的存储器中的预定量，其可以是每个调整步骤的恒定量或应用于调整步骤序列的预定的调整模式(诸如，增加或减小每个参数的恒定调整量的模式)。在一些实施方式中，当经由多个相机参数的互补/协调调整来校正曝光过度或曝光不足情况时，多个参数中的每个参数的调整由如果该参数被单独调整将进行的调整的按比例的份额(例如，基于被调整的参数的数量)来确定。
由IR照明器104发出的IR照明可以被镜头系统102正捕获并接收的场景(包括其内的元素)反射，并且聚焦到图像传感器106上。
IR滤光器114从正被镜头系统102接收的光中过滤IR照明，从而从光中去除所过滤的IR照明。在一些实施方式中，相机100包括被配置为物理地操纵IR滤光器114(例如，移动滤光器、打开/关闭滤光器)的机构或其他系统，使得IR滤光器114可以放置在镜头系统102和场景(镜头系统102的“前方”)之间的位置或镜头系统102与图像传感器106之间的位置，以便聚焦在图像传感器106上的光首先通过IR滤光器114或从该位置去除。
在一些实施方式中，相机100可以通过通信接口112与一个或多个其他计算机、设备或系统通信。例如，相机100可以通过有线或无线连接连接到网络(局域网、广域网、互联网)，并与远程系统(例如，视频或其他服务器系统)进行通信。该通信可以包括例如将图像和视频传输到远程系统以进行处理。
相机100包括一个或多个处理器108和存储器110。处理器108执行存储在存储器110中的程序和指令。可以包括易失性和非易失性存储器的存储器110可以存储数据(例如，程序、指令、已处理的数据、等待处理的数据)。
在一些实施方式中，可以在白天模式或夜间模式下操作相机100。在白天模式下，相机100接收正被捕获的场景反射的环境光；环境光照明了被捕获的场景。在白天模式期间，IR滤光器114可以位于镜头系统102的前方以过滤环境光中的IR照明。在一些实施方案中，当环境光为至少预定阈值量(例如2勒克斯)时，相机100以白天模式操作。
在一些实施方式中，当环境光小于预定阈值量时，相机100切换到夜间模式并在夜间模式下操作。在夜间模式下，可以将IR滤光器从其在镜头系统102前方的位置去除，并且可以激活IR照明器104。在IR照明器104被激活的情况下，由IR照明器104发射的IR照明与环境光一起照明场景。当环境光量再次高于预定阈值时，相机100可以切换回白天模式。
在一些实施方式中，可以(例如，由相机100)对相机100捕获的图像(例如，静止图像、视频帧)进行处理和分析以确定图像中是否存在曝光不足或曝光过度的情况(例如，曝光不足或曝光过度的图像的区域或图块)。曝光不足或曝光过度都导致曝光过度或曝光不足的元素的细节变得较不清晰，并且对于查看图像的用户较不可见。在一些实施方式中，当相机100确定图像中存在曝光不足或曝光过度时，相机100可以进行校正动作，诸如调整对IR照明器104的功率并进行自动曝光(AE)调整。
图2是说明根据一些实施方式的代表性相机100的框图。在一些实施方式中，相机100包括一个或多个处理单元或控制器(例如，CPU、ASIC、FPGA、微处理器等)108、一个或多个通信接口112、存储器110、用于互连这些部件的一个或多个通信总线248(有时称为芯片组)、镜头组件102、IR滤光器114、图像传感器阵列106和IR照明器104(例如IR LED)。在一些实施方式中，镜头系统102将入射光聚焦在图像传感器阵列106上，该图像传感器阵列106捕获聚焦在相应传感器阵列位置上的入射光的相应颜色分量(例如，R、G和B分量)。当相机处于白天模式时，IR滤光器114被启用/插入在镜头系统102和传感器阵列106之间以阻挡入射光的IR分量。当相机处于夜间模式时，IR滤光器114被禁用，所以图像传感器阵列106可以接收来自由相机的机载IR照明器104或外部IR照明器照明的场景的入射IR光。在一些实施方式中，相机100包括一个或多个输入设备250，诸如用于接收输入的一个或多个按钮以及一个或多个麦克风。在一些实施方式中，相机100包括一个或多个输出设备252，诸如一个或多个指示器灯、声卡、扬声器、用于显示文本信息和错误代码、播放音频的小型显示器等。在一些实施方式中，相机100可选地包括位置检测设备254，诸如GPS(全球定位卫星)或其他地理位置接收器，以用于确定相机100的位置。
通信接口112包括例如能够使用以下进行数据通信的硬件：各种定制或标准无线协议(例如，IEEE 802.15.4、Wi-Fi、ZigBee、6LoWPAN、Thread、Z-Wave，Bluetooth Smart、ISA100.11a、WirelessHART、MiWi等)中的任一个和/或各种定制或标准有线协议(例如，以太网、HomePlug等)中的任一个或任何其他合适的通信协议，包括截止至本文件提交日尚未开发的通信协议。
存储器110包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM、或其他随机存取固态存储器设备；并且，可选地，包括非易失性存储器，诸如一个或多个磁盘存储设备、一个或多个光盘存储设备、一个或多个闪存设备或一个或多个其他非易失性固态存储设备。存储器110或替代地存储器110内的非易失性存储器包括非易失性计算机可读存储介质。在一些实施方式中，存储器110或存储器110的非暂时性计算机可读存储介质存储以下程序、模块和数据结构或其子集或超集：
·操作系统256，其包括处理各种基本系统服务和执行硬件相关任务的过程；
·网络通信模块258，其用于将相机100连接到经由一个或多个通信接口112(有线或无线)连接到一个或多个网络的其他计算设备(例如，服务器系统、客户端设备、网络路由设备、一个或多个控制器设备以及联网的存储设备)；
·视频控制模块260，其用于修改相机100的操作模式(例如，变焦水平、分辨率、帧速率、记录和回放音量、光照调整(例如，自动白平衡、自动曝光和IR模式等))、启动/禁用相机100的音频和/或视频记录功能、改变相机100的摇摄和倾斜角度、重设置相机100、启用/禁用IR滤光器114等。视频控制模块260可以包括模式控制程序模块(未示出)，该模式控制程序模块根据一些实施方式现来确定何时从夜间模式切换到白天模式，反之亦然。
·自动曝光模块261(其可以是视频控制模块260的子模块)，其用于执行自动曝光操作，自动曝光模块可以包括：调整帧速率的帧速率模块261a、用于调整快门速度和/或持续时间的快门模块261b以及用于调整图像传感器106的增益的增益模块261c；
·视频捕获模块264，其用于捕获和生成视频流，并将视频流作为连续馈送或短时突发(short burst)发送到服务器系统，并可选地生成视频流的重新扩缩版本，并以原始捕获的分辨率和重新扩缩的分辨率发送视频流；
·视频缓存模块266，其用于在一个或多个本地存储设备(例如，存储器、闪存驱动器、内部硬盘、便携式磁盘等)本地存储一些或所有捕获的视频数据；
·本地视频处理模块268，其用于在相机100本地对捕获的视频数据执行初步处理，包括例如对捕获的视频数据进行压缩和加密以用于网络传输、初步运动事件检测、针对运动事件检测的初步假阳性抑制(false positive suppression)、初步运动矢量生成、用于检测曝光过度和/或曝光不足的图像分析等；
·IR照明模块278(其可以是视频控制模块260的子模块)，其用于调整对IR照明器104的功率；
·加权矩阵模块280(其可以是自动曝光模块261的子模块)，其用于调整计量的加权矩阵；以及
·相机数据270，其用于存储数据，其包括但不限于：
相机设置272，包括网络设置、相机操作设置(诸如帧速率272a、模拟传感器增益272b、白天/夜间模式设置272c、曝光272d和光圈272e)、相机存储设置等；和
原始传感器数据2760(例如，R、G和B分量)，其从传感器阵列106中的传感器像素位置被捕获并被保存为原始图像帧；
计量的加权矩阵数据2762；和
图像/视频数据274，其包括具有不同水平的IR照明的图像和视频段。在一些实施方式中，特定帧或视频段的图像/视频数据274由图块274i索引和/或存储，图块274i中的每一个表示共同组成图像或视频帧的多个单独图块的像素值。
上述每个标识的元素可以存储在前面提到的存储设备中的一个或多个中，并且对应于用于执行上述功能的指令集合。上面标识的模块或程序(即，指令集合)不需要被实现为单独的软件程序、过程或模块，并且因此这些模块的各种子集可以在各种实施方式中被组合或以其他方式重新布置。在一些实施方式中，存储器110可选地存储以上标识的模块和数据结构的子集。此外，存储器110可选地存储以上未描述的附加模块和数据结构。
在一些实施方式中，相机100使用数字成像系统捕获监控视频。数字图像(帧)以特定帧速率272a被捕获为序列，被压缩，然后发送到用于存储和检索的“云”(例如，服务器系统)。在一些实施方式中，每个帧(例如，原始传感器数据2760)由1280×720像素(1280x720)组成，且每个像素位置具有3个颜色分量：红色、绿色和蓝色。取决于环境光照条件，相机100以两种模式中的一种(例如，由白天/夜间模式值272c指示的)进行操作。当有足够的环境光以充分照明场景时，使用白天模式。当没有足够的环境光以充分照明场景时，使用夜间模式。
在一些实施方式中，当在日间模式下操作时，相机100使用环境光源来照明场景并捕获监控视频。在一些实施方式中，相机100在白天模式下捕获视频的最小勒克斯水平是两勒克斯。一旦达到最低勒克斯水平(即环境光照的勒克斯水平降至最小勒克斯水平以下)，相机将自动切换至夜间模式。切换到夜间模式包括机械地禁用/去除IR滤光器114以及使IR照明器104能够为场景提供照明。在一些实施方式中，维持夜间模式直到相机100检测到外部光源或环境光照增加到最小勒克斯水平以上(例如，由于外部光源所致)。
图像处理以检测和校正曝光过度/曝光不足
在一些实施方式中，可以处理在夜间模式下操作时由相机100捕获的图像或视频帧，以确定是否存在曝光过度或曝光不足情况。如果确定存在曝光过度或曝光不足的情况，则相机100可以采取校正性动作。例如，在一些实施方式中，相机100可以根据自动曝光过程来执行操作(例如，调整传感器增益、调整快门速度/持续时间以防止作为整体的图像或仅在场景的特定曝光过度部分中的曝光过度)。作为另一示例，相机100可以调整对IR照明器104的功率，以便增加或减少由IR照明器104发射的IR光。在这样的实施方式中，场景的曝光过度的元素被正确地照明，这允许视频监视相机捕获揭示由于曝光过度而先前隐藏的场景部分的细节的后续图像/视频。(如上所述，现有的视频监视相机通过调整曝光参数以降低过亮区域的亮度来响应于正在捕获的场景中的大量反射光，该大量反射光导致在其中场景部分可能是感兴趣的图像由于曝光过度而是曝光不足的/被隐藏)。
图3A示出了在夜间模式期间从相机(例如，相机100)捕获的图像。在图3A中，场景由来自IR照明器(例如，IR照明器104)的IR光照明。IR照明器以第一功率水平发射IR光，导致IR光照明图3A中的场景。注意，在图3A中，场景大部分是黑暗的并且细节不清楚，除了图3A的底部和右下角附近的一些对象显现为过亮并且因此它们的细节被洗掉了，指示了图像中存在曝光不足和曝光过度两者。
可以整体上处理图像以确定是否存在曝光过度/曝光不足以及多少曝光。该确定可以向相机100通知采取什么校正动作以及校正动作的水平。
在一些实施方式中，可以基于图块化方法来处理图像，以确定是否存在曝光过度/曝光不足，以及多少和/或在图像的哪个特定区域中。图3B示出了来自图3A的具有图块化覆盖的图像，在一些实施方式中，视频监视相机可以该图块化覆盖其应用于图像。通过使用图块化方法，相机可以确定图像的哪些部分具有曝光过度情况以及图像的哪些部分具有曝光不足情况。在一些实施方式中，该确定可以通知相机关于采取什么校正动作以及校正动作的水平。例如，如本文所述，在一些实施方式中，如参照图4A和图4B所描述的来调整照明，直到曝光过度和/或曝光不足的图块被正确地曝光。
在一些实施方式中，基于对曝光过度和/或曝光不足的图块的确定，相机执行针对图像的特定部分中的特定情况的校正动作。例如，在确定图像的部分曝光过度(即太亮)的程度时，相机可以降低图像传感器的增益或减少相机的相关联曝光时间和/或光圈以在后续图像中更正确地曝光(即，变暗)曝光过度区域。在另一示例中，在确定图像的部分曝光不足(即，太暗)的程度时，相机可以增加图像传感器的增益或增加相机的相关联曝光时间和/或光圈以在后续图像中更正确地曝光(即，增亮)曝光不足区域。在一些实施方式中，可以通过扩展相机自动曝光(AE)能力的能力来管理对曝光过度和/或曝光不足情况的程度的确定以及对诸如图像传感器增益和/或曝光时间的相机参数的相关联调整。在一些实施方式中，从连续图像的集(例如，从场景的相同视场中拍摄的图像——有时在时间上紧密间隔)和来自选择性地组合使得得到的合成图像包括正确曝光区域的不同连续图像的图块或者来自连续图像的图块来调整照明并评估曝光过度和曝光不足的图块。因此，在一些实施方式中，感兴趣对象被可以更好地照明并因此在存在曝光过度和曝光不足情况两者的图块化场景中被评估。
在一些实施方式中，对一个或多个相机成像参数(例如，帧速率、传感器增益、光圈和/或曝光时间)的调整与对(例如，全部或部分照明器的)照明功率的调整被结合以校正曝光过度或曝光不足情况。例如，在一些实施方式中，如上所述，如果存在曝光不足情况，则可以增加传感器增益以尝试校正曝光不足情况。如果在调整操作中的某个点处，传感器增益(或其他相机参数)增加到高于(或对于其他参数，降低到低于)预定义的操作范围，并且仍然存在曝光不足的情况，然后(全部或部分IR照明器的)IR照明功率可以被增加直到(对于全部或部分图像)曝光不足情况被校正。可以基于照明功率和一个或多个相机参数的组合和互补调整来实现类似的方法。在一些实施方式中，采用多个参数的调整，其中一个参数具有有限的调整范围或者与另一相机参数相比，其对于校正曝光不足情况的有效性较低，或者简单作为在保持最优图像质量同时校正曝光不足或曝光过度情况的有效策略。如上所述，在一些实施方式中，可以以预定量(例如，通过正被调整的参数的当前值的固定百分比或预定义的固定量)或者以变化量(例如，通过基于要校正的曝光过度或曝光不足的量的可变的百分比)来执行对照明功率(和/或为了校正曝光过度或曝光不足情况而被调整的任何其他相机成像参数)的调整。还可以根据被确定为对不同的相应相机参数有效的模式来执行调整。例如，模式可以包括初始的大调整，然后是小调整，反之亦然。
图3C是根据一些实施方式的在已经采取了纠正动作之后的来自相机的图像。例如，基于在图3B所示图像的左下角识别亮图块的曝光过度情况，相机已经调整(即，降低)对IR照明器的功率以正确地对曝光过度的图块进行曝光。注意，在图3C中，作为使照明适应以防止这种曝光过度的结果，先前暗的图像部分/图块是更亮的，而非常亮并被冲洗掉的图像的右下方部分/图块是较不亮的，导致整个图像的细节更清晰。这是因为校正曝光过度情况导致图像的其他部分基于相机的AE处理的应用被正确曝光。
图4A-4B示出了根据一些实施例的用于调整IR照明的方法400的流程图。在一些实施方式中，方法400由具有一个或多个处理器、镜头组件、图像传感器、用于程序和存储来自图像传感器的图像数据的存储器以及IR照明器的相机执行，并且当相机在夜间模式下操作时由相机执行。例如，在一些实施方式中，方法400由图1的相机100或其一个或多个部件执行，包括但不限于图2的IR照明模块278。在一些实施方式中，方法400由存储在非暂时性计算机可读存储介质(例如，存储器110)中的指令和由电子设备的一个或多个处理器(例如，CPU108)执行的指令来管控。
参照图4A，在方法400的一些实施方式中，相机通过IR照明器使用处于第一照明功率的第一IR光来照明场景(402)。在一些实施方式中，第一照明功率是由IR照明模块278存储的值，该值负责控制IR照明器的输出光水平。第一照明功率可以是预定义值或默认值，或者可以由相机100基于由如相机检测的(例如，如使用由相机提供的环境光传感器或ALS来检测的)场景的整体光水平来确定。在一些实施方式中，方法400包括相机通过图像传感器捕获镜头组件的视场内的场景的第一图像并将与第一图像相对应的第一图像数据存储在存储器中(404)。然后确定第一图像的第一区域是具有低于下照明阈值的照明水平，从而由于曝光不足而导致第一区域中的图像细节损失，还是具有高于上照明阈值的照明水平，从而由于曝光过度而导致第一区域中的图像细节损失(406)。
基于确定操作406的结果，当第一区域具有低于下照明阈值的照明水平时(即，当第一区域曝光不足时)(410)：相机通过IR照明器使用处于大于第一照明功率的第二功率水平的第二IR光来照明场景(412)；由图像传感器捕获场景的第二图像(414)；以及在存储器中存储与第二图像相对应的第二图像数据(416)。
基于确定操作406的结果，当第一区域具有高于上照明阈值的照明水平时(即，当第一区域曝光过度时)(418)：相机通过IR照明器使用处于小于第一照明功率的第三功率水平的第三IR光来照明场景(420)；由图像传感器捕获场景的第三图像(422)；以及在存储器中存储与第三图像相对应的第三图像数据(424)。
基于操作410-416和418-424的结果，在一些实施方式中，该方法还包括：当第一区域具有低于下照明阈值的照明水平时(即，当第一区域曝光不足时)，增加图像传感器的灵敏度。这通过在随后的图像中增亮并捕获来自第一区域的更多细节，可以直接解决/改善第一区域的曝光不足。该方法还包括：当第一区域具有高于上照明阈值的照明水平时(即，当第一区域曝光过度时)，降低图像传感器的灵敏度。这通过使后续图像中的第一区域变暗(降低后续图像中的第一区域的亮度)，可以直接解决/改善第一区域的曝光过度。
基于操作410-416和418-424的结果，在镜头组件包括快门系统的一些实施方式中，该方法还包括：当第一区域具有低于下照明阈值的照明水平时(即，当第一区域曝光不足时)，增加快门系统的快门速度。这间接解决/改善第一区域的曝光不足，因为增加快门速度导致相机增加相机镜头的光圈和/或图像传感器的灵敏度，并且作为结果变亮并捕获来自随后的图像中的第一区域的更多细节。该方法还包括：当第一区域具有高于上照明阈值的照明水平时(即，当第一区域曝光过度时)，降低快门系统的快门速度。这间接解决/改善第一区域的曝光过度，因为减小快门速度导致相机减小相机镜头的光圈和/或图像传感器的灵敏度，并且作为结果变暗随后的图像中的第一区域(降低随后的图像中的第一区域的亮度)。
基于操作410-416和418-424的结果，在一些实施方式中，该方法还包括：在将与第二图像相对应的第二图像数据存储在存储器中之后：以第二功率水平重复照明、捕获和确定操作；以及在将与第三图像相对应的第三图像数据存储在存储器中之后：以第三功率水平重复照明、捕获和确定操作。可以重复这些操作的重复，直到正确地曝光图像为止。
在一些实施方式中，确定第一图像的第一区域是具有低于下照明阈值的照明水平还是高于上照明阈值的照明水平包括获得第一图像的直方图。在直方图中，每个直方(bin)(x轴值)是亮度值，因此最大直方图值是最大亮度值。直方图的y轴表示具有该特定亮度值的像素数。如果在直方的较高X％中有高于阈值的像素数量(其中“X”是变量)，则图像的至少一部分曝光过度。在一些实施方式中，对图像内的单独图块执行直方图分析以确定特定图块是否曝光过度。与简单评估图块的亮度平均值相比，这种每个图块直方图分析是一种更精细粒度的确定。
在一些实施方式中，确定第一图像的第一区域是具有低于下照明阈值的照明水平还是高于上照明阈值的照明水平包括将第一图像划分为多个区域或图块，其中第一区域是多个区域之一。
在一些实施方式中，有时连同简单的IR调制方案来确定整个图像的曝光过度或曝光不足(例如，通过评估整个图像的平均亮度值)，在该简单的IR调制方案中，所有照明器用相同的照明水平来被调制(即，当整个图像曝光不足时增加到相同的水平，而当整个图像曝光过度时减少到相同的水平)。在一些实施方式中，有时连同其中单独地调制特定IR LED的照明水平以便优化场景照明的自适应照明方案，将图像作为区域的集合来评估(例如，通过评估区域的集合中每个区域的曝光过度或曝光不足)。区域可以被配置成各种形状。例如，在一些实施方式中，为了简单起见，将区域展示在图像上的也称为“图块”的网格上。
在一些实施方式中，确定第一图像的第一区域是具有低于下照明阈值的照明水平还是高于上照明阈值的照明水平包括：获得第一图像的多个区域的勒克斯水平值以及基于所确定的勒克斯水平的曝光过度或曝光不足情况的确定。
基于不同的硬件配置的图像处理以检测和校正曝光过度/曝光不足
在一些实施方式中，基于相关联的成像和照明系统的不同照明器和/或相机配置，存在用于解决曝光过度或曝光不足图像情况的不同选项。例如，在一些实施方式中，IR照明器可以是单个照明器或由多个照明器元件组成；一个或多个IR照明器可以具有均匀的或可选择/可控制的照明方向；和/或由多个照明器元件组成的IR照明器的每个元件可以具有一个或多个可独立控制的不同的操作特性。基于这些不同的照明器或相机配置的组合，存在可以在本文所述的方法中实现的用于校正曝光过度或曝光不足情况的不同选项。
例如，在一些实施方式中，当IR照明器包括向正被监视的场景提供基本均匀的照明的单个IR照明器元件或多个IR照明器元件并且不能调整照明器元件的空间分布时，可以通过减少或增加IR照明器元件的功率和/或接通占空比来校正第一区域的曝光过度或曝光不足(即，如果对照明器的功率在关断和接通状态之间循环，则接通占空比是照明器接通时间的百分比)。
在一些实施方式中，当IR照明器包括向正被监视的场景提供基本均匀的照明的多个IR照明器元件并且那些元件可以被单独地接通或关断时，可以通过单独地关断或者接通，和/或共同地或单独地降低或增加IR照明器元件的功率和/或接通占空比来校正第一区域的曝光过度或曝光不足。
在一些实施方式中，当IR照明器包括相对于正被监视的场景具有可调整的空间照明分布或方向性的单个IR照明器元件时，则可以通过使IR照明器元件的空间分布或方向性适应以降低第一图像的曝光过度区域的方向上的IR照明强度或增加曝光不足区域的方向上的IR照明强度来校正第一区域的曝光过度或曝光不足。在一些实施方式中，还可以结合减小或增加IR照明器元件的功率和/或接通占空比来执行IR照明中的空间或方向适应。
在一些实施方式中，IR照明器包括多个IR照明器元件，其具有相对于正被监视的场景可调整的或不同的空间照明分布。例如，不同的照明器元件可以指向不同的方向，或者可以被可配置为在可选择的方向上产生具有更高强度的光(例如，使用方向滤光器或机电致动器来选择照明元件的照明的主要方向)。照明元件也可以单独地接通或关断。在这样的实施方式中，通过单独地接通或关断其主要照明方向/空间分布在曝光不足或曝光过度的第一区域的方向上的单独IR元件和/或基于第一图像的曝光过度和曝光不足区域来自适应地选择单独照明元件的主要照明方向，来校正第一区域的曝光过度或曝光不足。在一些实施方式中，IR照明中的这种空间适应可以与共同地或单独地减小或增加IR照明器元件的功率和/或接通占空比结合。
在一些实施方式中，独立于或结合IR照明器的功率或其他操作参数的调整以调整IR照明的整体强度和/或空间分布，可以通过调整相机的诸如帧速率、传感器增益、光圈和/或曝光时间的成像设置中的一个或多个来校正曝光过度或曝光不足情况。
例如，在确定图像的部分被曝光过度(即，太亮)的程度时，相机可以减少相机的图像传感器的增益或减少相机的相关联的曝光时间和/或光圈以减少更正确地曝光(即变暗)后续图像中的曝光过度区域。在另一示例中，在确定图像的部分曝光不足(即，太暗)的程度时，相机可以减小图像传感器的增益或减少相机的相关联的曝光时间和/或光圈以更正确地曝光(即变暗)后续图像中的曝光过度区域。
图像处理以检测和校正视场中感兴趣对象的曝光过度/曝光不足
在一些实施方式中，本文所述的用于校正图像或视频中的曝光过度或曝光不足情况的方法被应用于在相机的视场中提供对感兴趣对象的适当的IR照明的问题。感兴趣对象可以经由相机内图像处理来识别(例如，通过识别视场中的面部或运动的大区域)，或者可以由云图像处理系统基于相机图像或以实时或接近实时接收的视频来识别。例如，感兴趣对象可能是相机视场中的运动中的对象(例如，汽车、自行车或动物)、被标识为可能是正在接近前门的人的对象或被识别为未知的人的对象。一旦在图像中识别出感兴趣的对象，如本文所述的评估与感兴趣对象相对应的图像的第一区域，以确定该区域是曝光过度还是曝光不足，并且调整场景照明以正确地曝光与感兴趣对象相对应的区域。
在一些实施方式中，在随后的视频帧中跟踪感兴趣对象，并且照明器提供的场景照明如本文所述的适应于当感兴趣对象移动到视场内时保持该感兴趣对象的正确的曝光。因此，例如，如果未知的个体在晚上接近门口，结果当该个体的脸更靠近照明器时该个体的脸开始变得曝光过度，采用本文所述的自适应照明方法，随着该个体接近门口，照明将降低，并且该个体的脸保持被正确地曝光，这在产生的相机图像/视频中保留脸部特征并防止图像其他部分曝光不足。类似地，如果未知个体离监控相机太远而不能被充分照明，则采用本文所述的自适应照明方法，增加照明，并且个体或个体的面部保持被正确地曝光，从而允许产生的相机图像\视频中的个体的脸部特征或者活动的检测。
还应理解，尽管在一些实例，词语第一、第二等在本文中用于描述各种元件，但是这些元件不应受这些词语的限制。这些词语仅用于区分一个元件和另一元件。例如，在不脱离各种所描述的实施方式的范围的情况下，第一用户接口可以被称为第二用户接口，并且类似地，第二用户接口可以被称为第一用户接口。第一用户接口和第二用户接口都是用户接口的类型，但是它们不是相同的用户接口。
在本文中对各种所描述的实施方式的描述中使用的术语仅是出于描述特定实施方式的目的，并不旨在进行限制。如在各种所描述的实施方式和所附权利要求的描述中所使用的，单数形式“一”，“一个”和“该”也旨在包括复数形式，除非上下文另外明确指出。还应理解，本文所用的词语“和/或”指并涵盖相关联所列项目中的一个或多个的任何和所有可能的组合。将进一步理解的是，当在本说明书中使用时，词语“包括(include)”、“包括(including)”、“包含(comprise)”和/或“包含(comprising)”指定了所述特征、整数、步骤、操作、元件和/或部件的存在，但不排除存在或增加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其组。
如本文中所使用的，取决于上下文，词语“如果”可选地解释为意指“何时”或“在……时”或“响应于确定”或“响应于检测”或“根据确定”。类似地，取决于上下文，短语“如果确定”或“如果检测到[所陈述的情况或事件]”可选地被解释为意指“在确定时”或“响应于确定”或“在检测到[所陈述的情况或事件]时”，或“响应于检测到[陈述的情况或事件]”或“根据确定[所陈述的情况或事件]”。
尽管各种附图中的一些以特定顺序示出了多个逻辑阶段，但是与顺序无关的阶段可以被重新排序，并且其他阶段可以被组合或分解。尽管具体提到了一些重新排序或其他分组，但其他重新排序或分组对于本领域普通技术人员而言将是显而易见的，因此，本文呈现的排序和分组并非详尽的替代列表。此外，应当认识到，这些阶段可以以硬件、固件、软件或其任何组合来实现。
为了说明的目的，已经参考特定实施方式描述了前述描述。然而，以上说明性讨论并非旨在穷尽或将权利要求的范围限制为所公开的精确形式。鉴于以上教导，许多修改和变化是可能的。实施方式被选择以便最好地解释权利要求及其实际应用所基于的原理，从而使本领域的其他技术人员能够最佳地使用具有适于所设想的特定用途的各种修改的实施方式。

Claims (23)

1.一种要在相机系统中实现的方法，包括：
当所述相机系统处于夜间模式时，其中，所述相机系统包括镜头组件、图像传感器、用于存储来自所述图像传感器的图像数据的存储器、以及IR照明器：
由所述IR照明器使用处于第一照明功率的第一IR光来照明场景；
由所述图像传感器捕获在所述镜头组件的视场内的所述场景的第一图像，并将与所述第一图像相对应的第一图像数据存储在所述存储器中；
确定所述第一图像的第一区域是具有低于下照明阈值的照明水平从而由于曝光不足而导致所述第一区域中的图像细节损失，还是具有高于上照明阈值的照明水平从而由于曝光过度而导致所述第一区域中的图像细节损失；
响应于所述确定，
(A)当所述第一区域具有低于所述下照明阈值的照明水平时：
由所述IR照明器使用处于大于所述第一照明功率的第二功率水平的第二IR光来照明所述场景；
由所述图像传感器捕获所述场景的第二图像；以及
在所述存储器中存储与所述第二图像相对应的第二图像数据；以及
(B)当所述第一区域具有高于所述上照明阈值的照明水平时：
由所述IR照明器使用处于小于所述第一照明功率的第三功率水平的第三IR光来照明所述场景；
由所述图像传感器捕获所述场景的第三图像；以及
在所述存储器中存储与所述第三图像相对应的第三图像数据。
2.根据权利要求1所述的方法，进一步包括：
当所述第一区域具有低于所述下照明阈值的照明水平时，增加所述图像传感器的灵敏度；以及
当所述第一区域具有高于所述上照明阈值的照明水平时，降低所述图像传感器的灵敏度。
3.根据权利要求1或2所述的方法，其中，所述镜头组件包括快门系统，所述方法进一步包括：
当所述第一区域具有低于所述下照明阈值的照明水平时，增加所述快门系统的快门速度；以及
当所述第一区域具有高于所述上照明阈值的照明水平时，降低所述快门系统的快门速度。
4.根据前述权利要求中的任一项所述的方法，进一步包括：
在所述存储器中存储与所述第二图像相对应的所述第二图像数据之后：
以所述第二功率水平重复所述照明、捕获和确定操作；以及
在所述存储器中存储与所述第三图像相对应的所述第三图像数据之后：
以所述第三功率水平重复所述照明、捕获和确定操作。
5.根据前述权利要求中的任一项所述的方法，进一步包括：
确定所述第二图像的所述第一区域是否仍然具有低于所述下照明阈值的照明水平；
根据确定所述第一区域仍然具有低于所述下照明阈值的照明水平，增加所述第二功率水平并以所增加的第二功率水平重复所述照明、捕获和确定操作。
6.根据前述权利要求中的任一项所述的方法，进一步包括：
确定所述第三图像的所述第一区域是否仍然具有高于所述上照明阈值的照明水平；
根据确定所述第一区域仍然具有高于所述上照明阈值的照明水平，降低所述第三功率水平并以所降低的第三功率水平重复所述照明、捕获和确定操作。
7.根据前述权利要求中的任一项所述的方法，其中，确定所述第一图像的第一区域是具有低于下照明阈值的照明水平还是高于上照明阈值的照明水平包括：获得所述第一图像的直方图。
8.根据前述权利要求中的任一项所述的方法，其中，确定所述第一图像的第一区域是具有低于下照明阈值的照明水平还是高于上照明阈值的照明水平包括：将所述第一图像划分为多个区域，其中所述第一区域是所述多个区域中的一个。
9.根据权利要求8所述的方法，其中，确定所述第一图像的第一区域是具有低于下照明阈值的照明水平还是高于上照明阈值的照明水平包括：获得所述第一图像的所述多个区域的勒克斯水平值。
10.根据前述权利要求中的任一项所述的方法，其中，所述IR照明器包括一个或多个照明器元件，所述照明器元件中的每个向所述场景提供基本上均匀的照明，其中，由所述场景的所述IR照明器使用处于大于所述第一照明功率的第二功率水平的第二IR光来照明包括：均匀地增加对所述一个或多个照明器元件的输入功率，并且由所述场景的所述IR照明器使用处于小于所述第一照明功率的第三功率水平的第三IR光来照明包括：均匀地降低对所述一个或多个照明器元件的所述输入功率。
11.根据前述权利要求中的任一项所述的方法，其中，所述IR照明器包括多个IR照明器元件，所述IR照明器元件中的每个向所述场景提供基本上均匀的照明，并且所述照明器元件中的每个可以被单独地接通或关断，其中，由所述场景的所述IR照明器使用处于大于所述第一照明功率的第二功率水平的第二IR光来照明包括：增加对所述照明器元件的第一子集的功率，并且由所述场景的所述IR照明器使用处于小于所述第一照明功率的第三功率水平的第三IR光来照明包括：降低对所述照明器元件的第二子集的功率和/或关断所述照明器元件的所述第二子集。
12.根据权利要求1至10中的任一项所述的方法，其中，所述IR照明器包括单个IR照明器元件，所述单个IR照明器元件具有相对于所述场景能够调整的空间照明分布，其中，由所述场景的所述IR照明器使用处于大于所述第一照明功率的第二功率水平的第二IR光来照明包括：配置所述照明器元件以产生基本上指向所述第一区域的更多照明功率，并且由所述场景的所述IR照明器使用处于小于所述第一照明功率的第三功率水平的第三IR光来照明包括：配置所述照明器元件以产生基本上指向所述第一区域的更少照明。
13.根据权利要求1至11中的任一项所述的方法，其中，所述IR照明器包括多个IR照明器元件，所述IR照明器元件中的每个具有相对于正被监视的场景不同的空间照明方向，并且所述IR照明器元件中的每个可以单独地接通或关断，其中，由所述场景的所述IR照明器使用处于大于所述第一照明功率的第二功率水平的第二IR光来照明包括：增加对产生基本上指向所述第一区域的照明的照明器元件的第四子集的功率，并且由所述IR照明器使用处于小于所述第一照明功率的第三功率水平的第三IR光来照明所述场景包括：降低对所述照明器元件的至少所述第四子集的输入功率和/或将所述照明器元件的至少所述第四子集关断。
14.根据前述权利要求中的任一项所述的方法，进一步包括：
使所述第一图像数据图块化以从所述视场的不同预定义部分中产生多个图块，所述多个图块中的每个与所述第一图像数据相对应，并确定所述图块中的每个是否包括曝光过度情况或曝光不足情况；以及
将包括所述曝光过度情况或所述曝光不足情况的图块的连续区域定义为所述第一区域。
15.根据前述权利要求中的任一项所述的方法，进一步包括：
使所述第一图像数据图块化以从所述视场的不同预定义部分产生多个图块，所述多个图块中的每个与所述第一图像数据相对应；
使用所述相机系统的自动曝光模块确定所述图块中的每个是否包括曝光过度情况或曝光不足情况；以及
将包括所述曝光过度情况或所述曝光不足情况的图块的连续区域定义为所述第一区域。
16.根据前述权利要求中的任一项所述的方法，进一步包括：
结合所述IR照明器的功率的调整，调整包括帧速率、传感器增益、光圈和曝光时间的所述相机的成像设置中的一个或多个，以针对所述曝光过度或所述曝光不足进行补偿。
17.根据前述权利要求中任一项所述的方法，进一步包括：
检测所述场景中的感兴趣对象；以及
将在所述视场中的所述感兴趣对象的位置识别为所述区域，以便提供所述感兴趣对象的正确曝光。
18.根据权利要求17所述的方法，进一步包括：
在所述感兴趣对象在所述场景中移动时跟踪所述感兴趣对象；以及
重复所述识别操作，以便在所述感兴趣对象在所述场景中移动时提供所述感兴趣对象的正确曝光。
19.根据权利要求17所述的方法，进一步包括：
将所述第一图像数据传输到服务器，其中，所述服务器执行检测所述感兴趣对象以及识别在所述视场中的所述感兴趣对象的位置。
20.根据权利要求17所述的方法，其中，所述感兴趣对象是所述视场中的人的脸部。
21.根据前述权利要求中的任一项所述的方法，其中，所述第一图像数据包括视频数据的帧。
22.一种相机系统，包括：
镜头组件；
图像传感器；
用于存储来自所述图像传感器的图像数据的存储器；
IR照明器；
一个或多个处理器；以及
存储用于由所述一个或多个处理器执行的一个或多个程序的存储器，所述一个或多个程序包括用于执行根据权利要求1至21中的任一项所述的方法的指令。
23.一种存储一个或多个程序的非暂时性计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由具有镜头组件、图像传感器、用于存储来自所述图像传感器的图像数据的存储器、IR照明器和一个或多个处理器的相机系统执行时使所述相机系统执行权利要求1至21中的任一项所述的方法。
CN201980006027.2A 2018-02-06 2019-02-05 用于曝光校正的自适应红外照明 Active CN111418200B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/890,254 US10609298B2 (en) 2018-02-06 2018-02-06 Adaptive infrared illumination for exposure correction
US15/890,254 2018-02-06
PCT/US2019/016703 WO2019156986A1 (en) 2018-02-06 2019-02-05 Adaptive infrared illumination for exposure correction

Publications (2)

Publication Number Publication Date
CN111418200A true CN111418200A (zh) 2020-07-14
CN111418200B CN111418200B (zh) 2021-11-09

Family

ID=65516778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980006027.2A Active CN111418200B (zh) 2018-02-06 2019-02-05 用于曝光校正的自适应红外照明

Country Status (4)

Country Link
US (1) US10609298B2 (zh)
EP (1) EP3701712B1 (zh)
CN (1) CN111418200B (zh)
WO (1) WO2019156986A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113099132A (zh) * 2021-04-19 2021-07-09 深圳市帧彩影视科技有限公司 视频处理方法、装置、电子设备、存储介质及程序产品
CN114040121A (zh) * 2021-10-29 2022-02-11 浙江大华技术股份有限公司 监控方法、监控设备及计算机可读存储介质
CN114513611A (zh) * 2020-11-17 2022-05-17 安讯士有限公司 用于图像的增加的动态范围的方法和电子设备

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019129083A1 (zh) * 2017-12-27 2019-07-04 杭州海康威视数字技术股份有限公司 一种红外灯控制方法、装置及四目可调节摄像机
US10274979B1 (en) * 2018-05-22 2019-04-30 Capital One Services, Llc Preventing image or video capture of input data provided to a transaction device
US10438010B1 (en) 2018-12-19 2019-10-08 Capital One Services, Llc Obfuscation of input data provided to a transaction device
CN111726514B (zh) * 2019-03-20 2021-09-28 浙江宇视科技有限公司 一种摄像机及其昼夜模式切换方法、装置、设备、介质
US11774842B2 (en) 2019-08-16 2023-10-03 Bossa Nova Robotics Ip, Inc. Systems and methods for image capture and shelf content detection
EP3840362B1 (en) * 2019-12-19 2022-05-04 Axis AB A video camera system with a light sensor and a method for operating said video camera
CN113286094B (zh) * 2021-05-27 2022-06-24 重庆紫光华山智安科技有限公司 图像自动曝光方法、装置、设备及介质
EP4356600A1 (en) * 2021-06-15 2024-04-24 Intuitive Surgical Operations, Inc. Auto-exposure management of multi-component images
US11985739B2 (en) * 2022-08-29 2024-05-14 Cisco Technology, Inc. Low light exposure control using infrared light-emitting diode zones during night vision

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101052100A (zh) * 2007-03-29 2007-10-10 上海交通大学 多曝光图像增强方法
CN101227562A (zh) * 2007-01-19 2008-07-23 华晶科技股份有限公司 亮度的修正方法
CN103975577A (zh) * 2011-10-07 2014-08-06 菲力尔系统公司 智能监视摄像机系统及方法
CN104702849A (zh) * 2014-01-10 2015-06-10 杭州海康威视数字技术股份有限公司 一种红外摄像机及其红外灯亮度调整方法
US20160164261A1 (en) * 2009-02-17 2016-06-09 Trilumina Corp. Compact multi-zone infrared laser illuminator
US20180020145A1 (en) * 2016-07-12 2018-01-18 Bossa Nova Robotics Ip, Inc. Glare Reduction Method and System

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5469527B2 (ja) * 2010-05-10 2014-04-16 パナソニック株式会社 撮像装置
TWI445399B (zh) * 2011-09-28 2014-07-11 Vivotek Inc 夜視攝影的曝光調整方法
US8831295B2 (en) * 2012-03-21 2014-09-09 Authentec, Inc. Electronic device configured to apply facial recognition based upon reflected infrared illumination and related methods
JP5983575B2 (ja) * 2013-09-27 2016-08-31 株式会社Ｊｖｃケンウッド 操作入力装置、操作入力方法およびプログラム
JP6757258B2 (ja) * 2015-01-08 2020-09-16 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、撮像装置および画像処理方法
JP6584103B2 (ja) * 2015-03-18 2019-10-02 キヤノン株式会社 撮像装置
KR20170048972A (ko) * 2015-10-27 2017-05-10 삼성전자주식회사 영상을 생성하는 방법 및 장치
JP6817602B2 (ja) * 2016-10-07 2021-01-20 パナソニックＩｐマネジメント株式会社 監視映像解析システム、監視映像解析方法及び監視映像解析プログラム
US20180373348A1 (en) * 2017-06-22 2018-12-27 Microsoft Technology Licensing, Llc Systems and methods of active brightness depth calculation for object tracking
CN107480664A (zh) * 2017-07-31 2017-12-15 广东欧珀移动通信有限公司 补光控制方法、装置及终端设备
JP2019057797A (ja) * 2017-09-20 2019-04-11 パナソニックＩｐマネジメント株式会社 暗視撮像装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101227562A (zh) * 2007-01-19 2008-07-23 华晶科技股份有限公司 亮度的修正方法
CN101052100A (zh) * 2007-03-29 2007-10-10 上海交通大学 多曝光图像增强方法
US20160164261A1 (en) * 2009-02-17 2016-06-09 Trilumina Corp. Compact multi-zone infrared laser illuminator
CN103975577A (zh) * 2011-10-07 2014-08-06 菲力尔系统公司 智能监视摄像机系统及方法
CN104702849A (zh) * 2014-01-10 2015-06-10 杭州海康威视数字技术股份有限公司 一种红外摄像机及其红外灯亮度调整方法
US20180020145A1 (en) * 2016-07-12 2018-01-18 Bossa Nova Robotics Ip, Inc. Glare Reduction Method and System

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114513611A (zh) * 2020-11-17 2022-05-17 安讯士有限公司 用于图像的增加的动态范围的方法和电子设备
CN114513611B (zh) * 2020-11-17 2024-04-26 安讯士有限公司 用于图像的增加的动态范围的方法和电子设备
CN113099132A (zh) * 2021-04-19 2021-07-09 深圳市帧彩影视科技有限公司 视频处理方法、装置、电子设备、存储介质及程序产品
CN114040121A (zh) * 2021-10-29 2022-02-11 浙江大华技术股份有限公司 监控方法、监控设备及计算机可读存储介质

Also Published As

Publication number Publication date
EP3701712B1 (en) 2024-05-01
WO2019156986A1 (en) 2019-08-15
US10609298B2 (en) 2020-03-31
US20190246025A1 (en) 2019-08-08
EP3701712A1 (en) 2020-09-02
CN111418200B (zh) 2021-11-09

Similar Documents

Publication Publication Date Title
CN111418200B (zh) 用于曝光校正的自适应红外照明
US10970556B2 (en) Smart surveillance camera systems and methods
CA2896825C (en) Imaging apparatus with scene adaptive auto exposure compensation
WO2019192320A1 (zh) 曝光方法、装置及摄像设备
US9674458B2 (en) Smart surveillance camera systems and methods
EP2764686B1 (en) Smart surveillance camera systems and methods
EP3162048B1 (en) Exposure metering based on background pixels
CN108124156B (zh) 用于控制摄像机的红外截止滤光片的方法
CN113452970B (zh) 用于评定夜晚模式图像获得期间的环境光的方法
CN112153302A (zh) 红外光源控制方法、装置、电子设备和可读存储介质
JP2017063245A (ja) 撮像装置
TW201512701A (zh) 取像裝置及其控制方法
KR101692831B1 (ko) 능동형 화질 최적화 시스템
JP2014220762A (ja) 撮像装置
US20160037041A1 (en) Adaptive illumination apparatus and method
EP4075790B1 (en) Exposure time control in a video camera
JPH09261531A (ja) 撮像装置
JP2019193196A (ja) 撮像装置およびその制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant