CN104869321B - 控制摄像机曝光的方法和设备 - Google Patents

控制摄像机曝光的方法和设备 Download PDF

Info

Publication number
CN104869321B
CN104869321B CN201510088895.3A CN201510088895A CN104869321B CN 104869321 B CN104869321 B CN 104869321B CN 201510088895 A CN201510088895 A CN 201510088895A CN 104869321 B CN104869321 B CN 104869321B
Authority
CN
China
Prior art keywords
image
value
pixel
level
video camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510088895.3A
Other languages
English (en)
Other versions
CN104869321A (zh
Inventor
F·斯文松
J·图夫松
L·哈尔斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN104869321A publication Critical patent/CN104869321A/zh
Application granted granted Critical
Publication of CN104869321B publication Critical patent/CN104869321B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G03B7/093—Digital circuits for control of exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

本发明公开一种控制摄像机的曝光的方法和控制单元。该方法包括计算与视频序列中的第一图像有关的黑暗水平和饱和水平(S02,S04)。如果饱和水平超过第一极限，则减小由摄像机拍摄的图像中像素的平均强度值的目标值(S10)，减小的量是所述黑暗水平的递增函数。减小的目标值用于对视频序列中继第一图像之后的图像控制摄像机的曝光(S16)，使得后继图像中像素的平均强度值接近减小的目标值。本发明减少黑暗照明条件中图像的饱和，同时在明亮照明条件中或者不存在饱和的黑暗照明条件中产生正确曝光图像。

Description

控制摄像机曝光的方法和设备
技术领域
本发明涉及曝光控制领域，尤其涉及一种用于摄像机的曝光控制的方法、控制单元和系统。
背景技术
摄像机通常用作监控工具或者在不同的情况下辅助人类的工具。例如，摄像机可以用于交通监控或者交通辅助之目的。摄像机例如可以安装在汽车或火车上以辅助驾驶者或者向自动驾驶仪或安全系统提供输入。
在夜间，如果有强光源进入到场景中，则在摄像机拍摄的图像中的像素饱和的问题会出现。摄像机传感器中像素的有限动态使得不可能拍摄到全部范围的光强，这样的事实引起了饱和。结果是，例如在夜间看到诸如交通灯和铁路信号等信号的颜色会有困难。由于通过车牌照(license plate)反射的光会导致图像中的饱和，所以区分车牌照上的数字也会有困难。
对于以上举例示出的监控目的，在夜间不使图像的任何部分饱和因而是非常重要的。同时，在白天，阳光经常会导致图像中的饱和，因此场景中的最亮部分通常是天空，这从监控的视角来看并不特别重要，所以如果部分图像在白天饱和则影响不大。
公开号为US7,474,847B2的专利公开了一种摄像机的曝光控制，是基于来自图像帧的强度直方图(intensity histogram)。更具体地，从直方图中提取诸如平均值、下限和上限等特征值。然后调整摄像机的曝光参数，直到直方图的特征值达到某些预定的目标水平。目标水平可以根据周围的光线水平而变化，使得当黑暗时目标水平减小。结果是，当黑暗时拍摄的图像的直方图会朝着强度范围的更黑暗端变化，由此很可能会减少图像中饱和像素的数量。这种变化使图像呈现出曝光不足(underexposed)。然而，这种方法的缺点是不管图像中是否有饱和，当黑暗时图像总是会曝光不足。例如，在夜间在场景中甚至没有交通灯的情况下，图像仍会曝光不足。因此存在改进空间。
发明内容
根据以上所述，因此本发明的目的是提供一种用于摄像机的曝光控制的改进方法，该方法减少黑暗照明条件中图像的饱和，同时在明亮照明条件中或者不存在饱和的黑暗照明条件中产生正确曝光图像。
根据本发明的第一方案，上述目的通过用于一种控制摄像机的曝光的方法实现，该方法包括步骤：
当拍摄视频序列(video sequence)中的第一图像时确定所述摄像机使用的曝光时间和增益；
将至少所述曝光时间和增益的乘积计算为与所述第一图像有关的黑暗水平；
将所述第一图像中饱和像素的数量与全黑像素数量之间的比值计算为与所述第一图像有关的饱和水平；
如果所述饱和水平超过第一极限，减小由摄像机拍摄的图像中像素的平均强度值的目标值，减小的量是所述黑暗水平的递增函数(increasing function)，以及
对于在视频序列中继所述第一图像之后的图像控制摄像机的曝光，使得所述后继图像中像素的平均强度值接近减小的目标值。
根据上述方法，减小由摄像机拍摄的图像中像素的平均强度值的目标值以减少饱和的问题。更具体地，减小在摄像机的控制中使用的平均强度值的目标值导致后继图像的强度值直方图在强度量级方面向下变化。结果是，饱和像素的数量减小。
平均强度的目标值按照黑暗水平的递增函数而减小。例如，黑暗值的递增函数可以将与当前目标值有关的百分比作为目标值的减少的量。也就是说，越黑暗，目标值减少的越多。这意味着，与减少饱和像素的数量并不是很重要的较不黑暗或者甚至明亮照明条件相比，在从以上示例的监控的观点来看减小饱和像素的数量是重要的黑暗照明条件下，饱和像素的减少更大。利用这种布置，黑暗时饱和的问题会减小，同时在明亮照明条件中产生正确曝光的图像。
此外，重要的是注意仅在当前图像中存在饱和问题，也就是如果饱和水 平超过第一极限时才减小目标值，而不管当前的黑暗水平。以这种方式，在不存在饱和的黑暗照明条件中产生正确曝光的图像。
考虑到安装摄像机以查看汽车前方的示例。在夜间(当黑暗时)情况如下：只要场景中没有诸如交通灯或者反光车牌照等的明亮光线，摄像机的图像将会被正确地曝光(也就是目标值不减小)。这是指，平均强度的目标值被设定成使得在大部分场景中实现高能见度，也就是使得图像中明亮部分与黑暗部分之间的平衡可以实现。当明亮的光线进入到场景中时，例如当汽车接近交通灯时，会出现图像中的饱和问题。然而，在目标值将被减小的情况下，饱和问题由此会减小。结果是，可以看到交通灯的颜色或者读出图像中交通牌上的文字。在白天(当明亮时)，情况如下：不管在图像中是否有明亮光线，图像将会被正确地曝光(也就是目标值不减小)。对于介于“黑暗”与“明亮”之间的照明条件，例如在黄昏时，会发生上述两种情况之间的混合。更精确地，如果在当前图像中有饱和，调整目标值的量取决于黑暗水平。
如果像素的强度值超过可能强度值范围的上端处的预定值，第一图像中的像素被视为饱和像素。
类似地，如果像素的强度值低于可能强度值范围下端处的预定值，第一图像中的像素被视为全黑像素。
可以进一步参考第一图像的强度值的直方图解释术语“饱和像素”和“全黑像素”。在直方图中，强度值被分成与一系列可能强度值对应的很多组(bin)。例如，在直方图中可以有256个组与在0到255之间的一系列可能强度值对应。在本文中，饱和像素可以被定义为具有一强度值的像素，该强度值落入到与最高可能强度值中的一个对应的组中。在一些情况下，仅与最高强度值(在示例中值255)对应的组用于定义饱和像素。在其他情况下，使用数个组，例如与两个或三个最高强度值对应的组。类似地，全黑像素可以被定义为具有一强度值的像素，该强度值落入到与最低可能强度值之一对应的组中。
现在考虑例如由于在其上安装摄像机的汽车接近信号灯，目标水平已经被降低以减小夜间饱和的情况。由于汽车经过信号灯，明亮的光线从场景中消失，并且为此原因，不再有任何可能的饱和问题。但是，由于目标水平减小，所以由摄像机拍摄的图像将仍然呈现出曝光不足。为了适应这种情况， 该方法还包括步骤：
如果所述饱和水平在比第一极限低或者等于第一极限的第二极限之下，增大由摄像机拍摄的图像中像素的平均强度值的目标值；以及
对于在视频序列中继第一图像之后的图像控制摄像机的曝光，使得所述后继图像中像素的平均强度值接近增大的目标值。
换言之，如果发现不再有饱和问题(饱和水平在第二极限之下)，可以再次增大目标值。以这种方式，该方法可以在明亮光线进入到场景时首先降低目标值，并且之后当明亮光线离开场景时再次增大目标值。因此该方法可以适应与照明和饱和有关的当前条件。
例如，平均强度值的目标值可以以随黑暗水平减小的量来增大。也就是，越黑暗，目标值增大的量越小。这是有利的，因为当明亮时可以大幅度增大目标值(当碰到新饱和问题的风险不重要时)，并且当黑暗时可以小幅度增大目标值(当碰到新饱和问题的风险重要时)。
随黑暗水平的降低并不需要是严格的降低。换言之，也包括以固定幅度增大目标水平而不管黑暗水平的情况。
如以上讨论，平均强度值的目标值以是黑暗水平的递增函数的量减小。对于低于第一阈值的黑暗水平，所述黑暗水平的递增函数取零值，使得对于低于所述第一阈值的黑暗水平，所述目标值不减小。
换言之，可以具有区分明亮照明条件(不执行目标值的减小)和黑暗照明条件(在饱和情况下目标值减小)的第一阈值。因此，如果发现当前是明亮照明条件，尽管存在饱和，但是不减小目标值。这是有利的，因为在明亮照明条件时，至少对于这里提及的应用，从监控的观点来看存在饱和是不重要的。
还可以有与定义黑暗照明条件的黑暗水平有关的第二阈值。更精确地，对于低于第一阈值的黑暗水平，所述黑暗水平的递增函数取第一值，对于高于比第一阈值大的第二阈值的黑暗水平，所述黑暗水平的递增函数取第二值，其中对于所述第一阈值与所述第二阈值之间的黑暗水平，所述函数平滑地从所述第一值增大到所述第二值。
换言之，对于低于第一阈值(也就是当是明亮照明条件时)的黑暗水平，目标值减小与最小步幅对应的第一值。对于黑暗水平高于第二阈值(也就是 当是黑暗照明条件时)，目标值减小与最大步幅对应的第二值。对于黑暗水平在第一阈值与第二阈值之间(也就是当在明亮与黑暗之间)，随着增大的黑暗水平，目标值的减小平滑地从最小步幅增大到最大步幅。
这是有利的，因为实现了黑暗照明条件与明亮照明条件之间的平滑转变。
通常，函数的形状可以呈现第一阈值与第二阈值之间的任何递增形式。例如，函数可以线性地从第一值增大到第二值。已经发现这样会提供黑暗照明条件与明亮照明条件之间的良好的转变，同时提供易于实现的简单模式。
该方法还包括接收用户输入的关于第一阈值的值。这是有利的，因为用户可以设定阈值以定义什么是明亮照明条件。
该方法还包括接收用户输入的关于饱和水平在适用时与其比较的第一极限和/或第二极限的值。这是有利的，因为用户可以设定极限以定义是否存在饱和。例如可以取决于交通灯或车牌照的尺寸设定该极限。
对于视频序列中继第一图像之后的图像，可以基于误差(error)控制摄像机的曝光。尤其，该方法还可以包括基于从后继图像中像素的平均强度值和减小或者增大(如果适用的话)的目标值计算的误差产生用于摄像机的控制信号。该控制信号可以包括与误差成比例的项(P-控制器)，可选择地包括与误差的积分成比例的项(PI-控制器)，可选择地还包括与误差的导数成比例的项(PID-控制器)。可选择地，可以使用任何其他标准控制方法。
然而，采用优选的另一方式，即，该控制信号取决于根据一函数的误差，该函数具有随计算的误差与误差要取的值之间的距离而增大的导数(derivative)，该误差要取的值是如果平均强度值等于减小或者增大(如果适用的话)的目标值时所取的值。以这种方式，当误差大时(也就是当目标值和平均强度值远远不相等时)，控制对误差中的变化较敏感，当目标值和平均强度值几乎相等时，控制对误差中的变化较不敏感。换句话说，当平均强度值远离目标值时，控制更快；当平均强度值接近目标值时，控制更慢。然而，明显地，由于函数是连续性的，所以在使用快速控制与使用慢速控制之间没有固定的界限。
这种方式是有利的，因为当目标值和平均强度值远远不相等时实现快速控制，同时，由于当误差变小时平均强度值平滑地接近目标值，所以当目标值与平均强度值几乎相等时，该方式是稳健的(robust)。尤其，可以避免P- 控制器、PI-控制器或PID-控制器的问题，例如当平均强度值接近目标值时的振荡等。该控制方法的另一个优点是其不会给出静态误差，并且易于调谐而不增加控制中的过冲(overshoot)。在优选的实施例中，将减小或者增大(如果适用的话)的目标值与后继图像中像素的平均强度值之间的比值计算为所述误差。在另一实施例中，将后继图像中像素的平均强度值与减小或者增大(如果适用的话)的目标值之间的差计算为所述误差。
因为发现其给出特别快并且稳健的控制，所以具有增大的导数的函数例如是反转sigmoid函数。
根据本发明的第二方案，上述目的可以通过一种用于控制摄像机的曝光控制单元实现，该控制单元被配置成：
当拍摄视频序列中的第一图像时确定所述摄像机使用的曝光时间和增益；
将至少所述曝光时间和增益的乘积计算为与所述第一图像有关的黑暗水平；
将所述第一图像中饱和像素的数量与全黑像素数量之间的比值计算为与所述第一图像有关的饱和水平；
如果所述饱和水平超过第一极限，减小由摄像机拍摄的图像中像素的平均强度值的目标值，减小的量是所述黑暗水平的递增函数，以及
对于在视频序列中继所述第一图像之后的图像控制摄像机的曝光，使得所述后继图像中像素的平均强度值接近减小的目标值。
根据本发明的第三方案，上述目的可以通过一种监控系统实现，该监控系统包括至少一个摄像机和根据第二方案的控制单元，该控制单元用于控制所述至少一个摄像机的曝光。该监控系统可以是交通监控系统。例如，该系统可以使得在黑暗中能够识别彩色的光信号或车牌照。
根据发明的第四方案，上述目的可以通过一种计算机可读介质实现，该计算机可读介质包括计算机代码指令，当该指令被具有处理能力的装置执行时适应于执行根据第一方案的方法。
第二、第三、第四方案通常可具有与第一方案相同的特征和优点。还要注意的是本发明涉及所有可能的特征组合，除非另有清楚说明。
通常，这里除非另有清楚说明，权利要求中使用的所有术语将被解释为 其在技术领域中通常的含义。所有对“一/一个/该[控制单元、摄像机、步骤等]”的引用将被开放性地解释为是指所述控制单元、摄像机、步骤等的至少一个实例，除非有清楚说明。这里描述的任何方法的步骤不必须以所公开的确切顺序执行，除非有清楚说明。
附图说明
本发明的上述以及附加目的、特征和优点将通过下面的本发明优选实施例参考附图的说明性和非限制的具体描述得到更好的理解，相同的附图标记用于类似的元件，其中：
图1示意性地示出根据实施例的包括摄像机和控制单元的监控系统。
图2a、图3a、图4a和图5a示意性地示出由图1的摄像机拍摄的图像。
图2b、图3b、图4b和图5b分别示意性地示出图2a、图3a、图4a和图5a中所示图像的强度直方图。
图6是根据实施例用于控制摄像机曝光的方法的流程图。
图7示意性地示出递增函数，根据该递增函数，平均强度水平的目标值可以取决于黑暗水平而减小。
图8示意性地示出将平均强度值中的误差映射到控制信号值的函数。
具体实施方式
现在将在下文中参照附图对本发明进行更充分的描述，在附图中，显示了本发明当前的优选实施例。然而可以以许多不同的形式来实现本发明，不应该将本发明解释为仅限于本文所阐述的实施例；确切地，提供这些实施例是为了使本公开内容详尽和完整，以及将本发明的范围充分地传达给本领域技术人员。将在操作过程中描述本文公开的系统和装置。
图1示出监控系统100，该监控系统100包括摄像机102和控制单元104。摄像机102被配置成拍摄图像的视频序列，并且例如可以是数字监控摄像机。控制单元104可以包括在摄像机102中，或者可以设置成与摄像机102可操作地连接的单独部件。可选择地，控制单元104的第一部分可以位于摄像机102中，而控制单元104的第二部分可以位于摄像机102的外部，使得这里公开的一些方法步骤在摄像机102中执行，而一些在摄像机102的外部执行。系统100还可以包括多个摄像机100。单个控制单元104可以控制多个摄像机100。监控系统例如可以用在交通监控应用中。因此，监控系统100可以是交通监控系统。
根据这里公开的实施例，控制单元104被配置成执行用于控制摄像机102的曝光的方法。为此目的，控制单元104可以包括诸如中央处理单元等的处理单元106，该处理单元106被配置成执行例如可以存储在存储器110中的计算机代码指令。因此，存储器110可以形成(非暂态)计算机可读介质，用于存储这样的计算机代码指令。处理单元106可选择地可以是诸如专用集成电路、现场可编程门阵列等的硬件组件的形式，该硬件组件特别地设计成执行这里公开的实施例的方法。
控制单元104还可以包含诸如发送器/接收器等的通信接口108，通过该接口可以接收来自摄像机102的数据并且将数据发送至摄像机102。接收到的数据例如可以包括由摄像机102拍摄的图像和拍摄图像时摄像机102使用的曝光设置。发送的数据例如可以包括用于控制摄像机102的曝光的控制信号。
现在将参考图1、图2a-b、图3a-b、图4a-b、图5a-b、图7和图8以及图6的流程图描述系统100的操作。尤其将公开由控制单元104执行的用于控制摄像机102的曝光的方法。
在步骤S02中，当拍摄图像的视频序列中的第一图像时，控制单元104确定摄像机102所使用的曝光时间和增益(gain)。曝光时间和增益是摄像机102的曝光设置的示例。例如，曝光时间和增益可以由控制单元104从摄像机102接收。另一个也可以在步骤S02中确定的曝光设置是摄像机的光圈(aperture)(也就是虹彩光圈(iris))的尺寸。
曝光时间和增益是两个表示照明条件的参数。这也适用于光圈的尺寸。曝光时间控制有多少光线进入到摄像机传感器中，通常在黑暗的照明条件下会设定长的曝光时间以有充足的光线进入到摄像机传感器。因此，高曝光时间表示黑暗的照明条件。进一步地，在黑暗的照明条件下进入到传感器的光线量通常少于在明亮的照明条件下进入的光线量。因此，在黑暗的照明条件下，对于放大感测信号的需求更大。由此，在放大中采用的高增益值也表示黑暗的照明条件。换言之，曝光时间和增益、尤其是其乘积可以用于获得当 前黑暗水平的标示(indication)。
在步骤S04中，控制单元104至少基于所确定的曝光时间和增益来计算与视频序列中第一图像有关的黑暗水平。优选地，控制单元104将曝光时间和增益的乘积计算为黑暗水平。然而，在一些实施例中，控制单元104可以将曝光时间、增益和光圈尺寸的乘积计算为黑暗水平。由以上所述，黑暗水平因此是场景中黑暗度的量度。
图2a示出视频序列中的第一图像200。在示出的示例中，安装摄像机102以向前查看在第一轨道202上运行的火车。还有与第一轨道202平行延伸的第二轨道204。火车正在接近，但仍然离与第一轨道202关联的第一光信号206和与第二轨道204关联的第二光信号208非常远。在该示例中，假设外部相对较黑暗，使得在步骤S04中控制单元104对于第一图像200计算出相对较大的黑暗水平。
接着在步骤S06中，控制单元104计算与第一图像200有关的饱和水平。将第一图像200中饱和像素的量与全黑像素的量之间的比值计算为饱和水平。
图2b示出第一图像200中像素的强度值的直方图210。在直方图210中，可能强度值的范围被分成多个组(bins)，这里以由0…n-1标引的组来表示。例如可以有256个组。饱和像素的数量通常可以与在强度范围的上端处由n-1标引的组中像素的数量对应。可选择地，饱和像素的数量可以与在强度范围的上端处诸如两个或三个等数个组中的像素数量对应。例如，饱和像素的数量可以与由n-1和n-2标引的组中的像素数量对应。以类似的方式，可以将由0标引的第一组中的像素数量，或者将直方图中诸如两个或三个第一组等数个第一组中的像素数量计算为全黑像素的数量。
需要注意第一图像200可以是诸如红-绿-蓝(RGB)图像等的彩色图像。如果是这样的话，可以从照明的直方图(例如在具有YCbCr表示的彩色图像中的Y分量)或者从呈现所有颜色的原像素数据(raw pixel data)推断出饱和像素的数量和全黑像素的数量。
在图2b的示出示例中，与由0标引的最低组相比，由n-1标引的最高组中有相当多的像素。换言之，计算出的饱和水平将会相当高。这种情况下，在其他黑暗环境中，第一和第二光信号206和208的存在会导致饱和。由于 在光信号206、208与周围的事物之间存在这样大的对比，可以从图2b中的直方图看出，光信号206、208在图像200中饱和。饱和的结果是，在图像200中光信号206、208呈现白色，因此不能从图像200推断出光信号206、208的颜色。
在步骤S08中，控制单元104检测饱和水平是否超过第一极限。第一极限是预定的参数，举例来说其值可以是10-3。第一极限可以由用户输入。基于该检测，控制单元104随后调整由摄像机102拍摄的图像中像素的平均强度值的目标值。
特别是，如果控制单元104发现饱和水平超过第一极限，会进行到步骤S10以减小目标值。在图2a和图2b的示出示例中，假设饱和水平超过第一极限，因此目标值从当前值Told被减小到新值Tnew。
根据一函数确定调整的量、也就是Told-Tnew，该函数是黑暗水平的递增函数。在图7中示出可以用于此目的的函数示例。对于低于第一阈值L1的黑暗水平，示出的函数700取值为第一值V1，对于高于第二阈值L2的黑暗水平，示出的函数700取值为第二值V2。对于L1与L2之间的黑暗水平，函数700平滑地(在这种情况下线性地)从第一值V1增长到第二值V2。例如可以根据与当前目标值有关的百分比给V1和V2赋值。例如，V1可以对应于0％，V2可以对应于50％。因此，在一些情况下，对于低于第一阈值L1的黑暗水平，目标值不会减小。对于高于第一阈值L1并且低于第二阈值L2的黑暗水平，目标值的减少量随黑暗水平线性地增大。对于高于第二阈值L2的黑暗水平，目标值的减少量保持固定。由用户输入至少该较低的阈值L1，其被解释为区分明亮照明条件和黑暗照明条件的阈值。
在一些实施例中，可以将第二阈值L2设定为与第一阈值L1相等，这样使函数700成为阶梯函数，对于低于第一阈值L1的黑暗水平该函数取值为V1，对于高于或等于第一阈值L1的黑暗水平该函数取值为V2。
接下来，在步骤S16中，控制单元104控制曝光，也就是诸如摄像机102的曝光时间、增益和光圈尺寸等曝光设置。摄像机102的控制会影响继第一图像200之后的图像，例如图3a的图像300。进行曝光设置的控制以使得后继图像中像素的平均强度值接近调整后的目标值Tnew。控制单元104通常在误差的基础上进行控制。根据一个实施例，将后继图像中像素的平均强度值 与调整的目标值Tnew之间的差计算为误差。根据另一个实施例，将调整的目标值与平均强度值之间的比值计算为误差。控制的结果是，后继图像的强度直方图将会变化，使得其平均强度值变得等于或接近调整后的目标值Tnew。
图3b进一步示出图3a的后继图像300的强度直方图310。明显地，与图2a的直方图210相比，直方图310在强度量级上向下变化。因此，后继图像300比第一图像200呈现的更黑暗。然而，更重要的是，直方图310向下变化的结果是在后继图像300中不再有任何饱和像素。这具有有利的效果就是可以在后继图像300中看到光信号208和206的颜色。例如，后继图像300现在可以显示包括绿光和白光的第一光信号206和包括红光的第二光信号208。
如上所讨论的，控制单元104可以基于从平均强度值和调整的目标值Tnew计算出的误差来进行控制。尤其是，控制单元104可以基于该误差产生控制信号。
根据一个实施例，在该实施例中，将后继图像中像素的平均强度值与调整的目标值Tnew之间的差计算为误差，控制信号包括与误差成比例的项(P-控制器)，可选择地包括与误差的积分成比例的项(PI-控制器)，可选择地还包括与误差的导数成比例的项(PID-控制器)。在采用这样的控制策略的情况下，在图8中由虚线曲线802表示作为误差的函数的控制信号的值。
根据另一实施例，控制信号取决于依照一函数的误差。对于与平均强度值等于目标值相对应的误差值，该函数通常取值为零。在将平均强度值与目标值之间的差计算为误差的情况下，与平均强度值等于目标值相对应的误差值因此是值“零”。在将目标值与平均强度值之间的比值计算为误差的情况下，与平均强度值等于目标值相对应的误差值因此是值“1”。
进一步地，该函数具有一导数，该导数随该误差与如果平均强度值等于目标值时误差要取的值之间的距离而增大。
在将平均强度值与目标值之间的差计算为误差的情况下，在图8中由实线曲线804示出控制策略。由实线曲线804示出的函数例如可以是反sigmoid函数的形式。其他的选择可以是幂函数(奇数幂)，例如三次函数，或者对于误差的正值具有指数增长并且对于误差的负值具有指数降低的函数。如上进一步所述，该控制策略是有利的，因为实现了给出向目标值的快速收敛的控 制，同时当误差变小时平均强度值平滑地接近目标值。在一优选的实施例中，将目标值与平均强度值之间的比值计算为误差。在这样的实施例中，需要修正示出的函数804，使得当误差等于1时，函数804取零值。例如，示出的函数804可以向右移动适当的量。
应该理解的是，公开的方法是迭代性的并且被实时执行，是指重复以上公开的方法步骤，使得摄像机102的曝光对于摄像机102拍摄的图像中的照明和饱和保持适应于当前条件。
回到安装在火车上的摄像机102的示例，考虑火车已经通过光信号206和208的情况。在场景中没有光信号时的示例进一步在图4a的图像400中示出。由于目标值减小以降低与之前在场景中包括的光信号206和208有关的饱和，所以图像400呈现得较暗。这也可从图4a对应的强度直方图410看出，其中像素强度集中在有效强度范围的下部。
将图像400作为“第一图像”，控制单元104重复如上公开的步骤S02、S04、S06和S08。在这种情况下，控制单元104在步骤S08中注意到饱和水平不超出第一极限，因为在图像400中没有饱和像素。
控制单元104因此可以进行到步骤S12，检测饱和水平是否在比第一极限(严格地)低的第二极限之下。第二极限可以类似于第一极限而由用户输入。如果控制单元104在步骤S12中发现饱和水平不在第二极限之下，则不执行对目标值的调整。然而，对于图4a和图4b的示例图像400，饱和水平将处在第二极限之下并且控制单元104进行到步骤S14，增大平均强度值的目标值。这在图4b中进一步地示出，其中目标值从旧(当前的)目标值Told增大到新目标值Tnew。
增大的量(也就是Tnew-Told)可以是预定的固定量的形式。增大的量也可以设定成取决于黑暗水平，使得该量随黑暗水平而减小。在后者的情况下，与明亮照明条件时相比，黑暗照明条件时可以适用对目标值更加保守的变化。
然后控制单元104进行到步骤S16，并且基于根据以上所述调整的目标值Tnew控制对于后继图像的摄像机102的曝光(也就是与曝光相关的参数)。尤其是，控制诸如曝光时间和增益等的摄像机102的曝光，使得后继图像的平均强度值接近调整的目标值。
这在图5a和图5b中示出，图5a和图5b分别示出后继图像500和对应 的强度直方图510。与图4b的强度直方图410相比，强度直方图510朝更高强度值变化。而且，因为在场景中没有诸如光信号等的强光，所以没有饱和的问题。因此与图4a的图像400相比，图像500呈现得更亮，并且在图像500的黑暗部分中可以辨别出更多细节。
应当理解，本领域技术人员可以以许多方式修正上述实施例，并且仍然利用在以上实施例中示出的本发明的优势。例如，在以上所述中，结合来自火车的监控信号光描述了本发明。然而，所公开的方法在夜间或者其他黑暗条件下、不使图像的任何部分饱和是非常重要的任何应用中适用。例如，这可以包括黑暗中监控车牌照，或者当窗户外部黑暗而窗户内部明亮时从外部查看窗户内部。因此，本发明不应限于示出的实施例，而是仅由所附的权利要求来限定。而且，如本领域技术人员理解，示出的实施例可以结合。

Claims (14)

1.一种控制摄像机(102)的曝光的方法，包括步骤：
当拍摄视频序列中的第一图像(200)时确定所述摄像机使用的曝光时间和增益(S02)；
将至少所述曝光时间和增益的乘积计算为与所述第一图像(200,400)有关的黑暗水平(S04)；
将所述第一图像(200)中饱和像素的数量与全黑像素的数量之间的比值计算为与所述第一图像(200,400)有关的饱和水平(S06)；
如果所述饱和水平超过第一极限，则将由所述摄像机(102)拍摄的图像中像素的平均强度值的目标值(Told)减小一量(S10)；以及
对于在所述视频序列中继所述第一图像(200)之后的图像(300)控制所述摄像机(102)的曝光(S16)，使得后继图像(300)中像素的平均强度值接近减小的目标值(Tnew)，
其特征在于，所述由所述摄像机(102)拍摄的图像中像素的平均强度值的目标值(Told)减小的量是所述黑暗水平的递增函数(700)。
2.如权利要求1所述的方法，还包括步骤：
如果所述饱和水平在小于或者等于所述第一极限的第二极限之下，增大由所述摄像机(102)拍摄的图像中像素的平均强度值的目标值(Told)(S14)；以及
对于在所述视频序列中继第一图像(400)之后的图像(500)控制所述摄像机(102)的曝光(S16)，使得后继图像中像素的平均强度值接近增大的目标值(Tnew)。
3.如权利要求2所述的方法，其中，如果所述饱和水平在所述第二极限之下，则将所述平均强度值的目标值(Told)增大随所述黑暗水平减小的量。
4.如前述权利要求中任一项所述的方法，其中，对于在第一阈值(L1)之下的黑暗水平，所述黑暗水平的递增函数(700)取零值，使得对于所述第一阈值(L1)之下的黑暗水平，所述平均强度值的目标值(Told)不减小。
5.如权利要求1-3中任一项所述的方法，其中，对于在第一阈值(L1)之下的黑暗水平，所述黑暗水平的递增函数(700)取第一值(V1)，对于在比所述第一阈值(L1)大的第二阈值(L2)之上的黑暗水平，所述黑暗水平的递增函数(700)取第二值(V2)，并且其中，对于所述第一阈值(L1)与所述第二阈值(L2)之间的黑暗水平，所述函数(700)平滑地从所述第一值(V1)增大到所述第二值(V2)。
6.如权利要求5所述的方法，其中，所述函数(700)线性地从所述第一值(V1)增大到所述第二值(V2)。
7.如权利要求4所述的方法，还包括：接收关于所述第一阈值(L1)的值的用户输入。
8.如权利要求2或3所述的方法，还包括：接收关于所述第一极限和/或第二极限的值的用户输入，所述饱和水平在适用时与所述第一极限和/或第二极限相比较。
9.如权利要求1所述的方法，其中，如果所述第一图像(200,400)中的像素的强度值超过在可能强度值范围上端的预定值，则该像素被视为饱和像素，并且其中，如果所述第一图像(200,400)中的像素的强度值低于在所述可能强度值范围下端的预定值，则该像素被视为全黑像素。
10.如权利要求1所述的方法，还包括：基于从所述后继图像(300,500)中像素的平均强度值和减小的或者在适用时增大的目标值(Tnew)计算的误差，产生用于所述摄像机(102)的控制信号，该控制信号取决于依照一函数(804)的误差，该函数(804)具有一导数，该导数随计算的误差与如果所述平均强度值等于减小的或者在适用时增大的目标值(Tnew)时误差要取的值之间的距离而增大。
11.如权利要求10所述的方法，其中，将减小的或者在适用时增大的目标值(Tnew)与所述后继图像(300,500)中像素的平均强度值之间的比值计算为所述误差。
12.如权利要求10或11所述的方法，其中，具有增大的导数的所述函数(804)是反sigmoid函数。
13.一种控制摄像机的曝光的设备，包括：
确定装置，用于当拍摄视频序列中的第一图像(200,400)时确定所述摄像机(102)使用的曝光时间和增益；
第一计算装置，用于将至少所述曝光时间和增益的乘积计算为与所述第一图像(200,400)有关的黑暗水平；
第二计算装置，用于将所述第一图像(200,400)中饱和像素的数量与全黑像素的数量之间的比值计算为与所述第一图像(200,400)有关的饱和水平；
减小装置，如果所述饱和水平超过第一极限，则减小由所述摄像机拍摄的图像中像素的平均强度值的目标值(Told)；以及
控制装置，用于对于在所述视频序列中继所述第一图像(200)之后的图像控制所述摄像机(102)的曝光，使得后继图像(300)中像素的平均强度值接近减小的目标值(Tnew)，
其特征在于，所述由所述摄像机(102)拍摄的图像中像素的平均强度值的目标值(Told)减小的量是所述黑暗水平的递增函数(700)。
14.一种监控系统(100)，包括：至少一个摄像机(102)；以及如权利要求13所述的设备，用于控制所述至少一个摄像机(102)的曝光。
CN201510088895.3A 2014-02-26 2015-02-26 控制摄像机曝光的方法和设备 Active CN104869321B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP14156752.9 2014-02-26
EP14156752.9A EP2913993B1 (en) 2014-02-26 2014-02-26 Method and control unit for controlling exposure of a camera

Publications (2)

Publication Number Publication Date
CN104869321A CN104869321A (zh) 2015-08-26
CN104869321B true CN104869321B (zh) 2017-06-23

Family

ID=50230871

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510088895.3A Active CN104869321B (zh) 2014-02-26 2015-02-26 控制摄像机曝光的方法和设备

Country Status (6)

Country Link
US (1) US9432588B2 (zh)
EP (1) EP2913993B1 (zh)
JP (1) JP5974125B2 (zh)
KR (1) KR101633445B1 (zh)
CN (1) CN104869321B (zh)
TW (1) TWI582527B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10097769B2 (en) * 2015-09-18 2018-10-09 Sony Corporation Modulating light incident on imaging sensor
KR101816449B1 (ko) * 2016-10-20 2018-01-08 현대자동차주식회사 다시점 카메라의 통합 노출 제어 장치, 그를 포함한 시스템 및 그 방법
CN106791476A (zh) * 2017-01-25 2017-05-31 北京图森未来科技有限公司 一种图像采集方法和装置
JP6789904B2 (ja) * 2017-09-20 2020-11-25 株式会社東芝 ダイナミックレンジ圧縮装置及び画像処理装置
CN108429892A (zh) * 2018-05-10 2018-08-21 杭州雄迈集成电路技术有限公司 一种基于rgb传感器日夜模式自动切换方法
US11330163B2 (en) 2018-06-29 2022-05-10 Qualcomm Incorporated Exchanging an HDR-combined stream and associated exposures between a camera sensor module and a vision processing system
CN109348136A (zh) * 2018-11-22 2019-02-15 成都市鹰诺实业有限公司 一种通过照片直方图调节相机参数的方法
JP7115253B2 (ja) * 2018-11-28 2022-08-09 トヨタ自動車株式会社 車載カメラシステム
US11068784B2 (en) * 2019-01-26 2021-07-20 Mipsology SAS Generic quantization of artificial neural networks
SE543376C2 (en) * 2019-06-19 2020-12-22 Tobii Ab Method for controlling read-out from a digital image sensor
CN110809122A (zh) * 2019-11-11 2020-02-18 中国电子科技集团公司第四十四研究所 应用于cmos图像传感器的动态扩展方法
EP3846440B1 (en) 2019-12-30 2021-12-15 Axis AB A low-light imaging method, unit and system

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2432893A2 (fr) * 1978-08-11 1980-03-07 Nickel Ste Metallurg Le Procede pour preconcentrer des minerais nickeliferes oxydes d'origine lateritique
US5194960A (en) 1990-03-05 1993-03-16 Konica Corporation Optical image signal control device
US7176976B2 (en) * 2001-08-30 2007-02-13 Lightsurf Technologies, Inc. Autoexposure methodology in a digital camera
JP4622196B2 (ja) 2001-09-10 2011-02-02 ソニー株式会社 撮像装置
FI116246B (fi) * 2003-06-30 2005-10-14 Nokia Corp Menetelmä ja järjestelmä digitaalisessa kuvannuksessa valotuksen säätämiseksi ja vastaava laite
JP4304610B2 (ja) * 2004-05-18 2009-07-29 住友電気工業株式会社 カメラ式車両感知器における画面の輝度調整方法及び装置
JP4556722B2 (ja) * 2004-05-31 2010-10-06 コニカミノルタホールディングス株式会社 撮像装置
JP4371108B2 (ja) * 2005-12-27 2009-11-25 ソニー株式会社 撮像装置および方法、記録媒体、並びにプログラム
US7724962B2 (en) 2006-07-07 2010-05-25 Siemens Corporation Context adaptive approach in vehicle detection under various visibility conditions
JP4306750B2 (ja) 2007-03-14 2009-08-05 ソニー株式会社 撮像装置、撮像方法、露光制御方法、プログラム
US8384801B2 (en) * 2007-07-31 2013-02-26 Qualcomm Incorporated Scene-dependent auto exposure control
WO2009029810A1 (en) * 2007-08-31 2009-03-05 Historx, Inc. Automatic exposure time selection for imaging tissue
JP2009097921A (ja) 2007-10-15 2009-05-07 Tokyo Seimitsu Co Ltd 欠陥検査装置及び欠陥検査方法
JP4433046B2 (ja) * 2007-12-26 2010-03-17 株式会社デンソー 露出制御装置及び露出制御プログラム
US8233662B2 (en) 2008-07-31 2012-07-31 General Electric Company Method and system for detecting signal color from a moving video platform
KR101517148B1 (ko) * 2008-10-09 2015-05-04 삼성전자주식회사 자동 노출 시스템 및 방법
JP4458194B2 (ja) 2009-01-14 2010-04-28 カシオ計算機株式会社 撮像装置及びその露出制御方法並びに記録媒体
US20110164146A1 (en) * 2010-01-07 2011-07-07 Himax Imaging, Inc. Adaptive Frame Rate Control System and Method for an Image Sensor
US8786625B2 (en) * 2010-09-30 2014-07-22 Apple Inc. System and method for processing image data using an image signal processor having back-end processing logic
KR20130017750A (ko) * 2011-08-12 2013-02-20 에스케이하이닉스 주식회사 적응적 노출 제어 방법, 적응적 노출 제어 장치 및 상기 적응적 노출 제어 장치를 포함하는 이미지 센서
JP5898535B2 (ja) * 2012-03-13 2016-04-06 富士重工業株式会社 撮像ユニットの露光制御装置
KR101937708B1 (ko) * 2012-07-09 2019-04-11 삼성전자 주식회사 카메라 제어 시스템과 이를 포함하는 단말기 및 카메라 제어 방법
JP5749224B2 (ja) 2012-07-13 2015-07-15 株式会社東芝 カメラモジュール

Also Published As

Publication number Publication date
EP2913993A1 (en) 2015-09-02
KR101633445B1 (ko) 2016-06-24
JP5974125B2 (ja) 2016-08-23
US20150244918A1 (en) 2015-08-27
TWI582527B (zh) 2017-05-11
TW201533521A (zh) 2015-09-01
EP2913993B1 (en) 2016-02-17
US9432588B2 (en) 2016-08-30
JP2015162902A (ja) 2015-09-07
KR20150101423A (ko) 2015-09-03
CN104869321A (zh) 2015-08-26

Similar Documents

Publication Publication Date Title
CN104869321B (zh) 控制摄像机曝光的方法和设备
CN106454145B (zh) 一种具有场景自适应的自动曝光方法
EP3573330B1 (en) Image pickup apparatus having auto day-night function, control method therefor, and storage medium storing control program therefor
CN104184958B (zh) 一种适用于空间探测成像的基于fpga的自动曝光控制方法及其装置
EP2911110A2 (en) Image signal processing apparatus, image signal processing method, and image capturing apparatus
US10313601B2 (en) Image capturing device and brightness adjusting method
CN102495511B (zh) 一种摄像机自动曝光调节方法
US9025820B2 (en) Image processing apparatus and image processing method
JP4677226B2 (ja) 画像処理装置及び方法
US11323632B2 (en) Electronic device and method for increasing exposure control performance of a camera by adjusting exposure parameter of the camera
US11240439B2 (en) Electronic apparatus and image capture apparatus capable of detecting halation, method of controlling electronic apparatus, method of controlling image capture apparatus, and storage medium
US20050030415A1 (en) Exposure adjustment in an imaging apparatus
CN107079108B (zh) 机动车辆相机装置、其操作方法和包括其的机动车辆
TWI630818B (zh) Dynamic image feature enhancement method and system
CN112770021B (zh) 摄影机与滤片切换方法
JP3700207B2 (ja) 自動露出制御装置、自動露出制御方法、及び撮像装置
JP4231599B2 (ja) 撮像装置
KR100958317B1 (ko) 영상밝기추종방법
KR101692831B1 (ko) 능동형 화질 최적화 시스템
JP2020101624A (ja) 撮像装置、電子機器、撮像装置の制御方法およびプログラム
KR20160040335A (ko) 저조도 상황에서 영상 인식 개선을 위한 적외선 조명 기능을 포함한 저전력 차량용 영상 저장 장치 및 방법
CN111355896A (zh) 获取全天相机的自动曝光参数的方法
KR101761947B1 (ko) 카메라 영상의 블루밍 저감 방법 및 장치
JP2020107205A (ja) 車両用画像認識装置
CN111968188A (zh) 一种低光照图像增强处理方法、系统、装置和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant