CN101366271B - 用于校正图像中的闪烁的方法和装置 - Google Patents

Abstract

本发明描述闪烁检测和校正技术，以改进例如视频或静态图像等所捕获图像的质量。确切地说，本发明描述对不同的图像帧进行比较以检测闪烁的闪烁校正技术。在有些实施例中，所述比较涉及将与帧内的行相关联的强度值相加，并对行的总和进行比较以产生差异信号。可使用差异信号的一阶导数来执行对闪烁的检测和校正。可用多种方式使用差异信号的一阶导数来检测和校正闪烁。

Description

用于校正图像中的闪烁的方法和装置

技术领域

本发明涉及图像捕获装置，且更确切地说，涉及图像捕获装置内的闪烁校正。 

背景技术

在不同的应用和环境中使用图像捕获装置，例如数字式摄像机或数字式照相机。图像捕获装置应当能够在各种光照条件下产生高质量图像。举例来说，图像捕获装置应当既能够在自然光照明的环境(例如户外环境)中有效地操作，又能够在白炽灯或荧光灯照明的环境(例如室内环境)中有效地操作。 

然而，在室内环境中，室内光照的强度波动可能会使捕获到的图像的质量降级。波动随室内光照源的交流(AC)电功率频率而变。例如互补金属氧化物半导体(CMOS)装置等的固态图像捕获装置包含图像传感器阵列，其并不瞬时捕获用来记录帧的所有图像信息。因此，图像捕获期间光强度的波动会引起图像帧的一些部分展现出不同的强度级别，从而导致图像中出现可见的光带。这种出现光带的现象通常称为闪烁。 

可通过将图像捕获装置的积分时间设置成照明源的周期的整数倍来消除闪烁。积分时间是指传感器阵列针对每个帧捕获光的时限。通常，积分时间越短，闪烁就越严重。世界各地的室内光照的交流电频率存在差异。例如，有些国家使用60赫兹(Hz)功率，而其它国家使用50Hz功率。60Hz照明源导致在120Hz下出现光带，而50Hz照明源导致在100Hz下出现光带。有些国家既使用50Hz的AC功率又使用60Hz的AC功率，在有些情形下甚至在同一建筑物内使用两者。 

在照明源以不同于预期频率的频率操作的环境中使用图像捕获装置时，可能会发生闪烁。例如，如果将图像捕获装置的积分时间设置成60Hz照明源的周期的整数倍，则当在50Hz照明环境中捕获图像时可发生闪烁，反之亦然。 

发明内容

本发明描述用以改进例如视频或静态图像等的捕获到的图像的质量的自动闪烁检测和校正技术。确切地说，本发明描述对不同的图像帧进行比较以检测闪烁的闪烁校正技术。在有些实施例中，所述比较涉及将与帧内的行相关联的强度值相加并比较所述行总和以产生差异信号。可使用差异信号的一阶导数来执行对闪烁的检测和校正。可用多种方式来使用差异信号的一阶导数以检测和校正闪烁。 

例如，闪烁校正单元可基于差异信号的一阶导数来确定照明源的操作频率，接着基于确定的频率来校正闪烁。在此情况下，闪烁校正单元计算差异信号的一阶导数的零交叉点之间的距离，并基于计算出的距离来确定照明源的频率。接着，闪烁校正单元基于确定的照明源频率来校正闪烁。例如，闪烁校正单元可将图像捕获装置中的传感器阵列的积分时间调整成照明源的周期的整数倍，所述周期是通过检测到的频率来确定的。 

作为替代，闪烁校正单元可识别出指示存在闪烁的周期性图案，并在识别出周期性图案后立刻校正闪烁。在此情况下，图像捕获装置可计算差异信号的一阶导数的零交叉点之间的距离。基于零交叉点之间的距离的标准偏差，闪烁校正单元确定存在指示闪烁的周期性图案，例如，当标准偏差小于阈值时作出此确定。当存在周期性图案时，图像捕获装置可将积分时间设置成第一可能的照明源(例如60Hz的)的周期的整数倍。如果周期性图案继续存在，则图像捕获装置将积分时间重设成第二可能的照明源(例如50Hz的)的周期的整数倍。在此情况下，无需确定照明源的实际频率。 

在一个实施例中，本发明提供一种方法，其包括：将图像捕获装置捕获到的第一图像帧与图像捕获装置捕获到的第二图像帧进行比较；基于所述比较产生差异信号；计算差异信号的导数；以及基于所述导数来校正图像捕获装置捕获到的第三图像帧中的闪烁。 

在另一实施例中，本发明提供一种装置，其包括：图像传感器阵列，其捕获第一图像帧和第二图像帧；闪烁校正单元，其将第一图像帧与第二图像帧进行比较、基于所述比较产生差异信号、计算差异信号的导数、并基于所述导数校正传感器阵列捕获到的第三图像帧中的闪烁。 

在额外实施例中，本发明提供一种方法，其包括：将图像捕获装置捕获到的第一图像帧与图像捕获装置捕获到的第二图像帧进行比较；基于第一图像帧与第二图像帧的比较来产生第一差异信号；基于所述差异信号检测第一图像帧和第二图像帧中的闪烁；如果在第一图像帧和第二图像帧中检测到闪烁，则将图像捕获装置的积分时间调整成第一照明源的周期的整数倍；在调整积分时间之后，将图像捕获装置捕获到的第三图像帧与图像捕获装置捕获到的第四图像帧进行比较；基于第三图像帧与第四图像帧的比较来产生第二差异信号；基于所述第二差异信号检测第三图像帧和第四图像帧中的闪烁；以及如果在第三图像帧和第四图像帧中检测到闪烁，则将图像捕获装置的积分时间调整成第二照明源的周期的整数倍。 

在另一实施例中，本发明提供一种装置，其包括：图像传感器阵列，其捕获第一图像帧和第二图像帧；以及闪烁校正单元，其将捕获到的第一图像帧与第二图像帧进行比较，基于第一图像帧与第二图像帧的比较产生第一差异信号，基于差异信号来检测第一 图像帧和第二图像帧中的闪烁，且如果在第一图像帧和第二图像帧中检测到闪烁，则将图像传感器阵列的积分时间调整成第一照明源的周期的整数倍，其中图像传感器阵列在调整积分时间之后捕获第三图像帧和第四图像帧，且闪烁校正单元将第三图像帧与第四图像帧进行比较，基于第三图像帧与第四图像帧的比较产生第二差异信号，基于第二差异信号来检测第三图像帧和第四图像帧中的闪烁，且如果在第三图像帧和第四图像帧中检测到闪烁，则将图像捕获装置的积分时间调整成第二照明源的周期的整数倍。 

在另一实施例中，本发明提供一种方法，其包括：将图像捕获装置捕获到的第一图像帧与图像捕获装置捕获到的第二图像帧进行比较；基于所述比较产生差异信号；向差异信号应用低通滤波器；计算滤波后的差异信号的一阶导数；以及基于滤波后的差异信号的一阶导数来校正图像捕获装置捕获到的第三图像帧中的闪烁。 

在附图和以下实施方式中阐述本发明的一个或一个以上实施例的细节。通过实施方式和图式且通过权利要求书将容易明白本发明的其它特征、目的和优点。 

附图说明

图1是说明用于捕获图像信息的示范性图像捕获装置的方框图。 

图2是说明可与图1的图像捕获装置一起使用的示范性闪烁校正单元的方框图。 

图3是说明用于自动检测和校正闪烁的技术的流程图。 

图4是说明用于自动检测和校正闪烁的另一技术的流程图。 

图5是说明两个连续图像帧的示范性列总和曲线的图表。 

图6是说明代表图5的帧之间的差异的示范性差异信号的图表。 

图7是说明一对示范性的图像帧的差异信号、经平滑的差异信号和经平滑的差异信号的一阶导数的图表。 

图8是说明另一对示范性的图像帧的差异信号、经平滑的差异信号和经平滑的差异信号的一阶导数的图表。 

具体实施方式

图1是说明用于捕获图像信息的示范性图像捕获装置10的方框图。如图1所示，图像记录装置10包含图像传感器阵列12、图像捕获控制单元14、闪烁校正单元16、图像处理器18和图像存储装置20。图1中说明的特征可通过硬件和/或软件组件的任一合适组合来实现。将不同特征描绘成单元是意图强调图像捕获装置12的不同功能性方面，而未必暗示此些单元必须通过单独的硬件和/或软件组件来实现。而是，可将与一个或一个以上单元相关联的功能性集成在共用的硬件和/或软件组件内。 

图像捕获装置10可以是数字式相机，例如数字式摄像机、数字式照相机或二者的组 合。此外，图像捕获装置10可以是独立的装置(例如独立相机)，或者可以集成在例如无线通信装置的另一装置中。举例来说，图像捕获装置10可集成在移动电话中，从而形成所谓的拍照电话。图像捕获装置10优选经配备而捕获彩色图像、黑白图像或这二者。在本发明中，术语“图像”、“图像”、“图像信息”或类似术语可互换地指代视频或静态图片。同样，术语“帧”可指代图像捕获装置10获得的视频的帧或静态图片帧。 

传感器阵列12获得感兴趣的场景的图像信息。传感器阵列12包含例如排列成行和列的个别图像传感器的二维阵列。传感器阵列12例如可包括固态传感器(例如互补金属氧化物半导体(CMOS)传感器)的阵列。传感器阵列12内的图像传感器被循序地暴露于图像场景，以便捕获图像信息。图像捕获装置10为图像传感器12设置积分时间，从而限制用于捕获特定帧的将传感器阵列暴露于光的时间量。传感器阵列12向图像处理器18提供图像信息，以便形成图像信息的一个或一个以上帧以供存储在图像存储装置20中。 

传感器阵列12中的固态传感器并不瞬时地捕获用来记录帧的所有图像信息。而是，循序地扫描传感器，以便获得图像信息的整个帧。结果，室内照亮可能会在传感器阵列12获得的图像中产生可见光带，称为闪烁。可对传感器阵列12的积分时间进行控制，以便消除以给定AC频率操作的照明源引起的闪烁。确切地说，可将积分时间调整成照明源的周期的整数倍。然而，照明源的频率可能不同，例如是50Hz或60Hz。相应地，消除闪烁所需的积分时间可能会根据图像捕获装置10的使用环境而变动。 

捕获控制单元14控制传感器阵列12以用一个或一个以上帧的形式捕获图像信息。具体地说，捕获控制单元14基于选定的积分时间和帧速率来控制传感器阵列12对图像场景的暴露。可对传感器阵列12捕获帧的帧速率进行控制，以确保闪烁“滚动”。当光带的位置在帧与帧之间略微改变时，闪烁会“滚动”。如果闪烁不滚动，则闪烁看起来仿佛是静态的图像。为了确保闪烁滚动，应当将帧速率设置成一个值，其使得闪烁频率不可被帧速率除尽。例如，在以60Hz电源为特征的光照环境中，捕获控制单元14可用略高于或低于15.00的帧速率来捕获图像信息，例如以15.03的帧速率来捕获。 

捕获控制单元14起初可使用经设置以消除特定光照环境中的闪烁的积分时间来捕获图像。例如，对于在美国销售的图像记录装置来说，捕获控制单元14可具有作为8.33毫秒(1/120)的整数倍的默认积分时间，8.33毫秒是以60Hz电源为特征的光照环境产生的变动的周期。如下文将更详细描述的，闪烁校正单元16可在检测到存在闪烁后设置捕获控制单元14的积分时间。例如，在一个实施例中，闪烁校正单元16基于照明源的检测到的频率来设置捕获控制单元14的积分时间。在另一实施例中，一旦检测到闪烁， 闪烁校正单元16便选择适合于不同照明源频率的不同积分时间，直到消除了闪烁为止。 

图像处理器18从传感器阵列12接收捕获到的图像数据，并对图像信息执行任何必要的处理。例如，处理器18可对传感器阵列12捕获到的图像信息执行滤波、遮幅(cropping)、去马赛克(demosaicing)、压缩、图像增强或其它处理。可通过微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它任何等效的离散或集成逻辑电路来实现处理器18。在有些实施例中，图像处理器18可形成编解码器(CODEC)的一部分，其根据例如MPEG-2，MPEG-4，ITU H.263，ITU H.264，JPEG等特定编码技术或格式将图像信息编码。 

处理器18将图像信息存储在存储装置20中。处理器18可将原始的图像信息、处理后的图像信息或编码的信息存储在存储装置20中。如果图像伴有音频信息，则也可将音频独立地或与视频信息结合地存储在存储装置20中。存储装置20可包括任何易失性或非易失性存储器或存储装置，例如只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)或闪速存储器，或例如磁性数据存储装置或光学数据存储装置。 

闪烁校正单元16检测传感器阵列12捕获到的图像信息内的闪烁并为后续的图像校正闪烁以改进图像质量。如下文中将详细描述的，闪烁校正单元16使用一对图像信息帧来检测图像信息内的闪烁。闪烁校正单元16可实施成独立的硬件组件或实施成例如微处理器、DSP等逻辑装置的可编程特征。在有些实施例中，闪烁检测单元16可为实施图像处理器18的逻辑装置的可编程或集成特征。确切地说，闪烁检测单元16可实施成由此逻辑装置执行的一个或一个以上软件过程。 

闪烁校正单元16可在图像捕获装置10初始加电时执行闪烁检测。举例来说，闪烁校正单元16可在图像捕获装置10的自动曝光控制(AEC)达到特定的亮度级别范围时初始执行闪烁检测。此外，闪烁校正单元16可在图像捕获装置10正在操作时周期性执行闪烁检测，例如以若干秒或若干分钟为间隔来执行。作为一个实例，闪烁校正单元16可大约每二十秒执行闪烁检测。以此方式，在图像捕获装置10的使用环境已改变的情况下执行闪烁检测，所述改变可能导致开始闪烁或闪烁频率改变。 

闪烁校正单元16对传感器阵列12获得的两个帧进行比较以检测闪烁。优选地，闪烁校正单元16对连续帧(例如视频序列中的连续视频帧或连续静态图像)进行比较。然而，帧无需是连续的。在任一情况下，闪烁校正单元16均使用帧比较来识别指示闪烁的周期性图案，或识别照明源的操作频率。闪烁校正单元16针对所述两个帧将传感器阵列12中的至少一部分行中的至少一部分传感器上的强度值相加。 

举例来说，闪烁校正单元16可使用传感器阵列12产生的YCbCr辉度和色度数据。 更确切地说，闪烁校正单元16可使用YCbCr数据的Y辉度分量作为每个传感器的强度值，并将多行上的Y值相加以产生行总和强度值。闪烁校正单元16使用的YCbCr数据可以是用来驱动取景器或与图像捕获装置10相关联的其它显示器的相同数据，且可被修剪和缩放。闪烁校正单元16从第二帧的相应行总和中减去第一帧的行总和以获得差异信号，并接着将所有负值削成零。也将正值削成零。在有些实施例中，闪烁校正单元16可向差异信号应用低通滤波器，以便移除帧之间的手抖动或运动，并因此产生经平滑的差异信号。 

闪烁校正单元16计算滤波后的差异信号的一阶导数，并寻找导数信号的零交叉点。闪烁校正单元16使用导数信号的零交叉点来确定指示闪烁的周期性图案是否存在于图像帧中。或者，闪烁校正单元16使用导数信号的零交叉点来确定照明源的操作频率。闪烁校正单元16基于这些确定来校正闪烁。例如，闪烁校正单元16可将捕获控制单元14的积分时间调整成照明源的周期的整数倍以便消除闪烁。 

图2是更详细说明示范性闪烁校正单元16的方框图。闪烁校正单元16包含行总和计算器22、帧比较器23、低通滤波器24、导数计算器26和闪烁校正模块28。可通过不同硬件和/或软件组件或共用硬件和/或软件组件来实现闪烁校正单元16的各种组件。在有些实施例中，此些组件可实施成共用逻辑装置(例如微处理器或DSP)的可编程功能性。如上所述，闪烁校正单元16基于对图像信息帧的比较来检测和校正图像信息内的闪烁。闪烁校正单元16可在图像捕获装置10初始加电时执行闪烁检测，以及在图像捕获装置10正在操作时周期性执行闪烁检测。 

行总和计算器22接收传感器阵列12捕获到的一对帧(图2中标记为“帧1”和“帧”2)的强度值。闪烁校正单元16可直接从传感器阵列12、从存储装置20或其组合接收一对帧的强度值。行总和计算器22可一次处理一个帧或处理两个经过缓冲的帧。举例来说，行总和计算器可首先处理帧1、缓冲结果、并接着处理帧2。在一个实施例中，帧1和帧2是连续捕获到的帧。然而，在有些实施例中，本文中描述的技术也可应用于非连续的帧。 

行总和计算器22将每个帧中的至少一部分行中的至少一部分传感器上的传感器强度值相加(在图2中标记为“行总和1”和“行总和2”)。因此，没必要将传感器阵列12的所有行或所有传感器的强度值相加。如果行总和计算器22将具有1200行的传感器阵列12输出的帧的每个行相加，则行总和计算器22计算出具有1200个数据点的行总和数据。或者，行总和计算器22可将若干行分组在一起，并计算整个组的单个行总和。例如，对于具有1200行的传感器阵列，行总和计算器22可产生四个行的组，并针对每个 组计算出单个行总和，从而产生具有300个数据点的行总和数据。在此情况下，将一组的四行组合以产生单个行总和。 

此外，为了减少行总和计算器22执行的计算的量，在行总和计算中可不使用每组中的一部分行。使用上述四行的组作为实例，行总和计算器22可将组中的前两个行中的强度值相加并跳过组中的另外两行。作为进一步的替代，行总和计算器22可在行总和计算中使用每个传感器输出，或者可仅使用传感器阵列12的一部分传感器输出。例如，行总和计算器22可使用传感器阵列12的每行或行组中的传感器的子集。传感器子集对应于传感器阵列12的列的子集。行总和计算器22可顺序地或并行地计算行总和。 

帧比较器23算出由行总和计算器22计算的帧1和帧2的行总和值之间的差异，以获得“差异信号”(图2中标记为“差异信号”)。具体地说，帧比较器23从帧2的相应行总和(行总和2)中减去帧1的行总和(行总和1)。计算连续帧的行总和的差异会消除场景信息，但维持闪烁信息。帧比较器23也可将差异信号的任何负的或正的部分削成零。 

如图2中进一步展示的，闪烁校正单元16可向差异信号应用低通滤波器24。低通滤波器24从差异信号中移除多余的高频图案。例如，低通滤波器24可减少手抖动或两帧之间的运动导致的影响，从而产生经滤波的经平滑的差异信号。低通滤波器24用以使差异信号经平滑，以便消除伪信息。导数计算器26计算滤波后的差异信号的导数(图2中标记为“滤波后的差异信号”)。 

闪烁校正模块28使用一阶导数信号来校正闪烁。具体地说，闪烁校正模块28寻找导数信号的零交叉点(其对应于滤波后的差异信号的峰值)，并使用零交叉点来产生闪烁校正信号(图2中标记为“闪烁校正信号”)。图像捕获控制单元14使用闪烁校正信号来调整传感器阵列12的积分时间，并因此消除闪烁。 

在一个实施例中，闪烁校正模块28计算零交叉位置之间的距离，并基于计算出的距离来确定照明源的频率。闪烁校正模块28基于识别出的照明源频率来校正闪烁。确切地说，闪烁校正信号指定要将捕获控制单元14(图1)的积分时间设置成照明源的周期的整数倍。对于60Hz的照明源，闪烁校正模块28将捕获控制单元14的积分时间设置成大约8.33毫秒(1/120)的整数倍。对于50Hz的照明源，闪烁校正模块28将捕获控制单元14的积分时间设置成大约10毫秒(1/100)的整数倍。 

在另一实施例中，闪烁校正模块28计算零交叉点之间的距离和零交叉点之间的距离的标准偏差。闪烁校正模块28基于计算来确定是否存在指示闪烁的周期性图案。例如，闪烁校正模块28可将标准偏差与阈值进行比较，并在标准偏差小于阈值时确定存在指示 闪烁的周期性图案。 

当周期性图案存在时，闪烁校正模块28发送闪烁校正信号，以将捕获控制单元14的积分时间设置成第一可能的照明源的周期的整数倍。在此情况下，不知道照明源的实际频率。然而，显然存在闪烁，且闪烁最有可能是由60Hz或50Hz照明源引起的。闪烁校正模块28可首先发送闪烁校正信号，以将捕获控制单元14的积分时间设置成60Hz照明源的周期的整数倍(即，8.33毫秒的整数倍)。当检测到闪烁时，首先试图用60Hz照明源来设置积分时间以消除闪烁。或者，可首先试图使用50Hz照明源。 

在设置了积分时间之后，闪烁检测模块16使用用新编程的积分时间捕获到的另一对帧来确定周期性图案是否仍然存在。如果标准偏差指示在积分时间的初始设置之后不存在任何周期性图案，则图像捕获装置10(图1)继续使用所述积分时间。然而，如果周期性图案仍然存在，则可假设照明源具有不同于假设的(例如60Hz)频率的频率。在此情况下，闪烁校正模块28将捕获控制单元14的积分时间设置成第二可能的照明源(例如50Hz照明源)的周期的整数倍。同样，可将针对不同照明源选择积分时间的顺序颠倒，从而首先尝试50Hz照明源的积分时间，接着如果仍然检测到闪烁的话，使用60Hz照明源的积分时间。 

通过对不同的帧进行比较以检测闪烁，本发明中描述的技术大体上独立于场景。换句话说，图像场景的相对复杂性并不会显著影响闪烁校正的有效性。对不同帧的比较特别是对在接近的时间上连续获得的帧的比较会抑制场景信息，却强调闪烁信息。确切地说，将两个连续的或非连续的帧相减倾向于移除场景信息但留下闪烁。例如，当光带滚动时，只有闪烁信号在帧之间移动。然而，场景信息大体上并不移动，除了对象(例如手、面部或嘴唇)移动。可在无用户介入的情况下自动执行闪烁校正技术，且闪烁校正技术并不需要对图像捕获装置10中的一般取景器操作进行任何中断。此外，在有些实施例中，可在软件中执行闪烁检测和校正所必需的操作，而不需要额外的硬件辅助。 

图3是说明用于检测和校正闪烁的示范性技术的流程图。图3中说明的技术可由图2的闪烁校正单元16来执行。闪烁校正单元16且更确切地说行总和计算器22对传感器阵列12捕获到的一对帧进行处理。如上所述，行总和计算器22可直接从传感器阵列12、从处理器18接收帧，或可从存储装置20或其它某种缓冲器中检索帧。 

行总和计算器22将两个帧的至少一部分行中的至少一部分传感器上的强度值相加(32)。行总和计算器22可顺序地或并行地计算行总和。如上所述，行总和计算器22可将传感器阵列12输出的帧的每一行相加，或将若干行分组在一起，并针对整个组计算出单个行总和。或者，或此外，行总和计算器20可在计算行总和时使用行的所有传感器输 出，或只使用行的一部分传感器输出。 

帧比较器23确定两个帧的行总和之间的差异(34)。例如，帧比较器23可从第二帧的相应行总和中减去第一帧的每个行总和，以获得指示两个帧之间的行总和差异的差异信号。如上所述，计算连续帧的行总和的差异会消除场景信息，同时维持闪烁信息。闪烁校正单元16将差异信号的正部分或负部分削为零(36)。 

闪烁校正单元16向帧比较器23产生的差异信号应用低通滤波器24(38)。低通滤波器24从差异信号中移除多余的高频图案，因而减少因手抖动或两个帧间的运动导致的影响。导数计算器26计算滤波后的差异信号的导数(40)。闪烁校正模块28确定导数信号的零交叉点(42)，并计算零交叉点之间的距离(44)。零交叉位置之间的距离对应于滤波后的差异信号的峰值之间的距离。 

闪烁校正模块28基于零交叉值之间的计算出的距离来确定照明源的频率(46)。例如，闪烁校正模块28可根据以下公式来计算照明源的频率F： 

F＝(1/(峰值_距离*行_时间))/2                                  (1) 

在以上公式(1)中，“峰值_距离”值表示由导数信号的零交叉点确定的滤波后的距离信号的峰值之间的以行计的距离。“行_时间”值表示图像捕获装置10读出单个行所需的时间，即每行的扫描时间。 

在示范性实施例中，可根据以下公式来计算照明源的频率F： 

F＝((取景器行*比例+遮幅的行)/(峰值_距离*比例*帧_速率))/2      (2) 

在以上公式(2)中，与公式(1)中一样，“峰值_距离”值表示由导数信号的零交叉点确定的滤波后的距离信号的峰值之间的以行计的距离。“帧_速率”值表示图像捕获装置10获得帧的速率，例如帧/秒。在公式(2)中，“取景器行”值表示图像捕获装置10用来驱动与图像捕获装置相关联的取景器或其它图像显示装置的行数。用来驱动取景器的行数将一般小于图像捕获装置10获得的帧中的行的总数。 

公式(2)中的“比例”值表示应用于图像捕获装置10获得的若干行以产生取景器视频帧的向下采样因数。“遮幅的行”值表示从总帧中遮幅以驱动取景器的行数。更确切地说，“遮幅的行”值可表示与比例缩放相关联的经遮幅的行数、由马赛克功能遮幅的行数、用于VBLT(垂直消隐时间)的行数以及任何不含有场景信息的“虚设”行的数目的总和。以此方式，公式(2)中的“取景器行*比例+遮幅的行”值表示捕获到的帧中的所 有行。 

闪烁校正模块28基于识别出的照明源频率F来校正闪烁(48)。在一个实施例中，闪烁校正模块28发送信号以将捕获控制单元14(图1)的积分时间设置成照明源的周期的整数倍。例如，闪烁校正模块28针对60Hz照明源将积分时间设置成大约8.33毫秒的整数倍，并针对50Hz照明源将积分时间设置成大约10毫秒的整数倍。 

图4是说明用于检测和校正闪烁的另一示范性技术的流程图。图2的闪烁校正单元16可经配置以执行图4的技术。图4的技术不是确定照明源的实际频率，而是简单地确定是否存在指示闪烁的周期性图案。如果是的话，则闪烁校正单元16选择不同的积分时间(例如，针对60Hz或50Hz)，直到消除了周期性图案为止。 

行总和计算器22计算传感器阵列12捕获到的一对帧的行总和(52)。行总和计算器22将所述两个帧中的至少一部分行中的至少一部分传感器上的强度值相加。帧比较器23确定两个帧的行总和之间的差异(54)，并将差异信号的负部分或正部分削为零(56)。闪烁校正单元16向帧比较器23产生的差异信号应用低通滤波器24(58)以使差异信号经平滑。 

导数计算器26计算滤波后的差异信号的导数(60)。闪烁校正模块28识别导数信号的零交叉点(62)，并计算零交叉点之间的距离和零交叉点之间的距离的标准偏差(64)。闪烁校正模块28将计算出的标准偏差与阈值进行比较，以确定是否存在指示闪烁的周期性图案(66)。 

如果标准偏差大于阈值，则不存在指示闪烁的周期性图案，且图像捕获装置10继续使用当前的积分时间来操作(68)。然而，如果标准偏差小于阈值，则存在指示闪烁的周期性图案。当存在周期性图案时，闪烁校正模块28发送闪烁校正信号，以将捕获控制单元14的积分时间设置成第一可能的照明源的周期的整数倍(70)。例如，闪烁校正模块28可产生闪烁校正信号，以将捕获控制单元14的积分时间设置成60Hz的照明源的周期的整数倍，即8.33毫秒的整数倍。 

闪烁检测模块16使用用新编程的积分时间捕获到的一对帧来确定周期性图案是否仍然存在(72)。闪烁检测模块16使用针对新的一对帧计算的差异信号的一阶导数来确定周期性图案是否仍然存在。确切地说，闪烁检测模块16可重复由标记为52-66的方框识别的计算。 

如果不存在周期性图案，则图像捕获装置10继续使用当前的积分时间(68)。然而，如果周期性图案仍然存在，则闪烁校正模块28将捕获控制单元14的积分时间设置成第二可能的照明源(例如50Hz照明源)的周期的整数倍(74)。例如，闪烁校正模块28 可发送信号以将捕获控制单元14的积分时间设置成10毫秒的整数倍。 

图5是说明两个连续帧的示范性行总和曲线80A和80B的图表。行总和曲线80A对应于行总和计算器22针对第一帧的输出，且行总和曲线80B对应于行总和计算器22针对第二帧的输出。第一和第二帧可以是图像捕获装置10获得的连续或非连续帧，但连续的帧可能是优选的。在图5中说明的图表中，每个行总和数据曲线均具有300个行总和数据点。图5中的x轴对应于行索引，其识别每个数据点的特定行或行的群组。图5中的y轴对应于行总和强度值。 

每个数据点表示传感器阵列12中的特定行或行的群组的行总和。例如，对于具有1200个行的传感器阵列，行总和计算器22可针对四行的群组计算行总和强度(例如，来自YCbCr数据的Y)，从而导致计算300个行总和数据点。如果传感器阵列是1200行乘以1200列，那么所述300个行中的每一者包含1200个像素。如上所述，为了减少行总和计算器22执行的计算量，在行总和计算中可不使用群组中的一部分行。对于每个行总和数据点中的四行的群组，行总和计算器22可将群组中的前两个行相加并跳过群组中的其它两个行。此外，行总和计算器22可在行总和计算中使用每个传感器输出，或者可仅使用传感器阵列12的一部分传感器输出。 

图6是说明示范性差异信号90的图表。差异信号90是从行总和曲线80B中减去行总和曲线图80(图5)并将信号的负部分削为零(36)的结果。在图6中，x轴对应于行索引，其识别每个数据点的特定行或行群组。图6中的y轴对应于行总和差异强度值。 

图7是说明从原始全帧中再采样出的取景器视频帧的示范性差异信号100、经平滑的差异信号102和用于示范性的一对图像帧的经平滑差异信号的一阶导数104的图表。差异信号100可由帧比较器23产生。经平滑的差异信号102可由低通滤波器24产生。一阶导数104可由导数计算器26产生。图7中的信号所对应的示范性图像是几乎没有色彩和/或空间细节的相对简单的图像。差异信号100是说明两个连续帧的行总和曲线之间的差异的信号，其中负值已被削为零。经平滑的差异信号102是说明在应用了低通滤波器24后的差异信号的信号。导数信号104是经平滑的差异信号102的一阶导数。 

如图7中说明的，导数信号104的零交叉点对应于经平滑的差异信号102的峰值。闪烁校正单元16使用零交叉点之间的距离来校正帧中的闪烁。例如，在一个实施例中，闪烁校正单元14使用零交叉点之间的距离来计算光源的功率频率，并基于光源的计算出的频率来调整积分时间。在另一实施例中，闪烁校正单元14使用零交叉点之间的距离的标准偏差来确定是否有周期性图案，并调整积分时间，直到周期性图案不再存在为止。在图7中，x轴对应于行索引除以四，且y轴对应于行总和差异强度值。在图7的实例 中，零交叉点之间的距离的标准偏差大约是百分之三。 

图8是说明另一对示范性取景器图像帧的差异信号110、经平滑的差异信号112和经平滑的差异信号的一阶导数114的图表。信号所对应的图像是具有显著色彩和空间细节的相对复杂的图像。差异信号110是说明图像的两个连续帧的行总和曲线之间的差异的信号，其中负值已被削为零。经平滑的差异信号112是说明在应用了低通滤波器24之后的差异信号的信号。导数信号114是经平滑的差异信号112的一阶导数。在图8中，x轴对应于行索引除以四，且y轴对应于行总和差异强度值。在图8的实例中，零交叉点之间的距离的标准偏差大约为百分之六。 

本文中描述的技术可在硬件、软件、固件或其任何组合中实施。如果在软件中实施，则所述技术可针对计算机可读媒体，其包括提供机器可执行指令的程序码，所述程序码在捕获图像的装置中被执行时执行本文中描述的一种或一种以上技术。在所述情况下，计算机可读媒体可包括随机存取存储器(RAM)，例如同步动态随机存取存储器(SDRAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、闪速存储器等。 

可将程序码以计算机可读指令形式存储在存储器上。在所述情况下，例如微处理器或数字信号处理器(DSP)等处理器可执行存储在存储器中的指令，以便执行本文中描述的一种或一种以上技术。在有些情况下，所述技术可由调用各种硬件组件的DSP来执行。在其它情况下，本发明中描述的技术可由微处理器、一个或一个以上专用集成电路(ASIC)、一个或一个以上现场可编程门阵列(FPGA)或其它某种硬件-软件组合来实施。 

已经描述了本发明的各种实施例。这些和其它实施例属于随附权利要求书的范围。 

Claims (32)

1.一种用于校正图像中的闪烁的方法，其包括：

将由图像捕获装置捕获到的第一图像帧与由所述图像捕获装置捕获到的第二图像帧进行比较；

基于所述比较产生差异信号；

计算所述差异信号的导数；以及

确定所述导数的零交叉点之间的距离的标准偏差，以确定照明源的频率；

基于所确定的所述照明源的频率，校正由所述图像捕获装置捕获到的第三图像帧中的闪烁。

2.根据权利要求1所述的方法，其中所述图像捕获装置包含图像传感器阵列，所述方法进一步包括将来自所述阵列的至少一些行中的至少一些传感器的强度值相加，以产生用于所述第一帧和所述第二帧的行总和值，且其中对所述第一图像帧和所述第二图像帧进行比较包含对用于所述第一图像帧和所述第二图像帧的所述行总和值进行比较。

3.根据权利要求1所述的方法，其进一步包括向所述差异信号应用低通滤波器以产生滤波后的差异信号，其中计算所述差异信号的导数包含计算所述滤波后的差异信号的导数。

4.根据权利要求1所述的方法，其中所述图像捕获装置包含图像传感器阵列，且校正闪烁包含基于所述差异信号的所述导数来调整所述传感器阵列的积分时间。

5.根据权利要求4所述的方法，其中调整积分时间包含将所述积分时间调整为等于所述照明源的周期的整数倍。

6.根据权利要求1所述的方法，其中校正闪烁包括：

基于所述标准偏差来确定是否存在闪烁。

7.根据权利要求6所述的方法，其中校正闪烁包含在确定存在闪烁后，将所述传感器阵列的积分时间调整成第一可能的照明源的周期的整数倍。

8.根据权利要求7所述的方法，其进一步包括，如果在将所述传感器阵列的所述积分时间调整成第一可能的照明源的周期的整数倍之后闪烁继续存在，则将所述传感器阵列的所述积分时间调整成第二可能的照明源的周期的整数倍。

9.根据权利要求8所述的方法，其中所述将所述传感器阵列的所述积分时间调整成第一可能的照明源的周期的整数倍包含将所述积分时间调整成8.33毫秒和10毫秒中的一者的整数倍，且其中将所述传感器阵列的所述积分时间调整成第二可能的照明源的周期的整数倍包含将所述积分时间调整成8.33毫秒与10毫秒中的另一者的整数倍。

10.根据权利要求1所述的方法，其中所述图像捕获装置连续捕获所述第一帧和所述第二帧。

11.根据权利要求1所述的方法，其中校正闪烁包含在图像捕获装置加电后就校正闪烁。

12.根据权利要求1所述的方法，其中校正闪烁包含在所述图像捕获装置操作期间周期性校正闪烁。

13.一种用于校正图像中的闪烁的装置，其包括：

图像传感器阵列，其捕获第一图像帧和第二图像帧；以及

闪烁校正单元，其将所述第一图像帧与所述第二图像帧进行比较；基于所述比较产生差异信号；计算所述差异信号的导数；确定所述导数的零交叉点之间的距离的标准偏差，以确定照明源的频率；且基于所确定的所述照明源的频率来校正由所述图像传感器捕获到的第三图像帧中的闪烁。

14.根据权利要求13所述的装置，其中所述传感器阵列包含一图像传感器阵列，且所述闪烁校正单元将来自所述阵列的至少一些行中的至少一些传感器的强度值相加，以产生用于所述第一帧和所述第二帧的行总和值，对用于所述第一图像帧和所述第二图像帧的所述行总和值进行比较，并基于对所述行总和值的所述比较产生所述差异信号。

15.根据权利要求13所述的装置，其中所述闪烁校正单元包含低通滤波器，其对所述差异信号进行滤波以产生滤波后的差异信号，其中所述差异信号的所述导数是所述滤波后的差异信号的导数。

16.根据权利要求13所述的装置，其中所述传感器阵列包含一图像传感器阵列，且所述闪烁校正单元基于所述差异信号的所述导数来调整所述传感器阵列的积分时间。

17.根据权利要求13所述的装置，其中所述传感器阵列包含一图像传感器阵列，且所述闪烁校正单元基于所述差异信号的所述导数来调整所述传感器阵列的积分时间。

18.根据权利要求17所述的装置，其中所述闪烁校正单元将所述积分时间调整为等于所述照明源的周期的整数倍。

19.根据权利要求13所述的装置，其中所述闪烁校正单元根据计算出的所述差异信号的导数的零交叉点之间的距离来确定所述照明源的频率。

20.根据权利要求13所述的装置，其中所述闪烁校正单元基于所述标准偏差来确定是否存在闪烁。

21.根据权利要求20所述的装置，其中所述闪烁校正单元在确定存在闪烁后将所述传感器阵列的积分时间调整成第一可能的照明源的周期的整数倍。

22.根据权利要求21所述的装置，其中如果在将所述传感器阵列的所述积分时间调整成第一可能的照明源的周期的整数倍之后闪烁继续存在，则所述闪烁校正单元将所述传感器阵列的所述积分时间调整成第二可能的照明源的周期的整数倍。

23.根据权利要求22所述的装置，其中所述闪烁校正单元将所述积分时间调整成8.33毫秒和10毫秒中的一者的整数倍，且如果闪烁继续存在则将所述积分时间调整成8.33毫秒与10毫秒中的另一者的整数倍。

24.根据权利要求13所述的装置，其中所述第一帧和所述第二帧是由所述传感器阵列连续捕获到的。

25.根据权利要求13所述的装置，其中所述闪烁校正单元在所述装置加电后就校正闪烁。

26.根据权利要求13所述的装置，其中所述闪烁校正单元在所述传感器阵列操作期间周期性校正闪烁。

27.一种用于校正图像中的闪烁的方法，其包括：

将由图像捕获装置捕获到的第一图像帧与由所述图像捕获装置捕获到的第二图像帧进行比较；

基于对所述第一图像帧和所述第二图像帧的比较产生第一差异信号；

计算所述第一差异信号的一阶导数；

确定所述第一差异信号的导数的零交叉点之间的距离的第一标准偏差，以确定第一照明源的频率；

基于所述第一标准偏差和所述差异信号的所述一阶导数来检测所述第一图像帧和所述第二图像帧中的闪烁；

如果在所述第一图像帧和所述第二图像帧中检测到闪烁，则将所述图像捕获装置的积分时间调整成所述第一照明源的周期的整数倍；

在调整了所述积分时间之后，将所述图像捕获装置捕获到的第三图像帧与所述图像捕获装置捕获到的第四图像帧进行比较；

基于对所述第三图像帧和所述第四图像帧的所述比较而产生第二差异信号；

计算所述第二差异信号的一阶导数；

确定所述第二差异信号的导数的零交叉点之间的距离的第二标准偏差，以确定第二照明源的频率；

基于所述第二标准偏差和所述第二差异信号的所述一阶导数来检测所述第三图像帧和所述第四图像帧中的闪烁；以及

如果在所述第三图像帧和所述第四图像帧中检测到闪烁，则将所述图像捕获装置的所述积分时间调整成第二照明源的周期的整数倍。

28.根据权利要求27所述的方法，其进一步包括向所述第一差异信号和所述第二差异信号应用低通滤波器，其中计算所述第一差异信号和所述第二差异信号的一阶导数包含计算所述滤波后的第一差异信号和所述滤波后的第二差异信号的一阶导数。

29.一种用于校正图像中的闪烁的装置，其包括：

图像传感器阵列，其捕获第一图像帧和第二图像帧；以及

闪烁校正单元，其将捕获到的所述第一图像帧与所述第二图像帧进行比较；基于对所述第一图像帧与所述第二图像帧的所述比较产生第一差异信号；计算所述第一差异信号的一阶导数；确定所述第一差异信号的导数的零交叉点之间的距离的第一标准偏差，以确定照明光源的频率；基于所确定的所述照明光源的频率和所述第一差异信号的所述一阶导数来检测所述第一图像帧和所述第二图像帧中的闪烁，且如果在所述第一图像帧和所述第二图像帧中检测到闪烁，则将所述图像传感器阵列的积分时间调整成第一照明源的周期的整数倍，

其中所述图像传感器阵列在调整了所述积分时间之后捕获第三图像帧和第四图像帧，且所述闪烁校正单元将所述第三图像帧与所述第四图像帧进行比较；基于对所述第三图像帧与所述第四图像帧的所述比较产生第二差异信号；计算所述第二差异信号的一阶导数；确定所述第二差异信号的导数的零交叉点之间的距离的第一标准偏差，以确定照明光源的频率；基于所确定的所述照明光源的频率和所述第二差异信号的所述一阶导数来检测所述第三图像帧和所述第四图像帧中的闪烁，且如果在所述第三图像帧和所述第四图像帧中检测到闪烁，则将所述图像捕获装置的所述积分时间调整成第二照明源的周期的整数倍。

30.根据权利要求29所述的装置，其进一步包括对所述第一差异信号和所述第二差异信号进行滤波的低通滤波器，其中由所述闪烁校正单元计算的所述一阶导数是滤波后的所述第一差异信号和滤波后的所述第二差异信号的。

31.一种用于校正图像中的闪烁的方法，其包括：

将图像捕获装置捕获到的第一图像帧与所述图像捕获装置捕获到的第二图像帧进行比较；

基于所述比较产生差异信号；

向所述差异信号应用低通滤波器；

计算所述滤波后的差异信号的一阶导数；

确定所述导数的零交叉点之间的距离的标准偏差，以确定照明源的频率；

基于所确定的所述照明源的频率，校正所述图像捕获装置捕获到的第三图像帧中的闪烁。

32.一种用于校正图像中的闪烁的装置，其包括：

比较装置，其用于将图像捕获装置捕获到的第一图像帧与所述图像捕获装置捕获到的第二图像帧进行比较；

产生装置，其用于基于所述比较产生差异信号；

应用装置，其用于向所述差异信号应用低通滤波器；

计算装置，其用于计算所述滤波后的差异信号的一阶导数；

确定装置，其用于确定所述导数的零交叉点之间的距离的标准偏差，以确定照明源的频率；

校正装置，其用于基于所确定的所述照明源的频率来校正所述图像捕获装置捕获到的第三图像帧中的闪烁。

Images