CN102273194B - 用于使用滚动快门的成像传感器的闪烁检测电路 - Google Patents

Abstract

电路、设备及方法提供闪烁检测及改良影像产生给使用成像传感器的数字相机。在一实施例中，电路及方法可操作以比较第一摄取帧与第二摄取帧(例如，若需要可呈序列及连续或非连续)，以判断两帧之间场景内容是否不对齐。如果判定该等帧不对齐，通过使第二帧与第一帧重新对齐来产生经重新对齐之第二帧。源于经重新对齐之第二帧的亮度数据与源于第一帧之像素的亮度数据用来判断是否存在不合意的闪烁情况。如果检测到不合意的闪烁情况，则产生输出至摄取该帧之成像传感器的曝光时间控制信息以减少闪烁。例如，在数字相机的预览模式期间，可完成此操作，或可在任何其它适当时间进行。

Description

用于使用滚动快门的成像传感器的闪烁检测电路

技术领域

本揭示内容大体有关于闪烁检测电路以及使用该闪烁检测电路的装置。本专利申请案主张美国临时专利申请案第61/114,748号(申请于2008年11月14日，标题为“用于使用滚动快门的成像传感器的闪烁检测电路”)的优先权及权益，其内容全部并入本文作为参考资料。

背景技术

CMOS成像传感器常见于许多手持装置。此技术的挑战之一为由荧光灯与传感器之电子滚动快门的相互作用造成的影像闪烁(imageflicker)。非平稳序列对于多帧程序(multi frame process)构成挑战问题。为了应付这些限制，提出一种新程序以利用帧对齐来改善闪烁检测效能。此方法大幅改善在信号交换(handshake)及垂直平移(vertical panning)情况下的效能。

成像装置越来越常见于许多数字手持装置。这些装置许多使用有电子滚动快门的CMOS成像传感器。不像机械快门，滚动快门需要以不同的时段来曝光影像的不同部份。具体言之，每条相继影像横列在时间上有偏移。这种方法的结果之一是在荧光灯下影像中产生空间闪烁(spatial flicker)，因为每条横列暴露于不同的照度总量。稳健地检测此闪烁是必要的，以便正确地将相机组构成可移除瑕疵。及时成像系统对闪烁检测有更多限制。实际的成像系统需要以15或30帧/秒(fps)操作而大幅减少影像的空间闪烁频率使得检测程序更具挑战性。

已有人针对此问题提出各种方法。Baer等人提出修改传感器架构以相反的顺序读出每个像素两次以及加总结果来减少闪烁的出现，这描述于R.L.Baer，R.Kakarala，“用于减少由光源闪烁造成之瑕疵的系统与方法”的美国专利第7,397,503号。其它的方法使用摄取影像或影像序列(image sequence)来检测闪烁。许多此类方法依赖序列的(sequentail)帧以便检测闪烁，或描述于D.Poplin，“用于埋藏式相机系统的自动闪烁检测方法”，IEEE消费电子产品汇刊，52(2)，308-311(2006)；T.Tajbakhsh，R.R.Grigat，“滚动快门相机系统的照明闪烁频率分类”，IASTED 2007，信号与影像处理，288-293(2007)的记录汇编；以及，M.Kaplinsky，I.Subbotin，“针对有滚动快门之成像器方法用于照明光源频率与光学积分时间之持续时间的失配检测方法”，美国专利第7,142,234号。这些可行是假设有永远平稳的场景，然而实际上这种情形很少见。

已发现，荧光光源的照度会因电源的交流电而随着时间改变。取决于地理位置，电源供给为60或者是50Hz。传输至光源的电力以供给频率的两倍振荡而导致照度以120或者是100Hz变化。光源的照度模型是用以下的函数建立：

$s\left(t\right)=A+B{\sin }^2\left(\frac{2\mathrm{\π}}{2T}t\right)=A+\frac{B}{2}-\frac{B\cos \left(\frac{2\mathrm{\π}}{T}t\right)}{2}---\left(1\right)$

在此，A为在电源电压零点交叉(zero crossing)处的直流照度，此时没有电力传输至光源。照度的直流部份不包含任何闪烁，因此为求描述简洁，设定A为零。B为纯量，其决定在给定光源下闪烁的大小而且等于电压在最大值减去常数A的照度。A与B为随着光源而有所不同的常数。T为闪烁周期。人的视力感觉不到在此频率的闪烁，不过，滚动快门CMOS传感器可拾取此变异。

为使描述简洁，图1绘出方程式1在F＝120Hz及A＝0、B＝1下的曲线图。下方图示典型的电子滚动快门。在滚动快门中，每一横列在不同时刻开始及结束积分。任何两条横列之间的差异用Δr表示。横列1的信号与随着曲线的积分时间在该曲线下以下降影线图示的面积成正比。因此，横列n的信号正比于以上升影线图示的面积。交叉影线的面积对应至横列1与横列n一起积分的时间。此图图示横列1的总面积大于横列n的面积，因而横列1的信号也如此。由于曝光有此相对差异，所以本身在影像上以由暗至明的条纹(banding)呈现。并非所有的积分时间会产生闪烁。如果设定积分时间为闪烁频率的倍数，则曲线下的面积为常数，而与偏移Δr无关。在此情形下，没有闪烁存在。因此，用以下方程式表示积分时间：

t_i＝N T+Δt    (2)

在此，N为全部闪烁周期的数目，而Δt为N个闪烁周期与实际积分时间之间的时间差。

传感器中每一横列的传感器响应与在每一横列在积分时间接收的照度正比。对于闪烁照度，有可能导出以横列开始时间Δr之偏移及积分时间t_i为函数的传感器响应。

方程式1以A＝0代入方程式4得出下式：

$=\frac{B}{2}[N\underset{0}{\overset{T}{\∫}}1-\cos \left(\frac{2\mathrm{\π}}{T}t\right)\mathrm{dt}+\underset{\mathrm{\Δt}}{\overset{\mathrm{\Δt}+\mathrm{\Δt}}{\∫}}1-\cos \left(\frac{2\mathrm{\π}}{T}t\right)\mathrm{dt}]$

$=\frac{B}{2}[\mathrm{NT}+\mathrm{\Δt}+\frac{T}{2\mathrm{\π}}[\sin \left(\frac{2\mathrm{\π}}{T}\mathrm{\Δr}\right)-\sin (\frac{2\mathrm{\π}}{T}\mathrm{\Δr}+\frac{2\mathrm{\π}}{T}\mathrm{\Δt})\left]\right]---\left(5\right)$

此方程式以Δr描述横列偏移的响应。可将此方程式归纳成用下列关系式描述横列n的响应。

Δr＝nΔrd               (6)

在此，Δrd为两个相邻横列之间的横列延迟(row delay)。方程式6代入方程式5可导出以横列数为函数的横列响应方程式如下：

$R\left(n\right)=B[\mathrm{NT}+\mathrm{\Δt}+\frac{T}{2\mathrm{\π}}[\sin \left(\frac{2\mathrm{\π}}{T}\mathrm{n\Δrd}\right)-\sin (\frac{2\mathrm{\π}}{T}\mathrm{n\Δrd}+\frac{2\mathrm{\π}}{T}\mathrm{\Δt})\left]\right]$

$=B[\mathrm{NT}+\mathrm{\Δt}-\frac{T}{\mathrm{\π}}[\cos \left(\frac{2\mathrm{\π}}{T}\mathrm{n\Δrd}\right)\·\sin \left(\frac{\mathrm{\π}}{T}\mathrm{\Δt}\right)\left]\right]$

(7)

在最终模型中，响应包含单独由积分时间决定且与横列无关的线性项B(NT+Δt)。它减去调变谐波项(modulated harmonic term)。在此项中，余弦谐波为横列数及横列延迟的函数。此谐波是用其频率取决于Δt的正弦调变。此调变的效果明显。当积分时间为Δt＝0时的闪烁频率的倍数时，方程式7缩减为：

R＝BNT              (8)

正如预期，在两横列之间的响应不再有变化而且只取决于积分时间的长度。在此情况下，影像中没有闪烁。重要的是，也应注意调变因素在Δt＝T/2时最大。如以下所示的，闪烁信号的大小大体薄弱，因此最大化信号的振幅对检测有帮助。

横列延迟Δrd会影响影像的闪烁频率。图2图示3种不同横列延迟的理论响应。随着相邻横列之间的延迟增加，影像看到的闪烁频率也增加。光源闪烁周期与影像闪烁空间周期的关系式为：

$T_{\mathrm{spatial}}=\frac{T_{\mathrm{flicker}}}{\mathrm{\Δrd}}---\left(9\right)$

及时闪烁检测系统的重大挑战之一是影像闪烁的低空间频率。在30帧/秒时，帧时间只有33.33微秒，这意谓在50Hz只有3.3个周期，以及在60Hz有4个周期。

总积分时间也影响影像闪烁的信号强度。闪烁比率F_ratio定义为有最大信号的横列响应除以有最小信号的横列响应。

F_ratio＝Max[R(n)]/Min[R(n)]     (10)

图3图示在60Hz闪烁频率下以总积分时间为函数的比率。此比率在闪烁频率的倍数时移到一(unity)以及在Δt＝T/2时在尖峰。不过，尖峰随着N数增加而渐小。对于小于T的积分时间，闪烁比率因而影像闪烁向无限递增。

前文已证明，通过相减相继的帧可大幅减少影像中的场景内容，如描述于D.Poplin，“用于埋藏式相机系统的自动闪烁检测方法”，IEEE消费电子产品汇刊，52(2)，308-311(2006)的；以及M.Kaplinsky，I.Subbotin，“针对有滚动快门之成像器方法用于照明光源频率与光学积分时间之持续时间的失配检测方法”，美国专利第7,142,234号。结果是利用静态场景得到而且不考虑场景内容为动态的更实际情形。由于相对于底下场景的信号，闪烁信号的大小相当小，所以即使很小的不对齐也会造成源于场景的信号在相减后继续存在。前面的作业已处理帧与帧对齐的问题以减少滚动快门的剪切效果(shearingeffects)，如描述于C.K.Liang，L.W.Chang，H.H.Chen，“滚动快门效果的分析与补偿”，IEEE影像处理汇刊，17(8)，1323-1330(2008)。不过，以上作业对于使用滚动快门组构的成像传感器不提供适当的闪烁检测及修正方案。

发明内容

本发明提供一种设备，其包含：有一滚动快门组构的一CMOS成像传感器；以及电路，其可操作以：比较该CMOS成像传感器所摄取的第一帧与该CMOS成像传感器所摄取的第二帧以判断这些帧之间场景内容是否不对齐；如果判断它们不对齐，通过使该第二帧与该第一帧重新对齐来产生经重新对齐的一第二帧；以及使用源于该经重新对齐的第二帧的亮度数据与源于该第一帧的亮度数据以判断不合意闪烁情况是否存在，如果成立，调整该CMOS成像传感器的曝光时间以减少闪烁。

本发明提供一种由电子设备执行的方法，其包含下列步骤：比较由一成像传感器摄取的第一帧与由该成像传感器摄取的第二帧以判断这些帧之间场景内容是否不对齐；如果判断它们不对齐，通过使该第二帧与该第一帧重新对齐来产生经重新对齐的第二帧；使用源于该经重新对齐的第二帧的亮度数据与源于该第一帧的亮度数据来判断是否存在不合意的闪烁情况；以及如果成立，调整该成像传感器的曝光时间以减少闪烁。

本发明提供一种集成电路，其包含：电路，其可操作以：比较第一摄取帧与第二摄取帧以判断这些帧之间场景内容是否不对齐；如果判断它们不对齐，通过使该第二帧与该第一帧重新对齐来产生经重新对齐的一第二帧；以及使用源于该经重新对齐的第二帧的亮度数据与源于该第一帧的亮度数据以判断不合意的闪烁情况是否存在，以及若成立，产生曝光时间控制信息供输出至一相机的一成像传感器以减少闪烁。

附图说明

基于以下伴随参考的描述可更加了解本揭示内容，其中类似的组件用相同的组件符号表示。

图1例示60Hz荧光光源、A＝0 B＝1的照度模型与电子滚动快门的效果；

图2例示横列延迟对于影像闪烁频率的效果；

图3例示积分时间对于闪烁大小的效果；

图4的方块图根据本揭示内容的一具体实施例图示一设备实施例；

图5的流程图根据本揭示内容的一实施例例示由电子设备执行的方法；

图6的流程图根据载于本揭示内容的一实施例例示用于检测使用滚动快门的闪烁成像传感器的方法；

图7根据本揭示内容的一具体实施例例示源于两个连续帧的直行投影；

图8根据本揭示内容的一具体实施例例示两个连续直行投影的交叉相关(cross-correlation)；

图9例示显示检测到的闪烁的平场场景(flat field scene)12.5毫秒，15帧/秒；

图10例示其中有闪烁的复杂场景12.5毫秒，15帧/秒；

图11例示用12.5毫秒积分时间以15帧/秒取得的两个连续平场影像的差异信号；

图12例示差异信号的功率谱；

图13根据本揭示内容的一具体实施例例示SNR与使用于直行投影的直行百分比的曲线图；

图14例示有对齐的功率谱；

图15例示没有对齐的功率谱；以及

图16根据本揭示内容的一具体实施例例示为垂直移位的函数的SNR改善。

具体实施方式

简单地说，电路、设备及方法提供闪烁检测及改良的影像产生功能给使用成像传感器的数字相机。在一实施例中，电路及方法可操作为比较第一摄取帧与第二摄取帧(例如，若需要可呈序列及连续或非连续)，以判断两帧之间场景内容是否不对齐。如果判定帧与帧之间不对齐，通过使第二帧与第一帧重新对齐来产生经重新对齐的第二帧。利用源于经重新对齐的第二帧的亮度数据与源于第一帧的像素的亮度数据来判断是否存在不合意的闪烁情况。如果检测到不合意的闪烁情况，则产生输出至摄取该帧之成像传感器的曝光时间控制信息以减少闪烁。例如，在数字相机的预览模式期间，可完成此操作，或可在任何其它适当时间进行。

在一实施例中，使用有成像传感器(例如，CMOS成像传感器，有滚动快门组构)的数字相机的设备(例如，智能手机、手机、或任何其它合适设备)是使用可操作以比较该CMOS成像传感器所摄取的第一帧与该CMOS成像传感器所摄取的第二帧来判断两帧之间场景内容是否不对齐的电路。如果判断它们不对齐，该电路可操作以通过移动第二帧的像素以使它们重新定位至与第一帧相同的位置来产生经重新对齐的第二帧。利用源于经重新对齐的第二帧(来自它的像素)的亮度资料与源于第一帧的亮度数据来判断是否存在不合意的闪烁情况。如果不合意的闪烁情况存在，调整CMOS成像传感器的曝光时间以减少闪烁。控制逻辑可包含含有可操作以进行上述操作的电路的集成电路，可包含离散逻辑，可包含经构造成可执行这些操作的状态机，可包含一或更多数字信号处理器(DSP)，可包含一或更多微处理器用以执行储存于计算机可读取内存的可执行指令使得在执行时导致该微处理器如本文所述地操作。也可使用任何其它的合适结构。

除了其它的优点，所揭示的电路、设备及方法提供一种多帧方法(multi-frame approach)，其利用帧与帧间的对齐来改善闪烁检测效能。利用帧与帧间的对齐的多帧方法是有利的，因为，尤其是它使得闪烁检测稳健而能够检测平稳及非平稳影像序列的闪烁。这可改善，例如，信号交换、垂直平移及水平平移成像情景的闪烁检测。为了减少荧光灯与CMOS成像传感器的滚动快门相互作用所造成的不想要的效果，成功的闪烁检测是必要的。本技艺一般技术人员会认知其它的优点。

第4图的方块图图示设备400的一实施例，其仅供图解说明而以手机或智能手机说明，其包含数字相机子系统402、必要设备子系统404(例如，包含无线子系统的必要手机子系统)、显示器、键盘或本技艺所习知的任何其它子系统。此外，设备400包含内存406，例如，可为FIFO内存、RAM、例如帧缓冲存储器，或任何其它合适类型的内存。设备400也图示成可包含可为较大集成电路的一部份的电路408，该集成电路可做成执行储存于内存(未图示)(例如，RAM、ROM、互联网服务器中的分布式内存、或储存可执行指令的任何其它合适内存)的可执行指令(如上述)的微处理器，在执行可执行指令时导致该微处理器执行提及的操作。

此实施例的相机子系统402图示成为有一滚动快门组构的一CMOS成像传感器。不过，有滚动快门操作的任何成像传感器也可受益于描述于本文的操作。相机子系统402(例如在预览模式期间)摄取及提供一连串暂存于内存406的摄取帧410。如本实施例所示，帧N412为当前的帧，帧N+1在时间上为下一个摄取帧等等。电路408(也被称作控制器)包含动态估计电路416、动态补偿电路418、基于亮度的帧相减电路420、闪烁信号检测电路422、以及相机曝光时间控制信息产生电路424。

动态估计电路416接收像素的当前帧及后续者(在此实施例中，为序列帧414)，以及判断是否检测到帧的动态。例如，比较两个帧中位置相同的像素以判断数值是否已改变，以及例如，用适当的技术判断影像是否已向左或右移位一行像素或一列像素或多行的像素。以下进一步描述不对齐检测的一实施例。如图示，动态估计逻辑例如以逐一像素方式(pixel-by-pixel)、以逐一区块方式(block-by-block)或任何其它合适方式拿当前的帧412与下一帧414做比较，以判断两帧之间场景内容是否不对齐。动态估计电路416提供对齐偏移信息430，其表示在x方向的偏移，以及在此实施例中，也以不对齐或偏移信息432表示在y方向的偏移。不过，众所周知也可用来仅仅检测x方向或者是y方向的变化。由动态补偿电路418接收偏移信息430及432和第二帧414，藉此可重新对齐第二帧414(场景内容)以匹配第一帧412的对应位置。如果基于偏移信息430与432的判定是不对齐的话，结果便产生经重新对齐的第二帧434，其为第二帧414与第一帧对齐。

基于亮度的帧相减电路420对于当前的帧412与经重新对齐的第二帧424以逐一像素方式判断亮度信息以及使用来自两组帧(由经重新对齐的第二帧与第一帧各自减去对应像素位置的亮度数据)的亮度数据，以及产生代表闪烁影像(对齐的帧差)的数据438。闪烁信号检测电路422评估数据438的能量水平以判断是否已检测到闪烁。提供闪烁检测信号440给相机曝光调整逻辑424，然后逻辑424把相机曝光时间控制信息426送到相机子系统402，使得相机子系统改变相机曝光时间以减少闪烁。

也参考第5图，可例如用电路408执行一种方法，以区块500图示，该方法使用例如动态估计电路416来比较第一摄取帧412与第二摄取帧414而判断帧与帧之间场景内容是否不对齐。如区块502所示，该方法包含如果判断它们不对齐，通过例如用动态补偿电路418，使第二帧与第一帧重新对齐而产生经重新对齐的第二帧434。如区块504所示，该方法包含使用经重新对齐的帧的亮度数据(例如，用基于亮度之帧相减电路420)以及源于第一帧的亮度数据来判断是否存在不合意的闪烁情况，例如用闪烁信号检测电路422。如果存在不合需要的闪烁情况，该方法包含产生曝光时间控制信息426给相机的成像传感器以减少闪烁。

第6图的一实施例图示只利用y方向的像素横列来用电路408检测闪烁，而不是第4图用x、y的方向。如本实施例所示及下文的进一步说明，将源于帧412及414的像素由RGB格式转换成亮度值(例如，参考以下的方程式11)，如区块602与604所示。在此实施例中，对于每个帧(例如，参考以下的方程式12)，将整个帧投影成单一直行，如区块606与608所示。通过执行例如以下的方程式13与14来完成动态估计，以及通过做如以上所述的直行移位来完成动态补偿418。闪烁检测电路422有更详细的图示以及在下文有更详细描述。众所周知，若需要，也可使用任何合适的检测电路。

下文更提出一种多帧方法，其使用帧与帧间的对齐来消除源于场景的信号以及改善闪烁检测效能。

开始以I(x，y，d，i)表示影像序列，在此x与y分别为直行与横列的索引。用d表示影像的平面以及i表示帧在序列中的号码。将每个帧由RGB转换成亮度如下：

I_Y(x，y，i)＝0.299I(x，y，0，i)+0.587I(x，y，1，i)+0.114I(x，y，2，i)(11)

给定闪烁信号在影像中的严格垂直性质，平均每个帧中的直行以提供直行投影如下：

$P(y,i)=\underset{s}{\overset{s+M}{\mathrm{\Σ}}}{I}_Y(x,y,i)/M$

$s=\frac{(Y-M)}{2}---\left(12\right)$

在此，M为可平均的直行总数，以及Y为影像中的直行总数，相较于整个帧的信息，以下表1所给出的导致处理较少。不过，众所周知，若需要不需使用直行投影方法。图7图示两个连续帧的直行投影。这些连续帧是由非平稳序列取得，因此可看见这些帧之间的不对齐。为了应付这种不对齐，计算连续投影的交叉相关，如区块610所示。

$R_{P_1{P}_2}\left(n\right)=\underset{m=-r}{\overset{r}{\mathrm{\Σ}}}P(m,i)\·P(n+m,i+1)---\left(13\right)$

图7投影的交叉相关图示于图8。假设此函数峰值的索引对应至帧与帧之间的垂直移位。区块612图示决定此一垂直移位。

$\mathrm{dy}={\mathrm{Max}}_n\left(R_{P_1{P}_2}\left(n\right)\right)---\left(14\right)$

帧与帧之间的移位用来在相减之前使这两个投影对齐。

$D\left(y\right)=\begin{array}{cc}P(y,i)-P(y+\mathrm{dy},i+1)& y>=\mathrm{dy}\\ P(y,i)-P(y+Y-\mathrm{dy}),i+1)& y<\mathrm{dy}\end{array}---\left(15\right)$

用汉明窗(hamming window)W(D(y))显示直行投影差异，如区块614所示，以及将后续的信号送到频率域，如区块616所示，其中FFT可产生信号傅利叶表示法F(ω)，在此ω为空间频率。得到信号的功率谱，如区块618所示，如下：

S(ω)＝F(ω)F^*(ω)          (16)

如区块620所示，通过比较闪烁频率S(ω₀)中最近窗口(closestbin)的信号功率与周围频率窗口(surrounding frequency bin)的平均信号功率来检测闪烁。周围窗口系以0.25ω₀＜ω＜0.75ω₀与1.25ω₀＜F＜1.75ω₀界定。定义周围窗口的平均值为噪声水平N，如区块622所示。因此，信号噪声比定义于以下的方程式17且图示于区块624。本文的SNR是用来评估受检测闪烁信号在各种情况下的强度。通过应用阀值方程式17，它也可用作简单的分类器。区块626显示将信号分类。如果SNR超过阀值，则将信号归类为闪烁，如区块424所示。如果SNR不超过阀值，则不将信号归类为闪烁，如区块628所示以及评估下一帧。

$\mathrm{SNR}=10\log \left(\frac{S\left({\mathrm{\&omega;}}_0\right)}{N}\right)---\left(17\right)$

实验影像序列的试验结果

及时成像系统使用5百万像素CMOS传感器以摄取图示影像的序列。用两个不同的场景摄取序列，如图9至图10所示的平场(flatfield)及复杂场景。用两个以60Hz电源供电的5400K荧光光源以45度角照明场景。这两个场景的整体照明等级为1000lux。

这些序列经设计成可重现实际的成像条件以及探索程序在条件范围内的有效性。以代表及时成像系统所需之实际帧率的15帧/秒与30帧/秒摄取序列。相机及成像系统的带宽限制阻止以这些帧率收集所有的5百万像素。以各帧率所摄取的影像尺寸列于表1。

在考虑提议的闪烁模型的性质后，传感器编程加上其它的限制。如前述，影像闪烁在积分时间方程式(方程式2)于Δt＝T/2时有最大值。结果，12.5毫秒与29.2毫秒的积分时间用来最大化60Hz光源的闪烁大小。此外，所提议的程序计算连续帧之间的差异。如果闪烁平稳，则帧相减会移除全部的闪烁信号。为了防止此情况并最大化差影(difference image)中之谐波的大小，在帧之间引进T/2的相位差。在有此限制下，用列于表1的横列延迟来对传感器编程。横列延迟在15帧/秒、30帧/秒序列之间相似，因为30帧/秒序列尺寸为15帧/秒序列的二分之一。结果，以像素测量的空间周期在帧率之间相似，即使在15帧/秒，每个帧包含两倍的周期。

表1.影像序列性质

平稳场景

使用其中场景内容不动的平稳场景可评估所揭示的程序。平场影像序列为最简单的情形，因为没有场景数据会阻碍闪烁信号的检测。结果，在图9的影像中容易看到闪烁信号。该程序应用于影像的序列。此实验使用每个帧的所有直行，M＝Y。图11图示序列中两个帧的差异信号(difference signal)。该差异信号清楚显示周期性信号。信号的功率谱，图示于图12，清楚显示有0.0078的闪烁频率。

处理4个影像序列以及记录这些序列的平均SNR。结果列于表2。高平均SNR确认检测平场场景的闪烁在15及30帧/秒微不足道。该SNR在30帧/秒稍微减少，不过，大致容易检测所有4个序列的闪烁。

表2.使用程序的平场影像序列的闪烁信号的平均SNR

用复杂场景的序列评估挑战性稍高的平稳条件。这些序列的平均SNR列于以下的表3。SNR也相当高而且可轻易检测出闪烁。随着积分时间增加，这两种场景的SNR稍微递减。这与闪烁的大小随着积分时间递增而递减的事实一致。此外，较快的帧率，有实质较低的平均SNR。在帧率较快时，闪烁有较长的波长以及影像有较短的周期。结果，FFT很难解析闪烁频率，因为它很接近直流项(DC term)。

表3.复杂平稳场景影像序列的闪烁信号的平均SNR

结果的产生是使用每个影像的所有直行导致全帧相减。做全帧相减可能未必切合实际。图13图示限制差异中的直行数的效果。随着较少直行而递减的SNR被包含于直行投影P(y，i)。通常，用百分之40的直行来运行的程序产生可接受的SNR，超过则报酬递减。为此，每个帧使用中央百分之40的直行。

非平稳场景

非平稳场景更加现实地提供实际闪烁检测效能的评估。3种典型的用例可为：信号交换、垂直平移及水平平移。试验时，使用有及无程序的对齐步骤的程序来处理信号交换序列。平均SNR结果摘要于以下的表4及表5中。由表4的结果显而易见，无对齐的SNR在15帧/秒大幅减少。SNR在30帧/秒的减少没有那幺严重。这很可能是由于较快的帧率阻止帧之间的场景移位太远。在15帧/秒，帧之间的场景移位更大而且SNR由静态场景例掉下约16dB。在表5，结果显示在使用对齐程序时，平均SNR显着增加。在15帧/秒达成5至6dB的改善，在此看到SNR的下降幅度最大。

表4.没有对齐的非平稳手持场景的闪烁信号的平均SNR(dB)

表5.有对齐的非平稳手持场景的闪烁信号的平均SNR(dB)与所得dB增益

以上SNR结果为整个序列的平均。然而实务上，每一个帧的个别结果由于有信号交换所产生的随机动态而有实质差异。非平稳场景的效果清楚显示于图14及图15。图14及图15显示有移位较大的28个像素的两个连续直行投影之间的差异的功率谱，有及没有对齐。图14图示在没有对齐下无法检测闪烁频率，因为在0.01处有更大的主峰。图15图示在对齐下，程序可轻易析出在0.0078附近的闪烁频率。

也通过有及没有对齐的程序来处理水平及垂直平移序列。平均SNR结果列于表6及表7。表6的水平平移结果透露所提议的程序无法改善闪烁检测效能。在某些情况下有一点改善，但仔细看个别的帧显示出在达成较高SNR的情形下有垂直移动。可做进一步的工作以扩大垂直对齐。如果只选择百分之40的直行，则通过选择每个帧的对齐直行可获致对齐。

表6.水平平移场景的闪烁信号的平均SNR(dB)

表7.垂直平移场景的闪烁信号的平均SNR(dB)

在表7中，垂直平移的结果透露对齐步骤在所有的情况下提供大幅的改善。在30帧/秒，平均SNR的改善最显着。仔细看个别的帧对帧结果，透露出改善的程度。为了减少错误肯定(false positive)，设定等于5的阀值SNR以及用来分类检测。应用此阀值至30帧/秒数据而产生列于表8的检测率。显然，检测率随着对齐程序而实质增加。

图16的SNR改善-垂直移位图显示出为何效能在30帧/秒增加更大。在图16中，以交叉相关确定的垂直移位画在横轴上。通过对齐直行投影所得到的SNR增量图示于纵轴。在15帧/秒，在移位约20处出现最大的改善，在此点，SNR增量递减直到SNR在约60处对齐实际恶化。由于闪烁在15帧/秒的空间周期等于128个像素，所以约半个周期的移位会造成相继帧之间的引入相位差消失。结果，预期在60附近，闪烁信号在差异步骤期间会抵消。在15帧/秒与29毫秒，SNR透过未对齐程序没有改善。在15帧/秒与12.5毫秒，对齐程序实际表现更差。这可能是由于在12.5毫秒，闪烁信号大小相当大以及与场景内容有相同的数量级。因此，未对齐相减仍可检测相对强的闪烁信号。在30帧/秒，最明显差异是在所处理的序列中没有大于25个像素的垂直移位。由于有较高的帧率，场景移位有帧之间的一半多。结果，对齐移位在30帧/秒远少于122个像素周期的一半而且SNR的改善允许稳健的检测。

表8.在30帧/秒有及没有对齐的检测率

为了应付非平稳场景，使用具有增加SNR的垂直对齐(及/或水平对齐，若需要)的多帧检测程序。对于少于一半空间频率的帧间移位，所揭示的程序可提供稳健且便于实作的检测系统。不过，只要相关性一致，也可使用已移位的帧。

如上述，除了其它的优点，所揭示的电路、设备及方法提供一种多帧方法，其利用帧与帧间的对齐来改善闪烁检测效能。利用帧与帧间的对齐的多帧方法是有利的，因为，尤其是它使得稳健的闪烁检测能够检测平稳及非平稳影像序列的闪烁。这可改善，例如，信号交换、垂直平移及水平平移成像情景的闪烁检测。为了减少荧光灯与CMOS成像传感器的滚动快门相互作用所造成的不想要的效果，成功的闪烁检测是必要的。本技艺一般技术人员会识别其它的优点。

提出以上本揭示内容及本文所述之实施例的详细说明系仅供图解说明而非限制。因此，希望本揭示内容涵盖落入以上所揭示之基本原理及以下权利要求的精神及范畴内的所有修改、变异或等价陈述。

Claims (18)

1.一种用于检测成像传感器的闪烁的设备，其包含：

有一滚动快门组构的一CMOS成像传感器；以及

电路，其可操作以：

比较该CMOS成像传感器所摄取的第一帧与该CMOS成像传感器所摄取的第二帧，通过将该第一帧投影于一直行来产生第一直行投影，将该第二帧投影于一直行来产生第二直行投影，以及计算该第一及第二直行投影的交叉相关值，以判断这些帧之间场景内容是否不对齐；

如果判断它们不对齐，通过使该第二帧与该第一帧重新对齐来产生经重新对齐的一第二帧；以及

使用源于该经重新对齐的第二帧的亮度数据与源于该第一帧的亮度数据以判断不合意闪烁情况是否存在，如果存在，调整该CMOS成像传感器的曝光时间以减少闪烁。

2.如权利要求1所述的设备，其中该电路比较该第一帧与该第二帧以只用y方向的数个像素横列来判断不对齐。

3.如权利要求1所述的设备，其中该电路可操作以：通过平均与该第一帧关连的多个直行值来产生该第一直行投影，以及通过平均与该第二帧关连的多个直行值来产生该第二直行投影。

4.如权利要求1所述的设备，其中该电路可操作以：通过比较与该第一帧关连的至少一像素区块、与该第二帧关连的对应至少一像素区块，来判断这些帧之间场景内容是否不对齐。

5.如权利要求1所述的设备，其中该电路可操作以：通过使该第二直行投影直行移位以重新对齐该第一直行投影来产生经重新对齐的该第二帧。

6.如权利要求1所述的设备，其中该电路可操作以：通过比较闪烁频率的最近窗口的信号功率与周围频率窗口的平均信号功率来判断是否存在不合意的闪烁情况。

7.一种由用于检测成像传感器的闪烁的电子设备执行的方法，其包含下列步骤：

比较由一成像传感器摄取的第一帧与由该成像传感器摄取的第二帧，通过将该第一帧投影于一直行来产生第一直行投影，将该第二帧投影于一直行来产生第二直行投影，以及计算该第一及第二直行投影的交叉相关值，以判断这些帧之间场景内容是否不对齐；

如果判断它们不对齐，通过使该第二帧与该第一帧重新对齐来产生经重新对齐的第二帧；

使用源于该经重新对齐的第二帧的亮度数据与源于该第一帧的亮度数据来判断是否存在不合意的闪烁情况；以及

如果存在，调整该成像传感器的曝光时间以减少闪烁。

8.如权利要求7所述的方法，其更包含下列步骤：

只用在y方向的数个像素横列用来比较由该成像传感器摄取的该第一帧与由该成像传感器摄取的该第二帧以判断这些帧之间场景内容是否不对齐。

9.如权利要求7所述的方法，其更包含下列步骤：

通过平均与该第一帧关连的多个直行值来产生该第一直行投影；以及

通过平均与该第二帧关连的多个直行值来产生该第二直行投影。

10.如权利要求7所述的方法，其更包含下列步骤：

比较与该第一帧关连的至少一像素区块、与该第二帧关连的对应至少一像素区块以判断这些帧之间场景内容是否不对齐。

11.如权利要求7所述的方法，其更包含下列步骤：

使该第二直行投影直行移位以与该第一直行投影重新对齐来产生经重新对齐的该第二帧。

12.如权利要求7所述的方法，其更包含下列步骤：

比较闪烁频率的最近窗口的信号功率与周围频率窗口的平均信号功率；以及

判断是否存在不合意的闪烁情况。

13.一种用于检测成像传感器的闪烁的集成电路，其包含：

比较模块，用以比较第一摄取帧与第二摄取帧；

判断模块，用以通过将该第一帧投影于一直行来产生第一直行投影，将该第二帧投影于一直行来产生第二直行投影，以及计算该第一及第二直行投影的交叉相关值，以判断这些帧之间场景内容是否不对齐；

产生模块，用以如果判断它们不对齐，通过使该第二帧与该第一帧重新对齐来产生经重新对齐的一第二帧；

闪烁情况判断模块，用以使用源于该经重新对齐的第二帧的亮度数据与源于该第一帧的亮度数据以判断不合意的闪烁情况是否存在；以及

生成模块，用以如果存在不合需要的闪烁情况，产生曝光时间控制信息供输出至一相机的一成像传感器以减少闪烁。

14.如权利要求13所述的集成电路，其中该比较模块比较该第一摄取帧与该第二摄取帧，以使该判断模块通过只用在y方向的数个像素横列来判断不对齐。

15.如权利要求13所述的集成电路，其中该产生模块通过平均与该第一摄取帧关连的多个直行值来产生该第一直行投影，以及通过平均与该第二摄取帧关连的多个直行值来产生该第二直行投影。

16.如权利要求13所述的集成电路，其中该判断模块通过比较与该第一摄取帧关连的至少一像素区块、与该第二摄取帧关连的对应至少一像素区块来判断这些帧之间场景内容是否不对齐。

17.如权利要求13所述的集成电路，其中该产生模块通过使该第二直行投影直行移位以重新对齐该第一直行投影来产生经重新对齐的该第二帧。

18.如权利要求13所述的集成电路，其中该闪烁情况判断模块通过比较闪烁频率的最近窗口的信号功率与周围频率窗口的平均信号功率来判断是否存在不合意的闪烁情况。