CN101567977A - 一种闪烁检测方法及其装置 - Google Patents

Abstract

本发明公开了一种闪烁检测方法及其装置，在保证图像质量不受影响的前提下可以实时监测。所述方法包括：读取当前帧，获取当前帧的垂直波形；对垂直波形进行频谱分析，或者对当前帧的垂直波形与历史帧的垂直波形的差即帧差波形进行频谱分析，如果频谱上有峰值，则根据峰值对应点的频率与理论峰值频率点的接近程度来判断是否存在闪烁。

Description

一种闪烁检测方法及其装置

技术领域

本发明涉及图像处理技术领域，尤其涉及感光器件行曝光模式下闪烁(flicker)现象的判断方法和装置。

背景技术

在数字摄像装置进行工作时，为了适应不同的频率的人造光源和室外自然光，都要对摄像装置的一些参数进行相应的设置，其中一个比较重要的参数是摄像装置的自动曝光时间。当感光器件是行曝光模式时，在灯光下，每一行接收到的光能不一样，可能出现flicker(闪烁)现象，如图1(a)和图1(b)所示。为了消除这种闪烁，把曝光时间设置在1/100秒(50Hz)或1/120(60Hz)的倍数即可。

但是在实际使用的过程中，摄像装置的参数设置和实际的环境光源经常有不匹配的情况发生，画面的闪烁便会随之发生。比如：在50Hz交流电驱动的光源下，摄像装置曝光时间理应总是0.01秒的整数倍。摄像装置的参数设置可能会处在60Hz或者室外自然光情况下的设置状态，此时曝光时间并不是0.01秒的整数倍，于是摄像装置所捕捉的图像上就会出现滚动的暗条纹，这样会严重影响图像质量。同理，在60Hz光源下，光源的闪烁周期应该是1/120秒，所以摄像装置的自动曝光时间理应是1/120秒的整数倍。但如果此时摄像装置参数的设置却处在50Hz光源或者室外自然光情况下的，那么实际的曝光时间也并不是1/120秒的整数倍，同样，在显示的图像上也会出现滚动的暗条纹。对于室外自然光源，不存在闪光周期，周期我们可以认为是无穷小，所以曝光时间为任意值时，图像上都不会出现暗条纹。

在有些时候，这种暗条纹非常微弱，使用者通过肉眼很难去进行判断，在对画面质量要求高的操作标准下，需要判断出闪烁并对其进行消除。

现有的判断闪烁的方法是：分别把曝光时间设置成1/100秒的倍数和1/120秒的倍数，每次设置完，取相邻两帧，并从这两帧图像中抽取全部或部分行，计算出每一行的亮度差；分别对这些亮度差做低通滤波，去除掉毛刺，再分别做自相关，寻找极大值点，根据极大值点的个数以及极大值点与预设阈值的比较结果判断是否有闪烁。

由于这种判断方法需要改变曝光时间两次，不仅耗时耗力，而且最重要的是这种检测方法是具有破坏性的，因为如果原来是正常的没有闪烁的图像，在两次改变曝光时间的过程中，不仅图像的亮度会发生变化，而且图像可能会出现闪烁，这会影响到图像质量。另外，由于该方法需要改变曝光时间，因此该检测方法不能一直工作，从而导致该方法缺乏灵活性。

发明内容

本发明要解决的技术问题是提供一种闪烁检测方法及其装置，在保证图像质量不受影响的前提下可以实时监测。

为解决上述技术问题，本发明提供了一种闪烁检测方法，包括：

读取当前帧，获取当前帧的垂直波形；

对垂直波形进行频谱分析，或者对当前帧的垂直波形与历史帧的垂直波形的差即帧差波形进行频谱分析，如果频谱上有峰值，则根据峰值对应点的频率与理论峰值频率点的接近程度来判断是否存在闪烁。

进一步地，帧的垂直波形的获取方法包括：读取一帧图像数据，求取该帧图像数据每个像素的亮度；选定列数，求取选定的列数间的每行亮度的平均值；对一帧图像的每行亮度平均值做低通滤波和下采样，获取一帧图像的垂直波形，垂直波形数据点数LEN_Y＝图像的高度/垂直采样率。

进一步地，对一帧图像的每行亮度平均值同时做低通滤波和下采样。

进一步地，所述选定列的个数为2的n次方。

进一步地，通过下式求取当前帧k的垂直波形yn_k和紧邻前p帧yn_k-p的帧差波形diff：diff(i)＝yn_k(i)-yn_k-p(i)，其中，i的取值范围是1≤i≤LEN_Y，p的取值范围是1≤p≤10。

进一步地，进行频谱分析时，计算垂直波形或帧差波形的各频率点上的频谱，根据频谱上峰值点的振幅值及其对应的频率点判断：如果振幅值小于阈值，则输出无闪烁的结果；如果振幅值大于等于阈值，判断峰值点对应的频率如果满足下列条件之一，则输出有闪烁的结果，否则输出无闪烁的结果：所述峰值点对应的频率落在以50Hz交流电的理论峰值频率为中心的预定范围内；所述峰值点对应的频率落在以60hz交流电的理论峰值频率为中心的预定范围内。

进一步地，进行频谱分析时，计算以50Hz交流电的理论峰值频率点为中心的预定范围内的若干频率点的频谱，和以60hz交流电的理论峰值频率点为中心的预定范围内的若干频率点的频谱，找出峰值点，判断其振幅值与阈值的大小：如果大于阈值，则输出有闪烁的结果；如果小于阈值，则输出无闪烁的结果。

进一步地，当判断有闪烁时，进一步判断：如果频谱峰值点对应的频率与50hz交流电所对应的理论峰值频率之差在预定的范围内，则输出闪烁是由50hz交流电引起的判断结果；如果频谱峰值点对应的频率与60hz交流电所对应的理论峰值频率之差在预定的范围内，则输出闪烁是由60hz交流电引起的判断结果。

进一步地，所述理论峰值频率点为： $F\_\mathrm{flic\; ker}=\frac{\mathrm{Valid}\_\mathrm{lines}*2f}{\mathrm{Total}\_\mathrm{lines}*\mathrm{fps}},$ 其中，Total_lines为一帧图像中的所有行数；Valid_lines为一帧图像中的有效行数；fps为影像传感器输出的图像序列的帧率，单位为帧/秒；f为交流电的频率。

进一步地，所述对垂直波形进行频谱分析，或者对帧差波形进行频谱分析是指：对垂直波形或者对帧差波形进行傅里叶变换。

为解决上述问题，本发明还提供了一种闪烁检测装置，包括波形获取单元、频谱分析单元、闪烁判断单元，其中：

所述波形获取单元，用于读取当前帧，获取当前帧的垂直波形，将获取的波形发送至所述频谱分析单元；

所述频谱分析单元，用于对所述波形获取单元发送的波形进行频谱分析，并将分析结果发送给所述闪烁判断单元；

所述闪烁判断单元，用于对所述频谱分析单元发送的频谱分析结果进行判断，如果频谱上有峰值，则根据峰值对应点的频率与理论峰值频率点的接近程度来判断是否存在闪烁。

进一步地，所述波形获取单元，还用于在获取当前帧的垂直波形后，计算当前帧的垂直波形与历史帧的垂直波形的差即帧差波形，并将所述帧差波形发送至所述频谱分析单元。

进一步地，所述波形获取单元进一步包括图像读取单元、计算单元、低通滤波和下采样单元，其中：所述图像读取单元，用于以帧为单位读取图像数据，将读取后的图像数据送至所述计算单元处理；所述计算单元，用于求取所述图像每个像素的亮度，以及用于求取预先选定的列数间的每行亮度的平均值，将所述平均值送至所述低通滤波和下采样单元处理；所述低通滤波和下采样单元，用于对一帧图像的每行亮度平均值同时做低通滤波和下采样，获取一帧图像的垂直波形，垂直波形数据点数LEN_Y＝图像的高度/垂直采样率。

进一步地，所述选定列的个数为2的n次方。

进一步地，所述波形获取单元通过下式求取当前帧k的垂直波形yn_k和紧邻前p帧yn_k-p的帧差波形diff：diff(i)＝yn_k(i)-yn_k-p(i)，其中，i的取值范围是1≤i≤LEN_Y，p的取值范围是1≤p≤10。

进一步地，所述频谱分析单元进行的频谱分析为傅里叶变换。

进一步地，所述频谱分析单元，进一步用于计算波形各频率点上的频谱，找出峰值点的振幅值及其对应的频率点；所述闪烁判断单元，进一步用于根据频谱上峰值点的振幅值及其对应的频率点进行以下判断：如果振幅值小于阈值，则输出无闪烁的结果；如果振幅值大于等于阈值，判断峰值点对应的频率如果满足下列条件之一，则输出有闪烁的结果，否则输出无闪烁的结果：所述峰值点对应的频率落在以50Hz交流电的理论峰值频率为中心的预定范围内；所述峰值点对应的频率落在以60hz交流电的理论峰值频率为中心的预定范围内。

进一步地，所述频谱分析单元，进一步用于计算以50Hz交流电的理论峰值频率点为中心的预定范围内的若干频率点的频谱，和以60hz交流电的理论峰值频率点为中心的预定范围内的若干频率点的频谱，找出峰值点对应的振幅值；所述闪烁判断单元，进一步用于判断所述振幅值与阈值的大小，如果判断振幅值大于阈值，则输出有闪烁的结果；如果判断振幅值小于阈值，则输出无闪烁的结果。

本发明提供了一种非破坏性的检测方法，利用闪烁在相邻帧图像间的周期性，通过频谱分析实现对闪烁在相邻帧图像间的周期的检测，通过对振幅谱的峰值的检测来判断有无闪烁的存在。采用本发明所述方法，不会影响图像质量，而且可以进行实时检测，检测时不需要改变曝光时间或其它参数，且检测结果不易受噪声，场景和运动干扰。

附图说明

图1(a)和图1(b)为闪烁在前后两帧图像上的示意图；

图2为求取行平均值的区域示意图；

图3为对一帧图像的每行平均值做低通滤波和下采样的示意图；

图4为帧差波形图；

图5为帧差波形的频谱图；

图6为像素的时序图；

图7为本发明实施例的装置结构示意图。

具体实施方式

本发明的发明构思是：读取当前帧，获取当前帧的垂直波形；对垂直波形进行频谱分析，或者对当前帧的垂直波形与历史帧的垂直波形的差即帧差波形进行频谱分析，如果频谱上有峰值，则根据峰值对应点的频率与理论峰值频率点的接近程度来判断是否存在闪烁。

优选利用帧差波形来进行判断，利用图像闪烁时两帧图像的帧差波形的周期性，通过傅里叶变换，使帧差波形在频谱图上表现为一个尖峰，根据是否在频谱图上有尖峰以及尖峰的位置是否合理来判断是否存在闪烁。

下面以利用帧差波形进行闪烁检测为例进行说明，利用垂直波形进行闪烁检测的判断方法类似，只需省略掉其中计算帧差波形的步骤即可。闪烁检测主要包括以下流程：

流程一，读取当前帧，获取当前帧的垂直波形；

流程二，从内存中读取前一帧或者前几帧的垂直波形，取当前帧的垂直波形与历史帧的垂直波形的差，得到帧差波形；

流程三，对帧差波形进行频谱分析(如傅立叶变换)，得到帧差波形的频谱；

流程四，检测频谱上是否有峰值，如果有的话，判断峰值对应点的频率是否合理，也即判断峰值对应点的频率与理论峰值频率点的接近程度，根据接近程度来判断是否存在闪烁。

下面对上述各流程作详细说明。

●流程一中获取当前帧的垂直波形的步骤包括：

步骤110，读取一帧图像数据；

步骤120，求取亮度平面in_[i][j]，即一帧图像中每个像素点的亮度值，in_[i][j]是一个二维矩阵，其中i表示行坐标，j表示列坐标；

如果是灰度图像，则亮度就是灰度；如果是彩色图像，则通过颜色空间的变换，得到亮度。亮度在二维平面上的分布形成亮度平面，亮度平面可以用矩阵in来表示，in_[i][j]表示矩阵in中的第i行第j列位置的像素的亮度值。

步骤130，求取每一行像素的亮度值的平均值，包括以下步骤：

(1)选定列数，求取选定的列数间的每行亮度的平均值；

为了避免除法，我们选定的列数可以为2的n次方，比如512，这样求平均值的时候，就可以用向右移位来代替除法，降低硬件代价，减少计算量。

如图2所示，col_start和col_end分别表示起始列和结束列，在起始列和结束列之间的第1行(row1)到第N行(rowN)分别用来计算各行像素的亮度的平均值。求得各行亮度的平均值：avg_row1，avg_row2，...，avg_rowN，共HEIGHT个。

因为在一帧图像上，闪烁只在垂直方向有强度的变化，在水平方向是不变的。所以，在水平方向的累加可以增强闪烁信号，消除其它噪声干扰，提高信噪比。

(2)对一帧图像的每行亮度平均值avg_row1，avg_row2，...，avg_rowN做平滑(即低通滤波)和下采样获取一帧图像的垂直波形，该垂直波形的纵坐标为亮度，横坐标为垂直波形的数据点数(LEN_Y)：

LEN_Y＝HEIGHT/垂直采样率

其中，/表示整数除法，LEN_Y为垂直波形的长度，即垂直波形的数据点数；HEIGHT为图像的高度。

比如，图像高度为HEIGHT＝486，垂直采样率＝8，则LEN_Y＝486/8＝60。

对每行平均值做平滑可以消除波形中的毛刺，提高信噪比。采样率可以取为2的m次方，就可以用向右移位来代替除法运算。下采样不会改变波形，但可以减少数据量，从而减少内存和计算量。假设垂直采样率为8，则每8个avg_row为一组求平均得到一个垂直向量(或垂直波形)yn(i)，如图3所示。假设HEIGHT＝480，则yn数组包含60个元素。

本实施例中是平滑和下采样同时进行。相对于先平滑，再下采样的方法可以减少内存和提高速度。

●流程二，求帧差波形，即求当前帧的垂直波形和历史帧的垂直波形之间的差值：

求取当前帧k的垂直波形yn_k[1...LEN_Y]和紧邻前p(1≤p≤10)帧yn_k-p[1...LEN_Y]的帧差波形diff：

diff(i)＝yn_k(i)-yn_k-p(i)

其中，i＝1:LEN_Y。得到的帧差波形如图4所示。

适当的选取p值，可以增强闪烁的帧差波形。但p也不能太大，否则运动的干扰就有非常大的影响，因此，p值的范围取：1≤p≤10。当p＝1时，上式求取的是当前帧k的垂直波形yn_k[1...LEN_Y]和紧邻前1帧yn_k-1[1...LEN_Y]的帧差波形：diff(i)＝yn_k(i)-yn_k-1(i)。

求差可以消除场景内容的干扰，而使得闪烁的波形突显出来：因为在很短的时间内，认为前后帧的场景基本不变，而只有闪烁条纹在变化。前后帧相减就把场景内容给抵消掉了，而把条纹的闪动给凸显出来了。因此，该方法适用于任何复杂场景中的闪烁检测。

●流程三，对帧差波形进行频谱分析(如傅立叶变换)，得到帧差波形的频谱

垂直波形有周期性，当前帧的垂直波形和以前帧的垂直波形的差值形成的帧差波形也具有周期性。可以直接检测垂直波形的周期性，但不太可靠，容易受图像中场景内容的干扰。而检测帧差波形的周期性，这是比较可靠稳健的方法。

对一个信号检测其周期性，可以采用的方法有：过零点检测方法，数波峰波谷的方法等方法。但这些方法容易受噪声的干扰，要做到检测比较准确的话，需要加很多判断条件来约束，致使逻辑复杂。而通过傅立叶频谱分析方法可以有效消除或减轻帧差波形中的噪声干扰和运动引起的干扰(这些干扰一般是没有固定周期的)；而使得周期性的成分突出(闪烁引起的帧差波形是有固定周期的)。

帧差波形经过傅里叶变换后得到如图5所示的频谱图。由于是固定的周期，因此在整个频谱上只有一个峰值，且出现在固定的频率点上。另外，频谱分析不必对所有频率点都进行，只需求取某两个频率点上的频谱或以某两个频率点分别为中心的两个小范围内的几个频率点上的频谱就可以了，这是因为一般只有50hz和60hz两种交流电频率的干扰，因此可以极大的减少计算量。

●流程四，检测频谱上是否有峰值，如果有的话，判断峰值对应点的频率是否合理，也即判断峰值对应点的频率与理论峰值频率点的接近程度，根据接近程度来判断是否存在闪烁。

如果有闪烁存在，则帧差波形具有一个固定的周期：

$T\_\mathrm{flic\; ker}=\frac{\mathrm{Total}\_\mathrm{lines}*\mathrm{fps}}{2f}$ (行)                      (1)

其频率为：

$F\_\mathrm{flic\; ker}=\frac{\mathrm{Valid}\_\mathrm{lines}}{T\_\mathrm{flicker}}=\frac{\mathrm{Valid}\_\mathrm{lines}*2f}{\mathrm{Total}\_\mathrm{lines}*\mathrm{fps}}$ (赫兹)                    (2)

其中：

Total_lines为一帧图像中的所有行数；

Valid_lines为一帧图像中的有效行数；

fps为影像传感器输出的图像序列的帧率，单位为帧/秒；

f为交流电的频率。

对于某一环境下的某一个影像传感器，上述4个参数都是定值，因此帧差波形的周期T_flicker和频率F_flicker也是固定值。

对于50Hz交流电来说，其理论峰值频率点为

对于60Hz交流电来说，其理论峰值频率点为

例如，如图1(a)所示，从单帧图像上来看，条纹的周期性，就是在图像的垂直方向，明暗相间的条纹(一明一暗的条纹构成一个完整的波，明的为波峰，暗的为波谷。T_flicker就是这样一个波(所用的行数)出现了几次。比如图1(a)中，一个波(明的条纹和暗的条纹)的行数为140行，则T_flicker＝140，图像的valid_lines＝480行，则F_flicker＝480/140＝3.4，即在图像的垂直方向，出现了3.4个波。

理论峰值频率点的导出：

1、单帧垂直波形的周期频率公式的导出：

设交流电的频率为f，则由该交流电所产生的灯光的亮度变化可以如下表示：L(t)＝Asin²(2πft)                                    (3)

其中，A是振幅，f是交流电频率(一般是50或60hz)，t是时间，L是亮度。

在影像传感器上的当前帧某一行上从T0时刻开始曝光，曝光持续时间为IT，则在传感器上获得的信号g(T0)是：

$g\left(T_0\right)=\underset{T_0}{\overset{T_0+\mathrm{IT}}{\∫}}L\left(t\right)\mathrm{dt}---\left(4\right)$

$=\frac{A}{2}\mathrm{IT}-\frac{A}{4\mathrm{\πf}}\cos 2\mathrm{\πf}({2T}_0+\mathrm{IT})\sin \left(2\mathrm{\πfIT}\right)---\left(5\right)$

看等式(5)中的cos项：

设p(T₀)＝cos2πf(2T₀+IT)                                    (6)

由于T0是开始曝光的时间，而当前讨论的影像传感器是行曝光，因此，T0可以表示为以行为变量的函数：

$T_0=\frac{\mathrm{line}}{\mathrm{Total}\_\mathrm{lines}}\mathrm{FT}---\left(7\right)$

其中，line表示当前的行数，Total_lines表示一帧图像中的所有行数；FT表示产生一帧图像的时间。因此p(T0)就转化为p(line)，以行数为变量的函数：

$p\left(T_0\right)=p\left(\mathrm{line}\right)=\cos (2\mathrm{\πf}2\frac{\mathrm{line}}{\mathrm{Total}\_\mathrm{lines}}\mathrm{FT}+2\mathrm{\πfIT})---\left(8\right)$

则以line为变量的cos函数的周期为：

$T\_\mathrm{flicker}=\frac{2\mathrm{\π}}{2\mathrm{\πf}2\frac{\mathrm{FT}}{\mathrm{Total}\_\mathrm{lines}}}$

因此，闪烁在单帧垂直波形上的周期为

$T\_\mathrm{flicker}=\frac{\mathrm{Total}\_\mathrm{lines}}{2\mathrm{fFT}}---\left(9\right)$

由于FT和fps有如下关系：FT＝1/fps，因此，闪烁在单帧垂直波形上的周期为：

$T\_\mathrm{flic\; ker}=\frac{\mathrm{Total}\_\mathrm{lines}*\mathrm{fps}}{2f}---\left(10\right)$

T_flicker的物理单位为行。

闪烁在单帧垂直波形上的频率为：

$F\_\mathrm{flic\; ker}=\frac{\mathrm{Valid}\_\mathrm{lines}}{T\_\mathrm{flic\; ker}}=\frac{\mathrm{Valid}\_\mathrm{lines}*2f}{\mathrm{Total}\_\mathrm{lines}*\mathrm{fps}}---\left(11\right)$

F_flicker的物理单位为赫兹。

其中，Valid_lines表示一帧图像中的有效行数，如图6所示，有效行数是指有有效像素的行的行数；垂直空(V blank)：指在垂直方向的空像素；水平空(H blank)：指在水平方向的空像素；有效像素指有实际的像素输出；空像素(blank)指没有实际的像素输出，只是占着这一个空位置而已，作用是可以进行时间上的等待和延迟。

对于一定的影像传感器，在固定帧率(fps)下，其Valid_lines，Total_lines是固定值。在某个环境下，其交流电的频率f也是固定值。因此，F_flicker也是固定值。

2、闪烁在帧差波形上的周期，频率公式的导出：

帧差波形可以表示如下：

$\mathrm{diff}\left(T_0\right)=\underset{T_0}{\overset{T_0+\mathrm{IT}}{\∫}}L\left(t\right)\mathrm{dt}-\underset{T_0+\mathrm{FT}}{\overset{T_0+\mathrm{FT}+\mathrm{IT}}{\∫}}L\left(t\right)\mathrm{dt}---\left(12\right)$

$=-\frac{A}{2\mathrm{\πf}}\sin 2\mathrm{\π}\mathrm{fIT}\sin 2\mathrm{\π}\mathrm{fFT}\sin 2\mathrm{\πf}(2T_0+\mathrm{FT}+\mathrm{IT})---\left(13\right)$

其中，T0为开始曝光的时间，IT为曝光的持续时间，FT为产生一帧数据的时间。

看关于T0部分的sin项：

设p(T₀)＝sin2πf(2T₀+FT+IT)                                   (14)

因此，闪烁在帧差波形上的周期和频率和闪烁在单帧图像垂直波形上的周期和频率完全一样：

$T\_\mathrm{flic\; ker}=\frac{\mathrm{Total}\_\mathrm{lines}*\mathrm{fps}}{2f}---\left(15\right)$

T_flicker的物理单位为行。

$F\_\mathrm{flic\; ker}=\frac{\mathrm{Valid}\_\mathrm{lines}}{T\_\mathrm{flic\; ker}}=\frac{\mathrm{Valid}\_\mathrm{lines}*2f}{\mathrm{Total}\_\mathrm{lines}*\mathrm{fps}}---\left(16\right)$

F_flicker的物理单位为赫兹。

由上述推导结果可以看出，闪烁在单帧垂直波形的周期(公式10)与闪烁在帧差波形上的周期(公式15)相同，闪烁在单帧垂直波形的频率(公式11)与闪烁在帧差波形上的周期(公式16)相同。因此既可以通过帧差图像的处理判断是否有闪烁，也可以仅通过单帧图像的处理判断是否有闪烁。通过单帧图像进行判断适用于图像中没有复杂背景干扰的情况，由于只需对一帧图像进行处理，更加高效和节省内存。

检测频谱上是否有峰值，如果没有，就说明没有闪烁；如果有的话，峰值对应点的频率是否符合理论峰值点的位置：

方法一：计算所有频率点上的频谱，找出峰值点的振幅值及其对应的频率点，

(1)如果振幅值小于阈值TH，则输出没有闪烁的结果；

(2)如果振幅值大于等于TH，并且峰值点对应的频率落在对应于由50Hz或60hz交流电所确定的理论峰值频率的预定范围内，则输出有闪烁的结果。

a，如果频谱峰值点对应的频率与50hz交流电所对应的理论峰值频率之差在预定的范围内，则输出闪烁是由50hz交流电引起的判断结果；

b，如果频谱峰值点对应的频率与60hz交流电所对应的理论峰值频率之差在预定的范围内，则输出闪烁是由60hz交流电引起的判断结果；

(3)如果振幅值大于等于TH，并且峰值点对应的频率落在对应于50Hz或60hz交流电所确定的理论峰值频率的预定范围外，则输出没有闪烁的结果。

也就是说，如果振幅值小于阈值，则判断为无闪烁；如果振幅值大于等于阈值，且判断峰值点对应的频率如果满足下列条件之一，则判断有闪烁，否则判断无闪烁：峰值点对应的频率落在以50Hz交流电的理论峰值频率为中心的预定范围内；峰值点对应的频率落在以60hz交流电的理论峰值频率为中心的预定范围内。

方法二：计算对应于以50Hz交流电的理论峰值频率点为中心的预定范围内的若干频率点的频谱，和以60hz交流电的理论峰值频率点为中心的预定范围内的若干频率点的频谱，找出两个范围内的最大值即峰值点即该峰值点对应的频率，判断其振幅值与阈值TH的大小：

(1)如果大于TH，则输出有闪烁的结果；

a，如果频谱峰值点对应的频率与50hz交流电所对应的理论峰值频率之差在预定的范围内，则输出闪烁是由50hz交流电引起的判断结果；

b，如果频谱峰值点对应的频率与60hz交流电所对应的理论峰值频率点之差在预定的范围内，则输出闪烁是由60hz交流电引起的判断结果；

(2)如果小于TH，则输出没有闪烁的结果。

TH为可设定的阈值参数，范围的大小为可配置参数，根据经验和实验得到。

上述方法二是对方法一的简化，其实施起来更节省计算量和硬件代价。但方法一比方法二的搜索范围更大，漏判概率较小。

例如，在频谱上有峰值，设峰值对应的频率点：f1；设50hz对应的理论的峰值频率点(根据公式11或公式16可以计算得到)为：f2；设60hz对应的理论的峰值频率点(根据公式11或公式16可以计算得到)：f3；判断f1是否与f2或f3接近，根据接近程度来判断是否存在闪烁，如果存在，是由50Hz或60hz哪种类型的电流引起的：

如果f1与f2接近，则输出闪烁是由50hz交流电引起的判断结果；

如果f1与f3接近，则输出闪烁是由60hz交流电引起的判断结果；

如果f1与f2或f3都不接近，则输出没有闪烁的结果。

如图7所示，实现上述方法的装置包括波形获取单元、频谱分析单元、闪烁判断单元，其中：

波形获取单元，用于读取当前帧，获取当前帧的垂直波形，将获取的波形发送至所述频谱分析单元；

频谱分析单元，用于对所述波形获取单元发送的波形进行频谱分析(优选为傅里叶变换)，并将分析结果发送给所述闪烁判断单元；

闪烁判断单元，用于对所述频谱分析单元发送的频谱分析结果进行判断，如果频谱上有峰值，则根据峰值对应点的频率与理论峰值频率点的接近程度来判断是否存在闪烁。

优选地，波形获取单元，还用于在获取当前帧的垂直波形后，计算当前帧的垂直波形与历史帧的垂直波形的差即帧差波形，并将所述帧差波形发送至所述频谱分析单元。

该波形获取单元进一步包括图像读取单元、计算单元、低通滤波和下采样单元，其中：所述图像读取单元用于以帧为单位读取图像数据，将读取后的图像数据送所述计算单元处理；所述计算单元用于求取所述图像每个像素的亮度，以及用于求取预先选定的列数(优选列数为2的n次方)间的每行亮度的平均值，将所述平均值送所述低通滤波和下采样单元处理；所述低通滤波和下采样单元用于对一帧图像的每行亮度平均值同时做低通滤波和下采样，获取一帧图像的垂直波形，垂直波形数据点数LEN_Y＝图像的高度/垂直采样率。

上述波形获取单元通过下式求取当前帧k的垂直波形yn_k和紧邻前p帧yn_k-p的帧差波形diff：diff(i)＝yn_k(i)-yn_k-p(i)，其中，i＝1:LEN_Y，1≤p≤10。

所述频谱分析单元进一步计算单元用于计算波形各频率点上的频谱，找出峰值点的振幅值及其对应的频率点；所述闪烁判断单元进一步用于根据频谱上峰值点的振幅值及其对应的频率点进行以下判断：如果振幅值小于阈值，则输出无闪烁的结果；如果振幅值大于等于阈值，判断峰值点对应的频率如果满足下列条件之一，则输出有闪烁的结果，否则输出无闪烁的结果：所述峰值点对应的频率落在以50Hz交流电的理论峰值频率为中心的预定范围内；所述峰值点对应的频率落在以60hz交流电的理论峰值频率为中心的预定范围内。

或者上述闪烁判断单元采用以下方式实现：所述频谱分析单元用于计算以50Hz交流电的理论峰值频率点为中心的预定范围内的若干频率点的频谱，和以60hz交流电的理论峰值频率点为中心的预定范围内的若干频率点的频谱，找出峰值点对应的振幅值；闪烁判断单元用于判断所述振幅值与阈值的大小，如果判断振幅值大于阈值，则输出有闪烁的结果；如果判断振幅值小于阈值，则输出无闪烁的结果。

本发明所述方法是一种非破坏性的检测方法，不需要改变参数，不会影响图像。通过对每行平均值的垂直方向同时进行低通滤波和下采样获得垂直波形，可节省内存和计算量。将相邻的前后两帧或相隔若干帧的两帧的垂直波形相减得到帧差波形，只需要保留前一帧或前p帧的垂直波形数据，而不是前一帧的所有数据，可以极大的减少内存。通过分析帧差波形从而避免单帧图像上的闪烁的垂直波形容易受场景内容的干扰的缺点。对帧差波形进行频谱分析，通过判断峰值的有无，来判断图像序列中闪烁的有无；通过进一步判断峰值所对应频率，判断出是50或60hz的交流电。从而就可以通过改变曝光为1/120s或1/100s的整数倍来消除闪烁。

Claims (18)

1、一种闪烁检测方法，其特征在于，

读取当前帧，获取当前帧的垂直波形；

对垂直波形进行频谱分析，或者对当前帧的垂直波形与历史帧的垂直波形的差即帧差波形进行频谱分析，如果频谱上有峰值，则根据峰值对应点的频率与理论峰值频率点的接近程度来判断是否存在闪烁。

2、如权利要求1所述的方法，其特征在于，帧的垂直波形的获取方法包括：

读取一帧图像数据，求取该帧图像数据每个像素的亮度；

选定列数，求取选定的列数间的每行亮度的平均值；

对一帧图像的每行亮度平均值做低通滤波和下采样，获取一帧图像的垂直波形，垂直波形数据点数LEN_Y＝图像的高度/垂直采样率。

3、如权利要求2所述的方法，其特征在于，

对一帧图像的每行亮度平均值同时做低通滤波和下采样。

4、如权利要求2所述的方法，其特征在于，

所述选定列的个数为2的n次方。

5、如权利要求2所述的方法，其特征在于，

通过下式求取当前帧k的垂直波形yn_k和紧邻前p帧yn_k-p的帧差波形diff：diff(i)＝yn_k(i)-yn_k-p(i)，其中，i的取值范围是1≤i≤LEN_Y，p的取值范围是1≤p≤10。

6、如权利要求1所述的方法，其特征在于，

进行频谱分析时，计算垂直波形或帧差波形的各频率点上的频谱，根据频谱上峰值点的振幅值及其对应的频率点判断：

如果振幅值小于阈值，则输出无闪烁的结果；

如果振幅值大于等于阈值，判断峰值点对应的频率如果满足下列条件之一，则输出有闪烁的结果，否则输出无闪烁的结果：

所述峰值点对应的频率落在以50Hz交流电的理论峰值频率为中心的预定范围内；

所述峰值点对应的频率落在以60hz交流电的理论峰值频率为中心的预定范围内。

7、如权利要求1所述的方法，其特征在于，

进行频谱分析时，计算以50Hz交流电的理论峰值频率点为中心的预定范围内的若干频率点的频谱，和以60hz交流电的理论峰值频率点为中心的预定范围内的若干频率点的频谱，找出峰值点，判断其振幅值与阈值的大小：

如果大于阈值，则输出有闪烁的结果；

如果小于阈值，则输出无闪烁的结果。

8、如权利要求6或7所述的方法，其特征在于，当判断有闪烁时，进一步判断：

如果频谱峰值点对应的频率与50hz交流电所对应的理论峰值频率之差在预定的范围内，则输出闪烁是由50hz交流电引起的判断结果；

如果频谱峰值点对应的频率与60hz交流电所对应的理论峰值频率之差在预定的范围内，则输出闪烁是由60hz交流电引起的判断结果。

9、如权利要求1或6或7所述的方法，其特征在于，所述理论峰值频率点为：

$F\_\mathrm{flic\; ker}=\frac{\mathrm{Valid}\_\mathrm{lines}*2f}{\mathrm{Total}-\mathrm{lines}*\mathrm{fps}}$

其中，Total_lines为一帧图像中的所有行数；Valid_lines为一帧图像中的有效行数；fps为影像传感器输出的图像序列的帧率，单位为帧/秒；f为交流电的频率。

10、如权利要求1或6或7所述的方法，其特征在于，

所述对垂直波形进行频谱分析，或者对帧差波形进行频谱分析是指：对垂直波形或者对帧差波形进行傅里叶变换。

11、一种闪烁检测装置，其特征在于，包括波形获取单元、频谱分析单元、闪烁判断单元，其中：

所述波形获取单元，用于读取当前帧，获取当前帧的垂直波形，将获取的波形发送至所述频谱分析单元；

所述频谱分析单元，用于对所述波形获取单元发送的波形进行频谱分析，并将分析结果发送给所述闪烁判断单元；

所述闪烁判断单元，用于对所述频谱分析单元发送的频谱分析结果进行判断，如果频谱上有峰值，则根据峰值对应点的频率与理论峰值频率点的接近程度来判断是否存在闪烁。

12、如权利要求11所述的装置，其特征在于，

所述波形获取单元，还用于在获取当前帧的垂直波形后，计算当前帧的垂直波形与历史帧的垂直波形的差即帧差波形，并将所述帧差波形发送至所述频谱分析单元。

13、如权利要求11或12所述的装置，其特征在于，所述波形获取单元进一步包括图像读取单元、计算单元、低通滤波和下采样单元，其中：

所述图像读取单元，用于以帧为单位读取图像数据，将读取后的图像数据送至所述计算单元处理；

所述计算单元，用于求取所述图像每个像素的亮度，以及用于求取预先选定的列数间的每行亮度的平均值，将所述平均值送至所述低通滤波和下采样单元处理；

所述低通滤波和下采样单元，用于对一帧图像的每行亮度平均值同时做低通滤波和下采样，获取一帧图像的垂直波形，垂直波形数据点数LEN_Y＝图像的高度/垂直采样率。

14、如权利要求13所述的装置，其特征在于，

所述选定列的个数为2的n次方。

15、如权利要求12所述的装置，其特征在于，

所述波形获取单元通过下式求取当前帧k的垂直波形yn_k和紧邻前p帧yn_k-p的帧差波形diff：diff(i)＝yn_k(i)-yn_k-p(i)，其中，i的取值范围是1≤i≤LEN_Y，p的取值范围是1≤p≤10。

16、如权利要求11或12所述的装置，其特征在于，

所述频谱分析单元进行的频谱分析为傅里叶变换。

17、如权利要求11或12所述的装置，其特征在于，

所述频谱分析单元，进一步用于计算波形各频率点上的频谱，找出峰值点的振幅值及其对应的频率点；

所述闪烁判断单元，进一步用于根据频谱上峰值点的振幅值及其对应的频率点进行以下判断：

如果振幅值小于阈值，则输出无闪烁的结果；

如果振幅值大于等于阈值，判断峰值点对应的频率如果满足下列条件之一，则输出有闪烁的结果，否则输出无闪烁的结果：所述峰值点对应的频率落在以50Hz交流电的理论峰值频率为中心的预定范围内；所述峰值点对应的频率落在以60hz交流电的理论峰值频率为中心的预定范围内。

18、如权利要求11或12所述的装置，其特征在于，

所述频谱分析单元，进一步用于计算以50Hz交流电的理论峰值频率点为中心的预定范围内的若干频率点的频谱，和以60hz交流电的理论峰值频率点为中心的预定范围内的若干频率点的频谱，找出峰值点对应的振幅值；

所述闪烁判断单元，进一步用于判断所述振幅值与阈值的大小，如果判断振幅值大于阈值，则输出有闪烁的结果；如果判断振幅值小于阈值，则输出无闪烁的结果。

Images