CN104301618A - 闪烁检测方法和闪烁检测设备 - Google Patents
闪烁检测方法和闪烁检测设备 Download PDFInfo
- Publication number
- CN104301618A CN104301618A CN201310305752.4A CN201310305752A CN104301618A CN 104301618 A CN104301618 A CN 104301618A CN 201310305752 A CN201310305752 A CN 201310305752A CN 104301618 A CN104301618 A CN 104301618A
- Authority
- CN
- China
- Prior art keywords
- row
- mean
- frame
- frequency
- flicker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 239000013598 vector Substances 0.000 claims abstract description 316
- 230000033001 locomotion Effects 0.000 claims description 71
- 238000001514 detection method Methods 0.000 claims description 59
- 230000008901 benefit Effects 0.000 claims description 41
- 238000004364 calculation method Methods 0.000 claims description 35
- 238000005070 sampling Methods 0.000 claims description 25
- 230000011218 segmentation Effects 0.000 claims description 16
- 230000008878 coupling Effects 0.000 claims description 15
- 238000010168 coupling process Methods 0.000 claims description 15
- 238000005859 coupling reaction Methods 0.000 claims description 15
- 238000010276 construction Methods 0.000 claims description 8
- 230000013011 mating Effects 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 17
- 238000013461 design Methods 0.000 description 10
- 238000000205 computational method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000006854 communication Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 108010001267 Protein Subunits Proteins 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Picture Signal Circuits (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了闪烁检测方法和闪烁检测设备。该方法包括:计算图像帧选定行的平均值,构成平均值向量;计算当前帧与前一帧的平均值向量的差分向量;计算差分向量的每个元素减去其直流分量的去直流差向量;构建具有第一频率且相差90度的第一和第二方波、具有第二频率且相差90度的第三和第四方波,第一至第四方波每一个具有特定的每周期元素数并与去直流差向量等长;计算去直流差向量和第一方波点乘的绝对值与其和第二方波点乘的绝对值之和,作为第一频率参考值;计算去直流差向量和第三方波点乘的绝对值与其和第四方波点乘的绝对值之和,作为第二频率参考值;如果第一与第二频率参考值的差别大于阈值,则判断当前帧中存在闪烁;否则不存在闪烁。
Description
技术领域
本发明一般地涉及信号处理。具体而言,本发明涉及一种能够检测图像帧序列中的闪烁的方法和设备。
背景技术
近年来,CMOS图像传感器广泛地应用于各种图像捕获设备,如数码相机、数字摄像机、移动电话等。由于在光电转换过程中,每一个像素或每一行像素的光电转换时刻不一致,所以捕获图像中会存在亮暗的水平条带,尤其是在荧光灯照明或者亮度周期性变化的其他照明条件下进行图像捕获的情况下。这种因照明光存在周期性变化而导致的捕获图像中的水平条带被称作闪烁(flicker)。
可以根据闪烁的频率合理地设置曝光时间,来抑制甚至消除捕获图像中的闪烁。这就需要检测闪烁的存在和闪烁的频率。
传统的用于检测闪烁的存在及其频率的方法存在检测的准确率和检出率不高、受到图像帧序列中的运动影响大的缺点。
因此,期望一种闪烁检测方法和设备,其能够高效、准确地检测图像帧序列中的闪烁,并且进一步地可以较小地受到图像帧序列中的运动的影响。
发明内容
在下文中给出了关于本发明的简要概述,以便提供关于本发明的某些方面的基本理解。应当理解,这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分,也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念,以此作为稍后论述的更详细描述的前序。
本发明的目的是针对现有技术的上述问题,提出了一种能够高效、准确地检测图像帧序列中的闪烁的方法和设备。根据本发明的优选实施例的闪烁检测方法和设备还可以较小地受到图像帧序列中的运动的影响。
为了实现上述目的,根据本发明的一个方面,提供了一种闪烁检测方法,用于检测图像帧序列中的闪烁,该方法包括:计算图像帧的选定行的平均值,所计算的平均值按行的顺序构成平均值向量mean_row(k);计算当前帧的平均值向量mean_row(k)与前一帧的平均值向量mean_row(k-1)的差分向量diff_frame(k);计算所述差分向量diff_frame(k)的每个元素减去所述差分向量diff_frame(k)的直流分量而得到的去直流差向量diff_mean_row(k);构建具有第一频率且相位相差90度的第一方波和第二方波、以及具有与第一频率不同的第二频率且相位相差90度的第三方波和第四方波,所述第一至第四方波的每一个具有特定的每周期元素数并且与所述去直流差向量diff_mean_row(k)等长;计算所述去直流差向量diff_mean_row(k)和所述第一方波点乘的绝对值与所述去直流差向量diff_mean_row(k)和所述第二方波点乘的绝对值之和,作为第一频率参考值;计算所述去直流差向量diff_mean_row(k)和所述第三方波点乘的绝对值与所述去直流差向量diff_mean_row(k)和所述第四方波点乘的绝对值之和,作为第二频率参考值;如果所述第一频率参考值与所述第二频率参考值的差别大于预定差别阈值,则判断为当前帧中存在闪烁;否则,判断为当前帧中不存在闪烁。
根据本发明的另一个方面,提供了一种闪烁检测设备,用于检测图像帧序列中的闪烁,该设备包括:平均值向量计算装置,其被配置为:计算图像帧的选定行的平均值,所计算的平均值按行的顺序构成平均值向量mean_row(k);差分向量计算装置,其被配置为:计算当前帧的平均值向量mean_row(k)与前一帧的平均值向量mean_row(k-1)的差分向量diff_frame(k);去直流差向量计算装置,其被配置为:计算所述差分向量diff_frame(k)的每个元素减去所述差分向量diff_frame(k)的直流分量而得到的去直流差向量diff_mean_row(k);方波构建装置,其被配置为:构建具有第一频率且相位相差90度的第一方波和第二方波、以及具有与第一频率不同的第二频率且相位相差90度的第三方波和第四方波,所述第一至第四方波的每一个具有特定的每周期元素数并且与所述去直流差向量diff_mean_row(k)等长;第一频率参考值计算装置,其被配置为:计算所述去直流差向量diff_mean_row(k)和所述第一方波点乘的绝对值与所述去直流差向量diff_mean_row(k)和所述第二方波点乘的绝对值之和,作为第一频率参考值;第二频率参考值计算装置,其被配置为:计算所述去直流差向量diff_mean_row(k)和所述第三方波点乘的绝对值与所述去直流差向量diff_mean_row(k)和所述第四方波点乘的绝对值之和,作为第二频率参考值;闪烁判断装置,其包括存在判断单元,所述存在判断单元被配置为:在所述第一频率参考值与所述第二频率参考值的差别大于预定差别阈值的情况下,判断为当前帧中存在闪烁;在所述第一频率参考值与所述第二频率参考值的差别小于或等于预定差别阈值的情况下,判断为当前帧中不存在闪烁。
另外,根据本发明的另一方面,还提供了一种存储介质。所述存储介质包括机器可读的程序代码,当在信息处理设备上执行所述程序代码时,所述程序代码使得所述信息处理设备执行根据本发明的上述方法。
此外,根据本发明的再一方面,还提供了一种程序产品。所述程序产品包括机器可执行的指令,当在信息处理设备上执行所述指令时,所述指令使得所述信息处理设备执行根据本发明的上述方法。
附图说明
参照下面结合附图对本发明实施例的说明,会更加容易地理解本发明的以上和其它目的、特点和优点。附图中的部件只是为了示出本发明的原理。在附图中,相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。附图中:
图1示出了根据本发明第一实施例的闪烁检测方法的流程图;
图2示出了具有第一频率100hz且相位相差90度的第一组方波SqWv10和SqWv11、以及具有第二频率120hz且相位相差90度的第二组方波SqWv20和SqWv21;
图3示出了根据本发明第二实施例的闪烁检测方法的流程图;
图4示出了根据本发明第三实施例的闪烁检测方法的流程图;
图5示出了根据本发明的第四实施例的闪烁检测方法的有运动情况下的去直流差向量的计算方法的流程图;
图6示出了根据本发明实施例的闪烁检测设备的结构方框图;以及
图7示出了可用于实施根据本发明实施例的方法和设备的计算机的示意性框图。
具体实施方式
在下文中将结合附图对本发明的示范性实施例进行详细描述。为了清楚和简明起见,在说明书中并未描述实际实施方式的所有特征。然而,应该了解,在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定,以便实现开发人员的具体目标,例如,符合与系统及业务相关的那些限制条件,并且这些限制条件可能会随着实施方式的不同而有所改变。此外,还应该了解,虽然开发工作有可能是非常复杂和费时的,但对得益于本公开内容的本领域技术人员来说,这种开发工作仅仅是例行的任务。
在此,还需要说明的一点是,为了避免因不必要的细节而模糊了本发明,在附图中仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤,而省略了与本发明关系不大的其他细节。另外,还需要指出的是,在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。
下面将参照图1描述根据本发明的第一实施例的闪烁检测方法的流程。
图1示出了根据本发明第一实施例的闪烁检测方法的流程图。如图1所示,根据本发明的闪烁检测方法,包括如下步骤:计算图像帧的选定行的平均值,所计算的平均值按行的顺序构成平均值向量mean_row(k)(步骤S1);计算当前帧的平均值向量mean_row(k)与前一帧的平均值向量mean_row(k-1)的差分向量diff_frame(k)(步骤S2);计算所述差分向量diff_frame(k)的每个元素减去所述差分向量diff_frame(k)的直流分量而得到的去直流差向量diff_mean_row(k)(步骤S3);构建具有第一频率且相位相差90度的第一方波和第二方波、以及具有与第一频率不同的第二频率且相位相差90度的第三方波和第四方波,所述第一至第四方波的每一个具有特定的每周期元素数并且与所述去直流差向量diff_mean_row(k)等长(步骤S4);计算所述去直流差向量diff_mean_row(k)和所述第一方波点乘的绝对值与所述去直流差向量diff_mean_row(k)和所述第二方波点乘的绝对值之和,作为第一频率参考值(步骤S5);计算所述去直流差向量diff_mean_row(k)和所述第三方波点乘的绝对值与所述去直流差向量diff_mean_row(k)和所述第四方波点乘的绝对值之和,作为第二频率参考值(步骤S6);如果所述第一频率参考值与所述第二频率参考值的差别大于预定差别阈值,则判断为当前帧中存在闪烁,否则,判断为当前帧中不存在闪烁(步骤S7)。
下面对本发明的第一实施例的闪烁检测方法的各个步骤做具体说明。
本发明的闪烁检测方法处理的对象是由灰度图像组成的图像帧序列,其能够根据当前帧和在当前帧之前的帧的信息,判断当前帧中是否存在闪烁,并可进一步判断闪烁的频率。
如果图像帧序列中的图像帧是彩色图像,需要进行预处理,将彩色图像转换为灰度图像。彩色图像到灰度图像的转换可以采用本领域的任何已知方法,这对于本领域技术人员是熟知的手段,在此不再赘述。
在步骤S1中,计算图像帧的选定行的平均值,所计算的平均值按行的顺序构成平均值向量mean_row(k)。
一个图像帧,即一幅图像,由很多像素组成。这些组成像素按行和列布置。假设图像帧的高度为height,宽度为width,则该图像帧具有height行、width列的像素。
图像帧的选定行可以是图像帧的所有行,也可以是对图像帧均匀采样得到的采样行。利用采样行进行计算可以有效地降低计算量,提高处理速度。在下文中,将以采样行为例进行描述。
例如,可以对图像帧进行采样,以使得图像帧的选定行的个数统一为256。相应地,采样间隔可以如下公式计算:
采样间隔interval=floor(height/256)。
其中floor()为向下取整函数。height为图像帧的高度。应注意,此处256仅为示例。本领域技术人员可以根据系统的设计需要灵活地选择采样行的个数。
采样行的第i行,也即图像帧的第iRow行为:iRow=(i-1)×floor(height/256)+1。
假设frame(k,Row,Col)为第k帧第Row行第Col列的数据。k为帧的序号,取值为正整数;Row和Col分别为行和列的序号,取值也是正整数。
通过对第k个图像帧的每一选定行的所有像素的像素值取平均,得到选定行的平均值,图像帧的所有选定行的平均值按行的顺序排列构成图像帧的平均值向量mean_row(k)。
第k帧第i个采样行的平均值可以表示为mean_row(k,i)=mean(frame(k,iRow,:))。其中,mean()为取平均函数,符号“:”表示所有列。
在步骤S2中,计算当前帧的平均值向量mean_row(k)与前一帧的平均值向量mean_row(k-1)的差分向量diff_frame(k)。
也即,diff_frame(k)=mean_row(k)-mean_row(k-1)。
不言自明的是这一步执行的前提是当前帧是图像帧序列的第二帧或之后的帧,即存在当前帧的前一帧。
假设每帧进行行采样的结果是256个采样行,则mean_row(k)的元素个数是256。相应地,差分向量diff_frame(k)的元素个数也是256。
在步骤S3中,计算差分向量diff_frame(k)的每个元素减去所述差分向量diff_frame(k)的直流分量而得到的去直流差向量diff_mean_row(k)。
也即,diff_mean_row(k)=diff_frame(k)-mean(diff_frame(k))。
mean(diff_frame(k))表示差分向量diff_frame(k)的直流分量,可以通过对差分向量diff_frame(k)的所有元素取平均值而获得。
由于不同帧的数据存在差别,尤其是直流分量的差别较大,所以去掉直流分量可以使得去直流差向量的元素的数值相对较小,并且不同帧的去直流差向量具有较强的可比性,有利于统一地设计后续步骤中使用的各个阈值。
在步骤S4中,构建具有第一频率且相位相差90度的第一方波和第二方波(SqWv10和SqWv11)、以及具有与第一频率不同的第二频率且相位相差90度的第三方波和第四方波(SqWv20和SqWv21),所述第一至第四方波的每一个具有特定的每周期元素数并且与所述去直流差向量diff_mean_row(k)等长。
以荧光灯的照射环境为例,产生闪烁的原因就在于交流电存在频率。目前,商用的交流电在世界范围的常见频率是50hz和60hz。因此,闪烁可能的频率(目标频率)是100hz和120hz。
构建方波就是要构建具有目标频率且相位相差90度的方波对。有几个目标频率就可以设计几组方波对。通过将去直流差向量与各组方波对进行比对,可以判断出闪烁的存在和频率。
在商用交流电供电的荧光灯的情况下,第一频率、第二频率可以分别等于100hz和120hz。
本领域技术人员可以根据设计需要和应用场景,灵活地调整方波对的个数和方波具有的频率。
方波设计的另外两个限制条件是方波的每一个具有特定的每周期元素数并且与去直流差向量diff_mean_row(k)等长。
方波与去直流差向量diff_mean_row(k)等长是为了符合后续的点乘计算的计算条件。
方波的元素是半周期的1和半周期的0。方波的每周期元素数是指方波在每个周期内的元素的个数,也就是方波的一个周期内的1和0的总个数。方波的每周期元素数与图像帧的高度、帧率、行采样间隔、以及方波频率相关。
例如,方波的每周期元素数CycleElm可以通过如下公式计算:
CycleElm=floor((height·FPS)/(floor(height/256)·frequency))
其中,FPS指图像帧的帧率,frequency指方波频率,如上所述,floor()是向下取整函数,height是图像帧的高度,floor(height/256)是行采样间隔。
图2示出了具有第一频率100hz且相位相差90度的第一组方波SqWv10和SqWv11、以及具有第二频率120hz且相位相差90度的第二组方波SqWv20和SqWv21。
在步骤S5中,计算去直流差向量diff_mean_row(k)和第一方波SqWv10点乘的绝对值与去直流差向量diff_mean_row(k)和第二方波SqWv11点乘的绝对值之和,作为第一频率参考值。
也即,第一频率参考值sum_Sqr_F1(k)可通过下式计算。
sum_Sqr_F1(k)=|∑diff_mean_row(k)·SqWv10|+|∑diff_mean_row(k)·SqWv11|。
类似地,在步骤S6中,计算去直流差向量diff_mean_row(k)和第三方波SqWv20点乘的绝对值与去直流差向量diff_mean_row(k)和第四方波SqWv21点乘的绝对值之和,作为第二频率参考值。
也即,第二频率参考值sum_Sqr_F2(k)可通过下式计算。
sum_Sqr_F2(k)=|∑diff_mean_row(k)·SqWv20|+|∑diff_mean_row(k)·SqWv21|。
在步骤S7中,进行判断。如果第一频率参考值与第二频率参考值的差别大于预定差别阈值,则判断为当前帧中存在闪烁;否则,判断为当前帧中不存在闪烁。
也就是说,第一频率参考值和第二频率参考值反映了当前帧中可能存在的闪烁的频率与第一频率和第二频率的相关度。
当第一频率参考值、第二频率参考值中的一个与另一个的差别足够大时,认为当前帧中存在闪烁,因为预期闪烁的频率为两者之一。
否则,即当第一频率参考值与第二频率参考值没有明显差别时,认为当前帧中不存在闪烁,这也是因为预期闪烁的频率为两者之一。
并且,在判断为存在闪烁的情况下,可以进一步判断闪烁的频率。
如果第一频率参考值大于第二频率参考值,则判断为闪烁的频率为第一频率;如果第二频率参考值大于第一频率参考值,则判断为闪烁的频率为第二频率。
也就是说,当第一频率参考值比第二频率参考值大得多时,判断为存在第一频率的闪烁;当第二频率参考值比第一频率参考值大得多时,判断为存在第二频率的闪烁;当第一频率参考值与第二频率参考值相差不大时,判断为不存在闪烁。
表征第一频率参考值和第二频率参考值的差别的方法可以是本领域技术人员灵活设计的。例如,可以使用如下的优选方式。
计算第一频率参考值sum_Sqr_F1(k)和第二频率参考值sum_Sqr_F2(k)的差的绝对值diff_sum_Sqr(k)如下:
diff_sum_Sqr(k)=|sum_Sqr_F2(k)-sum_Sqr_F1(k)|。
计算第一频率参考值sum_Sqr_F1(k)和第二频率参考值sum_Sqr_F2(k)的最大值与最小值之比div_sum_Sqr(k)如下:
根据下式计算第一级的判断结果FLFD(k):
其中,&&表示并且,Fre1表示判断结果为存在第一频率的闪烁,Fre2表示判断结果为存在第二频率的闪烁,Thre_div、Thre_diff表示相应的阈值,none表示不存在闪烁,else表示其它情况。Thre_div可取大于1的数,Thre_diff可取大于1的数。
在本发明的第一实施例中,采用一级判断方法,直接判断出闪烁的存在和频率。在第二实施例中,综合数帧的初级判断结果,进一步综合判断,以得到更准确的判断结果。
下面将参照图3描述根据本发明的第二实施例的闪烁检测方法的流程。
图3示出了根据本发明第二实施例的闪烁检测方法的流程图。如图3所示,根据本发明的闪烁检测方法,包括如下步骤:计算图像帧的选定行的平均值,所计算的平均值按行的顺序构成平均值向量mean_row(k)(步骤S31);计算当前帧的平均值向量mean_row(k)与前一帧的平均值向量mean_row(k-1)的差分向量diff_frame(k)(步骤S32);计算所述差分向量diff_frame(k)的每个元素减去所述差分向量diff_frame(k)的直流分量而得到的去直流差向量diff_mean_row(k)(步骤S33);构建具有第一频率且相位相差90度的第一方波和第二方波、以及具有与第一频率不同的第二频率且相位相差90度的第三方波和第四方波,所述第一至第四方波的每一个具有特定的每周期元素数并且与所述去直流差向量diff_mean_row(k)等长(步骤S34);计算所述去直流差向量diff_mean_row(k)和所述第一方波点乘的绝对值与所述去直流差向量diff_mean_row(k)和所述第二方波点乘的绝对值之和,作为第一频率参考值(步骤S35);计算所述去直流差向量diff_mean_row(k)和所述第三方波点乘的绝对值与所述去直流差向量diff_mean_row(k)和所述第四方波点乘的绝对值之和,作为第二频率参考值(步骤S36);如果所述第一频率参考值与所述第二频率参考值的差别大于预定差别阈值,则初步判断为当前帧中存在闪烁,否则,初步判断为当前帧中不存在闪烁(步骤S37);对于当前帧、前一帧、前两帧的三个初级判断结果,如果其中至少两个判断结果为存在第一频率的闪烁,且其中不存在第二频率的闪烁,则进一步判断为当前帧中存在第一频率的闪烁;如果其中至少两个判断结果为存在第二频率的闪烁,且其中不存在第一频率的闪烁,则进一步判断为当前帧中存在第二频率的闪烁;否则,进一步判断为当前帧中不存在闪烁(步骤S38)。
本发明的第二实施例的步骤S31-S37与第一实施例的步骤S1-S7完全相同,其区别在于基于步骤S31-S37的初步(第一级)判断结果,进一步综合判断(步骤S38)。
也即,在步骤S38中,同时参考当前帧、前一帧、前两帧的三个初级判断结果。如果其中至少两个判断结果为存在第一频率的闪烁,且其中不存在第二频率的闪烁,则进一步判断为当前帧中存在第一频率的闪烁;如果其中至少两个判断结果为存在第二频率的闪烁,且其中不存在第一频率的闪烁,则进一步判断为当前帧中存在第二频率的闪烁;否则,进一步判断为当前帧中不存在闪烁。
显然,在这种情况下,当前帧应为图像帧序列的第三帧或其后的帧。
在本发明的第二实施例中,采用二级判断方法,可以分两级判断出闪烁的存在和频率。在第三实施例中,可以进一步综合更多帧的判断结果(第二级判断结果)进行综合判断。
下面将参照图4描述根据本发明的第三实施例的闪烁检测方法的流程。
图4示出了根据本发明第三实施例的闪烁检测方法的流程图。如图4所示,根据本发明的闪烁检测方法,包括如下步骤:计算图像帧的选定行的平均值,所计算的平均值按行的顺序构成平均值向量mean_row(k)(步骤S41);计算当前帧的平均值向量mean_row(k)与前一帧的平均值向量mean_row(k-1)的差分向量diff_frame(k)(步骤S42);计算所述差分向量diff_frame(k)的每个元素减去所述差分向量diff_frame(k)的直流分量而得到的去直流差向量diff_mean_row(k)(步骤S43);构建具有第一频率且相位相差90度的第一方波和第二方波、以及具有与第一频率不同的第二频率且相位相差90度的第三方波和第四方波,所述第一至第四方波的每一个具有特定的每周期元素数并且与所述去直流差向量diff_mean_row(k)等长(步骤S44);计算所述去直流差向量diff_mean_row(k)和所述第一方波点乘的绝对值与所述去直流差向量diff_mean_row(k)和所述第二方波点乘的绝对值之和,作为第一频率参考值(步骤S45);计算所述去直流差向量diff_mean_row(k)和所述第三方波点乘的绝对值与所述去直流差向量diff_mean_row(k)和所述第四方波点乘的绝对值之和,作为第二频率参考值(步骤S46);如果所述第一频率参考值与所述第二频率参考值的差别大于预定差别阈值,则初步判断为当前帧中存在闪烁,否则,初步判断为当前帧中不存在闪烁(步骤S47);对于当前帧、前一帧、前两帧的三个初级判断结果,进行如下的第二级判断:如果其中至少两个初级判断结果为存在第一频率的闪烁,且其中不存在第二频率的闪烁,则进一步判断为当前帧中存在第一频率的闪烁;如果其中至少两个初级判断结果为存在第二频率的闪烁,且其中不存在第一频率的闪烁,则进一步判断为当前帧中存在第二频率的闪烁;否则,进一步判断为当前帧中不存在闪烁(步骤S48);统计当前帧及其之前M-1帧共M帧的第二级判断结果中,存在第一频率的闪烁的第一比例和存在第二频率的闪烁的第二比例(步骤S49);统计当前帧及其之前N-1帧共N帧的第二级判断结果中,存在第一频率的闪烁的第一个数和存在第二频率的闪烁的第二个数(步骤S50);如果第一比例大于第一比例阈值,且第二个数小于1,则进一步判断为当前帧中存在第一频率的闪烁;如果第二比例大于第二比例阈值,且第一个数小于1,则进一步判断为当前帧中存在第二频率的闪烁;否则,进一步判断为当前帧中不存在闪烁(步骤S51);其中,M、N为大于一的整数,且M>N。
本发明的第三实施例的步骤S41-S48与第二实施例的步骤S31-S38完全相同,其区别在于基于步骤S41-S48的第二级判断结果,进一步综合判断。
在步骤S49中,统计当前帧及其之前M-1帧共M帧的第二级判断结果中,存在第一频率的闪烁的第一比例和存在第二频率的闪烁的第二比例,其中,M为大于一的整数。可以根据系统性能和资源的情况并结合试验的效果,灵活设计M的取值。
在步骤S50中,统计当前帧及其之前N-1帧共N帧的第二级判断结果中,存在第一频率的闪烁的第一个数和存在第二频率的闪烁的第二个数。其中,N为大于一的整数,且M>N。
基于步骤S49和步骤S50中的统计结果,在步骤S51中进行如下判断:如果第一比例大于第一比例阈值,且第二个数小于1,则进一步判断为当前帧中存在第一频率的闪烁;如果第二比例大于第二比例阈值,且第一个数小于1,则进一步判断为当前帧中存在第二频率的闪烁;否则,进一步判断为当前帧中不存在闪烁。
其中,第一比例阈值和第二比例阈值可以相等,也可以不等。优选地,第一比例阈值和第二比例阈值均取大于0.5的数。
与第二实施例相比,第三实施例在通过第二级判断进行修正的结果的基础上,在更广阔的范围内进行综合判断。
并且,在第三实施例中,通过设置M>N,可以在当前帧及其前的较多帧的范围内根据两种判断结果(存在第一或第二频率的闪烁)的比例进行判断,而在当前帧的近邻中进行更严格的判断。
此外,在判断为当前帧中不存在闪烁的情况下,还可以判断当前帧是否相对于前一帧存在运动。这一判断可以基于如下详述的运动检测过程。也就是说,在本发明的输出结果中,可能存在如下的几种结果:存在第一频率的闪烁、存在第二频率的闪烁、存在运动、不存在闪烁也不存在运动。
当然,在不执行运动检测的情况下,本发明的输出结果可能包括:存在第一频率的闪烁、存在第二频率的闪烁、不存在闪烁。
在第一至第三实施例中,主要对闪烁的存在和频率进行了判断。在下面详述的第四实施例中,还将考虑运动的因素,通过进行巧妙的计算减少运动对闪烁判断的影响,进一步提高检出率和准确率。
应注意,第四实施例中引入的运动检测及相应的计算调整同样适用于第一至第三实施例中的任何一个。为了节约篇幅,不再一一列出详细的步骤,只是着重说明第四实施例相对于第一至第三实施例的不同之处。
在第四实施例中,在构建步骤之前还进行运动检测,即检测当前帧是否相对于前一帧存在运动。
运动检测可以采用本领域已知的任何方法。在这种情况下,可以在闪烁检测方法的最开始,进行运动检测,并且基于运动检测的结果进行后续步骤。
具体地说,如果运动检测结果表明当前帧相对于前一帧不存在运动,则可以按照第一至第三实施例中的流程进行关于闪烁的判断。如果运动检测结果表明当前帧相对于前一帧存在运动,则可以不执行第一至第三实施例中的前三个步骤,而是采用如下详述的有运动情况下的去直流差向量计算方法进行计算,然后再执行第一至第三实施例中的余下流程。
此外,也可以将运动检测步骤布置在第一至第三实施例中的前三个步骤之后,借助于此三个步骤的计算结果(去直流差向量diff_mean_row(k))进行运动检测。
具体地说,如果去直流差向量diff_mean_row(k)的各个元素的绝对值的平均值大于预定运动阈值,则判断为当前帧相对于前一帧存在运动;否则,判断为当前帧相对于前一帧不存在运动。
预定运动阈值可以由本领域技术人员根据经验设定。
如果运动检测结果表明当前帧相对于前一帧不存在运动,则可以按照第一至第三实施例中的余下流程进行关于闪烁的判断。如果运动检测结果表明当前帧相对于前一帧存在运动,则采用如下详述的有运动情况下的去直流差向量计算方法重新计算去直流差向量diff_mean_row(k),然后再基于新计算的去直流差向量diff_mean_row(k)执行第一至第三实施例中的余下流程。
下面将参照图5描述根据本发明的第四实施例的闪烁检测方法的有运动情况下的去直流差向量的计算方法的流程。
图5示出了根据本发明的第四实施例的闪烁检测方法的有运动情况下的去直流差向量的计算方法的流程图。如图5所示,根据本发明的有运动情况下的计算去直流差向量的方法,包括如下步骤:获得当前帧的截短的平均值向量MS_mean_row(k),所述截短的平均值向量MS_mean_row(k)是当前帧的平均值向量mean_row(k)去除头部和尾部的预定部分后得到的向量(步骤S501);搜索当前帧的前一帧的平均值向量mean_row(k-1)的、与当前帧的截短的平均值向量MS_mean_row(k)长度相同且最相似的分段,作为匹配截短平均值向量Mt_mean_row(k-1)(步骤S502);计算当前帧的截短的平均值向量MS_mean_row(k)与前一帧的匹配截短平均值向量Mt_mean_row(k-1)的差分向量diff_frame_MM(k)(步骤S503);计算差分向量diff_frame_MM(k)的每个元素减去所述差分向量diff_frame_MM(k)的直流分量而得到的去直流差向量diff_mean_row(k)(步骤S504)。
在步骤S501中,获得当前帧的截短的平均值向量MS_mean_row(k),所述截短的平均值向量MS_mean_row(k)是图像帧的平均值向量mean_row(k)去除头部和尾部的预定部分后得到的向量。
也就是说,类似于第一至第三实施例中的第一个步骤计算图像帧的平均值向量mean_row(k),然后去除平均值向量mean_row(k)的头部和尾部的预定部分,此时所得到的就是截短的平均值向量MS_mean_row(k)。
预定部分与图像帧的平均值向量mean_row(k)的长度和预定的比例有关。预定的比例例如是0.1,也就是说,可以去除图像帧的平均值向量mean_row(k)的前后各10%的部分,仅取中间的80%的部分。即,截短的平均值向量MS_mean_row(k)对应于中间的80%的选定行。
在步骤S502中,搜索当前帧的前一帧的平均值向量mean_row(k-1)的、与当前帧的截短的平均值向量MS_mean_row(k)长度相同且最相似的分段,作为匹配截短平均值向量Mt_mean_row(k-1)。
由于下一步要进行向量的差运算,所以需要使得当前帧的前一帧的匹配截短平均值向量Mt_mean_row(k-1)与当前帧的截短的平均值向量MS_mean_row(k)长度相同。
此外,通过搜索当前帧的前一帧的平均值向量mean_row(k-1)的最相似的分段,可以减少运动对于闪烁检测的影响。
可以设置与当前帧的截短的平均值向量MS_mean_row(k)长度相同的窗口,用该窗口从当前帧的前一帧的平均值向量mean_row(k-1)的最左侧开始,每次向右平移一个元素位置并取出窗口内的分段,从而得到匹配截短平均值向量Mt_mean_row(k-1)的多个候选。
比较各个候选与当前帧的截短的平均值向量MS_mean_row(k)的相似度,选取相似度最大的候选作为匹配截短平均值向量Mt_mean_row(k-1)。
相似度的度量可以由本领域技术人员灵活设计。
举例来说,可以计算候选Mt_mean_row与当前帧的截短的平均值向量MS_mean_row(k)的差向量的各个元素的绝对值之和matchingRate作为相似度的度量。具有最小matchingRate的候选被选择为匹配截短平均值向量Mt_mean_row(k-1)。
在步骤S503中,计算当前帧的截短的平均值向量MS_mean_row(k)与前一帧的匹配截短平均值向量Mt_mean_row(k-1)的差分向量diff_frame_MM(k)。
在步骤S504中,计算所述差分向量diff_frame_MM(k)的每个元素减去所述差分向量diff_frame_MM(k)的直流分量而得到的去直流差向量diff_mean_row(k)。
应注意,构建方波时的条件之一是方波与去直流差向量diff_mean_row(k)等长。因此,在第四实施例中如果存在运动并重新计算去直流差向量diff_mean_row(k),则构建的方波的长度也相应地减小,可以采取方波截尾的方式获得合适长度的方波。
这样经过步骤S501-S504得到的去直流差向量diff_mean_row(k)可以用于第一至第三实施例中的第四步及其后的步骤来进行关于闪烁的判断,有利于减少运动对闪烁检测的影响,进一步提高闪烁的检出率和准确率。
下面,将参照图6描述根据本发明实施例的闪烁检测设备。
图6示出了根据本发明实施例的闪烁检测设备的结构方框图。如图6所示,根据本发明的闪烁检测设备600包括:平均值向量计算装置61,其被配置为:计算图像帧的选定行的平均值,所计算的平均值按行的顺序构成平均值向量mean_row(k);差分向量计算装置62,其被配置为:计算当前帧的平均值向量mean_row(k)与前一帧的平均值向量mean_row(k-1)的差分向量diff_frame(k);去直流差向量计算装置63,其被配置为:计算所述差分向量diff_frame(k)的每个元素减去所述差分向量diff_frame(k)的直流分量而得到的去直流差向量diff_mean_row(k);方波构建装置64,其被配置为:构建具有第一频率且相位相差90度的第一方波和第二方波、以及具有与第一频率不同的第二频率且相位相差90度的第三方波和第四方波,所述第一至第四方波的每一个具有特定的每周期元素数并且与所述去直流差向量diff_mean_row(k)等长;第一频率参考值计算装置65,其被配置为:计算所述去直流差向量diff_mean_row(k)和所述第一方波点乘的绝对值与所述去直流差向量diff_mean_row(k)和所述第二方波点乘的绝对值之和,作为第一频率参考值;第二频率参考值计算装置66,其被配置为:计算所述去直流差向量diff_mean_row(k)和所述第三方波点乘的绝对值与所述去直流差向量diff_mean_row(k)和所述第四方波点乘的绝对值之和,作为第二频率参考值;闪烁判断装置67,其包括存在判断单元,所述存在判断单元被配置为:在所述第一频率参考值与所述第二频率参考值的差别大于预定差别阈值的情况下,判断为当前帧中存在闪烁;在所述第一频率参考值与所述第二频率参考值的差别小于或等于预定差别阈值的情况下,判断为当前帧中不存在闪烁。
在一个具体实施例中,闪烁判断装置67还包括频率判断单元,所述频率判断单元被配置为:在存在判断单元判断为当前帧中存在闪烁的情况下,如果所述第一频率参考值大于所述第二频率参考值,则所述频率判断单元判断为所述闪烁的频率为所述第一频率;如果所述第二频率参考值大于所述第一频率参考值,则所述频率判断单元判断为所述闪烁的频率为所述第二频率。
在一个具体实施例中,选定行是图像帧的所有行或对图像帧均匀采样得到的采样行。
在一个具体实施例中,图像帧是灰度图像。
在一个具体实施例中,所述每周期元素数与图像帧的高度、帧率、行采样间隔、以及方波频率相关。
在一个具体实施例中,闪烁判断装置67还包括第二级判断单元,所述第二级判断单元被配置为:对于所述存在判断单元和所述频率判断单元给出的当前帧、前一帧、前两帧的三个初级判断结果,如果其中至少两个判断结果为存在第一频率的闪烁,且其中不存在第二频率的闪烁,则所述第二级判断单元进一步判断为当前帧中存在第一频率的闪烁;如果其中至少两个判断结果为存在第二频率的闪烁,且其中不存在第一频率的闪烁,则所述第二级判断单元进一步判断为当前帧中存在第二频率的闪烁;否则,所述第二级判断单元进一步判断为当前帧中不存在闪烁。
在一个具体实施例中,闪烁判断装置67还包括第三级判断单元,所述第三级判断单元包括:比例统计单元,其被配置为:统计当前帧及其之前M-1帧共M帧的第二级判断结果中,存在第一频率的闪烁的第一比例和存在第二频率的闪烁的第二比例;个数统计单元,其被配置为:统计当前帧及其之前N-1帧共N帧的第二级判断结果中,存在第一频率的闪烁的第一个数和存在第二频率的闪烁的第二个数;第三级判断子单元,其被配置为:如果第一比例大于第一比例阈值,且第二个数小于1,则进一步判断为当前帧中存在第一频率的闪烁;如果第二比例大于第二比例阈值,且第一个数小于1,则进一步判断为当前帧中存在第二频率的闪烁;否则,进一步判断为当前帧中不存在闪烁;其中,M、N为大于一的整数,且M>N。
在一个具体实施例中,第三级判断子单元被进一步配置为:在判断为当前帧中不存在闪烁的情况下,判断当前帧是否相对于前一帧存在运动。
在一个具体实施例中,闪烁检测设备600还包括运动检测装置,其被配置为检测当前帧是否相对于前一帧存在运动;并且在运动检测装置的检测结果表明当前帧相对于前一帧存在运动的情况下,平均值向量计算装置61被配置为:获得当前帧的截短的平均值向量MS_mean_row(k),所述截短的平均值向量MS_mean_row(k)是当前帧的平均值向量mean_row(k)去除头部和尾部的预定部分后得到的向量;搜索当前帧的前一帧的平均值向量mean_row(k-1)的、与当前帧的截短的平均值向量MS_mean_row(k)长度相同且最相似的分段,作为匹配截短平均值向量Mt_mean_row(k-1);差分向量计算装置62被配置为:计算当前帧的截短的平均值向量MS_mean_row(k)与前一帧的匹配截短平均值向量Mt_mean_row(k-1)的差分向量diff_frame_MM(k);去直流差向量计算装置63被配置为:计算所述差分向量diff_frame_MM(k)的每个元素减去所述差分向量diff_frame_MM(k)的直流分量而得到的去直流差向量diff_mean_row(k)。
在一个具体实施例中,平均值向量计算装置61被进一步配置为:以与当前帧的截短的平均值向量MS_mean_row(k)长度相同的窗口移位截取当前帧的前一帧的平均值向量mean_row(k-1)的分段,作为候选分段;计算当前帧的截短的平均值向量MS_mean_row(k)与各个候选分段之间的差向量的每个元素的绝对值的平均值;选择具有最小平均值的候选分段,作为所述匹配截短平均值向量Mt_mean_row(k-1)。
在一个具体实施例中,预定部分与所述图像帧的平均值向量mean_row(k)的长度和预定的比例有关。
在一个具体实施例中,运动检测装置被进一步配置为:如果所述去直流差向量diff_mean_row(k)的绝对值的平均值大于预定运动阈值,则判断为当前帧相对于前一帧存在运动;如果所述去直流差向量diff_mean_row(k)的绝对值的平均值小于或等于预定运动阈值,则判断为当前帧相对于前一帧不存在运动。
由于在根据本发明的闪烁检测设备600中所包括的平均值向量计算装置61、差分向量计算装置62、去直流差向量计算装置63、方波构建装置64、第一频率参考值计算装置65、第二频率参考值计算装置66、闪烁判断装置67、运动检测装置中的处理分别与上面描述的闪烁检测方法中的各个步骤中的处理类似,因此为了简洁起见,在此省略这些模块的详细描述。
此外,这里尚需指出的是,上述装置中各个组成模块、单元可以通过软件、固件、硬件或其组合的方式进行配置。配置可使用的具体手段或方式为本领域技术人员所熟知,在此不再赘述。在通过软件或固件实现的情况下,从存储介质或网络向具有专用硬件结构的计算机(例如图7所示的通用计算机700)安装构成该软件的程序,该计算机在安装有各种程序时,能够执行各种功能等。
图7示出了可用于实施根据本发明实施例的方法和设备的计算机的示意性框图。
在图7中,中央处理单元(CPU)701根据只读存储器(ROM)702中存储的程序或从存储部分708加载到随机存取存储器(RAM)703的程序执行各种处理。在RAM703中,还根据需要存储当CPU701执行各种处理等等时所需的数据。CPU701、ROM702和RAM703经由总线704彼此连接。输入/输出接口705也连接到总线704。
下述部件连接到输入/输出接口705:输入部分706(包括键盘、鼠标等等)、输出部分707(包括显示器,比如阴极射线管(CRT)、液晶显示器(LCD)等,和扬声器等)、存储部分708(包括硬盘等)、通信部分709(包括网络接口卡比如LAN卡、调制解调器等)。通信部分709经由网络比如因特网执行通信处理。根据需要,驱动器710也可连接到输入/输出接口705。可拆卸介质711比如磁盘、光盘、磁光盘、半导体存储器等等可以根据需要被安装在驱动器710上,使得从中读出的计算机程序根据需要被安装到存储部分708中。
在通过软件实现上述系列处理的情况下,从网络比如因特网或存储介质比如可拆卸介质711安装构成软件的程序。
本领域的技术人员应当理解,这种存储介质不局限于图7所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质711。可拆卸介质711的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者,存储介质可以是ROM702、存储部分708中包含的硬盘等等,其中存有程序,并且与包含它们的设备一起被分发给用户。
本发明还提出一种存储有机器可读取的指令代码的程序产品。所述指令代码由机器读取并执行时,可执行上述根据本发明实施例的方法。
相应地,用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本发明的公开中。所述存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。
在上面对本发明具体实施例的描述中,针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用,与其它实施方式中的特征相组合,或替代其它实施方式中的特征。
应该强调,术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在,但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
此外,本发明的方法不限于按照说明书中描述的时间顺序来执行,也可以按照其他的时间顺序地、并行地或独立地执行。因此,本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。
尽管上面已经通过对本发明的具体实施例的描述对本发明进行了披露,但是,应该理解,上述的所有实施例和示例均是示例性的,而非限制性的。本领域的技术人员可在所附权利要求的精神和范围内设计对本发明的各种修改、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本发明的保护范围内。
附记
1.一种闪烁检测方法,用于检测图像帧序列中的闪烁,该方法包括:
计算图像帧的选定行的平均值,所计算的平均值按行的顺序构成平均值向量mean_row(k);
计算当前帧的平均值向量mean_row(k)与前一帧的平均值向量mean_row(k-1)的差分向量diff_frame(k);
计算所述差分向量diff_frame(k)的每个元素减去所述差分向量diff_frame(k)的直流分量而得到的去直流差向量diff_mean_row(k);
构建具有第一频率且相位相差90度的第一方波和第二方波、以及具有与第一频率不同的第二频率且相位相差90度的第三方波和第四方波,所述第一至第四方波的每一个具有特定的每周期元素数并且与所述去直流差向量diff_mean_row(k)等长;
计算所述去直流差向量diff_mean_row(k)和所述第一方波点乘的绝对值与所述去直流差向量diff_mean_row(k)和所述第二方波点乘的绝对值之和,作为第一频率参考值;
计算所述去直流差向量diff_mean_row(k)和所述第三方波点乘的绝对值与所述去直流差向量diff_mean_row(k)和所述第四方波点乘的绝对值之和,作为第二频率参考值;
如果所述第一频率参考值与所述第二频率参考值的差别大于预定差别阈值,则判断为当前帧中存在闪烁;
否则,判断为当前帧中不存在闪烁。
2.如附记1所述的方法,其中,在判断为当前帧中存在闪烁的情况下,
如果所述第一频率参考值大于所述第二频率参考值,则判断为所述闪烁的频率为所述第一频率;
如果所述第二频率参考值大于所述第一频率参考值,则判断为所述闪烁的频率为所述第二频率。
3.如附记1所述的方法,其中所述选定行是图像帧的所有行或对图像帧均匀采样得到的采样行。
4.如附记3所述的方法,其中所述图像帧是灰度图像;所述每周期元素数与图像帧的高度、帧率、行采样间隔、以及方波频率相关。
5.如附记2所述的方法,还包括第二级判断步骤:
对于当前帧、前一帧、前两帧的三个初级判断结果,
如果其中至少两个判断结果为存在第一频率的闪烁,且其中不存在第二频率的闪烁,则进一步判断为当前帧中存在第一频率的闪烁;
如果其中至少两个判断结果为存在第二频率的闪烁,且其中不存在第一频率的闪烁,则进一步判断为当前帧中存在第二频率的闪烁;
否则,进一步判断为当前帧中不存在闪烁。
6.如附记5所述的方法,还包括第三级判断步骤:
统计当前帧及其之前M-1帧共M帧的第二级判断结果中,存在第一频率的闪烁的第一比例和存在第二频率的闪烁的第二比例;
统计当前帧及其之前N-1帧共N帧的第二级判断结果中,存在第一频率的闪烁的第一个数和存在第二频率的闪烁的第二个数;
如果第一比例大于第一比例阈值,且第二个数小于1,则进一步判断为当前帧中存在第一频率的闪烁;
如果第二比例大于第二比例阈值,且第一个数小于1,则进一步判断为当前帧中存在第二频率的闪烁;
否则,进一步判断为当前帧中不存在闪烁;
其中,M、N为大于一的整数,且M>N。
7.如附记6所述的方法,其中在判断为当前帧中不存在闪烁的情况下,判断当前帧是否相对于前一帧存在运动。
8.如附记1所述的方法,在所述构建步骤之前还包括:
检测当前帧是否相对于前一帧存在运动;并且
在检测结果表明当前帧相对于前一帧存在运动的情况下,通过如下步骤计算所述去直流差向量diff_mean_row(k):
获得当前帧的截短的平均值向量MS_mean_row(k),所述截短的平均值向量MS_mean_row(k)是当前帧的平均值向量mean_row(k)去除头部和尾部的预定部分后得到的向量;
搜索当前帧的前一帧的平均值向量mean_row(k-1)的、与当前帧的截短的平均值向量MS_mean_row(k)长度相同且最相似的分段,作为匹配截短平均值向量Mt_mean_row(k-1);
计算当前帧的截短的平均值向量MS_mean_row(k)与前一帧的匹配截短平均值向量Mt_mean_row(k-1)的差分向量diff_frame_MM(k);
计算所述差分向量diff_frame_MM(k)的每个元素减去所述差分向量diff_frame_MM(k)的直流分量而得到的去直流差向量diff_mean_row(k)。
9.如附记8所述的方法,其中通过如下步骤搜索所述匹配截短平均值向量Mt_mean_row(k-1):
以与当前帧的截短的平均值向量MS_mean_row(k)长度相同的窗口移位截取当前帧的前一帧的平均值向量mean_row(k-1)的分段,作为候选分段;
计算当前帧的截短的平均值向量MS_mean_row(k)与各个候选分段之间的差向量的每个元素的绝对值的平均值;
选择具有最小平均值的候选分段,作为所述匹配截短平均值向量Mt_mean_row(k-1)。
10.如附记8所述的方法,其中所述预定部分与所述图像帧的平均值向量mean_row(k)的长度和预定的比例有关。
11.如附记8所述的方法,其中所述检测当前帧是否相对于前一帧存在运动包括:
如果所述去直流差向量diff_mean_row(k)的各个元素的绝对值的平均值大于预定运动阈值,则判断为当前帧相对于前一帧存在运动;
否则,判断为当前帧相对于前一帧不存在运动。
12.一种闪烁检测设备,用于检测图像帧序列中的闪烁,该设备包括:
平均值向量计算装置,其被配置为:计算图像帧的选定行的平均值,所计算的平均值按行的顺序构成平均值向量mean_row(k);
差分向量计算装置,其被配置为:计算当前帧的平均值向量mean_row(k)与前一帧的平均值向量mean_row(k-1)的差分向量diff_frame(k);
去直流差向量计算装置,其被配置为:计算所述差分向量diff_frame(k)的每个元素减去所述差分向量diff_frame(k)的直流分量而得到的去直流差向量diff_mean_row(k);
方波构建装置,其被配置为:构建具有第一频率且相位相差90度的第一方波和第二方波、以及具有与第一频率不同的第二频率且相位相差90度的第三方波和第四方波,所述第一至第四方波的每一个具有特定的每周期元素数并且与所述去直流差向量diff_mean_row(k)等长;
第一频率参考值计算装置,其被配置为:计算所述去直流差向量diff_mean_row(k)和所述第一方波点乘的绝对值与所述去直流差向量diff_mean_row(k)和所述第二方波点乘的绝对值之和,作为第一频率参考值;
第二频率参考值计算装置,其被配置为:计算所述去直流差向量diff_mean_row(k)和所述第三方波点乘的绝对值与所述去直流差向量diff_mean_row(k)和所述第四方波点乘的绝对值之和,作为第二频率参考值;
闪烁判断装置,其包括存在判断单元,所述存在判断单元被配置为:
在所述第一频率参考值与所述第二频率参考值的差别大于预定差别阈值的情况下,判断为当前帧中存在闪烁;
在所述第一频率参考值与所述第二频率参考值的差别小于或等于预定差别阈值的情况下,判断为当前帧中不存在闪烁。
13.如附记12所述的设备,其中,所述闪烁判断装置还包括频率判断单元,所述频率判断单元被配置为:在存在判断单元判断为当前帧中存在闪烁的情况下,
如果所述第一频率参考值大于所述第二频率参考值,则所述频率判断单元判断为所述闪烁的频率为所述第一频率;
如果所述第二频率参考值大于所述第一频率参考值,则所述频率判断单元判断为所述闪烁的频率为所述第二频率。
14.如附记12所述的设备,其中所述选定行是图像帧的所有行或对图像帧均匀采样得到的采样行。
15.如附记14所述的设备,其中所述图像帧是灰度图像;所述每周期元素数与图像帧的高度、帧率、行采样间隔、以及方波频率相关。
16.如附记13所述的设备,所述闪烁判断装置还包括第二级判断单元,所述第二级判断单元被配置为:
对于所述存在判断单元和所述频率判断单元给出的当前帧、前一帧、前两帧的三个初级判断结果,
如果其中至少两个判断结果为存在第一频率的闪烁,且其中不存在第二频率的闪烁,则所述第二级判断单元进一步判断为当前帧中存在第一频率的闪烁;
如果其中至少两个判断结果为存在第二频率的闪烁,且其中不存在第一频率的闪烁,则所述第二级判断单元进一步判断为当前帧中存在第二频率的闪烁;
否则,所述第二级判断单元进一步判断为当前帧中不存在闪烁。
17.如附记16所述的设备,所述闪烁判断装置还包括第三级判断单元,所述第三级判断单元包括:
比例统计单元,其被配置为:统计当前帧及其之前M-1帧共M帧的第二级判断结果中,存在第一频率的闪烁的第一比例和存在第二频率的闪烁的第二比例;
个数统计单元,其被配置为:统计当前帧及其之前N-1帧共N帧的第二级判断结果中,存在第一频率的闪烁的第一个数和存在第二频率的闪烁的第二个数;
第三级判断子单元,其被配置为:
如果第一比例大于第一比例阈值,且第二个数小于1,则进一步判断为当前帧中存在第一频率的闪烁;
如果第二比例大于第二比例阈值,且第一个数小于1,则进一步判断为当前帧中存在第二频率的闪烁;
否则,进一步判断为当前帧中不存在闪烁;
其中,M、N为大于一的整数,且M>N。
18.如附记12所述的设备,还包括运动检测装置,其被配置为检测当前帧是否相对于前一帧存在运动;并且
在所述运动检测装置的检测结果表明当前帧相对于前一帧存在运动的情况下,
所述平均值向量计算装置被配置为:
获得当前帧的截短的平均值向量MS_mean_row(k),所述截短的平均值向量MS_mean_row(k)是当前帧的平均值向量mean_row(k)去除头部和尾部的预定部分后得到的向量;
搜索当前帧的前一帧的平均值向量mean_row(k-1)的、与当前帧的截短的平均值向量MS_mean_row(k)长度相同且最相似的分段,作为匹配截短平均值向量Mt_mean_row(k-1);
所述差分向量计算装置被配置为:计算当前帧的截短的平均值向量MS_mean_row(k)与前一帧的匹配截短平均值向量Mt_mean_row(k-1)的差分向量diff_frame_MM(k);
所述去直流差向量计算装置被配置为:计算所述差分向量diff_frame_MM(k)的每个元素减去所述差分向量diff_frame_MM(k)的直流分量而得到的去直流差向量diff_mean_row(k)。
19.如附记18所述的设备,其中所述平均值向量计算装置被进一步配置为:
以与当前帧的截短的平均值向量MS_mean_row(k)长度相同的窗口移位截取当前帧的前一帧的平均值向量mean_row(k-1)的分段,作为候选分段;
计算当前帧的截短的平均值向量MS_mean_row(k)与各个候选分段之间的差向量的每个元素的绝对值的平均值;
选择具有最小平均值的候选分段,作为所述匹配截短平均值向量Mt_mean_row(k-1)。
20.如附记18所述的设备,其中所述运动检测装置被进一步配置为:
如果所述去直流差向量diff_mean_row(k)的绝对值的平均值大于预定运动阈值,则判断为当前帧相对于前一帧存在运动;
如果所述去直流差向量diff_mean_row(k)的绝对值的平均值小于或等于预定运动阈值,则判断为当前帧相对于前一帧不存在运动。
Claims (10)
1.一种闪烁检测方法,用于检测图像帧序列中的闪烁,该方法包括:
计算图像帧的选定行的平均值,所计算的平均值按行的顺序构成平均值向量mean_row(k);
计算当前帧的平均值向量mean_row(k)与前一帧的平均值向量mean_row(k-1)的差分向量diff_frame(k);
计算所述差分向量diff_frame(k)的每个元素减去所述差分向量diff_frame(k)的直流分量而得到的去直流差向量diff_mean_row(k);
构建具有第一频率且相位相差90度的第一方波和第二方波、以及具有与第一频率不同的第二频率且相位相差90度的第三方波和第四方波,所述第一至第四方波的每一个具有特定的每周期元素数并且与所述去直流差向量diff_mean_row(k)等长;
计算所述去直流差向量diff_mean_row(k)和所述第一方波点乘的绝对值与所述去直流差向量diff_mean_row(k)和所述第二方波点乘的绝对值之和,作为第一频率参考值;
计算所述去直流差向量diff_mean_row(k)和所述第三方波点乘的绝对值与所述去直流差向量diff_mean_row(k)和所述第四方波点乘的绝对值之和,作为第二频率参考值;
如果所述第一频率参考值与所述第二频率参考值的差别大于预定差别阈值,则判断为当前帧中存在闪烁;
否则,判断为当前帧中不存在闪烁。
2.如权利要求1所述的方法,其中,在判断为当前帧中存在闪烁的情况下,
如果所述第一频率参考值大于所述第二频率参考值,则判断为所述闪烁的频率为所述第一频率;
如果所述第二频率参考值大于所述第一频率参考值,则判断为所述闪烁的频率为所述第二频率。
3.如权利要求1所述的方法,其中所述选定行是图像帧的所有行或对图像帧均匀采样得到的采样行。
4.如权利要求3所述的方法,其中所述图像帧是灰度图像;所述每周期元素数与图像帧的高度、帧率、行采样间隔、以及方波频率相关。
5.如权利要求2所述的方法,还包括第二级判断步骤:
对于当前帧、前一帧、前两帧的三个初级判断结果,
如果其中至少两个判断结果为存在第一频率的闪烁,且其中不存在第二频率的闪烁,则进一步判断为当前帧中存在第一频率的闪烁;
如果其中至少两个判断结果为存在第二频率的闪烁,且其中不存在第一频率的闪烁,则进一步判断为当前帧中存在第二频率的闪烁;
否则,进一步判断为当前帧中不存在闪烁。
6.如权利要求5所述的方法,还包括第三级判断步骤:
统计当前帧及其之前M-1帧共M帧的第二级判断结果中,存在第一频率的闪烁的第一比例和存在第二频率的闪烁的第二比例;
统计当前帧及其之前N-1帧共N帧的第二级判断结果中,存在第一频率的闪烁的第一个数和存在第二频率的闪烁的第二个数;
如果第一比例大于第一比例阈值,且第二个数小于1,则进一步判断为当前帧中存在第一频率的闪烁;
如果第二比例大于第二比例阈值,且第一个数小于1,则进一步判断为当前帧中存在第二频率的闪烁;
否则,进一步判断为当前帧中不存在闪烁;
其中,M、N为大于一的整数,且M>N。
7.如权利要求1所述的方法,在所述构建步骤之前还包括:
检测当前帧是否相对于前一帧存在运动;并且
在检测结果表明当前帧相对于前一帧存在运动的情况下,通过如下步骤计算所述去直流差向量diff_mean_row(k):
获得当前帧的截短的平均值向量MS_mean_row(k),所述截短的平均值向量MS_mean_row(k)是当前帧的平均值向量mean_row(k)去除头部和尾部的预定部分后得到的向量;
搜索当前帧的前一帧的平均值向量mean_row(k-1)的、与当前帧的截短的平均值向量MS_mean_row(k)长度相同且最相似的分段,作为匹配截短平均值向量Mt_mean_row(k-1);
计算当前帧的截短的平均值向量MS_mean_row(k)与前一帧的匹配截短平均值向量Mt_mean_row(k-1)的差分向量diff_frame_MM(k);
计算所述差分向量diff_frame_MM(k)的每个元素减去所述差分向量diff_frame_MM(k)的直流分量而得到的去直流差向量diff_mean_row(k)。
8.如权利要求7所述的方法,其中通过如下步骤搜索所述匹配截短平均值向量Mt_mean_row(k-1):
以与当前帧的截短的平均值向量MS_mean_row(k)长度相同的窗口移位截取当前帧的前一帧的平均值向量mean_row(k-1)的分段,作为候选分段;
计算当前帧的截短的平均值向量MS_mean_row(k)与各个候选分段之间的差向量的每个元素的绝对值的平均值;
选择具有最小平均值的候选分段,作为所述匹配截短平均值向量Mt_mean_row(k-1)。
9.如权利要求7所述的方法,其中所述检测当前帧是否相对于前一帧存在运动包括:
如果所述去直流差向量diff_mean_row(k)的各个元素的绝对值的平均值大于预定运动阈值,则判断为当前帧相对于前一帧存在运动;
否则,判断为当前帧相对于前一帧不存在运动。
10.一种闪烁检测设备,用于检测图像帧序列中的闪烁,该设备包括:
平均值向量计算装置,其被配置为:计算图像帧的选定行的平均值,所计算的平均值按行的顺序构成平均值向量mean_row(k);
差分向量计算装置,其被配置为:计算当前帧的平均值向量mean_row(k)与前一帧的平均值向量mean_row(k-1)的差分向量diff_frame(k);
去直流差向量计算装置,其被配置为:计算所述差分向量diff_frame(k)的每个元素减去所述差分向量diff_frame(k)的直流分量而得到的去直流差向量diff_mean_row(k);
方波构建装置,其被配置为:构建具有第一频率且相位相差90度的第一方波和第二方波、以及具有与第一频率不同的第二频率且相位相差90度的第三方波和第四方波,所述第一至第四方波的每一个具有特定的每周期元素数并且与所述去直流差向量diff_mean_row(k)等长;
第一频率参考值计算装置,其被配置为:计算所述去直流差向量diff_mean_row(k)和所述第一方波点乘的绝对值与所述去直流差向量diff_mean_row(k)和所述第二方波点乘的绝对值之和,作为第一频率参考值;
第二频率参考值计算装置,其被配置为:计算所述去直流差向量diff_mean_row(k)和所述第三方波点乘的绝对值与所述去直流差向量diff_mean_row(k)和所述第四方波点乘的绝对值之和,作为第二频率参考值;
闪烁判断装置,其包括存在判断单元,所述存在判断单元被配置为:
在所述第一频率参考值与所述第二频率参考值的差别大于预定差别阈值的情况下,判断为当前帧中存在闪烁;
在所述第一频率参考值与所述第二频率参考值的差别小于或等于预定差别阈值的情况下,判断为当前帧中不存在闪烁。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310305752.4A CN104301618B (zh) | 2013-07-19 | 2013-07-19 | 闪烁检测方法和闪烁检测设备 |
JP2014140410A JP6492431B2 (ja) | 2013-07-19 | 2014-07-08 | フリッカー検出方法及びフリッカー検出装置 |
EP14176891.1A EP2827580B1 (en) | 2013-07-19 | 2014-07-14 | Flicker detection method and flicker detection apparatus |
KR1020140091050A KR101598701B1 (ko) | 2013-07-19 | 2014-07-18 | 플리커 검출 방법 및 플리커 검출 장치 |
US14/336,283 US9167175B2 (en) | 2013-07-19 | 2014-07-21 | Flicker detection method and flicker detection apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310305752.4A CN104301618B (zh) | 2013-07-19 | 2013-07-19 | 闪烁检测方法和闪烁检测设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104301618A true CN104301618A (zh) | 2015-01-21 |
CN104301618B CN104301618B (zh) | 2017-11-14 |
Family
ID=51167794
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310305752.4A Expired - Fee Related CN104301618B (zh) | 2013-07-19 | 2013-07-19 | 闪烁检测方法和闪烁检测设备 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9167175B2 (zh) |
EP (1) | EP2827580B1 (zh) |
JP (1) | JP6492431B2 (zh) |
KR (1) | KR101598701B1 (zh) |
CN (1) | CN104301618B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106572345A (zh) * | 2015-10-13 | 2017-04-19 | 富士通株式会社 | 闪烁检测装置及方法 |
CN109996007A (zh) * | 2017-12-30 | 2019-07-09 | 陈啸 | 一种消除图像闪烁的装置 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110213497B (zh) * | 2019-05-15 | 2021-01-29 | 成都微光集电科技有限公司 | 一种检测图像闪烁条纹方法及调整图像曝光时间的方法 |
DE102020104959A1 (de) | 2020-02-26 | 2021-08-26 | HELLA GmbH & Co. KGaA | Verfahren und Vorrichtung zur automatisierten Detektion einer Beeinträchtigung einer Lichtabstrahlung bei einer Beleuchtungsvorrichtung für ein Fahrzeug |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7142234B2 (en) * | 2002-12-10 | 2006-11-28 | Micron Technology, Inc. | Method for mismatch detection between the frequency of illumination source and the duration of optical integration time for imager with rolling shutter |
US7187405B2 (en) * | 2001-10-02 | 2007-03-06 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Automatic flicker frequency detection device and method |
CN101366271A (zh) * | 2006-01-05 | 2009-02-11 | 高通股份有限公司 | 图像捕获装置中的自动闪烁校正 |
CN102256062A (zh) * | 2011-05-06 | 2011-11-23 | 钰创科技股份有限公司 | 自动侦测影像闪烁的电路及其方法 |
CN102668542A (zh) * | 2009-12-31 | 2012-09-12 | 微软公司 | 摄影闪烁检测和补偿 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6466624B1 (en) * | 1998-10-28 | 2002-10-15 | Pixonics, Llc | Video decoder with bit stream based enhancements |
JP3826904B2 (ja) | 2003-07-08 | 2006-09-27 | ソニー株式会社 | 撮像装置およびフリッカ低減方法 |
KR100557660B1 (ko) * | 2004-07-29 | 2006-03-10 | 매그나칩 반도체 유한회사 | 영상 신호에서의 플리커 검출 방법 |
JP4453648B2 (ja) * | 2005-06-13 | 2010-04-21 | ソニー株式会社 | 画像処理装置および撮像装置 |
KR100721664B1 (ko) * | 2005-12-22 | 2007-05-23 | 매그나칩 반도체 유한회사 | 이미지 센서의 플리커 검출 회로 및 방법 |
JP4840578B2 (ja) * | 2006-06-29 | 2011-12-21 | 京セラ株式会社 | 撮像装置のフリッカ検出方法と装置 |
US7911505B2 (en) * | 2008-08-20 | 2011-03-22 | Eastman Kodak Company | Detecting illuminant flicker |
-
2013
- 2013-07-19 CN CN201310305752.4A patent/CN104301618B/zh not_active Expired - Fee Related
-
2014
- 2014-07-08 JP JP2014140410A patent/JP6492431B2/ja not_active Expired - Fee Related
- 2014-07-14 EP EP14176891.1A patent/EP2827580B1/en active Active
- 2014-07-18 KR KR1020140091050A patent/KR101598701B1/ko active IP Right Grant
- 2014-07-21 US US14/336,283 patent/US9167175B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7187405B2 (en) * | 2001-10-02 | 2007-03-06 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Automatic flicker frequency detection device and method |
US7142234B2 (en) * | 2002-12-10 | 2006-11-28 | Micron Technology, Inc. | Method for mismatch detection between the frequency of illumination source and the duration of optical integration time for imager with rolling shutter |
CN101366271A (zh) * | 2006-01-05 | 2009-02-11 | 高通股份有限公司 | 图像捕获装置中的自动闪烁校正 |
CN102668542A (zh) * | 2009-12-31 | 2012-09-12 | 微软公司 | 摄影闪烁检测和补偿 |
CN102256062A (zh) * | 2011-05-06 | 2011-11-23 | 钰创科技股份有限公司 | 自动侦测影像闪烁的电路及其方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106572345A (zh) * | 2015-10-13 | 2017-04-19 | 富士通株式会社 | 闪烁检测装置及方法 |
US9912878B2 (en) | 2015-10-13 | 2018-03-06 | Fujitsu Limited | Flicker detection apparatus and method and non-transitory computer readable storage storing the flicker detection method |
CN106572345B (zh) * | 2015-10-13 | 2018-09-25 | 富士通株式会社 | 闪烁检测装置及方法 |
CN109996007A (zh) * | 2017-12-30 | 2019-07-09 | 陈啸 | 一种消除图像闪烁的装置 |
Also Published As
Publication number | Publication date |
---|---|
US20150029360A1 (en) | 2015-01-29 |
KR101598701B1 (ko) | 2016-02-29 |
EP2827580B1 (en) | 2020-01-08 |
KR20150010653A (ko) | 2015-01-28 |
EP2827580A2 (en) | 2015-01-21 |
JP2015023576A (ja) | 2015-02-02 |
JP6492431B2 (ja) | 2019-04-03 |
US9167175B2 (en) | 2015-10-20 |
EP2827580A3 (en) | 2015-04-29 |
CN104301618B (zh) | 2017-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104301617A (zh) | 闪烁检测方法和闪烁检测设备 | |
US8928813B2 (en) | Methods and apparatus for reducing structured noise in video | |
US20170213100A1 (en) | Apparatus and method for detecting foreground in image | |
US20100187311A1 (en) | Blurring based content recognizer | |
CN110047095A (zh) | 基于目标检测的跟踪方法、装置及终端设备 | |
CN113691733B (zh) | 视频抖动检测方法、装置、电子设备和存储介质 | |
EP2955694A2 (en) | Method, apparatus and computer program product for image processing | |
US20120294519A1 (en) | Opacity Measurement Using a Global Pixel Set | |
CN104301618A (zh) | 闪烁检测方法和闪烁检测设备 | |
US9912878B2 (en) | Flicker detection apparatus and method and non-transitory computer readable storage storing the flicker detection method | |
CN105787910A (zh) | 一种人脸区域滤波方法基于异构平台的计算优化方法 | |
CN102831579B (zh) | 文本增强方法及装置、文本提取方法及装置 | |
CN114882321A (zh) | 深度学习模型的训练方法、目标对象检测方法和装置 | |
CN114119964A (zh) | 一种网络训练的方法及装置、目标检测的方法及装置 | |
CN115205157B (zh) | 图像处理方法和系统、电子设备和存储介质 | |
CN115290299A (zh) | 确定屏幕漏光的跌落深度的方法、装置及电子设备 | |
CN108711164A (zh) | 一种基于LBP和Color特征的运动检测方法 | |
CN106296568A (zh) | 一种镜头类型的确定方法、装置及客户端 | |
CN103927714A (zh) | 一种基于改进码本模型的前景检测方法 | |
CN113723242B (zh) | 基于视频终端的视觉测谎方法、电子设备及介质 | |
CN113723364B (zh) | 运动目标识别方法及装置 | |
Bae et al. | Census transform-based static caption detection for frame rate up-conversion | |
CN105635594A (zh) | 闪烁校正方法和闪烁校正设备 | |
JP2014007658A (ja) | 動きベクトル導出装置、方法およびプログラム | |
RU130425U1 (ru) | Формирователь ландшафта проблемного поля организации |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20171114 |
|
CF01 | Termination of patent right due to non-payment of annual fee |