CN111510709B - 图像频闪检测方法及装置、存储介质、终端 - Google Patents

图像频闪检测方法及装置、存储介质、终端 Download PDF

Info

Publication number
CN111510709B
CN111510709B CN202010337092.8A CN202010337092A CN111510709B CN 111510709 B CN111510709 B CN 111510709B CN 202010337092 A CN202010337092 A CN 202010337092A CN 111510709 B CN111510709 B CN 111510709B
Authority
CN
China
Prior art keywords
column vector
value
luminance
image
diff
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010337092.8A
Other languages
English (en)
Other versions
CN111510709A (zh
Inventor
严敬仁
汪涛
蔡进
陈欢
彭晓峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spreadtrum Communications Shanghai Co Ltd
Original Assignee
Spreadtrum Communications Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spreadtrum Communications Shanghai Co Ltd filed Critical Spreadtrum Communications Shanghai Co Ltd
Priority to CN202010337092.8A priority Critical patent/CN111510709B/zh
Publication of CN111510709A publication Critical patent/CN111510709A/zh
Application granted granted Critical
Publication of CN111510709B publication Critical patent/CN111510709B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种图像频闪检测方法及装置、存储介质、终端,所述方法包括:提供至少三帧图像;提取每帧图像的亮度列向量,所述亮度列向量中的每个亮度向量用于指示图像中每行最小单元的亮度值;基于所述至少三帧图像中每相邻两帧图像的亮度列向量,确定第一标准化处理2帧差分亮度列向量以及第二标准化处理2帧差分亮度列向量;至少根据所述第一标准化处理2帧差分亮度列向量以及第二标准化处理2帧差分亮度列向量,确定所述至少三帧图像是否存在频闪;其中,如果所述至少三帧图像存在频闪,则满足图像频闪的滚动速度小于预设速度。本发明可以针对慢速滚动频闪情形进行有效检测。

Description

图像频闪检测方法及装置、存储介质、终端
技术领域
本发明涉及图像检测技术领域,尤其涉及一种图像频闪检测方法及装置、存储介质、终端。
背景技术
由于交流电源的能量随着时间产生周期性变化,当光源工作在此类电源下时,若拍摄设备的曝光信息与光源频率不匹配,则拍摄图像时存在因为曝光过程中的光强差异产生的明暗变化。并且因互补金属氧化物半导体(Complementary Metal OxideSemiconductor,CMOS)元件的曝光策略为逐行曝光且行与行之间存在时间差导致明暗变化发生滚动现象,这是拍摄图像中出现频闪的根本成因。
当前常用的图像频闪检测方法的处理对象为拍摄过程中相邻两帧的差值图像,这样可以在有效去除图像背景信息的基础上较好地保留图像中的频闪特征。
然而,上述图像频闪检测方法并不适用于慢速滚动频闪情形。
亟需一种图像频闪检测方法,针对慢速滚动频闪情形进行有效检测,填补现有技术中的空白。
发明内容
本发明解决的技术问题是提供一种图像频闪检测方法及装置、存储介质、终端,可以针对慢速滚动频闪情形进行有效检测,填补现有技术中的空白。
为解决上述技术问题,本发明实施例提供一种图像频闪检测方法,其特征在于,包括以下步骤:提供至少三帧图像;提取每帧图像的亮度列向量,所述亮度列向量中的每个亮度向量用于指示图像中每行最小单元的亮度值;基于所述至少三帧图像中每相邻两帧图像的亮度列向量,确定第一标准化处理2帧差分亮度列向量以及第二标准化处理2帧差分亮度列向量;至少根据所述第一标准化处理2帧差分亮度列向量以及第二标准化处理2帧差分亮度列向量,确定所述至少三帧图像是否存在频闪;其中,如果所述至少三帧图像存在频闪,则满足图像频闪的滚动速度小于预设速度。
可选的,所述至少三帧图像是采用预设的采样步长得到的。
可选的,所述至少三帧图像均为拜耳阵列图像;提取每帧图像的亮度列向量包括:提取每帧图像中每个最小单元的R值、Gr值、Gb值以及B值;根据所述R值、Gr值、Gb值以及B值确定每帧图像的亮度向量矩阵;基于所述亮度向量矩阵,确定每帧图像的亮度列向量。
可选的,采用下述公式,根据所述R值、Gr值、Gb值以及B值确定每帧图像的亮度向量矩阵:
Y=(77×R+75×(Gr+Gb)+29×B)>>10
其中,Y用于表示亮度向量矩阵,R用于表示R值矩阵,Gr用于表示Gr值矩阵,Gb用于表示Gb值矩阵,B用于表示B值矩阵。
可选的,基于所述亮度向量矩阵,确定每帧图像的亮度列向量包括:对每帧图像进行下采样,以得到预设尺寸的采样后图像,所述预设尺寸包含预设行数以及预设列数;对所述采样后图像的每行亮度向量进行求和运算,以生成所述预设列数的亮度列向量。
可选的,采用下述公式,对所述采样后图像的每行亮度向量进行求和运算:
Figure BDA0002466309190000021
其中,Y(p,q)用于表示所述采样后图像的第p行第q列亮度向重,Y_acc(p)用于,表示采样后图像的第p行亮度向量,width用于表示采样后图像中每行最小单元中最小单元的个数。
可选的,基于所述至少三帧图像中每相邻两帧图像的亮度列向量,确定第一标准化处理2帧差分亮度列向量以及第二标准化处理2帧差分亮度列向量包括:将所述至少三帧图像中每相邻两帧图像的亮度列向量进行相减处理,以至少得到第一2帧差分亮度列向量diff1以及第二2帧差分亮度列向量diff2;对所述第一2帧差分亮度列向量diff1以及第二2帧差分亮度列向量diff2进行标准化处理,以得到第一标准化处理2帧差分亮度列向量以及第二标准化处理2帧差分亮度列向量。
可选的,对所述第一2帧差分亮度列向量diff1以及第二2帧差分亮度列向量diff2进行标准化处理包括:确定每帧差分亮度列向量的平均值diff_mean、最大值diff_max与最小值diff_min;采用下述公式,对所述第一2帧差分亮度列向量diff1以及第二2帧差分亮度列向量diff2进行标准化处理:
max_sq_range=max(diff_max2-diff_min2,diff_max1-diff_min1)
Figure BDA0002466309190000031
Figure BDA0002466309190000032
其中,max_sq_range用于表示最大序列范围,Diff_still1用于表示标准化处理后的第一标准化处理2帧差分亮度列向量,Diff_still2用于表示标准化处理后的第二标准化处理2帧差分亮度列向量,diff_max1用于表示第一帧差分亮度列向量的最大值,diff_min1用于表示第一帧差分亮度列向量的最小值,diff_mean1用于表示第一帧差分亮度列向量的平均值,diff_max2用于表示第二帧差分亮度列向量的最大值,diff_min2用于表示第二帧差分亮度列向量的最小值,diff_mean2用于表示第二帧差分亮度列向量的平均值。
可选的,至少根据所述第一标准化处理2帧差分亮度列向量以及第二标准化处理2帧差分亮度列向量,确定所述至少三帧图像是否存在频闪包括:根据所述第一标准化处理2帧差分亮度列向量,确定第一滤波差分亮度列向量Diff_still_ft1以及第一载波;根据所述第二标准化处理2帧差分亮度列向量,确定第二滤波差分亮度列向量Diff_still_ft2以及第二载波;采用所述第一滤波差分亮度列向量Diff_still_ft1减去所述第一载波,以得到第一遍历亮度列向量,以及,采用所述第二滤波差分亮度列向量Diff_still_ft2减去所述第二载波,以得到第二遍历亮度列向量;根据所述第一遍历亮度列向量,确定第一累加权重值,以及根据所述第二遍历亮度列向量,确定第二累加权重值;根据所述第一累加权重值与所述第二累加权重值的比较结果,确定频闪特征量化值Flk_still_val;根据所述频闪特征量化值Flk_still_val,确定所述至少三帧图像是否存在频闪。
可选的,采用下述公式,根据第j标准化处理2帧差分亮度列向量,确定第j滤波差分亮度列向量Diff_still_ft(j)以及第一载波:
Figure BDA0002466309190000041
Figure BDA0002466309190000042
其中,j为正整数,Diff_still_ft(j)用于表示第j个滤波差分亮度列向量,carrier(j)用于表示第j载波,filt_len用于表示滤波的窗口长度,Diff_still(i+j)用于表示第j标准化处理2帧差分亮度列向量的第i+j个亮度向量,i用于表示第i个亮度向量,n用于表示标准化处理2帧差分亮度列向量的数量。
可选的,根据所述第一遍历亮度列向量,确定第一累加权重值包括:选择所述第一遍历亮度列向量的一部分或多个部分,依次对每一部分均匀抽样m个值,并且每相邻两个值之间进行相减运算,以得到m-1个第一梯度值;根据所述m-1个第一梯度值,确定所述第一累加权重值。
可选的,选择所述第一遍历亮度列向量的一部分或多个部分包括:在所述第一遍历亮度列向量中,采用下述条件筛选亮度向量,记为亮度向量集合:
diff_still_ft(s+t)≥diff_still_ft(s)&&
diff_still_ft(s-t)≥diff_still_ft(s)&&
diff_still_ft≤300(t=1,2,...,T)
确定所述亮度向量集合中相邻的亮度向量的序号差,如果所述序号差介于40~150之间,则选择所述序号差所属的序号之间的Diff_long,作为所述第一遍历亮度列向量中的亮度向量的一部分;遍历所述亮度向量集合,以得到所述第一遍历亮度列向量中的亮度向量的一部分或多个部分;其中,s用于表示遍历的第s个亮度向量,T为预设正整数值,t为选自从1至T范围内的正整数。
可选的,根据所述第一累加权重值与所述第二累加权重值的比较结果,确定频闪特征量化值Flk_still_val包括:采用所述第一累加权重值与所述第二累加权重值中的较大值,作为所述频闪特征量化值Flk_still_val。
可选的,根据所述第一累加权重值与所述第二累加权重值的比较结果,确定频闪特征量化值Flk_still_val包括:采用所述第一累加权重值与所述第二累加权重值中的较大值,作为所述频闪特征量化值Flk_still_val。
为解决上述技术问题,本发明实施例提供一种图像频闪检测装置,包括:提供模块,用于提供至少三帧图像;提取模块,用于提取每帧图像的亮度列向量,所述亮度列向量中的每个亮度向量用于指示图像中每行最小单元的亮度值;标准化处理模块,用于基于所述至少三帧图像中每相邻两帧图像的亮度列向量,确定第一标准化处理2帧差分亮度列向量以及第二标准化处理2帧差分亮度列向量;频闪确定模块,用于至少根据所述第一标准化处理2帧差分亮度列向量以及第二标准化处理2帧差分亮度列向量,确定所述至少三帧图像是否存在频闪;其中,如果所述至少三帧图像存在频闪,则满足图像频闪的滚动速度小于预设速度。
为解决上述技术问题,本发明实施例提供一种存储介质,其上存储有计算机程序,所述计算机程序被处理器运行时执行上述图像频闪检测方法的步骤。
为解决上述技术问题,本发明实施例提供一种终端,包括存储器和处理器,所述存储器上存储有能够在所述处理器上运行的计算机程序,所述处理器运行所述计算机程序时执行上述图像频闪检测方法的步骤。
与现有技术相比,本发明实施例的技术方案具有以下有益效果:
在本发明实施例中,通过设置提取每帧图像的亮度列向量,基于所述至少三帧图像的亮度列向量,确定第一标准化处理2帧差分亮度列向量以及第二标准化处理2帧差分亮度列向量,并确定所述至少三帧图像是否存在频闪,可以针对慢速滚动频闪情形进行有效检测,填补现有技术中的空白。
进一步,在本发明实施例中,根据R值矩阵、Gr值矩阵、Gb值矩阵以及B值矩阵确定亮度向量矩阵,进而确定每帧图像的亮度列向量,可以提高确定每帧图像的亮度列向量的准确性。
进一步,通过对所述第一2帧差分亮度列向量diff1以及第二2帧差分亮度列向量diff2进行标准化处理,以得到第一标准化处理2帧差分亮度列向量以及第二标准化处理2帧差分亮度列向量,可以提高确定频闪检测的准确性。
进一步,通过设置确定第一滤波差分亮度列向量Diff_still_ft1以及第一载波,以及确定第二滤波差分亮度列向量Diff_still_ft2以及第二载波,可以通过滤波,消除波形噪声,从而进一步提高确定频闪检测的准确性。
进一步,在所述第一遍历亮度列向量中,采用预设条件筛选亮度向量,并选出一部分满足条件的点,构成点集valley,可以有效地减少后续运算的运算量,进一步降低计算复杂度。
进一步,确定长序列频闪特征值Flk_still_v_val,进而基于长序列频闪特征值Flk_still_v_val大于预设长序列频闪特征阈值,确定存在频闪,可以进一步采用长度更长的亮度列向量对频闪进行检测,进一步有效地提高检测的准确性。
附图说明
图1是本发明实施例中一种图像频闪检测方法的流程图;
图2是本发明实施例中一种拜耳阵列图像的示意图;
图3是图1中步骤S13的一种具体实施方式的流程图;
图4是图1中步骤S14的一种具体实施方式的流程图;
图5是本发明实施例中一种图像频闪检测装置的结构示意图。
具体实施方式
随着消费电子和工业电子设备的迅速迭代,摄像头成为了很多嵌入式设备标准配置。当前主流嵌入式摄像设备的成像元件是互补金属氧化物半导体(CMOS)和卷帘式快门的组合,此类元件工作在交流电源照明装置的条件下很容易受到频闪的影响,导致预览图像质量急剧降低。
如前所述,拍摄图像中会出现频闪,当前常用的图像频闪检测方法的处理对象为拍摄过程中相邻两帧的差值图像,这样可以在有效去除图像背景信息的基础上较好地保留图像中的频闪特征。然而,上述图像频闪检测方法并不适用于慢速滚动频闪情形。
本发明的发明人经过研究发现,现有技术中常用的图像频闪检测方法仅对理想的频闪现象才能保证较为理想的检测正确率,这里对理想频闪的定义是指预览图像中明暗区间清晰可见、条数介于3~5条且明暗条纹在以适宜的速率滚动。但是由于成像sensor的性质差异(是否binning输出/分辨率尺寸等),不同型号的摄像设备出现的频闪现象千差万别,尤其是会出现滚动速度极慢的频闪现象。在视觉感知中已经没有“闪烁”的迹象,而是纯粹的图像背景信息和明暗条纹的叠加。遇到此类频闪现象常用的图像频闪检测方法的表现将会不再符合预期。
具体地,对于慢速滚动频闪情形,由于相邻两帧统计信息间的差异过小,直接将相邻两帧统计信息相减的处理方法将不再适用。其中,慢速滚动频闪情形可以理解为满足图像频闪的滚动速度小于预设速度的频闪现象。
在本发明实施例中,通过设置提取每帧图像的亮度列向量,基于所述至少三帧图像的亮度列向量,确定第一标准化处理2帧差分亮度列向量以及第二标准化处理2帧差分亮度列向量,并确定所述至少三帧图像是否存在频闪,可以针对慢速滚动频闪情形进行有效检测,填补现有技术中的空白。
为使本发明的上述目的、特征和有益效果能够更为明显易懂,下面结合附图对本发明的具体实施例做详细的说明。
参照图1,图1是本发明实施例中一种图像频闪检测方法的流程图。所述图像频闪检测方法可以包括步骤S11至步骤S14:
步骤S11:提供连续的至少三帧图像;
步骤S12:提取每帧图像的亮度列向量,所述亮度列向量中的每个亮度向量用于指示图像中每行最小单元的亮度值;
步骤S13:基于所述至少三帧图像中每相邻两帧图像的亮度列向量,确定第一标准化处理2帧差分亮度列向量以及第二标准化处理2帧差分亮度列向量;
步骤S14:至少根据所述第一标准化处理2帧差分亮度列向量以及第二标准化处理2帧差分亮度列向量,确定所述至少三帧图像是否存在频闪。
其中,如果所述至少三帧图像存在频闪,则满足图像频闪的滚动速度小于预设速度。
在步骤S11的具体实施中,提供连续的至少三帧图像。
进一步地,所述至少三帧图像均可以为拜耳阵列图像。
参照图2,图2是本发明实施例中一种拜耳阵列图像的示意图。所述拜耳阵列图像可以包括多个最小单元(Cell),例如为图2中圆圈所圈的区域。
其中,每个Cell可以包括蓝色像素(B)、绿蓝像素(Gb)、绿红像素(Gr)以及红色像素(R),则每个Cell可以具有R值、Gr值、Gb值以及B值。
在步骤S12的具体实施中,可以提取每帧图像的亮度列向量,所述亮度列向量中的每个亮度向量用于指示图像中每行最小单元的亮度值。
进一步地,提取每帧图像的亮度列向量的步骤可以包括:提取每帧图像中每个最小单元的R值、Gr值、Gb值以及B值;根据所述R值、Gr值、Gb值以及B值确定每帧图像的亮度向量矩阵;基于所述亮度向量矩阵,确定每帧图像的亮度列向量。
更进一步地,可以采用下述公式,根据所述R值、Gr值、Gb值以及B值确定每帧图像的亮度向量矩阵:
Y=(77×R+75×(Gr+Gb)+29×B)>>10
其中,Y用于表示亮度向量矩阵,R用于表示R值矩阵,Gr用于表示Gr值矩阵,Gb用于表示Gb值矩阵,B用于表示B值矩阵。也即,通过R值矩阵、Gr值矩阵、Gb值矩阵和B值矩阵进行运算后再整体右移10位,可以得到亮度向量矩阵Y。
需要指出的是,通过设置右移10位(>>10),可以有控制地减少亮度值的比特位数,从而降低不同的色彩对亮度值的影响,进而在后续运算中提高频闪检测的准确率。
在本发明实施例中,根据R值矩阵、Gr值矩阵、Gb值矩阵以及B值矩阵确定亮度向量矩阵,进而确定每帧图像的亮度列向量,可以提高确定每帧图像的亮度列向量的准确性。
需要指出的是,本发明的处理图像格式不局限于拜耳(Bayer)阵列图像,在各类能够统计亮度信息的数字图像域均可以应用,其中,所述数字图像域包括但不限于原始图像(RAW)域、YCrCb颜色编码(YUV)域、全彩色(RGB)域。
更进一步地,基于所述亮度向量矩阵,确定每帧图像的亮度列向量包括:对每帧图像进行下采样,以得到预设尺寸的采样后图像,所述预设尺寸包含预设行数以及预设列数;对所述采样后图像的每行亮度向量进行求和运算,以生成所述预设列数的亮度列向量。
更进一步地,可以采用下述公式,对所述采样后图像的每行亮度向量进行求和运算:
Figure BDA0002466309190000091
其中,Y(p,q)用于表示所述采样后图像的第p行第q列亮度向量,Y_acc(p)用于,表示采样后图像的第p行亮度向量,width用于表示采样后图像中每行最小单元中最小单元的个数。
在本发明实施例的一种具体实施方式中,可以根据输入图像尺寸和预设分辨率的之比,计算得到相应的采样系数并将当前图像下采样至预设尺寸,以所述预设尺寸为640(像素)×480(像素)为例,此时将采样后图像在行方向上逐个相加,可以生成高度为480的列向量。也即在上述公式中,q的最大值为480。
在步骤S13的具体实施中,可以基于所述至少三帧图像中每相邻两帧图像的亮度列向量,确定第一标准化处理2帧差分亮度列向量以及第二标准化处理2帧差分亮度列向量。
参照图3,图3是图1中步骤S13的一种具体实施方式的流程图。基于所述至少三帧图像中每相邻两帧图像的亮度列向量,确定第一标准化处理2帧差分亮度列向量以及第二标准化处理2帧差分亮度列向量的步骤可以包括步骤S31至步骤S32,以下对各个步骤进行说明。
在步骤S31中,将所述至少三帧图像中每相邻两帧图像的亮度列向量进行相减处理,以至少得到第一2帧差分亮度列向量diff1以及第二2帧差分亮度列向量diff2。
在步骤S32中,对所述第一2帧差分亮度列向量diff1以及第二2帧差分亮度列向量diff2进行标准化处理,以得到第一标准化处理2帧差分亮度列向量以及第二标准化处理2帧差分亮度列向量。
进一步地,对所述第一2帧差分亮度列向量diff1以及第二2帧差分亮度列向量diff2进行标准化处理的步骤可以包括:确定每帧差分亮度列向量的平均值diff_mean、最大值diff_max与最小值diff_min;采用下述公式,对所述第一2帧差分亮度列向量diff1以及第二2帧差分亮度列向量diff2进行标准化处理:
max_sq_range
=max(diff_max2-diff_min2,diff_max1-diff_min1)
Figure BDA0002466309190000101
Figure BDA0002466309190000102
其中,max_sq_range用于表示最大序列范围,Diff_still1用于表示标准化处理后的第一标准化处理2帧差分亮度列向量,Diff_still2用于表示标准化处理后的第二标准化处理2帧差分亮度列向量,diff_max1用于表示第一帧差分亮度列向量的最大值,diff_min1用于表示第一帧差分亮度列向量的最小值,diff_mean1用于表示第一帧差分亮度列向量的平均值,diff_max2用于表示第二帧差分亮度列向量的最大值,diff_min2用于表示第二帧差分亮度列向量的最小值,diff_mean2用于表示第二帧差分亮度列向量的平均值。
在本发明实施例中,通过对所述第一2帧差分亮度列向量diff1以及第二2帧差分亮度列向量diff2进行标准化处理,以得到第一标准化处理2帧差分亮度列向量以及第二标准化处理2帧差分亮度列向量,可以提高确定频闪检测的准确性。
继续参照图1,在步骤S14的具体实施中,至少根据所述第一标准化处理2帧差分亮度列向量以及第二标准化处理2帧差分亮度列向量,还可以根据具体情况,采用其他适当的参数,确定所述至少三帧图像是否存在频闪。
参照图4,图4是图1中步骤S14的一种具体实施方式的流程图。至少根据所述第一标准化处理2帧差分亮度列向量以及第二标准化处理2帧差分亮度列向量,确定所述至少三帧图像是否存在频的步骤可以包括步骤S41至步骤S46,以下对各个步骤进行说明。
在步骤S41中,根据所述第一标准化处理2帧差分亮度列向量,确定第一滤波差分亮度列向量Diff_still_ft1以及第一载波。
在步骤S42中,根据所述第二标准化处理2帧差分亮度列向量,确定第二滤波差分亮度列向量Diff_still_ft2以及第二载波。
进一步地,可以采用下述公式,根据第j标准化处理2帧差分亮度列向量,确定第j滤波差分亮度列向量Diff_still_ft(j)以及第一载波:
Figure BDA0002466309190000111
Figure BDA0002466309190000112
其中,j为正整数,Diff_still_ft(j)用于表示第j个滤波差分亮度列向量,carrier(j)用于表示第j载波,filt_len用于表示滤波的窗口长度,Diff_still(i+j)用于表示第j标准化处理2帧差分亮度列向量的第i+j个亮度向量,i用于表示第i个亮度向量,n用于表示标准化处理2帧差分亮度列向量的数量。可以理解的是,所述n至少为2,所述j至少包括1和2,可以分别采用上述公式确定第一滤波差分亮度列向量Diff_still_ft1以及第一载波、第二滤波差分亮度列向量Diff_still_ft2以及第二载波。
在本发明实施例中,通过设置确定第一滤波差分亮度列向量Di跹still_ft1以及第一载波,以及确定第二滤波差分亮度列向量Diff_still_ft2以及第二载波,可以通过滤波,消除波形噪声,从而进一步提高确定频闪检测的准确性。
在步骤S43中,采用所述第一滤波差分亮度列向量Diff_still_ft1减去所述第一载波,以得到第一遍历亮度列向量,以及,采用所述第二滤波差分亮度列向量Diff_still_ft2减去所述第二载波,以得到第二遍历亮度列向量。
在步骤S44中,根据所述第一遍历亮度列向量,确定第一累加权重值,以及根据所述第二遍历亮度列向量,确定第二累加权重值。
进一步地,根据所述第一遍历亮度列向量,确定第一累加权重值的步骤可以包括:选择所述第一遍历亮度列向量的一部分或多个部分,依次对每一部分均匀抽样m个值,并且每相邻两个值之间进行相减运算,以得到m-1个第一梯度值;根据所述m-1个第一梯度值,确定所述第一累加权重值。
进一步地,选择所述第一遍历亮度列向量的一部分或多个部分的步骤可以包括:在所述第一遍历亮度列向量中,采用下述条件筛选亮度向量,记为亮度向量集合:
diff_still_ft(s+t)≥diff_still_ft(s)&&
diff_still_ft(s-t)≥diff_still_ft(s)&&
diff_still_ft≤300(t=1,2,...,f)
确定所述亮度向量集合中相邻的亮度向量的序号差,如果所述序号差介于40~150之间,则选择所述序号差所属的序号之间的Diff_long,作为所述第一遍历亮度列向量中的亮度向量的一部分;遍历所述亮度向量集合,以得到所述第一遍历亮度列向量中的亮度向量的一部分或多个部分;其中,s用于表示遍历的第s个亮度向量,T为预设正整数值,t为选自从1至T范围内的正整数。
在具体实施中,可以以m=13为例,例如遍历valley中的所有点,在遍历过程中依次将点赋予peak_l和peak_r,当peak_r-peak_l介于40~150之间时,在diff_long(peak_l)-diff_long(peak_r)之间均匀抽样13个值并相邻两个值之间做差求得梯度,之后统计12个梯度值后者小于前者的个数,以此作为第一累加权重值。
在本发明实施例中,在所述第一遍历亮度列向量中,采用预设条件筛选亮度向量,并选出一部分满足条件的点,构成点集valley,可以有效地减少后续运算的运算量,进一步降低计算复杂度。
根据所述第二遍历亮度列向量,确定第二累加权重值的步骤可以包括:选择所述第二遍历亮度列向量的一部分或多个部分,依次对每一部分均匀抽样m’个值,并且每相邻两个值之间进行相减运算,以得到m’-1个第二梯度值;根据所述m’-1个第一梯度值,确定所述第二累加权重值。
有关第二遍历亮度列向量的一部分或多个部分的确定步骤,以及抽样的具体实施步骤,可以参照前述第一遍历亮度列向量的相关描述,此处不再赘述。
在本发明实施例中,在所述第二遍历亮度列向量中,采用预设条件筛选亮度向量,并选出一部分满足条件的点,构成点集valley,可以有效地减少后续运算的运算量,进一步降低计算复杂度。
在步骤S45中,根据所述第一累加权重值与所述第二累加权重值的比较结果,确定频闪特征量化值Flk_still_val。
进一步地,根据所述第一累加权重值与所述第二累加权重值的比较结果,确定频闪特征量化值Flk_still_val的步骤可以包括:采用所述第一累加权重值与所述第二累加权重值中的较大值,作为所述频闪特征量化值Flk_still_val。
在本发明实施例中,通过采用所述第一累加权重值与所述第二累加权重值中的较大值,在后续步骤中与阈值参数进行比较的过程中,更容易检测到频闪。
在步骤S46中,根据所述频闪特征量化值Flk_still_val,确定所述至少三帧图像是否存在频闪。
进一步地,根据所述频闪特征量化值Flk_still_val,确定所述至少三帧图像是否存在频闪的步骤可以包括:根据所述频闪特征量化值Flk_still_val,采用下述公式,确定长序列频闪特征值Flk_still_v_val:
Figure BDA0002466309190000131
根据所述长序列频闪特征值Flk_still_v_val大于预设长序列频闪特征阈值,确定所述至少三帧图像存在频闪;其中,Flk_still_v_val用于指示长序列频闪特征值,thrd_s_v用于表示预设频闪阈值。
在本发明实施例中,通过确定长序列频闪特征值Flk_still_v_val,进而基于长序列频闪特征值Flk_still_v_val大于预设长序列频闪特征阈值,确定存在频闪,可以进一步采用长度更长的亮度列向量对频闪进行检测,进一步有效地提高检测的准确性。
在本发明实施例中,通过设置提取每帧图像的亮度列向量,基于所述至少三帧图像的亮度列向量,确定第一标准化处理2帧差分亮度列向量以及第二标准化处理2帧差分亮度列向量,并确定所述至少三帧图像是否存在频闪,可以针对慢速滚动频闪情形进行有效检测,填补现有技术中的空白。
参照图5,图5是本发明实施例中一种图像频闪检测装置的结构示意图。所述图像频闪检测装置可以包括:
提供模块51,用于提供连续的至少三帧图像;
提取模块52,用于提取每帧图像的亮度列向量,所述亮度列向量中的每个亮度向量用于指示图像中每行最小单元的亮度值;
标准化处理模块53,用于基于所述至少三帧图像中每相邻两帧图像的亮度列向量,确定第一标准化处理2帧差分亮度列向量以及第二标准化处理2帧差分亮度列向量;
频闪确定模块54,用于至少根据所述第一标准化处理2帧差分亮度列向量以及第二标准化处理2帧差分亮度列向量,确定所述至少三帧图像是否存在频闪;
其中,如果所述至少三帧图像存在频闪,则满足图像频闪的滚动速度小于预设速度。
关于该图像频闪检测装置的原理、具体实现和有益效果请参照前文及图1至图4示出的关于图像频闪检测方法的相关描述,此处不再赘述。
本发明实施例还提供了一种存储介质,其上存储有计算机程序,所述计算机程序被处理器运行时执行上述方法的步骤。所述存储介质可以是计算机可读存储介质,例如可以包括非挥发性存储器(non-volatile)或者非瞬态(non-transitory)存储器,还可以包括光盘、机械硬盘、固态硬盘等。
本发明实施例还提供了一种终端,包括存储器和处理器,所述存储器上存储有能够在所述处理器上运行的计算机程序,所述处理器运行所述计算机程序时执行上述方法的步骤。所述终端包括但不限于手机、计算机、平板电脑等终端设备。
虽然本发明披露如上,但本发明并非限定于此。任何本领域技术人员,在不脱离本发明的精神和范围内,均可作各种更动与修改,因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (17)

1.一种图像频闪检测方法,其特征在于,包括以下步骤:
提供至少三帧图像;
提取每帧图像的亮度列向量,所述亮度列向量中的每个亮度向量用于指示图像中每行最小单元的亮度值;
基于所述至少三帧图像中每相邻两帧图像的亮度列向量,确定第一标准化处理2帧差分亮度列向量以及第二标准化处理2帧差分亮度列向量;
至少根据所述第一标准化处理2帧差分亮度列向量以及第二标准化处理2帧差分亮度列向量,确定所述至少三帧图像是否存在频闪;
其中,如果所述至少三帧图像存在频闪,则满足图像频闪的滚动速度小于预设速度。
2.根据权利要求1所述的图像频闪检测方法,其特征在于,所述至少三帧图像是采用预设的采样步长得到的。
3.根据权利要求1所述的图像频闪检测方法,其特征在于,所述至少三帧图像均为拜耳阵列图像;
提取每帧图像的亮度列向量包括:
提取每帧图像中每个最小单元的R值、Gr值、Gb值以及B值;
根据所述R值、Gr值、Gb值以及B值确定每帧图像的亮度向量矩阵;
基于所述亮度向量矩阵,确定每帧图像的亮度列向量。
4.根据权利要求3所述的图像频闪检测方法,其特征在于,采用下述公式,根据所述R值、Gr值、Gb值以及B值确定每帧图像的亮度向量矩阵:
Y=(77×R+75×(Gr+Gb)+29×B)>>10
其中,Y用于表示亮度向量矩阵,R用于表示R值矩阵,Gr用于表示Gr值矩阵,Gb用于表示Gb值矩阵,B用于表示B值矩阵。
5.根据权利要求3所述的图像频闪检测方法,其特征在于,基于所述亮度向量矩阵,确定每帧图像的亮度列向量包括:
对每帧图像进行下采样,以得到预设尺寸的采样后图像,所述预设尺寸包含预设行数以及预设列数;
对所述采样后图像的每行亮度向量进行求和运算,以生成所述预设列数的亮度列向量。
6.根据权利要求5所述的图像频闪检测方法,其特征在于,采用下述公式,对所述采样后图像的每行亮度向量进行求和运算:
Figure FDA0003312386800000021
其中,Y(p,q)用于表示所述采样后图像的第p行第q列亮度向量,Y_acc(p)用于,表示采样后图像的第p行亮度向量,width用于表示采样后图像中每行最小单元中最小单元的个数。
7.根据权利要求1所述的图像频闪检测方法,其特征在于,基于所述至少三帧图像中每相邻两帧图像的亮度列向量,确定第一标准化处理2帧差分亮度列向量以及第二标准化处理2帧差分亮度列向量包括:
将所述至少三帧图像中每相邻两帧图像的亮度列向量进行相减处理,以至少得到第一2帧差分亮度列向量diff1以及第二2帧差分亮度列向量diff2;对所述第一2帧差分亮度列向量diff1以及第二2帧差分亮度列向量diff2进行标准化处理,以得到第一标准化处理2帧差分亮度列向量以及第二标准化处理2帧差分亮度列向量。
8.根据权利要求7所述的图像频闪检测方法,其特征在于,对所述第一2帧差分亮度列向量diff1以及第二2帧差分亮度列向量diff2进行标准化处理包括:
确定每帧差分亮度列向量的平均值diff_mean、最大值diff_max与最小值diff_min;
采用下述公式,对所述第一2帧差分亮度列向量diff1以及第二2帧差分亮度列向量diff2进行标准化处理:
max__sq_range
=max(diff_max2-diff_min2,diff_max1-diff_min1)
Figure FDA0003312386800000031
Figure FDA0003312386800000032
其中,max_sq_range用于表示最大序列范围,Diff_still1用于表示标准化处理后的第一标准化处理2帧差分亮度列向量,Diff_still2用于表示标准化处理后的第二标准化处理2帧差分亮度列向量,diff_max1用于表示第一帧差分亮度列向量的最大值,diff_min1用于表示第一帧差分亮度列向量的最小值,diff_mean1用于表示第一帧差分亮度列向量的平均值,diff_max2用于表示第二帧差分亮度列向量的最大值,diff_min2用于表示第二帧差分亮度列向量的最小值,diff_mean2用于表示第二帧差分亮度列向量的平均值。
9.根据权利要求1所述的图像频闪检测方法,其特征在于,至少根据所述第一标准化处理2帧差分亮度列向量以及第二标准化处理2帧差分亮度列向量,确定所述至少三帧图像是否存在频闪包括:
根据所述第一标准化处理2帧差分亮度列向量,确定第一滤波差分亮度列向量Diff_still_ft1以及第一载波;
根据所述第二标准化处理2帧差分亮度列向量,确定第二滤波差分亮度列向量Diff_still_ft2以及第二载波;
采用所述第一滤波差分亮度列向量Diff_still_ft1减去所述第一载波,以得到第一遍历亮度列向量,以及,采用所述第二滤波差分亮度列向量Diff_still_ft2减去所述第二载波,以得到第二遍历亮度列向量;
根据所述第一遍历亮度列向量,确定第一累加权重值,以及根据所述第二遍历亮度列向量,确定第二累加权重值;
根据所述第一累加权重值与所述第二累加权重值的比较结果,确定频闪特征量化值Flk_still_val;
根据所述频闪特征量化值Flk_still_val,确定所述至少三帧图像是否存在频闪;
其中,所述第一载波为第一个第一滤波差分亮度列向量Diff_still_ft1至第n个第一滤波差分亮度列向量Diff_still_ft1求和后取均值得到的,所述第二载波为第一个第二滤波差分亮度列向量Diff_still_ft2至第n个第二滤波差分亮度列向量Diff_still_ft2求和后取均值得到的,其中,n用于表示标准化处理2帧差分亮度列向量的数量。
10.根据权利要求9所述的图像频闪检测方法,其特征在于,采用下述公式,根据第j标准化处理2帧差分亮度列向量,确定第j滤波差分亮度列向量Diff_still_ft(j)以及第j载波:
Figure FDA0003312386800000041
Figure FDA0003312386800000042
其中,j为正整数,Diff_still_ft(j)用于表示第j个滤波差分亮度列向量,carrier(j)用于表示第j载波,filt_len用于表示滤波的窗口长度,Diff_still(i+j)用于表示第j标准化处理2帧差分亮度列向量的第i+j个亮度向量,i用于表示第i个亮度向量,n用于表示标准化处理2帧差分亮度列向量的数量。
11.根据权利要求9所述的图像频闪检测方法,其特征在于,根据所述第一遍历亮度列向量,确定第一累加权重值包括:
选择所述第一遍历亮度列向量的一部分或多个部分,依次对每一部分均匀抽样m个值,并且每相邻两个值之间进行相减运算,以得到m-1个第一梯度值;
根据所述m-1个第一梯度值,确定所述第一累加权重值。
12.根据权利要求11所述的图像频闪检测方法,其特征在于,选择所述第一遍历亮度列向量的一部分或多个部分包括:
在所述第一遍历亮度列向量中,采用下述条件筛选亮度向量,记为亮度向量集合:
diff_still_ft(s+t)≥diff_still_ft(s)&&
diff_still_ft(s-t)≥diff_still_ft(s)&&
diff_still_ft≤300(t=1,2,...,T)
确定所述亮度向量集合中相邻的亮度向量的序号差,如果所述序号差介于40~150之间,则选择所述序号差所属的序号之间的Diff_long,作为所述第一遍历亮度列向量中的亮度向量的一部分;
遍历所述亮度向量集合,以得到所述第一遍历亮度列向量中的亮度向量的一部分或多个部分;
其中,s用于表示遍历的第s个亮度向量,T为预设正整数值,t为选自从1至T范围内的正整数。
13.根据权利要求9所述的图像频闪检测方法,其特征在于,根据所述第一累加权重值与所述第二累加权重值的比较结果,确定频闪特征量化值Flk_still_val包括:
采用所述第一累加权重值与所述第二累加权重值中的较大值,作为所述频闪特征量化值Flk_still_val。
14.根据权利要求9所述的图像频闪检测方法,其特征在于,根据所述频闪特征量化值Flk_still_val,确定所述至少三帧图像是否存在频闪包括:
根据所述频闪特征量化值Flk_still_val,采用下述公式,确定长序列频闪特征值Flkstill v val:
Figure FDA0003312386800000051
根据所述长序列频闪特征值Flk_still_v_val大于预设长序列频闪特征阈值,确定所述至少三帧图像存在频闪;
其中,Flk_still_v_val用于指示长序列频闪特征值,thrd_s_v用于表示预设频闪阈值。
15.一种图像频闪检测装置,其特征在于,包括:
提供模块,用于提供至少三帧图像;
提取模块,用于提取每帧图像的亮度列向量,所述亮度列向量中的每个亮度向量用于指示图像中每行最小单元的亮度值;
标准化处理模块,用于基于所述至少三帧图像中每相邻两帧图像的亮度列向量,确定第一标准化处理2帧差分亮度列向量以及第二标准化处理2帧差分亮度列向量;
频闪确定模块,用于至少根据所述第一标准化处理2帧差分亮度列向量以及第二标准化处理2帧差分亮度列向量,确定所述至少三帧图像是否存在频闪;
其中,如果所述至少三帧图像存在频闪,则满足图像频闪的滚动速度小于预设速度。
16.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行权利要求1至14任一项所述图像频闪检测方法的步骤。
17.一种终端,包括存储器和处理器,所述存储器上存储有能够在所述处理器上运行的计算机程序,其特征在于,所述处理器运行所述计算机程序时执行权利要求1至14任一项所述图像频闪检测方法的步骤。
CN202010337092.8A 2020-04-24 2020-04-24 图像频闪检测方法及装置、存储介质、终端 Active CN111510709B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010337092.8A CN111510709B (zh) 2020-04-24 2020-04-24 图像频闪检测方法及装置、存储介质、终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010337092.8A CN111510709B (zh) 2020-04-24 2020-04-24 图像频闪检测方法及装置、存储介质、终端

Publications (2)

Publication Number Publication Date
CN111510709A CN111510709A (zh) 2020-08-07
CN111510709B true CN111510709B (zh) 2022-02-01

Family

ID=71878027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010337092.8A Active CN111510709B (zh) 2020-04-24 2020-04-24 图像频闪检测方法及装置、存储介质、终端

Country Status (1)

Country Link
CN (1) CN111510709B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113688820A (zh) * 2021-08-25 2021-11-23 维沃移动通信有限公司 频闪条带信息识别方法、装置和电子设备
CN114529729B (zh) * 2022-04-22 2022-08-23 珠海视熙科技有限公司 频闪检测及消除方法、装置、相机及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104346793B (zh) * 2013-07-25 2017-11-21 浙江大华技术股份有限公司 一种视频闪烁检测方法及装置
CN104427210B (zh) * 2013-08-23 2018-03-27 浙江大华技术股份有限公司 一种随机异常闪烁点检测方法及装置
JP2018093275A (ja) * 2016-11-30 2018-06-14 オリンパス株式会社 撮像装置およびフリッカ判定方法
CN109274984B (zh) * 2018-10-16 2021-07-16 深圳开阳电子股份有限公司 检测视频序列中光源闪烁的方法、装置及图像处理设备

Also Published As

Publication number Publication date
CN111510709A (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
CN111741290B (zh) 图像频闪检测方法及装置、存储介质、终端
US8823808B2 (en) Method for improved digital video image quality
EP1401196B1 (en) Method for detecting defective pixels in a digital image sensor
KR100735561B1 (ko) 이미지 센서로부터 발생되는 잡음을 저감하는 방법 및 장치
CN107395991B (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
US20080278603A1 (en) Method and apparatus for reducing flicker of image sensor
CN110365920B (zh) 图像处理
CN111510709B (zh) 图像频闪检测方法及装置、存储介质、终端
WO2011118329A1 (en) Image processing apparatus and control method for image processing apparatus
US11481873B2 (en) Method and apparatus for image processing
KR20080095084A (ko) 영상 잡음 제거 장치 및 방법
CN111510708B (zh) 图像频闪检测方法及装置、存储介质、终端
WO2008119228A1 (en) Low complexity color de-noising filter
CN100401749C (zh) 图像处理装置和方法
JP6185249B2 (ja) イメージ処理装置及びイメージ処理方法
EP3363193B1 (en) Device and method for reducing the set of exposure times for high dynamic range video imaging
US10867392B2 (en) Spatially multiplexed exposure
US11533423B2 (en) Contrast-based autofocus
KR101946946B1 (ko) 이미지 처리 장치 및 이의 이미지 처리 방법
JP5091880B2 (ja) 動画像ノイズ除去装置および動画像ノイズ除去プログラム
US11153467B2 (en) Image processing
US11997384B2 (en) Focus setting determination
CN115514955B (zh) 一种摄像头画面质量异常检测与识别方法
KR100769561B1 (ko) 노이즈 제거에 사용되는 임계값 결정 장치 및 방법
JP2017021467A (ja) 画像処理装置、その制御方法、および制御プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant