CN114549843A - 频闪条纹检测及消除方法、装置、摄像设备及存储介质 - Google Patents

Abstract

本申请公开了一种频闪条纹检测及消除方法、装置、摄像设备及存储介质，用于对图像画面频闪条纹进行检测，提高检测精度，从而有利于频闪条纹的消除。本申请方法包括：获取经过预处理后的初始图像；对预处理后的初始图像进行二值化处理，得到二值化图像；计算所述二值化图像在预设方向上的积分投影，得到一维离散信号；确定所述一维离散信号中的有效波峰以及有效波谷，所述有效波峰以及所述有效波谷为满足预先设定的有效条件的波峰和波谷；根据所述有效波峰以及所述有效波谷确定图像画面的频闪状态。

Description

频闪条纹检测及消除方法、装置、摄像设备及存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种频闪条纹检测及消除方法、装置、摄像设备及存储介质。

背景技术

图像画面频闪，也叫工频闪烁、电力线闪烁（Power-line flicker），是相机在交流电光源环境下拍摄、录像时常见的一种物理现象。发生频闪时图像画面中会出现明暗交替且会移动的条纹，这会严重影响成像质量，带来不好的用户体验。

为了消除或抑制图像画面频闪，首先需要对频闪现象进行准确、可靠的检测。现有技术中，通常是通过计算差分向量的方式判断当前图像帧是否存在频闪现象的方式；或者是通过图片中平均灰度值的变化规律判断当前场景是否存在频闪现象。

但是现有技术的方法仅能够在一些特定场景下实现较为准确的频闪检测，在面对一些复杂场景时，尤其是光源微弱闪烁、画面晃动或出现条状运动纹理等场景中，现有技术的方法容易出现误检或漏检的现象，从而会导致在错误的时刻消除或抑制了频闪，这也会对成像质量带来极大的影响。

发明内容

为了解决上述技术问题，本申请提供了本申请第一方面提供了一种频闪条纹检测及消除方法、装置、摄像设备及存储介质。

本申请第一方面提供了一种频闪条纹检测方法，用于对图像画面的频闪状态进行检测，所述方法包括：

获取经过预处理后的初始图像；

对预处理后的初始图像进行二值化处理，得到二值化图像；

计算所述二值化图像在预设方向上的积分投影，得到一维离散信号；

确定所述一维离散信号中的有效波峰以及有效波谷，所述有效波峰以及所述有效波谷为满足预先设定的有效条件的波峰和波谷；

根据所述有效波峰以及所述有效波谷确定图像画面的频闪状态。

可选的，所述确定所述一维离散信号中的有效波峰以及有效波谷包括：

根据所述一维离散信号中的最大值以及最小值确定高度差阈值；

确定所述一维离散信号中的任意相邻的初始波峰以及初始波谷之间的高度差；

若所述高度差不小于所述高度差阈值，则将对应的一组初始波峰以及初始波谷确定为有效波峰以及有效波谷。

可选的，所述根据所述一维离散信号中的最大值以及最小值确定高度差阈值包括：

通过如下式子确定高度差阈值：

T_h=T_r（S_max-S_min）

其中，T_h表示所述高度差阈值，T_r为预设的高度比例，S_max表示所述最大值，S_min表示所述最小值。

可选的，在所述确定所述一维离散信号中的任意相邻的初始波峰以及初始波谷之间的高度差之前还包括：

在所述一维离散信号中剔除包含有边界点的初始波峰以及初始波谷；

判断在剔除之后剩余的初始波峰以及初始波谷的总数量是否小于2；

若是，则在确定所述一维离散信号中的任意相邻的初始波峰以及初始波谷之间的高度差之后，所述方法还包括：

若确定所述高度差小于所述高度差阈值，则将对应的一组初始波峰以及初始波谷剔除，并重新判断在剔除之后剩余的初始波峰以及初始波谷的总数量是否小于2。

可选的，在所述判断在剔除之后剩余的初始波峰以及初始波谷的总数量是否小于2之后，所述方法还包括：

若剩余的初始波峰以及初始波谷的总数量小于2，则将剩余的初始波峰以及初始波谷确定为有效波峰以及有效波谷。

可选的，所述根据所述有效波峰以及所述有效波谷确定图像画面的频闪状态包括：

对所述有效波峰以及所述有效波谷的波形特征进行提取；

判断所述波形特征是否满足预先设定的频闪特征；

若是，则确定图像画面处于频闪状态。

可选的，所述对所述有效波峰以及所述有效波谷的波形特征进行提取包括：

分别提取所述有效波峰以及所述有效波谷的波峰数量、波谷数量；

所述判断所述波形特征是否满足预先设定的频闪特征包括：

判断所述波峰数量、所述波谷数量以及对应的有效波峰以及有效波谷的总数量是否分别满足预先设定的数量范围；

若均满足预先设定的数量范围，则确定图像画面处于频闪状态。

可选的，所述对所述有效波峰以及所述有效波谷的波形特征进行提取包括：

分别提取所述有效波峰以及所述有效波谷的最高波峰高度以及波谷高度上限；

所述判断所述波形特征是否满足预先设定的频闪特征包括：

判断所述最高波峰高度是否大于预先设定的波峰高度下限，以及判断所述波谷高度上限是否不大于预先设定的波谷高度上限；

若确定所述最高波峰高度大于预先设定的波峰高度下限，且波谷高度上限不大于预先设定的波谷高度上限，则确定图像画面处于频闪状态。

可选的，所述波峰高度下限以及所述波谷高度上限为动态阈值，其分别由下述式子进行确定得到：

T_{h_peak_floor}=h*T_{r_peak_floor}

T_{h_trough_ceiling}=h*T_{r_trough_ceiling}

其中，h为积分投影对应的图像高度，T_{r_peak_floor}为预先设定的波峰高度下限的比例阈值，T_{r_trough_ceiling}预先设定的波峰高度上限的比例阈值，T_{h_peak_floor}表示所述波峰高度下限，T_{h_trough_ceiling}所述波谷高度上限。

可选的，所述对所述有效波峰以及所述有效波谷的波形特征进行提取包括：

判断所述有效波峰的数量是否大于预先设定的波峰数量；

若是，则计算所述有效波峰中各相邻的有效波峰之间的波峰间距；

所述判断所述波形特征是否满足预先设定的频闪特征包括：

判断各波峰间距是否均匀；

若均匀，则确定图像画面处于频闪状态。

可选的，所述计算所述有效波峰中各相邻的有效波峰之间的波峰间距包括：

分别计算M帧图像的有效波峰中各相邻的有效波峰之间的波峰间距；

所述判断各波峰间距是否均匀包括：

判断M帧图像之间的波峰间距是否均匀；

若均匀，则确定图像画面处于频闪状态。

可选的，在所述判断所述有效波峰的数量是否大于预先设定的波峰数量之后，所述方法还包括：

若确定不大于，则计算所述有效波峰中各相邻的有效波谷之间的波谷间距；

所述判断所述波形特征是否满足预先设定的频闪特征包括：

判断各波谷间距是否均匀；

若均匀，则确定图像画面处于频闪状态。

可选的，所述根据所述有效波峰以及所述有效波谷确定图像画面的频闪状态包括：

分别根据M帧图像的所述有效波峰以及所述有效波谷确定对应的图像的频闪状态；

确定M帧图像中处于频闪的N帧图像，并根据N与M的比例确定图像画面的频闪状态。

本申请第二方面提供了一种频闪条纹消除方法，所述方法包括：

针对预览图像分别执行如第一方面以及第一方面中任一可选的所述频闪条纹检测方法来确定图像画面是否处于频闪状态；

若确定所述图像画面处于频闪状态，则进行频闪消除处理。

本申请第三方面提供了一种频闪条纹检测装置，所述装置包括：

获取单元，用于获取经过预处理后的初始图像；

二值化处理单元，用于对预处理后的初始图像进行二值化处理，得到二值化图像；

计算单元，用于计算所述二值化图像在预设方向上的积分投影，得到一维离散信号；

第一确定单元，用于确定所述一维离散信号中的有效波峰以及有效波谷，所述有效波峰以及所述有效波谷为满足预先设定的有效条件的波峰和波谷；

第二确定单元，用于根据所述有效波峰以及所述有效波谷确定图像画面的频闪状态。

本申请第四方面提供了一种摄像设备，所述摄像设备上保存有程序，所述程序在执行时以执行第一方面以及第一方面中任一项可选的所述方法。

本申请第五方面提供了一种频闪条纹检测装置，所述装置包括：

处理器、存储器、输入输出单元以及总线；

所述处理器与所述存储器、所述输入输出单元以及所述总线相连；

所述存储器保存有程序，所述处理器调用所述程序以执行第一方面以及第一方面中任一项可选的所述方法。

本申请第六方面提供了一种计算机可读存储介质，所述计算机可读存储介质上保存有程序，所述程序在计算机上执行时执行第一方面以及第一方面中任一项可选的所述方法。

从以上技术方案可以看出，本申请具有以下优点：

本申请提供的频闪条纹检测方法中，通过对二值化图像进行求取在预设方向上的积分投影，得到一维离散信号，在实际中，通过积分投影得到的一维离散信号能够很好的反应频闪条纹的信息，例如其在图像上的分布，以及具体的条纹宽度等，这些特征都与积分投影本身的特性相契合，本方案在进行一维离散信号的分析时，通过对有效波峰和有效波谷进行分析，其符合对频闪条纹在图像上的分布特性，因此该方式能够精准的对频闪条纹进行检测，尤其是对微弱的频闪不易漏检，即使在画面晃动、条状运动纹理等一些复杂场景中也不易出现误检。另一方面，本申请提供的频闪条纹检测方法所需计算量小、检测速度快，尤其适合在移动、嵌入式设备中应用实施。

附图说明

为了更清楚地说明本申请中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1-a为本申请中提供的频闪条纹检测方法一个实施例流程示意图；

图1-b为本申请中预览图像的一个示意图；

图1-c为本申请中一个预览图像对应的水平方向积分投影示意图；

图1-d为本申请中一个一维离散信号的波形图；

图2-a为本申请中确定有效波峰和有效波谷的一个实施例流程示意图；

图2-b另一个一维离散信号的波形图

图3-a为本申请中确定有效波峰和有效波谷的另一个实施例流程示意图；

图3-b为本申请中包含有边界点的波形图；

图3-c为本申请中最小波峰和波谷高度差的一个波形图；

图3-d为本申请中最小波峰和波谷高度差的另一个波形图；

图4-a本申请中确定图像画面频闪状态的一个实施例流程示意图

图4-b本申请中波峰高度下限和波谷高度上限的一个波形图；

图5为本申请中提供的频闪条纹检测装置的一个实施例结构示意图；

图6为本申请中提供的摄像设备的一个实施例结构示意图；

图7为本申请中提供的频闪条纹检测装置的另一个实施例结构示意图。

具体实施方式

基于此，本申请提供了一种频闪条纹检测方法，用于对图像画面频闪条纹进行检测，提高检测精度，从而有利于频闪条纹的消除。

需要说明的是，本申请提供的频闪条纹检测方法，可以应用于终端也可以应用于系统，还可以应用于服务器上，例如终端可以是智能手机或电脑、平板电脑、智能电视、智能手表、便携计算机终端也可以是台式计算机等固定终端，还可以应用于摄像设备上，摄像设备例如可以是摄像头产品，比如相机、视频会议平板，监控室设备等，摄像设备上可以保存有程序，该程序在运行时能够执行本申请方法。为方便阐述，本申请中以终端为执行主体进行举例说明。

请参阅图1-a，图1-a为本申请提供的频闪条纹检测方法一个实施例流程示意图，该频闪条纹检测方法包括：

101、获取经过预处理后的初始图像；

该方法不仅能用于对相机的检测画面进行频闪条纹检测，还能够用于对视频、图像画面进行频闪条纹检测。该方法首先获取经过预处理的初始图像，初始图像可以是通过对预览图像进行预处理后得到，预览图像可以是摄像设备拍摄的实时初始图像，也可以是从离线视频中提取预览帧图像。初始图像可以是灰度图像，如果预览图像不是灰度图像，那么通过预处理将预览图像转换为灰度图，还可以进一步将图像转换为特定的尺寸。例如若预览图像为RGB或BGR等格式，则将图像转为灰度图；若预览图像为YUV数据，则直接使用其Y分量作为灰度图，为减少后续处理的计算量，可将图像下采样至某一较小尺寸，比如原始预览分辨率为1920x1080,预处理环节可将图像缩小至320x180甚至192x108。

102、对预处理后的初始图像进行二值化处理，得到二值化图像；

二值化图像是指含有两级灰度(一般为0,1)的数字图像，其数据量小，处理速度快，且实时性强，将初始图像转换为二值化图像能够方便后期的处理。例如，终端通过帧间差分法先将相邻两帧的初始图像进行差分处理，得到差分图，再对差分图进行固定阈值的二值化处理，得到对应的二值化图像。

需要说明的是，二值化处理能够使得原本颜色的取值范围从256种变为2种，不仅能够大大提高计算速度，并且通过对相邻两帧的初始图像进行二值化处理，可以极大限度地滤除画面内容而突出频闪画面的明暗条纹，从而得到较为稳健的图像特征，为算法的鲁棒性打下基础。

下面提供一种进行二值化的具体实现方式：

具体的，对相邻两帧图像差分和阈值判定计算的目标公式为：

其中，I_c表示当前帧图像，I_p表示上一帧图像，I_b表示得到的二值化图像。

在另一些实施例中，当前帧图像和上一帧图像求差的顺序可以调换，即也可采用如下公式：

其中，I_c表示当前帧图像，I_p表示上一帧图像，I_b表示得到的二值化图像，T为预设阈值。

在一些具体的实施例中，上述式子中T的取值可以根据实际情况来确定，此处不做限定。二值化数值取0、255为便于显示，实际取0、1亦可。

需要说明的是，如果预览画面存在频闪条纹，则式子（1）所得二值化图像的明、暗条纹与预览图像明、暗条纹相对应，而式子（2）则与之相反，其二值化图像明、暗条纹与预览图像暗、明条纹相对应。在实际应用中，无论选择哪个公式，都不影响最终的检测效果。

需要说明的是，图像处理领域中常见的基于图像差分的二值化处理一般会取绝对值，但这并不适用于当前问题。也有算法是通过当前图像与多帧图像的均值图进行差分，但这样操作容易受到运动画面干扰，对于微弱频闪也容易漏检，同样不适用于当前问题。而本实施例中通过对相邻两帧图像进行差分和阈值的二值化处理，可以极大限度地滤除画面内容而突出频闪画面的明暗条纹，从而得到较为稳健的特征，为算法的鲁棒性打下基础。

103、计算所述二值化图像在预设方向上的积分投影，得到一维离散信号；

积分投影是指将图像沿着水平和/或竖直形成两个积分投影向量，在图像分析中，水平积分投影和垂直积分投影可以用来描述图像的灰度分布结构，通过水平积分投影和垂直积分投影可以了解到图像在对应方向上的分布特征。

终端计算步骤102中得到的二值化图像水平和/或竖直方向上的积分投影。

下面提供一种对于分辨率为w×h的图像的积分投影计算方式，其水平和竖直方向上积分投影的计算公式如下：

水平方向积分投影：

竖直方向积分投影：

需要说明的是，积分投影所得数据实际为一维数据，可以看作一维离散信号，在本申请中计算二值化图像的积分投影，可将频闪检测的问题降维，直接将二值化图像转变为一维离散信号，把二值化图像的条纹特征识别问题转换为一维离散信号周期分析问题，从而更有利于准确、高效地进行频闪检测。

在一些具体的实施例中，由于在大多数实际应用场景中相机的检测画面或视频中的频闪条纹方向为单一方向且能够预知，因此终端在计算二值化图像的积分投影之前，首先需要确定图像画面的频闪条纹方向，然后计算该方向上的积分投影。例如相机的频闪条纹方向为水平方向，则终端仅计算水平方向上的积分投影即可。若实际应用场景中相机的检测画面或视频中的频闪条纹方向不能预知，则终端需要分别计算水平和竖直方向的积分投影，再进行判断。请参阅图1-b、图1-c以及1-d，1-b为预览图像的一个示意图，1-c为该预览图像在水平方向的积分投影示意图，1-d为积分投影得到的波形图。

104、确定所述一维离散信号中的有效波峰以及有效波谷；

在终端计算得到积分投影之后，则根据积分投影进行离散信号周期分析，计算的积分投影可能是水平或竖直其中某一个方向，也可能同时包括水平和竖直2个方向。相应的，若步骤103只计算了某个单一方向积分投影，则只需对该方向的积分投影进行分析和确认；若步骤103同时计算了水平、竖直方向积分投影，则需依次对这两个方向的积分投影进行处理。为便于描述，以下仅对单个方向积分投影进行描述，另一个方向处理过程同理。

在进行一维离散信号分析时，从一维离散信号中确定出有效波峰和有效波谷，本申请中所示的有效波峰和有效波谷是指满足预先设的有效条件的波峰和波谷，有效条件例如可以是波峰和波谷之间的高度差满足预设的高度差阈值，和\或波峰和波谷不包含有边界点，有效波峰和有效波谷表示作为一维离散信号中的真实波峰和波谷；在实际中，积分投影所得数据实际为一维数据，可以看作一维离散信号。实际应用场景中，这种离散信号时常带有噪声，为了便于后续处理，首先需要对其进行滤波降噪（平滑）。具体地，可以采用均值滤波、中值滤波或卡尔曼滤波及其组合。

在一些具体的实施例中，终端可采用一次中值滤波和一次均值滤波。

在另一些具体的实施例中，终端可采用一次中值滤波和一次卡尔曼滤波。

在另一些具体的实施例中，终端可采用2次均值滤波。

105、根据所述有效波峰以及所述有效波谷确定图像画面的频闪状态。

在步骤104中已经确定一维离散信号中的有效波峰和有效波谷，那么通过对有效波峰以及有效波谷进行分析，可以确定图像画面是否处于频闪状态，例如对波形特征进行分析，如果波形特征满足一定的条件，即说明图像画面处于频闪状态，当存在频闪现象时，步骤102中得到的二值化图像对应表现为较为规律的明暗条纹，通过步骤103对其进行积分投影，则与频闪条纹方向对应方向上的积分投影波形会看起来近似为方波信号、正（余）弦信号，这是频闪画面区别于非频闪画面的一个显著特征，因此可以通过对有效波峰以及有效波谷进行分析，来判断判断二值化图像是否符合频闪条纹特征，即画面中是否存在规律的明暗条纹，从而反映出画面中是否存在频闪。

本申请中，有效波峰和有效波谷为满足预先设定的有效条件的波峰和波谷，因此，根据预先设定的有效条件的不同，在一维离散信号中确定出有效波峰和有效波谷的方式可以有多种，请参阅图2-a，下述实施例提供一种通过高度差阈值来确定有效波峰和有效波谷的方法，该方法包括：

201、获取经过预处理后的初始图像；

202、对预处理后的初始图像进行二值化处理，得到二值化图像；

203、计算所述二值化图像在预设方向上的积分投影，得到一维离散信号；

本实施例中步骤201至步骤203与前述实施例中步骤101至步骤103类似，此处不再赘述。

204、根据所述一维离散信号中的最大值以及最小值确定高度差阈值；

205、确定所述一维离散信号中的任意相邻的初始波峰以及初始波谷之间的高度差；

206、若所述高度差不小于所述高度差阈值，则将对应的一组初始波峰以及初始波谷确定为有效波峰以及有效波谷；

一维离散信号求其波峰、波谷一个实施例方式是在一维离散信号中求极值，以极大值作为波峰，以极小值作为波谷。但当原始信号的噪声不能被完全滤除时，这样很容易得到“伪波峰”和“伪波谷”，实际并不准确。

本发明通过波峰、波谷对一维离散信号进行周期分析，可以判断出相应图像是否有频闪条纹。为了保证周期分析的可靠性，则需得到更准确、合理的波峰、波谷，本发明将其称之为有效波峰和有效波谷波谷。

任意相邻波峰、波谷具有足够的高度差，该高度差即满足

，其中

为任意相邻波峰、波谷高度差，T_h为高度差阈值。该高度差阈值可以为固定阈值，也可以为动态阈值。

在一个实施例中，T_h为动态阈值，动态阈值的优点在于具有更好的适应性。下面提供一个确定该动态的高度差阈值的方式：

具体地，设定一个高度比例T_r，并统计相应离散信号最大值S_max、最小值S_min，则动态阈值T_h，并通过下述式子进行计算：

T_h=T_r（S_max-S_min）；

再确定高度差阈值以及波峰和波谷的高度差之后，就可以通过将二者进行比对，满足上述条件

的对应一组波峰和波谷，即被确定为有效波峰和有效波谷，不满足上述条件的即属于本发明所述“伪波峰”或“伪波谷”。

为了进一步阐明上述表述含义，下面结合具体示意图进行解释，并给出相应实施例。

比如对于图2-b所示离散信号波形，通过求极值的方式得到的波峰、波谷包括点P1、P2、P3, …, P12，其中P3与P4、P8与P9高度差都过小（属于为小范围的局部极值），不满足上述条件，故属于“伪波峰”、“伪波谷”。

通过本实施例提供的方法能够有效的滤除一些“伪波峰”和“伪波谷”，从而提高数据的可靠性。

207、根据所述有效波峰以及所述有效波谷确定图像画面的频闪状态。

在上述步骤中已经确定一维离散信号中的有效波峰和有效波谷，那么通过对有效波峰以及有效波谷进行分析，可以确定图像画面是否处于频闪状态，例如对波形特征进行分析，如果波形特征满足一定的条件，即说明图像画面处于频闪状态，当存在频闪现象时，所得到的二值化图像对应表现为较为规律的明暗条纹，通过对其进行积分投影，则与频闪条纹方向对应方向上的积分投影波形会看起来近似为方波信号、正（余）弦信号，这是频闪画面区别与非频闪画面的一个显著特征，因此可以通过对有效波峰以及有效波谷进行分析，来判断判断二值化图像是否符合频闪条纹特征，即画面中是否存在规律的明暗条纹，从而反映出画面中是否存在频闪。

上述实施例提供的方法通过高度差阈值来判定一维离散信号中的有效波峰和有效波谷，从而去除不满足条件的“伪波峰”和“伪波谷”，在实际中，一维离散信号中还可能存在一些边界点，而这些边界点往往不是真正的波峰和波谷，那么在确定有效波峰和有效波谷时就需要对这些边界点进行剔除，例如在上述实施例的基础上，再进行边界点的剔除操作，下述实施例对该方法进行说明，请参阅图3-a，3-b，3-c以及3-d该方法包括：

301、获取经过预处理后的初始图像；

302、对预处理后的初始图像进行二值化处理，得到二值化图像；

303、计算所述二值化图像在预设方向上的积分投影，得到一维离散信号；

304、根据所述一维离散信号中的最大值以及最小值确定高度差阈值；

本实施例中步骤301至步骤304与前述实施例中步骤201至步骤204类似，此处不再赘述。

305、在所述一维离散信号中剔除包含有边界点的初始波峰以及初始波谷；

在一维离散信号中剔除为边界点的初始波峰和初始波谷，例如，请参阅图2-b，在图2-b中，P1、P12为边界点（波形在边界处被截断，通常都不是真正的波峰、波谷，也不能表征波形周期性），因此属于“伪波峰”、“伪波谷”。当筛出这些“伪波峰”、“伪波谷”后，剩下的P2、P5、P6、P7、P10、P11即可作为继续筛选的基础。

306、判断在剔除之后剩余的初始波峰以及初始波谷的总数量是否小于2；

在判断剔除之后所剩下的初始波峰和初始波谷的总数量是否大于2，如果大于2可以进行进一步的通过高度差阈值进行筛选，而如果不大于2，为了确保后续进行处理的数据基础，可以直接将剩下的初始波峰以及初始波谷确定为有效波峰和有效波谷。

307、确定所述一维离散信号中的任意相邻的初始波峰以及初始波谷之间的高度差；

308、若确定所述高度差小于所述高度差阈值，则将对应的一组初始波峰以及初始波谷剔除，并重新判断在剔除之后剩余的初始波峰以及初始波谷的总数量是否小于2。

在进行高度差阈值的筛选时，判断当前波峰、波谷最小高度差是否满足

，即在进行筛选时，从高度差最小的一组波峰和波谷开始进行，若满足上述的高度差条件，则执行步骤307，若不满足则返回执行步骤306，即重新判断当前所剩下的初始波峰和初始波谷的数量是否小于2，如果剩下的数量不小于2，那么将不满足上述高度差条件的一组波峰和波谷剔除，如果高度差不小于所述高度差阈值，那么执行步骤307；

例如，当前

小于T_h，不满足要求，相应地将P3、P4剔除，得到图3-d。然后返回步骤306，继续迭代，由于

最小且

小于T_h，则将P8、P9剔除。

309、若所述高度差不小于所述高度差阈值，则将对应的一组初始波峰以及初始波谷确定为有效波峰以及有效波谷；

这时即可的得到既满足上述高度差条件也满足上述非边界点条件的波峰以及波谷，那么这组波峰和波谷即可确定为有效波峰和有效波谷。

310、若剩余的初始波峰以及初始波谷的总数量小于2，则将剩余的初始波峰以及初始波谷确定为有效波峰以及有效波谷。

在判断剩余的初始波峰和初始波谷总数量时，如果剩余的初始波峰和初始波谷总数量小于2，那么直接将剩余的初始波峰和初始波谷确定为有效波峰和有效波谷。

311、根据所述有效波峰以及所述有效波谷确定图像画面的频闪状态。

在上述步骤中已经确定一维离散信号中的有效波峰和有效波谷，那么通过对有效波峰以及有效波谷进行分析，可以确定图像画面是否处于频闪状态，例如对波形特征进行分析，如果波形特征满足一定的条件，即说明图像画面处于频闪状态，当存在频闪现象时，所得到的二值化图像对应表现为较为规律的明暗条纹，通过对其进行积分投影，则与频闪条纹方向对应方向上的积分投影波形会看起来近似为方波信号、正（余）弦信号，这是频闪画面区别与非频闪画面的一个显著特征，因此可以通过对有效波峰以及有效波谷进行分析，来判断判断二值化图像是否符合频闪条纹特征，即画面中是否存在规律的明暗条纹，从而反映出画面中是否存在频闪。

上述实施例中，不仅考虑了实际中小范围的局部极值点，还考虑了边界点的影响，该实施例再剔除小范围的局部极值点和边界点之后获得的有效波峰和有效波谷更为准确可靠。对于后续的频闪条纹的判定提供了坚实的基础。

本申请提供的方法通过有效波峰以及有效波谷来确定图像画面的频闪状态，在实际中有多种实施方式，下述实施例提供了一种具体的实施例方式，该实施例方式通过对一维离散信号进行波形特征提取，并对波形特征进行分析，判断波形特征是否满足预先设定的频闪特征，从而确定图像画面是否已处于频闪状态。下面将对该方法进行详细说明，请参阅图4-a，该方法包括：

401、获取经过预处理后的初始图像；

402、对预处理后的初始图像进行二值化处理，得到二值化图像；

403、计算所述二值化图像在预设方向上的积分投影，得到一维离散信号；

404、确定所述一维离散信号中的有效波峰以及有效波谷；

405、对所述有效波峰以及所述有效波谷的波形特征进行提取；

406、判断所述波形特征是否满足预先设定的频闪特征；

在实际中，对有效波峰和有效波谷的波形特征进行提取，例如分别提取所述有效波峰以及所述有效波谷的波峰数量、波谷数量，有效波峰以及所述有效波谷的最高波峰高度以及波谷高度上限，判断波形特征是否满足预先设定的频闪特征就包括：

分别判断提取出来的波形特征是否满足下述条件：

所述波峰数量、所述波谷数量以及对应的有效波峰以及有效波谷的总数量分别满足预先设定的数量范围，在实际中水平方向和竖直方向所设定的数量范围可以不一样，其具体数量范围依实际情况而定。

所述最高波峰高度大于预先设定的波峰高度下限，以及所述波谷高度上限不大于预先设定的波谷高度上限；在实际中，波峰高度下限以及所述波谷高度上限为固定阈值或者是动态阈值，下述提供一种动态阈值的实施例：

其中波峰高度下限以及所述波谷高度上限分别通过下述式子进行计算得到：

T_{h_peak_floor}=h*T_{r_peak_floor}

T_{h_trough_ceiling}=h*T_{r_trough_ceiling}

其中，h为积分投影对应的图像高度，T_{r_peak_floor}为预先设定的波峰高度下限的比例阈值，T_{r_trough_ceiling}预先设定的波峰高度上限的比例阈值，T_{h_peak_floor}表示所述波峰高度下限，T_{h_trough_ceiling}所述波谷高度上限。

在实际中，频闪画面场景是多样的，当个别频闪条纹不完整时，得到的波形类似图4-b所示，其不同波峰高低有可能有较大差异，不同波谷也可能有较大差异，但这种差异应该在一定范围内。因此，可以对波峰、波谷进行高度校验，其目的是设定一定的容差，当相邻的波峰或者波谷之间的高度差异超过预先设定的容差，则不认为是频闪条纹，这样能够提高频闪条纹的检测准确性。

在实际中，还可以进一步对有效波峰或有效波谷进行周期性校验，所述周期校验是指：对波峰而言，即确认各相邻波峰间距是否近似相等；对波谷而言，即确认各相邻波谷间距是否均匀，所述均匀是指相等或者近似相等，判断间距近似相等的方法有多种，例如，求相应间距方差或标准差，若其值不超过设定阈值，则认为间距近似相等。

以图4-b为例，波峰数目满足要求，故对波峰进行周期校验即可，如果波峰数量不满足要求，则采用波谷进行周期性验证。

该实施例求得各相邻波峰间距分别为d1、d2，然后通过方差（或标准差）来判断d1、d2是否近似相等。

407、确定图像画面处于频闪状态。

上述步骤406已经提到，提取有效波峰和有效波谷的波形特征，并判断是否满足预先设定的频闪特征，其中可以包括三个条件：

（1）有效波峰数量、有效波谷数量以及有效波峰和有效波谷的总数量分别满足预先设定的数量范围；

（2）最高波峰高度大于预先设定的波峰高度下限，以及波谷高度上限不大于预先设定的波谷高度上限；

（3）对有效波峰或者有效波谷进行周期性校验通过；

若均满足上述三个条件，则确定图像画面处于频闪状态，显然，在实际中，可以视情况来确定选用其中一个或者多个条件来作为判定基础，本实施例为了阐述在获得最高检测精度的情况下，将同时满足三个条件作为确定图像画面处于频闪状态的依据。

进一步的，在实际中，当处理一些图像流（视频或者实时的图像检测画面）时，可以通过对多帧图像进行判定，从而确定画面是否处于频闪状态。

例如：

分别计算M帧图像的有效波峰中各相邻的有效波峰之间的波峰间距；

所述判断各波峰间距是否均匀包括：

判断M帧图像之间的波峰间距是否均匀；

若均匀，则确定图像画面处于频闪状态。

在另一种实施例方式中，确定图像画面是否处于频闪状态还可以是：

分别根据M帧图像的所述有效波峰以及所述有效波谷确定对应的图像的频闪状态；

确定M帧图像中处于频闪的N帧图像，并根据N与M的比例确定图像画面的频闪状态。即，如果确定处于频闪状态的图像占总检测帧数的比例达到一定值，那么认为此时处于频闪状态。

由于图像画面频闪条纹不仅在单帧图像中间距一定，而且连续相邻帧间距也是一样的。故可进一步对连续m帧图像所有相邻波峰间距（或相邻波谷间距）进行周期验证，从而进一步提高检测结果的准确率。

408、结束流程。

确定此时的波形特征不符合频闪特征，结束流程，或者确定此时相机或者图像画面不处于频闪状态。

另外，本申请还提供了一种频闪条纹消除方法，执行该方法时，通过分别执行上述任一频闪条纹检测方法，当确定图像画面处于频闪状态，则对频闪进行消除处理，该方法应用上述检测方法对图像画面的频闪条纹进行检测从而进行消除，能够精确对频闪条纹进行检测，进而能够更好的消除。

请参阅图5，本申请还提供了一种频闪条纹检测装置，所述装置包括：

获取单元501，用于获取经过预处理后的初始图像；

二值化处理单元502，用于对预处理后的初始图像进行二值化处理，得到二值化图像；

计算单元503，用于计算所述二值化图像在预设方向上的积分投影，得到一维离散信号；

第一确定单元504，用于确定所述一维离散信号中的有效波峰以及有效波谷，所述有效波峰以及所述有效波谷为满足预先设定的有效条件的波峰和波谷；

第二确定单元505，用于根据所述有效波峰以及所述有效波谷确定图像画面的频闪状态。

可选的，所述第一确定单元504具体用于：

根据所述一维离散信号中的最大值以及最小值确定高度差阈值；

确定所述一维离散信号中的任意相邻的初始波峰以及初始波谷之间的高度差；

若所述高度差不小于所述高度差阈值，则将对应的一组初始波峰以及初始波谷确定为有效波峰以及有效波谷。

可选的，所述第一确定单元504具体用于：

通过如下式子确定高度差阈值：

T_h=T_r（S_max-S_min）

其中，T_h表示所述高度差阈值，T_r为预设的高度比例，S_max表示所述最大值，S_min表示所述最小值。

可选的，所述第一确定单元还用于：

在所述一维离散信号中剔除包含有边界点的初始波峰以及初始波谷；

判断在剔除之后剩余的初始波峰以及初始波谷的总数量是否小于2；

若是，则在确定所述一维离散信号中的任意相邻的初始波峰以及初始波谷之间的高度差之后，所述方法还包括：

若确定所述高度差小于所述高度差阈值，则将对应的一组初始波峰以及初始波谷剔除，并重新判断在剔除之后剩余的初始波峰以及初始波谷的总数量是否小于2。

可选的，所述第一确定单元504还用于：

若剩余的初始波峰以及初始波谷的总数量小于2，则将剩余的初始波峰以及初始波谷确定为有效波峰以及有效波谷。

可选的，所述第二确定单元505具体用于：

对所述有效波峰以及所述有效波谷的波形特征进行提取；

判断所述波形特征是否满足预先设定的频闪特征；

若是，则确定图像画面处于频闪状态。

可选的，所述第二确定单元具体用于：

分别提取所述有效波峰以及所述有效波谷的波峰数量、波谷数量；

判断所述波峰数量、所述波谷数量以及对应的有效波峰以及有效波谷的总数量是否分别满足预先设定的数量范围；

若均满足预先设定的数量范围，则确定图像画面处于频闪状态。

可选的，第二确定单元505具体用于：

分别提取所述有效波峰以及所述有效波谷的最高波峰高度以及波谷高度上限；

判断所述最高波峰高度是否大于预先设定的波峰高度下限，以及判断所述波谷高度上限是否不大于预先设定的波谷高度上限；

若确定所述最高波峰高度大于预先设定的波峰高度下限，且波谷高度上限不大于预先设定的波谷高度上限，则确定图像画面处于频闪状态。

可选的，所述波峰高度下限以及所述波谷高度上限为动态阈值，其分别由下述式子进行确定得到：

T_{h_peak_floor}=h*T_{r_peak_floor}

T_{h_trough_ceiling}=h*T_{r_trough_ceiling}

其中，h为积分投影对应的图像高度，T_{r_peak_floor}为预先设定的波峰高度下限的比例阈值，T_{r_trough_ceiling}预先设定的波峰高度上限的比例阈值，T_{h_peak_floor}表示所述波峰高度下限，T_{h_trough_ceiling}所述波谷高度上限。

可选的，第二确定单元505具体用于：

判断所述有效波峰的数量是否大于预先设定的波峰数量；

若是，则计算所述有效波峰中各相邻的有效波峰之间的波峰间距；

判断各波峰间距是否均匀；

若均匀，则确定图像画面处于频闪状态。

可选的，第二确定单元505具体用于：

分别计算M帧图像的有效波峰中各相邻的有效波峰之间的波峰间距；

所述判断各波峰间距是否均匀包括：

判断M帧图像之间的波峰间距是否均匀；

若均匀，则确定图像画面处于频闪状态。

可选的，第二确定单元505还用于：

若确定不大于，则计算所述有效波峰中各相邻的有效波谷之间的波谷间距；

所述判断所述波形特征是否满足预先设定的频闪特征包括：

判断各波谷间距是否均匀；

若均匀，则确定图像画面处于频闪状态。

可选的，第二确定单元505还用于：

分别根据M帧图像的所述有效波峰以及所述有效波谷确定对应的图像的频闪状态；

确定M帧图像中处于频闪的N帧图像，并根据N与M的比例确定图像画面的频闪状态。

请参阅图6，本申请还提供了一种摄像设备，所述摄像设备上保存有程序，所述程序在执行时执行如上任一频闪条纹检测方法。

请参阅图7，本申请还提供了一种频闪条纹检测装置，包括：

处理器701、存储器702、输入输出单元703、总线704；

处理器701与存储器702、输入输出单元703以及总线704相连；

存储器702保存有程序，处理器701调用程序以执行如上任一频闪条纹检测方法。

本申请还涉及一种计算机可读存储介质，计算机可读存储介质上保存有程序，其特征在于，当程序在计算机上运行时，使得计算机执行如上任一频闪条纹检测方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，read-onlymemory）、随机存取存储器（RAM，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (20)

1.一种频闪条纹检测方法，其特征在于，用于对图像画面的频闪状态进行检测，所述方法包括：

获取经过预处理后的初始图像；

对预处理后的初始图像进行二值化处理，得到二值化图像；

计算所述二值化图像在预设方向上的积分投影，得到一维离散信号；

确定所述一维离散信号中的有效波峰以及有效波谷，所述有效波峰以及所述有效波谷为满足预先设定的有效条件的波峰和波谷；

根据所述有效波峰以及所述有效波谷确定图像画面的频闪状态。

2.根据权利要求1中所述的频闪条纹检测方法，其特征在于，所述确定所述一维离散信号中的有效波峰以及有效波谷包括：

根据所述一维离散信号中的最大值以及最小值确定高度差阈值；

确定所述一维离散信号中的任意相邻的初始波峰以及初始波谷之间的高度差；

若所述高度差不小于所述高度差阈值，则将对应的一组初始波峰以及初始波谷确定为有效波峰以及有效波谷。

3.根据权利要求2中所述的频闪条纹检测方法，其特征在于，所述根据所述一维离散信号中的最大值以及最小值确定高度差阈值包括：

通过如下式子确定高度差阈值：

T_h=T_r（S_max-S_min）

其中，T_h表示所述高度差阈值，T_r为预设的高度比例，S_max表示所述最大值，S_min表示所述最小值。

4.根据权利要求2中所述的频闪条纹检测方法，其特征在于，在所述确定所述一维离散信号中的任意相邻的初始波峰以及初始波谷之间的高度差之前还包括：

在所述一维离散信号中剔除包含有边界点的初始波峰以及初始波谷；

判断在剔除之后剩余的初始波峰以及初始波谷的总数量是否小于2；

若是，则在确定所述一维离散信号中的任意相邻的初始波峰以及初始波谷之间的高度差之后，所述方法还包括：

若确定所述高度差小于所述高度差阈值，则将对应的一组初始波峰以及初始波谷剔除，并重新判断在剔除之后剩余的初始波峰以及初始波谷的总数量是否小于2。

5.根据权利要求4中所述的频闪条纹检测方法，其特征在于，在所述判断在剔除之后剩余的初始波峰以及初始波谷的总数量是否小于2之后，所述方法还包括：

若剩余的初始波峰以及初始波谷的总数量小于2，则将剩余的初始波峰以及初始波谷确定为有效波峰以及有效波谷。

6.根据权利要求1中所述的频闪条纹检测方法，其特征在于，所述根据所述有效波峰以及所述有效波谷确定图像画面的频闪状态包括：

对所述有效波峰以及所述有效波谷的波形特征进行提取；

判断所述波形特征是否满足预先设定的频闪特征；

若是，则确定图像画面处于频闪状态。

7.根据权利要求6中所述的频闪条纹检测方法，其特征在于，所述对所述有效波峰以及所述有效波谷的波形特征进行提取包括：

分别提取所述有效波峰以及所述有效波谷的波峰数量、波谷数量；

所述判断所述波形特征是否满足预先设定的频闪特征包括：

判断所述波峰数量、所述波谷数量以及对应的有效波峰以及有效波谷的总数量是否分别满足预先设定的数量范围；

若均满足预先设定的数量范围，则确定图像画面处于频闪状态。

8.根据权利要求6中所述的频闪条纹检测方法，其特征在于，所述对所述有效波峰以及所述有效波谷的波形特征进行提取包括：

分别提取所述有效波峰以及所述有效波谷的最高波峰高度以及波谷高度上限；

所述判断所述波形特征是否满足预先设定的频闪特征包括：

判断所述最高波峰高度是否大于预先设定的波峰高度下限，以及判断所述波谷高度上限是否不大于预先设定的波谷高度上限；

若确定所述最高波峰高度大于预先设定的波峰高度下限，且波谷高度上限不大于预先设定的波谷高度上限，则确定图像画面处于频闪状态。

9.根据权利要求8中所述的频闪条纹检测方法，其特征在于，所述波峰高度下限以及所述波谷高度上限为动态阈值，其分别由下述式子进行确定得到：

T_{h_peak_floor}=h*T_{r_peak_floor}

T_{h_trough_ceiling}=h*T_{r_trough_ceiling}

其中，h为积分投影对应的图像高度，T_{r_peak_floor}为预先设定的波峰高度下限的比例阈值，T_{r_trough_ceiling}预先设定的波峰高度上限的比例阈值，T_{h_peak_floor}表示所述波峰高度下限，T_{h_trough_ceiling}所述波谷高度上限。

10.根据权利要求8中所述的频闪条纹检测方法，其特征在于，所述波峰高度下限以及所述波谷高度上限为固定阈值。

11.根据权利要求9中所述的频闪条纹检测方法，其特征在于，所述对所述有效波峰以及所述有效波谷的波形特征进行提取包括：

判断所述有效波峰的数量是否大于预先设定的波峰数量；

若是，则计算所述有效波峰中各相邻的有效波峰之间的波峰间距；

所述判断所述波形特征是否满足预先设定的频闪特征包括：

判断各波峰间距是否均匀；

若均匀，则确定图像画面处于频闪状态。

12.根据权利要求6中所述的频闪条纹检测方法，其特征在于，所述对所述有效波峰以及所述有效波谷的波形特征进行提取包括：

分别提取所述有效波峰以及所述有效波谷的波峰数量、波谷数量、最高波峰高度、波谷高度上限以及两个以上相邻有效波峰之间的波峰间距或者两个以上相邻有效波谷之间的波谷间距；

所述判断所述波形特征是否满足预先设定的频闪特征包括：

分别判断提取出来的波形特征是否满足下述条件：

所述波峰数量、所述波谷数量以及对应的有效波峰以及有效波谷的总数量分别满足预先设定的数量范围；

所述最高波峰高度大于预先设定的波峰高度下限，以及所述波谷高度上限不大于预先设定的波谷高度上限；

所述波峰间距或者所述波谷间距均匀；

若提取出来的波形特征满足上述条件，则确定图像画面处于频闪状态。

13.根据权利要求11中所述的频闪条纹检测方法，其特征在于，所述计算所述有效波峰中各相邻的有效波峰之间的波峰间距包括：

分别计算M帧图像的有效波峰中各相邻的有效波峰之间的波峰间距；

所述判断各波峰间距是否均匀包括：

判断M帧图像之间的波峰间距是否均匀；

若均匀，则确定图像画面处于频闪状态。

14.根据权利要求11中所述的频闪条纹检测方法，其特征在于，在所述判断所述有效波峰的数量是否大于预先设定的波峰数量之后，所述方法还包括：

若确定不大于，则计算所述有效波峰中各相邻的有效波谷之间的波谷间距；

所述判断所述波形特征是否满足预先设定的频闪特征包括：

判断各波谷间距是否均匀；

若均匀，则确定图像画面处于频闪状态。

15.根据权利要求1中所述的频闪条纹检测方法，其特征在于，所述根据所述有效波峰以及所述有效波谷确定图像画面的频闪状态包括：

分别根据M帧图像的所述有效波峰以及所述有效波谷确定对应的图像的频闪状态；

确定M帧图像中处于频闪的N帧图像，并根据N与M的比例确定图像画面的频闪状态。

16.一种频闪条纹消除方法，其特征在于，所述方法包括：

针对预览图像分别执行如权利要求1至15任一项中所述的频闪条纹检测方法来确定图像画面是否处于频闪状态；

若确定所述图像画面处于频闪状态，则进行频闪消除处理。

17.一种频闪条纹检测装置，其特征在于，所述装置包括：

获取单元，用于获取经过预处理后的初始图像；

二值化处理单元，用于对预处理后的初始图像进行二值化处理，得到二值化图像；

计算单元，用于计算所述二值化图像在预设方向上的积分投影，得到一维离散信号；

第一确定单元，用于确定所述一维离散信号中的有效波峰以及有效波谷，所述有效波峰以及所述有效波谷为满足预先设定的有效条件的波峰和波谷；

第二确定单元，用于根据所述有效波峰以及所述有效波谷确定图像画面的频闪状态。

18.一种摄像设备，其特征在于，所述摄像设备上保存有程序，所述程序在执行时执行如权利要求1至15中任一项所述方法。

19.一种频闪条纹检测装置，其特征在于，所述装置包括：

处理器、存储器、输入输出单元以及总线；

所述处理器与所述存储器、所述输入输出单元以及所述总线相连；

所述存储器保存有程序，所述处理器调用所述程序以执行如权利要求1至15任一项所述方法。

20.一种计算机可读存储介质，所述计算机可读存储介质上保存有程序，所述程序在计算机上执行时执行如权利要求1至15中任一项所述方法。

Images