CN117255254A

CN117255254A - 频闪检测方法、装置、电子设备和存储介质

Info

Publication number: CN117255254A
Application number: CN202210646285.0A
Authority: CN
Inventors: 张睿; 王文飞
Original assignee: Beijing Xiaomi Mobile Software Co Ltd
Current assignee: Beijing Xiaomi Mobile Software Co Ltd
Priority date: 2022-06-08
Filing date: 2022-06-08
Publication date: 2023-12-19

Abstract

本公开是关于频闪检测方法、装置、电子设备和存储介质，所述方法包括：获取所述终端设备的相机程序采集的多帧预览图像，其中，在所述多帧预览图像中，曝光时长为第一时长的预览图像和曝光时长为第二时长的预览图像交替分布，所述第一时长大于所述第二时长；每获取一帧所述预览图像之后，根据最新两帧所述预览图像确定差值图像，并将所述差值图像划分为多个依次沿横向排列的第一子图像，以及确定每个所述第一子图像的第一频率范围；根据每个所述第一子图像的第一频率范围和每个所述第一子图像的标识对应的频率记录，确定每个所述第一子图像的标识的频闪计数值；根据每个所述第一子图像的标识的频闪计数值，确定所述预览图像中是否存在频闪。

Description

频闪检测方法、装置、电子设备和存储介质

技术领域

本公开涉及照片拍摄技术领域，具体涉及一种频闪检测方法、装置、电子设备和存储介质。

背景技术

在日常生活中，存在很多具有闪烁特性的光源，例如未做交流转直流的光源，LED灯、电子产品的屏幕光源等。这些具有闪烁特性的光源往往具有特定的交替闪烁频率，因此终端设备在这种光源照明的环境下所采集的预览图像会存在频闪条带，影响照片拍摄或视频录制等功能的使用。相关技术中，可以对预览图像进行频闪检测，以降低频闪对用户的使用影响，但是目前频闪检测的准确率较低。

发明内容

为克服相关技术中存在的问题，本公开实施例提供一种频闪检测方法、装置、电子设备和存储介质，用以解决相关技术中的缺陷。

根据本公开实施例的第一方面，提供一种频闪检测方法，应用于终端设备，包括：

获取所述终端设备的相机程序采集的多帧预览图像，其中，在所述多帧预览图像中，曝光时长为第一时长的预览图像和曝光时长为第二时长的预览图像交替分布，所述第一时长大于所述第二时长；

每获取一帧所述预览图像之后，根据最新两帧所述预览图像确定差值图像，并将所述差值图像划分为多个依次沿横向排列的第一子图像，以及确定每个所述第一子图像的第一频率范围；

根据每个所述第一子图像的第一频率范围和每个所述第一子图像的标识对应的频率记录，确定每个所述第一子图像的标识的频闪计数值；

根据每个所述第一子图像的标识的频闪计数值，确定所述预览图像中是否存在频闪。

在一个实施例中，所述根据最新两帧所述预览图像确定差值图像，包括：

将最新两帧所述预览图像的每个像素点的像素值对应相减，得到所述差值图像的每个像素点的像素值。

在一个实施例中，所述确定每个所述第一子图像的第一频率范围，包括：

将所述第一子图像中每行像素点的像素值总和对应为每行像素点的第一像素数据，并将所述第一子图像中每行像素点的第一像素数据组成的向量，确定为所述第一子图像的第一像素向量；

对所述第一像素向量进行傅里叶变换，并根据傅里叶变换的结果确定所述第一子图像的第一频率值；

在多个预设频率范围内，将所述第一子图像的第一频率值所在的预设频率范围确定为所述第一子图像的第一频率范围。

在一个实施例中，所述根据每个所述第一子图像的第一频率范围和每个所述第一子图像的标识对应的频率记录，确定每个所述第一子图像的标识的频闪计数值，包括：

在所述第一子图像的第一频率范围与所述第一子图像的标识对应的频率记录相同的情况下，将当前存储的所述第一子图像的标识的频闪计数值加1；

在所述第一子图像的第一频率范围与所述第一子图像的标识对应的频率记录不同的情况下，将当前存储的所述第一子图像的标识的频闪计数值置0。

在一个实施例中，还包括：

将每个所述第一子图像的标识对应的频率记录，对应更新为每个所述第一子图像的第一频率范围。

在一个实施例中，所述根据每个所述第一子图像的标识的频闪计数值，确定所述预览图像中是否存在频闪，包括：

在至少一个所述第一子图像的标识的频闪计数值大于或等于第一预设阈值的情况下，确定所述预览图像中存在频闪；

在每个所述第一子图像的标识的频闪计数值均小于第一预设阈值的情况下，确定所述预览图像中不存在频闪。

在一个实施例中，还包括：

在所述预览图像中存在频闪的情况下，根据频闪计数值大于或等于第一预设阈值的所述第一子图像的第一频率值，确定所述频闪的第二频率值；

根据所述频闪的第二频率值控制所述相机程序的行曝光时长。

在一个实施例中，在所述根据每个所述第一子图像的标识的频闪计数值，确定所述预览图像中是否存在频闪之前，还包括：

将最新两帧所述预览图像中曝光时长为第一时长的预览图像，划分为多个依次沿横向排列的第二子图像，其中，多个所述第二子图像和多个所述第一子图像一一对应；

确定每个所述第二子图像的第二像素向量，并分别使用每个所述第二像素向量对对应的所述第一像素向量进行归一化处理，得到每个所述第一像素向量对应的第三像素向量，其中，所述第二像素向量包括所述第二子图像中每行像素点的第二像素数据组成的向量，所述第二像素数据为所述第二子图像中整行像素点的像素值总和，所述第三像素向量包括多个第三像素数据；

根据每个所述第三像素向量，对每个所述第一子图像的标识的频闪计数值进行校正。

在一个实施例中，所述根据每个所述第三像素向量，对每个所述第一子图像的标识的频闪计数值进行校正，包括：

确定所述第三像素向量中多个第三像素数据的平均值，并根据所述平均值分别对所述第三像素向量中多个第三像素数据进行二值化处理；

根据所述第三像素向量中多个第三像素数据的二值化处理结果确定第一频闪周期数量，并根据所述第一频闪周期数量确定所述第一子图像的第二频率范围；

根据所述第一子图像的第二频率范围和所述第一子图像的第一频率范围，确定每个所述第一子图像的标识的频闪计数值。

在一个实施例中，所述根据所述第一子图像的第二频率范围和所述第一子图像的第一频率范围，确定每个所述第一子图像的标识的频闪计数值，包括：

在所述第一子图像的第二频率范围和所述第一子图像的第一频率范围相同的情况下，保持所述第一子图像的标识的频闪计数值；

在所述第一子图像的第二频率范围和所述第一子图像的第一频率范围不同的情况下，将所述第一子图像的标识的频闪计数值置0。

在一个实施例中，在所述第一子图像的第二频率范围和所述第一子图像的第一频率范围不同的情况下，将所述第一子图像的标识的频闪计数值置0之后，还包括：

确定每个所述第一子图像的第一像素向量的傅里叶变换结果中是否存在合理频率值，其中，所述合理频率值为处于合理频率范围内的频率值；

在存在合理频率值的所述第一子图像的数量，与全部所述第一子图像的数量之间的比例，超过比例阈值的情况下，将每个存在合理频率值的所述第一子图像的标识的频闪计数值加1。

在一个实施例中，在所述确定所述预览图像中不存在频闪之后，还包括：

根据窗口尺寸和滑动步长，在所述第三像素向量中确定多个像素子向量，其中，每个所述像素子向量包括多个第三像素数据；

确定每个所述像素子向量中多个第三像素数据的平均值，并根据所述平均值分别对所述像素子向量中多个第三像素数据进行二值化处理；

根据每个所述像素子向量中多个第三像素数据的二值化处理结果，对应确定每个所述像素子向量的第二频闪周期数量，并根据每个所述第二频闪周期数量对应确定每个所述像素子向量的第三频率范围；

根据每个所述像素子向量的第三频率范围，确定所述预览图像是否存在频闪。

在一个实施例中，所述获取所述终端设备的相机程序采集的多帧预览图像，包括：

每隔预设时长，获取所述终端设备的相机程序采集的预设数量帧预览图像。

在所述终端设备的至少一个运动传感器采集的运动数据，表征所述终端设备运动幅度小于预设幅度的情况下，获取所述终端设备的相机程序采集的多帧预览图像。

根据本公开实施例的第二方面，提供一种频闪检测装置，应用于终端设备，包括：

获取模块，用于获取所述终端设备的相机程序采集的多帧预览图像，其中，在所述多帧预览图像中，曝光时长为第一时长的预览图像和曝光时长为第二时长的预览图像交替分布，所述第一时长大于所述第二时长；

差值模块，用于在每获取一帧所述预览图像之后，根据最新两帧所述预览图像确定差值图像，并将所述差值图像划分为多个依次沿横向排列的第一子图像，以及确定每个所述第一子图像的第一频率范围；

计数模块，用于根据每个所述第一子图像的第一频率范围和每个所述第一子图像的标识对应的频率记录，确定每个所述第一子图像的标识的频闪计数值；

第一检测模块，用于根据每个所述第一子图像的标识的频闪计数值，确定所述预览图像中是否存在频闪。

在一个实施例中，所述差值模块用于根据最新两帧所述预览图像确定差值图像时，具体用于：

在一个实施例中，所述差值模块用于确定每个所述第一子图像的第一频率范围时，具体用于：

在一个实施例中，所述计数模块具体用于：

在一个实施例中，还包括更新模块，用于：

在一个实施例中，所述第一检测模块具体用于：

在一个实施例中，还包括曝光控制模块，用于：

在一个实施例中，还包括校正模块，用于：

在所述根据每个所述第一子图像的标识的频闪计数值，确定所述预览图像中是否存在频闪之前，将最新两帧所述预览图像中曝光时长为第一时长的预览图像，划分为多个依次沿横向排列的第二子图像，其中，多个所述第二子图像和多个所述第一子图像一一对应；

在一个实施例中，所述校正模块用于根据每个所述第三像素向量，对每个所述第一子图像的标识的频闪计数值进行校正时，具体用于：

在一个实施例中，所述校正模块用于根据所述第一子图像的第二频率范围和所述第一子图像的第一频率范围，确定每个所述第一子图像的标识的频闪计数值时，具体用于：

在一个实施例中，还包括补偿模块，用于：

在所述第一子图像的第二频率范围和所述第一子图像的第一频率范围不同的情况下，将所述第一子图像的标识的频闪计数值置0之后，确定每个所述第一子图像的第一像素向量的傅里叶变换结果中是否存在合理频率值，其中，所述合理频率值为处于合理频率范围内的频率值；

在一个实施例中，还包括第二检测模块，用于：

在所述确定所述预览图像中不存在频闪之后，根据窗口尺寸和滑动步长，在所述第三像素向量中确定多个像素子向量，其中，每个所述像素子向量包括多个第三像素数据；

在一个实施例中，所述获取模块具体用于：

根据本公开实施例的第三方面，提供一种电子设备，所述电子设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时基于第一方面所述的频闪检测方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现第一方面所述的方法。

本公开的实施例提供的技术方案可以包括以下有益效果：

本公开所提供的频闪检测方法，通过获取所述终端设备的相机程序采集的多帧预览图像，可以在每获取一帧所述预览图像之后，根据最新两帧所述预览图像确定差值图像，并将所述差值图像划分为多个依次沿横向排列的第一子图像，以及确定每个所述第一子图像的第一频率范围，接下来可以根据每个所述第一子图像的第一频率范围和每个所述第一子图像的标识对应的频率记录，确定每个所述第一子图像的标识的频闪计数值，最后可以根据每个所述第一子图像的标识的频闪计数值，确定所述预览图像中是否存在频闪。由于所述多帧预览图像为交替分布的长曝光图像和短曝光图像，因此可以让短曝光图像产生较为明显的频闪条纹，长曝光图像的频闪条纹则较弱，利用差值图像能够准确表征频闪的信息，准确的确定预览图像是否存在频闪，提高了频闪检测的准确性。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是频闪形成的原理示意图；

图2是终端设备的预览图像的频闪条带示意图；

图3是终端设备的预览图像的局部频闪示意图；

图4是本公开一示例性实施例示出的频闪检测方法的流程图；

图5是本公开一示例性实施例示出的频闪计数值的校正方式流程图；

图6本公开一示例性实施例示出的归一化处理的过程图；

图7本公开一示例性实施例示出的频闪检测装置的结构示意图；

图8本公开一示例性实施例示出的电子设备的结构框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

在具有特定交替闪烁频率的光源照明环境下，由于手机相机CMOS传感器成像是一行行曝光的，图像传感器曝光时同一行的每个像元的曝光起始点近似一致，但行与行之间的曝光起始点有差异。请参照附图1，当行曝光时长不为光源闪烁周期的整数倍时，会产生图像传感器内部行与行之间曝光积分量的差异，导致在成像上形成了明暗条带分布，这种现象称为频闪现象。

请参照附图2，当终端设备的相机程序处于具有特定交替闪烁频率的光源照明环境当中，频闪条带将会遍布相机程序的预览图像画面。

当相机程序所处的环境不具有特定交替闪烁频率的光源，但是相邻环境具有特定交替闪烁频率，或者，所拍摄的电子产品光源具有特定交替闪烁频率，频闪将会只出现在预览图像的局部区域。请参照附图3，左、右分别为相机程序的第n帧和第n+1帧预览图像，黑色圈圈起来的就是局部频闪区域。

相关技术中通过光线传感器检测环境中是否存在闪烁光源，以确定预览图像中是否存在频闪，这种方式一方面需要增加高采样频率的光线传感器，另一方面在闪烁光源与光线传感器的距离将会影响预览图像中频闪检测的准确性。

基于此，第一方面，本公开至少一个实施例提供了一种频闪检测方法，请参照附图4，其示出了该方法的流程，包括步骤S401和步骤S404。

其中，该方法可以应用于终端设备，例如应用于终端设备的相机程序。在终端设备的相机程序预览图像的场景下，可以采用该方法检测预览图像中是否存在频闪。终端设备可以具有摄像头等图像采集设备，用来采集图像或录制视频。

在步骤S401中，获取所述终端设备的相机程序采集的多帧预览图像，其中，在所述多帧预览图像中，曝光时长为第一时长的预览图像和曝光时长为第二时长的预览图像交替分布，所述第一时长大于所述第二时长。

在终端设备的相机程序启动时，摄像头等图像采集设备持续采集图像并在相机程序的取景框内生成预览图像。曝光时长为第一时长的预览图像可以称为长曝光图像，曝光时长为第二时长的预览图像可以称为短曝光图像，相机程序可以交替采集长曝光图像和短曝光图像。通过交替采集长曝光图像和短曝光图像来检测预览图像中的频闪，能够避免预览图像的曝光时长为光源闪烁周期的整数倍时，造成频闪条带在各帧之间位置相同，无法利用图像帧间画面内容差异进行频闪检测的问题；同时能够避免高频率频闪和强度较弱频闪不能准确检测的问题。

在一个可能的实施例中，可以每隔预设时长(例如2s)，获取所述终端设备的相机程序采集的预设数量帧(例如6帧)预览图像，直至检测到预览图像中存在频闪。这样既能够准确检测频闪，又能够避免增加运算负荷。另外，可以在相机程序启动后，获取前n帧(例如前5帧)预览图像之后的预览图像，这样能够保证所获取的预览图像的质量稳定。

在另一个可能的实施例中，可以在所述终端设备的至少一个运动传感器采集的运动数据，表征所述终端设备运动幅度小于预设幅度的情况下，获取所述终端设备的相机程序采集的多帧预览图像。示例性的，至少一个运动传感器为采集角速度的陀螺仪和采集加速度的加速度传感器。更进一步优选的，可以在在所述终端设备的至少一个运动传感器采集的运动数据，表征所述终端设备运动幅度维持在小于预设幅度的情况下的持续时长达到预设时长时，获取所述终端设备的相机程序采集的多帧预览图像。从而可以降低各帧预览图像由于终端设备的大幅运动造成的内容剧烈变化，以至频闪误检测等问题。

在步骤S402中，每获取一帧所述预览图像之后，根据最新两帧所述预览图像确定差值图像，并将所述差值图像划分为多个依次沿横向排列的第一子图像，以及确定每个所述第一子图像的第一频率范围。

可选的，按照下述方式根据最新两帧所述预览图像确定差值图像：将最新两帧所述预览图像的每个像素点的像素值对应相减，得到所述差值图像的每个像素点的像素值。示例性的，两帧所述预览图像分别用P1和P2表示，则将P1和P2的对应像素点相减，得到差值图像D1，其中，D1的像素点的像素值和P1、P2像素点的像素值之间的关系可以用下述公式表示：

D1(i,j)＝P1(i,j)-P2(i,j)

其中，(i，j)代表第i行第j列的像素点的像素值。

可以将差值图像在长度方向上划分为N份(例如4份)，每份形成一个第一子图像。示例性的，将D1划分为DR1、DR2、DR3和DR4四个第一子图像。

在一个可能的实施例中，可以按照下述方式确定每个所述第一子图像的第一频率范围：

首先，将所述第一子图像中每行像素点的像素值总和对应为每行像素点的第一像素数据，并将所述第一子图像中每行像素点的第一像素数据组成的向量，确定为所述第一子图像的第一像素向量。示例性的，DR1的第一像素向量为DRsum1、DR2的第一像素向量为DRsum2、DR3的第一像素向量为DRsum3、DR4的第一像素向量为DRsum4，其中，存在下述公式：

其中，i为第一子图像高度方向的高度索引值，其范围在(0，height)内；j为第一子图像长度方向的长度索引值，其范围在(0，width)内。

接下来，对所述第一像素向量进行傅里叶变换，并根据傅里叶变换的结果确定所述第一子图像的第一频率值。示例性的，可以将对应频谱幅度最大的频率值作为第一子图像的第一频率值。

最后，在多个预设频率范围内，将所述第一子图像的第一频率值所在的预设频率范围确定为所述第一子图像的第一频率范围。示例性的，多个预设频率范围可以包括80-500Hz和500-2000Hz两个频率范围。

在步骤S403中，根据每个所述第一子图像的第一频率范围和每个所述第一子图像的标识对应的频率记录，确定每个所述第一子图像的标识的频闪计数值。

其中，每获取一帧预览图像均会按照步骤S402至步骤S404进行频闪检测，且每次确定每个第一子图像的第一频率范围后，均会将该第一频率范围记录为第一子图像的标识对应的第一频率范围，而记录的第一子图像的标识对应的第一频率范围可以称为第一子图像的标识对应的频率记录；可以理解的是，本步骤中所提到的每个第一子图像的标识对应的频率记录是根据上一帧每个第一子图像的第一频率范围确定的(例如每个第一子图像的标识对应的频率记录为上一帧每个第一子图像的第一频率范围)；另外，在初次执行本步骤时，每个第一子图像的标识对应的频率记录为预设频率记录。其中，第一子图像的标识可以为编号等，即每一帧差值图像从左至右的4帧第一子图像的编号均为1、2、3和4。而且相机程序内存储有每个第一子图像的标识的频闪计数值。

因此在本步骤中，可以在所述第一子图像的第一频率范围与所述第一子图像的标识对应的频率记录相同的情况下，将当前存储的所述第一子图像的标识的频闪计数值加1；在所述第一子图像的第一频率范围与所述第一子图像的标识对应的频率记录不同的情况下，将当前存储的所述第一子图像的标识的频闪计数值置0。另外，还可以在第一子图像的第一频率范围和第一子图像的标识对应的频率记录对比完成，并根据对比结果确定第一子图像的标识的频闪计数值后，将每个所述第一子图像的标识对应的频率记录，对应更新为每个所述第一子图像的第一频率范围，从而保证第一子图像的标识对应的频率记录实时更新。

在步骤S404中，根据每个所述第一子图像的标识的频闪计数值，确定所述预览图像中是否存在频闪。

示例性的，在至少一个所述第一子图像的标识的频闪计数值大于或等于第一预设阈值(例如4)的情况下，确定所述预览图像中存在频闪；在每个所述第一子图像的标识的频闪计数值均小于第一预设阈值的情况下，确定所述预览图像中不存在频闪。

可以理解的是，在所述预览图像中存在频闪的情况下，可以根据频闪计数值大于或等于第一预设阈值的所述第一子图像的第一频率值，确定所述频闪的第二频率值；并根据所述频闪的第二频率值控制所述相机程序的行曝光时长。

例如，当存在一个频闪计数值大于或等于第一预设阈值的所述第一子图像时，将所述第一频率值确定为第二频率值。当存在多个频闪计数值大于或等于第一预设阈值的所述第一子图像时，将所述多个第一频率值的均值或众数确定为第二频率值。

例如，控制相机程序的行曝光时长为第二频率值对应的频闪周期的整数倍。从而可以避免相机程序的预览图像出现闪烁影响用户体验。

本公开的一些实施例中，在所述根据每个所述第一子图像的标识的频闪计数值，确定所述预览图像中是否存在频闪之前，还可以按照附图5所示的方式对频闪计数值进行校正，包括步骤S501至步骤S503。

在步骤S501中，将最新两帧所述预览图像中曝光时长为第一时长的预览图像，划分为多个依次沿横向排列的第二子图像，其中，多个所述第二子图像和多个所述第一子图像一一对应。

示例性的，可以按照差值图像的划分方式，对曝光时长为第一时长的预览图像进行划分。

在步骤S502中，确定每个所述第二子图像的第二像素向量，并分别使用每个所述第二像素向量对对应的所述第一像素向量进行归一化处理，得到每个所述第一像素向量对应的第三像素向量，其中，所述第二像素向量包括所述第二子图像中每行像素点的第二像素数据组成的向量，所述第二像素数据为所述第二子图像中整行像素点的像素值总和，所述第三像素向量包括多个第三像素数据。

请参照附图6，其示出了归一化处理的过程示意图。示例性的，可以按照确定第一像素向量的方式确定第二像素向量。例如得到四个第二子图像的第二像素向量P1sum1、P1sum2、P1sum3、P1sum4。

可以按照下述公式完成归一化处理，从而得到四个第三像素向量STD1、STD2、STD3和STD4：

其中，i是第一像素向量中第一像素数据的索引，和第二像素向量中第二像素数据的索引，其范围在(0，height)内；STD(i)为第三像素向量中的第三像素数据，DRsum(i)为第一像素向量中的第一像素数据，Psum(i)为第二像素向量中的第二像素数据。

在步骤S503中，根据每个所述第三像素向量，对每个所述第一子图像的标识的频闪计数值进行校正。

示例性的，本步骤可以按照下述三个子步骤来完成。

第一个子步骤，确定所述第三像素向量中多个第三像素数据的平均值，并根据所述平均值分别对所述第三像素向量中多个第三像素数据进行二值化处理。例如将大于平均值的第三像素数据二值化为1，将小于或等于平均值的第三像素数据二值化为0。

第二个子步骤，根据所述第三像素向量中多个第三像素数据的二值化处理结果确定第一频闪周期数量，并根据所述第一频闪周期数量确定所述第一子图像的第二频率范围。将相邻的第三像素数据的二值化处理结果为0至1的变化次数确定为第一频闪周期数量。可以按照下述公式计算第一频闪周期数量m对应的频率值fpp：

其中，Tline为预览图像中默认的行曝光时长，n为预览图像的行数，该预览图像可以为最新两帧所述预览图像中曝光时长为第一时长的预览图像。

然后将fpp所在的预设频率范围，确定为第二频率范围。

第三个子步骤，根据所述第一子图像的第二频率范围和所述第一子图像的第一频率范围，确定每个所述第一子图像的标识的频闪计数值。

其中，若第一子图像的标识对应的频率记录已经是经由步骤S403更新后的频率记录，即第一频率范围，则可以根据所述第一子图像的第二频率范围和所述第一子图像的标识对应的频率记录，确定每个所述第一子图像的标识的频闪计数值。示例性的，在所述第一子图像的第二频率范围和所述第一子图像的第一频率范围相同的情况下，保持所述第一子图像的标识的频闪计数值；在所述第一子图像的第二频率范围和所述第一子图像的第一频率范围不同的情况下，将所述第一子图像的标识的频闪计数值置0。

另外，如果在所述第一子图像的第二频率范围和所述第一子图像的第一频率范围不同的情况下，将所述第一子图像的标识的频闪计数值置0的情况下，还可以按照下述方式对频闪计数值进行补偿：首先，确定每个所述第一子图像的第一像素向量的傅里叶变换结果中是否存在合理频率值，其中，所述合理频率值为处于合理频率范围(例如80Hz-2500Hz)内的频率值；然后，在存在合理频率值的所述第一子图像的数量，与全部所述第一子图像的数量之间的比例，超过比例阈值(例如0.5)的情况下，将每个存在合理频率值的所述第一子图像的标识的频闪计数值加1。

其中，可以在存在合理频率值的所有第一子图像中，两两之间的合理频率值差值在预设误差(例如40Hz)内的情况下，才对每个存在合理频率值的所述第一子图像的标识的频闪计数值加1。从而进一步提高频率计数值的补偿准确性。

本实施例中，通过长曝光图像对第一像素向量进行归一化处理后得到第三像素向量，并根据第三像素向量对频闪计数值进行校正，从而可以充分利用长曝光图像中的频闪特性，进一步提高频闪计数值的准确性。而且还利用各个第一子图像中的频率值的绝对频率关系(即与第一频率范围的关系)和相对频率关系(即各第一频率之间的关系)，对频闪计数值进行补偿，进一步提高频闪计数值的准确性。

本公开的一些实施例中，在所述确定所述预览图像中不存在频闪之后，还可以按照下述方式对预览图像进行局部频闪检测：

首先，根据窗口尺寸和滑动步长，在所述第三像素向量中确定多个像素子向量，其中，每个所述像素子向量包括多个第三像素数据。滑动步长为相邻窗口的起点间的尺寸，例如窗口尺寸可以为第三像素向量长度的三分之一，滑动步长与窗口尺寸一致，则可以得到三个像素子向量，其中，三个窗口所对应的图像依次沿横向排列。

接下来，确定每个所述像素子向量中多个第三像素数据的平均值，并根据所述平均值分别对所述像素子向量中多个第三像素数据进行二值化处理；根据每个所述像素子向量中多个第三像素数据的二值化处理结果，对应确定每个所述像素子向量的第二频闪周期数量，并根据每个所述第二频闪周期数量对应确定每个所述像素子向量的第三频率范围。示例性的，可以按照第二频率范围的确定方式确定每个所述像素子向量的第三频率，然后将第三频率所在的预设频率范围确定为像素子向量的第三频率范围。

最后，根据每个所述像素子向量的第三频率范围，确定所述预览图像是否存在频闪。示例性的，若某个第三像素向量对应的多个像素子向量中，第三频率在合理频率范围(例如80Hz-2500Hz)内的各个像素子向量的第三频率范围相同，则将这些第三频率在合理频率范围(例如80Hz-2500Hz)内的各个像素子向量的频闪计数值加1，否则设置为0；若至少一个像素子向量的频闪计数值大于第二预设阈值(例如3)，则确定所述预览图像中存在频闪。若局部频闪检测结果为预览图像不存在频闪，可以将每个像素子向量以标识将其频闪计数值保存。

可以理解的是，可以在所述确定所述预览图像中不存在频闪之后，进一步判断每个第一子图像的标识的频闪计数值是否为0，若每个第一子图像的标识的频闪计数值均为0，再按照上述方式对预览图像进行局部频闪检测，这样可以降低局部频闪检测的执行的频率，减少计算量，而且还能够提高局部频闪检测的成功率。

本实施例中，通过像素子向量对预览图像进行局部频闪检测，从而可以提高频闪检测的准确性。进而基于此控制的行曝光时长更加准确，所得到的预览图像或者所拍摄的图像质量更好。

根据本公开实施例的第二方面，提供一种频闪检测装置，应用于终端设备，请参照附图7，所述装置包括：

获取模块701，用于获取所述终端设备的相机程序采集的多帧预览图像，其中，在所述多帧预览图像中，曝光时长为第一时长的预览图像和曝光时长为第二时长的预览图像交替分布，所述第一时长大于所述第二时长；

差值模块702，用于在每获取一帧所述预览图像之后，根据最新两帧所述预览图像确定差值图像，并将所述差值图像划分为多个依次沿横向排列的第一子图像，以及确定每个所述第一子图像的第一频率范围；

计数模块703，用于根据每个所述第一子图像的第一频率范围和每个所述第一子图像的标识对应的频率记录，确定每个所述第一子图像的标识的频闪计数值；

第一检测模块704，用于根据每个所述第一子图像的标识的频闪计数值，确定所述预览图像中是否存在频闪。

在本公开的一些实施例中，所述差值模块用于根据最新两帧所述预览图像确定差值图像时，具体用于：

在本公开的一些实施例中，所述差值模块用于确定每个所述第一子图像的第一频率范围时，具体用于：

在本公开的一些实施例中，所述计数模块具体用于：

在本公开的一些实施例中，还包括更新模块，用于：

在本公开的一些实施例中，所述第一检测模块具体用于：

在本公开的一些实施例中，还包括曝光控制模块，用于：

在本公开的一些实施例中，还包括校正模块，用于：

在本公开的一些实施例中，所述校正模块用于根据每个所述第三像素向量，对每个所述第一子图像的标识的频闪计数值进行校正时，具体用于：

在本公开的一些实施例中，所述校正模块用于根据所述第一子图像的第二频率范围和所述第一子图像的第一频率范围，确定每个所述第一子图像的标识的频闪计数值时，具体用于：

在本公开的一些实施例中，还包括补偿模块，用于：

在本公开的一些实施例中，还包括第二检测模块，用于：

在本公开的一些实施例中，所述获取模块具体用于：

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在第一方面有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

根据本公开实施例的第三方面，请参照附图8，其示例性的示出了一种电子设备的框图。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图8，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。

处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机程序操作和记录操作相关联的操作。处理元件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理部件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电力组件806为装置800的各种组件提供电力。电力组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。

多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触控面板(TP)。如果屏幕包括触控面板，屏幕可以被实现为触控屏，以接收来自用户的输入信号。触控面板包括一个或多个触控传感器以感测触控、滑动和触控面板上的手势。所述触控传感器可以不仅感测触控或滑动动作的边界，而且还检测与所述触控或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到装置800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814还可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，4G或5G或它们的组合。在一个示例性实施例中，通信部件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述电子设备的供电方法。

第四方面，本公开在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804上述指令可由装置800的处理器820执行以完成上述电子设备的供电方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims

1.一种频闪检测方法，其特征在于，应用于终端设备，包括：

2.根据权利要求1所述的频闪检测方法，其特征在于，所述根据最新两帧所述预览图像确定差值图像，包括：

3.根据权利要求1所述的频闪检测方法，其特征在于，所述确定每个所述第一子图像的第一频率范围，包括：

4.根据权利要求3所述的频闪检测方法，其特征在于，所述根据每个所述第一子图像的第一频率范围和每个所述第一子图像的标识对应的频率记录，确定每个所述第一子图像的标识的频闪计数值，包括：

5.根据权利要求4所述的频闪检测方法，其特征在于，还包括：

6.根据权利要求1所述的频闪检测方法，其特征在于，所述根据每个所述第一子图像的标识的频闪计数值，确定所述预览图像中是否存在频闪，包括：

7.根据权利要求6所述的频闪检测方法，其特征在于，还包括：

8.根据权利要求6所述的频闪检测方法，其特征在于，在所述根据每个所述第一子图像的标识的频闪计数值，确定所述预览图像中是否存在频闪之前，还包括：

9.根据权利要求8所述的频闪检测方法，其特征在于，所述根据每个所述第三像素向量，对每个所述第一子图像的标识的频闪计数值进行校正，包括：

10.根据权利要求9所述的频闪检测方法，其特征在于，所述根据所述第一子图像的第二频率范围和所述第一子图像的第一频率范围，确定每个所述第一子图像的标识的频闪计数值，包括：

11.根据权利要求10所述的频闪检测方法，其特征在于，在所述第一子图像的第二频率范围和所述第一子图像的第一频率范围不同的情况下，将所述第一子图像的标识的频闪计数值置0之后，还包括：

12.根据权利要求8所述的频闪检测方法，其特征在于，在所述确定所述预览图像中不存在频闪之后，还包括：

13.根据权利要求1所述的频闪检测方法，其特征在于，所述获取所述终端设备的相机程序采集的多帧预览图像，包括：

14.根据权利要求1所述的频闪检测方法，其特征在于，所述获取所述终端设备的相机程序采集的多帧预览图像，包括：

15.一种频闪检测装置，其特征在于，应用于终端设备，包括：

16.根据权利要求15所述的频闪检测装置，其特征在于，所述差值模块用于根据最新两帧所述预览图像确定差值图像时，具体用于：

17.根据权利要求15所述的频闪检测装置，其特征在于，所述差值模块用于确定每个所述第一子图像的第一频率范围时，具体用于：

18.根据权利要求17所述的频闪检测装置，其特征在于，所述计数模块具体用于：

19.根据权利要求18所述的频闪检测装置，其特征在于，还包括更新模块，用于：

20.根据权利要求15所述的频闪检测装置，其特征在于，所述第一检测模块具体用于：

21.根据权利要求20所述的频闪检测装置，其特征在于，还包括曝光控制模块，用于：

22.根据权利要求20所述的频闪检测装置，其特征在于，还包括校正模块，用于：

23.根据权利要求22所述的频闪检测装置，其特征在于，所述校正模块用于根据每个所述第三像素向量，对每个所述第一子图像的标识的频闪计数值进行校正时，具体用于：

24.根据权利要求23所述的频闪检测装置，其特征在于，所述校正模块用于根据所述第一子图像的第二频率范围和所述第一子图像的第一频率范围，确定每个所述第一子图像的标识的频闪计数值时，具体用于：

25.根据权利要求24所述的频闪检测装置，其特征在于，还包括补偿模块，用于：

26.根据权利要求22所述的频闪检测装置，其特征在于，还包括第二检测模块，用于：

27.根据权利要求15所述的频闪检测装置，其特征在于，所述获取模块具体用于：

28.根据权利要求15所述的频闪检测装置，其特征在于，所述获取模块具体用于：

29.一种电子设备，其特征在于，所述电子设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时基于权利要求1至14中任一项所述的频闪检测方法。

30.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至14中任一项所述的方法。