CN115914852A - 成像系统目标频率光源的识别方法及终端设备 - Google Patents

Abstract

本发明提供一种成像系统目标频率光源的识别方法及终端设备。识别方法包括：图像传感器在光源下同一帧间隔内，对同一场景分别进行长曝光和短曝光，并对应输出长曝光图像和短曝光图像；分析长曝光图像和短曝光图像生成图像亮度差分信号；对图像亮度差分信号进行傅里叶变换以获得频域内的能量谱分布；根据能量谱分布分析，判断当前环境中是否存在指定的目标频率的光源。本发明根据同一帧内的长短两种曝光的图像，生成图像亮度差分信号，并进行傅里叶变换，能高效、准确地识别当前环境中是否包含目标频率的光源。长曝光与短曝光在曝光持续时间上不同，当帧间隔时间为环境光源闪烁周期的整数倍时，仍然能检测出闪烁。能够辨别正常带条纹的物体与闪烁。

Description

成像系统目标频率光源的识别方法及终端设备

技术领域

本发明涉及通信技术领域，尤其涉及一种成像系统目标频率光源的识别方法及终端设备。

背景技术

图像传感器将光信号转化为电信号，光信号的光源为自然光源(例如太阳)和/或照明光源(诸如电灯泡、荧光灯、和汞灯)。实际应用中多数的照明光源是随时间变化的周期性信号，通常在交流(AC)电源供电中，以AC电源频率的2倍频率发生的光源亮度的变化而产生明暗交替。

常用的摄像系统，采用的是电子快门的曝光方式，受曝光时间与照明光源的供电频率不匹配的影响，例如在遇到低频光源时，如果使用了不合理的曝光时间，会导致各个位置上前后帧采集到的能量不一致的问题，即产生图像亮度闪烁，也称之为水波纹。闪烁的检测通常是使用单帧或者前后两帧的差分信号进行分析。当帧间隔时间为环境光源闪烁周期的整数倍(60Hz光源下的30fps或者50Hz光源下的25fps)时，由于闪烁不滚动，导致前后两帧的差分信号输出为0，进而无法检测闪烁。在使用单帧数据进行分析的情况下，同时也存在无法辨别正常带条纹的物体与闪烁，进而出现将正常带条纹的物体误判为闪烁的情况。

发明内容

本发明实施例提供了一种成像系统目标频率光源的识别方法及终端设备，能有效地进行目标频率的光源识别，长曝光与短曝光在曝光持续时间上不同，当帧间隔时间为环境光源闪烁周期的整数倍时，仍然能检测出闪烁。能够辨别正常带条纹的物体与闪烁。

本发明提供一种成像系统目标频率光源的识别方法，包括：

图像传感器在光源下同一帧间隔内，对同一场景分别进行长曝光和短曝光，并对应输出长曝光图像和短曝光图像；所述长曝光的曝光持续时间大于所述短曝光的曝光持续时间；

分析所述长曝光图像和所述短曝光图像生成图像亮度差分信号；

对所述图像亮度差分信号进行傅里叶变换以获得频域内所述图像亮度差分信号的能量谱分布；

根据所述能量谱分布进行分析，判断当前环境中是否存在指定的目标频率的光源。进一步的，所述图像亮度差分信号为周期信号，且其周期等于光源闪烁周期。

进一步的，所述图像传感器以行为输出单位进行曝光，第i行所述长曝光图像的图像亮度Lum_Li表达式为公式(2)，第i行所述短曝光图像的图像亮度Lum_Si表达式为公式(3)，

其中，Epeak为交流电的能量峰值，ξ为照明光源照射到被摄体的反射率，ω为照明光源的角频率，Expo_L为长曝光行，L_i为图像传感器长曝光的第i行，Gain_L为长曝光增益，Expo_s为短曝光行，Si为图像传感器短曝光的第i行，Gain_s为短曝光增益。

进一步的，分析所述长曝光图像和所述短曝光图像生成的图像亮度差分信号ΔLum，具体计算：

其中，曝光比

整理后得到图像亮度差分信号ΔL_um表达式为公式(4)

进一步的，傅里叶变换后频域内所述图像亮度差分信号对应的能量E的表达式为公式(5)，

进一步的，所述长曝光和所述短曝光输出图像的帧率均为z，一帧图像在图像的高度方向分割为q个区域，每个所述区域取一个采样点，光源闪烁频率是Fn，周期信号的采样频率为Fs，且Fs＝Fn xq/[(1/z)/(1/Fn)]；N为采样点个数，傅里叶变换后，所述光源闪烁频率Fn对应的主值序列中的位置n＝Fn x N/Fs，所述光源闪烁频率Fn等于所述光源的目标频率的2倍，根据不同所述光源闪烁频率Fn对应的主值序列中的位置n不同来识别所述光源闪烁频率Fn，进而识别所述光源的目标频率。

进一步的，将所述图像亮度差分信号补零后再进行傅里叶变换，采用时域补零相当于频域插值的方法将采样点个数N放大k倍，即插值倍数为k，以使不同所述光源闪烁频率Fn对应的主值序列中的位置n距离变大，便于区分不同的所述光源的目标频率。

进一步的，所述图像传感器快门滚动逐行读取信息，由上到下滚动输出所述长曝光和所述短曝光的数据。

进一步的，在户外曝光时，所述长曝光的曝光时间小于一个光源闪烁周期时间；在室内曝光时，所述长曝光的曝光时间大于一个所述光源闪烁周期时间；在户外或室内所述短曝光的曝光时间小于一个所述光源闪烁周期时间。

本发明还提供一种终端设备，包括处理器以及与所述处理器连接的存储器，所述存储器包括计算机可读指令，所述处理器用于执行所述存储器中的计算机可读指令，用以实现上述的成像系统目标频率光源的识别方法。

与现有技术相比，本发明具有如下有益效果：

本发明提供一种成像系统目标频率光源的识别方法及终端设备。识别方法包括：图像传感器在光源下同一帧间隔内，对同一场景分别进行长曝光和短曝光，并对应输出长曝光图像和短曝光图像；所述长曝光的曝光持续时间大于所述短曝光的曝光持续时间；分析所述长曝光图像和所述短曝光图像生成图像亮度差分信号；对所述图像亮度差分信号进行傅里叶变换以获得频域内所述图像亮度差分信号的能量谱分布；根据所述能量谱分布进行分析，判断当前环境中是否存在指定的目标频率的光源。本发明根据同一帧内的长短两种曝光的图像，生成图像亮度差分信号，并进行傅里叶变换，进而判断当前环境是否存在目标频率的光源。能高效、准确地识别当前环境中是否包含目标频率的光源。所述长曝光与所述短曝光在曝光持续时间上不同。长曝光和短曝光两次曝光有时间差，曝光起始时间不一样，积分区间不同，因此图像亮度差分信号输出不为0，因此，当帧间隔时间为环境光源闪烁周期的整数倍时，本发明的方法差分信号输出不为0，仍然能检测出闪烁。本发明通过长曝光数据与经过曝光比补偿后的短曝光数据生成图像亮度差分信号，可将正常带条纹的物体的图像亮度差分信号输出为0的同时，不影响对闪烁现象的判断，能够辨别正常带条纹的物体与闪烁。

附图说明

图1为图像出现闪烁的示意图。

图2为成像设备中出现闪烁现象的原理图。

图3为曝光时间不是荧光灯的闪烁周期的整数倍时，图像亮度差分信号曲线图。

图4为本发明实施例的成像系统目标频率光源的识别方法流程示意图。

图5为本发明实施例的成像系统目标频率光源的识别方法中同一帧间隔内分别进行长曝光和短曝光示意图。

图6为本发明实施例的成像系统目标频率光源的识别方法中获取图像示意图。

图7为本发明实施例的成像系统目标频率光源的识别方法中60Hz光源下补零后图像亮度差分信号示意图。

图8为本发明实施例的成像系统目标频率光源的识别方法中60Hz光源下傅里叶变换后频域内图像亮度差分信号的能量谱分布。

图9为本发明实施例的成像系统目标频率光源的识别方法中50Hz光源下补零后图像亮度差分信号示意图。

图10为本发明实施例的成像系统目标频率光源的识别方法中50Hz光源下傅里叶变换后频域内图像亮度差分信号的能量谱分布。

图11为本发明实施例的成像系统的结构示意图。

图12为本发明实施例的终端设备的结构示意图。

具体实施方式

如背景技术，受曝光时间与照明光源的供电频率不匹配的影响，易出现成像系统的闪烁问题。

具体的，CMOS图像传感器是一种具有低功耗的成像设备，其中的像素可呈阵列形式排列；入射光通过一个成像设备被转换为电子信号；电荷(图像信号)在一个像素上累积；通过指定像素的X-Y地址来读出电荷。一个成像设备，例如CMOS图像传感器等等，被称为X-Y寻址扫描型固态成像设备。

当一个物体被一台X-Y寻址扫描型固态成像设备(例如一个CMOS图像传感器)，在使用交流电(AC)电源的普通荧光灯照明下进行成像时，由于荧光灯与AC电源的频率同步地闪烁，因此，扫描时间点的变化取决于像素的位置。结果在一个图像中产生亮的区域和暗的区域，降低了图像的质量。图1为图像出现闪烁的示意图。如图1所示，一个条纹型图案出现在苹果图像的一帧中，其中沿水平方向伸展的暗的部分和亮的部分是交替地出现，既出现了闪烁。

图2为一个X-Y寻址扫描型固态成像设备中出现闪烁现象的原理示意图。如图2所示，例如，一个交流电源的频率是50Hz，荧光灯的闪烁频率是100Hz(即闪烁周期为10ms)，荧光灯的闪烁频率通常是交流电源的频率的2倍。成像设备的成帧频率为30fps(即成帧周期为33.3ms)。在这种情况下，垂直扫描时间(成帧周期)为33.3ms，其间垂直方向从上到下(从左到右)所有的像素都被读取。在垂直扫描时间期间，荧光灯与AC电源的频率同步地闪烁。因此，当一个在第(n-1)行中的一个像素、第n行中的一个像素、和第(n+1)行的像素被读取时，进入到成像设备上的相应的光线强度(荧光灯的亮度值)是各不相同的。图像传感器将光信号转化为电信号，因此，在图像的一帧上出现可以观察到的一种条纹状图案，其中沿着水平方向伸展的亮的部分和暗的部分交替出现，既出现了闪烁，获得的图形质量下降。图3为曝光时间不是荧光灯的闪烁周期的整数倍时，图像亮度差分信号曲线图。如图3所示，当曝光时间(垂直扫描时间)expo不是荧光灯的一个闪烁周期的整数倍时，例如expo≠n*10ms(n∈Z)时，纵坐标图像亮度差分信号随曝光时间expo的变化为一波形曲线。

当帧间隔时间是荧光灯的一个闪烁周期的整数倍时，例如1/fps＝n*10ms(n∈Z)时，由于闪烁不滚动，导致前后两帧的差分信号输出为0，进而无法检测闪烁。

基于上述研究，本发明实施例提供了一种成像系统目标频率光源的识别方法。以下结合附图和具体实施例对本发明进一步详细说明。根据下面说明，本发明的优点和特征将更清楚。需要说明的是，附图均采用非常简化的形式且使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。

为了便于描述，本发明一些实施例可以使用诸如“在…上方”、“在…之下”、“顶部”、“下方”等空间相对术语，以描述如实施例各附图所示的一个元件或部件与另一个(或另一些)元件或部件之间的关系。应当理解的是，除了附图中描述的方位之外，空间相对术语还旨在包括装置在使用或操作中的不同方位。例如若附图中的装置被翻转，则被描述为在其它元件或部件“下方”或“之下”的元件或部件，随后将被定位为在其它元件或部件“上方”或“之上”。下文中的术语“第一”、“第二”、等用于在类似要素之间进行区分，且未必是用于描述特定次序或时间顺序。要理解，在适当情况下，如此使用的这些术语可替换。

本发明实施例提供了一种成像系统目标频率光源的识别方法，如图4所示，包括：

步骤S1、图像传感器在光源下同一帧间隔内，对同一场景分别进行长曝光和短曝光，并对应输出长曝光图像和短曝光图像；长曝光的曝光持续时间大于短曝光的曝光持续时间；

步骤S2、分析长曝光图像和短曝光图像生成图像亮度差分信号；

步骤S3、对图像亮度差分信号进行傅里叶变换以获得频域内图像亮度差分信号的能量谱分布；

步骤S4、根据能量谱分布进行分析，判断当前环境中是否存在指定的目标频率的光源。

下面结合图5至图10详细介绍本发明实施例的成像系统目标频率光源的识别方法。

步骤S1、如图5所示，图像传感器在同一帧间隔内，对同一场景分别进行长曝光和短曝光，并对应输出长曝光图像和短曝光图像；长曝光的曝光持续时间大于短曝光的曝光持续时间。在同一帧间隔内，可先长曝光，长曝光完成后重置进行短曝光；也可先短曝光，短曝光完成后重置进行长曝光。长曝光和短曝光之间时间上有一定间隔。长曝光和短曝光是由图像传感器内相同的像素(例如光电二极管)对同一场景先后进行曝光。长曝光的曝光时间可为光源闪烁周期时间的整数倍，也可为光源闪烁周期时间的非整数倍。示例性的，在户外曝光时，长曝光的曝光时间小于一个光源闪烁周期时间；在室内曝光时，长曝光的曝光时间大于一个光源闪烁周期时间。在户外或室内短曝光的曝光时间均小于一个光源闪烁周期时间。示例性的，一个交流电源的频率(光源的目标频率)是50Hz，荧光灯的闪烁频率(光源闪烁频率)通常是交流电源的频率(光源的目标频率)的2倍，荧光灯的闪烁频率是100Hz，则荧光灯的光源闪烁周期时间为10ms。

具体的，图像传感器在光源下拍摄图像信号(图像帧)，图像传感器为具有将光信号转换成电信号的二维状排列而成的多个像素且以该多个像素拍摄被摄体的元件。像素包含使用光电二极管或有机光电转换膜而成的光电转换元件。图像传感器设为能够通过XY地址指定从任意的像素读出信号的MOS(金属氧化物半导体)型图像传感器；也可使用CCD(电荷耦合装置)型图像传感器。光源为交流电源光源，有的国家或地区，交流电源光源的频率为50Hz，亦即目标频率光源为50Hz光源；而有的国家或地区，照明光源的交流电源光源的频率为60Hz，亦即目标频率光源为60Hz光源。而在其他示例中，目标频率可为车载系统的闪烁频率，例如为70Hz或90Hz，采用本发明的方法同样可以识别车载系统的闪烁频率。

如图6所示，图像传感器按照行曝光的方式拍摄图像帧，图像传感器按照预设曝光时间采集图像帧，进而图像传感器将采集的图像帧传送至终端设备。

在一个示例中，若当前环境中包含目标频率的光源，则终端设备中的图像传感器按照该目标频率对应的曝光机制进行曝光拍照。本发明涉及的终端设备包括但不限于车载设备、汽车、手机、个人掌上电脑或其他具备通讯功能的设备。

为更好地理解本发明，下面以一个例子进行详述。终端设备(例如手机)在一国家的A地区，A地区的供电电源频率为50Hz，手机当前采用50Hz对应的曝光机制进行拍照分析，拍摄信号正常；手机主人携带该手机到了B地区，B地区与A地区可为同一国家，也可为不同国家。B地区的供电电源频率为60Hz，由于地区发生变化，还按照之前的50Hz对应的曝光机制进行拍照，电源频率不匹配，拍摄图像会出现闪烁等问题，于是需要识别指定目标频率例如60Hz，手机识别确认是目标频率60Hz后，则按照60Hz对应的曝光机制(包括曝光时间)进行拍照，使曝光与供电电源频率匹配，因此需要对成像系统目标频率光源进行识别。

图像传感器按照行曝光的方式拍摄图像帧，图像传感器在同一帧间隔内，对同一场景分别进行长曝光和短曝光，并对应输出长曝光图像和短曝光图像；长曝光的曝光持续时间大于短曝光的曝光持续时间。

电子快门工作机制下，第i行图像的图像亮度Lum_i表达式为公式(1)：

其中，Epeak为交流电的能量峰值，ξ为照明光源照射到被摄体的反射率，在理想状态下，认为各位置上的反射率是一样的；ω为照明光源的角频率，它也是反映交流电随时间变化的快慢的物理量。角频率和频率的关系为ω＝2πf，一般情况下，f为50Hz或者60Hz，交流电的频率f为50Hz时，ω＝100π；交流电的频率f为60Hz时，ω＝120π。Expo为曝光行，Gain为增益，i为图像传感器的第i行。

图像传感器以行为输出单位进行曝光，第i行长曝光图像的图像亮度Lum_Li表达式为公式(2)，第i行短曝光图像的图像亮度Lum_Si表达式为公式(3)。

其中，Expo_L为长曝光行，L_i为图像传感器长曝光的第i行，Gain_L为长曝光增益。Expo_s为短曝光行，S_i为图像传感器短曝光的第i行，Gain_s为短曝光增益。

公式(2)和公式(3)中的字母Epeak、ξ以及ω所代表的含义与公式(1)相同。

步骤S2、分析长曝光图像和短曝光图像生成图像亮度差分信号ΔLum。具体的，图像亮度差分信号ΔLum计算如下，

其中，曝光比

上式整理后得到图像亮度差分信号ΔLum表达式，即公式(4)，

步骤S3、对图像亮度差分信号ΔLum进行傅里叶变换以获得频域内图像亮度差分信号的能量谱分布。如图7所示，图7中X轴上横坐标代表各区域的统计值；Y轴上纵坐标代表图像亮度差分信号ΔLum对应的数字信号的值。基于傅里叶变换的信号频域分析，由公式(4)可知，通过长曝光信号和短曝光信号相减得到图像亮度差分信号ΔLum为周期信号，且图像亮度差分信号ΔLum的周期等于光源闪烁周期。通过上述周期信号，进行傅里叶变换后得到的能量谱分布中，光源频率所对应的能量E为指定频段能量列表中的最大值。图8中，X轴上横坐标代表与光源频率相关的主值序列位置n的值；Y轴上，纵坐标代表图像亮度差分信号频域内对应的能量E的值。

步骤S4、根据能量谱分布进行分析，判断当前环境中是否存在指定的目标频率的光源,或者判断能量最大值所对应的频率是否为指定的目标频率。

能量E的表达式为公式(5)：

公式(5)与公式(2)和公式(3)中相同字母代表相同含义。

图7为60Hz光源下的图像亮度差分信号ΔLum示意图。图8为60Hz光源下傅里叶变换后频域内图像亮度差分信号的能量谱分布。图9为50Hz光源下的图像亮度差分信号ΔLum示意图。图10为50Hz光源下傅里叶变换后频域内图像亮度差分信号的能量谱分布。

长曝光和短曝光输出图像的帧率均为z，一帧图像在图像的高度方向分割为q个区域，每个区域取一个采样点，光源闪烁频率是Fn，周期信号的采样频率为Fs，且Fs＝Fn xq/[(1/z)/(1/Fn)]；N为采样点个数，傅里叶变换后，光源闪烁频率Fn对应的主值序列中的位置n＝Fn x N/Fs，光源闪烁频率Fn等于光源的目标频率的2倍，根据不同光源闪烁频率Fn对应的主值序列中的位置n不同来识别光源闪烁频率Fn，进而识别光源的目标频率。

具体的，图像传感器采集图像时，可以按照一定帧率z的出帧速度输出图像。帧率z代表图像传感器单位时间内曝光并输出图像的频率，通常使用fps(frame per second)来表示，比如帧率z是30fps，则代表1秒内输出30帧图像。例如在长曝光时长下，图像传感器可以按照30fps的出帧速度输出长曝光图像流；在短曝光时长下，图像传感器还可以按照30fps的出帧速度输出短曝光图像流。

周期信号的采样频率Fs要符合奈奎斯特准则，采样频率大于被采样信号频率的两倍。傅里叶变换后频域内总共分布N个采样点，公式Fn＝Fs x n/N，Fn是经过傅里叶变换后，主值序列上各个点的频率值；第n个点对应的频率为Fn，n取值为0至N-1中的任一整数，N为正整数，Fs为采样频率。能量谱分布中横轴上第n个点代表了频率点在横轴的位置。

示例性的，图像传感器在60Hz光源下采样时，按照帧率30fps输出图像，60Hz光源即交流电源的频率是60Hz，荧光灯的闪烁频率通常是交流电源的频率的2倍，荧光灯的闪烁频率是120Hz，荧光灯的光源闪烁周期时间为1/120s。整幅图像(一帧图像)在图像的高度方向分割为q个个区域(参见图6)，q例如取64，每个区域取一个采样点，对应64个采样点，整幅图像中存在4个完整的光源闪烁周期((1/30)/(1/120)＝4)，采样频率Fs为120x(64/4)＝1920Hz。根据傅里叶变换特性Fn＝Fs x n/N，可知，傅里叶变换后，与荧光灯的闪烁频率120Hz(Fn＝120Hz)对应的位置(第n个点)n＝Fn x N/Fs＝120x 64/1920＝4。

同理，图像传感器在50Hz光源下采样时，按照帧率30fps输出图像，50Hz光源即交流电源的频率是50Hz，荧光灯的闪烁频率通常是交流电源的频率的2倍，荧光灯的闪烁频率是100Hz，荧光灯的光源闪烁周期时间为1/100s。整幅图像在图像的高度方向分割为64个区域(参见图6)，对应64个采样点，整幅图像中存在3.3个完整的光源闪烁周期((1/30)/(1/100)＝3.3)，采样频率Fs为100x(64/(10/3))＝1920Hz。根据傅里叶变换特性Fn＝Fs x n/N，可知，傅里叶变换后，与荧光灯的闪烁频率100Hz(Fn＝100Hz)对应的位置(第n个点)n＝Fn x N/Fs＝100x 64/1920＝3.3。

由上可知，50Hz光源下(荧光灯的闪烁频率100Hz)，n＝3.3，傅里叶变换后频域内图像亮度差分信号的能量峰值(能量E最大值)会出现在第3或者第4个点。60Hz光源下(荧光灯的闪烁频率120Hz)，n＝4，傅里叶变换后频域内图像亮度差分信号的能量峰值(能量E最大值)会出现在第4个点。

再考虑到其他不确定因素的影响，由于50Hz光源下出现能量峰值的点(第3或者第4个点)与60Hz光源下出现能量峰值的点(第4个点)过于接近，因此即使能量峰值出现在了第3或者第4个点，还是较难区别出是50Hz光源还是60Hz光源。

因此，需要数学模型上的进一步优化，将图像亮度差分信号补零后再进行傅里叶变换，采用时域补零相当于频域插值的方法将采样点个数N放大k倍，即插值倍数为k，以达到数学意义上的提高频谱分辨率的目的，以使不同光源闪烁频率Fn对应的主值序列中的位置n距离变大，便于区分不同的光源的目标频率。将公式Fn＝Fs x n/N中的N放大k倍，即插值倍数为k，k的取值可根据实际需求设置，不做限制。k例如可取8、16、256、1024中的任意一个。

示例性的，以k＝8为例，将N放大为N’＝kN＝8x N＝8x 64＝512；则

闪烁频率120Hz对应的位置n’＝Fn x N’/Fs＝120x 512/1920＝32；亦即能量谱分布图中，如图8所示，第32个点对应能量峰值，第32个点对应横轴上坐标x为31(处于第32个点附近，第一个点从0开始)。

闪烁频率100Hz对应的位置n’＝Fn x N’/50Hz Fs＝100x 512/1920＝26.7，n’取整数27；亦即能量谱分布图中，如图10所示，第27个点对应能量峰值，第27个点对应横轴上坐标x为26(处于第27个点附近，第一个点从0开始)。

优化后的60Hz光源(闪烁频率120Hz)和光源(闪烁频率100Hz)出现峰值的距离足够大，因此可以通过图像亮度差分信号的傅里叶变换后的结果判断当前环境下是否存在50Hz光源或者60Hz光源。相应的，根据能量峰值在横轴上出现位置判断是50Hz光源还是60Hz光源，在上述参数示例中，图10横轴上坐标x＝26位置出现能量峰值时，说明图像传感器曝光的环境光源为50Hz光源。图8横轴上坐标x＝31位置出现能量峰值时，说明图像传感器曝光的环境光源为60Hz光源，如此识别出成像系统的目标频率光源。

常用的摄像系统，当帧间隔时间为环境光源闪烁周期的整数倍时，由于闪烁不滚动，导致前后两帧的差分信号输出为0，进而无法检测闪烁。本发明图像传感器在同一帧间隔内，对同一场景分别进行长曝光和短曝光，并对应输出长曝光图像和短曝光图像；长曝光与短曝光在曝光持续时间上不同。长曝光和短曝光两次曝光有时间差，曝光起始时间不一样，积分区间不同，因此差分信号输出不为0，因此，当帧间隔时间为环境光源闪烁周期的整数倍时，本发明的方法差分信号输出不为0，仍然能检测出闪烁。

常用的摄像系统，基于单帧数据进行分析的情况下，闪烁判断存在局限性，存在无法辨别正常带条纹的物体(例如斑马线)与闪烁，进而出现误检测闪烁的情况，即把带条纹的物体中的明暗交替图案误判为闪烁。本发明通过长曝光数据与经过曝光比补偿后的短曝光数据生成差分信号，可将正常带条纹的物体的差分信号输出为0的同时，不影响对闪烁现象的判断。

本实施例的图像传感器可为交错高动态范围(stagger high-dynamic range，stagger HDR)传感器，快门滚动逐行读取信息，由上到下滚动输出长曝光、短曝光的数据。利用“快门速度”(读取速度)的改变，相当于直接改变曝光条件，将长曝光和短曝光图像及时交错。在长曝光行数据输出的过程中，短曝光行数据也同时生成，这使得两行图像之间能够紧密衔接，从而解决了图像传感器存在图像不自然的问题，也有效减少了运动鬼影。多重曝光，为在一帧间隔内进行至少两次的曝光。本实施例的图像传感器为多重曝光。StaggerHDR主要应用于预览模式和视频拍摄模式中，用来增加视频或预览画面的HDR效果。传统以帧为输出单位的“多帧HDR”需要完成上一帧的拍摄后再开始下一帧的拍摄，帧与帧之间的间隔比较长。如果被拍摄的物体正在做高速移动，那么它在上一帧与下一帧画面上的位置就会产生明显变化，导致最终合成的HDR图片容易出现“鬼影”缺陷。本发明的staggeredHDR是以行作为输出单位的拍摄。它能在一次拍摄时就同时获取曝光时间长短不同的多帧画面，大大减少了帧与帧之间的时间间隔，从而减少了“鬼影”出现的可能。以往的方法通常是基于前后帧的差分信号进行闪烁检测，而本发明根据同一帧内的长短两种曝光的图像，生成图像亮度差分信号，并进行傅里叶变换，进而判断当前环境是否存在目标频率的光源。能高效、准确地识别当前环境中是否包含目标频率的光源。

如图11所示，本实施例的成像系统100包括图像传感器110、存储单元120以及图像处理器130。具体的，图像传感器110包括镜头、感光元件以及快门模块等。感光元件例如是电荷耦合元件(CCD)、互补性氧化金属半导体(CMOS)元件或其他元件。快门模块例如由电路控制模块所构成，而可用以逐条控制这些感光元件中每条水平感光元件的曝光时间。在一实施例中，图像传感器例如是可产生高动态范围图像的数码相机、数码单反相机、数码摄影机等。在另一实施例中，图像传感器可内建于智能手机、平板电脑或笔记本电脑等电子装置，不限于上述。存储单元120例如是任意型式的固定式或可移动式随机存取存储器(RAM)、只读存储器(ROM)、快闪存储器(Flash memory)或硬盘等，可用以存储图像及其他数据。图像处理器130例如是中央处理器(CPU)，可程序化的一般用途或特殊用途的微处理器或数字信号处理器等装置。图像传感器110依据长曝光时间与短曝光时间连续交错拍摄。

图12为本发明实施例的一种终端设备的结构示意图。如图12所示，的终端设备200包括：至少一个输入设备201；至少一个输出设备202；至少一个处理器203，例如CPU；和存储器204，上述输入设备201、输出设备202、处理器203和存储器204通过总线205连接。

其中，输入设备201具体可为移动终端的触控面板，包括触摸屏和触控屏，用于检测终端触控面板上的操作指令。输出设备202具体可为移动终端的显示屏，用于输出、显示信息。存储器204可以是高速RAM存储器，也可为非不稳定的存储器，例如磁盘存储器。存储器204用于存储一组程序代码，输入设备201、输出设备202和处理器203用于调用存储器204中存储的程序代码执行相应操作。存储器204包括计算机可读指令，处理器203用于执行存储器204中的计算机可读指令。具体的，处理器203用于获取图像传感器拍摄的长曝光图像和短曝光图像，并分析长曝光图像和短曝光图像生成图像亮度差分信号；对图像亮度差分信号进行傅里叶变换以获得频域内图像亮度差分信号的能量谱分布；根据能量谱分布进行分析，判断当前环境中是否存在指定的目标频率的光源。

基于同一发明构思，本发明实施例中的终端设备解决问题的原理与本发明方法实施例中终端解决问题的原理相似，因此各设备的实施可以参见方法的实施，为简洁描述，在这里不再赘述。

综上，本发明提供一种成像系统目标频率光源的识别方法及终端设备。识别方法包括：图像传感器在光源下同一帧间隔内，对同一场景分别进行长曝光和短曝光，并对应输出长曝光图像和短曝光图像；长曝光的曝光持续时间大于短曝光的曝光持续时间；分析长曝光图像和短曝光图像生成图像亮度差分信号；对图像亮度差分信号进行傅里叶变换以获得频域内图像亮度差分信号的能量谱分布；根据能量谱分布进行分析，判断当前环境中是否存在指定的目标频率的光源。本发明根据同一帧内的长短两种曝光的图像，生成图像亮度差分信号，并进行傅里叶变换，进而判断当前环境是否存在目标频率的光源。能高效、准确地识别当前环境中是否包含目标频率的光源。长曝光与短曝光在曝光持续时间上不同。长曝光和短曝光两次曝光有时间差，曝光起始时间不一样，积分区间不同，因此差分信号输出不为0，因此，当帧间隔时间为环境光源闪烁周期的整数倍时，本发明的方法差分信号输出不为0，仍然能检测出闪烁。本发明通过长曝光数据与经过曝光比补偿后的短曝光数据生成差分信号，可将正常带条纹的物体的差分信号输出为0的同时，不影响对闪烁现象的判断，能够辨别正常带条纹的物体与闪烁。

需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例终端设备中的模块可以根据实际需要进行合并、划分和删减。

上述描述仅是对本发明较佳实施例的描述，并非对本发明权利范围的任何限定，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

Claims (10)

1.一种成像系统目标频率光源的识别方法，其特征在于，包括：

图像传感器在光源下同一帧间隔内，对同一场景分别进行长曝光和短曝光，并对应输出长曝光图像和短曝光图像；所述长曝光的曝光持续时间大于所述短曝光的曝光持续时间；

分析所述长曝光图像和所述短曝光图像生成图像亮度差分信号；

对所述图像亮度差分信号进行傅里叶变换以获得频域内所述图像亮度差分信号的能量谱分布；

根据所述能量谱分布进行分析，判断当前环境中是否存在指定的目标频率的光源。

2.根据权利要求1所述的成像系统目标频率光源的识别方法，其特征在于，所述图像亮度差分信号为周期信号，且其周期等于光源闪烁周期。

3.根据权利要求1所述的成像系统目标频率光源的识别方法，其特征在于，所述图像传感器以行为输出单位进行曝光，第i行所述长曝光图像的图像亮度Lum_Li表达式为公式(2)，第i行所述短曝光图像的图像亮度Lum_Si表达式为公式(3)，

其中，Epeak为交流电的能量峰值，ξ为照明光源照射到被摄体的反射率，ω为照明光源的角频率，Expo_L为长曝光行，L_i为图像传感器长曝光的第i行，Gain_L为长曝光增益，Expo_s为短曝光行，S_i为图像传感器短曝光的第i行，Gain_s为短曝光增益。

4.根据权利要求3所述的成像系统目标频率光源的识别方法，其特征在于，分析所述长曝光图像和所述短曝光图像生成图像亮度差分信号ΔLum，具体计算：

其中，曝光比

整理后得到图像亮度差分信号ΔLum表达式为公式(4)

5.根据权利要求4所述的成像系统目标频率光源的识别方法，其特征在于，傅里叶变换后频域内所述图像亮度差分信号对应的能量E的表达式为公式(5)，

6.根据权利要求1所述的成像系统目标频率光源的识别方法，其特征在于，所述长曝光和所述短曝光输出图像的帧率均为z，一帧图像在图像的高度方向分割为q个区域，每个所述区域取一个采样点，光源闪烁频率是Fn，周期信号的采样频率为Fs，且Fs＝Fn xq/[(1/z)/(1/Fn)]；N为采样点个数，傅里叶变换后，所述光源闪烁频率Fn对应的主值序列中的位置n＝Fn x N/Fs，所述光源闪烁频率Fn等于所述光源的目标频率的2倍，根据不同所述光源闪烁频率Fn对应的主值序列中的位置n不同来识别所述光源闪烁频率Fn，进而识别所述光源的目标频率。

7.根据权利要求6所述的成像系统目标频率光源的识别方法，其特征在于，

将所述图像亮度差分信号补零后再进行傅里叶变换，采用时域补零相当于频域插值的方法将采样点个数N放大k倍，即插值倍数为k，以使不同所述光源闪烁频率Fn对应的主值序列中的位置n距离变大，便于区分不同的所述光源的目标频率。

8.根据权利要求1至7任意一项所述的成像系统目标频率光源的识别方法，其特征在于，所述图像传感器以快门滚动逐行读取信息，由上到下滚动输出所述长曝光和所述短曝光的数据。

9.根据权利要求1至7任意一项所述的成像系统目标频率光源的识别方法，其特征在于，在户外曝光时，所述长曝光的曝光时间小于一个光源闪烁周期时间；在室内曝光时，所述长曝光的曝光时间大于一个所述光源闪烁周期时间；在户外或室内所述短曝光的曝光时间均小于一个所述光源闪烁周期时间。

10.一种终端设备，其特征在于，包括处理器以及与所述处理器连接的存储器，所述存储器包括计算机可读指令，所述处理器用于执行所述存储器中的计算机可读指令，用以实现如上权利要求1～9中任一项所述的成像系统目标频率光源的识别方法。

Images