CN105430289A - 一种基于cmos图像传感器检测led闪烁频率的方法 - Google Patents

Abstract

本发明公开一种基于CMOS图像传感器检测LED闪烁频率的方法，包括：获取光源区条纹图片，将条纹图片转换成灰度图片；针对条纹图片中每一行的所有像素计算平均灰度值，假定灰度明暗条纹图片共有M行，将M个平均灰度值存储在数组I_Average(n)，n＝0，1，...，M-1中；对I_Average(n)进行M点DFT运算，求I_Average(n)的频率响应值R(k)；<maths num="0001"></maths>0≤k≤M-1，为傅立叶系数；检测R(k)中除低频分量以外的峰值所对应的K值，设为K_N，K_N即条纹图片中的条纹数目；再用总行数M除以K_N得到明暗条纹宽度的像素行数，即条纹图片每行像素灰度值的变化规律的周期值，设为Row_N＝M/K_N；求出LED的闪烁频率f_LED＝f_row/ROW_N；其中f_row为CMOS图像传感器的行扫描频率。该方法得到了明暗条纹图片的某个特征值与LED闪烁频率之间的对应关系，并实现可靠性高的LED闪烁频率检测，具有较好的实际应用价值。

Description

一种基于CMOS图像传感器检测LED闪烁频率的方法

技术领域

本发明面向LED可见光通信(VLC)定位领域，提出了一种基于CMOS图像传感器检测LED闪烁频率的方法。

背景技术

采用带有CMOS图像传感器(CIS)的手机接收LED光信号，可以通过检测闪烁LED形成的明暗条纹图片，实现低速率信息传输。为使闪烁LED在成像平面上形成明暗条纹图片，CMOS图像传感器应采用卷帘式快门。有现有技术1提出了一种可见光通信系统，如图1所示，其发射机采用开关键控(OOK)调制驱动的LED光源，接收机采用CMOS图像传感器形成明暗条纹图片，通过对明暗条纹图片进行图像处理来解调OOK信号。该论文所提出的系统和解码方法在短距离通信(几十厘米)和无背景环境光干扰的环境下，可以获得一定的通信性能。但是，如果将现有技术1提出的系统和方法应用在实际常见的室内照明环境中，即实现2-6米的通信距离且存在环境光干扰时，其通信性能将变得很差，无法满足实际应用。

有现有技术2公开了一种可见光信号传输解码方法。其基本思想是发射端采用LED光源灯具以不同的频率进行闪烁，接收端采用CMOS图像传感器获取闪烁光信号形成不同明暗条纹宽度的条纹图片。条纹图片的明暗条纹宽度取决于LED光源的闪烁频率。发射机通过频移开关键控(FSOOK)调制驱动LED灯具顺序发出闪烁频率信息，每一种频率代表若干位比特的数据。接收端的CMOS图像传感器采用等间隔时间拍照获取若干幅明暗条纹图片，然后对明暗条纹图片进行条纹数目检测。由于不同的条纹数目代表不同的闪烁频率，进而解码出二进制数据；现有技术2所提出的可见光通信系统如图2所示。

如图2所示，基于FSOOK调制的可见光通信(VLC)系统实现可靠信息传输的关键是对不同宽度的明暗条纹图片进行解码而获得LED闪烁频率。现有技术2提出的检测条纹图片条纹数目的方法具体思路是：首先将有效光源区条纹图片进一步缩减为发光面矩形，对发光面矩形图片灰度值进行灰度值二元化，然后对二值矩形图片的每一行求和，再对和值求一阶或二阶偏导，最后对每行的偏导值进行处理得到图片的条纹数目。

然而，通过实际实验验证，现有技术2提出的这种检测图片条纹数目的方法可靠性并不理想。而且如果CMOS图像传感器与LED光源(闪烁频率保持不变)之间的距离发生变化后，有效光源区的条纹数目会发生变化，并不能得到条纹数目与LED闪烁频率之间的对应关系。

发明内容

本发明为克服上述现有技术所述的至少一种缺陷(不足)，提供一种基于CMOS图像传感器检测LED闪烁频率的方法。该方法通过对可见光通信系统进行数学建模，得到了明暗条纹图片的某个特征值与LED闪烁频率之间的对应关系，并由此来实现可靠性高的LED闪烁频率检测，具有较好的实际应用价值。

为解决上述技术问题，本发明的技术方案如下：

一种基于CMOS图像传感器检测LED闪烁频率的方法，包括：

S1、获取光源区条纹图片，将条纹图片转换成灰度图片；

S2、针对条纹图片每一行的所有像素计算平均灰度值，假定灰度明暗条纹图片共有M行，将M个平均灰度值存储在数组I_Average(n)，n＝0，1，…，M-1中；

S3、对I_Average(n)进行M点DFT运算，求I_Average(n)的频率响应值R(k)；

其中 $R\left(k\right)=DFT\&lsqb;I_{Average}\left(n\right)\&rsqb;=\underset{n=0}{\overset{M-1}{\&Sigma;}}{I}_{Average}\left(n\right)W_M^{nk},$ 0≤k≤M-1，为傅立叶系数；

S4、检测R(k)中除低频分量以外的峰值(极大值)所对应的K值，设为K_N，K_N即条纹图片中的条纹数目；再用总行数M除以K_N得到明暗条纹宽度的像素行数，即条纹图片每行像素灰度值的变化规律的周期值，设为Row_N＝M/K_N；

S5、求出LED的闪烁频率f_LED＝f_row/ROW_N；其中f_row为CMOS图像传感器的行扫描频率。

本发明通过对FSOOK调制驱动的LED灯具和CMOS图像传感器组合的VLC通信系统进行数学建模，可知所拍摄的明暗条纹图片每行像素灰度值的变化规律是周期性的，即用CMOS图像传感器的行扫描频率除以这个周期值即为LED的闪烁频率。

与现有技术相比，本发明技术方案的有益效果是：

本发明提出的针对明暗条纹图片检测LED闪烁频率的方法，可有效提高此类VLC通信定位系统的低速率信息传输的可靠性，降低误码率，提高抗各种环境光干扰的能力，同时算法简洁明了，可大幅提高明暗条纹图片的处理速度，具有较大的应用价值。

附图说明

图1是现有技术1提出的可见光通信系统示意图。

图2是现有技术2所提出的可见光通信系统示意图。

图3是采用华为智能手机CMOS摄像头对LED灯具拍照所形成的明暗条纹图。

图4是CIS对闪烁的LED灯具采用卷帘式快门拍照成像过程示意图。

图5是针对图1的条纹图片处理得到的每行像素平均灰度值的幅度波形图。

图6是检测方法的具体实施过程流程图。

图7是针对图3条纹图片处理得到的每行像素平均灰度值的频谱响应图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。下面结合附图和实施例对对明暗条纹图片的成像过程进行阐述。

以目前常见的光摄像机通信(OCC)系统为例，发射机一般可使用FSOOK调制驱动的LED灯具，并可加装灯罩以控制光照区域。假定LED灯具的闪烁频率为f_LED，闪烁周期为LED灯具发出占空比为0.5的方波信号，则LED发光强度的时域表达式可用下式表示：

E(t)＝E₀(t+kT₀)(1)

其中：

$E_0\left(t\right)=\left\{\begin{array}{cc}{E}_m,& 0\&le;t<\frac{T_0}{2}\\ 0,& \frac{T_0}{2}\&le;t<T_0\end{array}\right.---\left(2\right)$

其中E_m为光强度峰值。另一方面，接收机可采用卷帘快门机制的CIS。在实际场景的拍摄条件下，有效光源区内光强分布是不一样的，在中心将形成高光区，往外延伸光强会逐渐降低。图3为使用华为智能手机的CIS对闪烁LED灯具采用卷帘式快门拍照成像的实例图。从图中可见，图片可分为两个层次，第一层是成像所得到的LED灯具图片(高光区)，还有一层是卷帘快门所形成的明暗条纹图片。若在光强分布均匀的理想假设情况下，有效光源区内的成像图片将只剩下由卷帘快门所形成的明暗条纹图片。

假设LED灯具的成像图片的行数为M，每行有N个像素。根据卷帘快门式CIS的特点，每一行的N个像素的曝光时间T_e是一样的，而相邻两行在曝光时会相隔一个固定的行间隔时间T_row。在滚动卷帘式曝光控制中，保持相邻行曝光之间的间隔时间T_row是必要的。这是因为，每行中的每一个像素需要一定的读出时间T_pix，而只有当满足T_row＞NT_pix的情况下，才能完全正确地读出每行所有像素的光信号。图4给出了CIS对闪烁的LED灯具采用卷帘式快门拍照成像过程的示意图。

在图4中，假定进行一次新的拍照的起始时间为t₀，并假定光在自由空间和光学系统中的光能损耗系数为K_op，设K_RC为CIS成像电路比例常数。对于由一台CIS和一台LED灯具组成的OCC系统而言，可以预先设置LED闪烁频率以及CIS的曝光时间T_e。例如，可将LED灯具的闪烁周期T₀设置成行间隔时间T_row的整数倍，即T₀＝nT_row，其中n为正整数且满足n＞1，行扫描频率为则CIS成像图片的像素阵列的第i行输出信号可表示为：

$\begin{array}{c}V\left(i\right)=V_S\left(i\right)+V_N\left(i\right)\\ =K_{op}{K}_{RC}{\&Integral;}_{t_0+(i-1)T_{row}}^{t_0+(i-1)T_{row}+T_e}E\left(t\right)dt+V_N\left(i\right)\\ =K_{op}{K}_{RC}{\&Integral;}_{t_0+(i-1)T_{row}}^{t_0+(i-1)T_{row}+T_e}{E}_0(t+{\mathrm{knT}}_{row})dt+V_N\left(i\right)\end{array}---\left(3\right)$

其中，公式(3)的第一项V_S(i)表示由卷帘式快门拍摄成像所形成的第i行电压(电流)信号，第二项V_N(i)是一个非负值信号，表示所拍摄的LED灯芯在第i行形成的高光干扰噪声。图5显示了图1所示条纹图像的每行像素平均灰度值的幅度波形图，由该图可见，在130行至230行区间内具有较大的高光干扰值，将V(i)信号抬升至高处。

由上式可知，当T_e＝T₀＝n·T_row时，则V_S(i)信号幅度大小均相同，表明在此情况下有效光源区内不会产生明暗条纹图片。当T_e≠T₀时，则有V_S(i)＝V_S[i+k(n+1)]，此时表明每行的输出信号是周期为n的周期性波形。在实际的拍照过程中，CIS选取的曝光时间需与LED光源的闪烁周期相匹配，从而在有效光源区内形成符合统计规律的明暗条纹。本项目将根据LED闪烁频率与明暗条纹的数学关系，研究采用特定的数字滤波器实现对条纹的信号处理，从而计算得到LED闪烁频率的新型检测算法，并对该算法的性能进行仿真和实测验证。

在实际的拍照过程中，CMOS图像传感器选取的曝光时间要大于LED光源的闪烁周期，因此在有效光源区内形成的明暗条纹图片的每一行平均像素灰度值相对于“行数”变量则是一个被截取的周期性波形。如图3所示，观测图3有12个明暗条纹，则表明这幅图片截取了12个周期的周期性波形。

为更充分地阐述本发明所具有的有益效果，以下结合图3所示的具体例子进行仿真分析，进一步对本发明的有效性和先进性予以说明。图6给出了本发明的具体实施流程，简述如下：

第1步：获取光源区条纹图片，条纹图片的一个实例如图3所示，再将明暗条纹图片转换成灰度图片；

第2步：计算每一行所有的像素灰度值的平均灰度值，灰度值在0-255范围之间，将其存储在一个数组中，形成一个平均灰度值幅度波形。例如，对图3中的条纹图片进行处理后得到的平均灰度值幅度波形如图5所示；

第3步：对平均灰度值幅度波形进行M点DFT变换，其中M是条纹图片的总行数，求出每行像素平均灰度值的频谱响应值R(k)。例如，对图3条纹图片进行处理，可得到的每行像素平均灰度值的频谱响应图如图7所示；

第4步：检测R(k)中除低频分量以外的峰值(极大值)所对应的K值，设为K_N，则K_N即条纹图片中的条纹数目。用总行数M除以K_N得到明暗条纹宽度的像素行数，即条纹图片每行像素灰度值的变化规律的周期值，设为Row_N＝M/K_N；

第5步：求出LED的闪烁频率f_LED＝f_row/ROW_N，其中f_row为CMOS图像传感器的行扫描频率。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (1)

1.一种基于CMOS图像传感器检测LED闪烁频率的方法，其特征在于，包括以下步骤：

S1、获取光源区条纹图片，将条纹图片转换成灰度图片；

S2、针对条纹图片中每一行的所有像素计算平均灰度值，假定灰度明暗条纹图片共有M行，将M个平均灰度值存储在数组I_Average(n)，n＝0，1，…，M-1中；

S3、对I_Average(n)进行M点DFT运算，求I_Average(n)的频率响应值R(k)；

其中 $R\left(k\right)=DFT\&lsqb;I_{Average}\left(n\right)\&rsqb;=\underset{n=0}{\overset{M-1}{\&Sigma;}}{I}_{Average}\left(n\right)W_M^{nk},0\&le;k\&le;M-1,$ 为傅立叶系数；

S4、检测R(k)中除低频分量以外的峰值所对应的K值，设为K_N，K_N即条纹图片中的条纹数目；再用总行数M除以K_N得到明暗条纹宽度的像素行数，即条纹图片每行像素灰度值的变化规律的周期值，设为Row_N＝M/K_N；

S5、求出LED的闪烁频率f_LED＝f_row/ROW_N；其中f_row为CMOS图像传感器的行扫描频率。