CN106452523A - 基于图像传感器的可见光mimo时钟同步通信系统 - Google Patents

Abstract

本发明公开一种基于图像传感器的可见光MIMO时钟同步通信系统，包括显示装置和图像传感器，所述图像传感器连接了主处理单元，所述显示装置和图像传感器之间设置了成像系统，显示装置每一路信号在空间上对应LCD中的一定区域，不同的区域通过成像系统在图像传感器上对应的区域成像，所述图像传感器将接收到的光信号转换为电信号，再转换为数字信号，并传输给主处理单元，所述主处理单元对数字图像进行处理，解码出数据。

Description

基于图像传感器的可见光MIMO时钟同步通信系统

技术领域

本发明涉及可见光通信技术领域，具体涉及一种基于图像传感器的可见光MIMO时钟同步通信系统。

背景技术

在固态照明技术的推动下，可见光通信(VariableLight Communication，VLC)成为一种热门的无线通信技术，其具有可靠性高、保密性好、无电磁干扰、无需频谱认证等优势，但由于白光LED有限的带宽，限制了传输速率。而MIMO技术能够在有限的带宽上通过空间复用实现高速通信，基于图像传感器的MIMO系统能够有效解决光源布局和信号多径干扰等问题，因此成为一个研究热点。

近年来基于近距离无线通信技术(NFC)出现了一些应用，但内置NFC模块的手机也较少且大多为旗舰产品，基础设施不完善，手机上的NFC功能并未得到普及。而LCD和CMOS图像传感器作为智能手机标配器件随处可见，因此与其他通信装置相比，利用LCD屏作为发射端，CMOS传感器作为接收端，是一种灵活且低成本的近场可见光通信解决方案。

2015年南京邮电大学的高俊英利用LCD模拟3x3多光源发射、全局快门摄像头作为接收端搭建MIMO可见光通信系统，在该技术方案中，由于在光源点亮和熄灭的状态下，光强度并非是光滑或绝对相同，而且受背景光的影响，熄灭状态下光亮度总体分布也是变化的，因此该技术方案提出一种多高斯模型的方法获取自适应阈值，结果表明对采集到的信号使用图像处理技术进行处理能够识别各传输通道的信息，并进一步恢复出3x3路码流。

虽然利用图象传感器进行可见光通信具有很多优势，但还存在一些待解决的问题。一是接收端图像传感器通常为固定帧率，其与发射端缺少同步的时钟，因此难以判断每帧数据的有效性；二是接收端无法确定不同发射端的MIMO通道数量及分布情况；三是接收端与发射端位置的相对旋转与倾斜，使得接收端无法准确标定MIMO通道的坐标。

发明内容

本发明的目的是解决现有技术的缺陷，提供一种基于图像传感器的可见光MIMO时钟同步通信系统，采用的技术方案如下：

基于图像传感器的可见光MIMO时钟同步通信系统，包括显示装置和图像传感器，所述图像传感器连接了主处理单元，所述显示装置和图像传感器之间设置了成像系统，显示装置每一路信号在空间上对应LCD中的一定区域，不同的区域通过成像系统在图像传感器上对应的区域成像，所述图像传感器将接收到的光信号转换为电信号，再转换为数字信号，并传输给主处理单元，所述主处理单元对数字图像进行处理，解码出多组数据。

作为优选，所述显示装置上设置了3个结构相同的位置探测图形，所述位置探测图形由三个正方形模块嵌套组成，设三个位置探测图形中心的坐标为(x1,y1)、(x2，y2)、(x3，y3)，其中，y1＝y2，x1＝x3。

作为优选，当从左至右以一条直线采样，所述位置探测图形各段信号宽度比例为A:B:C:B:A。

自由空间光通信,如二维码扫描，接收端和目标很可能存在相对旋转和倾斜，三个定位图形设定为正方形嵌套，且呈特定比例，这样图像处理时具有明显的特征，同时，正方形嵌套结构在相对旋转的情况下，横向取样比例仍然不变，当横向取样发现A:B:C:B:A即可认为找到了一个图形。

根据两个位置探测图形的几何中心之间的比例距离X和Y，计算出发射端时钟通道和数据通道的总数量N，计算公式如下

而各通道的中心坐标为：

xmn＝x1+A+B+C/2+D*m-D/2

ymn＝y1+A+B+C/2+D*n-D/2

其中，X＝│x1-x2│，Y＝│y1-y3│，D为所设置的通道的宽度或直径尺寸，xmn为通道CHmn的中心横坐标，ymn为通道CHmn的中心纵坐标，m为对应通道在通道阵列中的行坐标，n为对应通道在通道阵列中的列坐标，可知通道阵列共有(X-2A-2B-C)/D列、(Y-2A-2B-C)/D行。

作为优选，A＝1，B＝1，C＝3。

作为优选，时钟通道的空间位置选取要保证发射端与接收端在任意相对旋转和倾斜状态下接收端能覆盖发射端的所有数据通道区域。

作为优选，选取通道阵列的四个角点通道为时钟通道。

时钟通道取图形的四个角点，即可保证任意旋转和倾斜状态下，可以覆盖所有数据通道。

本发明以显示装置作为发射端，并在显示装置上设置定位图形以及定位图形的结构和通道的空间分布规则，时钟与数据信号编码后，按约定的图形结构和空间分布规则显示在显示装置上。接收端首先通过图像处理算法，确认三个定位图形的坐标，根据上述坐标对图像进行定位、旋转和矫正，进一步通过预设规则，计算得出系统传输通道总数及分布，得到每个通道所在像素。同时读取时钟通道，得到同步的接收时钟，用此时钟对多个数据信号进行解码，得到所传输的数据。通过本发明，解决了接收端的图像传感器通常为固定帧率，其与发射端缺少同步时钟，接收端无法确定不同发射端的MIMO通道数量及分布，接收端与发射端位置的相对旋转与倾斜，使得接收端无法标定MIMO通道的位置等问题，且本发明简单易用，利于推广。

作为优选，所述图像传感器为CMOS或CCD传感器。

作为优选，数据信号采用红绿蓝(RGB)波分复用方式，将三组信号叠加在一起，通过显示装置显示出来，所述图像传感器接收到图像后，对一个通道数据分解为红绿蓝(RGB)三组，解码出三组数据。

与现有技术相比，本发明的有益效果：

本发明所提出的设计规则搭建的实验系统，能够在发射端与接收端相对位置不固定的条件下对图像进行定位和矫正，并判定MIMO通道数量及分布坐标。另一方面，本发明采用独立通道传输时钟，有效解决了可见光通信系统接收端与发射端时钟同步问题。此外也改善了接收机信号处理与解码的效率。

附图说明

图1是本发明的工作原理图；

图2是LCD显示屏时间响应曲线示意图；

图3是H.264编码帧示意图；

图4是调制驱动LED照明光源和卷帘快门CMOS传感器获取图样示意图；

图5是本发明发射端位置探测图形结构示意图；

图6是基于LCD的可见光MIMO通信系统8bit数据所对应的图像帧示意图；

图7是根据4个时钟通道的切换状态提取时钟sck的波形图；

图8至图12分别是在以5fps发射、30fps接收状态下，通道CH12、CH21、CH22、CH23、CH32接收RGB信号波形图；

图13和图14是发射速率超过接收帧率时，接收端同步时钟生成示意图；

图15是发射速率超过接收帧率时发射端帧间切换示意图；

图16是发射速率超过接收帧率时接收端接收到的帧示意图。

具体实施方式

下面结合附图和实施例对本发明做进一步详细说明。

如图1所示，基于图像传感器的可见光MIMO时钟同步通信系统，包括显示装置1和图像传感器3，所述显示装置1和图像传感器3之间设置了成像系统2，所述显示装置3每一路信号的RGB信息叠加在一起，在空间上对应显示装置中的一定区域，不同的区域通过成像系统2在图像传感器3上对应的区域成像，每个区域为一个数据通道，图像传感器3连续的接收图像序列，并检测对应区域的不同波长光的光强，通过图像处理恢复出各个通道所发送的波分复用码流。

在接收端需要矫正图形旋转与倾斜，确定MIMO通道数量及分布方式，以及判定数据帧有效性。其中，产生无效数据帧的原因主要有几个方面：

由于LCD本身的时间响应较长一般为数ms到数十ms，无法快速刷新，如图2所示，在信号切换的上升或下降阶段采集的信号很容易误码；

二是发射端若采用图像编码流序列很容易产生误码，如H.264编码协议里定义了三种帧，完整编码的帧叫I帧，参考之前的I帧生成的只包含差异部分编码的帧叫P帧，参考前后帧编码的帧叫B帧，如图3所示。其中I帧和P帧包含完整图像信息，而B帧是由前面的I或P帧和后面的P帧来进行预测的编码帧，该帧压缩比最高，但具有很大的随机性。

三是图像传感器的帧率通常较低,只有30Hz到60Hz，且大部分采用控制传感器逐行曝光的方式实现卷帘快门，由于卷帘快门工作特性，当目标光源存在一定速率的明暗闪烁时，图像传感器获取的图样呈明暗条纹状，而不是明帧和暗帧的交替，如图4所示。因此CMOS传感器可能获取的并不是空间分布完整的帧信号。

由于以上原因，接收端难以判断所采集的数据帧是否有效。

因此本实施例在显示装置设置3个结构相同的位置探测图形，所述位置探测图形为三个正方形模块嵌套组成，设定三个位置探测图形中心的坐标为(x1,y1)、(x2，y2)、(x3，y3)，其中，y1＝y2，x1＝x3，当从左至右以一条直线采样，所述位置探测图形各段信号宽度比例为1:1:3:1:1，如图5所示。

根据两个位置探测图形的几何中心之间的比例距离X和Y，可推导出发射端时钟通道和数据通道的总数量N，计算公式如下

其中，X＝│x1-x2│，Y＝│y1-y3│，3为通道的宽度比例；

而信号通道的中心坐标为：

xmn＝x1+2+3*m (2)

ymn＝y1+2+3*n (3)

其中，xmn为通道CHmn的中心横坐标，ymn为通道CHmn的中心纵坐标，m为信号通道的通道阵列的行坐标，n为信号通道的通道阵列的列坐标。

图5中的信号通道中包括4个独立的时钟通道和5个数据通道，四个时钟通道的空间位置选取，满足发射端与接收端在任意相对旋转和倾斜状态下接收端都能覆盖发射端的所有数据通道区域，因此在图5中时钟通道为CH11、CH13、CH31、CH33这四个通道阵列的角点通道，其中CH11和CH33为一组，CH13和CH31为一组，组内信号相同，组间相反，接收端根据接收到4个时钟通道的信号电平同步翻转状态，恢复出接收时钟，以此时钟对数据通道的信号进行采集和解码。

通过本实施例的发射端的图形结构和通道分布规则的设计，实现了可见光MIMO通信系统接收端接收的图像的定位和矫正，自适应计算MIMO通道数量与坐标，以及同步时钟的获取。

本实施例采用三星S24D590PL液晶显示器作为发射端，IPHONE 6S手机后摄像头传感器作为接收端，接收端与发射端距离10～20cm，发射端将15路8bit串行数据按RGB波段分离，分别叠加在5个数据通道上，共发送8帧图像，每一次切换图像4个时钟通道都同步进行翻转，CMOS采集速率可设定为30fps或60fps，接收端将接收到的信号导入MATLAB中进行处理，根据4个时钟通道的信号翻转状态生成接收时钟，并以此接收时钟对其他通道信号进行采集和解码，通过设定不同的发射速率来检验实验系统。具体过程如下：

信号发射

发射端共9个传输通道，分别按矩阵行列号命名为CH11、CH12、CH13、CH21、CH22、CH23、CH31、CH32、CH33，其中CH12、CH21、CH22、CH23、CH32为数据通道，其余为时钟通道，采用RGB波分复用共15个有效数据通道并行传输，每通道传输数据共8bit，传输的数值如表1所示：

表1：各通道发射数据表

通道	R	G	B
				CH12	0x00	0x01	0x02
CH21	0x03	0x04	0x05
				CH22	0x06	0x07	0x08
CH23	0x09	0x0a	0x0b
				CH31	0x0c	0x0d	0x0e

这8bit数据及其时钟所对应的8帧图像分别如图6中Frame1-Frame8所示，

信号接收端采集到图像后根据本文所提出的图形结构和通道分布规则，首先对图像进行定位、旋转和矫正，利用QR码处理领域所采用的定位矫正算法，可实现在任意旋转角度下对图像的定位和旋转，在45°倾斜范围内的矫正，并计算得出通道矩阵数量为3*3，并定位各通道的坐标，再进行信号采集和处理，首先采集4个时钟通道CH11、CH13、CH31、CH33，并根据4个时钟通道的翻转状态，恢复出与发射端的同步时钟信号sck，并以此时钟对数据通道的信号进行采集和解码，如图7所示。

在以5fps发射、30fps接收状态下，通道CH12、CH21、CH22、CH23、CH32接收RGB信号波形图分别如图8-12所示，每一幅图由4个信号通道组成，上面三组信号为该通道的RGB信号波形，第四组为同步时钟信号sck，每次sck翻转时对数据通道采样并进行解码，结果如表2所示，对比表1可以看出，所有通道解码得到的数值全部正确。

表2.

通道	R	G	B
				CH12	0x00	0x01	0x02
CH21	0x03	0x04	0x05
				CH22	0x06	0x07	0x08
CH23	0x09	0x0a	0x0b
				CH31	0x0c	0x0d	0x0e

实验结果显示，发射速率为10fps、20fps和25fps，接收速率为30fps时所有通道解码得到的数值全部准确；将接收速率调整到60fps，则发射端速率设置为5fps-50fps均能够正常接收信号和解码。但是当发射速率超过接收帧率时，接收端无法生成同步时钟，如图13和图14所示SCK始终为高，所对应的图像如图16所示，在这种状态下接收端无法对数据进行接收和解码。

在信号处理与解码效率方面，如接收帧率为30fps，发射帧率为15fps，由于现有技术的系统无同步时钟，每秒需处理30帧图像，而本实验系统仅在SCK信号翻转时读取和存储数据，其他时刻的图像被丢弃，降低了接收端资源占用率，提高解码效率。同时各通道采用RGB波分复用，在硬件条件不变的情况下使通信带宽比单色光通信提高3倍。

通过本实施例可知，利用LCD作为发射端，手机摄像头传感器作为接收端，可以实现可见光MIMO通信，而利用本发明所提出的设计规则搭建的实验系统，能够在发射端与接收端相对位置不固定的条件下对图像进行定位和矫正，并判定MIMO通道数量及分布坐标。另一方面，本发明采用独立通道传输时钟，有效解决了可见光通信系统接收端与发射端时钟同步问题。此外也改善了接收机信号处理与解码的效率。

Claims (9)

1.基于图像传感器的可见光MIMO时钟同步通信系统，包括显示装置和图像传感器，所述图像传感器连接了主处理单元，所述显示装置和图像传感器之间设置了成像系统，显示装置每一路信号在空间上对应LCD中的一定区域，不同的区域通过成像系统在图像传感器上对应的区域成像，所述图像传感器将接收到的光信号转换为电信号，再转换为数字信号，并传输给主处理单元，所述主处理单元对数字图像进行处理，解码出数据。

2.根据权利要求1所述的基于图像传感器的可见光MIMO时钟同步通信系统，其特征在于，所述显示装置上设置了3个结构相同的位置探测图形，所述位置探测图形由三个正方形模块嵌套组成，设三个位置探测图形中心的坐标为(x1,y1)、(x2，y2)、(x3，y3)，则有，y1＝y2，x1＝x3。

3.根据权利要求2所述的基于图像传感器的可见光MIMO时钟同步通信系统，其特征在于，所述位置探测图形各段信号宽度比例为A:B:C:B:A。

4.根据权利要求3所述的基于图像传感器的可见光MIMO时钟同步通信系统，其特征在于，发射端时钟通道和数据通道成的总数量N由下式确定：

$N=\left(\frac{X-2A-2B-C}{D}\right)*\left(\frac{Y-2A-2B-C}{D}\right)$

而各通道的中心坐标为：

xmn＝x1+A+B+C/2+D*m-D/2

ymn＝y1+A+B+C/2+D*n-D/2

其中，X＝│x1-x2│，Y＝│y1-y3│，D为所设置的通道的宽度或直径尺寸，xmn为通道CHmn的中心横坐标，ymn为通道CHmn的中心纵坐标，m为对应通道在通道阵列中的行坐标，n为对应通道在通道阵列中的列坐标。

5.根据权利要求4所述的基于图像传感器的可见光MIMO时钟同步通信系统，其特征在于，时钟通道的空间位置选取满足发射端与接收端在任意相对旋转和倾斜状态下接收端能覆盖发射端的所有数据通道区域。

6.根据权利要求4所述的基于图像传感器的可见光MIMO时钟同步通信系统，其特征在于，A＝1，B＝1，C＝3，D＝3。

7.根据权利要求5所述的基于图像传感器的可见光MIMO时钟同步通信系统，其特征在于，选取通道阵列的四个角点的通道为时钟通道。

8.根据权利要求1所述的基于图像传感器的可见光MIMO时钟同步通信系统，其特征在于，数据信号采用红绿蓝(RGB)波分复用方式，将三组信号叠加在一起，通过显示装置显示出来，所述图像传感器接收到图像后，对一个通道数据分解为红绿蓝(RGB)三组，解码出三组数据。

9.根据权利要求1所述的基于图像传感器的可见光MIMO时钟同步通信系统，其特征在于，所述图像传感器为CMOS或CCD传感器。