CN108521298A

CN108521298A - 一种基于图像分割的通显一体化vlc方法及系统

Info

Publication number: CN108521298A
Application number: CN201810423243.4A
Authority: CN
Inventors: 关伟鹏; 陈艺荣; 吴玉香; 谢灿宇
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2018-05-05
Filing date: 2018-05-05
Publication date: 2018-09-11

Abstract

本发明公开了一种基于图像分割的通显一体化VLC通信方法及系统。所述VLC系统使用直下式LCD显示器作为VLC发送端和CMOS图像传感器作为VLC接收端。直下式显示器被均等地划分为4×4阵列，即16个子矩阵，把要传输的二进制数据信号加载到这16个子矩阵的中心的编码区域的亮度值上实现数据的发送。接收端采用CMOS图像传感器作为光信号捕获器件，捕获到包含噪声的畸变图像。在接收端对畸变图像进行基于阈值的图像分割，从而获得包含数据的图像帧，对每一帧图像再次进行图像分割得到16个编码区域，然后对每一个编码区域进行解调，进而实现高速数据传输。相对于传统的基于LED和光电二极管的VLC系统，本发明可以实现接收端和发送端同步播放视频的同时实现高速数据传输。

Description

一种基于图像分割的通显一体化VLC方法及系统

技术领域

本发明涉及可见光通信技术，特别涉及一种基于图像分割的通显一体化VLC方法及系统。

背景技术

增强现实(AR)技术和虚拟现实(VR)技术在近年来受到广泛关注，而智能机器人技术的研究也热火中天。在这些技术当中，图像处理和数据传输往往起到核心作用。近几十年，对数字图像传输当中的高帧频采集技术、高速传输技术、颜色识别技术等的研究不断深入发展。然而在数字图像处理的同时如果可以实现数据通信则有望为数字图像处理技术带来新一轮的技术革新，并且有望加快物联网技术的发展。

二十一世纪新兴的可见光通信(Visible Light Communication)技术是利用LED作为光源，在照明的同时可以实现高速通信的信息传输技术。近年来，众多科研工作者对可见光通信在高速传输、精准定位等方面的研究不断深入，并且积累了大量技术成果。可见光通信技术是通过以人眼所识别不了的高频来控制LED灯具的亮灭,亮表示1、灭表示0；在接收端通过光电检测器件来实现信息的传输。LED的照明的同时实现了通信，达到了通照一体化的功能。近几年，科学家对可见光通信系统研究逐渐从点对点式通信系统(如采用白光LED作为发射端，光电二极管作为接收端的可见光通信系统)向面对面式通信系统(如采用显示屏作为发射端，摄像头作为接收端的可见光通信系统)发展。因此，利用可见光通信技术在图像传输系统当中实现数据传输是可以实现的，如研究得比较多的基于摄像头的MIMO可见光无线通信系统。然而，目前的相关研究局限于通过一个显示屏进行一路数据传输的研究，本质上和以一个LED作为发射端的可见光通信系统没有区别。而且由于一般显示器显示的亮度不会很强，没有照明的灯具如此亮，由此导致信道的信噪比下降，误码率提升，进而大大限制了数据传输的距离。与此同时，由于摄像头所捕获的显示屏发射的信息也会包括了显示屏以外的其他无用的冗余信息，信息处理的负荷十分大。

发明内容

为了克服现有技术的上述缺点与不足，本发明的目的在于提出了一种基于图像分割的通显一体化VLC方法及系统，通过以用LED芯片作为背光源的直下式LCD显示器作为VLC发射的信源，接收端使用CMOS图像传感器捕获直下式LCD显示器所发射的图像信息，并且把蕴含在图像信息中的信号提取出来，实现通信和显示一体化。通过将直下式LCD显示器设定的点作为发射信号源，其他部位不作任何改变，这样能够保证显示屏整体的显示效果不会受到干扰，并且不同信源块之间的信息流间相互干扰减少。通过使用CDMA调制技术，利用扩频技术抗干扰能力强的特点以此来提升数据传输的距离，通过使用16级PAM调制技术，可以实现一个时钟周期内传输16位的二进制代码，进而提升数据传输的速率。通过使用图像分割算法，将摄像头捕获到的图像当中的其他无用区域剔除，使得接收端获取到原始图像，实现接收端显示原始图像和减小数据传输的误码率。

本发明的目的至少通过以下技术方案之一实现。

一种基于图像分割的通显一体化VLC通信方法，其包括以下步骤：

步骤1、对需要传输的二进制数据进行16级PAM调制获得16级PAM调制信号，然后进行CDMA调制，产生16级PAM和CDMA双重调制信号；

步骤2、所述经过16级PAM调制和CDMA调制的双重调制信号对直下式LCD显示器所发出的每帧视频信号的16个子矩阵中心100个像素的亮度值分别进行数模转换量化处理，形成原始像素数字信号；

步骤3、CMOS图像传感器捕获到包含直下式LCD显示器当前显示的图像及显示屏和周围的环境的畸变图像，经过第一次图像分割后，得到包含数据的图像，在接收端的直下式显示器显示该图像；

步骤4、接收端对所述包含数据的图像帧进行第二次图像分割，提取16个子矩阵的编码区域，对所述编码区域根据亮度值进行CDMA解调、16级PAM解调，还原出原始数据。

进一步地，所述步骤1包括以下步骤：

步骤11、对所述传输的原始信号进行串并转换和二进制到16进制转换，得到16级PAM调制信号；

步骤12、所述16级PAM调制信号经过PN码发生器进行扩频处理，再将扰码加载到扩频后的信号，形成16级PAM和CDMA双重调制信号。

进一步地，所述步骤2和步骤3中，数据是通过直下式LCD显示器进行发射的，显示屏被划分为4×4的16个子模块进行数据的16路并行传输，每个子模块的中心的100个像素点用作编码区域，信号的接收是通过CMOS图像传感器捕获图像实现的。

进一步地，所述步骤2包括以下步骤：

步骤21、发送端读取图像数据，所述图像经过RGB色彩空间到LAB色彩空间转换，得到图像的亮度矩阵；

步骤22、所述经过调制之后的数据信号通过控制发送端的直下式LCD显示器的16个子模块中心的编码区域的亮度振幅，实现数据信号加载到直下式LCD显示器显示的图像当中，所述亮度振幅的计算公式为：

其中，i，j分别为图像的横、纵坐标，k为直下式LCD显示器显示的图像帧数，(x，y)为直下式LCD显示器16个子模块从左到右以及从下到上的编码序号。

进一步地，所述步骤3包括以下步骤：

步骤31、接收端的CMOS图像传感器捕获到显示屏及其周围环境，得到畸变图像，包括包含数据的图像和干扰图像区域两部分；

步骤32、所述畸变图像利用边缘处灰度值差异明显这一特性，进行基于阈值的图像分割，剔除干扰图像区域，从而提取到包含数据的图像。

进一步地，所述步骤4包括以下步骤：

步骤41、所述提取到的包含数据的图像经过第2次图像分割，被划分为4×4阵列，即16个子矩阵，进一步通过确定每一个子模块的中心的100个像素点的位置，作为信号并行传输的接收区域；

步骤42、对所述信号并行传输的接收区域进行亮度判决，然后进行CDMA解调和16级PAM解调，得到原始数据信号。

一种基于图像分割的通显一体化VLC系统，包括：发射子系统、传输子系统和接收子系统，所述发射子系统包括数据读取模块、ADC模数转换器、PAM和CDMA调制器、LCD驱动电路、第一图像处理模块和直下式LCD显示器；所述接收子系统包括CMOS图像传感器、第二图像处理模块、ADC模数转换器、CDMA和PAM解调器、显示屏。原始数据经过16级PAM调制和CDMA调制后得到调制信号，所述调制信号控制待显示的原始图像信号的指定区域的亮度值，得到携带数据的图像，所述携带数据的图像信号在直下式LCD显示器显示，发出可见光，通过传输子系统将光信号进行有效地传输后由CMOS图像传感器捕获，所述CMOS图像传感器捕获得到含有噪声信号和干扰图像区域的畸变图像，所述畸变图像利用边缘处灰度值差异明显这一特性，进行基于阈值的图像分割，剔除干扰图像区域，从而提取到包含数据的图像，所述包含数据的图像经过第二次图像分割，得到预先设定的信号编码区域，所述信号编码区域进行亮度判决，然后进行CDMA解调和16级PAM解调，得到原始数据信号。

进一步地，所述传输子系统用于把直下式LCD显示器发出的可见光信号传输给CMOS图像传感器；所述数据获取模块、ADC模数转换器、PAM和CDMA调制器、LCD驱动电路、第一图像处理模块和直下式LCD显示器依次连接；所述接收子系统用于从CMOS图像传感器捕获的图像信号中分离出传输的数据信息；所述CMOS图像传感器、第二图像处理模块、ADC模数转换器、CDMA和PAM解调器、显示屏依次连接；所述数据获取模块读取要传输的数据信息，并把数据传输信号传输给ADC模数转换器，所述ADC模数转换器输出数字信号，所述数字信号被传送到PAM和CDMA调制器，所述PAM和CDMA调制器并行输出16位二进制数字信号，并把输出的16位二进制数字信号传输给LCD驱动电路，所述16位二进制数字信号对直下式LCD显示屏的16个子矩阵中心的编码区域进行亮度调制，所述CMOS图像传感器捕获到畸变图像，并将畸变图像信息传输给第二图像处理模块，所述第二图像处理模块进行第一次图像分割获取包含数据的图像，然后进行第二次图像分割获取图像中的VLC编码区域，并将经过图像分割后的图像信号传输给显示屏和ADC模数转换器，所述显示屏输出图像信号，所述ADC模数转换器把经过图像处理后的编码区域进行亮度值的均值判决产生数字信号，所述数字信号经过CDMA和PAM解调器后，输出为16位二进制数字信号。

进一步地，所述LCD驱动电路包括：可见光信号源Data_VLC、图像信号源signal、可见光通信选择信号源R_SEL、直流电流源、LCD恒流模块、高速MOS管、直下式LCD显示器；所述的图像信号源、LCD恒流模块、高速MOS管M1、直下式LCD显示器依次连接；所述直流电流源的正极和LCD恒流模块连接，所述直流电流源的负极和直下式LCD显示器连接；所述的LCD恒流模块包括电容C1和2个MOS管；所述电容的一端与直流电流源的正极连接，所述电容的另一端与第一MOS管M2的栅极以及第二MOS管M3的源极连接，所述第一MOS管M2的源极与高速MOS管M3的漏极连接，所述第一MOS管M2的漏极与直流电流源的正极连接，所述高速MOS管M3的源极和直下式LCD显示器连接；所述图像信号源输出的电信号经过第二MOS管M3的漏极传输到LCD恒流模块，所述可见光通信选择信号源输出的电信号经过第二MOS管M3栅极传输到LCD恒流模块，所述可见光信号源输出的电信号经过高速MOS管M3的栅极传输到直下式LCD显示器。

进一步地，所述直下式LCD显示器采用LED芯片作为背光源，所述直下式LCD显示器并不需要将所有的背光源均设置为VLC发射信号源，只需将设定部位的点作为发射信号源，在进行数据传输时，显示屏被划分为4×4阵列，即16个子矩阵，从而进行16路并行数据传输。

所述传输子系统为自由空间。

与现有技术相比，本发明具有以下优点和有益效果：

(1)创新性地将图像分割技术应用于VLC系统当中，选取直下式LCD显示器的特定区域作为信息传输区域，而不需整个屏幕传输数据，也不需要检测处理整个屏幕的数据，实现通显一体化的同时提高通信效率。

(2)创新性地将CDMA调制技术应用于VLC系统中，提升整个通显一体化的VLC系统的抗干扰能力。

(3)创新性地将16级PAM调制应用于VLC系统中，提升整个通显一体化的VLC系统的通信速率。

(4)创新性地选取直下式LCD显示器设定部分作为VLC发送端，使得显示屏的显示效果不会因为调制信号的变化而变化。

附图说明

图1为本发明实现基于图像分割的通显一体化VLC方法及系统原理框图

图2为本发明使用的直下式LCD显示器的原理图

图3为本发明的直下式LCD显示器的驱动电路

图4为本发明实现16级PAM调制的数据转换示意图

图5为本发明对CMOS图像传感器捕获的畸变图像进行图像分割流程图

具体实施方法

下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例1

如图1所示，一种基于图像分割的通显一体化VLC系统，括：发射子系统、传输子系统、接收子系统。所述发射子系统具有：数据读取模块、ADC模数转换器、PAM和CDMA调制器、LCD驱动电路、第一图像处理模块和直下式LCD显示器；所述接收子系统具有：CMOS图像传感器、第二图像处理模块、ADC模数转换器、CDMA和PAM解调器、显示屏。如图2所示，本发明以用LED芯片作为背光源的直下式LCD显示器作为VLC发射的信源，从上至下依次是液晶屏(LCDpanel)、反射型偏光增亮膜(DBEF)、增亮膜(BEF)、扩散片、LED、反射片。对于直下式LCD显示器，并不需要将所有的背光源均设置为VLC发射信号源，只需将设定部位的点作为发射信号源，这样就能够保证显示屏整体的显示效果不会受到干扰，并且不同信源块之间的信息流间相互干扰减少。如图3所示，LCD驱动电路包括：可见光信号源Data_VLC、图像信号源signal、可见光通信选择信号源R_SEL、直流电流源、LCD恒流模块、高速MOS管M3、背光源LED。

所述的发射子系统，发送端直下式LCD显示器被划分为的4×4阵列，即16个子矩阵，所述的子矩阵的中心的100个像素点是VLC发射信号源区域，所述VLC发射信号源区域的亮度值只有两种情形，分别为0和255。进一步地，读入视频数据后，数据读取模块将视频转换为多帧图像表示，对于每一帧图像，又可以表示为RGB色彩空间上的三维函数。因此，在所述的发射子系统，首先将视频信号转换为K帧图像，对于第k帧图像，又可以表示为

上式中，i,j分别为图像的横纵坐标，以显示屏的左下方图像顶点为原点,l、h分别为图像的长和高。

所获得的图像在RGB色彩空间的像素函数利用三维查找表插值法，可以得到其在LAB色彩空间的函数

对于需要传输的数据，分别经过16级PAM调制和CDMA调制，得到十六进制数据表示，方便快速加载到L通道上的函数S_L(i,j,k)上。16级PAM调制见图4所示，屏幕上显示的图像被分为4×4阵列，即16个子矩阵，所以每次可以发送的数据是16位二进制数据，即4位十六进制数据。

对所述屏幕的每个子模块，选取中心的100个像素点的函数S_L(i,j,k)来携带数据信号定义位于(x,y)处中心的100个像素点的函数如下：

进一步地，光信号通过所述传输子系统后，经摄像头捕获得到畸变图像，所述畸变图像除了包含有所述发射子系统的显示屏显示的图像，还包含有有其余干扰图像区域，这些干扰图像区域会对信息解调造成困难，并且使得误码率成倍增加。因此，所述接收子系统采用图5所示的图像分割技术对所述初始图像进行提取，获得有效图像。

进一步地，所述原始图像是接收子系统的显示屏显示的图像，但根据步骤22，需要进行解调的只有16个子矩阵的中心的100个像素点，因此，对所述原始图像进行第二次图像分割，得到VLC通信的编码区域，通过一定的亮度阈值判决对所述传输信号的编码区域进行CDMA解调和16级PAM解调获取数据，最终实现高速数据通信与发送端接收端同步显示一体化。通过比较发射子系统的显示屏和接收子系统的显示屏中显示的图像，可测试出系统的显示效果，通过比较发射子系统和接收子系统的传输数据，可测试出系统的误码率，用于验证系统的操作。

上述实施例仅为本发明的一种实施方法，但本发明的实施方法并不受上述实施例的限制，其他任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化均应为等效的置换方法，都包含在本发明的保护范围之内。

Claims

1.一种基于图像分割的通显一体化VLC通信方法，其特征在于，包括以下步骤：

步骤2、直下式显示器被均等地划分为4×4阵列，经过所述16级PAM调制和CDMA调制的双重调制信号对直下式LCD显示器所发出的每帧视频信号的16个子矩阵中心100个像素的亮度值分别进行数模转换量化处理，形成原始像素数字信号；

步骤4、接收端对所述包含数据的图像进行第二次图像分割，提取16个子矩阵的编码区域，对所述编码区域根据亮度值进行CDMA解调、16级PAM解调，还原出原始数据。

2.根据权利要求1所述的一种基于图像分割的通显一体化VLC通信方法，其特征在于，所述步骤1包括以下步骤：

步骤11、对传输的原始信号进行串并转换和二进制到16进制转换，得到16级PAM调制信号；

3.根据权利要求1所述的一种基于图像分割的通显一体化VLC通信方法，其特征在于，所述步骤2和步骤3中，数据是通过直下式LCD显示器进行发射的，显示屏被划分为4×4的16个子模块进行数据的16路并行传输，每个子模块的中心的100个像素点用作编码区域，信号的接收是通过CMOS图像传感器捕获图像实现的。

4.根据权利要求3所述的一种基于图像分割的通显一体化VLC通信方法，其特征在于，所述步骤2包括以下步骤：

步骤21、发送端读取图像数据，图像经过RGB色彩空间到LAB色彩空间转换，得到图像的亮度矩阵；

步骤22、经过步骤1调制之后的信号通过控制发送端的直下式LCD显示器的16个子模块中心的编码区域的亮度振幅，实现所述调制之后的信号加载到直下式LCD显示器显示的图像当中，所述亮度振幅的计算公式为：

5.根据权利要求1所述的一种基于图像分割的通显一体化VLC通信方法，其特征在于，所述步骤3包括以下步骤：

6.根据权利要求1所述的一种基于图像分割的通显一体化VLC通信方法，其特征在于，所述步骤4包括以下步骤：

步骤41、所述提取到的包含数据的图像经过第2次图像分割，被划分为4×4的16个子模块，进一步通过确定每一个子模块的中心的100个像素点的位置，作为信号并行传输的接收区域；

7.用于权利要求1所述通显一体化VLC通信方法的一种基于图像分割的通显一体化VLC系统，包括：发射子系统、传输子系统和接收子系统，其特征在于，所述发射子系统包括数据读取模块、ADC模数转换器、PAM和CDMA调制器、LCD驱动电路、第一图像处理模块和直下式LCD显示器；所述接收子系统包括CMOS图像传感器、第二图像处理模块、ADC模数转换器、CDMA和PAM解调器和显示屏。

8.根据权利要求7所述的基于图像分割的通显一体化VLC系统，其特征在于，所述传输子系统用于把直下式LCD显示器发出的可见光信号传输给CMOS图像传感器；所述数据获取模块、ADC模数转换器、PAM和CDMA调制器、LCD驱动电路、第一图像处理模块和直下式LCD显示器依次连接；所述接收子系统用于从CMOS图像传感器捕获的图像信号中分离出传输的数据信息；所述CMOS图像传感器、第二图像处理模块、ADC模数转换器、CDMA和PAM解调器、显示屏依次连接；所述数据获取模块读取要传输的数据信息，并把数据传输信号传输给ADC模数转换器，所述ADC模数转换器输出数字信号，所述数字信号被传送到PAM和CDMA调制器，所述PAM和CDMA调制器并行输出16位二进制数字信号，并把输出的16位二进制数字信号传输给LCD驱动电路，所述16位二进制数字信号对直下式LCD显示屏的16个子模块中心的编码区域进行亮度调制，所述CMOS图像传感器捕获到畸变图像，并将畸变图像信息传输给第二图像处理模块，所述第二图像处理模块进行第一次图像分割获取包含数据的图像，然后进行第二次图像分割获取图像中的VLC编码区域，并将经过图像分割后的图像信号传输给显示屏和ADC模数转换器，所述显示屏输出图像信号，所述ADC模数转换器把经过图像处理后的编码区域进行亮度值的均值判决产生数字信号，所述数字信号经过CDMA和PAM解调器后，输出为16位二进制数字信号。

9.根据权利要求7所述的基于图像分割的通显一体化VLC系统，其特征在于，所述LCD驱动电路包括：可见光信号源、图像信号源、可见光通信选择信号源、直流电流源、LCD恒流模块、高速MOS管、直下式LCD显示器；所述的图像信号源、LCD恒流模块、高速MOS管、直下式LCD显示器依次连接；所述直流电流源的正极和LCD恒流模块连接，所述直流电流源的负极和直下式LCD显示器连接；所述的LCD恒流模块包括电容和2个MOS管；所述电容的一端与直流电流源的正极连接，所述电容的另一端与第一MOS管的栅极以及第二MOS管的源极连接，所述第一MOS管的源极与高速MOS管的漏极连接，所述第一MOS管的漏极与直流电流源的正极连接，所述高速MOS管的源极和直下式LCD显示器连接；所述图像信号源输出的电信号经过第二MOS管的漏极传输到LCD恒流模块，所述可见光通信选择信号源输出的电信号经过第二MOS管栅极传输到LCD恒流模块，所述可见光信号源输出的电信号经过高速MOS管的栅极传输到直下式LCD显示器。

10.根据权利要求7所述的基于图像分割的通显一体化VLC系统，其特征在于，所述直下式LCD显示器采用LED芯片作为背光源，所述直下式LCD显示器并不需要将所有的背光源均设置为VLC发射信号源，只需将设定部位的点作为发射信号源，在进行数据传输时，显示屏被划分为4×4子模块，即16个编码区域，从而进行16路并行数据传输。