CN111490823A - 基于卷积神经网络的可见光成像通信解码方法 - Google Patents

Abstract

本发明公开一种基于卷积神经网络的可见光成像通信解码方法，该方法在发射端使用RGB‑LED为光源，待发送数据采用OOK编码并分成三个数据流，三个数据流分别驱动RGB‑LED的红色、绿色、蓝色灯珠发出光信号，在接收端采用CMOS传感器摄像头正对RGB‑LED录像来捕捉光信号，然后逐帧提取，从图像中截取条纹分布区域，分别对R通道、G通道和B通道生成平均帧并归一化，接着以有限个条纹为单位裁剪图片，再输入已经训练好的卷积神经网络识别，解码后的数据依序排列组合，还原出原始数据。该方法简单可行，可通过改造现有灯具结合智能手机实现，具有广阔的市场价值。

Description

基于卷积神经网络的可见光成像通信解码方法

技术领域

本发明涉及可见光通信领域，尤其涉及一种基于卷积神经网络的可见光成像通信解码方法。

背景技术

随着无线通信技术的发展，基于射频技术的无线通信面临着数据传输速率低，频谱资源短缺等问题而无法满足未来业务在高速传输、超宽带宽等方面的需求。可见光通信技术(Visible Light CommunicaTIon，VLC)因其频谱资源丰富、数据传输速率高、绿色节能、成本低廉、安全性高、保密性好等优点而被广泛视为现有RF无线通信的有效补充。VLC兼具照明与通信双重功能，因此发光二极管(LED)的普及亦提升了VLC的实用价值、丰富了VLC的应用场景，其逐渐成为备受关注的无线通信技术之一。

VLC利用LED承载的高速明暗闪烁信号来传输信息，在实现照明的同时完成信息从服务器到达客户端的无线传输。其接收端最常用的光接收核心器件有PIN光电二极管、雪崩二极管等。随着CMOS技术的发展，CMOS图像传感器被嵌入到许多电子设备中，如手机、电脑以及各种监控装置等。为了进一步实现VLC的广泛应用，一种特殊的可见光通信技术应运而生——可见光成像通信(optical camera communication，OCC)。OCC以图像传感器作为光接收器件，相比于传统的VLC技术，其主要优势在于通信设备的高普及率大大降低了OCC的建设成本及布网复杂度；图像传感器的空间分辨率使OCC能够天然支持多输入多输出(Multiple Input MultipleOutput,MIMO)技术，从而轻松实现通信的分集或复用，增强通信系统的可靠性与有效性。图像传感器作为物联网感应层核心传感器之一，是实现OCC与物联网融合的关键所在。因此物联网技术的蓬勃发展必将成为OCC带来更加广阔的应用前景。

然而，由于符号间干扰和不同通道之间的干扰问题，随着发送端发送速度提升，接收端的条纹识别难度也会相应的增加，误码率会升高，严重的情况下，会出现严重的识别错误的情形，误码率高于所能容忍的数值，使得通信无法正常运行。并且，由于这两类干扰难以通过简单的数学模型进行模拟，目前这两类干扰问题尚未的到充分的讨论与解决。

因此，现有技术存在缺陷，需要改进。

发明内容

本发明的目的是克服现有技术的不足，提供一种基于卷积神经网络的可见光成像通信解码方法，该方法实现简单、便利，通过改造现有灯具结合智能手机即可实现，具有广阔的市场价值。

本发明的技术方案如下：提供一种基于卷积神经网络的可见光成像通信解码方法，包括以下步骤：

步骤1：在发射端使用RGB-LED为光源，待发送数据采用OOK编码并分成三个数据流，所述三个数据流分别驱动RGB-LED的红色灯珠、绿色灯珠、蓝色灯珠发出光信号；

步骤2：在接收端采用CMOS传感器摄像头正对RGB-LED录像来捕捉光信号，然后逐帧提取图像，从图像中截取条纹分布区域，分别对R通道、G通道和B通道生成平均帧并归一化，接着以有限个条纹为单位裁剪图片；

步骤3：取部分标签已知的条纹图片，输入到结构既定的卷积神经网络，以最小化交叉熵损失函数为目标，反复修正卷积神经网络的参数，建立分类器，直至将卷积神经网络训练完成；

步骤4：将上述剪裁所得的条纹图片输入到已经训练好的卷积神经网络进行识别，将识别结果转化为相应的bit数据，再将数据依序排列组合，依据头部还原发送端发送的数据包。

进一步地，所述步骤1包括以下步骤：

步骤1.1：首先将待发送的数据分割成多个长度一定的有效数据片段，然后为每个有效数据片段添加头部构成数据包，再将数据包分成三份，形成三个数据流；

步骤1.2：所述三个数据流由控制器控制LED驱动电路分别驱动RGB-LED的红色灯珠、绿色灯珠、蓝色灯珠发出光信号。

进一步地，所述步骤2包括以下步骤：

步骤2.1：对所述CMOS传感器摄像头采集到的视频逐帧提取图像；

步骤2.2：取部分图像，将其转换为灰度图，并将其像素值累加，然后除以图像的数量得到整个图像的平均帧，对这部分图像的三个通道分别进行像素值累加然后除以图片数量得到各个通道的平均帧；

步骤2.3：对整个图像的平均帧分别逐行和逐列进行像素值累加，然后找出像素值最大值，其所在的行和列即为图像里条纹区域的中心；

步骤2.4：在条纹区域的中心位置，依次从所有图像的原图中裁剪出包含所有条纹的矩形区；

步骤2.5：将上述所得的矩形图像的R通道、G通道、B通道像素矩阵分别除以对应通道的平均帧，然后再将所得结果除以结果中的最大值进行归一化操作；

步骤2.6：从归一化后的矩形区域图中，按一定数量的条纹为单位裁剪图片。

进一步地，所述步骤3中的卷积神经网络输入为包含有限个条纹的条纹图片，所述卷积神经网络的输出端为2³个神经元,数据集的2³个标签对应三个通道OOK编码的2³种符号类别，以最小化交叉熵损失函数为目标，反复修正卷积神经网络的参数，直至将所述卷积神经网络训练好。

进一步地，所述步骤4包括以下步骤：

步骤4.1：将所述步骤2中截取的条纹图片输入到所述步骤3中已经训练好的卷积神经网络进行识别；

步骤4.2：将识别结果转化为相应的bit数据，再将所述bit数据依序排列组合，查找数据包的头部，然后依据头部还原发送端发送的数据包。

采用上述方案，本发明具有如下有益效果：

1、将具有强大图像处理能力的卷积神经网络引入OCC通信中，改善了符号间的干扰问题和不同通道间的干扰问题，在一定范围内，即使随着发送端数据发送速率提高、干扰问题更加严重，卷积神经网络依然可以取得很好的识别效果，提高了系统的鲁棒性，在保证低误码率和良好的通信质量的前提下，提升了OCC通信的通信速率。

2、在图像预处理时，创新性地对图像的R通道、G通道和B通道分别求取平均帧并归一化，改善了整副图像不同位置处亮度不同和同一位置不同通道的亮度不同造成的区分度低的问题，采用这种预处理方式后，所得的数据区分度明显，可以提高识别准确率。

附图说明

图1为本发明的示意图。

图2为本发明编码方式的示意图。

图3为本发明中的卷积神经网络的结构示意图。

具体实施方式

以下结合附图和具体实施例，对本发明进行详细说明。

请参阅图1至图3，本发明提供一种基于卷积神经网络的可见光成像通信解码方法，包括以下步骤：

步骤1：在发射端使用RGB-LED为光源，待发送数据采用OOK编码，如图2所示，然后分成三个数据流，所述三个数据流分别驱动RGB-LED的红色灯珠、绿色灯珠、蓝色灯珠发出光信号；

步骤2：在接收端采用CMOS传感器摄像头正对RGB-LED录像来捕捉光信号，然后逐帧提取图像，从图像中截取条纹分布区域，分别对R通道、G通道和B通道生成平均帧并归一化，接着以有限个条纹为单位裁剪图片；

步骤3：取部分标签已知的条纹图片，输入到结构既定的卷积神经网络，如图3所示，以最小化交叉熵损失函数为目标，反复修正卷积神经网络的参数，建立分类器，直至将卷积神经网络训练完成；

步骤4：将上述剪裁所得的条纹图片输入到已经训练好的卷积神经网络进行识别，将识别结果转化为相应的bit数据，再将数据依序排列组合，依据头部还原发送端发送的数据包。

其中，本发明所述的发射端包括计算机、控制器、LED驱动电路、RGB-LED以及电源模块。所述步骤1包括以下步骤：

步骤1.1：由计算机随机生成数据，然后将待发送的数据分割成多个长度一定的有效数据片段，然后为每个有效数据片段添加头部构成数据包，再将数据包分成三份，形成三个数据流；

步骤1.2：所述三个数据流由控制器控制LED驱动电路分别驱动RGB-LED的红色灯珠、绿色灯珠、蓝色灯珠发出光信号。在本实施例中，所述控制器的类型为FPGA。

本发明所述的接收端为日常使用设备携带的CMOS传感器摄像头，其中，日常使用设备包括智能手机、笔记本电脑、平板电脑、掌上上网设备、多媒体设备、可穿戴设备或者其他类型的终端设备，所述CMOS传感器摄像头具有卷帘效应，高频闪烁光源被记录为条纹图像。所述步骤2包括以下步骤：

步骤2.1：对所述CMOS传感器摄像头采集到的视频逐帧提取图像；

步骤2.2：取部分图像，将其转换为灰度图，并将其像素值累加，然后除以图像的数量得到整个图像的平均帧，对这部分图像的三个通道分别进行像素值累加然后除以图片数量得到各个通道的平均帧；

步骤2.3：对整个图像的平均帧分别逐行和逐列进行像素值累加，然后找出像素值最大值，其所在的行和列即为图像里条纹区域的中心；

步骤2.4：在条纹区域的中心位置，依次从所有图像的原图中裁剪出包含所有条纹的矩形区；

步骤2.5：将上述所得的矩形图像的R通道、G通道、B通道像素矩阵分别除以对应通道的平均帧，然后再将所得结果除以结果中的最大值进行归一化操作；

步骤2.6：从归一化后的矩形区域图中，按一定数量的条纹为单位裁剪图片。

所述步骤3中的卷积神经网络输入为包含有限个条纹的条纹图片，所述卷积神经网络的输出端为2³个神经元,数据集的2³个标签对应三个通道OOK编码的2³种符号类别，以最小化交叉熵损失函数为目标，反复修正卷积神经网络的参数，直至将所述卷积神经网络训练好。

所述步骤4包括以下步骤：

步骤4.1：将所述步骤2中截取的条纹图片输入到所述步骤3中已经训练好的卷积神经网络进行识别；

步骤4.2：将识别结果转化为相应的bit数据，再将所述bit数据依序排列组合，查找数据包的头部，然后依据头部还原发送端发送的数据包。

综上所述，本发明提出的一种基于卷积神经网络的可见光成像通信自编码解码算法，本方法是一种改进的可见光成像通信技术，作为现有可见光成像通信技术的补充技术，优化了码间干扰和通道间干扰问题，改善了同一幅图像不同位置亮度不同和同一位置不同通道亮度不同的预处理问题。本发明简单可行，可通过改造现有灯具结合智能手机实现，可应用于室内端到端通信、水下通信等场合，具有广阔的应用前景。

以上仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于卷积神经网络的可见光成像通信解码方法，其特征在于，包括以下步骤：

步骤1：在发射端使用RGB-LED为光源，待发送数据采用OOK编码并分成三个数据流，所述三个数据流分别驱动RGB-LED的红色灯珠、绿色灯珠、蓝色灯珠发出光信号；

步骤2：在接收端采用CMOS传感器摄像头正对RGB-LED录像来捕捉光信号，然后逐帧提取图像，从图像中截取条纹分布区域，分别对R通道、G通道和B通道生成平均帧并归一化，接着以有限个条纹为单位裁剪图片；

步骤3：取部分标签已知的条纹图片，输入到结构既定的卷积神经网络，以最小化交叉熵损失函数为目标，反复修正卷积神经网络的参数，建立分类器；

步骤4：将上述剪裁所得的条纹图片输入到已经训练好的卷积神经网络进行识别，将识别结果转化为相应的bit数据，再将数据依序排列组合，依据头部还原发送端发送的数据包。

2.根据权利要求1所述的基于卷积神经网络的可见光成像通信解码方法，其特征在于，所述步骤1包括以下步骤：

步骤1.1：首先将待发送的数据分割成多个长度一定的有效数据片段，然后为每个有效数据片段添加头部构成数据包，再将数据包分成三份，形成三个数据流；

步骤1.2：所述三个数据流由控制器控制LED驱动电路分别驱动RGB-LED的红色灯珠、绿色灯珠、蓝色灯珠发出光信号。

3.根据权利要求1所述的基于卷积神经网络的可见光成像通信解码方法，其特征在于，所述步骤2包括以下步骤：

步骤2.1：对所述CMOS传感器摄像头采集到的视频逐帧提取图像；

步骤2.2：取部分图像，将其转换为灰度图，并将其像素值累加，然后除以图像的数量得到整个图像的平均帧，对这部分图像的三个通道分别进行像素值累加然后除以图片数量得到各个通道的平均帧；

步骤2.3：对整个图像的平均帧分别逐行和逐列进行像素值累加，然后找出像素值最大值，其所在的行和列即为图像里条纹区域的中心；

步骤2.4：在条纹区域的中心位置，依次从所有图像的原图中裁剪出包含所有条纹的矩形区域；

步骤2.5：将上述所得的矩形图像的R通道、G通道、B通道像素矩阵分别除以对应通道的平均帧，然后再将所得结果除以结果中的最大值进行归一化操作；

步骤2.6：从归一化后的矩形区域图中，按一定数量的条纹为单位裁剪图片。

4.根据权利要求1所述的基于卷积神经网络的可见光成像通信解码方法，其特征在于，所述步骤3中的卷积神经网络输入为包含有限个条纹的条纹图片，所述卷积神经网络的输出端为2³个神经元,数据集的2³个标签对应三个通道OOK编码的2³种符号类别，以最小化交叉熵损失函数为目标，反复修正卷积神经网络的参数，直至将所述卷积神经网络训练好。

5.根据权利要求1所述的基于卷积神经网络的可见光成像通信解码方法，其特征在于，所述步骤4包括以下步骤：

步骤4.1：将所述步骤2中截取的条纹图片输入到所述步骤3中已经训练好的卷积神经网络进行识别；

步骤4.2：将识别结果转化为相应的bit数据，再将所述bit数据依序排列组合，查找数据包的头部，然后依据头部还原发送端发送的数据包。

Images