CN108391028B - 一种自适应拍摄方向的可见光隐式成像通信方法 - Google Patents

Abstract

本发明涉及可见光通信技术领域，具体公开了一种自适应拍摄方向的可见光隐式成像通信方法，包括：任选一显示屏刷新方向，以相机不同的CMOS卷帘方向进行拍摄；通过实验分析获得二次成像混合特性；根据二次成像混合特性，建立二次成像混合模型；基于二次成像混合模型设计发送端帧格式，并发送信息；接收端在二次成像混合模型中解析混合帧信息。本发明通过不同拍摄角度的实验来探究显示屏与相机链路二次成像的混合特性，建立二次成像混合模型，并在二次成像混合模型上进行通信，从而使得二次成像混合帧的信息得到正确解析。

Description

一种自适应拍摄方向的可见光隐式成像通信方法

技术领域

本发明涉及可见光通信技术领域，具体公开了一种自适应拍摄方向的可见光隐式成像通信方法。

背景技术

目前，大部分在研究显示屏与相机链路通信时，均未考虑到由于显示屏刷新方向与相机CMOS卷帘方向而造成接收端出现混合帧的现象(即显示屏播放的视频帧经二次成像被接收端相机所捕获，捕获的视频帧是相邻原始视频帧的线性混合)，而且显示屏刷新方向与相机CMOS卷帘方向间不同的方向组合，产生的混合特性也不同。

发明内容

为了克服现有技术中存在的缺点和不足，本发明的目的在于提供一种自适应拍摄方向的可见光隐式成像通信方法。

为实现上述目的，本发明采用如下方案。

一种自适应拍摄方向的可见光隐式成像通信方法，包括：

保持显示屏刷新率和相机帧率相等；任选一显示屏刷新方向并保持不变，以相机不同的CMOS卷帘方向进行拍摄，包括以从左向右，从上向下的CMOS卷帘方向作为第一类方向进行拍摄；以从右向左，从下向上的CMOS卷帘方向作为第二类方向进行拍摄；以从上向下，从右向左的CMOS卷帘方向作为第三类方向进行拍摄；以从下向上，从左向右的CMOS卷帘方向作为第四类方向进行拍摄。分析获得二次成像混合特性；二次成像混合特性包括，在显示屏刷新率等于相机帧率时，第一类方向中，接收端每一帧均表示为发送端相邻两帧的线性混合；第二类、第三类、第四类方向中，接收端每一帧均表示为发送端相邻三帧的线性混合，且接收端视频帧的每一个像素至多是相邻两帧中对应像素的混合。根据二次成像混合特性，建立二次成像混合模型；

基于二次成像混合模型设计发送端帧格式，并发送信息；

接收端在二次成像混合模型中解析混合帧，获得传输信息。

进一步地，所述根据二次成像混合特性，建立二次成像混合模型为：

其中第一类方向中，二次成像混合模型简化为：

第二类、第三类、第四类方向中，二次成像混合模型简化为：

进一步地，所述基于二次成像混合模型设计发送端帧格式，包括：

发送端采用嵌入的方式，以若干数据帧为一组传输1bit数据，则第v组对应的嵌入方式为：

其中为原始视频中第v组第q帧视频帧；为嵌入数据；为叠加信息后的视频帧；1≤i≤M，1≤j≤N代表发送端图像像素坐标，M和N为图像高和宽；B₁和B₂表示发送端通常采取分集复用的方式将图像等大小分块共分B₁*B₂块；s_v(b₁,b₂)表示等概率取值1和–1，由1和0映射得到。

进一步地，所述接收端在二次成像混合模型中解析混合帧信息，包括：

在接收端检测发送端区域，以实现空间同步；

以若干帧为一组，分别计算出组内各数据帧的差异帧；

检测各组中的最大差异帧，并根据最大差异帧的差值对数据进行解码判决。

进一步地，所述接收端和收发端速率相同。

本发明的有益效果：提供一种自适应拍摄方向的可见光隐式成像通信方法，通过不同拍摄角度的实验来探究显示屏与相机链路二次成像的混合特性，建立二次成像混合模型，并在二次成像混合模型上进行通信，从而使得二次成像混合帧的信息得到正确解析。

附图说明

图1为本发明实施例的流程示意图。

具体实施方式

通过实验发现，混合帧现象不仅仅和二者间相对刷新方向(显示屏刷新方向以及相机CMOS卷帘方向)有关，还与显示屏刷新率以及相机帧率有关。不同的相对方向对应的混合特性也不相同。

因此，本发明提供的一种自适应拍摄方向的可见光隐式成像通信方法，创新点在于：1.考虑不同拍摄角度情况下，显示屏与相机链路二次成像混合特性，并针对混合帧问题进行分析以及建模；2.基于二次成像混合模型，合理设计发送端帧格式，并给出与之对应的接收端处理流程，提出二次成像混合帧信息正确解析的系统。

为了便于本领域技术人员的理解，下面结合实施例及附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。

一种自适应拍摄方向的可见光隐式成像通信方法，考虑显示屏刷新率和相机帧率相等，以及四种最基本的显示屏与相机刷新方向组合，其中方法步骤包括建立二次成像混合模型和使用二次成像混合模型进行通信。

建立二次成像混合模型时，考虑到一般情况下显示屏方向是固定不动的，而不同的用户拿相机的方式可能会有所不同，因此假设显示屏方向固定不变，以不同的方向进行拍摄。

本实施例中，假设显示屏从左向右，从上向下的方向不变，进行逐行刷新；分别以从左向右，从上向下的CMOS卷帘方向作为第一类方向进行拍摄实验；以从右向左，从下向上的CMOS卷帘方向作为第二类方向进行拍摄实验；以从上向下，从右向左的CMOS卷帘方向作为第三类方向进行拍摄实验；以从下向上，从左向右的CMOS卷帘方向作为第四类方向进行拍摄实验。

通过实验分析获得二次成像混合特性：在显示屏刷新率等于相机帧率时，第一类方向中，接收端每一帧均表示为发送端相邻两帧的线性混合；第二类、第三类、第四类方向中，接收端每一帧均表示为发送端相邻三帧的线性混合，且接收端视频帧的每一个像素至多是相邻两帧中对应像素的混合。

根据二次成像混合特性，建立二次成像混合模型为：

其中第一类方向中，二次成像混合模型可以简化为：

第二类、第三类、第四类方向中，二次成像混合模型可以简化为：

使用二次成像混合模型进行通信时，如图1所示，发送端以若干数据帧为一组传输1bit数据(考虑到第二、三、四种拍摄方向情况下接收端视频帧为三帧的混合，因此发送端采用三正三反的嵌入方式可以保证得到纯净帧，优选每六帧为一组)，如图1所示，图中s_v表示发送的原始二维数据，表示为为原始视频帧，表示为嵌入数据后的视频帧，表示为嵌入二维数据，则第v组对应的嵌入方式为，

其中为原始视频中第v组第q帧视频帧；为嵌入数据；为叠加信息后的视频帧；1≤i≤M，1≤j≤N代表发送端图像像素坐标，M和N为图像高和宽。为提高系统性能，发送端通常采取分集复用的方式将图像等大小分块，总共分B₁*B₂块，在同一像素块内传输相同信息，在不同像素块内传输不同信息。调制方式如式(7)所示，由序列s_k(b₁,b₂)调制生成，其中s_v(b₁,b₂)等概率取值1和–1，由1和0映射得到；为向上取整运算；Δ代表嵌入信息的强度(理论取值0-255)，较大的Δ有利于信息的恢复。

接收端在二次成像混合模型中解析混合帧信息：

在接收端检测发送端区域，以实现空间同步；以若干帧为一组，分别计算出组内各数据帧的差异帧；检测各组中的最大差异帧，并根据最大差异帧的差值对数据进行解码判决。

其中，对于第一类方向，接收端每一帧都是发送端相邻两帧的混合，假设接收端第v组第2帧是由发送端第v组第2、3帧混合而成，第v组第5帧是由发送端第v组第5、6帧混合而成，则接收端第2、5帧表示为：

则差异帧为：

对于第二、三、四类方向，接收端每一帧都是发送端相邻三帧的混合，假设接收端第v组第2帧是由发送端第v组第1、2、3帧混合而成，接收端第v组第5帧是由发送端第v组第4、5、6帧混合而成，则接收端第2、5帧表示为：

则差异帧为：

假设差异帧的绝对值在该组差异帧中取最大值，并且由于其仅有嵌入数据和噪声组成，因此利用其解码判决，可以恢复出所传输的信息。

本实施例中，所述接收端和收发端速率相同，优选为60Fps，对硬件要求较低，并且接收端计算处理简单。

术语解释：

混合帧现象：显示屏播放的视频帧经二次成像被接收端相机所捕获，捕获的视频帧是相邻原始视频帧的线性混合。

隐式成像通信：所要传输的信息，人眼不可察觉而相机可以捕获，并进一步经过处理可以恢复出信息。

差异帧：接收端相邻两帧的差。

以上内容仅为本发明的较佳实施例，对于本领域的普通技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，本说明书内容不应理解为对本发明的限制。

Claims (5)

1.一种自适应拍摄方向的可见光隐式成像通信方法，其特征在于，包括：

保持显示屏刷新率和相机帧率相等；

任选一显示屏刷新方向并保持不变，以相机不同的CMOS卷帘方向进行拍摄，包括以从左向右，从上向下的CMOS卷帘方向作为第一类方向进行拍摄；以从右向左，从下向上的CMOS卷帘方向作为第二类方向进行拍摄；以从上向下，从右向左的CMOS卷帘方向作为第三类方向进行拍摄；以从下向上，从左向右的CMOS卷帘方向作为第四类方向进行拍摄；

分析获得二次成像混合特性，二次成像混合特性包括在显示屏刷新率等于相机帧率时，第一类方向中，接收端每一帧均表示为发送端相邻两帧的线性混合；第二类、第三类、第四类方向中，接收端每一帧均表示为发送端相邻三帧的线性混合，且接收端视频帧的每一个像素至多是相邻两帧中对应像素的混合；

根据二次成像混合特性，建立二次成像混合模型；

基于二次成像混合模型设计发送端帧格式，并发送信息；

接收端在二次成像混合模型中解析混合帧，获得传输信息。

2.根据权利要求1所述的一种自适应拍摄方向的可见光隐式成像通信方法，其特征在于，所述根据二次成像混合特性，建立二次成像混合模型为：

其中第一类方向中，二次成像混合模型简化为：

第二类、第三类、第四类方向中，二次成像混合模型简化为：

3.根据权利要求1所述的一种自适应拍摄方向的可见光隐式成像通信方法，其特征在于，所述基于二次成像混合模型设计发送端帧格式，包括：

发送端采用嵌入的方式，以若干数据帧为一组传输1bit数据，则第v组对应的嵌入方式为：

其中为原始视频中第v组第q帧视频帧；为嵌入数据；为叠加信息后的视频帧；1≤i≤M，1≤j≤N代表发送端图像像素坐标，M和N为图像高和宽；B₁和B₂表示发送端通常采取分集复用的方式将图像等大小分块共分B₁*B₂块；s_v(b₁,b₂)表示等概率取值1和–1，由1和0映射得到。

4.根据权利要求1所述的一种自适应拍摄方向的可见光隐式成像通信方法，其特征在于，所述接收端在二次成像混合模型中解析混合帧信息，包括：

在接收端检测发送端区域，以实现空间同步；

以若干帧为一组，分别计算出组内各数据帧的差异帧；

检测各组中的最大差异帧，并根据最大差异帧的差值对数据进行解码判决。

5.根据权利要求1所述的一种自适应拍摄方向的可见光隐式成像通信方法，其特征在于，所述接收端和收发端速率相同。