CN113364977A - 一种基于帧拼接的屏幕-相机通信系统采样方法 - Google Patents

Abstract

本发明公开了一种基于帧拼接的屏幕‑相机通信系统采样方法，通过屏幕‑相机通信系统将待传输信息进行数据编码，从而转换成并行的编码符号；再同一路编码符号调制到不同信号图像帧的同一信号点上，从而得到连续的携带编码信息的信号图像帧；然后为每一帧信号图像帧设置行/列校验位，并通过相机完成信号图像帧的采样，接着通过设置的行校验位检测采样图像帧是否正确采样并确认相邻采样图像帧是否对同一信号帧进行采样，通过设置的列校验位区分采样图像帧中正确与错误采样的行，再根据行、列校验位确定拼接位置并进行帧拼接；最后完成采样图像帧的解调及解码操作，得到串行输出的比特流。

Description

一种基于帧拼接的屏幕-相机通信系统采样方法

技术领域

本发明属于屏幕和相机之间的光通信技术领域，更为具体地讲，涉及一种基于帧拼接的屏幕-相机通信系统采样方法。

背景技术

屏幕-相机通信是一种可见光通信技术，发送端将通信数据调制为信号图像帧上阵列形式的亮度信号，驱动屏幕发出阵列的可见光调制信号；信号通过空间可见光信道到达接收端，相机将对信号进行采样，得到采样图像帧，并对其进行解调以恢复通信数据。

屏幕-相机通信为异步通信，异步通信通常采用双倍采样，即相机采用两倍于屏幕显示帧率的采样帧率对图像信号进行采样，当一个采样点采到信号切换时刻(信号边沿的不稳定时刻)时，另一个采样点则一定出现在信号保持的中间时刻，从而保证一个采样点的采样时刻是有效的。因此，对于一帧信号图像帧，相机输出两帧采样图像帧。将相互间隔一帧的所有采样帧序列分为两个采样帧集，得到奇数序号采样帧集和偶数序号采样帧集，当其中某一采样帧集的采样时刻发生在屏幕画面切换的过程时，选择另一帧集作为采样结果。

双倍采样在低显示帧率和采样帧率的情况下是可行的；而在高显示帧率和采样帧率，特别是当相机采样周期接近屏幕图像保持时间时，并不能保证整幅图像帧的采样时刻都是正确的，导致双倍采样失效。因为，该方法忽略了屏幕-相机通信为阵列信号通信，整帧图像的显示和采集不是瞬时完成的，屏幕像素逐行刷新与相机像素逐行曝光过程不同步，可能导致采集到的图像上半部分是处于屏幕显示保持时刻的，下半部分却处于切换时刻；反之亦然。这种情况下，前后两采样图像帧(奇数帧和偶数帧)均都存在错误采样的区域，无论选取哪一个采样帧集，都会造成误码。

此外，由于屏幕刷新频率和相机采样频率存在抖动，引起采样时刻随时间波动。因此，双倍频率关系并不是严格成立的。这会导致即使某时段整个图像采样时刻都处于屏幕图像保持时刻，但另一个时间段可能有些采样图像行就偏离出屏幕图像保持时刻。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于帧拼接的屏幕-相机通信系统采样方法，将屏幕-相机通信中双倍采样图像帧进行自适应拼接，从而解决采样过程不同步以及采样帧率波动导致的错误采样问题。

为实现上述发明目的，本发明一种基于帧拼接的屏幕-相机通信系统采样方法，其特征在于，包括以下步骤：

(1)、按照屏幕像素分辨率在屏幕图像帧上排布信号点阵列；

设屏幕像素分辨率为M×N，设置信号点与校验位均为正方块，其边长等于H个屏幕像素长度，相邻信号点间隔距离为D个屏幕像素长度；然后在屏幕图像帧上排布校验位与信号点阵列，其中，第一行与最后一行、第一列与最后一列排布校验位，中间的区域排布用于调制传输数据的信号点阵列，排布完成后，设信号点阵列的大小为m×n，其中

且m为奇数，n为偶数，若不满足，则减1；

(2)、在屏幕-相机通信系统的发送端进行数据编码；

(2.1)、在屏幕-相机通信系统的发送端将待传输信息先转换成串行输入的比特流，记比特流长度为L；

(2.2)、比特流串并转换；

设置多个数组，每个数组的长度为(m-1)×(n-1)；

将长度为L的串行比特流按照长度(m-1)×(n-1)进行截断，再将每一段比特流按序存入每一个数组，在最后一个数组中，如果比特流长度小于(m-1)×(n-1)，则按序存入后不够的位置处添加比特0；

将所有数组在同一位置处的比特字符组成一路并行的比特流，从而得到m×n路并行的比特流，且每一路并行的比特流长度为

进而实现比特流串并转换；

(2.3)、对每一路并行的比特流依次进行纠错编码、交织处理及多进制格雷编码处理，从而得到(m-1)×(n-1)路并行的编码符号；

(3)、信号调制

在(m-1)×(n-1)路并行的编码符号中，将同一路编码符号调制到不同信号图像帧的同一信号点上，从而得到连续的携带编码信息的信号图像帧；

(4)、为每一帧信号图像帧设置行/列校验位；

在信号图像帧的第一行和最后一行设置相同的行校验位，第一列和最后一列设置互为反码的列校验位，行/列校验位均采用最高亮度和最低亮度交替编码，其中，最高亮度的编码标记为“1”最低亮度的编码标记为“0”；

(5)、屏幕发送信号图像帧；

信号图像帧驱动屏幕发送携带编码信息的可见光信号，而在屏幕上以固定帧率f按序显示所有发送的信号图像帧；

(6)、相机接收信号图像帧；

可见光信号经空间光信道传输至接收端的相机处，相机以两倍于屏幕显示的帧率2f进行成像采样，完成信号图像帧的接收；

(7)、帧拼接采样

(7.1)、设相机采样输出的第i帧F_i为主采样图像帧F，对比F的首尾两行校验位是否相同，如果校验位相同，则认为采样正确，进行步骤(8)；否则，进行步骤(7.2)；

(7.2)、对比主采样图像帧F的第一行校验位与其前一帧采样图像帧F_i-1的最后一行校验位，如果校验位相同，则令前一帧采样图像帧F_i-1为副采样图像帧F′；否则，令后一帧采样图像帧F_i+1为副采样图像帧F′，再进行步骤(7.3)；

(7.3)、对比副采样图像帧F′的首尾两行校验位是否相同，如果相同，则认为采样正确，进行步骤(8)，并令副采样图像帧F′为新的主采样图像帧F；否则，进行步骤(7.4)；

(7.4)、在主采样图像帧F的第一列和最后一列校验位上，从上至下寻找列校验位“0”和“1”交替不连续的行位置，分别记为a₁、a₂，然后取两者最小值min(a₁、a₂)记为a；

在副采样图像帧F′的第一列和最后一列校验位上，从下至上寻找列校验位“0”和“1”交替不连续的行位置，分别记为b₁、b₂，然后取两者最大值max(b₁、b₂)记为b；

最后，确定拼接行号

选取主采样图像帧F第1行到k行和副采样图像帧F′的k+1行到最后一行进行拼接，组合成新的采样图像帧，再进行步骤(8)；

(8)、采样图像帧的解调

(8.1)、计算采样图像帧每个信号点的中心像素及周围共h×h个像素点的亮度值平均值v，再将v作为每个信号点的解调值，设信号点与上、下、左、右四个相邻信号点的平均间隔距离为d，则h＝(d×H)/(2×D)；

(8.2)、判断主采样图像帧F是否为最后一帧图像，如果是，则进入步骤(9)；否则，令主采样图像帧F的后两帧采样图像帧F_i+2为新的主采样图像帧F，再返回步骤(7.1)；

(9)、在屏幕-相机通信系统的接收端进行数据解码；

(9.1)、对所有的解调值进行判决，得到(m-1)×(n-1)路并行的接收编码符号；再对每一路的接收编码符号进行格雷编码解码、解交织以及纠错解码操作，得到(m-1)×(n-1)路的并行比特流；

(9.2)、按序将每一路并行比特流进行并串转换，并将末尾的添加比特0进行删除，从而得到串行输出的比特流。

本发明的发明目的是这样实现的：

本发明基于帧拼接的屏幕-相机通信系统采样方法，通过屏幕-相机通信系统将待传输信息进行数据编码，从而转换成并行的编码符号；再同一路编码符号调制到不同信号图像帧的同一信号点上，从而得到连续的携带编码信息的信号图像帧；然后为每一帧信号图像帧设置行/列校验位，并通过相机完成信号图像帧的采样，接着通过设置的行校验位检测采样图像帧是否正确采样并确认相邻采样图像帧是否对同一信号帧进行采样，通过设置的列校验位区分采样图像帧中正确与错误采样的行，再根据行、列校验位确定拼接位置并进行帧拼接；最后完成采样图像帧的解调及解码操作，得到串行输出的比特流。

同时，本发明基于帧拼接的屏幕-相机通信系统采样方法还具有以下有益效果：

(1)、理想情况下，相机的采样帧率必须严格是屏幕显示帧率的两倍，才能使采样有效，但是实际场景下，相机的采样帧率不一定严格保持为所设置的大小，存在一定波动，这会造成采样错误，使系统误码率较高，本发明可以使屏幕相机通信系统在相机帧率存在一定波动的情况下仍然可以正确采样，从而降低系统的误码率；

(2)、本发明通过设置行校验位，可以通过简单的判断即可了解采样图像帧是否采样正确，并在采样不正确的情况下，通过列校验位指导程序对采样图像帧进行拼接得到正确的采样图像帧，并能在采样图像帧序列中跟踪正确的采样帧，以此实现对相机帧率波动的自适应采样。

附图说明

图1是本发明基于帧拼接的屏幕-相机通信系统采样方法流程图；

图2是屏幕图像帧上排布信号点阵列示意图；

图3是帧拼接采样流程图；

图4是采样图像帧行校验示意图；

图5是采样图像帧列校验示意图；

图6是帧拼接示意图；

图7是单行信号点双倍采样示意图；

图8是采样帧在时间上相对显示帧向后偏移示意图；

图9是采样帧在时间上相对显示帧向前偏移示意图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明基于帧拼接的屏幕-相机通信系统采样方法流程图。

在本实施例中，如图1所示，本发明一种基于帧拼接的屏幕-相机通信系统采样方法，包括以下步骤：

S1、按照屏幕像素分辨率在屏幕图像帧上排布信号点阵列；

在本实施例中，如图2所示，设屏幕像素分辨率为M×N＝768×1366，设置信号点与校验位均为正方块，其边长等于H＝6个屏幕像素长度，相邻信号点间隔距离为D＝4个屏幕像素长度；然后在屏幕图像帧上排布校验位与信号点阵列，其中，第一行与最后一行、第一列与最后一列排布校验位，中间的区域排布用于调制传输数据的信号点阵列，排布完成后，设信号点阵列的大小为m×n，其中

且m为奇数，n为偶数，若不满足，则减1，所以m＝77，n＝136，这样尽可能将信号点阵列设置的大。

S2、在屏幕-相机通信系统的发送端进行数据编码；

S2.1、在屏幕-相机通信系统的发送端将待传输信息先转换成串行输入的比特流，记比特流长度为L；

S2.2、比特流串并转换；

设置多个数组，每个数组的长度为m×n＝77×136＝10472，数组的个数需要根据特流长度和设置信号点阵列的大小决定；

将长度为L＝1047200的串行比特流按照长度10472进行截断，再将每一段比特流按序存入每一个数组，在最后一个数组中，如果比特流长度小于10472，则按序存入后不够的位置处添加比特0；

将所有数组在同一位置处的比特字符组成一路并行的比特流，比如：所有数组的第一列组成第一路并行的比特流，然后以此类推，从而得到m×n路并行的比特流，且每一路并行的比特流长度为

进而实现比特流串并转换；

S2.3、对每一路并行的比特流依次进行纠错编码、交织处理及多进制格雷编码处理，从而得到10472路并行的编码符号；

在本实施例中，对每一路并行比特流进行纠错编码，使系统具有纠错能力，纠错编码会增加系统冗余，以(2,1,2)线性卷积码为例，每一路比特流的长度变为L₂＝kL₁＝200，k的取值为2；

对纠错编码后的每一路比特流采取交织处理，提高对连续出错情况的纠错能力；

对每一路比特流再进行n进制格雷编码，n进制格雷编码后每一路符号流的长度为L₃＝L₂/log2n，在本实施例中，以4进制格雷编码为例，L₃＝L₂/2＝100。

S3、信号调制

在10472路并行的编码符号中，将同一路编码符号调制到不同信号图像帧的同一信号点上，从而得到连续的携带编码信息的信号图像帧，共有100帧信号图像帧；

S4、为每一帧信号图像帧设置行/列校验位；

在信号图像帧的第一行和最后一行设置相同的行校验位，第一列和最后一列设置互为反码的列校验位，行/列校验位均采用最高亮度和最低亮度交替编码，其中，最高亮度的编码标记为“1”最低亮度的编码标记为“0”；每一信号图像帧设置行/列校验位完成后，如图2所示，后一信号图像帧行/列校验位为前一信号图像帧行/列校验位的反码。

S5、屏幕发送信号图像帧；

信号图像帧驱动屏幕发送携带编码信息的可见光信号，而在屏幕上以固定帧率f＝15FPS按序显示所有发送的信号图像帧；

S6、相机接收信号图像帧；

可见光信号经空间光信道传输至接收端的相机处，相机以两倍于屏幕显示的帧率2f＝30FPS进行成像采样，完成信号图像帧的接收；

S7、帧拼接采样，具体流程如图3所示；

S7.1、设相机采样输出的第i帧F_i为主采样图像帧F，对比F的首尾两行校验位是否相同，如果校验位相同，如图4(a)所示，则认为采样正确，进行步骤(8)；否则，如图4(b)所示，行校验位不一致，进行步骤S7.2；

S7.2、对比主采样图像帧F的第一行校验位与其前一帧采样图像帧F_i-1的最后一行校验位，如果校验位相同，则令前一帧采样图像帧F_i-1为副采样图像帧F′；否则，令后一帧采样图像帧F_i+1为副采样图像帧F′，再进行步骤S7.3；

S7.3、对比副采样图像帧F′的首尾两行校验位是否相同，如果相同，则认为采样正确，进行步骤S8，并令副采样图像帧F′为新的主采样图像帧F；否则，进行步骤S7.4；

S7.4、在主采样图像帧F的第一列和最后一列校验位上，从上至下寻找列校验位“0”和“1”交替不连续的行位置，分别记为a₁、a₂，然后取两者最小值min(a₁、a₂)记为a，假设第一列的第55行至第58行为“0-1-1-1”，最后一列的第55行至第58行为“1-0-1-1”，则a₁＝57，a₂＝58，所以a＝57；

在副采样图像帧F′的第一列和最后一列校验位上，从下至上寻找列校验位“0”和“1”交替不连续的行位置，分别记为b₁、b₂，然后取两者最大值max(b₁、b₂)记为b，假设第一列的第10行至第13行为“1-1-1-0”，最后一列的第10行至第13行为“1-1-0-1”，则b₁＝11，b₂＝10，所以b＝11；

在本实施例中，图5(a)是正确的列校验位，而图5(b)与图5(c)是部分出错的列校验位；

最后，确定拼接行号

选取主采样图像帧F第1行到k行和副采样图像帧F′的k+1行到最后一行进行拼接，组合成新的采样图像帧，再进行步骤S8；

在本实施例中，屏幕-相机通信系统的参数定义如下：

T_s：信号图像帧的显示周期；T_r：屏幕刷新响应时间；T_h：图像显示保持时间；T_c：相机采样周期；T_e：相机每行曝光时间；T_o：相机每行数据读出时间；T_w：相机每行等待时间；τ_s：屏幕每行刷新时间间隔；τ_c：相机每行采样时间间隔。

当前一采样图像帧最后一行采样完成，下一采样图像帧开始第一行采样，正确采样的行需保证曝光时间T_e完全处于屏幕显示保持时间T_h内，否则采样错误。单行信号点双倍采样过程如图7，对于情况1，第一次采样的曝光时间T_e ¹与T_r有重叠，所以采样错误，而第二次采样则正确；考虑临界情况2，两次采样的曝光时间T_e ¹和T_e ²都刚好处于T_h内，两次采样都正确，T_h刚好能完整地容纳两次采样的曝光过程，所以在满足条件T_h≥T_c+T_e时，无论相机采样和屏幕刷新的相对时间位置如何，都能保证双倍采样时单行一定有一次采样结果正确。

对于整帧采样图像帧而言，其采样状态变化主要是由于相机采样帧率波动引起的，相机帧率波动导致每一行信号点的采样过程相对于屏幕刷新可能是向后偏移的，也可能是向前偏移的。

向后偏移的情况：采样时刻向后偏移的情况，τ_s<τ_c，如图8所示，采样图像帧F和F′上每行采样时刻都相对于屏幕刷新时刻在向后偏移。设当前采样图像帧F上第一行至第i行采样正确，第i+1行至最后一行采样错误；而靠前的相邻采样图像帧F′上第一行至第i-1行采样可能错误，第i行至最后一行采样正确。所以将图像帧F的第一行至第i行与图像帧F′的第i+1行至最后一行拼接在一起，成为一帧新的采样图像帧，其所有行都是采样正确的。

向前偏移的情况：采样时刻向前偏移的情况，τ_s>τ_c，如图9所示，假设当前采样帧F第1到i行采样正确，第i+1行至最后一行采样错误；而靠后的相邻采样帧F′的第一行至第i-1行采样可能错误，第i行至最后一行采样正确。所以将图像帧F的第一行至第i行与图像帧F′的第i+1行至最后一行拼接在一起，成为一帧新的采样图像帧，其所有行都是采样正确的。

最终，通过前后图像帧的拼接一定能够实现一帧完全正确的采样。

S8、采样图像帧的解调

S8.1、在采样图像帧上，在信号点与相邻四个信号点的平均间隔距离d＝4的情况下，求得h＝3，计算该信号点的中心像素及周围共h×h个像素点的亮度值平均值v，再将v作为每个信号点的解调值，其余信号点类似；

S8.2、判断主采样图像帧F是否为最后一帧图像，即第100帧信号图像帧的采样帧，如果是，则进入步骤S9；否则，令主采样图像帧F的后两帧采样图像帧F_i+2为新的主采样图像帧F，再返回步骤S7.1；

S9、在屏幕-相机通信系统的接收端进行数据解码；

S9.1、对所有的解调值进行判决，判决方法可以采用阈值判决，4进制格雷编码需设置4级阈值，也可采用机器学习的方法进行判决，具体过程不在赘述，最终得到10472路并行的接收编码符号；再对每一路的接收编码符号进行格雷编码解码、解交织以及纠错解码操作，得到10472路的并行比特流；

S9.2、按序将每一路并行比特流进行并串转换，并将末尾的添加比特0进行删除，从而得到串行输出的比特流。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (2)

1.一种基于帧拼接的屏幕-相机通信系统采样方法，其特征在于，包括以下步骤：

(1)、按照屏幕像素分辨率在屏幕图像帧上排布信号点阵列；

设屏幕像素分辨率为M×N，设置信号点与校验位均为正方块，其边长等于H个屏幕像素长度，相邻信号点间隔距离为D个屏幕像素长度；然后在屏幕图像帧上排布校验位与信号点阵列，其中，第一行与最后一行、第一列与最后一列信号排布校验位，中间的区域排布用于调制传输数据的信号点阵列，排布完成后，设信号点阵列的大小为m×n，其中

且m为奇数，n为偶数，若不满足，则减1；

(2)、在屏幕-相机通信系统的发送端进行数据编码；

(2.1)、在在屏幕-相机通信系统的发送端将待传输信息先转换成串行输入的比特流，记比特流长度为L；

(2.2)、比特流串并转换；

设置多个数组，每个数组的长度为(m-1)×(n-1)；

将长度为L的串行比特流按照长度(m-1)×(n-1)进行截断，再将每一段比特流按序存入每一个数组，在最后一个数组中，如果比特流长度小于(m-1)×(n-1)，则按序存入后不够的位置处添加比特0；

将所有数组在同一位置处的比特字符组成一路并行的比特流，从而得到(m-1)×(n-1)路并行的比特流，且每一路并行的比特流长度为

进而实现比特流串并转换；

(2.3)、对每一路并行的比特流依次进行纠错编码、交织处理及多进制格雷编码处理，从而得到(m-1)×(n-1)路并行的编码符号；

(3)、信号调制

在(m-1)×(n-1)路并行的编码符号中，将同一路编码符号调制到不同信号图像帧的同一信号点上，从而得到连续的携带编码信息的信号图像帧；

(4)、为每一帧信号图像帧设置行/列校验位；

在信号图像帧的第一行和最后一行设置相同的行校验位，第一列和最后一列设置互为反码的列校验位，行/列校验位均采用最高亮度和最低亮度交替编码，其中，最高亮度的编码标记为“1”最低亮度的编码标记为“0”。

(5)、屏幕发送信号图像帧；

信号图像帧驱动屏幕发送携带编码信息的可见光信号，而在屏幕上以固定帧率f按序显示所有发送的信号图像帧；

(6)、相机接收信号图像帧；

可见光信号经空间光信道传输至接收端的相机处，相机以两倍于屏幕显示的帧率2f进行成像采样，完成信号图像帧的接收；

(7)、帧拼接采样

(7.1)、设相机采样输出的第i帧F_i为主采样图像帧F，对比F的首尾两行校验位是否相同，如果校验位相同，则认为采样正确，进行步骤(8)；否则，进行步骤(7.2)；

(7.2)、对比主采样图像帧F的第一行校验位与其前一帧采样图像帧F_i-1的最后一行校验位，如果校验位相同，则令前一帧采样图像帧F_i-1为副采样图像帧F′；否则，令后一帧采样图像帧F_i+1为副采样图像帧F′，再进行步骤(7.3)；

(7.3)、对比副采样图像帧F′的首尾两行校验位是否相同，如果相同，则认为采样正确，进行步骤(8)，并令副采样图像帧F′为新的主采样图像帧F；否则，进行步骤(7.4)；

(7.4)、在主采样图像帧F的第一列和最后一列校验位上，从上至下寻找列校验位“0”和“1”交替不连续的行位置，分别记为a₁、a₂，然后取两者最小值min(a₁、a₂)记为a；

在副采样图像帧F′的第一列和最后一列校验位上，从下至上寻找列校验位“0”和“1”交替不连续的行位置，分别记为b₁、b₂，然后取两者最大值max(b₁、b₂)记为b；

最后，确定拼接行号

选取主采样图像帧F第1行到k行和副采样图像帧F′的k+1行到最后一行进行拼接，组合成新的采样图像帧，再进行步骤(8)；

(8)、采样图像帧的解调

(8.1)、计算采样图像帧每个信号点的中心像素及周围共h×h个像素点的亮度值平均值v，再将v作为每个信号点的解调值，设信号点与上、下、左、右四个相邻信号点的平均间隔距离为d，则

(8.2)、判断主采样图像帧F是否为最后一帧图像，如果是，则进入步骤(9)；否则，令主采样图像帧F的后两帧采样图像帧F_i+2为新的主采样图像帧F，再返回步骤(7.1)；

(9)、在屏幕-相机通信系统的接收端进行数据解码；

(9.1)、对所有的解调值进行判决，得到(m-1)×(n-1)路并行的接收编码符号；再对每一路的接收编码符号进行格雷编码解码、解交织以及纠错解码操作，得到(m-1)×(n-1)路的并行比特流；

(9.2)、按序将每一路并行比特流进行并串转换，并将末尾的添加比特0进行删除，从而得到串行输出的比特流。

2.根据权利要求1所述的基于帧拼接的屏幕-相机通信系统采样方法，其特征在于，所述步骤(3)中为每一信号图像帧设置行/列校验位完成后，后一信号图像帧行/列校验位为前一信号图像帧行/列校验位的反码。

Images