CN107295344B - 一种视频中嵌入图形码的方法及装置 - Google Patents

Abstract

本申请实施例公开了一种视频中嵌入图形码的方法及装置。所述方法包括：根据至少两种指定编码方式以及每个指定编码方式对应的纠错等级，依次对待加载数据进行编码；将各编码数据以及包括纠错位的编码属性信息分别填充至待生成图形码中的指定编码位置，以生成待加载数据对应的至少一个图形码；针对每个图形码，分别从载体视频中提取待承载图形码的至少两个帧图像；确定图形码在至少两个帧图像中的每个像素点处的颜色信息；根据颜色信息以及预设调节规则，调节至少两个帧图像在各像素点处的亮度；将图形码载入调节后的至少两个帧图像中，合并承载图形码的各帧图像。该技术方案实现了使用载体视频传输大量信息、且不影响用户观看视频的效果。

Description

一种视频中嵌入图形码的方法及装置

技术领域

本发明涉及可见光通信及视频处理领域，尤其涉及一种视频中嵌入图形码的方法及装置。

背景技术

可见光通信技术在日常生活中已经非常普遍，尤其是其中的二维码技术，例如支付宝、微信等移动支付使用的QR(Quick Response，快速反应)码，以及电子元件上的DataMatrix等都属于二维码。二维码有识别快速、使用方便等优点，只需要带有摄像头的智能手机就可以使用此类技术。此外，也可以将变化的二维码制作成视频，以连续不断地传输数据。

但二维码也有以下缺点：首先，二维码的图案对人来说没有意义，属于噪音；其次，二维码为了易于识别，需要占据足够的视觉空间，这在一些特定场景下难以被满足；例如，在视频嵌码的场景中，如果二维码占据足够的视觉空间，就会导致用户无法正常观看视频，并且QR码、DataMatrix等都不适合于视频嵌码的场景。因此，如何在视频嵌码的场景中实现不影响用户观看视频的目的成为一项亟待解决的问题。

发明内容

本申请实施例的目的是提供一种视频中嵌入图形码的方法及装置，用以实现在视频中嵌入图形码时不影响用户观看视频的效果。

为解决上述技术问题，本申请实施例是这样实现的：

一方面，本申请实施例提供一种视频中嵌入图形码的方法，包括：

根据至少两种指定编码方式以及每个所述指定编码方式对应的纠错等级，依次对待加载数据进行编码，得到待加载编码数据流，所述待加载编码数据流中包括所述待加载数据对应的编码数据以及纠错位；

将所述待加载编码数据流中的各编码数据以及包括所述纠错位的编码属性信息分别填充至待生成图形码中的指定编码位置，以生成所述待加载数据对应的至少一个图形码；

针对每个所述图形码，分别从载体视频中提取待承载所述图形码的至少两个帧图像；

确定所述图形码在所述至少两个帧图像中的每个像素点处的颜色信息；

根据所述颜色信息以及预设调节规则，调节所述至少两个帧图像在各像素点处的亮度，所述预设调节规则包括相邻两个帧图像在同一像素点处的调节方式不同、且不同颜色信息在同一帧图像中对应的像素点处的调节方式不同，所述调节方式包括提高亮度和/或降低亮度；

将所述图形码载入所述调节后的至少两个帧图像中，合并承载所述图形码的各帧图像，得到承载所述图形码的目标视频。

可选地，所述图形码包括二维码，所述指定编码位置包括编码属性块和数据区域，所述编码属性块环绕于所述数据区域的外围，所述指定编码方式包括里德-所罗门编码和/或卷积码，所述编码属性信息还包括所述指定编码方式及其纠错等级、校验位中的至少一项；

将所述待加载编码数据流中的各编码数据以及包括所述纠错位的编码属性信息分别填充至待生成图形码中的指定编码位置，以生成所述待加载数据对应的至少一个图形码，包括：

将所述编码属性信息填充至所述编码属性块中；

利用交织算法将所述待加载编码数据流中的各编码数据依次填充至所述数据区域中；

结合被填充的所述编码属性块以及所述数据区域，得到所述待加载数据对应的二维码。

可选地，所述数据区域中包括M个子区域；

所述利用交织算法将所述待加载编码数据流中的各编码数据依次填充至所述数据区域中，包括：

将所述待加载编码数据流划分为每组包含M个编码数据的待加载子编码数据流组；

将每组所述待加载子编码数据流组中的M个编码数据依次填充至所述M个子区域中的第一位置；

将下一组所述待加载子编码数据流组中的M个编码数据依次填充至所述M个子区域中的第二位置，直至将每组所述待加载子编码数据流组中的编码数据均填充至所述数据区域中，其中，所述第二位置与其所在的子区域中的所述第一位置相邻。

可选地，针对每个所述图形码，分别从载体视频中提取待承载所述图形码的至少两个帧图像，包括：

将所述载体视频的帧率扩展至预设帧率，所述预设帧率不低于人眼能够分辨的最大采样率的二倍；

从预设帧率的载体视频中提取待承载所述图形码的至少两个帧图像，其中，承载同一所述二维码的至少两个帧图像相同。

可选地，当所述图形码包括多个时，所述根据至少两种指定编码方式以及每个所述指定编码方式对应的纠错等级，依次对待加载数据进行编码之前，所述方法还，包括：

将所述待加载数据划分为多个待加载子数据组；

相应地，根据至少两种指定编码方式以及每个所述指定编码方式对应的纠错等级，依次对待加载数据进行编码，得到待加载编码数据流，包括：

根据所述至少两种指定编码方式以及每个所述指定编码方式对应的纠错等级，依次对每个所述待加载子数据组进行编码，得到多个待加载编码数据流。

从载体视频中提取待承载所述图形码的至少两个帧图像，包括：

从载体视频中提取各图形码分别对应的至少两个帧图像。

可选地，将所述待加载数据划分为多个待加载子数据组，包括：

确定各待加载子数据组中的数据头信息的长度，所述数据头信息包括所述待加载子数据组的组编号、数据长度、校验码、纠错码中的至少一项；

根据所述图形码的编码容量确定最大单组数据长度；

根据所述数据头信息的长度以及所述最大单组数据长度，计算所述待加载子数据组的单组有效数据长度；

按照每组数据长度为所述单组有效数据长度的规则将所述待加载数据划分为多个待加载子数据组。

可选地，调节所述至少两个帧图像在各像素点处的亮度，包括：

当所述颜色信息为黑色时，提高所述相邻两个帧图像中的前一帧在所述颜色信息对应的像素点处的亮度，降低所述相邻两个帧图像中的后一帧在所述颜色信息对应的像素点处的亮度；当所述颜色信息为白色时，降低所述相邻两个帧图像中的前一帧在所述颜色信息对应的像素点处的亮度，提高所述相邻两个帧图像中的后一帧在所述颜色信息对应的像素点处的亮度；

或者，

当所述颜色信息为黑色时，降低所述相邻两个帧图像中的前一帧在所述颜色信息对应的像素点处的亮度，提高所述相邻两个帧图像中的后一帧在所述颜色信息对应的像素点处的亮度；当所述颜色信息为白色时，提高所述相邻两个帧图像中的前一帧在所述颜色信息对应的像素点处的亮度，降低所述相邻两个帧图像中的后一帧在所述颜色信息对应的像素点处的亮度。

另一方面，本申请实施例提供一种视频中嵌入图形码的装置，包括：

编码模块，用于根据至少两种指定编码方式以及每个所述指定编码方式对应的纠错等级，依次对待加载数据进行编码，得到待加载编码数据流，所述待加载编码数据流中包括所述待加载数据对应的编码数据以及纠错位；

生成模块，用于将所述待加载编码数据流中的各编码数据以及包括所述纠错位的编码属性信息分别填充至待生成图形码中的指定编码位置，以生成所述待加载数据对应的至少一个图形码；

提取模块，用于针对每个所述图形码，分别从载体视频中提取待承载所述图形码的至少两个帧图像；

确定模块，用于确定所述图形码在所述至少两个帧图像中的每个像素点处的颜色信息；

调节模块，用于根据所述颜色信息以及预设调节规则，调节所述至少两个帧图像在各像素点处的亮度，所述预设调节规则包括相邻两个帧图像在同一像素点处的调节方式不同、且不同颜色信息在同一帧图像中对应的像素点处的调节方式不同，所述调节方式包括提高亮度和/或降低亮度；

载入/合并模块，用于将所述图形码载入所述调节后的至少两个帧图像中，合并承载所述图形码的各帧图像，得到承载所述图形码的目标视频。

可选地，所述图形码包括二维码，所述指定编码位置包括编码属性块和数据区域，所述编码属性块环绕于所述数据区域的外围，所述指定编码方式包括里德-所罗门编码和/或卷积码，所述编码属性信息还包括所述指定编码方式及其纠错等级、校验位中的至少一项；

所述生成模块还用于：

将所述编码属性信息填充至所述编码属性块中；

利用交织算法将所述待加载编码数据流中的各编码数据依次填充至所述数据区域中；

结合被填充的所述编码属性块以及所述数据区域，得到所述待加载数据对应的二维码。

可选地，所述数据区域中包括M个子区域；

所述生成模块还用于：

将所述待加载编码数据流划分为每组包含M个编码数据的待加载子编码数据流组；

将每组所述待加载子编码数据流组中的M个编码数据依次填充至所述M个子区域中的第一位置；

将下一组所述待加载子编码数据流组中的M个编码数据依次填充至所述M个子区域中的第二位置，直至将每组所述待加载子编码数据流组中的编码数据均填充至所述数据区域中，其中，所述第二位置与其所在的子区域中的所述第一位置相邻。

采用本发明实施例的技术方案，首先根据至少两种指定编码方式及其各自对应的纠错等级依次对待加载数据进行编码，以及将编码得到的待加载编码数据流中的各数据分别填充至指定编码位置，以生成待加载数据对应的至少一个图形码，其中，多种指定编码方式使得待加载数据对应的图形码更加可靠稳定，且由于多种指定编码能够产生多种不同的纠错等级，因此可满足不同情况下对纠错能力的需求。进而，针对每个图形码，分别从载体视频中提取待承载图形码的至少两个帧图像，并确定图形码在至少两个帧图像中的每个像素点处的颜色信息，并根据该颜色信息以及预设调节规则调节帧图像在各像素点处的亮度，其中，预设调节规则包括相邻两个帧图像在同一像素点处的调节方式不同、且不同颜色信息在同一帧图像中对应的像素点处的调节方式不同。最后将图形码载入调节亮度之后的帧图像中，并合并承载图形码的各帧图像，以实现帧图像和图形码的融合。可见，该技术方案通过调节相邻两个帧图像在各像素点的亮度来实现载体视频和图形码的融合，使得相邻两帧图像在各像素点处形成亮度差，且该亮度差根据图形码的颜色不同而不同，进而使得载体视频承载图形码后能够兼顾人眼视觉，即人眼在观看承载图形码的嵌码视频时和未承载图形码的载体视频时并无差别，实现了使用载体视频传输大量信息、且不影响用户观看视频的效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的视频中嵌入图形码的方法的示意性流程图；

图2是根据本发明实施例的一种二维码的示意性结构图；

图3是根据本发明实施例的一种二维码中编码属性块的示意性结构图；

图4是根据本发明实施例的视频中嵌入图形码的方法中调节帧图像亮度的示意图；

图5是根据本发明实施例的视频中嵌入图形码的方法中调节帧图像亮度的示意坐标图；

图6是根据本发明实施例的视频中嵌入图形码的装置的示意性框图。

具体实施方式

本申请实施例提供一种视频中嵌入图形码的方法及装置，用以实现在视频中嵌入图形码时不影响用户观看视频的效果。

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

图1是根据本发明实施例的视频中嵌入图形码的方法的示意性流程图，如图1所示，该方法包括以下步骤S101-S106：

步骤S101，根据至少两种指定编码方式以及每个指定编码方式对应的纠错等级，依次对待加载数据进行编码，得到待加载编码数据流。其中，待加载编码数据流中包括待加载数据对应的编码数据以及纠错位。

步骤S102，将待加载编码数据流中的各编码数据以及包括纠错位的编码属性信息分别填充至待生成图形码中的指定编码位置，以生成待加载数据对应的至少一个图形码。

其中，图形码可以是能够被识别的条形码、二维码、图片等。

步骤S103，针对每个图形码，分别从载体视频中提取待承载图形码的至少两个帧图像。

步骤S104，确定图形码在至少两个帧图像中的每个像素点处的颜色信息。

步骤S105，根据颜色信息以及预设调节规则，调节至少两个帧图像在各像素点处的亮度。预设调节规则包括相邻两个帧图像在同一像素点处的调节方式不同、且不同颜色信息在同一帧图像中对应的像素点处的调节方式不同，调节方式包括提高亮度和/或降低亮度。

步骤S106，将图形码载入调节后的至少两个帧图像中，合并承载图形码的各帧图像，得到承载图形码的目标视频。

采用本发明实施例的技术方案，首先根据至少两种指定编码方式及其各自对应的纠错等级依次对待加载数据进行编码，以及将编码得到的待加载编码数据流中的各数据分别填充至指定编码位置，以生成待加载数据对应的至少一个图形码，其中，多种指定编码方式使得待加载数据对应的图形码更加可靠稳定，且由于多种指定编码能够产生多种不同的纠错等级，因此可满足不同情况下对纠错能力的需求。进而，针对每个图形码，分别从载体视频中提取待承载图形码的至少两个帧图像，并确定图形码在至少两个帧图像中的每个像素点处的颜色信息，并根据该颜色信息以及预设调节规则调节帧图像在各像素点处的亮度，其中，预设调节规则包括相邻两个帧图像在同一像素点处的调节方式不同、且不同颜色信息在同一帧图像中对应的像素点处的调节方式不同。最后将图形码载入调节亮度之后的帧图像中，并合并承载图形码的各帧图像，以实现帧图像和图形码的融合。可见，该技术方案通过调节相邻两个帧图像在各像素点的亮度来实现载体视频和图形码的融合，使得相邻两帧图像在各像素点处形成亮度差，且该亮度差根据图形码的颜色不同而不同，进而使得载体视频承载图形码后能够兼顾人眼视觉，即人眼在观看承载图形码的嵌码视频时和未承载图形码的载体视频时并无差别，实现了使用载体视频传输大量信息、且不影响用户观看视频的效果。

以下针对上述步骤S101-S106进行详细说明。

首先执行步骤S101，即根据至少两种指定编码方式以及每个指定编码方式对应的纠错等级，依次对待加载数据进行编码，得到待加载编码数据流。其中，待加载编码数据流中包括待加载数据对应的编码数据以及纠错位。

在一个实施例中，指定编码方式包括里德-所罗门编码和/或卷积码。本实施例可按照如下步骤A1-A2来生成待加载数据对应的至少一个图形码：

步骤A1，确定里德-所罗门编码和/或卷积码分别针对待加载数据进行编码的纠错等级。

步骤A2，根据里德-所罗门编码和/或卷积码及其各自对应的纠错等级依次对待加载数据进行编码，得到待加载编码数据流，待加载编码数据流中包括待加载数据对应的编码数据以及纠错位。本实施例中，采用至少两种指定编码方式对待加载数据进行编码的优点在于多级编码方式可增强数据编码的可靠性。

举例而言，当根据里德-所罗门编码和卷积码依次对待加载数据进行编码时，可根据需要调整输入/输出(即编码前/编码后)的比例，以决定这两种指定编码方式的纠错能力。此外，还可利用至少两种指定编码方式的组合产生多种不同的纠错等级，以满足不同情况下对纠错能力的需求。

具体地，首先将待加载数据分为多个数据节，每个数据节的长度根据里德-所罗门编码的纠错参数(包括纠错等级)来决定；然后对每个数据节使用里德-所罗门编码器进行编码，并给数据节加上纠错位；再将每个加上纠错位的数据节合并起来，经过卷积码编码器，生成卷积后的二进制流。采用里德-所罗门编码和卷积码依次对待加载数据进行编码，使得整个编码过程既可以使用卷积码的软门限译码，又可以使用能够稳定纠错的里德-所罗门编码恢复卷积码没能正确译码的位，从而很大程度了提高了数据编码的可靠性。

利用至少两种指定编码方式依次对待加载数据进行编码之后，继续执行步骤S102，即将待加载编码数据流中的各编码数据以及包括纠错位的编码属性信息分别填充至待生成图形码中的指定编码位置，以生成待加载数据对应的至少一个图形码。

在一个实施例中，以图形码为二维码为例进行说明。当图形码为二维码时，指定编码位置包括编码属性块和数据区域，且编码属性块环绕于数据区域的外围。图2所示为本实施例中一种二维码的示意性结构图。在图2中，二维码包括纯黑特征线20、按照预设排列规则排列各码块的特征块21、编码属性块22以及数据区域23四个部分。在特征块21部分，预设排列规则为黑白码块相间排列。编码属性块22的宽度为P，由P*P的编码属性信息重复填充而成。数据区域23被特征块21包括相等大小的M(图2中所示M＝16)个子区域。图3所示为本实施例中一种二维码中编码属性块的示意性结构图，其中，P＝4，最后一位为奇偶校验位。

本实施例中，可按照如下步骤A3-A5生成待加载数据对应的至少一个图形码：

步骤A3，将待加载数据的编码属性信息填充至编码属性块中，编码属性信息包括指定编码方式及其纠错等级、纠错位、校验位中的至少一项。

由于编码属性块中携带的信息量有限，因此可预先确定使用何种编码属性块，这样就确定了各编码属性信息在编码属性块中的位置，进而按照各编码属性信息在编码属性块中的位置将各编码属性信息填充至编码属性块中。

步骤A4，利用交织算法将待加载编码数据流中的各编码数据依次填充至数据区域中。

假设数据区域中包括M个子区域，将各编码数据依次填充至数据区域时，可按照如下方式依次填充：首先，将待加载编码数据流划分为每组包含M个编码数据的待加载子编码数据流组；其次，将每组待加载子编码数据流组中的M个编码数据依次填充至M个子区域中的第一位置；再次，将下一组待加载子编码数据流组中的M个编码数据依次填充至M个子区域中的第二位置，以此类推，直至将每组待加载子编码数据流组中的编码数据均填充至数据区域中，其中，第二位置与其所在的子区域中的第一位置相邻。

以图2中所示的M＝16为例，首先将待加载编码数据流划分为每组包含16个编码数据的待加载子编码数据流组，然后将第一组待加载子编码数据流组中的16个编码数据依序填充至16个子区域中的第一个位置(即左上角的位置)，经此步骤后，16个子区域的第一个位置(即左上角的位置)均被填充了编码数据；然后，再将第二组待加载子编码数据流组中的16个编码数据依序填充至16个子区域中的第二个位置(即与第一个位置相邻、位于第一个位置之后的位置)，经此步骤后，16个子区域的第一个位置(即左上角的位置)和第二个位置(即与第一个位置相邻、位于第一个位置之后的位置)均被填充了编码数据。以此类推，直至将所有待加载子编码数据流组中的编码数据均填充至16个子区域中。

步骤A5，结合被填充的编码属性块以及数据区域，得到待加载数据对应的二维码。

在一个实施例中，由于单幅编码图样可以存储的数据量有限，当要传输的数据较多时，单幅编码图样的容量就会不够存储所有待传输的数据。因此，需要将待传输的数据分成多组数据，并分别编码为多个编码图样进行传输。那么，在执行上述步骤A1-A5之前，还需将待加载数据划分为多个待加载子数据组，进而再根据上述步骤A1-A5生成各待加载子数据组分别对应的图形码。

在一个实施例中，可按照如下步骤B1-B4将待加载数据划分为多个待加载子数据组：

步骤B1，确定各待加载子数据组中的数据头信息的长度，数据头信息包括待加载子数据组的组编号(用于标识当前组是待加载数据中的哪一组)、数据长度、校验码、纠错码中的至少一项。其中，校验码可包括奇偶校验码，奇偶校验码的计算方式为将待加载子数据组中的所有字节和数据头信息除校验码之外进行异或。在进行奇偶校验时，只需将待加载子数据组中的所有字节和数据头信息进行异或，如果异或的结果为0，则校验成功，否则校验失败。

步骤B2，根据图形码的编码容量确定最大单组数据长度。

其中，图形码的编码容量由图形码的长宽决定，最大单组数据长度指的是每组中所能容纳的所有数据的总长度。与最大单组数据长度不超过图形码的编码容量。在本实施例中，最大单组数据长度可等于图形码的编码容量。

步骤B3，根据数据头信息的长度以及最大单组数据长度，计算待加载子数据组的单组有效数据长度。

一般来说，最后一组的单组有效数据长度比其他组的单组有效数据长度较小，因此，为了解码时不产生空白，需在每组之前加入L字节的数据记录本组的单组有效数据长度。假设最大单组数据长度为C，那么单组有效数据长度K≤C-L。

步骤B4，按照每组数据长度为单组有效数据长度的规则将待加载数据划分为多个待加载子数据组。

举例而言，如果待加载数据的长度为N字节，单组有效数据长度为K字节，数据头信息的长度为H字节。那么，可将待加载数据划分为

组，其中，

表示对X向上取整。每组的数据长度分别为K，K，K，…，K′＝N-(G-1)K。

按照上述步骤B1-B4将待加载数据划分为多个待加载子数据组之后，即可按照上述步骤A1-A5生成各待加载子数据组分别对应的图形码。

生成待加载数据对应的至少一个图形码之后，继续执行步骤S103，即针对每个图形码，分别从载体视频中提取待承载图形码的至少两个帧图像。在一个实施例中，步骤S103可实施为以下方式：

首先，将载体视频的帧率扩展至预设帧率，预设帧率不低于人眼能够分辨的最大采样率的二倍。随着屏幕与摄像头技术更加发达，120Hz帧率/采样率的屏幕和摄像头随之出现，使得对人眼隐藏图形码变得有可能。人眼最大能感受到的频率是30Hz，根据奈奎斯特采样定律，相应的采样率是60Hz，相比120Hz少了一半。因此，只要让待传输数据以60Hz的频率变化，就可以在人眼无法察觉的情况下传输信息。由此可知，预设帧率可设置为不低于120Hz。

例如，假设载体视频的帧率为30Hz，预设帧率为120Hz，那么可将载体视频中的每一个帧图像复制为4帧，这样即可使载体视频的帧率扩展至预设帧率120Hz。

其次，从预设帧率的载体视频中提取待承载图形码的至少两个帧图像，其中，承载同一二维码的至少两个帧图像相同。在一个实施例中，当生成多个图形码时，该步骤可执行为：从载体视频中提取各图形码分别对应的至少两个帧图像。

例如，载体视频共有1200帧，经上述步骤生成的二维码共有10个，则可从载体视频中依次提取10组120帧，即，每相邻120个帧图像承载同一二维码。优选的，承载同一二维码的120个帧图像相同，或者其中的部分帧图像相同。

在生成图形码、并提取出待承载图形码的帧图像之后，执行步骤S104，即确定图形码在至少两个帧图像中的每个像素点处的颜色信息。在一个实施例中，颜色信息包括黑色和白色两种，那么，该步骤即为确定图形码在至少两个帧图像中的每个像素点处的颜色是黑色或者白色。

确定图形码在至少两个帧图像中的每个像素点处的颜色信息之后，继续执行步骤S105，即根据颜色信息以及预设调节规则，调节至少两个帧图像在各像素点处的亮度。为使调节亮度之后的帧图像在各像素点承载图形码之后能够形成亮度差，通常可采用如下任一种方式来调节帧图像在个像素点处的亮度：

方式一、当颜色信息为黑色时，提高相邻两个帧图像中的前一帧在颜色信息对应的像素点处的亮度，降低相邻两个帧图像中的后一帧在颜色信息对应的像素点处的亮度；当颜色信息为白色时，降低相邻两个帧图像中的前一帧在颜色信息对应的像素点处的亮度，提高相邻两个帧图像中的后一帧在颜色信息对应的像素点处的亮度。

图4为采用上述方式一来调节帧图像亮度的示意图。在图4中，以二维码为例，左边的图案表示二维码中的部分码块(包括4个码块)，右边的图案表示4个码块对应的像素点处的亮度调节方式，其中，符号“Δ”表示亮度，“+”表示提高亮度，“-”表示降低亮度。那么，从图4可看出，对于黑色码块，其对应的像素点处的亮度调节方式为：相邻两个帧图像中的前一帧在该像素点处的亮度被提高，同时后一个帧图像在该像素点处的亮度被降低。反之，对于白色码块，其对应的像素点处的亮度调节方式为：相邻两个帧图像中的前一帧在该像素点处的亮度被降低，同时后一个帧图像在该像素点处的亮度被提高。

方式二、当颜色信息为黑色时，降低相邻两个帧图像中的前一帧在颜色信息对应的像素点处的亮度，提高相邻两个帧图像中的后一帧在颜色信息对应的像素点处的亮度；当颜色信息为白色时，提高相邻两个帧图像中的前一帧在颜色信息对应的像素点处的亮度，降低相邻两个帧图像中的后一帧在颜色信息对应的像素点处的亮度。

采用方式二调节帧图像在各像素点处的亮度时，与上述方式一恰好相反，在此不一一举例。

图5示出了一实施例中对于承载不同图形码的亮度调节方式的示意性坐标图。其中，图形码1和图形码2为两个不同的图形码，坐标轴的横坐标表示帧编号，纵坐标表示亮度变化。符号“Δ”表示亮度，“+”表示提高亮度，“-”表示降低亮度。从图5可看出，对于图形码1，反复采用上述方式一的方式对帧图像的亮度进行调节，即，针对承载图形码1的多个帧图像，第一个帧图像提高亮度，第二个帧图像降低亮度，第三个帧图像提高亮度，……，如此反复，直至调节完承载图形码1的所有帧图像。对于图形码2，也采用与图形码1相同的亮度调节方式，即，针对承载图形码2的多个帧图像，第一个帧图像提高亮度，第二个帧图像降低亮度，第三个帧图像提高亮度，……，如此反复，直至调节完承载图形码2的所有帧图像。

调节待承载图形码的帧图像在各像素点处的亮度之后，继续执行步骤S106，即将图形码载入调节后的至少两个帧图像中，并合并承载图形码的各帧图像。在一个实施例中，载体视频的所有帧图像均承载了图形码，因此，在将图形码载入载体视频的所有帧图像中之后，需将这些承载图形码的帧图像重新合并为一个视频，即可得到承载了图形码的嵌码视频了。

以上为本申请实施例提供的生成数据关系模型的方法，基于同样的思路，本申请实施例还提供一种视频中嵌入图形码的装置。

图6是根据本发明实施例的视频中嵌入图形码的装置的示意性框图。如图6所示，该装置包括：

编码模块610，用于根据至少两种指定编码方式以及每个指定编码方式对应的纠错等级，依次对待加载数据进行编码，得到待加载编码数据流，待加载编码数据流中包括待加载数据对应的编码数据以及纠错位；

生成模块620，用于将待加载编码数据流中的各编码数据以及包括纠错位的编码属性信息分别填充至待生成图形码中的指定编码位置，以生成待加载数据对应的至少一个图形码；

提取模块630，用于针对每个图形码，分别从载体视频中提取待承载图形码的至少两个帧图像；

确定模块640，用于确定图形码在至少两个帧图像中的每个像素点处的颜色信息；

调节模块650，用于根据颜色信息以及预设调节规则，调节至少两个帧图像在各像素点处的亮度，预设调节规则包括相邻两个帧图像在同一像素点处的调节方式不同、且不同颜色信息在同一帧图像中对应的像素点处的调节方式不同，调节方式包括提高亮度和/或降低亮度；

载入/合并模块660，用于将图形码载入调节后的至少两个帧图像中，合并承载图形码的各帧图像，得到承载图形码的目标视频。

可选地，调节模块650还用于：

当颜色信息为黑色时，提高相邻两个帧图像中的前一帧在颜色信息对应的像素点处的亮度，降低相邻两个帧图像中的后一帧在颜色信息对应的像素点处的亮度；当颜色信息为白色时，降低相邻两个帧图像中的前一帧在颜色信息对应的像素点处的亮度，提高相邻两个帧图像中的后一帧在颜色信息对应的像素点处的亮度；

或者，

当颜色信息为黑色时，降低相邻两个帧图像中的前一帧在颜色信息对应的像素点处的亮度，提高相邻两个帧图像中的后一帧在颜色信息对应的像素点处的亮度；当颜色信息为白色时，提高相邻两个帧图像中的前一帧在颜色信息对应的像素点处的亮度，降低相邻两个帧图像中的后一帧在颜色信息对应的像素点处的亮度。

可选地，图形码包括二维码，指定编码位置包括编码属性块和数据区域，编码属性块环绕于数据区域的外围，指定编码方式包括里德-所罗门编码和/或卷积码，编码属性信息还包括指定编码方式及其纠错等级、校验位中的至少一项；

生成模块620还用于：

将编码属性信息填充至编码属性块中；

利用交织算法将待加载编码数据流中的各编码数据依次填充至数据区域中；

结合被填充的编码属性块以及数据区域，得到待加载数据对应的二维码。

可选地，数据区域中包括M个子区域；

生成模块620还用于：

将待加载编码数据流划分为每组包含M个编码数据的待加载子编码数据流组；

将每组待加载子编码数据流组中的M个编码数据依次填充至M个子区域中的第一位置；

将下一组待加载子编码数据流组中的M个编码数据依次填充至M个子区域中的第二位置，直至将每组待加载子编码数据流组中的编码数据均填充至数据区域中，其中，第二位置与其所在的子区域中的第一位置相邻。

可选地，提取模块630还用于：

将载体视频的帧率扩展至预设帧率，预设帧率不低于人眼能够分辨的最大采样率的二倍；

从预设帧率的载体视频中提取待承载图形码的至少两个帧图像，其中，承载同一二维码的至少两个帧图像相同。

可选地，上述装置还包括：划分模块，用于当图形码包括多个时，将待加载数据划分为多个待加载子数据组；

相应地，编码模块610还用于：

根据所述至少两种指定编码方式以及每个所述指定编码方式对应的纠错等级，依次对每个所述待加载子数据组进行编码，得到多个待加载编码数据流。

可选地，生成模块620还用于：

确定各待加载子数据组中的数据头信息的长度，数据头信息包括待加载子数据组的组编号、数据长度、校验码、纠错码中的至少一项；

根据图形码的编码容量确定最大单组数据长度；

根据数据头信息的长度以及最大单组数据长度，计算待加载子数据组的单组有效数据长度；

按照每组数据长度为单组有效数据长度的规则将待加载数据划分为多个待加载子数据组。

采用本发明实施例的装置，首先根据至少两种指定编码方式及其各自对应的纠错等级依次对待加载数据进行编码，以及将编码得到的待加载编码数据流中的各数据分别填充至指定编码位置，以生成进行编码，以及将编码得到的待加载编码数据流中的各数据分别填充至指定编码位置，以对应的至少一个图形码，其中，多种指定编码方式使得待加载数据对应的图形码更加可靠稳定，且由于多种指定编码能够产生多种不同的纠错等级，因此可满足不同情况下对纠错能力的需求。进而，针对每个图形码，分别从载体视频中提取待承载图形码的至少两个帧图像，并确定图形码在至少两个帧图像中的每个像素点处的颜色信息，并根据该颜色信息以及预设调节规则调节帧图像在各像素点处的亮度，其中，预设调节规则包括相邻两个帧图像在同一像素点处的调节方式不同、且不同颜色信息在同一帧图像中对应的像素点处的调节方式不同。最后将图形码载入调节亮度之后的帧图像中，并合并承载图形码的各帧图像，以实现帧图像和图形码的融合。可见，该技术方案通过调节相邻两个帧图像在各像素点的亮度来实现载体视频和图形码的融合，使得相邻两帧图像在各像素点处形成亮度差，且该亮度差根据图形码的颜色不同而不同，进而使得载体视频承载图形码后能够兼顾人眼视觉，即人眼在观看承载图形码的嵌码视频时和未承载图形码的载体视频时并无差别，实现了使用载体视频传输大量信息、且不影响用户观看视频的效果。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device，PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (6)

1.一种视频中嵌入图形码的方法，其特征在于，包括：

根据至少两种指定编码方式以及每个所述指定编码方式对应的纠错等级，依次对待加载数据进行编码，得到待加载编码数据流，所述待加载编码数据流中包括所述待加载数据对应的编码数据以及纠错位；

将所述待加载编码数据流中的各编码数据以及包括所述纠错位的编码属性信息分别填充至待生成图形码中的指定编码位置，以生成所述待加载数据对应的至少一个图形码；

针对每个所述图形码，分别从载体视频中提取待承载所述图形码的至少两个帧图像；

确定所述图形码在所述至少两个帧图像中的每个像素点处的颜色信息；

根据所述颜色信息以及预设调节规则，调节所述至少两个帧图像在各像素点处的亮度，所述预设调节规则包括相邻两个帧图像在同一像素点处的调节方式不同、且不同颜色信息在同一帧图像中对应的像素点处的调节方式不同，所述调节方式包括提高亮度和/或降低亮度；

将所述图形码载入所述调节后的至少两个帧图像中，合并承载所述图形码的各帧图像，得到承载所述图形码的目标视频；

所述图形码包括二维码，所述指定编码位置包括编码属性块和数据区域，所述编码属性块环绕于所述数据区域的外围，所述指定编码方式包括里德-所罗门编码和/或卷积码，所述编码属性信息还包括所述指定编码方式及其纠错等级、校验位中的至少一项；

将所述待加载编码数据流中的各编码数据以及包括所述纠错位的编码属性信息分别填充至待生成图形码中的指定编码位置，以生成所述待加载数据对应的至少一个图形码，包括：

将所述编码属性信息填充至所述编码属性块中；

利用交织算法将所述待加载编码数据流中的各编码数据依次填充至所述数据区域中；

结合被填充的所述编码属性块以及所述数据区域，得到所述待加载数据对应的二维码；

所述数据区域中包括M个子区域；

所述利用交织算法将所述待加载编码数据流中的各编码数据依次填充至所述数据区域中，包括：

将所述待加载编码数据流划分为每组包含M个编码数据的待加载子编码数据流组；

将每组所述待加载子编码数据流组中的M个编码数据依次填充至所述M个子区域中的第一位置；

将下一组所述待加载子编码数据流组中的M个编码数据依次填充至所述M个子区域中的第二位置，直至将每组所述待加载子编码数据流组中的编码数据均填充至所述数据区域中，其中，所述第二位置与其所在的子区域中的所述第一位置相邻。

2.根据权利要求1所述的方法，其特征在于，针对每个所述图形码，分别从载体视频中提取待承载所述图形码的至少两个帧图像，包括：

将所述载体视频的帧率扩展至预设帧率，所述预设帧率不低于人眼能够分辨的最大采样率的二倍；

从预设帧率的载体视频中提取待承载所述图形码的至少两个帧图像，其中，承载同一所述二维码的至少两个帧图像相同。

3.根据权利要求1所述的方法，其特征在于，当所述图形码包括多个时，所述根据至少两种指定编码方式以及每个所述指定编码方式对应的纠错等级，依次对待加载数据进行编码之前，所述方法还包括：

将所述待加载数据划分为多个待加载子数据组；

相应地，根据至少两种指定编码方式以及每个所述指定编码方式对应的纠错等级，依次对待加载数据进行编码，得到待加载编码数据流，包括：

根据所述至少两种指定编码方式以及每个所述指定编码方式对应的纠错等级，依次对每个所述待加载子数据组进行编码，得到多个待加载编码数据流；

从载体视频中提取待承载所述图形码的至少两个帧图像，包括：

从载体视频中提取各图形码分别对应的至少两个帧图像。

4.根据权利要求3所述的方法，其特征在于，将所述待加载数据划分为多个待加载子数据组，包括：

确定各待加载子数据组中的数据头信息的长度，所述数据头信息包括所述待加载子数据组的组编号、数据长度、校验码、纠错码中的至少一项；

根据所述图形码的编码容量确定最大单组数据长度；

根据所述数据头信息的长度以及所述最大单组数据长度，计算所述待加载子数据组的单组有效数据长度；

按照每组数据长度为所述单组有效数据长度的规则将所述待加载数据划分为多个待加载子数据组。

5.根据权利要求1所述的方法，其特征在于，调节所述至少两个帧图像在各像素点处的亮度，包括：

当所述颜色信息为黑色时，提高所述相邻两个帧图像中的前一帧在所述颜色信息对应的像素点处的亮度，降低所述相邻两个帧图像中的后一帧在所述颜色信息对应的像素点处的亮度；当所述颜色信息为白色时，降低所述相邻两个帧图像中的前一帧在所述颜色信息对应的像素点处的亮度，提高所述相邻两个帧图像中的后一帧在所述颜色信息对应的像素点处的亮度；

或者，

当所述颜色信息为黑色时，降低所述相邻两个帧图像中的前一帧在所述颜色信息对应的像素点处的亮度，提高所述相邻两个帧图像中的后一帧在所述颜色信息对应的像素点处的亮度；当所述颜色信息为白色时，提高所述相邻两个帧图像中的前一帧在所述颜色信息对应的像素点处的亮度，降低所述相邻两个帧图像中的后一帧在所述颜色信息对应的像素点处的亮度。

6.一种视频中嵌入图形码的装置，其特征在于，包括：

编码模块，用于根据至少两种指定编码方式以及每个所述指定编码方式对应的纠错等级，依次对待加载数据进行编码，得到待加载编码数据流，所述待加载编码数据流中包括所述待加载数据对应的编码数据以及纠错位；

生成模块，用于将所述待加载编码数据流中的各编码数据以及包括所述纠错位的编码属性信息分别填充至待生成图形码中的指定编码位置，以生成所述待加载数据对应的至少一个图形码；

提取模块，用于针对每个所述图形码，分别从载体视频中提取待承载所述图形码的至少两个帧图像；

确定模块，用于确定所述图形码在所述至少两个帧图像中的每个像素点处的颜色信息；

调节模块，用于根据所述颜色信息以及预设调节规则，调节所述至少两个帧图像在各像素点处的亮度，所述预设调节规则包括相邻两个帧图像在同一像素点处的调节方式不同、且不同颜色信息在同一帧图像中对应的像素点处的调节方式不同，所述调节方式包括提高亮度和/或降低亮度；

载入/合并模块，用于将所述图形码载入所述调节后的至少两个帧图像中，合并承载所述图形码的各帧图像，得到承载所述图形码的目标视频；

所述图形码包括二维码，所述指定编码位置包括编码属性块和数据区域，所述编码属性块环绕于所述数据区域的外围，所述指定编码方式包括里德-所罗门编码和/或卷积码，所述编码属性信息还包括所述指定编码方式及其纠错等级、校验位中的至少一项；

所述生成模块还用于：

将所述编码属性信息填充至所述编码属性块中；

利用交织算法将所述待加载编码数据流中的各编码数据依次填充至所述数据区域中；

结合被填充的所述编码属性块以及所述数据区域，得到所述待加载数据对应的二维码；

所述数据区域中包括M个子区域；

所述生成模块还用于：

将所述待加载编码数据流划分为每组包含M个编码数据的待加载子编码数据流组；

将每组所述待加载子编码数据流组中的M个编码数据依次填充至所述M个子区域中的第一位置；

将下一组所述待加载子编码数据流组中的M个编码数据依次填充至所述M个子区域中的第二位置，直至将每组所述待加载子编码数据流组中的编码数据均填充至所述数据区域中，其中，所述第二位置与其所在的子区域中的所述第一位置相邻。

Images