CN103442289B - 一种基于纹理的图层叠加指纹嵌入方法和装置 - Google Patents

Abstract

本发明公开了一种基于纹理的图层叠加指纹嵌入方法和装置，该方法包括：接收携带有指纹位置信息数据包的合成视音频流；对接收到的所述合成视音频流解复用，得到指纹位置信息数据包和原始视音频流；对得到的指纹位置信息数据包进行解析，得到指纹位置信息；对得到的原始视音频流进行解码；根据用户唯一的标识信息生成用户指纹信息，并基于指纹位置信息对用户指纹信息嵌入位置的指示形成隐形指纹，将隐形指纹与解码后的原始视音频流基于图层叠加处理进行合成后同步输出。根据位置信息在数字电视设备中利用通用接口和图层叠加，实现了免除定制的情况下添加不可见指纹，添加的指纹在鲁棒性强且不影响用户观看的情况下保证了视频盗版追踪。

Description

一种基于纹理的图层叠加指纹嵌入方法和装置

技术领域

本发明涉及视频处理领域，尤其涉及一种基于纹理的图层叠加指纹嵌入方法和装置。

背景技术

数字技术的不断进步与广泛应用，促进了数字电视媒体行业的迅速发展，利用数字技术对数字电视节目进行摄制、存储、传输以及播放已经相当普及。电视节目的数字化极大地降低了整个行业的物资、人力成本，并且带来更多的数字化特有的效果。但安全问题一直是困扰数字电视节目的一大难题。

对数字电视节目版权持有者来说，每年因为盗版而为其带来了很大的经济损失，数字电视节目的发展要求行业内必须具有完善、健全的安全管理机制，否则无法避免盗版现象的发生。尽管数字电视条件接收技术已很完善，并已经广泛的全球的数字电视系统中，但是系统仅对电视节目的传输过程进行保护，一旦节目被解密输出就脱离了保护，即当内容被最终被合法用户解密后进行录制或者通过摄像机翻拍，盗版内容很容易被拷贝和分发。对解密后的媒体内容的进一步保护、对盗版内容进行追踪并找到盗版的源头等方面的技术还有待改进。现有指纹叠加技术主要是基于设备图层叠加的可见视频指纹（水印）技术，该技术在系统中实现，利用设备某图层（例如OSD）开放接口修改参数，使得不同用户的视频具有不同的可见指纹，从而达到版权保护，追踪盗版的目的。但是由于该技术的盗版追踪是依据人眼来进行判别，因此在盗版发生时，盗版用户也容易用肉眼识别出可见指纹，将指纹擦除或破坏，使得最终盗版最终失败。并且由于指纹可见，因此会对用户观看造成影响。

发明内容

本发明提供一种基于数字电视系统的设备图层叠加实现的给视频添加视觉不可见指纹，保证视频盗版追踪的指纹嵌入方法和装置。

为实现上述方法和装置，本发明采用以下技术方案：

一种基于纹理的图层叠加指纹嵌入方法，包括：

接收携带有指纹位置信息数据包的合成视音频流，所述指纹位置信息数据包封装有根据RGB颜色嵌入条件和纹理嵌入条件获得的指纹位置信息指示待嵌入指纹的位置；

对接收到的所述合成视音频流进行解复用处理，得到指纹位置信息数据包和原始视音频流；

对得到的所述指纹位置信息数据包进行解析，得到所述指纹位置信息；对得到的所述原始视音频流进行解码；

根据用户唯一的标识信息生成用户指纹信息，并基于所述指纹位置信息对所述用户指纹信息嵌入位置的指示形成隐形指纹，将所述隐形指纹与解码后的原始视音频流基于图层叠加处理进行合成后同步输出。

其中，所述指纹位置信息数据包的获取方法具体为：

将原始视音频流解码，将解码得到的视频流以若干帧为一个周期划分成多个帧周期，将帧周期内的每一帧划分成若干个互不重叠的像素块；获取每个帧周期内的指纹像素块，记录所述指纹像素块的位置信息；根据每一帧周期的指纹像素块的位置信息生成指纹位置信息数据包。

其中，所述指纹位置信息数据包的获取方法具体为：

将原始视音频流解码，将解码得到的视频流以50到100帧为一个周期，从第一帧开始获取第一个帧周期；

将帧周期内每一帧划分成若干个正方形的像素块，所述像素块的边长为n个像素，n的取值为8或16；

对于帧周期内第一帧的像素块，判断像素块是否符合RGB颜色嵌入条件和纹理嵌入条件，如果不符合，则此像素块不是指纹像素块，对下一个像素块进行判断；若符合，记录此像素块的位置，第一帧中的像素块判断结束后得到备用像素块位置;其中，所述符合RGB颜色嵌入条件具体为RGB颜色均值均在阈值范围内；

对于帧周期内第二帧到倒数第二帧的像素块，对前一帧得到的备用像素块位置的像素块，判断像素块是否符合RGB颜色嵌入条件和纹理嵌入条件，如果不符合，则此像素块不是指纹像素块，将其位置从备用像素块位置中删除；若符合，保留此像素块位置，每一帧判断结束后更新备用像素块位置；其中所述符合RGB颜色嵌入条件具体为RGB特征值均在阈值范围内；

对于帧周期内最后一帧的像素块，对前一帧得到的备用像素块位置的像素块，判断像素块是否符合RGB颜色嵌入条件和纹理嵌入条件，如果不符合，则此像素块不是指纹像素块，将其位置从备用像素块位置中删除；若符合，则此像素块获取为指纹像素块，并记录所述指纹像素块的位置信息；其中所述符合RGB颜色嵌入条件具体为RGB特征值均在阈值范围内；

判断帧周期获取的指纹像素块的位置信息，若所述帧周期内获取的所述位置信息为空，则从所述帧周期的第二帧开始获取新的帧周期，执行步骤将帧周期内每一帧划分成若干个正方形的像素块，所述像素块的边长为n个像素，n的取值为8或16；否则将所述纹像素块的位置信息生成指纹位置信息数据包，从所述帧周期之后的第一帧开始获取新的帧周期，执行步骤将帧周期内每一帧划分成若干个正方形的像素块，所述像素块的边长为n个像素，n的取值为8或 16；直到所述视频流最后不足一个帧周期；

将每一帧周期的指纹位置信息数据包和对应的原始视音频流合成处理成合成视音频流；

其中，所述RGB颜色均值具体的计算方法为： $\stackrel{\‾}{G}=\frac{1}{n\×n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}G(i,j),$ $\stackrel{\‾}{B}=\frac{1}{n\×n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}B(i,j),$ 其中n表示像素块的边长，i、j分别表示像素在像素块中横坐标和纵坐标，分别表示像素块中n×n个像素的R、G、B均值，RGB颜色均值的阈值范围为[Min，Max]，其中Min取值为30到50，Max取值为206到225；所述RGB特征值的具体计算方法为： $r^{\′}=\frac{\stackrel{\‾}{R}}{\stackrel{\‾}{R}+\stackrel{\‾}{G}+\stackrel{\‾}{B}},$ $g^{\′}=\frac{\stackrel{\‾}{G}}{\stackrel{\‾}{R}+\stackrel{\‾}{G}+\stackrel{\‾}{B}}$ $b^{\′}=\frac{\stackrel{\‾}{B}}{\stackrel{\‾}{R}+\stackrel{\‾}{G}+\stackrel{\‾}{B}},$ 其中r’、g’、b’分别表示当前像素块的RGB特征值，RGB特征值的阈值范围为|r'-r0|＜T1、|g'-g0|＜T2、|b'-b0|＜T3，其中r0、g0、b0分别表示当前像素块所在帧的前一帧中相同位置的像素块的RGB特征值，其中T1、T2、T3的取值范围均为[0.05,0.3]；所述符合纹理嵌入条件具体为像素块的LBP纹理特征值小于其所在帧的整体LBP纹理特征值，所述LBP纹理特征值的具体计算方法为： ${\mathrm{LBP}}_{P,R}(x_c,y_c)=\underset{n=0}{\overset{P-1}{\mathrm{\Σ}}}S(i_n-i_c+a)\·2^n,$ $S\left(x\right)=\left\{\begin{array}{cc}1& \mathrm{ifx}\≥0\\ 0& \mathrm{else}\end{array}\right.,$ 其中，(x_c,y_c)表示中心像素点的坐标，R表示以(x_c,y_c)为中心的环形邻域的半径，P表示环形邻域上的像素点的个数，i_n表示邻域上的像素点的灰度值，i_c表示中心像素点的灰度值，a表示整数常量，a的取值范围为[30,50]。

其中，所述对接收到的所述合成视音频流进行解复用处理，得到指纹位置信息数据包和原始视音频流具体为：

对接收到的所述合成视音频流进行解复用处理，得到以帧周期为单位的指 纹位置信息数据包和原始视音频流；

其中，所述根据用户唯一的标识信息生成用户指纹信息，并基于所述指纹位置信息对所述用户指纹信息嵌入位置的指示形成隐形指纹，将所述隐形指纹与解码后的原始视音频流基于图层叠加处理进行合成后同步输出具体为：

根据用户的唯一标识信息生成唯一的二进制的用户指纹信息，根据用户指纹信息修改屏幕菜单调节控制器的RGB值及透明度值，根据指纹位置信息修改屏幕菜单调节控制器的位置参数，得到基于图层叠加的隐形指纹；

将所述隐形指纹与解码后的原始视音频流基于图层叠加处理进行合成后同步输出将隐形指纹与解码后的原始视音频流合成同步输出，合成时将隐形指纹从第一个指纹位置信息数据包不为空的帧周期开始，对于所有指纹位置信息数据包不为空的帧周期，将隐形指纹循环与解码后的原始视频叠加。

一种基于纹理的图层叠加指纹嵌入装置，包括：

视频接收单元，用于接收携带有指纹位置信息数据包的合成视音频流，所述指纹位置信息数据包封装有根据RGB颜色嵌入条件和纹理嵌入条件获得的指纹位置信息指示待嵌入指纹的位置；

解复用单元，用于对接收到的所述合成视音频流进行解复用处理，得到指纹位置信息数据包和原始视音频流；

解析解码单元，用于对得到的所述指纹位置信息数据包进行解析，得到所述指纹位置信息；对得到的所述原始视音频流进行解码；

指纹嵌入单元，用于根据用户唯一的标识信息生成用户指纹信息，并基于所述指纹位置信息对所述用户指纹信息嵌入位置的指示形成隐形指纹，将所述隐形指纹与解码后的原始视音频流基于图层叠加处理进行合成后同步输出。

其中，所述指纹位置信息数据包的获取方法具体为：

将原始视音频流解码，将解码得到的视频流以若干帧为一个周期划分成多个帧周期，将帧周期内的每一帧划分成若干个互不重叠的像素块；获取每个帧周期内的指纹像素块，记录所述指纹像素块的位置信息；根据每一帧周期的指纹像素块的位置信息生成指纹位置信息数据包。

其中，所述指纹位置信息数据包的获取方法具体为：

将原始视音频流解码，将解码得到的视频流以50到100帧为一个周期，从第一帧开始获取第一个帧周期；

将帧周期内每一帧划分成若干个正方形的像素块，所述像素块的边长为n个像素，n的取值为8或16；

对于帧周期内第一帧的像素块，判断像素块是否符合RGB颜色嵌入条件和纹理嵌入条件，如果不符合，则此像素块不是指纹像素块，对下一个像素块进行判断；若符合，记录此像素块的位置，第一帧中的像素块判断结束后得到备用像素块位置;其中，所述符合RGB颜色嵌入条件具体为RGB颜色均值均在阈值范围内；

对于帧周期内第二帧到倒数第二帧的像素块，对前一帧得到的备用像素块位置的像素块，判断像素块是否符合RGB颜色嵌入条件和纹理嵌入条件，如果不符合，则此像素块不是指纹像素块，将其位置从备用像素块位置中删除；若符合，保留此像素块位置，每一帧判断结束后更新备用像素块位置；其中所述符合RGB颜色嵌入条件具体为RGB特征值均在阈值范围内；

对于帧周期内最后一帧的像素块，对前一帧得到的备用像素块位置的像素块，判断像素块是否符合RGB颜色嵌入条件和纹理嵌入条件，如果不符合，则此像素块不是指纹像素块，将其位置从备用像素块位置中删除；若符合，则此像素块获取为指纹像素块，并记录所述指纹像素块的位置信息；其中所述符合 RGB颜色嵌入条件具体为RGB特征值均在阈值范围内；

判断帧周期获取的指纹像素块的位置信息，若所述帧周期内获取的所述位置信息为空，则从所述帧周期的第二帧开始获取新的帧周期，执行步骤将帧周期内每一帧划分成若干个正方形的像素块，所述像素块的边长为n个像素，n的取值为8或16；否则将所述纹像素块的位置信息生成指纹位置信息数据包，从所述帧周期之后的第一帧开始获取新的帧周期，执行步骤将帧周期内每一帧划分成若干个正方形的像素块，所述像素块的边长为n个像素，n的取值为8或16；直到所述视频流最后不足一个帧周期；

将每一帧周期的指纹位置信息数据包和对应的原始视音频流合成处理成合成视音频流；

其中，所述RGB颜色均值具体的计算方法为： $\stackrel{\‾}{G}=\frac{1}{n\×n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}G(i,j),$ $\stackrel{\‾}{B}=\frac{1}{n\×n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}B(i,j),$ 其中n表示像素块的边长，i、j分别表示像素在像素块中横坐标和纵坐标，分别表示像素块中n×n个像素的R、G、B均值，RGB颜色均值的阈值范围为[Min，Max]，其中Min取值为30到50，Max取值为206到225；所述RGB特征值的具体计算方法为： $r^{\′}=\frac{\stackrel{\‾}{R}}{\stackrel{\‾}{R}+\stackrel{\‾}{G}+\stackrel{\‾}{B}},$ $g^{\′}=\frac{\stackrel{\‾}{G}}{\stackrel{\‾}{R}+\stackrel{\‾}{G}+\stackrel{\‾}{B}}$ $b^{\′}=\frac{\stackrel{\‾}{B}}{\stackrel{\‾}{R}+\stackrel{\‾}{G}+\stackrel{\‾}{B}},$ 其中r’、g’、b’分别表示当前像素块的RGB特征值，RGB特征值的阈值范围为|r'-r0|＜T1、|g'-g0|＜T2、|b'-b0|＜T3，其中r0、g0、b0分别表示当前像素块所在帧的前一帧中相同位置的像素块的RGB特征值，其中T1、T2、T3的取值范围均为[0.05,0.3]；所述符合纹理嵌入条件具体为像素块的LBP纹理特征值小于其所在帧的整体LBP纹理特征值，所述LBP纹理特征值的具体计算方法为： ${\mathrm{LBP}}_{P,R}(x_c,y_c)=\underset{n=0}{\overset{P-1}{\mathrm{\Σ}}}S(i_n-i_c+a)\·2^n,$ $S\left(x\right)=\left\{\begin{array}{cc}1& \mathrm{ifx}\≥0\\ 0& \mathrm{else}\end{array}\right.,$ 其中，(x_c,y_c)表示中心像素点的坐标，R表示以(x_c,y_c)为中心的环形邻域的半径，P表示环形邻域上的像素点的个数，i_n表示邻域上的像素点的灰度值，i_c表示中心像素点的灰度值，a表示整数常量，a的取值范围为[30,50]。

其中，所述解复用单元具体用于对接收到的所述合成视音频流进行解复用处理，得到以帧周期为单位的指纹位置信息数据包和原始视音频流；

其中，所述指纹嵌入单元包括：

指纹生成模块，根据用户的唯一标识信息生成唯一的二进制的用户指纹信息，根据用户指纹信息修改屏幕菜单调节控制器的RGB值及透明度值，根据指纹位置信息修改屏幕菜单调节控制器的位置参数，得到基于图层叠加的隐形指纹；

指纹叠加模块，将所述隐形指纹与解码后的原始视音频流基于图层叠加处理进行合成后同步输出将隐形指纹与解码后的原始视音频流合成同步输出，合成时将隐形指纹从第一个指纹位置信息数据包不为空的帧周期开始，对于所有指纹位置信息数据包不为空的帧周期，将隐形指纹循环与解码后的原始视频叠加。

本发明的有益效果在于：接收携带有指纹位置信息的合成视频流，根据位置信息在数字电视设备中利用通用接口和图层叠加，实现了免除定制的情况下添加不可见指纹，添加的指纹在鲁棒性强且不影响用户观看的情况下保证了视频盗版追踪。

附图说明

图1是本发明一种基于纹理的图层叠加指纹嵌入方法的第一实施例流程 图；

图2a是本发明一种基于纹理的图层叠加指纹嵌入方法的第二实施例流程图；

图2b是本发明一种基于纹理的图层叠加指纹嵌入方法的第二实施例中LBP的三种算子示意图；

图2c是本发明一种基于纹理的图层叠加指纹嵌入方法的第二实施例中叠加的指纹能够抵抗的视频指纹攻击的种类图；

图3a是本发明一种基于纹理的图层叠加指纹嵌入装置的第一实施例结构方框图；

图3b是本发明一种基于纹理的图层叠加指纹嵌入装置的视频划分单元的结构方框图。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

图1是本发明一种基于纹理的图层叠加指纹嵌入方法的第一实施例流程图，如图所示，该方法包括：

步骤110：接收携带有指纹位置信息数据包的合成视音频流，所述指纹位置信息数据包封装有根据RGB颜色嵌入条件和纹理嵌入条件获得的指纹位置信息指示待嵌入指纹的位置；

步骤120：对接收到的所述合成视音频流进行解复用处理，得到指纹位置信息数据包和原始视音频流；

步骤130：对得到的所述指纹位置信息数据包进行解析，得到所述指纹位置信息；对得到的所述原始视音频流进行解码；

步骤140：根据用户唯一的标识信息生成用户指纹信息，并基于所述指纹位 置信息对所述用户指纹信息嵌入位置的指示形成隐形指纹，将所述隐形指纹与解码后的原始视音频流基于图层叠加处理进行合成后同步输出。

本发明中所述指纹并不是指自然意义上的人的手指的纹路，而是指根据特有信息生成的特有符号。在本发明中，根据位置信息在数字电视设备中利用通用接口和图层叠加，根据用户唯一的标识信息生成用户指纹信息和指纹位置信息得到基于图层叠加的隐形指纹，将隐形指纹与解码后的原始视音频流合成同步输出。实现了免除定制的情况下添加不可见指纹，添加的指纹在鲁棒性强且不影响用户观看的情况下保证了视频盗版追踪。在前端获取指纹嵌入的位置信息，根据位置信息在数字电视设备中利用通用接口和图层叠加，实现了免除定制的情况下添加不可见指纹，添加的指纹在鲁棒性强且不影响用户观看的情况下保证了视频盗版追踪。

图2a是本发明一种基于纹理的图层叠加指纹嵌入方法的第二实施例流程图，如图所示，该方法包括：

步骤201：将原始视音频流解码，将解码得到的视频流以50到100帧为一个周期，将所述视频流划分成多个帧周期。

步骤202：将帧周期内每一帧划分成若干个正方形的像素块，所述像素块的边长为n个像素，n的取值为8或16。

步骤203：对于帧周期内第一帧的像素块，判断像素块是否符合RGB颜色嵌入条件和纹理嵌入条件，如果不符合，则此像素块不是指纹像素块，对下一个像素块进行判断；若符合，记录此像素块的位置，第一帧中的像素块判断结束后得到备用像素块位置；其中，所述符合RGB颜色嵌入条件具体为RGB颜色均值均在阈值范围内。

步骤204：对于帧周期内第二帧到倒数第二帧的像素块，对前一帧得到的备 用像素块位置的像素块，判断像素块是否符合RGB颜色嵌入条件和纹理嵌入条件，如果不符合，则此像素块不是指纹像素块，将其位置从备用像素块位置中删除；若符合，保留此像素块位置，每一帧判断结束后更新备用像素块位置；其中所述符合RGB颜色嵌入条件具体为RGB特征值均在阈值范围内。

步骤205：对于帧周期内最后一帧的像素块，对前一帧得到的备用像素块位置的像素块，判断像素块是否符合RGB颜色嵌入条件和纹理嵌入条件，如果不符合，则此像素块不是指纹像素块，将其位置从备用像素块位置中删除；若符合，则此像素块获取为指纹像素块，并记录所述指纹像素块的位置信息；其中所述符合RGB颜色嵌入条件具体为RGB特征值均在阈值范围内。

其中，所述RGB颜色均值具体的计算方法为： $\stackrel{\‾}{G}=\frac{1}{n\×n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}G(i,j),$ $\stackrel{\‾}{B}=\frac{1}{n\×n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}B(i,j),$ 其中n表示像素块的边长，i、j分别表示像素在像素块中横坐标和纵坐标，分别表示像素块中n×n个像素的R、G、B均值，RGB颜色均值的阈值范围为[Min，Max]，其中Min取值为30到50，具体为30、40或50，Max取值为206到225，具体为206、215或225；所述RGB特征值的具体计算方法为： 其中r’、g’、b’分别表示当前像素块的RGB特征值，RGB特征值的阈值范围为|r'-r0|＜T1、|g'-g0|＜T2、|b'-b0|＜T3，其中r0、g0、b0分别表示当前像素块所在帧的前一帧中相同位置的像素块的RGB特征值，其中T1、T2、T3的取值范围均为[0.05,0.3]，具体为0.05、0.15或0.3；所述符合纹理嵌入条件具体为像素块的LBP纹理特征值小于其所在帧的整体LBP纹理特征值，所 述LBP纹理特征值的具体计算方法为： ${\mathrm{LBP}}_{P,R}(x_c,y_c)=\underset{n=0}{\overset{P-1}{\mathrm{\Σ}}}S(i_n-i_c+a)\·2^n,$ $S\left(x\right)=\left\{\begin{array}{cc}1& \mathrm{ifx}\≥0\\ 0& \mathrm{else}\end{array}\right.,$ 其中，(x_c,y_c)表示中心像素点的坐标，R表示以(x_c,y_c)为中心的环形邻域的半径，P表示环形邻域上的像素点的个数，i_n表示邻域上的像素点的灰度值，i_c表示中心像素点的灰度值，a表示整数常量，a的取值范围为[30,50]，具体为30、40或50。

RGB色彩模式是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是目前运用最广的颜色系统之一。在视频中每个像素点一般用Y、U、V三个分量来表征，因此需要将Y、U、V分量换算成R、G、B分量。具体的获取方法现有技术已多有说明，此处不再赘述，在得到每个像素R、G、B分量后根据上述方法计算RGB均值、RGB特征值、LBP纹理特征值以作判断。

LBP利用每个像素及其半径为R的环形邻域上的P个像素点的联合分布来描述图像的纹理。不同的（P,R）组合，LBP算子也不相同，图2b为3种不同的LBP算子。在本实施例中，我们选取P=8，R=1。对于3×3区域，将边缘像素自左上角开始顺时针进行标号，那么中心像素点(x_c,y_c)的LBP纹理特征计算如下：

${\mathrm{LBP}}_{P,R}(x_c,y_c)=\underset{n=0}{\overset{P-1}{\mathrm{\Σ}}}S(i_n-i_c+a)\·2^n,$ $S\left(x\right)=\left\{\begin{array}{cc}1& \mathrm{ifx}\≥0\\ 0& \mathrm{else}\end{array}\right.,$

其中，其中，(x_c,y_c)表示中心像素点的坐标，R表示以(x_c,y_c)为中心的环形邻域的半径，P表示环形邻域上的像素点的个数，i_n表示邻域上的像素点的灰度值，i_c表示中心像素点的灰度值，a表示整数常量。在平坦无纹理区域LBP取 值较大，在上述计算公式中，当每个i_n≥i_c-a时，LBP取得最大值将每个16×16像素块根据需要选择一系列样本像素点，如在不考虑最后一行和最后一列的情况下，将区域分成25个8邻域块，在R、G、B分量上分别计算其LBP纹理值(共75个)，并判断是否纹理区域。当区域块的LBP纹理特征值小于其所在帧的整体LBP纹理特征值时，该16×16像素块判定为纹理特征块，否则即为非纹理特征块。

步骤206：根据本帧周期中的指纹位置信息更新指纹位置信息数据包。

步骤207：判断本帧周期内获取的指纹位置信息是否为空，是则执行步骤208，否则执行步骤209。

步骤208：从本帧周期的第二帧开始获取新的帧周期，执行步骤210。

步骤209：从本帧周期后的第一帧开始获取新的帧周期，执行步骤210。

步骤210：判断是否获取到新的帧周期，是则执行步骤202，否则执行步骤211。

若帧周期划分到视频流尾部达不到预定的一个帧周期的帧数目，则在获取指纹像素块位置的时候将尾部的不够一个帧周期的那些帧忽略。

步骤211：将每一帧周期的指纹位置信息数据包和对应的原始视音频流合成处理成合成视音频流。

步骤212：接收携带有指纹位置信息数据包的合成视音频流，所述指纹位置信息数据包封装有根据RGB颜色嵌入条件和纹理嵌入条件获得的指纹位置信息指示待嵌入指纹的位置；

步骤213：所述对收到的所述合成视音频流解复用，得到以帧周期为单位的指纹位置信息数据包和原始视音频流。

步骤214：对解复用得到的指纹位置信息数据包进行解析得到指纹位置信息，对解复用得到的原始视音频流解码得到原始视音频流。

步骤215：根据用户的唯一标识信息生成唯一的二进制的用户指纹信息，根据用户指纹信息修改屏幕菜单调节控制器的RGB值及透明度值，根据指纹位置信息修改屏幕菜单调节控制器的位置参数，得到基于图层叠加的隐形指纹。

屏幕菜单调节控制器的RGB值及透明度值是根据用户指纹信息设置，不同的指纹信息对应不同的RGB值和透明度值。位置参数由指纹位置信息决定，通过修改位置参数来控制隐形指纹的位置。屏幕菜单调节控制器是通过控制RGB值、透明度值及位置参数生成基于图层叠加的隐形指纹。

步骤216：将所述隐形指纹与解码后的原始视音频流基于图层叠加处理进行合成后同步输出将隐形指纹与解码后的原始视音频流合成同步输出，合成时将隐形指纹从第一个指纹位置信息数据包不为空的帧周期开始，对于所有指纹位置信息数据包不为空的帧周期，将隐形指纹循环与解码后的原始视频叠加。

在隐形指纹与解码后的原始视频叠加时，对于可嵌帧周期，如果当前帧周期内的指纹位置位数（如4位二进制位）小于用户指纹信息位数（如8位二进制位），当前帧周期内的指纹位置未将用户指纹信息全部嵌入（嵌入用户指纹的4位），剩余的用户指纹信息（未嵌入的4位）能够在下一个帧周期内继续嵌入。如果当前帧周期内的指纹位置位数大于用户指纹信息位数，可按照用户指纹顺序从头到尾依次循环嵌入指纹信息，直到所有的指纹位置均嵌入1位的指纹信息。除第一个帧周期需要从指纹信息的第1位开始嵌入外，其它帧周期只需接前一帧周期最后1位的指纹信息继续嵌入。

本实施例是利用图层中的屏幕菜单调节控制器（OSD，on-screen display）图层修改参数，使得不同用户的视频具有不同的不可见的指纹，在实际运用中 亦可使用其他图层来实现指纹嵌入。当盗版发生时，盗版者为了毁灭蕴含在视频中的指纹信息，就会蓄意地对视频进行一定程度的更改，不仅如此，任何一些非蓄意的视频操作（例如AV录制），都会对视频本身带来伤害，从而使的视频指纹失效，无论蓄意的视频更改还是非蓄意的视频伤害，统称为视频指纹攻击。本视频指纹技术经过图2c所枚举的指纹攻击后，依然能够有效提取用户指纹信息，从而实现了盗版的准确追踪。

图3a是本发明一种基于纹理的图层叠加指纹嵌入装置100的第一实施例结构方框图，如图所示，该装置包括：

视频接收单元110，用于接收携带有指纹位置信息数据包的合成视音频流，所述指纹位置信息数据包封装有根据RGB颜色嵌入条件和纹理嵌入条件获得的指纹位置信息指示待嵌入指纹的位置；

解复用单元120，用于对接收到的所述合成视音频流进行解复用处理，得到指纹位置信息数据包和原始视音频流；

解析解码单元130，用于对得到的所述指纹位置信息数据包进行解析，得到所述指纹位置信息；对得到的所述原始视音频流进行解码；

指纹嵌入单元140，用于根据用户唯一的标识信息生成用户指纹信息，并基于所述指纹位置信息对所述用户指纹信息嵌入位置的指示形成隐形指纹，将所述隐形指纹与解码后的原始视音频流基于图层叠加处理进行合成后同步输出。

进一步地，所述指纹位置信息数据包的获取方法具体为：

将原始视音频流解码，将解码得到的视频流以若干帧为一个周期划分成多个帧周期，将帧周期内的每一帧划分成若干个互不重叠的像素块；获取每个帧周期内的指纹像素块，记录所述指纹像素块的位置信息；根据每一帧周期的指纹像素块的位置信息生成指纹位置信息数据包。

进一步地，所述指纹位置信息数据包的获取方法具体为：

将原始视音频流解码，将解码得到的视频流以50到100帧为一个周期，从第一帧开始获取第一个帧周期；

将帧周期内每一帧划分成若干个正方形的像素块，所述像素块的边长为n个像素，n的取值为8或16；

对于帧周期内第一帧的像素块，判断像素块是否符合RGB颜色嵌入条件和纹理嵌入条件，如果不符合，则此像素块不是指纹像素块，对下一个像素块进行判断；若符合，记录此像素块的位置，第一帧中的像素块判断结束后得到备用像素块位置;其中，所述符合RGB颜色嵌入条件具体为RGB颜色均值均在阈值范围内；

对于帧周期内第二帧到倒数第二帧的像素块，对前一帧得到的备用像素块位置的像素块，判断像素块是否符合RGB颜色嵌入条件和纹理嵌入条件，如果不符合，则此像素块不是指纹像素块，将其位置从备用像素块位置中删除；若符合，保留此像素块位置，每一帧判断结束后更新备用像素块位置；其中所述符合RGB颜色嵌入条件具体为RGB特征值均在阈值范围内；

对于帧周期内最后一帧的像素块，对前一帧得到的备用像素块位置的像素块，判断像素块是否符合RGB颜色嵌入条件和纹理嵌入条件，如果不符合，则此像素块不是指纹像素块，将其位置从备用像素块位置中删除；若符合，则此像素块获取为指纹像素块，并记录所述指纹像素块的位置信息；其中所述符合RGB颜色嵌入条件具体为RGB特征值均在阈值范围内；

判断帧周期获取的指纹像素块的位置信息，若所述帧周期内获取的所述位置信息为空，则从所述帧周期的第二帧开始获取新的帧周期，执行步骤将帧周期内每一帧划分成若干个正方形的像素块，所述像素块的边长为n个像素，n的 取值为8或16；否则将所述纹像素块的位置信息生成指纹位置信息数据包，从所述帧周期之后的第一帧开始获取新的帧周期，执行步骤将帧周期内每一帧划分成若干个正方形的像素块，所述像素块的边长为n个像素，n的取值为8或16；直到所述视频流最后不足一个帧周期；

将每一帧周期的指纹位置信息数据包和对应的原始视音频流合成处理成合成视音频流；

其中，所述RGB颜色均值具体的计算方法为： $\stackrel{\‾}{G}=\frac{1}{n\×n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}G(i,j),$ $\stackrel{\‾}{B}=\frac{1}{n\×n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}B(i,j),$ 其中n表示像素块的边长，i、j分别表示像素在像素块中横坐标和纵坐标，分别表示像素块中n×n个像素的R、G、B均值，RGB颜色均值的阈值范围为[Min，Max]，其中Min取值为30到50，具体为30、40或50，Max取值为206到225，具体为206、215或225；所述RGB特征值的具体计算方法为： 其中r’、g’、b’分别表示当前像素块的RGB特征值，RGB特征值的阈值范围为|r'-r0|＜T1、|g'-g0|＜T2、|b'-b0|＜T3，其中r0、g0、b0分别表示当前像素块所在帧的前一帧中相同位置的像素块的RGB特征值，其中T1、T2、T3的取值范围均为[0.05,0.3]，具体为0.05、0.15或0.3；所述符合纹理嵌入条件具体为像素块的LBP纹理特征值小于其所在帧的整体LBP纹理特征值，所述LBP纹理特征值的具体计算方法为： ${\mathrm{LBP}}_{P,R}(x_c,y_c)=\underset{n=0}{\overset{P-1}{\mathrm{\Σ}}}S(i_n-i_c+a)\·2^n,$ $S\left(x\right)=\left\{\begin{array}{cc}1& \mathrm{ifx}\≥0\\ 0& \mathrm{else}\end{array}\right.,$ 其中，(x_c,y_c)表示中心像素点的坐标，R表示以(x_c,y_c)为中心的环形邻域的半径，P表示环形邻域上的像素点的个数，i_n表示邻域上的像素 点的灰度值，i_c表示中心像素点的灰度值，a表示整数常量，a的取值范围为[30,50]，具体为30、40或50。

具体地，所述解复用单元具体用于对接收到的所述合成视音频流进行解复用处理，得到以帧周期为单位的指纹位置信息数据包和原始视音频流。

具体地，如图2b所示，指纹嵌入单元140包括：

指纹生成模块141，根据用户的唯一标识信息生成唯一的二进制的用户指纹信息，根据用户指纹信息修改屏幕菜单调节控制器的RGB值及透明度值，根据指纹位置信息修改屏幕菜单调节控制器的位置参数，得到基于图层叠加的隐形指纹；

指纹叠加模块142，将所述隐形指纹与解码后的原始视音频流基于图层叠加处理进行合成后同步输出将隐形指纹与解码后的原始视音频流合成同步输出，合成时将隐形指纹从第一个指纹位置信息数据包不为空的帧周期开始，对于所有指纹位置信息数据包不为空的帧周期，将隐形指纹循环与解码后的原始视频叠加。

在前端通过对视频流的每一帧中像素块根据RGB颜色嵌入条件和纹理嵌入条件进行判断，获得适合嵌入指纹的像素块，在根据唯一标识信息生成唯一的指纹信息和指纹位置信息得到基于图层叠加的隐形指纹，将隐形指纹与解码后的原始视音频流合成同步输出。实现了免除定制的情况下添加不可见指纹，添加的指纹在鲁棒性强且不影响用户观看的情况下保证了视频盗版追踪。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (6)

1.一种基于纹理的图层叠加指纹嵌入方法，其特征在于，包括：

接收携带有指纹位置信息数据包的合成视音频流，所述指纹位置信息数据包封装有根据RGB颜色嵌入条件和纹理嵌入条件获得的指纹位置信息指示待嵌入指纹的位置；

对接收到的所述合成视音频流进行解复用处理，得到指纹位置信息数据包和原始视音频流；

对得到的所述指纹位置信息数据包进行解析，得到所述指纹位置信息；对得到的所述原始视音频流进行解码；

根据用户唯一的标识信息生成用户指纹信息，并基于所述指纹位置信息对所述用户指纹信息嵌入位置的指示形成隐形指纹，将所述隐形指纹与解码后的原始视音频流基于图层叠加处理进行合成后同步输出；

其中，所述指纹位置信息数据包的获取方法具体为：

将原始视音频流解码，将解码得到的视频流以若干帧为一个周期划分成多个帧周期，将帧周期内的每一帧划分成若干个互不重叠的像素块；获取每个帧周期内的指纹像素块，记录所述指纹像素块的位置信息；根据每一帧周期的指纹像素块的位置信息生成指纹位置信息数据包；

其中，所述指纹位置信息数据包的获取方法具体为：

将原始视音频流解码，将解码得到的视频流以50到100帧为一个周期，从第一帧开始获取第一个帧周期；

将帧周期内每一帧划分成若干个正方形的像素块，所述像素块的边长为n个像素，n的取值为8或16；

对于帧周期内第一帧的像素块，判断像素块是否符合RGB颜色嵌入条件和纹理嵌入条件，如果不符合，则此像素块不是指纹像素块，对下一个像素块进行判断；若符合，记录此像素块的位置，第一帧中的像素块判断结束后得到备用像素块位置；其中，所述符合RGB颜色嵌入条件具体为RGB颜色均值均在阈值范围内；

对于帧周期内第二帧到倒数第二帧的像素块，对前一帧得到的备用像素块位置的像素块，判断像素块是否符合RGB颜色嵌入条件和纹理嵌入条件，如果不符合，则此像素块不是指纹像素块，将其位置从备用像素块位置中删除；若符合，保留此像素块位置，每一帧判断结束后更新备用像素块位置；其中所述符合RGB颜色嵌入条件具体为RGB特征值均在阈值范围内；

对于帧周期内最后一帧的像素块，对前一帧得到的备用像素块位置的像素块，判断像素块是否符合RGB颜色嵌入条件和纹理嵌入条件，如果不符合，则此像素块不是指纹像素块，将其位置从备用像素块位置中删除；若符合，则此像素块获取为指纹像素块，并记录所述指纹像素块的位置信息；其中所述符合RGB颜色嵌入条件具体为RGB特征值均在阈值范围内；

判断帧周期获取的指纹像素块的位置信息，若所述帧周期内获取的所述位置信息为空，则从所述帧周期的第二帧开始获取新的帧周期，执行步骤将帧周期内每一帧划分成若干个正方形的像素块，所述像素块的边长为n个像素，n的取值为8或16；否则将所述指纹像素块的位置信息生成指纹位置信息数据包，从所述帧周期之后的第一帧开始获取新的帧周期，执行步骤将帧周期内每一帧划分成若干个正方形的像素块，所述像素块的边长为n个像素，n的取值为8或16；直到所述视频流最后不足一个帧周期；

将每一帧周期的指纹位置信息数据包和对应的原始视音频流合成处理成合成视音频流；

其中，所述RGB颜色均值具体的计算方法为： 其中n表示像素块的边长，i、j分别表示像素在像素块中横坐标和纵坐标，分别表示像素块中n×n个像素的R、G、B均值，RGB颜色均值的阈值范围为[Min，Max]，其中Min取值为30到50，Max取值为206到225；所述RGB特征值的具体计算方法为：其中r’、g’、b’分别表示当前像素块的RGB特征值，RGB特征值的阈值范围为|r'-r0|＜T1、|g'-g0|＜T2、|b'-b0|＜T3，其中r0、g0、b0分别表示当前像素块所在帧的前一帧中相同位置的像素块的RGB特征值，其中T1、T2、T3的取值范围均为[0.05,0.3]；所述符合纹理嵌入条件具体为像素块的LBP纹理特征值小于其所在帧的整体LBP纹理特征值，所述LBP纹理特征值的具体计算方法为：其中，(x_c,y_c)表示中心像素点的坐标，R表示以(x_c,y_c)为中心的环形邻域的半径，P表示环形邻域上的像素点的个数，i_n表示邻域上的像素点的灰度值，i_c表示中心像素点的灰度值，a表示整数常量，a的取值范围为[30,50]。

2.根据权利要求1所述的一种基于纹理的图层叠加指纹嵌入方法，其特征在于，所述对接收到的所述合成视音频流进行解复用处理，得到指纹位置信息数据包和原始视音频流具体为：

对接收到的所述合成视音频流进行解复用处理，得到以帧周期为单位的指纹位置信息数据包和原始视音频流。

3.根据权利要求2所述的一种基于纹理的图层叠加指纹嵌入方法，其特征在于，所述根据用户唯一的标识信息生成用户指纹信息，并基于所述指纹位置信息对所述用户指纹信息嵌入位置的指示形成隐形指纹，将所述隐形指纹与解码后的原始视音频流基于图层叠加处理进行合成后同步输出具体为：

根据用户的唯一标识信息生成唯一的二进制的用户指纹信息，根据用户指纹信息修改屏幕菜单调节控制器的RGB值及透明度值，根据指纹位置信息修改屏幕菜单调节控制器的位置参数，得到基于图层叠加的隐形指纹；

将所述隐形指纹与解码后的原始视音频流基于图层叠加处理进行合成后同步输出将隐形指纹与解码后的原始视音频流合成同步输出，合成时将隐形指纹从第一个指纹位置信息数据包不为空的帧周期开始，对于所有指纹位置信息数据包不为空的帧周期，将隐形指纹循环与解码后的原始视频叠加。

4.一种基于纹理的图层叠加指纹嵌入装置，其特征在于，包括：

视频接收单元，用于接收携带有指纹位置信息数据包的合成视音频流，所述指纹位置信息数据包封装有根据RGB颜色嵌入条件和纹理嵌入条件获得的指纹位置信息指示待嵌入指纹的位置；

解复用单元，用于对接收到的所述合成视音频流进行解复用处理，得到指纹位置信息数据包和原始视音频流；

解析解码单元，用于对得到的所述指纹位置信息数据包进行解析，得到所述指纹位置信息；对得到的所述原始视音频流进行解码；

指纹嵌入单元，用于根据用户唯一的标识信息生成用户指纹信息，并基于所述指纹位置信息对所述用户指纹信息嵌入位置的指示形成隐形指纹，将所述隐形指纹与解码后的原始视音频流基于图层叠加处理进行合成后同步输出；

其中，所述指纹位置信息数据包的获取方法具体为：

将原始视音频流解码，将解码得到的视频流以若干帧为一个周期划分成多个帧周期，将帧周期内的每一帧划分成若干个互不重叠的像素块；获取每个帧周期内的指纹像素块，记录所述指纹像素块的位置信息；根据每一帧周期的指纹像素块的位置信息生成指纹位置信息数据包；

其中，所述指纹位置信息数据包的获取方法具体为：

将原始视音频流解码，将解码得到的视频流以50到100帧为一个周期，从第一帧开始获取第一个帧周期；

将帧周期内每一帧划分成若干个正方形的像素块，所述像素块的边长为n个像素，n的取值为8或16；

对于帧周期内第一帧的像素块，判断像素块是否符合RGB颜色嵌入条件和纹理嵌入条件，如果不符合，则此像素块不是指纹像素块，对下一个像素块进行判断；若符合，记录此像素块的位置，第一帧中的像素块判断结束后得到备用像素块位置；其中，所述符合RGB颜色嵌入条件具体为RGB颜色均值均在阈值范围内；

对于帧周期内第二帧到倒数第二帧的像素块，对前一帧得到的备用像素块位置的像素块，判断像素块是否符合RGB颜色嵌入条件和纹理嵌入条件，如果不符合，则此像素块不是指纹像素块，将其位置从备用像素块位置中删除；若符合，保留此像素块位置，每一帧判断结束后更新备用像素块位置；其中所述符合RGB颜色嵌入条件具体为RGB特征值均在阈值范围内；

对于帧周期内最后一帧的像素块，对前一帧得到的备用像素块位置的像素块，判断像素块是否符合RGB颜色嵌入条件和纹理嵌入条件，如果不符合，则此像素块不是指纹像素块，将其位置从备用像素块位置中删除；若符合，则此像素块获取为指纹像素块，并记录所述指纹像素块的位置信息；其中所述符合RGB颜色嵌入条件具体为RGB特征值均在阈值范围内；

判断帧周期获取的指纹像素块的位置信息，若所述帧周期内获取的所述位置信息为空，则从所述帧周期的第二帧开始获取新的帧周期，执行步骤将帧周期内每一帧划分成若干个正方形的像素块，所述像素块的边长为n个像素，n的取值为8或16；否则将所述纹像素块的位置信息生成指纹位置信息数据包，从所述帧周期之后的第一帧开始获取新的帧周期，执行步骤将帧周期内每一帧划分成若干个正方形的像素块，所述像素块的边长为n个像素，n的取值为8或16；直到所述视频流最后不足一个帧周期；

将每一帧周期的指纹位置信息数据包和对应的原始视音频流合成处理成合成视音频流；

其中，所述RGB颜色均值具体的计算方法为： 其中n表示像素块的边长，i、j分别表示像素在像素块中横坐标和纵坐标，分别表示像素块中n×n个像素的R、G、B均值，RGB颜色均值的阈值范围为[Min，Max]，其中Min取值为30到50，Max取值为206到225；所述RGB特征值的具体计算方法为：其中r’、g’、b’分别表示当前像素块的RGB特征值，RGB特征值的阈值范围为|r'-r0|＜T1、|g'-g0|＜T2、|b'-b0|＜T3，其中r0、g0、b0分别表示当前像素块所在帧的前一帧中相同位置的像素块的RGB特征值，其中T1、T2、T3的取值范围均为[0.05,0.3]；所述符合纹理嵌入条件具体为像素块的LBP纹理特征值小于其所在帧的整体LBP纹理特征值，所述LBP纹理特征值的具体计算方法为：其中，(x_c,y_c)表示中心像素点的坐标，R表示以(x_c,y_c)为中心的环形邻域的半径，P表示环形邻域上的像素点的个数，i_n表示邻域上的像素点的灰度值，i_c表示中心像素点的灰度值，a表示整数常量，a的取值范围为[30,50]。

5.根据权利要求4所述的一种基于纹理的图层叠加指纹嵌入装置，其特征在于，所述解复用单元具体用于对接收到的所述合成视音频流进行解复用处理，得到以帧周期为单位的指纹位置信息数据包和原始视音频流。

6.根据权利要求5所述的一种基于纹理的图层叠加指纹嵌入装置，其特征在于，所述指纹嵌入单元包括：

指纹生成模块，根据用户的唯一标识信息生成唯一的二进制的用户指纹信息，根据用户指纹信息修改屏幕菜单调节控制器的RGB值及透明度值，根据指纹位置信息修改屏幕菜单调节控制器的位置参数，得到基于图层叠加的隐形指纹；

指纹叠加模块，将所述隐形指纹与解码后的原始视音频流基于图层叠加处理进行合成后同步输出将隐形指纹与解码后的原始视音频流合成同步输出，合成时将隐形指纹从第一个指纹位置信息数据包不为空的帧周期开始，对于所有指纹位置信息数据包不为空的帧周期，将隐形指纹循环与解码后的原始视频叠加。