CN101990081A - 一种虚拟视点图像的版权保护方法 - Google Patents

Abstract

本发明公开了一种虚拟视点图像的版权保护方法，其根据人类视觉掩蔽效应提取最小可察觉变化步长阈值来对彩色图像嵌入不同强度的水印信息，根据深度图像不同区域的失真对虚拟视点绘制的影响来对深度图像嵌入不同强度的水印信息，这样大大提高了水印的嵌入强度和鲁棒性；然后采用基于深度图像的绘制得到虚拟视点彩色图像和虚拟视点深度图像，并设计不同的水印提取方法从虚拟视点彩色图像和虚拟视点深度图像中提取基本层和增强层水印图像，并通过融合得到最终的水印图像，从而实现对虚拟视点图像的水印盲检测，达到版权保护的目的。

Description

一种虚拟视点图像的版权保护方法

技术领域

本发明涉及一种三维视频的处理技术，尤其是涉及一种虚拟视点图像的版权保护方法。

背景技术

三维视频(Three-Dimensional Video，3DV)是一种先进的视觉模式，它使人们在屏幕上观看图像时富有立体感和沉浸感，可以满足人们从不同角度观看三维场景的需求。通常，三维视频系统如图1所示，其主要包括视频捕获、视频编码、传输解码、视点绘制和交互显示等模块。多视点视频加深度(multi-view video plus depth，MVD)是目前ISO/MPEG推荐采用的3D(Three-Dimensional，三维)场景信息表示方式，MVD数据在彩色图像基础上增加了对应视点的深度信息，基于深度图像的绘制(Depth ImageBased Rendering，DIBR)是一种利用参考视点的彩色图像及其所对应的深度图像绘制生成虚拟视点图像的方法。

近年来，随着网络和信息技术的快速发展，使得数字图像、音频和视频等数字多媒体信息和作品都能够通过数字化的形式直接获得和广泛传播，同时也使得盗版者可以非常容易地复制或传播数字多媒体信息和作品，从而导致版权作品在非授权的情况下被广泛复制和传播，严重侵犯了原作者的合法权益。因此，必须采取有效的版权保护措施来防止数字多媒体作品的非法复制和传播。数字水印是实现版权保护的有效方法，不可见性、鲁棒性、安全性等特征是评价数字水印方法的重要指标，而现有的数字水印方法的研究主要集中在二维视频图像。

在三维视频应用中，对多视点视频内容的版权保护也是非常重要的。对三维视频内容的版权所有者来说，其不仅拥有原始采集的多视点视频内容的版权，而且采用DIBR方法生成的虚拟视点图像也同样受版权保护。对虚拟视点图像的版权保护研究应当有别于现有的二维视频图像的版权保护，这是因为：一方面，绘制的虚拟视点图像受到几何变换、视点同步攻击、空洞等各类攻击，如何有效地嵌入和提取水印信息，提高水印的鲁棒性是一个亟需解决的问题；另一方面，由于绘制的虚拟视点图像没有原始视点图像作为参考，如何对原始视点图像嵌入水印以保证由其绘制得到的虚拟视点图像也是受版权保护的，以及如何从虚拟视点图像中精确地检测出水印信息，都是虚拟视点图像的版权保护过程中需要研究解决的问题。

发明内容

本发明所要解决的技术问题是提供一种水印嵌入强度高、水印鲁棒性好、水印抗干扰能力强，且提取水印时无需参考原始视点图像的虚拟视点图像的版权保护方法。

本发明解决上述技术问题所采用的技术方案为：一种虚拟视点图像的版权保护方法，其特征在于包括以下步骤：

①获取t时刻的K个参考视点的K幅颜色空间为YUV的彩色图像及其对应的K幅深度图像，将待嵌入的水印图像记为{P(x₂，y₂)}，其中，(x₂，y₂)表示待嵌入的水印图像{P(x₂，y₂)}中像素点的坐标位置，1≤x₂≤N，1≤y₂≤N，N表示待嵌入的水印图像{P(x₂，y₂)}的水平和垂直尺寸大小，P(x₂，y₂)表示待嵌入的水印图像{P(x₂，y₂)}中坐标位置为(x₂，y₂)的像素点的水印信息；

②将t时刻的第k个参考视点的彩色图像记为

将t时刻的第k个参考视点的深度图像记为

其中，1≤k≤K，i＝1，2，3分别表示YUV颜色空间的三个颜色分量，YUV颜色空间的第1个颜色分量为亮度分量并记为Y、第2个颜色分量为第一色度分量并记为U及第3个颜色分量为第二色度分量并记为V，(x₁，y₁)表示彩色图像和深度图像中像素点的坐标位置，1≤x₁≤W，1≤y₁≤H，W表示彩色图像和深度图像的宽度，H表示彩色图像和深度图像的高度，

表示t时刻的第k个参考视点的彩色图像

中坐标位置为(x₁，y₁)的像素点的第i个颜色分量的值，

表示t时刻的第k个参考视点的深度图像中坐标位置为(x₁，y₁)的像素点的深度值；

③首先对待嵌入的水印图像{P(x₂，y₂)}分别进行m次和n次置乱变换，分别得到第一置乱水印图像和第二置乱水印图像，并分别记为{P₁(x₃，y₃)}和{P₂(x₃，y₃)}，其中，(x₃，y₃)表示第一置乱水印图像{P₁(x₃，y₃)}和第二置乱水印图像{P₂(x₃，y₃)}中像素点的坐标位置，

P₁(x₃，y₃)表示第一置乱水印图像{P₁(x₃，y₃)}中坐标位置为(x₃，y₃)的像素点的水印信息，P₂(x₃，y₃)表示第二置乱水印图像{P₂(x₃，y₃)}中坐标位置为(x₃，y₃)的像素点的水印信息；然后分别将第一置乱水印图像{P₁(x₃，y₃)}和第二置乱水印图像{P₂(x₃，y₃)}降维成一维序列，分别得到第一置乱水印序列和第二置乱水印序列，并分别记为{T₁(l)}和{T₂(l)}，其中，l＝y₃×N+x₃，T₁(l)表示第一置乱水印序列{T₁(l)}中的第l个水印信息，T₂(l)表示第二置乱水印序列{T₂(l)}中的第l个水印信息；再保存置乱次数m和n，作为水印提取密钥；

④利用人类视觉对背景光照和纹理的视觉掩蔽效应，提取出t时刻的第k个参考视点的彩色图像

的最小可察觉变化步长图像，记为

⑤设定在t时刻的第k个参考视点的彩色图像中嵌入水印的起始位置，记为(x′₁，y′₁)，然后从起始位置(x′₁，y′₁)开始，根据t时刻的第k个参考视点的彩色图像

的最小可察觉变化步长图像

将第一置乱水印序列{T₁(l)}嵌入到t时刻的第k个参考视点的彩色图像

中，得到嵌入水印后的t时刻的第k个参考视点的彩色图像，记为

再将起始位置(x′₁，y′₁)作为水印提取密钥，并保存，其中，1≤x′₁≤W-8×N，1≤y′₁≤H-8×N；

⑥设定在t时刻的第k个参考视点的深度图像

中嵌入水印的起始位置，记为(x″₁，y″₁)，然后从起始位置(x″₁，y″₁)开始，将第二置乱水印序列{T₂(l)}嵌入到t时刻的第k个参考视点的深度图像

中，得到嵌入水印后的t时刻的第k个参考视点的深度图像，记为

再将起始位置(x″₁，y″₁)作为水印提取密钥，并保存，其中，1≤x″₁≤W-8×N，1≤y″₁≤H-8×N；

⑦令k″＝k+1，k＝k″，重复执行步骤②至⑦，直至完成对K个参考视点的K幅彩色图像嵌入相同的第一置乱水印序列{T₁(l)}及完成对对应的K幅深度图像嵌入相同的第二置乱水印序列{T₂(l)}，将嵌入水印后的t时刻的K个参考视点的K幅彩色图像用集合表示为将嵌入水印后的t时刻的K个参考视点的K幅深度图像用集合表示为其中，k″的初始值为0；

⑧采用多视点视频编码器对

及

进行编码传输，同时传输置乱次数m和n及起始位置(x′₁，y′₁)和(x″₁，y″₁)；

⑨在用户端对编码后的t时刻的K个参考视点的K幅彩色图像及其对应的K幅深度图像进行解码，获得解码后的t时刻的K个参考视点的K幅彩色图像及其对应的K幅深度图像；

⑩假定当前需绘制的是第k′个虚拟视点，从解码后的t时刻的K个参考视点中选择两个与第k′个虚拟视点最相邻的参考视点，假定这两个参考视点分别为第k个参考视点和第k+1个参考视点，采用基于深度图像的绘制得到t时刻的第k′个虚拟视点彩色图像和t时刻的第k′个虚拟视点深度图像，分别记为

和

其中，1≤k′≤K，(x₁，y₁)表示t时刻的第k′个虚拟视点彩色图像

和t时刻的第k′个虚拟视点深度图像

中像素点的坐标位置，1≤x₁≤W，1≤y₁≤H，W表示虚拟视点彩色图像和虚拟视点深度图像的宽度，H表示虚拟视点彩色图像和虚拟视点深度图像的高度，

表示t时刻的第k′个虚拟视点彩色图像中坐标位置为(x₁，y₁)的像素点的第i个颜色分量的值，

表示t时刻的第k′个虚拟视点深度图像

中坐标位置为(x₁，y₁)的像素点的深度值；

从起始位置(x′₁，y′₁)开始，从t时刻的第k′个虚拟视点彩色图像

中提取出基本层置乱水印序列，记为

从起始位置(x″₁，y″₁)开始，从t时刻的第k′个虚拟视点深度图像中提取出增强层置乱水印序列，记为

其中，

表示基本层置乱水印序列

中的第l个水印信息，

表示增强层置乱水印序列

中的第l个水印信息；然后分别将基本层置乱水印序列和增强层置乱水印序列升维成二维图像，分别得到基本层置乱水印图像和增强层置乱水印图像，并分别记为

和

其中，y₃＝Int(l/N)，x₃＝lmodN，Int()表示取整数操作函数；再对基本层置乱水印图像

进行m次反置乱变换恢复成基本层水印图像，记为

对增强层置乱水印图像

进行n次反置乱变换恢复成增强层水印图像

首先对基本层水印图像和增强层水印图像

进行融合，得到融合的水印图像，记为然后计算融合的水印图像

和嵌入的水印图像{P(x₂，y₂)}的归一化互相关系数，记为

再判断归一化互相关系数

是否大于等于设定的第三阈值T₃，如果是，则确定t时刻的第k′个虚拟视点彩色图像是受版权保护的，否则，确定t时刻的第k′个虚拟视点彩色图像

是不受版权保护的，其中，0≤T₃≤1；

令k″＝k+1，k＝k″，重复执行步骤⑩至直至绘制得到的t时刻的K个虚拟视点彩色图像处理完毕。

所述的步骤④包括以下具体步骤：

④-1、计算t时刻的第k个参考视点的彩色图像

的背景光照的视觉掩蔽效应的可视化阈值集合，记为{T_l(x₁，y₁)}，

其中，

表示t时刻的第k个参考视点的彩色图像中以坐标位置为(x₁，y₁)的像素点为中心的5×5窗口内的所有像素点的亮度平均值；

④-2、计算t时刻的第k个参考视点的彩色图像的纹理的视觉掩蔽效应的可视化阈值集合，记为{T_t(x₁，y₁)}，T_t(x₁，y₁)＝η×G(x₁，y₁)×W_e(x₁，y₁)，其中，η为控制因子，G(x₁，y₁)表示对t时刻的第k个参考视点的彩色图像

中坐标位置为(x₁，y₁)的像素点进行定向高通滤波得到的最大加权平均值，W_e(x₁，y₁)表示对t时刻的第k个参考视点的彩色图像

的边缘图像中坐标位置为(x₁，y₁)的像素点进行高斯低通滤波得到的边缘加权值；

④-3、对t时刻的第k个参考视点的彩色图像的背景光照的视觉掩蔽效应的可视化阈值集合{T_l(x₁，y₁)}和纹理的视觉掩蔽效应的可视化阈值集合{T_t(x₁，y₁)}进行融合，得到t时刻的第k个参考视点的彩色图像

的最小可察觉变化步长阈值集合，记为{JND(x₁，y₁)}，JND(x₁，y₁)＝T_l(x₁，y₁)+T_t(x₁，y₁)-C_l，t×min{T_l(x₁，y₁)，T_t(x₁，y₁)}，其中，C_l，t表示控制背景光照和纹理的视觉掩蔽效应重叠影响的参数，0＜C_l，t＜1，min{}为取最小值函数；

④-4、从最小可察觉变化步长阈值集合{JND(x₁，y₁)}中找出最大值MAX_JND和最小值MIN_JND，然后将最小可察觉变化步长阈值集合{JND(x₁，y₁)}投影到[0，255]的图像空间，得到t时刻的第k个参考视点的彩色图像

的最小可察觉变化步长图像 $\left\{{\mathrm{JNDmap}}_t^k(x_1,y_1)\right\},$ ${\mathrm{JNDmap}}_t^k(x_1,y_1)=255\×\frac{\mathrm{JND}(x_1,y_1)-{\mathrm{MIN}}_{\mathrm{JND}}}{{\mathrm{MAX}}_{\mathrm{JND}}-{\mathrm{MIN}}_{\mathrm{JND}}}.$

所述的步骤⑤中将第一置乱水印序列{T₁(l)}嵌入到t时刻的第k个参考视点的彩色图像

中的具体过程为：

⑤-1、将t时刻的第k个参考视点的彩色图像分成

个互不重叠的8×8子块；

⑤-2、定义从起始位置(x′₁，y′₁)开始的第l个8×8子块为当前子块，记为

对当前子块

的亮度分量进行DCT变换得到当前DCT系数矩阵，记为

其中，1≤l≤N×N，(x₄，y₄)表示当前子块中像素点的坐标位置，1≤x₄≤8，1≤y₄≤8，(u，v)表示当前DCT系数矩阵中DCT系数的坐标位置，1≤u≤8，1≤v≤8；

⑤-3、计算t时刻的第k个参考视点的彩色图像

的最小可察觉变化步长图像中与当前子块

的位置相对应的8×8子块中所有像素点的像素值的均值

和标准差

然后判断是否成立，如果成立，则确定当前子块

为视觉敏感块，否则，确定当前子块为非视觉敏感块；再依据当前子块

的块类型为当前子块

指定一个强度因子α_p，其中，λ为控制因子，p表示块类型，p＝1表示视觉敏感块，p＝2表示非视觉敏感块，α₁＜α₂；

⑤-4、假定低频坐标位置(u′，v′)表示当前子块

中要嵌入第一置乱水印序列{T₁(l)}中的第l个水印信息的位置，计算当前DCT系数矩阵

中坐标位置为(u′，v′)的DCT系数及与其横向相邻的两个DCT系数的均值，记为ave(u′，v′)，

其中，

表示当前DCT系数矩阵中坐标位置为(u′-1，v′)的DCT系数，

表示当前DCT系数矩阵中坐标位置为(u′，v′)的DCT系数，

表示当前DCT系数矩阵

中坐标位置为(u′+1，v′)的DCT系数；然后判断嵌入的第l个水印信息是否为1，如果是，则修改当前子块

中要嵌入第l个水印信息的坐标位置(u′，v′)对应的DCT系数

否则，修改当前子块中要嵌入第l个水印信息的坐标位置(u′，v′)对应的DCT系数

⑤-5、按照上面的步骤在当前子块

的四个低频坐标位置中嵌入相同的第l个水印信息；并得到当前DCT系数矩阵

中的四个DCT低频系数修改后构成的DCT系数矩阵；

⑤-6、令l″＝l+1，l＝l″，重复执行步骤⑤-2至⑤-5，直至t时刻的第k个参考视点的彩色图像

中的N×N个互不重叠的8×8子块处理完毕，得到各个8×8子块对应的修改后的DCT系数矩阵，其中，l″的初始值为0；

⑤-7、对所有修改后的DCT系数矩阵进行反DCT变换，得到嵌入有第一置乱水印序列{T₁(l)}的t时刻的第k个参考视点的彩色图像

所述的步骤⑥中将第二置乱水印序列{T₂(l)}嵌入到t时刻的第k个参考视点的深度图像

中的具体过程为：

⑥-1、将t时刻的第k个参考视点的深度图像

分成

个互不重叠的8×8子块；

⑥-2、定义从起始位置(x″₁，y″₁)开始的第l个8×8子块为当前子块，记为

对当前子块

的亮度分时进行DCT变换得到当前DCT系数矩阵，记为其中，1≤l≤N×N，(x₄，y₄)表示当前子块

中像素点的坐标位置，1≤x₄≤8，1≤y₄≤8，(u，v)表示当前DCT系数矩阵

中DCT系数的坐标位置，1≤u≤8，1≤v≤8；

⑥-3、计算当前子块

中所有像素点的标准差，记为

判断

是否成立，如果成立，则确定当前子块

为平坦块，否则，确定当前子块

为非平坦块，其中，T₁表示设定的第一阈值；然后依据当前子块

的块类型为当前子块

指定一个强度因子β_q，其中，q表示块类型，q＝1表示平坦块，q＝2表示非平坦块，β₁＞β₂；

⑥-4、假定低频坐标位置(u″，v″)表示当前子块

中要嵌入第二置乱水印序列{T₂(l)}中的第l个水印信息的位置，计算当前DCT系数矩阵

中坐标位置为(u″，v″)的DCT系数及与其横向相邻的两个DCT系数的均值，记为ave(u″，v″)，

其中，

表示当前DCT系数矩阵

中坐标位置为(u″-1，v″)的DCT系数，

表示当前DCT系数矩阵

中坐标位置为(u″，v″)的DCT系数，

表示当前DCT系数矩阵

中坐标位置为(u″+1，v″)的DCT系数；然后判断嵌入的第l个水印信息是否为1，如果是，则修改当前子块

中要嵌入第l个水印信息的坐标位置(u″，v″)对应的DCT系数

否则，修改当前子块

中要嵌入第l个水印信息的坐标位置(u″，v″)对应的DCT系数

⑥-5、按照上面的步骤在当前子块的四个低频坐标位置中嵌入相同的第l个水印信息，并得到当前DCT系数矩阵中的四个DCT低频系数修改后构成的DCT系数矩阵；

⑥-6、令l″＝l+1，l＝l″，重复执行步骤⑥-2至⑥-5，直至t时刻的第k个参考视点的深度图像

中的N×N个互不重叠的8×8子块处理完毕，得到各个8×8子块对应的修改后的DCT系数矩阵，其中，l″的初始值为0；

⑥-7、对所有修改后的DCT系数矩阵进行反DCT变换，得到嵌入有第二置乱水印序列{T₂(l)}的t时刻的第k个参考视点的深度图像

所述的步骤⑩中基于深度图像的绘制的具体过程为：

⑩-1、利用嵌入水印后的t时刻的第k个参考视点的深度图像

所提供的深度信息，分别将嵌入水印后的t时刻的第k个参考视点的彩色图像

和深度图像

中的各个像素点映射到需绘制的t时刻的第k′个虚拟视点，分别得到虚拟视点彩色图像

和虚拟视点深度图像

⑩-2、利用嵌入水印后的t时刻的第k+1个参考视点的深度图像

所提供的深度信息，分别将嵌入水印后的t时刻的第k+1个参考视点的彩色图像和深度图像中的各个像素点映射到需绘制的t时刻的第k′个虚拟视点，分别得到虚拟视点彩色图像

和虚拟视点深度图像

⑩-3、判断由嵌入水印后的t时刻的第k个参考视点的彩色图像

绘制得到的虚拟视点彩色图像

中坐标位置为(x₁，y₁)的像素点是否为空洞像素点，如果不是，则

否则，继续判断由嵌入水印后的t时刻的第k+1个参考视点的彩色图像绘制得到的虚拟视点彩色图像

中坐标位置为(x₁，y₁)的像素点是否为空洞像素点，如果不是，则

否则，对空洞像素点进行填补，得到最终的t时刻的第k′个虚拟视点彩色图像

其中，表示t时刻的第k′个虚拟视点彩色图像

中坐标位置为(x₁，y₁)的像素点的第i个分量的值；

⑩-4、判断由嵌入水印后的t时刻的第k+1个参考视点的深度图像

绘制得到的虚拟视点深度图像中坐标位置为(x₁，y₁)的像素点是否为空洞像素点，如果不是，则

否则，继续判断由嵌入水印后的t时刻的第k个参考视点的深度图像绘制得到的虚拟视点深度图像

中坐标位置为(x₁，y₁)的像素点是否为空洞像素点，如果不是，则否则，对空洞像素点进行填补，得到最终的t时刻的第k′个虚拟视点深度图像，记为其中，

表示t时刻的第k′个虚拟视点深度图像

中坐标位置为(x₁，y₁)的像素点的深度值。

所述的步骤

中提取基本层置乱水印序列

和增强层置乱水印序列

的具体过程为：

将嵌入水印后的t时刻的第k个参考视点的彩色图像

分成

个互不重叠的第一8×8子块，将第k′个虚拟视点彩色图像分成

个互不重叠的第二8×8子块；

以起始位置(x′₁，y′₁)作为提取水印的密钥，定义从起始位置(x′₁，y′₁)开始的嵌入水印后的t时刻的第k个参考视点的彩色图像中的第l个第一8×8子块为当前第一子块，记为采用三维图像变换方法计算嵌入水印后的t时刻的第k个参考视点的彩色图像

中的坐标位置(x₄，y₄)在t时刻的第k′个虚拟视点彩色图像

中的坐标位置，记为(x′₄，y′₄)，其中，(x₄，y₄)表示当前第一子块的左上角像素点的坐标位置；

定义t时刻的第k′个虚拟视点彩色图像

中的左上角像素点的坐标位置为(x′₄，y′₄)的第二8×8子块为当前第二子块，记为

对当前第二子块

进行DCT变换得到当前DCT系数矩阵，记为

然后计算四个嵌入水印的低频坐标位置的DCT系数的平均值ave1，以及四个低频坐标位置及与各个低频坐标位置横向相邻的两个DCT系数的平均值ave2；再判断ave1≥ave2是否成立，如果成立，则提取出水印信息1，否则，提取出水印信息0；

令l″＝l+1，l＝l″，重复执行步骤

至

直至嵌入水印后的t时刻的第k个参考视点的彩色图像

的N×N个互不重叠的第一8×8子块处理完毕，得到基本层的置乱水印序列

将嵌入水印后的t时刻的第k+1个参考视点的深度图像

分成个互不重叠的第三8×8子块，将第k′个虚拟视点深色图像

分成

个互不重叠的第四8×8子块；

以起始位置(x″₁，y″₁)作为提取水印的密钥，定义从起始位置(x″₁，y″₁)开始的嵌入水印后的t时刻的第k+1个参考视点的深度图像

中的第l个第三8×8子块为当前第三子块，记为

采用三维图像变换方法计算嵌入水印后的t时刻的第k+1个参考视点的深度图像

中的坐标位置(x₄，y₄)在t时刻的第k′个虚拟视点深色图像中的坐标位置，记为(x″₄，y″₄)，其中，(x₄，y₄)表示当前第三子块

的左上角像素点的坐标位置；

定义t时刻的第k′个虚拟视点深色图像

中的左上角像素点的坐标位置为(x″₄，y″₄)的第四8×8子块为当前第四子块，记为对当前第四子块

进行DCT变换得到当前DCT系数矩阵，记为

然后计算四个嵌入水印的低频坐标位置的DCT系数的平均值ave1，以及四个低频坐标位置及与各个低频坐标位置横向相邻的两个DCT系数的平均值ave2；再判断ave1≥ave2是否成立，如果成立，则提取出水印信息1，否则，提取出水印信息0；

令l″＝l+1，l＝l″，重复执行步骤

至

直至嵌入水印后的t时刻的第k+1个参考视点的深度图像

的N×N个互不重叠的第三8×8子块处理完毕，得到增强层的置乱水印序列

所述的步骤

中融合基本层水印图像

和增强层水印图像

的具体过程为：

以自适应加权系数w对基本层水印图像

和增强层水印图像

进行融合，得到初步融合的水印图像，记为

其中，0≤w≤1；

对初步融合的水印图像

进行阈值化操作，判断

是否成立，如果成立，则

否则，

其中，T₂表示设定的第二阈值，0≤T₂≤1；

对阈值化操作后的初步融合的水印图像

进行中值滤波处理，去除点状噪声，得到最终的融合的水印图像

与现有技术相比，本发明的优点在于：

1)本发明方法根据人类视觉掩蔽效应提取最小可察觉变化步长阈值来对彩色图像嵌入不同强度的水印信息，根据深度图像不同区域的失真对虚拟视点绘制的影响来对深度图像嵌入不同强度的水印信息，这样大大提高了水印的嵌入强度和水印的鲁棒性；然后采用基于深度图像的绘制得到虚拟视点彩色图像和虚拟视点深度图像，并设计不同的水印提取方法从虚拟视点彩色图像和虚拟视点深度图像中提取基本层和增强层水印图像，并通过融合得到最终的水印图像，从而实现对虚拟视点图像的水印盲检测，达到版权保护的目的。

2)本发明方法以不同密钥分别从彩色图像和深度图像中提取相同的水印信息，作为基本层和增强层水印，这样即使彩色图像的的水印信息受到猛烈攻击，仍然能从深度图像中提取出相同的水印信息，提高了水印的抗干扰能力，实现更严密的版权保护。

3)本发明方法在原始视点图像的相同区域嵌入一致的水印信息，嵌入方法非常简单，并且提取虚拟视点图像的水印时无需参考原始视点图像，达到真正的盲水印提取。

附图说明

图1为典型的三维视频系统的处理流程示意图；

图2a为“Ballet”三维视频测试序列的第4个参考视点的一幅彩色图像；

图2b为“Ballet”三维视频测试序列的第6个参考视点的一幅彩色图像；

图2c为“Breakdancers”三维视频测试序列的第4个参考视点的一幅彩色图像；

图2d为“Breakdancers”三维视频测试序列集的第6个参考视点的一幅彩色图像；

图3a为图2a所示的彩色图像对应的深度图像；

图3b为图2b所示的彩色图像对应的深度图像；

图3c为图2c所示的彩色图像对应的深度图像；

图3d为图2d所示的彩色图像对应的深度图像；

图4a为嵌入的“宁波大学”水印图像；

图4b为嵌入的“信息学院”水印图像；

图4c为嵌入的“图像处理”水印图像；

图4d为嵌入的“电子信息”水印图像；

图4e为嵌入的“一二三四”水印图像；

图5为本发明的彩色图像水印嵌入位置的示意图；

图6为本发明的深度图像水印嵌入位置的示意图；

图7a为图2a的视觉敏感和非视觉敏感区域的示意图；

图7b为图2b的视觉敏感和非视觉敏感区域的示意图；

图7c为图3a的视觉敏感和非视觉敏感区域的示意图；

图7d为图3b的视觉敏感和非视觉敏感区域的示意图；

图8a为图2c的平坦和非平坦区域的示意图；

图8b为图2d的平坦和非平坦区域的示意图；

图8c为图3c的平坦和非平坦区域的示意图；

图8d为图3d的平坦和非平坦区域的示意图；

图9a为图2a嵌入水印后的图像；

图9b为图2b嵌入水印后的图像；

图9c为图2c嵌入水印后的图像；

图9d为图2d嵌入水印后的图像；

图10a为图3a嵌入水印后的图像；

图10b为图3b嵌入水印后的图像；

图10c为图3c嵌入水印后的图像；

图10d为图3d嵌入水印后的图像；

图11a为“Ballet”三维视频测试序列的第5个参考视点的虚拟视点彩色图像；

图11b为“Ballet”三维视频测试序列的第5个参考视点的虚拟视点深度图像；

图11c为“Breakdancers”三维视频测试序列的第5个参考视点的虚拟视点彩色图像；

图11d为“Breakdancers”三维视频测试序列的第5个参考视点的虚拟视点深度图像；

图12a为采用本发明方法从嵌入图4a所示的水印图像后的“Ballet”三维视频测试序列的第4个参考视点的彩色图像中提取出的水印图像；

图12b为采用本发明方法从嵌入图4a所示的水印图像后的“Ballet”三维视频测试序列的第6个参考视点的深度图像中提取出的水印图像；

图12c为采用本发明方法从嵌入图4a所示的水印图像后的“Ballet”三维视频测试序列的第5个参考视点的虚拟视点彩色图像中提取出的水印图像；

图12d为采用本发明方法从嵌入图4a所示的水印图像后的“Ballet”三维视频测试序列的第5个参考视点的虚拟视点深度图像中提取出的水印图像；

图12e为采用本发明方法对12c和图12d进行融合得到的水印图像；

图13a为采用本发明方法从嵌入图4a所示的水印图像后的“Breakdancers”三维视频测试序列的第4个参考视点的彩色图像中提取出的水印图像；

图13b为采用本发明方法从嵌入图4a所示的水印图像后的“Breakdancers”三维视频测试序列的第6个参考视点的深度图像中提取出的水印图像；

图13c为采用本发明方法从嵌入图4a所示的水印图像后的“Breakdancers”三维视频测试序列的第5个参考视点的虚拟视点彩色图像中提取出的水印图像；

图13d为采用本发明方法从嵌入图4a所示的水印图像后的“Breakdancers”三维视频测试序列的第5个参考视点的虚拟视点深度图像中提取出的水印图像；

图13e为采用本发明方法对13c和图13d进行融合得到的水印图像；

图14a为采用本发明方法从嵌入图4b所示的水印图像后的“Ballet”三维视频测试序列的第4个参考视点的彩色图像中提取出的水印图像；

图14b为采用本发明方法从嵌入图4b所示的水印图像后的“Ballet”三维视频测试序列的第6个参考视点的深度图像中提取出的水印图像；

图14c为采用本发明方法从嵌入图4b所示的水印图像后的“Ballet”三维视频测试序列的第5个参考视点的虚拟视点彩色图像中提取出的水印图像；

图14d为采用本发明方法从嵌入图4b所示的水印图像后的“Ballet”三维视频测试序列的第5个参考视点的虚拟视点深度图像中提取出的水印图像；

图14e为采用本发明方法对14c和图14d进行融合得到的水印图像；

图15a为采用本发明方法从嵌入图4b所示的水印图像后的“Breakdancers”三维视频测试序列的第4个参考视点的彩色图像中提取出的水印图像；

图15b为采用本发明方法从嵌入图4b所示的水印图像后的“Breakdancers”三维视频测试序列的第6个参考视点的深度图像中提取出的水印图像；

图15c为采用本发明方法从嵌入图4b所示的水印图像后的“Breakdancers”三维视频测试序列的第5个参考视点的虚拟视点彩色图像中提取出的水印图像；

图15d为采用本发明方法从嵌入图4b所示的水印图像后的“Breakdancers”三维视频测试序列的第5个参考视点的虚拟视点深度图像中提取出的水印图像；

图15e为采用本发明方法对15c和图15d进行融合得到的水印图像；

图16a为采用本发明方法从嵌入图4c所示的水印图像后的“Ballet”三维视频测试序列的第4个参考视点的彩色图像中提取出的水印图像；

图16b为采用本发明方法从嵌入图4c所示的水印图像后的“Ballet”三维视频测试序列的第6个参考视点的深度图像中提取出的水印图像；

图16c为采用本发明方法从嵌入图4c所示的水印图像后的“Ballet”三维视频测试集序列的第5个参考视点的虚拟视点彩色图像中提取出的水印图像；

图16d为采用本发明方法从嵌入图4c所示的水印图像后的“Ballet”三维视频测试序列的第5个参考视点的虚拟视点深度图像中提取出的水印图像；

图16e为采用本发明方法对16c和图16d进行融合得到的水印图像；

图17a为采用本发明方法从嵌入图4c所示的水印图像后的“Breakdancers”三维视频测试序列的第4个参考视点的彩色图像中提取出的水印图像；

图17b为采用本发明方法从嵌入图4c所示的水印图像后的“Breakdancers”三维视频测试序列的第6个参考视点的深度图像中提取出的水印图像；

图17c为采用本发明方法从嵌入图4c所示的水印图像后的“Breakdancers”三维视频测试序列的第5个参考视点的虚拟视点彩色图像中提取出的水印图像；

图17d为采用本发明方法从嵌入图4c所示的水印图像后的“Breakdancers”三维视频测试序列的第5个参考视点的虚拟视点深度图像中提取出的水印图像；

图17e为采用本发明方法对17c和图17d进行融合得到的水印图像；

图18a为采用本发明方法从嵌入图4d所示的水印图像后的“Ballet”三维视频测试序列的第4个参考视点的彩色图像中提取出的水印图像；

图18b为采用本发明方法从嵌入图4d所示的水印图像后的“Ballet”三维视频测试序列的第6个参考视点的深度图像中提取出的水印图像；

图18c为采用本发明方法从嵌入图4d所示的水印图像后的“Ballet”三维视频测试序列的第5个参考视点的虚拟视点彩色图像中提取出的水印图像；

图18d为采用本发明方法从嵌入图4d所示的水印图像后的“Ballet”三维视频测试序列的第5个参考视点的虚拟视点深度图像中提取出的水印图像；

图18e为采用本发明方法对18c和图18d进行融合得到的水印图像；

图19a为采用本发明方法从嵌入图4d所示的水印图像后的“Breakdancers”三维视频测试序列的第4个参考视点的彩色图像中提取出的水印图像；

图19b为采用本发明方法从嵌入图4d所示的水印图像后的“Breakdancers”三维视频测试序列的第6个参考视点的深度图像中提取出的水印图像；

图19c为采用本发明方法从嵌入图4d所示的水印图像后的“Breakdancers”三维视频测试集的第5个参考视点的虚拟视点彩色图像中提取出的水印图像；

图19d为采用本发明方法从嵌入图4d所示的水印图像后的“Breakdancers”三维视频测试序列的第5个参考视点的虚拟视点深度图像中提取出的水印图像；

图19e为采用本发明方法对19c和图19d进行融合得到的水印图像；

图20a为采用本发明方法从嵌入图4e所示的水印图像后的“Ballet”三维视频测试序列的第4个参考视点的彩色图像中提取出的水印图像；

图20b为采用本发明方法从嵌入图4e所示的水印图像后的“Ballet”三维视频测试序列的第6个参考视点的深度图像中提取出的水印图像；

图20c为采用本发明方法从嵌入图4e所示的水印图像后的“Ballet”三维视频测试序列的第5个参考视点的虚拟视点彩色图像中提取出的水印图像；

图20d为采用本发明方法从嵌入图4e所示的水印图像后的“Ballet”三维视频测试序列的第5个参考视点的虚拟视点深度图像中提取出的水印图像；

图20e为采用本发明方法对20c和图20d进行融合得到的水印图像；

图21a为采用本发明方法从嵌入图4e所示的水印图像后的“Breakdancers”三维视频测试序列的第4个参考视点的彩色图像中提取出的水印图像；

图21b为采用本发明方法从嵌入图4e所示的水印图像后的“Breakdancers”三维视频测试序列的第6个参考视点的深度图像中提取出的水印图像；

图21c为采用本发明方法从嵌入图4e所示的水印图像后的“Breakdancers”三维视频测试序列的第5个参考视点的虚拟视点彩色图像中提取出的水印图像；

图21d为采用本发明方法从嵌入图4e所示的水印图像后的“Breakdancers”三维视频测试序列的第5个参考视点的虚拟视点深度图像中提取出的水印图像；

图21e为采用本发明方法对21c和图21d进行融合得到的水印图像。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

一种虚拟视点图像的版权保护方法，其主要包括以下步骤：

①获取t时刻的K个参考视点的K幅颜色空间为YUV的彩色图像及其对应的K幅深度图像，将待嵌入的水印图像记为{P(x₂，y₂)}，其中，(x₂，y₂)表示待嵌入的水印图像{P(x₂，y₂)}中像素点的坐标位置，1≤x₂≤N，1≤y₂≤N，N表示待嵌入的水印图像{P(x₂，y₂)}的水平和垂直尺寸大小，P(x₂，y₂)表示待嵌入的水印图像{P(x₂，y₂)}中坐标位置为(x₂，y₂)的像素点的水印信息。

在本实施中，采用美国微软公司提供的三维视频测试序列“Ballet”和“Breakdancers”作为原始载体视频图像，这两个三维视频测试序列均包括8个参考视点的8幅彩色图像和对应的8幅深度图像，各幅彩色图像和深度图像的分辨率均为1024×768。图2a和图2b分别给出了“Ballet”的第4个和第6个参考视点的彩色图像；图2c和图2d分别给出了“Breakdancers”的第4个和第6个参考视点的彩色图像；图3a和图3b分别给出了“Ballet”的第4个和第6个参考视点的彩色图像所对应的深度图像；图3c和图3d分别给出了“Breakdancers”的第4个和第6个参考视点的彩色图像所对应的深度图像；图4a、图4b、图4c、图4d和图4e分别给出了待嵌入的五组二值水印图像，各组水印图像的分辨率均为80×80。

②将t时刻的第k个参考视点的彩色图像记为

将t时刻的第k个参考视点的深度图像记为

其中，1≤k≤K，i＝1，2，3分别表示YUV颜色空间的三个颜色分量，YUV颜色空间的第1个颜色分量为亮度分量并记为Y、第2个颜色分量为第一色度分量并记为U及第3个颜色分量为第二色度分量并记为V，(x₁，y₁)表示彩色图像和深度图像中像素点的坐标位置，1≤x₁≤W，1≤y₁≤H，W表示彩色图像和深度图像的宽度，H表示彩色图像和深度图像的高度，

表示t时刻的第k个参考视点的彩色图像

中坐标位置为(x₁，y₁)的像素点的第i个颜色分量的值，

表示t时刻的第k个参考视点的深度图像

中坐标位置为(x₁，y₁)的像素点的深度值。

③考虑水印的鲁棒性，必须使用不同的密钥和多样化的水印数据，也就是说要对不同种类和大小的数据集进行测试和评估。首先对待嵌入的水印图像{P(x₂，y₂)}分别进行m次和n次置乱变换，分别得到第一置乱水印图像和第二置乱水印图像，并分别记为{P₁(x₃，y₃)}和{P₂(x₃，y₃)}，其中，(x₃，y₃)表示第一置乱水印图像{P₁(x₃，y₃)}和第二置乱水印图像{P₂(x₃，y₃)}中像素点的坐标位置，

1≤x₃≤N，1≤y₃≤N，P₁(x₃，y₃)表示第一置乱水印图像{P₁(x₃，y₃)}中坐标位置为(x₃，y₃)的像素点的水印信息，P₂(x₃，y₃)表示第二置乱水印图像{P₂(x₃，y₃)}中坐标位置为(x₃，y₃)的像素点的水印信息；然后分别将第一置乱水印图像{P₁(x₃，y₃)}和第二置乱水印图像{P₂(x₃，y₃)}降维成一维序列，分别得到第一置乱水印序列和第二置乱水印序列，并分别记为{T₁(l)}和{T₂(l)}，其中，l＝y₃×N+x₃，T₁(l)表示第一置乱水印序列{T₁(l)}中的第l个水印信息，T₂(l)表示第二置乱水印序列{T₂(l)}中的第l个水印信息；再保存置乱次数m和n，作为水印提取密钥。

在本实施例中，取m＝9，n＝15进行置乱变换；置乱变换采用公知的Arnold置乱变换。

④人类视觉系统(HVS)特性表明，水印嵌入强度存在着一个临界值，高于这个临界值，图像就会出现失真，低于这个临界值，视觉系统就无法感受到信号的存在，从而实现水印信息的不可见性。而人眼的视觉掩蔽效应是一种局部效应，受背景照度、纹理复杂度等因素的影响，背景越亮，纹理越复杂，界限值就越高。因此本发明利用人类视觉对背景光照和纹理的视觉掩蔽效应，提取出t时刻的第k个参考视点的彩色图像的最小可察觉变化步长图像，记为

在此具体实施例中，t时刻的第k个参考视点的彩色图像

的最小可察觉变化步长图像

的提取过程为：

④-1、用根方程来近似低背景光照及用线性方程来近似高背景光照，计算t时刻的第k个参考视点的彩色图像

的背景光照的视觉掩蔽效应的可视化阈值集合，记为

其中，

表示t时刻的第k个参考视点的彩色图像

中以坐标位置为(x₁，y₁)的像素点为中心的5×5窗口内的所有像素点的亮度平均值。

④-2、根据人类视觉对图像边缘敏感的特性，计算t时刻的第k个参考视点的彩色图像

的纹理的视觉掩蔽效应的可视化阈值集合，记为{T_t(x₁，y₁)}，T_t(x₁，y₁)＝η×G(x₁，y₁)×W_e(x₁，y₁)，其中，η为控制因子，该控制因子η的具体值可根据实验确定，G(x₁，y₁)表示对t时刻的第k个参考视点的彩色图像

中坐标位置为(x₁，y₁)的像素点进行定向高通滤波得到的最大加权平均值，W_e(x₁，y₁)表示对t时刻的第k个参考视点的彩色图像

的边缘图像中坐标位置为(x₁，y₁)的像素点进行高斯低通滤波得到的边缘加权值。在此，t时刻的第k个参考视点的彩色图像的边缘图像可通过现有的多种边缘图像获取方式获取。

④-3、对t时刻的第k个参考视点的彩色图像

的背景光照的视觉掩蔽效应的可视化阈值集合{T_l(x₁，y₁)}和纹理的视觉掩蔽效应的可视化阈值集合{T_t(x₁，y₁)}进行融合，得到t时刻的第k个参考视点的彩色图像

的最小可察觉变化步长阈值集合，记为{JND(x₁，y₁)}，JND(x₁，y₁)＝T_l(x₁，y₁)+T_t(x₁，y₁)-C_l，t×min{T_l(x₁，y₁)，T_t(x₁，y₁)}，其中，C_l，t表示控制背景光照和纹理的视觉掩蔽效应重叠影响的参数，0＜C_l，t＜1，min{}为取最小值函数。

④-4、从最小可察觉变化步长阈值集合{JND(x₁，y₁)}中直接找出最大值MAX_JND和最小值MIN_JND，然后将最小可察觉变化步长阈值集合{JND(x₁，y₁)}投影到[0，255]的图像空间，得到t时刻的第k个参考视点的彩色图像

的最小可察觉变化步长图像 ${\{\mathrm{JNDmap}}_t^k(x_1,y_1)\},{\mathrm{JNDmap}}_t^k(x_1,y_1)=255\×\frac{\mathrm{JND}(x_1,y_1)-{\mathrm{MIN}}_{\mathrm{JND}}}{{\mathrm{MAX}}_{\mathrm{JND}}-{\mathrm{MIN}}_{\mathrm{JND}}}.$

⑤水印的嵌入可以看作是在强背景(载体图像)下迭加一个弱信号(水印图像)，结合人类视觉系统选择嵌入的强度，可以最大限度地减少水印嵌入对载体图像的影响。本发明通过设定在t时刻的第k个参考视点的彩色图像

中嵌入水印的起始位置，记为(x′₁，y′₁)，然后从起始位置(x′₁，y′₁)开始，根据t时刻的第k个参考视点的彩色图像

的最小可察觉变化步长图像将第一置乱水印序列{T₁(l)}嵌入到t时刻的第k个参考视点的彩色图像

中，得到嵌入水印后的t时刻的第k个参考视点的彩色图像，记为

再将起始位置(x′₁，y′₁)作为水印提取密钥，并保存，其中，1≤x′₁≤W-8×N，1≤y′₁≤H-8×N。

在此具体实施例中，由于水印图像的大小远远小于彩色图像的8×8子块个数，不能保证彩色图像的每个子块都嵌入一位水印信息，因此只选择在彩色图像640×640大小的区域中嵌入水印信息，如设定嵌入的起始位置(x′₁，y′₁)＝(192，64)。DCT域嵌入水印是目前公知的水印嵌入技术，考虑到DCT域的低频分量集中了图像的大部分能量，有较强的稳健性，通过分析，本发明将水印信息嵌入到如图5所示的位置。

在此具体实施例中，将第一置乱水印序列{T₁(l)}嵌入到t时刻的第k个参考视点的彩色图像

中的具体过程为：

⑤-1、将t时刻的第k个参考视点的彩色图像分成

个互不重叠的8×8子块。

⑤-2、定义从起始位置(x′₁，y′₁)开始的第l个8×8子块为当前子块，记为

对当前子块

的亮度分量进行DCT变换得到当前DCT系数矩阵，记为

其中，1≤l≤N×N，(x₄，y₄)表示当前子块

中像素点的坐标位置，1≤x₄≤8，1≤y₄≤8，(u，v)表示当前DCT系数矩阵

中DCT系数的坐标位置，1≤u≤8，1≤v≤8。

⑤-3、计算t时刻的第k个参考视点的彩色图像

的最小可察觉变化步长图像

中与当前子块的位置相对应的8×8子块中所有像素点的像素值的均值

和标准差

然后判断

是否成立，如果成立，则确定当前子块

为视觉敏感块，否则，确定当前子块

为非视觉敏感块；再依据当前子块

的块类型为当前子块

指定一个强度因子α_p，其中，λ为控制因子，p表示块类型，p＝1表示视觉敏感块，p＝2表示非视觉敏感块，α₁＜α₂，α_p取值越大表示水印信号越鲁棒但透明性越差。在本实施例中取λ＝6，α₁＝4，α₂＝8。

⑤-4、利用部分DCT低频系数来嵌入第一置乱水印序列{T₁(l)}，假定低频坐标位置(u′，v′)表示当前子块中要嵌入第一置乱水印序列{T₁(l)}中的第l个水印信息的位置，计算当前DCT系数矩阵中坐标位置为(u′，v′)的DCT系数及与其横向相邻的两个DCT  系数的均值，记为ave(u′，v′)，

其中，

表示当前DCT系数矩阵

中坐标位置为(u′-1，v′)的DCT系数，

表示当前DCT系数矩阵中坐标位置为(u′，v′)的DCT系数，

表示当前DCT系数矩阵

中坐标位置为(u′+1，v′)的DCT系数；然后判断嵌入的第l个水印信息是否为1，如果是，则修改当前子块

中要嵌入第l个水印信息的坐标位置(u′，v′)对应的DCT系数

否则，修改当前子块

中要嵌入第l个水印信息的坐标位置(u′，v′)对应的DCT系数该DCT系数实际为DCT低频系数。

⑤-5、按照上面的步骤在当前子块

的四个低频坐标位置中嵌入相同的第l个水印信息；并得到当前DCT系数矩阵

中的四个DCT低频系数修改后构成的DCT系数矩阵。由于DCT变换后能量高的系数主要分布在左上角，这些能量高的系数为DCT低频系数，且个数较多，因此在此任意取其中四个DCT低频系数的坐标位置。

⑤-6、令l″＝l+1，l＝l″，重复执行步骤⑤-2至⑤-5，直至t时刻的第k个参考视点的彩色图像

中的N×N个互不重叠的8×8子块处理完毕，得到各个8×8子块对应的修改后的DCT系数矩阵，其中，l″的初始值为0。在此，只需处理N×N个互不重叠的8×8子块，因为嵌入的水印序列的大小为N×N。

⑤-7、对所有修改后的DCT系数矩阵进行反DCT变换，得到嵌入有第一置乱水印序列{T₁(l)}的t时刻的第k个参考视点的彩色图像

⑥由于深度图像并不用来直接观看，而是作为辅助信息用于虚拟视点绘制，其水印嵌入过程应当有别于彩色图像，考虑深度图像不同区域的失真对虚拟视点绘制的影响来选择嵌入的强度，可以最大限度地减少水印嵌入对虚拟视点图像的影响。因此本发明通过设定在t时刻的第k个参考视点的深度图像

中嵌入水印的起始位置，记为(x″₁，y″₁)，然后从起始位置(x″₁，y″₁)开始，将第二置乱水印序列{T₂(l)}嵌入到t时刻的第k个参考视点的深度图像

中，得到嵌入水印后的t时刻的第k个参考视点的深度图像，记为

再将起始位置(x″₁，y″₁)作为水印提取密钥，并保存，其中，1≤x″₁≤W-8×N，1≤y″₁≤H-8×N。

在此具体实施例中，深度图像嵌入水印的起始位置(x″₁，y″₁)与彩色图像的起始位置(x′₁，y′₁)相同。考虑到深度图像对DCT低频系数的变化较为敏感，通过分析，本发明将水印信息嵌入到如图6所示的位置。

在此具体实施例中，将第二置乱水印序列{T₂(l)}嵌入到t时刻的第k个参考视点的深度图像

中的具体过程为：

⑥-1、将t时刻的第k个参考视点的深度图像

分成

个互不重叠的8×8子块。

⑥-2、定义从起始位置(x″₁，y″₁)开始的第l个8×8子块为当前子块，记为

对当前子块

的亮度分时进行DCT变换得到当前DCT系数矩阵，记为

其中，1≤l≤N×N，(x₄，y₄)表示当前子块

中像素点的坐标位置，1≤x₄≤8，1≤y₄≤8，(u，v)表示当前DCT系数矩阵中DCT系数的坐标位置，1≤u≤8，1≤v≤8。

⑥-3、计算当前子块

中所有像素点的标准差，记为

判断

是否成立，如果成立，则确定当前子块

为平坦块，否则，确定当前子块

为非平坦块，其中，T₁表示设定的第一阈值；然后依据当前子块

的块类型为当前子块指定一个强度因子β_q，其中，q表示块类型，q＝1表示平坦块，q＝2表示非平坦块，β₁＞β₂，β_q取值越大表示水印信号越鲁棒但透明性越差。在本实施例中取T₁＝5，β₁＝4，β₂＝2。

⑥-4、利用部分DCT低频系数来嵌入第二置乱水印序列{T₂(l)}，假定低频坐标位置(u″，v″)表示当前子块

中要嵌入第二置乱水印序列{T₂(l)}中的第l个水印信息的位置，计算当前DCT系数矩阵中坐标位置为(u″，v″)的DCT系数及与其横向相邻的两个DCT系数的均值，记为ave(u″，v″)，

其中，

表示当前DCT系数矩阵

中坐标位置为(u″-1，v″)的DCT系数，

表示当前DCT系数矩阵

中坐标位置为(u″，v″)的DCT系数，

表示当前DCT系数矩阵

中坐标位置为(u″+1，v″)的DCT系数；然后判断嵌入的第l个水印信息是否为1，如果是，则修改当前子块

中要嵌入第l个水印信息的坐标位置(u″，v″)对应的DCT系数

否则，修改当前子块

中要嵌入第l个水印信息的坐标位置(u″，v″)对应的DCT系数

该DCT系数实际为DCT低频系数。

⑥-5、按照上面的步骤在当前子块

的四个低频坐标位置中嵌入相同的第l个水印信息，并得到当前DCT系数矩阵

中的四个DCT低频系数修改后构成的DCT系数矩阵。由于DCT变换后能量高的系数主要分布在左上角，这些能量高的系数为DCT低频系数，且个数较多，因此在此任意取其中四个DCT低频系数的坐标位置。

⑥-6、令l″＝l+1，l＝l″，重复执行步骤⑥-2至⑥-5，直至t时刻的第k个参考视点的深度图像

中的N×N个互不重叠的8×8子块处理完毕，得到各个8×8子块对应的修改后的DCT系数矩阵，其中，l″的初始值为0。在此，只需处理N×N个互不重叠的8×8子块，因为嵌入的水印序列的大小为N×N。

⑥-7、对所有修改后的DCT系数矩阵进行反DCT变换，得到嵌入有第二置乱水印序列{T₂(l)}的t时刻的第k个参考视点的深度图像

⑦令k″＝k+1，k＝k″，重复执行步骤②至⑦，直至完成对K个参考视点的K幅彩色图像嵌入相同的第一置乱水印序列{T₁(l)}及完成对对应的K幅深度图像嵌入相同的第二置乱水印序列{T₂(l)}，将嵌入水印后的t时刻的K个参考视点的K幅彩色图像用集合表示为将嵌入水印后的t时刻的K个参考视点的K幅深度图像用集合表示为

其中，k″的初始值为0。

⑧采用多视点视频编码器对及

进行编码传输，同时传输置乱次数m和n及起始位置(x′₁，y′₁)和(x″₁，y″₁)。

在本实施例中，多视点视频编码器采用公知的HBP编码预测结构。

⑨在用户端对编码后的t时刻的K个参考视点的K幅彩色图像及其对应的K幅深度图像进行解码，获得解码后的t时刻的K个参考视点的K幅彩色图像及其对应的K幅深度图像。

⑩假定当前需绘制的是第k′个虚拟视点，从解码后的t时刻的K个参考视点中选择两个与第k′个虚拟视点最相邻的参考视点，假定这两个参考视点分别为第k个参考视点和第k+1个参考视点，采用基于深度图像的绘制得到t时刻的第k′个虚拟视点彩色图像和t时刻的第k′个虚拟视点深度图像，分别记为

和

其中，1≤k′≤K，(x₁，y₁)表示t时刻的第k′个虚拟视点彩色图像

和t时刻的第k′个虚拟视点深度图像

中像素点的坐标位置，1≤x₁≤W，1≤y₁≤H，W表示虚拟视点彩色图像和虚拟视点深度图像的宽度，H表示虚拟视点彩色图像和虚拟视点深度图像的高度，

表示t时刻的第k′个虚拟视点彩色图像

中坐标位置为(x₁，y₁)的像素点的第i个颜色分量的值，

表示t时刻的第k′个虚拟视点深度图像

中坐标位置为(x₁，y₁)的像素点的深度值。

在此具体实施例中，基于深度图像的绘制的具体过程为：

⑩-1、利用嵌入水印后的t时刻的第k个参考视点的深度图像

所提供的深度信息(在基于深度的绘制中，需要将深度图像的深度值先转换为实际场景的深度值，再进行映射)，分别将嵌入水印后的t时刻的第k个参考视点的彩色图像

和深度图像

中的各个像素点映射到需绘制的t时刻的第k′个虚拟视点，分别得到虚拟视点彩色图像

和虚拟视点深度图像

⑩-2、利用嵌入水印后的t时刻的第k+1个参考视点的深度图像

所提供的深度信息，分别将嵌入水印后的t时刻的第k+1个参考视点的彩色图像

和深度图像中的各个像素点映射到需绘制的t时刻的第k′个虚拟视点，分别得到虚拟视点彩色图像

和虚拟视点深度图像

⑩-3、判断由嵌入水印后的t时刻的第k个参考视点的彩色图像绘制得到的虚拟视点彩色图像

中坐标位置为(x₁，y₁)的像素点是否为空洞像素点，如果不是，则

否则，继续判断由嵌入水印后的t时刻的第k+1个参考视点的彩色图像绘制得到的虚拟视点彩色图像中坐标位置为(x₁，y₁)的像素点是否为空洞像素点，如果不是，则

否则，对空洞像素点进行填补，得到最终的t时刻的第k′个虚拟视点彩色图像

其中，

表示t时刻的第k′个虚拟视点彩色图像

中坐标位置为(x₁，y₁)的像素点的第i个分量的值。

⑩-4、判断由嵌入水印后的t时刻的第k+1个参考视点的深度图像

绘制得到的虚拟视点深度图像

中坐标位置为(x₁，y₁)的像素点是否为空洞像素点，如果不是，则

否则，继续判断由嵌入水印后的t时刻的第k个参考视点的深度图像

绘制得到的虚拟视点深度图像

中坐标位置为(x₁，y₁)的像素点是否为空洞像素点，如果不是，则

否则，对空洞像素点进行填补，得到最终的t时刻的第k′个虚拟视点深度图像，记为其中，

表示t时刻的第k′个虚拟视点深度图像

中坐标位置为(x₁，y₁)的像素点的深度值。

从起始位置(x′₁，y′₁)开始，从t时刻的第k′个虚拟视点彩色图像

中提取出基本层置乱水印序列，记为

从起始位置(x″₁，y″₁)开始，从t时刻的第k′个虚拟视点深度图像

中提取出增强层置乱水印序列，记为

其中，

表示基本层置乱水印序列

中的第l个水印信息，

表示增强层置乱水印序列中的第l个水印信息；然后分别将基本层置乱水印序列

和增强层置乱水印序列

升维成二维图像，分别得到基本层置乱水印图像和增强层置乱水印图像，并分别记为和

其中，y₃＝Int(l/N)，x₃＝lmodN，Int()表示取整数操作函数；再对基本层置乱水印图像进行m次反置乱变换恢复成基本层水印图像，记为

对增强层置乱水印图像

进行n次反置乱变换恢复成增强层水印图像

在此具体实施例中，提取基本层置乱水印序列

和增强层置乱水印序列

的具体过程为：

将嵌入水印后的t时刻的第k个参考视点的彩色图像

分成

个互不重叠的第一8×8子块，将第k′个虚拟视点彩色图像

分成

个互不重叠的第二8×8子块。

以起始位置(x′₁，y′₁)作为提取水印的密钥，定义从起始位置(x′₁，y′₁)开始的嵌入水印后的t时刻的第k个参考视点的彩色图像

中的第l个第一8×8子块为当前第一子块，记为采用公知的三维图像变换方法计算嵌入水印后的t时刻的第k个参考视点的彩色图像中的坐标位置(x₄，y₄)在t时刻的第k′个虚拟视点彩色图像

中的坐标位置，记为(x′₄，y′₄)，其中，(x₄，y₄)表示当前第一子块的左上角像素点的坐标位置。

定义t时刻的第k′个虚拟视点彩色图像

中的左上角像素点的坐标位置为(x′₄，y′₄)的第二8×8子块为当前第二子块，记为

对当前第二子块

进行DCT变换得到当前DCT系数矩阵，记为

然后计算四个嵌入水印的低频坐标位置的DCT系数的平均值ave1，以及四个低频坐标位置及与各个低频坐标位置横向相邻的两个DCT系数的平均值ave2；再判断ave1≥ave2是否成立，如果成立，则提取出水印信息1，否则，提取出水印信息0。

令l″＝l+1，l＝l″，重复执行步骤

至

直至嵌入水印后的t时刻的第k个参考视点的彩色图像

的N×N个互不重叠的第一8×8子块处理完毕，得到基本层的置乱水印序列

将嵌入水印后的t时刻的第k+1个参考视点的深度图像

分成

个互不重叠的第三8×8子块，将第k′个虚拟视点深色图像

分成

个互不重叠的第四8×8子块。

以起始位置(x″₁，y″₁)作为提取水印的密钥，定义从起始位置(x″₁，y″₁)开始的嵌入水印后的t时刻的第k+1个参考视点的深度图像

中的第l个第三8×8子块为当前第三子块，记为

采用公知的三维图像变换方法计算嵌入水印后的t时刻的第k+1个参考视点的深度图像

中的坐标位置(x₄，y₄)在t时刻的第k′个虚拟视点深色图像中的坐标位置，记为(x″₄，y″₄)，其中，(x₄，y₄)表示当前第三子块

的左上角像素点的坐标位置。

定义t时刻的第k′个虚拟视点深色图像

中的左上角像素点的坐标位置为(x″₄，y″₄)的第四8×8子块为当前第四子块，记为对当前第四子块

进行DCT变换得到当前DCT系数矩阵，记为

然后计算四个嵌入水印的低频坐标位置的DCT系数的平均值ave1，以及四个低频坐标位置及与各个低频坐标位置横向相邻的两个DCT系数的平均值ave2；再判断ave1≥ave2是否成立，如果成立，则提取出水印信息1，否则，提取出水印信息0。

令l″＝l+1，l＝l″，重复执行步骤至

直至嵌入水印后的t时刻的第k+1个参考视点的深度图像

的N×N个互不重叠的第三8×8子块处理完毕，得到增强层的置乱水印序列

首先对基本层水印图像

和增强层水印图像

进行融合，得到融合的水印图像，记为

然后计算融合的水印图像和嵌入的水印图像{P(x₂，y₂)}的归一化互相关系数(Normalized Correlation，NC)，记为

再判断归一化互相关系数

是否大于等于设定的第三阈值T₃，如果是，则确定t时刻的第k′个虚拟视点彩色图像是受版权保护的，否则，确定t时刻的第k′个虚拟视点彩色图像

是不受版权保护的，其中，0≤T₃≤1，T₃值越大表示{P(x₂，y₂)}和

的相似性越高。在本实施例中取T₃＝0.75。

在此具体实施例中，融合基本层水印图像

和增强层水印图像

的具体过程为：

以自适应加权系数w对基本层水印图像

和增强层水印图像

进行融合，得到初步融合的水印图像，记为

其中，w为自适应加权系数，0≤w≤1，w取值越小表示基本层水印图像的权重越小，反之表示增强层水印图像

的权重越小。在本实施例中取w＝0.6。

对初步融合的水印图像进行阈值化操作，判断

是否成立，如果成立，则

否则，其中，T₂表示设定的第二阈值，0≤T₂≤1，T₂取值越大表示水印正确检测的概率越大但构成有效水印的像素越少。在本实施例中取T₂＝0.5。

对阈值化操作后的初步融合的水印图像

进行中值滤波处理，去除点状噪声，得到最终的融合的水印图像

令k″＝k+1，k＝k″，重复执行步骤⑩至

直至绘制得到的t时刻的K个虚拟视点彩色图像处理完毕。

以下就利用本发明方法对“Ballet”、“Breakdancers”三维视频测试序列的虚拟视点图像进行版权保护的主观和客观性能进行比较。

图7a和图7b分别给出了“Ballet”的第4个和第6个参考视点的彩色图像的视觉敏感和非视觉敏感区域的示意图，图7c和图7d分别给出了“Breakdancers”的第4个和第6个参考视点的彩色图像的视觉敏感和非视觉敏感区域的示意图；图8a和图8b分别给出了“Ballet”的第4个和第6个参考视点的深度图像的平坦和非平坦区域的示意图，图8c和图8d分别给出了“Breakdancers”的第4个和第6个参考视点的深度图像的平坦和非平坦区域的示意图；图9a和图9b分别给出了“Ballet”的嵌入水印后的第4个和第6个参考视点的彩色图像，图9c和图9d分别给出了“Breakdancers”的嵌入水印后的第4个和第6个参考视点的彩色图像；图10a和图10b分别给出了“Ballet”的嵌入水印后的第4个和第6个参考视点的深度图像，图10c和图10d分别给出了“Breakdancers”的嵌入水印后的第4个和第6个参考视点的深度图像。对比图2a至图3d的未嵌入水印的彩色图像和深度图像，可以看出经采用本发明的水印嵌入操作得到的彩色图像和深度图像与真实的图像主观视觉差别并不是很大。以上图9a至图10d嵌入的水印图像为图4a所示的水印图像。

图11a和图11b分别给出了“Ballet”三维视频测试序列的第5个参考视点的虚拟视点彩色图像和虚拟视点深度图像，图11c和图11d分别给出了“Breakdancers”三维视频测试集的第5个参考视点的虚拟视点彩色图像和虚拟视点深度图像；图12a、图14a、图16a、图18a和图20a分别给出了采用本发明方法从嵌入图4a、图4b、图4c、图4d和图4e水印图像后的“Ballet”三维视频测试序列的第4个参考视点的彩色图像中提取出的水印图像；图13a、图15a、图17a、图19a和图21a分别给出了采用本发明方法从嵌入图4a、图4b、图4c、图4d和图4e水印图像后的“Breakdancers”三维视频测试序列的第4个参考视点的彩色图像中提取出的水印图像；图12b、图14b、图16b、图18b和图20b分别给出了采用本发明方法从嵌入图4a、图4b、图4c、图4d和图4e水印图像后的“Ballet”三维视频测试序列的第6个参考视点的深度图像中提取出的水印图像；图13b、图15b、图17b、图19b和图21b分别给出了采用本发明方法从嵌入图4a、图4b、图4c、图4d和图4e水印图像后的“Breakdancers”三维视频测试序列的第6个参考视点的深度图像中提取出的水印图像。从图12a、图12b、图13a、图13b、图14a、图14b、图15a、图15b、图16a、图16b、图17a、图17b、图18a、图18b、图19a、图19b、图20a、图20b、图21a、图21b中可以看出，采用本发明方法能够从原始视图像中提取出高质量的水印信息，说明本发明的水印嵌入方法是有效的。

图12c、图14c、图16c、图18c和图20c分别给出了采用本发明方法从嵌入图4a、图4b、图4c、图4d和图4e水印图像后的“Ballet”三维视频测试序列的第5个参考视点的虚拟视点彩色图像中提取出的水印图像；图13c、图15c、图17c、图19c和图21c分别给出了采用本发明方法从嵌入图4a、图4b、图4c、图4d和图4e水印图像后的“Breakdancers”三维视频测试序列的第5个参考视点的虚拟视点彩色图像中提取出的水印图像；图12d、图14d、图16d、图18d和图20d分别给出了采用本发明方法从嵌入图4a、图4b、图4c、图4d和图4e水印图像后的“Ballet”三维视频测试序列的第5个参考视点的虚拟视点深度图像中提取出的水印图像；图13d、图15d、图17d、图19d和图21d分别给出了采用本发明方法从嵌入图4a、图4b、图4c、图4d和图4e水印图像后的“Breakdancers”三维视频测试序列的第5个参考视点的虚拟视点深度图像中提取出的水印图像；图12e、图14e、图16e、图18e和图20e分别给出了采用本发明方法对图12c和图12d、图14c和图14d、图16c和图16d、图18c和图18d、图20c和图20d进行融合得到的水印图像；图13e、图15e、图17e、图19e和图21e分别给出了采用本发明方法对图13c和图13d、图15c和图15d、图17c和图17d、图19c和图19d、图21c和图21d进行融合得到的水印图像。从图中可以看出，采用本发明方法能提取出较为清晰的水印信息，有效地保护虚拟视点图像的版权，足以说明本发明方法是有效可行的。

对采用本发明方法提取的水印图像和原始水印图像之间的峰值信噪比(Peak Signalto Noise Ratio，PSNR)和归一化互相关系数(Normalized Correlation，NC)进行比较，PSNR和NC比较结果如表1所示，表1是分别以“Ballet”和“Breakdancers”的第4个和第6个参考视点作为嵌入水印的载体图像，从第5个参考视点的虚拟视点彩色图像中提取水印图像。从表1中可以看出，即使提取的水印图像和原始水印图像之间的PSNR并不是很高，但NC仍然能保持在0.75以上，说明本发明方法具有较好的鲁棒性。由于虚拟视点图像的版权保护与参考视点图像的版权保护有所区别，虚拟视点图像的版权保护只需要能从虚拟视点图像中检测出水印信息即可，NC＝0.75被认为在可检测范围之内。

表1采用本发明方法嵌入不同水印图像的相似性比较

Claims (7)

1.一种虚拟视点图像的版权保护方法，其特征在于包括以下步骤：

①获取t时刻的K个参考视点的K幅颜色空间为YUV的彩色图像及其对应的K幅深度图像，将待嵌入的水印图像记为{P(x₂，y₂)}，其中，(x₂，y₂)表示待嵌入的水印图像{P(x₂，y₂)}中像素点的坐标位置，1≤x₂≤N，1≤y₂≤N，N表示待嵌入的水印图像{P(x₂，y₂)}的水平和垂直尺寸大小，P(x₂，y₂)表示待嵌入的水印图像{P(x₂，y₂)}中坐标位置为(x₂，y₂)的像素点的水印信息；

②将t时刻的第k个参考视点的彩色图像记为

将t时刻的第k个参考视点的深度图像记为

其中，1≤k≤K，i＝1，2，3分别表示YUV颜色空间的三个颜色分量，YUV颜色空间的第1个颜色分量为亮度分量并记为Y、第2个颜色分量为第一色度分量并记为U及第3个颜色分量为第二色度分量并记为V，(x₁，y₁)表示彩色图像和深度图像中像素点的坐标位置，1≤x₁≤W，1≤y₁≤H，W表示彩色图像和深度图像的宽度，H表示彩色图像和深度图像的高度，

表示t时刻的第k个参考视点的彩色图像中坐标位置为(x₁，y₁)的像素点的第i个颜色分量的值，

表示t时刻的第k个参考视点的深度图像

中坐标位置为(x₁，y₁)的像素点的深度值；

③首先对待嵌入的水印图像{P(x₂，y₂)}分别进行m次和n次置乱变换，分别得到第一置乱水印图像和第二置乱水印图像，并分别记为{P₁(x₃，y₃)}和{P₂(x₃，y₃)}，其中，(x₃，y₃)表示第一置乱水印图像{P₁(x₃，y₃)}和第二置乱水印图像{P₂(x₃，y₃)}中像素点的坐标位置，

P₁(x₃，y₃)表示第一置乱水印图像{P₁(x₃，y₃)}中坐标位置为(x₃，y₃)的像素点的水印信息，P₂(x₃，y₃)表示第二置乱水印图像{P₂(x₃，y₃)}中坐标位置为(x₃，y₃)的像素点的水印信息；然后分别将第一置乱水印图像{P₁(x₃，y₃)}和第二置乱水印图像{P₂(x₃，y₃)}降维成一维序列，分别得到第一置乱水印序列和第二置乱水印序列，并分别记为{T₁(l)}和{T₂(l)}，其中，l＝y₃×N+x₃，T₁(l)表示第一置乱水印序列{T₁(l)}中的第l个水印信息，T₂(l)表示第二置乱水印序列{T₂(l)}中的第l个水印信息；再保存置乱次数m和n，作为水印提取密钥；

④利用人类视觉对背景光照和纹理的视觉掩蔽效应，提取出t时刻的第k个参考视点的彩色图像

的最小可察觉变化步长图像，记为

⑤设定在t时刻的第k个参考视点的彩色图像

中嵌入水印的起始位置，记为(x′₁，y′₁)，然后从起始位置(x′₁，y′₁)开始，根据t时刻的第k个参考视点的彩色图像

的最小可察觉变化步长图像

将第一置乱水印序列{T₁(l)}嵌入到t时刻的第k个参考视点的彩色图像

中，得到嵌入水印后的t时刻的第k个参考视点的彩色图像，记为

再将起始位置(x′₁，y′₁)作为水印提取密钥，并保存，其中，1≤x′₁≤W-8×N，1≤y′₁≤H-8×N；

⑥设定在t时刻的第k个参考视点的深度图像

中嵌入水印的起始位置，记为(x″₁，y″₁)，然后从起始位置(x″₁，y″₁)开始，将第二置乱水印序列{T₂(l)}嵌入到t时刻的第k个参考视点的深度图像

中，得到嵌入水印后的t时刻的第k个参考视点的深度图像，记为再将起始位置(x″₁，y″₁)作为水印提取密钥，并保存，其中，1≤x″₁≤W-8×N，1≤y″₁≤H-8×N；

⑦令k″＝k+1，k＝k″，重复执行步骤②至⑦，直至完成对K个参考视点的K幅彩色图像嵌入相同的第一置乱水印序列{T₁(l)}及完成对对应的K幅深度图像嵌入相同的第二置乱水印序列{T₂(l)}，将嵌入水印后的t时刻的K个参考视点的K幅彩色图像用集合表示为

将嵌入水印后的t时刻的K个参考视点的K幅深度图像用集合表示为

其中，k″的初始值为0；

⑧采用多视点视频编码器对及

进行编码传输，同时传输置乱次数m和n及起始位置(x′₁，y′₁)和(x″₁，y″₁)；

⑨在用户端对编码后的t时刻的K个参考视点的K幅彩色图像及其对应的K幅深度图像进行解码，获得解码后的t时刻的K个参考视点的K幅彩色图像及其对应的K幅深度图像；

⑩假定当前需绘制的是第k′个虚拟视点，从解码后的t时刻的K个参考视点中选择两个与第k′个虚拟视点最相邻的参考视点，假定这两个参考视点分别为第k个参考视点和第k+1个参考视点，采用基于深度图像的绘制得到t时刻的第k′个虚拟视点彩色图像和t时刻的第k′个虚拟视点深度图像，分别记为

和

其中，1≤k′≤K，(x₁，y₁)表示t时刻的第k′个虚拟视点彩色图像和t时刻的第k′个虚拟视点深度图像中像素点的坐标位置，1≤x₁≤W，1≤y₁≤H，W表示虚拟视点彩色图像和虚拟视点深度图像的宽度，H表示虚拟视点彩色图像和虚拟视点深度图像的高度，

表示t时刻的第k′个虚拟视点彩色图像

中坐标位置为(x₁，y₁)的像素点的第i个颜色分量的值，

表示t时刻的第k′个虚拟视点深度图像

中坐标位置为(x₁，y₁)的像素点的深度值；

从起始位置(x′₁，y′₁)开始，从t时刻的第k′个虚拟视点彩色图像中提取出基本层置乱水印序列，记为

从起始位置(x″₁，y″₁)开始，从t时刻的第k′个虚拟视点深度图像

中提取出增强层置乱水印序列，记为

其中，

表示基本层置乱水印序列中的第l个水印信息，

表示增强层置乱水印序列

中的第l个水印信息；然后分别将基本层置乱水印序列

和增强层置乱水印序列

升维成二维图像，分别得到基本层置乱水印图像和增强层置乱水印图像，并分别记为和

其中，y₃＝Int(l/N)，x₃＝lmodN，Int()表示取整数操作函数；再对基本层置乱水印图像

进行m次反置乱变换恢复成基本层水印图像，记为

对增强层置乱水印图像

进行n次反置乱变换恢复成增强层水印图像

首先对基本层水印图像

和增强层水印图像

进行融合，得到融合的水印图像，记为然后计算融合的水印图像

和嵌入的水印图像{P(x₂，y₂)}的归一化互相关系数，记为

再判断归一化互相关系数

是否大于等于设定的第三阈值T₃，如果是，则确定t时刻的第k′个虚拟视点彩色图像

是受版权保护的，否则，确定t时刻的第k′个虚拟视点彩色图像

是不受版权保护的，其中，0≤T₃≤1；

令k″＝k+1，k＝k″，重复执行步骤⑩至直至绘制得到的t时刻的K个虚拟视点彩色图像处理完毕。

2.根据权利要求1所述的一种虚拟视点图像的版权保护方法，其特征在于所述的步骤④包括以下具体步骤：

④-1、计算t时刻的第k个参考视点的彩色图像

的背景光照的视觉掩蔽效应的可视化阈值集合，记为{T_l(x₁，y₁)}，其中，

表示t时刻的第k个参考视点的彩色图像中以坐标位置为(x₁，y₁)的像素点为中心的5×5窗口内的所有像素点的亮度平均值；

④-2、计算t时刻的第k个参考视点的彩色图像

的纹理的视觉掩蔽效应的可视化阈值集合，记为{T_t(x₁，y₁)}，T_t(x₁，y₁)＝η×G(x₁，y₁)×W_e(x₁，y₁)，其中，η为控制因子，G(x₁，y₁)表示对t时刻的第k个参考视点的彩色图像

中坐标位置为(x₁，y₁)的像素点进行定向高通滤波得到的最大加权平均值，W_e(x₁，y₁)表示对t时刻的第k个参考视点的彩色图像

的边缘图像中坐标位置为(x₁，y₁)的像素点进行高斯低通滤波得到的边缘加权值；

④-3、对t时刻的第k个参考视点的彩色图像

的背景光照的视觉掩蔽效应的可视化阈值集合{T_l(x₁，y₁)}和纹理的视觉掩蔽效应的可视化阈值集合{T_t(x₁，y₁)}进行融合，得到t时刻的第k个参考视点的彩色图像的最小可察觉变化步长阈值集合，记为{JND(x₁，y₁)}，JND(x₁，y₁)＝T_l(x₁，y₁)+T_t(x₁，y₁)-C_l，t×min{T_l(x₁，y₁)，T_t(x₁，y₁)}，其中，C_l，t表示控制背景光照和纹理的视觉掩蔽效应重叠影响的参数，0＜C_l，t＜1，min{}为取最小值函数；

④-4、从最小可察觉变化步长阈值集合{JND(x₁，y₁)}中找出最大值MAX_JND和最小值MIN_JND，然后将最小可察觉变化步长阈值集合{JND(x₁，y₁)}投影到[0，255]的图像空间，得到t时刻的第k个参考视点的彩色图像

的最小可察觉变化步长图像

$\left\{{\mathrm{JNDmap}}_t^k(x_1,y_1)\right\},$ ${\mathrm{JNDmap}}_t^k(x_1,y_1)=255\×\frac{\mathrm{JND}(x_1,y_1)-{\mathrm{MIN}}_{\mathrm{JND}}}{{\mathrm{MAX}}_{\mathrm{JND}}-{\mathrm{MIN}}_{\mathrm{JND}}}.$

3.根据权利要求1或2所述的一种虚拟视点图像的版权保护方法，其特征在于所述的步骤⑤中将第一置乱水印序列{T₁(l)}嵌入到t时刻的第k个参考视点的彩色图像

中的具体过程为：

⑤-1、将t时刻的第k个参考视点的彩色图像分成

个互不重叠的8×8子块；

⑤-2、定义从起始位置(x′₁，y′₁)开始的第l个8×8子块为当前子块，记为

对当前子块

的亮度分量进行DCT变换得到当前DCT系数矩阵，记为

其中，1≤l≤N×N，(x₄，y₄)表示当前子块

中像素点的坐标位置，1≤x₄≤8，1≤y₄≤8，(u，v)表示当前DCT系数矩阵

中DCT系数的坐标位置，1≤u≤8，1≤v≤8；

⑤-3、计算t时刻的第k个参考视点的彩色图像

的最小可察觉变化步长图像

中与当前子块

的位置相对应的8×8子块中所有像素点的像素值的均值和标准差然后判断

是否成立，如果成立，则确定当前子块

为视觉敏感块，否则，确定当前子块为非视觉敏感块；再依据当前子块的块类型为当前子块

指定一个强度因子α_p，其中，λ为控制因子，p表示块类型，p＝1表示视觉敏感块，p＝2表示非视觉敏感块，α₁＜α₂；

⑤-4、假定低频坐标位置(u′，v′)表示当前子块

中要嵌入第一置乱水印序列{T₁(l)}中的第l个水印信息的位置，计算当前DCT系数矩阵

中坐标位置为(u′，v′)的DCT系数及与其横向相邻的两个DCT系数的均值，记为ave(u′，v′)，其中，

表示当前DCT系数矩阵

中坐标位置为(u′-1，v′)的DCT系数，

表示当前DCT系数矩阵

中坐标位置为(u′，v′)的DCT系数，

表示当前DCT系数矩阵

中坐标位置为(u′+1，v′)的DCT系数；然后判断嵌入的第l个水印信息是否为1，如果是，则修改当前子块

中要嵌入第l个水印信息的坐标位置(u′，v′)对应的DCT系数

否则，修改当前子块中要嵌入第l个水印信息的坐标位置(u′，v′)对应的DCT系数

⑤-5、按照上面的步骤在当前子块

的四个低频坐标位置中嵌入相同的第l个水印信息；并得到当前DCT系数矩阵

中的四个DCT低频系数修改后构成的DCT系数矩阵；

⑤-6、令l″＝l+1，l＝l″，重复执行步骤⑤-2至⑤-5，直至t时刻的第k个参考视点的彩色图像

中的N×N个互不重叠的8×8子块处理完毕，得到各个8×8子块对应的修改后的DCT系数矩阵，其中，l″的初始值为0；

⑤-7、对所有修改后的DCT系数矩阵进行反DCT变换，得到嵌入有第一置乱水印序列{T₁(l)}的t时刻的第k个参考视点的彩色图像

4.根据权利要求3所述的一种虚拟视点图像的版权保护方法，其特征在于所述的步骤⑥中将第二置乱水印序列{T₂(l)}嵌入到t时刻的第k个参考视点的深度图像

中的具体过程为：

⑥-1、将t时刻的第k个参考视点的深度图像

分成

个互不重叠的8×8子块；

⑥-2、定义从起始位置(x″₁，y″₁)开始的第l个8×8子块为当前子块，记为

对当前子块

的亮度分时进行DCT变换得到当前DCT系数矩阵，记为其中，1≤l≤N×N，(x₄，y₄)表示当前子块

中像素点的坐标位置，1≤x₄≤8，1≤y₄≤8，(u，v)表示当前DCT系数矩阵

中DCT系数的坐标位置，1≤u≤8，1≤v≤8；

⑥-3、计算当前子块

中所有像素点的标准差，记为

判断

是否成立，如果成立，则确定当前子块

为平坦块，否则，确定当前子块

为非平坦块，其中，T₁表示设定的第一阈值；然后依据当前子块

的块类型为当前子块

指定一个强度因子β_q，其中，q表示块类型，q＝1表示平坦块，q＝2表示非平坦块，β₁＞β₂；

⑥-4、假定低频坐标位置(u″，v″)表示当前子块

中要嵌入第二置乱水印序列{T₂(l)}中的第l个水印信息的位置，计算当前DCT系数矩阵

中坐标位置为(u″，v″)的DCT系数及与其横向相邻的两个DCT系数的均值，记为ave(u″，v″)，

其中，

表示当前DCT系数矩阵

中坐标位置为(u″-1，v″)的DCT系数，

表示当前DCT系数矩阵

中坐标位置为(u″，v″)的DCT系数，

表示当前DCT系数矩阵

中坐标位置为(u″+1，v″)的DCT系数；然后判断嵌入的第l个水印信息是否为1，如果是，则修改当前子块中要嵌入第l个水印信息的坐标位置(u″，v″)对应的DCT系数

否则，修改当前子块

中要嵌入第l个水印信息的坐标位置(u″，v″)对应的DCT系数

⑥-5、按照上面的步骤在当前子块

的四个低频坐标位置中嵌入相同的第l个水印信息，并得到当前DCT系数矩阵

中的四个DCT低频系数修改后构成的DCT系数矩阵；

⑥-6、令l″＝l+1，l＝l″，重复执行步骤⑥-2至⑥-5，直至t时刻的第k个参考视点的深度图像中的N×N个互不重叠的8×8子块处理完毕，得到各个8×8子块对应的修改后的DCT系数矩阵，其中，l″的初始值为0；

⑥-7、对所有修改后的DCT系数矩阵进行反DCT变换，得到嵌入有第二置乱水印序列{T₂(l)}的t时刻的第k个参考视点的深度图像

5.根据权利要求4所述的一种虚拟视点图像的版权保护方法，其特征在于所述的步骤⑩中基于深度图像的绘制的具体过程为：

⑩-1、利用嵌入水印后的t时刻的第k个参考视点的深度图像

所提供的深度信息，分别将嵌入水印后的t时刻的第k个参考视点的彩色图像

和深度图像

中的各个像素点映射到需绘制的t时刻的第k′个虚拟视点，分别得到虚拟视点彩色图像

和虚拟视点深度图像

⑩-2、利用嵌入水印后的t时刻的第k+1个参考视点的深度图像

所提供的深度信息，分别将嵌入水印后的t时刻的第k+1个参考视点的彩色图像

和深度图像

中的各个像素点映射到需绘制的t时刻的第k′个虚拟视点，分别得到虚拟视点彩色图像

和虚拟视点深度图像

⑩-3、判断由嵌入水印后的t时刻的第k个参考视点的彩色图像

绘制得到的虚拟视点彩色图像

中坐标位置为(x₁，y₁)的像素点是否为空洞像素点，如果不是，则

否则，继续判断由嵌入水印后的t时刻的第k+1个参考视点的彩色图像绘制得到的虚拟视点彩色图像

中坐标位置为(x₁，y₁)的像素点是否为空洞像素点，如果不是，则

否则，对空洞像素点进行填补，得到最终的t时刻的第k′个虚拟视点彩色图像

其中，

表示t时刻的第k′个虚拟视点彩色图像

中坐标位置为(x₁，y₁)的像素点的第i个分量的值；

⑩-4、判断由嵌入水印后的t时刻的第k+1个参考视点的深度图像

绘制得到的虚拟视点深度图像

中坐标位置为(x₁，y₁)的像素点是否为空洞像素点，如果不是，则

否则，继续判断由嵌入水印后的t时刻的第k个参考视点的深度图像

绘制得到的虚拟视点深度图像

中坐标位置为(x₁，y₁)的像素点是否为空洞像素点，如果不是，则

否则，对空洞像素点进行填补，得到最终的t时刻的第k′个虚拟视点深度图像，记为其中，

表示t时刻的第k′个虚拟视点深度图像

中坐标位置为(x₁，y₁)的像素点的深度值。

6.根据权利要求5所述的一种虚拟视点图像的版权保护方法，其特征在于所述的步骤

中提取基本层置乱水印序列

和增强层置乱水印序列

的具体过程为：

将嵌入水印后的t时刻的第k个参考视点的彩色图像

分成个互不重叠的第一8×8子块，将第k′个虚拟视点彩色图像分成

个互不重叠的第二8×8子块；

以起始位置(x′₁，y′₁)作为提取水印的密钥，定义从起始位置(x′₁，y′₁)开始的嵌入水印后的t时刻的第k个参考视点的彩色图像

中的第l个第一8×8子块为当前第一子块，记为采用三维图像变换方法计算嵌入水印后的t时刻的第k个参考视点的彩色图像

中的坐标位置(x₄，y₄)在t时刻的第k′个虚拟视点彩色图像

中的坐标位置，记为(x′₄，y′₄)，其中，(x₄，y₄)表示当前第一子块

的左上角像素点的坐标位置；

定义t时刻的第k′个虚拟视点彩色图像中的左上角像素点的坐标位置为(x′₄，y′₄)的第二8×8子块为当前第二子块，记为

对当前第二子块

进行DCT变换得到当前DCT系数矩阵，记为

然后计算四个嵌入水印的低频坐标位置的DCT系数的平均值ave1，以及四个低频坐标位置及与各个低频坐标位置横向相邻的两个DCT系数的平均值ave2；再判断ave1≥ave2是否成立，如果成立，则提取出水印信息1，否则，提取出水印信息0；

令l″＝l+1，l＝l″，重复执行步骤

至

直至嵌入水印后的t时刻的第k个参考视点的彩色图像

的N×N个互不重叠的第一8×8子块处理完毕，得到基本层的置乱水印序列

将嵌入水印后的t时刻的第k+1个参考视点的深度图像

分成

个互不重叠的第三8×8子块，将第k′个虚拟视点深色图像

分成

个互不重叠的第四8×8子块；

以起始位置(x″₁，y″₁)作为提取水印的密钥，定义从起始位置(x″₁，y″₁)开始的嵌入水印后的t时刻的第k+1个参考视点的深度图像

中的第l个第三8×8子块为当前第三子块，记为

采用三维图像变换方法计算嵌入水印后的t时刻的第k+1个参考视点的深度图像中的坐标位置(x₄，y₄)在t时刻的第k′个虚拟视点深色图像

中的坐标位置，记为(x″₄，y″₄)，其中，(x₄，y₄)表示当前第三子块

的左上角像素点的坐标位置；

定义t时刻的第k′个虚拟视点深色图像

中的左上角像素点的坐标位置为(x″₄，y″₄)的第四8×8子块为当前第四子块，记为

对当前第四子块

进行DCT变换得到当前DCT系数矩阵，记为

然后计算四个嵌入水印的低频坐标位置的DCT系数的平均值ave1，以及四个低频坐标位置及与各个低频坐标位置横向相邻的两个DCT系数的平均值ave2；再判断ave1≥ave2是否成立，如果成立，则提取出水印信息1，否则，提取出水印信息0；

令l″＝l+1，l＝l″，重复执行步骤

至

直至嵌入水印后的t时刻的第k+1个参考视点的深度图像

的N×N个互不重叠的第三8×8子块处理完毕，得到增强层的置乱水印序列

7.根据权利要求6所述的一种虚拟视点图像的版权保护方法，其特征在于所述的步骤

中融合基本层水印图像

和增强层水印图像

的具体过程为：

以自适应加权系数w对基本层水印图像

和增强层水印图像

进行融合，得到初步融合的水印图像，记为 其中，0≤w≤1；

对初步融合的水印图像进行阈值化操作，判断

是否成立，如果成立，则

否则，

其中，T₂表示设定的第二阈值，0≤T₂≤1；

对阈值化操作后的初步融合的水印图像

进行中值滤波处理，去除点状噪声，得到最终的融合的水印图像

Images