CN101990081B - 一种虚拟视点图像的版权保护方法 - Google Patents

一种虚拟视点图像的版权保护方法 Download PDF

Info

Publication number
CN101990081B
CN101990081B CN2010105395875A CN201010539587A CN101990081B CN 101990081 B CN101990081 B CN 101990081B CN 2010105395875 A CN2010105395875 A CN 2010105395875A CN 201010539587 A CN201010539587 A CN 201010539587A CN 101990081 B CN101990081 B CN 101990081B
Authority
CN
China
Prior art keywords
image
constantly
watermark
coordinate position
reference view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2010105395875A
Other languages
English (en)
Other versions
CN101990081A (zh
Inventor
邵枫
郁梅
蒋刚毅
陈恳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo University
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN2010105395875A priority Critical patent/CN101990081B/zh
Publication of CN101990081A publication Critical patent/CN101990081A/zh
Application granted granted Critical
Publication of CN101990081B publication Critical patent/CN101990081B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本发明公开了一种虚拟视点图像的版权保护方法，其根据人类视觉掩蔽效应提取最小可察觉变化步长阈值来对彩色图像嵌入不同强度的水印信息，根据深度图像不同区域的失真对虚拟视点绘制的影响来对深度图像嵌入不同强度的水印信息，这样大大提高了水印的嵌入强度和鲁棒性；然后采用基于深度图像的绘制得到虚拟视点彩色图像和虚拟视点深度图像，并设计不同的水印提取方法从虚拟视点彩色图像和虚拟视点深度图像中提取基本层和增强层水印图像，并通过融合得到最终的水印图像，从而实现对虚拟视点图像的水印盲检测，达到版权保护的目的。

Description

一种虚拟视点图像的版权保护方法
技术领域
本发明涉及一种三维视频的处理技术，尤其是涉及一种虚拟视点图像的版权保护方法。
背景技术
三维视频(Three-Dimensional Video，3DV)是一种先进的视觉模式，它使人们在屏幕上观看图像时富有立体感和沉浸感，可以满足人们从不同角度观看三维场景的需求。通常，三维视频系统如图1所示，其主要包括视频捕获、视频编码、传输解码、视点绘制和交互显示等模块。多视点视频加深度(multi-view video plus depth，MVD)是目前ISO/MPEG推荐采用的3D(Three-Dimensional，三维)场景信息表示方式，MVD数据在彩色图像基础上增加了对应视点的深度信息，基于深度图像的绘制(Depth ImageBased Rendering，DIBR)是一种利用参考视点的彩色图像及其所对应的深度图像绘制生成虚拟视点图像的方法。
近年来，随着网络和信息技术的快速发展，使得数字图像、音频和视频等数字多媒体信息和作品都能够通过数字化的形式直接获得和广泛传播，同时也使得盗版者可以非常容易地复制或传播数字多媒体信息和作品，从而导致版权作品在非授权的情况下被广泛复制和传播，严重侵犯了原作者的合法权益。因此，必须采取有效的版权保护措施来防止数字多媒体作品的非法复制和传播。数字水印是实现版权保护的有效方法，不可见性、鲁棒性、安全性等特征是评价数字水印方法的重要指标，而现有的数字水印方法的研究主要集中在二维视频图像。
在三维视频应用中，对多视点视频内容的版权保护也是非常重要的。对三维视频内容的版权所有者来说，其不仅拥有原始采集的多视点视频内容的版权，而且采用DIBR方法生成的虚拟视点图像也同样受版权保护。对虚拟视点图像的版权保护研究应当有别于现有的二维视频图像的版权保护，这是因为：一方面，绘制的虚拟视点图像受到几何变换、视点同步攻击、空洞等各类攻击，如何有效地嵌入和提取水印信息，提高水印的鲁棒性是一个亟需解决的问题；另一方面，由于绘制的虚拟视点图像没有原始视点图像作为参考，如何对原始视点图像嵌入水印以保证由其绘制得到的虚拟视点图像也是受版权保护的，以及如何从虚拟视点图像中精确地检测出水印信息，都是虚拟视点图像的版权保护过程中需要研究解决的问题。
发明内容
本发明所要解决的技术问题是提供一种水印嵌入强度高、水印鲁棒性好、水印抗干扰能力强，且提取水印时无需参考原始视点图像的虚拟视点图像的版权保护方法。
本发明解决上述技术问题所采用的技术方案为：一种虚拟视点图像的版权保护方法，其特征在于包括以下步骤：
①获取t时刻的K个参考视点的K幅颜色空间为YUV的彩色图像及其对应的K幅深度图像，将待嵌入的水印图像记为{P(x2，y2)}，其中，(x2，y2)表示待嵌入的水印图像{P(x2，y2)}中像素点的坐标位置，1≤x2≤N，1≤y2≤N，N表示待嵌入的水印图像{P(x2，y2)}的水平和垂直尺寸大小，P(x2，y2)表示待嵌入的水印图像{P(x2，y2)}中坐标位置为(x2，y2)的像素点的水印信息；
②将t时刻的第k个参考视点的彩色图像记为
Figure BDA0000031735080000021
将t时刻的第k个参考视点的深度图像记为
Figure BDA0000031735080000022
其中，1≤k≤K，i＝1，2，3分别表示YUV颜色空间的三个颜色分量，YUV颜色空间的第1个颜色分量为亮度分量并记为Y、第2个颜色分量为第一色度分量并记为U及第3个颜色分量为第二色度分量并记为V，(x1，y1)表示彩色图像和深度图像中像素点的坐标位置，1≤x1≤W，1≤y1≤H，W表示彩色图像和深度图像的宽度，H表示彩色图像和深度图像的高度，
Figure BDA0000031735080000023
表示t时刻的第k个参考视点的彩色图像
Figure BDA0000031735080000024
中坐标位置为(x1，y1)的像素点的第i个颜色分量的值，
Figure BDA0000031735080000025
表示t时刻的第k个参考视点的深度图像
Figure BDA0000031735080000026
中坐标位置为(x1，y1)的像素点的深度值；
③首先对待嵌入的水印图像{P(x2，y2)}分别进行m次和n次置乱变换，分别得到第一置乱水印图像和第二置乱水印图像，并分别记为{P1(x3，y3)}和{P2(x3，y3)}，其中，(x3，y3)表示第一置乱水印图像{P1(x3，y3)}和第二置乱水印图像{P2(x3，y3)}中像素点的坐标位置，
Figure BDA0000031735080000031
P1(x3，y3)表示第一置乱水印图像{P1(x3，y3)}中坐标位置为(x3，y3)的像素点的水印信息，P2(x3，y3)表示第二置乱水印图像{P2(x3，y3)}中坐标位置为(x3，y3)的像素点的水印信息；然后分别将第一置乱水印图像{P1(x3，y3)}和第二置乱水印图像{P2(x3，y3)}降维成一维序列，分别得到第一置乱水印序列和第二置乱水印序列，并分别记为{T1(l)}和{T2(l)}，其中，l＝y3×N+x3，T1(l)表示第一置乱水印序列{T1(l)}中的第l个水印信息，T2(l)表示第二置乱水印序列{T2(l)}中的第l个水印信息；再保存置乱次数m和n，作为水印提取密钥；
④利用人类视觉对背景光照和纹理的视觉掩蔽效应，提取出t时刻的第k个参考视点的彩色图像
Figure BDA0000031735080000032
的最小可察觉变化步长图像，记为
Figure BDA0000031735080000033
⑤设定在t时刻的第k个参考视点的彩色图像
Figure BDA0000031735080000034
中嵌入水印的起始位置，记为(x′1，y′1)，然后从起始位置(x′1，y′1)开始，根据t时刻的第k个参考视点的彩色图像
Figure BDA0000031735080000035
的最小可察觉变化步长图像
Figure BDA0000031735080000036
将第一置乱水印序列{T1(l)}嵌入到t时刻的第k个参考视点的彩色图像
Figure BDA0000031735080000037
中，得到嵌入水印后的t时刻的第k个参考视点的彩色图像，记为
Figure BDA0000031735080000038
再将起始位置(x′1，y′1)作为水印提取密钥，并保存，其中，1≤x′1≤W-8×N，1≤y′1≤H-8×N；
⑥设定在t时刻的第k个参考视点的深度图像
Figure BDA0000031735080000039
中嵌入水印的起始位置，记为(x″1，y″1)，然后从起始位置(x″1，y″1)开始，将第二置乱水印序列{T2(l)}嵌入到t时刻的第k个参考视点的深度图像
Figure BDA00000317350800000310
中，得到嵌入水印后的t时刻的第k个参考视点的深度图像，记为
Figure BDA00000317350800000311
再将起始位置(x″1，y″1)作为水印提取密钥，并保存，其中，1≤x″1≤W-8×N，1≤y″1≤H-8×N；
⑦令k″＝k+1，k＝k″，重复执行步骤②至⑦，直至完成对K个参考视点的K幅彩色图像嵌入相同的第一置乱水印序列{T1(l)}及完成对对应的K幅深度图像嵌入相同的第二置乱水印序列{T2(l)}，将嵌入水印后的t时刻的K个参考视点的K幅彩色图像用集合表示为
Figure BDA0000031735080000041
将嵌入水印后的t时刻的K个参考视点的K幅深度图像用集合表示为
Figure BDA0000031735080000042
其中，k″的初始值为0；
⑧采用多视点视频编码器对及
Figure BDA0000031735080000044
进行编码传输，同时传输置乱次数m和n及起始位置(x′1，y′1)和(x″1，y″1)；
⑨在用户端对编码后的t时刻的K个参考视点的K幅彩色图像及其对应的K幅深度图像进行解码，获得解码后的t时刻的K个参考视点的K幅彩色图像及其对应的K幅深度图像；
⑩假定当前需绘制的是第k′个虚拟视点，从解码后的t时刻的K个参考视点中选择两个与第k′个虚拟视点最相邻的参考视点，假定这两个参考视点分别为第k个参考视点和第k+1个参考视点，采用基于深度图像的绘制得到t时刻的第k′个虚拟视点彩色图像和t时刻的第k′个虚拟视点深度图像，分别记为
Figure BDA0000031735080000045
和
Figure BDA0000031735080000046
其中，1≤k′≤K，(x1，y1)表示t时刻的第k′个虚拟视点彩色图像
Figure BDA0000031735080000047
和t时刻的第k′个虚拟视点深度图像
Figure BDA0000031735080000048
中像素点的坐标位置，1≤x1≤W，1≤y1≤H，W表示虚拟视点彩色图像和虚拟视点深度图像的宽度，H表示虚拟视点彩色图像和虚拟视点深度图像的高度，
Figure BDA0000031735080000049
表示t时刻的第k′个虚拟视点彩色图像
Figure BDA00000317350800000410
中坐标位置为(x1，y1)的像素点的第i个颜色分量的值，
Figure BDA00000317350800000411
表示t时刻的第k′个虚拟视点深度图像中坐标位置为(x1，y1)的像素点的深度值；
Figure BDA00000317350800000413
从起始位置(x′1，y′1)开始，从t时刻的第k′个虚拟视点彩色图像
Figure BDA00000317350800000414
中提取出基本层置乱水印序列，记为
Figure BDA00000317350800000415
从起始位置(x″1，y″1)开始，从t时刻的第k′个虚拟视点深度图像
Figure BDA00000317350800000416
中提取出增强层置乱水印序列，记为
Figure BDA00000317350800000417
其中，
Figure BDA00000317350800000418
表示基本层置乱水印序列
Figure BDA00000317350800000419
中的第l个水印信息，
Figure BDA00000317350800000420
表示增强层置乱水印序列
Figure BDA00000317350800000421
中的第l个水印信息；然后分别将基本层置乱水印序列
Figure BDA00000317350800000422
和增强层置乱水印序列
Figure BDA00000317350800000423
升维成二维图像，分别得到基本层置乱水印图像和增强层置乱水印图像，并分别记为
Figure BDA0000031735080000051
和
Figure BDA0000031735080000052
其中，y3＝Int(l/N)，x3＝lmodN，Int()表示取整数操作函数；再对基本层置乱水印图像进行m次反置乱变换恢复成基本层水印图像，记为
Figure BDA0000031735080000054
对增强层置乱水印图像
Figure BDA0000031735080000055
进行n次反置乱变换恢复成增强层水印图像
Figure BDA0000031735080000056
Figure BDA0000031735080000057
首先对基本层水印图像
Figure BDA0000031735080000058
和增强层水印图像
Figure BDA0000031735080000059
进行融合，得到融合的水印图像，记为
Figure BDA00000317350800000510
然后计算融合的水印图像
Figure BDA00000317350800000511
和嵌入的水印图像{P(x2，y2)}的归一化互相关系数，记为
Figure BDA00000317350800000512
Figure BDA00000317350800000513
再判断归一化互相关系数
Figure BDA00000317350800000514
是否大于等于设定的第三阈值T3，如果是，则确定t时刻的第k′个虚拟视点彩色图像
Figure BDA00000317350800000515
是受版权保护的，否则，确定t时刻的第k′个虚拟视点彩色图像
Figure BDA00000317350800000516
是不受版权保护的，其中，0≤T3≤1；
令k″＝k+1，k＝k″，重复执行步骤⑩至
Figure BDA00000317350800000518
直至绘制得到的t时刻的K个虚拟视点彩色图像处理完毕。
所述的步骤④包括以下具体步骤：
④-1、计算t时刻的第k个参考视点的彩色图像
Figure BDA00000317350800000519
的背景光照的视觉掩蔽效应的可视化阈值集合，记为{Tl(x1，y1)}，
Figure BDA00000317350800000520
其中，表示t时刻的第k个参考视点的彩色图像
Figure BDA00000317350800000522
中以坐标位置为(x1，y1)的像素点为中心的5×5窗口内的所有像素点的亮度平均值；
④-2、计算t时刻的第k个参考视点的彩色图像
Figure BDA00000317350800000523
的纹理的视觉掩蔽效应的可视化阈值集合，记为{Tt(x1，y1)}，Tt(x1，y1)＝η×G(x1，y1)×We(x1，y1)，其中，η为控制因子，G(x1，y1)表示对t时刻的第k个参考视点的彩色图像中坐标位置为(x1，y1)的像素点进行定向高通滤波得到的最大加权平均值，We(x1，y1)表示对t时刻的第k个参考视点的彩色图像
Figure BDA0000031735080000062
的边缘图像中坐标位置为(x1，y1)的像素点进行高斯低通滤波得到的边缘加权值；
④-3、对t时刻的第k个参考视点的彩色图像的背景光照的视觉掩蔽效应的可视化阈值集合{Tl(x1，y1)}和纹理的视觉掩蔽效应的可视化阈值集合{Tt(x1，y1)}进行融合，得到t时刻的第k个参考视点的彩色图像
Figure BDA0000031735080000064
的最小可察觉变化步长阈值集合，记为{JND(x1，y1)}，JND(x1，y1)＝Tl(x1，y1)+Tt(x1，y1)-Cl，t×min{Tl(x1，y1)，Tt(x1，y1)}，其中，Cl，t表示控制背景光照和纹理的视觉掩蔽效应重叠影响的参数，0＜Cl，t＜1，min{}为取最小值函数；
④-4、从最小可察觉变化步长阈值集合{JND(x1，y1)}中找出最大值MAXJND和最小值MINJND，然后将最小可察觉变化步长阈值集合{JND(x1，y1)}投影到[0，255]的图像空间，得到t时刻的第k个参考视点的彩色图像
Figure BDA0000031735080000065
的最小可察觉变化步长图像 { JNDmap t k ( x 1 , y 1 ) } , JNDmap t k ( x 1 , y 1 ) = 255 × JND ( x 1 , y 1 ) - MIN JND MAX JND - MIN JND .
所述的步骤⑤中将第一置乱水印序列{T1(l)}嵌入到t时刻的第k个参考视点的彩色图像
Figure BDA0000031735080000068
中的具体过程为：
⑤-1、将t时刻的第k个参考视点的彩色图像
Figure BDA0000031735080000069
分成
Figure BDA00000317350800000610
个互不重叠的8×8子块；
⑤-2、定义从起始位置(x′1，y′1)开始的第l个8×8子块为当前子块，记为
Figure BDA00000317350800000611
对当前子块
Figure BDA00000317350800000612
的亮度分量进行DCT变换得到当前DCT系数矩阵，记为其中，1≤l≤N×N，(x4，y4)表示当前子块
Figure BDA0000031735080000071
中像素点的坐标位置，1≤x4≤8，1≤y4≤8，(u，v)表示当前DCT系数矩阵
Figure BDA0000031735080000072
中DCT系数的坐标位置，1≤u≤8，1≤v≤8；
⑤-3、计算t时刻的第k个参考视点的彩色图像
Figure BDA0000031735080000073
的最小可察觉变化步长图像
Figure BDA0000031735080000074
中与当前子块的位置相对应的8×8子块中所有像素点的像素值的均值
Figure BDA0000031735080000076
和标准差
Figure BDA0000031735080000077
然后判断
Figure BDA0000031735080000078
是否成立，如果成立，则确定当前子块
Figure BDA0000031735080000079
为视觉敏感块，否则，确定当前子块
Figure BDA00000317350800000710
为非视觉敏感块；再依据当前子块
Figure BDA00000317350800000711
的块类型为当前子块
Figure BDA00000317350800000712
指定一个强度因子αp，其中，λ为控制因子，p表示块类型，p＝1表示视觉敏感块，p＝2表示非视觉敏感块，α1＜α2；
⑤-4、假定低频坐标位置(u′，v′)表示当前子块
Figure BDA00000317350800000713
中要嵌入第一置乱水印序列{T1(l)}中的第l个水印信息的位置，计算当前DCT系数矩阵中坐标位置为(u′，v′)的DCT系数及与其横向相邻的两个DCT系数的均值，记为ave(u′，v′)，其中，
Figure BDA00000317350800000716
表示当前DCT系数矩阵
Figure BDA00000317350800000717
中坐标位置为(u′-1，v′)的DCT系数，
Figure BDA00000317350800000718
表示当前DCT系数矩阵中坐标位置为(u′，v′)的DCT系数，
Figure BDA00000317350800000720
表示当前DCT系数矩阵
Figure BDA00000317350800000721
中坐标位置为(u′+1，v′)的DCT系数；然后判断嵌入的第l个水印信息是否为1，如果是，则修改当前子块
Figure BDA00000317350800000722
中要嵌入第l个水印信息的坐标位置(u′，v′)对应的DCT系数
Figure BDA00000317350800000723
否则，修改当前子块
Figure BDA00000317350800000724
中要嵌入第l个水印信息的坐标位置(u′，v′)对应的DCT系数
Figure BDA00000317350800000725
⑤-5、按照上面的步骤在当前子块
Figure BDA00000317350800000726
的四个低频坐标位置中嵌入相同的第l个水印信息；并得到当前DCT系数矩阵
Figure BDA00000317350800000727
中的四个DCT低频系数修改后构成的DCT系数矩阵；
⑤-6、令l″＝l+1，l＝l″，重复执行步骤⑤-2至⑤-5，直至t时刻的第k个参考视点的彩色图像
Figure BDA0000031735080000081
中的N×N个互不重叠的8×8子块处理完毕，得到各个8×8子块对应的修改后的DCT系数矩阵，其中，l″的初始值为0；
⑤-7、对所有修改后的DCT系数矩阵进行反DCT变换，得到嵌入有第一置乱水印序列{T1(l)}的t时刻的第k个参考视点的彩色图像
Figure BDA0000031735080000082
所述的步骤⑥中将第二置乱水印序列{T2(l)}嵌入到t时刻的第k个参考视点的深度图像
Figure BDA0000031735080000083
中的具体过程为：
⑥-1、将t时刻的第k个参考视点的深度图像
Figure BDA0000031735080000084
分成
Figure BDA0000031735080000085
个互不重叠的8×8子块；
⑥-2、定义从起始位置(x″1，y″1)开始的第l个8×8子块为当前子块，记为
Figure BDA0000031735080000086
对当前子块
Figure BDA0000031735080000087
的亮度分时进行DCT变换得到当前DCT系数矩阵，记为
Figure BDA0000031735080000088
其中，1≤l≤N×N，(x4，y4)表示当前子块
Figure BDA0000031735080000089
中像素点的坐标位置，1≤x4≤8，1≤y4≤8，(u，v)表示当前DCT系数矩阵中DCT系数的坐标位置，1≤u≤8，1≤v≤8；
⑥-3、计算当前子块
Figure BDA00000317350800000811
中所有像素点的标准差，记为
Figure BDA00000317350800000812
判断
Figure BDA00000317350800000813
是否成立，如果成立，则确定当前子块
Figure BDA00000317350800000814
为平坦块，否则，确定当前子块
Figure BDA00000317350800000815
为非平坦块，其中，T1表示设定的第一阈值；然后依据当前子块
Figure BDA00000317350800000816
的块类型为当前子块
Figure BDA00000317350800000817
指定一个强度因子βq，其中，q表示块类型，q＝1表示平坦块，q＝2表示非平坦块，β1＞β2；
⑥-4、假定低频坐标位置(u″，v″)表示当前子块
Figure BDA00000317350800000818
中要嵌入第二置乱水印序列{T2(l)}中的第l个水印信息的位置，计算当前DCT系数矩阵
Figure BDA00000317350800000819
中坐标位置为(u″，v″)的DCT系数及与其横向相邻的两个DCT系数的均值，记为ave(u″，v″)，
Figure BDA0000031735080000091
其中，
Figure BDA0000031735080000092
表示当前DCT系数矩阵
Figure BDA0000031735080000093
中坐标位置为(u″-1，v″)的DCT系数，
Figure BDA0000031735080000094
表示当前DCT系数矩阵
Figure BDA0000031735080000095
中坐标位置为(u″，v″)的DCT系数，
Figure BDA0000031735080000096
表示当前DCT系数矩阵
Figure BDA0000031735080000097
中坐标位置为(u″+1，v″)的DCT系数；然后判断嵌入的第l个水印信息是否为1，如果是，则修改当前子块
Figure BDA0000031735080000098
中要嵌入第l个水印信息的坐标位置(u″，v″)对应的DCT系数
Figure BDA0000031735080000099
否则，修改当前子块
Figure BDA00000317350800000910
中要嵌入第l个水印信息的坐标位置(u″，v″)对应的DCT系数
Figure BDA00000317350800000911
⑥-5、按照上面的步骤在当前子块
Figure BDA00000317350800000912
的四个低频坐标位置中嵌入相同的第l个水印信息，并得到当前DCT系数矩阵
Figure BDA00000317350800000913
中的四个DCT低频系数修改后构成的DCT系数矩阵；
⑥-6、令l″＝l+1，l＝l″，重复执行步骤⑥-2至⑥-5，直至t时刻的第k个参考视点的深度图像
Figure BDA00000317350800000914
中的N×N个互不重叠的8×8子块处理完毕，得到各个8×8子块对应的修改后的DCT系数矩阵，其中，l″的初始值为0；
⑥-7、对所有修改后的DCT系数矩阵进行反DCT变换，得到嵌入有第二置乱水印序列{T2(l)}的t时刻的第k个参考视点的深度图像
Figure BDA00000317350800000915
所述的步骤⑩中基于深度图像的绘制的具体过程为：
⑩-1、利用嵌入水印后的t时刻的第k个参考视点的深度图像
Figure BDA00000317350800000916
所提供的深度信息，分别将嵌入水印后的t时刻的第k个参考视点的彩色图像和深度图像
Figure BDA00000317350800000918
中的各个像素点映射到需绘制的t时刻的第k′个虚拟视点，分别得到虚拟视点彩色图像
Figure BDA00000317350800000919
和虚拟视点深度图像
Figure BDA00000317350800000920
⑩-2、利用嵌入水印后的t时刻的第k+1个参考视点的深度图像
Figure BDA00000317350800000921
所提供的深度信息，分别将嵌入水印后的t时刻的第k+1个参考视点的彩色图像
Figure BDA00000317350800000922
和深度图像
Figure BDA0000031735080000101
中的各个像素点映射到需绘制的t时刻的第k′个虚拟视点，分别得到虚拟视点彩色图像
Figure BDA0000031735080000102
和虚拟视点深度图像
Figure BDA0000031735080000103
⑩-3、判断由嵌入水印后的t时刻的第k个参考视点的彩色图像绘制得到的虚拟视点彩色图像中坐标位置为(x1，y1)的像素点是否为空洞像素点，如果不是，则
Figure BDA0000031735080000106
否则，继续判断由嵌入水印后的t时刻的第k+1个参考视点的彩色图像绘制得到的虚拟视点彩色图像
Figure BDA0000031735080000107
中坐标位置为(x1，y1)的像素点是否为空洞像素点，如果不是，则
Figure BDA0000031735080000108
否则，对空洞像素点进行填补，得到最终的t时刻的第k′个虚拟视点彩色图像
Figure BDA0000031735080000109
其中，
Figure BDA00000317350800001010
表示t时刻的第k′个虚拟视点彩色图像中坐标位置为(x1，y1)的像素点的第i个分量的值；
⑩-4、判断由嵌入水印后的t时刻的第k+1个参考视点的深度图像
Figure BDA00000317350800001012
绘制得到的虚拟视点深度图像
Figure BDA00000317350800001013
中坐标位置为(x1，y1)的像素点是否为空洞像素点，如果不是，则
Figure BDA00000317350800001014
否则，继续判断由嵌入水印后的t时刻的第k个参考视点的深度图像
Figure BDA00000317350800001015
绘制得到的虚拟视点深度图像中坐标位置为(x1，y1)的像素点是否为空洞像素点，如果不是，则
Figure BDA00000317350800001017
否则，对空洞像素点进行填补，得到最终的t时刻的第k′个虚拟视点深度图像，记为
Figure BDA00000317350800001018
其中，表示t时刻的第k′个虚拟视点深度图像
Figure BDA00000317350800001020
中坐标位置为(x1，y1)的像素点的深度值。
所述的步骤
Figure BDA00000317350800001021
中提取基本层置乱水印序列
Figure BDA00000317350800001022
和增强层置乱水印序列
Figure BDA00000317350800001023
的具体过程为：
Figure BDA00000317350800001024
将嵌入水印后的t时刻的第k个参考视点的彩色图像
Figure BDA00000317350800001025
分成
Figure BDA00000317350800001026
个互不重叠的第一8×8子块，将第k′个虚拟视点彩色图像分成
Figure BDA00000317350800001028
个互不重叠的第二8×8子块；
Figure BDA0000031735080000111
以起始位置(x′1，y′1)作为提取水印的密钥，定义从起始位置(x′1，y′1)开始的嵌入水印后的t时刻的第k个参考视点的彩色图像
Figure BDA0000031735080000112
中的第l个第一8×8子块为当前第一子块，记为
Figure BDA0000031735080000113
采用三维图像变换方法计算嵌入水印后的t时刻的第k个参考视点的彩色图像
Figure BDA0000031735080000114
中的坐标位置(x4，y4)在t时刻的第k′个虚拟视点彩色图像中的坐标位置，记为(x′4，y′4)，其中，(x4，y4)表示当前第一子块
Figure BDA0000031735080000116
的左上角像素点的坐标位置；
Figure BDA0000031735080000117
定义t时刻的第k′个虚拟视点彩色图像
Figure BDA0000031735080000118
中的左上角像素点的坐标位置为(x′4，y′4)的第二8×8子块为当前第二子块，记为
Figure BDA0000031735080000119
对当前第二子块
Figure BDA00000317350800001110
进行DCT变换得到当前DCT系数矩阵，记为
Figure BDA00000317350800001111
然后计算四个嵌入水印的低频坐标位置的DCT系数的平均值ave1，以及四个低频坐标位置及与各个低频坐标位置横向相邻的两个DCT系数的平均值ave2；再判断ave1≥ave2是否成立，如果成立，则提取出水印信息1，否则，提取出水印信息0；
Figure BDA00000317350800001112
令l″＝l+1，l＝l″，重复执行步骤
Figure BDA00000317350800001113
至直至嵌入水印后的t时刻的第k个参考视点的彩色图像的N×N个互不重叠的第一8×8子块处理完毕，得到基本层的置乱水印序列
Figure BDA00000317350800001116
Figure BDA00000317350800001117
将嵌入水印后的t时刻的第k+1个参考视点的深度图像
Figure BDA00000317350800001118
分成
Figure BDA00000317350800001119
个互不重叠的第三8×8子块，将第k′个虚拟视点深色图像
Figure BDA00000317350800001120
分成
Figure BDA00000317350800001121
个互不重叠的第四8×8子块；
Figure BDA00000317350800001122
以起始位置(x″1，y″1)作为提取水印的密钥，定义从起始位置(x″1，y″1)开始的嵌入水印后的t时刻的第k+1个参考视点的深度图像
Figure BDA00000317350800001123
中的第l个第三8×8子块为当前第三子块，记为采用三维图像变换方法计算嵌入水印后的t时刻的第k+1个参考视点的深度图像
Figure BDA00000317350800001125
中的坐标位置(x4，y4)在t时刻的第k′个虚拟视点深色图像
Figure BDA00000317350800001126
中的坐标位置，记为(x″4，y″4)，其中，(x4，y4)表示当前第三子块
Figure BDA0000031735080000121
的左上角像素点的坐标位置；
Figure BDA0000031735080000122
定义t时刻的第k′个虚拟视点深色图像中的左上角像素点的坐标位置为(x″4，y″4)的第四8×8子块为当前第四子块，记为
Figure BDA0000031735080000124
对当前第四子块
Figure BDA0000031735080000125
进行DCT变换得到当前DCT系数矩阵，记为
Figure BDA0000031735080000126
然后计算四个嵌入水印的低频坐标位置的DCT系数的平均值ave1，以及四个低频坐标位置及与各个低频坐标位置横向相邻的两个DCT系数的平均值ave2；再判断ave1≥ave2是否成立，如果成立，则提取出水印信息1，否则，提取出水印信息0；
Figure BDA0000031735080000127
令l″＝l+1，l＝l″，重复执行步骤
Figure BDA0000031735080000128
至
Figure BDA0000031735080000129
直至嵌入水印后的t时刻的第k+1个参考视点的深度图像的N×N个互不重叠的第三8×8子块处理完毕，得到增强层的置乱水印序列
Figure BDA00000317350800001211
所述的步骤
Figure BDA00000317350800001212
中融合基本层水印图像
Figure BDA00000317350800001213
和增强层水印图像
Figure BDA00000317350800001214
的具体过程为：
Figure BDA00000317350800001215
以自适应加权系数w对基本层水印图像
Figure BDA00000317350800001216
和增强层水印图像
Figure BDA00000317350800001217
进行融合，得到初步融合的水印图像，记为
Figure BDA00000317350800001218
Figure BDA00000317350800001219
其中，0≤w≤1；
Figure BDA00000317350800001220
对初步融合的水印图像
Figure BDA00000317350800001221
进行阈值化操作，判断
Figure BDA00000317350800001222
是否成立，如果成立，则
Figure BDA00000317350800001223
否则，
Figure BDA00000317350800001224
其中，T2表示设定的第二阈值，0≤T2≤1；
Figure BDA00000317350800001225
对阈值化操作后的初步融合的水印图像
Figure BDA00000317350800001226
进行中值滤波处理，去除点状噪声，得到最终的融合的水印图像
Figure BDA00000317350800001227
与现有技术相比，本发明的优点在于：
1)本发明方法根据人类视觉掩蔽效应提取最小可察觉变化步长阈值来对彩色图像嵌入不同强度的水印信息，根据深度图像不同区域的失真对虚拟视点绘制的影响来对深度图像嵌入不同强度的水印信息，这样大大提高了水印的嵌入强度和水印的鲁棒性；然后采用基于深度图像的绘制得到虚拟视点彩色图像和虚拟视点深度图像，并设计不同的水印提取方法从虚拟视点彩色图像和虚拟视点深度图像中提取基本层和增强层水印图像，并通过融合得到最终的水印图像，从而实现对虚拟视点图像的水印盲检测，达到版权保护的目的。
2)本发明方法以不同密钥分别从彩色图像和深度图像中提取相同的水印信息，作为基本层和增强层水印，这样即使彩色图像的的水印信息受到猛烈攻击，仍然能从深度图像中提取出相同的水印信息，提高了水印的抗干扰能力，实现更严密的版权保护。
3)本发明方法在原始视点图像的相同区域嵌入一致的水印信息，嵌入方法非常简单，并且提取虚拟视点图像的水印时无需参考原始视点图像，达到真正的盲水印提取。
附图说明
图1为典型的三维视频系统的处理流程示意图；
图2a为“Ballet”三维视频测试序列的第4个参考视点的一幅彩色图像；
图2b为“Ballet”三维视频测试序列的第6个参考视点的一幅彩色图像；
图2c为“Breakdancers”三维视频测试序列的第4个参考视点的一幅彩色图像；
图2d为“Breakdancers”三维视频测试序列集的第6个参考视点的一幅彩色图像；
图3a为图2a所示的彩色图像对应的深度图像；
图3b为图2b所示的彩色图像对应的深度图像；
图3c为图2c所示的彩色图像对应的深度图像；
图3d为图2d所示的彩色图像对应的深度图像；
图4a为嵌入的“宁波大学”水印图像；
图4b为嵌入的“信息学院”水印图像；
图4c为嵌入的“图像处理”水印图像；
图4d为嵌入的“电子信息”水印图像；
图4e为嵌入的“一二三四”水印图像；
图5为本发明的彩色图像水印嵌入位置的示意图；
图6为本发明的深度图像水印嵌入位置的示意图；
图7a为图2a的视觉敏感和非视觉敏感区域的示意图；
图7b为图2b的视觉敏感和非视觉敏感区域的示意图；
图7c为图3a的视觉敏感和非视觉敏感区域的示意图；
图7d为图3b的视觉敏感和非视觉敏感区域的示意图；
图8a为图2c的平坦和非平坦区域的示意图；
图8b为图2d的平坦和非平坦区域的示意图；
图8c为图3c的平坦和非平坦区域的示意图；
图8d为图3d的平坦和非平坦区域的示意图；
图9a为图2a嵌入水印后的图像；
图9b为图2b嵌入水印后的图像；
图9c为图2c嵌入水印后的图像；
图9d为图2d嵌入水印后的图像；
图10a为图3a嵌入水印后的图像；
图10b为图3b嵌入水印后的图像；
图10c为图3c嵌入水印后的图像；
图10d为图3d嵌入水印后的图像；
图11a为“Ballet”三维视频测试序列的第5个参考视点的虚拟视点彩色图像；
图11b为“Ballet”三维视频测试序列的第5个参考视点的虚拟视点深度图像；
图11c为“Breakdancers”三维视频测试序列的第5个参考视点的虚拟视点彩色图像；
图11d为“Breakdancers”三维视频测试序列的第5个参考视点的虚拟视点深度图像；
图12a为采用本发明方法从嵌入图4a所示的水印图像后的“Ballet”三维视频测试序列的第4个参考视点的彩色图像中提取出的水印图像；
图12b为采用本发明方法从嵌入图4a所示的水印图像后的“Ballet”三维视频测试序列的第6个参考视点的深度图像中提取出的水印图像；
图12c为采用本发明方法从嵌入图4a所示的水印图像后的“Ballet”三维视频测试序列的第5个参考视点的虚拟视点彩色图像中提取出的水印图像；
图12d为采用本发明方法从嵌入图4a所示的水印图像后的“Ballet”三维视频测试序列的第5个参考视点的虚拟视点深度图像中提取出的水印图像；
图12e为采用本发明方法对12c和图12d进行融合得到的水印图像；
图13a为采用本发明方法从嵌入图4a所示的水印图像后的“Breakdancers”三维视频测试序列的第4个参考视点的彩色图像中提取出的水印图像；
图13b为采用本发明方法从嵌入图4a所示的水印图像后的“Breakdancers”三维视频测试序列的第6个参考视点的深度图像中提取出的水印图像；
图13c为采用本发明方法从嵌入图4a所示的水印图像后的“Breakdancers”三维视频测试序列的第5个参考视点的虚拟视点彩色图像中提取出的水印图像；
图13d为采用本发明方法从嵌入图4a所示的水印图像后的“Breakdancers”三维视频测试序列的第5个参考视点的虚拟视点深度图像中提取出的水印图像；
图13e为采用本发明方法对13c和图13d进行融合得到的水印图像；
图14a为采用本发明方法从嵌入图4b所示的水印图像后的“Ballet”三维视频测试序列的第4个参考视点的彩色图像中提取出的水印图像；
图14b为采用本发明方法从嵌入图4b所示的水印图像后的“Ballet”三维视频测试序列的第6个参考视点的深度图像中提取出的水印图像；
图14c为采用本发明方法从嵌入图4b所示的水印图像后的“Ballet”三维视频测试序列的第5个参考视点的虚拟视点彩色图像中提取出的水印图像；
图14d为采用本发明方法从嵌入图4b所示的水印图像后的“Ballet”三维视频测试序列的第5个参考视点的虚拟视点深度图像中提取出的水印图像；
图14e为采用本发明方法对14c和图14d进行融合得到的水印图像；
图15a为采用本发明方法从嵌入图4b所示的水印图像后的“Breakdancers”三维视频测试序列的第4个参考视点的彩色图像中提取出的水印图像；
图15b为采用本发明方法从嵌入图4b所示的水印图像后的“Breakdancers”三维视频测试序列的第6个参考视点的深度图像中提取出的水印图像；
图15c为采用本发明方法从嵌入图4b所示的水印图像后的“Breakdancers”三维视频测试序列的第5个参考视点的虚拟视点彩色图像中提取出的水印图像；
图15d为采用本发明方法从嵌入图4b所示的水印图像后的“Breakdancers”三维视频测试序列的第5个参考视点的虚拟视点深度图像中提取出的水印图像；
图15e为采用本发明方法对15c和图15d进行融合得到的水印图像；
图16a为采用本发明方法从嵌入图4c所示的水印图像后的“Ballet”三维视频测试序列的第4个参考视点的彩色图像中提取出的水印图像；
图16b为采用本发明方法从嵌入图4c所示的水印图像后的“Ballet”三维视频测试序列的第6个参考视点的深度图像中提取出的水印图像；
图16c为采用本发明方法从嵌入图4c所示的水印图像后的“Ballet”三维视频测试集序列的第5个参考视点的虚拟视点彩色图像中提取出的水印图像；
图16d为采用本发明方法从嵌入图4c所示的水印图像后的“Ballet”三维视频测试序列的第5个参考视点的虚拟视点深度图像中提取出的水印图像；
图16e为采用本发明方法对16c和图16d进行融合得到的水印图像；
图17a为采用本发明方法从嵌入图4c所示的水印图像后的“Breakdancers”三维视频测试序列的第4个参考视点的彩色图像中提取出的水印图像；
图17b为采用本发明方法从嵌入图4c所示的水印图像后的“Breakdancers”三维视频测试序列的第6个参考视点的深度图像中提取出的水印图像；
图17c为采用本发明方法从嵌入图4c所示的水印图像后的“Breakdancers”三维视频测试序列的第5个参考视点的虚拟视点彩色图像中提取出的水印图像；
图17d为采用本发明方法从嵌入图4c所示的水印图像后的“Breakdancers”三维视频测试序列的第5个参考视点的虚拟视点深度图像中提取出的水印图像；
图17e为采用本发明方法对17c和图17d进行融合得到的水印图像；
图18a为采用本发明方法从嵌入图4d所示的水印图像后的“Ballet”三维视频测试序列的第4个参考视点的彩色图像中提取出的水印图像；
图18b为采用本发明方法从嵌入图4d所示的水印图像后的“Ballet”三维视频测试序列的第6个参考视点的深度图像中提取出的水印图像；
图18c为采用本发明方法从嵌入图4d所示的水印图像后的“Ballet”三维视频测试序列的第5个参考视点的虚拟视点彩色图像中提取出的水印图像；
图18d为采用本发明方法从嵌入图4d所示的水印图像后的“Ballet”三维视频测试序列的第5个参考视点的虚拟视点深度图像中提取出的水印图像；
图18e为采用本发明方法对18c和图18d进行融合得到的水印图像；
图19a为采用本发明方法从嵌入图4d所示的水印图像后的“Breakdancers”三维视频测试序列的第4个参考视点的彩色图像中提取出的水印图像；
图19b为采用本发明方法从嵌入图4d所示的水印图像后的“Breakdancers”三维视频测试序列的第6个参考视点的深度图像中提取出的水印图像；
图19c为采用本发明方法从嵌入图4d所示的水印图像后的“Breakdancers”三维视频测试集的第5个参考视点的虚拟视点彩色图像中提取出的水印图像；
图19d为采用本发明方法从嵌入图4d所示的水印图像后的“Breakdancers”三维视频测试序列的第5个参考视点的虚拟视点深度图像中提取出的水印图像；
图19e为采用本发明方法对19c和图19d进行融合得到的水印图像；
图20a为采用本发明方法从嵌入图4e所示的水印图像后的“Ballet”三维视频测试序列的第4个参考视点的彩色图像中提取出的水印图像；
图20b为采用本发明方法从嵌入图4e所示的水印图像后的“Ballet”三维视频测试序列的第6个参考视点的深度图像中提取出的水印图像；
图20c为采用本发明方法从嵌入图4e所示的水印图像后的“Ballet”三维视频测试序列的第5个参考视点的虚拟视点彩色图像中提取出的水印图像；
图20d为采用本发明方法从嵌入图4e所示的水印图像后的“Ballet”三维视频测试序列的第5个参考视点的虚拟视点深度图像中提取出的水印图像；
图20e为采用本发明方法对20c和图20d进行融合得到的水印图像；
图21a为采用本发明方法从嵌入图4e所示的水印图像后的“Breakdancers”三维视频测试序列的第4个参考视点的彩色图像中提取出的水印图像；
图21b为采用本发明方法从嵌入图4e所示的水印图像后的“Breakdancers”三维视频测试序列的第6个参考视点的深度图像中提取出的水印图像；
图21c为采用本发明方法从嵌入图4e所示的水印图像后的“Breakdancers”三维视频测试序列的第5个参考视点的虚拟视点彩色图像中提取出的水印图像；
图21d为采用本发明方法从嵌入图4e所示的水印图像后的“Breakdancers”三维视频测试序列的第5个参考视点的虚拟视点深度图像中提取出的水印图像；
图21e为采用本发明方法对21c和图21d进行融合得到的水印图像。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
一种虚拟视点图像的版权保护方法，其主要包括以下步骤：
①获取t时刻的K个参考视点的K幅颜色空间为YUV的彩色图像及其对应的K幅深度图像，将待嵌入的水印图像记为{P(x2，y2)}，其中，(x2，y2)表示待嵌入的水印图像{P(x2，y2)}中像素点的坐标位置，1≤x2≤N，1≤y2≤N，N表示待嵌入的水印图像{P(x2，y2)}的水平和垂直尺寸大小，P(x2，y2)表示待嵌入的水印图像{P(x2，y2)}中坐标位置为(x2，y2)的像素点的水印信息。
在本实施中，采用美国微软公司提供的三维视频测试序列“Ballet”和“Breakdancers”作为原始载体视频图像，这两个三维视频测试序列均包括8个参考视点的8幅彩色图像和对应的8幅深度图像，各幅彩色图像和深度图像的分辨率均为1024×768。图2a和图2b分别给出了“Ballet”的第4个和第6个参考视点的彩色图像；图2c和图2d分别给出了“Breakdancers”的第4个和第6个参考视点的彩色图像；图3a和图3b分别给出了“Ballet”的第4个和第6个参考视点的彩色图像所对应的深度图像；图3c和图3d分别给出了“Breakdancers”的第4个和第6个参考视点的彩色图像所对应的深度图像；图4a、图4b、图4c、图4d和图4e分别给出了待嵌入的五组二值水印图像，各组水印图像的分辨率均为80×80。
②将t时刻的第k个参考视点的彩色图像记为将t时刻的第k个参考视点的深度图像记为
Figure BDA0000031735080000172
其中，1≤k≤K，i＝1，2，3分别表示YUV颜色空间的三个颜色分量，YUV颜色空间的第1个颜色分量为亮度分量并记为Y、第2个颜色分量为第一色度分量并记为U及第3个颜色分量为第二色度分量并记为V，(x1，y1)表示彩色图像和深度图像中像素点的坐标位置，1≤x1≤W，1≤y1≤H，W表示彩色图像和深度图像的宽度，H表示彩色图像和深度图像的高度，
Figure BDA0000031735080000181
表示t时刻的第k个参考视点的彩色图像
Figure BDA0000031735080000182
中坐标位置为(x1，y1)的像素点的第i个颜色分量的值，
Figure BDA0000031735080000183
表示t时刻的第k个参考视点的深度图像
Figure BDA0000031735080000184
中坐标位置为(x1，y1)的像素点的深度值。
③考虑水印的鲁棒性，必须使用不同的密钥和多样化的水印数据，也就是说要对不同种类和大小的数据集进行测试和评估。首先对待嵌入的水印图像{P(x2，y2)}分别进行m次和n次置乱变换，分别得到第一置乱水印图像和第二置乱水印图像，并分别记为{P1(x3，y3)}和{P2(x3，y3)}，其中，(x3，y3)表示第一置乱水印图像{P1(x3，y3)}和第二置乱水印图像{P2(x3，y3)}中像素点的坐标位置，
Figure BDA0000031735080000185
1≤x3≤N，1≤y3≤N，P1(x3，y3)表示第一置乱水印图像{P1(x3，y3)}中坐标位置为(x3，y3)的像素点的水印信息，P2(x3，y3)表示第二置乱水印图像{P2(x3，y3)}中坐标位置为(x3，y3)的像素点的水印信息；然后分别将第一置乱水印图像{P1(x3，y3)}和第二置乱水印图像{P2(x3，y3)}降维成一维序列，分别得到第一置乱水印序列和第二置乱水印序列，并分别记为{T1(l)}和{T2(l)}，其中，l＝y3×N+x3，T1(l)表示第一置乱水印序列{T1(l)}中的第l个水印信息，T2(l)表示第二置乱水印序列{T2(l)}中的第l个水印信息；再保存置乱次数m和n，作为水印提取密钥。
在本实施例中，取m＝9，n＝15进行置乱变换；置乱变换采用公知的Arnold置乱变换。
④人类视觉系统(HVS)特性表明，水印嵌入强度存在着一个临界值，高于这个临界值，图像就会出现失真，低于这个临界值，视觉系统就无法感受到信号的存在，从而实现水印信息的不可见性。而人眼的视觉掩蔽效应是一种局部效应，受背景照度、纹理复杂度等因素的影响，背景越亮，纹理越复杂，界限值就越高。因此本发明利用人类视觉对背景光照和纹理的视觉掩蔽效应，提取出t时刻的第k个参考视点的彩色图像
Figure BDA0000031735080000186
的最小可察觉变化步长图像，记为
Figure BDA0000031735080000187
在此具体实施例中，t时刻的第k个参考视点的彩色图像
Figure BDA0000031735080000191
的最小可察觉变化步长图像
Figure BDA0000031735080000192
的提取过程为：
④-1、用根方程来近似低背景光照及用线性方程来近似高背景光照，计算t时刻的第k个参考视点的彩色图像
Figure BDA0000031735080000193
的背景光照的视觉掩蔽效应的可视化阈值集合，记为其中，
Figure BDA0000031735080000195
表示t时刻的第k个参考视点的彩色图像
Figure BDA0000031735080000196
中以坐标位置为(x1，y1)的像素点为中心的5×5窗口内的所有像素点的亮度平均值。
④-2、根据人类视觉对图像边缘敏感的特性，计算t时刻的第k个参考视点的彩色图像的纹理的视觉掩蔽效应的可视化阈值集合，记为{Tt(x1，y1)}，Tt(x1，y1)＝η×G(x1，y1)×We(x1，y1)，其中，η为控制因子，该控制因子η的具体值可根据实验确定，G(x1，y1)表示对t时刻的第k个参考视点的彩色图像
Figure BDA0000031735080000198
中坐标位置为(x1，y1)的像素点进行定向高通滤波得到的最大加权平均值，We(x1，y1)表示对t时刻的第k个参考视点的彩色图像
Figure BDA0000031735080000199
的边缘图像中坐标位置为(x1，y1)的像素点进行高斯低通滤波得到的边缘加权值。在此，t时刻的第k个参考视点的彩色图像
Figure BDA00000317350800001910
的边缘图像可通过现有的多种边缘图像获取方式获取。
④-3、对t时刻的第k个参考视点的彩色图像
Figure BDA00000317350800001911
的背景光照的视觉掩蔽效应的可视化阈值集合{Tl(x1，y1)}和纹理的视觉掩蔽效应的可视化阈值集合{Tt(x1，y1)}进行融合，得到t时刻的第k个参考视点的彩色图像
Figure BDA00000317350800001912
的最小可察觉变化步长阈值集合，记为{JND(x1，y1)}，JND(x1，y1)＝Tl(x1，y1)+Tt(x1，y1)-Cl，t×min{Tl(x1，y1)，Tt(x1，y1)}，其中，Cl，t表示控制背景光照和纹理的视觉掩蔽效应重叠影响的参数，0＜Cl，t＜1，min{}为取最小值函数。
④-4、从最小可察觉变化步长阈值集合{JND(x1，y1)}中直接找出最大值MAXJND和最小值MINJND，然后将最小可察觉变化步长阈值集合{JND(x1，y1)}投影到[0，255]的图像空间，得到t时刻的第k个参考视点的彩色图像
Figure BDA0000031735080000201
的最小可察觉变化步长图像 { JNDmap t k ( x 1 , y 1 ) } , JNDmap t k ( x 1 , y 1 ) = 255 × JND ( x 1 , y 1 ) - MIN JND MAX JND - MIN JND .
⑤水印的嵌入可以看作是在强背景(载体图像)下迭加一个弱信号(水印图像)，结合人类视觉系统选择嵌入的强度，可以最大限度地减少水印嵌入对载体图像的影响。本发明通过设定在t时刻的第k个参考视点的彩色图像
Figure BDA0000031735080000203
中嵌入水印的起始位置，记为(x′1，y′1)，然后从起始位置(x′1，y′1)开始，根据t时刻的第k个参考视点的彩色图像
Figure BDA0000031735080000204
的最小可察觉变化步长图像将第一置乱水印序列{T1(l)}嵌入到t时刻的第k个参考视点的彩色图像
Figure BDA0000031735080000206
中，得到嵌入水印后的t时刻的第k个参考视点的彩色图像，记为再将起始位置(x′1，y′1)作为水印提取密钥，并保存，其中，1≤x′1≤W-8×N，1≤y′1≤H-8×N。
在此具体实施例中，由于水印图像的大小远远小于彩色图像的8×8子块个数，不能保证彩色图像的每个子块都嵌入一位水印信息，因此只选择在彩色图像640×640大小的区域中嵌入水印信息，如设定嵌入的起始位置(x′1，y′1)＝(192，64)。DCT域嵌入水印是目前公知的水印嵌入技术，考虑到DCT域的低频分量集中了图像的大部分能量，有较强的稳健性，通过分析，本发明将水印信息嵌入到如图5所示的位置。
在此具体实施例中，将第一置乱水印序列{T1(l)}嵌入到t时刻的第k个参考视点的彩色图像
Figure BDA0000031735080000208
中的具体过程为：
⑤-1、将t时刻的第k个参考视点的彩色图像
Figure BDA0000031735080000209
分成
Figure BDA00000317350800002010
个互不重叠的8×8子块。
⑤-2、定义从起始位置(x′1，y′1)开始的第l个8×8子块为当前子块，记为
Figure BDA00000317350800002011
对当前子块
Figure BDA00000317350800002012
的亮度分量进行DCT变换得到当前DCT系数矩阵，记为
Figure BDA00000317350800002013
其中，1≤l≤N×N，(x4，y4)表示当前子块中像素点的坐标位置，1≤x4≤8，1≤y4≤8，(u，v)表示当前DCT系数矩阵
Figure BDA0000031735080000212
中DCT系数的坐标位置，1≤u≤8，1≤v≤8。
⑤-3、计算t时刻的第k个参考视点的彩色图像
Figure BDA0000031735080000213
的最小可察觉变化步长图像
Figure BDA0000031735080000214
中与当前子块
Figure BDA0000031735080000215
的位置相对应的8×8子块中所有像素点的像素值的均值
Figure BDA0000031735080000216
和标准差
Figure BDA0000031735080000217
然后判断
Figure BDA0000031735080000218
是否成立，如果成立，则确定当前子块为视觉敏感块，否则，确定当前子块为非视觉敏感块；再依据当前子块的块类型为当前子块
Figure BDA00000317350800002112
指定一个强度因子αp，其中，λ为控制因子，p表示块类型，p＝1表示视觉敏感块，p＝2表示非视觉敏感块，α1＜α2，αp取值越大表示水印信号越鲁棒但透明性越差。在本实施例中取λ＝6，α1＝4，α2＝8。
⑤-4、利用部分DCT低频系数来嵌入第一置乱水印序列{T1(l)}，假定低频坐标位置(u′，v′)表示当前子块
Figure BDA00000317350800002113
中要嵌入第一置乱水印序列{T1(l)}中的第l个水印信息的位置，计算当前DCT系数矩阵
Figure BDA00000317350800002114
中坐标位置为(u′，v′)的DCT系数及与其横向相邻的两个DCT  系数的均值，记为ave(u′，v′)，
Figure BDA00000317350800002115
其中，
Figure BDA00000317350800002116
表示当前DCT系数矩阵
Figure BDA00000317350800002117
中坐标位置为(u′-1，v′)的DCT系数，
Figure BDA00000317350800002118
表示当前DCT系数矩阵
Figure BDA00000317350800002119
中坐标位置为(u′，v′)的DCT系数，
Figure BDA00000317350800002120
表示当前DCT系数矩阵
Figure BDA00000317350800002121
中坐标位置为(u′+1，v′)的DCT系数；然后判断嵌入的第l个水印信息是否为1，如果是，则修改当前子块
Figure BDA00000317350800002122
中要嵌入第l个水印信息的坐标位置(u′，v′)对应的DCT系数
Figure BDA00000317350800002123
否则，修改当前子块
Figure BDA00000317350800002124
中要嵌入第l个水印信息的坐标位置(u′，v′)对应的DCT系数
Figure BDA00000317350800002125
该DCT系数实际为DCT低频系数。
⑤-5、按照上面的步骤在当前子块
Figure BDA0000031735080000221
的四个低频坐标位置中嵌入相同的第l个水印信息；并得到当前DCT系数矩阵中的四个DCT低频系数修改后构成的DCT系数矩阵。由于DCT变换后能量高的系数主要分布在左上角，这些能量高的系数为DCT低频系数，且个数较多，因此在此任意取其中四个DCT低频系数的坐标位置。
⑤-6、令l″＝l+1，l＝l″，重复执行步骤⑤-2至⑤-5，直至t时刻的第k个参考视点的彩色图像
Figure BDA0000031735080000223
中的N×N个互不重叠的8×8子块处理完毕，得到各个8×8子块对应的修改后的DCT系数矩阵，其中，l″的初始值为0。在此，只需处理N×N个互不重叠的8×8子块，因为嵌入的水印序列的大小为N×N。
⑤-7、对所有修改后的DCT系数矩阵进行反DCT变换，得到嵌入有第一置乱水印序列{T1(l)}的t时刻的第k个参考视点的彩色图像
Figure BDA0000031735080000224
⑥由于深度图像并不用来直接观看，而是作为辅助信息用于虚拟视点绘制，其水印嵌入过程应当有别于彩色图像，考虑深度图像不同区域的失真对虚拟视点绘制的影响来选择嵌入的强度，可以最大限度地减少水印嵌入对虚拟视点图像的影响。因此本发明通过设定在t时刻的第k个参考视点的深度图像
Figure BDA0000031735080000225
中嵌入水印的起始位置，记为(x″1，y″1)，然后从起始位置(x″1，y″1)开始，将第二置乱水印序列{T2(l)}嵌入到t时刻的第k个参考视点的深度图像中，得到嵌入水印后的t时刻的第k个参考视点的深度图像，记为
Figure BDA0000031735080000227
再将起始位置(x″1，y″1)作为水印提取密钥，并保存，其中，1≤x″1≤W-8×N，1≤y″1≤H-8×N。
在此具体实施例中，深度图像嵌入水印的起始位置(x″1，y″1)与彩色图像的起始位置(x′1，y′1)相同。考虑到深度图像对DCT低频系数的变化较为敏感，通过分析，本发明将水印信息嵌入到如图6所示的位置。
在此具体实施例中，将第二置乱水印序列{T2(l)}嵌入到t时刻的第k个参考视点的深度图像
Figure BDA0000031735080000228
中的具体过程为：
⑥-1、将t时刻的第k个参考视点的深度图像分成个互不重叠的8×8子块。
⑥-2、定义从起始位置(x″1，y″1)开始的第l个8×8子块为当前子块，记为
Figure BDA0000031735080000231
对当前子块
Figure BDA0000031735080000232
的亮度分时进行DCT变换得到当前DCT系数矩阵，记为
Figure BDA0000031735080000233
其中，1≤l≤N×N，(x4，y4)表示当前子块
Figure BDA0000031735080000234
中像素点的坐标位置，1≤x4≤8，1≤y4≤8，(u，v)表示当前DCT系数矩阵中DCT系数的坐标位置，1≤u≤8，1≤v≤8。
⑥-3、计算当前子块
Figure BDA0000031735080000236
中所有像素点的标准差，记为
Figure BDA0000031735080000237
判断
Figure BDA0000031735080000238
是否成立，如果成立，则确定当前子块
Figure BDA0000031735080000239
为平坦块，否则，确定当前子块为非平坦块，其中，T1表示设定的第一阈值；然后依据当前子块
Figure BDA00000317350800002311
的块类型为当前子块指定一个强度因子βq，其中，q表示块类型，q＝1表示平坦块，q＝2表示非平坦块，β1＞β2，βq取值越大表示水印信号越鲁棒但透明性越差。在本实施例中取T1＝5，β1＝4，β2＝2。
⑥-4、利用部分DCT低频系数来嵌入第二置乱水印序列{T2(l)}，假定低频坐标位置(u″，v″)表示当前子块
Figure BDA00000317350800002313
中要嵌入第二置乱水印序列{T2(l)}中的第l个水印信息的位置，计算当前DCT系数矩阵
Figure BDA00000317350800002314
中坐标位置为(u″，v″)的DCT系数及与其横向相邻的两个DCT系数的均值，记为ave(u″，v″)，
Figure BDA00000317350800002315
其中，
Figure BDA00000317350800002316
表示当前DCT系数矩阵
Figure BDA00000317350800002317
中坐标位置为(u″-1，v″)的DCT系数，
Figure BDA00000317350800002318
表示当前DCT系数矩阵中坐标位置为(u″，v″)的DCT系数，
Figure BDA00000317350800002320
表示当前DCT系数矩阵
Figure BDA00000317350800002321
中坐标位置为(u″+1，v″)的DCT系数；然后判断嵌入的第l个水印信息是否为1，如果是，则修改当前子块
Figure BDA00000317350800002322
中要嵌入第l个水印信息的坐标位置(u″，v″)对应的DCT系数
Figure BDA00000317350800002323
否则，修改当前子块
Figure BDA00000317350800002324
中要嵌入第l个水印信息的坐标位置(u″，v″)对应的DCT系数
Figure BDA0000031735080000241
该DCT系数实际为DCT低频系数。
⑥-5、按照上面的步骤在当前子块
Figure BDA0000031735080000242
的四个低频坐标位置中嵌入相同的第l个水印信息，并得到当前DCT系数矩阵中的四个DCT低频系数修改后构成的DCT系数矩阵。由于DCT变换后能量高的系数主要分布在左上角，这些能量高的系数为DCT低频系数，且个数较多，因此在此任意取其中四个DCT低频系数的坐标位置。
⑥-6、令l″＝l+1，l＝l″，重复执行步骤⑥-2至⑥-5，直至t时刻的第k个参考视点的深度图像中的N×N个互不重叠的8×8子块处理完毕，得到各个8×8子块对应的修改后的DCT系数矩阵，其中，l″的初始值为0。在此，只需处理N×N个互不重叠的8×8子块，因为嵌入的水印序列的大小为N×N。
⑥-7、对所有修改后的DCT系数矩阵进行反DCT变换，得到嵌入有第二置乱水印序列{T2(l)}的t时刻的第k个参考视点的深度图像
Figure BDA0000031735080000245
⑦令k″＝k+1，k＝k″，重复执行步骤②至⑦，直至完成对K个参考视点的K幅彩色图像嵌入相同的第一置乱水印序列{T1(l)}及完成对对应的K幅深度图像嵌入相同的第二置乱水印序列{T2(l)}，将嵌入水印后的t时刻的K个参考视点的K幅彩色图像用集合表示为
Figure BDA0000031735080000246
将嵌入水印后的t时刻的K个参考视点的K幅深度图像用集合表示为
Figure BDA0000031735080000247
其中，k″的初始值为0。
⑧采用多视点视频编码器对
Figure BDA0000031735080000248
及
Figure BDA0000031735080000249
进行编码传输，同时传输置乱次数m和n及起始位置(x′1，y′1)和(x″1，y″1)。
在本实施例中，多视点视频编码器采用公知的HBP编码预测结构。
⑨在用户端对编码后的t时刻的K个参考视点的K幅彩色图像及其对应的K幅深度图像进行解码，获得解码后的t时刻的K个参考视点的K幅彩色图像及其对应的K幅深度图像。
⑩假定当前需绘制的是第k′个虚拟视点，从解码后的t时刻的K个参考视点中选择两个与第k′个虚拟视点最相邻的参考视点，假定这两个参考视点分别为第k个参考视点和第k+1个参考视点，采用基于深度图像的绘制得到t时刻的第k′个虚拟视点彩色图像和t时刻的第k′个虚拟视点深度图像，分别记为
Figure BDA0000031735080000251
和
Figure BDA0000031735080000252
其中，1≤k′≤K，(x1，y1)表示t时刻的第k′个虚拟视点彩色图像
Figure BDA0000031735080000253
和t时刻的第k′个虚拟视点深度图像
Figure BDA0000031735080000254
中像素点的坐标位置，1≤x1≤W，1≤y1≤H，W表示虚拟视点彩色图像和虚拟视点深度图像的宽度，H表示虚拟视点彩色图像和虚拟视点深度图像的高度，
Figure BDA0000031735080000255
表示t时刻的第k′个虚拟视点彩色图像
Figure BDA0000031735080000256
中坐标位置为(x1，y1)的像素点的第i个颜色分量的值，
Figure BDA0000031735080000257
表示t时刻的第k′个虚拟视点深度图像中坐标位置为(x1，y1)的像素点的深度值。
在此具体实施例中，基于深度图像的绘制的具体过程为：
⑩-1、利用嵌入水印后的t时刻的第k个参考视点的深度图像
Figure BDA0000031735080000259
所提供的深度信息(在基于深度的绘制中，需要将深度图像的深度值先转换为实际场景的深度值，再进行映射)，分别将嵌入水印后的t时刻的第k个参考视点的彩色图像
Figure BDA00000317350800002510
和深度图像
Figure BDA00000317350800002511
中的各个像素点映射到需绘制的t时刻的第k′个虚拟视点，分别得到虚拟视点彩色图像
Figure BDA00000317350800002512
和虚拟视点深度图像
Figure BDA00000317350800002513
⑩-2、利用嵌入水印后的t时刻的第k+1个参考视点的深度图像
Figure BDA00000317350800002514
所提供的深度信息，分别将嵌入水印后的t时刻的第k+1个参考视点的彩色图像
Figure BDA00000317350800002515
和深度图像中的各个像素点映射到需绘制的t时刻的第k′个虚拟视点，分别得到虚拟视点彩色图像
Figure BDA00000317350800002517
和虚拟视点深度图像
Figure BDA00000317350800002518
⑩-3、判断由嵌入水印后的t时刻的第k个参考视点的彩色图像绘制得到的虚拟视点彩色图像中坐标位置为(x1，y1)的像素点是否为空洞像素点，如果不是，则
Figure BDA00000317350800002521
否则，继续判断由嵌入水印后的t时刻的第k+1个参考视点的彩色图像绘制得到的虚拟视点彩色图像
Figure BDA00000317350800002522
中坐标位置为(x1，y1)的像素点是否为空洞像素点，如果不是，则
Figure BDA00000317350800002523
否则，对空洞像素点进行填补，得到最终的t时刻的第k′个虚拟视点彩色图像其中，
Figure BDA0000031735080000262
表示t时刻的第k′个虚拟视点彩色图像中坐标位置为(x1，y1)的像素点的第i个分量的值。
⑩-4、判断由嵌入水印后的t时刻的第k+1个参考视点的深度图像
Figure BDA0000031735080000264
绘制得到的虚拟视点深度图像
Figure BDA0000031735080000265
中坐标位置为(x1，y1)的像素点是否为空洞像素点，如果不是，则
Figure BDA0000031735080000266
否则，继续判断由嵌入水印后的t时刻的第k个参考视点的深度图像
Figure BDA0000031735080000267
绘制得到的虚拟视点深度图像
Figure BDA0000031735080000268
中坐标位置为(x1，y1)的像素点是否为空洞像素点，如果不是，则
Figure BDA0000031735080000269
否则，对空洞像素点进行填补，得到最终的t时刻的第k′个虚拟视点深度图像，记为
Figure BDA00000317350800002610
其中，
Figure BDA00000317350800002611
表示t时刻的第k′个虚拟视点深度图像
Figure BDA00000317350800002612
中坐标位置为(x1，y1)的像素点的深度值。
Figure BDA00000317350800002613
从起始位置(x′1，y′1)开始，从t时刻的第k′个虚拟视点彩色图像
Figure BDA00000317350800002614
中提取出基本层置乱水印序列，记为
Figure BDA00000317350800002615
从起始位置(x″1，y″1)开始，从t时刻的第k′个虚拟视点深度图像
Figure BDA00000317350800002616
中提取出增强层置乱水印序列，记为
Figure BDA00000317350800002617
其中，
Figure BDA00000317350800002618
表示基本层置乱水印序列
Figure BDA00000317350800002619
中的第l个水印信息，
Figure BDA00000317350800002620
表示增强层置乱水印序列
Figure BDA00000317350800002621
中的第l个水印信息；然后分别将基本层置乱水印序列
Figure BDA00000317350800002622
和增强层置乱水印序列升维成二维图像，分别得到基本层置乱水印图像和增强层置乱水印图像，并分别记为
Figure BDA00000317350800002624
和
Figure BDA00000317350800002625
其中，y3＝Int(l/N)，x3＝lmodN，Int()表示取整数操作函数；再对基本层置乱水印图像
Figure BDA00000317350800002626
进行m次反置乱变换恢复成基本层水印图像，记为
Figure BDA00000317350800002627
对增强层置乱水印图像
Figure BDA00000317350800002628
进行n次反置乱变换恢复成增强层水印图像
在此具体实施例中，提取基本层置乱水印序列
Figure BDA00000317350800002630
和增强层置乱水印序列
Figure BDA00000317350800002631
的具体过程为：
Figure BDA0000031735080000271
将嵌入水印后的t时刻的第k个参考视点的彩色图像
Figure BDA0000031735080000272
分成
Figure BDA0000031735080000273
个互不重叠的第一8×8子块，将第k′个虚拟视点彩色图像
Figure BDA0000031735080000274
分成
Figure BDA0000031735080000275
个互不重叠的第二8×8子块。
Figure BDA0000031735080000276
以起始位置(x′1，y′1)作为提取水印的密钥，定义从起始位置(x′1，y′1)开始的嵌入水印后的t时刻的第k个参考视点的彩色图像
Figure BDA0000031735080000277
中的第l个第一8×8子块为当前第一子块，记为
Figure BDA0000031735080000278
采用公知的三维图像变换方法计算嵌入水印后的t时刻的第k个参考视点的彩色图像
Figure BDA0000031735080000279
中的坐标位置(x4，y4)在t时刻的第k′个虚拟视点彩色图像
Figure BDA00000317350800002710
中的坐标位置，记为(x′4，y′4)，其中，(x4，y4)表示当前第一子块
Figure BDA00000317350800002711
的左上角像素点的坐标位置。
定义t时刻的第k′个虚拟视点彩色图像
Figure BDA00000317350800002713
中的左上角像素点的坐标位置为(x′4，y′4)的第二8×8子块为当前第二子块，记为
Figure BDA00000317350800002714
对当前第二子块
Figure BDA00000317350800002715
进行DCT变换得到当前DCT系数矩阵，记为
Figure BDA00000317350800002716
然后计算四个嵌入水印的低频坐标位置的DCT系数的平均值ave1，以及四个低频坐标位置及与各个低频坐标位置横向相邻的两个DCT系数的平均值ave2；再判断ave1≥ave2是否成立，如果成立，则提取出水印信息1，否则，提取出水印信息0。
Figure BDA00000317350800002717
令l″＝l+1，l＝l″，重复执行步骤
Figure BDA00000317350800002718
至
Figure BDA00000317350800002719
直至嵌入水印后的t时刻的第k个参考视点的彩色图像
Figure BDA00000317350800002720
的N×N个互不重叠的第一8×8子块处理完毕，得到基本层的置乱水印序列
Figure BDA00000317350800002721
Figure BDA00000317350800002722
将嵌入水印后的t时刻的第k+1个参考视点的深度图像
Figure BDA00000317350800002723
分成
Figure BDA00000317350800002724
个互不重叠的第三8×8子块，将第k′个虚拟视点深色图像
Figure BDA00000317350800002725
分成
Figure BDA00000317350800002726
个互不重叠的第四8×8子块。
以起始位置(x″1，y″1)作为提取水印的密钥，定义从起始位置(x″1，y″1)开始的嵌入水印后的t时刻的第k+1个参考视点的深度图像
Figure BDA0000031735080000281
中的第l个第三8×8子块为当前第三子块，记为
Figure BDA0000031735080000282
采用公知的三维图像变换方法计算嵌入水印后的t时刻的第k+1个参考视点的深度图像中的坐标位置(x4，y4)在t时刻的第k′个虚拟视点深色图像
Figure BDA0000031735080000284
中的坐标位置，记为(x″4，y″4)，其中，(x4，y4)表示当前第三子块
Figure BDA0000031735080000285
的左上角像素点的坐标位置。
Figure BDA0000031735080000286
定义t时刻的第k′个虚拟视点深色图像
Figure BDA0000031735080000287
中的左上角像素点的坐标位置为(x″4，y″4)的第四8×8子块为当前第四子块，记为
Figure BDA0000031735080000288
对当前第四子块
Figure BDA0000031735080000289
进行DCT变换得到当前DCT系数矩阵，记为
Figure BDA00000317350800002810
然后计算四个嵌入水印的低频坐标位置的DCT系数的平均值ave1，以及四个低频坐标位置及与各个低频坐标位置横向相邻的两个DCT系数的平均值ave2；再判断ave1≥ave2是否成立，如果成立，则提取出水印信息1，否则，提取出水印信息0。
令l″＝l+1，l＝l″，重复执行步骤
Figure BDA00000317350800002812
至
Figure BDA00000317350800002813
直至嵌入水印后的t时刻的第k+1个参考视点的深度图像
Figure BDA00000317350800002814
的N×N个互不重叠的第三8×8子块处理完毕，得到增强层的置乱水印序列
Figure BDA00000317350800002815
Figure BDA00000317350800002816
首先对基本层水印图像
Figure BDA00000317350800002817
和增强层水印图像
Figure BDA00000317350800002818
进行融合，得到融合的水印图像，记为然后计算融合的水印图像
Figure BDA00000317350800002820
和嵌入的水印图像{P(x2，y2)}的归一化互相关系数(Normalized Correlation，NC)，记为
Figure BDA00000317350800002822
再判断归一化互相关系数
Figure BDA00000317350800002823
是否大于等于设定的第三阈值T3，如果是，则确定t时刻的第k′个虚拟视点彩色图像
Figure BDA00000317350800002824
是受版权保护的，否则，确定t时刻的第k′个虚拟视点彩色图像
Figure BDA00000317350800002825
是不受版权保护的，其中，0≤T3≤1，T3值越大表示{P(x2，y2)}和的相似性越高。在本实施例中取T3＝0.75。
在此具体实施例中，融合基本层水印图像和增强层水印图像的具体过程为：
Figure BDA0000031735080000293
以自适应加权系数w对基本层水印图像和增强层水印图像
Figure BDA0000031735080000295
进行融合，得到初步融合的水印图像，记为
Figure BDA0000031735080000296
其中，w为自适应加权系数，0≤w≤1，w取值越小表示基本层水印图像
Figure BDA0000031735080000298
的权重越小，反之表示增强层水印图像
Figure BDA0000031735080000299
的权重越小。在本实施例中取w＝0.6。
Figure BDA00000317350800002910
对初步融合的水印图像
Figure BDA00000317350800002911
进行阈值化操作，判断
Figure BDA00000317350800002912
是否成立，如果成立，则
Figure BDA00000317350800002913
否则，
Figure BDA00000317350800002914
其中，T2表示设定的第二阈值，0≤T2≤1，T2取值越大表示水印正确检测的概率越大但构成有效水印的像素越少。在本实施例中取T2＝0.5。
对阈值化操作后的初步融合的水印图像
Figure BDA00000317350800002916
进行中值滤波处理，去除点状噪声，得到最终的融合的水印图像
Figure BDA00000317350800002917
Figure BDA00000317350800002918
令k″＝k+1，k＝k″，重复执行步骤⑩至直至绘制得到的t时刻的K个虚拟视点彩色图像处理完毕。
以下就利用本发明方法对“Ballet”、“Breakdancers”三维视频测试序列的虚拟视点图像进行版权保护的主观和客观性能进行比较。
图7a和图7b分别给出了“Ballet”的第4个和第6个参考视点的彩色图像的视觉敏感和非视觉敏感区域的示意图，图7c和图7d分别给出了“Breakdancers”的第4个和第6个参考视点的彩色图像的视觉敏感和非视觉敏感区域的示意图；图8a和图8b分别给出了“Ballet”的第4个和第6个参考视点的深度图像的平坦和非平坦区域的示意图，图8c和图8d分别给出了“Breakdancers”的第4个和第6个参考视点的深度图像的平坦和非平坦区域的示意图；图9a和图9b分别给出了“Ballet”的嵌入水印后的第4个和第6个参考视点的彩色图像，图9c和图9d分别给出了“Breakdancers”的嵌入水印后的第4个和第6个参考视点的彩色图像；图10a和图10b分别给出了“Ballet”的嵌入水印后的第4个和第6个参考视点的深度图像，图10c和图10d分别给出了“Breakdancers”的嵌入水印后的第4个和第6个参考视点的深度图像。对比图2a至图3d的未嵌入水印的彩色图像和深度图像，可以看出经采用本发明的水印嵌入操作得到的彩色图像和深度图像与真实的图像主观视觉差别并不是很大。以上图9a至图10d嵌入的水印图像为图4a所示的水印图像。
图11a和图11b分别给出了“Ballet”三维视频测试序列的第5个参考视点的虚拟视点彩色图像和虚拟视点深度图像，图11c和图11d分别给出了“Breakdancers”三维视频测试集的第5个参考视点的虚拟视点彩色图像和虚拟视点深度图像；图12a、图14a、图16a、图18a和图20a分别给出了采用本发明方法从嵌入图4a、图4b、图4c、图4d和图4e水印图像后的“Ballet”三维视频测试序列的第4个参考视点的彩色图像中提取出的水印图像；图13a、图15a、图17a、图19a和图21a分别给出了采用本发明方法从嵌入图4a、图4b、图4c、图4d和图4e水印图像后的“Breakdancers”三维视频测试序列的第4个参考视点的彩色图像中提取出的水印图像；图12b、图14b、图16b、图18b和图20b分别给出了采用本发明方法从嵌入图4a、图4b、图4c、图4d和图4e水印图像后的“Ballet”三维视频测试序列的第6个参考视点的深度图像中提取出的水印图像；图13b、图15b、图17b、图19b和图21b分别给出了采用本发明方法从嵌入图4a、图4b、图4c、图4d和图4e水印图像后的“Breakdancers”三维视频测试序列的第6个参考视点的深度图像中提取出的水印图像。从图12a、图12b、图13a、图13b、图14a、图14b、图15a、图15b、图16a、图16b、图17a、图17b、图18a、图18b、图19a、图19b、图20a、图20b、图21a、图21b中可以看出，采用本发明方法能够从原始视图像中提取出高质量的水印信息，说明本发明的水印嵌入方法是有效的。
图12c、图14c、图16c、图18c和图20c分别给出了采用本发明方法从嵌入图4a、图4b、图4c、图4d和图4e水印图像后的“Ballet”三维视频测试序列的第5个参考视点的虚拟视点彩色图像中提取出的水印图像；图13c、图15c、图17c、图19c和图21c分别给出了采用本发明方法从嵌入图4a、图4b、图4c、图4d和图4e水印图像后的“Breakdancers”三维视频测试序列的第5个参考视点的虚拟视点彩色图像中提取出的水印图像；图12d、图14d、图16d、图18d和图20d分别给出了采用本发明方法从嵌入图4a、图4b、图4c、图4d和图4e水印图像后的“Ballet”三维视频测试序列的第5个参考视点的虚拟视点深度图像中提取出的水印图像；图13d、图15d、图17d、图19d和图21d分别给出了采用本发明方法从嵌入图4a、图4b、图4c、图4d和图4e水印图像后的“Breakdancers”三维视频测试序列的第5个参考视点的虚拟视点深度图像中提取出的水印图像；图12e、图14e、图16e、图18e和图20e分别给出了采用本发明方法对图12c和图12d、图14c和图14d、图16c和图16d、图18c和图18d、图20c和图20d进行融合得到的水印图像；图13e、图15e、图17e、图19e和图21e分别给出了采用本发明方法对图13c和图13d、图15c和图15d、图17c和图17d、图19c和图19d、图21c和图21d进行融合得到的水印图像。从图中可以看出，采用本发明方法能提取出较为清晰的水印信息，有效地保护虚拟视点图像的版权，足以说明本发明方法是有效可行的。
对采用本发明方法提取的水印图像和原始水印图像之间的峰值信噪比(Peak Signalto Noise Ratio，PSNR)和归一化互相关系数(Normalized Correlation，NC)进行比较，PSNR和NC比较结果如表1所示，表1是分别以“Ballet”和“Breakdancers”的第4个和第6个参考视点作为嵌入水印的载体图像，从第5个参考视点的虚拟视点彩色图像中提取水印图像。从表1中可以看出，即使提取的水印图像和原始水印图像之间的PSNR并不是很高，但NC仍然能保持在0.75以上，说明本发明方法具有较好的鲁棒性。由于虚拟视点图像的版权保护与参考视点图像的版权保护有所区别，虚拟视点图像的版权保护只需要能从虚拟视点图像中检测出水印信息即可，NC＝0.75被认为在可检测范围之内。
表1采用本发明方法嵌入不同水印图像的相似性比较
Figure BDA0000031735080000311

Claims (6)

1.一种虚拟视点图像的版权保护方法，其特征在于包括以下步骤：
①获取t时刻的K个参考视点的K幅颜色空间为YUV的彩色图像及其对应的K幅深度图像，将待嵌入的水印图像记为{P(x2，y2)}，其中，(x2，y2)表示待嵌入的水印图像{P(x2，y2)}中像素点的坐标位置，1≤x2≤N，1≤y2≤N，N表示待嵌入的水印图像{P(x2，y2)}的水平和垂直尺寸大小，P(x2，y2)表示待嵌入的水印图像{P(x2，y2)}中坐标位置为(x2，y2)的像素点的水印信息；
②将t时刻的第k个参考视点的彩色图像记为
Figure FDA0000102576660000011
将t时刻的第k个参考视点的深度图像记为
Figure FDA0000102576660000012
其中，1≤k≤K，i＝1，2，3分别表示YUV颜色空间的三个颜色分量，YUV颜色空间的第1个颜色分量为亮度分量并记为Y、第2个颜色分量为第一色度分量并记为U及第3个颜色分量为第二色度分量并记为V，(x1，y1)表示彩色图像和深度图像中像素点的坐标位置，1≤x1≤W，1≤y1≤H，W表示彩色图像和深度图像的宽度，H表示彩色图像和深度图像的高度，
Figure FDA0000102576660000013
表示t时刻的第k个参考视点的彩色图像
Figure FDA0000102576660000014
中坐标位置为(x1，y1)的像素点的第i个颜色分量的值，
Figure FDA0000102576660000015
表示t时刻的第k个参考视点的深度图像中坐标位置为(x1，y1)的像素点的深度值；
③首先对待嵌入的水印图像{P(x2，y2)}分别进行m次和n次置乱变换，分别得到第一置乱水印图像和第二置乱水印图像，并分别记为{P1(x3，y3)}和{P2(x3，y3)}，其中，(x3，y3)表示第一置乱水印图像{P1(x3，y3)}和第二置乱水印图像{P2(x3，y3)}中像素点的坐标位置， x 3 y 3 = 1 1 1 2 x 2 y 2 mod N , P1(x3，y3)表示第一置乱水印图像{P1(x3，y3)}中坐标位置为(x3，y3)的像素点的水印信息，P2(x3，y3)表示第二置乱水印图像{P2(x3，y3)}中坐标位置为(x3，y3)的像素点的水印信息；然后分别将第一置乱水印图像{P1(x3，y3)}和第二置乱水印图像{P2(x3，y3)}降维成一维序列，分别得到第一置乱水印序列和第二置乱水印序列，并分别记为{T1(l)}和{T2(l)}，其中，l＝y3×N+x3，T1(l)表示第一置乱水印序列{T1(l)}中的第l个水印信息，T2(l)表示第二置乱水印序列{T2(l)}中的第l个水印信息；再保存置乱次数m和n，作为水印提取密钥；
④利用人类视觉对背景光照和纹理的视觉掩蔽效应，提取出t时刻的第k个参考视点的彩色图像
Figure FDA0000102576660000021
的最小可察觉变化步长图像，记为
Figure FDA0000102576660000022
所述的步骤④包括以下具体步骤：
④-1、计算t时刻的第k个参考视点的彩色图像
Figure FDA0000102576660000023
的背景光照的视觉掩蔽效应的可视化阈值集合，记为{Tl(x1，y1)}，
Figure FDA0000102576660000024
其中，
Figure FDA0000102576660000025
表示t时刻的第k个参考视点的彩色图像
Figure FDA0000102576660000026
中以坐标位置为(x1，y1)的像素点为中心的5×5窗口内的所有像素点的亮度平均值；
④-2、计算t时刻的第k个参考视点的彩色图像的纹理的视觉掩蔽效应的可视化阈值集合，记为{Tt(x1，y1)}，Tt(x1，y1)＝η×G(x1，y1)×We(x1，y1)，其中，η为控制因子，G(x1，y1)表示对t时刻的第k个参考视点的彩色图像
Figure FDA0000102576660000028
中坐标位置为(x1，y1)的像素点进行定向高通滤波得到的最大加权平均值，We(x1，y1)表示对t时刻的第k个参考视点的彩色图像的边缘图像中坐标位置为(x1，y1)的像素点进行高斯低通滤波得到的边缘加权值；
④-3、对t时刻的第k个参考视点的彩色图像
Figure FDA00001025766600000210
的背景光照的视觉掩蔽效应的可视化阈值集合{Tl(x1，y1)}和纹理的视觉掩蔽效应的可视化阈值集合{Tt(x1，y1)}进行融合，得到t时刻的第k个参考视点的彩色图像
Figure FDA00001025766600000211
的最小可察觉变化步长阈值集合，记为{JND(x1，y1)}，JND(x1，y1)＝Tl(x1，y1)+Tt(x1，y1)-Cl，t×min{Tl(x1，y1)，Tt(x1，y1)}，其中，Cl，t表示控制背景光照和纹理的视觉掩蔽效应重叠影响的参数，0＜Cl，t＜1，min{}为取最小值函数；
④-4、从最小可察觉变化步长阈值集合{JND(x1，y1)}中找出最大值MAXJND和最小值MINJND，然后将最小可察觉变化步长阈值集合{JND(x1，y1)}投影到[0，255]的图像空间，得到t时刻的第k个参考视点的彩色图像
Figure FDA0000102576660000031
的最小可察觉变化步长图像 { JNDmap t k ( x 1 , y 1 ) } , JNDmap t k ( x 1 , y 1 ) = 255 × JND ( x 1 , y 1 ) - MIN JDN MAX JND - MIN JND ;
⑤设定在t时刻的第k个参考视点的彩色图像
Figure FDA0000102576660000034
中嵌入水印的起始位置，记为(x′1，y′1)，然后从起始位置(x′1，y′1)开始，根据t时刻的第k个参考视点的彩色图像
Figure FDA0000102576660000035
的最小可察觉变化步长图像
Figure FDA0000102576660000036
将第一置乱水印序列{T1(l)}嵌入到t时刻的第k个参考视点的彩色图像
Figure FDA0000102576660000037
中，得到嵌入水印后的t时刻的第k个参考视点的彩色图像，记为再将起始位置(x′1，y′1)作为水印提取密钥，并保存，其中，1≤x′1≤W-8×N，1≤y′1≤H-8×N；
⑥设定在t时刻的第k个参考视点的深度图像
Figure FDA0000102576660000039
中嵌入水印的起始位置，记为(x″1，y″1)，然后从起始位置(x″1，y″1)开始，将第二置乱水印序列{T2(l)}嵌入到t时刻的第k个参考视点的深度图像
Figure FDA00001025766600000310
中，得到嵌入水印后的t时刻的第k个参考视点的深度图像，记为
Figure FDA00001025766600000311
再将起始位置(x″1，y″1)作为水印提取密钥，并保存，其中，1≤x″1≤W-8×N，1≤y″1≤H-8×N；
⑦令k″＝k+1，k＝k″，重复执行步骤②至⑦，直至完成对K个参考视点的K幅彩色图像嵌入相同的第一置乱水印序列{T1(l)}及完成对对应的K幅深度图像嵌入相同的第二置乱水印序列{T2(l)}，将嵌入水印后的t时刻的K个参考视点的K幅彩色图像用集合表示为
Figure FDA0000102576660000041
将嵌入水印后的t时刻的K个参考视点的K幅深度图像用集合表示为
Figure FDA0000102576660000042
其中，k″的初始值为0；
⑧采用多视点视频编码器对及
Figure FDA0000102576660000044
进行编码传输，同时传输置乱次数m和n及起始位置(x′1，y′1)和(x″1，y″1)；
⑨在用户端对编码后的t时刻的K个参考视点的K幅彩色图像及其对应的K幅深度图像进行解码，获得解码后的t时刻的K个参考视点的K幅彩色图像及其对应的K幅深度图像；
⑩假定当前需绘制的是第k′个虚拟视点，从解码后的t时刻的K个参考视点中选择两个与第k′个虚拟视点最相邻的参考视点，假定这两个参考视点分别为第k个参考视点和第k+1个参考视点，采用基于深度图像的绘制得到t时刻的第k′个虚拟视点彩色图像和t时刻的第k′个虚拟视点深度图像，分别记为和
Figure FDA0000102576660000046
其中，1≤k′≤K，(x1，y1)表示t时刻的第k′个虚拟视点彩色图像
Figure FDA0000102576660000047
和t时刻的第k′个虚拟视点深度图像中像素点的坐标位置，1≤x1≤W，1≤y1≤H，W表示虚拟视点彩色图像和虚拟视点深度图像的宽度，H表示虚拟视点彩色图像和虚拟视点深度图像的高度，表示t时刻的第k′个虚拟视点彩色图像
Figure FDA00001025766600000410
中坐标位置为(x1，y1)的像素点的第i个颜色分量的值，表示t时刻的第k′个虚拟视点深度图像
Figure FDA00001025766600000412
中坐标位置为(x1，y1)的像素点的深度值；
Figure FDA00001025766600000413
从起始位置(x′1，y′1)开始，从t时刻的第k′个虚拟视点彩色图像
Figure FDA00001025766600000414
中提取出基本层置乱水印序列，记为
Figure FDA00001025766600000415
从起始位置(x″1，y″1)开始，从t时刻的第k′个虚拟视点深度图像中提取出增强层置乱水印序列，记为
Figure FDA00001025766600000417
其中，
Figure FDA00001025766600000418
表示基本层置乱水印序列中的第l个水印信息，
Figure FDA00001025766600000420
表示增强层置乱水印序列
Figure FDA00001025766600000421
中的第l个水印信息；然后分别将基本层置乱水印序列
Figure FDA00001025766600000422
和增强层置乱水印序列升维成二维图像，分别得到基本层置乱水印图像和增强层置乱水印图像，并分别记为
Figure FDA00001025766600000424
和
Figure FDA00001025766600000425
其中，y3＝Int(l/N)，x3＝lmodN，Int()表示取整数操作函数；再对基本层置乱水印图像
Figure FDA0000102576660000051
进行m次反置乱变换恢复成基本层水印图像，记为
Figure FDA0000102576660000052
对增强层置乱水印图像
Figure FDA0000102576660000053
进行n次反置乱变换恢复成增强层水印图像
Figure FDA0000102576660000054
Figure FDA0000102576660000055
首先对基本层水印图像
Figure FDA0000102576660000056
和增强层水印图像进行融合，得到融合的水印图像，记为
Figure FDA0000102576660000058
然后计算融合的水印图像
Figure FDA0000102576660000059
和嵌入的水印图像{P(x2，y2)}的归一化互相关系数，记为
Figure FDA00001025766600000510
NC ( P , P ~ ) = Σ y 2 = 1 N Σ x 2 = 1 N ( P ( x 2 , y 2 ) × P ~ ( x 2 , y 2 ) ) / Σ y 2 = 1 N Σ x 2 = 1 N ( P ( x 2 , y 2 ) × P ( x 2 , y 2 ) ) ; 再判断归一化互相关系数
Figure FDA00001025766600000512
是否大于等于设定的第三阈值T3，如果是，则确定t时刻的第k′个虚拟视点彩色图像
Figure FDA00001025766600000513
是受版权保护的，否则，确定t时刻的第k′个虚拟视点彩色图像
Figure FDA00001025766600000514
是不受版权保护的，其中，0≤T3≤1；
令k″＝k+1，k＝k″，重复执行步骤⑩至
Figure FDA00001025766600000516
直至绘制得到的t时刻的K个虚拟视点彩色图像处理完毕。
2.根据权利要求1所述的一种虚拟视点图像的版权保护方法，其特征在于所述的步骤⑤中将第一置乱水印序列{T1(l)}嵌入到t时刻的第k个参考视点的彩色图像
Figure FDA00001025766600000517
中的具体过程为：
⑤-1、将t时刻的第k个参考视点的彩色图像
Figure FDA00001025766600000518
分成个互不重叠的8×8子块；
⑤-2、定义从起始位置(x′1，y′1)开始的第l个8×8子块为当前子块，记为
Figure FDA00001025766600000520
对当前子块
Figure FDA00001025766600000521
的亮度分量进行DCT变换得到当前DCT系数矩阵，记为
Figure FDA00001025766600000522
其中，1≤l≤N×N，(x4，y4)表示当前子块
Figure FDA00001025766600000523
中像素点的坐标位置，1≤x4≤8，1≤y4≤8，(u，v)表示当前DCT系数矩阵
Figure FDA00001025766600000524
中DCT系数的坐标位置，1≤u≤8，1≤v≤8；
⑤-3、计算t时刻的第k个参考视点的彩色图像
Figure FDA0000102576660000061
的最小可察觉变化步长图像
Figure FDA0000102576660000062
中与当前子块的位置相对应的8×8子块中所有像素点的像素值的均值
Figure FDA0000102576660000064
和标准差
Figure FDA0000102576660000065
然后判断
Figure FDA0000102576660000066
是否成立，如果成立，则确定当前子块
Figure FDA0000102576660000067
为视觉敏感块，否则，确定当前子块
Figure FDA0000102576660000068
为非视觉敏感块；再依据当前子块的块类型为当前子块
Figure FDA00001025766600000610
指定一个强度因子αp，其中，λ为控制因子，p表示块类型，p＝1表示视觉敏感块，p＝2表示非视觉敏感块，α1＜α2；
⑤-4、假定低频坐标位置(u′，v′)表示当前子块
Figure FDA00001025766600000611
中要嵌入第一置乱水印序列{T1(l)}中的第l个水印信息的位置，计算当前DCT系数矩阵
Figure FDA00001025766600000612
中坐标位置为(u′，v′)的DCT系数及与其横向相邻的两个DCT系数的均值，记为ave(u′，v′)， ave ( u ′ , v ′ ) = ( F l k ( u ′ - 1 , v ′ ) + F l k ( u ′ , v ′ ) + F l k ( u ′ + 1 , v ′ ) ) / 3 , 其中，表示当前DCT系数矩阵
Figure FDA00001025766600000615
中坐标位置为(u′-1，v′)的DCT系数，
Figure FDA00001025766600000616
表示当前DCT系数矩阵中坐标位置为(u′，v′)的DCT系数，
Figure FDA00001025766600000618
表示当前DCT系数矩阵
Figure FDA00001025766600000619
中坐标位置为(u′+1，v′)的DCT系数；然后判断嵌入的第l个水印信息是否为1，如果是，则修改当前子块
Figure FDA00001025766600000620
中要嵌入第l个水印信息的坐标位置(u′，v′)对应的DCT系数
Figure FDA00001025766600000621
否则，修改当前子块
Figure FDA00001025766600000622
中要嵌入第l个水印信息的坐标位置(u′，v′)对应的DCT系数
Figure FDA00001025766600000623
⑤-5、按照上面的步骤在当前子块
Figure FDA00001025766600000624
的四个低频坐标位置中嵌入相同的第l个水印信息；并得到当前DCT系数矩阵中的四个DCT低频系数修改后构成的DCT系数矩阵；
⑤-6、令l″＝l+1，l＝l″，重复执行步骤⑤-2至⑤-5，直至t时刻的第k个参考视点的彩色图像
Figure FDA00001025766600000626
中的N×N个互不重叠的8×8子块处理完毕，得到各个8×8子块对应的修改后的DCT系数矩阵，其中，l″的初始值为0；
⑤-7、对所有修改后的DCT系数矩阵进行反DCT变换，得到嵌入有第一置乱水印序列{T1(l)}的t时刻的第k个参考视点的彩色图像
Figure FDA0000102576660000071
3.根据权利要求2所述的一种虚拟视点图像的版权保护方法，其特征在于所述的步骤⑥中将第二置乱水印序列{T2(l)}嵌入到t时刻的第k个参考视点的深度图像
Figure FDA0000102576660000072
中的具体过程为：
⑥-1、将t时刻的第k个参考视点的深度图像
Figure FDA0000102576660000073
分成
Figure FDA0000102576660000074
个互不重叠的8×8子块；
⑥-2、定义从起始位置(x″1，y″1)开始的第l个8×8子块为当前子块，记为
Figure FDA0000102576660000075
对当前子块
Figure FDA0000102576660000076
的亮度分时进行DCT变换得到当前DCT系数矩阵，记为
Figure FDA0000102576660000077
其中，1≤l≤N×N，(x4，y4)表示当前子块
Figure FDA0000102576660000078
中像素点的坐标位置，1≤x4≤8，1≤y4≤8，(u，v)表示当前DCT系数矩阵
Figure FDA0000102576660000079
中DCT系数的坐标位置，1≤u≤8，1≤v≤8；
⑥-3、计算当前子块
Figure FDA00001025766600000710
中所有像素点的标准差，记为判断
Figure FDA00001025766600000712
是否成立，如果成立，则确定当前子块
Figure FDA00001025766600000713
为平坦块，否则，确定当前子块
Figure FDA00001025766600000714
为非平坦块，其中，T1表示设定的第一阈值；然后依据当前子块
Figure FDA00001025766600000715
的块类型为当前子块
Figure FDA00001025766600000716
指定一个强度因子βq，其中，q表示块类型，q＝1表示平坦块，q＝2表示非平坦块，β1＞β2；
⑥-4、假定低频坐标位置(u″，v″)表示当前子块
Figure FDA00001025766600000717
中要嵌入第二置乱水印序列{T2(l)}中的第l个水印信息的位置，计算当前DCT系数矩阵
Figure FDA00001025766600000718
中坐标位置为(u″，v″)的DCT系数及与其横向相邻的两个DCT系数的均值，记为ave(u″，v″)， ave ( u ′ ′ , v ′ ′ ) = ( G l k ( u ′ ′ - 1 , v ′ ′ ) + G l k ( u ′ ′ , v ′ ′ ) + G l k ( u ′ ′ + 1 , v ′ ′ ) ) / 3 , 其中，表示当前DCT系数矩阵
Figure FDA00001025766600000721
中坐标位置为(u″-1，v″)的DCT系数，表示当前DCT系数矩阵
Figure FDA0000102576660000081
中坐标位置为(u″，v″)的DCT系数，表示当前DCT系数矩阵
Figure FDA0000102576660000083
中坐标位置为(u″+1，v″)的DCT系数；然后判断嵌入的第l个水印信息是否为1，如果是，则修改当前子块
Figure FDA0000102576660000084
中要嵌入第l个水印信息的坐标位置(u″，v″)对应的DCT系数
Figure FDA0000102576660000085
否则，修改当前子块
Figure FDA0000102576660000086
中要嵌入第l个水印信息的坐标位置(u″，v″)对应的DCT系数
⑥-5、按照上面的步骤在当前子块
Figure FDA0000102576660000088
的四个低频坐标位置中嵌入相同的第l个水印信息，并得到当前DCT系数矩阵
Figure FDA0000102576660000089
中的四个DCT低频系数修改后构成的DCT系数矩阵；
⑥-6、令l″＝l+1，l＝l″，重复执行步骤⑥-2至⑥-5，直至t时刻的第k个参考视点的深度图像
Figure FDA00001025766600000810
中的N×N个互不重叠的8×8子块处理完毕，得到各个8×8子块对应的修改后的DCT系数矩阵，其中，l″的初始值为0；
⑥-7、对所有修改后的DCT系数矩阵进行反DCT变换，得到嵌入有第二置乱水印序列{T2(l)}的t时刻的第k个参考视点的深度图像
Figure FDA00001025766600000811
4.根据权利要求3所述的一种虚拟视点图像的版权保护方法，其特征在于所述的步骤⑩中基于深度图像的绘制的具体过程为：
⑩-1、利用嵌入水印后的t时刻的第k个参考视点的深度图像所提供的深度信息，分别将嵌入水印后的t时刻的第k个参考视点的彩色图像
Figure FDA00001025766600000813
和深度图像
Figure FDA00001025766600000814
中的各个像素点映射到需绘制的t时刻的第k′个虚拟视点，分别得到虚拟视点彩色图像
Figure FDA00001025766600000815
和虚拟视点深度图像
Figure FDA00001025766600000816
⑩-2、利用嵌入水印后的t时刻的第k+1个参考视点的深度图像
Figure FDA00001025766600000817
所提供的深度信息，分别将嵌入水印后的t时刻的第k+1个参考视点的彩色图像
Figure FDA00001025766600000818
和深度图像
Figure FDA00001025766600000819
中的各个像素点映射到需绘制的t时刻的第k′个虚拟视点，分别得到虚拟视点彩色图像和虚拟视点深度图像
Figure FDA00001025766600000821
⑩-3、判断由嵌入水印后的t时刻的第k个参考视点的彩色图像
Figure FDA0000102576660000091
绘制得到的虚拟视点彩色图像
Figure FDA0000102576660000092
中坐标位置为(x1，y1)的像素点是否为空洞像素点，如果不是，则
Figure FDA0000102576660000093
否则，继续判断由嵌入水印后的t时刻的第k+1个参考视点的彩色图像绘制得到的虚拟视点彩色图像
Figure FDA0000102576660000094
中坐标位置为(x1，y1)的像素点是否为空洞像素点，如果不是，则
Figure FDA0000102576660000095
否则，对空洞像素点进行填补，得到最终的t时刻的第k′个虚拟视点彩色图像
Figure FDA0000102576660000096
其中，
Figure FDA0000102576660000097
表示t时刻的第k′个虚拟视点彩色图像
Figure FDA0000102576660000098
中坐标位置为(x1，y1)的像素点的第i个分量的值；
⑩-4、判断由嵌入水印后的t时刻的第k+1个参考视点的深度图像
Figure FDA0000102576660000099
绘制得到的虚拟视点深度图像
Figure FDA00001025766600000910
中坐标位置为(x1，y1)的像素点是否为空洞像素点，如果不是，则否则，继续判断由嵌入水印后的t时刻的第k个参考视点的深度图像绘制得到的虚拟视点深度图像
Figure FDA00001025766600000913
中坐标位置为(x1，y1)的像素点是否为空洞像素点，如果不是，则
Figure FDA00001025766600000914
否则，对空洞像素点进行填补，得到最终的t时刻的第k′个虚拟视点深度图像，记为
Figure FDA00001025766600000915
其中，
Figure FDA00001025766600000916
表示t时刻的第k′个虚拟视点深度图像中坐标位置为(x1，y1)的像素点的深度值。
5.根据权利要求4所述的一种虚拟视点图像的版权保护方法，其特征在于所述的步骤中提取基本层置乱水印序列
Figure FDA00001025766600000919
和增强层置乱水印序列
Figure FDA00001025766600000920
的具体过程为：
将嵌入水印后的t时刻的第k个参考视点的彩色图像
Figure FDA00001025766600000922
分成
Figure FDA00001025766600000923
个互不重叠的第一8×8子块，将第k′个虚拟视点彩色图像
Figure FDA00001025766600000924
分成
Figure FDA00001025766600000925
个互不重叠的第二8×8子块；
Figure FDA00001025766600000926
以起始位置(x′1，y′1)作为提取水印的密钥，定义从起始位置(x′1，y′1)开始的嵌入水印后的t时刻的第k个参考视点的彩色图像
Figure FDA00001025766600000927
中的第l个第一8×8子块为当前第一子块，记为
Figure FDA0000102576660000101
采用三维图像变换方法计算嵌入水印后的t时刻的第k个参考视点的彩色图像
Figure FDA0000102576660000102
中的坐标位置(x4，y4)在t时刻的第k′个虚拟视点彩色图像
Figure FDA0000102576660000103
中的坐标位置，记为(x′4，y′4)，其中，(x4，y4)表示当前第一子块
Figure FDA0000102576660000104
的左上角像素点的坐标位置；
Figure FDA0000102576660000105
定义t时刻的第k′个虚拟视点彩色图像
Figure FDA0000102576660000106
中的左上角像素点的坐标位置为(x′4，y′4)的第二8×8子块为当前第二子块，记为
Figure FDA0000102576660000107
对当前第二子块
Figure FDA0000102576660000108
进行DCT变换得到当前DCT系数矩阵，记为
Figure FDA0000102576660000109
然后计算四个嵌入水印的低频坐标位置的DCT系数的平均值ave1，以及四个低频坐标位置及与各个低频坐标位置横向相邻的两个DCT系数的平均值ave2；再判断ave1≥ave2是否成立，如果成立，则提取出水印信息1，否则，提取出水印信息0；
Figure FDA00001025766600001010
令l″＝l+1，l＝l″，重复执行步骤至
Figure FDA00001025766600001012
直至嵌入水印后的t时刻的第k个参考视点的彩色图像
Figure FDA00001025766600001013
的N×N个互不重叠的第一8×8子块处理完毕，得到基本层的置乱水印序列
将嵌入水印后的t时刻的第k+1个参考视点的深度图像
Figure FDA00001025766600001016
分成个互不重叠的第三8×8子块，将第k′个虚拟视点深色图像
Figure FDA00001025766600001018
分成
Figure FDA00001025766600001019
个互不重叠的第四8×8子块；
Figure FDA00001025766600001020
以起始位置(x″1，y″1)作为提取水印的密钥，定义从起始位置(x″1，y″1)开始的嵌入水印后的t时刻的第k+1个参考视点的深度图像中的第l个第三8×8子块为当前第三子块，记为
Figure FDA00001025766600001022
采用三维图像变换方法计算嵌入水印后的t时刻的第k+1个参考视点的深度图像
Figure FDA00001025766600001023
中的坐标位置(x4，y4)在t时刻的第k′个虚拟视点深色图像
Figure FDA00001025766600001024
中的坐标位置，记为(x″4，y″4)，其中，(x4，y4)表示当前第三子块
Figure FDA00001025766600001025
的左上角像素点的坐标位置；
Figure FDA00001025766600001026
定义t时刻的第k′个虚拟视点深色图像
Figure FDA00001025766600001027
中的左上角像素点的坐标位置为(x″4，y″4)的第四8×8子块为当前第四子块，记为
Figure FDA0000102576660000111
对当前第四子块
Figure FDA0000102576660000112
进行DCT变换得到当前DCT系数矩阵，记为
Figure FDA0000102576660000113
然后计算四个嵌入水印的低频坐标位置的DCT系数的平均值ave1，以及四个低频坐标位置及与各个低频坐标位置横向相邻的两个DCT系数的平均值ave2；再判断ave1≥ave2是否成立，如果成立，则提取出水印信息1，否则，提取出水印信息0；
Figure FDA0000102576660000114
令l″＝l+1，l＝l″，重复执行步骤至
Figure FDA0000102576660000116
直至嵌入水印后的t时刻的第k+1个参考视点的深度图像
Figure FDA0000102576660000117
的N×N个互不重叠的第三8×8子块处理完毕，得到增强层的置乱水印序列
Figure FDA0000102576660000118
6.根据权利要求5所述的一种虚拟视点图像的版权保护方法，其特征在于所述的步骤
Figure FDA0000102576660000119
中融合基本层水印图像
Figure FDA00001025766600001110
和增强层水印图像
Figure FDA00001025766600001111
的具体过程为：
Figure FDA00001025766600001112
以自适应加权系数w对基本层水印图像
Figure FDA00001025766600001113
和增强层水印图像
Figure FDA00001025766600001114
进行融合，得到初步融合的水印图像，记为 P ~ ′ ( x 2 , y 2 ) = w × P ~ 1 ( x 2 , y 2 ) + ( 1 - w ) × P ~ 2 ( x 2 , y 2 ) , 其中，0≤w≤1；
Figure FDA00001025766600001117
对初步融合的水印图像
Figure FDA00001025766600001118
进行阈值化操作，判断
Figure FDA00001025766600001119
是否成立，如果成立，则
Figure FDA00001025766600001120
否则，
Figure FDA00001025766600001121
其中，T2表示设定的第二阈值，0≤T2≤1；
对阈值化操作后的初步融合的水印图像
Figure FDA00001025766600001123
进行中值滤波处理，去除点状噪声，得到最终的融合的水印图像
Figure FDA00001025766600001124
CN2010105395875A 2010-11-11 2010-11-11 一种虚拟视点图像的版权保护方法 Expired - Fee Related CN101990081B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2010105395875A CN101990081B (zh) 2010-11-11 2010-11-11 一种虚拟视点图像的版权保护方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2010105395875A CN101990081B (zh) 2010-11-11 2010-11-11 一种虚拟视点图像的版权保护方法

Publications (2)

Publication Number Publication Date
CN101990081A CN101990081A (zh) 2011-03-23
CN101990081B true CN101990081B (zh) 2012-02-22

Family

ID=43746389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010105395875A Expired - Fee Related CN101990081B (zh) 2010-11-11 2010-11-11 一种虚拟视点图像的版权保护方法

Country Status (1)

Country Link
CN (1) CN101990081B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102903082B (zh) * 2012-09-14 2015-06-24 重庆大学 一种基于开关中值滤波的加密图像去噪方法
CN103037268B (zh) * 2012-12-07 2015-07-08 广东威创视讯科技股份有限公司 一种水印添加方法和装置
CN103139522B (zh) * 2013-01-21 2016-03-23 宁波大学 一种多视点图像的处理方法
JP6078038B2 (ja) * 2014-10-31 2017-02-08 株式会社Pfu 画像処理装置、画像処理方法、および、プログラム
CN105187817B (zh) * 2015-09-09 2018-05-29 武汉大学 基于数字水印加密的裸眼3d视频加密方法及系统
CN105451035A (zh) * 2015-11-13 2016-03-30 北京光慧鸿途科技股份有限公司 防止视频版权保护图标删、改的视频显示方法及系统
CN105657431B (zh) * 2016-02-01 2018-06-26 杭州当虹科技有限公司 一种基于视频帧dct域的水印算法
WO2018176281A1 (zh) * 2017-03-29 2018-10-04 华为技术有限公司 一种素描图像的生成方法及装置
CN107155101A (zh) * 2017-06-20 2017-09-12 万维云视（上海）数码科技有限公司 一种3d播放器使用的3d视频的生成方法及装置
CN110136071B (zh) * 2018-02-02 2021-06-25 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置、电子设备及存储介质
CN111182365B (zh) * 2020-01-15 2020-10-27 中南民族大学 一种基于视觉敏感块的压缩域视频水印嵌入和提取方法
CN112214773B (zh) * 2020-09-22 2022-07-05 支付宝(杭州)信息技术有限公司 基于隐私保护的图像处理方法、装置和电子设备
CN117241104B (zh) * 2023-11-07 2024-01-16 中南大学 一种dibr-3d视频版权保护的零水印方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6275599B1 (en) * 1998-08-28 2001-08-14 International Business Machines Corporation Compressed image authentication and verification
US7974477B2 (en) * 2007-02-19 2011-07-05 New Jersey Institute Of Technology Apparatus and method for reversible data hiding for JPEG images
US8565472B2 (en) * 2007-10-30 2013-10-22 General Instrument Corporation Method, device and system for dynamically embedding watermark information into multimedia content
CN101393635B (zh) * 2008-10-27 2011-08-10 华为技术有限公司 水印信息的嵌入、提取方法和装置、以及处理系统
CN101739657A (zh) * 2009-11-06 2010-06-16 上海第二工业大学 基于dct域的彩色图像数字水印的嵌入及提取方法

Also Published As

Publication number Publication date
CN101990081A (zh) 2011-03-23

Similar Documents

Publication Publication Date Title
CN101990081B (zh) 一种虚拟视点图像的版权保护方法
CN104680473A (zh) 基于机器学习的彩色图像水印嵌入及检测方法
CN101739657A (zh) 基于dct域的彩色图像数字水印的嵌入及提取方法
CN104751402B (zh) 一种鲁棒可逆水印嵌入的方法
CN104168484A (zh) 一种基于视觉注意机制的视频水印方法
CN104053074B (zh) 基于深度图像和Otsu分割的视频水印方法
CN102682418B (zh) 一种数字图像的多个零水印嵌入及提取方法
CN106131711B (zh) 面向3d高清数字视频的鲁棒隐水印嵌入与提取方法
CN105303512A (zh) 基于svd和qr码的视频双水印方法
CN103974144A (zh) 一种基于特征尺度变换不变点和微场景检测的视频数字水印方法
CN107222751B (zh) 基于多视点视频特征的3d-hevc深度视频信息隐藏方法
CN102223561B (zh) 一种立体视频图像的盲水印嵌入和提取方法
CN103366336A (zh) 一种基于人眼对比度敏感视觉特性的图像水印方法
CN103366332B (zh) 一种基于深度信息的图像水印方法
CN107274333A (zh) 一种融合奇异值分解的空域彩色图像盲水印方法
CN111968024A (zh) 一种自适应图像水印方法
KR101580987B1 (ko) 깊이 및 텍스쳐 영상 기반의 3차원 입체 영상을 위한 워터마킹 방법
CN104978706B (zh) 基于傅里叶描述子的水印嵌入与提取方法、装置及系统
CN101833745A (zh) 一种数字图像的多个二值水印嵌入及提取检测方法
CN109064377B (zh) 立体图像水印嵌入系统、提取系统及嵌入方法、提取方法
CN107222750A (zh) 一种面向立体视频的频域视差相干水印方法
CN104766263A (zh) 基于四元数Legendre矩校正的彩色图像水印嵌入及检测方法
CN101504759B (zh) 基于dct算法数字图像水印提取方法
CN103024375A (zh) 一种基于双目恰可觉察失真的立体图像半脆弱水印方法
CN103049880A (zh) 基于离散余弦变换的数字水印方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120222

Termination date: 20151111

EXPY Termination of patent right or utility model