CN102710949A - 一种基于视觉感知的立体视频编码方法 - Google Patents

一种基于视觉感知的立体视频编码方法 Download PDF

Info

Publication number
CN102710949A
CN102710949A CN2012101461171A CN201210146117A CN102710949A CN 102710949 A CN102710949 A CN 102710949A CN 2012101461171 A CN2012101461171 A CN 2012101461171A CN 201210146117 A CN201210146117 A CN 201210146117A CN 102710949 A CN102710949 A CN 102710949A
Authority
CN
China
Prior art keywords
visual point
image
pixel
point image
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012101461171A
Other languages
English (en)
Other versions
CN102710949B (zh
Inventor
邵枫
江东
郁梅
蒋刚毅
李福翠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo University
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201210146117.1A priority Critical patent/CN102710949B/zh
Publication of CN102710949A publication Critical patent/CN102710949A/zh
Application granted granted Critical
Publication of CN102710949B publication Critical patent/CN102710949B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开了一种基于视觉感知的立体视频编码方法，其通过利用人类立体视觉感知对背景光照和对比度的双目视觉掩蔽效应、时域掩蔽效应和深度感知特性，得到人眼可感知立体图像质量变化时右视点图像的立体最小可察觉变化图像，然后在左视点图像质量固定不变的情况下，根据左视点图像的基本编码量化参数和右视点图像的立体最小可察觉变化值，对右视点图像的不同区域采用不同的编码量化参数进行编码，不仅能充分消除立体视频的视觉冗余信息，而且在保证立体图像质量的整体质量的前提下，能大大提高立体视频的编码效率。

Description

一种基于视觉感知的立体视频编码方法
技术领域
本发明涉及一种视频信号的编码压缩方法，尤其是涉及一种基于视觉感知的立体视频编码方法。
背景技术
进入本世纪以来，随着数字2D（二维）视频技术日趋成熟，以及计算机、通信及网络技术的快速发展，引发了人们对新一代视频系统的强烈需求。现行的二维视频系统在表现自然场景时，难以满足用户的立体感和视点交互等的需求。（立体）三维视频系统由于能够提供立体感、视点交互性的全新视觉体验而越来越受到人们的欢迎，因此在无线视频通信、影视娱乐、数字动漫、虚拟战场、旅游观光、远程教学等领域有着广泛的应用前景。与单通道视频相比，立体视频要处理至少翻一倍的数据量，因此在不影响立体视频主观质量的前提下，尽可能地降低立体视频的编码码率是一个亟需解决的问题。
然而，现有的立体视频编码的研究更多地考虑了视点间的冗余信息，而并没有充分利用立体视频的冗余信息。心理学研究结果表明，立体视觉中存在视觉掩蔽效益，即构成立体视频的两个视点视频，质量好的视点视频的质量对立体视频的整体质量贡献较大，并且不同区域的掩蔽效应是各不相同的。利用人类立体视觉系统的这一特性，对立体视频采用非对称编码方法，即对左视点视频进行正常编码，而对右视点视频进行降低质量的编码方式，因此，如何建立立体视频的双目立体掩蔽（最小可察觉变化）模型，是对立体视频进行基于视觉感知的编码过程中需要研究解决的问题。
发明内容
本发明所要解决的技术问题是提供一种能够充分地消除立体视频的视觉冗余信息，并能够有效地提高立体视频的编码效率的基于视觉感知的立体视频编码方法。
本发明解决上述技术问题所采用的技术方案为：一种基于视觉感知的立体视频编码方法，其特征在于包括以下步骤：
①将外部立体视频捕获工具捕获得到的未经处理的且颜色空间为YUV的立体视频定义为原始立体视频，在空域上该原始立体视频包括左视点原始视频和右视点原始视频，左视点原始视频主要由若干个帧组的左视点图像组成，右视点原始视频主要由若干个帧组的右视点图像组成，对于左视点原始视频中t时刻的左视点图像，将其记为对于右视点原始视频中t时刻的右视点图像，将其记为
Figure BDA00001627400800022
其中，i＝1,2,3分别表示YUV颜色空间的三个分量，YUV颜色空间的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V，(x,y)表示图像中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示图像的宽度，H表示图像的高度，
Figure BDA00001627400800023
表示
Figure BDA00001627400800024
中坐标位置为(x,y)的像素点的第i个分量的值，
Figure BDA00001627400800025
表示
Figure BDA00001627400800026
中坐标位置为(x,y)的像素点的第i个分量的值；
②采用块匹配法分别计算左视点原始视频中每一时刻的左视点图像和右视点原始视频中对应时刻的右视点图像之间的视差图像，对于
Figure BDA00001627400800027
和
Figure BDA00001627400800028
之间的视差图像，将其记为
Figure BDA00001627400800029
其中，
Figure BDA000016274008000210
表示
Figure BDA000016274008000211
中坐标位置为(x,y)的像素点的像素值；
③利用人类立体视觉感知对背景光照和对比度的视觉掩蔽效应，分别提取出右视点原始视频中每一时刻的右视点图像的双目最小可察觉变化图像，对于
Figure BDA000016274008000212
的双目最小可察觉变化图像，将其记为
Figure BDA000016274008000213
其中，
Figure BDA000016274008000214
表示
Figure BDA000016274008000215
中坐标位置为(x,y)的像素点的像素值；
④根据时域掩蔽效应，分别提取出右视点原始视频中每一时刻的右视点图像的时域掩蔽因子，对于的时域掩蔽因子，将其记为
Figure BDA000016274008000217
Figure BDA000016274008000218
其中，
Figure BDA000016274008000219
表示
Figure BDA000016274008000220
中坐标位置为(x,y)的像素点的时域掩蔽因子，max()为取最大值函数，τ表示尺度因子，exp()为底数e=2.71828的指数运算操作， Δ ( x , y , t ) = 0.5 × ( I t , 1 R ( x , y ) - I t - 1,1 R ( x , y ) - I t , 1 R ( x , y ) ‾ + I t - 1,1 R ( x , y ) ‾ ) ,
Figure BDA00001627400800032
表示
Figure BDA00001627400800033
中坐标位置为(x,y)的像素点的第1个分量的值，
Figure BDA00001627400800034
表示右视点原始视频中t-1时刻的右视点图像
Figure BDA00001627400800035
中坐标位置为(x,y)的像素点的第1个分量的值，
Figure BDA00001627400800036
表示
Figure BDA00001627400800037
中所有像素点的第1个分量的平均值，
Figure BDA00001627400800038
表示
Figure BDA00001627400800039
中所有像素点的第1个分量的平均值；
⑤根据深度感知特性，分别提取出右视点原始视频中每一时刻的右视点图像的深度加权因子集合，对于
Figure BDA000016274008000310
的深度加权因子集合，将其记为
Figure BDA000016274008000311
η t R ( x , y ) = ζ γ × ( 1 - exp ( - | ( β max + δ ) d t R ( x , y ) | ) ) , 其中，
Figure BDA000016274008000313
表示
Figure BDA000016274008000314
中坐标位置为(x,y)的像素点的深度加权因子， ζ = 4 3 × β center + β min , γ = 3 2 × β center + β min , δ = 1 2 × β center + β min ,
Figure BDA000016274008000318
表示
Figure BDA000016274008000319
和
Figure BDA000016274008000320
之间的视差图像
Figure BDA000016274008000321
中坐标位置为(x,y)的像素点的像素值，βmax表示
Figure BDA000016274008000322
中的最大视差值，βmin表示
Figure BDA000016274008000323
中的最小视差值，βcenter表示中的所有像素点的平均视差值，符号“||”为取绝对值符号；
⑥对右视点原始视频中每一时刻的右视点图像的双目最小可察觉变化图像、时域掩蔽因子及深度加权因子进行结合，对应获得右视点原始视频中每一时刻的右视点图像的立体最小可察觉变化图像，对于
Figure BDA000016274008000325
的双目最小可察觉变化图像
Figure BDA000016274008000327
的时域掩蔽因子
Figure BDA000016274008000328
及
Figure BDA000016274008000329
的深度加权因子
Figure BDA000016274008000330
进行结合后获得的的立体最小可察觉变化图像，将其记为 S t R ( x , y ) = ρ t R ( x , y ) × η t R ( x , y ) × J t R ( x , y ) , 其中，
Figure BDA000016274008000334
表示
Figure BDA000016274008000335
中坐标位置为(x,y)的像素点的像素值；
⑦采用设定的编码预测结构对左视点原始视频中每一时刻的左视点图像进行编码，采用设定的编码预测结构并根据右视点原始视频中每一时刻的右视点图像的立体最小可察觉变化图像对右视点原始视频中对应时刻的右视点图像进行编码，然后将编码得到的左视点码流和右视点码流经网络传输给解码端。
所述的步骤③中
Figure BDA000016274008000336
的双目最小可察觉变化图像
Figure BDA000016274008000337
的获取过程为：
③-1、计算
Figure BDA00001627400800041
的亮度掩蔽效应的可视化阈值集合，记为{Tl(x,y)}，其中，Tl(x,y)表示
Figure BDA00001627400800043
中坐标位置为(x,y)的像素点的亮度掩蔽效应的可视化阈值，bgl(x,y)表示中以坐标位置为(x,y)的像素点为中心的5×5窗口内的所有像素点的亮度平均值；
③-2、计算
Figure BDA00001627400800045
的对比度掩蔽效应的可视化阈值集合，记为{Tc(x,y)}，Tc(x,y)=K(bgl(x,y))+ehl(x,y)，其中，Tc(x,y)表示
Figure BDA00001627400800046
中坐标位置为(x,y)的像素点的对比度掩蔽效应的可视化阈值，eh1(x,y)表示对中坐标位置为(x,y)的像素点分别进行水平方向和垂直方向边缘滤波后得到的平均梯度值，K(bgl(x,y))=-10-6×(0.7×bgl(x,y)2+32×bgl(x,y))+0.07；
③-3、对
Figure BDA00001627400800048
的亮度掩蔽效应的可视化阈值集合{Tl(x,y)}和的对比度掩蔽效应的可视化阈值集合{Tc(x,y)}进行融合，得到
Figure BDA000016274008000410
的双目最小可察觉变化图像，记为
Figure BDA000016274008000411
Figure BDA000016274008000412
其中，
Figure BDA000016274008000413
表示
Figure BDA000016274008000414
中坐标位置为(x,y)的像素点的像素值；
③-4、根据
Figure BDA000016274008000415
和
Figure BDA000016274008000416
之间的视差图像
Figure BDA000016274008000417
得到
Figure BDA000016274008000418
的双目最小可察觉变化图像，记为
Figure BDA000016274008000419
Figure BDA000016274008000420
其中，
Figure BDA000016274008000421
表示
Figure BDA000016274008000422
中坐标位置为的像素点的像素值。
所述的步骤⑦的具体过程为：
⑦-1、任取一个编码量化参数作为左视点原始视频中所有时刻的左视点图像的基本编码量化参数，并记为QP1；
⑦-2、采用设定的编码预测结构，利用QP1对左视点原始视频中所有时刻的左视点图像的亮度分量Y、第一色度分量U和第二色度分量V分别进行编码，得到左视点码流；
⑦-3、将右视点原始视频中当前正在处理的t时刻的右视点图像
Figure BDA000016274008000424
定义为当前右视点图像；
⑦-4、计算当前右视点图像
Figure BDA00001627400800051
的立体最小可察觉变化图像的均值和标准差，分别记为μ1和σ1；
⑦-5、将当前右视点图像
Figure BDA00001627400800053
及当前右视点图像
Figure BDA00001627400800054
的立体最小可察觉变化图像分别分成个互不重叠的尺寸大小为16×16的子块，将
Figure BDA00001627400800057
中当前正在处理的第k个子块定义为当前第一子块，记为
Figure BDA00001627400800058
将的立体最小可察觉变化图像中当前正在处理的第k个子块定义为当前第二子块，记为
Figure BDA000016274008000511
其中，(x1,y1)表示当前第一子块
Figure BDA000016274008000513
与当前第二子块
Figure BDA000016274008000514
中的像素点的坐标位置，1≤x1≤16,1≤y1≤16，
Figure BDA000016274008000515
表示当前第一子块
Figure BDA000016274008000516
中坐标位置为(x1,y1)的像素点的第i个分量的值，
Figure BDA000016274008000517
表示当前第二子块
Figure BDA000016274008000518
中坐标位置为(x1,y1)的像素点的像素值；
⑦-6、计算当前第二子块
Figure BDA000016274008000519
的均值，记为μ，然后判断μ≥μ1+σ1是否成立，如果成立，则根据QP1并采用设定的编码预测结构，利用编码量化参数QP1+ΔQP1对当前第一子块
Figure BDA000016274008000520
进行编码，ΔQP1∈[0,10]，再执行步骤⑦-9，否则，执行步骤⑦-7；
⑦-7、判断μ1-σ1≤μ<μ1+σ1是否成立，如果成立，则根据QP1并采用设定的编码预测结构，利用编码量化参数QP1+ΔQP2对当前第一子块
Figure BDA000016274008000521
进行编码，ΔQP2∈[0,10]，然后执行步骤⑦-9，否则，执行步骤⑦-8；
⑦-8、判断μ<μ1-σ1是否成立，如果成立，则根据QP1并采用设定的编码预测结构，利用编码量化参数QP1+ΔQP3对当前第一子块
Figure BDA000016274008000522
进行编码，ΔQP3∈[0,10]；
⑦-9、令k″=k+1，k=k″，将当前右视点图像
Figure BDA000016274008000523
中的下一个待处理的子块作为当前第一子块，将当前右视点图像
Figure BDA00001627400800061
的立体最小可察觉变化图像
Figure BDA00001627400800062
中的下一个待处理的子块作为当前第二子块，然后返回步骤⑦-6继续执行，直至当前右视点图像
Figure BDA00001627400800063
及当前右视点图像
Figure BDA00001627400800064
的立体最小可察觉变化图像
Figure BDA00001627400800065
中的所有子块均处理完毕，其中，k″的初始值为0，k″=k+1和k=k″中的“=”为赋值符号；
⑦-10、令t″=t+1，t=t″，将右视点原始视频中下一个待处理的右视点图像作为当前右视点图像，然后返回步骤⑦-4继续执行，直至右视点原始视频中的所有右视点图像处理完毕，得到右视点码流，其中，t″的初始值为0，t″=t+1和t=t″中的“=”为赋值符号；
⑦-11、将编码得到的左视点码流和右视点码流经网络传输给解码端。
与现有技术相比，本发明的优点在于：
1）本发明方法通过利用人类立体视觉感知对背景光照和对比度的视觉掩蔽效应、时域掩蔽效应和深度感知特性，在左视点图像质量固定不变的情况下，得到人眼可感知立体图像质量变化时右视点图像的立体最小可察觉变化图像，能充分消除立体视频的视觉冗余信息。
2）本发明方法通过利用计算得到的右视点图像的立体最小可察觉变化图像对立体视频图像进行编码，根据左视点图像的基本编码量化参数和右视点图像的立体最小可察觉变化值，对右视点图像的不同区域采用不同的编码量化参数进行编码，在保证立体图像质量的同时大大提高立体视频的编码效率。
附图说明
图1为本发明方法的流程框图；
图2a为“Door Flowers  体视频测试序列的左视点原始视频中的一帧图像；
图2b为“Door Flowers  体视频测试序列的右视点原始视频中的一帧图像；
图3a为“Alt Moabit”立体视频测试序列的左视点原始视频中的一帧图像；
图3b为“Alt Moabit”立体视频测试序列的右视点原始视频中的一帧图像；
图4a为“Champagne”体视频测试序列的左视点原始视频中的一帧图像；
图4b为“Champagne”立体视频测试序列的右视点原始视频中的一帧图像；
图5a为“Dog”立体视频测试序列的左视点原始视频中的一帧图像；
图5b为“Dog”立体视频测试序列的右视点原始视频中的一帧图像；
图6a为“Lovebird1”立体视频测试序列的左视点原始视频中的一帧图像；
图6b为“Lovebird1”立体视频测试序列的右视点原始视频中的一帧图像；
图7a为“Newspaper  体视频测试序列的左视点原始视频中的一帧图像；
图7b为“Newspaper”立体视频测试序列的右视点原始视频中的一帧图像；
图8为“DoorFlowers  体视频测试序列的右视点图像的立体最小可察觉变化图像；
图9为“Alt Moabit”立体视频测试序列的右视点图像的立体最小可察觉变化图像；
图10为“Champagne”立体视频测试序列的右视点图像的立体最小可察觉变化图像；
图11为“Dog”立体视频测试序列的右视点图像的立体最小可察觉变化图像；
图12为“Lovebird1”立体视频测试序列的右视点图像的立体最小可察觉变化图像；
图13为“Newspaper  体视频测试序列的右视点图像的立体最小可察觉变化图像。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种基于视觉感知的立体视频编码方法，其流程框图如图1所示，其包括以下步骤：
①将外部立体视频捕获工具捕获得到的未经处理的且颜色空间为YUV的立体视频定义为原始立体视频，在空域上该原始立体视频包括左视点原始视频和右视点原始视频，左视点原始视频主要由若干个帧组的左视点图像组成，右视点原始视频主要由若干个帧组的右视点图像组成，对于左视点原始视频中t时刻的左视点图像，将其记为
Figure BDA00001627400800071
对于右视点原始视频中t时刻的右视点图像，将其记为
Figure BDA00001627400800072
其中，i＝1,2,3分别表示YUV颜色空间的三个分量，YUV颜色空间的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V，(x,y)表示图像中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示图像的宽度，H表示图像的高度，
Figure BDA00001627400800073
表示
Figure BDA00001627400800074
中坐标位置为(x,y)的像素点的第i个分量的值，表示
Figure BDA00001627400800076
中坐标位置为(x,y)的像素点的第i个分量的值。
在此，截取德国HHI研究所提供的多视点视频序列“Door Flowers”和“Alt Moabit”，日本Nagoya大学提供的多视点视频序列“Champagne”和“Dog”及韩国光州科学技术学院（GIST）提供的多视点视频序列“Lovebird1”和“Newspaper”的两个视点视频作为原始立体视频，原始立体视频中各幅立体图像的分辨率都为1024×768，是ISO/MPEG所推荐的标准测试序列，是在立体视频研究领域广泛采用的实验测试序列，图2a和图2b分别给出了多视点视频序列“Door Flowers”的左视点原始视频中的一帧左视点图像和右视点原始视频中对应的一帧右视点图像；图3a和图3b分别给出了多视点视频序列“AltMoabit”的左视点原始视频中的一帧左视点图像和右视点原始视频中对应的一帧右视点图像；图4a和图4b分别给出了多视点视频序列“Champagne”的左视点原始视频中的一帧左视点图像和右视点原始视频中对应的一帧右视点图像；图5a和图5b给出了多视点视频序列“Dog”的左视点原始视频中的一帧左视点图像和右视点原始视频中对应的一帧右视点图像；图6a和图6b给出了多视点视频序列“Lovebird1”的左视点原始视频中的一帧左视点图像和右视点原始视频中对应的一帧右视点图像；图7a和图7b给出了多视点视频序列“Newspaper”的左视点原始视频中的一帧左视点图像和右视点原始视频中对应的一帧右视点图像。
②采用现有的经典的块匹配法分别计算左视点原始视频中每一时刻的左视点图像和右视点原始视频中对应时刻的右视点图像之间的视差图像，对于
Figure BDA00001627400800081
和之间的视差图像，将其记为
Figure BDA00001627400800083
其中，
Figure BDA00001627400800084
表示
Figure BDA00001627400800085
中坐标位置为(x,y)的像素点的像素值。经典的块匹配法的基本思想是将图像分成小块，对左视点原始视频中的左视点图像的每一小块，在右视点原始视频图像中寻找相关性最大的小块，两个小块之间的空间位移量就是视差。
③人类视觉特性表明，人眼对图像中变化较小的属性或噪声是不可感知的，除非该属性或噪声的变化强度超过某一阈值，该阈值就是最小可察觉失真（Just noticeabledifference，JND）。而人眼的视觉掩蔽效应是一种局部效应，受背景照度、纹理复杂度等因素的影响，背景越亮，纹理越复杂，界限值就越高。因此本发明利用人类立体视觉感知对背景光照和对比度的视觉掩蔽效应，分别提取出右视点原始视频中每一时刻的右视点图像的双目最小可察觉变化图像，对于
Figure BDA00001627400800086
的双目最小可察觉变化图像，将其记为
Figure BDA00001627400800087
其中，
Figure BDA00001627400800088
表示
Figure BDA00001627400800089
中坐标位置为(x,y)的像素点的像素值。
在此具体实施例中，步骤③中
Figure BDA000016274008000810
的双目最小可察觉变化图像
Figure BDA000016274008000811
的获取过程为：
③-1、计算
Figure BDA000016274008000812
的亮度掩蔽效应的可视化阈值集合，记为{Tl(x,y)}，
Figure BDA00001627400800091
其中，Tl(x,y)表示中坐标位置为(x,y)的像素点的亮度掩蔽效应的可视化阈值，bgl(x,y)表示
Figure BDA00001627400800093
中以坐标位置为(x,y)的像素点为中心的5×5窗口内的所有像素点的亮度平均值。
③-2、计算
Figure BDA00001627400800094
的对比度掩蔽效应的可视化阈值集合，记为{Tc(x,y)}，Tc(x,y)=K(bgl(x,y))+ehl(x,y)，其中，Tc(x,y)表示
Figure BDA00001627400800095
中坐标位置为(x,y)的像素点的对比度掩蔽效应的可视化阈值，ehl(x,y)表示对
Figure BDA00001627400800096
中坐标位置为(x,y)的像素点分别进行水平方向和垂直方向边缘滤波后得到的平均梯度值，K(bgl(x,y))=-10-6×(0.7×bgl(x,y)2+32×bgl(x,y))+0.07。
③-3、对
Figure BDA00001627400800097
的亮度掩蔽效应的可视化阈值集合{Tl(x,y)}和
Figure BDA00001627400800098
的对比度掩蔽效应的可视化阈值集合{Tc(x,y)}进行融合，得到
Figure BDA00001627400800099
的双目最小可察觉变化图像，记为
Figure BDA000016274008000910
Figure BDA000016274008000911
其中，
Figure BDA000016274008000912
表示
Figure BDA000016274008000913
中坐标位置为(x,y)的像素点的像素值。
③-4、根据
Figure BDA000016274008000914
和
Figure BDA000016274008000915
之间的视差图像
Figure BDA000016274008000916
得到
Figure BDA000016274008000917
的双目最小可察觉变化图像，记为
Figure BDA000016274008000919
其中，表示
Figure BDA000016274008000921
中坐标位置为
Figure BDA000016274008000922
的像素点的像素值。
④人类视觉特性表明，如果视频中帧间变化越明显（剧烈），其时域掩蔽效应也会越大，而时域掩蔽效应能够反映人眼对运动区域的敏感程度。因此本发明根据时域掩蔽效应，分别提取出右视点原始视频中每一时刻的右视点图像的时域掩蔽因子集合，对于
Figure BDA000016274008000923
的时域掩蔽因子集合，将其记为
Figure BDA000016274008000924
Figure BDA000016274008000925
其中，
Figure BDA00001627400800101
表示
Figure BDA00001627400800102
中坐标位置为(x,y)的像素点的时域掩蔽因子，max()为取最大值函数，τ表示尺度因子，在此，取τ=0.8，exp()为底数e=2.71828的指数运算操作， &Delta; ( x , y , t ) = 0.5 &times; ( I t , 1 R ( x , y ) - I t - 1,1 R ( x , y ) - I t , 1 R ( x , y ) &OverBar; + I t - 1,1 R ( x , y ) &OverBar; ) ,
Figure BDA00001627400800104
表示
Figure BDA00001627400800105
中坐标位置为(x,y)的像素点的第1个分量的值即亮度值，表示右视点原始视频中t-1时刻的右视点图像
Figure BDA00001627400800107
中坐标位置为(x,y)的像素点的第1个分量的值即亮度值，
Figure BDA00001627400800108
表示
Figure BDA00001627400800109
中所有像素点的第1个分量的平均值即平均亮度值，
Figure BDA000016274008001010
表示
Figure BDA000016274008001011
中所有像素点的第1个分量的平均值即平均亮度值。
⑤人类的双目视觉特性表明，人眼会对离自己越近（深度越小）的物体更加感兴趣。因此本发明根据深度感知特性，分别提取出右视点原始视频中每一时刻的右视点图像的深度加权因子集合，对于
Figure BDA000016274008001012
的深度加权因子集合，将其记为
Figure BDA000016274008001013
&eta; t R ( x , y ) = &zeta; &gamma; &times; ( 1 - exp ( - | ( &beta; max + &delta; ) d t R ( x , y ) | ) ) , 其中，
Figure BDA000016274008001015
表示中坐标位置为(x,y)的像素点的深度加权因子， &zeta; = 4 3 &times; &beta; center + &beta; min , &gamma; = 3 2 &times; &beta; center + &beta; min , &delta; = 1 2 &times; &beta; center + &beta; min ,
Figure BDA000016274008001020
表示
Figure BDA000016274008001021
和
Figure BDA000016274008001022
之间的视差图像
Figure BDA000016274008001023
中坐标位置为(x,y)的像素点的像素值，βmax表示中的最大视差值，βmin表示中的最小视差值，βcenter表示
Figure BDA000016274008001026
中的所有像素点的平均视差值，符号“||”为取绝对值符号。
⑥对右视点原始视频中每一时刻的右视点图像的双目最小可察觉变化图像、时域掩蔽因子及深度加权因子进行结合，对应获得右视点原始视频中每一时刻的右视点图像的立体最小可察觉变化图像，对于
Figure BDA000016274008001027
的双目最小可察觉变化图像 的时域掩蔽因子
Figure BDA000016274008001030
及的深度加权因子
Figure BDA000016274008001032
进行结合后获得的
Figure BDA000016274008001033
的立体最小可察觉变化图像，将其记为 S t R ( x , y ) = &rho; t R ( x , y ) &times; &eta; t R ( x , y ) &times; J t R ( x , y ) , 其中，
Figure BDA000016274008001036
表示
Figure BDA000016274008001037
中坐标位置为(x,y)的像素点的像素值。
图8给出了多视点视频序列“Door Flowers”的右视点图像的立体最小可察觉变化图像，图9给出了多视点视频序列“Alt Moabit”的右视点图像的立体最小可察觉变化图像，图10给出了多视点视频序列“Champagne”的右视点图像的立体最小可察觉变化图像，图11给出了多视点视频序列“Dog”的右视点图像的立体最小可察觉变化图像，图12给出了多视点视频序列“Lovebird1”的右视点图像的立体最小可察觉变化图像，图13给出了多视点视频序列“Newspaper”的右视点图像的立体最小可察觉变化图像，从图8至图13中可以看出，由于右视点图像的右边区域部分在左视点图像中没有匹配，在右视点的立体最小可察觉变化图像中会出现遮挡（标记为白色区域），除此之外，所获得的立体最小可察觉变化图像能够很好地反映人眼的视觉敏感度特性。
⑦采用设定的编码预测结构对左视点原始视频中每一时刻的左视点图像进行编码，采用设定的编码预测结构并根据右视点原始视频中每一时刻的右视点图像的立体最小可察觉变化图像对右视点原始视频中对应时刻的右视点图像进行编码，然后将编码得到的左视点码流和右视点码流经网络传输给解码端。
在此具体实施例中，步骤⑦的具体过程为：
⑦-1、任取一个编码量化参数作为左视点原始视频中所有时刻的左视点图像的基本编码量化参数，并记为QP1。
⑦-2、采用设定的编码预测结构，利用QP1对左视点原始视频中所有时刻的左视点图像的亮度分量Y、第一色度分量U和第二色度分量V分别进行编码，得到左视点码流。
⑦-3、将右视点原始视频中当前正在处理的t时刻的右视点图像
Figure BDA00001627400800111
定义为当前右视点图像。
⑦-4、计算当前右视点图像
Figure BDA00001627400800112
的立体最小可察觉变化图像
Figure BDA00001627400800113
的均值和标准差，分别记为μ1和σ1。
⑦-5、将当前右视点图像
Figure BDA00001627400800114
及当前右视点图像
Figure BDA00001627400800115
的立体最小可察觉变化图像
Figure BDA00001627400800116
分别分成个互不重叠的尺寸大小为16×16的子块，将
Figure BDA00001627400800118
中当前正在处理的第k个子块定义为当前第一子块，记为
Figure BDA00001627400800119
将
Figure BDA000016274008001110
的立体最小可察觉变化图像
Figure BDA000016274008001111
中当前正在处理的第k个子块定义为当前第二子块，记为
Figure BDA000016274008001112
其中，
Figure BDA000016274008001113
(x1,y1)表示当前第一子块
Figure BDA000016274008001114
与当前第二子块
Figure BDA000016274008001115
中的像素点的坐标位置，1≤x1≤16,1≤y1≤16，表示当前第一子块
Figure BDA00001627400800121
中坐标位置为(x1,y1)的像素点的第i个分量的值，表示当前第二子块
Figure BDA00001627400800123
中坐标位置为(x1,y1)的像素点的像素值。
⑦-6、计算当前第二子块
Figure BDA00001627400800124
的均值，记为μ，然后判断μ≥μ1+σ1是否成立，如果成立，则根据QP1并采用设定的编码预测结构，利用编码量化参数QP1+ΔQP1对当前第一子块
Figure BDA00001627400800125
进行编码，ΔQP1∈[0,10]，再执行步骤⑦-9，否则，执行步骤⑦-7。
⑦-7、判断μ1-σ1≤μ<μ1+σ1是否成立，如果成立，则根据QP1并采用设定的编码预测结构，利用编码量化参数QP1+ΔQP2对当前第一子块
Figure BDA00001627400800126
进行编码，ΔQP2∈[0,10]，然后执行步骤⑦-9，否则，执行步骤⑦-8。
⑦-8、判断μ<μ1-σ1是否成立，如果成立，则根据QP1并采用设定的编码预测结构，利用编码量化参数QP1+ΔQP3对当前第一子块进行编码，ΔQP3∈[0,10]。
⑦-9、令k″=k+1，k=k″，将当前右视点图像
Figure BDA00001627400800128
中的下一个待处理的子块作为当前第一子块，将当前右视点图像
Figure BDA00001627400800129
的立体最小可察觉变化图像
Figure BDA000016274008001210
中的下一个待处理的子块作为当前第二子块，然后返回步骤⑦-6继续执行，直至当前右视点图像
Figure BDA000016274008001211
及当前右视点图像
Figure BDA000016274008001212
的立体最小可察觉变化图像
Figure BDA000016274008001213
中的所有子块均处理完毕，其中，k″的初始值为0，k″=k+1和k=k″中的“=”为赋值符号。
⑦-10、令t″=t+1，t=t″，将右视点原始视频中下一个待处理的右视点图像作为当前右视点图像，然后返回步骤⑦-4继续执行，直至右视点原始视频中的所有右视点图像处理完毕，得到右视点码流，其中，t″的初始值为0，t″=t+1和t=t″中的“=”为赋值符号。
⑦-11、将编码得到的左视点码流和右视点码流经网络传输给解码端。
在本实施例中，通过统计实验对不同的多视点视频序列采用不同的ΔQP1、ΔQP2和ΔQP3进行编码，多视点视频序列“Door Flowers”的ΔQP1、ΔQP2和ΔQP3分别为8、9和10，多视点视频序列“Alt Moabit”的ΔQP1、ΔQP2和ΔQP3分别为6、7和8，多视点视频序列“Champagne”的ΔQP1、ΔQP2和ΔQP3分别为1、2和3，多视点视频序列“Dog”的ΔQP1、ΔQP2和ΔQP3分别为3、4和5，多视点视频序列“Lovebird1”的ΔQP1、ΔQP2和ΔQP3分别为2、3和4，多视点视频序列“Newspaper”的ΔQP1、ΔQP2和ΔQP3分别为3、4和5。
在此具体实施例中，设定的编码预测结构采用公知的HBP编码预测结构。
以下就利用本发明方法对“Door Flowers”、“Alt Moabit”、“Champagne”、“Dog”、“Lovebird1”和Newspaper  体测试集进行立体视频编码的编码性能进行比较。
由于本发明方法只对右视点视频根据其立体最小可察觉变化图像，对不同区域进行不同程度的编码，因此此处只对右视点视频的编码性能进行比较。表1给出了利用本发明方法与传统编码方法的右视点视频编码性能比较，从表1中所列的数据可以看出，对于“Door Flowers”、“Alt Moabit”、“Champagne”、“Dog”、“Lovebird1”和“Newspaper”采用本发明方法处理后，右视点视频的最低的码率节省也能达到17.89%左右，最高的码率节省能达到83.60%左右，足以说明本发明方法是有效可行的。
表1  利用本发明方法与传统编码方法的右视点视频编码性能比较
Figure BDA00001627400800131
Figure BDA00001627400800141

Claims (3)

1.一种基于视觉感知的立体视频编码方法，其特征在于包括以下步骤：
①将外部立体视频捕获工具捕获得到的未经处理的且颜色空间为YUV的立体视频定义为原始立体视频，在空域上该原始立体视频包括左视点原始视频和右视点原始视频，左视点原始视频主要由若干个帧组的左视点图像组成，右视点原始视频主要由若干个帧组的右视点图像组成，对于左视点原始视频中t时刻的左视点图像，将其记为对于右视点原始视频中t时刻的右视点图像，将其记为
Figure FDA00001627400700012
其中，i＝1,2,3分别表示YUV颜色空间的三个分量，YUV颜色空间的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V，(x,y)表示图像中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示图像的宽度，H表示图像的高度，表示中坐标位置为(x,y)的像素点的第i个分量的值，
Figure FDA00001627400700015
表示
Figure FDA00001627400700016
中坐标位置为(x,y)的像素点的第i个分量的值；
②采用块匹配法分别计算左视点原始视频中每一时刻的左视点图像和右视点原始视频中对应时刻的右视点图像之间的视差图像，对于
Figure FDA00001627400700017
和
Figure FDA00001627400700018
之间的视差图像，将其记为
Figure FDA00001627400700019
其中，
Figure FDA000016274007000110
表示
Figure FDA000016274007000111
中坐标位置为(x,y)的像素点的像素值；
③利用人类立体视觉感知对背景光照和对比度的视觉掩蔽效应，分别提取出右视点原始视频中每一时刻的右视点图像的双目最小可察觉变化图像，对于
Figure FDA000016274007000112
的双目最小可察觉变化图像，将其记为
Figure FDA000016274007000113
其中，表示
Figure FDA000016274007000115
中坐标位置为(x,y)的像素点的像素值；
④根据时域掩蔽效应，分别提取出右视点原始视频中每一时刻的右视点图像的时域掩蔽因子，对于
Figure FDA000016274007000116
的时域掩蔽因子，将其记为
Figure FDA000016274007000117
Figure FDA000016274007000118
其中，
Figure FDA00001627400700021
表示
Figure FDA00001627400700022
中坐标位置为(x,y)的像素点的时域掩蔽因子，max()为取最大值函数，τ表示尺度因子，exp()为底数e=2.71828的指数运算操作， &Delta; ( x , y , t ) = 0.5 &times; ( I t , 1 R ( x , y ) - I t - 1,1 R ( x , y ) - I t , 1 R ( x , y ) &OverBar; + I t - 1,1 R ( x , y ) &OverBar; ) ,
Figure FDA00001627400700024
表示
Figure FDA00001627400700025
中坐标位置为(x,y)的像素点的第1个分量的值，
Figure FDA00001627400700026
表示右视点原始视频中t-1时刻的右视点图像
Figure FDA00001627400700027
中坐标位置为(x,y)的像素点的第1个分量的值，
Figure FDA00001627400700028
表示中所有像素点的第1个分量的平均值，
Figure FDA000016274007000210
表示中所有像素点的第1个分量的平均值；
⑤根据深度感知特性，分别提取出右视点原始视频中每一时刻的右视点图像的深度加权因子集合，对于
Figure FDA000016274007000212
的深度加权因子集合，将其记为
Figure FDA000016274007000213
&eta; t R ( x , y ) = &zeta; &gamma; &times; ( 1 - exp ( - | ( &beta; max + &delta; ) d t R ( x , y ) | ) ) , 其中，
Figure FDA000016274007000215
表示
Figure FDA000016274007000216
中坐标位置为(x,y)的像素点的深度加权因子， &zeta; = 4 3 &times; &beta; center + &beta; min , &gamma; = 3 2 &times; &beta; center + &beta; min , &delta; = 1 2 &times; &beta; center + &beta; min ,
Figure FDA000016274007000220
表示
Figure FDA000016274007000221
和
Figure FDA000016274007000222
之间的视差图像
Figure FDA000016274007000223
中坐标位置为(x,y)的像素点的像素值，βmax表示
Figure FDA000016274007000224
中的最大视差值，βmin表示中的最小视差值，βcenter表示
Figure FDA000016274007000226
中的所有像素点的平均视差值，符号“||”为取绝对值符号；
⑥对右视点原始视频中每一时刻的右视点图像的双目最小可察觉变化图像、时域掩蔽因子及深度加权因子进行结合，对应获得右视点原始视频中每一时刻的右视点图像的立体最小可察觉变化图像，对于
Figure FDA000016274007000227
的双目最小可察觉变化图像
Figure FDA000016274007000228
Figure FDA000016274007000229
的时域掩蔽因子及
Figure FDA000016274007000231
的深度加权因子
Figure FDA000016274007000232
进行结合后获得的
Figure FDA000016274007000233
的立体最小可察觉变化图像，将其记为 S t R ( x , y ) = &rho; t R ( x , y ) &times; &eta; t R ( x , y ) &times; J t R ( x , y ) , 其中，表示
Figure FDA000016274007000237
中坐标位置为(x,y)的像素点的像素值；
⑦采用设定的编码预测结构对左视点原始视频中每一时刻的左视点图像进行编码，采用设定的编码预测结构并根据右视点原始视频中每一时刻的右视点图像的立体最小可察觉变化图像对右视点原始视频中对应时刻的右视点图像进行编码，然后将编码得到的左视点码流和右视点码流经网络传输给解码端。
2.根据权利要求1所述的一种基于视觉感知的立体视频编码方法，其特征在于所述的步骤③中
Figure FDA00001627400700031
的双目最小可察觉变化图像
Figure FDA00001627400700032
的获取过程为：
③-1、计算的亮度掩蔽效应的可视化阈值集合，记为{Tl(x,y)}，
Figure FDA00001627400700034
其中，Tl(x,y)表示
Figure FDA00001627400700035
中坐标位置为(x,y)的像素点的亮度掩蔽效应的可视化阈值，bgl(x,y)表示中以坐标位置为(x,y)的像素点为中心的5×5窗口内的所有像素点的亮度平均值；
③-2、计算
Figure FDA00001627400700037
的对比度掩蔽效应的可视化阈值集合，记为{Tc(x,y)}，Tc(x,y)=K(bgl(x,y))+ehl(x,y)，其中，Tc(x,y)表示
Figure FDA00001627400700038
中坐标位置为(x,y)的像素点的对比度掩蔽效应的可视化阈值，ehl(x,y)表示对
Figure FDA00001627400700039
中坐标位置为(x,y)的像素点分别进行水平方向和垂直方向边缘滤波后得到的平均梯度值，K(bgl(x,y))=-10-6×(0.7×bgl(x,y)2+32×bgl(x,y))+0.07；
③-3、对
Figure FDA000016274007000310
的亮度掩蔽效应的可视化阈值集合{Tl(x,y)}和
Figure FDA000016274007000311
的对比度掩蔽效应的可视化阈值集合{Tc(x,y)}进行融合，得到
Figure FDA000016274007000312
的双目最小可察觉变化图像，记为
Figure FDA000016274007000313
其中，表示
Figure FDA000016274007000316
中坐标位置为(x,y)的像素点的像素值；
③-4、根据
Figure FDA000016274007000317
和
Figure FDA000016274007000318
之间的视差图像
Figure FDA000016274007000319
得到
Figure FDA000016274007000320
的双目最小可察觉变化图像，记为
Figure FDA000016274007000321
Figure FDA000016274007000322
其中，
Figure FDA000016274007000323
表示
Figure FDA000016274007000324
中坐标位置为
Figure FDA000016274007000325
的像素点的像素值。
3.根据权利要求1或2所述的一种基于视觉感知的立体视频编码方法，其特征在于所述的步骤⑦的具体过程为：
⑦-1、任取一个编码量化参数作为左视点原始视频中所有时刻的左视点图像的基本编码量化参数，并记为QP1；
⑦-2、采用设定的编码预测结构，利用QP1对左视点原始视频中所有时刻的左视点图像的亮度分量Y、第一色度分量U和第二色度分量V分别进行编码，得到左视点码流；
⑦-3、将右视点原始视频中当前正在处理的t时刻的右视点图像
Figure FDA00001627400700041
定义为当前右视点图像；
⑦-4、计算当前右视点图像
Figure FDA00001627400700042
的立体最小可察觉变化图像的均值和标准差，分别记为μ1和σ1；
⑦-5、将当前右视点图像及当前右视点图像
Figure FDA00001627400700045
的立体最小可察觉变化图像
Figure FDA00001627400700046
分别分成
Figure FDA00001627400700047
个互不重叠的尺寸大小为16×16的子块，将
Figure FDA00001627400700048
中当前正在处理的第k个子块定义为当前第一子块，记为
Figure FDA00001627400700049
将
Figure FDA000016274007000410
的立体最小可察觉变化图像
Figure FDA000016274007000411
中当前正在处理的第k个子块定义为当前第二子块，记为其中，
Figure FDA000016274007000413
(x1,y1)表示当前第一子块
Figure FDA000016274007000414
与当前第二子块中的像素点的坐标位置，1≤x1≤16,1≤y1≤16，表示当前第一子块
Figure FDA000016274007000417
中坐标位置为(x1,y1)的像素点的第i个分量的值，表示当前第二子块
Figure FDA000016274007000419
中坐标位置为(x1,y1)的像素点的像素值；
⑦-6、计算当前第二子块
Figure FDA000016274007000420
的均值，记为μ，然后判断μ≥μ1+σ1是否成立，如果成立，则根据QP1并采用设定的编码预测结构，利用编码量化参数QP1+ΔQP1对当前第一子块进行编码，ΔQP1∈[0,10]，再执行步骤⑦-9，否则，执行步骤⑦-7；
⑦-7、判断μ1-σ1≤μ<μ1+σ1是否成立，如果成立，则根据QP1并采用设定的编码预测结构，利用编码量化参数QP1+ΔQP2对当前第一子块
Figure FDA000016274007000422
进行编码，ΔQP2∈[0,10]，然后执行步骤⑦-9，否则，执行步骤⑦-8；
⑦-8、判断μ<μ1-σ1是否成立，如果成立，则根据QP1并采用设定的编码预测结构，利用编码量化参数QP1+ΔQP3对当前第一子块
Figure FDA00001627400700051
进行编码，ΔQP3∈[0,10]；
⑦-9、令k″=k+1，k=k″，将当前右视点图像
Figure FDA00001627400700052
中的下一个待处理的子块作为当前第一子块，将当前右视点图像
Figure FDA00001627400700053
的立体最小可察觉变化图像
Figure FDA00001627400700054
中的下一个待处理的子块作为当前第二子块，然后返回步骤⑦-6继续执行，直至当前右视点图像
Figure FDA00001627400700055
及当前右视点图像
Figure FDA00001627400700056
的立体最小可察觉变化图像
Figure FDA00001627400700057
中的所有子块均处理完毕，其中，k″的初始值为0，k″=k+1和k=k″中的“=”为赋值符号；
⑦-10、令t″=t+1，t=t″，将右视点原始视频中下一个待处理的右视点图像作为当前右视点图像，然后返回步骤⑦-4继续执行，直至右视点原始视频中的所有右视点图像处理完毕，得到右视点码流，其中，t″的初始值为0，t″=t+1和t=t″中的“=”为赋值符号；
⑦-11、将编码得到的左视点码流和右视点码流经网络传输给解码端。
CN201210146117.1A 2012-05-11 2012-05-11 一种基于视觉感知的立体视频编码方法 Expired - Fee Related CN102710949B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210146117.1A CN102710949B (zh) 2012-05-11 2012-05-11 一种基于视觉感知的立体视频编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210146117.1A CN102710949B (zh) 2012-05-11 2012-05-11 一种基于视觉感知的立体视频编码方法

Publications (2)

Publication Number Publication Date
CN102710949A true CN102710949A (zh) 2012-10-03
CN102710949B CN102710949B (zh) 2014-06-04

Family

ID=46903482

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210146117.1A Expired - Fee Related CN102710949B (zh) 2012-05-11 2012-05-11 一种基于视觉感知的立体视频编码方法

Country Status (1)

Country Link
CN (1) CN102710949B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103702120A (zh) * 2013-12-11 2014-04-02 四川九洲电器集团有限责任公司 一种合成视点主观失真估计方法
CN104969556A (zh) * 2013-01-08 2015-10-07 Lg电子株式会社 处理视频信号的方法和设备
CN105306954A (zh) * 2014-05-30 2016-02-03 西安电子科技大学 一种基于视差最小可察觉误差模型的感知立体视频编码
CN109068143A (zh) * 2012-10-09 2018-12-21 韩国电子通信研究院 视频数据解码方法和视频数据解码设备
WO2021047177A1 (zh) * 2019-09-09 2021-03-18 西安万像电子科技有限公司 数据编码方法及装置
CN115604477A (zh) * 2022-12-14 2023-01-13 广州波视信息科技股份有限公司（Cn） 一种超高清视频失真优化编码方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101466038A (zh) * 2008-12-17 2009-06-24 宁波大学 一种立体视频编码方法
WO2010021666A1 (en) * 2008-08-20 2010-02-25 Thomson Licensing Refined depth map
EP2207352A1 (en) * 2007-10-24 2010-07-14 Huawei Device Co., Ltd. A video encoding/decoding method and a video encoder/decoder
CN101841726A (zh) * 2010-05-24 2010-09-22 宁波大学 一种立体视频非对称编码方法
CN101867816A (zh) * 2010-05-10 2010-10-20 南京邮电大学 一种基于人眼视觉特性的立体视频非对称压缩编码方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2207352A1 (en) * 2007-10-24 2010-07-14 Huawei Device Co., Ltd. A video encoding/decoding method and a video encoder/decoder
WO2010021666A1 (en) * 2008-08-20 2010-02-25 Thomson Licensing Refined depth map
CN101466038A (zh) * 2008-12-17 2009-06-24 宁波大学 一种立体视频编码方法
CN101867816A (zh) * 2010-05-10 2010-10-20 南京邮电大学 一种基于人眼视觉特性的立体视频非对称压缩编码方法
CN101841726A (zh) * 2010-05-24 2010-09-22 宁波大学 一种立体视频非对称编码方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109068143A (zh) * 2012-10-09 2018-12-21 韩国电子通信研究院 视频数据解码方法和视频数据解码设备
CN109068143B (zh) * 2012-10-09 2022-09-09 韩国电子通信研究院 视频数据解码方法和视频数据解码设备
CN104969556A (zh) * 2013-01-08 2015-10-07 Lg电子株式会社 处理视频信号的方法和设备
US10123007B2 (en) 2013-01-08 2018-11-06 Lg Electronics Inc. Method and apparatus for processing video signal
CN103702120A (zh) * 2013-12-11 2014-04-02 四川九洲电器集团有限责任公司 一种合成视点主观失真估计方法
CN105306954A (zh) * 2014-05-30 2016-02-03 西安电子科技大学 一种基于视差最小可察觉误差模型的感知立体视频编码
CN105306954B (zh) * 2014-05-30 2018-05-22 西安电子科技大学 一种基于视差最小可察觉误差模型的感知立体视频编码
WO2021047177A1 (zh) * 2019-09-09 2021-03-18 西安万像电子科技有限公司 数据编码方法及装置
CN115604477A (zh) * 2022-12-14 2023-01-13 广州波视信息科技股份有限公司（Cn） 一种超高清视频失真优化编码方法

Also Published As

Publication number Publication date
CN102710949B (zh) 2014-06-04

Similar Documents

Publication Publication Date Title
US8488870B2 (en) Multi-resolution, multi-window disparity estimation in 3D video processing
CN103179405B (zh) 一种基于多级感兴趣区域的多视点视频编码方法
CN101937578B (zh) 一种虚拟视点彩色图像绘制方法
CN102685532B (zh) 自由视点四维空间视频编码系统的编码方法
CN102710949B (zh) 一种基于视觉感知的立体视频编码方法
CN101888566B (zh) 立体视频编码率失真性能估计方法
CN102724525B (zh) 一种基于中心凹恰可觉察失真模型的深度视频编码方法
US20140146139A1 (en) Depth or disparity map upscaling
CN103002306B (zh) 一种深度图像编码方法
CN102065296B (zh) 一种三维立体视频编码方法
CN103152600A (zh) 一种立体视频质量评价方法
CN102801996B (zh) 基于jndd模型的快速深度图编码模式选择方法
CN105306954B (zh) 一种基于视差最小可察觉误差模型的感知立体视频编码
CN103780895B (zh) 一种立体视频质量评价方法
CN100581265C (zh) 一种多视点视频的处理方法
CN102271270A (zh) 一种双目立体视频拼接方法及拼接装置
CN103024402A (zh) 一种自由视点视频整帧丢失错误隐藏方法
CN101841726B (zh) 一种立体视频非对称编码方法
CN103561255B (zh) 一种裸眼立体显示方法
CN100596210C (zh) 一种基于亚像素的立体图像的视差提取方法
Jin et al. Validation of a new full reference metric for quality assessment of mobile 3DTV content
CN102790895A (zh) 一种基于最小二乘的多视点视频编码视点合成预测方法
CN101662695A (zh) 一种获取虚拟视图的方法和装置
CN104243974B (zh) 一种基于三维离散余弦变换的立体视频质量客观评价方法
CN102196291A (zh) 一种双目立体视频编码方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140604

Termination date: 20170511

CF01 Termination of patent right due to non-payment of annual fee