CN106331707B - 基于恰可觉察失真模型的非对称感知视频编码系统及方法 - Google Patents

基于恰可觉察失真模型的非对称感知视频编码系统及方法 Download PDF

Info

Publication number
CN106331707B
CN106331707B CN201610766137.7A CN201610766137A CN106331707B CN 106331707 B CN106331707 B CN 106331707B CN 201610766137 A CN201610766137 A CN 201610766137A CN 106331707 B CN106331707 B CN 106331707B
Authority
CN
China
Prior art keywords
jnd
distortion
model
threshold
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610766137.7A
Other languages
English (en)
Other versions
CN106331707A (zh
Inventor
王永芳
朱康华
吴健
朱芸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Transpacific Technology Development Ltd
Original Assignee
Beijing Transpacific Technology Development Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Transpacific Technology Development Ltd filed Critical Beijing Transpacific Technology Development Ltd
Priority to CN201610766137.7A priority Critical patent/CN106331707B/zh
Publication of CN106331707A publication Critical patent/CN106331707A/zh
Application granted granted Critical
Publication of CN106331707B publication Critical patent/CN106331707B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明涉及3D多视点视频编解码技术领域，尤其涉及一种利用视觉特性的多视点视频编码系统。结合DCT域经典JND模型与双目抑制理论，提出了一种基于恰可觉察失真模型的非对称感知视频编码系统及方法。其中，该系统包括经典DCT域最小可觉察失真阈值计算模块、基于双目抑制的JND阈值因子主观实验模块、基于JND模型的非对称视频编码框架模块，经典DCT域最小可觉察失真阈值计算模块、基于双目抑制的JND阈值因子主观实验模块共同决定基于JND模型的非对称视屏编码框架模板。本发明能够在主观质量不变的情况下，降低多视点视频编码码率，提高多视点视频编码效率，且相对于基于JND模型的对称视频编码方法，右视点码率能进一步节省。

Description

基于恰可觉察失真模型的非对称感知视频编码系统及方法
技术领域
本发明涉及人眼双目抑制效应，尤其涉及一种基于恰可觉察失真(JND，Justnoticeable difference)模型的非对称感知视频编码系统及其方法。
背景技术
随着信息技术的快速发展，数字视频技术在近年来成为推动社会发展的一大动力。人类获得的信息中大约有80％是通过视觉获取的，视频信息相对文字、音频等信息而言，具有简单、直观、准确、高效、生动等特点，因而成为人类获取外界信息的主要方式之一。
新一代视频编码标准(High Efficiency Video Coding，HEVC)通过采用基于最大编码单元(Largest Coding Unit，LCU)的四叉树编码结构、大尺寸预测单元、大尺寸变换单元、更多的帧内预测方向、改进的去块滤波、采样自适应偏移(Sample Adaptive Offset，SAO) 等技术，在增加一定计算复杂度的情况下，HEVC相对于H.264/AVC，能在相同的客观质量前提下，节省一半的码率。
3D视频是由多个摄像机从多个角度对同一场景同步采集而获得，而自然场景的立体感是通过多个视点的纹理视频之间的视差或者某一视点对应的深度视频提供的位置信息而获得。 3D视频格式一般分为两大类：多视点视频(Multi-view Video，MVV)格式和多视点加深度视频(Multi-view Video Plus Depth，MVD)格式。多视点视频编码(Multi-viewVideo Coding， MVC)标准被用作编码MVV格式的3D视频，MVC是H.264/MPEG-4编码标准的扩展，它相对于H.264/MPEG-4标准，增加了视点间补偿预测方法，通过利用视点间的相关性，能比使用H.264/MPEG-4单独编码每个视点获得更高的压缩率。但采用MVC标准，编码后的码率随着视点数几乎成线性增加，故基于MVC标准编码传输多视点视频并不可行，而编码传输MVD格式的视频可以解决这个问题。
非对称立体视频编码方法主要分为三类：一、空间分辨率非对称。空间分辨率非对称视频编码又称混合分辨率视频编码，混合分辨率视频编码的概念由Perkins提出，是指编码前对辅助视点采用空间分辨率下采样而保持参考视点分辨率不变，而在解码端通过空间上采样将下采样的辅助视点恢复到原来的空间分辨率，实验表明，混合分辨率立体图像对能提供一个可接受的图像质量。二、时间分辨率非对称。时间分辨率非对称视频编码是指对辅助视点采用时间下采样，而保持参考视点的时间分辨率不变。实验结果表明采用该方法，虽然立体场景的深度感知不受影响，但感知质量和边缘锐利度明显下降。三、质量非对称。质量非对称编码是指编码时，保持参考视点不变而使用更低的质量来编码辅助视点，实现质量非对称大多采用取不同量化参数来编码左右视点，从而使得PSNR不对称的方式实现。
在观看3D视频时，人眼存在双目抑制效应，即当一个视点是高质量的，另一个视点是较低质量的，一般3D感知质量将取决于高质量的那个视点，基于此现象，许多研究者提出了非对称立体视频编码。而大多质量非对称视频编码方法并未考虑到人眼对单个视点不同区域具有不同感知特性的特点，仅仅通过调整帧的量化参数来降低辅助视点的质量。恰可觉察失真JND(Just Noticeable Difference)模型能反应人眼对单视点视频不同区域的感知特性，我们通过3D-JND模型来调节辅助视点的编码过程实现质量非对称编码，使得在保证3D感知质量的前提下，进一步降低辅助视点的码率因而该发明具有重要意义。
发明内容
本发明所要解决的技术问题是提供一种基于恰可觉察失真模型的非对称感知视频编码系统及方法，其根据双目抑制效应，建立3D-JND模型。
本发明是通过下述技术方案来解决上述技术问题的：一种基于恰可察觉失真模型的非对称感知视频编码系统，其特征在于，其包括经典DCT域最小可觉察失真阈值计算模块、基于双目抑制的JND阈值因子主观实验模块、基于JND模型的非对称视频编码框架模块，经典DCT域最小可觉察失真阈值计算模块、基于双目抑制的JND阈值因子主观实验模块共同决定基于JND模型的非对称视屏编码框架模板，所述经典DCT域最小可觉察失真阈值计算模块包括背景亮度掩盖效应子模块、纹理掩盖效应子模块、时间对比灵敏度函数子模块、空间对比灵敏度函数效应子模块，所述基于JND模型的非对称视频编码框架模块包括 3D-JND模型定义子模块、残差系数与失真系数预处理子模块、失真系数预处理子模块；
所述经典DCT域最小可察觉失真阈值计算模块用于计算DCT域的最小可察觉失真阈值；
所述基于双目抑制的JND阈值因子主观实验模块通过调整JND阈值因子，对合成的3D 视频主观质量进行评价，得出具体调制因子的数值；
所述背景亮度掩盖效应子模块的功能是计算背景亮度掩盖效应调制因子，所述纹理掩盖效应子模块的功能是计算每个块的纹理掩盖效应调制因子，所述时间对比灵敏度函数子模块的功能是计算上述时间对比灵敏度函数调制因子，所述空间对比灵敏度函数效应子模块的功能是计算空间对比灵敏度函数阈值。
优选地，所述3D-JND模型定义子模块在STJND模型的基础上，乘以基于双目抑制效应得到的双目JND阈值通过所述基于双目抑制的JND阈值因子主观实验模块得到。
优选地，所述残差系数与失真系数预处理子模块通过JND模型来指导重建帧与原始帧之间的残差系数与失真系数预处理。
优选地，所述失真系数预处理子模块对重建帧与原始帧之间的失真系数进行预处理，从而去除感知冗余。
本发明还提供一种基于恰可觉察失真模型的非对称感知视频编码方法，其特征在于，包括以下步骤：
步骤一：读取输入视频序列每一帧的亮度值大小，建立频域的恰可辨失真阈值模型；
步骤二：建立3D-JND模型；
步骤三：基于双目抑制的JND阈值主观实验；
步骤四：基于JND模型的非对称视频编码框架。
优选地，所述步骤二建立3D-JND模型定义：
J3d(x,y)＝Jst(x,y)×Jb(x,y)
J3d(x,y)代表(x,y)处的3D-JND阈值，Jst(x,y)是(x,y)处的空时JND阈值，该阈值通过步骤一计算得到；Jb(x,y)是基于双目抑制效应得到的双目JND阈值，Jb(x,y)通过主观实验获得。
优选地，所述步骤三基于双目抑制的JND阈值主观实验计算双目抑制因子，双目抑制因子计算主观实验模块在2D显示器上播放时右视点存在明显失真时，但是与左视点一起在3D 显示器上播放时，由于双目抑制效应，3D感知质量不会出现退化；在每一组实验中，将评估者得到的分数进行平均处理作为该序列的分数。
优选地，所述步骤四采用非对称视频编码框架模块，左右视点采用不同的编码方式，利用人眼的双目抑制效应对左右视点采取不同的编码方式，操作步骤如下：残差系数与失真系数预处理子模块通过JND模型来指导重建帧与原始帧之间的残差系数与失真系数预处理；失真系数预处理子模块为了进一步去除感知冗余，对重建帧与原始帧之间的失真系数进行预处理，处理方法与残差系数的处理方法一致。
优选地，所述步骤一中：残差系数与失真系数预处理子模块通过JND模型来指导重建帧与原始帧之间的残差系数与失真系数预处理；由于人眼不能察觉小于JND阈值的失真，因此当残差系数小于JND阈值时直接丢弃，当残差系数大于JND值时直接减去一个JND 阈值；
Figure BDA0001099548620000041
其中，R(x,y)和R'(i,j)分别代表原始残差系数和通过JND处理后的残差系数；对于左视点，J(i,j)即为Jst(i,j)，而对右视点，J(x,y)即为J3d(x,y)。
优选地，所述步骤二中：失真系数预处理子模块，为了进一步去除感知冗余，对重建帧与原始帧之间的失真系数进行预处理，处理方法与残差系数的处理方法一致，如下式：
Figure BDA0001099548620000042
其中，Rc'(x,y)表示被JND模型处理后的失真系数。
本发明的积极效果为：本发明能够在主观质量不变的情况下，降低多视点视频编码码率，提高多视点视频编码效率，且相对于基于JND模型的对称视频编码方法，右视点码率能进一步节省。本发明针对3D-HEVC编码结构，进行一系列主观实验来确定，经过JND指导的非对称视频编码得到的视点的3D感知质量恰不出现失真的临界阈值。本发明可以调节辅助视点的编码过程实现质量非对称编码，使得在保证3D感知质量的前提下，进一步降低辅助视点的码率。
附图说明
图1是分层B帧预测结构示意图；
图2是STJND模型应用于3D-HEVC左视点处理框图；
图3是3D-JND模型应用于3D-HEVC右视点处理框图；
图4是基于恰可察觉失真模型的非对称感知视频编码系统结构示意图。
具体实施方式
以下结合附图对本发明的实施例进行详细的说明。
如图4所示，本发明系统实例包括经典DCT域最小可觉察失真阈值计算模块1、基于双目抑制的JND阈值因子主观实验模块2、基于JND模型的非对称视频编码框架模块3，经典DCT域最小可觉察失真阈值计算模块1、基于双目抑制的JND阈值因子主观实验模块2共同决定基于JND模型的非对称视屏编码框架模板3；
经典DCT域最小可觉察失真阈值计算模块1包括背景亮度掩盖效应子模块4、纹理掩盖效应子模块5、时间对比灵敏度函数子模块6和空间对比灵敏度函数效应子模块10，其中，背景亮度掩盖效应子模块4的功能是计算背景亮度掩盖效应调制因子，纹理掩盖效应子模块5的功能是计算每个块的纹理掩盖效应调制因子，时间对比灵敏度函数子模块6的功能是计算上述时间对比灵敏度函数调制因子，空间对比灵敏度函数效应子模块的功能是计算空间对比灵敏度函数阈值；
经典DCT域最小可察觉失真阈值计算模块1用于计算DCT域的最小可察觉失真阈值，在经典DCT域最小可察觉失真阈值计算模块中，空间对比灵敏度函数阈值、背景亮度掩盖效应调制因子、纹理掩盖效应调制因子、时间对比灵敏度函数调制因子相乘，该乘积作为DCT域的最小可察觉失真阈值；
基于双目抑制的JND阈值因子主观实验模块2通过调整JND阈值因子，对合成的3D视频主观质量进行评价，得出具体调制因子的数值；
其中，调制因子以1为单位依次从1增加到10，在这个过程中相对于参考立体视频，3D 感知质量的失真将逐渐被察觉，调制因子的大小不同，则对应的右视点的质量不同。采用五分制，1至5分的主观质量分别对应非常糟糕、较差、一般、良好、非常好。在每一组实验中，将评估者得到的分数进行平均处理作为该序列的分数；
基于JND模型的非对称视频编码框架模块3采用提出的3D-JND模型指导3D-HEVC编码右视点，采用STJND(Spatial-Temporal JND)模型来指导3D-HEVC编码左视点，研究非对称感知特性；
其中，基于JND模型的非对称视频编码框架模块3包括3D-JND模型定义子模块7、残差系数与失真系数预处理子模块8、失真系数预处理子模块9；
3D-JND模型定义子模块7在STJND模型的基础上，乘以基于双目抑制效应得到的双目JND阈值通过所述基于双目抑制的JND阈值因子主观实验模块2得到；在2D显示器上播放时右视点存在明显失真时，但是与左视点一起在3D显示器上播放时，由于双目抑制效应，3D感知质量不会出现退化。将双目抑制因子从1增大到10，逐渐降低其感知质量，观察3D感知失真的程度；
残差系数与失真系数预处理子模块8通过JND模型来指导重建帧与原始帧之间的残差系数与失真系数预处理，由于人眼不能察觉小于JND阈值的失真，因此当残差系数小于JND 阈值时直接丢弃，当残差系数大于JND值时直接减去一个JND阈值；
失真系数预处理子模块9对重建帧与原始帧之间的失真系数进行预处理，从而去除感知冗余，处理方法与残差系数的处理方法一致。
下面根据附图进一步详细描述本发明所示的方法，基于恰可察觉失真模型的非对称感知视频编码方法包括以下步骤：
步骤一：读取输入视频序列每一帧的亮度值大小，建立频域的恰可辨失真阈值模型；
步骤二：建立3D-JND模型，3D-JND模型定义，主观实验计算双目抑制因子：
经典的DCT域JND模型包括四个部分：背景亮度掩盖效应，纹理掩盖效应，时域掩盖效应和空间敏感度函数效应，如下式：
Jst(x,y)＝JNDbasic·JNDlum·JNDtxt·JNDt…………(1)
Jst(x,y)是(x,y)处的空时JND(Spatial-Temporal JND，STJND)阈值，JNDBasic为空间灵敏度函数，具体如下式：
Figure BDA0001099548620000061
Figure BDA0001099548620000062
Figure BDA0001099548620000063
其中，
Figure BDA0001099548620000064
表示对应DCT系数的方向角度，φm为归一化因子，N为DCT变换的维数，s为控制参数，经验值取0.25，试验中a，b和c分别取1.33，0.11和0.18。
wi,j为DCT变换中的第(i,j)块的对应空间频率，计算方法如下式：
Figure BDA0001099548620000065
Figure BDA0001099548620000066
JNDlum为亮度掩盖效应如下式：
Figure BDA0001099548620000067
其中
Figure BDA0001099548620000068
为块的背景亮度值。从上式可以看出，背景亮度值在较黑和较亮的地方比在中间灰度值时的JND阈值要大，即人眼在背景亮度为中间灰度值时，人眼对信号的失真更加敏感，符合人类视觉特性。
JNDtxt为纹理掩盖效应如下式：
Figure BDA0001099548620000071
C(n,i,j)表示第n个DCT变换块中的(i,j)处的DCT系数。
编码块的估计因子ψ表示为如下式：
Figure BDA0001099548620000072
JNDt为时域掩盖效应，表达式为如下式：
Figure BDA0001099548620000074
ft表示时域频率，它表示图像随时间变化的速度。它不仅与物体的运动时间有关系，而且与物体的空间频率有关系。如下式：
ft＝fsxvx+fsyvy…………(11)
fsx和fsy表示水平方向和垂直方向的空间频率，(vx,vy)表示物体在视网膜平面上的运动速度。对N维第i行和第j列的DCT系数，其空间频率计算方法如下式：
Figure BDA0001099548620000073
步骤三：基于双目抑制的JND阈值主观实验，左右视点采用不同的编码方式，利用人眼的双目抑制效应对左右视点采取不同的编码方式：
JND是指人眼不能感觉到的最大失真，根据HVS的双目抑制理论，HVS可以容忍一个视点以更低的质量被编码，而3D感知质量不会出现退化，故两个视点可以以不同的分辨率或比特率被编码。这意味着对两个视点分别存在一个不相等的最大失真值，左视点的感知质量对3D感知质量起决定性作用，在本实验中，左视点编码过程中通过Yang的空时JND模型进行预处理，将处理后的左视点单独在2D显示器上播放时，却不会出现质量退化。经过 3D-JND模型处理后的右视点在2D显示器上播放时，能明显感觉到失真，但与处理后的左视点一起在3D显示器上播放时，由于双目抑制效应，3D感知质量不会出现退化。为了确定经过JND指导的非对称视频编码得到的视点的3D感知质量恰不出现失真的临界阈值，我们进行一系列主观实验来确定。
3D主观测试步骤如下：
(1)播放3秒钟的灰度立体视频；
(2)播放2次5秒钟的参考立体视频；
(3)播放3秒钟的灰度视频；
(4)播放2次5秒钟的待打分立体视频；
(5)播放5秒钟的灰度立体视频，在此期间观测者给出它们的评分。
其中，参考的立体视频是通过HTM12.1编码的左右视点，而待打分的立体视频是采用 JND指导的非对称编码得到的，其中左视点通过Yang的JND模型指导预处理，而右视点是通过3D-JND模型指导预处理。对Jb(i,j)，以1为大小单位依次从1增加到10，在这个过程中相对于参考立体视频，3D感知质量的失真将逐渐被察觉，Jb(x,y)的大小不同，则对应的右视点的质量不同。本实验中，我们使用5个测试序列，在50英寸的松下TH-P50ST30C立体显示器上播放序列，该显示器的分辨率为1920×1080，观看时佩戴偏振眼镜。该立体显示器的宽∶高比为16∶9，屏幕高为74.4cm，宽为120.4cm，对比度为2000：打分者在距离屏幕3.7m(大约是屏幕高度的5倍)处评估立体视频的质量。观看时模拟家庭观看条件，室内亮度设为200勒克斯左右。在本次主观测试中，参与测试的评估者从23岁到29岁之间，一共13人，其中9名男性，4名女性。
双目抑制因子计算主观实验模块，在2D显示器上播放时右视点存在明显失真时，但是与左视点一起在3D显示器上播放时，由于双目抑制效应，3D感知质量不会出现退化。将双目抑制因子从1增大到10，逐渐降低其感知质量，观察3D感知失真的程度，具体过程如下：右视点是通过3D-JND处理后的，通过逐渐增加Jb(i,j)的大小来逐渐降低其感知质量。观看者总是将待打分的立体视频与参考立体视频比较来给出带打分的立体视频的分数，在Jb(x,y) 从1逐渐增加到10的过程中，带打分的立体视频中的失真将逐渐被察觉。在该过程中，每一次待打分的立体视频的两个视点的PSNR值及Jb(x,y)均会被记录。本次实验中，待打分视频共分为三组，分别对应QP等于30、35和40情况下编码的视频，在每一组测试中，评估者给出测试立体视频的3D感知质量，评分时采用双激励减值缩放(Double-StimulusImpairment Scale，DSIS)方法，采用五分制，1至5分的主观质量分别对应非常糟糕、较差、一般、良好、非常好。在每一组实验中，将评估者得到的分数进行平均处理作为该序列的分数。
步骤四：基于JND模型的非对称视频编码框架：
左视点被独立编码，如图2所示，而右视点通过视差估计和视差补偿等方法来参考左视点的编码信息，如图3所示，在3D-HEVC中支持采用HBP编码结构来编码更多的视点，如图1所示。
3D-JND模型定义如下式：
J3d(x,y)＝Jst(x,y)×Jb(x,y)…………(13)
其中，J3d(x,y)代表(x,y)处的3D-JND阈值，Jst(x,y)是(x,y)处的空时JND(Spatial-Temporal JND，STJND)阈值，该阈值通过Yang的经典JND模型计算而得。Jb(x,y)是基于双目抑制效应得到的双目JND阈值，主观实验获得。
残差系数与失真系数预处理子模块通过JND模型来指导重建帧与原始帧之间的残差系数与失真系数预处理。由于人眼不能察觉小于JND阈值的失真，因此当残差系数小于JND阈值时直接丢弃，当残差系数大于JND值时直接减去一个JND阈值，如下式：
Figure BDA0001099548620000091
其中，R(x,y)和R'(i,j)分别代表原始残差系数和通过JND处理后的残差系数。对于左视点，J(i,j)即为Jst(i,j)，而对右视点，J(x,y)即为J3d(x,y)。
失真系数预处理子模块为了进一步去除感知冗余，重建帧与原始帧之间的失真系数 Rc(x,y)也被预处理，处理方法与残差系数的处理方法一致，如下式：
Figure BDA0001099548620000092
其中，Rc'(x,y)表示被JND模型处理后的失真系数。
下面给出仿真实验结果，来说明本发明的性能。
3D-HEVC采用分层B帧预测结构，左视点独立编码而右视点增加了视差补偿预测。在本实验中，我们采用2视点配置，即先编参考视点(左视点)，再编码辅助视点(右视点)，测试条件服从通用测试条件(Common Test Condition，CTC)，编码器的配置包括QP设置等均符合CTC。一个图像组(Group of Pictures，GOP)大小为8帧，帧内周期为24，最大CU 尺寸为64，最大编码单元分割深度为4，帧内\帧间残差四叉树最大分割深度为3，运动搜索范围为64。对于纹理视频的量化参数分别采用30、35、40，测试序列分辨率为1024×768的“Balloons”、“Kendo”、“Lovebird1”序列，分辨率为1920×1088的“Poznan-Street”、“Shark”序列，打分采用MOS方法。为了能评估提出的非对称感知立体视频编码方法的性能，我们对比三种编码策略编码的结果，它们分别如下：
Scheme-I:在HTM12.1测试平台上实现标准的3D-HEVC编码方法；
Scheme-II：在HTM12.1测试平台上实现传统感知对称3D-HEVC编码方法，即左、右视点均采用Yang的JND模型进行预处理；
Scheme-III：在HTM12.1测试平台上实现提出的感知非对称3D-HEVC编码方法，即左视点采用Yang的JND模型进行预处理，右视点采用3D-JND模型进行预处理。
QP分别为30、35和40时，各序列的主观平均打分(Mean of Opinion，MOS)结果，当1≤Jb(x,y)≤7时，在3D显示器上播放的立体视频相对于参考立体视频不会出现3D感知失真，而当Jb(x,y)大于7时，由于右视点失真过大，使得左视点不能再抑制右视点中的失真了，从而导致3D感知质量相对于参考立体视频出现明显的失真，因此Jb(x,y)＝7时，J3d(x,y)是 HVS能容忍右视点出现的最大失真值。采用Scheme-I、Scheme-II、Scheme-III编码的“Balloons”序列右视点的一帧中，得出采用Scheme-II处理的右视点相对于Scheme-I处理的右视点质量基本一致。但采用Scheme-III处理的右视点无论是整体还是细节部分出现了明显失真。但根据主观测试的结果，由于双目抑制效应，在观看时右视点的失真被左视点抑制，使得3D感知质量与Scheme-II一致，且几乎达到Scheme-I的3D感知质量。
表1显示了三种编码策略编码得到的PSNR和DSIS分数。从表1中可以看出我们提出的编码策略能取得与Scheme-I和Scheme-II类似的3D感知质量。Scheme-III处理的右视点的平均PSNR相对于Scheme-I处理的右视点的平均PSNR下降2.93dB、相对于Scheme-II处理的右视点的平均PSNR下降2.0dB的情况下不会使得3D感知质量出现失真。
表2显示了Scheme-II、Scheme-III方法相对于Scheme-I方法编码的码率节省百分比，由表可以看出，本文提出的Scheme-III方法相对于Scheme-I方法能在保证相似的3D感知质量的前提下，平均节省13.60％的码率，且能在不增加任何计算复杂度的情况下，相对对称感知编码策略Scheme-II，平均节省2.18％的码率。由于非对称感知编码策略主要用于进一步的去除右视点的感知冗余，因此右视点的码率节省情况更能显示提出的Scheme-III方法的优越性。从表可以看出，采用Scheme-III方法编码的右视点相对于Scheme-I能节省7.76％～61.84％的码率，平均节省码率达到35.71％，比对称感知编码方法Scheme-II的19.35％高出16.36％。证明了Scheme-III方法能在不影响3D感知质量的前提下有效的去除右视点的感知冗余。“GhostTownFly”、“Poznan-Street”序列码率节省较多，因为这些序列的运动比较剧烈，纹理也相对复杂，从而使得JND阈值较大，而“Balloons”序列由于整体运动平缓且纹理相对简单，从而使得JND阈值较小，码率节省也较少。随着QP值的增加，Scheme-III和Scheme-II 相对于Scheme-I来说，无论是整体码率的节省率还是右视点码率的节省率都会逐渐减小。这是因为在QP较小时，量化后会有很多非零系数，通过JND去除的视觉冗余数据会使得量化后的非零系数减少，而随着QP的增大，会直接将视频中的冗余数据去除，包括本可以由JND模型去除冗余，从而使得量化后非零系数的减少程度比QP较小时的非零系数减少程度降低，这将导致比特率节省程度降低。
结合以上各图表可以看出，本发明通过结合JND模型与双目抑制理论，提出了一种基于 JND模型的非对称感知视频编码方法，实验结果表明，提出的方法能在保证3D感知质量的前提下，极大地节省辅助视点的码率，现对于原始HTM12.1编码方法，右视点节省码率平均达到35.71％左右，而相对于基于JND模型的对称视频编码方法，右视点码率能进一步节省大约16.36％。
表1比较三种编码策略的PSNR值和主观质量
Figure BDA0001099548620000111
Figure BDA0001099548620000121
Figure BDA0001099548620000131
表2 Scheme-II、Scheme-III方法相对于Scheme-I方法码率节省
Figure BDA0001099548620000132
Figure BDA0001099548620000141
综上所述，本发明针对3D-HEVC编码结构，进行一系列主观实验来确定，经过JND指导的非对称视频编码得到的视点的3D感知质量恰不出现失真的临界阈值；本发明可以调节辅助视点的编码过程实现质量非对称编码，使得在保证3D感知质量的前提下，进一步降低辅助视点的码率。

Claims (8)

1.一种基于恰可察觉失真模型的非对称感知视频编码系统，其特征在于，其包括经典DCT域最小可觉察失真阈值计算模块、基于双目抑制的JND阈值因子主观实验模块、基于JND模型的非对称视频编码框架模块，经典DCT域最小可觉察失真阈值计算模块、基于双目抑制的JND阈值因子主观实验模块共同决定基于JND模型的非对称视屏编码框架模板，所述经典DCT域最小可觉察失真阈值计算模块包括背景亮度掩盖效应子模块、纹理掩盖效应子模块、时间对比灵敏度函数子模块、空间对比灵敏度函数效应子模块，所述基于JND模型的非对称视频编码框架模块包括3D-JND模型定义子模块、残差系数与失真系数预处理子模块、失真系数预处理子模块；
所述经典DCT域最小可察觉失真阈值计算模块用于计算DCT域的最小可察觉失真阈值；
所述基于双目抑制的JND阈值因子主观实验模块通过调整JND阈值因子，对合成的3D视频主观质量进行评价，得出具体调制因子的数值；
所述背景亮度掩盖效应子模块的功能是计算背景亮度掩盖效应调制因子，所述纹理掩盖效应子模块的功能是计算每个块的纹理掩盖效应调制因子，所述时间对比灵敏度函数子模块的功能是计算上述时间对比灵敏度函数调制因子，所述空间对比灵敏度函数效应子模块的功能是计算空间对比灵敏度函数阈值；
利用基于恰可察觉失真模型的非对称感知视频编码系统，进行基于恰可察觉失真模型的非对称感知视频编码方法，包括以下步骤：
步骤一：读取输入视频序列每一帧的亮度值大小，建立频域的恰可辨失真阈值模型；
步骤二：建立3D-JND模型；
步骤三：基于双目抑制的JND阈值主观实验；
步骤四：基于JND模型的非对称视频编码框架；
在所述步骤一中，残差系数与失真系数预处理子模块，通过JND模型来指导重建帧与原始帧之间的残差系数与失真系数预处理；由于人眼不能察觉小于JND阈值的失真，因此当残差系数小于JND阈值时直接丢弃，当残差系数大于JND值时直接减去一个JND阈值；
Figure FDA0002271730230000011
其中，R(x,y)和R'(x,y)分别代表原始残差系数和通过JND处理后的残差系数；对于左视点，J(x,y)即为Jst(x,y)，而对右视点，J(x,y)即为J3d(x,y)；所述步骤二建立3D-JND模型定义：
J3d(x,y)＝Jst(x,y)×Jb(x,y)
J3d(x,y)代表(x,y)处的3D-JND阈值，Jst(x,y)是(x,y)处的空时JND阈值，该阈值通过步骤一计算得到；Jb(x,y)是基于双目抑制效应得到的双目JND阈值，Jb(x,y)通过主观实验获得。
2.根据权利要求1所述的基于恰可察觉失真模型的非对称感知视频编码系统，其特征在于，所述3D-JND模型定义子模块在STJND模型的基础上，乘以基于双目抑制效应得到的双目JND阈值通过所述基于双目抑制的JND阈值因子主观实验模块得到。
3.根据权利要求1所述的基于恰可察觉失真模型的非对称感知视频编码系统，其特征在于，所述残差系数与失真系数预处理子模块通过JND模型来指导重建帧与原始帧之间的残差系数与失真系数预处理。
4.根据权利要求1所述的基于恰可察觉失真模型的非对称感知视频编码系统，其特征在于，所述失真系数预处理子模块对重建帧与原始帧之间的失真系数进行预处理，从而去除感知冗余。
5.一种基于恰可觉察失真模型的非对称感知视频编码方法，其特征在于，包括以下步骤：
步骤一：读取输入视频序列每一帧的亮度值大小，建立频域的恰可辨失真阈值模型；
步骤二：建立3D-JND模型；
步骤三：基于双目抑制的JND阈值主观实验；
步骤四：基于JND模型的非对称视频编码框架；
在所述步骤一中，残差系数与失真系数预处理子模块，通过JND模型来指导重建帧与原始帧之间的残差系数与失真系数预处理；由于人眼不能察觉小于JND阈值的失真，因此当残差系数小于JND阈值时直接丢弃，当残差系数大于JND值时直接减去一个JND阈值；
Figure FDA0002271730230000021
其中，R(x,y)和R'(x,y)分别代表原始残差系数和通过JND处理后的残差系数；对于左视点，J(x,y)即为Jst(x,y)，而对右视点，J(x,y)即为J3d(x,y)；所述步骤二建立3D-JND模型定义：
J3d(x,y)＝Jst(x,y)×Jb(x,y)
J3d(x,y)代表(x,y)处的3D-JND阈值，Jst(x,y)是(x,y)处的空时JND阈值，该阈值通过步骤一计算得到；Jb(x,y)是基于双目抑制效应得到的双目JND阈值，Jb(x,y)通过主观实验获得。
6.根据权利要求5所述基于恰可觉察失真模型的非对称感知视频编码方法，其特征在于，所述步骤三基于双目抑制的JND阈值主观实验计算双目抑制因子，双目抑制因子计算主观实验模块在2D显示器上播放时右视点存在明显失真时，但是与左视点一起在3D显示器上播放时，由于双目抑制效应，3D感知质量不会出现退化；在每一组实验中，将评估者得到的分数进行平均处理作为该序列的分数。
7.根据权利要求5所述基于恰可觉察失真模型的非对称感知视频编码方法，其特征在于，所述步骤四的非对称视频编码框架模块，左右视点采用不同的编码方式，利用人眼的双目抑制效应对左右视点采取不同的编码方式，操作步骤如下：残差系数与失真系数预处理子模块通过JND模型来指导重建帧与原始帧之间的残差系数与失真系数预处理；失真系数预处理子模块为了进一步去除感知冗余，对重建帧与原始帧之间的失真系数进行预处理，处理方法与残差系数的处理方法一致。
8.根据权利要求5所述基于恰可觉察失真模型的非对称感知视频编码方法，其特征在于，所述步骤二：失真系数预处理子模块，为了进一步去除感知冗余，对重建帧与原始帧之间的失真系数Rc(x,y)进行预处理，处理方法与残差系数的处理方法一致，如下式：
Figure FDA0002271730230000031
其中，Rc'(x,y)表示被JND模型处理后的失真系数。
CN201610766137.7A 2016-08-30 2016-08-30 基于恰可觉察失真模型的非对称感知视频编码系统及方法 Active CN106331707B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610766137.7A CN106331707B (zh) 2016-08-30 2016-08-30 基于恰可觉察失真模型的非对称感知视频编码系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610766137.7A CN106331707B (zh) 2016-08-30 2016-08-30 基于恰可觉察失真模型的非对称感知视频编码系统及方法

Publications (2)

Publication Number Publication Date
CN106331707A CN106331707A (zh) 2017-01-11
CN106331707B true CN106331707B (zh) 2020-03-13

Family

ID=57789233

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610766137.7A Active CN106331707B (zh) 2016-08-30 2016-08-30 基于恰可觉察失真模型的非对称感知视频编码系统及方法

Country Status (1)

Country Link
CN (1) CN106331707B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108521572B (zh) * 2018-03-22 2021-07-16 四川大学 一种基于像素域jnd模型的残差滤波方法
CN110677624B (zh) * 2019-10-21 2020-09-18 浙江大学 基于深度学习的面向监控视频的前景和背景并行压缩方法
CN112291564B (zh) * 2020-11-20 2021-09-14 西安邮电大学 优化监控视频感知质量的hevc帧内码率控制方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101325711A (zh) * 2008-07-16 2008-12-17 上海大学 基于时空掩盖效应的自适应码率控制方法
US9118912B2 (en) * 2009-12-14 2015-08-25 Thomson Licensing Object-aware video encoding strategies
CN102420988B (zh) * 2011-12-02 2013-11-20 上海大学 一种利用视觉特性的多视点视频编码系统
CN104754320B (zh) * 2015-03-27 2017-05-31 同济大学 一种3d‑jnd阈值计算方法

Also Published As

Publication number Publication date
CN106331707A (zh) 2017-01-11

Similar Documents

Publication Publication Date Title
US20130222377A1 (en) Generation of depth indication maps
KR102472533B1 (ko) 멀티-뷰 신호 코덱
KR20200015927A (ko) 영상 부호화 및 복호화 장치 및 그 방법
US9098906B2 (en) Generation of high dynamic range images from low dynamic range images in multiview video coding
US8503765B2 (en) Method and apparatus for correcting errors in stereo images
US20150189329A1 (en) Method, apparatus, and program for encoding image, method, apparatus, and program for decoding image, and image processing system
US20120249750A1 (en) Stereo-image quality and disparity/depth indications
CN102420988B (zh) 一种利用视觉特性的多视点视频编码系统
CN106331707B (zh) 基于恰可觉察失真模型的非对称感知视频编码系统及方法
Aksay et al. Temporal and spatial scaling for stereoscopic video compression
Shao et al. Stereoscopic video coding with asymmetric luminance and chrominance qualities
WO2020098751A1 (zh) 一种视频数据的编码处理方法和计算机存储介质
CN108521572B (zh) 一种基于像素域jnd模型的残差滤波方法
Qi et al. Stereoscopic video quality assessment based on stereo just-noticeable difference model
CN102325254B (zh) 一种立体视频的编、解码方法及装置
Fezza et al. Perceptually driven nonuniform asymmetric coding of stereoscopic 3d video
CN103826135B (zh) 基于恰可识别视差错误估计的三维视频深度图编码方法
You et al. Quality of visual experience for 3D presentation-stereoscopic image
Chung et al. Efficient multiple-example based super-resolution for symmetric mixed resolution stereoscopic video coding
JP2011228929A (ja) ３ｄ符号化装置、３ｄ符号化方法およびプログラム
Xu et al. Perception-based asymmetric video coding for 3D video
Fezza et al. Asymmetric coding using binocular just noticeable difference and depth information for stereoscopic 3D
Gotchev et al. Source and channel coding recipes for mobile 3D television
Norkin et al. Two HEVC encoder methods for block artifact reduction
Shao et al. JND-based asymmetric coding of stereoscopic video for mobile 3DTV applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant