CN107241607B - 一种基于多域jnd模型的视觉感知编码方法 - Google Patents

一种基于多域jnd模型的视觉感知编码方法 Download PDF

Info

Publication number
CN107241607B
CN107241607B CN201710584419.XA CN201710584419A CN107241607B CN 107241607 B CN107241607 B CN 107241607B CN 201710584419 A CN201710584419 A CN 201710584419A CN 107241607 B CN107241607 B CN 107241607B
Authority
CN
China
Prior art keywords
calculated
coefficient
coding
domain
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710584419.XA
Other languages
English (en)
Other versions
CN107241607A (zh
Inventor
郭杰锋
胡巩
黄联芬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN201710584419.XA priority Critical patent/CN107241607B/zh
Publication of CN107241607A publication Critical patent/CN107241607A/zh
Application granted granted Critical
Publication of CN107241607B publication Critical patent/CN107241607B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种基于多域JND模型的视觉感知编码方法,涉及视频信息处理。首先利用时空频多域JND模型,分别计算出DCT块中每个变换系数的空域基本JND阈值、亮度掩蔽调制因子、对比度掩蔽调制因子以及时域掩蔽调制因子,得到每个变换系数时空频多域JND阈值。然后在变换编码的过程中,引入基于块感知失真概率评估标准,通过一种自适应搜索算法寻找每个系数关于JND阈值的修正因子,得到变换系数抑制值。最后将原始的变换系数减去相应计算得出的最合适的抑制值,作为新的系数放入熵编码阶段。通过多域JND模型和块感知失真概率的编码抑制策略,在保证一定主观质量的前提下,能有效降低编码码率,有助于进一步提高目前编码标准的压缩率。

Description

一种基于多域JND模型的视觉感知编码方法
技术领域
本发明涉及视频信息处理,尤其是涉及一种基于多域JND模型的视觉感知编码方法。
背景技术
随着多媒体技术的发展,人们对于视频分辨率的要求越来越高,2K、4K甚至8K的视频都将在不久的将来普及,为了解决这些庞大的视频数据的存储和传输需求,视频编码标准应运而生。而目前最新的视频编码技术基于香农信息论,通过搜索多种编码模式,从中寻找最优的编码方式,而这一过程需要引入大量的计算来提高精确度,但目前随着计算量的提升,其效果提升却趋于平缓,说明基于这一编码思想的编码方式已进入发展的瓶颈期,寻找一种效果和计算量之比较高的编码思想对于未来编码技术的发展显得尤为重要。
由于视频的最终接收者是人(人眼),视频编码的根本目的是在保证一定视频质量的前提下尽可能地降低码率,而编码和传输人眼无法察觉的信息显然是对网络传输和存储设备的一种浪费。可以说,视频编码的最终目的是达到人眼感知的保真度而不是像素的保真度。在多年前,人们就已经开始关注人眼系统,但由于其涉及到生理学、心理学等多个学科,相应的基础理论还并不成熟,人眼的一些特性还并不能很好的解释,同时在数字信号处领域,编码压缩率还有可进一步提升的空间,因此到目前为止,所有的编码标准都没有考虑进人眼特性来提高压缩效率。
但随着近年来,数字信号处理理论的约束以及人眼相关学科基础理论的发展,研究人员开始重新关注人眼系统,期望将人眼系统中的某些已经明确特性应用到视频编码中,以达到进一步压缩码率的目的。这一研究思想被称为视觉感知编码,即结合人眼视觉系统的某些特性去除视频中的视觉冗余部分,在达到视频的感知保真度的情况下,进一步压缩视频。而目前一些相关的模型也被提出,如基于人眼感知失真的最小可感知失真模型、基于人眼感兴趣区域的视觉显著性模型等。通过这些模型可以表示出人眼视觉信息处理的过程,而寻找能准确表现人眼视觉信息处理过程的模型就是目前视频编码领域所要解决的关键问题,视频编码技术也将因这一问题的解决走出目前发展的瓶颈期。
文献[1](Luo Z,Song L等,H.264/Advanced Video Control PerceptualOptimization Coding Based on JND-Directed Coefficient Suppression.IEEETransactions on Circuits&Systems for Video Technology,2013,23(6):935-948)提出了一种完整的时空频域JND模型。在JM14.2上测试,在高效配置下节省了28.32%的码率。
文献[2](Bae SH,Kim J等,HEVC-based Perceptually Adaptive Video Codingusing a DCT-based Local Distortion Detection Probability Model.IEEETransactions on Image Processing,2016,25(7):3343-3357)提出了一种基于块感知失真概率的编码抑制策略,在满足感知失真概率小于50%的情况下可以进一步压缩码率。在HM11.0上测试,在LOW-DELAY配置下节省了12.10%的码率,在RANDOM-ACCESS配置下节省了9.90%的码率。
发明内容
本发明的目的在于提供可在保证一定视频质量的前提下,进一步降低基于HEVC视频编码的码率,以达到更好的适应高清视频传输和存储需求的一种基于多域JND模型的视觉感知编码方法。
本发明具体实现步骤如下:
1)读入一个变换编码块,进行变换编码,判断当前块是否属于亮度分量,若属于,则执行步骤2);否则结束感知编码算法流程;
2)计算每个变换系数对应的时空频多域JND阈值;
3)计算变换系数的最合适抑制值Ω(i,j);
4)进行变换系数幅值的抑制,按下式计算:
Figure BDA0001353128880000021
其中c(i,j)表示原始变换系数,c*(i,j)表示经过抑制之后的变换系数;
5)将抑制之后的变换系数经过量化及熵编码之后的码流大小作为新的码流大小加入率失真优化公式中,如下式表示:
Figure BDA0001353128880000022
之后转到步骤1)。
在步骤2)中,所述计算每个变换系数对应的时空频多域JND阈值的具体方法可为:
(1)计算每个变换系数的空域基本JND阈值Jbase,按下式计算:
Figure BDA0001353128880000023
其中,Jd(ω)和Jv(ω)表示对角线和垂直方向的空频域基本最小可感知阈值模型,
Figure BDA0001353128880000024
表示DCT系数方向角,分别按下式计算:
Jd(ω)=0.0293ω2-0.1382ω+1.75
Jv(ω)=0.0238ω2-0.1771ω+1.75
Figure BDA0001353128880000031
其中,ω表示位于(i,j)位置系数的空间频率,按下式计算:
Figure BDA0001353128880000032
Figure BDA0001353128880000033
其中,Rvd表示观察距离和图像高度的比例,Pich表示图像高度所包含的像素数量;
(2)计算每个变化系数的亮度自适应掩蔽调制因子MLM,按下式计算:
Figure BDA0001353128880000034
其中μp表示变换块的平均亮度强度,M0.1(ω)和M0.9(ω)分别表示μp为0.1和0.9时的MLM,分别按下式计算:
Figure BDA0001353128880000035
M0.1(ω)=2.468×10-4×ω2+4.466×10-3×ω+1.14
M0.9(ω)=1.230×10-4×ω2+1.433×10-2×ω+1.34
其中N表示DCT块的大小;K为像素深度,在8bit的图像中为255;I(i,j)表示i列j行的像素强度;
(3)计算每个变换系数的对比掩蔽效应调制因子MCM,按下式计算:
MCM(ω,τSCI)=f(ω)·τSCI+1
其中τSCI表示变换块平均结构强度,f(ω)表示在不同τSCI下MCM和ω的关系式,分别由下式计算:
Figure BDA0001353128880000041
Figure BDA0001353128880000042
其中C(ω)代表空间频率为ω的DCT系数值,f(ω)中的各个常量系数如下所示:
0≤ω<ω0:ε=8.03,γ=4.55,η=29.37
ω≥ω0:ε=31.17,γ=9.44,η=6.23;
(4)计算每个变换系数的时域掩蔽调制因子MTM,按下式计算:
Figure BDA0001353128880000043
其中ft表示时间频率,按下式计算:
ft=fsx·vx+fsy·vy
其中,fsx和fsy分别表示水平和垂直方向的空间频率,vx和vy分别表示物体在人眼视网膜平面上的水平和垂直运动速度,单位是度/秒,分别如下式计算:
fsx=i/2Nθ
fsy=j/2Nθ
vτ=v-v,(τ=x,y)
其中v和v分别表示物体在图像平面上的运动速度和眼球的运动速度;v通过如下计算:
Figure BDA0001353128880000044
其中,gspem表示人眼运动平滑的修正值,这里设为0.84;vMIN表示眼球漂移运动的最小值,这里设为0.15度/秒;vMAX表示眼球扫视的最大速度,这里设为80度/秒;而物体在图像平面上的运动速度v表示为:
v=fr·mvτ·θ, (τ=x,y)
其中fr表示帧率,mvτ表示某个变换块的水平和垂直运动矢量,在编码过程中获得。
(5)计算每个变换系数的最小可感知失真阈值JNDST,按下式计算:
Figure BDA0001353128880000051
在步骤3)中,所述计算变换系数的最合适抑制值Ω(i,j)的具体方法可为:
(1)初始化k=0,计算DB(k),令DBX=DB(k):
Figure BDA0001353128880000052
Δc(i,j)=|c(i,j)-Q-1(Q(c*(i,j)))|
Figure BDA0001353128880000053
Figure BDA0001353128880000054
(2)判断:若DBX≥1,k=0,则直接转到步骤(5);否则转到步骤(3);
(3)若k小于1,则计算DB(k+0.5),然后令DBY=DB(k+0.5);否则计算DB(k+1)然后令DBY=DB(k+1);
(4)判断:
①当DBX<1且DBY≥1,按下式计算k,然后转到步骤(5);
α=DBY-DBX, (k=0,0.5,1,2,3)
β=DBX-α·k, (k=0,0.5,1,2,3)
k=(1-β)/α
②当DBX=DBY,取当前k作为最合适的k值,然后转到步骤(5);
③当k=2时,取k=3作为最合适的k值,然后转到步骤(5);若k小于1,则将k+0.5;否则将k+1;令DBX=DBY,然后执行步骤(3);
(5)按下式计算每个变换系数最合适的抑制值Ω(i,j):
Figure BDA0001353128880000055
本发明适用于所有采用香农率失真优化模式选择的编码标准,对视频进行压缩时,提供一种包含视觉感知特征的编码压缩算法,其优点在于:
1、相比于传统的编码方式,该算法可以有效去除视频中的人眼的感知冗余,进一步压缩码流。
2、本发明可以在满足块感知失真概率小于0.5的情况下,进一步压缩码率,同时在量化参数较大时,有效改善视频的主观质量。
3、可以兼容所有采用香农率失真优化模式选择的编码标准,包括最新的HEVC编码标准,同时可以根据需要灵活选择JND模型中包含的各部分。
本发明提出的视觉感知编码算法,基于一种新型的时空频多域JND模型和一种新型的编码抑制策略,从每个变换系数的JND阈值和块感知失真概率两方面进行优化,在保证一定主观质量的前提下,使得基于HEVC视频编码的码率进一步得到降低。
附图说明
图1为本发明时域掩蔽调制因子MTM建模示意图;
图2为本发明编码抑制策略计算k值流程图;
图3为本发明加入感知编码算法HEVC率失真过程示意图。
具体实施方式
本发明提供一种基于多域JND模型的视觉感知编码算法,包括多域JND模型和编码抑制策略两部分。整个多域JND模型包含时空频三部分,其中频域模型只与变换块不同位置系数的空间频率和观察视角有关,用来计算基本JND阈值;空域模型包含亮度掩蔽调制因子和对比掩蔽调制因子两部分,其中亮度掩蔽调制因子与变换块的平均亮度和空间频率有关,用来修正人眼对于不同亮度下的失真敏感度,对比掩蔽调制因子与变换块的平均纹理强度和空间频率有关,用来修正人眼对于不同纹理背景下的失真敏感度;时域模型包含时域掩蔽调制因子这部分,与视频中物体的运动矢量、帧率以及空间频率有关,用来修正人眼对于不同物体运动强度下的失真敏感度。对于编码抑制策略,从块感知失真概率角度出发,在感知失真概率小于0.5的情况下进行变换系数幅值的抑制,可以解决两个问题:1、当变换块中某些变换系数幅值小于其对应的JND阈值,整个变换块中的其他非零系数可以进行进一步抑制来降低码率;2、当量化参数较大时,可以改善视频的主观质量。本发明正是基于这两点,提出一种块感知失真的编码抑制策略。
目前最新的HEVC编码技术的压缩思想主要从视频中的时空冗余信息以及统计冗余信息入手,进行数字信号方面的压缩。这种方式主要依靠计算量来换取编码性能的提升。但由于目前信号处理方面基础理论的约束,继续采用该思想来提高编码压缩率,其性能提升速度已日趋平缓,而其计算量却在迅速提升,其性能和计算量之比正在逐渐减小。本发明提出的视觉感知编码算法结合人眼感知失真特性,达到去除视频中感知冗余信息的目的。
本发明提出一种基于多域JND模型的视觉感知编码算法,具体包括如下步骤:
步骤一、读入一个变换编码块,进行变换编码,判断当前块是否属于亮度分量,如果属于,执行步骤二,否则结束感知编码算法流程。
步骤二、计算每个变换系数对应的时空频多域JND阈值,具体包括:
步骤a1:计算每个变换系数的空域基本JND阈值Jbase,按下式计算:
Figure BDA0001353128880000071
其中,Jd(ω)和Jv(ω)表示对角线和垂直方向的空频域基本最小可感知阈值模型,
Figure BDA0001353128880000072
表示DCT系数方向角,分别按下式计算:
Jd(ω)=0.0293ω2-0.1382ω+1.75
Jv(ω)=0.0238ω2-0.1771ω+1.75
Figure BDA0001353128880000073
其中,ω表示位于(i,j)位置系数的空间频率,按下式计算:
Figure BDA0001353128880000074
Figure BDA0001353128880000075
其中,Rvd表示观察距离和图像高度的比例,Pich表示图像高度所包含的像素数量。
步骤a2:计算每个变化系数的亮度自适应掩蔽调制因子MLM,按下式计算:
Figure BDA0001353128880000076
其中μp表示变换块的平均亮度强度,M0.1(ω)和M0.9(ω)分别表示μp为0.1和0.9时的MLM,分别按下式计算:
Figure BDA0001353128880000077
M0.1(ω)=2.468×10-4×ω2+4.466×10-3×ω+1.14
M0.9(ω)=1.230×10-4×ω2+1.433×10-2×ω+1.34
其中N表示DCT块的大小;K为像素深度,在8bit的图像中为255;I(i,j)表示i列j行的像素强度。
步骤a3:计算每个变换系数的对比掩蔽效应调制因子MCM,按下式计算:
MCM(ω,τSCI)=f(ω)·τSCI+1
其中τSCI表示变换块平均结构强度,f(ω)表示在不同τSCI下MCM和ω的关系式,分别由下式计算:
Figure BDA0001353128880000081
Figure BDA0001353128880000082
其中C(ω)代表空间频率为ω的DCT系数值,f(ω)中的各个常量系数如下所示:
0≤ω<ω0:ε=8.03,γ=4.55,η=29.37
ω≥ω0:ε=31.17,γ=9.44,η=6.23
步骤a4:计算每个变换系数的时域掩蔽调制因子MTM,按下式计算:
Figure BDA0001353128880000083
其中ft表示时间频率,按下式计算:
ft=fsx·vx+fsy·vy
其中,fsx和fsy分别表示水平和垂直方向的空间频率,vx和vy分别表示物体在人眼视网膜平面上的水平和垂直运动速度,单位是度/秒,分别如下式计算:
fsx=i/2Nθ
fsy=j/2Nθ
vτ=v-v,(τ=x,y)
其中v和v分别表示物体在图像平面上的运动速度和眼球的运动速度。v可以通过如下计算:
Figure BDA0001353128880000084
其中,gspem表示人眼运动平滑的修正值,这里设为0.84;vMIN表示眼球漂移运动的最小值,这里设为0.15度/秒;vMAX表示眼球扫视的最大速度,这里设为80度/秒。而物体在图像平面上的运动速度v可以表示为:
v=fr·mvτ·θ, (τ=x,y)
其中fr表示帧率,mvτ表示某个变换块的水平和垂直运动矢量,可以在编码过程中获得。
步骤a5:计算每个变换系数的最小可感知失真阈值JNDST,按下式计算:
Figure BDA0001353128880000091
步骤三、计算变换系数的最合适抑制值Ω(i,j),具体包括:
步骤b1:初始化k=0,计算DB(k),令DBX=DB(k):
Figure BDA0001353128880000092
Δc(i,j)=|c(i,j)-Q-1(Q(c*(i,j)))|
Figure BDA0001353128880000093
Figure BDA0001353128880000094
步骤b2:判断:如果DBX≥1,k=0,直接转到步骤b5;否则转到步骤b3;
步骤b3:如果k小于1,计算DB(k+0.5)然后令DBY=DB(k+0.5),否则计算DB(k+1)然后令DBY=DB(k+1);
步骤b4:判断:
①当DBX<1且DBY≥1,按下式计算k,然后转到步骤b5;
α=DBY-DBX, (k=0,0.5,1,2,3)
β=DBX-α·k, (k=0,0.5,1,2,3)
k=(1-β)/α
②当DBX=DBY,取当前kk作为最合适的kk值,然后转到步骤b5;
③当k=2时,取k=3作为最合适的k值,然后转到步骤(5);若k小于1,则将k+0.5;否则将k+1;令DBX=DBY,然后执行步骤b3;
步骤b5:按下式计算每个变换系数最合适的抑制值Ω(i,j):
Figure BDA0001353128880000095
步骤四、进行变换系数幅值的抑制,按下式计算:
Figure BDA0001353128880000101
其中c(i,j)表示原始变换系数,c*(i,j)表示经过抑制之后的变换系数。
步骤五、将抑制之后的变换系数经过量化及熵编码之后的码流大小作为新的码流大小加入率失真优化公式中,如下式表示:
Figure BDA0001353128880000102
之后转到步骤一。
需要指出的是,本发明的步骤依据是,人眼对于不同的空间频率、不同的亮度、不同的纹理强度以及不同的物体运动强度都具有不同的敏感度,首先通过频域模型计算出一个人眼对于不同空间频率下的基本敏感度阈值,然后加入空域和时域的模型,对该基本敏感度阈值进行修正,最后可以得出包含时空频域因素的JND阈值。此外,由于人眼观看视频并不是一个像素一个像素的看的,至少是基于某个图像块看的,因此,本发明中的编码抑制策略从块感知失真角度出发,在感知失真概率小于0.5的情况下,可以进一步抑制码率,同时,在量化参数较大的情况下可以有效改善视频的主观质量。
以新一代视频编码标准HEVC提供的参考软件HM16.9为基准,搭建嵌入感知编码算法的编码系统来衡量本发明方法的效果。选取6个测试序列作为测试视频场景,包括1920×1080(Full High Definition,FHD)和832×480(Wide Quarter Video Graphics Array,WQVGA)这两种分辨率,分别对应目前主流的超清和标清分辨率。1920×1080分辨率的包括“BQTerrace”、“BasketballDrive”和“Tennis”这三个场景;832×480分辨率的包括“BQMall”、“PartyScene”和“Keiba”这三个场景。编码器参数设置为:Randomaccess编码模式,选取量化参数QP值22,27,32,每个场景分别根据其帧率编码播放3秒钟长度的视频帧数,帧内预测周期IntraPeriod设置为32,其余默认设置。对于感知编码算法的性能,使用客观评价标准码率减少百分比(ΔR)和主观评价标准DMOS(Differential Mean OpinionScore)分别来评价各算法的编码压缩效果和视频主观质量,分别定义如下:
ΔR=(RHM-RPVC)/RHM×100
DMOS=MOSPVC-MOSHM
其中,RHM和RPVC分别代表原始HM编码器编码得出的码率和采用某种感知编码算法(包括Luo、Bae和本发明的算法)编码之后得出的码率。
对于DMOS的计算,采用双激励损伤等级(Double Stimulus Impairment Scale,DSIS)测试方式,该方式由国际电信联盟ITU-R提出,被广泛用于视频的主观质量测试。具体的主观实验条件和评分等级如表1和表2所示。
表1
显示器 40寸LCD电视
分辨率 1920x1080(全高清)
测试人员数量 8人(2女6男)
观测距离 4倍电视高度(约2m)
观测时间 20分钟
休息间隔 10分钟
表2
Figure BDA0001353128880000111
本发明方法与软件HM16.9所采用的HEVC原始算法以及Luo、Bae的算法进行比较,结果如表3所示。
表3
Figure BDA0001353128880000112
从表3可以看出,本发明的一种基于多域JND模型的视觉感知编码算法效果良好,Luo的感知编码算法平均码率降低为12.46%,Bae的感知编码算法平均码率降低为5.48%,本发明提出的感知编码算法平均码率降低为13.60%,本发明的感知算法在编码压缩率方面为三种算法中最高;此外,对于DMOS,Luo的算法为-0.65,Bae的算法为-0.35,本发明提出的算法为-0.29,本发明的感知算法在主观质量方面为三种算法中最好。说明本发明提出的算法在码率压缩和感知质量方面要明显优于另外两种算法。
经过以上的分析实验验证,可以得出以下结论:本发明提出的基于多域JND模型的视觉感知编码算法,其理论依据正确,实际应用可行,有助于实现视频编码码率的进一步压缩。
以上所述仅为本发明的较佳实施用例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则在内,所做的任何修改、等同替换以及改进等,均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于多域JND模型的视觉感知编码方法,其特征在于包括步骤如下:
1)读入一个变换编码块,进行变换编码,判断当前块是否属于亮度分量,若属于,则执行步骤2);否则结束感知编码算法流程;
2)计算每个变换系数对应的时空频多域JND阈值,具体方法为:
(1)计算每个变换系数的空域基本JND阈值Jbase,按下式计算:
Figure FDA0002354089610000011
其中,Jd(ω)和Jv(ω)表示对角线和垂直方向的空频域基本最小可感知阈值模型,
Figure FDA0002354089610000012
表示DCT系数方向角,分别按下式计算:
Jd(ω)=0.0293ω2-0.1382ω+1.75
Jv(ω)=0.0238ω2-0.1771ω+1.75
Figure FDA0002354089610000013
其中,ω表示位于(i,j)位置系数的空间频率,按下式计算:
Figure FDA0002354089610000014
Figure FDA0002354089610000015
其中,Rvd表示观察距离和图像高度的比例,Pich表示图像高度所包含的像素数量;
(2)计算每个变化系数的亮度自适应掩蔽调制因子MLM,按下式计算:
Figure FDA0002354089610000016
其中μp表示变换块的平均亮度强度,M0.1(ω)和M0.9(ω)分别表示μp为0.1和0.9时的MLM,分别按下式计算:
Figure FDA0002354089610000017
M0.1(ω)=2.468×10-4×ω2+4.466×10-3×ω+1.14
M0.9(ω)=1.230×10-4×ω2+1.433×10-2×ω+1.34
其中N表示DCT块的大小;K为像素深度,在8bit的图像中为255;I(i,j)表示i列j行的像素强度;
(3)计算每个变换系数的对比掩蔽效应调制因子MCM,按下式计算:
MCM(ω,τSCI)=f(ω)·τSCI+1
其中τSCI表示变换块平均结构强度,f(ω)表示在不同τSCI下MCM和ω的关系式,分别由下式计算:
Figure FDA0002354089610000021
Figure FDA0002354089610000022
其中C(ω)代表空间频率为ω的DCT系数值,f(ω)中的各个常量系数如下所示:
0≤ω<ω0:ε=8.03,γ=4.55,η=29.37
ω≥ω0:ε=31.17,γ=9.44,η=6.23;
(4)计算每个变换系数的时域掩蔽调制因子MTM,按下式计算:
Figure FDA0002354089610000023
其中ft表示时间频率,按下式计算:
ft=fsx·vx+fsy·vy
其中,fsx和fsy分别表示水平和垂直方向的空间频率,vx和vy分别表示物体在人眼视网膜平面上的水平和垂直运动速度,单位是度/秒,分别如下式计算:
fsx=i/2Nθ
fsy=j/2Nθ
vτ=v-v,(τ=x,y)
其中v和v分别表示物体在图像平面上的运动速度和眼球的运动速度;v通过如下计算:
Figure FDA0002354089610000024
其中,gspem表示人眼运动平滑的修正值,这里设为0.84;vMIN表示眼球漂移运动的最小值,这里设为0.15度/秒;vMAX表示眼球扫视的最大速度,这里设为80度/秒;而物体在图像平面上的运动速度v表示为:
v=fr·mvτ·θ,(τ=x,y)
其中fr表示帧率,mvτ表示某个变换块的水平和垂直运动矢量,在编码过程中获得;
(5)计算每个变换系数的最小可感知失真阈值JNDST,按下式计算:
Figure FDA0002354089610000031
3)计算变换系数的最合适抑制值Ω(i,j),具体方法为:
(1)初始化k=0,计算DB(k),令DBX=DB(k):
Figure FDA0002354089610000032
Δc(i,j)=|c(i,j)-Q-1(Q(c*(i,j)))|
Figure FDA0002354089610000033
Figure FDA0002354089610000034
(2)判断:若DBX≥1,k=0,则直接转到步骤(5);否则转到步骤(3);
(3)若k小于1,则计算DB(k+0.5),然后令DBY=DB(k+0.5);否则计算DB(k+1)然后令DBY=DB(k+1);
(4)判断:
①当DBX<1且DBY≥1,按下式计算k,然后转到步骤(5);
α=DBY-DBX,(k=0,0.5,1,2,3)
β=DBX-α·k,(k=0,0.5,1,2,3)
k=(1-β)/α
②当DBX=DBY,取当前k作为最合适的k值,然后转到步骤(5);
③当k=2时,取k=3作为最合适的k值,然后转到步骤(5);若k小于1,则将k+0.5;否则将k+1;令DBX=DBY,然后执行步骤(3);
(5)按下式计算每个变换系数最合适的抑制值Ω(i,j):
Figure FDA0002354089610000041
4)进行变换系数幅值的抑制,按下式计算:
Figure FDA0002354089610000042
其中c(i,j)表示原始变换系数,c*(i,j)表示经过抑制之后的变换系数;
5)将抑制之后的变换系数经过量化及熵编码之后的码流大小作为新的码流大小加入率失真优化公式中,如下式表示:
Figure FDA0002354089610000043
之后转到步骤1)。
CN201710584419.XA 2017-07-18 2017-07-18 一种基于多域jnd模型的视觉感知编码方法 Active CN107241607B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710584419.XA CN107241607B (zh) 2017-07-18 2017-07-18 一种基于多域jnd模型的视觉感知编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710584419.XA CN107241607B (zh) 2017-07-18 2017-07-18 一种基于多域jnd模型的视觉感知编码方法

Publications (2)

Publication Number Publication Date
CN107241607A CN107241607A (zh) 2017-10-10
CN107241607B true CN107241607B (zh) 2020-06-16

Family

ID=59991689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710584419.XA Active CN107241607B (zh) 2017-07-18 2017-07-18 一种基于多域jnd模型的视觉感知编码方法

Country Status (1)

Country Link
CN (1) CN107241607B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110139112B (zh) * 2019-04-29 2022-04-05 暨南大学 一种基于jnd模型的视频编码方法
CN110062234B (zh) * 2019-04-29 2023-03-28 同济大学 一种基于区域恰可察觉失真的感知视频编码方法
CN112825557B (zh) * 2019-11-20 2023-02-24 北京大学 一种针对于视频编码的自适应感知时空域量化方法
CN111654701B (zh) * 2020-04-21 2022-02-11 北京奇艺世纪科技有限公司 视频编码预处理方法、装置、设备和计算机可读存储介质
CN111901594B (zh) * 2020-06-29 2021-07-20 北京大学 面向视觉分析任务的图像编码方法、电子设备及介质
CN112040231B (zh) * 2020-09-08 2022-10-25 重庆理工大学 一种基于感知噪声信道模型的视频编码方法
CN115967806B (zh) * 2023-03-13 2023-07-04 阿里巴巴(中国)有限公司 一种数据帧编码控制方法、系统及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103024381A (zh) * 2012-12-10 2013-04-03 宁波大学 一种基于恰可察觉失真的宏块模式快速选择方法
CN103379326A (zh) * 2012-04-19 2013-10-30 中兴通讯股份有限公司 基于roi和jnd的视频编码方法及装置
CN103501441A (zh) * 2013-09-11 2014-01-08 北京交通大学长三角研究院 一种基于人类视觉系统的多描述视频编码方法
CN104219525A (zh) * 2014-09-01 2014-12-17 国家广播电影电视总局广播科学研究院 基于显著性和最小可察觉失真的感知视频编码方法
CN104378636A (zh) * 2014-11-10 2015-02-25 中安消技术有限公司 一种视频图像编码方法及装置
CN105306954A (zh) * 2014-05-30 2016-02-03 西安电子科技大学 一种基于视差最小可察觉误差模型的感知立体视频编码
CN106454386A (zh) * 2016-10-26 2017-02-22 广东电网有限责任公司电力科学研究院 一种基于jnd的视频编码的方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2015261734A1 (en) * 2015-11-30 2017-06-15 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data according to local luminance intensity

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103379326A (zh) * 2012-04-19 2013-10-30 中兴通讯股份有限公司 基于roi和jnd的视频编码方法及装置
CN103024381A (zh) * 2012-12-10 2013-04-03 宁波大学 一种基于恰可察觉失真的宏块模式快速选择方法
CN103501441A (zh) * 2013-09-11 2014-01-08 北京交通大学长三角研究院 一种基于人类视觉系统的多描述视频编码方法
CN105306954A (zh) * 2014-05-30 2016-02-03 西安电子科技大学 一种基于视差最小可察觉误差模型的感知立体视频编码
CN104219525A (zh) * 2014-09-01 2014-12-17 国家广播电影电视总局广播科学研究院 基于显著性和最小可察觉失真的感知视频编码方法
CN104378636A (zh) * 2014-11-10 2015-02-25 中安消技术有限公司 一种视频图像编码方法及装置
CN106454386A (zh) * 2016-10-26 2017-02-22 广东电网有限责任公司电力科学研究院 一种基于jnd的视频编码的方法和装置

Also Published As

Publication number Publication date
CN107241607A (zh) 2017-10-10

Similar Documents

Publication Publication Date Title
CN107241607B (zh) 一种基于多域jnd模型的视觉感知编码方法
CN104219525B (zh) 基于显著性和最小可察觉失真的感知视频编码方法
CN107439012B (zh) 用于环内转换的方法、装置和计算机可读存储介质
US9256924B2 (en) Image processing device, moving-image processing device, video processing device, image processing method, video processing method, television receiver, program, and recording medium
CN104378636B (zh) 一种视频图像编码方法及装置
US8947538B2 (en) System for video quality prediction and related aspects
WO2013143396A1 (zh) 一种数字视频质量控制方法及其装置
JP2008527827A (ja) 垂線流れに動的に基づいた量子化ステップ・サイズを用いてビデオ信号を処理する方法
CN105635743A (zh) 基于显著性检测和全变分的最小可察觉失真方法及系统
CN103051901A (zh) 视频数据编码装置和视频数据编码方法
CN111193931B (zh) 一种视频数据的编码处理方法和计算机存储介质
DE102019218316A1 (de) 3d-renderer-zu-videocodierer-pipeline für verbesserte visuelle qualität und geringe latenz
Yang et al. Optimized-SSIM based quantization in optical remote sensing image compression
CN110177282A (zh) 一种基于srcnn的帧间预测方法
US8780987B1 (en) Method and apparatus for encoding video by determining block resolution
Xue et al. Mobile JND: Environment adapted perceptual model and mobile video quality enhancement
US20090161947A1 (en) Image processing device and method, learning device and method, program, and recording medium
JP2002539657A (ja) 符号化された画像を評価するための処理、装置及び、使用
Chen et al. Temporal color just noticeable distortion model and its application for video coding
Jin et al. A foveated video quality assessment model using space-variant natural scene statistics
Wei et al. A temporal just-noticeble distortion profile for video in DCT domain
JP4078906B2 (ja) 画像信号の処理装置および処理方法、画像表示装置、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体
CN112584153B (zh) 基于恰可察觉失真模型的视频压缩方法及装置
Wang et al. Quality assessment for MPEG-2 video streams using a neural network model
CN107945108A (zh) 视频处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant