CN103096076B - 视频编码方法 - Google Patents

视频编码方法 Download PDF

Info

Publication number
CN103096076B
CN103096076B CN201210501072.5A CN201210501072A CN103096076B CN 103096076 B CN103096076 B CN 103096076B CN 201210501072 A CN201210501072 A CN 201210501072A CN 103096076 B CN103096076 B CN 103096076B
Authority
CN
China
Prior art keywords
block
macro
original
reconstruction
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210501072.5A
Other languages
English (en)
Other versions
CN103096076A (zh
Inventor
黄庆明
胡方振
苏荔
齐洪钢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Chinese Academy of Sciences
Original Assignee
University of Chinese Academy of Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Chinese Academy of Sciences filed Critical University of Chinese Academy of Sciences
Priority to CN201210501072.5A priority Critical patent/CN103096076B/zh
Publication of CN103096076A publication Critical patent/CN103096076A/zh
Application granted granted Critical
Publication of CN103096076B publication Critical patent/CN103096076B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种视频编码方法,该方法包括分别确定至少两种编码模式的率失真代价,并根据率失真代价选择编码模式,其中,确定率失真代价的操作包括根据视频中的原始宏块与重建宏块之间的空时相似性度量,获取宏块失真量;根据所述编码码率和所述宏块失真量的关系模型获取拉格朗日乘子;根据所述编码码率、所述宏块失真量及所述拉格朗日乘子确定所述编码模式对应的率失真代价。由于本发明所确定的宏块失真量更符合人眼的视觉失真感知,且拉格朗日乘子是通过准确的关系模型而获取的,因此确定的率失真代价可真实的反映出编码模式是否适用于视频序列的当前视频帧,从而可准确确定适用于视频的编码模式,使编码后的视频的观看效果处于良好状态。

Description

视频编码方法
技术领域
本发明涉及视频技术领域,尤其涉及一种视频编码方法。
背景技术
在视频压缩领域,为了能够更好的改善压缩效率,越来越多的编码模式被引入到了编码标准中。例如,在最新的视频编码标准H.264/AVC中,共有超过十多种的编码模式以供选择,而选择何种编码模式作为视频宏块的最佳编码模式是非常重要。为了确定最佳编码模式,通常采用率失真优化(Rate-distortionoptimization,简称:RDO)技术。
具体的,RDO的表达式如下:
min{J},whereJ=D+λ×R
其中J是率失真代价,R是一个编码单元的编码比特数,λ是拉格朗日乘子。
较早的,由GaryJ.Sullivan和ThomasWiegand在1998年的SignalProcessingMagazine的第15卷第74-90页的“Rate-distortionOptimizationforVideoCompression”一文中提出的率失真模型被应用于常见的混合编码标准,比如H.263和H.264/AVC。但是,在这个模型中,拉格朗日乘子是固定的。为了使拉格朗日乘子更具有自适应性,LulinChen和IlieGarbacea在2006年VCIP的第6077卷第1-8页的“AdaptiveLambdaEstimationinLagrangianRate-distortionOptimizationforVideoCoding”中提出了一种自适应的基于ρ-范围的拉格朗日乘子估计算法。但是在这个方法中,由于R和D被直接引入到了拉格朗日乘子的计算公式中,但由于R和D的误差问题导致拉格朗日乘子的计算不稳定。XiangLi、NorbertOertel、AndreasHutter和AndreKaup在2009年TCSVT的第19卷的第193-205页的“LaplaceDistributionBasedLagrangianRateDistortionOptimizationforHybridVideoCoding”中提出了一种基于变换残差拉普拉斯分布的动态RDO模型。但在上述的这些模型中,RDO过程中所采用的失真度量方式,比如SSE和MSE,都是客观上的,未充分考虑人眼主观视觉特性,即具有相同MSE失真的两幅图像可能会表现出完全不同的感知失真。
最近,为了解决这个问题,ZhouWang在2004年的TIP第13卷第600-612页的“ImageQualityAssessment:FromErrorVisibilitytoStructuralSimilarity”中提出空域质量(StructuralSimilarityIndexMeasurement,简称:SSIM)指标。SSIM已经被证明可以在编码效率和失真性能之间取得很好的平衡,但是,SSIM是针对静态图像提出的,所以应用到视频中时只能考虑到视频的空域特征。事实上,视频的时域特征对人眼视觉感知也有很大的影响。
因此,现有技术中未充分考虑人眼主观视觉特性及视频的时域特性获取的率失真代价不够准确,而根据率失真代价确定的视频编码模式对于待编码视频来说也是不合适的,从而采用不合适的编码模式对视频编码重建后使视频观看效果不佳。
发明内容
本发明提供一种视频编码方法,通过该方法对视频编码后不影响视频的观看效果。
本发明第一方面提供一种视频编码方法,包括:
分别确定至少两种编码模式对视频序列当前视频帧的原始宏块进行编码的率失真代价,且根据率失真代价为所述当前视频帧的原始宏块选择编码模式,其中,确定每种编码模式对视频序列当前视频帧的原始宏块进行编码的率失真代价的操作包括:
采用所述编码模式对当前视频帧中的原始宏块进行编码,以获取编码码流和编码码率,且对所述编码码流进行重建,以获取重建宏块;
根据所述原始宏块与所述重建宏块之间的空时相似性度量,获取宏块失真量;
根据所述编码码率和所述宏块失真量的关系模型获取拉格朗日乘子;
根据所述编码码率、所述宏块失真量及所述拉格朗日乘子确定所述编码模式对应的率失真代价。
结合第一方面,在第一实现方式中,每个视频帧中原始宏块包括至少一个原始图像块,所述重建宏块包括至少一个与所述原始图像块对应的重建图像块,
则所述根据所述原始宏块与所述重建宏块之间的空时相似性度量,获取宏块失真量,包括:
根据当前视频帧中原始宏块的各个原始图像块与重建宏块的各个重建图像块的图像参数获取各个空域质量;
分别根据当前视频帧与历史帧中各个原始图像块与各个重建图像块对应的图像参数获取各个时域质量;
根据各个空域质量和各个时域质量获取各个所述原始图像块与重建图像块之间的各个预处理空时相似性度量;
根据各个所述预处理空时相似性度量获取所述原始宏块与所述重建宏块之间的空时相似性度量;
根据所述空时相似性度量获取宏块失真量。
结合第一实现方式,在第二实现方式中,根据当前视频帧中每个原始图像块与每个重建图像块的图像参数获取空域质量,包括:
根据公式(1)计算空域质量SSIM(x,y):
SSIM ( x , y ) = ( 2 μ x μ y + C 1 ) ( 2 σ xy + C 2 ) ( μ x 2 + μ y 2 + C 1 ) ( σ x 2 + σ y 2 + C 2 ) - - - ( 1 )
其中,x和y分别为当前视频帧图像的原始图像块与对应的重建图像块的标识,C1和C2为设定的经验数值,μx为所述原始图像块x的像素均值,μy为所述重建图像块y的像素均值,σx为所述原始图像块x的像素的无偏估计标准差,σy为所述重建图像块y的像素的无偏估计标准差,σxy为所述原始图像块像素与所述重建图像块像素的协方差。
结合第二实现方式,在第三实现方式中,根据当前视频帧与历史帧中每个原始图像块与每个重建图像块对应的图像参数获取时域质量,包括:
根据公式(2)计算时域质量SSIM3D(x,y):
SSIM 3 D ( x , y ) = ( 2 μ X μ Y + C 3 ) ( 2 σ XY + C 4 ) ( μ X 2 + μ Y 2 + C 3 ) ( σ X 2 + σ Y 2 + C 4 ) - - - ( 2 )
其中,x为公式(1)中原始图像块,X为公式(1)中原始图像块x对应的原始视频块的标识,y为公式(1)中重建图像块,Y为公式(1)中重建图像块y对应的重建视频块的标识,C3和C4为设定的经验数值,μX为所述原始图像块x对应的原始视频块的像素均值,μY为所述重建图像块y对应的重建视频块的像素均值,σX为所述原始图像块x对应的原始视频块的像素的无偏估计标准差,σY为所述重建图像块y对应的重建视频块的像素的无偏估计标准差,σXY为所述原始视频块像素与所述重建视频块像素的协方差,其中,所述原始视频块为当前视频帧中所述原始图像块在所述当前视频帧和历史帧对应位置处的各原始图像块,所述重建视频块为所述重建图像块在所述当前视频帧和历史帧对应位置处的各重建图像块。
结合第三实现方式,在第四实现方式中,根据每个所述空域质量和每个时域质量获取所述原始图像块与所述重建图像块之间的每个预处理空时相似性度量包括:
根据公式(3)计算每个预处理空时相似性度量stVSSIM′(x,y):
stVSSIM′(x,y)=SSIM(x,y)×SSIM3D(x,y)(3)
结合第四实现方式,在第五实现方式中,根据各个所述预处理空时相似性度量获取所述原始宏块与所述重建宏块之间的空时相似性度量包括:
计算各个所述预处理空时相似性度量的平均值,以获取所述原始宏块与所述重建宏块之间的空时相似性度量。
结合第五实现方式,在第六实现方式中,所述根据所述空时相似性度量获取宏块失真量包括:
根据公式(4)计算宏块失真量DstVSSIM:
DstVSSIM=1-stVSSIM(4)
其中stVSSIM为所述原始宏块与所述重建宏块之间的空时相似性度量。
结合第一方面或第六实现方式,在第七实现方式中,所述根据所述编码码率和所述宏块失真量的关系模型获取拉格朗日乘子,包括:
根据第一关系模型与第二关系模型获取所述拉格朗日乘子,其中,所述第一关系模型根据所述编码模式对应的编码码率与宏块失真量的标本视频数据拟合而成,所述第二关系模型根据所述编码模式对应的宏块失真量与量化参数的标本视频数据拟合而成。
结合第七实现方式,在第八实现方式中,所述第一关系模型为其中R表示编码码率,a、b为第一关系模型的参数;
所述第二关系模型DstVSSIM=c·ed·QP,其中c、d为第二关系模型的参数,e为自然数底数,QP为根据编码协议确定的量化参数;
则根据所述第一关系模型与所述第二关系模型获取所述拉格朗日乘子,包括:
根据公式(5)获取拉格朗日乘子λ:
λ = dD stVSSIM dR - - - ( 5 )
结合第七实现方式,在第九实现方式中,更优的,所述根据所述编码码率和所述宏块失真量的关系模型获取拉格朗日乘子,还包括:
根据所述原始宏块的关注度值获取拉格朗日调节因子;
根据所述拉格朗日调节因子和所述拉格朗日乘子获取调节拉格朗日乘子。
结合第九实现方式,在第十实现方式中,所述根据所述原始宏块的关注度值获取拉格朗日调节因子,包括:
根据原始宏块中像素的关注度值获取原始宏块的关注度值;
根据所述当前视频帧中全部原始宏块的关注度的平均值和所述原始宏块的关注度值获取拉格朗日调节因子。
由于本发明提供的视频编码方法中,确定的宏块失真量更符合人眼的视觉失真感知,且拉格朗日乘子是由准确的编码码率和宏块失真量的关系模型而获取的,因此根据编码码率、宏块失真量及拉格朗日乘子确定的率失真代价可真实的反映出编码模式是否适用于视频序列的当前视频帧,从而可准确确定适用于视频的编码模式,使编码后的视频的观看效果处于良好状态。
附图说明
图1为本发明视频编码方法实施例一的流程图;
图2为本发明视频编码方法实施例二的流程图;
图3为本发明视频编码方法实施例三的流程图;
图4为图3所示方法实施例中的第一关系模型示意图;
图5为图3所示方法实施例中的第二关系模型示意图;
图6为本发明视频编码方法实施例四的流程图。
具体实施方式
图1为本发明视频编码方法实施例一的流程图。在本实施例中所提供的视频编码方法包括:
分别确定至少两种编码模式对视频序列当前视频帧的原始宏块进行编码的率失真代价,且根据率失真代价为当前视频帧的原始宏块选择编码模式,具体可选择率失真代价最小的编码模式作为当前视频帧的原始宏块的编码模式。其中,如图1所示,确定每种编码模式对视频序列当前视频帧进行编码的率失真代价的操作具体包括:
S101,采用编码模式对当前视频帧中的原始宏块进行编码,以获取编码码流和编码码率,且对编码码流进行重建,以获取重建宏块。其中,可以将当前视频帧的图像分为一个或多个原始宏块,对各原始宏块所执行的操作一致。
S102,根据原始宏块与重建宏块之间的空时相似性度量,获取宏块失真量。
在S102中,由于空时相似性度量采用了运动信息和结构相似性来同时度量空域和时域范畴的视频质量,从而获取的宏块失真量符合人眼视觉失真感知。
S103,根据编码码率和宏块失真量的关系模型获取拉格朗日乘子。
在S103中,编码码率和宏块失真量的关系模型是通过对标本视频中的多个宏块的编码码率和宏块失真量进行数据统计分析而获取的,因此该关系模型能够准确的反应出编码码率与宏块失真量之间的约束关系。
S104,根据编码码率、宏块失真量及拉格朗日乘子确定编码模式对应的率失真代价。
需要说明的是,若将当前视频帧的图像分为多个原始宏块,则对每一个原始宏块执行上述S101至S104,获得多个原始宏块所采用的各个编码模式对应的各个率失真代价。对每一个原始宏块来说,根据至少两个编码模式对应的率失真代价选择编码模式,具体可选择率失真代价最小的编码模式作为当前视频帧的原始宏块的编码模式。
由于本实施例中确定的宏块失真量更符合人眼视觉失真感知,且拉格朗日乘子是由准确的编码码率和宏块失真量的关系模型而获取的,因此根据编码码率、宏块失真量及拉格朗日乘子确定的率失真代价可真实的反映出编码模式是否适用于视频序列的当前视频帧,从而可准确确定适用于视频的编码模式,使编码后的视频的观看效果处于良好状态。
图2为本发明视频编码方法实施例二的流程图。在本实施例中,每个视频帧中原始宏块包括至少一个原始图像块,所述重建宏块包括至少一个与所述原始图像块对应的重建图像块,则如图2所示,根据原始宏块与重建宏块之间的空时相似性度量获取宏块失真量的方法具体包括:
S201,分别根据当前视频帧中原始宏块的各个原始图像块与重建宏块的各个重建图像块的图像参数获取各个空域质量。
具体的,可根据公式(1)计算空域质量SSIM(x,y):
SSIM ( x , y ) = ( 2 μ x μ y + C 1 ) ( 2 σ xy + C 2 ) ( μ x 2 + μ y 2 + C 1 ) ( σ x 2 + σ y 2 + C 2 ) - - - ( 1 )
其中,x和y分别为当前视频帧的原始图像块与对应的重建图像块的标识,C1和C2为设定的经验数值,μx为原始图像块x的像素均值,μy为重建图像块y的像素均值,该像素均值具体为图像块中灰度的平均值,σx为原始图像块x的像素的无偏估计标准差,σy为重建图像块y的像素的无偏估计标准差,σxy为原始图像块像素与重建图像块像素的协方差。
S202,分别根据当前视频帧与历史帧中各个原始图像块与各个重建图像块对应的图像参数获取各个时域质量。
具体的,根据公式(2)计算时域质量SSIM3D(x,y):
SSIM 3 D ( x , y ) = ( 2 μ X μ Y + C 3 ) ( 2 σ XY + C 4 ) ( μ X 2 + μ Y 2 + C 3 ) ( σ X 2 + σ Y 2 + C 4 ) - - - ( 2 )
其中,x为公式(1)中原始图像块,X为公式(1)中原始图像块x对应的原始视频块的标识,y为公式(1)中重建图像块,Y为公式(1)中重建图像块y对应的重建视频块的标识,C3和C4为设定的经验数值,μX为原始图像块x对应的原始视频块的像素均值,μY为重建图像块y对应的重建视频块的像素均值,σX为原始图像块x对应的原始视频块的像素的无偏估计标准差,σY为重建图像块y对应的重建视频块的像素的无偏估计标准差,σXY为原始视频块像素与重建视频块像素的协方差,其中,原始视频块为当前视频帧中原始图像块在当前视频帧和历史帧对应位置处的各原始图像块,重建视频块为重建图像块在当前视频帧和历史帧对应位置处的各重建图像块。
更具体的,根据公式(21)获取原始视频块的像素均值μX
根据公式(22)获取重建视频块的像素均值μY
根据公式(23)获取σX
根据公式(24)获取σY:
根据公式(25)获取σXY:
其中,H和W分别为原始视频块中当前视频帧中原始图像块x的高度和宽度,其高度和宽度以像素的数量来表示,而重建视频块中当前视频帧中重建图像块y的高度和宽度同样分别由H和W表示,N为当前视频帧的标识,为滤波器函数,用于加权计算,且满足条件 n为1至N之间的正整数,m为1至H之间的正整数,q为1至W之间的正整数。
S203,根据各个空域质量和各个时域质量获取各个原始图像块与重建图像块之间的各个预处理空时相似性度量。
具体的,根据公式(3)计算预处理空时相似性度量stVSSIM′(x,y):
stVSSIM′(x,y)=SSIM(x,y)×SSIM3D(x,y)(3)
S204,根据各个预处理空时相似性度量获取原始宏块与重建宏块之间的空时相似性度量。
具体的,计算各所述预处理空时相似性度量的平均值,以获取所述原始宏块与所述重建宏块之间的空时相似性度量。
上述原始宏块及重建宏块为16×16大小的图像,而原始图像块及重建图像块可为8×8或4×4或其他L×L大小的图像,其中L大于等于1且小于等于16,分别在原始宏块和重建宏块中选取各个L×L大小的图像块,用以计算预处理空时相似性度量stVSSIM′(x,y);当原始图像块及重建图像块为16×16大小的图像时,原始宏块即为原始图像块,重建宏块即为重建图像块,则上述预处理空时相似性度量stVSSIM′(x,y)即为原始宏块与重建宏块之间的空时相似性度量
S205,根据空时相似性度量获取宏块失真量。
具体可以根据公式(4)计算宏块失真量DstVSSIM:
DstVSSIM=1-stVSSIM(4)
其中stVSSIM为S204中原始宏块与重建宏块之间的空时相似性度量。
需要说明的是,上述原始宏块和重建宏块、原始图像块和重建图像块的大小可根据实际需要来选取,本发明实施例中不作具体限定。
由于本实施例中时空相似性度量采用了运动信息和结构相似性来同时度量空域和时域范畴的视频质量,从而获取的宏块失真量符合人眼视觉失真感知,便于准确获取编码模式对应的率失真代价。
图3为本发明视频编码方法实施例三的流程图。在本实施例中,具体地提供了根据编码码率和宏块失真量的关系模型获取拉格朗日乘子的方法,如图3所示,该方法包括:
S301,根据编码模式对应的编码码率与宏块失真量的标本视频数据拟合而成第一关系模型。
具体的,图4为图3所示方法实施例中的第一关系模型示意图。在本实施例中,采用标本视频进行试编码,所谓标本视频为在对待编码视频编码之前,任意选取的一个或多个被现有的编码方法编码的视频,用于获取编码码率与宏块失真量的关系模型。编码后标本视频中的多个宏块的编码码率与宏块失真量之间有一种约束关系,如图4所示,基于多个宏块的编码码率与宏块失真量的统计数据获得散点图,对该散点图进行数据拟合,获得第一关系模型其中R表示编码码率,a、b为第一关系模型的参数。
S302,根据编码模式对应的编码码率与宏块失真量标本视频帧数据拟合而成第二关系模型。
具体的,图5为图3所示方法实施例中的第二关系模型示意图。如图5所示,基于多个宏块的宏块失真量与量化参数的统计数据获得散点图,对该散点图进行数据拟合,获得第二关系模型DstVSSIM=c·ed·QP,其中c、d为第二关系模型的参数,e为自然数底数,QP为根据编码协议确定的量化参数,该编码协议可具体为视频编码标准H.264/AVC。
S303,根据第一关系模型与第二关系模型获取拉格朗日乘子。
具体的,根据公式(5)获取拉格朗日乘子λ:
λ = dD stVSSIM dR - - - ( 5 )
即,通过对宏块失真量DstVSSIM对编码码率R求导,获得拉格朗日乘子λ=-c·bed·QP
在本实施例中,由于关系模型是通过对标本视频中的多个宏块的编码码率和宏块失真量进行数据统计分析而获取,因此该关系模型能够准确的反应出编码码率与宏块失真量之间的约束关系,从而确定拉格朗日乘子也更加准确。
更优的,图6为本发明视频编码方法实施例四的流程图。如图6所示,该方法包括:
S401,采用编码模式对当前视频帧中的当前原始宏块进行编码,以获取编码码流和编码码率,且对编码码流进行重建,以获取当前重建宏块。
S402,根据当前原始宏块与当前重建宏块之间的空时相似性度量,获取宏块失真量。
具体的宏块失真量的获取方法可参考方法实施例二,在此不再赘述。
S403,根据编码码率和宏块失真量的关系模型获取拉格朗日乘子。
具体的拉格朗日乘子的获取方法可参考方法实施例三,在此不再赘述。
S404,根据当前原始宏块的关注度值获取拉格朗日调节因子。
根据S403获取的拉格朗日乘子缺乏根据当前视频序列内容进行调节的自适应性,因此,需对该拉格朗日乘子进行调节处理。该调节处理过程为:
根据原始宏块中像素的关注度值获取原始宏块的关注度值,具体的,根据公式(6)获取当前原始宏块的关注度值wi
w i = Σ j ∈ M i a j - - - ( 6 )
其中,Mi表示当前原始宏块,i表示当前原始宏块的标识,aj表示当前原始宏块中像素的关注度值,j表示当前原始宏块中像素的标识。
根据当前视频帧中所有原始宏块的关注度的平均值和原始宏块的关注度值获取拉格朗日调节因子。
具体的,根据公式(7)获取拉格朗日调节因子φi
φ i = w avg w i - - - ( 7 )
其中,wavg是一个视频帧中所有原始宏块的关注度的平均值。
S405,根据拉格朗日调节因子和拉格朗日乘子获取调节拉格朗日乘子。
具体的,根据公式(8)获取调节拉格朗日乘子λ′:
λ′=λ·φi(8)
S406,根据编码码率、宏块失真量及拉格朗日乘子确定编码模式对应的率失真代价。
具体的,根据公式(9)确定当前原始宏块采用的编码模式对应的率失真代价
J i k = D stVSSIM + λ ′ × R - - - ( 9 )
其中k表示采用的编码模式的标识。
S407,选择最小率失真代价对应的编码模式作为当前原始宏块的编码模式。
在本实施例中,考虑到人眼对于视频的不同部分的关注度不同,因此在确定拉格朗日乘子时考虑到视频的关注度值,使拉格朗日乘子可根据视频的不同内容进行自适应调节,从而获取的率失真代价可更符合人眼失真感知地确定出对应的编码模式。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种视频编码方法,其特征在于,包括:
分别确定至少两种编码模式对视频序列当前视频帧的原始宏块进行编码的率失真代价,且根据率失真代价为所述当前视频帧的原始宏块选择编码模式,其中,确定每种编码模式对视频序列当前视频帧的原始宏块进行编码的率失真代价的操作包括:
采用所述编码模式对当前视频帧中的原始宏块进行编码,以获取编码码流和编码码率,且对所述编码码流进行重建,以获取重建宏块;
根据所述原始宏块与所述重建宏块之间的空时相似性度量,获取宏块失真量;
根据所述编码码率和所述宏块失真量的关系模型获取拉格朗日乘子;
根据所述原始宏块的关注度值获取拉格朗日调节因子;
根据所述拉格朗日调节因子和所述拉格朗日乘子获取调节拉格朗日乘子;
根据所述编码码率、所述宏块失真量及所述调节拉格朗日乘子确定所述编码模式对应的率失真代价。
2.根据权利要求1所述的方法,其特征在于,每个视频帧中原始宏块包括至少一个原始图像块,所述重建宏块包括至少一个与所述原始图像块对应的重建图像块,
则所述根据所述原始宏块与所述重建宏块之间的空时相似性度量,获取宏块失真量,包括:
分别根据当前视频帧中原始宏块的各个原始图像块与重建宏块的各个重建图像块的图像参数获取各个空域质量;
分别根据当前视频帧与历史帧中各个原始图像块与各个重建图像块对应的图像参数获取各个时域质量;
根据各个所述空域质量和各个时域质量获取各个所述原始图像块与重建图像块之间的各个预处理空时相似性度量;
根据各个所述预处理空时相似性度量获取所述原始宏块与所述重建宏块之间的空时相似性度量;
根据所述空时相似性度量获取宏块失真量。
3.根据权利要求2所述的方法,其特征在于,根据当前视频帧中每个原始图像块与每个重建图像块的图像参数获取空域质量,包括:
根据公式(1)计算空域质量SSIM(x,y):
S S I M ( x , y ) = ( 2 μ x μ y + C 1 ) ( 2 σ x y + C 2 ) ( μ x 2 + μ y 2 + C 1 ) ( σ x 2 + σ y 2 + C 2 ) - - - ( 1 )
其中,x和y分别为当前视频帧的原始图像块与对应的重建图像块的标识,C1和C2为设定的经验数值,μx为所述原始图像块的像素均值,μy为所述重建图像块的像素均值,σx为所述原始图像块的像素的无偏估计标准差,σy为所述重建图像块的像素的无偏估计标准差,σxy为所述原始图像块像素与所述重建图像块像素的协方差。
4.根据权利要求3所述的方法,其特征在于,根据当前视频帧与历史帧中每个原始图像块与每个重建图像块对应的图像参数获取时域质量,包括:
根据公式(2)计算时域质量SSIM3D(x,y):
S S I M 3 D ( x , y ) = ( 2 μ X μ Y + C 3 ) ( 2 σ X Y + C 4 ) ( μ X 2 + μ Y 2 + C 3 ) ( σ X 2 + σ Y 2 + C 4 ) - - - ( 2 )
其中,x为公式(1)中原始图像块的标识,X为公式(1)中标识为x的原始图像块对应的原始视频块的标识,y为公式(1)中重建图像块的标识,Y为公式(1)中标识为y的重建图像块对应的重建视频块的标识,C3和C4为设定的经验数值,μX为标识为x的原始图像块对应的原始视频块的像素均值,μY为标识为y的重建图像块对应的重建视频块的像素均值,σX为标识为x的原始图像块对应的原始视频块的像素的无偏估计标准差,σY为标识为y的重建图像块对应的重建视频块的像素的无偏估计标准差,σXY为标识为X的原始视频块的像素与标识为Y的重建视频块的像素的协方差,其中,所述原始视频块为当前视频帧中所述原始图像块在所述当前视频帧和历史帧对应位置处的各原始图像块,所述重建视频块为所述重建图像块在所述当前视频帧和历史帧对应位置处的各重建图像块。
5.根据权利要求4所述的方法,其特征在于,根据每个所述空域质量和每个时域质量获取所述原始图像块与所述重建图像块之间的每个预处理空时相似性度量,包括:
根据公式(3)计算每个预处理空时相似性度量stVSSIM′(x,y):
stVSSIM′(x,y)=SSIM(x,y)×SSIM3D(x,y)(3)。
6.根据权利要求5所述的方法,其特征在于,根据各个所述预处理空时相似性度量获取所述原始宏块与所述重建宏块之间的空时相似性度量包括:
计算各个所述预处理空时相似性度量的平均值,以获取所述原始宏块与所述重建宏块之间的空时相似性度量。
7.根据权利要求6所述的方法,其特征在于,所述根据所述空时相似性度量获取宏块失真量包括:
根据公式(4)计算宏块失真量DstVSSIM:
DstVSSIM=1-stVSSIM(4)
其中stVSSIM为所述原始宏块与所述重建宏块之间的空时相似性度量。
8.根据权利要求1或7所述的方法,其特征在于,所述根据所述编码码率和所述宏块失真量的关系模型获取拉格朗日乘子,包括:
根据第一关系模型与第二关系模型获取所述拉格朗日乘子,其中,所述第一关系模型根据所述编码模式对应的编码码率与宏块失真量的标本视频数据拟合而成,所述第二关系模型根据所述编码模式对应的宏块失真量与量化参数的标本视频数据拟合而成。
9.根据权利要求8所述的方法,其特征在于,所述第一关系模型为其中R表示编码码率,a、b为所述第一关系模型的参数,DstVSSIM为宏块失真量;
所述第二关系模型DstVSSIM=c·ed·QP,其中c、d为所述第二关系模型的参数,e为自然数底数,QP为根据编码协议确定的量化参数;
则根据所述第一关系模型与所述第二关系模型获取所述拉格朗日乘子,包括:
根据公式(5)获取拉格朗日乘子λ:
λ = dD s t V S S I M d R - - - ( 5 ) .
10.根据权利要求1所述的方法,其特征在于,所述根据所述原始宏块的关注度值获取拉格朗日调节因子,包括:
根据原始宏块中像素的关注度值获取原始宏块的关注度值;
根据所述当前视频帧中全部原始宏块的关注度的平均值和所述原始宏块的关注度值获取拉格朗日调节因子。
CN201210501072.5A 2012-11-29 2012-11-29 视频编码方法 Expired - Fee Related CN103096076B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210501072.5A CN103096076B (zh) 2012-11-29 2012-11-29 视频编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210501072.5A CN103096076B (zh) 2012-11-29 2012-11-29 视频编码方法

Publications (2)

Publication Number Publication Date
CN103096076A CN103096076A (zh) 2013-05-08
CN103096076B true CN103096076B (zh) 2016-01-27

Family

ID=48208142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210501072.5A Expired - Fee Related CN103096076B (zh) 2012-11-29 2012-11-29 视频编码方法

Country Status (1)

Country Link
CN (1) CN103096076B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104796705B (zh) * 2015-04-22 2018-01-12 福州大学 一种基于ssim的hevc视频编码率失真优化与码率控制算法
CN106303521B (zh) * 2016-08-15 2019-01-01 华侨大学 一种基于感知敏感度的hevc率失真优化方法
CN107566798A (zh) * 2017-09-11 2018-01-09 北京大学 一种数据处理的系统、方法及装置
CN111193931B (zh) * 2018-11-14 2023-04-07 深圳市中兴微电子技术有限公司 一种视频数据的编码处理方法和计算机存储介质
US11895330B2 (en) * 2021-01-25 2024-02-06 Lemon Inc. Neural network-based video compression with bit allocation

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8094716B1 (en) * 2005-08-25 2012-01-10 Maxim Integrated Products, Inc. Method and apparatus of adaptive lambda estimation in Lagrangian rate-distortion optimization for video coding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8094716B1 (en) * 2005-08-25 2012-01-10 Maxim Integrated Products, Inc. Method and apparatus of adaptive lambda estimation in Lagrangian rate-distortion optimization for video coding

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Efficient Motion Weighted Spatio-Temporal Video SSIM Index;Anush K. Moorthy 等;《proceedings of SPIE: Human Vision and Electronic Imaging》;20100121;摘要,第2-7页 *
Laplace Distribution Based Lagrangian Rate Distortion Optimization for Hybrid Video Coding;Xiang Li 等;《IEEE TRANSACTIONS ON CTRCUITS AND SYSTEMS FOR VTDEO TECHOLOGY》;20090228;第195-197页 *
SSIM based perceptual distortion rate optimization coding;Shiqi Wang 等;《Visual Communications and Image Processing 2010》;20101231;第1、6-7页,公式23 *

Also Published As

Publication number Publication date
CN103096076A (zh) 2013-05-08

Similar Documents

Publication Publication Date Title
CN103918262B (zh) 基于结构相似度的码率失真优化感知视频编码方法和系统
CN103096076B (zh) 视频编码方法
CN104301724B (zh) 视频处理方法、编码设备和解码设备
CN101835056B (zh) 基于模型的纹理视频与深度图的最优码率分配方法
CN102415097B (zh) 失真加权
CN104320657B (zh) Hevc无损视频编码的预测模式选择方法及相应的编码方法
CN102413353B (zh) 立体视频编码过程的多视点视频和深度图的码率分配方法
CN104822064B (zh) 编码设备、图像处理系统及方法
CN105472394A (zh) 用于预测编码的使用可变分区的视频编码的方法和设备以及用于预测编码的使用可变分区的视频解码的方法和设备
CN103634601B (zh) 基于结构相似度的高效视频编码感知码率控制优化方法
CN110225343B (zh) 一种视频编码的码率控制方法及装置
CN101572806B (zh) 一种基于h.264的i帧码率控制方法
US20200068200A1 (en) Methods and apparatuses for encoding and decoding video based on perceptual metric classification
CN104715496A (zh) 云环境下基于三维点云模型的图像预测方法、系统及装置
TW202147842A (zh) 點雲品質評估方法、編碼器、解碼器及儲存媒介
CN103873867B (zh) 自由视点视频深度图失真预测方法和编码方法
US9609361B2 (en) Method for fast 3D video coding for HEVC
CN113347416B (zh) 色度帧内预测方法和装置、及计算机存储介质
CN106534855B (zh) 一种面向satd的拉格朗日因子计算方法
CN103634600A (zh) 一种基于ssim评价的视频编码模式选择方法、系统
Hu et al. Complexity-guided slimmable decoder for efficient deep video compression
CN104093022A (zh) 一种率失真优化方法及装置
CN107852493A (zh) 用于样点值补偿的图像编码方法和装置以及用于样点值补偿的图像解码方法和装置
CN102595166B (zh) 一种适用于深度图编码的拉格朗日因子计算方法
CN102158710A (zh) 一种面向虚拟视图质量的深度图编码率失真判断方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160127

Termination date: 20211129