CN103079063A - 一种低码率下视觉关注区域的视频编码方法 - Google Patents

一种低码率下视觉关注区域的视频编码方法 Download PDF

Info

Publication number
CN103079063A
CN103079063A CN 201210557415 CN201210557415A CN103079063A CN 103079063 A CN103079063 A CN 103079063A CN 201210557415 CN201210557415 CN 201210557415 CN 201210557415 A CN201210557415 A CN 201210557415A CN 103079063 A CN103079063 A CN 103079063A
Authority
CN
China
Prior art keywords
frame
macro block
rdo
motion vector
quantization parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 201210557415
Other languages
English (en)
Other versions
CN103079063B (zh
Inventor
张星明
林育蓓
张吉
陈铭洙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201210557415.XA priority Critical patent/CN103079063B/zh
Publication of CN103079063A publication Critical patent/CN103079063A/zh
Application granted granted Critical
Publication of CN103079063B publication Critical patent/CN103079063B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明为一种低码率下基于H.264的视觉关注区域的视频编码方法,包括步骤:判断当前编码帧类别,确定视觉关注区域、当前编码帧所有宏块的量化参数调整等级、当前编码帧所有宏块的视觉关注度权值;采用结构相似度SSIM作为失真准则进行宏块预测模式选择时RDO失真衡量标准;根据视觉关注度权值确定新的RDO代价计算公式;确定新的RDO代价计算公式中的经验值;根据新的RDO代价计算公式计算每种预测模式下的RDO代价;根据宏块等级重新分配每个宏块的编码量化参数;根据重新分配的量化参数编码当前编码帧的每个宏块;重复上述步骤直到编码结束。本发明可在码率非常有限的情况下优化码率分配,实现更符合人眼视觉特征的视频编码。

Description

一种低码率下视觉关注区域的视频编码方法
技术领域
本发明涉及视频编码领域,具体涉及一种低码率下基于H.264的视觉关注区域的视频编码方法。
背景技术
在码率充足的情况下,视频各帧各个部分的质量都能够得以保证;然而,在码率非常有限的情况下,如手机视频通信等,编码时如果仍依照图像内容进行统计并平等对待,视频整体的质量会因码率低而急剧下降。生理和心理研究表明:人类总是主动地特别关注于某些特定的、能够产生新异刺激的区域。因此,在这种情况下有必要对人眼视觉重点关注区域分配相对多的码率,保证该区域的质量,从而提高人对视频的主观评价。1998年Itti等提出了自底向上的视觉显著性注意检测模型。该模型首先通过线性滤波将输入图像分解成多个多尺度的低级视觉特征(灰度、颜色、方向)通道;对于每个特征空间通道,利用中央刺激-周围抑制策略(中心-周围尺度差分)计算视觉感受野,并应用一种非线性空间竞争机制将不同尺度信息进行合并得到特征显著图;接着,通过使用预设的权值对各特征显著图进行线性合并得到一张显著图;最后,神经网络的赢者全胜和抑制返回机制相互作用,并按照显著级别从高到低产生人们的注意焦点。其后,该模型进一步得到完善,中国专利第CN102164281A号提出一种基于Itti视觉显著度模型的视频编码码率控制方法,考虑了运动特征在视频内容感知中的重要作用。然而,该模型是基于像素点显著值的统计,实现视觉关注区域的检测过程异常复杂,无法实际应用到实时的编码环境中。
在码率有限的情况下,如何在特定的码率和失真度之间进行取舍,有赖于率失真优化(RDO)技术的应用。在H.264标准中,RDO大大提高了编码的压缩效率。而RDO中失真的衡量是使用绝对误差和(SAD)、频域绝对误差和(SATD)或平方误差和(SSD)等函数,这些测度由来已久并成为了传统,但由于只对图像块中单个像素进行统计而忽略了像素间的联系,不能很好地适应人眼视觉系统的特点。结构相似度(SSIM)准则是基于人眼在观察图像时对结构信息的变化更敏感的视觉特点而提出的一种图像质量评价方法,与其它准则相比,它更加符合人眼的视觉特点,并已引入至H.264各开源编码器中作为评价编码视频质量的标准。已经有学者开展了基于SSIM的感知率失真优化编码的研究,研究结果显示在RDO中采用SSIM代替原有的失真度量函数能实现更有效的视频压缩。
发明内容
本发明的目的是提供一种低码率下视觉关注区域的视频编码方法,该方法在低码率下能检测出视频内容中的视觉关注区域并保证其视觉质量,可以实现快速的、准确的码率分配优化,解决了现有技术实现视觉关注区域的检测过程异常复杂,无法实际应用到实时的编码环境中的问题。
为实现上述发明目的,本发明采用如下技术方案:一种低码率下视觉关注区域的视频编码方法,包含以下几个步骤:
S1、读取当前编码帧,判断当前编码帧类别,确定当前编码帧视觉关注区域;
S2、确定当前编码帧所有宏块的量化参数调整等级;
S3、确定当前编码帧所有宏块的视觉关注度权值;
S4、采用结构相似度SSIM作为宏块预测模式选择时RDO失真衡量标准;
S5、根据视觉关注度权值确定新的RDO代价计算公式;
S6、确定新的RDO代价计算公式中的经验值;
S7、根据新的RDO代价计算公式计算每种预测模式下的RDO代价;
S8、根据宏块等级重新分配每个宏块的编码量化参数;
S9、根据重新分配的量化参数编码当前编码帧的每个宏块;
重复步骤S1到S9,直到编码结束。
优选的,所述的步骤S1中,如果当前编码帧是I帧,则通过Canny边缘检测算法检测视觉关注区域,并统计该帧的边缘点总数;如果当前编码帧是P帧或B帧,则根据运动矢量特征分布得到视觉关注区域,对所有宏块进行运动估计,得到宏块运动矢量,如果宏块运动矢量为(x,y),则其强度为再计算宏块运动矢量强度均值以及方差,并统计该帧所有运动矢量强度方差之和。
优选的,所述的步骤S2中,如果当前编码帧是I帧,根据宏块包含的边缘像素点个数对宏块进行分级;如果当前编码帧是P帧或B帧,根据宏块运动矢量强度与所在帧运动矢量强度均值的关系判定该宏块的量化参数等级。
优选的,所述的步骤S3中,对于I帧中的宏块,视觉关注度权值等于该宏块包含边缘像素点占整帧边缘像素点的比例;对于P帧和B帧的宏块,视觉关注度权值等于该宏块运动矢量强度方差和该帧所有宏块的运动矢量强度方差总和之比。
优选的,所述的步骤S4中,在采用结构相似度SSIM作为失真准则进行宏块预测模式选择时,假设原图像为x,重建图像为y,则x和y的结构相似度SSIM可表示为:SSIM(x,y)=l(x,y)·c(x,y)·s(x,y)其中l(x,y)、c(x,y)、s(x,y)分别表示两图像的亮度相关性、对比度相关性以及结构相关性。
优选的,所述的步骤S5中,新的RDO代价计算公式为:JCOSST=K·DSSIM·(α+w)+λSSIM·RMB;其中RMB为码率大小;λSSIM为率失真平衡参数,取值与x264原有SSD失真标准下的相同;DSSIM为失真度,取值范围为[0,1];w为视觉关注度权值;K和α为经验值;w的大小直接影响失真度在RDO代价中所占的比重,从而对视觉关注区域的宏块在率失真优化阶段优先考虑视觉失真度,保证宏块的视觉质量。
优选的,所述的步骤S6中,确定经验值α为0.01,并确定经验值K为:I帧中非精细化RDO以及16x16分块下精细化RDO的K值为300000,4x4分块下精细化RDO的K值为5000;对于P帧和B帧非精细化RDO,统计帧中运动矢量强度不为0的宏块数占帧宏块总数的比例,若比例大于60%则K值设为300000,否则K值设为100000;精细化RDO下K值设为30000。
优选的,所述的步骤S8中,量化参数的调整根据宏块级别得到,重新分配的量化参数随着宏块等级的递增而线性递减,对I帧宏块降低其量化参数,而对P帧或B帧宏块则提高其量化参数,以使视频序列的码率分配趋于均衡。
本发明的原理为:对于视频的内容,在空域上,物体边缘对人眼的视觉感知起着重要的作用,而在时域上,一个区域的运动属性相对于其周围区域运动具有显著变化会能引起人眼的重点关注。因此,在使用H.264标准进行视频编码时,可利用其本身基于宏块的分析机制实现快速的人眼视觉关注区域的检测。本发明提出通过边缘检测算法识别视频I帧中的视觉关注区域,边缘检测的目的是提取图像中亮度变化明显的区域。实现边缘检测的方法有许多种,目前最常用的是Canny边缘检测算法,该算法可以很好地降低图像中的噪声,同时较为准确地确定图像边缘的位置;而对于视频时域的运动显著特征捕捉,目前已存在多种相关的视频图像运动检测算法包括帧间差分法、背景差分法、光流法等,以上运动检测方式均在实际应用中取得过一定效果,但却都是基于像素的分析,复杂度较高。本发明中将利用H.264中原有的帧间编码运动矢量分析机制,提出一种运动显著特征模型检测P/B帧中的视觉关注区域,对视觉关注区域重点编码;为保证视觉关注区域失真度衡量优先,本发明将建立基于视觉关注度权值与SSIM的RDO代价函数,可以进一步提高视觉关注区域的图像质量。本发明以实际应用为出发点,针对低带宽网络环境下的移动视频应用而提出,并在x264(版本为0.76.X)编码器上验证了本方法的有效性。
本发明应用于低码率情况下的视频编码系统中。区别于传统的编码方法,本发明能够在码率非常有限的情况下,智能地识别出人视觉关注的区域并调整宏块的码率分配,进而结合结构相似度重新构造了与视觉关注区域权重相关的率失真模型,实现快速的、更符合人眼视觉特征的视频编码。与现有技术相比,本发明具有如下有益效果及主要优点:
1、边缘检测技术的应用有利于帧内编码实现符合人眼视觉特征的码率分配。
2、基于块的运动矢量特征检测模型的建立有利于帧间编码实现符合人眼视觉特征的码率分配。
3、基于块的运动矢量特征检测模型嵌入在编码过程,不需要任何离线操作,能够对视频序列进行实时运动检测。
4、能够应用于各种基于H.264标准的视频编码系统中,可移植性强。
附图说明
图1是基于H.264的视觉关注区域编码方法框图;
图2是基于视觉关注区域的编码方法流程图;
图3是基于视觉关注度权值和SSIM的RDO流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
实施例
根据H.264编码流程,基于本发明的编码方法流程图如图1所示。该方法利用Canny边缘检测技术检测出I帧中包含重要边缘信息的宏块,依据各宏块包含边缘信息的多少调整编码量化参数,实现帧内编码比特率的合理分配;对于P帧和B帧,建立了基于宏块级的运动特征检测模型,该模型根据宏块的运动矢量与所在帧的平均运动矢量的方差分布调整编码量化参数,实现帧间编码比特率的合理分配;并在率失真优化技术的基础上,建立基于结构相似度的与视觉关注区域权重相关的率失真优化函数。
本发明提供的编码方法主要应用于解决低码率下基于H.264的视频编码系统中的码率分配的快速优化,实现在码率有限情况下人眼对视频视觉感知的更佳效果。如图1、2及3所示,具体实施方法按以下三方面的具体步骤完成:
一、基于边缘检测算法的I帧视觉关注区域检测
在本发明中,由于I帧采用帧内模式编码,对视频图像的细节如纹理、边缘能更好地保存,因而边缘检测算法将主要应用于I帧,包含较多边缘点的宏块可以认为是I帧的视觉关注区域,再根据宏块包含的边缘点所占帧边缘点比例大小分配I帧率失真优化权值以及量化参数调整等级,进而达到动态调整每个宏块码率大小的目的。其主要流程原理如下:
①在编码I帧之前,应用Canny边缘检测算法检测视觉关注区域,并统计该帧的边缘点总数;
②对于每个16x16宏块,根据宏块包含的边缘像素点个数对宏块进行分级,边缘像素点越多,宏块级别越高,在稍后的编码中将会分配更低的量化参数以提高宏块编码质量;
③根据宏块包含边缘像素点占整帧边缘像素点的比例计算出每个宏块用于率失真优化的视觉关注度权值w;
④根据宏块等级重新分配量化参数,重新分配的量化参数随着宏块等级的递增而线性递减;
⑤根据重新分配的量化参数编码I帧的每个宏块。
本实施例中,采用边缘检测算法对I帧视觉关注区域进行检测时,具体步骤如下:
①初始化结构空间和变量;
②读取一帧为当前帧curFrame,判断当前帧curFrame是否是I帧,如果是I帧,将I帧Y分量数据拷贝进临时结构空间;
③对I帧Y分量进行Canny边缘检测算法检测边缘;
④对于每个16x16宏块,根据边缘像素点的个数m分配量化参数等级level:
a)若m为0,则level为0;否则,转b);
b)若m小于8,则level为1;否则,转c);
c)若m小于24,则level为2;否则,转d);
d)若m小于56,则level为3;否则,转e);
e)若m大于或等于56,则level为4;结束level赋值。
⑤统计该帧所有边缘像素点的个数s,对于每个16x16宏块,根据边缘像素点占该帧帧边缘像素点的比例,确定该宏块用于率失真优化的视觉关注度权值w=m/s;
⑥对当前帧curFrame进行编码,在编码宏块过程中,根据宏块的量化参数等级level,对该宏块进行编码量化参数调整,具体如下:
如果level为0级,则量化参数qp减少0;
如果level为1级,则量化参数qp减少1;
如果level为2级,则量化参数qp减少2;
如果level为3级,则量化参数qp减少3;
如果level为4级,则量化参数qp减少4;
⑦使用调整后的量化参数对当前帧curFrame进行编码,直至当前帧curFrame所有宏块编码完成;
⑧若当前帧curFrame不是最后一帧,跳至第②步;否则编码结束。
二、基于运动矢量特征的P帧和B帧视觉关注区域检测
在视频序列中,物体的运动特征越突出越容易吸引人眼的关注。P帧和B帧中运动物体所占据的宏块一般具备较大的运动矢量强度,通过分析宏块的矢量强度与帧整体的运动趋势之间的关系,就可判定宏块的运动特征是否突出,将运动特征突出的宏块作为视觉关注区域进行重点编码,其他宏块则相对降低编码质量,以达到P帧和B帧码率均衡分配的效果。对于在P帧和B帧中检测到的视觉关注区域,将根据其运动矢量强度方差分配率失真优化权值,并根据运动矢量强度均值分配量化参数调整等级,以此达到动态调整宏块码率分配的目的。其主要流程原理如下:
①对于P帧或B帧中采用帧间编码模式的宏块,本发明先对所有宏块进行运动估计,得到所有宏块的运动矢量,再计算其强度;
②计算整帧所有宏块的运动矢量强度均值以及每个宏块的运动矢量强度的方差;
③根据运动矢量强度方差和该帧所有宏块的运动矢量强度方差总和之比确定每个宏块用于率失真优化的视觉关注度权值w;
④根据宏块运动矢量强度与所在帧运动矢量强度均值的关系对宏块进行分级,运动矢量强度越大等级越高;
⑤根据宏块等级重新分配量化参数,重新分配的量化参数随着宏块等级的递增而线性递减;
⑥根据重新分配的量化参数编码P帧或B帧的每个宏块。
在本实施例中,基于运动矢量特征对P帧和B帧视觉关注区域检测,具体包括以下步骤:
①初始化用于运动矢量强度计算结构体和变量;
②如果当前帧curFrame是P帧,遍历帧中所有宏块进行运动估计后提取运动矢量(x,y),将运动矢量转化为强度,强度intensity=sqrt(x*x+y*y);
③为所有宏块运动矢量强度求和,计算强度平均值avg_intensity,再根据均值确定每个宏块运动矢量强度的方差σi,并统计所有宏块强度方差的总和∑σi
④确定每个宏块用于率失真优化的视觉关注度权值wii/∑σi
⑤根据强度均值avg_intensity确定每个宏块量化参数等级level:
a)如果宏块运动矢量强度为0,则level为0;否则,转b);
b)如果宏块运动矢量强度小于或等于avg_intensity*0.5,则level为1;否则,转c);
c)如果宏块运动矢量强度小于或等于avg_intensity,则level为2;否则,转d);
d)如果宏块运动矢量强度小于或等于avg_intensity*2,则level为3;否则,转e);
e)如果宏块运动矢量强度大于avg_intensity*2,则level为4;level赋值结束。
⑥对宏块进行编码时,根据宏块的量化参数等级level对该宏块的量化参数进行调整,具体如下:
如果level为0级,则量化参数qp增加4;
如果level为1级,则量化参数qp增加3;
如果level为2级,则量化参数qp增加2;
如果level为3级,则量化参数qp增加1;
如果level为4级,则量化参数qp增加0;
⑦使用调整后的量化参数对当前帧curFrame进行编码,直至当前帧curFrame所有宏块编码完成;
⑧若当前帧curFrame不是最后一帧,跳至第②步;否则编码结束。
三、基于视觉关注度权值以及SSIM的RDO改进实施方案
本发明中采用了结构相似度(SSIM)作为了RDO失真衡量标准,取代原x264编码器中使用的SSD标准,以使编码模式的选择更为准确,同时结合前述1和2中提到的视觉关注度权值w的计算,得到本发明使用的率失真优化公式:
JCOST=K·DSSIM·(α+w)+λSSIM·RMB    (1)
(1)式中RMB为码率大小;λSSIM为率失真平衡参数,本发明中它的取值与x264原有SSD失真标准下的相同;DSSIM为失真度,这里表示为1-SSIM,SSIM取值范围是[0,1]。假设原图像为x,重建图像为y,则x和y的结构相似度SSIM可表示为:
SSIM(x,y)=l(x,y)·c(x,y)·s(x,y)    (2)
(2)式中,I(x,y)、c(x,y)、s(x,y)分别表示两图像的亮度相关性、对比度相关性以及结构相关性。(具体见Wang Zhou,Bovik AC等人著的A universal image quality index一文)。
(1)式中K和α是经验值,通过大量的实验表明,给I帧和P帧、B帧分配不同的K值可以得到较好的率失真优化效果。本发明中设置α为0.01,对于K的设置如下:
①I帧中非精细化RDO以及16x16分块下精细化RDO的K值为300000,4x4分块下精细化RDO的K值为5000;
②对于P帧和B帧非精细化RDO,统计帧中运动矢量强度不为0的宏块数占帧宏块总数的比例,若比例大于60%则K值设为300000,否则K值设为100000;精细化RDO下K值设为30000。
在本实施例中,改进后的x264基于视觉关注度权值和SSIM的RDO可分为以下步骤:
①使用SSIM计算函数替换x264编码器I、P、B通用RDO函数x264_rd_cost_mb、I帧4x4分块下精细化RDO函数264_rd_cost_i4x4以及P帧精细化RDO函数x264_rd_cost_part、x264_rd_cost_subpart中原有的SSD计算函数,I帧8x8分块下精细化RDO函数由于未启用而不替换,SSIM的计算由公式(2)得到;
②在第一轮RDO中,确定宏块的最佳分块模式,此阶段的RDO函数是I、P、B帧通用RDO函数。根据公式(1),如果当前编码帧是I帧,则经验值K设为300000,如果是P或B帧,则根据当前编码帧中运动矢量不为0的比例分配K值,如果该比例大于60%,则设置K值为300000,否则设为100000;
③在精细化RDO中,对最佳分块模式下各种预测模式进行率失真代价计算,以确定最佳预测模式。此阶段I帧16x16分块下精细化RDO函数的K值设为300000,4x4分块下精细化RDO函数K值设为5000,P帧和B帧精细化RDO函数K值设为30000;
④根据公式(1),在I、P、B帧通用RDO函数以及各精细化RDO函数中加入每个宏块的视觉关注度权值的影响,即K*(1-SSIM)*(α+w),经验值α设为0.01,w为每个宏块视觉关注度权值;
⑤公式(1)中λSSIM·RMB的计算按照x264原有计算完成,接着各RDO函数返回公式(1)计算的结果,即RDO代价JCOST用于帧内预测或帧间预测模式的选择。
表1本方法定义的主要数据结构和变量
变量 类型 说明
width int 视频序列像素的宽度
height int 视频序列像素的高度
cur_frame unsigned char* 当前编码帧
rs_frame unsigned char* 检测出边缘区域的结果帧
level int* 16x16宏块量化参数调整等级
edge_mb int* 16x16宏块边缘点个数
weight_I float* I帧16x16宏块视觉关注度权值
intensity double* 4x4块运动矢量强度
intensity_mb double* 16x16宏块运动矢量强度
sum_intensity double 16x16宏块运动矢量强度总值
avg_intensity double 16x16宏块运动矢量强度平均值
var_intensity_mb double* 16x16宏块运动矢量强度方差
sum_var_intensity double 16x16宏块运动矢量强度方差总值
weight_PB float* P/B帧16x16宏块视觉关注度权值
本专利提出的视频编码方法可以用于基于H.264标准的各种视频编码系统中。这里以x264为例说明这种视频编码方法的效果。采用本专利提出的视频编码方法对x264进行改进,并对测试序列“Foreman”、“Hall”、“Akiyo”等10个视频序列分别进行编码,固定编码档次为main profile,编码帧数上限为300,I帧间隔为15,subme参数设为8,固定目标码率,其他编码参数采用默认值,得到的编码结果如表2所示。
从表2可以看出,本专利提出的基于视觉关注区域的编码方法在低码率给定编码目标码率的情况下取得了较好的视觉效果提升,SSIM平均提升了约0.008,同时在PSNR上也有一定的提升。
表2基于视觉关注区域编码方法的编码与原始x264编码下的结果对比
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (8)

1.一种低码率下视觉关注区域的视频编码方法,其特征在于,包含以下几个步骤:
S1、读取当前编码帧,判断当前编码帧类别,确定当前编码帧视觉关注区域;
S2、确定当前编码帧所有宏块的量化参数调整等级;
S3、确定当前编码帧所有宏块的视觉关注度权值;
S4、采用结构相似度SSIM作为宏块预测模式选择时RDO失真衡量标准;
S5、根据视觉关注度权值确定新的RDO代价计算公式;
S6、确定新的RDO代价计算公式中的经验值;
S7、根据新的RDO代价计算公式计算每种预测模式下的RDO代价;
S8、根据宏块等级重新分配每个宏块的编码量化参数;
S9、根据重新分配的量化参数编码当前编码帧的每个宏块;
重复步骤S1到S9,直到编码结束。
2.根据权利要求1所述的低码率下视觉关注区域的视频编码方法,其特征在于,所述的步骤S1中,如果当前编码帧是I帧,则通过Canny边缘检测算法检测视觉关注区域,并统计该帧的边缘点总数;如果当前编码帧是P帧或B帧,则根据运动矢量特征分布得到视觉关注区域,对所有宏块进行运动估计,得到宏块运动矢量,如果宏块运动矢量为(x,y),则其强度为
Figure FDA00002616695500011
再计算宏块运动矢量强度均值以及方差,并统计该帧所有运动矢量强度方差之和。
3.根据权利要求1所述的低码率下视觉关注区域的视频编码方法,其特征在于,所述的步骤S2中,如果当前编码帧是I帧,根据宏块包含的边缘像素点个数对宏块进行分级;如果当前编码帧是P帧或B帧,根据宏块运动矢量强度与所在帧运动矢量强度均值的关系判定该宏块的量化参数等级。
4.根据权利要求1所述的低码率下视觉关注区域的视频编码方法,其特征在于,所述的步骤S3中,对于I帧中的宏块,视觉关注度权值等于该宏块包含边缘像素点占整帧边缘像素点的比例;对于P帧和B帧的宏块,视觉关注度权值等于该宏块运动矢量强度方差和该帧所有宏块的运动矢量强度方差总和之比。
5.根据权利要求1所述的低码率下视觉关注区域的视频编码方法,其特征在于,所述的步骤S4中,在采用结构相似度SSIM作为失真准则进行宏块预测模式选择时,假设原图像为x,重建图像为y,则x和y的结构相似度SSIM可表示为:SSIM(x,y)=l(x,y)·c(x,y)·s(x,y),其中l(x,y)、c(x,y)、s(x,y)分别表示两图像的亮度相关性、对比度相关性以及结构相关性。
6.根据权利要求1或5所述的低码率下视觉关注区域的视频编码方法,其特征在于,所述的步骤S5中,新的RDO代价计算公式为:JCOST=K·DSSIM·(α+w)+λSSIM·RMB;其中RMB为码率大小;λSSIM为率失真平衡参数,取值与x264原有SSD失真标准下的相同;DSSIM为失真度,取值范围为[0,1];w为视觉关注度权值;K和α为经验值。
7.根据权利要求6所述的低码率下视觉关注区域的视频编码方法,其特征在于,所述的步骤S6中,确定经验值α为0.01,并确定经验值K为:I帧中非精细化RDO以及16x16分块下精细化RDO的K值为300000,4x4分块下精细化RDO的K值为5000;对于P帧和B帧非精细化RDO,统计帧中运动矢量强度不为0的宏块数占帧宏块总数的比例,若比例大于60%则K值设为300000,否则K值设为100000;精细化RDO下K值设为30000。
8.根据权利要求6所述的低码率下视觉关注区域的视频编码方法,其特征在于,所述的步骤S8中,量化参数的调整根据宏块级别得到,重新分配的量化参数随着宏块等级的递增而线性递减,对I帧宏块降低其量化参数,而对P帧或B帧宏块则提高其量化参数。
CN201210557415.XA 2012-12-19 2012-12-19 一种低码率下视觉关注区域的视频编码方法 Expired - Fee Related CN103079063B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210557415.XA CN103079063B (zh) 2012-12-19 2012-12-19 一种低码率下视觉关注区域的视频编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210557415.XA CN103079063B (zh) 2012-12-19 2012-12-19 一种低码率下视觉关注区域的视频编码方法

Publications (2)

Publication Number Publication Date
CN103079063A true CN103079063A (zh) 2013-05-01
CN103079063B CN103079063B (zh) 2015-08-26

Family

ID=48155459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210557415.XA Expired - Fee Related CN103079063B (zh) 2012-12-19 2012-12-19 一种低码率下视觉关注区域的视频编码方法

Country Status (1)

Country Link
CN (1) CN103079063B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103237221A (zh) * 2013-05-07 2013-08-07 南京信息工程大学 一种基于结构相似性系数的h.264帧层码率控制方法
CN103957417A (zh) * 2014-04-21 2014-07-30 深圳市视晶无线技术有限公司 一种高鲁棒性的视频编、解码方法及系统
CN104954792A (zh) * 2014-03-24 2015-09-30 兴唐通信科技有限公司 一种对p帧序列进行主观视频质量优化编码的方法及装置
CN105049850A (zh) * 2015-03-24 2015-11-11 上海大学 基于感兴趣区域的hevc码率控制方法
CN105282553A (zh) * 2014-06-04 2016-01-27 鸿富锦精密工业(深圳)有限公司 视频编码装置及方法
CN103618906B (zh) * 2013-12-09 2016-06-29 南京信息工程大学 一种基于主观视频质量的h.264码率控制方法
CN106162184A (zh) * 2016-07-28 2016-11-23 华为技术有限公司 一种数据块编码方法及装置
CN106254868A (zh) * 2016-08-19 2016-12-21 浙江宇视科技有限公司 视频编码码率控制方法、装置及系统
CN106658027A (zh) * 2016-11-28 2017-05-10 北京理工大学 背景帧的码率控制方法和装置
CN107211091A (zh) * 2014-12-19 2017-09-26 索尼公司 成像传感器子区域中的选择性高帧速率视频捕获
CN107635115A (zh) * 2017-10-09 2018-01-26 深圳市天视通电子科技有限公司 一种实现超低码率的方法、存储介质及电子设备
CN108574844A (zh) * 2017-03-13 2018-09-25 信阳师范学院 一种时空显著感知的多策略视频帧率提升方法
CN109587487A (zh) * 2017-09-28 2019-04-05 上海富瀚微电子股份有限公司 一种对rdo策略的结构性失真度的评估方法及系统
CN110365981A (zh) * 2019-07-10 2019-10-22 中移(杭州)信息技术有限公司 一种视频编码方法、装置、电子设备及存储介质
CN110807392A (zh) * 2019-10-25 2020-02-18 浙江大华技术股份有限公司 编码控制方法以及相关装置
CN110996101A (zh) * 2019-11-22 2020-04-10 网宿科技股份有限公司 一种视频编码的方法和装置
CN113630619A (zh) * 2021-08-12 2021-11-09 三星电子(中国)研发中心 节目录制方法和装置
CN114584772A (zh) * 2022-05-07 2022-06-03 宁波康达凯能医疗科技有限公司 一种基于视觉注意力的全视场视频编码方法与系统

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103237221B (zh) * 2013-05-07 2016-03-30 南京信息工程大学 一种基于结构相似性系数的h.264帧层码率控制方法
CN103237221A (zh) * 2013-05-07 2013-08-07 南京信息工程大学 一种基于结构相似性系数的h.264帧层码率控制方法
CN103618906B (zh) * 2013-12-09 2016-06-29 南京信息工程大学 一种基于主观视频质量的h.264码率控制方法
CN104954792B (zh) * 2014-03-24 2018-02-27 兴唐通信科技有限公司 一种对p帧序列进行主观视频质量优化编码的方法及装置
CN104954792A (zh) * 2014-03-24 2015-09-30 兴唐通信科技有限公司 一种对p帧序列进行主观视频质量优化编码的方法及装置
CN103957417A (zh) * 2014-04-21 2014-07-30 深圳市视晶无线技术有限公司 一种高鲁棒性的视频编、解码方法及系统
CN103957417B (zh) * 2014-04-21 2018-01-12 深圳市视晶无线技术有限公司 一种高鲁棒性的视频编码方法及系统
CN105282553A (zh) * 2014-06-04 2016-01-27 鸿富锦精密工业(深圳)有限公司 视频编码装置及方法
CN105282553B (zh) * 2014-06-04 2018-08-07 南宁富桂精密工业有限公司 视频编码装置及方法
CN107211091A (zh) * 2014-12-19 2017-09-26 索尼公司 成像传感器子区域中的选择性高帧速率视频捕获
CN105049850A (zh) * 2015-03-24 2015-11-11 上海大学 基于感兴趣区域的hevc码率控制方法
CN105049850B (zh) * 2015-03-24 2018-03-06 上海大学 基于感兴趣区域的hevc码率控制方法
CN106162184A (zh) * 2016-07-28 2016-11-23 华为技术有限公司 一种数据块编码方法及装置
US11019343B2 (en) 2016-07-28 2021-05-25 Huawei Technologies Co., Ltd. Data block encoding method and apparatus
CN106254868A (zh) * 2016-08-19 2016-12-21 浙江宇视科技有限公司 视频编码码率控制方法、装置及系统
CN106254868B (zh) * 2016-08-19 2019-08-27 浙江宇视科技有限公司 视频编码码率控制方法、装置及系统
CN106658027A (zh) * 2016-11-28 2017-05-10 北京理工大学 背景帧的码率控制方法和装置
CN106658027B (zh) * 2016-11-28 2019-05-24 北京理工大学 背景帧的码率控制方法和装置
CN108574844A (zh) * 2017-03-13 2018-09-25 信阳师范学院 一种时空显著感知的多策略视频帧率提升方法
CN108574844B (zh) * 2017-03-13 2021-09-28 信阳师范学院 一种时空显著感知的多策略视频帧率提升方法
CN109587487A (zh) * 2017-09-28 2019-04-05 上海富瀚微电子股份有限公司 一种对rdo策略的结构性失真度的评估方法及系统
CN109587487B (zh) * 2017-09-28 2020-08-21 上海富瀚微电子股份有限公司 一种对rdo策略的结构性失真度的评估方法及系统
CN107635115A (zh) * 2017-10-09 2018-01-26 深圳市天视通电子科技有限公司 一种实现超低码率的方法、存储介质及电子设备
CN110365981A (zh) * 2019-07-10 2019-10-22 中移(杭州)信息技术有限公司 一种视频编码方法、装置、电子设备及存储介质
CN110807392A (zh) * 2019-10-25 2020-02-18 浙江大华技术股份有限公司 编码控制方法以及相关装置
CN110807392B (zh) * 2019-10-25 2022-09-06 浙江大华技术股份有限公司 编码控制方法以及相关装置
CN110996101A (zh) * 2019-11-22 2020-04-10 网宿科技股份有限公司 一种视频编码的方法和装置
CN113630619A (zh) * 2021-08-12 2021-11-09 三星电子(中国)研发中心 节目录制方法和装置
CN114584772A (zh) * 2022-05-07 2022-06-03 宁波康达凯能医疗科技有限公司 一种基于视觉注意力的全视场视频编码方法与系统

Also Published As

Publication number Publication date
CN103079063B (zh) 2015-08-26

Similar Documents

Publication Publication Date Title
CN103079063B (zh) 一种低码率下视觉关注区域的视频编码方法
CN101184221A (zh) 基于视觉关注度的视频编码方法
CN103124347B (zh) 利用视觉感知特性指导多视点视频编码量化过程的方法
CN101534436B (zh) 一种视频图像宏块级自适应码率分配方法
CN103634601B (zh) 基于结构相似度的高效视频编码感知码率控制优化方法
CN101827267B (zh) 基于视频图像分割技术的码率控制方法
CN103607590B (zh) 基于结构相似度的高效视频编码感知率失真优化方法
CN102420988B (zh) 一种利用视觉特性的多视点视频编码系统
CN106604031A (zh) 一种基于兴趣区域的h.265视频质量提升方法
CN101325711A (zh) 基于时空掩盖效应的自适应码率控制方法
CN105120290B (zh) 一种深度视频快速编码方法
CN104539962A (zh) 一种融合视觉感知特征的可分层视频编码方法
CN101448159B (zh) 一种基于率失真代价和模式频率的快速帧间模式选择方法
CN104469386B (zh) 一种基于dof的恰可察觉误差模型的感知立体视频编码方法
CN100592798C (zh) 一种视频编码快速变换量化的实现方法
Rehman et al. SSIM-inspired perceptual video coding for HEVC
CN107087200A (zh) 针对高效率视频编码标准的跳过编码模式提前判决方法
CN107454413B (zh) 一种保留特征的视频编码方法
CN103581670A (zh) H264自适应帧内模式选择码率估计的率失真优化方法及其装置
CN104065962A (zh) 基于视觉注意的宏块层比特分配优化方法
CN107580217A (zh) 编码方法及其装置
CN103618906B (zh) 一种基于主观视频质量的h.264码率控制方法
CN108769696A (zh) 一种基于Fisher判别式的DVC-HEVC视频转码方法
CN102663682A (zh) 基于感兴趣区域的自适应图像增强方法
EP2070048B1 (en) Spatial masking using a spatial activity metric

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150826

Termination date: 20201219

CF01 Termination of patent right due to non-payment of annual fee