CN104581170B - 基于hevc降视频分辨率的快速帧间转码的方法 - Google Patents
基于hevc降视频分辨率的快速帧间转码的方法 Download PDFInfo
- Publication number
- CN104581170B CN104581170B CN201510034310.XA CN201510034310A CN104581170B CN 104581170 B CN104581170 B CN 104581170B CN 201510034310 A CN201510034310 A CN 201510034310A CN 104581170 B CN104581170 B CN 104581170B
- Authority
- CN
- China
- Prior art keywords
- resolution
- row
- video
- patterns
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明涉及一种基于HEVC降视频分辨率的快速帧间转码的方法,属于视频分辨率技术领域。该方法从分析HEVC高分辨率视频与其对应的低分辨率视频CU划分和PU编码方式的相似性入手的快速帧间转码算法,利用高分辨率视频在HEVC解码端帧间预测的CU划分、MV等信息,来确定与之对应的低分辨率视频在HEVC编码端中CU的划分和PU的预测模式,从而节省了帧间转码过程中模式判决的计算复杂度。本发明的转码方法,在比特率和视频质量损失非常小的情况下,较大幅度地降低了编码的计算复杂度;从而节约编码时间。
Description
技术领域
本发明涉及视频编码中视频分辨率技术,特别涉及一种基于高效视频编码标准(HEVC)的降视频分辨率的快速帧间转码的方法,属于视频分辨率技术领域。
背景技术
随着网络和摄像技术的发展以及终端处理能力的提高,人们对于视频质量的需求也随之提高,普及高清视频的观念已深入人心,人们迫切希望高清视频能够广泛的应用于生产生活的各个领域。然而视频分辨率的提高对视频压缩编码的压缩性能提出了更高的要求,高级视频编码标准(Advanced Video Coding,H.264/AVC),也称新视频压缩标准的宏块机制带来的局限性也就越发明显。为解决这一问题,ITU_T视频编码专家组(Video CodingExperts Group,VCEG)和ISO/IEC运动图像专家组(Moving Picture Experts Group,MPEG)在H.264/AVC视频编码标准的基础上提出了新一代高效视频编码标准(High EfficiencyVideo Coding,HEVC),又称H.265。相较于H.264/AVC新视频压缩标准,该H.265标准能够在保证相同视频图像质量的前提下,将压缩效率提高一倍,即能使视频流的码率减少50%。因此它适用于处理高清视频图像,尤其适合应用在视频的网络传输中。由于它自身具有的高视频压缩率,会大大减少视频在网络传输中所占的带宽,降低视频传输的成本;以及减少用户下载视频时耗费的流量,使视频的下载速度更快,在线观看更加流畅,大幅度地缓解了卡机情况,在提高视频网站的用户体验上发挥着举足轻重的作用。
与此同时随着宽带的普及和第四代移动通信技术(以下简称4G)网络的兴起,再加上网络视频自身所具有的快速、开放、共享、自由、可存储的特性,越来越多人群选择使用各种移动终端设备如手机、PAD等新兴起的网络视频播放平台上网观看视频;视频网站也紧跟用户需求,为用户提供了越来越多的高清网络视频。视频播放设备通过有限带宽的信道获得网络中存储的高清视频流,然后对其进行解码继而播放。但是由于移动终端设备的各项性能比传统的个人计算机要低得多,如中央处理器(CPU),显卡,显示屏等,这就限制了移动终端所播放的视频的分辨率。如果解码后得到的视频分辨率高于视频播放器所能处理的最大视频分辨率,为保证视频的正常播放,就需要将视频从高分辨率转换到低分辨率。从以上可知,降视频分辨率转码在视频的网络传输中十分普遍,同时HEVC是当前主流的编码标准,因而基于HEVC的降视频分辨率转码具有十分广阔的应用前景。
降视频分辨率转码属于视频的空间分辨率转码范畴,由于空间分辨率转码应用十分广泛,因此它一直是众多学者研究的热点问题。传统的HEVC空间分辨率转码如下:首先对高分辨率视频进行下采样,然后对下采样得到的低分辨率视频进行HEVC全编码,该方法又称HEVC直接级联转码方法,其算法复杂度高,耗费时间长。与此同时,在进行HEVC全编码的过程中,其算法的复杂度又主要集中在对编码单元(Coding Unit,CU)的四叉树划分上,四叉树划分的目的在于确定CU的尺寸和预测单元(PredictionUnit,PU)的PU模式。鉴于此,本课题组研究人员进行探索研究,提出一种如果能够将高分辨率视频的HEVC编码模式应用于对低分辨率视频的编码中,通过削减对低分辨率视频进行HEVC编码时确定CU尺寸和PU模式的四叉树划分来降低转码算法复杂度,从而减少对低分辨率视频进行编码的时间,进而达到对低分辨率视频进行快速编码的目的,这正是本发明的任务所在。
发明内容
本发明旨在提出一种基于HEVC降视频分辨率的快速帧间转码的方法,该方法是通过降视频分辨率的快速帧间转码算法,试图以减少转码算法的计算复杂度来减少对低分辨率视频的编码时间;从而达到对由高分辨率视频下采样得到的低分辨率视频进行快速编码的目的;而实现快速帧间转码的方法是由转码器的转码过程来完成。
本发明提出的基于HEVC降视频分辨率的快速帧间转码的方法的转码算法中,在对下采样得到的低分辨率视频进行编码时,利用从HEVC解码端获取的相应的高分辨率视频的编码模式包括编码单元(Coding Unit,CU)尺寸,预测单元(Prediction Unit,PU)的PU预测模式和运动矢量(Motion Vector,MV),来快速确定高分辨率视频对应的低分辨视频的编码模式,包括CU尺寸及其PU的预测模式和运动矢量(MV),这可大大降低低分辨率视频的帧间编码过程中预测模式判决的计算复杂度,从而达到减少编码时间的目的。
本发明提出的基于HEVC降视频分辨率的快速帧间转码的方法,包括以下步骤:
步骤1:对高分辨率视频采用基于梯度自适应下采样方法对其YUV序列进行下采样获得低分辨率视频,在下采样过程中分别对YUV序列的Y、U和V分量进行下采样,并将其每一帧分量存储在计算机中以待备用;
步骤2:在转码器中HEVC解码端对其标准的高分辨率视频码流进行解码,并从中提取相应的高分辨率视频帧间编码模式,包括编码单元(CU)的尺寸,预测单元(PU)的预测模式以及运动矢量(MV),并将这些编码模式存储在计算机中以备待用;
步骤3:利用步骤2中提取的高分辨率视频的帧间编码模式来快速确定相应的低分辨率视频的帧间编码模式;
步骤4:在HEVC标准下进行对低分辨率视频的编解码时,将步骤3中确定的低分辨率视频的编码模式包括CU的尺寸,PU的预测模式和运动矢量(MV)用在低分辨率视频的HEVC编码中;在帧内预测中,遵循HEVC全编码的方法遍历帧内预测中所有的PU模式,并筛选出最优的PU模式;记录编码实验结果包括编码时间、比特率(Bitrate)和峰值信噪比(PSNR);
步骤3中,所述确定相应的低分辨率视频的帧间编码模式遵循如下的规则:
首先判断高分辨率视频中相邻的四个预测单元PU模式均为2N×2N的编码单元CU是否属于同一帧,并且判断它们是否均属于最大编码单元(Largest Coding Unit,LCU),如果这两个条件均能满足,接着判断这四个LCU的运动矢量(MV)是否相近并据此判断下采样后的编码模式,此时,低分辨率视频编码模式的确定遵循的规则如下:
①所述四个LCU中每一行两个分块之间的MV之差与每一列两个分块的MV的差值均小于给定的阈值θ,则低分辨率视频中相应编码单元的编码模式为:CU尺寸为64×64,PU模式为2N×2N,初始MV为四个LCU的MV均值的一半;
②第一列,第二列中两个CU的MV之差至少有一个大于或等于阈值θ,则第一列和第二列不能进行组块;第一行,第二行中两个CU的MV之差均小于阈值θ,那么第一行和第二行可以进行组块,则低分辨率视频中相应编码单元的编码模式为:CU尺寸为64×64,PU模式为2N×N,第一行PU的初始MV对应第一行两个LCU的MV的均值的一半,第二行PU的初始MV对应第二行两个LCU的MV的均值的一半;
③第一行,第二行中两个CU的MV之差至少有一个大于或等于阈值θ,则第一行和第二行不能进行组块;第一列、第二列中两个CU的MV之差均小于阈值θ,那么第一列和第二列可以进行组块,则低分辨率视频中相应编码单元的编码模式为:CU尺寸为64×64,PU模式为N×2N,第一列PU的初始MV对应第一列的两个LCU的MV的均值的一半,第二列PU的初始MV对应第二列的两个LCU的MV的均值的一半。
上述技术方案的步骤3中,所述确定相应的低分辨率视频的帧间编码模式遵循如下的规则:
如果高分辨率视频中相邻的四个LCU不满足其预测单元PU模式均为2N×2N且四个相邻的LCU属于同一帧的组块条件,则不予组块;此时低分辨率视频编码模式的确定遵循的规则如下:
①CU尺寸为64×64,PU模式为2N×2N,则对应的低分辨率视频中相应编码单元的编码模式为:CU尺寸为32×32,PU模式为2N×2N,初始MV取高分辨率PU的MV的一半;
②CU尺寸为64×64,PU模式为2N×N,则对应的低分辨率视频中相应编码单元的编码模式为:CU尺寸为32×32,PU模式为2N×N,或者2N×nU,或者2N×nD,第一行PU的初始MV取对应高分辨率第一行PU的初始MV的一半,第二行PU的初始MV取对应高分辨率第二行PU的初始MV的一半;
③CU尺寸为64×64,PU模式为N×2N,则对应的低分辨率视频中相应编码单元的编码模式为:CU尺寸为32×32,PU模式为N×2N,或者nL×2N,或者nR×2N,第一列PU的初始MV取对应高分辨率第一列PU的初始MV的一半,第二列PU的初始MV取对应高分辨率第二列PU的初始MV的一半。
上述技术方案的步骤3中,所述确定相应的低分辨率视频的帧间编码模式遵循如下的规则:
所述CU尺寸为32×32时,由于32×32CU和16×16CU的PU模式相同,都是7种,因此低分辨率视频中相应的编码单元的编码模式为:CU尺寸为16×16,PU模式和32×32的CU的PU模式一一对应,PU的初始MV取对应高分辨率PU的MV的一半;
上述技术方案的步骤3中,所述确定相应的低分辨率视频的帧间编码模式遵循如下的规则:
CU尺寸为16×16,其PU模式有对称和非对称之分;如果PU模式是对称的,分别为2N×2N、或2N×N、或N×2N,则低分辨率视频中相应编码单元的编码模式为:CU尺寸为8×8,PU模式分别为2N×2N、或2N×N、或N×2N,初始MV取对应高分辨率PU的MV的一半;如果PU模式是非对称模式中的2N×nU或2N×nD,则低分辨率视频中相应编码单元的PU模式为2N×N;如果PU模式是非对称模式中的nL×2N和nR×2N,则低分辨率视频中相应编码单元的PU模式为N×2N,PU的初始MV分别取对应高分辨率PU的MV平均值的一半。
上述技术方案的步骤3中,所述确定相应的低分辨率视频的帧间编码模式遵循如下的规则:
CU尺寸为8×8时,因为HEVC中最小的编码单元就是8×8,所以无论其是什么模式,下采样后低分辨率视频编码单元的编码模式均为:CU尺寸为8×8,PU模式通过遍历8×8所有的PU模式,包括2N×2N、2N×N及N×2N、N×N来确定最终的PU模式,PU的初始MV则取高分辨率对应区域MV按照面积加权平均值的一半。
上述技术方案中,所述HEVC标准中的编码单元CU的分割深度为0~3。
上述技术方案中,所述HEVC标准中的编码单元CU的分割方式有0、1、2和3共四种分割深度。
上述技术方案中,所述HEVC标准中的预测单元PU采用对称预测模式。
上述技术方案中,所述HEVC标准中的帧内预测PU模式全部遍历。
上述技术方案中,所述给定的阈值θ,根据此设定的MV差θ为(4,4),坐标的单位为1/4像素。
本发明对高分辨率视频进行下采样时,采样因子取值为2,因此通过下采样得到的低分辨率视频的长和宽是对应的高分辨率视频长和宽的一半。
本发明与现有技术相比所具有的优点及有益技术效果:
1、本发明提出的基于HEVC降视频分辨率的快速帧间转码的方法,与传统的HEVC全编码方法相比,减少了编码时间,从而达到快速编码的目的。
2、本发明提出的基于HEVC降视频分辨率的快速帧间转码的方法,是通过利用已知的高分辨率视频的CU四叉树划分信息,这样削减了低分辨率视频帧间编码时CU的四叉树划分,进而降低CU四叉树划分的计算复杂度。
3、本发明提出的基于HEVC降视频分辨率的快速帧间转码的方法,通过利用已知的高分辨率视频的PU模式和运动信息MV,确定低分辨率视频帧间编码时的PU模式,进而降低了PU模式判定和获取运动矢量MV的计算复杂度。
4、本发明提出的基于HEVC降视频分辨率的快速帧间转码的方法,通过采用帧间编码从高分辨率到低分辨率的降视频分辨率的快速帧间转码算法,从而减少了整个帧间预测的编码时间。
附图说明
图1本发明实现基于HEVC降视频分辨率的快速帧间转码的方法的转码器在转码过程中整个转码算法的流程示意图;
图2为本发明高分辨率视频中四个相邻的满足组块条件64×64的最大编码单元的组块前后模式对应关系,其中,
满足条件1是指:MV01、MV02、MV13和MV23均小于给定的阈值θ;
满足条件2是指:MV01和MV23均小于指定的阈值θ,或MV02和MV13至少有一个大于或等于给定的阈值θ;
满足条件3是指:MV02和MV13均小于指定的阈值θ,或MV01和MV23至少有一个大于或等于给定的阈值θ;
图3为本发明不满足组块条件的64×64最大编码单元的模式对应关系;
图4为本发明32×32的CU模式对应关系;
图5为本发明16×16的CU模式对应关系;
图6为本发明8×8的CU模式对应关系。
具体实施方式
下面结合附图并用具体实施例对本发明作进一步详细描述,所述实施例只是对本发明的实现方法作一个具体的详细说明,而不应理解为是对本发明保护内容的任何限制。
实施例
图1中的转码器为在整个转码算法中的流程图,包括HEVC高分辨率视频流和HEVC低分辨率视频流、熵解码和熵编码、反量化和量化、反变换和变换、编码模式对应、帧间模式判决、帧内模式判决等构成的编解码模块。所述转码器是在计算机系统中运行、操作。
本实例中,通过采用降视频分辨率的快速帧间转码算法对一个大小为1220×1080的HEVC标准视频序列ParkScene_1920x1080_24.yuv进行降视频分辨率处理,按照图1所示的实现基于HEVC降视频分辨率的快速帧间转码的方法的转码算法流程图进行,操作步骤如下:
第一步:先对高分辨率视频采用基于梯度的自适应下采样方法对ParkScene_1920x1080_24.yuv进行下采样处理得到大小为060×540的视频序列,并将其命名为ParkScene_960x540_24.yuv,存储计算机中待用;在下采样的过程中,以一帧为单位进行处理;一帧的组成部分包括Y、U、V三个分量,对这三个分量进行相同的操作处理。具体操作步骤如下:
(1)读取高分辨率视频一帧的Y分量,并利用索贝尔(sobel)算子计算每一个像素点的Y分量的梯度值(CradisntY),并存储在计算机中;
(2)利用步骤(1)中获得的每一个像素点所有Y分量梯度值之和除以Y分量的个数,获得Y分量的梯度值的平均值GradientY_ave;
(3)计算一个下采样点所对应的高分辨率视频YUV序列中的四个像素点的Y分量的梯度均值GradiencYave_4,并将其与GradientY_ave进行比较,如果GradientYave_4>GradientY_ave,说明这四个像素点所处区域的纹理复杂,则采用双线性插值采样模板采样,如果GradientYave4≤GradientY_ave,说明这四个像素点所处区域的纹理简单,则采用双三次插值下采样模板采样;
(4)采用上述(1),(2),(3)三个步骤,同样对U和V分量进行处理,处理结束之后,下采样操作完成,生成与高分辨率视频对应的低分辨率视频,并将低分辨率视频存储在计算机中以备待用;
第二步:在计算机上打开一个HEVC官方标准测试模型HM,本实例选择的版本是HM16.0,配置文件选择帧间编码的cfg文件:encoder_lowdelay_P_main.cfg,量化步长(QP)取22;对ParkScene_1920x1080_24.yuv进行HEVC全编码,编码结束后获得ParkScene_1920x1080_24.yuv的码流,然后对该码流进行解码,在解码的过程中提取出ParkScene_1920x1080_24.yuv的帧间编码模式包括CU尺寸,PU预测模式和运动矢量MV,并将这些帧间编码模式存储于计算机中待用;
第三步:利用第二步中获得的ParkScene_1920x1080_24.yuv帧间编码模式,来确定低分辨率视频ParkScene_960x540_24.yuv的帧间编码模式,包括CU尺寸,PU预测模式和运动矢量MV,并将这些编码模式存储计算机中以备待用;在具体确定相应的低分辨率视频ParkScene_960x540_24.yuv的帧间编码模式时,遵循的具体规则如下:
(1)根据提取出来的ParkScene_1920x1080_24.yuv帧间编码模式,首先判断ParkScene_1920x1080_24.yuv中相邻的四个预测单元PU模式均为2N×2N的编码单元CU是否属于同一帧,并且判断它们是否均属最大编码单元(Largest Coding Unit,LCU),如果这两个条件均能满足,接着判断这四个LCU的运动矢量(MV)是否相近并据此判断低分辨率视频ParkScene_960x540_24.yuv编码模式,确定相应的低分辨率视频的编码模式遵循的规则如下:
①所述四个LCU中每一行两个分块之间的MV之差与每一列两个分块的MV的插值均小于给定的阈值θ,则低分辨率视频ParkScene_960x540_24.yuv中相应编码单元的编码模式为:CU尺寸为64×64,PU模式为2N×2N,初始MV为四个LCU的MV均值的一半;
②第一列,第二列中两个CU的MV之差至少有一个大于或等于阈值θ,则第一列和第二列不能进行组块;第一行,第二行中两个CU的MV均小于阈值θ,那么第一行和第二行可以进行组块,则低分辨率视频ParkScene_960x540_24.yuv相应的编码单元的编码模式为:CU尺寸为64×64,PU模式为2N×N,第一行PU的初始MV对应第一行两个LCU的MV的均值的一半,第二行PU的初始MV对应第二行两个LCU的MV的均值的一半;
③第一行,第二行中两个CU的MV之差至少有一个大于或等于阈值θ,则第一行和第二行不能进行组块;第一列、第二列中两个CU的MV均小于阈值θ,那么第一列和第二列可以进行组块,则低分辨率视频ParkScene_960x540_24.yuv中相应的编码单元的编码模式为:CU尺寸为64×64,PU模式为N×2N,第一列PU的初始MV对应第一列的两个LCU的MV的均值的一半,第二列PU的初始MV对应第二列的两个LCU的MV的均值的一半。
上面所述的阈值θ是一个经验值,在HEVC标准测试模型HM中在运动矢量差θ取不同值时对HEVC标准视频序列进行本实例的转码操作,获得低分辨率视频的码流,并从该码流中提取低分辨率视频最终的CU尺寸和PU模式,通过比较发现当矢量MV差θ取(4,4),坐标单位为1/4像素时,得到的转码后HEVC标准视频的CU尺寸及PU模式与对低分辨率视频进行HEVC全编码后得到的CU尺寸及PU模式相似度最高;故本实例所述的MV差θ设定为(4,4)。
(2)如果高分辨率视频相邻的四个LCU不满足组合的条件,低分辨率视频ParkScene_960x540_24.yuv编码模式确定规则如下:
①CU尺寸为64×64,PU模式为2N×2N,则对应的低分辨率视频ParkScene_960x540_24.yuv中相应的编码单元的编码模式为:CU尺寸为32×32,PU模式为2N×2N,初始MV取高分辨率PU的MV的一半;
②CU尺寸为64×64,PU模式为2N×N,则低分辨率视频ParkScene_960x540_24.yuv中相应的编码单元的编码模式为:CU尺寸为32×32,PU模式为2N×N,或者2N×nU,或者2N×nD,这是因为64×64的CU没有非对称的PU模式,因此需要将非对称的模式加入,筛选出最优的模式,第一行PU的初始MV取对应高分辨率第一行PU的初始MV的一半,第二行PU的初始MV取对应高分辨率第二行PU的初始MV的一半;
③CU尺寸为64×64,PU模式为N×2N,则对应的低分辨率视频ParkScene_960x540_24.yuv中相应的编码单元的编码模式为:CU尺寸为32×32,PU模式为N×2N,或者nL×2N或者nR×2N,第一列PU的初始MV取对应高分辨率第一列PU的初始MV的一半,第二列PU的初始MV取对应高分辨率第二列PU的初始MV的一半。
(3)CU尺寸为32×32时,由于32×32CU和16×16CU的PU模式相同,都是7种,因此低分辨率视频ParkScene_960x540_24.yuv中相应的编码单元的编码模式为:CU尺寸为16×16,PU模式一一对应,PU的初始MV取对应高分辨率PU的MV的一半。
(4)CU尺寸为16×16时,其PU模式有对称和非对称之分。如果PU模式是对称的,分别为2N×2N、2N×N、N×2N,则低分辨率视频ParkScene_960x540_24.yuv中相应的编码单元的编码模式为:CU尺寸为8×8,PU模式分别为2N×2N、2N×N、N×2N,初始MV取对应高分辨率PU的MV的一半;如果PU模式是非对称模式中的2N×nU和2N×nD,则低分辨率视频ParkScene_960x540_24.yuv中相应的编码单元的PU模式为2N×N;如果PU模式是非对称模式中的nL×2N和nR×2N,则低分辨率视频ParkScene_960x540_24.yuv中相应的编码单元的PU模式为N×2N,PU的初始MV分别取对应高分辨率PU的MV平均值的一半。
(5)CU尺寸为8×8时,因为HEVC中最小的编码单元就是8×8,所以无论其是什么模式,低分辨率视频ParkScene_960x540_24.yuv编码单元的的编码模式均为:CU尺寸为8×8,PU模式通过遍历8×8所有的PU模式即2N×2N、2N×N、N×2N、N×N确定,PU的初始MV则取高分辨率对应区域MV按照面积加权平均值的一半。
所述运动矢量(MV)的进一步准确化,为了保证对低分辨率视频编码时运动估计的准确性,本实例对第三步中得到的PU的初始运动矢量MV进行了精细化操作,即在初始运动矢量MV值的周围进行一个小范围的搜索,以便找到更优的运动矢量,从而进一步改善运动估计的效果,经一系列的实验得出的结论是:在初始运动矢量(MV)2个像素点的范围内获得优秀的运动估计效果,因此本实例中对运动矢量MV进行精确化时,搜索范围设置为2。
第四步:在计算机上打开一个HEVC官方标准测试模型对通过采用第三步获得的低分辨率视频ParkScene_960x540_24.yuv的帧间编码模式对ParkScene_960x540_24.yuv进行帧间编码,在此过程中,配置文件和量化步长QP和对高分辨率视频ParkScene_1920x1080_24.yuv进行HEVC全编码时的配置文件和量化步长QP保持相同,在此处配置文件仍为encoder_lowdelay_P_main.cfg,量化步长(QP)仍为22。鉴于获得的低分辨率视频ParkScene_960x540_24.yuv的编码模式是根据高分辨率视频的帧间编码模式得到的,故该信息中并不包含帧内预测的编码模式,为防止误差扩散,在帧内预测中,遵循HEVC全编码的方法遍历帧内预测中所有的PU模式进而筛选出最优的PU模式;编码结束后,记录实验数据包括编码时间,比特率和峰值信噪比(Peak Signal to Noise Ratio,PSNR);
第五步:在计算机上打开一个HEVC官方标准测试模型对ParkScene_960x540_24.yuv进行帧间全编码,并记录实验数据包括编码时间,比特率和PSNR;
第六步:在第四步和第五步操作完成后,分别输出视频编码后的视频序列以及各自的比特率、PSNR值以及总的视频编码时间,所述比特率、PSNR值及总视频编码时间三个技术指标的结果如表1-3所示。
第七步:在对本实施例的实验效果进行测试时,采用的测试指标如下所示:
其中,公式(1)中的和Bitrat6HEVC分别表示提出的转码方法和HEVC标准全编码下的比特率,公式(2)中的ΔBitrate表示本发明转码算法相比HEVC标准全编码方法减少比特率的百分比;公式(3)中的和PSNRHEVC分别表示提出的转码方法和HEVC标准全编码下的峰值信噪比(PSNR),峰值信噪比就是用来表示视频的客观质量,该性能指标代表了视频的客观质量,ΔPSNR表示本发明转码算法相比HEVC标准全编码方法提高的视频质量;和TimeHEVC分别表示本发明转码算法和HEVC标准全编码方法的总体编码时间,ΔTime表示本实例转码算法相比HEVC标准全编码方法增加编码时间的百分比,这是因为64×64的CU没有非对称的PU模式,因此需要将非对称的模式加入,筛选出最优的模式,下同。
为了证明本发明的普适性,在实验过程中对六个具有不同分辨率下的HEVC标准视频序列进行了测试,每个视频序列都在QP取值分别为22,27,32,37的条件下进行了编码,具体的实验结果分别见表1、表2和表3所示。
表1 本实例中的转码算法与HEVC直接级联转码方法之间比特率的比较
表2 本实例中转码算法与HEVC直接级联转码方法之间PSNR值的比较
表3 实例中转码算法与HEVC直接级联转码方法之间编码时间的比较
通过分析表1、表2和表3的实验数据,可以看出本发明方法比直接对低分辨率视频进行传统HEVC全编码方法在比特率方面上升了5%左右,在视频质量PSNR方面降低0.03-0.13dB,在视频编码计算复杂度方面降低了90%左右。从总体来看来,本发明转码算法与直接对低分辨率视频进行HEVC全编码方法相比,在由比特率下降程度来体现的视频压缩率和由PSNR的下降程度来体现的视频客观质量损失很小的前提下,大幅度降低了视频编码的计算复杂度。因此,本发明提出的转码算法能够在保持比特率和PSNR基本不变的情况,可以大大节省编码时间。
Claims (3)
1.一种基于HEVC的降视频分辨率的快速帧间转码的方法,其特征在于包括以下步骤:
步骤1:对高分辨率视频采用基于梯度自适应下采样方法对其YUV序列进行下采样,获得低分辨率视频,在下采样过程中分别对YUV序列的Y、U和V分量进行下采样;
步骤2:在转码器中HEVC解码端对其标准的高分辨率视频码流进行解码,并从中提取相应的高分辨率视频帧间编码模式,包括编码单元(CU)的尺寸,预测单元(PU)的预测模式以及运动矢量(MV);
步骤3:利用步骤2中获得的高分辨率视频的帧间编码模式来快速确定相应的低分辨率视频的帧间编码模式;
步骤4:在HEVC标准下进行对低分辨率视频的编解码,再将步骤3中确定的低分辨率视频的编码模式,包括CU的尺寸,PU的预测模式和运动矢量MV用在低分辨率视频的HEVC编码中;在帧内预测中,遵循HEVC全编码的方法遍历帧内预测中所有的PU预测模式,并筛选出PU预测模式;记录其编码的实验结果,包括编码时间、比特率和峰值信噪比;
在步骤3中所述确定相应的低分辨率视频的帧间编码模式遵循如下的规则:
首先判断高分辨率视频中相邻的四个预测单元PU模式均为2N×2N的编码单元CU是否属于同一帧,并且判断它们是否均属于最大编码单元(LCU),如果这两个条件均能满足,接着判断这四个LCU的运动矢量是否相近并据此判断下采样后的编码模式,此时,低分辨率视频编码模式的确定遵循如下的规则:
①所述四个LCU中每一行两个分块之间的MV之差与每一列两个分块的MV的差值均小于给定的阈值θ,则低分辨率视频中相应编码单元的编码模式为:CU尺寸为64×64,PU模式为2N×2N,初始MV为四个LCU的MV均值的一半;
②第一列,第二列中两个CU的MV之差至少有一个大于或等于阈值θ,则第一列和第二列不能进行组块;第一行,第二行中两个CU的MV之差均小于阈值θ,那么第一行和第二行可进行组块,则低分辨率视频中相应编码单元的编码模式为:CU尺寸为64×64,PU模式为2N×2N,第一行PU的初始MV对应第一行两个LCU的MV均值的一半,第二行PU的初始MV对应第二行两个LCU的MV均值的一半;
③第一行,第二行中两个CU的MV之差至少有一个大于或等于阈值θ,则第一行和第二行不能进行组块;第一列、第二列中两个CU的MV之差均小于阈值θ,那么第一列和第二列可以进行组块,则低分辨率视频中相应编码单元的编码模式为:CU尺寸为64×64,PU模式为N×2N,第一列PU的初始MV对应第一列两个LCU的MV均值的一半,第二列PU的初始MV对应第二列两个LCU的MV均值的一半。
2.根据权利要求1所述帧间转码的方法,其特征在于步骤3中所述确定相应的低分辨率视频的帧间编码模式遵循如下的规则:
如果高分辨率视频中相邻的四个LCU不满足其预测单元PU模式均为2N×2N且四个相邻的LCU属于同一帧组块条件,则不予组块;此时低分辨率视频编码模式遵循如下的规则:
①CU尺寸为64×64,PU模式分别为2N×2N;2N×N;N×2N;则对应的低分辨率视频中相应的编码单元的编码模式分别为:CU尺寸为32×32,PU模式为2N×2N,初始MV取高分辨率PU的MV的一半;CU尺寸为32×32,PU模式为2N×N,或者2N×nU,或者2N×nD,第一行PU的初始MV取对应高分辨率第一行PU的初始MV的一半,第二行PU的初始MV取对应高分辨率第二行PU的初始MV的一半;CU尺寸为32×32,PU模式为N×2N,或者uL×2N,或者nR×2N,第一列PU的初始MV取对应高分辨率第一列PU的初始MV的一半,第二列PU的初始MV取对应高分辨率第二列PU的初始MV的一半;
②CU尺寸为32×32时,由于32×32CU和16×16CU的PU模式相同,PU模式都是7种,则对应的低分辨率视频中相应编码单元的编码模式为:CU尺寸为16×16,PU模式和32×32的CU的PU模式一一对应;PU的初始MV取对应高分辨率PU的MV的一半;
③CU尺寸为16×16时,其PU模式有对称和非对称之分;如果PU模式是对称的,分别为2N×2N、或2N×N、或N×2N,则低分辨率视频中相应编码单元的编码模式为:CU尺寸为6×6,PU模式分别为2N×2N、或2N×N、或N×2N,初始MV取对应高分辨率PU的MV的一半;如果PU模式是非对称模式中的2N×nU或2N×nD,则低分辨率视频中相应的编码单元的PU模式为2N×N;如果PU模式是非对称模式中的nL×2N和nR×2N,则低分辨率视频中相应的编码单元的PU模式为N×2N,PU的初始MV分别取对应高分辨率PU的MV以PU面积大小为权值的平均值的一半;
④CU尺寸为8×8时,下采样后低分辨率视频相应编码单元的编码模式均为:CU尺寸为8×8,PU模式通过遍历8×8所有的PU模式,即2N×2B、或2N×N、或N×2N、或N×N确定,PU的初始MV则取高分辨率对应区域MV按照面积加权平均值的一半。
3.根据权利要求1或2所述帧间转码的方法,其特征在于所述HEVC标准中的编码单元CU的分割深度为0~3,其预测单元PU采用对称预测模式,其帧内预测PU模式全部遍历。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510034310.XA CN104581170B (zh) | 2015-01-23 | 2015-01-23 | 基于hevc降视频分辨率的快速帧间转码的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510034310.XA CN104581170B (zh) | 2015-01-23 | 2015-01-23 | 基于hevc降视频分辨率的快速帧间转码的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104581170A CN104581170A (zh) | 2015-04-29 |
CN104581170B true CN104581170B (zh) | 2018-07-06 |
Family
ID=53096230
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510034310.XA Active CN104581170B (zh) | 2015-01-23 | 2015-01-23 | 基于hevc降视频分辨率的快速帧间转码的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104581170B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105898308A (zh) * | 2015-12-18 | 2016-08-24 | 乐视云计算有限公司 | 变分辨率的编码模式预测方法及装置 |
CN105744269B (zh) * | 2016-02-05 | 2019-02-19 | 南京云岩信息科技有限公司 | 一种基于下采样和亚像素运动估计的转码方法 |
CN106131573B (zh) * | 2016-06-27 | 2017-07-07 | 中南大学 | 一种hevc空间分辨率转码方法 |
CN106210721B (zh) * | 2016-07-05 | 2017-11-21 | 中南大学 | 一种hevc快速码率转码方法 |
CN106131548B (zh) * | 2016-07-28 | 2018-12-25 | 同观科技(深圳)有限公司 | 一种帧内预测模式的选择方法及装置 |
US10070098B2 (en) * | 2016-10-06 | 2018-09-04 | Intel Corporation | Method and system of adjusting video quality based on viewer distance to a display |
CN106791828B (zh) * | 2016-12-21 | 2019-05-07 | 四川大学 | 基于机器学习的视频转码方法及其转码器 |
CN107087172B (zh) * | 2017-03-22 | 2018-08-07 | 中南大学 | 基于hevc-scc的快速码率转码方法及其系统 |
CN113489996B (zh) * | 2021-07-02 | 2023-09-01 | 杭州未名信科科技有限公司 | 一种基于快速帧间编码单元尺寸决策模型的编码方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102984521A (zh) * | 2012-12-12 | 2013-03-20 | 四川大学 | 基于时域相关性的高性能视频编码帧间模式判决方法 |
CN103248893A (zh) * | 2013-05-10 | 2013-08-14 | 四川大学 | 从h.264/avc标准到hevc标准的快速帧间转码方法及其转码器 |
WO2014137268A1 (en) * | 2013-03-07 | 2014-09-12 | Telefonaktiebolaget L M Ericsson (Publ) | Video transcoding |
CN104202605A (zh) * | 2014-08-18 | 2014-12-10 | 山东大学 | 一种通过降低分辨率预测高清图像编码单元cu的划分方式的方法及其实现装置 |
-
2015
- 2015-01-23 CN CN201510034310.XA patent/CN104581170B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102984521A (zh) * | 2012-12-12 | 2013-03-20 | 四川大学 | 基于时域相关性的高性能视频编码帧间模式判决方法 |
WO2014137268A1 (en) * | 2013-03-07 | 2014-09-12 | Telefonaktiebolaget L M Ericsson (Publ) | Video transcoding |
CN103248893A (zh) * | 2013-05-10 | 2013-08-14 | 四川大学 | 从h.264/avc标准到hevc标准的快速帧间转码方法及其转码器 |
CN104202605A (zh) * | 2014-08-18 | 2014-12-10 | 山东大学 | 一种通过降低分辨率预测高清图像编码单元cu的划分方式的方法及其实现装置 |
Non-Patent Citations (3)
Title |
---|
《H.264视频流分辨率缩减转码的快速宏块模式选择算法》;向永生,傅明;《计算机应用》;20081130;全文 * |
《一种基于精确度的降分辨率视频转码》;韩镇;《中国图象图形学报》;20100131;全文 * |
《空间降分辨率视频转码技术研究》;张宏波;《中国优秀硕士学位论文全文数据库》;20090115;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN104581170A (zh) | 2015-04-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104581170B (zh) | 基于hevc降视频分辨率的快速帧间转码的方法 | |
CN104980736B (zh) | 对视频编码的方法和设备以及对视频解码的方法和设备 | |
CN109688414B (zh) | 一种vvc帧内编码单元候选预测模式缩减及块划分提前终止方法 | |
CN104768002B (zh) | 确定图像编码单元和图像解码单元的帧内预测模式 | |
CN104935938B (zh) | 一种混合视频编码标准中帧间预测方法 | |
CN104702949B (zh) | 对视频编码的方法和设备以及对视频解码的方法和设备 | |
CN103765901B (zh) | 用于使用帧内预测进行图像编码和解码的方法和设备 | |
CN104980739B (zh) | 通过使用去块滤波对视频进行解码的方法和设备 | |
CN104396261B (zh) | 使用高速边缘检测的视频编码方法和装置以及相关视频解码方法和装置 | |
CN104769947B (zh) | 一种基于p帧的多假设运动补偿编码方法 | |
CN109952577A (zh) | 通过下采样/上采样与增强信息对数字帧进行编码/解码 | |
CN105325000A (zh) | 图像编码装置、图像编码方法、图像解码装置和图像解码方法 | |
CN108924562A (zh) | 运动矢量的解码方法 | |
CN106170093B (zh) | 一种帧内预测性能提升编码方法 | |
CN103581647A (zh) | 一种基于彩色视频运动矢量的深度图序列分形编码方法 | |
CN104811729B (zh) | 一种视频多参考帧编码方法 | |
CN104469336B (zh) | 多视点深度视频信号的编码方法 | |
CN107864380A (zh) | 基于dct的3d‑hevc快速帧内预测决策方法 | |
CN103546758A (zh) | 一种快速深度图序列帧间模式选择分形编码方法 | |
CN106688238A (zh) | 改进后的深度图帧内编码的参考像素点选择和滤波 | |
CN107018412B (zh) | 一种基于关键帧编码单元划分模式的dvc-hevc视频转码方法 | |
CN106331700B (zh) | 参考图像编码和解码的方法、编码设备和解码设备 | |
CN106791828A (zh) | 基于机器学习的高性能视频转码方法及其转码器 | |
CN107318016A (zh) | 一种基于零块分布的hevc帧间预测模式快速判定方法 | |
CN109819260A (zh) | 基于多嵌入域融合的视频隐写方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |