CN105959611B - 一种自适应的从h264到hevc的帧间快速转码方法及装置 - Google Patents

一种自适应的从h264到hevc的帧间快速转码方法及装置 Download PDF

Info

Publication number
CN105959611B
CN105959611B CN201610554211.9A CN201610554211A CN105959611B CN 105959611 B CN105959611 B CN 105959611B CN 201610554211 A CN201610554211 A CN 201610554211A CN 105959611 B CN105959611 B CN 105959611B
Authority
CN
China
Prior art keywords
current
patterns
cost
inter
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610554211.9A
Other languages
English (en)
Other versions
CN105959611A (zh
Inventor
史方
隆刚
王标
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gao Qianwen
Original Assignee
Tong Wei Technology (shenzhen) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tong Wei Technology (shenzhen) Co Ltd filed Critical Tong Wei Technology (shenzhen) Co Ltd
Priority to CN201610554211.9A priority Critical patent/CN105959611B/zh
Publication of CN105959611A publication Critical patent/CN105959611A/zh
Application granted granted Critical
Publication of CN105959611B publication Critical patent/CN105959611B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及视频编解码领域,尤其是一种自适应的从H264到HEVC的帧间快速转码方法及装置。本发明针对现有技术存在的问题,提供一种快速转码方法及装置。本发明针对H264到HEVC转码中的帧间预测加速问题,提出了一种综合了自适应的模式映射、运动向量的合理重复利用的方案。帧间预测阶段,可能进行一系列四叉树分割,然后得到CU8;也有可能提前中止,有些不用最终深入到CU8,不用分割到CU16,最理想的直接将CU64作为一个整体进行编码;其中CU32、CU16以及CU8帧间预测得到的都是临时的最优模式;在整个Cu64帧间预测结束后得到最优编码模式,根据最优编码模式进行编码。

Description

一种自适应的从H264到HEVC的帧间快速转码方法及装置
技术领域
本发明涉及视频编解码领域,尤其是一种自适应的从H264到HEVC的帧间快速转码方法及装置。
背景技术
近年来随着视频业务的飞速发展,人们对观看高清乃至超高清视频的需求也越来越高,目前主流的视频压缩编码标准H.264/AVC已经不能适应高数据量下的视频的网络传输,于是新一代视频压缩编码标准H.265/HEVC应运而生。HEVC最主要的目标是在压缩效率上获得显著提高,即在保持视频质量基本不变的同时减少50%左右的码率,但编码的计算复杂度也由此急剧增加。
HEVC相对于H.264在编码性能上的大幅提升主要体现在:(1)采用了更加灵活的编码结构来提高编码效率,包括编码单元CU、预测单元PU和变换单元TU,同时将宏块的大小从H.264的16×16扩展到了64×64,更适用于高分辨率视频的压缩;(2)采用了更多的帧内预测方向,每种PU尺寸最多可达30余种预测方向,更大范围的PU尺寸和更多的PU帧内预测方向使得HEVC比H.264/AVC有了更高的帧内预测压缩性能;(3)采用了更多的帧间预测模式,包含了对称PU模式和非对称PU模式,使得HEVC有了更加多样化的运动块匹配,从而提高了帧间运动估计的压缩性能,等等。
目前高清及超高清视频逐渐成为目前网络存储和传输的主要业务,因此,将视频采用压缩比相对H.264标准提高一倍的HEVC标准应用于视频的存储和网络传输,将带来很大的性能提升。然而,目前既有的数以亿计的多媒体资源,其中视频部分大多均是采用老一代的H.264标准压缩。因此,研究从H.264标准到HEVC标准的视频转码技术具有充分的现实意义和经济价值。
传统的H.264向HEVC转码的方法是将H.264解码器与HEVC的编码器级联,直接对H.264标准解码得到的图像进行HEVC编码。这种方法解码器和编码器相互独立,没有对H.264码流中所包含的信息进行解码后的充分利用,而是遍历了编码中的所有过程,因此复杂度很高。因此,针对利用解码信息降低转码器的计算复杂度的技术,目前已经有学者进行了一定的研究。
利用解码信息的转码技术研究,多数集中在加速帧间预测和加速帧内预测这两个方面。由于H.264和HEVC编码中,参考帧号、运动矢量、运动估计的预测方式等是相同的。因此,可以在H.264码流中提取参考帧号、宏块位置坐标、宏块类型、运动矢量等信息,并应用在HEVC编码端,对帧间和帧内预测等环节进行优化,从而大幅降低整个转码的计算复杂度。
以帧间预测为例,典型的技术如:Eduardo Peixoto和Tamer Shanableh等人以运动矢量的方差等建立特征,利用模式分类的思想,提取H.264码流中的特征信息,通过一种线性判别函数,确定出HEVC编码器中图像的编码单元的划分方式,从而大大减少了确定分块方式的计算量。Qingxiong Huangyuan和Li Song等人则以H.264分块信息等为特征,利用机器学习的思想,采用SVM分类器预测HEVC编码中的CU编码块层次深度范围,从而大大降低了HEVC中四叉树结构编码的复杂度。
发明内容
本发明所要解决的技术问题是:针对现有技术存在的问题,提供一种自适应的从H264到HEVC的帧间快速转码方法及装置。本发明主要针对H.264到HEVC转码中的帧间预测加速问题,提出了一种综合了自适应的模式映射、运动向量的合理重复利用的技术方案。帧间预测阶段,结束后,进行编码(包括变换编码及熵编码等)。帧间预测阶段,可能进行一系列CU64、CU32、CU16的四叉树分割,然后得到CU8;也有可能提前中止,有些不用最终深入到CU8,有些甚至不用分割到CU16,最理想的有些连CU32都不用帧间预测,而是直接将CU64作为1个整体进行编码;其中CU32帧间预测、CU16帧间预测以及CU8帧间预测得到的最优模式,都只是一个临时最优模式,并且CU32帧间预测、CU16帧间预测以及CU8帧间预测都只是为了得到临时最优模式,而不进行任何编码;编码是在整个Cu64帧间预测结束后得到最优编码模式,根据最优编码模式进行编码。
本发明采用的技术方案如下:
一种自适应的从H264到HEVC的帧间快速转码方法包括:
步骤1:输入原始H264视频流,并对该视频进行解码,提取当前解码帧的宏块残差、编码模式、参考帧、运动向量;将HEVC编码树单元覆盖的区域对应至当前解码帧的各个宏块;
步骤2:进行CU64帧间预测,得到CU64不分割时的最优模式,然后判断当前CU64帧间预测是否可以提前终止,当CU64对应的各MB参考帧相同、各MB全部是Pskip模式或16*16模式并且各MB的运动向量MV相近且16个MB对应的残差系数幅值之和小于CU64阈值时,则不需要对CTU进行分割,直接采用CU64不分割时的最优模式作为最优编码模式,否则,将CTU进行四叉树分割,形成4个第一级子单元CU32,对每个CU32分别执行步骤3之后,将所有第一级子单元CU32帧间预测中当前CU的最优模式时对应的代价连同分割标志编码代价一起求和,求和结果与CU64不分割时CU在最优模式时的代价对比,选择代价小者对应的模式作为当前CU64最优编码模式,以CU64最优编码模式对CTU进行编码:其中CU64为64*64大小的CU;CU32为32*32的CU;CU16为16*16的CU;C8为8*8的CU;CU64是将64*64大小的宏块分割为4个32*32大小的区域CU32;
步骤3:进行CU32帧间预测,得到CU32不分割时的最优模式;然后判断当前CU32帧间预测是否可以提前终止,当当前CU32对应的MB参考帧相同、对应的MB为Skip或16x16模式、4个MB的运动向量MV相近及4个MB对应的残差系数幅值之和小于CU32阈值时,则当前CU32可以提前终止,直接以CU32不分割时的最优模式作为CU32的最优模式,然后进行下一个CU32的帧间预测,否则,进入当前第一级子单元的CU32四叉树分割,形成4个第二级子单元CU16,对每个CU16分别执行步骤4之后,将所有第二级子单元CU16帧间预测中当前CU的最优模式时对应的代价连同分割标志编码代价一起求和,求和结果与CU32不分割时CU在最优模式时的代价对比,选择代价小者对应的模式作为当前CU32的最优模式,然后才进行下一个CU32的帧间预测;
步骤4:进行CU16帧间预测,得到CU16不分割时的最优模式,然后判断当前CU16帧间预测是否可以提前终止,当当前CU16对应MB是PSkip模式或者对应MB不是帧内模式、对应的MB未划分为亚宏块且MB对应的残差系数幅值之和小于等于CU16阈值时,则当前CU16可以提前终止,直接以CU16不分割时的最优模式作为CU16的最优模式,然后进行下一个CU16的帧间预测,否则进入CU16的四叉树分割,形成4个第三级子单元CU8,对每个CU8分别执行步骤5,执行步骤5之后,将所有CU8帧间预测中当前CU在最优模式时的代价连同分割标志编码代价一起求和,求和结果与当前CU16不分割时CU在最优模式时的代价对比,选择代价小者对应的模式作为当前CU16最优模式,然后才进行下一个CU16的帧间预测;CU16进行四叉树分割指的是将16*16大小宏块分给为4个8*8大小的区域CU8;
步骤5:进行CU8帧间预测,然后进行下一个CU8的帧间预测。
进一步的,所述CU64帧间预测具体包括:
步骤21:对HEVC编码树单元的编码单元CU执行merge/skip模式,将HEVC区域的当前CU对应于H264的16个MB,计算16个MB的参考帧是否相同;若参考帧相同,则执行步骤22;否则,执行步骤23;
步骤22:当16个MB全被H264编码为16x16或Skip模式、16个MB的运动向量MV相近且判定当前CU所对应的所有MB对应的残差系数幅值之和小于CU64阈值时,则根据16个MB的运动向量信息做一个小范围运动估计,确定当前CU在为2N*2N模式时的代价,然后直接跳过其他帧间模式,将当前CU在2Nx2N模式的代价与当前CU执行merge/skip模式得到的代价进行比较,比较后选择代价小者对应的模式作为当前CU在不分割时的最优模式;否则,利用H.264的运动信息,对其他帧间模式进行缩小范围运动估计;确定当前CU其他帧间模式的代价,然后将当前CU在其他帧间模式的代价与当前CU执行merge/skip模式得到的代价进行比较,比较后选择代价小者对应的模式作为当前CU在不分割时的最优模式,然后进行CU64四叉树分割;CU64模式包括2N*2N模式和其他帧间模式;其中其他帧间模式包括2N*N模式、N*2N模式对称模式及2NxnU、2NxnD、nLx2N、nRx2N等非对称模式;其中U指的是Up,表示小于N的在编码单元CU上部;D表示Down,表示小于N的在编码单元CU下部;L指的是left,表示小于N的在编码单元CU左部;R指的是right,表示小于N的在编码单元CU右部;
步骤23:对当前CU进行2Nx2N按搜索范围进行正常运动估计,对其余帧间模式对应的预测单元PU做判断,考察每一个PU对应的所有宏块MB,若宏块MB的参考帧相同且宏块MB都是PSkip或16x16模式;则对CU64帧间预测模块对应的预测单元PU做小范围运动估计,否则,进行正常运动估计,执行步骤24;
步骤24:计算当前CU在所有其余帧间模式和帧内模式的代价后,然后将当前CU在其他模式的代价、帧内模式的代价对应与当前CU执行merge/skip模式得到的代价进行比较,比较后选择代价最小的作为当前CU在不分割时的最优模式,然后进行CU64四叉树分割。
进一步的,所述CU32帧间预测具体包括:
步骤211:对HEVC编码树单元的编码单元CU执行merge/skip模式,将HEVC区域的当前CU对应于H264的4个MB,计算4个MB的参考帧是否相同;若参考帧相同,则执行步骤212;否则,执行步骤213;
步骤212:当4个MB全被H264编码为16x16或Skip模式、4个MB的运动向量MV相近且判定当前CU所对应的所有MB对应的残差系数幅值之和小于CU32阈值时,则根据4个MB的运动向量信息做一个小范围运动估计,确定当前CU在为2N*2N模式时的代价,然后直接跳过其他帧间模式,将当前CU在2Nx2N模式的代价与当前CU执行merge/skip模式得到的代价进行比较,比较后选择代价小者对应的模式作为当前CU在不分割时的最优模式;否则,利用H.264的运动信息,对其他帧间模式进行缩小范围运动估计;确定当前CU其他帧间模式的代价,然后将当前CU在其他帧间模式的代价与当前CU执行merge/skip模式得到的代价进行比较,比较后选择代价小者对应的模式作为当前CU在不分割时的最优模式,然后进行CU32四叉树分割;CU32模式包括2N*2N模式和其他帧间模式;其中其他帧间模式包括2N*N模式、N*2N模式对称模式及2NxnU、2NxnD、nLx2N、nRx2N等非对称模式;其中U指的是Up,表示小于N的在编码单元CU上部;D表示Down,表示小于N的在编码单元CU下部;L指的是left,表示小于N的在编码单元CU左部;R指的是right,表示小于N的在编码单元CU右部;
步骤213:对当前CU进行2Nx2N按搜索范围进行正常运动估计,对其余帧间模式对应的预测单元PU做判断,考察每一个PU对应的所有宏块MB及宏块MB的局部区域,若宏块MB及宏块MB的局部区域的参考帧相同且宏块MB及宏块MB的局部区域都是完整划分;则对CU64帧间预测模块对应的预测单元PU做小范围运动估计,否则,进行正常运动估计,执行步骤214;完整划分指的是宏块MB都是PSkip、16x16模式,宏块MB的局部区域的内部不存在MB模式划分形成的分界;宏块MB的局部区域指的是宏块MB的一部分;
步骤214:计算当前CU在所有其余帧间模式和帧内模式的代价后,然后将当前CU在其他模式的代价、帧内模式的代价对应与当前CU执行merge/skip模式得到的代价进行比较,比较后选择代价最小的作为当前CU在不分割时的最优模式,然后进行CU32四叉树分割。
进一步的,所述CU16帧间预测具体处理过程是:
步骤31:对当前CU执行Merge/Skip模式,计算当前CU对应的MB是否已经划分到SubMB(亚宏块)级别,如果是,则跳过其它帧间模式的测试,进行CU16四叉树分割,将4个CU8中当前CU在最优模式时的代价连同分割标志编码代价一起求和,求和结果与CU16不分割时CU在最优模式时的代价对比,选择代价小者对应的模式作为当前CU16最优模式;否则,执行步骤32;
步骤32:若当前CU对应的MB是否编码为PSkip模式,如果是,则跳过其他帧间模式,以merge/skip模式作为当前CU16不分割时的最优模式;如果当前CU对应的MB不是PSkip,而是帧内模式,则跳过其他帧间模式,执行帧内模式,与当前CU执行merge/skip模式得到的代价进行比较,选择代价较小的作为当前CU在不分割时的最优模式,然后进行CU16四叉树分割;如果当前CU对应的MB不是PSkip,也不是帧内模式,则MB为16x16、16x8或8x16模式,执行步骤33;
步骤33:判断当前CU对应的MB对应的残差系数幅值之和是否大于CU16阈值,如果大于阈值,则进行CU16四叉树分割;否则,采用H.264宏块既有的帧间预测模式作为当前CU16不分割时的最优模式,同时采用H.264宏块既有的运动向量,不进行CU16其他的帧间模式计算。
进一步的,所述CU8帧间预测具体处理过程是:
步骤41:对HEVC编码树单元的编码单元CU执行merge/skip模式,接着先看当前CU所在的H.264的宏块模式;如果当前CU对应的MB模式为PSkip模式,则直接结束;若当前CU对应的MB是帧内模式,则计算当前CU所有剩余模式的代价,并与当前CU执行执行merge/skip模式得到的代价进行比较,选择代价小者对应的模式作为当前CU最优模式;如果当前CU对应的MB即不是PSkip模式也不是帧内模式,则先判断当前CU对应的MB的划分是否大于等于当前的CU8,也即是否为16*16模式、16x8模式、8x16模式、8x8模式这几种模式;如果是,则当前CU的2Nx2N模式的MV采取覆盖当前CU的对应MB或子块的运动向量MV,并跳过其他剩余模式;否则,执行步骤42;其他剩余模式指的是2N*N模式、N*2N模式对称模式和帧内模式;所有剩余模式指的是2Nx2N模式和其他剩余模式;
步骤42:当当前CU对应的亚宏块是8x4或4x8模式,则CU对应采用2NxN或Nx2N模式,同时采用2NxN或Nx2N模式对应运动向量MV,与当前CU采用merge/skip模式得到的代价比较后选出最优模式;如果当前CU对应的亚宏块是4x4模式,则根据H264对应区域的运动向量MV,分别做缩小范围运动估计,遍历剩余模式,最后与merge/skip模式得到的代价比较选出最优模式;剩余模式指的是2N*N模式、N*2N模式对称模式。
进一步的,一种自适应的从H264到HEVC的帧间快速转码装置包括:
H264解码模块,用于对输入原始H264视频流进行解码,提取当前解码帧的宏块残差、编码模式、参考帧、运动向量;将HEVC编码树单元覆盖的区域对应至当前解码帧的各个宏块;
CU64预测模块,用于进行CU64帧间预测,得到CU64不分割时的最优模式,然后判断当前CU64帧间预测是否可以提前终止,当CU64对应的各MB参考帧相同、各MB全部是Pskip模式或16*16模式并且各MB的运动向量MV相近且16个MB对应的残差系数幅值之和小于CU64阈值时,则不需要对CTU进行分割,直接采用CU64不分割时的最优模式作为最优编码模式,否则,将CTU进行四叉树分割,形成4个第一级子单元CU32,对每个CU32通过CU32预测模块进行处理,然后将所有第一级子单元CU32帧间预测中当前CU的最优模式时对应的代价连同分割标志编码代价一起求和,求和结果与CU64不分割时CU在最优模式时的代价对比,选择代价小者对应的模式作为当前CU64最优编码模式,以CU64最优编码模式对CTU进行编码:其中CU64为64*64大小的CU;CU32为32*32的CU;CU16为16*16的CU;C8为8*8的CU;CU64是将64*64大小的宏块分割为4个32*32大小的区域CU32;
CU32预测模块,用于进行CU32帧间预测,得到CU32不分割时的最优模式;然后判断当前CU32帧间预测是否可以提前终止,当当前CU32对应的MB参考帧相同、对应的MB为Skip或16x16模式、4个MB的运动向量MV相近及4个MB对应的残差系数幅值之和小于CU32阈值时,则当前CU32可以提前终止,直接以CU32不分割时的最优模式作为CU32的最优模式,然后进行下一个CU32的帧间预测,否则,进入当前第一级子单元的CU32四叉树分割,形成4个第二级子单元CU16,对每个CU16通过CU16预测模块进行处理,然后将所有第二级子单元CU16帧间预测中当前CU的最优模式时对应的代价连同分割标志编码代价一起求和,求和结果与CU32不分割时CU在最优模式时的代价对比,选择代价小者对应的模式作为当前CU32的最优模式,然后才进行下一个CU32的帧间预测;
CU16预测模块,用于进行CU16帧间预测,得到CU16不分割时的最优模式,然后判断当前CU16帧间预测是否可以提前终止,当当前CU16对应MB是PSkip模式或者对应MB不是帧内模式、当前CU16对应的MB未划分为亚宏块且当前CU16对应的MB对应的残差系数幅值之和小于等于CU16阈值时,则当前CU16可以提前终止,直接以CU16不分割时的最优模式作为CU16的最优模式,然后进行下一个CU16的帧间预测,否则进入CU16的四叉树分割,形成4个第三级子单元CU8,对每个CU8通过CU8预测模块进行处理,然后将所有CU8帧间预测中当前CU在最优模式时的代价连同分割标志编码代价一起求和,求和结果与当前CU16不分割时CU在最优模式时的代价对比,选择代价小者对应的模式作为当前CU16最优模式,然后才进行下一个CU16的帧间预测;CU16进行四叉树分割指的是将16*16大小宏块分给为4个8*8大小的区域CU8;
CU8预测模块,用于进行CU8帧间预测,然后进行下一个CU8帧间预测。
进一步的,所述CU64帧间预测模块具体处理过程包括:
步骤21:对HEVC编码树单元的编码单元CU执行merge/skip模式,将HEVC区域的当前CU对应于H264的16个MB,计算16个MB的参考帧是否相同;若参考帧相同,则执行步骤22;否则,执行步骤23;
步骤22:当16个MB全被H264编码为16x16或Skip模式、16个MB的运动向量MV相近且判定当前CU所对应的所有MB对应的残差系数幅值之和小于CU64阈值时,则根据16个MB的运动向量信息做一个小范围运动估计,确定当前CU在为2N*2N模式时的代价,然后直接跳过其他帧间模式,将当前CU在2Nx2N模式的代价与当前CU执行merge/skip模式得到的代价进行比较,比较后选择代价小者对应的模式作为当前CU在不分割时的最优模式;否则,利用H.264的运动信息,对其他帧间模式进行缩小范围运动估计;确定当前CU其他帧间模式的代价,然后将当前CU在其他帧间模式的代价与当前CU执行merge/skip模式得到的代价进行比较,比较后选择代价小者对应的模式作为当前CU在不分割时的最优模式,然后进行CU64四叉树分割;CU64模式包括2N*2N模式和其他帧间模式;其中其他帧间模式包括2N*N模式、N*2N模式对称模式及2NxnU、2NxnD、nLx2N、nRx2N等非对称模式;其中U指的是Up,表示小于N的在编码单元CU上部;D表示Down,表示小于N的在编码单元CU下部;L指的是left,表示小于N的在编码单元CU左部;R指的是right,表示小于N的在编码单元CU右部;
步骤23:对当前CU进行2Nx2N按搜索范围进行正常运动估计,对其余帧间模式对应的预测单元PU做判断,考察每一个PU对应的所有宏块MB,若宏块MB的参考帧相同且宏块MB都是PSkip或16x16模式;则对CU64帧间预测模块对应的预测单元PU做小范围运动估计,否则,进行正常运动估计,执行步骤24;
步骤24:计算当前CU在所有其余帧间模式和帧内模式的代价后,然后将当前CU在其他模式的代价、帧内模式的代价对应与当前CU执行merge/skip模式得到的代价进行比较,比较后选择代价最小的作为当前CU在不分割时的最优模式,然后进行CU64四叉树分割
进一步的,所述CU32帧间预测模块具体处理过程包括:
步骤211:对HEVC编码树单元的编码单元CU执行merge/skip模式,将HEVC区域的当前CU对应于H264的4个MB,计算4个MB的参考帧是否相同;若参考帧相同,则执行步骤212;否则,执行步骤213;
步骤212:当4个MB全被H264编码为16x16或Skip模式、4个MB的运动向量MV相近且判定当前CU所对应的所有MB对应的残差系数幅值之和小于CU32阈值时,则根据4个MB的运动向量信息做一个小范围运动估计,确定当前CU在为2N*2N模式时的代价,然后直接跳过其他帧间模式,将当前CU在2Nx2N模式的代价与当前CU执行merge/skip模式得到的代价进行比较,比较后选择代价小者对应的模式作为当前CU在不分割时的最优模式;否则,利用H.264的运动信息,对其他帧间模式进行缩小范围运动估计;确定当前CU其他帧间模式的代价,然后将当前CU在其他帧间模式的代价与当前CU执行merge/skip模式得到的代价进行比较,比较后选择代价小者对应的模式作为当前CU在不分割时的最优模式,然后进行CU32四叉树分割;CU32模式包括2N*2N模式和其他帧间模式;其中其他帧间模式包括2N*N模式、N*2N模式对称模式及2NxnU、2NxnD、nLx2N、nRx2N等非对称模式;其中U指的是Up,表示小于N的在编码单元CU上部;D表示Down,表示小于N的在编码单元CU下部;L指的是left,表示小于N的在编码单元CU左部;R指的是right,表示小于N的在编码单元CU右部;
步骤213:对当前CU进行2Nx2N按搜索范围进行正常运动估计,对其余帧间模式对应的预测单元PU做判断,考察每一个PU对应的所有宏块MB及宏块MB的局部区域,若宏块MB及宏块MB的局部区域的参考帧相同且宏块MB及宏块MB的局部区域都是完整划分;则对CU64帧间预测模块对应的预测单元PU做小范围运动估计,否则,进行正常运动估计,执行步骤214;完整划分指的是宏块MB都是PSkip、16x16模式,宏块MB的局部区域的内部不存在MB模式划分形成的分界;宏块MB的局部区域指的是宏块MB的一部分;
步骤214:计算当前CU在所有其余帧间模式和帧内模式的代价后,然后将当前CU在其他模式的代价、帧内模式的代价对应与当前CU执行merge/skip模式得到的代价进行比较,比较后选择代价最小的作为当前CU在不分割时的最优模式,然后进行CU32四叉树分割。
进一步的,所述CU16帧间预测模块具体处理过程包括:
步骤31:对当前CU执行Merge/Skip模式,计算当前CU对应的MB是否已经划分到SubMB(亚宏块)级别,如果是,则跳过其它帧间模式的测试,进行CU16四叉树分割,将4个CU8中当前CU在最优模式时的代价连同分割标志编码代价一起求和,求和结果与CU16不分割时CU在最优模式时的代价对比,选择代价小者对应的模式作为当前CU16最优模式;否则,执行步骤32;
步骤32:若当前CU对应的MB是否编码为PSkip模式,如果是,则跳过其他帧间模式,以merge/skip模式作为当前CU16不分割时的最优模式;如果当前CU对应的MB不是PSkip,而是帧内模式,则跳过其他帧间模式,执行帧内模式,与当前CU执行merge/skip模式得到的代价进行比较,选择代价较小的作为当前CU在不分割时的最优模式,然后进行CU16四叉树分割;如果当前CU对应的MB不是PSkip,也不是帧内模式,则MB为16x16、16x8或8x16模式,执行步骤33;
步骤33:判断当前CU对应的MB对应的残差系数幅值之和是否大于CU16阈值,如果大于阈值,则进行CU16四叉树分割;否则,采用H.264宏块既有的帧间预测模式作为当前CU16不分割时的最优模式,同时采用H.264宏块既有的运动向量,不进行CU16其他的帧间模式计算。
进一步的,所述在于CU8帧间预测模块具体处理过程是:
步骤41:对HEVC编码树单元的编码单元CU执行merge/skip模式,接着先看当前CU所在的H.264的宏块模式;如果当前CU对应的MB模式为PSkip模式,则直接结束;若当前CU对应的MB是帧内模式,则计算当前CU所有剩余模式的代价,并与当前CU执行执行merge/skip模式得到的代价进行比较,选择代价小者对应的模式作为当前CU最优模式;如果当前CU对应的MB即不是PSkip模式也不是帧内模式,则先判断当前CU对应的MB的划分是否大于等于当前的CU8,也即是否为16*16模式、16x8模式、8x16模式、8x8模式这几种模式;如果是,则当前CU的2Nx2N模式的MV采取覆盖当前CU的对应MB或子块的运动向量MV,并跳过其他剩余模式;否则,执行步骤42;其他剩余模式指的是2N*N模式、N*2N模式对称模式和帧内模式;所有剩余模式指的是2Nx2N模式和其他剩余模式;
步骤42:当当前CU对应的亚宏块是8x4或4x8模式,则CU对应采用2NxN或Nx2N模式,同时采用2NxN或Nx2N模式对应运动向量MV,与当前CU采用merge/skip模式得到的代价比较后选出最优模式;如果当前CU对应的亚宏块是4x4模式,则根据H264对应区域的运动向量MV,分别做缩小范围运动估计,遍历剩余模式,最后与merge/skip模式得到的代价比较选出最优模式;剩余模式指的是2N*N模式、N*2N模式对称模式。
综上所述,由于采用了上述技术方案,本发明的有益效果是:
1.以专利号CN201310173401.2为代表的转码方案,往往缺失了最大编码单元为CU64的优化设计。由于HEVC的编码性能提高很大程度上在于比H.264标准更大的编码单元,因此该缺失不利于充分发挥转码性能。而且该方案主要仅仅判断了运动向量信息,对H.264的编码模式及编码残差等分析利用不充分,转码优化的设计不足,也有损于转码质量。本方案则充分考虑了HEVC编码标准中最大的编码单元CU64,并且综合H.264的编码模式、运动向量、残差等各种信息,充分考虑了转码器的性能和准确性。
2.以Eduardo Peixoto等人为代表的基于模式分类或机器学习的转码方法,往往依赖于在线训练来达到视频内容的自适应性,虽然提高了率失真质量,但缺点是整个视频中需要舍弃不少帧用于训练,这部分训练帧不能进行快速转码。本发明则是一套不依赖于在线训练H.264解码数据的,自适应的CTU划分提前中止方法,包括从上至CU64下到CU16均相应有针对性的优化设计。特别的,对于CU64和CU32,在MV近似度等标准基础上,利用了自适应的残差阈值判别CU是否提前终止拆分,组合的措施能在保证编码效果的基础上降低复杂度,并且能类同于在线训练技术满足算法对视频内容的自适应,又避免了用一些视频帧单独做训练。
3.一种依据H.264运动信息的缩小范围的HEVC运动搜索设计,包括优化的搜索中心点的选取和搜索范围的设定。其中搜索范围,由于是相对于自定义的核心MV的离散度而设计,相对现有技术,搜索范围可以非常的小,从而大大降低运动搜索的复杂度。搜索中心点方面,则打破了围绕MVP进行运动搜索的常规,可以有条件的选择自定义的核心MV作为搜索起点。众所周知,在运动估计快速算法中,即使当搜索范围仍然并不太小的时候,一个更佳的搜索中心点往往意味着有机会更早的满足算法收敛条件,使得搜索更容易提前完成。因此上述两方面的组合改善,可以大大降低运动搜索的复杂度。
附图说明
本发明将通过例子并参照附图的方式说明,其中:
图1a是CU32下该模式的划分比例示意图。
图1b是CU32对应的4个16x16宏块示意图。
图1c是符合CU32缩小范围运动估计条件的H.264对应模式例示意图。
图1d是不符合CU32缩小范围运动估计条件的H.264对应模式例示意图。
图2总体设计流程图。
图3是CU64帧间预测流程图。
图4是CU32帧间预测流程图。
图5是CU16帧间预测流程图
图6是CU8帧间预测图。
图7是装置模块图。
具体实施方式
本说明书中公开的所有特征,或公开的所有方法或过程中的步骤,除了互相排斥的特征和/或步骤以外,均可以以任何方式组合。
本说明书中公开的任一特征,除非特别叙述,均可被其他等效或具有类似目的的替代特征加以替换。即,除非特别叙述,每个特征只是一系列等效或类似特征中的一个例子而已。
本发明相关说明:
1、H264结构中,一个视频图像编码后的数据叫做一帧,一帧由一个片或多个片组成,一个片由一个或多个宏块(MB)组成,一个宏块由16*16的yuv数据组成。宏块MB作为H264编码的基本单位。
2、四叉树索引的基本思想是将空间递归划分为不同层次的树结构。它将已知范围的空间等分成四个相等的子空间,如此递归下去,直至树的层次达到一定深度或者满足某种要求后停止分割。HEVC中CTU的四叉树句法指定了它所属的亮度和色度CB的尺寸和位置。四叉树的根与CTU相关联。因此,亮度CB的最大尺寸为其所属的亮度CTB的尺寸。对于一个CTU来说,其亮度CB和色度CB的划分标志都是使用的同一个。一个亮度CB通常和两个色度CB及它们相关的句法共同组成一个编码单元(CU)。一个CTB可能只包含一个CU,也可能被划分成多个CU,每个CU包含着与之相关联的预测单元(PU)和变换单元(TU)。
决定一个图像区域是以帧间还是帧内方式进行预测是在CU层进行的。一个PU划分结构的根在CU层。根据基本的预测类型,亮度CB和色度CB可以继续进行划分并利用其它的亮度PB和色度PB进行预测。HEVC支持多种PB尺寸,最大为64×64到最小4×4。
3、HEVC将2NxXX作为一种模式,在CU64、CU32、CU16及CU8中N值不同。在Cu64中N值等于32;CU32中N值等于16;在CU16中N值等于8。CU8中N值等于4。
4、正常运动估计,以UMHexagonS、EPZS等算法来进行运动搜索。正常运动估计中,搜索范围由编码器指定,有默认值。
5、分割标志编码指的是对当前CU的分割标志(split_cu_flag)进行编码后得到的代价。具体实施部分:
本发明主要针对H.264到HEVC转码中的帧间预测加速问题,提出了一种综合了自适应的模式映射、运动向量的合理重复利用的技术方案。总体方案如下:
先判断当前H.264编码帧是否为I帧,如果是,其转码技术不在本文讨论之列,可直接按照标准的级联转码实施。反之,如果H.264编码是P帧,则进入本文讨论之技术范畴,具体步骤为:
对每一个HEVC的CTU(编码树单元),首先判断当前64x64大小的CU(简称CU64),所对应的16个H.264编码的16x16宏块(以下简称MB),是否全被H.264编码为帧内模式,即I块。如果是,说明H.264无法提供任何该CU64的运动信息,则采取常规HEVC帧间预测方式执行。否则可以按优化的CU64帧间预测步骤执行。
设计原理:帧间预测阶段,结束后,进行编码(包括变换编码及熵编码等)帧间预测阶段,可能进行一系列CU64、CU32、CU16的四叉树分割,然后得到CU8;也有可能提前中止,有些不用最终深入到CU8,有些甚至不用分割到CU16,最理想的有些连CU32都不用帧间预测,而是直接将CU64作为1个整体进行编码;
其中CU32帧间预测、CU16帧间预测以及CU8帧间预测得到的最优模式,都只是一个临时最优模式,并且CU32帧间预测、CU16帧间预测以及CU8帧间预测都只是为了得到临时最优模式,而不进行任何编码;编码是在整个Cu64帧间预测结束后得到最优编码模式,根据最优编码模式进行编码。
其中从CU8临时最优模式递归到CU16,CU16选择临时最优模式;然后CU16选择的临时最优模式递归到CU32,CU32选择临时最优模式,递归到CU64,然后CU64选择最优编码模式作为最终的编码模式。
其中,CU64帧间预测、CU32帧间预测、CU16帧间预测、CU8帧间预测可以分为两类:CU64和CU32的大小超过16x16,由多个H.264对应的16x16大小的MB组成,为第一类;而CU16和CU8直接对应一个H.264编码的MB,故为第二类。
总体来说,第二类优化帧间预测相对直接,大致可以根据H.264宏块的编码模式直接映射到HEVC的精神进行。而第一类优化帧间预测需要综合多个宏块的编码信息进行判断,因而相对困难。
(1)CU64帧间预测:
在正常情况下,P帧里的Skip编码模式被选定最多的。由于HEVC的merge/skip模式有别于H.264标准,因此为确保率失真优化(rate-distortion optimization,简称RDO)质量,我们总是先执行merge/skip模式。
接着将判断CU64所对应的16个H.264宏块,其运动向量是否都对应于同一个参考帧。如果是,则CU64的预测将有机会得到大幅优化:接下来先判断16个MB是否全被H.264编码为16x16或Skip模式,如果是,说明每个MB都是各自均匀运动的。接下来判断这些MB的运动向量(MV)是否是相近的,如果是则说明全体MB都是一致运动的,这时如果H.264编码的残差系数幅值之和小于CU64阈值,则说明该CU64的2Nx2N帧间预测模式效果最好已经是大概率事件,我们就可以根据这些MB的运动向量信息做一个小范围运动估计,确定2Nx2N模式的MV,然后直接跳过CU64的其他模式,将2Nx2N的结果与前面merge/skip的结果比较后选择最优模式即可结束。同时,在上述条件下,由于区域内运动一致且MB对应的残差系数幅值之和小于Cu64阈值,可以认为CU64这一层的帧间预测结果已经足够好,不必再进行后续更小的四叉树分割。反之,即使16个MB并非全被编码为16x16或Skip模式,或者这些MB的运动向量不够一致,又或者H.264编码的残差仍然较大,我们依然可以利用H.264的运动信息,对各个帧间预测模式只进行缩小范围运动估计,从而降低复杂度。做完剩余帧间模式后,选择最佳模式即可。
其中MB的运动向量MV相近指的是:定义一个“核心运动向量”coreMV,对所有运动向量MV,如果其总数少于3个,则coreMV取为MV的平均,即 否则取为各MV的中值,即coreMV.x=median(MV0.x,MV1.x,…),coreMV.y=median(MV0.y,MV1.y,…)。
然后衡量运动向量MV相对于核心MV的离散度,即:
mvx_range=max(mvx_max–coreMV.x,coreMV.x–mvx_min)
mvy_range=max(mvy_max–coreMV.y,coreMV.y–mvy_min)
其中mvx_max=max(MV0.x,MV1.x,…),mvx_min=min(MV0.x,MV1.x,…),mvy_max=max(MV0.y,MV1.y,…),mvy_min=min(MV0.y,MV1.y,…)
如果mvx_range和mvy_range都小于阈值T_mv,则说明MV总体比较一致。优选的,T_mv=1。
MB的运动向量MV做一个小范围运动估计指的是:首先是搜索中心点的确立,常规处理方式是以HEVC的预测运动向量MVP作为搜索中心点,本方案则增加了一个核心运动向量coreMV作为候选:将coreMV与MVP比较,取对应SAD值小的作为中心点即可。其次是缩小搜索范围,设mv_range=max(mvx_range,mvy_range),若HEVC编码预设的搜索范围为SR_ori,则缩小的搜索范围SR=min(SR_ori,max(mv_range+SR_pad,SR_min))。其中,SR_pad和SR_min为自然数,为确保搜索范围不会过小的一种质量保证因素,优选的,SR_pad=1~2,SR_min=2~4。
当前CU64所对应的编码残差是否小于CU64阈值指的是基于一种自适应的标准,即对当前CU64周边邻近的CU64对应的H.264残差系数幅值之和进行统计平均,从而自适应的求得CU64阈值T_res,如果当前CU64对应的H.264残差系数幅值之和小于该阈值,则认为依据当前H.264的编码模式作为HEVC编码模式的参考已经足够好。优选的,T_res为Res(CU64_above)、Res(CU64_above_left)、Res(CU64_above_right)和Res(CU64_left)的函数,即T_res=α*(Res(CU64_above)+Res(CU64_above_left)+Res(CU64_above_right)+Res(CU64_left))/4。其中,CU64_above、CU64_above_left、CU64_above_right和CU64_left分别为当前CU64正上方、左上方、右上方和左边的CU64,Res函数则求取其输入参数CU对应的MB残差系数幅值之和,而α为比例系数。优选的,α取值范围[0.9,1)。当Res(当前CU64)<T_res时,表示当前CU64对应的H.264残差小于CU64阈值。其他CU32阈值、CU16阈值、求解过程与CU64阈值求解过程类似,都指的是对当前CU32、CU16、CU8中CU对应区域进行计算。
(2)CU32帧间预测:
CU32的优化帧间预测过程,与CU64是属于同一类H.264的多宏块映射关系,因此基本是类似的。主要的不同在于,在CU32这一层,当HEVC划分为非对称模式时,部分预测单元PU所能对应的已经不是完整的H.264宏块,而是子块级别。例如2NxnU,如图1a为CU32下该模式的划分比例,图1b显示了CU32对应的4个16x16宏块,图1c表明当下侧的两个MB为完整的16x16/PSkip且上侧的两个MB为水平分割的16x8模式时,能恰好对应于HEVC下CU32的2NxnU模式,因为此时在2NxnU模式下的上下两个PU内部,对应H.264除了宏块的自然边界(虚线所示)外,没有任何多余的实际分割(实线所示)。图1d则是一个反例,当上侧两个MB为垂直分割的8x16模式时,无法直接对应于HEVC的2NxnU。因此在本例下,如果4个MB的模式如(图1c)所示,且2NxnU的上PU对应的子块(即上侧两个MB的两个上半16x8)参考帧相同,且2NxnU的下PU对应的子块(即上侧两个MB的两个下半16x8,与下侧两个MB)参考帧一致,则可根据H.264的MV进行缩小范围运动估计优化处理。其余类似CU64处理过程的,此处不再赘述。
当前CU32所对应的编码残差小于CU32阈值指的是基于一种自适应的标准,即对当前CU32周边邻近的CU32对应的H.264残差进行统计平均,从而自适应的求得CU32阈值T_res,如果当前CU32对应的H.264残差小于该阈值,则认为依据当前H.264的编码模式作为HEVC编码模式的参考已经足够好。优选的,CU32阈值T_res为Res(CU32_above)、Res(CU32_above_left)、Res(CU32_above_right)和Res(CU32_left)的函数,即T_res=α*(Res(CU32_above)+Res(CU32_above_left)+Res(CU32_above_right)+Res(CU32_left))/4。其中,CU32_above、CU32_above_left、CU32_above_right和CU32_left分别为当前CU32正上方、左上方、右上方和左边的CU32,Res函数则求取其输入参数CU对应的MB残差系数幅值之和,而α为比例系数。优选的,α取值范围[0.9,1)。当Res(当前CU32)<T_res时,表示当前CU32对应的H.264残差小于CU32阈值。
(3)CU16帧间预测
先处理merge/skip模式,接下来判断对应的H.264宏块是否已经划分到SubMB(亚宏块)级别,也就是说:存在8x8或更小的划分。如果有这种小的划分,说明16x16范围内的运动不够一致,因此我们可以跳过CU16其它模式的测试,直接转到CU8级别的处理。反之,如果对应MB没有划分到SubMB以下,我们可以继续根据MB的模式进行一些优化。首先看对应MB是否编码为PSkip模式,如果是则说明当前CU层次下的Skip模式已经足够好,我们可以直接略过剩余模式,并设置不继续四叉树分割,以便后面可跳过CU8的处理。如果不是PSkip,而是帧内模式,则说明当前CU16的帧间模式已经不够好,我们可以略去其它帧间模式的测试,直接进行帧内模式的测试。如果既不是PSkip也不是intra模式,则说明是普通的16x16、16x8或8x16模式,这时我们首先看H.264的编码残差水平如何。如果残差大于CU16阈值,说明H.264的编码效果尚且不够好,我们可以令HEVC编码跳至下一级CU8的处理。反之,我们就可以直接采用H.264宏块既有的帧间预测模式及其运动向量,并且不必再考虑下一级CU8的划分。
其中判定当前CU16所对应的MB编码残差是否大于CU16阈值,同样是基于一种自适应的标准,即对当前CU16周边邻近的H.264宏块残差进行统计平均,从而自适应的求得CU16阈值T_res,如果当前CU16对应的H.264残差大于该阈值,则认为依据当前H.264的编码模式作为HEVC编码模式的参考仍然不够好。优选的,T_res为Res(MB_above)、Res(MB_above_left)、Res(MB_above_right)和Res(MB_left)的函数,即T_res=β*(Res(MB_above)+Res(MB_above_left)+Res(MB_above_right)+Res(MB_left))/4。其中,MB_above、MB_above_left、MB_above_right和MB_left分别为当前CU16正上方、左上方、右上方和左边的宏块,Res函数则求取输入参数MB的残差系数幅值之和,而β为比例系数。优选的,β取值范围(1.2,1.5]。当Res(当前CU16)>T_res时,表示当前CU16对应的H.264残差大于CU16阈值。
(4)CU8的帧间预测具体过程:
首先依然是做merge/skip模式,接着先看当前CU8所在的H.264的宏块模式。如果MB模式为PSkip,可以直接结束,否则如果是帧内模式,则CU8无法从H.264宏块得到任何运动信息,只能按常规方法处理所有剩余模式。如果两者都不是,则先判断MB的划分是否大于等于当前的CU8,也即是否为16x16、16x8、8x16、8x8这几种。如果是,说明在当前CU8范围内运动是整体性的,可以按2Nx2N模式处理,并直接采用MB或子块对应于当前CU8的MV即可。如果不是,说明对应MB存在8x4、4x8、4x4这样的小划分。由于HEVC在CU8这一层最小编码单元只考虑2Nx2N、2NxN和Nx2N划分,因此这时,我们先排除4x4,即如果MB只是8x4或4x8模式,我们相应为HEVC对应模式定为2NxN或Nx2N并采纳对应MV即可。反之如果是4x4,我们则不能省略2NxN或Nx2N模式的测试,只能根据H.264对应区域的MV,分别做缩小范围的运动搜索,最后从中选出最佳模式。
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合,以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (9)

1.一种自适应的从H264到HEVC的帧间快速转码方法,其特征在于包括:
步骤1:输入原始H264视频流,并对该视频进行解码,提取当前解码帧的宏块残差、编码模式、参考帧、运动向量;将HEVC 编码树单元覆盖的区域对应至当前解码帧的各个宏块;
步骤2:进行CU64帧间预测,得到CU64不分割时的最优模式,然后判断当前CU64帧间预测是否可以提前终止,当CU64对应的各MB参考帧相同、各MB全部是Pskip模式或16*16模式并且各MB的运动向量MV相近且16个MB对应的残差系数幅值之和小于CU64阈值时,则不需要对CTU进行分割,直接采用CU64不分割时的最优模式作为最优编码模式,否则,将CTU进行四叉树分割,形成4个第一级子单元CU32,对每个CU32分别执行步骤3之后,将所有第一级子单元CU32帧间预测中当前CU的最优模式时对应的代价连同分割标志编码代价一起求和,求和结果与CU64不分割时CU在最优模式时的代价对比,选择代价小者对应的模式作为当前CU64最优编码模式,以CU64最优编码模式对CTU进行编码:其中 CU64为64*64大小的CU;CU32为32*32的CU;CU16为16*16的CU;C8为8*8的CU;CU64是将64*64大小的宏块分割为4个32*32大小的区域CU32;
步骤3:进行CU32帧间预测,得到CU32不分割时的最优模式;然后判断当前CU32帧间预测是否可以提前终止,当当前CU32对应的MB 参考帧相同、对应的MB 为Pskip或16x16模式、4个MB的运动向量MV相近及4个MB对应的残差系数幅值之和小于CU32阈值时,则当前CU32可以提前终止,直接以CU32不分割时的最优模式作为CU32的最优模式,然后进行下一个CU32的帧间预测,否则,进入当前第一级子单元的CU32四叉树分割,形成4个第二级子单元CU16,对每个CU16分别执行步骤4之后,将所有第二级子单元CU16帧间预测中当前CU的最优模式时对应的代价连同分割标志编码代价一起求和,求和结果与CU32不分割时CU在最优模式时的代价对比,选择代价小者对应的模式作为当前CU32的最优模式,然后才进行下一个CU32的帧间预测;
步骤4:进行CU16帧间预测,得到CU16不分割时的最优模式,然后判断当前CU16帧间预测是否可以提前终止,当当前CU16对应MB是PSkip模式或者对应MB不是帧内模式、对应的MB未划分为亚宏块且MB对应的残差系数幅值之和小于等于CU16阈值时,则当前CU16可以提前终止,直接以CU16不分割时的最优模式作为CU16的最优模式,然后进行下一个CU16的帧间预测,否则进入CU16的四叉树分割,形成4个第三级子单元CU8,对每个CU8分别执行步骤5,执行步骤5之后,将所有CU8帧间预测中当前CU在最优模式时的代价连同分割标志编码代价一起求和,求和结果与当前CU16不分割时CU在最优模式时的代价对比,选择代价小者对应的模式作为当前CU16最优模式,然后才进行下一个CU16的帧间预测;CU16进行四叉树分割指的是将16*16大小宏块分给为4个8*8大小的区域CU8;
步骤5:进行CU8帧间预测,然后进行下一个CU8的帧间预测。
2.根据权利要求1所述的一种自适应的从H264到HEVC的帧间快速转码方法,其特征在于所述CU64帧间预测具体包括:
步骤21:对HEVC编码树单元的编码单元CU执行merge/skip模式,将HEVC区域的当前CU对应于H264的16个MB,计算16个MB的参考帧是否相同;若参考帧相同,则执行步骤22;否则,执行步骤23;
步骤22:当16个MB全被H264编码为16x16或Skip模式、16个MB的运动向量MV相近且判定当前CU所对应的所有MB对应的残差系数幅值之和小于CU64阈值时,则根据16个MB的运动向量信息做一个小范围运动估计,确定当前CU在为2N*2N模式时的代价,然后直接跳过其他帧间模式,将当前CU在2Nx2N模式的代价与当前CU执行merge/skip模式得到的代价进行比较,比较后选择代价小者对应的模式作为当前CU在不分割时的最优模式;否则,利用H.264的运动信息,对其他帧间模式进行缩小范围运动估计;确定当前CU其他帧间模式的代价,然后将当前CU在其他帧间模式的代价与当前CU执行merge/skip模式得到的代价进行比较,比较后选择代价小者对应的模式作为当前CU在不分割时的最优模式,然后进行CU64四叉树分割;CU64模式包括2N*2N模式和其他帧间模式;其中其他帧间模式包括2N*N模式、N*2N模式对称模式及2NxnU、2NxnD、nLx2N、nRx2N等非对称模式;其中U指的是Up,表示小于N的在编码单元CU上部;D表示Down,表示小于N的在编码单元CU下部;L指的是left,表示小于N的在编码单元CU左部;R指的是right,表示小于N的在编码单元CU右部;
步骤23:对当前CU进行2Nx2N按搜索范围进行正常运动估计,对其余帧间模式对应的预测单元PU做判断,考察每一个PU对应的所有宏块MB,若宏块MB的参考帧相同且宏块MB都是PSkip或16x16模式;则对CU64帧间预测模块对应的预测单元PU做小范围运动估计,否则,进行正常运动估计,执行步骤24;
步骤24:计算当前CU在所有其余帧间模式和帧内模式的代价后,然后将当前CU在其他模式的代价、帧内模式的代价对应与当前CU执行merge/skip模式得到的代价进行比较,比较后选择代价最小的作为当前CU在不分割时的最优模式,然后进行CU64四叉树分割。
3.根据权利要求1所述的一种自适应的从H264到HEVC的帧间快速转码方法,其特征在于所述CU32帧间预测具体包括:
步骤211:对HEVC编码树单元的编码单元CU执行merge/skip模式,将HEVC区域的当前CU对应于H264的4个MB,计算4个MB的参考帧是否相同;若参考帧相同,则执行步骤212;否则,执行步骤213;
步骤212:当4个MB全被H264编码为16x16或Skip模式、4个MB的运动向量MV相近且判定当前CU所对应的所有MB对应的残差系数幅值之和小于CU32阈值时,则根据4个MB的运动向量信息做一个小范围运动估计,确定当前CU在为2N*2N模式时的代价,然后直接跳过其他帧间模式,将当前CU在2Nx2N模式的代价与当前CU执行merge/skip模式得到的代价进行比较,比较后选择代价小者对应的模式作为当前CU在不分割时的最优模式;否则,利用H.264的运动信息,对其他帧间模式进行缩小范围运动估计;确定当前CU其他帧间模式的代价,然后将当前CU在其他帧间模式的代价与当前CU执行merge/skip模式得到的代价进行比较,比较后选择代价小者对应的模式作为当前CU在不分割时的最优模式,然后进行CU32四叉树分割;CU32模式包括2N*2N模式和其他帧间模式;其中其他帧间模式包括2N*N模式、N*2N模式对称模式及2NxnU、2NxnD、nLx2N、nRx2N等非对称模式;其中U指的是Up,表示小于N的在编码单元CU上部;D表示Down,表示小于N的在编码单元CU下部;L指的是left,表示小于N的在编码单元CU左部;R指的是right,表示小于N的在编码单元CU右部;
步骤213:对当前CU进行2Nx2N按搜索范围进行正常运动估计,对其余帧间模式对应的预测单元PU做判断,考察每一个PU对应的所有宏块MB及宏块MB的局部区域,若宏块MB及宏块MB的局部区域的参考帧相同且宏块MB及宏块MB的局部区域都是完整划分;则对CU64帧间预测模块对应的预测单元PU做小范围运动估计,否则,进行正常运动估计,执行步骤214;完整划分指的是宏块MB都是PSkip、16x16模式,宏块MB的局部区域的内部不存在MB模式划分形成的分界 ;宏块MB的局部区域指的是宏块MB的一部分;
步骤214:计算当前CU在所有其余帧间模式和帧内模式的代价后,然后将当前CU在其他模式的代价、帧内模式的代价对应与当前CU执行merge/skip模式得到的代价进行比较,比较后选择代价最小的作为当前CU在不分割时的最优模式,然后进行CU32四叉树分割。
4.根据权利要求1所述的一种自适应的从H264到HEVC的帧间快速转码方法,其特征在于所述CU16帧间预测具体处理过程是:
步骤31:对当前CU执行Merge/Skip模式,计算当前CU对应的MB是否已经划分到SubMB(亚宏块)级别,如果是,则跳过其它帧间模式的测试,进行CU16四叉树分割,将4个CU8中当前CU在最优模式时的代价连同分割标志编码代价一起求和,求和结果与CU16不分割时CU在最优模式时的代价对比,选择代价小者对应的模式作为当前CU16最优模式;否则,执行步骤32;
步骤32:若当前CU对应的MB是否编码为PSkip模式,如果是,则跳过其他帧间模式,以merge/skip模式作为当前CU16不分割时的最优模式;如果当前CU对应的MB不是PSkip,而是帧内模式,则跳过其他帧间模式,执行帧内模式,与当前CU执行merge/skip模式得到的代价进行比较,选择代价较小的作为当前CU在不分割时的最优模式,然后进行CU16四叉树分割;如果当前CU对应的MB不是PSkip,也不是帧内模式,则MB为16x16、16x8或8x16模式,执行步骤33;
步骤33:判断当前CU对应的MB对应的残差系数幅值之和是否大于CU16阈值,如果大于阈值,则进行CU16四叉树分割;否则,采用H.264宏块既有的帧间预测模式作为当前CU16不分割时的最优模式,同时采用H.264宏块既有的运动向量,不进行CU16其他的帧间模式计算。
5.根据权利要求1所述一种自适应的从H264到HEVC的帧间快速转码方法,其特征在于CU8帧间预测具体处理过程是:
步骤41:对HEVC编码树单元的编码单元CU执行merge/skip模式,接着先看当前CU所在的H.264的宏块模式;如果当前CU对应的MB模式为PSkip模式,则直接结束;若当前CU对应的MB是帧内模式,则计算当前CU所有剩余模式的代价,并与当前CU执行执行merge/skip模式得到的代价进行比较,选择代价小者对应的模式作为当前CU最优模式;如果当前CU对应的MB即不是PSkip模式也不是帧内模式,则先判断当前CU对应的MB的划分是否大于等于当前的CU8,也即是否为16*16模式、16x8模式、8x16模式、8x8模式这几种模式;如果是,则当前CU的2Nx2N模式的MV采取覆盖当前CU的对应MB或子块的运动向量MV,并跳过其他剩余模式;否则,执行步骤42;其他剩余模式指的是2N*N模式、N*2N模式对称模式和帧内模式; 所有剩余模式指的是2Nx2N模式和其他剩余模式;
步骤42:当当前CU对应的亚宏块是8x4或4x8模式,则CU对应采用2NxN或Nx2N模式,同时采用2NxN或Nx2N模式对应运动向量MV,与当前CU采用merge/skip模式得到的代价比较后选出最优模式;如果当前CU对应的亚宏块是4x4模式,则根据H264对应区域的运动向量MV,分别做缩小范围运动估计,遍历剩余模式,最后与merge/skip模式得到的代价比较选出最优模式;剩余模式指的是2N*N模式、N*2N模式对称模式。
6.一种自适应的从H264到HEVC的帧间快速转码装置,其特征在于包括:
H264解码模块,用于对输入原始H264视频流进行解码,提取当前解码帧的宏块残差、编码模式、参考帧、运动向量;将HEVC 编码树单元覆盖的区域对应至当前解码帧的各个宏块;
CU64预测模块,用于进行CU64帧间预测,得到CU64不分割时的最优模式,然后判断当前CU64帧间预测是否可以提前终止,当CU64对应的各MB参考帧相同、各MB全部是Pskip模式或16*16模式并且各MB的运动向量MV相近且16个MB对应的残差系数幅值之和小于CU64阈值时,则不需要对CTU进行分割,直接采用CU64不分割时的最优模式作为最优编码模式,否则,将CTU进行四叉树分割,形成4个第一级子单元CU32,对每个CU32通过CU32预测模块进行处理,然后将所有第一级子单元CU32帧间预测中当前CU的最优模式时对应的代价连同分割标志编码代价一起求和,求和结果与CU64不分割时CU在最优模式时的代价对比,选择代价小者对应的模式作为当前CU64最优编码模式,以CU64最优编码模式对CTU进行编码:其中CU64为64*64大小的CU;CU32为32*32的CU;CU16为16*16的CU;C8为8*8的CU;CU64是将64*64大小的宏块分割为4个32*32大小的区域CU32;
CU32预测模块,用于进行CU32帧间预测,得到CU32不分割时的最优模式;然后判断当前CU32帧间预测是否可以提前终止,当当前CU32对应的MB 参考帧相同、对应的MB 为Skip或16x16模式、 4个MB的运动向量MV相近及4个MB对应的残差系数幅值之和小于CU32阈值时,则当前CU32可以提前终止,直接以CU32不分割时的最优模式作为CU32的最优模式,然后进行下一个CU32的帧间预测,否则,进入当前第一级子单元的CU32四叉树分割,形成4个第二级子单元CU16,对每个CU16通过CU16预测模块进行处理,然后将所有第二级子单元CU16帧间预测中当前CU的最优模式时对应的代价连同分割标志编码代价一起求和,求和结果与CU32不分割时CU在最优模式时的代价对比,选择代价小者对应的模式作为当前CU32的最优模式,然后才进行下一个CU32的帧间预测;
CU16预测模块,用于进行CU16帧间预测,得到CU16不分割时的最优模式,然后判断当前CU16帧间预测是否可以提前终止,当当前CU16对应MB是PSkip模式或者对应MB不是帧内模式、当前CU16对应的MB未划分为亚宏块且当前CU16对应的MB对应的残差系数幅值之和小于等于CU16阈值时,则当前CU16可以提前终止,直接以CU16不分割时的最优模式作为CU16的最优模式,然后进行下一个CU16的帧间预测,否则进入CU16的四叉树分割,形成4个第三级子单元CU8,对每个CU8通过CU8预测模块进行处理,然后将所有CU8帧间预测中当前CU在最优模式时的代价连同分割标志编码代价一起求和,求和结果与当前CU16不分割时CU在最优模式时的代价对比,选择代价小者对应的模式作为当前CU16最优模式,然后才进行下一个CU16的帧间预测;CU16进行四叉树分割指的是将16*16大小宏块分给为4个8*8大小的区域CU8;
CU8预测模块,用于进行CU8帧间预测,然后进行下一个CU8帧间预测。
7.根据权利要求6所述的一种自适应的从H264到HEVC的帧间快速转码装置,其特征在于所述CU64帧间预测模块具体处理过程包括:
步骤21:对HEVC编码树单元的编码单元CU执行merge/skip模式,将HEVC区域的当前CU对应于H264的16个MB,计算16个MB的参考帧是否相同;若参考帧相同,则执行步骤22;否则,执行步骤23;
步骤22:当16个MB全被H264编码为16x16或Skip模式、16个MB的运动向量MV相近且判定当前CU所对应的所有MB对应的残差系数幅值之和小于CU64阈值时,则根据16个MB的运动向量信息做一个小范围运动估计,确定当前CU在为2N*2N模式时的代价,然后直接跳过其他帧间模式,将当前CU在2Nx2N模式的代价与当前CU执行merge/skip模式得到的代价进行比较,比较后选择代价小者对应的模式作为当前CU在不分割时的最优模式;否则,利用H.264的运动信息,对其他帧间模式进行缩小范围运动估计;确定当前CU其他帧间模式的代价,然后将当前CU在其他帧间模式的代价与当前CU执行merge/skip模式得到的代价进行比较,比较后选择代价小者对应的模式作为当前CU在不分割时的最优模式,然后进行CU64四叉树分割;CU64模式包括2N*2N模式和其他帧间模式;其中其他帧间模式包括2N*N模式、N*2N模式对称模式及2NxnU、2NxnD、nLx2N、nRx2N等非对称模式;其中U指的是Up,表示小于N的在编码单元CU上部;D表示Down,表示小于N的在编码单元CU下部;L指的是left,表示小于N的在编码单元CU左部;R指的是right,表示小于N的在编码单元CU右部;
步骤23:对当前CU进行2Nx2N按搜索范围进行正常运动估计,对其余帧间模式对应的预测单元PU做判断,考察每一个PU对应的所有宏块MB,若宏块MB的参考帧相同且宏块MB都是PSkip或16x16模式;则对CU64帧间预测模块对应的预测单元PU做小范围运动估计,否则,进行正常运动估计,执行步骤24;
步骤24:计算当前CU在所有其余帧间模式和帧内模式的代价后,然后将当前CU在其他模式的代价、帧内模式的代价对应与当前CU执行merge/skip模式得到的代价进行比较,比较后选择代价最小的作为当前CU在不分割时的最优模式,然后进行CU64四叉树分割
根据权利要求6所述的一种自适应的从H264到HEVC的帧间快速转码装置,其特征在于所述CU32帧间预测模块具体处理过程包括:
步骤211:对HEVC编码树单元的编码单元CU执行merge/skip模式,将HEVC区域的当前CU对应于H264的4个MB,计算4个MB的参考帧是否相同;若参考帧相同,则执行步骤212;否则,执行步骤213;
步骤212:当4个MB全被H264编码为16x16或Skip模式、4个MB的运动向量MV相近且判定当前CU所对应的所有MB对应的残差系数幅值之和小于CU32阈值时,则根据4个MB的运动向量信息做一个小范围运动估计,确定当前CU在为2N*2N模式时的代价,然后直接跳过其他帧间模式,将当前CU在2Nx2N模式的代价与当前CU执行merge/skip模式得到的代价进行比较,比较后选择代价小者对应的模式作为当前CU在不分割时的最优模式;否则,利用H.264的运动信息,对其他帧间模式进行缩小范围运动估计;确定当前CU其他帧间模式的代价,然后将当前CU在其他帧间模式的代价与当前CU执行merge/skip模式得到的代价进行比较,比较后选择代价小者对应的模式作为当前CU在不分割时的最优模式,然后进行CU32四叉树分割;CU32模式包括2N*2N模式和其他帧间模式;其中其他帧间模式包括2N*N模式、N*2N模式对称模式及2NxnU、2NxnD、nLx2N、nRx2N等非对称模式;其中U指的是Up,表示小于N的在编码单元CU上部;D表示Down,表示小于N的在编码单元CU下部;L指的是left,表示小于N的在编码单元CU左部;R指的是right,表示小于N的在编码单元CU右部;
步骤213:对当前CU进行2Nx2N按搜索范围进行正常运动估计,对其余帧间模式对应的预测单元PU做判断,考察每一个PU对应的所有宏块MB及宏块MB的局部区域,若宏块MB及宏块MB的局部区域的参考帧相同且宏块MB及宏块MB的局部区域都是完整划分;则对CU64帧间预测模块对应的预测单元PU做小范围运动估计,否则,进行正常运动估计,执行步骤214;完整划分指的是宏块MB都是PSkip、16x16模式,宏块MB的局部区域的内部不存在MB模式划分形成的分界 ;宏块MB的局部区域指的是宏块MB的一部分;
步骤214:计算当前CU在所有其余帧间模式和帧内模式的代价后,然后将当前CU在其他模式的代价、帧内模式的代价对应与当前CU执行merge/skip模式得到的代价进行比较,比较后选择代价最小的作为当前CU在不分割时的最优模式,然后进行CU32四叉树分割。
8.根据权利要求6所述的一种自适应的从H264到HEVC的帧间快速转码装置,其特征在于所述CU16帧间预测模块具体处理过程包括:
步骤31:对当前CU执行Merge/Skip模式,计算当前CU对应的MB是否已经划分到SubMB(亚宏块)级别,如果是,则跳过其它帧间模式的测试,进行CU16四叉树分割,将4个CU8中当前CU在最优模式时的代价连同分割标志编码代价一起求和,求和结果与CU16不分割时CU在最优模式时的代价对比,选择代价小者对应的模式作为当前CU16最优模式;否则,执行步骤32;
步骤32:若当前CU对应的MB是否编码为PSkip模式,如果是,则跳过其他帧间模式,以merge/skip模式作为当前CU16不分割时的最优模式;如果当前CU对应的MB不是PSkip,而是帧内模式,则跳过其他帧间模式,执行帧内模式,与当前CU执行merge/skip模式得到的代价进行比较,选择代价较小的作为当前CU在不分割时的最优模式,然后进行CU16四叉树分割;如果当前CU对应的MB不是PSkip,也不是帧内模式,则MB为16x16、16x8或8x16模式,执行步骤33;
步骤33:判断当前CU对应的MB对应的残差系数幅值之和是否大于CU16阈值,如果大于阈值,则进行CU16四叉树分割;否则,采用H.264宏块既有的帧间预测模式作为当前CU16不分割时的最优模式,同时采用H.264宏块既有的运动向量,不进行CU16其他的帧间模式计算。
9.根据权利要求6所述的一种自适应的从H264到HEVC的帧间快速转码装置,其特征在于所述在于CU8帧间预测模块具体处理过程是:
步骤41:对HEVC编码树单元的编码单元CU执行merge/skip模式,接着先看当前CU所在的H.264的宏块模式;如果当前CU对应的MB模式为PSkip模式,则直接结束;若当前CU对应的MB是帧内模式,则计算当前CU所有剩余模式的代价,并与当前CU执行执行merge/skip模式得到的代价进行比较,选择代价小者对应的模式作为当前CU最优模式;如果当前CU对应的MB即不是PSkip模式也不是帧内模式,则先判断当前CU对应的MB的划分是否大于等于当前的CU8,也即是否为16*16模式、16x8模式、8x16模式、8x8模式这几种模式;如果是,则当前CU的2Nx2N模式的MV采取覆盖当前CU的对应MB或子块的运动向量MV,并跳过其他剩余模式;否则,执行步骤42;其他剩余模式指的是2N*N模式、N*2N模式对称模式和帧内模式; 所有剩余模式指的是2Nx2N模式和其他剩余模式;
步骤42:当当前CU对应的亚宏块是8x4或4x8模式,则CU对应采用2NxN或Nx2N模式,同时采用2NxN或Nx2N模式对应运动向量MV,与当前CU采用merge/skip模式得到的代价比较后选出最优模式;如果当前CU对应的亚宏块是4x4模式,则根据H264对应区域的运动向量MV,分别做缩小范围运动估计,遍历剩余模式,最后与merge/skip模式得到的代价比较选出最优模式;剩余模式指的是2N*N模式、N*2N模式对称模式。
CN201610554211.9A 2016-07-14 2016-07-14 一种自适应的从h264到hevc的帧间快速转码方法及装置 Active CN105959611B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610554211.9A CN105959611B (zh) 2016-07-14 2016-07-14 一种自适应的从h264到hevc的帧间快速转码方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610554211.9A CN105959611B (zh) 2016-07-14 2016-07-14 一种自适应的从h264到hevc的帧间快速转码方法及装置

Publications (2)

Publication Number Publication Date
CN105959611A CN105959611A (zh) 2016-09-21
CN105959611B true CN105959611B (zh) 2018-09-21

Family

ID=56900727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610554211.9A Active CN105959611B (zh) 2016-07-14 2016-07-14 一种自适应的从h264到hevc的帧间快速转码方法及装置

Country Status (1)

Country Link
CN (1) CN105959611B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106534860A (zh) * 2016-11-21 2017-03-22 天津大学 一种基于内容分析的屏幕内容编码方法
CN106888379B (zh) * 2017-01-13 2019-07-05 同济大学 应用于h.264到hevc的帧间快速视频转码方法
CN106899850B (zh) * 2017-03-02 2020-08-14 北方工业大学 基于satd的hevc帧内预测的方法和装置
US10291925B2 (en) * 2017-07-28 2019-05-14 Intel Corporation Techniques for hardware video encoding
CN107396102B (zh) * 2017-08-30 2019-10-08 中南大学 一种基于Merge技术运动矢量的帧间模式快速选择方法及装置
CN107592547B (zh) * 2017-08-31 2019-05-31 浙江工业大学 一种基于hevc压缩域的运动感知图提取方法
CN108924550A (zh) * 2018-06-19 2018-11-30 复旦大学 一种多路同分辨率视频转码方法
CN110149512B (zh) * 2018-09-14 2023-04-14 腾讯科技(深圳)有限公司 帧间预测加速方法、装置、计算机存储介质及设备
CN109495750A (zh) * 2018-10-26 2019-03-19 西安科锐盛创新科技有限公司 基于四叉树的带宽压缩预测方法
CN110650342A (zh) * 2019-08-31 2020-01-03 电子科技大学 基于编码单元多特征分析的快速编码方法
CN111586406B (zh) * 2020-04-26 2021-10-15 中南大学 一种vvc帧内帧间跳过方法、系统、设备及存储介质
CN113992915B (zh) * 2021-12-28 2022-05-17 康达洲际医疗器械有限公司 一种可适用于vvc帧内预测的编码单元划分方法与系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130045784A (ko) * 2011-10-26 2013-05-06 인텔렉추얼디스커버리 주식회사 인터 예측 모드 스케일러블 코딩 방법 및 장치
CN104320657A (zh) * 2014-10-31 2015-01-28 中国科学技术大学 Hevc无损视频编码的预测模式选择方法及相应的编码方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130045784A (ko) * 2011-10-26 2013-05-06 인텔렉추얼디스커버리 주식회사 인터 예측 모드 스케일러블 코딩 방법 및 장치
CN104320657A (zh) * 2014-10-31 2015-01-28 中国科学技术大学 Hevc无损视频编码的预测模式选择方法及相应的编码方法

Also Published As

Publication number Publication date
CN105959611A (zh) 2016-09-21

Similar Documents

Publication Publication Date Title
CN105959611B (zh) 一种自适应的从h264到hevc的帧间快速转码方法及装置
CN106454378B (zh) 一种基于变形运动模型的帧率上转换视频编码方法及系统
CN103873861B (zh) 一种用于hevc的编码模式选择方法
CN103561263B (zh) 基于运动矢量约束和加权运动矢量的运动补偿预测方法
CN105306947B (zh) 基于机器学习的视频转码方法
CN107979756A (zh) 一种视频编码系统所使用的视频编码方法及装置
CN103581647B (zh) 一种基于彩色视频运动矢量的深度图序列分形编码方法
CN106713935A (zh) 一种基于贝叶斯决策的hevc块划分快速方法
CN103546749B (zh) 利用残差系数分布特征和贝叶斯定理优化hevc残差编码的方法
CN103188496B (zh) 基于运动矢量分布预测的快速运动估计视频编码方法
CN105959699B (zh) 一种基于运动估计和时空域相关性的快速帧间预测方法
CN101385356A (zh) 采用帧内预测模式的图像编码方法
CN105491390B (zh) 混合视频编码标准中帧内预测方法
CN103997645B (zh) 一种快速的hevc帧内编码单元和模式决策方法
CN104853191B (zh) 一种hevc的快速编码方法
CN101022555B (zh) 帧间预测编码的模式快速选择方法
CN107040782B (zh) 基于拉格朗日方法的视频编码全局率失真优化方法
CN105681808B (zh) 一种scc帧间编码单元模式的快速决策方法
CN102186081B (zh) 一种基于梯度向量的h.264帧内模式选择方法
CN105898332B (zh) 针对3d-hevc编码标准的快速深度图帧内模式判决方法
CN107343198A (zh) 一种avs2帧间预测模式快速判决方法
CN104811729B (zh) 一种视频多参考帧编码方法
CN105208387A (zh) 一种hevc帧内预测模式快速选择方法
CN107018412B (zh) 一种基于关键帧编码单元划分模式的dvc-hevc视频转码方法
CN100484249C (zh) 视频帧间编码基于边缘方向的帧内预测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211201

Address after: 230000 No. 67, Jiatang village north, Dayang Town, Luyang District, Hefei City, Anhui Province

Patentee after: Gao Qianwen

Address before: 518000 No. 04, 22 / F, international student entrepreneurship building, No. 29, South Ring Road, high tech Zone, Nanshan District, Shenzhen, Guangdong Province

Patentee before: TONGGUAN TECHNOLOGY (SHENZHEN) CO.,LTD.