CN113242429A - 视频编码模式决策方法、装置、设备及存储介质 - Google Patents

视频编码模式决策方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113242429A
CN113242429A CN202110512404.9A CN202110512404A CN113242429A CN 113242429 A CN113242429 A CN 113242429A CN 202110512404 A CN202110512404 A CN 202110512404A CN 113242429 A CN113242429 A CN 113242429A
Authority
CN
China
Prior art keywords
candidate
coding unit
coding
level
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110512404.9A
Other languages
English (en)
Other versions
CN113242429B (zh
Inventor
韩庆瑞
阮良
陈丽
陈功
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Netease Zhiqi Technology Co Ltd
Original Assignee
Hangzhou Langhe Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Langhe Technology Co Ltd filed Critical Hangzhou Langhe Technology Co Ltd
Priority to CN202110512404.9A priority Critical patent/CN113242429B/zh
Publication of CN113242429A publication Critical patent/CN113242429A/zh
Application granted granted Critical
Publication of CN113242429B publication Critical patent/CN113242429B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Abstract

本申请提供了一种视频编码模式决策方法、装置、设备及存储介质,方法包括:将视频帧划分为多级编码单元;由下级至上级逐级执行如下步骤进行编码单元决策:对于当前级别中待决策目标编码单元的候选编码单元,确定候选编码单元的第一损失代价函数值;根据候选编码单元的第一损失代价函数值,及在下级对应的子候选编码单元的第一损失代价函数值,将候选编码单元或子候选编码单元决策为候选目标编码单元;将决策的候选目标编码单元根据第一预设条件分类为第一/第二候选编码单元;将第二候选编码单元向上一级进行目标编码单元决策,结束第一候选编码单元向上一级决策,并根据决策的候选目标编码单元,确定第一候选编码单元的目标编码单元。

Description

视频编码模式决策方法、装置、设备及存储介质
技术领域
本发明涉及视频编解码技术领域,尤指一种视频编码模式决策方法、装置、设备及存储介质。
背景技术
本部分旨在为权利要求书中陈述的本申请的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
在对视频进行编码的过程中,需要同时保证视频编码的码率和峰值信噪比(PeakSignal to Noise Ratio,PSNR),以实现视频编码后高压缩率和重建图像的效果之间的平衡。在视频编码的过程中,可以将图像划分为多个编码单元(Coding Unit,CU),根据不同CU中像素的特点,选择合适的编码模式对划分的CU进行编码,来得到能够最好地提高编码效率,平衡压缩率和重建图像效果。
对于在视频编码过程中,如何进行CU划分,及选择划分的CU采用的合适的编码模式,需要进行编码模式决策。相关技术中在进行编码模式决策时,利用多种用于评价各种编码模式的编码效率的代价函数。如何高效地的利用多种代价函数确定CU的划分方式及决策CU的编码模式,需要提供一种相应的解决方案。
发明内容
本发明实施例提供一种视频编码模式决策方法,用以解决现有技术中存在编码模式决策效率较低的问题。
第一方面,本申请一实施例提供了一种视频编码模式决策方法,包括:
获取待编码的视频流,将所述视频流中的视频帧划分为多级编码单元;
由下级至上级逐级执行如下步骤进行目标编码单元决策:
对于当前级别中待决策目标编码单元的候选编码单元,确定所述候选编码单元的第一损失代价函数值;
根据所述候选编码单元的第一损失代价函数值,及所述候选编码单元在下级对应的子候选编码单元的第一损失代价函数值,将所述候选编码单元或所述子候选编码单元决策为候选目标编码单元;
将决策的候选目标编码单元根据第一预设条件分类为第一候选编码单元和第二候选编码单元;
将第二候选编码单元向上一级进行目标编码单元决策,结束针对所述第一候选编码单元向上一级进行目标编码单元决策,并根据决策的候选目标编码单元,确定第一候选编码单元的目标编码单元。
本申请通过对划分得到的各级别CU,通过该CU与下级对应的子CU使用第一损失代价函数值进行决策,确定采用当前级别的CU或者下一级的CU作为进一步决策的CU。通过所述第一预设条件将进一步决策的CU分类,对满足第一预设条件的第一候选CU结束决策,对不满足第一预设条件的第二候选CU向上一级进一步决策,以此循环,直至将所述视频帧中的所有区域完成决策,最终得到不同级别、不同大小的目标CU(不考虑极特殊情况)。这样,由最后一级CU至第一级CU逐级向上使用第一损失代价函数值进行决策,对满足第一预设条件的CU结束向上级的决策,后续不再对这部分CU及对应的上级CU计算第一损失代价函数值,从而减少了计算量。
可选地,将所述视频流中的视频帧划分为多级编码单元,包括:
将所述视频流中的视频帧划分为多个编码树单元;
对每个所述编码树单元划分多个第一级编码单元,之后每级编码单元划分为多个下一级编码单元;
基于每级划分得到的编码单元,根据不同候选编码模式对应的第二损失代价函数值确定满足结束条件时,结束向下一级划分。
这样,通过对每级CU计算第二损失代价函数值,根据所述第二损失代价函数值动态确定对CTU划分的层级,从而动态确定最后一级CU的尺寸。
可选地,根据不同编码模式对应的第二损失代价函数值确定满足结束条件,包括:
根据不同编码模式对应的第二损失代价函数值,确定其中一个编码模式的第二损失代价函数值小于预设结束阈值时,确定满足结束条件。
这样,通过当一个编码模式的第二损失代价函数值小于预设结束阈值时。结束对CU的划分,从而动态确定最后一级CU的尺寸。
可选地,根据所述候选编码单元的第一损失代价函数值,及所述候选编码单元在下级对应的子候选编码单元的第一损失代价函数值,将所述候选编码单元或所述子候选编码单元决策为候选目标编码单元,包括:
根据所述候选编码单元在不同编码模式下的第一损失代价函数值,决策所述候选编码单元的编码模式;
确定当前级别不是最后一级时,根据所述候选编码单元在决策的编码模式下的第一损失代价函数值,及该候选编码单元在下级对应的子候选编码单元在决策的编码模式下的第一损失代价函数值,将所述候选编码单元或所述子候选编码单元决策为候选目标编码单元。
这样,通过比较当前级别的候选CU与其对应的下一级别的候选CU的第一损失代价函数值,能够对此候选CU的区域决策出采用整体编码或划分后再编码中效果更优的方案。
可选地,若当前级别为最后一级的上一级时,还包括:
根据候选编码单元对应的子候选编码单元决策的编码模式,确定满足第二预设条件的候选编码单元;
对于满足第二预设条件的候选编码单元,决策采用对应的子候选编码单元作为候选目标编码单元;
对于不满足第二预设条件的候选编码单元,触发不同编码模式下的第一损失代价函数值计算。
这样,根据最后一级的候选CU的编码模式优先进行决策是否采用按最后一级的划分方式进行编码,能够减少高层级候选CU的第一损失代价函数值的计算量。
可选地,根据候选编码单元对应的子候选编码单元决策的编码模式,确定满足第二预设条件的候选编码单元,包括:
确定候选编码单元对应的子候选编码单元决策的编码模式中,同一个编码模式的子候选编码单元数量大于等于预设数量时,确定满足所述候选编码单元满足第二预设条件。
这样,通过同一编码模式的最后一级候选CU的数量来进行决策是否采用最后一级的划分方式进行编码,编码的效果较优。
可选地,确定候选编码单元对应的子候选编码单元决策的编码模式中,同一个编码模式的子候选编码单元数量大于等于预设数量时,确定满足所述候选编码单元满足第二预设条件,包括:
确定候选编码单元对应的所有子候选编码单元决策的编码模式相同时,确定满足所述候选编码单元满足第二预设条件。
使用第N-1级候选CU对应的第N级子候选CU总数量作为预设数量决策是否采用最后一级候选CU作为编码的CU,编码的效果较好。
可选地,将所述候选编码单元或所述子候选编码单元决策为候选目标编码单元,包括:
确定所述候选编码单元在决策的编码模式下的第一损失代价函数值,是否小于所述候选编码单元在下级对应的子候选编码单元在决策的编码模式下的第一损失代价函数值总和;
若小于,决策采用所述候选编码单元作为候选目标编码单元;
否则,采用下级对应的所述子候选编码单元作为候选目标编码单元。
这样,利用两者之间的较小值,可以选择出编码方式更优的划分方式。
可选地,将决策的候选目标编码单元根据第一预设条件分类为第一候选编码单元和第二候选编码单元,包括:
确定同属于上一级的编码单元的多个候选编码单元;
确定所述多个候选编码单元中,至少一个候选编码单元采用对应的子候选编码单元作为候选目标编码单元时,确定所述多个候选编码单元为符合第一预设条件的编码单元;
否则,确定所述多个候选编码单元为第二候选编码单元。
这样,通过对同属于一个上一级CU的候选CU,直接根据其它同一级候选CU中采用下级CU进行编码的情况结束决策,可以进一步地减少计算量。
可选地,所述第二损失代价函数值为绝对变换差和SATD值。
可选地,所述第一损失代价函数值为率失真代价RDO值。
可选地,所述的方法还包括:
完成所有级的目标编码单元决策后,对决策出的目标编码单元,采用决策该目标编码单元的编码模式进行编码。
这样,利用上述决策方法能够决策出较优的CU划分方式和编码模式的同时减少了计算量,实现了高效地对视频帧不同区域采用效率更高的方式进行编码。
第二方面,本申请一实施例提供了一种视频编码模式决策装置,包括:
编码单元划分单元,用于获取待编码的视频流,将所述视频流中的视频帧划分为多级编码单元;第二损失代价函数值由下级至上级逐级执行如下步骤进行目标编码单元决策:
代价计算单元,用于对于当前级别中待决策目标编码单元的候选编码单元,确定所述候选编码单元的第一损失代价函数值;
决策单元,用于根据所述候选编码单元的第一损失代价函数值,及所述候选编码单元在下级对应的子候选编码单元的第一损失代价函数值,将所述候选编码单元或所述子候选编码单元决策为候选目标编码单元;
分类单元,用于将决策的候选目标编码单元根据第一预设条件分类为第一候选编码单元和第二候选编码单元;
循环单元,用于将第二候选编码单元向上一级进行目标编码单元决策,结束针对所述第一候选编码单元向上一级进行目标编码单元决策,并根据决策的候选目标编码单元,确定第一候选编码单元的目标编码单元。
可选地,将所述视频流中的视频帧划分为多级编码单元,包括:
将所述视频流中的视频帧划分为多个编码树单元;
对每个所述编码树单元划分多个第一级编码单元,之后每级编码单元划分为多个下一级编码单元;
基于每级划分得到的编码单元,根据不同候选编码模式对应的第二损失代价函数值确定满足结束条件时,结束向下一级划分。
可选地,根据不同编码模式对应的第二损失代价函数值确定满足结束条件,包括:
根据不同编码模式对应的第二损失代价函数值,确定其中一个编码模式的第二损失代价函数值小于预设结束阈值时,确定满足结束条件。
可选地,根据所述候选编码单元的第一损失代价函数值,及所述候选编码单元在下级对应的子候选编码单元的第一损失代价函数值,将所述候选编码单元或所述子候选编码单元决策为候选目标编码单元,包括:
根据所述候选编码单元在不同编码模式下的第一损失代价函数值,决策所述候选编码单元的编码模式;
确定当前级别不是最后一级时,根据所述候选编码单元在决策的编码模式下的第一损失代价函数值,及该候选编码单元在下级对应的子候选编码单元在决策的编码模式下的第一损失代价函数值,将所述候选编码单元或所述子候选编码单元决策为候选目标编码单元。
可选地,若当前级别为最后一级的上一级时,还包括:
根据候选编码单元对应的子候选编码单元决策的编码模式,确定满足第二预设条件的候选编码单元;
对于满足第二预设条件的候选编码单元,决策采用对应的子候选编码单元作为候选目标编码单元;
对于不满足第二预设条件的候选编码单元,触发不同编码模式下的第一损失代价函数值计算。
可选地,根据候选编码单元对应的子候选编码单元决策的编码模式,确定满足第二预设条件的候选编码单元,包括:
确定候选编码单元对应的子候选编码单元决策的编码模式中,同一个编码模式的子候选编码单元数量大于等于预设数量时,确定满足所述候选编码单元满足第二预设条件。
可选地,确定候选编码单元对应的子候选编码单元决策的编码模式中,同一个编码模式的子候选编码单元数量大于等于预设数量时,确定满足所述候选编码单元满足第二预设条件,包括:
确定候选编码单元对应的所有子候选编码单元决策的编码模式相同时,确定满足所述候选编码单元满足第二预设条件。
可选地,将所述候选编码单元或所述子候选编码单元决策为候选目标编码单元,包括:
确定所述候选编码单元在决策的编码模式下的第一损失代价函数值,是否小于所述候选编码单元在下级对应的子候选编码单元在决策的编码模式下的第一损失代价函数值总和;
若小于,决策采用所述候选编码单元作为候选目标编码单元;
否则,采用下级对应的所述子候选编码单元作为候选目标编码单元。
可选地,将决策的候选目标编码单元根据第一预设条件分类为第一候选编码单元和第二候选编码单元,包括:
确定同属于上一级的编码单元的多个候选编码单元;
确定所述多个候选编码单元中,至少一个候选编码单元采用对应的子候选编码单元作为候选目标编码单元时,确定所述多个候选编码单元为符合第一预设条件的编码单元;
否则,确定所述多个候选编码单元为第二候选编码单元。
可选地,所述第二损失代价函数值为绝对变换差和SATD值。
可选地,所述第一损失代价函数值为率失真代价RDO值。
可选地,所述的装置还包括:
完成所有级的目标编码单元决策后,对决策出的目标编码单元,采用决策该目标编码单元的编码模式进行编码。
第三方面,本申请一实施例提供了一种电子设备,包括:处理器和用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现所述的视频编码模式决策方法。
第四方面,本申请一实施例提供了一种计算机存储介质,所述计算机存储介质存储有计算机程序,所述计算机程序被用于实现所述的视频编码模式决策方法。
本发明实施例提供的视频编码模式决策方法、装置、电子设备及存储介质,通过对划分得到的各级别CU,通过该CU与下级对应的子CU使用第一损失代价函数值进行决策,确定采用当前级别的CU或者下一级的CU作为进一步决策的CU。通过所述第一预设条件将进一步决策的CU分类,对满足第一预设条件的第一候选CU结束决策,对不满足第一预设条件的第二候选CU向上一级进一步决策,以此循环,直至将所述视频帧中的所有区域完成决策,最终得到不同级别、不同大小的目标CU(不考虑极特殊情况)。这样,由最后一级CU至第一级CU逐级向上使用第一损失代价函数值进行决策,对满足第一预设条件的CU结束向上级的决策,后续不再对这部分CU及对应的上级CU计算第一损失代价函数值,从而减少了计算量。这样,实现了高效地对视频帧不同区域采用效率更高的方式进行编码。
附图说明
通过参考附图阅读下文的详细描述,本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本申请的若干实施方式,其中:
图1为本申请一实施例应用的视频编解码系统的结构图;
图2A为本申请一实施例提供的视频编码模式决策方法的流程图之一;
图2B为本申请一实施例提供的视频编码模式决策方法的流程图之二;
图3为本申请一实施例提供的视频编码模式决策方法的部分流程图;
图4为本申请一实施例提供的视频编码模式决策方法的部分流程图;
图5A为本申请一实施例提供的视频帧划分效果示意图;
图5B为本申请一实施例提供的局部视频帧划分效果示意图之一;
图5C为本申请一实施例提供的局部视频帧划分效果示意图之二;
图6为本申请一实施例提供的视频编码模式决策方法的部分流程图;
图7为本申请一实施例提供的视频编码模式决策方法的部分流程图;
图8为本申请一实施例提供的视频编码模式决策方法的部分流程图;
图9为本申请一实施例提供的视频编码模式决策方法的部分流程图;
图10为本申请一实施例提供的视频编码模式决策方法的部分流程图;
图11为本申请一实施例提供的视频编码模式决策装置的结构示意图;
图12为本申请一实施例提供的电子设备的结构示意图;
图13为本申请一实施例提供的计算机程序产品的结构示意图。
具体实施方式
下面将参考若干示例性实施方式来描述本申请的原理和精神。应当理解,给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本申请,而并非以任何方式限制本申请的范围。相反,提供这些实施方式是为了使本公开更加透彻和完整,并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道,本申请的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此,本公开可以具体实现为以下形式,即:完全的硬件、完全的软件(包括固件、驻留软件、微代码等),或者硬件和软件结合的形式。
在本文中,需要理解的是,附图中的任何元素数量均用于示例而非限制,以及任何命名都仅用于区分,而不具有任何限制含义。
为了方便理解,下面对本申请实施例中涉及的名词进行解释:
(一)树编码单元(Coding Tree Units,CTU):
在H.264/AVC(Advanced Video Coding,高级视频编码)标准中,视频帧被划分为16×16大小的宏块,从而在编码过程中以宏块为单位对视频帧进行编码压缩。然而,在更高分辨率下,单个宏块所表示的图像内容信息大大减少,H.264所采用的宏块经过整数变换后,低频系数相似程度也大大提高,出现大量冗余,导致H.264编码对高清视频的压缩效率明显降低;其次,H.264算法宏块个数的爆发式增长,会导致每个编码宏块的预测模式、运动矢量、参考帧索引和量化级等宏块级参数信息占用更多码流资源,也降低了编码压缩率。
为了解决上述问题,从H.265/HEVC(High Efficiency Video Coding,高效视频编码)标准开始,引入CTU和编码单元(Coding Unit,CU)作为编码的单位。
在使用CTU进行编码的标准中,首先将视频帧划分为CTU,之后根据编码需要再将CTU划分为CU。根据不同的编码设置,CTU的尺寸可以被设置为64×64或有限的32×32或16×16。
(二)编码单元(Coding Unit,CU):
很多研究都展示出更大的树编码单元可以提供更高的压缩效率(同样也需要更高的编码速度)。每个CTU可以被递归分割,将视频帧划分为CTU后,再根据信息量的不同利用四叉树结构,分割为32×32、16×16、8×8的子区域。信息量不多的区域划分的CU较大,编码后的码字较少;而细节多的地方划分的CU就较小,编码后的码字较多。这样就相当于对图像进行了有重点的编码,针对重要的更多关键细节的部分进行增强划块,从而降低了整体的码率,编码效率就相应得到了提高。每个图像进一步被区分为特殊的树编码块组,称之为切割(Slices)和拼贴(Tiles)。CTU可向下分成编码单元(Coding Unit,CU)、预测单元(Prediction Unit,PU)及转换单元(Transform Unit,TU)。编码单元CU是CTU结构上的一个叶子(Leaf Node)。CTU可以包含有一个CU或是切割成多个较小的CU。
(三)绝对变换差和(Sum of Absolute Transformed Difference,SATD):
SATD即将残差经哈德曼变换的4×4块的预测残差绝对值总和,可以将其看作简单的时频变换,其值在一定程度上可以反映生成码流的大小。
(四)率失真代价(Rate Distortion Optimized,RDO)值:
J(mode)=SSD+λ*R(ref,mode,mv,residual)
其中,J(mode)为在对应编码模式下的RDO值,SSD为重建块与源图像的差值均方和;λ为拉格朗日乘子;R为编码当前模式下所有信息(包括参考帧ref、模式mode、运动矢量mv、残差residual)所需要的比特数。若为帧内模式,就只有R(mode,residual)。
在帧内编码中,如果所有模式都使用J(mode)=SSD+λ*R(mode,residual)计算率失真代价,则其计算复杂度会非常高。为了减小模式选择的复杂度,一般采用如下的替代公式:
J(mode)=SATD+λ*R(ref,mode,mv)
这种方法省去了变换、量化、反量化、反变换以及熵编码的过程,极大的降低了复杂度。
下面参考本申请的若干代表性实施方式,详细阐释本申请的原理和精神。
发明概述
现有技术中利用多种代价函数确定CU的划分方式及决策CU的编码模式的技术方案较为复杂,运算量较大,编码模式决策效率较低。
为了解决上述问题,本申请提供了一种视频编码模式决策方法,包括:获取待编码的视频流,将所述视频流中的视频帧划分为多级编码单元;由下级至上级逐级执行如下步骤进行目标编码单元决策:对于当前级别中待决策目标编码单元的候选编码单元,确定所述候选编码单元的第一损失代价函数值;根据所述候选编码单元的第一损失代价函数值,及所述候选编码单元在下级对应的子候选编码单元的第一损失代价函数值,将所述候选编码单元或所述子候选编码单元决策为候选目标编码单元;将决策的候选目标编码单元根据第一预设条件分类为第一候选编码单元和第二候选编码单元;将第二候选编码单元向上一级进行目标编码单元决策,结束针对所述第一候选编码单元向上一级进行目标编码单元决策,并根据决策的候选目标编码单元,确定第一候选编码单元的目标编码单元。
在介绍了本申请的基本原理之后,下面具体介绍本申请的各种非限制性实施方式。
应用场景总览
参考图1,其为本申请实施例提供的视频编码模式决策方法的应用场景示意图。在图1所示的应用场景中包括终端设备101和终端设备102。终端设备101和终端设备102包括但不限于桌面计算机、移动电话、移动电脑、平板电脑、媒体播放器、智能可穿戴设备、智能电视、车载设备、个人数字助理(Personal Digital Assistant,PDA)等电子设备。其中,所述终端设备101与终端设备102可以为两个不同的设备,也可以为同一个设备,此处仅为说明两者之间的编码与解码的对应关系而作区分。
终端设备101用于获取待编码的视频流,将所述视频流中的视频帧划分为多级编码单元;由下级至上级逐级执行如下步骤进行目标编码单元决策:对于当前级别中待决策目标编码单元的候选编码单元,确定所述候选编码单元的第一损失代价函数值;根据所述候选编码单元的第一损失代价函数值,及所述候选编码单元在下级对应的子候选编码单元的第一损失代价函数值,将所述候选编码单元或所述子候选编码单元决策为候选目标编码单元;将决策的候选目标编码单元根据第一预设条件分类为第一候选编码单元和第二候选编码单元;将第二候选编码单元向上一级进行目标编码单元决策,结束针对所述第一候选编码单元向上一级进行目标编码单元决策,并根据决策的候选目标编码单元,确定第一候选编码单元的目标编码单元。完成所有级的目标编码单元决策后,对决策出的目标编码单元,采用决策该目标编码单元的编码模式进行编码,最终得到完成编码的视频文件。所述终端设备101将所述视频文件交给所述终端设备102。其中,所述终端设备101与所述终端设备102之间的数据传输方法包括但不限于通过网络连接、移动存储介质读取等方式。
终端设备102用于接收终端设备101编码的视频文件,并使用解码器对所述视频文件进行解码并播放。
需要注意的是,上述应用场景仅是为了便于理解本申请的精神和原理而示出,本申请的实施方式在此方面不受任何限制。相反,本申请的实施方式可以应用于适用的任何场景。
示例性方法
参考图2A,本申请实施例提供了一种视频编码模式决策方法,包括:
S21、获取待编码的视频流,将所述视频流中的视频帧划分为多级CU;
在具体实施过程中,对视频帧划分为多级CU,首先将所述视频帧划分为多个CTU,之后对CTU可以为划分为预设级别的CU(例如预设级别为4,将CTU划分4次,得到4个级别的CU);也可以动态确定划分的级别(例如后文将要展开说明的对CU逐级划分,判断是否向下一级划分的方案)。
S22、由下级至上级逐级执行如下步骤进行目标CU决策:所述步骤S22具体包括:
S221、对于当前级别中待决策目标CU的候选CU,确定所述候选CU的第一损失代价函数值;
在具体实施过程中,所述步骤S221中计算的候选CU的第一损失代价函数值是在不同编码模式下分别计算的,即每个候选CU的第一损失代价函数值为多个。
可选地,所述第一损失代价函数值为RDO值。
在具体实施过程中,RDO值的计算可以根据现有技术进行计算,本申请不做限定。
S222、根据所述候选CU的第一损失代价函数值,及所述候选CU在下级对应的子候选CU的第一损失代价函数值,将所述候选CU或所述子候选CU决策为候选目标CU;
例如,根据所述候选CU的最小的第一损失代价函数值,及所述候选CU在下级对应的子候选CU的最小的第一损失代价函数值之和,来决策候选目标CU。
S223、将决策的候选目标CU根据第一预设条件分类为第一候选CU和第二候选CU;
在具体实施过程中,根据通过对候选目标CU是否满足第一预设条件来进行分类,将满足第一预设条件的分类为第一候选CU,将不满足第一预设条件的分类为第二候选CU。所述第一预设条件可以包括但不限于已被决策为候选目标CU不是当前级别的CU,或者进一步地与所述候选目标CU属于同一个上一级CU地其它候选目标CU中存在不是当前级别的候选目标CU等。
S224、将第二候选CU向上一级进行目标CU决策,结束针对所述第一候选CU向上一级进行目标CU决策,并根据决策的候选目标CU,确定第一候选CU的目标CU。
本申请通过对划分得到的各级别CU,通过该CU与下级对应的子CU使用第一损失代价函数值进行决策,确定采用当前级别的CU或者下一级的CU作为进一步决策的CU。通过所述第一预设条件将进一步决策的CU分类,对满足第一预设条件的第一候选CU结束决策,对不满足第一预设条件的第二候选CU向上一级进一步决策,以此循环,直至将所述视频帧中的所有区域完成决策,最终得到不同级别、不同大小的目标CU(不考虑极特殊情况)。这样,由最后一级CU至第一级CU逐级向上使用第一损失代价函数值进行决策,对满足第一预设条件的CU结束向上级的决策,后续不再对这部分CU及对应的上级CU计算第一损失代价函数值,从而减少了计算量。
可选地,如图2B所示,除了与图2A中示意的步骤相同的步骤外,所述方法还包括:
S23、完成所有级的目标CU决策后,对决策出的目标CU,采用决策该目标CU的编码模式进行编码。
这样,利用上述决策方法能够决策出较优的CU划分方式和编码模式的同时减少了计算量,实现了高效地对视频帧不同区域采用效率更高的方式进行编码。
可选地,如图3所示,所述步骤S21中,将所述视频流中的视频帧划分为多级CU,包括:
S301、将所述视频流中的视频帧划分为多个CTU;
S302、对每个所述CTU划分多个第一级CU,之后每级CU划分为多个下一级CU;
S303、基于每级划分得到的CU,判断不同候选编码模式对应的第二损失代价函数值是否满足结束条件;
若为是,执行步骤S304;若为否,返回所述步骤S302;
S304、结束向下一级划分。
在具体实施过程中,划分过程对每级CU计算第二损失代价函数值的候选编码模式包括:skip模式、merge模式、amvp模式、intra模式。
在本申请中,CU的划分顺序是由第一级至最后一级,那么最后一级是指通过所述步骤S304确定结束向下一级划分时的级别。
这样,通过对每级CU计算第二损失代价函数值,根据所述第二损失代价函数值动态确定对CTU划分的层级,从而动态确定最后一级CU的尺寸。
可选地,根据不同编码模式对应的第二损失代价函数值确定满足结束条件,包括:
根据不同编码模式对应的第二损失代价函数值,确定其中一个编码模式的第二损失代价函数值小于预设结束阈值时,确定满足结束条件。
这样,通过当一个编码模式的第二损失代价函数值小于预设结束阈值时。结束对CU的划分,从而动态确定最后一级CU的尺寸。可选地,所述第二损失代价函数值为SATD值。
这样,使用SATD值与RDO值相比,可以减小划分过程的运算量。
具体地,如图4所示,所述步骤S222、根据所述候选CU的第一损失代价函数值,及所述候选CU在下级对应的子候选CU的第一损失代价函数值,将所述候选CU或所述子候选CU决策为候选目标CU,包括:
S400、判断当前级别是否为最后一级的上一级;
若所述步骤S400结果为否,执行所述步骤S401;
S401、触发对候选CU的不同编码模式下的第一损失代价函数值计算;
S402、根据所述候选CU在不同编码模式下的第一损失代价函数值,决策所述候选CU的编码模式;
S403、判断当前级别是否为最后一级;
若所述步骤S403的结果为是,结束决策过程;若所述步骤S403结果为否,执行步骤S404;
S404、根据所述候选CU在决策的编码模式下的第一损失代价函数值,及该候选CU在下级对应的子候选CU在决策的编码模式下的第一损失代价函数值,决策候选目标CU;
根据所述步骤S404的结果,对应执行步骤S405或S406;
S405、决策采用对应的子候选CU作为候选目标CU;
S406、决策采用候选CU作为候选目标CU。
这样,通过比较当前级别的候选CU与其对应的下一级别的候选CU的第一损失代价函数值,能够对此候选CU的区域决策出采用整体编码或划分后再编码中效果更优的方案。
可选地,所述方法还包括:
若所述步骤S400结果为是,执行步骤S407;
S407、根据候选CU对应的子候选CU决策的编码模式,判断是否满足第二预设条件;
若所述步骤S407结果为是,执行所述步骤S405;若所述步骤S407结果为否,执行所述步骤S401。
这样,根据最后一级的候选CU的编码模式优先进行决策是否采用按最后一级的划分方式进行编码,能够减少高层级候选CU的第一损失代价函数值的计算量。
可选地,所述步骤S407、根据候选CU对应的子候选CU决策的编码模式,判断是否满足第二预设条件,包括:
判断候选CU对应的子候选CU决策的编码模式中,同一个编码模式的子候选编码单元数量是否大于等于预设数量。
图5A示意了对视频帧进行划分,不同级别的CU的大小关系(为便于理解,没有对所有的CU进行示意)。图5B是图5A中某一个第n级CU与对其划分得到的第n+1级CU的示意图。例如,如图5B所示,一个视频帧中被划分的一个第n级CU(n=N-1,N为所述最后一级的级别),被划分为4个第n+1级CU。通过所述步骤S402的计算,确定所述4个第n+1级CU的编码模式均为skip模式。所述预设数量为3。那么所述第n级CU满足第二预设条件,采用所述4个第n+1级CU作为候选目标CU。
或者,通过所述步骤S402的计算,确定所述4个第n+1级CU中,2个的第n+1级CU编码模式为skip模式,1个第n+1级CU编码模式为amvp模式,1个第n+1级CU编码模式为intra模式。所述预设数量为3。那么所述第n级CU不满足第二预设条件,通过所述步骤S401计算不同编码模式下的第一损失代价函数值,并通过所述步骤S402决策所述第n级CU的编码模式为skip模式。之后,在所述步骤S403中,根据该第n级CU的skip模式的第一损失代价函数值,和2个的第n+1级CU编码模式为skip模式的第一损失代价函数值、1个第n+1级CU编码模式为amvp模式的第一损失代价函数值、1个第n+1级CU编码模式为intra模式的第一损失代价函数值,将所述该第n级CU或4个第n+1级候选CU决策为候选目标CU。
这样,通过同一编码模式的最后一级候选CU的数量来进行决策是否采用最后一级的划分方式进行编码,编码的效果较优。可选地,如图6所示,所述步骤S403中,将所述候选CU或所述子候选CU决策为候选目标CU,包括:
S601、确定所述候选CU在决策的编码模式下的第一损失代价函数值,是否小于所述候选CU在下级对应的子候选CU在决策的编码模式下的第一损失代价函数值总和;
若所述步骤S601结果为是,执行步骤S602;若所述步骤S601结果为否,执行步骤S603;
S602、决策采用所述候选CU作为候选目标CU;
S603、采用下级对应的所述子候选CU作为候选目标CU。
例如,如图5B所示,一个视频帧中被划分的一个第n级CU(n≠N,N为所述最后一级的级别),被划分为4个第n+1级CU。根据所述第n级CU的第一损失代价函数值,与4个所述第n+1级CU的第一损失代价函数值之和,确定两者之中的较小数值。
①第n级CU的第一损失代价函数值较小,决策所述第n级CU为候选目标CU。
②4个所述第n+1级CU的第一损失代价函数值之和较小,决策所述4个第n+1级CU为候选目标CU。
在具体实施过程中,所述预设数量可以为第N-1级候选CU对应的第N级子候选CU总数量的至少一半,至多相等。例如,1个第N-1级候选CU对应4个第N级子候选CU,那么所述预设数量可以为2、3、4。
这样,利用两者之间的较小值,可以选择出编码方式更优的划分方式。
作为一种可选的实施方式,所述预设数量为第N-1级候选CU对应的第N级子候选CU总数量。
那么相应地,确定候选CU对应的子候选CU决策的编码模式中,相同编码模式的数量大于等于预设数量时,确定满足所述候选CU满足第二预设条件,包括:
确定候选CU对应的所有子候选CU决策的编码模式相同时,确定满足所述候选CU满足第二预设条件。
使用第N-1级候选CU对应的第N级子候选CU总数量作为预设数量决策是否采用最后一级候选CU作为编码的CU,编码的效果较好。
如图7所示,所述步骤S204、将决策的候选目标CU根据第一预设条件分类为第一候选CU和第二候选CU,包括:
S701、确定同属于上一级的CU的多个候选CU;
S702、判断所述多个候选CU中,是否至少一个候选CU采用对应的子候选CU作为候选目标CU;
若为是,S703、确定所述多个候选CU为第一候选CU;
若为否,S704、确定所述多个候选CU为第二候选CU。
例如,如图5C所示,一个视频帧中被划分的一个第n级CU(n<N-1,N为所述最后一级的级别),被划分为4个第n+1级CU。其中某一个第n+1级CU对应的区域已被决策为采用划分的4个第n+2级CU作为候选目标CU,另外3个第n+1级CU对应的区域分别被决策为采用第n+1级CU作为候选目标CU。那么,所述第n级CU中,4个第n+2级CU及其余区域中的3个第n+1级CU均将被分类为第一候选CU。
或者,如图5B所示,一个视频帧中被划分的一个第n级CU(n≠N,N为所述最后一级的级别),被划分为4个第n+1级CU,且所述4个第n+1级CU均被决策为第二候选CU。那么将对所述第n级CU利用所述步骤S202、S203进行决策。从而实现由最后一级至第一级的CU循环决策,直至完成对应的CTU的决策。
这样,通过对同属于一个上一级CU的候选CU,直接根据其它同一级候选CU中采用下级CU进行编码的情况结束决策,可以进一步地减少计算量。
下面将给出一种具体的示例,对本申请提供的视频编码模式决策方法进行说明。
(1)将视频帧划分为多个64×64的CTU;
(2)将每个CTU划分为4个32×32的CU,对32×32的CU分别计算skip模式、merge模式、amvp模式、intra模式下的SATD值,根据其中最小的SATD值与预设结束阈值进行比较,确定大于预设结束阈值,继续向下一级划分;
(3)将每个32×32的CU划分为4个16×16的CU,对16×16的CU分别计算skip模式、merge模式、amvp模式、intra模式下的SATD值,根据其中最小的SATD值与预设结束阈值进行比较,确定大于预设结束阈值,继续向下一级划分;
(4)将每个16×16CU划分为4个8×8的CU,对8×8的CU分别计算skip模式、merge模式、amvp模式、intra模式下的SATD值,根据其中最小的SATD值与预设结束阈值进行比较,确定小于预设结束阈值,结束向下一级划分;
(5)对每个8×8的CU,分别计算skip模式、merge模式、amvp模式、intra模式下的RDO值,根据其中最小的RDO值决策出最佳编码模式。
(6)判断属于同一个16×16的CU的4个8×8的CU,这4个决策出的最佳模式是否为同一个模式;
若为是,此16×16的CU采用此4个8×8的CU使用对应的编码模式进行编码;
若为否,对此16×16的CU,分别计算skip模式、merge模式、amvp模式、intra模式下的RDO值,根据其中最小的RDO值决策出最佳编码模式;比较16×16的CU的最小RDO值,与4个8×8的CU的最小RDO值之和,根据两者中的较小值,选择对应的4个8×8的CU使用对应的编码模式进行编码,或者选择16×16的CU进行进一步决策;
(7)对每个32×32的CU,如果里面存在16×16的CU的区域已决策为采用8×8的CU编码,则不再进行32×32的CU的RDO值计算;否则计算32×32的CU的RDO值,根据其中最小的RDO值决策出最佳编码模式;比较32×32的CU的最小RDO值,与4个16×16的CU的最小RDO值之和,根据两者中的较小值,选择对应的4个16×16的CU使用对应的编码模式进行编码,或者选择32×32的CU使用对应的编码模式进行编码。
下面将给出一种详细的示例,对本申请提供的视频编码模式决策方法进行说明。需要说明的是,下文所述的示例中,对部分上文所述的步骤进行了合并。
如图8所示,首先对所述视频流的视频帧划分为多级CU,具体包括:
S801、将所述视频流中的视频帧划分为多个CTU;
S802、判断是否完成对所有CTU的划分;
若所述步骤S802结果为是,结束划分过程,执行图9所示的步骤S901。
若所述步骤S802结果为否,S803、选取一个未完成划分的CTU,将所述CTU设置为第0级CU;
S804、设置n=0;
S805、对所述第n级CU划分为多个第n+1级CU;
S806、基于第n+1级CU,判断不同候选编码模式对应的SATD值中是否存在小于预设结束阈值的SATD值;
若所述步骤S806的结果为是,执行步骤S807;若所述步骤S806的结果为否,执行步骤S808;
S807、结束向下一级划分;返回所述步骤S802;
S808、设置n=n+1。返回所述步骤S805。
在完成对所述视频帧的划分过程后,依次对每一个CTU对应的区域进行决策,如图9所示,具体包括:
S901、判断是否完成对所述视频帧的所有CTU对应区域的决策;
若为是,S902、对决策出的目标CU,采用决策该目标CU的编码模式进行编码;
若为否,S903、选取一个未完成决策的CTU;执行图10中的步骤S1001;
由最后一级至第一级CU的顺序,逐级向上进行决策,如图10所示,具体包括:
S1001、设置n=N;其中N为划分的CU的最后一级的级别,即n的最大值;
S1002、判断是否完成所有第n级CU选取;
若所述步骤S1002结果为否,执行所述步骤S1003;若所述步骤S1002结果为是,执行所述步骤S1007;
S1003、将一个未被选取为候选CU的第n级CU,作为候选CU;
S1004、判断n是否等于N;
若所述步骤S1004结果为是,执行步骤S1005;若所述步骤S1004结果为否,执行步骤S1009;
S1005、触发所述候选CU不同编码模式下的RDO值计算;
S1006、根据所述候选CU在不同编码模式下的RDO值,决策所述候选CU的编码模式;并返回所述步骤S1002;
S1007、设置n=n-1;
S1008、判断n是否等于0;
若所述步骤S1008结果为是,完成对该CTU所在区域的决策,返回图9所示的步骤S901;
若所述步骤S1008结果为否,返回所述步骤S1002;
S1009、判断n是否等于N-1;
若所述步骤S1009结果为是,执行步骤S1010;若所述步骤S1009结果为否,执行步骤S1016;
S1010、根据第N-1级候选CU对应的第N级子候选CU决策的编码模式,判断同一个编码模式的子候选CU数量是否大于等于预设数量;
若所述步骤S1010结果为是,执行步骤S1011;若所述步骤S1010结果为否,执行步骤S1012;
S1011、决策采用对应的子候选CU作为候选目标CU;并返回所述步骤S1002;
S1012、触发不同编码模式下的RDO值计算;
S1013、根据所述候选CU在不同编码模式下的RDO值,决策所述候选CU的编码模式;
S1014、根据所述候选CU在决策的编码模式下的RDO值,及该候选CU对应的第n+1级子候选CU在决策的编码模式下的RDO值之和,判断两者的较小值;
若所述候选CU对应的RDO值为较小值,执行所述步骤S1015;若所述第n+1级子候选CU对应的RDO值之和为较小值,执行所述步骤S1011;
S1015、决策采用候选CU作为候选目标CU;返回所述步骤S1002;
S1016、判断候选CU的区域中是否存在被决策为目标候选CU的第m级CU;其中m>n+1;
若所述步骤S1016结果为是,返回所述步骤S1002;
若所述步骤S1016结果为否,执行所述步骤S1012。
具体地,在上文所述示例中,所述步骤S1016的作用即为将候选CU分类为所述第一候选CU和第二候选CU。对于第一候选CU,将直接返回所述步骤S1002,即结束了对第一候选CU的决策。对于第二候选CU,通过继续执行S1012等步骤,进行了决策。
示例性设备
在介绍了本申请示例性实施方式的方法之后,接下来对本申请示例性实施方式的视频编码模式决策装置进行介绍。需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
如图11所示,为本申请实施例提供的视频编码模式决策装置1100的结构示意图。在一个实施例中,所述视频编码模式决策装置1100包括:编码单元划分单元1101、代价计算单元1102、决策单元1103、分类单元1104、循环单元1105。
编码单元划分单元1101,用于获取待编码的视频流,将所述视频流中的视频帧划分为多级编码单元;第二损失代价函数值由下级至上级逐级执行如下步骤进行目标编码单元决策:
代价计算单元1102,用于对于当前级别中待决策目标编码单元的候选编码单元,确定所述候选编码单元的第一损失代价函数值;
决策单元1103,用于根据所述候选编码单元的第一损失代价函数值,及所述候选编码单元在下级对应的子候选编码单元的第一损失代价函数值,将所述候选编码单元或所述子候选编码单元决策为候选目标编码单元;
分类单元1104,用于将决策的候选目标编码单元根据第一预设条件分类为第一候选编码单元和第二候选编码单元;
循环单元1105,用于将第二候选编码单元向上一级进行目标编码单元决策,结束针对所述第一候选编码单元向上一级进行目标编码单元决策,并根据决策的候选目标编码单元,确定第一候选编码单元的目标编码单元。
可选地,将所述视频流中的视频帧划分为多级编码单元,包括:
将所述视频流中的视频帧划分为多个编码树单元;
对每个所述编码树单元划分多个第一级编码单元,之后每级编码单元划分为多个下一级编码单元;
基于每级划分得到的编码单元,根据不同候选编码模式对应的第二损失代价函数值确定满足结束条件时,结束向下一级划分。
可选地,根据不同编码模式对应的第二损失代价函数值确定满足结束条件,包括:
根据不同编码模式对应的第二损失代价函数值,确定其中一个编码模式的第二损失代价函数值小于预设结束阈值时,确定满足结束条件。
可选地,根据所述候选编码单元的第一损失代价函数值,及所述候选编码单元在下级对应的子候选编码单元的第一损失代价函数值,将所述候选编码单元或所述子候选编码单元决策为候选目标编码单元,包括:
根据所述候选编码单元在不同编码模式下的第一损失代价函数值,决策所述候选编码单元的编码模式;
确定当前级别不是最后一级时,根据所述候选编码单元在决策的编码模式下的第一损失代价函数值,及该候选编码单元在下级对应的子候选编码单元在决策的编码模式下的第一损失代价函数值,将所述候选编码单元或所述子候选编码单元决策为候选目标编码单元。
可选地,若当前级别为最后一级的上一级时,所述决策单元1103还包括:
根据候选编码单元对应的子候选编码单元决策的编码模式,确定满足第二预设条件的候选编码单元;
对于满足第二预设条件的候选编码单元,决策采用对应的子候选编码单元作为候选目标编码单元;
对于不满足第二预设条件的候选编码单元,触发不同编码模式下的第一损失代价函数值计算。
可选地,根据候选编码单元对应的子候选编码单元决策的编码模式,确定满足第二预设条件的候选编码单元,包括:
确定候选编码单元对应的子候选编码单元决策的编码模式中,同一个编码模式的子候选编码单元数量大于等于预设数量时,确定满足所述候选编码单元满足第二预设条件。
可选地,确定候选编码单元对应的子候选编码单元决策的编码模式中,同一个编码模式的子候选编码单元数量大于等于预设数量时,确定满足所述候选编码单元满足第二预设条件,包括:
确定候选编码单元对应的所有子候选编码单元决策的编码模式相同时,确定满足所述候选编码单元满足第二预设条件。
可选地,将所述候选编码单元或所述子候选编码单元决策为候选目标编码单元,包括:
确定所述候选编码单元在决策的编码模式下的第一损失代价函数值,是否小于所述候选编码单元在下级对应的子候选编码单元在决策的编码模式下的第一损失代价函数值总和;
若小于,决策采用所述候选编码单元作为候选目标编码单元;
否则,采用下级对应的所述子候选编码单元作为候选目标编码单元。
可选地,将决策的候选目标编码单元根据第一预设条件分类为第一候选编码单元和第二候选编码单元,包括:
确定同属于上一级的编码单元的多个候选编码单元;
确定所述多个候选编码单元中,至少一个候选编码单元采用对应的子候选编码单元作为候选目标编码单元时,确定所述多个候选编码单元为符合第一预设条件的编码单元;
否则,确定所述多个候选编码单元为第二候选编码单元。
可选地,所述第二损失代价函数值为绝对变换差和SATD值。
可选地,所述第一损失代价函数值为率失真代价RDO值。
可选地,所述视频编码模式决策装置还包括:
编码单元1106,用于完成所有级的目标编码单元决策后,对决策出的目标编码单元,采用决策该目标编码单元的编码模式进行编码。
在此需要说明的是,本发明实施例提供的上述装置,能够实现上述方法实施例所实现的所有方法步骤,且能够达到相同的技术效果,在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
基于与上述视频解码方法相同的发明构思,本申请实施例还提供了一种电子设备,该电子设备具体可以为桌面计算机、移动电话、移动电脑、平板电脑、媒体播放器、智能可穿戴设备、智能电视、车载设备、个人数字助理(Personal Digital Assistant,PDA)等电子设备。
下面参照图12来描述所述电子设备1200。图12显示的电子设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图12所示,所述电子设备1200可以通用计算设备的形式表现,例如其可以为终端设备所述电子设备1200的组件可以包括但不限于:上述至少一个处理单元1210、上述至少一个存储单元1220、连接不同系统组件(包括存储单元1220和处理单元1210)的总线1230。
处理单元1210可以是通用处理器,例如中央处理器(Central Processing Unit,CPU)、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、现场可编程门阵列(Field Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
总线1230表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储单元1220可以包括易失性存储器形式的可读介质,例如随机存取存储器(Random Access Memory,RAM)1221和/或高速缓存存储器1222,还可以进一步包括只读存储器(Read-Only Memory,ROM)1223。
存储单元1220还可以包括具有一组(至少一个)程序模块1224的程序/实用工具1225,这样的程序模块1224包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
当程序模块1224被处理单元1210执行时,使得处理单元1210执行本说明书上述“示例性方法”部分中描述的根据本申请各种示例性实施方式的视频解码方法中的各种步骤。
例如,处理单元1210可以执行如图2A中所示的视频编码模式决策方法,包括:S201、获取待编码的视频流,将所述视频流中的视频帧划分为多级CU;由下级至上级逐级执行如下步骤进行目标CU决策:S202、对于当前级别中待决策目标CU的候选CU,确定所述候选CU的第一损失代价函数值;S203、根据所述候选CU的第一损失代价函数值,及所述候选CU在下级对应的子候选CU的第一损失代价函数值,将所述候选CU或所述子候选CU决策为候选目标CU;S204、将决策的候选目标CU根据第一预设条件分类为第一候选CU和第二候选CU;S205、将第二候选CU向上一级进行目标CU决策,结束针对所述第一候选CU向上一级进行目标CU决策,并根据决策的候选目标CU,确定第一候选CU的目标CU。
所述电子设备1200也可以与一个或多个外部设备1240(例如键盘、指向设备等)通信,还可与一个或者多个使得用户能与所述电子设备1200交互的设备通信,和/或与使得所述电子设备1200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1250进行。并且,所述电子设备1200还可以通过网络适配器1260与一个或者多个网络(例如局域网(Local Area Network,LAN),广域网(Wide Area Network,WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器1260通过总线1230与所述电子设备1200的其它模块通信。应当明白,尽管图中未示出,可以结合所述电子设备1200使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
示例性程序产品
本申请实施例提供了一种计算机可读存储介质,用于储存上述电子设备所用的计算机程序指令,其包含用于执行本申请任一示例性实施方式中的视频编码模式决策方法的程序。
上述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备,包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD))等。
在一些可能的实施方式中,如图13所示,本申请的各个方面还可以实现为一种计算机程序产品1300,其包括程序代码,当该计算机程序产品在电子设备上运行时,该计算机程序产品用于使所述电子设备执行本说明书上述“示例性方法”部分中描述的根据本申请各种示例性实施方式的视频编码模式决策方法中的步骤,例如,所述电子设备可以执行如图2A中所示的视频编码模式决策方法,包括:S201、获取待编码的视频流,将所述视频流中的视频帧划分为多级CU;由下级至上级逐级执行如下步骤进行目标CU决策:S202、对于当前级别中待决策目标CU的候选CU,确定所述候选CU的第一损失代价函数值;S203、根据所述候选CU的第一损失代价函数值,及所述候选CU在下级对应的子候选CU的第一损失代价函数值,将所述候选CU或所述子候选CU决策为候选目标CU;S204、将决策的候选目标CU根据第一预设条件分类为第一候选CU和第二候选CU;S205、将第二候选CU向上一级进行目标CU决策,结束针对所述第一候选CU向上一级进行目标CU决策,并根据决策的候选目标CU,确定第一候选CU的目标CU。
所述计算机程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
根据本申请的实施方式的用于视频解码的计算机程序产品,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在服务器设备上运行。然而,本申请的程序产品不限于此,在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于——无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意,尽管在上文详细描述中提及了装置的若干单元或子单元,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之,上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外,尽管在附图中以特定顺序描述了本申请方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
虽然已经参考若干具体实施方式描述了本申请的精神和原理,但是应该理解,本申请并不限于所公开的具体实施方式,对各方面的划分也不意味着这些方面中的特征不能组合以进行受益,这种划分仅是为了表述的方便。本申请旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (10)

1.一种视频编码模式决策方法,其特征在于,包括:
获取待编码的视频流,将所述视频流中的视频帧划分为多级编码单元;
由下级至上级逐级执行如下步骤进行目标编码单元决策:
对于当前级别中待决策目标编码单元的候选编码单元,确定所述候选编码单元的第一损失代价函数值;
根据所述候选编码单元的第一损失代价函数值,及所述候选编码单元在下级对应的子候选编码单元的第一损失代价函数值,将所述候选编码单元或所述子候选编码单元决策为候选目标编码单元;
将决策的候选目标编码单元根据第一预设条件分类为第一候选编码单元和第二候选编码单元;
将第二候选编码单元向上一级进行目标编码单元决策,结束针对所述第一候选编码单元向上一级进行目标编码单元决策,并根据决策的候选目标编码单元,确定第一候选编码单元的目标编码单元。
2.根据权利要求1所述的方法,其特征在于,将所述视频流中的视频帧划分为多级编码单元,包括:
将所述视频流中的视频帧划分为多个编码树单元;
对每个所述编码树单元划分多个第一级编码单元,之后每级编码单元划分为多个下一级编码单元;
基于每级划分得到的编码单元,根据不同候选编码模式对应的第二损失代价函数值确定满足结束条件时,结束向下一级划分。
3.根据权利要求1所述的方法,其特征在于,根据所述候选编码单元的第一损失代价函数值,及所述候选编码单元在下级对应的子候选编码单元的第一损失代价函数值,将所述候选编码单元或所述子候选编码单元决策为候选目标编码单元,包括:
根据所述候选编码单元在不同编码模式下的第一损失代价函数值,决策所述候选编码单元的编码模式;
确定当前级别不是最后一级时,根据所述候选编码单元在决策的编码模式下的第一损失代价函数值,及该候选编码单元在下级对应的子候选编码单元在决策的编码模式下的第一损失代价函数值,将所述候选编码单元或所述子候选编码单元决策为候选目标编码单元。
4.根据权利要求3所述的方法,其特征在于,若当前级别为最后一级的上一级时,还包括:
根据候选编码单元对应的子候选编码单元决策的编码模式,确定满足第二预设条件的候选编码单元;
对于满足第二预设条件的候选编码单元,决策采用对应的子候选编码单元作为候选目标编码单元;
对于不满足第二预设条件的候选编码单元,触发不同编码模式下的第一损失代价函数值计算。
5.根据权利要求4所述的方法,其特征在于,根据候选编码单元对应的子候选编码单元决策的编码模式,确定满足第二预设条件的候选编码单元,包括:
确定候选编码单元对应的子候选编码单元决策的编码模式中,同一个编码模式的子候选编码单元数量大于等于预设数量时,确定满足所述候选编码单元满足第二预设条件。
6.根据权利要求3所述的方法,其特征在于,将所述候选编码单元或所述子候选编码单元决策为候选目标编码单元,包括:
确定所述候选编码单元在决策的编码模式下的第一损失代价函数值,是否小于所述候选编码单元在下级对应的子候选编码单元在决策的编码模式下的第一损失代价函数值总和;
若小于,决策采用所述候选编码单元作为候选目标编码单元;
否则,采用下级对应的所述子候选编码单元作为候选目标编码单元。
7.根据权利要求1所述的方法,其特征在于,将决策的候选目标编码单元根据第一预设条件分类为第一候选编码单元和第二候选编码单元,包括:
确定同属于上一级的编码单元的多个候选编码单元;
确定所述多个候选编码单元中,至少一个候选编码单元采用对应的子候选编码单元作为候选目标编码单元时,确定所述多个候选编码单元为符合第一预设条件的编码单元;
否则,确定所述多个候选编码单元为第二候选编码单元。
8.一种视频编码模式决策装置,其特征在于,包括:
编码单元划分单元,用于获取待编码的视频流,将所述视频流中的视频帧划分为多级编码单元;第二损失代价函数值由下级至上级逐级执行如下步骤进行目标编码单元决策:
代价计算单元,用于对于当前级别中待决策目标编码单元的候选编码单元,确定所述候选编码单元的第一损失代价函数值;
决策单元,用于根据所述候选编码单元的第一损失代价函数值,及所述候选编码单元在下级对应的子候选编码单元的第一损失代价函数值,将所述候选编码单元或所述子候选编码单元决策为候选目标编码单元;
分类单元,用于将决策的候选目标编码单元根据第一预设条件分类为第一候选编码单元和第二候选编码单元;
循环单元,用于将第二候选编码单元向上一级进行目标编码单元决策,结束针对所述第一候选编码单元向上一级进行目标编码单元决策,并根据决策的候选目标编码单元,确定第一候选编码单元的目标编码单元。
9.一种电子设备,其特征在于,包括:处理器和用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1-7任一项所述的视频编码模式决策方法。
10.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机程序,所述计算机程序被用于实现如权利要求1-7任一项所述的视频编码模式决策方法。
CN202110512404.9A 2021-05-11 2021-05-11 视频编码模式决策方法、装置、设备及存储介质 Active CN113242429B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110512404.9A CN113242429B (zh) 2021-05-11 2021-05-11 视频编码模式决策方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110512404.9A CN113242429B (zh) 2021-05-11 2021-05-11 视频编码模式决策方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113242429A true CN113242429A (zh) 2021-08-10
CN113242429B CN113242429B (zh) 2023-12-05

Family

ID=77133482

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110512404.9A Active CN113242429B (zh) 2021-05-11 2021-05-11 视频编码模式决策方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113242429B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115334308A (zh) * 2022-10-14 2022-11-11 北京大学深圳研究生院 一种面向学习模型的编码决策处理方法、装置及设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130122566A (ko) * 2012-04-30 2013-11-07 (주)휴맥스 깊이 정보를 이용한 움직임 벡터 예측을 위한 3차원 영상의 부호화 방법 및 장치, 및 복호화 방법 및 장치
KR101516347B1 (ko) * 2013-11-21 2015-05-04 한밭대학교 산학협력단 Hevc 화면내 부호화 방법 및 장치
CN104702958A (zh) * 2013-12-05 2015-06-10 中国科学院深圳先进技术研究院 一种基于空间相关性的hevc帧内编码方法及系统
US20160057433A1 (en) * 2013-04-02 2016-02-25 Nippon Telegraph And Telephone Corporation Block size determination method, video encoding apparatus, and program
CN107613300A (zh) * 2017-10-12 2018-01-19 杭州当虹科技有限公司 一种快速的hevc帧内预测编码方法
CN108259918A (zh) * 2016-12-29 2018-07-06 北京金山云网络技术有限公司 一种编码单元模式决策方法及装置
US20180220159A1 (en) * 2015-09-10 2018-08-02 Samsung Electronics Co., Ltd. Encoding device, decoding device, and encoding method and decoding method thereof
KR101902700B1 (ko) * 2017-05-15 2018-09-28 홍익대학교 산학협력단 Hevc 부호화 장치 및 그것을 이용한 화면 내 예측 부호화 처리 방법
CN109068142A (zh) * 2018-09-06 2018-12-21 北方工业大学 基于纹理特征的360度视频帧内预测快速决策
CN110572679A (zh) * 2019-09-27 2019-12-13 腾讯科技(深圳)有限公司 帧内预测的编码方法、装置、设备及可读存储介质
CN111147867A (zh) * 2019-12-18 2020-05-12 重庆邮电大学 一种多功能视频编码cu划分快速决策方法及存储介质
US20200351498A1 (en) * 2018-05-10 2020-11-05 Tencent Technology (Shenzhen) Company Limited Method, apparatus, and storage medium for dividing coding unit of video frame
CN112738510A (zh) * 2020-12-24 2021-04-30 北京中交兴路信息科技有限公司 预测单元尺寸决策的方法、装置、电子设备及介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130122566A (ko) * 2012-04-30 2013-11-07 (주)휴맥스 깊이 정보를 이용한 움직임 벡터 예측을 위한 3차원 영상의 부호화 방법 및 장치, 및 복호화 방법 및 장치
US20160057433A1 (en) * 2013-04-02 2016-02-25 Nippon Telegraph And Telephone Corporation Block size determination method, video encoding apparatus, and program
KR101516347B1 (ko) * 2013-11-21 2015-05-04 한밭대학교 산학협력단 Hevc 화면내 부호화 방법 및 장치
CN104702958A (zh) * 2013-12-05 2015-06-10 中国科学院深圳先进技术研究院 一种基于空间相关性的hevc帧内编码方法及系统
US20180220159A1 (en) * 2015-09-10 2018-08-02 Samsung Electronics Co., Ltd. Encoding device, decoding device, and encoding method and decoding method thereof
CN108259918A (zh) * 2016-12-29 2018-07-06 北京金山云网络技术有限公司 一种编码单元模式决策方法及装置
KR101902700B1 (ko) * 2017-05-15 2018-09-28 홍익대학교 산학협력단 Hevc 부호화 장치 및 그것을 이용한 화면 내 예측 부호화 처리 방법
CN107613300A (zh) * 2017-10-12 2018-01-19 杭州当虹科技有限公司 一种快速的hevc帧内预测编码方法
US20200351498A1 (en) * 2018-05-10 2020-11-05 Tencent Technology (Shenzhen) Company Limited Method, apparatus, and storage medium for dividing coding unit of video frame
CN109068142A (zh) * 2018-09-06 2018-12-21 北方工业大学 基于纹理特征的360度视频帧内预测快速决策
CN110572679A (zh) * 2019-09-27 2019-12-13 腾讯科技(深圳)有限公司 帧内预测的编码方法、装置、设备及可读存储介质
CN111147867A (zh) * 2019-12-18 2020-05-12 重庆邮电大学 一种多功能视频编码cu划分快速决策方法及存储介质
CN112738510A (zh) * 2020-12-24 2021-04-30 北京中交兴路信息科技有限公司 预测单元尺寸决策的方法、装置、电子设备及介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CHEN LI ,ET AL: "Fast Intra Candidate Selection and CU Split in Intra Prediction for Future Video Coding", 《2018 IEEE INTERNATIONAL CONFERENCE OF SAFETY PRODUCE INFORMATIZATION (IICSPI)》 *
HAN, QINGRUI,ET AL: "FAST PREDICTION MODE DECISION WITH HADAMARD TRANSFORM BASED RATE-DISTORTION COST ESTIMATION FOR HEVC INTRA CODING", 《 2013 20TH IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP 2013)》 *
QINGRUI HAN ET AL: "HDTV1080p HEVC Intra encoder with source texture based CU/PU mode pre-decision", 《2014 19TH ASIA AND SOUTH PACIFIC DESIGN AUTOMATION CONFERENCE (ASP-DAC)》 *
VADIM SEREGIN ET AL: "EE2: Summary Report on Enhanced Compression beyond VVC capability", JVET *
陈功 , 黄祥林 , 沈兰荪: "视频转码技术", 《测控技术》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115334308A (zh) * 2022-10-14 2022-11-11 北京大学深圳研究生院 一种面向学习模型的编码决策处理方法、装置及设备

Also Published As

Publication number Publication date
CN113242429B (zh) 2023-12-05

Similar Documents

Publication Publication Date Title
US10178402B2 (en) Image predictive decoding device and method using REM mode to restore intra-prediction mode
US10609367B2 (en) Low-complexity sign prediction for video coding
RU2577207C2 (ru) Способ и устройство для видеокодирования
JP6342500B2 (ja) 再帰的なブロック・パーティショニング
CN113475083A (zh) 帧间点云属性编解码的技术和装置
KR20110045908A (ko) 공간 분할을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
CN103348651A (zh) 具有降低复杂性的变换单元分割的方法及装置
CN103931187A (zh) 图像编码设备、图像编码方法、图像解码设备、图像解码方法和程序
US20150055697A1 (en) Method and Apparatus of Transform Process for Video Coding
CN113795870B (zh) 一种对点云属性编解码的方法、装置及存储介质
US20210360246A1 (en) Shape adaptive discrete cosine transform for geometric partitioning with an adaptive number of regions
JP2017098696A (ja) 動画像符号化装置、動画像符号化方法、及びプログラム
JP2023543985A (ja) 多用途ビデオコーディングのためのテンプレートマッチング予測
CN113242429B (zh) 视频编码模式决策方法、装置、设备及存储介质
CN1739121A (zh) 用于运动估计的视频帧相关
US20070092005A1 (en) Method and apparatus for encoding, method and apparatus for decoding, program, and storage medium
CN105453567A (zh) 用于非变换编码的扫描次序
JP5702820B2 (ja) 予測モード決定方法、動画像符号化装置、及び予測モード決定プログラム
US20220405978A1 (en) Non-linear quantization with substitution in neural image compression
CN117440157A (zh) 视频编码方法、装置、设备及存储介质
JP6649184B2 (ja) 線形予測係数出力装置、線形予測係数出力方法及び線形予測係数出力プログラム
CN117440156A (zh) 视频编码方法、视频发布方法及相关产品
CN114051138A (zh) 视频处理方法及装置、存储介质、电子设备
CN116708778A (zh) 视频编码方法及装置、电子设备及存储介质
KR20110049586A (ko) 툴 셋을 이용한 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20211009

Address after: 310052 Room 408, building 3, No. 399, Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province

Applicant after: Hangzhou Netease Zhiqi Technology Co.,Ltd.

Address before: 310052 Room 301, building 4, No. 599, Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province

Applicant before: HANGZHOU LANGHE TECHNOLOGY Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant