CN110198440A - 编码预测信息的确定及视频编码的方法、装置 - Google Patents

编码预测信息的确定及视频编码的方法、装置 Download PDF

Info

Publication number
CN110198440A
CN110198440A CN201810271576.XA CN201810271576A CN110198440A CN 110198440 A CN110198440 A CN 110198440A CN 201810271576 A CN201810271576 A CN 201810271576A CN 110198440 A CN110198440 A CN 110198440A
Authority
CN
China
Prior art keywords
reference frame
prediction mode
under
frame information
rate distortion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810271576.XA
Other languages
English (en)
Other versions
CN110198440B (zh
Inventor
张宏顺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810271576.XA priority Critical patent/CN110198440B/zh
Publication of CN110198440A publication Critical patent/CN110198440A/zh
Application granted granted Critical
Publication of CN110198440B publication Critical patent/CN110198440B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请公开了编码预测信息的确定及视频编码的方法、装置，属于视频编码技术领域，用以提高视频编码的效率，该方法包括，基于确定的CU在2N×2N预测模式下的参考帧信息，指导确定对称预测模式下的各个PU的参考帧信息，并基于对称预测模式下的各个PU的参考帧信息，指导非对称模式下各个PU的参考帧信息的确定，进而获得CU在各种预测模式下的最小率失真代价对应的最优编码预测信息，以及基于待编码图像的各个CU的最优编码预测信息，对待编码图像进行编码。

Description

编码预测信息的确定及视频编码的方法、装置
技术领域
本申请涉及视频编码技术领域，尤其涉及编码预测信息的确定及视频编码的方法、装置。
背景技术
本部分旨在为权利要求书中陈述的本申请的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
随着网络视频的发展，为提高视频编码的清晰度，帧率，以及压缩率，高效视频编码(high efficiency video coding，HEVC)应运而生。
HEVC编码中，通常将一帧图像送入到编码器，先根据预设最大编码单元(codeunit，CU)大小，分割成一个个CTU块，然后每个CTU块再采用四叉树的循环分层结构进行多次划分，直到预设的最小CU大小。然后，对各个深度级别的CU的进行帧间预测，得到相应的最优预测模式，再根据最优预测模式对应的最优编码预测信息进行预测以及编码。其中，帧间的预测单元(predict unit，PU)的预测模式包括SKIP/Merge，2Nx2N，2NxN，Nx2N，2NxnU，2NxnD，nLx2N和nRx2N模式。
然而，由于在HEVC编码中分割更细致，方向也更多，因此，视频编码的计算量非常大，尤其是帧间预测和帧间部分的熵编码通常占了整个计算量的90％左右。而在帧间预测中，PU预测过程中的参考帧循环计算部分就占了整个计算量的40％左右，而且比重随着参考帧个数增加而增加。因此，迫切需要一种新的技术方案对视频编码进行优化，提高编码效率。
发明内容
本申请实施例提供编码预测信息的确定及视频编码的方法、装置，用以提高视频编码的效率。
第一方面，提供编码预测信息的确定方法，包括：
基于待编码的CU的已编码相邻图像块的参考帧信息，确定CU在2N×2N预测模式下的PU的参考帧信息，其中，参考帧信息包括参考帧的索引和方向、运动矢量，预测模式以及相应的率失真代价；
根据CU在2N×2N预测模式下的PU的参考帧信息，确定分别在每一种对称预测模式下的PU的参考帧信息；
确定CU分别在每一种非对称预测模式下的PU的参考帧信息，其中：当非对称预测模式下的PU被对称预测模式下的PU包含时，则将包含非对称预测模式下的PU的对称预测模式下的PU的参考帧信息，作为被包含的非对称预测模式的PU的参考帧信息，否则，将CU在2N×2N预测模式下的PU的参考帧信息，作为非对称预测模式下的PU的参考帧信息；
根据各预测模式下的每一个PU在merge预测下的率失真代价以及相应的参考帧信息中的率失真代价，确定率失真代价最小的预测模式对应的最优编码预测信息。
较佳的，基于待编码的CU的已编码相邻图像块的参考帧信息，确定CU在2N×2N预测模式下的PU的参考帧信息，具体包括：
基于CU的已编码相邻图像块的参考帧信息，对CU进行合并merge模式预测，获得merge预测结果，其中，merge预测结果为CU的已编码相邻图像块中率失真代价最小的图像块的参考帧信息；
基于merge预测结果，以及指定参考帧的参考帧信息，确定CU在2N×2N预测模式下的PU的率失真代价最小的参考帧信息。
较佳的，对称预测模式包括N×2N、2N×N预测模式，非对称预测模式包括2N×nU、2N×nD、nL×2N和nR×2N预测模式。
较佳的，根据CU在2N×2N预测模式下的PU的参考帧信息，确定分别在每一种对称预测模式下的PU的参考帧信息，具体包括：
分别针对在N×2N对称预测模式下或者2N×N对称预测模式下的每一个PU，执行：
基于PU包含的各个subcu在2N×2N预测模式下对应PU的参考帧信息的并集，分别对参考帧列表中包含的相应参考帧做运动估计；
基于获取的运动估计结果，确定最小率失真代价对应的参考帧信息，获得对称预测模式下PU的参考帧信息。
较佳的，在确定CU分别在每一种非对称预测模式下的PU的参考帧信息之后，在根据各预测模式下的每一个PU的参考帧信息，确定率失真代价最小的预测模式下对应的最优参考帧信息之前，还包括：
分别针对非对称预测模式的每一个PU执行以下步骤：
分别将基于向量预测AMVP获得的运动矢量，指定运动矢量，以及PU的参考帧信息中包含的运动矢量均作为初选点；
基于各个初选点对PU的参考帧信息对应的参考帧做运动估计；
基于获取的运动估计结果，确定PU的最小率失真代价对应的最优运动矢量。
较佳的，根据各预测模式下的每一个PU在merge预测下的率失真代价以及相应的参考帧信息中的率失真代价，确定率失真代价最小的预测模式对应的最优编码预测信息，具体包括：
对各预测模式下的每一个PU进行merge预测，获得相应的PU merge预测的率失真代价；
分别将各预测模式下的每一个PU的参考帧信息中的率失真代价与对应的PUmerge预测的率失真代价进行比较，确定每一个PU的率失真代价最小的最优预测模式。
根据各预测模式下的每一个PU的最优预测模式对应的率失真代价，确定率失真代价最小的预测模式，及对应的最优编码预测信息。
第二方面，提供视频编码的方法，包括获取待编码图像并基于待编码图像的编码单元的最优编码预测信息对待编码图像进行编码，针对待编码图像的每个待编码的编码单元，其最优编码预测信息是采用上述任一编码预测信息的确定方法获得的。
第三方面，提供编码预测信息的确定装置，包括：
第一确定单元，用于基于待编码的CU的已编码相邻图像块的参考帧信息，确定CU在2N×2N预测模式下的PU的参考帧信息，其中，参考帧信息包括参考帧的索引和方向、运动矢量，预测模式以及相应的率失真代价；
第二确定单元，用于根据CU在2N×2N预测模式下的PU的参考帧信息，确定分别在每一种对称预测模式下的PU的参考帧信息；
第三确定单元，用于确定CU分别在每一种非对称预测模式下的PU的参考帧信息，其中：当非对称预测模式下的PU被对称预测模式下的PU包含时，则将包含非对称预测模式下的PU的对称预测模式下的PU的参考帧信息，作为被包含的非对称预测模式的PU的参考帧信息，否则，将CU在2N×2N预测模式下的PU的参考帧信息，作为非对称预测模式下的PU的参考帧信息；
第四确定单元，用于根据各预测模式下的每一个PU在merge预测下的率失真代价以及相应的参考帧信息中的率失真代价，确定率失真代价最小的预测模式对应的最优编码预测信息。
较佳的，在基于待编码的CU的已编码相邻图像块的参考帧信息，确定CU在2N×2N预测模式下的PU的参考帧信息时，第一确定单元具体用于：
基于CU的已编码相邻图像块的参考帧信息，对CU进行合并merge模式预测，获得merge预测结果，其中，merge预测结果为CU的已编码相邻图像块中率失真代价最小的图像块的参考帧信息；
基于merge预测结果，以及指定参考帧的参考帧信息，确定CU在2N×2N预测模式下的PU的率失真代价最小的参考帧信息。
较佳的，对称预测模式包括N×2N、2N×N预测模式，非对称预测模式包括2N×nU、2N×nD、nL×2N和nR×2N预测模式。
较佳的，在根据CU在2N×2N预测模式下的PU的参考帧信息，确定分别在每一种对称预测模式下的PU的参考帧信息时，第二确定单元具体用于：
分别针对在N×2N对称预测模式下或者2N×N对称预测模式下的每一个PU，执行：
基于PU包含的各个subcu在2N×2N预测模式下对应PU的参考帧信息的并集，分别对参考帧列表中包含的相应参考帧做运动估计；
基于获取的运动估计结果，确定最小率失真代价对应的参考帧信息，获得对称预测模式下PU的参考帧信息。
较佳的，在确定CU分别在每一种非对称预测模式下的PU的参考帧信息之后，在根据各预测模式下的每一个PU的参考帧信息，确定率失真代价最小的预测模式下对应的最优参考帧信息之前，第三确定单元还用于：
分别针对非对称预测模式的每一个PU执行以下步骤：
分别将PU的参考帧信息中包含的运动矢量，基于向量预测AMVP获得的运动矢量以及指定运动矢量均作为初选点；
基于各个初选点对PU的参考帧信息对应的参考帧做运动估计；
基于获取的运动估计结果，确定PU的最小率失真代价对应的最优运动矢量。
较佳的，在根据各预测模式下的每一个PU在merge预测下的率失真代价以及相应的参考帧信息中的率失真代价，确定率失真代价最小的预测模式对应的最优编码预测信息时，第四确定单元具体用于：
对各预测模式下的每一个PU进行merge预测，获得相应的PU merge预测的率失真代价；
分别将各预测模式下的每一个PU的参考帧信息中的率失真代价与对应的PUmerge预测的率失真代价进行比较，确定每一个PU的率失真代价最小的最优预测模式。
根据各预测模式下的每一个PU的最优预测模式对应的率失真代价，确定率失真代价最小的预测模式，及对应的最优编码预测信息。
第四方面，提供视频编码的装置，用于获取待编码图像并基于待编码图像的编码单元的最优编码预测信息对待编码图像进行编码，其特征在于，视频编码的装置包括上述任一编码预测信息的确定装置，编码预测信息的确定装置用于针对待编码图像的每个待编码的编码单元获得其最优编码预测信息。
第五方面，提供一种计算机可读介质，其存储有可由终端设备执行的计算机程序，当程序在终端设备上运行时，使得终端设备执行上述任一编码预测信息的确定方法的步骤。
本申请实施例提供的编码预测信息的确定及视频编码的方法、装置中，基于确定的CU在2N×2N预测模式下的参考帧信息，指导确定对称预测模式下的各个PU的参考帧信息，并基于对称预测模式下的各个PU的参考帧信息，指导非对称模式下各个PU的参考帧信息的确定，进而获得CU在各种预测模式下的最小率失真代价对应的最优编码预测信息。进一步地，基于待编码图像的各个CU的最优编码预测信息，对待编码图像进行编码。这样，减少了对各个PU进行预测时需要遍历计算的参考帧的数量，采用已经预测的PU的运动矢量，减少了运动估计的搜索过程，极大地提高了视频编码的效率。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为现有技术下HEVC编码的流程示意图；
图2为本申请实施例中编码预测信息的确定方法的实施流程图；
图3a为现有技术下四叉树分割的原理示意图；
图3b为本申请实施例中对称和非对称预测模式的示意图；
图4为本申请实施例中编码预测信息的确定的详细流程图；
图5为本申请实施例中视频编码的方法的实施流程图；
图6为本申请实施例中编码预测信息的确定装置的结构示意图；
图7为本申请实施方式中终端设备的结构示意图。
具体实施方式
为了提高视频编码的效率，本申请实施例提供了编码预测信息的确定及视频编码的方法，该方法为基于确定的CU在2N×2N预测模式下的参考帧信息，指导确定对称预测模式下的各个PU的参考帧信息，并基于对称预测模式下的各个PU的参考帧信息，指导非对称模式下各个PU的参考帧信息的确定，获得CU在各种预测模式下的最小率失真代价对应的最优编码预测信息，进而通过各个CU的最优编码预测信息，对待编码图像进行编码。
首先，对本申请实施例中涉及的部分用语进行说明，以便于本领域技术人员理解。
1、帧间预测：从参考帧中找出与当前块最匹配的位置，参考的是时域上信息，包括:运动估计(Motion Estimation，ME)和运动补偿(Motion Compensation，MC)。
2、帧内预测：参考周围像素来插值出预测像素，参考的是空域上信息。
3、运动估计：确定当前待编码的CU在已编码的图像(参考帧)中的最佳对应图像块，并且计算出对应块的偏移(运动矢量)。
4、Merge模式：为当前PU建立一个MV候选列表，例如，MV候选列表中存在5个候选MV(及其对应的参考图像)。然后，遍历MV候选列表中的候选MV，选取率失真代价最小的作为最优MV。
5、参考帧模板：用于表示参考帧的索引和方向。
以下结合说明书附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
参阅图1所示，为现有技术下HEVC编码的流程示意图。在HEVC的编码过程中，一帧图像从帧缓存中读取之后送入到编码器，先经过帧内或帧间预测之后得到预测值。
在得到预测值之后，将预测值与输入数据相减，得到残差，然后进行离散余弦变换(Discrete Cosine Transform，DCT)变化和量化，得到残差系数，然后送入熵编码模块输出码流，同时，残差系数经反量化反变换之后，得到重构图像的残差值，再和帧内或者帧间的预测值相加，从而得到了重构图像，重构图像再经环内滤波之后，进入参考帧队列，作为下一帧的参考图像，从而一帧向后编码。其中，环内滤波可包括去块滤波(DeblockingFilter，DBF)和自适应像素补偿(Sample Adaptive Offset，SAO)。
然而，由于在HEVC编码中分割更细致，方向也更多，因此，视频编码的计算量非常大，尤其是帧间预测和帧间部分的熵编码通常占了整个计算量的90％左右。而在帧间预测中，PU预测过程中的参考帧循环计算部分就占了整个计算量的40％左右，而且比重随着参考帧个数增加而增加，这样无疑会导致编码效率降低。因此，本申请实施例提供了编码预测信息的确定方法，解决了上述问题，提高了编码效率。
参阅图2所示，为本申请实施例中编码预测信息的确定方法的实施流程图，编码预测信息的确定方法的具体实施流程如下：
步骤200：视频编码装置获取待编码的CU。
具体的，视频编码装置获取待编码的CU，其中，待编码图像的各个CU采用四叉树结构。即将一帧图像分成若干个一定大小互不重叠的矩形块，其中，每一个块即为最大编码单元(LCU)，每个LCU又可以分为从64×64到8×8不同大小的CU。
参阅图3a所示，为本申请实施例中四叉树分割的原理示意图。CU采用四叉树的分割方式，具体的分割过程用两个变量进行标记：深度(Depth)和分割标记符(Split_flag)。最大的CU(LCU)的大小可以为64×64，深度为0，用CU0表示，CU0可以分成四个大小为32×32的深度为1的CU1，以此类推，直到可以分为深度为3的CU3则不可再分。对于CUd的大小为2N*2N，深度为d，此时，若它的split_flag值为0，则CUd不再被划分；否则被分为四个大小为N×N的深度d+1的CUd+1。
步骤201：视频编码装置基于CU的已编码相邻图像块，确定CU在2N×2N预测模式下的PU的参考帧信息。
具体的，本申请实施例中，仅以一个CU为例，对CU的参考帧信息的确定进行说明。
首先，视频编码装置采用CU的已编码相邻图像块，对CU进行merge模式预测，获得merge模式预测的结果。
其中，merge模式预测的结果为已编码相邻图像块中率失真代价最小的参考帧信息。merge模式预测是指利用时域和空域相邻的编码后的CU的运动信息预测出当前的目标CU的运动信息参数，例如在HEVC中，可以将时域或空域相邻CU的运动信息组成一个候选表，然后利用该候选表选出率失真代价最小的运动信息并记录其索引号，在编码时只需要传递索引号就可以了。率失真代价是指编码码率和图像失真度之间的相互关系，可以用预设的率失真代价函数进行得到的率失真代价表示，率失真代价小，则表示在一定的码率限制下，视频的失真度小。
在HEVC的merge模式预测下，采用的是基于“竞争”机制的运动参数选择方法，即可以搜索相邻的己编码的CU，将它们的运动参数组成一个候选列表，由编码器选择其中最优的一个作为当前CU的运动参数并编码其索引值。在一个实施例中，由于CU对应的预测模式为merge模式预测的概率较大，因此可以首先对CU执行merge模式预测计算。
然后，视频编码装置基于merge模式预测的结果，以及指定参考帧信息，构造PU2Nx2N的参考帧模板，其中，参考帧模板表示参考帧的索引和方向。
其中，基于merge模式预测的结果构造的PU 2Nx2N参考帧模板为：
mask_merge＝((interdir&1)<<refIdx[0])|(((interdir>>1)&1)<<(refIdx[1]+16))；
其中:interdir表示merge的方向信息，1表示前向，2表示后向，3表示双向。
refIdx[0]和refIdx[1]分别对应merge 2Nx2N的前向和后向的参考帧，即refIdx[0]和refIdx[1]分别表示前向和后向的参考帧的索引。
通常将指定参考帧设置为双向上的最近的两个参考帧，则基于merge模式预测的结果，以及指定参考帧，构造的PU 2Nx2N可以表示为：
mask＝(mask_merge|0x00030003)；
其中，第一个0003表示后向存在，其中3用二进制表示为11，则表示需要做最接近的两个参考帧，第二个0003表示前向存在，其中3用二进制表示为11，则表示需要做最接近的两个参考帧，则上述参考帧模板的整体含义是需要在双向上至少都要做最接近的两个参考帧。
进一步地，视频编码装置在PU 2Nx2N的参考帧模板表示的各个参考帧中，确定2N×2N预测模式下率失真代价最小的参考帧信息。其中，参考帧信息包括参考帧的索引和方向、运动矢量，预测模式以及相应的率失真代价。
最后，基于merge模式预测下CU对应的率失真代价，以及2N×2N预测模式下CU对应的率失真代价，确定并存储当前率失真代价最小的最优预测模式bestmode。
由于现有技术下，帧间预测时，CU从最大CU开始，一层层向下划分，同时对当前层CU做PU合并merge和skip判断，然后做PU的7种分割预测，最终择优找到PU的最优预测模式。其中2Nx2N预测在其他分割前面，现有技术中没有采用可用参考信息来指导加速，即对帧间PU 2Nx2N及其他分割模式的PU预测没做特定优化，均做多参考帧和方向全遍历，导致编码效率不高。而本申请实施例中，基于merge模式预测，指导2N×2N预测模式下的PU的预测，减少了PU2N×2N预测模式下预测的计算量，提高了编码效率。
步骤202：视频编码装置根据CU包含的各个subCU的参考帧信息，确定N×2N和2N×N对称预测模式下的PU的参考帧信息。
具体的，参阅图3b所示，为本申请实施例中对称和非对称预测模式的示意图。对称预测模式包括：N×2N和2N×N预测模式。非对称预测模式包括2N×nU、2N×nD、nL×2N和nR×2N预测模式。
视频编码装置分别针对在N×2N对称预测模式下或者2N×N对称预测模式下的每一个PU，执行以下步骤：
首先，视频编码装置基于一个PU包含的各个subCU在2N×2N预测模式下对应PU的参考帧信息的并集，，构造N×2N或2N×N预测模式下PU参考帧模板。
其中，参阅图3b所示，(a)为N×2N的预测模式，分割线的上方可以用PU0表示，分割线的下方用PU1表示，PU0包括SubCU0和SubCU1，则PU0的参考帧模板可以表示为：
PU0_mask＝SubCU0_mask|SubCU1_mask；
同理，PU1包括SubCU2和SubCU3，所以PU1的参考帧模板可以表示为：
PU1_mask＝SubCU2_mask|SubCU3_mask。
其中，参阅图3b所示，(b)为2N×N的预测模式，分割线的左侧为PU0，分割线的右侧为PU1，则此时PU0和PU1的2个PU的参考帧模板分别可表示为：
PU0_mask＝SubCU0_mask|SubCU2_mask；
PU1_mask＝SubCU1_mask|SubCU3_mask。
然后，分别针对N×2N或2N×N预测模式下的每一个PU，根据相应的PU参考帧模板表示的参考帧做运动估计，获得运动估计结果，并基于获取的运动估计结果，以及merge模式预测结果，分别确定每一个PU的最小率失真代价对应的最优预测模式。
进一步地，若最小率失真代价对应的预测模式为非merge模式，则确定PU的参考帧信息。若CU中的PU0最小率失真代价对应的预测模式为merge模式，时，则PU1直接采用merge模式。
最后，根据对称预测模式下的各个PU的最优预测模式下的率失真代价，将对称预测模式下的各个PU的最优预测模式与上述通过PU 2N×2N预测模式后获得的bestmode进行择优，确定对称预测模式预测择优后的bestmode。
其中，计算当前CU在N×2N或2N×N对称预测模式下的率失真代价时，以HEVC为例，最大CU的尺寸为64*64像素，一个最大CU最多可进行4层分解，即可以为64×64像素，32×32像素，16×16像素和8×8像素的CU。假设当前CU为32*32像素，则将当前进一步2N×N对称预测模式划分后可以得到2个PU，然后获取这2个PU的率失真代价，并进行求和计算，得到当前CU在2N×N对称预测模式下的率失真代价。
这样，在对N×2N、2N×N预测模式的PU进行预测时，就不必在参考帧列表中遍历计算相应的率失真代价，仅需要在PU包含的subCU的参考帧信息的并集的各个参考帧中，确定率失真代价最小的参考帧即可，利用了已计算PU的参考帧信息，减少了各个方向的参考帧的个数，进而减少了循环计算率失真代价时的计算量，提高了视频编码的速率。
步骤203：视频编码装置根据已获取的各PU的参考帧信息，确定非对称预测模式下的各PU的参考帧信息。
具体的，视频编码装置判断非对称预测模式下的PU是否被对称预测模式下的PU包含，若是，则基于包含非对称预测模式下的PU的对称预测模式下的PU的参考帧信息，构造相应的非对称预测模式下的PU的参考帧模板，即将包含非对称预测模式下的PU的对称预测模式下的PU的参考帧信息，作为被包含的非对称预测模式的PU的参考帧信息，否则，基于CU在2N×2N预测模式下的参考帧信息，构造非对称预测模式下的PU参考帧模板，即将CU在2N×2N预测模式下的参考帧信息，作为非对称预测模式下的PU的参考帧信息。
PU 2N×2N的参考帧模板可表示为：
mask_2N×2N＝((interdir_2N×2N&1)<<refId×_2N×2N[0])|(((interdir_2N×2N>>1)&1)<<(refId×_2N×2N[1]+16))；
参阅图3b所示，(c)为2N×nU预测模式，2N×nU预测模式下的第1个PU的参考帧模板可表示为：
mask_2N×N_1＝((interdir_2N×N_1&1)<<refId×_2N×N_1[0])|(((interdir_2N×N_1>>1)&1)<<(refId×_2N×N_1[1]+16))；
参阅图3b所示，(d)为2N×nD预测模式，2N×nD预测模式下的第二个PU的参考帧模板为：
mask_2N×N_2＝((interdir_2N×N_2&1)<<refId×_2N×N_2[0])|(((interdir_2N×N_2>>1)&1)<<(refId×_2N×N_2[1]+16))；
参阅图3b所示，(e)为nL×2N预测模式，nL×2N预测模式下的第一个PU的参考帧模板为：
mask_N×2N_1＝((interdir_N×2N_1&1)<<refId×_N×2N_1[0])|(((interdir_N×2N_1>>1)&1)<<(refId×_N×2N_1[1]+16))；
参阅图3b所示，(f)为nR×2N预测模式，nR×2N预测模式下的第二个PU的参考帧模板为：
mask_N×2N_2＝((interdir_N×2N_2&1)<<refId×_N×2N_2[0])|(((interdir_N×2N_2>>1)&1)<<(refId×_N×2N_2[1]+16))；
其中，公式中：
后缀_2N×2N表示PU 2N×2N对应的参考帧模板；
后缀_2N×N_1表示2N×N分割中第1个PU对应的参考帧模板；
后缀_2N×N_2表示2N×N分割中第2个PU对应的参考帧模板；
后缀_N×2N_1表示N×2N分割中第1个PU对应的参考帧模板；
后缀_N×2N_2表示N×2N分割中第2个PU对应的参考帧模板；
因此，对于不对称预测模式：
2N×nU第1个PU的参考帧模板为mask_2N×N_1，第2个参考帧模板为mask_2N×2N；
2N×nD第1个PU的参考帧模板为mask_2N×2N，第2个参考帧模板为mask_2N×N_2；
nL×2N第1个PU的参考帧模板为mask_N×2N_1，第2个参考帧模板为mask_2N×2N；
nR×2N第1个PU的参考帧模板为mask_2N×2N，第2个参考帧模板为mask_N×2N_2；
进一步地，视频编码装置分别针对非对称预测模式的每一个PU，执行以下步骤：
将PU基于向量预测AMVP获得的最优MV，指定运动矢量，以及相应的参考帧信息中包含的运动矢量，均作为初选点；基于各个初选点对所述PU的参考帧信息对应的参考帧做运动估计；基于获取的运动估计结果，以及对PU进行merge模式预测后的merge模式预测结果，确定上述一个PU的最小率失真代价对应的最优预测模式。可选的，指定运动矢量通常包括(0，0)。
其中，若最小率失真代价对应的最优预测模式为非merge模式，则确定PU的参考帧信息。若CU中的PU0最小率失真代价对应的最优预测模式为merge模式，时，则判定PU1对应的最优预测模式也为merge模式。
这样，可以直接利用对称预测模式下各个PU的参考帧信息，以及PU2N×2N的参考帧信息，即参考帧的索引和方向，以及运动矢量，确定非对称预测模式下的各个PU的参考帧信息，减少了循环计算率失真代价时的计算量，增加运动矢量作为初选点，减少了运动估计的计算量，提高了视频编码的速率。
步骤204：视频编码装置基于各个PU的最优预测模式对应的率失真代价，确定CU的最优编码预测信息。
具体的，首先，视频编码装置根据非对称预测模式下的各个PU的最优预测模式下的率失真代价，将非对称预测模式下的各个PU的最优预测模式与上述对称预测模式预测择优后的bestmode进行择优，确定非对称预测模式预测择优后的bestmode。
可选的，每种预测模式下均可以计算出一个最优的率失真代价(RateDistortioncost，RDcost)，关于各种预测模式下的率失真代价的比对不限定具体方式，可以是一起比对，也可以是每完成一个预测模式比对一次，选出一个最小的进行缓存，然后在下一个预测模式预测完成后，再用这个缓存的最小的与该下一个预测模式的率失真代价进行比对。
如：将PU 2N×2N的率失真代价与merge的率失真代价比对一次，率失真代价小模式的为当前bestmode，然后缓存该最优模式的相关参考帧信息，与下一次预测模式的率失真代价进行比较，比较后再次确定当前的最优模式，依次进行，直到所有的模式都完成率失真代价的比对，从而确定出最小的率失真代价、最优预测模式、最优参考帧的索引和方向、及对应最优参考帧下的MV。
然后，视频编码装置对CU进行帧内预测，获得帧内预测的率失真代价，并基于帧内预测的率失真代价与非对称预测模式预测择优后的bestmode进行择优，确定率失真代价最小的预测模式，以及相应的最优编码预测信息。
进一步地，若CU的率失真代价最小的最优预测模式为非merge并且非帧内预测模式，则视频编码装置将CU的最优编码预测信息即相应的参考帧信息递归到上一层级以对上一级的CU进行预测。
例如：该SubCU为4×4的大小，则该CU为8×8的，而该8×8的CU又是16×16的SubCU。
参阅图4所示，为本申请实施例中编码预测信息的确定的详细流程图，对视频编码中的参考帧信息的确定的方法进行进一步详细说明。
步骤400：视频编码装置获取当前深度下CU。
步骤401：视频编码装置对当前深度下的CU做PRED_merge预测，获得merge预测结果。
具体的，执行步骤401时，PRED_merge可以包括和PRED_SKIP预测。
步骤402：视频编码装置merge预测结果，构造PU 2Nx2N参考帧模板。
具体的，步骤402可参阅上述实施例中的步骤201中PU 2Nx2N参考帧模板的构造过程。
步骤403：视频编码装置基于PU 2Nx2N参考帧模板确定参考帧信息，并和当前bestmode择优。
具体的，步骤403可参阅上述实施例中步骤201中PU 2Nx2N的参考帧信息的确定过程，以及步骤203中择优模式的确定过程。
步骤404：视频编码装置判断当前深度是否小于3，若是，则执行步骤405，否则，执行步骤406。
步骤405：视频编码装置SubCU递归，并将深度加一。
具体的，视频编码装置确定深度小于3时，将CU进行划分，获得subCU，针对每一个subCU再次执行步骤401～404。
步骤406：视频编码装置分别构造CU的N×2N和2N×N参考帧模板。
具体的，视频编码装置基于CU的各个subCU的参考帧信息，构造N×2N和2N×N参考帧模板，具体可参阅上述实施例中步骤202中N×2N和2N×N参考帧模板的构造过程。
可选的，可以对subCU的参考帧信息进行修正，基于返回的subCU的最优编码预测信息对subCU 2N×2N的参考帧信息进行修正。
步骤407：视频编码装置分别确定CU在N×2N和2N×N下参考帧信息，并与当前bestmode择优。
步骤408：视频编码装置构造非对称预测模式的各PU的参考帧模板。
具体的，步骤408可参阅上述实施例中非对称预测模式的PU的参考帧信息的确定过程。
步骤409：视频编码装置确定非对称预测模式的PU的参考帧信息，并与当前bestmode择优。
步骤410：视频编码装置对CU做帧内预测。
步骤411：视频编码装置构造当前CU的参考帧模板。
步骤412：视频编码装置将当前CU的参考帧模板返回上一层，执行步骤406。
参阅图5所示，为本申请实施例中视频编码的方法的实施流程图，视频编码的方法的具体实施流程如下：
步骤500：视频编码装置获取待编码的待编码图像。
步骤501：视频编码装置确定待编码图像的各个CU的最优编码预测信息。
具体的，执行步骤501时，可参阅上述实施例中的步骤400-步骤412，获得包含各个CU的CU集合，以及每一个CU的最优编码预测信息。
步骤502：视频编码装置基于各个CU的最优编码预测信息，对待编码图像进行编码。
具体的，首先，视频编码装置基于CU的最优编码预测信息中包含的率失真代价，按照CU由小到大的顺序，依次针对每一个包含若干subCU的CU，执行以下步骤：
计算一个CU的各个subCU的率失真代价的加和，确定该CU的率失真代价高于上述加和时，在CU集合中去除上述各个subCU，否则，去除上述CU。若该CU被去除，则在该CU作为其它CU的subCU进行比较时，将该CU的各个subCU的率失真代价的加和，替代该CU的率失真代价进行再次比较。
这样，就可以对各个CU进行筛选，获得待编码图像的率失真代价最小时的一组最优编码单元。
接着，视频编码装置基于最优编码单元的最优编码预测信息，对最优编码单元进行运动补偿，获得残差。
然后，视频编码装置将获得的残差进行离散余弦变换DCT和量化，得到残差系数。
最后，视频编码装置将所述最优编码单元的最优编码预测信息和相应的残差系数输入熵编码模块，输出码流，实现待编码图像的视频编码。
基于同一发明构思，本申请实施例中还提供了编码预测信息的确定装置，由于上述装置及设备解决问题的原理与编码预测信息的确定方法相似，因此上述装置的实施可以参见方法的实施，重复之处不再赘述。
如图6所示，其为本申请实施例中编码预测信息的确定装置的结构示意图，包括：
第一确定单元61，用于基于待编码的CU的已编码相邻图像块的参考帧信息，确定CU在2N×2N预测模式下的PU的参考帧信息，其中，参考帧信息包括参考帧的索引和方向、运动矢量，预测模式以及相应的率失真代价；
第二确定单元62，用于根据CU在2N×2N预测模式下的PU的参考帧信息，确定分别在每一种对称预测模式下的PU的参考帧信息；
第三确定单元63，用于确定CU分别在每一种非对称预测模式下的PU的参考帧信息，其中：当非对称预测模式下的PU被对称预测模式下的PU包含时，则将包含非对称预测模式下的PU的对称预测模式下的PU的参考帧信息，作为被包含的非对称预测模式的PU的参考帧信息，否则，将CU在2N×2N预测模式下的PU的参考帧信息，作为非对称预测模式下的PU的参考帧信息；
第四确定单元64，用于根据各预测模式下的每一个PU在merge预测下的率失真代价以及相应的参考帧信息中的率失真代价，确定率失真代价最小的预测模式对应的最优编码预测信息。
较佳的，在基于待编码的CU的已编码相邻图像块的参考帧信息，确定CU在2N×2N预测模式下的PU的参考帧信息时，第一确定单元61具体用于：
基于CU的已编码相邻图像块的参考帧信息，对CU进行合并merge模式预测，获得merge预测结果，其中，merge预测结果为CU的已编码相邻图像块中率失真代价最小的图像块的参考帧信息；
基于merge预测结果，以及指定参考帧的参考帧信息，确定CU在2N×2N预测模式下的PU的率失真代价最小的参考帧信息。
较佳的，对称预测模式包括N×2N、2N×N预测模式，非对称预测模式包括2N×nU、2N×nD、nL×2N和nR×2N预测模式。
较佳的，在根据CU在2N×2N预测模式下的PU的参考帧信息，确定分别在每一种对称预测模式下的PU的参考帧信息时，第二确定单元62具体用于：
分别针对在N×2N对称预测模式下或者2N×N对称预测模式下的每一个PU，执行：
基于PU包含的各个subcu在2N×2N预测模式下对应PU的参考帧信息的并集，分别对参考帧列表中包含的相应参考帧做运动估计；
基于获取的运动估计结果，确定最小率失真代价对应的参考帧信息，获得对称预测模式下PU的参考帧信息。
较佳的，在确定CU分别在每一种非对称预测模式下的PU的参考帧信息之后，在根据各预测模式下的每一个PU的参考帧信息，确定率失真代价最小的预测模式下对应的最优参考帧信息之前，第三确定单元63还用于：
分别针对非对称预测模式的每一个PU执行以下步骤：
分别将PU的参考帧信息中包含的运动矢量，基于向量预测AMVP获得的运动矢量以及指定运动矢量均作为初选点；
基于各个初选点对PU的参考帧信息对应的参考帧做运动估计；
基于获取的运动估计结果，确定PU的最小率失真代价对应的最优运动矢量。
较佳的，在根据各预测模式下的每一个PU在merge预测下的率失真代价以及相应的参考帧信息中的率失真代价，确定率失真代价最小的预测模式对应的最优编码预测信息时，第四确定单元64具体用于：
对各预测模式下的每一个PU进行merge预测，获得相应的PU merge预测的率失真代价；
分别将各预测模式下的每一个PU的参考帧信息中的率失真代价与对应的PUmerge预测的率失真代价进行比较，确定每一个PU的率失真代价最小的最优预测模式。
根据各预测模式下的每一个PU的最优预测模式对应的率失真代价，确定率失真代价最小的预测模式，及对应的最优编码预测信息。
基于同一发明构思，本申请实施例中还提供了视频编码的装置，由于上述装置及设备解决问题的原理与视频编码方法相似，因此上述装置的实施可以参见方法的实施，重复之处不再赘述。
视频编码的装置，用于获取待编码图像并基于所述待编码图像的编码单元的最优编码预测信息对所述待编码图像进行编码，其结构包括如图6所示的编码预测信息的确定装置的结构，在视频编码的装置中，编码预测信息的确定装置用于针对所述待编码图像的每个待编码的编码单元，获得其最优编码预测信息。
本申请实施例提供的编码预测信息的确定及视频编码的方法、装置中，基于确定的CU在2N×2N预测模式下的参考帧信息，指导确定对称预测模式下的各个PU的参考帧信息，并基于对称预测模式下的各个PU的参考帧信息，指导非对称模式下各个PU的参考帧信息的确定，进而获得CU在各种预测模式下的最小率失真代价对应的最优编码预测信息。进一步地，基于待编码图像的各个CU的最优编码预测信息，对待编码图像进行编码。这样，减少了对各个PU进行预测时需要遍历计算的参考帧的数量，采用已经预测的PU的运动矢量，减少了运动估计的搜索过程，极大地提高了视频编码的效率。
为了描述的方便，以上各部分按照功能划分为各模块(或单元)分别描述。当然，在实施本申请时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。
基于同一技术构思，本申请实施例还提供了一种终端设备700，参阅图7所示，终端设备700用于实施上述各个方法实施例记载的方法，例如实施图5所示的实施例，终端设备700可以包括存储器701、处理器702、输入单元703和显示面板704。
所述存储器701，用于存储处理器702执行的计算机程序。存储器701可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据终端设备700的使用所创建的数据等。处理器702，可以是一个中央处理单元(central processing unit，CPU)，或者为数字处理单元等等。输入单元703，可以用于获取用户输入的用户指令。所述显示面板704，用于显示由用户输入的信息或提供给用户的信息，本申请实施例中，显示面板704主要用于显示终端设备中各应用程序的显示界面以及各显示界面中显示的控件对象。可选的，显示面板704可以采用液晶显示器(liquidcrystal display，LCD)或OLED(organic light-emitting diode，有机发光二极管)等形式来配置显示面板704。
本申请实施例中不限定上述存储器701、处理器702、输入单元703和显示面板704之间的具体连接介质。本申请实施例在图7中以存储器701、处理器702、输入单元703、显示面板704之间通过总线705连接，总线705在图7中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。所述总线705可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器701可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器701也可以是非易失性存储器(non-volatilememory)，例如只读存储器，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)、或者存储器701是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器701可以是上述存储器的组合。
处理器702，用于实现如实施图5所示的视频编码的方法，包括：
所述处理器702，用于调用所述存储器701中存储的计算机程序执行实施如图5所示的实施例。
本申请实施例还提供了一种计算机可读存储介质，存储为执行上述处理器所需执行的计算机可执行指令，其包含用于执行上述处理器所需执行的程序。
在一些可能的实施方式中，本申请提供的编码预测信息的确定方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述描述的根据本申请各种示例性实施方式的编码预测信息的确定方法中的步骤。例如，所述终端设备可以执行如实施图5所示的实施例。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请的实施方式的用于编码预测信息的确定的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在计算设备上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (15)

1.编码预测信息的确定方法，其特征在于，包括：
基于待编码的编码单元CU的已编码相邻图像块的参考帧信息，确定所述CU在2N×2N预测模式下的预测单元PU的参考帧信息，其中，所述参考帧信息包括参考帧的索引和方向、运动矢量，预测模式以及相应的率失真代价；
根据所述CU在2N×2N预测模式下的PU的参考帧信息，确定分别在每一种对称预测模式下的PU的参考帧信息；
确定所述CU分别在每一种非对称预测模式下的PU的参考帧信息，其中：当非对称预测模式下的PU被对称预测模式下的PU包含时，则将包含非对称预测模式下的PU的对称预测模式下的PU的参考帧信息，作为被包含的非对称预测模式的PU的参考帧信息，否则，将所述CU在2N×2N预测模式下的PU的参考帧信息，作为非对称预测模式下的PU的参考帧信息；
根据各预测模式下的每一个PU在merge预测下的率失真代价以及相应的参考帧信息中的率失真代价，确定率失真代价最小的预测模式对应的最优编码预测信息。
2.如权利要求1所述的方法，其特征在于，所述基于待编码的CU的已编码相邻图像块的参考帧信息，确定所述CU在2N×2N预测模式下的PU的参考帧信息，具体包括：
基于所述CU的已编码相邻图像块的参考帧信息，对所述CU进行合并merge模式预测，获得merge预测结果，其中，所述merge预测结果为CU的已编码相邻图像块中率失真代价最小的图像块的参考帧信息；
基于所述merge预测结果，以及指定参考帧的参考帧信息，确定所述CU在2N×2N预测模式下的PU的率失真代价最小的参考帧信息。
3.如权利要求1所述的方法，其特征在于，所述对称预测模式包括N×2N、2N×N预测模式，所述非对称预测模式包括2N×nU、2N×nD、nL×2N和nR×2N预测模式。
4.如权利要求3所述的方法，其特征在于，根据所述CU在2N×2N预测模式下的PU的参考帧信息，确定分别在每一种对称预测模式下的PU的参考帧信息，具体包括：
分别针对在N×2N对称预测模式下或者2N×N对称预测模式下的每一个PU，执行：
基于所述PU包含的各个subcu在2N×2N预测模式下对应PU的参考帧信息的并集，分别对参考帧列表中包含的相应参考帧做运动估计；
基于获取的运动估计结果，确定最小率失真代价对应的参考帧信息，获得对称预测模式下所述PU的参考帧信息。
5.如权利要求1～4任一项所述的方法，其特征在于，在确定所述CU分别在每一种非对称预测模式下的PU的参考帧信息之后，在根据各预测模式下的每一个PU的参考帧信息，确定率失真代价最小的预测模式下对应的最优参考帧信息之前，还包括：
分别针对非对称预测模式的每一个PU执行以下步骤：
分别将基于向量预测AMVP获得的运动矢量，指定运动矢量，以及所述PU的参考帧信息中包含的运动矢量均作为初选点；
基于各个初选点对所述PU的参考帧信息对应的参考帧做运动估计；
基于获取的运动估计结果，确定所述PU的最小率失真代价对应的最优运动矢量。
6.如权利要求1所述的方法，其特征在于，根据各预测模式下的每一个PU在merge预测下的率失真代价以及相应的参考帧信息中的率失真代价，确定率失真代价最小的预测模式对应的最优编码预测信息，具体包括：
对各预测模式下的每一个PU进行merge预测，获得相应的PU merge预测的率失真代价；
分别将各预测模式下的每一个PU的参考帧信息中的率失真代价与对应的PU merge预测的率失真代价进行比较，确定每一个PU的率失真代价最小的最优预测模式；
根据各预测模式下的每一个PU的最优预测模式对应的率失真代价，确定率失真代价最小的预测模式，及对应的最优编码预测信息。
7.一种视频编码的方法，包括获取待编码图像并基于所述待编码图像的编码单元的最优编码预测信息对所述待编码图像进行编码，其特征在于，针对所述待编码图像的每个待编码的编码单元，其最优编码预测信息是采用如权利要求1-6任一项所述的方法获得的。
8.编码预测信息的确定装置，其特征在于，包括：
第一确定单元，用于基于待编码的编码单元CU的已编码相邻图像块的参考帧信息，确定所述CU在2N×2N预测模式下的预测单元PU的参考帧信息，其中，所述参考帧信息包括参考帧的索引和方向、运动矢量，预测模式以及相应的率失真代价；
第二确定单元，用于根据所述CU在2N×2N预测模式下的PU的参考帧信息，确定分别在每一种对称预测模式下的预测单元PU的参考帧信息；
第三确定单元，用于确定所述CU分别在每一种非对称预测模式下的PU的参考帧信息，其中：当非对称预测模式下的PU被对称预测模式下的PU包含时，则将包含非对称预测模式下的PU的对称预测模式下的PU的参考帧信息，作为被包含的非对称预测模式的PU的参考帧信息，否则，将所述CU在2N×2N预测模式下的PU的参考帧信息，作为非对称预测模式下的PU的参考帧信息；
第四确定单元，用于根据各预测模式下的每一个PU在merge预测下的率失真代价以及相应的参考帧信息中的率失真代价，确定率失真代价最小的预测模式对应的最优编码预测信息。
9.如权利要求8所述的装置，其特征在于，在基于待编码的CU的已编码相邻图像块的参考帧信息，确定所述CU在2N×2N预测模式下的PU的参考帧信息时，所述第一确定单元具体用于：
基于所述CU的已编码相邻图像块的参考帧信息，对所述CU进行合并merge模式预测，获得merge预测结果，其中，所述merge预测结果为CU的已编码相邻图像块中率失真代价最小的图像块的参考帧信息；
基于所述merge预测结果，以及指定参考帧的参考帧信息，确定所述CU在2N×2N预测模式下的PU的率失真代价最小的参考帧信息。
10.如权利要求8所述的装置，其特征在于，对称预测模式包括N×2N、2N×N预测模式，所述非对称预测模式包括2N×nU、2N×nD、nL×2N和nR×2N预测模式。
11.如权利要求10所述的装置，其特征在于，在根据所述CU在2N×2N预测模式下的PU的参考帧信息，确定分别在每一种对称预测模式下的PU的参考帧信息时，所述第二确定单元具体用于：
分别针对在N×2N对称预测模式下或者2N×N对称预测模式下的每一个PU，执行：
基于所述PU包含的各个subcu在2N×2N预测模式下对应PU的参考帧信息的并集，分别对参考帧列表中包含的相应参考帧做运动估计；
基于获取的运动估计结果，确定最小率失真代价对应的参考帧信息，获得对称预测模式下所述PU的参考帧信息。
12.如权利要求8～11任一项所述的装置，其特征在于，在确定所述CU分别在每一种非对称预测模式下的PU的参考帧信息之后，在根据各预测模式下的每一个PU的参考帧信息，确定率失真代价最小的预测模式下对应的最优参考帧信息之前，所述第三确定单元还用于：
分别针对非对称预测模式的每一个PU执行以下步骤：
分别将所述PU的参考帧信息中包含的运动矢量，基于向量预测AMVP获得的运动矢量以及指定运动矢量均作为初选点；
基于各个初选点对所述PU的参考帧信息对应的参考帧做运动估计；
基于获取的运动估计结果，确定所述PU的最小率失真代价对应的最优运动矢量。
13.如权利要求8所述的装置，其特征在于，在根据各预测模式下的每一个PU在merge预测下的率失真代价以及相应的参考帧信息中的率失真代价，确定率失真代价最小的预测模式对应的最优编码预测信息时，所述第四确定单元具体用于：
对各预测模式下的每一个PU进行merge预测，获得相应的PU merge预测的率失真代价；
分别将各预测模式下的每一个PU的参考帧信息中的率失真代价与对应的PU merge预测的率失真代价进行比较，确定每一个PU的率失真代价最小的最优预测模式；
根据各预测模式下的每一个PU的最优预测模式对应的率失真代价，确定率失真代价最小的预测模式，及对应的最优编码预测信息。
14.一种视频编码的装置，用于获取待编码图像并基于所述待编码图像的编码单元的最优编码预测信息对所述待编码图像进行编码，其特征在于，所述视频编码的装置包括：如权利要求8-13任一项所述的编码预测信息的确定装置，所述编码预测信息的确定装置用于针对所述待编码图像的每个待编码的编码单元获得其最优编码预测信息。
15.一种计算机可读介质，其存储有可由终端设备执行的计算机程序，当所述程序在终端设备上运行时，使得所述终端设备执行权利要求1～6任一所述方法的步骤。
CN201810271576.XA 2018-03-29 2018-03-29 编码预测信息的确定及视频编码的方法、装置及可读介质 Active CN110198440B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810271576.XA CN110198440B (zh) 2018-03-29 2018-03-29 编码预测信息的确定及视频编码的方法、装置及可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810271576.XA CN110198440B (zh) 2018-03-29 2018-03-29 编码预测信息的确定及视频编码的方法、装置及可读介质

Publications (2)

Publication Number Publication Date
CN110198440A true CN110198440A (zh) 2019-09-03
CN110198440B CN110198440B (zh) 2022-11-18

Family

ID=67751007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810271576.XA Active CN110198440B (zh) 2018-03-29 2018-03-29 编码预测信息的确定及视频编码的方法、装置及可读介质

Country Status (1)

Country Link
CN (1) CN110198440B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111263151A (zh) * 2020-04-26 2020-06-09 腾讯科技（深圳）有限公司 视频编码方法、装置、电子设备和计算机可读存储介质
CN111277824A (zh) * 2020-02-12 2020-06-12 腾讯科技（深圳）有限公司 图像预测处理方法、装置、终端及计算机可读存储介质
CN112235582A (zh) * 2020-12-18 2021-01-15 腾讯科技（深圳）有限公司 一种视频数据处理方法、装置、计算机设备及存储介质
CN112514391A (zh) * 2019-12-31 2021-03-16 深圳市大疆创新科技有限公司 视频处理的方法与装置
CN112866710A (zh) * 2019-11-27 2021-05-28 腾讯科技（深圳）有限公司 一种编码单元处理方法和相关装置
CN113630596A (zh) * 2021-06-25 2021-11-09 杭州未名信科科技有限公司 Avs3帧内预测模式粗选方法、系统及介质
CN117596392A (zh) * 2023-09-28 2024-02-23 书行科技(北京)有限公司 编码块的编码信息确定方法及相关产品

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130016783A1 (en) * 2011-07-12 2013-01-17 Hyung Joon Kim Method and Apparatus for Coding Unit Partitioning
JP2013153422A (ja) * 2011-12-16 2013-08-08 Jvc Kenwood Corp 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
CN103733624A (zh) * 2011-08-18 2014-04-16 数码士有限公司 应用通过精确单元的滤波器选择的图像编码/解码装置和方法
CN104604232A (zh) * 2012-04-30 2015-05-06 数码士控股有限公司 用于编码多视点图像的方法及装置,以及用于解码多视点图像的方法及装置
AU2016201932A1 (en) * 2011-11-08 2016-05-05 Kt Corporation Method and apparatus for encoding image and method and apparatus for decoding image
CN106134192A (zh) * 2014-03-25 2016-11-16 株式会社索思未来 图像解码装置、图像解码方法及集成电路
WO2017030260A1 (ko) * 2015-08-19 2017-02-23 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130016783A1 (en) * 2011-07-12 2013-01-17 Hyung Joon Kim Method and Apparatus for Coding Unit Partitioning
CN103733624A (zh) * 2011-08-18 2014-04-16 数码士有限公司 应用通过精确单元的滤波器选择的图像编码/解码装置和方法
AU2016201932A1 (en) * 2011-11-08 2016-05-05 Kt Corporation Method and apparatus for encoding image and method and apparatus for decoding image
JP2013153422A (ja) * 2011-12-16 2013-08-08 Jvc Kenwood Corp 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
CN104604232A (zh) * 2012-04-30 2015-05-06 数码士控股有限公司 用于编码多视点图像的方法及装置,以及用于解码多视点图像的方法及装置
CN106134192A (zh) * 2014-03-25 2016-11-16 株式会社索思未来 图像解码装置、图像解码方法及集成电路
WO2017030260A1 (ko) * 2015-08-19 2017-02-23 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112866710A (zh) * 2019-11-27 2021-05-28 腾讯科技（深圳）有限公司 一种编码单元处理方法和相关装置
CN112514391A (zh) * 2019-12-31 2021-03-16 深圳市大疆创新科技有限公司 视频处理的方法与装置
CN111277824A (zh) * 2020-02-12 2020-06-12 腾讯科技（深圳）有限公司 图像预测处理方法、装置、终端及计算机可读存储介质
CN111263151A (zh) * 2020-04-26 2020-06-09 腾讯科技（深圳）有限公司 视频编码方法、装置、电子设备和计算机可读存储介质
CN111263151B (zh) * 2020-04-26 2020-08-25 腾讯科技（深圳）有限公司 视频编码方法、装置、电子设备和计算机可读存储介质
CN112235582A (zh) * 2020-12-18 2021-01-15 腾讯科技（深圳）有限公司 一种视频数据处理方法、装置、计算机设备及存储介质
CN113630596A (zh) * 2021-06-25 2021-11-09 杭州未名信科科技有限公司 Avs3帧内预测模式粗选方法、系统及介质
CN117596392A (zh) * 2023-09-28 2024-02-23 书行科技(北京)有限公司 编码块的编码信息确定方法及相关产品

Also Published As

Publication number Publication date
CN110198440B (zh) 2022-11-18

Similar Documents

Publication Publication Date Title
CN110198440A (zh) 编码预测信息的确定及视频编码的方法、装置
RU2699258C2 (ru) Способ прогнозирования изображения и устройство прогнозирования изображения
JP7279154B2 (ja) アフィン動きモデルに基づく動きベクトル予測方法および装置
CN109905702A (zh) 一种视频编码中参考信息确定的方法、装置及存储介质
KR102006443B1 (ko) 오차 보상을 이용한 영상 부호화/복호화 방법 및 장치
CN109587479A (zh) 视频图像的帧间预测方法、装置及编解码器
CN104012089A (zh) 用于设置时间合并候选的参考画面索引的方法和设备
CN103227923A (zh) 图像解码方法以及图像解码装置
GB2501835A (en) Generating a set of motion vector predictors where determination of temporal predictors is dependent on selected spatial predictors
TW201322773A (zh) 動態影像編碼裝置、動態影像編碼方法、動態影像編碼程式、送訊裝置、送訊方法及送訊程式、以及動態影像解碼裝置、動態影像解碼方法、動態影像解碼程式、收訊裝置、收訊方法及收訊程式
KR20200055124A (ko) 비디오 인코딩 및 비디오 디코딩을 위한 방법들 및 장치들
CN110891180B (zh) 视频解码方法及视频解码器
KR20190072450A (ko) 분산 처리 환경에서의 학습 파라미터의 압축 및 전송을 제공하는 방법 및 장치
CN109672894A (zh) 一种帧间预测方法、装置及存储介质
CN110324623A (zh) 一种双向帧间预测方法及装置
KR20190107944A (ko) 복원 영상에 대한 필터링을 수행하는 영상 처리 장치 및 이의 필터링 방법
CN113454990A (zh) 帧间预测编解码方法及装置
CN109996080A (zh) 图像的预测方法、装置及编解码器
KR20210019556A (ko) 움직임 벡터 예측 방법 및 장치, 인코더, 그리고 디코더
JP2023118926A (ja) 復号化方法、復号化デバイス、復号化側機器、電子機器及び不揮発性記憶媒体
CN110324637A (zh) 一种双向帧间预测方法及装置
CN110300302A (zh) 一种视频编码方法、装置和存储介质
CN116868571A (zh) 对于帧间预测的改进的局部光照补偿
CN112839224B (zh) 一种预测模式选择方法、装置、视频编码设备及存储介质
EP3791591A1 (en) Method and apparatus for blended intra prediction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant