CN111010578A - 一种帧内帧间联合预测的方法、装置以及存储介质 - Google Patents

一种帧内帧间联合预测的方法、装置以及存储介质 Download PDF

Info

Publication number
CN111010578A
CN111010578A CN201911369507.3A CN201911369507A CN111010578A CN 111010578 A CN111010578 A CN 111010578A CN 201911369507 A CN201911369507 A CN 201911369507A CN 111010578 A CN111010578 A CN 111010578A
Authority
CN
China
Prior art keywords
frame
intra
block
prediction
inter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911369507.3A
Other languages
English (en)
Other versions
CN111010578B (zh
Inventor
陈漪纹
王祥林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Reach Best Technology Co Ltd
Original Assignee
Reach Best Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Reach Best Technology Co Ltd filed Critical Reach Best Technology Co Ltd
Publication of CN111010578A publication Critical patent/CN111010578A/zh
Application granted granted Critical
Publication of CN111010578B publication Critical patent/CN111010578B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开提供一种帧内帧间联合预测的方法、装置以及存储介质，包括：获取视频图像帧的编码数据，确定编码数据中的待解码块；在待解码块采用合并模式解码过程中，可以采用帧内帧间联合预测；根据确定出的帧内预测模式确定待解码块的帧内预测值，以及根据确定出的帧间预测模式确定待解码块的帧间预测值；根据帧内预测值、帧间预测值以及待解码块对应的权重集，确定待解码块的联合预测值，从而能更准确对待解码块进行预测。

Description

一种帧内帧间联合预测的方法、装置以及存储介质
相关申请的交叉引用
本申请要求在2018年12月28日提交美国专利局、申请号为62/786,315、申请名称为“Combined inter and intra prediction”的美国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本公开涉及视频编码和压缩技术领域，特别涉及一种帧内帧间联合预测的方法、装置以及存储介质。
背景技术
视频编码是根据一个或多个视频编码标准来执行的。例如，视频编码标准包括多功能视频编码(Versatile Video Coding，VVC)、联合勘探测试模型(Joint ExplorationModel，JEM)、高效率视频编码(High Efficient Video Coding，HEVC)、高级视频编码(Advanced Video Coding，AVC)、运动图像专家组(Moving Picture Expert Group，MPEG)编码等。
在第10届联合视频专家组(Joint Video Experts Team，JVET)会议期间，JVET定义了VCC，决定使用二叉和三叉划分编码块结构作为VVC的初始新编码特征，包括具有嵌套多类型树的四叉树。图像划分结构将输入视频划分为称为编码树单元(Coding Tree Unit，CTU)的块。使用具有嵌套多类型树结构的四叉树将一个CTU划分成(一个或多个)编码单元(Coding Units，CU)，该编码单元具有定义共享相同预测模式的区域的叶子编码单元。在该文档中，术语“单元(unit)”定义了覆盖所有分量的图像的区域，术语“块(block)”用于定义覆盖特定分量的区域，并且考虑诸如4:2:0的色度采样格式时可以在空域位置上不同。
目前，当CU以合并模式解码时，如果CU至少包含64个亮度样本(即宽度×高度等于或大于64)，此时，若依然采用传统的合并模式对CU进行帧间预测，所得到的预测值精度较低，不能准确地对CU进行预测。
发明内容
本公开提供了一种帧内帧间联合预测的方法、设备以及存储介质，用以解决现有技术中当CU以合并模式解码时，对于至少包含64个亮度样本(即宽度×高度等于或大于64)的CU，采用传统的合并模式进行帧间预测，所得到的预测值精度较低，不能准确地对CU进行预测的问题。
根据本公开实施例的第一方面，提供一种帧内帧间联合预测的方法，该方法包括：
获取视频图像帧的编码数据，确定所述编码数据中的待解码块；
在所述待解码块采用合并模式解码过程中，若确定采用帧内帧间联合预测，则根据确定出的帧内预测模式确定所述待解码块的帧内预测值，以及根据确定出的帧间预测模式确定所述待解码块的帧间预测值；
根据所述帧内预测值、所述帧间预测值以及所述待解码块对应的权重集，确定所述待解码块的联合预测值。
根据本公开实施例的第二方面，提供一种帧内帧间联合预测的方法，该方法包括：
获取视频图像帧的图像数据，确定所述图像数据中的待编码块；
在所述待编码块采用合并模式编码过程中，若确定采用帧内帧间联合预测，则根据确定出的帧内预测模式确定所述待编码块的帧内预测值，以及根据确定出的帧间预测模式确定所述待编码块的帧间预测值；
根据所述帧内预测值、所述帧间预测值以及所述待编码块对应的权重集，确定所述待编码块的联合预测值。
根据本公开实施例的第三方面，提供一种帧内帧间联合预测的装置，包括：
编码数据获取模块，被配置为获取视频图像帧的编码数据，确定所述编码数据中的待解码块；
帧内帧间确定模块，被配置为在所述待解码块采用合并模式解码过程中，若确定采用帧内帧间联合预测，则根据确定出的帧内预测模式确定所述待解码块的帧内预测值，以及根据确定出的帧间预测模式确定所述待解码块的帧间预测值；
联合预测确定模块，被配置为根据所述帧内预测值、所述帧间预测值以及所述待解码块对应的权重集，确定所述待解码块的联合预测值。
可选地，在确定出的帧内预测模式为水平模式或垂直模式时，所述待解码块对应一个权重集。
可选地，所述联合预测确定模块被配置为根据下列方式确定所述待解码块对应的权重集：
根据待解码块的大小与权重集之间的对应关系，确定所述待解码块对应的权重集；或
将合并索引通知信号中指示的权重集作为所述待解码块对应的权重集；或
根据帧间预测值和帧内预测值的差值与权重集之间的对应关系，确定所述待解码块对应的权重集；或
根据生成帧间预测值的预测方向与权重集之间的对应关系，确定在确定所述待解码块的帧间预测值时使用的预测方向对应的权重集。
可选地，在确定出的帧内预测模式为水平模式或垂直模式时，所述待解码块对应的权重集为所述待解码块划分后的n个区域对应的权重集，不同的区域对应的权重集不同；
其中，所述n为小于4的正整数。
可选地，所述联合预测确定模块被配置为根据下列方式确定所述区域对应的权重集：
根据区域的大小与权重集之间的对应关系，确定所述区域对应的权重集；或
将合并索引通知信号中指示的权重集作为所述区域对应的权重集；或
根据帧间预测值和帧内预测值的差值与权重集之间的对应关系，确定区域对应的权重集；或
根据生成帧间预测值的预测方向与权重集之间的对应关系，确定在确定所述区域的帧间预测值时使用的预测方向对应的权重集。
可选地，所述根据确定出的帧间预测模式确定所述待解码块的帧间预测值时，所述帧内帧间确定模块被配置为：
若确定出的帧间预测模式为双向预测模式，则将得到的两个帧间预测值进行加权平均处理，得到所述待解码块的帧间预测值；其中，在加权平均处理时所述两个帧间预测值对应的权重相同。
可选地，所述根据确定出的帧内预测模式确定所述待解码块的帧内预测值时，所述帧内帧间确定模块被配置为：
获取帧内预测参考样本，并对获取到的帧内预测参考样本进行MDIS滤波处理；
根据滤波处理后的帧内预测参考样本，通过确定出的帧内预测模式确定帧内预测值，并将确定出的帧内预测值作为所述待解码块的帧内预测值。
可选地，所述根据确定出的帧内预测模式确定所述待解码块的帧内预测值时，所述帧内帧间确定模块被配置为：
获取帧内预测参考样本；
根据获取到的所述帧内预测参考样本，通过确定出的帧内预测模式确定帧内预测值；
对确定出的帧内预测值进行PDPC修复处理，将修复处理后的帧内预测值作为所述待解码块的帧内预测值。
可选地，所述根据确定出的帧内预测模式确定所述待解码块的帧内预测值时，所述帧内帧间确定模块被配置为：
获取帧内预测参考样本；
根据获取到的所述帧内预测参考样本，通过确定出的帧内预测模式确定帧内预测值，并将确定出的帧内预测值作为所述待解码块的帧内预测值。
可选地，采用帧内帧间联合预测的待解码块对应的合并候选列表中合并候选个数，小于采用其它预测方式的待解码块对应的合并候选列表中的合并候选的个数。
可选地，采用帧内帧间联合预测的待解码块中顶部边缘区域和左侧边缘区域对应的解块强度，与采用帧内预测的待解码块对应的解块强度相同；或
采用帧内帧间联合预测的待解码块中底部边缘区域和右侧边缘区域对应的解块强度，与采用帧间预测的待解码块的边缘对应的解块强度相同；或
采用帧内帧间联合预测的待解码块的边缘对应的解块强度大于采用帧间预测的待解码块的边缘对应的解块强度，且小于采用帧内预测的待解码块的边缘对应的解块强度；或
采用帧内帧间联合预测的待解码块中顶部边缘区域和左侧边缘区域对应的解块强度，大于采用帧间预测的待解码块的边缘对应的解块强度，且小于采用帧内预测的待解码块的边缘对应的解块强度。
可选地，所述帧内帧间确定模块被配置为在确定出采用帧内帧间联合预测的待解码块对应的帧内预测模式之后，存储确定出的帧内预测模式；
将存储的帧内预测模式作为下一个采用帧内帧间联合预测的待解码块对应的帧内预测模式。
可选地，所述联合预测确定模块被配置为根据下列公式确定所述待解码块的联合预测值：
PCIIP＝((2N-wt)*Pinter+wt*Pintra+2N-1)>>N；
其中，所述PCIIP为联合预测值，Pinter为帧间预测值，Pintra为帧内预测值，N为按位右移的数量，wt为帧内预测值的权重，2N-wt为帧间预测值的权重，>>为移位运算。
根据本公开实施例的第四方面，提供一种帧内帧间联合预测的装置，包括：
图像数据获取模块，被配置为获取当前视频图像帧，确定所述视频图像帧中的待编码块；
帧内帧间确定模块，被配置为在所述待编码块采用合并模式编码过程中，若确定采用帧内帧间联合预测，则根据确定出的帧内预测模式确定所述待编码块的帧内预测值，以及根据确定出的帧间预测模式确定所述待编码块的帧间预测值；
联合预测确定模块，被配置为根据所述帧内预测值、所述帧间预测值以及所述待编码块对应的权重集，确定所述待编码块的联合预测值。
可选地，在确定出的帧内预测模式为水平模式或垂直模式时，所述待编码块对应一个权重集。
可选地，所述联合预测确定模块被配置为根据下列方式确定所述待编码块对应的权重集：
根据待编码块的大小与权重集之间的对应关系，确定所述待编码块对应的权重集；或
将合并索引通知信号中指示的权重集作为所述待编码块对应的权重集；或
根据帧间预测值和帧内预测值的差值与权重集之间的对应关系，确定所述待编码块对应的权重集；或
根据生成帧间预测值的预测方向与权重集之间的对应关系，确定在确定所述待编码块的帧间预测值时使用的预测方向对应的权重集。
可选地，在确定出的帧内预测模式为水平模式或垂直模式时，所述待编码块对应的权重集为所述待编码块划分后的n个区域对应的权重集，不同的区域对应的权重集不同；
其中，所述n为小于4的正整数。
可选地，所述联合预测确定模块被配置为根据下列方式确定所述区域对应的权重集：
根据区域的大小与权重集之间的对应关系，确定所述区域对应的权重集；或
将合并索引通知信号中指示的权重集作为所述区域对应的权重集；或
根据帧间预测值和帧内预测值的差值与权重集之间的对应关系，确定区域对应的权重集；或
根据生成帧间预测值的预测方向与权重集之间的对应关系，确定在确定所述区域的帧间预测值时使用的预测方向对应的权重集。
可选地，所述根据确定出的帧间预测模式确定所述待编码块的帧间预测值时，所述帧内帧间确定模块被配置为：
若确定出的帧间预测模式为双向预测模式，则将得到的两个帧间预测值进行加权平均处理，得到所述待编码块的帧间预测值；其中，在加权平均处理时所述两个帧间预测值对应的权重相同。
可选地，所述根据确定出的帧内预测模式确定所述待编码块的帧内预测值时，所述帧内帧间确定模块被配置为：
获取帧内预测参考样本，并对获取到的帧内预测参考样本进行MDIS滤波处理；
根据滤波处理后的帧内预测参考样本，通过确定出的帧内预测模式确定帧内预测值，并将确定出的帧内预测值作为所述待编码块的帧内预测值。
可选地，所述根据确定出的帧内预测模式确定所述待编码块的帧内预测值时，所述帧内帧间确定模块被配置为：
获取帧内预测参考样本；
根据获取到的所述帧内预测参考样本，通过确定出的帧内预测模式确定帧内预测值；
对确定出的帧内预测值进行PDPC修复处理，将修复处理后的帧内预测值作为所述待编码块的帧内预测值。
可选地，所述根据确定出的帧内预测模式确定所述待编码块的帧内预测值时，所述帧内帧间确定模块被配置为：
获取帧内预测参考样本；
根据获取到的所述帧内预测参考样本，通过确定出的帧内预测模式确定帧内预测值，并将确定出的帧内预测值作为所述待编码块的帧内预测值。
可选地，采用帧内帧间联合预测的待编码块对应的合并候选列表中合并候选个数，小于采用其它预测方式的待编码块对应的合并候选列表中的合并候选的个数。
可选地，所述帧内帧间确定模块被配置为：
在确定出采用帧内帧间联合预测的待编码块对应的帧内预测模式之后，存储确定出的帧内预测模式；
将存储的帧内预测模式作为下一个采用帧内帧间联合预测的待编码块对应的帧内预测模式。
可选地，所述联合预测确定模块被配置为根据下列公式确定所述待编码块的联合预测值：
PCIIP＝((2N-wt)*Pinter+wt*Pintra+2N-1)>>N；
其中，所述PCIIP为联合预测值，Pinter为帧间预测值，Pintra为帧内预测值，N为按位右移的数量，wt为帧内预测值的权重，2N-wt为帧间预测值的权重，>>为移位运算。
根据本公开实施例的第五方面，提供一种帧内帧间联合预测的设备，包括：存储器和处理器；
其中，所述存储器用于存储程序；
所述处理器用于执行所述存储器中的程序，以实现如本公开实施例第一方面中任一项所述的帧内帧间联合预测的处理方法。
根据本公开实施例的第六方面，提供一种帧内帧间联合预测的设备，包括：存储器和处理器；
其中，所述存储器用于存储程序；
所述处理器用于执行所述存储器中的程序，以实现如本公开实施例第二方面中任一项所述的帧内帧间联合预测的处理方法。
根据本公开实施例的第七方面，提供一种非易失性存储介质，当所述存储介质中的指令由帧内帧间联合预测装置的处理器执行时，使得帧内帧间联合预测处理装置能够执行本公开实施例任一方面所述的帧内帧间联合预测的处理方法。
利用本公开提供的帧内帧间联合预测的方法、装置以及存储介质，具有以下有益效果：
本公开提供的帧内帧间联合预测的方法、装置及存储介质：获取视频图像帧的编码数据并确定编码数据中的待解码块；在待解码块采用合并模式解码过程中，可以对待解码块采用帧内帧间联合预测；根据确定出的帧内预测模式确定待解码块的帧内预测值，以及根据确定出的帧间预测模式确定待解码块的帧间预测值；根据帧内预测值、帧间预测值以及待解码块对应的权重集，确定待解码块的联合预测值，从而能更准确对待解码块进行预测。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例中提供的一种典型编码器结构示意图；
图2为本公开实施例中提供的一种典型解码器结构示意图；
图3为本公开实施例中提供的第一种帧内帧间预测方法流程图；
图4为本公开实施例中提供的一种在帧内预测模式为对角和相邻角度模式下，确定参考样本的位置示意图；
图5为本公开实施例中提供的一种将待解码块划分为两个区域的示意图；
图6为本公开实施例中提供的另一种将待解码块划分为两个区域的示意图；
图7为本公开实施例中提供的一种待解码块边缘解块强度示意图；
图8为本公开实施例中提供的另一种待解码块边缘解块强度示意图；
图9为本公开实施例中提供第二种帧内帧间预测方法流程图；
图10为本公开实施例中提供的一种将待编码块划分为两个区域的示意图；
图11为本公开实施例中提供的另一种将待编码块划分为两个区域的示意图；
图12为本公开实施例中提供的第一种帧内帧间联合预测的装置框图；
图13为本公开实施例中提供的第二种帧内帧间联合预测的装置框图；
图14为本公开实施例中提供的第一种帧内帧间联合预测的设备框图；
图15为本公开实施例中提供的第一种帧内帧间联合预测的设备示意图；
图16为本公开实施例中提供的第二种帧内帧间联合预测的设备框图；
图17为本公开实施例中提供的第二种帧内帧间联合预测的设备示意图。
具体实施方式
为了使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开作进一步地详细描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。
为了方便理解，下面对本公开实施例中涉及的名词进行解释：
(1)本公开实施例中术语“多个”是指两个或两个以上，其它量词与之类似。
(2)本公开实施例中术语“帧内编码”是指对于每个4×4图像块(除了边缘块特别处置以外)，每个像素都可用17个最接近的先前已编码的像素的不同加权和(有的权值可为0)来预测，即此像素所在块的左上角的17个像素。显然，这种帧内预测不是在时间上，而是在空间域上进行的预测编码算法，可以除去相邻块之间的空间冗余度，取得更为有效的压缩。
(3)本公开实施例中术语“帧间编码”是利用视频图像帧间的相关性，即时间相关性，来达到图像压缩的目的，广泛用于普通电视、会议电视、视频电话、高清晰度电视的压缩编码。
(4)本公开实施例中术语“编码器”是将高标清视音频信号压缩转换成网络流的网络编码设备。
图1示出了这些编码标准的典型编码器框图。在编码器中，将视频帧划分成块以进行处理。对于每个给定视频块，基于帧间预测或帧内预测形成预测。在帧间预测中，可以基于来自先前的重构帧的像素，通过运动估计和运动补偿来形成预测值。在帧内预测中，可以基于当前帧中的重构像素来形成预测值。通过模式决策，可以选择最佳预测值来预测当前块。
将预测残差(即，当前块与其预测值之间的差)发送到变换模块。然后将变换系数发送到量化模块以用于熵减少。将量化系数发送到熵编码模块以生成压缩的视频比特流。如图1所示，来自帧间和/或帧内预测模块的预测相关信息(诸如块划分信息、运动矢量、参考图像索引和帧内预测模式等)也经过熵编码模块并保存到比特流中。
在编码器中，还需要解码器相关模块以便重构像素以用于预测目的。首先，通过逆量化和逆变换重构预测残差。将这种重构的预测残差与块预测值组合以生成用于当前块的未滤波的重构像素。
(5)本公开实施例中术语“解码器”是指一个能够对数字视频进行压缩或者解压缩的程序或者设备。
图2示出了典型解码器框图。在解码器中，首先通过熵解码模块对比特流进行解码，以推导量化的系数级别和预测的相关信息。然后，通过逆量化模块和逆变换模块处理量化的系数级别以获得重构的预测残差。通过基于解码的预测信息的帧内预测或运动补偿处理来形成块预测值。通过对重构的预测残差和块预测值求和来获得未滤波的重构像素。
在接通环路滤波器的情况下，对这些像素执行滤波操作以推导用于输出的最终重构视频。
为了使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开作进一步地详细描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。
下面对本公开实施例作进一步详细描述：
本公开实施例提供一种帧内帧间联合预测的方法，应用于视频解码器端，如图3所示的流程图，包括：
在步骤S301中，获取视频图像帧的编码数据，确定编码数据中的待解码块；
在步骤S301中，在待解码块采用合并模式解码过程中，若确定采用帧内帧间联合预测，则根据确定出的帧内预测模式确定待解码块的帧内预测值，以及根据确定出的帧间预测模式确定待解码块的帧间预测值；
在步骤S303中，根据帧内预测值、帧间预测值以及待解码块对应的权重集，确定待解码块的联合预测值。
本公开实施例中，待解码块可以为解码单元(CU)、预测单元(PU)、变换单元(TU)或大小为M×N的任何块。
视频解码器在获取视频图像帧的编码数据之后，首先确定编码数据中的待解码块；
在对采用合并模式解码的待解码块进行解码的过程中，若待解码块至少包含64个亮度样本(即宽度×高度等于或大于64)，则会发送额外的标志以指示该解码块采用帧内帧间联合预测；
若确定该待解码块采用帧间帧内联合预测，则根据确定出的帧内预测模式确定待解码块的帧内预测值，以及根据确定出的帧间预测模式确定待解码块的帧内预测值；最后，根据确定出的帧内预测值、帧间预测值以及待解码块对应的权重集，确定待解码块的联合预测值。
本公开实施例通过下列帧内预测处理方式确定待解码块的帧内预测值：
方式一，获取帧内预测参考样本；根据获取到的帧内预测参考样本进行MDIS(ModeDependent Intra Smoothing，模式依赖帧内平滑)滤波处理；根据滤波处理后的帧内预测参考样本，通过确定出的帧内预测模式确定帧内预测值，并将确定出的帧内预测值作为帧内预测值。
实施中，在对待解码块进行帧内预测时，首先获取帧内预测参考样本，并对获取到的帧内预测参考样本进行MDIS滤波处理，使参考样本的边缘更加平滑，以提高帧内预测准确度；
具体地，利用四抽头帧内差值滤波器根据帧内预测模式，对参考样本执行如下MDIS滤波处理：
1.将方向帧内预测模式分类成如下组之一：
A.垂直或水平模式(HOR_IDX、VER_IDX)；
B.表示45度倍数的角度的对角模式(2、DIA_IDX、VDIA_IDX)；
C.其余方向模式；
2.如果方向帧内预测模式被分类为属于A组，则没有滤波器应用于参考样本；
3.否则，如果模式属于B组，则可以将[1,2,1]参考样本滤波器(取决于MDIS条件)应用于参考样本。
4.否则，如果模式被分类为属于C组，则仅将帧内参考样本插值滤波器应用于参考样本，以生成根据选择方向落入参考样本之间的小数或整数位置的预测样本(不执行参考样本过滤)。
在对帧内预测参考样本滤波处理后，通过确定出的帧内预测模式确定帧内预测值，并将确定出的帧内预测值作为待解码块的帧内预测值。
方式二、获取帧内预测参考样本；根据获取到的帧内预测参考样本，通过确定出的帧内预测模式确定帧内预测值；对确定出的帧内预测值进行PDPC(Position dependentintra prediction combination，位置决定的帧内预测组合)修复处理，将修复处理后的帧内预测值作为待解码块的帧内预测值。
实施中，在对待解码块进行帧内预测时，首先获取帧内预测参考样本，并根据获取到的帧内预测参考样本，通过确定出的帧内预测模式确定帧间预测值；在确定出帧内预测值之后，对确定出的帧内预测值进行PDPC修复处理，以优化得到的帧内预测值；将修复处理后的帧内预测值作为待解码块的帧内预测值，从而提高了帧内预测值的准确度。
下面详细介绍对确定出的帧内预测值进行PDPC修复处理的方法：
PDPC应用于如下帧内模式，而无需发信号：平面(planar)、DC、水平(horizontal)、垂直(vertical)、左下角模式(bottom-left angular mode)及其八个相邻的角度模式、右上角模式(top-right angular mode)及其八个相邻的角度模式。
预测样本是根据公式(1)使用帧内预测模式(DC、平面、角度)和参考样本的线性组合进行预测的，公式(1)如下：
pred(x',y')＝(wL×R-1,y+wT×Rx,-1-wTL×R-1,-1+(64-wL-wT+wTL)×pred(x，y)+32)＞＞6
其中，R-1,y、Rx,-1分别表示位于当前样本(x,y)左上方的参考样本，并且R-1,-1表示位于当前块的左上角的参考样本。
如果PDPC应用于DC、平面(planar)、水平(horizontal)、垂直(vertical)帧内模式，则不需要额外的边缘滤波器。公式(1)示出了在各种预测模式下应用PDPC的参考样本(R-1,y、Rx,-1和R-1,-1)的定义。预测样本pred(x',y')位于预测块内的(x',y')。参考样本Rx,-1的坐标x由：x＝x'+y'+1给出，并且参考样本R-1,y的坐标y似地由：y＝x'+y'+1给出。
在帧内预测模式为对角和相邻角度模式下，确定参考样本的位置示意图如图4所示。
其中，PDPC中使用的权重取决于帧内预测模式，并在下表中示出：
表1根据预测模式的PDPC权重的示例。
预测模式 wT wL wTL
右上对角 16>>((y’<<1)>>shift) 16>>((x’<<1)>>shift) 0
左下对角 16>>((y’<<1)>>shift) 16>>((x’<<1)>>shift) 0
相邻右上对角 32>>((y’<<1)>>shift) 0 0
相邻左下对角 0 32>>((x’<<1)>>shift) 0
方式三、获取帧内预测参考样本；根据获取到的帧内预测参考样本，通过确定出的帧内预测模式确定帧内预测值，并将确定出的帧内预测值作为待解码块的帧内预测值。
实施中，对待解码块进行帧内预测时，首先获取帧内预测参考样本，并根据获取到的帧内预测参考样本，通过确定出的帧内预测模式确定帧间预测值；将确定出的帧间预测值直接作为待解码块的帧内预测值，从而简化了对待解码块进行帧内预测的流程，提高了解码的效率。
本公开实施例中，待解码块的帧内预测模式从下列帧内预测模式中确定，包括：DC模式、平面(PLANAR)模式、水平(HORIZONTAL)模式和垂直模式(VERTICAL)。
若待解码块形状非常宽(即宽度大于高度的两倍)，则不允许使用水平模式；若待解码块的形状非常窄(即高度大于宽度的两倍)，则不允许使用垂直模式，在这些情况下，仅允许从3种帧内预测模式中确定待解码块的帧内预测模式。
在确定待解码块的帧内预测模式之前，需要首先确定该待解码块帧内预测模式最可能模式(Most Probable Mode，MPM)候选列表。
具体地，根据下列方式确定MPM候选列表：
将待解码块左侧和上部的相邻块分别设置为A和B，并且将块A和块B的帧内预测模式分别表示为intraModeA和intraModeB；
设块X为块A或块B；若块X满足下列条件，则将intraMode X设置为DC模式：
条件1、块X为不可用块；条件2、块X没有使用帧内帧间预测模式或帧内模式；条件3、块B位于当前CTU之外。
否则，如果块X的帧内预测模式为DC模式或平面模式，则将intraModeX设置为DC模式或PLANAR；或，如果块X的帧内预测模式为“垂直类(vertical-like)”的角度模式(大于34)，则将intraModeX设置为垂直模式；或，如果块X的帧内预测模式为“水平类”的角度模式(小于或等于34)，则将intraModeX设置为水平模式。
在使用上述方法确定出intraModeA和intraModeB之后，若intraModeA和intraModeB相同，并且intraModeA为PLANAR或DC模式，则将三个MPM依次设置为{PLANAR，DC，VERTICAL}；否则，将这三个MPM依次设置为{intraModeA，PLANAR，DC}；
若确定intraModeA和intraModeB不同，则将前两个MPM依次设置为{intraModeA，intraModeB}，并且按照前两个MPM候选模式依次从PLANAR，DC，VERTICAL确定出与前两个MPM候选模式不同的模式，该模式作为第三个MPM。
如果待解码块形状非常宽或非常窄，则将MPM标志推断为1，而无需发信号；否则，发信号通知MPM标志以指示帧内预测模式是否为CIIP MPM候选模式之一。
如果MPM标志为1，则还用信号通知MPM索引以指示在CIIP帧内预测中使用哪个MPM候选；否则，如果MPM标志为0，则在MPM候选列表中将帧内预测模式设置为“丢失”模式。例如，如果PLANAR模式不在MPM候选列表中，则PLANAR为“丢失模式”，并且将帧内预测模式设置为PLANAR。
在确定出待解码块对应的帧内预测模式之后，还会存储确定出的帧内预测模式，并将存储的帧内预测模式作为下一个采用帧内帧间联合预测的待解码块对应的帧内预测模式，减少了解码器的运算。
本公开实施例中，在根据确定出的帧间预测模式确定待解码块的帧间预测值时，若待解码块确定出的帧间预测模式为双向预测模式，则将得到的两个帧间预测值进行加权平均处理，得到待解码块的帧间预测值；其中，在加权平均处理时两个帧间预测值对应的权重相同。
具体的，在待解码块帧间预测模式采用加权平均双向预测(Bi-prediction withweighted averaging)模式时，通过对从两个不同参考图像获得的两个帧间预测值求平均和/或使用两个不同运动矢量来生成双向预测值。在VTM-3.0中，双向预测模式扩展到简单平均以外，在按位右移的数量为3时，通过下列公式对两个帧间预测值进行加权平均：
Pbi-pred＝((8-w)*P0+w*P1+4)＞＞3
其中，Pbi-pred为待解码块根据加权平均双向预测模式生成的帧间预测值，w以及8-w分别为两个帧间预测值对应的权重；>>为移位运算，并且两个帧间预测值对应的权重相等。
下面详细介绍加权平均双向预测中确定权重的方式：
在加权平均双向预测中，允许使用五个权重w∈{-2，3，4，5，10}。针对每个双向预测的待解码块，权重w通过如下两种方式之一进行确定：
1)对于采用非合并模式的待解码块，权重索引在运动矢量差之后用信号通知；
2)对于采用合并模式的待解码块，基于合并候选索引从相邻块中推断出权重索引。
对于低延迟图像，使用所有5个权重。对于非低延迟图像，仅使用3个权重(w∈{3，4，5})。
在解码器处，应用快速搜索算法来找到权重索引，而不会显著增加解码器的复杂性。
a)当与AMVR组合使用时，如果当前图像为低延迟图像，则仅针对1像素和4像素运动矢量精度有条件地检查不相等的权重。
b)当与仿射组合使用时，当且仅当仿射模式被选择为当前最佳模式时，才会对不相等的权重执行仿射ME。
c)当双向预测中的两个参考图像相同时，仅有条件地检查不相等的权重。
d)当满足特定条件时，将不搜索不相等的权重，具体取决于当前图像及其参考图像之间的POC距离、编码QP以及时域级别。
此外，在根据确定出的帧间预测模式确定帧间预测值之前，还需要确定合并候选列表，并且从合并候选列表中确定最优合并候选。
本公开实施例中，采用帧间帧内联合预测的待解码块对应的合并候选列表中合并候选的个数，小于采用其他预测方式的待解码块对应的合并候选列表中的合并候选的个数，从而可以减少解码器运算，提高了解码的效率。
例如，其他预测方式的待解码块对应的合并候选列表中合并候选的个数为6个，则采用帧间帧内联合预测的待解码块对应的合并候选列表中合并候选的个数为4个。
在得到帧内预测值以及帧间预测值之后，在确定待解码块的联合预测值之前，还需要确定待解码块对应的权重集。
其中，权重集中包含帧内预测值对应的权重以及帧间预测值对应的权重。
本公开实施例中待解码块对应的权重集可以为每个待解码块对应一个权重集，也可以为将待解码块划分后的n个区域对应的权重集；其中不同区域对应的权重集不同；
具体地，若帧内预测模式为水平模式或垂直模式时，待解码块对应一个权重集，例如，假设待解码块帧内预测模式为水平模式，则该待解码块对应一个权重集A。
在每个待解码块对应一个权重集时，根据下列方式确定待解码块对应的权重集：
方式一、根据待解码块的大小与权重集之间的对应关系，确定待解码块对应的权重集。
实施中，例如待解码块A的大小为9×9，预设9×9大小的待解码块对应的权重集为权重集a，则确定待解码块A对应的权重集为a；待解码块B的大小为8×8，预设8×8大小的待解码块对应的权重集为权重集b，则确定待解码块B对应的权重集为b。
方式二、将合并索引通知信号中指示的权重集作为待解码块对应的权重集。
实施中，在根据确定出的合并模式确定待解码块的帧间预测值之后，合并索引通知信号中还包括了权重集指示信息，根据合并索引通知信号中包括的权重集指示信息确定该待解码块对应的权重集。例如，待解码块A合并索引通知信号中指示将权重集a作为待解码块A对应的权重集，则将权重集a作为待解码块A对应的权重集。
方式三、根据帧间预测值和帧内预测值的差值与权重集之间的对应关系，确定待解码块对应的权重集。
其中，帧间预测值和帧内预测值的差值，可以为待解码块中所有像素的帧间预测值的平均值，与所有像素的帧内预测值的平均值之间的差值；例如，待解码块中包含像素A、像素B、像素C、像素D，像素A对应的帧间预测值和帧内预测值的差值为a，b；像素B对应的帧间预测值和帧内预测值分别为c，d；像素C对应的帧间预测值和帧内预测值分别为e，f；像素D对应的帧间预测值和帧内预测值分别为g，h；则帧间预测值和帧内预测值的差值为(a+c+e+g)/4-(b+d+f+h)/4。
或者，帧间预测值和帧内预测值的差值为待解码块中像素的帧间预测值和帧内预测值差值的平均值；例如，待解码块中包含像素A、像素B、像素C、像素D，像素A对应的帧间预测值和帧内预测值的差值为a；像素B对应的帧间预测值和帧内预测值的差值为b；像素C对应的帧间预测值和帧内预测值的差值为c；像素D对应的帧间预测值和帧内预测值的差值为d；则帧间预测值和帧内预测值的差值为(a+b+c+d)/4。
实施中，例如，假设待解码块A帧间预测值和帧内预测值的差值为x，并且预设在差值为x时，对应的权重集为a，则确定待解码块A对应的权重集为a；假设待解码块A帧间预测值和帧内预测值的差值为y，并且预设差值为y时，对应的权重集为b，则确定待解码块对应的权重集为b。
方式四、根据生成帧间预测值的预测方向与权重集之间的对应关系，确定在确定待解码块的帧间预测值时使用的预测方向对应的权重集。
其中，在确定待解码块中像素的帧间预测值时，待解码块中的所有像素使用的预测方向相同；例如待解码块A中所有像素都使用单向预测，待解码块B中所有像素都使用双向预测。
例如，假设待解码块A采用单向预测生成帧间预测值，并且单向预测的待解码块对应的权重集为a，则确定待解码块A对应的权重集为a；假设待解码块A采用双向预测生成帧间预测值，并且双向预测的待解码块对应的权重集为b，则确定待解码块A对应的权重集为b。
具体地，若待解码块确定出的帧内预测模式为水平模式或垂直模式时，首先将待解码块划分为n个区域，其中，n为小4的正整数。将W表示为块的宽度，并且将H表示为块的高度，以水平模式为例，将待编码块划分成两个等面积的部分，每个部分的尺寸为(W/2)×H，划分后的区域如图5所示，其中，阴影部分为帧内预测参考样本；以垂直模式为例，将待解码块划分成两个等面积的部分，每个部分的尺寸为W×(H/2)，其中，阴影部分为帧内预测参考样本，划分后的区域如图6所示。
这里需要说明的是，可以将待解码块划分为等面积的n个区域；或者，划分后n个区域的面积不相等，具体不作限定。
在权重集为将待解码块划分后的n个区域对应的权重集时，根据下列方式确定不同区域对应的权重集：
方式一、根据区域大小与权重集之间的对应关系，确定区域对应的权重集。
实施中，例如，将待解码块划分后的两个区域分别为区域A和区域B，区域A的大小为x×y，区域B的大小z×w，预设大小为x×y的区域对应的权重集为a，则确定区域A对应的权重集为a；预设大小为z×w的区域对应的权重集为b，则确定区域B对应的权重集为b。
方式二、将合并索引通知信号中指示的权重集作为区域对应的权重集；
实施中，在根据确定出的合并模式确定待解码块的帧间预测值之后，合并索引通知信号中还包括了划分后每个区域对应的权重集指示信息，根据合并索引通知信号中包括的权重集指示信息确定该待解码块对应的权重集。例如，在根据确定出的合并模式确定待解码块的帧间预测值之后，合并索引通知信号中还包括了划分后每个区域对应的权重集指示信息，根据合并索引通知信号中包括的权重集指示信息确定该待解码块每个区域对应的权重集。例如，将待解码块划分后的两个区域分别为区域A和区域B，合并索引通知信号中指示将权重集a作为区域A对应的权重集，并且指示将权重集b作为区域B对应的权重集，则根据合并索引通知信号中的指示信息，将权重集a作为待解码块A对应的权重集，将权重集b作为区域B对应的权重集。
方式三、根据帧间预测值和帧内预测值的差值与权重集之间的对应关系，确定区域对应的权重集。
其中，帧间预测值和帧内预测值的差值，可以为区域中所有像素的帧间预测值的平均值，与所有像素的帧内预测值的平均值之间的差值；例如，待解码块划分后的两个区域分别为区域A和区域B；区域A中所有像素的帧间预测值的平均值为a，所有像素的帧内预测值的平均值为b，则区域A对应的帧间预测值和帧内预测值的差值为(a-b)；区域B中所有像素的帧间预测值的平均值为c，所有像素的帧内预测值的平均值为d，则区域B对应的帧间预测值和帧内预测值的差值为(c-d)。
或者，帧间预测值和帧内预测值的差值为区域中像素的帧间预测值和帧内预测值差值的平均值；例如，待解码块划分后的两个区域分别为区域A和区域B；区域A中包含像素A、像素B、像素C、像素D，像素A；像素A对应的帧间预测值和帧内预测值的差值为a；像素B对应的帧间预测值和帧内预测值的差值为b；像素C对应的帧间预测值和帧内预测值的差值为c；像素D对应的帧间预测值和帧内预测值的差值为d；则区域A对应的帧间预测值和帧内预测值的差值为(a+b+c+d)/4；区域B中包含像素E、像素F、像素G、像素H；像素E对应的帧间预测值和帧内预测值的差值为e；像素F对应的帧间预测值和帧内预测值的差值为f；像素G对应的帧间预测值和帧内预测值的差值为g；像素H对应的帧间预测值和帧内预测值的差值为h；则区域B对应的帧间预测值和帧内预测值的差值为(e+f+g+h)/4。
实施中，例如，假设待解码块划分后的两个区域分别为区域B和区域C，区域B帧间预测值和帧内预测值的差值为x，并且预设在差值为x时，区域B对应的权重集为b，则确定区域B对应的权重集为b；区域C帧间预测值和帧内预测值的差值为y，并且预设在差值为y时，区域C对应的权重集为c，则确定区域C对应的权重集为c。
方式四、根据生成帧间预测值的预测方向与权重集之间的对应关系，确定在确定区域的帧间预测时使用的预测方向对应的权重集。
其中，将待解码块划分为n个区域后，在确定每个区域中像素的帧间预测值时，每个区域中的所有像素都使用相同的预测方向。
实施中，例如，假设待解码块划分后的两个区域分别为区域B和区域C，区域B和区域C都采用单向预测生成帧间预测值，并且采用单向预测的区域对应的权重集为b，则确定区域B和区域C对应的权重集为b；假设待解码块划分后的两个区域分别为区域D和区域E，区域D和区域E都采用双向预测生成帧间预测值，并且采用双向预测的区域对应的权重集为c，则确定区域D和区域E对应的权重集为c。
在得到帧内预测值、帧间预测值以及待解码块对应的权重集之后，根据下列公式确定待解码块的联合预测值：
PCIIP＝((2N-wt)*Pinter+wt*Pintra+2N-1)>>N；
其中，所述PCIIP为联合预测值，Pinter为帧间预测值，Pintra为帧内预测值，N为按位右移的数量，wt为帧内预测值的权重，2N-wt为帧间预测值的权重，>>为移位运算。
由于在计算帧内预测和帧间预测值的联合预测值时，添加了舍入偏移量2N-1，从而实现了对联合预测值的四舍五入。
本公开实施例中，在对待解码块进行解块的过程中，还会根据不同的强度对待解码块缘进行解块。
实施中，如图7所示，采用帧内帧间联合预测的待解码块中顶部边缘区域和左侧边缘区域对应的解块强度，与采用帧内预测的待解码块对应的解块强度相同；或，如图8所示，采用帧内帧间联合预测的待解码块中底部边缘区域和右侧边缘区域对应的解块强度，与采用帧间预测的待解码块的边缘对应的解块强度相同；或
采用帧内帧间联合预测的待解码块的边缘对应的解块强度大于采用帧间预测的待解码块的边缘对应的解块强度，并且小于采用帧内预测的待解码块的边缘对应的解块强度；例如，采用帧间预测的待解码块的边缘对应的解块强度为A，采用帧内预测的待解码块的边缘对应的解块强度为B，则采用帧内帧间联合预测的待解码块的边缘对应的解块强度C，大于A且小于B；或
采用帧内帧间联合预测的待解码块中顶部边缘区域和左侧边缘区域对应的解块强度，大于采用帧间预测的待解码块的边缘对应的解块强度，且小于采用帧内预测的待解码块的边缘对应的解块强度；例如，采用帧间预测的待解码块的边缘对应的解块强度为A，采用帧内预测的待解码块的边缘对应的解块强度为B，则采用帧内帧间联合预测的待解码块中顶部边缘区域和左侧边缘区域对应的解块强度C，大于A且小于B。
本公开实施例还提供第二种帧内帧间联合预测的方法，应用于视频编码器端，如图9所示的流程图，包括：
在步骤S901中，获取视频图像帧的图像数据，确定图像数据中的待编码块；
在步骤S901中，在待编码块采用合并模式编码过程中，若确定采用帧内帧间联合预测，则根据确定出的帧内预测模式确定待编码块的帧内预测值，以及根据确定出的帧间预测模式确定待编码块的帧间预测值；
在步骤S903中，根据帧内预测值、帧间预测值以及待编码块对应的权重集，确定待编码块的联合预测值。
本公开实施例中，待编码块可以为编码单元(CU)、预测单元(PU)、变换单元(TU)或大小为M×N的任何块。
视频编码器在获取视频图像帧的图像数据之后，首先确定图像数据中的待编码块；
在对采用合并模式编码的待编码块进行编码的过程中，若待编码块至少包含64个亮度样本(即宽度×高度等于或大于64)，则会发送额外的标志以指示该编码块采用帧内帧间联合预测；
若确定该待编码块采用帧间帧内联合预测，则根据确定出的帧内预测模式确定待编码块的帧内预测值，以及根据确定出的帧间预测模式确定待编码块的帧内预测值；最后，根据确定出的帧内预测值、帧间预测值以及待编码块对应的权重集，确定待编码块的联合预测值。
本公开实施例通过下列帧内预测处理方式确定待编码块的帧内预测值：
方式一，获取帧内预测参考样本；根据获取到的帧内预测参考样本进行MDIS滤波处理；根据滤波处理后的帧内预测参考样本，通过确定出的帧内预测模式确定帧内预测值，并将确定出的帧内预测值作为帧内预测值。
实施中，在对待编码块进行帧内预测时，首先获取帧内预测参考样本，并对获取到的帧内预测参考样本进行MDIS滤波处理，使参考样本的边缘更加平滑，以提高帧内预测准确度；
具体地，利用四抽头帧内差值滤波器根据帧内预测模式，对参考样本执行MDIS滤波处理，具体执行滤波处理的过程与本公开实施例解码器端执行滤波处理的过程相同，具体不作赘述。
在对帧内预测参考样本滤波处理后，通过确定出的帧内预测模式确定帧内预测值，并将确定出的帧内预测值作为待编码块的帧内预测值。
方式二、获取帧内预测参考样本；根据获取到的帧内预测参考样本，通过确定出的帧内预测模式确定帧内预测值；对确定出的帧内预测值进行PDPC修复处理，将修复处理后的帧内预测值作为待编码块的帧内预测值。
实施中，在对待编码块进行帧内预测时，首先获取帧内预测参考样本，并根据获取到的帧内预测参考样本，通过确定出的帧内预测模式确定帧间预测值；在确定出帧内预测值之后，对确定出的帧内预测值进行PDPC修复处理，以优化得到的帧内预测值；将修复处理后的帧内预测值作为待编码块的帧内预测值，从而提高了帧内预测值的准确度。
在编码器端对确定出的帧内预测值进行PDPC修复处理的方法与本公开实施例解码器端对帧内预测值进行PDPC修复处理的方法相同，在此不作赘述。
方式三、获取帧内预测参考样本；根据获取到的帧内预测参考样本，通过确定出的帧内预测模式确定帧内预测值，并将确定出的帧内预测值作为待编码块的帧内预测值。
实施中，对待编码块进行帧内预测时，首先获取帧内预测参考样本，并根据获取到的帧内预测参考样本，通过确定出的帧内预测模式确定帧间预测值；将确定出的帧间预测值直接作为待编码块的帧内预测值，从而简化了对待编码块进行帧内预测的流程，提高了编码的效率。
本公开实施例中，待编码块的帧内预测模式从下列帧内预测模式中确定，包括：DC模式、平面(PLANAR)模式、水平(HORIZONTAL)模式和垂直模式(VERTICAL)。
若待编码块形状非常宽(即宽度大于高度的两倍)，则不允许使用水平模式；若待编码块的形状非常窄(即高度大于宽度的两倍)，则不允许使用垂直模式，在这些情况下，仅允许从3种帧内预测模式中确定待编码块的帧内预测模式。
在确定待编码块的帧内预测模式之前，需要首先确定该待编码块帧内预测模式最可能模式(Most Probable Mode，MPM)候选列表。
具体地，根据下列方式确定MPM候选列表：
将待编码块左侧和上部的相邻块分别设置为A和B，并且将块A和块B的帧内预测模式分别表示为intraModeA和intraModeB；
设块X为块A或块B；若块X满足下列条件，则将intraMode X设置为DC模式：
条件1、块X为不可用块；条件2、块X没有使用帧内帧间预测模式或帧内模式；条件3、块B位于当前CTU之外。
否则，如果块X的帧内预测模式为DC模式或平面模式，则将intraModeX设置为DC模式或PLANAR；或，如果块X的帧内预测模式为“垂直类(vertical-like)”的角度模式(大于34)，则将intraModeX设置为垂直模式；或，如果块X的帧内预测模式为“水平类”的角度模式(小于或等于34)，则将intraModeX设置为水平模式。
在使用上述方法确定出intraModeA和intraModeB之后，若intraModeA和intraModeB相同，并且intraModeA为PLANAR或DC模式，则将三个MPM依次设置为{PLANAR，DC，VERTICAL}；否则，将这三个MPM依次设置为{intraModeA，PLANAR，DC}；
若确定intraModeA和intraModeB不同，则将前两个MPM依次设置为{intraModeA，intraModeB}，并且按照前两个MPM候选模式依次从PLANAR，DC，VERTICAL确定出与前两个MPM候选模式不同的模式，该模式作为第三个MPM。
如果待编码块形状非常宽或非常窄，则将MPM标志推断为1，而无需发信号；否则，发信号通知MPM标志以指示帧内预测模式是否为CIIP MPM候选模式之一。
如果MPM标志为1，则还用信号通知MPM索引以指示在CIIP帧内预测中使用哪个MPM候选；否则，如果MPM标志为0，则在MPM候选列表中将帧内预测模式设置为“丢失”模式。例如，如果PLANAR模式不在MPM候选列表中，则PLANAR为“丢失模式”，并且将帧内预测模式设置为PLANAR。由于CIIP中允许4种可能的帧内预测模式，并且MPM候选列表仅包括3种帧内预测模式，因此4种可能的模式中的一者必须为丢失模式。
在确定出待编码块对应的帧内预测模式之后，还会存储确定出的帧内预测模式，并将存储的帧内预测模式作为下一个采用帧内帧间联合预测的待编码块对应的帧内预测模式，减少了编码器的运算。
本公开实施例中，在根据确定出的帧间预测模式确定待编码块的帧间预测值时，若待编码块确定出的帧间预测模式为双向预测模式，则将得到的两个帧间预测值进行加权平均处理，得到待编码块的帧间预测值；其中，在加权平均处理时两个帧间预测值对应的权重相同。
具体的，在待编码块帧间预测模式采用加权平均双向预测(Bi-prediction withweighted averaging)模式时，通过对从两个不同参考图像获得的两个帧间预测值求平均和/或使用两个不同运动矢量来生成双向预测值。在VTM-3.0中，双向预测模式扩展到简单平均以外，在按位右移的数量为3时，通过下列公式对两个帧间预测值进行加权平均：
Pbi-pred＝((8-w)*P0+w*P1+4)＞＞3
其中，Pbi-pred为待编码块根据加权平均双向预测模式生成的帧间预测值，w以及8-w为两个帧间预测值分别对应的权重；>>为移位运算，并且两个帧间预测值对应的权重相等。
在本公开实施例中编码器端对于加权平均双向预测中确定权重的方式与解码器端对于加权平均双向预测中确定权重的方式相同，在此不做赘述。
此外，在根据确定出的帧间预测模式确定帧间预测值之前，还需要确定参考样本合并候选列表，并且从合并候选列表中确定最优合并候选。
本公开实施例中，采用帧间帧内联合预测的待编码块对应的合并候选列表中合并候选的个数，小于采用其他预测方式的待编码块对应的合并候选列表中的合并候选的个数，从而可以减少编码器运算，提高了编码的效率。
例如，其他预测方式的待编码块对应的合并候选列表中合并候选的个数为6个，则采用帧间帧内联合预测的待编码块对应的合并候选列表中合并候选的个数为4个。
在得到帧内预测值以及帧间预测值之后，在确定待编码块的联合预测值之前，还需要确定待编码块对应的权重集。
其中，权重集中包含帧内预测值对应的权重以及帧间预测值对应的权重。
本公开实施例中待编码块对应的权重集可以为每个待编码块对应一个权重集，也可以为将待编码块划分后的n个区域对应的权重集；其中不同区域对应的权重集不同；
具体地，若帧内预测模式为水平模式或垂直模式时，待编码块对应一个权重集，例如，假设待编码块帧内预测模式为水平模式，则该待编码块对应一个权重集A。
在每个待编码块对应一个权重集时，根据下列方式确定待编码块对应的权重集：
方式一、根据待编码块的大小与权重集之间的对应关系，确定待编码块对应的权重集。
实施中，例如待编码块A的大小为8×9，预设8×9大小的待编码块对应的权重集为权重集a，则确定待编码块A对应的权重集为a；待编码块B的大小为9×9，预设9×9大小的待编码块对应的权重集为权重集b，则确定待编码块B对应的权重集为b。
方式二、将合并索引通知信号中指示的权重集作为待编码块对应的权重集。
实施中，在根据确定出的合并模式确定待编码块的帧间预测值之后，合并索引通知信号中还包括了权重集指示信息，根据合并索引通知信号中包括的权重集指示信息确定该待编码块对应的权重集。例如，待编码块A合并索引通知信号中指示将权重集a作为待编码块A对应的权重集，则将权重集a作为待编码块A对应的权重集。
方式三、根据帧间预测值和帧内预测值的差值与权重集之间的对应关系，确定待编码块对应的权重集。
其中，帧间预测值和帧内预测值的差值，可以为待编码块中所有像素的帧间预测值的平均值，与所有像素的帧内预测值的平均值之间的差值；例如，待编码块中包含像素A、像素B、像素C、像素D，像素A对应的帧间预测值和帧内预测值的差值为a，b；像素B对应的帧间预测值和帧内预测值分别为c，d；像素C对应的帧间预测值和帧内预测值分别为e，f；像素D对应的帧间预测值和帧内预测值分别为g，h；则帧间预测值和帧内预测值的差值为(a+c+e+g)/4-(b+d+f+h)/4。
或者，帧间预测值和帧内预测值的差值为待编码块中像素的帧间预测值和帧内预测值差值的平均值；例如，待编码块中包含像素A、像素B、像素C、像素D，像素A对应的帧间预测值和帧内预测值的差值为a；像素B对应的帧间预测值和帧内预测值的差值为b；像素C对应的帧间预测值和帧内预测值的差值为c；像素D对应的帧间预测值和帧内预测值的差值为d；则帧间预测值和帧内预测值的差值为(a+b+c+d)/4。
实施中，例如，假设待编码块A帧间预测值和帧内预测值的差值为x，预设在差值为x时，对应的权重集为a，则确定待编码块A对应的权重集为a；假设待编码块A帧间预测值和帧内预测值的差值为y，预设差值为y时，对应的权重集为b，则确定待编码块对应的权重集为b。
方式四、根据生成帧间预测值的预测方向与权重集之间的对应关系，确定在确定待编码块的帧间预测值时使用的预测方向对应的权重集。
其中，在确定待编码块中像素的帧间预测值时，待编码块中的所有像素使用的预测方向相同；例如待编码块A中所有像素都使用单向预测，待编码块B中所有像素都使用双向预测。
例如，假设待编码块A采用单向预测生成帧间预测值，并且单向预测的待编码块对应的权重集为a，则确定待编码块A对应的权重集为a；假设待编码块A采用双向预测生成帧间预测值，并且双向预测的待编码块对应的权重集为b，则确定待编码块A对应的权重集为b。
具体地，若待编码块确定出的帧内预测模式为水平模式或垂直模式时，首先将待编码块划分为n个区域，其中，n为小4的正整数。将W表示为块的宽度，并且将H表示为块的高度，以水平模式为例，将待编码块划分成两个等面积的部分，每个部分的尺寸为(W/2)×H，划分后的区域如图10所示；以垂直模式为例，将待编码块划分成两个等面积的部分，每个部分的尺寸为W×(H/2)，划分后的区域如图11所示。
这里需要说明的是，可以将待编码块划分为等面积的n个区域；或者，划分后n个区域的面积不相等，具体不作限定。
在权重集为将待编码块划分后的n个区域对应的权重集时，根据下列方式确定不同区域对应的权重集：
方式一、根据区域大小与权重集之间的对应关系，确定区域对应的权重集。
实施中，例如，将待编码块划分后的两个区域分别为区域A和区域B，区域A的大小为x×y，区域B的大小z×w，预设大小为x×y的区域对应的权重集为a，则确定区域A对应的权重集为a；预设大小为z×w的区域对应的权重集为b，则确定区域B对应的权重集为b。
方式二、将合并索引通知信号中指示的权重集作为区域对应的权重集；
实施中，在根据确定出的合并模式确定待编码块的帧间预测值之后，合并索引通知信号中还包括了划分后每个区域对应的权重集指示信息，根据合并索引通知信号中包括的权重集指示信息确定该待编码块对应的权重集。例如，在根据确定出的合并模式确定待编码块的帧间预测值之后，合并索引通知信号中还包括了划分后每个区域对应的权重集指示信息，根据合并索引通知信号中包括的权重集指示信息确定该待编码块每个区域对应的权重集。例如，将待编码块划分后的两个区域分别为区域A和区域B，合并索引通知信号中指示将权重集a作为区域A对应的权重集，并且指示将权重集b作为区域B对应的权重集，则根据合并索引通知信号中的指示信息，将权重集a作为待编码块A对应的权重集，将权重集b作为区域B对应的权重集。
方式三、根据帧间预测值和帧内预测值的差值与权重集之间的对应关系，确定区域对应的权重集。
其中，帧间预测值和帧内预测值的差值，可以为区域中所有像素的帧间预测值的平均值，与所有像素的帧内预测值的平均值之间的差值；例如，待编码块划分后的两个区域分别为区域A和区域B；区域A中所有像素的帧间预测值的平均值为a，所有像素的帧内预测值的平均值为b，则区域A对应的帧间预测值和帧内预测值的差值为(a-b)；区域B中所有像素的帧间预测值的平均值为c，所有像素的帧内预测值的平均值为d，则区域B对应的帧间预测值和帧内预测值的差值为(c-d)。
或者，帧间预测值和帧内预测值的差值为区域中像素的帧间预测值和帧内预测值差值的平均值；例如，待编码块划分后的两个区域分别为区域A和区域B；区域A中包含像素A、像素B、像素C、像素D，像素A；像素A对应的帧间预测值和帧内预测值的差值为a；像素B对应的帧间预测值和帧内预测值的差值为b；像素C对应的帧间预测值和帧内预测值的差值为c；像素D对应的帧间预测值和帧内预测值的差值为d；则区域A对应的帧间预测值和帧内预测值的差值为(a+b+c+d)/4；区域B中包含像素E、像素F、像素G、像素H；像素E对应的帧间预测值和帧内预测值的差值为e；像素F对应的帧间预测值和帧内预测值的差值为f；像素G对应的帧间预测值和帧内预测值的差值为g；像素H对应的帧间预测值和帧内预测值的差值为h；则区域B对应的帧间预测值和帧内预测值的差值为(e+f+g+h)/4。
实施中，例如，假设待编码块划分后的两个区域分别为区域B和区域C，区域B帧间预测值和帧内预测值的差值为x，并且预设在差值为x时，区域B对应的权重集为b，则确定区域B对应的权重集为b；区域C帧间预测值和帧内预测值的差值为y，并且预设在差值为y时，区域C对应的权重集为c，则确定区域C对应的权重集为c。
方式四、根据生成帧间预测值的预测方向与权重集之间的对应关系，确定在确定区域的帧间预测时使用的预测方向对应的权重集。
其中，将待编码块划分为n个区域后，在确定每个区域中像素的帧间预测值时，每个区域中的所有像素都使用相同的预测方向。
实施中，例如，假设待编码块划分后的两个区域分别为区域B和区域C，区域B和区域C都采用单向预测生成帧间预测值，并且采用单向预测的区域对应的权重集为b，则确定区域B和区域C对应的权重集为b；假设待编码块划分后的两个区域分别为区域D和区域E，区域D和区域E都采用双向预测生成帧间预测值，并且采用双向预测的区域对应的权重集为c，则确定区域D和区域E对应的权重集为c。
在得到帧内预测值、帧间预测值以及待编码块对应的权重集之后，根据下列公式确定待编码块的联合预测值：
PCIIP＝((2N-wt)*Pinter+wt*Pintra+2N-1)>>N；
其中，所述PCIIP为联合预测值，Pinter为帧间预测值，Pintra为帧内预测值，N为按位右移的数量，wt为帧内预测值的权重，2N-wt为帧间预测值的权重，>>为移位运算。
由于在计算帧内预测和帧间预测值的联合预测值时，添加了舍入偏移量2N-1，从而实现了对联合预测值的四舍五入。
本公开实施例提供的帧内帧间预测的方法，简化了编码器端和解码器端帧内帧间预测的流程，并对帧内帧间预测中，帧内预测和帧间预测的方法进行了优化，从而提高了编码和解码的效率。
本公开实施例中还提供了一种帧内帧间预测的装置，由于该装置对应的是本公开实施例帧内帧间预测方法对应的装置，并且该装置解决问题的原理与该方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。
图12是根据一示例性实施例示出的第一种帧内帧间预测装置框图。参照图12，该装置包括编码数据获取模块1200，帧内帧间确定模块1201和联合预测确定模块1202。
编码数据获取模块1200，被配置为获取视频图像帧的编码数据，确定所述编码数据中的待解码块；
帧内帧间确定模块1201，被配置为在所述待解码块采用合并模式解码过程中，若确定采用帧内帧间联合预测，则根据确定出的帧内预测模式确定所述待解码块的帧内预测值，以及根据确定出的帧间预测模式确定所述待解码块的帧间预测值；
联合预测确定模块1202，被配置为根据所述帧内预测值、所述帧间预测值以及所述待解码块对应的权重集，确定所述待解码块的联合预测值。
可选地，在确定出的帧内预测模式为水平模式或垂直模式时，所述待解码块对应一个权重集。
可选地，所述联合预测确定模块1202被配置为根据下列方式确定所述待解码块对应的权重集：
根据待解码块的大小与权重集之间的对应关系，确定所述待解码块对应的权重集；或
将合并索引通知信号中指示的权重集作为所述待解码块对应的权重集；或
根据帧间预测值和帧内预测值的差值与权重集之间的对应关系，确定所述待解码块对应的权重集；或
根据生成帧间预测值的预测方向与权重集之间的对应关系，确定在确定所述待解码块的帧间预测值时使用的预测方向对应的权重集。
可选地，在确定出的帧内预测模式为水平模式或垂直模式时，所述待解码块对应的权重集为所述待解码块划分后的n个区域对应的权重集，不同的区域对应的权重集不同；
其中，所述n为小于4的正整数。
可选地，所述联合预测确定模块1202被配置为根据下列方式确定所述区域对应的权重集：
根据区域的大小与权重集之间的对应关系，确定所述区域对应的权重集；或
将合并索引通知信号中指示的权重集作为所述区域对应的权重集；或
根据帧间预测值和帧内预测值的差值与权重集之间的对应关系，确定区域对应的权重集；或
根据生成帧间预测值的预测方向与权重集之间的对应关系，确定在确定所述区域的帧间预测值时使用的预测方向对应的权重集。
可选地，所述根据确定出的帧间预测模式确定所述待解码块的帧间预测值时，所述帧内帧间确定模块1201被配置为：
若确定出的帧间预测模式为双向预测模式，则将得到的两个帧间预测值进行加权平均处理，得到所述待解码块的帧间预测值；其中，在加权平均处理时所述两个帧间预测值对应的权重相同。
可选地，所述根据确定出的帧内预测模式确定所述待解码块的帧内预测值时，所述帧内帧间确定模块1201被配置为：
获取帧内预测参考样本，并对获取到的帧内预测参考样本进行MDIS滤波处理；
根据滤波处理后的帧内预测参考样本，通过确定出的帧内预测模式确定帧内预测值，并将确定出的帧内预测值作为所述待解码块的帧内预测值。
可选地，所述根据确定出的帧内预测模式确定所述待解码块的帧内预测值时，所述帧内帧间确定模块1201被配置为：
获取帧内预测参考样本；
根据获取到的所述帧内预测参考样本，通过确定出的帧内预测模式确定帧内预测值；
对确定出的帧内预测值进行PDPC修复处理，将修复处理后的帧内预测值作为所述待解码块的帧内预测值。
可选地，所述根据确定出的帧内预测模式确定所述待解码块的帧内预测值时，所述帧内帧间确定模块1201被配置为：
获取帧内预测参考样本；
根据获取到的所述帧内预测参考样本，通过确定出的帧内预测模式确定帧内预测值，并将确定出的帧内预测值作为所述待解码块的帧内预测值。
可选地，采用帧内帧间联合预测的待解码块对应的合并候选列表中参考样本个数，小于采用其它预测方式的待解码块对应的合并候选列表中的参考样本的个数。
可选地，采用帧内帧间联合预测的待解码块中顶部边缘区域和左侧边缘区域对应的解块强度，与采用帧内预测的待解码块对应的解块强度相同；或
采用帧内帧间联合预测的待解码块中底部边缘区域和右侧边缘区域对应的解块强度，与采用帧间预测的待解码块的边缘对应的解块强度相同；或
采用帧内帧间联合预测的待解码块的边缘对应的解块强度大于采用帧间预测的待解码块的边缘对应的解块强度，且小于采用帧内预测的待解码块的边缘对应的解块强度；或
采用帧内帧间联合预测的待解码块中顶部边缘区域和左侧边缘区域对应的解块强度，大于采用帧间预测的待解码块的边缘对应的解块强度，且小于采用帧内预测的待解码块的边缘对应的解块强度。
可选地，所述帧内帧间确定模块1201被配置为在确定出采用帧内帧间联合预测的待解码块对应的帧内预测模式之后，存储确定出的帧内预测模式；
将存储的帧内预测模式作为下一个采用帧内帧间联合预测的待解码块对应的帧内预测模式。
可选地，所述联合预测确定模块1202被配置为根据下列公式确定所述待解码块的联合预测值：
PCIIP＝((2N-wt)*Pinter+wt*Pintra+2N-1)>>N；
其中，所述PCIIP为联合预测值，Pinter为帧间预测值，Pintra为帧内预测值，N为按位右移的数量，wt为帧内预测值的权重，2N-wt为帧间预测值的权重，>>为移位运算。
图13是根据一示例性实施例示出的第二种帧内帧间预测装置框图。参照图13，该装置包括图像数据获取模块1300，帧内帧间确定模块1301和联合预测确定模块1302。
图像数据获取模块1300，被配置为获取当前视频图像帧，确定视频图像帧中的待编码块；
帧内帧间确定模块1301，被配置为在所述待编码块采用合并模式编码过程中，若确定采用帧内帧间联合预测，则根据确定出的帧内预测模式确定所述待编码块的帧内预测值，以及根据确定出的帧间预测模式确定所述待编码块的帧间预测值；
联合预测确定模块1302，被配置为根据所述帧内预测值、所述帧间预测值以及所述待编码块对应的权重集，确定所述待编码块的联合预测值。
可选地，在确定出的帧内预测模式为水平模式或垂直模式时，所述待编码块对应一个权重集。
可选地，所述联合预测确定模块1302被配置为根据下列方式确定所述待编码块对应的权重集：
根据待编码块的大小与权重集之间的对应关系，确定所述待编码块对应的权重集；或
将合并索引通知信号中指示的权重集作为所述待编码块对应的权重集；或
根据帧间预测值和帧内预测值的差值与权重集之间的对应关系，确定所述待编码块对应的权重集；或
根据生成帧间预测值的预测方向与权重集之间的对应关系，确定在确定所述待编码块的帧间预测值时使用的预测方向对应的权重集。
可选地，在确定出的帧内预测模式为水平模式或垂直模式时，所述待编码块对应的权重集为所述待编码块划分后的n个区域对应的权重集，不同的区域对应的权重集不同；
其中，所述n为小于4的正整数。
可选地，所述联合预测确定模块1302被配置为根据下列方式确定所述区域对应的权重集：
根据区域的大小与权重集之间的对应关系，确定所述区域对应的权重集；或
将合并索引通知信号中指示的权重集作为所述区域对应的权重集；或
根据帧间预测值和帧内预测值的差值与权重集之间的对应关系，确定区域对应的权重集；或
根据生成帧间预测值的预测方向与权重集之间的对应关系，确定在确定所述区域的帧间预测值时使用的预测方向对应的权重集。
可选地，所述根据确定出的帧间预测模式确定所述待编码块的帧间预测值时，所述帧内帧间确定模块1301被配置为：
若确定出的帧间预测模式为双向预测模式，则将得到的两个帧间预测值进行加权平均处理，得到所述待编码块的帧间预测值；其中，在加权平均处理时所述两个帧间预测值对应的权重相同。
可选地，所述根据确定出的帧内预测模式确定所述待编码块的帧内预测值时，所述帧内帧间确定模块1301被配置为：
获取帧内预测参考样本，并对获取到的帧内预测参考样本进行MDIS滤波处理；
根据滤波处理后的帧内预测参考样本，通过确定出的帧内预测模式确定帧内预测值，并将确定出的帧内预测值作为所述待编码块的帧内预测值。
可选地，所述根据确定出的帧内预测模式确定所述待编码块的帧内预测值时，所述帧内帧间确定模块1301被配置为：
获取帧内预测参考样本；
根据获取到的所述帧内预测参考样本，通过确定出的帧内预测模式确定帧内预测值；
对确定出的帧内预测值进行PDPC修复处理，将修复处理后的帧内预测值作为所述待编码块的帧内预测值。
可选地，所述根据确定出的帧内预测模式确定所述待编码块的帧内预测值时，所述帧内帧间确定模块1301被配置为：
获取帧内预测参考样本；
根据获取到的所述帧内预测参考样本，通过确定出的帧内预测模式确定帧内预测值，并将确定出的帧内预测值作为所述待编码块的帧内预测值。
可选地，采用帧内帧间联合预测的待编码块对应的合并候选列表中参考样本个数，小于采用其它预测方式的待编码块对应的合并候选列表中的参考样本的个数。
可选地，所述帧内帧间确定模块1301被配置为：
在确定出采用帧内帧间联合预测的待编码块对应的帧内预测模式之后，存储确定出的帧内预测模式；
将存储的帧内预测模式作为下一个采用帧内帧间联合预测的待编码块对应的帧内预测模式。
可选地，所述联合预测确定模块1302被配置为根据下列公式确定所述待编码块的联合预测值：
PCIIP＝((2N-wt)*Pinter+wt*Pintra+2N-1)>>N；
其中，所述PCIIP为联合预测值，Pinter为帧间预测值，Pintra为帧内预测值，N为按位右移的数量，wt为帧内预测值的权重，2N-wt为帧间预测值的权重，>>为移位运算。
图14是根据一示例性实施例示出的第一种设备1400的框图，该设备包括：
处理器1410；
用于存储所述处理器1410可执行指令的存储器1420；
其中，所述处理器1410被配置为执行所述指令，以实现本公开实施例中的第一种帧内帧间联合预测的处理方法。
图15是本发明实施例提供的第一种帧内帧间联合预测的设备的结构示意图，该设备应用于视频解码端，该设备1500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(英文全称：central processing units，英文简称：CPU)1501(例如，一个或一个以上处理器)和存储器1502，一个或一个以上存储应用程序1504或数据1506的存储介质1503(例如一个或一个以上海量存储设备)。其中，存储器1502和存储介质1503可以是短暂存储或持久存储。存储在存储介质1503的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对信息处理装置中的一系列指令操作。更进一步地，处理器1501可以设置为与存储介质1503通信，在设备1500上执行存储介质1503中的一系列指令操作。
设备1500还可以包括一个或一个以上电源1510，一个或一个以上有线或无线网络接口1507，一个或一个以上输入输出接口1508，和/或，一个或一个以上操作系统1505，例如Windows Server，Mac OS X，Unix，Linux，FreeBSD等。
图16是根据一示例性实施例示出的第二种设备1500的结构示意图，该设备包括：
处理器1610；
用于存储所述处理器1610可执行指令的存储器1620；
其中，所述处理器1610被配置为执行所述指令，以实现本公开实施例中的第二种帧内帧间联合预测的处理方法。
图17是本发明实施例提供的一种视频编码中帧内帧间联合预测的设备的结构示意图，该设备应用于视频解码端，该设备1700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(英文全称：central processing units，英文简称：CPU)1701(例如，一个或一个以上处理器)和存储器1702，一个或一个以上存储应用程序1704或数据1706的存储介质1703(例如一个或一个以上海量存储设备)。其中，存储器1702和存储介质1703可以是短暂存储或持久存储。存储在存储介质1703的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对信息处理装置中的一系列指令操作。更进一步地，处理器1701可以设置为与存储介质1703通信，在设备1700上执行存储介质1703中的一系列指令操作。
设备1700还可以包括一个或一个以上电源1710，一个或一个以上有线或无线网络接口1707，一个或一个以上输入输出接口1708，和/或，一个或一个以上操作系统1705，例如Windows Server，Mac OS X，Unix，Linux，FreeBSD等。
本发明实施例还提供一种非易失性可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行上述实施例提供的帧内帧间联合预测的方法。
本公开实施例还提供一种计算机程序产品，当所述计算机程序产品在设备上运行时，使得所述设备执行实现本公开实施例上述任意一项帧内帧间联合预测的处理方法或任意一项帧内帧间联合预测的处理方法任一可能涉及的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种帧内帧间联合预测的方法，其特征在于，该方法包括：
获取视频图像帧的编码数据，确定所述编码数据中的待解码块；
在所述待解码块采用合并模式解码过程中，若确定采用帧内帧间联合预测，则根据确定出的帧内预测模式确定所述待解码块的帧内预测值，以及根据确定出的帧间预测模式确定所述待解码块的帧间预测值；
根据所述帧内预测值、所述帧间预测值以及所述待解码块对应的权重集，确定所述待解码块的联合预测值。
2.如权利要求1所述的方法，其特征在于，在确定出的帧内预测模式为水平模式或垂直模式时，所述待解码块对应一个权重集。
3.如权利要求2所述的方法，其特征在于，根据下列方式确定所述待解码块对应的权重集：
根据待解码块的大小与权重集之间的对应关系，确定所述待解码块对应的权重集；或
将合并索引通知信号中指示的权重集作为所述待解码块对应的权重集；或
根据帧间预测值和帧内预测值的差值与权重集之间的对应关系，确定所述待解码块对应的权重集；或
根据生成帧间预测值的预测方向与权重集之间的对应关系，确定在确定所述待解码块的帧间预测值时使用的预测方向对应的权重集。
4.如权利要求1所述的方法，其特征在于，在确定出的帧内预测模式为水平模式或垂直模式时，所述待解码块对应的权重集为所述待解码块划分后的n个区域对应的权重集，不同的区域对应的权重集不同；
其中，所述n为小于4的正整数。
5.一种帧内帧间联合预测的方法，其特征在于，该方法包括：
获取当前视频图像帧，确定所述视频图像帧中的待编码块；
在所述待编码块采用合并模式编码过程中，若确定采用帧内帧间联合预测，则根据确定出的帧内预测模式确定所述待编码块的帧内预测值，以及根据确定出的帧间预测模式确定所述待编码块的帧间预测值；
根据所述帧内预测值、所述帧间预测值以及所述待编码块对应的权重集，确定所述待编码块的联合预测值。
6.一种帧内帧间联合预测的装置，其特征在于，包括：
编码数据获取模块，被配置为获取视频图像帧的编码数据，确定所述编码数据中的待解码块；
帧内帧间确定模块，被配置为在所述待解码块采用合并模式解码过程中，若确定采用帧内帧间联合预测，则根据确定出的帧内预测模式确定所述待解码块的帧内预测值，以及根据确定出的帧间预测模式确定所述待解码块的帧间预测值；
联合预测确定模块，被配置为根据所述帧内预测值、所述帧间预测值以及所述待解码块对应的权重集，确定所述待解码块的联合预测值。
7.一种帧内帧间联合预测的装置，其特征在于，包括：
图像数据获取模块，被配置为获取当前视频图像帧，确定所述视频图像帧中的待编码块；
帧内帧间确定模块，被配置为在所述待编码块采用合并模式编码过程中，若确定采用帧内帧间联合预测，则根据确定出的帧内预测模式确定所述待编码块的帧内预测值，以及根据确定出的帧间预测模式确定所述待编码块的帧间预测值；
联合预测确定模块，被配置为根据所述帧内预测值、所述帧间预测值以及所述待编码块对应的权重集，确定所述待编码块的联合预测值。
8.一种帧内帧间联合预测的设备，其特征在于，包括：存储器和处理器；
其中，所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器中的程序，实现如权利要求1～4任一所述方法的步骤。
9.一种帧内帧间联合预测的设备，其特征在于，包括：存储器和处理器；
其中，所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器中的程序，实现如权利要求5所述方法的步骤。
10.一种计算机程序介质，其特征在于，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1～4任一所述方法的步骤，或者实现如权利要求5所述方法的步骤。
CN201911369507.3A 2018-12-28 2019-12-26 一种帧内帧间联合预测的方法、装置以及存储介质 Active CN111010578B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862786315P 2018-12-28 2018-12-28
US62/786,315 2018-12-28

Publications (2)

Publication Number Publication Date
CN111010578A true CN111010578A (zh) 2020-04-14
CN111010578B CN111010578B (zh) 2022-06-24

Family

ID=70118225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911369507.3A Active CN111010578B (zh) 2018-12-28 2019-12-26 一种帧内帧间联合预测的方法、装置以及存储介质

Country Status (1)

Country Link
CN (1) CN111010578B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111988627A (zh) * 2020-08-19 2020-11-24 北京达佳互联信息技术有限公司 一种视频编解码方法及设备
CN112055209A (zh) * 2020-08-06 2020-12-08 浙江大华技术股份有限公司 图像编码方法及图像处理装置、计算机可读存储介质
WO2022227622A1 (zh) * 2021-04-30 2022-11-03 浙江智慧视频安防创新中心有限公司 一种权值可配置的帧间帧内联合预测编解码的方法及装置
WO2023280311A1 (en) * 2021-07-08 2023-01-12 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1984340A (zh) * 2005-11-02 2007-06-20 三星电子株式会社 视频编码/解码的方法和设备
CN104081770A (zh) * 2012-01-20 2014-10-01 株式会社泛泰 帧内预测模式映射方法和使用该方法的装置
CN107113425A (zh) * 2014-11-06 2017-08-29 三星电子株式会社 视频编码方法和设备以及视频解码方法和设备
CN107995489A (zh) * 2017-12-20 2018-05-04 北京大学深圳研究生院 一种用于p帧或b帧的帧内帧间组合预测方法
US20180249156A1 (en) * 2015-09-10 2018-08-30 Lg Electronics Inc. Method for processing image based on joint inter-intra prediction mode and apparatus therefor
CN108781283A (zh) * 2016-01-12 2018-11-09 瑞典爱立信有限公司 使用混合帧内预测的视频编码

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1984340A (zh) * 2005-11-02 2007-06-20 三星电子株式会社 视频编码/解码的方法和设备
CN104081770A (zh) * 2012-01-20 2014-10-01 株式会社泛泰 帧内预测模式映射方法和使用该方法的装置
CN107113425A (zh) * 2014-11-06 2017-08-29 三星电子株式会社 视频编码方法和设备以及视频解码方法和设备
US20180249156A1 (en) * 2015-09-10 2018-08-30 Lg Electronics Inc. Method for processing image based on joint inter-intra prediction mode and apparatus therefor
CN108781283A (zh) * 2016-01-12 2018-11-09 瑞典爱立信有限公司 使用混合帧内预测的视频编码
CN107995489A (zh) * 2017-12-20 2018-05-04 北京大学深圳研究生院 一种用于p帧或b帧的帧内帧间组合预测方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112055209A (zh) * 2020-08-06 2020-12-08 浙江大华技术股份有限公司 图像编码方法及图像处理装置、计算机可读存储介质
CN111988627A (zh) * 2020-08-19 2020-11-24 北京达佳互联信息技术有限公司 一种视频编解码方法及设备
CN111988627B (zh) * 2020-08-19 2024-01-23 北京达佳互联信息技术有限公司 一种视频编解码方法及设备
WO2022227622A1 (zh) * 2021-04-30 2022-11-03 浙江智慧视频安防创新中心有限公司 一种权值可配置的帧间帧内联合预测编解码的方法及装置
WO2023280311A1 (en) * 2021-07-08 2023-01-12 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Also Published As

Publication number Publication date
CN111010578B (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
US11792409B2 (en) Method and apparatus for encoding/decoding an image
US11265543B2 (en) Method, device, and recording medium storing bit stream, for encoding/decoding image
RU2683165C1 (ru) Внутреннее предсказание блочного копирования с асимметричными разделами и схемами поиска на стороне кодера, диапазоны поиска и подходы к разделению
US11665337B2 (en) Method and apparatus for encoding/decoding an image signal
CN111010578B (zh) 一种帧内帧间联合预测的方法、装置以及存储介质
US20230239496A1 (en) Method and apparatus for encoding/decoding image
CN112369034B (zh) 使用合并候选的视频编码方法和装置
KR102357142B1 (ko) 비디오 코딩을 위한 인터 예측 장치 및 방법을 위한 보간 필터
CN112385231B (zh) 图像编码/解码方法和装置
US20140003518A1 (en) Image encoding method using a skip mode, and a device using the method
WO2020142762A1 (en) Bit-width control for bi-directional optical flow
US20130170554A1 (en) Video encoding method, video decoding method, video encoding apparatus, video decoding apparatus, and programs thereof
WO2013002144A1 (ja) 映像符号化方法，装置，映像復号方法，装置およびそれらのプログラム
US20210195238A1 (en) Method and apparatus for encoding/decoding image
US20230199208A1 (en) Video coding with triangular shape prediction units
CN110832854B (zh) 利用插值进行帧内预测的方法和装置
US20130128984A1 (en) Video encoding method, video decoding method, video encoding apparatus, video decoding apparatus, and programs thereof
EP4128766A1 (en) Geometric partitioning merge mode with merge mode with motion vector difference
US20240187586A1 (en) Method, device, and recording medium storing bit stream, for encoding/decoding image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant