CN111294602B - 一种帧内预测模式编解码方法和装置及设备 - Google Patents

一种帧内预测模式编解码方法和装置及设备 Download PDF

Info

Publication number
CN111294602B
CN111294602B CN202010176667.2A CN202010176667A CN111294602B CN 111294602 B CN111294602 B CN 111294602B CN 202010176667 A CN202010176667 A CN 202010176667A CN 111294602 B CN111294602 B CN 111294602B
Authority
CN
China
Prior art keywords
block
intra
frame prediction
coding
prediction mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010176667.2A
Other languages
English (en)
Other versions
CN111294602A (zh
Inventor
郑云飞
陈宇聪
于冰
王祥林
陈漪纹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Publication of CN111294602A publication Critical patent/CN111294602A/zh
Application granted granted Critical
Publication of CN111294602B publication Critical patent/CN111294602B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component

Abstract

本公开提供一种帧内预测模式编解码方法和装置及设备,包括:在接收到的已编码视频流中提取待解码视频图像帧,所述视频图像帧中包含至少一个编码块;确定对所述编码块采用帧内预测时,获取所述编码块的相邻块的块信息和/或编码信息并输入决策模型;根据所述决策模型的输出得到MPM列表,根据编码端的指示从所述MPM列表中选择对应的帧内预测模式进行解码。本公开通过将编码块的相邻块的块信息和/或编码信息输入决策模型得到MPM列表,解决目前亮度和色度帧内预测编码时,需要特定复杂的规则使得硬件实现困难、且容易丢弃其他信息的问题。

Description

一种帧内预测模式编解码方法和装置及设备
相关申请的交叉引用
本申请要求在2019年03月14日提交美国专利局、申请号为62/818,741、申请名称 为“Intra Mode Coding with Intelligent MPM List Derivation”的美国专利申请的优 先权,其全部内容通过引用结合在本申请中。
技术领域
本公开涉及视频编码和压缩技术领域,具体涉及一种帧内预测模式编解码方法和装置及设备。
背景技术
目前利用各种视频编码技术来压缩视频数据,视频编码技术根据一个或多个视频编码标准来执行。视频编码标准包括多功能视频编码(Versatile Video Coding,VVC)、联合探索测试模型(Joint Exploration Test Model,JEM)、高效率视频编码(HighEfficient Video Coding,HEVC)、高级视频编码(Advanced Video Coding,AVC)、运动图像专家组编码(Moving Picture Experts Group,MPEG)等。视频编码通常利用视频图像或视频序列中存在冗余的预测方法(例如,帧间预测、帧内预测等)。视频编码技术的一个重要目标是将视频数据压缩为较低比特率的形式,同时避免最小化对视频质量的下降影响。随着不断发展的视频服务,需要具有更高编码效率的编码技术。
在视频数据压缩中,每张图被切割成多个编码树单元(Coding unit tree,CTU)进行编解码。每个CTU可以包含一个编码单元(CU)或递归地划分成更小的CU直到达到预定义的最小CU大小。一个CU由一个亮度编码块和两个相应的色度编码块组成,每一个CU则可以选择进行帧内(intra prediction)或者帧间预测进行压缩。
对CU进行帧内预测时,目前协议中定义了84种帧内预测模式,其中模式0为帧内平面(INTRA_PLANAR)模式,模式1为帧内DC(INTRA_DC)模式,模式2~66为不同预测角度的INTRA_ANGULAR模式,其中模式0-66适用于亮度帧内预测和色度帧内预测,并且模式81-83(INTRA_LT_CCLM,INTRA_L_CCLM,INTRA_T_CCLM)仅应用于色度帧内预测。
亮度帧内预测编码时,通过预定的规则推导尺寸为6的最可能模式(mostprobable mode,MPM)列表。在特定的设计中,MPM列表是基于邻近块帧内预测模式的特定且复杂的规则来生成的。色度帧内预测编码时,共允许8种帧内模式用于色度帧内编码,这些模式包括五种传统帧内模式和三种跨组件线性模型模式(CCLM、LM_A和LM_L),具体推导8种帧内预测模式及其最可能的排序,需要特定且复杂的规则。
目前亮度和色度帧内预测编码,一方面由于需要特定且复杂的规则来生成可能的帧内预测模式,复杂的逻辑使得硬件实现变得困难,另一方面,这些固定规则可能并不总是导致对最可能模式的最佳预测,例如亮度帧内预测模式推导过程中仅依赖于两个邻近块帧内预测模式以进行预测,使得丢弃其它信息,色度块帧内预测模式编码也具有类似的问题。
发明内容
本公开提供一种帧内预测模式编解码方法和装置及设备,用以解决目前亮度和色度帧内预测编码时,需要特定复杂的规则使得硬件实现困难、且容易丢弃其他信息的问题。
根据本公开实施例的第一方面,提供一种帧内预测模式解码方法,该方法包括:
在接收到的已编码视频流中提取待解码视频图像帧,所述视频图像帧中包含至少一个编码块;
确定对所述编码块采用帧内预测时,获取所述编码块的相邻块的块信息和/或编码信息并输入决策模型,其中,预先利用训练样本中编码块的相邻块的块信息和/或编码信息作为输入,以输出训练样本中编码块的最可能模式MPM列表中的帧内预测模式为目标进行网络模型训练得到所述决策模型;
根据所述决策模型的输出得到MPM列表,根据编码端的指示从所述MPM列表中选择对应的帧内预测模式进行解码,或从除MPM列表外的帧内预测模式中选择对应的帧内预测模式进行解码。
可选地,根据编码端的指示从所述MPM列表中选择对应的帧内预测模式进行解码,或从除MPM列表外的帧内预测模式中选择对应的帧内预测模式进行解码,包括:
根据编码端指示的标志位确定是否采用MPM列表中的帧内预测模式;
若确定采用MPM列表中的帧内预测模式,根据编码端指示的模式索引值,从所述MPM列表中选择对应的帧内预测模式进行解码;
若确定未采用MPM列表中的帧内预测模式,根据编码端指示的模式索引值,从除MPM列表外的帧内预测模式中选择对应的帧内预测模式进行解码。
可选地,所述编码块为亮度块或色度块。
可选地,所述编码块为亮度块时,所述相邻块的块信息和/或编码信息包括如下至少一项:
相邻亮度块的块划分信息;
相邻块在亮度块编码时是否采用帧内预测模式或帧间预测模式;
相邻块在亮度块编码时采用的协议定义的帧内预测模式;
相邻块在亮度块编码时采用的协议定义的帧间预测模式;
相邻块在亮度块编码时采用帧间预测模式时,所确定的帧间预测运动矢量;
相邻块在亮度块编码时用于表示所属的变换方块是否有残差的编码块标志CBF;
相邻块的亮度像素值。
可选地,所述编码块为色度块时,所述相邻块的块信息和/或编码信息包括如下至少一项:
相邻色度块的块划分信息;
相邻块在色度块编码时是否采用帧内预测模式或帧间预测模式;
相邻块在色度块编码时采用的协议定义的帧内预测模式;
相邻块在色度块编码时采用的协议定义的帧间预测模式;
相邻块在色度块编码时采用帧间预测模式时,所确定的帧间预测运动矢量;
相邻块在色度块编码时用于表示所属的变换方块是否有残差的编码块标志CBF;
相邻块的色度像素值。
可选地,所述编码块为亮度块时,所述决策模型为第一决策模型,所述编码块为色度块时,所述决策模型为第二决策模型;
其中,所述训练样本中的编码块为亮度块时训练得到所述第一决策模型,所述训练样本的编码块为色度块时训练得到所述第二决策模型。
可选地,所述根据所述决策模型的输出得到MPM列表,包括:
根据所述决策模型预测的采用不同帧内预测模式的概率,从决策模型的输出中选择N个帧内预测模式得到MPM列表,其中,N为定义的MPM列表中的总数目。
可选地,所述根据所述决策模型的输出得到MPM列表,包括:
根据所述决策模型预测的采用不同帧内预测模式的概率,从决策模型的输出中选择n个帧内预测模式,结合预先采用固定映射方式映射到MPM列表的m个帧内预测模式,得到MPM列表,其中,n和m之和为定义的MPM列表中的总数目。
可选地,所述决策模型采用的网络模型为如下任一种:
决策树模型、支持向量机SVM模型、全连接神经元网络FCNN模型、卷积神经元网络CNN模型、递归神经元网络RNN模型。
可选地,所述编码块的相邻块为如下至少一项:
与所述编码块相邻且位于所述编码块左方的相邻块;
与所述编码块相邻且位于所述编码块上方的相邻块;
与所述编码块相邻且位于所述编码块左上方的相邻块;
与所述编码块相邻且位于所述编码块右上方的相邻块;
与所述编码块相邻且位于所述编码块左下方的相邻块。
根据本公开实施例的第二方面,提供一种帧内预测模式编码方法,该方法包括:
在接收到的视频流中提取待编码视频图像帧,所述视频图像帧中包含至少一个编码块;
确定对所述编码块采用帧内预测时,获取所述编码块的相邻块的块信息和/或编码信息并输入决策模型,其中,预先利用训练样本中编码块的相邻块的块信息和/或编码信息作为输入,以输出训练样本中编码块的最可能模式MPM列表中的帧内预测模式为目标进行网络模型训练得到所述决策模型;
根据所述决策模型的输出得到MPM列表,并根据所述编码块采用的帧内预测模式,指示编码端从所述MPM列表中选择对应的帧内预测模式进行解码,或从除MPM列表之外的帧内预测模式中选择对应的帧内预测模式进行解码。
可选地,所述指示编码端从所述MPM列表中选择对应的帧内预测模式进行解码,或从除MPM列表之外的帧内预测模式中选择对应的帧内预测模式进行解码,包括:
通过标志位向解码端指示编码块采用的帧内预测模式是否在MPM列表;
若在MPM列表,通过模式索引值向解码端指示编码块采用的帧内预测模式在MPM列表中的位置;
若未在MPM列表,通过模式索引值向解码端指示编码块采用的帧内预测模式在除MPM列表之外的帧内预测模式中的位置。
可选地,所述编码块为亮度块或色度块。
可选地,所述编码块为亮度块时,所述相邻块的块信息和/或编码信息包括如下至少一项:
相邻亮度块的块划分信息;
相邻块在亮度块编码时是否采用帧内预测模式或帧间预测模式;
相邻块在亮度块编码时采用的协议定义的帧内预测模式;
相邻块在亮度块编码时采用的协议定义的帧间预测模式;
相邻块在亮度块编码时采用帧间预测模式时,所确定的帧间预测运动矢量;
相邻块在亮度块编码时用于表示所属的变换方块是否有残差的编码块标志CBF;
相邻块的亮度像素值。
可选地,所述编码块为色度块时,所述相邻块的块信息和/或编码信息包括如下至少一项:
相邻色度块的块划分信息;
相邻块在色度块编码时是否采用帧内预测模式或帧间预测模式;
相邻块在色度块编码时采用的协议定义的帧内预测模式;
相邻块在色度块编码时采用的协议定义的帧间预测模式;
相邻块在色度块编码时采用帧间预测模式时,所确定的帧间预测运动矢量;
相邻块在色度块编码时用于表示所属的变换方块是否有残差的编码块标志CBF;
相邻块的色度像素值。
可选地,所述编码块为亮度块时,所述决策模型为第一决策模型,所述编码块为色度块时,所述决策模型为第二决策模型;
其中,所述训练样本中的编码块为亮度块时训练得到所述第一决策模型,所述训练样本的编码块为色度块时训练得到所述第二决策模型。
可选地,所述根据所述决策模型的输出得到MPM列表,包括:
根据所述决策模型预测的采用不同帧内预测模式的概率,从决策模型的输出中选择N个帧内预测模式得到MPM列表,其中,N为定义的MPM列表中的总数目。
可选地,所述根据所述决策模型的输出得到MPM列表,包括:
根据所述决策模型预测的采用不同帧内预测模式的概率,从决策模型的输出中选择n个帧内预测模式,结合预先采用固定映射方式映射到MPM列表的m个帧内预测模式,得到MPM列表,其中,n和m之和为定义的MPM列表中的总数目。
可选地,所述决策模型采用的网络模型为如下任一种:
决策树模型、支持向量机SVM模型、全连接神经元网络FCNN模型、卷积神经元网络CNN模型、递归神经元网络RNN模型。
可选地,所述编码块的相邻块为如下至少一项:
与所述编码块相邻且位于所述编码块左方的相邻块;
与所述编码块相邻且位于所述编码块上方的相邻块;
与所述编码块相邻且位于所述编码块左上方的相邻块;
与所述编码块相邻且位于所述编码块右上方的相邻块;
与所述编码块相邻且位于所述编码块左下方的相邻块。
根据本公开实施例的第三方面,提供一种帧内预测模式解码装置,该装置包括:
第一提取单元,被配置为执行在接收到的已编码视频流中提取待解码视频图像帧,所述视频图像帧中包含至少一个编码块;
第一预测单元,被配置为执行确定对所述编码块采用帧内预测时,获取所述编码块的相邻块的块信息和/或编码信息并输入决策模型,其中,预先利用训练样本中编码块的相邻块的块信息和/或编码信息作为输入,以输出训练样本中编码块的最可能模式MPM列表中的帧内预测模式为目标进行网络模型训练得到所述决策模型;
第一选择单元,被配置为执行根据所述决策模型的输出得到MPM列表,根据编码端的指示从所述MPM列表中选择对应的帧内预测模式进行解码,或从除MPM列表外的帧内预测模式中选择对应的帧内预测模式进行解码。
根据本公开实施例的第四方面,提供一种帧内预测模式编码装置,该装置包括:
第二提取单元,被配置为执行在接收到的视频流中提取待编码视频图像帧,所述视频图像帧中包含至少一个编码块;
第二预测单元,被配置为执行确定对所述编码块采用帧内预测时,获取所述编码块的相邻块的块信息和/或编码信息并输入决策模型,其中,预先利用训练样本中编码块的相邻块的块信息和/或编码信息作为输入,以输出训练样本中编码块的最可能模式MPM列表中的帧内预测模式为目标进行网络模型训练得到所述决策模型;
第二选择单元,被配置为执行根据所述决策模型的输出得到MPM列表,并根据所述编码块采用的帧内预测模式,指示编码端从所述MPM列表中选择对应的帧内预测模式进行解码,或从除MPM列表之外的帧内预测模式中选择对应的帧内预测模式进行解码。
根据本公开实施例的第五方面,提供一种帧内预测模式解码设备,包括:存储器和处理器;
其中,所述存储器用于存储程序,所述处理器用于执行所述存储器中的程序,以实现本公开实施例上述第一方面涉及的任一可能涉及的方法。
根据本公开实施例的第六方面,提供一种帧内预测模式编码设备,包括:存储器和处理器;
其中,所述存储器用于存储程序,所述处理器用于执行所述存储器中的程序,以实现本公开实施例上述第二面涉及的任一可能涉及的方法。
根据本公开实施例的第七方面,提供一种芯片,所述芯片与用户设备中的存储器耦合,使得所述芯片在运行时调用所述存储器中存储的程序指令,实现本公开实施例上述各个方面以及各个方面涉及的任一可能涉及的方法。
根据本公开实施例的第八方面,提供一种计算机可读存储介质,该计算机存储介质存储有程序指令,当其在计算机上运行时,使得计算机执行本公开实施例上述各个方面以及各个方面涉及的任一可能涉及的方法。
根据本公开实施例的第九方面,提供一种计算机程序产品,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行实现本公开实施例上述各个方面以及各个方面涉及的任一可能涉及的方法。
另外,第二方面至第九方面中任一种实现方式所带来的技术效果可参见第一方面中不同实现方式所带来的技术效果,此处不再赘述。
利用本公开提供的一种帧内预测模式编解码方法和装置及设备,具有以下有益效果:
本公开提供的一种帧内预测模式编解码方法和装置及设备,可以在编码块在进行帧内预测编码时,获取更多相邻块的信息,包括块信息和/或编码信息,根据上述信息获得更精准的MPM列表,且通过预先训练的决策模型,将上述相邻块信息输入决策模型得到MPM列表,避免了由于现有技术中特定复杂的规则使得硬件实现变得困难,且并不总是导致对最可能模式的最佳预测的问题。
附图说明
为了更清楚地说明本公开实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的67种帧内预测模式示意图;
图2为本公开实施例提供的一种帧内预测模式编码方法示意图;
图3为本公开实施例提供的一种第一决策模型训练方法示意图;
图4为本公开实施例提供的一种第二预测模型训练方法示意图;
图5为本公开实施例提供的一种帧内预测模式解码方法示意图;
图6为本公开实施例提供的一种帧内预测模式解码装置示意图;
图7为本公开实施例提供的一种帧内预测模式编码装置示意图;
图8为本公开实施例提供的一种帧内预测模式解码设备示意图;
图9为本公开实施例提供的一种帧内预测模式编码设备示意图。
具体实施方式
为了使本公开的目的、技术方案和优点更加清楚,下面将结合附图对本公开作进一步地详细描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本公开保护的范围。
本公开实施例中术语“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本公开实施例描述的应用场景是为了更加清楚的说明本公开实施例的技术方案,并不构成对于本公开实施例提供的技术方案的限定,本领域普通技术人员可知,随着新应用场景的出现,本公开实施例提供的技术方案对于类似的技术问题,同样适用。其中,在本公开的描述中,除非另有说明,“多个”的含义是两个或两个以上。
在第十届JVET(联合视频专家组)会议上,JVET定义了多功能视频编码(VVC)和VVC测试模型1(VTM1)参考软件的第一草案。确定了包括作为VVC的初始新编码特征的、具有使用二元和三元分割编码块结构的嵌套式多类型树的四叉树。此后,在接下来的JVET会议中,参考软件VTM和草案VVC被稳定地开发并改进。根据图像分区结构,将输入视频帧划分成被称为编码树单元CTU的块。使用具有嵌套式多类型树结构的四叉树将CTU划分为编码单元CU,其中叶子编码单元CU的区域内的像素点共享相同预测模式(例如,帧内或帧间)。在本公开实施例中,术语“单元”定义了覆盖CU的所有分量的视频帧区域,术语“块”用于定义覆盖特定分量(例如亮度)的区域,并且在考虑色度采样格式(例如4:2:0)时,在空域位置上可能不同。
为了捕获自然视频中呈现的任意边缘方向,VTM3中的定向帧内模式的数量从HEVC中使用的33扩展至65。HEVC中没有的新定向模式在图1中用虚线箭头表示,平面模式和DC模式保持不变。这些较密集的定向帧内预测模式适用于所有的块尺寸以及亮度帧内预测和色度帧内预测。亮度帧内预测和色度帧内预测总共有67种帧内预测模式。当启用跨组件线性模型(CCLM)时,存在用于色度帧内预测的其它CCLM模式。表1示出了所有的帧内预测模式和相关名称的说明,其中模式0-66适用于亮度和色度,模式81-83仅应用于色度帧内预测。
表1
Figure BDA0002411059680000111
下面首先介绍现有技术中,亮度帧内预测编码和色度帧内预测编码时推导MPM列表的方式。
1、亮度帧内预测编码
现有技术在进行亮度帧内预测编码时,为了保持MPM列表生成的低复杂性,考虑两个邻近块帧内预测模式与默认帧内预测模式和派生预测帧内模式,如下所示:
1)默认帧内预测模式
默认帧内预测模式包括:垂直、水平、模式2、对角模式。
2)邻近帧内模式
3)派生帧内模式
派生的帧内模式通过给MPM列表中已包含的角度模式加1或减1来得到。这样额外的派生模式不能从非角度(DC和planar)模式中派生得到。
通过位于当前编码块左侧和上方的两个邻近块推导出邻近块帧内模式。在下面的说明中,它们的帧内模式分别表示为A和B。
6-MPM列表的生成过程开始于初始化默认MPM,如下所示:
Default6MPMmodes={A,Planar(0)or DC(1),Vertical(50),HOR(18),VER-4(46),VER+4(54)}
默认MPM列表基于上述两个邻近块帧内预测模式的比较来更新。如果这两个邻近块帧内预测模式相同,并且它们的模式值大于DC(1)模式,则6-MPM列表将包括三个默认模式(A、平面、DC)和三个派生模式,通过将预定义的偏移值添加至模式A、随后进行模块化操作来获得。否则,如果两个邻近块帧内模式不同,则将这两个模式(即A和B)插入6-MPM列表中的前两个位置,列表中的其余四个MPM模式从默认帧内模式和两个邻近块内部模式推导。在6-MPM列表生成过程期间,修剪用于删除重复的模式,因此只有唯一的模式可以包含在MPM列表中。
2、色度帧内预测模式编码
色度模式信号发送和推导过程在表2中示出。色度模式编码直接根据相应的色度块的帧内预测模式。由于在I切片中启用用于亮度组件和色度组件的单独块分区结构,一个色度块可以对应于多个亮度块。因此,对于色度预测模式中的色度DM模式,覆盖当前色度块的中心位置的相应的色度块的帧内预测模式直接获得色度块预测。
表2
Figure BDA0002411059680000131
上述复杂的逻辑使得硬件实现变得困难。而且,这些固定规则并不总是导致对可能模式的最佳预测,因为它们仅依赖于两个邻近块帧内模式以进行预测,使得丢弃其它信息,例如其它邻近块帧内模式以及那些块位置、相邻像素值、邻近块分区信息和其它信息。色度帧内预测模式编码也具有类似的问题。
在本公开实施例中使用决策模块统一MPM列表生成,且根据相邻块的其他信息诸如邻近分区信息、帧内/帧间预测信息、像素值等的更多邻近信息被馈送至决策模块中,以生成更精确的MPM列表。
本申请实施例中,术语“单元”定义了覆盖CU的所有分量的视频帧区域;术语“块”用于定义覆盖特定分量(例如亮度)的区域,并且在考虑色度采样格式(例如4:2:0)时,在空域位置上可能不同。
如图2所示,为本公开实施例提供的一种帧内预测模式编码方法,包括:
步骤S201,在接收到的视频流中提取待编码视频图像帧,所述视频图像帧中包含至少一个编码块;
上述从接收到的视频流中提取待编码视频图像帧,可以根据现有编码技术中的提取规则,也可以根据本领域技术人员的实际需要灵活定义提取规则,在此不做限定;
获取待编码视频图像帧后,根据现有的划分规则将上述视频图像帧划分为编码块,可选地,上述编码块可以为CU、预测单元(Prediction Unit,PU)或转换单元(TransformUnit,TU),以及其他定义的方块,每一编码块内包含的像素点使用相同的帧内预测模式编码,上述编码块为亮度块或色度块。
步骤S202,确定对所述编码块采用帧内预测时,获取所述编码块的相邻块的块信息和/或编码信息并输入决策模型,其中,预先利用训练样本中编码块的相邻块的块信息和/或编码信息作为输入,以输出训练样本中编码块的最可能模式MPM列表中的帧内预测模式为目标进行网络模型训练得到所述决策模型;
上述编码块的相邻块为与所述编码块相邻且位于所述编码块左方的相邻块,与所述编码块相邻且位于所述编码块上方的相邻块,与所述编码块相邻且位于所述编码块左上方的相邻块,与所述编码块相邻且位于所述编码块右上方的相邻块及与所述编码块相邻且位于所述编码块左下方的相邻块,作为一种可选地实施方式,将上述相邻块之一或组合作为本公开实施例的编码块的相邻块。
本公开实施例可以将编码块的相邻块的块信息和/或编码信息并输入决策模型,此时决策模型可以对任何编码块进行预测,作为一种可选地实施方式,由于上述编码块分为亮度块和色度块,因此在使用决策模型进行帧内预测时,分别基于亮度块和色度块进行帧内预测,当编码块为亮度块时,将决策模型定义为第一决策模型,编码块为色度块时,将决策模型定义为第二决策模型;
1)在进行亮度块帧内预测时,分别将亮度块的相邻块的块信息输入第一决策模型,或亮度块的相邻块的编码信息输入第一决策模型,或将亮度块的块信息和编码信息一同输入第一决策模型;
其中,编码块为亮度块时,相邻块的块信息包括如下至少一项信息:
相邻亮度块的块划分信息,其中,现在的视频编码都是基于块进行的,将一帧视频划分成不同的块,然后对每个块再分别进行编码处理。块的划分方式有多种,尺寸也并不唯一,例如在H.264中,一帧图像首先可以被划分为大小相同的16x16的块,可以进一步划分为更小的块,共支持7种尺寸的宏块,包括如下:16x16,16x8,8x16,8x8,8x4,4x8,4x4,上述块划分信息包括但不限于为相邻亮度块的位置及尺寸信息。
相邻块在亮度块编码时用于表示所属的变换方块是否有残差的编码块标志(Coded Block Flag,CBF);
相邻块的亮度像素值。
相邻块的编码信息包括如下至少一项信息:
相邻块在亮度块编码时是否采用帧内预测模式或帧间预测模式;
相邻块在亮度块编码时采用的协议定义的帧内预测模式;
相邻块在亮度块编码时采用的协议定义的帧间预测模式;
相邻块在亮度块编码时采用帧间预测模式时,所确定的帧间预测运动矢量;
2)在进行色度块帧内预测时,分别将色度块的相邻块的块信息输入第二决策模型,或色度块的相邻块的编码信息输入第二决策模型,或将色度块的块信息和编码信息一同输入第二决策模型;
其中,编码块为色度块时,相邻块的块信息包括如下至少一项信息:
相邻色度块的块划分信息;
相邻块在色度块编码时用于表示所属的变换方块是否有残差的编码块标志CBF;
相邻块的色度像素值。
相邻块的编码信息包括如下至少一项信息:
相邻块在色度块编码时是否采用帧内预测模式或帧间预测模式;
相邻块在色度块编码时采用的协议定义的帧内预测模式;
相邻块在色度块编码时采用的协议定义的帧间预测模式;
相邻块在色度块编码时采用帧间预测模式时,所确定的帧间预测运动矢量;
相对于现有技术中只获取相邻块的帧内预测编码模式,本公开实施例通过获取上述编码块的相邻块的块信息和/或编码信息,能够获得更加精准的MPM列表。
在通过决策模型对编码块进行帧内预测时,需要首先对决策模型进行训练,预先利用训练样本中编码块的相邻块的块信息和/或编码信息作为输入,以输出训练样本中编码块的最可能模式MPM列表中的帧内预测模式为目标进行网络模型训练得到所述决策模型,其中,训练样本中MPM列表可以采用现有协议定义的方式推导,具体可以采用上面阐述的特定规则进行推导,对于亮度块编码,MPM列表中帧内预测模式的数量为6个,对于色度块编码,MPM列表中帧内预测模式的数量为8个。
同理,需要分别对亮度块对应的第一决策模型进行训练,训练样本中的编码块为亮度块时训练得到所述第一决策模型,此时,模型的输入可以相邻亮度块的上述块信息中的至少一种,或者编码信息中至少一种,或者上述块信息和编码信息的组合;对色度块对应的第二决策模型进行训练,训练样本的编码块为色度块时训练得到所述第二决策模型,此时,模型的输入可以相邻色度块的上述块信息中的至少一种,或者编码信息中至少一种,或者上述快信息和编码信息的任意组合。
本公开实施例中决策模型采用的网络模型为如下任一种或组合:
决策树模型、支持向量机(Support Vector Machine,SVM)模型、全连接神经元网络(Fully Convolutional Neural Network,FCNN)模型、卷积神经元网络(ConvolutionalNeural Networks,CNN)模型、递归神经元网络(Recurrent Neural Network,RNN)模型。
通过上述任一或多种组合作为本公开实施例决策模型的网络模型,能够对输入的数据进行更精准的预测,且硬件实现更加简单。
步骤S203,根据所述决策模型的输出得到MPM列表,并根据所述编码块采用的帧内预测模式,指示编码端从所述MPM列表中选择对应的帧内预测模式进行解码,或从除MPM列表之外的帧内预测模式中选择对应的帧内预测模式进行解码。
本公开实施例定义色度块帧内预测编码时同样生成MPM列表,亮度块的相邻块的块信息和/或编码信息输入第一决策模型后,根据第一决策模型的输出得到亮度块对应的MPM列表,色度块的相邻块的块信息和/或编码信息输入第二决策模型后,根据第二决策模型的输出得到色度块对应的MPM列表。
上述根据所述决策模型的输出得到MPM列表,包括以下两种方式:
1)根据所述决策模型预测的采用不同帧内预测模式的概率,从决策模型的输出中选择N个帧内预测模式得到MPM列表,其中,N为定义的MPM列表中的总数目。
当编码块为亮度块时,上述决策模型输出为亮度块预测的采用不同帧内测模式的概率,按照不同帧内预测模型的概率大小进行排序,选取对应概率较高的N1个帧内预测模式得到MPM列表;
此时N1为亮度块对应的MPM列表中帧内预测模式的数值,N1为可以预先配置的数值,可选地,可以按照现有设定的亮度块的MPM列表数量进行设定,也可以根据本领域技术人员的实际需求进行设定;
当编码块为色度块时,上述决策模型输出为色度块预测的采用不同帧内测模式的概率,按照不同帧内预测模型的概率大小进行排序,选取对应概率较高的N2个帧内预测模式得到MPM列表;
此时N2为色度块对应的MPM列表中帧内预测模式的数值,N2为可以预先配置的数值,可选地,可以按照现有设定的色度块的MPM列表数量进行设定,也可以根据本领域技术人员的实际需求进行设定。
2)根据所述决策模型预测的采用不同帧内预测模式的概率,从决策模型的输出中选择n个帧内预测模式,结合预先采用固定映射方式映射到MPM列表的m个帧内预测模式,得到MPM列表,其中,n和m之和为定义的MPM列表中的总数目。
当编码块为亮度块时,上述决策模型输出为亮度块预测的采用不同帧内测模式的概率,按照不同帧内预测模型的概率大小进行排序,选取对应概率较高的n1个帧内预测模式得到MPM列表,之后根据预先采用固定模式映射到MPM列表的m1个帧内预测模式,得到MPM列表。
此时n1和m1之和为亮度块对应的MPM列表中帧内预测模式的数值,n1和m1为可以预先配置的数值,可选地,可以按照现有规则进行设定,也可以根据本领域技术人员的实际需求进行设定;
编码块为色度块时,上述决策模型输出为色度块预测的采用不同帧内测模式的概率,按照不同帧内预测模型的概率大小进行排序,选取对应概率较高的n2个帧内预测模式得到MPM列表,之后根据预先采用固定模式映射到MPM列表的m2个帧内预测模式,得到MPM列表。
此时n2和m2之和为色度块对应的MPM列表中帧内预测模式的数值,n2和m2为可以预先配置的数值,可选地,可以按照现有规则进行设定,也可以根据本领域技术人员的实际需求进行设定。
得到MPM列表后,通过现有技术获得当前编码块采用的帧内预测模式,并通过标志位向解码端指示编码块采用的帧内预测模式是否在MPM列表;
可选地,若当前编码块采用的帧内预测模式存在于MPM列表时,将标志位设置为1,否则设置为0;
若当前编码块采用的帧内预测模式在MPM列表,确定当前编码块采用的帧内预测模式在MPM列表中的位置,并通过模式索引值指示给解码端。
根据模式索引值指示编码端从所述MPM列表中选择对应的帧内预测模式进行解码。
可选地,当上述标志位被设置成0,从除MPM列表之外的帧内预测模式中选择对应的帧内预测模式进行解码,具体的,使用截断二进制编码(Truncated Binary Code)对上述MPM列表之外的其余帧内预测模式进行编码。
可选地,上述编码端在帧内预测过程中,确定采用的帧内预测模式对当前编码块进行帧内预测得到预测值,并根据预测值及编码前编码块的像素值确定编码块对应的残差值,将确定的残差值指示给解码端。
本公开实施例中,对决策模型进行训练的具体过程如下图所示,其中,包括对第一决策模型的训练过程和对第二决策模型的训练过程:
1)第一决策模型训练过程如图3所示:
步骤S301,获取多个训练样本,所述训练样本包括亮度块的相邻块的块信息和/或编码信息,及编码块采用的MPM列表;
亮度块的相邻块的块信息和/或编码信息上述已经给出,在此不做赘述。
步骤S302,将训练样本中相邻块的块信息和/或编码信息作为输入,以输出训练样本中编码块的MPM列表为目标调整网络模型参数得到第一决策模型。
2)第一决策模型训练过程如图4所示:
步骤S401,获取多个训练样本,所述训练样本包括色度块的相邻块的块信息和/或编码信息,及编码块采用的MPM列表;
色度块的相邻块的块信息和/或编码信息上述已经给出,在此不做赘述。
步骤S402,将训练样本中相邻块的块信息和/或编码信息作为输入,以输出训练样本中编码块的MPM列表为目标调整网络模型参数得到第二决策模型。
前面给出一种帧内预测模式编码方法,下面结合实施例给出一种帧内预测模式解码方法,如图5所示,包括:
步骤S501,在接收到的已编码视频流中提取待解码视频图像帧,所述视频图像帧中包含至少一个编码块;
上述编码块为亮度块或色度块。
步骤S502,确定对所述编码块采用帧内预测时,获取所述编码块的相邻块的块信息和/或编码信息并输入决策模型,其中,预先利用训练样本中编码块的相邻块的块信息和/或编码信息作为输入,以输出训练样本中编码块的最可能模式MPM列表中的帧内预测模式为目标进行网络模型训练得到所述决策模型;
上述编码块为亮度块时,所述相邻块的块信息和/或编码信息包括如下至少一项:
相邻亮度块的块划分信息;
相邻块在亮度块编码时是否采用帧内预测模式或帧间预测模式;
相邻块在亮度块编码时采用的协议定义的帧内预测模式;
相邻块在亮度块编码时采用的协议定义的帧间预测模式;
相邻块在亮度块编码时采用帧间预测模式时,所确定的帧间预测运动矢量;
相邻块在亮度块编码时用于表示所属的变换方块是否有残差的编码块标志CBF;
相邻块的亮度像素值。
上述编码块为色度块时,所述相邻块的块信息和/或编码信息包括如下至少一项:
相邻色度块的块划分信息;
相邻块在色度块编码时是否采用帧内预测模式或帧间预测模式;
相邻块在色度块编码时采用的协议定义的帧内预测模式;
相邻块在色度块编码时采用的协议定义的帧间预测模式;
相邻块在色度块编码时采用帧间预测模式时,所确定的帧间预测运动矢量;
相邻块在色度块编码时用于表示所属的变换方块是否有残差的编码块标志CBF;
相邻块的色度像素值。
所述编码块为亮度块时,所述决策模型为第一决策模型,所述编码块为色度块时,所述决策模型为第二决策模型;
其中,所述训练样本中的编码块为亮度块时训练得到所述第一决策模型,所述训练样本的编码块为色度块时训练得到所述第二决策模型。
所述根据所述决策模型的输出得到MPM列表,包括一下方式:
1)根据所述决策模型预测的采用不同帧内预测模式的概率,从决策模型的输出中选择N个帧内预测模式得到MPM列表,其中,N为定义的MPM列表中的总数目。
2)根据所述决策模型预测的采用不同帧内预测模式的概率,从决策模型的输出中选择n个帧内预测模式,结合预先采用固定映射方式映射到MPM列表的m个帧内预测模式,得到MPM列表,其中,n和m之和为定义的MPM列表中的总数目。
所述决策模型采用的网络模型为如下任一种:
决策树模型、支持向量机SVM模型、全连接神经元网络FCNN模型、卷积神经元网络CNN模型、递归神经元网络RNN模型。
所述编码块的相邻块为如下至少一项:
与所述编码块相邻且位于所述编码块左方的相邻块;
与所述编码块相邻且位于所述编码块上方的相邻块;
与所述编码块相邻且位于所述编码块左上方的相邻块;
与所述编码块相邻且位于所述编码块右上方的相邻块;
与所述编码块相邻且位于所述编码块左下方的相邻块。
由于帧内预测模式编码和解码的过程中获得MPM列表的方式相同。因此上述过程的具体实施方式请详见帧内预测模式编码方法中的步骤,在此不再赘述。
步骤S503,根据所述决策模型的输出得到MPM列表,根据编码端的指示从所述MPM列表中选择对应的帧内预测模式进行解码,或从除MPM列表外的帧内预测模式中选择对应的帧内预测模式进行解码。
解码端根据编码端指示的标志位确定是否采用MPM列表中的帧内预测模式,具体的,当标志位为1时,则表示当前编码块的帧内预测模式存在于MPM列表,此时采用MPM列表中的帧内预测模式,否则,确定当前编码块的帧内预测模式不在MPM列表中,从除MPM列表外的帧内预测模式中选择对应的帧内预测模式进行解码。
若确定采用MPM列表中的帧内预测模式,根据编码端指示的模式索引值,从所述MPM列表中选择对应的帧内预测模式进行解码,若不在MPM列表,根据编码端采用截断的二进制编码指示的索引值,确定帧内预测模式。
解码端确定当前编码块采用的帧内预测模式后,利用帧内预测模式对编码块进行帧内预测,得到当前编码块的亮度预测值或色度预测值,根据编码端指示的亮度残差值或色度残差值,得到解码后编码的亮度值或色度值。
以上对本公开中一种帧内预测模式解码方法和一种帧内预测模式编码方法进行说明,以下对执行方法的装置进行说明。
请参阅图6本公开实施例提供的一种帧内预测模式解码装置,该装置包括:
第一提取单元601,被配置为执行在接收到的已编码视频流中提取待解码视频图像帧,所述视频图像帧中包含至少一个编码块;
第一预测单元602,被配置为执行确定对所述编码块采用帧内预测时,获取所述编码块的相邻块的块信息和/或编码信息并输入决策模型,其中,预先利用训练样本中编码块的相邻块的块信息和/或编码信息作为输入,以输出训练样本中编码块的最可能模式MPM列表中的帧内预测模式为目标进行网络模型训练得到所述决策模型;
第一选择单元603,被配置为执行根据所述决策模型的输出得到MPM列表,根据编码端的指示从所述MPM列表中选择对应的帧内预测模式进行解码,或从除MPM列表外的帧内预测模式中选择对应的帧内预测模式进行解码。
可选地,所述第一选择单元被配置为执行根据编码端的指示从所述MPM列表中选择对应的帧内预测模式进行解码,或从除MPM列表外的帧内预测模式中选择对应的帧内预测模式进行解码,包括:
根据编码端指示的标志位确定是否采用MPM列表中的帧内预测模式;
若确定采用MPM列表中的帧内预测模式,根据编码端指示的模式索引值,从所述MPM列表中选择对应的帧内预测模式进行解码;
若确定未采用MPM列表中的帧内预测模式,根据编码端指示的模式索引值,从除MPM列表外的帧内预测模式中选择对应的帧内预测模式进行解码。
可选地,所述编码块为亮度块或色度块。
可选地,所述编码块为亮度块时,所述相邻块的块信息和/或编码信息包括如下至少一项:
相邻亮度块的块划分信息;
相邻块在亮度块编码时是否采用帧内预测模式或帧间预测模式;
相邻块在亮度块编码时采用的协议定义的帧内预测模式;
相邻块在亮度块编码时采用的协议定义的帧间预测模式;
相邻块在亮度块编码时采用帧间预测模式时,所确定的帧间预测运动矢量;
相邻块在亮度块编码时用于表示所属的变换方块是否有残差的编码块标志CBF;
相邻块的亮度像素值。
可选地,所述编码块为色度块时,所述相邻块的块信息和/或编码信息包括如下至少一项:
相邻色度块的块划分信息;
相邻块在色度块编码时是否采用帧内预测模式或帧间预测模式;
相邻块在色度块编码时采用的协议定义的帧内预测模式;
相邻块在色度块编码时采用的协议定义的帧间预测模式;
相邻块在色度块编码时采用帧间预测模式时,所确定的帧间预测运动矢量;
相邻块在色度块编码时用于表示所属的变换方块是否有残差的编码块标志CBF;
相邻块的色度像素值。
可选地,所述编码块为亮度块时,所述决策模型为第一决策模型,所述编码块为色度块时,所述决策模型为第二决策模型;
其中,所述训练样本中的编码块为亮度块时训练得到所述第一决策模型,所述训练样本的编码块为色度块时训练得到所述第二决策模型。
可选地,所述第一选择单元被配置为执行根据所述决策模型的输出得到MPM列表,包括:
根据所述决策模型预测的采用不同帧内预测模式的概率,从决策模型的输出中选择N个帧内预测模式得到MPM列表,其中,N为定义的MPM列表中的总数目。
可选地,所述第一选择单元被配置为执行根据所述决策模型的输出得到MPM列表,包括:
根据所述决策模型预测的采用不同帧内预测模式的概率,从决策模型的输出中选择n个帧内预测模式,结合预先采用固定映射方式映射到MPM列表的m个帧内预测模式,得到MPM列表,其中,n和m之和为定义的MPM列表中的总数目。
可选地,所述决策模型采用的网络模型为如下任一种:
决策树模型、支持向量机SVM模型、全连接神经元网络FCNN模型、卷积神经元网络CNN模型、递归神经元网络RNN模型。
可选地,所述编码块的相邻块为如下至少一项:
与所述编码块相邻且位于所述编码块左方的相邻块;
与所述编码块相邻且位于所述编码块上方的相邻块;
与所述编码块相邻且位于所述编码块左上方的相邻块;
与所述编码块相邻且位于所述编码块右上方的相邻块;
与所述编码块相邻且位于所述编码块左下方的相邻块。
请参阅图7本公开实施例提供的一种帧内预测模式编码装置,该装置包括:
第二提取单元701,被配置为执行在接收到的视频流中提取待编码视频图像帧,所述视频图像帧中包含至少一个编码块;
第二预测单元702,被配置为执行确定对所述编码块采用帧内预测时,获取所述编码块的相邻块的块信息和/或编码信息并输入决策模型,其中,预先利用训练样本中编码块的相邻块的块信息和/或编码信息作为输入,以输出训练样本中编码块的最可能模式MPM列表中的帧内预测模式为目标进行网络模型训练得到所述决策模型;
第二选择单元703,被配置为执行根据所述决策模型的输出得到MPM列表,并根据所述编码块采用的帧内预测模式,指示编码端从所述MPM列表中选择对应的帧内预测模式进行解码,或从除MPM列表之外的帧内预测模式中选择对应的帧内预测模式进行解码。
可选地,所述第二选择单元被配置为执行指示编码端从所述MPM列表中选择对应的帧内预测模式进行解码,或从除MPM列表之外的帧内预测模式中选择对应的帧内预测模式进行解码,包括:
通过标志位向解码端指示编码块采用的帧内预测模式是否在MPM列表;
若在MPM列表,通过模式索引值向解码端指示编码块采用的帧内预测模式在MPM列表中的位置;
若未在MPM列表,通过模式索引值向解码端指示编码块采用的帧内预测模式在除MPM列表之外的帧内预测模式中的位置。
可选地,所述编码块为亮度块或色度块。
可选地,所述编码块为亮度块时,所述相邻块的块信息和/或编码信息包括如下至少一项:
相邻亮度块的块划分信息;
相邻块在亮度块编码时是否采用帧内预测模式或帧间预测模式;
相邻块在亮度块编码时采用的协议定义的帧内预测模式;
相邻块在亮度块编码时采用的协议定义的帧间预测模式;
相邻块在亮度块编码时采用帧间预测模式时,所确定的帧间预测运动矢量;
相邻块在亮度块编码时用于表示所属的变换方块是否有残差的编码块标志CBF;
相邻块的亮度像素值。
可选地,所述编码块为色度块时,所述相邻块的块信息和/或编码信息包括如下至少一项:
相邻色度块的块划分信息;
相邻块在色度块编码时是否采用帧内预测模式或帧间预测模式;
相邻块在色度块编码时采用的协议定义的帧内预测模式;
相邻块在色度块编码时采用的协议定义的帧间预测模式;
相邻块在色度块编码时采用帧间预测模式时,所确定的帧间预测运动矢量;
相邻块在色度块编码时用于表示所属的变换方块是否有残差的编码块标志CBF;
相邻块的色度像素值。
可选地,所述编码块为亮度块时,所述决策模型为第一决策模型,所述编码块为色度块时,所述决策模型为第二决策模型;
其中,所述训练样本中的编码块为亮度块时训练得到所述第一决策模型,所述训练样本的编码块为色度块时训练得到所述第二决策模型。
可选地,所述第二选择单元被配置为执行根据所述决策模型的输出得到MPM列表,包括:
根据所述决策模型预测的采用不同帧内预测模式的概率,从决策模型的输出中选择N个帧内预测模式得到MPM列表,其中,N为定义的MPM列表中的总数目。
可选地,所述第二选择单元被配置为执行根据所述决策模型的输出得到MPM列表,包括:
根据所述决策模型预测的采用不同帧内预测模式的概率,从决策模型的输出中选择n个帧内预测模式,结合预先采用固定映射方式映射到MPM列表的m个帧内预测模式,得到MPM列表,其中,n和m之和为定义的MPM列表中的总数目。
可选地,所述决策模型采用的网络模型为如下任一种:
决策树模型、支持向量机SVM模型、全连接神经元网络FCNN模型、卷积神经元网络CNN模型、递归神经元网络RNN模型。
可选地,所述编码块的相邻块为如下至少一项:
与所述编码块相邻且位于所述编码块左方的相邻块;
与所述编码块相邻且位于所述编码块上方的相邻块;
与所述编码块相邻且位于所述编码块左上方的相邻块;
与所述编码块相邻且位于所述编码块右上方的相邻块;
与所述编码块相邻且位于所述编码块左下方的相邻块。
上面从模块化功能实体的角度进行了描述,下面从硬件处理的角度进行描述。
请参阅图8,本公开实施例中一种帧内预测模式解码设备,包括:
至少一个处理器801和至少一个存储器802,以及总线系统809;
其中,所述存储器存储有程序代码,当所述程序代码被所述处理器执行时,使得所述处理器执行下列过程:
在接收到的已编码视频流中提取待解码视频图像帧,所述视频图像帧中包含至少一个编码块;
确定对所述编码块采用帧内预测时,获取所述编码块的相邻块的块信息和/或编码信息并输入决策模型,其中,预先利用训练样本中编码块的相邻块的块信息和/或编码信息作为输入,以输出训练样本中编码块的最可能模式MPM列表中的帧内预测模式为目标进行网络模型训练得到所述决策模型;
根据所述决策模型的输出得到MPM列表,根据编码端的指示从所述MPM列表中选择对应的帧内预测模式进行解码,或从除MPM列表外的帧内预测模式中选择对应的帧内预测模式进行解码。
图8是本公开实施例提供的一种帧内预测解码设备示意图,该设备800可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(英文全称:centralprocessing units,英文简称:CPU)801(例如,一个或一个以上处理器)和存储器802,一个或一个以上存储应用程序804或数据805的存储介质803(例如一个或一个以上海量存储设备)。其中,存储器802和存储介质803可以是短暂存储或持久存储。存储在存储介质803的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对信息处理装置中的一系列指令操作。更进一步地,处理器801可以设置为与存储介质803通信,在设备800上执行存储介质803中的一系列指令操作。
设备800还可以包括一个或一个以上有线或无线网络接口807,一个或一个以上输入输出接口808,和/或,一个或一个以上操作系统806,例如Windows Server,Mac OS X,Unix,Linux,FreeBSD等。
可选地,所述处理器被配置为执行根据编码端的指示从所述MPM列表中选择对应的帧内预测模式进行解码,或从除MPM列表外的帧内预测模式中选择对应的帧内预测模式进行解码,包括:
根据编码端指示的标志位确定是否采用MPM列表中的帧内预测模式;
若确定采用MPM列表中的帧内预测模式,根据编码端指示的模式索引值,从所述MPM列表中选择对应的帧内预测模式进行解码;
若确定未采用MPM列表中的帧内预测模式,根据编码端指示的模式索引值,从除MPM列表外的帧内预测模式中选择对应的帧内预测模式进行解码。
可选地,所述编码块为亮度块或色度块。
可选地,所述编码块为亮度块时,所述相邻块的块信息和/或编码信息包括如下至少一项:
相邻亮度块的块划分信息;
相邻块在亮度块编码时是否采用帧内预测模式或帧间预测模式;
相邻块在亮度块编码时采用的协议定义的帧内预测模式;
相邻块在亮度块编码时采用的协议定义的帧间预测模式;
相邻块在亮度块编码时采用帧间预测模式时,所确定的帧间预测运动矢量;
相邻块在亮度块编码时用于表示所属的变换方块是否有残差的编码块标志CBF;
相邻块的亮度像素值。
可选地,所述编码块为色度块时,所述相邻块的块信息和/或编码信息包括如下至少一项:
相邻色度块的块划分信息;
相邻块在色度块编码时是否采用帧内预测模式或帧间预测模式;
相邻块在色度块编码时采用的协议定义的帧内预测模式;
相邻块在色度块编码时采用的协议定义的帧间预测模式;
相邻块在色度块编码时采用帧间预测模式时,所确定的帧间预测运动矢量;
相邻块在色度块编码时用于表示所属的变换方块是否有残差的编码块标志CBF;
相邻块的色度像素值。
可选地,所述编码块为亮度块时,所述决策模型为第一决策模型,所述编码块为色度块时,所述决策模型为第二决策模型;
其中,所述训练样本中的编码块为亮度块时训练得到所述第一决策模型,所述训练样本的编码块为色度块时训练得到所述第二决策模型。
可选地,所述处理器被配置为执行根据所述决策模型的输出得到MPM列表,包括:
根据所述决策模型预测的采用不同帧内预测模式的概率,从决策模型的输出中选择N个帧内预测模式得到MPM列表,其中,N为定义的MPM列表中的总数目。
可选地,所述处理器被配置为执行根据所述决策模型的输出得到MPM列表,包括:
根据所述决策模型预测的采用不同帧内预测模式的概率,从决策模型的输出中选择n个帧内预测模式,结合预先采用固定映射方式映射到MPM列表的m个帧内预测模式,得到MPM列表,其中,n和m之和为定义的MPM列表中的总数目。
可选地,所述决策模型采用的网络模型为如下任一种:
决策树模型、支持向量机SVM模型、全连接神经元网络FCNN模型、卷积神经元网络CNN模型、递归神经元网络RNN模型。
可选地,所述编码块的相邻块为如下至少一项:
与所述编码块相邻且位于所述编码块左方的相邻块;
与所述编码块相邻且位于所述编码块上方的相邻块;
与所述编码块相邻且位于所述编码块左上方的相邻块;
与所述编码块相邻且位于所述编码块右上方的相邻块;
与所述编码块相邻且位于所述编码块左下方的相邻块。
请参阅图9,本公开实施例中一种帧内预测模式编码设备,包括:
至少一个处理器901和至少一个存储器902,以及总线系统909;
其中,所述存储器存储有程序代码,当所述程序代码被所述处理器执行时,使得所述处理器执行下列过程:
在接收到的视频流中提取待编码视频图像帧,所述视频图像帧中包含至少一个编码块;
确定对所述编码块采用帧内预测时,获取所述编码块的相邻块的块信息和/或编码信息并输入决策模型,其中,预先利用训练样本中编码块的相邻块的块信息和/或编码信息作为输入,以输出训练样本中编码块的最可能模式MPM列表中的帧内预测模式为目标进行网络模型训练得到所述决策模型;
根据所述决策模型的输出得到MPM列表,并根据所述编码块采用的帧内预测模式,指示编码端从所述MPM列表中选择对应的帧内预测模式进行解码,或从除MPM列表之外的帧内预测模式中选择对应的帧内预测模式进行解码。
图9是本公开实施例提供的一种帧内预测编码设备示意图,该设备900可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(英文全称:centralprocessing units,英文简称:CPU)901(例如,一个或一个以上处理器)和存储器902,一个或一个以上存储应用程序904或数据905的存储介质903(例如一个或一个以上海量存储设备)。其中,存储器902和存储介质903可以是短暂存储或持久存储。存储在存储介质903的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对信息处理装置中的一系列指令操作。更进一步地,处理器901可以设置为与存储介质903通信,在设备900上执行存储介质903中的一系列指令操作。
设备900还可以包括一个或一个以上有线或无线网络接口907,一个或一个以上输入输出接口908,和/或,一个或一个以上操作系统906,例如Windows Server,Mac OS X,Unix,Linux,FreeBSD等。
可选地,所述处理器被配置为执行指示编码端从所述MPM列表中选择对应的帧内预测模式进行解码,或从除MPM列表之外的帧内预测模式中选择对应的帧内预测模式进行解码,包括:
通过标志位向解码端指示编码块采用的帧内预测模式是否在MPM列表;
若在MPM列表,通过模式索引值向解码端指示编码块采用的帧内预测模式在MPM列表中的位置;
若未在MPM列表,通过模式索引值向解码端指示编码块采用的帧内预测模式在除MPM列表之外的帧内预测模式中的位置。
可选地,所述编码块为亮度块或色度块。
可选地,所述编码块为亮度块时,所述相邻块的块信息和/或编码信息包括如下至少一项:
相邻亮度块的块划分信息;
相邻块在亮度块编码时是否采用帧内预测模式或帧间预测模式;
相邻块在亮度块编码时采用的协议定义的帧内预测模式;
相邻块在亮度块编码时采用的协议定义的帧间预测模式;
相邻块在亮度块编码时采用帧间预测模式时,所确定的帧间预测运动矢量;
相邻块在亮度块编码时用于表示所属的变换方块是否有残差的编码块标志CBF;
相邻块的亮度像素值。
可选地,所述编码块为色度块时,所述相邻块的块信息和/或编码信息包括如下至少一项:
相邻色度块的块划分信息;
相邻块在色度块编码时是否采用帧内预测模式或帧间预测模式;
相邻块在色度块编码时采用的协议定义的帧内预测模式;
相邻块在色度块编码时采用的协议定义的帧间预测模式;
相邻块在色度块编码时采用帧间预测模式时,所确定的帧间预测运动矢量;
相邻块在色度块编码时用于表示所属的变换方块是否有残差的编码块标志CBF;
相邻块的色度像素值。
可选地,所述编码块为亮度块时,所述决策模型为第一决策模型,所述编码块为色度块时,所述决策模型为第二决策模型;
其中,所述训练样本中的编码块为亮度块时训练得到所述第一决策模型,所述训练样本的编码块为色度块时训练得到所述第二决策模型。
可选地,所述处理器被配置为执行根据所述决策模型的输出得到MPM列表,包括:
根据所述决策模型预测的采用不同帧内预测模式的概率,从决策模型的输出中选择N个帧内预测模式得到MPM列表,其中,N为定义的MPM列表中的总数目。
可选地,所述处理器被配置为执行根据所述决策模型的输出得到MPM列表,包括:
根据所述决策模型预测的采用不同帧内预测模式的概率,从决策模型的输出中选择n个帧内预测模式,结合预先采用固定映射方式映射到MPM列表的m个帧内预测模式,得到MPM列表,其中,n和m之和为定义的MPM列表中的总数目。
可选地,所述决策模型采用的网络模型为如下任一种:
决策树模型、支持向量机SVM模型、全连接神经元网络FCNN模型、卷积神经元网络CNN模型、递归神经元网络RNN模型。
可选地,所述编码块的相邻块为如下至少一项:
与所述编码块相邻且位于所述编码块左方的相邻块;
与所述编码块相邻且位于所述编码块上方的相邻块;
与所述编码块相邻且位于所述编码块左上方的相邻块;
与所述编码块相邻且位于所述编码块右上方的相邻块;
与所述编码块相邻且位于所述编码块左下方的相邻块。
本公开实施例还提供一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行上述实施例提供的方法。
本公开实施例还提供一种计算机程序产品,包括计算机程序,所述计算机程序包括程序指令,当所述程序指令被电子设备执行时,使所述电子设备执行上述实施例提供的方法。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本公开所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本公开实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
以上对本公开所提供的技术方案进行了详细介绍,本公开中应用了具体个例对本公开的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本公开的方法及其核心思想;同时,对于本领域的一般技术人员,依据本公开的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本公开的限制。

Claims (25)

1.一种帧内预测模式解码方法,其特征在于,该方法包括:
在接收到的已编码视频流中提取待解码视频图像帧,所述视频图像帧中包含至少一个编码块;
确定对所述编码块采用帧内预测时,获取所述编码块的相邻块的块信息和编码信息并输入决策模型,其中,预先利用训练样本中编码块的相邻块的块信息和编码信息作为输入,以输出训练样本中编码块的最可能模式MPM列表中的帧内预测模式为目标进行网络模型训练得到所述决策模型;
根据所述决策模型的输出得到MPM列表,根据编码端的指示从所述MPM列表中选择对应的帧内预测模式进行解码,或从除MPM列表外的帧内预测模式中选择对应的帧内预测模式进行解码。
2.根据权利要求1所述的方法,其特征在于,根据编码端的指示从所述MPM列表中选择对应的帧内预测模式进行解码,或从除MPM列表外的帧内预测模式中选择对应的帧内预测模式进行解码,包括:
根据编码端指示的标志位确定是否采用MPM列表中的帧内预测模式;
若确定采用MPM列表中的帧内预测模式,根据编码端指示的模式索引值,从所述MPM列表中选择对应的帧内预测模式进行解码;
若确定未采用MPM列表中的帧内预测模式,根据编码端指示的模式索引值,从除MPM列表外的帧内预测模式中选择对应的帧内预测模式进行解码。
3.根据权利要求1所述的方法,其特征在于,所述编码块为亮度块或色度块。
4.根据权利要求3所述的方法,其特征在于,所述编码块为亮度块时,所述相邻块的块信息和编码信息包括如下至少一项:
相邻亮度块的块划分信息;
相邻块在亮度块编码时是否采用帧内预测模式或帧间预测模式;
相邻块在亮度块编码时采用的协议定义的帧内预测模式;
相邻块在亮度块编码时采用的协议定义的帧间预测模式;
相邻块在亮度块编码且采用帧间预测模式时,所确定的帧间预测运动矢量;
相邻块在亮度块编码时用于表示所属的变换方块是否有残差的编码块标志CBF;
相邻块的亮度像素值。
5.根据权利要求3所述的方法,其特征在于,所述编码块为色度块时,所述相邻块的块信息和编码信息包括如下至少一项:
相邻色度块的块划分信息;
相邻块在色度块编码时是否采用帧内预测模式或帧间预测模式;
相邻块在色度块编码时采用的协议定义的帧内预测模式;
相邻块在色度块编码时采用的协议定义的帧间预测模式;
相邻块在色度块编码且采用帧间预测模式时,所确定的帧间预测运动矢量;
相邻块在色度块编码时用于表示所属的变换方块是否有残差的编码块标志CBF;
相邻块的色度像素值。
6.根据权利要求3所述的方法,其特征在于,
所述编码块为亮度块时,所述决策模型为第一决策模型,所述编码块为色度块时,所述决策模型为第二决策模型;
其中,所述训练样本中的编码块为亮度块时训练得到所述第一决策模型,所述训练样本的编码块为色度块时训练得到所述第二决策模型。
7.根据权利要求1所述的方法,其特征在于,所述根据所述决策模型的输出得到MPM列表,包括:
根据所述决策模型预测的采用不同帧内预测模式的概率,从决策模型的输出中选择N个帧内预测模式得到MPM列表,其中,N为定义的MPM列表中的总数目。
8.根据权利要求1所述的方法,其特征在于,所述根据所述决策模型的输出得到MPM列表,包括:
根据所述决策模型预测的采用不同帧内预测模式的概率,从决策模型的输出中选择n个帧内预测模式,结合预先采用固定映射方式映射到MPM列表的m个帧内预测模式,得到MPM列表,其中,n和m之和为定义的MPM列表中的总数目。
9.根据权利要求1所述的方法,其特征在于,所述决策模型采用的网络模型为如下任一种:
决策树模型、支持向量机SVM模型、全连接神经元网络FCNN模型、卷积神经元网络CNN模型、递归神经元网络RNN模型。
10.根据权利要求1所述的方法,其特征在于,所述编码块的相邻块为如下至少一项:
与所述编码块相邻且位于所述编码块左方的相邻块;
与所述编码块相邻且位于所述编码块上方的相邻块;
与所述编码块相邻且位于所述编码块左上方的相邻块;
与所述编码块相邻且位于所述编码块右上方的相邻块;
与所述编码块相邻且位于所述编码块左下方的相邻块。
11.一种帧内预测模式编码方法,其特征在于,该方法包括:
在接收到的视频流中提取待编码视频图像帧,所述视频图像帧中包含至少一个编码块;
确定对所述编码块采用帧内预测时,获取所述编码块的相邻块的块信息和编码信息并输入决策模型,其中,预先利用训练样本中编码块的相邻块的块信息和编码信息作为输入,以输出训练样本中编码块的最可能模式MPM列表中的帧内预测模式为目标进行网络模型训练得到所述决策模型;
根据所述决策模型的输出得到MPM列表,并根据所述编码块采用的帧内预测模式,指示解码端从所述MPM列表中选择对应的帧内预测模式进行解码,或从除MPM列表之外的帧内预测模式中选择对应的帧内预测模式进行解码。
12.根据权利要求11所述的方法,其特征在于,所述指示解码端从所述MPM列表中选择对应的帧内预测模式进行解码,或从除MPM列表之外的帧内预测模式中选择对应的帧内预测模式进行解码,包括:
通过标志位向解码端指示编码块采用的帧内预测模式是否在MPM列表;
若在MPM列表,通过模式索引值向解码端指示编码块采用的帧内预测模式在MPM列表中的位置;
若未在MPM列表,通过模式索引值向解码端指示编码块采用的帧内预测模式在除MPM列表之外的帧内预测模式中的位置。
13.根据权利要求11所述的方法,其特征在于,所述编码块为亮度块或色度块。
14.根据权利要求13所述的方法,其特征在于,所述编码块为亮度块时,所述相邻块的块信息和编码信息包括如下至少一项:
相邻亮度块的块划分信息;
相邻块在亮度块编码时是否采用帧内预测模式或帧间预测模式;
相邻块在亮度块编码时采用的协议定义的帧内预测模式;
相邻块在亮度块编码时采用的协议定义的帧间预测模式;
相邻块在亮度块编码且采用帧间预测模式时,所确定的帧间预测运动矢量;
相邻块在亮度块编码时用于表示所属的变换方块是否有残差的编码块标志CBF;
相邻块的亮度像素值。
15.根据权利要求13所述的方法,其特征在于,所述编码块为色度块时,所述相邻块的块信息和编码信息包括如下至少一项:
相邻色度块的块划分信息;
相邻块在色度块编码时是否采用帧内预测模式或帧间预测模式;
相邻块在色度块编码时采用的协议定义的帧内预测模式;
相邻块在色度块编码时采用的协议定义的帧间预测模式;
相邻块在色度块编码且采用帧间预测模式时,所确定的帧间预测运动矢量;
相邻块在色度块编码时用于表示所属的变换方块是否有残差的编码块标志CBF;
相邻块的色度像素值。
16.根据权利要求13所述的方法,其特征在于,
所述编码块为亮度块时,所述决策模型为第一决策模型,所述编码块为色度块时,所述决策模型为第二决策模型;
其中,所述训练样本中的编码块为亮度块时训练得到所述第一决策模型,所述训练样本的编码块为色度块时训练得到所述第二决策模型。
17.根据权利要求11所述的方法,其特征在于,所述根据所述决策模型的输出得到MPM列表,包括:
根据所述决策模型预测的采用不同帧内预测模式的概率,从决策模型的输出中选择N个帧内预测模式得到MPM列表,其中,N为定义的MPM列表中的总数目。
18.根据权利要求11所述的方法,其特征在于,所述根据所述决策模型的输出得到MPM列表,包括:
根据所述决策模型预测的采用不同帧内预测模式的概率,从决策模型的输出中选择n个帧内预测模式,结合预先采用固定映射方式映射到MPM列表的m个帧内预测模式,得到MPM列表,其中,n和m之和为定义的MPM列表中的总数目。
19.根据权利要求11所述的方法,其特征在于,所述决策模型采用的网络模型为如下任一种:
决策树模型、支持向量机SVM模型、全连接神经元网络FCNN模型、卷积神经元网络CNN模型、递归神经元网络RNN模型。
20.根据权利要求11所述的方法,其特征在于,所述编码块的相邻块为如下至少一项:
与所述编码块相邻且位于所述编码块左方的相邻块;
与所述编码块相邻且位于所述编码块上方的相邻块;
与所述编码块相邻且位于所述编码块左上方的相邻块;
与所述编码块相邻且位于所述编码块右上方的相邻块;
与所述编码块相邻且位于所述编码块左下方的相邻块。
21.一种帧内预测模式解码装置,其特征在于,该装置包括:
第一提取单元,被配置为执行在接收到的已编码视频流中提取待解码视频图像帧,所述视频图像帧中包含至少一个编码块;
第一预测单元,被配置为执行确定对所述编码块采用帧内预测时,获取所述编码块的相邻块的块信息和编码信息并输入决策模型,其中,预先利用训练样本中编码块的相邻块的块信息和编码信息作为输入,以输出训练样本中编码块的最可能模式MPM列表中的帧内预测模式为目标进行网络模型训练得到所述决策模型;
第一选择单元,被配置为执行根据所述决策模型的输出得到MPM列表,根据编码端的指示从所述MPM列表中选择对应的帧内预测模式进行解码,或从除MPM列表外的帧内预测模式中选择对应的帧内预测模式进行解码。
22.一种帧内预测模式编码装置,其特征在于,该装置包括:
第二提取单元,被配置为执行在接收到的视频流中提取待编码视频图像帧,所述视频图像帧中包含至少一个编码块;
第二预测单元,被配置为执行确定对所述编码块采用帧内预测时,获取所述编码块的相邻块的块信息和编码信息并输入决策模型,其中,预先利用训练样本中编码块的相邻块的块信息和编码信息作为输入,以输出训练样本中编码块的最可能模式MPM列表中的帧内预测模式为目标进行网络模型训练得到所述决策模型;
第二选择单元,被配置为执行根据所述决策模型的输出得到MPM列表,并根据所述编码块采用的帧内预测模式,指示解码端从所述MPM列表中选择对应的帧内预测模式进行解码,或从除MPM列表之外的帧内预测模式中选择对应的帧内预测模式进行解码。
23.一种帧内预测模式解码设备,其特征在于,包括:存储器、处理器;
其中,所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序,以实现权利要求1~10中任一项所述的方法。
24.一种帧内预测模式编码设备,其特征在于,包括:存储器、处理器;
其中,所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序,以实现权利要求11-20中任一项所述的方法。
25.一种计算机可读存储介质,其特征在于,包括计算机程序指令,当其在计算机上运行时,使得计算机执行如权利要求1~10中任一项所述的方法,或者执行如权利要求11~20中任一项所述的方法。
CN202010176667.2A 2019-03-14 2020-03-13 一种帧内预测模式编解码方法和装置及设备 Active CN111294602B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962818741P 2019-03-14 2019-03-14
US62/818,741 2019-03-14

Publications (2)

Publication Number Publication Date
CN111294602A CN111294602A (zh) 2020-06-16
CN111294602B true CN111294602B (zh) 2022-07-08

Family

ID=71030254

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010176667.2A Active CN111294602B (zh) 2019-03-14 2020-03-13 一种帧内预测模式编解码方法和装置及设备

Country Status (1)

Country Link
CN (1) CN111294602B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112055209A (zh) * 2020-08-06 2020-12-08 浙江大华技术股份有限公司 图像编码方法及图像处理装置、计算机可读存储介质
CN114286099A (zh) * 2020-09-28 2022-04-05 华为技术有限公司 帧内预测方法及装置
CN114868386A (zh) * 2020-12-03 2022-08-05 Oppo广东移动通信有限公司 编码方法、解码方法、编码器、解码器以及电子设备
WO2023051532A1 (en) * 2021-09-29 2023-04-06 Beijing Bytedance Network Technology Co., Ltd. Method, device, and medium for video processing
CN116233420A (zh) * 2023-03-24 2023-06-06 重庆邮电大学 一种基于vvc的帧内快速编码方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018099579A1 (en) * 2016-12-02 2018-06-07 Huawei Technologies Co., Ltd. Apparatus and method for encoding an image
CN108289224A (zh) * 2017-12-12 2018-07-17 北京大学 一种视频帧预测方法、装置及自动补偿神经网络

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120070479A (ko) * 2010-12-21 2012-06-29 한국전자통신연구원 화면 내 예측 방향 정보 부호화/복호화 방법 및 그 장치
TWI586151B (zh) * 2011-05-30 2017-06-01 Jvc Kenwood Corp An image decoding apparatus, an image decoding method, and an image decoding program recording medium
KR20110111339A (ko) * 2011-08-23 2011-10-11 한국전자통신연구원 화면내 예측 시스템에서 최적 모드를 예측하는 장치 및 방법
CN106851300B (zh) * 2011-09-13 2020-05-26 寰发股份有限公司 基于最可能模式的帧内预测模式的方法及装置
KR101611409B1 (ko) * 2011-09-28 2016-04-14 한국전자통신연구원 인트라 예측 모드 부호화/복호화 방법 및 장치
CN108259897B (zh) * 2018-01-23 2021-08-27 北京易智能科技有限公司 一种基于深度学习的帧内编码优化方法
CN109040764B (zh) * 2018-09-03 2021-09-28 重庆邮电大学 一种基于决策树的hevc屏幕内容帧内快速编码算法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018099579A1 (en) * 2016-12-02 2018-06-07 Huawei Technologies Co., Ltd. Apparatus and method for encoding an image
CN108289224A (zh) * 2017-12-12 2018-07-17 北京大学 一种视频帧预测方法、装置及自动补偿神经网络

Also Published As

Publication number Publication date
CN111294602A (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
CN111294602B (zh) 一种帧内预测模式编解码方法和装置及设备
KR102447241B1 (ko) 이미지 인코딩 방법 및 장치, 그리고 이미지 디코딩 방법 및 장치
CN113498605A (zh) 编码器、解码器及使用自适应环路滤波器的相应方法
CN111327904B (zh) 图像重建方法和装置
CN110166775B (zh) 帧内预测方法、编码器及存储装置
BR112021003736A2 (pt) método e aparelho de predição de imagem de vídeo
BR112021003869A2 (pt) predição temporal de parâmetros de filtro de loop adaptativo com consumo reduzido de memória para codificação de vídeo
JP2023101782A (ja) 非直線の非長方形分割を用いた幾何学的分割におけるインター予測
CN113170210A (zh) 视频编码和解码中的仿射模式信令
BR122023021035A2 (pt) Método de compactação do vetor de movimento, meio de armazenamento legível por computador não transitório, codificador, decodificador e meio de armazenamento
CN113709458A (zh) 视频编解码中的位移矢量预测方法、装置及设备
CN114128287A (zh) 图像标头中全局运动矢量的信号发送
CN111416977A (zh) 视频编码器、视频解码器及相应方法
CN114303380B (zh) 用于几何划分标志的索引的cabac译码的编码器、解码器及对应方法
CN110753222B (zh) 视频编码方法和确定采用帧间编码方式的方法及设备
CN114080811A (zh) 具有全局运动的帧中的选择性运动矢量预测候选
CN112804525B (zh) Ibc模式帧内块拷贝预测方法、装置、介质及设备
CN111435989B (zh) 视频编码、解码方法、装置及计算机存储介质
WO2019219066A1 (zh) 一种编解码方法及装置
CN114071158A (zh) 视频编解码中的运动信息列表构建方法、装置及设备
WO2020061784A1 (zh) 编码方法、解码方法、编码设备和解码设备
US11812044B2 (en) Signaling of global motion relative to available reference frames
CN111372082B (zh) 一种视频编码中编码块标志cbf的编解码方法及设备
CN110740330B (zh) 一种子块运动候选的冗余校验的方法及设备
CN113141507B (zh) 视频编解码中的运动信息列表构建方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant