CN116569549A - 一种帧间预测方法、编码器、解码器及存储介质 - Google Patents

一种帧间预测方法、编码器、解码器及存储介质 Download PDF

Info

Publication number
CN116569549A
CN116569549A CN202080107593.5A CN202080107593A CN116569549A CN 116569549 A CN116569549 A CN 116569549A CN 202080107593 A CN202080107593 A CN 202080107593A CN 116569549 A CN116569549 A CN 116569549A
Authority
CN
China
Prior art keywords
illumination compensation
pixel
mode
prediction
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080107593.5A
Other languages
English (en)
Inventor
王凡
谢志煌
王东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202311113909.3A priority Critical patent/CN116916029A/zh
Publication of CN116569549A publication Critical patent/CN116569549A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/27Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving both synthetic and natural picture components, e.g. synthetic natural hybrid coding [SNHC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/573Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)

Abstract

本申请实施例提供了一种帧间预测方法、编码器、解码器和存储介质,通过获取码流,并解析码流,得到光照补偿允许标识、当前运动信息和当前预测模式;若光照补偿允许标识为有效,则获取码流中的光照补偿使用标识;若光照补偿使用标识为有效,则获取码流中的目标光照补偿模式的索引信息;根据目标光照补偿模式的索引信息、当前预测模式和当前运动信息,对当前块进行帧间预测,得到预测值。

Description

一种帧间预测方法、编码器、解码器及存储介质 技术领域
本申请实施例涉及视频编码技术,涉及但不限于一种帧间预测方法、编码器、解码器及存储介质。
背景技术
在视频编解码,对当前块进行编解码的过程中,除了有帧内预测方式外,还可以采用帧间预测。帧间预测可以对每个编码单元分别进行帧间预测过程计算预测块。
相关技术中,在帧间预测中,采用光照补偿技术,来消除由于光照变化、物体运动引起的光照角度变化、前后物体相对运动引起的阴影变化、后期制作引入的亮度变化等,当前块(编码块或解码块)和参考块之间可能存在纹理相似但亮度不同的情况。这时,对当前块使用光照补偿技术,利用当前块左边一列和上边一行的已重构像素中的某些像素,及参考块左边一列和上边一行的像素中的对应位置的像素,确定出当前块的光照补偿因子,进行光照补偿。
然而,光照补偿技术在计算光照补偿因子时要用到当前块的左边一列和上边一行的已重构像素中的某些像素,及参考块的左边一列和上边一行的像素中的对应位置的像素,这样存在像素差异较大时,计算出来的线性模型并不能很好地预测当前编码块,存在线性偏移不足或过偏的问题,且计算范围局限,响应最终的编解码精度。
发明内容
本申请实施例提供了一种帧间预测方法、编码器、解码器和存储介质,能够基于不同的像素位置,对应不同的光照补偿模型,通过选择不同的光照补偿模型进行图像块的预测过程,提高编解码精度。
第一方面,本申请实施例提供了一种帧间预测方法,应用于解码器,所述方法包括:
获取码流,并解析所述码流,得到光照补偿允许标识、当前运动信息和当前预测模式;
若所述光照补偿允许标识为有效,则获取所述码流中的光照补偿使用标识;
若所述光照补偿使用标识为有效,则获取所述码流中的目标光照补偿模式的索引信息;
根据所述目标光照补偿模式的索引信息、所述当前预测模式和所述当前运动信息,对当前块进行帧间预测,得到预测值。
第二方面,本申请实施例还提供了一种帧间预测方法,应用于编码器,所述方法包括:
遍历多个候选运动信息,确定出当前块对应的初始预测块的初始预测值;所述初始预测块与所述多个候选运动信息一一对应,其中,所述当前块属于当前帧,所述初始预测块属于参考帧;
针对所述初始预测块,遍历上左光照补偿模式、上光照补偿模式和左光照补偿模式进行光照补偿处理,得到所述多个候选运动信息对应的第一类预测值、第二类预测值和第三类预测值;其中,所述上左光照补偿模式、所述上光照补偿模式和所述左光照补偿模式之间是由不同位置相邻边的像素确定得到的;
采用所述初始预测值、所述第一类预测值、所述第二类预测值和所述第三类预测值,分别与当前块的原始像素值进行率失真代价计算,确定出光照补偿使用标识,以及最优率失真代价对应的当前预测模式、当前运动信息和目标光照补偿模式;
采用所述当前预测模式、所述当前运动信息和所述目标光照补偿模式对所述当前编码块进行帧间预测,得到当前预测值;
将所述当前预测模式的索引信息、当前运动信息的索引信息、所述目标光照补偿模式的索引信息和所述光照补偿使用标识写入码流。
本申请实施例提供了一种解码器,包括:
第一获取部分,被配置为获取码流;
所述解析部分,被配置为解析所述码流,得到光照补偿允许标识、当前运动信息和当前预测模 式;
所述第一获取部分,还被配置为若所述光照补偿允许标识为有效,则获取所述码流中的光照补偿使用标识;若所述光照补偿使用标识为有效,则获取所述码流中的目标光照补偿模式的索引信息;
所述第一预测部分,被配置为根据所述目标光照补偿模式的索引信息、所述当前预测模式和所述当前运动信息,对当前块进行帧间预测,得到预测值。
本申请实施例提供了一种编码器,包括:
第二确定部分,被配置为遍历多个候选运动信息,确定出当前块对应的初始预测块的初始预测值;所述初始预测块与所述多个候选运动信息一一对应,其中,所述当前块属于当前帧,所述初始预测块属于参考帧;及针对所述初始预测块,遍历上左光照补偿模式、上光照补偿模式和左光照补偿模式进行光照补偿处理,得到所述多个候选运动信息对应的第一类预测值、第二类预测值和第三类预测值;其中,所述上左光照补偿模式、所述上光照补偿模式和所述左光照补偿模式之间是由不同位置相邻边的像素确定得到的;以及采用所述初始预测值、所述第一类预测值、所述第二类预测值和所述第三类预测值,分别与当前块的原始像素值进行率失真代价计算,确定出光照补偿使用标识,以及最优率失真代价对应的当前预测模式、当前运动信息和目标光照补偿模式;
第二预测部分,被配置为采用所述当前预测模式、所述当前运动信息和所述目标光照补偿模式对所述当前编码块进行帧间预测,得到当前预测值;
写入部分,被配置为将所述当前预测模式的索引信息、当前运动信息的索引信息、所述目标光照补偿模式的索引信息和所述光照补偿使用标识写入码流。
本申请实施例还提供了一种解码器,包括:
第一存储器和第一处理器;
所述第一存储器存储有可在第一处理器上运行的计算机程序,所述第一处理器执行所述程序时实现解码器的所述帧间预测方法。
本申请实施例还提供了一种编码器,包括:
第二存储器和第二处理器;
所述第二存储器存储有可在第二处理器上运行的计算机程序,所述第二处理器执行所述程序时编码器的所述帧间预测方法。
本申请实施例提供了一种存储介质,其特征在于,其上存储有计算机程序,该计算机程序被第一处理器执行时,实现权利要求解码器的所述帧间预测方法;或者,该计算机程序被第二处理器执行时,实现权利要求编码器的所述帧间预测方法。
附图说明
图1A-1C为本申请实施例提供的示例性的不同颜色格式下的各分量分布图;
图2为本申请实施例提供的示例性的编码单元的划分示意图;
图3为本申请实施例提供的示例性的视频编解码的网络架构的组成结构示意图;
图4为本申请实施例提供的示例性的视频编码码系统结构图;
图5为本申请实施例提供的示例性的视频解码系统结构图;
图6为本申请实施例提供的示例性的当前块与参考块的光照补偿示意图;
图7A为本申请实施例提供的示例性的当前块与参考块的排布示意图一;
图7B为本申请实施例提供的示例性的当前块与参考块的排布示意图二;
图8为本申请实施例提供的一种帧内预测方法的流程图;
图9为本申请实施例提供的示例性的当前块与参考块的排布示意图三;
图10为本申请实施例提供的示例性的当前块与参考块的排布示意图四;
图11为本申请实施例还提供的一种帧内预测方法的流程图;
图12为本申请实施例提供的一种解码器的结构示意图一;
图13为本申请实施例提供的一种解码器的结构示意图二;
图14为本申请实施例提供的一种编码器的结构示意图一;
图15为本申请实施例提供的一种编码器的结构示意图二。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是,此处所描述的具体实施例仅仅用于解释相关申请,而非对该申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关申请相关的部分。
在视频图像中,一般采用第一图像分量、第二图像分量和第三图像分量来表征当前块(Coding Block,CB);其中,这三个图像分量分别为一个亮度分量、一个蓝色色度分量和一个红色色度分量,具体地,亮度分量通常使用符号Y表示,蓝色色度分量通常使用符号Cb或者U表示,红色色度分量通常使用符号Cr或者V表示;这样,视频图像可以用YCbCr格式表示,也可以用YUV格式表示。
通常,数字视频压缩技术作用于颜色编码方法为YCbCr(YUV)格式的影像数据上,YUV比例通测为4:2:0、4:2:2或者4:4:4,Y表示明亮度(Luma),Cb(U)表示蓝色色度,Cr(V)表示红色色度,U和V表示为色度(Chroma)用于描述色彩及饱和度。图1A至图1C展示了不同颜色格式下的各分量分布图,其中白色为Y分量,黑灰色为UV分量。如图1A所示,在颜色格式上,4:2:0表示每4个像素有4个亮度分量,2个色度分量(YYYYCbCr),如图1B所示,4:2:2表示每4个像素有4个亮度分量,4个色度分量(YYYYCbCrCbCr),而如图1C所示,4:4:4表示全像素显示(YYYYCbCrCbCrCbCrCbCr)。
目前,通用的视频编解码标准基于都采用基于块的混合编码框架。视频图像中的每一帧被分割成相同大小(比如128×128,64×64等)的正方形的最大编码单元(Largest Coding Unit,LCU),每个最大编码单元还可以根据规则划分成矩形的编码单元(Coding Unit,CU);而且编码单元可能还会划分成更小的预测单元(Prediction Unit,PU)。具体地,混合编码框架可以包括有预测、变换(Transform)、量化(Quantization)、熵编码(EntropyCoding)、环路滤波(In Loop Filter)等模块;其中,预测模块可以包括帧内预测(intraPrediction)和帧间预测(interPrediction),帧间预测可以包括运动估计(motion estimation)和运动补偿(motion compensation)。由于视频图像的一个帧内相邻像素之间存在很强的相关性,在视频编解码技术中使用帧内预测方式能够消除相邻像素之间的空间冗余。帧间预测可以参考不同帧的图像信息,利用运动估计搜索最匹配当前划分块的运动矢量信息,用于消除时间冗余;变换将预测后的图像块转换到频率域,能量重新分布,结合量化可以将人眼不敏感的信息去除,用于消除视觉冗余;熵编码可以根据当前上下文模型以及二进制码流的概率信息消除字符冗余。
需要说明的是,视频编码过程中,编码器首先读取图像信息,将图像划分成若干个编码树单元(Coding Tree Unit,CTU),而一个编码树单元又可以继续划分成若干个编码单元(Coding Unit,CU),这些编码单元可以为矩形块也可以为方形块,具体关系可以参考图2所示。
在帧间预测过程中,当前编码单元是参考不同帧图像的参考块的信息进行预测,即根据目前大多数的从左至右、从上到下的编码顺序,当前编码单元可以根据参考块的左上侧编码单元,上侧编码单元以及左侧编码单元作为参考信息来预测当前编码单元输入的数字视频为彩色格式,即当前主流的数字视频编码器输入源为YUV 4:2:0格式,即图像的每4个像素点由4个Y分量和2个UV分量组成,编码器会对Y分量和UV分量分别进行编码,采用的编码工具与技术也略有不同,同时,解码端也会根据不同格式对应进行解码。
针对数字视频编解码中的帧间预测部分,主要参考已解码帧的重建图像信息对当前帧的编码块进行预测,通过运动估计搜索参考帧中的图像块,基于MSE(mean square error)或其他算法寻得最小误差的匹配块,得到当前编码快对应的运动信息(motion vector,MV)),对MV指向的参考块做运动补偿得到预测块,将预测块与原始图像块计算残差得到残差信息后经由变换与量化等过程,将残差信息传输到解码端。解码端接收并解析码流后,经过反变换与反量化等步骤得到残差信息,将解码端预测得到的预测图像块叠加残差信息后得到重建图像块。
基于上述概念的基础上,本申请实施例提供了一种包含帧间预测方法的视频编解码系统的网络架构,图3为本申请实施例视频编解码的网络架构的组成结构示意图,如图3所示,该网络架构包括一个或多个电子设备13至1N和通信网络01,其中,电子设备13至1N可以通过通信网络01进行视频交互。电子设备在实施的过程中可以为各种类型的具有视频编解码功能的设备,例如,所述电子设备可以包括手机、平板电脑、个人计算机、个人数字助理、导航仪、数字电话、视频电话、电视机、传感设备、服务器等,本申请实施例不作限制。其中,本申请实施例中的帧间预测装置就可以为上述电子设备。
其中,本申请实施例中的电子设备具有视频编解码功能,一般包括视频编码器(即编码器)和视频解码器(即解码器)。
本申请提供一种视频编码系统,如图4所示,该视频编码系统11包括:
变换单元111、量化单元112、模式选择和编码控制逻辑单元113、帧内预测单元114、帧间预测单元115(包括:运动补偿和运动估计)、反量化单元116、反变换单元117、环路滤波单元118、编码单元119和解码图像缓存单元110;针对输入的原始视频信号,通过编码树块(Coding Tree Unit,CTU)的划分可以得到一个视频重建块,通过模式选择和编码控制逻辑单元113确定编码模式,然后,对经过帧内或帧间预测后得到的残差像素信息,通过变换单元111、量化单元112对该视频重建块进行变换,包括将残差信息从像素域变换到变换域,并对所得的变换系数进行量化,用以进一步减少比特率;帧内预测单元114用于对该视频重建块进行帧内预测;其中,帧内预测单元114用于确定该视频重建块的最优帧内预测模式(即目标预测模式);帧间预测单元115用于执行所接收的视频重建块相对于一或多个参考帧中的一或多个块的帧间预测编码,以提供时间预测信息;其中吗,运动估计为产生运动向量的过程,所述运动向量可以估计该视频重建块的运动,然后,运动补偿基于由运动估计所确定的运动向量执行运动补偿;在确定帧间预测模式之后,帧间预测单元115还用于将所选择的帧间预测数据提供到编码单元119,而且,将所计算确定的运动向量数据也发送到编码单元119;此外,反量化单元116和反变换单元117用于该视频重建块的重构建,在像素域中重构建残差块,该重构建残差块通过环路滤波单元118去除方块效应伪影,然后,将该重构残差块添加到解码图像缓存单元110的帧中的一个预测性块,用以产生经重构建的视频重建块;编码单元119是用于编码各种编码参数及量化后的变换系数。而解码图像缓存单元110用于存放重构建的视频重建块,用于预测参考。随着视频图像编码的进行,会不断生成新的重构建的视频重建块,这些重构建的视频重建块都会被存放在解码图像缓存单元110中。
本申请实施例提供一种视频解码系统,图5为本申请实施例视频编码系统的组成结构示意图,如图5所示,该视频编码系统12包括:
解码单元121、反变换单元127,与反量化单元122、帧内预测单元123、运动补偿单元124、环路滤波单元125和解码图像缓存单元126单元;输入的视频信号经过视频编码系统11进行编码处理之后,输出该视频信号的码流;该码流输入视频解码系统12中,首先经过解码单元121,用于得到解码后的变换系数;针对该变换系数通过反变换单元127与反量化单元122进行处理,以便在像素域中产生残差块;帧内预测单元123可用于基于所确定的帧内预测方向和来自当前帧或图片的先前经解码块的数据而产生当前视频解码块的预测数据;运动补偿单元124是通过剖析运动向量和其他关联语法元素来确定用于视频解码块的预测信息,并使用该预测信息以产生正被解码的视频解码块的预测性块;通过对来自反变换单元127与反量化单元122的残差块与由帧内预测单元123或运动补偿单元124产生的对应预测性块进行求和,而形成解码的视频块;该解码的视频信号通过环路滤波单元125以便去除方块效应伪影,可以改善视频质量;然后将经解码的视频块存储于解码图像缓存单元126中,解码图像缓存单元126存储用于后续帧内预测或运动补偿的参考图像,同时也用于视频信号的输出,得到所恢复的原始视频信号。
在实际应用中,现实自然视频中经常存在视频内容上的光照强度变化,如随着时间流逝光照强度下降,乌云遮挡抑或是相机的闪光灯强度变化等视频内容。这些视频内容与前后帧图像的差别主要在于图像直流分量的强弱,对于内容中的纹理信息基本没有变化。但碍于较大的直流分量数值影响,对于帧间预测技术的运动搜索与运动补偿并不能有效的预测这些内容,容易编入较多的残差信息。而光照补偿(Illuminance Compensation,IC)技术能够很好的去除这些直流冗余信息,准确预测亮度变化和做出对应的补偿,使得残差信息更小,提高编码效率。
相关技术中,光照补偿技术包括多功能视频编码,H.266(Versatile Video Coding,VVC)的JEM中所带的技术以及目前音视频编码标准(Audio Video coding Standard,AVS)3标准的光照补偿技术如下:
在帧间预测模式中,每一个可以使用光照补偿技术的CU块都会进行使用光照补偿技术和不使用光照补偿技术下的率失真代价(Rdcost)计算和比较,而光照补偿技术的实现主要通过一个光照补偿线性模型对预测块做线性补偿。光照补偿模型主要由一个缩放因子a和偏移因子b组成,具体公式表达如公式(1)所示:
Pred′(x,y)=a·Pred(x,y)+b (1)
其中,Pred(x,y)为未进行光照补偿前的预测块,Pred‘(x,y)为光照补偿之后的预测块,a为光照补偿模型中的缩放因子,b为光照补偿模型中的偏移因子。在数字视频编解码过程中,如图6所 示,根据参考帧的重建参考块,对当前帧的编码块(即当前块)通过光照补偿模型进行光照差异的修正,得到补偿后的预测块。
需要说明的是,a和b均需要通过当前帧的图像信息与参考帧的图像信息计算求取,通过对当前块空间相邻重建像素与对应参考帧中的已重建块的相邻参考像素进行建模得到,推导公式如公式(2)所示:
Curr_Rec neigh=a·Ref_Rec neigh+b (2)
其中,Curr_Rec neigh为当前帧的重建图像的重建像素,Ref_Rec neigh为参考帧的重建图像的重建参考像素。
在本申请实施例中,缩放因子a和偏移因子b的计算需要借助参考帧中对应已重建参考块的相邻重建参考像素和当前帧中编码块的相邻重建像素。根据当前帧的编码块的相邻重建像素与参考帧中对应像素位置相同的已重建参考像素之间的相关性,对公式(2)块进行建模和求解得到当前块对应的光照补偿后的预测块。
示例性的,如图7A和图7B所示,Reconstructed pixels均为CU的最相邻重建像素(即重建像素和重建参考像素),Reference picture CU为参考帧中对应的已重建CU,即参考块,Current picture CU为当前帧中待编码的CU,即当前块。通过对两帧中对应Reconstructed pixels建模求解线性关系,得到缩放因子a和偏移因子b,再将该线性关系作用到Reference picture CU得到Current picture CU的预测块。详细的,将Reference picture CU的相邻Reconstructed pixels进行排序,为防止一些噪点影响线性模型的准确性,去掉排序后的一个最大值和最小值。取当前排序后的reconstructed pixels的两个最大值求取平均值记为Max1,取当前排序后的reconstructed pixels的两个最小值求取平均值记为Min1;此外,取Current picture CU的Reconstructed pixels对应于上述排序后所取的两个最大值坐标重建像素求取平均值记为Max2,取Current picture CU的Reconstructed pixels对应于前述排序后所取的两个最小值坐标重建像素求取平均值记为Min2。求解线性模型推导得到公式(3)和公式(4):
b=a×Min2-Min1 (4)
在本申请实施例中,将Max1、Max2、Min1和Min2代入公式(3)和(4),计算得到a和b。
需要说明的是,在本申请实施例中,光照补偿技术会作用在帧间预测模式的Merge或者普通inter模式下,若当前块为Merge块,还可以根据当前CU周边是否为Merge模式来推导当前块是否使用光照补偿技术,普通inter模式则不进行光照补偿技术使用与否的推导。
本申请实施例中的光照补偿技术作用于视频编码混合框架中的帧间预测部分,具体应用于帧间预测的所有预测模式,对编码端和解码端同时作用。
采用IC进行帧间预测编码模式的编码器的实施方式如下:
输入数字视频信息在编码端被划分成若干个编码树单元,每个编码树单元又被划分成若干个或矩形或方形的编码单元(即当前块),每个编码单元分别进行帧间预测过程计算预测块。
在当前编码单元中,若光照补偿允许标识位为‘1’则进行如下所有步骤,若光照补偿允许标识位为‘0’则仅进行a)、b)和f)步骤:
a)、帧间预测首先对所有候选MV进行遍历做运动补偿,计算每一个MV下运动补偿后的预测像素,并根据原始像素和预测像素计算率失真代价;
b)、根据上述所有MV率失真代价最小原则,选择出当前编码单元的最优MV及预测模式如(SKIP,MERGE/DIRECT或者INTER),记录最优信息和与之对应的率失真代价信息;
c)、对所有候选MV再次进行遍历,此过程开启光照补偿技术,首先根据预测模式和MV匹配到参考块(参考帧的重建像素),提取参考块的左边及上边重建像素和当前帧待编码块的左边及上边重建像素,对重建像素进行排序和求平均(具体操作如上述)并带入上述式子可得到线性模型参数a和b;
d)、对参考块进行运动补偿,得到普通运动补偿后的预测块后对其进行光照补偿,即对每个预测块中的像素根据线性模型做线性偏移,得到当前编码单元的最终预测块;
e)、根据上述经过光照补偿技术的最终预测像素与原始像素计算得到每一个MV的率失真代价信息,记录最小率失真代价信息的MV索引及其对应的预测模式(如跳过模式SKIP,合并模式/直接导出模式MERGE/DIRECT,或普通帧间模式INTER))和其对应的率失真代价;
f)、若光照补偿技术允许标识位为‘0’,则将b)中记录的MV索引和预测模式经码流传输给解码 端;若光照补偿技术允许标识位为‘1’,则将b)中记录的最小代价值与e)中记录的最小代价值进行比较,若b)中的率失真代价更小,则将b)中记录的MV索引和预测模式编码作为当前编码单元的最优信息经码流传输给解码端,将光照补偿技术当前编码单元标识位置为无效,表示不使用光照补偿技术,也经码流传输给解码端;若e)中的率失真更小,则将e)中记录的MV索引和预测模式编码作为当前编码单元的最优信息经码流传输给解码端,将光照补偿技术当前编码单元标识位置为有效,表示使用光照补偿技术,也经码流传输给解码端。
采用IC进行帧间预测编码模式的解码器的实施方式如下:
解码端获取码流并解析得到数字视频序列信息,解析得到当前视频序列的光照补偿允许标识位、当前解码单元(即当前块)编码模式为帧间预测模式和当前解码单元的光照补偿使用标识位。
在当前解码单元中,若光照补偿允许标识位为‘1’则进行如下所有步骤;若光照补偿允许标识位为‘0’则仅进行a)、b)、d)和f)步骤:
a)、获取码流信息,解析当前解码单元的残差信息,经过反变换与反量化过程得到时域残差信息;
b)、解析码流并获取当前解码单元的预测模式信息和MV索引;
c)、解析并获取光照补偿技术的使用标识位;
d)、根据当前解码单元的预测模式和MV索引获取参考帧中的参考块,做运动补偿后得到当前解码单元的预测块;
e)、若当前解码单元的光照补偿技术使用标识位为‘1’,则获取参考帧中参考块的左边和上边重建像素,获取当前解码单元的左边和上边重建像素,对获取到的参考帧和当前帧的重建像素进行排序和求平均(具体操作如前所述),得到线性模型的缩放因子a和偏移因子b。对当前解码单元的预测块做线性偏移,得到当前解码单元的最终预测块;
f)、将预测块叠加还原后的残差信息得到当前解码单元的重建块,经后处理输出。
需要说明的是,本申请实施例中的光照补偿允许标识位为光照补偿允许标识的数值表现形式,光照补偿使用标识位为光照补偿使用标识的数值表现形式。
在本申请实施例中,光照补偿技术在计算线性模型时,若上边重建像素和左边参考像素均可用,则计算线性模型所获取的重建参考像素均取自上边和左边。这样,线性模型计算方式存在一定的缺陷,即当编码块中存在像素差异较大且大部分更接近单边的重建像素而和另一边的重建像素差距较大时,导致线性模型并不能很好地预测当前块,存在线性偏移不足或过偏的问题。
基于此,在进行帧间预测时对当前块实行本申请,本申请实施例提供的一种帧间内预测方法主要作用于视频编码系统11的帧间预测单元115和视频解码系统12的帧间预测单元,即运动补偿丹云124;也就是说,如果在视频编码系统11能够通过本申请实施例提供的帧间预测方法得到一个较好的预测效果,那么,对应地,在解码端,也能够改善视频解码恢复质量。
基于此,下面结合附图和实施例对本申请的技术方案进一步详细阐述。在进行详细阐述之前,需要说明的是,说明书通篇中提到的“第一”、“第二”、“第三”等,仅仅是为了区分不同的特征,不具有限定优先级、先后顺序、大小关系等功能。
本申请实施例提供一种帧内预测方法,该方法应用于视频解码设备,即解码器。该方法所实现的功能可以通过视频解码设备中的第一处理器调用程序代码来实现,当然程序代码可以保存在计算机存储介质中,可见,该视频解码设备至少包括第一处理器和第一存储介质。其中,当前解码单元和当前编码单元下述均用当前块来表示。
图8为本申请实施例一种帧间预测方法的实现流程示意图,如图8所示,该方法包括:
S101、获取码流,并解析码流,得到光照补偿允许标识、当前运动信息和当前预测模式;
S102、若光照补偿允许标识为有效,则获取码流中的光照补偿使用标识;
S103、若光照补偿使用标识为有效,则获取码流中的目标光照补偿模式的索引信息;
S104、根据目标光照补偿模式的索引信息、当前预测模式和当前运动信息,对当前块进行帧间预测,得到预测值。
在本申请实施例中,解码器在获取到了码流后,可以从码流的头信息中解析出是不是进行了光照补偿处理的,即可以解析出光照补偿允许标识,也同时可以解析出编码器采用的当前预测模式和当前运动信息。当解码器解析出采用了IC技术时,光照补偿允许标识为有效(其中,光照补偿允许标识的光照补偿允许标识位的数值体现是否有效)。这时,解码器获知当前块是可以采用IC技术的那么就需要进一步的从码流中解析出当前块对应的光照补偿使用标识是不是有效,有效则表征当前块是采用了光照补偿处理的,无效则表征当前块允许使用光照补偿技术,但是并没有使用。在本申 请实施例中,若解码器使用了确定的光照补偿,那么是可以从码流中获取到使用的目标光照补偿模式的索引信息的。这样,解码器只要根据目标光照补偿模式的索引信息、当前预测模式和当前运动信息,对当前块进行帧间预测,得到预测值,然后再基于预测值进行后续的解码流程即可。
在本申请实施例中,当前块属于当前帧,初始预测块属于参考帧。本申请实施例中的初始预测块为参考块。
需要说明的是,在本申请实施例,光照补偿允许标识位为1,表征光照补偿允许标识为有效;光照补偿允许标识位为0,表征光照补偿允许标识为无效;光照补偿使用标识位为1,表征光照补偿使用标识为有效;光照补偿使用标识位为0,表征光照补偿使用标识为无效。或者,
光照补偿允许标识位为0,表征光照补偿允许标识为有效;光照补偿允许标识位为1,表征光照补偿允许标识为无效;光照补偿使用标识位为0,表征光照补偿使用标识为有效;光照补偿使用标识位为1,表征光照补偿使用标识为无效,本申请实施例不作限制。
在本申请实施例中,目标光照补偿模式的索引信息对应上左光照补偿模式(IC_TL)、上光照补偿模式(IC_T)和左光照补偿模式(IC_L)中的一种;其中,上左光照补偿模式、上光照补偿模式和左光照补偿模式之间是由不同位置相邻边的像素确定得到的。
需要说明的是,上左光照补偿模式、上光照补偿模式和左光照补偿模式均是公式(1)所示的模型原理得到的,不同的是,得到上左光照补偿模式、上光照补偿模式和左光照补偿模式的缩放因子和偏移因子时,采用的当前帧的重建像素和参考帧的重建参考像素的相邻边不同。其中,上左光照补偿模式主要用的是上相邻和左相邻,上光照补偿模式用上相邻,而左光照补偿模式则采用左相邻。
在本申请的一些实施例中,解码器采用目标光照补偿模式的索引信息,确定目标光照补偿模式的详细实现过程可以为:根据目标光照补偿模式的索引信息,确定当前帧的重建像素和参考帧的重建参考像素;基于当前帧的重建像素和参考帧的重建参考像素,确定目标光照补偿模式。
在本申请的一些实施例中,解码器基于当前帧的重建像素和参考帧的重建参考像素,确定目标光照补偿模式的实现可以为:
基于当前帧的上重建像素、左重建像素,以及对应像素位置相同的参考帧的上重建参考像素和左重建参考像素,确定目标光照补偿模式为上左光照补偿模式;或者,
基于当前帧的上重建像素,以及对应像素位置相同的参考帧的上重建参考像素,确定目标光照补偿模式为上光照补偿模式;
基于当前帧的左重建像素,以及对应像素位置相同的参考帧的左重建参考像素,确定目标光照补偿模式为左光照补偿模式。
在本申请的一些实施例中,当前帧的上重建像素包括:当前帧内的当前块的上一行相邻重建块的至少一个第一像素;
当前帧的左重建像素包括:当前帧内的当前块的左一列相邻重建块的至少一个第二像素;
参考帧的上重建参考像素包括:参考帧内的初始预测块的上一行相邻重建参考块的至少一个第三像素,或者,参考帧内的初始预测块内的第N行的至少一个第四像素;N为大于等于1小于当前块的行数的正整数;
参考帧的左重建参考像素包括:参考帧内的初始预测块的左一列相邻重建参考块的至少一个第五像素,或者,参考帧内的初始预测块内的第M列的至少一个第六像素。M为大于等于1小于当前块的列数的正整数。
示例性的,如图9所示,光照补偿模式IC_T中,当前帧中的当前块的采用上一行相邻重建块的第5个像素(重建像素),参考帧中内参考块的某一行相邻重建参考块的第5个像素(重建参考像素)。
示例性的,如图10所示,光照补偿模式IC_L中,当前帧中的当前块中采用左一列相邻重建块的第1个像素(重建像素),参考帧中参考块采用左一列相邻重建参考块的第1个像素(重建参考像素)。
在本申请实施例中,参考帧还可以采用参考块内的某一行或某一列的像素,即在本申请的一些实施例中,光照补偿技术获取参考帧中重建参考像素的像素位置和个数可以为参考帧中参考块内的任意位置和大于0的整数个数,如运动信息所指向的参考块内第一行和/或第一列,本申请实施例不作限制,此外,当前帧中重建像素获取的像素位置和个数应与上述参考帧中获取重建像素的位置和个数一致。
可以理解的是,由于解码器在对当前块进行编码的过程中,在使用了光照补偿技术的情况下,通过码流解析的目标光照补偿模式的索引信息,从上左光照补偿模式、上光照补偿模式和左光照补偿模式,确定出采用哪种光照补偿模式进行光照补偿,从而进行帧间预测。在此过程中,由于上左 光照补偿模式、上光照补偿模式和左光照补偿模式之间是由不同位置相邻边的像素确定得到的,是基于不同的相邻边的考虑,可以采用不同的光照补偿模式进行光照补偿的。因此,针对不同相邻边的像素差异较大的情况,能够基于不同的像素位置,对应不同的光照补偿模型,通过选择不同的光照补偿模型进行当前块的帧间预测过程,提高解码精度。
在本申请的一些实施例中,解码器根据目标光照补偿模式的索引信息、当前预测模式和当前运动信息,对当前块进行帧间预测,得到预测值的实现可以包括以下三种方式:
方式一:
解码器采用目标光照补偿模式的索引信息,确定目标光照补偿模式;基于当前运动信息,确定当前块对应的初始预测块;对初始预测块进行运动补偿,得到第一预测块;采用目标光照补偿模式,对第一预测块进行光照补偿处理,得到第二预测块;采用当前预测模式,对第二预测块进行帧间预测,得到预测值。
方式二:
解码器采用目标光照补偿模式的索引信息,确定目标光照补偿模式;基于当前运动信息,确定当前块对应的初始预测块;采用目标光照补偿模式,对初始预测块进行光照补偿处理,得到第三预测块;对第三预测块进行运动补偿,得到第四预测块;采用当前预测模式,对第四预测块进行帧间预测,得到预测值。
方式三:
解码器基于当前运动信息,确定当前块对应的初始预测块;对初始预测块进行运动补偿,得到第一预测块;采用目标光照补偿模式的索引信息,确定目标光照补偿模式;采用目标光照补偿模式,对第一预测块进行光照补偿处理,得到第二预测块;采用当前预测模式,对第二预测块进行帧间预测,得到预测值。
解码器可以先确定出目标光照补偿模式,然后基于目标光照补偿模式,进行光照补偿的过程可以作用在运动补偿之前,也可以作用在运动补偿之后。其中,方式一为光照补偿处理作用在运动补偿之后,方式二为光照补偿处理作用在进行运动补偿之前,本申请实施例不作限制。
在本申请实施例中,解码器进行目标光照补偿模式的计算时,使用的参考帧的参考块的重建参考像素可以是未经运动补偿之后的像素,也可以是运动补偿之后的像素。其中,方式三为参考帧的参考块的重建参考像素是在运动补偿之后的像素,方式一为参考帧的参考块的重建参考像素是在运动补偿之前的像素,本申请实施例不作限制。
可以理解的是,光照补偿处理在运动补偿进行之前进行时,可以减少硬件实现的难度,减少实现复杂度,而光照补偿处理在运动补偿之后进行时,编解码效果更好。
在本申请的一些实施例中,目标光照补偿模式的索引信息包括:第一索引信息和第二索引信息。
在本申请实施例中,解码器可以根据目标光照补偿模式的索引信息确定出目标光照补偿模式是采用的哪种相邻边进行模型计算的,然后直接根据公式(2)-(4)求解对应的缩放因子和偏移因子,最终代入公式(1),得到目标光照补偿模式。
在本申请的一些实施例中,解码器在当前块的光照补偿使用标识有效时,才判断用哪个光照补偿模式。在当前块的光照补偿使用标识无效时,就不采用光照补偿处理。
在本申请实施例中,解码器采用目标光照补偿模式的索引信息,确定目标光照补偿模式的实现可以包括以下两种方式:
方式一:若第一索引信息为无效,则确定目标光照补偿模式为上左光照补偿模式;
若第一索引信息为有效、且第二索引信息为无效,则确定目标光照补偿模式为上光照补偿模式;
若第一索引信息为有效、且第二索引信息为有效,则确定目标光照补偿模式为左光照补偿模式。
方式二:若第一索引信息为有效,则确定目标光照补偿模式为上左光照补偿模式;
若第一索引信息为无效、且第二索引信息为无效时,则确定目标光照补偿模式为上光照补偿模式;
若第一索引信息为无效、且第二索引信息为有效时,则确定目标光照补偿模式为左光照补偿模式。
需要说明的是,解码器采用第一索引信息和第二索引信息的不同表示来体现三种光照补偿模式。
示例性的,光照补偿处理过程中的码字传输语法如表1或表2所示。
表1
IC_Index IC_flag IC_index0 IC_index1
No_IC 0 - -
IC_TL 1 0 -
IC_T 1 1 0
IC_L 1 1 1
表2
IC_Index IC_flag IC_index0 IC_index1
No_IC 0 - -
IC_TL 1 1 -
IC_T 1 0 0
IC_L 1 0 1
其中,IC_Index为光照补偿模式的类型,包括:IC_TL、IC_T和IC_L,IC_flag表示光照补偿使用标识,IC_index0为第一索引信息,IC_index1为第二索引信息。下面以1为有效,0为无效来描述表1和表2的语法逻辑。
在本申请实施例中,针对表1,光照补偿使用标识位无效时,没有可用的光照补偿模式;只有在光照补偿使用标识位有效时,若IC_index0为无效,则确定目标光照补偿模式为IC_TL;
若IC_index0为有效、且IC_index1为无效,则确定目标光照补偿模式为IC_T;
若IC_index0为有效、且IC_index1为有效,则确定目标光照补偿模式为IC_L。
或者,针对表2,光照补偿使用标识位无效时,没有可用的光照补偿模式;只有在光照补偿使用标识位有效时,若IC_index0为有效,则确定目标光照补偿模式为IC_TL;
若IC_index0为无效、且IC_index1为无效,则确定目标光照补偿模式为IC_T;
若IC_index0为无效、且IC_index1为有效,则确定目标光照补偿模式为IC_L。
需要说明的是,除了上述两种之外,将目标光照补偿模式为IC_L和目标光照补偿模式为IC_T的索引信息交换也可以实现,或者,将0表示有效,1表示无效,来实现上述的判断逻辑也是可行的,本申请实施例不作限制。
示例性的,以1表征有效,0表征无效进行举例说明。
解码器获取码流,解析码流得到当前视频序列的光照补偿允许标识。
在帧内预测解码过程中,若光照补偿允许标识位为‘1’,则执行如下所有步骤;若光照补偿允许标识位为‘0’,则仅执行a)、b)、d)和f)步骤:
a)、获取码流并解码得到残差信息,经过反变换与反量化等过程得到时域残差信息;
b)、解析码流得到当前解码块的帧间预测模式及MV索引;
c)、解析码流得到当前解码块的IC使用标识位,以表1语法为例,若当前解码块的IC使用标识位为真,则继续解析码流得到当前解码块的第一位光照补偿模式索引标识位,否则当前解码单元不使用光照补偿技术;若第一位光照补偿模式索引标识位为真;则继续解析第二位光照补偿模式索引标识位,否则置光照补偿模式索引为1,表示使用第一个光照补偿线性模型IC_TL(可使用上边和左边重建像素进行光照补偿线性模型计算);若解析得到第二位光照补偿模式索引标识位为真,则置光照补偿模式索引为3,表示使用第三个光照补偿线性模式IC_L(仅可使用左边重建像素进行光照补偿线性模型计算),否则置光照补偿模式索引为2,表示使用第二个光照补偿线性模式IC_T(仅可使用上边重建像素进行光照补偿线性模型计算)。根据解析得到的光照补偿模式索引获取对应位置的重建像素计算线性模型参数,得到缩放因子a和偏移因子b;
d)、对当前解码块做运动补偿得到预测块;
e)、若光照补偿使用标识位不为0,即需要对当前预测块做光照补偿,则根据c)求解得到的缩放因子a和偏移因子b对当前预测块内所有像素进行线性偏移,得到最终预测块;
将最终的预测块;
f)、叠加步骤a)还原后的残差信息得到当前解码单元的重建块,经后处理输出。
可以理解的是,目标光照补偿模式的索引信息只占用两个码字,可以节省码流。
在本申请的一些实施例中,至少一个第一像素为当前块的上一行相邻重建块中相隔预设间隔像素位置的像素;
至少一个第二像素为当前块的左一列相邻重建块中相隔预设间隔像素位置的像素;
至少一个第三像素为初始预测块的上一行相邻重建参考块中相隔预设间隔像素位置的像素;
至少一个第四像素为初始预测块内的第N行像素中相隔预设间隔像素位置的像素;
至少一个第五像素为初始预测块的左一列相邻重建参考块中相隔预设间隔像素位置的像素;
至少一个第六像素为初始预测块内的第M列像素中相隔预设间隔像素位置的像素。
在本申请实施例中,解码器计算目标光照补偿模式的a和b的过程中,可以是对所有像素值进行排序后,去除最大值和最小值,求取两个最大值的平均值和两个最小值的平均值,即前述实施例描述的过程一致;也可以是解码器在像素位置上间隔性取点,如上侧第一个点及倒数第二个点,左侧第一个点及倒数第二个点,再进行排序求取两个较大值的平均值和两个较小值的平均值,之后再按照公式(2)-(4)计算a和b,从而得到公式(1)的目标光照补偿模式。如下:
在本申请的一些实施例中,解码器基于当前帧的上重建像素、左重建像素,以及对应像素位置相同的参考帧的上重建参考像素和左重建参考像素,确定目标光照补偿模式为上左光照补偿模式的实现为:
对至少一个第一像素的至少一个第一像素值和至少一个第二像素的至少一个第二像素值进行排序,确定出前n个最大第一像素值和前n个最小第一像素值;n为大于等于1小于当前块的列数和行数的正整数;
对至少一个第三像素和至少一个第四像素中的一种,与至少一个第五像素像素和至少一个第六像素中的一种进行排序,确定前n个最大第二像素值和前n个最小第二像素值;
确定前n个最大第一像素值的第一最大平均值、前n个最小第一像素值的第一最小平均值、前n个最大第二像素值的第二最大平均值和前n个最小第二像素值的第二最小平均值;
根据第一最大平均值、第一最小平均值、第二最大平均值和第二最小平均值,确定第一缩放因子和第一偏移因子;
基于第一缩放因子、第一偏移因子和初始上左光照补偿模式,确定上左光照补偿模式,上左光照补偿模式为目标光照补偿模式。
在本申请的一些实施例中,解码器基于当前帧的上重建像素,以及对应像素位置相同的参考帧的上重建参考像素,确定目标光照补偿模式为上光照补偿模式的实现为:
对至少一个第一像素的至少一个第一像素值进行排序,确定出前m个最大第三像素值和前m个最小第三像素值;m为大于等于1小于当前块的列数和行数的正整数;
对至少一个第三像素或至少一个第四像素进行排序,确定前m个最大第四像素值和前m个最小第四像素值;
确定前m个最大第三像素值的第三最大平均值、前m个最小第三像素值的第三最小平均值、前m个最大第四像素值的第四最大平均值和前m个最小第四像素值的第四最小平均值;
根据第三最大平均值、第三最小平均值、第四最大平均值和第四最小平均值,确定第二缩放因子和第二偏移因子;
基于第二缩放因子、第二偏移因子和初始上光照补偿模式,确定上光照补偿模式,上光照补偿模式为目标光照补偿模。
在本申请的一些实施例中,解码器基于当前帧的左重建像素,以及对应像素位置相同的参考帧的左重建参考像素,确定目标光照补偿模式为左光照补偿模式的实现如下:
对至少一个第一像素的至少一个第二像素值进行排序,确定出前h个最大第五像素值和前h个最小第五像素值;h为大于等于1小于当前块的列数和行数的正整数;
对至少一个第五像素或至少一个第六像素进行排序,确定前h个最大第六像素值和前h个最小第六像素值;
确定前h个最大第五像素值的第五最大平均值、前h个最小第五像素值的第五最小平均值、前h个最大第六像素值的第六最大平均值和前h个最小第六像素值的第六最小平均值;
根据第五最大平均值、第五最小平均值、第六最大平均值和第六最小平均值,确定第三缩放因子和第三偏移因子;
基于第三缩放因子、第三偏移因子和初始左光照补偿模式,确定左光照补偿模式,左光照补偿模式为目标光照补偿模。
在本申请的一些实施例中,解析码流,获取当前运动信息和当前预测模式;
当当前预测模式为普通预测模式时,从码流中获取光照补偿使用标识。
需要说明的是,解码器可以只针对特定的预测模式(例如普通预测模式)进行前述光照补偿模式的确定和光照补偿处理,而针对其他特定预测模式(例如跳过模式、合并模式或直接导出模式),则可以参考相邻块来确定要不要进行光照补偿以及采用哪种光照补偿模式。
也就是说,只有当前预测模式为普通预测模式时,从码流中获取光照补偿使用标识,根据光照补偿使用标识的有效还是无效实现前述实施例。
在本申请的一些实施例中,解析码流,获取当前运动信息和当前预测模式,则按照以下两种方式实现:
方式一:若当前预测模式为跳过模式、合并模式或直接导出模式,则按照预设相邻顺序获取当前块的相邻重建块的相邻光照补偿使用标识;
若相邻光照补偿使用标识为无效,则确定当前块的光照补偿使用标识为无效;
若相邻光照补偿使用标识为有效,则确定当前块的光照补偿使用标识为有效,并获取与相邻光照补偿使用标识对应的相邻光照补偿模式的索引信息;
将相邻光照补偿模式的索引信息作为目标光照补偿模式的索引信息。
在本申请实施例中,预设相邻顺序如上-左-右上-左上-左下的顺序,本申请实施例不作限制。
解码器在确定当前预测模式为SKIP、MERGE/DIRECT时,则获取当前块的相邻周边可用块的IC使用标识位和IC模式的索引信息。若当前帧相邻周边块均不使用IC技术,则当前块也不使用IC技术;若当前帧相邻周边块存在使用IC技术的相邻重建块,则根据预设相邻顺序获取IC技术使用标识位和IC模式的索引信息作为当前编码单元的IC使用信息。
方式二:
若当前预测模式为跳过模式、合并模式或直接导出模式,则按照预设相邻顺序获取当前块的相邻重建块的相邻光照补偿使用标识;
若相邻光照补偿使用标识为无效,则确定当前块的光照补偿使用标识为无效;
若相邻光照补偿使用标识为有效,则确定当前块的光照补偿使用标识为有效,并基于相邻光照补偿使用标识对应的当前块的相邻重建块的相邻位置信息,确定目标光照补偿模式。
在本申请的一些实施例中,相邻位置信息为上相邻时,确定目标光照补偿模式为上光照补偿模式;或者,
相邻位置信息为左相邻时,确定目标光照补偿模式为左光照补偿模式;或者,
相邻位置信息为非左相邻和非上相邻时,确定目标光照补偿模式为上左光照补偿模式。
在本申请实施例中,解码器在确定当前预测模式为SKIP、MERGE/DIRECT时,则获取将IC的模式索引与参考的周边相邻块的运动信息做绑定,若参考MV信息来自相邻上边块,则当前预测块使用IC_T的光照补偿模式;若参考MV来自相邻左边块,则当前预测块使用IC_L的光照补偿模式;其他则使用IC_TL的光照补偿模式。
示例性的,1为有效,0位无效来举例说明。解码器获取码流,解析码流得到当前视频序列的光照补偿技术允许标识。
在帧间预测解码过程中,若IC技术允许标识位为‘1’,则执行如下所有步骤;若IC技术允许标识位为‘0’,则仅执行a)、b)、d)和f)步骤:
a)、获取码流并解码得到残差信息,经过反变换与反量化等过程得到时域残差信息;
b)、解析码流得到当前解码块的帧间预测模式及MV索引;
c)、若当前解码块的帧间预测模式为普通帧间预测模式(INTER),则解析码流得到当前解码块的IC使用标识位,若当前解码块的IC使用标识位为真,则继续解析码流得到当前解码块的第一位光照补偿模式索引标识位,否则当前解码单元不使用光照补偿技术;若第一位光照补偿模式索引标识位为真;则继续解析第二位光照补偿模式索引标识位,否则置光照补偿模式索引为1,表示使用第一个光照补偿线性模型IC_TL(可使用上边和左边重建像素进行光照补偿线性模型计算);若解析得到第二位光照补偿模式索引标识位为真,则置光照补偿模式索引为3,表示使用第三个光照补偿线性模式IC_L(仅可使用左边重建像素进行光照补偿线性模型计算),否则置光照补偿模式索引为2,表示使用第二个光照补偿线性模式IC_T(仅可使用上边重建像素进行光照补偿线性模型计算)。根据解析得到的光照补偿模式索引获取对应位置的重建像素计算线性模型参数,得到缩放因子a和偏移因子b;
若当前解码块的帧间预测模式为跳过模式(SKIP)或合并模式(MERGE/DIRECT),则根据与编码端一致的顺序获取周边相邻重建块中的IC技术信息作为当前解码单元的IC技术使用信息,IC线性模型计算和线性偏移操作如上述;
d)、对当前解码块做运动补偿得到预测块;
e)、若IC使用标识位不为否,即需要对当前预测块做光照补偿,则根据c)求解得到的缩放因子a和偏移因子b对当前预测块内所有像素进行线性偏移,得到最终预测块;
f)、将最终的预测块叠加步骤a)还原后的残差信息得到当前解码单元的重建块,经后处理输出。
在本申请的一些实施例中,上述的光照补偿处理作用在双向光流技术、解码端运动矢量修正、 双向预测加权、双向梯度修正、帧间预测滤波或帧间帧内联合预测的实现流程中的任一位置。
其中,光照补偿技术可以作用在其他如双向光流技术(Bi-directional optical flow,BDOF/BIO)解码端运动矢量修正(Decoder side Motion Vector Refinement,DMVR)、双向预测加权(Bi-prediction with CU-level Weights,BCW)、双向梯度修正(Bi-directional Gradient Correction,BGC)、帧间预测滤波(Inter Prediction Filtering,INTERPF)或帧间帧内联合预测(Combined Inter and Intra Prediction,CIIP)中的任一位置,如光照补偿技术作用在双向光流技术和双向加权预测技术之前等,本申请实施例不作限制。
在本申请的一些实施例中,双向光流技术、解码端运动矢量修正、双向预测加权、双向梯度修正、帧间预测滤波或帧间帧内联合预测中的至少一种的处理,与光照补偿处理不作用于同一个当前块。
上述光照补偿技术可以不和其他技术共同作用于同一当前块,如若当前块使用IC技术,则不再对当前块使用BDOF/BIO进行修正补偿等上述技术,本申请实施例不作限制。
在本申请的一些实施例中,上左光照补偿模式包括:亮度上左光照补偿模式,第一色度上左光照补偿模式和第二色度上左光照补偿模式;
上光照补偿模式包括:亮度上光照补偿模式,第一色度上光照补偿模式和第二色度上光照补偿模式;
左光照补偿模式包括:亮度左光照补偿模式,第一色度左光照补偿模式和第二色度左光照补偿模式。
在本申请实施例中,光照补偿技术在不同颜色分量之间需要重新计算线性模型,如YUV颜色空间则需要分别对Y、U和V计算对应于三个颜色分量的线性模型。
需要说明的是,当前CU可以限制最小面积和最大面积进行IC技术。
在本申请的一些实施例中,当前块的尺寸范围在像素个数为64与像素个数为128x128之间。
本申请实施例不限制具体的面积大小。光照补偿技术使用做编码单元级的面积限制或宽、高限制,如最小面积为64,最大为128x128。
在本申请的一些实施例中,解码器可以解析码流,获取当前帧的帧级光照补偿允许标识;将帧级光照补偿允许标识作为光照补偿允许标识,再进行解码处理流程。
光照补偿技术增加帧级开关,解码端解析帧级开关判断是否继续解析当前帧的编码单元级光照补偿使用标识和光照补偿模式的索引信息。
在本申请的一些实施例中,解码器可以解析码流,获取当前帧的帧级预测模式光照补偿允许标识;将帧级预测模式光照补偿允许标识作为光照补偿允许标识,再进行解码处理流程。
本申请实施例中,解码器增加特定于普通帧间预测模式或SKIP、MERGE(DIRECT)的帧级标识位,用于限制上述某些预测模式下光照补偿技术的使用,但不限于这些,也可以是其他特定预测模式,可以依据实际设定来决定。
在本申请的一些实施例中,上左光照补偿模式包括:多个子上左光照补偿模式;多个子上左光照补偿作用于初始预测块的不同像素区域;
上光照补偿模式包括:多个子上光照补偿模式;多个子上光照补偿作用于初始预测块的不同像素区域;
左光照补偿模式包括:多个子左光照补偿模式;多个子左光照补偿作用于初始预测块的不同像素区域。
需要说明的是,一个编码单元块内可以求解多个线性模型,并作用于当前块内的不同区域,从而使得同一个块都可以基于自己的特性来进行光照补偿模式的选择,更贴合自己的特定来进行光照补偿,提高了解码精度。
示例性的,帧间预测的解码部分,为帧间预测在需要光照补偿或局部线性偏移等操作上提供选择。对于当前帧与参考帧在亮度上存在明显变化的区域,使用光照补偿技术可以计算出线性偏移模型,对当前编码块做光照补偿后,预测块将更接近原始图像块,使得残差更小,最终将提高编码效率。
采用本申请的帧间预测方法在AVS的官方仿真平台HPM9.0上进行了测试,集成了IC技术并开启后,针对class为4K、1080P和720P时,在随机访问和低延迟测试条件下,测试结果如表3和表4所示。表3为随机访问测试条件的结果,表3为低延迟测试条件下的结果。
表3
表4
其中,在随机访问测试条件下,亮度分量具有0.39%的BDBR节省,UV分量各有0.19%和0.32%的BDBR节省;在低延迟测试条件下,亮度分量具有0.51%的高性能表现,UV分量也均分别达到1%以上的BDBR节省,能够明显看出具有较高的性能,有效提升解码器的解码效率。
从应用角度来看,低延迟测试条件主要面对如直播行业、公共服务视频等应用,在互联网如此发达的时代,该技术将有效降低码率及带宽
本申请实施例提供一种帧内预测方法,该方法应用于视频编码设备,即编码器。该方法所实现的功能可以通过视频编码设备中的第二处理器调用程序代码来实现,当然程序代码可以保存在计算机存储介质中,可见,该视频编码设备至少包括第二处理器和第二存储介质。
图11为本申请实施例一种帧间预测方法的实现流程示意图,如图11所示,该方法包括:
S201、遍历多个候选运动信息,确定出当前块对应的初始预测块的初始预测值;初始预测块与多个候选运动信息一一对应,其中,当前块属于当前帧,初始预测块属于参考帧;
S202、针对初始预测块,遍历上左光照补偿模式、上光照补偿模式和左光照补偿模式进行光照补偿处理,得到多个候选运动信息对应的第一类预测值、第二类预测值和第三类预测值;其中,上左光照补偿模式、上光照补偿模式和左光照补偿模式之间是由不同位置相邻边的像素确定得到的;
S203、采用初始预测值、第一类预测值、第二类预测值和第三类预测值,分别与当前块的原始像素值进行率失真代价计算,确定出光照补偿使用标识,以及最优率失真代价对应的当前预测模式、当前运动信息和目标光照补偿模式;
S204、采用当前预测模式、当前运动信息和目标光照补偿模式对当前编码块进行帧间预测,得到当前预测值;
S205、将当前预测模式的索引信息、当前运动信息的索引信息、目标光照补偿模式的索引信息和光照补偿使用标识写入码流。
在本申请实施例中,提出了一种帧间内预测平方法,在帧间预测基础上,可以叠加使用光照补偿技术实现帧间预测。即IC允许的情况下,进行编码器侧的帧间预测过程。
在本申请实施例中,当前块属于当前帧,初始预测块属于参考帧。本申请实施例中的初始预测块为参考块。
在本申请实施例中,视频图像可以划分为多个图像块,每个当前待编码的图像块可以称为编码块,其中,每个编码块可以包括第一图像分量、第二图像分量和第三图像分量;而当前块为视频图像中当前待进行第一图像分量、第二图像分量或者第三图像分量预测的编码块。
其中,假定当前块进行第一图像分量预测,而且第一图像分量为亮度分量,即待预测图像分量为亮度分量,那么当前块也可以称为亮度块;或者,假定当前块进行第二图像分量预测,而且第二图像分量为色度分量,即待预测图像分量为色度分量,那么当前块也可以称为色度块。
需要说明的是,编码器确定当前块的待预测图像分量;基于当前块的参数,利用多种预测模式分别对待预测图像分量进行预测编码,得到初始预测值,再基于初始预测值计算多种预测模式下每一种预测模式对应的率失真代价;从计算得到的多个率失真代价中选取最小率失真代价(即第一最小率失真代价),并将最小率失真代价确定为最优率失真代价,其最优率失真代价对应的预测模式确定为当前块的预测模式。
在本申请实施例中,编码器遍历候选运动信息的所有帧内预测模式,确定出当前块对应的初始预测块的初始预测值,初始预测块与多个候选运动信息一一对应,其中,当前块属于当前帧,初始预测块属于参考帧。针对初始预测块,遍历上左光照补偿模式、上光照补偿模式和左光照补偿模式进行光照补偿处理,得到多个候选运动信息对应的第一类预测值、第二类预测值和第三类预测值。采用初始预测值、第一类预测值、第二类预测值和第三类预测值,分别与当前块的原始像素值进行率失真代价计算,确定出光照补偿使用标识,以及最优率失真代价对应的当前预测模式、当前运动信息和目标光照补偿模式。采用当前预测模式、当前运动信息和目标光照补偿模式对当前编码块进行帧间预测,得到当前预测值。将当前预测模式的索引信息、当前运动信息的索引信息、目标光照补偿模式的索引信息和光照补偿使用标识写入码流。
可以理解的是,由于编码器在对当前块进行编码的过程中,在使用了光照补偿技术的情况下,可以遍历从上左光照补偿模式、上光照补偿模式和左光照补偿模式,确定出采用哪种光照补偿模式进行光照补偿,从而进行帧间预测,并将目标光照补偿模式的索引信息通过码流发送给解码器,供解码时使用。在此过程中,由于上左光照补偿模式、上光照补偿模式和左光照补偿模式之间是由不同位置相邻边的像素确定得到的,是基于不同的相邻边的考虑,可以采用不同的光照补偿模式进行光照补偿的。因此,针对不同相邻边的像素差异较大的情况,能够基于不同的像素位置,对应不同的光照补偿模型,通过选择不同的光照补偿模型进行当前块的帧间预测过程,提高编码精度。
在本申请的一些实施例中,编码器针对初始预测块,遍历上左光照补偿模式、上光照补偿模式和左光照补偿模式进行光照补偿处理,得到多个候选运动信息对应的第一类预测值、第二类预测值和第三类预测值的实现为以下两种方式:
方式一:编码器对初始预测块进行运动补偿,得到中间预测块;
对中间预测块,遍历上左光照补偿模式、上光照补偿模式和左光照补偿模式进行光照补偿处理,得到多个候选运动信息对应的第一类预测值、第二类预测值和第三类预测值。
方式二:编码器对初始预测块遍历上左光照补偿模式、上光照补偿模式和左光照补偿模式进行光照补偿处理,得到第一光照补偿预测块、第二光照补偿预测块和第三光照补偿预测块;对第一光照补偿预测块、第二光照补偿预测块和第三光照补偿预测块分别进行运动补偿,对应得到多个候选运动信息对应的第一类预测值、第二类预测值和第三类预测值。
在本申请的一些实施例中,编码器针对初始预测块,遍历上左光照补偿模式、上光照补偿模式和左光照补偿模式进行光照补偿处理,得到多个候选运动信息对应的第一类预测值、第二类预测值和第三类预测值之前,开启光照补偿功能,确定光照补偿允许标识为有效,光照补偿允许标识要写入码流。
在本申请的一些实施例中,编码器在开启光照补偿功能时,基于当前帧的重建像素和参考帧的重建参考像素,确定上左光照补偿模式、上光照补偿模式和左光照补偿模式。
编码器可以先确定出目标光照补偿模式,然后基于目标光照补偿模式,进行光照补偿的过程可以作用在运动补偿之前,也可以作用在运动补偿之后,本发明实施例不作限制。
在本申请的一些实施例中,编码器在遍历多个候选运动信息,确定出当前块对应的初始预测块的初始预测值之后,对初始预测块进行运动补偿,得到中间预测块;基于当前帧的重建像素和参考帧的重建参考像素,确定上左光照补偿模式、上光照补偿模式和左光照补偿模式;对中间预测块,遍历上左光照补偿模式、上光照补偿模式和左光照补偿模式进行光照补偿处理,得到多个候选运动信息对应的第一类预测值、第二类预测值和第三类预测值。
在本申请的一些实施例中,编码器在遍历多个候选运动信息,确定出当前块对应的初始预测块的初始预测值之后,编码器基于当前帧的重建像素和参考帧的重建参考像素,确定上左光照补偿模式、上光照补偿模式和左光照补偿模式;对初始预测块遍历上左光照补偿模式、上光照补偿模式和左光照补偿模式进行光照补偿处理,得到第一光照补偿预测块、第二光照补偿预测块和第三光照补偿预测块;对第一光照补偿预测块、第二光照补偿预测块和第三光照补偿预测块分别进行运动补偿,对应得到多个候选运动信息对应的第一类预测值、第二类预测值和第三类预测值。
在本申请实施例中,编码器进行目标光照补偿模式的计算时,使用的参考帧的参考块的重建参考像素可以是未经运动补偿之后的像素,也可以是运动补偿之后的像素,本申请实施例不作限制。
可以理解的是,光照补偿处理在运动补偿进行之前进行时,可以减少硬件实现的难度,减少实现复杂度,而光照补偿处理在运动补偿之后进行时,编解码效果更好。
在本申请的一些实施例中,编码器基于当前帧的重建像素和参考帧的重建参考像素,确定上左光照补偿模式、上光照补偿模式和左光照补偿模式的实现为:
基于当前帧的上重建像素、左重建像素,以及对应像素位置相同的参考帧的上重建参考像素和左重建参考像素,确定上左光照补偿模式;基于当前帧的上重建像素,以及对应像素位置相同的参考帧的上重建参考像素,确定上光照补偿模式;基于当前帧的左重建像素,以及对应像素位置相同的参考帧的左重建参考像素,确定左光照补偿模式。
在本申请的一些实施例中,当前帧的上重建像素包括:当前帧内的当前块的上一行相邻重建块的至少一个第一像素;
当前帧的左重建像素包括:当前帧内的当前块的左一列相邻重建块的至少一个第二像素;
参考帧的上重建参考像素包括:参考帧内的初始预测块的上一行相邻重建参考块的至少一个第三像素,或者,参考帧内的初始预测块内的第N行的至少一个第四像素;N为大于等于1小于当前块的行数的正整数;
参考帧的左重建参考像素包括:参考帧内的初始预测块的左一列相邻重建参考块的至少一个第五像素,或者,参考帧内的初始预测块内的第M列的至少一个第六像素。M为大于等于1小于当前块的列数的正整数。
在本申请的一些实施例中,编码器采用初始预测值、第一类预测值、第二类预测值和第三类预测值,分别与当前块的原始像素值进行率失真代价计算,确定出光照补偿使用标识,以及最优率失真代价对应的当前预测模式、当前运动信息和目标光照补偿模式的实现过程为:采用初始预测值、第一类预测值、第二类预测值和第三类预测值,分别与当前块的原始像素值进行率失真代价计算,确定出每个候选运动信息的与第一类预测值对应的第一最小率失真代价、与第二类预测值对应的第二最小率失真代价、与第三类预测值对应的第三最小率失真代价,以及与初始预测值对应的初始最小率失真代价;从初始最小率失真代价、第一最小率失真代价、第二最小率失真代价以及第三最小率失真代价中,确定出率失真代价最小的最优率失真代价;基于最优率失真代价,确定光照补偿使用标识;若光照补偿使用标识为有效,则获取最优率失真代价对应的当前预测模式、当前运动信息和目标光照补偿模式。
在本申请的一些实施例中,编码器基于最优率失真代价,确定光照补偿使用标识的实现为:若最优率失真代价为第一最小率失真代价、第二最小率失真代价或者第三最小率失真代价,则确定光照补偿使用标识为有效;若最优率失真代价为初始最小率失真代价,则确定光照补偿使用标识为无效。
在本申请的一些实施例中,编码器基于最优率失真代价,确定光照补偿使用标识之后,若光照补偿使用标识为无效,则将最优率失真代价对应的运动信息、预测模式作为当前预测模式和当前运动信息;采用当前预测模式和当前运动信息,对当前编码块进行帧间预测,得到当前预测值;将当前预测模式的索引信息、当前运动信息的索引信息和光照补偿使用标识写入码流。
在本申请的一些实施例中,目标光照补偿模式的索引信息包括第一索引信息;
若光照补偿使用标识为有效、且最优率失真代价为第一最小率失真代价,则第一索引信息为无效。
在本申请的一些实施例中,目标光照补偿模式的索引信息包括:第一索引信息和第二索引信息;
若光照补偿使用标识为有效、且最优率失真代价为第二最小率失真代价,则第一索引信息为有效,第二索引信息为无效;
若光照补偿使用标识为有效、且最优率失真代价为第三最小率失真代价,则第一索引信息为有效,第二索引信息为有效。
在本申请的一些实施例中,目标光照补偿模式的索引信息包括第一索引信息;
若光照补偿使用标识为有效、且最优率失真代价为第一最小率失真代价,则第一索引信息为有效。
在本申请的一些实施例中,目标光照补偿模式的索引信息包括:第一索引信息和第二索引信息;
若光照补偿使用标识为有效、且最优率失真代价为第二最小率失真代价,则第一索引信息为无效,第二索引信息为无效;
若光照补偿使用标识为有效、且最优率失真代价为第三最小率失真代价,则第一索引信息为无效,第二索引信息为有效。
在本申请的一些实施例中,目标光照补偿模式的索引信息包括:第一索引信息和第二索引信息;
若光照补偿使用标识为有效、且最优率失真代价为第二最小率失真代价,则第一索引信息为无效,第二索引信息为有效;
若光照补偿使用标识为有效、且最优率失真代价为第三最小率失真代价,则第一索引信息为无 效,第二索引信息为无效。
需要说明的是,编码器侧的码字语法逻辑与解码器的原理相同,此处不再赘述。
示例性的,编码器获取编码信息,包括帧间预测光照补偿允许标识,获取图像信息后将图像划分成若干个CTU,进一步再划分成若干个CU,每个独立CU都进行帧间预测,当前CU可以限制最小面积和最大面积进行IC技术。
在编码端的帧间预测过程中,若IC允许标识位为‘1’,则执行如下所有步骤;若IC允许标识位为‘0’,则仅执行a)、b)和f):
a)、帧间预测首先对所有候选MV运动信息进行遍历做运动补偿,计算每一个MV下运动补偿后的预测像素,并根据原始像素计算率失真代价;
b)、根据上述所有MV率失真代价最小原则,选择出当前编码单元的最优MV及预测模式如(SKIP,MERGE/DIRECT或者INTER),记录最优信息和与之对应的率失真代价信息;
c)、对所有候选MV再次进行遍历,此过程开启光照补偿技术并该遍历3种光照补偿模式,首先根据预测模式和MV匹配到参考块,根据光照补偿模式索引提取参考块的左边及/或上边重建像素和当前帧待编码块的左边及/或上边重建像素,对重建像素进行排序和求平均(具体操作如上述)并带入上述式子可得到线性模型参数a和b。上述光照补偿模式索引1记为IC_TL,可使用参考块和当前块的左边和上边重建像素计算线性模型;光照补偿模式索引2记为IC_T,仅可使用参考块和当前块的上边重建像素计算线性模型;光照补偿模式索引3记为IC_L,仅可使用参考块和当前块的左边重建像素计算线性模型;
d)、对参考块进行运动补偿,得到普通运动补偿后的预测块后对其进行光照补偿,即对每个预测块中的像素根据线性模型做线性偏移,得到当前编码单元的最终预测块;
e)、根据上述经过光照补偿技术的最终预测像素与原始像素计算得到每一个MV的率失真代价信息,记录当前光照补偿模式索引、最小率失真代价信息的MV索引、对应的预测模式(如SKIP,MERGE/DIRECT或INTER)和对应代价值;
f)、若光照补偿技术允许标识位为‘0’,则将b)中记录的MV索引和预测模式经码流传输给解码端;若光照补偿技术允许标识位为‘1’,则将b)中记录的最小代价值与e)中记录的最小代价值进行比较,若b)中的率失真代价更小,则将b)中记录的MV索引和预测模式编码作为当前编码单元的最优信息经码流传输给解码端,将光照补偿技术当前编码单元标识位置否,表示不使用光照补偿技术,也经码流传输给解码端;若e)中的率失真更小,则将e)中记录的MV索引、光照补偿模式索引和预测模式编码作为当前编码单元的最优信息经码流传输给解码端,将光照补偿技术当前编码单元标识位置真并编码当前编码单元块的光照补偿模式索引,表示使用光照补偿技术,也经码流传输给解码端。
在本申请的一些实施例中,编码器开启光照补偿功能的实现为:若当前预测模式为普通帧间预测模式,则开启光照补偿功能。
在本申请的一些实施例中,若当前预测模式为跳过模式、合并模式或直接导出模式,编码器则按照预设相邻顺获取当前块的相邻重建块的相邻光照补偿使用标识;
若相邻光照补偿使用标识为无效,则确定当前块的光照补偿使用标识为无效;
若相邻光照补偿使用标识为有效,则确定当前块的光照补偿使用标识为有效;并获取与相邻光照补偿使用标识对应的相邻光照补偿模式的索引信息;
将相邻光照补偿模式的索引信息作为目标光照补偿模式的索引信息;
根据目标光照补偿模式的索引信息和当前预测模式,对初始预测块进行光照补偿处理,得到当前预测值。
在本申请的一些实施例中,编码器确定当前块的光照补偿使用标识为无效之后,采用初始预测值与当前块的原始像素值进行率失真代价计算,确定最优率失真代价对应的当前预测模式和当前运动信息;
采用当前预测模式和当前运动信息对当前编码块进行帧间预测,得到当前预测值;
将当前预测模式的索引信息、当前运动信息的索引信息和光照补偿使用标识写入码流。
示例性的,在编码端帧间预测过程中,若IC允许标识位为‘1’,则执行如下所有步骤;若IC允许标识位为‘0’,则仅执行a)、b)和f):
a)、帧间预测首先对所有候选MV进行遍历做运动补偿,计算每一个MV下运动补偿后的预测像素,并根据原始像素计算率失真代价;
b)、根据上述所有MV率失真代价最小原则,选择出当前编码单元的最优MV及预测模式如(SKIP, MERGE/DIRECT或者INTER),记录最优信息和与之对应的率失真代价信息;
c)、对所有候选MV再次进行遍历:
若当前帧间预测模式为普通帧间预测模式(INTER),则开启光照补偿技术并该遍历3种光照补偿模式,首先根据MV匹配到参考块,根据光照补偿模式索引提取参考块的左边及/或上边重建像素和当前帧待编码块的左边及/或上边重建像素,对重建像素进行排序和求平均(具体操作如上述)并带入上述式子可得到线性模型参数a和b。上述光照补偿模式索引1记为IC_TL,可使用参考块和当前块的左边和上边重建像素计算线性模型;光照补偿模式索引2记为IC_T,仅可使用参考块和当前块的上边重建像素计算线性模型;光照补偿模式索引3记为IC_L,仅可使用参考块和当前块的左边重建像素计算线性模型;
若当前帧间预测模式为跳过模式(SKIP)或合并模式(MERGE/DIRECT),则获取当前编码单元的相邻周边可用块的IC使用标识位和IC模式索引。若当前帧相邻周边块均不使用IC技术,则当前编码块也不使用IC技术;若当前帧相邻周边块存在使用IC技术的重建块,则根据特定顺序获取IC技术使用标识位和IC模式索引作为当前编码单元的IC使用信息。上述特定顺序如上-左-右上-左上-左下的顺序;
d)、对参考块进行运动补偿,得到普通运动补偿后的预测块后对其进行光照补偿,即对每个预测块中的像素根据线性模型做线性偏移,得到当前编码单元的最终预测块;
e)、根据上述经过光照补偿技术的最终预测像素与原始像素计算得到每一个MV的率失真代价信息,记录当前光照补偿模式索引、最小率失真代价信息的MV索引、对应的预测模式(如SKIP,MERGE/DIRECT或INTER)和对应代价值;
f)、若光照补偿技术允许标识位为‘0’,则将b)中记录的MV索引和预测模式经码流传输给解码端;若光照补偿技术允许标识位为‘1’,则将b)中记录的最小代价值与e)中记录的最小代价值进行比较:若b)中的率失真代价更小,则将b)中记录的MV索引和预测模式编码作为当前编码单元的最优信息经码流传输给解码端。若当前帧间预测模式为普通帧间预测模式(INTER),则将光照补偿技术当前编码单元标识位置“0”,表示不使用光照补偿技术,也经码流传输给解码端,否则不传输光照补偿技术使用标识位和光照补偿模式的索引信息;若e)中的率失真更小,则若是普通帧间预测模式(INTER),则将e)中记录的MV索引、光照补偿模式索引和预测模式编码作为当前编码单元的最优信息经码流传输给解码端,将光照补偿技术当前编码单元标识位置“1”并编码当前编码单元块的光照补偿模式索引,表示使用光照补偿技术,也经码流传输给解码端;若是跳过模式(SKIP)或合并模式(MERGE),则仅需将对应的MV索引和对应的帧间预测模式进行编码写进码流并传输给解码端。上述光照补偿技术使用标识语法表示见表1。
最后将最终的预测块和反变换、反量化后的残差叠加得到重建后的编码单元块,作为下一个编码单元的预测参考块。
在本申请的一些实施例中,至少一个第一像素为当前块的上一行相邻重建块中相隔预设间隔像素位置的像素;
至少一个第二像素为当前块的左一列相邻重建块中相隔预设间隔像素位置的像素;
至少一个第三像素为初始预测块的上一行相邻重建参考块中相隔预设间隔像素位置的像素;
至少一个第四像素为初始预测块内的第N行像素中相隔预设间隔像素位置的像素;
至少一个第五像素为初始预测块的左一列相邻重建参考块中相隔预设间隔像素位置的像素;
至少一个第六像素为初始预测块内的第M列像素中相隔预设间隔像素位置的像素。
在本申请的一些实施例中,编码器基于当前帧的上重建像素、左重建像素,以及对应像素位置相同的参考帧的上重建参考像素和左重建参考像素,确定上左光照补偿模式的实现为:对至少一个第一像素的至少一个第一像素值和至少一个第二像素的至少一个第二像素值进行排序,确定出前n个最大第一像素值和前n个最小第一像素值;n为大于等于1小于当前块的列数和行数的正整数;对至少一个第三像素和至少一个第四像素中的一种,与至少一个第五像素像素和至少一个第六像素中的一种进行排序,确定前n个最大第二像素值和前n个最小第二像素值;确定前n个最大第一像素值的第一最大平均值、前n个最小第一像素值的第一最小平均值、前n个最大第二像素值的第二最大平均值和前n个最小第二像素值的第二最小平均值;根据第一最大平均值、第一最小平均值、第二最大平均值和第二最小平均值,确定第一缩放因子和第一偏移因子;基于第一缩放因子、第一偏移因子和初始上左光照补偿模式,确定上左光照补偿模式。
在本申请的一些实施例中,编码器基于当前帧的上重建像素,以及对应像素位置相同的参考帧的上重建参考像素,确定上光照补偿模式的实现为:对至少一个第一像素的至少一个第一像素值进 行排序,确定出前m个最大第三像素值和前m个最小第三像素值;m为大于等于1小于当前块的列数和行数的正整数;对至少一个第三像素或至少一个第四像素进行排序,确定前m个最大第四像素值和前m个最小第四像素值;确定前m个最大第三像素值的第三最大平均值、前m个最小第三像素值的第三最小平均值、前m个最大第四像素值的第四最大平均值和前m个最小第四像素值的第四最小平均值;根据第三最大平均值、第三最小平均值、第四最大平均值和第四最小平均值,确定第二缩放因子和第二偏移因子;基于第二缩放因子、第二偏移因子和初始上光照补偿模式,确定上光照补偿模式。
在本申请的一些实施例中,编码器基于当前帧的左重建像素,以及对应像素位置相同的参考帧的左重建参考像素,确定上左光照补偿模式的实现为:对至少一个第一像素的至少一个第二像素值进行排序,确定出前h个最大第五像素值和前h个最小第五像素值;h为大于等于1小于当前块的列数和行数的正整数;对至少一个第五像素或至少一个第六像素进行排序,确定前h个最大第六像素值和前h个最小第六像素值;确定前h个最大第五像素值的第五最大平均值、前h个最小第五像素值的第五最小平均值、前h个最大第六像素值的第六最大平均值和前h个最小第六像素值的第六最小平均值;根据第五最大平均值、第五最小平均值、第六最大平均值和第六最小平均值,确定第三缩放因子和第三偏移因子;基于第三缩放因子、第三偏移因子和初始左光照补偿模式,确定左光照补偿模式。
在本申请的一些实施例中,上述的光照补偿处理作用在双向光流技术、解码端运动矢量修正、双向预测加权、帧间预测滤波或帧间帧内联合预测的实现流程中的任一位置。
在本申请的一些实施例中,双向光流技术、解码端运动矢量修正、双向预测加权、帧间预测滤波或帧间帧内联合预测中的至少一种的处理,与光照补偿处理不作用于同一个当前块。
在本申请的一些实施例中,上左光照补偿模式包括:亮度上左光照补偿模式,第一色度上左光照补偿模式和第二色度上左光照补偿模式;上光照补偿模式包括:亮度上光照补偿模式,第一色度上光照补偿模式和第二色度上光照补偿模式;左光照补偿模式包括:亮度左光照补偿模式,第一色度左光照补偿模式和第二色度左光照补偿模式。
在本申请的一些实施例中,当前块的尺寸范围在像素个数为64与像素个数为128x128之间。
在本申请的一些实施例中,编码器确定当前帧是否开启光照补偿功能;若开启光照补偿功能,则将当前帧对应的帧级光照补偿允许标识确定为有效;若不开启光照补偿功能,则将当前帧对应的帧级光照补偿允许标识确定为无效;将帧级光照补偿允许标识写入码流。
在本申请的一些实施例中,编码器确定当前帧的当前预测模式的帧级预测模式光照补偿允许标识;帧级预测模式光照补偿允许标识表征开启光照补偿功能;将帧级预测模式光照补偿允许标识写入码流。
在本申请的一些实施例中,上左光照补偿模式包括:多个子上左光照补偿模式;多个子上左光照补偿作用于初始预测块的不同像素区域;上光照补偿模式包括:多个子上光照补偿模式;多个子上光照补偿作用于初始预测块的不同像素区域;左光照补偿模式包括:多个子左光照补偿模式;多个子左光照补偿作用于初始预测块的不同像素区域。
在本申请的一些实施例中,若当前预测模式为跳过模式、合并模式或直接导出模式,则按照预设相邻顺序获取当前块的相邻重建块的相邻光照补偿使用标识;若相邻光照补偿使用标识为无效,则确定当前块的光照补偿使用标识为无效;若相邻光照补偿使用标识为有效,则确定当前块的光照补偿使用标识为有效,并基于相邻光照补偿使用标识对应的当前块的相邻重建块的相邻位置信息,确定目标光照补偿模式。
在本申请的一些实施例中,基于相邻光照补偿使用标识对应的当前块的相邻重建块的相邻位置信息,确定目标光照补偿模式,包括:
相邻位置信息为上相邻时,确定目标光照补偿模式为上光照补偿模式;或者,
相邻位置信息为左相邻时,确定目标光照补偿模式为左光照补偿模式;或者,
相邻位置信息为非左相邻和非上相邻时,确定目标光照补偿模式为上左光照补偿模式。
在SKIP、MERGE/DIRECT的IC信息导出过程还可以将IC的模式索引与参考的周边相邻块的MV做绑定,若参考MV来自相邻上边块,则当前预测块使用IC_T的光照补偿模式;若参考MV来自相邻左边块,则当前预测块使用IC_L的光照补偿模式;其他则使用IC_TL的光照补偿模式。
需要说明的是,编码器的描述与解码器的原理一致,实现相对应,此处不再赘述。
基于前述实施例的实现基础,如图12所示,本申请实施例提供了一种解码器1,包括:
第一获取部分10,被配置为获取码流;
所述解析部分11,被配置为解析所述码流,得到光照补偿允许标识、当前运动信息和当前预测模式;
所述第一获取部分10,还被配置为若所述光照补偿允许标识为有效,则获取所述码流中的光照补偿使用标识;若所述光照补偿使用标识为有效,则获取所述码流中的目标光照补偿模式的索引信息;
所述第一预测部分12,被配置为根据所述目标光照补偿模式的索引信息、所述当前预测模式和所述当前运动信息,对当前块进行帧间预测,得到预测值。
在本申请的一些实施例中,所述目标光照补偿模式的索引信息对应上左光照补偿模式、上光照补偿模式和左光照补偿模式中的一种;其中,所述上左光照补偿模式、所述上光照补偿模式和所述左光照补偿模式之间是由不同位置相邻边的像素确定得到的。
在本申请的一些实施例中,所述第一预测部分12,还被配置为采用所述目标光照补偿模式的索引信息,确定目标光照补偿模式;基于所述当前运动信息,确定当前块对应的初始预测块;对所述初始预测块进行运动补偿,得到第一预测块;采用所述目标光照补偿模式,对所述第一预测块进行光照补偿处理,得到第二预测块;采用所述当前预测模式,对所述第二预测块进行帧间预测,得到所述预测值。
在本申请的一些实施例中,所述第一预测部分12,还被配置为采用所述目标光照补偿模式的索引信息,确定目标光照补偿模式;基于所述当前运动信息,确定当前块对应的初始预测块;采用所述目标光照补偿模式,对所述初始预测块进行光照补偿处理,得到第三预测块;对所述第三预测块进行运动补偿,得到第四预测块;采用所述当前预测模式,对所述第四预测块进行帧间预测,得到所述预测值。
在本申请的一些实施例中,所述第一预测部分12,还被配置为基于所述当前运动信息,确定当前块对应的初始预测块;对所述初始预测块进行运动补偿,得到第一预测块;采用所述目标光照补偿模式的索引信息,确定目标光照补偿模式;采用所述目标光照补偿模式,对所述第一预测块进行光照补偿处理,得到第二预测块;采用所述当前预测模式,对所述第二预测块进行帧间预测,得到所述预测值。
在本申请的一些实施例中,所述目标光照补偿模式的索引信息包括:第一索引信息和第二索引信息;所述解码器还包括:第一确定部分13;
所述第一确定部分13,被配置为若所述第一索引信息为无效,则确定所述目标光照补偿模式为所述上左光照补偿模式;或者,若所述第一索引信息为有效、且所述第二索引信息为无效,则确定所述目标光照补偿模式为所述上光照补偿模式;或者,若所述第一索引信息为有效、且所述第二索引信息为有效,则确定所述目标光照补偿模式为所述左光照补偿模式。
在本申请的一些实施例中,所述目标光照补偿模式的索引信息包括:第一索引信息和第二索引信息;所述解码器还包括:第一确定部分13;
所述第一确定部分13,被配置为若所述第一索引信息为有效,则确定所述目标光照补偿模式为所述上左光照补偿模式;或者,
若所述第一索引信息为无效、且所述第二索引信息为无效,则确定所述目标光照补偿模式为所述上光照补偿模式;或者,
若所述第一索引信息为无效、且所述第二索引信息为有效,则确定所述目标光照补偿模式为所述左光照补偿模式。
在本申请的一些实施例中,所述第一确定部分,还被配置为根据所述目标光照补偿模式的索引信息,确定当前帧的重建像素和所述参考帧的重建参考像素;基于所述当前帧的重建像素和所述参考帧的重建参考像素,确定所述目标光照补偿模式。
在本申请的一些实施例中,所述第一确定部分13,还被配置为基于所述当前帧的上重建像素、左重建像素,以及对应像素位置相同的所述参考帧的上重建参考像素和左重建参考像素,确定所述目标光照补偿模式为所述上左光照补偿模式;或者,
基于所述当前帧的上重建像素,以及对应像素位置相同的所述参考帧的上重建参考像素,确定所述目标光照补偿模式为所述上光照补偿模式;
基于所述当前帧的左重建像素,以及对应像素位置相同的所述参考帧的左重建参考像素,确定所述目标光照补偿模式为所述左光照补偿模式。
在本申请的一些实施例中,所述当前帧的上重建像素包括:所述当前帧内的当前块的上一行相邻重建块的至少一个第一像素;
所述当前帧的左重建像素包括:所述当前帧内的当前块的左一列相邻重建块的至少一个第二像素;
所述参考帧的上重建参考像素包括:所述参考帧内的所述初始预测块的上一行相邻重建参考块的至少一个第三像素,或者,所述参考帧内的所述初始预测块内的第N行的至少一个第四像素;N为大于等于1小于当前块的行数的正整数;
所述参考帧的左重建参考像素包括:所述参考帧内的所述初始预测块的左一列相邻重建参考块的至少一个第五像素,或者,所述参考帧内的所述初始预测块内的第M列的至少一个第六像素。M为大于等于1小于当前块的列数的正整数。
在本申请的一些实施例中,所述至少一个第一像素为所述当前块的上一行相邻重建块中相隔预设间隔像素位置的像素;
所述至少一个第二像素为所述当前块的左一列相邻重建块中相隔预设间隔像素位置的像素;
所述至少一个第三像素为所述初始预测块的上一行相邻重建参考块中相隔预设间隔像素位置的像素;
所述至少一个第四像素为所述初始预测块内的第N行像素中相隔预设间隔像素位置的像素;
所述至少一个第五像素为所述初始预测块的左一列相邻重建参考块中相隔预设间隔像素位置的像素;
所述至少一个第六像素为所述初始预测块内的第M列像素中相隔预设间隔像素位置的像素。
在本申请的一些实施例中,所述第一确定部分13,还被配置为对所述至少一个第一像素的至少一个第一像素值和所述至少一个第二像素的至少一个第二像素值进行排序,确定出前n个最大第一像素值和前n个最小第一像素值;n为大于等于1小于当前块的列数和行数的正整数;对所述至少一个第三像素和所述至少一个第四像素中的一种,与所述至少一个第五像素像素和所述至少一个第六像素中的一种进行排序,确定前n个最大第二像素值和前n个最小第二像素值;确定所述前n个最大第一像素值的第一最大平均值、所述前n个最小第一像素值的第一最小平均值、所述前n个最大第二像素值的第二最大平均值和所述前n个最小第二像素值的第二最小平均值;根据所述第一最大平均值、所述第一最小平均值、所述第二最大平均值和所述第二最小平均值,确定第一缩放因子和第一偏移因子;基于所述第一缩放因子、所述第一偏移因子和初始上左光照补偿模式,确定所述上左光照补偿模式,所述上左光照补偿模式为所述目标光照补偿模式。
在本申请的一些实施例中,所述第一确定部分13,还被配置为对所述至少一个第一像素的至少一个第一像素值进行排序,确定出前m个最大第三像素值和前m个最小第三像素值;m为大于等于1小于当前块的列数和行数的正整数;对所述至少一个第三像素或所述至少一个第四像素进行排序,确定前m个最大第四像素值和前m个最小第四像素值;确定所述前m个最大第三像素值的第三最大平均值、所述前m个最小第三像素值的第三最小平均值、所述前m个最大第四像素值的第四最大平均值和所述前m个最小第四像素值的第四最小平均值;根据所述第三最大平均值、所述第三最小平均值、所述第四最大平均值和所述第四最小平均值,确定第二缩放因子和第二偏移因子;基于所述第二缩放因子、所述第二偏移因子和初始上光照补偿模式,确定所述上光照补偿模式,所述上光照补偿模式为所述目标光照补偿模。
在本申请的一些实施例中,所述第一确定部分13,还被配置为对所述至少一个第一像素的至少一个第二像素值进行排序,确定出前h个最大第五像素值和前h个最小第五像素值;h为大于等于1小于当前块的列数和行数的正整数;对所述至少一个第五像素或所述至少一个第六像素进行排序,确定前h个最大第六像素值和前h个最小第六像素值;确定所述前h个最大第五像素值的第五最大平均值、所述前h个最小第五像素值的第五最小平均值、所述前h个最大第六像素值的第六最大平均值和所述前h个最小第六像素值的第六最小平均值;根据所述第五最大平均值、所述第五最小平均值、所述第六最大平均值和所述第六最小平均值,确定第三缩放因子和第三偏移因子;基于所述第三缩放因子、所述第三偏移因子和初始左光照补偿模式,确定所述左光照补偿模式,所述左光照补偿模式为所述目标光照补偿模。
在本申请的一些实施例中,所述解析部分11,还被配置为解析所述码流,获取当前运动信息和当前预测模式;若所述当前预测模式为普通预测模式,则从码流中获取光照补偿使用标识。
在本申请的一些实施例中,所述第一确定部分13,还被配置为所述解析所述码流,获取当前运动信息和当前预测模式之后,若所述当前预测模式为跳过模式、合并模式或直接导出模式,则按照预设相邻顺序获取所述当前块的相邻重建块的相邻光照补偿使用标识;若所述相邻光照补偿使用标识为无效,则确定所述当前块的光照补偿使用标识为无效;若所述相邻光照补偿使用标识为有效, 则确定所述当前块的光照补偿使用标识为有效,并获取与所述相邻光照补偿使用标识对应的相邻光照补偿模式的索引信息;将所述相邻光照补偿模式的索引信息作为所述目标光照补偿模式的索引信息。
在本申请的一些实施例中,上述的光照补偿处理作用在双向光流技术、解码端运动矢量修正、双向预测加权、帧间预测滤波或帧间帧内联合预测的实现流程中的任一位置。
在本申请的一些实施例中,双向光流技术、解码端运动矢量修正、双向预测加权、帧间预测滤波或帧间帧内联合预测中的至少一种的处理,与光照补偿处理不作用于同一个当前块。
在本申请的一些实施例中,所述上左光照补偿模式包括:亮度上左光照补偿模式,第一色度上左光照补偿模式和第二色度上左光照补偿模式;
所述上光照补偿模式包括:亮度上光照补偿模式,第一色度上光照补偿模式和第二色度上光照补偿模式;
所述左光照补偿模式包括:亮度左光照补偿模式,第一色度左光照补偿模式和第二色度左光照补偿模式。
在本申请的一些实施例中,所述当前块的尺寸范围在像素个数为64与像素个数为128x128之间。
在本申请的一些实施例中,所述解析部分11,还被配置为解析码流,获取当前帧的帧级光照补偿允许标识;将所述帧级光照补偿允许标识作为所述光照补偿允许标识。
在本申请的一些实施例中,所述解析部分11,还被配置为解析码流,获取当前帧的帧级预测模式光照补偿允许标识;将所述帧级预测模式光照补偿允许标识作为所述光照补偿允许标识。
在本申请的一些实施例中,所述上左光照补偿模式包括:多个子上左光照补偿模式;所述多个子上左光照补偿作用于所述初始预测块的不同像素区域;
所述上光照补偿模式包括:多个子上光照补偿模式;所述多个子上光照补偿作用于所述初始预测块的不同像素区域;
所述左光照补偿模式包括:多个子左光照补偿模式;所述多个子左光照补偿作用于所述初始预测块的不同像素区域。
在本申请的一些实施例中,所述第一确定部分13,还被配置为所述解析所述码流,获取当前运动信息和当前预测模式之后,若所述当前预测模式为跳过模式、合并模式或直接导出模式,则按照预设相邻顺序获取所述当前块的相邻重建块的相邻光照补偿使用标识;
若所述相邻光照补偿使用标识为无效,则确定所述当前块的光照补偿使用标识为无效;
若所述相邻光照补偿使用标识为有效,则确定所述当前块的光照补偿使用标识为有效,并基于所述相邻光照补偿使用标识对应的当前块的相邻重建块的相邻位置信息,确定所述目标光照补偿模式。
在本申请的一些实施例中,所述第一确定部分13,还被配置为所述相邻位置信息为上相邻时,确定所述目标光照补偿模式为所述上光照补偿模式;或者,
所述相邻位置信息为左相邻时,确定所述目标光照补偿模式为所述左光照补偿模式;或者,
所述相邻位置信息为非左相邻和非上相邻时,确定所述目标光照补偿模式为所述上左光照补偿模式。
可以理解的是,由于解码器在对当前块进行解码的过程中,在使用了光照补偿技术的情况下,可以直接从码流中获取到目标光照补偿模式的索引信息,这样就可以基于该目标光照补偿模式的索引信息,从多种光照补偿模式中,确定出采用哪种光照补偿模式进行光照补偿,从而进行帧间预测了,因此,针对不同相邻边的像素差异较大的情况,能够基于不同的像素位置,对应不同的光照补偿模型,通过选择不同的光照补偿模型进行当前块的帧间预测过程,提高解码精度。
在本申请的实际应用中,如图13所示,本申请实施例还提供了一种解码器,包括:
第一存储器14和第一处理器15;
所述第一存储器14存储有可在第一处理器15上运行的计算机程序,所述第一处理器15执行所述程序时实现解码器对应的帧间预测方法。
其中,第一处理器15可以通过软件、硬件、固件或者其组合实现,可以使用电路、单个或多个专用集成电路(application specific integrated circuits,ASIC)、单个或多个通用集成电路、单个或多个微处理器、单个或多个可编程逻辑器件、或者前述电路或器件的组合、或者其他适合的电路或器件,从而使得该第一处理器15可以执行前述实施例中的解码器侧的帧间预测方法的相应步骤。
本申请实施例提供了一种编码器2,如图14所示,包括:
第二确定部分20,被配置为遍历多个候选运动信息,确定出当前块对应的初始预测块的初始预测值;所述初始预测块与所述多个候选运动信息一一对应,其中,所述当前块属于当前帧,所述初始预测块属于参考帧;及针对所述初始预测块,遍历上左光照补偿模式、上光照补偿模式和左光照补偿模式进行光照补偿处理,得到所述多个候选运动信息对应的第一类预测值、第二类预测值和第三类预测值;其中,所述上左光照补偿模式、所述上光照补偿模式和所述左光照补偿模式之间是由不同位置相邻边的像素确定得到的;以及采用所述初始预测值、所述第一类预测值、所述第二类预测值和所述第三类预测值,分别与当前块的原始像素值进行率失真代价计算,确定出光照补偿使用标识,以及最优率失真代价对应的当前预测模式、当前运动信息和目标光照补偿模式;
第二预测部分21,被配置为采用所述当前预测模式、所述当前运动信息和所述目标光照补偿模式对所述当前编码块进行帧间预测,得到当前预测值;
写入部分22,被配置为将所述当前预测模式的索引信息、当前运动信息的索引信息、所述目标光照补偿模式的索引信息和所述光照补偿使用标识写入码流。
在本申请的一些实施例中,所述第二确定部分20,还被配置为对所述初始预测块进行运动补偿,得到中间预测块;对所述中间预测块,遍历所述上左光照补偿模式、所述上光照补偿模式和所述左光照补偿模式进行光照补偿处理,得到所述多个候选运动信息对应的所述第一类预测值、所述第二类预测值和所述第三类预测值。
在本申请的一些实施例中,所述第二确定部分20,还被配置为对所述初始预测块遍历所述上左光照补偿模式、所述上光照补偿模式和所述左光照补偿模式进行光照补偿处理,得到第一光照补偿预测块、第二光照补偿预测块和第三光照补偿预测块;对所述第一光照补偿预测块、所述第二光照补偿预测块和所述第三光照补偿预测块分别进行运动补偿,对应得到所述多个候选运动信息对应的所述第一类预测值、所述第二类预测值和所述第三类预测值。
在本申请的一些实施例中,所述第二确定部分20,还被配置为采用所述初始预测值、所述第一类预测值、所述第二类预测值和所述第三类预测值,分别与当前块的原始像素值进行率失真代价计算,确定出每个候选运动信息的与所述第一类预测值对应的第一最小率失真代价、与所述第二类预测值对应的第二最小率失真代价、与所述第三类预测值对应的第三最小率失真代价,以及与所述初始预测值对应的初始最小率失真代价;从所述初始最小率失真代价、所述第一最小率失真代价、所述第二最小率失真代价以及所述第三最小率失真代价中,确定出率失真代价最小的最优率失真代价;基于所述最优率失真代价,确定光照补偿使用标识;若光照补偿使用标识为有效,则获取所述最优率失真代价对应的当前预测模式、当前运动信息和目标光照补偿模式。
在本申请的一些实施例中,所述第二确定部分20,还被配置为若所述最优率失真代价为所述第一最小率失真代价、所述第二最小率失真代价或者第三最小率失真代价,则确定所述光照补偿使用标识为有效;若所述最优率失真代价为所述初始最小率失真代价,则确定所述光照补偿使用标识为无效。
在本申请的一些实施例中,所述第二确定部分20,还被配置为所述基于所述最优率失真代价,确定光照补偿使用标识之后,若光照补偿使用标识为无效,则将所述最优率失真代价对应的运动信息、预测模式作为所述当前预测模式和所述当前运动信息;
所述第二预测部分21,还被配置为采用所述当前预测模式和所述当前运动信息,对所述当前编码块进行帧间预测,得到当前预测值;
所述写入部分22,还被配置为将所述当前预测模式的索引信息、所述当前运动信息的索引信息和所述光照补偿使用标识写入码流。
在本申请的一些实施例中,所述第二确定部分20,还被配置为所述针对所述初始预测块,遍历上左光照补偿模式、上光照补偿模式和左光照补偿模式进行光照补偿处理,得到所述多个候选运动信息对应的第一类预测值、第二类预测值和第三类预测值之前,开启光照补偿功能,确定光照补偿允许标识为有效;
所述写入部分22.,还被配置为所述光照补偿允许标识写入码流。
在本申请的一些实施例中,所述第二确定部分20,还被配置为若当前预测模式为普通帧间预测模式,则确定开启所述光照补偿功能。
在本申请的一些实施例中,所述目标光照补偿模式的索引信息包括第一索引信息;
若所述光照补偿使用标识为有效、且所述最优率失真代价为所述第一最小率失真代价,则所述第一索引信息为无效。
在本申请的一些实施例中,所述目标光照补偿模式的索引信息包括:第一索引信息和第二索引 信息;
若所述光照补偿使用标识为有效、且所述最优率失真代价为所述第二最小率失真代价,则所述第一索引信息为有效,所述第二索引信息为无效;
若所述光照补偿使用标识为有效、且所述最优率失真代价为所述第三最小率失真代价,则所述第一索引信息为有效,所述第二索引信息为有效。
在本申请的一些实施例中,所述目标光照补偿模式的索引信息包括第一索引信息;
若所述光照补偿使用标识为有效、且所述最优率失真代价为所述第一最小率失真代价,则所述第一索引信息为有效。
在本申请的一些实施例中,所述目标光照补偿模式的索引信息包括:第一索引信息和第二索引信息;
若所述光照补偿使用标识为有效、且所述最优率失真代价为所述第二最小率失真代价,则所述第一索引信息为无效,所述第二索引信息为无效;
若所述光照补偿使用标识为有效、且所述最优率失真代价为所述第三最小率失真代价,则所述第一索引信息为无效,所述第二索引信息为有效。
在本申请的一些实施例中,所述目标光照补偿模式的索引信息包括:第一索引信息和第二索引信息;
若所述光照补偿使用标识为有效、且所述最优率失真代价为所述第二最小率失真代价,则所述第一索引信息为无效,所述第二索引信息为有效;
若所述光照补偿使用标识为有效、且所述最优率失真代价为所述第三最小率失真代价,则所述第一索引信息为无效,所述第二索引信息为无效。
在本申请的一些实施例中,所述第二确定部分20,还被配置为若当前预测模式为跳过模式、合并模式或直接导出模式时,则按照预设相邻顺获取所述当前块的相邻重建块的相邻光照补偿使用标识;若所述相邻光照补偿使用标识为无效时,则确定所述当前块的光照补偿使用标识为无效;若所述相邻光照补偿使用标识为有效时,则确定所述当前块的光照补偿使用标识为有效;并获取与所述相邻光照补偿使用标识对应的相邻光照补偿模式的索引信息;将所述相邻光照补偿模式的索引信息作为所述目标光照补偿模式的索引信息;
所述第二预测部分21,还被配置为根据所述目标光照补偿模式的索引信息和所述当前预测模式,对所述初始预测块进行光照补偿处理,得到当前预测值。
在本申请的一些实施例中,所述第二确定部分20,还被配置为所述确定所述当前块的光照补偿使用标识为无效之后,采用所述初始预测值与当前块的原始像素值进行率失真代价计算,确定最优率失真代价对应的当前预测模式和当前运动信息;
所述第二预测部分21,还被配置为采用所述当前预测模式和所述当前运动信息对所述当前编码块进行帧间预测,得到当前预测值;
所述写入部分22,还被配置为将所述当前预测模式的索引信息、当前运动信息的索引信息和所述光照补偿使用标识写入码流。
在本申请的一些实施例中,所述第二确定部分20,还被配置为在开启所述光照补偿功能时,基于所述当前帧的重建像素和所述参考帧的重建参考像素,确定所述上左光照补偿模式、所述上光照补偿模式和所述左光照补偿模式。
在本申请的一些实施例中,所述第二确定部分20,还被配置为对所述初始预测块进行运动补偿,得到中间预测块;基于所述当前帧的重建像素和所述参考帧的重建参考像素,确定所述上左光照补偿模式、所述上光照补偿模式和所述左光照补偿模式;对所述中间预测块,遍历所述上左光照补偿模式、所述上光照补偿模式和所述左光照补偿模式进行光照补偿处理,得到所述多个候选运动信息对应的所述第一类预测值、所述第二类预测值和所述第三类预测值。
在本申请的一些实施例中,所述第二确定部分20,还被配置为基于所述当前帧的重建像素和所述参考帧的重建参考像素,确定所述上左光照补偿模式、所述上光照补偿模式和所述左光照补偿模式;对所述初始预测块遍历所述上左光照补偿模式、所述上光照补偿模式和所述左光照补偿模式进行光照补偿处理,得到第一光照补偿预测块、第二光照补偿预测块和第三光照补偿预测块;对所述第一光照补偿预测块、所述第二光照补偿预测块和所述第三光照补偿预测块分别进行运动补偿,对应得到所述多个候选运动信息对应的所述第一类预测值、所述第二类预测值和所述第三类预测值。
在本申请的一些实施例中,所述第二确定部分20,还被配置为基于所述当前帧的上重建像素、左重建像素,以及对应像素位置相同的所述参考帧的上重建参考像素和左重建参考像素,确定所述 上左光照补偿模式;基于所述当前帧的上重建像素,以及对应像素位置相同的所述参考帧的上重建参考像素,确定所述上光照补偿模式;基于所述当前帧的左重建像素,以及对应像素位置相同的所述参考帧的左重建参考像素,确定所述左光照补偿模式。
在本申请的一些实施例中,所述当前帧的上重建像素包括:所述当前帧内的当前块的上一行相邻重建块的至少一个第一像素;
所述当前帧的左重建像素包括:所述当前帧内的当前块的左一列相邻重建块的至少一个第二像素;
所述参考帧的上重建参考像素包括:所述参考帧内的所述初始预测块的上一行相邻重建参考块的至少一个第三像素,或者,所述参考帧内的所述初始预测块内的第N行的至少一个第四像素;N为大于等于1小于当前块的行数的正整数;
所述参考帧的左重建参考像素包括:所述参考帧内的所述初始预测块的左一列相邻重建参考块的至少一个第五像素,或者,所述参考帧内的所述初始预测块内的第M列的至少一个第六像素。M为大于等于1小于当前块的列数的正整数。
在本申请的一些实施例中,所述至少一个第一像素为所述当前块的上一行相邻重建块中相隔预设间隔像素位置的像素;
所述至少一个第二像素为所述当前块的左一列相邻重建块中相隔预设间隔像素位置的像素;
所述至少一个第三像素为所述初始预测块的上一行相邻重建参考块中相隔预设间隔像素位置的像素;
所述至少一个第四像素为所述初始预测块内的第N行像素中相隔预设间隔像素位置的像素;
所述至少一个第五像素为所述初始预测块的左一列相邻重建参考块中相隔预设间隔像素位置的像素;
所述至少一个第六像素为所述初始预测块内的第M列像素中相隔预设间隔像素位置的像素。
在本申请的一些实施例中,所述第二确定部分20,还被配置为对所述至少一个第一像素的至少一个第一像素值和所述至少一个第二像素的至少一个第二像素值进行排序,确定出前n个最大第一像素值和前n个最小第一像素值;n为大于等于1小于当前块的列数和行数的正整数;对所述至少一个第三像素和所述至少一个第四像素中的一种,与所述至少一个第五像素像素和所述至少一个第六像素中的一种进行排序,确定前n个最大第二像素值和前n个最小第二像素值;确定所述前n个最大第一像素值的第一最大平均值、所述前n个最小第一像素值的第一最小平均值、所述前n个最大第二像素值的第二最大平均值和所述前n个最小第二像素值的第二最小平均值;根据所述第一最大平均值、所述第一最小平均值、所述第二最大平均值和所述第二最小平均值,确定第一缩放因子和第一偏移因子;基于所述第一缩放因子、所述第一偏移因子和初始上左光照补偿模式,确定所述上左光照补偿模式。
在本申请的一些实施例中,所述第二确定部分20,还被配置为对所述至少一个第一像素的至少一个第一像素值进行排序,确定出前m个最大第三像素值和前m个最小第三像素值;m为大于等于1小于当前块的列数和行数的正整数;对所述至少一个第三像素或所述至少一个第四像素进行排序,确定前m个最大第四像素值和前m个最小第四像素值;确定所述前m个最大第三像素值的第三最大平均值、所述前m个最小第三像素值的第三最小平均值、所述前m个最大第四像素值的第四最大平均值和所述前m个最小第四像素值的第四最小平均值;根据所述第三最大平均值、所述第三最小平均值、所述第四最大平均值和所述第四最小平均值,确定第二缩放因子和第二偏移因子;基于所述第二缩放因子、所述第二偏移因子和初始上光照补偿模式,确定所述上光照补偿模式。
在本申请的一些实施例中,所述第二确定部分20,还被配置为对所述至少一个第一像素的至少一个第二像素值进行排序,确定出前h个最大第五像素值和前h个最小第五像素值;h为大于等于1小于当前块的列数和行数的正整数;对所述至少一个第五像素或所述至少一个第六像素进行排序,确定前h个最大第六像素值和前h个最小第六像素值;确定所述前h个最大第五像素值的第五最大平均值、所述前h个最小第五像素值的第五最小平均值、所述前h个最大第六像素值的第六最大平均值和所述前h个最小第六像素值的第六最小平均值;根据所述第五最大平均值、所述第五最小平均值、所述第六最大平均值和所述第六最小平均值,确定第三缩放因子和第三偏移因子;基于所述第三缩放因子、所述第三偏移因子和初始左光照补偿模式,确定所述左光照补偿模式。
在本申请的一些实施例中,上述的光照补偿处理作用在双向光流技术、解码端运动矢量修正、双向预测加权、帧间预测滤波或帧间帧内联合预测的实现流程中的任一位置。
在本申请的一些实施例中,双向光流技术、解码端运动矢量修正、双向预测加权、帧间预测滤 波或帧间帧内联合预测中的至少一种的处理,与光照补偿处理不作用于同一个当前块。
在本申请的一些实施例中,所述上左光照补偿模式包括:亮度上左光照补偿模式,第一色度上左光照补偿模式和第二色度上左光照补偿模式;
所述上光照补偿模式包括:亮度上光照补偿模式,第一色度上光照补偿模式和第二色度上光照补偿模式;
所述左光照补偿模式包括:亮度左光照补偿模式,第一色度左光照补偿模式和第二色度左光照补偿模式。
在本申请的一些实施例中,所述当前块的尺寸范围在像素个数为64与像素个数为128x128之间。
在本申请的一些实施例中,所述第二确定部分20,还被配置为确定当前帧是否开启光照补偿功能;若开启所述光照补偿功能,则将所述当前帧对应的帧级光照补偿允许标识确定为有效;若不开启所述光照补偿功能,则将所述当前帧对应的帧级光照补偿允许标识确定为无效;
所述写入部分22,还被配置为将所述帧级光照补偿允许标识写入码流。
在本申请的一些实施例中,所述第二确定部分20,还被配置为确定当前帧的当前预测模式的帧级预测模式光照补偿允许标识;所述帧级预测模式光照补偿允许标识表征开启光照补偿功能;
所述写入部分22,还被配置为将所述帧级预测模式光照补偿允许标识写入码流。
在本申请的一些实施例中,所述上左光照补偿模式包括:多个子上左光照补偿模式;所述多个子上左光照补偿作用于所述初始预测块的不同像素区域;
所述上光照补偿模式包括:多个子上光照补偿模式;所述多个子上光照补偿作用于所述初始预测块的不同像素区域;
所述左光照补偿模式包括:多个子左光照补偿模式;所述多个子左光照补偿作用于所述初始预测块的不同像素区域。
在本申请的一些实施例中,所述第二确定部分20,还被配置为若当前预测模式为跳过模式、合并模式或直接导出模式,则按照预设相邻顺序获取所述当前块的相邻重建块的相邻光照补偿使用标识;若所述相邻光照补偿使用标识为无效,则确定所述当前块的光照补偿使用标识为无效;若所述相邻光照补偿使用标识为有效,则确定所述当前块的光照补偿使用标识为有效,并基于所述相邻光照补偿使用标识对应的当前块的相邻重建块的相邻位置信息,确定所述目标光照补偿模式。
在本申请的一些实施例中,所述第二确定部分20,还被配置为所述相邻位置信息为上相邻时,确定所述目标光照补偿模式为所述上光照补偿模式;或者,
所述相邻位置信息为左相邻时,确定所述目标光照补偿模式为所述左光照补偿模式;或者,
所述相邻位置信息为非左相邻和非上相邻时,确定所述目标光照补偿模式为所述上左光照补偿模式。
可以理解的是,由于编码器在对当前块进行编码的过程中,在使用了光照补偿技术的情况下,可以遍历从上左光照补偿模式、上光照补偿模式和左光照补偿模式,确定出采用哪种光照补偿模式进行光照补偿,从而进行帧间预测,并将目标光照补偿模式的索引信息通过码流发送给解码器,供解码时使用。在此过程中,由于上左光照补偿模式、上光照补偿模式和左光照补偿模式之间是由不同位置相邻边的像素确定得到的,是基于不同的相邻边的考虑,可以采用不同的光照补偿模式进行光照补偿的。因此,针对不同相邻边的像素差异较大的情况,能够基于不同的像素位置,对应不同的光照补偿模型,通过选择不同的光照补偿模型进行当前块的帧间预测过程,提高编码精度。
在实际应用中,如图15所示,本申请实施例还提供了一种编码器,包括:
第二存储器23和第二处理器24;
所述第二存储器23存储有可在第二处理器24上运行的计算机程序,所述第二处理器24执行所述程序时编码器对应的帧间预测方法。
本申请实施例提供了一种存储介质,其特征在于,其上存储有计算机程序,该计算机程序被第一处理器执行时,实现权利要求解码器对应的所述帧间预测方法;或者,该计算机程序被第二处理器执行时,实现权利要求编码器对应的所述帧间预测方法。
在本申请实施例中的各组成部分可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时,可以存储在一个计算机可读取存储介质中,基于这样的理解,本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件 产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或processor(处理器)执行本实施例所述方法的全部或部分步骤。而前述的存储介质包括:磁性随机存取存储器(FRAM,ferromagnetic random access memory)、只读存储器(ROM,Read Only Memory)、可编程只读存储器(PROM,Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM,Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM,Electrically Erasable Programmable Read-Only Memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM,Compact Disc Read-Only Memory)等各种可以存储程序代码的介质,本公开实施例不作限制。
以上所述,仅为本申请的实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
工业实用性
本申请实施例提供了一种帧间预测方法、编码器、解码器和存储介质,通过获取码流,并解析所述码流,得到光照补偿允许标识、当前运动信息和当前预测模式;若所述光照补偿允许标识为有效,则获取所述码流中的光照补偿使用标识;若当所述光照补偿使用标识为有效,则获取所述码流中的目标光照补偿模式的索引信息;根据所述目标光照补偿模式的索引信息、所述当前预测模式和所述当前运动信息,对当前块进行帧间预测,得到预测值。采用上述方案实现技术,由于解码器在对当前块进行解码的过程中,在使用了光照补偿技术的情况下,可以直接从码流中获取到目标光照补偿模式的索引信息,这样就可以基于该目标光照补偿模式的索引信息,从多种光照补偿模式中,确定出采用哪种光照补偿模式进行光照补偿,从而进行帧间预测了,因此,针对不同相邻边的像素差异较大的情况,能够基于不同的像素位置,对应不同的光照补偿模型,通过选择不同的光照补偿模型进行当前块的帧间预测过程,提高解码精度。

Claims (63)

  1. 一种帧间预测方法,其特征在于,应用于解码器,包括:
    获取码流,并解析所述码流,得到光照补偿允许标识、当前运动信息和当前预测模式;
    若所述光照补偿允许标识为有效,则获取所述码流中的光照补偿使用标识;
    若所述光照补偿使用标识为有效,则获取所述码流中的目标光照补偿模式的索引信息;
    根据所述目标光照补偿模式的索引信息、所述当前预测模式和所述当前运动信息,对当前块进行帧间预测,得到预测值。
  2. 根据权利要求1所述的方法,其特征在于,
    所述目标光照补偿模式的索引信息对应上左光照补偿模式、上光照补偿模式和左光照补偿模式中的一种;其中,所述上左光照补偿模式、所述上光照补偿模式和所述左光照补偿模式之间是由不同位置相邻边的像素确定得到的。
  3. 根据权利要求1或2所述的方法,其特征在于,所述根据所述目标光照补偿模式的索引信息、所述当前预测模式和所述当前运动信息,对当前块进行帧间预测,得到预测值,包括:
    采用所述目标光照补偿模式的索引信息,确定目标光照补偿模式;
    基于所述当前运动信息,确定当前块对应的初始预测块;
    对所述初始预测块进行运动补偿,得到第一预测块;
    采用所述目标光照补偿模式,对所述第一预测块进行光照补偿处理,得到第二预测块;
    采用所述当前预测模式,对所述第二预测块进行帧间预测,得到所述预测值。
  4. 根据权利要求1或2所述的方法,其特征在于,所述根据所述目标光照补偿模式的索引信息、所述当前预测模式和所述当前运动信息,对当前块进行帧间预测,得到预测值,包括:
    采用所述目标光照补偿模式的索引信息,确定目标光照补偿模式;
    基于所述当前运动信息,确定当前块对应的初始预测块;
    采用所述目标光照补偿模式,对所述初始预测块进行光照补偿处理,得到第三预测块;
    对所述第三预测块进行运动补偿,得到第四预测块;
    采用所述当前预测模式,对所述第四预测块进行帧间预测,得到所述预测值。
  5. 根据权利要求1或2所述的方法,其特征在于,所述根据所述目标光照补偿模式的索引信息、所述当前预测模式和所述当前运动信息,对当前块进行帧间预测,得到预测值,包括:
    基于所述当前运动信息,确定当前块对应的初始预测块;
    对所述初始预测块进行运动补偿,得到第一预测块;
    采用所述目标光照补偿模式的索引信息,确定目标光照补偿模式;
    采用所述目标光照补偿模式,对所述第一预测块进行光照补偿处理,得到第二预测块;
    采用所述当前预测模式,对所述第二预测块进行帧间预测,得到所述预测值。
  6. 根据权利要求3至5任一项所述的方法,其特征在于,所述目标光照补偿模式的索引信息包括:第一索引信息和第二索引信息;
    所述采用所述目标光照补偿模式的索引信息,确定所述目标光照补偿模式,包括:
    若所述第一索引信息为无效,则确定所述目标光照补偿模式为上左光照补偿模式;
    若所述第一索引信息为有效、且所述第二索引信息为无效,则确定所述目标光照补偿模式为所述上光照补偿模式;
    若所述第一索引信息为有效、且所述第二索引信息为有效,则确定所述目标光照补偿模式为所述左光照补偿模式。
  7. 根据权利要求3至5任一项所述的方法,其特征在于,所述目标光照补偿模式的索引信息包括:第一索引信息和第二索引信息;
    所述采用所述目标光照补偿模式的索引信息,确定所述目标光照补偿模式,包括:
    若所述第一索引信息为有效,则确定所述目标光照补偿模式为所述上左光照补偿模式;
    若所述第一索引信息为无效、且所述第二索引信息为无效时,则确定所述目标光照补偿模式为所述上光照补偿模式;
    若所述第一索引信息为无效、且所述第二索引信息为有效时,则确定所述目标光照补偿模式为所述左光照补偿模式。
  8. 根据权利要求3至5任一项所述的方法,其特征在于,所述采用所述目标光照补偿模式的索 引信息,确定目标光照补偿模式,包括:
    根据所述目标光照补偿模式的索引信息,确定当前帧的重建像素和所述参考帧的重建参考像素;
    基于所述当前帧的重建像素和所述参考帧的重建参考像素,确定所述目标光照补偿模式。
  9. 根据权利要求8所述的方法,其特征在于,所述基于所述当前帧的重建像素和所述参考帧的重建参考像素,确定所述目标光照补偿模式,包括:
    基于所述当前帧的上重建像素、左重建像素,以及对应像素位置相同的所述参考帧的上重建参考像素和左重建参考像素,确定所述目标光照补偿模式为所述上左光照补偿模式;或者,
    基于所述当前帧的上重建像素,以及对应像素位置相同的所述参考帧的上重建参考像素,确定所述目标光照补偿模式为所述上光照补偿模式;
    基于所述当前帧的左重建像素,以及对应像素位置相同的所述参考帧的左重建参考像素,确定所述目标光照补偿模式为所述上左光照补偿模式。
  10. 根据权利要求9所述的方法,其特征在于,
    所述当前帧的上重建像素包括:所述当前帧内的当前块的上一行相邻重建块的至少一个第一像素;
    所述当前帧的左重建像素包括:所述当前帧内的当前块的左一列相邻重建块的至少一个第二像素;
    所述参考帧的上重建参考像素包括:所述参考帧内的所述初始预测块的上一行相邻重建参考块的至少一个第三像素,或者,所述参考帧内的所述初始预测块内的第N行的至少一个第四像素;N为大于等于1小于当前块的行数的正整数;
    所述参考帧的左重建参考像素包括:所述参考帧内的所述初始预测块的左一列相邻重建参考块的至少一个第五像素,或者,所述参考帧内的所述初始预测块内的第M列的至少一个第六像素。M为大于等于1小于当前块的列数的正整数。
  11. 根据权利要求10所述的方法,其特征在于,
    所述至少一个第一像素为所述当前块的上一行相邻重建块中相隔预设间隔像素位置的像素;
    所述至少一个第二像素为所述当前块的左一列相邻重建块中相隔预设间隔像素位置的像素;
    所述至少一个第三像素为所述初始预测块的上一行相邻重建参考块中相隔预设间隔像素位置的像素;
    所述至少一个第四像素为所述初始预测块内的第N行像素中相隔预设间隔像素位置的像素;
    所述至少一个第五像素为所述初始预测块的左一列相邻重建参考块中相隔预设间隔像素位置的像素;
    所述至少一个第六像素为所述初始预测块内的第M列像素中相隔预设间隔像素位置的像素。
  12. 根据权利要求11所述的方法,其特征在于,所述基于所述当前帧的上重建像素、左重建像素,以及对应像素位置相同的所述参考帧的上重建参考像素和左重建参考像素,确定所述目标光照补偿模式为所述上左光照补偿模式,包括:
    对所述至少一个第一像素的至少一个第一像素值和所述至少一个第二像素的至少一个第二像素值进行排序,确定出前n个最大第一像素值和前n个最小第一像素值;n为大于等于1小于当前块的列数和行数的正整数;
    对所述至少一个第三像素和所述至少一个第四像素中的一种,与所述至少一个第五像素像素和所述至少一个第六像素中的一种进行排序,确定前n个最大第二像素值和前n个最小第二像素值;
    确定所述前n个最大第一像素值的第一最大平均值、所述前n个最小第一像素值的第一最小平均值、所述前n个最大第二像素值的第二最大平均值和所述前n个最小第二像素值的第二最小平均值;
    根据所述第一最大平均值、所述第一最小平均值、所述第二最大平均值和所述第二最小平均值,确定第一缩放因子和第一偏移因子;
    基于所述第一缩放因子、所述第一偏移因子和初始上左光照补偿模式,确定所述上左光照补偿模式,所述上左光照补偿模式为所述目标光照补偿模式。
  13. 根据权利要求11所述的方法,其特征在于,所述基于所述当前帧的上重建像素,以及对应像素位置相同的所述参考帧的上重建参考像素,确定所述目标光照补偿模式为所述上光照补偿模式,包括:
    对所述至少一个第一像素的至少一个第一像素值进行排序,确定出前m个最大第三像素值和前m个最小第三像素值;m为大于等于1小于当前块的列数和行数的正整数;
    对所述至少一个第三像素或所述至少一个第四像素进行排序,确定前m个最大第四像素值和前m个最小第四像素值;
    确定所述前m个最大第三像素值的第三最大平均值、所述前m个最小第三像素值的第三最小平均值、所述前m个最大第四像素值的第四最大平均值和所述前m个最小第四像素值的第四最小平均值;
    根据所述第三最大平均值、所述第三最小平均值、所述第四最大平均值和所述第四最小平均值,确定第二缩放因子和第二偏移因子;
    基于所述第二缩放因子、所述第二偏移因子和初始上光照补偿模式,确定所述上光照补偿模式,所述上光照补偿模式为所述目标光照补偿模。
  14. 根据权利要求11所述的方法,其特征在于,所述基于所述当前帧的左重建像素,以及对应像素位置相同的所述参考帧的左重建参考像素,确定所述目标光照补偿模式为所述左光照补偿模式,包括:
    对所述至少一个第一像素的至少一个第二像素值进行排序,确定出前h个最大第五像素值和前h个最小第五像素值;h为大于等于1小于当前块的列数和行数的正整数;
    对所述至少一个第五像素或所述至少一个第六像素进行排序,确定前h个最大第六像素值和前h个最小第六像素值;
    确定所述前h个最大第五像素值的第五最大平均值、所述前h个最小第五像素值的第五最小平均值、所述前h个最大第六像素值的第六最大平均值和所述前h个最小第六像素值的第六最小平均值;
    根据所述第五最大平均值、所述第五最小平均值、所述第六最大平均值和所述第六最小平均值,确定第三缩放因子和第三偏移因子;
    基于所述第三缩放因子、所述第三偏移因子和初始左光照补偿模式,确定所述左光照补偿模式,所述左光照补偿模式为所述目标光照补偿模。
  15. 根据权利要求1所述的方法,其特征在于,所述方法还包括:
    解析所述码流,获取当前运动信息和当前预测模式;
    当所述当前预测模式为普通预测模式时,从码流中获取光照补偿使用标识。
  16. 根据权利要求15所述的方法,其特征在于,所述解析所述码流,获取当前运动信息和当前预测模式之后,所述方法还包括:
    若所述当前预测模式为跳过模式、合并模式或直接导出模式,则按照预设相邻顺序获取所述当前块的相邻重建块的相邻光照补偿使用标识;
    若所述相邻光照补偿使用标识为无效,则确定所述当前块的光照补偿使用标识为无效;
    若所述相邻光照补偿使用标识为有效,则确定所述当前块的光照补偿使用标识为有效,并获取与所述相邻光照补偿使用标识对应的相邻光照补偿模式的索引信息;
    将所述相邻光照补偿模式的索引信息作为所述目标光照补偿模式的索引信息。
  17. 根据权利要求1至16任一项所述的方法,其特征在于,
    上述的光照补偿处理作用在双向光流技术、解码端运动矢量修正、双向预测加权、帧间预测滤波或帧间帧内联合预测的实现流程中的任一位置。
  18. 根据权利要求1至17任一项所述的方法,其特征在于,
    双向光流技术、解码端运动矢量修正、双向预测加权、帧间预测滤波或帧间帧内联合预测中的至少一种的处理,与光照补偿处理不作用于同一个当前块。
  19. 根据权利要求1至18任一项所述的方法,其特征在于,
    所述上左光照补偿模式包括:亮度上左光照补偿模式,第一色度上左光照补偿模式和第二色度上左光照补偿模式;
    所述上光照补偿模式包括:亮度上光照补偿模式,第一色度上光照补偿模式和第二色度上光照补偿模式;
    所述左光照补偿模式包括:亮度左光照补偿模式,第一色度左光照补偿模式和第二色度左光照补偿模式。
  20. 根据权利要求1至19任一项所述的方法,其特征在于,
    所述当前块的尺寸范围在像素个数为64与像素个数为128x128之间。
  21. 根据权利要求1至20任一项所述的方法,其特征在于,所述方法还包括:
    解析码流,获取当前帧的帧级光照补偿允许标识;
    将所述帧级光照补偿允许标识作为所述光照补偿允许标识。
  22. 根据权利要求1至21任一项所述的方法,其特征在于,所述方法还包括:
    解析码流,获取当前帧的帧级预测模式光照补偿允许标识;
    将所述帧级预测模式光照补偿允许标识作为所述光照补偿允许标识。
  23. 根据权利要求1至22任一项所述的方法,其特征在于,
    所述上左光照补偿模式包括:多个子上左光照补偿模式;所述多个子上左光照补偿作用于所述初始预测块的不同像素区域;
    所述上光照补偿模式包括:多个子上光照补偿模式;所述多个子上光照补偿作用于所述初始预测块的不同像素区域;
    所述左光照补偿模式包括:多个子左光照补偿模式;所述多个子左光照补偿作用于所述初始预测块的不同像素区域。
  24. 根据权利要求15所述的方法,其特征在于,所述解析所述码流,获取当前运动信息和当前预测模式之后,所述方法还包括:
    若所述当前预测模式为跳过模式、合并模式或直接导出模式,则按照预设相邻顺序获取所述当前块的相邻重建块的相邻光照补偿使用标识;
    若所述相邻光照补偿使用标识为无效,则确定所述当前块的光照补偿使用标识为无效;
    若所述相邻光照补偿使用标识为有效,则确定所述当前块的光照补偿使用标识为有效,并基于所述相邻光照补偿使用标识对应的当前块的相邻重建块的相邻位置信息,确定所述目标光照补偿模式。
  25. 根据权利要求24所述的方法,其特征在于,所述基于所述相邻光照补偿使用标识对应的当前块的相邻重建块的相邻位置信息,确定所述目标光照补偿模式,包括:
    所述相邻位置信息为上相邻时,确定所述目标光照补偿模式为所述上光照补偿模式;或者,
    所述相邻位置信息为左相邻时,确定所述目标光照补偿模式为所述左光照补偿模式;或者,
    所述相邻位置信息为非左相邻和非上相邻时,确定所述目标光照补偿模式为所述上左光照补偿模式。
  26. 一种帧间预测方法,其特征在于,应用于编码器,包括:
    遍历多个候选运动信息,确定出当前块对应的初始预测块的初始预测值;所述初始预测块与所述多个候选运动信息一一对应;
    针对所述初始预测块,遍历上左光照补偿模式、上光照补偿模式和左光照补偿模式进行光照补偿处理,得到所述多个候选运动信息对应的第一类预测值、第二类预测值和第三类预测值;其中,所述上左光照补偿模式、所述上光照补偿模式和所述左光照补偿模式之间是由不同位置相邻边的像素确定得到的;
    采用所述初始预测值、所述第一类预测值、所述第二类预测值和所述第三类预测值,分别与当前块的原始像素值进行率失真代价计算,确定出光照补偿使用标识,以及最优率失真代价对应的当前预测模式、当前运动信息和目标光照补偿模式;
    采用所述当前预测模式、所述当前运动信息和所述目标光照补偿模式对所述当前编码块进行帧间预测,得到当前预测值;
    将所述当前预测模式的索引信息、当前运动信息的索引信息、所述目标光照补偿模式的索引信息和所述光照补偿使用标识写入码流。
  27. 根据权利要求26所述的方法,其特征在于,所述针对所述初始预测块,遍历上左光照补偿模式、上光照补偿模式和左光照补偿模式进行光照补偿处理,得到所述多个候选运动信息对应的第一类预测值、第二类预测值和第三类预测值,包括:
    对所述初始预测块进行运动补偿,得到中间预测块;
    对所述中间预测块,遍历所述上左光照补偿模式、所述上光照补偿模式和所述左光照补偿模式进行光照补偿处理,得到所述多个候选运动信息对应的所述第一类预测值、所述第二类预测值和所述第三类预测值。
  28. 根据权利要求26所述的方法,其特征在于,所述针对所述初始预测块,遍历上左光照补偿模式、上光照补偿模式和左光照补偿模式进行光照补偿处理,得到所述多个候选运动信息对应的第一类预测值、第二类预测值和第三类预测值,包括:
    对所述初始预测块遍历所述上左光照补偿模式、所述上光照补偿模式和所述左光照补偿模式进行光照补偿处理,得到第一光照补偿预测块、第二光照补偿预测块和第三光照补偿预测块;
    对所述第一光照补偿预测块、所述第二光照补偿预测块和所述第三光照补偿预测块分别进行运动补偿,对应得到所述多个候选运动信息对应的所述第一类预测值、所述第二类预测值和所述第三类预测值。
  29. 根据权利要求26至28任一项所述的方法,其特征在于,所述采用所述初始预测值、所述第一类预测值、所述第二类预测值和所述第三类预测值,分别与当前块的原始像素值进行率失真代价计算,确定出光照补偿使用标识,以及最优率失真代价对应的当前预测模式、当前运动信息和目标光照补偿模式,包括:
    采用所述初始预测值、所述第一类预测值、所述第二类预测值和所述第三类预测值,分别与当前块的原始像素值进行率失真代价计算,确定出每个候选运动信息的与所述第一类预测值对应的第一最小率失真代价、与所述第二类预测值对应的第二最小率失真代价、与所述第三类预测值对应的第三最小率失真代价,以及与所述初始预测值对应的初始最小率失真代价;
    从所述初始最小率失真代价、所述第一最小率失真代价、所述第二最小率失真代价以及所述第三最小率失真代价中,确定出率失真代价最小的最优率失真代价;
    基于所述最优率失真代价,确定光照补偿使用标识;
    若光照补偿使用标识为有效,则获取所述最优率失真代价对应的当前预测模式、当前运动信息和目标光照补偿模式。
  30. 根据权利要求29所述的方法,其特征在于,所述基于所述最优率失真代价,确定光照补偿使用标识,包括:
    若所述最优率失真代价为所述第一最小率失真代价、所述第二最小率失真代价或者第三最小率失真代价,则确定所述光照补偿使用标识为有效;
    若所述最优率失真代价为所述初始最小率失真代价,则确定所述光照补偿使用标识为无效。
  31. 根据权利要求29或30所述的方法,其特征在于,所述基于所述最优率失真代价,确定光照补偿使用标识之后,所述方法还包括:
    若光照补偿使用标识为无效,则将所述最优率失真代价对应的运动信息、预测模式作为所述当前预测模式和所述当前运动信息;
    采用所述当前预测模式和所述当前运动信息,对所述当前编码块进行帧间预测,得到当前预测值;
    将所述当前预测模式的索引信息、所述当前运动信息的索引信息和所述光照补偿使用标识写入码流。
  32. 根据权利要求26至31任一项所述的方法,其特征在于,所述针对所述初始预测块,遍历上左光照补偿模式、上光照补偿模式和左光照补偿模式进行光照补偿处理,得到所述多个候选运动信息对应的第一类预测值、第二类预测值和第三类预测值之前,所述方法还包括:
    开启光照补偿功能,确定光照补偿允许标识为有效,所述光照补偿允许标识要写入码流。
  33. 根据权利要求32所述的方法,其特征在于,所述开启光照补偿功能,包括:
    若当前预测模式为普通帧间预测模式,则开启所述光照补偿功能。
  34. 根据权利要求32或33所述的方法,其特征在于,
    所述目标光照补偿模式的索引信息包括第一索引信息;
    若所述光照补偿使用标识为有效、且所述最优率失真代价为所述第一最小率失真代价,则所述第一索引信息为无效。
  35. 根据权利要求32或33所述的方法,其特征在于,
    所述目标光照补偿模式的索引信息包括:第一索引信息和第二索引信息;
    若所述光照补偿使用标识为有效、且所述最优率失真代价为所述第二最小率失真代价,则所述第一索引信息为有效,所述第二索引信息为无效;
    若所述光照补偿使用标识为有效、且所述最优率失真代价为所述第三最小率失真代价,则所述第一索引信息为有效,所述第二索引信息为有效。
  36. 根据权利要求32或33所述的方法,其特征在于,
    所述目标光照补偿模式的索引信息包括第一索引信息;
    若所述光照补偿使用标识为有效、且所述最优率失真代价为所述第一最小率失真代价,则所述第一索引信息为有效。
  37. 根据权利要求32或33所述的方法,其特征在于,
    所述目标光照补偿模式的索引信息包括:第一索引信息和第二索引信息;
    若所述光照补偿使用标识为有效、且所述最优率失真代价为所述第二最小率失真代价,则所述第一索引信息为无效,所述第二索引信息为无效;
    若所述光照补偿使用标识为有效、且所述最优率失真代价为所述第三最小率失真代价,则所述第一索引信息为无效,所述第二索引信息为有效。
  38. 根据权利要求32或33所述的方法,其特征在于,
    所述目标光照补偿模式的索引信息包括:第一索引信息和第二索引信息;
    若所述光照补偿使用标识为有效、且所述最优率失真代价为所述第二最小率失真代价,则所述第一索引信息为无效,所述第二索引信息为有效;
    若所述光照补偿使用标识为有效、且所述最优率失真代价为所述第三最小率失真代价,则所述第一索引信息为无效,所述第二索引信息为无效。
  39. 根据权利要求26所述的方法,其特征在于,所述方法还包括:
    若当前预测模式为跳过模式、合并模式或直接导出模式,则按照预设相邻顺获取所述当前块的相邻重建块的相邻光照补偿使用标识;
    若所述相邻光照补偿使用标识为无效,则确定所述当前块的光照补偿使用标识为无效;
    若所述相邻光照补偿使用标识为有效,则确定所述当前块的光照补偿使用标识为有效;并获取与所述相邻光照补偿使用标识对应的相邻光照补偿模式的索引信息;
    将所述相邻光照补偿模式的索引信息作为所述目标光照补偿模式的索引信息;
    根据所述目标光照补偿模式的索引信息和所述当前预测模式,对所述初始预测块进行光照补偿处理,得到当前预测值。
  40. 根据权利要求39所述的方法,其特征在于,所述确定所述当前块的光照补偿使用标识为无效之后,所述方法还包括:
    采用所述初始预测值与当前块的原始像素值进行率失真代价计算,确定最优率失真代价对应的当前预测模式和当前运动信息;
    采用所述当前预测模式和所述当前运动信息对所述当前编码块进行帧间预测,得到当前预测值;
    将所述当前预测模式的索引信息、当前运动信息的索引信息和所述光照补偿使用标识写入码流。
  41. 根据权利要求32或33所述的方法,其特征在于,所述当前块属于当前帧,所述初始预测块属于参考帧,所述方法还包括:
    在开启所述光照补偿功能时,基于所述当前帧的重建像素和所述参考帧的重建参考像素,确定所述上左光照补偿模式、所述上光照补偿模式和所述左光照补偿模式。
  42. 根据权利要求26所述的方法,其特征在于,所述方法还包括:
    对所述初始预测块进行运动补偿,得到中间预测块;
    基于所述当前帧的重建像素和所述参考帧的重建参考像素,确定所述上左光照补偿模式、所述上光照补偿模式和所述左光照补偿模式;
    对所述中间预测块,遍历所述上左光照补偿模式、所述上光照补偿模式和所述左光照补偿模式进行光照补偿处理,得到所述多个候选运动信息对应的所述第一类预测值、所述第二类预测值和所述第三类预测值。
  43. 根据权利要求26所述的方法,其特征在于,所述当前块属于当前帧,所述初始预测块属于参考帧所述方法还包括:
    基于所述当前帧的重建像素和所述参考帧的重建参考像素,确定所述上左光照补偿模式、所述上光照补偿模式和所述左光照补偿模式;
    对所述初始预测块遍历所述上左光照补偿模式、所述上光照补偿模式和所述左光照补偿模式进行光照补偿处理,得到第一光照补偿预测块、第二光照补偿预测块和第三光照补偿预测块;
    对所述第一光照补偿预测块、所述第二光照补偿预测块和所述第三光照补偿预测块分别进行运动补偿,对应得到所述多个候选运动信息对应的所述第一类预测值、所述第二类预测值和所述第三类预测值。
  44. 根据权利要求31至33任一项所述的方法,其特征在于,所述基于所述当前帧的重建像素和所述参考帧的重建参考像素,确定所述上左光照补偿模式、所述上光照补偿模式和所述左光照补偿模式,包括:
    基于所述当前帧的上重建像素、左重建像素,以及对应像素位置相同的所述参考帧的上重建参考像素和左重建参考像素,确定所述上左光照补偿模式;
    基于所述当前帧的上重建像素,以及对应像素位置相同的所述参考帧的上重建参考像素,确定 所述上光照补偿模式;
    基于所述当前帧的左重建像素,以及对应像素位置相同的所述参考帧的左重建参考像素,确定所述左光照补偿模式。
  45. 根据权利要求44所述的方法,其特征在于,
    所述当前帧的上重建像素包括:所述当前帧内的当前块的上一行相邻重建块的至少一个第一像素;
    所述当前帧的左重建像素包括:所述当前帧内的当前块的左一列相邻重建块的至少一个第二像素;
    所述参考帧的上重建参考像素包括:所述参考帧内的所述初始预测块的上一行相邻重建参考块的至少一个第三像素,或者,所述参考帧内的所述初始预测块内的第N行的至少一个第四像素;N为大于等于1小于当前块的行数的正整数;
    所述参考帧的左重建参考像素包括:所述参考帧内的所述初始预测块的左一列相邻重建参考块的至少一个第五像素,或者,所述参考帧内的所述初始预测块内的第M列的至少一个第六像素。M为大于等于1小于当前块的列数的正整数。
  46. 根据权利要求45所述的方法,其特征在于,
    所述至少一个第一像素为所述当前块的上一行相邻重建块中相隔预设间隔像素位置的像素;
    所述至少一个第二像素为所述当前块的左一列相邻重建块中相隔预设间隔像素位置的像素;
    所述至少一个第三像素为所述初始预测块的上一行相邻重建参考块中相隔预设间隔像素位置的像素;
    所述至少一个第四像素为所述初始预测块内的第N行像素中相隔预设间隔像素位置的像素;
    所述至少一个第五像素为所述初始预测块的左一列相邻重建参考块中相隔预设间隔像素位置的像素;
    所述至少一个第六像素为所述初始预测块内的第M列像素中相隔预设间隔像素位置的像素。
  47. 根据权利要求46所述的方法,其特征在于,所述基于所述当前帧的上重建像素、左重建像素,以及对应像素位置相同的所述参考帧的上重建参考像素和左重建参考像素,确定所述上左光照补偿模式,包括:
    对所述至少一个第一像素的至少一个第一像素值和所述至少一个第二像素的至少一个第二像素值进行排序,确定出前n个最大第一像素值和前n个最小第一像素值;n为大于等于1小于当前块的列数和行数的正整数;
    对所述至少一个第三像素和所述至少一个第四像素中的一种,与所述至少一个第五像素像素和所述至少一个第六像素中的一种进行排序,确定前n个最大第二像素值和前n个最小第二像素值;
    确定所述前n个最大第一像素值的第一最大平均值、所述前n个最小第一像素值的第一最小平均值、所述前n个最大第二像素值的第二最大平均值和所述前n个最小第二像素值的第二最小平均值;
    根据所述第一最大平均值、所述第一最小平均值、所述第二最大平均值和所述第二最小平均值,确定第一缩放因子和第一偏移因子;
    基于所述第一缩放因子、所述第一偏移因子和初始上左光照补偿模式,确定所述上左光照补偿模式。
  48. 根据权利要求46所述的方法,其特征在于,所述基于所述当前帧的上重建像素,以及对应像素位置相同的所述参考帧的上重建参考像素,确定所述上光照补偿模式,包括:
    对所述至少一个第一像素的至少一个第一像素值进行排序,确定出前m个最大第三像素值和前m个最小第三像素值;m为大于等于1小于当前块的列数和行数的正整数;
    对所述至少一个第三像素或所述至少一个第四像素进行排序,确定前m个最大第四像素值和前m个最小第四像素值;
    确定所述前m个最大第三像素值的第三最大平均值、所述前m个最小第三像素值的第三最小平均值、所述前m个最大第四像素值的第四最大平均值和所述前m个最小第四像素值的第四最小平均值;
    根据所述第三最大平均值、所述第三最小平均值、所述第四最大平均值和所述第四最小平均值,确定第二缩放因子和第二偏移因子;
    基于所述第二缩放因子、所述第二偏移因子和初始上光照补偿模式,确定所述上光照补偿模式。
  49. 根据权利要求46所述的方法,其特征在于,所述基于所述当前帧的左重建像素,以及对应 像素位置相同的所述参考帧的左重建参考像素,确定所述上左光照补偿模式,包括:
    对所述至少一个第一像素的至少一个第二像素值进行排序,确定出前h个最大第五像素值和前h个最小第五像素值;h为大于等于1小于当前块的列数和行数的正整数;
    对所述至少一个第五像素或所述至少一个第六像素进行排序,确定前h个最大第六像素值和前h个最小第六像素值;
    确定所述前h个最大第五像素值的第五最大平均值、所述前h个最小第五像素值的第五最小平均值、所述前h个最大第六像素值的第六最大平均值和所述前h个最小第六像素值的第六最小平均值;
    根据所述第五最大平均值、所述第五最小平均值、所述第六最大平均值和所述第六最小平均值,确定第三缩放因子和第三偏移因子;
    基于所述第三缩放因子、所述第三偏移因子和初始左光照补偿模式,确定所述左光照补偿模式。
  50. 根据权利要求26至49任一项所述的方法,其特征在于,
    上述的光照补偿处理作用在双向光流技术、解码端运动矢量修正、双向预测加权、帧间预测滤波或帧间帧内联合预测的实现流程中的任一位置。
  51. 根据权利要求26至50任一项所述的方法,其特征在于,
    双向光流技术、解码端运动矢量修正、双向预测加权、帧间预测滤波或帧间帧内联合预测中的至少一种的处理,与光照补偿处理不作用于同一个当前块。
  52. 根据权利要求26至51任一项所述的方法,其特征在于,
    所述上左光照补偿模式包括:亮度上左光照补偿模式,第一色度上左光照补偿模式和第二色度上左光照补偿模式;
    所述上光照补偿模式包括:亮度上光照补偿模式,第一色度上光照补偿模式和第二色度上光照补偿模式;
    所述左光照补偿模式包括:亮度左光照补偿模式,第一色度左光照补偿模式和第二色度左光照补偿模式。
  53. 根据权利要求26至52任一项所述的方法,其特征在于,
    所述当前块的尺寸范围在像素个数为64与像素个数为128x128之间。
  54. 根据权利要求26至53任一项所述的方法,其特征在于,所述方法还包括:
    确定当前帧是否开启光照补偿功能;
    若开启所述光照补偿功能,则将所述当前帧对应的帧级光照补偿允许标识确定为有效;
    若不开启所述光照补偿功能,则将所述当前帧对应的帧级光照补偿允许标识确定为无效;
    将所述帧级光照补偿允许标识写入码流。
  55. 根据权利要求26至54任一项所述的方法,其特征在于,所述方法还包括:
    确定当前帧的当前预测模式的帧级预测模式光照补偿允许标识;所述帧级预测模式光照补偿允许标识表征开启光照补偿功能;
    将所述帧级预测模式光照补偿允许标识写入码流。
  56. 根据权利要求26至55任一项所述的方法,其特征在于,
    所述上左光照补偿模式包括:多个子上左光照补偿模式;所述多个子上左光照补偿作用于所述初始预测块的不同像素区域;
    所述上光照补偿模式包括:多个子上光照补偿模式;所述多个子上光照补偿作用于所述初始预测块的不同像素区域;
    所述左光照补偿模式包括:多个子左光照补偿模式;所述多个子左光照补偿作用于所述初始预测块的不同像素区域。
  57. 根据权利要求26所述的方法,其特征在于,所述方法还包括:
    若当前预测模式为跳过模式、合并模式或直接导出模式,则按照预设相邻顺序获取所述当前块的相邻重建块的相邻光照补偿使用标识;
    若所述相邻光照补偿使用标识为无效,则确定所述当前块的光照补偿使用标识为无效;
    若所述相邻光照补偿使用标识为有效,则确定所述当前块的光照补偿使用标识为有效,并基于所述相邻光照补偿使用标识对应的当前块的相邻重建块的相邻位置信息,确定所述目标光照补偿模式。
  58. 根据权利要求57所述的方法,其特征在于,所述基于所述相邻光照补偿使用标识对应的当前块的相邻重建块的相邻位置信息,确定所述目标光照补偿模式,包括:
    所述相邻位置信息为上相邻时,确定所述目标光照补偿模式为所述上光照补偿模式;或者,
    所述相邻位置信息为左相邻时,确定所述目标光照补偿模式为所述左光照补偿模式;或者,
    所述相邻位置信息为非左相邻和非上相邻时,确定所述目标光照补偿模式为所述上左光照补偿模式。
  59. 一种解码器,其特征在于,包括:
    第一获取部分,被配置为获取码流;
    所述解析部分,被配置为解析所述码流,得到光照补偿允许标识、当前运动信息和当前预测模式;
    所述第一获取部分,还被配置为若所述光照补偿允许标识为有效,则获取所述码流中的光照补偿使用标识;若所述光照补偿使用标识为有效,则获取所述码流中的目标光照补偿模式的索引信息;
    所述第一预测部分,被配置为根据所述目标光照补偿模式的索引信息、所述当前预测模式和所述当前运动信息,对当前块进行帧间预测,得到预测值。
  60. 一种编码器,其特征在于,包括:
    第二确定部分,被配置为遍历多个候选运动信息,确定出当前块对应的初始预测块的初始预测值;所述初始预测块与所述多个候选运动信息一一对应;及针对所述初始预测块,遍历上左光照补偿模式、上光照补偿模式和左光照补偿模式进行光照补偿处理,得到所述多个候选运动信息对应的第一类预测值、第二类预测值和第三类预测值;其中,所述上左光照补偿模式、所述上光照补偿模式和所述左光照补偿模式之间是由不同位置相邻边的像素确定得到的;以及采用所述初始预测值、所述第一类预测值、所述第二类预测值和所述第三类预测值,分别与当前块的原始像素值进行率失真代价计算,确定出光照补偿使用标识,以及最优率失真代价对应的当前预测模式、当前运动信息和目标光照补偿模式;
    第二预测部分,被配置为采用所述当前预测模式、所述当前运动信息和所述目标光照补偿模式对所述当前编码块进行帧间预测,得到当前预测值;
    写入部分,被配置为将所述当前预测模式的索引信息、当前运动信息的索引信息、所述目标光照补偿模式的索引信息和所述光照补偿使用标识写入码流。
  61. 一种解码器,其特征在于,包括:
    第一存储器和第一处理器;
    所述第一存储器存储有可在第一处理器上运行的计算机程序,所述第一处理器执行所述程序时实现权利要求1至25任一项所述帧间预测方法。
  62. 一种编码器,其特征在于,包括:
    第二存储器和第二处理器;
    所述第二存储器存储有可在第二处理器上运行的计算机程序,所述第二处理器执行所述程序时实现权利要求26至58任一项所述帧间预测方法。
  63. 一种存储介质,其特征在于,其上存储有计算机程序,该计算机程序被第一处理器执行时,实现权利要求1至25任一项所述帧间预测方法;或者,该计算机程序被第二处理器执行时,实现权利要求26至58任一项所述帧间预测方法。
CN202080107593.5A 2020-12-03 2020-12-03 一种帧间预测方法、编码器、解码器及存储介质 Pending CN116569549A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311113909.3A CN116916029A (zh) 2020-12-03 2020-12-03 一种帧间预测方法、编码器、解码器及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/133709 WO2022116119A1 (zh) 2020-12-03 2020-12-03 一种帧间预测方法、编码器、解码器及存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311113909.3A Division CN116916029A (zh) 2020-12-03 2020-12-03 一种帧间预测方法、编码器、解码器及存储介质

Publications (1)

Publication Number Publication Date
CN116569549A true CN116569549A (zh) 2023-08-08

Family

ID=81852826

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202080107593.5A Pending CN116569549A (zh) 2020-12-03 2020-12-03 一种帧间预测方法、编码器、解码器及存储介质
CN202311113909.3A Pending CN116916029A (zh) 2020-12-03 2020-12-03 一种帧间预测方法、编码器、解码器及存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202311113909.3A Pending CN116916029A (zh) 2020-12-03 2020-12-03 一种帧间预测方法、编码器、解码器及存储介质

Country Status (3)

Country Link
CN (2) CN116569549A (zh)
MX (1) MX2023006592A (zh)
WO (1) WO2022116119A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023245349A1 (zh) * 2022-06-20 2023-12-28 Oppo广东移动通信有限公司 一种局部光照补偿方法、视频编解码方法、装置和系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018056709A1 (ko) * 2016-09-22 2018-03-29 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측 방법 및 장치
CN111698515B (zh) * 2019-03-14 2023-02-14 华为技术有限公司 帧间预测的方法及相关装置
CN111031319B (zh) * 2019-12-13 2022-04-19 浙江大华技术股份有限公司 一种局部光照补偿预测方法、终端设备及计算机存储介质

Also Published As

Publication number Publication date
CN116916029A (zh) 2023-10-20
MX2023006592A (es) 2023-06-16
WO2022116119A1 (zh) 2022-06-09

Similar Documents

Publication Publication Date Title
CN114009040B (zh) 编码器、解码器及对应方法
RU2683165C1 (ru) Внутреннее предсказание блочного копирования с асимметричными разделами и схемами поиска на стороне кодера, диапазоны поиска и подходы к разделению
US10063877B2 (en) Method and an apparatus for processing a video signal
US10070126B2 (en) Method and apparatus of intra mode coding
TWI754188B (zh) 用於增加計算交叉分量線性模型參數的穩健性的編碼器、解碼器及方法
US20220191548A1 (en) Picture prediction method, encoder, decoder and storage medium
CN109996080B (zh) 图像的预测方法、装置及编解码器
CN116456101A (zh) 图像编码方法、图像解码方法及相关装置
US11871034B2 (en) Intra block copy for screen content coding
US9432694B2 (en) Signal shaping techniques for video data that is susceptible to banding artifacts
US20230396780A1 (en) Illumination compensation method, encoder, and decoder
CN117221534A (zh) 帧间预测方法、视频编解码方法、装置及介质
CN116569549A (zh) 一种帧间预测方法、编码器、解码器及存储介质
CN110971897B (zh) 色度分量的帧内预测模式的编码、解码方法、设备和系统
US8891627B1 (en) System and method for coding video using color segmentation
TWI753377B (zh) 用於影像及視訊寫碼之選擇性成分間變換(ict)技術
CN116980596A (zh) 一种帧内预测方法、编码器、解码器及存储介质
CN116250240A (zh) 图像编码方法、图像解码方法及相关装置
CN117616751A (zh) 动态图像组的视频编解码
WO2024016156A1 (zh) 滤波方法、编码器、解码器、码流以及存储介质
KR20130049707A (ko) 인트라 예측 방법 및 장치
US20240236378A1 (en) Encoding method, decoding method, and decoder
WO2023197230A1 (zh) 滤波方法、编码器、解码器以及存储介质
WO2023130226A1 (zh) 一种滤波方法、解码器、编码器及计算机可读存储介质
KR20230169986A (ko) 복수의 dimd 모드 기반 인트라 예측 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination