CN113840148A - 帧间预测方法、编码器、解码器以及计算机存储介质 - Google Patents

帧间预测方法、编码器、解码器以及计算机存储介质 Download PDF

Info

Publication number
CN113840148A
CN113840148A CN202010591597.7A CN202010591597A CN113840148A CN 113840148 A CN113840148 A CN 113840148A CN 202010591597 A CN202010591597 A CN 202010591597A CN 113840148 A CN113840148 A CN 113840148A
Authority
CN
China
Prior art keywords
candidate position
current block
motion information
initial candidate
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010591597.7A
Other languages
English (en)
Inventor
杨宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010591597.7A priority Critical patent/CN113840148A/zh
Priority to CN202180008725.3A priority patent/CN114930838A/zh
Priority to MX2022010727A priority patent/MX2022010727A/es
Priority to CN202310245097.1A priority patent/CN116471418A/zh
Priority to PCT/CN2021/089252 priority patent/WO2021258841A1/zh
Priority to TW110118910A priority patent/TW202201958A/zh
Publication of CN113840148A publication Critical patent/CN113840148A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding

Abstract

本申请实施例公开了一种帧间预测方法、编码器、解码器以及计算机存储介质,应用于解码器,该方法包括:解析码流,获取当前块的预测模式参数;当所述预测模式参数指示使用预设的帧间预测模式确定当前块的帧间预测值时,确定所述当前块的至少一个初始候选位置;在所述至少一个初始候选位置超出所述当前块的最大编码单元LCU边界的情况下,对所述至少一个初始候选位置进行调整,得到所述当前块的至少一个目标候选位置;基于所述至少一个目标候选位置,确定所述当前块的至少一个时域运动信息;基于所述至少一个时域运动信息,构建新的运动信息候选列表;根据所述新的运动信息候选列表,确定所述当前块的帧间预测值。

Description

帧间预测方法、编码器、解码器以及计算机存储介质
技术领域
本申请涉及视频编解码技术领域,尤其涉及一种帧间预测方法、编码器、解码器以及计算机存储介质。
背景技术
在视频编解码领域,针对当前块进行编解码的过程,除了采用帧内预测方式外,还可以采用帧间预测方式。其中,帧间预测可以包括帧间几何划分预测模式(GeometricPartitioning Mode,GPM)和角度加权预测模式(Angular Weighted Prediction,AWP)等,通过将帧间的当前块划分为两个非矩形的分区(或两个块)分别进行预测后再加权融合,能够得到当前块的预测值。
目前,在GPM或AWP的预测过程中,时域运动信息是来自于已编码完成的参考帧,这时候不再局限于当前块左上角位置。针对右上、左下、右下等三个位置都处于当前块的外部,如果某一个位置不可用,比如超出图像边界、片(patch)边界等,那么才会调整为当前块的内部位置。然而针对当前块的最大编码单元(Largest Coding Unit,LCU),目前只缓存与当前LCU相同位置的一个LCU大小的部分的运动信息。如果当前块的右边界正好与当前LCU的右边界重合,或当前块的下边界正好与当前LCU的下边界重合,那么右上、左下、右下三个位置中至少有一个超出当前LCU的边界,这时候如果某个或这几个位置仍然在图像内部或patch内部,表示仍然是可用的,此时硬件就需要增加额外的带宽来获取某个或这几个位置的运动信息。
发明内容
本申请提出一种帧间预测方法、编码器、解码器以及计算机存储介质,可以使硬件实现时不增加额外的带宽,同时还能够保证编解码性能。
本申请的技术方案是这样实现的:
第一方面,本申请实施例提供了一种帧间预测方法,应用于解码器,该方法包括:
解析码流,获取当前块的预测模式参数;
当所述预测模式参数指示使用预设的帧间预测模式确定当前块的帧间预测值时,确定所述当前块的至少一个初始候选位置;
在所述至少一个初始候选位置超出所述当前块的最大编码单元LCU边界的情况下,对所述至少一个初始候选位置进行调整,得到所述当前块的至少一个目标候选位置;
基于所述至少一个目标候选位置,确定所述当前块的至少一个时域运动信息;
基于所述至少一个时域运动信息,构建新的运动信息候选列表;
根据所述新的运动信息候选列表,确定所述当前块的帧间预测值。
第二方面,本申请实施例提供了一种帧间预测方法,应用于编码器,该方法包括:
确定当前块的预测模式参数;
当所述预测模式参数指示使用预设的帧间预测模式确定当前块的帧间预测值时,确定所述当前块的至少一个初始候选位置;
在所述至少一个初始候选位置超出所述当前块的最大编码单元LCU边界的情况下,对所述至少一个初始候选位置进行调整,得到所述当前块的至少一个目标候选位置;
基于所述至少一个目标候选位置,确定所述当前块的至少一个时域运动信息;
基于所述至少一个时域运动信息,构建新的运动信息候选列表;
根据所述新的运动信息候选列表,确定所述当前块的帧间预测值。
第三方面,本申请实施例提供了一种解码器,该解码器包括解析单元、第一确定单元、第一调整单元、第一构建单元和第一预测单元;其中,
所述解析单元,配置为解析码流,获取当前块的预测模式参数;
所述第一确定单元,配置为当所述预测模式参数指示使用预设的帧间预测模式确定当前块的帧间预测值时,确定所述当前块的至少一个初始候选位置;
所述第一调整单元,配置为在所述至少一个初始候选位置超出所述当前块的最大编码单元LCU边界的情况下,对所述至少一个初始候选位置进行调整,得到所述当前块的至少一个目标候选位置;
所述第一确定单元,还配置为基于所述至少一个目标候选位置,确定所述当前块的至少一个时域运动信息;
所述第一构建单元,配置为基于所述至少一个时域运动信息,构建新的运动信息候选列表;
所述第一预测单元,配置为根据所述新的运动信息候选列表,确定所述当前块的帧间预测值。
第四方面,本申请实施例提供了一种解码器,该解码器包括第一存储器和第一处理器;其中,
所述第一存储器,用于存储能够在所述第一处理器上运行的计算机程序;
所述第一处理器,用于在运行所述计算机程序时,执行如第一方面所述的方法。
第五方面,本申请实施例提供了一种编码器,该编码器包括第二确定单元、第二调整单元、第二构建单元和第二预测单元;其中,
所述第二确定单元,配置为确定当前块的预测模式参数;及当所述预测模式参数指示使用预设的帧间预测模式确定当前块的帧间预测值时,确定所述当前块的至少一个初始候选位置;
所述第二调整单元,配置为在所述至少一个初始候选位置超出所述当前块的最大编码单元LCU边界的情况下,对所述至少一个初始候选位置进行调整,得到所述当前块的至少一个目标候选位置;
所述第二确定单元,还配置为基于所述至少一个目标候选位置,确定所述当前块的至少一个时域运动信息;
所述第二构建单元,配置为基于所述至少一个时域运动信息,构建新的运动信息候选列表;
所述第二预测单元,配置为根据所述新的运动信息候选列表,确定所述当前块的帧间预测值。
第六方面,本申请实施例提供了一种编码器,该编码器包括第二存储器和第二处理器;其中,
所述第二存储器,用于存储能够在所述第二处理器上运行的计算机程序;
所述第二处理器,用于在运行所述计算机程序时,执行如第二方面所述的方法。
第七方面,本申请实施例提供了一种计算机存储介质,该计算机存储介质存储有计算机程序,所述计算机程序被第一处理器执行时实现如第一方面所述的方法、或者被第二处理器执行时实现如第二方面所述的方法。
本申请实施例所提供的一种帧间预测方法、编码器、解码器以及计算机存储介质,解析码流,获取当前块的预测模式参数;当所述预测模式参数指示使用预设的帧间预测模式确定当前块的帧间预测值时,确定所述当前块的至少一个初始候选位置;在所述至少一个初始候选位置超出所述当前块的LCU边界的情况下,对所述至少一个初始候选位置进行调整,得到所述当前块的至少一个目标候选位置;基于所述至少一个目标候选位置,确定所述当前块的至少一个时域运动信息;基于所述至少一个时域运动信息,构建新的运动信息候选列表;根据所述新的运动信息候选列表,确定所述当前块的帧间预测值。这样,在确定出当前块的至少一个初始候选位置之后,通过对至少一个初始候选位置进行调整以使得至少一个目标候选位置不会超出当前块的LCU边界,从而能够使硬件实现时不增加额外的带宽,同时还能够保证编解码性能。
附图说明
图1为本申请实施例提供的一种典型图像组的结构示意图;
图2A为本申请实施例提供的一种当前块与相邻块的空间位置关系示意图;
图2B为本申请实施例提供的另一种当前块与相邻块的空间位置关系示意图;
图3为本申请实施例提供的一种片结构的空间位置关系示意图;
图4A为本申请实施例提供的一种视频编码系统的组成框图示意图;
图4B为本申请实施例提供的一种视频解码系统的组成框图示意图;
图5为本申请实施例提供的一种帧间预测方法的流程示意图;
图6A为本申请实施例提供的一种初始候选位置的结构示意图;
图6B为本申请实施例提供的另一种初始候选位置的结构示意图;
图6C为本申请实施例提供的又一种初始候选位置的结构示意图;
图6D为本申请实施例提供的再一种初始候选位置的结构示意图;
图6E为本申请实施例提供的再一种初始候选位置的结构示意图;
图7为本申请实施例提供的另一种帧间预测方法的流程示意图;
图8A为本申请实施例提供的一种GPM在64×64的当前块上多种划分模式的权重分配示意图;
图8B为本申请实施例提供的一种AWP在64×64的当前块上多种划分模式的权重分配示意图;
图9为本申请实施例提供的又一种帧间预测方法的流程示意图;
图10为本申请实施例提供的再一种帧间预测方法的流程示意图;
图11为本申请实施例提供的一种解码器的组成结构示意图;
图12为本申请实施例提供的一种解码器的硬件结构示意图;
图13为本申请实施例提供的一种编码器的组成结构示意图;
图14为本申请实施例提供的一种编码器的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是,此处所描述的具体实施例仅仅用于解释相关申请,而非对该申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关申请相关的部分。
在视频图像中,一般采用第一图像分量、第二图像分量和第三图像分量来表征当前块(Coding Block,CB);其中,这三个图像分量分别为一个亮度分量、一个蓝色色度分量和一个红色色度分量,具体地,亮度分量通常使用符号Y表示,蓝色色度分量通常使用符号Cb或者U表示,红色色度分量通常使用符号Cr或者V表示;这样,视频图像可以用YCbCr格式表示,也可以用YUV格式表示。
目前,通用的视频编解码标准基于都采用基于块的混合编码框架。视频图像中的每一帧被分割成相同大小(比如128×128,64×64等)的正方形的最大编码单元(LargestCoding Unit,LCU),每个最大编码单元还可以根据规则划分成矩形的编码单元(CodingUnit,CU);而且编码单元可能还会划分成更小的预测单元(Prediction Unit,PU)。具体地,混合编码框架可以包括有预测、变换(Transform)、量化(Quantization)、熵编码(EntropyCoding)、环路滤波(In Loop Filter)等模块;其中,预测模块可以包括帧内预测(intraprediction)和帧间预测(inter prediction),帧间预测可以包括运动估计(motionestimation)和运动补偿(motion compensation)。由于视频图像的一个帧内相邻像素之间存在很强的相关性,在视频编解码技术中使用帧内预测方式能够消除相邻像素之间的空间冗余;但是由于视频图像中的相邻帧之间也存在着很强的相似性,在视频编解码技术中使用帧间预测方式消除相邻帧之间的时间冗余,从而能够提高编码效率。下述本申请将以帧间预测进行详细描述。
需要说明的是,运动信息可以包括运动矢量(Motion Vector,MV)信息和参考帧信息。具体地,对于使用帧间预测的当前块而言,该当前块所在的当前帧具有一个或多个参考帧,而当前块可以是编码单元或预测单元,可以使用一个包含一组运动矢量和参考帧信息的运动信息指示到某一参考帧内一个与当前块大小相同的像素区域,这里称之为参考块,也可以使用一个包含两组运动矢量和参考帧信息的运动信息指示到某两个可以相同也可以不同的参考帧内的两个参考块;然后运动补偿可以根据运动信息所指示的参考块得到当前块的帧间预测值。
应理解,P帧(Predictive Frame)是只能使用图像播放顺序(Picture OrderCount,POC)在当前帧之前的参考帧进行预测的帧。这时候当前参考帧只有一个参考帧列表,用RefPicList0表示;且RefPicList0中都是POC在当前帧之前的参考帧。B帧(Bi-directional Interpolated Prediction Frame)早期是可以使用POC在当前帧之前的参考帧及POC在当前帧之后的参考帧进行预测的帧。B帧有两个参考帧列表,分别用RefPicList0和RefPicList1表示;其中,RefPicList0中都是POC在当前帧之前的参考帧,RefPicList1中都是POC在当前帧之后的参考帧。对于当前块而言,可以只参考RefPicList0中某一帧的参考块,这种情况可称为前向预测;或者也可以只参考RefPicList1中某一帧的参考块,这种情况可称为后向预测;或者还可以同时参考RefPicList0中某一帧的参考块和RefPicList1中某一帧的参考块,这种情况可称为双向预测。同时参考两个参考块的一种简单方式是将两个参考块内每一个对应位置的像素进行平均以得到当前块内每一像素的帧间预测值(或者可以称为预测块)。后期B帧不再限制RefPicList0中都是POC在当前帧之前的参考帧,RefPicList1中都是POC在当前帧之后的参考帧。换句话说,RefPicList0中也可以有POC在当前帧之后的参考帧,RefPicList1中也可以有POC在当前帧之前的参考帧,也即是指当前块可以同时参考POC在当前帧之前的参考帧或者同时参考POC在当前帧之后的参考帧。但是当前块为双向预测时所使用的参考帧必须一个来自于RefPicList0,一个来自于RefPicList1;这种B帧也称为广义B帧。
由于随机访问(Random Access,RA)配置的编解码顺序与POC顺序不同,这样B帧可以同时参考当前帧之前的信息和当前帧之后的信息,能够明显提高编码性能。示例性地,RA的一种经典的图像组(Group Of Pictures,GOP)结构如图1所示,在图1中,箭头表示参考关系,由于I帧不需要参考帧,那么在POC为0的I帧解码后,将会解码POC为4的P帧,而在解码POC为4的P帧时可以参考POC为0的I帧。在POC为4的P帧解码后,然后再解码POC为2的B帧,而在解码POC为2的B帧时可以参考POC为0的I帧和POC为4的P帧,等等。这样,根据图1可以得到,POC顺序为{0 1 2 3 4 5 6 7 8}的情况下,其对应的解码顺序为{0 3 2 4 1 7 6 85}。
另外,低延迟(Low Delay,LD)配置的编解码顺序与POC顺序是相同的,这时候当前帧只能参考当前帧之前的信息。其中,Low Delay配置又分Low Delay P和Low Delay B。LowDelay P即传统的Low Delay配置。其典型的结构是IPPP……,即先编解码一个I帧,之后解码的帧都是P帧。Low Delay B的典型结构是IBBB……,与Low Delay P的区别在于每个帧间帧都是B帧,即使用两个参考帧列表,当前块可以同时参考RefPicList0中的某一帧的参考块和RefPicList1中的某一帧的参考块。这里,当前帧的一个参考帧列表最多可以有几个参考帧,如2个、3个或4个等。当编码或解码某一个当前帧时,RefPicList0和RefPicList1内各有哪几个参考帧是由预设配置或算法决定的,但是同一个参考帧可以同时出现在RefPicList0和RefPicList1中,即编码器或解码器允许当前块同时参考同一个参考帧中的两个参考块。
在本申请实施例中,编码器或解码器通常可以使用参考帧列表里的索引值(用index表示)来对应参考帧。如果一个参考帧列表长度为4,那么index有0、1、2、3等四个值。例如,如果当前帧的RefPicList0有POC为5,4,3,0的4个参考帧,那么RefPicList0的index0为POC 5的参考帧,RefPicList0的index 1为POC 4的参考帧,RefPicList0的index 2为POC 3的参考帧,RefPicList0的index 3为POC 0的参考帧。
目前的多功能视频编码(Versatile Video Coding,VVC)标准中,预设的帧间预测模式可以为GPM预测模式。目前的数字音视频编解码技术标准(Audio Video codingStandard,AVS)中,预设的帧间预测模式可以为AWP预测模式。这两种预测模式虽然名称不同、具体的实现形式不同、但原理上是共通的,即这两种预测模式都可以适用本申请实施例的帧间预测方法。
具体来讲,对于GPM预测模式来说,如果使用GPM,那么码流中将会传输GPM下的预测模式参数,比如GPM具体的划分模式;通常情况下,GPM包括有64种划分模式。对于AWP预测模式来说,如果使用AWP,那么码流中将会传输AWP下的预测模式参数,比如AWP具体的划分模式;通常情况下,AWP包括有56种划分模式。
在预设的预测模式下,比如GPM和AWP均需要使用两个单向运动信息查找两个参考块。目前的实现方式是在编码器侧利用当前块之前已编码/已解码部分的相关信息构建一个运动信息候选列表(也可以称为单向运动信息候选列表),从该运动信息候选列表中选择单向运动信息,将这两个单向运动信息在运动信息候选列表中的索引值(index)写入码流。在解码器侧采用同样的方式,即利用当前块之前已解码部分的相关信息构建一个运动信息候选列表,这个运动信息候选列表与编码器侧构建的候选列表一定是相同的。如此,从码流中解析出两个运动信息的索引值,然后从运动信息候选列表中查找出这两个单向运动信息即为当前块需要使用的两个单向运动信息。
还需要说明的是,本申请实施例所描述的单向运动信息可以包括有运动矢量信息,即(x,y)的值,以及对应的参考帧信息,即参考帧列表及在参考帧列表中的参考索引值。一种表示方式是记录两个参考帧列表的参考索引值,其中一个参考帧列表对应的参考索引值有效,如0,1,2等;另一个参考帧列表对应的参考索引值为无效,即-1。参考索引值有效的参考帧列表即为当前块的运动信息所使用的参考帧列表,根据参考索引值可以从该参考帧列表中查找到对应的参考帧。每个参考帧列表都有一个对应的运动矢量,有效的参考帧列表对应的运动矢量是有效的,无效的参考帧列表对应的运动矢量是无效的。解码器可以通过单向运动信息中的参考帧信息找到所需的参考帧,根据当前块的位置以及运动矢量即(x,y)的值可以在参考帧中找到参考块,进而确定出当前块的帧间预测值。
实际应用中,运动信息候选列表的构建方式不仅使用了空域运动信息,还使用了时域运动信息。其中,在VVC中构建合并候选列表(merge list)时,也用到了时域运动信息和空域运动信息。如图2A所示,其示出了merge list构建时所使用到的相关位置的运动信息,填充元素为1、2、3、4、5的候选位置表示空域相关位置,即当前帧内与当前块相邻的这些位置块所使用的运动信息;填充元素为6和7的候选位置表示时域相关位置,即某一个参考帧中对应位置所使用的运动信息,这些运动信息还可以是经过了缩放(scaling)。这里,对于时域运动信息来说,如果候选位置6可用,那么可以使用6位置对应的运动信息;否则,可以使用7位置对应的运动信息。需要注意的是,三角划分预测模式(Triangle PartitionMode,TPM)和GPM预测模式中关于运动信息候选列表的构建中也涉及到了这几个位置的使用;而且这里块的大小并非为实际大小,只是作为示例说明。
对于AWP预测模式来说,如图2B所示,块E为当前块,而块A、块B、块C、块D、块F、块G均为块E的相邻块。具体来讲,块E的相邻块A是样本(x0-1,y0)所在的块,块E的相邻块B是样本(x0,y0-1)所在的块,块E的相邻块C是样本(x0+1,y0-1)所在的块,块E的相邻块D是样本(x0-1,y0-1)所在的块,块E的相邻块F是样本(x0-1,y1)所在的块,块E的相邻块G是样本(x1,y0-1)所在的块。其中,(x0,y0)是块E左上角样本在图像中的坐标,(x1,y0)是块E右上角样本在图像中的坐标,(x0,y1)是块E左下角样本在图像中的坐标。这里,块E和它的相邻块A、B、C、D、F和G之间的空间位置关系见图2B。
需要指出,相邻块X(X可为A、B、C、D、F或G)“存在”指该块应在图像内并且该块应与块E属于同一片;否则相邻块“不存在”。
如果块“不存在”或者尚未解码,则此块“不可用”;否则此块“可用”。如果图像样本所在的块“不存在”或者此样本尚未解码,则此样本“不可用”;否则此样本“可用”。
还需要注意的是,片(patch)是图像中的矩形区域,包含有若干最大编码单元在图像内的部分,片结构如图3所示,比如A、B、C、D、E、F等片,片与片之间不应重叠。
进一步地,图像划分为最大编码单元,最大编码单元之间不应重叠,最大编码单元左上角的样本不应超出图像边界,最大编码单元右下角的样本可超出图像边界。这里,最大编码单元划分为一个或多个编码单元,由编码树决定,而编码单元可划分为一个或多个变换单元。
在构建运动信息候选列表的过程中,目前提案中时域运动信息由于来自于已编码完成的参考帧,不再局限于当前块左上角的位置。目前提案所提出的方式是“哪里不够补哪里”,这里设置有四个不同的位置,假定当前块的左上角是(x,y),当前块的宽度是width,高度是height,那么这4个位置分别如下表1所示。需要注意的是,这里所说的宽度和高度通常是指亮度分量的宽度(即l_width)和高度(即l_height),但不作具体限定。
表1
Pos 0 左上角 (x,y)
Pos 1 右上角 (x+width,y)
Pos 2 左下角 (x,y+height)
Pos 3 右下角 (x+width,y+height)
对AWP的每一个模式,小角在上述4个位置中的哪一个位置,时域运动信息就可以利用哪一个位置确定。具体如下表2所示。在表2中,0即表示“Pos 0”,1即表示“Pos 1”,2即表示“Pos 2”,3即表示“Pos 3”。
表2
0 0 3 1 2 2 3 0
0 0 3 1 2 2 3 0
0 3 3 3 2 3 3 3
3 3 3 3 3 3 3 3
3 3 3 3 1 3 3 3
3 3 3 2 1 1 3 3
3 3 3 2 1 1 3 3
具体地,假定TmvpPos=AwpIdxToTmvpPos[AwpIdx],那么
若TmvpPos等于0,则按方法一推导出时域双向的运动信息;
若TmvpPos等于1,则按方法二推导出时域双向的运动信息;
若TmvpPos等于2,则按方法三推导出时域双向的运动信息;
若TmvpPos等于3,则按方法四推导出时域双向的运动信息。
这里,AwpIdxToTmvpPos对应的查找表如表2所示。将导出的时域双向的运动信息拆分为指向参考帧列表List0的单向运动信息以及指向参考帧列表List1的单向运动信息,先进行单向运动信息查重操作,若不重复则放入AwpUniArray,直至长度为4或遍历结束。
下面将以当前块的左上角、右上角、左下角和右下角为例,分别提供方法一、方法二、方法三和方法四推导出时域运动信息的具体步骤。
方法一,以当前块的左上角为例,推导运动信息的步骤如下:
第一步,
如果参考图像队列1中参考索引值为0的图像中与当前预测单元的左上角亮度样本位置对应的亮度样本所在的时域运动信息存储单元存储的参考帧索引为-1,则当前预测单元的L0参考索引和L1参考索引均等于0。以当前预测单元所在编码单元的尺寸和位置作为当前预测单元的尺寸和位置,然后将所得到的L0运动矢量预测值和L1运动矢量预测值分别作为当前预测单元的L0运动矢量MvE0和L1运动矢量MvE1,并令当前预测单元的L0参考索引RefIdxL0和L1参考索引RefIdxL1均等于0,结束运动信息导出过程。
否则,
当前预测单元的L0参考索引和L1参考索引均等于0。当前预测单元的L0参考索引和L1参考索引对应的图像的距离索引分别记为DistanceIndexL0和DistanceIndexL1;当前预测单元的L0参考索引和L1参考索引对应的图像的BlockDistance分别记为BlockDistanceL0和BlockDistanceL1。
在参考图像队列1中参考索引为0的图像中与当前预测单元的左上角亮度样本位置对应的亮度样本所在的时域运动信息存储单元的L0运动矢量记为mvRef(mvRef_x,mvRef_y),该运动信息存储单元所在的图像的距离索引记为DistanceIndexCol,该运动矢量指向的参考单元所在的图像的距离索引记为DistanceIndexRef。
第二步,
BlockDistanceRef=DistanceIndexCol-DistanceIndexRef
第三步,
令当前预测单元的L0参考索引RefIdxL0等于0,计算当前预测单元的L0运动矢量mvE0(mvE0_x,mvE0_y):
Figure BDA0002555751200000061
这里,mvX即为mvRef,MVX即为mvE0。
令当前预测单元的L1参考索引RefIdxL1等于0,计算当前预测单元的L1运动矢量mvE1(mvE1_x,mvE1_y):
Figure BDA0002555751200000062
这里,mvX即为mvRef,MVX即为mvE1。
第四步,interPredRefMode的值等于‘PRED_List01’。
方法二,以当前块的右上角为例,推导运动信息的步骤如下:
第一步,
假定当前预测单元的左上角亮度样本位置为(x,y),亮度预测块的宽度为l_width,亮度预测块的高度为l_height;而所选当前预测单元的右上角亮度样本位置为(x’,y’),x’=x+l_width,y’=y
如果上面推导出的(x’,y’)不可用,比如超出图像边界,patch边界等,那么x’=x+l_width-1,y’=y。
第二步,
如果参考图像队列1中参考索引值为0的图像中与所选当前预测单元的右上角亮度样本位置对应的亮度样本所在的时域运动信息存储单元存储的参考帧索引为-1,则当前预测单元的L0参考索引和L1参考索引均等于0。以当前预测单元所在编码单元的尺寸和位置作为当前预测单元的尺寸和位置,然后将所得到的L0运动矢量预测值和L1运动矢量预测值分别作为当前预测单元的L0运动矢量MvE0和L1运动矢量MvE1,并令当前预测单元的L0参考索引RefIdxL0和L1参考索引RefIdxL1均等于0,结束运动信息导出过程。
否则,
当前预测单元的L0参考索引和L1参考索引均等于0。当前预测单元的L0参考索引和L1参考索引对应的图像的距离索引分别记为DistanceIndexL0和DistanceIndexL1;当前预测单元的L0参考索引和L1参考索引对应的图像的BlockDistance分别记为BlockDistanceL0和BlockDistanceL1。
在参考图像队列1中参考索引为0的图像中与所选当前预测单元的右上角亮度样本位置对应的亮度样本所在的时域运动信息存储单元的L0运动矢量记为mvRef(mvRef_x,mvRef_y),该运动信息存储单元所在的图像的距离索引记为DistanceIndexCol,该运动矢量指向的参考单元所在的图像的距离索引记为DistanceIndexRef。
第三步,
BlockDistanceRef=DistanceIndexCol-DistanceIndexRef
第四步,
令当前预测单元的L0参考索引RefIdxL0等于0,计算当前预测单元的L0运动矢量mvE0(mvE0_x,mvE0_y):
Figure BDA0002555751200000063
这里,mvX即为mvRef,MVX即为mvE0。
令当前预测单元的L1参考索引RefIdxL1等于0,计算当前预测单元的L1运动矢量mvE1(mvE1_x,mvE1_y):
Figure BDA0002555751200000071
这里,mvX即为mvRef,MVX即为mvE1。
第五步,interPredRefMode的值等于‘PRED_List01’。
方法三,以当前块的左下角为例,推导运动信息的步骤如下:
第一步,
假定当前预测单元的左上角亮度样本位置为(x,y),亮度预测块的宽度为l_width,亮度预测块的高度为l_height;而所选当前预测单元的左下角亮度样本位置为(x’,y’),x’=x,y’=y+l_height。
如果上面推导出的(x’,y’)不可用,比如超出图像边界、patch边界等,那么x’=x,y’=y+l_height-1。
第二步,
如果参考图像队列1中参考索引值为0的图像中与所选当前预测单元的左下角亮度样本位置对应的亮度样本所在的时域运动信息存储单元存储的参考帧索引为-1,则当前预测单元的L0参考索引和L1参考索引均等于0。以当前预测单元所在编码单元的尺寸和位置作为当前预测单元的尺寸和位置,然后将所得到的L0运动矢量预测值和L1运动矢量预测值分别作为当前预测单元的L0运动矢量MvE0和L1运动矢量MvE1,并令当前预测单元的L0参考索引RefIdxL0和L1参考索引RefIdxL1均等于0,结束运动信息导出过程。
否则,
当前预测单元的L0参考索引和L1参考索引均等于0。当前预测单元的L0参考索引和L1参考索引对应的图像的距离索引分别记为DistanceIndexL0和DistanceIndexL1;当前预测单元的L0参考索引和L1参考索引对应的图像的BlockDistance分别记为BlockDistanceL0和BlockDistanceL1。
在参考图像队列1中参考索引为0的图像中与所选当前预测单元的左下角亮度样本位置对应的亮度样本所在的时域运动信息存储单元的L0运动矢量记为mvRef(mvRef_x,mvRef_y),该运动信息存储单元所在的图像的距离索引记为DistanceIndexCol,该运动矢量指向的参考单元所在的图像的距离索引记为DistanceIndexRef。
第三步,
BlockDistanceRef=DistanceIndexCol-DistanceIndexRef
第四步,
令当前预测单元的L0参考索引RefIdxL0等于0,计算当前预测单元的L0运动矢量mvE0(mvE0_x,mvE0_y):
Figure BDA0002555751200000072
这里,mvX即为mvRef,MVX即为mvE0。
令当前预测单元的L1参考索引RefIdxL1等于0,计算当前预测单元的L1运动矢量mvE1(mvE1_x,mvE1_y):
Figure BDA0002555751200000073
这里,mvX即为mvRef,MVX即为mvE1。
第五步,interPredRefMode的值等于‘PRED_List01’。
方法四,以当前块的右下角为例,推导运动信息的步骤如下:
第一步,
假定当前预测单元的左上角亮度样本位置为(x,y),亮度预测块的宽度为l_width,亮度预测块的高度为l_height;而所选当前预测单元的右下角亮度样本位置为(x’,y’),x’=x+l_width,y’=y+l_height。
如果上面推导出的(x’,y’)不可用,比如超出图像边界、patch边界等,那么如果x’不可用,x’=x+l_width-1;如果y’不可用,y’=y+l_height-1。
第二步,
如果参考图像队列1中参考索引值为0的图像中与所选当前预测单元的右下角亮度样本位置对应的亮度样本所在的时域运动信息存储单元存储的参考帧索引为-1,则当前预测单元的L0参考索引和L1参考索引均等于0。以当前预测单元所在编码单元的尺寸和位置作为当前预测单元的尺寸和位置,然后将所得到的L0运动矢量预测值和L1运动矢量预测值分别作为当前预测单元的L0运动矢量MvE0和L1运动矢量MvE1,并令当前预测单元的L0参考索引RefIdxL0和L1参考索引RefIdxL1均等于0,结束运动信息导出过程。
否则,
当前预测单元的L0参考索引和L1参考索引均等于0。当前预测单元的L0参考索引和L1参考索引对应的图像的距离索引分别记为DistanceIndexL0和DistanceIndexL1;当前预测单元的L0参考索引和L1参考索引对应的图像的BlockDistance分别记为BlockDistanceL0和BlockDistanceL1。
在参考图像队列1中参考索引为0的图像中与所选当前预测单元的右下角亮度样本位置对应的亮度样本所在的时域运动信息存储单元的L0运动矢量记为mvRef(mvRef_x,mvRef_y),该运动信息存储单元所在的图像的距离索引记为DistanceIndexCol,该运动矢量指向的参考单元所在的图像的距离索引记为DistanceIndexRef。
第三步,
BlockDistanceRef=DistanceIndexCol-DistanceIndexRef
第四步,
令当前预测单元的L0参考索引RefIdxL0等于0,计算当前预测单元的L0运动矢量mvE0(mvE0_x,mvE0_y):
Figure BDA0002555751200000081
这里,mvX即为mvRef,MVX即为mvE0。
令当前预测单元的L1参考索引RefIdxL1等于0,计算当前预测单元的L1运动矢量mvE1(mvE1_x,mvE1_y):
Figure BDA0002555751200000082
这里,mvX即为mvRef,MVX即为mvE1。
第五步,interPredRefMode的值等于‘PRED_List01’。
上述的相关技术方案对压缩性能提升明显,但是由于目前设计的右上、左下、右下三个位置都在当前块的外部,对右上、左下、右下三个位置中的某一个位置如果不可用,比如超出图像边界,patch边界等才会修改为当前块的内部位置。
然而,在确定导出时域运动信息所使用的位置时,由于它所使用的参考帧已经编码完成,故在超出图像边界,patch边界等的时候不可用。但是这样对现有的硬件实现不太友好。因为硬件实现时并不会把所使用的导出时域运动信息的参考帧的所有的用于导出时域运动信息的运动信息全部缓存,而是对当前块的LCU,只缓存与当前LCU相同位置的一个LCU大小的部分的运动信息。那么在目前的相关技术方案中,如果当前块的右边界正好与当前LCU的右边界重合,或者当前块的下边界正好与当前LCU的下边界重合,那么右上、左下、右下三个位置中至少有一个超出当前LCU的边界,这时如果这个或这几个位置仍然在图像内部或patch内部,意味着它仍然是可用的,此时硬件就需要增加额外的带宽去获取这个或这几个位置的运动信息。
需要注意的是,用于导出时域运动信息的帧存储导出时域运动信息的运动信息时通常不会对每一个像素都保存一个运动信息,而是按一定大小的块共享一个运动信息,如16×16个像素或8×8个像素或4×4个像素等共享一个运动信息,这里,16×16个像素或8×8个像素或4×4个像素通常默认指的是亮度分量的像素数。
基于此,本申请实施例提供了一种帧间预测方法,可应用于编码器或解码器。在得到当前块的预测模式参数后,当所述预测模式参数指示使用预设的帧间预测模式确定当前块的帧间预测值时,确定所述当前块的至少一个初始候选位置;在所述至少一个初始候选位置超出所述当前块的LCU边界的情况下,对所述至少一个初始候选位置进行调整,得到所述当前块的至少一个目标候选位置;基于所述至少一个目标候选位置,确定所述当前块的至少一个时域运动信息;基于所述至少一个时域运动信息,构建新的运动信息候选列表;根据所述新的运动信息候选列表,确定所述当前块的帧间预测值。这样,在确定出当前块的至少一个初始候选位置之后,通过对至少一个初始候选位置进行调整以使得至少一个目标候选位置不会超出当前块的LCU边界,从而能够使硬件实现时不增加额外的带宽,同时还能够保证编解码性能。
参见图4A,其示出了本申请实施例提供的一种视频编码系统框图。如图4A所示,该视频编码系统11可以包括:变换单元111、量化单元112、模式选择和编码控制逻辑单元113、帧内预测单元114、帧间预测单元115(包括:运动补偿和运动估计)、反量化单元116、反变换单元117、环路滤波单元118、编码单元119和解码图像缓存单元110;针对输入的原始视频信号,通过编码树块(Coding Tree Unit,CTU)的划分可以得到一个视频重建块,通过模式选择和编码控制逻辑单元113确定编码模式,然后,对经过帧内或帧间预测后得到的残差像素信息,通过变换单元111、量化单元112对该视频重建块进行变换,包括将残差信息从像素域变换到变换域,并对所得的变换系数进行量化,用以进一步减少比特率;帧内预测单元114用于对该视频重建块进行帧内预测;其中,帧内预测单元114用于确定该视频重建块的最优帧内预测模式(即目标预测模式);帧间预测单元115用于执行所接收的视频重建块相对于一或多个参考帧中的一或多个块的帧间预测编码,以提供时间预测信息;其中吗,运动估计为产生运动向量的过程,所述运动向量可以估计该视频重建块的运动,然后,运动补偿基于由运动估计所确定的运动向量执行运动补偿;在确定帧间预测模式之后,帧间预测单元115还用于将所选择的帧间预测数据提供到编码单元119,而且,将所计算确定的运动向量数据也发送到编码单元119;此外,反量化单元116和反变换单元117用于该视频重建块的重构建,在像素域中重构建残差块,该重构建残差块通过环路滤波单元118去除方块效应伪影,然后,将该重构残差块添加到解码图像缓存单元110的帧中的一个预测性块,用以产生经重构建的视频重建块;编码单元119是用于编码各种编码参数及量化后的变换系数。而解码图像缓存单元110用于存放重构建的视频重建块,用于预测参考。随着视频图像编码的进行,会不断生成新的重构建的视频重建块,这些重构建的视频重建块都会被存放在解码图像缓存单元110中。
参见图4B,其示出了本申请实施例提供的本申请实施例还提供一种视频解码系统框图。如图4B所示,该视频解码系统12可以包括:解码单元121、反变换单元127,与反量化单元122、帧内预测单元123、运动补偿单元124、环路滤波单元125和解码图像缓存单元126单元;输入的视频信号经过视频编码系统11进行编码处理之后,输出该视频信号的码流;该码流输入视频解码系统12中,首先经过解码单元121,用于得到解码后的变换系数;针对该变换系数通过反变换单元127与反量化单元122进行处理,以便在像素域中产生残差块;帧内预测单元123可用于基于所确定的帧内预测方向和来自当前帧或图片的先前经解码块的数据而产生当前视频解码块的预测数据;运动补偿单元124是通过剖析运动向量和其他关联语法元素来确定用于视频解码块的预测信息,并使用该预测信息以产生正被解码的视频解码块的预测性块;通过对来自反变换单元127与反量化单元122的残差块与由帧内预测单元123或运动补偿单元124产生的对应预测性块进行求和,而形成解码的视频块;该解码的视频信号通过环路滤波单元125以便去除方块效应伪影,可以改善视频质量;然后将经解码的视频块存储于解码图像缓存单元126中,解码图像缓存单元126存储用于后续帧内预测或运动补偿的参考图像,同时也用于视频信号的输出,得到所恢复的原始视频信号。
简言之,本申请实施例提供的一种帧间预测方法主要作用于视频编码系统11的帧间预测单元215和视频解码系统12的帧间预测单元,即运动补偿单元124;也就是说,如果在视频编码系统11能够通过本申请实施例提供的帧间预测方法得到一个较好的预测效果,提高编码性能;那么,对应地,在视频解码系统12,也能够改善视频解码恢复质量,从而提高解码性能。
下面将结合附图和实施例对本申请的技术方案进一步详细阐述。在进行详细阐述之前,需要说明的是,说明书通篇中提到的“第一”、“第二”、“第三”等,仅仅是为了区分不同的特征,不具有限定优先级、先后顺序、大小关系等功能。
本申请实施例提供一种帧间预测方法,该方法应用于视频解码设备,即解码器。该方法所实现的功能可以通过解码器中的第一处理器调用计算机程序来实现,当然计算机程序可以保存在第一存储器中,可见,该解码器至少包括第一处理器和第一存储器。
参见图5,其示出了本申请实施例一种帧间预测方法的流程示意图。如图5所示,该方法可以包括:
S501:解析码流,获取当前块的预测模式参数。
需要说明的是,待解码图像可以划分为多个图像块,而当前待解码的图像块可以称为当前块(可以用CU或PU表示),与当前块相邻的图像块可以称为相邻块;即在待解码图像中,当前块与相邻块之间具有相邻关系。这里,每个当前块可以包括第一图像分量、第二图像分量和第三图像分量,也即当前块表示待解码图像中当前待进行第一图像分量、第二图像分量或者第三图像分量预测的图像块。
其中,假定当前块进行第一图像分量预测,而且第一图像分量为亮度分量,即待预测图像分量为亮度分量,那么当前块也可以称为亮度块;或者,假定当前块进行第二图像分量预测,而且第二图像分量为色度分量,即待预测图像分量为色度分量,那么当前块也可以称为色度块。
还需要说明的是,预测模式参数指示了当前块采用的预测模式以及与该预测模式相关的参数。其中,预测模式通常包括有帧间预测模式、传统帧内预测模式和非传统帧内预测模式等,而帧间预测模式又包括有普通帧间预测模式、GPM预测模式和AWP预测模式等。也就是说,编码器会选取最优的预测模式对当前块进行预编码,在这过程中就可以确定出当前块的预测模式,从而将相应的预测模式参数写入码流,由编码器传输到解码器。
这样,在解码器侧,通过解析码流就可以直接获取到当前块的预测模式参数,根据所获取的预测模式参数用以确定当前块是否使用预设的帧间预测模式,比如GPM预测模式或AWP预测模式。
S502:当所述预测模式参数指示使用预设的帧间预测模式确定当前块的帧间预测值时,确定当前块的至少一个初始候选位置。
需要说明的是,在解码器解析码流获取到预测模式参数指示使用预设的帧间预测模式确定当前块的帧间预测值的情况下,就可以采用本申请实施例所提供的帧间预测方法。
还需要说明的是,运动信息可以包括运动矢量信息和参考帧信息。具体地,对于使用帧间预测的当前块而言,该当前块所在的当前帧具有一个或多个参考帧,而当前块可以是编码单元或预测单元,可以使用一个包含一组运动矢量和参考帧信息的运动信息指示到某一参考帧内一个与当前块大小相同的像素区域,这里称之为参考块,也可以使用一个包含两组运动矢量和参考帧信息的运动信息指示到某两个可以相同也可以不同的参考帧内的两个参考块;然后运动补偿可以根据运动信息所指示的参考块得到当前块的帧间预测值。
在本申请实施例中,为了避免硬件实现时增加额外的带宽,本申请实施例的目的就是使硬件实现时不增加额外的带宽而且尽量保持其压缩性能。这里,使硬件实现时不增加额外地带宽就需要使得确定时域运动信息所使用的像素位置不超过当前LCU的边界。需要注意的是,后面统一将确定时域运动信息所使用的像素位置简称为位置。
在一些实施例中,对于S502来说,所述确定所述当前块的至少一个候选位置,可以包括:
获取所述当前块的至少一个角初始候选位置,组成初始候选位置集合;其中,所述至少一个角初始候选位置包括下述至少一项:左上初始候选位置、右上初始候选位置、左下初始候选位置和右下初始候选位置;
从所述初始候选位置集合中,确定所述当前块的至少一个初始候选位置。
进一步地,在一些实施例中,左上初始候选位置至少包括下述其中之一:第一左上候选位置、第二左上候选位置、第三左上候选位置和第四左上候选位置;
右上初始候选位置至少包括下述其中之一:第一右上候选位置、第二右上候选位置、第三右上候选位置和第四右上候选位置;
左下初始候选位置至少包括下述其中之一:第一左下候选位置、第二左下候选位置、第三左下候选位置和第四左下候选位置;
右下初始候选位置至少包括下述其中之一:第一右下候选位置、第二右下候选位置、第三右下候选位置和第四右下候选位置;
其中,所述第一左上候选位置、所述第一右上候选位置、所述第一左下候选位置和所述第一右下候选位置表征所述当前块内部的四个角位置,所述第二左上候选位置、所述第三左上候选位置和所述第四左上候选位置表征所述当前块外部的左上角位置,所述第二右上候选位置、所述第三右上候选位置和所述第四右上候选位置表征所述当前块外部的右上角位置,所述第二左下候选位置、所述第三左下候选位置和所述第四左下候选位置表征所述当前块外部的左下角位置,所述第二右下候选位置、所述第三右下候选位置和所述第四右下候选位置表征所述当前块外部的右下角位置。
需要说明的是,假定当前块内部的左上角位置,也就是当前块左上角第一个像素对应的像素位置为(x,y),当前块的宽度为width,当前块的高度为height。另外,这里所说的宽度和高度通常是指亮度分量的宽度(即l_width)和高度(即l_height),但不作具体限定。
还需要说明的是,由于上面提到用于导出时域运动信息的参考帧存储导出时域运动信息的运动信息是按照块保存运动信息,那么按照某一个像素位置确定的时域运动信息和按照与该像素位置处在同一个存储块内其他像素位置确定的时域运动信息是相同的,这样在导出过程中可能有一些中间计算将某一个像素位置通过一些计算得到某些统一格式的位置,这里只要它们都处在同一个存储块内,那么可以认为这些位置是相同的。
一种可能的实施方式中,以图6A为例,当前块可使用的左上角(即左上初始候选位置)、右上角(即右上初始候选位置)、左下角(即左下初始候选位置)和右下角(即右下初始候选位置)的候选位置可以有多种选择。具体地,对于左上角(用灰色填充),可以使用第一左上候选位置、第二左上候选位置、第三左上候选位置和第四左上候选位置来表示,具体表示为(x,y)、(x-1,y)、(x,y-1)、(x-1,y-1)等四个位置。对右上角(用灰色填充),可以使用第一右上候选位置、第二右上候选位置、第三右上候选位置和第四右上候选位置来表示,具体表示为(x+width-1,y)、(x+width,y)、(x+width,y-1)、(x+width-1,y-1)等四个位置。对左下角(用灰色填充),可以使用第一左下候选位置、第二左下候选位置、第三左下候选位置和第四左下候选位置来表示,具体表示为(x,y+height-1)、(x,y+height)、(x-1,y+height)、(x-1,y+height-1)等四个位置。对右下角(用灰色填充),可以使用第一右下候选位置、第二右下候选位置、第三右下候选位置和第四右下候选位置来表示,具体表示为(x+width-1,y+height-1)、(x+width,y+height)、(x+width-1,y+height)、(x+width,y+height-1)等四个位置。
另一种可能的实施方式中,以图6B为例,针对每一个当前块,当前块可以是CU或PU,这时候可以使用的4个初始候选位置如图6B所示。这四个位置落在当前块内部的四个角位置,具体地,这四个位置分别为:左上初始候选位置为(x,y),右上初始候选位置为(x+width-1,y),左下初始候选位置为(x,y+height-1),右下初始候选位置为(x+width-1,y+height-1)。
又一种可能的实施方式中,以图6C为例,针对当前块的四个位置,即左上角、右上角、左下角、右下角的初始(默认)位置可以各自初始选择其中一个位置。具体地,如图6C所示,这四个位置分别为:左上初始候选位置为(x,y)、右上初始候选位置为(x+width,y)、左下初始候选位置为(x,y+height)、右下初始候选位置为(x+width,y+height)。
再一种可能的实施方式中,以图6D为例,针对当前块的四个位置,即左上角、右上角、左下角、右下角的初始(默认)位置可以各自初始选择其中一个位置。具体地,如图6D所示,这四个位置分别为:左上初始候选位置为(x,y)、右上初始候选位置为(x+width,y-1)、左下初始候选位置为(x-1,y+height)、右下初始候选位置为(x+width,y+height)。
再一种可能的实施方式中,以图6E为例,针对当前块的四个位置,即左上角、右上角、左下角、右下角的初始(默认)位置可以各自初始选择其中一个位置。具体地,如图6E所示,这四个位置分别为:左上初始候选位置为(x-1,y-1)、右上初始候选位置为(x+width,y-1)、左下初始候选位置为(x-1,y+height)、右下初始候选位置为(x+width,y+height)。
这样,以图6A~图6E为例,其提供了多种初始候选位置的情况。在得到初始候选位置之后,需要判断该初始候选位置是否超出当前块的LCU边界,以进一步确定当初始候选位置落在LCU边界之外时如何处理。
S503:在所述至少一个初始候选位置超出所述当前块的最大编码单元LCU边界的情况下,对所述至少一个初始候选位置进行调整,得到所述当前块的至少一个目标候选位置。
需要说明的是,为了避免硬件实现时增加额外的带宽,这时候需要判断用于确定时域运动信息所使用的至少一个初始候选位置是否超过当前块的LCU边界。
在一些实施例中,对于S503来说,该方法还可以包括:在所述至少一个初始候选位置未超出所述当前块的LCU边界的情况下,将所述至少一个初始候选位置确定为所述当前块的至少一个目标候选位置。
也就是说,如果某一初始候选位置超出LCU边界,那么这时候需要针对该初始候选位置进行调整,以使得调整后得到的目标候选位置未超出LCU边界;如果某一初始候选位置未超出LCU边界,那么这时候就不需要针对该初始候选位置进行调整,可以直接将该初始候选位置确定为目标候选位置。
一种可能的实施方式中,可以选取当前块内部的候选位置,这时候所使用的的候选位置都不超出当前块的LCU边界,能够将其直接确定为目标候选位置。因此,在一些实施例中,该方法还可以包括:
若所述至少一个初始候选位置包括所述第一左上候选位置,和/或,所述第一右上候选位置,和/或,所述第一左下候选位置,和/或,所述第一右下候选位置,则确定所述至少一个初始候选位置未超出LCU边界,将所述至少一个初始候选位置确定为所述当前块的至少一个目标候选位置。
需要说明的是,以图6B为例,由于第一左上候选位置为(x,y),和/或,第一右上候选位置为(x+width-1,y),和/或,第一左下候选位置为(x,y+height-1),和/或,第一右下候选位置(x+width-1,y+height-1),这几个初始候选位置处于当前块内部,即这几个初始候选位置都未超出当前块的LCU边界,那么这时候就可以将这几个初始候选位置确定为目标候选位置。
还需要说明的是,如果某一个位置落在LCU边界外部时,那么可以将这个位置调整到LCU边界之内,即落在LCU内部;否则,如果一个位置在当前块外部而落在LCU内部,这时候也不做调整。
另一种可能的实施方式中,针对某一个角,如果初始候选位置落在LCU边界外部,那么首选调整到这个角的LCU内部且当前块外部的某一候选位置。
在一些实施例中,该方法还可以包括:
若所述至少一个初始候选位置包括其中一个角的初始候选位置,且所述其中一个角的初始候选位置超出LCU边界,则从所述其中一个角对应的候选位置中选择未超出所述LCU边界的候选位置,将所述其中一个角的初始候选位置调整到所选择的候选位置,以得到所述当前块的一个目标候选位置。
进一步地,当其中一个角的初始候选位置为右下初始候选位置时,该方法还可以包括:
若所述至少一个初始候选位置包括所述右下初始候选位置,且所述右下初始候选位置超出LCU边界,则从所述当前块外部的右下角位置中选择未超出LCU边界的候选位置,将所述右下初始候选位置调整到所选择的候选位置,以得到所述当前块的一个目标候选位置。
进一步地,该方法还可以包括:若从所述当前块外部的右下角位置中没有选择到未超出LCU边界的候选位置,则将所述右下初始候选位置调整到所述当前块内部的右下角位置,以得到所述当前块的一个目标候选位置。
也就是说,以右下角为例,如果右下初始候选位置超出LCU边界,那么首先调整到右下角的LCU内部但是当前块外部的某一候选位置;如果从当前块外部的右下角位置中没有选择到未超出LCU边界的候选位置,这时候就需要调整到当前块内部的右下角位置,以确定出对应的目标候选位置。
具体地,以右下角为例,如果初始候选位置是(x+width,y+height),如果当前块的右边界和LCU的右边界重合而当前块的下边界在LCU的内部,那么把右下角调整到(x+width-1,y+height)。如果当前块的右边界在LCU的内部而当前块的下边界和LCU的下边界重合,那么把右下角调整到(x+width,y+height-1)。如果当前块的右边界和LCU的右边界重合而当前块的下边界和LCU的下边界重合,那么把右下角调整到(x+width-1,y+height-1)。这里,其余的左上角、右上角、左下角,都可以按上述步骤进行调整。
针对该过程,文本描述如下。其中,该文本描述仅修改了方法一、方法二、方法三和方法四种的像素位置。
方法一,以当前块的左上角为例,推导运动信息的步骤如下:
第一步,
假定当前预测单元的左上角亮度样本位置为(x,y),亮度预测块的宽度为l_width,亮度预测块的高度为l_height;而所选当前预测单元的左上角亮度样本位置为(x’,y’),x’=x–1,y’=y–1。
如果x’小于当前预测单元所在的LCU的最左边的亮度样本位置的横坐标x_lcu_left,或x’不可用,比如x’小于当前预测单元所在的图像或patch的最左边的亮度样本位置的横坐标x_boundary_left;那么x’=x;
如果y’小于当前预测单元所在的LCU的最上边的亮度样本位置的纵坐标y_lcu_top,或y’不可用,比如y’小于当前预测单元所在的图像或patch的最上边的亮度样本位置的纵坐标y_boundary_top;那么y’=y。
方法二,以当前块的右上角为例,推导运动信息的步骤如下:
第一步,
假定当前预测单元的左上角亮度样本位置为(x,y),亮度预测块的宽度为l_width,亮度预测块的高度为l_height;而所选当前预测单元的右上角亮度样本位置为(x’,y’),x’=x+l_width,y’=y-1
如果x’大于当前预测单元所在的LCU的最右边的亮度样本位置的横坐标x_lcu_right,或x’不可用,比如x’大于当前预测单元所在的图像或patch的最右边的亮度样本位置的横坐标x_boundary_right;那么x’=x+l_width-1;
如果y’小于当前预测单元所在的LCU的最上边的亮度样本位置的纵坐标y_lcu_top,或y’不可用,比如y’小于当前预测单元所在的图像或patch的最上边的亮度样本位置的纵坐标y_boundary_top;那么y’=y。
方法三,以当前块的左下角为例,推导运动信息的步骤如下:
第一步,
假定当前预测单元的左上角亮度样本位置为(x,y),亮度预测块的宽度为l_width,亮度预测块的高度为l_height;而所选当前预测单元的左下角亮度样本位置为(x’,y’),x’=x-1,y’=y+l_height。
如果x’小于当前预测单元所在的LCU的最左边的亮度样本位置的横坐标x_l,或x’不可用,比如x’小于当前预测单元所在的图像或patch的最左边的亮度样本位置的横坐标x_boundary_left;那么x’=x;
如果y’大于当前预测单元所在的LCU的最下边的亮度样本位置的纵坐标y_b,或y’不可用,比如y’大于当前预测单元所在的图像或patch的最下边的亮度样本位置的纵坐标y_boundary_bottom;那么,y’=y+l_height-1。
方法四,以当前块的右下角为例,推导运动信息的步骤如下:
第一步,
假定当前预测单元的左上角亮度样本位置为(x,y),亮度预测块的宽度为l_width,亮度预测块的高度为l_height;而所选当前预测单元的右下角亮度样本位置为(x’,y’),x’=x+l_width,y’=y+l_height。
如果x’大于当前预测单元所在的LCU的最右边的亮度样本位置的横坐标x_lcu_right,或x’不可用,比如x’大于当前预测单元所在的图像或patch的最右边的亮度样本位置的横坐标x_boundary_right;那么x’=x+l_width-1;
如果y’大于当前预测单元所在的LCU的最下边的亮度样本位置的纵坐标y_lcu_bottom,或y’不可用,比如y’大于当前预测单元所在的图像或patch的最下边的亮度样本位置的纵坐标y_boundary_top;那么y’=y+l_height-1。
需要说明的是,由于在目前标准协议中的片(patch)总是矩形区域,所以上述对片边界的处理是没有问题的;但是如果后续patch不止限制为矩形区域,那么对x’,y’不可用的判断就要改成判断(x’,y’)是否在patch的范围内,这里不再赘述。
具体地,如果当前预测单元,也就是当前块不会超过图像或片边界,目前的标准协议中是这样的情况。但是如果当前预测单元,也就是当前块可能超过图像或片边界,那么上面的文本描述中可写为:
方法一,以当前块的左上角为例,推导运动信息的步骤如下:
第一步,
假定当前预测单元的左上角亮度样本位置为(x,y),亮度预测块的宽度为l_width,亮度预测块的高度为l_height;而所选当前预测单元的左上角亮度样本位置为(x’,y’),x’=x–1,y’=y–1。
如果x’小于当前预测单元所在的LCU的最左边的亮度样本位置的横坐标x_lcu_left,那么x’=x;
如果x’不可用,比如x’小于当前预测单元所在的图像或patch的最左边的亮度样本位置的横坐标x_boundary_left,那么x’=x_boundary_left;
如果y’小于当前预测单元所在的LCU的最上边的亮度样本位置的纵坐标y_lcu_top,那么y’=y;
如果y’不可用,比如y’小于当前预测单元所在的图像或patch的最上边的亮度样本位置的纵坐标y_boundary_top,那么y’=y_boundary_top。
方法二,以当前块的右上角为例,推导运动信息的步骤如下:
第一步,
假定当前预测单元的左上角亮度样本位置为(x,y),亮度预测块的宽度为l_width,亮度预测块的高度为l_height;而所选当前预测单元的右上角亮度样本位置为(x’,y’),x’=x+l_width,y’=y–1。
如果x’大于当前预测单元所在的LCU的最右边的亮度样本位置的横坐标x_lcu_right,那么x’=x+l_width-1;
如果x’不可用,比如x’大于当前预测单元所在的图像或patch的最右边的亮度样本位置的横坐标x_boundary_right,那么x’=x_boundary_right;
如果y’小于当前预测单元所在的LCU的最上边的亮度样本位置的纵坐标y_lcu_top,那么y’=y;
如果y’不可用,如y’小于当前预测单元所在的图像或patch的最上边的亮度样本位置的纵坐标y_boundary_top,那么y’=y_boundary_top。
方法三,以当前块的左下角为例,推导运动信息的步骤如下:
第一步,
假定当前预测单元的左上角亮度样本位置为(x,y),亮度预测块的宽度为l_width,亮度预测块的高度为l_height;而所选当前预测单元的右上角亮度样本位置为(x’,y’),x’=x-1,y’=y+l_height。
如果x’小于当前预测单元所在的LCU的最左边的亮度样本位置的横坐标x_l,那么x’=x;
如果x’不可用,比如x’小于当前预测单元所在的图像或patch的最左边的亮度样本位置的横坐标x_boundary_left,那么x’=x_boundary_left;
如果y’大于当前预测单元所在的LCU的最下边的亮度样本位置的纵坐标y_b,那么y’=y+l_height–1;
如果y’不可用,比如y’大于当前预测单元所在的图像或patch的最下边的亮度样本位置的纵坐标y_boundary_bottom,那么y’=y_boundary_bottom。
方法四,以当前块的右下角为例,推导运动信息的步骤如下:
第一步,
假定当前预测单元的左上角亮度样本位置为(x,y),亮度预测块的宽度为l_width,亮度预测块的高度为l_height;而所选当前预测单元的右下角亮度样本位置为(x’,y’),x’=x+l_width,y’=y+l_height。
如果x’大于当前预测单元所在的LCU的最右边的亮度样本位置的横坐标x_lcu_right,那么x’=x+l_width-1;
如果x’不可用,比如x’大于当前预测单元所在的图像或patch的最右边的亮度样本位置的横坐标x_boundary_right,那么x’=x_boundary_right;
如果y’大于当前预测单元所在的LCU的最下边的亮度样本位置的纵坐标y_lcu_bottom,那么y’=y+l_height–1;
如果y’不可用,比如y’大于当前预测单元所在的图像或patch的最下边的亮度样本位置的纵坐标y_boundary_top,那么y’=y_boundary_top。
还需要注意的是,左上角亮度样本位置(x,y)可能怎么都不会超过图像或片边界;也就是说,上述的文本描述只是为了改动保持格式上的一致。
又一种可能的实施方式中,针对某一个角,如果初始候选位置落在LCU边界外部,那么可以调整到另外一个初始位置落在LCU内部的角的候选位置。
在一些实施例中,该方法还可以包括:
若所述至少一个初始候选位置包括其中一个角的初始候选位置,且所述其中一个角的初始候选位置超出LCU边界,则从除所述其中一个角之外剩余角对应的候选位置中选择未超出所述LCU边界的候选位置,将所述其中一个角的初始候选位置调整到所选择的候选位置,以得到所述当前块的一个目标候选位置。
进一步地,当其中一个角的初始候选位置为右下初始候选位置时,该方法还可以包括:
若所述至少一个初始候选位置包括所述右下初始候选位置,且所述右下初始候选位置超出LCU边界,则在所述右上初始候选位置未超出LCU边界的情况下,将所述右下初始候选位置调整到所述右上初始候选位置,以得到所述当前块的一个目标候选位置。
也就是说,针对不同的划分模式,可以具有不同的初始候选位置。以划分模式54为例(从0开始),如果导出时域运动信息应该使用右下角的初始候选位置,即(x+width,y+height);但是如果当前块的右边界在LCU内部而当前块的下边界和LCU的下边界重合,那么该初始候选位置(x+width,y+height)超出LCU边界,这时候如果右上角的候选位置在LCU内部,可以使用右上角的候选位置。其中,右上角的候选位置可能是(x+width,y)、(x+width-1,y)或者(x+width,y-1)。
再一种可能的实施方式中,针对某一个角,如果初始候选位置落在LCU边界外部,且这个角只能调整到当前块内部,那么可以调整到另外一个初始位置落在LCU内部的角的候选位置。
在一些实施例中,该方法还可以包括:
若所述至少一个初始候选位置包括其中一个角的初始候选位置,且所述其中一个角的初始候选位置超出LCU边界,且所述其中一个角对应的候选位置中仅所述当前块内部的候选位置未超出LCU边界,则从除所述其中一个角之外剩余角对应的候选位置中选择未超出所述LCU边界的候选位置,将所述其中一个角的初始候选位置调整到所选择的候选位置,以得到所述当前块的一个目标候选位置。
进一步地,当其中一个角的初始候选位置为右下初始候选位置时,该方法还可以包括:
若所述至少一个初始候选位置包括所述右下初始候选位置,且所述右下初始候选位置超出LCU边界,且所述当前块内部和外部的右下角位置中仅所述第一右下候选位置未超出LCU边界,则在所述右上初始候选位置未超出LCU边界的情况下,将所述右下初始候选位置调整到所述右上初始候选位置,以得到所述当前块的一个目标候选位置。
也就是说,针对不同的划分模式,可以具有不同的初始候选位置。以划分模式54为例(从0开始),如果导出时域运动信息应该使用右下角的初始候选位置,即(x+width,y+height);但是如果当前块的右边界与LCU的右边界重合且当前块的下边界和LCU的下边界重合,那么该初始候选位置(x+width,y+height)超出LCU边界,且右下角处的(x+width-1,y+height)和(x+width,y+height-1)也超出LCU边界,而仅(x+width-1,y+height-1)在当前块内部而没有超出LCU边界,这时候如果右上角的候选位置在LCU内部,可以使用右上角的候选位置。其中,右上角的候选位置可能是(x+width,y)、(x+width-1,y)或者(x+width,y-1)。
再一种可能的实施方式中,还可以是对每一个划分模式设置这至少一个初始候选位置的优先级排序,然后依次检查是否超出当前块的LCU边界。
在一些实施例中,该方法还可以包括:
针对不同的划分模式,根据预设优先级顺序设置所述初始候选位置集合中不同初始候选位置对应的优先级;
按照所述预设优先级顺序选取一个初始候选位置,并判断所选取的初始候选位置是否超出LCU边界;
若所选取的初始候选位置超出LCU边界,则返回执行所述按照所述预设优先级顺序选取一个初始候选位置的步骤;
若所选取的初始候选位置未超出LCU边界,则将所选取的初始候选位置确定为所述当前块的一个目标候选位置。
也就是说,针对不同的划分模式,可以设置不同的预设优先级顺序。仍以划分模式54为例(从0开始),针对划分模式54,可以设置左上角、右上角、左下角和右下角等四个初始候选位置的优先级排序,比如设置的初始候选位置排序为3、1、2、0,即优先选取右下角,再选取右上角,然后再选取左下角,最后选取左上角;按照上述方式依次进行判断。
再一种可能的实施方式中,还可以是对每一个划分模式设置这至少一个初始候选位置的固定排序顺序,然后依次检查是否超出当前块的LCU边界。
在一些实施例中,该方法还可以包括:
针对不同的划分模式,根据预设顺序对所述初始候选位置集合中不同初始候选位置进行排序;
按照所述预设顺序选取一个初始候选位置,并判断所选取的初始候选位置是否超出LCU边界;
若所选取的初始候选位置超出LCU边界,则返回执行所述按照所述预设顺序选取一个初始候选位置的步骤;
若所选取的初始候选位置未超出LCU边界,则将所选取的初始候选位置确定为所述当前块的一个目标候选位置。
也就是说,还可以是按照一个固定的预设顺序排序,比如按照0,1,2,3,0,1,……的顺序,如果某一个划分模式首先选取3,即右下角,但是右下角不能落在LCU内部(即超出LCU边界)但位于当前块外部;那么选取0再次尝试,即左上角,如果0也不满足,那么选取1再次尝试,即右上角,以此类推,直至4个初始候选位置都依次判断过。
进一步地,如果四个初始候选位置都不能落在LCU内部而位于当前块外部,那么还可以设置位置排序(比如预设优先级顺序或者预设顺序)的第一个角的当前块内部位置,以将其确定为目标候选位置;或者,如果四个初始候选位置都不能落在LCU内部而位于当前块外部,另一种方式是选择一个默认位置,比如当前块内部的左上角位置,以将其确定为目标候选位置。
这里,计算(x,y)和(x’,y’)是不是在同一个LCU内部可以简单地判断。具体地,如果x除以LCU的亮度样本的宽度等于x’除以LCU的亮度样本的宽度,且y除以LCU的亮度样本的高度等于y’除以LCU的亮度样本的高度,那么(x,y)和(x’,y’)位于同一个LCU内部;否则,(x,y)和(x’,y’)不位于同一个LCU内部。
S504:基于所述至少一个目标候选位置,确定所述当前块的至少一个时域运动信息。
需要说明的是,在得到至少一个目标候选位置之后,可以根据所得到的目标候选位置来确定时域运动信息,具体是将对应参考帧中的时域位置所使用的运动信息作为该目标候选位置的时域运动信息。这里,当前块所属的帧可以为称为当前帧,当前帧中的目标候选位置与参考帧中的时域位置虽然所属的帧不同,但是位置是相同的。
在一些实施例中,对于S504来说,所述基于所述至少一个目标候选位置,确定所述当前块的至少一个时域运动信息,可以包括:
确定所述至少一个目标候选位置中每一目标候选位置对应的参考帧信息;
针对每一目标候选位置,在对应的参考帧信息中确定与所述目标候选位置关联的时域位置,并将所述时域位置使用的运动信息确定为所述目标候选位置对应的时域运动信息;
基于所述至少一个目标候选位置,对应得到至少一个时域运动信息。
也就是说,时域运动信息是根据某一个参考帧信息中对应位置所使用的运动信息来确定的。而且针对不同的目标候选位置,可以得到不同的时域运动信息。
示例性地,方法一,以当前块的左上角为例,推导运动信息的步骤如下:
第一步,
假定当前预测单元的左上角亮度样本位置为(x,y),亮度预测块的宽度为l_width,亮度预测块的高度为l_height;而所选当前预测单元的左上角亮度样本位置为(x’,y’),x’=x–1,y’=y–1。
如果x’小于当前预测单元所在的LCU的最左边的亮度样本位置的横坐标x_lcu_left,或x’不可用,比如x’小于当前预测单元所在的图像或patch的最左边的亮度样本位置的横坐标x_boundary_left;那么x’=x;
如果y’小于当前预测单元所在的LCU的最上边的亮度样本位置的纵坐标y_lcu_top,或y’不可用,比如y’小于当前预测单元所在的图像或patch的最上边的亮度样本位置的纵坐标y_boundary_top;那么y’=y。
第二步,
如果参考图像队列1中参考索引值为0的图像中与当前预测单元的左上角亮度样本位置对应的亮度样本所在的时域运动信息存储单元存储的参考帧索引为-1,则当前预测单元的L0参考索引和L1参考索引均等于0。以当前预测单元所在编码单元的尺寸和位置作为当前预测单元的尺寸和位置,然后将所得到的L0运动矢量预测值和L1运动矢量预测值分别作为当前预测单元的L0运动矢量MvE0和L1运动矢量MvE1,并令当前预测单元的L0参考索引RefIdxL0和L1参考索引RefIdxL1均等于0,结束运动信息导出过程。
否则,
当前预测单元的L0参考索引和L1参考索引均等于0。当前预测单元的L0参考索引和L1参考索引对应的图像的距离索引分别记为DistanceIndexL0和DistanceIndexL1;当前预测单元的L0参考索引和L1参考索引对应的图像的BlockDistance分别记为BlockDistanceL0和BlockDistanceL1。
在参考图像队列1中参考索引为0的图像中与当前预测单元的左上角亮度样本位置对应的亮度样本所在的时域运动信息存储单元的L0运动矢量记为mvRef(mvRef_x,mvRef_y),该运动信息存储单元所在的图像的距离索引记为DistanceIndexCol,该运动矢量指向的参考单元所在的图像的距离索引记为DistanceIndexRef。
第三步,
BlockDistanceRef=DistanceIndexCol-DistanceIndexRef
第四步,
令当前预测单元的L0参考索引RefIdxL0等于0,计算当前预测单元的L0运动矢量mvE0(mvE0_x,mvE0_y):
Figure BDA0002555751200000161
这里,mvX即为mvRef,MVX即为mvE0。
令当前预测单元的L1参考索引RefIdxL1等于0,计算当前预测单元的L1运动矢量mvE1(mvE1_x,mvE1_y):
Figure BDA0002555751200000162
这里,mvX即为mvRef,MVX即为mvE1。
第五步,interPredRefMode的值等于‘PRED_List01’。
方法二,以当前块的右上角为例,推导运动信息的步骤如下:
第一步,
假定当前预测单元的左上角亮度样本位置为(x,y),亮度预测块的宽度为l_width,亮度预测块的高度为l_height;而所选当前预测单元的右上角亮度样本位置为(x’,y’),x’=x+l_width,y’=y-1
如果x’大于当前预测单元所在的LCU的最右边的亮度样本位置的横坐标x_lcu_right,或x’不可用,比如x’大于当前预测单元所在的图像或patch的最右边的亮度样本位置的横坐标x_boundary_right;那么x’=x+l_width-1;
如果y’小于当前预测单元所在的LCU的最上边的亮度样本位置的纵坐标y_lcu_top,或y’不可用,比如y’小于当前预测单元所在的图像或patch的最上边的亮度样本位置的纵坐标y_boundary_top;那么y’=y。
第二步,
如果参考图像队列1中参考索引值为0的图像中与所选当前预测单元的右上角亮度样本位置对应的亮度样本所在的时域运动信息存储单元存储的参考帧索引为-1,则当前预测单元的L0参考索引和L1参考索引均等于0。以当前预测单元所在编码单元的尺寸和位置作为当前预测单元的尺寸和位置,然后将所得到的L0运动矢量预测值和L1运动矢量预测值分别作为当前预测单元的L0运动矢量MvE0和L1运动矢量MvE1,并令当前预测单元的L0参考索引RefIdxL0和L1参考索引RefIdxL1均等于0,结束运动信息导出过程。
否则,
当前预测单元的L0参考索引和L1参考索引均等于0。当前预测单元的L0参考索引和L1参考索引对应的图像的距离索引分别记为DistanceIndexL0和DistanceIndexL1;当前预测单元的L0参考索引和L1参考索引对应的图像的BlockDistance分别记为BlockDistanceL0和BlockDistanceL1。
在参考图像队列1中参考索引为0的图像中与所选当前预测单元的右上角亮度样本位置对应的亮度样本所在的时域运动信息存储单元的L0运动矢量记为mvRef(mvRef_x,mvRef_y),该运动信息存储单元所在的图像的距离索引记为DistanceIndexCol,该运动矢量指向的参考单元所在的图像的距离索引记为DistanceIndexRef。
第三步,
BlockDistanceRef=DistanceIndexCol-DistanceIndexRef
第四步,
令当前预测单元的L0参考索引RefIdxL0等于0,计算当前预测单元的L0运动矢量mvE0(mvE0_x,mvE0_y):
Figure BDA0002555751200000163
Figure BDA0002555751200000171
这里,mvX即为mvRef,MVX即为mvE0。
令当前预测单元的L1参考索引RefIdxL1等于0,计算当前预测单元的L1运动矢量mvE1(mvE1_x,mvE1_y):
Figure BDA0002555751200000172
这里,mvX即为mvRef,MVX即为mvE1。
第五步,interPredRefMode的值等于‘PRED_List01’。
方法三,以当前块的左下角为例,推导运动信息的步骤如下:
第一步,
假定当前预测单元的左上角亮度样本位置为(x,y),亮度预测块的宽度为l_width,亮度预测块的高度为l_height;而所选当前预测单元的左下角亮度样本位置为(x’,y’),x’=x-1,y’=y+l_height。
如果x’小于当前预测单元所在的LCU的最左边的亮度样本位置的横坐标x_l,或x’不可用,比如x’小于当前预测单元所在的图像或patch的最左边的亮度样本位置的横坐标x_boundary_left;那么x’=x;
如果y’大于当前预测单元所在的LCU的最下边的亮度样本位置的纵坐标y_b,或y’不可用,比如y’大于当前预测单元所在的图像或patch的最下边的亮度样本位置的纵坐标y_boundary_bottom;那么,y’=y+l_height-1。
第二步,
如果参考图像队列1中参考索引值为0的图像中与所选当前预测单元的左下角亮度样本位置对应的亮度样本所在的时域运动信息存储单元存储的参考帧索引为-1,则当前预测单元的L0参考索引和L1参考索引均等于0。以当前预测单元所在编码单元的尺寸和位置作为当前预测单元的尺寸和位置,然后将所得到的L0运动矢量预测值和L1运动矢量预测值分别作为当前预测单元的L0运动矢量MvE0和L1运动矢量MvE1,并令当前预测单元的L0参考索引RefIdxL0和L1参考索引RefIdxL1均等于0,结束运动信息导出过程。
否则,
当前预测单元的L0参考索引和L1参考索引均等于0。当前预测单元的L0参考索引和L1参考索引对应的图像的距离索引分别记为DistanceIndexL0和DistanceIndexL1;当前预测单元的L0参考索引和L1参考索引对应的图像的BlockDistance分别记为BlockDistanceL0和BlockDistanceL1。
在参考图像队列1中参考索引为0的图像中与所选当前预测单元的左下角亮度样本位置对应的亮度样本所在的时域运动信息存储单元的L0运动矢量记为mvRef(mvRef_x,mvRef_y),该运动信息存储单元所在的图像的距离索引记为DistanceIndexCol,该运动矢量指向的参考单元所在的图像的距离索引记为DistanceIndexRef。
第三步,
BlockDistanceRef=DistanceIndexCol-DistanceIndexRef
第四步,
令当前预测单元的L0参考索引RefIdxL0等于0,计算当前预测单元的L0运动矢量mvE0(mvE0_x,mvE0_y):
Figure BDA0002555751200000173
这里,mvX即为mvRef,MVX即为mvE0。
令当前预测单元的L1参考索引RefIdxL1等于0,计算当前预测单元的L1运动矢量mvE1(mvE1_x,mvE1_y):
Figure BDA0002555751200000174
这里,mvX即为mvRef,MVX即为mvE1。
第五步,interPredRefMode的值等于‘PRED_List01’。
方法四,以当前块的右下角为例,推导运动信息的步骤如下:
第一步,
假定当前预测单元的左上角亮度样本位置为(x,y),亮度预测块的宽度为l_width,亮度预测块的高度为l_height;而所选当前预测单元的右下角亮度样本位置为(x’,y’),x’=x+l_width,y’=y+l_height。
如果x’大于当前预测单元所在的LCU的最右边的亮度样本位置的横坐标x_lcu_right,或x’不可用,比如x’大于当前预测单元所在的图像或patch的最右边的亮度样本位置的横坐标x_boundary_right;那么x’=x+l_width-1;
如果y’大于当前预测单元所在的LCU的最下边的亮度样本位置的纵坐标y_lcu_bottom,或y’不可用,比如y’大于当前预测单元所在的图像或patch的最下边的亮度样本位置的纵坐标y_boundary_top;那么y’=y+l_height-1。
第二步,
如果参考图像队列1中参考索引值为0的图像中与所选当前预测单元的右下角亮度样本位置对应的亮度样本所在的时域运动信息存储单元存储的参考帧索引为-1,则当前预测单元的L0参考索引和L1参考索引均等于0。以当前预测单元所在编码单元的尺寸和位置作为当前预测单元的尺寸和位置,然后将所得到的L0运动矢量预测值和L1运动矢量预测值分别作为当前预测单元的L0运动矢量MvE0和L1运动矢量MvE1,并令当前预测单元的L0参考索引RefIdxL0和L1参考索引RefIdxL1均等于0,结束运动信息导出过程。
否则,
当前预测单元的L0参考索引和L1参考索引均等于0。当前预测单元的L0参考索引和L1参考索引对应的图像的距离索引分别记为DistanceIndexL0和DistanceIndexL1;当前预测单元的L0参考索引和L1参考索引对应的图像的BlockDistance分别记为BlockDistanceL0和BlockDistanceL1。
在参考图像队列1中参考索引为0的图像中与所选当前预测单元的右下角亮度样本位置对应的亮度样本所在的时域运动信息存储单元的L0运动矢量记为mvRef(mvRef_x,mvRef_y),该运动信息存储单元所在的图像的距离索引记为DistanceIndexCol,该运动矢量指向的参考单元所在的图像的距离索引记为DistanceIndexRef。
第三步,
BlockDistanceRef=DistanceIndexCol-DistanceIndexRef
第四步,
令当前预测单元的L0参考索引RefIdxL0等于0,计算当前预测单元的L0运动矢量mvE0(mvE0_x,mvE0_y):
Figure BDA0002555751200000181
这里,mvX即为mvRef,MVX即为mvE0。
令当前预测单元的L1参考索引RefIdxL1等于0,计算当前预测单元的L1运动矢量mvE1(mvE1_x,mvE1_y):
Figure BDA0002555751200000182
这里,mvX即为mvRef,MVX即为mvE1。
第五步,interPredRefMode的值等于‘PRED_List01’。
这样,在导出时域运动信息之后,可以将所得到的时域运动信息填充至运动信息候选列表中,以得到新的运动信息候选列表。
S505:基于所述至少一个时域运动信息,构建新的运动信息候选列表。
需要说明的是,在得到至少一个时域运动信息之后,可以将其填入到运动信息候选列表中,以得到新的运动信息候选列表。具体地,对于S505来说,该步骤可以包括:将至少一个时域运动信息填入运动信息候选列表中,得到所述新的运动信息候选列表。
还需要说明的是,现有的运动信息候选列表中只预留一个时域运动信息的填充位置,为了提高右下角的相关性,还可以增加运动信息候选列表中时域运动信息的填充位置。具体地,在一些实施例中,该方法还可以包括:
调整时域运动信息在所述新的运动信息候选列表中的比例值;
根据所调整的比例值,控制所述新的运动信息候选列表中预留至少两个时域运动信息的填充位置。
也就是说,可以增加时域运动信息在运动信息候选列表中的比例值。如果AWP预测模式下候选列表中给时域运动信息保留了至少1个位置,那么可以调整为AWP预测模式下候选列表中给时域运动信息保留了至少2个(或3个)位置,使得新的运动信息候选列表中预留至少两个时域运动信息的填充位置。
这样,在推导出时域运动信息之后,可以构建出新的运动信息候选列表。后续根据新的运动信息候选列表来确定当前块的帧间预测值。
S506:根据所述新的运动信息候选列表,确定所述当前块的帧间预测值。
需要说明的是,当预测模式参数指示使用预设的帧间预测模式(比如GPM或AWP)确定当前块的帧间预测值时,这时候可以确定出当前块的两个分区。也就是说,该方法还可以包括:当预测模式参数指示使用GPM或AWP确定当前块的帧间预测值时,确定所述当前块的两个分区;其中,所述两个分区包括第一分区和第二分区。
还需要说明的是,在得到新的运动信息候选列表后,可以确定出当前块的第一分区对应的运动信息和所述第二分区的运动信息;然后根据第一分区对应的运动信息和所述第二分区的运动信息,能够确定出当前块的帧间预测值。
具体地,如图7所示,其示出了本申请实施例提供的另一种帧间预测方法的流程示意图。该方法可以包括:
S701:解析码流,确定所述第一分区对应的第一运动信息索引值和所述第二分区对应的第二运动信息索引值;
S702:基于新的运动信息候选列表,将所述第一运动信息索引值指示的所述新的运动信息候选列表中的运动信息确定为所述第一分区的运动信息,将所述第二运动信息索引值指示的所述新的运动信息候选列表中的运动信息确定为所述第二分区的运动信息;
S703:利用所述第一分区的运动信息计算所述第一分区的第一预测值,利用所述第二分区的运动信息计算所述第二分区的第二预测值;
S704:对所述第一预测值和所述第二预测值进行加权融合,得到所述当前块的帧间预测值。
需要说明的是,传统的单向预测只是查找一个与当前块大小相同的参考块,而传统的双向预测使用两个与当前块大小相同的参考块,且预测块内每个点的像素值为两个参考块对应位置的平均值,即每一个参考块的所有点都占50%的比例。双向加权预测使得两个参考块的比例可以不同,如第一个参考块中所有点都占75%的比例,第二个参考块中所有点都占25%的比例。但同一个参考块中的所有点的比例都相同。其他一些优化方式比如采用解码端运动矢量修正(Decoder side Motion Vector Refinement,DMVR)技术、双向光流(Bi-directional Optical Flow,BIO)等会使参考像素或预测像素产生一些变化,而且GPM或AWP也使用两个与当前块大小相同的参考块,但某些像素位置100%使用第一个参考块对应位置的像素值,某些像素位置100%使用第二个参考块对应位置的像素值,而在交界区域,按一定比例使用这两个参考块对应位置的像素值。具体这些权重如何分配,由GPM或AWP的预测模式决定,或者也可以认为GPM或AWP使用两个与当前块大小不相同的参考块,即各取所需的一部分作为参考块。
示例性地,如图8A所示,其示出了本申请实施例提供的一种GPM在64×64的当前块上的多种划分模式的权重分配示意图。在图8A中,GPM存在有64种划分模式。如图8B所示,其示出了本申请实施例提供的一种AWP在64×64的当前块上的多种划分模式的权重分配示意图。在图8B中,AWP存在有56种划分模式。无论是图8A还是图8B,每一种划分模式下,黑色区域表示第一个参考块对应位置的权重值为0%,白色区域表示第一个参考块对应位置的权重值为100%,灰色区域则按颜色深浅的不同表示第一个参考块对应位置的权重值为大于0%且小于100%的某一个权重值,第二个参考块对应位置的权重值则为100%减去第一个参考块对应位置的权重值。
应理解,早期的编解码技术中只存在矩形的划分方式,无论是CU、PU还是变换单元(Transform Unit,TU)的划分。而GPM或AWP均实现了非矩形的划分,即用一条直线可以将一个矩形块分成两个分区,根据直线的位置和角度的不同,划分的两个分区可能是三角形或梯形或矩形等,从而能使得划分更贴近物体的边缘或者两个运动不同区域的边缘。需要注意的是,这里所说的划分并不是真正意义上的划分,而更像是一种预测效果上的划分。因为这个划分只是划分了两个参考块在产生预测块时的权重,或者可以简单地理解为预测块的一部分位置来自于第一个参考块,而另一部分位置来自于第二个参考块,并没有真正按划分线把当前块划分成两个CU或PU或TU。这样,在预测之后残差的变换、量化、反变换、反量化等也都是将当前块作为一个整体进行处理。
还需要说明的是,GPM或AWP属于一种帧间预测技术,GPM或AWP需要在码流中传输一个GPM或AWP是否使用的标志(flag),该flag可以指示当前块是否使用GPM或AWP。如果使用GPM或AWP,编码器在码流中需要传输具体使用的模式,即GPM的64种划分模式之一,或AWP的56种划分模式之一;以及两个单向运动信息的索引值。也就是说,对于当前块而言,解码器通过解析码流可以得到GPM或AWP是否使用的信息,如果确定使用GPM或AWP,解码器可以解析出GPM或AWP的预测模式参数以及两个运动信息索引值,比如当前块可以划分为两个分区,那么可以解析出第一分区对应的第一运动信息索引值和第二分区对应的第二运动信息索引值。
在计算当前块的帧间预测值之前,首先需要构建一个新的运动信息候选列表,下面以AVS中的AWP为例介绍运动信息候选列表的构建方法。
如图2B所示,块E为当前块,而块A、块B、块C、块D、块F、块G均为块E的相邻块。其中,块E的相邻块A是样本(x0-1,y0)所在的块,块E的相邻块B是样本(x0,y0-1)所在的块,块E的相邻块C是样本(x0+1,y0-1)所在的块,块E的相邻块D是样本(x0-1,y0-1)所在的块,块E的相邻块F是样本(x0-1,y1)所在的块,块E的相邻块G是样本(x1,y0-1)所在的块。其中(x0,y0)是块E左上角样本在图像中的坐标,(x1,y0)是块E右上角样本在图像中的坐标,(x0,y1)是块E左下角样本在图像中的坐标。也就是说,块E和它的相邻块A、B、C、D、F和G的空间位置关系详见图2B。
对于图2B而言,相邻块X(X表示为A、B、C、D、F或G)“存在”是指该块应在待解码图像内并且该块应与块E属于同一空间区域;否则相邻块“不存在”。可以得到,如果块“不存在”或者尚未解码,那么此块“不可用”;否则此块“可用”。或者,如果待解码图像样本所在的块“不存在”或者此样本尚未解码,那么此样本“不可用”;否则此样本“可用”。
假定第一个单向运动信息表示为mvAwp0L0、mvAwp0L1、RefIdxAwp0L0和RefIdxAwp0L1。其中,mvAwp0L0表示在第一个参考帧列表RefPicList0中对应的运动矢量,RefIdxAwp0L0表示在第一个参考帧列表RefPicList0中对应的参考帧的参考索引值;mvAwp0L1表示在第二个参考帧列表RefPicList1中对应运动矢量,RefIdxAwp0L1表示在第二个参考帧列表RefPicList1中对应的参考帧的参考索引值。第二个单向运动信息以此类推。
由于这里的运动信息都是单向的,所以RefIdxAwp0L0和RefIdxAwp0L1必有一个为有效值,比如0,1,2等;另一个为无效值,比如-1。如果RefIdxAwp0L0为有效值,那么RefIdxAwp0L1为-1;这时候对应的mvAwp0L0即为所需要的运动矢量,即(x,y),mvAwp0L1不需要考虑。反之亦然。
具体来讲,推导mvAwp0L0、mvAwp0L1、RefIdxAwp0L0、RefIdxAwp0L1、mvAwp1L0、mvAwp1L1、RefIdxAwp1L0和RefIdxAwp1L1的步骤如下:
第一步,如图2B所示,F、G、C、A、B和D是当前块E的相邻块,确定F、G、C、A、B和D的“可用”性:
(a)如果F存在且采用帧间预测模式,那么F“可用”;否则F“不可用”。
(b)如果G存在且采用帧间预测模式,则G“可用”;否则G“不可用”。
(c)如果C存在且采用帧间预测模式,则C“可用”;否则C“不可用”。
(d)如果A存在且采用帧间预测模式,则A“可用”;否则A“不可用”。
(e)如果B存在且采用帧间预测模式,则B“可用”;否则B“不可用”。
(f)如果D存在且采用帧间预测模式,则D“可用”;否则D“不可用”。
第二步,按F、G、C、A、B和D的顺序将单向可用的运动信息放入单向运动信息候选列表(用AwpUniArray表示),直至AwpUniArray长度为3或遍历结束。
第三步,如果AwpUniArray的长度小于3,按F、G、C、A、B和D的顺序将双向可用的运动信息拆分为指向参考帧列表List0的单向运动信息以及指向参考帧列表List1的单向运动信息,先进行单向运动信息查重操作,若不重复则放入AwpUniArray,直至长度为3或遍历结束。
第四步,将推导出的时域双向的运动信息拆分为指向参考帧列表List0的单向运动信息以及指向参考帧列表List1的单向运动信息,先进行单向运动信息查重操作,若不重复则放入AwpUniArray,直至长度为4或遍历结束。
第五步,如果AwpUniArray的长度小于4,那么将AwpUniArray中最后一个单向运动信息进行重复填充操作,直至AwpUniArray长度为4。
第六步,将AwpUniArray中第AwpCandIdx0+1个运动信息赋值给mvAwp0L0、mvAwp0L1、RefIdxAwp0L0和RefIdxAwp0L1;将AwpUniArray中第AwpCandIdx1+1个运动信息赋值给mvAwp1L0、mvAwp1L1、RefIdxAwp1L0和RefIdxAwp1L1。
在最近一次的标准会议中,上述具体的文本描述修改如下,
第一步,如图2B所示,F、G、C、A、B和D是当前块E的相邻块,确定F、G、C、A、B和D的“可用”性:
(a)如果F存在且采用帧间预测模式,则F“可用”;否则F“不可用”。
(b)如果G存在且采用帧间预测模式且G和F的运动信息不相同,则G“可用”;否则G“不可用”。
(c)如果C存在且采用帧间预测模式且C和G的运动信息不相同,则C“可用”;否则C“不可用”。
(d)如果A存在且采用帧间预测模式且A和F的运动信息不相同,则A“可用”;否则A“不可用”。
(e)如果B存在且采用帧间预测模式,则B“可用”;否则B“不可用”。
(f)如果D存在且采用帧间预测模式且D和A的运动信息不相同且D和G的运动信息也不相同,则D“可用”;否则D“不可用”
第二步,按F、G、C、A、B和D的顺序将可用的运动信息放入运动候选列表AwpCandArray,直至AwpCandArray长度为4或遍历结束。
第三步,将推导出的时域双向的运动信息放入运动候选列表AwpCandArray。
第四步,如果AwpCandArray的长度小于5,依次生成四个运动信息,生成的四个运动信息的参考帧信息与AwpCandArray中第一个运动信息的参考帧信息相同。依次对AwpCandArray中第一个运动信息的List0和List1列表对应的运动矢量记为(x,y),生成的四个运动信息对应候选列表中的运动矢量分别为(x0,y0)、(x1,y1)、(x2,y2)和(x3,y3),计算如下,
x0=abs(x)<8?8:(abs(x)<=64?((abs(x)*5+2)>>2):(abs(x)<=128?((abs(x)*9+4)>>3):((abs(x)*33+16)>>5)))
x0=x<0?-x0:x0
y0=y
x1=x
y1=abs(y)<8?8:(abs(y)<=64?((abs(y)*5+2)>>2):(abs(y)<=128?((abs(y)*9+4)>>3):((abs(y)*33+16)>>5)))
y1=y<0?-y1:y1
x2=abs(x)<8?8:(abs(x)<=64?((abs(x)*3+2)>>2):(abs(x)<=128?((abs(x)*7+4)>>3):((abs(x)*31+16)>>5)))
x2=x<0?-x2:x2
x2=abs(x)<8?-x2:x2
y2=y
x3=x
y3=abs(y)<8?8:(abs(y)<=64?((abs(y)*3+2)>>2):(abs(y)<=128?((abs(y)*7+4)>>3):((abs(y)*31+16)>>5)))
y3=y<0?-y3:y3
y3=abs(y)<8?-y3:y3
将新生成的四个运动信息依次加入AwpCandArray,直至AwpCandArray的长度为5。
第五步,将AwpCandArray中第AwpCandIdx0+1个运动候选的某一个单项运动信息赋值给mvAwp0L0、mvAwp0L1、RefIdxAwp0L0和RefIdxAwp0L1:
(a)如果AwpCandIdx0是偶数,将运动候选指向参考帧列表List0的单向运动信息赋值给mvAwp0L0和RefIdxAwp0L0,mvAwp0L1等于零,RefIdxAwp0L1等于-1;如果List0单向运动信息不存在,将运动候选指向参考帧列表List1的单向运动信息赋值给mvAwp0L1和RefIdxAwp0L1,mvAwp0L0等于零,RefIdxAwp0L0等于-1。
(b)如果AwpCandIdx0是奇数,将运动候选指向参考帧列表List1的单向运动信息赋值给mvAwp0L1和RefIdxAwp0L1,mvAwp0L0等于零,RefIdxAwp0L0等于-1;如果List1单向运动信息不存在,将运动候选指向参考帧列表List0的单向运动信息赋值给mvAwp0L0和RefIdxAwp0L0,mvAwp0L1等于零,RefIdxAwp0L1等于-1。
第六步,将AwpCandArray中第AwpCandIdx1+1个运动候选的某一个单项运动信息赋值给mvAwp1L0、mvAwp1L1、RefIdxAwp1L0和RefIdxAwp1L1:
(a)如果AwpCandIdx1是偶数,将运动候选指向参考帧列表List0的单向运动信息赋值给mvAwp1L0和RefIdxAwp1L0,mvAwp1L1等于零,RefIdxAwp1L1等于-1;如果List0单向运动信息不存在,将运动候选指向参考帧列表List1的单向运动信息赋值给mvAwp1L1和RefIdxAwp1L1,mvAwp1L0等于零,RefIdxAwp1L0等于-1。
(b)如果AwpCandIdx1是奇数,将运动候选指向参考帧列表List1的单向运动信息赋值给mvAwp1L1和RefIdxAwp1L1,mvAwp1L0等于零,RefIdxAwp1L0等于-1;如果List1单向运动信息不存在,将运动候选指向参考帧列表List0的单向运动信息赋值给mvAwp1L0和RefIdxAwp1L0,mvAwp1L1等于零,RefIdxAwp1L1等于-1。
利用上述方法确定的两个单向运动信息找到两个参考块,根据GPM或AWP使用的具体的模式确定两个参考块在每一个像素位置的权值,并将两个参考块加权得到当前块的预测块。
这样,对于当前块而言,解码器通过解析码流可以得到GPM或AWP是否使用的信息,如果确定使用GPM或AWP,解码器可以解析出GPM或AWP的预测模式参数以及两个运动信息索引值,并且解码器构造当前块GPM或AWP使用的运动信息候选列表,然后根据解析到的两个运动信息索引值可以在上述构建出新的运动信息候选列表中找到两个单向运动信息,然后利用这两个单向运动信息可以查找到两个参考块,根据GPM或AWP使用的具体预测模式能够确定出两个参考块在每一个像素位置的权值,最后将两个参考块加权计算以得到当前块的预测块。
进一步地,如果当前模式是跳过(skip)模式,那么预测块就是解码块,意味着当前块的解码结束。如果当前模式不是跳过模式,熵解码解析量化系数,接着反量化与反变换以得到残差块,最后将残差块与预测块相加可以得到解码块,意味着当前块的解码结束。
这样,本申请实施例限制导出时域运动信息所使用的像素位置不会超出当前块的LCU边界以使硬件实现没有额外带宽增加的应用场景。在本申请实施例中,主要采用的方式包括:(1)将所有的初始候选位置都设置在当前块内部;(2)针对某一个角,如果初始候选位置落在LCU外部,那么首选调整到这个角的LCU内部而当前块外部的某一个候选位置。(3)如果某一个角的初始位置落在了LCU外部,那么调整到另外一个初始位置落在LCU内部的角的位置。其中,大多数采用的是第(2)方式,以使硬件实现时不增加额外的带宽而且尽量保持其压缩性能。
本实施例提供了一种帧间预测方法,应用于解码器。解析码流,获取当前块的预测模式参数;当所述预测模式参数指示使用预设的帧间预测模式确定当前块的帧间预测值时,确定所述当前块的至少一个初始候选位置;在所述至少一个初始候选位置超出所述当前块的LCU边界的情况下,对所述至少一个初始候选位置进行调整,得到所述当前块的至少一个目标候选位置;基于所述至少一个目标候选位置,确定所述当前块的至少一个时域运动信息;基于所述至少一个时域运动信息,构建新的运动信息候选列表;根据所述新的运动信息候选列表,确定所述当前块的帧间预测值。这样,在确定出当前块的至少一个初始候选位置之后,通过对至少一个初始候选位置进行调整以使得至少一个目标候选位置不会超出当前块的LCU边界,从而能够使硬件实现时不增加额外的带宽,同时还能够保证编解码性能。
本申请实施例提供一种帧间预测方法,该方法应用于视频编码设备,即编码器。该方法所实现的功能可以通过编码器中的第二处理器调用计算机程序来实现,当然计算机程序可以保存在第二存储器中,可见,该编码器至少包括第二处理器和第二存储器。
参见图9,其示出了本申请实施例又一种帧间预测方法的流程示意图。如图9所示,该方法可以包括:
S901:确定当前块的预测模式参数;
需要说明的是,待编码图像可以划分为多个图像块,当前待编码的图像块可以称为当前块,与当前块相邻的图像块可以称为相邻块;即在待编码图像中,当前块与相邻块之间具有相邻关系。这里,每个当前块可以包括第一图像分量、第二图像分量和第三图像分量;也即当前块为待编码图像中当前待进行第一图像分量、第二图像分量或者第三图像分量预测的图像块。
其中,假定当前块进行第一图像分量预测,而且第一图像分量为亮度分量,即待预测图像分量为亮度分量,那么当前块也可以称为亮度块;或者,假定当前块进行第二图像分量预测,而且第二图像分量为色度分量,即待预测图像分量为色度分量,那么当前块也可以称为色度块。
还需要说明的是,预测模式参数指示了当前块采用的预测模式以及与该预测模式相关的参数。这里,针对预测模式参数的确定,可以采用简单的决策策略,比如根据失真值的大小进行确定;也可以采用复杂的决策策略,比如根据率失真优化(Rate DistortionOptimization,RDO)的结果进行确定,本申请实施例不作任何限定。通常而言,可以采用RDO方式来确定当前块的预测模式参数。
具体地,在一些实施例中,对于S901来说,所述确定当前块的预测模式参数,可以包括:
利用多种预测模式对所述当前块进行预编码处理,获得每一种预测模式对应的率失真代价值;
从所获得的多个率失真代价值中选择最小率失真代价值,将所述最小率失真代价值对应的预测模式确定为当前块的预测模式参数。
也就是说,在编码器侧,针对当前块可以采用多种预测模式分别对当前块进行预编码处理。这里,多种预测模式通常包括有帧间预测模式、传统帧内预测模式和非传统帧内预测模式;其中,传统帧内预测模式可以包括有直流(Direct Current,DC)模式、平面(PLANAR)模式和角度模式等,非传统帧内预测模式可以包括有基于矩阵的帧内预测(Matrix-based Intra Prediction,MIP)模式、跨分量线性模型预测(Cross-componentLinear Model Prediction,CCLM)模式、帧内块复制(Intra Block Copy,IBC)模式和PLT(Palette)模式等,而帧间预测模式可以包括有普通帧间预测模式、GPM预测模式和AWP预测模式等。
这样,在利用多种预测模式分别对当前块进行预编码之后,可以得到每一种预测模式对应的率失真代价值;然后从所得到的多个率失真代价值中选取最小率失真代价值,并将该最小率失真代价值对应的预测模式确定为当前块的预测模式参数。除此之外,还可以在利用多种预测模式分别对当前块进行预编码之后,得到每一种预测模式对应的失真值;然后从所得到的多个失真值中选取最小失真值,并将该最小失真值对应的预测模式确定为当前块的预测模式参数。如此,最终使用所确定的预测模式参数对当前块进行编码,而且在这种预测模式下,可以使得预测残差较小,能够提高编码效率。
S902:当所述预测模式参数指示使用预设的帧间预测模式确定当前块的帧间预测值时,确定所述当前块的至少一个初始候选位置。
需要说明的是,如果预测模式参数指示使用预设的帧间预测模式确定当前块的帧间预测值的情况下,就可以采用本申请实施例所提供的帧间预测方法。这里,预设的帧间预测模式可以为GPM预测模式或AWP预测模式等。
还需要说明的是,运动信息可以包括运动矢量信息和参考帧信息。另外,参考帧信息可以是由参考帧列表以及参考索引值共同确定所对应的参考帧。
在一些实施例中,对于S902来说,所述确定所述当前块的至少一个初始候选位置,可以包括:
获取所述当前块的至少一个角初始候选位置,组成初始候选位置集合;其中,所述至少一个角初始候选位置包括下述至少一项:左上初始候选位置、右上初始候选位置、左下初始候选位置和右下初始候选位置;
从所述初始候选位置集合中,确定所述当前块的至少一个初始候选位置。
进一步地,在一些实施例中,左上初始候选位置至少包括下述其中之一:第一左上候选位置、第二左上候选位置、第三左上候选位置和第四左上候选位置;
右上初始候选位置至少包括下述其中之一:第一右上候选位置、第二右上候选位置、第三右上候选位置和第四右上候选位置;
左下初始候选位置至少包括下述其中之一:第一左下候选位置、第二左下候选位置、第三左下候选位置和第四左下候选位置;
右下初始候选位置至少包括下述其中之一:第一右下候选位置、第二右下候选位置、第三右下候选位置和第四右下候选位置;
其中,所述第一左上候选位置、所述第一右上候选位置、所述第一左下候选位置和所述第一右下候选位置表征所述当前块内部的四个角位置,所述第二左上候选位置、所述第三左上候选位置和所述第四左上候选位置表征所述当前块外部的左上角位置,所述第二右上候选位置、所述第三右上候选位置和所述第四右上候选位置表征所述当前块外部的右上角位置,所述第二左下候选位置、所述第三左下候选位置和所述第四左下候选位置表征所述当前块外部的左下角位置,所述第二右下候选位置、所述第三右下候选位置和所述第四右下候选位置表征所述当前块外部的右下角位置。
需要说明的是,假定当前块内部的左上角位置,也就是当前块左上角第一个像素对应的像素位置为(x,y),当前块的宽度为width,当前块的高度为height。另外,这里所说的宽度和高度通常是指亮度分量的宽度(即l_width)和高度(即l_height),但不作具体限定。
还需要说明的是,由于上面提到用于导出时域运动信息的参考帧存储导出时域运动信息的运动信息是按照块保存运动信息,那么按照某一个像素位置确定的时域运动信息和按照与该像素位置处在同一个存储块内其他像素位置确定的时域运动信息是相同的,这样在导出过程中可能有一些中间计算将某一个像素位置通过一些计算得到某些统一格式的位置,这里只要它们都处在同一个存储块内,那么可以认为这些位置是相同的。
以图6A~图6E为例,其提供了多种初始候选位置的情况。在得到初始候选位置之后,需要判断该初始候选位置是否超出当前块的LCU边界,以进一步确定当初始候选位置落在LCU边界之外时如何处理。
S903:在所述至少一个初始候选位置超出所述当前块的最大编码单元LCU边界的情况下,对所述至少一个初始候选位置进行调整,得到所述当前块的至少一个目标候选位置。
需要说明的是,为了避免硬件实现时增加额外的带宽,这时候需要判断用于确定时域运动信息所使用的至少一个初始候选位置是否超过当前块的LCU边界。
在一些实施例中,对于S903来说,该方法还可以包括:在所述至少一个初始候选位置未超出所述当前块的LCU边界的情况下,将所述至少一个初始候选位置确定为所述当前块的至少一个目标候选位置。
也就是说,如果某一初始候选位置超出LCU边界,那么这时候需要针对该初始候选位置进行调整,以使得调整后得到的目标候选位置未超出LCU边界;如果某一初始候选位置未超出LCU边界,那么这时候就不需要针对该初始候选位置进行调整,可以直接将该初始候选位置确定为目标候选位置。
一种可能的实施方式中,可以选取当前块内部的候选位置,这时候所使用的的候选位置都不超出当前块的LCU边界,能够将其直接确定为目标候选位置。因此,在一些实施例中,该方法还可以包括:
若所述至少一个初始候选位置包括所述第一左上候选位置,和/或,所述第一右上候选位置,和/或,所述第一左下候选位置,和/或,所述第一右下候选位置,则确定所述至少一个初始候选位置未超出LCU边界,将所述至少一个初始候选位置确定为所述当前块的至少一个目标候选位置。
另一种可能的实施方式中,针对某一个角,如果初始候选位置落在LCU边界外部,那么首选调整到这个角的LCU内部且当前块外部的某一候选位置。因此,在一些实施例中,该方法还可以包括:
若所述至少一个初始候选位置包括其中一个角的初始候选位置,且所述其中一个角的初始候选位置超出LCU边界,则从所述其中一个角对应的候选位置中选择未超出所述LCU边界的候选位置,将所述其中一个角的初始候选位置调整到所选择的候选位置,以得到所述当前块的一个目标候选位置。
进一步地,当其中一个角的初始候选位置为右下初始候选位置时,该方法还可以包括:
若所述至少一个初始候选位置包括所述右下初始候选位置,且所述右下初始候选位置超出LCU边界,则从所述当前块外部的右下角位置中选择未超出LCU边界的候选位置,将所述右下初始候选位置调整到所选择的候选位置,以得到所述当前块的一个目标候选位置。
进一步地,该方法还可以包括:若从所述当前块外部的右下角位置中没有选择到未超出LCU边界的候选位置,则将所述右下初始候选位置调整到所述当前块内部的右下角位置,以得到所述当前块的一个目标候选位置。
也就是说,以右下角为例,如果右下初始候选位置超出LCU边界,那么首先调整到右下角的LCU内部但是当前块外部的某一候选位置;如果从当前块外部的右下角位置中没有选择到未超出LCU边界的候选位置,这时候就需要调整到当前块内部的右下角位置,以确定出对应的目标候选位置。
又一种可能的实施方式中,针对某一个角,如果初始候选位置落在LCU边界外部,那么可以调整到另外一个初始位置落在LCU内部的角的候选位置。因此,在一些实施例中,该方法还可以包括:
若所述至少一个初始候选位置包括其中一个角的初始候选位置,且所述其中一个角的初始候选位置超出LCU边界,则从除所述其中一个角之外剩余角对应的候选位置中选择未超出所述LCU边界的候选位置,将所述其中一个角的初始候选位置调整到所选择的候选位置,以得到所述当前块的一个目标候选位置。
进一步地,当其中一个角的初始候选位置为右下初始候选位置时,该方法还可以包括:
若所述至少一个初始候选位置包括所述右下初始候选位置,且所述右下初始候选位置超出LCU边界,则在所述右上初始候选位置未超出LCU边界的情况下,将所述右下初始候选位置调整到所述右上初始候选位置,以得到所述当前块的一个目标候选位置。
再一种可能的实施方式中,针对某一个角,如果初始候选位置落在LCU边界外部,且这个角只能调整到当前块内部,那么可以调整到另外一个初始位置落在LCU内部的角的候选位置。因此,在一些实施例中,该方法还可以包括:
若所述至少一个初始候选位置包括其中一个角的初始候选位置,且所述其中一个角的初始候选位置超出LCU边界,且所述其中一个角对应的候选位置中仅所述当前块内部的候选位置未超出LCU边界,则从除所述其中一个角之外剩余角对应的候选位置中选择未超出所述LCU边界的候选位置,将所述其中一个角的初始候选位置调整到所选择的候选位置,以得到所述当前块的一个目标候选位置。
进一步地,当其中一个角的初始候选位置为右下初始候选位置时,该方法还可以包括:
若所述至少一个初始候选位置包括所述右下初始候选位置,且所述右下初始候选位置超出LCU边界,且所述当前块内部和外部的右下角位置中仅所述第一右下候选位置未超出LCU边界,则在所述右上初始候选位置未超出LCU边界的情况下,将所述右下初始候选位置调整到所述右上初始候选位置,以得到所述当前块的一个目标候选位置。
再一种可能的实施方式中,还可以是对每一个划分模式设置这至少一个初始候选位置的优先级排序,然后依次检查是否超出当前块的LCU边界。因此,在一些实施例中,该方法还可以包括:
针对不同的划分模式,根据预设优先级顺序设置所述初始候选位置集合中不同初始候选位置对应的优先级;
按照所述预设优先级顺序选取一个初始候选位置,并判断所选取的初始候选位置是否超出LCU边界;
若所选取的初始候选位置超出LCU边界,则返回执行所述按照所述预设优先级顺序选取一个初始候选位置的步骤;
若所选取的初始候选位置未超出LCU边界,则将所选取的初始候选位置确定为所述当前块的一个目标候选位置。
也就是说,针对不同的划分模式,可以设置不同的预设优先级顺序。仍以划分模式54为例(从0开始),针对划分模式54,可以设置左上角、右上角、左下角和右下角等四个初始候选位置的优先级排序,比如设置的初始候选位置排序为3、1、2、0,即优先选取右下角,再选取右上角,然后再选取左下角,最后选取左上角;按照上述方式依次进行判断。
再一种可能的实施方式中,还可以是对每一个划分模式设置这至少一个初始候选位置的固定排序顺序,然后依次检查是否超出当前块的LCU边界。因此,在一些实施例中,该方法还可以包括:
针对不同的划分模式,根据预设顺序对所述初始候选位置集合中不同初始候选位置进行排序;
按照所述预设顺序选取一个初始候选位置,并判断所选取的初始候选位置是否超出LCU边界;
若所选取的初始候选位置超出LCU边界,则返回执行所述按照所述预设顺序选取一个初始候选位置的步骤;
若所选取的初始候选位置未超出LCU边界,则将所选取的初始候选位置确定为所述当前块的一个目标候选位置。
也就是说,还可以是按照一个固定的预设顺序排序,比如按照0,1,2,3,0,1,……的顺序,如果某一个划分模式首先选取3,即右下角,但是右下角不能落在LCU内部但位于当前块外部;那么选取0再次尝试,即左上角,如果0也不满足,那么选取1再次尝试,即右上角,以此类推,直至4个初始候选位置都依次判断过。
进一步地,如果四个初始候选位置都不能落在LCU内部而位于当前块外部,那么还可以设置位置排序(比如预设优先级顺序或者预设顺序)的第一个角的当前块内部位置,以将其确定为目标候选位置;或者,如果四个初始候选位置都不能落在LCU内部而位于当前块外部,另一种方式是选择一个默认位置,比如当前块内部的左上角位置,以将其确定为目标候选位置。
S904:基于所述至少一个目标候选位置,确定所述当前块的至少一个时域运动信息。
需要说明的是,在得到至少一个目标候选位置之后,可以根据所得到的目标候选位置来确定时域运动信息,具体是将对应参考帧中的时域位置所使用的运动信息作为该目标候选位置的时域运动信息。这里,当前块所属的帧可以为称为当前帧,当前帧中的目标候选位置与参考帧中的时域位置虽然所属的帧不同,但是位置是相同的。
在一些实施例中,对于S904来说,所述基于所述至少一个目标候选位置,确定所述当前块的至少一个时域运动信息,可以包括:
确定所述至少一个目标候选位置中每一目标候选位置对应的参考帧信息;
针对每一目标候选位置,在对应的参考帧信息中确定与所述目标候选位置关联的时域位置,并将所述时域位置使用的运动信息确定为所述目标候选位置对应的时域运动信息;
基于所述至少一个目标候选位置,对应得到至少一个时域运动信息。
也就是说,时域运动信息是根据某一个参考帧信息中对应位置所使用的运动信息来确定的。而且针对不同的目标候选位置,可得到不同的时域运动信息。
这样,在推导出时域运动信息之后,可以将所得到的时域运动信息填充至运动信息候选列表中,以得到新的运动信息候选列表。
S905:基于所述至少一个时域运动信息,构建新的运动信息候选列表。
需要说明的是,在得到至少一个时域运动信息之后,可以将其填入到运动信息候选列表中,以得到新的运动信息候选列表。具体地,对于S905来说,该步骤可以包括:将至少一个时域运动信息填入运动信息候选列表中,得到所述新的运动信息候选列表。
还需要说明的是,现有的运动信息候选列表中只预留一个时域运动信息的填充位置,为了提高右下角的相关性,还可以增加运动信息候选列表中时域运动信息的填充位置。具体地,在一些实施例中,该方法还可以包括:
调整时域运动信息在所述新的运动信息候选列表中的比例值;
根据所调整的比例值,控制所述新的运动信息候选列表中预留至少两个时域运动信息的填充位置。
也就是说,可以增加时域运动信息在运动信息候选列表中的比例值。如果AWP预测模式下候选列表中给时域运动信息保留了至少1个位置,那么可以调整为AWP预测模式下候选列表中给时域运动信息保留了至少2个(或3个)位置,使得新的运动信息候选列表中预留至少两个时域运动信息的填充位置。
这样,在推导出时域运动信息之后,可以构建出新的运动信息候选列表。后续根据新的运动信息候选列表来确定当前块的帧间预测值。
S906:根据所述新的运动信息候选列表,确定所述当前块的帧间预测值。
需要说明的是,当预测模式参数指示使用预设的帧间预测模式(比如GPM或AWP)确定当前块的帧间预测值时,这时候可以确定出当前块的两个分区。也就是说,该方法还可以包括:当预测模式参数指示使用GPM或AWP确定当前块的帧间预测值时,确定所述当前块的两个分区;其中,所述两个分区包括第一分区和第二分区。
还需要说明的是,在得到新的运动信息候选列表后,可以确定出当前块的第一分区对应的运动信息和所述第二分区的运动信息;然后根据第一分区对应的运动信息和所述第二分区的运动信息,能够确定出当前块的帧间预测值。
具体地,如图10所示,其示出了本申请实施例提供的再一种帧间预测方法的流程示意图。该方法可以包括:
S1001:基于所述新的运动信息候选列表,确定所述第一分区的运动信息和所述第二分区的运动信息;
S1002:将第一运动信息索引值设置为所述第一分区的运动信息在所述新的运动信息候选列表中的索引序号值,将第二运动信息索引值设置为所述第二分区的运动信息在所述新的运动信息候选列表中的索引序号值;
S1003:利用所述第一分区的运动信息计算所述第一分区的第一预测值,利用所述第二分区的运动信息计算所述第二分区的第二预测值;
S1004:对所述第一预测值和所述第二预测值进行加权融合,得到所述当前块的帧间预测值。
进一步地,在一些实施例中,该方法还可以包括:
将所述第一运动信息索引值和所述第二运动信息索引值写入码流。
早期的编解码技术中只存在矩形的划分方式,无论是CU、PU还是变换单元(Transform Unit,TU)的划分。而GPM或AWP均实现了非矩形的划分,即用一条直线可以将一个矩形块分成两个分区,根据直线的位置和角度的不同,划分的两个分区可能是三角形或梯形或矩形等,从而能使得划分更贴近物体的边缘或者两个运动不同区域的边缘。需要注意的是,这里所说的划分并不是真正意义上的划分,而更像是一种预测效果上的划分。因为这个划分只是划分了两个参考块在产生预测块时的权重,或者可以简单地理解为预测块的一部分位置来自于第一个参考块,而另一部分位置来自于第二个参考块,并没有真正按划分线把当前块划分成两个CU或PU或TU。这样,在预测之后残差的变换、量化、反变换、反量化等也都是将当前块作为一个整体进行处理。
还需要说明的是,GPM或AWP属于一种帧间预测技术,在编码器侧,GPM或AWP需要在码流中传输一个GPM或AWP是否使用的标志(flag)以及两个运动信息索引值(比如第一运动信息索引值和第二运动信息索引值),这样后续解码器侧,能够通过解析码流直接得到GPM或AWP是否使用的flag以及两个运动信息索引值。
也就是说,对于当前块而言,可以尝试使用GPM或AWP进行预编码及其他可用预测模式进行预编码,确定是否使用GPM或AWP。如果GPM或AWP的预编码代价最小,那么可以使用GPM或AWP。同时,在尝试使用GPM或AWP时,还可以构建运动信息候选列表,该构建方式和解码器侧实施例所述的构建方式相同。
这样,在编码器侧,从运动信息候选列表中选择两个单向运动信息,然后从GPM或AWP的划分模式中选择一种模式进行预编码来确定GPM或AWP的预编码代价。一种可能的方式是对所有可能的单向运动信息候选的组合,基于所有可能的GPM或AWP的划分模式确定其代价,然后取代价最小的两个单向运动信息和GPM或AWP的划分模式的组合作为最终所确定的两个单向运动信息和GPM或AWP的预测模式。
最后,在码流中写入GPM或AWP是否使用的信息。如果确定使用GPM或AWP,在码流中写入GPM或AWP的预测模式参数和两个单向运动信息索引值。如此,如果当前模式是跳过模式,那么预测块既是编码块,意味着当前块的编码结束。如果当前模式不是跳过模式,还需要在码流中写入量化系数;其中,量化系数由当前块的实际值减去帧间预测值所得到的残差而组成的残差块,并对残差块进行变换与量化得到,这时候当前块的编码结束。也就是说,如果当前模式不是跳过模式,需要将当前块与帧间预测块相减得到残差块,然后将残差块进行变换、量化、熵编码;后续在解码器侧,对于当前模式不是跳过模式的情况,通过熵解码解析量化系数,然后反量化、反变换以得到残差块,最后将残差块与预测块相加得到解码块,意味着当前块的解码结束。
本实施例提供了一种帧间预测方法,应用于编码器。确定当前块的预测模式参数;当所述预测模式参数指示使用预设的帧间预测模式确定当前块的帧间预测值时,确定所述当前块的至少一个初始候选位置;在所述至少一个初始候选位置超出所述当前块的最大编码单元LCU边界的情况下,对所述至少一个初始候选位置进行调整,得到所述当前块的至少一个目标候选位置;基于所述至少一个目标候选位置,确定所述当前块的至少一个时域运动信息;基于所述至少一个时域运动信息,构建新的运动信息候选列表;根据所述新的运动信息候选列表,确定所述当前块的帧间预测值。这样,在确定出当前块的至少一个初始候选位置之后,通过对至少一个初始候选位置进行调整以使得至少一个目标候选位置不会超出当前块的LCU边界,从而能够使硬件实现时不增加额外的带宽,同时还能够保证编解码性能。
基于前述实施例相同的发明构思,参见图11,其示出了本申请实施例提供的一种解码器110的组成结构示意图。如图11所示,解码器110可以包括:解析单元1101、第一确定单元1102、第一调整单元1103、第一构建单元1104和第一预测单元1105;其中,
解析单元1101,配置为解析码流,获取当前块的预测模式参数;
第一确定单元1102,配置为当所述预测模式参数指示使用预设的帧间预测模式确定当前块的帧间预测值时,确定所述当前块的至少一个初始候选位置;
第一调整单元1103,配置为在所述至少一个初始候选位置超出所述当前块的最大编码单元LCU边界的情况下,对所述至少一个初始候选位置进行调整,得到所述当前块的至少一个目标候选位置;
第一确定单元1102,还配置为基于所述至少一个目标候选位置,确定所述当前块的至少一个时域运动信息;
第一构建单元1104,配置为基于所述至少一个时域运动信息,构建新的运动信息候选列表;
第一预测单元1105,配置为根据所述新的运动信息候选列表,确定所述当前块的帧间预测值。
在一些实施例中,第一确定单元1102,还配置为在所述至少一个初始候选位置未超出所述当前块的LCU边界的情况下,将所述至少一个初始候选位置确定为所述当前块的至少一个目标候选位置。
在一些实施例中,第一确定单元1102,还配置为获取所述当前块的至少一个角初始候选位置,组成初始候选位置集合;其中,所述至少一个角初始候选位置包括下述至少一项:左上初始候选位置、右上初始候选位置、左下初始候选位置和右下初始候选位置;以及从所述初始候选位置集合中,确定所述当前块的至少一个初始候选位置。
在一些实施例中,所述左上初始候选位置至少包括下述其中之一:第一左上候选位置、第二左上候选位置、第三左上候选位置和第四左上候选位置;
所述右上初始候选位置至少包括下述其中之一:第一右上候选位置、第二右上候选位置、第三右上候选位置和第四右上候选位置;
所述左下初始候选位置至少包括下述其中之一:第一左下候选位置、第二左下候选位置、第三左下候选位置和第四左下候选位置;
所述右下初始候选位置至少包括下述其中之一:第一右下候选位置、第二右下候选位置、第三右下候选位置和第四右下候选位置;
其中,所述第一左上候选位置、所述第一右上候选位置、所述第一左下候选位置和所述第一右下候选位置表征所述当前块内部的四个角位置,所述第二左上候选位置、所述第三左上候选位置和所述第四左上候选位置表征所述当前块外部的左上角位置,所述第二右上候选位置、所述第三右上候选位置和所述第四右上候选位置表征所述当前块外部的右上角位置,所述第二左下候选位置、所述第三左下候选位置和所述第四左下候选位置表征所述当前块外部的左下角位置,所述第二右下候选位置、所述第三右下候选位置和所述第四右下候选位置表征所述当前块外部的右下角位置。
在一些实施例中,第一确定单元1102,还配置为若所述至少一个初始候选位置包括所述第一左上候选位置,和/或,所述第一右上候选位置,和/或,所述第一左下候选位置,和/或,所述第一右下候选位置,则确定所述至少一个初始候选位置未超出LCU边界,将所述至少一个初始候选位置确定为所述当前块的至少一个目标候选位置。
在一些实施例中,第一确定单元1102,还配置为若所述至少一个初始候选位置包括其中一个角的初始候选位置,且所述其中一个角的初始候选位置超出LCU边界,则从所述其中一个角对应的候选位置中选择未超出所述LCU边界的候选位置,将所述其中一个角的初始候选位置调整到所选择的候选位置,以得到所述当前块的一个目标候选位置。
在一些实施例中,第一确定单元1102,还配置为当所述其中一个角的初始候选位置为所述右下初始候选位置时,若所述至少一个初始候选位置包括所述右下初始候选位置,且所述右下初始候选位置超出LCU边界,则从所述当前块外部的右下角位置中选择未超出LCU边界的候选位置,将所述右下初始候选位置调整到所选择的候选位置,以得到所述当前块的一个目标候选位置。
进一步地,第一确定单元1102,还配置为若从所述当前块外部的右下角位置中没有选择到未超出LCU边界的候选位置,则将所述右下初始候选位置调整到所述当前块内部的右下角位置,以得到所述当前块的一个目标候选位置。
在一些实施例中,第一确定单元1102,还配置为若所述至少一个初始候选位置包括其中一个角的初始候选位置,且所述其中一个角的初始候选位置超出LCU边界,则从除所述其中一个角之外剩余角对应的候选位置中选择未超出所述LCU边界的候选位置,将所述其中一个角的初始候选位置调整到所选择的候选位置,以得到所述当前块的一个目标候选位置。
在一些实施例中,第一确定单元1102,还配置为当所述其中一个角的初始候选位置为所述右下初始候选位置时,所述方法还包括:
若所述至少一个初始候选位置包括所述右下初始候选位置,且所述右下初始候选位置超出LCU边界,则在所述右上初始候选位置未超出LCU边界的情况下,将所述右下初始候选位置调整到所述右上初始候选位置,以得到所述当前块的一个目标候选位置。
在一些实施例中,第一确定单元1102,还配置为若所述至少一个初始候选位置包括其中一个角的初始候选位置,且所述其中一个角的初始候选位置超出LCU边界,且所述其中一个角对应的候选位置中仅所述当前块内部的候选位置未超出LCU边界,则从除所述其中一个角之外剩余角对应的候选位置中选择未超出所述LCU边界的候选位置,将所述其中一个角的初始候选位置调整到所选择的候选位置,以得到所述当前块的一个目标候选位置。
在一些实施例中,第一确定单元1102,还配置为当所述其中一个角的初始候选位置为所述右下初始候选位置时,若所述至少一个初始候选位置包括所述右下初始候选位置,且所述右下初始候选位置超出LCU边界,且所述当前块内部和外部的右下角位置中仅所述第一右下候选位置未超出LCU边界,则在所述右上初始候选位置未超出LCU边界的情况下,将所述右下初始候选位置调整到所述右上初始候选位置,以得到所述当前块的一个目标候选位置。
在一些实施例中,参见图11,解码器110还可以包括第一设置单元1106和第一判断单元1107;其中,
第一设置单元1106,配置为针对不同的划分模式,根据预设优先级顺序设置所述初始候选位置集合中不同初始候选位置对应的优先级;
第一判断单元1107,配置为按照所述预设优先级顺序选取一个初始候选位置,并判断所选取的初始候选位置是否超出LCU边界;以及若所选取的初始候选位置超出LCU边界,则返回执行所述按照所述预设优先级顺序选取一个初始候选位置的步骤;若所选取的初始候选位置未超出LCU边界,则将所选取的初始候选位置确定为所述当前块的一个目标候选位置。
在一些实施例中,第一设置单元1106,还配置为针对不同的划分模式,根据预设顺序对所述初始候选位置集合中不同初始候选位置进行排序;
第一判断单元1107,还配置为按照所述预设顺序选取一个初始候选位置,并判断所选取的初始候选位置是否超出LCU边界;以及若所选取的初始候选位置超出LCU边界,则返回执行所述按照所述预设顺序选取一个初始候选位置的步骤;若所选取的初始候选位置未超出LCU边界,则将所选取的初始候选位置确定为所述当前块的一个目标候选位置。
在一些实施例中,第一调整单元1103,还配置为调整时域运动信息在所述新的运动信息候选列表中的比例值;以及根据所调整的比例值,控制所述新的运动信息候选列表中预留至少两个时域运动信息的填充位置。
在一些实施例中,第一确定单元1102,还配置为确定所述至少一个目标候选位置中每一目标候选位置对应的参考帧信息;以及针对每一目标候选位置,在对应的参考帧信息中确定与所述目标候选位置关联的时域位置,并将所述时域位置使用的运动信息确定为所述目标候选位置对应的时域运动信息;基于所述至少一个目标候选位置,对应得到至少一个时域运动信息。
在一些实施例中,所述预设的帧间预测模式包括:几何划分预测模式或角度加权预测模式;
第一确定单元1102,还配置为当所述预测模式参数指示使用所述预设的帧间预测模式确定当前块的帧间预测值时,确定所述当前块的两个分区;其中,所述两个分区包括第一分区和第二分区。
在一些实施例中,解析单元1101,还配置为解析码流,确定所述第一分区对应的第一运动信息索引值和所述第二分区对应的第二运动信息索引值;
第一确定单元1102,还配置为基于所述新的运动信息候选列表,将所述第一运动信息索引值指示的所述新的运动信息候选列表中的运动信息确定为所述第一分区的运动信息,将所述第二运动信息索引值指示的所述新的运动信息候选列表中的运动信息确定为所述第二分区的运动信息;
第一预测单元1105,还配置为利用所述第一分区的运动信息计算所述第一分区的第一预测值,利用所述第二分区的运动信息计算所述第二分区的第二预测值;以及对所述第一预测值和所述第二预测值进行加权融合,得到所述当前块的帧间预测值。
可以理解地,在本申请实施例中,“单元”可以是部分电路、部分处理器、部分程序或软件等等,当然也可以是模块,还可以是非模块化的。而且在本实施例中的各组成部分可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时,可以存储在一个计算机可读取存储介质中,基于这样的理解,本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或processor(处理器)执行本实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
因此,本申请实施例提供了一种计算机存储介质,应用于解码器110,该计算机存储介质存储有帧间预测程序,所述帧间预测程序被第一处理器执行时实现前述实施例中解码器侧所述的方法。
基于上述解码器110的组成以及计算机存储介质,参见图12,其示出了本申请实施例提供的解码器110的具体硬件结构示例,可以包括:第一通信接口1201、第一存储器1202和第一处理器1203;各个组件通过第一总线系统1204耦合在一起。可理解,第一总线系统1204用于实现这些组件之间的连接通信。第一总线系统1204除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图12中将各种总线都标为第一总线系统1204。其中,
第一通信接口1201,用于在与其他外部网元之间进行收发信息过程中,信号的接收和发送;
第一存储器1202,用于存储能够在第一处理器1203上运行的计算机程序;
第一处理器1203,用于在运行所述计算机程序时,执行:
解析码流,获取当前块的预测模式参数;
当所述预测模式参数指示使用预设的帧间预测模式确定当前块的帧间预测值时,确定所述当前块的至少一个初始候选位置;
在所述至少一个初始候选位置超出所述当前块的最大编码单元LCU边界的情况下,对所述至少一个初始候选位置进行调整,得到所述当前块的至少一个目标候选位置;
基于所述至少一个目标候选位置,确定所述当前块的至少一个时域运动信息;
基于所述至少一个时域运动信息,构建新的运动信息候选列表;
根据所述新的运动信息候选列表,确定所述当前块的帧间预测值。
可以理解,本申请实施例中的第一存储器1202可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DRRAM)。本申请描述的系统和方法的第一存储器1202旨在包括但不限于这些和任意其它适合类型的存储器。
而第一处理器1203可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过第一处理器1203中的硬件的集成逻辑电路或者软件形式的指令完成。上述的第一处理器1203可以是通用处理器、数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于第一存储器1202,第一处理器1203读取第一存储器1202中的信息,结合其硬件完成上述方法的步骤。
可以理解的是,本申请描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现,处理单元可以实现在一个或多个专用集成电路(Application Specific Integrated Circuits,ASIC)、数字信号处理器(Digital SignalProcessing,DSP)、数字信号处理设备(DSP Device,DSPD)、可编程逻辑设备(ProgrammableLogic Device,PLD)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。对于软件实现,可通过执行本申请所述功能的模块(例如过程、函数等)来实现本申请所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
可选地,作为另一个实施例,第一处理器1203还配置为在运行所述计算机程序时,执行前述实施例中任一项所述的方法。
本实施例提供了一种解码器,该解码器可以包括解析单元、第一确定单元、第一调整单元、第一构建单元和第一预测单元。在该解码器中,确定出当前块的至少一个初始候选位置之后,通过对至少一个初始候选位置进行调整以使得至少一个目标候选位置不会超出当前块的LCU边界,从而能够使硬件实现时不增加额外的带宽,同时还能够保证编解码性能。
基于前述实施例相同的发明构思,参见图13,其示出了本申请实施例提供的一种编码器130的组成结构示意图。如图13所示,该编码器130可以包括:第二确定单元1301、第二调整单元1302、第二构建单元1303和第二预测单元1304;其中,
第二确定单元1301,配置为确定当前块的预测模式参数;及当所述预测模式参数指示使用预设的帧间预测模式确定当前块的帧间预测值时,确定所述当前块的至少一个初始候选位置;
第二调整单元1302,配置为在所述至少一个初始候选位置超出所述当前块的最大编码单元LCU边界的情况下,对所述至少一个初始候选位置进行调整,得到所述当前块的至少一个目标候选位置;
第二确定单元1301,还配置为基于所述至少一个目标候选位置,确定所述当前块的至少一个时域运动信息;
第二构建单元1303,配置为基于所述至少一个时域运动信息,构建新的运动信息候选列表;
第二预测单元1304,配置为根据所述新的运动信息候选列表,确定所述当前块的帧间预测值。
在一些实施例中,参见图13,编码器130还可以包括预编码单元1305,配置为利用多种预测模式对所述当前块进行预编码处理,获得每一种预测模式对应的率失真代价值;以及从所获得的多个率失真代价值中选择最小率失真代价值,将所述最小率失真代价值对应的预测模式确定为当前块的预测模式参数。
在一些实施例中,第二确定单元1301,还配置为在所述至少一个初始候选位置未超出所述当前块的LCU边界的情况下,将所述至少一个初始候选位置确定为所述当前块的至少一个目标候选位置。
在一些实施例中,第二确定单元1301,还配置为获取所述当前块的至少一个角初始候选位置,组成初始候选位置集合;其中,所述至少一个角初始候选位置包括下述至少一项:左上初始候选位置、右上初始候选位置、左下初始候选位置和右下初始候选位置;以及从所述初始候选位置集合中,确定所述当前块的至少一个初始候选位置。
在一些实施例中,所述左上初始候选位置至少包括下述其中之一:第一左上候选位置、第二左上候选位置、第三左上候选位置和第四左上候选位置;
所述右上初始候选位置至少包括下述其中之一:第一右上候选位置、第二右上候选位置、第三右上候选位置和第四右上候选位置;
所述左下初始候选位置至少包括下述其中之一:第一左下候选位置、第二左下候选位置、第三左下候选位置和第四左下候选位置;
所述右下初始候选位置至少包括下述其中之一:第一右下候选位置、第二右下候选位置、第三右下候选位置和第四右下候选位置;
其中,所述第一左上候选位置、所述第一右上候选位置、所述第一左下候选位置和所述第一右下候选位置表征所述当前块内部的四个角位置,所述第二左上候选位置、所述第三左上候选位置和所述第四左上候选位置表征所述当前块外部的左上角位置,所述第二右上候选位置、所述第三右上候选位置和所述第四右上候选位置表征所述当前块外部的右上角位置,所述第二左下候选位置、所述第三左下候选位置和所述第四左下候选位置表征所述当前块外部的左下角位置,所述第二右下候选位置、所述第三右下候选位置和所述第四右下候选位置表征所述当前块外部的右下角位置。
在一些实施例中,第二确定单元1301,还配置为若所述至少一个初始候选位置包括所述第一左上候选位置,和/或,所述第一右上候选位置,和/或,所述第一左下候选位置,和/或,所述第一右下候选位置,则确定所述至少一个初始候选位置未超出LCU边界,将所述至少一个初始候选位置确定为所述当前块的至少一个目标候选位置。
在一些实施例中,第二确定单元1301,还配置为若所述至少一个初始候选位置包括其中一个角的初始候选位置,且所述其中一个角的初始候选位置超出LCU边界,则从所述其中一个角对应的候选位置中选择未超出所述LCU边界的候选位置,将所述其中一个角的初始候选位置调整到所选择的候选位置,以得到所述当前块的一个目标候选位置。
在一些实施例中,第二确定单元1301,还配置为当所述其中一个角的初始候选位置为所述右下初始候选位置时,若所述至少一个初始候选位置包括所述右下初始候选位置,且所述右下初始候选位置超出LCU边界,则从所述当前块外部的右下角位置中选择未超出LCU边界的候选位置,将所述右下初始候选位置调整到所选择的候选位置,以得到所述当前块的一个目标候选位置。
进一步地,第二确定单元1301,还配置为若从所述当前块外部的右下角位置中没有选择到未超出LCU边界的候选位置,则将所述右下初始候选位置调整到所述当前块内部的右下角位置,以得到所述当前块的一个目标候选位置。
在一些实施例中,第二确定单元1301,还配置为若所述至少一个初始候选位置包括其中一个角的初始候选位置,且所述其中一个角的初始候选位置超出LCU边界,则从除所述其中一个角之外剩余角对应的候选位置中选择未超出所述LCU边界的候选位置,将所述其中一个角的初始候选位置调整到所选择的候选位置,以得到所述当前块的一个目标候选位置。
在一些实施例中,第二确定单元1301,还配置为当所述其中一个角的初始候选位置为所述右下初始候选位置时,若所述至少一个初始候选位置包括所述右下初始候选位置,且所述右下初始候选位置超出LCU边界,则在所述右上初始候选位置未超出LCU边界的情况下,将所述右下初始候选位置调整到所述右上初始候选位置,以得到所述当前块的一个目标候选位置。
在一些实施例中,第二确定单元1301,还配置为若所述至少一个初始候选位置包括其中一个角的初始候选位置,且所述其中一个角的初始候选位置超出LCU边界,且所述其中一个角对应的候选位置中仅所述当前块内部的候选位置未超出LCU边界,则从除所述其中一个角之外剩余角对应的候选位置中选择未超出所述LCU边界的候选位置,将所述其中一个角的初始候选位置调整到所选择的候选位置,以得到所述当前块的一个目标候选位置。
在一些实施例中,第二确定单元1301,还配置为当所述其中一个角的初始候选位置为所述右下初始候选位置时,若所述至少一个初始候选位置包括所述右下初始候选位置,且所述右下初始候选位置超出LCU边界,且所述当前块内部和外部的右下角位置中仅所述第一右下候选位置未超出LCU边界,则在所述右上初始候选位置未超出LCU边界的情况下,将所述右下初始候选位置调整到所述右上初始候选位置,以得到所述当前块的一个目标候选位置。
在一些实施例中,参见图13,编码器130还可以包括第二设置单元1306和第二判断单元1307;其中,
第二设置单元1306,配置为针对不同的划分模式,根据预设优先级顺序设置所述初始候选位置集合中不同初始候选位置对应的优先级;
第二判断单元1307,配置为按照所述预设优先级顺序选取一个初始候选位置,并判断所选取的初始候选位置是否超出LCU边界;以及若所选取的初始候选位置超出LCU边界,则返回执行所述按照所述预设优先级顺序选取一个初始候选位置的步骤;若所选取的初始候选位置未超出LCU边界,则将所选取的初始候选位置确定为所述当前块的一个目标候选位置。
在一些实施例中,第二设置单元1306,还配置为针对不同的划分模式,根据预设顺序对所述初始候选位置集合中不同初始候选位置进行排序;
第二判断单元1307,还配置为按照所述预设顺序选取一个初始候选位置,并判断所选取的初始候选位置是否超出LCU边界;以及若所选取的初始候选位置超出LCU边界,则返回执行所述按照所述预设顺序选取一个初始候选位置的步骤;若所选取的初始候选位置未超出LCU边界,则将所选取的初始候选位置确定为所述当前块的一个目标候选位置。
在一些实施例中,第二调整单元1302,还配置为调整时域运动信息在所述新的运动信息候选列表中的比例值;以及根据所调整的比例值,控制所述新的运动信息候选列表中预留至少两个时域运动信息的填充位置。
在一些实施例中,第二确定单元1301,还配置为确定所述至少一个目标候选位置中每一目标候选位置对应的参考帧信息;以及针对每一目标候选位置,在对应的参考帧信息中确定与所述目标候选位置关联的时域位置,并将所述时域位置使用的运动信息确定为所述目标候选位置对应的时域运动信息;基于所述至少一个目标候选位置,对应得到至少一个时域运动信息。
在一些实施例中,所述预设的帧间预测模式包括:几何划分预测模式或角度加权预测模式;
第二确定单元1301,还配置为当所述预测模式参数指示使用所述预设的帧间预测模式确定当前块的帧间预测值时,确定所述当前块的两个分区;其中,所述两个分区包括第一分区和第二分区。
在一些实施例中,第二确定单元1301,还配置为基于所述新的运动信息候选列表,确定所述第一分区的运动信息和所述第二分区的运动信息,并将第一运动信息索引值设置为所述第一分区的运动信息在所述新的运动信息候选列表中的索引序号值,将第二运动信息索引值设置为所述第二分区的运动信息在所述新的运动信息候选列表中的索引序号值;
第二预测单元1304,还配置为利用所述第一分区的运动信息计算所述第一分区的第一预测值,利用所述第二分区的运动信息计算所述第二分区的第二预测值;以及对所述第一预测值和所述第二预测值进行加权融合,得到所述当前块的帧间预测值。
在一些实施例中,参见图13,编码器130还可以包括写入单元1308,配置为将所述第一运动信息索引值和所述第二运动信息索引值写入码流。
可以理解地,在本实施例中,“单元”可以是部分电路、部分处理器、部分程序或软件等等,当然也可以是模块,还可以是非模块化的。而且在本实施例中的各组成部分可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时,可以存储在一个计算机可读取存储介质中,基于这样的理解,本实施例提供了一种计算机存储介质,应用于编码器130,该计算机存储介质存储有帧间预测程序,所述帧间预测程序被第二处理器执行时实现前述实施例中编码器侧所述的方法。
基于上述编码器130的组成以及计算机存储介质,参见图14,其示出了本申请实施例提供的编码器130的具体硬件结构示例,可以包括:第二通信接口1401、第二存储器1402和第二处理器1403;各个组件通过第二总线系统1404耦合在一起。可理解,第二总线系统1404用于实现这些组件之间的连接通信。第二总线系统1404除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图14中将各种总线都标为第二总线系统1404。其中,
第二通信接口1401,用于在与其他外部网元之间进行收发信息过程中,信号的接收和发送;
第二存储器1402,用于存储能够在第二处理器1403上运行的计算机程序;
第二处理器1403,用于在运行所述计算机程序时,执行:
确定当前块的预测模式参数;
当所述预测模式参数指示使用预设的帧间预测模式确定当前块的帧间预测值时,确定所述当前块的至少一个初始候选位置;
在所述至少一个初始候选位置超出所述当前块的最大编码单元LCU边界的情况下,对所述至少一个初始候选位置进行调整,得到所述当前块的至少一个目标候选位置;
基于所述至少一个目标候选位置,确定所述当前块的至少一个时域运动信息;
基于所述至少一个时域运动信息,构建新的运动信息候选列表;
根据所述新的运动信息候选列表,确定所述当前块的帧间预测值。
可选地,作为另一个实施例,第二处理器1403还配置为在运行所述计算机程序时,执行前述实施例中任一项所述的方法。
可以理解,第二存储器1402与第一存储器1202的硬件功能类似,第二处理器1403与第一处理器1203的硬件功能类似;这里不再详述。
本实施例提供了一种编码器,该编码器可以包括第二确定单元、第二调整单元、第二构建单元和第二预测单元。在该编码器中,确定出当前块的至少一个初始候选位置后,通过对至少一个初始候选位置进行调整以使得至少一个目标候选位置不会超出当前块的LCU边界,从而能够使硬件实现时不增加额外的带宽,同时还能够保证编解码性能。
需要说明的是,在本申请中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
本申请所提供的几个方法实施例中所揭露的方法,在不冲突的情况下可以任意组合,得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的方法实施例或设备实施例。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (43)

1.一种帧间预测方法,其特征在于,应用于解码器,所述方法包括:
解析码流,获取当前块的预测模式参数;
当所述预测模式参数指示使用预设的帧间预测模式确定当前块的帧间预测值时,确定所述当前块的至少一个初始候选位置;
在所述至少一个初始候选位置超出所述当前块的最大编码单元LCU边界的情况下,对所述至少一个初始候选位置进行调整,得到所述当前块的至少一个目标候选位置;
基于所述至少一个目标候选位置,确定所述当前块的至少一个时域运动信息;
基于所述至少一个时域运动信息,构建新的运动信息候选列表;
根据所述新的运动信息候选列表,确定所述当前块的帧间预测值。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述至少一个初始候选位置未超出所述当前块的LCU边界的情况下,将所述至少一个初始候选位置确定为所述当前块的至少一个目标候选位置。
3.根据权利要求1所述的方法,其特征在于,所述确定所述当前块的至少一个初始候选位置,包括:
获取所述当前块的至少一个角初始候选位置,组成初始候选位置集合;其中,所述至少一个角初始候选位置包括下述至少一项:左上初始候选位置、右上初始候选位置、左下初始候选位置和右下初始候选位置;
从所述初始候选位置集合中,确定所述当前块的至少一个初始候选位置。
4.根据权利要求3所述的方法,其特征在于,
所述左上初始候选位置至少包括下述其中之一:第一左上候选位置、第二左上候选位置、第三左上候选位置和第四左上候选位置;
所述右上初始候选位置至少包括下述其中之一:第一右上候选位置、第二右上候选位置、第三右上候选位置和第四右上候选位置;
所述左下初始候选位置至少包括下述其中之一:第一左下候选位置、第二左下候选位置、第三左下候选位置和第四左下候选位置;
所述右下初始候选位置至少包括下述其中之一:第一右下候选位置、第二右下候选位置、第三右下候选位置和第四右下候选位置;
其中,所述第一左上候选位置、所述第一右上候选位置、所述第一左下候选位置和所述第一右下候选位置表征所述当前块内部的四个角位置,所述第二左上候选位置、所述第三左上候选位置和所述第四左上候选位置表征所述当前块外部的左上角位置,所述第二右上候选位置、所述第三右上候选位置和所述第四右上候选位置表征所述当前块外部的右上角位置,所述第二左下候选位置、所述第三左下候选位置和所述第四左下候选位置表征所述当前块外部的左下角位置,所述第二右下候选位置、所述第三右下候选位置和所述第四右下候选位置表征所述当前块外部的右下角位置。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
若所述至少一个初始候选位置包括所述第一左上候选位置,和/或,所述第一右上候选位置,和/或,所述第一左下候选位置,和/或,所述第一右下候选位置,则确定所述至少一个初始候选位置未超出LCU边界,将所述至少一个初始候选位置确定为所述当前块的至少一个目标候选位置。
6.根据权利要求4所述的方法,其特征在于,所述方法还包括:
若所述至少一个初始候选位置包括其中一个角的初始候选位置,且所述其中一个角的初始候选位置超出LCU边界,则从所述其中一个角对应的候选位置中选择未超出所述LCU边界的候选位置,将所述其中一个角的初始候选位置调整到所选择的候选位置,以得到所述当前块的一个目标候选位置。
7.根据权利要求6所述的方法,其特征在于,当所述其中一个角的初始候选位置为所述右下初始候选位置时,所述方法还包括:
若所述至少一个初始候选位置包括所述右下初始候选位置,且所述右下初始候选位置超出LCU边界,则从所述当前块外部的右下角位置中选择未超出LCU边界的候选位置,将所述右下初始候选位置调整到所选择的候选位置,以得到所述当前块的一个目标候选位置。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
若从所述当前块外部的右下角位置中没有选择到未超出LCU边界的候选位置,则将所述右下初始候选位置调整到所述当前块内部的右下角位置,以得到所述当前块的一个目标候选位置。
9.根据权利要求4所述的方法,其特征在于,所述方法还包括:
若所述至少一个初始候选位置包括其中一个角的初始候选位置,且所述其中一个角的初始候选位置超出LCU边界,则从除所述其中一个角之外剩余角对应的候选位置中选择未超出所述LCU边界的候选位置,将所述其中一个角的初始候选位置调整到所选择的候选位置,以得到所述当前块的一个目标候选位置。
10.根据权利要求9所述的方法,其特征在于,当所述其中一个角的初始候选位置为所述右下初始候选位置时,所述方法还包括:
若所述至少一个初始候选位置包括所述右下初始候选位置,且所述右下初始候选位置超出LCU边界,则在所述右上初始候选位置未超出LCU边界的情况下,将所述右下初始候选位置调整到所述右上初始候选位置,以得到所述当前块的一个目标候选位置。
11.根据权利要求4所述的方法,其特征在于,所述方法还包括:
若所述至少一个初始候选位置包括其中一个角的初始候选位置,且所述其中一个角的初始候选位置超出LCU边界,且所述其中一个角对应的候选位置中仅所述当前块内部的候选位置未超出LCU边界,则从除所述其中一个角之外剩余角对应的候选位置中选择未超出所述LCU边界的候选位置,将所述其中一个角的初始候选位置调整到所选择的候选位置,以得到所述当前块的一个目标候选位置。
12.根据权利要求11所述的方法,其特征在于,当所述其中一个角的初始候选位置为所述右下初始候选位置时,所述方法还包括:
若所述至少一个初始候选位置包括所述右下初始候选位置,且所述右下初始候选位置超出LCU边界,且所述当前块内部和外部的右下角位置中仅所述第一右下候选位置未超出LCU边界,则在所述右上初始候选位置未超出LCU边界的情况下,将所述右下初始候选位置调整到所述右上初始候选位置,以得到所述当前块的一个目标候选位置。
13.根据权利要求3所述的方法,其特征在于,所述方法还包括:
针对不同的划分模式,根据预设优先级顺序设置所述初始候选位置集合中不同初始候选位置对应的优先级;
按照所述预设优先级顺序选取一个初始候选位置,并判断所选取的初始候选位置是否超出LCU边界;
若所选取的初始候选位置超出LCU边界,则返回执行所述按照所述预设优先级顺序选取一个初始候选位置的步骤;
若所选取的初始候选位置未超出LCU边界,则将所选取的初始候选位置确定为所述当前块的一个目标候选位置。
14.根据权利要求3所述的方法,其特征在于,所述方法还包括:
针对不同的划分模式,根据预设顺序对所述初始候选位置集合中不同初始候选位置进行排序;
按照所述预设顺序选取一个初始候选位置,并判断所选取的初始候选位置是否超出LCU边界;
若所选取的初始候选位置超出LCU边界,则返回执行所述按照所述预设顺序选取一个初始候选位置的步骤;
若所选取的初始候选位置未超出LCU边界,则将所选取的初始候选位置确定为所述当前块的一个目标候选位置。
15.根据权利要求1所述的方法,其特征在于,所述方法还包括:
调整时域运动信息在所述新的运动信息候选列表中的比例值;
根据所调整的比例值,控制所述新的运动信息候选列表中预留至少两个时域运动信息的填充位置。
16.根据权利要求1所述的方法,其特征在于,所述基于所述至少一个目标候选位置,确定所述当前块的至少一个时域运动信息,包括:
确定所述至少一个目标候选位置中每一目标候选位置对应的参考帧信息;
针对每一目标候选位置,在对应的参考帧信息中确定与所述目标候选位置关联的时域位置,并将所述时域位置使用的运动信息确定为所述目标候选位置对应的时域运动信息;
基于所述至少一个目标候选位置,对应得到至少一个时域运动信息。
17.根据权利要求1所述的方法,其特征在于,所述预设的帧间预测模式包括:几何划分预测模式或角度加权预测模式;
相应地,所述方法还包括:
当所述预测模式参数指示使用所述预设的帧间预测模式确定当前块的帧间预测值时,确定所述当前块的两个分区;其中,所述两个分区包括第一分区和第二分区。
18.根据权利要求17所述的方法,其特征在于,所述根据所述新的运动信息候选列表,确定所述当前块的帧间预测值,包括:
解析码流,确定所述第一分区对应的第一运动信息索引值和所述第二分区对应的第二运动信息索引值;
基于所述新的运动信息候选列表,将所述第一运动信息索引值指示的所述新的运动信息候选列表中的运动信息确定为所述第一分区的运动信息,将所述第二运动信息索引值指示的所述新的运动信息候选列表中的运动信息确定为所述第二分区的运动信息;
利用所述第一分区的运动信息计算所述第一分区的第一预测值,利用所述第二分区的运动信息计算所述第二分区的第二预测值;
对所述第一预测值和所述第二预测值进行加权融合,得到所述当前块的帧间预测值。
19.一种帧间预测方法,其特征在于,应用于编码器,所述方法包括:
确定当前块的预测模式参数;
当所述预测模式参数指示使用预设的帧间预测模式确定当前块的帧间预测值时,确定所述当前块的至少一个初始候选位置;
在所述至少一个初始候选位置超出所述当前块的最大编码单元LCU边界的情况下,对所述至少一个初始候选位置进行调整,得到所述当前块的至少一个目标候选位置;
基于所述至少一个目标候选位置,确定所述当前块的至少一个时域运动信息;
基于所述至少一个时域运动信息,构建新的运动信息候选列表;
根据所述新的运动信息候选列表,确定所述当前块的帧间预测值。
20.根据权利要求19所述的方法,其特征在于,所述确定当前块的预测模式参数,包括:
利用多种预测模式对所述当前块进行预编码处理,获得每一种预测模式对应的率失真代价值;
从所获得的多个率失真代价值中选择最小率失真代价值,将所述最小率失真代价值对应的预测模式确定为当前块的预测模式参数。
21.根据权利要求19所述的方法,其特征在于,所述方法还包括:
在所述至少一个初始候选位置未超出所述当前块的LCU边界的情况下,将所述至少一个初始候选位置确定为所述当前块的至少一个目标候选位置。
22.根据权利要求19所述的方法,其特征在于,所述确定所述当前块的至少一个初始候选位置,包括:
获取所述当前块的至少一个角初始候选位置,组成初始候选位置集合;其中,所述至少一个角初始候选位置包括下述至少一项:左上初始候选位置、右上初始候选位置、左下初始候选位置和右下初始候选位置;
从所述初始候选位置集合中,确定所述当前块的至少一个初始候选位置。
23.根据权利要求22所述的方法,其特征在于,
所述左上初始候选位置至少包括下述其中之一:第一左上候选位置、第二左上候选位置、第三左上候选位置和第四左上候选位置;
所述右上初始候选位置至少包括下述其中之一:第一右上候选位置、第二右上候选位置、第三右上候选位置和第四右上候选位置;
所述左下初始候选位置至少包括下述其中之一:第一左下候选位置、第二左下候选位置、第三左下候选位置和第四左下候选位置;
所述右下初始候选位置至少包括下述其中之一:第一右下候选位置、第二右下候选位置、第三右下候选位置和第四右下候选位置;
其中,所述第一左上候选位置、所述第一右上候选位置、所述第一左下候选位置和所述第一右下候选位置表征所述当前块内部的四个角位置,所述第二左上候选位置、所述第三左上候选位置和所述第四左上候选位置表征所述当前块外部的左上角位置,所述第二右上候选位置、所述第三右上候选位置和所述第四右上候选位置表征所述当前块外部的右上角位置,所述第二左下候选位置、所述第三左下候选位置和所述第四左下候选位置表征所述当前块外部的左下角位置,所述第二右下候选位置、所述第三右下候选位置和所述第四右下候选位置表征所述当前块外部的右下角位置。
24.根据权利要求23所述的方法,其特征在于,所述方法还包括:
若所述至少一个初始候选位置包括所述第一左上候选位置,和/或,所述第一右上候选位置,和/或,所述第一左下候选位置,和/或,所述第一右下候选位置,则确定所述至少一个初始候选位置未超出LCU边界,将所述至少一个初始候选位置确定为所述当前块的至少一个目标候选位置。
25.根据权利要求23所述的方法,其特征在于,所述方法还包括:
若所述至少一个初始候选位置包括其中一个角的初始候选位置,且所述其中一个角的初始候选位置超出LCU边界,则从所述其中一个角对应的候选位置中选择未超出所述LCU边界的候选位置,将所述其中一个角的初始候选位置调整到所选择的候选位置,以得到所述当前块的一个目标候选位置。
26.根据权利要求25所述的方法,其特征在于,当所述其中一个角的初始候选位置为所述右下初始候选位置时,所述方法还包括:
若所述至少一个初始候选位置包括所述右下初始候选位置,且所述右下初始候选位置超出LCU边界,则从所述当前块外部的右下角位置中选择未超出LCU边界的候选位置,将所述右下初始候选位置调整到所选择的候选位置,以得到所述当前块的一个目标候选位置。
27.根据权利要求26所述的方法,其特征在于,所述方法还包括:
若从所述当前块外部的右下角位置中没有选择到未超出LCU边界的候选位置,则将所述右下初始候选位置调整到所述当前块内部的右下角位置,以得到所述当前块的一个目标候选位置。
28.根据权利要求23所述的方法,其特征在于,所述方法还包括:
若所述至少一个初始候选位置包括其中一个角的初始候选位置,且所述其中一个角的初始候选位置超出LCU边界,则从除所述其中一个角之外剩余角对应的候选位置中选择未超出所述LCU边界的候选位置,将所述其中一个角的初始候选位置调整到所选择的候选位置,以得到所述当前块的一个目标候选位置。
29.根据权利要求28所述的方法,其特征在于,当所述其中一个角的初始候选位置为所述右下初始候选位置时,所述方法还包括:
若所述至少一个初始候选位置包括所述右下初始候选位置,且所述右下初始候选位置超出LCU边界,则在所述右上初始候选位置未超出LCU边界的情况下,将所述右下初始候选位置调整到所述右上初始候选位置,以得到所述当前块的一个目标候选位置。
30.根据权利要求23所述的方法,其特征在于,所述方法还包括:
若所述至少一个初始候选位置包括其中一个角的初始候选位置,且所述其中一个角的初始候选位置超出LCU边界,且所述其中一个角对应的候选位置中仅所述当前块内部的候选位置未超出LCU边界,则从除所述其中一个角之外剩余角对应的候选位置中选择未超出所述LCU边界的候选位置,将所述其中一个角的初始候选位置调整到所选择的候选位置,以得到所述当前块的一个目标候选位置。
31.根据权利要求30所述的方法,其特征在于,当所述其中一个角的初始候选位置为所述右下初始候选位置时,所述方法还包括:
若所述至少一个初始候选位置包括所述右下初始候选位置,且所述右下初始候选位置超出LCU边界,且所述当前块内部和外部的右下角位置中仅所述第一右下候选位置未超出LCU边界,则在所述右上初始候选位置未超出LCU边界的情况下,将所述右下初始候选位置调整到所述右上初始候选位置,以得到所述当前块的一个目标候选位置。
32.根据权利要求22所述的方法,其特征在于,所述方法还包括:
针对不同的划分模式,根据预设优先级顺序设置所述初始候选位置集合中不同初始候选位置对应的优先级;
按照所述预设优先级顺序选取一个初始候选位置,并判断所选取的初始候选位置是否超出LCU边界;
若所选取的初始候选位置超出LCU边界,则返回执行所述按照所述预设优先级顺序选取一个初始候选位置的步骤;
若所选取的初始候选位置未超出LCU边界,则将所选取的初始候选位置确定为所述当前块的一个目标候选位置。
33.根据权利要求22所述的方法,其特征在于,所述方法还包括:
针对不同的划分模式,根据预设顺序对所述初始候选位置集合中不同初始候选位置进行排序;
按照所述预设顺序选取一个初始候选位置,并判断所选取的初始候选位置是否超出LCU边界;
若所选取的初始候选位置超出LCU边界,则返回执行所述按照所述预设顺序选取一个初始候选位置的步骤;
若所选取的初始候选位置未超出LCU边界,则将所选取的初始候选位置确定为所述当前块的一个目标候选位置。
34.根据权利要求19所述的方法,其特征在于,所述方法还包括:
调整时域运动信息在所述新的运动信息候选列表中的比例值;
根据所调整的比例值,控制所述新的运动信息候选列表中预留至少两个时域运动信息的填充位置。
35.根据权利要求19所述的方法,其特征在于,所述基于所述至少一个目标候选位置,确定所述当前块的至少一个时域运动信息,包括:
确定所述至少一个目标候选位置中每一目标候选位置对应的参考帧信息;
针对每一目标候选位置,在对应的参考帧信息中确定与所述目标候选位置关联的时域位置,并将所述时域位置使用的运动信息确定为所述目标候选位置对应的时域运动信息;
基于所述至少一个目标候选位置,对应得到至少一个时域运动信息。
36.根据权利要求19所述的方法,其特征在于,所述预设的帧间预测模式包括:几何划分预测模式或角度加权预测模式;
相应地,所述方法还包括:
当所述预测模式参数指示使用所述预设的帧间预测模式确定当前块的帧间预测值时,确定所述当前块的两个分区;其中,所述两个分区包括第一分区和第二分区。
37.根据权利要求36所述的方法,其特征在于,所述根据所述新的运动信息候选列表,确定所述当前块的帧间预测值,包括:
基于所述新的运动信息候选列表,确定所述第一分区的运动信息和所述第二分区的运动信息,并将第一运动信息索引值设置为所述第一分区的运动信息在所述新的运动信息候选列表中的索引序号值,将第二运动信息索引值设置为所述第二分区的运动信息在所述新的运动信息候选列表中的索引序号值;
利用所述第一分区的运动信息计算所述第一分区的第一预测值,利用所述第二分区的运动信息计算所述第二分区的第二预测值;
对所述第一预测值和所述第二预测值进行加权融合,得到所述当前块的帧间预测值。
38.根据权利要求37所述的方法,其特征在于,所述方法还包括:
将所述第一运动信息索引值和所述第二运动信息索引值写入码流。
39.一种解码器,其特征在于,所述解码器包括解析单元、第一确定单元、第一调整单元、第一构建单元和第一预测单元;其中,
所述解析单元,配置为解析码流,获取当前块的预测模式参数;
所述第一确定单元,配置为当所述预测模式参数指示使用预设的帧间预测模式确定当前块的帧间预测值时,确定所述当前块的至少一个初始候选位置;
所述第一调整单元,配置为在所述至少一个初始候选位置超出所述当前块的最大编码单元LCU边界的情况下,对所述至少一个初始候选位置进行调整,得到所述当前块的至少一个目标候选位置;
所述第一确定单元,还配置为基于所述至少一个目标候选位置,确定所述当前块的至少一个时域运动信息;
所述第一构建单元,配置为基于所述至少一个时域运动信息,构建新的运动信息候选列表;
所述第一预测单元,配置为根据所述新的运动信息候选列表,确定所述当前块的帧间预测值。
40.一种解码器,其特征在于,所述解码器包括第一存储器和第一处理器;其中,
所述第一存储器,用于存储能够在所述第一处理器上运行的计算机程序;
所述第一处理器,用于在运行所述计算机程序时,执行如权利要求1至18任一项所述的方法。
41.一种编码器,其特征在于,所述编码器包括第二确定单元、第二调整单元、第二构建单元和第二预测单元;其中,
所述第二确定单元,配置为确定当前块的预测模式参数;及当所述预测模式参数指示使用预设的帧间预测模式确定当前块的帧间预测值时,确定所述当前块的至少一个初始候选位置;
所述第二调整单元,配置为在所述至少一个初始候选位置超出所述当前块的最大编码单元LCU边界的情况下,对所述至少一个初始候选位置进行调整,得到所述当前块的至少一个目标候选位置;
所述第二确定单元,还配置为基于所述至少一个目标候选位置,确定所述当前块的至少一个时域运动信息;
所述第二构建单元,配置为基于所述至少一个时域运动信息,构建新的运动信息候选列表;
所述第二预测单元,配置为根据所述新的运动信息候选列表,确定所述当前块的帧间预测值。
42.一种编码器,其特征在于,所述编码器包括第二存储器和第二处理器;其中,
所述第二存储器,用于存储能够在所述第二处理器上运行的计算机程序;
所述第二处理器,用于在运行所述计算机程序时,执行如权利要求19至38任一项所述的方法。
43.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机程序,所述计算机程序被第一处理器执行时实现如权利要求1至18任一项所述的方法、或者被第二处理器执行时实现如权利要求19至38任一项所述的方法。
CN202010591597.7A 2020-06-24 2020-06-24 帧间预测方法、编码器、解码器以及计算机存储介质 Withdrawn CN113840148A (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202010591597.7A CN113840148A (zh) 2020-06-24 2020-06-24 帧间预测方法、编码器、解码器以及计算机存储介质
CN202180008725.3A CN114930838A (zh) 2020-06-24 2021-04-23 帧间预测方法、编码器、解码器以及计算机存储介质
MX2022010727A MX2022010727A (es) 2020-06-24 2021-04-23 Metodo de prediccion intercuadros, codificador, decodificador y medio de almacenamiento por computadora.
CN202310245097.1A CN116471418A (zh) 2020-06-24 2021-04-23 帧间预测方法、编码器、解码器以及计算机存储介质
PCT/CN2021/089252 WO2021258841A1 (zh) 2020-06-24 2021-04-23 帧间预测方法、编码器、解码器以及计算机存储介质
TW110118910A TW202201958A (zh) 2020-06-24 2021-05-25 幀間預測方法、編碼器、解碼器以及電腦儲存媒介

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010591597.7A CN113840148A (zh) 2020-06-24 2020-06-24 帧间预测方法、编码器、解码器以及计算机存储介质

Publications (1)

Publication Number Publication Date
CN113840148A true CN113840148A (zh) 2021-12-24

Family

ID=78964752

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202010591597.7A Withdrawn CN113840148A (zh) 2020-06-24 2020-06-24 帧间预测方法、编码器、解码器以及计算机存储介质
CN202180008725.3A Pending CN114930838A (zh) 2020-06-24 2021-04-23 帧间预测方法、编码器、解码器以及计算机存储介质
CN202310245097.1A Pending CN116471418A (zh) 2020-06-24 2021-04-23 帧间预测方法、编码器、解码器以及计算机存储介质

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202180008725.3A Pending CN114930838A (zh) 2020-06-24 2021-04-23 帧间预测方法、编码器、解码器以及计算机存储介质
CN202310245097.1A Pending CN116471418A (zh) 2020-06-24 2021-04-23 帧间预测方法、编码器、解码器以及计算机存储介质

Country Status (4)

Country Link
CN (3) CN113840148A (zh)
MX (1) MX2022010727A (zh)
TW (1) TW202201958A (zh)
WO (1) WO2021258841A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023123478A1 (zh) * 2021-12-31 2023-07-06 Oppo广东移动通信有限公司 预测方法、装置、设备、系统、及存储介质
WO2024027700A1 (en) * 2022-08-05 2024-02-08 Mediatek Inc. Joint indexing of geometric partitioning mode in video coding

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013032074A1 (ko) * 2011-08-29 2013-03-07 주식회사 아이벡스피티홀딩스 머지 모드 움직임 정보 복호화 장치
ES2487993B1 (es) * 2011-09-09 2015-09-29 Kt Corporation Procedimiento de obtención de un vector temporal predictor de movimiento, y aparato que utiliza el procedimiento
KR20130050407A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 움직임 정보 생성 방법
KR20130050405A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 시간 후보자 결정방법
US10785494B2 (en) * 2017-10-11 2020-09-22 Qualcomm Incorporated Low-complexity design for FRUC
US11184633B2 (en) * 2018-11-27 2021-11-23 Qualcomm Incorporated Simplification of history-based motion vector prediction

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023123478A1 (zh) * 2021-12-31 2023-07-06 Oppo广东移动通信有限公司 预测方法、装置、设备、系统、及存储介质
WO2024027700A1 (en) * 2022-08-05 2024-02-08 Mediatek Inc. Joint indexing of geometric partitioning mode in video coding

Also Published As

Publication number Publication date
CN116471418A (zh) 2023-07-21
WO2021258841A1 (zh) 2021-12-30
MX2022010727A (es) 2022-09-23
CN114930838A (zh) 2022-08-19
TW202201958A (zh) 2022-01-01

Similar Documents

Publication Publication Date Title
US11190795B2 (en) Method and an apparatus for processing a video signal
US11109050B2 (en) Video encoding and decoding
US11265540B2 (en) Apparatus and method for applying artificial neural network to image encoding or decoding
DK2684362T3 (en) Video encoding and decoding
KR102545728B1 (ko) 서브블록 단위의 시간적 움직임 정보 예측을 위한 인터 예측 방법 및 그 장치
JP7372433B2 (ja) オプティカルフローを用いた予測リファインメントに関する方法および装置
KR20180069850A (ko) 공간 인트라 예측을 위한 헬퍼 데이터를 이용한 비디오 코딩
CN112703732A (zh) 使用存储的参数对视频编码和解码进行局部照明补偿
CN112385213A (zh) 基于帧间预测模式处理图像的方法和用于该方法的设备
CN114930838A (zh) 帧间预测方法、编码器、解码器以及计算机存储介质
CN111903123B (zh) 基于帧间预测模式的图像处理方法和用于该方法的装置
CN114651443A (zh) 帧间预测方法、编码器、解码器以及计算机存储介质
CN113709498B (zh) 帧间预测方法、编码器、解码器以及计算机存储介质
CN113766244A (zh) 帧间预测方法、编码器、解码器以及计算机存储介质
CN113727119B (zh) 帧间预测方法、编码器、解码器以及计算机存储介质
CN114270833A (zh) 用于在视频/图像编译系统中移除重叠信令的方法和装置
TW202234889A (zh) 合成式預測及限制性合併技術
CN114071159B (zh) 帧间预测方法、编码器、解码器及计算机可读存储介质
WO2022140905A1 (zh) 预测方法、编码器、解码器以及存储介质
CN114079785A (zh) 帧间预测方法、编码器、解码器及存储介质
WO2023200907A1 (en) Methods and devices for geometric partitioning mode with adaptive blending
WO2023158765A1 (en) Methods and devices for geometric partitioning mode split modes reordering with pre-defined modes order
WO2023141338A1 (en) Methods and devices for geometric partitioning mode with split modes reordering
WO2023154574A1 (en) Methods and devices for geometric partitioning mode with adaptive blending
KR20240046574A (ko) 모션 벡터 예측자 정밀도를 암시적으로 지시하기 위한 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20211224