CN109996080A - 图像的预测方法、装置及编解码器 - Google Patents

图像的预测方法、装置及编解码器 Download PDF

Info

Publication number
CN109996080A
CN109996080A CN201711494258.1A CN201711494258A CN109996080A CN 109996080 A CN109996080 A CN 109996080A CN 201711494258 A CN201711494258 A CN 201711494258A CN 109996080 A CN109996080 A CN 109996080A
Authority
CN
China
Prior art keywords
reference block
block
pixel
precision
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711494258.1A
Other languages
English (en)
Other versions
CN109996080B (zh
Inventor
高山
马祥
陈焕浜
杨海涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201711494258.1A priority Critical patent/CN109996080B/zh
Priority to PCT/CN2018/120681 priority patent/WO2019128716A1/zh
Publication of CN109996080A publication Critical patent/CN109996080A/zh
Application granted granted Critical
Publication of CN109996080B publication Critical patent/CN109996080B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy

Abstract

本发明提供一种图像预测方法,该方法通过获取当前图像块的初始预测运动信息,在前向参考图像确定出第一参考块,后向参考图像中确定出第二参考块;并通过一种全新的类镜像方法,在第一参考块和第二参考块的周围进行查找,确定是否存在一对图像块匹配代价更小的目标参考块,这一对目标参考块在空间上存在对应关系;并根据目标参考块在第一精度下的像素值得到当前图像块的像素预测值,其中,所述当前图像块的像素预测值具有码流精度。通过本发明,在高精度条件下进行图像块匹配代价计算并找到最优参考块对,减少了现有技术中视频图像帧间预测的复杂度,并提高准确率。

Description

图像的预测方法、装置及编解码器
技术领域
本申请涉及视频编解码技术领域,尤其涉及一种视频图像的帧间预测方法、装置以及相应的编码器和解码器。
背景技术
数字视频能力可并入到多种多样的装置中,包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频流式传输装置及其类似者。数字视频装置实施视频压缩技术,例如,在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4 第10部分高级视频编码(AVC)定义的标准、视频编码标准H.265/高效视频编码(HEVC)标准以及此类标准的扩展中所描述的视频压缩技术。视频装置可通过实施此类视频压缩技术来更有效率地发射、接收、编码、解码和/或存储数字视频信息。
视频压缩技术执行空间(图像内)预测和/或时间(图像间)预测以减少或去除视频序列中固有的冗余。对于基于块的视频编码,视频条带(即,视频帧或视频帧的一部分)可分割成若干图像块,所述图像块也可被称作树块、编码单元(CU)和/或编码节点。使用关于同一图像中的相邻块中的参考样本的空间预测来编码图像的待帧内编码(I)条带中的图像块。图像的待帧间编码(P或B)条带中的图像块可使用相对于同一图像中的相邻块中的参考样本的空间预测或相对于其它参考图像中的参考样本的时间预测。图像可被称作帧,且参考图像可被称作参考帧。
其中,包含高效视频编码(HEVC)标准在内的各种视频编码标准提出了用于图像块的预测性编码模式,即基于已经编码的视频数据块来预测当前待编码的块。在帧内预测模式中,基于与当前图像块在相同的图像中的一或多个先前经解码相邻块来预测当前图像块;在帧间预测模式中,基于不同图像中的已经解码块来预测当前图像块。
现有的几种帧间预测模式,例如合并模式(Merge mode)、跳过模式(Skip mode)和高级运动矢量预测模式(AMVP mode),但是传统的图像预测方法的流程较多,复杂度较高,准确性不高。
发明内容
本申请实施例提供一种图像预测方法、装置及相应的编码器和解码器,尤其是视频图像的帧间预测方法,一定程度上提高图像块的运动信息的预测准确性,从而提高编解码性能。
第一方面,本申请实施例提供了一种图像预测方法,该方法包括:获取当前图像块的初始预测运动信息;根据所述初始预测运动信息,在第一参考图像中确定出所述当前图像块对应的第一参考块,并在第二参考图像中确定出所述当前图像块对应的第二参考块;其中,所述第一参考块包含第一搜索基点,所述第二参考块包含第二搜索基点;在所述第一参考图像中确定出N个第三参考块;针对所述N个第三参考块中的任意一个第三参考块,根据所述第一搜索基点、所述任意一个第三参考块的位置和所述第二搜索基点,在所述第二参考图像中对应地确定出一个第四参考块;得到N个参考块组,其中,一个参考块组包含一个第三参考块和一个第四参考块;N大于等于1;将得到的第三参考块和第四参考块的像素值提高到第一像素精度,并在所述第一像素精度下计算所述N个参考块组的图像块匹配代价;在所述N个的参考块组中确定出满足图像块匹配代价准则的目标参考块组,所述目标参考块组包含目标第三参考块和目标第四参考块;根据所述目标第三参考块在第一精度下的像素值和所述目标第四参考块在第一精度下的像素值得到所述当前图像块的像素预测值,其中,所述当前图像块的像素预测值具有第二像素精度;所述第二像素精度小于所述第一像素精度
第二方面,本申请实施例提供了一种图像预测装置,包括用于实施第一方面的任意一种方法的若干个功能单元。举例来说,该装置可以包括:获取单元,用于获取当前图像块的初始预测运动信息;确定单元,用于根据所述初始预测运动信息,在第一参考图像中确定出所述当前图像块对应的第一参考块,并在第二参考图像中确定出所述当前图像块对应的第二参考块;其中,所述第一参考块包含第一搜索基点,所述第二参考块包含第二搜索基点;搜索单元,用于在所述第一参考图像中确定出N个第三参考块;映射单元,用于针对所述N个第三参考块中的任意一个第三参考块,根据所述第一搜索基点、所述任意一个第三参考块的位置和所述第二搜索基点,在所述第二参考图像中对应地确定出一个第四参考块;得到N个参考块组,其中,一个参考块组包含一个第三参考块和一个第四参考块;N大于等于1;计算单元,用于将得到的第三参考块和第四参考块的像素值提高到第一像素精度,并在所述第一像素精度下计算所述N个参考块组的图像块匹配代价;选择单元,用于在所述N个参考块组中确定出满足图像块匹配代价准则的目标参考块组,所述目标参考块组包含目标第三参考块和目标第四参考块;预测单元,用于根据所述目标第三参考块在第一精度下的像素值和所述目标第四参考块在第一精度下的像素值得到所述当前图像块的像素预测值,其中,所述当前图像块的像素预测值具有第二像素精度;所述第二像素精度小于所述第一像素精度。
根据第一方面或第二方面,在一种可能的实现方式中,初始预测运动信息中包含参考图像索引,用于指示所述两个参考图像包括一个前向参考图像和一个后向参考图像。
根据第一方面或第二方面,在一种可能的实现方式中,所述N个第三参考块包含所述第一参考块;所述得到的N个第四参考块包含所述第二参考块;其中,所述第一参考块和所述第二参考块属于一个参考块组,即在空间上存在对应关系。也可以理解为,所述针对所述N 个第三参考块中的任意一个第三参考块,根据所述第一搜索基点、所述任意一个第三参考块的位置和所述第二搜索基点,在所述第二参考图像中对应地确定出一个第四参考块包括:若所述第一参考块为一个第三参考块;则将所述第二参考块对应地为一个第四参考块。
根据第一方面或第二方面,在一种可能的实现方式中,针对所述N个第三参考块中的任意一个第三参考块,根据所述第一搜索基点、所述任意一个第三参考块的位置和所述第二搜索基点,在所述第二参考图像中对应地确定出一个第四参考块包括:根据所述任意一个第三参考块和所述第一搜索基点确定出第i矢量;根据所述当前图像块相对于所述第一参考图像的时域间隔t1,所述当前图像块相对于所述第二参考图像的时域间隔t2,以及所述第i矢量,确定出第j矢量,其中,所述第j矢量与所述第i矢量的方向相反;i和j均为不大于N的正整数;根据所述第二搜索基点和所述第j矢量确定出一个第四参考块。相应地,该方法可以由映射单元执行。
根据第一方面或第二方面,在一种可能的实现方式中,所述针对所述N个第三参考块中的任意一个第三参考块,根据所述第一搜索基点、所述任意一个第三参考块的位置和所述第二搜索基点,在所述第二参考图像中对应地确定出一个第四参考块包括:根据所述任意一个第三参考块和所述第一搜索基点确定出第i矢量;根据所述第i矢量,确定出第j矢量,其中,所述第j矢量与所述第i矢量等大反向;i和j均为不大于N的正整数;根据所述第二搜索基点和所述第j矢量确定出一个第四参考块。相应地,该方法可以由映射单元执行。
根据第一方面或第二方面,在一种可能的实现方式中,所述将得到的第三参考块和第四参考块的像素值提高到第一像素精度,并在所述第一像素精度下计算所述N个参考块组的图像块匹配代价包括:针对所述N个参考块组中的至少一个参考块组,将得到的第三参考块和第四参考块的像素值通过插值或移位提高到第一像素精度;并在所述第一像素精度下计算图像块匹配代价;在所述N个参考块组中确定出满足图像块匹配代价准则的目标参考块组包括:将所述至少一个参考块组中首个出现的满足图像块匹配代价小于预设阈值的参考块组确定为所述目标参考块组。比如计算了2个参考块组,图像块匹配代价均不小于预设阈值,当计算到第3个参考块组的时候,图像块匹配代价小于预设阈值,则将第3个参考块组作为目标参考块组,并不再计算其他的参考块组。相应地,该方法可以由计算单元和选择单元共同执行。
根据第一方面或第二方面,在一种可能的实现方式中,所述将得到的第三参考块和第四参考块的像素值提高到第一像素精度,并在所述第一像素精度下计算所述N个参考块组的图像块匹配代价包括:将所述得到的第三参考块和第四参考块的像素值通过插值或移位提高到第一像素精度;针对所述N个参考块组中的每一个参考块组计算图像块匹配代价;在所述N 个参考块组中确定出满足图像块匹配代价准则的目标参考块组包括:将所述N个参考块组中图像块匹配代价最小的参考块组确定为所述目标参考块组。比如计算了6个参考块组,其中第4个参考块组图像块匹配代价最小,则将第4个参考块组作为目标参考块组。相应地,该方法可以由计算单元和选择单元共同执行。
根据第一方面或第二方面,在一种可能的实现方式中,所述根据所述目标第三参考块在第一精度下的像素值和所述目标第四参考块在第一精度下的像素值得到所述当前图像块的像素预测值包括:
获取所述目标第三参考块在第一精度下的像素值predSamplesL0’[x][y];
获取所述目标第四参考块在第一精度下的像素值predSamplesL1’[x][y];
所述当前图像块的像素预测值predSamples’[x][y]=Clip3(0,(1<<bitDepth)-1, (predSamplesL0’[x][y]+predSamplesL1’[x][y]+offset2)>>shift2),其中,bitDepth为所述第二像素精度,Shift2为移位参数,offset2等于1<<(shift2-1);其中第二像素精度可以为码流精度。相应地,该方法可以由预测单元执行。
根据第一方面或第二方面,在一种可能的实现方式中,所述初始预测运动信息中包含的第一运动矢量和第二运动矢量;所述根据所述初始预测运动信息,在第一参考图像中确定出所述当前图像块对应的第一参考块,并在第二参考图像中确定出所述当前图像块对应的第二参考块包括:根据所述当前图像块的位置和所述第一运动矢量得到所述第一参考块,并根据所述当前图像块的位置和所述第二运动矢量得到所述第二参考块。相应地,该方法可以由确定单元执行。
根据第一方面或第二方面,在一种可能的实现方式中,可以以所述第一参考块的搜索基点为基准,以预设步长进行运动搜索,搜索得到N个第三参考块。
根据第一方面或第二方面,在一种可能的实现方式中:所述方法还包括:还确定出目标第三参考块和目标第四参考块对应的运动矢量作为前向最优运动矢量和后向最优运动矢量,为后续图像块的预测提供运动矢量参考。
上述方法和装置,均可以由处理器调用存储器中的程序和指令来实现。
第三方面,本申请实施例提供一种视频编码器,所述视频编码器用于编码图像块,包含如上述任意一种可能的图像预测装置以及编码重建模块,图像预测装置用于得到当前图像块的像素值的预测值;编码重建模块,用于根据当前图像块的像素值的预测值得到所述当前图像块的重建像素值。相应地,所述视频编码器可以执行上述任一一种可能的设计方法。
第四方面,本申请实施例提供一种视频解码器,所述视频解码器用于解码图像块,包含如上述任意一种可能的图像预测装置以及解码重建模块,图像预测装置用于得到当前图像块的像素值的预测值;解码重建模块,用于根据当前图像块的像素值的预测值得到所述当前图像块的重建像素值。相应地,所述视频解码器可以执行上述任一一种可能的设计方法。
第五方面,本申请实施例提供一种用于编码视频数据的设备,所述设备包括:
存储器,用于存储视频数据,所述视频数据包括一个或多个图像块;
视频编码器,用于对图像进行编码,编码过程中的帧间预测方法可以采用上述任一一种可能的设计方法。
第六方面,本申请实施例提供一种用于解码视频数据的设备,所述设备包括:
存储器,用于存储视频数据,所述视频数据包括一个或多个图像块;
视频解码器,用于对图像进行解码,解码过程中的帧间预测方法可以采用上述任一一种可能的设计方法。
第七方面,本申请实施例提供一种编码设备,包括:相互耦合的非易失性存储器和处理器,所述处理器调用存储在所述存储器中的程序代码以执行第一方面的任意一种方法的部分或全部步骤。
第八方面,本申请实施例提供一种解码设备,包括:相互耦合的非易失性存储器和处理器,所述处理器调用存储在所述存储器中的程序代码以执行第一方面的任意一种方法的部分或全部步骤。
第九方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储了程序代码,其中,所述程序代码包括用于执行第一方面的任意一种方法的部分或全部步骤的指令。
第十方面,本申请实施例提供一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。
应理解,上述方案仅仅是本申请中可能的实现形式,各实现方式之间在不违背自然规律的情况下可以自由组合。
附图说明
图1为本申请实施例中一种视频编码过程的示意图;
图2为本申请实施例中一种视频解码过程的示意图;
图3为本申请实施例中一种图像预测方法的示意图;
图4为本申请实施例中一种帧间预测模式的示意图;
图5为本申请实施例中另一种帧间预测模式的示意图;
图6为本申请实施例中一种搜索参考块的示意图;
图7为本申请实施例中一种图像预测装置的示意图;
图8是本申请实施例中的视频编码器的示意性框图;
图9是本申请实施例中的视频解码器的示意性框图;
图10是本申请实施例中的视频传输系统的示意性框图;
图11是本申请实施例中的视频编解码装置的示意性图;
图12是本申请实施例中的视频编解码系统的示意性框图。
具体实施方式
下面将结合附图,对本申请中的技术方案进行描述。
本申请中的图像预测方法可以应用到视频编解码技术领域中。为了更好地理解本申请的图像预测方法,下面先对视频编解码进行介绍。
一段视频一般由很多帧图像按照一定的次序组成,一般来说,一帧图像中或者不同帧图像之间存在着大量的重复信息(冗余信息),例如,一帧图像内往往存在着大量空间结构相同或者相似的地方,也就是说视频文件中存在大量的空间冗余信息。另外,视频文件中还存在大量的时间冗余信息,这是由视频的组成结构导致的。例如,视频采样的帧速率一般为25帧 /秒至60帧/秒,也就是说,相邻两帧间的采样时间间隔为1/60秒到1/25秒,在这么短的时间内,采样得到的图像画面中基本上都存在大量的相似信息,画面之间存在巨大关联性。
此外,相关研究表明,从人眼的视觉敏感度这一心理特性的角度出发,视频信息中也存在可以用来压缩的部分,即视觉冗余。所谓视觉冗余,是指利用人眼对亮度变化比较敏感,而对色度的变化相对不太敏感的特性来适当的压缩视频比特流。例如,在高亮度的区域,人眼视觉对亮度变化的敏感度呈现下降趋势,转而对物体的边缘处较为敏感;另外,人眼对内部区域相对不敏感而对对整体结构较为敏感。由于视频图像的最终服务对象是我们人类群体,所以可以充分利用人眼的这些特性对原有的视频图像进行压缩处理,达到更佳的压缩效果。除了上面提到的空间冗余、时间冗余和视觉冗余外,视频图像信息中还会存在信息熵冗余、结构冗余、知识冗余、重要性冗余等等这一系列的冗余信息。视频编码(也可以称为视频压缩编码)的目的就是使用各种技术方法将视频序列中的冗余信息去除掉,以达到减小存储空间和节省传输带宽的效果。
目前,在国际通用范围内,视频压缩编码标准中主流的压缩编码方式有四种:色度抽样、预测编码、变换编码和量化编码。下面分别对这几种编码方式进行详细介绍。
色度抽样:该方式充分利用了人眼的视觉心理特点,从底层的数据表示就开始设法最大限度的缩减单个元素描述的数据量。例如,在电视系统中多数采用的是亮度-色度-色度(YUV) 颜色编码,它是欧洲电视系统广泛采用的标准。YUV颜色空间中包括一个亮度信号Y和两个色差信号U和V,三个分量彼此独立。YUV颜色空间彼此分开的表示方式更加灵活,传输占用带宽少,比传统的红绿蓝(RGB)色彩模型更具优势。例如,YUV 4:2:0形式表示两色度分量 U和V在水平方向和垂直方向上都只有亮度Y分量的一半,即4个采样像素点中存在4个亮度分量Y,而色度分量U和V则只有一个。采用这种形式表示时,数据量进一步缩小,仅为原始的33%左右。因此,色度抽样充分利用了人眼的生理视觉特性,通过这种色度抽样的方式实现视频压缩的目的,是目前广泛采用的视频数据压缩方式之一。
预测编码:预测编码时利用之前已编码帧的数据信息来预测当前将要编码的帧。通过预测得到一个预测值,它不完全等同与实际值,预测值和实际值之间存在着一定的残差值。预测的越准确,则预测值就会越接近实际值,残差值就越小,这样对残差值进行编码就能大大减小数据量,在解码端解码时运用残差值加上预测值就能还原重构出匹配图像,这就是预测编码的基本思想方法。在主流编码标准中预测编码分为帧内预测和帧间预测两种基本类型。其中,帧内预测(Intra Prediction)是指利用当前图像内已重建区域内像素点的像素值对当前编码单元内像素点的像素值进行预测;帧间预测(Inter Prediction)是在已重建的图像中,为当前图像中的当前编码单元寻找匹配的参考块,将参考块中的像素点的像素值作为当前编码单元中像素点的像素值的预测信息或者预测值,并传输当前编码单元的运动信息。
变换编码:这种编码方式不直接对原本的空间域信息进行编码,而是按照某种形式的变换函数,将信息采样值从当前域转换到另外一种人为定义域中(通常称为变换域),再根据信息在变换域的分布特性进行压缩编码。由于视频图像数据往往在空间域的数据相关性非常大,存在大量的冗余信息,如果直接进行编码的话需要很大的比特量。而将信息采样值转换到变换域中后,数据的相关性大大减少,这样在编码时由于冗余信息的减少,编码所需的数据量也随之大大减少,这样就能够得到较高的压缩比,而且可以实现较好的压缩效果。典型的变换编码方式有卡洛(K-L)变换、傅立叶变换等。
量化编码:上述提到的变换编码其实本身并不压缩数据,量化过程才能有效地实现对数据的压缩,量化过程也是有损压缩中数据“损失”的主要原因。量化的过程就是将动态范围较大的输入值“强行规划”成较少的输出值的过程。由于量化输入值范围较大,需要较多的比特数表示,而“强行规划”后的输出值范围较小,从而只需要少量的比特数即可表示。
在基于混合编码架构的编码算法中,上述几种压缩编码方式可以混合使用,编码器控制模块根据视频帧中不同图像块的局部特性,选择该图像块所采用的编码模式。对帧内预测编码的块进行频域或空域预测,对帧间预测编码的块进行运动补偿预测,预测的残差再通过变换和量化处理形成残差系数,最后通过熵编码器生成最终的码流。为避免预测误差的累积,帧内或帧间预测的参考信号是通过编码端的解码模块得到。变换和量化后的残差系数经过反量化和反变换重建残差信号,再与预测的参考信号相加得到重建的图像。另外,环路滤波会对重建后的图像进行像素修正,以提高重建图像的编码质量。
下面结合图1和图2对视频编解码的整个过程进行简单的介绍。
图1是视频编码过程的示意图。
如图1所示,在对当前帧Fn中的当前图像块进行预测时,既可以采用帧内预测也可以采用帧间预测,具体地,可以根据当前帧Fn的类型,选择采用帧内编码还是帧间编码,例如,当前帧Fn为I帧时采用帧内预测,当前帧Fn为P帧或者B帧时采用帧间预测。当采用帧内预测时可以采用当前帧Fn中已经重建区域的像素点的像素值对当前图像块的像素点的像素值进行预测,当采用帧间预测时可以采用参考帧F’n-1中与当前图像块匹配的参考块的像素点的像素值对当前图像块的像素点的像素值进行预测。
在根据帧间预测或者帧内预测得到当前图像块的预测块之后,将当前图像块的像素点的像素值与预测块的像素点的像素值进行做差,得到残差信息,对残差信息进行变化、量化以及熵编码,得到编码码流。另外,在编码过程中还要对当前帧Fn的残差信息与当前帧Fn的预测信息进行叠加,并进行滤波操作,得到当前帧的重建帧F’n,并将其作为后续编码的参考帧。
图2是视频解码过程的示意图。
图2所示的视频解码过程相当于图1所示的视频解码过程的逆过程,在解码时,利用熵解码以及反量化和反变换得到残差信息,并根据解码码流确定当前图像块使用帧内预测还是帧间预测。如果是帧内预测,则利用当前帧中已重建区域内像素点的像素值按照帧内预测方法构建预测信息;如果是帧间预测,则需要解析出运动信息,并使用所解析出的运动信息在已重建的图像中确定参考块,并将参考块内像素点的像素值作为预测信息,接下来,再将预测信息与残差信息进行叠加,并经过滤波操作便可以得到重建信息。
请参阅图3,图3为本申请实施例的图像预测方法的示意性流程图。图3所示的方法可以由视频编解码装置、视频编解码器、视频编解码系统以及其它具有视频编解码功能的设备来执行。图3所示的方法既可以发生在编码过程,也可以发生在解码过程,更具体地,图3 所示的方法可以发生在编解码时的帧间预测过程。
图3所示的方法包括步骤301至步骤308,下面对步骤301至步骤308进行详细的介绍。
301、获取当前图像块的初始预测运动信息。
302、根据初始预测运动信息,在第一参考图像中确定出当前图像块对应的第一参考块,并在第二参考图像中确定出当前图像块对应的第二参考块;其中,所第一参考块包含第一搜索基点,第二参考块包含第二搜索基点;所述第一参考块的像素值和所述第二参考块的像素值具有第一像素精度。
这里的图像块可以是待处理图像中的一个图像块,也可以是待处理图像中的一个子图像。另外,这里的图像块可以是编码过程中待编码的图像块,也可以是解码过程中待解码的图像块。
可选地,上述初始预测运动信息包括预测方向的指示信息(通常为前向预测、后向预测、或者双向预测),指向参考图像块的运动矢量(通常为相邻块的运动矢量)和参考图像的指示信息(通常理解为参考图像信息,用于确定参考图像),其中,运动矢量包括前向运动矢量和 /或后向运动矢量,参考图像信息包括前向参考图像块和/或后向参考图像块的参考帧索引信息。通过运动矢量信息可以确定前向参考块的位置以及后向参考块的位置。
可选地,第一参考图像为前向参考图像,第二参考图像为后向参考图像;反之亦可。
在一种可能的实现方式中,初始预测运动信息中包含的第一运动矢量和第二运动矢量;可以根据当前图像块的位置和第一运动矢量得到第一参考块的位置,即确定了第一参考块;并根据当前图像块的位置和第二运动矢量得到第二参考块,即确定了第二参考块。
在一种可能的实现方式中,若第一参考块和/或第二参考块的位置可以是当前图像块的等同位置;也可以是根据等同位置和运动矢量共同得到的。
获取图像块的初始预测运动信息的方式有多种,例如,可以采用下面的方式一和方式二来获取图像块的初始预测运动信息。
方式一:
在帧间预测的合并模式下,根据当前图像块的相邻块的运动信息构建候选预测运动信息列表,并从该候选预测运动信息列表中选择某个候选预测运动信息作为当前图像块的初始预测运动信息。其中,候选预测运动信息列表包含运动矢量、参考图像块的参考帧索引信息等等。如图4所示,选择相邻块A0的运动信息作为当前图像块的初始预测运动信息,具体地,将A0的前向运动矢量作为当前图像块的前向预测运动矢量,将A0的后向运动矢量作为当前图像块的后向预测运动矢量。
方式二:
在帧间预测的非合并模式下,根据当前图像块的相邻块的运动信息构建运动矢量预测值列表,并从该运动矢量预测值列表中选择某个运动矢量作为当前图像块的运动矢量预测值。在这种情况下,当前图像块的运动矢量可以为相邻块的运动矢量值,也可以为所选取的相邻块的运动矢量与当前图像块的运动矢量差的和,其中,运动矢量差通过对当前图像块进行运动估计所得到的运动矢量与所选取的相邻块的运动矢量的差。如图5所示,选择运动矢量预测值列表中的索引1和2对应的运动矢量作为当前图像块的前向运动矢量和后向运动矢量。
应理解,上述方式一和方式二只是获取当前图像块的初始预测运动信息的具体两种方式,本申请对获取预测块的运动信息的方式不做限定,任何可以获取图像块的初始预测运动信息的方式都在本申请的保护范围内。
基点可以用坐标点来表示,是一种位置信息,它可以用来表示图像块的位置,也可以在后续图像块搜索中作为参照基准。它可以是一个图像块的左上角顶点,也可以是一个图像块的中心点,也可以是其他规则规定的一个相对位置点,本申请中不予以限定。参考图像的基点可以在后续的搜索过程中作为搜索基点。因此一旦一个参考块的位置确定了,那么搜索基点也就确定了。第一参考块和第二参考块中都含有的基点,由于后续会有以这个基点相关的搜索操作,因此也可分别称为第一搜索基点和第二搜索基点;它们既可以是预先确定得到的,也可以是在编解码的过程中进行规定得到的。
例如前向运动矢量为(MV0x,MV0y),当前图像块的基点为(B0x,B0y),则前向参考块的基点为(MV0x+B0x,MV0y+B0y)。类似方式可以应用于后向参考块,本申请中不加以赘述。
为了方便清楚地说明,在接下来的步骤中以一个图像块的左上角顶点作为基点,第一参考图像可以指代前向参考图像,第二参考图像可以指代后向参考图像,对应的,第一参考块可以指代前向参考块,第二参考块可以指代后向参考块。应理解,这仅是为了方便说明的可选举例方式,不对本发明的实现构成任何限制。
303、在第一参考图像中确定出N个第三参考块,N的取值大于等于1。
步骤303包含一种搜索方法,具体搜索方式可以如下:
在前向参考图像中,以第一参考块(或第一搜索基点)为基准,在第一参考块周围进行整像素步长的运动搜索。整像素步长可以指候选搜索块的位置相对于第一参考块的位置偏移为整像素距离,其中,候选搜索块的大小可以与第一参考块相同,因此搜索的过程中就可以确定出候选搜索块的位置,进而根据搜索规则确定出第三参考块。需要指出的是,不管搜索基点是否为整像素点(起始点可以是整像素,或分像素,如:1/2,1/4,1/8,1/16等),都可以进行整像素步长运动搜索,得到当前图像块的前向参考块的位置,即对应确定出了第三参考块。以整像素步长搜索到一些第三参考块后,可选地,还可以进行分像素搜索,进而再得到一些第三参考块,如果还有搜索需求,还可以继续以更加精细的分像素进行搜索……对于搜索方式,参见图6所示,其中(0,0)为搜索基点,可以使用十字搜索:依次搜索(0,-1), (0,1),(-1,0)和(1,0);或正方形搜索:依次搜索(-1,-1),(1,-1),(-1,1)和(1,1);这些点均为候选搜索块的左上角顶点,这些基点确定了,则这些基点对应的参考块即第三参考块也就确定出来了……需要注意的是,本发明中,不限定使用搜索方法,可以采用任意现有技术中的搜索方法,如除了进行整数像素步长搜索以外,还可以使用分数像素步长搜索。例如,直接进行分数像素步长的搜索等,此处并不对具体的搜索方法进行限定。
304、针对所述N个第三参考块中的任意一个第三参考块,根据所述第一搜索基点、所述任意一个第三参考块的位置和所述第二搜索基点,在所述第二参考图像中对应地确定出一个第四参考块;得到N个参考块组,其中,一个参考块组包含一个第三参考块和一个第四参考块。
可选地,如果当前图像块所在图像距离前向参考图像和后向参考图像的时域间隔相同,如前向参考图像和后向参考图像分别距离当前图像块所在图像的时域间隔为+0.04s,可以用运动矢量差MVD(motion vector difference)镜像限制条件找到参考块组。这里的MVD镜像限制条件为:如果一个第三图像块(基点)的位置相对于第一参考块(第一搜索基点)的位置偏移为Offset0(deltaX0,deltaY0),那么在后向图像中找到相对于第二参考块(第二搜索基点)的位置偏移为Offset1(deltaX1,deltaY1)的候选图像块确定为一个第四参考块,其中,deltaX1=-deltaX0;deltaY1=-deltaY0;对应的,Offset0(deltaX0,deltaY0) 可以表示第i矢量,Offset1(deltaX1,deltaY1)可以表示第j矢量。作为另一种可选的实施方式,即时当前图像块所在图像距离前向参考图像和后向参考图像的时域间隔不同,也依旧可以用运动矢量差MVD(motion vector difference)镜像限制条件找到参考块组。该实现方法中,第i矢量和第j矢量等大反向。
应理解,本申请中所提到的“组”实质上是为了表达一种对应关系,不构成任何形式的限定。
作为扩展地,如果当前图像块所在图像距离前向参考图像和后向参考图像的时域间隔不相同时,如前向参考图像和后向参考图像分别距离当前图像块所在图像的时域间隔为t1和 t2,可以采用以下约束条件:如果一个第三图像块的块位置(基点)相对于第一参考块(第一搜索基点)的位置偏移为Offset00(deltaX00,deltaY00),那么在后向图像中找到相对于第二参考块(第二搜索基点)的位置偏移为Offset01(deltaX01,deltaY01)的图像块确定为一个第四参考块。其中,deltaX01=-deltaX00*t2/t1;deltaY01=-deltaY00*t2/t1。对应的,Offset0(deltaX0,deltaY0)可以表示第i矢量,Offset1(deltaX1,deltaY1) 可以表示第j矢量。
应理解,在计算时域间隔的过程中,第一图像块、第一基点和第一参考图像具有等同的功能,当前图像块、当前图像块的基点、当前图像块所在的图像具有等同的功能;其实质都是计算第一参考图像和当前图像块所在图像的时域间隔;同理适用于计算第二参考图像和当前图像块所在图像的时域间隔。即帧之间的时间间隔。
从上述实现方式中可以得出,只要搜索出一个第三参考块,就对应地确定出一个第四参考块;即确定出的第三参考块和第四参考块数量相等,且在空间位置上是一一对应的。最终可以得到N个的参考块组,其中,一个参考块组包含一个第三参考块和一个第四参考块。
应理解,上述上述所指的位置偏移,既可以指基点与基点之间的偏移,也可以指图像块与图像块之间的偏移,代表的是一个相对位置。
可选地,N个参考块组可以包含上述第一参考块和上述第二参考块;即上述第一参考块可以是一个第三参考块,相应地,上述第二参考块可以是一个第四参考块。该实现方法中,第i矢量和第j矢量都为0。特别地,当第一参考块为第三参考块时,第二参考块就是其对应的第四参考块。
作为补充说明的,本申请中所提到的第三参考块和/或第四参考块并不限定于某一个具体位置的图像块,而是可以表示一类参考块,可以是一个具体的图像块也可以是多个图像块;如第三参考块可以是根据在第一基点周围搜索出来的任意一个图像块,第四参考块可以是上述任意一个图像块对应确定出来的一个图像块,因此第四参考块可以是一个具体的图像块也可以是多个图像块。
步骤305、将得到的第三参考块和第四参考块的像素值提高到第一像素精度,并在第一像素精度下计算所述N个参考块组的图像块匹配代价。
首先以一个参考块组为具体实例进行举例说明如何计算参考块组的图像块匹配代价,这个参考块组包含一个第三参考块和与其对应确定出来的第四参考块。首先将第三参考块和第四参考块的像素值提到高第一像素精度,其中,第三参考块和第四参考块都是已经编解码完毕的图像块,因此它们的像素具有码流精度,如码流精度为8比特,则第三参考块和第四参考块的像素值的像素精度就为8比特。为了寻找到图像更相似的参考块,需要将第三参考块和第四参考块的像素的精度进行提升。提高精度可以通过差值或者移位的现有技术方式实现,本申请中不予以赘述。为了更好地方便后续计算图像块匹配代价,因此需要计算图像块匹配代价的图像块的精度需要提高到同一精度,例如14比特。经上述操作后,可以得到第三参考块的14比特的像素值,记作pi[x,y],以及第四参考块的14比特的像素值记作pj[x,y],其中x,y表示坐标。根据pi[x,y]和pj[x,y]计算出一个图像块匹配代价eij,也可以称为图像块匹配误差eij。计算图像块匹配误差的方式有很多,如SAD准则,MR-SAD准则,也可以使用其他现有技术中的评估准则,本发明中不限定图像块匹配误差的计算方法。
若存在两组以上的参考块组,则对多个参考块组都可以执行上述的图像块匹配代价计算。
在一种实现方式中,上述第一参考块为一个第三参考块,上述第二参考块为一个第四参考块;第一参考块和第二参考块的像素值可以通过运动补偿方法得到。运动补偿是指根据运动矢量,指向已重建的参考图像(具有码流的像素精度),并得到当前图像块的参考块的像素值(具有第一像素精度)。例如,运动矢量指向的位置为分像素位置,需要针对参考图像的整像素位置的像素值,采用插值滤波器进行插值,得到分像素位置的像素值,作为当前图像块的参考块的像素值;运动矢量指向的位置为整像素位置,可以采用移动操作。插值滤波器的系数和,即插值滤波器增益,为2的N次方,如N为6,则表示插值滤波器增益为6比特。在进行插值操作中,由于插值滤波增益通常大于1,因此得到的前向参考块和后向参考块的像素值的精度高于码流的像素精度。为了减少精度损失,此时不进行移位和/或限位操作,以保留高精度的前向参考块和后向参考块的像素值。如预测图像的像素值精度bitDepth为8比特,插值滤波器增益为6比特,得到精度为14比特的预测像素值;如预测图像的像素值精度 bitDepth为10比特,插值滤波器增益为6比特,得到精度为16比特的预测像素值;如预测图像的像素值精度bitDepth为10比特,插值滤波器增益为6比特,再右移2位,得到精度为14比特的预测像素值。常用的插值滤波器有4抽头,6抽头,8抽头等。现有技术中有很多的运动补偿方法,本申请不加以赘述。
另外,作为补充说明,本申请中所指的图像块的像素可以包括亮度分量采样,或指luma sample;对应的,像素点是亮度分量采样点;像素值是亮度分量采样值。
306、在N个参考块组中确定出满足图像块匹配代价准则的目标参考块组,所述目标参考块组包含目标第三参考块和目标第四参考块。
可选地,图像块匹配代价准则包括:将图像块匹配代价最小的参考块组确定为目标参考块组。
可选地,图像块匹配代价准则也包括:将首个出现的满足图像块匹配代价小于预设阈值的参考块组确定为所述目标参考块组。
应理解,步骤304、步骤305、步骤306可以在步骤303之后执行,也可以和步骤303同步进行。步骤编号不构成对方法执行顺序的任何限定。
举例说明,每当确定出一个第三参考块,就对应地确定出一个第四参考块,并计算这一组第三参考块和第四参考块的图像块匹配代价,如果计算到第N参考块组时,出现图像块匹配代价结果满足预设条件,如小于一个预设阈值,或甚至为0,则将该第N参考块组作为目标参考块组。没有必要再去确定和计算更多的第三参考块和第四参考块,可以减少计算的复杂度,这里N大于等于1。
如先确定N个第三参考块,并且一对一地确定出N个第四参考块,组成N个参考块组,然后对这N个参考块组,计算出每一个参考块组对应的图像块匹配误差并进行比较,出现图像块匹配代价结果满足预设条件,如图像块匹配误差最小,则选取图像块匹配代价最小的那一个参考块组(若最小存在多个,则随机任选一个),作为目标参考块组。
相应地,目标参考块组中的第三参考块和第四参考块即目标第三参考块和目标第四参考块,也可以分别叫做当前图像块的最优前向参考块和当前图像块的最优后向参考块;供步骤 306进行计算。
作为补充说明,由于基于具备第一像素精度的第一参考块确定出第三参考块;基于具备第一像素精度的第二参考块确定出第四参考块;因此第三参考块和第四参考块的像素精度也都是第一像素精度,即高于码流的像素精度。
307、根据目标第三参考块在第一精度下的像素值和目标第四参考块在第一精度下的像素值得到当前图像块的像素预测值,其中,当前图像块的像素预测值具有第二像素精度;第二像素精度小于上述第一像素精度。
对所得到的目标第三参考块的像素值(第一像素精度)和目标第四参考块的像素值(第一像素精度)进行“平均加权+移位”,得到当前图像块的像素预测值(第二像素精度)。
作为可选地,第二像素精度与码流的像素精度(bitDepth)相同。
具体实现过程中,获取目标第三参考块在第一精度下的像素值为predSamplesL0’[x][y];获取目标第四参考块在第一精度下的像素值为 predSamplesL1’[x][y];当前图像块的像素预测值 predSamples’[x][y]=Clip3(0,(1<<bitDepth)-1,(predSamplesL0’[x][y]+ predSamplesL1’[x][y]+offset2)>>shift2),其中,bitDepth为码流的像素精度,Shift2 为移位参数,offset2等于1<<(shift2-1)。x和y为图像块中每个像素点的水平和竖直方向的坐标,则对于图像块中的每个像素点,操作均如上述公式所示。如,目标第三参考块像素值的精度为14比特,目标第四参考块像素值的精度为14比特,shift2为15-bitDepth,则此时当前图像块的像素预测值的精度为14+1-shift2=bitDepth。
综上所述,由于根据初始运动信息得到的第一参考块和第二参考块并不一定能够准确预测当前图像块,因此本申请中将会采用一种全新的方法,找到更加合适的目标第三参考块和目标第四参考块,并通过目标第三参考块和目标第四参考块的像素值对当前图像块进行预测。通过本发明提供的预测方法,可以在匹配的过程中,持续保持高精度像素值,不需要反复的限位操作以及运动补偿操作,降低了编解码的复杂度。
应理解,本申请实施例的图像预测方法可以发生在图1和图2所示的帧间预测过程中,本申请实施例的图像预测方法可以具体由编码器或者解码器中的帧间预测模块来执行。另外,本申请实施例的图像预测方法可以在可能需要对视频图像进行编码和/或解码的任何电子设备或者装置内实施。
基于上述实施例提供的预测方法,本发明实施例提供一种图像预测装置,下面结合图6 对本申请实施例的图像预测装置进行描述。其中,图6所示的图像预测装置与图3所示的方法相对应,能够执行图3所示的方法中的各个步骤。为了简洁,下面适当省略重复的描述。
请参阅图7,一种图像预测装置700,所述装置700包括:
获取单元701,用于获取当前图像块的初始预测运动信息。该单元可以由处理器调用存储器中的代码实现。
确定单元702,用于根据所述初始预测运动信息,在第一参考图像中确定出所述当前图像块对应的第一参考块,并在第二参考图像中确定出所述当前图像块对应的第二参考块;其中,所述第一参考块包含第一搜索基点,所述第二参考块包含第二搜索基点。该单元可以由处理器调用存储器中的代码实现。
搜索单元703,用于在所述第一参考图像中确定出N个第三参考块。该单元可以由处理器调用存储器中的代码实现。
映射单元704,用于针对所述N个第三参考块中的任意一个第三参考块,根据所述第一搜索基点、所述任意一个第三参考块的位置和所述第二搜索基点,在所述第二参考图像中对应地确定出一个第四参考块;得到N个参考块组,其中,一个参考块组包含一个第三参考块和一个第四参考块;N大于等于1。该单元可以由处理器调用存储器中的代码实现。
计算单元705,用于将得到的第三参考块和第四参考块的像素值提高到第一像素精度,并在第一像素精度下计算N个参考块组的图像块匹配代价。该单元可以由处理器调用存储器中的代码实现。
选择单元706,用于在所述N个参考块组中确定出满足图像块匹配代价准则的目标参考块组,所述目标参考块组包含目标第三参考块和目标第四参考块。该单元可以由处理器调用存储器中的代码实现。
预测单元707,用于根据所述目标第三参考块在第一精度下的像素值和所述目标第四参考块在第一精度下的像素值得到所述当前图像块的像素预测值,其中,所述当前图像块的像素预测值具有第二像素精度;所述第二像素精度小于所述第一像素精度。该单元可以由处理器调用存储器中的代码实现。
在具体实现过程中,获取单元701具体用于执行上述步骤301中所提到的方法以及可以等同替换的方法;确定单元702具体用于执行上述步骤302中所提到的方法以及可以等同替换的方法;搜索单元703具体用于执行上述步骤303中所提到的方法以及可以等同替换的方法;映射单元704具体用于执行上述步骤304中所提到的方法以及可以等同替换的方法;计算单元705具体用于执行步骤305中所提到的方法以及可以等同替换的方法;选择单元706 具体用于执行步骤306中所提到的方法以及可以等同替换的方法;预测单元707具体用于执行步骤307中所提到的方法以及可以等同替换的方法。其中,上述具体的方法实施例以及实施例中相应的解释、表述、细化、与可选的可替代实施方式也适用于装置中的方法执行。
装置700具体可以是视频编码装置、视频解码装置、视频编解码系统或者其他具有视频编解码功能的设备。装置700既可以用于在编码过程中进行图像预测,也可以用于在解码过程中进行图像预测,尤其是视频图像中的帧间预测。装置700包括用于实施前述方法中任意一种可能方式的若干个功能单元
本申请还提供一种终端设备,所述终端设备包括:存储器,用于存储程序;处理器,用于执行所述存储器存储的程序,当所述程序被执行时,所述处理器用于执行本申请实施例的图像预测方法,包括步骤301-307。
这里的终端设备可以是视频显示设备,智能手机,便携式电脑以及其它可以处理视频或者播放视频的设备。
本申请还提供一种视频编码器,包括非易失性存储介质,以及中央处理器,所述非易失性存储介质存储有可执行程序,所述中央处理器与所述非易失性存储介质连接,并执行所述可执行程序以实现本申请实施例的图像预测方法,包括步骤301-307。
本申请还提供一种视频解码器,包括非易失性存储介质,以及中央处理器,所述非易失性存储介质存储有可执行程序,所述中央处理器与所述非易失性存储介质连接,并执行所述可执行程序以实现本申请实施例的图像预测方法,包括步骤301-307。
本申请还提供一种视频编码系统,包括非易失性存储介质,以及中央处理器,所述非易失性存储介质存储有可执行程序,所述中央处理器与所述非易失性存储介质连接,并执行所述可执行程序以实现本申请实施例的图像预测方法,包括步骤301-307。
本申请还提供一种计算机可读介质,所述计算机可读介质存储用于设备执行的程序代码,所述程序代码包括用于执行本申请实施例的图像预测方法的指令,包括用于实现步骤301-307 的程序代码。
本申请还提供一种解码器,所述解码器包括本申请实施例中的图像预测装置,如700,以及解码重建模块,其中,所述解码重建模块用于根据所述图像预测装置得到的所述图像块的像素值的预测值得到所述图像块的重建像素值。
本申请还提供一种编码器,所述编码器包括本申请实施例中的图像预测装置,如700,以及编码重建模块,其中,所述编码重建模块用于根据所述图像预测装置得到的所述图像块的像素值的预测值得到所述图像块的重建像素值。
图8是本申请实施例的视频编码器的示意性框图。图8所示的视频编码器1000包括:编码端预测模块1001、变换量化模块1002、熵编码模块1003、编码重建模块1004和编码端滤波模块。
图8所示的视频编码器1000可以对视频进行编码,具体地,视频编码器1000可以执行图1所示的视频编码过程,实现对视频的编码。另外,视频编码器1000还可以执行本申请实施例的图像预测方法,视频编码器1000可以执行图3所示的图像预测方法的各个步骤,包括每个步骤的细化和可替代的实现方式。本申请实施例中的图像预测装置还可以是视频编码器 1000中的编码端预测模块1001。
图9是本申请实施例的视频解码器的示意性框图。图9所示的视频解码器2000包括:熵解码模块2001、反变换反量化模块2002、解码端预测模块2003、解码重建模块2004和解码端滤波模块2005。
图9所示的视频解码器2000可以对视频进行编码,具体地,视频解码器2000可以执行图2所示的视频解码过程,实现对视频的解码。另外,视频解码器2000还可以执行本申请实施例的图像预测方法,视频解码器2000可以执行图3所示的图像预测方法的各个步骤,包括每个步骤的细化和可替代的实现方式。本申请实施例中的图像预测装置700还可以是视频解码器2000中的解码端预测模块2003。
下面结合图10至图12对本申请实施例的图像预测的方法的应用场景进行介绍,本申请实施例的图像预测的方法可以由图10至图12所示的视频传输系统、编解码装置以及编解码系统来执行。
图10是本申请实施例的视频传输系统的示意性框图。
如图10所示,视频传输系统包括采集模块3001、编码模块3002、发送模块3003、网络传输3004、接收模块3005、解码模块3006、渲染模块3007。
其中,视频传输系统中各个模块的具体作用如下:
采集模块3001包含摄像头或者摄像头组,用于采集视频图像,并对采集到的视频图像进行编码前的处理,将光信号转化为数字化的视频序列;
编码模块3002用于对视频序列进行编码,得到码流;
发送模块3003用于将编码得到的码流发送出去;
接收模块3005用于接收发送模块3003发送的码流;
网络3004用于将发送模块3003发送的码流传输到接收模块3005;
解码模块3006用于对接收模块3005接收的码流进行解码,重建视频序列;
渲染模块3007用于对解码模块3006解码得到的重建视频序列进行渲染,以提高视频的显示效果。
图10所示的视频传输系统可以执行本申请实施例的图像预测的方法,具体地,图10所示的视频传输系统中的编码模块3002和解码模块3006都可以执行本申请实施例的图像预测的方法,包括步骤301-307,也包括每个步骤的细化和可替代的实现方式。另外,图10所示的视频传输系统中的采集模块3001、编码模块3002以及发送模块3003相当于图8所示的视频编码器1000。图10所示的视频传输系统中的接收模块3005、解码模块3006和渲染模块 3007相当于图9所示的视频解码器2000。
下面结合图11和图12对编解码装置和编解码装置组成的编解码系统进行详细的介绍。应理解,图11和图12中所示的编解码装置和编解码系统能够执行本申请实施例的图像预测的方法。
图11是本申请实施例的视频编解码装置的示意性图。该视频编解码装置50可以是专门用于对视频图像进行编码和/或解码的装置,也可以是具有视频编解码功能的电子设备,进一步地,该编解码装置50可以是无线通信系统的移动终端或者用户设备。
编解码装置50可以包括下列模块或者单元:控制器56、编解码器54、无线电接口52、天线44、智能卡46、读卡器48、小键盘34、存储器58、红外线端口42、显示器32。除了图11中所示的模块和单元之外,编解码装置50还可以包括麦克风或者任何适当的音频输入模块,该音频输入模块可以是数字或者模拟信号输入,编解码装置50还可以包括音频输出模块,该音频输出模块可以是耳机、扬声器或者模拟音频或者数字音频输出连接。编解码装置50也可以包括电池,该电池可以是太阳能电池、燃料电池等等。编解码装置50还可以包括用于与其它设备进行近程视线通信的红外线端口,该编解码装置50还可以采用包括任何适当的近程通信方式与其它设备进行通信,例如,蓝牙无线连接、USB/火线有线连接。
存储器58可以存储形式为图像的数据和音频的数据,也可以存储用于在控制器56上执行的指令。
编解码器54可以实现对音频和/或视频数据的编码和解码或者在控制器56的控制下实现对音频和/或视频数据的辅助编码和辅助解码。
智能卡46和读卡器48可以提供用户信息,也可以提供网络认证和授权用户的认证信息。智能卡46和读卡器48的具体实现形式可以是集成电路卡(Universal IntegratedCircuit Card,UICC)和UICC读取器。
无线电接口电路52可以生成无线通信信号,该无线通信信号可以是在进行蜂窝通信网络、无线通信系统或者无线局域网通信产生的通信信号。
天线44用于向其它装置(装置的数目可以为一个也可以为多个)发送在无线电接口电路52生成的射频信号,并且还可以用于从其它装置(装置的数目可以为一个也可以为多个) 接收射频信号。
在本申请的一些实施例中,编解码装置50可以在传输和/或存储之前从另一设备接收待处理的视频图像数据。在本申请的另一些实施例中,编解码装置50可以通过无线或者有线连接接收图像并对接收到的图像进行编码/解码。
图12是本申请实施例的视频编解码系统7000的示意性框图。
如图12所示,视频编解码系统7000包含源装置4000及目的地装置5000。源装置4000 产生经过编码后的视频数据,源装置4000也可以被称为视频编码装置或视频编码设备,目的地装置5000可以对源装置4000产生的经过编码后的视频数据进行解码,目的地装置5000也可以被称为视频解码装置或视频解码设备。
源装置4000和目的地装置5000的具体实现形式可以是如下设备中的任意一种:台式计算机、移动计算装置、笔记本(例如,膝上型)计算机、平板计算机、机顶盒、智能电话、手持机、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机,或者其它类似的设备。
目的地装置5000可以经由信道6000接收来自源装置4000编码后的视频数据。信道6000 可包括能够将编码后的视频数据从源装置4000移动到目的地装置5000的一个或多个媒体及/ 或装置。在一个实例中,信道6000可以包括使源装置4000能够实时地将编码后的视频数据直接发射到目的地装置5000的一个或多个通信媒体,在此实例中,源装置4000可以根据通信标准(例如,无线通信协议)来调制编码后的视频数据,并且可以将调制后的视频数据发射到目的地装置5000。上述一个或多个通信媒体可以包含无线及/或有线通信媒体,例如射频 (Radio Frequency,RF)频谱或一根或多根物理传输线。上述一个或多个通信媒体可以形成基于包的网络(例如,局域网、广域网或全球网络(例如,因特网))的部分。上述一个或多个通信媒体可以包含路由器、交换器、基站,或者实现从源装置4000到目的地装置5000的通信的其它设备。
在另一实例中,信道6000可包含存储由源装置4000产生的编码后的视频数据的存储媒体。在此实例中,目的地装置5000可经由磁盘存取或卡存取来存取存储媒体。存储媒体可包含多种本地存取式数据存储媒体,例如蓝光光盘、高密度数字视频光盘(DigitalVideo Disc, DVD)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)、快闪存储器,或用于存储经编码视频数据的其它合适数字存储媒体。
在另一实例中,信道6000可包含文件服务器或存储由源装置4000产生的编码后的视频数据的另一中间存储装置。在此实例中,目的地装置5000可经由流式传输或下载来存取存储于文件服务器或其它中间存储装置处的编码后的视频数据。文件服务器可以是能够存储编码后的视频数据且将所述编码后的视频数据发射到目的地装置5000的服务器类型。例如,文件服务器可以包含全球广域网(World Wide Web,Web)服务器(例如,用于网站)、文件传送协议(File Transfer Protocol,FTP)服务器、网络附加存储(Network AttachedStorage, NAS)装置以及本地磁盘驱动器。
目的地装置5000可经由标准数据连接(例如,因特网连接)来存取编码后的视频数据。数据连接的实例类型包含适合于存取存储于文件服务器上的编码后的视频数据的无线信道、有线连接(例如,缆线调制解调器等),或两者的组合。编码后的视频数据从文件服务器的发射可为流式传输、下载传输或两者的组合。
本申请的图像预测方法不限于无线应用场景,示例性的,本申请的图像预测方法可以应用于支持以下应用等多种多媒体应用的视频编解码:空中电视广播、有线电视发射、卫星电视发射、流式传输视频发射(例如,经由因特网)、存储于数据存储媒体上的视频数据的编码、存储于数据存储媒体上的视频数据的解码,或其它应用。在一些实例中,视频编解码系统7000 可经配置以支持单向或双向视频发射,以支持例如视频流式传输、视频播放、视频广播及/ 或视频电话等应用。
在图12中,源装置4000包含视频源4001、视频编码器4002及输出接口4003。在一些实例中,输出接口4003可包含调制器/解调器(调制解调器)及/或发射器。视频源4001可包含视频俘获装置(例如,视频相机)、含有先前俘获的视频数据的视频存档、用以从视频内容提供者接收视频数据的视频输入接口,及/或用于产生视频数据的计算机图形系统,或上述视频数据源的组合。
视频编码器4002可编码来自视频源4001的视频数据。在一些实例中,源装置4000经由输出接口4003将编码后的视频数据直接发射到目的地装置5000。编码后的视频数据还可存储于存储媒体或文件服务器上以供目的地装置5000稍后存取以用于解码及/或播放。
在图12的实例中,目的地装置5000包含输入接口5003、视频解码器5002及显示装置 5001。在一些实例中,输入接口5003包含接收器及/或调制解调器。输入接口5003可经由信道6000接收编码后的视频数据。显示装置5001可与目的地装置5000整合或可在目的地装置 5000外部。一般来说,显示装置5001显示解码后的视频数据。显示装置5001可包括多种显示装置,例如液晶显示器、等离子体显示器、有机发光二极管显示器或其它类型的显示装置。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (20)

1.一种图像预测方法,其特征在于,所述方法包括:
获取当前图像块的初始预测运动信息;
根据所述初始预测运动信息,在第一参考图像中确定出所述当前图像块对应的第一参考块,并在第二参考图像中确定出所述当前图像块对应的第二参考块;其中,所述第一参考块包含第一搜索基点,所述第二参考块包含第二搜索基点;
在所述第一参考图像中确定出N个第三参考块;
针对所述N个第三参考块中的任意一个第三参考块,根据所述第一搜索基点、所述任意一个第三参考块的位置和所述第二搜索基点,在所述第二参考图像中对应地确定出一个第四参考块;得到N个参考块组,其中,一个参考块组包含一个第三参考块和一个第四参考块;N大于等于1;
将得到的第三参考块和第四参考块的像素值提高到第一像素精度,并在所述第一像素精度下计算所述N个参考块组的图像块匹配代价;
在所述N个的参考块组中确定出满足图像块匹配代价准则的目标参考块组,所述目标参考块组包含目标第三参考块和目标第四参考块;
根据所述目标第三参考块在第一精度下的像素值和所述目标第四参考块在第一精度下的像素值得到所述当前图像块的像素预测值,其中,所述当前图像块的像素预测值具有第二像素精度;所述第二像素精度小于所述第一像素精度。
2.如权利要求1所述的方法,其特征在于,所述初始预测运动信息中包含参考图像索引,用于指示所述两个参考图像包括一个前向参考图像和一个后向参考图像。
3.如权利要求1或2所述的方法,其特征在于,所述针对所述N个第三参考块中的任意一个第三参考块,根据所述第一搜索基点、所述任意一个第三参考块的位置和所述第二搜索基点,在所述第二参考图像中对应地确定出一个第四参考块包括:
若所述第一参考块为一个第三参考块;
则将所述第二参考块对应地为一个第四参考块;其中,所述第一参考块和所述第二参考块属于一个参考块组。
4.如权利要求1或2所述的方法,其特征在于,所述针对所述N个第三参考块中的任意一个第三参考块,根据所述第一搜索基点、所述任意一个第三参考块的位置和所述第二搜索基点,在所述第二参考图像中对应地确定出一个第四参考块包括:
根据所述任意一个第三参考块和所述第一搜索基点确定出第i矢量;
根据所述当前图像块相对于所述第一参考图像的时域间隔t1,所述当前图像块相对于所述第二参考图像的时域间隔t2,以及所述第i矢量,确定出第j矢量,其中,所述第j矢量与所述第i矢量的方向相反;i和j均为不大于N的正整数;
根据所述第二搜索基点和所述第j矢量确定出一个第四参考块。
5.如权利要求1或2所述的方法,其特征在于,所述针对所述N个第三参考块中的任意一个第三参考块,根据所述第一搜索基点、所述任意一个第三参考块的位置和所述第二搜索基点,在所述第二参考图像中对应地确定出一个第四参考块包括:
根据所述任意一个第三参考块和所述第一搜索基点确定出第i矢量;
根据所述第i矢量,确定出第j矢量,其中,所述第j矢量与所述第i矢量等大反向;i和j均为不大于N的正整数;
根据所述第二搜索基点和所述第j矢量确定出一个第四参考块。
6.如权利要求1-5任一项所述的方法,其特征在于,所述将得到的第三参考块和第四参考块的像素值提高到第一像素精度,并在所述第一像素精度下计算所述N个参考块组的图像块匹配代价包括:
针对所述N个参考块组中的至少一个参考块组,将第三参考块和第四参考块的像素值通过插值或移位提高到第一像素精度,并在所述第一像素精度下计算图像块匹配代价;
在所述N个参考块组中确定出满足图像块匹配代价准则的目标参考块组包括:
将所述至少一个参考块组中首个出现的满足图像块匹配代价小于预设阈值的参考块组确定为所述目标参考块组。
7.如权利要求1-5任一项所述的方法,其特征在于,所述将得到的第三参考块和第四参考块的像素值提高到第一像素精度,并在所述第一像素精度下计算所述N个参考块组的图像块匹配代价包括:
将所述得到的第三参考块和第四参考块的像素值通过插值或移位提高到第一像素精度;
针对所述N个参考块组中的每一个参考块组计算图像块匹配代价;
在所述N个参考块组中确定出满足图像块匹配代价准则的目标参考块组包括:
将所述N个参考块组中图像块匹配代价最小的参考块组确定为所述目标参考块组。
8.如权利要求1-7任一项所述的方法,其特征在于,所述根据所述目标第三参考块在第一精度下的像素值和所述目标第四参考块在第一精度下的像素值得到所述当前图像块的像素预测值包括:
获取所述目标第三参考块在第一精度下的像素值predSamplesL0’[x][y];
获取所述目标第四参考块在第一精度下的像素值predSamplesL1’[x][y];
所述当前图像块的像素预测值predSamples’[x][y]=Clip3(0,(1<<bitDepth)-1,(predSamplesL0’[x][y]+predSamplesL1’[x][y]+offset2)>>shift2),其中,bitDepth为所述第二像素精度,Shift2为移位参数,offset2等于1<<(shift2-1)。
9.一种图像预测装置,其特征在于,所述装置包括:
获取单元,用于获取当前图像块的初始预测运动信息;
确定单元,用于根据所述初始预测运动信息,在第一参考图像中确定出所述当前图像块对应的第一参考块,并在第二参考图像中确定出所述当前图像块对应的第二参考块;其中,所述第一参考块包含第一搜索基点,所述第二参考块包含第二搜索基点;
搜索单元,用于在所述第一参考图像中确定出N个第三参考块;
映射单元,用于针对所述N个第三参考块中的任意一个第三参考块,根据所述第一搜索基点、所述任意一个第三参考块的位置和所述第二搜索基点,在所述第二参考图像中对应地确定出一个第四参考块;得到N个参考块组,其中,一个参考块组包含一个第三参考块和一个第四参考块;N大于等于1;
计算单元,用于将得到的第三参考块和第四参考块的像素值提高到第一像素精度,并在所述第一像素精度下计算所述N个参考块组的图像块匹配代价;
选择单元,用于在所述N个参考块组中确定出满足图像块匹配代价准则的目标参考块组,所述目标参考块组包含目标第三参考块和目标第四参考块;
预测单元,用于根据所述目标第三参考块在第一精度下的像素值和所述目标第四参考块在第一精度下的像素值得到所述当前图像块的像素预测值,其中,所述当前图像块的像素预测值具有第二像素精度;所述第二像素精度小于所述第一像素精度。
10.如权利要求9所述的装置,其特征在于,所述初始预测运动信息中包含参考图像索引,用于指示所述两个参考图像包括一个前向参考图像和一个后向参考图像。
11.如权利要求9或10所述的装置,其特征在于,所述映射单元具体用于:
若所述第一参考块为一个第三参考块;
则将所述第二参考块对应地为一个第四参考块;其中,所述第一参考块和所述第二参考块属于一个参考块组。
12.如权利要求9或10所述的装置,其特征在于,所述映射单元具体用于:
根据所述任意一个第三参考块和所述第一搜索基点确定出第i矢量;
根据所述当前图像块相对于所述第一参考图像的时域间隔t1,所述当前图像块相对于所述第二参考图像的时域间隔t2,以及所述第i矢量,确定出第j矢量,其中,所述第j矢量与所述第i矢量的方向相反;i和j均为不大于N的正整数;
根据所述第二搜索基点和所述第j矢量确定出一个第四参考块。
13.如权利要求9或10所述的装置,其特征在于,所述映射单元具体用于:
根据所述任意一个第三参考块和所述第一搜索基点确定出第i矢量;
根据所述第i矢量,确定出第j矢量,其中,所述第j矢量与所述第i矢量等大反向;i和j均为不大于N的正整数;
根据所述第二搜索基点和所述第j矢量确定出一个第四参考块。
14.如权利要求9-13任一项所述的装置,其特征在于,所述计算单元具体用于:针对所述N个参考块组中的至少一个参考块组,将得到的第三参考块和第四参考块的像素值通过插值或移位提高到第一像素精度;并在所述第一像素精度下计算图像块匹配代价;
所述选择单元具体用于:将所述至少一个参考块组中首个出现的满足图像块匹配误差小于预设阈值的参考块组确定为所述目标参考块组。
15.如权利要求9-13任一项所述的装置,其特征在于,所述计算单元具体用于:将所述得到的第三参考块和第四参考块的像素值通过插值或移位提高到第一像素精度;针对所述N个参考块组中的每一个参考块组计算图像块匹配代价;
所述选择单元具体用于:将所述N个参考块组中图像块匹配误差最小的参考块组确定为所述目标参考块组。
16.如权利要求9-15任一项所述的装置,其特征在于,所述预测单元具体用于:
获取所述目标第三参考块在第一精度下的像素值predSamplesL0’[x][y];
获取所述目标第四参考块在第一精度下的像素值predSamplesL1’[x][y];
所述当前图像块的像素预测值predSamples’[x][y]=Clip3(0,(1<<bitDepth)-1,(predSamplesL0’[x][y]+predSamplesL1’[x][y]+offset2)>>shift2),其中,bitDepth为所述第二像素精度,Shift2为移位参数,offset2等于1<<(shift2-1)。
17.一种编码器,所述视频编码器用于编码图像块,其特征在于,包括:
如权利要求9至16任一项所述的图像预测装置,其中所述图像预测装置用于得到所述当前图像块的像素值的预测值;
编码重建模块,用于根据所述当前图像块的像素值的预测值得到所述当前图像块的重建像素值。
18.一种解码器,所述视频解码器用于解码图像块,其特征在于,包括:
如权利要求9至16任一项所述的图像预测装置,其中所述图像预测装置用于得到所述当前图像块的像素值的预测值;
解码重建模块,用于根据所述当前图像块的像素值的预测值得到所述当前图像块的重建像素值。
19.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储了程序代码,其中,所述程序代码包括用于执行如权利要求1-8任意一种所述方法的指令。
20.一种终端,其特征在于,所述终端包括存储器,处理器;
所述存储器中存储有程序指令,
所述处理器,用于调用所述程序指令,执行如权利要求1-8任意一种所述方法。
CN201711494258.1A 2017-12-31 2017-12-31 图像的预测方法、装置及编解码器 Active CN109996080B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711494258.1A CN109996080B (zh) 2017-12-31 2017-12-31 图像的预测方法、装置及编解码器
PCT/CN2018/120681 WO2019128716A1 (zh) 2017-12-31 2018-12-12 图像的预测方法、装置及编解码器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711494258.1A CN109996080B (zh) 2017-12-31 2017-12-31 图像的预测方法、装置及编解码器

Publications (2)

Publication Number Publication Date
CN109996080A true CN109996080A (zh) 2019-07-09
CN109996080B CN109996080B (zh) 2023-01-06

Family

ID=67066492

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711494258.1A Active CN109996080B (zh) 2017-12-31 2017-12-31 图像的预测方法、装置及编解码器

Country Status (2)

Country Link
CN (1) CN109996080B (zh)
WO (1) WO2019128716A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110992399A (zh) * 2019-11-11 2020-04-10 北京空间机电研究所 一种高精度目标大气扰动检出方法
WO2021056454A1 (zh) * 2019-09-27 2021-04-01 Oppo广东移动通信有限公司 当前块的预测方法及装置、设备、存储介质
CN113099240A (zh) * 2019-12-23 2021-07-09 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN113115052A (zh) * 2019-09-24 2021-07-13 Oppo广东移动通信有限公司 预测值的确定方法、编码器、解码器以及计算机存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116847088B (zh) * 2023-08-24 2024-04-05 深圳传音控股股份有限公司 图像处理方法、处理设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1525762A (zh) * 2003-09-12 2004-09-01 中国科学院计算技术研究所 一种用于视频编码的编码端/解码端双向预测方法
CN101198063A (zh) * 2006-12-05 2008-06-11 华为技术有限公司 编解码方法及装置、分像素插值处理方法及装置
CN103503458A (zh) * 2011-01-07 2014-01-08 诺基亚公司 视频编码中的运动预测
GB2521349A (en) * 2013-12-05 2015-06-24 Sony Corp Data encoding and decoding
WO2017057947A1 (ko) * 2015-10-01 2017-04-06 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1525762A (zh) * 2003-09-12 2004-09-01 中国科学院计算技术研究所 一种用于视频编码的编码端/解码端双向预测方法
CN101198063A (zh) * 2006-12-05 2008-06-11 华为技术有限公司 编解码方法及装置、分像素插值处理方法及装置
CN103503458A (zh) * 2011-01-07 2014-01-08 诺基亚公司 视频编码中的运动预测
GB2521349A (en) * 2013-12-05 2015-06-24 Sony Corp Data encoding and decoding
WO2017057947A1 (ko) * 2015-10-01 2017-04-06 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113115052A (zh) * 2019-09-24 2021-07-13 Oppo广东移动通信有限公司 预测值的确定方法、编码器、解码器以及计算机存储介质
CN113115052B (zh) * 2019-09-24 2023-02-24 Oppo广东移动通信有限公司 预测值的确定方法、编码器、解码器以及计算机存储介质
US11638014B2 (en) 2019-09-24 2023-04-25 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Methods for determining prediction value, encoder, and decoder
US11638013B2 (en) 2019-09-24 2023-04-25 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Methods for determining prediction value, encoder, and decoder
US11638015B2 (en) 2019-09-24 2023-04-25 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Methods for determining prediction value, encoder, and decoder
US11949886B2 (en) 2019-09-24 2024-04-02 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Methods for determining prediction value, encoder, and decoder
WO2021056454A1 (zh) * 2019-09-27 2021-04-01 Oppo广东移动通信有限公司 当前块的预测方法及装置、设备、存储介质
CN110992399A (zh) * 2019-11-11 2020-04-10 北京空间机电研究所 一种高精度目标大气扰动检出方法
CN113099240A (zh) * 2019-12-23 2021-07-09 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN113099240B (zh) * 2019-12-23 2022-05-31 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备

Also Published As

Publication number Publication date
CN109996080B (zh) 2023-01-06
WO2019128716A1 (zh) 2019-07-04

Similar Documents

Publication Publication Date Title
CN112005551B (zh) 一种视频图像预测方法及装置
CN109996080A (zh) 图像的预测方法、装置及编解码器
US11539975B2 (en) Motion vector prediction method based on affine motion model and device
US10582212B2 (en) Warped reference motion vectors for video compression
US20210321101A1 (en) Prediction mode determining method and apparatus, encoding device, and decoding device
CN110121073A (zh) 一种双向帧间预测方法及装置
CN111699688B (zh) 帧间预测的方法和装置
CN111107373A (zh) 基于仿射预测模式的帧间预测的方法及相关装置
JP2023179684A (ja) ピクチャ予測方法および装置、およびコンピュータ可読記憶媒体
CN109756739B (zh) 图像预测方法和装置
CN109756737A (zh) 图像预测方法和装置
JP2024037999A (ja) ビデオエンコーダ、ビデオデコーダ、及び対応する方法
CN111327907B (zh) 一种帧间预测的方法、装置、设备及存储介质
WO2019233423A1 (zh) 获取运动矢量的方法和装置
CN109905714A (zh) 帧间预测方法、装置及终端设备
CN111432219A (zh) 一种帧间预测方法及装置
EP3893505A1 (en) Method and device for determining prediction mode, coding device, and decoding device
CN111479111A (zh) 图像显示顺序的确定方法、装置和视频编解码设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant