CN109922348A - 图像编解码方法和装置 - Google Patents

图像编解码方法和装置 Download PDF

Info

Publication number
CN109922348A
CN109922348A CN201711326192.5A CN201711326192A CN109922348A CN 109922348 A CN109922348 A CN 109922348A CN 201711326192 A CN201711326192 A CN 201711326192A CN 109922348 A CN109922348 A CN 109922348A
Authority
CN
China
Prior art keywords
transformation kernel
transformation
intra prediction
group
prediction mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711326192.5A
Other languages
English (en)
Other versions
CN109922348B (zh
Inventor
朱策
毛敏
林永兵
郑建铧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201711326192.5A priority Critical patent/CN109922348B/zh
Priority to PCT/CN2018/120427 priority patent/WO2019114713A1/zh
Publication of CN109922348A publication Critical patent/CN109922348A/zh
Application granted granted Critical
Publication of CN109922348B publication Critical patent/CN109922348B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请提供了图像编解码的方法和装置,该编码方法包括:使用目标亮度帧内预测模式对待编码块的亮度分量进行帧内预测,以得到亮度分量残差块;根据预置的多个亮度帧内预测模式和多个变换核组之间的第一映射关系以及该目标亮度帧内预测模式,确定第一变换核组,其中,该第一映射关系由根据该多个亮度帧内预测模式获得的亮度分量残差块的预测特性确定;使用该第一变换核组对该亮度分量残差块进行变换,以得到该亮度分量残差块的第一变换系数。本申请实施例的编码方法,通过第一映射关系确定亮度分量残差块的变换核组,有助于减少多个变换的次数比特开销,从而有助于降低帧内变换的复杂度。

Description

图像编解码方法和装置
技术领域
本申请涉及图像处理领域,并且更具体地,涉及一种图像编解码方法和装置。
背景技术
H.266是高效视频编码标准(High Efficiency Video Coding,HEVC)的下一代国际视频编码标准,依旧沿用HEVC的混合编码框架。相较于HEVC,H.266引入了四叉树加二叉树(Quadtree Plus Binary Tree,QTBT)结构、交叉分量预测(Cross Component LinearModel,CCLM)、自适应多核变换(Adaptive Multiple Transform,AMT)等技术,进一步提升了编码效率。
变换是视频编码过程中的一个重要环节,通过对残差块进行水平以及垂直方向的变换,可以将编码块的能量集中到当前块的左上角,因此编码器只需要量化左上角的某些系数并传输到解码端即可,进而提升压缩效率。
AMT技术以解决帧内预测不准确导致残差较大的不足。该技术引入各种新的变换核,例如DCT8,DST7,DST1,DCT5等,并且通过组合成各种变换对,例如(DST7,DCT8)、(DCT8,DCT8)等,对当前块的预测残差进行变换,最后根据率失真代价(Rate Distortion Cost,RDCost)函数选择最优的变换对,因此需要做多次的率失真优化(Rate DistortionOptimization)的过程。
但是,编码端在进行多次率失真优化(Rate-distortion optimization,RDO)过程带来性能的同时,编码复杂度也将大大提升。
发明内容
本申请提供一种图像编解码方法和装置,通过第一映射关系确定变换核组,有助于减少多个变换的次数比特开销,从而有助于降低帧内变换的复杂度。
第一方面,提供了一种图像编码方法,该编码方法包括:使用目标亮度帧内预测模式对待编码块的亮度分量进行帧内预测,以得到亮度分量残差块;根据预置的多个亮度帧内预测模式和多个变换核组之间的第一映射关系以及该目标亮度帧内预测模式,确定第一变换核组,其中,该第一映射关系由根据该多个亮度帧内预测模式获得的亮度分量残差块的预测特性确定;使用该第一变换核组对该亮度分量残差块进行变换,以得到该亮度分量残差块的第一变换系数。
在一些可能的实现方式中,该多个亮度帧内预测模式包括对角模式,该对角模式的预测特性从左上角至右下角逐渐上升。
在一些可能的实现方式中,该多个亮度帧内预测模式包括垂直模式,该垂直模式在垂直方向的预测特性从上至下逐渐上升。
在一些可能的实现方式中,该多个亮度帧内预测模式包括水平模式,该水平模式在水平方向的预测特性从左至右逐渐上升。
本申请实施例的编码方法,通过第一映射关系确定亮度分量残差块的变换核组,有助于减少多个变换的次数比特开销,从而有助于降低帧内变换的复杂度,同时,通过亮度分量残差块的预测特性确定变换核,有助于提高编码性能。
结合第一方面,在第一方面的某些可能的实现方式中,该根据预置的多个亮度帧内预测模式和多个变换核组之间的第一映射关系以及该目标亮度帧内预测模式,确定第一变换核组,包括:根据该第一映射关系以及该目标亮度帧内预测模式,确定第二变换核组;根据预置的至少一个该亮度帧内预测模式和至少一个该变换核组之间的第二映射关系,确定第三变换核组;分别使用该第二变换核组和该第三变换核组对该亮度分量残差块进行编码以分别得到该第二变换核组和该第三变换核组的率失真代价值;选择该第二变换核组和该第三变换核组中率失真代价值较小的一个,作为该第一变换核组。
本申请实施例的编码方法,通过第一映射关系和第二映射关系确定亮度分量残差块的变换核组,有助于减少多个变换的次数比特开销,从而有助于降低帧内变换的复杂度。
结合第一方面,在第一方面的某些可能的实现方式中,该方法还包括:将指示信息编入码流,该指示信息用于指示该第二变换核组和该第三变换核组中被选择作为该第一变换核组的一个。
结合第一方面,在第一方面的某些可能的实现方式中,该方法还包括:使用目标色度帧内预测模式对待编码块的色度分量进行帧内预测,以得到色度分量残差块;根据预置的多个色度帧内预测模式和多个该变换核组之间的第三映射关系、该目标色度帧内预测模式以及该色度分量残差块的尺寸,确定第四变换核组;使用该第四变换核组对该色度分量残差块进行变换,以得到该色度分量残差块的第二变换系数。
本申请实施例的编码方法,通过单独考虑色度分量残差块的帧内预测模式与变换核的对应关系,有助于提高编码性能。
结合第一方面,在第一方面的某些可能的实现方式中,该变换核组包括水平方向的变换核和垂直方向的变换核,在该第一映射关系中,具有预置位置关系的第一亮度帧内预测模式和第二亮度帧内预测模式分别映射第五变换核组和第六变换核组,其中,该第五变换核组的水平方向的变换核和该第六变换核组的水平方向的变换核不同,和/或,该第五变换核组的垂直方向的变换核和该第六变换核组的垂直方向的变换核不同。在一些可能的实现方式中,该第一亮度帧内预测模式对应的水平方向的变换核为该第二亮度帧内预测模式对应的垂直方向的变换核;和/或该第一亮度帧内预测模式的垂直方向的变换核为该第二亮度帧内预测模式对应的水平方向的变换核。
在一些可能的实现方式中,该第一亮度帧内预测模式集合可以包括模式2~30中帧内预测模式为奇数的帧内预测模式和模式38~66中帧内预测模式为偶数的帧内预测模式,该第二亮度帧内预测模式集合可以包括模式2~30中帧内预测模式为偶数的帧内预测模式和模式38~66中帧内预测模式为奇数的帧内预测模式。
结合第一方面,在第一方面的某些可能的实现方式中,该预置位置关系为相邻预测方向。
本申请实施例的编码方法,通过让相邻帧内预测模式选取不同的水平方向或者垂直方向的变换核,可以在不增加编码复杂度的情况下,进一步提升编码性能。
结合第一方面,在第一方面的某些可能的实现方式中,该多个亮度帧内预测模式,包括第一预测模式集合和第二预测模式集合,该第一预测模式集合包括水平预测模式和在预测方向上和该水平预测模式相邻的预置个数的亮度帧内预测模式,该第二预测模式集合包括垂直预测模式和在预测方向上和该垂直预测模式相邻的预置个数的亮度帧内预测模式,在该第一映射关系中,该第一预测模式集合中的任一亮度帧内预测模式和该第二预测模式集合中的任一亮度帧内预测模式分别映射第七变换核组和第八变换核组,其中,该第七变换核组的水平方向的变换核和该第八变换核组的水平方向的变换核不同,和/或,该第七变换核组的垂直方向的变换核和该第八变换核组的垂直方向的变换核不同。
结合第一方面,在第一方面的某些可能的实现方式中,该多个亮度帧内预测模式,还包括第三预测模式集合,该第三预测模式集合包括45度预测模式和在预测方向上和该45度预测模式相邻的预置个数的亮度帧内预测模式,在该第一映射关系中,该第三预测模式集合中的任一亮度帧内预测模式映射第九变换核组,其中,该第九变换核组的水平方向的变换核和垂直方向的变换核相同。
结合第一方面,在第一方面的某些可能的实现方式中,在该第一映射关系中,非角度模式对应至少一个该变换核组,其中,该非角度模式包括平面Planar模式和直流DC模式。
结合第一方面,在第一方面的某些可能的实现方式中,该第一变换核组中水平方向的变换核为离散余弦变换族中的第二类型变换核DCT2或者离散正弦变换中的第七类型变换核DST7;和/或该第一变换核组中垂直方向的变换核为DCT2或者DST7。
本申请实施例的编码方法,水平方向以及垂直方向的变换核从DCT2或DST7中选取,极大地减少了多核变换的种类,进而有助于减少相应的内存分配。
在一些可能的实现方式中,该第一变换核组中水平方向的变换核为DCT2或者离散正弦变换中的第四类型变换核DST4;和/或该第一变换核组中垂直方向的变换核为DCT2或者DST4。
结合第一方面,在第一方面的某些可能的实现方式中,在该第一映射关系中,在该第一映射关系中,该直流模式对应的水平方向和垂直方向的变换核为DCT2;和/或该平面模式对应的水平方向和垂直方向的变换核为DST7。
结合第一方面,在第一方面的某些可能的实现方式中,该第一映射关系包括角度模式与变化核的对应关系,其中,该角度模式包括对角模式、水平模式和垂直模式,该对角模式对应的水平方向和垂直方向的变换核DST7是根据该对角模式的预测特性确定的。
在一些可能的实现方式中,该水平模式对应的水平方向的变换核DST7是根据该水平模式的预测特性确定。
在一些可能的实现方式中,该垂直模式对应的水平方向的变换核DST7是根据该垂直模式的预测特性确定。
本申请实施例的编码方法,通过考虑对角模式、水平模式以及垂直模式的预测特性的不同,分别对不同的帧内预测模式设计不同的变换核,有助于提高编码性能。
结合第一方面,在第一方面的某些可能的实现方式中,在该第三映射关系中,该色度帧内预测模式包括线性模型LM模式,该LM模式对应的水平方向和垂直方向的变换核为DST7。
第二方面,提供了一种图像解码方法,该解码方法包括:解析码流以获得第一变换系数和目标亮度帧内预测模式;根据预置的多个亮度帧内预测模式和多个变换核组之间的第一映射关系以及该目标亮度帧内预测模式,确定第一反变换核组,其中,该第一映射关系由根据该多个亮度帧内预测模式获得的亮度分量残差块的预测特性确定;使用该第一反变换核组对该第一变换系数进行反变换,以得到该亮度分量残差块。
在一些可能的实现方式中,该多个亮度帧内预测模式包括对角模式,该对角模式的预测特性从左上角至右下角逐渐上升。
在一些可能的实现方式中,该多个亮度帧内预测模式包括垂直模式,该垂直模式在垂直方向的预测特性从上至下逐渐上升。
在一些可能的实现方式中,该多个亮度帧内预测模式包括水平模式,该水平模式在水平方向的预测特性从左至右逐渐上升。
结合第二方面,在第二方面的某些可能的实现方式中,该方法还包括:从该码流中解析指示信息,该指示信息用于指示将预置的至少一个该亮度帧内预测模式和至少一个该变换核组之间的第四映射关系和预置的至少一个该亮度帧内预测模式和至少一个该变换核组之间的第二映射关系中的一者确定为该第一映射关系;对应的,该根据预置的多个亮度帧内预测模式和多个变换核组之间的第一映射关系以及该目标亮度帧内预测模式,确定第一反变换核组,包括:根据该指示信息,从该第四映射关系和该第二映射关系中确定该第一映射关系;根据该第一映射关系以及该目标亮度帧内预测模式,确定该第一反变换核组。
结合第二方面,在第二方面的某些可能的实现方式中,该方法还包括:解析码流以获得第二变换系数和目标色度帧内预测模式;根据预置的多个色度帧内预测模式和多个变换核组之间的第三映射关系、该目标色度帧内预测模式以及色度分量残差块的尺寸,确定第四反变换核组;使用该第四反变换核组对该第二变换系数进行反变换,以得到该色度分量残差块。
结合第二方面,在第二方面的某些可能的实现方式中,该变换核组包括水平方向的变换核和垂直方向的变换核,在该第一映射关系中,具有预置位置关系的第一亮度帧内预测模式和第二亮度帧内预测模式分别映射第五变换核组和第六变换核组,其中,该第五变换核组的水平方向的变换核和该第六变换核组的水平方向的变换核不同,和/或,该第五变换核组的垂直方向的变换核和该第六变换核组的垂直方向的变换核不同。
在一些可能的实现方式中,该第一亮度帧内预测模式对应的水平方向的变换核为该第二亮度帧内预测模式对应的垂直方向的变换核;和/或该第一亮度帧内预测模式的垂直方向的变换核为该第二亮度帧内预测模式对应的水平方向的变换核。
在一些可能的实现方式中,该第一亮度帧内预测模式集合可以包括模式2~30中帧内预测模式为奇数的帧内预测模式和模式38~66中帧内预测模式为偶数的帧内预测模式,该第二亮度帧内预测模式集合可以包括模式2~30中帧内预测模式为偶数的帧内预测模式和模式38~66中帧内预测模式为奇数的帧内预测模式。
结合第二方面,在第二方面的某些可能的实现方式中,该预置位置关系为相邻预测方向。
结合第二方面,在第二方面的某些可能的实现方式中,该多个亮度帧内预测模式,包括第一预测模式集合和第二预测模式集合,该第一预测模式集合包括水平预测模式和在预测方向上和该水平预测模式相邻的预置个数的亮度帧内预测模式,该第二预测模式集合包括垂直预测模式和在预测方向上和该垂直预测模式相邻的预置个数的亮度帧内预测模式,在该第一映射关系中,该第一预测模式集合中的任一亮度帧内预测模式和该第二预测模式集合中的任一亮度帧内预测模式分别映射第七变换核组和第八变换核组,其中,该第七变换核组的水平方向的变换核和该第八变换核组的水平方向的变换核不同,和/或,该第七变换核组的垂直方向的变换核和该第八变换核组的垂直方向的变换核不同。
结合第二方面,在第二方面的某些可能的实现方式中,该多个亮度帧内预测模式,还包括第三预测模式集合,该第三预测模式集合包括45度预测模式和在预测方向上和该45度预测模式相邻的预置个数的亮度帧内预测模式,在该第一映射关系中,该第三预测模式集合中的任一亮度帧内预测模式映射第九变换核组,其中,该第九变换核组的水平方向的变换核和垂直方向的变换核相同。
结合第二方面,在第二方面的某些可能的实现方式中,在该第一映射关系中,非角度模式对应至少一个该变换核组,其中,该非角度模式包括平面Planar模式和直流DC模式。
结合第二方面,在第二方面的某些可能的实现方式中,该第一变换核组中水平方向的变换核为离散余弦变换族中的第二类型变换核DCT2或者离散正弦变换中的第七类型变换核DST7;和/或该第一变换核组中垂直方向的变换核为DCT2或者DST7。
结合第二方面,在第二方面的某些可能的实现方式中,在该第一映射关系中,该直流模式对应的水平方向和垂直方向的变换核为DCT2;和/或该平面模式对应的水平方向和垂直方向的变换核为DST7。
结合第二方面,在第二方面的某些可能的实现方式中,该第一映射关系包括角度模式与变化核的对应关系,其中,该角度模式包括对角模式、水平模式和垂直模式,该对角模式对应的水平方向和垂直方向的变换核DST7是根据该对角模式的预测特性确定的。
在一些可能的实现方式中,该水平模式对应的水平方向的变换核DST7是根据该水平模式的预测特性确定。
在一些可能的实现方式中,该垂直模式对应的水平方向的变换核DST7是根据该垂直模式的预测特性确定。
结合第二方面,在第二方面的某些可能的实现方式中,在该第三映射关系中,该色度帧内预测模式包括线性模型LM模式,该LM模式对应的水平方向和垂直方向的变换核为DST7。
第三方面,提供了一种编码装置,该装置包括用于执行第一方面或其各种实现方式中的方法的模块。
第四方面,提供了一种解码装置,该装置包括用于执行第二方面或其各种实现方式中的方法的模块。
第五方面,提供一种编码装置,该装置包括:存储介质,以及中央处理器,所述存储介质中存储有计算机可执行程序,所述中央处理器与所述存储介质连接,并执行所述计算机可执行程序以实现所述第一方面或其各种实现方式中的方法。
第六方面,提供一种解码装置,该装置包括:存储介质,以及中央处理器,所述存储介质中存储有计算机可执行程序,所述中央处理器与所述存储介质连接,并执行所述计算机可执行程序以实现所述第二方面或其各种实现方式中的方法。
应理解,在上述第五方面或第六方面中,存储介质可以是非易失性存储介质。
第七方面,提供一种计算机可读介质,所述计算机可读介质存储用于设备执行的程序代码,所述程序代码包括用于执行第一方面或其各种实现方式中的方法的指令。
第八方面,提供一种计算机可读介质,所述计算机可读介质存储用于设备执行的程序代码,所述程序代码包括用于执行第二方面或其各种实现方式中的方法的指令。
应理解,本发明第三至第八方面所提供的技术方案分别与第一方面和第二方面所提供的技术方案,技术手段一致,技术的有益效果类似,不再赘述。
在一种可行的实施方式中,提供了一种图像解码方法,该解码方法包括:解析码流以获得第一变换系数和目标亮度帧内预测模式;根据预置的多个亮度帧内预测模式和多个变换核组之间的第一映射关系以及该目标亮度帧内预测模式,确定第一反变换核组;使用该第一反变换核组对该第一变换系数进行反变换,以得到该亮度分量残差块,其中,在第一映射关系中,平面模式对应水平方向变换核和垂直方向变换核均为DST7的变换核组。
在一种可行的实施方式中,提供了一种图像解码方法,该解码方法包括:解析码流以获得第一变换系数和目标亮度帧内预测模式;根据预置的多个亮度帧内预测模式和多个变换核组之间的第一映射关系以及该目标亮度帧内预测模式,确定第一反变换核组;使用该第一反变换核组对该第一变换系数进行反变换,以得到该亮度分量残差块,其中,在第一映射关系中,直流模式对应水平方向变换核和垂直方向变换核均为DCT2的变换核组。
在一种可行的实施方式中,提供了一种图像解码方法,该解码方法包括:解析码流以获得第一变换系数和目标亮度帧内预测模式;根据预置的多个亮度帧内预测模式和多个变换核组之间的第一映射关系以及该目标亮度帧内预测模式,确定第一反变换核组;使用该第一反变换核组对该第一变换系数进行反变换,以得到该亮度分量残差块,其中,在第一映射关系中,水平模式对应水平方向变换核为DST7,对应垂直方向变换核为DCT2的变换核组。
在一种可行的实施方式中,提供了一种图像解码方法,该解码方法包括:解析码流以获得第一变换系数和目标亮度帧内预测模式;根据预置的多个亮度帧内预测模式和多个变换核组之间的第一映射关系以及该目标亮度帧内预测模式,确定第一反变换核组;使用该第一反变换核组对该第一变换系数进行反变换,以得到该亮度分量残差块,其中,在第一映射关系中,垂直模式对应水平方向变换核为DCT2,对应垂直方向变换核为DST7的变换核组。
在一种可行的实施方式中,提供了一种图像解码方法,该解码方法包括:解析码流以获得第一变换系数和目标亮度帧内预测模式;根据预置的多个亮度帧内预测模式和多个变换核组之间的第一映射关系以及该目标亮度帧内预测模式,确定第一反变换核组;使用该第一反变换核组对该第一变换系数进行反变换,以得到该亮度分量残差块,其中,在第一映射关系中,对角模式对应水平方向变换核和垂直方向变换核均为DST7的变换核组。
附图说明
图1是本申请实施例的图像编码过程的示意图。
图2是一种帧内预测模式划分的示意图。
图3是本申请实施例的图像编码方法的示意性流程图。
图4是根据表1确定的亮度分量残差块在各个模式上的示意图。
图5是根据表2确定的亮度分量残差块在各个模式上的示意图。
图6是根据表3确定的亮度分量残差块在各个模式上的示意图。
图7是本申请实施例的图像编码方法的另一示意性流程图。
图8是本申请实施例的图像编码方法的再一示意性流程图。
图9是根据表1和表6确定的亮度分量残差块在各个模式上的示意图。
图10是根据表3和表6确定的亮度分量残差块在各个模式上的示意图。
图11是根据表1和表7确定的亮度分量残差块在各个模式上的示意图。
图12是根据表3和表7确定的亮度分量残差块在各个模式上的示意图。
图13是根据表3和表8确定的亮度分量残差块在各个模式上的示意图。
图14是本申请实施例的图像编码方法的再一示意性流程图。
图15是本申请实施例的图像解码方法的示意性流程图。
图16是本申请实施例的图像解码方法的另一示意性流程图。
图17是本申请实施例的图像解码方法的再一示意性流程图。
图18是本申请实施例的图像编码装置的示意性框图。
图19是本申请实施例的图像解码装置的示意性框图。
图20是本申请实施例的编解码装置。
图21是本申请实施例的另一编解码装置。
图22是本申请实施例的视频编解码系统的示意性框图。
具体实施方式
下面将结合附图,对本申请中的技术方案进行描述。
为了更好地理解本申请实施例的技术方案,下面首先介绍一下本申请实施例涉及的图像编码过程。
图1是本申请实施例的图像编码过程的示意图,该过程主要包括帧内预测(IntraPrediction)、帧间预测(Inter Prediction)、变换(Transform)、量化(Quantization)、熵编码(Entropy encode)、环路内滤波(In-loop Filtering)等环节。
首先将图像划分为块之后进行帧内和帧间预测,在得到残差之后进行变换量化,最终进行熵编码并输出码流。这里块为像素点组成的M×N大小的阵列(M不一定等于N),并且已知各个像素点位置的像素值。
帧内预测利用当前图像内已重建区域内像素点的像素值根据相应的帧内预测模式对当前块内像素点的像素值进行预测。
帧间预测是在已重建的图像中,为当前图像中的当前编码块寻找匹配的参考块,将参考块中的像素点的像素值作为当前编码块中像素点的像素值的预测信息或者预测值(以下不再区分信息和值)(此过程称为运动估计(Motion estimation,ME))(如图1所示),并需要传输指向参考块的运动矢量(Motion Vector,MV)(运动矢量信息表示参考块位置相比于当前块位置的位置偏移),以及参考块所在图像的指示信息等。
运动估计过程需要为当前块在参考图像中尝试多个参考块,最终使用哪一个或者哪几个参考块用作预测则使用RDO或者其他方法确定。
利用帧内或者帧间预测得到预测信息之后,当前编码块内像素点的像素值减去对应的预测信息便得到残差信息,然后利用离散余弦变换(Discrete CosineTransformation,DCT)和离散正弦变换(Discrete Sine Transform,DST)等方法对残差信息进行变换,再使用量化熵编码得到码流。预测信号加上重建残差信号之后需进一步进行滤波操作,进而得到重建信号,并将其作为后续编码的参考信号。
解码则相当于编码的逆过程。如图1所示,首先利用熵解码反量化反变换得到残差信息,解码码流确定当前块使用的是帧内还是帧间预测。
如果是帧内编码,则利用周围已重建区域内像素点的像素值按照所使用的帧内预测方法构建预测信息。
如果是帧间编码,则需要解析出运动信息,并使用所解析出的运动信息在已重建的图像中确定参考块,并将块内像素点的像素值作为预测信息(此过程称为运动补偿(Motion Compensation,MC))。使用预测信息加上残差信息经过滤波操作之后便可以得到重建信息。
应理解,以上仅为对一般图像编解码器的解释,实际中可能有所不同。
还应理解,本申请实施例的技术方案主要用于图像编解码器中的变换模块,存在于大部分图像编解码器中,例如H.263、H.264、H.265、H.266的编码过程中,如图1所示。
还应理解,在编码端的变换环节,待编码块的残差是已知的。在解码端的反变换环节,待解码的反变换核以及反变换系数是已知的。
图2示出了一种帧内预测模式划分的示意图,如图2所示,为了更好的呈现自然视频中更精细的边缘方向,H.266将帧内预测模式从HEVC中定义的33扩展到65。平面模式(Planar)和直流模式(DC)保持不变,且定义数字18表示水平模式(Hor)、数字50表示垂直模式(Ver)、数字34表示对角模式(Dia),vDia表示模式66。
图3示出了根据本申请实施例的图像编码方法100的示意性流程图,该方法100可以由编码装置执行,更具体地,可以由编码装置中的变换模块执行,如图3所示,该方法100包括:
S110,使用目标亮度帧内预测模式对待编码块的亮度分量进行帧内预测,以得到亮度分量残差块。
应理解,本申请实施例的亮度(Luma)分量残差块是由编码装置使用目标亮度帧内预测模式对待编码的亮度分量进行帧内预测得到的,本申请并不限于此。
还应理解,本申请实施例的亮度(Luma)分量残差块的尺寸可以为任意尺寸,例如4×4~64×64。
S120,根据预置的多个亮度帧内预测模式和多个变换核组之间的第一映射关系以及该目标亮度帧内预测模式,确定第一变换核组,其中,该第一映射关系由根据该多个亮度帧内预测模式获得的亮度分量残差块的预测特性确定。
其中,预测特性是指预测误差(或者预测精度)的变化情况。预测误差与当前像素和参考像素的距离有关,距离越大预测误差越大。
例如,对于水平方向预测,其预测特性表现为从左到右预测误差增大,从上到下预测误差不变;此时残差块水平方向变换选取DST7(因为DST7变换矩阵的第一行/列呈现从小到大的变换规律),垂直方向变换选择DCT2(因为DCT2变换矩阵的第一行/列系数相同)。
又例如,对于垂直方向预测,其预测特性表现为从左到右预测误差不变,从上到下预测误差增大;此时残差块水平方向变换选择DCT2,垂直方向变换选择DST7。
再例如,对于从左上到右下方向预测,其预测特性表现为从左到右预测误差增大,从上到下预测误差增大;此时残差块水平方向变换选择DST7,垂直方向变换选择DST7。
具体而言,编码装置确定了亮度分量残差块后,根据预置的多个亮度帧内预测模式和多个变换核组之间的第一映射关系和该目标亮度帧内预测模式,确定该亮度分量残差块对应的第一变换核组,其中,该第一映射关系由根据该多个亮度帧内预测模式获得的亮度分量残差块的预测特性确定,该第一变换核组包括该亮度分量残差块水平方向的变换核和该亮度分量残差块垂直方向的变换核。
可选地,该第一映射关系包括角度模式与变化核的对应关系,其中,该角度模式包括对角模式、水平模式和垂直模式,
该对角模式对应的水平方向和垂直方向的变换核是根据该对角模式的预测特性确定的,该对角模式的预测特性从左上角至右下角逐渐上升;
该水平模式对应的水平方向的变换核是根据该水平模式的预测特性确定,该垂直模式在垂直方向上的预测特性从上至下逐渐上升;
该垂直模式对应的水平方向的变换核是根据该垂直模式的预测特性确定,该水平模式的预测特性从左至右逐渐上升。
本申请实施例的第一映射关系,针对不同的帧内预测模式具有不同的预测特性的特点,为不同的帧内预测模式设计了不同了变换核,例如,在考虑对角模式时,由于对角模式从左上角至右下角的过程中,亮度分量的残差呈逐渐上升的趋势,则可以使用具有相同特性的变换核(如DST7),这样可以提高编码的性能。
应理解,变换核DST7为一个矩阵,该矩阵中第一行从左到右数值逐渐变大,该矩阵第一列的数据从上到下数值也是逐渐变大,DST7适合处理残差在某个方向上逐渐变大的情况,DST7与对角模式的残差特性相匹配,因此,可以选取对角模式对应的水平方向和垂直方向的变换核为DST7。
又例如,在考虑垂直模式时,由于垂直模式在垂直方向由上至下的过程中,亮度分量的预测特性呈逐渐上升的趋势,则可以让该垂直模式对应的垂直方向的变换核选取DST7。
再例如,在考虑水平模式时,由于水平模式在水平方向由左至右的过程中,亮度分量的预测特性呈逐渐上升的趋势,则可以让该水平模式对应的水平方向的变换核选取DST7。
应理解,DST7与水平模式水平方向上的残差特性相匹配,DST7与垂直模式垂直方向上的残差特性相匹配,因此,可以选取水平模式对应的水平方向的变换核为DST7,选取垂直模式对应的垂直方向的变换核为DST7。
还应理解,以上仅仅是以对角模式、水平模式和垂直模式的预测特性为例进行了说明,本申请实施例的其他帧内预测模式也考虑了其自身的预测特性,在此不逐一列举。
还应理解,在一种可行的实施方式中,上述的预测特性指在指定的帧内预测模式下生成的残差块中残差值所呈现出的分布,比如对角模式的预测特性,具体指待编码块通过对角模式的帧内预测所生成的残差块中残差值的分布。此外,预测特性还可以指预测模式作用于残差块的其他性质,不做限定。
可选地,该第一变换核组中水平方向的变换核为离散余弦变换族中的第二类型变换核DCT2或者离散正弦变换中的第七类型变换核DST7;和/或
该第一变换核组中垂直方向的变换核为DCT2或者DST7。
本申请实施例的图像编码方法,变换核只采用DCT2或者DST7,减少了变换核的种类,从而有助于减少相应的内存分配。
可选地,该多个亮度帧内预测模式,包括第一预测模式集合和第二预测模式集合,该第一预测模式集合包括水平预测模式和在预测方向上和该水平预测模式相邻的预置个数的亮度帧内预测模式,该第二预测模式集合包括垂直预测模式和在预测方向上和该垂直预测模式相邻的预置个数的亮度帧内预测模式,在该第一映射关系中,该第一预测模式集合中的任一亮度帧内预测模式和该第二预测模式集合中的任一亮度帧内预测模式分别映射第七变换核组和第八变换核组,其中,
该第七变换核组的水平方向的变换核和该第八变换核组的水平方向的变换核不同,和/或,
该第七变换核组的垂直方向的变换核和该第八变换核组的垂直方向的变换核不同。
该第一映射关系可以如表1所示,表1示出了根据本申请实施例的一种亮度分量残差块和变换核的映射关系,结合变换核的特点选择DCT/DST变换。
表1亮度分量残差块和变换核的映射关系
(horT,verT) mode
(DST7,DST7) Planar
(DCT2,DCT2) DC
(DST7,DCT2) mode=[2~30]
(DST7,DST7) mode=[31~37]
(DCT2,DST7) mode=[38~66]
图4示出了根据表1确定的亮度分量残差块在各个模式上的示意图。
例如,该第一预测模式集合为帧内预测模式2~30,该第二预测模式集合为帧内预测模式38~66,该第一预测模式集合中的任一亮度帧内预测模式映射第七变换核组(DST7,DCT2),该第二预测模式集合中的任一亮度帧内预测模式映射第八变换核组(DCT2,DST7),该第七变换核组水平方向的变换核为该第八变换核组垂直方向的变换核,该第七变换核组垂直方向的变换核为该第八变换核组水平方向的变换核。
应理解,表1中的verT表示该亮度分量残差块的垂直方向的变换核,horT表示该亮度分量残差块的水平方向的变换核,mode表示帧内预测模式,Planar模式表示帧内预测模式0,DC模式表示帧内预测模式1。
还应理解,本申请实施例中主要以H.266举例说明,并不代表本申请实施例的方法仅仅用于H.266,实际应用中可以根据具体情况参考本申请实施例进行改进。
还应理解,表1中的DST7还可以为DST4。
例如,编码装置在确定该亮度残差块的帧内预测模式为2时,则根据该第一映射关系确定该第一变换核组,该第一变换核中该亮度分量残差块水平方向的变换核为DST7,该亮度分量残差块垂直方向的变换核为DCT2。
应理解,本申请实施例中帧内预测模式包括角度模式和非角度模式,其中,平面模式(Planar)和直流模式(DC)模式为非角度模式,模式2~66为角度模式。
可选地,该多个亮度帧内预测模式,还包括第三预测模式集合,该第三预测模式集合包括45度预测模式和在预测方向上和该45度预测模式相邻的预置个数的亮度帧内预测模式,在该第一映射关系中,该第三预测模式集合中的任一亮度帧内预测模式映射第九变换核组,其中,该第九变换核组的水平方向的变换核和垂直方向的变换核相同。
应理解,该第三预测模式集合可以为帧内预测模式31~37,如表1所示,帧内预测模式31~37中任意一个帧内预测模式对应的水平方向和垂直方向的变换核相同。
还应理解,45度预测模式为对角模式(帧内预测模式34)。
该第一映射关系还可以如表2所示,表2示出了根据本申请实施例的另一种亮度分量残差块和变换核的映射关系,相比于表1,增加考虑了亮度分量残差块垂直方向(ver,50)以及水平方向(hor,18)的预测特性差异,结合变换核的特点选择DCT/DST变换。
表2亮度分量残差块和变换核的映射关系
(horT,verT) mode
(DST7,DST7) Planar
(DCT2,DCT2) DC
(DST7,DCT2) mode=[2~16]
(DCT2,DST7) mode=[17~19]
(DST7,DCT2) mode=[20~30]
(DST7,DST7) mode=[31~37]
(DCT2,DST7) mode=[38~48]
(DST7,DCT2) mode=[49~51]
(DCT2,DST7) mode=[52~66]
例如,该第一预测模式集合为帧内预测模式17~19,该第二预测模式集合为帧内预测模式49~51,由表2可以看出,模式17~19中任意一个帧内预测模式对应的水平方向的变换核和模式49~51中任意一个帧内预测模式对应的水平方向的变换核不同,并且,模式17~19中任意一个帧内预测模式对应的垂直方向的变换核和模式49~51中任意一个帧内预测模式对应的垂直方向的变换核不同。
图5示出了根据表2确定的亮度分量残差块在各个模式上的示意图。
应理解,表2中的verT表示该亮度分量残差块的垂直方向的变换核,horT表示该亮度分量残差块的水平方向的变换核,mode表示帧内预测模式,Planar模式表示帧内预测模式0,DC模式表示帧内预测模式1。
还应理解,表2仅仅以帧内预测模式17~19和帧内预测模式49~51为例进行说明,实际应用过程中,还可以针对不同亮度分量残差块垂直方向以及水平方向上更大或者更小的范围进行实施,例如,可以针对帧内预测模式16~20和帧内预测模式48~52进行实施。
还应理解,当帧内预测模式17~19中任意一个帧内预测模式对应的垂直方向的变换核为DST7,水平方向的变换核为DCT2时,帧内预测模式49~51中任意一个帧内预测模式对应的垂直方向的变换核可以为DCT2,水平方向的变换核可以为DST7;
还可以是,帧内预测模式49~51中任意一个帧内预测模式对应的垂直方向的变换核可以为DCT2,水平方向的变换核可以为DCT2;
还可以是,帧内预测模式49~51中任意一个帧内预测模式对应的垂直方向的变换核可以为DST7,水平方向的变换核可以为DST7,本申请并不限于此。
可选地,该变换核组包括水平方向的变换核和垂直方向的变换核,在该第一映射关系中,具有预置位置关系的第一亮度帧内预测模式和第二亮度帧内预测模式分别映射第五变换核组和第六变换核组,其中,
该第五变换核组的水平方向的变换核和该第六变换核组的水平方向的变换核不同,和/或,
该第五变换核组的垂直方向的变换核和该第六变换核组的垂直方向的变换核不同。
可选地,该预置位置关系为相邻预测方向。
该第一映射关系还可以如表3所示,表3示出了根据本申请实施例的再一种亮度分量残差块和变换核的映射关系,相比于表1,将亮度分量残差块在相邻的角度模式选取的变换核进行交换,例如,模式20对应的变换核组为(DST7,DCT2),模式21对应的变换核组为(DCT2,DST7)。
表3亮度分量残差块和变换核的映射关系
(horT,verT) mode
(DST7,DST7) Planar
(DCT2,DCT2) DC
(DCT2,DST7) mode=[2~30]&&mode is odd
(DST7,DCT2) mode=[2~30]&&mode is even
(DST7,DST7) mode=[31~37]
(DST7,DCT2) mode=[38~66]&&mode is odd
(DCT2,DST7) mode=[38~66]&&mode is even
图6示出了根据表3确定的亮度分量残差块在各个模式上的示意图。
应理解,表3中的verT表示该亮度分量残差块的垂直方向的变换核,horT表示该亮度分量残差块的水平方向的变换核,mode表示帧内预测模式,Planar模式表示帧内预测模式0,DC模式表示帧内预测模式1,odd表示奇数,even表示偶数。
还应理解,该第一亮度帧内预测模式和第二亮度帧内预测模式可以根据帧内预测模式的奇偶特性进行分类,还可以根据帧内预测模式的间隔个数进行分类。
例如,该第一亮度帧内预测模式可以为模式2~30中帧内预测模式为奇数的帧内预测模式和模式38~66中帧内预测模式为偶数的帧内预测模式中的任意一个,该第二亮度帧内预测模式可以为模式2~30中帧内预测模式为偶数的帧内预测模式和模式38~66中帧内预测模式为奇数的帧内预测模式中的任意一个。
还应理解,上述仅仅该第一亮度帧内预测模式和该第二亮度帧内预测模式相邻进行了举例,例如,将帧内预测模式20和帧内预测模式21选取的变换核进行交换,还可以是,该第一亮度帧内预测模式和该第二亮度帧内预测模式的间隔为1,例如,帧内预测模式20对应的变换核组为(DST7,DCT2),帧内预测模式21对应的变换核组为(DST7,DCT2),帧内预测模式22对应的变换核组为(DCT2,DST7)。
还应理解,“间隔1”指帧内预测模式20和帧内预测模式22间隔为1,即帧内预测模式20和帧内预测模式21对应的变换核相同,但是帧内预测模式22与帧内预测模式20对应的变换核组不同。
具体而言,可以将帧内预测模式20、21归类为第一亮度帧内预测模式,将帧内预测模式22归类为第二亮度帧内预测模式,同理,将帧内预测模式23、24归类为第一亮度帧内预测模式,将帧内预测模式25归类为第二亮度帧内预测模式。
还应理解,该第一亮度帧内预测模式的对应的变换核组为(DST7,DCT2)时,该第二亮度帧内预测模式对应的变换核组可以为(DCT2,DST7),还可以为(DCT2,DCT2),还可以为(DST7,DST7)。
S130,使用该第一变换核组对该亮度分量残差块进行变换,以得到该亮度分量残差块的第一变换系数。
应理解,对于色度分量残差块,可以沿用现有技术,让色度分量残差块继承亮度分量残差块的变换核组,例如,当该亮度分量残差块水平方向的变换核为DCT2,该亮度分量残差块垂直方向的变换核为DST7,该色度分量残差块水平方向的变换核为DCT2,该色度分量残差块垂直方向的变换核为DST7。
还应理解,使用该第一变换核组对该亮度分量残差块进行变换包括对该亮度分量残差块进行水平方向和垂直方向的变换。
本申请实施例的图像编码方法,通过亮度分量残差块在不同帧内预测模式的残差特点,设计了一套帧内预测模式和变换核的映射关系,变换过程只需要进行一次率失真优化过程,在保证性能的同时,有助于降低编码复杂度。
上面结合图3,介绍了根据本申请实施例的图像编码方法100,方法100中单独设计了亮度分量残差块的帧内预测模式与变换核的对应关系。下面结合图7,介绍根据本申请实施例的图像编码方法200,对于亮度分量残差块和色度分量残差块,分别设计色度分量残差块的帧内预测模式与变换核的对应关系,而不是让色度分量残差块继承亮度分量残差块的变换核组。
图7示出了根据本申请实施例的图像编码方法200的示意性流程图,如图7所示,该方法200包括:
S210,使用目标亮度帧内预测模式对待编码块的亮度分量进行帧内预测,以得到亮度分量残差块;
S220,根据预置的多个亮度帧内预测模式和多个变换核组之间的第一映射关系以及该目标亮度帧内预测模式,确定第一变换核组,其中,该第一映射关系由根据该多个亮度帧内预测模式获得的亮度分量残差块的预测特性确定;
S230,使用该第一变换核组对该亮度分量残差块进行变换,以得到该亮度分量残差块的第一变换系数。
应理解,S210-S230与方法100中S110-S130过程类似,为了简洁,在此不再赘述。
S240,使用目标色度帧内预测模式对待编码块的色度分量进行帧内预测,以得到色度分量残差块。
应理解,本申请实施例的色度(Chroma)分量残差块是由编码装置使用目标色度帧内预测模式对待编码的色度分量进行帧内预测得到的,本申请并不限于此。
S250,根据预置的多个色度帧内预测模式和多个该变换核组之间的第三映射关系、该目标色度帧内预测模式以及该色度分量残差块的尺寸,确定第四变换核组。
可选地,该色度分量残差块中某些帧内预测模式对应的变换核是根据该色度分量残差块的预测特性确定的,例如,水平模式、垂直模式、LM模式、Planar模式和对角模式等。
具体而言,编码装置确定了该色度分量残差块后,根据预置的多个色度帧内预测模式和多个该变换核组之间的第三映射关系、该目标色度帧内预测模式和该色度分量残差块的尺寸,确定该亮度分量残差块对应的第四变换核组,该第三映射关系由根据该多个色度帧内预测模式获得的色度分量残差块的预测特性确定,该第四变换核组包括该色度分量残差块水平方向的变换核和该色度分量残差块垂直方向的变换核。
可选地,该第三映射关系可以如表4所示,表4示出了根据本申请实施例的一种色度分量残差块和变换核的映射关系。
表4色度分量残差块和变换核的映射关系
应理解,表4中的verT表示该色度分量残差块的垂直方向的变换核,horT表示该色度分量残差块的水平方向的变换核,mode表示帧内预测模式,block size表示该色度分量残差块的块大小,blksizeWidth表示该色度分量残差块的宽度大小,blksizeHeight表示该色度分量残差块的高度大小。
还应理解,blksize=blksizeWidth×blksizeHeight。
还应理解,若该色度分量残差块的目标色度帧内预测模式在表4中没有对应的变换核组,则可以将该色度分量残差块的第四变换核组确定为传统变换核组(DCT2,DCT2),也可以确定为其他变换核组,本申请并不限于此。
可选地,在表4的基础上,可以增加考虑色度分量残差块在模式Dia(34)和模式2,结合变换核的特点选择DCT/DST变换,第三映射关系可以如表5所示,表5示出了根据本申请实施例的一种色度分量残差块和变换核的映射关系。
表5色度分量残差块和变换核的映射关系
(horT,verT) mode,block size
(DST7,DST7) LM,blksize<=8×8
(DST7,DST7) Planar,blksize<=16×16
(DST7,DCT2) Hor,blksizeWidth<=16
(DCT2,DST7) Ver,blksizeHeight<=16
(DCT2,DST7) vDia,blksizeHeight<=16
(DST7,DST7) Dia,blksize<=16×16
(DST7,DCT2) 2,blksizeWidth<=16
S260,使用该第四变换核组对该色度分量残差块进行变换,以得到该色度分量残差块的第二变换系数。
还应理解,S210-S230与S240-S260并没有实际的先后顺序,可先获得色度分量残差块,并对色度分量残差块进行水平方向和垂直方向的变换,也可以先获得亮度分量残差块,并对亮度分量残差块进行水平方向和垂直方向的变换。
本申请实施例的图像编码方法,单独考虑色度分量残差块在不同帧内预测模式的预测特性,设计了关于色度分量残差块的帧内预测模式与变换核的映射关系,有助于提高编码性能。
上述结合图2至图7,描述了根据本申请实施例的图像编码方法100和方法200,方法100中根据亮度分量残差块在水平(Hor,18)、垂直(Ver,50)、对角(Dia,34)、DC(1)、Planar(0)、角度2、角度66以及其他角度模式的预测特性不同,设计了一套亮度分量依赖于帧内预测模式的变换核映射表,方法200在方法100的基础上,还根据色度分量残差块在水平(Hor,18)、垂直(Ver,50)、对角(Dia,34)、DC(1)、Planar(0)、LM以及其他角度模式的预测特性以及色度分量残差块尺寸的不同,设计一套色度分量依赖于角度模式的变换核映射表。
下面结合图8至图14,介绍根据本申请实施例的图像编码方法300和方法400,方法300中根据亮度分量残差块在水平(Hor,18)、垂直(Ver,50)、对角(Dia,34)、DC(1)、Planar(0)、角度2、角度66以及其他角度模式的预测特性不同,设计了两套亮度分量依赖于帧内预测模式的变换核映射表,方法400在方法300的基础上,还根据色度分量残差块在水平(Hor,18)、垂直(Ver,50)、对角(Dia,34)、DC(1)、Planar(0)、LM以及其他角度模式的预测特性以及色度分量残差块尺寸的不同,设计一套色度分量依赖于角度模式的变换核映射表。
图8示出了根据本申请实施例的图像编码方法300的示意性流程图,该方法300可以由编码装置执行,更具体地,可以由编码装置中的变换模块执行,如图8所示,该方法300包括:
S310,使用目标亮度帧内预测模式对待编码块的亮度分量进行帧内预测,以得到亮度分量残差块。
应理解,S310与方法100中S110类似,为了简洁,在此不再赘述。
S320,根据该第一映射关系以及该目标亮度帧内预测模式,确定第二变换核组。
应理解,S320与方法100中S120类似,为了简洁,在此不再赘述。
可选地,该第一映射关系可以如表1所示,也可以如表2所示,还可以如表3所示,为了简洁,在此不再赘述。
S330,根据预置的至少一个该亮度帧内预测模式和至少一个该变换核组之间的第二映射关系,确定第三变换核组。
具体而言,编码装置还可以根据预置的至少一个该亮度帧内预测模式和至少一个该变换核组之间的第二映射关系,确定第三变换核组。
可选地,该第二映射关系可以与现行编码标准H.265类似,将所有的模式均采用传统的DCT2变换核。
该第二映射关系还可以如表6所示,表6示出了根据本申请实施例的再一种亮度分量残差块和变换核的映射关系。
表6亮度分量残差块和变换核的映射关系
(horT,verT) mode
(DCT2,DCT2) mode=[0~66]
图9示出了根据表1和表6确定的亮度分量残差块在各个模式上的示意图。
图10示出了根据表3和表6确定的亮度分量残差块在各个模式上的示意图。
可选地,该第二映射关系还可以如表7所示,在表6的基础上,调整该亮度分量残差块的DC模式在第二映射关系中对应的变换核组为(DST7,DST7),在不增加编码复杂度的情况下,有助于提升编码性能。
表7亮度分量残差块和变换核的映射关系
(horT,verT) mode
(DST7,DST7) DC
(DCT2,DCT2) mode=[2~66]
图11示出了根据表1和表7确定的亮度分量残差块在各个模式上的示意图。
图12示出了根据表3和表7确定的亮度分量残差块在各个模式上的示意图。
可选地,在第二映射关系中,具有预置位置关系的第三亮度帧内预测模式和第四亮度帧内预测模式分别映射第九变换核组和第十变换核组,其中,
该第九变换核组的水平方向的变换核和该第十变换核组的水平方向的变换核不同,和/或,
该第九变换核组的垂直方向的变换核和该第十变换核组的垂直方向的变换核不同。
可选地,该预置位置关系为相邻的预测方向。
该第二映射关系还可以入表8所示,该第二映射关系可以采用相邻帧内预测模式选取的水平方向的变换核不同和/或相邻帧内预测模式选取的垂直方向的变换核不同,例如,模式20对应的变换核组为(DST7,DST7),模式21对应的变换核为(DCT2,DCT2)。
表8亮度分量残差块和变换核的映射关系
(horT,verT) mode
(DCT2,DCT2) Planar
(DST7,DST7) DC
(DST7,DST7) mode=[2~30]&&mode is odd
(DCT2,DCT2) mode=[2~30]&&mode is even
(DCT2,DCT2) mode=[31~37]
(DST7,DST7) mode=[38~66]&&mode is odd
(DCT2,DCT2) mode=[38~66]&&mode is even
图13示出了根据表3和表8确定的亮度分量残差块在各个模式上的示意图。
应理解,该第三亮度帧内预测模式和第四亮度帧内预测模式可以为相邻的帧内预测模式,如帧内预测模式38和帧内预测模式39,可以根据第三亮度帧内预测模式和第四亮度帧内预测模式的奇偶特性分别选取不同的水平方向和垂直方向的变换核。
还应理解,该第三亮度帧内预测模式和该第四亮度帧内预测模式的间隔为1或者其他正整数,例如,当间隔为1时,帧内预测模式38对应的变换核组为(DCT2,DCT2),帧内预测模式39对应的变换核组为(DCT2,DCT2),帧内预测模式40对应的变换核组为(DST7,DST7)。
还应理解,该第三亮度帧内预测模式的对应的变换核组为(DST7,DST7)时,该第亮度四帧内预测模式对应的变换核组可以为(DST7,DCT2),还可以为(DCT2,DST7),还可以为(DCT2,DCT2)。
S340,分别使用该第二变换核组和该第三变换核组对该亮度分量残差块进行编码以分别得到该第二变换核组和该第三变换核组的率失真代价值;
S350,选择该第二变换核组和该第三变换核组中率失真代价值较小的一个,作为该第一变换核组。
可选地,该方法300还包括:将指示信息编入码流,该指示信息用于指示该第二变换核组和该第三变换核组中被选择作为该第一变换核组的一个。
具体而言,在根据第一映射关系确定第二变换核组,以及根据第二映射关系确定第三变换核组后,分别使用该第二变换核组和该第三变换核组对该亮度分量残差块进行编码以分别得到该第二变换核组和该第三变换核组的率失真代价值,根据率失真代价最小的原则,选择该第二变换核组和该第三变换核组中率失真代价值较小的一个,作为该第一变换核组,该第一变换核组为该第二变换核组或者该第三变换核组,该编码装置可以将指示信息编入码流,该指示信息用于指示该第二变换核组和该第三变换核组中被选择作为该第一变换核组的一个。
例如,编码装置根据率失真优化过程得到该第二变换核组的率失真代价值小于该第三变换核组的率失真代价值,则可以将该第二变换核组确定为该第一变换核组,该编码装置可以用于一个编码单元(Coding Unit,CU)级标志位来标记该亮度分量残差块选择了该第一映射关系。
又例如,可以用一个bit位来标记第一映射关系或者第二映射关系,如用0来标记第一映射关系,用1来标记第二映射关系。
本申请实施例的图像编码方法,编码装置只需要做两次率失真优化过程,传递一个比特位,不需要向现有技术一样做五次率失真优化过程并且传递三个比特位,在保证性能的同时,有助于降低编码复杂度。
S360,使用该第一变换核组对该亮度分量残差块进行变换,以得到该亮度分量残差块的第一变换系数。
应理解,S360与S130类似,为了简洁,在此不再赘述。
还应理解,对于色度分量残差块,可以沿用现有技术,让色度分量残差块继承亮度分量残差块的变换核组,例如,当该亮度分量残差块水平方向的变换核为DCT2,该亮度分量残差块垂直方向的变换核为DST7,该色度分量残差块水平方向的变换核为DCT2,该色度分量残差块垂直方向的变换核为DST7。
本申请实施例的图像编码方法,通过亮度分量残差块在不同帧内预测模式的残差特点,设计了两套帧内预测模式和变换核的映射关系,变换过程只需要进行两次次率失真优化过程,有助于实现编码性能和编码复杂度的权衡。
上面结合图8,介绍了根据本申请实施例的图像编码方法300,方法300中单独设计了两套亮度分量残差块的帧内预测模式与变换核的对应关系。下面结合图14,介绍根据本申请实施例的图像编码方法400,对于亮度分量残差块和色度分量残差块,设计两套亮度分量残差块的帧内预测模式与变换核的对应关系以及一套色度分量残差块的帧内预测模式与变换核的对应关系,而不是让色度分量残差块继承亮度分量残差块的变换核组。
图14示出了根据本申请实施例的图像编码方法400的示意性流程图,如图14所示,该方法400包括:
S410,使用目标亮度帧内预测模式对待编码块的亮度分量进行帧内预测,以得到亮度分量残差块;
S420,根据该第一映射关系以及该目标亮度帧内预测模式,确定第二变换核组;
S430,根据预置的至少一个该亮度帧内预测模式和至少一个该变换核组之间的第二映射关系,确定第三变换核组;
S440,分别使用该第二变换核组和该第三变换核组对该亮度分量残差块进行编码以分别得到该第二变换核组和该第三变换核组的率失真代价值;
S450,选择该第二变换核组和该第三变换核组中率失真代价值较小的一个,作为该第一变换核组;
S460,使用该第一变换核组对该亮度分量残差块进行变换,以得到该亮度分量残差块的第一变换系数。
应理解,S410-S460与方法300中S310-S360类似,为了简洁,在此不再赘述。
S470,使用目标色度帧内预测模式对待编码块的色度分量进行帧内预测,以得到色度分量残差块;
S480,根据预置的多个色度帧内预测模式和多个该变换核组之间的第三映射关系、该目标色度帧内预测模式以及该色度分量残差块的尺寸,确定第四变换核组;
可选地,该第三映射关系可以如表4所示,也可以如表5所示。
S490,使用该第四变换核组对该色度分量残差块进行变换,以得到该色度分量残差块的第二变换系数。
本申请实施例的图像编码方法,单独考虑色度分量残差块在不同帧内预测模式的预测特性,设计了关于色度分量残差块的帧内预测模式与变换核的映射关系,有助于提高编码性能。
为了验证本申请实施例的有效性,上述技术方案在联合视频探测小组(JointVideo Exploration Team,JVET)基于未来视频编码的参考软件(Joint ExplorationModel 7.0,JEM7.0)中实现,并进行了全序测试,测试序列为H.266的通测序列,测试条件为JVET指定的通测条件。
表9示出了根据现有AMT技术的测试性能,现有的AMT技术需要进行五次率失真优化过程,向解码端传递一个或者三个比特信息。
表9现有AMT技术的测试性能
AI Y U V EncT DecT
Class A1 -4.14% -1.25% -1.67% 175% 102%
Class A2 -4.15% -1.69% -1.75% 164% 101%
Class B -3.41% -0.71% -0.69% 183% 100%
Class C -2.71% 0.11% 0.16% 185% 100%
Class D -2.34% 0.79% 0.86% 196% 99%
Class E -3.49% -1.59% -1.35% 160% 98%
Overall -3.37% -0.69% -0.71% 178% 100%
Class F(optional) -2.18% -0.55% -0.19% 171% 99%
其中,AI(All Intra)表示一种标准测试模型的测试条件,其他的测试条件还有随机访问(Random Access,RA)、低延时B帧(Low delay B)以及低延时P帧(Low delay P),Y表示亮度分量(Luma),U表示色度分量Cb,V表示色度分量Cr,EncT表示编码时间复杂度,DecT表示解码时间复杂度,其中,EncT的计算如公式(1)所示:
EncT=P/A(1)
本申请实施例中编码时间为P,基准技术软件编码时间为A,DecT与EncT的计算方法类似,为了简洁,在此不再赘述。
应理解,“-4.14%”表示的是(Delta Bit Rate,BDBR)增益4.14%,“-”表示增益。BDBR是一种衡量的方法,表示在同样的客观质量下,两种方法的码率节省情况,表9及以下表格中其他数值的含义类似。
还应理解,Class A1、Class A2等表示测试序列的分类。
表10示出了根据本申请实施例的方法100的测试性能,方法100中的第一映射关系采用表1。
表10方法100的测试性能
AI Y U V EncT DecT
Class A1 -2.13% -2.46% -2.55% 107% 100%
Class A2 -2.41% -2.81% -2.79% 106% 102%
Class B -1.61% -2.19% -2.25% 105% 102%
Class C -1.15% -1.48% -1.39% 103% 101%
Class D -0.91% -1.03% -1.14% 103% 100%
Class E -2.16% -3.06% -2.86% 103% 101%
Overall -1.74% -2.14% -2.14% 105% 101%
Class F(optional) -0.43% -0.76% -0.77% 102% 100%
表11示出了根据本申请实施例的方法200的测试性能,其中,第一映射关系采用表1,第三映射关系采用表4。
表11方法200的测试性能
AI Y U V EncT DecT
Class A1 -2.35% -3.26% -3.17% 107% 105%
Class A2 -2.55% -3.80% -3.93% 106% 102%
Class B -1.66% -2.67% -2.88% 106% 102%
Class C -1.30% -1.70% -1.71% 104% 100%
Class D -1.05% -1.36% -1.32% 103% 100%
Class E -2.26% -3.60% -3.53% 104% 101%
Overall -1.84% -2.69% -2.73% 105% 102%
Class F(optional) -0.48% -1.02% -0.97% 103% 101%
表12示出了根据本申请实施例的方法200的另一测试性能,其中,第一映射关系采用表2,第三映射关系采用表4。
表12方法200的测试性能
AI Y U V EncT DecT
Class A1 -2.41% -3.24% -3.16% 108% 103%
Class A2 -2.70% -3.62% -3.86% 106% 102%
Class B -1.74% -2.50% -2.67% 107% 102%
Class C -1.46% -1.60% -1.64% 105% 101%
Class D -1.17% -1.24% -1.20% 106% 100%
Class E -2.25% -3.33% -3.26% 105% 101%
Overall -1.93% -2.55% -2.61% 106% 102%
Class F(optional) -1.17% -1.18% -0.81% 103% 100%
表13示出了根据本申请实施例的方法100的另一测试性能,其中,第一映射关系采用表3。
表13方法100的测试性能
AI Y U V EncT DecT
Class A1 -2.51% -2.27% -2.47% 109% 108%
Class A2 -2.78% -2.60% -2.57% 104% 103%
Class B -1.87% -2.01% -2.02% 106% 102%
Class C -1.48% -1.29% -1.33% 104% 100%
Class D -1.18% -1.06% -1.06% 103% 101%
Class E -2.38% -2.83% -2.57% 104% 101%
Overall -2.01% -1.98% -1.98% 105% 102%
Class F(optional) -0.77% -1.00% -0.85% 103% 100%
表14示出了根据本申请实施例的方法200的另一测试性能,其中,第一映射关系采用表3,第三映射关系采用表4。
表14方法200的测试性能
AI Y U V EncT DecT
Class A1 -2.54% -3.09% -3.10% 113% 101%
Class A2 -2.91% -3.58% -3.69% 109% 103%
Class B -1.92% -2.48% -2.69% 107% 102%
Class C -1.60% -1.61% -1.52% 104% 101%
Class D -1.31% -1.11% -1.19% 104% 100%
Class E -2.49% -3.28% -3.15% 104% 101%
Overall -2.11% -2.49% -2.54% 107% 101%
Class F(optional) -0.87% -1.25% -0.84% 103% 101%
表15示出了根据本申请实施例的方法200的另一测试性能,其中,第一映射关系采用表3,第三映射关系采用表5。
表15方法200的测试性能
AI Y U V EncT DecT
Class A1 -2.55% -3.13% -3.15% 108% 103%
Class A2 -2.91% -3.59% -3.73% 106% 102%
Class B -1.93% -2.49% -2.70% 107% 102%
Class C -1.61% -1.57% -1.58% 105% 100%
Class D -1.32% -1.25% -1.24% 104% 101%
Class E -2.50% -3.36% -3.26% 104% 101%
Overall -2.11% -2.53% -2.59% 106% 102%
Class F(optional) -0.88% -1.18% -0.92% 103% 101%
表16示出了根据本申请实施例的编码方法100和方法200与AMT技术的测试结果对比,上述实施例的测试结果表明:色度(U、V)分量的平均性能增益远比现有技术AMT的平均性能增益高,说明根据帧内编码色度分量预测模式,结合变换核的特点选择DCT/DST变换核,是有效果的。
表16测试结果对比
应理解,上述表16中的亮度分量映射表可以对应于第一映射关系,色度分量映射表可以对应于第二映射关系。
上述实施例的测试结果还表明:亮度(Y)分量的平均性能最大可达2.11%,而且编码复杂度仅仅只有106%,远远低于现有技术AMT的编码复杂度178%,说明根据帧内编码亮度分量预测模式,结合变换核的特点选择DCT/DST变换核,是有效果的。
因此,本申请实施例的技术方案,通过设计一套亮度分量残差块的帧内预测模式和变换核的映射关系和一套色度分量残差块的帧内预测模式和变换核的映射关系,可以实现更好的编码性能与编码复杂度的权衡。
上面结合表9至表16,给出了现有AMT技术和本申请实施例的图像编码方法100和方法200的测试性能。下面结合表17至表22,给出本申请实施例的图像编码方法400的测试性能。
表17示出了根据本申请实施例的方法400的测试性能,其中,第一映射关系采用表1,第二映射关系采用表6,第三映射关系采用表5。
表17方法400的测试性能
AI Y U V EncT DecT
Class A1 -2.68% -2.87% -2.91% 126% 103%
Class A2 -2.82% -3.26% -3.45% 123% 101%
Class B -2.18% -2.01% -2.19% 127% 102%
Class C -1.61% -0.99% -0.93% 125% 100%
Class D -1.39% -0.44% -0.38% 127% 100%
Class E -2.55% -2.88% -2.76% 120% 99%
Overall -2.19% -2.04% -2.08% 125% 101%
Class F(optional) -1.43% -0.95% -0.57% 123% 100%
表18示出了根据本申请实施例的方法400的另一测试性能,其中,第一映射关系采用表1,第二映射关系采用表7,第三映射关系采用表5。
表18方法400的测试性能
AI Y U V EncT DecT
Class A1 -2.70% -2.46% -2.52% 125% 103%
Class A2 -2.82% -2.88% -3.08% 123% 102%
Class B -2.17% -1.67% -1.87% 127% 102%
Class C -1.73% -0.77% -0.87% 125% 100%
Class D -1.52% -0.28% -0.29% 127% 99%
Class E -2.44% -2.73% -2.51% 120% 100%
Overall -2.22% -1.76% -1.83% 125% 101%
Class F(optional) -1.50% -0.84% -0.48% 123% 100%
表19示出了根据本申请实施例的方法400的再一测试性能,其中,第一映射关系采用表3,第二映射关系采用表6,第三映射关系采用表5。
表19方法400的测试性能
AI Y U V EncT DecT
Class A1 -2.77% -2.79% -2.78% 125% 103%
Class A2 -3.00% -3.16% -3.33% 124% 102%
Class B -2.25% -1.92% -2.04% 127% 102%
Class C -1.70% -0.86% -0.92% 125% 99%
Class D -1.43% -0.31% -0.30% 127% 99%
Class E -2.53% -2.75% -2.50% 119% 98%
Overall -2.27% -1.93% -1.96% 125% 101%
Class F(optional) -1.45% -0.85% -0.58% 122% 99%
表20示出了根据本申请实施例的方法400的再一测试性能,其中,第一映射关系采用表3,第二映射关系采用表7,第三映射关系采用表5。
表20方法400的测试性能
AI Y U V EncT DecT
Class A1 -2.76% -2.40% -2.46% 126% 103%
Class A2 -2.97% -2.79% -2.97% 122% 102%
Class B -2.21% -1.59% -1.76% 127% 102%
Class C -1.79% -0.69% -0.70% 125% 99%
Class D -1.56% -0.20% -0.16% 127% 100%
Class E -2.43% -2.44% -2.32% 120% 100%
Overall -2.28% -1.65% -1.71% 125% 101%
Class F(optional) -1.47% -0.71% -0.53% 123% 101%
表21示出了根据本申请实施例的方法400的再一测试性能,其中,第一映射关系采用表3,第二映射关系采用表8,第三映射关系采用表5。
表21方法400的测试性能
表22示出了根据本申请实施例的编码方法400与AMT技术的测试结果对比,上述实施例的测试结果表明:色度(U、V)分量的平均性能增益远比现有技术AMT的平均性能增益高,说明根据帧内编码Chroma分量预测模式,结合变换核的特点选择DCT/DST变换核,是有效果的。
表22测试结果对比
应理解,上述表22中的亮度分量映射表1可以对应于第二映射关系,亮度分量映射表2可以对应于第一映射关系,色度分量映射表可以对应于第三映射关系。
上述实施例的测试结果还表明:亮度(Y)分量的平均性能最大可达2.33%,而且编码复杂度仅仅只有125%,远远低于现有技术AMT的编码复杂度178%,说明根据帧内编码亮度分量预测模式,结合变换核的特点选择DCT/DST变换核,是有效果的。
因此,本申请实施例的技术方案,通过设计两套亮度分量残差块的帧内预测模式和变换核的映射关系和一套色度分量残差块的帧内预测模式和变换核的映射关系,可以实现更好的编码性能与编码复杂度的权衡。
上面结合图3至图14,详细得描述了根据本申请实施例的图像编码方法,下面结合图15至图17,详细得描述根据本申请实施例的图像解码方法。
图15示出了根据本申请实施例的图像解码方法500的示意性流程图,如图15所示,该方法500可以由解码装置执行,并且更具体地,可以由解码装置中的反变换模块执行,该方法500包括:
S510,解析码流以获得第一变换系数和目标亮度帧内预测模式;
S520,根据预置的多个亮度帧内预测模式和多个变换核组之间的第一映射关系以及该目标亮度帧内预测模式,确定第一反变换核组,其中,该第一映射关系由根据该多个亮度帧内预测模式获得的亮度分量残差块的预测特性确定;
S530,使用该第一反变换核组对该第一变换系数进行反变换,以得到该亮度分量残差块。
具体而言,解码装置解析码装置发送的码流,获得第一变换系数和目标亮度帧内预测模式,该解码装置通过预置的多个亮度帧内预测模式和多个变换核组之间的第一映射关系和该目标亮度帧内预测模式,确定第一反变换核组,该第一反变换核组包括该亮度分量残差块垂直方向的变换核和该亮度分量残差块水平方向的变换核,该解码装置使用该第一反变换核组对该第一变换系数进行反变换,以得到该亮度分量残差块。
应理解,该使用该第一反变换核组对该第一变换系数进行反变换包括对该第一变换系数进行水平方向和垂直方向的反变换。
例如,该第一映射关系为表1,该亮度残差块的帧内预测模式为20,则该解码装置根据该表1和帧内预测模式20,确定该第一反变换核组,该第一反变换核组的水平方向的变换核为IDST7,该第一反变换核组的垂直方向的变换核为IDCT2。
应理解,I为逆(inverse)的意思。
例如:R表示残差块,X表示系数块,A、B表示变换核,A’表示A的逆变换核,B’表示B的逆变换核,A’A=I(单位阵)
则编码端ARB=X;
则解码端A’XB’=A’ARBB’=R;
因此,在编码端,对于模式m,确定其变换核组为(A,B),在解码端,对于模式m,确定其反变换核组为((A’,B’)。
还应理解,解码方法为编码方法的逆过程,在编码过程的变换环节,待编码块的残差是已知的,在解码过程的反变换环节,待解码的反变换核和反变换系数是已知的。
还应理解,该第一反变换核组中水平方向上的变换核为该第一变换核组中垂直方向的变换核,该第一反变换核组中垂直方向上的变换核为该第一变换核组中水平方向的变换核。
图16示出了根据本申请实施例的图像解码方法600的示意性流程图,如图16所示,该方法600可以由解码装置执行,并且更具体地,可以由解码装置中的反变换模块执行,该方法600包括:
S610,解析码流以获得第二变换系数和目标色度帧内预测模式;
S620,根据预置的多个色度帧内预测模式和多个变换核组之间的第三映射关系、该目标色度帧内预测模式以及色度分量残差块的尺寸,确定第四反变换核组;
S630,使用该第四反变换核组对该第二变换系数进行反变换,以得到该色度分量残差块。
具体而言,解码装置解析编码装置发送的码流,获得第二变换系数和目标色度帧内预测模式,该解码装置通过预置的多个色度帧内预测模式和多个变换核组之间的第三映射关系、该目标色度帧内预测模式以及色度分量残差块的尺寸,确定第四反变换核组,该第四反变换核组包括该色度分量残差块垂直方向的变换核和该色度分量残差块水平方向的变换核,该解码装置使用该第四反变换核组对该第二变换系数进行反变换,以得到该色度分量残差块。
例如,该第三映射关系为表4,该目标色度帧内预测模式为垂直模式(Ver,50)且该色度残差块的高度小于16,则该解码装置根据表4和帧内预测模式50,确定该四反变换核组,该第四反变换核组中水平方向的变换核为IDCT2,该第四反变换核组中垂直方向的变换核为IDST7。
应理解,该第四反变换核组中水平方向上的变换核为该第四变换核组中垂直方向的变换核,该第四反变换核组中垂直方向上的变换核为该第四变换核组中水平方向的变换核。
图17示出了根据本申请实施例的图像解码方法700的示意性流程图,如图17所示,该方法700可以由解码装置执行,并且更具体地,可以由解码装置中的反变换模块执行,该方法700包括:
S710,解析码流以获得第一变换系数和目标亮度帧内预测模式;
S720,从该码流中解析指示信息,该指示信息用于指示将预置的至少一个该亮度帧内预测模式和至少一个该变换核组之间的第四映射关系和预置的至少一个该亮度帧内预测模式和至少一个该变换核组之间的第二映射关系中的一者确定为该第一映射关系;
S730,根据该指示信息,从该第四映射关系和该第二映射关系中确定该第一映射关系;
S740,根据该第一映射关系以及该目标亮度帧内预测模式,确定该第一反变换核组;
S750,使用该第一反变换核组对该第一变换系数进行反变换,以得到该亮度分量残差块。
具体而言,编码装置为该亮度分量残差块设计了两套亮度分量残差块的帧内预测模式和变换核的对应关系,当编码装置选择了一个最优的变换核组后,需要将指示信息编入码流,该指示信息用于指示将预置的至少一个该亮度帧内预测模式和至少一个该变换核组之间的第四映射关系和预置的至少一个该亮度帧内预测模式和至少一个该变换核组之间的第二映射关系中的一者确定为该第一映射关系,知会解码装置是从第四映射关系还是从第二映射关系中确定的该最优的变换核组,解码装置可以从该码流中解析该指示信息,并根据该指示信息,从该第四映射关系和该第二映射关系中确定该第一映射关系,并根据该第一映射关系以及该目标亮度帧内预测模式,确定该第一反变换核组,最后使用该第一反变换核组对该第一变换系数进行反变换,以得到该亮度分量残差块。
应理解,该第四映射关系可以为上述第一映射关系,该第四映射关系可以为表1、表2或表3中的任意一个。
例如,该第四映射关系为表1,该第二映射关系为表6,该目标亮度帧内预测模式为帧内预测模式20,则该编码装置确定从表1选取的第一变换核组(DST7,DCT2)为最优的变换核组,则将指示信息编入码流,该指示信息用于指示表1,解码装置从该码流中解析该指示信息,确定该编码装置是通过表1确定的该第一变换核组,则该解码装置可以根据表1以及帧内预测模式20,确定该第一反变换核组,该第一反变换核组中水平方向的变换核为IDST7(该第一变换核组中水平方向的变换核的逆矩阵),该第一反变换核组中垂直方向的变换核为IDCT2(该第一变换核组中垂直方向的变换核的逆矩阵)。该解码装置使用该第一反变换核组对该第一变换系数进行反变换,以得到该亮度分量残差块。
上文结合图3至图17,详细得描述了根据本申请实施例的图像编解码方法,下文结合图18至21,详细描述根据本申请实施例的图像编解码装置。
图18示出了根据本申请实施例的图像编码装置800的示意性框图,如图18所示,该编码装置800包括:
第一处理模块810,用于使用目标亮度帧内预测模式对待编码块的亮度分量进行帧内预测,以得到亮度分量残差块;
第二处理模块820,用于根据预置的多个亮度帧内预测模式和多个变换核组之间的第一映射关系以及该目标亮度帧内预测模式,确定第一变换核组,其中,该第一映射关系由根据该多个亮度帧内预测模式获得的亮度分量残差块的预测特性确定;
第三处理模块830,用于使用该第一变换核组对该亮度分量残差块进行变换,以得到该亮度分量残差块的第一变换系数。
本申请实施例的图像编码装置,通过第一映射关系确定亮度分量残差块的变换核组,有助于减少多个变换的次数比特开销,从而有助于降低帧内变换的复杂度,同时,通过帧内预测模式的预测特性确定变换核,有助于提高编码性能。
可选地,该第二处理模块820具体用于:
根据该第一映射关系以及该目标亮度帧内预测模式,确定第二变换核组;
根据预置的至少一个该亮度帧内预测模式和至少一个该变换核组之间的第二映射关系,确定第三变换核组;
分别使用该第二变换核组和该第三变换核组对该亮度分量残差块进行编码以分别得到该第二变换核组和该第三变换核组的率失真代价值;
选择该第二变换核组和该第三变换核组中率失真代价值较小的一个,作为该第一变换核组。
可选地,该装置800还包括:
第四处理模块840,用于将指示信息编入码流,该指示信息用于指示该第二变换核组和该第三变换核组中被选择作为该第一变换核组的一个。
可选地,该第一处理模块810还用于使用目标色度帧内预测模式对待编码块的色度分量进行帧内预测,以得到色度分量残差块;
该第二处理模块820还用于根据预置的多个色度帧内预测模式和多个该变换核组之间的第三映射关系、该目标色度帧内预测模式以及该色度分量残差块的尺寸,确定第四变换核组;
该第三处理模块830还用于使用该第四变换核组对该色度分量残差块进行变换,以得到该色度分量残差块的第二变换系数。
本申请实施例的图像编码装置,通过单独考虑色度分量残差块的帧内预测模式与变换核的对应关系,有助于提高编码性能。
可选地,该变换核组包括水平方向的变换核和垂直方向的变换核,在该第一映射关系中,具有预置位置关系的第一亮度帧内预测模式和第二亮度帧内预测模式分别映射第五变换核组和第六变换核组,其中,
该第五变换核组的水平方向的变换核和该第六变换核组的水平方向的变换核不同,和/或,
该第五变换核组的垂直方向的变换核和该第六变换核组的垂直方向的变换核不同。
可选地,该预置位置关系为相邻预测方向。
可选地,该多个亮度帧内预测模式,包括第一预测模式集合和第二预测模式集合,该第一预测模式集合包括水平预测模式和在预测方向上和该水平预测模式相邻的预置个数的亮度帧内预测模式,该第二预测模式集合包括垂直预测模式和在预测方向上和该垂直预测模式相邻的预置个数的亮度帧内预测模式,在该第一映射关系中,该第一预测模式集合中的任一亮度帧内预测模式和该第二预测模式集合中的任一亮度帧内预测模式分别映射第七变换核组和第八变换核组,其中,
该第七变换核组的水平方向的变换核和该第八变换核组的水平方向的变换核不同,和/或,
该第七变换核组的垂直方向的变换核和该第八变换核组的垂直方向的变换核不同。
可选地,该多个亮度帧内预测模式,还包括第三预测模式集合,该第三预测模式集合包括45度预测模式和在预测方向上和该45度预测模式相邻的预置个数的亮度帧内预测模式,在该第一映射关系中,该第三预测模式集合中的任一亮度帧内预测模式映射第九变换核组,其中,该第九变换核组的水平方向的变换核和垂直方向的变换核相同。
可选地,在该第一映射关系中,非角度模式对应至少一个该变换核组,其中,该非角度模式包括平面Planar模式和直流DC模式。
可选地,该第一变换核组中水平方向的变换核为离散余弦变换族中的第二类型变换核DCT2或者离散正弦变换中的第七类型变换核DST7;和/或该第一变换核组中垂直方向的变换核为DCT2或者DST7。
本申请实施例的编码装置,水平方向以及垂直方向的变换核从DCT2或DST7中选取,极大地减少了多核变换的种类,进而有助于减少相应的内存分配。
可选地,该第一变换核组中水平方向的变换核为DCT2或者离散正弦变换中的第四类型变换核DST4;和/或该第一变换核组中垂直方向的变换核为DCT2或者DST4。
可选地,在该第一映射关系中,在该第一映射关系中,该直流模式对应的水平方向和垂直方向的变换核为DCT2;和/或该平面模式对应的水平方向和垂直方向的变换核为DST7。
可选地,该第一映射关系包括角度模式与变化核的对应关系,其中,该角度模式包括对角模式、水平模式和垂直模式,该对角模式对应的水平方向和垂直方向的变换核DST7是根据该对角模式的预测特性确定的。
可选地,该水平模式对应的水平方向的变换核DST7是根据该水平模式的预测特性确定。
可选地,该垂直模式对应的水平方向的变换核DST7是根据该垂直模式的预测特性确定。
本申请实施例的编码装置,通过考虑对角模式、水平模式以及垂直模式的预测特性的不同,分别对不同的帧内预测模式设计不同的变换核,有助于提高编码性能。
可选地,在该第三映射关系中,该色度帧内预测模式包括线性模型LM模式,该LM模式对应的水平方向和垂直方向的变换核为DST7。
本申请实施例的图像编码装置,通过考虑对角模式、水平模式以及垂直模式的预测特性的不同,分别对不同的帧内预测模式设计不同的变换核,有助于提高编码性能。
可选地,该色度分量残差块的帧内预测模式包括线性LM模式,该LM模式对应的水平方向和垂直方向的变换核为DST7。
图19示出了根据本申请实施例的图像解码装置900的示意性框图,如图19所示,该解码装置900包括:
第五处理模块910,用于解析码流以获得第一变换系数和目标亮度帧内预测模式;
第六处理模块920,用于根据预置的多个亮度帧内预测模式和多个变换核组之间的第一映射关系以及该目标亮度帧内预测模式,确定第一反变换核组,其中,该第一映射关系由根据该多个亮度帧内预测模式获得的亮度分量残差块的预测特性确定;
第七处理模块930,用于使用该第一反变换核组对该第一变换系数进行反变换,以得到该亮度分量残差块。
可选地,该装置900还包括:
第八处理模块940,用于从该码流中解析指示信息,该指示信息用于指示将预置的至少一个该亮度帧内预测模式和至少一个该变换核组之间的第四映射关系和预置的至少一个该亮度帧内预测模式和至少一个该变换核组之间的第二映射关系中的一者确定为该第一映射关系;
对应的,该第六处理模块920具体用于:
根据该指示信息,从该第四映射关系和该第二映射关系中确定该第一映射关系;
根据该第一映射关系以及该目标亮度帧内预测模式,确定该第一反变换核组。
可选地,该第五处理模块910还用于解析码流以获得第二变换系数和目标色度帧内预测模式;
该第六处理模块920还用于根据预置的多个色度帧内预测模式和多个变换核组之间的第三映射关系、该目标色度帧内预测模式以及色度分量残差块的尺寸,确定第四反变换核组;
该第七处理模块930还用于使用该第四反变换核组对该第二变换系数进行反变换,以得到该色度分量残差块。
可选地,该变换核组包括水平方向的变换核和垂直方向的变换核,在该第一映射关系中,具有预置位置关系的第一亮度帧内预测模式和第二亮度帧内预测模式分别映射第五变换核组和第六变换核组,其中,
该第五变换核组的水平方向的变换核和该第六变换核组的水平方向的变换核不同,和/或,
该第五变换核组的垂直方向的变换核和该第六变换核组的垂直方向的变换核不同。
可选地,该预置位置关系为相邻预测方向。
可选地,该多个亮度帧内预测模式,包括第一预测模式集合和第二预测模式集合,该第一预测模式集合包括水平预测模式和在预测方向上和该水平预测模式相邻的预置个数的亮度帧内预测模式,该第二预测模式集合包括垂直预测模式和在预测方向上和该垂直预测模式相邻的预置个数的亮度帧内预测模式,在该第一映射关系中,该第一预测模式集合中的任一亮度帧内预测模式和该第二预测模式集合中的任一亮度帧内预测模式分别映射第七变换核组和第八变换核组,其中,
该第七变换核组的水平方向的变换核和该第八变换核组的水平方向的变换核不同,和/或,
该第七变换核组的垂直方向的变换核和该第八变换核组的垂直方向的变换核不同。
可选地,该多个亮度帧内预测模式,还包括第三预测模式集合,该第三预测模式集合包括45度预测模式和在预测方向上和该45度预测模式相邻的预置个数的亮度帧内预测模式,在该第一映射关系中,该第三预测模式集合中的任一亮度帧内预测模式映射第九变换核组,其中,该第九变换核组的水平方向的变换核和垂直方向的变换核相同。
可选地,在该第一映射关系中,非角度模式对应至少一个该变换核组,其中,该非角度模式包括平面Planar模式和直流DC模式。
可选地,该第一变换核组中水平方向的变换核为离散余弦变换族中的第二类型变换核DCT2或者离散正弦变换中的第七类型变换核DST7;和/或该第一变换核组中垂直方向的变换核为DCT2或者DST7。
可选地,该第一变换核组中水平方向的变换核为DCT2或者离散正弦变换中的第四类型变换核DST4;和/或该第一变换核组中垂直方向的变换核为DCT2或者DST4。
可选地,在该第一映射关系中,在该第一映射关系中,该直流模式对应的水平方向和垂直方向的变换核为DCT2;和/或该平面模式对应的水平方向和垂直方向的变换核为DST7。
可选地,该第一映射关系包括角度模式与变化核的对应关系,其中,该角度模式包括对角模式、水平模式和垂直模式,该对角模式对应的水平方向和垂直方向的变换核DST7是根据该对角模式的预测特性确定的。
可选地,该水平模式对应的水平方向的变换核DST7是根据该水平模式的预测特性确定。
可选地,该垂直模式对应的水平方向的变换核DST7是根据该垂直模式的预测特性确定。
可选地,在该第三映射关系中,该色度帧内预测模式包括线性模型LM模式,该LM模式对应的水平方向和垂直方向的变换核为DST7。
下面结合图20至图22对编解码装置以及编解码装置组成的编解码系统进行详细的介绍。应理解,图20至图22中的编解码装置和编解码系统能够执行上文中的图像编解码方法。
图20和图21示出了本申请实施例的编解码装置50,该编解码装置50可以是无线通信系统的移动终端或者用户设备。应理解,本申请实施例可以在可能需要对视频图像进行编码和/或解码的任何电子设备或者装置内实施。
编解码装置50可以包括用于并入和保护设备的外壳30,显示器32(具体可以为液晶显示器),小键盘34。编解码装置50可以包括麦克风36或者任何适当的音频输入,该音频输入可以是数字或者模拟信号输入。编解码装置50还可以包括如下音频输出设备,该音频输出设备在本申请的实施例中可以是以下各项中的任何一项:耳机38、扬声器或者模拟音频或者数字音频输出连接。编解码装置50也可以包括电池40,在本申请的其它实施例中,设备可以由任何适当的移动能量设备,比如太阳能电池、燃料电池或者时钟机构生成器供电。装置还可以包括用于与其它设备的近程视线通信的红外线端口42。在其它实施例中,编解码装置50还可以包括任何适当的近程通信解决方案,比如蓝牙无线连接或者USB/火线有线连接。
编解码装置50可以包括用于控制编解码装置50的控制器56或者处理器。控制器56可以连接到存储器58,该存储器在本申请的实施例中可以存储形式为图像的数据和音频的数据,和/或也可以存储用于在控制器56上实施的指令。控制器56还可以连接到适合于实现音频和/或视频数据的编码和解码或者由控制器56实现的辅助编码和解码的编码解码器54。
编解码装置50还可以包括用于提供用户信息并且适合于提供用于在网络认证和授权用户的认证信息的读卡器48和智能卡46,例如集成电路卡(Universal IntegratedCircuit Card,UICC)和UICC读取器。
编解码装置50还可以包括无线电接口电路52,该无线电接口电路连接到控制器并且适合于生成例如用于与蜂窝通信网络、无线通信系统或者无线局域网通信的无线通信信号。编解码装置50还可以包括天线44,该天线连接到无线电接口电路52用于向其它(多个)装置发送在无线电接口电路52生成的射频信号并且用于从其它(多个)装置接收射频信号。
在本申请的一些实施例中,编解码装置50包括能够记录或者检测单帧的相机,编码解码器54或者控制器接收到这些单帧并对它们进行处理。在本申请的一些实施例中,编解码装置50可以在传输和/或存储之前从另一设备接收待处理的视频图像数据。在本申请的一些实施例中,编解码装置50可以通过无线或者有线连接接收图像用于编码/解码。
应理解,图21仅为编解码装置50及其包含的各个软、硬件模块的示意图,具有多种不同的实现方式,比如,其中小键盘34可以是触摸屏,并且该触摸屏可以是显示器32的一部分,不做限定。
图22是本申请实施例的视频编解码系统10的示意性框图。如图22所示,视频编解码系统10包含源装置12及目的地装置14。源装置12产生经编码视频数据。因此,源装置12可被称作视频编码装置或视频编码设备。目的地装置14可解码由源装置12产生的经编码视频数据。因此,目的地装置14可被称作视频解码装置或视频解码设备。源装置12及目的地装置14可为视频编解码装置或视频编解码设备的实例。源装置12及目的地装置14可以包含台式计算机、移动计算装置、笔记本(例如,膝上型)计算机、平板计算机、机顶盒、智能电话等手持机、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机,或者其它类似的设备。
目的地装置14可经由信道16接收来自源装置12的编码后的视频数据。信道16可包括能够将经编码视频数据从源装置12移动到目的地装置14的一个或多个媒体及/或装置。在一个实例中,信道16可包括使源装置12能够实时地将编码后的视频数据直接发射到目的地装置14的一个或多个通信媒体。在此实例中,源装置12可根据通信标准(例如,无线通信协议)来调制编码后的视频数据,且可将调制后的视频数据发射到目的地装置14。所述一个或多个通信媒体可包含无线及/或有线通信媒体,例如射频(RF)频谱或一根或多根物理传输线。所述一个或多个通信媒体可形成基于包的网络(例如,局域网、广域网或全球网络(例如,因特网))的部分。所述一个或多个通信媒体可包含路由器、交换器、基站,或促进从源装置12到目的地装置14的通信的其它设备。
在另一实例中,信道16可包含存储由源装置12产生的编码后的视频数据的存储媒体。在此实例中,目的地装置14可经由磁盘存取或卡存取来存取存储媒体。存储媒体可包含多种本地存取式数据存储媒体,例如蓝光光盘、DVD、CD-ROM、快闪存储器,或用于存储经编码视频数据的其它合适数字存储媒体。
在另一实例中,信道16可包含文件服务器或存储由源装置12产生的编码后的视频数据的另一中间存储装置。在此实例中,目的地装置14可经由流式传输或下载来存取存储于文件服务器或其它中间存储装置处的编码后的视频数据。文件服务器可以是能够存储编码后的视频数据且将所述编码后的视频数据发射到目的地装置14的服务器类型。例如,文件服务器可以包含web服务器(例如,用于网站)、文件传送协议(FTP)服务器、网络附加存储(NAS)装置,及本地磁盘驱动器。
目的地装置14可经由标准数据连接(例如,因特网连接)来存取编码后的视频数据。数据连接的实例类型包含适合于存取存储于文件服务器上的编码后的视频数据的无线信道(例如,Wi-Fi连接)、有线连接(例如,DSL、缆线调制解调器等),或两者的组合。编码后的视频数据从文件服务器的发射可为流式传输、下载传输或两者的组合。
本申请的编解码方法不限于无线应用场景,示例性的,可将所述编解码方法应用于支持以下应用等多种多媒体应用的视频编解码:空中电视广播、有线电视发射、卫星电视发射、流式传输视频发射(例如,经由因特网)、存储于数据存储媒体上的视频数据的编码、存储于数据存储媒体上的视频数据的解码,或其它应用。在一些实例中,视频编解码系统10可经配置以支持单向或双向视频发射,以支持例如视频流式传输、视频播放、视频广播及/或视频电话等应用。
在图22的实例中,源装置12包含视频源18、视频编码器20及输出接口22。在一些实例中,输出接口22可包含调制器/解调器(调制解调器)及/或发射器。视频源18可包含视频俘获装置(例如,视频相机)、含有先前俘获的视频数据的视频存档、用以从视频内容提供者接收视频数据的视频输入接口,及/或用于产生视频数据的计算机图形系统,或上述视频数据源的组合。
视频编码器20可编码来自视频源18的视频数据。在一些实例中,源装置12经由输出接口22将编码后的视频数据直接发射到目的地装置14。编码后的视频数据还可存储于存储媒体或文件服务器上以供目的地装置14稍后存取以用于解码及/或播放。
在图22的实例中,目的地装置14包含输入接口28、视频解码器30及显示装置32。在一些实例中,输入接口28包含接收器及/或调制解调器。输入接口28可经由信道16接收编码后的视频数据。显示装置32可与目的地装置14整合或可在目的地装置14外部。一般来说,显示装置32显示解码后的视频数据。显示装置32可包括多种显示装置,例如液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或其它类型的显示装置。
视频编码器20及视频解码器30可根据视频压缩标准(例如,高效率视频编解码H.265标准)而操作,且可遵照HEVC测试模型(HM)。H.265标准的文本描述ITU-TH.265(V3)(04/2015)于2015年4月29号发布,可从http://handle.itu.int/11.1002/1000/12455下载,所述文件的全部内容以引用的方式并入本文中。
在本申请实施例中,应注意,本申请实施例上述的方法实施例可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
可以理解,本申请实施例中的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM,DR RAM)。应注意,本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的一个或多个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
另外,本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
应理解,在本申请实施例中,“与A相应的B”表示B与A相关联,根据A可以确定B。但还应理解,根据A确定B并不意味着仅仅根据A确定B,还可以根据A和/或其它信息确定B。
上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品可以包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁盘)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (40)

1.一种图像编码方法,其特征在于,包括:
使用目标亮度帧内预测模式对待编码块的亮度分量进行帧内预测,以得到亮度分量残差块;
根据预置的多个亮度帧内预测模式和多个变换核组之间的第一映射关系以及所述目标亮度帧内预测模式,确定第一变换核组,其中,所述第一映射关系由根据所述多个亮度帧内预测模式获得的亮度分量残差块的预测特性确定;
使用所述第一变换核组对所述亮度分量残差块进行变换,以得到所述亮度分量残差块的第一变换系数。
2.根据权利要求1所述的方法,其特征在于,所述根据预置的多个亮度帧内预测模式和多个变换核组之间的第一映射关系以及所述目标亮度帧内预测模式,确定第一变换核组,包括:
根据所述第一映射关系以及所述目标亮度帧内预测模式,确定第二变换核组;
根据预置的至少一个所述亮度帧内预测模式和至少一个所述变换核组之间的第二映射关系,确定第三变换核组;
分别使用所述第二变换核组和所述第三变换核组对所述亮度分量残差块进行编码以分别得到所述第二变换核组和所述第三变换核组的率失真代价值;
选择所述第二变换核组和所述第三变换核组中率失真代价值较小的一个,作为所述第一变换核组。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
将指示信息编入码流,所述指示信息用于指示所述第二变换核组和所述第三变换核组中被选择作为所述第一变换核组的一个。
4.根据权利要求1至3中任一项所述的方法,其特征在于,所述方法还包括:
使用目标色度帧内预测模式对待编码块的色度分量进行帧内预测,以得到色度分量残差块;
根据预置的多个色度帧内预测模式和多个所述变换核组之间的第三映射关系、所述目标色度帧内预测模式以及所述色度分量残差块的尺寸,确定第四变换核组;
使用所述第四变换核组对所述色度分量残差块进行变换,以得到所述色度分量残差块的第二变换系数。
5.根据权利要求1至4中任一项所述的方法,其特征在于,所述变换核组包括水平方向的变换核和垂直方向的变换核,在所述第一映射关系中,具有预置位置关系的第一亮度帧内预测模式和第二亮度帧内预测模式分别映射第五变换核组和第六变换核组,其中,所述第五变换核组的水平方向的变换核和所述第六变换核组的水平方向的变换核不同,和/或,所述第五变换核组的垂直方向的变换核和所述第六变换核组的垂直方向的变换核不同。
6.根据权利要求5所述的方法,其特征在于,所述预置位置关系为相邻预测方向。
7.根据权利要求1至4中任一项所述的方法,其特征在于,所述多个亮度帧内预测模式,包括第一预测模式集合和第二预测模式集合,所述第一预测模式集合包括水平预测模式和在预测方向上和所述水平预测模式相邻的预置个数的亮度帧内预测模式,所述第二预测模式集合包括垂直预测模式和在预测方向上和所述垂直预测模式相邻的预置个数的亮度帧内预测模式,在所述第一映射关系中,所述第一预测模式集合中的任一亮度帧内预测模式和所述第二预测模式集合中的任一亮度帧内预测模式分别映射第七变换核组和第八变换核组,其中,所述第七变换核组的水平方向的变换核和所述第八变换核组的水平方向的变换核不同,和/或,所述第七变换核组的垂直方向的变换核和所述第八变换核组的垂直方向的变换核不同。
8.根据权利要求1至7中任一项所述的方法,其特征在于,所述多个亮度帧内预测模式,还包括第三预测模式集合,所述第三预测模式集合包括45度预测模式和在预测方向上和所述45度预测模式相邻的预置个数的亮度帧内预测模式,在所述第一映射关系中,所述第三预测模式集合中的任一亮度帧内预测模式映射第九变换核组,其中,所述第九变换核组的水平方向的变换核和垂直方向的变换核相同。
9.根据权利要求1至8中任一项所述的方法,其特征在于,在所述第一映射关系中,非角度模式对应至少一个所述变换核组,其中,所述非角度模式包括平面Planar模式和直流DC模式。
10.根据权利要求1至9中任一项所述的方法,其特征在于,所述第一变换核组中水平方向的变换核为离散余弦变换族中的第二类型变换核DCT2或者离散正弦变换中的第七类型变换核DST7;和/或
所述第一变换核组中垂直方向的变换核为DCT2或者DST7。
11.根据权利要求1至10中任一项所述的方法,其特征在于,在所述第一映射关系中,所述直流模式对应的水平方向和垂直方向的变换核为DCT2;和/或
所述平面模式对应的水平方向和垂直方向的变换核为DST7。
12.根据权利要求4至11中任一项所述的方法,其特征在于,在所述第三映射关系中,所述色度帧内预测模式包括线性模型LM模式,所述LM模式对应的水平方向和垂直方向的变换核为DST7。
13.一种图像解码方法,其特征在于,包括:
解析码流以获得第一变换系数和目标亮度帧内预测模式;
根据预置的多个亮度帧内预测模式和多个变换核组之间的第一映射关系以及所述目标亮度帧内预测模式,确定第一反变换核组,其中,所述第一映射关系由根据所述多个亮度帧内预测模式获得的亮度分量残差块的预测特性确定;
使用所述第一反变换核组对所述第一变换系数进行反变换,以得到所述亮度分量残差块。
14.根据权利要求13所述的方法,其特征在于,所述方法还包括:
从所述码流中解析指示信息,所述指示信息用于指示将预置的至少一个所述亮度帧内预测模式和至少一个所述变换核组之间的第四映射关系和预置的至少一个所述亮度帧内预测模式和至少一个所述变换核组之间的第二映射关系中的一者确定为所述第一映射关系;
对应的,所述根据预置的多个亮度帧内预测模式和多个变换核组之间的第一映射关系以及所述目标亮度帧内预测模式,确定第一反变换核组,包括:
根据所述指示信息,从所述第四映射关系和所述第二映射关系中确定所述第一映射关系;
根据所述第一映射关系以及所述目标亮度帧内预测模式,确定所述第一反变换核组。
15.根据权利要求13或14所述的方法,其特征在于,所述方法还包括:
解析码流以获得第二变换系数和目标色度帧内预测模式;
根据预置的多个色度帧内预测模式和多个变换核组之间的第三映射关系、所述目标色度帧内预测模式以及色度分量残差块的尺寸,确定第四反变换核组;
使用所述第四反变换核组对所述第二变换系数进行反变换,以得到所述色度分量残差块。
16.根据权利要求13至15中任一项所述的方法,其特征在于,所述变换核组包括水平方向的变换核和垂直方向的变换核,在所述第一映射关系中,具有预置位置关系的第一亮度帧内预测模式和第二亮度帧内预测模式分别映射第五变换核组和第六变换核组,其中,所述第五变换核组的水平方向的变换核和所述第六变换核组的水平方向的变换核不同,和/或,所述第五变换核组的垂直方向的变换核和所述第六变换核组的垂直方向的变换核不同。
17.根据权利要求16所述的方法,其特征在于,所述预置位置关系为相邻预测方向。
18.根据权利要求13至15中任一项所述的方法,其特征在于,所述多个亮度帧内预测模式,包括第一预测模式集合和第二预测模式集合,所述第一预测模式集合包括水平预测模式和在预测方向上和所述水平预测模式相邻的预置个数的亮度帧内预测模式,所述第二预测模式集合包括垂直预测模式和在预测方向上和所述垂直预测模式相邻的预置个数的亮度帧内预测模式,在所述第一映射关系中,所述第一预测模式集合中的任一亮度帧内预测模式和所述第二预测模式集合中的任一亮度帧内预测模式分别映射第七变换核组和第八变换核组,其中,所述第七变换核组的水平方向的变换核和所述第八变换核组的水平方向的变换核不同,和/或,所述第七变换核组的垂直方向的变换核和所述第八变换核组的垂直方向的变换核不同。
19.根据权利要求13至18中任一项所述的方法,其特征在于,所述多个亮度帧内预测模式,还包括第三预测模式集合,所述第三预测模式集合包括45度预测模式和在预测方向上和所述45度预测模式相邻的预置个数的亮度帧内预测模式,在所述第一映射关系中,所述第三预测模式集合中的任一亮度帧内预测模式映射第九变换核组,其中,所述第九变换核组的水平方向的变换核和垂直方向的变换核相同。
20.根据权利要求13至19中任一项所述的方法,其特征在于,在所述第一映射关系中,非角度模式对应至少一个所述变换核组,其中,所述非角度模式包括Planar模式和DC模式。
21.根据权利要求13至20中任一项所述的方法,其特征在于,所述第一变换核组中水平方向的变换核为DCT2或者DST7;和/或
所述第一变换核组中垂直方向的变换核为DCT2或者DST7。
22.根据权利要求13至21中任一项所述的方法,其特征在于,在所述第一映射关系中,所述直流模式对应的水平方向和垂直方向的变换核为DCT2;和/或
所述平面模式对应的水平方向和垂直方向的变换核为DST7。
23.根据权利要求15至22中任一项所述的方法,其特征在于,在所述第三映射关系中,所述色度帧内预测模式包括LM模式,所述LM模式对应的水平方向和垂直方向的变换核为DST7。
24.一种图像编码装置,其特征在于,包括:
第一处理模块,用于使用目标亮度帧内预测模式对待编码块的亮度分量进行帧内预测,以得到亮度分量残差块;
第二处理模块,用于根据预置的多个亮度帧内预测模式和多个变换核组之间的第一映射关系以及所述目标亮度帧内预测模式,确定第一变换核组,其中,所述第一映射关系由根据所述多个亮度帧内预测模式获得的亮度分量残差块的预测特性确定;
第三处理模块,用于使用所述第一变换核组对所述亮度分量残差块进行变换,以得到所述亮度分量残差块的第一变换系数。
25.根据权利要求24所述的装置,其特征在于,所述第二处理模块具体用于:
根据所述第一映射关系以及所述目标亮度帧内预测模式,确定第二变换核组;
根据预置的至少一个所述亮度帧内预测模式和至少一个所述变换核组之间的第二映射关系,确定第三变换核组;
分别使用所述第二变换核组和所述第三变换核组对所述亮度分量残差块进行编码以分别得到所述第二变换核组和所述第三变换核组的率失真代价值;
选择所述第二变换核组和所述第三变换核组中率失真代价值较小的一个,作为所述第一变换核组。
26.根据权利要求25所述的装置,其特征在于,所述装置还包括:
第四处理模块,用于将指示信息编入码流,所述指示信息用于指示所述第二变换核组和所述第三变换核组中被选择作为所述第一变换核组的一个。
27.根据权利要求24至26中任一项所述的装置,其特征在于,所述第一处理模块还用于使用目标色度帧内预测模式对待编码块的色度分量进行帧内预测,以得到色度分量残差块;
所述第二处理模块还用于根据预置的多个色度帧内预测模式和多个所述变换核组之间的第三映射关系、所述目标色度帧内预测模式以及所述色度分量残差块的尺寸,确定第四变换核组;
所述第三处理模块还用于使用所述第四变换核组对所述色度分量残差块进行变换,以得到所述色度分量残差块的第二变换系数。
28.根据权利要求24至27中任一项所述的装置,其特征在于,所述变换核组包括水平方向的变换核和垂直方向的变换核,在所述第一映射关系中,具有预置位置关系的第一亮度帧内预测模式和第二亮度帧内预测模式分别映射第五变换核组和第六变换核组,其中,所述第五变换核组的水平方向的变换核和所述第六变换核组的水平方向的变换核不同,和/或,所述第五变换核组的垂直方向的变换核和所述第六变换核组的垂直方向的变换核不同。
29.根据权利要求28所述的装置,其特征在于,所述预置位置关系为相邻预测方向。
30.根据权利要求24至27中任一项所述的装置,其特征在于,所述多个亮度帧内预测模式,包括第一预测模式集合和第二预测模式集合,所述第一预测模式集合包括水平预测模式和在预测方向上和所述水平预测模式相邻的预置个数的亮度帧内预测模式,所述第二预测模式集合包括垂直预测模式和在预测方向上和所述垂直预测模式相邻的预置个数的亮度帧内预测模式,在所述第一映射关系中,所述第一预测模式集合中的任一亮度帧内预测模式和所述第二预测模式集合中的任一亮度帧内预测模式分别映射第七变换核组和第八变换核组,其中,所述第七变换核组的水平方向的变换核和所述第八变换核组的水平方向的变换核不同,和/或,所述第七变换核组的垂直方向的变换核和所述第八变换核组的垂直方向的变换核不同。
31.根据权利要求24至30中任一项所述的装置,其特征在于,所述多个亮度帧内预测模式,还包括第三预测模式集合,所述第三预测模式集合包括45度预测模式和在预测方向上和所述45度预测模式相邻的预置个数的亮度帧内预测模式,在所述第一映射关系中,所述第三预测模式集合中的任一亮度帧内预测模式映射第九变换核组,其中,所述第九变换核组的水平方向的变换核和垂直方向的变换核相同。
32.根据权利要求24至31中任一项所述的装置,其特征在于,在所述第一映射关系中,非角度模式对应至少一个所述变换核组,其中,所述非角度模式包括Planar模式和DC模式。
33.一种图像解码装置,其特征在于,包括:
第五处理模块,用于解析码流以获得第一变换系数和目标亮度帧内预测模式;
第六处理模块,用于根据预置的多个亮度帧内预测模式和多个变换核组之间的第一映射关系以及所述目标亮度帧内预测模式,确定第一反变换核组,其中,所述第一映射关系由根据所述多个亮度帧内预测模式获得的亮度分量残差块的预测特性确定;
第七处理模块,用于使用所述第一反变换核组对所述第一变换系数进行反变换,以得到所述亮度分量残差块。
34.根据权利要求33所述的装置,其特征在于,所述装置还包括:
第八处理模块,用于从所述码流中解析指示信息,所述指示信息用于指示将预置的至少一个所述亮度帧内预测模式和至少一个所述变换核组之间的第四映射关系和预置的至少一个所述亮度帧内预测模式和至少一个所述变换核组之间的第二映射关系中的一者确定为所述第一映射关系;
对应的,所述第六处理模块具体用于:
根据所述指示信息,从所述第四映射关系和所述第二映射关系中确定所述第一映射关系;
根据所述第一映射关系以及所述目标亮度帧内预测模式,确定所述第一反变换核组。
35.根据权利要求33或34所述的装置,其特征在于,所述第五处理模块还用于解析码流以获得第二变换系数和目标色度帧内预测模式;
所述第六处理模块还用于根据预置的多个色度帧内预测模式和多个变换核组之间的第三映射关系、所述目标色度帧内预测模式以及色度分量残差块的尺寸,确定第四反变换核组;
所述第七处理模块还用于使用所述第四反变换核组对所述第二变换系数进行反变换,以得到所述色度分量残差块。
36.根据权利要求33至35中任一项所述的装置,其特征在于,所述变换核组包括水平方向的变换核和垂直方向的变换核,在所述第一映射关系中,具有预置位置关系的第一亮度帧内预测模式和第二亮度帧内预测模式分别映射第五变换核组和第六变换核组,其中,所述第五变换核组的水平方向的变换核和所述第六变换核组的水平方向的变换核不同,和/或,所述第五变换核组的垂直方向的变换核和所述第六变换核组的垂直方向的变换核不同。
37.根据权利要求36所述的装置,其特征在于,所述预置位置关系为相邻预测方向。
38.根据权利要求33至35中任一项所述的装置,其特征在于,所述多个亮度帧内预测模式,包括第一预测模式集合和第二预测模式集合,所述第一预测模式集合包括水平预测模式和在预测方向上和所述水平预测模式相邻的预置个数的亮度帧内预测模式,所述第二预测模式集合包括垂直预测模式和在预测方向上和所述垂直预测模式相邻的预置个数的亮度帧内预测模式,在所述第一映射关系中,所述第一预测模式集合中的任一亮度帧内预测模式和所述第二预测模式集合中的任一亮度帧内预测模式分别映射第七变换核组和第八变换核组,其中,所述第七变换核组的水平方向的变换核和所述第八变换核组的水平方向的变换核不同,和/或,所述第七变换核组的垂直方向的变换核和所述第八变换核组的垂直方向的变换核不同。
39.根据权利要求33至38中任一项所述的装置,其特征在于,所述多个亮度帧内预测模式,还包括第三预测模式集合,所述第三预测模式集合包括45度预测模式和在预测方向上和所述45度预测模式相邻的预置个数的亮度帧内预测模式,在所述第一映射关系中,所述第三预测模式集合中的任一亮度帧内预测模式映射第九变换核组,其中,所述第九变换核组的水平方向的变换核和垂直方向的变换核相同。
40.根据权利要求33至39中任一项所述的装置,其特征在于,在所述第一映射关系中,非角度模式对应至少一个所述变换核组,其中,所述非角度模式包括Planar模式和DC模式。
CN201711326192.5A 2017-12-13 2017-12-13 图像编解码方法和装置 Active CN109922348B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711326192.5A CN109922348B (zh) 2017-12-13 2017-12-13 图像编解码方法和装置
PCT/CN2018/120427 WO2019114713A1 (zh) 2017-12-13 2018-12-12 图像编解码方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711326192.5A CN109922348B (zh) 2017-12-13 2017-12-13 图像编解码方法和装置

Publications (2)

Publication Number Publication Date
CN109922348A true CN109922348A (zh) 2019-06-21
CN109922348B CN109922348B (zh) 2020-09-18

Family

ID=66819981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711326192.5A Active CN109922348B (zh) 2017-12-13 2017-12-13 图像编解码方法和装置

Country Status (2)

Country Link
CN (1) CN109922348B (zh)
WO (1) WO2019114713A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021017923A1 (en) * 2019-08-01 2021-02-04 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods of chroma intra mode derivation

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114026865A (zh) * 2019-06-21 2022-02-08 北京字节跳动网络技术有限公司 用于色度分量的编解码工具

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102045560A (zh) * 2009-10-23 2011-05-04 华为技术有限公司 一种视频编解码方法及设备
CN102447896A (zh) * 2010-09-30 2012-05-09 华为技术有限公司 图像残差块的处理方法、装置和系统
CN103096053A (zh) * 2011-11-04 2013-05-08 华为技术有限公司 一种变换模式的编解码方法和装置
WO2017135759A1 (ko) * 2016-02-04 2017-08-10 삼성전자 주식회사 크로마 다중 변환에 의한 비디오 복호화 방법 및 장치, 크로마 다중 변환에 의한 비디오 부호화 방법 및 장치
CN107277514A (zh) * 2011-10-19 2017-10-20 株式会社Kt 解码视频信号的方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5908848B2 (ja) * 2010-03-10 2016-04-26 トムソン ライセンシングThomson Licensing 変換選択を有するビデオ符号化および復号のための制約付きの変換を行う方法および装置
US8885701B2 (en) * 2010-09-08 2014-11-11 Samsung Electronics Co., Ltd. Low complexity transform coding using adaptive DCT/DST for intra-prediction
RU2719340C2 (ru) * 2011-10-18 2020-04-17 Кт Корпорейшен Способ декодирования видеосигнала
US10531123B2 (en) * 2015-03-06 2020-01-07 Korea Advanced Institute Of Science And Technology Image encoding and decoding method based on low-complexity transformation, and apparatus using same
WO2017043941A1 (ko) * 2015-09-10 2017-03-16 엘지전자(주) 예측 각도에 따른 그래프 기반 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
CN105791867B (zh) * 2016-03-23 2019-02-22 北京大学 基于边界自适应变换的优化视频数据编码方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102045560A (zh) * 2009-10-23 2011-05-04 华为技术有限公司 一种视频编解码方法及设备
CN102447896A (zh) * 2010-09-30 2012-05-09 华为技术有限公司 图像残差块的处理方法、装置和系统
CN107277514A (zh) * 2011-10-19 2017-10-20 株式会社Kt 解码视频信号的方法
CN103096053A (zh) * 2011-11-04 2013-05-08 华为技术有限公司 一种变换模式的编解码方法和装置
WO2017135759A1 (ko) * 2016-02-04 2017-08-10 삼성전자 주식회사 크로마 다중 변환에 의한 비디오 복호화 방법 및 장치, 크로마 다중 변환에 의한 비디오 부호화 방법 및 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANKUR SAXENA等: "DCT/DST-Based Transform Coding for Intra Prediction in Image/Video Coding", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
JIANLE CHEN等: "Algorithm Description of Joint Exploration Test Model 7 (JEM 7)", 《JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021017923A1 (en) * 2019-08-01 2021-02-04 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods of chroma intra mode derivation
CN113348665A (zh) * 2019-08-01 2021-09-03 华为技术有限公司 编码器、解码器及色度帧内模式推导的对应方法
CN113348665B (zh) * 2019-08-01 2024-01-02 华为技术有限公司 编码器、解码器及色度帧内模式推导的对应方法

Also Published As

Publication number Publication date
WO2019114713A1 (zh) 2019-06-20
CN109922348B (zh) 2020-09-18

Similar Documents

Publication Publication Date Title
CN105900432B (zh) 用于屏幕内容编码的二维调色板编码
CN110999296B (zh) 解码360度视频的方法、设备及计算机可读介质
US20230300351A1 (en) Method and device for picture encoding and decoding
JP2020517164A (ja) 面連続性を使用する360度ビデオコーディング
CN111713111A (zh) 用于360度视频译码的面不连续性滤波
TW201812708A (zh) 使用幾何投影360度視訊編碼
CN110199523A (zh) 用于帧内平面编码的预测方法
CN108111851A (zh) 一种去块滤波方法及终端
CN108965876A (zh) 视频解码方法
US20220303535A1 (en) Lossless mode for versatile video coding
US11528507B2 (en) Image encoding and decoding method, apparatus, and system, and storage medium to determine a transform core pair to effectively reduce encoding complexity
CN110121073A (zh) 一种双向帧间预测方法及装置
US20240031560A1 (en) Intra prediction with geometric partition
JP2022526943A (ja) オプティカルフローによるデコーダ側動きベクトル精緻化についての予測精緻化のための方法および装置
EP3706421A1 (en) Method and apparatus for video encoding and decoding based on affine motion compensation
JP2020517133A (ja) ジオメトリパディングに基づいた360度ビデオのための予測符号化
EP3664449A1 (en) Method and device for picture encoding and decoding
EP3703372A1 (en) Interframe prediction method and apparatus, and terminal device
EP4218240A1 (en) Template matching prediction for versatile video coding
CN109565588A (zh) 色度预测的方法及装置
CN106416256A (zh) 用于对深度图像进行编码或解码的方法和设备
CN117597933A (zh) 空间局部光照补偿
CN109922348A (zh) 图像编解码方法和装置
EP4082204A1 (en) Estimating weighted-prediction parameters
EP3641311A1 (en) Encoding and decoding methods and apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant