CN109565588B - 色度预测的方法及装置 - Google Patents

色度预测的方法及装置 Download PDF

Info

Publication number
CN109565588B
CN109565588B CN201680088356.2A CN201680088356A CN109565588B CN 109565588 B CN109565588 B CN 109565588B CN 201680088356 A CN201680088356 A CN 201680088356A CN 109565588 B CN109565588 B CN 109565588B
Authority
CN
China
Prior art keywords
prediction mode
candidate
chroma
luma
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680088356.2A
Other languages
English (en)
Other versions
CN109565588A (zh
Inventor
韩钰
安基程
郑建铧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN109565588A publication Critical patent/CN109565588A/zh
Application granted granted Critical
Publication of CN109565588B publication Critical patent/CN109565588B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/16Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1887Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a variable length codeword
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

本发明实施例公开了一种色度预测的方法,待处理色度单元对应一个亮度处理单元,所述亮度处理单元和所述待处理色度单元分别为同一图像区域的亮度分量和色度分量的处理单元,所述亮度处理单元对应一个或多个亮度重构单元,该方法包括:从预设候选亮度预测模式中确定所述亮度处理单元的一个或多个目标亮度预测模式,任一所述目标亮度预测模式对应的所述亮度处理单元的亮度预测值和所述亮度处理单元的亮度重构值的差异小于或等于所有未被确定为所述目标亮度预测模式的候选亮度预测模式对应的所述亮度处理单元的亮度预测值和所述亮度处理单元的亮度重构值的差异;获得所述待处理色度单元的色度预测值,所述待处理色度单元的候选色度预测模式集合包括所述目标亮度预测模式。

Description

色度预测的方法及装置
技术领域
本发明涉及视频压缩编解码领域,特别涉及一种色度预测的方法及装置。
背景技术
数字视频能力可并入到大范围的装置中,包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频会议装置、视频流装置等等。数字视频装置实施视频压缩技术,例如由MPEG-2、MPEG-4、ITU-TH.263、ITU-TH.264/MPEG-4第10部分高级视频编解码(AVC)、ITU-TH.265高效率视频编解码(HEVC)标准定义的标准和所述标准的扩展部分中所描述的那些视频压缩技术,从而更高效地发射及接收数字视频信息。视频装置可通过实施这些视频编解码技术来更高效地发射、接收、编码、解码和/或存储数字视频信息。
在电视系统中视频压缩编码多数采用的是亮度-色度-色度(YUV)颜色编码,它是欧洲电视系统广泛采用的标准。YUV颜色空间中包括一个亮度信号Y和两个色差信号U和V,三个分量彼此独立。YUV颜色模式彼此分开的表示方式更加灵活,传输占用带宽少,比传统的红绿蓝(RGB)色彩模型更具优势。例如,YUV 4:2:0形式表示两色度分量U和V在水平方向和垂直方向上都只有亮度Y分量的一半,即4个采样像素点中存在4个亮度分量Y,而色度分量U和V则只有一个。这样表示时,数据量进一步缩小。利用人眼生理视觉特性,通过这种色度抽样的方式实现视频压缩的目的。
预测编码是视频压缩技术中常用的技术手段,即利用之前已编码帧的数据信息来预测当前将要编码的帧。通过预测得到一个预测值,它不完全等同与实际值,之间存在着一定的残差值。如果预测越适合,则预测值就会越接近实际值,残差值就越小,这样对残差值进行编码就能大大减小数据量,在解码端解码时运用残差值加上预测值还原重构出初始图像,这就是预测编码的基本思想方法。在主流编码标准中预测编码分为帧内预测和帧间预测两种基本类型。在帧内预测中,需要对视频序列的亮度分量和色度分量进行亮度预测和色度预测。
发明内容
本发明实施例提供了一种色度预测的方法及装置,基于已重建的亮度重构单元,构建改进的候选色度预测模式集合,并通过合适的模式编码,选择色度预测模式,提高了编码效率。
本发明实施例的第一方面提供了一种色度预测方法,待处理色度单元对应一个亮度处理单元,所述亮度处理单元和所述待处理色度单元分别为同一图像区域的亮度分量和色度分量的处理单元,所述亮度处理单元对应一个或多个亮度重构单元,包括:从预设候选亮度预测模式中确定所述亮度处理单元的一个或多个目标亮度预测模式,任一所述目标亮度预测模式对应的所述亮度处理单元的亮度预测值和所述亮度处理单元的亮度重构值的差异小于或等于所有未被确定为所述目标亮度预测模式的候选亮度预测模式对应的所述亮度处理单元的亮度预测值和所述亮度处理单元的亮度重构值的差异;获得所述待处理色度单元的色度预测值,所述待处理色度单元的候选色度预测模式集合包括所述目标亮度预测模式。
本发明实施例的有益效果在于,基于已重建的亮度重构单元,构建改进的候选色度预测模式集合,并通过合适的模式编码,选择色度预测模式,提高了编码效率。
根据第一方面所述的方法,在第一方面的第一种可行的实施方式中,所述从预设候选亮度预测模式中确定所述亮度处理单元的一个或多个目标亮度预测模式,包括:从所述预设候选亮度预测模式中确定候选亮度预测模式子集合;在所述候选亮度预测模式子集合中选择粗选预测模式;当所述粗选预测模式不符合所述预设条件时,根据所述粗选预测模式,更新所述预设候选亮度预测模式,并且,从所述更新后的预设候选亮度预测模式中重新确定所述候选亮度预测模式子集合,并且,在所述重新确定的候选亮度预测模式子集合中重新选择所述粗选预测模式,直到所述重新选择的粗选预测模式符合所述预设条件;当所述粗选预测模式符合所述预设条件时,将所述粗选预测模式作为所述目标亮度预测模式。
本发明实施例的有益效果在于,通过迭代搜索的方式减少了搜索到最优预测模式所需要的运算量,提高了处理效率,节省了处理时间。
根据第一方面的第一种可行的实施方式所述的方法,在第一方面的第二种可行的实施方式中,所述预设候选亮度预测模式包括方向性预测模式所包括的预测模式和非方向性预测模式所包括的预测模式中的至少一种,所述方向性预测模式包括与二维平面水平方向呈N度的预测模式,N为小于360的非负数,所述非方向性预测模式包括直流预测模式(DC)和平面预测模式(planar),所述从所述预设候选亮度预测模式中确定候选亮度预测模式子集合,包括:确定所述候选亮度预测模式子集合和所述预设候选亮度预测模式相同;或者,确定所述候选亮度预测模式子集合包括以预设角度间隔从所述方向性预测模式中选取的预测模式;或者,确定所述候选亮度预测模式子集合包括以预设角度间隔从所述方向性预测模式中选取的预测模式和所述非方向性预测模式。
根据第一方面的第一种或第二种可行的实施方式所述的方法,在第一方面的第三种可行的实施方式中,所述在所述候选亮度预测模式子集合中选择粗选预测模式,包括:当所述候选亮度预测模式子集合仅包括一种候选亮度预测模式时,确定所述一种候选亮度预测模式为所述粗选预测模式;当所述候选亮度预测模式子集合包括至少两种候选亮度预测模式时,分别计算所述亮度重构值和所述候选亮度预测模式子集合中的候选亮度预测模式对应的候选亮度预测值的差异值,并且,根据所述差异值,确定所述粗选预测模式,任一所述粗选预测模式对应的所述亮度处理单元的亮度预测值和所述亮度处理单元的亮度重构值的差异值小于或等于所有未被确定为所述粗选预测模式的所述候选亮度预测模式子集合中的候选亮度预测模式对应的所述亮度处理单元的亮度预测值和所述亮度处理单元的亮度重构值的差异值。
根据第一方面的第三种可行的实施方式所述的方法,在第一方面的第四种可行的实施方式中,所述候选亮度预测值为候选亮度预测值矩阵,所述亮度重构值为亮度重构值矩阵,所述分别计算所述亮度重构值和所述候选亮度预测模式子集合中的候选亮度预测模式对应的候选亮度预测值的差异值,包括:分别计算所述候选亮度预测值矩阵和所述亮度重构值矩阵对应位置的元素的差值,获得差值矩阵;根据所述差值矩阵确定所述差异值。
根据第一方面的第四种可行的实施方式所述的方法,在第一方面的第五种可行的实施方式中,所述根据所述差值矩阵确定所述差异值,包括:累加所述差值矩阵中每个元素的绝对值作为所述差异值;或者,对所述差值矩阵进行变换,获得差值变换矩阵,累加所述差值变换矩阵中每个元素的绝对值作为所述差异值;或者,对所述差值矩阵依次进行变换、量化、反量化、反变换,获得重构差值矩阵,累加所述重构差值矩阵中每个元素的绝对值作为所述差异值。
本发明实施例的有益效果在于,可以根据不同复杂度和性能的要求选择不同的计算方式,适合于不同的应用场景。
根据第一方面的第五种可行的实施方式所述的方法,在第一方面的第六种可行的实施方式中,所述变换,包括:哈达玛变换(Hadamard),哈尔变换(Haar),离散余弦变换(DCT),或者离散正弦变换(DST);对应的,所述反变换包括:和所述哈达玛变换对应的哈达玛反变换,和所述哈尔变换对应的哈尔反变换,和所述离散余弦变换对应的离散余弦反变换,或者和所述离散正弦变换对应的离散正弦反变换。
本发明实施例的有益效果在于,可以根据不同复杂度和性能的要求选择不同的变换方式,适合于不同的应用场景。
根据第一方面的第一至六任一种可行的实施方式所述的方法,在第一方面的第七种可行的实施方式中,所述根据所述粗选预测模式,更新所述候选亮度预测模式子集合,包括:确定所述更新后的候选亮度预测模式子集合包括所述粗选预测模式和与所述粗选预测模式具有预设角度差的预测模式。
根据第一方面的第七种可行的实施方式所述的方法,在第一方面的第八种可行的实施方式中,所述和与所述粗选预测模式具有预设角度差的预测模式,包括:所述粗选预测模式相邻的M个预测模式,M为正数。
根据第一方面的第一至八任一种可行的实施方式所述的方法,在第一方面的第九种可行的实施方式中,所述预设条件,包括:所述粗选预测模式为所述非方向性预测模式;或者,每个和所述粗选预测模式具有预设角度差的预测模式存在于从所述预设候选亮度预测模式中确定的或从任一所述更新后的预设候选亮度预测模式中重新确定的所述候选亮度预测模式子集合;或者,所述粗选预测模式的所述重新选择的次数达到预设次数;或者,所述粗选预测模式对应的差异值小于预设阈值。
本发明实施例的有益效果在于,可以根据不同复杂度和性能的要求选择不同的终止迭代的条件,适合于不同的应用场景。
根据第一方面,第一方面的第一至九任一种可行的实施方式所述的方法,在第一方面的第十种可行的实施方式中,所述根据目标亮度预测模式,获得所述待处理色度单元的色度预测值,包括:根据所述目标亮度预测模式,确定所述待处理色度单元的候选色度预测模式集合;从所述候选色度预测模式集合中,选择所述待处理色度单元的色度预测模式;根据所述色度预测模式,确定所述待处理色度单元的色度预测值。
根据第一方面的第十种可行的实施方式所述的方法,在第一方面的第十一种可行的实施方式中,所述根据所述目标亮度预测模式,确定所述待处理色度单元的候选色度预测模式集合,包括:确定所述候选色度预测模式集合仅包括所述目标亮度预测模式。
本发明实施例的有益效果在于,候选色度预测模式仅由目标亮度预测模式构成,节省了编码模式的码率。
根据第一方面的第十种可行的实施方式所述的方法,在第一方面的第十二种可行的实施方式中,所述根据所述目标亮度预测模式,确定所述待处理色度单元的候选色度预测模式集合,包括:确定所述候选色度预测模式集合包括所述目标亮度预测模式和一种或多种预设候选色度预测模式。
本发明实施例的有益效果在于,候选色度预测模式增加了预设的其他预测模式,避免了目标亮度预测模式误判时对编码性能的影响。
根据第一方面的第十二种可行的实施方式所述的方法,在第一方面的第十三种可行的实施方式中,所述预设候选色度预测模式,包括:水平预测模式,竖直预测模式,所述直流预测模式,所述平面预测模式和直接预测模式(DM)中的至少一种。
根据第一方面的第十二或十三种可行的实施方式所述的方法,在第一方面的第十四种可行的实施方式中,所述候选色度预测模式,还包括:非水平或非竖直方向上的所述方向性预测模式,或者线性预测模式(LM)。
根据第一方面的第十至十四任一种可行的实施方式所述的方法,在第一方面的第十五种可行的实施方式中,在所述确定所述待处理色度单元的候选色度预测模式集合之后,还包括:确定所述候选色度预测模式集合中的候选色度预测模式的编码码字。
本发明实施例的有益效果在于,根据候选色度预测模式集合中各候选色度预测模式被选中的概率调整候选色度预测模式的编码码字,可以进一步提高编码性能。
根据第一方面的第十五种可行的实施方式所述的方法,在第一方面的第十六种可行的实施方式中,所述确定所述候选色度预测模式集合中的候选色度预测模式的编码码字,包括:使用变长码确定所述候选色度预测模式集合中的候选色度预测模式的编码码字。
根据第一方面的第十六种可行的实施方式所述的方法,在第一方面的第十七种可行的实施方式中,将和所述亮度处理单元的亮度重构值差异最小的所述亮度处理单元的候选亮度预测值对应的预测模式作为第一目标亮度预测模式,所述使用变长码确定所述候选色度预测模式集合中的候选色度预测模式的编码码字,包括:当所述候选色度预测模式集合中包括所述第一目标亮度预测模式、所述线性预测模式和所述直接预测模式时,对所述线性预测模式赋予最小的编码码字,对所述第一目标亮度预测模式赋予除用于表示所述线性预测模式的编码码字以外最小的编码码字,对所述直接预测模式赋予除用于表示所述线性预测模式和所述第一目标亮度预测模式的编码码字以外最小的编码码字;或者,当所述候选色度预测模式集合中包括所述第一目标亮度预测模式、所述线性预测模式和所述直接预测模式时,对所述第一目标亮度预测模式赋予最小的编码码字,对所述线性预测模式赋予除用于表示所述第一目标亮度预测模式的编码码字以外最小的编码码字,对所述直接预测模式赋予除用于表示所述线性预测模式和所述第一目标亮度预测模式的编码码字以外最小的编码码字;或者,当所述候选色度预测模式集合中包括所述第一目标亮度预测模式和所述直接预测模式时,对所述第一目标亮度预测模式赋予最小的编码码字,对所述直接预测模式赋予除用于表示所述第一目标亮度预测模式的编码码字以外最小的编码码字。
本发明实施例的有益效果在于,对候选色度预测模式集合中各候选色度预测模式被选中的概率高的候选色度预测模式赋予较短的编码码字,可以进一步提高编码性能。
根据第一方面的第十六或十七种可行的实施方式所述的方法,在第一方面的第十八种可行的实施方式中,所述使用变长码确定所述候选色度预测模式集合中的候选色度预测模式的编码码字,还包括:根据所述候选色度预测模式的数量确定所述变长码的长度;当所述候选色度预测模式的数量发生改变时,增减所述变长码的长度一位或多位。
根据第一方面,第一方面的第一至十八任一种可行的实施方式所述的方法,在第一方面的第十九种可行的实施方式中,在所述从预设候选亮度预测模式中确定所述亮度处理单元的一个或多个目标亮度预测模式之前,还包括:确定所述预设候选亮度预测模式包括候选亮度预测模式集合,所述候选亮度预测模式集合包括所述方向性预测模式和所述非方向性预测模式;或者,确定所述预设候选亮度预测模式包括所述亮度处理单元对应的所述一个或多个亮度重构单元的亮度预测模式;或者,确定所述预设候选亮度预测模式包括所述待处理色度单元邻域的色度重构单元的色度预测模式。
本发明实施例的有益效果在于,选择相关性较强的预测模式作为候选亮度预测模式参与搜索,提高了搜索的效率和速度。
根据第一方面的第十九种可行的实施方式所述的方法,在第一方面的第二十种可行的实施方式中,所述确定所述预设候选亮度预测模式包括所述亮度处理单元对应的所述一个或多个亮度重构单元的亮度预测模式,还包括:确定所述预设候选亮度预测模式包括和所述一个或多个亮度重构单元的亮度预测模式具有相关性的亮度预测模式。
根据第一方面的第二十种可行的实施方式所述的方法,在第一方面的第二十一种可行的实施方式中,所述和所述一个或多个亮度重构单元的亮度预测模式具有相关性的亮度预测模式,包括:当所述亮度预测模式为所述方向性预测模式时,所述具有相关性的亮度预测模式包括所述一个或多个亮度重构单元的亮度预测模式相邻的P个预测模式,P为正数;或者,当所述亮度预测模式为所述方向性预测模式时,所述具有相关性的亮度预测模式包括所述一个或多个亮度重构单元的亮度预测模式相邻的Q个预测模式和所述非方向性预测模式,Q为正数;或者,当所述亮度预测模式为所述非方向性预测模式时,所述具有相关性的亮度预测模式包括预设的所述方向性预测模式。
根据第一方面的第十九至二十一任一种可行的实施方式所述的方法,在第一方面的第二十二种可行的实施方式中,所述待处理色度单元邻域的色度重构单元的色度预测模式,包括:与所述待处理色度单元的上、左、左上、右上、左下相邻的所述色度重构单元的色度预测模式。
根据第一方面,第一方面的第一至二十二任一种可行的实施方式所述的方法,在第一方面的第二十三种可行的实施方式中,在所述从预设候选亮度预测模式中确定所述亮度处理单元的一个或多个目标亮度预测模式之前,还包括:对所述亮度处理单元进行下采样;对应的,所述从预设候选亮度预测模式中确定所述亮度处理单元的一个或多个目标亮度预测模式,包括:从预设候选亮度预测模式中确定下采样后的亮度处理单元的一个或多个目标亮度预测模式。
本发明实施例的有益效果在于,通过对亮度处理单元进行下采样减少了运算的复杂度,同时下采样后的亮度处理单元也能更接近地反映色度单元的预测方向。
根据第一方面的第二十三种可行的实施方式所述的方法,在第一方面的第二十四种可行的实施方式中,所述对所述亮度处理单元进行下采样,包括:对所述亮度处理单元采用滤波系数为
Figure GPA0000262906760000131
的滤波器进行下采样;或者,对所述亮度处理单元采用滤波系数为
Figure GPA0000262906760000132
的滤波器进行下采样;或者,对所述亮度处理单元采用滤波系数为
Figure GPA0000262906760000133
的滤波器进行下采样;或者,对所述亮度处理单元采用滤波系数为
Figure GPA0000262906760000134
的滤波器进行下采样。
本发明实施例的有益效果在于,可以根据不同复杂度和性能的要求选择不同的滤波器,适合于不同的应用场景。
根据第一方面的第十至二十四任一种可行的实施方式所述的方法,在第一方面的第二十五种可行的实施方式中,所述方法用于编码所述待处理色度单元,所述从所述候选色度预测模式集合中,选择所述待处理色度单元的色度预测模式,包括:遍历所述候选色度预测模式集合中的候选色度预测模式,获得对应的候选色度预测值;根据所述待处理色度单元的原始值和所述遍历的候选色度预测值,计算每种所述候选色度预测模式的编码代价;确定所述编码代价最小的候选色度预测模式为所述待处理色度单元的色度预测模式;编码所述色度预测模式在所述候选色度预测模式集合中索引。
根据第一方面的第二十五种可行的实施方式所述的方法,在第一方面的第二十六种可行的实施方式中,所述编码所述色度预测模式在所述候选色度预测模式集合中索引,包括:根据确定的所述候选色度预测模式集合中的候选色度预测模式的编码码字编码所述索引。
根据第一方面的第十至二十四任一种可行的实施方式所述的方法,在第一方面的第二十七种可行的实施方式中,所述方法用于解码所述待处理色度单元,所述从所述候选色度预测模式集合中,选择所述待处理色度单元的色度预测模式,包括:从码流中解码所述色度预测模式在所述候选色度预测模式集合中索引;根据所述索引从所述候选色度预测模式集合中确定所述色度预测模式。
根据第一方面的第二十七种可行的实施方式所述的方法,在第一方面的第二十八种可行的实施方式中,所述从码流中解码所述色度预测模式在所述候选色度预测模式集合中索引,包括:根据确定的所述候选色度预测模式集合中的候选色度预测模式的编码码字解码所述索引。
本发明实施例的有益效果在于,基于已重建的亮度重构单元,构建改进的候选色度预测模式集合,并通过合适的模式编码,选择色度预测模式,提高了编码效率。
本发明实施例第二方面提供了一种色度预测的装置,待处理色度单元对应一个亮度处理单元,所述亮度处理单元和所述待处理色度单元分别为同一图像区域的亮度分量和色度分量的处理单元,所述亮度处理单元对应一个或多个亮度重构单元,包括:第一确定模块,用于从预设候选亮度预测模式中确定所述亮度处理单元的一个或多个目标亮度预测模式,任一所述目标亮度预测模式对应的所述亮度处理单元的亮度预测值和所述亮度处理单元的亮度重构值的差异小于或等于所有未被确定为所述目标亮度预测模式的候选亮度预测模式对应的所述亮度处理单元的亮度预测值和所述亮度处理单元的亮度重构值的差异;第一构建模块,用于获得所述待处理色度单元的色度预测值,所述待处理色度单元的候选色度预测模式集合包括所述目标亮度预测模式。
根据第二方面所述的装置,在第二方面的第一种可行的实施方式中,所述第一确定模块,包括:第二确定模块,用于从所述预设候选亮度预测模式中确定候选亮度预测模式子集合;第一选择模块,用于在所述候选亮度预测模式子集合中选择粗选预测模式;更新模块,用于当所述粗选预测模式不符合所述预设条件时,根据所述粗选预测模式,更新所述预设候选亮度预测模式,并且,从所述更新后的预设候选亮度预测模式中重新确定所述候选亮度预测模式子集合,并且,在所述重新确定的候选亮度预测模式子集合中重新选择所述粗选预测模式,直到所述重新选择的粗选预测模式符合所述预设条件;当所述粗选预测模式符合所述预设条件时,将所述粗选预测模式作为所述目标亮度预测模式。
根据第二方面的第一种可行的实施方式所述的装置,在第二方面的第二种可行的实施方式中,所述预设候选亮度预测模式包括方向性预测模式所包括的预测模式和非方向性预测模式所包括的预测模式中的至少一种,所述方向性预测模式包括与二维平面水平方向呈N度的预测模式,N为小于360的非负数,所述非方向性预测模式包括直流预测模式和平面预测模式,所述第二确定模块具体用于:确定所述候选亮度预测模式子集合和所述预设候选亮度预测模式相同;或者,确定所述候选亮度预测模式子集合包括以预设角度间隔从所述方向性预测模式中选取的预测模式;或者,确定所述候选亮度预测模式子集合包括以预设角度间隔从所述方向性预测模式中选取的预测模式和所述非方向性预测模式。
根据第二方面的第一或二种可行的实施方式所述的装置,在第二方面的第三种可行的实施方式中,当所述候选亮度预测模式子集合仅包括一种候选亮度预测模式时,所述第一选择模块,具体用于确定所述一种候选亮度预测模式为所述粗选预测模式;当所述候选亮度预测模式子集合包括至少两种候选亮度预测模式时,所述第一选择模块包括:第一计算模块,用于分别计算所述亮度重构值和所述候选亮度预测模式子集合中的候选亮度预测模式对应的候选亮度预测值的差异值;比较模块,用于根据所述差异值,确定所述粗选预测模式,任一所述粗选预测模式对应的所述亮度处理单元的亮度预测值和所述亮度处理单元的亮度重构值的差异值小于或等于所有未被确定为所述粗选预测模式的所述候选亮度预测模式子集合中的候选亮度预测模式对应的所述亮度处理单元的亮度预测值和所述亮度处理单元的亮度重构值的差异值。
根据第二方面的第三种可行的实施方式所述的装置,在第二方面的第四种可行的实施方式中,所述候选亮度预测值为候选亮度预测值矩阵,所述亮度重构值为亮度重构值矩阵,所述第一计算模块,包括:第二计算模块,用于分别计算所述候选亮度预测值矩阵和所述亮度重构值矩阵对应位置的元素的差值,获得差值矩阵;第三确定模块,用于根据所述差值矩阵确定所述差异值。
根据第二方面的第四种可行的实施方式所述的装置,在第二方面的第五种可行的实施方式中,所述第三确定模块具体用于:累加所述差值矩阵中每个元素的绝对值作为所述差异值;或者,对所述差值矩阵进行变换,获得差值变换矩阵,累加所述差值变换矩阵中每个元素的绝对值作为所述差异值;或者,对所述差值矩阵依次进行变换、量化、反量化、反变换,获得重构差值矩阵,累加所述重构差值矩阵中每个元素的绝对值作为所述差异值。
根据第二方面的第五种可行的实施方式所述的装置,在第二方面的第六种可行的实施方式中,所述变换,包括:哈达玛变换,哈尔变换,离散余弦变换,或者离散正弦变换;对应的,所述反变换包括:和所述哈达玛变换对应的哈达玛反变换,和所述哈尔变换对应的哈尔反变换,和所述离散余弦变换对应的离散余弦反变换,或者和所述离散正弦变换对应的离散正弦反变换。
根据第二方面的第一至六任一种可行的实施方式所述的装置,在第二方面的第七种可行的实施方式中,所述更新模块具体用于:确定所述更新后的候选亮度预测模式子集合包括所述粗选预测模式和与所述粗选预测模式具有预设角度差的预测模式。
根据第二方面的第七种可行的实施方式所述的装置,在第二方面的第八种可行的实施方式中,所述和与所述粗选预测模式具有预设角度差的预测模式,包括:所述粗选预测模式相邻的M个预测模式,M为正数。
根据第二方面,第二方面的第一至八任一种可行的实施方式所述的装置,在第二方面的第九种可行的实施方式中,所述预设条件,包括:所述粗选预测模式为所述非方向性预测模式;或者,每个和所述粗选预测模式具有预设角度差的预测模式存在于从所述预设候选亮度预测模式中确定的或从任一所述更新后的预设候选亮度预测模式中重新确定的所述候选亮度预测模式子集合;或者,所述粗选预测模式的所述重新选择的次数达到预设次数;或者,所述粗选预测模式对应的差异值小于预设阈值。
根据第二方面,第二方面的第一至九任一种可行的实施方式所述的装置,在第二方面的第十种可行的实施方式中,所述第一构建模块,包括:第四确定模块,用于根据所述目标亮度预测模式,确定所述待处理色度单元的候选色度预测模式集合;第二选择模块,用于从所述候选色度预测模式集合中,选择所述待处理色度单元的色度预测模式;第五确定模块,用于根据所述色度预测模式,确定所述待处理色度单元的色度预测值。
根据第二方面的第十种可行的实施方式所述的装置,在第二方面的第十一种可行的实施方式中,所述第四确定模块具体用于:确定所述候选色度预测模式集合仅包括所述目标亮度预测模式。
根据第二方面的第十种可行的实施方式所述的装置,在第二方面的第十二种可行的实施方式中,所述第四确定模块具体用于:确定所述候选色度预测模式集合包括所述目标亮度预测模式和一种或多种预设候选色度预测模式。
根据第二方面的第十二种可行的实施方式所述的装置,在第二方面的第十三种可行的实施方式中,所述预设候选色度预测模式,包括:水平预测模式,竖直预测模式,所述直流预测模式,所述平面预测模式和直接预测模式中的至少一种。
根据第二方面的第十二或十三种可行的实施方式所述的装置,在第二方面的第十四种可行的实施方式中,所述候选色度预测模式,还包括:非水平或非竖直方向上的所述方向性预测模式,或者线性预测模式。
根据第二方面的第十至十四任一种可行的实施方式所述的装置,在第二方面的第十五种可行的实施方式中,所述第一构建模块,还包括:第六确定模块,用于确定所述候选色度预测模式集合中的候选色度预测模式的编码码字。
根据第二方面的第十五种可行的实施方式所述的装置,在第二方面的第十六种可行的实施方式中,所述第六确定模块具体用于:使用变长码确定所述候选色度预测模式集合中的候选色度预测模式的编码码字。
根据第二方面的第十六种可行的实施方式所述的装置,在第二方面的第十七种可行的实施方式中,将和所述亮度处理单元的亮度重构值差异最小的所述亮度处理单元的候选亮度预测值对应的预测模式作为第一目标亮度预测模式,所述第六确定模块具体用于:当所述候选色度预测模式集合中包括所述第一目标亮度预测模式、所述线性预测模式和所述直接预测模式时,对所述线性预测模式赋予最小的编码码字,对所述第一目标亮度预测模式赋予除用于表示所述线性预测模式的编码码字以外最小的编码码字,对所述直接预测模式赋予除用于表示所述线性预测模式和所述第一目标亮度预测模式的编码码字以外最小的编码码字;或者,当所述候选色度预测模式集合中包括所述第一目标亮度预测模式、所述线性预测模式和所述直接预测模式时,对所述第一目标亮度预测模式赋予最小的编码码字,对所述线性预测模式赋予除用于表示所述第一目标亮度预测模式的编码码字以外最小的编码码字,对所述直接预测模式赋予除用于表示所述线性预测模式和所述第一目标亮度预测模式的编码码字以外最小的编码码字;或者,当所述候选色度预测模式集合中包括所述第一目标亮度预测模式和所述直接预测模式时,对所述第一目标亮度预测模式赋予最小的编码码字,对所述直接预测模式赋予除用于表示所述第一目标亮度预测模式的编码码字以外最小的编码码字。
根据第二方面的第十六或十七种可行的实施方式所述的装置,在第二方面的第十八种可行的实施方式中,所述第六确定模块,还包括:第七确定模块,用于根据所述候选色度预测模式的数量确定所述变长码的长度;操作模块,用于当所述候选色度预测模式的数量发生改变时,增减所述变长码的长度一位或多位。
根据第二方面,第二方面的第一至十八任一种可行的实施方式所述的装置,在第二方面的第十九种可行的实施方式中,还包括:第八确定模块,用于确定所述预设候选亮度预测模式包括候选亮度预测模式集合,所述候选亮度预测模式集合包括所述方向性预测模式和所述非方向性预测模式;或者,确定所述预设候选亮度预测模式包括所述亮度处理单元对应的所述一个或多个亮度重构单元的亮度预测模式;或者,确定所述预设候选亮度预测模式包括所述待处理色度单元邻域的色度重构单元的色度预测模式。
根据第二方面的第十九种可行的实施方式所述的装置,在第二方面的第二十种可行的实施方式中,所述第八确定模块具体用于:确定所述预设候选亮度预测模式包括和所述一个或多个亮度重构单元的亮度预测模式具有相关性的亮度预测模式。
根据第二方面的第二十种可行的实施方式所述的装置,在第二方面的第二十一种可行的实施方式中,所述和所述一个或多个亮度重构单元的亮度预测模式具有相关性的亮度预测模式,包括:当所述亮度预测模式为所述方向性预测模式时,所述具有相关性的亮度预测模式包括所述一个或多个亮度重构单元的亮度预测模式相邻的P个预测模式,P为正数;或者,当所述亮度预测模式为所述方向性预测模式时,所述具有相关性的亮度预测模式包括所述一个或多个亮度重构单元的亮度预测模式相邻的Q个预测模式和所述非方向性预测模式,Q为正数;或者,当所述亮度预测模式为所述非方向性预测模式时,所述具有相关性的亮度预测模式包括预设的所述方向性预测模式。
根据第二方面的第十九至二十一任一种可行的实施方式所述的装置,在第二方面的第二十二种可行的实施方式中,所述待处理色度单元邻域的色度重构单元的色度预测模式,包括:与所述待处理色度单元的上、左、左上、右上、左下相邻的所述色度重构单元的色度预测模式。
根据第二方面,第二方面的第一至二十二任一种可行的实施方式所述的装置,在第二方面的第二十三种可行的实施方式中,还包括:下采样模块,用于对所述亮度处理单元进行下采样;对应的,所述第一确定模块用于从预设候选亮度预测模式中确定所述下采样后的亮度处理单元的一个或多个目标亮度预测模式。
根据第二方面的第二十三种可行的实施方式所述的装置,在第二方面的第二十四种可行的实施方式中,所述下采样模块具体用于:对所述亮度处理单元采用滤波系数为
Figure GPA0000262906760000211
的滤波器进行下采样;或者,对所述亮度处理单元采用滤波系数为
Figure GPA0000262906760000212
的滤波器进行下采样;或者,对所述亮度处理单元采用滤波系数为
Figure GPA0000262906760000213
的滤波器进行下采样;或者,对所述亮度处理单元采用滤波系数为
Figure GPA0000262906760000214
的滤波器进行下采样。
根据第二方面的第十至二十四任一种可行的实施方式所述的装置,在第二方面的第二十五种可行的实施方式中,所述装置用于编码所述待处理色度单元,其特征在于,所述第二选择模块,包括:第九确定模块,用于遍历所述候选色度预测模式集合中的候选色度预测模式,获得对应的候选色度预测值;第三计算模块,用于根据所述待处理色度单元的原始值和所述遍历的候选色度预测值,计算每种所述候选色度预测模式的编码代价;第十确定模块,用于确定所述编码代价最小的候选色度预测模式为所述待处理色度单元的色度预测模式;编码模块,用于编码所述色度预测模式在所述候选色度预测模式集合中索引。
根据第二方面的第二十五种可行的实施方式所述的装置,在第二方面的第二十六种可行的实施方式中,所述编码模块具体用于:根据确定的所述候选色度预测模式集合中的候选色度预测模式的编码码字编码所述索引。
根据第二方面的第十至二十四任一种可行的实施方式所述的装置,在第二方面的第二十七种可行的实施方式中,所述装置用于解码所述待处理色度单元,其特征在于,所述第二选择模块,包括:解码模块,用于从码流中解码所述色度预测模式在所述候选色度预测模式集合中索引;第十一确定模块,用于根据所述索引从所述候选色度预测模式集合中确定所述色度预测模式。
根据第二方面的第二十七种可行的实施方式所述的装置,在第二方面的第二十八种可行的实施方式中,所述解码模块具体用于:根据确定的所述候选色度预测模式集合中的候选色度预测模式的编码码字解码所述索引。
本发明实施例的第三方面提供了一种计算机存储介质,用于储存实现上述第一方面所述方法的计算机软件指令,所述指令包含用于执行上述第一方面所设计的色度预测的方法。
本发明实施例的第四方面提供了一种装置,包括存储器和耦合于所述存储器的处理器,所述处理器用于执行上述第一方面所设计的色度预测的方法。
本发明实施例的第五方面提供了一种第一色度预测方法,待处理第一色度单元对应一个第二色度处理单元,所述第二色度处理单元和所述待处理第一色度单元分别为同一图像区域的第二色度分量和第一色度分量的处理单元,所述第二色度处理单元对应一个或多个第二色度重构单元,包括:从预设候选第二色度预测模式中确定所述第二色度处理单元的一个或多个目标第二色度预测模式,任一所述目标第二色度预测模式对应的所述第二色度处理单元的第二色度预测值和所述第二色度处理单元的第二色度重构值的差异小于或等于所有未被确定为所述目标第二色度预测模式的候选第二色度预测模式对应的所述第二色度处理单元的第二色度预测值和所述第二色度处理单元的第二色度重构值的差异;获得所述待处理第一色度单元的第一色度预测值,所述待处理第一色度单元的候选第一色度预测模式集合包括所述目标第二色度预测模式。
根据第五方面所述的方法,在第五方面的第一种可行的实施方式中,所述从预设候选第二色度预测模式中确定所述第二色度处理单元的一个或多个目标第二色度预测模式,包括:从所述预设候选第二色度预测模式中确定候选第二色度预测模式子集合;在所述候选第二色度预测模式子集合中选择粗选预测模式;当所述粗选预测模式不符合所述预设条件时,根据所述粗选预测模式,更新所述预设候选第二色度预测模式,并且,从所述更新后的预设候选第二色度预测模式中重新确定所述候选第二色度预测模式子集合,并且,在所述重新确定的候选第二色度预测模式子集合中重新选择所述粗选预测模式,直到所述重新选择的粗选预测模式符合所述预设条件;当所述粗选预测模式符合所述预设条件时,将所述粗选预测模式作为所述目标第二色度预测模式。
本发明实施例的有益效果在于,通过迭代搜索的方式减少了搜索到最优预测模式所需要的运算量,提高了处理效率,节省了处理时间。
根据第五方面的第一种可行的实施方式所述的方法,在第五方面的第二种可行的实施方式中,所述预设候选第二色度预测模式包括方向性预测模式所包括的预测模式和非方向性预测模式所包括的预测模式中的至少一种,所述方向性预测模式包括与二维平面水平方向呈N度的预测模式,N为小于360的非负数,所述非方向性预测模式包括直流预测模式,平面预测模式和线性预测模式,所述从所述预设候选第二色度预测模式中确定候选第二色度预测模式子集合,包括:确定所述候选第二色度预测模式子集合和所述预设候选第二色度预测模式相同;或者,确定所述候选第二色度预测模式子集合包括以预设角度间隔从所述方向性预测模式中选取的预测模式;或者,确定所述候选第二色度预测模式子集合包括以预设角度间隔从所述方向性预测模式中选取的预测模式和所述非方向性预测模式。
根据第五方面的第一种或第二种可行的实施方式所述的方法,在第五方面的第三种可行的实施方式中,所述在所述候选第二色度预测模式子集合中选择粗选预测模式,包括:当所述候选第二色度预测模式子集合仅包括一种候选第二色度预测模式时,确定所述一种候选第二色度预测模式为所述粗选预测模式;当所述候选第二色度预测模式子集合包括至少两种候选第二色度预测模式时,分别计算所述第二色度重构值和所述候选第二色度预测模式子集合中的候选第二色度预测模式对应的候选第二色度预测值的差异值,并且,根据所述差异值,确定所述粗选预测模式,任一所述粗选预测模式对应的所述第二色度处理单元的第二色度预测值和所述第二色度处理单元的第二色度重构值的差异值小于或等于所有未被确定为所述粗选预测模式的所述候选第二色度预测模式子集合中的候选第二色度预测模式对应的所述第二色度处理单元的第二色度预测值和所述第二色度处理单元的第二色度重构值的差异值。
根据第五方面的第三种可行的实施方式所述的方法,在第五方面的第四种可行的实施方式中,所述候选第二色度预测值为候选第二色度预测值矩阵,所述第二色度重构值为第二色度重构值矩阵,所述分别计算所述第二色度重构值和所述候选第二色度预测模式子集合中的候选第二色度预测模式对应的候选第二色度预测值的差异值,包括:分别计算所述候选第二色度预测值矩阵和所述第二色度重构值矩阵对应位置的元素的差值,获得差值矩阵;根据所述差值矩阵确定所述差异值。
根据第五方面的第四种可行的实施方式所述的方法,在第五方面的第五种可行的实施方式中,所述根据所述差值矩阵确定所述差异值,包括:累加所述差值矩阵中每个元素的绝对值作为所述差异值;或者,对所述差值矩阵进行变换,获得差值变换矩阵,累加所述差值变换矩阵中每个元素的绝对值作为所述差异值;或者,对所述差值矩阵依次进行变换、量化、反量化、反变换,获得重构差值矩阵,累加所述重构差值矩阵中每个元素的绝对值作为所述差异值。
本发明实施例的有益效果在于,可以根据不同复杂度和性能的要求选择不同的计算方式,适合于不同的应用场景。
根据第五方面的第五种可行的实施方式所述的方法,在第五方面的第六种可行的实施方式中,所述变换,包括:哈达玛变换,哈尔变换,离散余弦变换,或者离散正弦变换;对应的,所述反变换包括:和所述哈达玛变换对应的哈达玛反变换,和所述哈尔变换对应的哈尔反变换,和所述离散余弦变换对应的离散余弦反变换,或者和所述离散正弦变换对应的离散正弦反变换。
本发明实施例的有益效果在于,可以根据不同复杂度和性能的要求选择不同的变换方式,适合于不同的应用场景。
根据第五方面的第一至六任一种可行的实施方式所述的方法,在第五方面的第七种可行的实施方式中,所述根据所述粗选预测模式,更新所述候选第二色度预测模式子集合,包括:确定所述更新后的候选第二色度预测模式子集合包括所述粗选预测模式和与所述粗选预测模式具有预设角度差的预测模式。
根据第五方面的第七种可行的实施方式所述的方法,在第五方面的第八种可行的实施方式中,所述和与所述粗选预测模式具有预设角度差的预测模式,包括:所述粗选预测模式相邻的M个预测模式,M为正数。
根据第五方面的第一至八任一种可行的实施方式所述的方法,在第五方面的第九种可行的实施方式中,所述预设条件,包括:所述粗选预测模式为所述非方向性预测模式;或者,每个和所述粗选预测模式具有预设角度差的预测模式存在于从所述预设候选第二色度预测模式中确定的或从任一所述更新后的预设候选第二色度预测模式中重新确定的所述候选第二色度预测模式子集合;或者,所述粗选预测模式的所述重新选择的次数达到预设次数;或者,所述粗选预测模式对应的差异值小于预设阈值。
本发明实施例的有益效果在于,可以根据不同复杂度和性能的要求选择不同的终止迭代的条件,适合于不同的应用场景。
根据第五方面,第五方面的第一至九任一种可行的实施方式所述的方法,在第五方面的第十种可行的实施方式中,所述根据目标第二色度预测模式,获得所述待处理第一色度单元的第一色度预测值,包括:根据所述目标第二色度预测模式,确定所述待处理第一色度单元的候选第一色度预测模式集合;从所述候选第一色度预测模式集合中,选择所述待处理第一色度单元的第一色度预测模式;根据所述第一色度预测模式,确定所述待处理第一色度单元的第一色度预测值。
根据第五方面的第十种可行的实施方式所述的方法,在第五方面的第十一种可行的实施方式中,所述根据所述目标第二色度预测模式,确定所述待处理第一色度单元的候选第一色度预测模式集合,包括:确定所述候选第一色度预测模式集合仅包括所述目标第二色度预测模式。
本发明实施例的有益效果在于,候选第一色度预测模式仅由目标第二色度预测模式构成,节省了编码模式的码率。
根据第五方面的第十种可行的实施方式所述的方法,在第五方面的第十二种可行的实施方式中,所述根据所述目标第二色度预测模式,确定所述待处理第一色度单元的候选第一色度预测模式集合,包括:确定所述候选第一色度预测模式集合包括所述目标第二色度预测模式和一种或多种预设候选第一色度预测模式。
本发明实施例的有益效果在于,候选第一色度预测模式增加了预设的其他预测模式,避免了目标第二色度预测模式误判时对编码性能的影响。
根据第五方面的第十二种可行的实施方式所述的方法,在第五方面的第十三种可行的实施方式中,所述预设候选第一色度预测模式,包括:水平预测模式,竖直预测模式,所述直流预测模式,所述平面预测模式和直接预测模式中的至少一种。
根据第五方面的第十二或十三种可行的实施方式所述的方法,在第五方面的第十四种可行的实施方式中,所述候选第一色度预测模式,还包括:非水平或非竖直方向上的所述方向性预测模式,或者线性预测模式。
根据第五方面的第十至十四任一种可行的实施方式所述的方法,在第五方面的第十五种可行的实施方式中,在所述确定所述待处理第一色度单元的候选第一色度预测模式集合之后,还包括:确定所述候选第一色度预测模式集合中的候选第一色度预测模式的编码码字。
本发明实施例的有益效果在于,根据候选第一色度预测模式集合中各候选第一色度预测模式被选中的概率调整候选第一色度预测模式的编码码字,可以进一步提高编码性能。
根据第五方面的第十五种可行的实施方式所述的方法,在第五方面的第十六种可行的实施方式中,所述确定所述候选第一色度预测模式集合中的候选第一色度预测模式的编码码字,包括:使用变长码确定所述候选第一色度预测模式集合中的候选第一色度预测模式的编码码字。
根据第五方面的第十六种可行的实施方式所述的方法,在第五方面的第十七种可行的实施方式中,将和所述第二色度处理单元的第二色度重构值差异最小的所述第二色度处理单元的候选第二色度预测值对应的预测模式作为第一目标第二色度预测模式,所述使用变长码确定所述候选第一色度预测模式集合中的候选第一色度预测模式的编码码字,包括:当所述候选第一色度预测模式集合中包括所述第一目标第二色度预测模式、所述线性预测模式和所述直接预测模式时,对所述线性预测模式赋予最小的编码码字,对所述第一目标第二色度预测模式赋予除用于表示所述线性预测模式的编码码字以外最小的编码码字,对所述直接预测模式赋予除用于表示所述线性预测模式和所述第一目标第二色度预测模式的编码码字以外最小的编码码字;或者,当所述候选第一色度预测模式集合中包括所述第一目标第二色度预测模式、所述线性预测模式和所述直接预测模式时,对所述第一目标第二色度预测模式赋予最小的编码码字,对所述线性预测模式赋予除用于表示所述第一目标第二色度预测模式的编码码字以外最小的编码码字,对所述直接预测模式赋予除用于表示所述线性预测模式和所述第一目标第二色度预测模式的编码码字以外最小的编码码字;或者,当所述候选第一色度预测模式集合中包括所述第一目标第二色度预测模式和所述直接预测模式时,对所述第一目标第二色度预测模式赋予最小的编码码字,对所述直接预测模式赋予除用于表示所述第一目标第二色度预测模式的编码码字以外最小的编码码字。
本发明实施例的有益效果在于,对候选第一色度预测模式集合中各候选第一色度预测模式被选中的概率高的候选第一色度预测模式赋予较短的编码码字,可以进一步提高编码性能。
根据第五方面的第十六或十七种可行的实施方式所述的方法,在第五方面的第十八种可行的实施方式中,所述使用变长码确定所述候选第一色度预测模式集合中的候选第一色度预测模式的编码码字,还包括:根据所述候选第一色度预测模式的数量确定所述变长码的长度;当所述候选第一色度预测模式的数量发生改变时,增减所述变长码的长度一位或多位。
根据第五方面,第五方面的第一至十八任一种可行的实施方式所述的方法,在第五方面的第十九种可行的实施方式中,在所述从预设候选第二色度预测模式中确定所述第二色度处理单元的一个或多个目标第二色度预测模式之前,还包括:确定所述预设候选第二色度预测模式包括候选第二色度预测模式集合,所述候选第二色度预测模式集合包括所述方向性预测模式和所述非方向性预测模式;或者,确定所述预设候选第二色度预测模式包括所述第二色度处理单元对应的所述一个或多个第二色度重构单元的第二色度预测模式;或者,确定所述预设候选第二色度预测模式包括所述待处理第一色度单元邻域的第一色度重构单元的第一色度预测模式。
本发明实施例的有益效果在于,选择相关性较强的预测模式作为候选第二色度预测模式参与搜索,提高了搜索的效率和速度。
根据第五方面的第十九种可行的实施方式所述的方法,在第五方面的第二十种可行的实施方式中,所述确定所述预设候选第二色度预测模式包括所述第二色度处理单元对应的所述一个或多个第二色度重构单元的第二色度预测模式,还包括:确定所述预设候选第二色度预测模式包括和所述一个或多个第二色度重构单元的第二色度预测模式具有相关性的第二色度预测模式。
根据第五方面的第二十种可行的实施方式所述的方法,在第五方面的第二十一种可行的实施方式中,所述和所述一个或多个第二色度重构单元的第二色度预测模式具有相关性的第二色度预测模式,包括:当所述第二色度预测模式为所述方向性预测模式时,所述具有相关性的第二色度预测模式包括所述一个或多个第二色度重构单元的第二色度预测模式相邻的P个预测模式,P为正数;或者,当所述第二色度预测模式为所述方向性预测模式时,所述具有相关性的第二色度预测模式包括所述一个或多个第二色度重构单元的第二色度预测模式相邻的Q个预测模式和所述非方向性预测模式,Q为正数;或者,当所述第二色度预测模式为所述非方向性预测模式时,所述具有相关性的第二色度预测模式包括预设的所述方向性预测模式。
根据第五方面的第十九至二十一任一种可行的实施方式所述的方法,在第五方面的第二十二种可行的实施方式中,所述待处理第一色度单元邻域的第一色度重构单元的第一色度预测模式,包括:与所述待处理第一色度单元的上、左、左上、右上、左下相邻的所述第一色度重构单元的第一色度预测模式。
根据第五方面,第五方面的第一至二十二任一种可行的实施方式所述的方法,在第五方面的第二十三种可行的实施方式中,在所述从预设候选第二色度预测模式中确定所述第二色度处理单元的一个或多个目标第二色度预测模式之前,还包括:对所述第二色度处理单元进行下采样;对应的,所述从预设候选第二色度预测模式中确定所述第二色度处理单元的一个或多个目标第二色度预测模式,包括:从预设候选第二色度预测模式中确定下采样后的第二色度处理单元的一个或多个目标第二色度预测模式。
本发明实施例的有益效果在于,通过对第二色度处理单元进行下采样减少了运算的复杂度,同时下采样后的第二色度处理单元也能更接近地反映第一色度单元的预测方向。
根据第五方面的第二十三种可行的实施方式所述的方法,在第五方面的第二十四种可行的实施方式中,所述对所述第二色度处理单元进行下采样,包括:对所述第二色度处理单元采用滤波系数为
Figure GPA0000262906760000311
的滤波器进行下采样;或者,对所述第二色度处理单元采用滤波系数为
Figure GPA0000262906760000312
的滤波器进行下采样;或者,对所述第二色度处理单元采用滤波系数为
Figure GPA0000262906760000313
的滤波器进行下采样;或者,对所述第二色度处理单元采用滤波系数为
Figure GPA0000262906760000314
的滤波器进行下采样。
本发明实施例的有益效果在于,可以根据不同复杂度和性能的要求选择不同的滤波器,适合于不同的应用场景。
根据第五方面的第十至二十四任一种可行的实施方式所述的方法,在第五方面的第二十五种可行的实施方式中,所述方法用于编码所述待处理第一色度单元,所述从所述候选第一色度预测模式集合中,选择所述待处理第一色度单元的第一色度预测模式,包括:遍历所述候选第一色度预测模式集合中的候选第一色度预测模式,获得对应的候选第一色度预测值;根据所述待处理第一色度单元的原始值和所述遍历的候选第一色度预测值,计算每种所述候选第一色度预测模式的编码代价;确定所述编码代价最小的候选第一色度预测模式为所述待处理第一色度单元的第一色度预测模式;编码所述第一色度预测模式在所述候选第一色度预测模式集合中索引。
根据第五方面的第二十五种可行的实施方式所述的方法,在第五方面的第二十六种可行的实施方式中,所述编码所述第一色度预测模式在所述候选第一色度预测模式集合中索引,包括:根据确定的所述候选第一色度预测模式集合中的候选第一色度预测模式的编码码字编码所述索引。
根据第五方面的第十至二十四任一种可行的实施方式所述的方法,在第五方面的第二十七种可行的实施方式中,所述方法用于解码所述待处理第一色度单元,所述从所述候选第一色度预测模式集合中,选择所述待处理第一色度单元的第一色度预测模式,包括:从码流中解码所述第一色度预测模式在所述候选第一色度预测模式集合中索引;根据所述索引从所述候选第一色度预测模式集合中确定所述第一色度预测模式。
根据第五方面的第二十七种可行的实施方式所述的方法,在第五方面的第二十八种可行的实施方式中,所述从码流中解码所述第一色度预测模式在所述候选第一色度预测模式集合中索引,包括:根据确定的所述候选第一色度预测模式集合中的候选第一色度预测模式的编码码字解码所述索引。
本发明实施例的第六方面提供了一种第一色度预测方法,待处理第一色度单元对应一个第二色度处理单元,所述第二色度处理单元和所述待处理第一色度单元分别为处理同一图像区域的第二色度分量和第一色度分量的处理单元,所述第二色度处理单元对应一个或多个第二色度重构单元,包括:确定和所述第二色度处理单元的第二色度重构值差异最小的所述第二色度处理单元的候选第二色度预测值,任一所述候选第二色度预测值对应一种候选第二色度预测模式;根据目标第二色度预测模式,获得所述待处理第一色度单元的第一色度预测值,所述目标第二色度预测模式包括所述候选第二色度预测值对应的候选第二色度预测模式。
根据第六方面所述的方法,在第六方面的第一种可行的实施方式中,所述确定和所述第二色度处理单元的第二色度重构值差异最小的所述第二色度处理单元的候选第二色度预测值,包括:在预设候选第二色度预测模式中,迭代确定粗选预测模式,直到所述粗选预测模式符合预设条件,所述符合预设条件的粗选预测模式对应所述候选第二色度预测值。
根据第六方面的第一种可行的实施方式所述的方法,在第六方面的第二种可行的实施方式中,所述迭代确定粗选预测模式,包括:从所述预设候选第二色度预测模式中确定候选第二色度预测模式子集合;在所述候选第二色度预测模式子集合中选择粗选预测模式;当所述粗选预测模式不符合所述预设条件时,根据所述粗选预测模式,更新所述预设候选第二色度预测模式。
根据第六方面的第二种可行的实施方式所述的方法,在第六方面的第三种可行的实施方式中,所述预设候选第二色度预测模式包括方向性预测模式所包括的预测模式和非方向性预测模式所包括的预测模式中的至少一种,所述方向性预测模式包括与二维平面水平方向呈N度的预测模式,N为小于360的非负数,所述非方向性预测模式包括直流预测模式,平面预测模式和线性预测模式,所述从所述预设候选第二色度预测模式中确定候选第二色度预测模式子集合,包括:确定所述候选第二色度预测模式子集合和所述预设候选第二色度预测模式相同;或者,确定所述候选第二色度预测模式子集合包括以预设角度间隔从所述方向性预测模式中选取的预测模式;或者,确定所述候选第二色度预测模式子集合包括以预设角度间隔从所述方向性预测模式中选取的预测模式和所述非方向性预测模式。
根据第六方面的第三种可行的实施方式所述的方法,在第六方面的第四种可行的实施方式中,所述在所述候选第二色度预测模式子集合中选择粗选预测模式,包括:计算所述第二色度重构值和所述候选第二色度预测模式子集合中至少两种候选第二色度预测模式对应的候选第二色度预测值的至少两个差异值;比较所述至少两个差异值,确定所述粗选预测模式包括最小的所述差异值对应的候选第二色度预测模式。
根据第六方面的第四种可行的实施方式所述的方法,在第六方面的第五种可行的实施方式中,所述候选第二色度预测值为候选第二色度预测值矩阵,所述第二色度重构值为第二色度重构值矩阵,所述计算所述第二色度重构值和所述候选第二色度预测模式子集合中至少两种候选第二色度预测模式对应的候选第二色度预测值的至少两个差异值,包括:分别计算至少两个所述候选第二色度预测值矩阵和所述第二色度重构值矩阵对应位置的元素的差值,获得差值矩阵;根据所述差值矩阵确定所述差异值。
根据第六方面的第五种可行的实施方式所述的方法,在第六方面的第六种可行的实施方式中,所述根据所述差值矩阵确定所述差异值,包括:累加所述差值矩阵中每个元素的绝对值作为所述差异值;或者,对所述差值矩阵进行变换,获得差值变换矩阵,累加所述差值变换矩阵中每个元素的绝对值作为所述差异值;或者,对所述差值矩阵依次进行变换、量化、反量化、反变换,获得重构差值矩阵,累加所述重构差值矩阵中每个元素的绝对值作为所述差异值。
根据第六方面的第六种可行的实施方式所述的方法,在第六方面的第七种可行的实施方式中,所述变换,包括:哈达玛变换,哈尔变换,离散余弦变换,或者离散正弦变换;对应的,所述反变换包括:和所述哈达玛变换对应的哈达玛反变换,和所述哈尔变换对应的哈尔反变换,和所述离散余弦变换对应的离散余弦反变换,或者和所述离散正弦变换对应的离散正弦反变换。
根据第六方面的第二至七任一种可行的实施方式所述的方法,在第六方面的第八种可行的实施方式中,所述根据所述粗选预测模式,更新所述候选第二色度预测模式子集合,包括:确定所述更新后的候选第二色度预测模式子集合包括所述粗选预测模式和与所述粗选预测模式具有预设角度差的预测模式。
根据第六方面的第八种可行的实施方式所述的方法,在第六方面的第九种可行的实施方式中,所述和与所述粗选预测模式具有预设角度差的预测模式,包括:所述粗选预测模式相邻的M个预测模式,M为正数。
根据第六方面的第一至九任一种可行的实施方式所述的方法,在第六方面的第十种可行的实施方式中,所述预设条件,包括:所述粗选预测模式为所述非方向性预测模式;或者,每个和所述粗选预测模式具有预设角度差的预测模式存在于所述迭代中的任一所述候选第二色度预测模式子集合中;或者,所述粗选预测模式的所述重新选择的次数达到预设次数;或者,所述粗选预测模式对应的差异值小于预设阈值。
根据第六方面,第六方面的第一至十任一种可行的实施方式所述的方法,在第六方面的第十一种可行的实施方式中,所述根据目标第二色度预测模式,获得所述待处理第一色度单元的第一色度预测值,包括:将所述目标第二色度预测模式作为所述待处理第一色度单元的第一色度预测预测模式;根据所述第一色度预测模式,确定所述待处理第一色度单元的第一色度预测值。
根据第六方面,第六方面的第一至十一任一种可行的实施方式所述的方法,在第六方面的第十二种可行的实施方式中,在所述确定和所述第二色度处理单元的第二色度重构值差异最小的所述第二色度处理单元的一个或多个候选第二色度预测值之前,还包括:确定所述预设候选第二色度预测模式包括候选第二色度预测模式集合,所述候选第二色度预测模式集合包括所述方向性预测模式和所述非方向性预测模式;或者,确定所述预设候选第二色度预测模式包括所述第二色度处理单元对应的所述一个或多个第二色度重构单元的第二色度预测模式;或者,确定所述预设候选第二色度预测模式包括所述待处理第一色度单元邻域的第一色度重构单元的第一色度预测模式。
根据第六方面的第十二种可行的实施方式所述的方法,在第六方面的第十三种可行的实施方式中,所述确定所述预设候选第二色度预测模式包括所述第二色度处理单元对应的所述一个或多个第二色度重构单元的第二色度预测模式,还包括:确定所述预设候选第二色度预测模式包括和所述一个或多个第二色度重构单元的第二色度预测模式具有相关性的第二色度预测模式。
根据第六方面的第十三种可行的实施方式所述的方法,在第六方面的第十四种可行的实施方式中,所述和所述一个或多个第二色度重构单元的第二色度预测模式具有相关性的第二色度预测模式,包括:当所述第二色度预测模式为所述方向性预测模式时,所述具有相关性的第二色度预测模式包括所述一个或多个第二色度重构单元的第二色度预测模式相邻的P个预测模式,P为正数;或者,当所述第二色度预测模式为所述方向性预测模式时,所述具有相关性的第二色度预测模式包括所述一个或多个第二色度重构单元的第二色度预测模式相邻的Q个预测模式和所述非方向性预测模式,Q为正数;或者,当所述第二色度预测模式为所述非方向性预测模式时,所述具有相关性的第二色度预测模式包括预设的所述方向性预测模式。
根据第六方面的第十二至十四任一种可行的实施方式所述的方法,在第六方面的第十五种可行的实施方式中,所述待处理第一色度单元邻域的第一色度重构单元的第一色度预测模式,包括:与所述待处理第一色度单元的上、左、左上、右上、左下相邻的所述第一色度重构单元的第一色度预测模式。
根据第六方面,第六方面的第一至十五任一种可行的实施方式所述的方法,在第六方面的第十六种可行的实施方式中,在所述确定和所述第二色度处理单元的第二色度重构值差异最小的所述第二色度处理单元的一个或多个候选第二色度预测值之前,还包括:对所述第二色度处理单元进行下采样;对应的,所述确定和所述第二色度处理单元的第二色度重构值差异最小的所述第二色度处理单元的一个或多个候选第二色度预测值,包括:确定和所述下采样后的第二色度处理单元的第二色度重构值差异最小的所述下采样后的第二色度处理单元的一个或多个候选第二色度预测值。
根据第六方面的第十六种可行的实施方式所述的方法,在第六方面的第十七种可行的实施方式中,所述对所述第二色度处理单元进行下采样,包括:对所述第二色度处理单元采用滤波系数为
Figure GPA0000262906760000371
的滤波器进行下采样;或者,对所述第二色度处理单元采用滤波系数为
Figure GPA0000262906760000372
的滤波器进行下采样;或者,对所述第二色度处理单元采用滤波系数为
Figure GPA0000262906760000373
的滤波器进行下采样;或者,对所述第二色度处理单元采用滤波系数为
Figure GPA0000262906760000381
的滤波器进行下采样。
本发明实施例的第七方面提供了一种计算机存储介质,用于储存实现上述第五方面或第六方面所述方法的计算机软件指令,所述指令包含用于执行上述第五方面或第六方面所设计的色度预测的方法。
本发明实施例的第八方面提供了一种装置,包括存储器和耦合于所述存储器的处理器,所述处理器用于执行上述第五方面或第六方面所设计的色度预测的方法。
应理解,本发明实施例第二至八方面与本发明实施例第一方面的技术方案一致,所取得的有益效果相似,不再赘述。
从以上技术方案可以看出,本发明实施例提供了一种色度预测的方法及装置,基于已重建的亮度重构单元,构建改进的候选色度预测模式集合,并通过合适的模式编码,选择色度预测模式,提高了编码效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的视频编码系统的示意性框图;
图2是根据本发明实施例的用于视频编码的示意性装置图;
图3是根据本发明实施例的另一视频编解码系统的示意性框图;
图4是根据本发明实施例的视频编码器的示意性框图;
图5是根据本发明实施例的视频解码器的示意性框图;
图6是H.265标准规定的33种方向性帧内预测模式的示意图;
图7是帧内预测过程中参考像素和当前待预测像素之前位置关系的示意图;
图8是H.265标准规定的平面预测模式的构造示意图;
图9是根据本发明实施例的一种色度预测方法的流程示意图;
图10是YUV420格式视频的亮度分量和色度分量的关系的示意图;
图11是待处理色度单元与其邻域已重构色度单元的位置关系的示意图;
图12是根据本发明实施例的另一种色度预测方法的流程示意图;
图13是根据本发明实施例的另一种色度预测方法的流程示意图;
图14是根据本发明实施例的另一种色度预测方法的流程示意图;
图15是根据本发明实施例的另一种色度预测方法的流程示意图;
图16是根据本发明实施例的另一种色度预测方法的流程示意图;
图17是根据本发明实施例的一种色度预测装置的示意性框图;
图18是根据本发明实施例的另一种色度预测装置的示意性框图;
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部份实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同的对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法或设备固有的其他步骤或单元。
图1是视频编解码装置或电子设备50的示意性框图,该装置或者电子设备可以并入根据本发明的实施例的编码解码器。图2是根据本发明实施例的用于视频编码的示意性装置图。下面将说明图1和图2中的单元。
电子设备50可以例如是无线通信系统的移动终端或者用户设备。应理解,可以在可能需要对视频图像进行编码和解码,或者编码,或者解码的任何电子设备或者装置内实施本发明的实施例。
装置50可以包括用于并入和保护设备的壳30。装置50还可以包括形式为液晶显示器的显示器32。在本发明的其它实施例中,显示器可以是适合于显示图像或者视频的任何适当的显示器技术。装置50还可以包括小键盘34。在本发明的其它实施例中,可以运用任何适当的数据或者用户接口机制。例如,可以实施用户接口为虚拟键盘或者数据录入系统作为触敏显示器的一部分。装置可以包括麦克风36或者任何适当的音频输入,该音频输入可以是数字或者模拟信号输入。装置50还可以包括如下音频输出设备,该音频输出设备在本发明的实施例中可以是以下各项中的任何一项:耳机38、扬声器或者模拟音频或者数字音频输出连接。装置50也可以包括电池40,在本发明的其它实施例中,设备可以由任何适当的移动能量设备,比如太阳能电池、燃料电池或者时钟机构生成器供电。装置还可以包括用于与其它设备的近程视线通信的红外线端口42。在其它实施例中,装置50还可以包括任何适当的近程通信解决方案,比如蓝牙无线连接或者USB/火线有线连接。
装置50可以包括用于控制装置50的控制器56或者处理器。控制器56可以连接到存储器58,该存储器在本发明的实施例中可以存储形式为图像的数据和音频的数据,和/或也可以存储用于在控制器56上实施的指令。控制器56还可以连接到适合于实现音频和/或视频数据的编码和解码或者由控制器56实现的辅助编码和解码的编码解码器电路54。
装置50还可以包括用于提供用户信息并且适合于提供用于在网络认证和授权用户的认证信息的读卡器48和智能卡46,例如UICC和UICC读取器。
装置50还可以包括无线电接口电路52,该无线电接口电路连接到控制器并且适合于生成例如用于与蜂窝通信网络、无线通信系统或者无线局域网通信的无线通信信号。装置50还可以包括天线44,该天线连接到无线电接口电路52用于向其它(多个)装置发送在无线电接口电路52生成的射频信号并且用于从其它(多个)装置接收射频信号。
在本发明的一些实施例中,装置50包括能够记录或者检测单帧的相机,编码解码器54或者控制器接收到这些单帧并对它们进行处理。在本发明的一些实施例中,装置可以在传输和/或存储之前从另一设备接收待处理的视频图像数据。在本发明的一些实施例中,装置50可以通过无线或者有线连接接收图像用于编码/解码。
图3是根据本发明实施例的另一视频编解码系统10的示意性框图。如图3所示,视频编解码系统10包含源装置12及目的地装置14。源装置12产生经编码视频数据。因此,源装置12可被称作视频编码装置或视频编码设备。目的地装置14可解码由源装置12产生的经编码视频数据。因此,目的地装置14可被称作视频解码装置或视频解码设备。源装置12及目的地装置14可为视频编解码装置或视频编解码设备的实例。源装置12及目的地装置14可包括广泛范围的装置,包含台式计算机、移动计算装置、笔记本(例如,膝上型)计算机、平板计算机、机顶盒、智能电话等手持机、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机,或其类似者。
目的地装置14可经由信道16接收来自源装置12的编码后的视频数据。信道16可包括能够将经编码视频数据从源装置12移动到目的地装置14的一个或多个媒体及/或装置。在一个实例中,信道16可包括使源装置12能够实时地将编码后的视频数据直接发射到目的地装置14的一个或多个通信媒体。在此实例中,源装置12可根据通信标准(例如,无线通信协议)来调制编码后的视频数据,且可将调制后的视频数据发射到目的地装置14。所述一个或多个通信媒体可包含无线及/或有线通信媒体,例如射频(RF)频谱或一根或多根物理传输线。所述一个或多个通信媒体可形成基于包的网络(例如,局域网、广域网或全球网络(例如,因特网))的部分。所述一个或多个通信媒体可包含路由器、交换器、基站,或促进从源装置12到目的地装置14的通信的其它设备。
在另一实例中,信道16可包含存储由源装置12产生的编码后的视频数据的存储媒体。在此实例中,目的地装置14可经由磁盘存取或卡存取来存取存储媒体。存储媒体可包含多种本地存取式数据存储媒体,例如蓝光光盘、DVD、CD-ROM、快闪存储器,或用于存储经编码视频数据的其它合适数字存储媒体。
在另一实例中,信道16可包含文件服务器或存储由源装置12产生的编码后的视频数据的另一中间存储装置。在此实例中,目的地装置14可经由流式传输或下载来存取存储于文件服务器或其它中间存储装置处的编码后的视频数据。文件服务器可以是能够存储编码后的视频数据且将所述编码后的视频数据发射到目的地装置14的服务器类型。实例文件服务器包含web服务器(例如,用于网站)、文件传送协议(FTP)服务器、网络附加存储(NAS)装置,及本地磁盘驱动器。
目的地装置14可经由标准数据连接(例如,因特网连接)来存取编码后的视频数据。数据连接的实例类型包含适合于存取存储于文件服务器上的编码后的视频数据的无线信道(例如,Wi-Fi连接)、有线连接(例如,DSL、缆线调制解调器等),或两者的组合。编码后的视频数据从文件服务器的发射可为流式传输、下载传输或两者的组合。
本发明的技术不限于无线应用场景,示例性的,可将所述技术应用于支持以下应用等多种多媒体应用的视频编解码:空中电视广播、有线电视发射、卫星电视发射、流式传输视频发射(例如,经由因特网)、存储于数据存储媒体上的视频数据的编码、存储于数据存储媒体上的视频数据的解码,或其它应用。在一些实例中,视频编解码系统10可经配置以支持单向或双向视频发射,以支持例如视频流式传输、视频播放、视频广播及/或视频电话等应用。
在图3的实例中,源装置12包含视频源18、视频编码器20及输出接口22。在一些实例中,输出接口22可包含调制器/解调器(调制解调器)及/或发射器。视频源18可包含视频俘获装置(例如,视频相机)、含有先前俘获的视频数据的视频存档、用以从视频内容提供者接收视频数据的视频输入接口,及/或用于产生视频数据的计算机图形系统,或上述视频数据源的组合。
视频编码器20可编码来自视频源18的视频数据。在一些实例中,源装置12经由输出接口22将编码后的视频数据直接发射到目的地装置14。编码后的视频数据还可存储于存储媒体或文件服务器上以供目的地装置14稍后存取以用于解码及/或播放。
在图3的实例中,目的地装置14包含输入接口28、视频解码器30及显示装置32。在一些实例中,输入接口28包含接收器及/或调制解调器。输入接口28可经由信道16接收编码后的视频数据。显示装置32可与目的地装置14整合或可在目的地装置14外部。一般来说,显示装置32显示解码后的视频数据。显示装置32可包括多种显示装置,例如液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或其它类型的显示装置。
视频编码器20及视频解码器30可根据视频压缩标准(例如,高效率视频编解码H.265标准)而操作,且可遵照HEVC测试模型(HM)。H.265标准的文本描述ITU-TH.265(V3)(04/2015)于2015年4月29号发布,可从http://handle.itu.int/11.1002/1000/12455下载,所述文件的全部内容以引用的方式并入本文中。
或者,视频编码器20及视频解码器30可遵照JEM测试模型而设计,JEM模型的参考软件可从https://jvet.hhi.ffaunhofer.de/svn/svn_HMJEMSoftware下载,所述文件的全部内容以引用的方式并入本文中。
或者,视频编码器20及视频解码器30可根据其它专属或行业标准而操作,所述标准包含ITU-TH.261、ISO/IECMPEG-1 Visual、ITU-TH.262或ISO/IECMPEG-2Visual、ITU-TH.263、ISO/IECMPEG-4Visual,ITU-TH.264(还称为ISO/IECMPEG-4AVC),包含可分级视频编解码(SVC)及多视图视频编解码(MVC)扩展。应理解,本发明的技术不限于任何特定编解码标准或技术。
此外,图3仅为实例且本发明的技术可应用于未必包含编码装置与解码装置之间的任何数据通信的视频编解码应用(例如,单侧的视频编码或视频解码)。在其它实例中,从本地存储器检索数据,经由网络流式传输数据,或以类似方式操作数据。编码装置可编码数据且将所述数据存储到存储器,及/或解码装置可从存储器检索数据且解码所述数据。在许多实例中,通过彼此不进行通信而仅编码数据到存储器及/或从存储器检索数据及解码数据的多个装置执行编码及解码。
视频编码器20及视频解码器30各自可实施为多种合适电路中的任一者,例如一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、硬件或其任何组合。如果技术部分地或者全部以软件实施,则装置可将软件的指令存储于合适的非瞬时计算机可读存储媒体中,且可使用一个或多个处理器执行硬件中的指令以执行本发明的技术。可将前述各者中的任一者(包含硬件、软件、硬件与软件的组合等)视为一个或多个处理器。视频编码器20及视频解码器30中的每一者可包含于一个或多个编码器或解码器中,其中的任一者可整合为其它装置中的组合式编码器/解码器(编解码器(CODEC))的部分。
本发明大体上可指代视频编码器20将某一信息“用信号发送”到另一装置(例如,视频解码器30)。术语“用信号发送”大体上可指代语法元素及/或表示编码后的视频数据的传达。此传达可实时或近实时地发生。或者,此通信可在一时间跨度上发生,例如可在编码时以编码后得到的二进制数据将语法元素存储到计算机可读存储媒体时发生,所述语法元素在存储到此媒体之后接着可由解码装置在任何时间检索。
图4是根据本发明实施例的视频编码器20的示意性框图,包括编码端预测模块201、变换量化模块202、熵编码模块203、编码重建模块204、编码端滤波模块205,图5是根据本发明实施例的视频解码器30的示意性框图,包括解码端预测模块206、反变换反量化模块207、熵解码模块208、解码重建模块209、解码滤波模块210。
编码端预测模块201和解码端预测模块206均包括预测处理单元,预测处理单元可在编码单元(CU)的一个或多个预测单元(PU)中分割CU的像素块。视频编码器20及视频解码器30可支持各种PU大小。假定特定CU的大小为2N×2N,视频编码器20及视频解码器30可支持2N×2N或N×N的PU大小以用于帧内预测,还可以支持2N×N、N×2N或类似大小的对称PU,还可支持2N×nU、2N×nD、nL×2N及nR×2N的不对称PU,不做限定。
对于帧内预测,预测处理单元可通过对PU执行帧内预测而产生PU的预测性数据。PU的预测性数据可包含PU的预测性像素块及各种语法元素。预测处理单元可对I条带、P条带及B条带内的PU执行帧内预测。
为对PU执行帧内预测,预测处理单元可使用多个帧内预测模式来产生PU的预测性数据的多个集合。为使用帧内预测模式来产生PU的预测性数据的集合,预测处理单元可在与帧内预测模式相关联的方向上跨越PU的采样块扩展来自相邻PU的采样块的采样。假定从左向右、从上而下的编码次序用于PU、CU及CTB的编码,相邻PU可在PU的上方,右上方,左上方或左方。预测处理单元可使用包含不同数目的帧内预测模式。在一些实例中,帧内预测模式的数目可取决于PU的像素块的大小。
在一些实例中,预测处理单元基于预测性数据的集合的码率/失真量度来选择CU的PU的预测性数据。例如,使用拉格朗日代价函数来在编码模式及其参数值,比如帧内预测方向,之间进行选择。这一种类的代价函数使用加权因子lambda将由于有损编码方法所致的实际的或者估计的图像失真与为了表示在图像区域中的像素值而需要的实际的或估计的信息量联系在一起:C=D+lambda×R,其中C是待最小化的拉格朗日代价,D是具有模式及其参数的图像失真,比如均方误差,R是为了在解码器中重构图像块而需要的比特数,比如包括用于表示帧内预测方向的数据量。一般的,代价最小的编码模式被选定作为实际编码模式。
下面以H.265标准为例,对帧内预测技术进行详细描述,应理解,其它视频压缩编解码标准的帧内预测技术基于一致的技术原理,能够取得相似的技术效果,不再赘述。
帧内预测是通过当前帧中已编码像素块的重构图像预测当前块。H.265中一共定义了35种帧内预测模式,包括平面预测模式(planar)、直流预测模式(DC)和33种方向性帧内预测模式,用于亮度分量的帧内预测。这33种方向的定义如图6所示,图中的数字0~34表示模式编号,字母H用于表示横轴方向,后面的数字部分表示预测方向相对于水平方向左方向的偏移值,字母V用于表示纵轴方向,后面的数字部分表示预测方向相对于垂直方向上方向的偏移值。记这个偏移值为d,它的单位为1/32。在横轴方向上,向下偏移时d的值为正,向上偏移时d的值为负,预测方向与水平向左方向夹角的正切值等于d/32;在纵轴方向上,向右偏移时d的值为正,向左偏移时d的值为负,预测方向与垂直方向上方向夹角的正切值等于d/32。由图6可以看出,模式2~17为横轴方向上的预测模式,模式18~34为纵轴方向上的预测模式。与H.264相比较,H.265中方向性帧内预测的角度划分更细,从而能够更好地捕捉图像中的方向性纹理信息,提高帧内预测的准确性。
在H.265中,当前像素块的左边一列,上边一行,左上方,左下方和右上方的像素都可以作为参考像素。如图7所示,Px,y表示当前像素块的预测像素,Rx,y表示当前像素块的参考像素。在某些情况下,一些参考像素可能为不可用。例如,参考像素的位置在图像外,或参考像素所属的像素块的预测模式不是帧内预测模式且被限制作为帧内预测的参考块。H.265中根据参考像素不可用的情况,规定了不同的处理方法,可参见前述的参考文献中的规定。
H.265中的平面预测模式和直流预测模式,在本文中,也称为非方向性预测模式。对于平面预测模式,如图8所示,像素块的最后一行和最后一列像素通过左下角和右上角的参考像素复制得到,中间的像素是由水平方向和竖直方向的线性插值所得到的值取平均值获得。H.265规定的直流预测模式和方向性预测模式和H.264中的规定类似,直流预测模式中,预测像素的值由周边参考像素的平均值获得,方向性预测模式中,通过当前像素沿某个指定方向在参考像素上的投影得到预测值。
对于色度预测,H.265规定了5种色度预测模式:平面预测模式、水平方向预测模式、竖直方向预测模式、直流预测模式和直接预测模式(DM)。其中,直接预测模式表示色度预测和对应的像素块的亮度预测的预测模式相同。当直接预测模式所代表的亮度预测模式与前4种模式中任意一种相同时,将索引号为34的亮度预测模式作为一种候选色度预测模式,使候选色度预测模式的总数保持为5种。
在H.265标准形成的过程中,还有一种线性预测模式(LM)。LM预测模式是指使用已重构的亮度像素对当前像素块的色度像素继续线性预测的模式,其使用最小二乘法来拟合下采样后的亮度分量周围的重构像素和色度分量周围的重构像素之间的线性关系。“WD3:Working Draft 3 of High-efficiency Video Coding,”,JCTVC-E603,可从http://phenix.int-evry.fr/jct/下载,对LM预测模式进行了详细介绍,该参考文献的全部内容以引用的方式并入本文。
在H.265标准制定之后,视频压缩编解码技术继续发展。“Algorithm Descr中tionof Joint Exploration Test Model 4”,JVET-D 1001,可从http://phenix.int-evry.fr/jvet/下载,对相关技术进行了详细介绍,该参考文献的全部内容以引用的方式并入本文。
本发明实施例提供了一种色度预测的方法及装置,基于已重建的亮度重构单元,构建改进的候选色度预测模式集合,并通过合适的模式编码,选择色度预测模式,提高了编码效率。
如图9所示,图9是本发明实施例提供的一种色度预测方法1000的流程示意图,该方法包括但不限于如下步骤。
在一种可行的实施方式中,不妨将当前等待执行色度预测的色度像素块称为待处理色度单元,或者待处理色度块。在一些视频压缩编解码技术中,色度单元和亮度单元的划分具有相关性,使用色度单元和一个对应的亮度单元来编码同一个图像区域的色度分量和亮度分量,而色度单元的尺寸小于对应的亮度单元的尺寸,例如对于YUV420格式的视频序列,对应于一个4x4像素矩阵的图像区域,使用一个4x4像素矩阵的亮度单元和一个2x2像素矩阵的U色度单元、一个2x2像素矩阵的V色度单元来编码该图像区域的亮度分量和色度分量。应理解,对于一个U色度单元或者一个V色度单元,对应的均为一个亮度单元。在另一些视频压缩编解码技术中,色度单元和亮度单元的划分不具有相关性,使用色度单元和一个或多个对应的亮度单元来编码同一个图像区域的色度分量和亮度分量,而色度单元的尺寸小于对应的亮度单元的尺寸,例如对于YUV420格式的视频序列,对应于一个8x8像素矩阵的图像区域,使用一个8x8像素矩阵的亮度单元,或者,使用四个4x4像素矩阵的亮度单元,或者,使用四分之一个16x16像素矩阵,和一个4x4像素矩阵的U色度单元、一个4x4像素矩阵的V色度单元来编码该图像区域的亮度分量和色度分量。应理解,对于一个U色度单元或者一个V色度单元,对应的均为一个或者多个亮度单元,其中当色度单元对应部分亮度单元时,也称为对应一个亮度单元。在一种可行的实施方式中,不妨将上述和一个色度单元编码同一图像区域的部分、一个或多个亮度单元称为亮度处理单元,或者亮度处理块。一般情况下,执行色度预测时,亮度单元已经完成了重构,即生成了亮度重构单元,或者称为亮度重构块。因此,不妨称一个亮度处理单元对应一个或多个亮度重构单元。应理解,U色度单元和V色度单元共用色度预测的预测模式,进行相同步骤的帧内预测的处理,因此,后文中的色度单元、色度分量等物理量如没有特殊说明,均指U色度单元或者V色度单元、U色度分量或者V色度分量等,不再赘述。
S1001、对和待处理色度单元对应的亮度处理单元进行下采样。
下采样的过程也是一种低通滤波的过程,由于色度分量的细节没有亮度分量的细节丰富,通过对亮度分量进行低通滤波,使其性质更接近色度分量,从而使后续获得的候选亮度预测模式更适用于色度预测。
在一种可行的实施方式中,通过下采样,使亮度处理单元和待处理色度单元具有相同的尺寸。对于YUV420格式的视频序列,可以采用滤波系数为
Figure GPA0000262906760000511
的滤波器进行下采样,具体的,图10示出了YUV420格式的亮度分量和色度分量的关系的示意图。应理解,图10仅是对实际图像物理实质的一种简化表示,仅表示了亮度分量和色度分量的对应关系,不代表其具体的分布位置。如图10所示,圆点代表了像素点的亮度分量的位置,三角形代表了像素点的色度分量的位置,利用任意一个三角形周边的六个圆点的亮度分量的值,可以插值出该三角形位置处的亮度分量的值。不妨设,三角形位置处的待插值亮度像素值为y,其周边的圆点的亮度像素值为左上点x11,上方点x12,右上点x13,左下点x21,下方点x22,右下点x23,则利用上述滤波器,可以获得y=x11/8+x12/4+x13/8+x21/8+x22/4+x23/8,亮度处理单元内所有三角形位置处的插值点构成了下采样的亮度处理单元。
应理解,还可以采用滤波系数为
Figure GPA0000262906760000512
或者
Figure GPA0000262906760000513
的滤波器对亮度处理单元进行下采样,获得下采样后的亮度处理单元。还可以采用其它形式的用于下采样操作的滤波器,不做限定。
本发明实施例的有益效果在于,可以根据不同复杂度和性能的要求选择不同的滤波器,适合于不同的应用场景。
应理解,步骤S1001为可选步骤,当其执行时,后续亮度处理单元是指下采样后的亮度处理单元,当其不执行时,后续亮度处理单元是指未进行下采样的亮度处理单元。
S1002、确定预设候选亮度预测模式。
预设候选亮度预测模式包括方向性预测模式所包括的预测模式和非方向性预测模式所包括的预测模式中的至少一种,方向性预测模式包括与二维平面水平方向呈N度的预测模式,N为小于360的非负数,非方向性预测模式包括直流预测模式和平面预测模式。即从方向性预测模式和非方向性预测模式中预先设定一种或多种预测模式作为预设候选亮度预测模式。应理解,背景技术给出了方向性预测和非方向性预测的典型实施例,但是本发明实施例对于预测模式的描述不限于背景技术,对于方向性预测,N的取值范围更广泛,对于非方向性预测,还可以包括直流预测模式和平面预测模式的各种变异的预测方式,不做限定。
在一种可行的实施方式中,预设候选亮度预测模式包括候选亮度预测模式集合中的全部方向性预测模式和全部非方向性预测模式,或者,预设候选亮度预测模式包括候选亮度预测模式集合中的全部方向性预测模式和全部非方向性预测模式的任意组合组成的子集合。
在一种可行的实施方式中,预设候选亮度预测模式包括亮度处理单元对应的一个或多个亮度重构单元的亮度预测模式。
在一种可行的实施方式中,预设候选亮度预测模式包括和所述一个或多个亮度重构单元的亮度预测模式具有相关性的亮度预测模式,比如:当该亮度预测模式为方向性预测模式时,包括与其相邻的P个预测模式,P为正数,或者还进一步包括非方向性预测模式;当亮度预测模式为非方向性预测模式时,包括预设的方向性预测模式。具体的,比如:当亮度预测模式为水平预测模式(模式编号10,如图6所示)时,预设候选亮度预测模式可以包括模式编号为10,8,9,11,12的预测模式,或者,预设候选亮度预测模式可以包括模式编号为10,8,9,11,12的预测模式以及直流预测模式;当亮度预测模式为直流预测模式时,预设候选亮度预测模式可以包括直流预测模式,水平预测模式和竖直预测模式。
在一种可行的实施方式中,预设候选亮度预测模式包括待处理色度单元邻域的色度重构单元的色度预测模式,比如:与待处理色度单元的上、左、左上、右上、左下相邻的色度重构单元的色度预测模式。具体的,比如,如图11所示,可以选择的待处理色度单元上面和左面的已重构的色度单元的色度预测模式作为预设候选亮度预测模式。
应理解,上述预设候选亮度预测模式的实施方式可以单独进行,也可以混合进行,不做限定。
本发明实施例的有益效果在于,选择相关性较强的预测模式作为候选亮度预测模式参与搜索,提高了搜索的效率和速度。
应理解,步骤S1002即预先设定候选亮度预测模式的过程,在一些可行的实施方式中,预先设定的候选亮度预测模式已固化在编码器和解码器中,因此步骤S1002为可选步骤,并且步骤S1002可以执行于步骤S1001之前,也可以执行于步骤S1001之后,不做限定。
S1003、从预设候选亮度预测模式中确定亮度处理单元的一个或多个目标亮度预测模式。
在一种可行的实施方式中,在进行色度单元的预测之前,对应的亮度处理单元已经完成了预测和重构的步骤,因此已经确定了亮度处理单元所对应的一个或多个亮度重构单元实际编码的亮度预测模式和对应的亮度重构值。以亮度处理单元作为一个独立的预测单元,按照候选亮度预测模式构建候选亮度预测值,任一候选亮度预测值对应一种候选亮度预测模式。
在一种可行的实施方式中,步骤S1003具体为:在预设候选亮度预测模式中,迭代确定粗选预测模式,直到粗选预测模式符合预设条件。
根据迭代产生的符合预设条件的一个或多个粗选预测模式所生成的一个或多个候选亮度预测值即为本步骤确定的和亮度处理单元的亮度重构值差异最小的亮度处理单元的一个或多个候选亮度预测值,即一个或多个目标亮度预测模式对应的候选亮度预测值。
应理解,其中和亮度处理单元的亮度重构值差异最小的亮度处理单元的一个或多个候选亮度预测值是指任一目标亮度预测模式对应的亮度处理单元的亮度预测值和亮度处理单元的亮度重构值的差异小于或等于所有未被确定为目标亮度预测模式的候选亮度预测模式对应的亮度处理单元的亮度预测值和亮度处理单元的亮度重构值的差异。
本发明实施例的有益效果在于,通过迭代搜索的方式减少了搜索到最优预测模式所需要的运算量,提高了处理效率,节省了处理时间。
在一种可行的实施方式中,如图12所示,迭代确定粗选预测模式包括:
S1301、从预设候选亮度预测模式中确定候选亮度预测模式子集合。
在一种可行的实施方式中,步骤S1301具体为确定候选亮度预测模式子集合和预设候选亮度预测模式相同,即将全部预设候选亮度预测模式作为候选亮度预测模式子集合。
在一种可行的实施方式中,步骤S1301具体为确定候选亮度预测模式子集合包括以预设角度间隔从方向性预测模式中选取的预测模式,即以预先设定的角度间隔从预测方向中抽取多个预测方向对应的预测模式组成候选亮度预测模式子集合。比如说,当方向性预测模式为32种时,可以按照其所代表的预测方向,每隔3种预测模式,即预设角度间隔为3种预测模式跨越的角度间隔,抽取1种预测模式,组成候选亮度预测模式子集合。应理解,上述实施例仅为举例说明,方向性预测模式的数量和预设角度间隔,不做限定。
在一种可行的实施方式中,步骤S1301具体为确定候选亮度预测模式子集合包括以预设角度间隔从方向性预测模式中选取的预测模式和非方向性预测模式,即在本实施例中,除了和上一实施例类似的选取的方向性预测模式,候选亮度预测模式子集合还包括非方向性预测模式,比如直流预测模式和平面预测模式中的至少一种。以预设角度间隔从方向性预测模式中选取的预测模式和非方向性预测模式共同组成了候选亮度预测模式子集合。
S1302、在候选亮度预测模式子集合中选择粗选预测模式。
在一种可行的实施方式中,步骤S1302可以包括:
S1321、计算亮度重构值和候选亮度预测模式子集合中至少两种候选亮度预测模式对应的候选亮度预测值的至少两个差异值。
应理解,在具体的实施方式中,预测单元和重构单元一般以像素矩阵的形式参与计算,因此,不妨设候选亮度预测值为候选亮度预测值矩阵,亮度重构值为亮度重构值矩阵,本步骤具体为分别计算至少两个候选亮度预测值矩阵和亮度重构值矩阵对应位置的元素的差值,获得差值矩阵;根据差值矩阵确定差异值。
应理解,当候选亮度预测模式子集合中候选亮度预测模式的个数为1个时,不需要进行此计算步骤和后面的比较步骤,该候选亮度预测模式即为粗选预测模式。
具体的,不妨设一个候选亮度预测值矩阵Pred为
Figure GPA0000262906760000561
设亮度重构值矩阵Recon为
Figure GPA0000262906760000562
则差值矩阵Res为
Figure GPA0000262906760000563
在一种可行的实施方式中,累加差值矩阵中每个元素的绝对值作为差异值。比如,差异值可以计算为
Figure GPA0000262906760000564
在一种可行的实施方式中,对差值矩阵进行变换,获得差值变换矩阵,累加差值变换矩阵中每个元素的绝对值作为差异值。比如,不妨设变换操作为T,则差值变换矩阵
Figure GPA0000262906760000565
差异值可以计算为
Figure GPA0000262906760000566
Figure GPA0000262906760000567
在一种可行的实施方式中,对差值矩阵依次进行变换、量化、反量化、反变换,获得重构差值矩阵,累加重构差值矩阵中每个元素的绝对值作为差异值。
本发明实施例的有益效果在于,可以根据不同复杂度和性能的要求选择不同的计算方式,适合于不同的应用场景。
上述多个实施例中的变换可以采用多种不同的类型,比如,哈达玛变换(Hadamard),哈尔变换(Haar),离散余弦变换(DCT),或者离散正弦变换(DST)等,不做限定。对应的,实施例中的反变换包括:和哈达玛变换对应的哈达玛反变换,和哈尔变换对应的哈尔反变换,和离散余弦变换对应的离散余弦反变换,或者和离散正弦变换对应的离散正弦反变换。具体的,比如,当采用哈达玛变换完成变换操作时,不妨设哈达玛变换的变换基矩阵为
Figure GPA0000262906760000571
Figure GPA0000262906760000572
本发明实施例的有益效果在于,可以根据不同复杂度和性能的要求选择不同的变换方式,适合于不同的应用场景。
S1322、比较至少两个差异值,确定粗选预测模式包括最小的一个或多个差异值对应的候选亮度预测模式。
具体的,比较步骤S1321中获得的至少两个差异值。在一种可行的实施方式中,可以选择最小的差异值对应的候选亮度预测模式作为粗选预测模式。在一种可行的实施方式中,可以选择最小的多个差异值,即在差异值比较中比其他差异值小的预设数目的差异值,作为粗选预测模式,即任一粗选预测模式对应的亮度处理单元的亮度预测值和亮度处理单元的亮度重构值的差异值小于或等于所有未被确定为粗选预测模式的候选亮度预测模式子集合中的候选亮度预测模式对应的亮度处理单元的亮度预测值和亮度处理单元的亮度重构值的差异值。
S1303、当粗选预测模式不符合预设条件时,根据粗选预测模式,更新预设候选亮度预测模式。
步骤S1303是是否进行下一次迭代的判断条件,即判断粗选预测模式是否符合预设条件。
在一种可行的实施方式中,预设条件包括粗选预测模式为非方向性预测模式,即当粗选预测模式为非方向性预测模式时,终止迭代。
在一种可行的实施方式中,预设条件包括每个和粗选预测模式具有预设角度差的预测模式存在于迭代中的任一候选亮度预测模式子集合中,即当每个和粗选预测模式具有预设角度差的预测模式都已经曾经在各次迭代中用于差异值比较时,终止迭代。
在一种可行的实施方式中,预设条件包括粗选预测模式的迭代次数达到预设次数。
在一种可行的实施方式中,预设条件包括粗选预测模式对应的差异值小于预设阈值。
应理解,上述多个预设条件的实施例,可以单独考虑,也可以以“与”或“或”的关系综合考虑,不做限定。
本发明实施例的有益效果在于,可以根据不同复杂度和性能的要求选择不同的终止迭代的条件,适合于不同的应用场景。
同时,当确定进入下一次迭代时,步骤S1303根据粗选预测模式,更新预设候选亮度预测模式。
应理解,上述迭代计算的过程还可以描述为:从预设候选亮度预测模式中确定候选亮度预测模式子集合;在候选亮度预测模式子集合中选择粗选预测模式;当粗选预测模式不符合预设条件时,根据粗选预测模式,更新预设候选亮度预测模式,并且,从更新后的预设候选亮度预测模式中重新确定候选亮度预测模式子集合,并且,在重新确定的候选亮度预测模式子集合中重新选择粗选预测模式,直到重新选择的粗选预测模式符合预设条件;当粗选预测模式符合预设条件时,将粗选预测模式作为目标亮度预测模式。其中预设条件,包括:粗选预测模式为非方向性预测模式;或者,每个和粗选预测模式具有预设角度差的预测模式存在于从预设候选亮度预测模式中确定的或从任一更新后的预设候选亮度预测模式中重新确定的候选亮度预测模式子集合;或者,粗选预测模式的重新选择的次数达到预设次数;或者,粗选预测模式对应的差异值小于预设阈值。
在一种可行的实施方式中,更新后的预设候选亮度预测模式包括在上一次迭代中选定的粗选预测模式和与该粗选预测模式具有预设角度差的预测模式,其中,在一种可行的实施方式中,与该粗选预测模式具有预设角度差的预测模式,包括与该粗选预测模式相邻的M个预测模式,M为正数,具体的,当粗选预测模式为水平预测模式(模式编号10,如图6所示)时,可以选择模式编号为8,9,11,12的预测模式以及水平预测模式组成更新后的预设候选亮度预测模式。
应理解,由于在上一次迭代中,粗选预测模式对应的差异值已经获得,因此,在差异值计算方式不变的情况下,在本次迭代中,可以不重复计算粗选预测模式对应的差异值,而仅在上一次迭代后记录下粗选预测模式对应的差异值,用于本次迭代中和其他与该粗选预测模式具有预设角度差的预测模式对应的差异值的比较。
预设候选亮度预测模式被更新后,执行步骤S 1301,进入下一次迭代。
应理解,对于步骤S1003,在一种可行的实施方式中,迭代次数为1次,即如图13所示,具体步骤为:
S1311、从预设候选亮度预测模式中确定候选亮度预测模式子集合;
S1312、计算亮度重构值和候选亮度预测模式子集合中至少两种候选亮度预测模式对应的候选亮度预测值的至少两个差异值;
S1313、比较至少两个差异值,确定最小的一个或多个差异值对应的候选亮度预测模式。
具体实施方式可参见上述实施例的相关步骤,不再赘述。
S1004、以目标亮度预测模式作为候选色度预测模式,获得待处理色度单元的色度预测值。
在一种可行的实施方式中,如图14所示,步骤S1004具体包括:
S1401、根据目标亮度预测模式,确定待处理色度单元的候选色度预测模式集合。
在一种可行的实施方式中,确定候选色度预测模式集合仅包括目标亮度预测模式。应理解,在一种可行的实施方式中,当目标亮度预测模式仅为一个时,该目标亮度预测模式即为待处理色度单元的色度预测模式,不需要再进行后续步骤。
本发明实施例的有益效果在于,候选色度预测模式仅由目标亮度预测模式构成,节省了编码模式的码率。
在一种可行的实施方式中,确定候选色度预测模式集合包括目标亮度预测模式和一种或多种预设候选色度预测模式。在一种可行的实施方式中,预设候选色度预测模式包括水平预测模式,竖直预测模式,直流预测模式,平面预测模式和直接预测模式(DM)中的至少一种。在一种可行的实施方式中,候选色度预测模式,还进一步包括:非水平或非竖直方向上的方向性预测模式,或者线性预测模式(LM)。具体的,比如,不妨设目标亮度预测模式为水平预测模式,则候选色度预测模式集合包括:目标亮度预测模式(水平预测模式)、竖直预测模式、平面预测模式,直接预测模式(模式编号为8的预测模式,如图6所示)。在一种可行的实施方式中,候选色度预测模式集合中候选色度预测模式的数量是预设且固定的。当目标亮度预测模式与第一预设候选色度预测模式组成的候选色度预测模式集合中具有重复的色度预测模式时,将第二预设候选色度预测模式加入到候选色度预测模式集合中,以使候选色度预测模式集合中候选色度预测模式的数量保持不变。具体的,比如,不妨设候选色度预测模式的数量为4个,目标亮度预测模式对应水平预测模式,第一预设候选色度预测模式包括水平预测模式,竖直预测模式、平面预测模式,第二预测候选色度预测模式包括模式编号为34的预测模式(如图6所示),则候选色度预测模式集合包括:目标亮度预测模式(水平预测模式)、竖直预测模式、平面预测模式、模式编号为34的预测模式。
本发明实施例的有益效果在于,候选色度预测模式增加了预设的其他预测模式,避免了目标亮度预测模式误判时对编码性能的影响。
S1402、确定候选色度预测模式集合中的候选色度预测模式的编码码字。
不同的色度预测方案使用不同的编码方式对当前预测单元的模式信息进行二值化,再对二值化后的二进制符号使用CABAC(基于上下文二进制算术编码)技术进行熵编码。比如,在H.265标准规定的色度预测方案中,使用如表1所示的二值化方案。
表1色度预测模式的二值化表示
Figure GPA0000262906760000611
Figure GPA0000262906760000621
在一种可行的实施方式中,使用变长码确定候选色度预测模式集合中的候选色度预测模式的编码码字。确定编码码字的原则在于当各候选色度预测模式被选中的概率接近时,使用定长码编码的效率较高;当各候选色度预测模式被选中的概率相差较大时,使用变长码编码的效率就较高,且对于被选中概率越高的色度模式,需要使用更短的码字表示。
不妨设目标亮度预测模式中和亮度处理单元的亮度重构值差异最小的亮度处理单元的候选亮度预测值对应的预测模式为第一目标亮度预测模式,特别的,当目标亮度预测模式为一个时,该目标亮度预测模式即为第一目标亮度预测模式。
在一种可行的实施方式中,候选色度预测模式集合至少包括第一目标亮度预测模式,线性预测模式和直接预测模式,则被赋予的编码码字从短到长分别为:第一目标亮度预测模式,线性预测模式和直接预测模式,特别的,可以对第一目标亮度预测模式赋予候选色度预测模式集合的候选色度预测模式中最短的编码码字。
在一种可行的实施方式中,候选色度预测模式集合至少包括第一目标亮度预测模式,线性预测模式和直接预测模式,则被赋予的编码码字从短到长分别为:线性预测模式,第一目标亮度预测模式和直接预测模式,特别的,可以对线性预测模式赋予候选色度预测模式集合的候选色度预测模式中最短的编码码字。
在一种可行的实施方式中,候选色度预测模式集合至少包括第一目标亮度预测模式和直接预测模式,则被赋予的编码码字从短到长分别为:第一目标亮度预测模式和直接预测模式,特别的,可以对第一目标亮度预测模式赋予候选色度预测模式集合的候选色度预测模式中最短的编码码字。
在一种可行的实施方式中,当候选色度预测模式集合中的候选色度预测模式的数量发生变化时,变长码的长度随之发生改变,比如增减一位或多位。比如,当第一目标亮度预测模式加入到H.265色度预测方案中的候选色度预测模式集合时,使用如表2所示的二值化方案,可见索引0至4对应的二值化表示均增加了一位。
表2色度预测模式的二值化表示
色度预测模式索引 二值化表示
5(第一目标亮度预测模式) 0
4 10
0 1100
1 1101
2 1110
3 1111
应理解,步骤S1402即确定候选色度预测模式的编码码字的过程,在一些可行的实施方式中,候选色度预测模式的编码码字已固化在编码器和解码器中,因此步骤S1402为可选步骤。在一些可行的实施方式中,当候选色度预测模式决定仅为一个时,仅编解码端协议规定以第一目标亮度预测模式作为色度预测模式时,不需要编码或解码色度预测模式,因此也不需要该步骤。
本发明实施例的有益效果在于,根据候选色度预测模式集合中各候选色度预测模式被选中的概率调整候选色度预测模式的编码码字,可以进一步提高编码性能。
S1403、从候选色度预测模式集合中,选择待处理色度单元的色度预测模式。
在一种可行的实施方式中,该方法用于编码待处理色度单元,步骤S1403具体为:遍历候选色度预测模式集合中的候选色度预测模式,获得对应的候选色度预测值;根据待处理色度单元的原始值和遍历的候选色度预测值,计算每种候选色度预测模式的编码代价;确定编码代价最小的候选色度预测模式为待处理色度单元的色度预测模式;编码色度预测模式在候选色度预测模式集合中索引。具体的,不妨设候选色度预测模式集合中,包含预测模式PredM1和预测模式PredM2,对应每种预测模式,获得预测值Pred1和Pred2;再分别计算失真值Dis1=SumAbs(Pred1-Org),Dis2=SumAbs(Pred2-Org),其中Org为待处理色度单元的原始值,SumAbs()表征计算绝对的和;衡量失真值,获得编码失真值的码率,比如,可以对失真值做编码,码率Rate1=T(Dis1),Rate2=T(Dis2),T()表征编码过程;根据码率和失真中的至少一个,计算编码代价Cost1=f(Dis1,Rate1),Cost2=f(Dis2,Rate2),f()表征计算编码代价;取编码代价最小的预测模式,作为色度预测模式,即当Cost1<Cost2时,选择PredM1作为色度预测模式,并且,将PredM1的模式索引编入码流。
在一种可行的实施方式中,根据前述步骤中确定的编码码字来编码选定的色度预测模式。
在一种可行的实施方式中,该方法用于解码待处理色度单元,步骤S1403具体为:从码流中解码色度预测模式在所述候选色度预测模式集合中索引;根据索引从候选色度预测模式集合中确定色度预测模式,获得对应的色度预测值。
在一种可行的实施方式中,根据前述步骤中确定的编码码字来解码选定的色度预测模式。
S1404、根据色度预测模式,确定待处理色度单元的色度预测值。
本发明实施例提供的色度预测的方法,基于已重建的亮度重构单元,构建改进的候选色度预测模式集合,并通过合适的模式编码,选择色度预测模式,提高了编码效率。
如图15所示,图15是本发明实施例提供的另一种色度预测方法2000的流程示意图,该方法包括但不限于如下步骤。
如前所述,对于一些格式的视频图像,色度分量又可以分为第一色度分量和第二色度分量,比如:YUV420格式的视频图像,色度分量又可以分为U分量和V分量。图9所示的实施例中色度分量统一处理,即第一色度分量和第二色度分量具有相同的色度预测模式,仅对第一色度分量使用图9实施例中的方法进行色度预测,就可以得到第一色度分量和第二色度分量共同的色度预测模式。
在一种可行的实施方式中,同一色度处理单元的第一色度分量和第二色度分量可以具有不同的预测模式。
S2001、确定和第二色度处理单元的第二色度重构值差异最小的第二色度处理单元的候选第二色度预测值。
第二色度处理单元对应一个或多个已完成重构的第二色度重构单元。由于人眼对第一色度分量和第二色度分量的敏感度类似,一般情况下,第二色度处理单元仅包含一个第二色度重构单元,并对应一个第一色度单元。
本步骤和步骤S1003中从预设候选亮度预测模式中确定亮度处理单元的一个或多个目标亮度预测模式的技术手段类似,可以参照步骤S1003及相关的各种可行的实施方式,不再赘述。
S2002、将候选第二色度预测值对应的预测模式作为第一色度预测模式,获得待处理第一色度单元的第一色度预测值。
本步骤和步骤S1004中,当目标亮度预测模式为一个时,根据目标亮度预测模式,获得待处理色度单元的色度预测值的技术手段类似,可以参照步骤S2002及相关的各种可行的实施方式,不再赘述。
具体的,比如:不妨设,对于YUV420格式的一个色度单元,色度单元的U分量已经根据水平预测模式完成重构;不妨设,候选色度预测模式包括水平预测模式,竖直预测模式,平面预测模式,直接预测模式,直流预测模式和线性预测模式,且直接预测模式所对应的亮度预测模式不与其他候选色度预测模式相同;则,依然候选色度预测模式中的6种候选色度预测模式,构建色度单元的U分量的6个预测值;根据U分量的重构值和U分量的预测值,分别计算各个候选色度预测模式对应的编码代价,比如:对U分量的重构值和预测值的差值进行哈达玛变换,计算变换系数的能量作为编码代价;取对应最小编码代价的候选色度预测模式作为V分量的色度预测模式;根据色度预测模式,获得V分量的预测值。
本发明实施例提供的色度预测的方法,基于已重建的第一色度重构单元,构建改进的候选色度预测模式,作为第二色度预测的预测模式,提高了编码效率。
对于图9和图15所示的实施方式,应理解,在解码端,可以位于重构亮度单元之前,也可以位于重构亮度单元之后,不做限定。
如图16所示,图16是本发明实施例提供的又一种色度预测方法3000的流程示意图,该方法包括但不限于如下步骤。
在JVET-D1001描述的色度帧内预测模式方案中,候选色度帧内预测模式包括直接预测模式,线性预测模式,四种常规模式(平面预测模式,竖直预测模式,水平预测模式,直流预测模式),当四种常规模式中的任一种和直接预测模式所代表的亮度预测模式相同时,使用竖直斜向预测模式(模式编号66)来代替。各预测模式的具体描述可以参考JVET-D1001和对应的参考软件HM16.6-JEM4.0,不再赘述。
表3描述了该色度帧内预测模式方案对预测模式的模式信息进行二值化的规定。
表3 HM16.6-JEM4.0色度预测模式的二值化表示
色度预测模式索引 二值化表示
DM 0
CCLM 10
0 1100
1 1101
2 1110
3 1111
本实施例对JVET-D1001描述的色度帧内预测模式方案描述的方案进行了改进:对应于原方案中的直接预测模式,本实施例提供了一种解码端直接模式(DDM),该模式基于色度预测单元对应的下采样后的亮度重构单元的亮度像素点,分别在编码端和解码端,搜索候选色度帧内预测模式中最佳的预测模式,其中最佳模式通过比较色度预测单元在各种候选预测模式下获得的预测残差的哈达玛变换残差绝对值和(SATD)来确定。
S3001、对于当前色度预测单元对应的亮度重构单元使用2D 3x2{{1 2 1},{1 21}}滤波器进行下采样。
当前色度预测单元对应的亮度重构单元是指和当前色度预测单元覆盖相同图像区域的亮度重构单元,在JVET-D1001中也指处于同一个编码块(CB)的亮度重构单元。步骤S3001的具体执行可以参考步骤S1001,不再赘述。下采样操作降低了后续操作的搜索复杂度。
S3002、以SATD准则搜索最优的预测模式。
考虑到复杂度和性能之前的平衡,采用迭代搜索的方式搜索最优的预测模式。初始的候选色度预测模式包括:平面预测模式,直流预测模式,JVET-D1001规定的65种方向性预测模式中以4种预测方向为抽样间隔抽取的方向性预测模式。在上述初始的候选色度预测模式中,计算各种模式的SATD值,取最小的SATD值对应的候选色度预测模式,作为下一次迭代搜索的起始预测模式。
如果上述起始预测模式为平面预测模式或者直流预测模式,则将其作为最优的预测模式,迭代搜索过程终止;否则,以和起始预测模式预测方向上前后相邻、抽样间隔为2的2种预测模式作为二次搜索的候选色度预测模式,和初始预测模式一起,在这三种预测模式中取SATD值最小的一种,作为下一次迭代搜索的起始预测模式。
如果上述起始预测模式为平面预测模式或者直流预测模式,则将其作为最优的预测模式,迭代搜索过程终止;否则,以和起始预测模式预测方向上前后最相邻(即抽样间隔为1)的2种预测模式作为三次搜索的候选色度预测模式,和初始预测模式一起,在这三种预测模式中取SATD值最小的一种,作为最优的预测模式,即DDM所表征的预测模式。
S3003、根据DDM模式,调整色度帧内预测模式的编码码字。
将DDM模式添加到JVET-D1001描述的色度帧内预测模式方案的色度预测模式列表中,则候选色度帧内预测模式包括直接预测模式,线性预测模式,DDM模式,三种常规模式(平面预测模式,竖直预测模式,水平预测模式),当三种常规模式中的任一种和直接预测模式所代表的亮度预测模式相同时,使用直流预测模式来代替。可以重新分配编码码字如表4所示,其中0-2表示三种常规模式:
表4本发明实施例色度预测模式的二值化表示
色度预测模式索引 二值化表示
CCLM 0
DDM 10
DM 110
0 1110
1 11110
2 11111
另外,对于帧内预测,变换系数的扫描顺序依赖于预测模式。DDM模式基于亮度重构像素获得,因此,DDM模式的获得和解码变换系数存在相互依赖的问题。为了解决这个问题,在确定色度预测模式的扫描顺序时,以直接预测模式对应的扫描方式作为DDM模式对应的扫描方式。
表5示出了本实施例相对于JVET-D1001描述的色度帧内预测模式方案的有益效果,该测试结果遵循JVET标准会议组织制定的通用测试条件:
表5基于JVET通用测试条件的性能增益
Figure GPA0000262906760000691
可见,对于不同分辨率的图像(表格中不同的Class),同等视频质量下均取得了码率节省。总体而言,平均可以取得Y、U、V各分量0.29%,0.16%,0.25%的增益。
如图17所示,图17是本发明实施例提供的一种色度预测装置的框图,具体如下所述。
本发明实施例提供了一种色度预测的装置40000,待处理色度单元对应一个亮度处理单元,亮度处理单元和待处理色度单元分别为同一图像区域的亮度分量和色度分量的处理单元,亮度处理单元对应一个或多个亮度重构单元,包括:
第一确定模块40001,用于从预设候选亮度预测模式中确定亮度处理单元的一个或多个目标亮度预测模式,任一目标亮度预测模式对应的亮度处理单元的亮度预测值和亮度处理单元的亮度重构值的差异小于或等于所有未被确定为目标亮度预测模式的候选亮度预测模式对应的亮度处理单元的亮度预测值和亮度处理单元的亮度重构值的差异;
第一构建模块40002,用于获得待处理色度单元的色度预测值,待处理色度单元的候选色度预测模式集合包括目标亮度预测模式。
在一种可行的实施方式中,第一确定模块40001具体用于:在预设候选亮度预测模式中,迭代确定粗选预测模式,直到粗选预测模式符合预设条件,符合预设条件的粗选预测模式对应一个或多个候选亮度预测值。
在一种可行的实施方式中,第一确定模块40001,包括:
第二确定模块41001,用于从预设候选亮度预测模式中确定候选亮度预测模式子集合;
第一选择模块41002,用于在候选亮度预测模式子集合中选择粗选预测模式;
更新模块41003,用于当粗选预测模式不符合预设条件时,根据粗选预测模式,更新预设候选亮度预测模式,并且,从更新后的预设候选亮度预测模式中重新确定候选亮度预测模式子集合,并且,在重新确定的候选亮度预测模式子集合中重新选择粗选预测模式,直到重新选择的粗选预测模式符合预设条件;当粗选预测模式符合预设条件时,将粗选预测模式作为目标亮度预测模式。
在一种可行的实施方式中,预设候选亮度预测模式包括方向性预测模式所包括的预测模式和非方向性预测模式所包括的预测模式中的至少一种,方向性预测模式包括与二维平面水平方向呈N度的预测模式,N为小于360的非负数,非方向性预测模式包括直流预测模式和平面预测模式,第二确定模块41001具体用于:确定候选亮度预测模式子集合和预设候选亮度预测模式相同;或者,确定候选亮度预测模式子集合包括以预设角度间隔从方向性预测模式中选取的预测模式;或者,确定候选亮度预测模式子集合包括以预设角度间隔从方向性预测模式中选取的预测模式和非方向性预测模式。
在一种可行的实施方式中,当候选亮度预测模式子集合包括至少两种候选亮度预测模式时,第一选择模块41002,包括:
第一计算模块41201,用于分别计算亮度重构值和候选亮度预测模式子集合中候选亮度预测模式对应的候选亮度预测值的差异值;
比较模块41202,用于比较多个差异值,确定粗选预测模式包括最小的一个或多个差异值对应的候选亮度预测模式,其中最小的一个或多个差异值对应的候选亮度预测模式是指任一粗选预测模式对应的亮度处理单元的亮度预测值和亮度处理单元的亮度重构值的差异值小于或等于所有未被确定为粗选预测模式的候选亮度预测模式子集合中的候选亮度预测模式对应的亮度处理单元的亮度预测值和亮度处理单元的亮度重构值的差异值。
当所述候选亮度预测模式子集合仅包括一种候选亮度预测模式时,第一选择模块41002,具体用于确定该种候选亮度预测模式为粗选预测模式。
在一种可行的实施方式中,第一计算模块41201,包括:
第二计算模块41211,用于分别计算候选亮度预测值矩阵和亮度重构值矩阵对应位置的元素的差值,获得差值矩阵;
第三确定模块41212,用于根据差值矩阵确定差异值。
在一种可行的实施方式中,第三确定模块41212具体用于:累加差值矩阵中每个元素的绝对值作为差异值;或者,对差值矩阵进行变换,获得差值变换矩阵,累加差值变换矩阵中每个元素的绝对值作为差异值;或者,对差值矩阵依次进行变换、量化、反量化、反变换,获得重构差值矩阵,累加重构差值矩阵中每个元素的绝对值作为差异值。
在一种可行的实施方式中,变换包括:哈达玛变换,哈尔变换,离散余弦变换,或者离散正弦变换;对应的,反变换包括:和哈达玛变换对应的哈达玛反变换,和哈尔变换对应的哈尔反变换,和离散余弦变换对应的离散余弦反变换,或者和离散正弦变换对应的离散正弦反变换。
在一种可行的实施方式中,更新模块41003具体用于:确定更新后的候选亮度预测模式子集合包括粗选预测模式和与粗选预测模式具有预设角度差的预测模式。
在一种可行的实施方式中,和与粗选预测模式具有预设角度差的预测模式,包括:粗选预测模式相邻的M个预测模式,M为正数。
在一种可行的实施方式中,预设条件,包括:粗选预测模式为非方向性预测模式;或者,每个和粗选预测模式具有预设角度差的预测模式存在于迭代中的任一候选亮度预测模式子集合中,即存在于从预设候选亮度预测模式中确定的或从任一更新后的预设候选亮度预测模式中重新确定的候选亮度预测模式子集合;或者,粗选预测模式的重新选择的次数,即迭代的次数,达到预设次数;或者,粗选预测模式对应的差异值小于预设阈值。
在一种可行的实施方式中,第一构建模块40002,包括:
第四确定模块42001,用于根据目标亮度预测模式,确定待处理色度单元的候选色度预测模式集合;
第二选择模块42002,用于从候选色度预测模式集合中,选择待处理色度单元的色度预测模式;
第五确定模块42003,用于根据色度预测模式,确定待处理色度单元的色度预测值。
在一种可行的实施方式中,第四确定模块42001具体用于:确定候选色度预测模式集合仅包括目标亮度预测模式。
在一种可行的实施方式中,第四确定模块42001具体用于:确定候选色度预测模式集合包括目标亮度预测模式和一种或多种预设候选色度预测模式。
在一种可行的实施方式中,预设候选色度预测模式,包括:水平预测模式,竖直预测模式,直流预测模式,平面预测模式和直接预测模式中的至少一种。
在一种可行的实施方式中,候选色度预测模式,还包括:非水平或非竖直方向上的方向性预测模式,或者线性预测模式。
在一种可行的实施方式中,第一构建模块40002,还包括:
第六确定模块42004,用于确定候选色度预测模式集合中的候选色度预测模式的编码码字。
在一种可行的实施方式中,第六确定模块42004具体用于:使用变长码确定候选色度预测模式集合中的候选色度预测模式的编码码字。
在一种可行的实施方式中,将和亮度处理单元的亮度重构值差异最小的亮度处理单元的候选亮度预测值对应的预测模式作为第一目标亮度预测模式,第六确定模块42004具体用于:
当候选色度预测模式集合中包括第一目标亮度预测模式、线性预测模式和直接预测模式时,对线性预测模式赋予最小的编码码字,对第一目标亮度预测模式赋予除用于表示线性预测模式的编码码字以外最小的编码码字,对直接预测模式赋予除用于表示线性预测模式和第一目标亮度预测模式的编码码字以外最小的编码码字;或者,
当候选色度预测模式集合中包括第一目标亮度预测模式、线性预测模式和直接预测模式时,对第一目标亮度预测模式赋予最小的编码码字,对线性预测模式赋予除用于表示第一目标亮度预测模式的编码码字以外最小的编码码字,对直接预测模式赋予除用于表示线性预测模式和第一目标亮度预测模式的编码码字以外最小的编码码字;或者,
当候选色度预测模式集合中包括第一目标亮度预测模式和直接预测模式时,对第一目标亮度预测模式赋予最小的编码码字,对直接预测模式赋予除用于表示第一目标亮度预测模式的编码码字以外最小的编码码字。
在一种可行的实施方式中,第六确定模块42004,还包括:
第七确定模块42401,用于根据候选色度预测模式的数量确定变长码的长度;
操作模块42402,用于当候选色度预测模式的数量发生改变时,增减变长码的长度一位或多位。
在一种可行的实施方式中,装置还包括:
第八确定模块40003,用于确定预设候选亮度预测模式包括候选亮度预测模式集合,候选亮度预测模式集合包括方向性预测模式和非方向性预测模式;或者,确定预设候选亮度预测模式包括亮度处理单元对应的一个或多个亮度重构单元的亮度预测模式;或者,确定预设候选亮度预测模式包括待处理色度单元邻域的色度重构单元的色度预测模式。
在一种可行的实施方式中,第八确定模块40003具体用于:确定预设候选亮度预测模式包括和一个或多个亮度重构单元的亮度预测模式具有相关性的亮度预测模式。
在一种可行的实施方式中,和一个或多个亮度重构单元的亮度预测模式具有相关性的亮度预测模式,包括:
当亮度预测模式为方向性预测模式时,具有相关性的亮度预测模式包括一个或多个亮度重构单元的亮度预测模式相邻的P个预测模式,P为正数;或者,
当亮度预测模式为方向性预测模式时,具有相关性的亮度预测模式包括一个或多个亮度重构单元的亮度预测模式相邻的Q个预测模式和非方向性预测模式,Q为正数;或者,
当亮度预测模式为非方向性预测模式时,具有相关性的亮度预测模式包括预设的方向性预测模式。
在一种可行的实施方式中,待处理色度单元邻域的色度重构单元的色度预测模式,包括:与待处理色度单元的上、左、左上、右上、左下相邻的色度重构单元的色度预测模式。
在一种可行的实施方式中,装置还包括:
下采样模块40004,用于对亮度处理单元进行下采样;对应的,第一确定模块40001用于确定从预设候选亮度预测模式中确定所述下采样后的亮度处理单元的一个或多个目标亮度预测模式。
在一种可行的实施方式中,下采样模块40004具体用于:对亮度处理单元采用滤波系数为
Figure GPA0000262906760000761
的滤波器进行下采样;或者,对亮度处理单元采用滤波系数为
Figure GPA0000262906760000762
的滤波器进行下采样;或者,对亮度处理单元采用滤波系数为
Figure GPA0000262906760000763
的滤波器进行下采样;或者,对亮度处理单元采用滤波系数为
Figure GPA0000262906760000764
的滤波器进行下采样。
在一种可行的实施方式中,装置用于编码待处理色度单元,第二选择模块42002,包括:
第九确定模块42201,用于遍历候选色度预测模式集合中的候选色度预测模式,获得对应的候选色度预测值;
第三计算模块42202,用于根据待处理色度单元的原始值和遍历的候选色度预测值,计算每种候选色度预测模式的编码代价;
第十确定模块42203,用于确定编码代价最小的候选色度预测模式为待处理色度单元的色度预测模式;
编码模块42204,用于编码色度预测模式在候选色度预测模式集合中索引。
在一种可行的实施方式中,编码模块42204具体用于:根据确定的候选色度预测模式集合中的候选色度预测模式的编码码字编码索引。
在一种可行的实施方式中,装置用于解码待处理色度单元,第二选择模块42002,包括:
解码模块42205,用于从码流中解码色度预测模式在候选色度预测模式集合中索引;
第十一确定模块42206,用于根据索引从候选色度预测模式集合中确定色度预测模式。
在一种可行的实施方式中,解码模块42205具体用于:根据确定的候选色度预测模式集合中的候选色度预测模式的编码码字解码索引。
本发明实施例提供的色度预测的方法,基于已重建的亮度重构单元,构建改进的候选色度预测模式集合,并通过合适的模式编码,选择色度预测模式,提高了编码效率。
如图18所示,图18是本发明实施例提供的另一种色度预测装置的框图,具体如下所述。
本发明实施例提供了一种色度预测的装置500,存储器501和耦合于所述存储器的处理器502;所述存储器用于存储代码和指令;所述处理器依照所述代码和指令,用于执行:从预设候选亮度预测模式中确定亮度处理单元的一个或多个目标亮度预测模式,任一目标亮度预测模式对应的亮度处理单元的亮度预测值和亮度处理单元的亮度重构值的差异小于或等于所有未被确定为目标亮度预测模式的候选亮度预测模式对应的亮度处理单元的亮度预测值和亮度处理单元的亮度重构值的差异;获得待处理色度单元的色度预测值,待处理色度单元的候选色度预测模式集合包括目标亮度预测模式;其中,待处理色度单元对应一个亮度处理单元,亮度处理单元和待处理色度单元分别为同一图像区域的亮度分量和色度分量的处理单元,亮度处理单元对应一个或多个亮度重构单元。处理器502还可以具体执行色度预测方法1000的各种可行的实施方式,不再赘述。
本发明实施例提供的色度预测的方法,基于已重建的亮度重构单元,构建改进的候选色度预测模式集合,并通过合适的模式编码,选择色度预测模式,提高了编码效率。
值得注意的是,上述装置只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器执行本发明各个实施例所述方法的全部或部分步骤。所述存储介质是非短暂性(英文:non-transitory)介质,包括:快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (58)

1.一种色度预测的方法,待处理色度单元对应一个亮度处理单元,所述亮度处理单元和所述待处理色度单元分别为同一图像区域的亮度分量和色度分量的处理单元,所述亮度处理单元对应一个或多个亮度重构单元,其特征在于,包括:
从预设候选亮度预测模式中确定所述亮度处理单元的一个或多个目标亮度预测模式,任一所述目标亮度预测模式对应的所述亮度处理单元的亮度预测值和所述亮度处理单元的亮度重构值的差异小于或等于所有未被确定为所述目标亮度预测模式的候选亮度预测模式对应的所述亮度处理单元的亮度预测值和所述亮度处理单元的亮度重构值的差异;
获得所述待处理色度单元的色度预测值,所述待处理色度单元的候选色度预测模式集合包括所述目标亮度预测模式。
2.根据权利要求1所述的方法,其特征在于,所述从预设候选亮度预测模式中确定所述亮度处理单元的一个或多个目标亮度预测模式,包括:
从所述预设候选亮度预测模式中确定候选亮度预测模式子集合;
在所述候选亮度预测模式子集合中选择粗选预测模式;
当所述粗选预测模式不符合预设条件时,根据所述粗选预测模式,更新所述预设候选亮度预测模式,并且,从所述更新后的预设候选亮度预测模式中重新确定所述候选亮度预测模式子集合,并且,在所述重新确定的候选亮度预测模式子集合中重新选择所述粗选预测模式,直到所述重新选择的粗选预测模式符合所述预设条件;
当所述粗选预测模式符合所述预设条件时,将所述粗选预测模式作为所述目标亮度预测模式。
3.根据权利要求2所述的方法,其特征在于,所述预设候选亮度预测模式包括方向性预测模式所包括的预测模式和非方向性预测模式所包括的预测模式中的至少一种,所述方向性预测模式包括与二维平面水平方向呈N度的预测模式,N为小于360的非负数,所述非方向性预测模式包括直流预测模式(DC)和平面预测模式(planar),所述从所述预设候选亮度预测模式中确定候选亮度预测模式子集合,包括:
确定所述候选亮度预测模式子集合和所述预设候选亮度预测模式相同;或者,
确定所述候选亮度预测模式子集合包括以预设角度间隔从所述方向性预测模式中选取的预测模式;或者,
确定所述候选亮度预测模式子集合包括以预设角度间隔从所述方向性预测模式中选取的预测模式和所述非方向性预测模式。
4.根据权利要求2或3所述的方法,其特征在于,所述在所述候选亮度预测模式子集合中选择粗选预测模式,包括:
当所述候选亮度预测模式子集合仅包括一种候选亮度预测模式时,确定所述一种候选亮度预测模式为所述粗选预测模式;
当所述候选亮度预测模式子集合包括至少两种候选亮度预测模式时,分别计算所述亮度重构值和所述候选亮度预测模式子集合中的候选亮度预测模式对应的候选亮度预测值的差异值,并且,根据所述差异值,确定所述粗选预测模式,任一所述粗选预测模式对应的所述亮度处理单元的亮度预测值和所述亮度处理单元的亮度重构值的差异值小于或等于所有未被确定为所述粗选预测模式的所述候选亮度预测模式子集合中的候选亮度预测模式对应的所述亮度处理单元的亮度预测值和所述亮度处理单元的亮度重构值的差异值。
5.根据权利要求4所述的方法,其特征在于,所述候选亮度预测值为候选亮度预测值矩阵,所述亮度重构值为亮度重构值矩阵,所述分别计算所述亮度重构值和所述候选亮度预测模式子集合中的候选亮度预测模式对应的候选亮度预测值的差异值,包括:
分别计算所述候选亮度预测值矩阵和所述亮度重构值矩阵对应位置的元素的差值,获得差值矩阵;
根据所述差值矩阵确定所述差异值。
6.根据权利要求5所述的方法,其特征在于,所述根据所述差值矩阵确定所述差异值,包括:
累加所述差值矩阵中每个元素的绝对值作为所述差异值;或者,
对所述差值矩阵进行变换,获得差值变换矩阵,累加所述差值变换矩阵中每个元素的绝对值作为所述差异值;或者,
对所述差值矩阵依次进行变换、量化、反量化、反变换,获得重构差值矩阵,累加所述重构差值矩阵中每个元素的绝对值作为所述差异值。
7.根据权利要求6所述的方法,其特征在于,所述变换,包括:哈达玛变换(Hadamard),哈尔变换(Haar),离散余弦变换(DCT),或者离散正弦变换(DST);
对应的,所述反变换包括:和所述哈达玛变换对应的哈达玛反变换,和所述哈尔变换对应的哈尔反变换,和所述离散余弦变换对应的离散余弦反变换,或者和所述离散正弦变换对应的离散正弦反变换。
8.根据权利要求2或3所述的方法,其特征在于,所述根据所述粗选预测模式,更新所述候选亮度预测模式子集合,包括:
确定所述更新后的候选亮度预测模式子集合包括所述粗选预测模式和与所述粗选预测模式具有预设角度差的预测模式。
9.根据权利要求8所述的方法,其特征在于,所述和与所述粗选预测模式具有预设角度差的预测模式,包括:
所述粗选预测模式相邻的M个预测模式,M为正数。
10.根据权利要求2或3所述的方法,其特征在于,所述预设条件,包括:
所述粗选预测模式为所述非方向性预测模式;或者,
每个和所述粗选预测模式具有预设角度差的预测模式存在于从所述预设候选亮度预测模式中确定的或从任一所述更新后的预设候选亮度预测模式中重新确定的所述候选亮度预测模式子集合;或者,
所述粗选预测模式的所述重新选择的次数达到预设次数;或者,
所述粗选预测模式对应的差异值小于预设阈值。
11.根据权利要求1至3任一项所述的方法,其特征在于,所述获得所述待处理色度单元的色度预测值,包括:
根据所述目标亮度预测模式,确定所述待处理色度单元的候选色度预测模式集合;
从所述候选色度预测模式集合中,选择所述待处理色度单元的色度预测模式;
根据所述色度预测模式,确定所述待处理色度单元的色度预测值。
12.根据权利要求11所述的方法,其特征在于,所述根据所述目标亮度预测模式,确定所述待处理色度单元的候选色度预测模式集合,包括:
确定所述候选色度预测模式集合仅包括所述目标亮度预测模式。
13.根据权利要求11所述的方法,其特征在于,所述根据所述目标亮度预测模式,确定所述待处理色度单元的候选色度预测模式集合,包括:
确定所述候选色度预测模式集合包括所述目标亮度预测模式和一种或多种预设候选色度预测模式。
14.根据权利要求13所述的方法,其特征在于,所述预设候选色度预测模式,包括:水平预测模式,竖直预测模式,所述直流预测模式,所述平面预测模式和直接预测模式(DM)中的至少一种。
15.根据权利要求14所述的方法,其特征在于,所述候选色度预测模式,还包括:非水平或非竖直方向上的所述方向性预测模式,或者线性预测模式(LM)。
16.根据权利要求15所述的方法,其特征在于,在所述确定所述待处理色度单元的候选色度预测模式集合之后,还包括:
确定所述候选色度预测模式集合中的候选色度预测模式的编码码字。
17.根据权利要求16所述的方法,其特征在于,所述确定所述候选色度预测模式集合中的候选色度预测模式的编码码字,包括:
使用变长码确定所述候选色度预测模式集合中的候选色度预测模式的编码码字。
18.根据权利要求17所述的方法,其特征在于,将和所述亮度处理单元的亮度重构值差异最小的所述亮度处理单元的候选亮度预测值对应的预测模式作为第一目标亮度预测模式,所述使用变长码确定所述候选色度预测模式集合中的候选色度预测模式的编码码字,包括:
当所述候选色度预测模式集合中包括所述第一目标亮度预测模式、所述线性预测模式和所述直接预测模式时,对所述线性预测模式赋予最小的编码码字,对所述第一目标亮度预测模式赋予除用于表示所述线性预测模式的编码码字以外最小的编码码字,对所述直接预测模式赋予除用于表示所述线性预测模式和所述第一目标亮度预测模式的编码码字以外最小的编码码字;或者,
当所述候选色度预测模式集合中包括所述第一目标亮度预测模式、所述线性预测模式和所述直接预测模式时,对所述第一目标亮度预测模式赋予最小的编码码字,对所述线性预测模式赋予除用于表示所述第一目标亮度预测模式的编码码字以外最小的编码码字,对所述直接预测模式赋予除用于表示所述线性预测模式和所述第一目标亮度预测模式的编码码字以外最小的编码码字;或者,
当所述候选色度预测模式集合中包括所述第一目标亮度预测模式和所述直接预测模式时,对所述第一目标亮度预测模式赋予最小的编码码字,对所述直接预测模式赋予除用于表示所述第一目标亮度预测模式的编码码字以外最小的编码码字。
19.根据权利要求17或18所述的方法,其特征在于,所述使用变长码确定所述候选色度预测模式集合中的候选色度预测模式的编码码字,还包括:
根据所述候选色度预测模式的数量确定所述变长码的长度;
当所述候选色度预测模式的数量发生改变时,增减所述变长码的长度一位或多位。
20.根据权利要求1至3任一项所述的方法,其特征在于,在所述从预设候选亮度预测模式中确定所述亮度处理单元的一个或多个目标亮度预测模式之前,还包括:
确定所述预设候选亮度预测模式包括候选亮度预测模式集合,所述候选亮度预测模式集合包括所述方向性预测模式和所述非方向性预测模式;或者,
确定所述预设候选亮度预测模式包括所述亮度处理单元对应的所述一个或多个亮度重构单元的亮度预测模式;或者,
确定所述预设候选亮度预测模式包括所述待处理色度单元邻域的色度重构单元的色度预测模式。
21.根据权利要求20所述的方法,其特征在于,所述确定所述预设候选亮度预测模式包括所述亮度处理单元对应的所述一个或多个亮度重构单元的亮度预测模式,还包括:
确定所述预设候选亮度预测模式包括和所述一个或多个亮度重构单元的亮度预测模式具有相关性的亮度预测模式。
22.根据权利要求21所述的方法,其特征在于,所述和所述一个或多个亮度重构单元的亮度预测模式具有相关性的亮度预测模式,包括:
当所述亮度预测模式为所述方向性预测模式时,所述具有相关性的亮度预测模式包括所述一个或多个亮度重构单元的亮度预测模式相邻的P个预测模式,P为正数;或者,
当所述亮度预测模式为所述方向性预测模式时,所述具有相关性的亮度预测模式包括所述一个或多个亮度重构单元的亮度预测模式相邻的Q个预测模式和所述非方向性预测模式,Q为正数;或者,
当所述亮度预测模式为所述非方向性预测模式时,所述具有相关性的亮度预测模式包括预设的所述方向性预测模式。
23.根据权利要求20所述的方法,其特征在于,所述待处理色度单元邻域的色度重构单元的色度预测模式,包括:
与所述待处理色度单元的上、左、左上、右上、左下相邻的所述色度重构单元的色度预测模式。
24.根据权利要求1至3任一项所述的方法,其特征在于,在所述从预设候选亮度预测模式中确定所述亮度处理单元的一个或多个目标亮度预测模式之前,还包括:
对所述亮度处理单元进行下采样;
对应的,所述从预设候选亮度预测模式中确定所述亮度处理单元的一个或多个目标亮度预测模式,包括:
从预设候选亮度预测模式中确定所述下采样后的亮度处理单元的一个或多个目标亮度预测模式。
25.根据权利要求24所述的方法,其特征在于,所述对所述亮度处理单元进行下采样,包括:
对所述亮度处理单元采用滤波系数为
Figure FDA0002494783460000051
的滤波器进行下采样;或者,
对所述亮度处理单元采用滤波系数为
Figure FDA0002494783460000052
的滤波器进行下采样;或者,
对所述亮度处理单元采用滤波系数为
Figure FDA0002494783460000053
的滤波器进行下采样;或者,
对所述亮度处理单元采用滤波系数为
Figure FDA0002494783460000054
的滤波器进行下采样。
26.根据权利要求11所述的方法,所述方法用于编码所述待处理色度单元,其特征在于,所述从所述候选色度预测模式集合中,选择所述待处理色度单元的色度预测模式,包括:
遍历所述候选色度预测模式集合中的候选色度预测模式,获得对应的候选色度预测值;
根据所述待处理色度单元的原始值和所述遍历的候选色度预测值,计算每种所述候选色度预测模式的编码代价;
确定所述编码代价最小的候选色度预测模式为所述待处理色度单元的色度预测模式;
编码所述色度预测模式在所述候选色度预测模式集合中索引。
27.根据权利要求26所述的方法,其特征在于,所述编码所述色度预测模式在所述候选色度预测模式集合中索引,包括:
根据确定的所述候选色度预测模式集合中的候选色度预测模式的编码码字编码所述索引。
28.根据权利要求11所述的方法,所述方法用于解码所述待处理色度单元,其特征在于,所述从所述候选色度预测模式集合中,选择所述待处理色度单元的色度预测模式,包括:
从码流中解码所述色度预测模式在所述候选色度预测模式集合中索引;
根据所述索引从所述候选色度预测模式集合中确定所述色度预测模式。
29.根据权利要求28所述的方法,其特征在于,所述从码流中解码所述色度预测模式在所述候选色度预测模式集合中索引,包括:
根据确定的所述候选色度预测模式集合中的候选色度预测模式的编码码字解码所述索引。
30.一种色度预测的装置,待处理色度单元对应一个亮度处理单元,所述亮度处理单元和所述待处理色度单元分别为同一图像区域的亮度分量和色度分量的处理单元,所述亮度处理单元对应一个或多个亮度重构单元,其特征在于,包括:
第一确定模块,用于从预设候选亮度预测模式中确定所述亮度处理单元的一个或多个目标亮度预测模式,任一所述目标亮度预测模式对应的所述亮度处理单元的亮度预测值和所述亮度处理单元的亮度重构值的差异小于或等于所有未被确定为所述目标亮度预测模式的候选亮度预测模式对应的所述亮度处理单元的亮度预测值和所述亮度处理单元的亮度重构值的差异;
第一构建模块,用于获得所述待处理色度单元的色度预测值,所述待处理色度单元的候选色度预测模式集合包括所述目标亮度预测模式。
31.根据权利要求30所述的装置,其特征在于,所述第一确定模块,包括:
第二确定模块,用于从所述预设候选亮度预测模式中确定候选亮度预测模式子集合;
第一选择模块,用于在所述候选亮度预测模式子集合中选择粗选预测模式;
更新模块,用于当所述粗选预测模式不符合预设条件时,根据所述粗选预测模式,更新所述预设候选亮度预测模式,并且,从所述更新后的预设候选亮度预测模式中重新确定所述候选亮度预测模式子集合,并且,在所述重新确定的候选亮度预测模式子集合中重新选择所述粗选预测模式,直到所述重新选择的粗选预测模式符合所述预设条件;
当所述粗选预测模式符合所述预设条件时,将所述粗选预测模式作为所述目标亮度预测模式。
32.根据权利要求31所述的装置,其特征在于,所述预设候选亮度预测模式包括方向性预测模式所包括的预测模式和非方向性预测模式所包括的预测模式中的至少一种,所述方向性预测模式包括与二维平面水平方向呈N度的预测模式,N为小于360的非负数,所述非方向性预测模式包括直流预测模式和平面预测模式,所述第二确定模块具体用于:
确定所述候选亮度预测模式子集合和所述预设候选亮度预测模式相同;或者,
确定所述候选亮度预测模式子集合包括以预设角度间隔从所述方向性预测模式中选取的预测模式;或者,
确定所述候选亮度预测模式子集合包括以预设角度间隔从所述方向性预测模式中选取的预测模式和所述非方向性预测模式。
33.根据权利要求31或32所述的装置,其特征在于,包括:
当所述候选亮度预测模式子集合仅包括一种候选亮度预测模式时,所述第一选择模块,具体用于确定所述一种候选亮度预测模式为所述粗选预测模式;
当所述候选亮度预测模式子集合包括至少两种候选亮度预测模式时,所述第一选择模块包括:
第一计算模块,用于分别计算所述亮度重构值和所述候选亮度预测模式子集合中的候选亮度预测模式对应的候选亮度预测值的差异值;
比较模块,用于根据所述差异值,确定所述粗选预测模式,任一所述粗选预测模式对应的所述亮度处理单元的亮度预测值和所述亮度处理单元的亮度重构值的差异值小于或等于所有未被确定为所述粗选预测模式的所述候选亮度预测模式子集合中的候选亮度预测模式对应的所述亮度处理单元的亮度预测值和所述亮度处理单元的亮度重构值的差异值。
34.根据权利要求33所述的装置,其特征在于,所述候选亮度预测值为候选亮度预测值矩阵,所述亮度重构值为亮度重构值矩阵,所述第一计算模块,包括:
第二计算模块,用于分别计算所述候选亮度预测值矩阵和所述亮度重构值矩阵对应位置的元素的差值,获得差值矩阵;
第三确定模块,用于根据所述差值矩阵确定所述差异值。
35.根据权利要求34所述的装置,其特征在于,所述第三确定模块具体用于:
累加所述差值矩阵中每个元素的绝对值作为所述差异值;或者,
对所述差值矩阵进行变换,获得差值变换矩阵,累加所述差值变换矩阵中每个元素的绝对值作为所述差异值;或者,
对所述差值矩阵依次进行变换、量化、反量化、反变换,获得重构差值矩阵,累加所述重构差值矩阵中每个元素的绝对值作为所述差异值。
36.根据权利要求35所述的装置,其特征在于,所述变换,包括:哈达玛变换,哈尔变换,离散余弦变换,或者离散正弦变换;
对应的,所述反变换包括:和所述哈达玛变换对应的哈达玛反变换,和所述哈尔变换对应的哈尔反变换,和所述离散余弦变换对应的离散余弦反变换,或者和所述离散正弦变换对应的离散正弦反变换。
37.根据权利要求31或32任一项所述的装置,其特征在于,所述更新模块具体用于:
确定所述更新后的候选亮度预测模式子集合包括所述粗选预测模式和与所述粗选预测模式具有预设角度差的预测模式。
38.根据权利要求37所述的装置,其特征在于,所述和与所述粗选预测模式具有预设角度差的预测模式,包括:
所述粗选预测模式相邻的M个预测模式,M为正数。
39.根据权利要求31或32任一项所述的装置,其特征在于,所述预设条件,包括:
所述粗选预测模式为所述非方向性预测模式;或者,
每个和所述粗选预测模式具有预设角度差的预测模式存在于从所述预设候选亮度预测模式中确定的或从任一所述更新后的预设候选亮度预测模式中重新确定的所述候选亮度预测模式子集合;或者,
所述粗选预测模式的所述重新选择的次数达到预设次数;或者,
所述粗选预测模式对应的差异值小于预设阈值。
40.根据权利要求30至32任一项所述的装置,其特征在于,所述第一构建模块,包括:
第四确定模块,用于根据所述目标亮度预测模式,确定所述待处理色度单元的候选色度预测模式集合;
第二选择模块,用于从所述候选色度预测模式集合中,选择所述待处理色度单元的色度预测模式;
第五确定模块,用于根据所述色度预测模式,确定所述待处理色度单元的色度预测值。
41.根据权利要求40所述的装置,其特征在于,所述第四确定模块具体用于:
确定所述候选色度预测模式集合仅包括所述目标亮度预测模式。
42.根据权利要求40所述的装置,其特征在于,所述第四确定模块具体用于:
确定所述候选色度预测模式集合包括所述目标亮度预测模式和一种或多种预设候选色度预测模式。
43.根据权利要求42所述的装置,其特征在于,所述预设候选色度预测模式,包括:水平预测模式,竖直预测模式,所述直流预测模式,所述平面预测模式和直接预测模式中的至少一种。
44.根据权利要求43所述的装置,其特征在于,所述候选色度预测模式,还包括:非水平或非竖直方向上的所述方向性预测模式,或者线性预测模式。
45.根据权利要求44所述的装置,其特征在于,所述第一构建模块,还包括:
第六确定模块,用于确定所述候选色度预测模式集合中的候选色度预测模式的编码码字。
46.根据权利要求45所述的装置,其特征在于,所述第六确定模块具体用于:
使用变长码确定所述候选色度预测模式集合中的候选色度预测模式的编码码字。
47.根据权利要求46所述的装置,其特征在于,将和所述亮度处理单元的亮度重构值差异最小的所述亮度处理单元的候选亮度预测值对应的预测模式作为第一目标亮度预测模式,所述第六确定模块具体用于:
当所述候选色度预测模式集合中包括所述第一目标亮度预测模式、所述线性预测模式和所述直接预测模式时,对所述线性预测模式赋予最小的编码码字,对所述第一目标亮度预测模式赋予除用于表示所述线性预测模式的编码码字以外最小的编码码字,对所述直接预测模式赋予除用于表示所述线性预测模式和所述第一目标亮度预测模式的编码码字以外最小的编码码字;或者,
当所述候选色度预测模式集合中包括所述第一目标亮度预测模式、所述线性预测模式和所述直接预测模式时,对所述第一目标亮度预测模式赋予最小的编码码字,对所述线性预测模式赋予除用于表示所述第一目标亮度预测模式的编码码字以外最小的编码码字,对所述直接预测模式赋予除用于表示所述线性预测模式和所述第一目标亮度预测模式的编码码字以外最小的编码码字;或者,
当所述候选色度预测模式集合中包括所述第一目标亮度预测模式和所述直接预测模式时,对所述第一目标亮度预测模式赋予最小的编码码字,对所述直接预测模式赋予除用于表示所述第一目标亮度预测模式的编码码字以外最小的编码码字。
48.根据权利要求46或47所述的装置,其特征在于,所述第六确定模块,还包括:
第七确定模块,用于根据所述候选色度预测模式的数量确定所述变长码的长度;
操作模块,用于当所述候选色度预测模式的数量发生改变时,增减所述变长码的长度一位或多位。
49.根据权利要求30至32任一项所述的装置,其特征在于,还包括:
第八确定模块,用于确定所述预设候选亮度预测模式包括候选亮度预测模式集合,所述候选亮度预测模式集合包括所述方向性预测模式和所述非方向性预测模式;或者,
确定所述预设候选亮度预测模式包括所述亮度处理单元对应的所述一个或多个亮度重构单元的亮度预测模式;或者,
确定所述预设候选亮度预测模式包括所述待处理色度单元邻域的色度重构单元的色度预测模式。
50.根据权利要求49所述的装置,其特征在于,所述第八确定模块具体用于:
确定所述预设候选亮度预测模式包括和所述一个或多个亮度重构单元的亮度预测模式具有相关性的亮度预测模式。
51.根据权利要求50所述的装置,其特征在于,所述和所述一个或多个亮度重构单元的亮度预测模式具有相关性的亮度预测模式,包括:
当所述亮度预测模式为所述方向性预测模式时,所述具有相关性的亮度预测模式包括所述一个或多个亮度重构单元的亮度预测模式相邻的P个预测模式,P为正数;或者,
当所述亮度预测模式为所述方向性预测模式时,所述具有相关性的亮度预测模式包括所述一个或多个亮度重构单元的亮度预测模式相邻的Q个预测模式和所述非方向性预测模式,Q为正数;或者,
当所述亮度预测模式为所述非方向性预测模式时,所述具有相关性的亮度预测模式包括预设的所述方向性预测模式。
52.根据权利要求49所述的装置,其特征在于,所述待处理色度单元邻域的色度重构单元的色度预测模式,包括:
与所述待处理色度单元的上、左、左上、右上、左下相邻的所述色度重构单元的色度预测模式。
53.根据权利要求30至32任一项所述的装置,其特征在于,还包括:
下采样模块,用于对所述亮度处理单元进行下采样;
对应的,所述第一确定模块用于从预设候选亮度预测模式中确定所述下采样后的亮度处理单元的一个或多个目标亮度预测模式。
54.根据权利要求53所述的装置,其特征在于,所述下采样模块具体用于:
对所述亮度处理单元采用滤波系数为
Figure FDA0002494783460000101
的滤波器进行下采样;或者,
对所述亮度处理单元采用滤波系数为
Figure FDA0002494783460000111
的滤波器进行下采样;或者,
对所述亮度处理单元采用滤波系数为
Figure FDA0002494783460000112
的滤波器进行下采样;或者,
对所述亮度处理单元采用滤波系数为
Figure FDA0002494783460000113
的滤波器进行下采样。
55.根据权利要求40所述的装置,所述装置用于编码所述待处理色度单元,其特征在于,所述第二选择模块,包括:
第九确定模块,用于遍历所述候选色度预测模式集合中的候选色度预测模式,获得对应的候选色度预测值;
第三计算模块,用于根据所述待处理色度单元的原始值和所述遍历的候选色度预测值,计算每种所述候选色度预测模式的编码代价;
第十确定模块,用于确定所述编码代价最小的候选色度预测模式为所述待处理色度单元的色度预测模式;
编码模块,用于编码所述色度预测模式在所述候选色度预测模式集合中索引。
56.根据权利要求55所述的装置,其特征在于,所述编码模块具体用于:
根据确定的所述候选色度预测模式集合中的候选色度预测模式的编码码字编码所述索引。
57.根据权利要求40所述的装置,所述装置用于解码所述待处理色度单元,其特征在于,所述第二选择模块,包括:
解码模块,用于从码流中解码所述色度预测模式在所述候选色度预测模式集合中索引;
第十一确定模块,用于根据所述索引从所述候选色度预测模式集合中确定所述色度预测模式。
58.根据权利要求57所述的装置,其特征在于,所述解码模块具体用于:
根据确定的所述候选色度预测模式集合中的候选色度预测模式的编码码字解码所述索引。
CN201680088356.2A 2016-12-28 2016-12-28 色度预测的方法及装置 Active CN109565588B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/112628 WO2018119740A1 (zh) 2016-12-28 2016-12-28 色度预测的方法及装置

Publications (2)

Publication Number Publication Date
CN109565588A CN109565588A (zh) 2019-04-02
CN109565588B true CN109565588B (zh) 2020-09-08

Family

ID=62706654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680088356.2A Active CN109565588B (zh) 2016-12-28 2016-12-28 色度预测的方法及装置

Country Status (4)

Country Link
US (1) US20190313092A1 (zh)
EP (1) EP3547683A4 (zh)
CN (1) CN109565588B (zh)
WO (1) WO2018119740A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110198442B (zh) * 2018-12-27 2023-02-28 腾讯科技(深圳)有限公司 一种用于视频编码的帧内预测方法、装置和存储介质
CN110213594A (zh) * 2018-12-29 2019-09-06 腾讯科技(深圳)有限公司 用于帧内编码的方法、装置、帧编码器、帧编码系统以及计算机可读存储媒体
US20210392344A1 (en) * 2019-01-02 2021-12-16 Sharp Kabushiki Kaisha Prediction image generation device, moving image decoding device, moving image encoding device, and prediction image generation method
WO2020258001A1 (zh) * 2019-06-25 2020-12-30 Oppo广东移动通信有限公司 亮度分量预测方法、编码器、解码器以及存储介质
CN113170144A (zh) * 2020-02-28 2021-07-23 深圳市大疆创新科技有限公司 视频处理的方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102857768A (zh) * 2011-07-01 2013-01-02 华为技术有限公司 色度预测模式候选集的确定方法及设备
CN103314588A (zh) * 2011-01-07 2013-09-18 联发科技(新加坡)私人有限公司 改进型帧内预测模式编码方法及装置
CN103636203A (zh) * 2011-06-17 2014-03-12 联发科技股份有限公司 内部预测模式编码的方法及装置
CN103650512A (zh) * 2011-07-12 2014-03-19 英特尔公司 基于亮度的色度帧内预测
CN106162175A (zh) * 2015-03-26 2016-11-23 北京君正集成电路股份有限公司 帧内预测模式选择方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9288500B2 (en) * 2011-05-12 2016-03-15 Texas Instruments Incorporated Luma-based chroma intra-prediction for video coding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103314588A (zh) * 2011-01-07 2013-09-18 联发科技(新加坡)私人有限公司 改进型帧内预测模式编码方法及装置
CN103636203A (zh) * 2011-06-17 2014-03-12 联发科技股份有限公司 内部预测模式编码的方法及装置
CN102857768A (zh) * 2011-07-01 2013-01-02 华为技术有限公司 色度预测模式候选集的确定方法及设备
CN103650512A (zh) * 2011-07-12 2014-03-19 英特尔公司 基于亮度的色度帧内预测
CN106162175A (zh) * 2015-03-26 2016-11-23 北京君正集成电路股份有限公司 帧内预测模式选择方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A light-weight HEVC encoder for image coding;Fei Liang等;《2013 Visual Communications and Image Processing (VCIP)》;20131117;全文 *
Chroma Intra Prediction Using Reconstructed Luma;Chuohao Yeo;《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 3rd Meeting: Guangzhou, CN, 7-15 October, 2010,JCTVC-C040》;20101001;全文 *
Cross-channel techniques to improve intra chroma prediction;Yi-Jen Chiu;《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting: Torino, IT, 14-22 July, 2011, JCTVC-F502》;20110702;全文 *
Decoder-side intra mode derivation;Xiaoyu Xiu;《Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 3rd Meeting: Geneva, CH, 26 May – 1 June 2016, JVET-C0061》;20160526;全文 *

Also Published As

Publication number Publication date
WO2018119740A1 (zh) 2018-07-05
EP3547683A1 (en) 2019-10-02
CN109565588A (zh) 2019-04-02
US20190313092A1 (en) 2019-10-10
EP3547683A4 (en) 2019-12-04

Similar Documents

Publication Publication Date Title
KR102431537B1 (ko) 루마 및 크로마 성분에 대한 ibc 전용 버퍼 및 디폴트 값 리프레싱을 사용하는 인코더, 디코더 및 대응하는 방법들
US20210044839A1 (en) Encoding method and apparatus and decoding method and apparatus
CN109565588B (zh) 色度预测的方法及装置
CN106998470B (zh) 解码方法、编码方法、解码设备和编码设备
JP2015156647A (ja) マッピングされた変換と走査モードとを使用するビデオコード化
CN112042195B (zh) 视频序列的帧内预测方法及装置
CN112789858B (zh) 帧内预测方法及设备
KR102616714B1 (ko) 광학 흐름 정제를 위한 조기 종료
US11134251B2 (en) Video coding in triangular prediction unit mode using different chroma formats
KR20210126126A (ko) 크로마 서브블록의 아핀 기반 인터 예측을 위한 방법 및 장치
CN113170202B (zh) 用于构建应用多假设预测的块的mpm列表的编码器、解码器及相应方法
KR20220024877A (ko) 이중 예측 옵티컬 플로 계산 및 이중 예측 보정에서 블록 레벨 경계 샘플 그레이디언트 계산을 위한 정수 그리드 참조 샘플의 위치를 계산하는 방법
TW202232955A (zh) 對參考像素進行上採樣以用於視頻譯碼中的幀內預測
KR20220024900A (ko) 비선형 적응 루프 필터의 클리핑 레벨
EP3890325A1 (en) Inter-frame prediction method and device
EP3868095A1 (en) Apparatus and method for chrominance quantization parameter derivation
CN113556566B (zh) 用于视频帧的帧内预测或帧间预测处理的方法及装置
US20240121399A1 (en) Decoder-side control point motion vector refinement for affine inter-prediction in video coding
WO2024010790A1 (en) Reduced complexity multi-mode neural network filtering of video data
TW202232954A (zh) 用於視訊譯碼的訊框內預測的最可能模式
CN116235495A (zh) 用于视频译码中的跨分量线性模型(cclm)模式的固定比特深度处理
CN117561712A (zh) 在视频译码中具有多个分类器的用信号通知的自适应环路滤波器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant