CN110324627B - 色度的帧内预测方法及装置 - Google Patents

色度的帧内预测方法及装置 Download PDF

Info

Publication number
CN110324627B
CN110324627B CN201810276799.5A CN201810276799A CN110324627B CN 110324627 B CN110324627 B CN 110324627B CN 201810276799 A CN201810276799 A CN 201810276799A CN 110324627 B CN110324627 B CN 110324627B
Authority
CN
China
Prior art keywords
block
luminance
prediction
motion vector
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810276799.5A
Other languages
English (en)
Other versions
CN110324627A (zh
Inventor
左旭光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201810276799.5A priority Critical patent/CN110324627B/zh
Priority to PCT/CN2019/079808 priority patent/WO2019184934A1/zh
Publication of CN110324627A publication Critical patent/CN110324627A/zh
Application granted granted Critical
Publication of CN110324627B publication Critical patent/CN110324627B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明是关于一种色度的帧内预测方法及装置,属于视频编解码领域。所述方法包括:当目标帧内预测模式为帧内运动补偿模式时,基于参考亮度块的运动矢量确定待处理图像帧中当前色度块的运动矢量,其中,所述目标帧内预测模式用于指示预测所述当前色度块的预测块的模式,在所述帧内运动补偿模式下,所述当前色度块的运动矢量基于亮度块的运动矢量生成,所述参考亮度块为与所述当前色度块位置对应的n个亮度块中的亮度块,n≥1;基于所述当前色度块的运动矢量,预测所述当前色度块的预测块。本发明解决了目前的帧内运动补偿技术的过程方法较为复杂,确定以及编码运动矢量的代价较高的问题。本发明用于视频的编解码。

Description

色度的帧内预测方法及装置
技术领域
本发明涉及视频编解码领域,特别涉及一种色度的帧内预测方法及装置。
背景技术
在视频编解码领域,帧内预测技术是一种取出图像内像素之间的相关性的技术。
在高效率视频编码(英文:High Efficiency Video Coding;简称:HEVC)的屏幕内容编码(英文:Screen Content Coding;简称SCC)扩展标准中,有一种叫做帧内块拷贝的帧内预测技术,其也称为帧内运动补偿技术,该帧内运动补偿技术指的是,待处理块(如编码块或解码块)从其所属的待处理图像帧中已经编码的区域内进行运动搜索,以找到最匹配的块作为其预测块进行编码。在编码过程中,相对于普通的帧内预测技术,帧内运动补偿技术需要为编码块确定并编码其对应的运动矢量。这样解码端根据该运动矢量找到相应的解码块的预测块,完成解码过程。
在YUV编码技术中,像素值包括:亮度分量Y、色度分量U和色度分量V。在HEVC SCC标准中,亮度分量和色度分量的划分是一致的。目前提出的联合探索模型(英文全称:JointExploration Model,简称:JEM,JEM是H.266的参考软件模型),相对于HEVC已经有了大幅的性能提升。在JEM中,对于I帧的编解码,采用了亮度分量和色度分量独立划分编解码的方式,所以亮度分量的划分和色度分量的划分不再一致。基于JEM的编码框架,如果采用帧内运动补偿技术,亮度分量和色度分量需要各自决策是否采用帧内运动补偿技术。而采用帧内运动补偿技术时,需要各自确定对应的运动矢量,进而各自基于确定的运动矢量预测对应的预测块,以进一步进行各自的视频编解码过程。
但是,当亮度分量和色度分量独立划分编解码时,采用帧内运动补偿技术的过程方法较为复杂,确定运动矢量的运算代价较高。
发明内容
本发明实施例提供了一种色度的帧内预测方法及装置,解决了目前的帧内运动补偿技术的过程方法较为复杂,确定运动矢量的运算代价较高的问题。所述技术方案如下:
根据本发明实施例的第一方面,提供一种色度的帧内预测方法,所述方法包括:
当目标帧内预测模式为帧内运动补偿模式时,基于参考亮度块的运动矢量确定待处理图像帧中当前色度块的运动矢量,其中,所述目标帧内预测模式用于指示预测所述当前色度块的预测块的模式,在所述帧内运动补偿模式下,所述当前色度块的运动矢量基于亮度块的运动矢量生成,所述参考亮度块为与所述当前色度块位置对应的n个亮度块中的亮度块,n≥1;
基于所述当前色度块的运动矢量,预测所述当前色度块的预测块。
可选的,在与所述基于参考亮度块的运动矢量确定待处理图像帧中当前色度块的运动矢量之前,所述方法还包括:
构造预测模式候选队列,所述预测模式候选队列包括至少一个预测模式,每个所述预测模式均用于指示预测所述当前色度块的预测块的模式;
在构造完成的所述预测模式候选队列中,确定所述目标帧内预测模式;
当目标帧内预测模式为帧内运动补偿模式时,确定所述参考亮度块。
可选的,所述构造预测模式候选队列,包括:
确定待处理图像帧中与所述当前色度块位置对应的n个亮度块;
检测所述n个亮度块中是否存在运动矢量可参考的亮度块;
当所述n个亮度块中存在运动矢量可参考的亮度块时,在所述预测模式候选队列中添加帧内运动补偿模式。
可选的,所述检测所述n个亮度块中是否存在运动矢量可参考的亮度块,包括:
按照目标顺序依次检测所述n个亮度块中亮度块的运动矢量是否可参考,直至达到检测停止条件,所述检测停止条件为可参考的运动矢量的总数等于预设的个数阈值k,或者,遍历所述n个亮度块。
可选的,所述在所述预测模式候选队列中添加帧内运动补偿模式,包括:
在按照所述目标顺序每检测到一个运动矢量可参考的亮度块时,在所述预测模式候选队列中添加一个帧内运动补偿模式;
或者,在达到检测停止条件后,若存在运动矢量可参考的m个亮度块,按照所述m个亮度块在所述目标顺序中的检测排布顺序,在所述预测模式候选队列中添加m个帧内运动补偿模式,m≥1。
可选的,所述预测模式候选队列包括m个帧内运动补偿模式,m≥1,所述确定所述参考亮度块,包括:
在所述预测模式候选队列中,确定所述目标帧内预测模式在所述m个帧内运动补偿模式中为第r个帧内运动补偿模式,1≤r≤m;
按照目标顺序依次检测所述n个亮度块中亮度块的运动矢量是否可参考,直至达到检测停止条件,所述检测停止条件为可参考的运动矢量的总数等于预设的个数阈值x,x≥m,或者,可参考的运动矢量的总数等于所述r,或者,遍历所述n个亮度块;
在达到检测停止条件后,将第r个运动矢量可参考的亮度块确定为所述参考亮度块。
可选的,所述预测模式候选队列包括m个帧内运动补偿模式,m≥1,
所述确定所述参考亮度块,包括:
按照目标顺序依次检测所述n个亮度块中亮度块的运动矢量是否可参考,直至达到检测停止条件,所述检测停止条件为可参考的运动矢量的总数等于预设的个数阈值x,x≥m,或者,遍历所述n个亮度块;
在达到检测停止条件后,基于每个可参考的运动矢量,生成所述当前色度块的参考预测块;
在生成的多个参考预测块中,确定符合第一目标条件的参考预测块,所述第一目标条件为参考预测块对应的残差块的残差值的绝对值之和最小,或,参考预测块对应的残差块的残差值变换量的绝对值之和最小,或,参考预测块对应的编码代价最小;
将符合所述第一目标条件的参考预测块所对应的亮度块确定为所述参考亮度块。
可选的,所述预测模式候选队列包括m个帧内运动补偿模式,m≥1,所述方法还包括:在构造所述预测模式候选队列的过程中,建立帧内运动补偿模式的标识与亮度块的标识的对应关系表,所述对应关系表记录有添加至所述预测模式候选队列中的每个帧内运动补偿模式的标识,以及对应的运动矢量可参考的亮度块的标识,所述对应关系表中每个所述帧内运动补偿模式的标识用于唯一标识一个预测模式候选队列中的帧内运动补偿模式;
所述确定所述参考亮度块,包括:
基于所述目标帧内预测模式的标识,查询所述对应关系表,得到所述参考亮度块的标识;
基于所述参考亮度块的标识确定所述参考亮度块。
可选的,所述按照目标顺序依次检测所述n个亮度块中亮度块的运动矢量是否可参考,直至达到检测停止条件,包括:
设置i=1;
执行检测过程,所述检测过程包括:
检测所述n个亮度块中第i个亮度块的运动矢量是否可参考;
当所述第i个亮度块的运动矢量可参考时,检测是否达到所述检测停止条件;
当未达到所述检测停止条件,更新所述i,使得更新后的i=i+1,再次执行所述检测过程;
当达到所述检测停止条件,停止执行所述检测过程。
可选的,所述检测所述n个亮度块中第i个亮度块的运动矢量是否可参考,包括:
检测所述n个亮度块中第i个亮度块的预测类型;
当所述第i个亮度块的预测类型为帧内预测类型时,确定所述第i个亮度块的运动矢量不可参考;
当所述第i个亮度块的预测类型为帧间预测类型时,基于所述第i个亮度块的运动矢量生成备选运动矢量;
检测所述第i个亮度块对应的备选运动矢量与当前检测得到的运动矢量可参考的亮度块所对应的备选运动矢量是否相同;
当所述第i个亮度块对应的备选运动矢量与当前检测得到的运动矢量可参考的亮度块所对应的备选运动矢量不同时,基于所述第i个亮度块对应的备选运动矢量,预测所述当前色度块的备选预测块;
当所述备选预测块有效,确定所述第i个亮度块的运动矢量可参考;
当所述备选预测块无效,确定所述第i个亮度块的运动矢量不可参考;
当所述第i个亮度块对应的备选运动矢量与当前检测得到的运动矢量可参考的亮度块对应的备选运动矢量相同时,确定所述第i个亮度块的运动矢量不可参考。
可选的,在所述基于所述第i个亮度块对应的备选运动矢量,预测所述当前色度块的备选预测块之后,所述方法还包括:
检测所述备选预测块是否全部位于所述待处理图像帧中的色度已编码区域;
当所述备选预测块全部位于所述待处理图像帧中的色度已编码区域内,确定所述备选预测块有效;
当所述备选预测块不是全部位于所述待处理图像帧中的色度已编码区域外,确定所述备选预测块无效。
可选的,在所述基于所述第i个亮度块对应的备选运动矢量,预测所述当前色度块的备选预测块之后,所述方法还包括:
检测所述备选预测块是否全部位于所述待处理图像帧中的色度已编码区域;
检测所述备选预测块是否位于所述当前色度块的指定方位;
当所述备选预测块全部位于所述待处理图像帧中的色度已编码区域内,且位于所述当前色度块的指定方位,确定所述备选预测块有效;
当所述备选预测块不是全部位于所述待处理图像帧中的色度已编码区域外,或者,不位于所述当前色度块的指定方位,确定所述备选预测块无效;
其中,所述当前色度块的指定方位为所述当前色度块的左侧、上侧和左上侧的任一方位。
可选的,所述检测所述备选预测块是否全部位于所述待处理图像帧中的色度已编码区域,包括:
当所述第i个亮度块对应的备选运动矢量为分像素运动矢量,获取所述备选预测块对应的参考色度块,所述备选预测块的色度像素值是基于所述参考色度块的像素值插值得到的;
检测所述参考色度块是否全部位于所述待处理图像帧中的色度已编码区域;
当所述参考色度块全部位于所述待处理图像帧中的色度已编码区域内,确定所述备选预测块全部位于所述待处理图像帧中的色度已编码区域;
当所述参考色度块不是全部位于所述待处理图像帧中的色度已编码区域外,确定所述备选预测块不是全部位于所述待处理图像帧中的色度已编码区域。
可选的,所述确定待处理图像帧中与所述当前色度块位置对应的n个亮度块,包括:
确定待处理图像帧中与所述当前色度块位置对应的亮度图像区域;
将所有目标亮度块作为所述n个亮度块,或者,在所有目标亮度块中筛选指定位置的亮度块作为所述n个亮度块,所述指定位置的亮度块包括:覆盖所述亮度图像区域中中心像素点的亮度块、覆盖所述亮度图像区域中左上角像素点的亮度块、覆盖所述亮度图像区域中右上角像素点的亮度块、覆盖所述亮度图像区域中左下角像素点的亮度块和覆盖所述亮度图像区域中右下角像素点的亮度块;
其中,所述目标亮度块为部分或全部在所述亮度图像区域中的亮度块。
可选的,所述n个亮度块至少包括:覆盖亮度图像区域中中心像素点的亮度块、覆盖所述亮度图像区域中左上角像素点的亮度块、覆盖所述亮度图像区域中右上角像素点的亮度块、覆盖所述亮度图像区域中左下角像素点的亮度块和覆盖所述亮度图像区域中右下角像素点的亮度块,其中,所述亮度图像区域为待处理图像帧中与所述当前色度块位置对应的亮度区域,所述目标顺序为:
覆盖所述亮度图像区域中中心像素点的亮度块、覆盖所述亮度图像区域中左上角像素点的亮度块、覆盖所述亮度图像区域中右上角像素点的亮度块、覆盖所述亮度图像区域中左下角像素点的亮度块和覆盖亮度图像区域中右下角像素点的亮度块的顺序;
或者,所述目标顺序为:随机确定的顺序。
可选的,所述方法应用于解码端,确定所述参考亮度块的过程,包括:
从解码后的码流中提取所述参考亮度块的标识;
基于所述参考亮度块的标识,在所述n个亮度块中确定所述参考亮度块。
可选的,所述基于所述参考亮度块的标识,在所述n个亮度块中确定所述参考亮度块,包括:
为所述n个亮度块中运动矢量可参考的亮度块按照与编码端约定的顺序分配标识;
将与所述参考亮度块的标识一致的运动矢量可参考的亮度块确定为所述参考亮度块。
可选的,所述方法应用于编码端,
在所述确定所述参考亮度块之后,所述方法还包括:
将所述目标帧内预测模式在预测模式候选队列中的索引编码后添加至所述当前色度块的码流中,所述预测模式候选队列包括至少一个预测模式,每个所述预测模式均用于指示预测所述当前色度块的预测块的模式。
可选的,在所述确定所述参考亮度块之后,所述方法还包括:
获取所述参考亮度块的标识;
将所述参考亮度块的标识编码后添加至所述当前色度块的码流中。
可选的,所述获取所述参考亮度块的标识,包括:
为所述n个亮度块中运动矢量可参考的亮度块按照与解码端约定的顺序分配标识;
获取为所述参考亮度块分配的标识。
可选的,为所述n个亮度块中运动矢量可参考的亮度块分配的标识为以0或1为起始标识,公差为1的等差递增数列。
可选的,所述基于参考亮度块的运动矢量确定待处理图像帧中当前色度块的运动矢量,包括:
按照所述待处理图像帧的编码格式,确定所述当前色度块与所述参考亮度块的矢量缩放比;
基于所述矢量缩放比,对所述参考亮度块的运动矢量进行缩放得到所述当前色度块的运动矢量。
可选的,所述在构造完成的所述预测模式候选队列中,确定所述目标帧内预测模式,包括:
将构造完成的所述预测模式候选队列中对应的预测块符合第二目标条件的帧内预测模式,确定为所述目标帧内预测模式;
其中,所述第二目标条件为:基于帧内预测模式确定的预测块所对应的残差块的残差值的绝对值之和最小,或,基于帧内预测模式确定的预测块所对应的残差块的残差值变换量的绝对值之和最小,或,采用帧内预测模式编码对应的编码代价最小。
可选的,所述确定待处理图像帧中与所述当前色度块位置对应的亮度图像区域,包括:
基于所述当前色度块的尺寸,以及亮度分量与色度分量的分布密度比例,确定所述当前色度块位置对应的亮度图像区域,该亮度图像区域的尺寸等于所述当前色度块的尺寸与所述分布密度比例的乘积。
根据本发明实施的第二方面,提供一种色度的帧内预测装置,所述装置包括:
第一确定模块,用于当目标帧内预测模式为帧内运动补偿模式时,基于参考亮度块的运动矢量确定待处理图像帧中当前色度块的运动矢量,其中,所述目标帧内预测模式用于指示预测所述当前色度块的预测块的模式,在所述帧内运动补偿模式下,所述当前色度块的运动矢量基于亮度块的运动矢量生成,所述参考亮度块为与所述当前色度块位置对应的n个亮度块中的亮度块,n≥1;
预测模块,用于基于所述当前色度块的运动矢量,预测所述当前色度块的预测块。
可选的,所述装置还包括:
构造模块,用于在与所述基于参考亮度块的运动矢量确定待处理图像帧中当前色度块的运动矢量之前,构造预测模式候选队列,所述预测模式候选队列包括至少一个预测模式,每个所述预测模式均用于指示预测所述当前色度块的预测块的模式;
第二确定模块,用于在构造完成的所述预测模式候选队列中,确定所述目标帧内预测模式;
第三确定模块,用于当目标帧内预测模式为帧内运动补偿模式时,确定参考亮度块。
可选的,所述构造模块,包括:
第一确定子模块,用于确定待处理图像帧中与所述当前色度块位置对应的n个亮度块;
检测子模块,用于检测所述n个亮度块中是否存在运动矢量可参考的亮度块;
添加子模块,用于当所述n个亮度块中存在运动矢量可参考的亮度块时,在所述预测模式候选队列中添加帧内运动补偿模式。
可选的,所述检测子模块,用于:
按照目标顺序依次检测所述n个亮度块中亮度块的运动矢量是否可参考,直至达到检测停止条件,所述检测停止条件为可参考的运动矢量的总数等于预设的个数阈值k,或者,遍历所述n个亮度块。
可选的,所述添加子模块,用于:
在按照所述目标顺序每检测到一个运动矢量可参考的亮度块时,在所述预测模式候选队列中添加一个帧内运动补偿模式;
或者,在达到检测停止条件后,若存在运动矢量可参考的m个亮度块,按照所述m个亮度块在所述目标顺序中的检测排布顺序,在所述预测模式候选队列中添加m个帧内运动补偿模式,m≥1。
可选的,所述预测模式候选队列包括m个帧内运动补偿模式,m≥1,所述第三确定模块,包括:
第二确定子模块,用于在所述预测模式候选队列中,确定所述目标帧内预测模式在所述m个帧内运动补偿模式中为第r个帧内运动补偿模式,1≤r≤m;
检测子模块,用于按照目标顺序依次检测所述n个亮度块中亮度块的运动矢量是否可参考,直至达到检测停止条件,所述检测停止条件为可参考的运动矢量的总数等于预设的个数阈值x,x≥m,或者,可参考的运动矢量的总数等于所述r,或者,遍历所述n个亮度块;
第三确定子模块,用于在达到检测停止条件后,将第r个运动矢量可参考的亮度块确定为所述参考亮度块。
可选的,所述预测模式候选队列包括m个帧内运动补偿模式,m≥1,
所述第三确定模块,包括:
检测子模块,用于按照目标顺序依次检测所述n个亮度块中亮度块的运动矢量是否可参考,直至达到检测停止条件,所述检测停止条件为可参考的运动矢量的总数等于预设的个数阈值x,x≥m,或者,遍历所述n个亮度块;
生成子模块,用于在达到检测停止条件后,基于每个可参考的运动矢量,生成所述当前色度块的参考预测块;
第四确定子模块,用于在生成的多个参考预测块中,确定符合第一目标条件的参考预测块,所述第一目标条件为参考预测块对应的残差块的残差值的绝对值之和最小,或,参考预测块对应的残差块的残差值变换量的绝对值之和最小,或,参考预测块对应的编码代价最小;
第五确定子模块,用于将符合所述第一目标条件的参考预测块所对应的亮度块确定为所述参考亮度块。
可选的,所述预测模式候选队列包括m个帧内运动补偿模式,m≥1,所述装置还包括:
建立模块,用于在构造所述预测模式候选队列的过程中,建立帧内运动补偿模式的标识与亮度块的标识的对应关系表,所述对应关系表记录有添加至所述预测模式候选队列中的每个帧内运动补偿模式的标识,以及对应的运动矢量可参考的亮度块的标识,所述对应关系表中每个所述帧内运动补偿模式的标识用于唯一标识一个预测模式候选队列中的帧内运动补偿模式;
所述第三确定模块,用于:
基于所述目标帧内预测模式的标识,查询所述对应关系表,得到所述参考亮度块的标识;
基于所述参考亮度块的标识确定所述参考亮度块。
可选的,所述检测子模块,包括:
设置单元,用于设置i=1;
执行单元,用于执行检测过程,所述检测过程包括:
检测所述n个亮度块中第i个亮度块的运动矢量是否可参考;
当所述第i个亮度块的运动矢量可参考时,检测是否达到所述检测停止条件;
当未达到所述检测停止条件,更新所述i,使得更新后的i=i+1,再次执行所述检测过程;
当达到所述检测停止条件,停止执行所述检测过程。
可选的,所述执行单元,用于:
检测所述n个亮度块中第i个亮度块的预测类型;
当所述第i个亮度块的预测类型为帧内预测类型时,确定所述第i个亮度块的运动矢量不可参考;
当所述第i个亮度块的预测类型为帧间预测类型时,基于所述第i个亮度块的运动矢量生成备选运动矢量;
检测所述第i个亮度块对应的备选运动矢量与当前检测得到的运动矢量可参考的亮度块所对应的备选运动矢量是否相同;
当所述第i个亮度块对应的备选运动矢量与当前检测得到的运动矢量可参考的亮度块所对应的备选运动矢量不同时,基于所述第i个亮度块对应的备选运动矢量,预测所述当前色度块的备选预测块;
当所述备选预测块有效,确定所述第i个亮度块的运动矢量可参考;
当所述备选预测块无效,确定所述第i个亮度块的运动矢量不可参考;
当所述第i个亮度块对应的备选运动矢量与当前检测得到的运动矢量可参考的亮度块对应的备选运动矢量相同时,确定所述第i个亮度块的运动矢量不可参考。
可选的,所述装置还包括:
第一检测模块,用于在所述基于所述第i个亮度块对应的备选运动矢量,预测所述当前色度块的备选预测块之后,检测所述备选预测块是否全部位于所述待处理图像帧中的色度已编码区域;
第四确定模块,用于当所述备选预测块全部位于所述待处理图像帧中的色度已编码区域内,确定所述备选预测块有效;
第五确定模块,用于当所述备选预测块不是全部位于所述待处理图像帧中的色度已编码区域外,确定所述备选预测块无效。
可选的,所述装置还包括:
第一检测模块,用于在所述基于所述第i个亮度块对应的备选运动矢量,预测所述当前色度块的备选预测块之后,检测所述备选预测块是否全部位于所述待处理图像帧中的色度已编码区域;
第二检测模块,用于检测所述备选预测块是否位于所述当前色度块的指定方位;
第六确定模块,用于当所述备选预测块全部位于所述待处理图像帧中的色度已编码区域内,且位于所述当前色度块的指定方位,确定所述备选预测块有效;
第七确定模块,用于当所述备选预测块不是全部位于所述待处理图像帧中的色度已编码区域外,或者,不位于所述当前色度块的指定方位,确定所述备选预测块无效;
其中,所述当前色度块的指定方位为所述当前色度块的左侧、上侧和左上侧的任一方位。
可选的,所述第一检测模块,用于:
当所述第i个亮度块对应的备选运动矢量为分像素运动矢量,获取所述备选预测块对应的参考色度块,所述备选预测块的色度像素值是基于所述参考色度块的像素值插值得到的;
检测所述参考色度块是否全部位于所述待处理图像帧中的色度已编码区域;
当所述参考色度块全部位于所述待处理图像帧中的色度已编码区域内,确定所述备选预测块全部位于所述待处理图像帧中的色度已编码区域;
当所述参考色度块不是全部位于所述待处理图像帧中的色度已编码区域外,确定所述备选预测块不是全部位于所述待处理图像帧中的色度已编码区域。
可选的,所述第一确定子模块,包括:
确定单元,用于确定待处理图像帧中与所述当前色度块位置对应的亮度图像区域;
处理单元,用于将所有目标亮度块作为所述n个亮度块,或者,在所有目标亮度块中筛选指定位置的亮度块作为所述n个亮度块,所述指定位置的亮度块包括:覆盖所述亮度图像区域中中心像素点的亮度块、覆盖所述亮度图像区域中左上角像素点的亮度块、覆盖所述亮度图像区域中右上角像素点的亮度块、覆盖所述亮度图像区域中左下角像素点的亮度块和覆盖所述亮度图像区域中右下角像素点的亮度块;
其中,所述目标亮度块为部分或全部在所述亮度图像区域中的亮度块。
可选的,所述n个亮度块至少包括:覆盖亮度图像区域中中心像素点的亮度块、覆盖所述亮度图像区域中左上角像素点的亮度块、覆盖所述亮度图像区域中右上角像素点的亮度块、覆盖所述亮度图像区域中左下角像素点的亮度块和覆盖所述亮度图像区域中右下角像素点的亮度块,其中,所述亮度图像区域为待处理图像帧中与所述当前色度块位置对应的亮度区域;
所述目标顺序为:
覆盖所述亮度图像区域中中心像素点的亮度块、覆盖所述亮度图像区域中左上角像素点的亮度块、覆盖所述亮度图像区域中右上角像素点的亮度块、覆盖所述亮度图像区域中左下角像素点的亮度块和覆盖亮度图像区域中右下角像素点的亮度块的顺序。
可选的,所述目标顺序为:随机确定的顺序。
可选的,所述装置应用于解码端,所述装置还包括第三确定模块,所述第三确定模块用于确定所述参考亮度块,
所述第三确定模块,包括:
提取子模块,用于从解码后的码流中提取所述参考亮度块的标识;
第六确定子模块,用于基于所述参考亮度块的标识,在所述n个亮度块中确定所述参考亮度块。
可选的,所述第六确定子模块,用于:
为所述n个亮度块中运动矢量可参考的亮度块按照与编码端约定的顺序分配标识;
将与所述参考亮度块的标识一致的运动矢量可参考的亮度块确定为所述参考亮度块。
可选的,所述装置应用于编码端,
所述装置还包括:
第一编码模块,用于在所述确定所述参考亮度块之后,将所述目标帧内预测模式在预测模式候选队列中的索引编码后添加至所述当前色度块的码流中,所述预测模式候选队列包括至少一个预测模式,每个所述预测模式均用于指示预测所述当前色度块的预测块的模式。
可选的,所述装置还包括:
获取模块,用于在所述确定所述参考亮度块之后,获取所述参考亮度块的标识;
第二编码模块,用于将所述参考亮度块的标识编码后添加至所述当前色度块的码流中。
可选的,所述获取模块,用于:
为所述n个亮度块中运动矢量可参考的亮度块按照与解码端约定的顺序分配标识;
获取为所述参考亮度块分配的标识。
可选的,为所述n个亮度块中运动矢量可参考的亮度块分配的标识为以0或1为起始标识,公差为1的等差递增数列。
可选的,所述第一确定模块,用于:
按照所述待处理图像帧的编码格式,确定所述当前色度块与所述参考亮度块的矢量缩放比;
基于所述矢量缩放比,对所述参考亮度块的运动矢量进行缩放得到所述当前色度块的运动矢量。
可选的,所述第二确定模块,用于:
将构造完成的所述预测模式候选队列中对应的预测块符合第二目标条件的帧内预测模式,确定为所述目标帧内预测模式;
其中,所述第二目标条件为:基于帧内预测模式确定的预测块所对应的残差块的残差值的绝对值之和最小,或,基于帧内预测模式确定的预测块所对应的残差块的残差值变换量的绝对值之和最小,或,采用帧内预测模式编码对应的编码代价最小。
可选的,所述确定单元,用于:
基于所述当前色度块的尺寸,以及亮度分量与色度分量的分布密度比例,确定所述当前色度块位置对应的亮度图像区域,该亮度图像区域的尺寸等于所述当前色度块的尺寸与所述分布密度比例的乘积。
根据本发明实施例的第三方面,提供一种色度的帧内预测装置,包括:
至少一个处理器;和
至少一个存储器;
所述至少一个存储器存储有至少一个程序,所述至少一个存储器能够执行所述至少一个程序,以执行第一方面任一所述的色度的帧内预测方法。
根据本发明实施例的第四方面,提供一种存储介质,所述存储介质中存储有指令或代码,
所述指令或代码被处理器执行时,使得所述处理器能够执行第一方面任一所述的色度的帧内预测方法。
本发明的实施例提供的技术方案可以包括以下有益效果:
本发明实施例提供的色度的帧内预测方法及装置,由于色度块的运动矢量是基于亮度块的运动矢量确定的,充分利用了亮度分量的运动矢量和色度分量的运动矢量的相关性,无需单独计算色度分量的运动矢量,从而简化了帧内运动补偿技术的过程,降低了色度分量的运动矢量的运算代价,相应地降低了整体运动矢量的运算代价。并且,由于该色度块的运动矢量是基于亮度块的运动矢量生成,在编码过程中,无需单独编码该色度块的运动矢量,因此降低了色度分量的运动矢量的编码代价,有利于提高视频编码的效率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本发明。
附图说明
为了更清楚地说明本发明的实施例,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种色度的帧内预测方法的流程图。
图2A是根据一示例性实施例示出的另一种色度的帧内预测方法的流程图。
图2B是根据一示例性实施例示出的一种色度最大编码单元的划分方式示意图。
图2C为图2B划分得到的块的编号示意图。
图2D是根据一示例性实施例示出的另一种色度最大编码单元的划分方式示意图。
图2E是根据一示例性实施例示出的一种将帧内运动补偿模式加入预测模式候选队列的方法流程图。
图2F、图2G和图2H为在编码格式为4:2:0的场景下,一个色度块与亮度图像区域的位置对应关系示意图。
图2I是根据一示例性实施例示出的一种待处理图像帧在处理过程中的示意图。
图2J和图2K是根据一示例性实施例示出的两种编码划分方式的结构示意图。
图2L是根据一示例性实施例示出的又一种色度的帧内预测方法的流程图。
图3是根据另一示例性实施例示出的一种色度的帧内预测方法的流程图。
图4A是根据一示例性实施例示出的一种色度的帧内预测装置的结构示意图。
图4B是根据一示例性实施例示出的另一种色度的帧内预测装置的结构示意图。
图4C是根据一示例性实施例示出的一种构造模块的结构示意图。
图4D是根据一示例性实施例示出的一种第三确定模块的结构示意图。
图4E是根据一示例性实施例示出的另一种第三确定模块的结构示意图。
图4F是根据一示例性实施例示出的又一种色度的帧内预测装置的结构示意图。
图4G是根据一示例性实施例示出的再一种色度的帧内预测装置的结构示意图。
图4H是根据另一示例性实施例示出的一种色度的帧内预测装置的结构示意图。
图4I是根据另一示例性实施例示出的另一种色度的帧内预测装置的结构示意图。
图4J是根据另一示例性实施例示出的又一种色度的帧内预测装置的结构示意图。
图4K是根据另一示例性实施例示出的再一种色度的帧内预测装置的结构示意图。
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部份实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
本发明实施例提供一种色度的帧内预测方法,应用于视频编解码领域,该色度的帧内预测方法适用于编码格式(也称视频格式)为YUV格式的视频的编解码。为了便于读者理解,下面首先对YUV格式的编码原理进行简介:
当编码格式为YUV格式时,其基本编码原理可以为:采用三管彩色摄影机或彩色电荷耦合元件(英文:Charge-coupled Device;简称:CCD)摄影机进行取像,然后把取得的彩色图像信号经分色和分别放大校正后得到RGB信号,再将RGB信号经过矩阵变换电路得到亮度分量Y的信号和两个色差信号B-Y(即色度分量U的信号)、R-Y(即色度分量V的信号),最后将亮度分量Y的信号、色度分量U的信号和色度分量V的信号分别进行编码,采用同一信道发送出去。这种色彩的表示方法就是所谓的YUV色彩空间表示。采用YUV色彩空间表示的亮度分量Y的信号、色度分量U的信号和色度分量V的信号是分离的。当然,上述YUV格式也可以通过其他方式获取,本发明实施例对此不做限定。
实际应用中,由于YUV格式的图像(后文简称目标图像)通常是通过对摄像机拍摄的初始图像进行下采样得到的,亮度分量Y、色度分量U和色度分量V的采样率(也称抽样率)可能不同,初始图像中各个颜色分量的分布密度相同,即各个颜色分量的分布密度比例为1:1:1,由于各个颜色分量的采样率不同,最终得到的目标图像的不同颜色分量的分布密度不同,通常,目标图像中,各颜色分量的分布密度比例等于采样率比例,需要说明的是,一种颜色分量的分布密度指的是指单位尺寸中所包含的该种颜色分量的信息的个数。例如亮度分量的分布密度是指单位尺寸中所包含的亮度像素值(也称亮度值)的个数。
目前的YUV格式基于不同的采样率比例划分为多种编码格式,该编码格式可以采用采样率比例的方式进行表示,这种表示方式称为A:B:C表示法,目前的编码格式可以分为:4:4:4、4:2:2、4:2:0和4:1:1等。例如,编码格式为4:4:4表示目标图像中亮度分量Y,色度分量U和色度分量V的采样率相同,在原始图像上没有进行下采样,目标图像的各个颜色分量的分布密度比例为1:1:1;编码格式为4:2:2表示目标图像中每两个亮度分量Y共用一组色度分量U和色度分量V,目标图像的各个颜色分量的分布密度比例为2:1:1,即以像素点为采样单位,对原始图像的亮度分量未进行下采样,对原始图像的色度分量进行水平方向的2:1下采样,垂直方向未进行下采样得到目标图像;编码格式为4:2:0表示对目标图像中的色度分量U和色度分量V中每个色度分量来说,水平方向和竖直方向的采样率都是2:1,目标图像的亮度分量Y与色度分量U的分布密度比例为2:1,目标图像的亮度分量Y与色度分量V的分布密度比例为2:1,即以像素点为采样单位,对原始图像的亮度分量未进行下采样,对原始图像的色度分量进行水平方向的2:1下采样,以及垂直方向的2:1下采样得到目标图像。
如图1所示,本发明实施例提供一种色度的帧内预测方法,其应用于I帧的编解码,I帧又称为帧内图像(英文:intra picture),I帧通常是每个图像组(英文:Group ofPictures;简称:GOP)的第一个帧,其也称为帧内预测编码帧或者关键帧。该色度的帧内预测方法包括:
步骤101、当目标帧内预测模式为帧内运动补偿模式时,基于参考亮度块的运动矢量确定待处理图像帧中当前色度块的运动矢量。
其中,目标帧内预测模式用于指示预测当前色度块的预测块的模式,在帧内运动补偿模式下,当前色度块的预测块采用基于帧内运动补偿技术生成,其生成过程为:获取当前色度块的运动矢量,基于该当前色度块的运动矢量生成该预测块,而本发明实施例中,当前色度块的运动矢量基于参考亮度块的运动矢量生成,参考亮度块为与当前色度块位置对应的n个亮度块中的一个亮度块,n≥1。
步骤102、基于当前色度块的运动矢量,预测当前色度块的预测块。
其中,对于编码端,该当前色度块指的是当前待编码的色度块,对于解码端,该当前色度块指的是当前待解码的色度块,该当前色度块可以是色度分量U的图像块,也可以是色度分量V的图像块。
由前述YUV格式的编码原理可知,亮度分量与色度分量具有相关性,相应的,其运动矢量也具有相关性。本发明实施例提供的色度的帧内预测方法,由于色度块的运动矢量是基于亮度块的运动矢量确定的,充分利用了亮度分量的运动矢量和色度分量的运动矢量的相关性,无需单独计算色度分量的运动矢量,从而简化了帧内运动补偿技术的过程,降低了色度分量的运动矢量的运算代价,相应地降低了整体运动矢量的运算代价。并且,由于该色度块的运动矢量是基于亮度块的运动矢量生成,在编码过程中,无需单独编码该色度块的运动矢量,因此降低了色度分量的运动矢量的编码代价,有利于提高视频编码的效率。
在本发明实施例中,帧内预测方法既可以应用于编码端,又可以应用在解码端,本发明实施例以该帧内预测方法分别应用于编码端和解码端为例,通过以下两方面进行说明:
第一方面,当该帧内预测方法应用于编码端时,如图2A所示,该色度的帧内预测方法由编码端执行,其用于I帧的编码,该方法包括:
步骤201、对待处理图像帧进行色度块的划分。
待处理图像帧包括位于同一区域的亮度图像和色度图像,亮度分量的编码过程实际上是对该亮度图像的编码,色度分量的编码过程实际上是对该色度图像的编码。在进行待处理图像帧的视频编码时,通常先将待处理图像帧分割为一个个尺寸相等的最大编码单元(英文:Coding Tree Unit;简称:CTU),最大编码单元中同时包含了亮度最大编码单元和色度最大编码单元。最大编码单元通常是正方形的编码块,其尺寸可以是8x8个像素点、16x16个像素点、32x32个像素点、64x64个像素点、128x128个像素点、256x256个像素点或者更大的尺寸。对于每个最大编码单元,先对其亮度分量进行编码,亮度分量的编码过程可以包括:对亮度最大编码单元进行划分,划分后的亮度块可以是正方形或者长方形。然后确定每个亮度块的编码类型以及编码类型所对应的预测信息。其中,亮度块的编码类型通常包括帧内预测类型或者帧间预测类型(也称帧间编码类型),其中,帧内预测类型对应的预测信息包括预测模式,帧间预测类型对应的预测信息包括预测矢量和参考帧索引。对于每个亮度块,在基于确定的编码类型确定预测信息后,按照预测信息对亮度块进行预测,得到该亮度块的预测块,然后将亮度块的原始像素值与预测块的像素值做差得到亮度块的残差,对该残差进行变换,量化和熵编码,得到相应的亮度块的码流。其中,帧内运动补偿技术虽然是一种帧内预测技术,但是在标记编码类型时,通常作为帧间预测类型进行标记。
在对待处理图像帧中的亮度块进行编码后,可以对色度最大编码单元进行划分。通常,色度最大编码单元的划分采用四叉树加二叉树的划分方法,其划分方式可以与解码端预先约定,或者在划分后编码在码流中。其过程包括:
首先对色度最大编码单元进行四叉树的递归划分,该四叉树的递归划分方式有多种,如图2B所示,图2B为一种色度最大编码单元的划分方式示意图,首先按照四叉树,将色度最大编码单元P划分为4个块P1、P2、P3和P4;然后,将划分得到的第1个块P1和第4个块P4分别继续按照四叉树,划分为4个块,分别为P11、P12、P13和P14以及P41、P42、P43和P44。经过四叉树划分最终得到的每个块称为四叉树叶节点。四叉树叶节点用Qi表示,此时,i表示四叉树叶节点的编号,也指示它们的编码顺序,如图2C所示,图2C为图2B划分得到的块的编号示意图。由图2C可以看到,四叉树叶节点的编码顺序为:对于共享1个父节点的块,按照从左到右,从上到下的扫描顺序进行编码。
完成四叉树的划分后,每个四叉树叶节点可以进一步进行二叉树的划分得到两个尺寸相等的块,二叉树划分的方式有两种:竖直方向划分或水平方向划分。而经过二叉树划分得到的块,也可以进一步进行二叉树的划分,如图2D所示,虚线表示经过二叉树划分后最终得到的块划分结果。同样,经过二叉树划分最终得到的每个块称为二叉树叶节点。经过二叉树划分得到的两个块,它们之间也按照从左到右,从上到下的顺序进行编码。经过四叉树和二叉树划分得到的块即为最终的色度块,用Bi表示,i表示色度块的编号,也指示色度块编码的顺序。
需要说明的是,上述色度最大编码单元的四叉树加二叉树的划分方法只是示意性说明,本发明实施例在实际实现时,也可以只采用四叉树划分方法或只采用二叉树划分方法进行色度最大编码单元的划分,本发明实施例对此不作限定。
步骤202、对于当前色度块,构造预测模式候选队列,该预测模式候选队列包括至少一个预测模式,每个预测模式均用于指示预测当前色度块的预测块的模式。
在本发明实施例中,预测模式候选队列可以有多种类型的预测模式,示例的,该多种类型的预测模式包括:帧内预测模式、跨分量预测模式和帧内运动补偿模式,其中,帧内预测模式和跨分量预测模式的定义可以参考JEM。帧内运动补偿模式是本发明实施例提出的一种添加在预测模式候选队列中的新的模式,在该帧内运动补偿模式下,当前色度块的运动矢量是基于亮度块的运动矢量生成的。
预测模式候选队列中的各个预测模式都具有其相应的模式编号,例如,在JEM中,用0~66表示67个帧内预测模式,用67~72表示6种跨分量预测模式。为了与现有的预测模式进行区分,本发明实施例中,添加到预测模式候选队列中的帧内运动补偿模式采用与现有的预测模式不同的模式编号来表示,例如,可以用大于或等于73的模式编号来表示帧内运动补偿模式。
在本发明实施例中,构造预测模式候选队列的过程可以包括:将跨分量预测的模式加入预测模式候选队列中的过程;将帧内运动补偿模式加入预测模式候选队列的过程;将帧内预测模式加入预测模式候选队列的过程。本发明实施例对该三个过程的执行的先后顺序不作限定,通常,该三个过程可以按照跨分量预测模式、帧内运动补偿模式和帧内预测模式的添加顺序依次执行。并且,由于预测模式候选队列的长度(即允许添加在该预测模式候选队列中的预测模式个数)是预先设置的,也即是其存在长度阈值,可选的,该长度阈值为11,因此,该三个过程的执行还受到长度阈值的限制,进一步的,在添加在预测模式候选队列中的预测模式的总数未达到该长度阈值时,该预测模式候选队列中还可以添加其他的预测模式。示例的,该构造预测模式候选队列的过程,包括:
步骤A1、将跨分量预测的模式加入预测模式候选队列。
目前,跨分量预测模式共有模式编号为67~72的6种预测模式,步骤A1包括,将至少一种跨分量预测模式加入预测模式候选队列。可选的,可以将模式编号为将67~72的6个预测模式依次加入该预测模式候选队列中。
步骤A2、将帧内运动补偿模式加入预测模式候选队列。
步骤A3、如果预测模式候选队列还未加满,按照第一顺序将当前色度块对应的n个亮度块的帧内预测模式加入预测模式候选队列。
步骤A4、如果预测模式候选队列还未加满,按照第二顺序将当前色度块相邻的色度块的帧内预测模式加入预测模式候选队列。
步骤A5、如果预测模式候选队列还未加满,加入planar模式(也称平面模式,模式编号为3)和DC模式。
步骤A6、如果预测模式候选队列还未加满,加入已经在该预测模式候选队列中的方向性模式相邻的方向性模式。
需要说明的是,方向性模式是预测模式的一种,如果预测模式候选队列还未加满,需要加入的是已经在该预测模式候选队列中的方向性模式相邻的方向性模式。
步骤A7、如果预测模式候选队列还未加满,则加入垂直(英文:vertical)模式,水平(英文:horizontal)模式和第2号帧内预测模式(即模式编号为2的帧内预测模式)。
需要说明的是,上述步骤A1至A7的先后顺序可以进行适当调整,步骤也可以根据情况进行相应增减,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化的方法,都应涵盖在本发明的保护范围之内,因此不再赘述。
其中,如图2E所示,步骤A2中将帧内运动补偿模式加入预测模式候选队列的过程的可以包括:
步骤2021、确定待处理图像帧中与当前色度块位置对应的n个亮度块。n≥1。
可选的,确定待处理图像帧中与当前色度块位置对应的n个亮度块的过程可以包括:
步骤B1、确定待处理图像帧中与当前色度块位置对应的亮度图像区域。
由于色度块的划分和亮度块的划分独立,因此,在待处理图像帧中,色度块与亮度块的位置对应关系有多种,每个色度块可能与一个块或多个亮度块位置对应,多个色度块也可能与一个亮度块位置对应。并且,色度块与亮度块的位置对应关系与待处理图像帧的编码格式相关。由前述对YUV格式的编码原理陈述可知,由于编码格式的不同,在同一个待处理图像帧中,亮度分量与色度分量的分布密度可能相同可能不同,因此,在本发明实施例中,需要先确定待处理图像帧中与当前色度块位置对应的亮度图像区域,再进一步确定与当前色度块位置对应的n个亮度块。
可选的,确定待处理图像帧中与当前色度块位置对应的亮度图像区域的过程包括:按照待处理图像帧的编码格式,确定亮度分量与色度分量的分布密度比例;基于当前色度块的尺寸,以及亮度分量与色度分量的分布密度比例,确定当前色度块位置对应的亮度图像区域,该亮度图像区域的尺寸等于当前色度块的尺寸与该分布密度比例的乘积。也即是亮度图像区域的尺寸w1=w2×K,其中,w2为当前色度块的尺寸,K为亮度分量与色度分量的分布密度比例。
示例的,假设待处理图像帧的亮度分量Y与色度分量U的分布密度比例为K,包括亮度分量与色度分量的在水平方向(该方向可以视为亮度分量和色度分量的宽度方向)的分布密度比例为K1,以及在垂直方向(该方向可以视为亮度分量和色度分量的高度方向)的分布密度比例为K2,则亮度分量与色度分量在宽度方向和高度方向上的分布密度比例分别为K1和K2,假设当前色度块的宽为CW,高为CH,其左上角像素点在待处理图像帧中的坐标为(Cx,Cy),则亮度图像区域为左上角像素点坐标为(K1×Cx,K2×Cy),宽和高分别为K1×CW,K2×CH的矩形区域。
例如,在待处理图像帧的编码格式为4:2:0时,待处理图像帧的亮度分量Y与色度分量U的分布密度比例为2:1,亮度分量Y与色度分量V的分布密度比例为2:1,也即是,待处理图像帧的亮度分量的宽和高分别为色度分量的宽和高的两倍,则亮度分量与色度分量在宽度方向和高度方向上的分布密度比例K为2:1和2:1。假设当前色度块的左上角像素点在待处理图像帧中的坐标为(Cx,Cy),则亮度图像区域为左上角像素点坐标为(2×Cx,2×Cy),宽和高分别为2×CW,2×CH的矩形区域。
图2F至图2H为在编码格式为4:2:0的场景下,一个色度块与亮度图像区域的位置对应关系示意图。
如图2F所示,色度块B1在待处理图像帧中位置对应的亮度图像区域M1中,共有6个亮度块,分别为M11至M16;如图2G所示,色度块B2在待处理图像帧中位置对应的亮度图像区域M2中,共有1个亮度块,为M17;如图2H所示,色度块B3在待处理图像帧中位置对应的亮度图像区域M3中,共有半个亮度块,也即该色度块B3对应1/2个亮度块,此时2个色度块与一个亮度块M18位置对应。
步骤B2、在所有目标亮度块中确定n个亮度块。
其中,目标亮度块为部分或全部在亮度图像区域中的亮度块。也即是,若在待处理图像帧中,一个亮度块的部分或全部位于该亮度图像区域中,则将该亮度块确定为目标亮度块。
在本发明实施例中,第一种确定方式,可以将所有目标亮度块作为n个亮度块,第二种确定方式,可以在所有目标亮度块中进行一定的筛选,以减少后续的运算代价。如在所有目标亮度块中筛选指定位置的亮度块作为n个亮度块,该指定位置的亮度块指的是覆盖亮度图像区域中指定像素点的亮度块,覆盖指定像素点的亮度块,指的是该亮度块所包括的像素点中包括该指定像素点。示例的,该指定像素点包括亮度图像区域中中心像素点CR、亮度图像区域中左上角像素点LT、亮度图像区域中右上角像素点TR、亮度图像区域中左下角像素点BL和亮度图像区域中右下角像素点BR中的任一个。
例如,当前色度块在待处理图像帧中对应的亮度图像区域为左上角像素点LT坐标为(2×Cx,2×Cy),宽和高分别为2×CW,2×CH的矩形区域。则当前色度块所对应的亮度图像区域中中心像素点CR、右上角像素点TR、左下角像素点BL和右下角像素点BR的坐标分别为(2×Cx+CW,2×Cy+CH),(2×Cx+2×CW,2×Cy),(2×Cx,2×Cy+2×CH)和(2×Cx+2×CW,2×Cy+2×CH)。覆盖所有目标亮度块中指定像素点的亮度块即为覆盖LT、CR、TR、BL和BR的亮度块。需要说明的是,当亮度图像的划分不同时,覆盖LT、CR、TR、BL和BR的亮度块也会有不同的情况。例如覆盖5个像素点的亮度块可能为5个不同的亮度块,也可能为1个亮度块。
示例的,当色度块B1与亮度图像区域的对应关系如图2F所示时,所有目标亮度块为亮度块M11至M16共6个亮度块。覆盖亮度图像区域中中心像素点CR的亮度块为亮度块M15,覆盖亮度图像区域中左上角像素点LT的亮度块为亮度块M11,覆盖亮度图像区域中右上角像素点TR的亮度块为亮度块M13,覆盖亮度图像区域中左下角像素点BL的亮度块为亮度块M14,覆盖亮度图像区域中右下角像素点BR的亮度块为亮度块M16。则采用第一种确定方式,确定的n个亮度块为亮度块M11至M16共6个亮度块;采用第二种确定方式,确定的n个亮度块为亮度块M11、M13、M14、M15和M16共5个亮度块。
示例的,当色度块B2与亮度图像区域的对应关系如图2G所示时,所有目标亮度块为亮度块M17。覆盖亮度图像区域中中心像素点CR的亮度块、左上角像素点LT的亮度块、覆盖亮度图像区域右上角像素点TR的亮度块、覆盖亮度图像区域中左下角像素点BL的亮度块和覆盖亮度图像区域中右下角像素点BR的亮度块均为同一亮度块M17。则无论采用第一种确定方式还是第二种确定方式,确定的n个亮度块均为亮度块M17。
示例的,当色度块B3与亮度图像区域的对应关系如图2H所示时,由于亮度图像区域为亮度块M18的一半,也即是亮度块M18的部分在该亮度图像区域,因此,亮度块M18为1个目标亮度块,因此,所有目标亮度块为亮度块M18。则无论采用第一种确定方式还是第二种确定方式,确定的n个亮度块均为亮度块M18。
当然,上述指定像素点还可以根据具体场景设置为其他位置,例如,指定像素点还可以是亮度图像区域中上边缘像素行的中心位置像素点,下边缘像素行的中心位置像素点,左边缘像素列的中心位置像素点和右边缘像素列的中心位置像素点等中的至少一种,本发明实施例只是示意性说明。
步骤2022、检测n个亮度块中是否存在运动矢量可参考的亮度块。
可选的,该检测n个亮度块中是否存在运动矢量可参考的亮度块的过程可以包括:
按照目标顺序依次检测n个亮度块中亮度块的运动矢量是否可参考,直至达到检测停止条件。其中,该检测停止条件为可参考的运动矢量的总数等于预设的个数阈值k,或者,遍历n个亮度块。可选的,k可以为1或5。
示例的,上述按照目标顺序依次检测n个亮度块中亮度块的运动矢量是否可参考,直至达到检测停止条件的过程可以包括:
设置i=1。
执行检测过程,检测过程包括:
步骤C1、检测n个亮度块中第i个亮度块的运动矢量是否可参考。
步骤C2、当第i个亮度块的运动矢量可参考时,检测是否达到检测停止条件。
步骤C3、当未达到检测停止条件,更新i,使得更新后的i=i+1,再次执行检测过程。
步骤C4、当达到检测停止条件,停止执行检测过程。
其中,步骤C1中,检测n个亮度块中第i个亮度块的运动矢量是否可参考的过程可以包括:
步骤C11、检测n个亮度块中第i个亮度块的预测类型。
步骤C12、当第i个亮度块的预测类型为帧内预测类型时,确定第i个亮度块的运动矢量不可参考。
由前述陈述可知,帧内预测类型对应的预测信息不包括运动矢量,而本发明实施例提供的帧内预测方法适用于I帧的帧间预测,其预测信息包括运动矢量,因此,当第i个亮度块的预测类型为帧内预测类型时,其预测信息不存在运动矢量,当然也无法供当前色度块参考。
步骤C13、当第i个亮度块的预测类型为帧间预测类型时,基于第i个亮度块的运动矢量生成备选运动矢量。
该基于第i个亮度块的运动矢量生成备选运动矢量的过程可以包括:
步骤C131、按照待处理图像帧的编码格式,确定当前色度块与第i个亮度块的矢量缩放比。
在本发明实施例中,当前色度块与第i个亮度块的矢量缩放比等于待处理图像帧中,色度块与亮度块的分布密度比例,该分布密度比例由待处理图像帧的编码格式决定。示例的,编码格式为4:2:0时,在水平方向(也称x方向)上,色度块与亮度块的分布密度比例为1:2,在竖直方向(也称y方向)上,色度块与亮度块的分布密度比例为1:2,则当前色度块与第i个亮度块的矢量在水平方向上的缩放比等于1:2,在竖直方向上的缩放比等于1:2。
步骤C132、基于矢量缩放比,对第i个亮度块的运动矢量进行缩放得到第i个亮度块的备选运动矢量。
基于该矢量缩放比,对第i个亮度块的运动矢量进行等比例的缩放即可得到第i个亮度块的备选运动矢量。例如,第i个亮度块的运动矢量为(-11,-3),编码格式为4:2:0,则当前色度块的备选运动矢量为(-5.5,-1.5)。
步骤C14、检测第i个亮度块对应的备选运动矢量与当前检测得到的运动矢量可参考的亮度块所对应的备选运动矢量是否相同。
步骤C14实际上是一个查找重复运动矢量的过程,简称查重过程,在本发明实施例中,当第i个亮度块对应的备选运动矢量与当前检测得到的运动矢量可参考的亮度块所对应的备选运动矢量不同时,执行步骤C15;当第i个亮度块对应的备选运动矢量与当前检测得到的运动矢量可参考的亮度块所对应的备选运动矢量相同时,执行步骤C18,以确定第i个亮度块的运动矢量不可参考。这样避免后续过程对相同的备选运动矢量反复进行处理,减少运算代价。
步骤C15、当第i个亮度块对应的备选运动矢量与当前检测得到的运动矢量可参考的亮度块所对应的备选运动矢量不同时,基于第i个亮度块对应的备选运动矢量,预测当前色度块的备选预测块。
例如,假设当前色度块的左上角像素点在色度图像中的坐标为(Cx,Cy),备选运动矢量为(MVx,MVy),则备选预测块为在待处理图像帧的已编码色度图像中左上角像素点坐标为(Cx+MVx,Cy+MVy),尺寸和当前色度块相同的图像块。
步骤C16、当备选预测块有效,确定第i个亮度块的运动矢量可参考。
步骤C17、当备选预测块无效,确定第i个亮度块的运动矢量不可参考。
步骤C18、当第i个亮度块对应的备选运动矢量与当前检测得到的运动矢量可参考的亮度块对应的备选运动矢量相同时,确定第i个亮度块的运动矢量不可参考。
需要说明的是,在上述步骤C15之后,可以判断备选预测块是否有效以执行步骤C16或C17。示例的,该判断过程可以包括以下两种实现方式:
第一种实现方式:
检测备选预测块是否全部位于待处理图像帧中的色度已编码区域;当备选预测块全部位于待处理图像帧中的色度已编码区域内,确定备选预测块有效;当备选预测块不是全部位于待处理图像帧中的色度已编码区域外,确定备选预测块无效。
在当前色度块编码前,待处理图像帧的色度图像中色度已编码区域包括已经编码的CTU,和当前色度块所属的CTU中已经编码的四叉树叶节点和二叉树叶节点,如图2I中所示的点状花纹区域。对于当前色度块,假设备选运动矢量(即由第i个亮度块的运动矢量缩放后得到的运动矢量)为(MVx,MVy),如果(MVx,MVy)为整像素运动矢量,则备选预测块可以直接基于该整像素运动矢量确定,当备选预测块全部在色度已编码区域内,则认为备选预测块有效,当备选预测块不是全部在色度已编码区域内,则认为备选预测块无效;如果(MVx,MVy)为分像素运动矢量,备选预测块需要通过插值得到,则可以先获取备选预测块对应的参考色度块,该备选预测块的色度像素值是基于参考色度块的色度像素值插值得到的;检测参考色度块是否全部位于待处理图像帧中的色度已编码区域;当参考色度块全部位于待处理图像帧中的色度已编码区域内,确定备选预测块全部位于待处理图像帧中的色度已编码区域,此时,认为备选预测块有效;当参考色度块不是全部位于待处理图像帧中的色度已编码区域外,确定备选预测块不是全部位于待处理图像帧中的色度已编码区域,此时认为备选预测块无效。
进一步的,检测参考色度块是否全部位于待处理图像帧中的色度已编码区域时,可以通过检测该参考色度块的左上角像素点的坐标和右下角像素点的坐标是否在色度已编码区域的坐标范围内,当该参考色度块的左上角像素点的坐标和右下角像素点的坐标均在色度已编码区域的坐标范围,确定参考色度块全部位于待处理图像帧中的色度已编码区域;当参考色度块的左上角像素点的坐标和右下角像素点的坐标的至少一个不位于色度已编码区域的坐标范围,确定参考色度块不是全部位于待处理图像帧中的色度已编码区域。
以图2I中的黑色块表示的当前色度块为例,假设基于第i个亮度块的运动矢量确定的备选运动矢量为分像素运动矢量,此时需要通过插值滤波器进行插值处理以得到备选预测块。
假设,插值处理所使用的插值滤波器为N抽头滤波器,N为正整数,假设插值出备选预测块的分像素位置的色度像素值,所需要的是该位置左边N1个像素点的色度像素值,右边N2个像素点的色度像素值,上边N3个像素点的色度像素值,下边N4个像素点的色度像素值,其中,N1+N2=N,N3+N4=N。则当备选运动矢量(MVx,MVy)满足(Cx+MV1x+1-N1,Cy+MV1y+1-N3)和(Cx+MV1x+(CW-1)+N2,Cy+MV1y+(CH-1)+N4)的坐标位置不落入色度未编码区域内时,可以确定备选预测块有效。(Cx+MV1x+1-N1,Cy+MV1y+1-N3)和(Cx+MV1x+(CW-1)+N2,Cy+MV1y+(CH-1)+N4)这两个坐标位置表示参考色度块的左上角像素点的坐标和右下角像素点的坐标,其中,(Cx,Cy)表示当前色度块的左上角像素点的坐标,CW和CH分别表示当前色度块的宽和高。MV1x表示比MVx小的最大整数,MV1y表示比MVy小的最大整数,例如,(MVx,MVy)为(-5.5,-1.5),则MV1x为-6,MV1y为-2。
第二种实现方式:
检测备选预测块是否全部位于待处理图像帧中的色度已编码区域,以及检测备选预测块是否位于当前色度块的指定方位;(需要说明的是,本发明实施例对前述检测备选预测块是否全部位于待处理图像帧中的色度已编码区域,以及检测备选预测块是否位于当前色度块的指定方位的先后顺序不做限定)当备选预测块全部位于待处理图像帧中的色度已编码区域内,且位于当前色度块的指定方位,确定备选预测块有效;当备选预测块不是全部位于待处理图像帧中的色度已编码区域外,或者,不位于当前色度块的指定方位,确定备选预测块无效;其中,当前色度块的指定方位为当前色度块的左侧、上侧和左上侧的任一方位。
示例的,检测备选预测块是否位于当前色度块的指定方位可以包括:检测备选预测块的右下角像素点的坐标是否位于当前色度块的指定方位,当备选预测块的右下角像素点的坐标位于当前色度块的指定方位,确定备选预测块位于当前色度块的指定方位;当备选预测块的右下角像素点的坐标不位于当前色度块的指定方位,确定备选预测块不位于当前色度块的指定方位。或者,检测备选预测块是否位于当前色度块的指定方位还可以有其他方式,例如,检测备选预测块的第一像素点与当前色度块的第二像素点的相对位置,例如该第一像素点和第二像素点均可以为左上角像素点、右上角像素点、中间像素点、左下角像素点和右下角像素点的任一像素点。本发明实施例对此不作限定。
需要说明的是,第二种实现方式中,检测备选预测块是否全部位于待处理图像帧中的色度已编码区域的方法可以参考上述第一种实现方式,本发明实施例对此不再赘述。
对于当前色度块,假设备选运动矢量(即由第i个亮度块的运动矢量缩放后得到的运动矢量)为(MVx,MVy),如果(MVx,MVy)为整像素运动矢量,若(Cx+MVx+(CW-1),Cy+MVy+(CH-1))在当前色度块所属的四叉树叶节点块时,其还需要满足(Cx+MVx+(CW-1),Cy+MVy+(CH-1))在当前色度块的左侧、上侧和左上侧的任一方位,才可以确定该备选预测块有效,当备选预测块不是全部在色度已编码区域内,或者不位于当前色度块的左侧、上侧和左上侧的任一方位,则认为备选预测块无效;同样,如果(MVx,MVy)为分像素运动矢量,备选预测块需要通过插值得到,则可以先获取备选预测块对应的参考色度块,该备选预测块的色度像素值是基于参考色度块的像素值插值得到的;检测参考色度块是否全部位于待处理图像帧中的色度已编码区域以及是否位于当前色度块的指定方位(由于参考色度块与备选预测块位于当前色度块的同一方位,所以可以通过检测参考亮度块的方位来确定备选预测块的方位);当参考色度块全部位于待处理图像帧中的色度已编码区域内,且位于当前色度块的指定方位,认为备选预测块有效;当参考色度块不是全部位于待处理图像帧中的色度已编码区域外,或者不位于当前色度块的指定方位,此时认为备选预测块无效。
以图2I中的黑色块表示的当前色度块为例,假设基于第i个亮度块的运动矢量确定的备选运动矢量为分像素运动矢量,此时需要通过插值滤波器进行插值处理以得到备选预测块。
假设,插值分像素位置的色度像素值所使用的插值滤波器为N抽头滤波器,N为正整数,假设插值出备选预测块的分像素位置的色度像素值,所需要的是该位置左边N1个像素点的色度像素值,右边N2个像素点的色度像素值,上边N3个像素点的色度像素值,下边N4个像素点的色度像素值,其中,N1+N2=N,N3+N4=N,若(Cx+MV1x+(CW-1)+N2,Cy+MV1y+(CH-1)+N4)在当前色度块所属的四叉树叶节点块时,其还需要满足(Cx+MV1x+(CW-1)+N2,Cy+MV1y+(CH-1)+N4)在当前色度块的左侧、上侧和左上侧的任一方位,才可以确定该备选预测块有效。(Cx+MV1x+1-N1,Cy+MV1y+1-N3)和(Cx+MV1x+(CW-1)+N2,Cy+MV1y+(CH-1)+N4)这两个坐标位置表示参考色度块的左上角像素点的坐标和右下角像素点的坐标,其中,(Cx,Cy)表示当前色度块的左上角像素点的坐标,CW和CH分别表示当前色度块的宽和高。MV1x表示比MVx小的最大整数,MV1y表示比MVy小的最大整数,例如,(MVx,MVy)为(-6.5,-2.5),则MV1x为-7,MV1y为-3。
对于上述第一种实现方式,实际在编码实现的过程中,需要判断在和当前色度块属于同1个四叉树叶节点的区域内,当前色度块的左下角的色度块和右上角的色度块是否已编码,而由于二叉树的划分使得每个四叉树叶节点内部的划分和编码顺序有很多选择,导致该判断过程比较复杂。示例的,图2J和图2K是两种编码划分方式的结构示意图,请参考图2J和图2K,当当前色度块所属的四叉树叶节点块按照图2J所示的划分方式进行编码时,其左下角的色度块还未进行编码;而当当前色度块所属的四叉树叶节点块按照图2K所示的划分方式进行编码时,其右上角的色度块还未进行编码。而该第二种实现方式可以避免判断该右上角的色度块以及左下角的速度块是否已编码,有效简化该判断备选预测块是否有效的过程,降低运算代价。
进一步的,上述步骤C2中,检测是否达到检测停止条件可以包括:检测可参考的运动矢量的总数是否等于预设的个数阈值k,以及检测i是否等于n;当可参考的运动矢量不等于预设的个数阈值k,且i不等于n,确定未达到检测停止条件;当可参考的运动矢量等于预设的个数阈值k或i=n,确定达到检测停止条件。
步骤2023、当n个亮度块中存在运动矢量可参考的亮度块时,在预测模式候选队列中添加帧内运动补偿模式。
在本发明实施例中,当n个亮度块中存在运动矢量可参考的亮度块时,可以只在预测模式候选队列中添加一个帧内运动补偿模式,以指示当前色度块的运动矢量可以基于亮度块的运动矢量生成,这样,如果存在运动矢量可参考的亮度块,只需添加一次帧内运动补偿模式即可达到相应的预测模式的指示效果,过程较为简单。
当然,也可以在检测停止条件的限制下,基于检测到的运动矢量可参考的亮度块的数量,来添加帧内运动补偿模式,此时该帧内运动补偿模式为至少一个。这样,预测模式候选队列中帧内运动补偿模式的添加方式可以至少包括以下两种:
第一种添加方式,在按照目标顺序每检测到一个运动矢量可参考的亮度块时,在预测模式候选队列中添加一个帧内运动补偿模式。
例如,在执行上述步骤2022的过程中,每检测到一个运动矢量可参考的亮度块时,即在预测模式候选队列中添加一个帧内运动补偿模式,在预测模式候选队列中添加的m个帧内运动补偿模式的模式编号可以相同,也可以不同,当m个帧内运动补偿模式的模式编号不同时,该m个帧内运动补偿模式的模式编号可以以第一个帧内运动补偿模式为基准,按照添加顺序依次递加,例如依次加1,假设,m=3,即在执行上述步骤2022的过程中,出现了3个运动矢量可参考的亮度块,则在第一次出现运动矢量可参考的亮度块时,添加第一个帧内运动补偿模式,该第一个帧内运动补偿模式的模式编号可以用大于或等于73的编号来表示,例如,第一个帧内运动补偿模式的模式编号为73,则第二个帧内运动补偿模式的模式编号为74,第三个帧内运动补偿模式的模式编号为75。
第二种添加方式,在达到检测停止条件后,若存在运动矢量可参考的m个亮度块,按照m个亮度块在目标顺序中的检测排布顺序,在预测模式候选队列中添加m个帧内运动补偿模式,m≥1。
例如,在上述步骤2022执行完毕后,若存在运动矢量可参考的m个亮度块,在预测模式候选队列中添加m个帧内运动补偿模式,该m个帧内运动补偿模式的模式编号可以相同,也可以不同,当m个帧内运动补偿模式的模式编号不同时,该m个帧内运动补偿模式的模式编号可以以第一个帧内运动补偿模式为基准,按照添加顺序依次递加,例如依次加2,该第一个帧内运动补偿模式的模式编号可以用大于或等于73的编号来表示,该添加顺序即m个亮度块在目标顺序中的检测排布顺序,假设,m=3,即在执行上述步骤2022的过程后,出现了3个运动矢量可参考的亮度块,则假设第一个帧内运动补偿模式的模式编号为73,则第二个帧内运动补偿模式的模式编号为75,第三个帧内运动补偿模式的模式编号为77。
上述两种添加方式得到的m个帧内运动补偿模式与m个运动矢量可参考的亮度块一一对应。
其中,目标顺序可以根据具体情况设置,可选的,当n个亮度块至少包括:覆盖亮度图像区域中中心像素点的亮度块、覆盖亮度图像区域中左上角像素点的亮度块、覆盖亮度图像区域中右上角像素点的亮度块、覆盖亮度图像区域中左下角像素点的亮度块和覆盖亮度图像区域中右下角像素点的亮度块,其中,目标亮度块为部分或全部在亮度图像区域中的亮度块,亮度图像区域为待处理图像帧中与当前色度块位置对应的亮度区域。此时,如图2F至2H所示,上述目标顺序可以为:
覆盖亮度图像区域中中心像素点的亮度块、覆盖亮度图像区域中左上角像素点的亮度块、覆盖亮度图像区域中右上角像素点的亮度块、覆盖亮度图像区域中左下角像素点的亮度块和覆盖亮度图像区域中右下角像素点的亮度块的顺序。也即是覆盖像素点CR>LT>TR>BL>BR的顺序。
可选的,上述目标顺序也可以为随机确定的顺序。
进一步的,上述步骤A3中,n个亮度块的确定方法可以参考上述步骤2021,本发明实施例对此不再赘述。第一顺序可以为覆盖亮度图像区域中中心像素点的亮度块、覆盖亮度图像区域中左上角像素点的亮度块、覆盖亮度图像区域中右上角像素点的亮度块、覆盖亮度图像区域中左下角像素点的亮度块和覆盖亮度图像区域中右下角像素点的亮度块的顺序,也即是覆盖像素点CR>LT>TR>BL>BR的顺序;或者,随机确定的顺序。在该步骤A3中,需要执行查询添加的预测模式是否重复的过程,也简称查重过程,也即是,对于当前色度块对应的n个亮度块的每个帧内预测模式,检测该帧内预测模式与预测模式候选队列中添加的预测模式是否相同;当该帧内预测模式与预测模式候选队列中添加的预测模式相同时,检测下一个帧内预测模式;当帧内预测模式与预测模式候选队列中添加的预测模式不同时,将该帧内预测模式添加至预测模式候选队列中。
进一步的,上述步骤A4中,第二顺序可以为当前色度块的左边相邻色度块、当前色度块的上方相邻色度块、当前色度块的左下方相邻色度块、当前色度块的右下方相邻色度块和当前色度块的左上方相邻色度块的顺序;或者,在当前色度块所有相邻的色度块中随机确定的顺序。在该步骤A4中,也需要执行查询添加的预测模式是否重复的过程,也即是,对于当前色度块每个相邻的色度块的帧内预测模式,检测该帧内预测模式与预测模式候选队列中添加的预测模式是否相同;当该帧内预测模式与预测模式候选队列中添加的预测模式相同时,检测下一个相邻的色度块的帧内预测模式;当帧内预测模式与预测模式候选队列中添加的预测模式不同时,将该帧内预测模式添加至预测模式候选队列中。
需要说明的是,上述步骤中,目标顺序和第一顺序可以相同也可以不同,本发明实施例对此不作限定。
步骤203、在构造完成的预测模式候选队列中,确定目标帧内预测模式。
该目标帧内预测模式用于指示预测当前色度块的预测块的模式。
步骤203中,在构造完成的预测模式候选队列中,确定目标帧内预测模式的过程包括:
将构造完成的预测模式候选队列中符合第二目标条件的帧内预测模式,确定为目标帧内预测模式。该过程可以通过遍历预测模式队列中的所有预测模式来实现。
其中,第二目标条件为基于帧内预测模式确定的预测块所对应的残差块的残差值的绝对值之和最小,或,基于帧内预测模式确定的预测块所对应的残差块的残差值变换量的绝对值之和最小,或,采用帧内预测模式编码的编码代价最小。
当第二目标条件为基于帧内预测模式确定的预测块所对应的残差块的残差值的绝对值之和最小时,可以先遍历预测模式队列中的所有预测模式,计算当前亮度块基于每种模式确定的预测块所对应的预测残差,然后基于当前亮度块基于每种模式确定的预测块所对应的预测残差,选择对应的预测块所对应的残差块的残差值的绝对值之和最小的帧内预测模式作为目标帧内预测模式;
当第二目标条件为基于帧内预测模式确定的预测块所对应的残差块的残差值变换量的绝对值最小时,可以先遍历预测模式队列中的所有预测模式,计算当前亮度块采用每种模式对应确定的预测块所对应的预测残差,然后对当前亮度块采用每种模式对应确定的预测块所对应的预测残差进行残差变换,得到残差值变换量,选择对应的预测块所对应的残差块的残差值变换量的绝对值最小的帧内预测模式作为目标帧内预测模式,该对当前亮度块采用每种模式对应确定的预测块所对应的预测残差进行残差变换的过程指的是对当前亮度块采用每种模式对应确定的预测块所对应的预测残差乘以变换矩阵,得到残差值变换量,残差变换过程可以实现残差的去相关,使得最终得到的每个残差值变换量能量更集中;
当第二目标条件为采用帧内预测模式编码对应的编码代价最小时,可以先遍历预测模式队列中的所有预测模式,基于当前亮度块的每种模式对当前亮度块进行编码,计算每个编码后的当前亮度块的编码代价,选择对应的编码代价最小的帧内预测模式作为目标帧内预测模式,该编码代价可以采用预设的代价函数来计算。
步骤204、当目标帧内预测模式为帧内运动补偿模式时,确定参考亮度块。
该参考亮度块为与当前色度块位置对应的n个亮度块中的亮度块。
在本发明实施例中,当目标帧内预测模式为帧内运动补偿模式时,由于当前亮度块的运动矢量需要基于参考亮度块的运动矢量获得,因此需要确定参考亮度块,该确定参考亮度块的过程的实现方式可以有多种,示例的,本发明实施例提供以下三种实现方式:
第一种实现方式,基于目标帧内预测模式在预测模式候选队列中的排序,确定参考亮度块。
由上述步骤2023可知,预测模式候选队列包括m个帧内运动补偿模式,m≥1,则确定参考亮度块的过程可以包括:
步骤D1、在预测模式候选队列中确定目标帧内预测模式在m个帧内运动补偿模式中为第r个帧内运动补偿模式,1≤r≤m。
由于预测模式候选队列包括至少一个帧内运动补偿模式,在第一种实现方式中,亮度块的确定与目标帧内预测模式在预测模式候选队列中的排序相关,因此需要确定该目标帧内预测模式在预测模式候选序列中的顺序,也即是其为第几个帧内运动补偿模式。步骤D1假设确定的是第r个帧内运动补偿模式。
步骤D2、按照目标顺序依次检测n个亮度块中亮度块的运动矢量是否可参考,直至达到检测停止条件,该检测停止条件为可参考的运动矢量的总数等于预设的个数阈值x,x≥m,或者,可参考的运动矢量的总数等于r,或者,遍历n个亮度块。可选的,m可以为1或5,x=m。
步骤D3、在达到检测停止条件后,将第r个运动矢量可参考的亮度块确定为参考亮度块。
在上述第一种实现方式中,实际上是将目标帧内预测模式在预测模式候选队列中的排序,与运动矢量可参考的亮度块的检测顺序对应起来,与上述步骤2023对应的,当只在预测模式候选队列中添加一个帧内运动补偿模式时,将第1个运动矢量可参考的亮度块确定为参考亮度块;当在检测停止条件的限制下,基于检测到的运动矢量可参考的亮度块的数量,来添加帧内运动补偿模式时,步骤D1至D3所确定的运动矢量可参考的亮度块与添加的帧内运动补偿模式的个数一一对应,步骤D1至D3所确定的运动矢量可参考的亮度块的检测顺序与添加的帧内运动补偿模式的添加顺序一致,则作为目标帧内预测模式的第r个帧内运动补偿模式与作为参考亮度块的第r个运动矢量可参考的亮度块对应。
第二种实现方式,基于n个亮度块对应的参考预测块,筛选参考亮度块。
由上述步骤2023可知,预测模式候选队列包括m个帧内运动补偿模式,m≥1,则确定参考亮度块的过程可以包括:
步骤E1、按照目标顺序依次检测n个亮度块中亮度块的运动矢量是否可参考,直至达到检测停止条件,该检测停止条件为可参考的运动矢量的总数等于预设的个数阈值x,x≥m,或者,遍历n个亮度块。
步骤E2、在达到检测停止条件后,基于每个可参考的运动矢量,生成当前色度块的参考预测块。
步骤E3、在生成的多个参考预测块中,确定符合第一目标条件的参考预测块,第一目标条件为参考预测块对应的残差块的残差值的绝对值之和最小,或,参考预测块对应的残差块的残差值变换量的绝对值之和最小,或,参考预测块对应编码代价最小。
步骤E4、将符合第一目标条件的参考预测块所对应的亮度块确定为参考亮度块。
在上述第二种实现方式中,相对于第一种实现方式,实际上是将参考亮度块与帧内运动补偿模式的顺序去相关,请参考上述步骤2023,无论预测模式候选队列中有几个帧内运动补偿模式,也无论目标帧内预测模式为第几个帧内运动补偿模式,参考亮度块的参考预测块只需要符合第一目标条件即可,这样相较于第一种实现方式,准确性较高。
第三种实现方式,基于预先建立的帧内运动补偿模式的标识与亮度块的标识的对应关系表,确定参考亮度块。
由上述步骤2023可知,预测模式候选队列包括m个帧内运动补偿模式,m≥1,可选的,在上述步骤202构造预测模式候选队列的过程中,还可以建立帧内运动补偿模式的标识与亮度块的标识的对应关系表,该对应关系表记录有添加至预测模式候选队列中的每个帧内运动补偿模式的标识,以及对应的运动矢量可参考的亮度块的标识。例如,采用2023中的两种添加方式得到的m个帧内运动补偿模式与m个运动矢量可参考的亮度块存在一一对应关系,该对应关系表即可记录该关系。该亮度块为运动矢量可参考的亮度块,对应关系表中每个帧内运动补偿模式的标识用于唯一标识一个预测模式候选队列中的帧内运动补偿模式,每个亮度块的标识也用于唯一标识一个亮度块,可选的,该亮度块的标识可以为在划分待处理图像帧对应的亮度图像时,亮度块的编号;也可以是其他类型的标识,如后续步骤209中所确定的标识,本发明实施例对此不做赘述。
由于在预测模式候选队列中添加的m个帧内运动补偿模式的模式编号可以相同,也可以不同。示例的,当预测模式候选队列中添加的m个帧内运动补偿模式的模式编号相同时,该帧内运动补偿模式的标识可以由模式编号与预测模式候选队列中的索引组成,这样可以在预测模式候选队列中唯一标识一个帧内运动补偿模式;当预测模式候选队列中添加的m个帧内运动补偿模式的模式编号不同时,该帧内运动补偿模式的标识可以与模式编号相同。
则确定参考亮度块的过程可以包括:
步骤F1、基于目标帧内预测模式的标识,查询对应关系表,得到参考亮度块的标识。
步骤F2、基于参考亮度块的标识确定参考亮度块。
在第三种实现方式中,通过查询对应关系表可以直接确定参考亮度块的标识,相较于第一种实现方式和第二种实现方式,过程较为简单,计算代价较小。
可选的,在上述第一种实现方式和第二种实现方式中,按照目标顺序依次检测n个亮度块中亮度块的运动矢量是否可参考,直至达到检测停止条件的过程可以包括:
设置i=1;
执行检测过程,检测过程包括:
步骤G1、检测n个亮度块中第i个亮度块的运动矢量是否可参考。
步骤G2、当第i个亮度块的运动矢量可参考时,检测是否达到检测停止条件。
步骤G3、当未达到检测停止条件,更新i,使得更新后的i=i+1,再次执行检测过程。
步骤G4、当达到检测停止条件,停止执行检测过程。
其中,上述步骤G1至步骤G4的具体过程可以参考上述步骤2022中的步骤C1至步骤C4,本发明实施例对此不再赘述。
示例的,上述步骤G1中,检测n个亮度块中第i个亮度块的运动矢量是否可参考的过程可以包括:检测n个亮度块中第i个亮度块的预测类型;当第i个亮度块的预测类型为帧内预测类型时,确定第i个亮度块的运动矢量不可参考;当第i个亮度块的预测类型为帧间预测类型时,基于第i个亮度块的运动矢量生成备选运动矢量;检测第i个亮度块对应的备选运动矢量与当前检测得到的运动矢量可参考的亮度块所对应的备选运动矢量是否相同;当第i个亮度块对应的备选运动矢量与当前检测得到的运动矢量可参考的亮度块所对应的备选运动矢量不同时,基于第i个亮度块对应的备选运动矢量,预测当前色度块的备选预测块;当备选预测块有效,确定第i个亮度块的运动矢量可参考;当备选预测块无效,确定第i个亮度块的运动矢量不可参考;当第i个亮度块对应的备选运动矢量与当前检测得到的运动矢量可参考的亮度块对应的备选运动矢量相同时,确定第i个亮度块的运动矢量不可参考。该过程参考上述步骤C1的解释。
需要说明的是,在上述预测当前色度块的备选预测块之后,可以判断备选预测块是否有效。示例的,该判断过程可以包括以下两种实现方式:
第一种方式,当备选预测块全部位于待处理图像帧中的色度已编码区域内,确定备选预测块有效;当备选预测块不是全部位于待处理图像帧中的色度已编码区域外,确定备选预测块无效。
第二种方式,当备选预测块全部位于待处理图像帧中的色度已编码区域内,且位于当前色度块的指定方位,确定备选预测块有效;当备选预测块不是全部位于待处理图像帧中的色度已编码区域外,或者,不位于当前色度块的指定方位,确定备选预测块无效;其中,当前色度块的指定方位为当前色度块的左侧、上侧和左上侧的任一方位。
上述判断定备选预测块是否有效的两种实现方式可以参考上述步骤2022所提供的两种实现方式,本发明实施例在此不再赘述。
需要说明的是,不同于上述步骤C2的是,上述步骤G2中,检测是否达到检测停止条件的过程可以包括:检测可参考的运动矢量的总数是否等于预设的个数阈值x,该x≥m;以及检测i是否等于n;当可参考的运动矢量不等于预设的个数阈值x,且i不等于n,确定未达到检测停止条件;当可参考的运动矢量等于预设的个数阈值k或i=n,确定达到检测停止条件。
步骤205、基于参考亮度块的运动矢量确定待处理图像帧中当前色度块的运动矢量。
在步骤205中,基于参考亮度块的运动矢量确定待处理图像帧中当前色度块的运动矢量的过程可以包括:
步骤H1、按照待处理图像帧的编码格式,确定当前色度块与参考亮度块的矢量缩放比。
在本发明实施例中,当前色度块与参考亮度块的矢量缩放比等于待处理图像帧中,色度块与亮度块的分布密度比例,该分布密度比例由待处理图像帧的编码格式决定。示例的,编码格式为4:4:4时,在水平方向(也称x方向)上,色度块与亮度块的分布密度比例为1:1,在竖直方向(也称y方向)上,色度块与亮度块的分布密度比例为1:1,则当前色度块与参考亮度块的矢量在水平方向上的缩放比等于1:1,在竖直方向上的缩放比等于1:1。该步骤可以参考上述步骤C131。
步骤H2、基于矢量缩放比,对参考亮度块的运动矢量进行缩放得到当前色度块的运动矢量。
基于该矢量缩放比,对参考亮度块的运动矢量进行等比例的缩放即可得到参考亮度块的备选运动矢量。例如,参考亮度块的运动矢量为(-11,-3),编码格式为4:4:4,则当前色度块的备选运动矢量为(-11,-3)。该步骤可以参考上述步骤C132。
步骤206、基于当前色度块的运动矢量,预测当前色度块的预测块。
当目标帧内预测模式为帧内运动补偿模式时,可以基于该当前色度块的运动矢量从待处理视频帧中的色度图像中的色度已编码区域中,查找得到当前色度块的预测块。
步骤207、将目标帧内预测模式在预测模式候选队列中的索引编码后添加至当前色度块的码流中。
在本发明实施例中,预测模式候选队列包括至少一个预测模式,每个预测模式均用于指示预测所述当前色度块的预测块的模式。预测模式候选队列中的索引用于指示预测模式在预测模式候选队列中的排序,例如,目标帧内预测模式的索引为3,表示该目标帧内预测模式为预测模式候选队列中的第3个预测模式。
可选的,可以通过熵编码模块对该索引进行熵编码,然后再写入码流。
步骤208、向解码端传输码流,该码流包括编码后的目标帧内预测模式的索引和编码后的残差块。
需要说明的是,在步骤206确定了当前色度块的预测块后,可以采用该当前色度块的原始像素值减去该预测块的像素值得到当前色度块的残差块,然后对当前色度块的残差块进行变换和量化,将量化后的残差块进行熵编码得到编码后的码流。该过程可以参考JEM或HEVC。
还需要说明的是,在步骤201对待处理图像帧进行色度块的划分后,最终得到的划分方式也可以在编码后添加进码流,以使解码端基于该划分方式对其处理的待处理图像帧的进行划分,并对划分后的色度块对进行相应的处理。
在本发明实施例中,编码在码流中的索引用于供解码端确定相应的参考亮度块,一方面,解码端可以基于预先约定的方式以及该目标帧内预测模式的索引来确定参考亮度块,这样无需在码流中编码相关的指示信息,因此降低了指示信息的编码代价,有利于提高视频编码的效率,另一方面,由于编码端已经确定了参考亮度块的标识,其也可以将该参考亮度块的标识编码进码流,以供解码端参考,这样解码端即可无需进行过多的运算,基于该参考亮度块的标识直接确定参考亮度块,从而减少解码端的运算代价。则进一步可选的,如图2L所示,在步骤207之后,208之前,本发明实施例提供的色度的帧内预测方法还可以包括:
步骤209、获取参考亮度块的标识。
可选的,参考亮度块的标识的可以有多种获取方式,本发明实施例以以下两种获取方式为例进行说明:
第一种获取方式,获取参考亮度块的标识的过程包括:
步骤I1、为n个亮度块中所有亮度块按照与解码端约定的顺序分配标识。
步骤I2、获取为参考亮度块分配的标识。
第二种获取方式,获取参考亮度块的标识的过程包括:
步骤J1、为n个亮度块中运动矢量可参考的亮度块按照与解码端约定的顺序分配标识。
需要说明的是,为n个亮度块中运动矢量可参考的亮度块分配的标识为以0或1为起始标识,公差为u的等差递增数列,u为正整数,通常为1。
该分配标识的过程可以有多种实现方式,第一种是可以与步骤2022同步执行,先为n个亮度块全部分配互不相同的标识,在按照目标顺序每检测到一个运动矢量不可参考的亮度块时,将该亮度块的标识删除,并更新其后的所有亮度块的标识,直至步骤2022中达到检测停止条件。示例的,先为n个亮度块全部分配标识:0、1…n-1,分配的标识可以为以0开始,公差为1的等差递增数列,当检测到第一个亮度块的运动矢量不可参考时,删除亮度块0,更新其后的所有亮度块,更新方式是在原标识基础上减去公差,也即是减1,更新后的标识为:0、1…n-2;重复该过程,直至步骤2022中达到检测停止条件。
第二种是,在达到检测停止条件后,对检测到运动矢量可参考的所有亮度块分配互不相同的标识。
示例的,先为检测到运动矢量可参考的所有亮度块共3个,则分配的标识为:0、1、2。
步骤J2、获取为参考亮度块分配的标识。
在上述两种获取方式中,示例的,该约定的顺序可以为亮度块的编码先后顺序,也可以是上述步骤2022检测n个亮度块中是否存在运动矢量可参考的亮度块的目标顺序,上述分配的标识可以为数字标识。其中,为n个亮度块中运动矢量可参考的亮度块分配的标识为以0或1为起始标识,公差为1的等差递增数列,如0、1、2…,当然,为n个亮度块中运动矢量可参考的亮度块分配的标识为也可以为其他形式的数列,本发明实施例对此不做限定。示例的,请参考图2E,假设n个亮度块分别为:亮度块M11、亮度块M13、亮度块M14、亮度块M15和亮度块M16,运动矢量可参考的亮度块为M14和M15,参考亮度块为M14,约定的顺序为亮度块的编码先后顺序,则采用第一种获取方式,为该n个亮度块的标识分别为:亮度块M11为0、亮度块M13为1、亮度块M14为2、亮度块M15为3和亮度块M16为4,则参考亮度块的标识为2;采用第二种获取方式,为该n个亮度块的标识分别为:亮度块M14为0、亮度块M15为1,则参考亮度块的标识为0。当然,这些亮度块的标识可以以二进制数表示。
由上述例子可以看出,相较于第一种获取方式,第二种获取方式所分配的亮度块的标识更少,最终确定的参考亮度块的标识更小,这样在该参考亮度的标识通过码流传输时,所占用的数据位更少,可以有效节约码流资源。
步骤210、将参考亮度块的标识编码后添加至当前色度块的码流中。
可选的,可以通过熵编码模块对参考亮度块的标识进行熵编码,然后再写入码流。
需要说明的是,本发明实施例提供的色度的帧内预测方法步骤的先后顺序可以进行适当调整,步骤也可以根据情况进行相应增减,例如步骤209和210的步骤可以不执行,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化的方法,都应涵盖在本发明的保护范围之内,因此不再赘述。
综上所述,本发明实施例提供的色度的帧内预测方法,由于色度块的运动矢量是基于亮度块的运动矢量确定的,充分利用了亮度分量的运动矢量和色度分量的运动矢量的相关性,无需单独计算色度分量的运动矢量,从而简化了帧内运动补偿技术的过程,降低了色度分量的运动矢量的运算代价,相应地降低了整体运动矢量的运算代价。
第二方面,当该帧内预测方法应用于解码端时,如图3所示,该色度的帧内预测方法由解码端执行,其用于I帧的解码,该方法包括:
步骤301、解码当前色度块的码流,该码流包括编码后的目标帧内预测模式的索引和编码后的残差块。
该当前色度块指的是当前待解码的色度块,解码端在接收到编码端传输的码流后,对该码流进行解码,通常是通过熵解码模块进行解码。该码流解码后,可以包括目标帧内预测模式的索引和解码后的残差块。解码端可以继续对该解码后的残差块进行反量化和反变换,以得到当前色度块的残差块。
还需要说明的是,在步骤201对待处理图像帧进行色度块的划分后,最终得到的划分方式也可以在编码后添加进码流,因此,该码流中还包括编码后的划分方式,解码端可以从解码后的码流中提取该划分方式,基于该划分方式对其处理的待处理图像帧的进行划分,并对划分后的色度块对进行相应的处理。
步骤302、从解码后的码流中提取目标帧内预测模式在预测模式候选队列中的索引。
在本发明实施例中,索引用于指示预测模式在预测模式候选队列中的排序,例如,目标帧内预测模式的索引为3,表示该目标帧内预测模式为预测模式候选队列中的第3个预测模式。
步骤303、对于当前色度块,构造预测模式候选队列,预测模式候选队列包括至少一个预测模式,每个预测模式均用于指示预测当前色度块的预测块的模式。
示例的,该构造预测模式候选队列的过程可以参考上述步骤202中的步骤A1至A7,该构造过程是与编码端约定的,过程与编码端一致,也即是该步骤303与上述步骤202一致。因此,本发明实施例对此不再赘述。
步骤304、在构造完成的预测模式候选队列中,确定目标帧内预测模式。
可选的,可以基于目标帧内预测模式在预测模式候选队列中的索引查询预测模式候选队列,得到目标帧内预测模式。
由于步骤302中,解码端获取了目标帧内预测模式的索引,因此,可以基于该索引在预测模式候选队列中查询得到目标帧内预测模式。
例如,预测模式候选队列为:{11,75,…,68},共包含11个预测模式,该目标帧内预测模式的索引为2,则查询该预测模式候选队列,选择第2个预测模式即为该目标帧内预测模式,由上述预测模式候选队列可知,该目标帧内预测模式为模式编号为75的帧内运动补偿模式。
步骤305、当目标帧内预测模式为帧内运动补偿模式时,确定参考亮度块。
该过程与编码端是相应的,一方面,解码端可以基于预先约定的方式以及该目标帧内预测模式的索引来确定参考亮度块,这样无需在码流中编码相关的指示信息,因此降低了指示信息的编码代价,有利于提高视频编码的效率;另一方面,由于编码端已经确定了参考亮度块的标识,其也可以将该参考亮度块的标识编码进码流,以供解码端参考,这样解码端即可无需进行过多的运算,基于该参考亮度块的标识直接确定参考亮度块,从而减少解码端的运算代价。
因此,解码端确定参考亮度块的方式可以有多种,本发明实施例提供以下两种确定方式。
第一种确定方式,解码端基于预先约定的方式以及该目标帧内预测模式的索引来确定参考亮度块。该过程与上述步骤204相同,分别有三种实现方式,具体过程参考上述步骤204,本发明实施例对此不作赘述。
第二种确定方式,解码端基于码流中的参考亮度块的标识确定参考亮度块。该过程可以包括:
步骤K1、从解码后的码流中提取参考亮度块的标识。
请参考上述步骤210,由于编码端将参考亮度块的标识进行熵编码后写入了码流,解码端可以在对该码流进行熵解码后,提取参考亮度块的标识。
步骤K2、基于参考亮度块的标识,在n个亮度块中确定参考亮度块。
请参考上述步骤209,由于在编码端,参考亮度块的标识的可以有多种获取方式,而解码端需要与编码端的获取方法一致,才能保证获取的标识指示同一位置的亮度块,因此,对应的,本发明实施例以以下两种获取方式为例进行说明:
与步骤209中的第一种获取方式,解码端的第一种获取方式,包括:
步骤L1、为n个亮度块中运动矢量可参考的亮度块按照与编码端约定的顺序分配标识。
步骤L2、将与参考亮度块的标识一致的运动矢量可参考的亮度块确定为参考亮度块。
与步骤209中的第二种获取方式对应的,解码端的第二种获取方式,包括:
步骤M1、为n个亮度块中运动矢量可参考的亮度块按照与编码端约定的顺序分配标识。
需要说明的是,为n个亮度块中运动矢量可参考的亮度块分配的标识为以0或1为起始标识,公差为u的等差递增数列,u为正整数,通常为1。
该分配标识的过程可以有多种实现方式,第一种是可以与步骤303同步执行,先为n个亮度块全部分配互不相同的标识,在按照目标顺序每检测到一个运动矢量不可参考的亮度块时,将该亮度块的标识删除,并更新其后的所有亮度块的标识,直至步骤303中达到检测停止条件。示例的,先为n个亮度块全部分配标识:0、1…n-1,分配的标识可以为以0开始,公差为1的等差递增数列,当检测到第一个亮度块的运动矢量不可参考时,删除亮度块0,更新其后的所有亮度块,更新方式是在原标识基础上减去公差,也即是减1,更新后的标识为:0、1…n-2;重复该过程,直至步骤303中达到检测停止条件。
第二种是,在达到检测停止条件后,对检测到运动矢量可参考的所有亮度块分配互不相同的标识。
示例的,先为检测到运动矢量可参考的所有亮度块共4个,则分配的标识为:0、1、2和3。
步骤M2、将与参考亮度块的标识一致的运动矢量可参考的亮度块确定为参考亮度块。
在上述两种获取方式中,示例的,该约定的顺序可以为亮度块的编码先后顺序,也可以是上述步骤2022和步骤303中检测n个亮度块中是否存在运动矢量可参考的亮度块的目标顺序,该标识可以为数字标识,为n个亮度块中运动矢量可参考的亮度块分配的标识为以0或1为起始标识,公差为1的等差递增数列。示例的,请参考图2E所示,假设n个亮度块分别为:亮度块M11、亮度块M13、亮度块M14、亮度块M15和亮度块M16,运动矢量可参考的亮度块为M14和M15,参考亮度块为M14,约定的顺序为亮度块的编码先后顺序,则采用第一种获取方式,为该n个亮度块的标识分别为:亮度块M11为0、亮度块M13为1、亮度块M14为2、亮度块M15为3和亮度块M16为4,则需要在码流中传输的参考亮度块的标识为2,编码端基于该标识确定参考亮度块为M14;采用第二种获取方式,为该n个亮度块的标识分别为:亮度块M14为0、亮度块M15为1,则需要在码流中传输的参考亮度块的标识为0,编码端基于该标识确定参考亮度块为M14。当然,这些亮度块的标识可以以二进制数表示。
由上述例子可以看出,相较于第一种获取方式,第二种获取方式所分配的亮度块的标识更少,最终确定的参考亮度块的标识更小,这样在该参考亮度的标识通过码流传输时,所占用的数据位更少,可以有效节约码流资源。
步骤306、基于参考亮度块的运动矢量确定待处理图像帧中当前色度块的运动矢量。
该过程与编码端一致,可以参考上述步骤205,本发明实施例对此不作赘述。
步骤307、基于当前色度块的运动矢量,预测当前色度块的预测块。
该过程与编码端一致,可以参考上述步骤206,本发明实施例对此不作赘述。
步骤308、基于当前色度块的预测块和当前色度块的残差块,确定该当前色度块的重建像素值。
基于步骤307获取的当前色度块的预测块,以及步骤301获取的当前色度块的残差块,可以确定当前色度块的重建像素值。例如,将当前色度块的预测块的像素值与当前色度块的残差块的像素值相加即可得到该重建像素值。
需要说明的是,本发明实施例提供的色度的帧内预测方法步骤的先后顺序可以进行适当调整,步骤也可以根据情况进行相应增减,例如步骤301和303的步骤可以颠倒,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化的方法,都应涵盖在本发明的保护范围之内,因此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的色度的帧内测方法的解码端的具体步骤,可以参考前述编码端实施例中的对应过程,在此不再赘述。
综上所述,本发明实施例提供的色度的帧内预测方法,由于色度块的运动矢量是基于亮度块的运动矢量确定的,充分利用了亮度分量的运动矢量和色度分量的运动矢量的相关性,无需单独计算色度分量的运动矢量,从而简化了帧内运动补偿技术的过程,降低了色度分量的运动矢量的运算代价,相应地降低了整体运动矢量的运算代价。
本发明实施例提供一种色度的帧内预测装置40,用于I帧的编码或解码,如图4A所示,所述装置40包括:
第一确定模块401,用于当目标帧内预测模式为帧内运动补偿模式时,基于参考亮度块的运动矢量确定待处理图像帧中当前色度块的运动矢量,其中,所述目标帧内预测模式用于指示预测所述当前色度块的预测块的模式,在所述帧内运动补偿模式下,所述当前色度块的运动矢量基于亮度块的运动矢量生成,所述参考亮度块为与所述当前色度块位置对应的n个亮度块中的亮度块,n≥1;
预测模块402,用于基于所述当前色度块的运动矢量,预测所述当前色度块的预测块。
综上所述,本发明实施例提供的色度的帧内预测装置,由于色度块的运动矢量是基于亮度块的运动矢量确定的,充分利用了亮度分量的运动矢量和色度分量的运动矢量的相关性,无需单独计算色度分量的运动矢量,从而简化了帧内运动补偿技术的过程,降低了色度分量的运动矢量的运算代价,相应地降低了整体运动矢量的运算代价。
进一步的,如图4B所示,所述装置40还包括:
构造模块403,用于在与所述基于参考亮度块的运动矢量确定待处理图像帧中当前色度块的运动矢量之前,构造预测模式候选队列,所述预测模式候选队列包括至少一个预测模式,每个所述预测模式均用于指示预测所述当前色度块的预测块的模式;
第二确定模块404,用于在构造完成的所述预测模式候选队列中,确定所述目标帧内预测模式;
第三确定模块405,用于当目标帧内预测模式为帧内运动补偿模式时,确定参考亮度块。
可选的,如图4C所示,所述构造模块403,包括:
第一确定子模块4031,用于确定待处理图像帧中与所述当前色度块位置对应的n个亮度块;
检测子模块4032,用于检测所述n个亮度块中是否存在运动矢量可参考的亮度块;
添加子模块4033,用于当所述n个亮度块中存在运动矢量可参考的亮度块时,在所述预测模式候选队列中添加帧内运动补偿模式。
可选的,所述检测子模块4032,用于:
按照目标顺序依次检测所述n个亮度块中亮度块的运动矢量是否可参考,直至达到检测停止条件,所述检测停止条件为可参考的运动矢量的总数等于预设的个数阈值k,或者,遍历所述n个亮度块。
进一步的,所述添加子模块4033,用于:
在按照所述目标顺序每检测到一个运动矢量可参考的亮度块时,在所述预测模式候选队列中添加一个帧内运动补偿模式;
或者,在达到检测停止条件后,若存在运动矢量可参考的m个亮度块,按照所述m个亮度块在所述目标顺序中的检测排布顺序,在所述预测模式候选队列中添加m个帧内运动补偿模式,m≥1。
可选的,第三确定模块405有多种可实现方式,示例的,包括:
第一种可实现方式:所述预测模式候选队列包括m个帧内运动补偿模式,m≥1,如图4D所示,所述第三确定模块405,包括:
第二确定子模块4051,用于在所述预测模式候选队列中,确定所述目标帧内预测模式在所述m个帧内运动补偿模式中为第r个帧内运动补偿模式,1≤r≤m;
检测子模块4052,用于按照目标顺序依次检测所述n个亮度块中亮度块的运动矢量是否可参考,直至达到检测停止条件,所述检测停止条件为可参考的运动矢量的总数等于预设的个数阈值x,x≥m,或者,可参考的运动矢量的总数等于所述r,或者,遍历所述n个亮度块;
第三确定子模块4053,用于在达到检测停止条件后,将第r个运动矢量可参考的亮度块确定为所述参考亮度块。
第二种可实现方式:所述预测模式候选队列包括m个帧内运动补偿模式,m≥1,如图4E所示,所述第三确定模块405,包括:
检测子模块4052,用于按照目标顺序依次检测所述n个亮度块中亮度块的运动矢量是否可参考,直至达到检测停止条件,所述检测停止条件为可参考的运动矢量的总数等于预设的个数阈值x,x≥m,或者,遍历所述n个亮度块;
生成子模块4054,用于在达到检测停止条件后,基于每个可参考的运动矢量,生成所述当前色度块的参考预测块;
第四确定子模块4055,用于在生成的多个参考预测块中,确定符合第一目标条件的参考预测块,所述第一目标条件为参考预测块对应的残差块的残差值的绝对值之和最小,或,参考预测块对应的残差块的残差值变换量的绝对值之和最小,或,参考预测块对应的编码代价最小;
第五确定子模块4056,用于将符合所述第一目标条件的参考预测块所对应的亮度块确定为所述参考亮度块。
第三种可实现方式:所述预测模式候选队列包括m个帧内运动补偿模式,m≥1,如图4F所示,所述装置40还包括:
建立模块406,用于在构造所述预测模式候选队列的过程中,建立帧内运动补偿模式的标识与亮度块的标识的对应关系表,所述对应关系表记录有添加至所述预测模式候选队列中的每个帧内运动补偿模式的标识,以及对应的运动矢量可参考的亮度块的标识,所述对应关系表中每个所述帧内运动补偿模式的标识用于唯一标识一个预测模式候选队列中的帧内运动补偿模式;
此时,所述第三确定模块405,用于:
基于所述目标帧内预测模式的标识,查询所述对应关系表,得到所述参考亮度块的标识;基于所述参考亮度块的标识确定所述参考亮度块。
进一步的,上述所述检测子模块4032或者所述检测子模块4052,可以包括:
设置单元,用于设置i=1;
执行单元,用于执行检测过程,所述检测过程包括:
检测所述n个亮度块中第i个亮度块的运动矢量是否可参考;
当所述第i个亮度块的运动矢量可参考时,检测是否达到所述检测停止条件;
当未达到所述检测停止条件,更新所述i,使得更新后的i=i+1,再次执行所述检测过程;
当达到所述检测停止条件,停止执行所述检测过程。
可选的,所述执行单元,用于:
检测所述n个亮度块中第i个亮度块的预测类型;
当所述第i个亮度块的预测类型为帧内预测类型时,确定所述第i个亮度块的运动矢量不可参考;
当所述第i个亮度块的预测类型为帧间预测类型时,基于所述第i个亮度块的运动矢量生成备选运动矢量;
检测所述第i个亮度块对应的备选运动矢量与当前检测得到的运动矢量可参考的亮度块所对应的备选运动矢量是否相同;
当所述第i个亮度块对应的备选运动矢量与当前检测得到的运动矢量可参考的亮度块所对应的备选运动矢量不同时,基于所述第i个亮度块对应的备选运动矢量,预测所述当前色度块的备选预测块;
当所述备选预测块有效,确定所述第i个亮度块的运动矢量可参考;
当所述备选预测块无效,确定所述第i个亮度块的运动矢量不可参考;
当所述第i个亮度块对应的备选运动矢量与当前检测得到的运动矢量可参考的亮度块对应的备选运动矢量相同时,确定所述第i个亮度块的运动矢量不可参考。
进一步的,如图4G所示,所述装置40还包括:
第一检测模块407,用于在所述基于所述第i个亮度块对应的备选运动矢量,预测所述当前色度块的备选预测块之后,检测所述备选预测块是否全部位于所述待处理图像帧中的色度已编码区域;
第四确定模块408,用于当所述备选预测块全部位于所述待处理图像帧中的色度已编码区域内,确定所述备选预测块有效;
第五确定模块409,用于当所述备选预测块不是全部位于所述待处理图像帧中的色度已编码区域外,确定所述备选预测块无效。
可选的,如图4H所示,所述装置40还包括:
第一检测模块407,用于在所述基于所述第i个亮度块对应的备选运动矢量,预测所述当前色度块的备选预测块之后,检测所述备选预测块是否全部位于所述待处理图像帧中的色度已编码区域;
第二检测模块410,用于检测所述备选预测块是否位于所述当前色度块的指定方位;
第六确定模块411,用于当所述备选预测块全部位于所述待处理图像帧中的色度已编码区域内,且位于所述当前色度块的指定方位,确定所述备选预测块有效;
第七确定模块412,用于当所述备选预测块不是全部位于所述待处理图像帧中的色度已编码区域外,或者,不位于所述当前色度块的指定方位,确定所述备选预测块无效;
其中,所述当前色度块的指定方位为所述当前色度块的左侧、上侧和左上侧的任一方位。
可选的,所述第一检测模块407,用于:
当所述第i个亮度块对应的备选运动矢量为分像素运动矢量,获取所述备选预测块对应的参考色度块,所述备选预测块的色度像素值是基于所述参考色度块的像素值插值得到的;
检测所述参考色度块是否全部位于所述待处理图像帧中的色度已编码区域;
当所述参考色度块全部位于所述待处理图像帧中的色度已编码区域内,确定所述备选预测块全部位于所述待处理图像帧中的色度已编码区域;
当所述参考色度块不是全部位于所述待处理图像帧中的色度已编码区域外,确定所述备选预测块不是全部位于所述待处理图像帧中的色度已编码区域。
可选的,上述第一确定子模块4031,包括:
确定单元,用于确定待处理图像帧中与所述当前色度块位置对应的亮度图像区域;
处理单元,用于将所有目标亮度块作为所述n个亮度块,或者,在所有目标亮度块中筛选指定位置的亮度块作为所述n个亮度块,所述指定位置的亮度块包括:覆盖所述亮度图像区域中中心像素点的亮度块、覆盖所述亮度图像区域中左上角像素点的亮度块、覆盖所述亮度图像区域中右上角像素点的亮度块、覆盖所述亮度图像区域中左下角像素点的亮度块和覆盖所述亮度图像区域中右下角像素点的亮度块;
其中,所述目标亮度块为部分或全部在所述亮度图像区域中的亮度块。
可选的,所述n个亮度块至少包括:覆盖亮度图像区域中中心像素点的亮度块、覆盖所述亮度图像区域中左上角像素点的亮度块、覆盖所述亮度图像区域中右上角像素点的亮度块、覆盖所述亮度图像区域中左下角像素点的亮度块和覆盖所述亮度图像区域中右下角像素点的亮度块,其中,所述亮度图像区域为待处理图像帧中与所述当前色度块位置对应的亮度区域;
所述目标顺序为:
覆盖所述亮度图像区域中中心像素点的亮度块、覆盖所述亮度图像区域中左上角像素点的亮度块、覆盖所述亮度图像区域中右上角像素点的亮度块、覆盖所述亮度图像区域中左下角像素点的亮度块和覆盖亮度图像区域中右下角像素点的亮度块的顺序。
可选的,所述目标顺序为随机确定的顺序。
可选的,所述装置应用于解码端,该装置还包括:用于确定所述参考亮度块第三确定模块。该第三确定模块可以为图4B所示的第三确定模块405,如图4I所示,所述第三确定模块405,包括:
提取子模块4057,用于从解码后的码流中提取所述参考亮度块的标识;
第六确定子模块4058,用于基于所述参考亮度块的标识,在所述n个亮度块中确定所述参考亮度块。
可选的,所述第六确定子模块4058,用于:
为所述n个亮度块中运动矢量可参考的亮度块按照与编码端约定的顺序分配标识;
将与所述参考亮度块的标识一致的运动矢量可参考的亮度块确定为所述参考亮度块。
可选的,所述装置应用于编码端,如图4J所示,所述装置40还包括:
第一编码模块413,用于在所述确定所述参考亮度块之后,将所述目标帧内预测模式在预测模式候选队列中的索引编码后添加至所述当前色度块的码流中,所述预测模式候选队列包括至少一个预测模式,每个所述预测模式均用于指示预测所述当前色度块的预测块的模式。
可选的,如图4K所示,所述装置40还包括:
获取模块414,用于在所述确定所述参考亮度块之后,获取所述参考亮度块的标识;
第二编码模块415,用于将所述参考亮度块的标识编码后添加至所述当前色度块的码流中。
可选的,所述获取模块414,用于:
为所述n个亮度块中运动矢量可参考的亮度块按照与解码端约定的顺序分配标识;获取为所述参考亮度块分配的标识。
可选的,为所述n个亮度块中运动矢量可参考的亮度块分配的标识为以0或1为起始标识,公差为1的等差递增数列。
可选的,所述第一确定模块401,用于:
按照所述待处理图像帧的编码格式,确定所述当前色度块与所述参考亮度块的矢量缩放比;基于所述矢量缩放比,对所述参考亮度块的运动矢量进行缩放得到所述当前色度块的运动矢量。
可选的,所述第二确定模块404,用于:
将构造完成的所述预测模式候选队列中对应的预测块符合第二目标条件的帧内预测模式,确定为所述目标帧内预测模式;
其中,所述第二目标条件为:基于帧内预测模式确定的预测块所对应的残差块的残差值的绝对值之和最小,或,基于帧内预测模式确定的预测块所对应的残差块的残差值变换量的绝对值之和最小,或,采用帧内预测模式编码对应的编码代价最小。
可选的,所述确定单元,用于:基于所述当前色度块的尺寸,以及亮度分量与色度分量的分布密度比例,确定所述当前色度块位置对应的亮度图像区域,该亮度图像区域的尺寸等于所述当前色度块的尺寸与所述分布密度比例的乘积。
综上所述,本发明实施例提供的色度的帧内预测装置,由于色度块的运动矢量是基于亮度块的运动矢量确定的,充分利用了亮度分量的运动矢量和色度分量的运动矢量的相关性,无需单独计算色度分量的运动矢量,从而简化了帧内运动补偿技术的过程,降低了色度分量的运动矢量的运算代价,相应地降低了整体运动矢量的运算代价。
本发明实施例提供一种色度的帧内预测装置,包括:
至少一个处理器;和
至少一个存储器;
所述至少一个存储器存储有至少一个程序,所述至少一个存储器能够执行所述至少一个程序,以执行本发明实施例提供的任一所述的色度的帧内预测方法。
本发明实施例提供一种存储介质,该存储介质为非易失性计算机可读存储介质,所述存储介质中存储有指令或代码,
所述指令或代码被处理器执行时,使得所述处理器能够执行本发明实施例任一所述的色度的帧内预测方法。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (40)

1.一种色度的帧内预测方法,其特征在于,所述方法包括:
确定待处理图像帧中与当前色度块位置对应的n个亮度块;
检测所述n个亮度块中是否存在运动矢量可参考的亮度块;
当所述n个亮度块中存在运动矢量可参考的亮度块时,在预测模式候选队列中添加帧内运动补偿模式,以构造预测模式候选队列,所述预测模式候选队列包括至少一个预测模式,每个所述预测模式均用于指示预测当前色度块的预测块的模式,所述构造预测模式候选队列的过程包括将跨分量预测的模式加入所述预测模式候选队列中的过程,将帧内运动补偿模式加入所述预测模式候选队列的过程,以及将帧内预测模式加入所述预测模式候选队列的过程,且构造所述预测模式候选队列的过程受到所述预测模式候选队列的长度阈值的限制,且所述预测模式候选队列中的各个预测模式都具有其相应的模式编号,所述添加到预测模式候选队列中的帧内运动补偿模式的模式编号大于所述预测模式候选队列中所述帧内预测模式以及所述跨分量预测模式的模式编号;
在构造完成的所述预测模式候选队列中,确定目标帧内预测模式;
当目标帧内预测模式为帧内运动补偿模式时,确定参考亮度块,并按照待处理图像帧的编码格式确定当前色度块与参考亮度块的矢量缩放比;基于所述矢量缩放比,对所述参考亮度块的运动矢量进行等比例缩放得到所述当前色度块的运动矢量,其中,所述目标帧内预测模式用于指示预测所述当前色度块的预测块的模式,在所述帧内运动补偿模式下,所述当前色度块的运动矢量基于亮度块的运动矢量生成,所述参考亮度块为与所述当前色度块位置对应的n个亮度块中的亮度块,n≥1;
基于所述当前色度块的运动矢量,预测所述当前色度块的预测块;
当所述方法应用于编码端时,所述方法还包括:
将所述目标帧内预测模式在预测模式候选队列中的索引编码后添加至所述当前色度块的码流中,所述预测模式候选队列包括至少一个预测模式,每个所述预测模式均用于指示预测所述当前色度块的预测块的模式。
2.根据权利要求1所述的方法,其特征在于,所述检测所述n个亮度块中是否存在运动矢量可参考的亮度块,包括:
按照目标顺序依次检测所述n个亮度块中亮度块的运动矢量是否可参考,直至达到检测停止条件,所述检测停止条件为可参考的运动矢量的总数等于预设的个数阈值k,或者,遍历所述n个亮度块。
3.根据权利要求2所述的方法,其特征在于,
所述在所述预测模式候选队列中添加帧内运动补偿模式,包括:
在按照所述目标顺序每检测到一个运动矢量可参考的亮度块时,在所述预测模式候选队列中添加一个帧内运动补偿模式;
或者,在达到检测停止条件后,若存在运动矢量可参考的m个亮度块,按照所述m个亮度块在所述目标顺序中的检测排布顺序,在所述预测模式候选队列中添加m个帧内运动补偿模式,m≥1。
4.根据权利要求1所述的方法,其特征在于,所述预测模式候选队列包括m个帧内运动补偿模式,m≥1,所述确定所述参考亮度块,包括:
在所述预测模式候选队列中,确定所述目标帧内预测模式在所述m个帧内运动补偿模式中为第r个帧内运动补偿模式,1≤r≤m;
按照目标顺序依次检测所述n个亮度块中亮度块的运动矢量是否可参考,直至达到检测停止条件,所述检测停止条件为可参考的运动矢量的总数等于预设的个数阈值x,x≥m,或者,可参考的运动矢量的总数等于所述r,或者,遍历所述n个亮度块;
在达到检测停止条件后,将第r个运动矢量可参考的亮度块确定为所述参考亮度块。
5.根据权利要求1所述的方法,其特征在于,所述预测模式候选队列包括m个帧内运动补偿模式,m≥1,
所述确定所述参考亮度块,包括:
按照目标顺序依次检测所述n个亮度块中亮度块的运动矢量是否可参考,直至达到检测停止条件,所述检测停止条件为可参考的运动矢量的总数等于预设的个数阈值x,x≥m,或者,遍历所述n个亮度块;
在达到检测停止条件后,基于每个可参考的运动矢量,生成所述当前色度块的参考预测块;
在生成的多个参考预测块中,确定符合第一目标条件的参考预测块,所述第一目标条件为参考预测块对应的残差块的残差值的绝对值之和最小,或,参考预测块对应的残差块的残差值变换量的绝对值之和最小,或,参考预测块对应的编码代价最小;
将符合所述第一目标条件的参考预测块所对应的亮度块确定为所述参考亮度块。
6.根据权利要求1所述的方法,其特征在于,所述预测模式候选队列包括m个帧内运动补偿模式,m≥1,所述方法还包括:在构造所述预测模式候选队列的过程中,建立帧内运动补偿模式的标识与亮度块的标识的对应关系表,所述对应关系表记录有添加至所述预测模式候选队列中的每个帧内运动补偿模式的标识,以及对应的运动矢量可参考的亮度块的标识,所述对应关系表中每个所述帧内运动补偿模式的标识用于唯一标识一个预测模式候选队列中的帧内运动补偿模式;
所述确定所述参考亮度块,包括:
基于所述目标帧内预测模式的标识,查询所述对应关系表,得到所述参考亮度块的标识;
基于所述参考亮度块的标识确定所述参考亮度块。
7.根据权利要求2至6任一所述的方法,其特征在于,
所述按照目标顺序依次检测所述n个亮度块中亮度块的运动矢量是否可参考,直至达到检测停止条件,包括:
设置i=1;
执行检测过程,所述检测过程包括:
检测所述n个亮度块中第i个亮度块的运动矢量是否可参考;
当所述第i个亮度块的运动矢量可参考时,检测是否达到所述检测停止条件;
当未达到所述检测停止条件,更新所述i,使得更新后的i=i+1,再次执行所述检测过程;
当达到所述检测停止条件,停止执行所述检测过程。
8.根据权利要求7所述的方法,其特征在于,
所述检测所述n个亮度块中第i个亮度块的运动矢量是否可参考,包括:
检测所述n个亮度块中第i个亮度块的预测类型;
当所述第i个亮度块的预测类型为帧内预测类型时,确定所述第i个亮度块的运动矢量不可参考;
当所述第i个亮度块的预测类型为帧间预测类型时,基于所述第i个亮度块的运动矢量生成备选运动矢量;
检测所述第i个亮度块对应的备选运动矢量与当前检测得到的运动矢量可参考的亮度块所对应的备选运动矢量是否相同;
当所述第i个亮度块对应的备选运动矢量与当前检测得到的运动矢量可参考的亮度块所对应的备选运动矢量不同时,基于所述第i个亮度块对应的备选运动矢量,预测所述当前色度块的备选预测块;
当所述备选预测块有效,确定所述第i个亮度块的运动矢量可参考;
当所述备选预测块无效,确定所述第i个亮度块的运动矢量不可参考;
当所述第i个亮度块对应的备选运动矢量与当前检测得到的运动矢量可参考的亮度块对应的备选运动矢量相同时,确定所述第i个亮度块的运动矢量不可参考。
9.根据权利要求8所述的方法,其特征在于,
在所述基于所述第i个亮度块对应的备选运动矢量,预测所述当前色度块的备选预测块之后,所述方法还包括:
检测所述备选预测块是否全部位于所述待处理图像帧中的色度已编码区域;
当所述备选预测块全部位于所述待处理图像帧中的色度已编码区域内,确定所述备选预测块有效;
当所述备选预测块不是全部位于所述待处理图像帧中的色度已编码区域外,确定所述备选预测块无效。
10.根据权利要求8所述的方法,其特征在于,
在所述基于所述第i个亮度块对应的备选运动矢量,预测所述当前色度块的备选预测块之后,所述方法还包括:
检测所述备选预测块是否全部位于所述待处理图像帧中的色度已编码区域;
检测所述备选预测块是否位于所述当前色度块的指定方位;
当所述备选预测块全部位于所述待处理图像帧中的色度已编码区域内,且位于所述当前色度块的指定方位,确定所述备选预测块有效;
当所述备选预测块不是全部位于所述待处理图像帧中的色度已编码区域外,或者,不位于所述当前色度块的指定方位,确定所述备选预测块无效;
其中,所述当前色度块的指定方位为所述当前色度块的左侧、上侧和左上侧的任一方位。
11.根据权利要求9或10所述的方法,其特征在于,
所述检测所述备选预测块是否全部位于所述待处理图像帧中的色度已编码区域,包括:
当所述第i个亮度块对应的备选运动矢量为分像素运动矢量,获取所述备选预测块对应的参考色度块,所述备选预测块的色度像素值是基于所述参考色度块的像素值插值得到的;
检测所述参考色度块是否全部位于所述待处理图像帧中的色度已编码区域;
当所述参考色度块全部位于所述待处理图像帧中的色度已编码区域内,确定所述备选预测块全部位于所述待处理图像帧中的色度已编码区域;
当所述参考色度块不是全部位于所述待处理图像帧中的色度已编码区域外,确定所述备选预测块不是全部位于所述待处理图像帧中的色度已编码区域。
12.根据权利要求1所述的方法,其特征在于,
所述确定待处理图像帧中与所述当前色度块位置对应的n个亮度块,包括:
确定待处理图像帧中与所述当前色度块位置对应的亮度图像区域;
将所有目标亮度块作为所述n个亮度块,或者,在所有目标亮度块中筛选指定位置的亮度块作为所述n个亮度块,所述指定位置的亮度块包括:覆盖所述亮度图像区域中中心像素点的亮度块、覆盖所述亮度图像区域中左上角像素点的亮度块、覆盖所述亮度图像区域中右上角像素点的亮度块、覆盖所述亮度图像区域中左下角像素点的亮度块和覆盖所述亮度图像区域中右下角像素点的亮度块;
其中,所述目标亮度块为部分或全部在所述亮度图像区域中的亮度块。
13.根据权利要求2至6任一所述的方法,其特征在于,所述n个亮度块至少包括:覆盖亮度图像区域中中心像素点的亮度块、覆盖所述亮度图像区域中左上角像素点的亮度块、覆盖所述亮度图像区域中右上角像素点的亮度块、覆盖所述亮度图像区域中左下角像素点的亮度块和覆盖所述亮度图像区域中右下角像素点的亮度块,其中,所述亮度图像区域为待处理图像帧中与所述当前色度块位置对应的亮度区域,所述目标顺序为:
覆盖所述亮度图像区域中中心像素点的亮度块、覆盖所述亮度图像区域中左上角像素点的亮度块、覆盖所述亮度图像区域中右上角像素点的亮度块、覆盖所述亮度图像区域中左下角像素点的亮度块和覆盖亮度图像区域中右下角像素点的亮度块的顺序;
或者,所述目标顺序为:随机确定的顺序。
14.根据权利要求1所述的方法,其特征在于,所述方法应用于解码端,确定所述参考亮度块的过程,包括:
从解码后的码流中提取所述参考亮度块的标识;
基于所述参考亮度块的标识,在所述n个亮度块中确定所述参考亮度块。
15.根据权利要求14所述的方法,其特征在于,
所述基于所述参考亮度块的标识,在所述n个亮度块中确定所述参考亮度块,包括:
为所述n个亮度块中运动矢量可参考的亮度块按照与编码端约定的顺序分配标识;
将与所述参考亮度块的标识一致的运动矢量可参考的亮度块确定为所述参考亮度块。
16.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述参考亮度块的标识;
将所述参考亮度块的标识编码后添加至所述当前色度块的码流中。
17.根据权利要求16所述的方法,其特征在于,
所述获取所述参考亮度块的标识,包括:
为所述n个亮度块中运动矢量可参考的亮度块按照与解码端约定的顺序分配标识;
获取为所述参考亮度块分配的标识。
18.根据权利要求1所述的方法,其特征在于,
所述在构造完成的所述预测模式候选队列中,确定所述目标帧内预测模式,包括:
将构造完成的所述预测模式候选队列中对应的预测块符合第二目标条件的帧内预测模式,确定为所述目标帧内预测模式;
其中,所述第二目标条件为:基于帧内预测模式确定的预测块所对应的残差块的残差值的绝对值之和最小,或,基于帧内预测模式确定的预测块所对应的残差块的残差值变换量的绝对值之和最小,或,采用帧内预测模式编码对应的编码代价最小。
19.根据权利要求12所述的方法,其特征在于,
所述确定待处理图像帧中与所述当前色度块位置对应的亮度图像区域,包括:
基于所述当前色度块的尺寸,以及亮度分量与色度分量的分布密度比例,确定所述当前色度块位置对应的亮度图像区域,该亮度图像区域的尺寸等于所述当前色度块的尺寸与所述分布密度比例的乘积。
20.一种色度的帧内预测装置,其特征在于,所述装置包括:
第一确定子模块,用于确定待处理图像帧中与当前色度块位置对应的n个亮度块;
检测子模块,用于检测所述n个亮度块中是否存在运动矢量可参考的亮度块;
添加子模块,用于当所述n个亮度块中存在运动矢量可参考的亮度块时,在预测模式候选队列中添加帧内运动补偿模式,以构造预测模式候选队列,所述预测模式候选队列包括至少一个预测模式,每个所述预测模式均用于指示预测所述当前色度块的预测块的模式,所述构造预测模式候选队列的过程包括将跨分量预测的模式加入所述预测模式候选队列中的过程,将帧内运动补偿模式加入所述预测模式候选队列的过程,以及将帧内预测模式加入所述预测模式候选队列的过程,且构造所述预测模式候选队列的过程受到所述预测模式候选队列的长度阈值的限制,且所述预测模式候选队列中的各个预测模式都具有其相应的模式编号,所述添加到预测模式候选队列中的帧内运动补偿模式的模式编号大于所述预测模式候选队列中所述帧内预测模式以及所述跨分量预测模式的模式编号;
第二确定模块,用于在构造完成的所述预测模式候选队列中,确定目标帧内预测模式;
第三确定模块,用于当目标帧内预测模式为帧内运动补偿模式时,确定参考亮度块;
第一确定模块,用于当目标帧内预测模式为帧内运动补偿模式时,按照所述待处理图像帧的编码格式,确定所述当前色度块与所述参考亮度块的矢量缩放比;基于所述矢量缩放比,对所述参考亮度块的运动矢量进行等比例缩放得到所述当前色度块的运动矢量,其中,所述目标帧内预测模式用于指示预测所述当前色度块的预测块的模式,在所述帧内运动补偿模式下,所述当前色度块的运动矢量基于亮度块的运动矢量生成,所述参考亮度块为与所述当前色度块位置对应的n个亮度块中的亮度块,n≥1;
预测模块,用于基于所述当前色度块的运动矢量,预测所述当前色度块的预测块;
当所述装置应用于编码端时,所述装置还包括:
第一编码模块,用于在所述确定所述参考亮度块之后,将目标帧内预测模式在所述预测模式候选队列中的索引编码后添加至所述当前色度块的码流中,所述预测模式候选队列包括至少一个预测模式,每个所述预测模式均用于指示预测所述当前色度块的预测块的模式。
21.根据权利要求20所述的装置,其特征在于,所述检测子模块,用于:
按照目标顺序依次检测所述n个亮度块中亮度块的运动矢量是否可参考,直至达到检测停止条件,所述检测停止条件为可参考的运动矢量的总数等于预设的个数阈值k,或者,遍历所述n个亮度块。
22.根据权利要求21所述的装置,其特征在于,
所述添加子模块,用于:
在按照所述目标顺序每检测到一个运动矢量可参考的亮度块时,在所述预测模式候选队列中添加一个帧内运动补偿模式;
或者,在达到检测停止条件后,若存在运动矢量可参考的m个亮度块,按照所述m个亮度块在所述目标顺序中的检测排布顺序,在所述预测模式候选队列中添加m个帧内运动补偿模式,m≥1。
23.根据权利要求20所述的装置,其特征在于,所述预测模式候选队列包括m个帧内运动补偿模式,m≥1,所述第三确定模块,包括:
第二确定子模块,用于在所述预测模式候选队列中,确定所述目标帧内预测模式在所述m个帧内运动补偿模式中为第r个帧内运动补偿模式,1≤r≤m;
检测子模块,用于按照目标顺序依次检测所述n个亮度块中亮度块的运动矢量是否可参考,直至达到检测停止条件,所述检测停止条件为可参考的运动矢量的总数等于预设的个数阈值x,x≥m,或者,可参考的运动矢量的总数等于所述r,或者,遍历所述n个亮度块;
第三确定子模块,用于在达到检测停止条件后,将第r个运动矢量可参考的亮度块确定为所述参考亮度块。
24.根据权利要求20所述的装置,其特征在于,所述预测模式候选队列包括m个帧内运动补偿模式,m≥1,
所述第三确定模块,包括:
检测子模块,用于按照目标顺序依次检测所述n个亮度块中亮度块的运动矢量是否可参考,直至达到检测停止条件,所述检测停止条件为可参考的运动矢量的总数等于预设的个数阈值x,x≥m,或者,遍历所述n个亮度块;
生成子模块,用于在达到检测停止条件后,基于每个可参考的运动矢量,生成所述当前色度块的参考预测块;
第四确定子模块,用于在生成的多个参考预测块中,确定符合第一目标条件的参考预测块,所述第一目标条件为参考预测块对应的残差块的残差值的绝对值之和最小,或,参考预测块对应的残差块的残差值变换量的绝对值之和最小,或,参考预测块对应的编码代价最小;
第五确定子模块,用于将符合所述第一目标条件的参考预测块所对应的亮度块确定为所述参考亮度块。
25.根据权利要求20所述的装置,其特征在于,所述预测模式候选队列包括m个帧内运动补偿模式,m≥1,所述装置还包括:
建立模块,用于在构造所述预测模式候选队列的过程中,建立帧内运动补偿模式的标识与亮度块的标识的对应关系表,所述对应关系表记录有添加至所述预测模式候选队列中的每个帧内运动补偿模式的标识,以及对应的运动矢量可参考的亮度块的标识,所述对应关系表中每个所述帧内运动补偿模式的标识用于唯一标识一个预测模式候选队列中的帧内运动补偿模式;
所述第三确定模块,用于:
基于所述目标帧内预测模式的标识,查询所述对应关系表,得到所述参考亮度块的标识;
基于所述参考亮度块的标识确定所述参考亮度块。
26.根据权利要求21至25任一所述的装置,其特征在于,
所述检测子模块,包括:
设置单元,用于设置i=1;
执行单元,用于执行检测过程,所述检测过程包括:
检测所述n个亮度块中第i个亮度块的运动矢量是否可参考;
当所述第i个亮度块的运动矢量可参考时,检测是否达到所述检测停止条件;
当未达到所述检测停止条件,更新所述i,使得更新后的i=i+1,再次执行所述检测过程;
当达到所述检测停止条件,停止执行所述检测过程。
27.根据权利要求26所述的装置,其特征在于,
所述执行单元,用于:
检测所述n个亮度块中第i个亮度块的预测类型;
当所述第i个亮度块的预测类型为帧内预测类型时,确定所述第i个亮度块的运动矢量不可参考;
当所述第i个亮度块的预测类型为帧间预测类型时,基于所述第i个亮度块的运动矢量生成备选运动矢量;
检测所述第i个亮度块对应的备选运动矢量与当前检测得到的运动矢量可参考的亮度块所对应的备选运动矢量是否相同;
当所述第i个亮度块对应的备选运动矢量与当前检测得到的运动矢量可参考的亮度块所对应的备选运动矢量不同时,基于所述第i个亮度块对应的备选运动矢量,预测所述当前色度块的备选预测块;
当所述备选预测块有效,确定所述第i个亮度块的运动矢量可参考;
当所述备选预测块无效,确定所述第i个亮度块的运动矢量不可参考;
当所述第i个亮度块对应的备选运动矢量与当前检测得到的运动矢量可参考的亮度块对应的备选运动矢量相同时,确定所述第i个亮度块的运动矢量不可参考。
28.根据权利要求27所述的装置,其特征在于,所述装置还包括:
第一检测模块,用于在所述基于所述第i个亮度块对应的备选运动矢量,预测所述当前色度块的备选预测块之后,检测所述备选预测块是否全部位于所述待处理图像帧中的色度已编码区域;
第四确定模块,用于当所述备选预测块全部位于所述待处理图像帧中的色度已编码区域内,确定所述备选预测块有效;
第五确定模块,用于当所述备选预测块不是全部位于所述待处理图像帧中的色度已编码区域外,确定所述备选预测块无效。
29.根据权利要求27所述的装置,其特征在于,所述装置还包括:
第一检测模块,用于在所述基于所述第i个亮度块对应的备选运动矢量,预测所述当前色度块的备选预测块之后,检测所述备选预测块是否全部位于所述待处理图像帧中的色度已编码区域;
第二检测模块,用于检测所述备选预测块是否位于所述当前色度块的指定方位;
第六确定模块,用于当所述备选预测块全部位于所述待处理图像帧中的色度已编码区域内,且位于所述当前色度块的指定方位,确定所述备选预测块有效;
第七确定模块,用于当所述备选预测块不是全部位于所述待处理图像帧中的色度已编码区域外,或者,不位于所述当前色度块的指定方位,确定所述备选预测块无效;
其中,所述当前色度块的指定方位为所述当前色度块的左侧、上侧和左上侧的任一方位。
30.根据权利要求28或29所述的装置,其特征在于,
所述第一检测模块,用于:
当所述第i个亮度块对应的备选运动矢量为分像素运动矢量,获取所述备选预测块对应的参考色度块,所述备选预测块的色度像素值是基于所述参考色度块的像素值插值得到的;
检测所述参考色度块是否全部位于所述待处理图像帧中的色度已编码区域;
当所述参考色度块全部位于所述待处理图像帧中的色度已编码区域内,确定所述备选预测块全部位于所述待处理图像帧中的色度已编码区域;
当所述参考色度块不是全部位于所述待处理图像帧中的色度已编码区域外,确定所述备选预测块不是全部位于所述待处理图像帧中的色度已编码区域。
31.根据权利要求20所述的装置,其特征在于,
所述第一确定子模块,包括:
确定单元,用于确定待处理图像帧中与所述当前色度块位置对应的亮度图像区域;
处理单元,用于将所有目标亮度块作为所述n个亮度块,或者,在所有目标亮度块中筛选指定位置的亮度块作为所述n个亮度块,所述指定位置的亮度块包括:覆盖所述亮度图像区域中中心像素点的亮度块、覆盖所述亮度图像区域中左上角像素点的亮度块、覆盖所述亮度图像区域中右上角像素点的亮度块、覆盖所述亮度图像区域中左下角像素点的亮度块和覆盖所述亮度图像区域中右下角像素点的亮度块;
其中,所述目标亮度块为部分或全部在所述亮度图像区域中的亮度块。
32.根据权利要求21至25任一所述的装置,其特征在于,所述n个亮度块至少包括:覆盖亮度图像区域中中心像素点的亮度块、覆盖所述亮度图像区域中左上角像素点的亮度块、覆盖所述亮度图像区域中右上角像素点的亮度块、覆盖所述亮度图像区域中左下角像素点的亮度块和覆盖所述亮度图像区域中右下角像素点的亮度块,其中,所述亮度图像区域为待处理图像帧中与所述当前色度块位置对应的亮度区域,所述目标顺序为:
覆盖所述亮度图像区域中中心像素点的亮度块、覆盖所述亮度图像区域中左上角像素点的亮度块、覆盖所述亮度图像区域中右上角像素点的亮度块、覆盖所述亮度图像区域中左下角像素点的亮度块和覆盖亮度图像区域中右下角像素点的亮度块的顺序;
或者,所述目标顺序为:随机确定的顺序。
33.根据权利要求20所述的装置,其特征在于,所述装置应用于解码端,所述装置还包括第三确定模块,所述第三确定模块用于确定所述参考亮度块,
所述第三确定模块,包括:
提取子模块,用于从解码后的码流中提取所述参考亮度块的标识;
第六确定子模块,用于基于所述参考亮度块的标识,在所述n个亮度块中确定所述参考亮度块。
34.根据权利要求33所述的装置,其特征在于,
所述第六确定子模块,用于:
为所述n个亮度块中运动矢量可参考的亮度块按照与编码端约定的顺序分配标识;
将与所述参考亮度块的标识一致的运动矢量可参考的亮度块确定为所述参考亮度块。
35.根据权利要求20所述的装置,其特征在于,所述装置还包括:
获取模块,用于在所述确定所述参考亮度块之后,获取所述参考亮度块的标识;
第二编码模块,用于将所述参考亮度块的标识编码后添加至所述当前色度块的码流中。
36.根据权利要求35所述的装置,其特征在于,
所述获取模块,用于:
为所述n个亮度块中运动矢量可参考的亮度块按照与解码端约定的顺序分配标识;
获取为所述参考亮度块分配的标识。
37.根据权利要求20所述的装置,其特征在于,
所述第二确定模块,用于:
将构造完成的所述预测模式候选队列中对应的预测块符合第二目标条件的帧内预测模式,确定为所述目标帧内预测模式;
其中,所述第二目标条件为:基于帧内预测模式确定的预测块所对应的残差块的残差值的绝对值之和最小,或,基于帧内预测模式确定的预测块所对应的残差块的残差值变换量的绝对值之和最小,或,采用帧内预测模式编码对应的编码代价最小。
38.根据权利要求31所述的装置,其特征在于,
所述确定单元,用于:
基于所述当前色度块的尺寸,以及亮度分量与色度分量的分布密度比例,确定所述当前色度块位置对应的亮度图像区域,该亮度图像区域的尺寸等于所述当前色度块的尺寸与所述分布密度比例的乘积。
39.一种色度的帧内预测装置,其特征在于,包括:
至少一个处理器;和
至少一个存储器;
所述至少一个存储器存储有至少一个程序,所述至少一个存储器能够执行所述至少一个程序,以执行权利要求1至19任一所述的色度的帧内预测方法。
40.一种存储介质,其特征在于,所述存储介质中存储有指令或代码,
所述指令或代码被处理器执行时,使得所述处理器能够执行权利要求1至19任一所述的色度的帧内预测方法。
CN201810276799.5A 2018-03-30 2018-03-30 色度的帧内预测方法及装置 Active CN110324627B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810276799.5A CN110324627B (zh) 2018-03-30 2018-03-30 色度的帧内预测方法及装置
PCT/CN2019/079808 WO2019184934A1 (zh) 2018-03-30 2019-03-27 色度的帧内预测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810276799.5A CN110324627B (zh) 2018-03-30 2018-03-30 色度的帧内预测方法及装置

Publications (2)

Publication Number Publication Date
CN110324627A CN110324627A (zh) 2019-10-11
CN110324627B true CN110324627B (zh) 2022-04-05

Family

ID=68062566

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810276799.5A Active CN110324627B (zh) 2018-03-30 2018-03-30 色度的帧内预测方法及装置

Country Status (2)

Country Link
CN (1) CN110324627B (zh)
WO (1) WO2019184934A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114079784A (zh) * 2020-08-20 2022-02-22 Oppo广东移动通信有限公司 帧间预测方法、编码器、解码器以及计算机存储介质
CN114189688B (zh) * 2020-09-14 2023-04-11 四川大学 基于亮度模板匹配的色度分量预测方法
CN112203086B (zh) * 2020-09-30 2023-10-17 字节跳动(香港)有限公司 图像处理方法、装置、终端和存储介质
CN114979629A (zh) * 2021-02-24 2022-08-30 腾讯科技(深圳)有限公司 图像块预测样本的确定方法及编解码设备
CN115190312B (zh) * 2021-04-02 2024-06-07 西安电子科技大学 一种基于神经网络的跨分量色度预测方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1347620A (zh) * 1999-02-18 2002-05-01 通用仪器公司 转换mpeg-2 4:2:2-轮廓位流为主轮廓位流的方法及架构
CN1456999A (zh) * 2002-04-10 2003-11-19 微软公司 色度运动矢量取整
CN1784015A (zh) * 2004-12-02 2006-06-07 中国科学院计算技术研究所 一种帧内图像预测编码方法
CN1846437A (zh) * 2003-09-07 2006-10-11 微软公司 为隔行扫描和逐行扫描视频编码和解码宏块和运动信息中的革新
CN106464921A (zh) * 2014-06-19 2017-02-22 Vid拓展公司 用于块内复制搜索增强的方法和系统
WO2017171370A1 (ko) * 2016-03-28 2017-10-05 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2017206803A1 (en) * 2016-05-28 2017-12-07 Mediatek Inc. Method and apparatus of current picture referencing for video coding

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7266247B2 (en) * 2002-09-30 2007-09-04 Samsung Electronics Co., Ltd. Image coding method and apparatus using spatial predictive coding of chrominance and image decoding method and apparatus
US10015515B2 (en) * 2013-06-21 2018-07-03 Qualcomm Incorporated Intra prediction from a predictive block
WO2016199574A1 (ja) * 2015-06-08 2016-12-15 ソニー株式会社 画像処理装置および画像処理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1347620A (zh) * 1999-02-18 2002-05-01 通用仪器公司 转换mpeg-2 4:2:2-轮廓位流为主轮廓位流的方法及架构
CN1456999A (zh) * 2002-04-10 2003-11-19 微软公司 色度运动矢量取整
CN1846437A (zh) * 2003-09-07 2006-10-11 微软公司 为隔行扫描和逐行扫描视频编码和解码宏块和运动信息中的革新
CN1784015A (zh) * 2004-12-02 2006-06-07 中国科学院计算技术研究所 一种帧内图像预测编码方法
CN106464921A (zh) * 2014-06-19 2017-02-22 Vid拓展公司 用于块内复制搜索增强的方法和系统
WO2017171370A1 (ko) * 2016-03-28 2017-10-05 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2017206803A1 (en) * 2016-05-28 2017-12-07 Mediatek Inc. Method and apparatus of current picture referencing for video coding

Also Published As

Publication number Publication date
WO2019184934A1 (zh) 2019-10-03
CN110324627A (zh) 2019-10-11

Similar Documents

Publication Publication Date Title
US11895329B2 (en) Image encoding/decoding method and recording medium therefor
CN110324627B (zh) 色度的帧内预测方法及装置
US11470317B2 (en) Method and device for deriving a prediction sample in decoding/encoding video signal using binary and quad trees
CN113273213B (zh) 图像编码/解码方法和设备以及存储比特流的记录介质
CN110024394B (zh) 对图像编码/解码的方法和设备及存储比特流的记录介质
CN117156155A (zh) 图像编码/解码方法、存储介质和发送方法
KR20180028513A (ko) 비디오 코딩 시스템에서 인터 예측 방법 및 장치
CN110024402B (zh) 图像编码/解码方法和装置以及存储有比特流的记录介质
CN112740697A (zh) 图像编码/解码方法和装置及存储比特流的记录介质
US20210058619A1 (en) Video signal encoding/decoding method, and device therefor
US11943447B2 (en) Method and apparatus for image encoding and decoding using temporal motion information
KR20200072553A (ko) 영상 코딩 시스템에서 크로마 성분의 효율적 변환에 기반한 영상 디코딩 방법 및 장치
CN112740694A (zh) 用于对图像进行编码/解码的方法和设备以及用于存储比特流的记录介质
CN113940077A (zh) 用于视频编码/解码的虚拟边界信令方法和设备
CN113906740A (zh) 帧间预测信息编码/解码方法和装置
KR20200050433A (ko) 신경망을 사용하여 영상에 대한 처리를 수행하는 방법 및 장치
CN113841404B (zh) 视频编码/解码方法和设备以及存储比特流的记录介质
US20230283795A1 (en) Video coding method and device using motion compensation of decoder side
CN113875237A (zh) 用于在帧内预测中用信号传送预测模式相关信号的方法和装置
AU2018325974B2 (en) Method and device for video signal processing
KR20200056943A (ko) 영역 차등적 영상 부/복호화 방법 및 장치
KR20240140018A (ko) 영상 부호화/복호화를 위한 방법 및 비트스트림을 저장하는 기록 매체
KR20210000688A (ko) 콘텐츠 연결성을 이용하는 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
KR20240132230A (ko) 영상 부호화/복호화 방법 및 이를 위한 기록 매체
CN118355663A (zh) 用于对图像进行编码/解码的方法、装置和记录介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant