CN113068030A - 视频图像分量预测方法及装置、计算机存储介质 - Google Patents

视频图像分量预测方法及装置、计算机存储介质 Download PDF

Info

Publication number
CN113068030A
CN113068030A CN202110236395.5A CN202110236395A CN113068030A CN 113068030 A CN113068030 A CN 113068030A CN 202110236395 A CN202110236395 A CN 202110236395A CN 113068030 A CN113068030 A CN 113068030A
Authority
CN
China
Prior art keywords
component
image
image component
predicted
reference value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110236395.5A
Other languages
English (en)
Other versions
CN113068030B (zh
Inventor
霍俊彦
万帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of CN113068030A publication Critical patent/CN113068030A/zh
Application granted granted Critical
Publication of CN113068030B publication Critical patent/CN113068030B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供了一种视频图像分量预测方法及装置、计算机存储介质,该方法可以包括:获取当前块的第一图像分量的参考值集;从第一图像分量的参考值集中确定多个第一图像分量参考值;对多个第一图像分量参考值对应的像素点的样值分别进行第一滤波处理,得到多个滤波后的第一图像参考样值;确定与多个滤波后的第一图像参考样值对应的待预测图像分量参考值;根据多个滤波后的第一图像参考样值和待预测图像分量参考值,确定分量线性模型的参数;根据分量线性模型,对当前块的第一图像分量的重建值进行映射处理,得到映射值;根据映射值确定当前块的待预测图像分量的预测值。

Description

视频图像分量预测方法及装置、计算机存储介质
分案说明
本申请是基于申请号为201980041795.1、申请日为2019年10月11日,以在US专利局的申请日2018年10月12日为优先权日,发明名称为“视频图像分量预测方法及装置、计算机存储介质”的中国专利申请提出的,在该中国专利申请记载的范围内提出分案,该中国专利申请的全部内容再次引入本申请作为参考。
技术领域
本申请实施例涉及视频编解码的技术领域,尤其涉及一种视频图像分量预测方法及装置、计算机存储介质。
背景技术
随着人们对视频显示质量要求的提高,高清和超高清视频等新视频应用形式应运而生。在这种高分辨率高质量视频欣赏应用越来越广泛的情况下,对视频压缩技术的要求也越来越高。H.265/高效率视频编码(High Efficiency Video Coding,HEVC)是目前最新的国际视频压缩标准,H.265/HEVC的压缩性能比前一代视频编码标准H.264/先进视频编码(Advanced Video Coding,AVC)提高约50%,但仍然满足不了视频应用迅速发展的需求,尤其是超高清、虚拟现实(Virtual Reality,VR)等新视频应用。
在下一代视频编码标准为多功能视频编码(Versatile Video Coding,VVC)采用的编码工具中,已经集成了一种基于线性模型的预测方法,色度分量可以通过线性模型由重建的亮度分量得到色度预测值。
然而,在通过线性模型进行视频分量的预测时,需要采用亮度邻近区域的像素值进行下采样处理后,在下采样后得到的参考样本点中找出最大值和最小值来构建线性模型,基于相邻参考块的数量较多,因此,采用上述方式进行模型构建的复杂度高,导致色度预测的效率低,进而影响视频编解码效率。
发明内容
本申请实施例提供了一种视频图像分量预测方法及装置、计算机存储介质,能够减少视频分量预测中的复杂度,提高预测效率,从而提高视频编解码效率。
本申请实施例的技术方案可以如下实现:
本申请实施例提供了一种视频分量预测方法,包括:
获取当前块的第一图像分量的参考值集;
从所述第一图像分量的参考值集中确定多个第一图像分量参考值;
对所述多个第一图像分量参考值对应的像素点的样值分别进行第一滤波处理,得到多个滤波后的第一图像参考样值;
确定与所述多个滤波后的第一图像参考样值对应的待预测图像分量参考值,其中,所述待预测图像分量是与所述第一图像分量不同的图像分量;
根据所述多个滤波后的第一图像参考样值和所述待预测图像分量参考值,确定分量线性模型的参数,其中,所述分量线性模型表征将所述第一图像分量的样值映射为所述待预测图像分量的样值的线性映射关系;
根据所述分量线性模型,对所述当前块的所述第一图像分量的重建值进行映射处理,得到映射值;
根据所述映射值确定所述当前块的所述待预测图像分量的预测值。
本申请实施例提供了一种视频分量预测装置,包括:
获取部分,被配置为获取当前块的第一图像分量的参考值集;
确定部分,被配置为从所述第一图像分量的参考值集中确定多个第一图像分量参考值;
滤波部分,被配置为对所述多个第一图像分量参考值对应的像素点的样值分别进行第一滤波处理,得到多个滤波后的第一图像参考样值;
所述确定部分,还被配置为确定与所述多个滤波后的第一图像参考样值对应的待预测图像分量参考值,其中,所述待预测图像分量是与所述第一图像分量不同的图像分量;以及根据所述多个滤波后的第一图像参考样值和所述待预测图像分量参考值,确定分量线性模型的参数,其中,所述分量线性模型表征将所述第一图像分量的样值映射为所述待预测图像分量的样值的线性映射关系;
所述滤波部分,还被配置为根据所述分量线性模型,对所述当前块的所述第一图像分量的重建值进行映射处理,得到映射值;
预测部分,被配置为根据所述映射值确定所述当前块的所述待预测图像分量的预测值。
本申请实施例提供了一种视频分量预测装置,包括:
存储器,用于存储可执行视频分量预测指令;
处理器,用于执行所述存储器中存储的可执行视频分量预测指令时,实现本申请实施例提供的视频分量预测方法。
本申请实施例提供了一种计算机可读存储介质,存储有可执行视频分量预测指令,用于引起处理器执行时,实现本申请实施例提供的视频分量预测方法。
本申请实施例提供了一种视频图像分量预测方法,视频图像分量预测装置可以基于直接获取的当前块对应的第一图像分量的参考值集,先进行多个第一图像分量参考值的选取后,基于用于选取的多个第一图像分量参考值的像素点位置进行滤波处理,得到多个滤波后的第一图像参考样值,然后,找到与多个滤波后的第一图像参考样值对应的待预测图像分量参考值,得到分量线性模型的参数,基于分量线性模型的参数,构建分量线性模型,进而采用上述构建分量线性模型进行待预测图像分量的预测过程。由于在分量线性模型构建的过程中先进行多个第一图像分量参考值的选取,然后根据选取的出的多个第一图像分量参考值对应的位置进行滤波处理,进而构建分量线性模型,这样节省了对当前块对应的像素点的滤波处理的工作量,即减少了滤波操作,从而降低了构建分量线性模型的复杂度,进而减少视频分量预测中的复杂度,提高了预测效率,提高了视频编解码效率。
附图说明
图1为本申请实施例提供的当前块与相邻参考像素点的关系示意图;
图2为本申请实施例提供的一种视频图像分量预测系统的架构图;
图3A为本申请实施例提供的一种视频编码系统的组成框图示意图;
图3B为本申请实施例提供的一种视频解码系统的组成框图示意图;
图4为本申请实施例提供的一种视频图像分量预测方法的流程图一;
图5为本申请实施例提供的一种视频图像分量预测方法的流程图二;
图6为本申请实施例提供的一种视频图像分量预测方法的流程图三;
图7为本申请实施例提供的基于最大值和最小值构造预测模型的结构示意图;
图8为本申请实施例提供的一种视频图像分量预测装置的结构示意图一;
图9为本申请实施例提供的一种视频图像分量预测装置的结构示意图二。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
除非另有定义,本申请所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
下面先介绍下帧内预测、视频编解码等概念。
预测编解码主要的功能是:在视频编解码中利用空间或时间上已有的重建图像构造当前块的预测值,仅将原始值和预测值的差值传输,以达到减少传输数据量的目的。
帧内预测主要的功能是:利用当前块与相邻的上一行像素单元和左一列像素单元构造该当前块的预测值。如图1所示,利用当前块101周围已经恢复的邻近像素(即与当前块相邻的上一行102中的像素单元和左一列103中像素单元),对当前块101的每个像素单元进行预测。
在本申请实施例中,针对视频图像,通常采用三个图像分量来表征处理块。其中,这三个图像分量分别为一个亮度分量、一个蓝色色度分量和一个红色色度分量。具体地,亮度分量通常使用符号Y表示,蓝色色度分量通常使用符号Cb表示,红色色度分量通常使用符号Cr表示。
目前,对视频图像常采用的采样格式为YCbCr格式,YCbCr格式包括:
4:4:4格式:表示蓝色色度分量或红色色度分量没有下采样;它是在每个扫描行上每4个连续的像素点取4个亮度分量的采样样本、4个蓝色色度分量的采样样本和4个红色色度分量的采样样本。
4:2:2格式:表示亮度分量相对于蓝色色度分量或红色色度分量进行2:1的水平采样,没有竖直下采样;它是在每个扫描行上每4个连续的像素点取4个亮度分量的采样样本、2个蓝色色度分量的采样样本和2个红色色度分量的采样样本。
4:2:0格式:表示亮度分量相对于蓝色色度分量或红色色度分量进行2:1的水平下采样和2:1的竖直下采样;它是在水平扫描行和垂直扫描行上每2个连续的像素点取2个亮度分量的采样样本、1个蓝色色度分量的采样样本和1个红色色度分量的采样样本。
在视频图像采用YCbCr为4:2:0格式的情况下,若视频图像的亮度像分量为2N×2N大小的处理块,则对应的蓝色色度分量或红色色度分量为N×N大小的处理块,其中,N为处理块的边长。在本申请实施例中,下述将以4:2:0格式为例进行描述,但是本申请实施例的技术方案同样适用于其他采样格式。
基于上述概念的基础上,本申请实施例提供了一种包含帧内预测中的视频图像分量预测方法的视频编解码系统的网络架构,图2为本申请实施例视频编解码的网络架构的组成结构示意图,如图2所示,该网络架构包括一个或多个电子设备11至1N和通信网络01,其中,电子设备11至1N可以通过通信网络01进行视频交互。电子设备在实施的过程中可以为各种类型的具有视频编解码功能的设备,例如,所述电子设备可以包括手机、平板电脑、个人计算机、个人数字助理、导航仪、数字电话、视频电话、电视机、传感设备、服务器等,本申请实施例不作限制。其中,本申请实施例中的帧内预测装置就可以为上述电子设备。
其中,本申请实施例中的电子设备具有视频编解码功能,一般包括视频编码器和视频解码器。
示例性的,参见图3A所示,视频编码器21的组成结构包括:变换与量化单元211、帧内估计单元212、帧内预测单元213、运动补偿单元214、运动估计单元215、反变换与反量化单元216、滤波器控制分析单元217、滤波单元218、熵编码单元219和解码图像缓存单元210等,其中,滤波单元218可以实现去方块滤波及样本自适应缩进(Sample Adaptive 0ffset,SAO)滤波,熵编码单元219可以实现头信息编码及基于上下文的自适应二进制算术编码(Context-based Adaptive Binary Arithmatic Coding,CABAC)。针对输入的源视频数据,通过编码树块(Coding Tree Unit,CTU)的划分可以得到一个当前视频帧的待编码块,然后对该待编码块进行帧内预测或帧间预测后,将得到的残差信息通过变换与量化单元211进行变换,包括将残差信息从像素域变换到变换域,并对所得的变换系数进行量化,用以进一步减少比特率;帧内估计单元212和帧内预测单元213用于对该待编码块进行帧内预测,例如,确定用以编码该待编码块的帧内预测模式;运动补偿单元214和运动估计单元215用于执行待编码块相对于一或多个参考帧中的一或多个块的帧间预测编码以提供时间预测信息;其中,运动估计单元215用于估计运动向量,运动向量可以估计该待编码块的运动,然后由运动补偿单元214基于运动向量执行运动补偿;在确定帧内预测模式之后,帧内预测单元213还用于将所选择的帧内预测数据提供到熵编码单元219,而且运动估计单元215将所计算确定的运动向量数据也发送到熵编码单元219;此外,反变换与反量化单元216是用于该待编码块的重构建,在像素域中重构建残差块,该重构建残差块通过滤波器控制分析单元217和滤波单元218去除方块效应伪影,然后将该重构残差块添加到解码图像缓存单元210的帧中的一个预测性块,用以产生经重构建的视频编码块;熵编码单元219是用于编码各种编码参数及量化后的变换系数,在基于CABAC的编码算法中,上下文内容可基于相邻编码块,可用于编码指示所确定的帧内预测模式的信息,输出该视频数据的码流;而解码图像缓存单元210是用于存放重构建的视频编码块,用于预测参考。随着视频编码的进行,会不断生成新的重构建的视频编码块,这些重构建的视频编码块都会被存放在解码图像缓存单元210中。
与视频编码器21对应的视频解码器22,其组成结构如图3B所示,包括:熵解码单元221、反变换与反量化单元222、帧内预测单元223、运动补偿单元224、滤波单元225和解码图像缓存单元226等,其中,熵解码单元221可以实现头信息解码以及CABAC解码,滤波单元225可以实现去方块滤波以及SAO滤波。输入的视频信号经过图3A的编码处理之后,输出该视频信号的码流;该码流输入至视频解码器22中,首先经过熵解码单元221,得到解码后的变换系数;针对该变换系数通过反变换与反量化单元222进行处理,以便在像素域中产生残差块;帧内预测单元223可用于基于所确定的帧内预测模式和来自当前帧或图片的先前经解码块的数据而产生当前解码块的预测数据;运动补偿单元224通过剖析运动向量和其他关联语法元素来确定当前解码块的预测信息,并使用该预测信息以产生正被解码的当前解码块的预测性块;通过对来自反变换与反量化单元222的残差块与由帧内预测单元223或运动补偿单元224产生的对应预测性块进行求和,而形成解码的视频块;该解码的视频块通过滤波单元225以便去除方块效应伪影,从而改善视频质量;然后将经解码的视频块存储于解码图像缓存单元226中,解码图像缓存单元226存储用于后续帧内预测或运动补偿的参考图像,同时也用于视频信号的输出显示。
基于此,下面结合附图和实施例对本申请的技术方案进一步详细阐述。本申请实施例所提供的视频图像分量预测方法,是在预测编解码中的帧内预测过程的一种预测,既可以应用于视频编码器21中,也可以应用于视频解码器22中,本申请实施例对此不作具体限定。
在下一代视频编码标准H.266中,为了进一步提升了编解码性能和编解码效率,针对分量间预测(Cross-component Prediction,CCP)进行了扩展改进,提出了分量间线性模型预测(Cross-component Linear Model Prediction,CCLM)。在H.266中,CCLM实现了亮度分量到蓝色色度分量、亮度分量到红色色度分量,以及蓝色色度分量与红色色度分量之间的预测,下述将针对现有的CCLM为背景进行视频分量预测方法的描述。
本申请实施例提供一种视频图像分量预测方法,该方法应用于视频图像分量预测装置中,该方法所实现的功能可以通过视频图像分量预测装置中的处理器调用程序代码来实现,当然程序代码可以保存在计算机存储介质中,可见,该视频图像分量预测装置至少包括处理器和存储介质。
图4为本申请实施例提供的一种视频图像分量预测方法的实现流程示意图,如图4所示,该方法包括:
S101、获取当前块的第一图像分量参考值;
S102、从第一图像分量的参考值集中确定多个第一图像分量参考值;
S103、对多个第一图像分量参考值对应的像素点的样值分别进行第一滤波处理,得到多个滤波后的第一图像参考样值;
S104、确定出与多个滤波后的第一图像参考样值对应的待预测图像分量参考值;其中,待预测图像分量是与第一图像分量不同的图像分量;
S105、根据多个滤波后的第一图像参考样值和待预测图像分量参考值,确定分量线性模型的参数,其中,分量线性模型表征将第一图像分量的样值映射为待预测图像分量的样值的线性映射关系;
S106、根据分量线性模型,对当前块的第一图像分量的重建值进行映射处理,得到映射值;
S107、根据映射值确定当前块的待预测图像分量的预测值。
在S101中,在本申请实施例中,当前块为当前待进行图像分量预测的编码块或者解码块。在本申请实施例中,视频图像分量预测装置获取当前块的第一图像分量参考值,其中,第一图像分量的参考值集中包含一个或多个第一图像分量参考值。当前块的参考值可以从参考块中获取,参考块可以为当前块的相邻块,也可以为当前块的不相邻块,本申请实施例不作限制。
在本申请的一些实施例中,视频图像分量预测装置确定位于当前块之外的一个或多个参考像素点,并将一个或多个参考像素点作为一个或多个第一图像分量参考值。
需要说明的是,在本申请实施例中,当前块对应的相邻处理块为与当前块的一个或多个边相邻的处理块,一个或多个边相邻可以包括当前块的相邻的上侧边,也可以是指当前块的相邻的左侧边,还可以是指当前块的相邻的上侧边和左侧边,本申请实施例不作具体限定。
在本申请的一些实施例中,视频图像分量预测装置确定与当前块相邻的像素点为一个或多个参考像素点。
需要说明的是,在本申请实施例中,一个或多个参考像素点可以为相邻像素点也可以为不相邻的像素点,本申请实施例不作限制,本申请以相邻像素点为例进行说明。
其中,当前块的相邻处理块对应的一个或多个边相邻像素点,作为当前块对应的一个或多个相邻参考像素点,而每一个相邻参考像素点对应三个图像分量参考值(即第一图像分量参考值、第二图像分量参考值和第三图像分量参考值)。因此,视频图像分量预测装置可以获取当前块对应的一个或多个相邻参考像素点中的每个相邻参考像素点中的第一图像分量的参考值,作为第一图像分量的参考值集,这里,就得到了一个或多个第一图像分量参考值了,即,一个或多个第一图像分量参考值表征当前块对应的相邻参考块中的一个或多个相邻像素点的对应的第一图像分量的参考值。其中,第一图像分量在本申请实施例中的作用是用于预测其他图像分量的。
在本申请的一些实施例中,第一图像分量和待预测图像分量的组合包括以下至少一种:
第一图像分量是亮度分量,待预测图像分量是第一或第二色度分量;或者,
第一图像分量是第一色度分量,待预测图像分量是亮度分量或第二色度分量;或者,
第一图像分量是第二色度分量,待预测图像分量是亮度分量或第一色度分量;或者,
第一图像分量是第一色彩分量,待预测图像分量是第二色彩分量或第三色彩分量;或者,
第一图像分量是第二色彩分量,待预测图像分量是第一色彩分量或第三色彩分量;或者,
第一图像分量是第三色彩分量,待预测图像分量是第二色彩分量或第一色彩分量。
在本申请的一些实施例中,第一色彩分量为红分量,第二色彩分量为绿分量,第三色彩分量为蓝分量。
其中,第一色度分量可以为蓝色色度分量,第二色度分量可以为红色色度分量。或者,第一色度分量可以为红色色度分量,第二色度分量可以为蓝色色度分量。这里,第一色度分量和第二色度分量分别代表蓝色色度分量和红色色度分量即可。
以第一色度分量可以为蓝色色度分量,第二色度分量可以为红色色度分量为例进行说明。第一图像分量为亮度分量,待预测图像分量为第一色度分量时,视频图像分量预测装置就可以采用亮度分量预测蓝色色度分量;第一图像分量为亮度分量,待预测图像分量为第二色度分量时,视频图像分量预测装置就可以采用亮度分量预测红色色度分量;第一图像分量为第一色度分量,待预测图像分量为第二色度分量时,视频图像分量预测装置就可以采用蓝色色度分量预测红色色度分量;第一图像分量为第二色度分量,待预测图像分量为第一色度分量时,视频图像分量预测装置就可以采用红色色度分量预测蓝色色度分量了。
在S102中,视频图像分量预测装置可以从一个或多个第一图像分量参考值中确定出多个第一图像分量参考值。
在本申请的一些实施例中,视频图像分量预测装置可以比较第一图像分量的参考值集中包含的一个或多个第一图像分量参考值,确定出最大第一图像分量参考值和最小第一图像分量参考值。
在本申请的一些实施例中,视频图像分量预测装置可以从一个或多个第一图像分量参考值中确定出多个第一图像分量参考值中的最大值和最小值,可以从一个或多个第一图像分量参考值中确定出表征或者代表第一图像分量参考值最大或者最小的参考值。
例如,视频图像分量预测装置从第一图像分量的参考值集中确定出最大第一图像分量参考值和最小第一图像分量参考值。
在本申请实施例中,视频图像分量预测装置可以采用多种方式来得到最大第一图像分量参考值和最小第一图像分量参考值。
方式一:对一个或多个第一图像分量参考值中的每个第一图像分量参考值进行依次对比,确定出一个第一图像分量参考值最大的,以及和一个第一图像分量参考值最小的最小第一图像分量参考值。
方式二:从一个或多个第一图像分量参考值中,筛选出预设位置的至少两个第一图像分量参考值;按照数值大小,将至少两个第一子图像分量参考值划分为最大图像分量参考值集合和最小图像分量参考值集合;基于最大图像分量参考值集合和最小图像分量参考值集合,得到最大第一图像分量参考值和最小第一图像分量参考值。
也就是说,在本申请实施例中,视频图像分量预测装置可以从一个或多个第一图像分量参考值,选出第一图像分量参考值中数值最大的作为最大第一图像分量参考值,选出其中数值最小的作为最小第一图像分量参考值。确定方式可以两两依次对比,也可以排序后确定出,具体的确定方式,本申请实施例不作限制。
视频图像分量预测装置还可以从一个或多个第一图像分量参考值对应的像素点位置中,选择出预设位置(预设像素点位置)处对应的几个第一图像分量参考值,作为至少两个第一图像分量参考值,再基于至少两个第一图像分量参考值,划分出最大的数据集合(最大图像分量参考值集合)和最小的数据集合(最小图像分量参考值集合),基于最大的数据集合和最小的数据集合,确定出最大第一图像分量参考值和最小第一图像分量参考值。其中,基于最大的数据集合和最小的数据集合,确定出最大第一图像分量参考值和最小第一图像分量参考值的过程,可以为分别对最大的数据集合进行均值处理,得到最大第一图像分量参考值,对最小的数据集合进行均值处理,得到最小第一图像分量参考值,还可以采用其他方式确定最大和最小值,本申请实施例不作限制。
需要说明的是,最大的数据集合和最小的数据集合中的数值的数量为大于等于1的整数,两个集合中的数值的数量可以一致,也可以不一致,本申请实施例不作限制。
视频图像分量预测装置还可以针对预设位置处对应的几个第一图像分量参考值,作为至少两个第一子图像分量参考值后,从至少两个第一子图像分量参考值中直接选出最大值,作为最大第一图像分量参考值,选出最小值作为最小第一图像分量参考值。
示例性的,视频图像分量预测装置将至少两个第一子图像分量参考值中的M(M可以为大于4的数值,也可以不限制)个最大的第一子图像分量参考值划分为最大图像分量参考值集合,将至少两个第一子图像分量参考值中的除M个最大的第一子图像分量参考值外的划分为最小图像分量参考值集合;最后再在最大图像分量参考值集合中进行均值处理,得到最大第一图像分量参考值,在最小图像分量参考值集合中分别进行均值处理,作为最小第一图像分量参考值。
需要说明的是,在本申请实施例中,最大第一图像分量参考值和最小第一图像分量参考值是可以直接通过数值大小确定出来的最大值和最小值,也可以是先选出预设位置能够代表参考值的有效性的第一图像分量参考值(至少两个第一子图像分量参考值)后,从有效的第一图像分量参考值中先划分出数值较大的一个集合,和数值最小的一个集合,再基于较大的集合确定出最大第一图像分量参考值,以及基于较小的集合确定出最小第一图像分量参考值;或者直接在预设位置对应有效性的第一图像分量参考值集合中通过数值大小确定出最大值的最大第一图像分量参考值,和最小值的最小第一图像分量参考值。
在本申请实施例中,视频图像分量预测装置不限制最大第一图像分量参考值和最小第一图像分量参考值的确定方式。例如,视频图像分量预测装置还可以将一个或多个第一图像分量参考值按照大小划分为三个,甚至四个集合,再对每个集合进行处理,得到一个代表参数后,再从代表参数中选出最大和最小的参数作为最大第一图像分量参考值和最小第一图像分量参考值等。
在本申请实施例中,预设位置的选择可以为代表第一图像分量参考值有效性的位置,预设位置的个数不作限制,例如可以为4个,6个等等;预设位置还可以为相邻像素点的全部位置,本申请实施例不做限制。
示例性的,预设位置可以为以所在行或者例的中心为基准,向两边按照采样频率选出的预设个第一图像分量参考值;也可以是行或者列中去掉边缘点位置后的其他位置上的第一图像分量参考值,本申请实施例不作限制。
针对行和列中预设位置的分配可以是均分,也可以是按照预设方式分配,本申请实施例不作限制。例如,预设位置的个数为4、且相邻行和相邻列为一个或多个第一图像分量参考值对应的位置时,可以从相邻行对应的第一图像分量参考值选2个,相邻列对应的第一图像分量参考值选2个;也可以从相邻行对应的第一图像分量参考值选1个,从相邻列对应的第一图像分量参考值选3个等,本申请实施例不作限制。
视频图像分量预测装置可以从一个或多个第一图像分量参考值中,确定出一个或多个第一图像分量参考值中的最大值和最小值,即得到了一个或多个第一图像分量参考值中的最大值:最大第一图像分量参考值,以及一个或多个第一图像分量参考值中的最小值:最小第一图像分量参考值。或者,从一个或多个第一图像分量参考值中的预设位置出确定出多个参考值后,经过处理后,得到表征值最大的最大第一图像分量参考值和表征值最小的最小第一图像分量参考值。这里,为了与其他视频分量的采样位置一致或者接近,需要基于最大第一图像分量参考值和最小第一图像分量参考值对应的像素点位置,进行滤波后,再进行后续的处理。
在S103中,视频图像分量预测装置对确定出来的多个第一图像分量参考值对应的像素点的样值分别进行第一滤波处理,得到多个滤波后的第一图像参考样值。
在本申请实施例中,多个滤波后的第一图像参考样值可以为滤波后的最大第一图像分量参考值和滤波后的最小第一图像分量参考值,也可以为其他包含最大第一图像分量参考值和滤波后的最小第一图像分量参考值的多个参考样值,或者为其他多个参考样值,本申请实施例不作限制。
在本申请实施例中,视频图像分量预测装置针对确定出来的第一图像分量参考值对应的像素点位置(即对应的像素点的样值),进行滤波(即第一滤波处理),从而可以得到对应的多个滤波后的第一图像参考样值,这样候选,就可以基于多个滤波后的第一图像参考样值来进行分量线性模型的构建了。
在本申请的一些实施例中,视频图像分量预测装置对最大第一图像分量参考值和最小第一图像分量参考值对应的像素点的样值分别进行第一滤波处理,得到滤波后的最大第一图像分量参考值和滤波后的最小第一图像分量参考值。
需要说明的是,由于确定出来的多个第一图像分量参考值可以为最大第一图像分量参考值和最小第一图像分量参考值,那么,滤波过程可以为针对用于确定最大第一图像分量参考值和最小第一图像分量参考值的像素点位置(即对应的像素点的样值)进行滤波(即第一滤波处理),从而可以得到对应的滤波后的最大第一图像分量参考值和滤波后的最小图像分量参考值(即多个滤波后的第一图像参考样值),这样后续就可以基于滤波后的最大第一图像分量参考值和滤波后的最小第一图像分量参考值来进行分量线性模型的构建了。
在本申请实施例中,滤波的方式可以为上采样、下采样和低通滤波等方式,本申请实施例不作限制,其中,下采样的方式可以包括:均值、插值或中值等,本申请实施例不作限制。
在本申请实施例中,第一滤波处理可以为下采样滤波和低通滤波。
示例性的,视频图像分量预测装置针对用于确定最大第一图像分量参考值和最小第一图像分量参考值的像素点位置,进行下采样滤波,从而可以得到对应的滤波后的最大第一图像分量参考值和滤波后的最小第一图像分量参考值。
下面以下采样为均值的方式进行说明。
视频分量预测装置针对用于确定最大第一图像分量参考值对应的位置和其相邻像素点位置构成的区域,进行第一图像分量的均值计算,将这块区域的像素融合为一个像素,该均值结果就为该融合后的像素点对应的第一图像分量参考值,即滤波后的最大第一图像分量参考值;同样的,视频分量预测装置针对最小第一图像分量参考值对应的位置和其相邻像素点位置构成的区域,进行第一图像分量的均值计算,将这块区域的像素融合为一个像素,该均值结果就为该融合后的像素点对应的第一图像分量参考值,即滤波后的最小第一图像分量参考值。
需要说明的是,在本申请实施例中,视频图像分量预测装置下采样的处理是采用滤波器进行实现的,具体的与最大第一图像分量参考值对应的位置相邻的向量像素点位置范围的确定可以由滤波器的类型决定,本申请实施例不作限制。
在本申请实施例中,滤波器的类型可以为6抽头滤波器也可以为4抽头滤波器,本申请实施例不作限制。
在S104和S105中,视频图像分量预测装置确定与多个滤波后的第一图像参考样值对应的待预测图像分量参考值,其中,待预测图像分量是与第一图像分量不同的图像分量(例如,第二图像分量或第三图像分量);再根据多个滤波后的第一图像参考样值和待预测图像分量参考值,确定出分量线性模型的参数,其中,分量线性模型表征将第一图像分量的样值映射为待预测图像分量的样值的线性映射关系,例如函数关系等。
在本申请的一些实施例中,视频图像分量预测装置确定与滤波后的最大第一图像分量参考值对应的最大待预测图像分量参考值,以及与滤波后的最小第一图像分量参考值对应的最小待预测图像分量参考值。
需要说明的时,在本申请实施例中,视频图像分量预测装置可以采用最大值与最小值的构造方式,根据“两点确定一线”原则来推导出模型参数(即分量线性模型的参数),进而构建出分量线性模型,即简化的分量间线性预测模型(Cross-component LinearModel Prediction,CCLM)。
在本申请实施例中,视频图像分量预测装置进行了下采样(即滤波),实现了与待预测图像的位置的对齐,这样就可以确定出与滤波后的第一图像分量参考样值对应的待预测图像分量参考值了。例如,确定出与滤波后的最大第一图像分量参考值对应的最大待预测图像分量参考值,以及与滤波后的最小第一图像分量参考值对应的最小待预测图像分量参考值。这样,视频图像分量预测装置由于已经确定出了(滤波后的最大第一图像分量参考值,最大待预测图像分量参考值)和(滤波后的最小第一图像分量参考值,最小待预测图像分量参考值)这两个点了,这样就可以根据“两点确定一线”原则,来推导出模型参数,进而构建出分量线性模型。
在本申请的一些实施例中,视频图像分量预测装置根据滤波后的最大第一图像分量参考值、最大待预测图像分量参考值、滤波后的最小第一图像分量参考值和最小待预测图像分量参考值,确定分量线性模型的参数,其中,分量线性模型表征将第一图像分量的样值映射为待预测图像分量的样值的线性映射关系。
在本申请的一些实施例中,视频图像分量预测装置根据滤波后的最大第一图像分量参考值、最大待预测图像分量参考值、滤波后的最小第一图像分量参考值和最小待预测图像分量参考值,确定分量线性模型的参数的实现方式可以包括:(1)、分量线性模型的参数还包括乘性因子和加性偏移量。这样,视频图像分量预测装置可以计算最大待预测图像分量参考值与最小待预测图像分量参考值之间的第一差值;计算最大第一图像分量参考值与最小第一图像分量参考值之间的第二差值;将乘性因子设置为第一差值与第二差值的比值;计算最大第一图像分量参考值与乘性因子之间的第一乘积,将加性偏移量设置为最大待预测图像分量参考值与第一乘积之间的差值;或者,计算最小第一图像分量参考值与乘性因子之间的第二乘积,将加性偏移量设置为最小待预测图像分量参考值与第二乘积之间的差值。(2)、采用滤波后的最大第一图像分量参考值、最大待预测图像分量参考值和预设初始线性模型,构建第一子分量线性模型;采用滤波后的最小第一图像分量参考值、最小待预测图像分量参考值和预设初始线性模型,构建第二子分量线性模型;基于第一子分量线性模型和第二子分量线性模型,得到模型参数;采用模型参数和预设初始线性模型,构建分量线性模型。
其中,上述数值的设定由实际情况决定或设计,本申请实施例不作限制。
示例性的,由于分量线性模型表征了第一图像分量与待预测图像分量的线性映射关系,因此,视频图像分量预测装置可以基于第一图像分量和分量线性模型来对待预测图像分量进行预测,而本申请实施例中的待预测图像分量可以为色度分量。
示例性的,分量线性模型可以为公式(1)所示,如下:
C=αY+β (1)
其中,Y表示表示当前块(经过下采样的)中的某个像素点对应的第一图像分量重建值,C表示当前块中该某个像素点所对应的第二图像分量预测值,α和β是上述分量线性模型的模型参数。
其中,模型参数的具体实现将在后续实施例中的进行详细的说明。
可以理解的是,视频图像分量预测装置可以基于直接获取的当前块对应的一个或多个第一图像分量参考值,先进行最大和最小的第一图像分量参考值的选取,然后根据选取的出的最大第一图像分量参考值和最小第一图像分量参考值对应的位置进行下采样,进而构建分量线性模型,这样节省了对当前块对应的像素点的下采样处理的工作量,即减少了滤波操作,从而降低了构建分量线性模型的复杂度,进而减少视频分量预测中的复杂度,提高了预测效率,提高了视频编解码效率。
在S106和S107中,在本申请实施例中,视频图像分量预测装置在得到了分量线性模型之后,就可以直接采用分量线性模型对当前块进行视频分量预测了,进而得到待预测图像分量的预测值。其中,视频图像分量预测装置可以根据分量线性模型,对当前块的第一图像分量的重建值进行映射处理,得到映射值,然后再根据映射值确定当前块的待预测图像分量的预测值。
在本申请的一些实施例中,视频图像分量预测装置对第一图像分量的重建值进行第二滤波处理,得到第一图像分量的重建值的第二滤波值;根据分量线性模型,对第二滤波值进行映射处理,得到映射值。
在本申请的一些实施例中,视频图像分量预测装置将映射值设置为当前块的待预测图像分量的预测值。
其中,第二滤波处理可以为下采样滤波或低通滤波。
在本申请的一些实施例中,视频图像分量预测装置还可以对映射值设置进行第三滤波处理,得到映射值的第三滤波值;将第三滤波值设置为当前块的待预测图像分量的预测值。
其中,第三滤波处理可以为低通滤波。
在本申请实施例中,预测值表征当前块的一个或多个像素点对应的第二图像分量的预测值或第三图像分量的预测值。
可以理解的是,由于在分量线性模型构建的过程中先进行多个第一图像分量参考值的选取,然后根据选取的出的多个第一图像分量参考值对应的位置进行滤波处理,进而构建分量线性模型,这样节省了对当前块对应的像素点的滤波处理的工作量,即减少了滤波操作,从而降低了构建分量线性模型的复杂度,进而减少视频分量预测中的复杂度,提高了预测效率,提高了视频编解码效率。
在本申请的一些实施例中,如图5所示,本发明实施例还提供了一种视频图像分量预测方法,包括:
S201、获取当前块的第一图像分量的参考值集;
S202、比较第一图像分量的参考值集中包含的参考值,确定最大第一图像分量参考值和最小第一图像分量参考值;
S203、对最大第一图像分量参考值和最小第一图像分量参考值对应的像素点的样值分别进行第一滤波处理,得到滤波后的最大第一图像分量参考值和滤波后的最小第一图像分量参考值;
S204、确定与滤波后的最大第一图像分量参考值对应的最大待预测图像分量参考值,以及与滤波后的最小第一图像分量参考值对应的最小待预测图像分量参考值;
S205、根据滤波后的最大第一图像分量参考值、最大待预测图像分量参考值、滤波后的最小第一图像分量参考值和最小待预测图像分量参考值,确定分量线性模型的参数,其中,分量线性模型表征将第一图像分量的样值映射为待预测图像分量的样值的线性映射关系;
S206、根据分量线性模型,对当前块的第一图像分量的重建值进行映射处理,得到映射值;
S207、根据映射值,确定当前块的待预测图像分量的预测值。
在本申请实施例中,前面的实施例已经对S201-207的过程进行过描述,此处不再赘述。
需要说明的是,视频图像分量预测装置在进行预测时,当前块的第一图像分量的重建值是对当前块进行第一图像分量滤波,得到当前块对应的第一图像分量重建值,再根据分量线性模型和第一图像分量重建值,得到当前块的待预测图像分量的预测值。
在本申请实施例中,视频图像分量预测装置在得到了分量线性模型之后,由于需要对当前块的预测的最小单位为像素点,因此,需要当前块的每个像素点所对应的第一图像分量重建值来预测该像素点所对应的待预测图像分量的预测值的。这里,视频图像分量预测先对当前块进行第一图像分量滤波(例如下采样),得到当前块对应的第一图像分量重建值,具体的是得到当前块对应的每个像素点的第一图像分量重建值。
在本申请实施例中,第一图像分量重建值表征当前块的一个或多个像素点对应的第一图像分量的重建值。
这样,视频图像分量预测装置就可以基于分量线性模型,对当前块的第一图像分量的重建值进行映射处理,得到映射值,根据映射值,从而得到当前块的待预测图像分量的预测值。
在本申请的一些实施例中,如图6所示,S204的具体实现可以包括:S2041-S2042。如下:
S2041、获取当前块的待预测图像分量参考值;
S2042、在待预测图像分量参考值中,确定最大待预测图像分量参考值,以及最小待预测图像分量参考值。
在本申请实施例中,视频图像分量预测装置在基于滤波后的最大图像分量参考值和滤波后的最小图像分量参考值,构建分量线性模型的过程中,基于“两点确定一线”原则,以第一图像分量为横坐标,待预测图像分量为纵坐标的情况下,已知了两个点的横坐标的数值,还需要确定出该两个点对应的纵坐标的数值,才可以根据“两点确定一线”原则,确定出一个线性模型,即分量线性模型。
在本申请的一些实施例中,视频图像分量预测装置将与最大第一图像分量参考值对应的第一图像分量参考值的采样点(Sample)位置,转换为第一采样点位置;将最大待预测图像分量参考值设置为在待预测图像分量参考值中位于第一采样点位置上的参考值;将与最小第一图像分量参考值对应的第一图像分量参考值的采样点位置,转换为第二采样点位置;将最小待预测图像分量参考值设置为在待预测图像分量参考值中位于第二采样点位置上的参考值。
示例性的,以参考像素点为相邻像素点为例进行说明。视频图像分量预测装置可以基于上述相邻块的描述的基础上,可以获取到当前块对应的一个或多个待预测图像分量参考值,这里的一个或多个待预测图像分量参考值可以指的是当前块对应的一个或多个参考像素点中的每个相邻参考像素点中的待预测图像分量的参考值,作为一个待预测图像分量参考值,这样,视频图像分量预测装置就得到了一个或多个待预测图像分量参考值了。
视频图像分量预测装置从一个或多个待预测图像分量参考值对应的像素点中,找到滤波后的最大第一图像分量参考值所在的第一相邻参考像素点,并将第一相邻参考像素点对应的待预测图像分量参考值作为最大待预测图像分量参考值,即确定出与滤波后的最大第一图像分量参考值对应的最大待预测图像分量参考值,并且从一个或多个待预测图像分量参考值对应的像素点中,找到滤波后的最小第一图像分量参考值所在的第二相邻参考像素点,并将第二相邻参考像素点对应的待预测图像分量参考值作为最小待预测图像分量参考值,即确定出与滤波后的最小第一图像分量参考值对应的最小待预测图像分量参考值。最后,根据“两点确定一线”的原则,基于(滤波后的最大第一图像分量参考值,最大待预测图像分量参考值)和(滤波后的最小第一图像分量参考值,最小待预测图像分量参考值)这两点确定出一条直线,该直线表征的函数(映射关系)就是分量线性模型。
在本申请的一些实施例中,视频图像分量预测装置还可以先对相邻像素点位置进行滤波,得到滤波后的像素点的一个或多个待预测图像分量参考值,再从滤波后的像素点位置中找到滤波后的最大第一图像分量参考值所在的第一相邻参考像素点,并将第一相邻参考像素点对应的待预测图像分量参考值(一个或多个待预测图像分量参考值中的一个)作为最大待预测图像分量参考值,即确定出与滤波后的最大第一图像分量参考值对应的最大待预测图像分量参考值,并且滤波后的像素点位置中,找到滤波后的最小第一图像分量参考值所在的第二相邻参考像素点,并将第二相邻参考像素点对应的待预测图像分量参考值作为最小待预测图像分量参考值,即确定出与滤波后的最小第一图像分量参考值对应的最小待预测图像分量参考值。
需要说明的是,视频图像分量预测装置还可以先对相邻像素点位置进行滤波的过程是针对待预测图像分量的滤波,例如色度图像分量,本申请实施例不作限制。即在本申请实施例中,视频图像分量预测装置可以对待预测图像分量参考值进行第四滤波处理,得到待预测图像分量重建值。
其中,第四滤波处理可以为低通滤波。
在本申请的一些实施例中,视频图像分量预测装置构建分量线性模型的过程为:采用滤波后的最大第一图像分量参考值、最大待预测图像分量参考值和预设初始线性模型,构建第一子分量线性模型;采用滤波后的最小第一图像分量参考值、最小待预测图像分量参考值和预设初始线性模型,构建第二子分量线性模型;基于第一子分量线性模型和第二子分量线性模型,得到模型参数;采用模型参数和预设初始线性模型,构建分量线性模型。
在本申请实施例中,预设初始线性模型为模型参数未知的初始模型。
示例性的,预设初始线性模型可以为公式(1)的形式,但是其中的α和β是未知的,采用第一子分量线性模型和第二子分量线性模型构建二元第二方程,可以求解出模型参数α和β,将α和β代入公式(1),就可以得到第一图像分量和待预测图像分量的线性映射关系模型了。
示例性的,通过搜索最大的第一图像分量参考值(滤波后的最大第一图像分量参考值)和最小的第一图像分量参考值(滤波后的最小第一图像分量参考值),根据“两点确定一线”原则来推导出模型参数,如下式(2)所示的α和β:
Figure BDA0002960351220000151
其中,Lmax和Lmin表示未经下采样的左侧边和/或上侧边所对应的第一图像分量参考值中搜索得到的最大值和最小值,Cmax和Cmin表示Lmax和Lmin对应位置的相邻参考像素点所对应的待预测图像分量参考值。参见图7,其示出了当前块基于最大值和最小值构造预测模型的结构示意图;其中,横坐标表示当前块的第一图像分量参考值,纵坐标表示当前块的待预测图像分量参考值,根据Lmax和Lmin以及Cmax和Cmin,通过式(2)可以计算得到模型参数α和β,所构建的预测模型为C=αY+β;实际预测过程中,这里的Y表示当前块中其中一个像素点所对应的第一图像分量重建值,C表示当前块中该像素点所对应的待预测图像分量预测值。
可以理解的是,视频图像分量预测装置可以基于直接获取的当前块对应的一个或多个第一图像分量参考值,先进行最大和最小的第一图像分量参考值的选取,然后根据选取的出的最大第一图像分量参考值和最大第一图像分量参考值对应的位置进行下采样(滤波),进而构建分量线性模型,这样节省了对当前块对应的像素点的下采样处理的工作量,即减少了滤波操作,从而降低了构建分量线性模型的复杂度,进而减少视频分量预测中的复杂度,提高了预测效率,提高了视频编解码效率。
基于前述的实施例,本申请实施例提供一种视频分量预测装置,该装置包括所包括的各单元、以及各单元所包括的各模块,可以通过视频分量预测装置中的处理器来实现;当然也可通过具体的逻辑电路实现;在实施的过程中,处理器可以为中央处理器、微处理器、数字信号处理器(DSP,Digital Signal Processor)或现场可编程门阵列等。
如图8所示,本申请实施例提供一种视频分量预测装置3,包括:
获取部分30,被配置为获取当前块的第一图像分量的参考值集,其中,所述第一图像分量的参考值集中包含一个或多个第一图像分量参考值;
确定部分31,被配置为从所述第一图像分量的参考值集中确定多个第一图像分量参考值;
滤波部分32,被配置为对所述多个第一图像分量参考值对应的像素点的样值分别进行第一滤波处理,得到多个滤波后的第一图像参考样值;
所述确定部分31,还被配置为确定与所述多个滤波后的第一图像参考样值对应的待预测图像分量参考值,其中,所述待预测图像分量是与所述第一图像分量不同的图像分量;以及根据所述多个滤波后的第一图像参考样值和所述待预测图像分量参考值,确定分量线性模型的参数,其中,所述分量线性模型表征将所述第一图像分量的样值映射为所述待预测图像分量的样值的线性映射关系;
所述滤波部分32,还被配置为根据所述分量线性模型,对所述当前块的所述第一图像分量的重建值进行映射处理,得到映射值;
预测部分33,被配置为根据所述映射值确定所述当前块的所述待预测图像分量的预测值。
在本申请的一些实施例中,所述确定部分31,还被配置为比较所述第一图像分量的参考值集中包含的参考值,确定最大第一图像分量参考值和最小第一图像分量参考值。
在本申请的一些实施例中,所述滤波部分32,还被配置为对所述最大第一图像分量参考值和所述最小第一图像分量参考值对应的像素点的样值分别进行所述第一滤波处理,得到滤波后的最大第一图像分量参考值和滤波后的最小第一图像分量参考值。
在本申请的一些实施例中,所述确定部分31,还被配置为确定与所述滤波后的最大第一图像分量参考值对应的最大待预测图像分量参考值,以及与所述滤波后的最小第一图像分量参考值对应的最小待预测图像分量参考值。
在本申请的一些实施例中,所述确定部分31,还被配置为根据所述滤波后的最大第一图像分量参考值、所述最大待预测图像分量参考值、所述滤波后的最小第一图像分量参考值和所述最小待预测图像分量参考值,确定分量线性模型的参数,其中,所述分量线性模型表征将所述第一图像分量的样值映射为所述待预测图像分量的样值的线性映射关系。
在本申请的一些实施例中,所述确定部分31,还被配置为确定位于所述当前块之外的一个或多个参考像素点;
所述获取部分30,还被配置为将所述一个或多个参考像素点作为所述一个或多个第一图像分量参考值。
在本申请的一些实施例中,所述确定部分31,还被配置为确定与所述当前块相邻的像素点为所述一个或多个参考像素点。
在本申请的一些实施例中,所述滤波部分32,还被配置为对所述第一图像分量的重建值进行第二滤波处理,得到所述第一图像分量的重建值的第二滤波值;以及根据所述分量线性模型,对所述第二滤波值进行映射处理,得到所述映射值。
在本申请的一些实施例中,所述第二滤波处理为下采样滤波或低通滤波。
在本申请的一些实施例中,所述预测部分33,还被配置为将所述映射值设置为所述当前块的所述待预测图像分量的预测值。
在本申请的一些实施例中,所述滤波部分32,还被配置为对所述映射值设置进行第三滤波处理,得到映射值的第三滤波值;
所述预测部分33,还被配置为将所述第三滤波值设置为所述当前块的所述待预测图像分量的预测值。
在本申请的一些实施例中,所述第三滤波处理为低通滤波。
在本申请的一些实施例中,所述确定部分31,还被配置为获取所述当前块的待预测图像分量参考值;以及在所述待预测图像分量参考值中,确定所述最大待预测图像分量参考值,以及所述最小待预测图像分量参考值。
在本申请的一些实施例中,所述滤波部分32,还被配置为对所述待预测图像分量参考值进行第四滤波处理,得到待预测图像分量重建值。
在本申请的一些实施例中,所述第四滤波处理为低通滤波。
在本申请的一些实施例中,所述确定部分31,还被配置为将与所述最大第一图像分量参考值对应的第一图像分量参考值的采样点位置,转换为第一采样点位置;将所述最大待预测图像分量参考值设置为在所述待预测图像分量参考值中位于所述第一采样点位置上的参考值;将与所述最小第一图像分量参考值对应的第一图像分量参考值的采样点位置,转换为第二采样点位置;以及将所述最小待预测图像分量参考值设置为在所述待预测图像分量参考值中位于所述第二采样点位置上的参考值。
在本申请的一些实施例中,所述确定部分31,还被配置为采用所述滤波后的最大第一图像分量参考值、所述最大待预测图像分量参考值和预设初始线性模型,构建第一子分量线性模型;采用所述滤波后的最小第一图像分量参考值、所述最小待预测图像分量参考值和所述预设初始线性模型,构建第二子分量线性模型;基于所述第一子分量线性模型和所述第二子分量线性模型,得到模型参数;采用所述模型参数和所述预设初始线性模型,构建所述分量线性模型。
在本申请的一些实施例中,所述确定部分31,还被配置为所述分量线性模型的参数包括乘性因子和加性偏移量;计算所述最大待预测图像分量参考值与所述最小待预测图像分量参考值之间的第一差值;计算所述最大第一图像分量参考值与所述最小第一图像分量参考值之间的第二差值;将所述乘性因子设置为所述第一差值与所述第二差值的比值;计算所述最大第一图像分量参考值与所述乘性因子之间的第一乘积,将所述加性偏移量设置为所述最大待预测图像分量参考值与所述第一乘积之间的差值;或者,计算所述最小第一图像分量参考值与所述乘性因子之间的第二乘积,将所述加性偏移量设置为所述最小待预测图像分量参考值与所述第二乘积之间的差值。
在本申请的一些实施例中,所述第一图像分量是亮度分量,所述待预测图像分量是第一或第二色度分量;或者,
所述第一图像分量是所述第一色度分量,所述待预测图像分量是所述亮度分量或所述第二色度分量;或者,
所述第一图像分量是所述第二色度分量,所述待预测图像分量是所述亮度分量或所述第一色度分量;或者,
所述第一图像分量是第一色彩分量,所述待预测图像分量是第二色彩分量或第三色彩分量;或者,
所述第一图像分量是所述第二色彩分量,所述待预测图像分量是所述第一色彩分量或所述第三色彩分量;或者,
所述第一图像分量是所述第三色彩分量,所述待预测图像分量是所述第二色彩分量或所述第一色彩分量。
在本申请的一些实施例中,所述第一色彩分量为红分量,所述第二色彩分量为绿分量,所述第三色彩分量为蓝分量。
在本申请的一些实施例中,所述第一滤波处理为下采样滤波或低通滤波。
需要说明的是,本申请实施例中,如果以软件功能模块的形式实现上述的视频分量预测方法,并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得电子设备(可以是手机、平板电脑、个人计算机、个人数字助理、导航仪、数字电话、视频电话、电视机、传感设备、服务器等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本申请实施例不限制于任何特定的硬件和软件结合。
在实际应用中,如图9所示,本申请实施例提供了一种视频分量预测装置,包括:
存储器34,用于存储可执行视频分量预测指令;
处理器35,用于执行所述存储器34中存储的可执行视频分量预测指令时,实现上述实施例中提供的视频分量预测方法中的步骤。
相应的,本申请实施例提供了一种计算机可读存储介质,其上存储有视频分量预测指令,该视频分量预测指令被处理器35执行时实现上述实施例中提供的视频分量预测方法中的步骤。
这里需要指出的是:以上存储介质和装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请存储介质和装置实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
以上所述,仅为本申请的实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
工业实用性
在本申请实施例中,视频分量预测装置可以基于直接获取的当前块对应的第一图像分量的参考值集,先进行多个第一图像分量参考值的确定后,然后根据确定的出的多个第一图像分量参考值对应的位置进行滤波处理,进而构建分量线性模型,这样节省了对当前块对应的像素点的滤波处理的工作量,即减少了滤波操作,从而降低了构建分量线性模型的复杂度,进而减少视频分量预测中的复杂度,提高了预测效率,提高了视频编解码效率。

Claims (55)

1.一种图像分量预测方法,其中,应用于编码器,包括:
确定当前块的第一图像分量的参考值集;
根据所述第一图像分量的参考值集,确定多个第一图像分量参考值;
对所述多个第一图像分量参考值对应的像素点的样值分别进行第一滤波处理,确定多个滤波后的第一图像参考样值;
根据所述多个滤波后的第一图像参考样值和对应的待预测图像分量参考值,确定分量线性模型的参数,其中,所述待预测图像分量是与所述第一图像分量不同的图像分量,所述分量线性模型表征将所述第一图像分量的样值映射为所述待预测图像分量的样值的线性映射关系;
根据所述分量线性模型,对所述当前块的所述第一图像分量的重建值进行映射处理,得到映射值;
根据所述映射值确定所述当前块的所述待预测图像分量的预测值。
2.根据权利要求1所述的方法,其中,所述确定当前块的第一图像分量的参考值集,包括:
确定位于所述当前块之外的一个或多个参考像素点,并将所述一个或多个参考像素点作为所述第一图像分量的参考值集。
3.根据权利要求2所述的方法,其中,所述确定位于所述当前块之外的一个或多个参考像素点,包括:
确定与所述当前块相邻的像素点为所述一个或多个参考像素点。
4.根据权利要求3所述的方法,其中,所述与所述当前块相邻的像素点包括下述至少之一:所述当前块上侧的一个或多个相邻行上的像素点、所述当前块左侧的一个或多个相邻列上的像素点。
5.根据权利要求4所述的方法,其中,所述根据所述第一图像分量的参考值集,确定多个第一图像分量参考值,包括:
根据预设位置从所述当前块上侧的一个或多个相邻行上的像素点中选取两个参考像素点,根据预设位置从所述当前块左侧的一个或多个相邻列上的像素点中选取两个参考像素点;
根据选取得到的四个参考像素点,确定所述多个第一图像分量参考值。
6.根据权利要求1所述的方法,其中,所述对所述多个第一图像分量参考值对应的像素点的样值分别进行第一滤波处理,确定多个滤波后的第一图像参考样值,包括:
对所述多个第一图像分量参考值对应的像素点的样值分别进行第一滤波处理,得到滤波后参考值集合;
比较所述滤波后参考值集合中包含的参考样值,确定较大第一图像分量参考值集合和较小第一图像分量参考值集合;
基于所述较大第一图像分量参考值集合和所述较小第一图像分量参考值集合,确定所述确定多个滤波后的第一图像参考样值。
7.根据权利要求6所述的方法,其中,所述基于所述较大第一图像分量参考值集合和所述较小第一图像分量参考值集合,确定所述确定多个滤波后的第一图像参考样值,包括:
对所述较大第一图像分量参考值集合进行均值处理,得到滤波后的最大第一图像分量参考值;
对所述较小第一图像分量参考值集合进行均值处理,得到滤波后的最小第一图像分量参考值。
8.根据权利要求6所述的方法,其中,所述较大第一图像分量参考值集合中的样值数量为大于等于1的整数,所述较小第一图像分量参考值集合中的样值数量为大于等于1的整数。
9.根据权利要求8所述的方法,其中,所述较大第一图像分量参考值集合中的样值数量为2,所述较小第一图像分量参考值集合中的样值数量为2。
10.根据权利要求7所述的方法,其中,所述方法还包括:
确定所述滤波后的最大第一图像分量参考值对应的最大待预测图像分量参考值,以及所述滤波后的最小第一图像分量参考值对应的最小待预测图像分量参考值。
11.根据权利要求10所述的方法,其中,所述根据所述多个滤波后的第一图像参考样值和对应的待预测图像分量参考值,确定分量线性模型的参数,包括:
根据所述滤波后的最大第一图像分量参考值、所述最大待预测图像分量参考值、所述滤波后的最小第一图像分量参考值和所述最小待预测图像分量参考值,确定分量线性模型的参数,其中,所述分量线性模型表征将所述第一图像分量的样值映射为所述待预测图像分量的样值的线性映射关系。
12.根据权利要求1所述的方法,其中,所述根据所述分量线性模型,对所述当前块的所述第一图像分量的重建值进行映射处理,得到映射值,包括:
对所述第一图像分量的重建值进行第二滤波处理,得到所述第一图像分量的重建值的第二滤波值;
根据所述分量线性模型,对所述第二滤波值进行映射处理,得到所述映射值。
13.根据权利要求12所述的方法,其中,
所述第二滤波处理为下采样滤波或低通滤波。
14.根据权利要求1所述的方法,其中,所述根据所述映射值确定所述当前块的所述待预测图像分量的预测值,包括:
将所述映射值设置为所述当前块的所述待预测图像分量的预测值。
15.根据权利要求1所述的方法,其中,所述根据所述映射值确定所述当前块的所述待预测图像分量的预测值,包括:
对所述映射值设置进行第三滤波处理,得到映射值的第三滤波值;
将所述第三滤波值设置为所述当前块的所述待预测图像分量的预测值。
16.根据权利要求15所述的方法,其中,
所述第三滤波处理为低通滤波。
17.根据权利要求10所述的方法,其中,所述确定所述滤波后的最大第一图像分量参考值对应的最大待预测图像分量参考值,以及所述滤波后的最小第一图像分量参考值对应的最小待预测图像分量参考值,包括:
获取所述较大第一图像分量参考值集合中的参考像素点的待预测图像分量参考值以及所述较小第一图像分量参考值集合中的参考像素点的待预测图像分量参考值;
对所述较大第一图像分量参考值集合中的参考像素点的待预测图像分量参考值进行均值处理,确定所述最大待预测图像分量参考值;
对所述较小第一图像分量参考值集合中的参考像素点的待预测图像分量参考值进行均值处理,确定所述最小待预测图像分量参考值。
18.根据权利要求17所述的方法,其中,所述方法还包括:
对所述待预测图像分量参考值进行第四滤波处理,得到待预测图像分量重建值。
19.根据权利要求18所述的方法,其中,
所述第四滤波处理为低通滤波。
20.根据权利要求17至19中任一项所述的方法,其中,所述方法还包括:
将与所述滤波后的最大第一图像分量参考值对应的第一图像分量参考值的采样点位置,转换为第一采样点位置;
将所述最大待预测图像分量参考值设置为在所述待预测图像分量参考值中位于所述第一采样点位置上的参考值;
将与所述滤波后的最小第一图像分量参考值对应的第一图像分量参考值的采样点位置,转换为第二采样点位置;
将所述最小待预测图像分量参考值设置为在所述待预测图像分量参考值中位于所述第二采样点位置上的参考值。
21.根据权利要求11所述的方法,其中,所述根据所述滤波后的最大第一图像分量参考值、所述最大待预测图像分量参考值、所述滤波后的最小第一图像分量参考值和所述最小待预测图像分量参考值,确定分量线性模型的参数,包括:
采用所述滤波后的最大第一图像分量参考值、所述最大待预测图像分量参考值和预设初始线性模型,构建第一子分量线性模型;
采用所述滤波后的最小第一图像分量参考值、所述最小待预测图像分量参考值和所述预设初始线性模型,构建第二子分量线性模型;
基于所述第一子分量线性模型和所述第二子分量线性模型,得到模型参数;
采用所述模型参数和所述预设初始线性模型,构建所述分量线性模型。
22.根据权利要求11所述的方法,其中,所述根据所述滤波后的最大第一图像分量参考值、所述最大待预测图像分量参考值、所述滤波后的最小第一图像分量参考值和所述最小待预测图像分量参考值,确定分量线性模型的参数,包括:
所述分量线性模型的参数包括乘性因子和加性偏移量;
计算所述最大待预测图像分量参考值与所述最小待预测图像分量参考值之间的第一差值;
计算所述最大第一图像分量参考值与所述最小第一图像分量参考值之间的第二差值;
将所述乘性因子设置为所述第一差值与所述第二差值的比值;
计算所述最大第一图像分量参考值与所述乘性因子之间的第一乘积,将所述加性偏移量设置为所述最大待预测图像分量参考值与所述第一乘积之间的差值;或者,计算所述最小第一图像分量参考值与所述乘性因子之间的第二乘积,将所述加性偏移量设置为所述最小待预测图像分量参考值与所述第二乘积之间的差值。
23.根据权利要求1所述的方法,其中,所述方法还包括:
所述第一图像分量是亮度分量,所述待预测图像分量是第一或第二色度分量;或者,
所述第一图像分量是所述第一色度分量,所述待预测图像分量是所述亮度分量或所述第二色度分量;或者,
所述第一图像分量是所述第二色度分量,所述待预测图像分量是所述亮度分量或所述第一色度分量;或者,
所述第一图像分量是第一色彩分量,所述待预测图像分量是第二色彩分量或第三色彩分量;或者,
所述第一图像分量是所述第二色彩分量,所述待预测图像分量是所述第一色彩分量或所述第三色彩分量;或者,
所述第一图像分量是所述第三色彩分量,所述待预测图像分量是所述第二色彩分量或所述第一色彩分量。
24.如权利要求23所述的方法,其中,所述方法还包括:
所述第一色彩分量为红分量,所述第二色彩分量为绿分量,所述第三色彩分量为蓝分量。
25.根据权利要求1所述的方法,其中,
所述第一滤波处理为下采样滤波或低通滤波。
26.一种图像分量预测方法,其中,应用于解码器,包括:
确定当前块的第一图像分量的参考值集;
根据所述第一图像分量的参考值集,确定多个第一图像分量参考值;
对所述多个第一图像分量参考值对应的像素点的样值分别进行第一滤波处理,确定多个滤波后的第一图像参考样值;
根据所述多个滤波后的第一图像参考样值和对应的待预测图像分量参考值,确定分量线性模型的参数,其中,所述待预测图像分量是与所述第一图像分量不同的图像分量,所述分量线性模型表征将所述第一图像分量的样值映射为所述待预测图像分量的样值的线性映射关系;
根据所述分量线性模型,对所述当前块的所述第一图像分量的重建值进行映射处理,得到映射值;
根据所述映射值确定所述当前块的所述待预测图像分量的预测值。
27.根据权利要求26所述的方法,其中,所述确定当前块的第一图像分量的参考值集,包括:
确定位于所述当前块之外的一个或多个参考像素点,并将所述一个或多个参考像素点作为所述第一图像分量的参考值集。
28.根据权利要求27所述的方法,其中,所述确定位于所述当前块之外的一个或多个参考像素点,包括:
确定与所述当前块相邻的像素点为所述一个或多个参考像素点。
29.根据权利要求28所述的方法,其中,所述与所述当前块相邻的像素点包括下述至少之一:所述当前块上侧的一个或多个相邻行上的像素点、所述当前块左侧的一个或多个相邻列上的像素点。
30.根据权利要求29所述的方法,其中,所述根据所述第一图像分量的参考值集,确定多个第一图像分量参考值,包括:
根据预设位置从所述当前块上侧的一个或多个相邻行上的像素点中选取两个参考像素点,根据预设位置从所述当前块左侧的一个或多个相邻列上的像素点中选取两个参考像素点;
根据选取得到的四个参考像素点,确定所述多个第一图像分量参考值。
31.根据权利要求26所述的方法,其中,所述对所述多个第一图像分量参考值对应的像素点的样值分别进行第一滤波处理,确定多个滤波后的第一图像参考样值,包括:
对所述多个第一图像分量参考值对应的像素点的样值分别进行第一滤波处理,得到滤波后参考值集合;
比较所述滤波后参考值集合中包含的参考样值,确定较大第一图像分量参考值集合和较小第一图像分量参考值集合;
基于所述较大第一图像分量参考值集合和所述较小第一图像分量参考值集合,确定所述确定多个滤波后的第一图像参考样值。
32.根据权利要求31所述的方法,其中,所述基于所述较大第一图像分量参考值集合和所述较小第一图像分量参考值集合,确定所述确定多个滤波后的第一图像参考样值,包括:
对所述较大第一图像分量参考值集合进行均值处理,得到滤波后的最大第一图像分量参考值;
对所述较小第一图像分量参考值集合进行均值处理,得到滤波后的最小第一图像分量参考值。
33.根据权利要求31所述的方法,其中,所述较大第一图像分量参考值集合中的样值数量为大于等于1的整数,所述较小第一图像分量参考值集合中的样值数量为大于等于1的整数。
34.根据权利要求33所述的方法,其中,所述较大第一图像分量参考值集合中的样值数量为2,所述较小第一图像分量参考值集合中的样值数量为2。
35.根据权利要求32所述的方法,其中,所述方法还包括:
确定所述滤波后的最大第一图像分量参考值对应的最大待预测图像分量参考值,以及所述滤波后的最小第一图像分量参考值对应的最小待预测图像分量参考值。
36.根据权利要求35所述的方法,其中,所述根据所述多个滤波后的第一图像参考样值和对应的待预测图像分量参考值,确定分量线性模型的参数,包括:
根据所述滤波后的最大第一图像分量参考值、所述最大待预测图像分量参考值、所述滤波后的最小第一图像分量参考值和所述最小待预测图像分量参考值,确定分量线性模型的参数,其中,所述分量线性模型表征将所述第一图像分量的样值映射为所述待预测图像分量的样值的线性映射关系。
37.根据权利要求26所述的方法,其中,所述根据所述分量线性模型,对所述当前块的所述第一图像分量的重建值进行映射处理,得到映射值,包括:
对所述第一图像分量的重建值进行第二滤波处理,得到所述第一图像分量的重建值的第二滤波值;
根据所述分量线性模型,对所述第二滤波值进行映射处理,得到所述映射值。
38.根据权利要求37所述的方法,其中,
所述第二滤波处理为下采样滤波或低通滤波。
39.根据权利要求26所述的方法,其中,所述根据所述映射值确定所述当前块的所述待预测图像分量的预测值,包括:
将所述映射值设置为所述当前块的所述待预测图像分量的预测值。
40.根据权利要求26所述的方法,其中,所述根据所述映射值确定所述当前块的所述待预测图像分量的预测值,包括:
对所述映射值设置进行第三滤波处理,得到映射值的第三滤波值;
将所述第三滤波值设置为所述当前块的所述待预测图像分量的预测值。
41.根据权利要求40所述的方法,其中,
所述第三滤波处理为低通滤波。
42.根据权利要求35所述的方法,其中,所述确定所述滤波后的最大第一图像分量参考值对应的最大待预测图像分量参考值,以及所述滤波后的最小第一图像分量参考值对应的最小待预测图像分量参考值,包括:
获取所述较大第一图像分量参考值集合中的参考像素点的待预测图像分量参考值以及所述较小第一图像分量参考值集合中的参考像素点的待预测图像分量参考值;
对所述较大第一图像分量参考值集合中的参考像素点的待预测图像分量参考值进行均值处理,确定所述最大待预测图像分量参考值;
对所述较小第一图像分量参考值集合中的参考像素点的待预测图像分量参考值进行均值处理,确定所述最小待预测图像分量参考值。
43.根据权利要求42所述的方法,其中,所述方法还包括:
对所述待预测图像分量参考值进行第四滤波处理,得到待预测图像分量重建值。
44.根据权利要求43所述的方法,其中,
所述第四滤波处理为低通滤波。
45.根据权利要求42至44中任一项所述的方法,其中,所述方法还包括:
将与所述滤波后的最大第一图像分量参考值对应的第一图像分量参考值的采样点位置,转换为第一采样点位置;
将所述最大待预测图像分量参考值设置为在所述待预测图像分量参考值中位于所述第一采样点位置上的参考值;
将与所述滤波后的最小第一图像分量参考值对应的第一图像分量参考值的采样点位置,转换为第二采样点位置;
将所述最小待预测图像分量参考值设置为在所述待预测图像分量参考值中位于所述第二采样点位置上的参考值。
46.根据权利要求36所述的方法,其中,所述根据所述滤波后的最大第一图像分量参考值、所述最大待预测图像分量参考值、所述滤波后的最小第一图像分量参考值和所述最小待预测图像分量参考值,确定分量线性模型的参数,包括:
采用所述滤波后的最大第一图像分量参考值、所述最大待预测图像分量参考值和预设初始线性模型,构建第一子分量线性模型;
采用所述滤波后的最小第一图像分量参考值、所述最小待预测图像分量参考值和所述预设初始线性模型,构建第二子分量线性模型;
基于所述第一子分量线性模型和所述第二子分量线性模型,得到模型参数;
采用所述模型参数和所述预设初始线性模型,构建所述分量线性模型。
47.根据权利要求36所述的方法,其中,所述根据所述滤波后的最大第一图像分量参考值、所述最大待预测图像分量参考值、所述滤波后的最小第一图像分量参考值和所述最小待预测图像分量参考值,确定分量线性模型的参数,包括:
所述分量线性模型的参数包括乘性因子和加性偏移量;
计算所述最大待预测图像分量参考值与所述最小待预测图像分量参考值之间的第一差值;
计算所述最大第一图像分量参考值与所述最小第一图像分量参考值之间的第二差值;
将所述乘性因子设置为所述第一差值与所述第二差值的比值;
计算所述最大第一图像分量参考值与所述乘性因子之间的第一乘积,将所述加性偏移量设置为所述最大待预测图像分量参考值与所述第一乘积之间的差值;或者,计算所述最小第一图像分量参考值与所述乘性因子之间的第二乘积,将所述加性偏移量设置为所述最小待预测图像分量参考值与所述第二乘积之间的差值。
48.根据权利要求26所述的方法,其中,所述方法还包括:
所述第一图像分量是亮度分量,所述待预测图像分量是第一或第二色度分量;或者,
所述第一图像分量是所述第一色度分量,所述待预测图像分量是所述亮度分量或所述第二色度分量;或者,
所述第一图像分量是所述第二色度分量,所述待预测图像分量是所述亮度分量或所述第一色度分量;或者,
所述第一图像分量是第一色彩分量,所述待预测图像分量是第二色彩分量或第三色彩分量;或者,
所述第一图像分量是所述第二色彩分量,所述待预测图像分量是所述第一色彩分量或所述第三色彩分量;或者,
所述第一图像分量是所述第三色彩分量,所述待预测图像分量是所述第二色彩分量或所述第一色彩分量。
49.如权利要求48所述的方法,其中,所述方法还包括:
所述第一色彩分量为红分量,所述第二色彩分量为绿分量,所述第三色彩分量为蓝分量。
50.根据权利要求26所述的方法,其中,
所述第一滤波处理为下采样滤波或低通滤波。
51.一种视频分量预测装置,其中,应用于编码器,包括:
获取部分,被配置为确定当前块的第一图像分量的参考值集;
确定部分,被配置为根据所述第一图像分量的参考值集,确定多个第一图像分量参考值;
滤波部分,被配置为对所述多个第一图像分量参考值对应的像素点的样值分别进行第一滤波处理,确定多个滤波后的第一图像参考样值;
所述确定部分,还被配置为根据所述多个滤波后的第一图像参考样值和对应的待预测图像分量参考值,确定分量线性模型的参数,其中,所述待预测图像分量是与所述第一图像分量不同的图像分量,所述分量线性模型表征将所述第一图像分量的样值映射为所述待预测图像分量的样值的线性映射关系;
所述滤波部分,还被配置为根据所述分量线性模型,对所述当前块的所述第一图像分量的重建值进行映射处理,得到映射值;
预测部分,被配置为根据所述映射值确定所述当前块的所述待预测图像分量的预测值。
52.一种视频分量预测装置,其中,应用于编码器,包括:
存储器,用于存储可执行视频分量预测指令;
处理器,用于执行所述存储器中存储的可执行视频分量预测指令时,实现权利要求1至25任一项所述的方法。
53.一种视频分量预测装置,其中,应用于解码器,包括:
获取部分,被配置为确定当前块的第一图像分量的参考值集;
确定部分,被配置为根据所述第一图像分量的参考值集,确定多个第一图像分量参考值;
滤波部分,被配置为对所述多个第一图像分量参考值对应的像素点的样值分别进行第一滤波处理,确定多个滤波后的第一图像参考样值;
所述确定部分,还被配置为根据所述多个滤波后的第一图像参考样值和对应的待预测图像分量参考值,确定分量线性模型的参数,其中,所述待预测图像分量是与所述第一图像分量不同的图像分量,所述分量线性模型表征将所述第一图像分量的样值映射为所述待预测图像分量的样值的线性映射关系;
所述滤波部分,还被配置为根据所述分量线性模型,对所述当前块的所述第一图像分量的重建值进行映射处理,得到映射值;
预测部分,被配置为根据所述映射值确定所述当前块的所述待预测图像分量的预测值。
54.一种视频分量预测装置,其中,应用于解码器,包括:
存储器,用于存储可执行视频分量预测指令;
处理器,用于执行所述存储器中存储的可执行视频分量预测指令时,实现权利要求26至50任一项所述的方法。
55.一种计算机可读存储介质,其中,存储有可执行视频分量预测指令,用于引起处理器执行时,实现权利要求1至25任一项所述的方法、或者实现权利要求26至50任一项所述的方法。
CN202110236395.5A 2018-10-12 2019-10-11 视频图像分量预测方法及装置、计算机存储介质 Active CN113068030B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862744747P 2018-10-12 2018-10-12
US62/744,747 2018-10-12
PCT/CN2019/110633 WO2020073990A1 (zh) 2018-10-12 2019-10-11 视频图像分量预测方法及装置、计算机存储介质
CN201980041795.1A CN112335245A (zh) 2018-10-12 2019-10-11 视频图像分量预测方法及装置、计算机存储介质

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201980041795.1A Division CN112335245A (zh) 2018-10-12 2019-10-11 视频图像分量预测方法及装置、计算机存储介质

Publications (2)

Publication Number Publication Date
CN113068030A true CN113068030A (zh) 2021-07-02
CN113068030B CN113068030B (zh) 2023-01-03

Family

ID=70164470

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980041795.1A Pending CN112335245A (zh) 2018-10-12 2019-10-11 视频图像分量预测方法及装置、计算机存储介质
CN202110236395.5A Active CN113068030B (zh) 2018-10-12 2019-10-11 视频图像分量预测方法及装置、计算机存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201980041795.1A Pending CN112335245A (zh) 2018-10-12 2019-10-11 视频图像分量预测方法及装置、计算机存储介质

Country Status (14)

Country Link
US (3) US11388397B2 (zh)
EP (1) EP3843399B1 (zh)
JP (1) JP2022503990A (zh)
KR (1) KR20210070368A (zh)
CN (2) CN112335245A (zh)
AU (1) AU2019357929A1 (zh)
BR (1) BR112021006138A2 (zh)
CA (1) CA3114816C (zh)
IL (1) IL281832A (zh)
MX (1) MX2021004090A (zh)
PH (1) PH12021550708A1 (zh)
SG (1) SG11202103312YA (zh)
WO (1) WO2020073990A1 (zh)
ZA (1) ZA202102207B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023197190A1 (zh) * 2022-04-12 2023-10-19 Oppo广东移动通信有限公司 编解码方法、装置、编码设备、解码设备以及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117426088A (zh) * 2021-09-17 2024-01-19 Oppo广东移动通信有限公司 视频编解码方法、设备、系统、及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013155817A1 (zh) * 2012-04-16 2013-10-24 华为技术有限公司 视频图像分量的预测方法和装置
US20170094285A1 (en) * 2015-09-29 2017-03-30 Qualcomm Incorporated Video intra-prediction using position-dependent prediction combination for video coding
CN106604028A (zh) * 2015-10-16 2017-04-26 中兴通讯股份有限公司 编码处理、解码处理方法及装置、编码器及解码器
US20180063527A1 (en) * 2016-08-31 2018-03-01 Qualcomm Incorporated Cross-component filter

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015054811A1 (en) 2013-10-14 2015-04-23 Microsoft Corporation Features of intra block copy prediction mode for video and image coding and decoding
US20170150176A1 (en) 2015-11-25 2017-05-25 Qualcomm Incorporated Linear-model prediction with non-square prediction units in video coding
US10390015B2 (en) * 2016-08-26 2019-08-20 Qualcomm Incorporated Unification of parameters derivation procedures for local illumination compensation and cross-component linear model prediction
US10652575B2 (en) * 2016-09-15 2020-05-12 Qualcomm Incorporated Linear model chroma intra prediction for video coding
JP2018056685A (ja) * 2016-09-27 2018-04-05 株式会社ドワンゴ 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、画像復号装置、画像復号方法、及び画像復号プログラム
US11025903B2 (en) 2017-01-13 2021-06-01 Qualcomm Incorporated Coding video data using derived chroma mode
US10939137B2 (en) * 2017-04-28 2021-03-02 Sharp Kabushiki Kaisha Image decoding device and image encoding device
US11190799B2 (en) * 2017-06-21 2021-11-30 Lg Electronics Inc. Intra-prediction mode-based image processing method and apparatus therefor
WO2019004283A1 (ja) * 2017-06-28 2019-01-03 シャープ株式会社 動画像符号化装置及び動画像復号装置
CN107580222B (zh) 2017-08-01 2020-02-14 北京交通大学 一种基于线性模型预测的图像或视频编码方法
JP2021010046A (ja) * 2017-10-06 2021-01-28 シャープ株式会社 画像符号化装置及び画像復号装置
KR20190083956A (ko) * 2018-01-05 2019-07-15 에스케이텔레콤 주식회사 YCbCr간의 상관 관계를 이용한 영상 부호화/복호화 방법 및 장치
GB2571313B (en) * 2018-02-23 2022-09-21 Canon Kk New sample sets and new down-sampling schemes for linear component sample prediction
WO2019201232A1 (en) * 2018-04-16 2019-10-24 Huawei Technologies Co., Ltd. Intra-prediction using cross-component linear model
WO2020014563A1 (en) * 2018-07-12 2020-01-16 Futurewei Technologies, Inc. Intra-prediction using a cross-component linear model in video coding
CN110999290B (zh) * 2018-07-15 2021-07-16 华为技术有限公司 使用跨分量线性模型进行帧内预测的方法和装置
KR102483942B1 (ko) * 2018-07-16 2022-12-30 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 인코더, 비디오 디코더 및 대응하는 인코딩 및 디코딩 방법
WO2020031902A1 (ja) * 2018-08-06 2020-02-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法および復号方法
WO2020036132A1 (ja) * 2018-08-15 2020-02-20 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
CN110881126B (zh) * 2018-09-05 2024-01-30 华为技术有限公司 色度块预测方法以及设备
CN117478883A (zh) 2018-09-12 2024-01-30 北京字节跳动网络技术有限公司 交叉分量线性模型中的尺寸相关的下采样
WO2020076835A1 (en) 2018-10-08 2020-04-16 Beijing Dajia Internet Information Technology Co., Ltd. Simplifications of cross-component linear model

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013155817A1 (zh) * 2012-04-16 2013-10-24 华为技术有限公司 视频图像分量的预测方法和装置
US20170094285A1 (en) * 2015-09-29 2017-03-30 Qualcomm Incorporated Video intra-prediction using position-dependent prediction combination for video coding
CN106604028A (zh) * 2015-10-16 2017-04-26 中兴通讯股份有限公司 编码处理、解码处理方法及装置、编码器及解码器
US20180063527A1 (en) * 2016-08-31 2018-03-01 Qualcomm Incorporated Cross-component filter

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIANLE CHEN 等: "Algorithm Description of Joint Exploration Test Model 5", 《JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023197190A1 (zh) * 2022-04-12 2023-10-19 Oppo广东移动通信有限公司 编解码方法、装置、编码设备、解码设备以及存储介质

Also Published As

Publication number Publication date
IL281832A (en) 2021-05-31
US20210218958A1 (en) 2021-07-15
KR20210070368A (ko) 2021-06-14
EP3843399C0 (en) 2023-09-06
BR112021006138A2 (pt) 2021-06-29
CN112335245A (zh) 2021-02-05
CA3114816A1 (en) 2020-04-16
AU2019357929A1 (en) 2021-04-29
EP3843399B1 (en) 2023-09-06
EP3843399A1 (en) 2021-06-30
PH12021550708A1 (en) 2021-11-03
US11876958B2 (en) 2024-01-16
US20240098255A1 (en) 2024-03-21
MX2021004090A (es) 2021-06-08
JP2022503990A (ja) 2022-01-12
CA3114816C (en) 2023-08-22
US20220239901A1 (en) 2022-07-28
US11388397B2 (en) 2022-07-12
SG11202103312YA (en) 2021-04-29
EP3843399A4 (en) 2021-10-20
CN113068030B (zh) 2023-01-03
WO2020073990A1 (zh) 2020-04-16
ZA202102207B (en) 2022-07-27

Similar Documents

Publication Publication Date Title
DK2777255T3 (en) Method and apparatus for optimizing coding / decoding of compensation offsets for a set of reconstructed samples of an image
CN104811715B (zh) 使用平面表达的增强帧内预测编码
KR20130004133A (ko) 휘도 성분 영상을 이용한 색차 성분 영상의 예측 방법 및 예측 장치
TW201709742A (zh) 動畫像解碼裝置及動畫像解碼方法
US20080123974A1 (en) Method of parallelly filtering input data words to obtain final output data words containing packed half-pel pixels
US20240098255A1 (en) Video picture component prediction method and apparatus, and computer storage medium
CN113068026B (zh) 编码预测方法、装置及计算机存储介质
CN116830576A (zh) 视频编解码中用于帧内预测的参考像素上采样
JP2021515494A (ja) 適応乗算係数を用いた画像フィルタリングのための方法および装置
CN116114246B (zh) 帧内预测平滑滤波器系统及方法
US20210344924A1 (en) Method for processing information, encoder and decoder
CN114071161B (zh) 图像编码方法、图像解码方法及相关装置
CN116980596A (zh) 一种帧内预测方法、编码器、解码器及存储介质
CN116250240A (zh) 图像编码方法、图像解码方法及相关装置
RU2800683C2 (ru) Способ и устройство предсказывания компонента видеоизображения и компьютерный носитель данных
AU2015255215B2 (en) Image processing apparatus and method
RU2793920C2 (ru) Устройство обработки изображений и способ выполнения устранения блочности с оптимизацией качества
WO2020181503A1 (zh) 帧内预测方法及装置、计算机可读存储介质
CN115804095A (zh) 视频编码中的帧内预测方法
CN113965764A (zh) 图像编码方法、图像解码方法及相关装置
KR20120100742A (ko) 스킵 모드를 이용한 부복호화 방법 및 이러한 방법을 사용하는 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant