CN114640845A - 编解码方法、装置及其设备 - Google Patents

编解码方法、装置及其设备 Download PDF

Info

Publication number
CN114640845A
CN114640845A CN202110204154.2A CN202110204154A CN114640845A CN 114640845 A CN114640845 A CN 114640845A CN 202110204154 A CN202110204154 A CN 202110204154A CN 114640845 A CN114640845 A CN 114640845A
Authority
CN
China
Prior art keywords
value
filtering
pixel point
current
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110204154.2A
Other languages
English (en)
Other versions
CN114640845B (zh
Inventor
陈方栋
曹小强
孙煜程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN202111625855.XA priority Critical patent/CN114339223B/zh
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202110204154.2A priority patent/CN114640845B/zh
Priority to AU2022227062A priority patent/AU2022227062B2/en
Priority to US18/264,036 priority patent/US20240048695A1/en
Priority to JP2023551246A priority patent/JP2024506213A/ja
Priority to EP22758868.8A priority patent/EP4277267A1/en
Priority to KR1020237027399A priority patent/KR20230128555A/ko
Priority to PCT/CN2022/077298 priority patent/WO2022179504A1/zh
Priority to TW111106607A priority patent/TWI806447B/zh
Publication of CN114640845A publication Critical patent/CN114640845A/zh
Application granted granted Critical
Publication of CN114640845B publication Critical patent/CN114640845B/zh
Priority to ZA2023/07790A priority patent/ZA202307790B/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本申请提供一种编解码方法、装置及其设备,该方法可以包括:若当前块中的当前像素点满足增强调整模式的启用条件,则基于所述当前像素点的原始像素值和所述当前像素点的周围像素点的原始像素值确定所述当前像素点的梯度值;基于所述当前像素点的梯度值和所述当前像素点的原始像素值,确定所述当前像素点的调整像素值。通过本申请的技术方案,能够提高编码性能。

Description

编解码方法、装置及其设备
技术领域
本申请涉及编解码技术领域,尤其是涉及一种编解码方法、装置及其设备。
背景技术
为了达到节约空间的目的,视频图像都是经过编码后才传输的,完整的视频编码方法可以包括预测、变换、量化、熵编码、滤波等过程。其中,预测编码可以包括帧内编码和帧间编码。进一步的,帧间编码是利用视频时间域的相关性,使用邻近已编码图像的像素预测当前像素,以达到有效去除视频时域冗余的目的。帧内编码是指利用视频空间域的相关性,使用当前帧图像的已经编码块的像素预测当前像素,以达到去除视频空域冗余的目的。
常用的滤波技术包括DBF(DeBlocking Filter,去块滤波)技术、SAO(SampleAdaptiveOffset,样本自适应补偿)技术和ALF(Adaptive Loop Filter,自适应环路滤波)技术。DBF技术用于去除分块编码产生的块边界效应。SAO技术通过基于样本的像素值和周围块的梯度值进行分类,对于每个类别的像素值加上不同的补偿值,使得重建图像更接近于原始图像。ALF技术通过维纳滤波器,对重建图像进行滤波,使得重建图像更接近于原始图像。
但是,DBF、SAO和ALF等滤波技术,均是基于当前像素点的像素值进行分类,或者,基于当前像素点的像素值和周围像素点的像素值的关系进行分类,然后,再基于不同类别进行不同滤波操作,其可能会出现过滤波现象,即,滤波后的像素值远大于或远小于滤波前的像素值,也远大于或远小于原始像素值,存在滤波效果不佳,编码性能比较差等问题。
发明内容
本申请提供一种编解码方法、装置及其设备,能够提高编码性能。
本申请提供一种编解码方法,所述方法包括:
若当前块中的当前像素点满足增强调整模式的启用条件,则基于所述当前像素点的原始像素值和所述当前像素点的周围像素点的原始像素值确定所述当前像素点的梯度值;基于所述当前像素点的梯度值和所述当前像素点的原始像素值,确定所述当前像素点的调整像素值。
本申请提供一种解码装置,所述解码装置包括:
存储器,其经配置以存储视频数据;
解码器,其经配置以实现:
若当前块中的当前像素点满足增强调整模式的启用条件,则基于所述当前像素点的原始像素值和所述当前像素点的周围像素点的原始像素值确定所述当前像素点的梯度值;基于所述当前像素点的梯度值和所述当前像素点的原始像素值,确定所述当前像素点的调整像素值。
本申请提供一种编码装置,所述编码装置包括:
存储器,其经配置以存储视频数据;
编码器,其经配置以实现:
若当前块中的当前像素点满足增强调整模式的启用条件,则基于所述当前像素点的原始像素值和所述当前像素点的周围像素点的原始像素值确定所述当前像素点的梯度值;基于所述当前像素点的梯度值和所述当前像素点的原始像素值,确定所述当前像素点的调整像素值。
本申请提供一种解码端设备,包括:处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;
所述处理器用于执行机器可执行指令,以实现如下步骤:
若当前块中的当前像素点满足增强调整模式的启用条件,则基于所述当前像素点的原始像素值和所述当前像素点的周围像素点的原始像素值确定所述当前像素点的梯度值;基于所述当前像素点的梯度值和所述当前像素点的原始像素值,确定所述当前像素点的调整像素值。
本申请提供一种编码端设备,包括:处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;
所述处理器用于执行机器可执行指令,以实现如下步骤:
若当前块中的当前像素点满足增强调整模式的启用条件,则基于所述当前像素点的原始像素值和所述当前像素点的周围像素点的原始像素值确定所述当前像素点的梯度值;基于所述当前像素点的梯度值和所述当前像素点的原始像素值,确定所述当前像素点的调整像素值。
由以上技术方案可见,本申请实施例中,若当前块中的当前像素点满足增强调整模式的启用条件,则可以基于当前像素点的梯度值和当前像素点的原始像素值,确定当前像素点的调整像素值,也就是说,基于当前像素点的梯度值对当前像素点的原始像素值进行调整,使当前像素点的调整像素值更接近原始像素,从而提高编码性能。在滤波过程中,如DBF、SAO和ALF等,若当前块中的当前像素点满足增强调整模式的启用条件,在基于当前像素点的梯度值对当前像素点的原始像素值进行调整后,可以提高滤波效果,提高编码性能。
附图说明
图1是本申请一种实施方式中的编解码框架的示意图;
图2A和图2B本申请一种实施方式中的块划分的示意图;
图3是本申请一种实施方式中的去块滤波的示意图;
图4是本申请一种实施方式中的编解码方法的流程图;
图5A是本申请一种实施方式中的解码端设备的硬件结构图;
图5B是本申请一种实施方式中的编码端设备的硬件结构图。
具体实施方式
在本申请实施例中使用的术语仅仅是出于描述特定实施例的目的,而非限制本申请。本申请实施例和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其它含义。还应当理解,本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。还应当理解,尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息,但是,这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请实施例范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,此外,所使用的词语“如果”可以被解释成为“在......时”,或“当......时”,或“响应于确定”。
为了使本领域技术人员更好地理解本申请的技术方案,下面对技术术语进行简单说明。
视频编码框架:参见图1所示,可以使用视频编码框架实现本申请实施例的编码端处理流程,视频解码框架的示意图可以与图1类似,在此不再重复赘述,可以使用视频解码框架实现本申请实施例的解码端处理流程。在视频编码框架和视频解码框架中,可以包括但不限于:预测(如帧内预测和帧间预测等)、运动估计/运动补偿、参考图像缓冲器、环内滤波、重建、变换、量化、反变换、反量化、熵编码器等模块。在编码端,通过这些模块之间的配合,实现编码端的处理流程,在解码端,通过这些模块之间的配合,实现解码端的处理流程。
环路滤波用于减少图像块效应或图像效果不佳等问题,能够改善图像质量,可以包括DBF、SAO和ALF等三种滤波器,DBF为去块滤波,用于去除分块编码产生的块边界效应。SAO为样本自适应补偿滤波,用于通过基于样本的像素值和周围块的梯度值进行分类,对于每个类别的像素值加上不同的补偿值,使得重建图像更接近于原始图像。ALF为自适应环路滤波,即通过维纳滤波器,对重建图像进行滤波,使得重建图像更接近于原始图像。
示例性的,在视频编解码过程中,预测过程可以包括帧内预测和帧间预测,帧内预测是考虑到相邻块之间存在很强的空域相关性,利用周围已经重建的像素作为参考像素,对当前未编码块进行预测,只需要对残差值进行后续编码处理,而不是对原始值进行编码,从而有效去除空域上的冗余,大大提高压缩效率。帧间预测是利用视频时间域的相关性,使用邻近已编码图像的像素预测当前图像的像素,达到去除视频时域冗余的目的。
示例性的,在视频编解码过程中,变换是指将以空间域中像素形式描述的图像转换至变换域的图像,并以变换系数的形式来表示。由于绝大多数图像都含有较多平坦区域和缓慢变化的区域,因此,适当的变换过程,可以使图像能量在空间域的分散分布,转换为在变换域的相对集中分布,从而能够去除信号之间的频域相关性,配合量化过程,可以有效压缩码流。
示例性的,熵编码是指按照信息熵的原理进行无损编码的方式,处于视频压缩的最后一个处理模块,将一系列用来表示视频序列的元素符号,转变为一个用来传输或存储的二进制码流,输入的符号可能包括量化后的变换系数,运动矢量信息,预测模式信息,变换量化相关语法等,熵编码模块的输出数据即原始视频压缩后的最终码流。熵编码可以有效地去除这些视频元素符号的统计冗余,是保证视频编码压缩效率的重要工具之一。
示例性的,环路滤波用于减少图像的块效应或者图像效果不佳等问题,用来改善图像质量,可以包括但不限于DBF、SAO和ALF等。例如,在视频图像中,图像块的边界并不连续,压缩重建图像具有明显的块效应,严重影响图像质量,可以采用DBF技术对边界进行去块滤波。针对所有预测单元(Prediction Unit,PU)和变换单元(Transform Unit,TU)的边界进行去块滤波,去块滤波包括滤波决策和滤波操作,在滤波决策过程中,获取边界强度(如不滤波、弱滤波或强滤波)和滤波参数。在滤波操作过程中,根据边界强度和滤波参数对像素进行修正,如对边界进行滤波时,可以是强滤波或弱滤波,采用不同长度的抽头进行滤波。
SAO滤波:用于消除振铃效应。振铃效应是由于高频交流系数的量化失真,解码后会在边缘周围产生波纹的现象,变换块尺寸越大振铃效应越明显。SAO的基本原理是对重构曲线中的波峰像素加上负值进行补偿,波谷像素加上正值进行补偿。SAO是以CTU(CodingTreeUnit,编码树单元)为基本单位,可以包括两大类补偿形式:边界补偿(Edge Offset,简称EO)和边带补偿(Band Offset,简称BO),此外还引入了参数融合技术。
ALF滤波:可以根据原始信号和失真信号计算得到均方意义下的最优滤波器,即维纳滤波器。ALF的滤波器可以包括但不限于:7*7的菱形滤波器或5*5的菱形滤波器、7*7十字形加3*3方形的中心对称滤波器,或7*7十字形加5*5方形的中心对称滤波器。
帧内预测:利用视频空间域的相关性,使用当前块的已编码块进行预测,以达到去除视频空域冗余的目的。帧内预测规定了多种预测模式,每种预测模式对应一种纹理方向(DC模式除外),例如,若图像纹理呈现水平状排布,则水平预测模式可以更好的预测图像信息。
帧间预测:基于视频时域的相关性,由于视频序列包含有较强的时域相关性,使用邻近已编码图像像素预测当前图像的像素,可以达到有效去除视频时域冗余的目的。视频编码标准帧间预测部分都采用了基于块的运动补偿技术,主要原理是为当前图像的每一个像素块在之前已编码图像中寻找一个最佳匹配块,该过程称为运动估计(MotionEstimation,ME)。
运动矢量(Motion Vector,MV):在帧间预测中,可以使用运动矢量表示当前帧图像的当前块与参考帧图像的参考块之间的相对位移。每个划分的块都有相应的运动矢量传送到解码端,如果对每个块的运动矢量进行独立编码和传输,特别是小尺寸的大量块,则消耗很多比特。为降低用于编码运动矢量的比特数,可以利用相邻块之间的空间相关性,根据相邻已编码块的运动矢量对当前待编码块的运动矢量进行预测,然后对预测差进行编码,这样可以有效降低表示运动矢量的比特数。在对当前块的运动矢量进行编码时,可以先使用相邻已编码块的运动矢量预测当前块的运动矢量,然后对该运动矢量的预测值(MVP,Motion VectorPrediction)与运动矢量的真正估值之间的差值(MVD,Motion VectorDifference)进行编码。
运动信息(Motion Information):由于运动矢量表示当前块与某个参考块之间的位置偏移,为了准确的获取指向块的信息,除了运动矢量,还需要参考帧图像的索引信息来表示当前块使用哪个参考帧图像。在视频编码技术中,对于当前帧图像,通常可以建立一个参考帧图像列表,参考帧图像索引信息则表示当前块采用了参考帧图像列表中的第几个参考帧图像。此外,很多编码技术还支持多个参考图像列表,因此,还可以使用一个索引值来表示使用了哪一个参考图像列表,这个索引值可以称为参考方向。综上所述,在视频编码技术中,可以将运动矢量、参考帧索引、参考方向等与运动相关的信息统称为运动信息。
标志位编码(flag coding):在视频编码中,存在很多模式。对于某个块来说,可能采用其中一种模式。为了表示采用何种模式,每个块需要通过编码对应的标志位来进行标记。比如说,针对编码端来说,通过编码端决策,确定该标志位的值,然后对标志位的值进行编码传递到解码端。针对解码端来说,通过解析标志位的值,确定对应模式是否启用。
在标志位的编码过程中,可以通过高层语法实现标志位的编码,高层语法可以用于表示是否允许启用某种模式,即通过高层语法允许启用某种模式,或者禁止启用某种模式。
示例性的,高层语法可以是序列参数集级的高层语法,或者图像参数集级的高层语法,或者片头级的高层语法,或者图像头级的高层语法,对此高层语法不做限制。
针对序列参数集(SPS,sequence parameter set)的高层语法,存在确定整个视频序列(即多帧视频图像)中是否允许某些模式(工具/方法)开关的标志位。例如,若标志位为取值A(如数值1等),则视频序列可以允许启用该标志位对应的模式;或者,若标志位为取值B(如数值0等),则视频序列可以不允许启用该标志位对应的模式。
针对图像参数集(PPS,picture parameter set)的高层语法,存在确定某图片(如视频图像)中是否允许某些模式(工具/方法)开关的标志位。若标志位为取值A,则视频图像允许启用该标志位对应的模式;若标志位为取值B,则视频图像不允许启用该标志位对应的模式。
针对图像头(picture header)的高层语法,存在某图像头中是否允许某些模式(工具/方法)开关的标志位。若标志位为取值A,则图像头允许启用该标志位对应的模式;若标志位为取值B,则图像头不允许启用该标志位对应的模式。示例性的,图像头保存的是仅针对当前图像的共同信息,例如,在图像包含多个slice时,多个slice可以通用图像头中的信息。
针对片头(Slice header)的高层语法,存在某个slice中是否允许某些模式(工具/方法)开关的标志位。若标志位为取值A,则slice允许启用该标志位对应的模式;若标志位为取值B,则slice不允许启用该标志位对应的模式。示例性的,一帧图像可以包含1个slice或多个slice,针对片头(Slice header)的高层语法,是针对每个slice配置的高层语法。
高层语法:用于表示是否允许启用某些工具(方法),即通过高层语法允许启用某些工具(方法),或者禁止启用某些工具(方法)。示例性的,参见上述介绍,高层语法可以是序列参数集级的高层语法,或者图像参数集级的高层语法,或者片头级的高层语法,或者图像头级的高层语法,对此高层语法不做限制,只要能够实现上述功能即可。
率失真原则(Rate-Distortion Optimized):评价编码效率的有两大指标:码率和PSNR(PeakSignal to Noise Ratio,峰值信噪比),比特流越小,则压缩率越大,PSNR越大,则重建图像质量越好,在模式选择时,判别公式实质上也就是对二者的综合评价。例如,模式对应的代价:J(mode)=D+λ*R,其中,D表示Distortion(失真),通常可以使用SSE指标来进行衡量,SSE是指重建图像块与源图像的差值的均方和;λ是拉格朗日乘子,R就是该模式下图像块编码所需的实际比特数,包括编码模式信息、运动信息、残差等所需的比特总和。在模式选择时,若使用RDO原则去对编码模式做比较决策,通常可以保证编码性能最佳。
块划分技术:一个编码树单元(Coding Tree Unit,简称CTU)使用四叉树递归划分成CU。在叶子节点CU级确定是否使用帧内编码或者帧间编码。CU可以划分成两个或四个预测单元(Prediction Unit,简称PU),同一个PU内使用相同的预测信息。在预测完成后得到残差信息后,一个CU可四叉划分成多个变换单元(Transform Units,简称TU)。例如,本申请中的当前图像块即为一个PU。还可以对块划分技术进行变化,比如说,使用一种混合了二叉树/三叉树/四叉树的划分结构取代原先划分模式,取消CU,PU,TU的概念的区分,支持CU的更灵活的划分方式。CU可以是正方形也可以是矩形划分。CTU首先进行四叉树的划分,然后四叉树划分的叶子节点可以进行二叉树和三叉树的划分。参见图2A所示,CU共有五种划分类型,分别为四叉树划分,水平二叉树划分,垂直二叉树划分,水平三叉树划分和垂直三叉树划分,参见图2B所示,CTU内的CU划分可以是上述五种划分类型的任意组合由上可知不同的划分方式,使得各个PU的形状有所不同,如不同尺寸的矩形,正方形。
DBF滤波(即去块滤波)方法:DBF滤波处理包括两个过程:滤波决策和滤波操作。
滤波决策包括:1)获取边界强度(BS值);2)滤波开关决策;3)滤波强弱选择。对于色度分量,仅存在步骤1),且直接复用亮度分量的BS值。对于色度分量,只有BS值为2时(即当前块两侧的块至少有一个采用intra(帧内)模式),才进行滤波操作。
滤波操作包括:1)对于亮度分量的强滤波和弱滤波;2)对于色度分类的滤波。
示例性的,DBF滤波处理一般以8*8为单位进行水平边界滤波(也可以称为水平DBF滤波)和垂直边界滤波(也可以称为垂直DBF滤波),且最多对边界两侧的3个像素点进行滤波,且最多利用到边界两侧的4个像素点进行滤波,因此,不同块的水平DBF滤波和垂直DBF滤波互不影响,也就是说,水平DBF滤波和垂直DBF滤波可以并行进行。
如图3所示,对于当前块(以8*8为例)来说,可以先进行当前块左侧3列像素点以及左边块(即当前块的左边块)右侧3列像素点的垂直DBF滤波,再进行当前块上侧3行像素点以及上边块(即当前块的上边块)下侧3行像素点的水平DBF滤波。
示例性的,对于需要分别进行垂直DBF滤波和水平DBF滤波的像素点来说,通常先进行垂直DBF滤波,后进行水平DBF滤波。当然,也可以先进行水平DBF滤波,后进行垂直DBF滤波。在后续实施例中,以先进行垂直DBF滤波,后进行水平DBF滤波为例。
在一种可能的实施方式中,关于DBF滤波的处理流程,可以包括以下步骤:
步骤S11、以4*4为单位分别计算水平方向和垂直方向的edge condition(边缘条件)值。
对于CU(Coding Unit,编码单元)边界,且为8*8边界,则edge condition值为2(用于表示对亮度分量和色度分量均进行滤波处理)。对于PU(Prediction Unit,预测单元)边界(如2N*hN的内部1/4、1/2、3/4水平线),且为8*8边界,则edge condition值为1(用于表示对亮度分量进行滤波处理,但是不对色度分量进行滤波处理)。对于上述两种情况之外的其它情况,则edge condition值为0。
步骤S12、以4*4为单位(滤波处理以8*8单位,只是以4*4为单位存储edgecondition值等信息),完成所有块的垂直滤波。当edge condition值不为0时,进行如下滤波处理过程:
1、亮度分量滤波(垂直滤波则处理垂直边界的4行,水平滤波则处理水平边界的4列):
1.1、先判断是否跳过滤波过程。示例性的,若边界两侧的块为非帧内模式块、无残差、且运动一致时,才会跳过滤波过程,否则,均需要进行滤波过程。
1.2、若不跳过滤波过程,则进行如下处理:
1.2.1、若当前帧的滤波类型(df_type)为类型1,且ABS(R0-L0)>=4*Alpha,则FS为0;否则进行步骤1.2.2,确定FS。Alpha为预设数值,ABS()为取绝对值运算。
1.2.2、计算FL(Flatness Left,左侧平滑度,可选值为0、2、3)和FR(FlatnessRight,右侧平滑度,可选值为0、2、3),FL和FR用于判断两侧内部的平滑程度。然后,基于FL和FR确定FS。比如说,可以采用如下公式确定FS:FS=FL+FR。
1.2.2.1、若ABS(L1-L0)<Beta,且ABS(L2-L0)<Beta,则FL为3;若ABS(L1-L0)<Beta,且ABS(L2-L0)>=Beta,则FL为2;若ABS(L1-L0)>=Beta,且ABS(L2-L0)<Beta,则FL为1;否则FL为0。Beta为预设数值,ABS()为取绝对值运算。
1.2.2.2、FR的计算方式与FL的计算方式类似,在此不再重复赘述。
1.2.3、基于FS确定BS值(FS的可选值为0、2、3、4、5、6,BS的可选值为0、1、2、3、4)。比如说,在得到FS之后,可以基于FS的取值确定BS值。
1.2.3.1、若FS小于等于2(最多有一边中等平滑),则BS=0。
1.2.3.2、若FS为3(有且只有一边高度平滑),则BS=(ABS(L1-R1)<Beta)?1∶0,也就是说,若ABS(L1-R1)<Beta成立,则BS=1;否则,BS=0。
1.2.3.3、若FS为4(即两边均中等平滑),则BS=(FL==2)?2:1,也就是说,若FL=2,则BS=2;否则,即FL不等于2,则BS=1。
1.2.3.4、若FS为5(即一边中等平滑,另一边高度平滑),则:
若当前帧的滤波类型(df_type)为类型1,则BS=(R1==R0&&L0==L1&&ABS(R2-L2)<Alpha)?3∶2;也就是说,若像素点R1的像素值等于像素点R0的像素值,且像素点L0的像素值等于像素点L1的像素值,且像素点R2的像素值与像素点L2的像素值之间的差值的绝对值小于Alpha(即预先配置的数值),则BS=3;否则,BS=2。
否则(即当前帧的滤波类型(df_type)不为类型1),若当前帧的滤波类型为类型0,则BS=(R1==R0&&L0==L1)?3∶2;也就是说,若像素点R1的像素值等于像素点R0的像素值,且像素点L0的像素值等于像素点L1的像素值,则BS=3;否则,BS=2。
1.2.3.5、若FS为6(即两边均高度平滑),则:
若当前帧的滤波类型(df_type)为类型1,则BS=(ABS(R0-R1)<=Beta/4&&ABS(L0-L1)<=Beta/4&&ABS(R0-L0)<Alpha)&&ABS(R0-R3)<=Beta/2&&ABS(L0vL3)<=Beta/2?4:3;也就是说,若ABS(R0-R1)<=Beta/4、ABS(L0-L1)<=Beta/4、ABS(R0-L0)<Alpha、ABS(R0-R3)<=Beta/2、ABS(L0-L3)<=Beta/2均成立,则BS=4;否则,BS=3。
否则(即当前帧的滤波类型(df_type)不为类型1),若当前帧的滤波类型为类型0,则BS=(ABS(R0-R1)<=Beta/4&&ABS(L0-L1)<=Beta/4&&ABS(R0-L0)<Alpha)?4:3。
1.2.4、基于BS值,确定滤波系数,以及滤波像素个数。比如说,假设边界左侧或上侧的4个像素点分别为L0-L3(如图3所示,图3中以左侧为例);边界右侧或下侧的4个像素点为R0-R3(如图3所示,图3中以右侧为例)。则对于亮度分量:
1.2.4.1、若BS=4,则对边界两侧的各3个像素进行滤波:
针对L0和R0来说,滤波系数为[3,8,10,8,3]/32,即:为了确定像素点L0滤波后的像素值,分别使用像素点L2、L1、L0、R0和R1的像素值进行加权求和,加权系数(即滤波系数)依次为3/32、8/32、10/32、8/32以及3/32。若wj为滤波系数,则j=-2(当前像素点左侧的第2个像素点,即L2)时,wj=3/32;j=-1(当前像素点左侧的第1个像素点,即L1)时,wj=8/32;j=0(当前像素点,即L0)时,wj=10/32;j=1(当前像素点右侧的第1个像素点,即R0)时,wj=8/32;j=2(当前像素点右侧的第2个像素点,R1)时,wj=8/32。为了确定像素点R0滤波后的像素值,分别使用像素点R2、R1、R0、L0和L1的像素值进行加权求和,加权系数依次为3/32、8/32、10/32、8/32以及3/32。若wj为滤波系数,则j=-2(当前像素点右侧的第2个像素点,即R2)时,wj=3/32;j=-1(当前像素点右侧的第1个像素点,即R1)时,wj=8/32;j=0(当前像素点,即R0)时,wj=10/32;i=1(当前像素点左侧的第1个像素点,即L0)时,wj=8/32;i=2(当前像素点左侧的第2个像素点,L1)时,wj=8/32。
综上所述,L0′=clip(L2*3+L1*8+L0*10+R0*8+R1*3+16)>>5),L0′为像素点L0滤波后的像素值,L0-L2为像素点L0~L2滤波前的像素值,R0~R1为像素点R0~R1的像素值,下同。R0′=clip((R2*3+R1*8+R0*10+L0*8+L1*3+16)>>5)>>5)。
在上述公式中,“>>”为右移位运算,用于替代除法,即“>>5”相当于除以25(即32)。乘法(“*”)可以通过左移位的方式来替代,如a乘以4可以通过左移2位替代,即通过a<<2替代;a乘以10,可以通过(a<<3)+(a<<1)替代。“<<”为左移位运算,用于替代乘法,即“a<<2”相当于乘以22(即4)。考虑到通过移位的方式实现除法运算时,对于运算结果通常直接取整,即当运算结果为N~N+1之间的非整数时,取结果为N,而考虑到当小数部分大于0.5时,取结果为N+1的准确性会更高,因此,为了提高所确定的像素值的准确性,进行计算时,可以为上述加权和的分子加上分母(即被除数)的1/2,以达到四舍五入的效果。以上述L0′的计算为例,右移5位相当于除以25(即32),因此,可以为上述加权和的分子加上16。clip(x)为修剪操作,当x超出预设数值范围的上限时,将x的值设置为该预设数值范围的上限;当x低于预设数值范围的下限时,将x的值设置为该预设数据范围的下限。
针对L1和R1来说,滤波系数为[4,5,4,3]/16,在此基础上,L1′=clip((L2*4+L1*5+L0*4+R0*3+8)>>4),R1′=clip((R2*4+R1*5+R0*4+L0*3+8)>>4)。
针对L2和R2来说,滤波系数为[2,2,2,1,1]/8,则L2′=clip((L3*2+L2*2+L1*2+L0*1+R0*1+4)>>3),R2′=clip((R3*2+R2*2+R1*2+R0*1+L0*1+4)>>3)。
1.2.4.2、若BS=3,则对边界两侧各2个像素进行滤波:
针对L0和R0来说,滤波系数为[1,4,6,4,1]/16,L0′=clip(L2*1+L1*4+L0*6+R0*4+R1*1+8)>>4,R0′=clip(R2*1+R1*4+R0*6+L0*4+L1*1+8)>>4。
针对L1和R1来说,滤波系数为[3,8,4,1]/16,则L1′=clip((L2*3+L1*8+L0*4+R0*1+8)>>4),R1′=clip((R2*3+R1*8+R0*4+L0*1+8)>>4)。
1.2.4.3、若BS=2,则对边界两侧各1个像素进行滤波:
针对L0和R0来说,滤波系数为[3,10,3]/16,在此基础上,L0′=clip(L1*3+L0*10+R0*3+8)>>4,R0′=clip(R1*3+R0*10+L0*3+8)>>4。
1.2.4.4、若BS=1,则对边界两侧各1个像素进行滤波:针对L0和R0来说,滤波系数为[3,1]/4,L0′=clip(L0*3+R0*1+2)>>2,R0′=clip(R0*3+L0*1+2)>>2。
1.2.4.5、若BS=0,则不滤波,即不对边界两侧的像素进行滤波。
2、edge condition值为2时,为16*16块的边界进行色度滤波,也就是说,为16*16块的边界进行色度分量的滤波处理,该色度分量的滤波处理过程如下:
2.1、先判断是否需要进行滤波处理,过程与亮度分量类似,在此不再赘述。
2.2、若需要进行滤波处理(即不跳过滤波过程),则分别计算FL和FR,再基于FL和FR得到FS,基于FS获得BS值,该过程也和亮度分量类似,在此不再赘述。
2.3、获得的色度分量的BS值(如4、3、2、1、0等)减1,也就是说,BS的可选值可以为3、2、1、0。基于BS值进行色度分量的滤波处理,具体过程如下:
若BS=3,则对边界两侧的各2个像素进行滤波:针对L0和R0来说,滤波系数为[3,10,3]/16,L0′=clip(L1*3+L0*10+R0*3+8)>>4,R0′=clip(R1*3+R0*10+L0*3+8)>>4。针对L1和R1来说,滤波系数为[3,8,3,2]/16,L1′=clip((L2*3+L1*8+L0*3+R0*2+8)>>4),R1′=clip((R2*3+R1*8+R0*3+L0*2+8)>>4)。
若BS=2,或BS=1,则对边界两侧的各1个像素进行滤波:针对L0和R0来说,滤波系数为[3,10,3]/16,L0′=clip(L1*3+L0*10+R0*3+8)>>4,R0′=clip(R1*3+R0*10+L0*3+8)>>4。若BS=0,则不滤波,即不对边界两侧的像素进行滤波。
示例性的,上述过程的Alpha和Beta与边界两侧的块的QP均值相关,即当前块与当前块的左侧块(对于垂直DBF滤波)或当前块与当前块的上方块(对于水平DBF滤波)的QP均值相关,可通过查表获得Alpha和Beta的取值,对此不做限制。
步骤S13、以4*4为单位(滤波处理以8*8单位,只是以4*4为单位存储edgecondition值等信息),完成所有块的水平滤波,实现方式与步骤S12类似,在此不再重复赘述。
在相关技术中,DBF、SAO和ALF等滤波技术,均是基于当前像素点的像素值进行分类,或者,基于当前像素点的像素值和周围像素点的像素值的关系进行分类,然后,再基于不同类别进行不同滤波操作,其可能会出现过滤波现象,即,滤波后的像素值远大于或远小于滤波前的像素值,也远大于或远小于原始像素值,存在滤波效果不佳,编码性能比较差等问题。
针对上述发现,本实施例提出一种编解码方法,可以基于当前像素点的梯度值对当前像素点的原始像素值进行调整,使当前像素点的调整像素值更接近原始像素,从而提高编码性能。在滤波过程中,若当前块中的当前像素点满足增强调整模式的启用条件,在基于当前像素点的梯度值对当前像素点的原始像素值进行调整后,可以提高滤波效果,提高编码性能。
以下结合具体实施例,对本申请实施例中的编解码方法进行详细说明。
实施例1:本申请实施例中提出一种编解码方法,该方法可以应用于编码端或者解码端,参见图4所示,为该编解码方法的流程示意图,该方法可以包括:
步骤401,若当前块中的当前像素点满足增强调整模式的启用条件,则基于当前像素点的原始像素值和当前像素点的周围像素点的原始像素值确定当前像素点的梯度值。
示例性的,当前像素点的梯度值,可以是基于当前像素点的原始像素值和周围像素点的原始像素值之间的差值确定,也就是说,当前像素点的梯度值反映的是两个像素值的差值。
示例性的,当前像素点的周围像素点,可以是当前像素点的相邻像素点,也可以是当前像素点的非相邻像素点。当前像素点的周围像素点,可以是位于当前块中的像素点,也可以是位于当前块的相邻块中的像素点。比如说,当前像素点的周围像素点,可以是当前像素点左侧的像素点,可以是当前像素点右侧的像素点,可以是当前像素点上侧的像素点,可以是当前像素点下侧的像素点,对此当前像素点的周围像素点的位置不做限制。
比如说,参见图3所示,若当前像素点是当前块中的R0,则当前像素点的周围像素点可以是当前块左侧相邻块中的L0。若当前像素点是当前块中第一行第二列的像素点,则当前像素点的周围像素点可以是当前块上侧相邻块中第八行第二列的像素点。
步骤402,基于当前像素点的梯度值和当前像素点的原始像素值,确定当前像素点的调整像素值。例如,可以基于当前像素点的梯度值、当前像素点的原始像素值、第一调整阈值、第二调整阈值、第一调整偏移值和第二调整偏移值,确定当前像素点的调整像素值。
在一种可能的实施方式中,若当前像素点的梯度值大于第一调整阈值,则基于当前像素点的原始像素值和第一调整偏移值确定当前像素点的调整像素值,比如说,基于当前像素点的原始像素值和第一调整偏移值之和确定当前像素点的调整像素值。若当前像素点的梯度值小于第二调整阈值,则基于当前像素点的原始像素值和第二调整偏移值确定当前像素点的调整像素值,比如说,基于当前像素点的原始像素值和第二调整偏移值之和确定当前像素点的调整像素值。示例性的,第一调整阈值和第二调整阈值可以互为相反数。当然,第一调整阈值和第二调整阈值也可以不互为相反数,可以任意设置第一调整阈值和第二调整阈值。
在一种可能的实施方式中,若当前块中的当前像素点满足增强调整模式的启用条件,还可以从当前块的相邻块中确定与当前像素点对应的参考像素点,并基于参考像素点的原始像素值和参考像素点的周围像素点的原始像素值确定参考像素点的梯度值;基于参考像素点的梯度值和参考像素点的原始像素值,确定参考像素点的调整像素值。
示例性的,参考像素点可以是相邻块中与当前像素点相邻的像素点,也可以是相邻块中与当前像素点非相邻的像素点,对此不做限制。比如说,参见图3所示,若当前像素点是当前块中的R0,则参考像素点可以是当前块左侧相邻块中的L0,也可以是当前块左侧相邻块中的L1、L2等,对此不做限制。若当前像素点是当前块中的R1,则参考像素点可以是当前块左侧相邻块中的L0,也可以是当前块左侧相邻块中的L1、L2等,对此不做限制。若当前像素点是当前块中第一行第二列的像素点,则参考像素点可以是当前块上侧相邻块中第八行第二列的像素点,也可以是当前块上侧相邻块中第七行第二列的像素点,对此不做限制。
示例性的,参考像素点的梯度值,可以是基于参考像素点的原始像素值和参考像素点的周围像素点的原始像素值之间的差值确定,也就是说,梯度值反映的是两个像素值的差值。
示例性的,参考像素点的周围像素点,可以是参考像素点的相邻像素点,也可以是参考像素点的非相邻像素点。参考像素点的周围像素点,可以是位于参考像素点所在块中的像素点,也可以是位于参考像素点所在块的相邻块中的像素点。参考像素点的周围像素点,可以是参考像素点左侧的像素点,可以是参考像素点右侧的像素点,可以是参考像素点上侧的像素点,可以是参考像素点下侧的像素点,对此参考像素点的周围像素点的位置不做限制。
在一种可能的实施方式中,参考像素点的周围像素点,可以是当前块中的当前像素点,与此类似的,当前像素点的周围像素点,可以是当前块的相邻块中的参考像素点。
示例性的,基于参考像素点的梯度值和参考像素点的原始像素值,确定参考像素点的调整像素值,可以包括但不限于:基于参考像素点的梯度值、参考像素点的原始像素值、第三调整阈值(与第一调整阈值可以相同,也可以不同)、第四调整阈值(与第二调整阈值可以相同,也可以不同)、第三调整偏移值(与第一调整偏移值可以相同,也可以不同)和第四调整偏移值(与第三调整偏移值可以相同,也可以不同),确定参考像素点的调整像素值。
比如说,若参考像素点的梯度值大于第三调整阈值,则基于参考像素点的原始像素值和第三调整偏移值确定参考像素点的调整像素值,比如说,基于参考像素点的原始像素值和第三调整偏移值之和确定参考像素点的调整像素值。若参考像素点的梯度值小于第四调整阈值,则基于参考像素点的原始像素值和第四调整偏移值确定参考像素点的调整像素值,比如说,基于参考像素点的原始像素值和第四调整偏移值之和确定参考像素点的调整像素值。
示例性的,第三调整阈值和第四调整阈值可以互为相反数。当然,第三调整阈值和第四调整阈值也可以不互为相反数,可以任意设置第三调整阈值和第四调整阈值。
在一种可能的实施方式中,可以从高层语法中解析出当前块对应的第一调整阈值,第二调整阈值,第一调整偏移值,第二调整偏移值,第三调整阈值,第四调整阈值,第三调整偏移值和第四调整偏移值。或者,可以从高层语法中解析出当前块对应的第一调整阈值,第一调整偏移值,第二调整偏移值,第三调整阈值,第三调整偏移值和第四调整偏移值。或者,可以从高层语法中解析出当前块对应的第二调整阈值,第一调整偏移值,第二调整偏移值,第三调整阈值,第三调整偏移值和第四调整偏移值。或者,可以从高层语法中解析出当前块对应的第一调整阈值,第一调整偏移值,第二调整偏移值,第四调整阈值,第三调整偏移值和第四调整偏移值。或者,可以从高层语法中解析出当前块对应的第二调整阈值,第一调整偏移值,第二调整偏移值,第四调整阈值,第三调整偏移值和第四调整偏移值。
示例性的,若第一调整阈值和第二调整阈值互为相反数,从高层语法中解析出第一调整阈值后,可推导出第二调整阈值,从高层语法中解析出第二调整阈值后,可推导出第一调整阈值。若第三调整阈值和第四调整阈值互为相反数,从高层语法中解析出第三调整阈值后,可推导出第四调整阈值,从高层语法中解析出第四调整阈值后,可推导出第三调整阈值。
在一种可能的实施方式中,当前块中的当前像素点满足增强调整模式的启用条件,可以包括但不限于:若当前块中的当前像素点对应的待滤波边界的边界强度满足增强调整模式的启用条件,则确定当前像素点满足增强调整模式的启用条件。比如说,若当前像素点对应的待滤波边界的边界强度为预设第一数值,则可以确定待滤波边界的边界强度满足增强调整模式的启用条件。示例性的,预设第一数值可以为0。当然,预设第一数值还可以为其它数值。
或者,若当前块对应的特征信息满足增强调整模式的启用条件,则确定当前块中的当前像素点满足增强调整模式的启用条件。示例性的,当前块对应的特征信息满足增强调整模式的启用条件是指,若基于当前块对应的特征信息,确定不对当前块启动滤波操作(如去块滤波操作等),则确定当前块对应的特征信息满足增强调整模式的启用条件。
示例性的,在确定当前块中的当前像素点满足增强调整模式的启用条件之前,可以先获取当前块对应的增强调整模式使能标志位,若当前块对应的增强调整模式使能标志位允许当前块启用增强调整模式,则确定当前块中的当前像素点是否满足增强调整模式的启用条件,即确定出当前像素点满足增强调整模式的启用条件,或者,不满足增强调整模式的启用条件。
或者,若当前块对应的增强调整模式使能标志位不允许当前块启用增强调整模式,则直接确定当前块中的当前像素点不满足增强调整模式的启用条件。
示例性的,针对解码端来说,可以从高层语法中解析出当前块对应的增强调整模式使能标志位,继而基于增强调整模式使能标志位确定是否允许当前块启用增强调整模式。
比如说,若增强调整模式使能标志位为第一取值(如1),则增强调整模式使能标志位允许当前块启用增强调整模式,若增强调整模式使能标志位为第二取值(如0),则增强调整模式使能标志位不允许当前块启用增强调整模式。
在一种可能的实施方式中,若该编解码方法应用于预测过程(如帧内预测或者帧间预测),则当前像素点的原始像素值可以是帧内预测或者帧间预测得到的预测值,而当前像素点的调整像素值作为当前像素点的目标像素值(预测过程的最终像素值)。若该编解码方法应用于滤波过程,则当前像素点的原始像素值可以是滤波前的预测值,而当前像素点的调整像素值作为当前像素点的目标像素值(滤波过程的最终像素值)。
由以上技术方案可见,本申请实施例中,若当前块中的当前像素点满足增强调整模式的启用条件,则可以基于当前像素点的梯度值和当前像素点的原始像素值,确定当前像素点的调整像素值,也就是说,基于当前像素点的梯度值对当前像素点的原始像素值进行调整,使当前像素点的调整像素值更接近原始像素,从而提高编码性能。在滤波过程中,如DBF、SAO和ALF等,若当前块中的当前像素点满足增强调整模式的启用条件,在基于当前像素点的梯度值对当前像素点的原始像素值进行调整后,可以提高滤波效果,提高编码性能。
在一种可能的实施方式中,若当前块中的当前像素点满足普通滤波模式的启用条件,则还可以对当前像素点的原始像素值进行去块滤波(即DBF滤波),得到当前像素点的滤波像素值。当然,去块滤波只是一个示例,还可以采用其它滤波方式对当前像素点的原始像素值进行滤波,比如说,对当前像素点的原始像素值进行SAO滤波,得到当前像素点的滤波像素值。或者,对当前像素点的原始像素值进行ALF滤波,得到当前像素点的滤波像素值。
示例性的,以去块滤波为例,参见步骤S11-步骤S13,示出了对当前像素点的原始像素值进行去块滤波,得到当前像素点的滤波像素值的过程,在此不再重复赘述。
继续参见步骤S11-步骤S13,从这些步骤可以看出,若边界两侧的块为非帧内模式块、无残差、且运动一致时,才会跳过滤波过程,否则,需要进行滤波过程。在需要进行滤波过程时,还可以获取BS的取值,若BS等于0,则不滤波,即不对边界两侧的像素进行滤波,若BS大于0,则对边界两侧的像素进行滤波。综上所述,若边界两侧的块为非帧内模式块、无残差、且运动一致时,则当前块中的当前像素点不满足普通滤波模式的启用条件。若边界两侧的块为非帧内模式块、无残差、且运动一致不成立(即边界两侧的块不为非帧内模式块,或边界两侧的块有残差,或边界两侧的块运动不一致),且BS等于0,则当前块中的当前像素点不满足普通滤波模式的启用条件。若边界两侧的块为非帧内模式块、无残差、且运动一致不成立,且BS大于0,则当前块中的当前像素点满足普通滤波模式的启用条件。
需要注意的是,若当前块中的当前像素点满足普通滤波模式的启用条件,则当前块中的当前像素点不满足增强调整模式的启用条件,若当前块中的当前像素点满足增强调整模式的启用条件,则当前块中的当前像素点不满足普通滤波模式的启用条件。
在当前像素点满足普通滤波模式的启用条件,且对当前像素点的原始像素值进行去块滤波,得到当前像素点的滤波像素值的基础上,还需要确定当前块中的当前像素点是否满足增强滤波模式的启用条件。若当前块中的当前像素点满足增强滤波模式的启用条件,则基于当前像素点的滤波像素值和当前像素点的原始像素值,确定当前像素点的调整像素值,即当前像素点的调整像素值作为当前像素点的目标像素值(去块滤波过程的最终像素值)。若当前块中的当前像素点不满足增强滤波模式的启用条件,则不对当前像素点的滤波像素值进行调整,当前像素点的滤波像素值作为当前像素点的目标像素值(去块滤波过程的最终像素值)。
示例性的,若当前块中的当前像素点满足增强滤波模式的启用条件,基于当前像素点的滤波像素值和当前像素点的原始像素值,确定当前像素点的调整像素值,可以包括但不限于:基于当前像素点的滤波像素值,当前像素点的原始像素值,第一滤波阈值,第二滤波阈值,第一滤波偏移值和第二滤波偏移值,确定当前像素点的调整像素值。
示例性的,第一滤波阈值和第二滤波阈值可以互为相反数,当然,第一滤波阈值和第二滤波阈值也可以不互为相反数,可以任意设置第一滤波阈值和第二滤波阈值。
在一种可能的实施方式中,若当前块中的当前像素点满足普通滤波模式的启用条件,还可以从当前块的相邻块中确定与当前像素点对应的参考像素点,并对参考像素点的原始像素值进行去块滤波(即DBF滤波),得到参考像素点的滤波像素值。当然,去块滤波只是一个示例,还可以采用其它滤波方式对参考像素点的原始像素值进行滤波,比如说,对参考像素点的原始像素值进行SAO滤波或者ALF滤波,得到参考像素点的滤波像素值。
示例性的,以去块滤波为例,参见步骤S11-步骤S13,示出了对参考像素点的原始像素值进行去块滤波,得到参考像素点的滤波像素值的过程,在此不再重复赘述。
示例性的,参考像素点可以是相邻块中与当前像素点相邻的像素点,参考像素点也可以是相邻块中与当前像素点非相邻的像素点,对此不做限制。
在当前像素点满足普通滤波模式的启用条件,且对参考像素点的原始像素值进行去块滤波,得到参考像素点的滤波像素值的基础上,还需要确定当前块中的当前像素点是否满足增强滤波模式的启用条件。若当前块中的当前像素点满足增强滤波模式的启用条件,则基于参考像素点的滤波像素值和参考像素点的原始像素值,确定参考像素点的调整像素值,即参考像素点的调整像素值作为参考像素点的目标像素值(去块滤波过程的最终像素值)。若当前块中的当前像素点不满足增强滤波模式的启用条件,则不对参考像素点的滤波像素值进行调整,参考像素点的滤波像素值作为参考像素点的目标像素值(去块滤波过程的最终像素值)。
示例性的,基于参考像素点的滤波像素值和参考像素点的原始像素值,确定参考像素点的调整像素值,可以包括但不限于:基于参考像素点的滤波像素值,参考像素点的原始像素值,第三滤波阈值,第四滤波阈值,第三滤波偏移值和第四滤波偏移值,确定参考像素点的调整像素值;其中,第三滤波阈值和第四滤波阈值可以互为相反数,当然,第三滤波阈值和第四滤波阈值也可以不互为相反数,可以任意设置第三滤波阈值和第四滤波阈值。
在一种可能的实施方式中,可以从高层语法中解析出当前块对应的第一滤波阈值,第二滤波阈值,第一滤波偏移值,第二滤波偏移值,第三滤波阈值,第四滤波阈值,第三滤波偏移值和第四滤波偏移值。或者,可以从高层语法中解析出当前块对应的第一滤波阈值,第一滤波偏移值,第二滤波偏移值,第三滤波阈值,第三滤波偏移值和第四滤波偏移值。或者,可以从高层语法中解析出当前块对应的第二滤波阈值,第一滤波偏移值,第二滤波偏移值,第三滤波阈值,第三滤波偏移值和第四滤波偏移值。或者,可以从高层语法中解析出当前块对应的第一滤波阈值,第一滤波偏移值,第二滤波偏移值,第四滤波阈值,第三滤波偏移值和第四滤波偏移值。或者,可以从高层语法中解析出当前块对应的第二滤波阈值,第一滤波偏移值,第二滤波偏移值,第四滤波阈值,第三滤波偏移值和第四滤波偏移值。
示例性的,若第一滤波阈值和第二滤波阈值互为相反数,从高层语法中解析出第一滤波阈值后,可推导出第二滤波阈值,从高层语法中解析出第二滤波阈值后,可推导出第一滤波阈值。若第三滤波阈值和第四滤波阈值互为相反数,从高层语法中解析出第三滤波阈值后,可推导出第四滤波阈值,从高层语法中解析出第四滤波阈值后,可推导出第三滤波阈值。
在一种可能的实施方式中,当前块中的当前像素点满足增强滤波模式的启用条件,可以包括但不限于:若当前块中的当前像素点对应的待滤波边界的边界强度满足增强滤波模式的启用条件,且当前像素点的滤波像素值与当前像素点的原始像素值之间的差值的绝对值小于预设阈值(该预设阈值可以为正值,对此预设阈值不做限制,比如说,若第一滤波阈值和第二滤波阈值互为相反数,当第一滤波阈值为正值时,该预设阈值与第一滤波阈值相同,当第二滤波阈值为正值时,该预设阈值与第二滤波阈值相同,当然,预设阈值也可以为其它取值),则确定当前像素点满足增强滤波模式的启用条件。示例性的,当前块中的当前像素点对应的待滤波边界的边界强度满足增强滤波模式的启用条件,可以包括但不限于:若当前像素点对应的待滤波边界的边界强度为预设第二数值(与预设第一数值不同,即不为0,如预设第二数值可以大于0),则确定待滤波边界的边界强度满足增强滤波模式的启用条件。
示例性的,在确定当前块中的当前像素点满足增强滤波模式的启用条件之前,可以先获取当前块对应的增强滤波模式使能标志位,若当前块对应的增强滤波模式使能标志位允许当前块启用增强滤波模式,则确定当前块中的当前像素点是否满足增强滤波模式的启用条件,即确定出当前像素点满足增强滤波模式的启用条件,或者,不满足增强滤波模式的启用条件。
或者,若当前块对应的增强滤波模式使能标志位不允许当前块启用增强滤波模式,则直接确定当前块中的当前像素点不满足增强滤波模式的启用条件。
示例性的,针对解码端来说,可以从高层语法中解析出当前块对应的增强滤波模式使能标志位,继而基于增强滤波模式使能标志位确定是否允许当前块启用增强滤波模式。
比如说,若增强滤波模式使能标志位为第一取值(如1),则增强滤波模式使能标志位允许当前块启用增强滤波模式,若增强滤波模式使能标志位为第二取值(如0),则增强滤波模式使能标志位不允许当前块启用增强滤波模式。
示例性的,在上述实施例中,高层语法可以包括但不限于如下语法中的一种:序列级参数集SPS级高层语法;图像参数集PPS级高层语法;图像头级高层语法;帧级高层语法;片头级高层语法;编码树单元CTU级高层语法;编码单元CU级高层语法。
示例性的,在上述实施例中,当前块可以为亮度分量或者色度分量。
由以上技术方案可见,若当前块中的当前像素点满足增强滤波模式的启用条件,则可以基于当前像素点的滤波像素值和当前像素点的原始像素值,确定当前像素点的调整像素值,也就是说,基于当前像素点的滤波像素值对当前像素点的原始像素值进行调整,使当前像素点的调整像素值更接近原始像素,从而提高编码性能。在滤波过程中,如DBF、SAO和ALF等,若当前块中的当前像素点满足增强滤波模式的启用条件,在基于当前像素点的滤波像素值对当前像素点的原始像素值进行调整后,可以提高滤波效果,提高编码性能。
实施例2:在需要进行滤波处理时,需要先判断是否跳过滤波过程,比如说,若边界两侧的块(即当前块和当前块的相邻块,对于垂直边界来说,是当前块左侧的相邻块,对于水平边界来说,是当前块上侧的相邻块)为非帧内模式块(即当前块和相邻块都不是帧内块)、无残差(即当前块和相邻块之间没有残差)、且运动一致(即当前块和相邻块的运动一致)时,会跳过滤波过程,否则,不会跳过滤波过程。基于此,可以将“跳过滤波过程”作为增强调整模式的启用条件,即,若针对当前块中的当前像素点跳过滤波过程,则当前块中的当前像素点满足增强调整模式的启用条件。在当前像素点满足增强调整模式的启用条件时,可以采用增强调整模式对当前像素点的原始像素值进行调整,从而使得像素值更接近原始像素。
示例性的,若当前块对应的特征信息满足增强调整模式的启用条件,则确定当前块中的当前像素点满足增强调整模式的启用条件。当前块对应的特征信息用于表示边界两侧的块是否为非帧内模式块,用于表示边界两侧的块是否无残差,以及,用于表示边界两侧的块是否运动一致。基于此,若当前块对应的特征信息用于表示边界两侧的块为非帧内模式块,且用于表示边界两侧的块无残差,且用于表示边界两侧的块运动一致,则说明当前块对应的特征信息满足增强调整模式的启用条件,并确定当前块中的当前像素点满足增强调整模式的启用条件,即当前块中的每个像素点满足增强调整模式的启用条件。或者,若当前块对应的特征信息用于表示边界两侧的块不均为非帧内模式块,和/或,当前块对应的特征信息用于表示边界两侧的块有残差,和/或,当前块对应的特征信息用于表示边界两侧的块运动不一致,则说明当前块对应的特征信息不满足增强调整模式的启用条件,并确定当前块中的当前像素点不满足增强调整模式的启用条件,即当前块中的每个像素点均不满足增强调整模式的启用条件。
示例性的,在当前像素点满足增强调整模式的启用条件时,可以采用增强调整模式对当前像素点的原始像素值进行调整,比如说,可以先基于当前像素点的原始像素值确定当前像素点的梯度值,并基于当前像素点的梯度值和当前像素点的原始像素值,确定当前像素点的调整像素值,关于调整像素值的确定过程,可以参见后续实施例,在此不再赘述。
实施例3:在需要进行滤波处理时,需要先判断是否跳过滤波过程,比如说,若边界两侧的块为非帧内模式块、无残差、且运动一致时,会跳过滤波过程,否则,不会跳过滤波过程。在不会跳过滤波过程时,还可以确定BS值,若BS值大于0(如BS值为1、2、3、4等),则可以对边界两侧的像素进行滤波。若BS值为0,则不滤波,即不对边界两侧的像素进行滤波。基于此,可以将“BS值为0”作为增强调整模式的启用条件,即,若当前块中的当前像素点的BS值为0,则当前块中的当前像素点满足增强调整模式的启用条件;若当前块中的当前像素点的BS值大于0,则当前块中的当前像素点不满足增强调整模式的启用条件。
示例性的,若当前块中的当前像素点对应的待滤波边界的边界强度满足增强调整模式的启用条件,则确定当前像素点满足增强调整模式的启用条件。比如说,可以先确定当前像素点对应的待滤波边界的边界强度,若该边界强度为预设第一数值,则确定该边界强度满足增强调整模式的启用条件。该预设第一数值可以根据经验配置,如预设第一数值为0。综上所述,若当前像素点对应的待滤波边界的边界强度为0,则说明当前像素点对应的待滤波边界的边界强度满足增强调整模式的启用条件,并确定当前像素点满足增强调整模式的启用条件。
或者,若当前块中的当前像素点对应的待滤波边界的边界强度不满足增强调整模式的启用条件,则确定当前像素点不满足增强调整模式的启用条件。比如说,若当前像素点对应的待滤波边界的边界强度不为预设第一数值,则确定该边界强度不满足增强调整模式的启用条件,从而能够确定当前块中的当前像素点不满足增强调整模式的启用条件。
示例性的,在当前像素点满足增强调整模式的启用条件时,可以采用增强调整模式对当前像素点的原始像素值进行调整,从而使得像素值更接近原始像素。比如说,可以先基于当前像素点的原始像素值确定当前像素点的梯度值,并基于当前像素点的梯度值和当前像素点的原始像素值,确定当前像素点的调整像素值,调整像素值的确定过程参见后续实施例。
实施例4:在需要进行滤波处理时,需要先判断是否跳过滤波过程,比如说,若边界两侧的块为非帧内模式块、无残差、且运动一致时,会跳过滤波过程,否则,不会跳过滤波过程。在不会跳过滤波过程时,还可以确定BS值,若BS值大于0(如BS值为1、2、3、4等),则可以对边界两侧的像素进行滤波。若BS值为0,则不滤波,即不对边界两侧的像素进行滤波。基于此,可以将“BS值大于0”作为普通滤波模式的启用条件,即,若当前块中的当前像素点的BS值大于0,则当前块中的当前像素点满足普通滤波模式的启用条件;若当前块中的当前像素点的BS值等于0,则当前块中的当前像素点不满足普通滤波模式的启用条件。
示例性的,若当前块中的当前像素点对应的待滤波边界的边界强度满足普通滤波模式的启用条件,则确定当前像素点满足普通滤波模式的启用条件。比如说,可以先确定当前像素点对应的待滤波边界的边界强度,若该边界强度为预设第二数值,则确定该边界强度满足普通滤波模式的启用条件。该预设第二数值可以根据经验进行配置,如预设第二数值可以大于0,如预设第二数值可以为1、2、3、4等。综上所述,若当前像素点对应的待滤波边界的边界强度大于0(即边界强度不为0),则说明当前像素点对应的待滤波边界的边界强度满足普通滤波模式的启用条件,并确定当前像素点满足普通滤波模式的启用条件。
或者,若当前块中的当前像素点对应的待滤波边界的边界强度不满足普通滤波模式的启用条件,则确定当前像素点不满足普通滤波模式的启用条件。比如说,若当前像素点对应的待滤波边界的边界强度(如0)不为预设第二数值,则确定该边界强度不满足普通滤波模式的启用条件,从而能够确定当前块中的当前像素点不满足普通滤波模式的启用条件。
示例性的,在当前像素点满足普通滤波模式的启用条件时,还可以对当前像素点的原始像素值进行去块滤波(即DBF滤波,本文以去块滤波为例),得到当前像素点的滤波像素值。
实施例5:在当前块中的当前像素点满足普通滤波模式的启用条件,且对当前像素点的原始像素值进行去块滤波,得到当前像素点的滤波像素值的基础上,还可以确定当前块中的当前像素点是否满足增强滤波模式的启用条件。比如说,确定当前像素点的滤波像素值与当前像素点的原始像素值之间的差值的绝对值是否小于预设阈值,若小于预设阈值,则确定当前块中的当前像素点满足增强滤波模式的启用条件,若不小于预设阈值,则确定当前块中的当前像素点不满足增强滤波模式的启用条件。综上所述,当前块中的当前像素点满足增强滤波模式的启用条件,可以包括:若当前块中的当前像素点对应的待滤波边界的边界强度满足增强滤波模式的启用条件,且当前像素点的滤波像素值与当前像素点的原始像素值之间的差值的绝对值小于预设阈值,则确定当前像素点满足增强滤波模式的启用条件。
以下结合具体实施例,对增强滤波模式的启用条件进行说明。
在需要进行滤波处理时,需要先判断是否跳过滤波过程,在不会跳过滤波过程时,还可以确定BS值,若BS值大于0,则可以对边界两侧的像素进行滤波。基于此,可以将“BS值大于0”作为增强滤波模式的启用条件,也就是说,“BS值大于0”同时作为普通滤波模式和增强滤波模式的启用条件。在BS值大于0时,需要对当前像素点的原始像素值进行去块滤波,得到当前像素点的滤波像素值。在得到当前像素点的滤波像素值之后,还可以确定当前像素点的滤波像素值与当前像素点的原始像素值之间的差值的绝对值是否小于预设阈值,并将“差值的绝对值是否小于预设阈值”作为增强滤波模式的启用条件。
综上所述,若当前块中的当前像素点对应的待滤波边界的边界强度满足增强滤波模式的启用条件,且当前像素点的滤波像素值与当前像素点的原始像素值之间的差值的绝对值小于预设阈值,则确定当前像素点满足增强滤波模式的启用条件。否则,确定当前像素点不满足增强滤波模式的启用条件。比如说,先确定当前像素点对应的待滤波边界的边界强度,若该边界强度为预设第二数值,则确定该边界强度满足增强滤波模式的启用条件。预设第二数值可以根据经验进行配置,如预设第二数值可以大于0,如预设第二数值可以为1、2、3、4等。
示例性的,在当前像素点满足增强滤波模式的启用条件时,则可以基于当前像素点的滤波像素值和当前像素点的原始像素值,确定当前像素点的调整像素值,即当前像素点的调整像素值作为当前像素点的目标像素值(去块滤波过程的最终像素值)。若当前块中的当前像素点不满足增强滤波模式的启用条件,则不对当前像素点的滤波像素值进行调整,当前像素点的滤波像素值作为当前像素点的目标像素值(去块滤波过程的最终像素值)。
从上述实施例1、2、3、4、5可以看出,本文涉及增强调整模式、普通滤波模式和增强滤波模式,可以基于增强调整模式、普通滤波模式或增强滤波模式对当前像素点的原始像素值进行处理,得到当前像素点的目标像素值(即最终像素值)。比如说,若当前像素点满足增强调整模式的启用条件,则在增强调整模式下,可以基于当前像素点的梯度值对当前像素点的原始像素值进行调整,得到当前像素点的调整像素值,将该调整像素值作为目标像素值。又例如,若当前像素点满足普通滤波模式的启用条件,但是不满足增强滤波模式的启用条件,则在普通滤波模式下,可以对当前像素点的原始像素值进行滤波,得到当前像素点的滤波像素值,将该滤波像素值作为目标像素值。又例如,若当前像素点满足普通滤波模式的启用条件,且满足增强滤波模式的启用条件,则在增强滤波模式下,可以对当前像素点的原始像素值进行滤波,得到当前像素点的滤波像素值,并基于当前像素点的滤波像素值对当前像素点的原始像素值进行调整,得到当前像素点的调整像素值,将该调整像素值作为目标像素值。
在一种可能的实施方式中,在对当前块进行去块滤波时,可以采用增强调整模式、普通滤波模式或增强滤波模式对当前像素点的原始像素值进行处理,也就是说,增强调整模式、普通滤波模式和增强滤波模式均归属于去块滤波模式,即,增强调整模式、普通滤波模式和增强滤波模式可以是去块滤波模式下的子模式。基于此,在去块滤波模式下,可以确定采用增强调整模式对当前像素点的原始像素值进行处理,或者,采用普通滤波模式对当前像素点的原始像素值进行处理,或者,采用增强滤波模式对当前像素点的原始像素值进行处理。
当然,增强调整模式、普通滤波模式和增强滤波模式也可以归属于其它类型的滤波模式,如SAO滤波模式或者ALF滤波模式等,即,增强调整模式、普通滤波模式和增强滤波模式可以是SAO滤波模式下的子模式,或者,增强调整模式、普通滤波模式和增强滤波模式可以是ALF滤波模式下的子模式。基于此,在SAO滤波模式或者ALF滤波模式下,可以确定采用增强调整模式对当前像素点的原始像素值进行处理,或者,采用普通滤波模式对当前像素点的原始像素值进行处理,或者,采用增强滤波模式对当前像素点的原始像素值进行处理。
示例性的,以增强调整模式、普通滤波模式和增强滤波模式均归属于去块滤波模式为例,则普通滤波模式可以称为去块滤波模式的普通模式,即对当前像素点的原始像素值进行去块滤波得到滤波像素值后,不再对去块滤波后的滤波像素值进行调整。增强滤波模式可以称为去块滤波调整模式(deblocking refinement,缩写为DBR),即对当前像素点的原始像素值进行去块滤波得到滤波像素值后,还需要对去块滤波后的滤波像素值进行调整。增强调整模式可以称为可选去块滤波调整模式(alt deblocking refinement,缩写为ADBR),即在不对当前像素点的原始像素值进行去块滤波的基础上,直接对当前像素点的原始像素值进行调整。
实施例6:针对实施例1、实施例2和实施例3,可以采用增强调整模式对当前像素点的原始像素值进行调整,在对原始像素值进行调整时,可以采用如下步骤:
步骤S21、基于当前像素点的原始像素值和当前像素点的周围像素点的原始像素值确定当前像素点的梯度值。比如说,当前像素点的梯度值,可以是基于当前像素点的原始像素值和周围像素点的原始像素值之间的差值确定,对此确定方式不做限制。
步骤S22、从当前块的相邻块(针对垂直边界来说,该相邻块是当前块的左侧相邻块,对于水平边界来说,该相邻块是当前块的上侧相邻块)中确定与当前像素点对应的参考像素点,并基于参考像素点的原始像素值和参考像素点的周围像素点的原始像素值确定参考像素点的梯度值。比如说,参考像素点的梯度值,可以是基于参考像素点的原始像素值和参考像素点的周围像素点的原始像素值之间的差值确定,对此确定方式不做限制。
示例性的,基于当前像素点的原始像素值和当前像素点的周围像素点(如周围像素点是参考像素点)的原始像素值确定当前像素点的梯度值,基于参考像素点的周围像素点(如周围像素点是当前像素点)的原始像素值和参考像素点的原始像素值确定参考像素点的梯度值。
比如说,假设pi为当前块中的当前像素点的原始像素值,也即参考像素点的周围像素点的原始像素值,qi为相邻块中的参考像素点的原始像素值,也即当前像素点的周围像素点的原始像素值,也就是说,pi和qi分别为边界两侧的原始像素值,则当前像素点pi的梯度值DPi可以采用如下方式确定:DPi=(pi-qi+2)>>2,参考像素点qi的梯度值DQi可以采用如下方式确定:DQi=(qi-pi+2)>>2。当然,上述只是确定当前像素点的梯度值和参考像素点的梯度值的示例,对此不做限制。显然,当前像素点的梯度值,可以是基于当前像素点的原始像素值和参考像素点的原始像素值之间的差值确定。参考像素点的梯度值,可以是基于参考像素点的原始像素值和当前像素点的原始像素值之间的差值确定。
以当前像素点pi是p0(对应图3的R0),参考像素点qi是q0(对应图3的L0)为例,当前像素点p0的梯度值DP0采用如下方式确定:DP0=(p0-q0+2)>>2,参考像素点q0的梯度值DQ0采用如下方式确定:DQ0=(q0-p0+2)>>2。DP0=(p0-q0+2)>>2的另一种表述为DP0=(p0-q0+1)>>1,DQ0=(q0-p0+2)>>2的另一种表述为DQ0=(q0-p0+1)>>1。
步骤S23、基于当前像素点的梯度值和当前像素点的原始像素值,确定当前像素点的调整像素值。比如说,若当前像素点的梯度值大于第一调整阈值,则基于当前像素点的原始像素值和第一调整偏移值(也可以称为第一调整偏移量)确定当前像素点的调整像素值。若当前像素点的梯度值小于第二调整阈值,则基于当前像素点的原始像素值和第二调整偏移值确定当前像素点的调整像素值。示例性的,第一调整阈值和第二调整阈值可以互为相反数。
步骤S24、基于参考像素点的梯度值和参考像素点的原始像素值,确定参考像素点的调整像素值。比如说,若参考像素点的梯度值大于第三调整阈值,则基于参考像素点的原始像素值和第三调整偏移值(也可以称为第三调整偏移量)确定参考像素点的调整像素值。若参考像素点的梯度值小于第四调整阈值,则基于参考像素点的原始像素值和第四调整偏移值确定参考像素点的调整像素值。示例性的,第三调整阈值和第四调整阈值可以互为相反数。
比如说,若当前像素点pi的梯度值DPi大于alt_dbr_th(alt_dbr_th表示第一调整阈值),则当前像素点pi的调整像素值Pi可以采用如下方式确定:Pi=clip(pi+alt_dbr_offset0),alt_dbr_offset0可以表示第一调整偏移值。或者,若当前像素点pi的梯度值DPi小于-alt_dbr_th(-alt_dbr_th表示第二调整阈值),则当前像素点pi的调整像素值Pi可以采用如下方式确定:Pi=clip(pi+alt_dbr_offset1),alt_dbr_offset1可以表示第二调整偏移值。
在上述实施例中,i可以为0、1、2,以i为0为例进行说明,则:若DP0>dbr_th,则P0=clip(p0+alt_dbr_offset0);若DP0<-dbr_th,则P0=clip(p0+alt_dbr_offset1)。
比如说,若参考像素点qi的梯度值DQi大于alt_dbr_th(alt_dbr_th表示第三调整阈值,此处以第三调整阈值与第一调整阈值相同为例,在实际应用中,第三调整阈值与第一调整阈值也可以不同),则参考像素点qi的调整像素值Qi可以采用如下方式确定:Qi=clip(qi+alt_dbr_offset0),alt_dbr_offset0可以表示第三调整偏移值,此次以第三调整偏移值与第一调整偏移值相同为例,在实际应用中,第三调整偏移值与第一调整偏移值也可以不同。
或者,若参考像素点qi的梯度值DQi小于-alt_dbr_th(-alt_dbr_th表示第四调整阈值,此处以第四调整阈值与第二调整阈值相同为例,在实际应用中,第四调整阈值与第二调整阈值也可以不同),则参考像素点qi的调整像素值Qi可以采用如下方式确定:Qi=clip(qi+alt_dbr_offset1),alt_dbr_offset1可以表示第四调整偏移值,此次以第四调整偏移值与第二调整偏移值相同为例,在实际应用中,第四调整偏移值与第二调整偏移值也可以不同。
在上述实施例中,i可以为0、1、2,以i为0为例进行说明,则:若DQ0>dbr_th,则Q0=clip(q0+alt_dbr_offset0);若DQ0<-dbr_th,则Q0=clip(q0+alt_dbr_offset1)。
在上述实施例中,pi表示当前像素点的原始像素值,DPi表示当前像素点的梯度值,Pi表示当前像素点的调整像素值,qi表示参考像素点的原始像素值,DQi表示参考像素点的梯度值,Qi表示参考像素点的调整像素值。clip(x)表示将x限制在[0,2∧(bit_depth)-1]之间(包括0和2∧(bit_depth)-1),bit_depth表示图像的比特深度,一般为8、10、12等。
在一种可能的实施方式中,针对解码端来说,可以从高层语法中解析出当前块对应的第一调整阈值,第一调整偏移值,第二调整偏移值,第三调整阈值,第三调整偏移值和第四调整偏移值。由于第一调整阈值与第二调整阈值互为相反数,第三调整阈值与第四调整阈值互为相反数,因此,解码端可以确定出第二调整阈值和第四调整阈值。
在另一种可能的实施方式中,针对解码端来说,可以从高层语法中解析出当前块对应的第一调整阈值,第一调整偏移值,第二调整偏移值,第四调整阈值,第三调整偏移值和第四调整偏移值。由于第一调整阈值与第二调整阈值互为相反数,第三调整阈值与第四调整阈值互为相反数,因此,解码端可以确定出第二调整阈值和第三调整阈值。
在另一种可能的实施方式中,针对解码端来说,可以从高层语法中解析出当前块对应的第二调整阈值,第一调整偏移值,第二调整偏移值,第三调整阈值,第三调整偏移值和第四调整偏移值。由于第一调整阈值与第二调整阈值互为相反数,第三调整阈值与第四调整阈值互为相反数,因此,解码端可以确定出第一调整阈值和第四调整阈值。
在另一种可能的实施方式中,针对解码端来说,可以从高层语法中解析出当前块对应的第二调整阈值,第一调整偏移值,第二调整偏移值,第四调整阈值,第三调整偏移值和第四调整偏移值。由于第一调整阈值与第二调整阈值互为相反数,第三调整阈值与第四调整阈值互为相反数,因此,解码端可以确定出第一调整阈值和第三调整阈值。
在另一种可能的实施方式中,针对解码端来说,可以从高层语法中解析出当前块对应的第一调整阈值(或第二调整阈值,或第三调整阈值,或第四调整阈值,即能够通过一个调整阈值推导出其它三个调整阈值),第一调整偏移值(或第三调整偏移值)和第二调整偏移值(或第四调整偏移值)。在此基础上,由于第一调整阈值与第二调整阈值互为相反数,因此,可以确定出第二调整阈值。由于第一调整阈值与第三调整阈值相同,因此,可以确定出第三调整阈值。由于第三调整偏移值与第一调整偏移值相同,因此,可以确定出第三调整偏移值。由于第四调整偏移值与第二调整偏移值相同,因此,可以确定出第四调整偏移值。由于第三调整阈值与第四调整阈值互为相反数,因此,可以确定出第四调整阈值。
当然,上述方式只是几个示例,对此不做限制,只要解码端能够获知第一调整阈值、第二调整阈值、第三调整阈值、第四调整阈值、第一调整偏移值、第二调整偏移值、第三调整偏移值和第四调整偏移值即可,即上述各数值可以通过解析得到或者推导得到。
在上述实施例中,高层语法可以包括但不限于如下语法中的一种:SPS级高层语法;PPS级高层语法;图像头级高层语法;帧级高层语法;片头级高层语法;CTU级高层语法;CU级高层语法。当然,上述只是高层语法的几个示例,对此高层语法的类型不做限制,只要能够通过高层语法携带当前块对应的调整阈值和调整偏移值即可。
在上述实施例中,当前块可以为亮度分量或者色度分量。
在一种可能的实施方式中,可以通过增强调整模式使能标志位表示是否允许启用增强调整模式,若增强调整模式使能标志位允许当前块启用增强调整模式,则需要确定当前块中的当前像素点是否满足增强调整模式的启用条件,若当前像素点满足增强调整模式的启用条件,则采用增强调整模式对当前像素点的原始像素值进行调整。若增强调整模式使能标志位不允许当前块启用增强调整模式,则直接确定当前块中的每个像素点不满足增强调整模式的启用条件,不会采用增强调整模式对当前像素点的原始像素值进行调整。在此基础上,若当前块对应的增强调整模式使能标志位允许当前块启用增强调整模式,则确定当前块中的当前像素点是否满足增强调整模式的启用条件。若当前块对应的增强调整模式使能标志位不允许当前块启用增强调整模式,则确定当前块中的每个像素点不满足增强调整模式的启用条件。
示例性的,针对解码端来说,可以从高层语法中解析出当前块对应的增强调整模式使能标志位。比如说,若该增强调整模式使能标志位为第一取值(如1),则说明增强调整模式使能标志位允许当前块启用增强调整模式,若该增强调整模式使能标志位为第二取值(如0),则说明增强调整模式使能标志位不允许当前块启用增强调整模式。
在上述实施例中,高层语法可以包括但不限于如下语法中的一种:SPS级高层语法;PPS级高层语法;图像头级高层语法;帧级高层语法;片头级高层语法;CTU级高层语法;CU级高层语法。当然,上述只是高层语法的几个示例,对此高层语法的类型不做限制,只要能够通过高层语法携带当前块对应的增强调整模式使能标志位即可。
实施例7:针对实施例1和实施例5,可以采用增强滤波模式对当前像素点的原始像素值进行调整,在对当前像素点的原始像素值进行调整时,可以采用如下步骤:
步骤S31、对当前像素点的原始像素值进行去块滤波,得到当前像素点的滤波像素值。
步骤S32、从当前块的相邻块(针对垂直边界来说,该相邻块是当前块的左侧相邻块,对于水平边界来说,该相邻块是当前块的上侧相邻块)中确定与当前像素点对应的参考像素点,并对参考像素点的原始像素值进行去块滤波,得到参考像素点的滤波像素值。
示例性的,可以采用DBF滤波(即去块滤波)方式对当前像素点的原始像素值进行去块滤波,得到当前像素点的滤波像素值,并采用DBF滤波方式对参考像素点的原始像素值进行去块滤波,得到参考像素点的滤波像素值。当然,也可以采用SAO滤波方式对当前像素点的原始像素值进行滤波,得到当前像素点的滤波像素值,并采用SAO滤波方式对参考像素点的原始像素值进行滤波,得到参考像素点的滤波像素值。或者,可以采用ALF滤波方式对当前像素点的原始像素值进行滤波,得到当前像素点的滤波像素值,并采用ALF滤波方式对参考像素点的原始像素值进行滤波,得到参考像素点的滤波像素值。为了方便描述,在后续实施例中,以采用DBF滤波方式对当前像素点和参考像素点的原始像素值进行去块滤波为例。
参见图3所示,基于当前像素点的位置,可以只对当前像素点和参考像素点进行水平DBF滤波,也可以只对当前像素点和参考像素点进行垂直DBF滤波,还可以先对当前像素点和参考像素点进行垂直DBF滤波,后对当前像素点和参考像素点进行水平DBF滤波。
步骤S33、基于当前像素点的滤波像素值和当前像素点的原始像素值,确定当前像素点的调整像素值。比如说,基于当前像素点的滤波像素值,当前像素点的原始像素值,第一滤波阈值,第二滤波阈值,第一滤波偏移值和第二滤波偏移值,确定当前像素点的调整像素值;其中,该第一滤波阈值和该第二滤波阈值可以互为相反数。
步骤S34、基于参考像素点的滤波像素值和参考像素点的原始像素值,确定参考像素点的调整像素值。比如说,基于参考像素点的滤波像素值,参考像素点的原始像素值,第三滤波阈值,第四滤波阈值,第三滤波偏移值和第四滤波偏移值,确定参考像素点的调整像素值;其中,该第三滤波阈值和该第四滤波阈值可以互为相反数。
示例性的,若当前像素点只满足普通滤波模式的启用条件,不满足增强滤波模式的启用条件,则执行步骤S31和步骤S32,将滤波像素值作为目标像素值(去块滤波过程的最终像素值)。若当前像素点满足普通滤波模式的启用条件和增强滤波模式的启用条件,则执行步骤S31-步骤S34,将调整像素值作为目标像素值(去块滤波过程的最终像素值)。
在步骤S33和步骤S34中,可以基于滤波像素值与未经过滤波处理的原始像素值,对像素点的原始像素值进行增强滤波处理,即对像素点的原始像素值进行增强滤波处理,得到增强处理后的调整像素值,以使增强处理后的调整像素值相比滤波像素值来说,更接近真实像素,避免由于过滤波导致的滤波像素值远大于或远小于像素点的真实像素,提升图像质量。
示例性的,针对步骤S33来说,若当前像素点的滤波像素值与当前像素点的原始像素值之间的差值大于第一滤波阈值,则可以基于当前像素点的滤波像素值,当前像素点的原始像素值和第一滤波偏移值,确定当前像素点的调整像素值。若当前像素点的滤波像素值与当前像素点的原始像素值之间的差值小于第二滤波阈值,则可以基于当前像素点的滤波像素值,当前像素点的原始像素值和第二滤波偏移值,确定当前像素点的调整像素值。
比如说,设Y1(i)表示当前像素点的原始像素值,Y2(i)表示当前像素点的滤波像素值,Y3(i)表示当前像素点的调整像素值,并设Yv(i)=(Y1(i)+Y2(i)+1)>>1。
基于此,若Y1(i)-Y2(i)>Tv,则Y3(i)=Clip(Yv(i)+f0v);若Y1(i)-Y2(i)<NTv,则Y3(i)=Clip(Yv(i)+f1v)。在上述公式中,Tv可以表示第一滤波阈值,f0v可以表示第一滤波偏移值,NTv,可以表示第二滤波阈值,f1v,可以表示第二滤波偏移值,NTv,一般设为-Tv,也可以为其它值,clip(x)表示将x限制在预设取值范围内,该范围一般为[0,2D-1],D为图像比特深度,对于8比特图像,范围为[0,255],对于10比特图像,范围为[0,1023]。
为了避免增强处理后的调整像素值超出像素值取值范围,在得到调整像素值时,可以通过Clip(修剪)操作,将调整像素值Clip到预设取值范围。当调整像素值大于预设取值范围的上限时,将调整像素值设置为预设取值范围的上限;当调整像素值小于预设阈值范围的下限时,将调整像素值设置为预设取值范围的下限。举例来说,以8比特图像为例,当调整像素值小于0时,将调整像素值设置为0;当调整像素值大于255时,将调整像素值设置为255。
示例性的,针对步骤S34来说,若参考像素点的滤波像素值与参考像素点的原始像素值之间的差值大于第三滤波阈值,则可以基于参考像素点的滤波像素值,参考像素点的原始像素值和第三滤波偏移值,确定参考像素点的调整像素值。若参考像素点的滤波像素值与参考像素点的原始像素值之间的差值小于第四滤波阈值,则可以基于参考像素点的滤波像素值,参考像素点的原始像素值和第四滤波偏移值,确定参考像素点的调整像素值。参考像素点的调整像素值的确定方式与当前像素点的调整像素值的确定方式类似,在此不再赘述。
示例性的,第三滤波阈值与第一滤波阈值可以相同,也可以不同,第三滤波偏移值与第一滤波偏移值可以相同,也可以不同,第四滤波阈值与第二滤波阈值可以相同,也可以不同,第四滤波偏移值与第二滤波偏移值可以相同,也可以不同。
在一种可能的实施方式中,针对解码端来说,可以从高层语法中解析出当前块对应的第一滤波阈值,第一滤波偏移值,第二滤波偏移值,第三滤波阈值,第三滤波偏移值和第四滤波偏移值。由于第一滤波阈值与第二滤波阈值互为相反数,第三滤波阈值与第四滤波阈值互为相反数,因此,解码端可以确定出第二滤波阈值和第四滤波阈值。
在另一种可能的实施方式中,针对解码端来说,可以从高层语法中解析出当前块对应的第一滤波阈值,第一滤波偏移值,第二滤波偏移值,第四滤波阈值,第三滤波偏移值和第四滤波偏移值。由于第一滤波阈值与第二滤波阈值互为相反数,第三滤波阈值与第四滤波阈值互为相反数,因此,解码端可以确定出第二滤波阈值和第三滤波阈值。
在另一种可能的实施方式中,针对解码端来说,可以从高层语法中解析出当前块对应的第二滤波阈值,第一滤波偏移值,第二滤波偏移值,第三滤波阈值,第三滤波偏移值和第四滤波偏移值。由于第一滤波阈值与第二滤波阈值互为相反数,第三滤波阈值与第四滤波阈值互为相反数,因此,解码端可以确定出第一滤波阈值和第四滤波阈值。
在另一种可能的实施方式中,针对解码端来说,可以从高层语法中解析出当前块对应的第二滤波阈值,第一滤波偏移值,第二滤波偏移值,第四滤波阈值,第三滤波偏移值和第四滤波偏移值。由于第一滤波阈值与第二滤波阈值互为相反数,第三滤波阈值与第四滤波阈值互为相反数,因此,解码端可以确定出第一滤波阈值和第三滤波阈值。
在另一种可能的实施方式中,针对解码端来说,可以从高层语法中解析出当前块对应的第一滤波阈值(或第二滤波阈值,或第三滤波阈值,或第四滤波阈值,即能够通过一个滤波阈值推导出其它三个滤波阈值),第一滤波偏移值(或第三滤波偏移值)和第二滤波偏移值(或第四滤波偏移值)。在此基础上,由于第一滤波阈值与第二滤波阈值互为相反数,因此,可以确定出第二滤波阈值。由于第一滤波阈值与第三滤波阈值相同,因此,可以确定出第三滤波阈值。由于第三滤波偏移值与第一滤波偏移值相同,因此,可以确定出第三滤波偏移值。由于第四滤波偏移值与第二滤波偏移值相同,因此,可以确定出第四滤波偏移值。由于第三滤波阈值与第四滤波阈值互为相反数,因此,可以确定出第四滤波阈值。
当然,上述方式只是几个示例,对此不做限制,只要解码端能够获知第一滤波阈值、第二滤波阈值、第三滤波阈值、第四滤波阈值、第一滤波偏移值、第二滤波偏移值、第三滤波偏移值和第四滤波偏移值即可,即上述各数值可以通过解析得到或者推导得到。
在上述实施例中,高层语法可以包括但不限于如下语法中的一种:SPS级高层语法;PPS级高层语法;图像头级高层语法;帧级高层语法;片头级高层语法;CTU级高层语法;CU级高层语法。当然,上述只是高层语法的几个示例,对此高层语法的类型不做限制,只要能够通过高层语法携带当前块对应的滤波阈值和滤波偏移值即可。
在上述实施例中,当前块可以为亮度分量或者色度分量。
在一种可能的实施方式中,可以通过增强滤波模式使能标志位表示是否允许启用增强滤波模式,若增强滤波模式使能标志位允许当前块启用增强滤波模式,则需要确定当前块中的当前像素点是否满足增强滤波模式的启用条件,若当前像素点满足增强滤波模式的启用条件,则采用增强滤波模式对当前像素点的原始像素值进行调整。若增强滤波模式使能标志位不允许当前块启用增强滤波模式,则直接确定当前块中的每个像素点不满足增强滤波模式的启用条件,不会采用增强滤波模式对当前像素点的原始像素值进行调整。在此基础上,若当前块对应的增强滤波模式使能标志位允许当前块启用增强滤波模式,则确定当前块中的当前像素点是否满足增强滤波模式的启用条件。若当前块对应的增强滤波模式使能标志位不允许当前块启用增强滤波模式,则确定当前块中的每个像素点不满足增强滤波模式的启用条件。
示例性的,针对解码端来说,可以从高层语法中解析出当前块对应的增强滤波模式使能标志位。比如说,若该增强滤波模式使能标志位为第一取值(如1),则说明增强滤波模式使能标志位允许当前块启用增强滤波模式,若该增强滤波模式使能标志位为第二取值(如0),则说明增强滤波模式使能标志位不允许当前块启用增强滤波模式。
在上述实施例中,高层语法可以包括但不限于如下语法中的一种:SPS级高层语法;PPS级高层语法;图像头级高层语法;帧级高层语法;片头级高层语法;CTU级高层语法;CU级高层语法。当然,上述只是高层语法的几个示例,对此高层语法的类型不做限制,只要能够通过高层语法携带当前块对应的增强滤波模式使能标志位即可。
实施例8:在满足普通滤波模式的启用条件时,可以采用DBF滤波方式(即去块滤波方式)对像素点的原始像素值进行去块滤波,由于DBF滤波分为垂直DBF滤波和水平DBF滤波,因此,可以采用如下步骤对像素点的原始像素值进行去块滤波处理:
第一步:原始像素值Y1(i)通过垂直DBF滤波后得到滤波像素值Y2(i);
第二步:像素值Y2(i)通过水平DBF滤波后得到滤波像素值Y3(i)。
示例性的,若只对像素点进行垂直DBF滤波,则只执行第一步,得到像素点的滤波像素值。若只对像素点进行水平DBF滤波,则只执行第二步,得到像素点的滤波像素值,将第二步的像素值Y2(i)替换为像素点的原始像素值即可。若对像素点先进行垂直DBF滤波,后进行水平DBF滤波,则依次执行第一步和第二步。
在满足普通滤波模式的启用条件和增强滤波模式的启用条件时,可以采用DBF滤波方式(即去块滤波方式)对像素点的原始像素值进行去块滤波,并对去块滤波后的滤波像素值进行调整,由于DBF滤波分为垂直DBF滤波和水平DBF滤波,因此,可以采用如下步骤对像素点的原始像素值进行去块滤波处理,并对去块滤波后的滤波像素值进行调整:
第一步:原始像素值Y1(i)通过垂直DBF滤波后得到滤波像素值Y2(i);
第二步:基于Y2(i)-Y1(i),获得调整像素值Y3(i);
第三步:像素值Y3(i)通过水平DBF滤波后得到滤波像素值Y4(i);
第四步:基于Y4(i)-Y3(i),获得调整像素值Y5(i)。
示例性的,若只对像素点进行垂直DBF滤波,则只执行第一步和第二步,得到像素点的调整像素值。若只对像素点进行水平DBF滤波,则只执行第三步和第四步,得到像素点的调整像素值,将第三步的像素值Y3(i)替换为像素点的原始像素值即可。若对像素点先进行垂直DBF滤波,后进行水平DBF滤波,则依次执行第一步、第二步、第三步和第四步。若对像素点先进行水平DBF滤波,后进行垂直DBF滤波,则执行步骤类似,在此不再赘述。
示例性的,针对第二步和第四步,就是满足增强滤波模式的启用条件时,采用增强滤波模式的处理过程,即,对滤波像素值进行调整,得到调整像素值的过程。
在第二步中,假设Yv(i)=(Y1(i)+Y2(i)+1)>>1,若Y1(i)-Y2(i)>Tv,则Y3(i)=Clip(Yv(i)+f0v),若Y1(i)-Y2(i)<NTv,则Y3(i)=Clip(Yv(i)+f1v),否则,Y3(i)=Y2(i)(在一种实施例中,该种情况也可以对Y2(i)进行滤波获得Y3(i),如Y3(i)=Y2(i)+f2v)。
示例性的,clip(x)表示将x限制在预设的图像取值范围内,该图像取值范围一般可以为[0,2D-1],D为图像比特深度,因此,对于8比特图像,该图像取值范围可以为[0,255],对于10比特图像,该图像取值范围为[0,1023]。阈值NTv一般设为-Tv,也可以为其它值。
类似的,与第二步的处理过程类似,在第四步中,假设Yh(i)=(Y3(i)+Y`4(i)+1)>>1,若Y4(i)-Y3(i)>Th,则Y5(i)=Clip(Yh(i)+f0h),若Y1(i)-Y2(i)<NTh,则Y5(i)=Clip(Yh(i)+f1h),否则,Y5(i)=Y`4(i)(在一种实施例中,该种情况也可以对Y`4(i)进行滤波获得Y5(i),如Y5(i)=Y`4(i)+f2h),NTh一般设为-Th,也可以为其它值。
在上述实施例中,Tv和NTv为滤波阈值,f0v、flv和f2v为滤波偏移值,clip(x)表示将x限制在预设的取值范围内。比如说,Tv为上文中的第一滤波阈值和第三滤波阈值(以第一滤波阈值和第三滤波阈值相同为例),NTv为上文中的第二滤波阈值和第四滤波阈值(以第二滤波阈值和第四滤波阈值相同为例),f0v为上文中的第一滤波偏移值和第三滤波偏移值(以第一滤波偏移值和第三滤波偏移值相同为例),f1v为上文中的第二滤波偏移值和第四滤波偏移值(以第二滤波偏移值和第四滤波偏移值相同为例)。NTv=-Tv,即Tv和NTv互为相反数。
在上述实施例中,Th和NTh为滤波阈值,f0h、f1h和f2h为滤波偏移值,clip(x)表示将x限制在预设的取值范围内。比如说,Th为上文中的第一滤波阈值和第三滤波阈值(以第一滤波阈值和第三滤波阈值相同为例),NTh为上文中的第二滤波阈值和第四滤波阈值(以第二滤波阈值和第四滤波阈值相同为例),f0h为上文中的第一滤波偏移值和第三滤波偏移值(以第一滤波偏移值和第三滤波偏移值相同为例),f1h为上文中的第二滤波偏移值和第四滤波偏移值(以第二滤波偏移值和第四滤波偏移值相同为例)。NTh=-Th,即Th和NTh互为相反数。
实施例9:在DBF中,仅根据一个既定准则进行滤波,会存在过滤波或欠滤波的情况。例如,若进行DBF前的重建值为Y1,经过DBF滤波后的像素值为Y2,则可基于Y2-Y1进行分类。基于滤波残差分类的主要好处是,可以对于一些过滤波或伪滤波的像素值进行特殊增强,以实现这些类别的像素更接近原始值的效果。所谓过滤波,是指Y2远大于(或远小于)Y1,以至于Y2远大于(或远小于)原始像素值。所谓伪滤波,是指Y2-Y1为0,或接近于0,即这些像素值经过滤波后仍保持不变,未达到滤波效果。针对上述发现,本实施例中,可以采用增强调整模式对像素点的像素值进行调整,也就是说,若对当前块中的当前像素点启用增强调整模式,则可以采用增强调整模式对像素点的原始像素值进行调整,而不再采用普通滤波模式或者增强滤波模式对像素点的原始像素值进行调整。
在一种可能的实施方式中,原始像素值的调整过程,可以包括以下步骤:
第一步:原始像素值Y1(i)通过垂直DBF滤波后得到滤波像素值Y2(i);
第二步:基于Y2(i)-Y1(i),获得调整像素值Y3(i);
第三步:像素值Y3(i)通过水平DBF滤波后得到滤波像素值Y4(i);
第四步:基于Y4(i)-Y3(i),获得调整像素值Y5(i)。
在第二步中,存在如下两种情况,abs(Y2(i)-Y1(i))<阈值和abs(Y2(i)-Y1(i))不小于阈值,若abs(Y2(i)-Y1(i))<阈值,还可以分为以下两种情况,即BS为0和BS大于0。示例性的,该阈值可以为上述实施例的第一滤波阈值或者第二滤波阈值,比如说,第一滤波阈值和第二滤波阈值互为相反数,若第一滤波阈值为正值,则该阈值可以为第一滤波阈值,若第二滤波阈值为正值,则该阈值可以为第二滤波阈值。
综上所述,可以将原始像素值的调整过程划分为如下三种情况:
情况1、BS为0,此时不进行滤波(即Y2(i)等于Y1(i),相当于不对原始像素值Y1(i)进行垂直DBF滤波,即不会执行第一步),但是,可以采用增强调整模式对原始像素值Y1(i)进行调整,得到调整像素值。
情况2、BS大于0,但是,abs(Y2(i)-Y1(i))<阈值,此时可以进行滤波(即对原始像素值Y1(i)进行垂直DBF滤波,即执行第一步)。在执行第一步的基础上,还可以采用增强滤波模式对滤波像素值Y2(i)进行调整,得到像素点的调整像素值Y3(i)。
情况3、BS大于0,但是,abs(Y2(i)-Y1(i))不小于阈值,此时可以进行滤波(即对原始像素值Y1(i)进行垂直DBF滤波,即执行第一步)。在执行第一步的基础上,不再采用增强滤波模式对滤波像素值Y2(i)进行调整,即不再执行第二步,也就是,Y3(i)=Y2`(i)。
在第四步中,存在如下两种情况,abs(Y4(i)-Y3(i))<阈值和abs(Y4(i)-Y3(i))不小于阈值,若abs(Y4(i)-Y3(i))<阈值,则还可以分为以下两种情况,即BS为0和BS大于0。
综上所述,可以将原始像素值的调整过程划分为如下三种情况:
情况1、BS为0,此时不进行滤波(即Y4(i)等于Y3(i),相当于不对原始像素值Y3(i)进行水平DBF滤波,不会执行第三步),但是,可以采用增强调整模式对原始像素值Y3(i)进行调整,得到调整像素值。
情况2、BS大于0,但是,abs(Y4(i)-Y3(i))<阈值,此时可以进行滤波(即对原始像素值Y3(i)进行水平DBF滤波,即执行第三步),在执行第三步的基础上,还可以采用增强滤波模式对像素点的滤波像素值Y4(i)进行调整,得到像素点的调整像素值Y5(i)。
情况3、BS大于0,但是,abs(Y4(i)-Y3(i))不小于阈值,此时可以进行滤波(即对原始像素值Y3(i)进行水平DBF滤波,即执行第三步)。在执行第三步的基础上,不再采用增强滤波模式对滤波像素值Y4(i)进行调整,即不再执行第四步,也就是,Y5(i)=Y4(i)。
综上所述,若BS为0,则采用增强调整模式进行处理,即可以不进行滤波处理,也就是说,Y2(i)=Y1(i),且Y4(i)=Y3(i),在此基础上,可以采用增强调整模式对Y1(i)进行调整,并可以采用增强调整模式对Y3(i)进行调整,因此,可以采用如下步骤进行DBF滤波处理:
第一步:原始像素值Y1(i)通过垂直DBF滤波后得到滤波像素值Y2(i)。
第二步:若BS为0,则通过增强调整模式对Y1(i)进行调整,得到调整像素值Y3(i)。若BS大于0,且abs(Y2(i)-Y1(i))<阈值,则启用增强滤波模式,基于Y2(i)-Y1(i),获得调整像素值Y3(i),参见实施例8的第二步。若BS大于0,且abs(Y2(i)-Y1(i))不小于阈值,则启用普通滤波模式,不再对滤波像素值Y2(i)进行调整,即,Y3(i)=Y2`(i)。
示例性的,若BS为0,实际上并不执行第一步,即并不需要得到滤波像素值Y2(i)。
第三步:像素值Y3(i)通过水平DBF滤波后得到滤波像素值Y4(i)。
第四步:若BS为0,则通过增强调整模式对Y3(i)进行调整,得到调整像素值Y5(i)。若BS大于0,且abs(Y4(i)-Y3(i))<阈值,则启用增强滤波模式,基于Y4(i)-Y3(i),获得调整像素值Y5(i),参见实施例8的第四步。若BS大于0,且abs(Y4(i)-Y3(i))不小于阈值,则启用普通滤波模式,不再对滤波像素值Y4(i)进行调整,即,Y5(i)=Y4(i)。
示例性的,若BS为0,实际上并不执行第三步,即并不需要得到滤波像素值Y4(i)。
在另一可能的实施方式中,若BS大于0,则进行滤波处理,但滤波处理后abs(Y2(i)-Y1(i))<阈值,则采用增强滤波模式进行处理,即可以采用如下步骤进行DBF滤波处理:
第一步:原始像素值Y1(i)通过垂直DBF滤波后得到滤波像素值Y2(i)。
第二步:若BS大于0,但是,对Y1(i)进行垂直DBF滤波后,仍然满足abs(Y2(i)-Y1(i))<阈值,则通过增强滤波模式获得调整像素值Y3(i),比如说,Y3(i)通过Y1(i)加补偿值获得。否则,若abs(Y2(i)-Y1(i))不小于阈值,则Y3(i)=Y2`(i)。
第三步:像素值Y3(i)通过水平DBF滤波后得到滤波像素值Y4(i)。
第四步:若BS大于0,但是,对Y3(i)进行水平DBF滤波后,仍然满足abs(Y4(i)-Y3(i))<阈值,则通过增强滤波模式获得调整像素值Y5(i),比如说,Y5(i)通过Y3(i)加补偿值获得。否则,若abs(Y4(i)-Y3(i))不小于阈值,则Y5(i)=Y4(i)。
实施例10:针对实施例9,若BS为0,则通过增强调整模式对Y1(i)进行调整,得到调整像素值Y3(i),具体调整过程参见如下步骤。若BS为0,则通过增强调整模式对Y3(i)进行调整,得到调整像素值Y5(i),该过程与得到调整像素值Y3(i)的过程类似,在此不再赘述。
首先,确定Y1(i)的梯度值,Y1(i)可以是当前像素点的原始像素值,也可以是参考像素点的原始像素值。针对垂直边界来说,可以计算Y1(i)的水平梯度值DY1(i);针对水平边界来说,可以计算Y1(i)的垂直梯度值DY1(i)。比如说,假设pi和qi分别为当前像素点的原始像素值和参考像素点的原始像素值(对应Y1(i)),则计算当前像素点的原始像素值pi的梯度值DP0:DP0=(pi-qi+2)>>2,计算参考像素点的原始像素值qi的梯度值DQ0:DQ0=(qi-pi+2)>>2。
然后,基于DY1(i)的大小,进行补偿调整得到Y3(i)。比如说,采用如下方式确定出当前像素点的原始像素值pi对应的调整像素值Pi:若DPi>alt_dbr_th,则Pi=clip(pi+alt_dbr_offset0);若DPi<-alt_dbr_th,则Pi=clip(pi+alt_dbr_offset1),i为0、1、2等。采用如下方式确定出参考像素点的原始像素值qi对应的调整像素值Qi:若DQi>alt_dbr_th,则Qi=clip(qi+alt_dbr_offset0);若DQi<-alt_dbr_th,则Qi=clip(qi+alLdbr_offset1),i为0、1、2。
在上述公式中,alt_dbr_th表示第一调整阈值和第三调整阈值(以第三调整阈值与第一调整阈值相同为例),alt_dbr_offset0表示第一调整偏移值和第三调整偏移值(以第三调整偏移值与第一调整偏移值相同为例),alt_dbr_offset1表示第二调整偏移值和第四调整偏移值(以第四调整偏移值与第二调整偏移值相同为例),-alt_dbr_th表示第二调整阈值和第四调整阈值(以第四调整阈值与第二调整阈值相同为例),且-alt_dbr_th与alt_dbr_th互为相反数。
实施例11:通过高层语法(如SPS级高层语法)控制增强调整模式的启用。比如说,在序列头中编码/解码标志位adbr_enable_flag,即编码端在序列头中编码标志位adbr_enable_flag,解码端从序列头中解码标志位adbr_enable_flag。adbr_enable_flag为二值变量,值为‘1’表示可使用增强调整模式,值为‘0’表示不应使用增强调整模式。AdbrEnableFlag的值等于adbr_enable_flag,如果位流中不存在adbr_enable_flag,AdbrEnableFlag的值为0。
综上所述,针对解码端来说,可以从高层语法中解析出当前块对应的增强调整模式使能标志位(即AdbrEnableFlag),若该增强调整模式使能标志位为1,则说明增强调整模式使能标志位允许当前块启用增强调整模式,若该增强调整模式使能标志位为0,则说明增强调整模式使能标志位不允许当前块启用增强调整模式。
实施例12:通过高层语法(如SPS级高层语法)同时控制增强滤波模式的启用和增强调整模式的启用。比如说,在序列头中编码/解码标志位dbr_enable_flag,即编码端在序列头中编码标志位dbr_enable_flag,解码端从序列头中解码标志位dbr_enable_flag。
dbr_enable_flag为二值变量,值为‘1’表示可允许使用增强滤波模式和增强调整模式,值为‘0’表示不允许使用增强滤波模式和增强调整模式。DbrEnableFlag的值等于dbr_enable_flag,如果位流中不存在dbr_enable_flag,DbrEnableFlag的值为0。
综上所述,针对解码端来说,可以从高层语法中解析出当前块对应的增强滤波模式使能标志位和增强调整模式使能标志位(即DbrEnableFlag,也就是DbrEnableFlag同时作为增强滤波模式使能标志位和增强调整模式使能标志位),若DbrEnableFlag为1,则说明允许当前块启用增强滤波模式和增强调整模式,若DbrEnableFlag为0,则说明不允许当前块启用增强滤波模式和增强调整模式。
实施例13:高层语法(如图像头高层语法)的一种表述可以参见表1所示,比如说,在图像头编码/解码表1所示的语法。即,编码端在图像头编码表1所示的语法,解码端从图像头中解码表1所示的语法。
表1
Figure BDA0002949182320000261
在表1中,相关语法的含义如下所示:
图像级去块滤波垂直调整允许标志picture_dbr_v_enable_flag,picture_dbr_v_enable_flag是二值变量,值为‘1’表示当前图像允许使用去块滤波垂直调整,值为‘0’表示当前图像不允许使用去块滤波垂直调整。PictureDbrVEnableFlag的值等于picture_dbr_v_enable_flag的值,如果位流中不存在picture_dbr_v_enable_flag,则PhDbrVEnableFlag的值为0。
示例性的,针对增强调整模式来说,PictureDbrVEnableFlag与增强调整模式使能标志位对应,是针对垂直DBF滤波的增强调整模式使能标志位。也就是说,在需要进行垂直DBF滤波时,PictureDbrVEnableFlag表示允许启用增强调整模式,或不允许启用增强调整模式。
示例性的,针对增强滤波模式来说,PictureDbrVEnableFlag与增强滤波模式使能标志位对应,是针对垂直DBF滤波的增强滤波模式使能标志位。也就是说,在需要进行垂直DBF滤波时,PictureDbrVEnableFlag表示允许启用增强滤波模式,或不允许启用增强滤波模式。
综上所述,PictureDbrVEnableFlag可以表示针对垂直DBF滤波的增强调整模式使能标志位和针对垂直DBF滤波的增强滤波模式使能标志位,也就是说,增强调整模式使能标志位和增强滤波模式使能标志位共用同一个标志位,即,当前图像同时允许启用增强调整模式和增强滤波模式,或者,当前图像同时不允许启用增强调整模式和增强滤波模式。
去块滤波垂直调整阈值dbr_v_threshold_minus1,dbr_v_threshold_minus1用于确定当前图像去块滤波垂直调整的阈值,取值范围是0-1。DbrVThreshold的值等于dbr_v_threshold_minus1的值加1,如果位流中不存在dbr_v_threshold_minus1,则DbrVThreshold的值为0。
示例性的,针对增强调整模式来说,DbrVThreshold与第一调整阈值(以第三调整阈值与第一调整阈值相同为例)对应,是针对垂直DBF滤波的第一调整阈值。也就是说,在需要进行垂直DBF滤波时,DbrVThreshold表示上述实施例的第一调整阈值。而且,上述实施例的第二调整阈值(以第四调整阈值与第二调整阈值相同为例)与第一调整阈值互为相反数,因此,也可以基于DbrVThreshold确定出第二调整阈值。
示例性的,针对增强滤波模式来说,DbrVThreshold与第一滤波阈值(以第三滤波阈值与第一滤波阈值相同为例)对应,是针对垂直DBF滤波的第一滤波阈值。也就是说,在需要进行垂直DBF滤波时,DbrVThreshold表示上述实施例的第一滤波阈值。而且,上述实施例的第二滤波阈值(以第四滤波阈值与第二滤波阈值相同为例)与第一滤波阈值互为相反数,因此,也可以基于DbrVThreshold确定出第二滤波阈值。
综上所述,DbrVThreshold可以表示针对垂直DBF滤波的第一调整阈值和第一滤波阈值,也就是说,第一调整阈值和第一滤波阈值相同,二者为同一个取值。
去块滤波垂直调整偏移值0(dbr_v_offset0_minus1),用于确定当前图像去块滤波垂直调整的偏移值0,取值范围是0-3。DbrVOffset0的值等于dbr_v_offset0_minus1的值加1后的负值,如果位流中不存在dbr_v_offset0_minus1,则DbrVOffset0的值为0。
示例性的,针对增强滤波模式来说,DbrVOffset0与第一滤波偏移值(以第三滤波偏移值与第一滤波偏移值相同为例)对应,是针对垂直DBF滤波的第一滤波偏移值,即,在需要进行垂直DBF滤波时,DbrVOffset0表示上述实施例的第一滤波偏移值。
去块滤波垂直调整偏移值1(dbr_v_offset1_minus1),用于确定当前图像去块滤波垂直调整的偏移值1,取值范围可以是0-3。DbrVOffset1的值等于dbr_v_offset1_minus1的值加1。如果位流中不存在dbr_v_offset1_minus1,则DbrVOffset1的值为0。
示例性的,针对增强滤波模式来说,DbrVOffset1与第二滤波偏移值(以第四滤波偏移值与第二滤波偏移值相同为例)对应,是针对垂直DBF滤波的第二滤波偏移值,即,在需要进行垂直DBF滤波时,DbrVOffset1表示上述实施例的第二滤波偏移值。
增强去块滤波垂直调整偏移值0(dbr_v_alt_offset0_minus1),dbr_v_alt_offset0_minus1用于确定当前图像去块滤波BS为0时的垂直调整的偏移值0,dbr_v_alt_offset0_minus1的取值范围可以是0-3。DbrVAltOffset0的值可以等于dbr_v_alt_offset0_minus1的值加1后的负值,如果位流中不存在dbr_v_alt_offset0_minus1,则DbrVAltOffset0的值为0。
示例性的,针对增强调整模式来说,DbrVAltOffset0与第一调整偏移值(以第三调整偏移值与第一调整偏移值相同为例)对应,是针对垂直DBF滤波的第一调整偏移值,即,在进行垂直DBF滤波时,DbrVAltOffset0表示上述实施例的第一调整偏移值。
增强去块滤波垂直调整偏移值1(dbr_v_alt_offsetl_minus1),dbr_v_altoffset1_minus1用于确定当前图像去块滤波BS为0时的垂直调整的偏移值1,dbr_v_alt_offset1_minus1的取值范围可以是0-3。其中,DbrVAltOffset1的值等于dbr_v_alt_offset1_minus1的值加1,如果位流中不存在dbr_v_alt_offsetl_minus1,则DbrVAltOffset1的值为0。
示例性的,针对增强调整模式来说,DbrVAltOffset1与第二调整偏移值(以第四调整偏移值与第二调整偏移值相同为例)对应,是针对垂直DBF滤波的第二调整偏移值,即,在进行垂直DBF滤波时,DbrVAltOffset1表示上述实施例的第二调整偏移值。
图像级去块滤波水平调整允许标志picture_dbr_h_enable_flag,picture_dbr_h_enable_flag是二值变量,值为‘1’表示当前图像允许使用去块滤波水平调整,值为‘0’表示当前图像不允许使用去块滤波水平调整。PhDbrHEnableFlag的值等于picture_dbr_h_enable_flag的值,如果位流中不存在picture_dbr_h_enable_flag,则PhDbrHEnableFlag的值为0。
示例性的,针对增强调整模式来说,PhDbrHEnableFlag与增强调整模式使能标志位对应,是针对水平DBF滤波的增强调整模式使能标志位。也就是说,在需要进行水平DBF滤波时,PhDbrHEnableFlag表示允许启用增强调整模式,或不允许启用增强调整模式。
示例性的,针对增强滤波模式来说,PhDbrHEnableFlag与增强滤波模式使能标志位对应,是针对水平DBF滤波的增强滤波模式使能标志位。也就是说,在需要进行水平DBF滤波时,PhDbrHEnableFlag表示允许启用增强滤波模式,或不允许启用增强滤波模式。
综上所述,PhDbrHEnableFlag可以表示针对水平DBF滤波的增强调整模式使能标志位和针对水平DBF滤波的增强滤波模式使能标志位,也就是说,增强调整模式使能标志位和增强滤波模式使能标志位共用同一个标志位,即,当前图像同时允许启用增强调整模式和增强滤波模式,或者,当前图像同时不允许启用增强调整模式和增强滤波模式。
去块滤波水平调整阈值dbr_h_threshold_minus1,dbr_h_threshold_minus1用于确定当前图像去块滤波水平调整的阈值,取值范围是0-1。DbrHThreshold的值等于dbr_h_threshold_minus1的值加1,如果位流中不存在dbr_h_threshold_minus1,则DbrHThreshold的值为0。
示例性的,针对增强调整模式来说,DbrHThreshold与第一调整阈值(以第三调整阈值与第一调整阈值相同为例)对应,是针对水平DBF滤波的第一调整阈值。也就是说,在需要进行水平DBF滤波时,DbrHThreshold表示上述实施例的第一调整阈值。而且,上述实施例的第二调整阈值(以第四调整阈值与第二调整阈值相同为例)与第一调整阈值互为相反数,因此,也可以基于DbrHThreshold确定出第二调整阈值。
示例性的,针对增强滤波模式来说,DbrHThreshold与第一滤波阈值(以第三滤波阈值与第一滤波阈值相同为例)对应,是针对水平DBF滤波的第一滤波阈值。也就是说,在需要进行水平DBF滤波时,DbrHThreshold表示上述实施例的第一滤波阈值。而且,上述实施例的第二滤波阈值(以第四滤波阈值与第二滤波阈值相同为例)与第一滤波阈值互为相反数,因此,也可以基于DbrHThreshold确定出第二滤波阈值。
综上所述,DbrHThreshold可以表示针对水平DBF滤波的第一调整阈值和第一滤波阈值,也就是说,第一调整阈值和第一滤波阈值相同,二者为同一个取值。
去块滤波水平调整偏移值0(dbr_h_offset0_minus1),用于确定当前图像去块滤波水平调整的偏移值0,取值范围是0-3。DbrHOffset0的值等于dbr_h_offset0_minus1的值加1后的负值,如果位流中不存在dbr_h_offset0_minus1,则DbrHOffset0的值为0。
示例性的,针对增强滤波模式来说,DbrHOffset0与第一滤波偏移值(以第三滤波偏移值与第一滤波偏移值相同为例)对应,是针对水平DBF滤波的第一滤波偏移值,即,在需要进行水平DBF滤波时,DbrHOffset0表示上述实施例的第一滤波偏移值。
去块滤波水平调整偏移值1(dbr_h_offset1_minus1),用于确定当前图像去块滤波水平调整的偏移值1,取值范围可以是0-3。DbrHOffset1的值等于dbr_h_offset1_minus1的值加1。如果位流中不存在dbr_h_offset1_minus1,则DbrHOffset1的值为0。
示例性的,针对增强滤波模式来说,DbrHOffset1与第二滤波偏移值(以第四滤波偏移值与第二滤波偏移值相同为例)对应,是针对水平DBF滤波的第二滤波偏移值,即,在需要进行水平DBF滤波时,DbrHOffsetl表示上述实施例的第二滤波偏移值。
增强去块滤波水平调整偏移值0(dbr_h_alt_offset0_minus1),dbr_h_alt_offset0_minus1用于确定当前图像去块滤波BS为0时的水平调整的偏移值0,dbr_h_alt_offset0_minus1的取值范围可以是0-3。DbrHAltOffset0的值可以等于dbr_h_alt_offset0_minus1的值加1后的负值,如果位流中不存在dbr_h_alt_offset0_minus1,DbrHAltOffset0的值为0。
示例性的,针对增强调整模式来说,DbrHAltOffset0与第一调整偏移值(以第三调整偏移值与第一调整偏移值相同为例)对应,是针对水平DBF滤波的第一调整偏移值,即,在进行水平DBF滤波时,DbrHAltOffset0表示上述实施例的第一调整偏移值。
增强去块滤波水平调整偏移值1(dbr_h_alt_offsetl_minus1),dbr_h_alt_offsetl_minus1用于确定当前图像去块滤波BS为0时的水平调整的偏移值1,dbr_h_alt_offset1_minus1的取值范围可以是0-3。其中,DbrHAltOffset1的值等于dbr_h_alt_offset1_minus1的值加1,如果位流中不存在dbr_h_alt_offset1_minus1,则DbrHAltOffset1的值为0。
示例性的,针对增强调整模式来说,DbrHAltOffset1与第二调整偏移值(以第四调整偏移值与第二调整偏移值相同为例)对应,是针对水平DBF滤波的第二调整偏移值,即,在进行水平DBF滤波时,DbrHAltOffset1表示上述实施例的第二调整偏移值。
实施例14:高层语法(如图像头高层语法)的一种表述可以参见表2所示,比如说,在图像头编码/解码表2所示的语法。即,编码端在图像头编码表2所示的语法,解码端从图像头中解码表2所示的语法。
表2
Figure BDA0002949182320000291
Figure BDA0002949182320000301
在表2中,相关语法的含义如下所示:
图像级增强垂直调整允许标志picture_alt_dbr_v_enable_flag,是一个二值变量,值为‘1’表示当前图像允许使用增强垂直调整,值为‘0’表示当前图像不允许使用增强垂直调整。PictureAltDbrVEnableFlag的值可以等于picture_alt_dbr_v_enable_flag的值,如果位流中不存在picture_alt_dbr_v_enable_flag,则PhAltDbrVEnableFlag的值为0。
示例性的,针对增强调整模式来说,PictureAltDbrVEnableFlag与增强调整模式使能标志位对应,是针对垂直DBF滤波的增强调整模式使能标志位,也就是说,在需要进行垂直DBF滤波时,PictureAltDbrVEnableFlag表示允许启用增强调整模式,或不允许启用增强调整模式。
与实施例13中的PictureDbrVEnableFlag不同的是,PictureAltDbrVEnableFlag只是针对垂直DBF滤波的增强调整模式使能标志位,而不是针对垂直DBF滤波的增强滤波模式使能标志位。
图像级增强水平调整允许标志picture_alt_dbr_h_enable_flag,是一个二值变量,值为‘1’表示当前图像允许使用增强水平调整,值为‘0’表示当前图像不允许使用增强水平调整。PictureAltDbrHEnableFlag的值可以等于picture_alt_dbr_h_enable_flag的值,如果位流中不存在picture_alt_dbr_h_enable_flag,PhAltDbrHEnableFlag的为0。
示例性的,针对增强调整模式来说,PhAltDbrHEnableFlag与增强调整模式使能标志位对应,是针对水平DBF滤波的增强调整模式使能标志位,也就是说,在需要进行水平DBF滤波时,PhAltDbrHEnableFlag表示允许启用增强调整模式,或不允许启用增强调整模式。
与实施例13中的PictureDbrHEnableFlag不同的是,PhAltDbrHEnableFlag只是水平DBF滤波的增强调整模式使能标志位,而不是针对水平DBF滤波的增强滤波模式使能标志位。
关于表2中其它语法的含义,与表1中相关语法的含义相同,在此不再重复赘述。
实施例15:针对实施例11来说,adbr_enable_flag的编码和解码,可以在去块滤波模式启用时才进行adbr_enable_flag的编码和解码,也就是说,可以先确定是否启用去块滤波模式,如果是,才会在序列头中编码/解码标志位adbr_enable_flag,如果否,则不在序列头中编码/解码标志位adbr_enable_flag。综上所述,增强调整模式(adbr_enable_flag用于控制增强调整模式的启用)是去块滤波模式的子模式,在去块滤波模式启用时才允许启用增强调整模式。
针对实施例12来说,dbr_enable_flag的编码和解码,可以在去块滤波模式启用时才进行dbr_enable_flag的编码和解码,也就是说,可以先确定是否启用去块滤波模式,如果是,才会在序列头中编码/解码标志位dbr_enable_flag,如果否,则不在序列头中编码/解码标志位dbr_enable_flag。综上所述,增强滤波模式(dbr_enable_flag用于控制增强滤波模式的启用)是去块滤波模式的子模式,在去块滤波模式启用时才允许启用增强滤波模式。
针对实施例13来说,表1所示的高层语法(用于控制增强滤波模式的启用和增强调整模式的启用)的编码和解码,可以在去块滤波模式启用时才进行该高层语法的编码和解码,也就是说,可以先确定是否启用去块滤波模式,如果是,才会在图像头中编码/解码表1所示的高层语法,如果否,则不在图像头中编码/解码表1所示的高层语法。
针对实施例14来说,表2所示的高层语法(用于控制增强滤波模式的启用和增强调整模式的启用)的编码和解码,可以在去块滤波模式启用时才进行该高层语法的编码和解码,也就是说,可以先确定是否启用去块滤波模式,如果是,才会在图像头中编码/解码表2所示的高层语法,如果否,则不在图像头中编码/解码表2所示的高层语法。
实施例16:针对亮度分量(即当前块为亮度分量)的去块滤波过程,比如说,采用增强调整模式对亮度分量进行调整,或者,采用增强滤波模式对亮度分量进行调整。
关于亮度分量的DBR参数的推导过程:
如果当前待滤波边界为垂直边界且PictureDbrVEnableFlag的值为1,或者,当前待滤波边界为水平边界且PictureDbrHEnableFlag的值为1,则PictureDbrEnableFlag的值为1;否则,PictureDbrEnableFlag为0。以及,如果当前待滤波边界为垂直边界且PictureAltDbrVEnableFlag的值为1,或者,当前待滤波边界为水平边界且PictureAltDbrHEnableFlag的值为1,则PictureAltDbrEnableFlag的值为1;否则,PictureAltDbrEnableFlag为0。
按照如下方法导出dbr_th、dbr_offset0、dbr_offset1、alt_dbr_offset0、alt_dbr_offset1:
对于垂直边界,dbr_th=DbrVThreshold,dbr_offset0=DbrVOffset0,dbr_offset1=DbrVOffset1,alt_dbr_offset0=DbrVAltOffset0,alt_dbr_offset1=DbrVAltOffset1。
对于水平边界,dbr_th=DbrHThreshold,dbr_offset0=DbrHOffset0,dbr_offset1=DbrHOffset1,alt_dbr_offset0=DbrHAltOffset0,alt_dbr_offset1=DbrHAltOffset1。
(1)亮度分量的BS等于4时的边界滤波过程(采用增强滤波模式进行处理):
在BS的值为4时,对p0、p1、p2和q0、q1、q2的滤波计算过程如下:
P0=(p2*3+p1*8+p0*10+q0*8+q1*3+16)>>5;
P1=(p2*4+p1*5+p0*4+q0*3+8)>>4;
P2=(p3*2+p2*2+p1*2+p0*1+q0*1+4)>>3;
Q0=(p1*3+p0*8+q0*10+q1*8+q2×3+16)>>5
Q1=(p0*3+q0*4+q1*5+q2*4+8)>>4;
Q2=(p0*1+q0*1+q1*2+q2*2+q3*2+4)>>3。
P0、P1、P2和Q0、Q1、Q2均是滤波后的值(即滤波像素值)。
在得到P0、P1、P2和Q0、Q1、Q2后,若PhDbrEnableFlag为1时,则:
若pi>Pi+dbr_th,则Pi’=clip((Pi+pi+1)>>1+dbr_offset0);否则,若pi<Pi-dbr_th,则Pi’=clip((Pi+pi+1)>>1+dbr_offset1),i=0,1,2。
若qi>Qi+dbr_th,则Qi’=clip((Qi+qi+1)>>1+dbr_offset0);否则,若qi<Qi-dbr_th,则Qi’=clip((Qi+qi+1)>>1+dbr_offset1),i=0,1,2。
在上述公式中,pi可以表示原始像素值,qi可以表示原始像素值,Pi可以表示滤波像素值,Qi可以表示滤波像素值,Pi’可以表示调整像素值,Qi’可以表示调整像素值。
(2)亮度分量的BS等于3时的边界滤波过程(采用增强滤波模式进行处理):
在BS的值为3时,对p0、p1和q0、q1的滤波计算过程如下:
P0=(p2+(p1<<2)+(p0<<2)+(p0<<1)+(q0<<2)+q1+8)>>4;
P1=((p2<<1)+p2+(p1<<3)+(p0<<2)+q0+8)>>4;
Q0=(p1+(p0<<2)+(q0<<2)+(q0<<1)+(q1<<2)+q2+8)>>4;
Q1=((q2<<1)+q2+(q1<<3)+(q0<<2)+p0+8)>>4。
P0、P1和Q0、Q1均是滤波后的值(即滤波像素值)。
在得到P0、P1和Q0、Q1后,若PhDbrEnableFlag为1时,则:
若pi>Pi+dbr_th,则Pi’=clip((Pi+pi+1)>>1+dbr_offset0);否则,若pi<Pi-dbr_th,则Pi’=clip((Pi+pi+1)>>1+dbr_offsetl),i=0,1。
若qi>Qi+dbr_th,则Qi’=clip((Qi+qi+1)>>1+dbr_offset0);否则,若qi<Qi-dbr_th,则Qi’=clip((Qi+qi+1)>>1+dbr_offset1),i=0,1。
在上述公式中,pi可以表示原始像素值,qi可以表示原始像素值,Pi可以表示滤波像素值,Qi可以表示滤波像素值,Pi’可以表示调整像素值,Qi’可以表示调整像素值。
(3)亮度分量的BS等于2时的边界滤波过程(采用增强滤波模式进行处理):
在BS的值为2时,对p0和q0的滤波计算过程如下:
P0=((p1<<1)+p1+(p0<<3)+(p0<<1)+(q0<<1)+q0+8)>>4;
Q0=((p0<<1)+p0+(q0<<3)+(q0<<1)+(q1<<1)+q1+8)>>4。
P0和Q0均是滤波后的值(即滤波像素值)。
在得到P0和Q0后,若PhDbrEnableFlag为1时,则:
若pi>Pi+dbr_th,则Pi’=clip((Pi+pi+1)>>1+dbr_offset0);否则,若pi<Pi-dbr_th,则Pi’=clip((Pi+pi+1)>>1+dbr_offset1),i=0。
若qi>Qi+dbr_th,则Qi’=clip((Qi+qi+1)>>1+dbr_offset0);否则,若qi<Qi-dbr_th,则Qi’=clip((Qi+qi+1)>>1+dbr_offset1),i=0。
在上述公式中,pi可以表示原始像素值,qi可以表示原始像素值,Pi可以表示滤波像素值,Qi可以表示滤波像素值,Pi’可以表示调整像素值,Qi’可以表示调整像素值。
(4)亮度分量的BS等于1时的边界滤波过程(采用增强滤波模式进行处理):
在BS的值为1时,对p0和q0的滤波计算过程如下:
P0=((p0<<1)+p0+q0+2)>>2;
Q0=((q0<<1)+q0+p0+2)>>2。
P0和Q0均是滤波后的值(即滤波像素值)。
在得到P0和Q0后,若PhDbrEnableFlag为1时,则:
若pi>Pi+dbr_th,则Pi’=clip((Pi+pi+1)>>1+dbr_offset0);否则,若pi<Pi-dbr_th,则Pi’=clip((Pi+pi+1)>>1+dbr_offsetl),i=0。
若qi>Qi+dbr_th,则Qi’=clip((Qi+qi+1)>>1+dbr_offset0);否则,若qi<Qi-dbr_th,则Qi’=clip((Qi+qi+1)>>1+dbr_offset1),i=0。
在上述公式中,pi可以表示原始像素值,qi可以表示原始像素值,Pi可以表示滤波像素值,Qi可以表示滤波像素值,Pi’可以表示调整像素值,Qi’可以表示调整像素值。
(5)亮度分量的BS等于0时的边界滤波过程的方式一(采用增强调整模式进行处理):
在BS的值为0时,对pi和qi的滤波计算过程如下:
确定pi的梯度值DPi和qi的梯度值DQi。比如说,DPi=(pi-qi+2)>>2,DQi=(qi-pi+2)>>2。或者,DPi=(pi-qi+1)>>1,DQi=(qi-pi+1)>>1。
在得到DPi和DQi后,若PhAltDbrEnableFlag为1时,则:
若DPi>dbr_th,则Pi=clip(pi+a1t_dbr_offset0);否则,若DPi<-dbr_th,则Pi=clip(pi+alt_dbr_offset1);
若DQi>dbr_th,则Qi=clip(qi+alt_dbr_offset0);否则,若DQi<-dbr_th,则Qi=clip(qi+alt_dbr_offset1)。
上述i可以为0,也可以为0,1,2等,对此不做限制。
在上述公式中,pi可以表示原始像素值,qi可以表示原始像素值,DPi可以表示梯度值DQi可以表示梯度值,Pi可以表示调整像素值,Qi可以表示调整像素值。
(6)亮度分量的BS等于0时的边界滤波过程的方式二(采用增强调整模式进行处理):
在BS的值为0时,对pi和qi的滤波计算过程如下:
确定pi的梯度值DPi和qi的梯度值DQi。如DPi=(pi-qi+1)>>1,DQi=(qi-pi+1)>>1。
在得到DPi和DQi后,若PhAltDbrEnableFlag为1时,则:
若DPi>2*dbr_th,则Pi=clip(pi+alt_dbr_offset0);否则,若DPi<-2*dbr_th,则Pi=clip(pi+alt_dbr_offset1);
若DQi>2*dbr_th,则Qi=clip(qi+alt_dbr_offset0);否则,若DQi<-2*dbr_th,则Qi=clip(qi+alt_dbr_offset1)。
上述2*dbr_th和-2*dbr_th,可以为上述实施例中的调整阈值。
上述i可以为0,也可以为0,1,2等,对此不做限制。
在上述公式中,pi可以表示原始像素值,qi可以表示原始像素值,DPi可以表示梯度值DQi可以表示梯度值,Pi可以表示调整像素值,Qi可以表示调整像素值。
(7)亮度分量的BS等于0时的边界滤波过程的方式三(采用增强调整模式进行处理):
在BS的值为0时,对pi和qi的滤波计算过程如下:
确定pi的梯度值DPi和qi的梯度值DQi。比如说,可以采用如下方式确定梯度值DPi和梯度值DQi:DPi=((pi<<1)+pi+qi+2)>>2,DQi=((qi<<1)+qi+pi+2)>>2。
在得到DPi和DQi后,若PhAltDbrEnableFlag为1时,则:
若pi>DPi+dbr_th,则Pi=clip(pi+alt_dbr_offset0);否则,若pi<DPi-dbr_th,则Pi=clip(pi+alt_dbr_offset1);
若qi>DQi+dbr_th,则Qi=clip(qi+alt_dbr_offset0);否则,若qi<DQi-dbr_th,则Qi=clip(qi+alt_dbr_offset1)。
在一种可能的实施方式中,上述表述可以等价为如下表达形式:
确定pi的梯度值DPi和qi的梯度值DQi。比如说,可以采用如下方式确定梯度值DPi和梯度值DQi:DPi=pi-(((pi<<1)+pi+qi+2)>>2),DQi=qi-(((qi<<1)+qi+pi+2)>>2)。
在得到DPi和DQi后,若PhAltDbrEnableFlag为1时,则:
若DPi>dbr_th,则Pi=clip(pi+alt_dbr_offset0);否则,若DPi<-dbr_th,则Pi=clip(pi+alt_dbr_offset1);
若DQi>dbr_th,则Qi=clip(qi+alt_dbr_offset0);否则,若DQi<-dbr_th,则Qi=clip(qi+alt_dbr_offset1)。
上述i可以为0,也可以为0,1,2等,对此不做限制。
在上述公式中,pi可以表示原始像素值,qi可以表示原始像素值,DPi可以表示梯度值DQi可以表示梯度值,Pi可以表示调整像素值,Qi可以表示调整像素值。
在上述实施例中,clip(x)表示将x限制在[0,2∧(bit_depth)-1]之间(该区间可以包括0和2∧(bit_depth)-1)。bit_depth表示图像的比特深度,一般为8、10、12等。
(8)亮度分量的BS等于0时的边界滤波过程的方式四(采用增强调整模式进行处理):
在BS的值为0时,对pi和qi的滤波计算过程如下:
确定pi的梯度值DPi和qi的梯度值DQi。比如说,可以采用如下方式确定梯度值DPi和梯度值DQi:DPi=(qi-pi+2)>>2,DQi=(pi-qi+2)>>2。
在得到DPi和DQi后,若PhAltDbrEnableFlag为1时,则:
若DPi<dbr_th,则Pi=clip(pi+dbr_alt_offset0);否则,若DPi>-dbr_th,则Pi=clip(pi+dbr_alt_offset1)。
若DQi<dbr_th,则Qi=clip(qi+alt_dbr_offset0);否则,若DQi>-dbr_th,则Qi=clip(qi+dbr_alt_offset1)。
上述i可以为0,也可以为0,1,2等,对此不做限制。
在上述公式中,pi可以表示原始像素值,qi可以表示原始像素值,DPi可以表示梯度值DQi可以表示梯度值,Pi可以表示调整像素值,Qi可以表示调整像素值。
(9)亮度分量的BS等于0时的边界滤波过程的方式五(采用增强调整模式进行处理):
在BS的值为0时,对pi和qi的滤波计算过程如下:
确定pi的梯度值DPi和qi的梯度值DQi。比如说,可以采用如下方式确定梯度值DPi和梯度值DQi:DPi=pi-(((pi<<1)+pi+qi+2)>>2),即DPi=(pi-qi-2)>>2,DQi=qi-(((qi<<1)+qi+pi+2)>>2),即DQi=(qi-pi-2)>>2。
在得到DPi和DQi后,若PhAltDbrEnableFlag为1时,则:
若DPi>dbr_th,则Pi=clip(pi+dbr_alt_offset0);否则,若DPi<-dbr_th则Pi=clip(pi+dbr_alt_offset1)。
若DQi>dbr_th则Qi=clip(qi+dbr_alt_offset0);否则,若DQi<-dbr_th,则Qi=clip(qi+dbr_alt_offset1)。
上述i可以为0,也可以为0,1,2等,对此不做限制。
在上述公式中,pi可以表示原始像素值,qi可以表示原始像素值,DPi可以表示梯度值DQi可以表示梯度值,Pi可以表示调整像素值,Qi可以表示调整像素值。
实施例17:针对实施例11和实施例12来说,可以将SPS级高层语法替换为PPS级高层语法,或图像头级高层语法,或帧级高层语法,或片头级高层语法,或CTU级高层语法,或CU级高层语法,对此高层语法的类型不做限制,即通过各种类型的高层语法均可以传输dbr_enable_flag或者adbr_enable_flag。针对实施例13和实施例14来说,可以将图像头高层语法替换为SPS级高层语法,或PPS级高层语法,或帧级高层语法,或片头级高层语法,或CTU级高层语法,或CU级高层语法,对此高层语法的类型不做限制,即通过各种类型的高层语法均可以传输表1或表2的内容,即通过各种类型的高层语法传输增强调整模式使能标志位、增强滤波模式使能标志位、第一调整阈值、第一滤波阈值、第一滤波偏移值、第二滤波偏移值、第一调整偏移值、第二调整偏移值等参数,具体实现方式与实施例13和实施例14的实施方式类似,在此不再赘述。
针对实施例13和实施例14来说,可以将图像头高层语法替换为CTU级高层语法,通过CTU级高层语法传输DBR的相关参数,DBR的相关参数可以包括第一调整阈值、第一滤波阈值、第一滤波偏移值、第二滤波偏移值、第一调整偏移值、第二调整偏移值等参数等内容,参见实施例13和实施例14。或者,可以将图像头高层语法替换为CU级高层语法,通过CU级高层语法传输DBR的相关参数,DBR的相关参数可以包括第一调整阈值、第一滤波阈值、第一滤波偏移值、第二滤波偏移值、第一调整偏移值、第二调整偏移值等参数等内容,参见实施例13和和实施例14。
实施例18:针对实施例16来说,是针对亮度分量的去块滤波过程,还可以将亮度分量替换为色度分量,即针对色度分量(即当前块为色度分量)进行去块滤波过程,色度分量的去块滤波过程与亮度分量的去块滤波过程类似,参见实施例16,在此不再赘述。
示例性的,上述实施例1-实施例18可以单独实现,也可以任意组合,如实施例1和实施例2可以组合,实施例1和实施例3可以组合,实施例1和实施例4可以组合,实施例1和实施例5可以组合,实施例1和实施例8-实施例18中的至少一个实施例可以组合;实施例8-实施例18中的至少两个实施例可以任意组合;实施例2和实施例8-实施例18中的至少一个实施例可以组合;实施例3和实施例8-实施例18中的至少一个实施例可以组合;实施例4和实施例8-实施例18中的至少一个实施例可以组合;实施例5和实施例8-实施例18中的至少一个实施例可以组合;实施例6和实施例8-实施例18中的至少一个实施例可以组合;实施例7和实施例8-实施例18中的至少一个实施例可以组合。当然,上述只是几个组合的示例,实施例1-实施例18之间的任意至少两个实施例,均可以进行组合实现相关过程。
示例性的,上述各实施例中,编码端的内容也可以应用到解码端,即解码端可以采用相同方式进行处理,解码端的内容也可以应用到编码端,即编码端可以采用相同方式进行处理。
实施例19:基于与上述方法同样的申请构思,本申请实施例中还提出一种解码装置,所述解码装置应用于解码端,所述解码装置包括:存储器,其经配置以存储视频数据;解码器,其经配置以实现上述实施例1-实施例18中的编解码方法,即解码端的处理流程。
比如说,在一种可能的实施方式中,解码器,其经配置以实现:
若当前块中的当前像素点满足增强调整模式的启用条件,则基于所述当前像素点的原始像素值和所述当前像素点的周围像素点的原始像素值确定所述当前像素点的梯度值;基于所述当前像素点的梯度值和所述当前像素点的原始像素值,确定所述当前像素点的调整像素值。
基于与上述方法同样的申请构思,本申请实施例中还提出一种编码装置,所述编码装置应用于编码端,所述编码装置包括:存储器,其经配置以存储视频数据;编码器,其经配置以实现上述实施例1-实施例18中的编解码方法,即编码端的处理流程。
比如说,在一种可能的实施方式中,编码器,其经配置以实现:
若当前块中的当前像素点满足增强调整模式的启用条件,则基于所述当前像素点的原始像素值和所述当前像素点的周围像素点的原始像素值确定所述当前像素点的梯度值;基于所述当前像素点的梯度值和所述当前像素点的原始像素值,确定所述当前像素点的调整像素值。
基于与上述方法同样的申请构思,本申请实施例提供的解码端设备(也可以称为视频解码器),从硬件层面而言,其硬件架构示意图具体可以参见图5A所示。包括:处理器511和机器可读存储介质512,其中:所述机器可读存储介质512存储有能够被所述处理器511执行的机器可执行指令;所述处理器511用于执行机器可执行指令,以实现本申请上述实施例1-18公开的方法。例如,所述处理器511用于执行机器可执行指令,以实现如下步骤:
若当前块中的当前像素点满足增强调整模式的启用条件,则基于所述当前像素点的原始像素值和所述当前像素点的周围像素点的原始像素值确定所述当前像素点的梯度值;基于所述当前像素点的梯度值和所述当前像素点的原始像素值,确定所述当前像素点的调整像素值。
基于与上述方法同样的申请构思,本申请实施例提供的编码端设备(也可以称为视频编码器),从硬件层面而言,其硬件架构示意图具体可以参见图5B所示。包括:处理器521和机器可读存储介质522,其中:所述机器可读存储介质522存储有能够被所述处理器521执行的机器可执行指令;所述处理器521用于执行机器可执行指令,以实现本申请上述实施例1-18公开的方法。例如,所述处理器521用于执行机器可执行指令,以实现如下步骤:
若当前块中的当前像素点满足增强调整模式的启用条件,则基于所述当前像素点的原始像素值和所述当前像素点的周围像素点的原始像素值确定所述当前像素点的梯度值;基于所述当前像素点的梯度值和所述当前像素点的原始像素值,确定所述当前像素点的调整像素值。
基于与上述方法同样的申请构思,本申请实施例还提供一种机器可读存储介质,所述机器可读存储介质上存储有若干计算机指令,所述计算机指令被处理器执行时,能够实现本申请上述示例公开的方法,如上述上述各实施例中的编解码方法。其中,上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,机器可读存储介质可以是:RAM(Radom Access Memory,随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。
基于与上述方法同样的申请构思,本申请实施例还提供一种计算机应用程序,所述计算机应用程序令被处理器执行时,能够实现本申请上述示例公开的编解码方法。
基于与上述方法同样的申请构思,本申请实施例还提供一种编解码装置,可以应用于编码端或者解码端,该编解码装置可以包括:
确定模块,用于若当前块中的当前像素点满足增强调整模式的启用条件,则基于所述当前像素点的原始像素值和所述当前像素点的周围像素点的原始像素值确定所述当前像素点的梯度值;处理模块,用于基于所述当前像素点的梯度值和所述当前像素点的原始像素值,确定所述当前像素点的调整像素值。
示例性的,所述处理模块基于所述当前像素点的梯度值和所述当前像素点的原始像素值,确定所述当前像素点的调整像素值时具体用于:
基于所述当前像素点的梯度值、所述当前像素点的原始像素值、第一调整阈值、第二调整阈值、第一调整偏移值和第二调整偏移值,确定所述当前像素点的调整像素值。
示例性的,所述处理模块基于所述当前像素点的梯度值、所述当前像素点的原始像素值、第一调整阈值、第二调整阈值、第一调整偏移值和第二调整偏移值,确定所述当前像素点的调整像素值时具体用于:若所述当前像素点的梯度值大于第一调整阈值,则基于所述当前像素点的原始像素值和第一调整偏移值确定所述当前像素点的调整像素值;
若所述当前像素点的梯度值小于第二调整阈值,则基于所述当前像素点的原始像素值和第二调整偏移值确定所述当前像素点的调整像素值。
在一种可能的实施方式中,若当前块中的当前像素点满足增强调整模式的启用条件,所述确定模块,还用于从所述当前块的相邻块中确定与所述当前像素点对应的参考像素点,基于所述参考像素点的原始像素值和所述参考像素点的周围像素点的原始像素值确定所述参考像素点的梯度值;所述处理模块,还用于基于所述参考像素点的梯度值和所述参考像素点的原始像素值,确定所述参考像素点的调整像素值。
示例性的,所述处理模块基于所述参考像素点的梯度值和所述参考像素点的原始像素值,确定所述参考像素点的调整像素值时具体用于:
基于所述参考像素点的梯度值、所述参考像素点的原始像素值、第三调整阈值、第四调整阈值、第三调整偏移值和第四调整偏移值,确定所述参考像素点的调整像素值。
示例性的,所述处理模块基于所述参考像素点的梯度值、所述参考像素点的原始像素值、第三调整阈值、第四调整阈值、第三调整偏移值和第四调整偏移值,确定所述参考像素点的调整像素值时具体用于:若所述参考像素点的梯度值大于第三调整阈值,则基于所述参考像素点的原始像素值和第三调整偏移值确定所述参考像素点的调整像素值;
若所述参考像素点的梯度值小于第四调整阈值,则基于所述参考像素点的原始像素值和第四调整偏移值确定所述参考像素点的调整像素值。
在一种可能的实施方式中,所述确定模块确定所述当前块中的当前像素点满足增强调整模式的启用条件时具体用于:若所述当前块中的当前像素点对应的待滤波边界的边界强度满足增强调整模式的启用条件,则确定所述当前像素点满足增强调整模式的启用条件;或者,若所述当前块对应的特征信息满足增强调整模式的启用条件,则确定所述当前块中的所述当前像素点满足增强调整模式的启用条件。
示例性的,所述处理模块,还用于若所述当前块中的当前像素点满足普通滤波模式的启用条件,则对所述当前像素点的原始像素值进行去块滤波,得到所述当前像素点的滤波像素值;若所述当前块中的当前像素点满足增强滤波模式的启用条件,则基于所述当前像素点的滤波像素值和所述当前像素点的原始像素值,确定所述当前像素点的调整像素值。
示例性的,所述处理模块基于所述当前像素点的滤波像素值和所述当前像素点的原始像素值,确定所述当前像素点的调整像素值时具体用于:基于所述当前像素点的滤波像素值,所述当前像素点的原始像素值,第一滤波阈值,第二滤波阈值,第一滤波偏移值和第二滤波偏移值,确定所述当前像素点的调整像素值;第一滤波阈值和第二滤波阈值互为相反数。
示例性的,若所述当前块中的当前像素点满足普通滤波模式的启用条件,所述处理模块,还用于从所述当前块的相邻块中确定与所述当前像素点对应的参考像素点;对所述参考像素点的原始像素值进行去块滤波,得到所述参考像素点的滤波像素值;
若所述当前块中的当前像素点满足增强滤波模式的启用条件,则基于所述参考像素点的滤波像素值和所述参考像素点的原始像素值,确定所述参考像素点的调整像素值。
示例性的,所述处理模块基于所述参考像素点的滤波像素值和所述参考像素点的原始像素值,确定所述参考像素点的调整像素值时具体用于:基于所述参考像素点的滤波像素值,所述参考像素点的原始像素值,第三滤波阈值,第四滤波阈值,第三滤波偏移值和第四滤波偏移值,确定所述参考像素点的调整像素值;第三滤波阈值和第四滤波阈值互为相反数。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本申请实施例可提供为方法、系统、或计算机程序产品。本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上,使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (25)

1.一种编解码方法,其特征在于,所述方法包括:
若当前块中的当前像素点满足增强调整模式的启用条件,则基于所述当前像素点的原始像素值和所述当前像素点的周围像素点的原始像素值确定所述当前像素点的梯度值;
基于所述当前像素点的梯度值和所述当前像素点的原始像素值,确定所述当前像素点的调整像素值。
2.根据权利要求1所述的方法,其特征在于,所述基于所述当前像素点的梯度值和所述当前像素点的原始像素值,确定所述当前像素点的调整像素值,包括:
基于所述当前像素点的梯度值、所述当前像素点的原始像素值、第一调整阈值、第二调整阈值、第一调整偏移值和第二调整偏移值,确定所述当前像素点的调整像素值。
3.根据权利要求2所述的方法,其特征在于,
所述基于所述当前像素点的梯度值、所述当前像素点的原始像素值、第一调整阈值、第二调整阈值、第一调整偏移值和第二调整偏移值,确定所述当前像素点的调整像素值,包括:
若所述当前像素点的梯度值大于第一调整阈值,则基于所述当前像素点的原始像素值和第一调整偏移值确定所述当前像素点的调整像素值;
若所述当前像素点的梯度值小于第二调整阈值,则基于所述当前像素点的原始像素值和第二调整偏移值确定所述当前像素点的调整像素值。
4.根据权利要求1所述的方法,其特征在于,
若当前块中的当前像素点满足增强调整模式的启用条件,所述方法还包括:
从所述当前块的相邻块中确定与所述当前像素点对应的参考像素点,基于所述参考像素点的原始像素值和所述参考像素点的周围像素点的原始像素值确定所述参考像素点的梯度值;
基于所述参考像素点的梯度值和所述参考像素点的原始像素值,确定所述参考像素点的调整像素值。
5.根据权利要求4所述的方法,其特征在于,所述基于所述参考像素点的梯度值和所述参考像素点的原始像素值,确定所述参考像素点的调整像素值,包括:
基于所述参考像素点的梯度值、所述参考像素点的原始像素值、第三调整阈值、第四调整阈值、第三调整偏移值和第四调整偏移值,确定所述参考像素点的调整像素值。
6.根据权利要求5所述的方法,其特征在于,
所述基于所述参考像素点的梯度值、所述参考像素点的原始像素值、第三调整阈值、第四调整阈值、第三调整偏移值和第四调整偏移值,确定所述参考像素点的调整像素值,包括:
若所述参考像素点的梯度值大于第三调整阈值,则基于所述参考像素点的原始像素值和第三调整偏移值确定所述参考像素点的调整像素值;
若所述参考像素点的梯度值小于第四调整阈值,则基于所述参考像素点的原始像素值和第四调整偏移值确定所述参考像素点的调整像素值。
7.根据权利要求2-6任一项所述的方法,其特征在于,所述方法还包括:
从高层语法中解析出所述当前块对应的第一调整阈值,第一调整偏移值,第二调整偏移值,第三调整阈值,第三调整偏移值和第四调整偏移值。
8.根据权利要求1-7任一项所述的方法,其特征在于,
所述当前块中的当前像素点满足增强调整模式的启用条件,包括:
若所述当前块中的当前像素点对应的待滤波边界的边界强度满足增强调整模式的启用条件,则确定所述当前像素点满足增强调整模式的启用条件;或者,
若所述当前块对应的特征信息满足增强调整模式的启用条件,则确定所述当前块中的所述当前像素点满足增强调整模式的启用条件。
9.根据权利要求8所述的方法,其特征在于,所述当前块中的当前像素点对应的待滤波边界的边界强度满足增强调整模式的启用条件,包括:
若所述当前像素点对应的待滤波边界的边界强度为预设第一数值,则确定所述待滤波边界的边界强度满足增强调整模式的启用条件。
10.根据权利要求9所述的方法,其特征在于,所述预设第一数值为0。
11.根据权利要求1-10任一所述的方法,其特征在于,在确定当前块中的当前像素点满足增强调整模式的启用条件之前,所述方法还包括:
若所述当前块对应的增强调整模式使能标志位允许所述当前块启用增强调整模式,则确定所述当前块中的当前像素点是否满足增强调整模式的启用条件。
12.根据权利要求11所述的方法,其特征在于,所述方法还包括:
从高层语法中解析出所述当前块对应的增强调整模式使能标志位。
13.根据权利要求1-12任一所述的方法,其特征在于,所述方法还包括:
若所述当前块中的当前像素点满足普通滤波模式的启用条件,则对所述当前像素点的原始像素值进行去块滤波,得到所述当前像素点的滤波像素值;
若所述当前块中的当前像素点满足增强滤波模式的启用条件,则基于所述当前像素点的滤波像素值和所述当前像素点的原始像素值,确定所述当前像素点的调整像素值。
14.根据权利要求13所述的方法,其特征在于,所述基于所述当前像素点的滤波像素值和所述当前像素点的原始像素值,确定所述当前像素点的调整像素值,包括:
基于所述当前像素点的滤波像素值,所述当前像素点的原始像素值,第一滤波阈值,第二滤波阈值,第一滤波偏移值和第二滤波偏移值,确定所述当前像素点的调整像素值;
其中,第一滤波阈值和第二滤波阈值互为相反数。
15.根据权利要求13所述的方法,其特征在于,
若所述当前块中的当前像素点满足普通滤波模式的启用条件,所述方法还包括:
从所述当前块的相邻块中确定与所述当前像素点对应的参考像素点;
对所述参考像素点的原始像素值进行去块滤波,得到所述参考像素点的滤波像素值;
若所述当前块中的当前像素点满足增强滤波模式的启用条件,所述方法还包括:
基于所述参考像素点的滤波像素值和所述参考像素点的原始像素值,确定所述参考像素点的调整像素值。
16.根据权利要求15所述的方法,其特征在于,所述基于所述参考像素点的滤波像素值和所述参考像素点的原始像素值,确定所述参考像素点的调整像素值,包括:
基于所述参考像素点的滤波像素值,所述参考像素点的原始像素值,第三滤波阈值,第四滤波阈值,第三滤波偏移值和第四滤波偏移值,确定所述参考像素点的调整像素值;
其中,第三滤波阈值和第四滤波阈值互为相反数。
17.根据权利要求14或16所述的方法,其特征在于,所述方法还包括:
从高层语法中解析出所述当前块对应的第一滤波阈值,第一滤波偏移值,第二滤波偏移值,第三滤波阈值,第三滤波偏移值和第四滤波偏移值。
18.根据权利要求13-17任一所述的方法,其特征在于,
所述当前块中的当前像素点满足增强滤波模式的启用条件,包括:
若所述当前块中的当前像素点对应的待滤波边界的边界强度满足增强滤波模式的启用条件,且所述当前像素点的滤波像素值与所述当前像素点的原始像素值之间的差值的绝对值小于预设阈值,则确定所述当前像素点满足增强滤波模式的启用条件。
19.根据权利要求18所述的方法,其特征在于,所述当前块中的当前像素点对应的待滤波边界的边界强度满足增强滤波模式的启用条件,包括:
若所述当前像素点对应的待滤波边界的边界强度为预设第二数值,则确定所述待滤波边界的边界强度满足增强滤波模式的启用条件。
20.根据权利要求13-19任一所述的方法,其特征在于,
若所述当前块对应的增强滤波模式使能标志位允许所述当前块启用增强滤波模式,则确定所述当前块中的当前像素点是否满足增强滤波模式的启用条件。
21.根据权利要求1-20任一项所述的方法,其特征在于,
所述当前块为亮度分量或者色度分量。
22.一种解码装置,其特征在于,所述解码装置包括:
存储器,其经配置以存储视频数据;
解码器,其经配置以实现:
若当前块中的当前像素点满足增强调整模式的启用条件,则基于所述当前像素点的原始像素值和所述当前像素点的周围像素点的原始像素值确定所述当前像素点的梯度值;
基于所述当前像素点的梯度值和所述当前像素点的原始像素值,确定所述当前像素点的调整像素值。
23.一种编码装置,其特征在于,所述编码装置包括:
存储器,其经配置以存储视频数据;
编码器,其经配置以实现:
若当前块中的当前像素点满足增强调整模式的启用条件,则基于所述当前像素点的原始像素值和所述当前像素点的周围像素点的原始像素值确定所述当前像素点的梯度值;
基于所述当前像素点的梯度值和所述当前像素点的原始像素值,确定所述当前像素点的调整像素值。
24.一种解码端设备,其特征在于,包括:处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;
所述处理器用于执行机器可执行指令,以实现如下步骤:
若当前块中的当前像素点满足增强调整模式的启用条件,则基于所述当前像素点的原始像素值和所述当前像素点的周围像素点的原始像素值确定所述当前像素点的梯度值;
基于所述当前像素点的梯度值和所述当前像素点的原始像素值,确定所述当前像素点的调整像素值。
25.一种编码端设备,其特征在于,包括:处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;
所述处理器用于执行机器可执行指令,以实现如下步骤:
若当前块中的当前像素点满足增强调整模式的启用条件,则基于所述当前像素点的原始像素值和所述当前像素点的周围像素点的原始像素值确定所述当前像素点的梯度值;
基于所述当前像素点的梯度值和所述当前像素点的原始像素值,确定所述当前像素点的调整像素值。
CN202110204154.2A 2021-02-23 2021-02-23 编解码方法、装置及其设备 Active CN114640845B (zh)

Priority Applications (10)

Application Number Priority Date Filing Date Title
CN202110204154.2A CN114640845B (zh) 2021-02-23 2021-02-23 编解码方法、装置及其设备
CN202111625855.XA CN114339223B (zh) 2021-02-23 2021-02-23 解码方法、装置、设备及机器可读存储介质
US18/264,036 US20240048695A1 (en) 2021-02-23 2022-02-22 Coding and decoding method and apparatus and devices therefor
JP2023551246A JP2024506213A (ja) 2021-02-23 2022-02-22 符号化復号方法、装置及びそのデバイス
EP22758868.8A EP4277267A1 (en) 2021-02-23 2022-02-22 Coding and decoding method and apparatus, and devices therefor
KR1020237027399A KR20230128555A (ko) 2021-02-23 2022-02-22 인코딩 및 디코딩 방법, 장치 및 이의 기기
AU2022227062A AU2022227062B2 (en) 2021-02-23 2022-02-22 Coding and decoding method and apparatus, and devices therefor
PCT/CN2022/077298 WO2022179504A1 (zh) 2021-02-23 2022-02-22 编解码方法、装置及其设备
TW111106607A TWI806447B (zh) 2021-02-23 2022-02-23 編解碼方法、裝置及其設備
ZA2023/07790A ZA202307790B (en) 2021-02-23 2023-08-08 Coding and decoding method and apparatus, and devices therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110204154.2A CN114640845B (zh) 2021-02-23 2021-02-23 编解码方法、装置及其设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202111625855.XA Division CN114339223B (zh) 2021-02-23 2021-02-23 解码方法、装置、设备及机器可读存储介质

Publications (2)

Publication Number Publication Date
CN114640845A true CN114640845A (zh) 2022-06-17
CN114640845B CN114640845B (zh) 2023-02-28

Family

ID=81073883

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202111625855.XA Active CN114339223B (zh) 2021-02-23 2021-02-23 解码方法、装置、设备及机器可读存储介质
CN202110204154.2A Active CN114640845B (zh) 2021-02-23 2021-02-23 编解码方法、装置及其设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202111625855.XA Active CN114339223B (zh) 2021-02-23 2021-02-23 解码方法、装置、设备及机器可读存储介质

Country Status (9)

Country Link
US (1) US20240048695A1 (zh)
EP (1) EP4277267A1 (zh)
JP (1) JP2024506213A (zh)
KR (1) KR20230128555A (zh)
CN (2) CN114339223B (zh)
AU (1) AU2022227062B2 (zh)
TW (1) TWI806447B (zh)
WO (1) WO2022179504A1 (zh)
ZA (1) ZA202307790B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114339223A (zh) * 2021-02-23 2022-04-12 杭州海康威视数字技术股份有限公司 解码方法、装置、设备及机器可读存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113411584A (zh) * 2020-03-17 2021-09-17 北京三星通信技术研究有限公司 视频编解码的方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130243104A1 (en) * 2010-11-24 2013-09-19 Thomson Licensing Adaptive loop filtering
CN109889853A (zh) * 2019-02-26 2019-06-14 北京大学深圳研究生院 一种去块效应滤波方法、系统、设备及计算机可读介质
CN111213378A (zh) * 2017-10-09 2020-05-29 佳能株式会社 用于对像素块进行去块滤波的方法和装置
CN112154666A (zh) * 2019-09-24 2020-12-29 深圳市大疆创新科技有限公司 视频编解码方法和装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7620261B2 (en) * 2004-11-23 2009-11-17 Stmicroelectronics Asia Pacific Pte. Ltd. Edge adaptive filtering system for reducing artifacts and method
US9025675B2 (en) * 2011-06-22 2015-05-05 Texas Instruments Incorporated Systems and methods for reducing blocking artifacts
JP6087739B2 (ja) * 2013-06-07 2017-03-01 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像システム、動画像符号化方法、動画像復号方法、およびプログラム
JP6289055B2 (ja) * 2013-11-27 2018-03-07 三菱電機株式会社 動画像符号化装置及び動画像復号装置
US9906790B2 (en) * 2014-03-14 2018-02-27 Qualcomm Incorporated Deblock filtering using pixel distance
KR20180075483A (ko) * 2015-11-24 2018-07-04 삼성전자주식회사 픽셀의 기울기에 기초하여 인트라 또는 인터 예측 블록을 후처리하는 방법 및 장치
US11272203B2 (en) * 2019-07-23 2022-03-08 Tencent America LLC Method and apparatus for video coding
US11310519B2 (en) * 2019-09-18 2022-04-19 Qualcomm Incorporated Deblocking of subblock boundaries for affine motion compensated coding
CN113596458A (zh) * 2019-09-23 2021-11-02 杭州海康威视数字技术股份有限公司 编解码方法方法、装置及设备
CN111669584B (zh) * 2020-06-11 2022-10-28 浙江大华技术股份有限公司 一种帧间预测滤波方法、装置和计算机可读存储介质
CN114339223B (zh) * 2021-02-23 2023-03-31 杭州海康威视数字技术股份有限公司 解码方法、装置、设备及机器可读存储介质
CN114125445B (zh) * 2021-06-30 2023-03-24 杭州海康威视数字技术股份有限公司 解码方法、装置、设备及机器可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130243104A1 (en) * 2010-11-24 2013-09-19 Thomson Licensing Adaptive loop filtering
CN111213378A (zh) * 2017-10-09 2020-05-29 佳能株式会社 用于对像素块进行去块滤波的方法和装置
CN109889853A (zh) * 2019-02-26 2019-06-14 北京大学深圳研究生院 一种去块效应滤波方法、系统、设备及计算机可读介质
CN112154666A (zh) * 2019-09-24 2020-12-29 深圳市大疆创新科技有限公司 视频编解码方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114339223A (zh) * 2021-02-23 2022-04-12 杭州海康威视数字技术股份有限公司 解码方法、装置、设备及机器可读存储介质

Also Published As

Publication number Publication date
CN114339223A (zh) 2022-04-12
AU2022227062A1 (en) 2023-09-07
CN114339223B (zh) 2023-03-31
CN114640845B (zh) 2023-02-28
EP4277267A1 (en) 2023-11-15
JP2024506213A (ja) 2024-02-09
ZA202307790B (en) 2024-04-24
US20240048695A1 (en) 2024-02-08
AU2022227062B2 (en) 2023-12-14
KR20230128555A (ko) 2023-09-05
TWI806447B (zh) 2023-06-21
WO2022179504A1 (zh) 2022-09-01
TW202245474A (zh) 2022-11-16

Similar Documents

Publication Publication Date Title
EP3598758B1 (en) Encoder decisions based on results of hash-based block matching
CN105409221B (zh) 用于样本自适应偏移滤波的编码器侧决策
KR102325395B1 (ko) 비디오 코딩 방법 및 장치
WO2017003978A1 (en) Computationally efficient sample adaptive offset filtering during video encoding
CN114640845B (zh) 编解码方法、装置及其设备
CN114125445B (zh) 解码方法、装置、设备及机器可读存储介质
CN114640847B (zh) 编解码方法、装置及其设备
CN113132739B (zh) 边界强度确定、编解码方法、装置及其设备
JP2020129828A (ja) ビデオ符号化のためのサンプルの適応フィルタリングの方法および装置
CN113132724B (zh) 编码、解码方法、装置及其设备
US11044472B2 (en) Method and apparatus for performing adaptive filtering on reference pixels based on size relationship of current block and reference block
RU2817405C1 (ru) Способ, оборудование и устройства для кодирования и декодирования
WO2020159990A1 (en) Methods and apparatus on intra prediction for screen content coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant