CN111526367B - 具有样本自适应偏移控制的解码方法、系统、介质和装置 - Google Patents

具有样本自适应偏移控制的解码方法、系统、介质和装置 Download PDF

Info

Publication number
CN111526367B
CN111526367B CN202010418402.9A CN202010418402A CN111526367B CN 111526367 B CN111526367 B CN 111526367B CN 202010418402 A CN202010418402 A CN 202010418402A CN 111526367 B CN111526367 B CN 111526367B
Authority
CN
China
Prior art keywords
offset
value
reconstructed
sao
pixel values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010418402.9A
Other languages
English (en)
Other versions
CN111526367A (zh
Inventor
A·多拉佩斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/173,676 external-priority patent/US9300967B2/en
Application filed by Apple Inc filed Critical Apple Inc
Priority to CN202010418402.9A priority Critical patent/CN111526367B/zh
Publication of CN111526367A publication Critical patent/CN111526367A/zh
Application granted granted Critical
Publication of CN111526367B publication Critical patent/CN111526367B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Steroid Compounds (AREA)
  • Optical Communication System (AREA)

Abstract

本公开涉及样本自适应偏移控制。本发明公开了偏移值，该偏移值诸如在视频编码标准诸如高效率视频编码标准(HEVC)中的样本自适应偏移(SAO)值，可通过执行提高这些值的精确度的计算和操作来改善，该计算和操作没有极大地影响发送这些更精确的值所需的信号开销。此类计算和操作可包括将量化因子应用到视频样本以及其邻元素中的至少一些，并且基于比较将视频样本分类为最小值、最大值或各种类型的边缘中的一种。其他样本范围、偏移模式和/或偏移精度参数可被计算并且与元数据一起发送以提高偏移值的精度。

Description

具有样本自适应偏移控制的解码方法、系统、介质和装置
本申请是申请日为2014年5月1日、题为“样本自适应偏移控制”的发明专利申请201480034819.8的分案申请。
相关申请的交叉引用
本专利申请要求提交于2014年4月17日的美国专利申请14/255,609的优先权，该专利申请为提交于2014年2月5日的美国专利申请14/173,676的延续，其要求根据35U.S.C.§119(e)于2013年6月19日提交的美国临时专利申请序列号61/836,931的权益，该文献全文以引用方式并入本文。
背景技术
本发明涉及针对视频编码和压缩进行重构信号振幅的方法。更具体地，其涉及用于在视频编码和处理系统中诸如高效率视频编码(HEVC)标准内在样本自适应偏移(SAO)过程中的量化和自适应动态范围信令的方法。
HEVC标准，目前公布为ISO/IEC23008-2 MPEG-HPart 2和ITU-TH.265，引入了若干新的视频编码工具，这些新的视频编码工具被设计成改善以前的视频编码标准和技术，包括但不限于MPEG-2、MPEG-4Part 2、MPEG-4AVC/H.264、VC1和VP8的视频编码效率。这些工具中的一个工具是SAO，其为通常在去块滤波之后执行的滤波机制。该处理可在环路，例如，影响可使用经SAO处理的图像作为参考的后续图像，或不在环路，例如，仅在编码器之外影响显示或其他后续处理。SAO将重构的像素分组成类别并通过基于预定义的类别化或分类过程向像素值施加偏移到来降低失真。
如在HEVC规范中所定义，SAO支持两种操作模式：边缘偏移模式和带偏移模式。在边缘偏移模式中，预先确定的样本的值可与八个相邻样本中的两者在水平、垂直或对角方向上进行比较。基于取样值的简单直接的比较，预先确定的样本可被分类成若干类别中的一个类别。在带偏移模式中，预先确定的样本的振幅可用于将样本分类成1至32个带。如果样本被分类成32个带的集合中的1至4个连续的带，则可为样本指定偏移，其中SAO支持针对32个带的偏移参数。
现有的HEVC标准包括相对于分类和开销对SAO方法的限制。就这一点而言，分类过程受位深度、精度、色彩和用于分类的带的数量的限制。为了降低用信号发送偏移值所需的开销，现有的HEVC标准针对不同像素类别中的每个类别限制偏移被提供到的带的数量以及用于指定精确的偏移值的能力两者。例如，限制位深度超过10位的偏移值的最大值降低了在较高位深度处SAO的精度，有利于增加被SAO值覆盖的动态范围。然而，在一些情况下，SAO值的较高精度对于图像质量的目标来说比高的动态范围更加重要，诸如当待加入的偏移量在小范围内。因此对SAO来说需要一种更加灵活的方法，该方法既能在对噪声较不敏感的情况下对样本进行分类，也能在最小化对偏移值的动态范围的影响和/或最小化发送这些偏移所需的信号开销的同时扩大所施加的偏移的精度。
附图说明
图1为示出了根据本发明的一个实施例的用于量化的方法的流程图。
图2为示出了根据本发明的一个实施例的用于量化的另一个方法的流程图。
图3为示出了根据本发明的一个实施例的用于量化的另一个方法的流程图。
图4A和图4B为示出了根据本发明的实施例的用于在转换的色彩空间中施加样本自适应偏移的方法的流程图。
图5为示出了根据本发明的一个实施例的用于偏移内插的方法的流程图。
图6为示出了根据本发明的一个实施例的用于识别具有非均匀分布范围的样本的偏移的方法的流程图。
图7为根据本发明的一个实施例的编码系统的框图。
图8为根据本发明的一个实施例的解码系统的框图。
图9为根据本发明的一个实施例的多终端系统的框图。
图10为示出了用于确定及用信号发送样本自适应偏移的动态范围和/或精度的方法的流程图。
具体实施方式
本发明的实施例提供用于降低和控制噪声对样本的偏移值的影响和/或调节样本的偏移值的位深度的技术。此类技术可应用于样本自适应偏移(SAO)过程及后处理。
在一个实施例中，在类别化或分类过程期间可执行附加的可选的量化步骤。在分类过程中，样本值可在进行比较以便降低偏移值的噪声敏感性之前分类成不同的组。在另一个实施例中，还可计算样本范围、偏移模式和偏移精度参数并将它们和与取样视频数据相关联的元数据一起发送以改善偏移在其他实施例中的应用。
在另一个实施例中，视频数据可被转换成具有更适合用于施加偏移值的分量的第二色彩空间。一旦偏移值已经在第二色彩空间中应用，具有所施加的偏移的视频数据可被转换回第一色彩空间。同样，在这种情况下，如果有关第二色彩空间的识别信息要发送，可需最小的开销来发送该识别信息。
在另一个实施例中，由于受限的信号开销而针对某些带不能够明确地用信号发送的偏移值可相反从明确地用信号发送的偏移值进行内插。可通过明确地信令不邻接带并且然后内插与位于明确地用信号发送的非邻接带之间的中间带相关联的偏移值来进行该内插。带也可被非均匀的拆分使得一些带具有不同的宽度和/或涵盖比其他带更宽的范围。这些实施例可使偏移值更加精确地施加于最受偏移影响的图像的特定部分。
样本的量化和分类
SAO可包括将重构的样本分类成各种类别，获取用于每个类别的偏移并将获取的偏移添加到类别中的每个样本。用于每个类别的偏移可在编码器处被计算并且用信号发送到解码器。样本的分类在编码器和解码器处均可执行。量化可掩蔽内容中的噪声并且对视频内容的边缘提供更好的聚焦。在这些情况下当有关所用的特定量化因子的信息将被发送时，仅需发送特定量化值。可通过针对多个样本使用相同的量化因子来进一步降低开销。也可计算附加的样本范围、偏移模式和偏移精度参数并将它们和与取样视频数据相关联的元数据一起发送以改善偏移在其他实施例中的应用。通过不仅验证样本是否是远隔的而且验证样本远隔的程度可引进量化参数以协助边缘分类。量化参数也可用于确定邻近样本之间的绝对差值是否大于阈值，其中阈值可为精确的或量化的。量化参数也可对邻近样本之间的差值进行量化并且基于该经量化的差值执行分类。常规的边缘偏移确定基于将当前取样值与其邻元素进行比较的直接比较，使用大于/小于/等于标准，但是它们易被噪声影响准确性，尤其在较高的位深度处。本文所讨论的量化参数技术有望降低对此类噪声影响的敏感性。
在第一实施例中，所有待处理的样本可使用量化因子进行量化。量化因子可包括除数，给定的样本值和其邻元素的样本值除以该除数。经量化的样本可被四舍五入。四舍五入的结果可然后用作分类过程的参数。在一些情况下，可对商执行其他操作诸如上限计算或下限计算作为四舍五入的补充或替代。例如，如果除数的值是2的幂，则可代替地使用移位操作或按位与掩码来简化除法运算，移位操作或按位与掩码可节省存储器资源，并且本文进一步地描述。决策过程可然后基于新的经量化的样本对样本进行分类。表1示出基于所述实施例用于对边缘偏移模式中不同的边缘类型进行分类的示例性条件。在表1中，T，其可为浮点数，对应于除数。
表1：使用量化的样本的示例性分类标准
图1示出根据第一实施例的示例性方法100。在步骤101中，可识别量化因子(T)、预先确定的视频样本的值(p)、预先确定的视频样本的第一邻元素(n0)的值和预先确定的视频样本的第二邻元素(n1)的值。在步骤102中，所识别的值(p,n0,n1)中的每者可除以量化因子(T)。在步骤103中，被除过的样本值(p/T)可与被除过的其邻元素的值(n0/T)和(n1/T)进行比较。
在一些情况下，在比较发生之前，可将函数应用于被除过的值(p/T)、(n0/T)和/或(n1/T)中的一者或多者以将这些被除过的值与更一般的类别相关联。例如，在一些情况下，诸如在框105中，可将四舍五入函数应用于被除过的值使得被除过的值中的每者与对应的完整的数相关联。所关联的整个的数然后可在步骤103中彼此进行比较。可在其他实例中应用不同的函数。例如，在框106中，在于步骤103中将被除过的值彼此进行比较之前可对这些值中的每者应用下限或上限计算函数。在其他实施例中还可使用其他函数。在步骤104中，基于步骤103中所作的比较，预先确定的视频样本可被分类为以下类别中的一种：最小值、第一边缘类型、第二边缘类型、最大值、和这些都不是。上面的表1示出用于基于步骤103中的比较将视频样本分类为这些类型中的一者的示例性标准。示例性比较标准在表1中的条件列中示出。
在另一个实施例中，边缘类型的分类可基于取样值与其邻元素之间的差值的量化，其中可根据常规的SAO方法评估取样值与其邻元素之间的差值。表2示出基于所述实施例用于对边缘偏移模式中的不同边缘类型进行分类的示例性条件。
表2：使用量化的样本之间的差值的示例性分类标准
图2示出根据第二实施例的示例性方法200。在步骤201中，可识别量化因子(Q)、预先确定的视频样本的值(p)、预先确定的视频样本的第一邻元素的值(n0)以及预先确定的视频样本的第二邻元素的值(n1)。在步骤202中，可确定预先确定的视频样本(p)与其邻元素(n0,n1)中的每者之间的差值(p–n0&p–n1)。如本文进一步所述，在步骤203中，量化因子(Q)可应用于在步骤202中确定的视频样本值与其邻元素之间的差值中的每者。在步骤204中，方法200可评估预先确定的视频样本值与其邻元素之间的差值中的每者的量化的符号。在步骤205中，基于在步骤204中的评估，预先确定的视频样本(p)可被分类为以下类别中的一种：最小值、第一边缘类型、第二边缘类型、最大值、和以上都不是。上面的表2示出用于基于步骤204中所作的评估将视频样本分为这些类型中的一种类型的示例性标准。示例性比较标准在表2中的条件列中示出。
在另一个实施例中，可使用相同的量化器Q对待处理的所有样本进行量化。决策过程可然后基于新的量化的样本对样本进行分类。量化参数可通过在边缘分类之前将样本量化到较低的精度来减小样本的动态范围。通过一旦量化样本就然后针对所有的邻接决策重新使用量化的值，该实施例可节省存储器资源。下面的表3示出用于基于该实施例对边缘偏移模式中的不同的边缘类型进行分类的示例性条件。在表3中以及本文的其他表中(除非另有指示)，p对应于给定样本的值，n0对应于给定样本的第一定向邻元素(通常在水平方向、垂直方向或对角方向上)的值，n1对应于给定样本的第二定向邻元素(通常在水平方向、垂直方向或对角方向上与第一定向相反)的值，以及Q对应于量化因子。
表3：使用量化的样本的示例性分类标准
图3示出根据第三实施例的示例性方法300。在步骤301中，可识别量化因子(Q)、预先确定的视频样本的值(p)、预先确定的视频样本的第一邻元素的值(n0)以及预先确定的视频样本的第二邻元素的值(n1)。在步骤302中，量化因子(Q)可应用于所识别的值(p,n0,n1)中的每者。例如，该量化可为相对于上面的表1所述的四舍五入函数。在该实例中，表3为表1的一般化。在步骤303中，经量化的样本的值Q[p]可与经量化的其邻元素的值Q[n0]和Q[n1]进行比较。在步骤304中，基于在步骤303中所作的比较，预先确定的视频样本(p)可被分类为以下类别中的一种：最小值、第一边缘类型、第二边缘类型、最大值、和以上都不是。上面的表3示出用于基于在步骤303中所作的比较将视频样本分类为这些类型中的一种的示例性标准。示例性比较标准在表3的条件列中示出。
相对于本文所述的实施例中的每者，量化过程可为移位操作，诸如向右移j位的操作。在一些情况下，移位操作还可包括四舍五入控制。在量化过程的一个模型中，可基于样本的位深度动态地计算量化步长。例如，样本可被量化成它们的八个最重要的位。换句话讲，在位深度表示待处理的样本的位深度并且基于该位深度固定N(其代替j)的情况下，即N＝位深度-8，针对本文所述的图1和图3的实施例量化可被执行为Q1(x)＝x>>N。
在一个实施例中，针对本文所述的图2的实施例可使用样本x和量化因子j按如下操作执行量化：
Q2(x,j)＝floor(x/(2^j))＝sign(x)*(abs(x)>>j)
Q3(x,j)＝((x+(1<<(j-1)))>>j)
量化方法Q1和Q3是类似的。例如，如果正值和负值不分开，存在负偏置，如果是负，这样值将永远不变成0，并且样本可在没有四舍五入因子的情况下向右移位。
量化方法可另选地概念化成编码树修改过程，其中可如下导出边缘指标的值edgeIdx：
edgeIdx＝2+Sign(recPicture[xSi][ySj]-recPicture[xSi+hPos[0]][ySj+vPos[0]])+Sign(recPicture[xSi][ySj]-recPicture[xSi+hPos[1]][ySj+
vPos[1]])
当根据本发明中的实施例应用量化时，可如下用SignQuant替代sign来导出边缘指标：
edgeIdx＝2+SignQuant(recPicture[xSi][ySj]-recPicture[xSi+
hPos[0]][ySj+vPos[0]])+SignQuant(recPicture[xSi][ySj]-
recPicture[xSi+hPos[1]][ySj+vPos[1]])
其中SignQuant可为：
在另选的实施例中，这可以是：
edgeIdx＝2+Sign(Q(recPicture[xSi][ySj]-recPicture[xSi+hPos[0]][ySj
+vPos[0]]))+Sign(Q(recPicture[xSi][ySj]-recPicture[xSi+
hPos[1]][ySj+vPos[1]]))
其中Q为先前所述的量化方法，例如Q可为Q2或Q3。在另一个实施例中，其还可如下：
edgeIdx＝2+Sign(Q1(recPicture[xSi][ySj])-Q1(recPicture[xSi+
hPos[0]][ySj+vPos[0]]))+Sign(Q1(recPicture[xSi][ySj])-
Q1(recPicture[xSi+hPos[1]][ySj+vPos[1]]))
在量化过程的另一个模式中，可针对每个色彩分量用信号发送j。可在片头(sliceheader)中执行该信令，这具有最小化开销的优点。例如，可如下修改片段头(slicesegment header)，其中slice_sao_luma_thres_scale和slice_sao_chroma_thres_scale可指定用于在本文所述的边缘偏移分类中对样本视频数据进行量化中针对亮度和色度分量中的每者进行比较的阈值：
也可在SAO语法中执行该信令，适用于编码树单元，在PPS级别或在SPS级别。该模式可通过使量化从预先确定数量的最重要的位分离来提供更大的灵活性，通过该预先确定数量的最重要的位样本被量化并且量化参数可在各种级别用信号发送。
信令动态范围和精度参数
在一个实施例中，针对边缘偏移和带偏移分类方法两者，通过支持附加的参数的信令可在限制信令开销以及保存动态范围时扩展SAO的精度。这些附加的参数可包括指定被信令偏移的动态范围和/或精度的参数。
尽管SAO被设计来更好地重构原始信号振幅，但是SAO性能可是差的，尤其在现有HEVC标准中在高的位速率和位深度下。在SAO中，在比特流中接收图像和修正的偏移。重构图像的样本可被分类成类别，并且对应于该类别的修正的偏移在去块滤波之后可被添加到所重构的图像样本上。在现有的HEVC标准中，编码的偏移值的量值被限制到(1<<(Min(bitDepth,10)–5))–1的最大值，而符号值要么在比特流中被用信号发送(例如，在带偏移方法中)，要么针对每个边缘种类被预定义。因此，最终的偏移值可如下计算：
SaoOffset＝offsetSign*saoOffsetAbs<<(bitDepth-Min(bitDepth,10))其中offsetSign为用于偏移的指定的符号，saoOffsetAbs为被用信号发送到偏移量值，以及bitDepth为被处理样本的指定的位深度。如本文进一步所述，SaoOffset可被单独地定义并且可针对每个色彩分量被用信号发送。例如，针对8位数据的偏移范围在[-7,7]内，针对10位数据的偏移范围在[-31,31]内，以及针对12位数据的偏移范围在[-31,31]*4内。在上面的方程式中Quantization表示向右移位部分，即<<(bitDepth-Min(bitDepth,10))。换句话讲，在现有HEVC标准中的量化应用于超过10的位深度。
然而，该计算方法可导致差的性能。例如，针对边缘偏移SAO方法或带偏移SAO方法，鉴于一定的优化模型(例如，使用最小均方方法)，待用信号发送的偏移可位于受限的以及相当小的范围内。然而，当确定最终的SAO偏移值用于信令时，鉴于另外的约束条件，诸如编码以及四舍五入、量化以及HEVC标准(针对比10高的位深度)所要求的剪辑约束，在量化之后，这些偏移要么以它们的大多数结束要么作为整体被完全量化直到零来结束。这将降低SAO的效果，或甚至完全关闭SAO，这可负面地影响整个编码效率。
因此，可通过移除量化和/或调整针对给定位深度的量化来改善SAO性能。在一个实施例中，可提供指定SAO偏移的精度的参数。可提供变化的缩放系数，而不是应用固定的缩放系数将偏移参数调整固定的依赖于位深度的量。缩放参数可指定将应用于特定的样本的特定的缩放系数。
图10为示出用于确定并且用信号发送样本自适应偏移的动态范围和/或精度的方法1000的流程图。在第一步骤1002中，方法1000接收比特流中的编码视频数据，并且可从该比特流提取用于指定将如何应用比特流的参数。在一些情况下，saoShiftOffset参数可用于用信号发送特定的缩放系数。在步骤1004中，方法1000确定比特流是否包含用于指定SAO移位偏移值的参数。例如，传统系统可能不发送用于指定如何应用SAO偏移的参数。如果没有用于指定如何应用SAO偏移的参数可提取，则方法1000然后前进至步骤1008，在步骤1008中应用SAO偏移机制。例如，如果没有用信号发送、没有接收到或不存在saoShiftOffset，则可根据现有的缩放机制(即，针对超过10的位深度应用量化)对偏移进行缩放。如果方法1000提取了SAO偏移参数，则方法前进至步骤1006，在步骤1006中根据该参数将SAO应用到该视频。例如，根据下面的示例性代码，偏移可移位由saoShiftOffset参数指定的量：
在另选的实施例中，还可指定标准以限制其中使用定制的偏移缩放的情况。例如，可指定附加的标准用以如果位深度大于10仅允许定制的偏移缩放，同时基于saoMaxLogOffsetAbs量鉴于给定的位深度还将动态范围限制到当前最大样本值内。
在一个实施例中，可在图像参数集(PPS)中用信号发送参数SaoOffset。在另一个实施例中，可在序列参数集(SPS)、片头或与所编码的视频数据相关联的其他元数据中明确地用信号发送该参数。在一些情况下，这些附加参数可在与在HEVC中已经定义的配置文件(诸如Main、Main-10和Main Still配置文件)不同的新的配置文件中被支持。这些参数可针对每个最大编码单元(LCU)被用信号发送，而LCU之间的预测机制可降低信令开销。
可针对每个色彩分量定义这些参数，这些色彩分量可彼此类似但不是必要的。因此，每个色彩分量具有与其相关联的它自己的saoOffset参数。例如，亮度分量可具有它自己的saoOffset参数并且色度分量可具有它自己的saoOffset参数。在另选的实施例中，不同的色彩分量可使用相同的saoOffset参数或相同的saoOffset参数的集合。
例如，可如下通过图像参数集原始字节序列负荷(RBSP)语法中的参数sao_luma_bit_shift和sao_chroma_bit_shift将参数saoOffset用信号发送：
sao_luma_bit_shift可指定用于得到亮度样本的SAO偏移值的参数。sao_luma_bit_shift的值可处于0到BitDepthY-6的范围内，包括端值在内。当不存在时，sao_luma_bit_shift的值可推断等于0，在这种情况下，可根据现有的HEVC标准执行量化。sao_chroma_bit_shift可指定用于得到色度样本的SAO偏移值的参数。sao_chroma_bit_shift的值可处于0到BitDepthC-6的范围内，包括端值在内。当不存在时，sao_chroma_bit_shift的值可推断等于0，在这种情况下，可根据现有的HEVC标准执行量化。
在一些情况下，用信号发送的偏移量的最大允许值saoOffsetAbs也可包括在该参数中或作为附加的参数。最大允许值可被编码为是其以2为底的对数saoMaxLogOffsetAbs或通过取其以2为底的对数saoMaxLogOffsetAbs被更加有效地编码。在这种情况下，最大允许值可被指定为：
saoMaxOffset＝(1<<saoMaxLogOffsetAbs)–1
在一些情况下，saoOffsetAbs的熵编码过程(cmax)可被该编码影响。在另选的实施例中，因为当前最大值可被设定为等于(1<<(Min(bitDepth,10)–5))–1，可通过用信号发送saoDeltaMaxLogOffsetAbs并且设定saoMaxLogOffsetAbs等于以下项来保存几个比特：
saoMaxLogOffsetAbs＝(Min(bitDepth,10)-5)+saoDeltaMaxLogOffsetAbs
如果saoDeltaMaxLogOffsetAbs等于0，则可使用现有的动态范围，否则可提供扩展的动态范围。
在另选的实施例中，可提供自适应动态范围信令并且在片级控制下提取。例如，对于i在0至4范围内(包括端值在内)的SaoOffsetVal[cIdx][rx][ry][i]，可如下导出：
在另选的实施例中，可提供自适应动态范围信令并且如下在序列级控制下提取：
当sao_quant_enabled_flag为1时，解码器可被警示量化将被应用于sao_offset_abs。sao_quant_enabled_flag等于0可指示将不使用sao_offset_abs的量化。当不存在时，sao_quant_enabled_flag的值被推断为等于0，在这种情况下，可根据现有的HEVC标准执行量化。
另外，在HEVC应用SAO作为在环处理机制时，本文所述实施例中的一个或多个实施例可应用为在环SAO处理机制的一部分或者它们可应用为独立于诸如HEVC的编码解码器的后处理机制。针对应用为独立于编解码器的后处理机制的那些实施例，可仍然使用承载机制在编解码器内用信号发送SAO元数据，该承载机制包括但不限于辅助增强信息(SEI)消息、MPEG-2系统的指定用户的元数据或其他机制。另外，本发明的实施例可被包括在其他编解码器内，其他编解码器可提供某种形式的SAO。这些其他编解码器可包括将来的编解码器或HEVC的延伸，诸如HEVC的可伸缩或3D/多视点延伸。
在转换的色彩空间中应用SAO
除支持YUV 4:2:0色彩空间之外，HEVC还支持其他色彩空间和色彩取样格式诸如YUV 4:2:2和YCoCg、YCoCg-R或RGB 4:4:4等等。在不同实施例中，SAO可应用于与视频数据的本地色彩空间不同的色彩空间。将SAO应用于不同的色彩空间可使得用于与特定色彩空间相关联的特定参数的偏移被更加精确地指定，诸如色度参数替代如同在RGB色彩空间中的特定的颜色值。
可通过将图像数据转换到不同色彩空间和取样格式来将SAO应用于非本地色彩空间，诸如从4:2:0转换到4:4:4，将SAO应用于不同的色彩空间和取样格式，并且然后将图像数据转换回本地色彩空间和取样格式。例如，如果本地编码颜色空间是RGB Rec.709或Rec.2020，则图像数据可被转换到YUV颜色空间以便直接将SAO应用到图像数据的亮度和/或色度分量。一旦图像数据被转换到YUV色彩空间，基于SAO的一个或多个偏移就可被应用于YUV色彩空间中的被转换的图像数据。逆变换或颜色转换算法可应用于YUV色彩空间中的数据以返回到原来的RGB色彩空间。
确定、色彩空间的类型和/或取样格式转换可在一组编码数据内用信号发送或识别，并且在一些情况下，可被包括在序列参数集(SPS)、图像参数集(PPS)、片头或SAO语法中。在其他情况下，该信息可为其他元数据的部分或可在别处用信号发送。
用于返回到本地色彩空间的逆变换可通过计算正向变换M的反向来得到。例如，逆变换M-1可被如下计算：M-1＝adj(M)/det(M)，其中adj是矩阵M的共轭，并且det是M的行列式。在一些情况下，此类计算可降低用于用信号发送返回到本地色彩空间所需的开销。
在一些情况下，将SAO应用于非本地色彩空间可代替HEVC或将来的视频编码系统中现有的本地色彩空间方法。在其他情况下，将SAO应用于非本地色彩空间的能力可作为附加的选项添加到HEVC或其他视频编码系统中。在一些情况下，可将对不同色彩空间的变换限制于仅4:4:4内容以简化用于变换的计算需求，但是在其他情况下还可通过允许在色彩变换过程中色度取样同样地升尺度和降尺度来将变换扩展到其他色彩取样案例。可用简单的计算诸如像素复制或抽取来执行升尺度和降尺度，或可包括计算更加密集的滤波器，从双线性出发，到多抽头、边缘自适应和双边算法。
如当前HEVC规范，可期望针对一种色彩取样(例如，亮度)应用一种形式的SAO，但是针对不同的色彩取样(色度u或色度v)应用另一种形式的SAO。本文所述的实施例中的每者可支持将不同类型的SAO非均匀地和/或在逐个样本基础上应用到视频数据。
图4A示出示例性编码方法400。在框401中，视频数据可从第一色彩空间转换到第二色彩空间。第一色彩空间可为默认的或预先确定的色彩空间，其中视频数据可被编码。第二色彩空间可被选择因为其包括一个或多个色彩分量，可利用将偏移应用于第二色彩空间而不是第一色彩空间来进一步改善该一个或多个色彩分量。
一旦视频数据已经被转换到第二色彩空间，在框402中，至少一种偏移计算标准可被应用于第二色彩空间中被转换的视频数据。一旦偏移已经被计算，包括所计算的偏移的所转换的视频数据可被转换回到框403中的第一色彩空间。
第二色彩空间的标识符或其他属性可然后被包括在与第一色彩空间404中被转换的数据相关联的元数据中或以其他方式在其中用信号发送以向第二色彩空间提供有关该转换的信息用于随后的视频处理功能。
图4B示出了示例性解码方法410。在框411中，第二色彩空间的标识符或其他属性可然后从与第一色彩空间中被转换的数据相关联的元数据接收和/或提取。该标识符可向第二色彩空间提供有关转换的信息用于视频处理功能。基于在框411中所接收的标识符，可将一个或多个偏移计算标准应用于第二色彩空间中的所转换的视频数据。
偏移内插
如先前所讨论，现有的带偏移模式提供指定用于32个可能的带中的4个连续的带的偏移的能力。在一些情况下，然而，可期望在没有必须增加开销和/或用信号发送的偏移的数量的情况下指定用于比仅限制的一组4个连续的带更多的带的偏移。
为实现这，在一些情况下偏移信令可被允许用于非连续带。在一些情况下，可选择相同的一组4个带，带的一些或全部可被选择为不相邻。用于位于不相邻的带之间的这些中间带的偏移可使用与不相邻的带相关联的偏移来进行内插。中间带的数量可在用信号发送的参数中指定，该用信号发送的参数可包括在SPS、PPS、片头、SAO语法或与被编码的数据相关联的其他元数据中。
在所有4个带被均匀地间隔开使得相同数量的中间带(参数sao_intermediate_offset)位于4个带中的每者之间的情况下，可能的偏移的数量可等于(4+3*sao_intermediate_offsets)。如果sao_intermediate_offsets被设定为非0的值，则仅具有等于参数sao_intermediate_offsets的带间隔距离的带的偏移可被用信号发送，当在比特流中用信号发送时从在第一带位置(parameter sao_band_position)处的初始带开始。其他不用信号发送的中间带中的每者可使用用信号发送的带偏移来进行内插。最简单的方法是使用双线性内插并且如下生成偏移：
/>
其他，在不同的情况下可使用更长的滤波器。还可基于在指定范围内的偏移的值来推测该指定范围之外的另外的偏移。
图5示出了在一个实施例中的一种示例性方法500。在框501中，与取样视频数据相关联的值的可能幅值的范围可被细分成多个带。每个带可对应于整个幅值范围的特定子集使得整个范围中的每个幅值的值落在一个且仅一个带中。
由于开销限制，仅针对这些带中受限的连续数量指定偏移值是可能的，诸如仅一组32带中的4个相邻带。在一个实施例中，偏移仅可被应用于该受限的一组连续带，针对该受限的一组连续带偏移被明确地指定。在另选的实施例中，偏移还可不被指定用于或应用于不与偏移被指定的另一个带相邻的带。
在框502中，可针对至少两个不相邻的带中的每者用信号发送偏移。因此，可针对相同数量或不同数量的不相邻的带，诸如例如带1、5、9和13在框502中用信号发送偏移，而不是要求针对一组彼此相邻的4连续的带诸如例如带1、2、3和4来用信号发送偏移。
在框503中，可针对至少两个不相邻的带之间的中间带来内插偏移，针对该至少两个不相邻的带偏移在框502中被用信号发送。可使用在框502中用信号发送的用于至少两个不相邻的带的偏移的值来内插偏移。可使用任何类型的内插算法，包括但不限于线性内插、双线性内插、多项式内插和样条内插。
非均匀带
在其他情况下，样本可非均匀分布或具有不同的范围，其中较小的范围可对于肉眼更加易于观察，例如，如韦伯定理所规定。在这些情况下，样本范围不需要用均匀间隔的带来均匀地分割。相反，可使用对数、指数或其他非线性函数对带进行分割。例如，在一些情况下，带可通过下面的函数来定义：
f(x)＝ceil(log2(x+1)),
f(x)＝ceil(log2((1<<bitDepth)-x))
f(x)＝(x<＝(1<<(bitDepth–1))？ceil(log2(x+1)):ceil(log2((1<<bitDepth)-x))
f(x)＝round((2.0^(float(x)/float((1<<bitdepth)-1))*31))-31
f(x)＝round((2.0^(float((1<<bitDepth)–x–1)/float((1<<bitdepth)-1))*31))-31
这些或其他函数可用于创建不同的带，在每个带内具有不同数量的样本。在另一个实施例中，可提供参数，在该参数中带的数量以及与按序的每个相应的带相关联的样本的数量均明确地用信号发送。在一些情况下，每个带的开始点可通过附加的开始点参数明确地或区别地用信号发送。在其他情况下，在现有的HEVC规范中提供的这些方法还可用于识别用信号发送的带。
内插可用于识别在明确地用信号发送的这些偏移之外的附加的偏移。中间带的偏移可独立于它们的尺寸进行内插，或者尺寸参数可用于缩放内插结果。在一些情况下，可通过包括在SPS、PPS、片级或与被编码的数据相关联的其他元数据的参数来用信号发送第一带或特定的带的创建过程。
还可针对每个偏移或编码的宏模块、编码单元或编码树单元动态地调整带。然而，这可需要附加的带宽和计算功率以生成更加复杂的带。在一些情况下，可用信号发送不同的支持模式，包括带偏移和/或边缘偏移模式的不同变型，而不是针对每个宏模块、编码单元或编码树单元转换带分割方法。还可提供诸如sao_type_idx_luma和sao_type_idx_chroma的附加的参数以进一步增加支持模式的数量。
图6示出另一个实施例中的示例性方法。在框601中，可识别取样视频数据的可能的振幅值的范围。在框602中，可将非线性的操作应用于所识别的范围。非线性的操作可将振幅值的范围细分成非均匀的带，其中一些较宽并且相比其他带涵盖更多的值。非线性的操作可包括生成非均匀的输出的任何类型的逻辑或函数，可从该非均匀的输出生成非均匀的带。非线性的操作可包括但不限于诸如指数、对数或至少二阶多项式函数的非线性函数。在框603中，基于向振幅范围应用非线性的操作的结果，在框601中所识别的振幅范围可被分割成非均匀的带。在框604中，非均匀的带的标识符可被用信号发送或以其他方式包括在与被编码的视频数据相关联的元数据中使得带可被区分。在一些情况下标识符可指定每个带的开始和/或结束。在其他情况下该标识符可识别第一带的开始以及用于识别带中的每者的公式或其他标准。在其他情况下，标识符可包括识别信息的其他类型，可从该识别信息递交不同的非均匀的带。
聚焦边缘偏移模式
如本文所讨论的，在现有的边缘偏移模式中预先确定的样本的值可与八个相邻样本中的两者在水平方向、垂直方向或对角方向进行比较以对样本进行分类。现有的边缘偏移模式同样地考虑所有的样本而不考虑样本中的每者的相对振幅。在一些情况下，编码器除了边缘特征可考虑样本振幅，边缘特征可提高对特定边缘、对象或区域的对焦，特定边缘、对象或区域将从边缘偏移受益最大。
可通过提供对SAO带指示参数的信令来实现对特定边缘、对象或区域进行聚焦，SAO带指示参数诸如带偏移模式中提供的用以指示SAO偏移带的sao_band_position参数。该带指示参数可指定边缘偏移模式应该应用的这些带。换句话讲，可首先检验样本以确定其属于特定的带。仅当样本首先被确定属于特定的带时可然后应用边缘指标EdgeIdx标准以确定合适的偏移。
在一些情况下，要么基于前HEVC规范中指定的均匀取样机制要么基于诸如本文所述的那些其他不均匀机制，可将单个的带识别为特定的带。在其他情况下，通过指定附加数量的待处理的带的另一个参数还可将附加的带(包括两个或更多个连续的带)识别为特定的带。参数中的每者可在与被编码的视频数据相关联的元数据中用信号发送，包括但不限于SPS、PPS、片头或在SAO语法中。该增强边缘偏移模式可替代现有的边缘偏移模式或可被提供为操作模式的另外的类型。
系统概述
另外，在HEVC将SAO应用为在环处理机制时，本文所述的实施例中的一者或多者可被应用为在环SAO处理机制中的一部分或者它们可被应用为独立于诸如HEVC的编解码器的后处理机制。对于被应用为独立于编解码器的后处理机制的那些实施例，使用承载机制可仍然在编解码器内用信号发送SAO元数据，该承载机制包括但不限于辅助增强信息(SEI)消息、MPEG-2系统的指定用户的元数据或其他机制。另外，本发明的实施例可被包括在可提供一些形式的SAO的其他编解码器中。这些其他的编解码器可包括未来的编解码器或HEVC的延伸，诸如HEVC的可伸缩或3D/多视点扩展。
图7示出本发明的实施例中的编码系统700的简化的框图，该编码系统700包括用于编码和解码视频数据的分量。系统700可包括减法器712、变换单元714、量化器716和熵编码单元718。减法器712可从源图像接收输入运动补偿块，并且取决于所用的预测模式，可从预测单元750接收预测的运动补偿块。减法器712可将所预测的块从输入块减去并生成像素残差的块。如果没有执行预测，则减法器712可在没有修正的情况下简单地输出输入块。变换单元714可根据空间变换将其接收的块转换成变换系数的矩阵，通常为离散余弦变换(“DCT”)或小波变换。量化器716可根据量化参数(“QP”)截短每个块的变换系数。用于截短的QP值可在信道中被传输到解码器。熵编码单元718可根据熵编码算法对量化的系数进行编码，该熵编码算法例如可变长度编码算法或上下文自适应二进制算术编码。包含消息、标志和/或上述的其他信息的附加的元数据可被添加到或包括在编码数据中，该编码数据可被系统700输出。
系统700还可包括逆量化单元722、逆变换单元724、加法器726、滤波系统730、缓冲器740和预测单元750。逆量化单元722可根据量化器716使用的QP对编码的视频数据进行量化。逆变换单元724可将重量化的系数变换成像素域。加法器726可将从逆变换单元724输出的像素残差与来自预测单元750的预测的运动数据相加。来自加法器726的总和输出可输出到滤波系统730。
滤波系统730可包括去块滤波器732、强度推导单元734和样本自适应偏移(SAO)滤波器733。可在重构的样本被写入到解码器环中的被解码的图像缓冲器740中之前将滤波系统中的滤波器应用到重构的样本。去块滤波器732可应用去块滤波，以在由强度推导单元734提供的强度上恢复从加法器526输出的视频数据。强度推导单元734可使用上述的任何技术来导出强度值。SAO滤波器733可被配置为执行本文所述的偏移特征中的至少一个偏移特征，并且在一些情况下可执行本文所述的偏移特征中的两个或更多个偏移特征的不同组合。SAO滤波可自适应地应用于满足本文所限定的特定条件的所有样本。SAO可通过基于由编码器发送的查找表中的值添加偏移值到每个样本来修正解码的样本。例如，指定每个样本的分类和样本的偏移的分类器索引可被熵编码器718在比特流中进行编码。在解码处理器中，分类器索引和偏移可被对应的解码器解码。滤波系统730还可包括其他类型的滤波器，但这些没有在图7中示出仅仅为了简要地介绍本发明的本实施例。
缓冲器740可存储由滤波系统730所输出的经复原的帧数据。经复原的帧数据可被存储用作后来接收块的编码期间的参考帧。
预测单元750可包括模式决策单元752和运动估计器754。运动估计器754可估计被编码的源图像与存储在缓冲器740中的参考帧之间的图像运动。模式决策单元752可分配预测模式以对输入块进行编码并且从缓冲器740选择块以充当输入块的预测参考。例如，它可选择待使用的预测模式(例如，uni-predictive P-coding或bi-predictive B-coding)，并且生成运动向量用于在此类预测编码中使用。就这一点而言，预测单元750可从缓冲器740检索所选择的参考帧的缓冲块数据。
图8是根据本发明的一个实施例的解码器800的简化框图。解码器800可包括熵解码器818、逆量化器816、逆变换单元814、加法器812、强度推导单元834、去块滤波器832和SAO滤波器833。解码器800进一步可包括预测单元850和缓冲器840。
熵解码器818可根据熵解码算法对从信道(或通过信道缓冲区，未示出)接收的数据进行解码，该熵解码算法例如为可变长度解码算法或上下文自适应二进制算数解码。逆量化器816可乘以由量化参数从熵解码器818接收的系数数据。逆变换单元814可将从逆量化器接收的去量化系数数据变换成像素数据。逆变换单元814可执行由编码器的变换单元执行的变换操作(例如，DCT或小波变换)的逆向。加法器812可在逐个像素的基础上将由逆变换单元814获取的像素数据与从预测单元850获取的预测像素数据相加。加法器812可输出经复原的数据，从该经复原的数据可在显示器设备处(未示出)构建并呈现经复原的帧。帧缓冲器840可累积解码的数据并由此建立重构的帧。强度推导单元834可使用上述的任何技术得到强度值。去块滤波器832可根据由信道识别的滤波参数并且在由强度推导单元834提供的强度上对复原的帧数据执行去块滤波操作。SAO滤波器833可被配置为执行本文所述的偏移特征中的至少一个偏移特征，并且在一些情况下可执行本文所述的偏移特征中的两个或更多个偏移特征的不同组合。SAO滤波可自适应地应用于满足本文所限定的特定条件的所有样本。SAO可通过基于编码器所发送的查找表中的值有条件地将偏移值加到每个样本来修正解码的样本。例如，指定每个样本的分类和样本的偏移的分类器索引可从比特流中读取并解码。
图9示出了适于和本发明的实施例一起使用的多终端系统900。系统900可包括经由信道950互连的至少两个终端910、920。针对数据的单向传输，第一终端910可在本地位置对视频数据进行编码，以用于通过信道950传输到另一个终端920。第二终端920可从信道950接收另一个终端的已编码视频数据，对已编码数据进行解码并显示复原的视频数据。单向数据传输在流媒体应用等等中是常见的。
图9还示出第二对终端930、940，其用于支持可能发生的编码视频的双向传输，例如，在视频会议期间。这对数据的双向传输，每个终端930、940可对在本地位置捕获的视频数据进行编码，以用于通过信道950传输到另一个终端。每个终端930、940还可接收由另一个终端发送的视频数据，可对该编码数据解码，并且可在本地显示器设备上显示经复原的视频数据。
在图9中，将终端910-940示出为服务器、个人计算机和智能电话，但本发明的原理并不限于此。本发明的实施例可应用于膝上型计算机、平板电脑、媒体播放器和/或专用视频会议设备。每个终端910-940可包括处理设备和存储器。处理设备可包括诸如中央处理单元、微控制器或被配置为执行存储在存储器中的指令的其他集成电路的设备。存储器可以包括能够存储指令的任何形式的有形介质，包括但不限于：RAM、ROM、硬盘驱动器、闪存驱动器和光盘。信道950表示在终端910-940之间传递已编码视频数据的任意数量的网络，包括例如有线通信网络和/或无线通信网络。通信网络可在电路交换信道和/或分组交换信道中交换数据。代表性网络包括电信网、局域网、广域网和/或互联网。在另一个实施例中，信道950可被提供作为存储装置，例如，电存储设备、光存储设备或磁存储设备。出于本论述的目的，信道950的体系结构和拓扑结构对本发明的操作是无关紧要的。
前述讨论已在编解码器的情境下描述了本发明的实施例的操作。通常，编解码器作为电子设备而提供。它们可嵌入到集成电路，诸如专用集成电路、现场可编程门阵列和/或数字信号处理器中。或者，它们可嵌入到在个人计算机、笔记本计算机或计算机服务器上执行的计算机程序中。类似地，解码器可嵌入到集成电路，诸如专用集成电路、现场可编程门阵列和/或数字信号处理器中，或者它们可嵌入到在个人计算机、笔记本电脑或计算机服务器上执行的计算机程序中。解码器通常封装在消费电子设备诸如游戏系统、DVD播放器、便携式媒体播放器等中，并且它们还可封装在消费软件应用诸如视频游戏、基于浏览器的媒体播放器等中。这些组件可被提供作为混合系统，依照要求跨专用硬件组件和已编程通用处理器来分布功能。
前面的描述是为了举例说明和阐述的目的。其不是穷举的并且不将本发明的实施例限制到所公开的精确的形式。根据上面的教导，修改和变型是可能的，或可从与本发明一致的对实施例的实施中获得修改和变型。除非本文另有描述，否则任一种方法可以任何组合实践。例如，可以任意组合实践信令的方法和得到用于分类的量化因子的方法。

Claims (15)

1.一种解码方法，包括：
从编码视频流中提取量化因子和编码像素值；
对所述编码像素值进行解码以产生重构像素数据；
通过应用所述量化因子来对所述重构像素数据进行量化以产生经缩放的像素值；
对所述经缩放的像素值进行四舍五入；
对经四舍五入的像素值进行评估；
基于所述评估，将当前位置处的重构像素分类为类别；
基于所述分类，导出第一SAO偏移值；
将所导出的第一SAO偏移值用作识别SAO滤波操作中的偏移的输入，对所述重构像素数据执行第一SAO滤波。
2.如权利要求1所述的方法，其中，对经缩放的像素值进行四舍五入四舍五入到整数像素值。
3.一种解码方法，包括：
从编码视频流中提取量化因子和编码像素值；
对所述编码像素值进行解码以产生重构像素数据；
通过应用所述量化因子来对所述重构像素数据进行量化以产生经缩放的像素值；
通过应用下限函数或上限函数来对所述经缩放的像素值进行转换；
对经转换的像素值进行评估；
基于所述评估，将当前位置处的重构像素分类为类别；
基于所述分类，导出第一SAO偏移值；
将所导出的第一SAO偏移值用作识别SAO滤波操作中的偏移的输入，对所述重构像素数据执行第一SAO滤波。
4.一种用于对视频进行解码的方法，包括：
识别当前位置和至少两个相邻位置的编码像素值和量化因子；
对所述编码像素值进行解码以产生所述当前位置和所述相邻位置处的重构像素值；
确定所述当前位置处的重构像素值与相邻位置处的重构像素值之间的差值，所述差值包括所述当前位置处和第一相邻位置处的值之间的第一差值以及所述当前位置处和第二相邻位置处的值之间的第二差值；
通过应用所述量化因子来对所述差值进行缩放；
对经缩放的差值进行评估；
基于所述评估，将所述当前位置处的重构像素分类为类别；
基于所述分类，导出偏移值；以及
根据所导出的偏移值，执行对所述当前位置处的重构像素数据的样本自适应偏移滤波。
5.如权利要求4所述的方法，还包括：
其中，所述评估包括评估所述经缩放的差值的符号。
6.如权利要求4所述的方法，还包括：
在所述评估之前，对所述经缩放的差值执行上限计算或下限计算。
7.如权利要求4所述的方法，还包括：
在所述评估之前，对所述经缩放的差值进行四舍五入。
8.如权利要求4所述的方法，其中，应用所述量化因子包括将所述差值除以所述量化因子。
9.如权利要求4所述的方法，其中，所述至少两个相邻位置至少包括：
相对于所述当前位置在第一方向上的第一相邻位置；以及
相对于所述当前位置在第二方向上的第二相邻位置，所述第二方向与所述第一方向相反。
10.一种包含指令的非暂时性计算机可读介质，所述指令在由处理器执行时，使得：
识别当前位置和至少两个相邻位置的编码像素值和所述编码像素值的位深度；
将量化因子确定为所述位深度减去8；
对所述编码像素值进行解码以产生所述当前位置和所述相邻位置处的重构像素数据；
通过将所述当前位置和所述相邻位置处的所述重构像素数据偏移所述量化因子，来对所述重构像素数据进行缩放以产生经缩放的像素值；
通过应用函数来对所述经缩放的像素值进行更改，所述函数将所述经缩放的像素值与更一般的类别相关联；
对经更改的像素值进行评估；
基于所述评估，将所述当前位置处的重构像素分类为类别；
基于所述分类，导出偏移值；以及
根据所导出的偏移值，执行对所述当前位置处的重构像素数据的样本自适应偏移滤波。
11.一种解码系统，包括：
视频解码器，包括样本自适应偏移滤波器；
处理设备；以及
包括指令的存储器，所述指令在由所述处理设备执行时，使得：
识别当前位置和至少两个相邻位置的编码像素值和所述编码像素值的位深度；
将量化因子确定为所述位深度减去8；
对所述编码像素值进行解码以产生所述当前位置和所述相邻位置处的重构像素数据；
通过将所述当前位置和所述相邻位置处的所述重构像素数据偏移所述量化因子，来对所述重构像素数据进行缩放以产生经缩放的像素值；
通过在所述当前位置和所述相邻位置处应用函数来对所述经缩放的像素值进行更改，其中所述函数将所述经缩放的像素值与更一般的类别相关联；
在所述当前位置和所述相邻位置处对经更改的像素值进行评估；
基于所述评估，将所述当前位置处的重构像素分类为类别；
基于所述分类，导出偏移值；以及
根据所导出的偏移值，执行对所述当前位置处的重构像素数据的样本自适应偏移滤波。
12.一种解码方法，包括：
识别当前位置和至少两个相邻位置的编码像素值和所述编码像素值的位深度；
将量化因子确定为所述位深度减去8；
对所述编码像素值进行解码以产生所述当前位置和所述相邻位置处的重构像素数据；
通过在所述当前位置和所述相邻位置处将所述重构像素数据偏移所述量化因子，来对所述重构像素数据进行缩放以产生经缩放的像素值；
通过应用函数来对所述经缩放的像素值进行更改，所述函数将所述经缩放的像素值与更一般的类别相关联；
对经更改的像素值进行评估；
基于所述评估，将所述当前位置处的重构像素分类为类别；
基于所述分类，导出偏移值；以及
根据所导出的偏移值，执行对所述当前位置处的重构像素数据的样本自适应偏移滤波。
13.一种包含指令的非暂时性计算机可读介质，所述指令在由处理器执行时，使得所述处理器执行如权利要求1-9中任一项所述的方法。
14.一种解码系统，包括：
处理设备；以及
包括指令的存储器，所述指令在由所述处理设备执行时，使得所述处理设备执行如权利要求1-9中任一项所述的方法。
15.一种包括用于执行如权利要求1-9或12中任一项所述的方法的构件的装置。
CN202010418402.9A 2013-06-19 2014-05-01 具有样本自适应偏移控制的解码方法、系统、介质和装置 Active CN111526367B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010418402.9A CN111526367B (zh) 2013-06-19 2014-05-01 具有样本自适应偏移控制的解码方法、系统、介质和装置

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201361836931P 2013-06-19 2013-06-19
US61/836,931 2013-06-19
US14/173,676 2014-02-05
US14/173,676 US9300967B2 (en) 2013-06-19 2014-02-05 Sample adaptive offset control
US14/255,609 2014-04-17
US14/255,609 US10708588B2 (en) 2013-06-19 2014-04-17 Sample adaptive offset control
CN201480034819.8A CN105706449B (zh) 2013-06-19 2014-05-01 样本自适应偏移控制
PCT/US2014/036375 WO2014204584A1 (en) 2013-06-19 2014-05-01 Sample adaptive offset control
CN202010418402.9A CN111526367B (zh) 2013-06-19 2014-05-01 具有样本自适应偏移控制的解码方法、系统、介质和装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201480034819.8A Division CN105706449B (zh) 2013-06-19 2014-05-01 样本自适应偏移控制

Publications (2)

Publication Number Publication Date
CN111526367A CN111526367A (zh) 2020-08-11
CN111526367B true CN111526367B (zh) 2023-08-04

Family

ID=54771485

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010418402.9A Active CN111526367B (zh) 2013-06-19 2014-05-01 具有样本自适应偏移控制的解码方法、系统、介质和装置
CN201480034819.8A Active CN105706449B (zh) 2013-06-19 2014-05-01 样本自适应偏移控制

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201480034819.8A Active CN105706449B (zh) 2013-06-19 2014-05-01 样本自适应偏移控制

Country Status (8)

Country Link
US (3) US10708588B2 (zh)
EP (1) EP3011740A1 (zh)
JP (5) JP2016525298A (zh)
KR (8) KR101752401B1 (zh)
CN (2) CN111526367B (zh)
AU (6) AU2014281169B2 (zh)
HK (1) HK1221364A1 (zh)
WO (1) WO2014204584A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102026519B1 (ko) * 2011-06-30 2019-09-27 미쓰비시덴키 가부시키가이샤 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기억 매체
US9414054B2 (en) 2012-07-02 2016-08-09 Microsoft Technology Licensing, Llc Control and use of chroma quantization parameter values
US9591302B2 (en) * 2012-07-02 2017-03-07 Microsoft Technology Licensing, Llc Use of chroma quantization parameter offsets in deblocking
US10659817B2 (en) * 2013-07-15 2020-05-19 Hfi Innovation Inc. Method of sample adaptive offset processing for video coding
US9501864B2 (en) * 2013-12-27 2016-11-22 Intel Corporation Adaptive depth offset compression
KR102073930B1 (ko) * 2014-03-14 2020-02-06 브이아이디 스케일, 인크. Rgb 비디오 코딩 향상을 위한 시스템 및 방법
US10321140B2 (en) 2015-01-22 2019-06-11 Mediatek Singapore Pte. Ltd. Method of video coding for chroma components
WO2016115736A1 (en) * 2015-01-23 2016-07-28 Mediatek Singapore Pte. Ltd. Additional intra prediction modes using cross-chroma-component prediction
US9445131B1 (en) * 2015-01-23 2016-09-13 Faroudja Enterprises, Inc. De-blocking and de-banding filter with adjustable filter strength for video and image processing
JP6454229B2 (ja) * 2015-06-10 2019-01-16 日本電信電話株式会社 画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
EP3142363A1 (en) * 2015-09-08 2017-03-15 Thomson Licensing Methods and devices for encoding and decoding a sequence of pictures, and corresponding computer program product and computer-readable medium
WO2017208549A1 (ja) * 2016-06-01 2017-12-07 ソニー株式会社 画像処理装置及び画像処理方法
EP3291553A1 (en) * 2016-08-30 2018-03-07 Thomson Licensing Method and apparatus for video coding with sample adaptive offset
US10623737B2 (en) * 2016-10-04 2020-04-14 Qualcomm Incorporated Peak sample adaptive offset
US11134247B2 (en) 2016-10-11 2021-09-28 Lg Electronics Inc. Image encoding and decoding method and apparatus therefor
JP6814029B2 (ja) * 2016-11-22 2021-01-13 日本放送協会 ループフィルタ、符号化装置、復号装置、及びプログラム
KR20180092774A (ko) 2017-02-10 2018-08-20 삼성전자주식회사 샘플 적응적 오프셋 처리를 수행하는 영상 처리 장치 및 영상 처리 방법
CN116233422A (zh) 2017-03-22 2023-06-06 汉阳大学校产学协力团 基于自适应像素分类基准的环路滤波方法
CN107181963B (zh) * 2017-03-31 2019-10-22 武汉斗鱼网络科技有限公司 一种视频压缩方法及装置
US10951888B2 (en) * 2018-06-04 2021-03-16 Contrast, Inc. Compressed high dynamic range video
US11070825B2 (en) * 2019-06-13 2021-07-20 Mediatek Inc. Method and apparatus of encoding or decoding video data with adaptive colour transform
KR102571893B1 (ko) 2019-09-23 2023-08-28 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 비디오 코딩에서의 양자화 및 역-양자화 디자인을 위한 방법 및 장치
US11743459B2 (en) * 2020-09-29 2023-08-29 Qualcomm Incorporated Filtering process for video coding
KR20230139810A (ko) * 2021-02-01 2023-10-05 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 크로스-컴포넌트 샘플 적응 오프셋에서의 크로마 코딩 강화
EP4295576A1 (en) * 2021-02-22 2023-12-27 Beijing Dajia Internet Information Technology Co., Ltd. Coding enhancement cross-component sample adaptive offset
EP4309365A1 (en) * 2021-03-18 2024-01-24 Beijing Dajia Internet Information Technology Co., Ltd. Coding enhancement in cross-component sample adaptive offset
US11924415B2 (en) * 2021-05-11 2024-03-05 Tencent America LLC Method and apparatus for boundary handling in video coding
CN113489984A (zh) * 2021-05-25 2021-10-08 杭州博雅鸿图视频技术有限公司 Avs3的样点自适应补偿方法、装置、电子设备及存储介质
WO2024054686A1 (en) * 2022-09-09 2024-03-14 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for adaptive loop filtering

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012092777A1 (en) * 2011-01-09 2012-07-12 Mediatek Inc. Apparatus and method of sample adaptive offset for video coding
WO2012176910A1 (ja) * 2011-06-23 2012-12-27 シャープ株式会社 オフセット復号装置、オフセット符号化装置、画像フィルタ装置、および、データ構造
GB201300150D0 (en) * 2013-01-04 2013-02-20 Canon Kk A method, device, computer program, and information storage means for encoding or decoding a video sequence
CN103051892A (zh) * 2011-10-14 2013-04-17 联发科技股份有限公司 内嵌式回路滤波方法以及内嵌式回路滤波装置
WO2013055923A1 (en) * 2011-10-13 2013-04-18 Qualcomm Incorporated Sample adaptive offset merged with adaptive loop filter in video coding

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5737032A (en) * 1995-09-05 1998-04-07 Videotek, Inc. Serial digital video processing with concurrent adjustment in RGB and luminance/color difference
US7847833B2 (en) * 2001-02-07 2010-12-07 Verisign, Inc. Digital camera device providing improved methodology for rapidly taking successive pictures
US8254461B2 (en) * 2002-07-24 2012-08-28 Apple Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
US8638862B2 (en) 2005-03-18 2014-01-28 Sharp Laboratories Of America, Inc. Methods and systems for upsampling filter design
WO2007079781A1 (en) * 2006-01-13 2007-07-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Picture coding using adaptive colour space transformation
JP4925697B2 (ja) 2006-03-23 2012-05-09 ソニー株式会社 ネットワーク伝送用の映像信号符号化システム及び映像信号符号化方法，信号変換装置
TR201810171T4 (tr) * 2006-10-03 2018-08-27 Vestel Elektronik Sanayi Ve Ticaret Anonim Sirketi Bir girdi görüntüsündeki halka şeklinde artefaktları en aza indirmek için yöntem ve aparat.
US9456111B2 (en) 2010-06-15 2016-09-27 Mediatek Inc. System and method for content adaptive clipping
CN102595127B (zh) 2011-01-14 2015-11-25 索尼公司 用于hevc的帧内色度模式信令的码字空间缩减
EP3937497B1 (en) * 2011-03-21 2023-02-22 LG Electronics, Inc. Motion vector predictor selection
DK2882190T3 (en) 2011-04-21 2019-02-18 Hfi Innovation Inc Method and apparatus for improved ring-structured filtration
US10484693B2 (en) 2011-06-22 2019-11-19 Texas Instruments Incorporated Method and apparatus for sample adaptive offset parameter estimation for image and video coding
US10070152B2 (en) 2011-08-24 2018-09-04 Texas Instruments Incorporated Sample adaptive offset (SAO) parameter signaling
US9204148B1 (en) * 2011-09-28 2015-12-01 Electronics And Telecommunications Research Institute Method for encoding and decoding images based on constrained offset compensation and loop filter, and apparatus therefor
US9756353B2 (en) * 2012-01-09 2017-09-05 Dolby Laboratories Licensing Corporation Hybrid reference picture reconstruction method for single and multiple layered video coding systems
US9955152B2 (en) 2012-02-07 2018-04-24 Sun Patent Trust Image coding method and image decoding method
JP2013236358A (ja) 2012-03-14 2013-11-21 Sharp Corp 画像フィルタ装置、画像復号装置、画像符号化装置、およびデータ構造
EP2838262A4 (en) * 2012-04-16 2016-01-06 Samsung Electronics Co Ltd METHOD FOR MULTIPLE VIEW VIDEO CODING BASED ON A TREE STRUCTURE CODING UNIT AND DEVICE THEREFOR AND METHOD FOR MULTIPLE VIDEO VIDEO DECODING BASED ON A TREE STRUCTURE CODING UNIT AND DEVICE THEREFOR
US10397616B2 (en) * 2012-09-28 2019-08-27 Vid Scale, Inc. Cross-plane filtering for chroma signal enhancement in video coding
US10694214B2 (en) * 2012-12-21 2020-06-23 Qualcomm Incorporated Multi-type parallelized sample adaptive offset in video coding
US9912942B2 (en) * 2012-12-28 2018-03-06 Qualcomm Incorporated High-frequency-pass sample adaptive offset in video coding
US9900609B2 (en) * 2013-01-04 2018-02-20 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
US10334253B2 (en) 2013-04-08 2019-06-25 Qualcomm Incorporated Sample adaptive offset scaling based on bit-depth
US20140348222A1 (en) * 2013-05-23 2014-11-27 Mediatek Inc. Method of Sample Adaptive Offset Processing for Video Coding and Inter-Layer Scalable Coding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012092777A1 (en) * 2011-01-09 2012-07-12 Mediatek Inc. Apparatus and method of sample adaptive offset for video coding
WO2012176910A1 (ja) * 2011-06-23 2012-12-27 シャープ株式会社 オフセット復号装置、オフセット符号化装置、画像フィルタ装置、および、データ構造
WO2013055923A1 (en) * 2011-10-13 2013-04-18 Qualcomm Incorporated Sample adaptive offset merged with adaptive loop filter in video coding
CN103051892A (zh) * 2011-10-14 2013-04-17 联发科技股份有限公司 内嵌式回路滤波方法以及内嵌式回路滤波装置
GB201300150D0 (en) * 2013-01-04 2013-02-20 Canon Kk A method, device, computer program, and information storage means for encoding or decoding a video sequence

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HEVC关键技术介绍;崔遥;刘军;;科技创新与应用(第33期);全文 *

Also Published As

Publication number Publication date
KR20160009061A (ko) 2016-01-25
KR20170077281A (ko) 2017-07-05
US11363264B2 (en) 2022-06-14
KR102072855B1 (ko) 2020-02-03
KR102448449B1 (ko) 2022-09-30
AU2017202576B2 (en) 2018-03-22
AU2014281169B2 (en) 2017-01-19
AU2023201119A1 (en) 2023-03-30
AU2014281169A1 (en) 2015-12-10
US20220272336A1 (en) 2022-08-25
KR101752401B1 (ko) 2017-06-29
US20200288127A1 (en) 2020-09-10
JP2021044811A (ja) 2021-03-18
AU2020201584B2 (en) 2021-04-08
JP2018078611A (ja) 2018-05-17
KR20180035945A (ko) 2018-04-06
JP2016525298A (ja) 2016-08-22
KR102531052B1 (ko) 2023-05-10
KR20200012050A (ko) 2020-02-04
CN111526367A (zh) 2020-08-11
KR102168600B1 (ko) 2020-10-21
KR20220013476A (ko) 2022-02-04
AU2021204661A1 (en) 2021-07-29
AU2018204551B2 (en) 2020-03-19
CN105706449B (zh) 2020-05-19
AU2020201584A1 (en) 2020-03-19
KR20220136480A (ko) 2022-10-07
JP2022174102A (ja) 2022-11-22
US20140376608A1 (en) 2014-12-25
AU2017202576A1 (en) 2017-05-11
AU2021204661B2 (en) 2022-11-24
WO2014204584A1 (en) 2014-12-24
KR102356013B1 (ko) 2022-02-08
US10708588B2 (en) 2020-07-07
KR20200118239A (ko) 2020-10-14
AU2018204551A1 (en) 2018-07-12
KR102257885B1 (ko) 2021-05-28
JP2024073510A (ja) 2024-05-29
EP3011740A1 (en) 2016-04-27
KR20210063466A (ko) 2021-06-01
HK1221364A1 (zh) 2017-05-26
CN105706449A (zh) 2016-06-22

Similar Documents

Publication Publication Date Title
CN111526367B (zh) 具有样本自适应偏移控制的解码方法、系统、介质和装置
TWI605703B (zh) 樣本可調適之偏移控制
CN114258683A (zh) 用于色度的跨分量自适应环路滤波器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant