CN104272738A - 用于可扩展视频编码的自适应滤波 - Google Patents

用于可扩展视频编码的自适应滤波 Download PDF

Info

Publication number
CN104272738A
CN104272738A CN201280073158.0A CN201280073158A CN104272738A CN 104272738 A CN104272738 A CN 104272738A CN 201280073158 A CN201280073158 A CN 201280073158A CN 104272738 A CN104272738 A CN 104272738A
Authority
CN
China
Prior art keywords
picture
filter
encoder
video
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280073158.0A
Other languages
English (en)
Inventor
L.许
W.张
Y-J.赵
H.姜
Y.韩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN104272738A publication Critical patent/CN104272738A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission

Abstract

在可扩展视频编解码器中，带偏移的自适应Wiener滤波器旨在最小化在两个输入图片或图片区域之间的差别，并且滤波器系数需要传送到解码器站点。

Description

用于可扩展视频编码的自适应滤波
背景技术
本申请一般涉及可扩展视频编解码器。可扩展视频编解码器可以是比特深度可扩展视频编解码器、空间可扩展视频编解码器、时间可扩展视频编解码器、颜色空间可扩展视频编解码器、颜色格式可扩展视频编解码器等。
可扩展视频编解码器允许根据不同客户偏好的服务的类型，向它们输送不同图片质量级别。较低质量视频服务可比较高质量视频服务费用更低。
在比特深度可扩展视频编码器中，较低比特深度可称为基线层，并且较高比特深度可称为增强层。比特深度越大，视频的质量越佳。在空间深度可扩展视频编码器中，较低图片分辨率可称为基线层，并且较高图片分辨率可称为增强层。图片分辨率越大，视频的质量越佳。其它可扩展性包括空间可扩展性、时间可扩展性、信噪比(SNR)可扩展性、颜色格式可扩展性、色域或颜色空间可扩展性。
在可扩展视频编解码器中，编码器和解码器可提供为一个单元。在一些情况下，可只提供编码器，并且在其它情况下，可只提供解码器。可扩展视频编码器允许系统通过至少基线层操作。因此，在低成本系统中，可只利用基线层，并且在更高成本，更高级系统中，可利用一个或更多个增强层。
从基线层推导增强层是有利的。为此，在比特深度可扩展视频编码中可利用逆色调映射以将基线层的比特深度增大到增强层的比特深度。例如，在一些情况下，基线层可以是每像素8比特，并且增强可以是每像素10、12或更高比特。
附图说明
一些实施例相对于以下图形进行描述：
图1是根据本发明的一个实施例的编码器和解码器系统的示意图；
图2是根据一个实施例，用于三层SVC比特流的解码流的图示；
图3示出在一个实施例中在编码器侧带有自适应滤波的层间预测；
图4是用于本发明的另一实施例的系统图示；以及 
图5是用于另一实施例的前视图。
具体实施方式
参照图1，可扩展视频编解码器包括通过视频传送或视频存储14与解码器12进行通信的编码器10。图1示出来自一个编解码器的编码器和来自另一编解码器的解码器。
例如，网络计算机可通过网络与另一计算机进行通信。每个计算机可具有包括编码器和解码器的编解码器，以便信息可在一个节点编码，通过网络传送到另一节点，该另一节点随后将编码的信息解码。
图1所示编解码器是可扩展视频编解码器(SVC)。这意味着它能够将带有不同质量的信息编码和/或解码，例如，不同比特深度、不同图片大小等。视频来源16和26可连接到编码器10。对于比特深度可扩展性，视频来源16可使用N比特视频数据，而视频来源26可提供M比特视频数据，其中，比特深度M大于比特深度N。对于空间可扩展性，视频来源16可使用更小的图片大小视频数据，而视频来源26可提供更大的图片大小视频数据。在其它实施例中，可提供带有不止两个比特深度或两个图片大小的不止两个来源。
在每种情况下，将来自视频来源的信息提供到编码器。就较低比特深度的视频来源16而言，将信息提供到基线编码器18。就较高比特深度的视频来源26而言，利用增强层编码器28。
图1的基线编码器例如可与H.264（高级视频编解码器(AVC)和MPEG-4第10部分）或HEVC（高效视频编解码器）压缩标准一致。H.264标准已由联合视频小组(JVT)制定，它包括也称为VCEG（视频编码专家组）的ITU-T SG16 Q.6和称为MPEG（运动图像专家组）的ISO-IEC JTC1/SC29/WG11 (2003)。HEVC标准已由联合视频编码合作小组(JCTVC)制定，它包括VCEG和MPEG，并且将在2013年1月完成。举几个示例，H.264和HEVC设计用于数字TV广播、直播卫星视频、数字订户线路视频、交互式存储介质、多媒体消息传递、数字地面TV广播及远程视频监控领域中的应用。
虽然一个实施例可与HEVC视频编码一致，但本发明并不限于此。相反，实施例可在多种视频压缩系统中使用，包括H.264/AVC、MPEG-2（ISO/IEC 13818-1 (2000) MPEG-2，可从瑞士日内瓦国际标准化组织获得）和VC1（SMPTE 421M (2006)，可从SMPTE White Plains, NY 10601获得）。
在一个实施例中，自适应滤波可由Wiener滤波器实现。Wiener滤波器是在来源信号和通过随机噪声建模的预测信号之间实现最小均方误差的滤波器。“自适应滤波”指滤波在内容上取决于或基于图片的一部分、图片整体或多个连续图片中像素强度的分析。例如，收到的视频信息的类型不管是图形或流视图视频，都对于不同类型的视频在Wiener滤波器中产生不同拍。因此，自适应滤波器拍是给定图片部分、图片或一系列图片中每个像素的强度的检查结果。
编码器通过视频传送或视频存储14提供信息以便由解码器使用。可提供的信息可包括基线(BL)层视频流、较低层图片处理信息（例如，用于比特深度可扩展性的逆色调映射(ITM)信息或用于空间可扩展性的图片提升(upscale)信息）、来自自适应滤波器24的滤波器拍及增强层(EL)视频流。一些此信息可包括在分组报头中。例如，逆色调映射(ITM)或图片提升信息及滤波器拍信息可在打包的数据传送中的适当报头中提供。
在视频编解码器中，自适应Wiener滤波器旨在最小化在两个输入图片或图片区域之间的差别，并且滤波器系数可传送到解码器站点。对于SVC增强层编码，假设Q(x,y)表示在位置(x,y)的增强层输入像素的值，并且P(x,y)表示在位置(x,y)的处理过的较低层重构预滤波像素的值。带偏移的自适应Wiener滤波器在P(x,y)上如以下等式(12)执行以获得滤波后像素值Pu(x,y)，其中，C m,n 表示自适应滤波器系数，并且Offset表示偏移值。
M 0、M 1、N 0、N 1是控制Wiener滤波器拍的数量的参数。通过M 0、M 1、N 0、N 1的不同设置，滤波器例如可以是对称滤波器或不对称滤波器、1-D滤波器或2D滤波器。
系数C m,n 和偏移值Offset可在编码器侧自适应生成，并且随后可被编码到比特流中以便进行增强层解码。生成C m,n 和Offset值的一种方法是最小化在Q(x, y)与Pu(x,y)之间的平方失真和。C m,n 和/或偏移值可被强制为0，并且因而仅剩余滤波器参数需要由编码器推导并且随后发送到解码器。如果偏移被强制为0，则滤波器等式(12)将更改成等式(13)。如果Wiener滤波器未使用，则在(12)中的滤波器等式将更改成等式(14)。
图2示出三层SVC比特流（即，一个基础层和两个增强层）的示例解码流程。可扩展性可以是空间可扩展性、比特深度可扩展性或一些其它可扩展性。块52“层间自适应滤波L1”和“层间自适应滤波L2”被添加到SVC解码流程中以改进层间预测。在处理过的较低层图片上应用层间自适应滤波器以改进其质量。三个其它自适应滤波块（即，解码流程中的“自适应滤波L0”、“自适应滤波L1”和“自适应滤波L2”）在一个实施例中是标准自适应滤波块，如在HEVC/H.265编码标准中使用的一样，用于改进输出视频的质量。“较低层图片处理”可为空间可扩展性使用帧提升扩展，为比特深度扩展使用色调映射或者放过而无任何处理。
在图2中，零层比特流提供到熵解码40。熵解码的比特流提供到逆量化和变换42。此比特流提供到混频器44，混频器44经交换器56接收来自帧内预测(intra prediction)单元38或运动补偿单元36的输入。就零层比特流而言，交换器连接到帧内预测单元38。在混合来自帧内预测单元38和逆量化和变换单元42的数据后，在去块滤波46将流进行去块滤波。最后，在48进行自适应滤波LO以输出零层输出视频。
零层输出视频也提供到下一层，第1层，也标记为增强层解码流程32。具体而言，零层输出视频提供用于在层32中的较低层图片处理50。随后，视频被提供到层间自适应滤波L1块52，并且最后提供到层间预测块54。从此处，它经交换器56输送到混频器44。来自层32的输出称为第1层输出视频，其也提供到第2层或增强层解码流程34中的较低层图片处理50。在其它方面，序列与如结合第1层所述相同。最后，如图所示输出第2层视频。
图3示出带有用于在编码大小的增强层LX的自适应滤波的层间预测。在一个实施例中，层间自适应滤波60旨在最小化在增强层输入图片Q(x, y)与处理过的较低层输出图片P(x,y) 50之间的差别。随后，输出的滤波图片P'(x,y)用于层间预测54。
在一个实施例中，我们能够在图片中的所有像素上应用一个滤波器，并且编码器能够判定开启或关闭滤波器，并且随后将标志发送到解码器以指示判定结果。假设一个滤波器可在图片的一些局部区域上缺乏适应，可应用局部自适应滤波以实现更佳的编码效率。
在局部自适应滤波中，可将图片划分成多个区域，并且随后可应用不同滤波方案到不同区域。在一个实施例中，仅应用一个滤波器到整个图片，并且编码器能够为每个区域判定是否应滤波它，并且随后编码器可将标志发送到解码器以指示判定结果。在另一实施例中，应用多个滤波器到整个图片，并且编码器能够为每个区域判定是否应滤波它，并且如果应滤波它，则应使用哪个滤波器（即，滤波器表格索引）滤波此区域，并且随后将判定结果发送到解码器。
有将图片分割成多个区域的不同准则。在一些实施例中，我们能够根据像素位置将图片分割成不同区域，例如，将整个图片均匀划分成MxN个区域。在一些其它实施例中，我们能够通过根据例如像素值或像素边缘和梯度信息等像素特征将像素分类到不同类中，将图片分割成不同区域，并且像素的一个类被视为一个区域。在一些其它实施例中，我们能够通过将图片分割成多个小块，并且随后根据例如块的平均像素值或块的平均边缘和梯度信息等块特征将块分类到不同类中，将图片分割成不同区域，然后，块的一个类被视为一个区域。
在一些实施例中，增强层的层间自适应滤波可再使用较低层的区域滤波器参数，例如，滤波器开/关标志和滤波器表格索引，并且随后无需为此增强层传送那些再使用的信息。在一些其它实施例中，编码器能够自适应判定是否再使用较低层自适应滤波参数，并且再使用时，使用哪个较低层的滤波器参数，以及随后将判定结果发送到解码器。
通过在处理过的较低层重构图片上应用自适应滤波器，可改进SVC层间预测。此处，较低层重构图片处理例如包括用于空间可扩展性的帧提升、用于比特深度可扩展性的色调映射或放过而无任何处理。自适应滤波旨在降低在增强层的输入像素与其较低层的处理过的重构像素之间的差别/失真。
带偏移的自适应Wiener滤波器可充当自适应滤波器以改进增强层编码的SVC层间预测。可在编码器侧自适应生成Wiener滤波器系数和偏移值，并且随后将其编码和传送到解码器。在一些实施例中，可强制偏移值为0，并且只需要在编码器侧生成Wiener滤波器系数并且随后将其发送到解码器。在一些实施例中，我们只为滤波应用偏移值而不应用Wiener滤波器，然后，只需要在编码器侧生成偏移值并且随后将其发送到解码器。在一些实施例中，可强制部分Wiener滤波器系数为0以节省传送带宽，并且因此在编码器侧只需要生成剩余系数并且随后将其发送到解码器。
可在整个图片上应用自适应滤波器，即，图片中的所有像素使用相同滤波器。编码器能够判定是否应滤波整个图片，并且随后将标志传送到解码器以指示判定结果。可将图片分割成不同区域，并且随后可在每个区域上应用自适应滤波器。随后，编码器判定应滤波哪些区域，并且随后将标志发送到解码器以指示判定结果。
可将图片分割成多个区域，并且随后可应用不同自适应滤波器到不同区域。编码器能够为每个区域推导滤波器参数，并且随后将参数编码并发送到解码器以便进行解码。此外，对于每个区域，编码器能够判定是否应滤波它，并且随后将标志发送到解码器以指示判定结果。
可使用增强层滤波器系数的预测编码。滤波器系数可在帧内预测，即，通过从一个滤波器的其它系数的值预测相同滤波器系数的值，或者在帧间预测，即，通过从其它滤波器的系数预测一个滤波器系数的值。如果为此增强层图片应用多个滤波器，则其它滤波器可以是相同增强层的其它滤波器，或者其它滤波器是用于图片的较低层的滤波器或用于其它编码图片的滤波器。
可使用用于滤波器系数的多种预测编码方法。编码器可判定应使用哪种预测编码方法，并且随后将标志发送到解码器以指示判定结果。
根据像素位置，可将图片分割成不同区域，例如，将整个图片均匀划分成MxN个区域。通过根据例如像素值或像素边缘和梯度信息等一些其它像素特征将像素分类到不同类中，可将图片分割成不同区域，并且可将像素的一个类视为一个区域。
通过将图片分割成多个小块，并且随后根据例如块的平均像素值或块的平均边缘和梯度信息等块特征将块分类到不同类中，可将图片分割成不同区域。然后，块的一个类被视为一个区域。如果自适应滤波器用于较低层编码，则可再使用增强层自适应滤波的较低层的自适应滤波器的区域滤波标志。然后，不必为此增强层传送独立区域滤波标志，从而在一些实施例中节省了一定的传送带宽。此处，较低层自适应滤波器可以是用于改进较低增强层的层间预测的滤波器，或者是用于改进较低层的输出视频质量的滤波器。在一些其它实施例中，编码器能够自适应判定是否再使用较低层自适应滤波参数，并且如果选择再使用，则判定使用哪个较低层的滤波器参数，以及随后将判定结果发送到解码器。
图4示出系统700的一个实施例。在实施例中，系统700可以是媒体系统，但系统700不限于此上下文。例如，系统700可包含入个人计算机(PC)、膝上型计算机、超级膝上型计算机、平板、触摸板、便携式计算机、手持式计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视、智能装置（例如，智能电话、智能平板或智能电视）、移动因特网装置(MID)、消息传递装置、数据通信装置等等。
在各种实施例中，系统700包括耦合到显示器720的平台702。平台702可接收来自诸如内容服务装置730或内容输送装置740等内容装置或其它类似内容源的内容。包括一个或几个导航特征的导航控制器750可用于与例如平台702和/或显示器720交互。下面更详细地描述每个这些组件。
在实施例中，平台702可包括芯片集705、处理器710、存储器712、存储装置714、图形子系统715、应用程序716、全球定位系统(GPS) 721、相机723和/或无线电718的任何组合。芯片集705可在处理器710、存储器712、存储装置714、图形子系统715、应用716和/或无线电718之间提供相互通信。例如，芯片集705可包括能够提供与存储装置714的相互通信的存储适配器（未示出）。
另外，平台702可包括操作系统770。到处理器772的接口可对接操作系统和处理器710。
固件790可提供以实现诸如引导序列等功能。可提供允许从平台702外更新固件的更新模块。例如，更新模块可包括确定更新的尝试是否真实并且识别固件790的最新更新以有利于确定何时需要更新的代码。
在一些实施例中，平台702可由外部电源供电。在一些情况下，平台702也可包括内部电池780，在不适应外部电源供应的实施例中或者在允许电池供电或外部供电的实施例中，内部电池780充当电源。
处理器710可实现为复杂指令集计算机(CISC)、精简指令集计算机(RISC)处理器、x86指令集兼容处理器、多核或任何其它微处理器或中央处理单元(CPU)。在实施例中，处理器710可包括双核处理器、双核移动处理器等等。
存储器712可实现为易失性存储器装置，诸如但不限于随机存取存储器(RAM)、动态随机存取存储器(DRAM)或静态RAM (SRAM)。
存储装置714可实现为非易失性存储装置，诸如但不限于磁性磁盘驱动器、光盘驱动器、磁带驱动器、内部存储装置、附接的存储装置、闪存存储器、电池备份SDRAM（同步DRAM）和/或网络可访问的存储装置。在实施例中，存储装置714可包括在例如包括多个硬盘驱动器时增大对宝贵数字媒体的存储性能增强保护的技术。
图形子系统715可执行诸如静态或视频等图像的处理以便显示。图形子系统715例如可以是图形处理单元(GPU)或视觉处理单元(VPU)。模拟或数字接口可用于以通信方式耦合图形子系统715和显示器720。例如，接口可以是高清晰多媒体接口、显示端口、无线HDMI和/或符合无线HD标准的技术的任何项。图形子系统715能够集成到处理器710或芯片集705中。图形子系统715能够是以通信方式耦合到芯片集705的独立卡。
本文中所述的图形和/或视频处理技术可在各种硬件体系结构中实现。例如，图形和/或视频功能可集成在芯片集内。备选，可使用离散图形和/或视频处理器。作为仍有的另一实施例，图形和/或视频功能可由包括多核处理器的通用处理器实现。在又一实施例中，功能可在消费者电子装置中实现。
无线电718可包括能够使用各种适合无线通信技术传送和接收信号的一个或几个无线电。此类技术可涉及跨一个或几个无线网络的通信。示范无线网络包括（但不限于）无线局域网(WLAN)、无线个人区域网(WPAN)、无线城域网(WMAN)、蜂窝网络和卫星网络。在跨此类网络进行通信时，无线电718可根据任何版本的一个或几个适用标准操作。
在实施例中，显示器720可包括任何电视类型监视器或显示器。显示器720例如可包括计算机显示屏幕、触摸屏显示器、视频监视器、电视状装置和/或电视。显示器720可以是数字和/或模拟显示器。在实施例中，显示器720可以是全息显示器。此外，显示器720可以是可接收视觉投影的透明表面。此类投影可传达各种形式的信息、图像和/或对象。例如，此类投影可以是用于移动增强现实(MAR)应用的视觉覆盖。在一个或几个软件应用716的控制下，平台702可在显示器720上显示用户界面722。
在实施例中，内容服务装置730可由任何国家、国际和/或独立服务托管，并且因此可由平台702经例如因特网访问。内容服务装置730可耦合到平台702和/或显示器720。平台702和/或内容服务装置730可耦合到网络760以便传递（例如，发送和/或接收）去往和到达网络760的媒体信息。内容输送装置740也可耦合到平台702和/或显示器720。
在实施例中，内容服务装置730可包括有线电视盒、个人计算机、网络、电话、因特网启用的装置或能够输送数字信息和/或内容的家电及能够经网络760或直接在内容提供商与平台702和/显示器720之间单向或双向传递内容的任何其它类似装置。将领会的是，可经网络760单向和/或双向传递去往和到达系统700中的任何一个组件和内容提供商的内容。内容的示例可包括任何媒体信息，例如包括视频、音乐、医疗和游戏信息等等。
内容服务装置730接收诸如包括媒体信息、数字信息和/或其它内容的有线电视节目的内容。内容提供商的示例可包括任何有线或卫星电视或无线电或因特网内容提供商。提供的示例无意于限制本发明的实施例。
在实施例中，平台702可接收来自具有一个或几个导航特征的导航控制器750的控制信号。控制器750的导航特征可用于与例如用户界面722交互。在实施例中，导航控制器750可以是指点装置，指点装置可以是允许用户输入空间（例如，连续和多维）数据到计算机中的计算机硬件组件（具体而言，人机接口装置）。诸如图形用户界面(GUI)和电视与监视器等许多系统允许用户使用物理手势控制和提供数据到计算机或电视。
通过在显示器上显示的指针、光标、焦环或其它视觉指示器的移动，控制器750的导航特征的移动可在显示器（例如，显示器720）上回显。例如，在软件应用716的控制下，位于导航控制器750上的导航特征可映射到在例如用户界面722上显示的虚拟导航特征。在实施例中，控制器750可以不是单独的组件，而是集成到平台702和/或显示器720中。然而，实施例不限于本文中所示或所述元素或上下文中。
在实施例中，例如，在启用时，驱动器（未示出）可包括允许用户在初始引导后通过按钮的触碰立即开启和关闭像电视等平台702的技术。在平台“关闭”时，程序逻辑可允许平台702流传送内容到媒体适配器或其它内容服务装置730或内容输送装置740。另外，芯片集705例如可包括对5.1环绕立体声音频和/或高清晰7.1环绕立体声音频的硬件和/或软件支持。驱动程序可包括用于集成图形平台的图形驱动程序。在实施例中，图形驱动程序可包括外围组件互连(PCI) 快速图形卡。
在各种实施例中，系统700中所示任何一个或几个组件均可集成。例如，平台702和内容服务装置730可集成，或者平台702和内容输送装置740可集成，或者例如平台702、内容服务装置730和内容输送装置740可集成。在各种实施例中，平台702和显示器720可以是集成单元。例如，显示器720和内容服务装置730可集成，或者显示器720和内容输送装置740可集成。这些示例无意限制本发明。
在各种实施例中，系统700可实现为无线系统、有线系统或两者的组合。在实现为无线系统时，系统700可包括适合通过无线共享介质通信的组件和接口，如一个或几个天线、发射器、接收器、收发器、放大器、滤波器、控制逻辑等等。无线共享介质的一个示例可包括部分无线频谱，如RF频谱等。在实现为有线系统时，系统700可包括适合通过有线通信介质通信的组件和接口，如输入/输出(I/O)适配器、将I/O适配器与对应有线通信介质连接的物理连接器、网络接口卡(NIC)、盘控制器、视频控制器、音频控制器等等。有线通信介质的示例可包括导线、电缆、金属引脚、印刷电路板(PCB)、背板、交换结构、半导体材料、双绞线、同轴电缆、光纤等等。
平台702可建立一个或几个逻辑或物理信道以传递信息。信息可包括媒体信息和控制信息。媒体信息可指表示对用户有意义的内容的任何数据。内容的示例例如可包括来自话音交谈、视频会议、流传送视频、电子邮件（“email”）消息、话音邮件消息、字母数字符号、图形、图像、视频、文本等的数据。来自话音交谈的数据例如可以是语音信息、静音期间、背景噪声、柔和噪声、音调等等。控制信息可指表示对自动化系统有意义的命令、指令或控制字的任何数据。例如，控制信息可用于通过系统路由媒体信息，或者指示节点以预定方式处理媒体信息。然而，实施例不限于图4中所示或所述元素或上下文中。
如上所述，系统700可以变化的物理样式或外形实施。图4示出可实施系统700的小型装置800的实施例。在实施例中，例如，装置800可实现为具有无线功能的移动计算装置。移动计算装置例如可指具有处理系统和如一个或几个电池等移动电源的任何装置。
如上所述，移动计算装置的示例可包括个人计算机(PC)、膝上型计算机、超级膝上型计算机、平板、触摸板、便携式计算机、手持式计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视、智能装置（例如，智能电话、智能平板或智能电视）、移动因特网装置(MID)、消息传递装置、数据通信装置等等。
移动计算装置的示例也可包括布置成由人佩戴的计算机，如腕部计算机、手指计算机、指环计算机、眼镜计算机、带夹计算机、臂带计算机、鞋计算机、衣服计算机及其它可穿戴计算机。在实施例中，例如，移动计算装置可实现为能够执行计算机应用程序及话音通信和/或数据通信的智能电话。虽然一些实施例可通过示例，借助于实现为智能电话的移动计算装置进行描述，但可理解，其它实施例也可使用其它无线移动计算装置实现。实施例在此上下文中并不受限制。
如图5所示，装置800可包括外壳802、显示器804、输入/输出(I/O)装置806及天线808。装置800也可包括导航特征812。显示器804可包括用于显示对移动计算装置适当的信息的任何适合的显示单元。I/O装置806可包括用于将信息输入移动计算装置中的任何合适的I/O装置。I/O装置806的示例可包括字母数字键盘、数字小键盘、触摸板、输入键、按钮、开关、摇壁开关、麦克风、扬声器、话音识别装置和软件等等。信息也可通过麦克风输入装置800中。此类信息可由话音识别装置进行数字化。实施例在此上下文中并不受限制。
各种实施例中使用硬件元素、软件元素或两者的组合实现。硬件元素的示例可包括处理器、微处理器、电路、电路元件（例如，晶体管、电阻器、电容器、电感器等等）、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD),、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体装置、芯片、微芯片、芯片集等等。软件的示例可包括软件组件、程序、应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、功能、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号或其任何组合。确定实施例是否使用硬件元素和/或软件元素实现可根据任何数量的因素而变化，如所需的计算速率、功率电平、耐热度、处理周期预算、输入数据率、输出数据率、存储器资源、数据总线速度及其它设计或性能约束。
诸如图2和3所示那些实施例等至少一个实施例的一个或几个方面可由在表示处理器内各种逻辑的非短暂性机器可读介质上存储的代表性指令实现，指令在由机器读取时，促使机器产生逻辑以执行本文中所述技术。称为“IP核”的此类表示可存储在有形的非短暂性机器可读介质上，并且提供到各种客户或生产设施以加载到实际形成逻辑或处理器的制造机中。
各种实施例中使用硬件元素、软件元素或两者的组合实现。硬件元素的示例可包括处理器、微处理器、电路、电路元素（例如，晶体管、电阻器、电容器、电感器等等）、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD),、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体装置、芯片、微芯片、芯片集等等。软件的示例可包括软件组件、程序、应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、功能、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号或其任何组合。确定实施例是否使用硬件元素和/或软件元素实现可根据任何数量的因素而变化，如所需的计算速率、功率电平、耐热度、处理周期预算、输入数据率、输出数据率、存储器资源、数据总线速度及其它设计或性能约束。
至少一个实施例的一个或几个方面可由在表示处理器内各种逻辑的机器可读介质上存储的代表性指令实现，指令在由机器读取时，促使机器产生逻辑以执行本文中所述技术。称为“IP核”的此类表示可存储在有形的机器可读介质上，并且提供到各种客户或生产设施以加载到实际形成逻辑或处理器的制造机中。
本文中所述的图形处理技术可在各种硬件体系结构中实现。例如，图形功能性可集成在芯片集内。备选，可使用离散图形处理器。作为还有的另一实施例，图形功能可由包括多核处理器的通用处理器实现。
以下条款和/或示例涉及其它实施例：
一个示例实施例可以是一种方法，包括：将带偏移的自适应Wiener滤波器用于视频解码。方法可包括在处理过的较低层重构图片上应用带偏移的自适应Wiener滤波器以生成用于层间预测的参考图片。方法可包括只在处理过的较低层重构图片上应用自适应Wiener滤波器。方法可包括只在处理过的较低层重构图片上应用偏移。方法可包括接收来自编码器的滤波器系数和偏移。方法可包括将相同滤波器用于图片中的所有像素。方法可包括自适应应用带偏移的自适应Wiener滤波器到多个图片区域的每个图片区域。方法可包括为每个区域判定是否要滤波区域。方法可包括应用预测编码到增强层滤波器系数。方法可包括应用用于滤波器系数的多种预测编码方法。方法可包括根据像素位置将图片分割成不同区域。方法可包括基于像素特征将像素分类成几个类。
另一示例实施例可以是包括多个指令，并且响应由计算装置执行，促使计算装置执行上述方法的机器可读介质。
一个示例实施例可以是一种设备，包括：编码器；以及耦合到所述编码器的解码器，具有带偏移的自适应Wiener滤波器。设备可包括操作系统、电池、固件和更新所述固件的模块。设备可包括所述自适应Wiener滤波器以生成用于层间预测的参考图片。设备可只在处理过的较低层重构图片上应用自适应Wiener滤波器。设备可包括所述编码器以将滤波器系数和偏移传递到所述解码器。
此说明书通篇对“一个实施例”或“实施例”的引用指结合该实施例描述的特定特征、结构或特性包括在本发明内包含的至少一个实现中。因此，出现的词语“在一个实施例中”或“在实施例中”不一定全部指同一实施例。此外，特定的特征、结构或特性可以不同于所述特定实施例的其它适合的方式设立，并且所有此类形式可包含在本申请的权利要求书内。
虽然本发明已相对有限数量的实施例进行了描述，但本领域的技术人员将理解由此产生的多种修改和变化。随附权利要求书旨在涵盖本发明真正精神和范围内的此类修改和变化。

Claims (20)

1. 一种方法，包括：
将带偏移的自适应Wiener滤波器用于视频解码。
2. 如权利要求1所述的方法，包括在处理过的较低层重构图片上应用所述带偏移的自适应Wiener滤波器以生成用于层间预测的参考图片。
3. 如权利要求1所述的方法，包括只在处理过的较低层重构图片上应用所述自适应Wiener滤波器。
4. 如权利要求1所述的方法，包括只在处理过的较低层重构图片上应用所述偏移。
5. 如权利要求1所述的方法，包括接收来自编码器的所述滤波器系数和偏移。
6. 如权利要求1所述的方法，包括将相同滤波器用于图片中的所有像素。
7. 如权利要求1所述的方法，包括自适应应用所述带偏移的自适应Wiener滤波器到多个图片区域的每个图片区域。
8. 如权利要求7所述的方法，包括为每个区域判定是否要滤波所述区域。
9. 如权利要求1所述的方法，包括应用预测编码到增强层滤波器系数。
10. 如权利要求1所述的方法，包括为滤波器系数应用多个预测编码。
11. 如权利要求7所述的方法，包括根据像素位置将所述图片分割成不同区域。
12. 如权利要求11所述的方法，包括基于像素特征，将像素分类成几个类。
13. 至少一种包括多个指令的机器可读介质，并且所述指令响应在计算装置上被执行，促使所述计算装置执行如权利要求1到12任一项所述的方法。
14. 一种设备，包括：
编码器；以及
耦合到所述编码器的解码器，具有带偏移的自适应Wiener滤波器。
15. 如权利要求14所述的设备，包括操作系统。
16. 如权利要求14所述的设备，包括电池。
17. 如权利要求14所述的设备，包括固件和更新所述固件的模块。
18. 如权利要求14所述的设备，所述自适应Wiener滤波器生成用于层间预测的参考图片。
19. 如权利要求14所述的设备，只在处理过的较低层重构图片上应用所述自适应Wiener滤波器。
20. 如权利要求14所述的设备，所述编码器将滤波器系数和偏移传递到所述解码器。
CN201280073158.0A 2012-06-15 2012-06-15 用于可扩展视频编码的自适应滤波 Pending CN104272738A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2012/076960 WO2013185336A1 (en) 2012-06-15 2012-06-15 Adaptive filtering for scalable video coding

Publications (1)

Publication Number Publication Date
CN104272738A true CN104272738A (zh) 2015-01-07

Family

ID=49757447

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280073158.0A Pending CN104272738A (zh) 2012-06-15 2012-06-15 用于可扩展视频编码的自适应滤波

Country Status (4)

Country Link
US (1) US10979703B2 (zh)
JP (1) JP6005847B2 (zh)
CN (1) CN104272738A (zh)
WO (1) WO2013185336A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9596465B2 (en) 2013-01-04 2017-03-14 Intel Corporation Refining filter for inter layer prediction of scalable video coding
WO2015139007A1 (en) * 2014-03-14 2015-09-17 Sharp Laboratories Of America, Inc. Video compression with color space scalability
US9621767B1 (en) * 2015-11-24 2017-04-11 Intel Corporation Spatially adaptive tone mapping for display of high dynamic range (HDR) images
US10074162B2 (en) 2016-08-11 2018-09-11 Intel Corporation Brightness control for spatially adaptive tone mapping of high dynamic range (HDR) images
US11375223B2 (en) * 2019-09-20 2022-06-28 Tencent America LLC Method for signaling output layer set with sub-picture

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080095238A1 (en) * 2006-10-18 2008-04-24 Apple Inc. Scalable video coding with filtering of lower layers
CN101557522A (zh) * 2008-04-11 2009-10-14 英特尔公司 用于位深度可伸缩视频编解码器的自适应滤波
CN101662682A (zh) * 2008-07-09 2010-03-03 英特尔公司 视频编码技术
US20100254463A1 (en) * 2008-09-04 2010-10-07 Panasonic Corporation Image coding method, image decoding method, image coding apparatus, image decoding apparatus, system, program, and integrated circuit
WO2011064945A1 (ja) * 2009-11-30 2011-06-03 日本電気株式会社 映像符号化装置および映像復号装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5844627A (en) * 1995-09-11 1998-12-01 Minerya System, Inc. Structure and method for reducing spatial noise
US20070014349A1 (en) * 2005-06-03 2007-01-18 Nokia Corporation Residual prediction mode in scalable video coding
KR100678958B1 (ko) * 2005-07-29 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
JP5275806B2 (ja) * 2005-10-12 2013-08-28 トムソン ライセンシング スケーラブルビデオ符号化及び復号における重み付け予測方法及び装置
US7962736B1 (en) * 2006-10-03 2011-06-14 American Megatrends, Inc. Interactive pre-OS firmware update with repeated disabling of interrupts
CN101601296B (zh) 2006-10-23 2014-01-15 维德约股份有限公司 使用套叠式模式标记的用于可分级视频编码的系统和方法
US8761538B2 (en) * 2008-12-10 2014-06-24 Nvidia Corporation Measurement-based and scalable deblock filtering of image data
JP5597968B2 (ja) * 2009-07-01 2014-10-01 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
WO2011039931A1 (ja) 2009-09-30 2011-04-07 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JPWO2011158657A1 (ja) * 2010-06-17 2013-08-19 シャープ株式会社 画像フィルタ装置、復号装置、符号化装置、および、データ構造
US9055305B2 (en) * 2011-01-09 2015-06-09 Mediatek Inc. Apparatus and method of sample adaptive offset for video coding
KR20120118782A (ko) * 2011-04-19 2012-10-29 삼성전자주식회사 적응적 필터링을 이용한 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
CN102333230A (zh) * 2011-09-21 2012-01-25 山东大学 一种提高三维视频系统中合成虚拟视图质量的方法
WO2013174254A1 (en) * 2012-05-21 2013-11-28 Mediatek Singapore Pte. Ltd. Method and apparatus of inter-layer filtering for scalable video coding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080095238A1 (en) * 2006-10-18 2008-04-24 Apple Inc. Scalable video coding with filtering of lower layers
CN101557522A (zh) * 2008-04-11 2009-10-14 英特尔公司 用于位深度可伸缩视频编解码器的自适应滤波
CN101662682A (zh) * 2008-07-09 2010-03-03 英特尔公司 视频编码技术
US20100254463A1 (en) * 2008-09-04 2010-10-07 Panasonic Corporation Image coding method, image decoding method, image coding apparatus, image decoding apparatus, system, program, and integrated circuit
WO2011064945A1 (ja) * 2009-11-30 2011-06-03 日本電気株式会社 映像符号化装置および映像復号装置

Also Published As

Publication number Publication date
JP2015519829A (ja) 2015-07-09
WO2013185336A1 (en) 2013-12-19
US10979703B2 (en) 2021-04-13
US20140219333A1 (en) 2014-08-07
JP6005847B2 (ja) 2016-10-12

Similar Documents

Publication Publication Date Title
CN104219524B (zh) 使用感兴趣对象的数据对视频成码的比特率控制
US10075709B2 (en) Cross-channel residual prediction
JP5976696B2 (ja) 処理方法及びビデオコーディングシステム
US20140286408A1 (en) Inter-layer pixel sample prediction
CN104584553A (zh) 层间残差预测
CN104541505A (zh) 层间内部模式预测
TWI571111B (zh) 包括在多個獨立寫碼串流之間共享移動估測的視訊寫碼技術
US10536710B2 (en) Cross-layer cross-channel residual prediction
TWI559749B (zh) 層間移動資料繼承之技術
CN104272738A (zh) 用于可扩展视频编码的自适应滤波
US9860533B2 (en) Cross-layer cross-channel sample prediction
CN103975594B (zh) 用于残差预测的运动估计方法
CN104717501A (zh) 层间像素样本预测
CN104023238A (zh) 跨通道残余预测
JP2015146599A (ja) レイヤ間画素サンプル予測

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20150107