CN104954789A - 在视频应用中用于视频预处理的滤波器选择 - Google Patents

在视频应用中用于视频预处理的滤波器选择 Download PDF

Info

Publication number
CN104954789A
CN104954789A CN201510333835.3A CN201510333835A CN104954789A CN 104954789 A CN104954789 A CN 104954789A CN 201510333835 A CN201510333835 A CN 201510333835A CN 104954789 A CN104954789 A CN 104954789A
Authority
CN
China
Prior art keywords
filter
processing filter
processing
video
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510333835.3A
Other languages
English (en)
Inventor
佩沙拉·V·帕哈拉瓦达
阿萨纳西奥斯·莱昂塔里斯
亚历山德罗斯·图拉皮斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN104954789A publication Critical patent/CN104954789A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

公开了在视频应用中用于视频预处理的滤波器选择。描述了在视频应用中用于视频预处理的滤波器选择方法以及滤波器选择器。通过多个预处理滤波器对输入图像的区域进行预处理，并且对用于后续编码的预处理滤波器的选择基于该区域的评估度量值。

Description

在视频应用中用于视频预处理的滤波器选择
本发明申请是申请日期为2010年4月20日、申请号为“201080012997.2”、发明名称为“在视频应用中用于视频预处理的滤波器选择”的发明专利申请的分案申请。
相关申请的交叉引用
本申请要求在2009年4月20日提交的第61/170,995号美国临时申请、在2009年7月4日提交的第61/223,027号美国临时申请以及在2009年9月14日提交的第61/242,242号美国临时申请的优先权，所有申请的全部内容都通过引用合并到本申请中。本申请还会涉及在2008年12月25日提交的第61/140,886号美国临时申请，该申请的全部内容通过引用合并到本申请中。
技术领域
本公开涉及视频应用。更具体地，本发明的实施例涉及用于在给定发生在增强层(enhancement layer,EL)解码器和编码器中的基本层(baselayer,BL)到增强层(EL)的预测处理的知识的情况下，选择预处理滤波器和滤波器参数的方法以及器件。可以将上述方法和器件应用到各种应用中，诸如，空间上或时间上可伸缩的视频编码以及可伸缩3D(三维)视频应用。
附图说明
图1示出了包括基本层(BL)编码部分和增强层(EL)编码部分的可伸缩视频编码结构。
图2示出了与图1的编码系统相对应的解码结构。
图3示出了用于执行预处理器优化的开环处理。
图4示出了用于执行预处理器优化的闭环处理。
图5示出了出现了简化编码的闭环处理的另外的示例。
图6示出了序列/图像分析阶段在前的预处理滤波器阶段。
图7示出了通过从EL编码器收到的反馈进行的预处理滤波器选择。
图8示出了基于用于先前图像的滤波器来预测预处理滤波器参数的结构。
具体实施方式
以下描述用于选择预处理滤波器的方法以及器件。
根据第一实施例，提供了一种对用于视频传送的预处理滤波器进行选择的方法，该方法包括：将一个或更多个输入图像输入到多个预处理滤波器中；处理每个预处理滤波器的输出以针对每个预处理滤波器形成输出图像或数据流；针对每个预处理滤波器来评估输出图像或数据流的度量值；以及基于针对每个预处理滤波器的评估的度量值来在多个预处理滤波器中选择预处理滤波器。
根据第二实施例，提供了一种对用于视频传送的预处理滤波器进行选择的方法，该方法包括：分析输入图像；选择输入图像的区域；评估是否必须针对所选区域进行预处理滤波器的新选择；如果必须进行新选择，那么就对预处理滤波器进行选择；以及如果没有必要进行新选择，那么就选择先前所选的预处理滤波器。
根据第三实施例，提供了一种用于视频传送的预处理滤波器选择器，该预处理滤波器选择器包括：多个预处理滤波器，上述多个预处理滤波器适于接收输入图像；处理模块，该处理模块对每个预处理滤波器的输出进行处理以形成输出图像或数据流；度量值评估模块，该度量值评估模块针对每个预处理滤波器来评估输出图像或数据流的度量值；以及预处理滤波器选择器，该预处理滤波器选择器基于借助失真模块的针对每个预处理滤波器的评估的度量值在多个预处理滤波器中选择预处理滤波器。
根据第四实施例，提供了一种用于根据上述一种或更多种方法对视频信号进行编码的编码器。
根据第五实施例，提供了一种用于根据上述一种或更多种方法对视频信号进行编码的设备。
根据第六实施例，提供了一种用于根据上述一种或更多种方法对视频信号进行编码的系统。
根据第七实施例，提供了一种包括有使计算机执行上述一种或更多种方法的指令集的计算机可读介质。
根据第八实施例，提供上述一种或更多种方法用于对视频信号进行编码的用途。
用于可伸缩视频传送的一种方法是：按照较低分辨率对原始视频进行子采样并对基本层(BL)码流中的子采样后的数据进行编码。然后可以对基本层解码视频进行上采样以获得对原始全分辨率视频的预测。增强层(EL)可以将此预测用作参考并对恢复原始全分辨率视频所需的残差信息进行编码。分辨率子采样可以发生在空间域、时域以及像素精度域。参见例如：J.R.Ohm,“Advances in Scalable Video Coding,”Proceedings ofthe IEEE,vol.93,no.1,January 2005。可伸缩视频传送也可以与位深度可伸缩性和3D可伸缩性或多视图可伸缩性有关。
虽然本申请的附图和一些实施例参考了单一增强层，但是本公开也致力于存在有多于一个增强层的情况，以进一步改善解码视频的质量或改善视频传送系统的功能性/灵活性/复杂度。
图1示出了一种这样的可伸缩视频编码系统的示例，其中，作为示例，仅使用一个增强层。BL(基本层)至EL(增强层)预测器模块(110)根据重构的BL视频预测EL并将该预测输入到EL编码器(120)中作为参考。
在立体视频数据传输或多视图视频数据传输的情况下，子采样可以是为了在现有视频传送管路上传输的目的而将不同视图交织成一幅图像的结果。例如，棋盘、逐行、并排和上下是一些为了传送的目的用来将两个立体3D视图交织成一幅左/右交织图像的技术。在每种情况下，还可以使用诸如梅花、水平、垂直等不同的子采样方法。
在2008年12月25日提交的并通过引用和作为附件A合并到本申请中的第61/140,886号美国临时申请示出了一些可以在图1的BL至EL预测器块(110)中使用的内容自适应插值技术。另外，在2009年4月20日提交的并通过引用和作为附件B合并到本申请中的第61/170,995号美国临时申请示出了直接插值技术，在这些直接插值技术中，依赖待插值的内容和图像区域来适应性修改插值格式，且最优的滤波器作为元数据以信号发送到增强层解码器。
图2示出了用于BL和EL的相对应的解码器结构。BL到EL预测器(210)在解码器侧使用基本层重构图像(220)连同被引导的插值元数据(230)(该插值元数据(230)与图1的预测器元数据(130)相对应)一起来产生对EL的预测(240)。在2009年4月20日提交的、通过引用合并到本申请中的第61/170,995号美国临时申请更详细地讨论了预测器元数据。
返回到图1，在BL图像和EL图像产生前可以有预处理模块(140)、预处理模块(150)。对图像或视频在压缩之前应用预处理从而改善压缩效率和衰减伪迹。预处理模块可以例如包括被设计成消除伪迹的下采样滤波器，这些伪迹诸如来自子采样后的图像的混淆(aliasing)。下采样滤波器可以是固定的有限脉冲响应(FIR)滤波器(诸如在W.Li,J-R.Ohm,M.van der Schaar,H.Jiang and S.Li,“MPEG-4Video Verification ModelVersion 18.0,”ISO/IEC JTC1/SC29/WG11N3908,January 2001中描述的滤波器)、运动补偿时间滤波器(诸如在E.Dubois and S.Sabri,“NoiseReduction in Image Sequences Using Motion-Compensated TemporalFiltering,”IEEE Trans.on Communications,Vol.COM-32,No.7,July1984中描述的滤波器)或自适应滤波器(诸如在S.Chang,B.Yu,and M.Vetterli,“Adaptive Wavelet Thresholding for Image Denoising andCompression,”IEEE Trans.On Image Processing,vol.9,no.9,pp.1532-1546,September 2000中描述的滤波器)。也可以结合特定的上采样/插值处理(诸如在Y.Tsaig,M.Elad,P.Milanfar,and G.Golub,“VariableProjection for Near-Optimal Filtering in Low Bit-Rate Coders,”IEEETrans.on Circuits and Systems for Video Technology,vol.15,no.1,pp.154-160,January 2005中所描述的)来优化下采样滤波器。
在接下来的多幅图中，将描述在给定从一层到另一层(例如BL到EL)的预测处理的知识的情况下、用于对预处理滤波器和滤波器参数进行选择的方法以及器件的实施例。具体地，图3的实施例包括对于将如何执行BL到EL预测的假设。这样的假设不是基于根据压缩之后的实际BL重构图像进行的预测，而是基于根据未压缩图像的预测(开环)。另一方面，图4的实施例涉及根据压缩之后的BL重构图像的预测(闭环)。然而，如图5所示，为了降低滤波器选择处理的复杂度的目的，可以使用简化压缩。简化压缩与完全压缩处理的性质近似，并且简化压缩允许容忍可能通过压缩处理所引入的编码伪迹和比特率。
图3示出了根据本公开的预处理器以及预处理优化方法的实施例。可选的区域选择模块(310)将输入图像或源(320)分成多个区域。在2009年4月20日提交的并通过引用和作为附件B合并到本申请中的第61/170,995号美国临时申请描述了这样的区域选择模块的示例。输入图像分成多个区域，这允许在每个给予了其区域内容特性的区域中执行不同预处理以及自适应插值。
对于每个区域，在一组表示为(330-1),(330-2),(330-3),...,(330-N)的滤波器1到N上执行对最优的预处理滤波器的搜索。预处理滤波器可以是可分离的或不可分离的滤波器、具有不同主成分长度(support length)的FIR滤波器、方向滤波器(诸如水平滤波器、垂直滤波器或对角线滤波器)、频域滤波器(诸如基于小波的滤波器或基于离散余弦变换(DCT)的滤波器)、边缘自适应滤波器、运动补偿时间滤波器等。
然后，在相应的子采样模块(340-1),(340-2),(340-3),...,(340-N)中按照针对BL的分辨率对每个滤波器(330-i)的输出进行子采样。
本领域技术人员还将理解的是，预处理滤波器和子采样模块的其他实施例也是可以的，例如，预处理滤波器和子采样模块可以以单一部件形式集成在一起，或者预处理滤波器可以跟在子采样模块后面而不是如图3示出的在子采样模块前面。
在3D立体可伸缩视频编码系统的情况下，子采样后的、每个滤波器的输出然后被3D交织器发送，以产生将作为基本层视频的一部分的子采样3D交织图像。可以在第5,193,000号美国专利中找到3D交织器的示例，其中，该专利的全部内容通过引用合并到本申请中。另一方面，在非3D的情况下，可以设置抽取器。然后，使用诸如在第61/140,886号美国临时申请和第61/170,995号美国临时申请中描述的方法那样的方法对子采样后的图像进行自适应上采样。3D交织器或抽取器和自适应上采样(或，更一般地，对子采样后的输出进行处理以形成输出图像或比特流的技术)在图3中总体地表示为块(350-1),(350-2),(350-3),...,(350-N)。如图所示，自适应插值还使用原始的未被滤波的信息以确定最佳插值滤波器。这样的信息是从区域选择模块(310)输出的。
在失真计算模块(360-1),(360-2),(360-3),...,(360-N)中，将上采样后的图像与原始输入源进行比较并计算原始图像和处理过的图像之间的失真测量。为此目的，可以使用失真度量，诸如均方误差(MSE)、峰值信噪比(PSNR)和更多地调谐到人类视觉系统特性的感知失真度量。
滤波器选择模块(370)比较每个预处理滤波器(330-i)的失真特性并选择用于对视频的此区域进行编码的最优的预处理滤波器。然后，对被选择的滤波器的输出进行下采样(385)并进一步发送通过编码处理(390)。可替代地，块370可以在滤波器的已被下采样的输出之间进行选择而不是在滤波器之间进行选择。在这样的情况下，将不需要下采样模块385。
滤波器选择模块(370)还可以从区域选择器(310)收到另外的基于区域的统计量诸如纹理、边缘信息等作为输入(380)，其中，上述统计量可以帮助做出滤波器决定。例如，依赖区域，给予一个滤波器的失真估值的权重会比给予另一个滤波器的失真估值的权重高。
在实际系统中，诸如在图1所描绘的系统中，针对BL到EL预测的自适应插值发生在解码器重构的BL图像上而没有发生在原始预处理内容上，从上述意义上来讲，图3的开环处理不是最优的。然而，开环处理的计算量较小并可以在对内容的实际编码之前离线执行。
本领域技术人员还将理解的是，图3的实施例不是特定用于可伸缩结构的。此外，可以将这样的实施例只应用于EL、只应用于BL、或应用于EL和BL二者。再此外，如果需要，那么可以将不同的预处理器用于BL和EL。在EL预处理的情况下，下采样仍可以在样本上发生，这些样本例如是没有包括在BL中的样本。
图4示出了本公开的另外的实施例，其中，示出了用于执行预处理器优化的闭环处理。具体地，对于每个滤波器(430-i)的子采样后的输出设置了编码步骤(450-i)。例如，根据图1的方案，滤波器的每个输出在编码步骤(450-i)中被完全编码，并然后被重构(455-i)。在可伸缩视频编码的情况下，这样的编码包括BL编码、针对BL到EL预测的自适应插值、以及EL编码。图4示出了这样的示例，在该示例中，EL滤波器(435-11)...(435-1M)都被设置用于BL滤波器(430-1)，以此类推，直到EL滤波器(435-N1)...(435-NM)被设置用于其的BL滤波器(430-N)。
在模块(455-i)输出处的经过编码和重构后的比特流用于两个目的：i)对失真的计算(460-i)以及ii)滤波器选择模块(470)的输入(465)。具体地，滤波器选择模块(470)将根据失真模块(460-i)的输出从多个输入(465)中选择一个输入作为输出编码比特流(490)。更具体地，将针对每个区域表现出最少失真的滤波器选择作为预处理器。
根据图4的实施例的滤波器优化除了考虑失真之外还可以考虑目标或结果比特率。换句话说，依赖所选择的滤波器，编码器可以要求不同数量的比特来编码图像。因此，根据本公开的实施例，最优滤波器选择除了考虑在编码和/或后处理之后的失真之外还可以考虑编码所要求的比特。这可以用公式表示为目的是使受比特率约束的失真为最小化的优化问题。用于进行上述处理的可能的技术是拉格朗日优化。这样的处理发生在滤波器选择模块(470)中并使用i)在D模块(460-i)中计算出的失真和ii)从编码模块(450-i)可获得的比特率。
更一般地，也可以执行基于几种类型的度量中的一个或更多个度量的优化。这些度量可以包括以上提到的失真和/或比特率，但也可以扩展到成本、功率、时间、计算复杂度和/或其他类型的度量。
虽然在上段中所讨论的方法将提供率失真最优滤波器结果，但是其计算量大。在下图中将讨论用于降低这样的实施例的计算负担的几个方法。
图5示出了可替代的实施例，其中，对于每个潜在滤波器选择，代替对真实编码的和解码器重构的图像的计算，将简化编码(550-i)和重构用作对真实解码器重构的估值。
例如，只有在已完成滤波器选择(570)之后才可以执行完全复杂度编码(575)。然后，可以例如使用来自完全复杂度编码器(575)的运动和重构图像信息(577)来对简化编码器(550-i)进行更新。例如，简化编码器的参考图片缓冲器(参见图1的元件160、170)可以被更新以包括来自简化编码器的重构图像。相似地，可以将完全编码器处产生的用于先前区域的运动信息用在简化编码器(550-i)的视差估计模块中。作为示例，简化编码器可以仅基于帧内编码产生模型，其中，该帧内编码使用的量化参数与完全复杂度编码器所使用的量化参数相同。可替代地，简化编码器可以使用基于例如通过产生量化参数-频率模型而使用的与量化参数的频率关系的滤波。另外，如果要求更高的精度，则可以使用简化编码器和完全复杂度编码器之间的不匹配来进一步更新模型。
由块(550-i)在滤波器选择之前执行的简化编码可以例如是仅帧内编码(intra-only encoding)，从而消除运动估计和补偿的复杂度。另一方面，如果使用运动估计，那么可以禁用子像素运动估计。另外的替代可以是使用低复杂度率失真优化方法，而不是探究压缩期间的所有可能的编码决定。可以禁用或简化另外的滤波器，诸如环路滤波器和后处理滤波器。为了执行简化，可以完全关断滤波器或对用于滤波的样本的数量进行限制。也可以调谐滤波器参数，以使得会较不经常使用滤波器和/或会使用简化处理以决定滤波器是否会用于特定块边缘。另外，用于某些色度分量的滤波器可以被禁用，或者基于用于其它色度分量或亮度分量的滤波器而被估计。此外，在另一个实施例中，可以针对子区域(例如，每个区域的中心部分)优化滤波器选择，而不是在整个区域上优化。在一些情况下，简化编码器还可以以低分辨率或以低率失真优化(RDO)复杂度来执行编码。此外，可以约束视差估计以仅测量全像素单元的视差而不是测量子像素单元的视差。也可以使用简化熵编码(VLC模块)。再此外，可以仅对图像的亮度分量进行编码，并且可以将针对色度分量的失真和比率估计为亮度的函数。在另一个实施例中，简化编码可以简单地是下述预测处理，该预测处理基于完全编码器(块575)的先前输出来建模块550-i的输出。
以上所有选项都可以出现在简化编码器(550-i)中。换句话说，简化编码器(550-i)可以包括图1示出的所有编码模块，并且这些模块中的每一个都可以按照以上描述的被(单独地或联合地)简化，从而尽力保持输出不明显不同于完整编码器的输出。
图6示出了本公开的另外的实施例，其中，序列/图像分析阶段(620)先于预处理滤波器阶段(610)。分析阶段(620)可以确定出待用在优化中的一组减少了的预处理滤波器(630)。图像/序列分析块(620)可以包括(空间域中的和/或随着时间的)纹理和/或方差计算，以确定所讨论的特定应用所需要的滤波器的类型。例如，图像的平滑区域在编码之前可以根本不需要任何预滤波。一些区域可以要求空间滤波和时间滤波二者，而其他的区域可以仅要求空间滤波或时间滤波。在位深度可伸缩的情况下，可以针对每个区域优化色调映射(tonemapping)曲线。如果使用方向滤波器，那么图像分析模块(620)可以包括边缘分析，以确定是否应当在优化中包括方向滤波器，如果是，就确定执行滤波所沿着的主导方向。如果需要，还可以将这些技术结合在区域选择模块中。此外，可以使用提前终止标准，由此，如果示出滤波器提供了大于特定阈值的率失真性能，那么在优化中不再评估另外的滤波器。这样的方法可以容易地与图像分析结合，以进一步减少在其上执行搜索的滤波器的数量。
图7示出了本公开的又一个实施例，其中，预处理滤波器选择(710)(除借助失真测量之外)受助于从增强层编码器(720)收到的另外反馈(740)。例如，反馈可以包括关于用来产生BL到EL预测的自适应上采样滤波器参数的信息。因而，下采样滤波器选择可以适于根据优化的先前阶段适合(suit)最佳执行的自适应上采样滤波器。这还可以有助于对用于预处理的区域的选择。
例如，可以将图像分成多个小区域，并且在初始阶段，可以针对每个区域假设不同的预处理滤波器。这样的实施例在不进行先前图像分析的简化系统中会是有用的。在这样的情况下，可以将上采样信息(上采样器是否针对多个区域选择了相同的上采样滤波器)视为对最佳下采样滤波器选择还应当如何运转的指示。例如，如果对于整个图像，上采样滤波器是相同的，那么可能不需要将图像分割成区域并且不需要针对每个区域分别优化下采样滤波器。
然而，在模块(730)中编码BL之后，BL到EL预测优化可以确定：对于图像的多个区域的预测来说，相同上采样滤波器是足够的。在此情况下，预处理器还可以适于针对这些区域选择相同或相似的预处理滤波器。这将减少需要在其上执行整个闭环优化的区域的数量，从而减少处理的计算时间。更一般地，此步骤还可以应用于与BL/EL配置不同的配置。
通过基于用于序列的先前图像或图像区域的滤波器来预测预处理滤波器参数，可以进一步降低预处理器优化的计算负担。图8示出了这样的系统的示例。
例如，可以每N个图像/区域执行一次预处理器优化(810)，其中，N是固定的或是基于可获得的计算资源和时间而修改的。在一个实施例中，对是否使用先前优化的滤波器参数的决定(830)可以依赖于从图像分析模块(820)(还参见图6的图像分析模块(620))获得的信息。例如，如果发现两个图像或图像区域高度相关，那么仅需要针对这些区域中的一个区域对滤波器参数优化一次，并然后可以将其再用于/精化后用于(840)另一个区域。图像区域可以是空间邻域或时间邻域、或在多视图情况下是从每个视图获得的相对应的图像区域。例如，当考虑视频序列的两个连续图像时，可以将两个图像之间的像素值的平均绝对差用作对时间相关的测量，并且，如果平均绝对差小于阈值，那么滤波器可以再使用(840)。
在另一个实施例中，可以基于在重构解码图像之后相对于原始视频源的失真计算来做出是否再使用相同滤波器的决定(830)。如果计算出的失真大于特定阈值，或者，如果计算出的失真比先前图像/区域的失真明显增加，那么可以执行预处理器优化。
在再一个实施例中，可以使用在图像分析阶段或在视频编码期间计算出的运动信息来确定区域在图像内的运动。这样，来自先前图像的所使用的滤波器参数可以遵循相应区域的运动。
在另一个实施例中，可以使用相邻区域来确定在其上搜索最优滤波器的滤波器组。例如，如果在相邻区域上的优化示出：一组出自N个全部可能的滤波器的M个滤波器总是胜过其他的滤波器，那么只有这M个滤波器可以用在对当前图像区域的优化中。
此外，用于当前区域的滤波器可以采用如下形式：
a*f(L，T，D，P)+b
其中，L是使用被优化以用于当前区域左边的图像区域的滤波器所得的滤波后的值，T是使用被优化以用于当前区域上边的图像区域的滤波器所得的滤波后的值，D是使用被优化以用于当前区域右上方的图像区域的滤波器所得的滤波后的值，以及P是使用被优化以用于与先前图像定位在同一处的图像区域的滤波器所得的滤波后的值。函数f使用平均、中位数或还考虑当前区域与每个相邻区域的相似性的其他测量将来自每个滤波器的滤波值相结合。变量a和b可以是常量，或可以依赖于空间特性/时间特性，诸如运动和纹理。更一般地，所考虑的滤波器可以是相邻区域的已被选择的滤波器。一个用于光栅扫描的实施例可以是刚才提到的L,T,D,P情况。
在再一个实施例中，除了考虑滤波器的率失真性能之外，还可以考虑滤波器的“资源失真”性能。在此情况下，资源可以包括可获得的比特，然而资源还可以包括在编码器件中可获得的功率、计算复杂度预算、还有时间约束应用情况下的延迟约束。
在再一个实施例中，失真测度可以包括多个失真度量的结合，或者可以考虑诸如传输误差和误差隐藏的另外因素以及显示器件或回放器件使用的其他后处理方法来计算失真测度。
总之，可以将本公开示出的这些方法用于对视频序列的区域进行自适应预处理。这些方法的目的在于改善输出视频的率失真性能同时使优化的计算复杂度最小化。尽管上述方法被描述为分离的实施例，但是还可以将这些方法结合起来在低复杂度可伸缩视频编码器中使用。
虽然参照可伸缩视频传送技术提供了本公开的示例，但是本公开的教导还应用于不可伸缩视频传送。例如，一种应用会是：如果在编码之前对视频进行下采样以降低带宽要求，那么对视频在解码之后进行插值成全分辨率。如果使用自适应插值技术，那么可以优化下采样以考虑自适应插值。在这样的不可伸缩应用的情况下，输出将是自适应上采样后的输出而不是EL编码器的输出。
另一种应用是交错(interlace)视频编码，其中，可以基于在解码器处使用的去交错方案来优化预处理滤波器。而且，可以将本公开的教导应用于与交错视频编码相似的不可伸缩3D应用，其中，在编码之前，左视图图像和右视图图像可以在空间上或时间上被下采样并被交织，然后在解码器处被自适应插值，以获得全空间分辨率或全时间分辨率。在这样的情况中，右视图和左视图二者可以彼此相互预测。在不同的情况中，一层可以包括具有第一类型的彩色空间表示方法、位深度和/或(例如对数的或线性的)比例的帧，而另一层可以包括具有第二类型的彩色空间表示方法、位深度、和/或比例的相同的帧。可以将此公开的教导应用于根据一层中的样本来优化对另一层中的样本的预测和压缩。
可以以硬件、软件、固件或其组合的形式来实施本公开中描述的方法和系统。可以将被描述为块、模块或部件的特征一起实施(例如在诸如集成逻辑器件的逻辑器件中)或单独实施(例如作为单独连接的逻辑器件)。本公开的方法的软件部分可以包括包含有下述指令的计算机可读介质，这些指令在其运行时至少部分地执行所描述的方法。计算机可读介质可以包括例如随机存取存储器(RAM)和/或只读存储器(ROM)。可以通过处理器(例如，数字信号处理器(DSP)、专用集成电路(ASIC)、或现场可编程逻辑阵列(FPGA))运行这些指令。
本发明的实施例可以涉及多个示例实施例中的一个或更多个，列举如下：
1.一种选择用于视频传送的预处理滤波器的方法，包括：
将一个或更多个输入图像输入到多个预处理滤波器中；
处理每个预处理滤波器的输出以针对每个预处理滤波器形成输出图像或数据流；
针对每个预处理滤波器评估输出图像或数据流的度量值；以及
基于针对每个预处理滤波器的评估的度量值，在多个预处理滤波器中选择预处理滤波器。
2.根据列举的示例实施例1的方法，其中，该方法用于可伸缩视频传送，可伸缩视频传送包括通过基本层和一个或更多个增强层对输入图像进行编码和重构。
3.根据列举的示例实施例2的方法，其中，预处理滤波器是基本层预处理滤波器，并且处理每个预处理滤波器的输出包括按照针对基本层的分辨率对每个预处理滤波器的输出进行子采样。
4.根据列举的示例实施例1的方法，其中，处理每个预处理滤波器的输出包括对每个预处理滤波器的输出进行3D交织。
5.根据列举的示例实施例1的方法，其中，处理每个预处理滤波器的输出包括对每个预处理滤波器的输出进行分样。
6.根据列举的示例实施例1的方法，其中，相对于输入图像来评估输出图像或比特流的度量值。
7.根据列举的示例实施例1的方法，其中，评估输出图像或比特流的度量值包括针对每个预处理滤波器有差别地评估失真。
8.根据列举的示例实施例1的方法，其中，评估输出图像或比特流的度量值包括根据输入图像的所选区域有差别地评估度量值。
9.根据列举的示例实施例8的方法，其中，所述有差别地评估度量值基于在选择一个或更多个区域时产生的基于区域的统计量。
10.根据前面列举的示例实施例中任一个的方法，其中，在对视频图像进行编码之前执行所述方法。
11.根据前面列举的示例实施例中任一个的方法，其中，处理每个预处理滤波器的输出以形成输出图像或数据流包括对每个预处理滤波器的输出进行编码以形成输出编码数据流。
12.根据列举的示例实施例11的方法，其中，编码包括基本层编码、针对基本层到增强层预测的自适应插值、以及增强层编码。
13.根据列举的示例实施例11或12的方法，其中，基于针对每个滤波器的评估的度量值来选择预处理滤波器允许选择与所选预处理滤波器相应的输出编码数据流。
14.根据前面列举的示例实施例中任一个的方法，该方法还包括执行两阶段编码，第一阶段编码发生在选择预处理滤波器之前，而第二阶段编码发生在选择预处理滤波器之后。
15.根据列举的示例实施例14的方法，其中，第一阶段编码在处理每个预处理滤波器的输出时发生。
16.根据列举的示例实施例14或15的方法，其中，第一阶段编码是简化编码。
17.根据列举的示例实施例16的方法，其中，第一阶段编码仅限于帧内编码。
18.根据列举的示例实施例16或17的方法，其中，第一阶段编码不使用子像素运动估计、去块滤波器以及色度编码中的一个或更多个，和/或使用更低的率失真优化处理以及更低的分辨率编码中的一个或更多个。
19.根据列举的示例实施例14到18中任一个的方法，其中，基于第二阶段编码更新第一阶段编码。
20.根据列举的示例实施例19的方法，其中，通过更新第一阶段编码中的参考图片缓冲器来更新第一阶段编码。
21.根据前面列举的示例实施例中任一个的方法，其中，一个或更多个输入图像是输入图像的所选区域。
22.根据前面列举的示例实施例中任一个的方法，还包括：
在将输入图像输入到多个预处理滤波器之前分析输入图像；以及
基于所述分析，减少要输入输入图像的预处理滤波器的数量或后续待选择的区域的数量。
23.根据前面列举的示例实施例中任一个的方法，还包括：
在评估输出图像或数据流的度量值之前，对输出图像或数据流进行编码和重构。
24.根据列举的示例实施例23的方法，其中，
该方法用于可伸缩视频传送，该可伸缩视频传送包括通过基本层和一个或更多个增强层对输入图像进行编码和重构，以及
多个预处理滤波器包括多个基本层滤波器以及针对每个基本层滤波器的多个增强层滤波器。
25.根据前面列举的示例实施例中任一个的方法，还包括：
对输出图像或数据流进行编码，其中，选择预处理滤波器还基于来自编码的反馈。
26.根据列举的示例实施例25的方法，其中，该方法用于可伸缩视频传送，编码包括基本层编码和增强层编码，反馈来自增强层编码。
27.根据列举的示例实施例26的方法，其中，反馈包括关于用来产生基本层到增强层预测的自适应上采样滤波器参数的信息。
28.根据列举的示例实施例25到27中任一个的方法，其中，输入图像是来自同一图像的不同区域，以及其中，针对每个区域分别选择一个或多个预处理滤波器。
29.根据前面列举的示例实施例中任一个的方法，其中，输入图像是来自同一图像的不同区域，以及其中，针对每个区域分别选择一个或多个预处理滤波器。
30.根据列举的示例实施例2的方法，其中，该方法用于利用不同位深度、比例和/或彩色空间表示对视频的可伸缩传送。
31.根据列举的示例实施例1的方法，其中，该方法用于不可伸缩视频传送。
32.根据列举的示例实施例31的方法，其中，不可伸缩视频传送包括在编码之前的子采样以及在解码之后的视频插值。
33.根据列举的示例实施例32的方法，其中，视频插值是自适应视频插值。
34.根据列举的示例实施例31的方法，其中，不可伸缩视频传送是不可伸缩3D视频传送。
35.根据列举的示例实施例34的方法，其中，不可伸缩3D视频传送包括在编码之前对左图像和右图像进行子采样和交织，以及在解码时对左图像和右图像进行自适应插值。
36.根据列举的示例实施例35的方法，其中，左图像根据右图像预测，以及右图像根据左图像预测。
37.根据列举的示例实施例1的方法，其中，视频传送包括视频编码和视频解码，视频编码包括交错操作，而视频解码包括去交错操作，其中，对输出图像或数据比特流的度量值评估基于去交错操作。
38.根据列举的示例实施例1的方法，其中，视频传送是多视图视频传送。
39.根据前面列举的示例实施例中任一个的方法，其中，度量值包括失真、比特率、功率、成本、时间和计算复杂度中的一个或更多个。
40.根据列举的示例实施例39的方法，其中，失真包括多个失真度量值的结合。
41.一种选择用于视频传送的预处理滤波器的方法，包括：
分析输入图像；
选择输入图像的区域；
评估是否必须针对所选的区域进行预处理滤波器的新选择；
如果必须进行新选择，那么就对预处理滤波器进行选择；以及
如果没有必要进行新选择，那么就选择先前所选的预处理滤波器。
42.根据列举的示例实施例41的方法，还包括：
在预处理之后对区域进行编码和重构。
43.根据列举的示例实施例42的方法，其中，该方法用于可伸缩视频传送，编码包括基本层编码和增强层编码，重构包括基本层重构和增强层重构。
44.根据列举的示例实施例42或43的方法，其中，评估还基于来自重构的区域的反馈。
45.根据列举的示例实施例42至44中任一个的方法，其中，评估基于所选区域的邻域。
46.一种用于视频传送的预处理滤波器选择器，包括：
多个预处理滤波器，适于接收输入图像；
处理模块，对每个预处理滤波器的输出进行处理以形成输出图像或数据流；
度量值评估模块，针对每个预处理滤波器评估输出图像或数据流的度量值；以及
预处理滤波器选择器，基于通过失真模块进行的针对每个预处理滤波器的评估的度量值，在多个预处理滤波器中选择预处理滤波器。
47.根据列举的示例实施例46的预处理滤波器选择器，还包括用于选择输入图像的一个或更多个区域的区域选择器，其中，多个处理滤波器与区域选择器相连并适于接收所选的一个或更多个区域。
48.根据列举的示例实施例46或47的预处理滤波器选择器，其中，视频传送是可伸缩视频传送，该视频传送包括基本层编码和增强层编码。
49.根据列举的示例实施例46或47的预处理滤波器选择器，其中，视频传送是不可伸缩视频传送。
50.根据列举的示例实施例43到46中任一个的预处理滤波器选择器，其中，度量值包括失真、比特率以及复杂度中的一个或更多个。
51.一种用于根据在列举的示例实施例1或41中的一个或更多个中所述的方法对视频信号进行编码的编码器。
52.一种用于根据在列举的示例实施例1或41中的一个或更多个中所述的方法对视频信号进行编码的设备。
53.一种用于根据在列举的示例实施例1或41中的一个或更多个中所述的方法对视频信号进行编码的系统。
54.一种包括指令集的计算机可读介质，其中，该指令集使计算机执行在列举的示例实施例1和41中的一个或更多个中所述的方法。
55.在列举的示例实施例1或41中的一个或更多个中所述的方法用于对视频信号进行编码的用途。
提供了以上阐明的示例以给予本领域普通技术人员关于如何实施和使用针对本公开的视频应用中的视频预处理的滤波器选择的实施例的充分公开和描述，并且以上阐明的示例不意在限制发明人认为是其所公开的内容的范围。视频领域技术人员可以使用针对用于实现本公开的上述模式所进行的修改，这些修改意在落在所附权利要求的范围内。说明书中提到的所有专利和出版物可以表示本公开所属于的技术领域中的技术人员的技术水平。以就好像每个参考的全部内容都通过引用被单独地合并的相同程度来通过引用合并本公开所引用的所有参考。
应该理解的是，本公开不限于特定的方法或系统，这些方法或系统当然可以变化。还应该理解的是，本申请中使用的术语仅是为了描述特定实施例的目的，而不是意在限制。如该说明书和所附权利要求所使用的，单数形式(“一(a)”“一个(an)”和“那(the)”)包括复数指代，除非内容明显有另外指示。术语“多个(plurality)”包括两个或更多个指代，除非内容明显有另外指示。除非另外限定，否则本申请中使用的所有技术和科学术语与本公开所属的技术领域内的普通技术人员通常理解的含义相同。
已描述了本公开的许多实施例。尽管如此，还要理解的是：可以在不偏离本公开的精神和范围的情况下做出各种修改。因此，其他的实施例在所附权利要求的范围内。

Claims (15)

1.一种选择用于视频传送的预处理滤波器的方法，包括：
分析输入图像；
选择所述输入图像的区域；
评估是否必须针对所选区域进行预处理滤波器的新选择；
如果必须进行新选择，那么就对预处理滤波器进行选择；以及
如果没有必要进行新选择，那么就选择先前所选的预处理滤波器
2.根据权利要求1所述的方法，还包括：
在预处理之后对所述区域进行编码和重构。
3.根据权利要求2所述的方法，其中，所述方法用于可伸缩视频传送，所述编码包括基本层编码和增强层编码，所述重构包括基本层重构和增强层重构。
4.根据权利要求1所述的方法，其中，所述选择基于所述预处理滤波器的失真特性的比较。
5.根据权利要求4所述的方法，其中，所述选择包括用于对所述输入图像的所选择的区域进行编码的最优预处理滤波器。
6.根据权利要求1所述的方法，还包括：对所选择的滤波器进行下采样的步骤。
7.根据权利要求1所述的方法，其中，所述选择包括对已下采样的滤波器的选择。
8.根据权利要求7所述的方法，其中，不对所述已下采样的滤波器进行进一步下采样。
9.根据权利要求1所述的方法，其中，在所述选择中利用另外的基于区域的统计量。
10.根据权利要求9所述的方法，其中，所述另外的基于区域的统计量包括纹理和边缘信息。
11.根据权利要求1所述的方法，其中，可相对于另一滤波器增加给予一个滤波器的失真估值的区域依赖权重。
12.根据权利要求1所述的方法，其中，所述选择不是开环处理。
13.根据权利要求1所述的方法，其中，所述选择被应用于逆光处理。
14.根据权利要求1所述的方法，还包括：自适应插值的步骤，所述自适应插值包括对于解码器重构的增强层图像的基本层到增强层预测。
15.根据权利要求1所述的方法，其中，所述选择包括：选择用于接收输入图像的预处理滤波器以及利用多个处理模块对每个预处理滤波器的输出进行处理以形成输出图像或数据流；以及
其中，所述评估基于失真模块的度量值评估，所述失真模块被配置成针对每个预处理滤波器而评估所述输出图像或所述数据流的度量值；以及
基于所述失真模块针对每个预处理滤波器的评估的度量值，利用预处理滤波器选择器在多个预处理滤波器当中选择预处理滤波器。
CN201510333835.3A 2009-04-20 2010-04-20 在视频应用中用于视频预处理的滤波器选择 Pending CN104954789A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US17099509P 2009-04-20 2009-04-20
US61/170,995 2009-04-20
US22302709P 2009-07-04 2009-07-04
US61/223,027 2009-07-04
US24224209P 2009-09-14 2009-09-14
US61/242,242 2009-09-14
CN201080012997.2A CN102450009B (zh) 2009-04-20 2010-04-20 在视频应用中用于视频预处理的滤波器选择

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201080012997.2A Division CN102450009B (zh) 2009-04-20 2010-04-20 在视频应用中用于视频预处理的滤波器选择

Publications (1)

Publication Number Publication Date
CN104954789A true CN104954789A (zh) 2015-09-30

Family

ID=42543023

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201080012997.2A Expired - Fee Related CN102450009B (zh) 2009-04-20 2010-04-20 在视频应用中用于视频预处理的滤波器选择
CN201510333835.3A Pending CN104954789A (zh) 2009-04-20 2010-04-20 在视频应用中用于视频预处理的滤波器选择

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201080012997.2A Expired - Fee Related CN102450009B (zh) 2009-04-20 2010-04-20 在视频应用中用于视频预处理的滤波器选择

Country Status (8)

Country Link
US (1) US20120033040A1 (zh)
EP (2) EP2422521B1 (zh)
JP (2) JP5044057B2 (zh)
CN (2) CN102450009B (zh)
DK (1) DK2663076T3 (zh)
ES (1) ES2602326T3 (zh)
HK (1) HK1214440A1 (zh)
WO (1) WO2010123855A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113597762A (zh) * 2019-03-25 2021-11-02 高通股份有限公司 视频译码中具有非线性自适应环路滤波器的固定滤波器

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012122423A1 (en) * 2011-03-10 2012-09-13 Dolby Laboratories Licensing Corporation Pre-processing for bitdepth and color format scalable video coding
WO2012044487A1 (en) 2010-10-01 2012-04-05 Dolby Laboratories Licensing Corporation Optimized filter selection for reference picture processing
WO2011005624A1 (en) 2009-07-04 2011-01-13 Dolby Laboratories Licensing Corporation Encoding and decoding architectures for format compatible 3d video delivery
EP2779655B1 (en) 2010-01-06 2019-05-22 Dolby Laboratories Licensing Corporation Complexity-adaptive scalable decoding and streaming for multi-layered video systems
US8483271B2 (en) * 2010-05-06 2013-07-09 Broadcom Corporation Method and system for 3D video pre-processing and post-processing
WO2012006299A1 (en) 2010-07-08 2012-01-12 Dolby Laboratories Licensing Corporation Systems and methods for multi-layered image and video delivery using reference processing signals
US8542751B2 (en) * 2010-08-20 2013-09-24 Intel Corporation Techniques for identifying and reducing block artifacts
WO2012044093A2 (ko) * 2010-09-29 2012-04-05 한국전자통신연구원 필터 정보 예측을 이용한 영상 부호화/복호화 방법 및 장치
KR102062821B1 (ko) * 2010-09-29 2020-01-07 한국전자통신연구원 필터 정보 예측을 이용한 영상 부호화/복호화 방법 및 장치
US9055305B2 (en) 2011-01-09 2015-06-09 Mediatek Inc. Apparatus and method of sample adaptive offset for video coding
CN106454357A (zh) * 2011-01-09 2017-02-22 寰发股份有限公司 已处理视频数据的样本自适应补偿的方法和装置
US9161041B2 (en) 2011-01-09 2015-10-13 Mediatek Inc. Apparatus and method of efficient sample adaptive offset
US8780996B2 (en) 2011-04-07 2014-07-15 Google, Inc. System and method for encoding and decoding video data
KR20120118779A (ko) * 2011-04-19 2012-10-29 삼성전자주식회사 전처리 필터링을 수반한 계층 간 예측을 수행하는 비디오 부호화 방법 및 그 장치, 후처리 필터링을 수반한 계층 간 예측을 수행하는 비디오 복호화 방법 및 그 장치
WO2012155553A1 (en) * 2011-05-16 2012-11-22 Mediatek Inc. Apparatus and method of sample adaptive offset for luma and chroma components
JP5552092B2 (ja) * 2011-06-13 2014-07-16 日本電信電話株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
WO2013006310A1 (en) * 2011-07-01 2013-01-10 Vidyo, Inc. Loop filter techniques for cross-layer prediction
US20130004071A1 (en) * 2011-07-01 2013-01-03 Chang Yuh-Lin E Image signal processor architecture optimized for low-power, processing flexibility, and user experience
US8923403B2 (en) * 2011-09-29 2014-12-30 Dolby Laboratories Licensing Corporation Dual-layer frame-compatible full-resolution stereoscopic 3D video delivery
US9807403B2 (en) 2011-10-21 2017-10-31 Qualcomm Incorporated Adaptive loop filtering for chroma components
TWI461066B (zh) * 2011-11-03 2014-11-11 Ind Tech Res Inst 彈性調整估算搜尋範圍的移動估算方法及視差估算方法
US9756353B2 (en) 2012-01-09 2017-09-05 Dolby Laboratories Licensing Corporation Hybrid reference picture reconstruction method for single and multiple layered video coding systems
US20130208809A1 (en) * 2012-02-14 2013-08-15 Microsoft Corporation Multi-layer rate control
US9596463B2 (en) * 2012-02-22 2017-03-14 Qualcomm Incorporated Coding of loop filter parameters using a codebook in video coding
CN110035286B (zh) * 2012-07-09 2021-11-12 Vid拓展公司 用于多层视频编码的编解码器架构
US20140086319A1 (en) * 2012-09-25 2014-03-27 Sony Corporation Video coding system with adaptive upsampling and method of operation thereof
EP2901683A1 (en) * 2012-09-28 2015-08-05 VID SCALE, Inc. Adaptive upsampling for multi-layer video coding
US10085017B2 (en) * 2012-11-29 2018-09-25 Advanced Micro Devices, Inc. Bandwidth saving architecture for scalable video coding spatial mode
US20140198846A1 (en) * 2013-01-16 2014-07-17 Qualcomm Incorporated Device and method for scalable coding of video information
WO2014137175A1 (ko) * 2013-03-06 2014-09-12 삼성전자 주식회사 선택적인 노이즈제거 필터링을 이용한 스케일러블 비디오 부호화 방법 및 그 장치, 선택적인 노이즈제거 필터링을 이용한 스케일러블 비디오 복호화 방법 및 그 장치
EP2973225A4 (en) * 2013-03-12 2016-11-16 Tandent Vision Science Inc SELECTIVE PERCEPTIVE MASKING THROUGH SCALE SEPARATION IN SPATIAL AND TEMPORAL DOMAINS USING INTRINSIC IMAGES FOR USE IN DATA COMPRESSION
US20140267916A1 (en) * 2013-03-12 2014-09-18 Tandent Vision Science, Inc. Selective perceptual masking via scale separation in the spatial and temporal domains using intrinsic images for use in data compression
US8897378B2 (en) 2013-03-12 2014-11-25 Tandent Vision Science, Inc. Selective perceptual masking via scale separation in the spatial and temporal domains using intrinsic images for use in data compression
US20140269943A1 (en) * 2013-03-12 2014-09-18 Tandent Vision Science, Inc. Selective perceptual masking via downsampling in the spatial and temporal domains using intrinsic images for use in data compression
US10091419B2 (en) * 2013-06-14 2018-10-02 Qualcomm Incorporated Computer vision application processing
US9648351B2 (en) * 2013-10-24 2017-05-09 Dolby Laboratories Licensing Corporation Error control in multi-stream EDR video codec
US9589206B2 (en) * 2013-12-05 2017-03-07 Hochschule Pforzheim Optimizing an image filter
JP2016005043A (ja) * 2014-06-13 2016-01-12 株式会社リコー 情報処理装置およびプログラム
CN107211128B (zh) 2015-03-10 2021-02-09 苹果公司 自适应色度下采样和色彩空间转换技术
WO2017083784A1 (en) 2015-11-11 2017-05-18 Apple Inc. Adaptive chroma downsampling and color space conversion techniques
GB201607879D0 (en) * 2016-05-05 2016-06-22 Magic Pony Technology Ltd Video encoding using hierarchical algorithms
FR3087309B1 (fr) * 2018-10-12 2021-08-06 Ateme Optimisation d'un sous-echantillonnage intervenant avant le codage d'images en compression
JP7125559B2 (ja) * 2018-12-24 2022-08-24 グーグル エルエルシー ビットレート削減のためのビデオストリーム適応フィルタリング
KR102158007B1 (ko) * 2018-12-24 2020-09-22 서울과학기술대학교 산학협력단 하이브리드망 기반의 영상 전송 시스템 및 방법
US11445222B1 (en) 2019-09-30 2022-09-13 Isize Limited Preprocessing image data
KR20210067783A (ko) 2019-11-29 2021-06-08 삼성전자주식회사 전자 장치, 그 제어 방법 및 시스템
US11252417B2 (en) 2020-01-05 2022-02-15 Size Limited Image data processing
EP3989587A1 (en) 2020-10-21 2022-04-27 Axis AB Image processing device and method of pre-processing images of a video stream before encoding
CN115868157A (zh) 2021-03-02 2023-03-28 京东方科技集团股份有限公司 视频图像去交错方法和视频图像去交错装置
US11917162B2 (en) * 2021-04-30 2024-02-27 Tencent America LLC Content-adaptive online training with feature substitution in neural image compression
EP4171033A1 (en) * 2021-10-20 2023-04-26 Axis AB A method for encoding a video stream

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060268991A1 (en) * 2005-04-11 2006-11-30 Segall Christopher A Method and apparatus for adaptive up-scaling for spatially scalable coding
US20080100748A1 (en) * 2006-10-31 2008-05-01 Sony Deutschland Gmbh Method and device for fast and effective noise reduction
US7499492B1 (en) * 2004-06-28 2009-03-03 On2 Technologies, Inc. Video compression and encoding method
CN101690220A (zh) * 2007-04-25 2010-03-31 Lg电子株式会社 用于解码/编码视频信号的方法和装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5193000A (en) 1991-08-28 1993-03-09 Stereographics Corporation Multiplexing technique for stereoscopic video system
US6963609B2 (en) * 2000-01-12 2005-11-08 Koninklijke Philips Electronics N.V. Image data compression
JP2001245298A (ja) * 2000-03-01 2001-09-07 Nippon Telegr & Teleph Corp <Ntt> 画像符号化装置、画像符号化方法及び画像符号化プログラムを記憶した媒体
EP1631090A1 (en) * 2004-08-31 2006-03-01 Matsushita Electric Industrial Co., Ltd. Moving picture coding apparatus and moving picture decoding apparatus
JP2006180470A (ja) * 2004-11-26 2006-07-06 Canon Inc 画像処理装置及び画像処理方法
US20070110155A1 (en) * 2005-11-15 2007-05-17 Sung Chih-Ta S Method and apparatus of high efficiency image and video compression and display
US8023569B2 (en) * 2005-12-15 2011-09-20 Sharp Laboratories Of America, Inc. Methods and systems for block-based residual upsampling
US20070160134A1 (en) * 2006-01-10 2007-07-12 Segall Christopher A Methods and Systems for Filter Characterization
US7881552B1 (en) * 2006-05-16 2011-02-01 Adobe Systems Incorporated Anti-flicker filter
US20080095235A1 (en) * 2006-10-20 2008-04-24 Motorola, Inc. Method and apparatus for intra-frame spatial scalable video coding
JP2008109247A (ja) * 2006-10-24 2008-05-08 Matsushita Electric Ind Co Ltd ビデオ・ノイズをフィルタリングする方法、装置、集積回路およびエンコーダ
WO2008051517A2 (en) * 2006-10-25 2008-05-02 Thomson Licensing Methods and apparatus for efficient first-pass encoding in a multi-pass encoder
MX2009006404A (es) * 2006-12-18 2009-06-23 Koninkl Philips Electronics Nv Compresion y descompresion de imagen.
US8238424B2 (en) * 2007-02-09 2012-08-07 Microsoft Corporation Complexity-based adaptive preprocessing for multiple-pass video compression
JP4709189B2 (ja) * 2007-07-23 2011-06-22 日本電信電話株式会社 スケーラブル動画像符号化方法，スケーラブル動画像符号化装置，およびそのプログラムとそれを記録したコンピュータ読み取り可能な記録媒体
CN102804785A (zh) * 2009-04-13 2012-11-28 瑞尔D股份有限公司 编码、解码和发布增强分辨率的立体视频

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7499492B1 (en) * 2004-06-28 2009-03-03 On2 Technologies, Inc. Video compression and encoding method
US20060268991A1 (en) * 2005-04-11 2006-11-30 Segall Christopher A Method and apparatus for adaptive up-scaling for spatially scalable coding
US20080100748A1 (en) * 2006-10-31 2008-05-01 Sony Deutschland Gmbh Method and device for fast and effective noise reduction
CN101690220A (zh) * 2007-04-25 2010-03-31 Lg电子株式会社 用于解码/编码视频信号的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RANGARAJ M. RANGAYYAN，ARUP DAS: "Filtering multiplicative noise in images using adaptive region-based statistics", 《JOURNAL OF ELECTRONIC IMAGING》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113597762A (zh) * 2019-03-25 2021-11-02 高通股份有限公司 视频译码中具有非线性自适应环路滤波器的固定滤波器

Also Published As

Publication number Publication date
JP2012231526A (ja) 2012-11-22
DK2663076T3 (en) 2016-12-05
EP2663076A2 (en) 2013-11-13
WO2010123855A1 (en) 2010-10-28
HK1214440A1 (zh) 2016-07-22
EP2422521B1 (en) 2013-07-03
EP2663076B1 (en) 2016-09-14
CN102450009A (zh) 2012-05-09
US20120033040A1 (en) 2012-02-09
JP2012521734A (ja) 2012-09-13
EP2422521A1 (en) 2012-02-29
CN102450009B (zh) 2015-07-22
JP5364820B2 (ja) 2013-12-11
ES2602326T3 (es) 2017-02-20
JP5044057B2 (ja) 2012-10-10
EP2663076A3 (en) 2014-03-05

Similar Documents

Publication Publication Date Title
CN104954789A (zh) 在视频应用中用于视频预处理的滤波器选择
RU2518435C2 (ru) Оптимизация кодера в системах доставки стереоскопического видео
KR101545005B1 (ko) 이미지 압축 및 압축해제
KR100772882B1 (ko) 인트라 ｂｌ 모드를 고려한 디블록 필터링 강도 결정 방법, 및 장치
EP2532162B1 (en) Filtering for image and video enhancement using asymmetric samples
CN101385346B (zh) 解决局部亮度变化的视频编码设备和方法
WO2009033152A2 (en) Real-time video coding/decoding
JP2011528889A5 (zh)
TW201946456A (zh) 畫像編碼裝置、畫像解碼裝置、畫像編碼方法、畫像解碼方法及記憶媒體
MX2013003871A (es) Metodo y aparato para escalabilidad espacial para hevc.
US20170180743A1 (en) Scalable video coding with enhanced base layer
CN117730338A (zh) 视频超分辨网络及视频超分辨、编解码处理方法、装置
Babel et al. Interleaved S+ P pyramidal decomposition with refined prediction model
KR101529903B1 (ko) 블록기반 깊이정보 맵의 코딩 방법과 장치, 및 이를 이용한 3차원 비디오 코딩 방법
Stepanov et al. Compression of light fields
KR102111437B1 (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
KR101934840B1 (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
Tanaka et al. Direction scalability of adaptive directional wavelet transform: An approach using block-lifting based DCT and SPIHT

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1214440

Country of ref document: HK

WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150930

WD01 Invention patent application deemed withdrawn after publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1214440

Country of ref document: HK