CN105493497A

CN105493497A - 用于流送环境中的高效视频处理的方法和处理器

Info

Publication number: CN105493497A
Application number: CN201480048293.9A
Authority: CN
Inventors: R·范贝勒
Original assignee: Bako SA
Current assignee: Bako SA
Priority date: 2013-07-01
Filing date: 2014-07-01
Publication date: 2016-04-13
Anticipated expiration: 2034-07-01
Also published as: WO2015000919A3; GB2516221A; EP3017594A2; EP3017594B1; CN105493497B; US20160295158A1; EP3017594C0; GB201311753D0; US10848708B2; WO2015000919A2

Abstract

本发明提供了以高效率和/或低等待时间方式进行视频处理且适用于流送环境的方法。因此，本发明涉及用于视频处理的系统、视频图像处理器、或通过对输入图像执行处理来生成输出图像的方法，其中该处理的特征在于，它达成多个第一单元图像处理步骤的效果，该方法包括对所述输入图像顺序地执行一个或多个第二图像处理滤波步骤以生成所述输出图像的步骤，其中至少一个所述第二图像处理滤波步骤达成至少两个、三个、四个、或五个所述第一图像处理步骤的效果。

Description

用于流送环境中的高效视频处理的方法和处理器

发明领域

本发明涉及用在视频处理领域中的系统、方法和视频处理器以及用于执行这些方法或实现这些视频处理器的软件和用于存储该软件的信号存储介质。

背景技术

视频处理领域中已知的处理链可包括以下构建块中的一些或全部。

因人类视觉感知的本质之故，对许多视频源执行色度子采样。人类视觉系统在亮度通道中所能解析的细节要比色度通道细微得多。在视频信号的传输期间，色度子采样技术经常被使用，因为它显著减少了数据量而同时几乎保留了完整的感知图像质量。尽管诸具体形式的色度子采样技术最初已在不同的电视标准中被引入以减少电视频道所要求的模拟频带宽度，但是如今许多高端数字系统仍对中间数据传输使用色度子采样，因为它在几乎没有视觉质量损失的情况下使成本最优化。由于人类视觉系统包含3种类型的光受体，其导致最终感知3原色红、绿和蓝，所以需要由3个单独的分量来代表人类可感知的颜色，如在图4中由人类视锥细胞的归一化响应谱所解说的(其中，蓝分量标为“S”并且由虚线表示，绿分量标为“M”并且由实线表示，并且红分量由点虚线表示并标为“L”)。许多影像源使用RGB矩阵来表示每图元(像素)的数据。所生成、捕捉、传送或显示的R、G和B值根据(通常固定的)定律来表示每通道的亮度值。此“定律”可以是红、绿和蓝光子量的线性表示，但通常使用感知上更高效的编码方法，其通常称为伽马(γ)率并且更一般地被描述为光电传递函数。其典型示例是sRGB标准，如在图5中的sRGB强度对sRGB数字整数数值(下方的点线曲线)的标绘、以及此函数在log-log空间中的斜率(其为每一点处的有效γ)(上方的实线曲线)中所解说的。在0.04045的经压缩值或0.00313的线性强度以下，该曲线是线性的，从而γ为1。在下方的点曲线后画了黑色虚线曲线，其示出严格的γ＝2.2幂率。所有可能的非线性颜色分量编码的完整讨论在本文范围之外。当R’、G’和B’值由(3x3)矩阵算子转换成例如Y’、Cb’和Cr’分量(如由以下公式(在式1中)针对8位Y’Cb’Cr’值所解说的)时：

Y′＝16+(65.481.R′+128.553·G′+24.966·B′)

C_B＝128+(-37.707·R′-74.203·G′+112.0·B′)

C_R＝128+(112.0·R′-93.786·G′-18.214·B′)

式1从RGB’到YCbCr’的ITU-RBT.601电视标准转换

以上式1中的该组公式对于ITU-RBT.601电视标准转换是有效的。注意到Y’值代表亮度通道，并且Cb’和Cr’通道是代表色度的两个分量。由于之前描述的非线性编码之故，这与视觉亮度和色度是不一样的。实现色度子采样的最常用的办法是为亮度通道保持所有采样并且因此为其保持全带宽。亮度由每像素1个采样来表示。典型的高端装置以2为因子来对色度通道进行子采样。所获得的色度通道交替地为其中半数的像素代表Cr’并且为另半数代表Cb’，从而每个像素对在实效上由2个亮度值(1个Cr’值和1个Cb’值)来表示。这样的色度子采样方案通常被称为4:2:2子采样。尽管许多其他子采样方案(诸如4:2:0、4:1:1、贝尔图案马赛克等)已被提出并实现在多种标准中，但是本文的目的并不是要覆盖所有色度子采样标准的完整讨论。不同的色度子采样方案通过每色度分量应用不同的整体大小调整因子组合来得到支持。为了每源像素检索全部3个颜色分量，往往必须以2的幂来执行色度升采样。在绝大多数情形中，这被实现为简单的FIR(有限冲激响应)滤波器，但是存在更高级的实现，其包括使用统计滤波器。许多现有技术系统使用具有大量滤波器抽头的繁复的FIR滤波器，这意味着每个检索到的色度采样是从许多(例如，48)个收到采样来计算出的。此类所谓的数学卷积过程的结果试图将缺失的色度采样从非缺失的周围采样值重构出来。当以此方式来实现时，该色度升采样过程必须被视为每颜色分量调整图像大小的特例，其中所谓的比例因子是整数，如2(当例如将4:2:2转换成4:4:4时，见后)。图6中示出的方案解说了横向卷积如何能由FIR滤波器来执行。图6中的方案并不包含在该处理内使信息管线化，但延迟线除外，延迟线是卷积滤波器的本质所要求的。此5阶离散时间FIR滤波器执行横向维度上的卷积。顶部是具有7个(6个+1个)抽头的6级延迟线。每个单位延迟是Z-变换记法中的Z^-1算子。每个抽头由对应的系数b₀到b₆来加权。以x[n]记的源子像素的加权和在输出y[n]处提供了缺失的色度值。注意到，图6中的上述电路并不代表经优化实现，而是一般表示。为了保留诸输入信号频率之间的相位关系，优选对色度升采样有对称的滤波器系数。这样的一组系数在图7中解说。图7中的上述电路表示经常使用的色度升采样滤波器的实践示例，其中这些滤波器系数是对称三次卷积公式针对缺失子像素采样的位置求解所得的结果。输入x[n]在上述电路中被过采样。在任何时钟循环，在该多级延迟线内的半数采样值为零。这意味着在此示例中，该滤波器的输出可被交替地描述为：

-输入值的副本：FIR系数为0，1，0

-在该输出采样率的一半速率(具有Z^-2个抽头)的具有以下系数的FIR滤波器：-0.125,0.625,0.625,-0.125

在绝大多数实现中，上述过采样电路被分路成并行的2个流，而不是作为交变的时间顺序过程。这在图8中解说。作为数字信号处理中最“昂贵”的操作的是乘法器算子，在此用于对每个抽头应用“权重”，通常希望通过将相等地加权的抽头或者权重相差2的幂(因为这要求将这些值移位后再求和，其在硬件实现的情形中不要求资源，或者在软件实现的情形中仅要求简单的移位指令)的抽头编群来利用滤波器的对称性。这种利用冲激响应的对称性属性的DSP效率优化步骤在图9中解说。如在图9中可注意到的，实现了仅2个乘法算子，藉此大大地增进了实现效率。注意，在此示例中，1个信号被衰减8次并且倒相(以系数-0.125)，这在实践实现中能被优化为移位操作。移位算子需要软件处理器所作的计算操作是微乎其微的，并且当在FPGA器件中实现时甚至完全不需要硬件，例如，因为它必须被视为将这些位重新布线。尽管在本发明的诸实施例中能够使用任何合适的计算技术，但是此类技术随本发明的范围被包括，即，所有可能的计算优化技术。

对于任何的任意性的抽头数目，进一步的优化技术是有实现可能的。将要求在14级延迟线中的14个Z^-1元件的15抽头色度升采样滤波器能仅用在7级延迟线中的7个Z^-2元件来实现，并且由于对称性操作，其仅要求4个乘法运算。图10解说了用于此类15抽头色度升采样滤波器的电路。该方案中诸系数(或即像素抽头权重)的总和等于1，因为每个系数被应用于2个输入像素值。上述方案中这些值的总和＝0.603-0.128+0.028–0.003＝0.5。每个系数被应用两次，从而在应用对称性之后该总和在实效上变为1。那指示了上述FIR滤波器被归一化。该色度升采样FIR滤波器对DC信号或甚低频率没有影响。当此滤波器被实现为具有单输入和单输出的过采样滤波器时，结果所得的非经优化等效电路在图11中解说。注意，图11中的诸系数的总和变为2，正如过采样所要求的：输出信号应在该信号中反映相同能量，但每色度分量具有两倍那样多的采样。半数的输出采样与输入采样对齐，而另半数由应用与上述方案之一等效的卷积过程的滤波器来内插。绝大多数视频标准使用所谓的交隔式色度子采样技术，这意味着色度子采样交替地选择这2个色度分量(例如，Cb或Cr)之一。例如，给奇数像素列的Cb值可被拒绝而给偶数像素列的Cr值被拒绝。用于此类视频标准的色度升采样滤波器布置在图12中解说。此电路中的X-开关每像素周期翻转，以对这2个色度流中的每一者，将复制的色度采样与内插出的采样(其在输入色度流中是缺失的)相互编织在一起。

交织式视频是将感知到的帧率加倍而不使线步调加倍(不要求额外带宽)而又保留纵向解析度的技术。交织式信号包含视频帧的两个所谓“半帧(field)”，其通常甚至是在两个不同时间被捕捉的(在这种情形中，它给观看者增强了运动感知)，每个半帧仅包含交替的半数的线。惯例基于每个半帧内的对应线来称这些半帧为“偶”和“奇”半帧。眼睛看到虚拟加倍的刷新率，其通过利用视觉暂留效应减少了闪烁。这结果导致与非交织式连续镜头相比(对于帧率等于半帧率而言)，时间解析度(也称为时间分辨率)的有效加倍。一些显示技术诸如CRT或等离子体显示器天生能处置交织式视频格式，但在此类源能被显示在LCD或DLP显示器上之前，必须执行解交织的过程。

解交织是用于恢复缺失线的技术，并且由此该过程在被分开地执行时在实效上使线频和对应的所要求带宽加倍。重要的是要注意到，解交织应当被运动适应性地执行以获得良好的图像质量。这些缺失线能基于来自先前诸半帧的对应线来恢复，但这种类型的半帧编织要求静态影像。存在高级算法来找到当前半帧中的缺失数据与接下来的或在前的半帧中的数据之间的最佳可能匹配区域，这通常是基于某种形式的相关(correlation)衡量或递归块匹配技术。所有这些方法共有相同的目标：知晓(缺失的)数据来自何方和/或其去向何方。通常此类分析的结果被称为“运动矢量”。一旦运动矢量被确定，将来的和/或过去的半帧就能使用高级的多相滤波技术来被有效地归位，这在实效上将连续运动的境况转换成相同的静态境况，在此半帧编织能被使用。此技术通常被称为“运动补偿”。本文的目的不是要讨论所有已知的能增强图像质量的运动检测算法，有时在非常特定的境况中，也不是要讨论对场景检测电路的需要(当当前半帧与先前半帧完全不相关时)。在不考虑运动检测电路系统的复杂性以及将连续运动转换成静态图像(至少在该图像内的感兴趣区域(AOI)内转换)的能力的情况下，解交织电路可由图13中的简化电路来表示。该方案包含4个功能块，尽管这些功能块在实践实现中并非必须被严格照字面分开。然而，要获得运动适应性解交织，这4个功能中的每一者的等效功能性是必需的。FW块执行从先前半帧、接下来的半帧对相应的缺失线的时间插入，或从多个半帧对相应的缺失线的某种(适应性)组合或选择。FW块完全不执行任何空间卷积过程。在绝大多数情形中，其可被视为对现存数据的纯重复或复制。因此，其可被视为空间卷积的特例：单位变换，其为其中除一个系数(在此情形中为中心线，其具有等于1的系数)以外所有系数均为零的卷积滤波器的等效。有时，在插入来自接下来的半帧的数据还是来自在前的半帧的数据之间的选择是由统计阶数滤波器来适应性地执行的，然而这并不改变以下事实：FW块能被视为垂直单位卷积。IFI块总是执行某种形式的空间卷积滤波。这可以是简单的固定纵向FIR滤波器，诸如在以下式2中的那样。

Y[n]＝-0.125*X[n-3]+0.625*X[n-1]+0.625*X[n+1]-0.125*X[n+3]

式2基于标准类型的三次卷积的可能滤波器系数的示例

其中Y[n]为特定列的第N条线(其在当前半帧中缺失)的滤波器输出，并且X[n-3]到X[n+3]是相同的特定列的周围源线(存在于当前半帧中)内的像素的值。式2中的滤波器系数基于三次卷积并且在此仅用于解说目的。这在图14中解说。在此使用与先前针对色度升采样电路所描述的相同的优化技术。注意，Z-维代表纵向图像维度。Z变换对于色度升采样而言代表图像线而非列：单个Z^-2块因此代表2个视频线延迟并且消耗相应密度的存储器存储空间。许多解交织算法基于最佳相关方向来适配纵向卷积以便“沿着”对象边界的边缘。纵向卷积的方向可以与这2个调整大小的维度的常规正交对齐不同。通常术语适应性对角滤波被用来描述此技术。此技术执行视频数据的数个(至少两个)相继线内的自相关衡量的等效。此适应性对角滤波方法的简单示例通过执行以下步骤来获得：

1)计算在当前缺失线之上的那条线在当前横向位置(x)移位达偏移量(dx)处的信息与在当前缺失线之下的那条线在当前横向位置(x)移位达反向偏移(-dx)处的信息的相关值(或足够良好的等效)。相关值也可藉由递归块匹配技术基于例如绝对差的(加权)和来逼近。

2)找到对于所有dx值而言最大的相关值：Bdx。dx(每像素的子像素量)的准确性以及dx的范围被选取成在成本与性能之间达成最佳权衡。当dx的准确性得以增进时，图像细节的参差性被减少，但是要执行的计算量增加了。当dx的扫掠范围增大时，对角滤波器的有向适应性得以改善，从而致使接近于横向的对象边缘被更正确地恢复。

3)捕捉(或重新采样)由藉由在前步骤获得的最佳dx值所指示的最佳相关视频数据，并且将相应值应用于与在没有适应性对角滤波的情况下本将使用的相同的纵向卷积滤波器。在此简单情形中，第一输入等于在当前缺失线之上的该条线内在位置x+Bdx处的(经重新采样的)值，而第二输入等于在当前缺失线之下的该条线内在位置x–Bdx处的(经重新采样的)值。

4)应用常规(纵向)卷积滤波器。在滤波器使用仅2条线并且能如式3中被写入的此简化情形中：

Y[n,x]＝0.5*X[n-1,x+Bdx]+0.5*X[n+1,x–Bdx]

式3在半帧内使用的线性内插

在此Y[n,x]是特定列(x)的第N条线(其在当前半帧中缺失)的滤波器输出，而X[n-1,x+最佳dx]和X[n-1,x–最佳dx]是周围源线(存在于当前半帧中)内在由最佳相关值获得的列位置处的(子)像素值的(经重新采样的)值。类似地，适应性对角三次滤波的解可被写为如下式4中的样子：

Y[n,x]＝-0.125*X[n-3,x+3*Bdx]+0.625*X[n-1,x+Bdx]+0.625*X[n+1,x-Bdx]–0.125*X[n+3,x–3*Bdx]

式4在半帧内使用的适应性对角三次滤波

重要的是要注意到，对于卷积算子的此类经适配方向也适用于调整大小过程，因为这指示了当前发明也能与此类技术联用。MAI块执行先前描述的两个块的输出之间的内插：FW(半帧编织)和IFI(帧内内插)。内插系数取决于从MD(运动检测)块(见后)接收到的输出。对于特定量的运动，MAI块再次可被视为2抽头卷积过程。此考量引向考虑FW、IFI和MAI块的组合时的重要结论。因为FW和IFI块是对相同输入数据并行执行的卷积，并且因为它们的结果由MAI卷积过程来内插，所以隔行输入与逐行输出之间的整个纲要在数学上再次是(更为复杂的)卷积。此单个运动适应性卷积过程可由图15中的方案来解说。图15中的电路包含以下信号：

-x[2n+1]表示来自在前(或任何周围)半帧的匹配于当前缺失线的匹配线。

-x[2n]表示来自当前半帧的线。

-y_FW[2n+1]是由半帧编织过程恢复出的当前视频线。

-y_IFI[2n+1]是由半帧内内插过程计算出的当前视频线。

-y_MAI[2n+1]是基于半帧内内插与半帧编织过程之间的内插来适应性地恢复出的当前视频线运动。

当分析图15中的电路时，最终输出唯一性地取决于卷积过程这一点就变得很清楚了，因为它是如图16中的电路所解说的加权输入抽头的线性组合。以上在图15和16中描述的这2个电路彼此等效。要执行解交织过程要求简单的纵向卷积FIR滤波器，尽管FIR系数是由运动检测器所提供的MD值来调制的。注意，这些系数总是经归一化的而不管运动量如何，这是为了不要变更局部恒定的颜色，如DC电平，并且低频不受影响地通过该电路。MD块通过生成表示由该块内的电路所检测到的运动量的值来控制上述内插过程。讨论运动检测块的所有细节和可能性并不重要。一般而言，运动检测电路必须基于来自至少2个不同的半帧或帧的信息来计算每像素位置或每区域的时间差。它必须包含某种滤波来将运动与噪声分开，以及包含某种(软)阈值算子来确定何时在该视频数据中有“足够的”运动。运动检测器实现得越好，整体图像质量就变得越好。绝大多数运动检测算法包含一组(自动优化的)参数并且最佳设置(任选地通过训练或信号表征来获得)可取决于视频源和素材。

在本文的范围之内，调整大小过程可被视为2个卷积滤波器：一个在横向维度上，一个在纵向维度上。注意，不是所有调整大小算法或二维卷积算子都是可分开的。例如，二维高斯滤波器是可分开的，但是二维高斯差分(所谓的DOG)并非如此。然而，绝大多数调整大小方法使用可分开的卷积重新采样公式，以便在使用正交对齐的采样格栅时与所谓的奈奎斯特重新采样准则相符，正如数字(视频)图像中的绝大多数像素格栅的情形。流行的可分开调整大小算法包括双线性内插、表面映射、所有类型的三次卷积(包括流行的Catmull-Rom样条、Lanczos3以及其他加窗的sinc滤波器。所有上述算法可被实现为多相FIR滤波器。标准FIR滤波器与多相FIR滤波器之间的差别顾名思义是该滤波器所能解析的相位量。标准FIR滤波器包含单组系数，因为输出采样与输入采样具有固定相位关系。对于如前所述的解交织和色度子采样处理块而言便是这种情形。与之形成对比的是，多相滤波器应用相同类型的卷积滤波，但是针对可变的输出采样位置。要实现此类型的滤波器的电路非常类似于标准单相FIR实现，但有一个重要的差别：定义该卷积的冲激响应的系数(或即权重)由输出采样位置调制。对于其中IR系数是输出图像内的输出像素列的函数的横向调整大小滤波器便是这种情形。这在图17中针对8抽头多相滤波器进行了解说。注意，图17中的输入和输出信号由分别的索引值(n_i和n_o)来指示，因为对于输入和输出而言，由于缩放和调整大小过程之故，采样的量并且因此采样的步调是不同的。这8个滤波器抽头中的每一者从其相应的函数F₀(p)–F₇(p)获得独立权重，其中p代表重新采样相位。此重新采样相位通常被生成为经归一化(范围从0–1)子像素定位量度。当p具有接近于0的值时，输出像素(的中心)位于靠近其左边的输入像素之处。当p具有接近于1的值时，输出像素(的中心)位于靠近其右边的输入像素之处。类似地，纵向调整大小滤波器系数是输出图像内的输出像素线位置的函数。因为每个输出列索引对应于特定的子列位置或相位(p)，所以能够选择也直接从输出列索引F₀(ci)–F₇(ci)来计算函数F₀(p)–F₇(p)。类似地，因为每个输出线索引对应于特定的子线位置(同样称为相位(p))，所以又一次地，能够选择也直接从输出线索引F₀(li)–F₇(li)来计算函数F₀(p)–F₇(p)。对于给定的调整大小过程，这些权重函数是固定的，这允许通常复杂的函数被预先计算并存储在LUT(查找表)中。是优选应用(列或行)位置索引还是相位来为LUT内的每个抽头寻址相应函数结果可取决于质量方面和可用信号。自然，本发明的可应用性独立于此选择。出于便利性原因，本文中描述的电路将包含如图18中解说的每输出(子)像素的相位信号或值(p)，尽管从列和线索引进行直接LUT寻址也同样有效。输出像素在源像素x[n_i]之间的子像素定位y[n_o]取决于相位信号p。每个输出像素具有相应的相位p[n_o]，其可以用任何的任意性精度来计算，这取决于质量和计算成本要求。在许多实践实现中，字节代表该相位信号，藉此以源像素的1/256的精度来定义该相位。此类选择允许以高质量将图像放大到256倍而每个输出像素将维持唯一性位置。LUT内容取决于为该滤波器所选取的冲激响应。这些地址表示输出像素的子源像素定位而这6个堆叠的数据分区代表每源像素的权重。图18中的电路是6抽头多相滤波器，其适合用于例如实现旨在进行高质量放大的流行的Lanczos3大小调整。Lanczos3算法是一类加窗的sinc滤波器，其中该窗本身由另一sinc来定义，但具有比重新采样sinc低三倍的频率。当在这3个加窗的sinc瓣之上考虑对称性时，Lanczos3算法因此要求6个抽头。如在现有技术图像处理链中发现的一些流行的处理块组合在表1中列出。

示例	色度升采样	解交织	调整大小
				1	线性内插(2抽头)	线性内插(2抽头)	线性内插(2抽头)
2	Catmull-Rom样条(4抽头)	三次卷积(4抽头)	三次卷积(4抽头)
				3	加Hann窗的sinc(8抽头)	Lanczos2(4抽头)	Lanczos3(6抽头)
4	加汉明窗的sinc(24抽头)	加Blackman窗的sinc(8抽头)	加Hann窗的sinc(12抽头)

表1一些实践的现有技术图像处理链组合

高质量的图像处理链应当保留尽可能多的原始源细节而不引入赝像，诸如混叠或波纹。它应当对静止图像以及运动影像都性能良好。用当前现有技术处理链所能获得的最佳可能质量是受限的，不是受诸个体块的有限质量所限，而是受它们的组合所限。

现在讨论缺失分组重构，尤其是在流送环境中的重构。即使在维度得宜的流送环境中，要完全消除分组丢失的风险也是不可能的。当使用实时传输协议(诸如RTP)时，典型的网络分组具有约1200字节，通常在800与1500的范围中，这取决于视频源标准和可用网络带宽(潜在可能为该特定视频流保留)。因此，在具有4:4:4颜色编码的RGB视频源的情形中，典型的RPT分组对应于约400个像素。在按常规扫描的图像源有分组丢失的情况下，从左上到右下，具有约400个像素列的横向线的视频数据缺失。在没有特别注意的情况下，分组丢失事件引起我们称之为“发丝”的视觉扰动。在常规的图像处理链中，分组丢失事件通常是由分组丢失滤波器来处置的。在健康网络环境中，可将此滤波器保持为如将来自在缺失分组之上的线的源像素复制在缺失的“发丝”区域中来对其进行纯重复那样简单。一般而言，“发丝”中的缺失像素使用卷积滤波器(如由图19中的7抽头滤波器电路所解说)来从周围线进行重构。图19中以上提及的电路中的Z^-1块表示纵向方向上的单位延迟。这些线延迟之间的中心抽头代表当前正被评价的线。在有分组丢失事件的情形中，被激活的PLE值变为1，并且卷积滤波器中的系数对应于该图中的公式。在PLE的情形中，当前评估的线内的缺失像素从在上下各3行内的相应横向像素位置来重构。在没有检测到PLE的情形中，由中心抽头表示的原始像素仅简单地通过该滤波器。尽管此滤波器设计可能能够处置绝大多数分组丢失事件，但是它在所实现的纵向核内有具有交叠的对应横向位置的至少一个附加分组丢失的情形中不能重构缺失分组。此风险能通过实现尽可能小的滤波器来被最小化，代价是较低的重构质量，因为较低数目的滤波器抽头更有可能产生重构赝像并且因此可能在影像中产生潜在可视的扰动。无论丢失的分组在图像内的空间近程性如何均能从分组丢失恢复出视频数据的改进解决方案在图20中解说。在此再次地，这些Z^-1块表示线延迟。这些线延迟之间的中心抽头代表当前正被评价的线。在诸分组丢失事件的组合影响当前正被评价的像素列的情形中，对应于受影响的线的PLE值变为1。在计算新的输出像素之前，首先，该卷积滤波器核内的诸分组丢失事件被评价以求取当前横向像素位置。在此示例内，卷积核使用7个抽头，即上下各三条线，含当前线。结果是PLE[-3..+3]总线值，其每输出列地指示当前被评价的像素列内的7个像素值中的哪些是有效的并且哪些像素是缺失分组的部分。对于对应于丢失的分组的无效像素的每个组合p，卷积滤波器的最优的一组系数被计算并存储在查找表(LUT)中。以此方式，上述电路提供了对于丢失的相邻分组的任何组合p均以最恰适的方式来恢复缺失像素的最优灵活性。显然，一旦数学重构公式被固定，该电路就可被进一步优化以减少资源量。针对大型滤波器核的另一潜在优化可以是从LUT地址总线中消除当前被评价的线PLE[0]的分组丢失事件并且代之以仅简单地在PLE[0]不活跃时旁路掉该滤波器。此优化将LUT所要求的密度减半。

第二，提供了假定现有技术链的质量议题的一些洞察。无论图像大小调整的质量如何，该多相滤波器过程均将藉其本质而总是减少某些高频。具有特定采样率或像素时钟的视频源可包含最多达采样频率一半的信息。点开点关(dodo)图案可被视为以临界采样频率从正弦波取得的一组采样。每当图像被(即使只是略微地)调整大小，该dodo图案在一些区域中就完全消失，而它在其他区域中则100％保留，这是通常称为拍频图案或荡漾的现象。此效应在图47中演示。图47中在100％和0％处的打阴影的方块标记物示出包含dodo图案的原始采样。这些采样在100％(目前视为白色)与0％(目前视为黑色)之间交替。源图像中的该dodo图案(由链接在100％与0％处的方块点的点线表示)是被临界采样的，这意味着表示该图像图案的采样量等于根据所谓奈奎斯特准则的绝对最小值。实心方块点标记物示出经重新采样的dodo图案(值一般不在100％和0％)，但具有略低的采样频率。这等效于略微减小原始图像的大小。经重新采样的实线示出能从这些新采样重构的信号。此重构出的函数示出非常明显的拍频图案。图47中的一些区域示出接近于原始振幅的100％的其余调制深度而一些则逼近0％。对接近于重新采样时钟频率一半的频率的平均调制被降低达50％。可发现这是明显的，因为原始图像在大小上被略微减小，因此必然有一些信息减少。然而，当分析略微的图像放大的境况时，此直觉的解释表明是不充分的，如图48中所指示的，图48具有与图47中的点和线相同的含义。尽管新的序列包含的采样比原始源图像多，但是再一次地，最高频率在一些区域中丢失了，这类似于并且甚至严格等同于图47中所发生的情况。在实践中，每线有1920个像素的图像被重新采样到每线有1921个像素还是每线有1919个像素并没有什么差别。拍频图案(其振幅和其频率两者)是严格相同的。这是重要的结论，因为其后果暗示无论使用什么重新采样卷积算法，在此过程中总是会涉及一些固有的数据损失。顺序地将两个滤波器应用于信号将引入此效应两次，即使用最佳的现有技术图像处理块亦是如此。理论上，当升采样重构滤波器包含具有数千个滤波器抽头的(近乎)完全的sinc响应时，图48的拍频图案能在进一步的处理被应用于该信号之前被移除。然而，当dodo图案在正确的输出像素位置被重新采样以便以略微高些的解析度来显示时，没有什么途径能在没有附加锐度损失的情况下避免拍频图案，即使使用1000抽头的重新采样滤波器亦是如此。严格位于白和黑源像素半途的显示像素必然变为灰色。无论是通过预处理源数据还是通过降低由多相滤波器的冲激响应决定的截止频率，应用抗混叠滤波器均能以甚至更多的锐度损失来移除扰动的拍频图案：对原始dodo图案的调制必须被降低到0％而非如上所述地平均50％。至此，已澄清了当数个处理步骤被顺序执行时，临界采样频率将总是被衰减。级联的数个FIR电路对极端频率的衰减将因此总是比单个FIR更多。然而，这并未解释在其他(较低)频率处发生了什么。将在数个示例中演示，在高频处(但非被临界采样)的其余调制取决于滤波器质量。图49(与图47中的点和线含义相同)解说了对于具有临界频率的仅一半的源信号(从而该信号具有为采样频率四分之一的频率)将会发生什么。

第三，示出了一些重新采样滤波器示例。显然，图49中应用的重新采样算法和重构滤波器不是最优的。对原始源信号(具有空心方块的实线)的函数重构(具有实心黑色方块的虚线)基于标准Catmull-Rom样条算法。如上，图49表明输出信号中的其余平均调制是在88％与100％之间某处。通过计算Catmull-Rom样条的傅立叶变换，就能实际上对奈奎斯特频率的一半获得94％的衰减。Catmull-Rom样条是三次卷积的特例，并且其冲激响应由以下式5中的公式来决定。

式5Catmull-Rom样条的冲激响应

式5中的冲激响应是由数个小段或即“样条”来决定的，每个小段或即“样条”具有其自己的公式。该响应被定义为对sinc函数的2个瓣的逼近。由于对称性(如由范围中的|x|所指示的)，此冲激响应实际上使用4个相继源采样值来执行三阶内插：在此情形中，三阶公式由2个抛物线之间的线性内插来构造，第一个抛物线是互连头3个采样的曲线，第二个抛物线是互连末3个采样的曲线。结果所得的冲激响应的正的一半由图52中的虚线曲线来视觉化。另一流行的卷积滤波器是Lanczos3，其为一类加窗的sinc滤波器。冲激响应由图50中的实线来视觉化。Lanczos3冲激响应由式6来定义。

式6Lanczos3加窗的sinc卷积滤波器的冲激响应

由于较宽的范围(0<＝|x|<3)以及对称性(如再一次地由范围中的|x|所指示的)，此冲激响应实际上使用6个相继源采样值来执行内插。因此，Lanczos3滤波器是对理想重构滤波器、sinc函数(其要求无限数目的源像素来计算目标像素位置处的单个新的输出像素)的较佳逼近。由于Lanczos3卷积要求6个滤波器抽头(与要求仅4个滤波器抽头的Catmull-Rom样条相比)，因此此类滤波器应提供更好的图像质量。

第四，讨论对用于执行滤波器质量分析的度量的需要的标识。滤波器性能的一重要方面是尽可能保留在原始源信号中存在的任何调制的能力。此能力能通过查看对应于FIR的冲激响应的傅立叶变换来分析：所谓的调制传递函数或即MTF，如在图51中所解说的。纵轴中的标记物指示由该滤波器所执行的衰减或增益值。当原始输入信号对于给定频率(在横轴上)包含100％调制时，该值对应于输出信号中的其余调制深度。对数式标绘的横轴中的标记物指示与奈奎斯特频率比对的2的幂。0值对应于由输出采样频率决定的奈奎斯特频率，其在实效上等效于期望的截止频率。值-1对应于期望截止频率的一半，-2指示比截止频率低两个倍频程的频率。在此频率范围中，源信号中的调制应理想地通过滤波器，结果得到目标MTF值1。低于1的值必须被视为锐度损失。高于1的值有时可以是可接收的，并且能通过强化细节来在感知上增强图像，尽管此类效应对于显示设备未知或不固定的通用应用是不合期望的。值1对应于期望截止频率的两倍，2指示比截止频率高两个倍频程的频率。在此频率范围中，源信号中的调制应理想地被滤波器完全阻挡，结果得到目标MTF值0。不同于0的值引起混叠赝像，这趋于引起扰动的可视Moiré或干扰图案，因为这些不合期望的频率绕奈奎斯特频率被镜像。如可注意到的，当分析图51时，该6抽头Lanczos3加窗的sinc卷积(实线)与4抽头CatmullRom样条(虚线)相比而言提供从通带到阻带的陡峭得多的过渡。因此，在此情形中看似显然的是，当比较这两个示例时，Lanczos3滤波器与Catmull-Rom样条技术相比而言将提供整体较佳的图像质量并具有较少可视赝像以及对细微细节较佳的保留。遗憾的是，评价滤波器质量并不总是那么显然。事实上，最优滤波器响应可取决于多个参数：

-观看距离和显示解析度(人眼所见的像素大小)

-感知到的图像对比度(受显示器和环境影响)

-输入源标准(标清或高清视频源或计算机图形)及其相应的后滤波规范

-应用(观察者在观望什么？)

-图像内容

本发明的实施例可利用任何合适的滤波操作并且并非所有影响感知图像质量(如受滤波操作诸如调整大小的影响)的方面都将被描述。许多高级质量分析度量已被提议，它们被包括在本发明的实施例内，诸如结构相似性度量(SSIM)，但在此本讨论将被限制于客观滤波器规范顺应性分析，以作为此类滤波操作的示例。为了解说卷积滤波器的非平凡质量方面，我们考虑三次卷积的特例，其称为Rifman卷积。其冲激响应由以下式7中的公式来决定。

式7Rifman卷积的冲激响应

与之前描述的Catmull-Rom样条相比而言，Rifman卷积提供额外的过冲和较高的冲激响应陡度，如图52中所解说的(Rifman由实线表示，Catmull-Rom样条为点线)。当比较这两个对应的调制传递函数时，滤波特性上的差别变得甚至更为明显，如图53中所解说的(Rifman由实线表示，Catmull-Rom样条为点线)。尽管这2个滤波特性之间的差别是清晰可见的，但是要确定这两个滤波器中的哪个带来最好图像质量却并不明显。Rifman三次卷积提供对一些可视的更高频率的约5％的强调，如该图表所指示的，但此类高频强调特征真的是合乎期望的吗？第二个清楚的差别是与Catmull-Rom样条相比由Rifman三次卷积引入的更高阻带波纹，其可能引入可视混叠赝像，但这些的扰动如何？

发明目标

本发明的实施例的一目标是要提供通过以高效率和/或低等待时间方式对一个或多个输入图像执行处理来进行视频处理(因此生成一个或多个输出图像)的、适合用在流送环境中的方法。诸处理链可包含构建块。进一步，根据本发明的实施例，给出了那些构建块的各种形式和优化。本发明可适用于所有那些各种形式和优化并且能甚至裨益和/或增强这些形式和优化。例如，本发明的实施例的一目标是计算优化技术，其总是适用的并且不取决于“幸运”数字。本发明的实施例可具有要克服包括多个个体块的处理链的质量限制的目标。

发明内容

本发明的实施例提供通过以高效率和/或低等待时间方式(在高质量图像处理链中)对一个或多个输入图像执行处理来进行视频处理(因此生成一个或多个输出图像)的、适合用在流送环境中的方法(以及有关的软件和视频处理器)。因此，本发明的实施例涉及用于视频处理的系统、视频图像处理器、或通过对输入图像执行处理来生成输出图像的方法(例如，作为彩色视频处理的一部分)，其中该处理的特征在于，它达成多个第一单元图像处理步骤的效果，该方法包括对所述输入图像顺序地执行一个或多个第二图像处理滤波步骤以生成所述输出图像的步骤，其中至少一个所述第二图像处理滤波步骤(同时地)达成至少两个、三个、四个、或五个所述第一图像处理步骤的效果。

本发明的实施例涉及用于视频处理的系统、视频图像处理器或(例如，作为彩色视频处理的一部分的)通过对输入图像执行处理来生成输出图像的方法，其中该处理达成多个个体的第一图像处理滤波步骤的效果，该多个个体的第一图像处理滤波步骤选自：升采样、解交织、调整大小、纵向和横向调整大小、分组丢失重构、或与调整大小和/或分组丢失重构组合使用的数据填补或数据内插技术，该方法包括执行用于对所述输入图像顺序执行一个或多个第二图像处理步骤的单个组合式滤波操作以生成所述输出图像的步骤，其中至少一个所述第二图像处理步骤达成选自升采样、解交织、调整大小、纵向和横向调整大小、分组丢失重构、或与调整大小和/或分组丢失重构组合使用的数据填补或数据内插技术的至少两个、三个、四个、或五个个体滤波步骤的效果。

单个组合式滤波器操作能由单个滤波器来执行。

因此，在本发明的第一方面，提供了一种用于通过对输入图像执行处理来生成输出图像的视频处理方法，其中该处理达成多个第一图像处理步骤的效果，该多个第一图像处理步骤选自：升采样、解交织、调整大小、纵向和横向调整大小、分组丢失重构、或与调整大小和/或分组丢失重构组合使用的数据填补或数据内插技术，该方法包括对所述输入图像顺序地执行一个或多个第二图像处理步骤以生成所述输出图像的步骤，其中至少一个所述第二图像处理步骤达成至少两个、三个、四个或五个所述第一图像处理步骤的效果。

在其一实施例中，至少两个所述第二图像处理步骤达成至少两个、三个、四个、或五个所述第一图像处理步骤的效果。

在其一实施例中，所述第一图像处理步骤包括可分开的纵向和横向色度升采样、运动适应性解交织、可分开的大小调整、以及(优选地)缺失数据重构中的任何步骤。

在其一进一步实施例中，其中一个所述第二图像处理步骤达成色度升采样和横向大小调整的组合效果；和/或其中另一个所述第二图像处理步骤达成解交织和纵向大小调整的组合效果。

本发明的实施例适用于任何类型的大小调整，包括所有加窗的sinc滤波器，诸如流行的Lanczos3算法。它们甚至允许解交织滤波器选择项和调整大小滤波器选项的任何任意性组合。

在再一实施例中，至少一个或两个所述第二图像处理步骤被实现为多相滤波器，任选地被钳位在2个其他线性滤波器的结果之间。

应当注意到，本发明的实施例独立于任何应用于影像的彩色分量标准地工作，因为任何标准(比如R’G’B’值)能通过使用查找表来被容易地转换成想要的信号编码(例如RGB值)。本发明的实施例与所有当前已知的色度子采样方案可联用。

本发明的实施例能完全独立于所利用的进行运动检测的方法和算法。

在再一实施例中，一个或多个所述第二图像处理步骤包括滤波，并且一个或多个所述第二图像处理滤波步骤的滤波器参数和/或实现改善输出图像质量、等待时间、该方法的执行成本和/或该方法的性能中的任何一者。

根据本发明的实施例，可包括效率优化步骤，例如利用图9中所解说的冲激响应的对称性属性。本发明的实施例对于作为图9中的数字：0.625和-0.125的代替的系数0.647和-0.147同样良好。

在进一步的实施例中，所述一个或多个所述第二图像处理步骤被适配以用于要在其上执行该方法的处理引擎(CPU、DSP、GPU、ASIC、FPGA或其组合)。

在一实施例中，一个或多个所述第一图像处理步骤被选为基于卷积的滤波。

在一实施例中，一个或多个以下第一图像处理步骤：解交织和大小调整或纵向大小调整被选为适应性对角滤波方法和/或基于仅使用线性算子的方法。

在一实施例中，以下第一图像处理步骤：分组丢失重构被选为分组重构(滤波)方法。

在一实施例中，所述第二图像处理滤波步骤达成色度升采样和横向大小调整的组合效果，并被实现为数个并行卷积滤波器，其中每个颜色分量一个卷积滤波器。

在一实施例中，所述第二图像处理滤波步骤达成解交织和纵向大小调整的组合效果并以两个并行的大小调整滤波器、或替换地以单个运动检测器调制式大小调整滤波器来实现。

在一实施例中，一个所述第二图像处理滤波步骤达成纵向色度升采样、纵向大小调整和解交织的组合效果。

在其一进一步的实施例中，所述第二图像处理滤波步骤达成纵向色度升采样、纵向大小调整和解交织的组合效果，并被实现为两个多相滤波器路径，其中每个多相滤波器路径包括数个并行卷积滤波器，其中每颜色分量一个卷积滤波器；或替换地以单个多相滤波器来实现，其中每颜色分量一个多相滤波器。

在一进一步的实施例中，其中一个所述第二图像处理滤波步骤达成色度升采样、大小调整、解交织、和分组丢失重构的组合效果，其中任选地，对两个或多个或所有底下的第一图像处理使用相等的内核大小。

在一进一步的实施例中，对于一个或多个所述第二图像处理步骤，至少部分的滤波器系数被存储在查找表中，其中任选地对于其该实施例由多个并行滤波器实现的情况，优选它们的滤波器系数中的至少部分被存储在查找表的相同部分中或从相同部分中推导。

在本发明的第二方面，提供了一种用于通过对输入图像执行处理来生成输出图像的视频处理器(或系统)，其中该处理器被适配成达成多个第一图像处理步骤的效果，该多个第一图像处理步骤选自：升采样、解交织、调整大小、纵向和横向调整大小、分组丢失重构、或与调整大小和/或分组丢失重构组合使用的数据填补或数据内插技术，该处理器被适配成对所述输入图像顺序地执行一个或多个第二图像处理步骤以生成所述输出图像，其中至少一个所述第二图像处理步骤达成至少两个、三个、四个或五个所述第一图像处理步骤的效果。优选地，该处理器被适配成达成如在本发明的第一方面中描述的至少一个或多个方法实施例的效果。在本发明的此方面，提供了用于通过对输入图像执行处理来生成输出图像的视频处理器(或系统)，其中该处理器被适配成达成多个个体的第一图像处理滤波步骤的效果，该多个个体的第一图像处理滤波步骤选自：升采样、解交织、调整大小、纵向和横向调整大小、分组丢失重构、或与调整大小和/或分组丢失重构组合使用的数据填补或数据内插技术，该处理器被适配成执行用于对所述输入图像顺序执行一个或多个第二图像处理步骤的单个组合式滤波操作以生成所述输出图像，其中至少一个所述第二图像处理步骤达成选自升采样、解交织、调整大小、纵向和横向调整大小、分组丢失重构、或与调整大小和/或分组丢失重构组合使用的数据填补或数据内插技术的至少两个、三个、四个、或五个个体滤波步骤的效果。

单个组合式滤波器操作能由单个滤波器来执行。

所述对系统的适配可以是硬件适配(对于处理器侧是ASIC或ASIP(一个或多个处理器串行和/或并行布置)和/或在用于存储输入、输出或中间计算出的图像的存储器系统上的适配)或通过提供实现一个或多个或部分所述方法的处理器可读代码(存储在一个或多个连接到该处理器的存储器中)来实现及其组合。

在其一实施例中，该系统包括一个或多个多相和/或卷积滤波器(任选地，其中一个或多个被并行布置)以及任选地包括其他线性滤波器。

在一实施例中，该处理器包括处理引擎并且所述一个或多个所述第二图像处理步骤被适配以用于要在其上执行该方法的处理引擎(CPU、DSP、GPU、ASIC、FPGA或其组合)。

在其一实施例中，该系统被适配成使得所述第二图像处理滤波步骤达成解交织和纵向大小调整的组合效果并以两个并行的大小调整滤波器来实现并因此包括这两个并行的大小调整滤波器，或替换地以单个运动检测器调制式大小调整滤波器来实现并因此包括该单个运动检测器调制式大小调整滤波器。

在其一实施例中，该系统被适配成使得所述第二图像处理滤波步骤达成纵向色度升采样、纵向大小调整和解交织的组合效果，并被实现为两个多相滤波器路径并因此包括这两个多相滤波器路径，其中每个多相滤波器路径包括数个并行卷积滤波器，其中每颜色分量一个卷积滤波器；或替换地以单个多相滤波器来实现并因此包括该单个多相滤波器，其中每颜色分量一个多相滤波器。

在其一实施例中，该系统被适配成使得对于一个或多个所述第二图像处理步骤，至少部分的滤波器系数被存储在查找表中(并且因此为其提供专用存储器)，其中任选地对于其该实施例由多个并行滤波器实现的情况，优选它们的滤波器系数中的至少部分被存储在查找表的相同部分中或从相同部分中推导。在本发明的第三方面，提供了一种(由计算机实现的)(半)自动化方法以用于通过将原始参考第一图像处理步骤序列与第二图像处理步骤序列的参考输入集/相应性能作比较、以及迭代至性能接近到可接受的程度来确定要在根据本发明的第一方面的方法中使用的一个或多个第二图像处理步骤(滤波器)参数。

在其一实施例中，提供了一种改善质量/成本比的方法，包括以下步骤1)针对一组适用的输入源标准和大小调整因子(输出解析度/输入解析度比)通过首先将色度子采样IR与横向大小调整IR卷积并且其次通过将解交织IR和纵向大小调整IR卷积来确定横向和纵向冲激响应作为参考，2)(基于横向维度上的子像素数据、纵向维度上的运动适应)构造单个组合式滤波器并且针对相同的一组适用的输入源标准和大小调整因子来计算其横向和纵向冲激响应，3)为这两种实现计算调制传递函数(MTF)，4)选取用于图形合成内容的一组质量分析规范或任何高级的感知加权式质量分析方法，5)分析所获得的质量改善和/或实现成本节省的组合，并且若有需要，从步骤2通过拣选另一算法来进行再次迭代，调节决定IR的这些函数的一些可用参数或修改(其中一些)函数。

在本发明的第四方面，提供了可在处理引擎上操作的、用于执行所讨论的任何方法权利要求的计算机程序产品和存储如由所述方法确定的和/或在如所描述的所述视频处理器和/或系统中使用的(滤波器)参数的非瞬态及其可读存储介质。

本发明还提供了一种用于通过对输入图像执行处理来生成输出图像的视频处理器的控制器，其中该控制器被适配成达成多个第一图像处理步骤的效果，该多个第一图像处理步骤选自：升采样、解交织、调整大小、纵向和横向调整大小、分组丢失重构、或与调整大小和/或分组丢失重构组合使用的数据填补或数据内插技术，该控制器被适配成对所述输入图像顺序地执行一个或多个第二图像处理步骤以生成所述输出图像，其中至少一个所述第二图像处理步骤达成至少两个、三个、四个或五个所述第一图像处理步骤的效果。

尤其，该控制器可被适配成用于对所述输入图像顺序地执行一个或多个第二图像处理滤波步骤以生成所述输出图像的单个组合式滤波器操作，其中至少一个所述第二图像处理滤波步骤达成至少两个、三个、四个、或五个个体图像处理步骤的效果，这些个体图像处理步骤选自：升采样、解交织、调整大小、纵向和横向调整大小、分组丢失重构、或与调整大小和/或分组丢失重构组合使用的数据填补或数据内插技术。

附图简述

图1典型的现有技术图像处理链示例

图2另一可能的现有技术可分开图像处理链

图3根据本发明一实施例的可分开图像处理链的示例

图4人类视锥细胞的归一化响应谱

图5sRGB标准的光电传递函数

图6由FIR滤波器执行的横向卷积

图7由FIR滤波器执行的对称横向卷积的示例

图8由FIR滤波器执行的分路横向卷积

图9由FIR滤波器执行的经优化分路对称横向卷积

图10由15抽头FIR滤波器执行的对称性经优化横向卷积

图11由非经优化的15抽头FIR滤波器执行的色度升采样

图12由经优化的15抽头FIR滤波器执行的交隔式色度升采样

图13运动适应性解交织简化框图

图14基于三次卷积的半帧内内插的示例

图15执行解交织的经优化的单个运动适应性卷积过程

图16执行解交织的等效运动适应性卷积过程

图17由8抽头多相滤波器进行的卷积

图18由6抽头多相滤波器使用LUT来进行的实践卷积示例方案

图19由分组丢失事件控制的丢失分组重构滤波器

图20多重丢失分组重构滤波器

图21组合式横向像素大小调整和色度升采样图表

图22组合式横向像素大小调整和色度升采样方案

图23组合式横向子像素大小调整和色度升采样图表

图24组合式横向子像素大小调整和色度升采样方案

图25使用集成式横向大小调整和色度升采样的质量改善

图26由固定滤波器内核施加的横向大小调整冲激响应拉伸约束，其由较早的色度升采样过程引起并且引起滤波器质量损失。

图27常规处理链中的解交织继以(纵向)大小调整

图28等效于常规处理链的编织式解交织和纵向大小调整

图29集成式解交织和双重纵向大小调整基本原理方案

图30编织式半帧大小调整(上方)和半帧内大小调整(下部)示例

图31编织式半帧大小调整(左)比对半帧内大小调整(右)图

图32使用集成式纵向大小调整和解交织的质量改善

图33由固定滤波器内核施加的纵向大小调整冲激响应拉伸约束，其由较早的解交织过程引起。

图34集成式解交织和单纵向大小调整经优化框方案

图35集成式解交织和双重纵向大小调整详细方案

图36经优化集成式解交织和纵向大小调整详细方案

图37执行色度升采样、运动适应解交织和大小调整的典型现有技术处理链。

图38执行色度升采样、运动适应解交织和大小调整的典型现有技术处理链的等效。

图39并行地使用两个纵向处理路径的集成式色度升采样、运动适应性解交织和大小调整。

图404:2:2v色度升采样、运动适应性解交织和纵向大小调整的经优化集成。

图41在隔行4:2:0经色度子采样的视频的情形中对亮度和色度信道的收到视频行的比较。

图424:2:2v色度升采样、运动适应性解交织、纵向大小调整和缺失分组重构滤波的集成。

图43具有相等内核大小的4:2:2v色度升采样、运动适应性解交织、纵向大小调整和缺失分组重构滤波的经优化实践集成。

图44具有独立内核大小的4:2:2v色度升采样、运动适应性解交织、大小调整和缺失分组重构滤波的经优化实践集成。

图45藉由所谓填补或数据外插的视频数据帧扩展。

图46具有边界条件的色度升采样、运动适应性解交织、大小调整和缺失分组重构滤波的集成

图47由对图像中的临界高频进行重新采样而引入的拍频图案

图48由略微放大图像引入的拍频图案

图49由略微重新采样较低频率信号引入的拍频图案

图50Catmull-Rom样条和Lanczos3的冲激响应曲线

图51Catmull-Rom样条和Lanczos3的调制传递函数

图52Catmull-Rom样条和Rifman卷积的冲激响应比较

图53Catmull-Rom样条和Rifman卷积的调制传递函数

图54Rec.709HDTV视频标准中的R’、G’、B’和Y’信号的后滤波规范

图55Rec.709滤波规范被假言滤波器所违反

图56Catmull-Rom样条和Rifman卷积的Rec.709滤波器规范顺应性

图57Rec.601SDTV视频标准中的R’、G’、B’和Y’信号的后滤波规范

图58Catmull-Rom样条和Rifman三次卷积的示例图形合成内容滤波器规范顺应性

图59计算数种类型的三次卷积的示例BASIC程序片断

图60用于计算sinc(x)＝sin(x)/x的示例BASIC函数

图61计算Lanczos3加窗sincIR的示例BASIC程序片断

图62计算Hann加窗sincIR的示例BASIC程序片断

图63计算基于Lanczos的解交织和纵向大小调整图像处理链的冲激响应的示例BASIC程序片断。

图64将整数大小调整冲激响应归一化的示例BASIC程序片断。

图65从大小调整冲激响应计算调制传递函数的示例BASIC程序片断。

图66计算MTF和质量损失计算所要求的频率的示例BASIC程序片断。

图67基于预先计算的频率扫掠来从大小调整卷积冲激响应计算调制传递函数的示例BASIC程序片断。

图68Rec.709滤波规范违反(灰色填充区域)与耐受区域(阴影线区域)对比。

图69从以dB计的指定增益计算线性增益的示例BASIC函数。

图70基于VideoHDRec.709标准的MTF和滤波规范来计算质量损失的示例BASIC程序片断。

本发明实施例的详细描述

本发明涉及(计算机实现的，意味着由电子装置或系统执行或在电子装置或系统上执行，如进一步描述的)方法和适配的装置或系统(计算机、其部件如处理器)以增强数字图像处理系统中的图像质量，其中该处理链具有多个特异功能或即第一图像处理步骤，作为一示例，其中任何形式的大小调整或解析度适配是该处理链中的部分。有时，大小调整过程可被限于简单的逐行解析度适配，例如笔记本的桌面图像，其大小被调整到较大显示器的本机显示解析度。然而，通常要求附加的大小调整步骤，因为源图像可能是逐行的和/或经色度子采样的。由于绝大多数的现代显示器技术(诸如LCD和DLP)要求逐行图像表示，其中每颜色分量并且每像素一个采样值，所以通常视频源要求色度升采样、解交织和解析度映射的组合。典型的现有技术图像处理链示例在图1中解说。在此，广播标准隔行全HD视频源被应用作为对图像处理链的输入。第一处理块重构缺失的色度采样，然后解交织电路恢复缺失的线并且最终源解析度(1920x1080像素)被转换到本机显示解析度(1280x720像素)。如以上图1中所解说的，所要求的带宽在色度升采样之后增大并且它在解交织后再次增大。大小调整器需要处理三倍于接收自视频源的原始数据量的数据量。根据本发明的诸方面，这些处理块可被集成到处理器中并且可以在单元(诸如控制器)中提供。

本发明的诸实施例能通过将所有步骤或至少一部分集成在单个处理步骤中来克服此缺点并且由此帮助降低系统成本。此集成过程将在本文中进一步详细解说。对多个处理步骤的集成还帮助减少全图像处理链的实践实现中的等待时间，并且当被应用于流送环境中时，它简化了对分组丢失的处置而又保留最优图像质量。

全部(三个)处理步骤藉由某种形式的卷积的等效来变更视频数据。由于级联的一系列卷积函数结果再次得到卷积，所以多个串行卷积算子在这些算子在相同(物理)维度中作用时能被组合成一个。通过用单个卷积步骤来替换多个级联滤波器，原始图像质量就能被更好地保留。因此，由本发明提议的方法与对上述完整图像处理链的已知的现有技术实现相比提供了改善的图像质量。

图2解说具有可分开的大小调整的另一可能的现有技术视频处理路径。常规办法是要分开实现这些所要求的转换过程中的每一个，因为每个处理块本质上具有不同的独特复杂性。以上图像处理链是在如今的许多高端产品中所见的典型的现有技术实现。本发明通过探索卷积算子的一些有益属性来重新组织并藉此优化此图像处理链，如进一步所描述的。这些分开的处理步骤将被进一步详细解释，但是此刻需要概述上述这些处理块的最重要的属性：

-色度升采样个体地针对每个颜色分量(每子像素)由分别的横向卷积来执行，并且被实现为横向维度中的标准FIR滤波器(有限冲激响应)。

-解交织由每像素的运动适应性纵向卷积来执行并且还被实现为纵向维度中的标准FIR滤波器。

-横向大小调整由每输出像素的横向卷积来执行，并且被实现为横向维度中的所谓多相FIR滤波器。

-纵向大小调整由每输出像素的纵向卷积来执行，并且被实现为纵向维度中的所谓多相FIR滤波器。

注意，所有处理步骤均为卷积，但有两个重要的差别：

-一些在纵向维度中操作，一些在横向维度中操作

-一些滤波器使用单相，一些是多相滤波器。

根据本发明的诸方面，这些处理块可被集成到处理器中并且可以在单元(诸如控制器)中提供。

标准FIR滤波器与多相FIR滤波器之间的差别将在本文中进一步解释。

显然，在本发明的实施例背后的聚焦于系统成本降低、改善的分组丢失处置和/或图像质量增强的单个组合式滤波器或步骤组合概念的使用能被应用于组织成步骤、算子或(卷积)滤波器链的任何视频处理系统，因此其中该处理的特征在于，它达成多个第一单元图像处理步骤的效果，该方法包括对所述输入图像顺序地执行一个或多个第二图像处理滤波步骤以生成所述输出图像的步骤，其中至少一个所述第二图像处理滤波步骤(同时地或一次地)达成至少两个、三个、四个、或五个直至所有(必要)所述第一图像处理步骤的效果。

本发明的实施例通过利用顺序卷积过程的属性将多个卷积步骤组合成单个卷积步骤，其再次变成组合式卷积。当2个FIR滤波器被顺序地应用于信号时，结果可被组合成单个FIR滤波器，而不管是以什么方式来计算系数的。当该组合式滤波器不只是这两个顺序滤波器的等效，而是被变更以增强图像质量(更好的图像锐度、减少的混叠赝像、减少的波纹赝像、改善的颜色细节准确性……)、降低成本参数(CPU计算和处理时间、DSP功率、存储器带宽和/或密度要求、功率耗散、较少的GPU并行核……)或改善性能方面(数据吞吐量、等待时间)时，进一步的创造性被实现。质量/性能/成本效益将进一步详细解释。根据本发明的实施例所引入的图像处理链的一示例在图3中解说，其中术语显示器可意指任何目的地。色度子采样块和横向大小调整块被集成在第一处理块中，而解交织块和纵向大小调整块被组合成第二处理块。本发明的诸实施例包括要求有限资源的实践实现，这使得它对于基于软件和硬件的实时图像处理(包括在DSP、GPU或FPGA设备中实现)而言均合适。

显然，在本发明的实施例背后的应用于组织成步骤、算子或(卷积)滤波器链的任何视频处理系统的单个组合式滤波器或步骤组合概念要求谨慎地选择开始的步骤，理解它们的功能和组合属性、以及审慎选择的组合对所考虑的成本参数的影响。因此，该处理的特征在于，它达成多个第一单元图像处理步骤的效果，该方法包括对所述输入图像顺序地执行一个或多个第二图像处理滤波步骤以生成所述输出图像的步骤，藉此，一个或多个所述第一单元图像处理步骤是为这些组合属性而选择的，并且关于要组合哪个以及如何组合的选择是为了达成至少一个所选成本参数的改善。

如前所述解交织是用于恢复缺失线的技术，并且由此该过程在被分开地执行时在实效上使线频和对应的所要求带宽加倍。本发明的诸实施例通过将解交织过程与通常也要求的解析度映射步骤组合来克服此问题，因为在绝大多数图像处理用例中目标解析度是固定的并且一定程度上由显示器决定。此集成对图像质量、实现成本和等待时间的正面作用将在本文中进一步解释。如前所述高质量的图像处理链应当保留尽可能多的原始源细节而不引入赝像，诸如混叠或波纹。它应当对静止图像以及运动影像都性能良好。用当前现有技术处理链所能获得的最佳可能质量是受限的，不是受诸个体块的有限质量所限，而是受它们的组合所限。本发明的实施例通过将多个卷积步骤集成(而不仅仅是组合)成单个卷积来克服此质量限制。将演示，每个数字滤波器因奈奎斯特准则的缘故，必然对图像内的最高频率有所衰减。将进一步详细展开为何这些集成处理步骤能(以更低成本)提供比由所描述的分开的块构成的当前现有技术处理链更高的质量。

如前在背景描述中所述，在本发明所适用的视频图像处理链中，值得注意的是本发明的一方面是要选择能确保可组合性的诸第一图像处理步骤，并且优选地还使用经优化版本来作为开始基础。此类选择包括选择可写为卷积滤波器和/或给定了(图像)数据的2D特性在二个维度上可分开的过程步骤。

现在将通过讨论4:2:2色度升采样和大小调整的集成来讨论本发明的实施例，但其显然适用于所有类型的(色度)升采样和大小调整以及等效类型的算子。根据本发明的诸方面，这些处理块可被集成到处理器中并且可以在单元(诸如控制器)中提供。

由于色度升采样和横向大小调整两者均是在相同域中作用的卷积过程，如早前描述的，所以它们能被组合成单个卷积步骤，由此消除了由级联多个滤波步骤所引起的常规图像处理链的质量限制，如将在本文中进一步详细讨论的。

对此集成过程有两个实践实施例是可能实现的。第一办法在图21中针对4:2:2经色度子采样的输入来解说。

3色分量Y、Cb和Cr共享相同内核维度(8抽头)以及每输出像素的子像素定位，如由指示滤波器内核的矩形框所指示的。亮度通道Y是使用该内核中的全部8个有效采样来重新采样的，其由源像素的虚线采样位置来指示。对于诸色度通道，情况有所不同，因为在内核缓冲器内，这8个采样之中有4个是无效的。Cb分量必须基于偶数源采样(由点采样幅值双线指示)来被重新采样，因为奇数源采样(由点采样幅值单线指示)是缺失的。类似地，Cr分量必须基于奇数源采样(由点划采样幅值单线指示)来被重新采样，因为偶数源采样(由点划采样幅值双线指示)是缺失的。子像素定位(p＝0.28)(其范围被归一化在两个相继像素之间)对于全部3个颜色分量是相同的(由此位置处的粗实线指示)。此第一办法的经优化实施例在图22中解说。在此方案中，并非所有3个源颜色分量均被同时接收。对于每个源像素，Y值被接收并且写到滤波器内核缓冲器中，但信号Cb和Cr是交替地有效的。此方案中的缓冲器被组织成像素缓冲器，这意味着每像素(而非每子像素)有固定位置。因此，任何缺失的内容(其为色度采样的半数)必须被视为缓冲器中的破坏内容。该方案提供3个卷积滤波器，其中每颜色分量一个卷积滤波器，其仅使用已知的有效子像素数据。这3个卷积滤波器中的每一者使用独特的一组系数，因为有效源像素位置在内核区域内的组合是对每个颜色分量独特的。

组合横向大小调整和色度升采样的第二实践实施例方法在图23中解说，再次是针对经4:2:2色度子采样的输入，以清楚地解说这两种方法之间的差别。然而注意到，所提议的组合式横向大小调整和色度升采样的方法并不被限制于特定的色度子采样方案，诸如4:2:2色度子采样。例如，它对于4:2:0或4:1:0使用起来可一样好。尽管对于此方法是可能实现的，但不再是必需的是，在此解说中，该3颜色分量Y、Cb和Cr并不共享相同的内核尺度：8抽头用于亮度通道对比4抽头用于色度通道。这3个分量全都具有不同的每输出像素的子像素定位，如由指示滤波器内核的矩形框所指示的。亮度通道Y在内核中是使用8个有效采样来被重新采样的，这由这三个图像的上图中源像素的采样位置所指示。对于色度通道，情况有所不同，因为内核缓冲器内仅有4个采样覆盖相同区域，尽管对于此办法而言这并非必需。子像素定位是对全部3个颜色分量独特的。Y通道基于p＝0.28的子像素相位来被重新采样，这与之前办法是一样的。然而，Cb分量(采样在中间图像中示出)是基于p＝0.14的子像素相位来被重新采样的，如在图23的中间图像中所示，因为Cb的目的地像素在源采样之间的相对定位是不同的，如在该图中所解说的。Cr分量(采样在图23的下图中示出)是基于p＝0.64的子采样相位来被重新采样的，如在图23的三个图像中的下图中所示，这是根据Cr通道的目的地像素在源采样之间的独特相对定位。

此第二办法的蛮力办法实施例在图24中解说。图24中的方案可通过考虑以下事实来被进一步优化：这两个色度分量的子像素定位相位p总是指向LUT中不同的一半，以备Cr和Cb分量被交替采样，如之前在图23中所解说的。还注意到，这两个色度通道相位不是独立的，从而它们不要求个体的查找表访问，因为这两个相位p之间的差别总是一半如图23中所解说的。进一步，对两个色度通道都要求的大小调整因子是相同的。对亮度通道的比例缩小因子是对于色度通道的比例缩小因子的两倍那么高，由此它要求独特的滤波特性，诸如所要求的截止频率。这两个色度通道都要求相同的滤波器传递函数，其中包括共同的截止频率。

这两个属性能被利用以在该方案中消除一个LUT。这两个色度通道中的任一者能共享相同LUT，它们任一者各自使用具有减半密度的LUT。数学上这些优化技术产生相同结果，从而关于图像处理环境如何影响优选实现方法的详情可被视为在本文的范围之外。

尽管质量改善将在本文中进一步详细讨论，但是令人感兴趣的是看看对于整体滤波特性而言发生了什么以及本发明如何使得能够实现先前不能达成的图像质量。图25解说了对于现实的资源量而言使用本发明的实施例相比于常规处理(实线)的质量改善。图25中的图表是为基于16抽头加汉明窗的sinc的色度升采样与基于8抽头多sinc的大小调整相组合来计算的。横轴表示从比奈奎斯特频率(Fs/2)低4个倍频程开始并且在比相同的期望截止频率Fs/2高4个倍频程结束的指数式扫掠。注意到在此图内，所有滤波器共享相同的截止频率。在现实中，不同截止频率目标之间的关系取决于大小调整因子，其进而取决于用例。点线指示分开的次优化色度升采样滤波器响应，其为常规图像处理链中的第一部分。此次优化滤波器设法相当好地保留图像细节，等效于在低于Fs/2的频率范围中的衰减，而又相当好地抑制高于Fs/2的非可显示频率，从而将不想要的混叠赝像置于控制下。点划线指示分开的次优化横向像素大小调整多相卷积滤波器响应，其为常规图像处理链中的下一部分。此滤波器并不设法相当好地保留图像细节，如藉由在低于Fs/2的频率范围中的衰减所可注意到的，并且未能完全抑制高于Fs/2的频率，从而未能将不想要的混叠赝像置于控制下。在此示例中，大小调整质量被故意选取为低于色度升采样质量，因为这更好地反映了现实实现。如前所述，大小调整过程是由多相滤波器执行的，其要求的资源显著比标准FIR滤波器要多，如由色度升采样所要求的。实际上，大小调整滤波器需要为所有可能的子像素位置或相位存储系数，而对于色度升采样滤波器而言，此相位总是固定的而且有甚于此：该相位严格地在原始像素之间的半途，这引起滤波器的系数中的理想对称性。静态系数的此对称性可被利用以优化资源，如之前在图12中所解说的。出于此原因，将16抽头标准FIR滤波器与8抽头多相FIR滤波器作比较是公平的。出于同样理由，绝大多数现有技术图像处理链以与大小调整内核相比而言更大的等效内核大小来实现色度升采样滤波器。尽管该点划线可能看起来自己引起了质量损失，但是常规的现有技术图像处理链的主要质量损失问题仅在色度升采样和大小调整过程被级联结果得到实线时才变得清楚。实际上，尽管这两个次优化滤波器的性能可至少合理地良好，但是整体质量结果受到级联过程本身的约束，因为实线曲线是点线曲线和点划线曲线相乘的结果。虚线指示经优化集成式横向子像素大小调整，其由与用来构造点划线曲线的滤波器大小相同的滤波器大小来实现。在此情形中，使用相同的滤波器资源，该滤波器设法好得多地保留图像细节，如通过评价低于Fs/2的频率范围中的衰减所可见的，而它对高于Fs/2的非可显示频率的抑制又好得多，从而减少了混叠赝像。由虚线曲线获得的相比于点划线曲线而言显然更好的质量可在考虑大小调整滤波器应投放的目标截止频率时来被理解。在对原始数据执行色度升采样过程的情形中，源采样率被加倍。然而，当整体用例并未改变时，当传入采样率被加倍时，所要求的绝对截止频率保持不受影响。然而，相对于传入采样率，所要求的截止频率被相对减半。为了将滤波器的截止频率减半，其冲激响应必须被拉伸2倍。为了保留归一化滤波器响应(这使DC和其他甚低频率分量不受影响)，IR振幅必须被减半。以此方式，时间拉伸和振幅减小操作并不变更冲激响应的积分函数。显然，此时拉伸操作将所要求的滤波抽头量翻倍，在此情形中当保持滤波质量恒定时，冲激响应的形状并不被变更。然而，在绝大多数实践实现中，使用具有固定数目的滤波抽头的恒定滤波器内核大小。当截止频率相对于新的采样率而言改变了时，此固定大小调整内核大小可强加变更冲激响应的需要。此事件在图26中针对8抽头大小调整卷积滤波器来解说，从多sinc冲激响应开始。实线曲线示出在维持原始采样率(包括色度子采样)的情形中执行函数重构所需的冲激响应。由实线曲线指示的振荡相比于由点线曲线指示的那些振荡而言快2倍。这对应于相对而言是采样频率2倍高的截止频率，但因为该采样频率并未被之前的色度升采样过程加倍，所以该系统的绝对截止频率保持不变更。点线曲线反映在原始色度通道采样率被色度升采样过程加倍的情况下执行降采样操作所需的经拉伸的冲激响应。不仅是由点线曲线指示的振荡相比于由实线曲线指示的那些振荡而言慢2倍，而且滤波器内核大小是约束，振荡的量也被减少到1/2。这对应于相对而言是采样频率1/2的截止频率，这正如所愿，但是随之而来的还有滤波器质量下降，这是不合希望的。此现象在常规的次优化图像处理链中不能被避免。即使在以极高质量执行现有技术色度升采样时，对于给定的资源量(其由滤波器抽头量决定)而言，大小调整质量也将降级，并且因此实现成本也将降级。亦即，由本发明的诸实施例提议的集成式办法将总是改善图像质量，但是质量改善量取决于被实现以执行大小调整过程的处理能力、源素材以及用例。本发明的诸实施例通过将色度升采样和横向大小调整集成在单个卷积步骤中来允许以更低的成本获得更高的质量。

本发明的实施例现在将针对又一种步骤集成来解说，尤其在于包括对解交织和大小调整的集成的实施例。根据本发明的诸方面，这些处理块可被集成到处理器中并且可以在单元(诸如控制器)中提供。可将该集成与以上讨论的一个或多个概念相组合。由于解交织和纵向大小调整两者均是在相同域中作用的卷积过程，如前所述，所以它们能被组合成单个卷积步骤，由此再一次地消除了常规图像处理链的由级联多个滤波步骤所引起的质量限制。将演示，对于运动影像而言，能实现与由对色度升采样和横向大小调整的集成所获得的类似的质量改善，因为在此常规图像处理链中的解交织也使纵向采样频率或线频加倍，从而致使具有固定维度的大小调整滤波器以降低的质量来执行。图27中的框图解说在常规现有技术次优化图像处理链中如何级联解交织和(纵向)大小调整。在该图左边的四个块形成解交织功能性，而该图最右边的块表示纵向大小调整滤波器。解交织和纵向大小调整的集成过程的多个实践实施例是有实现可能的，尽管在本文的范围内，将不详细讨论最繁复的情形。那些实现可包含对从过去或甚至将来提取的数据的适应性对角滤波和高级适应性时间选择，这致使解交织特征具有一个或数个半帧的等待时间。解释对解交织和纵向大小调整的集成过程的第一步骤在图28中解说。由于输入信号x与输出信号y之间的所有滤波块(FW、IFI、MAI和VR)都是线性卷积，所以改变它们的级联并不改变结果。图27和28将产生相同结果。图28现在示出半帧內内插滤波器(IFI)和下方的纵向多相滤波器(VR)的直接级联。在以上描述的方案中，这两个大小调整器块执行相同功能，但是它们两者应对处理不同的输入数据。位于上方的VR块处理输入帧，其从至少2个相继的数据半帧构造，在最简单的情形中是当前视频半帧和在前视频半帧。假定大小调整器将被实现为10抽头多相滤波器，则5个输入线将来自当前半帧并且5个从在前半帧插入。显然，当该图像不在运动时，由位于上方的纵向大小调整器块计算出的结果具有有效的高质量。在静止视频的情形中，上方VR块的质量是最优的。位于下方的VR块处理输入帧，其由升采样滤波器从单个半帧重构，这类似于色度升采样块。在此仅有的差别在于，滤波器抽头表示纵向维度而非横向维度，由此IFI块要求视频线存储器而不仅仅是寄存器。再次假定大小调整器将被实现为10抽头多相滤波器，则5个输入线将是原始的源线而另5个是由半帧内滤波过程重构出的。当该图像在运动时，由位于下方的纵向大小调整器块计算出的结果具有合理质量。遗憾的是，IFI块将纵向采样频率加倍，这强制相对纵向大小调整滤波器截止频率被减半。由于之前解释的IR拉伸过程，如在图26中所解说的，针对相同资源的大小调整质量降低。图29演示了执行运动适应性解交织所要求的半帧内内插块如何已被纵向大小调整多相卷积块所吸收。注意到两个并行的大小调整块具有不同的子线定位相位信号(p)，因为这些半帧内线之间的距离是每帧的经编织线之间的距离的两倍，而绝对定位输出线则保持相同。亦即，这两个大小调整块均需要个体的查找表来存储不同组的系数，因为相对的比例缩小因子是不同的，而且因不同的相位信号(p)之故，对LUT的寻址也是不同的。帧大小调整和半帧大小调整的略微移位的滤波器内核在图30中解说。点线采样幅值标记物表示当前所评价的半帧中的线，它们被图29中下方的大小调整器使用。在基本的运动适应情形中，实线采样幅值标记物表示在前评价的半帧中的线，其被插入在当前评价的半帧之间，此后该组合被图29中上方的大小调整器使用。点划线幅值标记物表示计算出的与当前计算出的目的地线位置相对应的输出采样。显然，在上面的图像(其解说从2个经编织的半帧进行重构)中顶上的连续黑色包络线与在下面的图像(其解说从单个视频数据半帧进行重构)中的连续黑色包络线并不相同，因为它们两者是从不同的视频数据集提取的。如在该图中所可见，使用半帧内重新采样技术，细微的纵向细节可能被丢失。另一方面，对于静态影像，在上方图像中的帧大小调整过程是最优的，因为卷积滤波器使用所有可用的相关数据。这是为何需要运动适应性重构技术的缘故，因为有时帧重构是合乎希望的并且有时半帧内卷积滤波提供最佳的图像质量。基于帧的和基于半帧内的卷积滤波器的不同行为和相应的不同赝像在图31中解说。注意，左边的图像示出更多细节，但是也显示严重的参差，而右边的图像显得更模糊，但没有参差赝像。类似于横向卷积滤波集成的是，可以看到对整体滤波特性发生了什么亦即本发明的诸实施例如何改善图像质量。图32解说对于本发明而言使用现实的资源量所可能实现的质量改善。该图表是针对基于Catmull-Rom样条的解交织与基于8抽头Lanczos的大小调整相组合来计算的。采样频率Fs对应于线步调。横轴表示从比纵向奈奎斯特频率(Fs/2)低4个倍频程开始并且在比相同的期望截止频率Fs/2高4个倍频程结束的指数式扫掠。还注意，在此图内，所有滤波器共享相同截止频率，但是在现实中，不同截止线频之间的关系取决于纵向大小调整因子。实线指示使用Catmull-Rom样条重构技术的分开的次优化解交织升采样重构滤波器响应。这是常规图像处理链中的第一纵向处理部分。此次优化重构滤波器设法相当好地保留图像半帧内细节，等效于在低于Fs/2的频率范围中的衰减，而又相当好地抑制高于Fs/2的非可显示频率，从而基于单个视频数据半帧尽可能地将不想要的混叠赝像置于控制下。点划线指示分开的次优化纵向大小调整多相卷积滤波器响应，其为常规图像处理链中的下一部分。此滤波器并不真正设法保留绝大多数的图像细节，如藉由在低于Fs/2的频率范围中的衰减所可注意到的，并且未能妥帖地抑制高于Fs/2的频率，从而未能将不想要的混叠赝像置于控制下。降低了的大小调整质量导致运动图像示出更多赝像并且要被模糊得比使用本发明所能达成的更多。在此处理链示例中，大小调整质量被故意选取为与解交织质量相当，因为这更好地反映了现实实现。如前所述，纵向大小调整过程和解交织两者均执行纵向滤波，这通常是使用线缓冲来实现的。在绝大多数情形中，卷积滤波器所要求的线被存储在处理设备(诸如GPU或FPGA)内的内部高速缓存或内部块ram特征中。这使得这两个过程的典型成本效率相当，尽管纵向大小调整过程是由多相滤波器执行的，其所要求的资源比标准FIR滤波器(如解交织所要求的)要多。纵向大小调整滤波器需要为所有可能的子线位置或相位存储系数，而对于解交织滤波器，该相位总是固定在当前半帧中的分样出的原始线之间的半途。这引起静态滤波器的系数中的理想对称性，其可被利用以优化DSP资源，但这并不减少所要求的线缓冲器的量。在绝大多数系统中，实现成本是由滤波器内核所要求的可寻址带宽的密度所驱动的。出于此原因，图32提供现实的和公平的比较。由于许多系统在画面被放大时仅聚焦于图像质量，而非优化经压缩影像的质量，所以绝大多数现有技术图像处理链实现具有与纵向大小调整内核相比而言较小的等效内核大小的解交织滤波器。此选项还受到以下事实所驱使：解交织滤波器应当总是具有尽可能最高的截止频率，其为采样频率的一半。小的卷积滤波器内核能实际上针对高截止频率提供妥帖的质量，而降低截止频率将使小的固定滤波器内核所能达成的滤波器质量降级。注意到取决于用例，纵向大小调整可能需要执行低得多的相对截止频率，这是为何在许多情形中内核大小被选取为大于解交织滤波器内核大小的缘故。在此，再次地，点划线可能看起来自己引起了质量损失，但是常规的现有技术图像处理链的主要质量损失问题仅在解交织和纵向大小调整过程被级联结果得到虚线时变得可见。尽管这两个次优化滤波器的性能可至少合理地良好，但是整体图像质量结果再次受到纵向处理块的级联过程本身的约束，因为虚线曲线是实线曲线和点划线曲线相乘的结果。点线指示经全局优化的集成式纵向半帧大小调整，其由与用来构造点划线曲线的滤波器大小相同的滤波器大小来实现。在此情形中，使用相同的滤波器资源，滤波器设法自然得多地保留图像细节，而在某些频带中没有人为的强调。这可通过评价在低于Fs/2的频率范围中的衰减来看到。此集成式滤波器还好得多地抑制高于Fs/2的非可显示频率，从而减少混叠赝像。点划线曲线实际上示出阻带中的一些不想要的振荡，其引起混叠赝像。尽管质量度量将被进一步详细解释，但是由点线曲线所获得的相对于点划线曲线而言更好的质量已然清晰可见，而无需数学解读。类似于横向处理集成，当考虑纵向半帧大小调整滤波器应投放的目标截止频率时这可以得到理解。在对原始半帧数据执行解交织的情形中，纵向线速率被加倍。当用例并未改变时，当传入线频率被加倍时，所要求的绝对截止线频率保持不受影响。相对于此传入采样率而言，所要求的纵向截止频率被相对减半，这意味着纵向大小调整冲激响应必须在时间上被拉伸2倍并且IR振幅必须被减半。此过程类似于在横向维度中所发生的。IR调制在图33中针对基于8抽头Lanczos的纵向大小调整卷积滤波器来解说。点线曲线示出在原始采样率(包括每半帧的线子采样)被维持的情形中执行函数重构所需的冲激响应。由点线曲线指示的振荡相比于由实线曲线指示的那些振荡而言快2倍。这对应于相对而言是采样频率2倍高的纵向截止线频率，但因为该采样频率并未被之前的解交织过程加倍，所以该系统的绝对截止频率保持不变更。实线曲线反映在原始半帧线数据被解交织过程加倍的情况下执行降采样操作所需的经拉伸的纵向冲激响应。类似于在横向域中所发生的，由实线曲线指示的振荡相比于由点线曲线指示的那些振荡而言慢2倍，因为滤波器内核大小是约束，振荡的量也被减少到1/2。这对应于相比于纵向采样频率而言相对低两倍的纵向截止线频率，但降低了滤波器质量。此纵向细节质量降低对于常规次优化图像处理链而言是不可避免的。即使当以极高滤波质量来执行现有技术解交织时，对于给定的固定资源量(其由滤波器抽头量决定)而言，纵向大小调整质量也将降级。向这些滤波器抽头进行馈送的线缓冲器极大地影响着实现成本。这里再次地，由本发明提议的集成式办法将总是改善图像质量，但是质量改善量取决于被实现以执行大小调整过程的处理能力、源素材以及用例。本发明的诸实施例通过在运动影像的情形中将解交织与纵向大小调整集成在单个卷积步骤中来允许以更低的成本获得更高的质量。注意，运动检测系统的准确性还将影响最终图像质量。在这两个大小调整卷积均将产生理想图像的情形中，良好运动检测器的重要性就降低了，从而在本发明在执行半帧大小调整时大大地增强了图像质量的同时，它还降低了运动检测块的技术要求和复杂性。不过优选地使用良好的运动检测器，它不会太经常地在运动与静止状态之间“迟疑”。

至此，已讨论了基于具有2个并行的大小调整块的非经优化实现的质量改善。尽管数学上该分析是正确的，但它却并没有反映DSP能力和成本效率。甚至更加优化的实现通过使用如图34中所示的单个但经调制的大小调整卷积滤波器便是有可能实现的。集成式解交织和纵向大小调整的经优化实现使用单个卷积滤波器，其由运动检测器调制。如何可达成此点是使用从如图35中所示的详细功能图开始的逐步办法来解释的。图35中的方案包括2个分开的卷积滤波器。上面的一个对经编织半帧缓冲器内的所有视频线进行加权，而下面的一个处理仅与当前处理的半帧对应的那些线。这两个滤波器输出均对最终的线性内插块(表示为像一电位计)进行馈送，其由运动检测器来调制。当评价此方案时有数种优化有可能实现。一旦半帧内子线定位已知，就确定该帧内的经编织半帧子线相位。作为其后果，对包含作为目标线相位的函数的线权重的这两个查找表的寻址不是独立的。因此，这两个LUT能被实现为投放所有系数的单个LUT。显然，上面的帧滤波器的系数F的数据集仍保持不同于下面的半帧内滤波器所要求的系数G的数据集。第二优化可通过观察如下事实来发现：仅线性算子被应用于并行视频数据路径内的视频数据。可针对给定相位，作为输入i的函数通过使用Z变换(其中Z^-1表示线延迟)继以下组公式来写出经运动适应性大小调整的视频输出O(p)：

O(p)＝FrR(p)*(1-m)+FiR(p)*m

其中FrR是帧大小调整器输出，Fir是半帧大小调整器输出，m是运动检测器输出

FrR(p)＝F_-3(p)*i*Z³+F_-2(p)*i*Z²+F_-1(p)*i*Z+F₀(p)*I+F₁(p)*i*Z^-1+F₂(p)*i*Z^-2+F₃(p)*i*Z^-3+F₄(p)*i*Z^-4

FiR(p)＝G_-3(p)*i*Z3+G_-1(p)*i*Z+G₁(p)*i*Z^-1+G₃(p)*i*Z^-3+F₄(p)*i*Z^-4

注意G_-2、G₀、G₂和G₄全都等于0。

式5集成式解交织连带并行纵向大小调整的公式

式5解说了运动检测器输出m如何能有可能控制基于帧的和基于半帧的卷积之间的内插过程。通过如以下在式6中那样重排线性项，该组公式能被写得更优：

O(p)＝[F_-3(p)*(1-m)+G_-3(p)*m]*i*Z³+

[F_-2(p)*(1-m)+G_-2(p)*m]*i*Z²+

[F_-1(p)*(1-m)+G_-1(p)*m]*i*Z¹+

[F₀(p)*(1-m)+G₀(p)*m]*i*Z⁰+

[F₁(p)*(1-m)+G₁(p)*m]*i*Z^-1+

[F₂(p)*(1-m)+G₂(p)*m]*i*Z^-2+

[F₃(p)*(1-m)+G₃(p)*m]*i*Z^-3+

[F₄(p)*(1-m)+G₄(p)*m]*i*Z^-4

式6集成式解交织和纵向大小调整的等效公式

现在能基于如式7中所解说的与多相滤波器内核中的线对应的每经编织源线L的卷积过程的子线定位相位和运动量m来定义组合式线权重函数W(p,m)：

W_-L(p,m)＝F_-L(p)*(1-m)+G_-L(p)*m

式7用于纵向大小调整的运动适应性卷积滤波器权重计算

用式7来替换式6中的所有源线产生式8中的结果。

O(p,m)＝W_-3(p,m)*i*Z3+W_-2(p,m)*i*Z²+W_-1(p,m)*i*Z+W₀(p,m)*i+…+W₃(p,m)*i*Z^-3+W₄(p,m)*i*Z^-4

式8用于纵向大小调整的经优化运动适应性单卷积滤波器

源线权重W(p,m)被表示为二维函数，其可被视为基本线性内插原理的扩展。在实践中，该二维LUT可使用在这两个维度上的分段线性内插来实现。注意，可选择仅存储运动维度m中的2个系数，这再次对应于图35中的方案。这意味着图36中的详细方案不只是资源优化，而是被优化的原始可能性的超集。此半帧内子线位置(p)在4:4:4或4:2:2色度子采样的视频源的情形中对于所有颜色分量是相同的。运动检测器所获得的运动值(m)也应被所有颜色分量所共享。例如，指示仅蓝色通道在运动是不合情理的。由于值m和p对于所有颜色分量而言是共同的，所以推导出的LUT地址也是一样。这自动地意味着整个LUT功能能被共享，其中包括存储器资源和DSP能力以执行(多维)分段(线性)内插。这解释了从式5到7所执行的资源优化步骤，因为该视频路径内的所有处理能力(其在彩色系统中被增至三倍)被精简到绝对最小：单个卷积滤波器。

在另一实施例中(如此或与前面所讨论的诸方面组合)，(4:2:0)色度升采样、解交织和大小调整被集成为本发明的实施例。根据本发明的诸方面，这些处理块可被集成到处理器中并且可以在单元(诸如控制器)中提供。在4:2:0色度子采样方案中，这两个色度分量Cr和Cb以与4:2:2色度子采样方案相同的方式被横向采样。然而，在4:2:0方案中，它们仅在每条隔行线上被采样。换言之：子采样率在这两个空间维度上是相同的。为了将4:2:0色度子采样的视频转换成4:4:4数据，这些色度通道必须在这两个空间维度上被按比例放大至2倍。在许多情形中，现有技术图像处理链通过使用2个级联的FIR滤波器来实现此目的，因为色度升采样特征可被选取为是可分开的。例如，通常在这两个维度中独立地使用加窗的sincFIR滤波器卷积。典型的现有技术图像处理链在图37中解说。典型地，纵向色度升采样滤波器首先在该视频数据路径中被实现，因为此特征在以高质量来实现时要求数个视频线缓冲器。由于这些缓冲器的所要求的密度可能造成实现成本，所以通过在横向色度采样率加倍之前实现此纵向色度升采样来选取最低密度。然而，注意到在数学上，此选择并不影响图像质量。可选择首先将横向色度子采样率按比例放大，并且然后执行纵向升转换过程。由于在此视频数据路径中的所有块均是卷积，所以这对于整个图像处理链均为真。为了解说这一点，图37中的方案等效于图38中的方案。注意，经纵向升转换的4:2:0视频信号被指示为4:2:2v，因为它代表与常见的4:2:2信号相同的色度子采样方案，区别仅在于横向子采样维度被纵向维度所替换。此方案现在清楚地指示了有两个被并行处理的视频路径。上方的路径处置视频帧，而下方的路径处置视频半帧。这两个视频路径均代表在相同的纵向维度中起作用的卷积滤波器链。这意味着这些滤波器能被单个滤波器来替换，类似于图29中所解说的优化步骤。此优化过程在图39中解说。图39中的此方案解说了并行摆放的两个纵向多相滤波器如何能将解交织、色度升采样和大小调整全都在同时执行。注意，这两个滤波器路径本身是具有3个滤波器的经并行化集合：每个颜色分量Y、Cb和Cr有一个滤波器。尽管使用此集成步骤的质量已是有益的，但它并没有反映此集成原理的成本节省潜力。尽管此处理链的横向部分藉由此方案来被优化，但是2个纵向路径需要被集成为单个卷积滤波器，这与图36中所解说的相似。图40中的详细示意图解说了如何以每颜色分量单个卷积滤波器来进行色度升采样、解交织和大小调整。注意，此示意图的下半部被实现两次：每色度分量Cr和Cb一次。出于成本效率原因，经编织半帧缓冲器是针对亮度(Y)和色度(Cb和Cr)来分开地实现的，以通过避免给缺失的色度采样以存储空间来节省RAM密度。如由此方案所指示的，亮度和色度多相滤波器并不共享相同的系数。色度滤波器的权重被指示为WC，而亮度滤波器的权重被指示为WY。此做法的原因由图41来解释。当两个相继的视频数据半帧被编织时，结果对于亮度通道和色度通道而言是非常不同的，如在第二个半帧中所解说的编织过程所表明的。尽管针对亮度的经编织半帧缓冲器包含等距的视频线，但是其色度对应物包含不规则的纵向采样格栅。因此，对于亮度而言要求与色度相比不一样的一组用于滤波器抽头的权重。重新采样函数必须基于不规则采样格栅来计算。对应于滤波器类型的相同的冲激响应可被定义为规则采样格栅，但由于相同IR区域内的减少的冲激响应采样点数量的缘故，获得了不同的内插公式。此外，归一化过程是针对亮度和色度来独立地定义的。由于经编织亮度半帧具有等距的线间距，所以半帧内子线定位决定了离经编织半帧内的所有线的相对位置，而无论当前所处理半帧的所谓极性如何。在图41中，半帧1和3具有标记为上半帧的极性，而半帧2和4被指示为下半帧。卷积滤波器权重基于子线位置的值。然而，由于经编织色度半帧具有非等距的线间距，所以半帧内子线定位与当前半帧极性相结合就决定了离经编织半帧内的所有线的相对位置。因此，卷积滤波器权重并非唯一性地基于子线位置的值，而是还受到半帧极性信号的影响。这解释了对色度通道的集成纵向处理的IRLUT的1位半帧极性输入信号馈送地址的需要，如在该示意图中所指示的。实现半帧极性适应性的其他优化和变形是有实现可能的，但是所有或任何这些实施例可共享多相滤波器权重的影响。注意到，图40中的方案示出一组相等大小的卷积滤波器。然而，滤波器内核可针对所有颜色分量来被独立地选取。在许多系统中，使用比色度通道更大的滤波器内核来实现亮度处理是合情理的。本发明并不被限定于滤波器内核大小的特定组合。例如，10抽头多相滤波器可被用于亮度，而6抽头滤波器被用于色度通道。

在本发明集成的又一实施例中，提供了缺失分组重构与大小调整的组合。根据本发明的诸方面，这些处理块可被集成到处理器中并且可以在单元(诸如控制器)中提供。显然，这也能与上文讨论的诸方面相组合。IP上的原始视频话务中的缺失分组引起图像内的横向线(所谓的“发丝”)，在此显示破坏的、无效的或空白的或灰晕的数据。这在前文中讨论过。图20解说基于权重受LUT控制的纵向FIR滤波器的可能实现。该LUT是基于滤波器内核内的分组丢失事件(在该例中表示为PLE[-3..0])的组合来被寻址的。类似于之前的对在经典现有技术处理链中出现的分开的级联卷积函数的集成步骤的是，如在图20中描述的缺失分组恢复卷积滤波器能与来自图40的组合式纵向卷积滤波器集成。这类似于解交织和纵向大小调整的集成。第一办法是通过将组合式滤波器内核的PLE总线组合馈送至FIR权重LUT地址，如图42中所解说的。无论所选取的色度升采样滤波器类型、解交织算法、大小调整公式、和缺失分组恢复功能如何，滤波器系数权重仅取决于运动量m、子线位置相位p以及当前内核内的分组丢失事件的组合PLE[-3..+4]。

此框图中的LUT功能代表查找表功能，其可对运动和相位维度使用分段线性内插以节省RAM密度。如前所提及的，将运动维度中的采样点量减少到最小值2是有实现可能的。这对应于针对静止图像的一组滤波器系数以及针对运动图像的一组滤波器系数。这两组系数之间的线性内插由运动检测器来控制其如何返回m的值。注意，在存储于LUT中的这些值集之间进行除线性内插以外的其他操作也是有实现可能的，诸如三次卷积。然而，在绝大多数情形中，当LUT中存储了合理量的值(例如，2个运动值和32个子线位置相位值，这取决于所选取的用于色度升采样、解交织、大小调整和缺失分组恢复的滤波器类型)时，各组系数数据之间的线性内插提供了对理想滤波器的胜任逼近。分组丢失事件的组合不能由(线性)内插过程来逼近，因为PLE值并不代表维度。事实上，所有的PLE组合均要求完全独立的多相滤波系数，尽管有一些因对称性得到的有限的优化有实现可能。因此，在图43中提议了更切合实践的集成缺失分组恢复的实现，但是图42中的方案所获得的滤波质量能针对任何给定的分组丢失事件组合来被理想化，诸如当在网络上发生网络毛刺或尖峰时，这通常是由独立IP流所生成的突发性话务所引起的。与图42中的第一集成方案相比，图43中的方案将组合式LUT拆分成两个小得多的LUT。对所要求的RAM密度的这一减少有实现可能是归功于通常完全可接受的妥协。第一LUT提供多相滤波器系数权重而不考虑潜在的分组丢失事件。它还在为内核缓冲器中的缺失或破坏视频数据生成系数权重。当系数权重对应于缺失分组时，在此示意图中，它的对应开关被开路。跟在这些开关之后的这一系列加法器确保对应于有效收到分组的所有系数权重被积累到单个值中。通过从1减去诸有效分组的总权重，就获得诸缺失分组的总权重，因为由第一LUT提供的所有系数权重的总和等于1。该值使用由第二LUT提供的诸权重来被分配并被加到所有原始权重上。第二LUT由分组丢失事件组合PLE[-3..+4]来寻址。其角色是要确保对于任何可能的丢失分组组合PLE[-3..+4]，跨仅对应于非缺失分组的系数有有效分布D[-3..+4]。这些分布系数D[-3..+4]的总和等于1，如由PLELUT内容所定义的。这保证了诸多相滤波器权重W[-3..+4]的最终总和等于1，这是要保证该视频中的最低频率通过所必需的归一化条件。在有单个分组缺失的情形中，此经优化实现并不妥协质量，因为显然，最缺失分组的总权重等于单个丢失分组的权重。在对应于相继线群的分组缺失的情形中，所提议的优化仍能提供最优结果。但是，在内核内有分组的碎片式组合丢失的情形中，必须要计算妥协的分布。优选地，针对在滤波器内核中最中心的(诸)缺失分组来优化该分布。以上方案对于所有过程具有相等的内核大小：所选取的色度升采样滤波器类型、解交织算法、大小调整公式、以及缺失分组恢复滤波器。本发明并不隐式地要求相等大小的滤波器内核。它并不强制对这两个查找表实现相等量的系数权重。相比于大小调整内核大小而言减小了缺失分组重构内核大小的可能实现在图44中解说。图44中的方案代表8抽头多相滤波器内核，其被用于色度升采样、解交织和大小调整。系数权重作为相位p和运动m信号的函数地被并行地存储在第一LUT中，其还包括色度滤波器系数权重的半帧极性。第二LUT仅为六条中心线并行地存储分布权重D[-2..+3]。这意味着在当前在滤波器内核中的8条线中的任何线中对应于缺失分组的权重总是被分配给中心线的精简集，在此情形中，该内核被选取为高度为6条线。该组精简权重分布系数数据D[-2..3]还降低所要求的LUT密度。然而，精简的地址数目对存储基于分组丢失事件组合精简集的最佳精简分布所要求的RAM密度具有显著得多的影响。此精简是通过简单地使用缺失分组恢复滤波器内核中的外元素与该内核外在每一相应侧处的元素的OR公式来实现的。现在可提供解释来演示此滤波器如何能与分开的现有技术缺失分组重构滤波器等效地来工作。式9示出如何级联分开的5抽头缺失分组恢复滤波器和8抽头大小调整滤波器。

式9级联的缺失分组恢复和纵向大小调整的示例

在此示例公式中，对应于滤波器抽头i*Z^-2的视频数据与缺失分组相关联。式9中的第一行表示通过使用卷积来恢复缺失数据的5抽头FIR。中心抽头(在此情形中为i*Z^-2)由i*Z^-2抽头表示的线(其对应于缺失中心线的零系数权重)之上和之下围绕的诸相邻线中的视频数据的R[-2..+2]所决定的加权和来替代。将该式中针对i*Z^-2的此结果代入式9的第二行中的视频输出O(p,m)得到式10中获得的结果。注意，对应于缺失分组的(该部分)视频线的系数W_m等于1减去诸有效视频线的总和。这意味着整个W₂(p,m)*i*Z^-2项可从原始公式中被消去，如以下所演示的。

式10级联的缺失分组恢复和纵向大小调整的示例

式10中的最后表示正是图44中的方案的等效，其证明了此集成方法能再现相比于跟随在大小调整之后的分开的缺失分组重构而言严格相同的数学结果。当然，此集成并不限制要实现该数学等效。正如之前的集成步骤那样，也通过集成数学来实现质量改善。图42中的方案允许在所有情形中均能获得最高所可能实现的质量，而图44投放对这些异常事件(诸如缺失分组)的全然可接受的处置。

所有大小调整算法和实现不得不应对所谓的边界条件。尽管大小调整卷积内核是完全针对图像的绝大部分来定义的，但是内核可能在使用实际上位于就在该视频图像外的视频数据。这意味着大小调整滤波器在试图计算新的输出像素时可能要求未定义的视频数据。通常使用的技术称为填补视频图像，其通过重复开头和末尾的线以及开头和末尾的列来创建就在原始图像外的虚拟视频数据。围绕原始图像添加了新视频数据帧。更高级的技术有时也被使用，诸如线性或更高的外插或镜像操作，它们所起到的目的是一样的：要估计就在原始图像外的缺失视频数据。添加围绕原始图像的额外视频数据帧的优势能被容易地理解，因为大小调整滤波器不必在原始图像的边界附近被变更，因为大小调整滤波器所要求的所有像素均由此填补过程来定义。原始视频帧的扩展在图45中解说。在图45中的示例中，原始图像在所有方向上被扩展4个像素，从而每个维度上扩展8个像素。在所解说的行中的末尾7个像素分别具有值a、b、c、d、e、f和g。新创建的像素被指示为u、v、w和x。一些典型的计算这些缺失像素的示例是：

-末尾像素重复：u＝v＝w＝x＝g

-线性外插：u＝2*g-f,v＝2*u-f,w＝2*v-u,x＝2*w-v

-带重复的线性外插u＝v＝w＝x＝2*g-f

-带重复的抛物线外插u＝v＝w＝x＝3*g-3*f+e

-镜像：u＝g,v＝f,w＝e,x＝d

-…

在所有这些边界扩展算法中，新像素值基于原始像素值的线性加权和。这些滤波器过程再一次地在实效上是卷积过程。因此，根据本发明的实施例，它可被集成到图44中的集成示意图中，其为本发明的再一实施例。被描述为集成了缺失分组恢复滤波器的集成步骤也可一样被用来处置大小调整内核的边界条件。当在原始图像边界附近进行大小调整时，可将就在视频帧外的值视为缺失值，正如对应于缺失分组的视频数据那样。不是直接将分组丢失事件总线连接到LUT地址，而是代之以使用更一般化的数据有效信号。此数据有效信号是缺失分组检测和边界条件的结果。此集成过程在图46中解说。数据有效总线中的每一位是分组收到事件与指示当前像素是原始图像的一部分的信号的逻辑AND公式的结果。因此在视频数据对应于缺失IP分组或所要求的源像素位于原始图像外的情形中，对应的有效位变为零(无效)。这终止了本发明所提出的不同集成步骤。已演示出，完整的图像处理链能使用每维度(x和y)单个卷积滤波器来实现。此集成不仅降低了实现成本，而且与此同时还优化了图像质量。

在本发明的另一方面，公开了滤波器质量分析技术，尤其是基于滤波模板规范的滤波器质量分析技术，其可被独自使用或组合以上讨论的其他集成方面使用或用于以上讨论的其他集成方面，如也将进一步描述的。根据本发明的诸方面，这些处理块可被集成到处理器中并且可以在单元(诸如控制器)中提供。在本文的现有技术一节中讨论的差分器是否改善图像质量取决于想要的滤波特性，而这取决于视频标准及其他因素，诸如感知方面，如前所提及的。对于Rec.709全HDTV视频标准而言的所希望的后滤波器特性在图54中解说。当高清视频信号被处理(例如，调整大小)时，根据Rec.709后滤波规范，高至奈奎斯特频率的80％的可视频率不应被衰减或放大达超过0.05dB。在采样频率(Fs)的60％以上的频率需要有40dB的衰减，并且在Fs的75％以上的频率需要有至少50dB的抑制。理想情况下，图像处理链的调制传递函数决不应该越过由图54中的实线之上的灰色浅阴影区域所指示的规范边界。许多实践滤波器(包括前面描述的Rifman三次卷积、Catmull-Rom样条和Lanczos3加窗sinc)均不满足此准则。违反Rec.709滤波规范(由粗线阴影区所指示的区域)的任意性(假言)滤波器示例的MTF(实线曲线之下的浅阴影区域)在图55中解说。当分析图55时，滤波器质量损失可由组合的粗线阴影区域指示。粗线阴影标记的总面积可被视为由滤波过程引入的图像质量损失的度量，其可由色度升采样、大小调整、和解交织过程的任何组合所引起。数学上，最合情理的是将滤波器质量损失作为整个规范外函数的均方根值(RMS)来分析，并且因此常见的是由以下式8中的公式(的变体)来定义质量损失。

Q L o s s = \sqrt{{&Integral;}_{- \infty}^{+ \infty} {(H (ω) - M (ω))}^{2} . d ω}

其中:M(ω)＝Median[H(ω),L(ω),U(ω)]

其中H(ω)是作为角频率的函数的调制传递(或MTF值)

L(ω)是所评价的滤波规范的下限(衰减最大的值)

U(ω)是所评价的滤波规范的上限(增益最高的值)

式8作为规范外调制传递函数的RMS值的质量损失定义

式8中的中值算子的角色是要在MTF值在滤波器规范边界之外时选择恰适的参照物，并且当MTF在规范内时不返回QLoss。当给定角频率的MTF值在上限与下限之间时，中值返回致使H(ω)-M(ω)项为零的MTF值，其指示MTF曲线中的当前位置并不对质量损失(QLoss)值作出贡献。这被预期为是落在被有效规范的范围内的MTF值。当给定角频率的MTF值低于下限时，中值返回规范下限，这致使H(ω)-M(ω)项等于H(ω)-L(ω)，这不同于零并且藉此指示在MTF曲线中的当前位置对图像质量损失有所贡献。类似地，当给定角频率的MTF值高于上限时，中值返回规范上限，这致使H(ω)-M(ω)项等于H(ω)-U(ω)，这也不同于零并且藉此指示在MTF曲线中的当前位置对图像质量损失有所贡献。藉其定义，RMS值包含上述像差的平方值，其指示所有贡献均是正的并且因此多个质量损失贡献不能彼此对消。注意，式8中的所有值都是线性值，尽管图中的滤波器规范被指示为分贝。例如，在采样频率一半处的-6dB的上限结果导致约0.5的线性值。现在可以回到图53中的比较，其解说了Catmull-Rom样条(点线)和Rifman卷积(实线)的MTF曲线。通过使用式8中的公式来将这2个卷积技术与Rec.709滤波规范(如在图55中针对假言滤波器所解说的)作比较，可选择对于示例应用(HDTV影像的大小调整)而言最恰适的滤波器。图56示出包括执行此QLoss(质量损失)计算所必需的数据的图表。图56中的粗实线指示与图54中所示的相同滤波规范。注意，由于纵向尺度是以分贝值来表达的，所以该图没有示出阻带中的下限，因为该值是负无穷。事实上，对频率的无穷衰减(其不可能被显示)甚至是合乎希望的。注意，通带内的容许增益波动(仅+/-0.05dB)在不将纵轴分解成多个区域(这是将会破坏MTF曲线的外观的过程)的情况下是不可能被妥帖地视觉化的。如图56中的MTF图表所表明的，由粗点线曲线表示的Catmull-Rom样条相比于示为浅点线曲线的Rifman三次卷积(7.1％)而言引入更多的质量损失(11.6％)。这些质量损失数字是通过将式8归一化来获得的，以对于将输入信号减半而非对其进行滤波的简单衰减器产生100％的质量损失。然而，应当如何将从式8推导出的结果归一化的讨论并不影响这些比较结果，因为任何归一化过程必须被视为线性比例算子，这意味着这两个计算出的数字(11.6％对7.1％)之间的比例总是得以维持。因此，无论上述百分比的意义如何，当观看条件和对应的感知方面不能为通用应用所考虑时，基于Rec.709滤波规范，说Rifman卷积比Catmull-Rom样条更适合于对具有一般视频内容的HDTV信号进行大小调整是公平的。实际上，人眼的空间敏感性曲线表明，人可以将不同的质量损失贡献基于其可视扰动来“加权”。然而，需要有像素解析度如何对应于眼睛的角解析度的信息。因为这取决于观看距离和像素大小，所以不可能在通用目的质量损失分析中包括此类参数以及由此的任何感知加权方面。出于此目的，本文的范围可被任选地限于滤波模板，诸如Rec.709规范，如图54中所解说的。然而，注意，本发明不限于优化独立于人类视觉感知的“客观”滤波器规范。本文内所包括的质量损失优化的计算是仅为解说目的而存在的。类似于上述质量分析方法，可为任何其他标准(诸如为标清信号，其由Rec.601标准定义)比较滤波器规范顺应性。尽管一组不同的规范定义Rec.601标准，但是对上例中描述的这2个算法获得类似的比较，因为当处理SD信号时，Catmull-Rom样条相比于Rifman三次卷积(11.6％)而言引入更多的质量损失(15.9％)，前提是假定了使用13.5MHz的频率来实现这两个卷积滤波器。对于Rec.601全SDTV视频标准而言的所希望的后滤波特性在图57中解说。如果不得不在此例中的这两个滤波器类型之间作出选择，则将基于Rec.601和Rec.709滤波器规范顺应性分析来作出相同的决策。然而，当应对图形合成内容时，上述HD和SD滤波器质量规范不适用。许多其他替换方案是有实现可能的并且被包括在本发明的范围内，但在本文的范围内，基于一个简单条件来提出简单的滤波器质量分析作为示例：低于采样频率的1/4的频率不应受到滤波操作的影响。此单个条件涉及两方面：

-低于1/4*Fs的频率应当不受影响地通过(增益＝1)

-高于3/4*Fs的频率应被完全阻塞(增益＝0)

对高于3/4*Fs的频率的阻塞条件是必需的，以便不扰乱低于1/4*Fs的频率，因为这些频率围绕1/2*Fs被镜像。图58中的图表视觉化了用于图形合成内容的此类简单但仍有效的滤波器规范。由实线指示的该滤波器规范基于简单但合理的假定：滤波干扰赝像仅在信号频率足够低(在此情形中是采样频率的1/4)时才是可视的。理论上，应当设计满足这些滤波器规范而又具有从通带到阻带的突变的滤波器。然而，绝大多数满足这些规范的实践滤波器在MTF曲线从接近于1的通带增益向接近于0的阻带衰减演进时将具有某种程度上平滑的转变。图58中的MTF图表演示了由点线曲线表示的Catmull-Rom样条相比于示为点划线曲线的Rifman三次卷积(10.7％)而言引入较少的质量损失(5.3％)。类似于Rec.709滤波器顺应性质量分析，这些质量损失数字是通过将式8归一化以为简单衰减器产生100％质量损失来获得的。因此，可得出结论：Catmull-Rom样条比Rifman卷积更适合于对具有一般数据内容的图形合成内容信号进行大小调整。从以上两个质量分析方法推导出的这两个相反的结论清楚地演示出质量这一概念不能仅由单个数字来定义。然而，注意到，本发明不被限定于特定的一组滤波器规范，与之形成对比的是，它能被用于任何给定的滤波器规范，而无论其起源如何。

在本发明进一步的方面，基于滤波模板规范来优化质量进一步在前文描述的集成方法上来演示。根据本发明的诸方面，这些处理块可被集成到处理器中并且可以在单元(诸如控制器)中提供。本发明包括改善质量/成本比的方法，其包括以下步骤：

1)针对一组适用的输入源标准和大小调整因子(输出解析度/输入解析度比)通过首先将色度子采样IR与横向大小调整IR卷积并且其次通过将解交织IR和纵向大小调整IR卷积来为所选取的现有技术参考确定横向和纵向冲激响应。

2)(基于横向维度上的子像素数据、纵向维度上的运动适应)构造或选取单个组合式滤波器并且针对相同的一组适用的输入源标准和大小调整因子来计算其横向和纵向冲激响应。

3)为这两种实现计算调制传递函数(MTF)

4)选取一组质量分析规范，诸如Rec.709、Rec.601或(经简化的)替换物，诸如以上针对图形合成内容描述的质量分析规范或任何高级的感知加权质量分析方法。

5)分析所获得的质量改善和/或实现成本节省的组合，并且若有需要，从步骤2通过拣选另一算法来进行再次迭代，调节决定IR的这些函数的一些可用参数或修改(其中一些)函数。

上面提及的这5个实现步骤将在以下诸节中通过提供由易读的BASIC编程代码解说的一些示例来被逐步更详细地解释。这些编码示例还指示先前提及的质量数字是如何计算的。首先，给出了针对不同滤波器类型的冲激响应计算示例。对应于三次卷积的冲激响应可如图59中的样本程序代码中所解说地来计算。图59中的示例程序中的第0–4行设置了参数值(a)，其定义三次卷积滤波器类型。在此，出于简单性原因，仅包括了2个之前讨论的三次卷积类型：Rifman三次卷积(其中a＝-1)以及Catmull-Rom样条(其中a＝-0.5)。第5和14行包含在多相滤波器内核中所包括的诸正整数位置值上循环的句法。负位置的IR值是通过对此处获得的结果进行简单的镜像运算(由于该IR的对称性)来获得的。在第6行中，整数位置值被转换成经归一化的浮点变量值(x)，其中值“c_Oversampling”表示要由滤波器实现的子像素相位量，并且其中值“c_DownScaleFactor”表示输入像素与输出像素大小之比。后一值是需要的，因为三次卷积被定义为重构源输入信号的函数，而多相滤波器在输出采样空间中操作，这意味着相位信号(p，如图18中)是在输入采样之间定义的。例如，当x＝0时，当前输出采样的位置严格匹配于源输入采样位置，但是当x＝1时，当前输出采样的位置与源输入采样位置相比被移位1个输出像素的大小。无论该移位是向左还是向右，或甚至向下或向上都无关紧要，这是因为该滤波器的对称性的缘故。第7、9和11行定义了在第8、10和12行中实现的分段定义公式的区域。三次卷积公式由2个瓣定义，其各自具有它们自己的公式。第8和10行实现通用三次卷积，其具有定义第8行中的正瓣的单个参数(a)和在第10行中的负“过冲”瓣。另一组卷积类型示例是加窗sinc函数族。此sinc函数需要在这些函数能被计算之前先被定义，如图60中所解说的。需要Sinc函数代码主要用来处置当x＝0时的异常条件。在本文中进一步解说的这些示例程序中使用的sinc函数调用全都指由图60中的代码所实现的函数。可在这两类窗类型之间加以区分：第一类(诸如进一步描述的Lanczos3公式)对所有大小调整因子实现恒定的IR形状(但经比例缩放)。这确保滤波质量对所有大小调整因子保持恒定，这在一些系统中可能是希望的。第二类(诸如使用在式9中描述的Hann窗来进一步描述的示例)实现基于FIR内核大小而固定的恒定窗形状，而基本sinc频率则保持可变(取决于大小调整因子)。这确保对于给定的大小调整算法，对于所有大小调整因子有最优的但不再是恒定的滤波质量，这对于绝大多数系统将是希望的。独立于以上描述的实现类别的是，窗函数本身可被归类为两种函数类型：第一类(诸如已提及的Hann或Lanczos窗)，其定义在指定的窗区域外严格为零的数学公式。这在本文中进一步解说，因为这是限制所要求的计算量的最常见的已知办法。第二类，其中构造数学函数(诸如高斯、指数函数或多个sinc函数之积)，从而在指定的窗口区域之外，结果可被忽略并视为零。例如，高斯窗可被应用于有限内核大小，因为滤波器系数的量化将结果导致在所要求的内核区域之外为零。多sinc窗(sinc函数之积)的振荡将永远不会完全淡出；但是它们的振幅迅速收敛到零，从而得到适合用于有限内核大小的实现的多sinc窗。之前已讨论的Lanczos3滤波器是如图60中的程序所解说的加窗sinc的特例。Lanczos3IR曲线在之前的图50中已解说。该IR形状独立于大小调整因子(除了其比例以外)，并且还独立于卷积滤波器内核大小，这意味着Lanczos3卷积是基于由公式本身而非由滤波器内核大小决定的输入源像素的数目来执行的。例如，为了放大图像，Lanczos3滤波器要求6个相继的源列或线，而压缩到1/2要求12(2乘以6)个相继的源列或线。亦即，固定的12抽头FIR滤波器可被用来在从对源图像的2倍比例减小直至无限放大的比例缩放因子范围中执行基于Lanczos3的大小调整。见图61，第0和8行包含在多相滤波器内核中所包括的诸正整数位置值上循环的句法。在此，再次地，负位置的IR值是通过对此处获得的结果进行简单的镜像运算(由于该IR的对称性)来获得的。在第1行中，整数位置值被转换成经归一化的浮点变量值(x)，其等效于在三次卷积示例中使用的归一化。第2和4行定义窗口区域。Lanczos3卷积公式由覆盖sinc函数的3个瓣的窗来定义。第3和5行定义窗函数，其为相比于基本sinc函数而言慢三倍的sinc函数。第7行将IR公式实现为基本sinc与由Lanczos3公式定义的窗函数的乘积。在进一步的实现示例中，使用固定的Hann窗函数，如由式9所定义。由于在此例中窗大小是固定的，所以冲激响应的形状随大小调整因子而改变。

式9Hann窗的定义：在其中心为1、在其边沿为0的升余弦

注意，本发明可与这两种加窗sinc办法一起使用，要么保持质量恒定，要么对所有大小调整因子使质量最大化。图62中的示例程序片断演示了由以上式9中的简单升余弦函数定义的Hann窗的最大质量办法。第0和5行包含在多相滤波器内核中所包括的诸正(仅由于对称性)整数位置值上循环的句法。在第1行中，该整数位置值被转换成相对于窗内核(其定义“c_Half_IR_Size值”)而言经归一化的浮点变量值(x_win)。注意，此值并不随大小调整因子“c_DownScaleFactor”缩放，因为在此办法中该窗函数是完全由卷积内核大小来定义的。第2行实现如式9中描述的Hann窗函数。在第3行中，整数位置值被转换成经归一化的浮点变量值(x)，其等效于在Lanczos3卷积示例中使用的归一化。第4行将IR公式实现为基本sinc与由Hann公式定义的窗函数的乘积。以上诸BASIC代码片断全都建模了单个卷积步骤的冲激响应，其由在该冲激响应内的所有位置的正半数上循环的位置循环来实现。为了建模2个级联的卷积，诸如分开的解交织和纵向大小调整，嵌套循环结构是必需的。这由图35中的程序片断解说，其中Lanczos卷积被应用以执行解交织和纵向大小调整。注意，这两个卷积滤波器可以是不同的，但是示例代码在这两个滤波器类型相等时更加澄清，至少目前如此。见图63，图63中的代码片断的第0行将所要求的解交织滤波器抽头数目作为通用Lanczos卷积阶数的函数来求值。例如，当Lanczos3被选为滤波器类型时，所需的滤波器抽头数目变为6。在第1行中，大小调整器的冲激响应大小的一半被计算为所选取的Lanczos滤波器类型与所要求的比例降低因子的函数。第3和7行包含在解交织卷积滤波器的滤波器抽头上循环的句法。在第4行中，整数抽头索引被转换成经归一化的浮点变量值(x)，其等效于在之前的大小调整代码示例中使用的归一化。第5行将IR公式实现为基本sinc与由Lanczos公式定义的经归一化解交织抽头位置的窗函数的乘积。第6行累积所有抽头的所有解交织系数的总和，其之前在第2行中被初始化为零。在执行了该循环中的所有步骤之后，总和值被用来将解交织冲激响应归一化，这在第8到10行中执行。此归一化步骤确保所插入的缺失线是周围诸线的加权和，其中诸权重的总和等于1。此条件确保诸源颜色在该信号在感兴趣区域或至少滤波器内核大小的区域内恒定时不被改变。第11和26行包含在大小调整多相滤波器内核中所包括的诸正(仅由于对称性)整数位置值上循环的句法。在第12行中，整数位置索引被转换成经归一化的浮点变量值(x)，其等效于在Hann窗代码示例中使用的归一化。第13行针对当前位置将冲激响应IR初始化。这是必需的，因为双重卷积之故，冲激响应在多个部分上被计算，每个部分对应于一解交织滤波器抽头(见后)。第14和21行包含大小调整器冲激响应内的每位置的解交织卷积滤波器输出的滤波器抽头DI_Tap的嵌套循环。在第15行中，经归一化的插入位置InsertedPos被计算为解交织滤波器抽头DI_Tap的函数。第16行评价与经归一化位置x对应的当前冲激响应值IR(位置)受在由解交织滤波器抽头DI_Tap决定的位置InsertedPos处的当前评价的插入线影响的条件。如果是这种情形，则第17–19行中的代码被执行，直至第20行中的endif语句。第17行包含在给定了由“c_DownScaleFactor”决定的输出/输入像素大小比的情况下，通过解交织将大小调整内核中的经归一化位置x转换成相对于插入行的位置“InsertedPos”的经归一化位置“xx”的关键步骤，其前提是给定了如下事实：在解交织发生之后，线步调已加倍，这解释了该代码中的因子2。第18行将IR公式实现为基本sinc与由通用Lanczos公式定义的窗函数的乘积。在第19行中，所有解交织滤波抽头的贡献被累积在信号IR(位置)中，其之前在第13行中被初始化为零。一旦在第14和21行中定义的循环被结束，所有来自由解交织卷积滤波器重构的缺失行的贡献被纳入考虑。来自原始源线的贡献此刻仍然缺失，因为这是稍后在第24行中考虑的。第22行评价对应于经归一化位置x的当前冲激响应值IR(位置)受原始源线影响的条件，其取决于冲激响应大小。如果是这种情形，则第23和24行中的代码被执行，直至第25行中的endif语句。第23行通过解交织将大小调整内核中的经归一化位置x转换成相对于原始源线的位置而言的经归一化位置xx，这是类似于第17行中的句法的过采样公式。注意，图59–63中的代码片断全都以浮点格式来计算冲激响应，这对应于无限精度。然而，一些IR滤波器公式甚至并不产生具有无限精度的经归一化滤波器系数，从而引起附加要求的对以上IR结果的后处理。图64解说了这些FIR系数如何能在被转换成具有有限精度的实践整数格式时被归一化。图64中的代码片断的第1和14行包含在作为冲激响应存储在大小调整内核内的子像素相位的半数上循环的句法。由于其对称性的缘故，这些冲激响应值中仅半数需要被预先计算。另一半可被复制。第3和6行包含在大小调整卷积滤波器的滤波器抽头上循环的句法。此循环的目的是要计算如由图59到63中的代码片断所计算的原始浮点滤波器系数的总和。此总和值Sum_fp在第5行中由匹配于与如在第4行中计算的当前滤波器抽头和当前子像素相位相对应的当前位置half_posit的浮点冲激响应值IR_fp来累积。该绝对值在第4行中被求值，因为该冲激响应只有正半在之前已被计算，以应用对称性。恒定的过采样值c_Oversampling对应于希望数目的可解析滤波器相位，其匹配于子像素定位准确性。第8和13行再次包含在大小调整卷积滤波器的滤波器抽头上循环的句法。此循环的目的是要个体地为每个子像素相位将整数滤波器系数归一化，在此例中是使用最简单形式的误差扩散。在第9行中，针对给定过采样值c_Oversampling来计算对应于当前滤波器抽头tap和当前子像素相位phase的当前位置half_posit的绝对值。第10行首先针对冲激响应曲线IR_fp(half_posit)内的当前位置将原始计算出的浮点值归一化，这是通过将其除以当前相位的原始系数Sum_fp的总和来进行的。此经归一化值被乘以整数分母值c_coef_denominator，其决定了最终整数系数作为分子的希望精度。最终，为了获得确切希望的目标值，经扩散的误差Diffused_Error(其在第7行中被初始化为值0.5)被添加来为第11行中的希望截断步骤准备结果，其中向最近的相等或较低整数值的实际转换是由Int函数来执行的。由第11行中的截断步骤引入的误差在第12行中被求值，并且更新由下一滤波器抽头的截断过程使用的经扩散误差值。误差扩散过程的此简单实现保证了对于每个滤波器相位，所有滤波器系数的平均截断误差为零。这些滤波器系数的总和等于整数值c_coef_denominator，这意味着所有分子的总和除以分母仍保持为经归一化的，即使在将这些系数转换成整数值后仍是如此。注意，本发明能使用浮点数处理(例如，在GPU上)或整数处理(例如，在FPGA)中通过任选地包括如图64中所解说的误差扩展式截断步骤或类似的等效处理步骤来实现。既然已澄清了关于计算滤波器系数以及还有冲激响应的可能方式的详情，可检视计算调制传递函数的步骤，因为此MTF对于声称相比于当前现有技术实现而言的质量改善是关键。从IR来计算MTF的简单示例在图65中解说。使用在第0到2行中指定的常数，图65中的程序片断针对从比希望截止频率(Fc)低4个倍频程开始(如由c_start_frequency_APOT所指定的，其中APOT是代表2的幂的首字母缩写)直至比Fc高4个倍频程为止(如由c_end_frequency_APOT指定)的指数式扫掠频率来计算调制传递函数，其中每倍频程有12个频率，如由c_nFreq_per_Octave所指定的。这些数字被选取是因为它们提供了准确性与计算量之间的良好平衡。对于绝大多数的实践滤波器，MTF内的感兴趣区域可被限制于在目标截止频率(其为由用于大小调整目的的输出采样频率决定的奈奎斯特频率)之下和之上3或4个倍频程。对频域的“未加权”指数式扫掠与线性扫掠相比提供了对滤波器行为的更高效表示，线性扫掠通常要求“加权”频域的附加步骤。在此，选取每倍频程12个频率(而不是更显然的任意性数字，诸如10)，因为此小离散数字12生成一组感兴趣的谐波频率，包括对该截止频率的三次和五次谐波的良好逼近。尽管这对于绝大多数视频镜头而言可能显得无足轻重，但是对奈奎斯特频率的三次和五次子谐波的准确分析对于合成图形或数据内容而言是重要的，因为此类影像更常包含具有大小为像素大小的离散倍数的图案或图像细节。例如，图形绘画通常在包含4x4或5x5像素方块的类小棋盘图案的背景上包含1、2或3像素宽度的线。使用上述频率扫掠方法，三次子谐波以约0.1％的容限由2^-19/12来逼近，而五次子谐波以约0.8％的容限由2^-28/12来逼近。七次子谐波以约1.8％的容限由2^-34/12来逼近，而九次子谐波以约0.2％的容限由2^-38/12来逼近。通过将每个之前的频率增大21/12倍，每倍频程仅12个频率被计算，但是在这些频率采样MTF以有限的计算量高效地捕捉到许多有价值的信息。如果想要以改善的容限来采样三次和五次子谐波，每倍频程的频率数目必须从12被增大到至少41，并且对应的计算能力同样如此。注意，出于相同理由，此所谓的色度比例也被用在音乐中来使2个相继音符之间的节距区分达21/12，诸如B(si)和C(do)，因为这使得能够产生接近于理想的和弦，诸如要求三次和五次谐波的大三和音。许多其他感兴趣的属性随此色度比例而来，其中许多对于音乐而言也是有益的，但关于此MTF分析方法的效率的更详细讨论在本文的范围之外。然而，基于所包括的代码片断，能够用其他离散的数字集来实验并且藉此得出结论：以上选取的值真的合乎情理。在第3行中，要被计算的倍频程的数目c_nOctaves是从已讨论的之前声明的常数来推导的。此值在第4行中被用来计算要分析的频率的数目c_nFreqsToAnalyze，其为第7和17行中的基于频率索引FreqIndex的频率扫掠循环所要求的。第5行基于为c_start_frequency_APOT选取的值并且考虑到奈奎斯特频率为输出采样频率的一半(此2的幂被除以2)这一事实来计算线性开始频率c_start_frequency。此开始频率在第8行中被用来计算在其循环内的每频率索引FreqIndex的循环频率Frequency。在第9行中，在考虑到比例降低因子DownScalefactor的情况下，源像素空间中的此循环频率被转换成输出像素空间中的希望角截止频率f。在输出采样的数目高于输入源采样的数目的情形中，DownScalefactor具有值1。在输出采样的数目低于输入源采样的数目的情形中，DownScalefactor具有大于1的值，其等于输入采样率除以输出采样率的比率。第11和16行包含在冲激响应内的所有位置上循环的句法。此嵌套的循环是积累如由每频率的傅立叶变换所定义的所有位置的离散总和所需要的。此傅立叶变换MTF(FreqIndex)首先在第10行针对每个频率被初始化，并且在第15行中针对每个位置按取决于相位P与频率f的乘积的余弦函数Cos(P*f)来进行累积，其中该冲激响应值IR_Value对应于当前位置。此处所使用的相位值P是在之前的第14行中基于过采样值c_Oversampling来计算的，该值定义IR子像素定位精度以及在该冲激响应的正半内对应的位置half_position。当前位置的冲激响应值IR(half_position)在第13行中基于IR_Surface值被归一化以获得IR_Value。这确保了计算出的MTF值的幅值独立于影响冲激响应精度的这2个参数：所选取的过采样值c_Oversampling和整数系数值精度c_coef_denominator，如由第6行所定义的。由于之前只计算了冲激响应的正半，所以位置索引position必须在考虑到冲激响应大小IR_Size的情况下被转换到正值half_position，正如第12行中所做的。为了为给定滤波规范模板的特定大小调整卷积滤波器计算质量损失，需要将上述MTF曲线与滤波器模板边界作比较。由于此过程要求每频率将MTF值与这些边界(衰减上限和下限)作比较，所以将来自图65的上述代码片断拆分成两个分开的规程是有用的：

第一规程，其基于对希望的频率范围和频率精度的希望扫掠方法来计算每频率索引的频率值。

b)第二规程，其使用预定义的频率来为所有目标频率计算MTF值。

这两个规程的结果都将被用来计算质量损失，如在本文中进一步描述的。每频率索引地计算频率值的规程在图66中解说。以上图66中的代码几乎不需要进一步的澄清，因为此代码片断是来自图65(其之前已被澄清过)的子集。仅有的主要差别在于以下事实：每频率索引的频率值是预先计算的并且由此存储在阵列Frequency(FreqIndex)中。这对图67同样有效，图67使用此预先计算的阵列Frequency(FreqIndex)来推导傅立叶变换所使用的循环频率。

现在，公开了基于上面讨论的质量度量来定义系数滤波器规范的方面。既然a)MTF曲线已为给定的离散步长频率扫掠良好地定义了(如图67中所解说)b)滤波器规范模板已被定义了(见例如图54，其针对Rec.709HD滤波规范并且c)已定义了质量损失度量，如式8中所示要定义规程来为给定视频标准的给定卷积滤波器计算质量损失是有实现可能的。然而，这要求实现式8的变体，其要求对该表示的一些修改。首先，式8中的积分由下式10中的离散和来代替。

Q L o s s = \sqrt{Σ_{ω = - \infty}^{ω = + \infty} {(H (ω) - M e d i a n (U (ω), H (ω), L (ω)))}^{2}}

其中H(ω)是作为角频率的函数的调制传递(或即MTF值)。

L(ω)是所评价的滤波规范的下限(衰减最多的值)

U(ω)是所评价的滤波规范的上限(增益最高的值)

ω是角频率的某种离散表示

式10初始离散质量损失定义

为了获得由图66中的频率扫掠定义的相同离散频率，式10可被重写为如式11中所解说的。

Q L o s s = \sqrt{Σ_{i = - R . D}^{i = + R . D} {(H (2^{\frac{i}{D}} ω_{c}) - M e d i a n (U (2^{\frac{i}{D}} ω_{c}), H (2^{\frac{i}{D}} ω_{c}), L (2^{\frac{i}{D}} ω_{c})))}^{2}}

其中ω_c是目标截止角频率

i是整数频率索引

R是所分析的高于和低于目标滤波器截止频率的倍频程数

D是每倍频程所分析的频率数或即“密度”参数

式11作为MTF规范容限的RMS值的离散质量损失定义

如前所述，对式11中的范围参数R的良好选择是3或4，因为对于妥帖的滤波器而言，此频率范围应覆盖从通带到阻带的整个转变。这暗示当R的值被选取得足够大(例如4)时，较大的R值几乎不影响QLoss值。对密度D的高效选择是12。注意，D值越大，QLoss值就变得越大。这是因为每频率索引的带宽在该式内不被考虑。尽管式11提供了比较不同的大小调整算法的高效质量分析方法，但是由该公式提供的绝对值并不提供物理意义。如本文中之前所讨论的，这样的特征要求该公式内的某种形式的归一化。尽管最佳滤波器选择独立于由此类归一化提供的此物理可解读性，但是它是澄清所分析的质量度量的意义的所希望的特征。因此，尽管并非严格必需，但是以下将简要澄清两个归一化方法，并且它们被包括作为式11中所见的公式的扩展。第一个考虑是式11的结果取决于参数D的选择。理想情况下，当D趋于无穷值时，质量损失的结果应收敛到某个值；但是当D向上时，所累积的项的数目也当如是。这可通过将求和除以D来克服，如式12中所解说的。

Q L o s s = \sqrt{\frac{Σ_{i = - R . D}^{i = + R . D} {(H (2^{\frac{i}{D}} ω_{c}) - M e d i a n (U (2^{\frac{i}{D}} ω_{c}), H (2^{\frac{i}{D}} ω_{c}), L (2^{\frac{i}{D}} ω_{c})))}^{2}}{D}}

式12作为MTF规范容限的RMS值的经归一化质量损失定义

式12为大的D值提供独立于D的质量损失结果。当如前所述，D被选取为低的效率值(诸如12)时，所获得的结果在D为无穷时非常好地逼近该结果。这是有用的归一化规程，尤其是在该规范预见目标值(T)而非由通带和阻带波纹容限所决定的上限和下限(U和L)时。在此情形中，式12的变体可被定义，如在以下式13中所解说的。

Q L o s s = \sqrt{\frac{Σ_{i = - R . D}^{i = + R . D} {(H (2^{\frac{i}{D}} ω_{c}) - T (2^{\frac{i}{D}} ω_{c}))}^{2}}{D}}

式13作为MTF目标规范的RMS值的经归一化质量损失定义

式13可被视为经典RMS误差定义(其中误差被视为实际MTF值(H)与目标MTF值(T)之间的差)的指数式扫掠变体。在滤波器规范模板提供上限与下限之间(例如，如由HDRec.709视频的通带滤波器规范中的耐受波纹所决定的)的有效MTF值范围的情形中，式12和13两者均未能描述此QLoss值如何临界，这不可避免地引向第二考虑。假定实践滤波器将引入比滤波器规范的耐受(例如0.05dB)波纹高得多的通带波纹。在此类情形中，从目标值(T)或上限和下限值(U和L)减去所获得的MTF值(H)将产生实际上相同的结果，因为H-T结果得到比U-L远高得多的值。这导致以下结论：上述公式所获得的质量损失变得实际上独立于滤波器规范所耐受的“区域”。为了克服此反常，提出了第二归一化技术，其在本文中被进一步用来指示基于给定滤波器规范模板所耐受的MTF范围的质量损失结果。此规范容限能被表达为由每频率的滤波器规范模板(U-L)提供的上边界与下边界之间的差。对应于感兴趣的频率范围的RMS值可类似于质量损失度量地被计算，如以下式14所解说的。

S p e c T o l e r a n c e = \sqrt{\frac{Σ_{i = - R . D}^{i = + R . D} {(U (2^{\frac{i}{D}} ω_{c}) - L (2^{\frac{i}{D}} ω_{c}))}^{2}}{D}}

式14如由MTF滤波器规范模板定义的经归一化耐受RMS变动

在滤波器规范模板并不提供容限值的情形中，仍可能定义有意义的有效调制传递范围，因为上限(U)和下限(L)能基于如由该实现定义的量化误差来选取。例如，当滤波器系数被圆整到8位值时，信噪比被限于8乘以约6dB，结果得到48dB的值。在此情形中，U＝+48dB和L＝-48dB可以是对阻带的良好选择，用于分析在由量化过程引入的质量损失之上的质量损失。通带中的耐受波纹由围绕单位增益的量化误差来给出：U＝1+1/256以及L＝1-1/256得出约U＝0.034dB以及L＝-0.034dB的耐受波纹，这是通过计算20*Log(1+-1/256th)来获得的。注意，这些值在与由Rec.709滤波器模板规定的容限相同的数量级，这并非巧合，因为显然，每视频颜色分量有8位对于许多视频处理应用而言是流行的选择是有原因的。式14的结果可被视为由滤波器规范定义的合法MTF区域的RMS值。这由图68中的阴影区域解说。尽管式12提供了灰色填充区域的RMS值的度量，但是式14对阴影区域提供了相同的结果。注意，与原始规范相比，该规范的小的合理扩展是必需的，其用来定义阴影区域。由于Rec.709标准对于目标截止频率的0.4与0.5倍之间的转变频带没有提供上限值和下限值，所以这些值是从邻居区域“借”来的。上限值是从通带借来的，而定义在新采样频率一半的0.5与0.6倍之间的下限值是被复制的。假定以图68中的阴影区域对应于滤波器规范有多临界的方式来定义滤波器规范模板以便不引入可感知的赝像(诸如锐度损失是混叠)，其RMS值是良好的参照物来解读对于灰色填充区域所获得的RMS值。这两个RMS值(在式12和14中)之间的比率有效地提供了质量损失值的第二(往往更有意义的)归一化技术。这最终带来了甚至更有意义的经归一化质量度量，如由式15所定义。

Q L o s s = \sqrt{\frac{Σ_{i = - R . D}^{i = + R . D} {(H (2^{\frac{i}{D}} ω_{c}) - M e d i a n (U (2^{\frac{i}{D}} ω_{c}), H (2^{\frac{i}{D}} ω_{c}), L (2^{\frac{i}{D}} ω_{c})))}^{2}}{Σ_{i = - R . D}^{i = + R . D} {(U (2^{\frac{i}{D}} ω_{c}) - L (2^{\frac{i}{D}} ω_{c}))}^{2}}}

其中i是整数求和索引

R是高于和低于目标截止频率的倍频程数(设为3或4)

D是每倍频程的整数频率数(在这些代码片断中设为12)

ω_c是等于输出采样频率一半的目标截止角频率

H(...)是当前频率的MTF值

U和L代表由滤波器规范提供的上限和下限

式15考虑如由滤波器规范模板定义的容限的经归一化RMS质量损失定义

由于式15在实效上定义了RMS值的比率，所以其结果可被表达为百分比。例如，15％的QLoss值将指示对滤波器规范的RMS违反是滤波器规范容限的15％。在本例中由滤波器规范定义的耐受波纹被减半的情形中，所获得的QLoss值增大至少30％，如由此类更严苛的滤波器规范所预期的。0％的QLoss值将指示整个MTF曲线符合滤波器规范容限。注意，在绝大多数情形中，滤波器规范是以分贝(dB)来定义的。例如，Rec.709HD规范规定通带中有0.05dB的耐受波纹。为了在代码片断中使用这些规定的值来计算质量损失，以dB表达的值必须被转换为线性增益值，如在图69中所解说的。图69的函数简单地实现分贝表示的数学定义。该函数被图70中的代码片断使用，其示出基于如之前在图66中针对有限数目的离散频率所描述的预先计算的指数式频率对图68中所解说的质量损失的简单直接的代码实现和计算。第0行将非经归一化质量损失值初始化为0，这表示式15中的分子，而第1行将非经归一化SpecTolerance_Rec709值初始化为0，这表示式15中的分母。第2和22行包含步进遍历所有FreqIndex值(其代表式15中的索引(i))的循环。第3、6、9、12和15行将预先计算的频率作为频率索引Frequency(FreqIndex)(如在图66中定义的)的函数来求值以确定由Rec.709滤波模板规定的频带。一旦该频带被确定，UpperValueLimit值就在第4、7、11、13或16行被定义，而LowerValueLimit值在第5、8、11、14或17行被定义。第19行基于先前计算的规范上边界和下边界以及先前计算的MTF值(如在图67中所解说的)来计算如在式15中所见的中值ValueLimit。此结果被用在第20行中来累积平方值的和，作为当前MTF(FreqIndex)值与规范容限ValueLimit内最靠近的有效值的偏离。所计算出的值QualityLoss表示式15中的分子。该式中的分母SpecTolerance_Rec709在第21行基于有效Rec.709规范MTF间隔的累积平方值来计算。最终，第23行计算上面定义的值之间的比率的RMS值，如由式15所定义的。

Claims

1.一种视频处理的方法，其用于通过对输入图像执行处理来生成输出图像，其中该处理达成多个个体的第一图像处理滤波步骤的效果，所述多个个体的第一图像处理滤波步骤选自：升采样、解交织、大小调整、纵向和横向大小调整、分组丢失重构、或与大小调整和/或分组丢失重构组合使用的数据填补或数据内插技术，所述方法包括执行对所述输入图像顺序执行一个或多个第二图像处理步骤的单个组合式滤波器操作以生成所述输出图像，其中至少一个所述第二图像处理步骤达成选自升采样、解交织、大小调整、纵向和横向大小调整、分组丢失重构、或与大小调整和/或分组丢失重构组合使用的数据填补或数据内插技术的至少两个、三个、四个、或五个个体滤波步骤的效果。

2.如权利要求1所述的方法，其特征在于，至少两个所述第二图像处理步骤达成至少两个、三个、四个、或五个所述第一图像处理步骤的效果。

3.如权利要求1或2所述的方法，其特征在于，所述第一图像处理步骤包括可分开的纵向和横向色度升采样、运动适应性解交织、可分开的大小调整、以及任选地缺失数据重构中的任何步骤。

4.如权利要求3所述的方法，其特征在于，一个所述第二图像处理步骤达成色度升采样和横向大小调整的组合效果；和/或另一个所述第二图像处理步骤达成解交织和纵向大小调整的组合效果。

5.如任何在前权利要求所述的方法，其特征在于，至少一个或两个所述第二图像处理步骤被实现为多相滤波器，任选地被钳位在2个其他线性滤波器的结果之间。

6.如任何在前权利要求所述的方法，其特征在于，一个或多个所述第二图像处理步骤包括滤波，并且一个或多个所述第二图像处理滤波步骤的滤波器参数和/或实现改善输出图像质量、等待时间、所述方法的执行成本和/或所述方法的性能中的任何一者。

7.如权利要求6所述的方法，其特征在于，所述一个或多个所述第二图像处理步骤被适配以用于要在其上执行所述方法的处理引擎(CPU、DSP、GPU、ASIC、FPGA或其组合)。

8.如权利要求3–7中任一项所述的方法，其特征在于，一个或多个所述第一图像处理步骤被选为基于卷积的滤波。

9.如权利要求1–8中任一项所述的方法，其特征在于，一个或多个以下第一图像处理步骤：解交织和大小调整或纵向大小调整被选为适应性对角滤波方法和/或基于仅使用线性算子的方法。

10.如权利要求1–9中任一项所述的方法，其特征在于，所述第一图像处理步骤分组丢失重构被选为分组重构(滤波)方法。

11.如权利要求4–9中任一项所述的方法，其特征在于，所述第二图像处理滤波步骤达成色度升采样和横向大小调整的组合效果，并被实现为数个并行卷积滤波器，其中每个颜色分量一个卷积滤波器。

12.如权利要求4–9中任一项所述的方法，其特征在于，所述第二图像处理滤波步骤达成解交织和纵向大小调整的组合效果并以两个并行的大小调整滤波器、或替换地以单个运动检测器调制式大小调整滤波器来实现。

13.如权利要求2或3所述的方法，其特征在于，一个所述第二图像处理滤波步骤达成纵向色度升采样、纵向大小调整和解交织的组合效果。

14.如权利要求13所述的方法，其特征在于，所述第二图像处理滤波步骤达成纵向色度升采样、纵向大小调整和解交织的组合效果，并被实现为两个多相滤波器路径，其中每个多相滤波器路径包括数个并行卷积滤波器，其中每颜色分量一个卷积滤波器；或替换地以单个多相滤波器来实现，其中每颜色分量一个多相滤波器。

15.如权利要求2或3所述的方法，其特征在于，一个所述第二图像处理滤波步骤达成色度升采样、大小调整、解交织、和分组丢失重构的组合效果，其中任选地，对两个或多个或所有底下的第一图像处理使用相等的内核大小。

16.如权利要求6–15中任一项所述的方法，其特征在于，对于一个或多个所述第二图像处理步骤，至少部分的滤波器系数被存储在查找表中，其中任选地对于其该实施例由多个并行滤波器实现的情况，优选它们的滤波器系数中的至少部分被存储在查找表的相同部分中或从相同部分中推导。

17.一种用于通过对输入图像执行处理来生成输出图像的视频处理器，其特征在于，所述处理器被适配成达成多个第一图像处理滤波步骤的效果，所述多个第一图像处理滤波步骤选自：升采样、解交织、大小调整、纵向和横向大小调整、分组丢失重构、或与大小调整和/或分组丢失重构组合使用的数据填补或数据内插技术，所述处理器被适配成执行用于对所述输入图像顺序执行一个或多个第二图像处理步骤的单个组合式滤波器操作以生成所述输出图像，其中至少一个所述第二图像处理步骤达成选自升采样、解交织、大小调整、纵向和横向大小调整、分组丢失重构、或与大小调整和/或分组丢失重构组合使用的数据填补或数据内插技术的至少两个、三个、四个、或五个个体滤波步骤的效果。

18.如权利要求17所述的视频处理器，其特征在于，适配成使得至少两个所述第二图像处理步骤达成至少两个、三个、四个、或五个所述第一图像处理步骤的效果。

19.如权利要求17或18所述的视频处理器，其特征在于，适配成使得所述第一图像处理步骤包括可分开的纵向和横向色度升采样、运动适应性解交织、可分开的大小调整、缺失数据重构中的任何步骤。

20.如权利要求19所述的视频处理器，其特征在于，适配成使得一个所述第二图像处理步骤达成色度升采样和横向大小调整的组合效果；和/或另一个所述第二图像处理步骤达成解交织和纵向大小调整的组合效果。

21.如权利要求17到20所述的视频处理器，其特征在于，适配成使得至少一个或两个所述第二图像处理步骤被实现为多相滤波器，任选地被钳位在2个其他线性滤波器的结果之间。

22.如权利要求17到21所述的视频处理器，其特征在于，适配成使得一个或多个所述第二图像处理步骤包括滤波，并且一个或多个所述第二图像处理滤波步骤的滤波器参数和/或实现改善输出图像质量、等待时间、执行成本和/或性能中的任何一者。

23.如权利要求22所述的视频处理器，其特征在于，所述处理器包括处理引擎，并且所述一个或多个所述第二图像处理步骤被适配成在处理引擎(CPU、DSP、GPU、ASIC、FPGA或其组合)上执行。

24.如权利要求19–23中任一项所述的视频处理器，其特征在于，适配成使得一个或多个所述第一图像处理步骤被选为基于卷积的滤波。

25.如权利要求17–24中任一项所述的视频处理器，其特征在于，适配成使得一个或多个以下第一图像处理步骤：解交织和大小调整或纵向大小调整被选为适应性对角滤波方法和/或基于仅使用线性算子的方法。

26.如权利要求17–25中任一项所述的视频处理器，其特征在于，适配成使得所述第一图像处理步骤分组丢失重构被选为分组重构(滤波)方法。

27.如权利要求20–26中任一项所述的视频处理器，其特征在于，适配成使得所述第二图像处理滤波步骤达成色度升采样和横向大小调整的组合效果，并被实现为数个并行卷积滤波器，其中每个颜色分量一个卷积滤波器。

28.如权利要求20–26中任一项所述的视频处理器，其特征在于，适配成使得所述第二图像处理滤波步骤达成解交织和纵向大小调整的组合效果并以两个并行的大小调整滤波器、或替换地以单个运动检测器调制式大小调整滤波器来实现。

29.如权利要求18或19所述的视频处理器，其特征在于，适配成使得一个所述第二图像处理滤波步骤达成纵向色度升采样、纵向大小调整和解交织的组合效果。

30.如权利要求29所述的视频处理器，其特征在于，适配成使得所述第二图像处理滤波步骤达成纵向色度升采样、纵向大小调整和解交织的组合效果，并被实现为两个多相滤波器路径，其中每个多相滤波器路径包括数个并行卷积滤波器，其中每颜色分量一个卷积滤波器；或替换地以单个多相滤波器来实现，其中每颜色分量一个多相滤波器。

31.如权利要求18或19所述的视频处理器，其特征在于，适配成使得一个所述第二图像处理滤波步骤达成色度升采样、大小调整、解交织、和分组丢失重构的组合效果，其中任选地，对两个或多个或所有底下的第一图像处理使用相等的内核大小。

32.如权利要求22–31中任一项所述的视频处理器，其特征在于，适配成使得对于一个或多个所述第二图像处理步骤，至少部分的滤波器系数被存储在查找表中，其中任选地对于其该实施例由多个并行滤波器实现的情况，优选它们的滤波器系数中的至少部分被存储在查找表的相同部分中或从相同部分中推导。

33.一种改善质量/成本比的方法，包括以下步骤：

1)针对一组适用的输入源标准和大小调整因子(输出解析度/输入解析度比)通过首先将色度子采样IR与横向大小调整IR卷积并且第二通过将解交织IR与纵向大小调整IR卷积来为参考确定横向和纵向冲激响应，

2)(基于横向维度上的子像素数据、纵向维度上的运动适应)构造单个组合式滤波器并且针对相同的一组适用的输入源标准和大小调整因子来计算其横向和纵向冲激响应，

3)为这两种实现计算调制传递函数(MTF)

4)选取用于图形合成内容的一组质量分析规范或任何高级的感知加权式质量分析方法，

5)分析所获得的质量改善和/或实现成本节省的组合，并且若有需要，从步骤2通过拣选另一算法来进行再次迭代，调节决定该IR的这些函数的一些可用参数或修改(其中一些)函数。

34.一种在处理引擎上可操作的计算机程序产品，其用于执行方法权利要求1–16和/或33中的任一项。

35.一种存储权利要求34的计算机程序产品的非瞬态机器可读存储介质。

36.一种用于通过对输入图像执行处理来生成输出图像的视频处理器的控制器，其特征在于，所述控制器被适配成达成多个个体的第一图像处理滤波步骤的效果，所述多个个体的第一图像处理滤波步骤选自：升采样、解交织、大小调整、纵向和横向大小调整、分组丢失重构、或与大小调整和/或分组丢失重构组合使用的数据填补或数据内插技术，所述控制器被适配成执行用于对所述输入图像顺序执行一个或多个第二图像处理步骤的单个组合式滤波器操作以生成所述输出图像，其中至少一个所述第二图像处理步骤达成选自升采样、解交织、大小调整、纵向和横向大小调整、分组丢失重构、或与大小调整和/或分组丢失重构组合使用的数据填补或数据内插技术的至少两个、三个、四个、或五个个体滤波步骤的效果。

37.如权利要求36所述的控制器，其特征在于，适配成使得至少两个所述第二图像处理步骤达成至少两个、三个、四个、或五个所述第一图像处理步骤的效果。

38.如权利要求36或37所述的控制器，其特征在于，适配成使得所述第一图像处理步骤包括可分开的纵向和横向色度升采样、运动适应性解交织、可分开的大小调整、缺失数据重构中的任何步骤。

39.如权利要求38所述的控制器，其特征在于，适配成使得一个所述第二图像处理步骤达成色度升采样和横向大小调整的组合效果；和/或另一个所述第二图像处理步骤达成解交织和纵向大小调整的组合效果。

40.如权利要求36到39中任一项所述的控制器，其特征在于，适配成使得至少一个或两个所述第二图像处理步骤被实现为多相滤波器，任选地被钳位在2个其他线性滤波器的结果之间。

41.如权利要求36到40中任一项所述的控制器，其特征在于，适配成使得一个或多个所述第二图像处理步骤包括滤波，并且一个或多个所述第二图像处理滤波步骤的滤波器参数和/或实现改善输出图像质量、等待时间、执行成本和/或性能中的任何一者。

42.如权利要求41所述的控制器，其特征在于，所述处理器包括处理引擎，并且所述一个或多个所述第二图像处理步骤被适配成在处理引擎(CPU、DSP、GPU、ASIC、FPGA或其组合)上执行。

43.如权利要求36–42中任一项所述的控制器，其特征在于，适配成使得一个或多个所述第一图像处理步骤被选为基于卷积的滤波。

44.如权利要求36–43中任一项所述的控制器，其特征在于，适配成使得一个或多个以下第一图像处理步骤：解交织和大小调整或纵向大小调整被选为适应性对角滤波方法和/或基于仅使用线性算子的方法。

45.如权利要求36–44中任一项所述的控制器，其特征在于，适配成使得所述第一图像处理步骤分组丢失重构被选为分组重构(滤波)方法。

46.如权利要求37–45中任一项所述的视频处理器，其特征在于，适配成使得所述第二图像处理滤波步骤达成色度升采样和横向大小调整的组合效果，并被实现为数个并行卷积滤波器，其中每个颜色分量一个卷积滤波器。

47.如权利要求37–45中任一项所述的控制器，其特征在于，适配成使得所述第二图像处理滤波步骤达成解交织和纵向大小调整的组合效果并以两个并行的大小调整滤波器、或替换地以单个运动检测器调制式大小调整滤波器来实现。

48.如权利要求36或37所述的控制器，其特征在于，适配成使得一个所述第二图像处理滤波步骤达成纵向色度升采样、纵向大小调整和解交织的组合效果。

49.如权利要求48所述的控制器，其特征在于，适配成使得所述第二图像处理滤波步骤达成纵向色度升采样、纵向大小调整和解交织的组合效果，并被实现为两个多相滤波器路径，其中每个多相滤波器路径包括数个并行卷积滤波器，其中每颜色分量一个卷积滤波器；或替换地以单个多相滤波器来实现，其中每颜色分量一个多相滤波器。

50.如权利要求36或37所述的控制器，其特征在于，适配成使得一个所述第二图像处理滤波步骤达成色度升采样、大小调整、解交织、和分组丢失重构的组合效果，其中任选地，对两个或多个或所有底下的第一图像处理使用相等的内核大小。

51.如权利要求38–50中任一项所述的控制器，其特征在于，适配成使得对于一个或多个所述第二图像处理步骤，至少部分的滤波器系数被存储在查找表中，其中任选地对于其该实施例由多个并行滤波器实现的情况，优选它们的滤波器系数中的至少部分被存储在查找表的相同部分中或从相同部分中推导。