CN101971209A - 超高分辨率视频处理的稀疏几何结构 - Google Patents

Abstract

在分析输入视频序列的方法中，输出视频序列合成图像的像素与属于趋势预定子集的各个规律趋势相关联。从预定集中确定输出序列的第一图像区域的候选趋势的第一子集。根据输入序列的图像和候选趋势的第一子集，从趋势的预定集中确定第一图像之后的输出序列第二合成图像对应区域的候选趋势的第二子集。从候选趋势的第二子集中检测第二合成图像这个区域的像素的规律趋势。候选趋势子集的递归确定为视频序列的有效分析提供了稀疏几何。该方法非常适用于超高分辨率视频应用，例如去隔行扫描，帧频转换和降噪。

Description

超高分辨率视频处理的稀疏几何结构

背景技术

本发明涉及数字视频处理的方法。具体地，本发明能够用在超高分辨率视频处理领域。超高分辨率视频处理方法应用于包括超高分辨率插值(例如，帧频转换，超高分辨率视频的缩放和去隔行扫描)以及减少压缩伪像和/或噪声的各种应用中。

在数字系统中，视频序列通常表示为像素值的列阵I_t(x)，式中t为整数时间索引，x为一个表示图像中的像素位置的二维整数索引(x₁，x₂)。该像素数值可以是例如单一数字(例如，灰度值)或表示在颜色空间(例如，RGB，YUV，YCbCr，等)中的颜色坐标的三数集。

超高分辨率视频处理方法通过结合在多个时间相邻的视频帧的像素值来计算新像素值(用于插值)或者已有像素的新值(降低噪声)。

文献WO 2007/115583 A1阐述了一种显示很少伪像的超高视频处理方法。该方法包括为每个将要算计的新像素选择最适合计算该像素的插值。然而，对某些特定序列，就需要通过增加被考虑插值的总数量来改善该方法。但是，质量的提高是以较高复杂度为代价的。

在视频插值的应用中，现有技术为动态自适应或动态补偿。

当视频不运动时，动态自适应视频的去隔行扫描只提供全分辨率的去隔行扫描帧。否则，去隔行扫描帧会出现锯齿状的轮廓或者较低分辨率纹理以及闪烁。例如，美国专利No.5,428,398描述了先进动态自适应技术的实例。

众所周知，动态补偿技术可达到较高的质量等级，但与动态自适应技术相比，是以较低的鲁帮性和在有些情况下显示较为严重的伪像为代价的。这种情况尤其发生在动态预测不能很好工作的视频的位置，如遮挡物，透明物体或阴影。美国专利No.6,940,557讨论了动态补偿去隔行扫描技术的实例。

执行帧频转换的标准方法包括用于计算密集动态区域的预测两帧之间的动态预测，以及通过动态补偿插值计算新的帧。由于上述相同的原因，根据这样步骤的帧频换转换会有一些缺点。密集的动态预测对周期模式、轮廓、或平坦区域失去效果。

动态预测的常用技术称为“块匹配”。在块匹配技术中，预测在x和t上的动态包括通过窗W的最小化匹配能量E_x(v)，其中一组偏移量为d＝(d₁，d₂)。匹配能量(L₁-energy)的可能形式为

另一种经常使用的形式为L₂能量(L₂-energy)或欧几里得距离(Euclidean distance)：

块匹配非常适合视频补偿方案中的动态补偿，例如，使用根据块变换的MPEG。如果匹配算法匹配图像中有两个窗口，该图像具有相似性但不是表示相同对象(例如，在单词“sweet”的图像中，用第二个‘e’匹配第一个‘e’)，则压缩效果不会有损失。但是，当执行视频插值时，不能与实际相同对相对应的匹配像素组会产生插值伪像，这是由于图像中所显示的对象中的空间相关性使得插值像素会反映出“不正确的动态”。

块匹配的方法是计算密集型的，且与各个像实际考虑的可能位移的数量成比例。在视频压缩中，“快速”块匹配方案包括使用预定动态子集合来限制可能位移的范围。这在视频插值中是不能接受的，在视频插值中，使用不太精确的位移向量会导致模糊插值图像或者形成伪像。

为了避免在运动预测中的这些问题，已开发多种不同的方法。第一类方法强调在动态区域中的平滑性约束，例如，通过相邻的像素进行平滑处理，因而对相应的动态向量是相互接近的。该方法可利用多个尺度的动态预测或递归块匹配来实现。另一类解决该问题的方法是相位相关。

美国专利No.5,742,710讨论了根据多个尺度的块匹配的方法。在两个尺度的情况中，块匹配在各个维度减少2倍的尺寸因子(即，像素减少4倍)的It和It+1的副本之间执行，并细化所产生的位移图从而获得好两倍的分辨率。细化处理是在粗尺寸结果周围的限制范围的搜索。因此，因为仅仅只对较小的图像进行全范围的搜索，可以降低位移搜索的代价。所产生的位移区域同样更加平滑，因为其进精细化了低分辨的图(map)。但是，在视景(scene)中的动态不能通过平滑的位移图进行准确的计算：动态区域基本上不连续，尤其是在遮挡对象的附近。实施位移图的平滑约束不是解决鲁棒性问题的合适方法。

以相似方法来解决这个问题的另一类方法是递归块匹配，如文献″True-Motion with 3D Recursive Search Block Matching″，G.De Haan etal.，IEEE Transactions on Circuits and Systems for Video Technology，Vol.3，No.5，October 1993，pp.368-379所阐述的。这种方法显著降低了计算动态图的代价，但是仍然会受到周期模式或者甚至遮挡物误导。

文献GB-A-2 188 510阐述了称为相位相关的方法，其为候选位移集合通过一个大图像窗计算位移能量图。该图可以通过快速傅立叶变换进行有效的计算。对应于在该能量图中峰值的位移子集合确定为这个窗所包括的最具代表性的位移。随后，块匹配仅以考虑这个位移子集的第二步骤像素(pixelwise)进行执行。

这个方法降低了动态预测的复杂性，并且还能够检测不连续的动态图。根据相位相关技术，动态图也是规范和约束的，但非常不同于空间规范方法。取代了对动态图进行局部平滑，相位相关限制了在动态图中的不同可能向量集合的固定数量。

但是，相位相关还要求根据二维快速傅里叶变换的相对复杂计算，其硬件实施的代价很大。此外，该方法根据动态向量的相位相关有关的各自特性来选择动态向量。所以，其具有限制提供最小动态向量集合的能力。当然，当一个移动模式具有周期性结构或者位移不变时，不同的向量具有可比较特性量，并且难以对它们之间的相位相关进行判断。因此，产生的动态补偿视频插值处理方法具有次优的鲁棒性。这也具有复杂性的代价，因为对于所有的像素都需要考虑多于必要数量的候选动态向量。

其它类型的方法包括通过在候选向量中计算低复杂性匹配能量进行选择第一位移子集。这样可以在某种程度上降低计算的复杂性，但是，这不是一种使动态补偿插值更加可靠的合适方法。

减少视频序列噪声的典型和最普遍的方法包括动态补偿递归或非递归时间滤波。可以参考，例如文献″Noise reduction in ImageSequences Using Motion-Compensated Temporal Filtering″，E.Duboisand S.Sabri，IEEE Transactions on Communications，Vol.COM-32，No.7，July 1984，pp.826-832。该方法包括了在帧和先前帧之间的动态预测，以及通过时间滤波器随着预测动态对视频序列进行滤波。

其它已知的方法是用动态补偿的三维(3D)小波变换。参考，例如文献″Three-Dimensional Embedded Subband Coding with OptimizedTruncation(3D-ESCOT)″，Xu，et al.，Applied and ComputationalHarmonic Analysis，Vol.10，2001，pp.290-315。该文献所阐述的动态补偿三维小波变换可用于通过对这样的三维变换进行小波阈值来减少噪声。这种使用根据随着动态趋势提升小波变换的方法的限制是它对由噪声产生的动态图的衰减非常敏感。

文献WO 2007/059795 A1阐述讨论了超高分辨率处理方法，它可用于长程降噪或超高分辨率的缩放。该方法根据使用小波系数的多尺度分组的Bandlet变换(bandlet transform)。这种表达方法比3D-ESCOT文献所阐述的三维变换更加适用于降噪或超高分辨的缩放。多尺度分组执行变化范围的图像配准，其可通过例如块匹配或者现有技术的图像配准过程进行计算。对超高分辨率缩放和降噪来说，所使用的图像配准图不被噪声或伪像损坏是非常重要的。

不论怎样的应用(插值或噪声减小)，具有密流场(dense flowfield)的动态补偿的使用都会有些限制：光圈、对透明或阴影部分内容的单一动态模型。正如文献WO 2007/115583 A1所讨论的，通过检测各个像素在视频信号空间和时间中的一个或多个规律趋势对视频的局部不变结构进行分析，从而为视频插值提供更为普遍和鲁棒的方法。因此，就需要一种能够以有效方法和具有增强鲁帮性的方式来检测这种趋势的技术。

本发明的一个目的是提供了一种具有高精确度和高鲁棒性在输入视频流中检测规律趋势的有效方法。尤其是，在超高分辨率视频插值中，能够避免通常由不连续的插值趋势所形成的伪像。在视频降噪中，能够选择不被噪声损坏的平均趋势。

另一个目的是显著降低实施超高分辨率插值或降噪处理方法的复杂性。

发明内容

阐述一种分析输入视频序列的方法，其中输出视频序列合成图像的像素与属于趋势的预定集的各个规律趋势相关联。该方法包括：从趋势的预定集中确定输出序列的第一图像范围的候选趋势的第一子集合；根据输入序列的图像和候选趋势的第一子集，从趋势的预定集中确定第一图像后的第二合成图像序列对应范围的候选趋势的第二子集；以及从所述候选趋势的第二子集合中检测所述第二合成图像范围的像素规律趋势。

候选趋势的子集通过考虑先前时间所决定的子集在时间递归中进行确定。典型的方法是，在子集中的趋势的增加或去除是根据由这样的增加或去除产生的代价函数的增加变化进行的。如下文所述，图像的“范围”可以包含整个图像区域或者仅仅只是其一部分。

候选趋势的第二子集的确定可以包括：检测至少一对趋v_r和v_a，使得v_r属于候选趋势的第一子集，v_a属于趋势预定义子集且不属于第一子集，并且与涉及第一和第二图像的第一子集相关的代价函数高于与包括v_a和不包括v_r的第一子集的趋势的改进子集相关的代价函数；以及对检测的响应，从第二子集中去除v_r并在第二子集中包括v_a。

该技术可使用简单的操作和结构，来加速规律趋势的检测或者降低其实施的代价。它减少了动态补偿视频插值所产生的伪像的数量。

一些实施例的特征包括评估由新的趋势提供给已有趋势的子集的相关边界增益。相反，在动态预测的某些具体领域中的大多现有方法仅仅使用位移向量的绝对效率测量，并不考虑已使用的位移。本方法选择稀疏趋势集(sparser direction sets)，并且还对不同的伪影进行保留管理。

例如，已知的相位相关方法包括根据总的相位相关测量来在图像范围内寻找最佳位移。在一定的图像范围内，所有的候选位移V_i都具有相关的相位相关值，并表示为P(V_i)，i＝1，...，n。因此，一个理想的子集是由具有最高相位相关值的位移所组成。其可以与所选择的m个趋势的子集(V_i)_i∈S进行比较，使得

最大化。在趋势子集中的函数是独立的，也就是说，它可以写成单独用于各个趋势的函数之和。通常进行这样的的选择，因为这是可直接最小化函数且不会导致组合爆增的唯一情况。为了从相位相关观点出发来获得理想的子集S，使函数P获得最大值的m个趋势能在该序列中被简单地挑选出。

然而，如果这个函数不是独立的并且只可写成P({V_i}i∈S)，就仅使用这样简单算法不能完成最小化。直接获得最佳候选子集具有高的组合复杂性。但是，在某些情况中，当从例如S和S′仅仅只有一个元素不同的P({V_i}_i∈S)-P({V_i}_i∈S′)的已选择子集中增加或移除一个向量或趋势时，函数的变化计算仍然可以完成。那么，这样得到了能够在时间递归方法中实现函数增量优化的方法。

因此，在某些实施例中，候选趋势的第二子集的确定包括：评估涉及第一子集各个趋势的对第一子集相关的代价函数各自贡献的第一边界；评估涉及从预定集的各自趋势增加所产生的对第一子集代价函数的分别减少的第二边界；以及，当用于所述预定集的趋势评估的第二边界超出用于所述第一子集的趋势评估的第一边界时，将第一子集的趋势替换成预定子集的趋势。值得注意的是，尽管诸如相位相关的技术最大化了整体的相关性测量，但最小化了整体的代价函数。

视频序列的超高分辨率处理可以是插值或降噪。简单的减噪也是可行的。

输入视频序列I_t(x)由称为“原始像素”的点网格(x，t)定义。输出视频序列

由称为“目标像素”的点网格(ξ，τ)定义。像素由位置(x，t)或(ξ，τ)和在该位置上称为“像素值”的视频图像数值I_t(x)或

定义。

在视频插值具体情况中，一些分布在空间和/或时间中的目标像素

还可以为原像素I_t(x)(τ＝t，ξ＝x)，并且不需要进行重新计算，因为我们可以选取

必须要计算数值的像素为那些不是原始像素I_t(x)、称为“新的像素”(τ≠t或ξ≠x)的目标像素

在视频去隔行扫描的情况中，输入和输出视频序列的帧频通常是相同的，使得在输出序列中的时间索引τ可以与在输入序列的时间索引t相同；它们通常可以由例如整数索引t，t+1表示。视频去隔行扫描处理方法包括在输入序列的连续帧中增加插值缺少的行。典型的是，当偶数帧只有偶数行时，输入序列的奇数帧只具有奇数行，例如，对于x＝(x₁，x₂)，只有当t和x₂同时为奇或同时为偶时，输入视频序列才提供I_t(x)。输出的去隔行扫描的视频序列的合成帧

由具有ξ＝(x₁，x₂)并不具有任何整数行索引x₂的奇偶约束的像素

构成，这样当t和x₂同时为奇或同时为偶时，使得

视频去隔行扫描的目的是为

执行“最佳”数值插值，其中t和x₂中的一个为奇数且另一个为偶数。为了实现这样的插值，检测帧间和/或帧内的规律趋势是帮助的。

在帧频转换的情况中，输入和输出视频序列中的时间索引t、τ是不同的。例如，可以使用整数t、t+1等等作为输入序列的帧索引，并因此有些帧

为非整数值τ而合成。输入和输出帧It、

中的空间索引ξ＝x＝(x₁，x₂)通常是相同的。帧频转换的输出序列包括为非整数值τ的合成帧

另外，为了合成这些干涉(intervening)帧，可进行插值，通过分析输入视频序列有助于检测规律趋势。为了检测合成输出帧

像素的规律趋势，分析至少会涉及在非整数时间索引τ相邻前后(例如t为满足t＜τ＜t+1的整数)的输入序列的帧I_t和I_t+1。

在视频降噪的情况中，所有的目标像素值必须重新计算。根据这些转换，结合超高分辨率的缩放和降噪是超高分辨率降噪的情况。对简单的降噪而言，目标像素点网格(ξ，τ)与原始像素网格(x，t)相同：其中v_t(x)为由处理过程消除的噪声分量预测。对结合超高像素降噪和缩放情况而言，目标像素由不同于原始像素网格(x，t)的网格(ξ，τ)定义。该网格(ξ，τ)通常为如可以由原始像素网格(x，t)的超集定义的更精细的网格。

本发明的另一方面涉及计算机程序产品，包括当计算机处理单元运行所述计算机程序产品时执行上述视频分析方法的指令。

本发明的另一方面涉及视频处理方法，包括：接收输入视频序列的连续图像；应用上述方法分析输入视频序列；以及使用检测到的规律趋势产生输出视频序列。

产生视频序列的步骤可以包括使用检测到的规律趋势在输入视频序列的连续图像中进行插值。这样的插值可以包括视频的去隔行扫描或输入视频序列的帧频转换。在另一实施例中，视频序列的处理可以包括使用检测到的规律趋势对输入视频序列进行降噪处理。

本发明的另一方面还涉及视频处理装置，包括用于分析和处理如上所述的视频序列所设置的计算电路。

附图说明

图1示出了视频处理装置实施例的框图。

图2示出了适用于图1装置的趋势选择单元实施例的框图。

图3示出了在如图1和图2中所示装置中的评估代价函数边界的典型操作过程的流程图。

图4示出了在图3操作过程中所使用操作流程的变化例的流程图。

图5和图6示出了如在图1和图2所述装置中的候选趋势间的判断的典型操作过程的流程图。

图7和图8图示说明了应用于某些图像部分的帧频转换处理。

图9、10、11和12图示说明了应用于相似图像部分的视频去隔行扫描处理。

图13示出了根据本发明实施例的视频处理装置的框图。

具体实施方式

参考图1，视频处理装置具能够接收连续图像或者视频序列帧的数字表示式的输入。I_t、I_t+1表示在离散时间t和t+1的帧，而I_t(x)，I_t+1(x)表示在二维索引x＝(x₁，x₂)像素中的那些帧的像素值。所采用的时间索引t和空间索引x的管理方法可以根据各个不同的视频处理应用(例如，在去隔行扫描，帧频转换和降噪之间)而各所不同。这个问题将在下文中进行阐述。

趋势选择单元101实现时间递归预测，以便根据先前子集合D_τ和连续输入帧，为输出帧

确定候选趋势的子集D_τ′。上述“先前子集D_τ”确定为在输出视频序列中紧邻之前的输出帧例如，τ′＝τ+1用于去隔行扫描或简单降噪；τ′＝τ+δτ用于帧频转换或超高分辨率降噪。在时间τ′确定的子集Dτ′所涉及的输入帧至少包括I_t和I_t+1且使得t≤τ′＜t+1。在某些实施例中，它们还可以包括一些先前帧I_t-1，...，I_{t- n}(n≥1)。

如本文提及的，“趋势”v＝(dx，dt)定义为三维空间中的趋势，在三维空间中，二维涉及二维图像空间的像素补偿偏移dx＝(dx₁，dx₂)，并且第三个趋势涉及时间偏移dt。有许多视频应用希望在输入视频序列中寻找规律的趋势。例如，当进行视频插值时，就必须根据在丢失像素临近区域中的“相似”像素来确定一些丢失像素的数值。这种临近区域可以在二维图像空间和/或/时间中扩展，使之相关于在上述三维空间中所寻找的丢失像素。相同的，在降噪应用中，输入像素的数值由于噪声而损坏，如果有可能识别出“相似”像素的一些临近区域，就能通过平均得出噪声。此外，这种邻近区域可以在二维图像空间和/或时间中扩展。以下所讨论的方法可产生图像的像素的规律趋势，其用于确定有助于处理的“相似”像素数值。

所述的子集D_τ或D_τ′用于定义稀疏几何结构。各个子集D_τ或D_τ′是包括所有规律的可能趋势的集Ω的子集。由于对每个间隙τ、τ′，由D_τ、D_τ′定义的几何结构可用于稀疏，因此可以使用的不同趋势的数量可限制在相对较小的数量内。如下所述，候选趋势D_τ、D_τ′，...的子集随着边界变化在时间中进行变化。去除在D_τ、D_τ′中的多余趋势，并且不在逐个像素处理中使用。

典型的是，Ω可以包括200至1000个不同的趋势(200≤|Ω|≤1000，这个范围用于表示集的大小)。子集D_τ、D_τ′...可以具有限制在10≤|Dτ|≤50范围内的大小。

然后，趋势检测单元102通过检测属于由选择单元101确定子集D_τ′的唯一候选趋势，根据连续帧I_t，I_t+1(可能和一些先前帧I_t-1，...，I_t-n)来确定规律趋势的分布{v}。大小从Ω减小至D_τ′就有可能在不需要高复杂性的条件下进行这样的检测。

最终，视频处理单元103使用规律{v}所检测到的趋势，来进行诸如去隔行扫描，帧频转换或降噪等的视频处理，以根据输入帧I_t，I_t+1获得输出视频帧。

单元102和103可以实现任何传统的或现有技术的方法，并给出简单的实施例将在下文中进行补充。具体的，检测单元102可以使用在文献WO 2007/115583 A1中描述的损失函数。本发明的核心部分在单元101中，且在下文中作更详细的阐述。

当趋势选择单元101考虑大于趋势检测单元102的趋势集时，一个有趣的可能是在单元101中使用比单元102中更简单的检测或代价函数。换言之，局部代价函数在确定趋势子集Dτ′(选择单元101)步骤中的评估比在从子集(趋势检测单元102)获取趋势步骤中的评估更为粗略。这在计算复杂性方面或相等效的ASIC/FPGA的逻辑尺寸方面有着显著的节省。

可以这样来实现：例如，使用精确度稍差的像素数值表达式。例如，以在单元101中的5或6比特的像素数值代替在单元102中的8至10比特的像素数值。另一个可能性为在趋势选择单元101中使用卷积窗g(将在下文中阐述)，卷积窗比在趋势检测单元102中所使用的计算更为简单，即窗口特性对应于简单无限脉冲响应(IIR)滤波器，它不需要像有限脉冲响应(FIR)滤波器那么多的逻辑和那么大的内存。此外，不同计算复杂性的代价函数(在下文中进行叙述)可以用于在单元101中的子集选择以及为在单元102中的像素趋势检测。

选择单元101的目的是计算趋势子集D_τ′，该子集用于提供在输出序列的间隙τ′中的视频序列局部规律的有效表达式。最佳的子集D是能最小化总代价(或损失)函数L(D)中的那个子集：

$L\left(D\right)=\underset{x}{\mathrm{\Σ}}\underset{v\∈D}{\min }\left[L_x\left(v\right)\right]---\left(1\right)$

其中，在像素(x)上总和覆盖了整个图像区域(或其部分)。用于最小化D中的候选趋势v的数量L_x(v)为局部代价(或损失)函数，其可以为v＝(dx，dt)具有各种不同的类型，例如：

绝对差：L_x(v)＝|I_t(x)-I_t+dt(x+dx)|

平方差：L_x(v)＝|I_t(x)-I_t+dt(x+dx)|²

绝对差的加权和： $L_x\left(v\right)=\underset{d}{\mathrm{\Σ}}g\left(d\right)\·|I_t(x+d)-I_{t+\mathrm{dt}}(x+d+\mathrm{dx})|$

平方差的加权和： $L_x\left(v\right)=\underset{d}{\mathrm{\Σ}}g\left(d\right)\·{|I_t(x+d)-I_{t+\mathrm{dt}}(x+d+\mathrm{dx})|}^2$

其中g为卷积窗函数，即在(0，0)附近的非零数值。

其它的变化类型都是有可能，包括通过计算多于视频序列的两个帧的局部代价函数，即：L_x(v)＝|I_t(x)-I_t+dt(x+dx)|+|I_t(x)-I_t-dt(x-dx)|，以及相似的变化。

为了简化，我们还可以定义趋势集合的局部代价L_x(D)为该集中的所有趋势范围内的损失函数的最小值：

$L_x\left(D\right)=\underset{v\∈D}{\min }\left[L_x\left(v\right)\right]---\left(2\right)$

值得注意的是，获得最小化的子集D(1)是非常组合复杂的，因为为子集D增加趋势的数值取决于在该子集中已经存在着的趋势。为了解决这个难点，提出了增量方法。通过只以时间对D_τ、D_τ′...进行边界变化，从而使用时间递归来实现最小化。

如在图2所示的趋势选择单元101具有评估模块201，用于对可能的趋势集Ω的不同趋势v进行边界m(v)评估，和判断模块202，用于根据边界m(v)来决定哪一个D_τ中的趋势应该从D_τ′中去除，以及哪一个Ω-D_τ中的趋势应该包括在D_τ′中。根据公式(1)，选择加入至D_τ而获得D_τ′的趋势v根据它们对代价函数改善(减小)的边界贡献多大进行选择。相反，要从D_τ中去除的趋势v根据它们对减少代价函数L(D)的边界贡献多小进行选择。

通过对于可构成D_τ′的各种组合D评估L(D)，判断哪些在D_τ′中不能完成的元素。然而，使用对应于现存趋势子集D的趋势v、标记为m(v|D)的边界，可以来预测将Ω-D新的趋势v增加到D时的L(D)的变化：

m(v|D)＝L(D)-L(D+{v})            (3)

式中：D+{v}表示集D和单个{v}的并集。换言之，m(v|D)是测量新的趋势对降低趋势D子集已获得的代价函数(1)的边界贡献。边界m(v|D)的计算可以使用：

$m\left(v\right|D)=\underset{x}{\mathrm{\Σ}}{m}_x\left(v\right|D)---\left(4\right)$

其中在对应于D的v的x位置上的局部边界m_x(v|D)为：

·m_x(v|D)＝0当L_x(v)≥L_x(D)，即，当v在最小化像素位置x的代价函数时不优于在D中已有的趋势时；

·m_x(v|D)＝L_x(D)-L_x(v)其它

通过确定L_x(D)和L_x(v)的数量来计算固定D和在Ω-D中的各个x和候选v的边界m_x(v|D)。然后，通过更新执行m_x(v|D)求和来计算m(v|D)。

让我们考虑包括新趋势v_a，和从D_τ中去除已选择趋势v_r，以便计算D_τ′的情况，如：

D_τ′＝D_τ-{v_r}+{v_a}.

由这样的变换引起的总代价(1)的降低可以表示为变换边界M_exch(v_a，v_r)：

M_exch(v_a，v_r)＝L(D_τ)-L(D_τ-{v_r}+{v_a})

＝m(v_a|D_τ)-m(v_r|D_τ-{v_r}+{v_a})(5)

如果M_exch(v_a，v_r)＞0，即，m(v_a|D_τ)＞m(v_r|D_τ-{v_r}+{v_a})，在D_τ中用趋势v_a替换趋势v_r来减少总代价，使得交换v_r和v_a是值得的。这些不同边界的计算是容易的，但是其仍然可能有效的减少计算的数量。这样可以理解为下述：“如果v_a提供了比v_r所提供的更大的总代价的边界减少，这样的交换是合理的。”在这样的方法中，替代在公式(5)中精确计算边界m(v_r|D_τ-{v_r}+{v_a})，可以获得一些近似项。

在第一类近似中，m(v_r|D_τ-{v_r}+{v_a})由m(v_r|D_τ-{v_r})替换。通常可以验证下述不等式：

m(v_r|D_τ-{v_r})≥m(v_r|D_τ-{v_r}+{v_a})            (6)

由该近似所获得的复杂增益是十分显著的。用于计算的边界数量现在是序列|D|而不是|Ω-D|×|D|。使用该近似，由此可获得交换边界M′_exch(v_a，v_r)，如下式：

M′_exch(v_a，v_r)＝m(v_a|D_τ)-m(v_r|D_τ-{v_r})        (7)

值得注意的是，在公式(7)中的交换边界M′_exch(v_a，v_r)不超过在公式(5)中的实际交换边界M_exch(v_a，v_r)。如果近似的交换边界M′_exch(v_a，v_r)为非负数，那么实际交换边界M_exch(v_a，v_r)也为非负数。因此，根据公式(7)确定的交换不可能为公式(5)中的错误的那个。

图3示出了由模块201对公式(7)中的对边界m(v_a|D_τ)和m(v_r|D_τ-{v_r})进行评估使用的程序流程图。在图3中，假设：对趋势选择单元101所接收到的各个新的输入帧I_t+1确定候选的趋势中的一个子集D_τ′。这个假设对于视频去隔行扫描或简单的降噪(即，τ＝t，τ′＝t+1)或帧频倍频(τ＝t-1/2，τ′＝t+1/2)有效。通常，采用不是2的比率来变换帧频都是简单直接进行的(在图3中示出的处理类型通常是为获得各个新输出帧而产生的；上述假设只为作出更明晰的阐述，因为其意味着新输出帧频与输入帧的速率相同)。根据该假设，我们可以由在操作中的时间递归而舍弃时间索引t-1、t和τ、τ′。此外，如果趋势v(＝v_r)是在D(＝D_τ)中并且可去除，那么以m(v)代表m(v_r|D_τ-{v_r})，如果趋势v(＝v_a)在Ω-D中并且可加入D中，那么以m(v)代表m(v_a|D_τ)。边界m(v)对在Ω中的所有趋势v通过更新使用求和进行评估，所述求和在操作中的初始化301中进行零设置。

该程序依次扫描I_t和I_t+1帧阵列中的像素x，在步骤302中选择第一像素。在趋势D中v范围中执行第一循环310，以更新对应于像素x的趋势D(＝D_τ)的求和。通过获取D中的第一趋势v和将变量A设置成任意大的数值(例如，其最大可能的数值)，在步骤311中初始化第一循环310。在循环310结束时，变量A将包括在公式(2)中的定义L_x(D)的数值。

在循环310的每一次递代(步骤312)中，获得像素x和趋势v的局部代价L_x(v)并且载入变量L中。在步骤312中，模块201也可计算L_x(v)，例如根据上述可能性之一，或如果代价L_x(v)预先计算过，则从内存中调用。测试步骤313执行L是否小于A的评估。如果L＜A，则在步骤314中将趋势索引v存储在变量u中并使变量B接受数值A。随后，在步骤315中将数值L分配给变量A。在循环310的结束时，变量u将包括可最小化L_x(v)的D中的趋势v的索引，即

以及变量B包含适用于D中的趋势v的L_x(v)的第二最小的数值，即

如果在测试步骤313中L≥A，则在步骤316中将局部代价与B进行比较。如果A≤L＜B(在测试316中为真(yes))，则在步骤317中变量B更新为数值L。如果在测试316中或在步骤315或317后有L≥B，则执行结束循环测试318，以检测是否D中的所有趋势v都已扫描过。如果为否(not)，则在步骤319选择D中的另一个趋势v，并且程序流程返回至步骤312，以执行循环310的另一次递代。

当循环310结束时，在像素x处最小化局部代价的Dτ中的趋势u的边界m(u)由增加数量B-A进行更新(步骤321)。就像素x而言，从D中去除u就能使代价减小那个数量，同时D的其它趋势的边界也不会受到影响。

随后，由第二循环330对不在D中的可能趋势v的像素x继续进行处理，以便为涉及像素x的Ω-D趋势求和进行更新。

在步骤331中，第二循环通过获取Ω-D中的第一趋势v进行初始化。在每次递代中(步骤332)，计算或调用像素x和趋势v的局部代价L_x(v)，以载入变量L中。随后，进行检测333，以评估L是否小于A＝L_x(D)。如果L＜A，则趋势v的边界m(v)通过增加数量A-L进行更新(步骤334)，以考虑代价函数的优化，该代价函数由把v加入至对应于像素x的D而获得。如果在步骤333中或在步骤334后有L≥A，则执行结束循环检测335，检测是否Ω-D中的所有趋势v都已扫描过。如果为否，则在步骤336中选择Ω-D中的另一个趋势v，并且处理步骤返回至步骤332，以执行循环330的另一次递代。

当循环330结束时，在步骤341中确定是否相关帧阵列的所有像素x都已扫描过。如果为否，则在步骤342中选择阵列中的另一个像素x，并且处理流程返回至步骤311。当检测341中显示所有的像素已经处理时，那么对当前帧的模块201操作就结束。

对每个新的输入帧I_t+1，模块201因此为Ω所有趋势v输出边界m(v)，即，为D趋势去除边界和为Ω-D趋势增加边界。

为了在输入视频序列开始时初始处理程序，子集D可以具有任意的内容，或者它也可对前几帧以粗略的方法进行确定。正确的子集会因为选择程序流程的时间递归而快速组建。

第二项近似可以用于进一步降低模块201的复杂性。在该近似中，m(v_a|D_τ)由已修改的边界m^*(v_a|D_τ)替换。如公式(4)，修改的边界m^*(v|D)为像素之和：

$m^{*}\left(v\right|D)=\underset{x}{\mathrm{\Σ}}{m^{*}}_x\left(v\right|D)---\left(8\right)$

局部修改边界m^* _x(v|D)定义为：

·m^* _x(v|D)＝L_x(D)-L_x(v)当L_x(v)＜L_x(Ω-{v})时，即：当v是从最小化在像素位置x上的函数的观点来看是Ω中的最佳趋势；

·m^* _x(v|D)＝0其它。

根据第一和第二近似，修改的交换边界M^* _exch(v_a，v_r)可以表示为下式：

M^* _exch(v_a，v_r)＝m^*(v_a|D_τ)-m(v_r|D_τ-{v_r})       (9)

此外，由于公式(6)和因为m^* _x(v_a|D)≤m_x(v_a|D)，修改的交换边界M^* _exch(v_a，v_r)不会大于实际的交换边界M_exch(v_a，v_r)。所以，从公式(5)的观点来看，根据公式(9)所确定的交换不可能再是错误的了。

修改的边界m^* _x(va|D)可以较低代价的计算或电路进行计算，因为，对各个位置x，必须更新最多一个对应于在Ω-D中的单一绝对值的最佳趋势的求和；然而，也可采用未修改的边界m_x(v_a|D)，这样在最坏情况中(在图3中，检测333始终为真)所获得的成功数量等于|Ω-D|。在使用硬件连线的ASIC或FPGA电路的实施例中，在逻辑大小上影响是非常重要的。因为相同的原因，在软件实施中的最坏情况的执行时间的影响也是重要的。

采用第二近似，图3所示的处理流程可由图4所示的修改循环430来替换循环330进行修改。在步骤431(取代步骤331)中，循环430通过获取Ω-D中的第一趋势v进行初始化，并且将另一个变量A*设置成数值A＝L_x(D)。在循环430结束时，变量A^*包括在Ω中的所有趋势v的L_x(v)最小值，即，L_x(Ω)。

在每次递代中，都在步骤432中计算或调用像素x和趋势v∈Ω-D的局部代价L_x(v)并载入变量L。随后，步骤433进行L是否小于A^*的评估。如果L＜A^*，则在步骤434中更新上述变量u以包含趋势索引v，并将数值L分配给变量A^*。如果在步骤433中或在步骤434后有L≥A^*，执行结束循环检测435，用于检测Ω-D中的所有趋势v是否都已扫描过。如果为否，在步骤436中选择Ω-D中的另一个趋势v，并且处理流程返回至步骤432，进行循环430的另一次递代。

当循环430结束时，在像素x处最小化局部代价的Ω中的趋势u的边界m(u)由增加数量A-A^*进行更新(步骤441)。如果u∈D，步骤441不做任何变化。如果

增加u至D将通过A-A^*而减少考虑到像素x的代价函数，同时Ω-D的其它趋势的边界不受到影响。

在循环430外进行更新步骤441使得复杂性的减少。该简化的缺点是对Ω-D的低于最佳优选趋势损失了一些精确性，但是这对处理过程中的时间递归中不是严重问题，其能表示实际关于视频序列的趋势。

判断候选趋势v的不同的操作过程可以由模块202应用，且候选趋势v的边界通过模块201进行计算。

在图5所示的简单实施例，模块202选择子集D＝D_τ的趋势v，其具有由模块201计算的最低边界m(v)，并且其因此为从Dτ′中移除的最佳的候选(步骤501)。它还选择了具有最大边界m(w)的Ω-D的趋势w，即加入D_τ′中的最佳候选(步骤502)。如果m(w)＞m(v)(检测503)，在步骤504执行替换：v替换为在D中w，使得D_τ′＝D_τ-{v}+{w}。如果在步骤503中m(w)≤m(v)，则不替换：D_τ′＝D_τ。

图6示出另一中方法，其中模块202可以交换超过一对的趋势。在步骤601中，选择具有最低边界的子集D＝D_τ中的n个趋势v₁，v₂，...，v_n，并且根据增加边界进行索引，即m(v₁)≤m(v₂)≤...≤m(v_n)。数值n可以为在1至|D|之间的任意整数。在n＝1的情况中，图6所示的处理过程与图5相同。在步骤602中，也同样选择具有最大边界的Ω-D的趋势w₁，w₂，...，w_n，同样被选择，并且根据减少的边界进行索引，即m(w₁)≥m(w₂)≥...≥m(w_n)。随后，确定可以交换的趋势对的数量。例如，在步骤603的初始化循环索引i(i＝1)后，模块202在检测604中比较边界m(w_i)和m(v_i)。如果Ω-D的趋势w_i优于D的趋势v_i，即m(w_i)＞m(v_i)，那么在步骤605中执行交换，在D中以w_i替换v_i，并且随后在检测606中比较i与n。如果i＜n，则不是所有的对都已检测，并且i在新的检测604中检测下一对之前在步骤607中增一。当检测604示出对一些i＜n有m(w_i)≤m(v_i)，或当在检测606中i＝n时，处理过程终止。如果n′趋势对被交换(n′≤n)，则更新趋势子集为D_τ′＝D_τ-{v₁，...，v_n′}+{w₁，...，w_n′}。

在一个实施例中，当单元102检测规律趋势时，只使用具有大于给定阈值T的边界m(v)的趋势v。一旦D_τ′已由块202确定时，其可以简单的完成，通过在趋势检测单元102中忽视D_τ′的趋势v，使得m(v)＜T。

或者，当m(w)小于阈值时，可以避免在D_τ′中包含Ω-D_τ的新趋势w。有不同的方法达到这个目的。例如，如果使用图6的操作过程，将数值n设置为{1，2，...，|D|}中的最大的整数，使得对所有的索引都有m(w_i)＞T，i使得1≤i≤n。

使用阈值T有助于消减候选趋势集，并且有助于选择适用于视频几何复杂性的候选趋势的数量，即，以选择适用于视频趋势的离散集。

图7和8示出了由视频处理单元103执行插值以及尤其是在输出和输入视频序列的帧频之间比率为2的帧频转换情况下实施本发明实施例所获得的结果。

在该实施例中，视频序列是水平滚动的字幕文字“Sweeet”。701和801表示在时间t的图像，703和803表示在时间t+1的图像，以及702和802表示在时间τ′＝t+1/2的合成图像，其中图7中有不匹配而图8有正确的插值。在图701/801和703/803(时间t和t+1)之间，整个文本“Sweeet”向左滚动了10个像素。有可能导致不匹配的是文本中多次包含具有周期为8个像素的字符“e”，并且趋势检测单元102将在时间t的第一个“e”误视为在时间t+1的下一个输入图像中的另一个相似的“e”，导致图702所示的伪像。

在图7和8所示实施例中，单元101所使用的代价函数居中，并且Ω只包括dt＝1/2的趋势v＝(dx，dt)。那么，在位置x和时间τ′＝t+1/2的趋势v＝(dx，dt)的代价为，例如，

L_x(v)＝|I_τ′-dt(x-dx)-I_τ′+dt(x+dx)|＝|I_t(x-dx)-I_t+1(x+dx)|，或者优选为该代价与非负空间窗函数g进行卷积的窗计算版本。两个规律的趋势可以根据在该序列中的局部测量获得：

$v^{\left(1\right)}=({\mathrm{dx}}_1^{\left(1\right)},{\mathrm{dx}}_2^{\left(1\right)},{\mathrm{dt}}^{\left(1\right)})=(-\mathrm{5,0},\frac{1}{2});$ 以及

$v^{\left(2\right)}=({\mathrm{dx}}_1^{\left(2\right)},{\mathrm{dx}}_2^{\left(2\right)},{\mathrm{dt}}^{\left(2\right)})=(-\mathrm{1,0},\frac{1}{2}).$

一旦单元102检测到在时间τ′＝t+1/2的像素x的趋势v＝(dx，1/2)，则在单元103中完成的帧频变换的插值可以包括计算

在图7中，我们假设没有使用稀疏几何，使得在检测单元102中考虑在Ω中所有的趋势。对文本中的第一个和第三个”e”之间的一些像素，检测到的趋势可能把在时间t的第一“e”与在时间t+1的第二“e”归组(参考图7中的方框)，以及把在时间t的第二“e”和在时间t+1的第三“e”归组，导致不正确的时间插值。标示702示出由该不正确插值导致具有伪像的不正确图像。一个包括对应于两个检测到的趋势v⁽¹⁾、v⁽²⁾的混合插值数值的简单工作区同样不能解决该问题。

在单元101中使用稀疏几何D_τ′有助于克服这样的问题。事实上，如果子集D_τ不包括趋势

对应于D_τ′的v⁽¹⁾的边界将会很高，因为只有v⁽¹⁾用于字母“S”″w″和″t″的滚动的计算。那么，v⁽¹⁾将在时间τ′进入D_τ′。完成了这个步骤，因为v⁽¹⁾为在包括所有“e”字符的视频的可能趋势，那么

的边界将变得非常的低或甚至为零，因为其中没有规律的可能趋势的视频范围，而v⁽¹⁾不是这样的。作为结果，趋势v⁽²⁾将不计入集D_τ′中，这样它将不在检测单元102中考虑，或因为其边界低于阈值T而被忽略。正确的插值将如802所阐述的那样进行计算。

值得注意的是，时间插值可以在除了两原始帧之间半程之外的时间完成。例如，50Hz和60Hz的帧频标准之间转换的应用可以在时间τ′＝t+h/6完成插值，其中h是1，2，3，4或5中的一个。在单元101和102中使用的损失函数然后可以进行相应的调整。

图9至12与图7至8相似，示出了本发明应用于超高分辨率视频去隔行扫描的实施例。

图9至10示出了在设备输入中以隔行扫描视频格式滚动的相同文字“Sweeet”。标示901、1001、1101和1201示出在时间t-1的偶输入场，标示903、1003、1103和1203示出了在时间t+1的下一个偶输入场，以及标示902和1002示出在时间t干涉奇输入场。去隔行扫描的目的是计算在时间t的偶数行，以便合成在时间τ′＝t包括奇数和偶数行的完整渐进帧(progressive frame)。

在图9至12所示实施例中，在单元101中使用的代价函数居中，并且Ω可以仅包括趋势v＝(dx₁，dx₂，dt)，使得dt＝1和dx₂为偶数的。此后，在位置ξ＝x＝(x₁，x₂)和时间τ′＝t的Ω的趋势v＝(dx，dt)为例如L_x(v)＝|I_t-dt(x-dx)-I_t+dt(x+dx)|或该代价窗计算的版本。几个规律趋势可以在该序列以前获得，包括

和

一旦单元102检测到时间τ′＝t时的像素x趋势v＝(dx，1)，在处理单元103为去隔行扫描实施插值，可能包括计算

在图11中，我们再次假设选择单元101将Ω的所有趋势提供给检测单元102，且不使用稀疏几何。检测单元102就不能正确区分趋势v⁽¹⁾＝(-5，0，1)和v⁽²⁾＝(-1，0，1)，并且输出只能再次显示如1102中所示的错位类型的伪像。

图12示出了较好的去隔行扫描的结果，只有当趋势v⁽¹⁾＝(-5，0，1)由选择单元101保留在稀疏几何中时，而多余的趋势v⁽²⁾＝(-1，0，1)在分析的选择步骤中去除。

此外，在一个去隔行扫描的应用中，当计算时间τ′＝t的像素时，可以使用Ω的趋势中dt＝2的数值，在t-2和t+2之间计算趋势，以用于计算具有更高清晰度的趋势。这样意味着在插值中可以相同的方法使用趋势v＝(dx，1)和2v＝(2dx，2)。因为隔行扫描源的奇偶限制，可以计算对应的损失函数|I_t-2(x-2dx)-I_t+2(x+2dx)|。如果由单元102检测到趋势2v＝(2dx，2dt)＝(2dx₁，2dx₂，2dt)，对半趋势v而言纵坐标dx₂可以为奇数。这样允许适当去隔行扫描的视频序列包括半像素垂直速度。如果这样趋势表示式涉及趋势选择和检测单元101和102，则处理单元103可以插值

为：

${\hat{I}}_{{\mathrm{\τ}}^{\′}}\left(\mathrm{\ξ}\right)={\hat{I}}_t\left(x\right)=[I_{t-2}(x-2\mathrm{dx})+I_{t+2}(x+2\mathrm{dx})]/2$

使用的趋势检测可以包括dt＝1或dt＝2的时间步骤。其对应于比较各种不同的趋势以及不同的时间偏移(1或2，或者甚至更多)。

去隔行扫描应用中的另一可能性是计算趋势的代价，其中除了场可以均匀间隔时间拍摄之外，场也可以非规则间隔时间拍摄。例如，视频内容原始源是使用“电影电视(telecine)”将电影转化为视频的情况。例如，在欧洲使用的2∶2电影电视，当25fps(帧每秒)的电影转换为50fps的视频，各个电影帧用于产生两个视频场，因此视频源内容的场I₀、I₁、I₂、I₃是分别在时间0s、0s、2/50s、2/50s拍摄，而不是在时间0/50s、1/50s、2/50s和3/50s拍摄的。此外，视频信号可以包括电影源内容和视频源内容的组合，使得检测必须是以像素来进行的。可以选择特定的局部代价函数，以检测是否为确定像素，视频是否为电影源，以及该场是否在相同的电影帧的之前或之后产生。那么，各个像素的趋势的设置是下述之一：

(电影前)(film-before)

(电影后)(film-after)

(视频，v)(video，v)

其中“电影-前”表示在给定像素位置，内容为电影源，并且先前场来自于相同电影帧，使得遗失的像素可以从先前场中的相同位置中获得，其中“电影-后”表示在给定像素位置，内容是电影源，并且其后场来自于相同的电影帧，以及其中(视频，v)表示在当前像素位置，内容是视频源，并且趋势向量为v。这样的说明阐述了可以由局部表示符号将“趋势”定义比单一3D向量v更为复杂的另一种情况。在这样情况中，“趋势”为(电影-前)、(电影-后)、(视频，v)之一的表示符号，其中v为向量。

在超高分辨率视频降噪的情况中，图1中的处理单元103通过使用在ξ的定向平均函数K_v为每个目标像素ξ、τ计算它的新数值，通过公式：

${\hat{I}}_{\mathrm{\τ}}\left(\mathrm{\ξ}\right)=\underset{x,t}{\mathrm{\Σ}}{K}_v(\mathrm{\ξ}-x,\mathrm{\τ}-t).I_t\left(x\right)$

其中，在(ξ，τ)的周边区域中输入图像的所有像素(x，t)范围求和，如果输入网格的一些点(x，t)有ξ＝x，τ＝t并且K_v取决于局部趋势v＝(dx，dt)，则包括像素(ξ，τ)本身。在一个典型实施例中，平均函数K_v为沿着趋势v＝(dx，dt)的定向平均函数。该函数的示例为：

K_v(x，t)＝K₁(t)×K₂(x-t.dx/dt)

其中K₁和K₂为1D和2D的平均核函数，例如高斯核函数。

在另一个实施例中，在处理单元103中执行的视频处理从趋势检测单元102处接收不同数量趋势。这些趋势中的每一个都可以对应于相关的检测。在趋势数量为0的情况中，回退(fallback)插入函数或平均函数可以被使用。在趋势数量大于1的情况中，目标像素数量可以通过结合像素数值进行计算，该像素值通过对每个趋势的插值或平均函数计算。这种组合可以是平均的，使用相关测量的权重平均的，或中值的，或权重中值的，或用于结合这些像素数值的其它的方法。

在另一个示例实施例中，沿着趋势v＝(dx，dt)处理的降噪可以是任何类型的已知定向滤波，包括无限脉冲响应(IIR)滤波。

在另一个示例实施例中，当处理的信号是视频信号时，稀疏几何用于改善在文献WO 2007/059795 A1阐述类型的处理。因而，趋势(dx，dt)可以被限制为dt＝1的数值以及dx的整数数值。它们可以用于建立在时间t的帧的像素与帧t+1的像素之间的映像：

并且提供了适用于文献WO 2007/059795 A1中使用的第一归组预测的实施例。

在趋势选择器101的实施例中，候选趋势的子集Ω被划分为多个子集Ω₁，...，Ω_J(J＞1)，并且子集Ω₁，...，Ω_J中只有一个在每个时间τ′中由趋势选择单元101考虑，以提供给纳入已选趋势Dτ′的候选子集。当子集Ω对于在每个周期τ′中候选进行完整扫描太大时，将会非常有趣。例如，在子集Ω_j被考虑时(1≤j≤J)，在图3中所示的循环330或在图4中所示的430为在Ω_j中的趋势v执行而不是在D中。

在某些情况中，除了对整个图像区域的整体子集Dτ′的选择以外，把图像支持(image support)拆分至不同的像素窗Wp，q可能变得有趣，例如定义为矩形区域：

W_p，q＝{(x₁，x₂)：w×(p-1)＜x₁≤w×p and h×(q-1)＜x₂≤h×q}

式中h和w分别为这些窗的高和宽(在像素中表示)，并且窗索引p，q分别在1≤p≤P，1≤q≤Q的范围中。窗的总数为P×Q。当P＝Q＝1时，仅有一个如上述包括整个图像的窗。对在每个窗W_p，q内的各个趋势v，边界m_p，q(v|D)可以使用与(4)相似的方程式进行计算，但具有限制该窗W_p，q的交换图像区域的总和：

$m_{p,q}\left(c\right|D)=\underset{x\∈W_{p,q}}{\mathrm{\Σ}}{m}_x\left(v\right|D)---\left(10\right)$

趋势的局部子集可以使用这些边界进行计算。因此，候选趋势的第三子集D_{τ′，p，q}定义为I_t+1的整个区域确定的第二子集D_τ′的子集，根据在输入图像I_t和I_t+1中为窗W_p，q的像素计算的代价边界m_p，q(v|D)。当趋势检测单元102在一个窗W_p，q，内的像素ξ＝x上检测趋势时，则考虑从D_{τ′，p，q}中的唯一候选趋势。这有助于增加用于避免不良的趋势的检测的鲁棒性。再参考图7至12所阐述的实施例，选择允许去除不良趋势(-1，0，1/2)[或(-2，0，1)]，并且只使用正确的趋势(-5，0，1/2)[或者(-10，0，1)]。如果视景更为复杂并且在图片其余部分的对象正好表现出规律的趋势(-1，0，1/2)，这个向量(-1，0，1/2)将在D_τ′中表示，并且在单元101中获得选择的优势可能在适当处理滚动文字中丧失。如果选择边界在更小的窗W_p，q中重新计算，窗W_p，q同时包括滚动文本和具有单一规律趋势(-1，0，1/2)的对象的可能性会更低。

当使用过于小的窗W_p，q时(例如在图7至12中在只包括有一个或两个“e”的区域的情况中)，选择将由于过小的窗而变得困难，其再不可能在两个不同规律的趋势之间进行判断。一个多尺度选择方案可以用于避免这个问题，通过递归拆分图像支持至窗，以及各个窗至子窗。对各个窗，趋势子集选定为母区域(整个图像或更高层级的窗)选择的趋势子集的子集。在多尺度选择的方案中，窗W_p，q的一个或多个进一步被拆分至多个子窗W_{p，q，r，s’}并且对每个子窗而言，候选趋势的第四子集D_{τ′，p，q，r，s}定义为窗W_p，q所确定的第三子集D_{τ′，p，q}的子集，并根据在输入图像I_t和I_t+1中的子窗W_{p，q，r，s}的像素计算的代价边界m_{p，q，r，s}(v|D)为：

$m_{p,q,r,s}\left(v\right|D)=\underset{x\∈W_{p,q,r,s}}{\mathrm{\Σ}}{m}_x\left(v\right|D)---\left(11\right)$

适用于输出图像的子窗W_{p，q，r，s}的像素的规律趋势在子集D_{τ′，p，q，r，s}中进行检测，可能在拆分窗的一次或多次递归循环之后。

在一些实施例中，已选趋势的子集D_τ′可进行限制，以满足不同安全标准。例如：

-一些具体的趋势(典型的例如(0，0，1))可以限定在D_τ′中，而不管有关这些趋势的边界；

-趋势集Ω还可以拆分成R个组Ω⁽¹⁾，...，Ω^(R)，并且可对每个组Ω^(r)(1≤r≤R，R＞1)进行限制，只有一个或有限数量的趋势选择，以列入在子集D_τ′中。

上述实施例可以通过由通用的微处理器或者数字信号处理器执行的软件来执行，在这样的情况中，涉及图1至6的所示上述模块可以被认为理解为是或是组成软件模块或例行程序或其中部分。其还也可以采用如图13所示的硬件组件来执行，在视频插值模块1303之前和/或之后，除了其它的视频处理模块1302、1304以外，例如为视频流插值的采用专用集成电路ASIC，或现场可编程门阵列(FPGA)用于插值视频流。此外，视频处理模块1303可以执行如上述的降噪方法。在一个示例性实施例中，视频处理块1302、1303、1034可由单一芯片1301中执行。该芯片还具有视频输入和输出接口，以及外部RAM(随机访问存储器)装置1305和1306，以作为在1302、1303和1304中执行不同的视频处理步骤所需的暂时存储。该实施例的其它变化例可同样作为本发明的一部分，采用更完善的视频处理芯片或甚至包括其它功能的片上系统芯片。而且，硬件器件可以合并在不同类型的视频装置中。

在上文详细阐述本发明示例性实施例的同时，各种不同的变化实施例、改进实施例以及相似实施例都可以被本领域的技术人员所悉知。此外，上文的阐述不用于限制由本发明的权利要求所定义的本发明的目的。

Claims (23)

1.一种分析输入视频序列的分析方法，其使输出视频序列合成图像的像素与属于趋势预定集合(Ω)的各个规律趋势相关联，所述方法包括：

-从所述趋势预定子集中，确定所述输出序列第一图像

区域的候选趋势的第一子集(D_τ)；

-根据输入序列的图像(I_t、I_t+1)和所述候选趋势的第一子集(D_τ)，从所述趋势预定集中，确定在第一图像后的第二合成图像

输出序列对应区域的候选趋势的第二子集(D_τ′)；以及，

-从所述候选趋势的第二子集中，检测所述第二合成图像所述区域的像素规律趋势。

2.根据权利要求1所述方法，其特征在于，所述候选趋势的第二子集(D_τ′)的确定包括：

-检测至少一对趋势v_r和v_a，使得v_r属于所述候选趋势的第一子集(D_τ)，v_a属于趋势预定义子集(Ω)且不属于第一子集，并且与对应第一和第二图像

所述区域的第一子集相关的代价函数高于与包括v_a和不包括v_r的第一子集的趋势的修改子集相关的代价函数；以及，

-响应所述检测，从第二子集(D_τ′)中去除v_r并在第二子集中包括v_a。

3.根据权利要求1所述的方法，其特征在于，所述候选趋势第二子集(D_τ′)的确定包括：

-评估涉及第一子集(D_τ)各个趋势对与第一子集相关的代价函数的各自贡献的第一边界(m(v))；

-评估涉及从预定集(Ω)在第一子集各自趋势增加所产生的代价函数分别减少的第二边界(m(v))；以及，

-当所述预定集合的趋势评估的第二边界超出所述第一子集趋势评估的第一边界时，将所述第一子集的趋势替换预定集的趋势。

4.根据权利要求3所述的方法，其特征在于，用于第一子集(D_τ)的趋势的第一边界(m(v))等于所述趋势对代价函数的贡献。

5.根据权利要求3或4所述的方法，其特征在于，用于所述预定子集(Ω)的趋势的第二边界(m(v))等于由在所述趋势在第一子集(D_τ)的增加所产生的代价函数减少。

6.根据权利要求3或4所述的方法，其特征在于，用于预测集合(Ω)的趋势的第二边界(m(v))预测为在所述区域像素区域的局部边界之和，其中像素x和趋势v的局部边界为：

-当v为在像素位置x上最小化代价函数观点中的整个预定集(Ω)中的最佳趋势时，L_x(D)-L_x(v)，其中L_x(v)表示在像素位置x对趋势v的局部代价，以及L_x(D)表示在像素位置x对第一子集(D_τ)的趋势的局部代价最小值；以及

-当其它时，为零。

7.根据权利要求3至6任一所述的方法，其特征在于，包括：

-在第一子集(D_τ)中选择(501)具有最低第一边界的第一趋势(v)；

-在除了第一子集(D_τ)的预定集(Ω)中选择(502)具有最高第二边界的第二趋势(w)；以及，

-如果所述选择的第二趋势的第二边界(m(w))高于所述选择的第一趋势的第一边界(m(v))，则从第二子集(D_τ′)去除所述选择的第一趋势和将所择的第二趋势包括于所述第二子集(D_τ′)。

8.根据权利要求3至6任一所述的方法，其特征在于，包括：

-选择并根据增加边界进行索引(601)在所述第一子集(D_τ)中具有最低第一边界的n个趋势v₁，v₂，...，v_n；

-选择并根据减少边界进行索引(602)在除了第一子集(D_τ)的预定集(Ω)中具有最高第二边界的n个趋势w₁，w₂，...，w_n；

-对除了第一子集以外的预定集索引的n个趋势w₁，w₂，...，w_n的各个趋势w_i，其中1≤i≤n，如果除了第一子集的预定集索引n个趋势v₁，v₂，...，v_n对应趋势v_i的第二边界(m(w_i))大于第一边界(m(v_i))，从第二子集(D_τ′)中去除v_i和将w_i包括于第二子集(D_τ′)。

9.根据权利要求3至8任一所述的方法，其特征在于，还包括从第二子集(D_τ′)中去除具有低于预置阈值的评估边界(m(v))的预定集(Ω)的趋势。

10.根据权利要求2至9任一所述的方法，其特征在于，所述与趋势确定子集(D)相关的代价函数是在所述区域中的像素范围内对不同趋势的确定子集的局部代价最小数值之和。

11.根据上述权利要求任一所述的方法，其特征在于，所述确定候选趋势的第二子集(D_τ′)和从所述第二子集中检测趋势的步骤包括评估在所述输出序列的第二合成图像

之前和之后对具有各自时间位置的所述输入序列的至少两个连续图像(I_t、I_t+1)之间的局部代价函数，以在确定所述第二子集的步骤中的所述局部代价函数评估比从所述第二子集中检测规律趋势的步骤中的评估更为粗略。

12.根据上述权利要求任一所述的方法，其特征在于，所述至少一个预置的趋势是强制包括在第一和第二子集(D_τ、D_τ′)中。

13.根据上述权利要求任一所述的方法，其特征在于，所述趋势的预定集(Ω)拆分成多个组(Ω^(r))，并且在候选趋势的第二子集(D_τ′)的确定中，选择一个或有限数量的各组趋势，用于包括在所述第二子集中。

14.根据上述权利要求任一所述的方法，其特征在于，所述视频序列的图像拆分至多个窗(W_p，q)，其中候选趋势(D_τ′)的第二子集为第二合成图像整个范围对应区域进行确定，所述方法进一步包括，为各个窗：

-根据为所述窗的像素确定的代价边界，确定候选趋势的第三子集(D_{τ′，p，q})为所述第二子集的子集；以及，

-从候选趋势的第三子集中，为所述第二合成图像的所述窗的像素检测规律趋势。

15.根据权利要求14所述的方法，其特征在于，所述至少一个窗(W_p，q)进一步拆分至多个子窗(W_{p，q，r，s})，为各个所述窗的子窗，所述方法进一步包括：

-根据为所述子窗像素确定的代价边界，确定候选趋势的第四子集(D_{τ′，p，q，r，s})是为所述窗确定的第三子集(D_{τ′，p，q})的子集；以及，

-从候选趋势的第四子集中，为第二合成图像的所述子窗的像素检测所述规律趋势。

16.一种视频处理装置，其特征在于，包括根据权利要求1至15任一所述的方法分析视频序列所设置的计算电路。

17.一种计算机程序产品，其特征在于，包括当所述程序产品在计算机处理单元中运行时执行根据权利要求1至15任一的分析视频序列方法的指令。

18.一种视频处理方法，其特征在于包括：

-接收输入视频序列的连续图像(I_t、I_t+1)；

-应用根据权利要求1至15任一所述方法分析输入视频序列，使得输出视频序列合成图像的像素与各自的规律趋势相关联；以及，

-使用检测到的规律趋势从输入视频序列中产生输出视频序列。

19.根据权利要求18所述方法，其特征在于，所述产生输出视频序列的步骤包括使用所述检测到的规律趋势在输入视频序列的连续图像之间进行插值。

20.根据权利要求19所述的方法，其特征在于，所述插值包括视频去隔行扫描。

21.根据权利要求19所述的方法，其特征在于，所述插值包括转换输入视频序列的帧频。

22.根据权利要求18所述的方法，其特征在于，所述产生输出视频序列的步骤包括使用检测到的规律趋势对输入视频序列应用降噪处理。

23.一种视频处理装置，其特征在于，包括根据权利要求18至22任一所述的方法的对视频序列进行处理所设置的计算电路。

Images