CN101573973B - 用于角度导向的空间去交织器的方法和设备 - Google Patents

Abstract

在一个实施例中，公开一种用于角度导向的空间去交织器的设备和方法。在一个实施例中，该方法包括：为将在仅空间域中去交织的目标像素块计算多个角度候选中的每个角度候选的成本测量值；确定目标像素块的水平角度测量值；通过从上述多个角度候选中确定最低成本测量值，从上述多个角度候选中确立全局最小角度；通过以层级方式筛选角度候选，从上述多个角度候选中确立局部最小角度；以及对全局最小角度和局部最小角度进行滤波以创建用于对目标像素块内插以进行去交织的值。还描述了其他实施例。

Description

用于角度导向的空间去交织器的方法和设备

技术领域

本发明的实施例一般涉及视频信号处理领域，更确切地来说，涉及角度导向的空间去交织器。

背景技术

个人计算机以及它们的监视器被应用于几乎每个工作领域。许多领域还利用微处理器来对视频信号进行编码和解码。常常期望在计算机监视器上显示原本为电视创建的视频内容。但是，电视视频信号与大多数计算机显示器的视频格式是不相同的。计算机通常使用非交织视频显示格式，也称为逐行扫描。在逐行扫描的情况中，通常从上至下逐行地扫描整个视频帧，从而出现在计算机显示器上。该过程按给定的刷新速率重复并重新扫描整个帧。

相比之下，许多消费型视频源(例如，电视信号)使用交织显示格式。交织视频帧包含两个场。第一个场由交织视频帧中的奇数行组成，第二个场由交织视频帧中的偶数行组成。当在交织视频系统上显示时，以交替的方式显示这两个场的行。先显示交织视频帧的所有奇数行，然后再显示交织视频帧的所有偶数行。

交织显示格式的使用在视频产品中仍然非常普遍。在以在逐行扫描监视器(或其他非交织显示器)上显示交织视频信号为目的的系统中，应用去交织方法来适应交织格式。目前这几代视频处理器通过使用多种技术来将视频去交织。

现有技术的一个领域包括场内处理(或仅空间域处理)，例如bob。现有技术的另一个领域包括场间处理(或空间和时间域处理)，例如合并(weave)、运动自适应和运动补偿。通常应用bob和合并技术，因为它们具有固有地简单的复杂度，但是它们以图片质量为代价。例如，bob技术确定正在为去交织进行估算的像素的正上方和正下方(例如，成90度角度)的像素的平均值。这是一种简单的技术，但是会导致图片质量下降。运动自适应和运动补偿技术达到更好的图片质量，但是以成本更高的操作来实现的。

仅空间去交织器应用于无法访问时间参考图片且要求复杂度最小的环境。但是，诸如bob的常规空间去交织器技术无法提供足够的图片质量，因为它们缺乏bob技术通常利用的垂直90度角度以外的适合的角度检测。对于仅空间域以高质量的方式将交织图片去交织的简单且有效的技术将是有益的。

发明内容

本发明涉及一种方法，包括：

为将在仅空间域中去交织的目标像素块计算多个角度候选中的每个角度候选的成本测量值；

确定所述目标像素块的水平角度测量值；

通过从所述多个角度候选中确定最低成本测量值，从所述多个角度候选中确立全局最小角度；

通过以层级方式筛选所述多个角度候选，从所述多个角度候选中确立局部最小角度；以及

对所述全局最小角度和所述局部最小角度进行滤波以创建用于对所述目标像素块内插以进行去交织的值。

其中所述多个角度候选的角度的成本测量值是位于相对于所述目标像素块成所述角度处的两个或两个以上相邻行对之间的绝对差的和。

其中所述两个或两个以上相邻行对具有可变行长度，所述行长度是所述行中将进行比较的像素的数量。

其中所述多个角度候选是相同帧中相对于所述目标像素块的行的相邻行上的像素，所述多个角度候选跨越相对于所述目标像素块从负1度到正1度的全部角度范围。

其中所述多个角度候选包括负11度、负18度、负27度、负45度、90度、正45度、正27度、正18度和正11度。

其中所述水平角度测量值是通过对所述目标像素块应用一阶Sobel公式来确定的。

其中通过如下步骤确立所述局部最小角度：

从90度开始，将所述多个角度候选中的每个角度候选的成本测量值与相同正或负级别的下一个最大度数的成本测量值比较；以及

基于所述比较，随后分支到下一个最小度数以进行另一次比较，直到满足选出局部最小角度的条件为止。

其中在所述比较成本测量值时利用所述水平角度测量值。

其中对所述全局最小角度和所述局部最小角度应用均值算法或median5算法中的至少其中之一以便进行所述滤波。

本发明涉及一种设备，包括：

多角度成本测量组件，用于为将在仅空间域中去交织的目标像素块计算多个角度候选中的每个角度候选的成本测量值；

水平角度测量组件，用于确定所述目标像素块的水平角度测量值；

全局最小角度组件，用于通过从所述多个角度候选中确定最低成本测量值而从所述多个角度候选中确立全局最小角度；

局部最小角度组件，用于通过以层级方式筛选所述多个角度候选而从所述多个角度候选中确立局部最小角度；以及

角度滤波组件，用于对所述全局最小角度和所述局部最小角度进行滤波以创建用于对所述目标像素块内插以进行去交织的值。

其中所述多个角度候选的角度的成本测量值是位于相对于所述目标像素块成所述角度处的两个或两个以上相邻行对之间的绝对差的和。

其中所述两个或两个以上相邻行对具有可变行长度，所述行长度是所述行中将进行比较的像素的数量。

其中所述多个角度候选是相同帧中相对于所述目标像素块的行的相邻行上的像素，所述多个角度候选跨越相对于所述目标像素块从负1度到正1度的全部角度范围。

其中跳过所述多个角度候选的其中一个或多个角度候选，而不会改变去交织的结果。

其中通过如下步骤确立所述局部最小角度：

从90度开始，将所述多个角度候选中的每个角度候选的成本测量值与相同正或负级别的下一个最大度数的成本测量值比较；以及

基于所述比较，随后分支到下一个最小度数以进行另一次比较，直到满足选出所述局部最小角度的条件为止。

附图说明

从下文给出的本发明的各种实施例的详细描述以及附图，将更全面地理解本发明。但是，不应将附图视为是将本发明限制于这些特定的实施例，它们只是出于解释和理解的目的。

图1示出角度导向的空间去交织器的一个实施例的框图；

图2是目标像素块及其多个角度候选的一个实施例的框图；

图3是确定角度候选的成本测量值的一个实施例的概念示意图；

图4是用于确定局部最小角度测量值(measure)的方法的一个实施例的流程图；

图5是角度滤波的一个实施例的框图；以及

图6示出计算机系统的一个实施例的框图。

具体实施方式

描述一种用于角度导向(angular-directed)的空间去交织器的方法和设备。在下文对本发明的详细描述中，阐述了许多特定细节以便充分理解本发明。但是，对于本领域技术人员来说显而易见的是，没有这些特定细节仍可以实施本发明。在其他情况下，以框图形式示出公知的结构和装置，而没有进行详细示出，以免使本发明晦涩难懂。

本说明书中提到“一个实施例”或“实施例”时表示，结合该实施例描述的特定特征、结构或特性包含在本发明的至少一个实施例中。在本说明书中的多个不同位置出现短语“在一个实施例中”时不一定全部是指相同的实施例。

本发明的实施例提出一种用于在仅空间域中以有效且高质量的方式将交织图片去交织的角度导向的空间去交织器。本发明的实施例的角度导向的空间去交织提供分层技术来选择用于内插的最佳角度。例如，角度选择基于局部最小角度测量值以便利用通常在帧中相邻像素之间发现的相似性，以及还基于全局最小角度测量值以产生一致的预测。

在本发明的实施例中，提出一种基于行的测量以用于更好地预测对于像素扰动具弹性的最佳角度并用于处理薄行内容。本发明的实施例的仅空间去交织器可以作为独立的去交织器解决方案来工作。但是，本领域技术人员可以认识到，去交织器的实施例可以与时间测量(例如，目标帧以外的帧)组合以形成运动自适应或运动补偿去交织器解决方案。

本发明的实施例的仅空间去交织器包括：(1)用于通过角度检测和角度滤波的仅空间操作的过程来对交织图片去交织的机构；(2)用于通过利用分层技术搜索具有分层角度候选的局部最小测量值的最适合角度来提供空间角度预测的机构；(3)用于通过利用来自分层角度候选的局部最小值和所有角度候选的全局最小值的测量值以实现更好的滤波来提供多个角度候选中的空间角度预测的机构；(4)通过利用相邻行的可变大小来测量角度成本以提供多个角度候选中的空间角度预测的机构；(5)通过边缘检测技术来细化角度预测的过程以提供空间角度预测的机构；以及(6)用于通过来自分层角度候选的局部最小值和来自所有角度候选的全局最小值的角度来提供去交织滤波的机构。

图1是描绘角度导向的空间去交织器的组件的一个实施例的框图。将视频输入110提供给计算机系统中的图形处理器的去交织器120。在去交织器120内，将视频输入发送到多角度成本测量组件121和水平角度测量组件122。确切地说，发送将内插以进行去交织的像素块以作为去交织器的输入。多角度成本测量组件121应用多种技术来测量像素块的多个角度成本，而水平角度测量组件122对该像素块执行水平角度测量。

然后，将来自多角度成本测量组件121的结果发送到全局最小角度测量组件123和局部最小角度测量组件124。将来自水平角度测量组件122的结果仅发送到局部最小角度测量组件124。基于由全局最小角度测量组件123所确定的所有角度候选的全局最小值以及基于由局部最小角度测量组件124所确定的分层角度候选的提议的局部最小值来确定特定像素块的两个最佳角度候选。分层角度候选的局部最小值至少部分地根据来自水平角度测量组件122的水平角度测量值来确定。

最后，将通过角度滤波(angular filtering)组件125进行的角度滤波应用于从全局最小角度测量组件123和局部最小角度测量组件124得到的两个最佳角度候选。角度滤波得到用于像素内插以进行去交织的值。下文更详细地进一步描述去交织器120的组件121-125的操作。

最初，一旦提供目标像素块用于通过去交织器进行内插，便执行多角度成本测量。图2描绘将去交织的目标像素块的位置和指向相对场的相邻像素的多个关联的角度候选(11个角度)。这11个角度表示为90度(90)、正45度(P45)、负45度(N45)、正27度(P27)、负27度(N27)、正18度(P18)、负18度(N18)、正14度(P14)、负14度(N14)、正11度(P11)和负11度(N11)。应注意，本发明的实施例可以扩展到P11和N11度以外。而且，本发明的实施例不一定限于上文列出的特定度数候选，而是可以包括比上文提到的角度更多或更少的相同或不同的角度。

本发明的实施例利用基于行的测量来确定目标像素块的角度成本测量值。这种基于行的测量降低了去交织的复杂度。因此，在去交织时合理地保持了图片质量。本发明的实施例中利用的角度成本测量值基于每个候选角度多对相邻行的绝对差之和(SAD)。

图3示出通过利用三对相邻行进行的N45角度的角度成本测量的示例。对正在测量的相对于目标像素块的每个其他候选角度(不同于N45)也重复如图3所示的多角度成本测量。在本发明的一些实施例中，可能的是，跳过一个或多个角度成本测量值(例如，P14度和N14度)以进一步简化去交织操作，而不会牺牲图片质量。在一些情况中，忽略这些候选角度而不实质性地影响去交织的结果是可能的。

如图所示，个别地计算第一行对310、第二行对320和第三行对330之间的SAD。将这些个别的SAD加在一起得到角度候选的总SAD。如图3所示，SAD1 310是在目标像素块上方的成N45角的那一对行。SAD2 320是直接位于目标像素块的上方和下方的成N45角的那一对行。SAD3 330是直接位于目标像素块下方的成N45角的那一对行。应注意，在使用SAD计算角度成本测量值时可以基于系统的可用资源来利用更多或更少的行对。

在计算多对行之间的SAD时，重要的是，至少一对的行大小与其他一(或多)对是不同的。例如，SAD1 310和SAD3 330利用5个像素的行长度，而SAD2 320利用6个像素的行长度。如果所有行对具有相同的长度，成本测量值则为整块像素(包括所有行对)之间的SAD。行对长度的可变性和行对位置的可变性使得成本测量值能够基于每个行对的SAD，而非整个像素块的SAD。

除了计算多角度成本测量值外，本发明的实施例还确定目标像素块的水平角度测量值。为了确定水平角度测量值，应用公知的一阶Sobel公式来估算边缘信息：

$E\_h=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]$

其中水平角度测量值(AM)定义为：

AM(x)＝|n9(x)*E_h|，

其中n9(x)是当前目标像素x的3×3空间相邻像素。稍后利用水平角度测量的结果作为局部最小角度测量确定的一部分。

一旦确立了多角度成本测量值和水平角度测量值，便确定全局最小角度测量值和局部最小角度测量值。全局最小角度测量值G_min_angle是所有角度候选中具最低角度成本测量值的角度候选。例如，参考图2和图3，全局最小角度测量值为具有由图3中描绘的SAD计算所确定的最低成本测量值的图2中的角度候选。

此外，还确定局部最小角度测量值。图4描绘基于分层角度候选的局部最小值的层级(hierarchical)角度选择。如图所示，示出五个层410、420、430、440、450。在方框405处，将初始缺省角度设置为90度。然后，在第1层410中，识别90、P45和N45中的最佳角度。然后，随后在每个不同的层级层中比较与每个潜在候选角度相关联的成本测量值。例如，如果选择最佳角度为P45或N45，则过程继续进行到下一层(即，第2层420)的关联分支以对照P27或N27度的成本测量值进行测试。

如图所示，在第2层420处，过程在正角度与负角度之间一分为二。如果选择P45，则在正角度中进行剩余测试。如果选择N45，则在负角度中进行剩余测试。过程继续在接下来的层(第3层430、第4层440和第5层450)中查找更佳候选角度，直到找到局部最佳角度L_min_angle为止。

在图4中，还利用阈值D0、D1、D和Th。这些值可以根据先前确定的水平角度测量的值来自适应地修改。当水平角度测量值大于阈值时，存在水平角度，然后缺省90度无效。在此情况中，跳过第1层410中的过程，而改为在第2层420处开始挑选P45与N45之间的较低值。然后，过程正常继续在接下来的层中搜索，直到找到局部最佳局部最小角度为止。

当全局最小角度测量值和局部最小角度测量值都已确立(establish)时，基于这些角度G_min_angle和L_min_angle执行角度滤波。图5示出对于G_min_angle＝P27且L_min_angle＝P45的假设情景的角度滤波的示例。

假定目标像素为x，则本发明的实施例提出两个滤波器选项。第一个选项应用平均值，例如对于P27全局最小角度应用G_filter＝(P1+Q0)/2，对于P45局部最小角度应用L_filter＝(P0+Q1)/2。然后，应用下式来确定用于像素内插的值：C*G_filter+(1-C)*L_filter，其中C是G_min_angle和L_min_angle的角度成本的加权归一化。第二个选项是使用{P1，Q0，P0，Q1，X′}中的median5，其中X′是目标像素x的左邻像素。

在一些实施例中，角度滤波仅基于局部最小角度测量值，并且可应用L_filter。仅利用局部最小角度测量值可以为大多数视频信号实现足够的图片质量，并且在实施复杂度方面也是经济的。

图6是计算机系统600的一个实施例的框图。在一些实施例中，计算机系统600包括图1的组件，并执行它们的关联功能。例如，在一些实施例中，具有其图形处理单元(GPU)和图形去交织器(deinterlacer)657的图形接口卡650可以包括图1的组件，并执行关于图2至图5描述的功能。

计算机系统600包括耦合到互连605的中央处理单元(CPU)602。在一个实施例中，CPU 602是从美国加州圣克拉拉的英特尔公司获得的Pentium

系列处理器中的PentiumIV处理器。或者，还可以使用其他CPU。例如，可以利用多个处理器或多个处理器核来实现CPU602。

在另一个实施例中，还将芯片组607耦合到互连605。芯片组607可以包括存储器控制集线器(MCH)610。MCH 610可以包括耦合到主系统存储器615的存储器控制器612。主系统存储器615存储数据和由CPU 602或系统600中包括的任何其他装置执行的指令序列。

在一个实施例中，主系统存储器615包括一个或多个结合动态随机存取存储器(DRAM)装置的DIMM；但是，可以使用其他存储器类型来实现主系统存储器615。还可以将额外的装置耦合到互连605，例如多个CPU和/或多个系统存储器。

MCH 610可以经由集线器接口耦合到输入/输出控制集线器(ICH)640。ICH 640提供至计算机系统600内的输入/输出(I/O)装置的接口。ICH 640可以支持I/O互连上的标准I/O操作，I/O互连可以是例如外围组件互连(PCI)、加速图形端口(AGP)、通用串行互连(USB)、低引脚计数(LPC)互连或任何其他类型的I/O互连(未示出)。在一个实施例中，MCH 610耦合到图形接口卡650。图形接口卡650包括GPU 655和图形去交织器657。

可明白，对于某些实现，可能期望比上述示例具有更少或更多装备的系统。因此，系统600的配置可以因不同实现而有所不同，具体取决于多种因素，例如价格限制、性能要求、技术改进和/或其他情况。

应注意，虽然本文描述的实施例可以在编程处理器(例如，CPU602或GPU 605)的控制下执行，但是在备选实施例中，这些实施例可以全部或部分地由任何可编程或硬编码逻辑(例如，现场可编程门阵列(FPGA)、晶体管-晶体管逻辑(TTL)逻辑或专用集成电路(ASIC))来实现。此外，本发明的实施例可以由编程的通用计算机组件和/或定制的硬件组件的任何组合来执行。因此，本文公开的任何内容均不应视为是将本发明的各种实施例限于其中所叙述的实施例可以由硬件组件的特定组合来执行的具体实施例。

在以上描述中，阐述了许多特定细节，例如逻辑实现、操作码、资源分区、资源共享和资源复制实现、系统组件的类型和相互关系以及逻辑分区/集成选择，以便更充分地理解本发明的各种实施例。但是，本领域技术人员将认识到，没有这些特定细节，仍可以基于所提供的公开来实施本发明的实施例。在其他情况下，没有详细示出控制结构、门级电路和全软件指令序列，以免使本发明晦涩难懂。通过本文包含的描述，本领域技术人员将能够不必进行过多的实验即可实现合适的功能。

上文阐述的本发明的各种实施例可以由硬件组件来执行，或者可以在机器可执行指令中实施，这些机器可执行指令可用于使以这些指令编程的通用或专用处理器或机器或逻辑电路执行各种实施例。或者，可以由硬件和软件的组合来执行各种实施例。

本发明的各种实施例可以作为计算机程序产品来提供，该计算机程序产品可以包括其上存储有指令的机器可读介质，这些指令可用于对计算机(或其他电子装置)编程以执行根据本发明的各种实施例的过程。机器可读介质可以包括但不限于软盘、光盘、压缩光盘只读存储器(CD-ROM)、磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、磁卡或光卡、闪速存储器、或适于存储电子指令的另一类型的介质/机器可读介质。而且，本发明的各种实施例还可以作为计算机程序产品来下载，其中该程序可以通过以载波或其他传播介质实施的数据信号经由通信链路(例如，调制解调器或网络连接)从远程计算机传送到请求计算机。

类似地，应该认识到，在前文描述中，有时将本发明的各种特征集合在单个实施例、附图或其描述中，以便使本公开流畅，从而帮助理解各个发明方面的其中一个或多个方面。但是，不应将本公开方法解释为反映要求权利的发明需要比每项权利要求中明确叙述的特征更多的特征的意图。而是，正如所附权利要求所反映的，发明方面在于比前文公开的单个实施例的所有特征少的特征。因此，详细描述的随附权利要求明确地结合于本详细描述，其中每项权利要求独立代表本发明的单独实施例。

虽然本领域技术人员在阅读前文描述之后无疑将显见到本发明的许多更改和修改，但应理解，通过图示示出并描述的任何特定实施例决不应视为是限制性的。因此，对各种实施例细节的引述不是用于限制权利要求的范围，它们本身仅仅叙述视为本发明的那些特征。

Claims (15)

1.一种用于角度导向的空间去交织器的方法，包括：

为将在仅空间域中去交织的目标像素块计算多个角度候选中的每个角度候选的成本测量值；

确定所述目标像素块的水平角度测量值；

通过从所述多个角度候选中确定最低成本测量值，从所述多个角度候选中确立全局最小角度；

通过以层级方式筛选所述多个角度候选，从所述多个角度候选中确立局部最小角度；以及

对所述全局最小角度和所述局部最小角度进行滤波以创建用于对所述目标像素块内插以进行去交织的值。

2.如权利要求1所述的方法，其中所述多个角度候选的角度的成本测量值是位于相对于所述目标像素块成所述角度处的两个或两个以上相邻行对之间的绝对差的和。

3.如权利要求2所述的方法，其中所述两个或两个以上相邻行对具有可变行长度，所述行长度是所述行中将进行比较的像素的数量。

4.如权利要求1所述的方法，其中所述多个角度候选是相同帧中相对于所述目标像素块的行的相邻行上的像素，所述多个角度候选跨越相对于所述目标像素块从负1度到正1度的全部角度范围。

5.如权利要求4所述的方法，其中所述多个角度候选包括负11度、负18度、负27度、负45度、90度、正45度、正27度、正18度和正11度。

6.如权利要求1所述的方法，其中所述水平角度测量值是通过对所述目标像素块应用一阶Sobel公式来确定的。

7.如权利要求1所述的方法，其中通过如下步骤确立所述局部最小角度：

从90度开始，将所述多个角度候选中的每个角度候选的成本测量值与相同正或负级别的下一个最大度数的成本测量值比较；以及

基于所述比较，随后分支到下一个最小度数以进行另一次比较，直到满足选出局部最小角度的条件为止。

8.如权利要求7所述的方法，其中在所述比较成本测量值时利用所述水平角度测量值。

9.如权利要求1所述的方法，其中对所述全局最小角度和所述局部最小角度应用均值算法或median5算法中的至少其中之一以便进行所述滤波。

10.一种用于角度导向的空间去交织器的设备，包括：

多角度成本测量组件，用于为将在仅空间域中去交织的目标像素块计算多个角度候选中的每个角度候选的成本测量值；

水平角度测量组件，用于确定所述目标像素块的水平角度测量值；

全局最小角度组件，用于通过从所述多个角度候选中确定最低成本测量值而从所述多个角度候选中确立全局最小角度；

局部最小角度组件，用于通过以层级方式筛选所述多个角度候选而从所述多个角度候选中确立局部最小角度；以及

角度滤波组件，用于对所述全局最小角度和所述局部最小角度进行滤波以创建用于对所述目标像素块内插以进行去交织的值。

11.如权利要求10所述的设备，其中所述多个角度候选的角度的成本测量值是位于相对于所述目标像素块成所述角度处的两个或两个以上相邻行对之间的绝对差的和。

12.如权利要求11所述的设备，其中所述两个或两个以上相邻行对具有可变行长度，所述行长度是所述行中将进行比较的像素的数量。

13.如权利要求10所述的设备，其中所述多个角度候选是相同帧中相对于所述目标像素块的行的相邻行上的像素，所述多个角度候选跨越相对于所述目标像素块从负1度到正1度的全部角度范围。

14.如权利要求13所述的设备，其中跳过所述多个角度候选的其中一个或多个角度候选，而不会改变去交织的结果。

15.如权利要求10所述的设备，其中通过如下步骤确立所述局部最小角度：

从90度开始，将所述多个角度候选中的每个角度候选的成本测量值与相同正或负级别的下一个最大度数的成本测量值比较；以及

基于所述比较，随后分支到下一个最小度数以进行另一次比较，直到满足选出所述局部最小角度的条件为止。

Images