CN1732475A - 用于多维图像增强的系统和方法 - Google Patents

Abstract

一个多维数据增强系统利用多个维度中的大核滤波、抽取和插值来实时增强多维数据。该多维数据增强系统能够实时执行大核处理，因为所要求的处理开销被显著减小。处理开销的减小是通过以下方法实现的：使用充分低通的滤波和抽取以显著减少需要被处理的数据量，以生成一个仅由非常低的空间频率构成的去锐掩模，该去锐掩模可被用于以比用常规边缘锐化实现的方式更自然的方式进一步处理该数据。

Description

用于多维图像增强的系统和方法

相关申请信息

本申请要求了对2002年11月11日提交的题为“Multi-Dimensional Filtering，Decimation，and Processing of dataSets and Images”的美国临时专利申请60/424,472和2002年11月11日提交的题为“Large Kernel Processing of Pixels Near Edges of DataFrames With Additional Artificial Border Data by Processing theBorder Data at a Higher Rate”的美国临时专利申请60/424,473在35USC§119之下的优先权，这里把二者都全部包括进来。

技术领域

本发明涉及多维图像处理，尤其涉及图像数据的增强。

背景技术

图像系统在许多不同的应用中扮演着各式各样重要的角色。例如，医学成像应用，比如内窥镜检查、荧光检查、X-射线、关节内窥镜检查和显微外科应用，正在帮助挽救生命和增进建康。工业应用，比如能够检测一条装配流水线上的极微小错误的部件检查系统，正在导向增大的产量和效率。多种军事和法律实施应用在利用着成像技术来进行目标获取、监视、夜视等等。甚至消费者应用也在利用着高级的视频成像技术来产生提升的娱乐体验，例如由高清晰度电视(HDTV)提供的改良的图片质量。

虽然在视频成像技术领域已经有了许多进步，但是常规的视频成像系统仍忍受着影响所产生的视频影象的质量和有效性的缺陷。例如，用不受控制的照明生成的视频图像通常包含重要的但是不十分明显的低对比度细节，图像中的大动态范围变化可能使这些细节变得对观看者的视觉来说模糊。无法或难以感知这种低对比度细节在要求迅速响应被呈现的图像或者根据被呈现的图像做出快速决定的情况下都是有害的。

多种技术已经被应用于增强视频影象。这些技术包括实时应用的图像滤波。现在，常规实时滤波技术可以作为由数目相对较少的图像像素组成的核(例如3×3像素核或7×7像素核)上的数字卷积来实现。这些技术可以用高通滤波来强调相对于被使用的核的尺寸来说较小的细节。但是，使用这种小核可实现的改进通常是有限的。研究表明显著较大的核在实现有意义的视频增强上有效得多。不幸的是，用常规技术实时执行大核卷积所要求的处理开销在数字信号处理技术的当前状态下是令人望而却步的。

发明内容

一种多维数据增强系统在多维中使用大核卷积技术来实时改进图像数据。该多维数据增强系统能够实时执行大核处理，因为所要求的处理开销被显著降低了。处理开销的降低是通过多维滤波、抽取和处理的使用来实现的，其中多维滤波、抽取和处理的使用降低了在操作的特定阶段需要处理的数据量，但仍提供同样的有益的图像增强。

在本发明的另一方面中，该增强系统能够通过在空白区域中插入虚构的空白数据来在处理靠近一个图像帧的边缘的一个像素时降低周围图像帧中的象素的效果以及空白数据的效果。

本发明的这些和其他特征、方面和实施例在以下题为“具体实施方式”的部分中描述。

附图说明

本发明的特征、方面和实施例是联合附图被描述的，附图中：

图1是描绘一个典型的图像数据显示的图；

图2是描绘根据本发明的一个实施例的图像数据的滤波和抽取的图；

图3是描绘根据本发明的一个实施例对图2的滤波和抽取后的图像数据进行插值的图；

图4是描绘可以成为类似图2和3那样的滤波、抽取和插值的主题的一个3维图像的图；

图5是描绘根据这里描述的系统和方法的一个实施例的用于在一维中对图像数据进行滤波和抽取的一个示例电路的图；

图6是描绘根据这里描述的系统和方法的一个实施例的用于在一个第二维中对图5的图像数据进行滤波和抽取的一个示例电路的图；

图7是描绘根据这里描述的系统和方法的一个实施例的用于对图6的图像数据进行插值的一个示例电路的图；

图8是描绘根据这里描述的系统和方法的一个实施例的用于对图7的图像数据进行插值的一个示例电路的图；

图9是描绘根据这里描述的系统和方法的一个实施例应用一个相对小核的滤波器来输入数据以生成一个去锐掩模的图，其中该掩模可用于生成输入数据的一个增强的版本；

图10是描绘根据这里描述的系统和方法的一个实施例应用一个大核滤波器来输入数据以生成一个甚至更平滑的去锐掩模的图，其中该掩模可用于生成输入数据的一个增强的版本；

图11A是描绘表示输入图像数据的一条曲线的图；

图11B是描绘表示根据图11A的图像数据生成的一个去锐掩模的一条曲线的图；

图11C是描绘表示图11A的曲线和图11B的曲线之间的放大的差异的一条曲线的图；

图11D是描绘表示根据图11A的图像数据生成的另一个去锐掩模的一条曲线的图；

图11E是描绘表示图11A的曲线和图11D的曲线之间的放大的差异的一条曲线的图；

图11F是描绘表示图11B的曲线和图11D的曲线之间的放大的差异的一条曲线的图；

图12是描绘一个典型电缆系统的图，该电缆系统由根据本发明的一个实施例的配置的一个视频增强设备构成；

图13是描绘一个典型NTSC视频图像显示的图；

图14是描绘一个典型HDTV视频图像显示的图；以及

图15是描绘根据这里描述的系统和方法用于创建虚构空白区域的一个示例电路的图。

具体实施方式

以下描述的系统和方法大体上是联系一个二维视频图像系统来描述的；但是，应该理解所描述的系统和方法不限于涉及视频图像系统或只包含二维的图像处理系统的应用。例如，这里描述的滤波技术也可用于数据储存和数据压缩方案。

图1是描绘一个典型视频图像显示100的图。该图像由多个排列在行102和列104中的像素构成。在最常规的例如光栅化的视频成像系统中，这些像素在水平和垂直维度上都被扫描。

在一个常规系统中通常难以提供有意义的视频图像增强。实时校正或增强技术确实存在，但是许多这样的常规技术使用了全局方法。换句话说，一幅输入图像上的一个给定强度的所有点必须被映射到相同的对应的输出强度。当正确应用时，这种技术可以选择性地帮助扩大某些图像区域中的细微细节；但是，这样的方法也经常导致不合需要的副作用，比如其他宽阔的明亮或黑暗区域的饱和，这导致了这些区域中细节的丢失。为了提供增强并且避免某些先前遇到的缺点，相对小核的处理技术已经通过一个卷积过程被用于非全局类型的增强，该卷积过程根据一个输入图像生成一个滤波后的输出图像，其中输出图像中的每个像素是通过考虑围绕该对应像素的一个区域中的多个输入图像像素值而产生的，其中该区域被所述核尺寸所定义。

在卷积过程中，在围绕并包括一个感兴趣的像素的一个区域中的像素值被各自乘以一个系数，该系数是所谓的“卷积”核中的对应元素，然后这些乘积被加起来以便为这个感兴趣的像素生成一个滤波后的输出值。卷积处理的结果是输入数据的一个低通滤波后的版本，或者一个“去锐掩模(un-sharp mask)”。分配给核的元素的系数值能够被配置，以便设置所执行的低通滤波器操作的截止点。为了增强原始图像数据，可以从原始图像数据中减去去锐掩模，这将产生输入数据的一个高通版本。然后输入数据的高通版本可以被放大或者增强，然后可以与原始数据重新结合。结果可以是原始数据增强或锐化。

但是，通常定义能一步完成低通滤波和从原始数据中减去的系数更容易。这样，只要将数据通过单一一个滤波步骤就能生成增强的数据。但是由于滤波器变得更复杂，真正可行的只有将这种一步滤波技术应用到一个有限的核尺寸，即一个3×3像素核或一个7×7像素核。

小核缓冲技术比全局技术要求更多的处理开销。从而缓冲和处理开销要求将常规的基于核的方法限于相对小的核尺寸。但是，如上文所提到的，小核操作产生了有限的增强。较大核的操作可以产生更大的增强，但是正如上文所说明的，大核尺寸所要求的开销传统上被证明为是令人望而却步的。但是，如下文说明的那样，这里描述的系统和方法可以允许在没有困扰常规系统的额外开销的情况下使用大核尺寸来实时增强视频图像。此外，可以在多维空间中提供增强，即具有(N)维的空间，其中N＝2，3，4，...n。

简要地说，这里描述的系统和方法利用了大多数图像数据存在于低频这一事实。因此，数据可以被低通滤波以降低在每个维度中处理的数据量。然后，此数据可以被抽取以进一步降低被处理的数据量。然后数据可以被插值并且被从原始数据中减去。然后产生的图像数据可被使用或与原始图像数据结合来创建一幅可以被显示的增强的图像。

从而，如图2所示，在一个多维数据空间中，一个低通滤波器或多个可分隔的低通滤波器可以被实现来按连续的顺序对N维中的每一维进行抽取或次抽样。该顺序通常基于与多维数据空间中的数据相关的扫描顺序。多维数据空间的例子可以例如包括x和y维中的二维视频图像。对于一幅首先在水平方向然后在垂直方向被扫描的典型的二维图像，抽取或次抽样可以以与扫描相同的顺序被执行，即首先在水平方向然后在垂直方向。图像数据可以是数字的、模拟的或混合的信号。对于一幅典型的二维数字视频图像，像素强度可以被表示成一个二维数据空间中的数字。

为了进行这里描述的抽取或次抽样操作，以实现所需要的大大减轻后续维度中的计算速度和数据储存要求的结果，每个维度内的数据的低通滤波最好是充分地，以便许多高频信息可以被有意识地抑制。在N维数据集合上的大核低通滤波操作中，例如，通过使用一个具有非常低的截止频率的低通滤波器来抑制除了处于非常低频的数据外的所有数据。在大核低通滤波和抽取操作之后，则可利用各种类型的算法来对数据进行插值并使之与原始数据或高频数据结合来产生增强的结果。

通常，为了进行正确的对准，包含高空间频率的数据通常应该被延时以匹配低通滤波操作中固有的滤波器延时；但是，在存在一系列相似图像情况下，低频数据可以被延时，延时量为一个场时间减去滤波器延时，并且作为来自一帧的低空间频率数据，数据的一个“去锐掩模”可以用作应用到下一帧的一个近似校正的信息。这是因为由于低通滤波后的数据本质上包含很少或不包含细节的信息这一事实，在大多数情况下所要求的精度不严格，不然的话就会要求精确对准。

由于大核操作中的非常低频滤波，每个维度中数据的抽取或次抽样可以大大降低多维数据空间中后续维度中的计算速度和数据储存需求。例如，对于一幅二维视频图像，对于每个维度低通滤波和抽取可以一起被执行，首先水平地然后垂直地。水平方向中的抽取或次抽样可以通过降低后续维度中执行滤波所必需的操作数目来使实时处理高效率。此外，垂直方向中的抽取或次抽样可以大大降低低频数据要求的储存空间量。

一般而言，对于数据储存和计算功率降低的要求的优势在具有更多维的数据空间中的数据处理操作中更为显著。例如，如果低通滤波导致每个维度中数据压缩10倍，则一个N维数据空间中的数据处理将导致要求的数据储存和处理功率降低10^N倍。

对于实际应用，由于对于处理功率和数据储存空间的降低的要求，因此可能把用于各种功能的不同电路(包括例如低通滤波器、抽取或次抽样处理器和/或数据储存存储器)合并到单一一个设备中，例如一个专用集成电路(ASIC)。此外，用于插值和其他处理功能(包括例如各种类型的增强算法)的处理器电路也可被集成到同一ASIC上。

在低频数据被延时而高频数据未被延时的实施例中，不需要任何存储器来储存高频数据，以便高频数据可以保持原始状态，具有高带宽。根据实施方式，高频数据甚至可以保持模拟形式，根本不需要被采样。

转到图2，提供了一幅图，它描绘了首先被水平然后被垂直扫描的一幅二维图像的滤波和抽取的一个例子。该二维图像可以是，例如一个传统NTSC或HDTV系统中的一幅光栅扫描的图像。假定图2中的二维视频图像被从左到右逐像素水平扫描，以及从上到下逐行垂直扫描。在图2中，以由一条曲线204表示的像素值水平扫描一幅初始图像202，这生成由一条曲线208表示的一个滤波和抽取后的输出信号，其中曲线204被发送到一个第一低通滤波器(LPF)和抽取器206。已经被LPF和抽取器206在水平维中滤波和抽取的视频数据被表示为一幅图像210，带有彼此分隔相对较远的像素的多个垂直列。图像210的一列的像素值可以由一条信号曲线212表示，该信号曲线被发送到一个第二LPF和抽取器214。第二LPF和抽取器214的输出信号可由一条曲线216表示，该曲线在水平和垂直维中的低通滤波和抽取过程之后形成一幅输出视频图像218。

图3是描绘根据这里描述的系统和方法对低通滤波和抽取后的视频信号进行插值以用于构造一个去锐掩模的示例图。在图3中，已经如图2所示被低通滤波和抽取后的带有一条信号曲线216的视频图像218，逐列通过带有一个可选低通滤波器的一个第一插值器322，以构造一条信号曲线324。信号曲线324形成一幅中间视频图像326，它具有多个像素列，这些像素列彼此间隔相对较远。在水平方向中，如图3所示的信号曲线328被传输到带一个可选低通滤波器的一个第二插值器330以便在水平方向构造一条信号曲线332。已经被垂直和水平插值后的视频信号形成一个输出的去锐掩模334。

如图2和3所示的二维低通滤波、抽取和插值过程也可以被扩展到三维或更多维的数据集合，例如如图4所示的一个苹果436的三维表示。表示苹果表示436的像素可以接连着在x、y和z方向被扫描。然后可以按与像素扫描相同的顺序用可分离的低通滤波器和逐维抽取器执行低通滤波和抽取过程。例如可以以磁共振成像(MRI)在三维中扫描三维对象，在此例中是苹果436。一个三维数据集合是通过采样三维空间中每个点处的密度形成的。

n维中的后续维中的滤波、抽取和插值可以被并行或串行地执行，这取决于实施例。并行滤波操作具有额外的好处，即不需要像串行操作那样对数据进行排队或缓冲。但是串行操作通常要求较少的资源，至少在硬件实现中是这样。

从而，利用联系图2和3描述的系统和方法，可以执行大核滤波操作，提供比先前可能的更大的增强，这是由于数据被抽取从而降低了后续操作中需要储存和处理的数据量这一事实。不同于当前的在一步里执行低通滤波和减法的常规小核技术那样，这里描述的系统和方法独立于其他步骤执行低通滤波，这允许了数据然后能被抽取，使得能够进行大核操作。低通滤波允许抽取，因为你不需要这么多数据点来表示低通滤波后的或者低空间频率的数据。因此，一旦数据在第一维中被低通滤波，则数据可以被抽取，而其他维中的后续操作可以在缩减的数据集合上执行，这降低了储存和处理负担。

一旦低通滤波后的数据被抽取，储存，然后被插值，产生去锐掩模334，则可以以一种产生增强的数据的方式将它与原始数据重新结合。例如，可以从原始数据中减去去锐掩模334。如上所述，从一帧产生的一个去锐掩模334实际上可用于增强下一帧，因为去锐掩模334严格由低空间频率数据组成。换句话说，由于去锐掩模334一般在帧与帧之间不会变化太多，从先前的一帧产生的一个去锐掩模可用于增强下一帧中的图像数据。利用此技术，在一个去锐掩模334被生成的同时，原始数据不需要被减慢速度或被缓冲。从而，这里描述的大核增强可以被实时执行。相反地，输入数据可以被减慢速度以允许生成去锐掩模334的时间，但这通常不是优选的，因为如果输入数据被减慢速度则不是实时的。

如上所述，这里描述的滤波、抽取和插值过程也可以用于数据压缩。例如，根据实施例，低频和高频数据可以被分离，并且被分开传输，例如在一个压缩方案中低频数据被次抽样以节省数据储存空间，然后与高频数据重新结合以恢复原始数据集合或图像。

在以下段落中详细描述被配置为实现这里描述的系统和方法的示例滤波电路。从而，图5-8描绘了利用多相有限冲击(FIR)滤波器进行的带抽取和可分离插值的低通滤波的实施例，它用于二维数据集合例如二维视频图像的滤波。图5和6形成描绘二维的低通滤波和抽取的框图，而图7和8形成描绘利用多相FIR滤波器进行的分离的二维插值的框图。在图5中，表示全带宽视频图像的输入数据可以被传递到以缓冲器502a开始的一系列多像素延迟缓冲器和以乘法器504a开始的一串乘法器。如图所示，可提供可选择的滤波器系数的一个集合506a，用于供一个系数多路复用器508a选择。然后由系数多路复用器508a选择的系数可以被传输到乘法器504a，用于与全带宽输入数据相乘。然后乘法的结果可以被从乘法器504a的输出传递到一个加法器和累加器512。

然后被多像素延迟缓冲器502a延迟的全带宽数据可以被传递到一个第二乘法器504b。然后滤波器系数的一个第二集合506b可以被提供，以供一个第二系数多路复用器508b选择。选中的系数可以被传递到第二乘法器504b，用于与全带宽输入数据相乘，其中全带宽输入数据已经被多像素延迟缓冲器502a延迟。多个这样的多像素延迟缓冲器502a、502b(未显示)、502c(未显示)、...502n以及多个乘法器504a、504b、504c(未显示)、...504n，和多个可选择的系数乘法508a、508b、508c(未显示)、...508n可以被连接起来以形成根据这里描述的系统和方法的一个多相FIR滤波器。

应该注意系数506a、506b、....、506n的选择可以被与图5的多相FIR滤波器接口的一个处理器(未显示)所控制。在特定实施例中，系数只不过是最初由处理器所加载，然后处理器就未再涉及了。系数的数目等于延迟502a-502n的数目。在每个新像素被处理时，一个新的系数506a被选择。例如，系数506a的第一个可以在一个第一像素被处理时被选择，系数506a的第二个可以在下一个像素被处理时被选择等等，直到过程循环回来，系数506a的第一个再次被选择。

从而，例如，如果图2中的插取是4到1，即对于数据集合202中的每四个像素在数据集合210中有一个像素，则将有四个延迟缓冲器502a-502d和四个系数506a。同样的，将有四个系数506b-506n。

被乘法器504a、504b、504c(未显示)、...504n相乘的结果被传递到加法和累加器512，它可以被配置为生成被水平抽取后的视频数据，用于例如由另一个多相FIR滤波器(比如图6中所示的那个)在第二维中抽取。全带宽输入数据可以被以全像素数据速率(即一幅视频图像的像素被扫描的速率)发送到连续的多像素延迟缓冲器602a、602b、...602n和乘法器604a、604b、...604n。但是，从加法器和累加器612传输来的数据可以处于一个被水平抽取后的数据速率，它可以是比全像素数据速率低得多的一个数据速率。因此，后续操作所要求的开销可以被降低。

图6是描述一个多相FIR滤波器的框图，根据这里描述的系统和方法的一个实施例，该多相FIR滤波器被配置为在数据集合或视频图像已经在第一维中被例如图5的多相FIR滤波器抽取以后抽取第二维中的数据集合。例如，首先在水平方向然后在垂直方向被扫描的二维视频图像可以首先被图5的多相FIR滤波器水平地抽取，然后被图6的多相FIR滤波器垂直地抽取。

参考图6，来自加法器和累加器512的输出数据可以被传递到一个多行水平抽取后的延迟缓冲器622a和一个乘法器624a。然后可选的滤波器系数626a可以被提供，以供一个系数多路复用器628a所选择。然后选中的系数可以被第一乘法器624a与水平抽取后的数据相乘，以生成一个被传输到一个加法器和累加器632的输出。

然后已经经过第一多行水平抽取后的延迟缓冲器622a的水平抽取后的输入数据可以被传递到一个第二乘法器624b。可选择的滤波器系数的一个第二集合626b可以被提供，以供一个第二系数多路复用器628b选择。第二乘法器624b可以将由多路复用器628b选择的系数与已经被第一多行水平抽取后的延迟缓冲器622a延迟的数据相乘。然后被第二乘法器628b相乘的结果可以被从第二乘法器624b的输出传递到加法器和累加器632。在水平抽取后的数据的一系列连续延迟后，最后的多行水平抽取后的延迟缓冲器622n可以被配置为将延迟后的数据传输到一个最后的乘法器624n。可选滤波器系数的一个集合626n可以被提供，以供一个最后的系数多路复用器628n选择，该系数多路复用器可以将选中的系数传输到乘法器624n，用于与由最后的延迟缓冲器622n延迟的数据相乘。然后相乘的结果可以被从乘法器624n传输到加法器和累加器632。

在图6所示的实施例中，水平抽取后的输入数据被传输经过多行水平抽取后的延迟缓冲器622a、622b(未显示)、622c(未显示)、....622n，用于与由各个多路复用器选择的各滤波器系数相乘。被乘法器624a、624b、624c(未显示)、...624n相乘的结果可以被传递到加法器和累加器632，该加法器和累加器632可以被配置为生成水平抽取后的结果。由加法器和累加器632生成的结果可以被储存在一个二维抽取后的帧储存和延迟缓冲器634中，用于进一步处理。从图5的多相FIR滤波器接收到的数据可以被以水平抽取后的数据速率传递经过多行水平抽取后的延迟缓冲器622a、622b、...622n和乘法器624a、624b、...624n，而从加法器和累加器632传输到二维抽取后的帧储存和延迟缓冲器634的数据可以以一个二维抽取后的数据速率被传输，此速率可以是比水平抽取后的数据速率低得多的一个数据速率。

图7是描绘一个用于数据的垂直维插值的多相FIR滤波器的框图，其中该数据已经被图5和6的多相FIR滤波器在水平和垂直维都进行了抽取。在图7的实施例中，二维抽取后的帧储存和延迟缓冲器634将抽取的数据传输到一个用于被垂直抽取的行的第一水平抽取后的再循环行延迟742a。水平抽取后的再循环行延迟742a将时间上延迟的数据输出到一个第一乘法器744a、和用于被垂直抽取的行的一个第二水平抽取后的再循环行延迟742b。

可选滤波器系数的一个第一集合746a可以被提供，以供一个第一系数多路复用器748a选择，该多路复用器可以被配置为选择一个第一系数，用于与从水平抽取后的再循环行延迟742a接收到的延迟后的数据相乘。第一乘法器744a可以被配置为将第一系数与时间延迟后的输入数据相乘，以产生一个结果，该结果被从第一乘法器744a的输出传输到一个加法器752。

同样地，可选滤波器系数的一个第二集合746b可以被提供，以供一个第二系数多路复用器748b选择，该多路复用器可被配置为从第二系数集合中选择一个系数，用于通过一个第二乘法器744b与二次延迟的输入数据相乘。乘法器744b将选中的系数与已经被传递经过用于垂直抽取后的行的前两个水平抽取后的再循环行延迟742a和742b的抽取后的输入数据相乘，以便在第二乘法器744b的输出处产生一个结果。

从而，二维抽取后的数据可以经过多个水平抽取后的再循环行延迟742a、742b、...直到它到达最后的水平抽取后的再循环行延迟742n。在这一点处，可选滤波器系数的一个集合746n可以被提供，以供一个系数多路复用器748n选择，该多路复用器可以被配置为从可选系数集合742n中选择一个系数，用于通过乘法器744n相乘。乘法器744n可以被配置为将该系数与已经经过水平抽取后的再循环行延迟742a、742b、...742n系列的二维抽取后的数据相乘，以便在乘法器744n的输出处生成一个结果。

分别被连接到乘法器744a、744b、...744n的输出的加法器752，可以被配置为随后计算产生的已经被垂直维中的插值重建的视频数据。

在图7的实施例中，二维抽取后的视频数据被以一个二维抽取后的数据速率从帧储存和延迟缓冲器634传输到用于垂直抽取后的行的水平抽取后的再循环行延迟742a、742b...742n系列。相反，已经被乘法器744a、744b、...744n和加法器752垂直插值的视频数据可以被以一个水平抽取后的数据速率传输，该数据速率是一个高于二维抽取后的数据速率的数据速率。然后在加法器1052的输出处生成的垂直插值后的视频数据可以被传输到图8的多相FIR滤波器，用于水平插值。

图8是描绘一个多相FIR滤波器的框图，根据这里描述的系统和方法的一个示例实施例，该多相FIR滤波器被配置为用于由图10的FIR滤波器生成的水平抽取后的视频数据的水平插值，以生成全带宽的但频谱内容减少的输出视频数据。如图8的实施例所示，从图7的多相FIR滤波器接收到的水平抽取后的数据可以被传输到用于水平抽取后的像素的一个第一锁存器862a，该锁存器又可以被配置为将时间上延迟的数据传输到一个第二锁存器862b和一个第一乘法器864a。

然后可选滤波器系数866a的一个集合可以被提供，以供一个系数多路复用器868a选择。系数多路复用器868a可以被配置为将选中的系数输出到一个乘法器864a，该乘法器可以被配置为将该系数与已经经过锁存器862a的时间上延迟的视频数据相乘，以便在乘法器864a的输出处产生一个结果。再一次，系数可以被一个处理器(未显示)加载，并且在每个像素被处理时被选择。

同样地，可选滤波器系数866b的一个第二集合可以被提供，以供一个第二系数多路复用器868b选择，该系数多路复用器可以被配置为从第二系数集合中选择一个系数，用于通过一个第二乘法器864b进行的乘法。乘法器864b可以被配置为将该系数与已经经过前两个锁存器862a和862b的视频数据相乘，以便在第二乘法器864b的输出处生成一个结果。

然后已经经过用于水平抽取后的像素的锁存器862a、862b、...862n系列的输入视频数据可以被传输到一个最终的系数乘法器864n。在这一点处，可选滤波器系数的一个集合866n可以被提供，以供一个系数多路复用器868n选择，该多路复用器可以被配置为从系数集合866n中选择一个系数，用于与已经经过锁存器862a、862b、...862n系列的时间上延迟的视频数据相乘。乘法器864n在乘法器864n的输出处生成一个结果。

一个加法器872可以与各乘法器864a、864b、...864n的输出接口，以便在加法器872的输出处产生带宽减少的垂直和水平插值后的输出数据。

从而，在图8所示的实施例中，垂直插值的输入数据可以以水平抽取后的数据速率传输到用于水平抽取后的像素的锁存器862a、862b、...862n系列，而由通过乘法器864a、864b、...864n和加法器872进行的插值产生的输出数据可以被以一个全像素数据速率传输，该速率可以是与全带宽输入数据被传输到图5中的用于水平抽取后的多相FIR滤波器相同的速率。但是，从图8的多相FIR滤波器产生的结果可以处于全带宽，但是由较少的频谱内容构成，因为它是输入数据的一个低通滤波后的版本。因此来自图8的多相FIR滤波器的输出数据可以用作用于视频增强算法的低通滤波器数据，以产生各种增强效果。

虽然已经就利用多相FIR滤波器进行的二维可分离低通滤波、抽取和插值描述了实施例，但是这里描述的系统和方法不应该被视为限于这样的特定实施方式。例如，三维视频图像和其他类型的带有二维或多维的多维数据集合也可以根据这里描述的系统和方法被处理。此外，依照一个特定实施方式的要求，其他类型的滤波器，比如IIR滤波器，也可以被用作低通滤波、抽取和插值操作。

图2和3中所示的滤波、抽取和插值系统的输出可以被称为输入数据的一个去锐掩模。不同的核尺寸，即系数数目，将导致不同的去锐掩模。从而可以为一个给定系统(例如一个HDTV系统)预定义多个去锐掩模，并且可以允许用户通过选择哪个去锐掩模应该被应用到系统的输入数据来选择不同空间频带中的增强。

例如，图9描绘了将一个相对较小的核应用到曲线902的输入数据。应记住图9仍描绘了一个大核操作。从而，当以上描述的大核处理被应用到由曲线902所表示的输入数据时，去锐掩模904被生成。正如可看到的，由于低通滤波操作，曲线902的高频频谱内容在曲线904中被抑制。然后去锐掩模904可以被从输入数据902中减去，这将留下输入数据902的高频内容。然后高频版本可被放大以生成一条曲线906。然后曲线906的高频数据可以与输入曲线902结合以产生输入数据的一个增强的版本。

但是如果使用一个更大的核，则在产生的去锐掩模中更多的高频数据将被抑制，如图10所示。从而可利用比用于产生去锐掩模904的核更大的核来从同一输入曲线902生成更平滑的去锐掩模1002。一个高频版本1004可再次通过减法和放大被生成，但是曲线1004将具有更多高频频谱内容。然后高频版本1004可以与曲线902的输入数据相结合以生成输入数据的一个增强的版本。

利用不同的核尺寸，多个去锐掩模可以被应用和结合，以便以类似于典型音频应用中图形均衡器进行频带滤波和结合的方式产生不同的频带。从而可以利用多个去锐掩模(例如图9和10所示的去锐掩模)以与一个音频图形衡器类似的方式创建一个视频均衡器。如下所述，一个N维带通功能与带有其他截止频率和相应的核尺寸的其他去锐掩模可以被结合以产生其他通带，这些通带中的每一个都可被进一步操作，用于各种效果和用途。在根据这里描述的系统和方法的一个视频图形均衡器中，毗邻的几乎不重叠的多个频带的集合可以被产生，以便独立操作每个频带的增益。

图11A-11F描绘了根据这里描述的系统和方法的一个实施例利用两个带有不同截止频率的不同的去锐掩模(例如联系图9和10所描绘的)以产生增强的输出信号的一个例子。在图11A-11F的例子中，输入曲线902是一个简单的一维数据集合；但是，易于理解同样的技术可以被应用到一个n-维系统。因此图11A描绘一条输入数据曲线902。图11B描绘了一个去锐掩模904，它是由应用一个带有相对高的截止频率的相对小核的滤波器产生的。图11C描绘了一条曲线906，它是将去锐掩模904从输入数据曲线902中减去的结果。然后如上所述减法的结果可以被放大或再缩放。

图11D描绘了一条输出曲线1002，它表示由于将一个相对大核的滤波器(即一个带有相对低的截止频率的低通滤波器)应用到输入数据曲线902而产生的一个去锐掩模。应用很明显的是，如上所述，该去锐掩模1002一般比曲线904“更平滑”。图11E描绘了一条曲线1004，它表示了由于从输入数据曲线902中减去去锐掩模1002而产生的放大的像素值。

图11F描绘了一条曲线1202，它是从去锐掩模1002中减去去锐掩模904的结果。

曲线904和906可分别被视为一个视频图形均衡器的一对低频和高频带。类似的，曲线1002和1004也可分别被视为一个视频图形均衡器的另一对低频和高频带，它们的截止频率与曲线902和904不同。然后曲线1202可被视为例如一个图形均衡器的一个中频带。通过使用两个带不同截止频率的不同去锐掩模，可以以一个低频带例如曲线1002、一个中频带例如1202和一个高频带例如曲线906形成一个三频带视频图形均衡器。这些频带可以是相对毗邻和非重叠的。

也可用一个低频带例如曲线904或1002和一个高频带例如曲线906或1004形成一个双频带图形均衡器。

如上所述，以上描述的滤波、抽取和再插值系统和方法可以提供许多种应用中的增强的视频，这些应用包括医、工业、军事和法律实施和消费者娱乐应用。此外，由于上文描述的滤波器、抽取器和插值器降低了处理和储存要求，因此滤波、抽取和插值电路可以被包括在小型因数芯片集合或者甚至单一一个专用集成电路(ASIC)中，这有助于使能实现甚至更多种应用。

例如图12描绘了一个典型电缆系统1200，它被配置为将电缆电视节目递送给一个消费者的电缆机顶盒1202。电缆电视节目可由例如NTSC或HDTV电缆电视信号构成。电缆网络1204可由一个头端1204构成，该头端被配置为接收电视节目，并将其递送到一个特定的消费者机顶盒1202。机顶盒1202可被配置为然后递送电视节目，用于经由消费者的电视或显示器1210观看。

但是在系统1200中可包括一个视频增强设备1208以根据上文描述的系统和方法增强被递送的电缆电视节目。换句话说，视频增强设备1208可被配置为执行以上描述的滤波、抽取和插值步骤。从而，被递送到电视1210用于观看的电缆电视节目可以被显著增强，即使电视节目由HDTV信号构成。此外，可允许用户利用一个多频带图形均衡器选择所需的增强程度，该均衡器是由如上所述的多个去锐掩模配置而来的。

此外，其他视频生成设备1212可以与视频增强设备1208接口。典型视频生成设备1212可包括，例如，一个DVD播放器、一个数字视频照相机或一个VCR。从而不论源是什么，经由电视机1210显示的视频信号都可以被增强，只要将它们发送经过视频增强设备1208即可。作为替换，来自视频生成设备1210的信号也可被发送经过机顶盒1202到达视频增强设备1208。

此外，因为可以利用当今的电路制造技术把包含视频增强设备1208的电路做得非常小，所以视频增强设备1208实际上可以被包括在包含系统1200的其他元件之一内。例如，视频增强设备1208可以被包含在头端1204中，并且经由机顶盒1202被递送到电视机1210。作为替换，视频增强设备1202可以被包含在机顶盒1202或电视机1210中。视频增强设备1208甚至可以被包括在一个视频生成设备1210中。

从而小型化包含视频增强设备1204的电路的能力提供了各种消费者电子和娱乐设备的增强和设计中的灵活性。同样的灵活性也可被提供给更专门化的实施方式，例如医学成像、军事目标获取和/或军事和法律实施监视系统。

各种各样的滤波技术可被用于实现以上描述的系统和方法，这些技术可包括模拟和/或数字滤波技术。数字滤波技术可以是首选的，尤其是从帮助与其他电路集成到例如一个或多个ASIC的观点来看。

应该理解使用高阶滤波器比起使用一个一阶滤波器性能更好。当数据的频谱内容中的大变化需要被检测到时，这一点尤其正确。例如，在视频成像，检测数据中何时有一个相对大的变化或运动是比较重要的。如果在有大量运动的情况下应用了相对大量的滤波，则可能由于滤波操作而造成模糊或假象。从而，检测何时有大量运动然后降低应用的滤波的量可以是首选的。

用一个一阶滤波器可获得数据的一个低通版本，但是低通版本对于检测运动不是很有用。数据的一个高通版本可以通过从原始数据中减去低通版本获得。高通版本可以用于检测运动；但是，此技术易受由于噪声引起的虚假指示的影响。换句话说，噪声可以伪装成运动，并限制系统充分检测什么时候确实有运动的能力。常规的较高阶的数字滤波常常是用延时抽头构建成的，但是所有从这些滤波器产生的都是数据的延迟的版本，这对于例如检测运动来说不是必然有用的。

为了例如更好的检测运动，这里描述的系统和方法可以利用一个较高阶的时间数字滤波器，该滤波器被配置为生成数据的一个高通、带通和低通版本。然后数据的带通版本可以被用于例如检测运动。带通版本可用于更精确地检测运动，因为与一个噪声尖峰相反，持续在几帧中的数据中的变化更可能是运动。从而一个较高阶的时间滤波器，例如一个数字状态变量滤波器可被用于生成数据的一个高通、带通和低通版本。然后带通版本可被用于例如检测运动。然后可根据检测到的运动量来调制滤波量。

因此，这里描述的系统和方法不仅能提供更好的增强，它还可以在数据中有相当数量的运动时降低假象或模糊。应该注意数据的带通版本也可用于其他有益的用途。例如，带通信息可以与高通或低通数据结合以检测关于数据的其他有用信息。

在比如上文所描述的图像处理操作中，带一个大核尺寸的滤波操作被应用到一幅图像，以便当处理一个给定像素时，算法使用由所述核尺寸定义的边界内的环绕像素的像素值。一般来说，当处理靠近一个数据集合的边缘(例如一个电视图像帧的边缘)的像素时，核应该延伸经过边缘，并且必须假设数据集合外的区域中的像素值。这是因为数据集合以外的像素值会对靠近一个数据集合(例如一个电视图像帧)的边缘但仍在其有效数据区域内的一个像素的处理产生影响，并且很可能污染或恶化该像素的处理。

在比如常规电视系统这样的光栅化的图像中，光栅格式自然地为这个额外的边缘区域的至少某些量提供“空间”(也称作空白间隔)，用于实时的系统处理。对这种图像实时进行滤波的机制通常在不对处理功率产生额外负担的情况下保持滤波过程在这些空白间隔期间运行，但是，光栅化的图像的活动图像区域之间的空白间隔的存在一般并不意味着适当的像素值被提供用于空白间隔内，从而导致靠近有效区域边缘的假象。

此外，例如在HDTV系统中，与一个常规电视系统相比，相邻图像帧之间的垂直空白区域占有效图像区域的比例小得多，因此更可能小于大核处理操作中的核的尺寸。从而，对于靠近一个给定帧的边缘的一个给定像素，核尺寸大意味着核的相当大一部分将会位于帧以外，并且会更可能包含有效相邻的帧中的像素，例如在当前帧的相反一侧、先前帧的底部或下一帧的顶部的像素。这些像素由于来自图像中的一个不同的区域，而可能包含与正被处理的像素不相关的数据。

这里描述的系统可以解决和减小空白区域对像素数据的大核处理的影响。当用这里描述的系统和方法处理包含一个空白区域的像素时，额外的有效的空白数据可以被添加到该空白区域中，以便额外的“虚构空白区域”将占据围绕被处理的像素的核尺寸内的区域，而不是相邻帧中的图像数据处于该区域中。此操作将由例如由以上所描述的多维滤波、抽取或次抽样和数据处理操作所实现的额外处理功率来辅助实现。

将虚构空白区域加到例如一个HDTV系统中的相邻帧之间的小的现存的垂直或水平空白区域中可以通过加速一个空白间隔期间的数据的处理来实现。例如，在一个HDTV系统中，垂直空白区域特别引人关注。数据以一个特定的速度到来，并且通常被以一个由数据被提供的速率所规定的速率来处理。但是在一个空白间隔期间，没有真正的数据存在，因此系统可被允许加快处理速率，即表现得好像数据来得快得多一样。从而可使空白区域显得更大，从而创建虚构的空白数据。

在添加例如这样的虚构扫描线的情况下，靠近例如一个HDTV图像的一个给定帧的顶部或底部边缘的像素可以在不受靠近相邻帧的相反边缘的像素的数据值污染的情况下被处理，否则这些数据值将会不合需要地影响靠近当前被处理的帧边缘的像素上的大核滤波操作。用智能的像素值填充到空白区域(包括天然存在的空白区域和人工添加的虚构扫描线)的过程，取决于一个特定实施例的要求，并且可以为了各种类型的信号和空白区域大小被优化。这种被智能地假定的空白数据只要性质上变化缓慢、仅由低空间频率内容构成并且只要与活动帧的邻近区域中的数据的平均值保持一致，一般就足够了。

在一个实施例中，一个反馈环可以在空白时间期间被连接到用于二维视频处理的水平和垂直低通滤波器，以便在每个循环之后，包括实际空白区域和虚构扫描线的空白区域逐渐被更适当的假定数据填补。在多个循环之后，空白区域被由电路中的反馈环产生的人工数据填补，以便从一个给定帧的边缘到空白区域(包括人工添加的虚构空白数据)以及从空白区域到紧邻的帧的边缘的过渡会是一个平滑的过渡。然后分配给空白区域的人工数据将被用作靠近帧边缘的像素的滤波或处理中的输入。

添加的虚构空白数据的量取决于特定实施例。但一般只要添加足以使相邻帧的交迭肯定能被避免的虚构空白数据就足够了。

图13描绘了一个传统NTSC显示器1300的一个例子。当前帧1318与当前帧的另一个复本1330一起被显示。从而，帧的复制列被描绘，示出由视频光栅扫描过程产生的有效水平相邻帧。先前帧1326被显示在图顶部，下一帧1340被显示在图底部。一个当前帧1318内的不同像素1310、1312、1314和1316被强调，它们各自带有相关的处理核尺寸1302、1304、1306和1308。例如，对于像素1310，相关的核1302完全位于帧1318内部。从而，来自相邻帧或当前帧的不相关区域的像素值不太可能引起在像素1310上执行的滤波、抽取和/或其他类型的处理操作的显著污染。但是，位于或靠近帧1318的上水平边缘的像素1312具有一个相关联的核尺寸1304，它包括一部份垂直空白区域1322和相邻帧1326内的一小块图像区域。从而，像素1312的处理可以被落在核尺寸1304内的该部分空白区域1322的值所影响。来自相邻帧1326的像素值可能对像素1312的处理引起甚至更进一步的问题，因为这些像素值通常与像素1312无关而且可能和它相当不同，从而可能引起不合需要的明显的假象。考虑到不同的运动可以存在于帧的不同区域之间，有效相邻的帧中的像素与被处理的像素之间的无关性可能引起甚至更明显的假象。

对于位于或靠近帧1318的右垂直边缘的像素1314，在图13的例子中，相关联的核的尺寸1306没有大到足以与当前帧1330的第二复本的任何图像区域相交迭。因此，像素1314可以在没有来自有效相邻的帧1330的无关数据值的重大污染的情况下被处理；但是，即使不被帧1330的像素值所污染，适当的值也仍应该被分配给核尺寸1306内的空白区域部分1334，以避免与空白区域有关的假象。

对于位于或靠近帧1318的一个角落的一个像素1316，对应的核1308可包括空白区域1334的一个相当大的部分，以及靠近垂直相邻的帧1340的角落的一个区域。正如已经提到过的，相邻帧1340中的交迭区域可直接对像素值1316的处理后的值产生影响。此外，相邻帧1340中的核区域1308外的其他图像区域的像素值也可直接影响像素1316的处理，如果它们影响被填入空白区域1334的值的话。

从而，在一个实施例中，值被分配给包含空白区域的像素，这些像素中的某一些则会进入一个核的区域内，例如核区域1304或核区域1306。被分配的值应该在相邻帧中的数据之间的空白区域上提供一个缓慢平滑的数据过渡。应该注意，根据特定实施方式，靠近一帧的边缘的空白区域中的值仍可被有效相邻的帧中的像素值轻微影响。与有效相邻的帧更接近的空白区域中的值受这些有效相邻的帧中的像素值影响的程度可能更大，但是在为例如像素1312、1314或1316产生一个滤波后的输出值时，较靠外的核系数通常被分配较小的值，因此与像素相隔较远的假定空白值，例如那些与有效相邻帧更接近的假定空白值，不会对滤波结果引起大量影响。

正如已经提到的，为了限制有效相邻的帧1326、1330和1340中的像素对像素1312、1314和1316的处理的影响，虚构的空白数据可以例如通过加快空白期间的处理而被添加到空白区域1322和1334。然后，正如已经描述的，值可以被分配给空白区域，包括虚构空白数据。添加虚构空白数据可以使得核区域1304、1306和1308不与有效相邻的帧1326、1330和1340中的像素交迭，或者至少降低交迭的程度。交迭的减少可以防止相邻帧1326、1330和1340中的像素对例如像素1312、1314和1316的处理产生任何显著影响。

正如已经提到的，由于出现在HDTV信号中的较小的空白区域，相邻帧中的像素甚至更受关注。图14描绘了一个HDTV显示器的例子。当前帧1462与当前帧的另一复本1468一起被显示。先前帧1400被显示在图14的顶部，下一帧1478被显示在底部。代表性的像素1446、1448、1450和1462被显示为带有相关联的核尺寸1454、1456、1458和1460。像素1446的处理不太可能被相邻帧或者当前帧1462的无关区域的像素值显著影响，因为核1454完全位于帧1462内。但是，对于位于或靠近帧1462的右垂直边缘的像素1448，核1456包括帧1462和当前帧的另一复本1468之间的一部分空白区域1466。但是因为HDTV图像帧之间的水平空白区域1456与用于滤波操作的典型核尺寸相比相对较大，因此像素1448的处理不大可能被帧1468中的像素值显著影响。但是，如上所述，适当的人工空白值仍应当被设计出来并且填充到空白区域1456中，以避免与空白区域相关的假象。此外，由于在某些方案中，空白区域1456中的人工值仍可至少在某种程度上被帧1468中的像素值所影响，因此像素1448的处理仍可被帧1468中的像素值间接影响。

对于位于或靠近帧1462的上水平边缘的像素1450，垂直邻帧1474的一大部分可位于核1458内，因为帧1462和1474之间的垂直空白区域1442与用于HDTV系统中的滤波和抽取操作的典型的核尺寸相比较小。从而，帧1474中的像素值可显著污染像素1450的处理，从而产生相当明显的假象。除了填充到空白区域中的人工值的污染外，像素1450的处理可被相邻帧1474中的实际像素值显著影响，特别地考虑到这些像素值最可能与像素值无关并且非常不同。

类似的，与位于或靠近帧1462的角落的像素1452相关联的核1460可包含与垂直相邻的帧1478的角落部分交迭了一大块区域。因此，垂直相邻的帧1478的角落部分中的像素值可对像素1462的处理引起相当大的污染，从而产生相当大的假象。从而，被分配给空白区域1466和1444的人工值可污染像素1452的处理，此外，相邻帧1478中的像素值可显著恶化对像素1452的处理的污染。

虚构扫描线的添加，尤其是添加到一个HDTV系统的垂直相邻的图像帧的垂直空白区域中，可消除或者至少显著降低例如核1454、1456和1458与相邻帧1474、1444和1468之间的交迭量，从而避免或者至少减轻像素1446、1448和1450的数据值的污染。

图15是描绘一个电路1500的框图，该电路被配置为根据这里描述的系统和方法的一个实施例将虚构的空白数据和相关的值插入包括虚构的空白数据的空白区域中。全带宽输入数据，例如帧的活动视频图像，可以在一个视频数据多路复用器1502的一个第一输入1500处被接收，该视频数据多路复用器也可被配置为接收一个控制信号1504，该控制信号指示空白何时出现在相邻帧之间。原始空白数据可以在与输入数据相同的通道上被接收，例如在输入1500上，因为原始空白数据是原始视频数据的一部分，但是此数据能够被多路复用器的操作所忽略。

多路复用器1502可被配置为将输入数据传递到一个N-维低通滤波器1508，该滤波器被配置为对输入数据进行低通滤波，例如按照上文所述的方式。然后N-维低通滤波器1508的输出可以被反馈回多路复用器1502的一个反馈输入1512。因此，多路复用器1502可以被配置为在控制信号1504的控制下多路复用输入数据和N-维低通滤波器1510的滤波后的输出，以便在非空白时间期间，滤波器响应实际图像数据，而在空白时间期间，滤波器响应其先前估计的值，该值可以例如最初被设置为一个缺省的零值，从而有效地呈现某些额外的时间特征。从而，N-维低通滤波器1508的输出可被用于导出对于应该被分配给一个空白区域的值的一个估计。

控制信号1504也可被提供给N-维低通滤波器1508，以控制处理速率，即在空白时间期间有效地加速处理，从而添加虚构的空白数据。应该注意，例如，以上所描述的数据抽取可能对于释放处理资源有用，此处理资源然后可被用于执行更多周期，即加快像素时钟。虚构的空白数据的初始值也可被初始设为一个零值，然后利用基于N-维低通滤波器1508的滤波输出的估计值被填入。

在经过N-维低通滤波1508进行多个低通滤波循环之后，空白区域可被数据值逐渐填入，直到一个平滑的过渡被形成在靠近相邻帧的边缘的实际数据值和填入空白区域的人工数据值之间，其中该空白区域包括添加到空白区域中的虚构数据。

在特定实施例中，N-维低通滤波器可以例如是一个二维低通滤波器，根据这里描述的系统和方法，它由可分离的水平和垂直低通滤波器构成。但是正如已经提到的，这里描述的系统和方法可被应用到N-维中，不论滤波器被如何实现，例如它是否可分离。

从而，电路1500可以与上文描述的电路被包括在相同的设备中，例如视频增强设备1208中，或者甚至ASIC中。此外，通过实施这里描述的系统和方法，可实现多种系统的视频景象中的显著增强。

虽然以上已经描述了本发明的特定实施例，但是应该理解所描述的实施例只是用于举例的。因此，本发明不应根据描述的实施例而受限。相反，当联合上述说明和附图时，这里描述的本发明的范围只应该根据随后的权利要求书被限制。

Claims (67)

1.一种增强多维图像数据的方法，包括：

扫描多个维度中的图像数据；以及

对于多个维度中的每一维，执行一个次抽样操作以减少多个维度中的每一维中的图像数据量。

2.权利要求1所述的方法，其中次抽样包括，利用一个相对大的核尺寸对所述的多个维度中的每一维中的图像数据进行低通滤波。

3.权利要求2所述的方法，其中次抽样进一步包括，抽取所述的多个维度中的每一维中的所述低通滤波后的图像数据。

4.权利要求2所述的方法，其中对于所述的多个维度中的至少某些维进行的所述低通滤波是被串行执行的。

5.权利要求2所述的方法，其中对所述的多个维度中的至少某些维进行的所述低通滤波是被并行执行的。

6.权利要求2所述的方法，其中所述的多个维度中的图像数据的所述的低通滤波是按照与所述的多个维度中的图像数据的扫描顺序相同的顺序被执行的。

7.权利要求2所述的方法，其中所述低通滤波包括利用非常低的截止频率进行的充分低通的滤波。

8.权利要求1所述的方法，进一步包括，对于所述的多个维度的每一维，对所述的次抽样后的图像数据插值。

9.权利要求8所述的方法，其中对所述的次抽样后的图像数据插值包括，对所述的次抽样后的图像数据低通滤波。

10.权利要求8所述的方法，进一步包括处理所述的插值后的图像数据。

11.权利要求10所述的方法，其中处理所述的插值后的图像数据包括，从所述的原始图像数据中减去所述的插值后的图像数据，以生成所述的原始图像数据的一个高频版本。

12.权利要求11所述的方法，其中处理所述的插值后的图像数据进一步包括放大所述的原始数据的高频版本。

13.权利要求12所述的方法，其中处理所述的插值后的图像数据进一步包括，将所述的原始数据的放大后的高频版本与所述的原始数据结合以生成所述的原始数据的一个增强的版本。

14.权利要求10所述的方法，其中处理所述的插值后的图像数据进一步包括将高频图像数据与低频图像数据分离开来，其中所述的次抽样相对于所述的低频图像数据进行，并且其中处理所述的插值后的图像数据包括将所述的插值后的低频图像数据与相关的高频图像数据结合。

15.一种增强多维图像数据的方法，包括：

扫描多个维度中的图像数据；以及

对于多个维度中的每一维，利用一个相对大的核尺寸对所述的图像数据进行低通滤波，并且抽取所述的图像数据。

16.权利要求15所述的方法，其中对于所述的多个维度中的至少某些维进行的所述的低通滤波是被串行执行的。

17.权利要求15所述的方法，其中对所述的多个维度中的至少某些维进行的所述的低通滤波是被并行执行的。

18.权利要求15所述的方法，其中所述的图像数据的所述的低通滤波是按照与所述的多个维度中的每一维的图像数据的扫描顺序相同的顺序被执行的。

19.权利要求15所述的方法，其中所述低通滤波包括利用非常低的截止频率进行的充分低通的滤波。

20.权利要求15所述的方法，进一步包括，对于所述的多个维度的每一维，对所述的低通滤波和抽取后的图像数据进行插值。

21.权利要求20所述的方法，进一步包括处理所述的插值后的图像数据。

22.权利要求21所述的方法，其中处理所述的插值后的图像数据包括，从所述的原始图像数据中减去所述的插值后的图像数据，以生成所述的原始图像数据的一个高频版本。

23.权利要求22所述的方法，其中处理所述的插值后的图像数据进一步包括放大所述的原始图像数据的高频版本。

24.权利要求23所述的方法，其中处理所述的插值后的图像数据进一步包括，将所述的放大后的原始数据的高频版本与所述的原始数据结合以生成所述的原始数据的一个增强的版本。

25.一种增强多维图像数据的方法，包括：

利用一个大核尺寸对多个维度中的每一维中的图像数据进行低通滤波；

抽取所述的多个维度中的每一维中的低通滤波后的图像数据；

对所述的抽取后的图像数据进行插值以生成所述图像数据的一个去锐掩模；以及

使用所述的图像数据的去锐掩模生成所述图像数据的一个增强的版本。

26.权利要求25所述的方法，其中使用所述的图像数据的去锐掩模生成所述图像数据的一个增强的版本包括，从所述图像数据中减去所述图像数据的去锐掩模以产生所述图像数据的一个高频版本。

27.权利要求26所述的方法，其中使用所述的图像数据的去锐掩模生成所述图像数据的一个增强的版本进一步包括放大所述图像数据的高频版本。

28.权利要求26所述的方法，其中使用所述的图像数据的去锐掩模生成所述图像数据的一个增强的版本进一步包括将所述图像数据的高频版本与所述图像数据结合。

29.一个多维图像数据增强系统，包括；

一个输出设备，所述输出设备被配置为通过扫描多个维度中的图像数据输出所述图像数据；以及

一个图像数据处理器，所述图像数据处理器被配置为对于所述的多个维度中的每一维，执行一个次抽样操作以减少所述的多个维度中的每一维中的图像数据量。

30.权利要求29所述的多维图像数据增强系统，其中所述的图像数据处理器包括一个大核低通滤波器，并且其中次抽样包括利用所述的大核低通滤波器对所述的多个维度中的每一维中的图像数据进行低通滤波。

31.权利要求30所述的多维图像数据增强系统，其中所述的图像数据处理器进一步包括一个抽取器，并且其中次抽样进一步包括利用所述的抽取器抽取所述的多个维度中的每一维中的低通滤波后的图像数据。

32.权利要求30所述的多维图像数据增强系统，其中对于所述的多个维度中的至少某些维进行的所述的大核低通滤波是被串行执行的。

33.权利要求30所述的多维图像数据增强系统，其中对于所述的多个维度中的至少某些维进行的所述的大核低通滤波是被并行执行的。

34.权利要求30所述的多维图像数据增强系统，其中所述的大核低通滤波器被配置为按与所述图像数据被所述的图像处理器扫描的顺序相同的顺序对所述图像数据进行低通滤波。

35.权利要求29所述的多维图像数据增强系统，其中所述的图像数据处理器进一步包括一个插值器，所述插值器被配置为对于所述的多个维度中的每一维，对所述的次抽样后的图像数据插值。

36.权利要求35所述的多维图像数据增强系统，其中所述的图像数据处理器被进一步配置为，处理所述的插值后的图像数据。

37.权利要求36所述的多维图像数据增强系统，其中处理所述的插值后的图像数据包括，从所述的原始图像数据中减去所述的插值后的图像数据以生成所述的原始图像数据的一个高频版本。

38.权利要求37所述的多维图像数据增强系统，其中处理所述的插值后的图像数据进一步包括放大所述的原始数据的高频版本。

39.权利要求38所述的多维图像数据增强系统，其中处理所述的插值后的图像数据进一步包括，将所述的放大后的原始数据的高频版本与所述的原始数据结合以生成所述的原始数据的一个增强的版本。

40.权利要求36所述的多维图像数据增强系统，其中处理所述的插值后的图像数据进一步包括，将高频图像数据与低频图像数据分离开来，其中所述的次抽样相对于所述的低频图像数据进行，并且其中处理所述的插值后的图像数据包括将所述的插值后的低频图像数据与相关的高频图像数据结合。

41.一个多维图像数据增强系统，包括；

一个输出设备，所述输出设备被配置为通过扫描多个维度中的图像数据输出所述图像数据；以及

一个大核低通滤波器，对于所述的多个维度中的每一维，所述的大核低通滤波器被配置为对所述图像数据进行低通滤波，以及一个抽取器，所述抽取器被配置为抽取所述的图像数据。

42.权利要求41所述的多维图像数据增强系统，其中对于所述的多个维度中的至少某些维进行的所述的大核低通滤波是被串行执行的。

43.权利要求41所述的多维图像数据增强系统，其中对于所述的多个维度中的至少某些维进行的所述的大核低通滤波是被并行执行的。

44.权利要求41所述的多维图像数据增强系统，其中所述的图像数据的大核低通滤波是按与所述的每个维度中的每一维的图像数据的扫描顺序相同的顺序被执行的。

45.权利要求41所述的多维图像数据增强系统，进一步包括，一个插值器，对于所述的多个维度中的每一维，所述插值器被配置为对所述的低通滤波后和插取后的图像数据进行插值。

46.权利要求45所述的多维图像数据增强系统，进一步包括一个图像数据处理器，所述的图像数据处理器被配置为处理所述的插值后的图像数据。

47.权利要求46所述的多维图像数据增强系统，其中处理所述的插值后的图像数据包括，从所述的原始图像数据中减去所述的插值后的图像数据以生成所述的原始图像数据的一个高频版本。

48.权利要求47所述的多维图像数据增强系统，其中处理所述的插值后的图像数据进一步包括放大所述的原始数据的高频版本。

49.权利要求48所述的多维图像数据增强系统，其中处理所述的插值后的图像数据进一步包括，将所述的放大后的原始数据的高频版本与所述的原始数据结合以生成所述的原始数据的一个增强的版本。

50.一种增强多维图像数据的方法，包括：

添加充足的虚构的空白数据到一个空白区域，以便有效相邻的帧中的像素的像素数据不会不适当地影响靠近一个当前帧的边缘的一个像素的像素数据的处理；以及

处理靠近所述当前帧的边缘的一个像素的像素数据。

51.权利要求50所述的方法，其中添加虚构的空白数据包括在空白期间以一个较高的数据速率处理数据。

52.权利要求51所述的方法，其中处理所述的像素数据包括低通滤波和抽取所述的像素数据，并且利用产生的处理开销在空白期间以一个较高的数据速率有效地处理数据。

53.权利要求51所述的方法，其中在垂直空白时间处理所述的像素数据包括，垂直低通滤波所述的像素数据以及水平地抽取所述的像素数据，以产生包括水平抽取后的数据的垂直的空白线，并且从而增加在垂直空白时间可被处理的垂直线的数目。

54.权利要求50所述的方法，其中处理所述的像素包括执行一个卷积滤波操作。

55.权利要求54所述的方法，其中所述的卷积处理在多个维度上被执行。

56.权利要求50所述的方法，其中处理所述的像素包括在多个维度上执行低通滤波。

57.权利要求50所述的方法，进一步包括将人工数据分配给包括所述虚构空白区域的所述空白区域，以使得在处理靠近所述当前帧的边缘的像素的像素数据时所述的人工数据被使用。

58.权利要求57所述的方法，进一步包括，为包括所述的虚构空白区域的所述空白区域迭代地生成人工数据。

59.一个多维图像数据增强设备，包括：

一个卷积低通滤波器，所述的卷积低通滤波器被配置为对多个维度中的图像数据进行卷积滤波；

耦合到所述的卷积低通滤波器的输出的一个反馈环，所述的反馈环被配置为从所述的卷积低通滤波器的输出接收滤波后的数据；以及

耦合到所述的反馈环和所述的卷积低通滤波器的一个输入的一个多路复用器，所述的多路复用器被配置为在一个控制信号的控制下多路复用图像数据和滤波后的数据，所述的控制信号被配置为指示所述图像数据何时包括空白数据并且控制所述的卷积低通滤波器的操作速率。

60.权利要求59所述的多维图像数据增强设备，其中所述的控制信号被配置为引起所述的卷积滤波器的操作速率加快以便添加虚构的空白数据到所述的空白数据。

61.权利要求59所述的多维图像数据增强设备，其中对所述的图像数据进行卷积滤波进一步包括，对所述的图像数据进行低通滤波和抽取并且使用产生的处理开销有效地增加所述卷积滤波器的操作速率。

62.权利要求59所述的多维图像数据增强设备，其中在垂直空白时间对所述的像素数据进行卷积滤波包括，对所述的像素数据进行垂直低通滤波所述并且对所述像素数据进行水平抽取，以产生包括水平抽取后的数据的垂直空白线，从而增加在垂直空白时间可被处理的垂直线的数目。

63.权利要求61所述的多维图像数据增强设备，其中所述的卷积滤波在多个维度上被执行。

64.权利要求59所述的多维图像数据增强设备，其中卷积滤波包括在多个维度上执行低通滤波。

65.权利要求59所述的多维图像数据增强设备，其中所述的反馈环被配置为，为包括所述的虚构空白数据的所述的空白数据提供人工数据，以使得在处理靠近当前帧的边缘的图像数据时所述的人工数据被使用。

66.权利要求65所述的多维图像数据增强设备，其中所述的反馈环被进一步配置为，为包括所述的虚构空白区域的所述的空白区域迭代地提供人工数据。

67.权利要求66所述的多维图像数据增强设备，其中迭代地提供人工数据包括，反馈回所述的卷积滤波后的数据、并且在所述的控制信号的控制下在空白间隔期间多路复用所述的卷积滤波后的数据和新接收到的图像数据。

Images