CN101572822A - 用于图像的不规则空间子采样的自适应生成 - Google Patents

Abstract

本发明涉及用于图像的不规则空间子采样的自适应生成。将自适应滤波器应用到样本初始图案中的样本。初始图案中的样本与要利用样本预测的图像像素的子集对应。变化图案中每个样本的水平值。水平值与样本的强度/信号值对应，并可强烈影响样本预测能力。从样本生成第一预测图案(即与采样图案对应的预测信号)。执行对第一预测图案中当前样本的样本移动处理以改变该样本的当前位置。如改变了样本位置则更新该样本影响的像素的局部预测。如满足准则则执行对当前样本的样本去除处理以从第一图案中去除该样本。如去除了当前样本则更新像素局部预测。从第一图案中剩余的样本生成第二预测图案(即与新的/第二采样图案对应的预测信号)。输出第二图案。

Description

用于图像的不规则空间子采样的自适应生成

技术领域

本发明一般地涉及图像和视频处理，并且更具体地涉及图像或视频的子采样。

背景技术

对图像处理和视频处理的评价具有三个方面：计算复杂性、已处理数据的存储需求、以及重建的图像数据或视频数据的视觉质量。图像处理及视频处理通常利用某些形式的子采样。子采样是例如从图像中选择某些像素的处理，其中这些像素作为原图中样本周围像素的良好预测因子(predictor)。仅仅对所选的子样本进行存储或传输，而不是整个图像，从而减小了尺寸。重建的图像的质量取决于子样本作为图像中像素预测因子的有效性。不规则的子采样选择图像中的样本以提高预测能力，这通常将导致不规则的采样图型(例如，较多的样本位于对象边缘附近以及高纹理区域，较少的样本在均匀的低纹理背景区域中)而不是规则的采样图型。

提高预测强度(predictive strength)需要找到更好的子样本或使用更多的子样本。使用更多的子样本减少了对存储空间的节省(the storagesavings)，而找到更好的子样本需要更高的计算复杂性。用于图像和视频处理的现有技术主要是利用简单滤波器的基于块的技术。然而，这些技术没有充分利用基于像素的样本位置选择、样本水平变化及自适应滤波这三者之间彼此耦合的特性。

发明内容

将自适应滤波器应用到样本的初始图案中的样本。初始图案中的样本与要利用样本来预测的图像像素的子集相对应。变化图案中每个样本的水平值。水平值与样本的强度/信号值相对应，并且对样本的预测能力可具有强烈影响。从样本中生成第一预测图案(即与采样图案相对应的预测信号)。执行对第一预测图案中的当前样本的样本移动处理，以改变第一预测图案中的当前样本的当前位置。如果改变了该样本的位置，则更新该样本所影响的像素的局部预测。如果满足准则，则执行对当前样本的样本去除处理，以从第一图案中去除该样本。如果去除了当前样本，则更新像素的局部预测。从第一图案中剩余的样本生成第二预测图案(即与新的/第二采样图案相对应的预测信号)。输出第二图案。

附图说明

图1A是示出本发明的实施例的操作概况的示图；

图1B是示出根据本发明的实施例的、将由处理器执行的方法的流程图；

图1C是示出本发明的实施例的数据流概况的示图；

图2A-2C是示出本发明的实施例的操作的示例；

图3是示出均匀采样方法的示例；

图4是示出根据本发明的实施例的不规则采样方法的结果的示例；

图5是示出根据本发明的实施例的、将由处理器执行的样本移动方法的流程图；

图6A-6C是示出根据本发明的实施例的样本移动的示例；

图7是示出根据本发明的实施例的、将由处理器执行的样本去除方法的流程图；

图8是示出根据本发明的实施例的、将由处理器执行的样本去除循环的流程图；

图9是示出根据本发明的实施例的、将由处理器执行的样本密度方法的流程图；

图10A-10C是示出根据本发明的实施例的样本去除的示例；

图11是示出根据本发明的实施例的、将由处理器执行的样本水平变化方法的流程图；

图12是示出根据本发明的实施例的、将由处理器执行的样本水平变化循环的流程图；

图13是示出根据本发明的实施例的样本和像素的示例；

图14是示出根据本发明的实施例的样本及样本影响区域的示例；

图15是示出根据本发明的实施例的、将由处理器执行的自适应影响区域滤波方法的流程图；

图16是一组样本的样本单元的示例。从运动/对象/纹理边界修改样本单元也被示出。

图17是示出根据本发明的实施例的、将由处理器执行的初始样本单元构造方法的流程图；

图18是示出根据本发明的实施例的样本及样本单元的示例；

图19A是示出根据本发明的实施例的非重叠的样本单元边界的示例；

图19B是示出根据本发明的实施例的、出现在像素上的样本单元边界的示例；

图19C是示出根据本发明的实施例的重叠的样本单元边界的示例；

图20是示出包括出现在样本单元边界下的像素的样本分区的示例；

图21A是示出根据本发明的实施例的由对象边界分开的对象的示例；

图21B是根据本发明的实施例的由对象边界修改的样本单元的示例；

图22是示出根据本发明的实施例的、将由处理器执行的多个像素单元构造方法的流程图；

图23A-23G是示出根据本发明的各种实施例的像素采样类型的示例；

图24A-24D是根据本发明的各种实施例的由像素采样产生的像素单元的示例；

图25是根据本发明的实施例的滤波系数计算的示例；

图26A是示出根据本发明的实施例的、将由处理器执行的抽头扩展计算方法的流程图；

图26B是示出根据本发明的实施例的像素到样本距离的示例；

图27A-27C是示出根据本发明的各种实施例的像素采样类型和抽头扩展的组合的示例；

图28是示出根据本发明的实施例的、将由处理器执行的用于局部地变化样本单元形状的方法的流程图；

图29A是示出根据本发明的实施例的水平延伸的样本分区的示例；

图29B是示出根据本发明的实施例的垂直延伸的样本分区的示例；

图30A和图30B是适用于实践本发明的计算机环境的示图。

具体实施方式

下面对本发明实施例的详细描述参考了附图，在附图中类似的标记指示类似的元素，附图通过说明实践本发明的具体实施例的方式来示出。对这些实施例的描述足够详细以使得本领域的技术人员能够实践本发明。本领域的技术人员理解，在不脱离本发明范围的情况下，可以使用其他实施例并且可以进行逻辑的、机械的、电的、功能的及其他的改变。因此，下面的详细描述将不具有限制意义，并且本发明的范围仅由所附的权利要求限定。

首先是本发明的操作概况，图1A示出对图像不规则空间子采样的自适应生成器的实施例。图像数据可以是例如静止图像或视频帧数据。如下面结合图1B而更详细描述的，框105接收图像数据100并对图像数据100子采样以产生经缩放的图像数据110或经压缩的图像数据115。显示装置120显示经缩放的图像数据110。缩放图像数据100使得例如高清晰度视频数据能在标准清晰度电视上显示。可替代地，传输装置125传输经压缩的图像数据115。压缩图像数据100使得例如视频数据能从网站更快速地流向末端用户。

图1B示出由自适应生成器105执行的子采样方法150的实施例。图2A至图2C示出方法150的结果。在框155，子采样方法150接收样本的初始图案。在框160，方法150将自适应滤波器应用于该初始图案。下面结合图15描述框160所表示的操作的一个实施例。在框165，如下面结合图11和12所描述的，方法150变化遍及样本的整个图案的样本水平值。图案状态200示出初始图案，包括由对初始样本图案的基于框的预处理产生的框205。图案状态200可被称为第一采样图案。

在框170，方法150对初始图案中的每个样本执行样本移动处理。下面结合图5至图6C描述框170所表示的操作的一个实施例。图案状态215示出执行了样本移动处理170后的图案状态200。图案状态200中的样本210移动到作为样本移动处理结果的图案状态215中的样本位置220。

在框175，如下面结合图7至图10C而更详细描述的，方法150对初始图案中的每个样本执行样本去除处理。图案状态230示出执行了样本去除处理175后的图案状态215。样本去除处理175从图案状态215中去除样本225，从而样本位置235在图案状态230中为空。在判定框180，当剩余样本的数量超过样本的目标数量时，方法将控制返回到样本移动处理170。图案状态230可被称为第二采样图案。

图1C示出通过自适应生成器191的数据流。输入190接收指向自适应生成器191的图像数据。处理之后，自适应生成器191将经处理的数据发送到输出装置，诸如输出显示装置192或输出传输装置193。

图3示出初始样本图案，诸如由子采样方法150接收的图案。样本行300和样本列305的位置均匀地覆盖了原始数据空间，没有均匀覆盖原始数据空间中的复杂性区域。与此对比，图4示出由对图像不规则空间子采样的自适应生成的实施例产生的图案，诸如图1所示的实施例。因为对于可接受的视觉质量而言需要较少的样本，所以样本群405出现于原始数据中的低复杂性区域之上，并且因此具有相应低的样本密度。比较起来，样本群400出现于原始数据中的高复杂性区域上，并且因此具有更高的样本密度，相应提高了预测强度和所得到的视觉质量。

转到图5至图6C，样本移动方法500示出样本移动处理170的一个实施例，并且图6A至图6C示出该处理的结果。在接收到样本集505后，样本移动循环(loop)510开始处理样本集。图案状态600示出由样本移动方法所选的用于处理的样本605。在框515，该方法计算对于诸如图案状态610中可见的样本位置615之类的不同样本位置的局部预测误差。局部预测误差是当前样本影响的区域中各个像素的预测误差的总和。给定样本影响的区域是在其滤波预测中使用该样本的周围像素的集合。下面结合图12更详细地描述影响区域。在框520，该方法确定样本位置625具有可替代位置中的最低局部预测误差，并且将样本605移动到样本位置625，其中样本位置625在图案状态620中可见。在框525，该方法更新针对出现在当前样本的影响区域内的像素的局部预测误差及滤波系数。给定像素的滤波系数定义了该像素与周围样本之间的预测关系。

在处理了样本集中的所有样本之后，样本移动方法500在循环结束530处结束。在框535，如下面结合图15而更详细描述的，方法500应用自适应滤波器。在框540，如下面结合图11和图12而更详细描述的，方法500局部地变化样本值。方法500应用自适应滤波器并局部地变化由新的样本位置确定的样本水平值。样本水平变化处理变化每个样本的水平值，并且选择最好地降低了局部预测误差的值。

转到图7，样本去除方法700示出样本去除处理175的一个实施例。如果该去除满足某准则，则样本去除方法从样本图案中去除样本。在一个实施例中，按照由从样本图案中去除样本产生的预测强度的减少来定义该准则。方法700在框705接收样本集并在框710选择样本去除阈值。如下面结合图8而更详细描述的，方法700在715处处理样本去除循环。如果在判定框720处样本去除循环715没有去除目标数量的样本，则该方法在框710选择新的样本去除阈值并重新开始(resume)。样本去除阈值作为小的值开始，并每遍都增加，最终达到目标去除值。样本目标去除值是在样本去除处理之前所限定的固定值。

否则，在框725，如下面结合图15而更详细描述的，该方法将自适应滤波器重新应用(reapply)到已去除样本的影响区域中的像素中。在框730，如下面结合图11和图12而更详细描述的，方法700局部地变化样本值。在子采样方法150中的判定框180处继续执行。

转到图8以及图10A至图10C，样本去除循环800示出样本去除循环715的一个实施例，并且图10A至图10C示出此循环的结果。循环800在框805处开始，并且在框810处判断去除样本是否会导致太小的样本密度，这在下面结合图9讨论。如果在框813，样本去除循环已经去除了目标数量的样本，则循环在框845处终止。图案状态1000示出当前样本1005。在框815，如在图案状态1000中，循环800基于当前样本1005存在于图案中来计算当前局部预测误差。在框820，如在图案状态1010中，循环800基于当前样本1005不存在于图案中的位置1015来计算局部预测误差。如果在判定框825，如在方程1中，去除当前样本产生了在去除阈值之下的预测误差改变，则在框835循环800去除样本。在一个实施例中，去除阈值定义为：

|E₀-E₁|＜T    (1)

其中，E₀是当前局部预测误差，E₁是当前样本被去除的局部预测误差，并且T是样本去除阈值。

图案状态1020示出此去除，将样本位置1025示为空。在框840，该循环更新针对样本1005影响区域中的像素的局部预测误差及滤波系数。否则，如果循环800确定局部预测误差的改变会超过阈值，则在框830循环不去除样本。

转到图9，样本密度方法900示出样本密度判定框810的一个实施例。在框905方法900接收当前样本和最大样本间距离参数。该方法在框910识别距当前样本最近的样本，并在框915计算从最近的样本到当前样本的距离。如果在框920，样本和其最近的近邻之间的距离大于最大样本间距离，则不发生样本去除，并且在样本去除循环800中的框830处重新开始执行。否则，在样本去除循环800的框813处继续执行。最大样本间距离维持了图像的低复杂性区域中的最小样本密度。

转到图11，样本水平变化方法1100示出由子采样方法150在框165执行的样本水平变化的一个实施例。在框1105，方法1100计算采样图案中所有样本的初始样本水平值，其中样本水平通过L_k来表示。在本发明的一个实施例中，使用基于样本图案的像素数据的平均来计算初始样本水平，但是本发明不限于此，并且可以使用本领域中已知的其他技术。在框1110，方法1100计算所有像素的初始预测值，其中像素预测可通过

来表示：

$P\left(\stackrel{\→}{x}\right)=\underset{k\∈S\left(\stackrel{\→}{x}\right)}{\mathrm{\Σ}}{f}_k^{\stackrel{\→}{x}}{L}_k---\left(2\right)$

其中

是用于预测像素

的来自样本k的滤波权重，并且是像素

的预测中所包括的样本的集合。在框1115，方法1100对图案中的所有样本执行样本变化循环，这在下面结合图12更详细地描述。下面结合图22更详细地描述滤波权重。

转到图12，变化循环1250示出由样本水平变化方法1100在框1115执行的样本变化循环的一个实施例。样本水平变化循环1255根据计算效率和视觉性能的平衡来迭代一次或多次。一般地，视觉性能增益在循环1255迭代约四次时饱和。

在样本水平变化循环1255的每次迭代内，处理图案中的每个样本。图13中的样本1310是诸如像素1305之类的像素的集合中的样本示例。在框1260，计算当前样本的影响区域。对于给定的样本k，影响区域A(k)是由样本k影响其预测

的像素

的集合。在一个实施例中，如果相应的滤波权重大于零，则像素包括在样本的影响区域中。在替代实施例中，如果相应的滤波权重大于样本影响阈值T₂，则像素包括在样本的影响区域中。更高的样本影响阈值产生更小的影响区域，这降低了根据影响区域中像素数量的处理的计算复杂性。图14中的样本1405将像素1410包括在其影响区域中。A(k)可定义如下：

$A\left(k\right)=\{\stackrel{\→}{x};|f_k^{\stackrel{\→}{x}}|>0\}---\left(3\right)$

在判定框1265，针对阈值T₁来测试当前样本误差。数据集合的预测误差e可定义为：

$e=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{e}_i---\left(4\right)$

$e_i={(I\left({\stackrel{\←}{x}}_i\right)-P\left({\stackrel{\→}{x}}_i\right))}^2---\left(5\right)$

其中e_i是给定像素的预测误差，e是图像中N个像素的总预测误差，

是原始图像中的

的水平，并且

是

的预测水平。

样本预测误差e(k)是样本k的影响区域中的所有像素的平均预测误差，并且可定义为：

$e\left(k\right)=\frac{1}{N_k}\underset{{\stackrel{\→}{x}}_i\∈A\left(k\right)}{\mathrm{\Σ}}{e}_i---\left(6\right)$

其中N_k是集合A(k)中像素的数量。

预测误差阈值T₁用来平衡本发明的计算复杂性与视觉性能增益。在一个实施例中，该阈值定义为：

e(k)＞T₁    (7)

因此，判定框1265将使得方法1250不处理具有小于或等于阈值的误差的样本。以此方式，可以优化本发明的实施例用于各种计算和视觉性能需求。对计算复杂性敏感的实施例会使用较高的T₁值，而对视觉性能敏感的实施例会使用较低的T₁值。

在框1270，方法1250计算当前样本k的样本水平改变Δ(k)。样本水平改变Δ(k)是样本预测误差的局部最小化的结果，并且可以定义如下：

$\mathrm{\Δ}\left(k\right)=\frac{\underset{\stackrel{\→}{x}\∈A\left(k\right)}{\mathrm{\Σ}}(I\left(\stackrel{\→}{x}\right)-P\left(\stackrel{\→}{x}\right))f_k^{\stackrel{\→}{x}}}{\underset{\stackrel{\→}{x}\∈A\left(k\right)}{\mathrm{\Σ}}{f}_k^{\stackrel{\→}{x}}{f}_k^{\stackrel{\→}{x}}}---\left(8\right)$

通过直接计算样本水平改变，方法1250避免了在值的范围内搜索局部最小值的需要。这显著降低了计算复杂性，因为计算大范围的可能值无需被执行。在判定框1275，相对于水平改变阈值C来测量样本水平改变，以提供对样本水平改变幅度(magnitude)的限制。方法1250使用C来限制样本值的可能改变，以防止数据集合中的不稳定性或视觉伪像(artifact)的形成。在框1280，方法1250基于样本水平改变来指派(assign)新的值给当前样本水平。在框1285，方法1250利用新的样本水平值来更新对于当前样本的影响区域A(k)中的所有像素的预测。

往回参考图1B，在框160和165，子采样方法150执行遍及整个图像的自适应滤波和样本水平变化。如上所述，样本移动方法500在框535和540执行自适应滤波和局部样本水平变化，并且样本去除方法700在框725和730执行自适应滤波和局部样本水平变化。样本移动和样本去除都导致了整个样本图案的变化，通过自适应滤波和样本水平变化使得进一步降低像素预测误差成为可能。在仅有样本移动和去除方法作用到的样本的影响区域中的像素被滤波及变化的意义上，由样本移动和去除方法执行的局部化滤波是局部的。以此方式，本发明将样本图案的调整用作优化所调整的样本图案的预测强度的机会。这种有组织的(organic)解决方法相对于现有技术提供了视觉性能上的显著改进。

转到图15，自适应影响区域滤波方法1500示出由方法150在框160应用的自适应滤波的一个实施例。在框1505，方法1500计算样本图案中每个样本的初始样本单元，这在下面结合图18更详细地描述。作为示例，图16中的样本1605可被给予由样本单元边界1610限定的初始样本单元。样本单元还可符合运动、对象和纹理类边界(诸如边界1615)的轮廓。在框1510，方法1500计算对于每个目标像素的额外的单元及预测滤波，并提取最优的滤波参数，这在下面结合图22更详细地描述。在框1515，方法1500局部地变化样本形状，这在下面结合图28更详细地描述。

转到图17，初始样本单元构造方法1700示出由方法1500执行的框1505的一个实施例。方法1700将样本图案中的每个样本与样本单元相关联。在一个实施例中，样本单元准则是初始样本单元包含最接近给定样本的像素。在框1705，方法1700接收与当前像素数据集有关的运动和纹理类数据。在框1710，对于像素数据集中的目标像素，方法1700确定在同一运动和纹理类中最接近该像素的样本。在一个实施例中，像素到样本的距离

定义为：

${\mathrm{dist}}_k\left(\stackrel{\→}{x}\right)={\mathrm{\γ}}_k{(x_1-x_1\left(k\right))}^2+{\mathrm{\β}}_k{(x_2-x_2\left(k\right))}^2---\left(9\right)$

其中

$\stackrel{\→}{x}=(x_1,x_2)---\left(10\right)$

是图像中的像素，并且k是具有位置

$\stackrel{\→}{x}\left(k\right)=(x_1\left(k\right),x_2\left(k\right))---\left(11\right)$

的样本，并且γ_k和β_k是变化样本单元形状的参数。下面结合图28更详细地描述样本单元形状。

表示具有到像素

的最小的像素到样本距离

的样本。是这个最小的像素到样本距离的值。在一个实施例中，对于像素的最小的像素到样本距离定义为：

${\mathrm{Dist}}_{\min }^0\left(\stackrel{\→}{x}\right)={\mathrm{dist}}_{k^{\′}}\left(\stackrel{\→}{x}\right)---\left(12\right)$

其中最近的样本 $k^{\′}={\mathrm{Sample}}_{\min \_\mathrm{dist}}\left(\stackrel{\→}{x}\right).$ 因为像素可以位于距多于一个的样本的最小像素到样本距离上，所以数量

可以具有多个值。

因此，样本单元C_k可定义为：

$C_k=\left\{\stackrel{\→}{x}\right|{\mathrm{Sample}}_{\min \_\mathrm{dist}}\left(\stackrel{\→}{x}\right)=k,T\left(\stackrel{\→}{x}\right)=T\left(k\right),M\left(\stackrel{\→}{x}\right)=M\left(k\right)\}$

(13)

这表明样本k的样本单元包含离其最近且具有相同纹理和运动类的像素。像素的纹理类被称为

而像素的运动类被称为

例如，在图18中，样本1815与由单元边界1820限定的样本单元相关联。每个像素属于一个或多个单元。像素1825属于与样本1815相关联的样本单元边界1820。每个像素都具有将该像素与样本相关联的隶属度(membership value)。像素隶属度取决于像素出现于多少样本单元边界之下。例如，图19A中的像素1910在与样本1905相关联的样本单元的边界之内，正如像素1915在与样本1920相关联的样本单元的边界之内。样本单元之间的边界1925是非重叠的。结果，与样本1905相关联的像素1910将具有隶属度1。类似地，与样本1920相关联的像素1915将具有隶属度1。比较起来，与样本1905相关联的像素1915将具有隶属度0，因为该像素和与样本1905相关联的样本单元没有关联。

在图19B中，与样本1930和1940相关联的样本单元之间的边界落在像素1935上。因此，与样本1930相关联的像素1935的隶属度会是1/2。类似地，与样本1940相关联的像素1935的隶属度也会是1/2，因为像素1935的关联被划分在两个样本之间。在图19C中，与样本1945相关联的样本单元边界1960，和与样本1965相关联的样本单元边界1955相重叠。因此，与样本1945相关联的像素1950将具有隶属度1，与样本1965相关联的像素1950同样将具有隶属度1。

图20示出初始样本单元构造的示例。方法1800将样本2005与样本单元2020相关联，其中样本单元2020包括像素2010和2015。与样本2005相关联的像素2010具有隶属度1/3，因为它位于与三个样本相对应的样本单元边界之下。与样本2005相关联的像素2015具有隶属度1。

图21A和图21B示出运动和纹理对象的示例，以及这些对象与样本单元的交互的示例。在初始样本单元构造方法1800的框1805处接收对象2105、2110和2115。在一个实施例中，预处理器(未示出)根据本领域中已知的一种或多种技术来生成对象2105、2110和2115。样本2125和2130都具有由对象边界2120和2135所影响的样本单元。纹理和/或运动对象提供了对于特定样本强度的额外见解。例如，像素2140在距离上接近样本2125。因此，如果仅由到像素2140的距离来判定样本2125的预测能力，则表面的预测强度会是高的。然而，如通过对象边界2120所指示的，例如，像素2140可以是背景(墙)，而样本2125表示在墙前面移动的东西(人)。因此，使用对象边界来影响像素单元的尺寸和形状增强了样本集的预测强度。样本集的预测强度是样本集中各个样本的预测强度的总计。

转到图22，构造多个像素单元方法2200示出额外单元和滤波构造方法1510的一个实施例。在框2210，方法2200根据下列目标像素单元准则来计算目标像素单元

$C_{\stackrel{\→}{x}}^{i0}=\{{\stackrel{\→}{x}}^{/}\∈\mathrm{Win}\left(\stackrel{\→}{x}\right)|\mathrm{dist}(\stackrel{\→}{x},{\stackrel{\→}{x}}^{/})\≤{\mathrm{Dist}}_{\min }^0\left({\stackrel{\→}{x}}^{/}\right),T\left({\stackrel{\→}{x}}^{/}\right)=T\left(\stackrel{\→}{x}\right),M\left({\stackrel{\→}{x}}^{/}\right)=M\left(\stackrel{\→}{x}\right)\}$

(14)

其中

表示由采样类型i确定的样本窗口中所包含的像素。固定尺寸的窗口

位于目标像素周围。该方法使用一组像素采样类型在窗口中扫描像素

样本窗口和采样类型在下面结合图23A-23G更详细地讨论。距离被如下测量：

$\mathrm{dist}(\stackrel{\→}{x},{\stackrel{\→}{x}}^{\′})={(x_1-{x_1}^{\′})}^2+{(x_2-{x_2}^{\′})}^2---\left(15\right)$

其中x₁/和x₁ ^/表示垂直轴上的坐标，并且x₂和x₂ ^/表示水平轴上的坐标。

在框2215，方法2200计算目标像素的滤波系数。该方法计算每个样本k的权重因子

该方法将样本k的权重因子初始化为零。该方法然后对属于下列集合的目标像素单元中的每个像素

以Mem_k递增权重因子：

$C_k\∩C_{\stackrel{\→}{x}}^{i0}---\left(16\right)$

(也就是说，既属于样本单元又属于目标像素单元的像素)。该方法可以如下计算权重因子：

$W_k^{\stackrel{\→}{x},i0}=\underset{{\stackrel{\→}{x}}^{\′}\∈C_k\∩C_{\stackrel{\→}{x}}^{i0}}{\mathrm{\Σ}}{\mathrm{Mem}}_k\left({\stackrel{\→}{x}}^{\′}\right)---\left(17\right)$

其中

指的是目标像素单元中的所有像素 $({\stackrel{\→}{x}}^{\′}\∈C_{\stackrel{\→}{x}}^{i0}).$ 方程16大致是像素单元和样本单元的交集。在一个实施例中，像素

的滤波抽头(tap)是具有非零值

的样本k的集合，定义如下：

$S_{i0}\left(\stackrel{\→}{x}\right)=\left\{k\right|W_k^{\stackrel{\→}{x},i0}>0\}---\left(18\right)$

利用采样类型i的对于目标像素

的来自样本k的滤波系数

可如下计算：

$f_k^{\stackrel{\→}{x},i0}=\frac{W_k^{\stackrel{\→}{x},i0}}{\mathrm{Norm}}---\left(19\right)$

其中Norm是从下面的归一化约束中所获得的常数：

$\underset{S_{i0}\left(\stackrel{\→}{x}\right)}{\mathrm{\Σ}}{f}_k^{\stackrel{\→}{x},i0}=1---\left(20\right)$

下面结合图25描述滤波系数计算的示例。在框2220，方法2200计算当前采样类型的抽头扩展。抽头扩展将滤波抽头

扩张为包括更加远离目标像素

的样本。下面结合图26更详细地讨论计算抽头扩展。

图23A-G示出根据本发明的各种实施例的采样类型的示例。图23A中的目标像素2310位于样本窗口2305的中心。图23A示出使用1×1扫描的采样类型，也就是说窗口中的每个像素都包括在像素

的集合中。图23B中的目标像素2320位于样本窗口2315的中心。图23B示出使用2×1水平扫描的采样类型，也就是说交替像素的列。目标像素2330位于样本窗口2325的中心。图23C示出使用2×1垂直扫描的采样类型，也就是说交替像素的行。

图23D示出按比例扩大的图像的采样像素的示例。目标像素2340位于像素窗口2335的中心。像素2342是按比例扩大的像素。以另外的方式，采样类型类似于图23A的采样类型，即1×1扫描。图23E示出对包含位于像素窗口2345中心的目标像素2350的、按比例扩大的像素区域的2×1水平扫描。

图23F示出可变的2×1垂直扫描的示例。目标像素2360位于像素窗口2355的中心。方法2220使用2×1垂直扫描来扫描样本单元2362中的像素，同时使用1×1扫描来扫描诸如像素2364之类的像素。图23G示出局部化的1×1扫描的示例。目标像素2370位于像素窗口2365的中心。目标像素2370也是所扫描的像素的局部化带的中心。本发明的其他实施例可以使用其他采样类型。每种采样类型将会生成不同的滤波权重，特别是将会促成(favor)方向的滤波权重。不同的采样类型允许在滤波器中建立方向性适应。下面结合图28更详细地描述方向性。

图24A-24D示出用于各种采样类型和对象边界的目标像素单元的示例。图24A示出像素单元清晰度的样本距离组件。通过箭头2410指示了目标像素2405和像素2415之间的距离(即，

)。通过箭头2420指示了像素2415和样本2425之间的距离(即，)，并且为像素2415选择样本2425，因为像素2415属于样本2425的样本单元。因为箭头2410和2420在长度上相等，所以像素2415和样本2425之间的距离小于像素2415的最小样本距离，并且像素2415满足包括在目标像素2405的目标像素单元中的距离需求。

图24B示出使用了与目标像素2430相关联的2×1垂直扫描的像素单元2435。图24C示出使用了与目标像素2445相关联的1×1子像素扫描的像素单元2440。图24D示出使用了与目标像素2455相关联的1×1子像素扫描的像素单元2450。对象边界2460已经调整了像素单元2450的边界。

图25示出滤波系数计算的示例，诸如由方法2200在框2215执行的那些计算。目标像素2505与像素单元2530相关联。方法确定样本集的权重因子。与样本2515相关联的样本单元和像素单元2530的交集例如不包含像素。因此，样本2515对于目标像素2505的的权重因子经方程17计算为零。与样本2555相关联的样本单元和像素单元2530的交集导致了四个像素。因为像素2520和2550落在样本单元边界之下，所以每个都将为样本2555的权重因子贡献1/2。余下的两个像素，诸如像素2560，将贡献1，为样本2555产生了权重因子3。样本2510、2525和2535也具有与像素单元2530的非空交集。因此，样本2510、2525和2535将具有非零的权重因子，并且连同样本2555一起将形成与目标像素2505相关联的滤波抽头。滤波抽头中的四个样本将产生四个样本滤波系数，与关于目标像素的四个样本的预测强度相对应。样本是其预测因子的每个像素具有它自己相对应的样本滤波系数。

转到图26A，计算抽头扩展2600示出方法2200的框2220的实施例。在一个实施例中，抽头扩展准则通过合并与次接近的样本相关联的像素来扩展目标像素单元。在框2605，方法2600为当前抽头扩展类型确定次接近的样本。方法2600测量从图26B中的目标像素2620到其他样本的距离，以确定次接近的样本。在此实施例中，第一次迭代将使用最接近目标像素2620的样本2625。下一次抽头扩展将使用作为次接近的样本2630，以及作为次次接近的(next-next closest)样本2650。在三次或四次迭代之后，视觉性能的增强趋于饱和，但是其他实施例可以使用更多次迭代。

在框2610，方法2600为当前抽头扩展重新计算目标像素的像素单元，产生像素单元

其中i与当前采样类型相对应，j与当前抽头扩展相对应，并且

是当前目标像素。可定义如下：

$C_{\stackrel{\→}{x}}^{\mathrm{ij}}=\{{\stackrel{\→}{x}}^{/}\∈\mathrm{Win}\left(\stackrel{\→}{x}\right)|\mathrm{dist}(\stackrel{\→}{x},{\stackrel{\→}{x}}^{/})\≤{\mathrm{Dist}}_{\min }^j\left({\stackrel{\→}{x}}^{/}\right),$

$T\left({\stackrel{\→}{x}}^{/}\right)=T\left(\stackrel{\→}{x}\right),$

$M\left({\stackrel{\→}{x}}^{/}\right)=M\left(\stackrel{\→}{x}\right)\}---\left(21\right)$

在框2615，方法2600计算与抽头扩展j和采样类型i相对应的目标像素的滤波系数。滤波系数的计算如以上结合图22所描述地发生。

图27A示出创建扩展的目标像素单元的滤波抽头扩展的示例。方法2600初始地将目标像素2705与像素单元2710相关联。在滤波抽头扩展之后，方法2600将目标像素2705与像素单元2715相关联。三个同样接近的样本作为抽头扩展的结果而被增加。图27B示出滤波抽头扩展和采样类型的示例。方法2600初始地将目标像素2720与像素单元2725相关联。在滤波抽头扩展之后，方法2600将目标像素2720与扩展的像素单元2730相关联。像素单元2730具有比像素单元2720更平滑的轮廓，这更平滑的轮廓产生更平滑的滤波系数。图27C示出与像素单元2740相关联的像素单元的三次迭代：初始单元2745、第二单元2750以及第三单元2755。

返回到图15的框1515，方法1500从上述的各种预测滤波器中提取最优滤波权重。上述的每个像素采样类型和抽头扩展为图像中的所有像素

生成了特定的预测滤波器，可以定义如下：

$P^{\mathrm{ij}}\left(\stackrel{\→}{x}\right)=\underset{k\∈S_{\mathrm{ij}}\left(\stackrel{\→}{x}\right)}{\mathrm{\Σ}}{f}_k^{\stackrel{\→}{x},\mathrm{ij}}{L}_k---\left(22\right)$

其中i＝1，2，...n表示像素采样类型，并且j＝1，2，...m表示抽头扩展。j＝0的情况是指没有使用抽头扩展。多个预测滤波器可以与权重参数{α_ij ^s}组合以形成最终的预测，定义为：

$P\left(\stackrel{\→}{x}\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=0}{\overset{m}{\mathrm{\Σ}}}{\mathrm{\α}}_{\mathrm{ij}}^s{P}^{\mathrm{ij}}\left(\stackrel{\→}{x}\right)---\left(23\right)$

其中标号(index)s＝1，2，...p表示用于目标像素

的图像类，诸如纹理类、运动类、对象类等。最终的预测还可定义为：

$P\left(\stackrel{\→}{x}\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=0}{\overset{m}{\mathrm{\Σ}}}{\mathrm{\α}}_{\mathrm{ij}}^s{P}^{\mathrm{ij}}\left(\stackrel{\→}{x}\right)=\underset{k\∈S\left(\stackrel{\→}{x}\right)}{\mathrm{\Σ}}{f}_k^{\stackrel{\→}{x}}{L}_k---\left(24\right)$

其中最终的滤波系数可定义为：

$f_k^{\stackrel{\→}{x}}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=0}{\overset{m}{\mathrm{\Σ}}}{\mathrm{\α}}_{\mathrm{ij}}^s{f}_k^{\stackrel{\→}{x},\mathrm{ij}}---\left(25\right)$

同时滤波抽头可定义为：

$S\left(\stackrel{\→}{x}\right)=S_{10}\left(\stackrel{\→}{x}\right)\∪S_{20}\left(\stackrel{\→}{x}\right)...\∪S_{n0}\left(\stackrel{\→}{x}\right)\∪S_{11}\left(\stackrel{\→}{x}\right)...\∪S_{n1}\left(\stackrel{\→}{x}\right)\∪S_{12}\left(\stackrel{\→}{x}\right)...\∪S_{\mathrm{nm}}\left(\stackrel{\→}{x}\right)$

(26)

因此，

包括包含在至少一个抽头

中的样本k。利用使用了原始/目标图像数据的最小二乘训练来获得最小二乘权重参数{α_ij ^s，i＝1，2...n，j＝1，2...m，s＝1，2...p}。使用最小二乘训练来确定最优参数在本领域中是公知的。由方法1500对于n(m+l)p个参数{α_ij ^s}所应用的分类的最小二乘训练，生成了适用于任何采样图案的自适应预测滤波器。

转到图28，局部变化单元形状方法2800示出方法1500的框1515的一个实施例。在框2805，方法2800可以如下计算当前样本的影响区域：

$A\left(k\right)=\{\stackrel{\→}{x};|f_k^{\stackrel{\→}{x}}|>0,i=\mathrm{1,2}...n,j=\mathrm{0,1},..m\}---\left(27\right)$

在框2810，方法2800可以如下计算当前样本所影响的像素的总预测误差：

$e_k=\underset{\stackrel{\→}{x}\∈A\left(k\right)}{\mathrm{\Σ}}e\left(\stackrel{\→}{x}\right)---\left(28\right)$

其中e_k是样本k所影响的像素的总预测误差。在框2815，变更样本单元形状参数{γ_k，β_k}。在一个实施例中，可以使用值的预定义集合，诸如：

{γ_k＝2，β_k＝1}，{γ_k＝4，β_k＝1}，{γ_k＝1，β_k＝2}，{γ_k＝0.5，β_k＝4}，

{γ_k＝2，β_k＝2}，{γ_k＝0.25，β_k＝1}，{γ_k＝1，β_k＝0.25}，等等...(29)

然而，其他实施例可以使用其他预定义的集合，或者可动态地确定形状参数的变化。在框2820，如以上结合图22和图26所描述的，方法2800计算影响区域中的像素的新的滤波系数和预测误差。在框2825，方法2800选择具有最低相应预测误差的单元形状参数。在框2830，对于影响区域中的每个像素，方法2800更新样本单元分区、滤波系数及预测误差。

图29A和图29B示出样本单元形状和方向性的示例。图29A示出水平延伸的像素单元，诸如单元2905。如以上结合图28所描述的，方法2800变化像素单元的形状以改进它们的预测值。使用水平单元形状后，像素数据中所表示的某些“真实的”对象，诸如墙上的砖，往往会被更好地预测，因为该“真实的”对象本身是更加水平的而不是垂直的。这样的趋势可以被称为“有组织的”。以此方式，方法2800通过以与图像数据中所表示的“真实的”对象相关的方式调整像素形状，来有组织地获得更加精确的预测。图29B示出垂直延伸的样本单元的示例，诸如单元2910。某些“真实的”对象偏向于垂直的单元形状，诸如旗杆。通过以有组织的方式调整样本集，本发明确定了将“真实的”对象的特性并入图像数据中的最优布置。

已经参考一系列流程图2、5、7、8、9、11、12、15、17、22、26A和28，按照计算机软件来描述了本发明的具体方法。参考流程图来描述方法使得本领域的技术人员能够开发出这样的程序，这些程序包括在适当配置的计算机上执行方法的这样的指令(计算机的处理器执行来自包括存储器的计算机可读介质的指令)。计算机可执行的指令可以以计算机编程语言来编写，或者可以以固件逻辑来实施。如果以符合公认标准的编程语言写成，则这样的指令在各种硬件平台上执行并且执行以用于到各种操作系统的接口。此外，没有参考任何特定的编程语言来进行本发明的描述。将被认识到的是，可以使用各种编程语言来实现这里所描述的本发明的教导。此外，当采取动作或导致结果时，以一种形式或另一种形式(例如，程序、过程、处理、应用、模块、逻辑…)来说明软件，这在本领域中是普通的。这样的表述仅仅是叙述计算机执行软件导致了计算机的处理器执行动作或产生结果的简略方式。将被认识到的是，在不脱离本发明范围的情况下，更多或更少的处理可以并入到图2、5、7、8、9、11、12、15、17、22、26A和28所示的方法中，并且这里示出和描述的框的布置并不暗示特定的顺序。

在一个实施例中，如图30A所示，服务器计算机3001耦合至因特网3005并通过因特网3005提供数据。客户端计算机3003通过ISP(因特网服务提供者)3007耦合至因特网3005，并执行传统的因特网浏览应用以便与服务器3001交换数据。例如，响应于通过ISP 3007和因特网3005从计算机3003发送的用户请求，自适应生成器191可以在计算机3001上执行。可选地，服务器3001可以是为客户端系统提供到因特网的访问的ISP的一部分。这里使用的术语“因特网”是指使用诸如TCP/IP协议和可能其他的协议之类的某些协议的网络中的网络，其中可能其他的协议诸如用于构成万维网(web)的超文本置标语言(HTML)文档的超文本传送协议(HTTP)。因特网的物理连接以及因特网的协议和通信过程对本领域的技术人员而言是公知的。对因特网的访问使客户端计算机系统的用户能交换信息、收发电子邮件、观看诸如已经以HTML格式准备的文档之类的文档、以及接收内容。容易清楚，本发明不限于因特网访问及因特网基于web的站点；直接耦合的和专用的网络也被考虑到。

图30B中示出适于用作服务器3001的计算机系统的一个实施例。计算机系统3010包括耦合至系统总线3035的处理器3020、存储器3025及输入/输出设备(capability)3030。存储器3025被配置为存储指令，当处理器3020执行这些指令时，这些指令执行这里所述的方法。存储器3025也可以存储自适应生成器的数据/用于自适应生成器的数据。输入/输出3030提供自适应生成器或其部分或其表示的数据/用于自适应生成器或其部分或其表示的数据的传送及显示，并且还提供用于存储、处理或显示的各种类型数据的输入。输入/输出3030还包括各种类型的计算机可读存储介质，包括处理器3020可访问的任何类型的存储装置。例如，输入/输出3030可以与输入190、输出显示装置192和输出传输装置193相对应。本领域的技术人员将会立刻意识到服务器3001由在存储器3025中执行的操作系统软件控制。输入/输出3030和相关的介质存储用于操作系统和本发明的方法的机器可执行指令、以及自适应生成器的数据/用于自适应生成器的数据。

对图30A-B的描述希望提供了计算机硬件和适于实现本发明的其他操作组件的概况，但是不希望限制适用的环境。将被认识到的是，计算机系统3010是具有不同体系结构的很多可能的计算机系统的一个示例。一般的计算机系统通常将包括至少处理器、存储器以及将存储器耦合至处理器的总线。本领域的技术人员将会立刻认识到，可以利用其他计算机系统配置来实践本发明，这些配置包括多处理器系统、小型计算机、主机计算机等等。本发明还可在分布式计算环境中被实践，其中由通过通信网络链接的远程处理装置执行任务。

已经描述了用于图像的不规则空间子采样的自适应生成器。虽然这里已经示出并描述了具体的实施例，但是本领域的普通技术人员将会认识到，被计算以达到相同目的的任何布置可以替代所示的具体实施例。本申请希望覆盖本发明的任何改编或变化。

相关申请

本申请与下列共同拥有的、同时递交的申请相关：2008年4月29日递交的、申请序列号为12/111,927(代理案号NO.080398.P712)的、题为“SampleLevel Variation for Spatial Sub-sampled Images”(空间子采样图像的样本水平变化)的申请，以及2008年4月29日递交的、申请序列号为12/111,928(代理案号NO.080398.P718)的、题为“Adaptive Area of Influence Filter for IrregularSpatial Sub-sampled Images”(用于不规则空间子采样图像的自适应影响区域滤波器)的申请。

版权声明/许可

本专利文档的公开的部分包含受版权保护的材料。因为它出现在专利商标局专利文件或记录中，所以版权拥有者不反对任何人对专利文档或专利公开的复制，但在其他方面保留所有的版权。特此声明如下：版权2007，索尼电子公司，保留所有权利。

Claims (12)

1.一种计算机化的方法，包括：

将自适应滤波器应用到样本的初始图案中的样本，其中所述初始图案中的样本与要被预测的像素相对应；

变化每个样本的水平值，其中所述水平值和与所述要被预测的像素相关的样本的预测强度相对应；

从样本中生成第一预测图案；

执行对所述第一预测图案中的当前样本的样本移动处理，以改变所述第一预测图案中的所述当前样本的当前位置；

如果改变了所述当前样本的所述当前位置，则更新所述当前样本所影响的像素的局部预测；

如果满足准则，则执行对所述第一预测图案中的所述当前样本的样本去除处理，以从所述第一预测图案中去除所述当前样本；

如果去除了所述当前样本，则更新所述当前样本所影响的像素的局部预测；

从所述第一预测图案中剩余的样本生成第二预测图案；以及

输出所述第二预测图案。

2.根据权利要求1所述的计算机化的方法，其中所述样本移动处理包括：

为所述当前样本计算不同样本位置；

计算与所述当前位置相对应的当前预测误差；

计算与所述不同样本位置相对应的不同预测误差；以及

将所述当前样本移动到具有最低预测误差的位置。

3.根据权利要求2所述的计算机化的方法，其中更新局部预测包括：

计算样本的影响区域，所述影响区域包括如下像素，该样本是所述像素的预测中的因子；

更新所述当前样本的影响区域中的像素的局部预测误差；

更新该影响区域中的像素的滤波系数，其中所述滤波系数定义了所述当前样本与像素之间的预测关系；

将所述自适应滤波器应用于该影响区域中的像素；以及

将水平变化应用于所述当前样本。

4.根据权利要求1所述的计算机化的方法，其中所述样本去除处理包括：

从影响区域中的像素的当前预测中确定当前预测误差，所述当前预测包括所述当前样本的预测权重；

从影响区域中的像素的测试预测中确定测试预测误差，所述测试预测不包括所述当前样本的预测权重；

如果所述当前预测误差与所述测试预测误差之间的差的绝对值小于样本去除阈值，则去除所述当前样本。

5.根据权利要求4所述的计算机化的方法，其中去除所述当前样本还包括：

确定样本密度，所述确定不包括所述当前样本的存在；

如果所述样本密度大于最小样本密度，则去除所述当前样本。

6.根据权利要求4所述的计算机化的方法，所述方法还包括：

计算样本的影响区域，所述影响区域包括如下像素，该样本是所述像素的预测中的因子；

如果所述当前样本被去除，则更新所述当前样本的影响区域中的像素的局部预测误差；

如果所述当前样本被去除，则更新该影响区域中的像素的滤波系数，其中所述滤波系数定义了所述当前样本与像素之间的预测关系；

如果所述当前样本被去除，则将所述自适应滤波器应用于该影响区域中的像素；以及

如果所述当前样本保留在所述第一预测图案中，则将水平变化应用于所述当前样本。

7.一种设备，包括：

用于接收图像数据的装置，所述图像数据包括样本的初始图案；

用于将自适应滤波器应用到样本的初始图案中的样本的装置，其中所述初始图案中的样本与要被预测的像素相对应；

用于变化每个样本的水平值的装置，其中所述水平值和与所述要被预测的像素相关的样本的预测强度相对应；

用于从样本中生成第一预测图案的装置；

用于执行对所述第一预测图案中的当前样本的样本移动处理，以改变所述第一预测图案中的所述当前样本的当前位置的装置；

用于如果改变了所述当前样本的所述当前位置，则更新所述当前样本所影响的像素的局部预测的装置；

用于如果满足准则，则执行对所述第一预测图案中的所述当前样本的样本去除处理，以从所述第一预测图案中去除所述当前样本的装置；

用于如果去除了所述当前样本，则更新所述当前样本所影响的像素的局部预测的装置；

用于从所述第一预测图案中剩余的样本生成第二预测图案的装置；以及

用于输出所述第二预测图案的装置。

8.根据权利要求7所述的设备，其中所述样本移动处理包括：

用于为所述当前样本计算不同样本位置的装置；

用于计算与所述当前位置相对应的当前预测误差的装置；

用于计算与所述不同样本位置相对应的不同预测误差的装置；以及

用于将所述当前样本移动到具有最低预测误差的位置的装置。

9.根据权利要求8所述的设备，其中更新局部预测包括：

用于计算样本的影响区域的装置，所述影响区域包括如下像素，该样本是所述像素的预测中的因子；

用于更新所述当前样本的影响区域中的像素的局部预测误差的装置；

用于更新该影响区域中的像素的滤波系数的装置，其中所述滤波系数定义了所述当前样本与像素之间的预测关系；

用于将所述自适应滤波器应用于该影响区域中的像素的装置；以及

用于将水平变化应用于所述当前样本的装置。

10.根据权利要求7所述的设备，其中所述样本去除处理包括：

用于从影响区域中的像素的当前预测中确定当前预测误差的装置，所述当前预测包括所述当前样本的预测权重；

用于从影响区域中的像素的测试预测中确定测试预测误差的装置，所述测试预测不包括所述当前样本的预测权重；

用于如果所述当前预测误差与所述测试预测误差之间的差的绝对值小于样本去除阈值，则去除所述当前样本的装置。

11.根据权利要求10所述的设备，其中去除所述当前样本还包括：

用于确定样本密度的装置，所述确定不包括所述当前样本的存在；

用于如果所述样本密度大于最小样本密度，则去除所述当前样本的装置。

12.根据权利要求10所述的设备，操作还包括：

用于计算样本的影响区域的装置，所述影响区域包括如下像素，该样本是所述像素的预测中的因子；

用于如果所述当前样本被去除，则更新所述当前样本的影响区域中的像素的局部预测误差的装置；

用于如果所述当前样本被去除，则更新该影响区域中的像素的滤波系数的装置，其中所述滤波系数定义了所述当前样本与像素之间的预测关系；

用于如果所述当前样本被去除，则将所述自适应滤波器应用于该影响区域中的像素的装置；以及

用于如果所述当前样本保留在所述第一预测图案中，则将水平变化应用于所述当前样本的装置。

Images