CN1488119A

CN1488119A - 通过最近相邻分类滤波提高分辨率

Info

Publication number: CN1488119A
Application number: CNA018222862A
Authority: CN
Inventors: T; T·孔多; J·J·卡里; ��Ī��; Y·弗吉莫里; W·K·凯里
Original assignee: Sony Electronics Inc
Current assignee: Sony Electronics Inc
Priority date: 2000-11-28
Filing date: 2001-11-21
Publication date: 2004-04-07
Anticipated expiration: 2021-11-21
Also published as: HK1064775A1; CN1258738C; JP4252308B2; AU2002236486A1; WO2002045060A2; KR100848849B1; JP2004523941A; US6519368B1; DE10196979T1; KR20040016823A; EP1346311B1; EP1346311A4; WO2002045060A3; EP1346311A2

Abstract

公开了一种方法和装置，通过从多个空间分类中为输入图像矢量确定输入图像矢量最接近的相邻分类，来提高图像分辨率。在一个实施方案中，通过首先接收要划分成几个空间分类之一的输入图像矢量来确定最接近的相邻分类。每个空间分类都具有对应的归一化平均分类矢量。输入的图像矢量被归一化。然后，确定归一化图像矢量到每个归一化平均分类矢量之间的加权距离。根据加权距离确定属于到输入图像矢量的最接近的相邻分类的分类矢量。将对应于最接近的相邻分类的滤波器应用于输入图像矢量来提高图像的分辨率。

Description

通过最近相邻分类滤波提高分辨率

技术领域

本发明涉及图像处理领域。

技术背景

已经表明利用空间分类能够提高空间滤波结果。一种技术是在分类抽头中对每个像素进行门限处理，形成对应的二进制值。然后利用这个二进制值来选择空间分类。但是这种技术不是与分类数的大小成比例，因为空间分类的数量随着分类抽头的数量增大按指数规律增长。例如，半径为1的钻石抽头分类器有5个抽头，提供2⁵＝32个空间分类。半径为2的钻石抽头分类器有13个抽头，提供2¹³＝8192个空间分类。更多的抽头需要上百万个分类。

二进制门限分类技术的第二个局限性在于它对误差和单个像素的变化非常敏感。这种敏感性给分类带来了某种随机性，使得分类更加象单类。虽然这样做能够提供平滑的分类过渡，但是它限制了性能。

发明内容

公开了一种方法和装置，用于从多个空间分类为输入的图像矢量确定最近的相邻分类，从而提高图像分辨率。在一个实施方案中，通过首先接收要分类成几个空间分类之一的输入图像矢量来确定最近的相邻分类。每个空间分类都有对应的归一化平均分类矢量。输入的图像矢量被归一化。然后，确定从归一化的图像矢量到每个归一化平均分类矢量的加权距离。在加权距离的基础之上确定到输入图像矢量最近的相邻分类的分类矢量。将对应于最近相邻分类的滤波器应用于输入图像矢量，提高图像的分辨率。

附图说明

下面通过附图以实例的形式而不是限制性的形式介绍本发明，其中相似的引用符号表示相似的部件。在这些附图中：

图1给出用于估计样本值的空间滤波器的实施方案。

图2给出从较低分辨率图像产生提高了分辨率的图像的一个实例。

图3给出提高分辨率的最近相邻分类滤波方法的一个实施方案。

图4给出提高分辨率的最近相邻分类滤波装置的一个实施方案。

图5给出提高分辨率的最近相邻分类滤波方法的另一个实施方案。

具体实施方式

下面给出从多个空间分类为输入图像矢量确定最近相邻分类，提高图像分辨率的一种方法和装置。在一个实施方案中，通过首先接收要分类成几个空间分类之一的输入图像矢量来确定最近的相邻分类。每个空间分类都有对应的归一化平均分类矢量。对输入图像矢量进行归一化。然后确定从归一化图像矢量到每个归一化平均分类矢量之间的加权距离。在加权距离的基础之上确定属于到输入图像矢量最近的相邻分类的分类矢量。将对应于最近相邻分类的滤波器应用于输入图像矢量，提高图像分辨率。

在信号处理中，空间滤波具有许多应用。例如，给出图1中的圆圈表示的一组像素，可以从标上十字叉的位置估计出样本值。可以用一系列的相似估计来产生提高了分辨率的图像，如图2所示。

产生了空间分类以后，可以产生分类矢量，并用于利用最近的相邻分类滤波提高图像分辨率。最近相邻分类滤波方法在图3中给出。

可以利用每个分类的归一化平均分类矢量，以及确定从输入图像矢量到每个归一化平均分类矢量之间相对距离的距离度量，确定每个输入图像矢量的最近相邻分类。如图3所示，接收输入图像矢量，步骤305。归一化输入图像矢量，步骤310，于是靠近抽头中心的像素加权值最大，因为这些像素与最终输出最相关。确定从归一化图像矢量到每个分类矢量之间的加权距离，步骤320。确定属于到输入图像矢量最近的分类矢量，步骤330。将对应于最近相邻分类的滤波器应用于输入图像矢量，步骤340，以提高图像分辨率。

例如，可以将最近的相邻分类用于将输入图像数据划分成两类之一，如同表3所示。两个分类的归一化平均分类矢量在下面的表1和表2给出。

使用归一化的平均分类矢量，从而使接近滤波器中心的抽头接近0电平。这一点不能完全实现，因此，中心抽头可以略微偏离0。这一偏离提供了减少分类数的一种手段，因为需要的时候可以翻转分类，从而使中心抽头总是非负的。此外，具有最小动态范围的分类布是完全扩展，因而使量化噪声的权与训练过程中的真实边缘的权不一样大。

表1给出了第一个分类，分类1，的一个归一化平均分类矢量实例。

0.17622

-2.73143 0.44055 0.17622

-

-1.67411 -0.88111 0.35244 0.26433 0.26433

0.00000 0.61678 0.52866

0.35244

表1

表2给出了第二个分类，分类2，的一个归一化平均分类矢量实例。

-0.82990

-0.41495 -1.65981 -1.65981

1.24486 0.82990 0.41495 -0.82990 0.82990

0.41495 -0.41495 1.24486

0.00000

表2

表3给出了要利用最近相邻分类划分成分类1或者分类2的输入图像矢量。

104

106 97 96

64 78 94 92 101

118 137 141

122

表3

通过从每个元素中减去加权平均值，然后除以标准偏差来归一化输入图像矢量。通过将输入图像矢量的每个元素乘以对应的距离权来确定输入图像矢量的加权平均值，如同下面的表4给出的权一样。然后，将加权元素加起来，形成加权平均。将输入图像矢量的每个元素乘以对应的距离权，从而使接近抽头中心的像素的权最大，因为这些像素与最终输出关系最大。到估计坐标的距离增大的时候，抽头对分类的影响应该下降。

确定一组距离权的一种方法是将每个权初始化成抽头到估计坐标之间欧几里得度量的倒数，然后归一化这些权，从而使它们的和等于1。例如，从表4所示的抽头权得到输出位置(i-0.25，j-0.25)。

j-2 j-1 j j+1 j+2

i.2 0.048

i.1 0.080 0.107 0.058

i 0.048 0.107 0.239 0.066 0.037

i+1 0.058 0.066 0.048

i+2 0.037

表4

表4给出了应用于图像矢量的距离权。图像矢量的加权平均通过将图像矢量每个元素与它的相应距离权相乘，然后将加权元素加起来加以确定。然后从图像矢量的每个元素减去加权平均值，产生一个接近0的加权平均图像矢量，从而使加权平均＝round(140*0.048+...+122*0.037)＝102。表5给出接近0的加权平均矢量。

38

4 -5 -6

-38 -24 -8 -10 -1

16 35 39

表5

确定接近0的加权平均图像矢量的标准偏差。接近0的加权平均图像矢量通过将每个矢量元素除以标准偏差而归一化，在这个实例中这个标准偏差是23.859。如果中心抽头是负的，就将这个矢量乘以-1，从而使中心抽头非负。结果是归一化的图像矢量，如表6所示。

-1.59264

-0.167651 0.209564 0.251476

1.592684 1.005906 0.335302 0.419127 0.041913

-0.670604 -1.466946 -1.634597

-0.838255

表6

下一步确定归一化输出图像矢量与每个归一化平均分类矢量之间的加权距离。确定归一化图像矢量到分类1之间的加权距离。加权距离可以通过将分类1的每个元素从图像矢量的对应元素减去，取结果的平方，将平方后的结果乘以对应的距离权，将加权平方结果加起来得到。

在这个实例中，输入图像数据和分类1之间的加权距离是{{-1.592684-0.17622}^2*0.048+...+(-0.838255 -0.35244)^2*0.037]＝1.1151.同样确定归一化图像矢量与分类2之间的加权距离。在这个实例中，这个距离是{(-1.592684- -0.82990)^2*0.048+...+(-0.838255-0.00000)^2*0.037}＝1.8406。

到归一化图像矢量的加权距离最小的分类是图像矢量最近的相邻分类，在这个实例中是分类1。将输入图像矢量加到最接近的分类上去。通过在贡献中加上当前矢量的基础之上更新这一分类的矢量平均。几次迭代以后，停止这一程序，通过下面介绍的最小平方训练程序为每一分类确定滤波器。

虽然上面的实例说明了利用最近的相邻分类将输入图像矢量划分成两个分类中的一个，但是分类数可以是大于2的任意数。还有，虽然上面的实例中给出的是一个输入图像矢量，但是用这种方法分类的输入图像的数量可以是大于1的任意数量。

图4给出装置400的一个实施方案，利用它在分辨率实施方案中进行最近的相邻分类滤波。归一化逻辑405收到图像的输入数据，它将输入图像的矢量数据归一化。将归一化后的图像矢量输入距离计算器410。距离计算器确定输入图像到每个空间分类之间的距离。通过最小距离检测器420从计算器410接收距离。检测器420确定哪个分类最接近输入图像数据。将最近的分类选作最近的相邻分类。随后可以将图像数据应用到滤波器630上以提高分辨率。滤波器输出的图像数据可以用一个显示器显示出来，比方说用电视监视器显示出来。

图4所示的装置400可以用硬件电路、计算机能够读的媒介中储存由计算机处理器执行的软件以及硬件和软件的结合来实现。

用最近的相邻滤波器提高分辨率这种方法可以用于任意形式，与时间有关的数据，包括但不限于视频或者其它二维运动图像、三维运动图像以及立体声这样的音频。在这一说明中，在一个实例中的值这个术语可以指收到或者产生的一组数据中的一个分量。此外，数据点可以是一个位置、地方、实例、地点或者数据内的范围。

为了清楚起见，这里的一些描述集中在包括像素流的视频数据上。但是应该认识到用最接近的相邻滤波提高分辨率还可以针对视频数据以外的其它类型的数据进行，这里用来描述最接近相邻滤波提高分辨率的术语和词汇覆盖了很大范围的应用和数据类型。例如，自适应滤波器抽头结构是建立在对应分类基础之上滤波器抽头定义的一种自适应结构。

可以在目标数据一个或者多个特性的基础之上定义分类。例如，可以在包括目标数据的群一个或者多个特性的基础之上定义分类。分类ID是分类中用于按照特定特性描述和区分目标数据与其它数据的一个具体值。分类ID可以用一个数、一个符号或者确定范围内的一个代码表示。可以将一个参数用作一个预先确定或者可变的量，用于评估、估计数据或者对数据分类。

用最接近的相邻滤波技术提高分辨率提供了一种方法和装置进行自适应处理，产生对应于一组一个或者多个数据分类的数据。这个过程叫做“分类定义”。分类定义可以利用Richard O.Duba和Peter E.Hart在John Wiley和他儿子在1973年6月的“模式分类和场景分析”中描述的传统方法通过信号分布的各种属性来实现。

对于每一分类，为自适应处理准备一个用于信号恢复的适当滤波器。在另一个实施方案中，每个滤波器都可以表示为应用于数据的一个滤波器系数矩阵。可以通过训练过程产生滤波器系数，随后描述它的一个实例，作为滤波前的准备过程。

按照下面的公式(1)给出的线性合并过程产生输出数据：

y = Σ_{i = 1}^{N} w_{i} \cdot x_{i}

[式1]其中x_i是输入数据，w_i对应于每个滤波器系数，N是系数的个数，y是误差恢复以后的输出数据。可以通过提高分辨率之前的训练过程为每个分类ID产生滤波器系数。

可以通过训练过程产生滤波器系数。例如，可以按照以下判据进

行训练：

\min_{w} {| | X \cdot W - Y | |}_{2}

[式2]其中X、W和Y是例如下面的矩阵：X是公式(3)给出的输入数据矩阵，W是公式(4)给出的系数矩阵，Y对应于公式(5)给出的目标数据矩阵。

[式3]

W = [\begin{matrix} w_{1} \\ w_{2} \\ . \\ . \\ . \\ w_{n} \end{matrix}]

[式4]

Y = [\begin{matrix} y_{1} \\ y_{2} \\ . \\ . \\ . \\ y_{m} \end{matrix}]

[式5]

可以按照公式(2)获得系数w_i，从而使得相对于目标数据的估计误差最小。

在图5中给出另一个实施方案。在步骤510中产生多个空间分类。确定每个空间分类的归一化平均分类矢量，步骤520。对分类以后的输入图像矢量进行量化，步骤530。输入图像矢量用距离权相乘，步骤550。确定从加权图像矢量到每个归一化平均分类矢量之间的加权距离，步骤560。确定属于到输入图像矢量的最近相邻的分类矢量，步骤565。将到最近相邻分类的输入图像矢量加起来，步骤570。更新具有输入图像矢量的最近相邻分类的平均矢量，步骤580。确定每个分类的滤波器，步骤590。

这样就给出了通过最近相邻分类滤波提高分辨率的一种方法。可以按照这些实例实现本发明的这些和其它实施方案，显然可以对这些实施方案进行各种改进和改变而不会偏离本发明的实质和范围。因此这些说明和附图都是说明性的，而不是限制性的，本发明的范围只是由后面的权利要求限定。

Claims

1.一种方法，包括：

通过为输入的图像矢量，从多个空间分类，确定最接近的相邻分类，从而提高图像分辨率；和

将对应于最接近的相邻分类的滤波器应用于输入图像矢量。

2.权利要求1所述的方法，其中最接近的相邻分类的确定还包括：

接收要分类的输入图像矢量，接收多个归一化的平均分类矢量，每个分类矢量都对应于一个空间分类；

归一化图像矢量；

确定归一化图像矢量到每个归一化平均分类矢量之间的加权距离；和

根据加权距离确定哪一个分类矢量是到属于图像矢量的最接近的相邻分类。

3.权利要求2所述的方法，其中输入图像矢量的归一化还包括：

为输入图像矢量确定加权平均。

4.权利要求3所述的方法，其中输入图像矢量的归一化还包括：

为输入图像矢量确定一个标准偏差。

5.一种装置，包括：

提高图像分辨率的装置，包括：

从多个空间分类中为输入图像矢量确定最接近的相邻分类的装置；和

将对应于最接近的相邻分类的滤波器应用于输入图像矢量的装置。

6.权利要求5所述的装置，其中确定最接近相邻分类的装置还包括：

接收要分类的输入图像矢量，接收多个归一化平均分类矢量，每个分类矢量都对应于一个空间分类的装置；

归一化图像矢量的装置；

确定归一化的图像矢量到每个归一化平均分类矢量之间的加权距离的装置；和

根据加权距离确定哪个分类矢量是最接近输入图像矢量的相邻分类的装置。

7.权利要求6所述的装置，其中归一化输入图像矢量的装置还包括：

为输入图像矢量确定加权平均的装置。

8.权利要求7所述的装置，其中归一化输入图像矢量的装置还包括：

为输入图像矢量确定标准偏差的装置。

9.权利要求8所述的装置，还包括：

将输入图像矢量加到最接近的相邻分类上的装置。

10.具有指令的计算机能够读的媒介，处理系统执行这些指令时使系统：

从多个空间分类为输入图像矢量确定最接近的相邻分类，从而提高图像分辨率；和

将对应于最接近的相邻分类的滤波器应用于输入图像矢量。

11.权利要求10所述的媒介，其中最接近相邻分类的确定还包括：

接收要分类的输入图像矢量，接收多个归一化平均分类矢量，每个分类矢量都对应于一个空间分类；

归一化图像矢量；

确定归一化图像矢量到每个归一化平均分类矢量之间的加权距离；

根据加权距离确定哪一个分类矢量属于到输入图像矢量最近的相邻分类。

12.权利要求11所述的媒介，其中输入图像矢量的归一化还包括：

为输入图像矢量确定加权平均。

13.权利要求12所述的媒介，其中输入图像矢量的归一化还包括：

为输入图像矢量确定一个标准偏差。