CN1381143A

CN1381143A - 方法、系统和装置

Info

Publication number: CN1381143A
Application number: CN01801319A
Authority: CN
Inventors: C·W·A·M·范奥维韦德; P·维林斯基
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2000-05-19
Filing date: 2001-04-27
Publication date: 2002-11-20
Anticipated expiration: 2021-04-27
Also published as: KR20020020942A; EP1287703A1; JP2003534743A; CN1214644C; US20020012452A1; MY133945A; WO2001091469A1; US6738497B2

Abstract

在基于块的运动或景深预测中,作为对备选值(20,21,22,23)的有限组(45)最小化匹配误差的结果,块被赋予运动或景深值。当选定备选值(23)是组的极限值时,就不能预测该值距离实际最小匹配误差有多远。为了解决该问题,用于选择最佳备选值的方法和系统在极限值(23)之外选择新的备选值(30)。当该新的备选值(30)具有最低匹配误差时,就选择另一个新的备选值,直到它不再具有最低匹配误差。用于处理视频信号(40)的装置使用选定的备选值来产生增强型视频信号(40)。

Description

方法、系统和装置

本发明涉及一种选择用于将第一图象的块与第二图象的区域匹配的最佳备选值的方法，该方法包括：

(a)为确定第二图象用于匹配的区域而产生备选值的组，

(b)根据所述的备选值，对组的每个备选值确定第二图象用于匹配的区域，将第一图象的块与该区域匹配并计算匹配误差，和

(c)根据计算的匹配误差从组中选择最佳备选值。

本发明同样涉及一种选择用于将第一图象的块与第二图象的区域匹配的最佳备选值的系统，该系统包括：

●收集器，用于为确定第二图象用于匹配的区域而产生备选值的组，

●匹配器，用于根据所述的备选值对组的每个备选值确定第二图象用于匹配的区域，将第一图象的块与该区域匹配并计算匹配误差，和

●选择器，用于根据计算的匹配误差从组中选择最佳备选值。

本发明还涉及用于处理包括各种图象的视频信号的装置。

在开始段落中说明的类型的方法是由同一申请人申请的以WO99/40726(PHN17.017)号公布的国际专利申请。使用基于块的用于在图象中确定运动和景深的技术，图象被划分为多个块，例如相同大小的矩形。然后图象可以通过匹配其它图象中的单独的块来与另一个图象进行比较。

使块与第二图象匹配是通过为运动矢量或景深选择多个备选值然后对每个备选值确定块相应于第二图象中的区域的距离来实现。在该匹配中的偏差程度可以被计算。该偏差称为匹配误差，它与备选值有关。最佳备选值是具有相对小的匹配误差的备选值。其中，适当的备选值是第一图象的相邻块的景深或运动矢量，因为它们可能具有与当前块大致相同的特性。既然块包括象素，那么匹配误差可以根据第一图象的块和第二图象的区域中的相应的象素来确定。象确定均方误差(MSE)这样的数学方法适于该目的。

当选定的最佳备选值位于组的最小值和最大值之间时，可以确定该备选值距离实际最佳值有多远。为此目的，该距离在两个其匹配误差最接近最佳备选值的匹配误差的备选值之间确定。实际最佳值现在一定位于由这两个备选值确定的区间中。该区间的大小现在可以作为选定的最佳备选值精确度的量度。区间越大，实际最佳值离选定的最佳备选值远的可能性越大。

该已知方法的缺点是当最佳备选值是组的极限值时，就不能找出该值的匹配误差离实际最小匹配误差有多远。因此很可能实际最小匹配误差远离该备选值。结果，该方法的景深或运动的近似值不是最佳值。

本发明的一个目的是提供一种在开始段落中说明的类型的方法，其中对最佳备选值进行更好的选择。

该目的通过按照本发明的方法而实现，其中当选定的最佳备选值是组的极限值时，执行下列步骤：

(d)用由组的最小值和最大值确定的区间之外的第一备选值来扩展组，

(e)根据第一备选值，确定第二图象用于匹配的区域，将第一图象的块与该区域匹配并计算匹配误差，和

(f)根据计算的匹配误差从扩展组中选择最佳备选值。

如果步骤(f)选定的最佳备选值是第一备选值，那么它具有比步骤(c)选定的备选值小的匹配误差。这为最佳备选值提供了更好的选择。否则步骤(f)选定的最佳备选值将是步骤(c)选定的备选值，因为其它的备选值都不如步骤(c)选定的备选值最佳。该备选值因而具有最小匹配误差。同时，该匹配误差的精确度可以被确定。这也为最佳备选值提供了更好的选择。

在该方法的一个实施例中，只要选定的最佳备选值是扩展组的极限值，就重复步骤(d)、(e)和(f)，每次使用下一个备选值。该实施例具有这样的优点，即现在总是最佳备选值被选定，它的精确度可以被确定，并且仅需进行最佳备选值是否与第一值相同的检测来确定组是否被进一步扩展。

在该方法的另一个实施例中，第一备选值通过将组的备选值的值相对于选定的最佳备选值的值映射来确定。该实施例具有这样的优点，即以这种方式获得新值非常简单。

在该方法的另一个实施例中，下一个备选值通过将扩展组的备选值的值相对于选定的最佳备选值映射来确定。

本发明的另一个目的是提供一种在开始段落中说明的类型的系统，其中对最佳备选值进行更好的选择。

该目的通过按照本发明的系统而实现，其中当选定的最佳备选值是组的极限值时，系统进行检测，并且其中

●收集器在该情况中用由组的最小值和最大值确定的区间之外的第一备选值来扩展组，

●匹配器在该情况中根据第一备选值确定第二图象用于匹配的区域，将第一图象的块与该区域匹配并计算匹配误差，和

●选择器在该情况中根据计算的匹配误差从扩展组中选择最佳备选值。

在该系统的一个实施例中

●只要选定的最佳备选值是扩展组的极限值，收集器就通过扩展组的最小值和最大值的区间之外确定的下一个备选值进一步扩展扩展组，

●匹配器在该情况中根据下一个备选值确定第二图象用于匹配的区域，将第一图象的块与该区域匹配并计算匹配误差，和

该实施例具有这样的优点，即它易于实现，因为系统现在仅需检测最佳备选值是否和第一值相同来确定组是否进一步被扩展。

在该系统的另一个实施例中，收集器通过将组的备选值的值相对于最佳备选值映射来确定第一备选值。该实施例具有这样的优点，即现在新的备选值可以以实施快捷的方式得到。

在该系统的另一个实施例中，收集器通过将扩展组的备选值的值相对于选定的最佳备选值映射来确定下一个备选值。

本发明的另一个目的是提供一种在介绍部分中说明的装置，通过它视频信号以更好的方式被处理。

该目的通过按照本发明的装置而实现，其中该装置包括：

●按照本发明的选择用于将第一图象的块与第二图象的区域匹配的最佳备选值的系统，该系统用于选择所述各种图象中的图象的块的最佳备选值，和

●图象处理器，用于根据获得的由所述系统确定的最佳备选值处理视频信号以获得增强视频信号。

图象处理器根据由按照本发明的系统选定的最佳备选值增强图象。由于该系统进行了最佳备选值的更好的选择，这将带来相对于其它装置而改进的增强图象。

在该装置的一个实施例中，进一步包括用于显示增强视频信号的显示系统。

本发明的这些和其它方面将参考在下文中说明的实施例说明清楚。

在附图中：

图1是多个备选值和它们的匹配误差的图示表示；

图2是其中最佳备选值是组的极限值的情况的图示表示；

图3是其中组被第一值扩展的情况的图示表示；

图4是按照本发明的用于处理图象的装置的图示表示。

在基于块的用于在第一图象中确定运动和景深的技术中，图象被细分为多个块。这些块可以是矩形，并且大小相同，从而细分可以以简单快速的方式来实现，虽然也可以选择使用其它的任意形状。非矩形块的使用具有这样的优点，即现在任意目标可以由一组块代替，从而可以确定该目标的运动或景深。通过将图象细分为块，现在可以通过将第一图象的块与第二图象的区域匹配来比较该图象和第二图象。如果块选定得足够小，就可以假定每个块均匀运动并且各处的块中的景深相同。因而可以查找相应于第一图象的块的第二图象的区域。如果找到，该块在两个图象间的偏移就可以被确定，这样该块的运动就被确定。如果这两个图象都与静止目标有关，它就提供了确定该目标景深所需的信息。

很少发生第一图象的块完全与第二图象的区域匹配。根据景深或运动矢量的备选值，通过确定第一图象的块将位于第二图象的何处，这个问题而得以解决。随后，与此相应的第二图象的区域与第一块匹配，并且可以计算匹配偏差的程度。该偏差称为备选值的匹配误差。最佳备选值是具有相对小匹配误差，最好是最小匹配误差的备选值。

既然块由象素组成，那么匹配误差可以根据两个块中的相应象素来确定。象确定均方误差(MSE)这样的数学方法适于该目的。通过这种方法，运动矢量(dx，dy)的匹配误差可以如下计算：

MSE (i, j) = Σ_{m = 1}^{M} Σ_{n = 1}^{N} {[U_{1} (m, n) - U_{0} (m + dx, n + dy)]}^{2}

在这里，M和N是象素中块的尺寸，而Ui(m，n)是在位置(m，n)处图象i中的象素强度(intensity)。计算景深d的匹配误差以同样的方式进行。

另一种适合的数学方法是计算绝对差值的和(SAD)。景深d的匹配误差由此可以如下计算：

SAD (d) = \underset{(x, y) &Element; B}{Σ} | U_{1} (x + Δx (d), y + y (d)) - U_{0} (x, y) |

在这里，(x，y)是块B中的象素，而Δx(d)是基于景深d的备选值的x的变化。

除了均方误差和绝对差值的和以外，还可以使用其它的数学方法，例如平均绝对差值或平方误差的和，来计算景深或运动矢量的备选值的匹配误差。

为了实际的原因，尤其由于在视频信号处理期间很少有时间处理分离图象，所以通常产生一组有限数目的备选值来确定第二图象的区域，该备选值如上所述被随后使用，此后，第一图象的块与之匹配。邻近其它块的景深或找到的运动矢量的值被选定，有可能被加上随机值或先前计算的该块的景深或运动矢量的值，这通常是实际的。在组的要素的匹配误差已经计算以后，最佳备选值作为具有最小匹配误差的备选值而被选定。

产生组、计算该组的要素的匹配误差和选择最佳备选值的步骤可以作为三个分离的步骤来执行，也可以合并起来执行。对每个选定的备选值，匹配误差可以例如直接计算，此后该匹配误差可以与“工作最小值”比较。如果刚计算的匹配误差结果小于该工作最小值，当前备选值就被作为临时最佳备选值而选定，它的匹配误差则作为新的工作最小值。在组中所有的备选值都已经选定以后，这样确定的临时最佳备选值现在成为实际最佳备选值。

上述方法可以重复多次以达到最佳备选值的最合理的选择。在图象中的景深被确定的情况中，景深在开始时是随机选定的。随着每次重复，邻近块的值然后被使用，其值可以不同于前一次重复的值。新找到的具有最小匹配误差的值随后用于计算其它块的匹配误差。当值不再变化时，最后的值被确定并且重复可以停止。随着每次重复，最佳备选值和匹配误差的当前值为每个块而保存。

图1示出的图中，匹配误差被绘制为块景深备选值的函数。在x轴上有多个备选值10、11、12和13，在曲线14中是它们的匹配误差。实际最小匹配误差位于备选值12和13之间的曲线14中。此刻，备选值12可以被选作为最佳值，因为它具有所有备选值10、11、12和13中的最低的匹配误差。

图2示出了第二个图，其中匹配误差被绘制为景深备选值的函数。在图的x轴上有多个备选值20、21、22和23，在曲线24中是它们的匹配误差。该图中的实际最小匹配误差位于备选值23以外。根据已知的方法，此刻，备选值23被选定为最佳备选值，因为它具有组45的所有备选值20、21、22和23的最低伴随误差。

但是，也有可能函数是沿着曲线25前进。在这种情况中，实际最小匹配误差远离选定的最佳值。但是已知的方法不能够确定选定的备选值20、21、22和23是涉及曲线24还是曲线25。

在按照本发明的方法中就进行了找到的最佳备选值是否为组的极限值的检测。在选定的组45中，如图2所示，情况是这样的：备选值23是组45的最大值。

当图涉及景深的备选值时，景深的最小和最大值是组的极限值。对于运动矢量的备选值，每个备选值是具有水平和垂直运动分量的矢量。在该情况中，如果该矢量的一个分量超过其它矢量的相应分量，该运动矢量的备选值就是组的最大值。与组的所有备选值的水平分量相比具有最小水平分量的运动矢量备选值就是组的最小值。

如果选定的最佳备选值是组的极限值，组就被位于由组的最小值20和最大值23确定的区间之外的第一备选值扩展。其结果在图3中示出。第一备选值30被选定，它超出备选值即最大值23。显然，如果最佳备选值23是组的最小值，组就将被小于备选值23的第一值扩展。现在，组45被该第一备选值30扩展为扩展组45’。

根据第一备选值30，用于匹配的第二图象的区域被确定。第一图象的块与该区域匹配，并计算匹配误差。最佳备选值然后从包含备选值20、21、22、23和30的扩展组45’中选定。在图3中，第一备选值30现在被选作最佳备选值，因为第一备选值30的匹配误差最小。在该情况中，通过用下一个备选值31、32、…以同样的方式进一步扩展扩展组45’，可以进行进一步的增强。根据该下一个备选值31、32、…，用于匹配的第二图象的区域被确定，其后第一图象的块与该区域匹配，并计算匹配误差。然后根据计算的匹配误差，最佳备选值从包含备选值20、21、22、23、30、31、32、…的扩展组45’选定。由于曲线24具有最小值，组最终将总是以该方式被其匹配误差大于选定最佳备选值的匹配误差的下一个值31、32、…扩展。该最佳备选值就具有最低匹配误差并且不是组的极限值。

第一备选值30可以最好是通过将组45的单元(element)的值相对于最佳备选值映射来确定。在图3中，第一备选值30和极限值23之间的距离等于备选值20和极限值23之间的距离。虽然，明显地，所有备选值20、21和22都可以以这种方式使用来确定第一备选值30，但是最好是使用另一个极限值。在图3中，它是备选值20，曲线24的最大值。其它的备选值31、32、…也可以以这种方式使用。

图4表示用于处理视频信号40的装置，该视频信号40包括各种图象。该装置包括图象处理器41，用于处理视频信号40以获得增强视频信号。该增强视频信号然后显示在显示屏42上。虽然图4将显示屏42示为包括图象处理器41的同一装置的一部分，但是显然，显示屏42也可以独立于该装置，并可以经过网络从该装置接收增强视频信号。

图象处理器41可以根据有关视频信号40中的各个图象的运动或景深的信息增强视频信号40。比如，有可能图象处理器41处理视频信号40，从而在景深信息的基础上通过分离地旋转各个由一组块确定的目标，并因此从另一个角度产生正确的再现，用户可以从另一个角度观看图象。这可以提供，例如，立体再现。运动信息可以用于检测和标记运动目标，例如，用于自动监视摄象机。这样获得的带有标记目标的视频信号为这些摄象机的用户提供增强的性能，因为它们现在可以更快地检测图象的变化。

在另一个可能的应用中，图象处理器41通过产生更有效地压缩的视频信号，来增强以例如象MPEG这样的压缩格式提供的视频信号40。由一组块确定的单个的目标，该目标出现在视频信号40的多个图象中，现在它可以通过仅存储一次有关目标的象素信息并对该目标出现的其它图象仅存储该目标的运动矢量或景深信息而被压缩。由于该信息需要的存储容量小于整个目标的象素信息，象这样的方法可以提供显著增强的压缩视频信号。

为了清楚起见，下面的说明是有关仅在确定第一块景深时的系统单元的函数，但是从上述来说，显然第一块的运动可以以同样的方式确定。

该装置进一步包括收集器43、匹配器46和选择器47。收集器43用于为确定第二图象用于匹配的区域而产生备选值的组45。尤其是，由收集器43产生的组45包括先前确定的邻近第一块的块的景深。邻近块的景深通常将显示很小的相互差异，邻近第一块的块的景深因此为确定第一块的景深形成良好的开始点，并因此作为该景深的备选值。为此，有存储系统44，该景深和其它先前确定的景深可以存储在上面，从而收集器43可以在产生备选值的组45时使用它们。

收集器43将备选值的组45发送给匹配器46。匹配器46根据所述备选值为组的每个备选值确定第二图象用于匹配的区域。随后，如上所述，匹配器46将第一图象的块与该区域匹配，并且匹配器46计算相关的匹配误差。为此目的，先前所述的方法可以被使用，例如均方误差，平均绝对差值，绝对差值的和或平方误差的和。

在组45的备选值的匹配误差已经计算之后，选择器47根据计算的匹配误差从组45选择最佳备选值48。最佳备选值48是具有相对低的匹配误差的备选值。选择器47然后将最佳备选值48发送给图象处理器41。对图象的各个块重复该过程为该图象提供了景深信息。根据这样提供的景深信息，图象处理器41可以处理视频信号40以获得增强的视频信号。该增强视频信号然后可以显示在显示屏42上。

可能发生最佳备选值48是组45的极限值。收集器在这种情况中用于通过由组45的最小值和最大值确定的区间之外的第一值来扩展组45。匹配器46然后根据第一值确定第二图象用于匹配的区域并将第一图象的块与该区域匹配。匹配器46然后计算伴随的匹配误差，选择器47根据计算的匹配误差从扩展组选择最佳备选值。

系统最好这样安排，从而只要最佳备选值48是扩展组45’的极限值，收集器43就用由扩展组45’的最小值和最大值确定的区间之外的下一个备选值31、32、…来进一步扩展扩展组45’。匹配器46然后根据下一个备选值31、32、…确定第二图象用于匹配的区域，将第一图象的块与第二图象的该区域匹配并计算匹配误差。选择器47然后根据计算的匹配误差24从扩展组45’选择最佳备选值48。

收集器还可以用于通过将组45的备选值的值相对于最佳备选值48映射来确定第一备选值30，并通过将扩展组45’的备选值的值相对于最佳备选值48映射来确定下一个备选值31、32、…。

Claims

1.一种选择用于将第一图象的块与第二图象的区域匹配的最佳备选值的方法，该方法包括：

(a)为确定第二图象用于匹配的区域而产生备选值(20、21、22、23)的组(45)，

(b)根据所述的备选值，对组(45)的每个备选值确定第二图象用于匹配的区域，将第一图象的块与该区域匹配并计算匹配误差，和

(c)根据计算的匹配误差(24)从组(45)中选择最佳备选值，

其特征在于，当选定的最佳备选值是组(45)的极限值时，执行下列步骤：

(d)用由组(45)的最小值(20)和最大值(23)确定的区间之外的第一备选值(30)来扩展组(45)，

(e)根据第一备选值(30)，确定第二图象用于匹配的区域，将第一图象的块与该区域匹配并计算匹配误差，和

(f)根据计算的匹配误差(24)从扩展组(45’)中选择最佳备选值。

2.如权利要求1所述的方法，其特征在于只要选定的最佳备选值是扩展组(45’)的极限值，就每次使用下一个备选值(31、32、…)来重复步骤(d)、(e)和(f)。

3.如权利要求1所述的方法，其特征在于第一备选值(30)通过将组(45)的备选值的值相对于选定的最佳备选值映射而确定。

4.如权利要求2所述的方法，其特征在于下一个备选值(31、32、…)通过将扩展组(45’)的备选值的值相对于选定的最佳备选值映射而确定。

5.一种选择用于将第一图象的块与第二图象的区域匹配的最佳备选值的系统，该系统包括：

●收集器(43)，用于为确定第二图象用于匹配的区域而产生备选值(20、21、22、23)组(45)，

●匹配器(46)，用于根据所述的备选值对组的每个备选值确定第二图象用于匹配的区域，将第一图象的块与该区域匹配并计算匹配误差，和

●选择器(47)，用于根据计算的匹配误差(24)从组(45)中选择最佳备选值，

其特征在于，当选定的最佳备选值是组(45)的极限值时，系统进行检测，并且其中

●收集器(43)用由组(45)的最小值(20)和最大值(23)确定的区间之外的第一备选值(30)来扩展组(45)，

●匹配器(46)根据第一备选值(30)确定第二图象用于匹配的区域，将第一图象的块与该区域匹配并计算匹配误差，和

●选择器(47)根据计算的匹配误差(24)从扩展组(45’)中选择最佳备选值。

6.如权利要求5所述的系统，其特征在于

●只要选定的最佳备选值是扩展组(45’)的极限值，收集器(43)就通过扩展组(45’)的最小值和最大值的区间之外确定的下一个备选值(31、32、…)进一步扩展扩展组(45’)，

●匹配器(46)在该情况中根据下一个备选值(31、32、…)确定第二图象用于匹配的区域，将第一图象的块与该区域匹配并计算匹配误差，和

●选择器(47)在该情况中根据计算的匹配误差(24)从扩展组(45’)中选择最佳备选值。

7.如权利要求5所述的系统，其特征在于收集器(43)通过将组(45)的备选值的值相对于最佳备选值映射而确定第一备选值(30)。

8.如权利要求6所述的系统，其特征在于收集器(43)通过将扩展组(45’)的备选值的值相对于选定的最佳备选值映射而确定下一个备选值(31、32、…)。

9.一种用于处理包括各种图象的视频信号(40)的装置，包括：

●如权利要求5、6、7或8所述的选择用于将第一图象(40)的块与第二图象的区域匹配的最佳备选值(48)的系统(43、46、47)，该系统用于选择所述各种图象中的图象的块的最佳备选值，和

●图象处理器(41)，用于根据获得的由所述系统(43、46、47)确定的最佳备选值处理视频信号(40)以获得增强视频信号。

10.如权利要求9所述的装置，其特征在于装置进一步包括用于显示增强视频信号的显示系统(42)。