CN1381144A - 方法,系统和设备 - Google Patents

Abstract

在基于块的运动或深度估值中,由于使得在有限的候选值的组上匹配误差最小的结果,一个块被分配以一个运动值或深度值。对于这个组的每个单元的匹配误差是通过计算在第一图象(10)的一个块与第二图象(11)的一个区域之间的亮度差值而得到的。可能出现,一个物体(12)被另一个物体(15)遮挡,这样,该块中的一个象素(14)可能不存在于相应的区域中,因为另一个象素(16)覆盖了这个象素。按照本发明的方法和系统确定哪些象素是在第二图象(11)中看不见的,以及仅仅计算对于可看见的象素的匹配误差。用于适配视频信号(40)的设备使用选择的候选值来创建视频信号(40)的增强的版本。

Description

方法，系统和设备

本发明涉及选择被使用来使得来自第一图象的块与来自第二图象的区域相匹配的最佳候选值的方法，该方法包括：

(a)作出用于确定来自第二图象的、要被匹配的区域的一个候选值组，

(b)对于该组的每个候选值，根据所述候选值确定来自第二图象的、要被匹配的区域，使得来自第一图象的块与这个区域相匹配，和计算匹配误差，以及

(c)根据计算的匹配误差，从该组中选择最佳候选值。

本发明同样涉及用于选择被使用来使得来自第一图象的块与来自第二图象的区域相匹配的最佳候选值的系统，系统包括：

·收集器，用来作出用于确定来自第二图象的、要被匹配的区域的一个候选值组，

·匹配器，用来对于该组的每个候选值，根据所述候选值确定来自第二图象的、要被匹配的区域，使得来自第一图象的块与这个区域相匹配，和计算匹配误差，以及

选择器，用来根据计算的匹配误差，从该组中选择最佳候选值。

本发明还涉及用于处理包括各种图象的视频信号的设备。

在开头段落中定义的那种方法可以从同一个申请人的国际专利申请公布号WO 99/40726(PHN 17.017)中获知。通过用于确定图象中的运动和深度的、基于块的技术，图象被划分成多个块，例如，相等的尺寸的长方形。然后通过匹配其它图象中的各个块，而把该图象与另一个图象进行比较。

使得一个块与第二图象进行匹配是通过选择多个用于运动矢量或深度的候选值，然后对于每个候选值确定该块相应于第二图象中的一个区域有多远。在这种匹配中偏差的程度可被计算。这个偏差被称为匹配误差，它属于候选的值，最佳候选值是具有相对较小的匹配误差的候选值。适当的候选值，特别地，是来自第一图象的相邻的块的深度或运动矢量，因为它们多半具有与当前的块几乎相同的特性。由于一个块包括象素，所以匹配误差可以根据在来自第一图象的块和第二图象的区域中的相应的象素被确定。诸如确定均方误差(MSE)的数学方法适用于本目的。

可能出现，物体的一个点确实是在第一图象中可看见的，但在第二图象中是看不见的。第二个物体可能具有这样一个位置，从第二图象看来，第二物体部分地或全部覆盖第一物体，这意味着，来自第一图象的块不能在第二图象中完全被找回，因为它的多个象素在要被匹配的区域中是看不见的。

已知的方法的缺点在于，匹配误差是在来自第一图象的块的所有的象素上被计算的，也在要被匹配的区域中看不见的象素上被计算的。这些象素然后与相应于其它的点的象素进行比较。如果例如因为亮度变化，它们相差很大，则这将产生大的匹配误差。这样，可能出现，候选值由于太大的匹配误差而被拒绝，虽然这个候选值确实形成对于块的可见区域的最佳候选值。

本发明的一个目的是提供在开头段落中规定的那种方法，其中对于最佳候选值作出更好的选择。

这个目的是通过按照本发明的方法达到的，在其中块由象素组成，进行选择在来自第二图象的、要被匹配的区域中可看见的、第一图象的块的象素，以及根据所述选择计算匹配误差。通过不把看不见的象素使用于计算匹配误差，避免了由于失配而出现大的匹配误差。

在方法的一个实施例中，这种选择是通过对于第一图象的块的象素确定它们的位置处在来自第二图象的、要被匹配的区域中的哪个地方，以及根据与在来自第二图象的、要被匹配的区域中同一个位置处找到的、第一图象的块的其它的象素的比较结果选择一个象素，而被作出的。

在方法的再一个实施例中，比较结果是根据深度作出的。这个实施例的有利点在于，现在可以简单和快速地执行比较。

本发明的另一个目的是提供在引言部分中规定的那种系统，通过这个系统，对于最佳候选值作出更好的选择。

这个目的是通过按照本发明的系统达到的，其中块由象素组成，以及匹配器用来进行选择在来自第二图象的、要被匹配的区域中可看见的、第一图象的块的象素，以及匹配器用来根据所述选择计算匹配误差。

在系统的一个实施例中，匹配器用来通过对于第一图象的块的象素确定它们的位置处在来自第二图象的、要被匹配的区域中的哪个位置，以及根据与在来自第二图象的、要被匹配的区域中同一个位置处找到的、第一图象的块的其它的象素的比较结果选择一个象素，而作出这种选择。

在系统的再一个实施例中，比较结果是根据深度作出的。

本发明的另一个目的是提供在引言部分中规定的那种设备，通过这个设备，提供视频信号的更好的处理。

这个目的是通过按照本发明的设备达到的，其中设备包括：

·按照本发明的、用于选择要被使用来把来自第一图象的块与来自第二图象的区域进行匹配的最佳候选值的系统，该系统用来从所述簇选择对于来自该图象的块的、最佳候选值，以及

·用于根据如由所述系统确定的、得到的最佳候选值来处理视频信号以便得到增强的视频信号的图象处理器。

图象处理器根据由按照本发明的系统选择的、最佳候选值来增强图象。由于通过这个系统对最佳候选值作出较好的选择，这将得出比其它设备更好的、增强的图象。

在一个实施例中，设备还包括显示系统，用于显示增强的视频信号。

参照此后描述的实施例将了解和说明本发明的这些和其它方面。

在附图上：

图1是多个物体的多个图象的图形表示；以及

图2是按照本发明的、用于处理图象的设备的图形表示。

在用于确定第一图象中的运动和深度的、基于块的技术中，图象被再划分成多个块。这些块可以是长方形的，并具有相同的尺寸，这样，可以以简单的和快速的方式实施再划分。虽然还有可能利用任意的其它形状。非长方形块的使用的优点在于，现在的任意的物体可以用一组块覆盖，以使得这样的物体的运动或深度可被确定。通过把图象再划分成块，现在有可能通过那来自第一图象的块与来自第二图象的区域相匹配而把图象与第二图象进行比较。如果这些块被选择得足够小，则可以假定，每个块一致地移动，以及块的深度到处是相同的。然后有可能寻找来自第二图象的、相应于来自第一图象的块的区域。如果找到的话，则在两个图象之间的这个块的移位可被确定，因此，确定这个块的运动。如果两个图象都涉及到静止物体，则这提供对于确定这个物体的深度所必须的信息。

很少发生来自第一图象的块完全匹配于来自第二图象的区域。这个问题可以通过根据对于深度或运动矢量的候选值来确定来自第一图象的块必须位于第二图象的哪个地方，而被解决。以后，来自第二图象的、相应于这一点的区域与第一块进行匹配，以及计算匹配的偏差程度。这个偏差被称为候选值的匹配误差。最佳候选值是具有相对较小的匹配误差，优选地是最小匹配误差的候选值。

由于块包含象素，匹配误差可以根据两个块中的相应的象素来确定。诸如确定均方差(MSE)的数学方法适用于本目的。通过这个方法，对于运动矢量(dx，dy)的匹配误差可以如下地计算： $\mathrm{MSE}(i,j)=\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{\[U_1(m,n)-U_0(m+\mathrm{dx},n+\mathrm{dy})\]}^2$

这里，M和N是象素中的尺度，以及U_i(m，n)是图象i中在位置(m，n)处的象素强度。对于深度d的匹配误差的计算是以相同的方式进行的。

另一个适用的数学方法是计算绝对差值的和(SAD)。对于深度d的匹配误差由此可以如下地计算： $\mathrm{SAD}\left(d\right)=\underset{(x,y)\∈B}{\mathrm{\Σ}}|U_1(x+\mathrm{\Δx}\left(d\right),y+\mathrm{\Δy}\left(d\right))-U_0(x,y)|$

这里，(x，y)是块B的象素，Δx(d)是基于对于深度d的候选值的x的改变。

除了均方误差和绝对差值的和值以外，还可以使用其它的数学方法，诸如平均值绝对差，或平方误差的和值，用于计算对于深度或运动矢量的候选值的匹配误差。

由于实际原因，特别是，因为在视频信号处理期间只有很少的时间处理分开的图象，所以通常作出具有有限数目的候选值的一个组，正如以上所述的，这些候选值以后被使用于确定来自第二图象的一个区域，此后，来自第一图象的块和它相匹配。通常的实践是相邻的其它块的深度的数值或找到的运动矢量是通过随机值或对于这个块的深度或运动矢量的先前计算的数值被选择的，可能被加上的。在该组的单元的匹配误差已被计算后，最佳候选值被选择为具有最小匹配误差的候选值。

作出这个组、计算该组的单元的匹配误差、和选择最佳候选值的步骤可以以三个分开的步骤来执行，但也可以组合地执行。对于每个选择的候选值，匹配误差可被直接计算，此后，例如可把这个匹配误差与“行程最小值”进行比较。如果刚被计算的匹配误差原来是小于这个行程最小值，则当前的候选值被选择为临时的最佳候选值，以及它的匹配误差被选择为新的行程最小值。在该组中所有的候选值被选择以后，这样确定的临时最佳候选值选择变成为实际的最佳候选值。

上述的方法可被重复多次，达到最佳候选值的最好的可能的选择。在确定图象中的深度的情形下，一开始，深度被随机地选择。对于每次重复，相邻块的值被使用，这些数值可以不同于先前的重复的值。新找到的、具有最小匹配误差的值以后被使用于计算其它块的匹配误差。当值不再改变时，最后的值被确定，以及重复运行可以停止。通过每次重复，对于最佳候选值的当前的值和匹配误差是对于每个块被保存的。

图1显示第一图象10和第二图象11，两个图象都包含第一物体12和第二物体15的图形表示。物体12和15的点作为象素在第一图象10或第二图象11中是可看见的。从观看第一图象10或第二图象11的观看者看来，可看见的程度也受物体的深度影响。物体12中的点13在第一图象10和第二图象11中是可看见的。然而，物体12的点14只在第一图象10中是可看见的，因为当从第二图象11看来，物体15的点16与第二图象11中的这个点14相重合。

现在如果来自第一图象10的块要与来自第二图象11的区域进行匹配，则被假定为具有第一图象的块中的一个位置的点14，将不能折回到第二图象11的区域中。一个块包含相应于在图象上可看见的、该物体的点的象素。把来自第一图象10的块与来自第二图象11的区域进行匹配，是通过确定相应的象素处在第一图象10的块中与第二图象11的区域中的哪个地方，而被实施的。

如果在图1上，来自第一图象10的块的象素18被匹配，该象素对应于点14，则本发明在于，这个象素与相应于来自第二图象11的区域的点14相匹配。这个象素应当是象素20。然而，在第二图象11中，点16也是可看见的。相应于点16的象素是象素20。由于从第二图象11看来，点16比起点14具有较小的距离，所以象素20相应于点16，因此点14是看不见的。

当来自第一图象10的块与来自第二图象的区域相匹配时，来自第一图象10的块的象素18(该象素相应于点14)将与来自第二图象的区域的象素20(该象素相应于点16)相匹配。如果例如因为点14是暗的而点16是亮的，它们相差很大，则这将产生大的匹配误差。

在按照本发明的方法中，进行选择在来自第二图象11的、要被匹配的区域中可看见的、第一图象10的块的象素。然后，根据这个选择计算匹配误差。由于相应于点14的象素在来自第一图象10的块中是可看见的，但在来自第二图象11的、要被匹配的区域中是看不见的，所以这个象素不被选择，因此匹配误差是在这个点14被丢弃时被计算的。

为了能够这样做，如上给出的、匹配误差的计算通过引入函数v(x，y)而被适配，如果相应于象素(x，y)的点在第一图象10和在来自第二图象11的、要被匹配的区域中是可看见的，则v(x，y)产生数值1，否则产生数值0。借助于例如用于计算绝对值的和值(SAD)的数学方法计算匹配误差，可如下地进行： $\mathrm{SAD}\left(d\right)=\underset{(x,y)\∈B}{\mathrm{\Σ}}v(x,y)|U_1(x+\mathrm{\Δx}\left(d\right),y+\mathrm{\Δy}\left(d\right))-U_0(x,y)|$

其中v(x，y)是以上给出的函数。这个函数也被称为可见度变换表。对于其它数学方法，可比较的修正可以以简单的方式实现。

块B的匹配误差在该块B的所有的点(x，y)上被计算。对于每个点(x，y)，计算第一图象10和第二图象11中的差值。通过把这个差值乘以对于该点(x，y)的可见度变换表，匹配误差值在其中可见度变换表显示数值1的点(x，y)上被计算。

为了确定可见度变换表，对于来自第一图象10的块的象素，确定它们在来自第二图象11的、要被匹配的区域中具有哪些位置。首先确定每个象素相应于三维空间中的哪个点。在图1的例子中，对于象素17，确定它相应于点13，对于象素18，确定这相应于点14，以及对于象素19，确定这相应于点16。

例如，根据所确定的候选值，确定这些象素在第二图象11中的位置。为此，可以使用先前确定的、对于深度或运动矢量的候选值。改变最佳候选值的方法首先可以不用修正用于计算匹配误差的函数而被使用，这样，最佳候选值被确定。对于点14和点16，原来是它们在来自第二图象11的、要被匹配的区域中具有同一个位置，也就是象素20。

通过比较象素18和19，或相应于它们的点14和16，可以确定这些象素或点中的哪些象素或点在要被匹配的区域中是可看见的。这个比较优选地可根据深度来进行，因为通常最靠近的点将是可看见的，由于它覆盖更远的点。然而，一个远距离的象素11有可能比更靠近的象素亮得多，以使得远距离的象素无论如何是可看见的。位于附近的象素可能是透明的，这样，更远的象素可代替近距离的象素而是可看见的。在图1上，从第二图象看来，可以看到，点16比点14更靠近，所以选择点16。因此，这个选择是通过把对于象素19的可见度变换表的值设置为1和把对于象素18的可见度变换表的值设置为0而建立的。

对于深度或运动矢量的候选值也可被考虑为具有用于概率密度函数的某个函数的随机变量，而不是确定的值。在这种情形下，上述的方法稍微被改变。深度或运动的概率密度函数是通过实施上述的方法而被确定的，而不用修正用于计算匹配误差的函数。随后，确定每个象素多半相应于三维空间中的哪个点。例如，根据找到的候选值，对于这些点，确定它们在第二图象中具有哪个位置。然后，对于每个象素，计算该象素在第二图象11中是可看见的概率，例如，用深度作为准则。现在可根据这个概率作出选择。现在选择具有最高的、可看见的概率的象素。

这个选择可以在可见度变换表中被制定。第一个可能性是当这个象素具有最高的概率时，把象素的数值设置为1，否则设置为0。第二个可能性是把象素是可看见的概率包括在可见度变换表中。

当这个方法执行几次时，在第一迭代中还没有可提供用于确定来自第一图象10的看到象素相应于哪些点的信息。所以，在这个迭代中可见度变换表的值可以对于所有的象素，都被设置为1。

图2表示用于处理视频信号40的设备，该视频信号40包括一个图象簇。设备包括图象处理器41，它用来处理视频信号40，到处增强的视频信号。这个增强的视频信号然后被显示在显示屏幕42上。虽然图4上显示屏幕42被显示为包括图象处理器41的同一个设备的一部分，但显然，显示屏幕42也可以与该设备独立地安排，它可以通过网络接收来自设备的增强的视频信号。

图象处理器41可以根据关于在视频信号40中各个图象的运动或深度的信息来增强视频信号。例如，有可能图象处理器41处理视频信号40，以使得用户可以通过根据深度信息分开地旋转由块的图形确定的各个物体，因此产生来自另一个角度的正确的重现，而能够从另一个角度观看图象。这可以提供，例如，立体的重现。运动信息可被使用来检测和标记运动物体，例如，被使用于自动监视摄像机。这样得到的、带有比较的物体的视频信号为这些摄像机的用户提供增强的性能，因为他们选择能够更加快速地检测图象改变。

在另一个可能的应用项中，图象处理器41通过产生更有效地被压缩的视频信号，而增强以诸如MPEG的压缩格式被提供的视频信号40。通过一组块而确定的各个物体，该物体以视频信号40出现在多个图象中，现在可以通过存储关于目标的象素信息仅仅一次和存储对于这个物体出现在的其它图象的、这个物体的运动矢量或深度，而被压缩。由于这个信息比起完整的物体的象素信息需要更少的贮存容量，所以像这样的一个方法可提供显著地增强的压缩视频信号。

为了清晰起见，下面的说明是仅仅当确定第一块深度时关于系统的单元的功能，但从上面说明可以看到，第一块的运动可以以类似的方式被确定。

设备还包括收集器43，匹配器46和选择器47。收集器43用来作出一个候选值组45，用于确定来自第二图象的、要被匹配的区域。由收集器43作出的组45包括，特别是，与第一块相邻的块的、以前确定的深度。相邻的块的深度通常显示很小的相互差别。所以，与第一块相邻的块的深度形成用于确定第一块的深度的良好的开始点，所以，它们被用作为对于这个深度的候选值。为此，有一个贮存系统44，其中可存储这个深度和其它的以前确定的深度，这样，在作出候选值组45时，收集器43可以使用它们。

收集器43把候选值组45发送到匹配器46。匹配器46根据所述的候选值，对于来自该组的每个候选值确定来自第二图象的、要被匹配的区域。随后，匹配器46使得来自第一图象的块与这个区域相匹配，以及匹配器46计算相关的匹配区域，正如上面描述的。为此，可以实施以前提到的方法，诸如，均方误差，平均值绝对差，绝对差值的和值或平方误差的和值。

在本实施例中的匹配器46用来对从在来自第二图象的、要被匹配的区域中可看见的、来自第一图象的块的象素作出选择。显然，设备的另一个部分也可用来完成这个任务。

匹配器46可以通过对来自第一图象的块的象素确定它们在来自第二图象的、要被匹配的区域中具有哪些位置而作出这个选择。随后，匹配器46比较在来自第二图象的匹配区域中具有相同的位置的象素，或对应于这些象素的点。这样做以后，匹配器46可以确定这些象素或点中的哪些象素或点在要被匹配的区域中是可看见的。这个比较优选地可以根据深度来进行，因为最靠近的点几乎都是可看见的，由于它们覆盖更远的点。选择是通过把对于可看见的象素的可见度变换表的值设置为1和把对于不可看见的象素的可见度变换表的值设置为0而作出的。匹配器46根据可见度变换表计算匹配误差，正如参照图1描述的。

在来自组45的候选值的匹配误差被计算后，选择器47根据计算的匹配误差从组45中选择最佳候选值48。最佳候选值48是具有相对较低的匹配误差的候选值。选择器47然后把最佳候选值48发送到图象处理器41。对于来自一个图象的各个块重复这个程序过程，可提供对于这个图象的深度信息。根据这样提供的深度信息，图象处理器41可以处理视频信号40，得出增强的视频信号。这个增强的视频信号然后可被显示在显示屏幕42上。

Claims (8)

1.一种选择被使用来使得来自第一图象(10)的块与来自第二图象(11)的区域相匹配的最佳候选值的方法，方法包括：

(a)作出用于确定来自第二图象(11)的、要被匹配的区域的一组候选值，

(b)对于该组的每个候选值，根据所述候选值确定来自第二图象(11)的、要被匹配的区域，使得来自第一图象(10)的块与这个区域相匹配，和计算匹配误差，以及

(c)根据计算的匹配误差，从该组中选择最佳候选值，

其特征在于，块由象素组成，对在来自第二图象的、要被匹配的区域中可看见的、第一图象的块的象素进行选择，以及根据所述选择计算匹配误差。

2.如权利要求1的方法，其特征在于，选择是通过对于第一图象(10)的块的象素确定它们的位置处在来自第二图象(11)的、要被匹配的区域中的哪个地方，以及根据与在来自第二图象(11)的、要被匹配的区域中同一个位置处找到的、第一图象(10)的块的其它的象素的比较结果选择一个象素，而被作出的。

3.如权利要求2的方法，其特征在于，比较是根据深度来进行的。

4.一种用于选择被使用来使得来自第一图象的块与来自第二图象的区域相匹配的最佳候选值的系统，系统包括：

·收集器(43)，用来作出用于确定来自第二图象的、要被匹配的区域的一组(45)候选值(20，21，22，23)，

·匹配器(46)，用来对于该组的每个候选值，根据所述候选值确定来自第二图象的、要被匹配的区域，使得来自第一图象的块与这个区域相匹配，和计算匹配误差，以及

·选择器(47)，用来根据计算的匹配误差(24)，从该组(45)中选择最佳候选值，

其特征在于，块由象素组成，以及匹配器(46)用来进行选择在来自第二图象的、要被匹配的区域中可看见的、第一图象的块的象素，以及匹配器(46)用来根据所述选择计算匹配误差。

5.如权利要求4的系统，其特征在于，匹配器(46)用来通过对于第一图象(10)的块的象素确定它们的位置处在来自第二图象(11)的、要被匹配的区域中的哪个地方，以及根据与在来自第二图象的、要被匹配的区域中同一个位置处找到的、第一图象的块的其它的象素的比较结果选择一个象素，而作出选择。

6.如权利要求4中要求的方法，其特征在于，比较是根据深度来进行的。

7.一种用于处理包括一簇图象的视频信号(40)的设备，包括：

·如权利要求4，5或6中要求的系统(43，46，47)，用来选择要被使用于把来自第一图象(40)的块与来自第二图象(40)的区域进行匹配的最佳候选值(48)，系统用来从所述簇中选择对于来自图象的块的最佳候选值，以及

·图象处理器(41)，用于根据如由所述系统(43，46，47)确定的、得出的最佳候选值处理视频信号(40)，得出增强的视频信号。

8.如权利要求7的设备，其特征在于，设备还包括显示系统(42)，用于显示增强的视频信号。

Images