CN1159275A - 检测遮挡的方法和装置 - Google Patents

Abstract

本发明提供出一种用以检测一个视频帧中遮挡区的方法和装置。对一个先前的位移矢量场DVF进行运动补偿(402)，用来提供一个遮挡测试参数(404)，将它与一个最佳阈值阻比较(408)，以检测出遮挡区。根据该先前的DVF和一个预定阈值，计算出该最佳阈值(406)。

Description

检测遮挡的方法和装置

本发明涉及视频编码，具体涉及将遮挡(Occlusion)检测用于视频编码中。

很低比特率(VLBR)的编码视频信号需要最终利用在图像序列中存在的隐相关性，以实现8千比特/秒那样低的目标比特率。当今所有的编码解码器所包含的最明显的相关性之一是两个相继帧(也即物体从一帧到另一帧的适度运动)的亮度场(intensity field)的相关性。两种最通用的运动补偿方法是块匹配(BM)技术和空间-时间梯度技术。BM方法假定，在一个给定块中所有像素都以相同的方式运动，而空间-时间梯度运动估值算法根据位移矢量场(DVF)的初始估值可使每个像素上的位移帧差(DFD)最小化。两种运动估值(ME)算法之间的主要差别之一是空间-时间梯度算法提供出一个密的矢量场，也即每像素一个矢量，而BM算法提供一个粗的矢量场，也即每个像素块一个矢量。

任何型式的运动补偿的当前重大挑站之一是对于图像的遮挡区的信息的准确表示和补偿。遮挡区定义为：a)场景的背影部分被一个运动物体覆盖的区域；和b)场景的背影部分未被一个运动物体覆盖的区域。与遮挡区有关的两个问题是对这些区域中的信息的检测和高效传输。由于对这些区域中信息的不准确检测和低效率编码而使大部分的当前现有的编解码器在这些区域中失效。例如，由H.261、MPEG1和MPEG2规范的运动补偿离散余弦变换(DCT)编码方案采用了强力平滑的(bruteforce)方法，其中将遮挡区简单地编码为DFD部分。然而，由于这些区域的特性与通常的运动补偿失效(例如围绕运动边沿出现的失效)的特性相比，是完全不同的，故就比特率和重建图像质量两方面而言遮挡区是低效传输的。另一方面，基于物体的编码方案利用检测和编码遮挡区中的信息的方法作为从DFD编码过程中分离出的一个过程。然而，由于这种方案需要为这类区域额外开销位置的传输，故而遭受到信息的低效编码。这种开销有对于实现目标比特率是高昂的代价。

目前业已报告了在很低比特率编码的情况下用以检测和传输遮挡信息的几种方法。大部分的现有技术都采用了将场景分段成为四个区域(即静止背景、运动物体、已遮盖的背景和未遮盖的背景)的方法。按照这些方法，首先根据两个相继帧得到一个变化的检测掩模。然后执行运动估值，以得到被识别的每个物体的一个运动模型。根据该变化的检测掩模和运动模型，可从该运动物体中分离出未覆盖区域和覆盖区域。然而，这种方法有几个缺点：第一，已检测的遮挡区的位置信息或变化的检测掩模与运动矢量一起必须在信道上传送，以使解码器根据所建议的算法产生出遮挡信息。可是，该位置信息根据从这一帧到另一帧的运动量可能是很昂贵的。第二，因为所建议的算法只是简单地考虑反向运动来检测出未覆盖区，故该算法在子像素运动的情况下在检测未覆盖区域中将会失效。为了解决该问题，例如业已提出了逆向运动(也即从当前帧到前一帧)估值，可是，这种过程显然增加了计算上的费用。第三，未考虑相继帧之间运动的时间连续性。第四，这种技术往往在存在噪声时明显地失败。最后，这些方法利用亮度场，而不是DVF；可是，在运动估值和补偿中的低效率固有地造成遮挡区的事实，而使遮挡区的特性用DVF捕获要比用亮度场捕获更为有效，故而这最后的缺点是这些方法效能的限制因素。

据此，现在需要有一种用以根据DVF来准确地检测出遮挡区的方法和装置，以在很低的目标比特率时实现所希望的重建图像质量。

图1示出按照本发明的一种用以检测遮挡装置的优选实施例的方框图。

图2示出按照本发明的一种用以检测遮挡和编码有效区的装置的优选实施例的方框图。

图3示出按照本发明的一种用于检测遮挡和解码有效区的装置的优选实施例的方框图。

图4示出按照本发明的一种用以检测遮挡的方法的步骤优选实施例的流程图。

图5示出按照本发明的一种用以检测遮挡和编码有效区的方法的步骤优选实施例的流程图。

图6示出按照本发明的一种用以检测遮挡和解码有效区的方法的步骤优选实施例的流程图。

一个视频序列是由三维(3-D)场景在二维(2-D)图像平面上的时间取样投影组成的。捕获在这个场景内发生的三维运动，作为这些投影的位移。在当前的二维图像平面内，一个具体的像素的位移可以用一个矢量来表示，以指出在先前的图像平面内该具体像素的位置。这个矢量被称为“位移矢量”，用符号d_k(r)表示，其中下标k是指在时间瞬时k和k-1时所得到的相应的图像帧。矢量r和d_k(r)含有水平分量y和垂直分量x，展示在二维(2-D)亮度帧上、以左上角作为原点。使用如下表示来描述这些矢量及其分量：

r＝〔x，y〕^T

d_k(r)＝〔dx_k(r)，dy_k(r)〕^T

位移矢量场(DVF)描述出所有像素在一个给定的图像平面集之间的运动，因而代表投影在该图像平面上的物体的三维运动。

本发明提供一种有效地检测一个视频帧中的遮挡区的方法和装置。利用一个先前的DVF来提供出一个遮挡测试参数，再将它与一个最佳的阈值相比较，以检测出遮挡区。借助于利用先前的DVF，可使这种检测程序能在编码器和解码器两者中执行，因而消除了须将运动矢量传送给解码器的要求。

图1以标号100示出按照本发明的一种用以检测遮挡的装置的优选实施例的方框图。该装置含有一个运动补偿单元102、一个遮挡测试参数发生器104、一个最佳阈值发生器106和一个遮挡比较单元108。

运动补偿单元102接收先前的位移矢量场DVF110，以便提供出一个预测的DVF112。该预测的DVF1123是由经本身补偿的先前的DVF110运动，具有如下形式： ${\hat{d}}_k\left(r\right)=d_{k-1}(r-d_{k-1}\left(r\right))$ 或 ${\widehat{\mathrm{dx}}}_k\left(r\right)={\mathrm{dx}}_{k-1}(x-{\mathrm{dx}}_{k-1}(x,y),y-{\mathrm{dy}}_{k-1}(x,y))$ ${\widehat{\mathrm{dy}}}_k\left(r\right)={\mathrm{dy}}_{k-1}(x-{\mathrm{dx}}_{k-1}(x,y),y-{\mathrm{dy}}_{k-1}(x,y))$

式中，d_k-1(r)为先前的DVF110，d_k(r)为预测的DVF112。

遮挡测试参数发生器104接收先前的DVF110和预测的DVF112，以便根据先前的DVF110与预测的DVF112之差来计算遮挡测试参数114。遮挡测试参数114为先前的DVF与预测的DVF之差的绝对值，每个分量由下面的公式给出： $\mathrm{\Δx}\left(r\right)=|{\widehat{\mathrm{dx}}}_k\left(r\right)-{\mathrm{dx}}_{k-1}\left(r\right)|$ $\mathrm{\Δy}\left(r\right)=|{\widehat{\mathrm{dy}}}_k\left(r\right)-{\mathrm{dy}}_{k-1}\left(r\right)|$

最佳阈值发生器106接收先前的DVF110和预定阈值116，以便计算出最佳阈值118。该预定阈值116等于一个视频帧内的一个点是静止的概率与它属于运动物体的概率之比。最佳阈值τ_I118对于每个分量i来说由下式给出： ${\mathrm{\τ}}_i=\left[\frac{{\mathrm{\σ}}_{d_i}^2{\mathrm{\σ}}_{g_i}^2}{{\mathrm{\σ}}_{g_i}^2-{\mathrm{\σ}}_{d_i}^2}\ln \right\{\frac{{\mathrm{\σ}}_{g_i}^2}{{\mathrm{\σ}}_{\mathrm{di}}^2}{T}_i\left\}\right]$

i＝{x，y}

式中，T_i为预定阈值116，σ² _di为每个局部方差(variance)，σ² _gi为每个分量的总体方差。

对于每个分量，应用下式来计算局部方差： ${\mathrm{\σ}}_{d_i}^2\left(r\right)=\frac{1}{(2A+1)(2B+1)}\underset{m=-A}{\overset{A}{\mathrm{\Σ}}}\underset{n=-B}{\overset{B}{\mathrm{\Σ}}}(d_{k-1}(i-m,j-n)-m_d(i-m,j-n){)}^2$ 式中，A和B定义出一个像素的预定局部邻域。局部邻域在像素(i，j)上从B像素的左面伸展到B像素的右面，并从A像素的下面伸展到A像素的上面。

对于每个分量，局部平均值m_di由下式给出： $m_{d_i}\left(r\right)=\frac{1}{(2A+1)(2B+1)}\underset{m=-A}{\overset{A}{\mathrm{\Σ}}}\underset{n=-B}{\overset{B}{\mathrm{\Σ}}}{d}_{k-1}(i-m,j-n).$ 式中，m和n为整数。

总体方差应用下面的公式来计算： ${\mathrm{\σ}}_{g_i}^2\left(r\right)=\frac{1}{M\×N}\underset{m=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}(d_{k-1}(i-m,j-n)-m_g(i-m,j-n)),$ 式中，M和N规定出整个预定高度帧的边界。

对于每个分量，总体平均值m_gi由下式给出： $m_{g_i}\left(r\right)=\frac{1}{M\×N}\underset{m=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}{d}_{k-1}(i-m,j-n).$

遮挡比较单元108接收遮挡测试参数114和最佳阈值118，以确定出遮挡120的存在。当遮挡测试参数114大于最佳阈值118时，便检测到了遮挡。

图2以标号200示出按照本发明的一种用以检测遮挡的装置的优选实施例的方框图，它耦合到遮挡DVF编码器。该装置含有一个运动补偿单元202、一个遮挡测试参数发生器204、一个最佳阈值发生器206、一个遮挡比较单元208和一个遮挡DVF编码器210。运动补偿单元202、遮挡测试参数发生器204、最佳阈值发生器206和遮挡比较单元208按照上述方式工作。检测到的遮挡区220连同现用的DVF224一起提供给遮挡DVF编码器210。运动矢量含在现用的DVF224中，与遮挡区220相对应，是利用熵编码进行编码的，并且经由该信道传送给相应的解码器单元310。

图3以标号300示出按照本发明的一种用以检测遮挡的装置的优选实施例的方框图，该装置耦合到遮挡DVF编码器，该装置含有一个运动补偿单元302、一个遮挡测试参数发生器304、一个最佳阈值发生器306、一个遮挡比较单元308和一个遮挡DVF解码器310。运动补偿单元302、遮挡测试参数发生器304、最佳阈值发生器306和遮挡比较单元308的按上述方式工作。检测到的遮挡区320连同编码的DVF324一起提供给遮挡DVF解码器310。运动矢量含在编码的DVF324中，被解码后放入相应的遮挡的区320中。

图4以标号400示出按照本发明的一种用以检测遮挡的方法的优选实施例步骤的流程图。第一步402是对先前一个位移矢量场DVF进行运动补偿，以提供出一个预测的DVF。下一步404是根据先前的DVF与预测的DVF之差，计算一个遮挡测试参数。该遮挡测试参数是先前的DVF与预测的DVF之差的绝对值。在步骤408之前的任何时刻，在步骤406根据先前的DVF与一个预定阈值，计算出一个最佳阈值。该最佳阈值包含计算先前的DVF的局部方差和先前的DVF的总体方差。然后，在最后一步408中，将遮挡测试参数与最佳阈值相比较，以确定遮挡存在。

图5以标号500示出按照本发明的一种用以检测遮挡的方法的优选实施例步骤的流程图。第一步骤402是对先前一个位移矢量场DVF进行运动补偿，以提供出一个预测的DVF。步骤404是根据先前的DVF与预测的DVF之差，计算一个遮挡测试参数。该遮挡测试参数是先前的DVF与预测的DVF之差的绝对值。步骤406是在随后一步之前的任何时刻，根据先前的DVF与一个预定阈值，计算出一个最佳阈值。该最佳阈值包括计算先前的DVF的局部方差和先前的DVF的总体方差。然后在步骤408，将遮挡测试参数与最佳阈值相比较，以确定遮挡存在。最后一步502是对确定是被遮挡的区之内包含的当前的DVF中的运动矢量进行编码，并传送给解码器。

图6以标号600示出按照本发明的一种用以检测遮挡的方法的优选实施例步骤的流程图。第一步骤402是对先前一个位移矢量场DVF进行运动补偿，以提供出一个预测的DVF。下一步骤404是根据先前的DVF与预测的DVF之差，计算一个遮挡测试参数。该遮挡测试参数是先前的DVF与预测的DVF之差的绝对值。步骤406是在随后一步骤之前的任何时刻，根据先前的DVF与一个预定阈值，计算出一个最佳阈值。该最佳阈值包括计算先前的DVF的局部方差和先前的DVF的总体方差。然后，在步骤408，将遮挡测试参数与最佳阈值相比较，以确定遮挡存在。最后一步骤602是将由编码器来的运动矢量进行解码，并放入确定是遮挡的区中。

虽然上文描述了一些示例性的实施例，但本领域的技术人员显然可以作出许多变更和修改而不偏离开本发明。为此，意旨是将所有这样的变更和修改都包括在后附的权利要求书所限定的本发明的精神实质和范畴之内。

Claims (10)

1.一种检测遮挡的方法，其特征在于，包括：

应用一个运动补偿器对一个先前的位移矢量场(先前的DVF)进行运动补偿，以提供出一个预测的DVF；

应用一个遮挡测试参数发生器，根据该先前的DVF与预测的DVF之差，计算出一个遮挡测试参数；

应用一个最佳阈值发生器，根据先前的DVF和一个预定阈值，计算出一个最佳阈值；

应用一个遮挡比较单元，将遮挡测试参数与最佳阈值相比较，以确定遮挡存在。

2.根据权利要求1所述的方法，其特征在于，至少2A-2H之一：

(2A)遮挡测试参数为先前的DVF与预测的DVF之差的绝对值；

(2B)计算最佳阈值包括计算先前的DVF的局部方差和先前的DVF的总体方差；

(2C)将遮挡测试参数与最佳阈值相比较；

(2D)进一步包含根据遮挡存在而对当前的位移矢量场DVF进行编码；

(2E)进一步包含根据遮挡的存在而对编码的位移矢量场DVF进行解码；

(2F)该方法的步骤具体实现在一个数字信号处理器(DSP)的实体媒介中；

(2G)该方法的步骤具体实现在一个专用集成电路(ASIC)中；

(2H)该方法的步骤具体实现在一个门阵列中。

3.根据权利要求1所述的方法，其特征在于，该方法的步骤具体实现在一个计算机的实体媒介中。

4.根据权利要求3所述的方法，其特征在于，实体媒介为计算机软盘。

5.根据权利要求3所述的方法，其特征在于，实体媒介是计算机的存储器单元。

6.一种用以检测遮挡的装置，其特征在于，含有：

一个运动补偿单元，可操作地耦连来接收一个先前的位移矢量场(先前的DVF)，以便提供出一个预测的DVF；

一个遮挡测试参数发生器，可操作地被耦连来接收先前的DVF，和可操作地耦合到运动补偿单元，用以根据先前的DVF与预测的DVF之差，计算出一个遮挡测试参数；

一个最佳阈值发生器，可操作地被耦连来接收先前的DVF和一个预定阈值，用以计算出一个最佳阈值；

一个遮挡比较单元，可操作地被耦连到遮挡测试参数发生器和最佳阈值发生器，用来将遮挡测试参数与最佳阈值相比较，以确定遮挡存在。

7.根据权利要求6所述的装置，其特征在于，至少7A-7G之一：

(7A)遮挡测试参数为先前的DVF与预测的DVF之差的绝对值；

(7B)最佳阈值发生器包括一个局部方差计算器和一个总体方差计算器；

(7C)还包含一个遮挡的DVF编码单元，耦连到遮挡比较单元，用以根据遮挡存在对当前的位移矢量场DVF进行编码；

(7D)还包含一个遮挡的DVF编码单元，耦连到遮挡比较单元，用以根据遮挡存在对编码的位移矢量场DVF进行解码；

(7E)该装置具体实现在一个数字信号处理器(DSP)的实体媒介中；

(7F)该装置具体实现在一个专用集成电路(ASIC)中；

(7G)该装置具体实现在一个门阵列中。

8.根据权利要求6所述的装置，其特征在于，该装置具体实现在一个计算机的实体媒介中。

9.根据权利8所述的装置，其特征在于，实体媒介为计算机软盘。

10.根据权利要求8所述的装置，其特征在于，实体媒介是计算机的存储器单元。

Images