CN100353768C - 在视频压缩系统中进行运动估测的方法及相关装置 - Google Patents

Abstract

本发明揭露了一种使用于一视频压缩系统中进行运动估测的方法及相关装置，可使用不同于已知技术的成本函数(cost function)计算出一目前编码区块的一最适运动向量。本发明所使用的成本函数不仅考量到传统的「绝对差异总和」，亦考量到量化步长、该目前编码区块相对于一目标画面中一搜寻区域内的区块间，像素差异值的变化状况，故使用本发明的成本函数可以使找出的最适运动向量所对应到的残余值经过处理后可以有较好的压缩效率。

Description

在视频压缩系统中进行运动估测的方法及相关装置

技术领域

本发明涉及一种用于一视频压缩系统中进行运动估测的方法及相关装置，特别涉及一种使用不同于已知技术的成本函数进行运动估测的方法及相关装置。

技术背景

近几年来，多媒体技术蓬勃的发展，而随着多媒体技术的发展，有越来越多种的视频压缩标准陆续被提出。举例来说，各种版本的MPEG技术即是用来以数字形式储存以及传输视频数据的压缩标准。至于其它的视频压缩标准则还有ITU H.261、H.263以及ISO 10918等等。

MPEG所提出的国际视频标准定义了一种用来压缩数字视频的规格。动态的视频是由一连串的画面(picture)所组成，而每一个画面可以看成是由许多像素(pixel)所组成的二维数组，每一个画面亦可以称为动态视频中一个单一的帧(frame)。而在MPEG所提出的国际视频标准中，是定义了四种不同种类的画面，分别是：I画面，不参考其它的画面而编码得出；P画面，参考之前的I画面或P画面，经由运动估测(motion estimation)而编码得出；B画面，参考之前以及之后的I画面或P画面，经由运动估测而编码得出；以及D画面，使用于快速前搜模式(fast forward search mode)之中。

而使用上述各种国际视频标准的视频压缩系统通常都会使用到以区块(block)或是宏区块(macroblock)为基础的运动估测技术，以消除掉时间上的重复性(temporal redundancy)。在进行运动估测时，对于一目前画面(current picture)中的一目前编码区块，视频压缩系统会从一目标画面(target picture)中找出与该目前编码区块最相似的一个最吻合区块(bestmatching block)。此时对于目前编码区块，视频压缩系统只需储存(或传送)计算出的运动向量(motion vector)以及残余值(residual)，即可代表该目前编码区块中所包含的信息(残余值是用来表示目前编码区块与最吻合区块间像素值的差异状况)。

而在已知技术中，当视频压缩系统欲从一搜寻区域(search range)内找寻一个最吻合区块时，通常会使用一种称为「绝对差异总和」(sum ofabsolute difference)的成本函数(cost function)，如以下所示：

$\mathrm{SAD}(x,y)=\underset{i=i0}{\overset{i1}{\mathrm{\Σ}}}\underset{j=j0}{\overset{j1}{\mathrm{\Σ}}}|C_{i,j}-P_{i+x,j+y}|$

其中，(x，y)为搜寻区域内的一个候选运动向量，(i1-i0)×(j1-j0)为目前编码区块的大小，C_i，j为目前编码区块内的一像素，P_i+x，j+y则为目标画面中搜寻区域内的一像素。

已知技术的视频压缩系统会从搜寻区域中，找出一个可以使得上述成本函数达到最小值的一个候选运动向量(x，y)，作为目前编码区块的最适运动向量(x1，y1)。这样的作法主要是为了要找出一个具有最小残余值的最吻合区块，如此一来即可使得对于残余值达到较好的压缩程度。但是用上述方法找出的最适运动向量(x1，y1)却不见得可以达到较好的压缩程度，因此美国第5,847,776号的专利案件提出了另一种成本函数，在寻找最适运动向量的过程中，除了考虑上述的绝对差异总和之外，亦将运动向量的大小列入考虑，如此一来即可在找出的最适运动向量以及相对应的残余值间取得平衡。

然而，有很多种视频压缩系统在对残余值进行压缩时，都会使用离散余弦转换(discrete cosine transform，DCT)的算法，将位于空间领域(spatialdomain)的残余值转换至频率领域(frequency domain)。然后使用相对应的量化矩阵(quantization matrix)以及可随系统选定的位率(bit rate)改变的量化步长(quantization step)Qp，对位于频率领域的残余值进行量化程序。因为量化后的矩阵是二维矩阵，所以系统还会使用锯尺扫瞄(zig-zagscan)或是交错扫瞄(alternate scan)的方式将量化后的二维数据扫描成一维的数据，最后再进行可变长度编码(Variable length coding)的运算。

在进行可变长度编码的运算时，若位于频率领域的残余值的频率分布范围越小，最后编码出来的残余值的编码长度(code length)通常就会越短(这也就代表了对于残余值达到了较好的压缩程度)。但是使用已知技术或是美国第5,847,776号的专利案件所提出的方法，所找出的最吻合区块不见的有办法使得位于频率领域的残余值具有小的频率分布范围。此时即使找出的最吻合区块可以使得空间领域上的残余值具有最小的绝对差异总和，但是经过离散余弦转换、量化程序、锯尺扫瞄(或是其它的扫瞄方式)、以及可变长度编码等等的运算之后，所得到的残余值却不见得会有最短的编码长度，故不见得可以达到最好的压缩效果。这是已知技术所面临的一个主要问题。

发明内容

因此本发明的主要目的在于提供一种使用不同于已知技术的成本函数(cost function)的方法及相关装置，以解决上述已知技术所面临的问题。

根据本发明的一申请专利范围，是揭露一种用于一视频压缩系统中进行运动估测的方法，该视频压缩系统将一目前画面分成多个区块，该方法包含有以下步骤：

对于该目前画面中的一目前编码区块，逐步检视一搜寻区域内的多个候选运动向量(x，y)，其中该目前编码区块包含有(i1-i0)×(j1-j0)个像素；

对于每一个候选运动向量(x，y)，计算以下的成本函数

$\mathrm{CF}(x,y)=\underset{i=i0}{\overset{i1}{\mathrm{\Σ}}}\underset{j=j0}{\overset{j1}{\mathrm{\Σ}}}\left\{\right|C_{i,j}-P_{i+x,j+y}|+h(\mathrm{Qp},C_{i,j},P_{i+x,j+y})\}$

其中，C_i，j为该目前编码区块内的一像素，P_i+x，j+y为一目标画面中该搜寻区域内的一像素，Qp则为一量化步长；以及

将该搜寻区域内可使该成本函数得出最小值的候选运动向量(x，y)设为该目前编码区块的最适运动向量(x1，y1)，和

其中，函数h(Qp，C_i，j，P_i+x，j+y)表示为K×f(Qp)×g(|C_i，j-P_i+x，j+y|)，而K为一常数、函数f(Qp)为一单调增加函数，函数g(|C_i，j-P_i+x，j+y|)用于计算出目前编码区块相对于候选运动向量(x，y)所对应到区块的像素差异值的变化情况。

根据本发明的又一申请专利范围，是揭露一种用于一视频压缩系统中进行运动估测的装置，该视频压缩系统将一目前画面分成多个区块，对于该目前画面中的一目前编码区块，该装置自一搜寻区域内多个候选运动向量(x，y)中决定出一最适运动向量(x1，y1)，其中该目前编码区块中包含有(i1-i0)×(j1-j0)个像素，该装置包含有：

一绝对差异计算单元，用来计算出|C_i，j-P_i+x，j+y|的值，其中C_i，j为该目前编码区块中的一像素，P_i+x，j+y为一目标画面中该搜寻区域内的一像素；

一空间变化计算模块，用来计算出一函数h(Qp，C_i，j，P_i+x，j+y)的值，其中Qp为一量化步长；以及

一运动向量决定模块，耦合于该绝对差异计算单元与该空间变化计算模块，用来计算以下的成本函数

$\mathrm{CF}(x,y)=\underset{i=i0}{\overset{i1}{\mathrm{\Σ}}}\underset{j=j0}{\overset{j1}{\mathrm{\Σ}}}\left\{\right|C_{i,j}-P_{i+x,j+y}|+h(\mathrm{Qp},C_{i,j},P_{i+x,j+y})\}$

并将该搜寻区域内的可使该成本函数得出最小值的候选运动向量(x，y)设定为该目前编码区块的最适运动向量(x1，y1)，和

其中，函数h(Qp，C_i，j，P_i+x，j+y)表示为K×f(Qp)×g(|C_i，j-P_i+x，j+y|)，而K为一常数、函数f(Qp)为一单调增加函数，函数g(|C_i，j-P_i+x，j+y|)用于计算出目前编码区块相对于候选运动向量(x，y)所对应到区块的像素差异值的变化情况。

本发明的一个优点在于，由于所使用的成本函数会受到该目前编码区块相对于一候选运动向量(x，y)所对应到的区块的像素值差异的变化状况所影响，故使用本发明所提出的方法及相关装置可以确保计算出的最适运动向量相对应的残余值经过处理之后可以有较好的压缩效率。

附图说明

图1为本发明所提出的方法的实施例流程图。

图2为本发明所提出的装置的实施例功能方块图。

附图符号说明

200    装置

220    绝对差异计算单元

240    空间变化计算模块

242    第一计算单元

244    第二计算单元

246    乘法器

260    运动向量决定模块

262    加法器

264    累加器

270    决定单元

272    比较器

274    储存器

具体实施方式

请参阅图1，图1为本发明所提出的方法的实施例流程图。本发明所提出的方法可用于一视频压缩系统中，以进行运动估测，该视频压缩系统将一目前画面分成多个区块。以下将详述图一中的各步骤：

步骤110：对于该目前画面中的一目前编码区块，逐步检视一搜寻区域内的多个候选运动向量(x，y)，其中该目前编码区块包含有(i1-i0)×(j1-j0)个像素。

步骤120：对于每一个候选运动向量(x，y)，计算以下的成本函数

$\mathrm{CF}(x,y)=\underset{i=i0}{\overset{i1}{\mathrm{\Σ}}}\underset{j=j0}{\overset{j1}{\mathrm{\Σ}}}\left\{\right|C_{i,j}-P_{i+x,j+y}|+h(\mathrm{Qp},C_{i,j},P_{i+x,j+y})\}$

其中，C_i，j为该目前编码区块内的一像素，P_i+x，j+y为一目标画面中该搜寻区域内的一像素，Qp则为一量化步长(quantization step)。

步骤130：将该搜寻区域内可使该成本函数得出最小值的候选运动向量(x，y)设为该目前编码区块的最适运动向量(x1，y1)。

本发明的方法与已知技术所使用的方法有一个最大的不同点，就是本发明方法所使用的成本函数不仅考虑到了绝对差异总和(即|C_i，j-P_i+x，j+y|项)，亦考虑到了相关于量化步长Qp以及绝对差异总和分布情形的项次(即h(Qp，C_i，j，P_i+x，j+y)项)。

举例来说，函数h(Qp，C_i，j-P_i+x，j+y)可以表示为K×f(Qp)×g(|C_i，j-P_i+x，j+y|)，而K为一常数，函数f(Qp)则为一单调增加函数(monotonic increasingfunction)，即当Qp的值越大时，函数f(Qp)的值也就会越大，此时h(Qp，C_i，j-P_i+x，j+y)对于成本函数值的影响就会越重要。至于函数g(|C_i，j-P_i+x，j+y|)，则是用来大致计算出目前编码区块相对于此时的候选运动向量(x，y)所对应到的区块的像素差异值的变化状况(即反映了位于频率领域的残余值的分布范围)，当 $\underset{i=i0}{\overset{i1}{\mathrm{\Σ}}}\underset{j=j0}{\overset{j1}{\mathrm{\Σ}}}g\left(\right|C_{i,j}-P_{i+x,j+y}\left|\right)$ 的值越小，通常就代表了使用此一候选运动向量(x，y)会造成计算出的残余值经由散余弦转换、量化程序、锯尺扫瞄(或是其它的扫瞄方式)、以及可变长度编码等等的运算之后可以达到较好的压缩效率。

以下则举出函数g(|C_i，j-P_i+x，j+y|)的一个例子：

$g\left(\right|C_{i,j}-P_{i+x,j+y}\left|\right)=\left\{\begin{array}{ccc}|C_{i,j}-P_{i+x,j+y}|-\mathrm{ad}\_\max ,& \mathrm{if}|C_{i,j}-P_{i+x,j+y}|>\mathrm{ad}\_\max ,(i,j)\&NotEqual;\left(\mathrm{0,0}\right)& \\ \mathrm{ad}\_\min -|C_{i,j}-P_{i+x,j+y}|,& \mathrm{if}|C_{i,j}-P_{i+x,j+y}|<\mathrm{ad}\_\min ,(i,j)\&NotEqual;\left(\mathrm{0,0}\right)& \\ 0,& \mathrm{else}& \end{array}\right.$

至于ad_max与ad_min则如以下式子所示：

$\mathrm{ad}\_\max =\left\{\begin{array}{cc}|C_{\mathrm{0,0}}-P_{x,y}|,& \mathrm{if}(i,j)=\left(\mathrm{0,0}\right)\\ \max \left[\right|C_{i,j}-P_{i+x,j+y}|,\mathrm{ad}\_\max ],& \mathrm{if}(i,j)\&NotEqual;\left(\mathrm{0,0}\right)\end{array}\right.$

$\mathrm{ad}\_\min =\left\{\begin{array}{cc}|C_{\mathrm{0,0}}-P_{x,y}|,& \mathrm{if}(i,j)=\left(\mathrm{0,0}\right)\\ \min \left[\right|C_{i,j}-P_{i+x,j+y}|,\mathrm{ad}\_\min ],& \mathrm{if}(i,j)\&NotEqual;\left(\mathrm{0,0}\right)\end{array}\right.$

在上述的例子中，每当一组(i，j)值所对应到函数g(|C_i，j-P_i+x，j+y|)的值被计算出来之后，ad_max与ad_min的值即可进行更新，以在计算后续的(i，j)的组合所对应到函数g(|C_i，j-P_i+x，j+y|)的值时使用。

以大小为2×3的区块为例，此时(i1-i0)＝2、(j1-j0)＝3，若在该搜寻区域内只有两个候选运动向量，分别对应到一第一区块合一第二区块；该目前编码区块相对于第一区块像素差异的绝对值为{8，9，6，8，7，6}，该目前编码区块相对于第二区块像素差异的绝对值为{5，10，4，22，0，0}。使用已知技术以绝对差异总和做为成本函数的计算方法，对第一区块及第二区块算出的成本函数值分别会是：

第一区块：8+9+6+8+7+6＝44

第二区块：5+10+4+22＝41

故此时已知技术会以第二区块作为该目前编码区块的最吻合区块。

然而若使用上述实施例的计算方法，假设K＝1、f(Qp)＝1，则对第一区块及第二区块算出的成本函数值则分别会是：

第一区块：[8+0]+[9+(9-8)]+[6+(8-6)]+[8+0]+[7+0]+[6+0]＝47

第二区块：

[5+0]+[10+(10-5)]+[4+(5-4)]+[22+(22-10)]+[0+(4-0)]+[0+0]＝63

很明显的，使用上述实施例所提出的计算方式，第一区块会被选择为该目前编码区块的最吻合区块，这点与已知技术具有明显的不同。

而若使用上述实施例所提出的函数g(|C_i，j-P_i+x，j+y|)，则本发明所提出的成本函数可以化简为：

$\mathrm{CF}(x,y)=\underset{i=i0}{\overset{i1}{\mathrm{\&Sigma;}}}\underset{j=j0}{\overset{j1}{\mathrm{\&Sigma;}}}|C_{i,j}-P_{i+x,j+y}|+K\&CenterDot;f\left(\mathrm{Qp}\right)\&CenterDot;(\mathrm{ad}\_\max -\mathrm{ad}\_\min )$

其中ad_max与ad_min分别为从(i，j)＝(i0，j0)到(i，j)＝(i1，j1)之间|C_i，j-P_i+x，j+y|的最大值以及最小值。

也就是说，使用本发明的方法，若是该目标画面中一候选运动向量(x，y)所对应到的区块相对于该目前编码区块的像素差异值的分布范围越大(在上述的例子中即为最大值与最小值间的差异越大)，则计算成本函数所得到的值也就会越大，而这样的区块就较不容易被选择作为该目前编码区块的最吻合区块。

请参阅图2，图2为本发明用于一视频压缩系统中进行运动估测的装置200的示意图。该视频压缩系统将一目前画面分成多个区块，对于该目前画面中的一目前编码区块，装置200可自一搜寻区域内多个候选运动向量(x，y)中决定出一最适运动向量(x1，y1)，其中该目前编码区块中包含有(i1-i0)×(j1-j0)个像素。在图2中，装置200包含有：一绝对差异计算单元220，用来计算出|C_i，j-P_i+x，j+y|的值，其中C_i，j为该目前编码区块中的一像素，P_i+x，j+y为一目标画面中该搜寻区域内的一像素；一空间变化计算模块240，用来计算出一函数h(Qp，C_i，j，P_i+x，j+y)的值，其中Qp为一量化步长；以及一运动向量决定模块260，耦合于绝对差异计算单元220与空间变化计算模块240，用来计算以下的成本函数

$\mathrm{CF}(x,y)=\underset{i=i0}{\overset{i1}{\mathrm{\&Sigma;}}}\underset{j=j0}{\overset{j1}{\mathrm{\&Sigma;}}}\left\{\right|C_{i,j}-P_{i+x,j+y}|+h(\mathrm{Qp},C_{i,j},P_{i+x,j+y})\}$

并将该搜寻区域内的可使该成本函数得出最小值的候选运动向量(x，y)设定为该目前编码区块的最适运动向量(x1，y1)。

举例来说，如同之前所述，函数h(Qp，C_i，j，P_i+x，j+y)可以表示为K×f(Qp)×g(|C_i，j-P_i+x，j+y|)，故于装置200中，空间变化计算模块240中包含有一第一计算单元242，用来计算出函数g(|C_i，j-P_i+x，j+y|)的值；一第二计算单元244，用来计算出函数f(Qp)的值；以及一乘法器246，耦合于第一计算单元242与第二计算单元244，用来计算出K×f(Qp)×g(|C_i，j-P_i+x，j+y|)的值。

至于运动向量决定模块260则包含有：一加法器262，耦合于绝对差异计算单元220与空间变化计算模块240，用来计算出|C_i，j-P_i+x，j+y|+h(Qp，C_i，j，P_i+x，j+y)的值；一累加器264，耦合于加法器262，用来出计算该成本函数的值；以及一决定单元270，耦合于累加器246，用来将该搜寻区域内可使该成本函数得出最小值的候选运动向量(x，y)设定为该目前编码区块的最适运动向量(x1，y1)。

而为了使决定单元270具有储存成本函数最小值的功能以及比较不同候选运动向量所计算出成本函数值的大小的功能，在图2中，决定单元270则包含有一比较器272，耦合于累加器264，用来输出最适运动向量(x1，y1)；以及一储存器274，耦合于272比较器，用来储存该成本函数出现过的最小值。

使用本发明所提出的方法及相关装置，可以依据不同于已知技术的成本函数计算出一目前编码区决于一搜寻区域内的最适运动向量。由于本发明所使用的成本函数会受到该目前编码区块相对于一候选运动向量(x，y)所对应到的区块的像素值差异的变化状况所影响，故使用本发明所提出的方法及相关装置可以确保计算出的最适运动向量相对应的残余值经过处理(即上述的散余弦转换、量化程序、锯尺扫瞄、可变长度编码等等的运算)之后可以有较好的压缩效率。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明专利的涵盖范围。

Claims (7)

1.一种用于一视频压缩系统中进行运动估测的方法，该视频压缩系统将一目前画面分成多个区块，该方法包含有以下步骤：

对于该目前画面中的一目前编码区块，逐步检视一搜寻区域内的多个候选运动向量(x，y)，其中该目前编码区块包含有(i1-i0)×(j1-j0)个像素；

对于每一个候选运动向量(x，y)，计算以下的成本函数

$\mathrm{CF}(x,y)=\underset{i=i0}{\overset{i1}{\mathrm{\&Sigma;}}}\underset{j=j0}{\overset{j1}{\mathrm{\&Sigma;}}}\left\{\right|C_{i,j}-P_{i+x,j+y}|+h(\mathrm{Qp},C_{i,j},P_{i+x,j+y})\}$

其中，C_i，j为该目前编码区块内的一像素，P_i+x，j+y为一目标画面中该搜寻区域内的一像素，Qp则为一量化步长；以及

将该搜寻区域内可使该成本函数得出最小值的候选运动向量(x，y)设为该目前编码区块的最适运动向量(x1，y1)，和

其中，函数h(Qp，C_i，j，P_i+x，j+y)表示为K×f(Qp)×g(|C_i，j-P_i+x，j+y|)，而K为一常数、函数f(Qp)为一单调增加函数，函数g(|C_i，j-P_i+x，j+y|)用于计算出目前编码区块相对于候选运动向量(x，y)所对应到区块的像素差异值的变化情况。

2.如权利要求1所述的方法，其中，若其它条件不变，则当Qp的值越大时，函数h(Qp，C_i，j，P_i+x，j+y)的值即会越大。

3.一种用于一视频压缩系统中进行运动估测的装置，该视频压缩系统将一目前画面分成多个区块，对于该目前画面中的一目前编码区块，该装置自一搜寻区域内多个候选运动向量(x，y)中决定出一最适运动向量(x1，y1)，其中该目前编码区块中包含有(i1-i0)×(j1-j0)个像素，该装置包含有：

一绝对差异计算单元，用来计算出|C_i，j-P_i+x，j+y|的值，其中C_i，j为该目前编码区块中的一像素，P_i+x，j+y为一目标画面中该搜寻区域内的一像素；

一空间变化计算模块，用来计算出一函数h(Qp，C_i，j，P_i+x，j+y)的值，其中Qp为一量化步长；以及

一运动向量决定模块，耦合于该绝对差异计算单元与该空间变化计算模块，用来计算以下的成本函数

$\mathrm{CF}(x,y)=\underset{i=i0}{\overset{i1}{\mathrm{\&Sigma;}}}\underset{j=j0}{\overset{j1}{\mathrm{\&Sigma;}}}\left\{\right|C_{i,j}-P_{i+x,j+y}|+h(\mathrm{Qp},C_{i,j},P_{i+x,j+y})\}$

并将该搜寻区域内的可使该成本函数得出最小值的候选运动向量(x，y)设定为该目前编码区块的最适运动向量(x1，y1)，和

其中，函数h(Qp，C_i，j，P_i+x，j+y)表示为K×f(Qp)×g(|C_i，j-P_i+x，j+y|)，而K为一常数、函数f(Qp)为一单调增加函数，函数g(|C_i，j-P_i+x，j+y|)用于计算出目前编码区块相对于候选运动向量(x，y)所对应到区块的像素差异值的变化情况。

4.如权利要求3所述的装置，其中，该空间变化计算模块包含有：

一第一计算单元，用来计算出函数g(|C_i，j-P_i+x，j+y|)的值；

一第二计算单元，用来计算出函数f(Qp)的值；以及

一乘法器，耦合于该第一计算单元与该第二计算单元，用来计算出K×f(Qp)×g(|C_i，j-P_i+x，j+y|)的值。

5.如权利要求3所述的装置，其中，该运动向量决定模块包含有：

一加法器，耦合于该绝对差异计算单元与该空间变化计算模块，用来计算出|C_i，j-P_i+x，j+y|+h(Qp，C_i，j，P_i+x，j+y)的值；

一累加器，耦合于该加法器，用来计算出该成本函数的值；以及

一决定单元，耦合于该累加器，用来将该搜寻区域内可使该成本函数得出最小值的候选运动向量(x，y)设定为该目前编码区块的最适运动向量(x1，y1)。

6.如权利要求5所述的装置，其中，该决定单元包含有：

一比较器，耦合于该累加器，用来输出该最适运动向量(x1，y1)；以及

一储存器，耦合于该比较器，用来储存该成本函数出现过的最小值。

7.如权利要求3所述的装置，其中，若其它条件不变，则当Qp的值越大时，函数h(Qp，C_i，j，P_i+x，j+y)的值即会越大。

Images