CN102291579A - 一种快速的多目立体视频分形压缩与解压缩方法 - Google Patents

Abstract

本发明提出了一种快速的多目立体视频分形压缩与解压缩方法，选取中间目作为参考目，使用MCP原理压缩，其它目使用DCP+MCP的原理压缩。以三目为例，中间目作为参考目，采用单独的运动补偿预测方式(MCP)进行编码，对起始帧采用块DCT变换编码，对非I帧进行块运动估计/补偿编码，计算与子块域和父块域相关子块的像素和与像素平方和，计算分数像素内插值对应块的像素和、像素平方和，然后判断预搜索限制条件，并在前一帧搜索窗中，利用分数像素块匹配和基于运动矢量场的自适应六边形搜索算法寻找最相似的块。左目和右目采用MCP加视差补偿预测方式(DCP)进行编码，在DCP编码中，利用分数像素块匹配和视差分布约束条件。在解码过程中利用去方块环路滤波进行解码。

Description

一种快速的多目立体视频分形压缩与解压缩方法

技术领域：

本发明属于视频压缩编码领域，涉及多目立体视频的压缩编码，为立体视频编码的实时性应用奠定了基础，进一步提高了分形多目立体视频压缩编码的性能。

背景技术：

分形理论最初由Mandelbrot于上世纪70年代提出(参见

B.Mandelbrot.TheFractal Geometry of Nature[M].New York：W.H. Freeman and Company，1982.)。分形编码的数学基础是迭代函数系统(IFS)理论。Barnsley首先将分形编码用于交互式图像压缩(参见Michael F.Barnsley，Alan D.Sloan.A better way to compress image[J].ByteMagazine，1988，13(1)：215-233.)。Jacqain提出了全自动的分形图像压缩方法(参见Arnaud E.Jacquin.A novel fractal blocking-coding technique for digital image[C].IEEEInternational Conference on Acoustics，Speech and Signal Processing，1990，4：2225-2228.)，(参见Arnaud E.Jacquin.Fractal image coding：a review[J].Proceeding of the IEEE，1993，81(10)：1451-1465.)，该方法采用基于图像分块的方式以局部的仿射变换代替全局的仿射变换。之后，Fisher利用四叉树改进了这一方法(参见Y.Fisher.Fractal ImageCompression[J].Fractals，1994，2(3)：347-361.)，(参见Y.Fisher，E.W.Jacobs.Imagecompression：A study the iterated transform method[J].Signal Processing，1992，29(3)，251-263.)，(参见Y.Fisher.Fractal Image Compression：Theory and application to digitalimages[M].New York：Spring-Verlag，1995，55-77.)，大大提高了编码效率，并成为目前分形图像编码中的主流方法。

在此基础之上，一些学者和研究人员把分形图像压缩的方法应用到视频序列的压缩上。Meiqing Wang等提出了综合基于数据立方体和基于帧的分形视频压缩方法(参见Meiqing Wang，Choi-Hong Lai.A hybrid fractal video compression method[J].Computers &Mathematics with Applications，2005，50(3-4)：611-621.)，(参见Meiqing Wang，ZhehuangHuang，Choi-Hong Lai.Matching search in fractal video compression and its parallelimplementation in distributed computing environments[J].Applied Mathematical Modeling，2006，30(8)：677-687.)，(参见Meiqing Wang，Rong Liu，Choi-Hong Lai.Adaptive partitionand hybrid method in fractal video compression[J].Computers & Mathematics withApplications，2006，51(11)：1715-1726.)。其中最为经典和影响较大的参见(C.S.Kim，R.C.Kim，S.U.Lee.Fractal coding of video sequence using circular prediction mapping andnoncontractive interframe mapping[J].IEEE Transactions on Image Processing，1998，7(4)：601-605.)。该方法采用类似于标准视频编码方法所采用的运动估计/补偿技术，该方法利用了相邻帧之间的时间强相关性，对视频序列压缩取得了较好的效果。在CPM和NCIM中，子块域中的每个图像块都由来自相邻帧相同大小的父块域通过运动补偿得到。CPM和NCIM两者间最大的不同在于CPM在解码的过程中需要具备收敛性，而NCIM不需要。但是在循环预测编码(CPM)方法中，为了保证起始帧经过自身的循环解码能够近似收敛到原来的图像，压缩过程需要经过复杂变换、搜索和迭代等，压缩时间和图像质量难以达到要求。目前典型的分形图像和视频压缩方法的运算量很大，编码速度较慢，并且解码的质量有待提高，使得分形图像和视频压缩方法还需要进一步的改进和提高。

多视点视频(Multi-view Video)是一种新型的具有立体感和交互操作功能的视频，通过在场景中放置多台摄像机，记录下多个视点数据，提供给用户以视点选择和场景漫游的交互能力。多视点视频将在自由视点视频、立体电视、立体视频会议、多视点视频点播等数字娱乐领域有着非常广泛的应用前景。随着相机数目的增加，多视点视频的数据量也成倍增加(参见Chun Li，Lini MA.A Study of Multi-view Video Coding Technology[J].Computers & Moderns，2009，1：104-108.)。拍摄场景不同角度的视频信息，利用其中的一个或多个视点信息可以合成任意视点的信息，达到自由视点显示和自由切换任意视点的目的(参见ISO/IEC JTC1/SC29/WG111 Call for Evidence on Multi-View Video Coding.DOC.N6720，Palma de Mallorca，Spain，2004.)，(参见ISO IEC JTC1/SC29/WG111 Surveyof Algorithms used for Multi-view Video Coding(MVC).DOC1.N6909，Hong Kong，China，2005.)，(参见ISO/IEC JTC1/SC29/WG111 Requirements on Multi-view Video Coding 4.DOC.N7282，Poznan，Poland，2005.)。

本专利申请人已于2010年10月申请了两个有关分形多目视频编码的专利：一种快速的多目立体视频分形压缩编解码方法(201010522165.7CN 101980539A)和一种基于对象和分形的多目立体视频压缩编解码方法(201010522132.2CN 101980536A)。本发明与上述公开文献不同在于：1)利用了预搜索限定条件；2)利用了分数像素块匹配；3)利用了基于运动矢量场的自适应六边形搜索算法；4)DCP编码方式时，充分利用视差分布约束条件；5)解码中，利用了去方块环路滤波。因此，编码性能有了很大的改善和提高。

发明内容：

本发明提出了一种快速的多目立体视频分形压缩与解压缩方法，选取中间目作为参考目，使用MCP原理压缩，其它目使用DCP+MCP的原理压缩。以三目为例，中间目作为参考目，采用单独的运动补偿预测方式(MCP)进行编码，对起始帧采用块DCT变换编码，对非I帧进行块运动估计/补偿编码，计算与子块域和父块域相关子块的像素和与像素平方和，计算分数像素内插值对应块的像素和、像素平方和，然后判断预搜索限制条件，并在前一帧搜索窗中，利用分数像素块匹配和基于运动矢量场的自适应六边形搜索算法寻找最相似的块。左目和右目采用MCP加视差补偿预测方式(DCP)进行编码，在DCP编码中，利用分数像素块匹配和视差分布约束条件。在解码过程中利用去方块环路滤波进行解码。

一种快速的多目立体视频分形压缩方法，包括以下步骤：

步骤一：对于中间目，首先判断是否为I帧，若是I帧，则对该帧进行互不重叠的固定大小的块划分，对每一个图像块分别采用基于块DCT变换的I帧帧内图像压缩方法，对图像进行单独编码和解码，转到步骤十二；否则，转到步骤二；所述I帧为视频序列起始帧或者视频序列中只进行帧内编码的图像帧；所述将当前帧划分为固定大小的互不重叠的图像块称为宏块；所述将当前宏块进行树状划分得到的块称为小块；所述当前帧为正在进行压缩的帧，所述参考帧为当前帧的已经编码并重建的前一帧；所述当前帧所有块的集合称为子块域；所述前一帧的所有块的集合称为父块域；所述块DCT变换中的块采用固定大小模式；对于左目转到步骤七；对于右目转到步骤十一；

步骤二：若中间目为非I帧，用常规单目的运动补偿预测(MCP)编码，对该帧进行互不重叠的宏块划分，然后计算这些宏块以及经树状划分得到的小块的像素和、像素平方和，以及中间目前一帧重建图像即参考帧中，按照设定步长划分的所有宏块以及经树状划分得到的小块的像素和、像素平方和，同时计算分数像素内插值对应块的像素和、像素平方和，转到步骤三；

步骤三：依次对当前帧的所有宏块进行编码，在父块域中的搜索窗内首先对该宏块进行块匹配；在进行子块与父块的匹配过程中，子块的位置作为父块的起始搜索点，父块的大小与子块的大小相同，转到步骤四；

步骤四：利用基于运动矢量场的自适应六边形搜索算法，然后利用分数像素块匹配，搜索分数像素内插值对应小块处的RMS点，搜索出最佳的匹配误差RMS，转到步骤五；

步骤五：预搜索限制条件判断：对于特定的子块，若与父块对应值满足预搜索限制条件，则转到步骤六；否则直接保存当前的迭代函数系统系数即IFS系数，转入步骤三编码下一宏块；

步骤六：如果匹配误差RMS小于开始设定的阈值γ，则保存当前的迭代函数系统系数即IFS系数，转入步骤三编码下一宏块；否则，依次按照树状结构对该块进行划分，并对各个划分得到的小块利用分数像素块匹配和基于运动矢量场的自适应六边形搜索算法，分别计算匹配误差RMS，如果RMS小于设定阈值γ，则停止划分并记录该小块IFS系数，转入步骤三编码下一宏块；否则继续划分，直到将当前块划分为预先设定的最小块，记录IFS系数；转入步骤三编码下一宏块；所述搜索窗为在参考帧中的矩形搜索区域；所述IFS系数包括父块位置(x，y)和比例因子s、偏移因子o；如果当前帧所有的宏块都已编码完毕，且是中间目，则转到步骤十二；若是左目或右目，则转到步骤八；

步骤七：对左目图像，首先进行互不重叠的宏块划分，然后计算这些宏块以及经树状划分得到的小块的像素和、像素平方和，以及左目前一帧重建图像参考帧，按照设定步长划分的所有宏块以及经树状划分得到的小块的像素和、像素平方和，同时计算分数像素内插值对应块的像素和、像素平方和，以减少块匹配过程中的重复计算，转到步骤三：

步骤八：计算中间目中对应帧图像的参考帧，按照设定步长划分的所有宏块以及经树状划分得到的小块的像素和、像素平方和，同时计算分数像素内插值对应块的像素和、像素平方和，以减少块匹配过程中的重复计算，转到步骤九；

步骤九：首先对与当前子块位置相同的父块进行块匹配，得到RMS，并保存迭代函数系统系数，该系数包括父块与子块的相对位移矢量(x，y)，比例因子s和偏移因子o；依次对当前帧的所有宏块进行编码，在父块域中的搜索窗内首先对该宏块进行块匹配；在进行子块与父块的匹配过程中，子块的位置作为父块的起始搜索点，父块的大小与子块的大小相同并转入步骤十，执行完步骤十返回之后，如果所得的匹配误差RMS小于开始设定的阈值γ，则保存当前的迭代函数系统系数即IFS系数，转入步骤九编码下一宏块；否则，依次按照树状结构对该块进行划分，并对各个划分得到的小块分别转入步骤十，执行完步骤十返回之后计算匹配误差RMS，如果RMS小于设定阈值γ，则停止划分并记录该小块IFS系数，转入步骤九编码下一宏块；否则继续划分，直到将当前块划分为预先设定的最小块，转入步骤十计算RMS，执行完步骤十返回之后记录IFS系数，转入步骤九编码下一宏块；最后与步骤六所得结果比较，选择误差最小的作为预测结果；所述搜索窗为在参考帧中的矩形搜索区域；所述IFS系数包括父块位置(x，y)和比例因子s、偏移因子o；如果当前帧所有的宏块都已编码完毕，则转到步骤十二；

步骤十：充分利用分数像素块匹配和视差分布约束条件：将上一个视差估计矢量作为当前帧的搜索中心，在水平方向沿初始点的右侧进行搜索，在搜索过程中进行跳跃式搜索；点匹配完之后，向右间隔三个点进行搜索，进行比较，直到找到最小的RMS；同时对分数像素位置进行相同的操作，比较得到更小的RMS，结束DCP搜索过程；

步骤十一：对于右目图像，首先进行互不重叠的宏块划分，然后计算这些宏块以及经树状划分得到的小块的像素和、像素平方和，以及右目前一帧重建图像参考帧，按照设定步长划分的所有宏块以及经树状划分得到的小块的像素和、像素平方和，同时计算分数像素内插值对应块的像素和、像素平方和，以减少块匹配过程中的重复计算，转到步骤三；

步骤十二：对所有IFS系数进行Huffman编码，降低IFS系数数据的统计冗余；判断当前帧是否为最后一帧，如果是最后一帧结束编码；否则，返回步骤一继续处理下一帧图像。

和中间目等距的左右目构成三目，所述三目分别进行MCP+DCP处理，每个处理彼此独立，左目内部或右目内部之间没有对应联系。

所述一种快速的多目立体视频分形压缩方法，处理的视频序列为YUV格式，分别对3个分量中的每个采用上述十二个步骤进行处理。

所述步骤四中分数像素块匹配，包括以下三个步骤：

1)对参考帧中搜索区域内的像素进行内插形成一个更高分辨率的区域；

2)在内插区域进行整数像素和半像素位置搜索找到最佳匹配；

3)用匹配块的仿射变换来替代当前块。

所述步骤四中基于运动矢量场的自适应六边形搜索算法，充分根据分形编码的特点，具体如下：

1)在小十字模式中的五个搜索点中搜索最小匹配误差所在点；应用块匹配准则搜索，如果最小匹配误差点在小十字模式的中心，此时即得到最终要求的最佳匹配误差；否则，转入步骤2)；

2)以步骤1)搜索到的最小匹配误差点为中心构造新的小十字模式，应用块匹配准则，搜寻3个新的搜索点；再搜索最小匹配误差点，如果搜索到的最小匹配误差点在小十字模式的中心，即得到最终要求的最佳匹配误差；否则，进入步骤3)；

3)搜索大十字模式3个还没有搜索到的点，应用块匹配准则，搜索新的最小匹配误差点，以作为下一步搜索的中心；

4)以上一步的最小匹配误差点为中心，构造六边形搜索模式，应用块匹配准则搜索，找出新的最小匹配误差点，如果该点在六边形的中心，进入步骤5)；否则，继续步骤4)，直到最小匹配误差点在六边形的中心；

5)以步骤4)所搜索到的位于六边形的中心的最小匹配误差点为中心，构造小十字搜索模式，应用块匹配准则搜索，找出最小匹配误差点，即得到最终要求的最佳匹配误差。

所述步骤五中预搜索限制条件为以下形式，其中，b_i为子块的像素值，a_i为父块的像素值：

$\mathrm{RMS}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(s\·a_i+o-b_i)}^2$

$=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(s\·a_i+\frac{1}{n}[\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{b}_i-s\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a}_i]-b_i)}^2$

$=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{((a_i-\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a}_i}{n})\·\frac{[n\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a}_i{b}_i-\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a}_i\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{b}_i]}{[n\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a}_i^2-{\left(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a}_i\right)}^2]}+\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{b}_i}{n}-b_i)}^2$

$=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{((a_i-\stackrel{\‾}{a})\·\frac{[\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a}_i{b}_i-n\stackrel{\‾}{a}\stackrel{\‾}{b}]}{[\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a}_i^2-n{\stackrel{\‾}{a}}^2]}+\stackrel{\‾}{b}-b_i)}^2$

$=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{((a_i-\stackrel{\‾}{a})\·\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(b_i-\stackrel{\‾}{b})(a_i-\stackrel{\‾}{a})}{{\left|\right|a_i-\stackrel{\‾}{a}\left|\right|}^2}+\stackrel{\‾}{b}-b_i)}^2$

$={\left|\right|b_i-\stackrel{\‾}{b}\left|\right|}^2\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(\frac{(a_i-\stackrel{\‾}{a})}{\left|\right|a_i-\stackrel{\‾}{a}\left|\right|}\·\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(b_i-\stackrel{\‾}{b})(a_i-\stackrel{\‾}{a})}{\left|\right|b_i-\stackrel{\‾}{b}\left|\right|\left|\right|a_i-\stackrel{\‾}{a}\left|\right|}-\frac{b_i-\stackrel{\‾}{b}}{\left|\right|b_i-\stackrel{\‾}{b}\left|\right|})}^2---\left(1\right)$

让 $\hat{a}=\frac{(a_i-\stackrel{\‾}{a})}{\left|\right|a_i-\stackrel{\‾}{a}\left|\right|},\hat{b}=\frac{b_i-\stackrel{\‾}{b}}{\left|\right|b_i-\stackrel{\‾}{b}\left|\right|},$ 且可知 ${\left|\right|\hat{a}\left|\right|}^2=1,{\left|\right|\hat{b}\left|\right|}^2=1,$ 则R可推导如下：

$\mathrm{RMS}={\left|\right|b_i-\stackrel{\‾}{b}\left|\right|}^2\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(\hat{a}\·\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\hat{b}\hat{a}-\hat{b})}^2$

$={\left|\right|b_i-\stackrel{\‾}{b}\left|\right|}^2(1-{\left(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\hat{b}\hat{a}\right)}^2)---\left(2\right)$

其中对于每个确定的子块来说，

是已知的，因此为了得到最小匹配误差RMS，

的取值要求越小越好，在每个子块的匹配过程中，预搜索限制条件为：0.9＜m＜1。

所述步骤六中对宏块采用树状划分，块匹配采用匹配误差准则，子块与父块的匹配误差RMS为：

$\mathrm{RMS}=\frac{1}{N}[\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{r}_i^2+s(s\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{d}_i^2-2\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{r}_i{d}_i+2o\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{d}_i^2)+o(N\·o-2\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{r}_i)]---\left(3\right)$

其中参数s和o分别为：

$s=\frac{[N\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{r}_i{d}_i-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{r}_i\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{d}_i]}{[N\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{d}_i^2-{\left(\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{d}_i\right)}^2]}---\left(4\right)$

$o=\frac{1}{N}[\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{r}_i-s\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{d}_i]---\left(5\right)$

其中，N为子块和父块像素的个数，r_i为子块的像素值，d_i为父块的像素值；

计算当前宏块在参考帧中的块匹配误差RMS，其中r_i是子块的像素值，d_i是父块的像素值；如果RMS小于预先设定的阈值γ，记录IFS系数，IFS系数包括匹配块的位移矢量(x，y)和公式4，5中的s和o，处理下一宏块；否则，对当前宏块进行树状划分，计算划分后小块的RMS，如果小于阈值γ，则停止划分，否则继续划分，直到子块达到预先设定的最小块为止。

所述步骤十中视差分布约束条件如下：

1)外极线约束；对于左目中的图像上的一点，通过相对定向参数找出右目中的图像上与其对应的极线，其对应点在上述极线上搜索；对于平行系统的视差搜索，只需沿扫描线，进行x方向的搜索即可；最佳匹配点位于偏振线上即水平线上；在立体平行摄像系统中，沿水平方向进行DCP搜索；

两摄像机在同一时刻观看空间同一特征点P(x_c，y_c，z_c)，在左目中的图像和右目中的图像的坐标分别为P_left＝(X_left，Y_left)，p_right＝(X_right，Y_right)；其中点P(x_c，y_c，z_c)与两个光心所确定的平面称为偏振平面，偏振平面与左右图像的交线称为偏振线；由几何关系得到，其中：f表示摄像机的焦距，B为两摄像机的投影中心连线的距离，即基线距，z_c为世界坐标系下特征点P的Z坐标：

$\left\{\begin{array}{c}{X}_{\mathrm{left}}=f\frac{x_c}{z_c}\\ X_{\mathrm{right}}=f\frac{(x_c-B)}{z_c}\\ Y=f\frac{y_c}{z_c}\end{array}\right.---\left(6\right)$

2)方向性约束；对于同一个景物，其透视投影左目中的图像相对于右目中的图像局部地向左移动。同一空间点在两图像平面中的投影位置差矢量即视差由此可知视差D是深度z的函数，表示相对深度，对于同一特征点，其透视投影左目中的图像是右目中的图像沿水平负向的局部平移；同一空间点在右目中的图像上的图像坐标比在左目中的图像上的图像坐标偏右，在搜索时沿一个方向进行。

3)空域相关性与时域相关性：而连续变化视差场中的视差矢量有很强的相关性，即同一帧内视差矢量之间存在相关性；对于相邻两帧图像，仅有少数像素发生了运动，多数像素的位置并没有变化；对于位置不变的像素来说，其视差基本不变；在进行视差估计时，用前一帧图像的对应视差矢量作为搜索起始点进行小范围内的搜索，从而快速找到实际视差矢量。

一种快速的多目立体视频分形解压缩方法，其特征在于包含以下步骤：

步骤I：首先读入中间目压缩信息，包括压缩帧数，每帧图像的宽和高，I帧压缩质量和插入I帧的间隔；

步骤II：判断解码帧是否为I帧，若是I帧转入步骤III，否则转入步骤IV；

步骤III：对于I帧，从压缩文件中读入码流进行解码，帧数加一转入步骤IX；

步骤IV：对于非I帧，计算中间目前一帧中按照设定步长划分的所有宏块以及经树状划分得到的小块的像素和、像素平方和；

步骤V：读入左目压缩信息，包括压缩帧数，每帧图像的宽和高，I帧压缩质量和插入I帧的间隔；计算左目前一帧和中间目对应帧中按照设定步长划分的所有宏块以及经树状划分得到的小块的像素和、像素平方和；

步骤VI：读入右目压缩信息，包括压缩帧数，每帧图像的宽和高，I帧压缩质量和插入I帧的间隔；计算右目前一帧和中间目对应帧中按照设定步长划分的所有宏块以及经树状划分得到的小块的像素和、像素平方和；

步骤VII：从对应的压缩文件中读入块的划分信息和Huffman码流，从而得到该帧所有宏块的划分方式和每一个小块的迭代函数系统系数，转入步骤VIII；

步骤VIII：采用去方块环路滤波方法：首先对边界的类型进行判断，定义参数块边缘强度，针对不同强度的块边缘，选择的滤波器和所需要滤波的像素点数也不一样，如果为帧内编码且为宏块边界，则采用强滤波；若不是帧内编码且不是宏块边界，仿射块边界采用一级滤波，非仿射块边界不需要滤波；其他情况采用二级滤波；最后按照每一宏块进行解码；

步骤IX：判断此时所有帧是否都已解码，若都解码完毕，结束解码过程，否则转入步骤II。

对于每一个宏块进行解压缩时，首先判断该宏块在编码时的划分方式，对于每一个子块，首先在父块域找到与该子块相对应的区域，然后利用下面的公式获得该子块的像素值：

r_i＝s·d_i+o    (7)

其中r_i为待解码子块的像素值，d_i为父块域中的像素值，s为比例因子，o为偏移因子。

所述步骤VIII中的块边缘强度用BS表示；其中，P₀′，Q₀′，P₁′，Q₁′表示滤波后的像素值，P₀，P₁，Q₀，Q₁表示原始的像素值，不同的BS和对应的滤波器如下：

BS＝3时，需要进行强滤波，滤波器表示为：

P₀′＝(P₁+P₀+Q₀)/3

Q₀′＝(P₀+Q₀+Q₁)/3

                                 (8)

P₁′＝(2·P₁+P₀′)/3

Q₁′＝(2·Q₁+Q₀′)/3

BS＝2时，二级滤波器表示为：

P₀′＝(P₁+2·P₀+Q₀)/4

                                 (9)

Q₀′＝(P₀+2·Q₀+Q₁)/4

BS＝1时，一级滤波器表示为：

P₀′＝(P₁+3·P₀+Q₀)/5

                                 (10)

Q₀′＝(P₀+3·Q₀+Q₁)/5

当BS＝0时，不进行滤波。

在一种快速的多目立体视频分形解压缩方中，中间目用常规单目的运动补偿预测(MCP)编码，左目和右目的每个图像块通过运动补偿预测(MCP)和视差补偿预测(DCP)两种方式进行预测，从中选择误差较小的一种作为预测结果。

处理的视频序列为YUV格式，分别对3个分量中的每个采用上述九个步骤进行处理。

本发明所提出的快速多目立体视频分形压缩方法的优点在于：

(1)本方法在每个子块的匹配过程中，充分利用分形编码特点，采用了预搜索限制条件，提前去除不太匹配的父块，提高了编码性能和速度。

(2)本方法在分形编码算法中引入了分数像素块匹配技术，对于很多块，在一个内插到半像素精度的区域进行搜索可能会找到更好的匹配，为了获得更精确的运动向量和更高的压缩比。

(3)本方法在每个子块的匹配过程中利用基于运动矢量场的自适应六边形搜索算法，充分将图像特征和分形压缩相结合，大大提高了编码速度。

(4)本方法在进行子块的块匹配之前，计算当前帧互不重叠的宏块及其经树状划分之后得到的小块的像素和与像素平方和。在参考帧中，按照匹配步长分别计算各宏块以及经树状划分以后得到的小块的像素和与像素平方和，同时计算分数像素内插值对应小块的像素和、像素平方和。这样就避免了在块匹配过程中出现重复计算的弊端，大大节约了子块的匹配时间。

(5)本方法中，在进行DCP编码方式时，充分利用视差分布约束条件，包括外极线约束、方向性约束和空域相关性与时域相关性三个方面，对DCP搜索方式进行了简化运算，提出了一种新型快速搜索算法。

(6)本方法中，中间目的编码方式与单目分形编码相同；左目和右目中，除了采用前一帧作为参考帧外，加入了中间目对应的帧共同作为参考帧，选取误差最小的块作为父块，使得面向的范围更广，实现更好的效果。

(7)本方法在解码时，利用去方块环路滤波方法，来提高解码后图像质量，为后续的子块编码提供更佳的参考帧。

附图说明：

图1(a)为本发明一种快速的多目立体视频分形压缩与解压缩方法的左目DCP压缩流程图；

图1(b)为本发明一种快速的多目立体视频分形压缩与解压缩方法的中间目MCP压缩流程图；

图1(c)为本发明一种快速的多目立体视频分形压缩与解压缩方法的右目DCP压缩流程图；

图1(d)为本发明一种快速的多目立体视频分形压缩与解压缩方法的左目DCP解压缩流程图；

图1(e)为本发明一种快速的多目立体视频分形压缩与解压缩方法的中间目MCP解压缩流程图；

图1(f)为本发明一种快速的多目立体视频分形压缩与解压缩方法的右目DCP解压缩流程图；

图1(g)为本发明一种快速的多目立体视频分形压缩与解压缩方法的基于运动矢量场的自适应六边形搜索算法流程图；

图1(h)为本发明一种快速的多目立体视频分形压缩与解压缩方法的DCP快速算法流程图；

图2(a)-(e)为本发明一种快速的多目立体视频分形压缩与解压缩方法的基于运动矢量场的自适应六边形搜索算法搜索示例示意图；

图3(a)为本发明一种快速的多目立体视频分形压缩与解码缩方法中的分数像素块匹配的半像素内插示意图；

图3(b)为本发明一种快速的多目立体视频分形压缩与解码缩方法中的分数像素块匹配的整数点分数匹配示意图；

图4(a)为本发明一种快速的多目立体视频分形压缩与解压缩方法对宏块的四种划分模式图；

图4(b)为本发明一种快速的多目立体视频分形压缩与解压缩方法对宏块的划分模式四进一步进行划分的四种划分模式图；

图5为本发明一种快速的多目立体视频分形压缩与解压缩方法的MCP和DCP结构示意图；

图6(a)为双目立体视频序列“exit”的第3帧左目原始图像；

图6(b)为双目立体视频序列“exit”的第3帧中间目原始图像；

图6(c)为双目立体视频序列“exit”的第3帧右目原始图像；

图6(d)为经全搜索方法解码后的多目立体视频序列“exit”的第三帧左目结果图像；

图6(e)为经全搜索方法解码后的多目立体视频序列“exit”的第三帧中间目结果图像；

图6(f)为经全搜索方法解码后的多目立体视频序列“exit”的第三帧右目结果图像；

图6(g)为本发明一种快速的多目立体视频分形压缩与解压缩方法单独解码经快速搜索方法以后的多目立体视频序列“exit”的第3帧左目结果图像；

图6(h)为本发明一种快速的多目立体视频分形压缩与解压缩方法单独解码经快速搜索方法以后的多目立体视频序列“exit”的第3帧中间目结果图像；

图6(i)为本发明一种快速的多目立体视频分形压缩与解压缩方法单独解码经快速搜索方法以后的多目立体视频序列“exit”的第3帧右目结果图像；

图7为双目立体平行摄像系统成像原理图；

图8(a)为本发明一种快速的多目立体视频分形压缩与解码缩方法中的去方块环路滤波的垂直边界临域的采样示意图；

图8(b)为本发明一种快速的多目立体视频分形压缩与解码缩方法中的去方块环路滤波的块边缘强度判决树示意图；

图9(a)为本发明一种快速的多目立体视频分形压缩与解压缩方法的DCP快速算法与传统的全搜索方法对“exit”多目立体视频序列的2～10帧进行压缩的压缩比的对比图；

图9(b)为本发明一种快速的多目立体视频分形压缩与解压缩方法的DCP快速算法与传统的全搜索方法对“exit”多目立体视频序列的2～10帧进行压缩的PSNR的对比图；

图9(c)为本发明一种快速的多目立体视频分形压缩与解压缩方法的DCP快速算法与传统的全搜索方法对“exit”多目立体视频序列的2～10帧进行压缩的压缩时间的对比图。

具体实施方式：

下面将结合附图对本发明方法作进一步的详细说明，仅以亮度分量Y为例，色差分量U和V的压缩步骤与亮度分量相同。

本发明提出了一种快速的多目立体视频分形压缩与解压缩方法，选取中间目作为参考目，使用MCP原理压缩，其它目使用DCP+MCP的原理压缩。以三目为例，中间目作为参考目，采用单独的运动补偿预测方式(MCP)进行编码，对起始帧采用块DCT变换编码，对非I帧进行块运动估计/补偿编码，计算与子块域和父块域相关子块的像素和与像素平方和，计算分数像素内插值对应块的像素和、像素平方和，然后判断预搜索限制条件，并在前一帧搜索窗中，利用分数像素块匹配和基于运动矢量场的自适应六边形搜索算法寻找最相似的块。左目和右目采用MCP加视差补偿预测方式(DCP)进行编码，在DCP编码中，利用分数像素块匹配和视差分布约束条件。在解码过程中利用去方块环路滤波进行解码。

如附图1(a)、图1(b)和图1(c)所示，一种快速的多目立体视频分形压缩方法，包括以下步骤：

步骤一：以多目立体视频序列“exit.yuv”的前10帧为例。所述I帧为视频序列起始帧或者视频序列中只进行帧内编码的图像帧；所述将当前帧划分为固定大小的互不重叠的图像块称为宏块；所述将当前宏块进行树状划分得到的块称为小块；所述当前帧为正在进行压缩的帧，所述参考帧为当前帧的已经编码并重建的前一帧；所述当前帧所有块的集合称为子块域；所述前一帧的所有块的集合称为父块域；所述块DCT变换中的块采用固定大小模式。对于左目转到步骤七；对于右目转到步骤十一。

对视频序列“exit.yuv”中间目的起始帧，和中间目等距的左右目构成三目，所述三目分别进行MCP+DCP处理，每个处理彼此独立，左目内部或右目内部之间没有对应联系。首先判断是否为I帧，若是I帧，对每一个图像块分别采用基于块DCT变换的I帧帧内图像压缩方法，将起始帧划分为8×8的互不重叠的子块，对每一子块分别进行DCT变换。离散余弦变换将8×8的图像样本X，变换成8×8的系数矩阵Y。变换过程(包括反变换)可以用变换矩阵A来表示。

8×8样本块的正向DCT(FDCT)变换如下：

Y＝AXA^T                (11)

反向DCT(IDCT)如下：

X＝A^TYA                (12)

其中A是8×8的变换矩阵。A中的各个元素如下：

$A_{\mathrm{ij}}=C_i\cos \frac{(2j+1)\mathrm{i\π}}{16}---\left(13\right)$

其中

$\begin{array}{cccc}{C}_i=\sqrt{\frac{1}{8}}& (i=0)& C_i=\frac{1}{2}& (i>0)\end{array}---\left(14\right)$

i，j分别为矩阵A的行和列。

对变换系数进行量化和编码，转入步骤十二；否则，转到步骤二；

步骤二：若中间目为非I帧，用常规单目的运动补偿预测(MCP)编码，对图像进行互不重叠的16×16宏块划分，分别计算当前帧互不重叠的16×16，16×8，8×16，8×8，8×4，4×8，4×4的小块的像素和与像素的平方和。然后分别计算参考帧也就是前一帧的解压缩图像中以1为步长的大小分别为16×16，16×8，8×16，8×8，8×4，4×8，4×4的小块的像素和与像素的平方和，同时计算分数像素内插值对应16×16，16×8，8×16，8×8，8×4，4×8，4×4的小块的像素和、像素平方和。从第一个宏块开始处理，依次对当前帧的所有16×16宏块进行编码；

步骤三：依次对当前帧的所有16×16宏块进行编码，在父块域中的搜索窗内对整个宏块进行块运动估计/补偿；在进行子块与父块的匹配过程中，子块的位置作为父块的起始搜索点，父块的大小与子块的大小相同，转到步骤四；

步骤四：利用分数像素块匹配和基于运动矢量场的自适应六边形搜索算法，充分根据分形编码的特点，六边形算法流程图如图1(e)所示，具体实现思路如下：

1)在小十字模式中的五个搜索点中搜索最小匹配误差所在点；如图2(a)所示，此步骤中小十字模式的5个搜索点用①表示；应用块匹配准则搜索，如果最小匹配误差点在小十字模式的中心，即中心的黑色的①位置处，此时即得到最终要求的最佳匹配误差；否则，转入步骤2)；

2)以步骤1)搜索到的最小匹配误差点为中心构造新的小十字模式，应用块匹配准则，搜寻3个新的搜索点，如图2(b)中的增加的②所示；再搜索最小匹配误差点，如果搜索到的最小匹配误差点在小十字模式的中心，即中心的黑色的①所示，得到最终要求的最佳匹配误差；否则，进入步骤3)；

3)搜索大十字模式3个还没有搜索到的点，如图2(c)中的增加的③所示；应用块匹配准则，搜索新的最小匹配误差点，如黑色的②位置处，以作为下一步搜索的中心；

4)以上一步的最小匹配误差点为中心，构造六边形搜索模式，如图2(d)中的增加的④所示，应用块匹配准则搜索，找出新的最小匹配误差点，如果该点在六边形的中心，即中心的黑色的②位置处，进入步骤5)；否则，继续步骤4)，直到最小匹配误差点在六边形的中心；

5)以步骤4)所搜索到的位于六边形的中心的最小匹配误差点为中心，构造小十字搜索模式，如2(e)中的增加的⑤所示，应用块匹配准则搜索，找出最小匹配误差点，如黑色的⑤位置处，即得到此时的最佳匹配误差。

然后搜索分数像素内插值对应小块处的RMS点，步骤如下：

1)对参考帧中搜索区域内的像素进行内插形成一个更高分辨率的区域；

2)在内插区域进行整数像素和半像素位置搜索找到最佳匹配；

3)用匹配块的仿射变换来替代当前块。

如图3(a)所示，a代表原来的整数像素，b和c代表通过一对整数像素a线性插值后的像素值，d代表通过周围四个整数像素a线性插值后的像素值，箭头表示内插方向。直到找到最小的RMS点，如图3(b)所示，假设A点为整数像素搜索最优点，在其周围进行分数像素的运动搜索，如点1、2、3、4、5、6、7、8，虽然计算量有所增加，但是半像素运动估计和运动补偿的性能明显好于整数像素的运动估计和运动补偿，转到步骤五；

步骤五：预搜索限制条件判断：对于特定的子块，有如下推导，其中，b_i为子块的像素值，a_i为父块的像素值：

$\mathrm{RMS}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(s\·a_i+o-b_i)}^2$

$=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(s\·a_i+\frac{1}{n}[\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{b}_i-s\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a}_i]-b_i)}^2$

$=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{((a_i-\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a}_i}{n})\·\frac{[n\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a}_i{b}_i-\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a}_i\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{b}_i]}{[n\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a}_i^2-{\left(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a}_i\right)}^2]}+\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{b}_i}{n}-b_i)}^2$

$=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{((a_i-\stackrel{\‾}{a})\·\frac{[\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a}_i{b}_i-n\stackrel{\‾}{a}\stackrel{\‾}{b}]}{[\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a}_i^2-n{\stackrel{\‾}{a}}^2]}+\stackrel{\‾}{b}-b_i)}^2$

$=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{((a_i-\stackrel{\‾}{a})\·\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(b_i-\stackrel{\‾}{b})(a_i-\stackrel{\‾}{a})}{{\left|\right|a_i-\stackrel{\‾}{a}\left|\right|}^2}+\stackrel{\‾}{b}-b_i)}^2$

$={\left|\right|b_i-\stackrel{\‾}{b}\left|\right|}^2\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(\frac{(a_i-\stackrel{\‾}{a})}{\left|\right|a_i-\stackrel{\‾}{a}\left|\right|}\·\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(b_i-\stackrel{\‾}{b})(a_i-\stackrel{\‾}{a})}{\left|\right|b_i-\stackrel{\‾}{b}\left|\right|\left|\right|a_i-\stackrel{\‾}{a}\left|\right|}-\frac{b_i-\stackrel{\‾}{b}}{\left|\right|b_i-\stackrel{\‾}{b}\left|\right|})}^2---\left(15\right)$

让 $\hat{a}=\frac{(a_i-\stackrel{\‾}{a})}{\left|\right|a_i-\stackrel{\‾}{a}\left|\right|},\hat{b}=\frac{b_i-\stackrel{\‾}{b}}{\left|\right|b_i-\stackrel{\‾}{b}\left|\right|},$ 且可知 ${\left|\right|\hat{a}\left|\right|}^2=1,{\left|\right|\hat{b}\left|\right|}^2=1,$ 则R可推导如下：

$\mathrm{RMS}={\left|\right|b_i-\stackrel{\‾}{b}\left|\right|}^2\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(\hat{a}\·\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\hat{b}\hat{a}-\hat{b})}^2$

$={\left|\right|b_i-\stackrel{\‾}{b}\left|\right|}^2(1-{\left(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\hat{b}\hat{a}\right)}^2)---\left(16\right)$

其中对于每个确定的子块来说，

是已知的，因此为了得到最小匹配误差RMS，的取值要求越小越好，在每个子块的匹配过程中，预搜索限制条件为：0.9＜m＜1。若与父块对应值满足预搜索限制条件，则转到步骤六；否则直接保存当前的迭代函数系统系数即IFS系数，转入步骤三编码下一宏块；

步骤六：树状划分进一步匹配：匹配的依据是分形迭代函数系统原理，简要介绍一下分形图像压缩的数学基础-迭代函数系统(IFS：Iterative Function System)理论。设D是Rⁿ欧氏空间的子集，ω为D→D的映射，如果存在一个实数C，0≤C＜1，使得对于Rⁿ上的度量d，满足对任意x，y∈D，有d(ω(x)，ω(y))≤C(d(x，y))，则称ω为压缩映射，实数C称为ω的压缩因子。完备的度量空间(X，d)以及n个压缩映射ω_i：X→X(其压缩因子分别为C₁，C₂，...C_n)一起，就组成一个迭代函数系统(Iterated Function System)，简称IFS，记作{X：ω₁，ω₂，...，ω_n}。C＝max(C₁，C₂，...，C_n)称为IFS的压缩因子。因此{R²：ω₁，ω₂，ω₃}就是一个IFS。

分形图像压缩中，一般的匹配准则是RMS，即：

$\mathrm{RMS}=\frac{1}{N}[\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{r}_i^2+s(s\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{d}_i^2-2\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{r}_i{d}_i+2o\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{d}_i^2)+o(N\·o-2\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{r}_i)]---\left(17\right)$

其中s，o分别为：

$s=\frac{[N\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{r}_i{d}_i-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{r}_i\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{d}_i]}{[N\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{d}_i^2-{\left(\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{d}_i\right)}^2]}---\left(18\right)$

$o=\frac{1}{N}[\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{r}_i-s\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{d}_i]---\left(19\right)$

其中，N为子块和父块像素的个数，r_i为子块的像素值，d_i为父块的像素值。

首先设定子块的匹配误差阈值γ＝tol×tol×no，其中tol根据不同的子块大小而改变，大的子块tol就越大，小的子块tol就小。在本例中，我们取16×16宏块的tol为10.0，8×8子块的tol为8.0，4×4子块的tol为6.0，no为当前子块属于该视频对象区域的像素个数。

首先设定16×16宏块的匹配误差阈值γ₁₆＝10.0×10.0×no，在参考帧的父块域中以当前子块的位置开始在15×15的搜索窗内对整个宏块进行块匹配，如果匹配误差RMS小于开始设定的阈值γ₁₆，则保存当前的IFS系数包括比例因子s，偏移o，父块相对于当前子块的坐标偏移x，y，返回步骤三，继续下一宏块的匹配。

否则，按照树状结构对该宏块进行划分，对宏块的划分有四种模式，如附图4(a)，模式一为一个16×16小块，模式二为两个8×16的小块，模式三为两个16×8的小块，模式四为四个8×8的小块。

1、首先按模式二的划分计算，利用分数像素块匹配和基于运动矢量场的自适应六边形搜索算法，若模式二中两个小块都满足RMS＜γ₁₆，则保存当前的IFS系数包括比例因子s，偏移o，以及父块相对于当前子块的坐标偏移x，y，并停止块的划分，转到5；

2、否则按模式三划分，利用分数像素块匹配和基于运动矢量场的自适应六边形搜索算法，若模式三中两个小块都满足RMS＜γ₁₆，则保存当前的IFS系数包括比例因子s，偏移o，以及父块相对于当前子块的坐标偏移x，y，并停止块的划分，转到5；

3、否则按照模式四对当前宏块进行划分，利用分数像素块匹配和基于运动矢量场的自适应六边形搜索算法，此时匹配误差阈值设置为γ₈＝8.0×8.0×no，如果模式四中的4个小块都满足RMS＜γ₈，则保存当前的IFS系数包括比例因子s，偏移o，以及父块相对于当前子块的坐标偏移x，y，并停止块的划分，转到5；

4、否则对模式四中的每一个小块按照附图4(b)中中的模式划分顺序进行划分，可依次划分为1个8×8的小块，2个4×8的小块，2个8×4的小块，4个4×4的小块。这里只对第一个8×8小块的匹配过程进行阐述，其它3个8×8小块的匹配过程与第一个相同，不再赘述。首先按照2个4×8的小块划分，进行块匹配，如果两个子块的匹配误差RMS全部小于γ₈时，则保存当前的IFS系数包括比例因子s，偏移o，以及父块相对于当前子块的坐标偏移x，y，并停止块的划分。否则，按照2个8×4的划分方式进行块的划分，对这两个子块进行块匹配，如果两个子块的匹配误差RMS全部小于γ₈时，则保存当前的IFS系数包括比例因子s，偏移o，以及父块相对于当前子块的坐标偏移x，y，并停止块的划分。否则，对该子块划分为4个4×4的小块，同时匹配误差阈值设为γ₄＝6.0×6.0×no，对四个小块分别进行块匹配，并分别记录每个子块的IFS系数包括比例因子s，偏移o，以及父块相对于当前子块的坐标偏移x，y，并停止块的划分，转到5；

5、返回步骤三，继续下一宏块的编码。

如果当前帧所有的宏块都已编码完毕，且是中间目，则转到步骤十二；若是左目或右目，则转到步骤八；

步骤七：对于左目，首先进行互不重叠的16×16宏块划分，分别计算当前帧互不重叠的16×16，16×8，8×16，8×8，8×4，4×8，4×4的小块的像素和与像素的平方和。然后计算参考帧也就是前一帧的解压缩图像中以1为步长的大小分别为16×16，16×8，8×16，8×8，8×4，4×8，4×4的小块的像素和与像素的平方和，同时计算分数像素内插值对应16×16，16×8，8×16，8×8，8×4，4×8，4×4的小块的像素和、像素平方和，以减少块匹配过程中的重复计算。附图5为多目立体视频编码的MCP和DCP结构示意图，左目和右目中，每个宏块使用DCP从中间目中预测，使用MCP从左目和右目的前一帧预测。编码器首先在左目和右目的前一帧中搜索，选择最匹配的D块；从第一个宏块开始处理，依次对当前帧的所有16×16宏块进行编码，转入步骤三；

步骤八：然后计算中间目中对应帧的解压缩图像中以1为步长的大小分别为16×16，16×8，8×16，8×8，8×4，4×8，4×4的小块的像素和与像素的平方和，同时计算分数像素内插值对应16×16，16×8，8×16，8×8，8×4，4×8，4×4的小块的像素和、像素平方和，进行搜索选择最匹配的D块。从第一个宏块开始处理，依次对当前帧的所有16×16宏块进行编码，转入步骤九；附图6(a)、(b)和(c)为多目立体视频序列“exit”第3帧左目、中间目和右目图像，附图6(d)、(e)和(f)利用全搜索方法解压缩之后的左目、中间目和右目解压缩图像，附图6(g)、(h)和(i)为双目立体视频序列“exit”第3帧，利用DCP快速方法解压缩之后的左目、中间目和右目解压缩图像。

附图6(d)中，对应PSNR＝37.17dB，压缩比CR＝97.83；附图6(e)中，对应PSNR＝36.98dB，压缩比CR＝107.16；附图6(f)中，对应PSNR＝36.98dB，压缩比CR＝99.68；对应全搜索总共的压缩时间＝8.88s；附图6(g)中，对应PSNR＝35.52dB，压缩比CR＝116.54；附图6(h)中，对应PSNR＝35.4dB，压缩比CR＝114.94；附图6(i)中，对应PSNR＝35.92dB，压缩比CR＝115.69；对应快速搜索总共的压缩时间＝2.92s。可以看出：快速算法搜索时间大大减少，并且压缩比大大提高，虽然图像的质量在原有基础上有稍微的下降，但是主观上从图像中很难辨别，保证了在减低编码时间和提高压缩比情况下，不影响图像的质量。

步骤九：首先对与当前子块位置相同的父块进行块匹配，得到RMS，并保存迭代函数系统系数，该系数包括父块与子块的相对位移矢量(x，y)，比例因子s和偏移因子o；依次对当前帧的所有宏块进行编码，在父块域中的搜索窗内首先对该宏块进行块匹配；在进行子块与父块的匹配过程中，子块的位置作为父块的起始搜索点，父块的大小与子块的大小相同并转入步骤十，执行完步骤十返回之后，如果所得的匹配误差RMS小于开始设定的阈值γ，则保存当前的迭代函数系统系数即IFS系数，转入步骤九编码下一宏块；否则，依次按照树状结构对该块进行划分，并对各个划分得到的小块分别转入步骤十，执行完步骤十返回之后计算匹配误差RMS，如果RMS小于设定阈值γ，则停止划分并记录该小块IFS系数，转入步骤九编码下一宏块；否则继续划分，直到将当前块划分为预先设定的最小块，转入步骤十计算RMS，执行完步骤十返回之后记录IFS系数，转入步骤九编码下一宏块；最后与步骤六所得结果比较，选择误差最小的作为预测结果；所述搜索窗为在参考帧中的矩形搜索区域；所述IFS系数包括父块位置(x，y)和比例因子s、偏移因子o；如果当前帧所有的宏块都已编码完毕，则转到步骤十二；

步骤十：充分利用分数像素块匹配和视差分布约束条件：将上一个视差估计矢量作为当前帧的搜索中心，在水平方向沿初始点的右侧进行搜索，在搜索过程中进行跳跃式搜索；点匹配完之后，向右间隔三个点进行搜索，进行比较，直到找到最小的RMS；同时对分数像素位置进行相同的操作，比较得到更小的RMS，图1(f)为DCP快速算法流程图，具体实现如下：

视差分布约束条件包括：

1)外极线约束；对于左目中的图像上的一点，通过相对定向参数找出右目中的图像上与其对应的极线，其对应点在上述极线上搜索；对于平行系统的视差搜索，只需沿扫描线，进行x方向的搜索即可；最佳匹配点位于偏振线上即水平线上；在立体平行摄像系统中，沿水平方向进行DCP搜索；

两摄像机在同一时刻观看空间同一特征点P(x_c，y_c，z_c)，在左目中的图像和右目中的图像的坐标分别为P_left＝(X_left，Y_left)，p_right＝(X_right，Y_right)；其中点P(x_c，y_c，z_c)与两个光心所确定的平面称为偏振平面，偏振平面与左右图像的交线称为偏振线；由几何关系得到，其中：f表示摄像机的焦距，B为两摄像机的投影中心连线的距离，即基线距，z_c为世界坐标系下特征点P的Z坐标：

$\left\{\begin{array}{c}{X}_{\mathrm{left}}=f\frac{x_c}{z_c}\\ X_{\mathrm{right}}=f\frac{(x_c-B)}{z_c}\\ Y=f\frac{y_c}{z_c}\end{array}\right.---\left(20\right)$

2)方向性约束；对于同一个景物，其透视投影左目中的图像相对于右目中的图像局部地向左移动。同一空间点在两图像平面中的投影位置差矢量即视差

由此可知视差D是深度z的函数，表示相对深度，对于同一特征点，其透视投影左目中的图像是右目中的图像沿水平负向的局部平移；同一空间点在右目中的图像上的图像坐标比在左目中的图像上的图像坐标偏右，在搜索时沿一个方向进行；

3)空域相关性与时域相关性：而连续变化视差场中的视差矢量有很强的相关性，即同一帧内视差矢量之间存在相关性；对于相邻两帧图像，仅有少数像素发生了运动，多数像素的位置并没有变化；对于位置不变的像素来说，其视差基本不变；在进行视差估计时，用前一帧图像的对应视差矢量作为搜索起始点进行小范围内的搜索，从而快速找到实际视差矢量；

结束DCP搜索过程；

步骤十一：对于右目图像，首先进行互不重叠的16×16宏块划分，分别计算当前帧互不重叠的16×16，16×8，8×16，8×8，8×4，4×8，4×4的小块的像素和与像素的平方和。然后计算参考帧也就是前一帧的解压缩图像中以1为步长的大小分别为16×16，16×8，8×16，8×8，8×4，4×8，4×4的小块的像素和与像素的平方和，同时计算分数像素内插值对应16×16，16×8，8×16，8×8，8×4，4×8，4×4的小块的像素和、像素平方和，以减少块匹配过程中的重复计算，转到步骤三；

步骤十二：对所有IFS系数进行Huffman编码，Huffman编码是根据出现的概率将每个符号映射到一个变长码字的集合(VLC)上，降低IFS系数数据的统计冗余。判断当前帧是否为最后一帧，如果是最后一帧结束编码，否则，返回步骤一继续处理下一帧图像。

如附图1(d)、图1(e)和图1(f)所示，一种快速的多目立体视频分形解压缩方法，包括以下步骤：

步骤I：首先读入中间目压缩信息，包括压缩帧数，每帧的宽和高，I帧重建质量，插入I帧的间隔；

步骤II：判断解码帧是否为I帧，若是I帧转入步骤III，否则转入步骤IV；

步骤III：对于I帧，从压缩文件中读入码流进行解码，进行反DCT变换，得到每一个8×8的块的像素值，帧数加一转入步骤IX；

步骤IV：对于非I帧，计算中间目前一帧即参考帧中按照设定步长划分的所有宏块以及经树状划分得到的小块的像素和、像素平方和；

步骤V：读入左目压缩信息，包括压缩帧数，每帧图像的宽和高，I帧压缩质量和插入I帧的间隔；计算左目前一帧和中间目对应帧即参考帧中按照设定步长划分的所有宏块以及经树状划分得到的小块的像素和、像素平方和；

步骤VI：读入右目压缩信息，包括压缩帧数，每帧图像的宽和高，I帧压缩质量和插入I帧的间隔；计算右目前一帧和中间目对应帧中按照设定步长划分的所有宏块以及经树状划分得到的小块的像素和、像素平方和，转入步骤VII；

步骤VII：从压缩文件中读入块的划分信息和Huffman码流，从而得到该帧所有宏块的划分方式和每一个小块的迭代函数系统系数，转入步骤VIII；

步骤VIII：采用去方块环路滤波方法：首先对边界的类型进行判断，定义参数块边缘强度，针对不同强度的块边缘，选择的滤波器和所需要滤波的像素点数也不一样，如图8(a)所示，垂直边界临域的采样示意图，如果为帧内编码且为宏块边界，则采用强滤波；若不是帧内编码且不是宏块边界，仿射块边界采用一级滤波，非仿射块边界不需要滤波；其他情况采用二级滤波；最后按照每一宏块进行解码；具体选择如图8(b)所示，块边缘强度用BS表示；其中，P₀′，Q₀′，P₁′，Q₁′表示滤波后的像素值，P₀，P₁，Q₀，Q₁表示原始的像素值，不同的BS和对应的滤波器如下；

BS＝3时，需要进行强滤波，滤波器表示为：

P₀′＝(P₁+P₀+Q₀)/3

Q₀′＝(P₀+Q₀+Q₁)/3

                     (21)

P₁′＝(2·P₁+P₀′)/3

Q₁′＝(2·Q₁+Q₀′)/3

BS＝2时，二级滤波器表示为：

P₀′＝(P₁+2·P₀+Q₀)/4

                     (22)

Q₀′＝(P₀+2·Q₀+Q₁)/4

BS＝1时，一级滤波器表示为：

P₀′＝(P₁+3·P₀+Q₀)/5

                     (23)

Q₀′＝(P₀+3·Q₀+Q₁)/5

当BS＝0时，不进行滤波。

按照每一宏块进行解码，对于每一个宏块进行解压缩时，首先判断该宏块在编码时的划分方式，对于每一个子块，首先在父块域找到与该子块相对应的区域，然后利用下面的公式获得该子块的像素值，

r_i＝s·d_i+o    (24)

其中r_i为待解码子块的像素值，d_i为父块域中的像素值，s为比例因子，o为偏移因子。

步骤IX：判断此时所有帧是否都已解码，若都解码完毕，结束解码过程，否则转入步骤II。

处理的立体视频序列为YUV格式，分别对3个分量中的每个采用上述九个步骤进行处理。

本方法选择Visual C++6.0作为所述方法的实现语言，CPU为Core^TM 2DuoT8300，2.4GHz主频，内存大小为2G，对标准测试多目视频序列“exit.yuv”进行了快速的多目立体视频分形编码实验。

表1为视频中的三目视频的平均性能参数结果，其中压缩时间是处理完三目的总时间平均值。对“exit.yuv”多目立体视频序列2～10帧采用全搜索算法和本文所提出的快速搜索算法进行编码结果的平均值如表1所示。从图9和表1可以看到，对“exit.yuv”多目立体视频序列，采用快速搜索算法的搜索时间仅为全搜索算法的0.33倍，PSNR值减少了1.45～1.99dB，但是压缩比增加了11.66～15.45。

表1多目立体视频序列压缩性能均值对比

对“exit.yuv”三目立体视频序列2～10帧采用全搜索算法和本文所提出的快速搜索算法对三个通道进行实验。从图9和表1可以看到，对“exit.yuv”三目立体视频序列，采用快速搜索算法的压缩时间为全搜索算法的0.33倍，虽然三目的压缩质量有稍微下降，但是主观上很难分辨出，同时压缩比增加了11左右，大大缩小了所需的存储空间。

将分形视频编码方法应用到多目立体视频编码领域，并根据视差分布约束条件和视频运动特点，提出了一种新的视差估计和运动估计算法，并提出了一种预搜索限制条件，同时运用了分数像素块匹配和去方块环路滤波方法。通过实验可以得到，该算法在保证PSNR基本保持不变的前提下，极大地降低了运算复杂度和存储空间，为多目立体视频编码的实时性应用和后续发展奠定了基础。

本方法充分利用图像特征、运动和视差分布约束条件、分数像素块匹配和去方块环路滤波方法，在搜索方法上提出了新的改进，使得压缩时间大大减少，从而运算的复杂度和时间都降低了；同时压缩比大大提高，使得空间的利用率越来越高。在分形编码中，算法复杂度和编码时间一直都是最为关注的问题，也是比较难解决的方面。本方法针对这方面，进行了深入的挖掘和思考，同时也取得了很好的效果，为以后的研究打下了良好的基础。

Claims (13)

1.一种快速的多目立体视频分形压缩方法，其特征在于具体步骤如下：

步骤一：对于中间目，首先判断是否为I帧，若是I帧，则对该帧进行互不重叠的固定大小的块划分，对每一个图像块分别采用基于块DCT变换的I帧帧内图像压缩方法，对图像进行单独编码和解码，转到步骤十二；否则，转到步骤二；所述I帧为视频序列起始帧或者视频序列中只进行帧内编码的图像帧；所述将当前帧划分为固定大小的互不重叠的图像块称为宏块；所述将当前宏块进行树状划分得到的块称为小块；所述当前帧为正在进行压缩的帧，所述参考帧为当前帧的已经编码并重建的前一帧；所述当前帧所有块的集合称为子块域；所述前一帧的所有块的集合称为父块域；所述块DCT变换中的块采用固定大小模式；对于左目转到步骤七；对于右目转到步骤十一；

步骤二：若中间目为非I帧，用常规单目的运动补偿预测(MCP)编码，对该帧进行互不重叠的宏块划分，然后计算这些宏块以及经树状划分得到的小块的像素和、像素平方和，以及中间目前一帧重建图像即参考帧中，按照设定步长划分的所有宏块以及经树状划分得到的小块的像素和、像素平方和，同时计算分数像素内插值对应块的像素和、像素平方和，转到步骤三；

步骤三：依次对当前帧的所有宏块进行编码，在父块域中的搜索窗内首先对该宏块进行块匹配；在进行子块与父块的匹配过程中，子块的位置作为父块的起始搜索点，父块的大小与子块的大小相同，转到步骤四；

步骤四：利用基于运动矢量场的自适应六边形搜索算法，然后利用分数像素块匹配，搜索分数像素内插值对应小块处的RMS点，搜索出最佳的匹配误差RMS，转到步骤五；

步骤五：预搜索限制条件判断：对于特定的子块，若与父块对应值满足预搜索限制条件，则转到步骤六；否则直接保存当前的迭代函数系统系数即IFS系数，转入步骤三编码下一宏块；

步骤六：如果匹配误差RMS小于开始设定的阈值γ，则保存当前的迭代函数系统系数即IFS系数，转入步骤三编码下一宏块；否则，依次按照树状结构对该块进行划分，并对各个划分得到的小块利用分数像素块匹配和基于运动矢量场的自适应六边形搜索算法，分别计算匹配误差RMS，如果RMS小于设定阈值γ，则停止划分并记录该小块IFS系数，转入步骤三编码下一宏块；否则继续划分，直到将当前块划分为预先设定的最小块，记录IFS系数；转入步骤三编码下一宏块；所述搜索窗为在参考帧中的矩形搜索区域；所述IFS系数包括父块位置(x，y)和比例因子s、偏移因子o；如果当前帧所有的宏块都已编码完毕，且是中间目，则转到步骤十二；若是左目或右目，则转到步骤八；

步骤七：对左目图像，首先进行互不重叠的宏块划分，然后计算这些宏块以及经树状划分得到的小块的像素和、像素平方和，以及左目前一帧重建图像参考帧，按照设定步长划分的所有宏块以及经树状划分得到的小块的像素和、像素平方和，同时计算分数像素内插值对应块的像素和、像素平方和，以减少块匹配过程中的重复计算，转到步骤三；

步骤八：计算中间目中对应帧图像的参考帧，按照设定步长划分的所有宏块以及经树状划分得到的小块的像素和、像素平方和，同时计算分数像素内插值对应块的像素和、像素平方和，以减少块匹配过程中的重复计算，转到步骤九；

步骤九：首先对与当前子块位置相同的父块进行块匹配，得到RMS，并保存迭代函数系统系数，该系数包括父块与子块的相对位移矢量(x，y)，比例因子s和偏移因子o；依次对当前帧的所有宏块进行编码，在父块域中的搜索窗内首先对该宏块进行块匹配；在进行子块与父块的匹配过程中，子块的位置作为父块的起始搜索点，父块的大小与子块的大小相同并转入步骤十，执行完步骤十返回之后，如果所得的匹配误差RMS小于开始设定的阈值γ，则保存当前的迭代函数系统系数即IFS系数，转入步骤九编码下一宏块；否则，依次按照树状结构对该块进行划分，并对各个划分得到的小块分别转入步骤十，执行完步骤十返回之后计算匹配误差RMS，如果RMS小于设定阈值γ，则停止划分并记录该小块IFS系数，转入步骤九编码下一宏块；否则继续划分，直到将当前块划分为预先设定的最小块，转入步骤十计算RMS，执行完步骤十返回之后记录IFS系数，转入步骤九编码下一宏块；最后与步骤六所得结果比较，选择误差最小的作为预测结果；所述搜索窗为在参考帧中的矩形搜索区域；所述IFS系数包括父块位置(x，y)和比例因子s、偏移因子o；如果当前帧所有的宏块都已编码完毕，则转到步骤十二；

步骤十：充分利用分数像素块匹配和视差分布约束条件：将上一个视差估计矢量作为当前帧的搜索中心，在水平方向沿初始点的右侧进行搜索，在搜索过程中进行跳跃式搜索；点匹配完之后，向右间隔三个点进行搜索，进行比较，直到找到最小的RMS；同时对分数像素位置进行相同的操作，比较得到更小的RMS，结束DCP搜索过程；

步骤十一：对于右目图像，首先进行互不重叠的宏块划分，然后计算这些宏块以及经树状划分得到的小块的像素和、像素平方和，以及右目前一帧重建图像参考帧，按照设定步长划分的所有宏块以及经树状划分得到的小块的像素和、像素平方和，同时计算分数像素内插值对应块的像素和、像素平方和，以减少块匹配过程中的重复计算，转到步骤三；

步骤十二：对所有IFS系数进行Huffman编码，降低IFS系数数据的统计冗余；判断当前帧是否为最后一帧，如果是最后一帧结束编码；否则，返回步骤一继续处理下一帧图像。

2.根据权利要求1所述一种快速的多目立体视频分形压缩方法，其特征在于：和中间目等距的左右目构成三目，所述三目分别进行MCP+DCP处理，每个处理彼此独立，左目内部或右目内部之间没有对应联系。

3.根据权利要求1所述一种快速的多目立体视频分形压缩方法，其特征在于：所述步骤四中分数像素块匹配，包括以下三个步骤：

1)对参考帧中搜索区域内的像素进行内插形成一个更高分辨率的区域；

2)在内插区域进行整数像素和半像素位置搜索找到最佳匹配；

3)用匹配块的仿射变换来替代当前块。

4.根据权利要求1所述一种快速的多目立体视频分形压缩方法，其特征在于：处理的视频序列为YUV格式，分别对3个分量中的每个采用上述十二个步骤进行处理。

5.根据权利要求1所述一种快速的多目立体视频分形压缩方法，其特征在于：所述步骤四中基于运动矢量场的自适应六边形搜索算法，充分根据分形编码的特点，具体如下：

1)在小十字模式中的五个搜索点中搜索最小匹配误差所在点；应用块匹配准则搜索，如果最小匹配误差点在小十字模式的中心，此时即得到最终要求的最佳匹配误差；否则，转入步骤2)；

2)以步骤1)搜索到的最小匹配误差点为中心构造新的小十字模式，应用块匹配准则，搜寻3个新的搜索点；再搜索最小匹配误差点，如果搜索到的最小匹配误差点在小十字模式的中心，即得到最终要求的最佳匹配误差；否则，进入步骤3)；

3)搜索大十字模式3个还没有搜索到的点，应用块匹配准则，搜索新的最小匹配误差点，以作为下一步搜索的中心；

4)以上一步的最小匹配误差点为中心，构造六边形搜索模式，应用块匹配准则搜索，找出新的最小匹配误差点，如果该点在六边形的中心，进入步骤5)；否则，继续步骤4)，直到最小匹配误差点在六边形的中心；

5)以步骤4)所搜索到的位于六边形的中心的最小匹配误差点为中心，构造小十字搜索模式，应用块匹配准则搜索，找出最小匹配误差点，即得到最终要求的最佳匹配误差。

6.根据权利要求1所述一种快速的多目立体视频分形压缩方法，其特征在于：所述步骤五中预搜索限制条件为以下形式，其中，b_i为子块的像素值，a_i为父块的像素值：

$\mathrm{RMS}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(s\·a_i+o-b_i)}^2$

$=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(s\·a_i+\frac{1}{n}[\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{b}_i-s\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a}_i]-b_i)}^2$

$=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{((a_i-\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a}_i}{n})\·\frac{[n\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a}_i{b}_i-\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a}_i\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{b}_i]}{[n\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a}_i^2-{\left(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a}_i\right)}^2]}+\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{b}_i}{n}-b_i)}^2$

$=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{((a_i-\stackrel{\‾}{a})\·\frac{[\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a}_i{b}_i-n\stackrel{\‾}{a}\stackrel{\‾}{b}]}{[\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a}_i^2-n{\stackrel{\‾}{a}}^2]}+\stackrel{\‾}{b}-b_i)}^2$

$=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{((a_i-\stackrel{\‾}{a})\·\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(b_i-\stackrel{\‾}{b})(a_i-\stackrel{\‾}{a})}{{\left|\right|a_i-\stackrel{\‾}{a}\left|\right|}^2}+\stackrel{\‾}{b}-b_i)}^2$

$={\left|\right|b_i-\stackrel{\‾}{b}\left|\right|}^2\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(\frac{(a_i-\stackrel{\‾}{a})}{\left|\right|a_i-\stackrel{\‾}{a}\left|\right|}\·\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(b_i-\stackrel{\‾}{b})(a_i-\stackrel{\‾}{a})}{\left|\right|b_i-\stackrel{\‾}{b}\left|\right|\left|\right|a_i-\stackrel{\‾}{a}\left|\right|}-\frac{b_i-\stackrel{\‾}{b}}{\left|\right|b_i-\stackrel{\‾}{b}\left|\right|})}^2---\left(1\right)$

让 $\hat{a}=\frac{(a_i-\stackrel{\‾}{a})}{\left|\right|a_i-\stackrel{\‾}{a}\left|\right|},\hat{b}=\frac{b_i-\stackrel{\‾}{b}}{\left|\right|b_i-\stackrel{\‾}{b}\left|\right|},$ 且可知 ${\left|\right|\hat{a}\left|\right|}^2=1,{\left|\right|\hat{b}\left|\right|}^2=1,$ 则R可推导如下：

$\mathrm{RMS}={\left|\right|b_i-\stackrel{\‾}{b}\left|\right|}^2\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(\hat{a}\·\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\hat{b}\hat{a}-\hat{b})}^2$

$={\left|\right|b_i-\stackrel{\‾}{b}\left|\right|}^2(1-{\left(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\hat{b}\hat{a}\right)}^2)---\left(2\right)$

其中对于每个确定的子块来说，

是已知的，因此为了得到最小匹配误差RMS，

的取值要求越小越好，在每个子块的匹配过程中，预搜索限制条件为：0.9＜m＜1。

7.根据权利要求1所述一种快速的多目立体视频分形压缩方法，其特征在于：所述步骤六中对宏块采用树状划分，块匹配采用匹配误差准则，子块与父块的匹配误差RMS为：

$\mathrm{RMS}=\frac{1}{N}[\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{r}_i^2+s(s\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{d}_i^2-2\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{r}_i{d}_i+2o\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{d}_i^2)+o(N\·o-2\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{r}_i)]---\left(3\right)$

其中参数s和o分别为：

$s=\frac{[N\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{r}_i{d}_i-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{r}_i\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{d}_i]}{[N\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{d}_i^2-{\left(\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{d}_i\right)}^2]}---\left(4\right)$

$o=\frac{1}{N}[\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{r}_i-s\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{d}_i]---\left(5\right)$

其中，N为子块和父块像素的个数，r_i为子块的像素值，d_i为父块的像素值；

计算当前宏块在参考帧中的块匹配误差RMS，其中r_i是子块的像素值，d_i是父块的像素值；如果RMS小于预先设定的阈值γ，记录IFS系数，IFS系数包括匹配块的位移矢量(x，y)和公式(4)，(5)中的s和o，处理下一宏块；否则，对当前宏块进行树状划分，计算划分后小块的RMS，如果小于阈值γ，则停止划分，否则继续划分，直到子块达到预先设定的最小块为止。

8.根据权利要求1所述一种快速的多目立体视频分形压缩方法，其特征在于：所述步骤十中视差分布约束条件如下：

1)外极线约束；对于左目中的图像上的一点，通过相对定向参数找出右目中的图像上与其对应的极线，其对应点在上述极线上搜索；对于平行系统的视差搜索，只需沿扫描线，进行x方向的搜索即可；最佳匹配点位于偏振线上即水平线上；在立体平行摄像系统中，沿水平方向进行DCP搜索；

两摄像机在同一时刻观看空间同一特征点P(x_c，y_c，z_c)，在左目中的图像和右目中的图像的坐标分别为p_left＝(X_left，Y_left)，p_right＝(X_right，Y_right)；其中点P(x_c，y_c，z_c)与两个光心所确定的平面称为偏振平面，偏振平面与左右图像的交线称为偏振线；由几何关系得到，其中：f表示摄像机的焦距，B为两摄像机的投影中心连线的距离，即基线距，z_c为世界坐标系下特征点P的Z坐标：

$\left\{\begin{array}{c}{X}_{\mathrm{left}}=f\frac{x_c}{z_c}\\ X_{\mathrm{right}}=f\frac{(x_c-B)}{z_c}\\ Y=f\frac{y_c}{z_c}\end{array}\right.---\left(6\right)$

2)方向性约束；对于同一个景物，其透视投影左目中的图像相对于右目中的图像局部地向左移动。同一空间点在两图像平面中的投影位置差矢量即视差由此可知视差D是深度z的函数，表示相对深度，对于同一特征点，其透视投影左目中的图像是右目中的图像沿水平负向的局部平移；同一空间点在右目中的图像上的图像坐标比在左目中的图像上的图像坐标偏右，在搜索时沿一个方向进行；

3)空域相关性与时域相关性：而连续变化视差场中的视差矢量有很强的相关性，即同一帧内视差矢量之间存在相关性；对于相邻两帧图像，仅有少数像素发生了运动，多数像素的位置并没有变化；对于位置不变的像素来说，其视差基本不变；在进行视差估计时，用前一帧图像的对应视差矢量作为搜索起始点进行小范围内的搜索，从而快速找到实际视差矢量。

9.一种快速的多目立体视频分形解压缩方法，包含以下步骤：

步骤I：首先读入中间目压缩信息，包括压缩帧数，每帧图像的宽和高，I帧压缩质量和插入I帧的间隔；

步骤II：判断解码帧是否为I帧，若是I帧转入步骤III，否则转入步骤IV；

步骤III：对于I帧，从压缩文件中读入码流进行解码，帧数加一转入步骤IX；

步骤IV：对于非I帧，计算中间目前一帧中按照设定步长划分的所有宏块以及经树状划分得到的小块的像素和、像素平方和；

步骤V：读入左目压缩信息，包括压缩帧数，每帧图像的宽和高，I帧压缩质量和插入I帧的间隔；计算左目前一帧和中间目对应帧中按照设定步长划分的所有宏块以及经树状划分得到的小块的像素和、像素平方和；

步骤VI：读入右目压缩信息，包括压缩帧数，每帧图像的宽和高，I帧压缩质量和插入I帧的间隔；计算右目前一帧和中间目对应帧中按照设定步长划分的所有宏块以及经树状划分得到的小块的像素和、像素平方和；

步骤VII：从对应的压缩文件中读入块的划分信息和Huffman码流，从而得到该帧所有宏块的划分方式和每一个小块的迭代函数系统系数，转入步骤VIII；

步骤VIII：采用去方块环路滤波方法：首先对边界的类型进行判断，定义参数块边缘强度，针对不同强度的块边缘，选择的滤波器和所需要滤波的像素点数也不一样，如果为帧内编码且为宏块边界，则采用强滤波；若不是帧内编码且不是宏块边界，仿射块边界采用一级滤波，非仿射块边界不需要滤波；其他情况采用二级滤波；最后按照每一宏块进行解码；

步骤IX：判断此时所有帧是否都已解码，若都解码完毕，结束解码过程，否则转入步骤II。

10.根据权利要求9所述一种快速的多目立体视频分形解压缩方法，其特征在于：对于每一个宏块进行解压缩时，首先判断该宏块在编码时的划分方式，对于每一个子块，首先在父块域找到与该子块相对应的区域，然后利用下面的公式获得该子块的像素值，r_i＝s·d_i+o    (7)

其中r_i为待解码子块的像素值，d_i为父块域中的像素值，s为比例因子，o为偏移因子。

11.根据权利要求9所述一种快速的多目立体视频分形解压缩方法，其特征在于：在基于分形的立体视频解码过程中，中间目用常规单目的运动补偿预测(MCP)编码，左目和右目的每个图像块通过运动补偿预测(MCP)和视差补偿预测(DCP)两种方式进行预测，从中选择误差较小的一种作为预测结果。

12.根据权利要求9所述一种快速的多目立体分形视频解压缩方法，其特征在于：所述步骤VIII中的块边缘强度用BS表示；其中，P₀′，Q₀′，P₁′，Q₁′表示滤波后的像素值，P₀，P₁，Q₀，Q₁表示原始的像素值，不同的BS和对应的滤波器如下：

BS＝3时，需要进行强滤波，滤波器表示为：

P₀′＝(P₁+P₀+Q₀)/3

Q₀′＝(P₀+Q₀+Q₁)/3

                       (8)

P₁′＝(2·P₁+P₀′)/3

Q₁′＝(2·Q₁+Q₀′)/3

BS＝2时，二级滤波器表示为：

P₀′＝(P₁+2·P₀+Q₀)/4

                       (9)

Q₀′＝(P₀+2·Q₀+Q₁)/4

BS＝1时，一级滤波器表示为：

P₀′＝(P₁+3·P₀+Q₀)/5

                       (10)

Q₀′＝(P₀+3·Q₀+Q₁)/5

当BS＝0时，不进行滤波。

13.根据权利要求9所述一种快速的多目立体视频分形解压缩方法，其特征在于：处理的视频序列为YUV格式，分别对3个分量中的每个采用上述九个步骤进行处理。

Images