CN102572485A - 一种自适应加权立体匹配算法、立体显示采集装置及系统 - Google Patents

Abstract

本发明公开了一种自适应加权立体匹配算法，包括以下步骤：双目立体图像的获取；像素点支持窗的选择，计算每一个像素的真实支持窗，对于每个像素点，其支持像素点所构成的支持窗的大小和形状不同；支持窗内支持权重计算；代价聚合能量函数计算；像素点的视差值计算；原始左对右视差图获得。本发明还公开了一种立体显示采集装置及系统。本发明可用于立体显示技术领域，改善立体匹配效果，利用较少数据量得到必须的三维信息。

Description

一种自适应加权立体匹配算法、立体显示采集装置及系统

技术领域

本发明涉及图像显示技术领域，尤其涉及一种自适应加权立体匹配算法、立体显示采集装置及系统。

背景技术

普通的二维视频图像无法使得用户从中获得深度信息，且观看者不能任意选择所处的位置与观看角度。相对于普通的二维视频，三维视频能够使用户自由选择观看的视点与视角，体验三维立体视觉感知，三维视频相关技术是近些年来的研究热点和难点。图1为裸视三维视频系统基本架构，三维视频系统指从三维视频数据采集、处理、编码、传输，到三维视图生成、显示的一个完整系统，涉及信号处理、视频压缩编码、网络通信、计算机图形学、计算机视觉等多个研究领域。图2为左图像与视差图像独立编码，图3左图像与视差图联合编码，图4传输层编码方案，图5裸视三维视频显示端方案设计。许多研究机构对三维视频系统及相关技术进行了深入研究，主要包括三维视频信息采集与处理，三维视频信息编码与传输，三维重建与显示等方面。

着裸视三维显示器的发展，尤其是以飞利浦公司开发的

3D显示器为代表的裸视三维显示器的问世，以J.Congote，I.Barandiaran等人开发的裸视三维视频系统及I.Feldmann，W.Waizenegger等人开发的交互式三维视频会议系统为代表，国际上已有很多研究机构对基于裸视三维显示器的三维视频系统进行研究。此外，国内各高校与研究结构也对三维视频系统进行了研究，但大都集中在各模块关键技术的研究，对裸视三维视频系统的研究几乎是空白！在三维视频信息数据采集模块，通常使用不同空间排列方式的多摄像机阵列采集得到三维视频信息，在使用多摄像机阵列时需对各摄像机进行标定与同步操作。为实现裸视三维视频的显示，可通过增加摄像机的数量来获得多角度的三维视频信息，但摄像机数量的增多使得信息量增大，会大大降低数据处理的速度，增加编码及传输的数据量。针对此问题，采用立体匹配算法得到视差图，将视差图和参考图像一起表征三维信息，从而大大减少处理传输的数据量，改善裸视三维视频系统的运行时间。

视差图的获取采用立体匹配算法计算得到。立体匹配是指在立体图像对中确定空间同一景物点在不同成像平面中像点的对应关系的过程，其实质上可以归结为图像特征之间的相似性评价问题。双目立体视觉是基于视差原理，根据三角法原理进行三维信息的获取。

立体匹配算法根据采用优化方法的不同，可以分为局部的立体匹配算法和全局的立体匹配算法；根据匹配基元的不同，立体匹配算法可以分为基于区域的匹配算法、基于特征的匹配算法和基于相位的匹配算法；根据匹配生成视差图的不同，可以分为稀疏视差匹配算法和稠密的视差匹配算法。国内外的研究均是通过尽量建立能反映像素的真实视差值的能量函数进行估计视差值，采用不同的相似度度量函数以及使用不同的基元来进行匹配。

国际上主要是基于颜色分割进行全局立体匹配，在局部立体匹配方面，在聚合上采用了自适应的加权进行聚合，同时也采用多窗体、自适应支持窗体的匹配算法。国内主要是在基于特征的选择上，以及在匹配的相似度的度量上进行研究，同时针对遮挡问题、弱纹理问题也进行了讨论。其中以Jian sun为代表的微软研究院，在全局立体匹配算法和遮挡问题、弱纹理方面具有很深的研究。以国防科技大学文贡坚为代表的电子科学与工程技术学院ATR重点实验室，他们主要是采用新的特征、新的匹配准则进行立体匹配，同时针对大遮挡匹配问题进行了处理和研究。

基于固定窗的方法是最基本的立体匹配方法，该方法的核心思想是计算以待匹配像素为中心的矩形窗相似度，将相关性最高的那个点对作为最佳的匹配。选择窗口的大小为关键的问题，如果选择大的窗口，那么低纹理区域的匹配精确率会增加，但边缘处的视差就会模糊不清，如果选择小的窗口，那么低纹理区域的匹配精确率就会下降。为解决窗口大小选择的问题，可以采用各种优化策略进行处理，例如可变窗以及多重窗等。但基于固定窗的立体匹配方法，无论窗口如何选择，窗口内的权值都是相等的，这样导致所有的像素点的匹配窗口大小是相同的，在边缘区域会出现误匹配的几率很大。

Yoon等人从人类视觉心理学出发，提出的一种自适应加权立体匹配算法，根据像素之间的位置和颜色差异对窗口内原始像素代价赋以不同的加权，然后再加以聚合，很多研究表明该算法是所有局部立体匹配算法中匹配效果最好的，且最后得到的结果可以和全局优化的结果相比。但自适应加权算法的运算速度比较慢，复杂度较高，加权的保存需要极大的存储空间，这部分抵消了局部算法优越性。

目前裸视三维视频的关键在于新视点内容产生，即虚拟视点绘制技术，按照场景内容的表现形式，传统的虚拟视点绘制方法一般分为基于模型绘制(Model-Based Rendering，MBR)和基于图像绘制(Image-Based Rendering，IBR)两大类。

MBR方法通过对场景的三维重建，在获得场景的网格和纹理信息后，通过计算机图形学绘制光线的方法旋转平移得到新视点的图像，其计算十分复杂，MBR方法一般只适用于简单的单个目标物体的三维建模、虚拟现实以及计算机图形学等领域，而不适用于交互式视频影像内容。IBR方法避免了复杂场景二维重建这一繁琐的环节，从已知的平面图像，插值合成虚拟视点下的图像，相比MBR方法，IBR绘制方法对计算机的要求不高，能够合成具有很强真实感的新视点图像，且对场景结构没有太多要求，但IBR绘制需要传输的视频信息远远大于MBR方法，这就对视频压缩编码和视点合成方法提出了挑战。

为降低视点的采样密度，McMillan等人首次提出了利用场景深度的这一内在的几何信息，通过3D变换这一图形学方法来绘制虚拟视点，基于深度图像的绘制技术(Depth-Image Based Rendering，DIBR)由此产生。DIBR绘制技术部分的使用了场景的几何信息，但不需要对场景进行三维建模。

在基于视差的插值方法(也称为二维变形法，视图变形法)中，可以从给定的一对真实视图及两者间的密集对应关系表中，插值出新的透视视图。这一对真实视图彼此间的相对姿态必须是已知的，这样便能计算出两者间的对极几何信息，由此信息恢复出每个图像点所对应的方向向量，而由视差可以恢复出每对图像对应关系中的对极偏移量。Chen和Williams等人提出了一种基于对二维对应视差的长度进行线性插值的视图差值的方法，使用此方法，所生成的虚拟视图将位于真实相机中心的连线上，当真实相机出于校正的标准双目立体几何中时，能够获得正确的透视视图。Seitz和Dyer等人将此插值方法扩展为一种视图变形的方法，在此方法中，真实视图在进行视差插值前预先按标准双目立体几何进行校正。Cooke等人将视图变形技术应用在了三维视频会议中，他们从分割后的视差图以及各视点的图像中，整合出了一种具有低冗余度的特殊场景表现形式，从而提高了传输效能。

为了实际应用的需要，匹配效果好的立体匹配算法的运行时间比较长，对于实时性要求较高的裸视三维视频系统而言，需要提高立体匹配算法的实时性能。相比其他局部的立体匹配算法，自适应加权立体匹配算法是匹配效果最好的，且自适应加权立体匹配算法的匹配效果可与全局的立体匹配算法相媲美，兼顾立体匹配精度和算法实时性，自适应加权立体匹配算法更成为了目前的研究热点之一。为使基于可变窗的自适应加权立体匹配算法接近实时性，故采用基于GPU的CUDA(Compute Unified Device Architecture)平台对立体匹配算法进行并行运算加速，以满足裸视三维视频的实时显示需要。然而自适应加权立体匹配算法的匹配窗口具有固定性。因此，在自适应加权立体匹配算法的设计中，寻找一种基于可变窗的自适应加权立体匹配算法变得尤为重要。

发明内容

本发明解决的技术问题在于如何减少所需的摄像机数量和需要传输的数据量，但同样可以体验到三维效果。

为了解决以上问题，本发明提供一种自适应加权立体匹配算法，包括以下步骤：

双目立体图像的获取；

像素点支持窗的选择，计算每一个像素的真实支持窗，对于每个像素点，其支持像素点所构成的支持窗的大小和形状不同；

支持窗内支持权重计算；

代价聚合能量函数计算；

像素点的视差值计算；

原始左对右视差图获得。

进一步，作为一种优选方案，在所述原始左对右视差图获得之后，还包括：

视差优化计算，如果一个像素点左右邻域像素的视差相等，则赋予该像素其左右邻域像素视差值；如果一个像素点上下邻域像素的视差相等，则赋予该像素其上下邻域像素的视差值；其他情况保持视差值不变；

最终左对右视差图获得。

本发明还公开了立体显示采集装置，包括：

双目立体图像的获取模块；

像素点支持窗的选择模块，用于计算每一个像素的真实支持窗，对于每个像素点，其支持像素点所构成的支持窗的大小和形状不同；

支持窗内支持权重计算模块，用于计算支持窗内支持权重计算；

代价聚合能量函数计算模块，用于代价聚合能量函数计算；

像素点的视差值计算模块，用于像素点的视差值计算；

原始左对右视差图获得模块。

本发明还公开了立体显示系统，包括：立体显示采集装置、网络编码传输装置和立体显示终端装置，所述立体显示采集装置包括：双目立体图像的获取模块；

像素点支持窗的选择模块，用于计算每一个像素的真实支持窗，对于每个像素点，其支持像素点所构成的支持窗的大小和形状不同；

支持窗内支持权重计算模块，用于计算支持窗内支持权重计算；

代价聚合能量函数计算模块，用于代价聚合能量函数计算；

像素点的视差值计算模块，用于像素点的视差值计算；

原始左对右视差图获得模块。

本发明由于采用自适应加权立体匹配算法，减少了所需的摄像机数量和需要传输的数据量，但同样可以体验到三维效果。

附图说明

当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，其中：

图1裸视三维视频系统基本架构；

图2左图像与视差图像独立编码示意图；

图3左图像与视差图联合编码示意图；

图4传输层编码方案示意图；

图5裸视三维视频显示端方案设计示意图；

图6三维视频信息采集端方案设计示意图；

图7基于可变窗的自适应加权立体匹配算法框图；

图8基于可变窗的自适应加权立体匹配算法流程图。

具体实施方式

以下参照图6-8对本发明的实施例进行说明。

为使上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例1：

如图7所示，一种自适应加权立体匹配算法，包括以下步骤：

S701、S702，双目立体图像的获取；

S703，像素点支持窗的选择，计算每一个像素的真实支持窗，对于每个像素点，其支持像素点所构成的支持窗的大小和形状不同；

S704，支持窗内支持权重计算；

S705，代价聚合能量函数计算；

S706，像素点的视差值计算；

S707，原始左对右视差图获得。

进一步，作为优选方案，一种自适应加权立体匹配算法，在所述原始左对右视差图获得S707之后，还包括：

S708，视差优化计算，如果一个像素点左右邻域像素的视差相等，则赋予该像素其左右邻域像素视差值；如果一个像素点上下邻域像素的视差相等，则赋予该像素其上下邻域像素的视差值；其他情况保持视差值不变；

S709，最终左对右视差图获得。

实施例2：

如图6所示，一种立体显示采集装置，包括：

双目立体相机601；

IEEE1394数据线602，用于传输图像数据；

左视图像603、右视图像604，用于存在左右图像；

基于立体匹配算法的视差图估计模块605，包括：

像素点支持窗的选择模块，用于计算每一个像素的真实支持窗，对于每个像素点，其支持像素点所构成的支持窗的大小和形状不同；

支持窗内支持权重计算模块，用于计算支持窗内支持权重计算；

代价聚合能量函数计算模块，用于代价聚合能量函数计算；

像素点的视差值计算模块，用于像素点的视差值计算；

参考图像606、视差图像607存储模块；

基于H.264/AVC的视频编码模块608；

网络层编码模块609。

实施例3：

如图8所述，S801、设定视差值d的范围；S802、读取左图像；S803、取中心像素；S804原始目标支持窗设定；S805、读取右图像；S806、对应像素；S807原始参考支持窗设定；S808、循环判断；S809、判断是否为支持像素点；S810确定坐标；S811、计算左图两点颜色和空间距离；S812、计算右图两点颜色和空间距离；S813、计算左图权值；S815、计算右图权值；S814、计算原始代价函数；S817、S918、赋初始值；S818、S823、代价聚合能量函数计算；S822、判断循环是否结束；S816、S820、S821、循环判断并赋值；S824、求最小值；S825、获得初始最优视差；S826、滤波计算；S827、最终最优视差。

虽然视觉聚类的规则很多，但是在立体匹配算法中，相似性是起主导作用的，利用颜色之间的相似性聚类原则来选择和估计支持像素。对于给定的像素点p，根据人眼的聚合规则，像素点h与像素点p是相似的，而像素点q与像素点p不相似，所以可以认为像素点q不是像素点p的支持像素，而像素点h是给定像素点p的支持像素。

我们假设pr、pr、pb分别代表像素点p在RGB颜色空间的红色、绿色和蓝色分量，定义像素p，q间的颜色距离fc(p，q)如下：

f_c(p，q)＝|p_r-q_r|+|p_g-q_g|+|p_b-q_b|(1)

判断像素点q是否为像素点p的支持像素，首先定义

f_c(p_L，q_L)＝|p_Lr-q_Lr|+|p_Lg-q_Lg|+|p_Lb-q_Lb|(2)

然后设置一个阈值T1来判定像素点q是否为像素点p的支持像素，并给定一个比例函数Rs(p，q)。

如果f_c(p_L，q_L)≤T₁时，则我们认为像素q_L是像素p_L的支持像素，Rs(p，q)＝1；

如果f_c(q_L，q_L)＞T₁，像素q_L不是像素p_L的支持像素，Rs(p，q)＝0。

在支持像素点被选出后，便得到像素点p的支持窗口，由于支持像素点可能是不连续的存在，故基于可变窗的自适应加权立体匹配算法中的支持窗体中也存在一定的不连续性，大小和形状可变。

在选定支持窗体后，本文采用的自适应加权代价函数是通过像素颜色相似性和几何距离相近性来计算匹配窗中每个像素的加权，且与传统算法中像素点之间的颜色相似性在CIELab颜色空间计算不同，提出的算法中在RGB空间进行计算，加权计算为：

$w(p,q)=\exp (-(\frac{{\mathrm{\Δc}}_{\mathrm{pq}}}{{\mathrm{\γ}}_c}+\frac{{\mathrm{\Δg}}_{\mathrm{pq}}}{{\mathrm{\γ}}_p}))---\left(3\right)$

其中，Δcpq代表待匹配像素点p与其支持窗内的像素点q之间的颜色的欧几里德距离，Δgpq代表待匹配像素点p与其支持窗内的像素点q之间的图像坐标之间的欧几里德距离。γc和γp分别为颜色之间相似性和几何空间邻近性控制参数。

${\mathrm{\Δc}}_{\mathrm{pq}}=\sqrt{{(p_r-q_r)}^2+{(p_g-q_g)}^2+{(p_b-q_b)}^2}---\left(4\right)$

${\mathrm{\Δg}}_{\mathrm{pq}}=\sqrt{{(i_p-i_q)}^2+{(j_p-j_q)}^2}---\left(5\right)$

参考图像中待匹配像素p和目标图像中像素pd之间的代价函数E(p，pd)计算如下：

$E(p,p_d)=\frac{{\mathrm{\Σ}}_{q\∈N_p,q_d\∈N_{p_d}}w(p,q)w(p_d,q_d)e(q,q_d)R_s(p,q)}{{\mathrm{\Σ}}_{q\∈N_p,q_d\∈N_{p_d}}w(p,q)w(p_d,q_d)}---\left(6\right)$

其中，w(p，q)为目标图像中支持像素点q对待匹配像素点p的支持加权值，w(pd，qd)为参考图像中支持像素点qd对待匹配像素点pd的支持加权值；e(q，qd)表示像素点q与像素点qd的原始代价函数。当采用绝对距离计算时，表达式如下：

e(q，q_d)＝min{f_c(q，q_d)，T₂}    (7)

其中，T2为截断门限，即当RGB颜色空间的亮度差的和大于门限值时取为截断门限值。

采用WTA(Winner-Takes-All)算法获得每个像素点的视差

$d_p=\arg \underset{d\∈D}{\min }E(p,p_d)---\left(8\right)$

D＝{dmin，...，dmax}是所有可能视差值的集合。

得到的视差图中可能会含有比较明显的噪声点，通过滤波方法去掉孤立点，具体方法为：如果一个像素左右邻域像素的视差相等，则赋予该像素其左右邻域像素视差值；同样，如果一个像素其上下邻域像素的视差相等，则赋予该像素其上下邻域像素的视差值；其他情况保持视差值不变。

考虑到GPU优秀的并行运算能力，在NVIDIA推出CUDA之前，就有学者采用通用并行计算实现立体匹配，国际上已有人对立体匹配算法等采用GPU进行运算加速，但都是针对标准图像，没有针对真实场景。结合课题需求，提出的基于可变支持窗的自适应加权立体匹配算法在CUDA平台上并行实现，对标准图像和实际场景图像都进行了实验分析。

数据从CPU输入GPU，有三种存储模式：常量内存、纹理内存和全局内存。常量内存适合存放查找表等常量数据且只有一个端口。纹理内存一般用来对二维或三维图像进行随机读取，全局内存和共享内存组合成一种高效的内存访问方式。由于在立体匹配算法中的数据是连续读写，故此次采用的是全局内存和共享内存组合的存储器模式。

基于可变支持窗的自适应加权立体匹配算法在CUDA平台上实现时，定义了四个核心函数在GPU上分别并行执行。执行步骤如下：

将左右图像序列读入到主机内存；

将左右图像数据从主机内存传递到设备全局内存，且定义为纹理内存；

在GPU上启动计算代价聚合能量核心函数，并将计算结果保存到全局内存；

在视差范围内计算每个像素点在其支持窗口内的代价聚合能量，将聚合能量最小时的视差值作为像素点的视差值；

将得到得视差值计算结果进行优化后保存到主机内存并写入图像，从而得到视差图。

利用空间一点深度信息与其视差之间的关系，深度信息被转换成原始图像用来绘制多视点图像的视差值。

其中，Z代表像素点P到相机的深度值，f代表相机的焦距，x1和x2分别代表第一个视点和第二个视点的水平坐标，通过几何关系可以得到如下公式：

$x_m=x_{m-1}+\frac{t}{N-1}\frac{f}{Z}---\left(9\right)$

$x_{m-1}=x_{m-2}+\frac{t}{N-1}\frac{f}{Z}---\left(10\right)$

...

$x_2=x_1+\frac{t}{N-1}\frac{f}{Z}---\left(11\right)$

将以上m-1个式子叠加得到：

$x_m=x_1+(m-1)\frac{t}{N-1}\frac{f}{Z}$

m＝2，3，...，N(12)

由 $d=\frac{\mathrm{ft}}{Z}$ 得：

$x_m=x_1+(m-1)\frac{d}{N-1}---\left(13\right)$

由此可见，不需要经过几何变换得到视差信息对应的深度信息，根据参考图像和视差图像信息便可获得其他视点的图像信息，可以根据需要方便调整相邻视图之间的视差，比采用DIBR技术更容易实现虚拟视点图像的快速合成。

如上所述，对本发明的实施例进行了详细地说明，但是只要实质上没有脱离本发明的发明点及效果可以有很多的变形，这对本领域的技术人员来说是显而易见的。因此，这样的变形例也全部包含在本发明的保护范围之内。

Claims (8)

1.一种自适应加权立体匹配算法，其特征在于：包括以下步骤：

双目立体图像的获取；

像素点支持窗的选择，计算每一个像素的真实支持窗，对于每个像素点，其支持像素点所构成的支持窗的大小和形状不同；

支持窗内支持权重计算；

代价聚合能量函数计算；

像素点的视差值计算；

原始左对右视差图获得。

2.如权利要求1所述一种自适应加权立体匹配算法，其特征在于：在所述原始左对右视差图获得之后，还包括：

视差优化计算，如果一个像素点左右邻域像素的视差相等，则赋予该像素其左右邻域像素视差值；如果一个像素点上下邻域像素的视差相等，则赋予该像素其上下邻域像素的视差值；其他情况保持视差值不变；

最终左对右视差图获得。

3.如权利要求1或2所述一种自适应加权立体匹配算法，其特征在于：所述所有步骤在CUDA运算平台上实现。

4.一种使用方法1至3之一的立体显示采集装置，其特征在于，包括：

双目立体图像的获取模块；

像素点支持窗的选择模块，用于计算每一个像素的真实支持窗，对于每个像素点，其支持像素点所构成的支持窗的大小和形状不同；

支持窗内支持权重计算模块，用于计算支持窗内支持权重计算；

代价聚合能量函数计算模块，用于代价聚合能量函数计算；

像素点的视差值计算模块，用于像素点的视差值计算；

原始左对右视差图获得模块。

5.如权利要求4所述立体显示采集装置，其特征在于：在原始左对右视差图获得模块之后还包括以下模块：

视差优化计算模块，如果一个像素点左右邻域像素的视差相等，则赋予该像素其左右邻域像素视差值；如果一个像素点上下邻域像素的视差相等，则赋予该像素其上下邻域像素的视差值；其他情况保持视差值不变；

最终左对右视差图获得模块。

6.一种立体显示系统，其特征在于，包括：立体显示采集装置、网络编码传输装置和立体显示终端装置，所述立体显示采集装置包括：

双目立体图像的获取模块；

像素点支持窗的选择模块，用于计算每一个像素的真实支持窗，对于每个像素点，其支持像素点所构成的支持窗的大小和形状不同；

支持窗内支持权重计算模块，用于计算支持窗内支持权重计算；

代价聚合能量函数计算模块，用于代价聚合能量函数计算；

像素点的视差值计算模块，用于像素点的视差值计算；

原始左对右视差图获得模块。

7.如权利要求6所述一种立体显示系统，其特征在于，在原始左对右视差图获得模块之后还包括以下模块：

视差优化计算模块，如果一个像素点左右邻域像素的视差相等，则赋予该像素其左右邻域像素视差值；如果一个像素点上下邻域像素的视差相等，则赋予该像素其上下邻域像素的视差值；其他情况保持视差值不变；

最终左对右视差图获得模块。

8.如权利要求6所述一种立体显示系统，其特征在于，所述立体显示终端装置采用视差的视图变形法完成多视点的渲染。

Images