CN102215417A - 一种基于块匹配建立数学模型的视差预测方法 - Google Patents

Abstract

一种基于块匹配建立数学模型的视差预测方法，属于立体视频视差预测技术领域。本发明主要包括：步骤一的横向遍历搜索，解决了以往视差搜索算法的大视差计算复杂度高的不足；步骤二的垂直搜索，限定在有限范围之内，减小带宽并提高搜索效率，而且对摄像系统的抖动给予一定的纠正。本发明确立了适用于立体视频领域的视差矢量预测方法，与平面视频中运动矢量预测的方法相比计算量小，速度快，精度高，满足了立体视频的实时性需求，为高性能、高品质的数字电视芯片设计创造了必要条件。

Description

一种基于块匹配建立数学模型的视差预测方法

技术领域

本发明涉及一种基于块匹配建立数学模型的视差预测方法，属于立体视频视差预测技术领域。

背景技术

随着科技的发展，与立体视频相关的技术不断成熟，人们对立体视频的需求也不断增长。与传统的平面视频处理技术相比，立体视频具有巨大的图像数据处理量、存储量、传输量，因此其算法和系统设计都非常复杂。人类的大脑具有能够将双眼获得的图像信息加以处理，形成真实的三维立体实体的能力。随着人们对立体视频显示的需求，立体视频编、解码算法及显示技术得到迅速发展。

在目前的绝大多数的立体视频处理领域，深度信息的获取已成为能否得到较为精确地视频的关键技术所在。当今深度信息的获取主要采用基于双目视觉的三维摄像机实现。这种摄像机由两个参数完全一致的摄像头组成，通过两个摄像头来获得不同视角的两幅图像。这两幅图像间存在大量的空间冗余信息，为了减小图像的数据处理量及传输量，通常需要将两幅图像中的视差矢量转换为深度信息进行存储。所以能否准确地得到深度信息依赖于有效的获取视差信息。

在各种运动预测及视差预测方法中，块匹配法由于其原理简单、便于实现等优点得到了普遍应用，被许多视频编码标准所采用，在理论研究和实践应用中得到了不断的发展和完善，成为数字视频技术的一个研究热点。其相关快速算法也得到了广泛的研究和发展。如今基于块匹配的运动预测和视差预测主要集中于块的形状和大小、块匹配准则和搜索策略。搜索策略是否恰当对预测的准确性和速度都有很大影响。有关搜索策略的研究主要是解决预测中存在的运算复杂度和搜索精确度这一矛盾。目前的搜索方法主要有：全搜索法(FS)、二维对数法(TDL)、三步法(TSS)、交叉法(CS)、新三步法(NTSS)、四步法(FSS)、菱形法(DS)和运动场自适应搜索算法等。

视差预测与运动预测的目的是一致的，都是为了寻求两幅对应图像之间像素或块的匹配程度。运动预测的两幅图像是由同一摄像机在不同时刻摄取的，而视差预测图像对是由两个摄像机在相同时刻摄取的。视差预测与运动预测的不同之处在于：

(1)对于立体视频图像，由于是处于同一平面的多摄像机同时摄入，几乎所有像素的视差均非零，视差预测时需要处理的信息量巨大，如何提高算法的运算速率成为需要解决的一个难题。

(2)在以往的运动预测算法中，运动矢量的范围通常受到限制。而在多视角视频中，越靠近摄像机的物体视差矢量越大，处理起来难度越高，如何有效的计算得到大视差情况下的视差矢量是视差预测中需要解决的另一难题。

(3)如果简单的使用运动预测方法对视差进行预测，由于视差场极大，所以必须扩大搜索范围，不可避免的会增加搜索难度，降低预测精度。如何有效的利用视差场的规律，减小搜索范围也是一个难题。

由于视差预测的特殊性，已有的算法并不能很好的解决上述问题，因此有必要提出一种新型的视差预测模型，能够降低计算的复杂度，并提高搜索效率及搜索的准确性。

发明内容

针对现有技术的不足，本发明提出一种基于块匹配建立数学模型的视差预测方法。

立体视频图像是由处于同一平面上的多个摄像机同时摄像得到的同一物体的视频图像序列。在同一时刻，摄像机所摄取的图像对的像素之间几乎均存在视差，只有无限远处的物体对应的像素之间视差为零，而且在正常情况下图像对中对应的像素之间的视差只有水平分量，若摄像机之间发生相对抖动，则所产生的图像对的对应像素之间的视差将产生垂直分量。

运动预测与视差预测以寻求两幅图像之间的相关性为目的以往的运动预测算法中，运动矢量的范围通常是有限的，若将运动预测算法应用于视差预测中，可能无法有效解决视差场中大视差的问题，且对于正常情况下只有水平方向的视差矢量，运动预测算法的计算复杂度较高，搜索效率将会大大降低。所以，运动预测算法并不能很好地适用于视差预测。

针对正常情况下视差矢量只含有水平分量的情况，本发明给出一种十字搜索算法，能够很好的解决视差矢量预测过程中大视差的情况，同时对于由摄像系统抖动所引起的视差矢量偏差给予一定的纠正。

本发明的目的通过以下技术方案实现：

一种基于块匹配建立数学模型的视差预测方法，包括以下步骤：

步骤一：存储器读入同一时间由两摄像机分别摄取的图像P₁、P₂的灰度信息值；

步骤二：建立水平方向视差预测搜索数学模型：

G(k，0)＝min{G(i，0)}，i、k∈[0，W]，

其中，G(i，0)为图像中宏块的视差矢量(i，0)对应的匹配误差；G(k，0)为由不同的i值构成的匹配误差集合中的最小值；W表示水平方向搜索范围；

步骤三：建立垂直方向视差预测搜索数学模型：

G(k，p)＝min{G(k，j)}，j、p∈[-b，+b]，

其中，G(k，j)为图像中宏块的视差矢量(k，j)对应的匹配误差；G(k，p)为由不同的j值构成的匹配误差集合中的最小值；b表示垂直方向搜索范围；

步骤四：通过以上步骤得出各个宏块对应的视差矢量(k，p)；

步骤五：对图像进行滤波去噪处理，根据视差矢量(k，p)得到视差预测图像；

步骤六：根据视差与深度之间的对应关系，由视差预测图像得到深度预测图像。

本发明的有益效果是：

本发明提出了一种立体视频处理系统中基于块匹配的新型视差预测模型，与以往的视差预测算法相比，理论上可以有效降低运算复杂度，提高搜索效率和精确度。本发明也可解决由于摄像系统抖动带来的视差矢量偏差。

附图说明

图1是本发明中基于双目视觉的立体视频摄像系统的无咬合效应。

图2是本发明中视差矢量大小差异模型。

图3是本发明中十字搜索视差矢量预测模型。

具体实施方式

实施例1：

一种基于块匹配建立数学模型的视差预测方法如下：

步骤一：输入同一时间由两摄像机分别摄取的图像P₁、P₂的灰度信息值；

步骤二：建立水平方向视差预测搜索数学模型：

G(k，0)＝min{G(i，0)}，i、k∈[0，W]，

其中，G(i，0)表示为图像中宏块的视差矢量(i，0)对应的匹配误差；G(k，0)表示由不同的i值构成的匹配误差集合中的最小值；W表示垂直方向搜索范围；设所选择宏块的大小为M×N，采用求和绝对误差(SAD)作为相应的块匹配准则，则公式表示为

其中L、R分别表示左右摄像头拍摄的对应图像。针对给定的宏块在另一帧对应的图像中沿水平方向在宏块之后遍历整个图像范围搜索，此时可令j＝0。若SAD(k，0)＝min{SAD(i，0)}，i、k∈[0，W](W为水平方向搜索范围)，则说明在水平方向上最相关预测块所对应的视差矢量为(k，0)；

步骤三：建立垂直方向视差预测搜索数学模型：

G(k，p)＝min{G(k，j)}，j、p∈[-b，+b]；

其中b表示垂直方向搜索范围；以步骤二得出的预测块为基准，在[-b，+b]像素范围内沿垂直方向搜索。此时

(其中j∈[-b，+b])。若SAD(k，p)＝min{SAD(k，j)}，j、p∈[-b，+b]，则说明在垂直方向上找到比第一步搜索得到的预测块更为精确的预测块，视差矢量的垂直分量为p。通过以上方法得出的视差矢量为(k，p)。如果p≠0则说明在拍摄此帧图像的过程中产生了垂直方向的抖动。通过这种方法可以得出视差矢量的大小及由于摄像系统抖动引起的偏差程度。

步骤四：通过以上步骤得出各个宏块对应的视差矢量(k，p)；

步骤五：对图像进行滤波去噪处理，根据视差矢量(k，p)得到视差预测图像；

步骤六：根据视差与深度之间的对应关系，由视差预测图像得到深度预测图像。

实施例2：

一种基于块匹配建立数学模型的视差预测方法，与实施例1相同，差别在于，采用求归一化互相关函数(NCCF)作为相应的块匹配准则。

实施例3：

一种基于块匹配建立数学模型的视差预测方法，与实施例1相同，差别在于，采用最小均方误差函数(MSE)作为相应的块匹配准则。

实施例4：

一种基于块匹配建立数学模型的视差预测方法，与实施例1相同，差别在于，采用绝对平均误差函数(MAE)作为相应的块匹配准则。

Claims (4)

1.一种基于块匹配建立数学模型的视差预测方法，其特征在于，视差预测方法如下：

步骤一：存储器读入同一时间由两摄像机分别摄取的图像P₁、P₂的灰度信息值；

步骤二：建立水平方向视差预测搜索数学模型：

G(k，0)＝min{G(i，0)}，i、k∈[0，W]，

其中，G(i，0)为图像中宏块的视差矢量(i，0)对应的匹配误差；G(k，0)为由不同的i值构成的匹配误差集合中的最小值；W表示水平方向搜索范围；

步骤三：建立垂直方向视差预测搜索数学模型：

G(k，p)＝min{G(k，j}}，j、p∈[-b，+b]，

其中，G(k，j)为图像中宏块的视差矢量(k，j)对应的匹配误差；G(k，p)为由不同的j值构成的匹配误差集合中的最小值；b表示垂直方向搜索范围；

步骤四：通过以上步骤得出各个宏块对应的视差矢量(k，p)；

步骤五：对图像进行滤波去噪处理，根据视差矢量(k，p)得到视差预测图像；

步骤六：根据视差与深度之间的对应关系，由视差预测图像得到深度预测图像。

2.根据权利要求1所述的一种基于块匹配建立数学模型的视差预测方法，其特征在于，步骤二和步骤三中选用的块匹配准则方法选用求和绝对误差函数或归一化互相关函数或最小均方误差函数或绝对平均误差函数；

3.根据权利要求1所述的一种基于块匹配建立数学模型的视差预测方法，其特征在于，步骤二中的视差预测搜索范围遍历当前宏块之后的整个图像横向区域；步骤三中的视差预测搜索限定在[-b，+b]的有限范围内，以减小带宽，提高搜索效率，b的取值由宏块的大小决定，若宏块为16×16，则取b＝16；

4.根据权利要求1所述的一种基于块匹配建立数学模型的视差预测方法，其特征在于步骤六中由视差预测图像得到深度预测图像，依据表达式进行；其中Z表示深度大小，d表示视差大小，T表示相邻摄像机之间的距离，f表示摄像机焦距。

Images