CN101662695A - 一种获取虚拟视图的方法和装置 - Google Patents

Abstract

本发明公开了一种获取虚拟视图的方法和装置，属于计算机视觉领域。方法包括：利用N个图像采集设备采集得到N个不同视点的原始图像；对N个原始图像进行像素窗口匹配，得到N个原始图像中每两个相邻图像对应的深度图像；从N个原始图像中任选一个图像作为参考视图，并在参考视图和其相邻原始图像之间，确定待获取虚拟视图的位置；根据参考视图，参考视图和其相邻原始图像对应的深度图像，以及待获取虚拟视图相对参考视图的距离，对参考视图进行平移得到待获取虚拟视图。装置包括：原始图像获取模块、深度图像获取模块、参考视图获取模块和虚拟视图获取模块。通过对原始图像进行像素窗口匹配和平移得到虚拟视图，不需要人工参与，减少了工作量，降低了成本。

Description

一种获取虚拟视图的方法和装置

技术领域

本发明涉及计算机视觉领域，特别涉及一种获取虚拟视图的方法和装置。

背景技术

近年来，随着自由立体显示技术的快速发展，出现了可以让人们体验到立体感和真实感的立体视频，并且还出现了不需要观察者佩戴立体眼镜或者其他特制设备就可以体验到立体感和真实感的立体视频。与传统的二维视频相比，立体视频是一种更有效、更真实的表达方式。它克服了二维视频的片面性与被动性的缺点，能够更充分地满足人们的视觉感官需求，在交互式FVV(FreeViewpoint Video，自由视点视频)、虚拟现实、3DTV(3Dimension Television，3维电视)、3D游戏、体育直播、广告传媒等很多领域有着广泛的应用前景。基于立体视频的种种优点，如何制作立体视频获得了研究界和工业界越来越多的关注，立体视频的制作技术也越来越成熟。制作立体视频时，一般需要先获取虚拟视图，然后根据虚拟视图就可以很容易地得到立体视频，因此制作立体视频的关键在于如何获取虚拟视图。

目前获取虚拟视图的方法通常是：首先，通过图像采集设备采集得到多个不同视点的原始图像；然后，使用一些专用的图像编辑软件(如Photoshop等)，由熟练的技术人员一帧一帧地对采集到的多个不同视点的原始图像进行人工处理，得到虚拟视图。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

现有的方法需要大量的人工参与，如以每秒24帧计算，一分钟的立体视频就需要处理1440帧图像，因此，工作量非常大，成本也很高。

发明内容

为了减少获取虚拟视图过程中人工参与量、降低成本，本发明实施例提供了一种获取虚拟视图的方法和装置。所述技术方案如下：

一方面，本发明实施例提供了一种获取虚拟视图的方法，所述方法包括：

利用N个图像采集设备采集得到N个不同视点的原始图像，所述N为大于1的自然数；

对N个所述原始图像进行像素窗口匹配，得到N个所述原始图像中每两个相邻图像对应的深度图像；

从N个所述原始图像中任选一个图像作为参考视图，并在所述参考视图和其相邻原始图像之间，确定待获取虚拟视图的位置；

根据所述参考视图，所述参考视图和其相邻原始图像对应的深度图像，以及所述待获取虚拟视图相对所述参考视图的距离，对所述参考视图进行平移得到所述待获取虚拟视图。

另一方面，本发明实施例提供了一种获取虚拟视图的装置，所述装置包括：

原始图像获取模块，用于利用N个图像采集设备采集得到N个不同视点的原始图像，所述N为大于1的自然数；

深度图像获取模块，用于在所述原始图像获取模块得到N个不同视点的原始图像后，对N个所述原始图像进行像素窗口匹配，得到N个所述原始图像中每两个相邻图像对应的深度图像；

参考视图获取模块，用于在所述深度图像获取模块得到深度图像后，从N个所述原始图像中任选一个图像作为参考视图，并在所述参考视图和其相邻原始图像之间，确定待获取虚拟视图的位置；

虚拟视图获取模块，用于在所述参考视图获取模块确定待获取虚拟视图的位置后，根据所述参考视图，所述参考视图和其相邻原始图像对应的深度图像，以及所述待获取虚拟视图相对所述参考视图的距离，对所述参考视图进行平移得到所述待获取虚拟视图。

本发明实施例提供的技术方案的有益效果是：

通过对原始图像进行像素窗口匹配和平移得到虚拟视图，不需要人工参与，减少了工作量，降低了成本。

附图说明

图1是本发明实施例1提供的一种获取虚拟视图的方法流程图；

图2是本发明实施例2提供的一种获取虚拟视图的方法流程图；

图3是本发明实施例3提供的一种获取虚拟视图的装置结构示意图；

图4是本发明实施例3提供的另一种获取虚拟视图的装置结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例1

本发明实施例提供了一种获取虚拟视图的方法，参见图1，具体包括：

101：利用N个图像采集设备采集得到N个不同视点的原始图像，N为大于1的自然数。

图像采集设备可以是摄像机、照相机、数码相机等可以采集图像的设备。图像采集设备采集到的原始图像一般为RGB(Red Green Blue，红绿蓝)空间的图像；N个图像采集设备可以根据具体情况，按照平行或者汇聚的方式依次排列在采集对象的周围，分别从不同角度对采集对象进行采集，得到N个不同视点的原始图像。

102：对N个原始图像进行像素窗口匹配，得到N个原始图像中每两个相邻图像对应的深度图像。

需要说明的是，N个原始图像中每两个相邻图像是指该两个图像是由位置相邻的图像采集设备采集得到的，并且文中其他地方的相邻的图像采集设备是指位置上相邻。每两个相邻图像可以得到一个对应的深度图像，可根据实际应用状况需要得到需要个数的深度图像，实际应用中并不一定需要得到N个原始图像中所有两个相邻图像对应的深度图像。

103：从N个原始图像中任选一个图像作为参考视图，并在参考视图和其相邻原始图像之间，确定待获取虚拟视图的位置。

其中，参考视图的相邻原始图像可以是与参考视图相邻的任一原始图像，可以根据实际应用状况，灵活选择。待获取虚拟视图是需要得到的虚拟视图。待获取虚拟视图需要参考哪个原始图像得到，则选择该原始图像作为该待获取虚拟视图的参考视图。

104：根据参考视图，参考视图和其相邻原始图像对应的深度图像，以及待获取虚拟视图相对参考视图的距离，对参考视图进行平移得到待获取虚拟视图。

其中，对N个原始图像进行像素窗口匹配，得到N个原始图像中每两个相邻图像对应的深度图像，具体包括：

为N个原始图像中的每个图像中的每个像素预设一个匹配窗口；

将N个原始图像中的每个图像中的每个像素分别作为当前像素，根据当前像素对应的匹配窗口中的每个像素相对当前像素的颜色和距离信息，利用预设的像素支持权重计算公式，分别计算得到当前像素对应的匹配窗口中的每个像素对当前像素的支持权重；

在将N个原始图像中的每个图像中的每个像素的支持权重计算完成后，将N个原始图像中的每个图像分别作为当前图像，将当前图像中的每个像素分别作为当前像素，从当前图像的相邻图像中为当前像素选择多个待匹配像素，根据当前像素对应的匹配窗口中每个像素对当前像素的支持权重，利用预设的像素窗口权重累积平方差计算公式，分别计算得到当前像素与多个待匹配像素中的每个待匹配像素的像素窗口权重累积平方差值；

在将每两个相邻图像之间的参考像素和待匹配像素的像素窗口权重累积平方差值计算完成后，根据计算得到的所有像素窗口权重累积平方差值，为每个图像中的每个像素，在其对应的多个待匹配像素中，选择一个待匹配像素作为该像素的匹配像素；

根据N个所述原始图像中各个图像之间相互匹配的像素、N个所述图像采集设备中每两个相邻图像采集设备之间的基线距离，利用预设的深度图像像素值计算公式，计算得到N个所述原始图像中每两个相邻图像对应的深度图像的像素值。

本发明实施例中为N个原始图像中的每个图像中的每个像素预设一个匹配窗口可以为：将N个校正后的图像中的每个图像中的每个像素分别作为中心像素，将以每个中心像素为中心的该中心像素的周围的其他像素组合得到每个像素对应的预设大小的匹配窗口。还可以根据实际应用状况采用其他方法为N个原始图像中的每个图像中的每个像素预设一个匹配窗口。

其中，预设的像素支持权重计算公式具体为：

$w(p,q)=\exp (-\frac{{\mathrm{\Δc}}_{\mathrm{pq}}}{r_c})\·\exp (-\frac{{\mathrm{\Δg}}_{\mathrm{pq}}}{r_p})$

其中，w(p，q)表示像素q对像素p的支持权重，Δc_pq表示p、q两像素的颜色的欧几里德度量，Δg_pq表示p、q两像素的距离的欧几里德度量，r_c、r_p是与人类视觉系统的视场有关的系数，r_c、r_p的数值可调节；

预设的像素窗口权重累积平方差计算公式具体为：

$E(p_d,{\stackrel{\‾}{p}}_d)=\frac{{\mathrm{\Σ}}_{q_d\∈N_p,{\stackrel{\‾}{q}}_d\∈N_{\stackrel{\‾}{p}}}w(p_d,q_d)w({\stackrel{\‾}{p}}_d,{\stackrel{\‾}{q}}_d)e(q_d,{\stackrel{\‾}{q}}_d)}{{\mathrm{\Σ}}_{q_d\∈N_p,{\stackrel{\‾}{q}}_d\∈N_{\stackrel{\‾}{p}}}w(p_d,q_d)w({\stackrel{\‾}{p}}_d,{\stackrel{\‾}{q}}_d)}$

其中，p_d、p_d分别表示N个原始图像中两相邻图像之间的参考像素和待匹配像素，E(p_d，p_d)表示两相邻图像之间的参考像素和待匹配像素的像素窗口权重累积平方差，w(p_d，q_d)，w(p_d，q_d)分别表示q_d对p_d的支持权重、q_d对p_d的支持权重，N_p表示像素p_d对应的匹配窗口中的所有的像素，N_p表示像素p_d对应的匹配窗口中的所有的像素，e(q_d，q_d)表示两相邻图像的对应的匹配窗口中同一位置的像素之间的平方差值；

预设的深度图像像素值计算公式具体为：

$Z=f\frac{b_1}{d_1}$

其中，Z表示N个原始图像中两个相邻图像对应的深度图像；f表示N个图像采集设备中两个相邻图像采集设备的焦距的平均值；b₁表示N个图像采集设备中两个相邻图像采集设备之间的基线距离；d₁表示N个原始图像中两个相邻图像之间相互匹配像素的位置的相对距离的绝对值。

进一步地，为N个原始图像中的每个图像中的每个像素预设一个匹配窗口之后，将N个原始图像中的每个图像中的每个像素分别作为当前像素，根据当前像素对应的匹配窗口中的每个像素相对当前像素的颜色和距离信息，利用预设的像素支持权重计算公式，分别计算得到当前像素对应的匹配窗口中的每个像素对当前像素的支持权重之前还包括：

将N个原始图像从红绿蓝RGB空间转换到CIELab空间；

相应地，将N个原始图像中的每个图像中的每个像素分别作为当前像素，根据当前像素对应的匹配窗口中的每个像素相对当前像素的颜色和距离信息，利用预设的像素支持权重计算公式，分别计算得到当前像素对应的匹配窗口中的每个像素对当前像素的支持权重具体为：

在CIELab空间中，将N个原始图像中的每个图像中的每个像素分别为当前像素，根据当前像素对应的匹配窗口中的每个像素相对当前像素的颜色和距离信息，利用预设的像素支持权重计算公式，分别计算得到当前像素对应的匹配窗口中的每个像素对当前像素的支持权重。

其中，根据参考视图，参考视图和其相邻原始图像对应的深度图像，以及待获取虚拟视图相对参考视图的距离，对参考视图进行平移得到待获取虚拟视图具体包括：

根据参考视图，参考视图和其相邻原始图像对应的深度图像，利用预设的虚拟视图相对参考视图的距离公式，计算得到待获取虚拟视图相对参考视图的距离；

根据计算得到的待获取虚拟视图相对参考视图的距离，对参考视图进行平移，得到待获取虚拟视图。

其中，预设的虚拟视图相对参考视图的距离公式具体为：

$d_2=f\frac{b_2}{Z}$

其中，d₂表示待获取虚拟视图与参考视图之间对应像素的位置的相对距离；f表示N个图像采集设备中两个相邻图像采集设备的焦距的平均值；Z表示N个所述原始图像中两个相邻图像对应的深度图像的像素值；b₂表示待获取虚拟视图与参考视图的基线距离，且 $b_2=\frac{b_1}{k},$ k为大于1的自然数，b₁表示N个图像采集设备中两个相邻图像采集设备之间的基线距离。

进一步地，利用N个图像采集设备采集得到N个不同视点的原始图像之后，对N个原始图像进行像素窗口匹配，得到N个原始图像中每两个相邻图像对应的深度图像之前还包括：

对N个图像采集设备采集到的N个不同视点的原始图像进行外极线校正，得到N个校正后的图像；

相应地，对N个原始图像进行像素窗口匹配，得到N个原始图像中每两个相邻图像对应的深度图像具体为：

对N个校正后的图像进行像素窗口匹配，得到N个校正后的图像中每两个相邻图像对应的深度图像；

相应地，从N个原始图像中任选一个图像作为参考视图，在参考视图和其相邻原始图像之间，确定待获取虚拟视图的位置具体为：

从N个校正后的图像中任选一个图像作为参考视图，在参考视图和其相邻的校正后的图像之间，确定待获取虚拟视图的位置；

相应地，根据参考视图，参考视图和其相邻原始图像对应的深度图像，以及待获取虚拟视图相对参考视图的距离，对参考视图进行平移得到待获取虚拟视图具体为：

根据参考视图，参考视图和其相邻的校正后的图像对应的深度图像，以及待获取虚拟视图相对参考视图的距离，对参考视图进行平移得到待获取虚拟视图。

本发明实施例所述的获取虚拟视图的方法，通过对原始图像进行像素窗口匹配和平移得到虚拟视图，不需要人工参与，减少了工作量，降低了成本。并且通过利用立体匹配中的基于颜色和距离的区域度量法则，可以较好地描述空间事物的特征属性。可以根据具体情况选择生成多个虚拟视图，可以在不同采集条件下，得到多个不同的虚拟视图，可以有效地利用已有的图像采集设备。由于采用了自适应权重的窗口匹配，能够对不同深度层面的像素赋予比较合适的权重，提高了匹配的准确性。可以分别获取深度图像和虚拟视图，能够应用于各种不同商业需求，具有很广泛的适用性，对于不同的立体显示器，可以采取不同的立体视图合成方法，达到多视点自由立体显示效果。

实施例2

本发明实施例提供了一种获取虚拟视图的方法，参见图2，具体包括：

201：N个图像采集设备对采集对象进行采集，得到N个不同视点的原始图像，其中N为大于1的自然数。

图像采集设备可以是摄像机、照相机、数码相机等可以采集图像的设备。N个图像采集设备可以根据具体情况，按照平行或者汇聚的方式依次排列在采集对象的周围，分别从不同角度对采集对象进行采集，得到N个不同视点的原始图像。

202：对N个图像采集设备采集到的N个不同视点的原始图像进行外极线校正，得到N个校正后的图像。

需要说明的是，在双视几何中，如果一个像素的深度未知，那么该像素就可能对应参考视图中的一条直线上的所有像素，也就是说在参考视图中的这条直线上的所有像素都可能与该像素匹配，但是实际上匹配像素只有一个，并且一般情况下这条直线不是一条水平直线，而是一条斜线，称为该像素对应的外极线。通过外极线校正可使得立体图像对应的外极线为水平方向，消除垂直方向上的视差，使得在立体匹配过程中可以更快速准确地寻找匹配像素，也就是说可以在一条水平线上找匹配像素，可将寻找范围缩小到一维，减少计算量。

203：将N个校正后的图像中的每个图像中的每个像素分别作为中心像素，将以每个中心像素为中心的该中心像素的周围的其他像素组合得到每个像素对应的预设大小的匹配窗口。

其中，每个像素对应的预设大小的匹配窗口可以相同也可以不相同；本发明实施例中预设大小的匹配窗口采用奇数大小的窗口，可以是1×3像素、3×5像素、3×3像素、7×7像素等，并且可以选择窗口的形状是正方形、矩形、长方形、圆形、椭圆形等，可以根据实际需要进行设置。本发明实施例中优选设置预设大小的匹配窗口为7×7像素，则将N个校正后的图像中的每个图像中的每个像素作为中心像素，建立每个像素对应的预设大小的匹配窗口为7×7像素，例如，一个图像中包括M个像素，则将该图像中的每一个像素分别作为中心像素，建立每个像素对应的预设大小的匹配窗口为7×7像素，则共建立M个7×7像素大小的窗口。需要说明的是，当将每一个图像的四个角的像素或是4个周边的像素作为中心像素建立预设大小的匹配窗口时，会遇到该像素的周围没有像素的情况，这时可以将该像素的周围的没有的像素设为0，或者可以直接建立该些像素对应的窗口大小为1×1像素(即将该些像素本身作为一个窗口)等，并不限于该两种方法，可以根据具体情况灵活处理。

204：将N个校正后的图像从RGB空间转换到CIELab空间，并在CIELab空间中，将N个校正后的图像中的每个图像中的每个像素分别作为当前像素，根据当前像素对应的匹配窗口中的每个像素相对当前像素的颜色和距离信息，利用预设的像素支持权重计算公式，分别计算得到当前像素对应的匹配窗口中的每个像素对当前像素的支持权重。

需要说明的是，本发明实施例中由于当前像素对应的匹配窗口是将当前像素作为中心像素建立的，所以每个像素相对当前像素的颜色和距离信息也相当于是每个像素相对中心像素的颜色和距离信息。

CIELab是惯常用来描述人眼可见的所有颜色的最完备的色彩模型，它被设计来接近人类视觉，致力于感知均匀性。将图像从RGB空间转换到CIELab空间的具体过程如下：

首先，将图像从RGB空间转换到XYZ空间，具体的转换公式如下：

$\left\{\begin{array}{c}X=0.412453*R+0.357580*G+0.189423*B\\ Y=0.212671*R+0.715160*G+0.072169*B\\ Z=0.019334*R+0.119193*G+0.950227*B\end{array}\right.$

其中，R、G和B分别表示图像在RGB空间下的R像素值、G像素值和B像素值；X、Y和Z分别表示图像在XYZ空间下的X像素值、Y像素值和Z像素值。

然后，将图像从XYZ空间转换到CIELab空间，具体的转换公式如下：

$\left\{\begin{array}{c}L=116f(Y/Y_n)-16\\ a=500[f(X/X_n)-f(Y/Y_n)]\\ b=200[f(Y/Y_n)-f(Z/Z_n)]\end{array}\right.$

其中，L表示亮度(0～100)，a(绿色到红色)和b(蓝色到黄色)表示颜色对立维度；X、Y和Z分别表示图像在XYZ空间下的X像素值、Y像素值和Z像素值；X_n、Y_n、Z_n是参考白点的CIE XYZ三色刺激值，X_n＝244.66128、Y_n＝255.0、Z_n＝277.63227；

根据心理学的格式塔法则，颜色相似，距离相近的像素趋向于属于同一物体。因此当前像素p与其邻近像素q的相关性可以通过某种颜色和距离的度量法则来衡量，如下所示：

w(p，q)＝F(Δc_pq，Δg_pq)＝F(Δc_pq)·F(Δg_pq)

其中，w(p，q)表示像素q对像素p的支持权重。Δc_pq、Δg_pq分别表示两像素颜色和距离的Euclidean(欧几里德)度量；基于人类视觉感知系统的特点，对Δc_pq采用CIELab空间中的Euclidean度量，对Δg_pq采用像素之间位置的Euclidean度量。F是表征距离和颜色相关性的准则函数，F函数的选择应该满足当Δc_pq，Δg_pq最小的时候，F函数的值最大(说明此时对应的邻近像素与当前像素关系最紧密，反之越不紧密)。因此，就本质而言，只要能够大致反映出这种关系模式的函数都可以，各种各样的线性函数递减，非线性递减都可以，高斯函数，三角函数都可以。

具体地采用CIELab空间中的Euclidean度量的Δc_pq如下所示：

c_p＝[L_p，a_p，b_p]，c_q＝[L_q，a_q，b_q]

${\mathrm{\Δc}}_{\mathrm{pq}}=\sqrt{{(L_p-L_q)}^2+{(a_p-a_q)}^2+{(b_p-b_q)}^2}$

具体地采用像素之间位置的Euclidean度量的Δg_pq如下所示：

g_p＝[R_p，G_p，B_p]，g_q＝[R_q，G_q，B_q]

$\mathrm{\Δ}{g}_{\mathrm{pq}}=\sqrt{{(R_p-R_q)}^2+{(G_p-G_q)}^2+{(B_p-B_q)}^2}$

具体地F(Δc_pq)和F(Δg_pq)分别采用Laplacian(拉普拉斯)内核描述即：

$F\left({\mathrm{\Δc}}_{\mathrm{pq}}\right)=\exp (-\frac{{\mathrm{\Δc}}_{\mathrm{pq}}}{r_c}),$ $F\left(\mathrm{\Δ}{g}_{\mathrm{pq}}\right)=\exp (-\frac{{\mathrm{\Δg}}_{\mathrm{pq}}}{r_p})$

其中，exp表示指数函数，r_c、r_p是与人类视觉系统的视场有关的系数，r_c、r_p的数值可调节，其取值的变化幅度如果不大，对结果影响不大，本发明实施例中r_c、r_p的取值范围为[10，15]。

从而本发明实施例中像素支持权重的计算公式具体如下所示：

$w(p,q)=F({\mathrm{\Δc}}_{\mathrm{pq}},{\mathrm{\Δg}}_{\mathrm{pq}})=F\left({\mathrm{\Δc}}_{\mathrm{pq}}\right)\·F\left({\mathrm{\Δg}}_{\mathrm{pq}}\right)=\exp (-\frac{{\mathrm{\Δc}}_{\mathrm{pq}}}{r_c})\·\exp (-\frac{{\mathrm{\Δg}}_{\mathrm{pq}}}{r_p})$

需要说明的是，当前像素p对其自身也有支持权重，也就是说上述的邻近像素q中也包括当前像素p，即q的取值也可以为p。

205：在将N个校正后的图像中的每个图像中的每个像素的支持权重计算完成后，将N个校正后的图像中的每个图像分别作为当前图像，将当前图像中的每个像素分别作为当前像素，从当前图像的相邻图像中为当前像素选择多个待匹配像素，根据当前像素对应的匹配窗口中每个像素对当前像素的支持权重，利用预设的像素窗口权重SSD(sum of squared distance，累积平方差)计算公式，分别计算得到当前像素与多个待匹配像素中的每个待匹配像素的像素窗口权重累积平方差值。

具体地，预设的像素窗口权重累积平方差计算公式如下：

$E(p_d,{\stackrel{\‾}{p}}_d)=\frac{{\mathrm{\Σ}}_{q_d\∈N_p,{\stackrel{\‾}{q}}_d\∈N_{\stackrel{\‾}{p}}}w(p_d,q_d)w({\stackrel{\‾}{p}}_d,{\stackrel{\‾}{q}}_d)e(q_d,{\stackrel{\‾}{q}}_d)}{{\mathrm{\Σ}}_{q_d\∈N_p,{\stackrel{\‾}{q}}_d\∈N_{\stackrel{\‾}{p}}}w(p_d,q_d)w({\stackrel{\‾}{p}}_d,{\stackrel{\‾}{q}}_d)}$

其中，p_d、p_d分别表示N个校正后的图像中两个相邻图像的参考像素和待匹配像素，E(p_d，p_d)表示两相邻图像之间的参考像素和待匹配像素的像素窗口权重累积平方差，w(p_d，q_d)，w(p_d，q_d)分别表示q_d对p_d的支持权重、q_d对p_d的支持权重，N_p表示以p_d为中心像素建立的预设大小的匹配窗口中的所有的像素，N_p表示以p_d为中心像素建立的预设大小的匹配窗口中的所有的像素，e(q_d，q_d)表示两相邻图像的对应的预设大小的匹配窗口中同一位置像素之间的SD(squared distance，平方差)值。需要说明的是，像素窗口权重累积平方差计算公式并不限于上述一种，可以根据实际应用状况，进行灵活设置。

具体地，两相邻图像是指该两个图像分别是由位置相邻的两个图像采集设备所拍摄得到的；两个相邻图像的参考像素和待匹配像素，可以将两个相邻图像中的一个图像的像素作为参考像素，在另一图像中预设与该参考像素对应的区域，预设的与该参考像素对应的区域中的每一个像素可以分别称为该参考像素的待匹配像素。在另一图像中预设的与该参考像素对应的区域可以是：在另一图像中以与该参考像素的位置对应的像素为中心，预设的长度为半径的圆；或者是在另一图像中以与该参考像素的位置对应的像素为起点，预设的长度为水平长度的直线段等，可以根据实际情况灵活设置该区域。本发明实施例中由于对原始图像进行了外极限校正，可以在一条水平线上找匹配像素，因此在另一图像中预设的与该参考像素对应的区域可以是一条水平线，可将寻找范围缩小到一维，减少计算量。

206：在将每两个相邻图像之间的参考像素和待匹配像素的像素窗口权重累积平方差值计算完成后，根据计算得到的所有像素窗口权重累积平方差值，为每个图像中的每个像素，在其对应的多个待匹配像素中，选择一个待匹配像素作为该像素的匹配像素。

具体地，可以选择参考像素和待匹配像素的像素窗口权重累积平方差值最小的值对应的待匹配像素为该参考像素的匹配像素，从而得到N个校正后的图像中各个图像之间相互匹配的像素。也可以根据具体情况设置其他的选择规则，例如：可以选择参考像素和待匹配像素的像素窗口权重累积平方差值为某一固定值时对应的待匹配像素为该参考像素的匹配像素等。

207：根据N个校正后的图像中各个图像之间相互匹配的像素、N个图像采集设备中每两个相邻图像采集设备之间的基线距离，利用预设的深度图像像素值计算公式，计算得到N个校正后的图像中每两个相邻图像对应的深度图像的像素值。

其中，预设的深度图像像素值计算公式具体为：

$Z=f\frac{b_1}{d_1}$

其中，Z表示N个校正后的图像中两个相邻校正后的图像对应的深度图像的像素值；f表示N个图像采集设备中两个相邻图像采集设备的焦距的平均值；b₁表示N个图像采集设备中两个相邻图像采集设备之间的基线距离；d₁表示N个校正后的图像中两个相邻图像之间相互匹配像素的位置的相对距离的绝对值；需要说明的是，一般采集图像时所选用的图像采集设备的焦距都是相同的，并且，一般各个相邻图像采集设备之间的距离也是相同的。

208：从N个校正后的图像中任选一个图像作为参考视图，并在参考视图和其相邻原始图像之间，确定待获取虚拟视图的位置。

其中，参考视图的相邻原始图像可以是与参考视图相邻的任一原始图像，可以根据实际应用状况，灵活选择。待获取虚拟视图是需要得到的虚拟视图。待获取虚拟视图需要参考哪个原始图像得到，则选择该原始图像作为该待获取虚拟视图的参考视图。

209：根据参考视图，参考视图和其相邻原始图像对应的深度图像，以及待获取虚拟视图相对参考视图的距离，对该参考视图进行平移得到待获取虚拟视图。

具体地，首先，根据参考视图，参考视图和其相邻原始图像对应的深度图像，利用预设的虚拟视图相对参考视图的距离公式，计算得到待获取虚拟视图相对该参考视图的距离。

预设的虚拟视图相对参考视图的距离公式具体为：

$d_2=f\frac{b_2}{Z}$

其中，d₂表示待获取虚拟视图与参考视图之间对应像素的位置的相对距离；f表示N个图像采集设备中两个相邻图像采集设备的焦距的平均值；b₂表示待获取虚拟视图与该参考视图的基线距离， $b_2=\frac{b_1}{k},$ k为大于1的自然数，b₁表示N个图像采集设备中两个相邻图像采集设备之间的基线距离。

需要说明的是，可以根据实际合成立体视频时需要相对该参考视图生成的虚拟视图的个数，将b₂取为不同的值，例如：需要2个虚拟视图，则可以分别取 $b_2=\frac{b_1}{2}$ 和 $b_2=\frac{b_1}{5},$ 从而根据上述公式计算得到2个待获取虚拟视图相对该参考视图的距离。

然后，根据计算得到的待获取虚拟视图相对参考视图的距离，对参考视图进行平移，得到虚拟视图。

为了便于理解，下面举例进行说明：

当有2个图像采集设备采集得到2个图像时(即当N＝2时)，将2个校正后的图像(只有2个图像，该2个图像为相邻图像)中一个图像中的每个像素依次作为参考像素，在另一图像中预设与该参考像素对应的区域，依次计算一个图像中的参考像素与另一图像中预设的与该参考像素对应的区域中包含的每一个像素(即多个待匹配像素)之间的窗口权重SSD值，将计算出的参考像素和所有待匹配像素之间的窗口权重SSD值中的窗口权重SSD值最小的值对应的待匹配像素作为该参考像素的匹配像素，求取2个图像中相互匹配的像素的位置的相对距离的绝对值，即得到该2个图像对应的深度图像的深度值。

当有3个图像采集设备拍摄得到3个图像时(即当N＝3时)，为了便于说明按照顺序(从左到右、或顺时针、或逆时针等顺序)将3个图像依次称为第一图像、第二图像和第三图像，可以将校正后的第一图像中的每个像素作为参考像素，在校正后的第二图像中预设与该参考像素对应的区域，依次计算第一图像中的参考像素与第二图像中预设的与该参考像素对应的区域中包含的每个像素(即多个待匹配像素)之间的窗口权重SSD值，将计算出的参考像素和所有待匹配像素之间的窗口权重SSD值中的窗口权重SSD值最小的值对应的待匹配像素作为该参考像素的匹配像素，找到第一图像和第二图像相互匹配的像素后，再将校正后的第二图像中的每个像素作为参考像素，在校正后的第三图像中预设与该参考像素对应的区域，按照上述方法找到第二图像和第三图像相互匹配的像素，求取第一图像和第二图像中相互匹配的像素的相对位置距离的绝对值，以及第二图像和第三图像中相互匹配的像素的差的绝对值，将两次求得的距离的绝对值取平均，即得到该3个图像对应的深度图像的深度值。当N＝4、5等时，可以按照与上述N＝3时类似的方法进行处理，此处不再一一赘述。

本发明实施例所述的获取虚拟视图的方法，通过对原始图像进行像素窗口匹配和平移得到虚拟视图，不需要人工参与，减少了工作量，降低了成本。并且通过利用立体匹配中的基于颜色和距离的区域度量法则，可以较好地描述空间事物的特征属性。可以根据具体情况选择生成多个虚拟视图，可以在不同采集条件下，得到多个不同的虚拟视图，可以有效地利用已有的图像采集设备。由于采用了自适应权重的窗口匹配，能够对不同深度层面的像素赋予比较合适的权重，提高了匹配的准确性。可以分别获取深度图像和虚拟视图，能够应用于各种不同商业需求，具有很广泛的适用性，对于不同的立体显示器，可以采取不同的立体视图合成方法，达到多视点自由立体显示效果。

实施例3

本发明实施例提供了一种获取虚拟视图的装置，参见图3，该装置包括：

原始图像获取模块301，用于利用N个图像采集设备采集得到N个不同视点的原始图像，N为大于1的自然数。

深度图像获取模块302，用于在原始图像获取模块301得到N个不同视点的原始图像后，对N个原始图像进行像素窗口匹配，得到N个原始图像中每两个相邻图像对应的深度图像。

参考视图获取模块303，用于在深度图像获取模块302得到深度图像后，从N个原始图像中任选一个图像作为参考视图，并在参考视图和其相邻原始图像之间，确定待获取虚拟视图的位置。

虚拟视图获取模块303，用于在参考视图获取模块303确定待获取虚拟视图的位置后，根据参考视图，参考视图和其相邻原始图像对应的深度图像，以及待获取虚拟视图相对参考视图的距离，对参考视图进行平移得到待获取虚拟视图。

其中，深度图像获取模块302具体包括：

匹配窗口获取单元，用于在原始图像获取模块301得到N个不同视点的原始图像后，为N个原始图像中的每个图像中的每个像素预设一个匹配窗口；

支持权重获取单元，用于在匹配窗口获取单元得到每个像素对应的匹配窗口后，将N个原始图像中的每个图像中的每个像素分别作为当前像素，根据当前像素对应的匹配窗口中的每个像素相对当前像素的颜色和距离信息，利用预设的像素支持权重计算公式，分别计算得到当前像素对应的匹配窗口中的每个像素对当前像素的支持权重；

像素窗口权重累积平方差值获取单元，用于在支持权重获取单元在将N个原始图像中的每个图像中的每个像素的支持权重计算完成后，将N个原始图像中的每个图像分别作为当前图像，将当前图像中的每个像素分别作为当前像素，从当前图像的相邻图像中为当前像素选择多个待匹配像素，根据当前像素对应的匹配窗口中每个像素对当前像素的支持权重，利用预设的像素窗口权重累积平方差计算公式，分别计算得到当前像素与多个待匹配像素中的每个待匹配像素的像素窗口权重累积平方差值；

选择单元，用于在像素窗口权重累积平方差值获取单元在将每两个相邻图像之间的参考像素和待匹配像素的像素窗口权重累积平方差值计算完成后，根据计算得到的所有像素窗口权重累积平方差值，为每个图像中的每个像素，在其对应的多个待匹配像素中，选择一个待匹配像素作为该像素的匹配像素；

深度图像获取单元，用于在选择单元选择得到N个原始图像中各个图像之间相互匹配的像素后，根据N个原始图像中各个图像之间相互匹配的像素、N个图像采集设备中每两个相邻图像采集设备之间的基线距离，利用预设的深度图像像素值计算公式，计算得到N个原始图像中每两个相邻图像对应的深度图像的像素值。

其中，预设的像素支持权重计算公式具体为：

$w(p,q)=\exp (-\frac{{\mathrm{\Δc}}_{\mathrm{pq}}}{r_c})\·\exp (-\frac{{\mathrm{\Δg}}_{\mathrm{pq}}}{r_p})$

其中，w(p，q)表示像素q对像素p的支持权重，Δc_pq表示p、q两像素的颜色的欧几里德度量，Δg_pq表示p、q两像素的距离的欧几里德度量，r_c、r_p是与人类视觉系统的视场有关的系数，r_c、r_p的数值可调节；

预设的像素窗口权重累积平方差计算公式具体为：

$E(p_d,{\stackrel{\‾}{p}}_d)=\frac{{\mathrm{\Σ}}_{q_d\∈N_p,{\stackrel{\‾}{q}}_d\∈N_{\stackrel{\‾}{p}}}w(p_d,q_d)w({\stackrel{\‾}{p}}_d,{\stackrel{\‾}{q}}_d)e(q_d,{\stackrel{\‾}{q}}_d)}{{\mathrm{\Σ}}_{q_d\∈N_p,{\stackrel{\‾}{q}}_d\∈N_{\stackrel{\‾}{p}}}w(p_d,q_d)w({\stackrel{\‾}{p}}_d,{\stackrel{\‾}{q}}_d)}$

其中，p_d、p_d分别表示N个原始图像中两相邻图像之间的参考像素和待匹配像素，E(p_d，p_d)表示两相邻图像之间的参考像素和待匹配像素的像素窗口权重累积平方差，w(p_d，q_d)，w(p_d，q_d)分别表示q_d对p_d的支持权重、q_d对p_d的支持权重，N_p表示像素p_d对应的匹配窗口中的所有的像素，N_p表示像素p_d对应的匹配窗口中的所有的像素，e(q_d，q_d)表示两相邻图像的对应的匹配窗口中同一位置的像素之间的平方差值；

预设的深度图像像素值计算公式具体为：

$Z=f\frac{b_1}{d_1}$

其中，Z表示N个原始图像中两个相邻原始图像对应的深度图像；f表示N个图像采集设备中两个相邻图像采集设备的焦距的平均值；b₁表示N个图像采集设备中两个相邻图像采集设备之间的基线距离；d₁表示N个原始图像中两个相邻图像之间相互匹配像素的位置的相对距离的绝对值。

进一步地，深度图像获取模块302还包括：

转换单元，用于在匹配窗口获取单元为N个原始图像中的每个图像中的每个像素预设一个匹配窗口之后，支持权重获取单元将N个原始图像中的每个图像中的每个像素分别作为当前像素，根据当前像素对应的匹配窗口中的每个像素相对当前像素的颜色和距离信息，利用预设的像素支持权重计算公式，分别计算得到当前像素对应的匹配窗口中的每个像素对当前像素的支持权重之前，将N个原始图像从红绿蓝RGB空间转换到CIELab空间；

相应地，支持权重获取单元，具体用于在转换单元将N个原始图像从RGB空间转换到CIELab空间后，在CIELab空间中，将N个原始图像中的每个图像中的每个像素分别为当前像素，根据当前像素对应的匹配窗口中的每个像素相对当前像素的颜色和距离信息，利用预设的像素支持权重计算公式，分别计算得到当前像素对应的匹配窗口中的每个像素对当前像素的支持权重。

其中，虚拟视图获取模块303具体包括：

距离获取单元，用于在深度图像获取模块302得到深度图像后，根据参考视图，所述参考视图和其相邻原始图像对应的深度图像，利用预设的虚拟视图相对参考视图的距离公式，计算得到待获取虚拟视图相对参考视图的距离；

平移单元，用于在位移获取单元得到待获取虚拟视图相对参考视图的距离后，根据计算得到的待获取虚拟视图相对参考视图的距离，对参考视图进行平移，得到待获取虚拟视图。

其中，预设的虚拟视图相对参考视图的距离公式具体为：

$d_2=f\frac{b_2}{Z}$

其中，d₂表示待获取虚拟视图与参考视图之间对应像素的位置的相对距离；f表示N个图像采集设备中两个相邻图像采集设备的焦距的平均值；Z表示N个原始图像中两个相邻图像对应的深度图像的像素值b₂表示待获取虚拟视图与参考视图的基线距离，且 $b_2=\frac{b_1}{k},$ k为大于1的自然数，b₁表示N个图像采集设备中两个相邻图像采集设备之间的基线距离。

进一步地，参见图4，该装置还包括：

外极线校正模块305，用于在原始图像获取模块301得到N个不同视点的始图像之后，深度图像获取模块302对N个原始图像进行像素窗口匹配，得到N个原始图像中每两个相邻图像对应的深度图像之前，对N个图像采集设备采集到的N个不同视点的原始图像进行外极线校正，得到N个校正后的图像；

相应地，深度图像获取模块302，具体用于在外极线校正模块305得到N个校正后的图像后，对N个校正后的图像进行像素窗口匹配，得到N个校正后的图像中每两个相邻图像对应的深度图像；

相应地，参考视图获取模块303，具体用于在深度图像获取模块302得到深度图像后，从N个校正后的图像中任选一个图像作为参考视图，并在参考视图和其相邻的校正后的图像之间，确定待获取虚拟视图的位置；

相应地，虚拟视图获取模块304，具体用于在参考视图获取模块303确定待获取虚拟视图的位置后，根据参考视图，参考视图和其相邻的校正后的图像对应的深度图像，以及待获取虚拟视图相对参考视图的距离，对参考视图进行平移得到待获取虚拟视图。

本发明实施例所述的获取虚拟视图的装置，通过对原始图像进行像素窗口匹配和平移得到虚拟视图，不需要人工参与，减少了工作量，降低了成本。并且通过利用立体匹配中的基于颜色和距离的区域度量法则，可以较好地描述空间事物的特征属性。可以根据具体情况选择生成多个虚拟视图，可以在不同采集条件下，得到多个不同的虚拟视图，可以有效地利用已有的图像采集设备。由于采用了自适应权重的窗口匹配，能够对不同深度层面的像素赋予比较合适的权重，提高了匹配的准确性。可以分别获取深度图像和虚拟视图，能够应用于各种不同商业需求，具有很广泛的适用性，对于不同的立体显示器，可以采取不同的立体视图合成方法，达到多视点自由立体显示效果。

以上实施例提供的技术方案中的全部或部分内容可以通过软件编程实现，其软件程序存储在可读取的存储介质中，存储介质例如：计算机中的硬盘、光盘或软盘。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1、一种获取虚拟视图的方法，其特征在于，所述方法包括：

利用N个图像采集设备采集得到N个不同视点的原始图像，所述N为大于1的自然数；

对N个所述原始图像进行像素窗口匹配，得到N个所述原始图像中每两个相邻图像对应的深度图像；

从N个所述原始图像中任选一个图像作为参考视图，并在所述参考视图和其相邻原始图像之间，确定待获取虚拟视图的位置；

根据所述参考视图，所述参考视图和其相邻原始图像对应的深度图像，以及所述待获取虚拟视图相对所述参考视图的距离，对所述参考视图进行平移得到所述待获取虚拟视图。

2、根据权利要求1所述的获取虚拟视图的方法，其特征在于，所述对N个所述原始图像进行像素窗口匹配，得到N个所述原始图像中每两个相邻图像对应的深度图像，具体包括：

为N个所述原始图像中的每个图像中的每个像素预设一个匹配窗口；

将N个所述原始图像中的每个图像中的每个像素分别作为当前像素，根据当前像素对应的匹配窗口中的每个像素相对当前像素的颜色和距离信息，利用预设的像素支持权重计算公式，分别计算得到当前像素对应的匹配窗口中的每个像素对当前像素的支持权重；

在将N个所述原始图像中的每个图像中的每个像素的支持权重计算完成后，将N个所述原始图像中的每个图像分别作为当前图像，将当前图像中的每个像素分别作为当前像素，从当前图像的相邻图像中为当前像素选择多个待匹配像素，根据当前像素对应的匹配窗口中每个像素对当前像素的支持权重，利用预设的像素窗口权重累积平方差计算公式，分别计算得到当前像素与多个待匹配像素中的每个待匹配像素的像素窗口权重累积平方差值；

在将每两个相邻图像之间的参考像素和待匹配像素的像素窗口权重累积平方差值计算完成后，根据计算得到的所有像素窗口权重累积平方差值，为每个图像中的每个像素，在其对应的多个待匹配像素中，选择一个待匹配像素作为该像素的匹配像素；

根据N个所述原始图像中各个图像之间相互匹配的像素、N个所述图像采集设备中每两个相邻图像采集设备之间的基线距离，利用预设的深度图像像素值计算公式，计算得到N个所述原始图像中每两个相邻图像对应的深度图像的像素值。

3、根据权利要求2所述的获取虚拟视图的方法，其特征在于，所述预设的像素支持权重计算公式具体为：

$w(p,q)=\exp (-\frac{{\mathrm{\Δc}}_{\mathrm{pq}}}{r_c})\·\exp (-\frac{{\mathrm{\Δg}}_{\mathrm{pq}}}{r_p})$

其中，w(p，q)表示像素q对像素p的支持权重，Δc_pq表示p、q两像素的颜色的欧几里德度量，Δg_pq表示p、q两像素的距离的欧几里德度量，r_c、r_p是与人类视觉系统的视场有关的系数，r_c、r_p的数值可调节；

所述预设的像素窗口权重累积平方差计算公式具体为：

$E(p_d,{\stackrel{\‾}{p}}_d)=\frac{{\mathrm{\Σ}}_{q_d\∈N_p,{\stackrel{\‾}{q}}_d\∈N_{\stackrel{\‾}{p}}}w(p_d,q_d)w({\stackrel{\‾}{p}}_d,{\stackrel{\‾}{q}}_d)e(q_e,{\stackrel{\‾}{q}}_d)}{{\mathrm{\Σ}}_{q_d\∈N_p,{\stackrel{\‾}{q}}_d\∈N_{\stackrel{\‾}{p}}}w(p_d,q_d)w({\stackrel{\‾}{p}}_d,{\stackrel{\‾}{q}}_d)}$

其中，p_d、p_d分别表示N个所述原始图像中两相邻图像之间的参考像素和待匹配像素，E(p_d，p_d)表示两相邻图像之间的参考像素和待匹配像素的像素窗口权重累积平方差，w(p_d，q_d)，w(p_d，q_d)分别表示q_d对p_d的支持权重、q_d对p_d的支持权重，N_p表示像素p_d对应的匹配窗口中的所有的像素，N_p表示像素p_d对应的匹配窗口中的所有的像素，e(q_d，q_d)表示两相邻图像的对应的匹配窗口中同一位置的像素之间的平方差值；

所述预设的深度图像像素值计算公式具体为：

$Z=f\frac{b_1}{d_1}$

其中，Z表示N个所述原始图像中两个相邻图像对应的深度图像的像素值；f表示N个所述图像采集设备中两个相邻图像采集设备的焦距的平均值；b₁表示N个所述图像采集设备中两个相邻图像采集设备之间的基线距离；d₁表示N个所述原始图像中两个相邻图像之间相互匹配像素的位置的相对距离的绝对值。

4、根据权利要求2所述的获取虚拟视图的方法，其特征在于，所述为N个所述原始图像中的每个图像中的每个像素预设一个匹配窗口之后，将N个所述原始图像中的每个图像中的每个像素分别作为当前像素，根据当前像素对应的匹配窗口中的每个像素相对当前像素的颜色和距离信息，利用预设的像素支持权重计算公式，分别计算得到当前像素对应的匹配窗口中的每个像素对当前像素的支持权重之前还包括：

将N个所述原始图像从红绿蓝RGB空间转换到CIELab空间；

相应地，所述将N个所述原始图像中的每个图像中的每个像素分别作为当前像素，根据当前像素对应的匹配窗口中的每个像素相对当前像素的颜色和距离信息，利用预设的像素支持权重计算公式，分别计算得到当前像素对应的匹配窗口中的每个像素对当前像素的支持权重具体为：

在CIELab空间中，将N个所述原始图像中的每个图像中的每个像素分别为当前像素，根据当前像素对应的匹配窗口中的每个像素相对当前像素的颜色和距离信息，利用预设的像素支持权重计算公式，分别计算得到当前像素对应的匹配窗口中的每个像素对当前像素的支持权重。

5、根据权利要求1所述的获取虚拟视图的方法，其特征在于，所述根据所述参考视图，所述参考视图和其相邻原始图像对应的深度图像，以及所述待获取虚拟视图相对所述参考视图的距离，对所述参考视图进行平移得到所述待获取虚拟视图具体包括：

根据所述参考视图，所述参考视图和其相邻原始图像对应的深度图像，利用预设的虚拟视图相对参考视图的距离公式，计算得到所述待获取虚拟视图相对所述参考视图的距离；

根据计算得到的所述待获取虚拟视图相对所述参考视图的距离，对所述参考视图进行平移，得到所述待获取虚拟视图。

6、根据权利要求5所述的获取虚拟视图的方法，其特征在于，所述预设的虚拟视图相对参考视图的距离公式具体为：

$d_2=f\frac{b_2}{Z}$

其中，d₂表示所述待获取虚拟视图与所述参考视图之间对应像素的位置的相对距离；f表示N个所述图像采集设备中两个相邻图像采集设备的焦距的平均值；Z表示N个所述原始图像中两个相邻图像对应的深度图像的像素值；b₂表示所述待获取虚拟视图与所述参考视图的基线距离，且k为大于1的自然数，b₁表示N个所述图像采集设备中两个相邻图像采集设备之间的基线距离。

7、根据权利要求1-6中任一权利要求所述的获取虚拟视图的方法，其特征在于，所述利用N个图像采集设备采集得到N个不同视点的原始图像之后，对N个所述原始图像进行像素窗口匹配，得到N个所述原始图像中每两个相邻图像对应的深度图像之前还包括：

对N个图像采集设备采集到的N个不同视点的原始图像进行外极线校正，得到N个校正后的图像；

相应地，所述对N个所述原始图像进行像素窗口匹配，得到N个所述原始图像中每两个相邻图像对应的深度图像具体为：

对N个所述校正后的图像进行像素窗口匹配，得到N个所述校正后的图像中每两个相邻图像对应的深度图像；

相应地，所述从N个所述原始图像中任选一个图像作为参考视图，在所述参考视图和其相邻原始图像之间，确定待获取虚拟视图的位置具体为：

从N个所述校正后的图像中任选一个图像作为参考视图，在所述参考视图和其相邻的校正后的图像之间，确定待获取虚拟视图的位置；

相应地，所述根据所述参考视图，所述参考视图和其相邻原始图像对应的深度图像，以及所述待获取虚拟视图相对所述参考视图的距离，对所述参考视图进行平移得到所述待获取虚拟视图具体为：

根据所述参考视图，所述参考视图和其相邻的校正后的图像对应的深度图像，以及所述待获取虚拟视图相对所述参考视图的距离，对所述参考视图进行平移得到所述待获取虚拟视图。

8、一种获取虚拟视图的装置，其特征在于，所述装置包括：

原始图像获取模块，用于利用N个图像采集设备采集得到N个不同视点的原始图像，所述N为大于1的自然数；

深度图像获取模块，用于在所述原始图像获取模块得到N个不同视点的原始图像后，对N个所述原始图像进行像素窗口匹配，得到N个所述原始图像中每两个相邻图像对应的深度图像；

参考视图获取模块，用于在所述深度图像获取模块得到深度图像后，从N个所述原始图像中任选一个图像作为参考视图，并在所述参考视图和其相邻原始图像之间，确定待获取虚拟视图的位置；

虚拟视图获取模块，用于在所述参考视图获取模块确定待获取虚拟视图的位置后，根据所述参考视图，所述参考视图和其相邻原始图像对应的深度图像，以及所述待获取虚拟视图相对所述参考视图的距离，对所述参考视图进行平移得到所述待获取虚拟视图。

9、根据权利要求8所述的获取虚拟视图的装置，其特征在于，所述深度图像获取模块具体包括：

匹配窗口获取单元，用于在所述原始图像获取模块得到N个不同视点的原始图像后，为N个所述原始图像中的每个图像中的每个像素预设一个匹配窗口；

支持权重获取单元，用于在所述匹配窗口获取单元得到每个像素对应的匹配窗口后，将N个所述原始图像中的每个图像中的每个像素分别作为当前像素，根据当前像素对应的匹配窗口中的每个像素相对当前像素的颜色和距离信息，利用预设的像素支持权重计算公式，分别计算得到当前像素对应的匹配窗口中的每个像素对当前像素的支持权重；

像素窗口权重累积平方差值获取单元，用于在所述支持权重获取单元在将N个所述原始图像中的每个图像中的每个像素的支持权重计算完成后，将N个所述原始图像中的每个图像分别作为当前图像，将当前图像中的每个像素分别作为当前像素，从当前图像的相邻图像中为当前像素选择多个待匹配像素，根据当前像素对应的匹配窗口中每个像素对当前像素的支持权重，利用预设的像素窗口权重累积平方差计算公式，分别计算得到当前像素与多个待匹配像素中的每个待匹配像素的像素窗口权重累积平方差值；

选择单元，用于在所述像素窗口权重累积平方差值获取单元在将每两个相邻图像之间的参考像素和待匹配像素的像素窗口权重累积平方差值计算完成后，根据计算得到的所有像素窗口权重累积平方差值，为每个图像中的每个像素，在其对应的多个待匹配像素中，选择一个待匹配像素作为该像素的匹配像素；

深度图像获取单元，用于在所述选择单元选择得到N个所述原始图像中各个图像之间相互匹配的像素后，根据N个所述原始图像中各个图像之间相互匹配的像素、N个所述图像采集设备中每两个相邻图像采集设备之间的基线距离，利用预设的深度图像像素值计算公式，计算得到N个所述原始图像中每两个相邻图像对应的深度图像的像素值。

10、根据权利要求9所述的获取虚拟视图的装置，其特征在于，所述预设的像素支持权重计算公式具体为：

$w(p,q)=\exp (-\frac{{\mathrm{\Δc}}_{\mathrm{pq}}}{r_c})\·\exp (-\frac{{\mathrm{\Δg}}_{\mathrm{pq}}}{r_p})$

其中，w(p，q)表示像素q对像素p的支持权重，Δc_pq表示p、q两像素的颜色的欧几里德度量，Δg_pq表示p、q两像素的距离的欧几里德度量，r_c、r_p是与人类视觉系统的视场有关的系数，r_c、r_p的数值可调节；

所述预设的像素窗口权重累积平方差计算公式具体为：

$E(p_d,{\stackrel{\‾}{p}}_d)=\frac{{\mathrm{\Σ}}_{q_d\∈N_p,{\stackrel{\‾}{q}}_d\∈N_{\stackrel{\‾}{p}}}w(p_d,q_d)w({\stackrel{\‾}{p}}_d,{\stackrel{\‾}{q}}_d)e(q_e,{\stackrel{\‾}{q}}_d)}{{\mathrm{\Σ}}_{q_d\∈N_p,{\stackrel{\‾}{q}}_d\∈N_{\stackrel{\‾}{p}}}w(p_d,q_d)w({\stackrel{\‾}{p}}_d,{\stackrel{\‾}{q}}_d)}$

其中，p_d、p_d分别表示N个所述原始图像中两相邻图像之间的参考像素和待匹配像素，E(p_d，p_d)表示两相邻图像之间的参考像素和待匹配像素的像素窗口权重累积平方差，w(p_d，q_d)，w(p_d，q_d)分别表示q_d对p_d的支持权重、q_d对p_d的支持权重，N_p表示像素p_d对应的匹配窗口中的所有的像素，N_p表示像素p_d对应的匹配窗口中的所有的像素，e(q_d，q_d)表示两相邻图像的对应的匹配窗口中同一位置的像素之间的平方差值；

所述预设的深度图像像素值计算公式具体为：

$Z=f\frac{b_1}{d_1}$

其中，Z表示N个所述原始图像中两个相邻图像对应的深度图像的像素值；f表示N个所述图像采集设备中两个相邻图像采集设备的焦距的平均值；b₁表示N个所述图像采集设备中两个相邻图像采集设备之间的基线距离；d₁表示N个所述原始图像中两个相邻图像之间相互匹配像素的位置的相对距离的绝对值。

11、根据权利要求9所述的获取虚拟视图的装置，其特征在于，所述深度图像获取模块还包括：

转换单元，用于在所述匹配窗口获取单元为N个所述原始图像中的每个图像中的每个像素预设一个匹配窗口之后，所述支持权重获取单元将N个所述原始图像中的每个图像中的每个像素分别作为当前像素，根据当前像素对应的匹配窗口中的每个像素相对当前像素的颜色和距离信息，利用预设的像素支持权重计算公式，分别计算得到当前像素对应的匹配窗口中的每个像素对当前像素的支持权重之前，将N个所述原始图像从红绿蓝RGB空间转换到CIELab空间；

相应地，所述支持权重获取单元，具体用于在所述转换单元将N个所述原始图像从RGB空间转换到CIELab空间后，在CIELab空间中，将N个所述原始图像中的每个图像中的每个像素分别为当前像素，根据当前像素对应的匹配窗口中的每个像素相对当前像素的颜色和距离信息，利用预设的像素支持权重计算公式，分别计算得到当前像素对应的匹配窗口中的每个像素对当前像素的支持权重。

12、根据权利要求9所述的获取虚拟视图的装置，其特征在于，所述虚拟视图获取模块具体包括：

距离获取单元，用于在所述深度图像获取模块得到深度图像后，根据所述参考视图，所述参考视图和其相邻原始图像对应的深度图像，利用预设的虚拟视图相对参考视图的距离公式，计算得到所述待获取虚拟视图相对所述参考视图的距离；

平移单元，用于在所述位移获取单元得到所述待获取虚拟视图相对所述参考视图的距离后，根据计算得到的所述待获取虚拟视图相对所述参考视图的距离，对所述参考视图进行平移，得到所述待获取虚拟视图。

13、根据权利要求12所述的获取虚拟视图的装置，其特征在于，所述预设的虚拟视图相对参考视图的距离公式具体为：

$d_2=f\frac{b_2}{Z}$

其中，d₂表示所述待获取虚拟视图与所述参考视图之间对应像素的位置的相对距离；f表示N个所述图像采集设备中两个相邻图像采集设备的焦距的平均值；Z表示N个所述原始图像中两个相邻图像对应的深度图像的像素值；b₂表示所述待获取虚拟视图与所述参考视图的基线距离，且

k为大于1的自然数，b₁表示N个所述图像采集设备中两个相邻图像采集设备之间的基线距离。

14、根据权利要求8-13中任一权利要求所述的获取虚拟视图的装置，其特征在于，所述装置还包括：

外极线校正模块，用于在所述原始图像获取模块得到N个不同视点的原始图像之后，所述深度图像获取模块对N个所述原始图像进行像素窗口匹配，得到N个所述原始图像中每两个相邻图像对应的深度图像之前，对N个图像采集设备采集到的N个不同视点的原始图像进行外极线校正，得到N个校正后的图像；

相应地，所述深度图像获取模块，具体用于在所述外极线校正模块得到N个校正后的图像后，对N个所述校正后的图像进行像素窗口匹配，得到N个所述校正后的图像中每两个相邻图像对应的深度图像；

相应地，所述参考视图获取模块，具体用于在所述深度图像获取模块得到深度图像后，从N个所述校正后的图像中任选一个图像作为参考视图，并在所述参考视图和其相邻的校正后的图像之间，确定待获取虚拟视图的位置；

相应地，所述虚拟视图获取模块，具体用于在所述参考视图获取模块确定待获取虚拟视图的位置后，根据所述参考视图，所述参考视图和其相邻的校正后的图像对应的深度图像，以及所述待获取虚拟视图相对所述参考视图的距离，对所述参考视图进行平移得到所述待获取虚拟视图。

Images