CN106210696A

CN106210696A - 一种实时虚拟视点合成的方法及装置

Info

Publication number: CN106210696A
Application number: CN201610591062.3A
Authority: CN
Inventors: 王荣刚; 罗佳佳; 姜秀宝; 高文
Original assignee: Peking University Shenzhen Graduate School
Current assignee: Peking University Shenzhen Graduate School
Priority date: 2016-07-22
Filing date: 2016-07-22
Publication date: 2016-12-07
Anticipated expiration: 2036-07-22
Also published as: CN106210696B

Abstract

本申请公开了一种实时虚拟视点合成的方法及装置，在合成虚拟视点的图像的整个过程中，不需要像现有技术一样借助深度图，因此有效的规避了基于深度图绘制技术所导致的问题。

Description

一种实时虚拟视点合成的方法及装置

技术领域

本申请涉及虚拟视点合成领域，具体涉及一种实时虚拟视点合成的方法及装置。

背景技术

如今，3D相关的技术日趋成熟，在家里观看3D电视成为现实。然而必须佩戴3D眼镜这样一种观看方式阻碍了家庭用户对其的接受度。

多视点3D显示设备使得裸眼观看3D视频成为可能。这种设备需要以多路视频流为输入，且视频流的路数因设备而异。多视点3D显示设备的一个难点是如何生成多路视频流。最简单的方式是从各个视点直接拍摄对应的视频流，然而这却是最不现实的，因为对于多路视频流，不管是拍摄还是传输的成本都是很昂贵的，而且不同的设备需要不同路数的视频流。

现有技术中，S3D(Stereoscopic 3D)是3D内容生成的主流方式，并且仍将保持多年。如果多视点3D显示设备配备有一种自动的、实时的转换系统，将S3D转换为其对应路数的视频流，而不影响已经建立好的3D产业链，这无疑是最完美的解决方案。这种由S3D转换为多路视频流的技术称为“虚拟视点合成”。

典型的虚拟视点合成技术是基于深度图绘制(DIBR)，其合成质量依赖于深度图的精度。然而，现有的深度估计算法还不够成熟，高精度的深度图通常是由人工交互的半自动化方式生成；此外，由于真实场景中物体相互遮挡而导致基于深度图来合成的虚拟视点中会产生空洞。

这些问题限制了DIBR自动地、实时地为多视点3D显示设备生成内容。

发明内容

为解决上述问题，本申请提供一种实时虚拟视点合成的方法及装置。

根据本申请的第一方面，本申请提供一种实时虚拟视点合成的方法，包括：

根据左、右两路真实视点的图像提取稀疏视差数据；

根据提取的稀疏视差数据，分别计算左路真实视点的像素坐标和右路真实视点的像素坐标在中间位置的虚拟视点的坐标映射W_L和W_R；

根据左路真实视点到中间位置的虚拟视点的坐标映射W_L，插值得到左路真实视点到其他若干位置的虚拟视点的坐标映射W_L1～W_LN，其中N为正整数；和/或，根据右路真实视点到中间位置的虚拟视点的坐标映射W_R，插值得到右路真实视点到其他若干位置的虚拟视点的坐标映射W_R1～W_RM，其中M为正整数；

根据左路真实视点的图像以及坐标映射W_L1～W_LN，分别合成相应位置的虚拟视点的图像；和/或，根据右路真实视点的图像以及坐标映射W_R1～W_RM，分别合成相应位置的虚拟视点的图像。

在一较优的实施例中，根据左、右两路真实视点的图像提取稀疏视差数据，具体包括：

对于左、右路真实视点的图像，进行FAST特征检测，得到若干特征点；

使用BRIEF计算各特征点的特征描述符；

分别计算左路真实视点的图像中的各特征点的特征描述符到右路真实视点的图像中的各特征点的特征描述符的汉明距离，基于最小汉明距离这种方式进行特征点的匹配。

在一较优的实施例中，使用GPU根据左、右两路真实视点的图像提取稀疏视差数据；和/或，使用GPU合成相应位置的虚拟视点的图像。

根据本申请的第二方面，本申请提供一种实时虚拟视点合成的装置，包括：

视差提取单元，用于根据左、右两路真实视点的图像提取稀疏视差数据；

坐标映射单元，用于根据提取的稀疏视差数据，分别计算左路真实视点的像素坐标和右路真实视点的像素坐标在中间位置的虚拟视点的坐标映射W_L和W_R；

插值单元，用于根据左路真实视点到中间位置的虚拟视点的坐标映射W_L，插值得到左路真实视点到其他若干位置的虚拟视点的坐标映射W_L1～W_LN，其中N为正整数；和/或，用于根据右路真实视点到中间位置的虚拟视点的坐标映射W_R，插值得到右路真实视点到其他若干位置的虚拟视点的坐标映射W_R1～W_RM，其中M为正整数；

合成单元，用于根据左路真实视点的图像以及坐标映射W_L1～W_LN，分别合成相应位置的虚拟视点的图像；和/或，用于根据右路真实视点的图像以及坐标映射W_R1～W_RM，分别合成相应位置的虚拟视点的图像。

在一较优的实施例中，所述视差提取单元包括：

FAST特征检测单元，用于对于左、右路真实视点的图像，进行FAST特征检测，得到若干特征点；

BRIEF特征描述符单元，用于使用BRIEF计算各特征点的特征描述符；

特征点匹配单元，用于分别计算左路真实视点的图像中的各特征点的特征描述符到右路真实视点的图像中的各特征点的特征描述符的汉明距离，基于最小汉明距离这种方式进行特征点的匹配。

在一较优的实施例中，所述视差提取单元是基于GPU并行计算来完成稀疏视差数据的提取；和/或，所述合成单元是基于GPU并行计算来完成虚拟视点的图像合成。

本申请的有益效果是：

依上述实施的实时虚拟视点合成的方法及装置，在合成虚拟视点的图像的整个过程中，不需要像现有技术一样借助深度图，因此有效的规避了基于深度图绘制技术所导致的问题；

依上述实施的实时虚拟视点合成的方法及装置，在提取稀疏视差数据时，由于使用了FAST特征检测以及BRIEF计算各特征点的特征描述符，在保证匹配精度的同时，还具有很快的计算速度，有助于实现虚拟视点合成的实时化；

依上述实施的实时虚拟视点合成的方法及装置，利用GPU的并行计算能力，使用GPU根据左、右两路真实视点的图像提取稀疏视差数据，和/或，使用GPU合成相应位置的虚拟视点的图像，加速了计算速度，有助于实现虚拟视点合成的实时化。

附图说明

图1为本申请一种实施例的实时虚拟视点合成的方法的流程示意图；

图2为本申请一种实施例的实时虚拟视点合成的方法中提取稀疏视差数据的流程示意图；

图3为本申请一种实施例的实时虚拟视点合成的方法中在GPU中进行FAST特征检测时的线程分配示意图；

图4为本申请一种实施例的实时虚拟视点合成的方法中在GPU中进行计算汉明距离时的线程分配示意图；

图5为本申请一种实施例的实时虚拟视点合成的方法中在GPU中进行交叉验证时的线程分配示意图；

图6为本申请一种实施例的实时虚拟视点合成的方法中8个视点(包括2个真实视点和6个虚拟视点)的位置关系的示意图，图示的距离是按两路真实视点归一化的距离；

图7为本申请一种实施例的实时虚拟视点合成的方法中在GPU中根据左/右视图与相应位置的warp合成相应位置的虚拟视点时的线程分配示意图；

图8为本申请一种实施例的实时虚拟视点合成的方法的效果示意图，图8(a)～(h)分别对应着图6中的各视点的视图；

图9为本申请一种实施例的实时虚拟视点合成的装置的结构示意图；

图10为本申请一种实施例的实时虚拟视点合成的装置中视差提取单元的结构示意图；

图11为本申请一种实施例的实时虚拟视点合成的装置中FAST特征检测单元的结构示意图。

具体实施方式

本申请公开了一种实时虚拟视点合成的方法及装置，其基于图像域形变(IDW)技术，在合成虚拟视点的图像的整个过程中，不需要像现有技术一样借助深度图，因此有效的规避了基于深度图绘制技术所导致的问题，例如不需要借助稠密的深度图，也不会导致空洞的出现；此外，我们还借助于通用图形处理器(GPGPU)强大的并行计算能力，加速IDW算法，实现了实时的虚拟视点合成。本申请的实时虚拟视点合成的方法包括四大步骤：

首先，对输入的左、右两路真实视点的图像，提取稀疏视差数据。稀疏视差通过图像局部特征匹配进行估计。特征匹配的精度对后续合成的质量至关重要。考虑到输入的两路视图具有一样的分辨率和相似的角度，所需要的特征算子不需要具有抗尺度和抗旋转性。所以，本申请使用角点检测算子FAST和二值描述算子BRIEF提取稀疏局部特征，虽然不具有抗尺度和抗旋转性，但是具有很快的计算速度，并同样具有很高的匹配精度。此外，我们利用GPU的并行计算能力对FAST+BRIEF加速。

其次，计算warp，用于指导合成虚拟视点。一个warp就是像素从真实视点到虚拟视点的图像坐标映射。为此，发明人首先构造能量函数，能量函数是3个约束项的加权和，分别是稀疏视差项、空域平滑项和时域平滑项。再将图像划分为三角形网格(mesh)，网格顶点以及网格内像素点的图像坐标共同组成warp。网格顶点的坐标是能量函数的变量项，通过使能量函数最小化，即对能量函数求偏导数并设偏导式为0，可以求得这些坐标。而网格内像素点则由三角形网格顶点通过仿射变换求得。可以采用SOR迭代法求解最小的能量，并利用OpenMP并行库，利用多核CPU并行求解各warp。这一步可以得到两个warp，分别是左路真实视点的像素坐标和右路真实视点的像素坐标在中间位置的虚拟视点的坐标映射W_L和W_R，这种映射反应了视差的正确变化。

再次，为了适配多视点3D显示设备所需要的多路视点输入，可以基于W_L和W_R，通过内插和外插的方法，插值得到对应数量的warp。

最后，在warp的指导下，合成对应的虚拟视点。如上所述，计算得到的warp只包含三角形mesh顶点的坐标信息，而三角形内部的像素则可以通过仿射变换求得。所以在合成对应的虚拟视点时，先求得每个三角形mesh的仿射变换系数，然后进行反向映射，通过双线性插值，将真实视点中对应位置的像素绘制到虚拟视点中。每一个三角形mesh是互相独立的，因此可以同样借助GPU的并行计算能力，对每一个三角形并行操作。

下面通过具体实施方式结合附图对本申请作进一步详细说明。

请参照图1，本申请公开的实时虚拟视点合成的方法包括步骤S100～S700。在一实施例中，步骤S100和S700在GPU中进行，步骤S300和S500在CPU中进行。下面具体说明。

步骤S100、根据左、右两路真实视点的图像提取稀疏视差数据。在一具体实施例中，请参照图2，步骤S100具体包括步骤S101～S105。

步骤S101、对于左、右路真实视点的图像，进行FAST特征检测，得到若干特征点。在一具体实施例中，对于左、右路真实视点的图像，进行FAST特征检测，得到若干特征点，具体包括子步骤S101a、S101b和S101c：子步骤S101a、对图像进行兴趣点检测；子步骤S101b、计算各兴趣点的响应值；子步骤S101c、根据响应值对兴趣点进行非极大值抑制。例如，输入两路真实视点的图像后，将其分别处理成灰度图，然后分别对每一幅图像检测兴趣点。发明人以OpenCL实现了FAST-12，且将FAST段测试的阈值thresh设置为30。FAST特征检测如上所述，包括三个子步骤组成，为此发明人设计了3个OpenCL核函数。首先是检测兴趣点，其次是为兴趣点计算响应值，最后根据响应值对兴趣点进行非极大值抑制。后面两步主要是为了避免多个特征点挤在一起。在一实施例中，整个流水线都在GPU上实现，这3个核函数依次启动。待检测出两幅图的兴趣点后，本过程完成。本过程的OpenCL线程分配策略如图3所示，为图像k每个像素分配一个线程，各个线程都将执行同样的核函数，实现了单指令多数据级(SIMD)并行。

步骤S103、使用BRIEF计算各特征点的特征描述符。在一具体实施例中，例如，本步骤S103以步骤S101中检测出的特征点作为输入，本过程将使用BRIEF计算特征描述符，较优地，同样在GPU上实现。首先发明人为左、右路视点的图像计算积分图，积分图将用于快速平滑图像从而去除噪声，然后将计算得到的积分图传送到GPU上。请注意，步骤S101中检测的特征点的结果仍存于GPU内存中。发明人以OpenCL实现了BRIEF32，即256位二值描述符。在以特征点为中心的48×48大小的方形区域中，选取256对采样点，以大小为9的平滑核，通过查积分图对采样点去噪。通过比较每对采样点的灰度值大小，得到比特0或者1，经过256次比较则得到了该特征点的描述符。本过程设计1个OpenCL核函数，线程分配策略仍如图3所示，一个线程计算一个像素，只有在当前像素是步骤S101中检测出来的特征点时，当前线程才会为其计算出有效的描述符。

步骤S105、分别计算左路真实视点的图像中的各特征点的特征描述符到右路真实视点的图像中的各特征点的特征描述符的汉明(Hamming)距离，基于最小汉明距离这种方式进行特征点的匹配。在一具体实施例中，例如，本步骤S105基于步骤S103计算出来得特征描述符，发明人通过求最小Hamming距离寻求最匹配的特征对。由于步骤S103的结果是零散分布在图像上的描述符，而GPU并行计算更青睐于连续的数据区域。为此，发明人进行一个预处理操作。将零散的描述符逐个复制到另一块连续的较小的GPU内存，并统计描述符的个数，以及其对应的像素坐标。发明人分别对两幅图进行操作，待预处理完成，发明人还获知了左右路视图的描述符的个数，分别记为α和β。然后再分配对应数量的线程并行求解左路视图中各个特征点的特征描述符到右路视图中各个特征点的特征描述符的Hamming距离，线程分配策略如图4所示。计算两个比特串的Hamming距离，则可以通过统计异或运算结果中比特‘1’的个数快速求得。GPU也有对应的指令‘popcnt’支持这个操作。待上述操作完成，可以得到了一个二维表，包含了左右路视图中对应的描述符之间的Hamming距离。在最后的特征匹配阶段，可以通过查表来寻找最相似的特征对。为了保证匹配的精度，在一实施例中可以进行了交叉验证，如图5所示，首先分配α个线程为左路视图中的各个描述符寻找右路视图中最近距离的描述符，然后分配β个线程为右路视图中的各个描述符寻找左路视图中最近距离的描述符。交叉验证保证了两个特征点都是彼此最匹配的。输出将匹配的特征点的图像坐标，作为步骤S300的输入。

步骤S300、根据提取的稀疏视差数据，分别计算左路真实视点的像素坐标和右路真实视点的像素坐标在中间位置的虚拟视点的坐标映射W_L和W_R，这种映射反应了视差的正确变化。在一具体实施例中，步骤S300可以包括两个步骤，一是构造能量函数，二是求解线性方程，下面具体说明。

(1)不妨以左路真实视点的W_L为例，详述能量函数的构造过程。

能量函数可以由稀疏视差项、空域平滑项和时域平滑项构成，其可以被下面的表达式所表示：

E(w_L)＝λ_dE_d(w_L)+λ_sE_s(w_L)+λ_tE_t(w_L)；

下面分别对能量函数中的稀疏视差项、空域平滑项和时域平滑项进行说明。

a、稀疏视差项

以图像局部特征点对(p_L，p_R)作为输入，我们先定位包含该特征点p_L的三角形s，设该三角形的顶点为[v₁,v₂,v₃]，而p_L关于s的质心坐标为[α,β,γ]，满足以下关系：

p_L＝αv₁+βv₂+γv₃；

记p_M是特征点p_L在W_L中的投影位置，而稀疏视差项是为了约束p_M与p_L之间的距离，所以有如下关系式：

E₁(p_L)＝||αw_L(v₁)+βw_L(v₂)+γw_L(v₃)-p_M||²；

其中，p_M＝(p_L+p_R)/2，遍历各个特征点对，累加相应的E₁(p_L)，得到稀疏视差项如下：

E_{d} (w_{L}) = \underset{p_{L} &Element; F}{Σ} E_{1} (p_{L});

b、空域平滑项

记(m,n)为三角形mesh的索引号，而p(m,n)对应三角形顶点的图像坐标。定义如下两个函数，分别用于测量三角形竖直边和水平边的形变：

hor_dist(x,y)＝||w_L(p(x+1,y))-w_L(p(x,y))-(p(x+1,y)-p(x,y))||²；

ver_dist(x,y)＝||w_L(p(x,y+1))-w_L(p(x,y))-(p(x,y+1)-p(x,y))||²；

上直角三角形S_upper的顶点为[p(m,n),p(m+1,n),p(m,n+1)]，而下直角三角形S_lower的顶点为[p(m+1,n),p(m+1,n+1),p(m,n+1)]，空域平滑项约束的是这些三角形的几何形变：

E₂(m,n)＝E_upper(m,n)+E_lo_wer(m,n)；

E_upper(m,n)＝ver_dist(m,n)+hor_dist(m,n)；

E_lower(m,n)＝ver_dist(m+1,n)+hor_dist(m,n+1)；

遍历所有网格，累加对应的E₂(m,n)，得到空域平滑项如下：

E_{s} (m, n) = \underset{(m, n)}{Σ} E_{2} (m, n);

c、时域平滑项

时域平滑项用于确保图像纹理在时域上的稳定。令w_L ^j表示第j帧的warp，因此时域平滑项可以构造如下:

E_{t} ({w_{L}}^{j}) = \underset{(m, n)}{Σ} | | {w_{L}}^{j} (p (m, n)) - {w_{L}}^{j - 1} (p (m, n)) | |^{2};

(2)求解线性方程

上面构造得到的能量函数是一个二次表达式，以warp中三角形mesh的顶点为变元。寻找最小的能量值时，可以基于能量函数，分别对顶点的横纵坐标求偏导。可以得到一个线性表达式Ax＝b，并可以表示为如下矩阵形式：

[\begin{matrix} a_{11} ... a_{1 N} \\ \cdot \\ \cdot \\ \cdot \\ a_{N 1} ... a_{N N} \end{matrix}] \times [\begin{matrix} x_{1} \\ \cdot \\ \cdot \\ \cdot \\ x_{N} \end{matrix}] = [\begin{matrix} b_{1} \\ \cdot \\ \cdot \\ \cdot \\ b_{N} \end{matrix}];

解空间[x₁…x_N]^T的大小取决于三角形mesh的数量。一个例子中，把图像划分成64×48个mesh。可以看到，系数矩阵是大小为3185×3185的方阵，并且还是一个稀疏的带状矩阵，并且是严格对角占优矩阵。为此，在一实施例中，可以采用SOR迭代法求解近似解，而非通过矩阵分解法。对于视频，上一帧的解作为求解当前帧的初值进行SOR迭代，以充分利用时域相关性。

注意到，对顶点的横纵坐标分别求偏导，将得到两个线性表达式，再加上对右路视图同样需要计算一个warp，那么总共要求解四个线性方程。为此，在一实施例中，可以使用OpenMP库，利用多核CPU并行求解。

步骤S500、根据左路真实视点到中间位置的虚拟视点的坐标映射W_L，插值得到左路真实视点到其他若干位置的虚拟视点的坐标映射W_L1～W_LN，其中N为正整数；和/或，根据右路真实视点到中间位置的虚拟视点的坐标映射W_R，插值得到右路真实视点到其他若干位置的虚拟视点的坐标映射W_R1～W_RM，其中M为正整数。请参照图6，不妨以8路视点为例。为了得到8路视点，可以插值得到对应位置的warp。以α表示虚拟视点的位置(为归一化坐标)，并以u表示真实视点处的warp，也就是规格的mesh划分。那么通过公式W_L ^α＝2α(W_L ^0.5-u)+u可以插值得到-0.2、0.2、0.4三个虚拟视点处的warp，通过公式W_R ^α＝2(1-α)(W_R ^0.5-u)+u可以插值得到0.6、0.8、1.2三个位置的warp。在一较优的实施例中，根据左路真实视点到中间位置的虚拟视点的坐标映射W_L，插值得到左路真实视点到中间位置左边的若干位置的虚拟视点的坐标映射W_L1～W_LN，其中N为正整数；并且，根据右路真实视点到中间位置的虚拟视点的坐标映射W_R，插值得到右路真实视点到中间位置右边的若干位置的虚拟视点的坐标映射W_R1～W_RM。在一较优实施例中，N和M相等，并且得到的虚拟视点的位置关于中间位置对称。

步骤S700、根据左路真实视点的图像以及坐标映射W_L1～W_LN，分别合成相应位置的虚拟视点的图像；和/或，根据右路真实视点的图像以及坐标映射W_R1～W_RM，分别合成相应位置的虚拟视点的图像。在一较优实施例中，根据左路真实视点的图像以及坐标映射W_L1～W_LN，分别合成相应位置的虚拟视点的图像，其中坐标映射W_L1～W_LN是左路真实视点到中间位置左边的若干位置的虚拟视点的坐标映射；以及根据右路真实视点的图像以及坐标映射W_R1～W_RM，分别合成相应位置的虚拟视点的图像，其中坐标映射W_R1～W_RM是右路真实视点到中间位置右边的若干位置的虚拟视点的坐标映射。不妨仍以图6中的例子进行说明。在步骤S500中我们得到了输入的左右视图在虚拟视点位置-0.2、0.2、0.4、0.6、0.8和1.2处的映射(即形变W_-0.2、W_0.2、W_0.4、W_0.6、W_0.8、W_1.2)。为了合成虚拟视图，我们基于输入的左视图I_L和W_-0.2、W_0.2、W_0.4合成-0.2、0.2、0.4三个位置的虚拟视图，以及基于输入的右视图I_R和W_0.6、W_0.8、W_1.2合成0.6、0.8、1.2三个位置的虚拟视图。具体地，可以通过对各个三角形mesh进行图像域形变，从而合成虚拟视图。一个三角形mesh由3个顶点标识，而三角形内部的mesh则通过仿射变换求得。为了合成目标图像，先求解仿射变换系数，然后进行反向映射，通过双线性插值，将真实视点中对应位置的像素绘制到虚拟视点中。如上所述的例子，输入的视图被划分为64×48个mesh，为了合成6路虚拟视点，总共需要计算64×48×2×6个三角形。这一步同样具有很高的并行度，因此可以设计一个OpenCL核函数并行计算。对应的线性分配策略如图7所示。可以将计算出的6个warp以及左右两路真实视图传入GPU内存，在核函数中先判断当前线程处理的三角形对应的虚拟视点，然后求得仿射变换系数，再依据真实视图绘制虚拟视点中的像素。待所有的36864个线程工作完成，6路虚拟视图就合成了。合成的6路虚拟视图加上输入的2路真实视图，对应于8路视点。至此，虚拟视点的实时化合成技术的所有步骤完成。在一实施例中，可以将能量函数的三个参数{λ_d,λ_s,λ_t}设置为{1，0.05，1}。实验表明，对720P视频，本申请可以将S3D实时地转换为8路视点，效果展示如图8所示，图8(a)～(h)分别对应着图6中的各视点的视图，8(a)为位置为-0.2的虚拟视图，8(b)为位置为0的真实视图(即输入的左路真实视点的图像)，8(c)为位置为0.2的虚拟视图，8(d)为位置为0.4的虚拟视图，8(e)为位置为0.6的虚拟视图，8(f)为位置为0.8的虚拟视图，8(g)为位置为1的真实视图(即输入的右路真实视点的图像)，8(h)为位置为1.2的虚拟视图。

本申请的实时虚拟视点合成的方法，在合成虚拟视点的图像的整个过程中，不需要像现有技术一样借助深度图，因此有效的规避了基于深度图绘制技术所导致的问题；在提取稀疏视差数据时，由于使用了FAST特征检测以及BRIEF计算各特征点的特征描述符，在保证匹配精度的同时，还具有很快的计算速度，有助于实现虚拟视点合成的实时化；利用GPU的并行计算能力，使用GPU根据左、右两路真实视点的图像提取稀疏视差数据，和/或，使用GPU合成相应位置的虚拟视点的图像，加速了计算速度，有助于实现虚拟视点合成的实时化。

相应地，本申请公开了一种实时虚拟视点合成的装置，请参照图9，其包括视差提取单元100、坐标映射单元300、插值单元500和合成单元700，下面具体说明。

视差提取单元100用于根据左、右两路真实视点的图像提取稀疏视差数据。在一实施例中，如图10所示，视差提取单元100包括FAST特征检测单元101、BRIEF特征描述符单元103和特征点匹配单元105；FAST特征检测单元101用于对于左、右路真实视点的图像，进行FAST特征检测，得到若干特征点；BRIEF特征描述符单元103用于使用BRIEF计算各特征点的特征描述符；特征点匹配单元105用于分别计算左路真实视点的图像中的各特征点的特征描述符到右路真实视点的图像中的各特征点的特征描述符的汉明距离，基于最小汉明距离这种方式进行特征点的匹配。在一实施例中，请参照图11，FAST特征检测单元101包括兴趣点检测子单元101a、响应值计算子单元101b和非极大值抑制子单元101c；兴趣点检测子单元101a用于对图像进行兴趣点检测；响应值计算子单元101b用于计算各兴趣点的响应值；非极大值抑制子单元101c用于根据响应值对兴趣点进行非极大值抑制。

坐标映射单元300用于根据提取的稀疏视差数据，分别计算左路真实视点的像素坐标和右路真实视点的像素坐标在中间位置的虚拟视点的坐标映射W_L和W_R，这种映射反应了视差的正确变化。

插值单元500用于根据左路真实视点到中间位置的虚拟视点的坐标映射W_L，插值得到左路真实视点到其他若干位置的虚拟视点的坐标映射W_L1～W_LN，其中N为正整数；和/或，用于根据右路真实视点到中间位置的虚拟视点的坐标映射W_R，插值得到右路真实视点到其他若干位置的虚拟视点的坐标映射W_R1～W_RM，其中M为正整数。在一较优实施例中，插值单元500根据左路真实视点到中间位置的虚拟视点的坐标映射W_L，插值得到左路真实视点到中间位置左边的若干位置的虚拟视点的坐标映射W_L1～W_LN，其中N为正整数；并且，插值单元500还根据右路真实视点到中间位置的虚拟视点的坐标映射W_R，插值得到右路真实视点到中间位置右边的若干位置的虚拟视点的坐标映射W_R1～W_RM。在一较优实施例中，N和M相等，并且得到的虚拟视点的位置关于中间位置对称。

合成单元700用于根据左路真实视点的图像以及坐标映射W_L1～W_LN，分别合成相应位置的虚拟视点的图像；和/或，用于根据右路真实视点的图像以及坐标映射W_R1～W_RM，分别合成相应位置的虚拟视点的图像。在一较优实施例中，合成单元700根据左路真实视点的图像以及坐标映射W_L1～W_LN，分别合成相应位置的虚拟视点的图像，其中坐标映射W_L1～W_LN是左路真实视点到中间位置左边的若干位置的虚拟视点的坐标映射；以及合成单元700根据右路真实视点的图像以及坐标映射W_R1～W_RM，分别合成相应位置的虚拟视点的图像，其中坐标映射W_R1～W_RM是右路真实视点到中间位置右边的若干位置的虚拟视点的坐标映射。

在一实施例中，本申请的实时虚拟视点合成的装置中，视差提取单元100是基于GPU并行计算来完成稀疏视差数据的提取，合成单元700是基于GPU并行计算来完成虚拟视点的图像合成。

以上内容是结合具体的实施方式对本申请所作的进一步详细说明，不能认定本申请的具体实施只局限于这些说明。对于本申请所属技术领域的普通技术人员来说，在不脱离本申请发明构思的前提下，还可以做出若干简单推演或替换。

Claims

1.一种实时虚拟视点合成的方法，其特征在于，包括：

根据左、右两路真实视点的图像提取稀疏视差数据；

2.如权利要求1所述的实时虚拟视点合成的方法，其特征在于，根据左、右两路真实视点的图像提取稀疏视差数据，具体包括：

使用BRIEF计算各特征点的特征描述符；

3.如权利要求2所述的实时虚拟视点合成的方法，其特征在于，对于左、右路真实视点的图像，进行FAST特征检测，得到若干特征点，具体包括：

对图像进行兴趣点检测；

计算各兴趣点的响应值；

根据响应值对兴趣点进行非极大值抑制。

4.如权利要求1至3所述的实时虚拟视点合成的方法，其特征在于，使用GPU根据左、右两路真实视点的图像提取稀疏视差数据；和/或，使用GPU合成相应位置的虚拟视点的图像。

5.一种实时虚拟视点合成的装置，其特征在于，包括：

6.如权利要求5所述的实时虚拟视点合成的装置，其特征在于，所述视差提取单元包括：

7.如权利要求6所述的实时虚拟视点合成的装置，其特征在于，所述FAST特征检测单元包括：

兴趣点检测子单元，用于对图像进行兴趣点检测；

响应值计算子单元，用于计算各兴趣点的响应值；

非极大值抑制子单元，用于根据响应值对兴趣点进行非极大值抑制。

8.如权利要求5至7中任一项所述的实时虚拟视点合成的装置，其特征在于，所述视差提取单元是基于GPU并行计算来完成稀疏视差数据的提取；和/或，所述合成单元是基于GPU并行计算来完成虚拟视点的图像合成。