CN101321299B - 视差生成方法、生成单元以及三维视频生成方法及装置 - Google Patents

Abstract

本发明实施例涉及视差生成方法、生成单元以及三维视频生成方法及装置。视差生成方法根据第一及第二视图、第一以及第二视图的遮挡图，计算非匹配像素的视差，生成第一及第二视图的视差图；根据第一及第二视图的视差图生成新的第一及第二视图的遮挡图；若迭代结束条件满足，则迭代结束，否则，将新的遮挡图作为遮挡图继续迭代过程。根据遮挡图、视差图获得优化指标，根据优化指标判断迭代是否结束。本发明实施例实现了根据当前视点从多个视频图像中选择所需的视频图像，并能够对两个及多个视频图像进行合成，生成三维视频；在迭代过程中，只更新非匹配象素的值，从而可以减少计算时间，加快收敛速度。

Description

视差生成方法、生成单元以及三维视频生成方法及装置 

技术领域

本发明涉及三维图像处理技术，尤其涉及视差生成方法、生成单元以及三维视频生成方法及生成装置。 

背景技术

现在出现了一种新的多媒体形式，即三维视频。三维视频能够让用户在观看视频时有身临其境之感。 

基于双目视觉模型(两视几何)的三维视频重构是目前研究的热点，通过模仿自然界中大部分生物的视觉系统，从两个不同角度对同一场景拍摄(模拟生物双眼看到的景象)，查找并匹配两幅图像的特征点对(第一幅图像中的特征点在第二幅图像中的位置，模拟生物视觉系统中的智能混合)，最后用计算几何的方法计算出每对匹配特征点对应三维点的空间位置。 

自由视点视频是三维视频重要的一种。自由视点视频的特点之一是视点可调，即可根据用户的反馈将视频转换为自由视点的三维视频。现有的三维视频生成方法，多是针对如何对两幅已有的图像进行重构而提出的。但是，为了使用户能够在较大范围内选择视点观看三维视频，三维视频可以包括由多个摄像机拍摄的视频图像。而现有的三维视频生成方法并没有解决如何根据用户选择的视点在多个视频图像中选择所需要的视频以及如何根据多个视频图像生成三维视频的问题。 

在三维视频重构方面，最重要又最困难的是对应性问题，即如何在图像中寻找与同一空间点对应的成像对，得到图像的视差图，也就是如何对图像中的象素或特征进行匹配。 

对应性问题不能通过简单的把两幅图像的灰度进行对比搜索就能解决 的，存在的困难主要有三个方面：(1)由于遮挡关系，图像中的象素在另一个图像中没有出现；(2)在纹理稀少的地方，出现多个象素点灰度值一致，信噪比过低，匹配结果取决于噪音；(3)由于拍摄角度不一样带来的光照阴影的差异严重影响匹配的效果。 

现有的一种视差生成方法采用局部匹配法，在一个区域内搜索最佳的匹配点，该点的匹配结果只能影响区域内的象素的匹配。局部匹配法包括：动态规划算法，利用外极线几何把两视几何的搜索范围限制到一维上，用动态规划算法用亮度差作为衡量标准查找一维上的最佳匹配；窗口搜索算法，搜索的区域可以是固定大小的窗口，也可以是可变窗口。局部匹配方法的最终结果很差，受噪音的影响在2D上很粗糙。 

现有的另一种视差生成方法是全局匹配法，在整个图像的可能范围中搜索最佳匹配点，理论上该点的匹配结果可能会影响到图像上任何一个象素点的匹配。然而，全局搜索是一个np难题，得出全局最优解的搜索复杂度为(w*h)^d，其中w及h分别为图像的宽度及高度，d为深度离散值的取值范围。当前这类算法中效果最好的做法是采用基于成对马尔可夫随机场的信念传递网络和割图技术。信念传递即根据相邻象素的传来的消息，更新当前象素的值，在下一次迭代中该象素会发出消息去影响其相邻象素。这种算法的单次算法效率较高，但效果不能令人完全满意，这时候通常的做法是迭代优化效果。理论上无穷次迭代之后结果会按照制定的规则收敛到一个最优值。割图技术也同样采用相类似的迭代算法。采用全局匹配算法，由于开始时不知道两图像中被遮挡的象素，所以只能假定开始没有象素被遮挡，计算出左右图像的视差图像，然后用左右视差图像计算出左右图像的被遮挡象素，把前一次计算得到的遮挡图作为后一次重新计算的输入；每次迭代时，对于每个象素，均会根据该象素相邻像素传来的信息对其进行更新；迭代一定次数通常需要3次以上之后，输出较为稳定的视差图像。全局匹配算法复杂度较高，每次迭代时会对所有象素进行更新计算，整个算法的耗时为一次信念传递网 收敛计算的n倍，其中n为迭代次数。 

现有的三维视频生成方法并没有解决如何根据用户选择的视点在多个视频图像中选择所需要的视频以及如何根据多个视频图像生成三维视频的问题。现有的视差生成方法中，全局匹配方法比局部匹配方法匹配效果好，但是全局匹配方法在每次迭代时会对所有像素进行更新，算法复杂度高，计算量大。 

发明内容

本发明实施例的一个目的在于，提供三维视频生成方法及装置，实现根据当前视点选择所需的视频图像，并能够对两个及多个视频图像进行合成，生成三维视频。 

本发明实施例的另一个目的在于提供视差生成方法及生成单元，根据遮挡图像计算视差图，在迭代过程中减少计算时间，加快收敛速度。 

为了实现上述第一个目的，本发明实施例提供了一种三维视频生成方法，包括如下步骤： 

接收多视视频图像及多视视频图像的视点位置参数； 

根据当前视点位置及多视视频图像的视点位置参数选择视频图像； 

根据被选择视频图像的视点位置及当前视点的位置获得合成视点的位置；两个被选择视频图像与一个合成视点对应，用于生成一个合成视点的视频图像； 

根据被选择视频图像生成被选择视频图像的视差图； 

根据被选择视频图像及被选择视频图像的视差图生成合成视点的视频图像； 

判断所述合成视点的位置是否为当前视点的位置； 

若合成视点位置是当前视点位置，将合成视点的视频图像作为最终得到的视频图像；

若合成视点位置不是当前视点位置，将合成视点的视频图像作为被选择视频图像，返回执行所述根据被选择视频图像的视点位置及当前视点的位置获得合成视点的位置的步骤及该步骤之后的步骤。 

为了实现上述第一个目的，本发明实施例还提供了一种三维视频生成装置，所述装置包括： 

接收单元，用于接收多视视频图像及多视视频图像的视点位置参数； 

视选择单元，用于根据当前视点位置及多视视频图像的视点位置参数选择视频图像； 

合成视点确定单元，用于根据接收的视频图像的视点位置及当前视点的位置计算合成视点位置，并输出合成视点位置以及接收的视频图像；在初始情况下，所述接收的视频图像为所述视选择单元选择的视频图像，在第二种情况下，所述接收的视频图像为另一模块生成的视频图像； 

视差生成单元，用于根据合成视点确定单元输出的视频图像生成相应的视差图； 

图像合成单元，用于根据合成视点确定单元输出的合成视点位置及视频 

图像，以及视差生成单元生成的视差图生成合成视点的视频图像； 

视点判断单元，用于判断所述合成视点的位置是否为当前视点的位置；在合成视点位置是当前视点位置时，将合成视点的视频图像作为最终得到的视频图像； 

所述第二种情况为所述合成视点确定单元处于非初始情况且所述视点判断单元的判断结果为所述合成视点的位置不是当前视点的位置；所述另一模块为所述图像合成单元。 

为了实现上述另一目的，本发明实施例提供了一种视差生成方法，所述方法包括如下步骤： 

接收第一视图及第二视图； 

根据所述第一视图及第二视图生成第一视图的视差图及第二视图的视差 图； 

根据所述第一视图的视差图及所述第二视图的视差图生成第一视图的遮挡图及第二视图的遮挡图； 

根据所述第一视图、第二视图、第一视图的遮挡图以及第二视图的遮挡图，计算所述第一视图及所述第二视图的非匹配象素的视差，生成新的第一视图的视差图及新的第二视图的视差图； 

根据所述新的第一视图的视差图及所述新的第二视图的视差图生成新的第一视图的遮挡图及新的第二视图的遮挡图； 

判断迭代结束条件是否满足； 

在迭代结束条件满足时，将所述新的第一视图的视差图及所述新的第二视图的视差图作为最终得到的第一视图的视差图以及第二视图的视差图； 

在迭代结束条件不满足时，将所述新的第一视图的遮挡图作为第一视图的遮挡图，所述新的第二视图的遮挡图作为第二视图的遮挡图，并返回重新执行根据所述第一视图、第二视图、第一视图的遮挡图以及第二视图的遮挡图，计算所述第一视图及所述第二视图的非匹配象素的视差，生成新的第一视图的视差图及新的第二视图的视差图的步骤及该步骤之后的步骤，直到所述迭代结束条件满足。 

为了实现上述另一目的，本发明实施例还提供了一种视差生成单元，所述单元包括： 

视图接收模块，用于接收第一视图及第二视图； 

第一视差图生成模块，用于根据所述第一视图及所述第二视图生成并输出第一视图的视差图及第二视图的视差图； 

遮挡图生成模块，用于根据接收的视差图生成相应的遮挡图，在初始情况下，所述接收的视差图为所述第一视差图生成模块生成的视差图，在第一种情况下，所述接收的视差图为另一模块生成的视差图；第二视差图生成模块，用于根据所述第一视图，所述第二视图，所述遮挡图生成模块生成的遮 挡图，计算所述第一视图及所述第二视图的非匹配像素的视差，生成新的第一视图的视差图以及新的第二视图的视差图； 

迭代判断模块，用于判断迭代结束条件是否满足；在迭代结束条件满足时，将所述新的第一视图的视差图及所述新的第二视图的视差图作为最终得到的第一视图的视差图以及第二视图的视差图； 

所述第一种情况为所述遮挡图生成模块处于非初始情况且所述迭代判断模块的判断结果为迭代结束条件不满足的情况；所述另一模块为所述第二视差图生成模块。 

本发明实施例根据视频图像视点与当前视点的距离从多个视频图像中选择用于生成当前视点视频图像的视频图像，从而实现了根据当前视点从多个视频图像中选择所需的视频图像，并能够对两个及多个视频图像进行合成，生成三维视频；根据遮挡图像计算视差图，在迭代过程中，只更新非匹配象素的值，从而可以减少计算时间，加快收敛速度。 

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。 

附图说明

图1为本发明实施例的三维视频生成方法第一流程图； 

图2为本发明实施例的三维视频生成方法第二流程图； 

图3为本发明实施例的三维视频生成方法的合成步骤的流程图； 

图4a及图4b为本发明实施例的共面校正示意图； 

图5为本发明实施例的视差生成方法第一流程图； 

图6为本发明实施例的视差生成方法第二流程图； 

图7为本发明实施例的三维视频生成装置第一结构示意图； 

图8为本发明实施例的三维视频生成装置第二结构示意图； 

图9为本发明实施例的三维视频生成装置的第三结构示意图； 

图10为本发明实施例的三维视频生成装置的第四结构示意图； 

图11为本发明实施例的视差生成单元第一结构示意图； 

图12为本发明实施例的视差生成单元第二结构示意图； 

图13为本发明实施例的视差生成单元第三结构示意图。 

具体实施方式

如图1所述，为本发明实施例的三维视频生成方法第一流程图，包括如下步骤： 

步骤S101、接收多视视频图像及多视视频图像的视点位置参数； 

步骤S102、根据当前视点位置及多视视频图像的视点位置参数选择视频图像； 

步骤S103、根据被选择视频图像的视点位置及当前视点的位置获得合成视点的位置；两个被选择视频图像与一个合成视点对应，用于合成一个合成视点的视频图像；合成视点是两个被选择视频图像即将合成得到的视频图像的视点； 

步骤S104、根据被选择视频图像生成被选择视频图像的视差图； 

步骤S105、根据被选择视频图像及被选择视频图像的视差图生成合成视点的视频图像； 

步骤S106、判断合成视点的位置是否为当前视点的位置，若是，执行步骤S108，否则，执行步骤S107； 

步骤S107、用合成视点的视频图像作为被选择的视频图像，重复执行步骤S103～步骤S106； 

步骤S108、将合成视点的视频图像作为最终得到的视频图像。 

本实施例实现了根据当前视点选择所需的视频图像，并对两个或多个视频图像进行合成，生成三维视频。 

当视频图像是一维排布时，也就是说用于摄取视频图像的摄像机是水平摆放或者垂直摆放时，可选择距离当前视点最近的两段视频图像，此时，合 成视点就是当前视点。 

当视频图像是二维排布或者半球排布时，也就是说摄像机是在二维平面上摆放或半球状摆放时，可以选择距离当前视点最近的四段视频图像，并且这四段视频图像的视点应尽量保持均匀分布在两个纬度上，即二维平面的横坐标和纵坐标，半球状的经线和纬线方向。 

对于二维排布或半球排布的情况，可先对同一纬度上的两对视频图像进行处理，得到两个视频图像，然后再对得到的这两个视频图像进行处理，最终得到当前视点的视频图像。 

在对两对被选择的视频图像进行处理时，合成视点是根据被选择视频图像的视点位置及当前视点计算出来的，而不是当前视点。例如，设被选择的四段视频图像的视点分别为(x1，y1，b)，(x2，y1，b)，(x1，y2，b)及(x2，y2，b)，当前视点为(x，y，b)，其中，视点坐标的三个分量分别为横轴坐标、纵轴坐标及深度坐标。此时，可先对视点为(x1，y1，b)及(x2，y1，b)的一对视频进行处理，计算视差图，进行合成，生成视点为(x，y1，b)的视频图像，并对视点为(x1，y2，b)及(x2，y2，b)的一对视频进行处理，计算视差图，进行合成，生成视点为(x，y2，b)的视频图像；然后对视点为(x，y1，b)的视频图像及视点为(x，y2，b)的视频图像进行处理，计算视差图像，进行合成，生成视点为当前视点(x，y，b)的视频图像。 

其中，视点(x，y1，b)及(x，y2，b)为根据视频图像的视点以及当前视点(x，y，b)计算获得的合成视点，视点为(x1，y1，b)及(x2，y1，b)的视频图像与合成视点(x，y1，b)相对应，用于合成(x，y1，b)处的视频图像；视点为(x1，y2，b)及(x2，y2，b)的视频图像与合成视点(x，y2，b)相对应，用于合成(x，y2，b)处的视频图像。然后对视点为(x，y1，b)及(x，y2，b)的视频图像进行处理，合成视点是当前视点(x，y，b)，计算视差图像，进行合成，得到(x，y，b)处的视频图像。 

如图2所示，为本发明实施例的三维视频生成方法第二流程图，包括： 

步骤S201、接收多视视频图像及多视视频图像的视点位置参数； 

步骤S202、根据视点移动方向及之前视点位置确定当前视点位置；

例如，根据用户可通过遥控器等装置输入视点移动方向信息，根据该视点移动方向以及之前的视点位置，可以确定当前视点的位置； 

步骤S203、根据多视视频视点的位置参数判断视频图像为二维排布； 

步骤S204、根据当前视点位置(x，y，b)及多视视频图像的视点位置参数选择距离当前视点距离最近的四段视频图像，即视点为(x1，y1，b1)，(x2，y1，b2)，(x1，y2，b3)及(x2，y2，b4)的四段视频图像；这四段视频图像均匀分布于二维平面的横轴和纵轴； 

步骤S205、根据被选择的四段视频图像的视点位置及当前视点的位置获得合成视点的位置(x，y1，b)及(x，y2，b)；视点为(x1，y1，b1)及(x2，y1，b2)的两个视频图像与合成视点(x，y1，b)对应，用于生成视点(x，y1，b)的视频图像；视点为(x1，y2，b3)及(x2，y2，b4)的两个视频图像与合成视点(x，y2，b)对应，用于生成视点(x，y2，b)的视频图像； 

步骤S206、生成每对被选择视频图像的视差图；即生成视点为(x1，y1，b1)及(x2，y1，b2)的两个视频图像的视差图以及视点为(x1，y2，b3)及(x2，y2，b4)的两个视频图像的视差图； 

步骤S207、根据被选择视频图像的视差图、被选择视频图像的视点及合成视点位置，对被选择视频图像进行合成，生成合成视点的视频图像；即对于视点为(x1，y1，b1)及(x2，y1，b2)的两个视频图像，根据两个视频图像的视点位置、视差图以及合成视点位置(x，y1，b)对这两个视频图像进行合成，生成合成视点(x，y1，b)处的视频图像；对于视点为(x1，y2，b3)及(x2，y2，b4)的两个视频图像，根据两个视频图像的视点位置、视差图以及合成视点位置(x，y2，b)，对这两个视频图像进行合成，生成合成视点(x，y2，b)处的视频图像； 

步骤S208、判断合成视点的位置不为当前视点的位置，继续对得到的视频图像进行处理； 

步骤S209、将合成视点(x，y1，b)及(x，y2，b)的视频图像作为的被选择的需要合成的视频图像，计算合成视点的位置，此时合成视点即为当前视点；

步骤S210、计算视点为(x，y1，b)及(x，y2，b)的这两个视频图像的视差图； 

步骤S211、根据步骤S210计算得到的视差图，需要合成的视频图像的视点(x，y1，b)及(x，y2，b)，以及此次的合成视点，即当前视点，对视点为(x，y1，b)及(x，y2，b)的视频图像进行合成，得到合成视点的视频图像； 

步骤S212、判断合成视点与当前视点相同，将合成视点的视频图像作为最终得到的视频图像。 

本实施例可调根据视点移动方向确定当前视点，并根据当前视点选择所需的视频图像，进而根据选择的视频图像生成三维视频。本实施例实现了根据二维排布视频图像生成视点可调的三维视频。 

上述实施例中，在得到待合成的视频图像的视差图后，根据视频图像的视差图及视点位置，以及合成视点的位置对待合成的视频图像进行合成处理，得到合成视点的视频图像，如图3所示合成的步骤可具体包括： 

步骤S301、调整视频图像的深度，使其与合成视点的深度一致； 

例如，在利用视点为(x1，y1，b1)及(x2，y1，b2)的两个视频图像生成合成视点(x，y1，b)的视频图像时，要先调整这两个视频图像的深度，使其深度变为合成视点的深度b； 

步骤S302、根据合成视点及两个视频图像的视点计算差值权重因子α；例如，设一个视频图像的视点为O，另一个视频图像的视点为O’，合成视点为O”，那么权重因子α可由下面的公式得到： 

$\mathrm{\α}=\frac{\left|\stackrel{\‾}{\mathrm{OO}\′\′}\right|}{\left|\stackrel{\‾}{\mathrm{OO}\′}\right|}$

步骤S303、计算视频图像在合成视点的值T(x，y)及T′(x，y)，可根据下式计算： 

T(x+α×D(x，y)，y)＝I(x，y) 

T′(x+(1-α)×D(x，y)，y)＝I′(x，y) 

其中，D(x，y)为视差图，I及I′分别为两个待合成的视频图像；T及T′分 别为待合成视频图像I及I′在合成视点的值。当存在自遮挡情况时，例如左视图有两个象素对当前视图赋值，这时可对这两个象素的视差值进行比较，选择视差值大的象素颜色值。当x+α×D(x，y)不是整数时，可同时对相邻的两个象素赋值。 

步骤S304、对视频图像在合成视点的值T及T′进行叠加，得到合成视点的视频图像I″，可通过下式计算： 

I″＝(1-α)×T+α×T′ 

叠加时，也会碰到遮挡问题。例如对于象素点(x，y)，其在左图或者右图的颜色值缺失。如果是缺一个值，则可以全部选择另一个图像的插值。如果是两个值都缺失，则需要等到所有象素叠加完成之后，选取相邻象素的颜色值来填补当前颜色值，这里可以选用中值滤波或者高斯滤波。 

上述合成的步骤实现了根据视频图像及视差图生成三维视频，并考虑到了深度的调整以及遮挡情况的处理。 

为了后续处理的方便，可对用于生成合成视点视频图像的两个视频图像进行共面校正，将两个视频图像的成像平面投影到同一平面。 

图4a及图4b为共面校正示意图。参见图4a及图4b，П和П’分别为两个视频图像的成像平面，其对应的光学中心为O和O’。两摄像机中心的连线OO’为基线(Baseline)。点P在成像平面П及П’上的成像点分别为p及p′，在校正平面ПП’上的投影分别为p和p′。点Q在校正平面ПП’上的投影分别为q和q′。摄像机光学中心O及O’在校正平面ПП’上的投影分别为o及o′。 

校正平面ПП’的选择有两个自由度：(1)平面与基线OO’的距离，这关系到投影后图像的比例关系，该距离限定为某一固定值即可，例如，限定为摄像机的焦距；(2)平面法线，首先平面的法线必须与基线垂直，其次，为了尽量减少畸变发生，该平面通常与原两成像平面的交线平行。这样校正平面的选择就唯一确定了。

为了后续的计算方便，可把两个成像坐标系进行限定，OO’方向为横坐标u轴及u’轴方向，原两成像平面交线方向为纵坐标v轴及v’轴方向，坐标的原点为摄像机光学中心O及O’的投影o及o′。 

根据视差图像的对应关系可将象素分为两类：匹配象素及非匹配象素。对于需要合成的两个视频图像，可根据其中一幅图像的某象素的视差与该象素在另一幅图像中对应象素的视差的差值来判断该象素是否为匹配象素。例如，对于校正后的左、右视图，根据左视图的视差图，若左视图中坐标为(x，y)的象素的视差为d1，那么，右视图中坐标为(x+d1，y)的象素即为左视图中象素(x，y)的对应象素，根据右视图的视差图，可以得到象素(x+d1，y)的视差dr，然后根据dl和dr的差值是否在预先设定的阈值范围内，即是否满足|dl-dr|<＝dth，若满足，则左视图象素(x，y)是匹配象素，否则，该象素为非匹配象素，其中非匹配象素包括被遮挡象素和匹配错误的象素。对于右视图可用同样的方法判断象素是否为匹配象素。 

根据视频图像中各象素的类型可生成遮挡图，遮挡图中各象素的值表明了该象素是否为匹配象素。在迭代求取视差图的过程中，根据遮挡图进行计算，只更新非匹配象素的视差值，而不更新匹配像素的视差值，从而可以大大较少运算时间。在迭代过程中，遮挡图中的非匹配像素可能包括遮挡像素以及匹配错误的像素，但随着迭代次数的增加，视差图和遮挡图逐渐趋于稳定，在稳定的遮挡图中，可以认为非匹配像素均为遮挡像素，而匹配象素均为非遮挡像素。 

如图5所示，为本发明实施例的视差生成方法第一流程图，包括如下步骤： 

步骤S401、接收第一视图及第二视图； 

步骤S402、根据第一视图及第二视图生成第一视图的视差图及第二视图的视差图； 

步骤S403、根据第一视图的视差图及第二视图的视差图生成第一视图的 遮挡图及第二视图的遮挡图； 

步骤S404、根据第一及第二视图、第一视图的遮挡图以及第二视图的遮挡图，计算第一视图及第二视图的非匹配像素的视差，生成新的第一视图的视差图及第二视图的视差图； 

步骤S405、根据新的第一视图的视差图及新的第二视图的视差图生成新的第一视图的遮挡图及新的第二视图的遮挡图； 

步骤S406、判断迭代结束条件是否满足，若满足执行步骤S407，否则，将新的第一视图的遮挡图作为第一视图的遮挡图，新的第二视图的遮挡图作为第二视图的遮挡图，执行步骤S404； 

步骤S407、将新的第一视图的视差图及新的第二视图的视差图分别作为最终得到的第一视图的视差图及第二视图的视差图。 

在计算视差图时，可采用现有的匹配方法，例如，基于马尔科夫随机场的信念传递网络或者割图技术。 

本实施例在迭代计算视差图时，根据需要计算视差图像的两个视图及两个视图的遮挡图进行计算，在迭代过程中，根据遮挡图判断各象素是否为匹配象素，只计算非匹配象素的值，匹配象素的值不受相邻象素的影响。这样，在第一次计算之后，大部分象素点都是匹配象素，在之后的迭代过程中，只需计算少量的非匹配象素的值，可以大大较少运算时间，加快收敛速度。 

迭代结束条件可以是当前迭代次数达到预先设定的迭代次数，例如，将迭代次数设定为3次，那么在迭代3次后迭代结束，输出第一视图的视差图及第二视图的视差图。 

迭代结束条件也可以是根据视差图和/或遮挡图计算得到优化指标达到优化指标阈值。例如，可根据视差图及新视差图求取各像素的视差变化值，然后对各像素的视差变化值的绝对值求和作为优化指标，若该优化指标达到预先设定的优化指标阈值，则迭代结束。这个优化指标可以反映各像素视差的变化情况。

如图6所示，为本发明实施例的视差生成方法第二流程图，包括如下步骤： 

步骤S501、接收第一视图及第二视图； 

步骤S502、用第一视图、第二视图的视点位置参数校正第一视图及第二视图，并将所述第一视图及第二视图转换为灰度图； 

步骤S503、根据第一视图及第二视图生成第一视图的视差图及第二视图的视差图； 

步骤S504、判断第一视图的象素及第二视图的象素是否为匹配象素；根据判断结果生成第一视图的遮挡图及第二视图的遮挡图； 

步骤S505、根据第一视图及第二视图、第一视图的遮挡图以及第二视图的遮挡图生成新的第一视图的视差图及新的第二视图的视差图； 

步骤S506、根据新的第一视图的视差图及新的第二视图的视差图判断新的第一视图的象素及新的第二视图的象素是否为匹配象素；将第一视图的非匹配像素及第二视图的非匹配像素对应的遮挡图象素进行更新，生成新的第一视图的遮挡图及新的第二视图的遮挡图； 

在步骤S504和S506中，判断象素是否匹配象素时，可根据第一视图的象素的视差/第二视图的象素的视差，在第二视图的视差图/第一视图的视差图中查找对应象素的视差，并判断所述第一视图的象素的视差/第二视图的象素的视差与对应象素的视差的差值是否在匹配象素视差差值范围内，若是，则所述第一视图的象素/第二视图的象素为匹配象素。 

例如，对于校正后的第一视图、第二视图，若第一视图中坐标为(x，y)的象素的视差为d1，那么，第二视图中坐标为(x+d1，y)的象素即为第一视图中象素(x，y)的对应象素，根据第二视图的视差图，可以得到象素(x+d1，y)的视差dr，然后根据d1和dr的差值是否在预先设定的阈值范围内，即是否满足|d1-dr|<＝dth，若满足，则左视图象素(x，y)是匹配象素，否则，该象素为非匹配象素；dth可设置为1，这样，既可准确地将视差与对应象素视差相同的象素 分类为匹配象素，而且，对于由拍摄角度以及实际线条倾斜等因素引起的压缩等情况，也可对相应象素进行匹配。 

由于在迭代过程中，只更新非匹配象素的视差值，因此，在判断象素类型时，可只判断非匹配象素的类型，若非匹配像素变成了匹配像素，则更改遮挡图中相应像素的类型值。 

步骤S507、根据新的第一视图的遮挡图及第二视图的遮挡图中的匹配象素的总个数，以及新的第一视图的遮挡图及第二视图的遮挡图中的匹配象素的总个数，获得优化指标； 

例如，设第一视图的遮挡图及第二视图的遮挡图中的匹配象素的总个数为Nold，设新的第一视图的遮挡图及第二视图的遮挡图中的匹配象素的总个数为Nnew，可通过公式Index＝Nnew-Nold，计算得到优化指标Index；该优化指标Index反映了匹配像素增加的个数； 

也通过公式Index＝(Nnew-Nold)/N计算得到优化指标Index，其中N表示第一视图及第二视图的象素总个数；该优化指标Index表示了匹配象素增加的速度。 

步骤S508、判断优化指标是否达到预先设定的优化指标阈值，若优化指标小于优化指标阈值，执行步骤S509，否则，将新的第一视图的遮挡图作为第一视图的遮挡图，新的第二视图的遮挡图作为第二视图的遮挡图，执行步骤S505； 

当采用反映匹配像素增加速度的Index＝(Nnew-Nold)/N作为优化指标时，随着迭代次数的增加，匹配象素增加的速度越来越小，当增加速度小于一个预先设定的优化指标阈值时，则可认为非匹配象素均为被遮挡的象素，结束迭代过程； 

步骤S509、将新的第一视图的视差图及新的第二视图的视差图作为最终结果。 

本实施例在迭代计算视差图时，先对需要计算视差图像的两个视图进行 校正处理，这样可只在一个维度上存在视差，例如两个视图在只在水平方向存在视差；将视图变换为灰度图可在后续的视差计算中只考虑灰度一个分量，而不必考虑彩色图像的多个分量，例如，对于RGB图像，则要考虑R、G、B三个分量；这样可减小视差计算的复杂程度。在迭代过程中，只更新非匹配象素的值，可以大大较少运算时间，加快收敛速度；根据优化指标判断迭代是否结束，优化指标可准确反映迭代收敛的情况。 

在本发明实施例的三维视频生成方法中，生成视差图时可采用本发明实施例的视差生成方法，也可采用现有的其它视差生成算法。 

如图7所示，为本发明实施例的三维视频生成装置第一结构示意图，包括：接收单元10、视选择单元20、合成视点确定单元30、视差生成单元40、图像合成单元50、视点判断单元60。 

接收单元10用于接收多视视频图像及多视视频图像的视点位置参数。视选择单元20用于根据当前视点位置及多视视频图像的视点位置参数从接收到的多视视频图像中选择用于合成当前视点视频图像的视频图像，并输出被选择视频图像以及被选择视频图像的视点位置参数。合成视点确定单元30用于根据接收的视频图像的视点位置及当前视点的位置获得合成视点的位置，并输出合成视点位置以及接收的视频图像；合成视点确定单元30接收的视频图像可能是视选择单元20选择的视频图像，或者是图像合成单元40生成的视频图像。视差生成单元40用于根据合成视点确定单元30输出的视频图像生成相应的视差图。图像合成单元50用于根据合成视点确定单元30输出的合成视点位置及视频图像，以及视差生成单元40生成的视差图生成合成视点的视频图像。视点判断单元60用于判断合成视点的位置是否为当前视点的位置；在合成视点位置是当前视点位置时，将合成视点的视频图像作为最终得到的视频图像，在合成视点位置不是当前视点位置时，将合成视点的视频图像输出至合成视点确定单元30。 

在对原始接收到的多视视频图像进行处理时，视选择模块20从多视视频 图像中选择出用于合成当前视点视频图像的视频图像，之后，视选择模块20将选择的视频图像输出至合成视点确定单元30。此时，合成视点确定模块30接收的视频图像是视选择模块20从多视视频图像中选择的视频图像。 

在根据原始接收到的多视视频图像首次得到合成视点的视频图像后，对于多视视频图像的排布是二维排布或者是半球排布等非一维排布情况，被选择的原始接收的视频图像被合成视点确定单元30、视差生成单元40、图像合成单元50依次处理后得到的合成视点的视频图像不是当前视点的视频图像，需要继续由这三个模块依次处理。视点判断单元60判断合成视点的位置并非当前视点的位置时，合成视点的视频图像需要继续进行处理，视点判断单元60将合成视点的视频图像输出至合成视点确定单元30，此时，合成视点确定单元30接收的视频图像即为图像合成单元50生成的视频图像。 

本实施例实现了根据当前视点选择所需的视频图像，并对两个或多个视频图像进行合成，生成三维视频。 

如图8所示，为本发明实施例的三维视频生成装置第二结构示意图。在上一实施例的基础上，本实施例进一步加入了当前视点确定单元90，用于根据视点移动方向及之前的视点位置确定当前视点的位置。视点移动方向可以是用户通过遥控装置等人机交互装置反馈得到的，这样可以根据用户的反馈确定用户所需的视点位置。视选择单元20具体包括视点距离计算模块21，用于根据当前视点位置及多视视频图像的视点位置参数计算各视频图像的视点与当前视点的距离；图像选择模块22，用于根据视频图像视点到当前视点的距离选择视频图像。在选择视频图像时，可选择距离当前视点距离近的，并考虑视频图像的排布，使视频图像具有充分的信息以获得当前视点的视频图像。 

本实施例可调根据视点移动方向确定当前视点，并根据当前视点选择所需的视频图像，进而根据选择的视频图像生成三维视频。 

如图9所示，为本发明实施例的三维视频生成装置的第三结构示意图。当视频图像可能具有多种排布方式时，视选择单元20在图7所示的视选择单 元20的基础上进一步包括：排布判断模块24，该模块用于根据多视视频图像的视点位置参数判断视频图像的排布。根据可能出现的排布方式，图像选择模块22可包括：一维选择模块221，用于在所述多视视频图像视点为一维排布时，选择视点到当前视点距离最近的两段视频图像；二维选择模块222，用于在所述多视视频图像视点为二维排布时，选择视点到当前视点距离最近的四段视频图像，且所述四段视频图像均匀分布于两个维度上；半球选择模块223，用于在所述多视视频图像视点为半球排布时，选择视点到当前视点距离最近的四段视频图像，且所述四段视频图像均匀分布在所述半球的经度及维度上。根据具体排布情况的不同，可设置相应的选择模块，从而可实现多种排布的视频图像的选择。 

如图10所示，为本发明实施例的三维视频生成装置的第四结构示意图。图像合成单元50具体包括：权重计算模块51，用于根据合成视点及视频图像的视点位置参数获得差值权重；合成视点值计算模块52，用于根据差值权重、视频图像及视频图像的视差图计算视频图像在合成视点的值；叠加模块53，用于叠加视频图像在合成视点的值，生成合成视点的视频图像。考虑到视频图像的深度可能与合成视点的深度不一致，图像合成单元50还可进一步包括深度调整模块54，用于根据合成视点的深度调整视频图像的深度。 

如图11所示，为本发明实施例的视差生成单元第一结构示意图，包括视图接收模块41、第一视差图生成模块42、第二视差图生成模块43、遮挡图生成模块44及迭代判断模块45。 

视图接收模块41用于接收需要计算视差图像的第一视图及第二视图。第一视差图生成模块42用于根据第一视图及第二视图生成并输出第一视图的视差图及第二视图的视差图。第二视差图生成模块43用于根据第一视图及第二视图、第一视图的遮挡图以及第二视图的遮挡图，计算第一视图及第二视图的非匹配像素的视差，生成并输出新的第一视图的视差图及新的第二视图的视差图。遮挡图生成模块44用于根据接收的视差图生成相应的遮挡图；其 接收的视差图为第一视差图生成模块生成的视差图，或者第二视差图生成模块生成的视差图。迭代判断模块45用于判断迭代结束条件是否满足；在迭代结束条件满足时，将新的第一视图的视差图及新的第二视图的视差图分别作为最终得到的第一视图的视差图以及第二视图的视差图。 

在最初没有遮挡图的情况下，第一视差图生成模块42根据第一视图及第二视图生成第一视图的视差图及第二视图的视差图，并将生成的视差图输出至遮挡图生成模块44，此时，遮挡图生成模块44接收的视差图是第一视差图生成模块42生成的视差图。 

在有遮挡图后，第二视差图生成模块43根据视图及遮挡图生成新的视差图并输出至迭代判断模块45。若迭代判断模块45判断迭代结束条件不满足，则将新的视差图输出至遮挡图生成模块44。此时，遮挡图生成模块44接收的视差图即为第二视差图生成模块43生成的视差图。 

本实施例在迭代计算视差图时，根据需要计算视差图像的两个视图及两个视图的遮挡图进行计算，在迭代过程中，根据遮挡图判断各象素是否为匹配象素，只计算非匹配象素的值，匹配象素的值不受相邻象素的影响。这样，在第一次计算之后，大部分象素点都是匹配象素，在之后的迭代过程中，只需计算少量的非匹配象素的值，可以大大较少运算时间，加快收敛速度。 

如图12所示，为本发明实施例的视差生成单元第二结构示意图。在视差生成单元第一结构示意图的基础上，进一步加入了视图校正模块48。视图校正模块48用于根据第一视图及第二视图的视点位置参数校正第一视图及第二视图，并计算第一视图、第二视图的灰度图。遮挡图生成模块44具体包括，象素类型判断模块441，用于根据接收的视差图，判断象素是否为匹配象素；生成模块445，用于将接收的视差图的非匹配像素对应的遮挡图像素进行更新，生成相应的遮挡图。 

迭代判断模块45包括优化指标获得模块451及优化程度判断模块455。优化指标获得模块451用于根据第一视图的视差图、第二视图的视差图、新 的第一视图的视差图及新的第二视图的视差图，和/或根据第一视图的视差图及第二视图的视差图生成的遮挡图以及根据新的第一视图的视差图及新的第二视图的视差图生成的新的遮挡图，获得优化指标。优化程度判断模块455用于判断优化指标是否达到预先设定的优化指标阈值。当优化指标达到优化指标阈值时，将新的第一视图的视差图及新的第二视图的视差图作为最终得到的视差图；当优化指标未达到优化指标阈值时，将新的第一视图的遮挡图及新的第二视图的遮挡图返回第二视差图生成模块43。 

优化指标获得模块451可包括：统计模块452，用于统计遮挡图中匹配象素的个数；规则模块454，用于存储优化指标计算规则；计算模块453，用于根据遮挡图的匹配象素总个数，新的遮挡图的匹配象素总个数，以及优化指标计算规则，计算获得优化指标。 

本实施例在迭代计算视差图时，先对需要计算视差图像的两个视图进行校正处理，这样可以只在一个维度上存在视差，例如两个视图在只在水平方向存在视差；将视图变换为灰度图可在后续的视差计算中只考虑灰度一个分量，而不必考虑彩色图像的多个分量，例如，对于RGB图像，则要考虑R、G、B三个分量；这样可减小视差计算的复杂程度。在迭代过程中，只更新非匹配象素的值，可以大大较少运算时间，加快收敛速度；根据由遮挡图计算得到的优化指标判断迭代是否结束，该优化指标可较为准确地反映迭代收敛的情况。 

如图13所示，为本发明实施例的视差生成单元第三结构示意图。象素类型判断模块441具体包括：视差获得模块442，用于根据象素坐标从视差图中获得象素的视差；对应象素确定模块443，用于根据第一视图的象素/第二视图的象素的坐标及视差确定对应象素在第二视图/第一视图的坐标；判断模块444，用于判断象素的视差与对应象素的视差的差值是否在匹配象素视差差值范围内，若是，则象素为匹配象素。 

判断模块444接收到视差图后，可针对每个视频图像的每个非匹配象素， 从视差获得模块442获得象素的视差，并将象素坐标及象素的视差输出至对应象素确定模块443，对应象素确定模块443根据象素坐标及象素视差确定对应象素的坐标，并向判断模块444返回；判断模块444进而从视差获得模块442获得对应象素的视差，然后判断象素的视差及对应象素的视差是否在时差阈值范围内，若是，则象素为匹配象素。判断模块444将判断结果输出至生成模块445，生成模块445根据判断结果生成遮挡图。 

由于在计算视差图时，只更新非匹配象素的值，因此在生成遮挡图时，也可只考虑非匹配象素的更新。本实施例在判断象素类形时，只针对非匹配象素进行象素类型的判断，从而可减少大量计算量，提高计算速度。 

本发明实施例实现了根据当前视点选择用于生成三维视频的视频图像，既可可根据一维排布的视频生成三维视频图像，也可根据多个二维排布或立体半球摆布的视频图像生成三维视频；在对视频图像合成时，考虑到了深度调整以及遮挡的处理，使三维视频的效果更逼真；在迭代计算视差图前，先对需要计算视差图像的两个视图进行校正处理并将视图变换为灰度图，这样可只在一个维度上存在视差，并且后续的视差计算中只考虑灰度一个分量，而不必考虑彩色图像的多个分量，可减小视差计算的复杂程度；在迭代计算视差图时，根据遮挡图判断各象素是否为匹配象素，只计算非匹配象素的值，匹配象素的值不受相邻象素的影响，这样，在第一次计算之后，大部分象素点都是匹配象素，在之后的迭代过程中，只需计算少量的非匹配象素的值，可以大大较少运算时间，加快收敛速度；根据匹配象素增加速度均值作为优化程度的判断指标，可准确反映迭代收敛的情况。 

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解，依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。

Claims (39)

1.一种视差生成方法，采用迭代的方式生成视差，其特征在于，所述方法包括如下步骤：

接收第一视图及第二视图；

根据所述第一视图及第二视图生成第一视图的视差图及第二视图的视差图；

根据所述第一视图的视差图及所述第二视图的视差图生成第一视图的遮挡图及第二视图的遮挡图；

根据所述第一视图、第二视图、第一视图的遮挡图以及第二视图的遮挡图，计算所述第一视图及所述第二视图的非匹配象素的视差，生成新的第一视图的视差图及新的第二视图的视差图；

根据所述新的第一视图的视差图及所述新的第二视图的视差图生成新的第一视图的遮挡图及新的第二视图的遮挡图；

判断迭代结束条件是否满足；

在迭代结束条件满足时，将所述新的第一视图的视差图及所述新的第二视图的视差图作为最终得到的第一视图的视差图以及第二视图的视差图；

在迭代结束条件不满足时，将所述新的第一视图的遮挡图作为第一视图的遮挡图，所述新的第二视图的遮挡图作为第二视图的遮挡图，并返回重新执行根据所述第一视图、第二视图、第一视图的遮挡图以及第二视图的遮挡图，计算所述第一视图及所述第二视图的非匹配象素的视差，生成新的第一视图的视差图及新的第二视图的视差图的步骤及该步骤之后的步骤，直到所述迭代结束条件满足。

2.根据权利要求1所述的视差生成方法，其特征在于，根据所述第一视图及第二视图生成第一视图的视差图及第二视图的视差图的步骤之前进一步包括：用第一视图及第二视图的视点位置参数校正第一视图及第二视图，并将所述第一视图及第二视图转换为灰度图。

3.根据权利要求1所述的视差生成方法，其特征在于，根据所述第一视图的视差图及所述第二视图的视差图生成第一视图的遮挡图及第二视图的遮挡图的步骤具体包括：根据所述第一视图的视差图及所述第二视图的视差图判断所述第一视图的象素及所述第二视图的象素是否为匹配象素，根据判断结果生成第一视图的遮挡图及第二视图的遮挡图。

4.根据权利要求3所述的视差生成方法，其特征在于，所述判断所述第一视图的象素是否为匹配象素的步骤具体为：根据所述第一视图的象素的视差，在所述第二视图的视差图中查找对应象素的视差，并判断所述第一视图的象素的视差与所述对应象素的视差的差值是否在匹配象素视差差值范围内，若是，则所述第一视图的象素为匹配象素；

所述判断所述第二视图的象素是否为匹配象素的步骤具体为：根据所述第二视图的象素的视差，在所述第一视图的视差图中查找对应象素的视差，并判断所述第二视图的象素的视差与所述对应象素的视差的差值是否在匹配象素视差差值范围内，若是，则所述第二视图的象素为匹配象素。

5.根据权利要求1所述的视差生成方法，其特征在于，所述迭代结束条件为优化指标达到预先设定的优化指标阈值；所述判断迭代条件是否满足的步骤具体包括：根据所述第一视图的遮挡图、所述第二视图的遮挡图、所述新的第一视图的遮挡图以及所述新的第二视图的遮挡图，和/或所述第一视图的视差图、所述第二视图的视差图、所述新的第一视图的视差图及所述新的第二视图的视差图，获得优化指标；判断所述优化指标是否达到预先设定的优化指标阈值。

6.根据权利要求5所述的视差生成方法，其特征在于，所述根据所述第一视图的遮挡图、所述第二视图的遮挡图、所述新的第一视图的遮挡图及所述新的第二视图的遮挡图，和/或所述第一视图的视差图、所述第二视图的视差图、所述新的第一视图的视差图及所述新的第二视图的视差图，获得优化指标的步骤具体为：根据所述第一视图的遮挡图及第二视图的遮挡图中的匹配象素的总个数，以及所述新的第一视图的遮挡图及所述新的第二视图的遮挡图中的匹配象素的总个数，获得优化指标。

7.一种视差生成单元，用于以迭代的方式生成视差，其特征在于，所述视差生成单元包括：

视图接收模块，用于接收第一视图及第二视图；

第一视差图生成模块，用于根据所述第一视图及所述第二视图生成并输出第一视图的视差图及第二视图的视差图；

遮挡图生成模块，用于根据接收的视差图生成相应的遮挡图，在初始情况下，所述接收的视差图为所述第一视差图生成模块生成的视差图，在第一种情况下，所述接收的视差图为另一模块生成的视差图；第二视差图生成模块，用于根据所述第一视图，所述第二视图，所述遮挡图生成模块生成的遮挡图，计算所述第一视图及所述第二视图的非匹配像素的视差，生成并输出新的第一视图的视差图以及新的第二视图的视差图；

迭代判断模块，用于判断迭代结束条件是否满足；在迭代结束条件满足时，将所述新的第一视图的视差图及所述新的第二视图的视差图作为最终得到的第一视图的视差图以及第二视图的视差图；

所述第一种情况为所述遮挡图生成模块处于非初始情况且所述迭代判断模块的判断结果为迭代结束条件不满足的情况；所述另一模块为所述第二视差图生成模块。

8.根据权利要求7所述的视差生成单元，其特征在于，所述视差生成单元进一步包括：视图校正模块，用于根据接收的第一视图及第二视图的视点位置参数校正该第一视图及第二视图，将所述第一视图、第二视图转换为灰度图，并将转换后的第一视图及第二视图输出至所述第一视差图生成模块。

9.根据权利要求7所述的视差生成单元，其特征在于，所述遮挡图生成模块具体包括：象素类型判断模块，用于根据接收的视差图，判断所述接收的视差图的象素是否为匹配象素；生成模块，用于将所述接收的视差图的非匹配像素对应的遮挡图像素进行更新，生成相应的遮挡图。

10.根据权利要求9所述的视差生成单元，其特征在于，所述象素类型判断模块具体包括：

视差获得模块，用于根据象素坐标从对应的视差图中获得象素的视差；

对应象素确定模块，用于根据象素的坐标及视差确定对应象素的坐标；

判断模块，用于判断象素的视差与对应象素的视差的差值是否在匹配象素视差差值范围内，若是，则所述象素为匹配象素。

11.根据权利要求7所述的视差生成单元，其特征在于，所述迭代判断模块具体包括：

优化指标获得模块，用于根据所述第一视图的视差图、所述第二视图的视差图、所述新的第一视图的视差图及所述新的第二视图的视差图，和/或根据所述第一视图的视差图及所述第二视图的视差图生成的遮挡图以及根据所述新的第一视图的视差图及所述新的第二视图的视差图生成的新的遮挡图，获得优化指标；

优化程度判断模块，用于判断所述优化指标是否达到预先设定的优化指标阈值，所述迭代结束条件为所述优化指标达到预先设定的优化指标阈值。

12.根据权利要求11所述的视差生成单元，其特征在于，所述优化指标获得模块具体包括：统计模块，用于统计遮挡图中匹配象素的个数；规则模块，用于存储优化指标计算规则；计算模块，用于根据遮挡图的匹配象素总个数，所述新的遮挡图的匹配象素总个数，以及优化指标计算规则，计算获得优化指标。

13.一种三维视频生成方法，其特征在于，所述方法包括如下步骤：

接收多视视频图像及多视视频图像的视点位置参数；

根据当前视点位置及多视视频图像的视点位置参数选择视频图像；

根据被选择视频图像的视点位置及当前视点的位置获得合成视点的位置；两个被选择视频图像与一个合成视点对应，用于生成一个合成视点的视频图像；

根据被选择视频图像生成被选择视频图像的视差图；

根据被选择视频图像及被选择视频图像的视差图生成合成视点的视频图像；

判断所述合成视点的位置是否为当前视点的位置；

若合成视点位置是当前视点位置，将合成视点的视频图像作为最终得到的视频图像；

若合成视点位置不是当前视点位置，将合成视点的视频图像作为被选择视频图像，返回执行所述根据被选择视频图像的视点位置及当前视点的位置获得合成视点的位置的步骤及该步骤之后的步骤。

14.根据权利要求13所述的三维视频生成方法，其特征在于，所述根据当前视点位置及多视视频图像的视点位置参数选择视频图像的步骤之前进一步包括：根据视点移动方向及之前视点位置确定当前视点位置。

15.根据权利要求13所述的三维视频生成方法，其特征在于，所述根据当前视点位置及多视视频图像的视点位置参数选择视频图像的步骤具体为：选择视点到当前视点距离最近的视频图像。

16.根据权利要求13所述的三维视频生成方法，其特征在于，所述根据当前视点位置及多视视频图像视点位置参数选择视频图像的步骤具体为：根据多视视频图像的视点位置参数判断视频图像的视点是否为一维排布，若是一维排布，则选择视点到当前视点距离最近的两段视频图像。

17.根据权利要求13所述的三维视频生成方法，其特征在于，所述根据当前视点位置及多视视频图像视点位置参数选择视频图像的步骤具体为：根据多视视频图像的视点位置参数判断视频图像的视点是否为二维排布，若是二维排布，则选择视点到当前视点距离最近的四段视频图像，且所述四段视频图像均匀分布于两个维度上。

18.根据权利要求13所述的三维视频生成方法，其特征在于，所述根据当前视点位置及多视视频图像视点位置参数选择视频图像的步骤具体为：根据多视视频图像的视点位置参数判断视频图像的视点是否为半球排布，若是半球排布，则选择视点位置到当前视点距离最近的四段视频图像，且所述四段视频图像均匀分布在所述半球的经度及纬度上。

19.根据权利要求13所述的三维视频生成方法，其特征在于，所述根据被选择视频图像生成被选择视频图像的视差图的步骤采用迭代方式，具体包括如下步骤：

根据被选择视频图像生成被选择视频图像的视差图；

根据所述被选择视频图像的视差图生成被选择视频图像的遮挡图；

根据所述被选择视频图像及被选择视频图像的遮挡图，计算被选择视频图像的非匹配像素的视差，生成新的被选择视频图像的视差图；

根据新的被选择视频图像的视差图生成新的被选择视频图像的遮挡图；

判断迭代结束条件是否满足；

当迭代结束条件满足时，将所述新的被选择视频图像的视差图作为被选择视频图像的视差图，执行所述根据被选择视频图像及被选择视频图像的视差图生成合成视点的视频图像的步骤；

当迭代结束条件不满足时，将所述新的被选择视频图像的遮挡图作为被选择视频图像的遮挡图，并返回重新执行所述根据被选择视频图像及被选择视频图像的遮挡图，计算被选择视频图像的非匹配像素的视差，生成新的被选择视频图像的视差图的步骤及该步骤之后的步骤，直到所述迭代结束条件满足。

20.根据权利要求19所述的三维视频生成方法，其特征在于，根据所述被选择视频图像的视差图生成被选择图像的遮挡图的步骤具体包括：根据被选择视频图像的视差图判断被选择视频图像的象素是否为匹配象素，将所述被选择视频图像的非匹配像素对应的遮挡图像素进行更新，生成被选择视频图像的遮挡图。

21.根据权利要求20所述的三维视频生成方法，其特征在于，所述判断被选择视频图像的象素是否为匹配象素的步骤具体为：根据被选择视频图像的象素的视差，在将要与该视频图像合成的被选择视频图像的视差图中查找对应象素的视差，并判断所述被选择视频图像的象素的视差与所述对应象素的视差的差值是否在匹配象素视差差值范围内，若是，则所述视频图像的象素为匹配象素。

22.根据权利要求19所述的三维视频生成方法，其特征在于，所述迭代结束条件为优化指标达到预先设定的优化指标阈值；所述判断迭代结束条件是否满足的步骤具体包括：根据被选择视频图像的遮挡图，新的被选择视频图像的遮挡图，和/或被选择视频图像的视差图及新的被选择图像的视差图，获得优化指标；判断所述优化指标是否达到预先设定的优化指标阈值。

23.根据权利要求22所述的三维视频生成方法，其特征在于，所述根据被选择视频图像的遮挡图，新的被选择视频图像的遮挡图，和/或被选择视频图像的视差图及新的被选择图像的视差图，获得优化指标的步骤具体为：根据所述被选择视频图像的遮挡图中的匹配象素的总个数及所述新的被选择视频图像的遮挡图中的匹配象素的总个数，计算获得优化指标。

24.根据权利要求13所述的三维视频生成方法，其特征在于，所述根据被选择视频图像及被选择视频图像的视差图生成合成视点的视频图像的步骤具体为：根据合成视点及被选择视频图像的视点位置参数获得差值权重；根据所述差值权重、被选择视频图像及被选择视频图像的视差图计算被选择视频图像在合成视点的值；叠加所述被选择视频图像在合成视点的值，生成合成视点的视频图像。

25.根据权利要求24所述的三维视频生成方法，其特征在于，所述根据合成视点及视频图像的视点位置参数获得差值权重的步骤之前还包括：根据合成视点的深度调整视频图像的深度。

26.一种三维视频生成装置，其特征在于，所述装置包括：

接收单元，用于接收多视视频图像及多视视频图像的视点位置参数；

视选择单元，用于根据当前视点位置及多视视频图像的视点位置参数选择视频图像；

合成视点确定单元，用于根据接收的视频图像的视点位置及当前视点的位置计算合成视点位置，并输出合成视点位置以及接收的视频图像；在初始情况下，所述接收的视频图像为所述视选择单元选择的视频图像，在第二种情况下，所述接收的视频图像为另一模块生成的视频图像；

视差生成单元，用于根据合成视点确定单元输出的视频图像生成相应的视差图；

图像合成单元，用于根据合成视点确定单元输出的合成视点位置及视频图像，以及视差生成单元生成的视差图生成合成视点的视频图像；

视点判断单元，用于判断所述合成视点的位置是否为当前视点的位置；在合成视点位置是当前视点位置时，将合成视点的视频图像作为最终得到的视频图像；

所述第二种情况为所述合成视点确定单元处于非初始情况且所述视点判断单元的判断结果为所述合成视点的位置不是当前视点的位置；所述另一模块为所述图像合成单元。

27.根据权利要求26所述的三维视频生成装置，其特征在于，所述装置进一步包括：当前视点确定单元，用于根据视点移动方向及之前视点位置确定当前视点位置。

28.根据权利要求26所述的三维视频生成装置，其特征在于，所述视选择单元包括：视点距离计算模块，用于根据当前视点位置及多视视频图像的视点位置参数计算各视频图像的视点与当前视点的距离；图像选择模块，用于根据多视视频图像的视点到当前视点的距离选择视频图像。

29.根据权利要求26所述的三维视频生成装置，其特征在于，所述视选择单元包括：排布判断模块，用于根据多视视频图像的视点位置参数判断2视频图像视点的排布；视点距离计算模块，用于根据当前视点位置及多视视频图像的视点位置参数计算各视频图像的视点与当前视点的距离；图像选择模块，用于根据视频图像视点的排布以及各视频图像的视点到当前视点的距离选择视频图像。

30.根据权利要求28或29所述的三维视频生成装置，其特征在于，所述图像选择模块包括：一维选择模块，用于在所述多视视频图像的视点为一维排布时，选择视点到当前视点距离最近的两段视频图像。

31.根据权利要求28或29所述的三维视频生成装置，其特征在于，所述图像选择模块包括：二维选择模块，用于在所述多视视频图像的视点为二维排布时，选择视点到当前视点距离最近的四段视频图像，且所述四段视频图像的视点均匀分布于两个维度上。

32.根据权利要求28或29所述的三维视频生成装置，其特征在于，所述图像选择模块包括：半球选择模块，用于在所述多视视频图像的视点为半球排布时，选择视点到当前视点距离最近的四段视频图像，且所述四段视频图像的视点均匀分布在所述半球的经度及纬度上。

33.根据权利要求26所述的三维视频生成装置，其特征在于，所述视差生成单元包括：

视图接收模块，用于接收合成视点确定单元输出的视频图像；

第一视差图生成模块，用于根据接收的视频图像生成并输出相应的视差图；

遮挡图生成模块，用于根据接收的视差图生成相应的遮挡图，在初始情况下，所述接收的视差图为所述第一视差图生成模块生成的视差图，在第一种情况下，所述接收的视差图为另一模块生成的视差图；

第二视差图生成模块，用于根据所述接收的视频图像及所述遮挡图生成模块生成的遮挡图，计算所述接收的视频图像的非匹配像素的视差，生成新的视差图；

迭代判断模块，用于判断迭代结束条件是否满足；在迭代结束条件满足时，将所述新的视差图作为最终得到的视差图；

所述第一种情况为所述遮挡图生成模块处于非初始情况且所述迭代判断模块的判断结果为迭代结束条件不满足的情况；所述另一模块为所述第二视差图生成模块。

34.根据权利要求33所述的三维视频生成装置，其特征在于，所述遮挡图生成模块具体包括：象素类型判断模块，用于根据所述接收的视差图，判断视频图像的象素是否为匹配象素；生成模块，用于将所述接收的视差图的非匹配像素对应的遮挡图像素进行更新，生成相应的遮挡图。

35.根据权利要求34所述的三维视频生成装置，其特征在于，所述象素类型判断模块具体包括：视差获得模块，用于根据象素坐标从相应视差图中获得象素的视差；对应象素确定模块，用于根据象素坐标及视差确定对应象素的坐标；判断模块，用于判断象素的视差与对应象素的视差的差值是否在匹配象素视差差值范围内，若是，则所述象素为匹配象素。

36.根据权利要求33所述的三维视频生成装置，其特征在于，所述迭代判断模块具体包括：

优化指标获得模块，用于根据视差图，和/或根据所述视差图生成的遮挡图以及根据所述新的视差图生成的新的遮挡图，获得优化指标；

优化程度判断模块，用于判断所述优化指标是否达到预先设定的优化指标阈值，所述迭代结束条件为所述优化指标达到预先设定的优化指标阈值。

37.根据权利要求36所述的三维视频生成装置，其特征在于，所述优化指标获得模块具体包括：统计模块，用于统计遮挡图中匹配象素的个数；规则模块，用于存储优化指标计算规则；计算模块，用于根据遮挡图的匹配象素总个数，所述新的遮挡图的匹配象素总个数，以及优化指标计算规则，计算获得优化指标。

38.根据权利要求26所述的三维视频生成装置，其特征在于，所述图像合成单元具体包括：权重计算模块，用于根据合成视点及视频图像的视点位置参数获得差值权重；合成视点值计算模块，用于根据所述差值权重、视频图像及视频图像的视差图计算视频图像在合成视点的值；叠加模块，用于叠加视频图像在合成视点的值，生成合成视点的视频图像。

39.根据权利要求38所述的三维视频生成装置，其特征在于，所述图像合成单元进一步包括：深度调整模块，用于根据合成视点的深度调整视频图像的深度。

Images