CN106954076A - 一种基于视点间关系的多视点视频帧插入方法 - Google Patents

Abstract

本发明一种基于视点间关系的多视点视频帧插入方法，首先，利用单向运动估计算法进行前向和后向运动估计，获取前向运动向量场和后向运动向量场；其次，根据深度信息检测出上一帧图像和当前帧图像中遮挡图像块，并进一步将遮挡图像块分成覆盖型图像块和非覆盖型图像块；然后，利用多视点视频视点间的关系进行遮挡图像块的处理；最后，对插入帧中的每个图像块进行运动向量分配，并利用双向运动补偿实现帧插入。本发明充分考虑多视点视频中不同视点在空间上的关系，利用这种空间关系解决视频帧插入中遮挡区域处理这一关键问题，减弱现有的二维视频和三维视频帧插入方法中存在的前景物体边缘模糊现象，从而明显提升了插入帧的视觉质量。

Description

一种基于视点间关系的多视点视频帧插入方法

技术领域

本发明属于视频处理的技术领域，尤其涉及一种基于视点间关系的多视点视频帧插入方法。

背景技术

目前，视频处理、数字多媒体是当前最活跃的研究领域之一，随着人们对服务质量和视觉体验要求的不断提高，立体视频应运而生。立体视频作为一种新兴的多媒体形式，能够为用户提供身临其境的视觉体验，即很强的立体感和沉浸感，因而相关技术近年来得到广泛的关注。通常而言，立体视频系统需要同时传输多个视点的彩色和深度视频，因此与传统的二维视频传输系统相比，其数据传输量大大增加。由于传输信道带宽的限制，即便使用了高效的编码手段，在实际系统中，多视点视频仍然不能以很高的帧率进行传输。当视频的帧率较低时，使用者观看时就会产生运动模糊或者伪影现象，而这极大地影响了视频的视觉质量。

作为一种常见的视频增强手段，运动补偿帧插入对低帧率视频进行处理，利用相邻帧之间的运动关系，在两个原始视频帧之间插入一帧或者多帧，实现视频帧率由低到高的变换。由于其广泛的应用价值，国内外研究者提出了多种视频帧插入方法，传统二维视频帧插入技术的研究已经比较成熟。伴随着立体视频技术的发展，近年来，面向立体视频的帧插入方法的研究逐渐引起关注。

较之传统二维视频帧插入方法，当前已有的立体视频帧插入方法通常将深度信息应用到运动向量估计、运动向量后处理、视频块分割等步骤，论文“立体电视中多视点视频增强和视线跟踪方法的研究”中提出了一种基于深度的适应性运动补偿和图像块分割方案，根据视频场景中深度信息和运动向量的关系，适应性选择先向运动补偿与后向运动补偿，并利用深度信息和颜色信息对深度不连续图像块进行分割，有效解决传统帧率提升过程中遮挡区域和非遮挡区域运动补偿后出现的模糊和伪影的现象，提升了视频的视觉质量。

但是，该方法存在一定的不足，虽然与二维视频帧率提升方法相比取得了较好的帧插入效果，然而，该方法仅仅针对单视点的彩色视频+深度视频进行处理，受到深度信息准确性的影响，且并未考虑多视点视频视点间关系。因此，在立体视频处理方面，插入帧的视觉质量还可以得到进一步的提高。

综上所述，现有技术中如何处理多视点视频中不同视点在空间上的关系来进一步提高立体视频插入帧的视觉质量，尚缺乏有效的解决方案。

发明内容

本发明为了解决上述问题，提供一种基于视点间关系的多视点视频帧插入方法。本发明在立体视频帧插入过程中充分考虑多视点视频中不同视点在空间上的关系，即左视点视频和右视点视频间的关系，同时结合深度信息，利用这种空间关系解决视频帧插入中遮挡区域处理这一关键问题，减弱现有的二维视频和三维视频帧插入方法中存在的前景物体边缘模糊现象，进一步提高立体视频的视觉质量。

为了实现上述目的，本发明采用如下技术方案：

一种基于视点间关系的多视点视频帧插入方法，包括以下步骤：

(1)运动估计：根据上一帧图像和当前帧图像，利用单向运动估计算法进行运动向量估计，分别得到前向运动向量场和后向运动向量场；

(2)遮挡检测：利用深度信息检测出上一帧图像中的遮挡图像块和当前帧图像中的遮挡图像块，并将这些遮挡图像块分成覆盖型图像块和非覆盖型图像块两类；

(3)遮挡区域处理：利用多视点视频视点间的关系，采用取深度值最小的参考像素的赋值给虚拟视点像素的方法生成背景可见的虚拟视点视频帧，进行遮挡图像块的处理；

(4)运动向量分配和帧插入：对插入帧中的每个图像块进行运动向量分配，利用双向运动补偿进行插入帧中图像块的重建，实现帧插入。

优选的，在所述步骤(1)中，所述前向运动向量场的获取方法为：

将上一帧图像分成尺寸相等的图像块，以当前帧图像为参考帧，利用单向运动向量估计算法计算出上一帧图像中每个图像块的运动向量，得到前向运动向量场。

优选的，在所述步骤(1)中，所述后向运动向量场的获取方法为：

将当前帧图像分成尺寸相等的图像块，以上一帧图像为参考帧，利用单向运动向量估计算法计算出当前帧图像中每个图像块的运动向量，得到后向运动向量场。

优选的，在所述步骤(2)中，具体包括以下步骤：

(2-1)分别将上一帧图像和当前帧图像中的图像块分为遮挡图像块和非遮挡图像块两类；

(2-2)：分别将上一帧图像和当前帧图像中的遮挡图像块分为覆盖型图像块和非覆盖型图像块两类。

优选的，所述步骤(2-1)中区分遮挡图像块和非遮挡图像块的具体方法为：

(2-1-1)：根据上一帧图像和当前帧图像中每个图像块具有对应的深度块，分别计算每个所述深度块深度值的标准差；

(2-1-2)：根据所述步骤(2-1-1)中的每个所述深度快深度值的标准差与设定阈值小关系区分为遮挡图像块和非遮挡图像块两类。

优选的，所述步骤(2-2)区分覆盖型图像块和非覆盖型图像块的具体方法为：

(2-2-1)：计算遮挡图像块的运动向量，同时利用遮挡图像块对应的深度块计算遮挡图像块的深度分布向量；

(2-2-2)：根据所述步骤(2-2-1)中计算的遮挡图像块的运动向量和遮挡图像块的深度分布向量的乘积是否大于0区分为覆盖型图像块和非覆盖型图像块。

优选的，在所述步骤(3)中，具体包括以下步骤：

(3-1)对上一帧图像和当前帧图像中的覆盖型图像块和非覆盖型图像块进行四叉树分割，得到子图像块；

(3-2)利用相邻视点视频帧，采用取深度值最小的参考像素的赋值给虚拟视点像素的基于深度图像渲染的视点合成方法，得到背景可见的虚拟视点视频帧；

(3-3)根据深度信息，将所述步骤(3-1)得到的子图像块分为前景子图像块和背景子图像块两类；

利用不同块匹配准则，分别计算上一帧图像前景子图像块和背景子图像块、当前帧图像前景子图像块和背景子图像块的运动向量。

优选的，所述步骤(3-3)中，区分前景子图像块和背景子图像块的具体方法为：

(3-3-1)：计算所述步骤(3-1)中所述子图像块对应深度值的最大深度值，

以及所述子图像块的初始母图像块对应深度值的平均深度值；

(3-3-2)：根据所述步骤(3-3-1)中的所述最大深度值和所述平均深度值的关系区将所述子图像块分为前景子图像块和背景子图像块。

优选的，在所述步骤(4)中，具体包括以下步骤：

(4-1)将插入帧分为尺寸相等的图像块，以所述步骤(1)和所述步骤(3)得到的上一帧图像和当前帧图像的运动向量为参考，对插入帧中的图像块进行运动向量分配；

(4-2)根据所述步骤(4-1)中的运动向量分配结果，对插入帧进行双向运动补偿帧插入。

优选的，所述步骤(4-1)中，统计穿过插入帧中的图像块的运动向量，具体分为：

穿过插入帧中的图像块的运动向量是否只有非遮挡图像块运动向量，

或穿过插入帧中的图像块的运动向量是否存在遮挡区域运动向量。

本发明的有益效果：

(1)本发明的一种基于视点间关系的多视点视频帧插入方法，充分考虑多视点视频中不同视点在空间上的关系，即左视点视频中对应的视频帧与右视点视频中对应的视频帧的关系，利用这种空间关系解决视频帧插入中遮挡区域处理这一关键问题，减弱现有的二维视频和三维视频帧插入方法中存在的前景物体边缘模糊现象，从而明显提升了插入帧的视觉质量。

(2)本发明的一种基于视点间关系的多视点视频帧插入方法，采用单向运动估计分别获取前向和后向运动向量，对插入帧图像块进行运动向量分配后采用双向运动补偿的方式进行帧插入，即保证了插入帧中每个图像块运动向量的准确性，又避免的单向运动补偿帧插入带来的空洞和重叠效应。

(3)本发明的一种基于视点间关系的多视点视频帧插入方法，结合步骤(1)中估计得到的覆盖型图像块和非覆盖型图像块的运动向量；以及步骤(3)中利用多视点视频视点间的关系，采用取深度值最小的参考像素的赋值给虚拟视点像素的方法生成背景可见的虚拟视点视频帧，进行遮挡图像块的处理，优化得到的运动向量；充分反映图像块的真实运动情况，根据上述两方面的运动向量对插入帧中的图像块进行运动向量分配，对插入帧进行双向运动补偿帧插入，明显提升了插入帧的视觉质量。

(4)本发明的一种基于视点间关系的多视点视频帧插入方法，为了生成背景可见的虚拟视点视频帧，即生成虚拟视点时若多个参考图像的像素点投影到同一个虚拟视点图像的像素点时，我们取深度值最小的参考像素的像素值赋值给该虚拟视点像素，打破了传统的的基于深度图像渲染的虚拟视点合成方法中取深度值最大的参考像素的像素值赋值给该虚拟视点像素，更加准确获取遮挡区域的真实运动向量，明显提升了插入帧的视觉质量。

附图说明

图1是本发明的基于视点间关系的多视点视频帧插入方法的流程图；

图2是本发明的背景可见的虚拟视点视频帧。

具体实施方式：

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面结合附图与实施例对本发明作进一步说明。

实施例1：

本发明为了解决上述问题，提供一种基于视点间关系的多视点视频帧插入方法。首先，利用单向运动估计算法进行前向和后向运动估计，获取前向运动向量场和后向运动向量场；其次，根据深度信息检测出上一帧图像和当前帧图像中遮挡图像块，并进一步将遮挡图像块分成覆盖型图像块和非覆盖型图像块；然后，利用多视点视频视点间的关系进行遮挡图像块的处理；最后，对插入帧中的每个图像块进行运动向量分配，并利用双向运动补偿实现帧插入。

为了实现上述目的，本发明采用如下实施方式：

一种基于视点间关系的多视点视频帧插入方法，流程图如图1所示，具体步骤包括：

(1)运动估计：根据上一帧图像和当前帧图像，利用单向运动估计算法进行运动向量估计，分别得到前向运动向量场和后向运动向量场；

(2)遮挡检测：利用深度信息检测出上一帧图像中的遮挡图像块和当前帧图像中的遮挡图像块，并将这些遮挡图像块分成覆盖型图像块和非覆盖型图像块两类；

(3)遮挡区域处理：利用多视点视频视点间的关系，采用取深度值最小的参考像素的赋值给虚拟视点像素的方法生成背景可见的虚拟视点视频帧，进行遮挡图像块的处理；

(4)运动向量分配和帧插入：对插入帧中的每个图像块进行运动向量分配，利用双向运动补偿进行插入帧中图像块的重建，实现帧插入。

在本实施例中，选取多视点视频中的一个视点视频作为需要帧插入的视频，该视点视频我们称之为当前视点视频；当前视点视频左右视点的视频我们称之为相邻视点视频；帧插入前，当前视点视频和相邻视点视频帧率相同。

假设f_t-1和f_t+1分别为当前视点视频中的上一帧图像和当前帧图像，d_t-1和d_t+1分别为上一帧图像f_t-1和当前帧图像f_t+1对应的深度图；

和分别为上一帧图像f_t-1和当前帧图像f_t+1在左视点视频中对应的视频帧，和对应的深度图记为和

和分别为上一帧图像f_t-1和当前帧图像f_t+1在右视点视频中对应的视频帧，和对应的深度图记为和

(1)运动估计：

第一步：将f_t-1分成尺寸为N×N(N为4的整数倍)的等尺寸图像块，假设B_t-1为其中一个图像块，以f_t+1为参考帧，利用下面公式计算B_t-1的前向运动向量v_f：

其中，p₁表示像素坐标，SR₁表示搜索范围。

进一步，对f_t-1中的每个图像块进行运动估计，得到前向运动向量MVF_f。

第二步：将f_t+1分成尺寸为N×N(N为4的整数倍)的等尺寸图像块，假设B_t+1为其中一个图像块，以f_t-1为参考帧，利用下面公式计算B_t+1的前向运动向量v_b：

其中，p₂表示像素坐标，SR₂表示搜索范围。进一步，对f_t+1中的每个图像块进行运动估计，得到后向运动向量MVF_b。

(2)遮挡检测：

第一步：假设上一帧f_t-1中图像块B_t-1的运动向量为v_f，B_t-1对应的深度块为D_t-1。计算深度块D_t-1深度值的标准差，记为σ，若

σ≥λ，其中，λ为设定阈值，

则图像块B_t-1判定为遮挡图像块，否则，判定为非遮挡图像块，对于尺寸为N×N的图像块，设定阈值λ取值2×N。对f_t-1中每个图像块进行判定，将f_t-1中的图像块分为遮挡图像块和非遮挡图像块两类。

第二步：假设B_t-1为遮挡图像块，其运动向量为v_f。利用B_t-1对应的深度块D_t-1计算B_t-1的深度分布向量u_d，深度分布向量u_d的起点为D_t-1的质心，终点为D_t-1的几何中心。若v_f·u_d>0，则判定B_t-1为覆盖型图像块；否则，判定B_t-1为非覆盖型图像块。对f_t-1中每个遮挡图像块进行判定，将f_t-1中的遮挡图像块分为覆盖型图像块和非覆盖型图像块两类。

进一步，利用上述两步方法将当前帧f_t+1中的图像块分为遮挡图像块和非遮挡图像块两类，并进一步将f_t+1中的遮挡图像块分为覆盖型图像块和非覆盖型图像块两类。

(3)遮挡区域处理：

第一步：假设和分别为f_t-1中的一个覆盖型图像块和非覆盖型图像块，和分别为f_t+1中的一个覆盖型图像块和非覆盖型图像块。

利用步骤(1)我们已经估计出这些覆盖型图像块和非覆盖型图像块的运动向量，但这些运动向量并不能反映该图像块的真实运动情况，因此需要进一步优化。对于遮挡型图像块(包含覆盖型图像块和非覆盖型图像块)，进行四叉树分割，即分为四个尺寸相等的子图像块；然后对子图像块再进行四叉树分割，直到子图像块满足下列条件之一停止四叉树分割：a)子图像块的尺寸为4×4；b)子图像块对应的深度值的标准差小于阈值2×N′，N′×N′为该子图像块的尺寸。

第二步：利用采用基于深度图像渲染的虚拟视点合成方法得到f_t-1对应的背景可见的虚拟视点视频帧与传统的基于深度图像渲染的虚拟视点合成方法不同，本发明是为了生成背景可见的虚拟视点视频帧，即生成虚拟视点时若多个参考图像的像素点投影到同一个虚拟视点图像的像素点时，我们取深度值最小的参考像素的像素值赋值给该虚拟视点像素，而传统的基于深度图像渲染的虚拟视点合成方法中取深度值最大的参考像素的像素值赋值给该虚拟视点像素。

同样，利用采用上述基于深度图像渲染的虚拟视点合成方法得到f_t+1对应的背景可见的虚拟视点视频帧

第三步：假设Q为一个最终四叉树分割后的子图像块，Q对应的深度值中最大深度值为Q的初始母图像块(即初始被分割遮挡图像块)对应的平均深度值为若则Q为背景子图像块，否则，Q为前景子图像块。Q的运动向量可以利用下式来进行计算：

其中，SR₃表示搜索范围，SAD按照下面四种情况进行计算：

若Q四叉树分割于或者Q四叉树分割于且Q为前景子图像块，则：

若Q四叉树分割于且Q为背景子图像块，则：

若Q四叉树分割于或者Q四叉树分割于且Q为前景子图像块，则：

若Q四叉树分割于且Q为背景子图像块，则：

其中p₃表示像素坐标。

(4)运动向量分配和帧插入：

第一步：我们利用前述步骤已经获取了f_t-1和f_t+1中所有图像块或者子图像块的前向和后向运动向量，我们以这些运动向量为候选运动向量。将插入帧f_t分成尺寸为N×N(与初始运动估计图像块的尺寸相等)的等尺寸图像块，假设B_t为其中一个图像块，统计所有穿过B_t的运动向量。

第二步：若穿过B_t的运动向量只有前向或者后向非遮挡图像块运动向量，则我们取这些运动向量中SAD值最小的运动向量分配给B_t；若没有运动向量穿过B_t，则我们对B_t周围图像块(即8邻域图像块)已经分配的非遮挡图像块运动向量进行中值滤波，取中值滤波结果作为运动向量分配给B_t。假设最后分配给B_t的运动向量为v′，利用v′在f_t-1和f_t+1中寻找B_t对应的图像块对，记为{B_t-1,B_t+1}，则对图像块B_t的双向运动补偿为

若存在一个或者多个四叉树分割后的子图像块运动向量(我们称之为遮挡区域运动向量)经过B_t，则我们将B_t分割为4×4的子块，假设Q_t为其中一个4×4的子块；我们统计所有穿过Q_t的遮挡区域运动向量，并取这些遮挡运动向量中SAD值最小的运动向量分配给Q_t；若没有遮挡运动向量穿过Q_t，我们对Q_t周围4×4图像块(即8邻域的4×4图像块)已经分配的遮挡运动向量进行中值滤波，取中值滤波结果作为运动向量分配给Q_t。假设最后分配给Q_t的运动向量为v″，利用v″在f_t-1和f_t+1中寻找Q_t对应的4×4子图像块对，记为{Q_t-1,Q_t+1}。若运动向量v″的SAD是通过公式(6)或(8)计算得到的，则对Q_t的双向运动补偿为若运动向量v″的SAD是通过公式(7)计算得到的，则对Q_t的运动补偿为Q_t＝Q_t-1；若运动向量v″的SAD是通过公式(9)计算得到的，则对Q_t的运动补偿为Q_t＝Q_t+1。

使用上述方法对插入帧f_t中的每一个图像块或者图像子块进行双向运动补偿，实现帧插入。

本发明的有益效果：

(1)本发明的一种基于视点间关系的多视点视频帧插入方法，充分考虑多视点视频中不同视点在空间上的关系，即左视点视频中对应的视频帧与右视点视频中对应的视频帧的关系，利用这种空间关系解决视频帧插入中遮挡区域处理这一关键问题，减弱现有的二维视频和三维视频帧插入方法中存在的前景物体边缘模糊现象，从而明显提升了插入帧的视觉质量。

(2)本发明的一种基于视点间关系的多视点视频帧插入方法，采用单向运动估计分别获取前向和后向运动向量，对插入帧图像块进行运动向量分配后采用双向运动补偿的方式进行帧插入，即保证了插入帧中每个图像块运动向量的准确性，又避免的单向运动补偿帧插入带来的空洞和重叠效应。

(3)本发明的一种基于视点间关系的多视点视频帧插入方法，结合步骤(1)中估计得到的覆盖型图像块和非覆盖型图像块的运动向量；以及步骤(3)中利用多视点视频视点间的关系，采用取深度值最小的参考像素的赋值给虚拟视点像素的方法生成背景可见的虚拟视点视频帧，进行遮挡图像块的处理，优化得到的运动向量；充分反映图像块的真实运动情况，根据上述两方面的运动向量对插入帧中的图像块进行运动向量分配，对插入帧进行双向运动补偿帧插入，明显提升了插入帧的视觉质量。

(4)本发明的一种基于视点间关系的多视点视频帧插入方法，为了生成背景可见的虚拟视点视频帧，即生成虚拟视点时若多个参考图像的像素点投影到同一个虚拟视点图像的像素点时，我们取深度值最小的参考像素的像素值赋值给该虚拟视点像素，打破了传统的的基于深度图像渲染的虚拟视点合成方法中取深度值最大的参考像素的像素值赋值给该虚拟视点像素，更加准确获取遮挡区域的真实运动向量，明显提升了插入帧的视觉质量。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于视点间关系的多视点视频帧插入方法，其特征是：包括以下步骤：

(1)运动估计：根据上一帧图像和当前帧图像，利用单向运动估计算法进行运动向量估计，分别得到前向运动向量场和后向运动向量场；

(2)遮挡检测：利用深度信息检测出上一帧图像中的遮挡图像块和当前帧图像中的遮挡图像块，并将这些遮挡图像块分成覆盖型图像块和非覆盖型图像块两类；

(3)遮挡区域处理：利用多视点视频视点间的关系，采用取深度值最小的参考像素的赋值给虚拟视点像素的方法生成背景可见的虚拟视点视频帧，进行遮挡图像块的处理；

(4)运动向量分配和帧插入：对插入帧中的每个图像块进行运动向量分配，利用双向运动补偿进行插入帧中图像块的重建，实现帧插入。

2.如权利要求1所述的一种基于视点间关系的多视点视频帧插入方法，其特征是：在所述步骤(1)中，所述前向运动向量场的获取方法为：

将上一帧图像分成尺寸相等的图像块，以当前帧图像为参考帧，利用单向运动向量估计算法计算出上一帧图像中每个图像块的运动向量，得到前向运动向量场。

3.如权利要求2所述的一种基于视点间关系的多视点视频帧插入方法，其特征是：在所述步骤(1)中，所述后向运动向量场的获取方法为：

将当前帧图像分成尺寸相等的图像块，以上一帧图像为参考帧，利用单向运动向量估计算法计算出当前帧图像中每个图像块的运动向量，得到后向运动向量场。

4.如权利要求1所述的一种基于视点间关系的多视点视频帧插入方法，其特征是：在所述步骤(2)中，具体包括以下步骤：

(2-1)分别将上一帧图像和当前帧图像中的图像块分为遮挡图像块和非遮挡图像块两类；

(2-2)：分别将上一帧图像和当前帧图像中的遮挡图像块分为覆盖型图像块和非覆盖型图像块两类。

5.如权利要求4所述的一种基于视点间关系的多视点视频帧插入方法，其特征是：所述步骤(2-1)中区分遮挡图像块和非遮挡图像块的具体方法为：

(2-1-1)：根据上一帧图像和当前帧图像中每个图像块具有对应的深度块，分别计算每个所述深度块深度值的标准差；

(2-1-2)：根据所述步骤(2-1-1)中的每个所述深度快深度值的标准差与设定阈值小关系区分为遮挡图像块和非遮挡图像块两类。

6.如权利要求4所述的一种基于视点间关系的多视点视频帧插入方法，其特征是：所述步骤(2-2)区分覆盖型图像块和非覆盖型图像块的具体方法为：

(2-2-1)：计算遮挡图像块的运动向量，同时利用遮挡图像块对应的深度块计算遮挡图像块的深度分布向量；

(2-2-2)：根据所述步骤(2-2-1)中计算的遮挡图像块的运动向量和遮挡图像块的深度分布向量的乘积是否大于0区分为覆盖型图像块和非覆盖型图像块。

7.如权利要求1所述的一种基于视点间关系的多视点视频帧插入方法，其特征是：在所述步骤(3)中，具体包括以下步骤：

(3-1)对上一帧图像和当前帧图像中的覆盖型图像块和非覆盖型图像块进行四叉树分割，得到子图像块；

(3-2)利用相邻视点视频帧，采用取深度值最小的参考像素的赋值给虚拟视点像素的基于深度图像渲染的视点合成方法，得到背景可见的虚拟视点视频帧；

(3-3)根据深度信息，将所述步骤(3-1)得到的子图像块分为前景子图像块和背景子图像块两类；

利用不同块匹配准则，分别计算上一帧图像前景子图像块和背景子图像块、当前帧图像前景子图像块和背景子图像块的运动向量。

8.如权利要求7所述的一种基于视点间关系的多视点视频帧插入方法，其特征是：所述步骤(3-3)中，区分前景子图像块和背景子图像块的具体方法为：

(3-3-1)：计算所述步骤(3-1)中所述子图像块对应深度值的最大深度值，

以及所述子图像块的初始母图像块对应深度值的平均深度值；

(3-3-2)：根据所述步骤(3-3-1)中的所述最大深度值和所述平均深度值的关系区将所述子图像块分为前景子图像块和背景子图像块。

9.如权利要求1所述的一种基于视点间关系的多视点视频帧插入方法，其特征是：在所述步骤(4)中，具体包括以下步骤：

(4-1)将插入帧分为尺寸相等的图像块，以所述步骤(1)和所述步骤(3)得到的上一帧图像和当前帧图像的运动向量为参考，对插入帧中的图像块进行运动向量分配；

(4-2)根据所述步骤(4-1)中的运动向量分配结果，对插入帧进行双向运动补偿帧插入。

10.如权利要求9所述的一种基于视点间关系的多视点视频帧插入方法，其特征是：所述步骤(4-1)中，统计穿过插入帧中的图像块的运动向量，具体分为：

穿过插入帧中的图像块的运动向量是否只有非遮挡图像块运动向量，

或穿过插入帧中的图像块的运动向量是否存在遮挡区域运动向量。