CN101400001B - 一种视频帧深度图的生成方法及系统 - Google Patents

Abstract

本发明提供了一种视频帧深度图的生成方法及系统，该方法包括在视频序列的连续视频帧中选取关键帧，并获取关键帧的深度图，还包括以下步骤：提取视频序列中连续帧上的特征点；确定连续帧上各特征点的匹配关系；计算在连续帧上相匹配的特征点之间的运动距离；依据所述相匹配的特征点之间的运动距离以及关键帧的深度图，确定相应特征点在所属非关键帧中的深度值；对所述非关键帧进行深度赋值，进而获得连续帧中各视频帧的深度图。本发明在获取关键帧的深度图后，无需再通过人工获得视频帧的深度图，大大缩短了由平面视频向立体视频转化的制作周期，同时获得了较为准确的视频帧的深度图，提高效率的同时也降低了制作成本。

Description

一种视频帧深度图的生成方法及系统

技术领域

本发明涉及计算机多媒体技术领域，特别地，涉及一种在平面视频转化为立体视频时，视频序列中视频帧深度图的生成方法及系统。

背景技术

立体视频，相对于现在广为应用的平面视频，可以给用户提供视频中场景的深度信息，使用户能够通过视频看到与真实世界几乎完全一致的景象，产生巨大的真实感和临场感。由于这一优势，立体视频正在全世界范围内，在多个行业中得到越来越多的推广和青睐。

随着立体视频技术的发展，立体视频的片源制作受到人们的极大关注。将平面视频转化为立体视频的技术手段，因为丰富的平面视频素材以及平面视频良好的兼容性，而成为获得立体视频片源的重要方法。

将平面视频转化为立体视频，首先要获取原平面视频序列中每帧的深度信息，生成对应的深度图，来反映视频帧中的图像像素所表示的空间点到摄像机或观察者的距离，再由一张张深度图组成深度序列；其次利用深度序列，将原视频序列变形，得到一路新的视频序列。新视频序列与原视频序列一起，构成了立体视频的二维序列，将两个序列通过一定的显示技术，被人眼观测，从而实现立体感知。因此，如何获取原平面视频序列中每帧的深度信息，进而生成深度图，成为平面视频转化为立体视频中至关重要的技术。目前已经有一些方法尝试解决这一问题：

全自动的深度图生成方法，该方法根据原视频序列的图像纹理、运动等信息进行深度图的获取。

半自动的深度图生成方法，该方法通过人机交互，由操作人员人借助经验在视频帧图像中分辨目标及相关深度，通常是由操作人员使用相关软件，在图像中需要分配深度的每个目标的轮廓周围勾画，并用决定距观察者的深度或距离的灰色阴影来对目标物体填充或“着色”，该过程将随后对图像中的每个目标进行重复，进而生成视频帧对应的深度图，这样生成的深度图一般比较准确，可以实现真实的立体效果。

但是，对于全自动的深度图生成方法，由于纹理、运动等信息与深度值并没有必然的联系，使得这种方法无法获得准确的深度图。

对于半自动的深度图生成方法，由于一般视频的帧率都在20帧每秒以上，如果对一段视频中的每一帧都进行人机交互来获取深度图，那么工作量将异常繁重，这不仅会延长立体视频的制作周期，而且会增加制作成本。

因此，需要本领域技术人员迫切解决的一个技术问题就是：如何能够减少人工生成视频帧深度图的数量，缩短立体视频的制作周期，同时获得较为准确的视频帧的深度图。

发明内容

本发明所要解决的技术问题是提供一种视频帧深度图的生成方法及系统，能够减少人工生成视频帧深度图的数量，缩短立体视频的制作周期，同时获得较为准确的视频帧的深度图。

为了解决上述问题，本发明公开了一种视频帧深度图的生成方法，包括在视频序列的连续视频帧中选取关键帧，并获取关键帧的深度图，该方法还包括以下步骤：

提取视频序列中连续帧上的特征点；

确定连续帧上各特征点的匹配关系；

计算在连续帧上相匹配的特征点之间的运动距离；

依据所述相匹配的特征点之间的运动距离以及关键帧的深度图，确定相应特征点在所属非关键帧中的深度值；

对所述非关键帧进行深度赋值，进而获得连续帧中各视频帧的深度图。

进一步，所述确定连续帧上各特征点的匹配关系，具体包括以下步骤：

选取连续帧中某一帧作为基准帧，以基准帧的各特征点作为待匹配特征点；

在该基准帧的相邻帧上划定与各特征点相应的匹配特征点存在区域；

计算相邻帧上所述各区域内的特征点与相应待匹配特征点之间的相似度；

选取相邻帧上所述各区域内相似度符合预置条件的特征点作为匹配特征点；

以所述相邻帧作为基准帧，重复前述步骤，获得连续帧上各特征点的匹配关系。

优选的，所述确定连续帧上各特征点的匹配关系，进一步包括以下验证步骤，

以所述相邻帧上的各匹配特征点作为待匹配特征点，在所述基准帧上划定相应的匹配特征点存在区域；

计算基准帧上所述各区域内的特征点与相邻帧上的相应待匹配特征点之间的相似度；

选取基准帧上所述各区域内相似度符合预置条件的特征点作为匹配特征点；

验证基准帧上的匹配特征点与所述基准帧的各特征点是否对应，若对应，则所述相邻帧上的匹配特征点与基准帧上的各特征点相互匹配。

进一步，所述匹配特征点存在区域为以某视频帧上的一待匹配特征点在相邻的视频帧上的对应坐标为中心，以2T个像素为边长所形成的矩形区域，其中，T的范围为10～30。

进一步，所述预置条件为：

相似度最高；或者

相似度最高，且相似度最高值与次高值的比值，大于等于阈值G，其中，阈值G的范围为1.5～3。

进一步，所述相似度通过以下方式计算：

计算匹配特征点存在区域内特征点和相应待匹配特征点之间的特征矢量的欧氏距离；

根据欧氏距离与相似度的反比关系式，计算相似度。

进一步，对所述非关键帧进行深度赋值具体包括以下步骤：

根据关键帧的深度图，对相邻的非关键帧进行图像分割，得到分割轮廓；

计算所述非关键帧的同一分割区域内特征点深度值的平均值；

以平均值作为所述分割区域的深度值，对所述非关键帧进行深度赋值，获得深度图；

根据所述非关键帧的深度图，对其相邻的非关键帧重复前述步骤，获得连续帧中各视频帧的深度图。

本发明还提供了一种视频帧深度图的生成系统，包括关键帧信息单元，用于在视频序列的连续视频帧中选取关键帧，并获取关键帧的深度图，该系统还包括：

特征点提取单元，用于提取视频序列中连续帧上的特征点；

匹配特征点查找单元，用于确定连续帧上各特征点的匹配关系；

运动确定单元，用于计算在连续帧上相匹配的特征点之间的运动距离；

深度值确定单元，用于依据所述相匹配的特征点之间的运动距离以及关键帧的深度图，确定相应特征点在所属非关键帧中的深度值；

深度图生成单元，用于对所述非关键帧进行深度赋值，进而获得连续帧中各视频帧的深度图。

进一步，所述匹配特征点查找单元包括，

区域划定子单元，用于划定与待匹配特征点相应的匹配特征点存在区域；

相似度计算子单元，用于计算所述匹配特征点存在区域内特征点的特征矢量，与待匹配特征点的特征矢量之间的欧氏距离，并根据欧氏距离与相似度的反比关系式，计算相似度；

匹配特征点选择子单元，用于选取相似度符合预置条件的特征点作为匹配特征点。

进一步，所述匹配特征点存在区域为以某视频帧上的一待匹配特征点在相邻的视频帧上的对应坐标为中心，以2T个像素为边长所形成的矩形区域，其中，T的范围为10～30。

进一步，所述预置条件为：

相似度最高；或者

相似度最高，且相似度最高值与次高值的比值，大于等于阈值G，其中，阈值G的范围为1.5～3。

进一步，所述深度图生成单元包括，

分割轮廓获取子单元，用于根据已知视频帧的深度图，对相邻非关键帧进行图像分割，得到分割轮廓；

平均值计算子单元，用于计算所述非关键帧的同一分割区域内，特征点深度值的平均值；

深度赋值子单元，用于以所述深度值的平均值作为所述分割区域的深度值，对所述非关键帧进行深度赋值，获得深度图。

与现有技术相比，本发明具有以下优点：

首先，在本发明的技术方案中，获得关键帧的深度图后所采取的步骤，可以采用一定的预置算法，而无需再通过人工获得视频帧的深度图，大大缩短了由平面视频向立体视频转化的制作周期，提高效率的同时也降低了制作成本。

其次，在本发明中确定连续帧上各特征点的匹配关系时，先划定匹配特征点存在区域，可以缩小匹配特征点查找区域，加快匹配过程；在匹配特征点存在区域内进行相似度的计算，在优选方案中，还需要进行相似度的比较，以满足阈值条件的特征点作为匹配特征点，采取以上技术方案，可以较为准确的获得特征点的匹配关系；在更优选方案中，还对已经选取的匹配特征点进行验证，该技术方案，可以增加选取匹配特征点的准确度，使生成的视频帧的深度图更接近真实情况。

附图说明

图1是本发明一种视频帧深度图的生成方法流程图；

图2是本发明一种确定连续帧上各特征点的匹配关系的方法流程图；

图3是本发明实施例中匹配特征点存在区域示意图；

图4是本发明一种对非关键帧进行深度赋值的方法流程图；

图5是本发明一种视频帧深度图的生成系统的结构框图；

图6是本发明系统中匹配特征点查找单元的结构框图；

图7是本发明系统中深度图生成单元的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明的核心构思是：在从平面视频向立体视频转化时，通过视频序列中已知关键帧的深度图，来获取非关键帧的深度图，从而形成整个视频序列的深度图序列。在获取非关键帧的深度图时，通过确定连续帧上各特征点的匹配关系，获取特征点在连续帧上的运动情况，再根据已知关键帧的深度图，计算各特征点在非关键帧上的深度值，进而获得非关键帧的深度图。

参照图1，示出了本发明一种视频帧深度图的生成方法流程图，主要用于将平面视频转化为立体视频的过程，具体包括以下步骤：

步骤101：在视频序列的连续视频帧中选取关键帧，并获取关键帧的深度图；

视频序列是由一帧一帧的图像顺序排列组成的。在视频序列中，一般选取角色或者物体在运动或变化中的关键动作所处的那一帧，作为关键帧，其余视频帧被称为非关键帧。视频帧的深度图，其作用是反映每一个视频帧中的图像像素所表示的空间点到摄像机或观察者的距离。

该步骤中，关键帧深度图的获取可以采取半自动的深度图生成方法，即采用人机交互的方法，由工作人员针对关键帧中的目标图像及其到摄像机或观察者的距离，对图像进行分割，然后用表示深度值的灰色阴影来对目标图像进行填充或“着色”，进而生成该关键帧的深度图。

步骤102：提取视频序列中连续帧上的特征点；

可以采用多种特征点提取方法，比如人工特征提取法、轮廓提取法、像素块法和SIFT特征提取算法。其中，人工特征提取法，需要工作人员对每一帧图像进行特征点的提取，不能实现自动化；轮廓提取法和像素块法，提取的特征对明暗，旋转不具有鲁棒性，所谓“鲁棒性”，是指控制系统在一定(结构，大小)的参数摄动下，维持某些性能的特性。

优选的，采用SIFT特征提取算法，该方法可以提取视频序列中每一帧的特征点，同时设定特征点的特征向量和图像坐标。SIFT特征提取算法能够在图像中找到具有特征的区域，并且精确计算出这一区域在图像中的二维坐标，用特征点表示该区域，并用高维特征向量描述该特征点。理论上，这一描述在特征点发生平移，伸缩或旋转时将不会发生变化，同时，该特征对图像明暗变化也有很强的不变性。

步骤103：确定连续帧上各特征点的匹配关系；

步骤104：计算在连续帧上相匹配的特征点之间的运动距离；

假设在连续帧中，帧A上某一特征点a的图像坐标为(x₁，y₁)，帧B上，与特征点a相匹配的特征点b的图像坐标为(x₂，y₂)，则相匹配的两特征点a、b之间的运动距离Dab为，

$D_{\mathrm{ab}}=\sqrt{{(x_1-x_2)}^2+{(y_1-y_2)}^2}...\left(1\right)$

以此类推，用以上公式(1)可以计算出连续帧中任意两相匹配特征点之间的运动距离。

步骤105：依据所述相匹配的特征点之间的运动距离以及关键帧的深度图，确定相应特征点在所属非关键帧中的深度值；

该步骤中，可以根据3D轨迹估计算法，假设连续帧中，帧C、D、E连续，其中，帧C为关键帧，由帧C的深度图可以获知帧C中任一特征点的深度值，设帧C中特征点c的深度值为z_c，非关键帧D中特征点d的深度值为z_d，非关键帧E中特征点E的深度值为z_e，特征点c、d、e相互匹配，Dcd为特征点c与特征点d的运动距离，Dde为特征点d与特征点e的运动距离，Dce为特征点c与特征点e的运动距离。则根据匀速假设下三维运动在二维平面投影的性质，特征点d、e在各自所属非关键帧中的深度值可以根据以下公式计算：

$z_d=\frac{D_{\mathrm{ce}}\·z_c}{{2D}_{\mathrm{de}}},$ $z_e=\frac{D_{\mathrm{cd}}\·z_c}{D_{\mathrm{de}}}...\left(2\right)$

用以上公式(2)根据关键帧C中任一特征点的已知深度值，可以计算出帧D、帧E中与该特征点相匹配的特征点的深度值。以此类推，根据已知特征点的深度值，可以计算出连续帧中任意与关键帧中的特征点相匹配的特征点的深度值。

步骤106：对所述非关键帧进行深度赋值，进而获得连续帧中各视频帧的深度图。

以上生成视频帧深度图的步骤顺序可以进行调整，例如，所述步骤101，可放在步骤105之前的其它位置。

参照图2，示出了本发明的一种确定连续帧上各特征点的匹配关系的方法流程图，具体包括以下步骤：

步骤201：选取连续帧中某一帧作为基准帧，以基准帧的各特征点作为待匹配特征点；

该基准帧可以为连续帧中的任意一帧，也可以选择关键帧作为基准帧。

步骤202：在该基准帧的相邻帧上划定与各特征点相应的匹配特征点存在区域；

所述匹配特征点存在区域为以某视频帧上的一待匹配特征点在相邻的视频帧上的对应坐标为中心，以2T个像素为边长所形成的矩形区域，其中，T的范围为10～30。

例如，在基准帧上任选一特征点，该特征点在相邻的视频帧上的对应坐标为(x，y)，则在相邻帧上划定的匹配特征点存在区域，最小是以点(x，y)为中心，边长为20个像素的方形区域301，最大是以点(x，y)为中心，边长为60个像素的方形区域302，参照图3。

步骤203：计算所述各区域内的特征点与相应待匹配特征点之间的相似度；

在该步骤中，相似度的高低可以用特征点之间的欧氏距离来衡量，相似度与欧氏距离成反比，即欧氏距离越大的相似度越小。

所述的欧氏距离为特征点的特征向量之间的欧氏距离，具体计算过程如下：

向量[x，y]和向量[a，b]的欧式距离，定义为

即与欧氏几何中的定义相同。

步骤204：选取所述各区域内相似度符合预置条件的特征点作为匹配特征点；

在该步骤中可以选择相似度最高的特征点作为匹配特征点。

优选的，还需要将所述匹配特征点区域内的特征点的相似度进行比较，相似度最高的与相似度次高的特征点的相似度的比值，应大于等于阈值G，其中，阈值G的范围为1.5～3。将满足此条件的特征点作为匹配特征点，若找不到满足条件的特征点，则视为相应待匹配特征点匹配失败。

步骤205：以所述相邻帧作为基准帧，重复前述步骤，获得连续帧上各特征点的匹配关系。

优选的，确定连续帧上各特征点的匹配关系应该还进一步包括以下验证步骤，

步骤206：以所述选取的相邻帧上的各匹配特征点作为待匹配特征点，在所述基准帧上划定相应的匹配特征点存在区域；

该匹配特征点存在区域同样为以某视频帧上的一待匹配特征点在相邻的视频帧上的对应坐标为中心，以2T个像素为边长所形成的矩形区域，其中，T的范围为10～30。

步骤207：计算基准帧上所述各区域内的特征点与相邻帧上的相应待匹配特征点之间的相似度；

该步骤中计算相似度的方法与步骤203中相同，此处不再赘述。

步骤208：选取基准帧上所述各区域内相似度符合预置条件的特征点作为匹配特征点；

该步骤中的优选方案与步骤204中相同，此处不再赘述。

步骤209：验证基准帧上的匹配特征点与所述基准帧上的各特征点是否对应，若对应，则所述相邻帧上的匹配特征点与基准帧上的各特征点相互匹配。若不对应，则基准帧上的相应特征点匹配失败。

以上确定连续帧上各特征点的匹配关系的步骤顺序可以进行调整，例如，所述的验证步骤，也可以放在步骤205之前。

参照图4，示出了本发明的一种对非关键帧进行深度赋值的方法流程图，具体包括以下步骤：

步骤401：根据关键帧的深度图，对相邻的非关键帧进行图像分割，得到分割轮廓；

在该步骤中，可以采取Snake轮廓提取法，根据关键帧的深度图实现对相邻非关键帧的图像分割。

Snake轮廓提取法是一种获得图像上物体轮廓的方法。它要求有一个初始轮廓与真实物体在图像中的轮廓比较接近，然后定义“内力”和“外力”，在两种“力”的共同作用下，初始轮廓逐渐移动到物体在图像上的边界，从而获得准确的轮廓，完成图像分割任务。其中，“内力”用于保持初始轮廓的形状，使最终得到的轮廓与初始轮廓的形状不会有太大变化；“外力”用于趋势初始轮廓像图像真正的边界变化，最终得到正确的边界。该方法已经比较成熟，此处不在赘述。

步骤402：计算所述非关键帧的同一分割区域内特征点深度值的平均值；

步骤403：以平均值作为所述分割区域的深度值，对所述非关键帧进行深度赋值，获得深度图；

所述的深度赋值，即给该分割区域内的所有像素都赋以此深度值的平均值。

步骤404：根据所述关键帧的深度图，重复前述步骤，获得连续帧中各视频帧的深度图。

以上对非关键帧进行深度赋值的步骤顺序可以进行调整，例如，所述步骤404，也可以放在步骤402之前。

在生成视频帧的深度图时，对于某一视频帧中没有特征点的分割区域，可以使用前一帧中对应区域的已知深度值进行赋值；对于某分割区域中特征点匹配均失败的区域，也使用前一帧中对应区域的已知深度值进行赋值。

以下为应用上述方法生成视频帧深度图的一个实施例：

三个视频帧F、H、I相连续，通过人机交互获得关键帧F的深度图。然后，基于SIFT的特征提取算法提取视频序列中每一帧的所有特征点。

以帧F为基准帧，帧F的特征点为待匹配特征点，在帧H上划定匹配特征点存在区域，其中，设定匹配特征点存在区域的T值为10个像素，计算所述区域内的特征点与待匹配特征点的相似度，并进行比较，设定相似度的阈值G为1.5，选择满足相似度阈值条件的特征点作为匹配特征点。

再以帧H为基准帧，重复上述步骤，在帧I上查找匹配特征点。

对选择的匹配特征点进行验证，同样设定匹配特征点存在区域的T值为10个像素，相似度的阈值G为1.5。

验证后，根据相互匹配的特征点的二维坐标，由公式(1)计算特征点在连续帧上的运动距离。

采用3D轨迹估计算法，根据特征点在连续帧上的运动距离，使用匀速假设，并根据特征点在关键帧F中的深度值，计算相应匹配特征点在帧H、I中的深度值。例如，关键帧F上特征点F_a的深度值为50，通过公式(2)，利用之前计算出的运动距离，计算出视频帧H、I上的匹配特征点F_b和F_c的深度值为50.87和51.74。

以关键帧F的轮廓为初始值，用Snake方法获得相邻帧H的轮廓，再以H的轮廓为初值，求出帧I的轮廓。对帧H、I中的分割区域，用区域内的特征点深度值的平均值进行赋值，对于视频帧中没有特征点的分割区域，可以使用前一帧中对应区域的已知深度值进行赋值；对于分割区域中特征点匹配均失败的区域，也使用前一帧中对应区域的已知深度值进行赋值，从而得到帧H和帧I的深度图。

对于前述的方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。同时，各实施例之间可以根据需要进行组合。

参照图5，示出了本发明一种视频帧深度图的生成系统，该系统包括

关键帧信息单元501，用于在视频序列的连续视频帧中选取关键帧，并获取关键帧的深度图；

该单元对关键帧深度图的获取可以借助人机交互的方式实现。

特征点提取单元502，用于提取视频序列中连续帧上的特征点；

该单元可以预置SIFT特征提取算法，来提取视频帧上的特征点，同时确定每个特征点的图像坐标和特征向量。

匹配特征点查找单元503，用于确定连续帧上各特征点的匹配关系；

运动确定单元504，用于计算在连续帧上相匹配的特征点之间的运动距离；

该单元可以预置前述方法步骤中的公式(1)对相匹配的特征点之间的运动距离进行运算。

深度值确定单元505，用于依据所述相匹配的特征点之间的运动距离以及关键帧的深度图，确定相应特征点在所属非关键帧中的深度值；

该单元可以预置3D轨迹估计算法，利用前述方法步骤中的公式(2)进行深度值的计算。

深度图生成单元506，用于对所述非关键帧进行深度赋值，进而获得连续帧中各视频帧的深度图。

参照图6，匹配特征点查找单元503可以进一步包括，

区域划定子单元5031，用于划定与待匹配特征点相应的匹配特征点存在区域；

该匹配特征点存在区域为以某视频帧上的一待匹配特征点在相邻的视频帧上的对应坐标为中心，以2T个像素为边长所形成的矩形区域，其中，T的范围为10～30。

相似度计算子单元5032，用于计算所述匹配特征点存在区域内特征点的特征矢量，与待匹配特征点的特征矢量之间的欧氏距离，并根据欧氏距离与相似度的反比关系式，计算相似度；

其中，欧氏距离参照前述方法步骤中的计算方法，此处不再赘述。

匹配特征点选择子单元5033，用于选取相似度符合预置条件的特征点作为匹配特征点。

此处所述的预置条件与前述方法步骤中相同，优选的，相似度最高，且相似度最高值与次高值的比值，大于等于阈值G，其中，阈值G的范围为1.5～3。

参照图7，所述深度图生成单元506可以进一步包括，

分割轮廓获取子单元5061，用于根据已知视频帧的深度图，对相邻非关键帧进行图像分割，得到分割轮廓；

该子单元可以预置Snake轮廓提取法，根据已知视频帧的深度图，获得非关键帧的分割轮廓。

平均值计算子单元5062，用于计算所述非关键帧的同一分割区域内，特征点深度值的平均值；

深度赋值子单元5063，用于以所述深度值的平均值作为所述分割区域的深度值，对所述非关键帧进行深度赋值，获得深度图。

对于系统实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上对本发明所提供的一种视频帧深度图的生成方法及系统，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种视频帧深度图的生成方法，包括在视频序列的连续视频帧中选取关键帧，并获取关键帧的深度图，其特征在于，还包括以下步骤：

提取视频序列中连续帧上的特征点；

确定连续帧上各特征点的匹配关系；

计算在连续帧上相匹配的特征点之间的运动距离；

依据所述相匹配的特征点之间的运动距离以及关键帧的深度图，确定相应特征点在所属非关键帧中的深度值；

对所述非关键帧进行深度赋值，进而获得连续帧中各视频帧的深度图；其中，对所述非关键帧进行深度赋值的步骤具体包括：

根据关键帧的深度图，对相邻的非关键帧进行图像分割，得到分割轮廓；

计算所述非关键帧的同一分割区域内特征点深度值的平均值；

以平均值作为所述分割区域的深度值，对所述非关键帧进行深度赋值，获得深度图；

根据所述非关键帧的深度图，对其相邻的非关键帧重复前述步骤，获得连续帧中各视频帧的深度图。

2.根据权利要求1所述的方法，其特征在于，所述确定连续帧上各特征点的匹配关系，具体包括以下步骤：

选取连续帧中某一帧作为基准帧，以基准帧的各特征点作为待匹配特征点；

在该基准帧的相邻帧上划定与各特征点相应的匹配特征点存在区域；

计算相邻帧上所述各区域内的特征点与相应待匹配特征点之间的相似度；

选取相邻帧上所述各区域内相似度符合预置条件的特征点作为匹配特征点；

以所述相邻帧作为基准帧，重复前述步骤，获得连续帧上各特征点的匹配关系。

3.根据权利要求2所述的方法，其特征在于，进一步包括以下验证步骤，

以所述相邻帧上的各匹配特征点作为待匹配特征点，在所述基准帧上划定相应的匹配特征点存在区域；

计算基准帧上所述各区域内的特征点与相邻帧上的相应待匹配特征点之间的相似度；

选取基准帧上所述各区域内相似度符合预置条件的特征点作为匹配特征点；

验证基准帧上的匹配特征点与所述基准帧的各特征点是否对应，若对应，则所述相邻帧上的匹配特征点与基准帧上的各特征点相互匹配。

4.根据权利要求2或3所述的方法，其特征在于，

所述匹配特征点存在区域为以某视频帧上的一待匹配特征点在相邻的视频帧上的对应坐标为中心，以2T个像素为边长所形成的矩形区域，其中，T的范围为10～30。

5.根据权利要求2或3所述的方法，其特征在于，所述预置条件为：

相似度最高；或者

相似度最高，且相似度最高值与次高值的比值，大于等于阈值G，其中，阈值G的范围为1.5～3。

6.根据权利要求5所述的方法，其特征在于，所述相似度通过以下方式计算：

计算匹配特征点存在区域内特征点和相应待匹配特征点之间的特征矢量的欧氏距离；

根据欧氏距离与相似度的反比关系式，计算相似度。

7.一种视频帧深度图的生成系统，包括关键帧信息单元，用于在视频序列的连续视频帧中选取关键帧，并获取关键帧的深度图，

其特征在于，该系统还包括：

特征点提取单元，用于提取视频序列中连续帧上的特征点；

匹配特征点查找单元，用于确定连续帧上各特征点的匹配关系；

运动确定单元，用于计算在连续帧上相匹配的特征点之间的运动距离；

深度值确定单元，用于依据所述相匹配的特征点之间的运动距离以及关键帧的深度图，确定相应特征点在所属非关键帧中的深度值；

深度图生成单元，用于对所述非关键帧进行深度赋值，进而获得连续帧中各视频帧的深度图；其中，所述深度图生成单元进一步包括：

分割轮廓获取子单元，用于根据已知视频帧的深度图，对相邻非关键帧进行图像分割，得到分割轮廓；

平均值计算子单元，用于计算所述非关键帧的同一分割区域内，特征点深度值的平均值；

深度赋值子单元，用于以所述深度值的平均值作为所述分割区域的深度值，对所述非关键帧进行深度赋值，获得深度图。

8.根据权利要求7所述的系统，其特征在于，所述匹配特征点查找单元包括，

区域划定子单元，用于划定与待匹配特征点相应的匹配特征点存在区域；

相似度计算子单元，用于计算所述匹配特征点存在区域内特征点的特征矢量，与待匹配特征点的特征矢量之间的欧氏距离，并根据欧氏距离与相似度的反比关系式，计算相似度；

匹配特征点选择子单元，用于选取相似度符合预置条件的特征点作为匹配特征点。

9.根据权利要求8所述的系统，其特征在于，

所述匹配特征点存在区域为以某视频帧上的一待匹配特征点在相邻的视频帧上的对应坐标为中心，以2T个像素为边长所形成的矩形区域，其中，T的范围为10～30。

10.根据权利要求8所述的系统，其特征在于，所述预置条件为：

相似度最高；或者

相似度最高，且相似度最高值与次高值的比值，大于等于阈值G，其中，阈值G的范围为1.5～3。

Images