CN106060529A - 视频2d转3d的深度图跟踪生成方法及装置 - Google Patents

Abstract

本发明公开一种视频2d转3d的深度图跟踪生成方法及装置，能够利用视频的前后延续性，从而提高生产效率。所述方法包括：S1、获取第一图像的第一深度图，确定出所述第一图像的跟踪点；S2、利用所述第一图像的跟踪点跟踪出其它图像的跟踪点；S3、利用所述跟踪点和第一深度图确定出所述其它图像的深度图。

Description

视频2d转3d的深度图跟踪生成方法及装置

技术领域

本发明涉及2D转3D技术领域，具体涉及一种视频2d转3d的深度图跟踪生成方法及装置。

背景技术

2D转3D软件的深度图可以分为位图和矢量两种形式，在使用中主要应用位图深度图，因为位图深度图精度高，生产成本低，可以使用好的涂抹工具。但是现有技术是手动逐帧对图像进行处理，得到深度图的，这样没有利用视频的前后延续性，导致生产效率不够高。

发明内容

有鉴于此，本发明实施例提供一种视频2d转3d的深度图跟踪生成方法及装置，能够利用视频的前后延续性，从而提高生产效率。

一方面，本发明实施例提出一种视频2d转3d的深度图跟踪生成方法，包括：

S1、获取第一图像的第一深度图，确定出所述第一图像的跟踪点；

S2、利用所述第一图像的跟踪点跟踪出其它图像的跟踪点；

S3、利用所述跟踪点和第一深度图确定出所述其它图像的深度图。

另一方面，本发明实施例提出一种视频2d转3d的深度图跟踪生成装置，包括：

跟踪点确定单元，用于获取第一图像的第一深度图，确定出所述第一图像的跟踪点；

跟踪点跟踪单元，用于利用所述第一图像的跟踪点跟踪出其它图像的跟踪点；

深度图确定单元，用于利用所述跟踪点和第一深度图确定出所述其它图像的深度图。

本发明实施例提供的视频2d转3d的深度图跟踪生成方法及装置，利用视频的前后延续性，根据第一图像的跟踪点跟踪出其它图像的跟踪点，并利用第一图像的跟踪点、第一图像的第一深度图以及其它图像的跟踪点确定出其它图像的深度图，相较于逐帧手动进行处理的现有技术，能够提高生产效率。

附图说明

图1为本发明一种视频2d转3d的深度图跟踪生成方法一实施例的流程示意图；

图2为本发明另一实施例中第一帧图像的深度图；

图3为对图2中深度图对应的第一帧图像进行网格划分的网格划分结果示意图；

图4为图3中所示的网格的跟踪点示意图；

图5为利用图4所示的跟踪点跟踪得到的第三帧图像的跟踪点示意图；

图6为第三帧图像的深度图；

图7为利用图4所示的跟踪点跟踪得到的第二帧图像的跟踪点示意图；

图8为第二帧图像的深度图；

图9为本发明一种视频2d转3d的深度图跟踪生成装置一实施例的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参看图1，本实施例公开一种视频2d转3d的深度图跟踪生成方法，包括：

S1、获取第一图像的第一深度图，确定出所述第一图像的跟踪点；

S2、利用所述第一图像的跟踪点跟踪出其它图像的跟踪点；

S3、利用所述跟踪点和第一深度图确定出所述其它图像的深度图。

本实施例提供的视频2d转3d的深度图跟踪生成方法，利用视频的前后延续性，根据第一图像的跟踪点跟踪出其它图像的跟踪点，并利用第一图像的跟踪点、第一图像的第一深度图以及其它图像的跟踪点确定出其它图像的深度图，相较于逐帧手动进行处理的现有技术，能够提高生产效率。

可选地，在本发明视频2d转3d的深度图跟踪生成方法的另一实施例中，所述确定出所述第一图像的跟踪点，包括：

对所述第一图像进行网格划分，得到多个网格；

对于每一个网格，基于Harris角点检测从该网格中提取一个跟踪点。

本发明实施例中，跟踪点必须包含两个特征：

(1)首先跟踪点在原始二维图像中是易于跟踪的特征点。

(2)其次跟踪点在深度图中离深度边缘不能太近，防止由于遮挡而导致跟踪精度降低甚至跟踪失败。

也就是说特征点由原始二维图像和深度图共同确定。对每一个网格G，将对应的原始二维图像块经滤波器滤波得到的图像定义为二维特征空间，设为I_s(G)；将对应的深度图像经滤波器滤波得到的图像定义为深度特征空间，设为I_d(G)。所述滤波器可以为Harris算子和SURF算子，也可以为其它滤波器，本发明对此不作限定。对网格G中每个坐标为(x,y)的像素p(x,y)，其对应两个特征空间I_s(G)和I_d(G)的特征响应分别表示为R_s(I_s(G),p(x,y))和R_d(I_d(G),p(x,y))，那么联合特征响应函数可以表示如下：

R_joint(G,p(x,y))＝w_s*R_s(I_s(G),p(x,y))+w_d*R_d(I_d(G),p(x,y))，式中，w_s和w_d为给定的常数，w_s和w_d取值可以为0.5。

对于R_s(I_s(G),p(x,y))，可以通过对网格G对应的原始二维图像块进行Harris角点检测，计算像素p(x,y)的角点响应函数得到，此为现有技术，本发明实施例不再赘述。

对于R_d(I_d(G),p(x,y))的计算，可以先对网格G对应的深度图像进行梯度处理，得到梯度函数。然后计算与像素p(x,y))距离最近且梯度不为0的像素与像素p(x,y))之间的距离，并将该距离作为R_d(I_d(G),p(x,y))的值。

在计算出网格G中每个像素的联合特征响应函数后，选出联合特征响应函数最大的像素作为跟踪点。

可选地，在本发明视频2d转3d的深度图跟踪生成方法的另一实施例中，所述对所述第一图像进行网格划分，包括：

S10、将上级网格划分为2×2的网格，并计算每个网格的边缘幅度之和Δg，

计算公式为其中，G表示上级网格，d_x,y为G中坐标为(x,y)的像素点的深度值，第一次进行划分的上级网格为所述第一深度图；

S11、判断边缘幅度之和是否大于一个设定好的值U_thres，若大于所述U_thres，则确定出对应的网格为待划分的网格；

S12、重复执行步骤S10和S11，直到所有的网格的边缘幅度之和都不大于所述U_thres；

S13、将所述第一图像按照所述第一深度图的网格划分方式进行划分。

本发明实施例中，如果某一坐标为(x_s,y_s)的像素点的相邻像素点(包括坐标为(x_s+1,y_s)、(x_s,y_s+1)和(x_s+1,y_s+1)的像素点)中任一像素点不在该像素点所属的网格中，则在计算该像素点所属的网格的Δg时，可以不考虑该像素点。如果某一网格的边缘幅度之和大于U_thres，那么可以认为这个网格包含的灰度边缘信息太多，所以需要被进一步的分为2×2的子网格，而如果这个网格的边缘幅度之和不大于U_thres，那么可以认为这个网格包含的灰度信息很少无需被进一步分。

可选地，在本发明视频2d转3d的深度图跟踪生成方法的另一实施例中，所述S3，包括：

S30、确定出第二图像的第二深度图，其中，所述第二图像的跟踪点的深度值与所述第一图像中对应的跟踪点的深度值相等，所述第二图像中除跟踪点外坐标为(x₂,y₂)的像素点的深度值的计算公式为为所述第一图像中坐标为(x₁,y₁)的像素点的深度值，

$x_1=x_2-\frac{{\mathrm{\Σ}}_{n=1}^k\frac{x_{n2}-x_{n1}}{{(x_2-x_{n2})}^2+{(y_2-y_{n2})}^2}}{{\mathrm{\Σ}}_{n=1}^k\frac{1}{{(x_2-x_{n2})}^2+{(y_2-y_{n2})}^2}},$

$y_1=y_2-\frac{{\mathrm{\Σ}}_{n=1}^k\frac{y_{n2}-y_{n1}}{{(x_2-x_{n2})}^2+{(y_2-y_{n2})}^2}}{{\mathrm{\Σ}}_{n=1}^k\frac{1}{{(x_2-x_{n2})}^2+{(y_2-y_{n2})}^2}},$

(x_i1,y_i1)为所述第一图像中的第i个跟踪点的坐标，i∈(1,2,…,k)，k为所述第一图像中的跟踪点的数量，(x_i2,y_i2)为所述第二图像中对应(x_i1,y_i1)的跟踪点；

S31、根据所述第一深度图和第二深度图确定出其它图像的深度图。

可选地，在本发明视频2d转3d的深度图跟踪生成方法的另一实施例中，所述S31，包括：

根据所述第一深度图和第二深度图确定出第三图像的第三深度图，其中，所述第三图像的像素点M的深度值d_t的计算公式为所述第一图像和第二图像中一图像为所有图像中按照时间顺序排列的第i帧图像，另一图像为所有图像中按照时间顺序排列的第j帧图像，所述第三图像为所有图像中按照时间顺序排列的第t帧图像，d_i为第i帧图像中对应像素点M的像素点的深度值，d_j为第j帧图像中对应像素点M的像素点的深度值；

根据所述第一深度图、第二深度图和第三深度图确定出其它图像的深度图。

本发明实施例中，在确定第三深度图的过程中所述的第i帧图像中对应像素点M的像素点的确定方法与前述实施例步骤S30中根据坐标为(x₂,y₂)的像素点确定坐标为(x₁,y₁)的像素点的过程一致，此处不再赘述。在确定出第三深度图后，可以根据第一深度图、第二深度图和第三深度图确定出第一图像、第二图像和第三图像中任两图像之间的图像的深度图，具体方法与本实施例中确定第三深度图的方法一致，此处不再赘述。

下面以一具体应用实施例对本发明待分割的视频的前三帧图像的深度图的求解过程进行说明。

先取待分割的视频的第一帧图像进行深度运算，得到第一帧图像的深度图，如图2所示。接着通过对第一帧图像的深度图进行网格划分，并对第一帧图像进行同样的网格划分处理，得到第一帧图像的网格划分结果，如图3所示。然后基于Harris角点检测确定出第一帧图像的跟踪点，如图4(图4中包含第一帧图像的跟踪点及跟踪点所属的网格)所示。之后利用第一帧图像的跟踪点跟踪出第三帧图像的跟踪点，如图5所示。接下来，利用第一帧图像的深度图确定出第三帧图像的深度图，如图6所示。利用第一帧图像的跟踪点跟踪出第二帧图像的跟踪点，如图7所示。利用第一帧图像的深度图和第三帧图像的深度图得到第二帧图像的深度图，如图8所示。

参看图9，本实施例公开一种视频2d转3d的深度图跟踪生成装置，包括：

跟踪点确定单元1，用于获取第一图像的第一深度图，确定出所述第一图像的跟踪点；

跟踪点跟踪单元2，用于利用所述第一图像的跟踪点跟踪出其它图像的跟踪点；

深度图确定单元3，用于利用所述跟踪点和第一深度图确定出所述其它图像的深度图。

本实施例提供的视频2d转3d的深度图跟踪生成装置，利用视频的前后延续性，根据第一图像的跟踪点跟踪出其它图像的跟踪点，并利用第一图像的跟踪点、第一图像的第一深度图以及其它图像的跟踪点确定出其它图像的深度图，相较于逐帧手动进行处理的现有技术，能够提高生产效率。

虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (6)

1.一种视频2d转3d的深度图跟踪生成方法，其特征在于，包括：

S1、获取第一图像的第一深度图，确定出所述第一图像的跟踪点；

S2、利用所述第一图像的跟踪点跟踪出其它图像的跟踪点；

S3、利用所述跟踪点和第一深度图确定出所述其它图像的深度图。

2.根据权利要求1所述的方法，其特征在于，所述确定出所述第一图像的跟踪点，包括：

对所述第一图像进行网格划分，得到多个网格；

对于每一个网格，基于Harris角点检测从该网格中提取一个跟踪点。

3.根据权利要求2所述的方法，其特征在于，所述对所述第一图像进行网格划分，包括：

S10、将上级网格划分为2×2的网格，并计算每个网格的边缘幅度之和，

计算公式为其中，G表示上级网格，d_x,y为G中坐标为(x,y)的像素点的深度值，第一次进行划分的上级网格为所述第一深度图；

S11、判断边缘幅度之和是否大于一个设定好的值U_thres，若大于所述U_thres，则确定出对应的网格为待划分的网格；

S12、重复执行步骤S10和S11，直到所有的网格的边缘幅度之和都不大于所述U_thres；

S13、将所述第一图像按照所述第一深度图的网格划分方式进行划分。

4.根据权利要求1所述的方法，其特征在于，所述S3，包括：

S30、确定出第二图像的第二深度图，其中，所述第二图像的跟踪点的深度值与所述第一图像中对应的跟踪点的深度值相等，所述第二图像中除跟踪点外坐标为(x₂,y₂)的像素点的深度值的计算公式为为所述第一图像中坐标为(x₁,y₁)的像素点的深度值，

$x_1=x_2-\frac{{\mathrm{\Σ}}_{n=1}^k\frac{x_{n2}-x_{n1}}{{(x_2-x_{n2})}^2+{(y_2-y_{n2})}^2}}{{\mathrm{\Σ}}_{n=1}^k\frac{1}{{(x_2-x_{n2})}^2+{(y_2-y_{n2})}^2}},$

$y_1=y_2-\frac{{\mathrm{\Σ}}_{n=1}^k\frac{y_{n2}-y_{n1}}{{(x_2-x_{n2})}^2+{(y_2-y_{n2})}^2}}{{\mathrm{\Σ}}_{n=1}^k\frac{1}{{(x_2-x_{n2})}^2+{(y_2-y_{n2})}^2}},$

(x_i1,y_i1)为所述第一图像中的第i个跟踪点的坐标，i∈(1,2,…,k)，k为所述第一图像中的跟踪点的数量，(x_i2,y_i2)为所述第二图像中对应(x_i1,y_i1)的跟踪点；

S31、根据所述第一深度图和第二深度图确定出其它图像的深度图。

5.根据权利要求4所述的方法，其特征在于，所述S31，包括：

根据所述第一深度图和第二深度图确定出第三图像的第三深度图，其中，所述第三图像的像素点M的深度值d_t的计算公式为所述第一图像和第二图像中一图像为所有图像中按照时间顺序排列的第i帧图像，另一图像为所有图像中按照时间顺序排列的第j帧图像，所述第三图像为所有图像中按照时间顺序排列的第t帧图像，d_i为第i帧图像中对应像素点M的像素点的深度值，d_j为第j帧图像中对应像素点M的像素点的深度值；

根据所述第一深度图、第二深度图和第三深度图确定出其它图像的深度图。

6.一种视频2d转3d的深度图跟踪生成装置，其特征在于，包括：

跟踪点确定单元，用于获取第一图像的第一深度图，确定出所述第一图像的跟踪点；

跟踪点跟踪单元，用于利用所述第一图像的跟踪点跟踪出其它图像的跟踪点；

深度图确定单元，用于利用所述跟踪点和第一深度图确定出所述其它图像的深度图。