CN102857778B - 3d视频转换系统和方法及其选择关键帧的方法和装置 - Google Patents

Abstract

本发明公开了一种3D视频转换方法及其关键帧的确定方法和装置。所述方法包括：在确定第i个关键帧后，计算2D视频中第i个关键帧后的视频帧的特征匹配比率；选取特征匹配比率在T₁和T₂范围内的视频帧作为候选关键帧；根据各候选关键帧的重投影误差从所述候选关键帧中选择一个视频帧作为第i+1个关键帧。由于根据视频帧与在前关键帧的特征匹配比率进行候选关键帧的选取，并根据候选关键帧的重投影误差选取在后关键帧，使得关键帧的选取更为合理，而依据该更为合理的关键帧进行2D到3D视频的转换可以提高转换的3D视频的质量。

Description

3D视频转换系统和方法及其选择关键帧的方法和装置

技术领域

本发明涉及视频技术，尤其涉及3D视频转换系统和方法及其选择关键帧的方法和装置。

背景技术

随着人们的审美要求越来越高，3D(Three Dimensions，三维)视频因其能带给人们“身临其境”的感觉，逐渐成为大众的新宠。直接拍摄3D视频的成本极其昂贵，不利于3D视频的普及和发展。目前，已经拍摄完成的2D(twoDimensions，二维)视频数不胜数，而且很多是具有重要意义的不可重现的片段，因此将2D视频转换为3D视频具有积极的实际意义，从而成为研究的重点。

一般而言，2D转3D技术可分为全自动转换和半自动转换以及手动转换三种方式。全自动转换技术因为缺少人工的参与，得到的立体视频质量较差。半自动转换技术能够较好地平衡人工参与和立体效果，通常包含以下几个步骤：

S101：从2D视频中选取关键帧。

S102：对每个关键帧进行深度分配。

S103：进行深度传播。

S104：利用传播得到的深度图合成3D视频。

本发明的发明人发现，由于现有技术的2D到3D视频转换过程中，是以固定间隔选取关键帧，选择出来的关键帧通常不具有代表性。而非关键帧的深度是由关键帧的深度经过传播得到的，关键帧的选择必然会影响到非关键帧的深度，进而影响转换的3D视频的质量；导致采用现有技术的方法所得到的3D视频质量不高，在立体感、逼真度等方面仍然有较大的提升空间。

发明内容

本发明的实施例提供了一种3D视频转换系统和方法及其选择关键帧的方法和装置，用以提高转换的3D视频的质量。

根据本发明的一个方面，提供了一种3D视频转换中选择关键帧的方法，包括：

在确定出第1个关键帧后，根据第i个关键帧，确定出第i+1个关键帧：

计算2D视频中第i个关键帧后的视频帧的特征匹配比率；其中，i为自然数，第i个关键帧后的第j个视频帧的特征匹配比率依据如下公式1得到：

$R_c^j=\frac{R_j}{R}$              (公式1)

其中，j为自然数，R_j为第i个关键帧后的第j个视频帧的特征点个数，R为第i个关键帧的特征点个数；

从特征匹配比率在T₁和T₂范围内的候选关键帧中选择一个视频帧作为关键帧。

其中，所述从特征匹配比率在T₁和T₂范围内的候选关键帧中选择一个视频帧作为关键帧具体包括：

选取特征匹配比率在T₁和T₂范围内的视频帧作为候选关键帧；其中，T₁和T₂为预先设定的阈值，且T₁<T₂；

根据各候选关键帧的重投影误差从所述候选关键帧中选择一个视频帧作为第i+1个关键帧。

所述候选关键帧的重投影误差R.E具体根据如下公式2计算得到：

$R.E=\frac{\underset{n}{\mathrm{\&Sigma;}}{\left[d(P_k{X}_k^n,x_k^n)\right]}^2}{\mathrm{Num}}$              (公式2)

所述公式2中，所述候选关键帧为所述2D视频中的第k个视频帧；为第k个视频帧中第n个特征点的平面坐标；为第k个视频帧中第n个特征点的立体空间坐标；P_k为根据第k个视频帧中所有的特征点计算出的投影矩阵；k为自然数，Num是第k个视频帧中特征点的个数，n为小于等于Num的自然数，d(·)表示为对其括号内的元素求差值；

所述公式2中，根据如下公式3计算得到：

$X_k^n={\left(P_k^n\right)}^{-1}{x}_k^n$              (公式3)

所述公式3中，为投影矩阵的逆矩阵，根据如下公式4计算得到：

$P_k^n=\mathrm{Tsai}\left(x_k^n\right)$              (公式4)

所述公式4中的Tsai(·)表示对括号内的平面坐标估计投影矩阵的算法；

所述公式2中，P_k根据如下公式5计算得到：

$P_k=\mathrm{Tsai}(x_k^1,x_k^2,x_k^3,...,x_k^{\mathrm{Num}-1},x_k^{\mathrm{Num}})$              (公式5)

所述公式5中的Tsai(·)表示对括号内的平面坐标估计投影矩阵的算法；以及

所述根据各候选关键帧的重投影误差从所述候选关键帧中选择一个视频帧作为第i+1个关键帧，具体为：

选择重投影误差最小的候选关键帧作为第i+1个关键帧。

较佳地，所述T₁具体是根据如下公式9设置的：

$T_1=\stackrel{\&OverBar;}{R_c}\&times;(a\&times;\stackrel{\&OverBar;}{O_{\mathrm{ak}}}+b)$              (公式9)

所述公式9中，a和b为设定参数；以及

所述T₂具体是根据如下公式10设置的：

$T_2=\stackrel{\&OverBar;}{R_c}\&times;(c\&times;\stackrel{\&OverBar;}{O_{\mathrm{ak}}}-d)$              (公式10)

所述公式10中，c和d为设定参数；

所述公式9和10中，为所述2D视频中第1个视频帧之后的视频帧的特征匹配比率的均值 为所述2D视频中各视频帧的累积遮挡区域的变化率的均值。

所述具体是根据如下公式7计算得到的：

$\stackrel{\&OverBar;}{R_c}=\frac{\underset{g}{\mathrm{\&Sigma;}}{R}_c^g}{N-1}$              (公式7)

所述公式7中，N为所述2D视频的视频帧总数；为所述2D视频中第g个视频帧的特征匹配比率，具体根据如下公式6计算得到：

$R_c^g=\frac{R_g}{R_1}$              (公式6)

所述公式6中，R_g为所述2D视频中第g个视频帧的特征点个数；R₁为所述2D视频中第1个视频帧的特征点个数；其中，g为[2，N]内的自然数。

其中，对于所述2D视频中的一视频帧，其累积遮挡区域根据如下方法得到：

所述2D视频中第g个视频帧的累积遮挡区域O_a(g)根据如下公式8计算得到：

$O_a\left(g\right)=\underset{i=1}{\overset{g}{\mathrm{\&Sigma;}}}{O}_c\left(i\right)$              (公式8)

其中，O_c(g)为2D视频中第g个视频帧与第g-1个视频帧之间的遮挡区域，g为[2，N]内的自然数。

较佳地，所述计算2D视频中第i个关键帧后的视频帧的特征匹配比率具体包括：

从第i个关键帧后的第1个视频帧开始，以视频帧的先后顺序依次计算各视频帧的特征匹配比率，并将计算出的特征匹配比率与T₁比较；

在比较出特征匹配比率小于T₁后，不再继续计算第i个关键帧后的视频帧的特征匹配比率。

确定第1个关键帧具体为：以第1个视频帧作为第1个关键帧。

较佳地，在根据第i个关键帧，确定出第i+1个关键帧之前，还包括：

在所述2D视频中选择M-2个视频帧作为参考帧，其中M为预先确定的关键帧的数目；确定第1个关键帧为所述2D视频中的第1个视频帧；

对于第t段视频：

计算第t段视频的和其中，第t段视频指的是从第t个关键帧到第t个参考帧之间的视频段，t为自然数；

将所述第t个关键帧作为所述第i个关键帧，将所述第t段视频的和分别作为所述T₁和T₂；以及

在根据第i个关键帧，确定出第i+1个关键帧之后，还包括：将所述第i+1个关键帧作为第t+1个关键帧。

其中，根据第t段视频中的各视频帧，计算第t段视频的和具体包括：

根据如下公式11确定

$T_1^t=\stackrel{\&OverBar;}{R_c^t}\&times;(a\&times;\stackrel{\&OverBar;}{O_{\mathrm{ak}}^t}+b)$              (公式11)

所述公式11中，a和b为设定参数；

根据如下公式12确定

$T_2^t=\stackrel{\&OverBar;}{R_c^t}\&times;(c\&times;\stackrel{\&OverBar;}{O_{\mathrm{ak}}^t}-d)$              (公式12)

所述公式12中c和d为设定参数；

所述公式11、12中，为第t段视频中第1个视频帧之后的视频帧的特征匹配比率的均值；为第t段视频中各视频帧的累积遮挡区域的变化率的均值。

根据本发明的另一个方面，还提供了一种3D视频转换方法，包括：

根据上述的选择关键帧的方法，从所述2D视频中选取关键帧；

对选取的各关键帧进行深度分配；

根据关键帧的深度图得到非关键帧的深度图；

根据关键帧的深度图以及非关键帧的深度图合成所述3D视频。

根据本发明的另一个方面，还提供了一种3D视频转换系统中选择关键帧的装置，包括：

特征匹配比率计算单元，用于根据第i个关键帧，计算2D视频中第i个关键帧后的视频帧的特征匹配比率；

候选关键帧选取单元，用于选取特征匹配比率在T₁和T₂范围内的视频帧作为候选关键帧，其中，T₁和T₂为预先设定的阈值，且T₁<T₂；

关键帧选取单元，用于根据从所述候选关键帧选取单元选取的各候选关键帧的重投影误差从所述候选关键帧中选择一个视频帧作为第i+1个关键帧；

其中，i为自然数，第i个关键帧后的第j个视频帧的特征匹配比率依据如下公式1得到：

$R_c^j=\frac{R_j}{R}$              (公式1)

其中，j为自然数，R_j为第i个关键帧后的第j个视频帧的特征点个数，R为第i个关键帧的特征点个数。

较佳地，所述关键帧选取单元具体用于选择重投影误差最小的候选关键帧作为第i+1个关键帧；以及，所述关键帧选取单元具体包括：

重投影误差计算子单元，用于计算各候选关键帧的重投影误差；

关键帧确定子单元，用于根据所述重投影误差计算子单元的计算结果，从中选取选择重投影误差最小的候选关键帧作为第i+1个关键帧；

其中，所述候选关键帧的重投影误差R.E具体根据如下公式2计算得到：

$R.E=\frac{\underset{n}{\mathrm{\&Sigma;}}{\left[d(P_k{X}_k^n,x_k^n)\right]}^2}{\mathrm{Num}}$              (公式2)

所述公式2中，所述候选关键帧为所述2D视频中的第k个视频帧；为第k个视频帧中第n个特征点的平面坐标；为第k个视频帧中第n个特征点的立体空间坐标；P_k为根据第k个视频帧中所有的特征点计算出的投影矩阵；k为自然数，Num是第k个视频帧中特征点的个数，n为小于等于Num的自然数；其中，d(·)表示为对其括号内的元素求差值。

所述公式2中，根据如下公式3计算得到：

$X_k^n={\left(P_k^n\right)}^{-1}{x}_k^n$              (公式3)

所述公式3中，为投影矩阵的逆矩阵，根据如下公式4计算得到：

$P_k^n=\mathrm{Tsai}\left(x_k^n\right)$              (公式4)

所述公式4中的Tsai(·)表示对括号内的平面坐标估计投影矩阵的算法；

所述公式2中，P_k根据如下公式5计算得到：

$P_k=\mathrm{Tsai}(x_k^1,x_k^2,x_k^3,...,x_k^{\mathrm{Num}-1},x_k^{\mathrm{Num}})$              (公式5)

所述公式5中的Tsai(·)表示对括号内的平面坐标估计投影矩阵的算法。

进一步，所述装置还包括：

阈值确定单元，用于确定所述T₁和T₂；

其中，所述T₁具体是根据如下公式9确定的：

$T_1=\stackrel{\&OverBar;}{R_c}\&times;(a\&times;\stackrel{\&OverBar;}{O_{\mathrm{ak}}}+b)$              (公式9)

所述公式9中，a和b为设定参数；以及

所述T₂具体是根据如下公式10确定的：

$T_2=\stackrel{\&OverBar;}{R_c}\&times;(c\&times;\stackrel{\&OverBar;}{O_{\mathrm{ak}}}-d)$              (公式10)

所述公式10中，c和d为设定参数；

所述公式9和10中，为所述2D视频中第1个视频帧之后的视频帧的特征匹配比率的均值 为所述2D视频中各视频帧的累积遮挡区域的变化率；

其中，具体是根据如下公式7计算得到的：

$\stackrel{\&OverBar;}{R_c}=\frac{\underset{g}{\mathrm{\&Sigma;}}{R}_c^g}{N-1}$              (公式7)

所述公式7中，N为所述2D视频的视频帧总数；为所述2D视频中第g个视频帧的特征匹配比率，具体根据如下公式6计算得到：

$R_c^g=\frac{R_g}{R_1}$              (公式6)

所述公式6中，R_g为所述2D视频中第g个视频帧的特征点个数；R₁为所述2D视频中第1个视频帧的特征点个数；其中，g为[2，N]内的自然数；

对于所述2D视频中的一视频帧，其累积遮挡区域根据如下方法得到：

所述2D视频中第g个视频帧的累积遮挡区域O_a(g)根据如下公式8计算得到：

$O_a\left(g\right)=\underset{i=1}{\overset{g}{\mathrm{\&Sigma;}}}{O}_c\left(i\right)$              (公式8)

其中，O_c(g)为2D视频中第g个视频帧与第g-1个视频帧之间的遮挡区域。

较佳地，所述特征匹配比率计算单元还用于以所述2D视频中的第1个视频帧作为第1个关键帧；以及

所述关键帧选取单元还用于在选择出第i+1个关键帧后，更新i＝i+1，并将更新后的i值发送给所述特征匹配比率计算单元；

所述特征匹配比率计算单元在接收到所述关键帧选取单元发送的更新后的i值，继续根据第i个关键帧，计算2D视频中第i个关键帧后的视频帧的特征匹配比率。

进一步，所述装置还包括：

参考帧设置单元，用于在所述2D视频中选择M-2个视频帧作为参考帧，其中M为预先确定的关键帧的数目；确定所述2D视频中的第1个关键帧为所述2D视频中的第1个视频帧；

视频段确定单元，用于将第t个关键帧到第t个参考帧之间的视频段作为第t段视频；其中，t为自然数；

视频段阈值确定单元，用于对于根据第t段视频中的各视频帧，计算第t段视频的和，并将和分别作为所述T₁和T₂、将第t个关键帧作为第i个关键帧发送给所述特征匹配比率计算单元；

控制单元，用于在获取所述关键帧选取单元选择的第i+1个关键帧后，将第i+1个关键帧作为第t+1个关键帧；并在判断出t小于M-1后，更新t＝t+1，并将第t+1个关键帧和更新后的t发送给所述视频段确定单元。

根据本发明的另一个方面，还提供了一种3D视频转换系统，包括：

根据上述的选择关键帧的装置，用于选择从所述2D视频中选取关键帧；

深度分配装置，用于对选取的各关键帧进行深度分配，得到各关键帧的深度图；

深度传播装置，用于根据关键帧的深度图得到非关键帧的深度图；

视频合成装置，用于根据关键帧的深度图以及非关键帧的深度图合成所述3D视频。

本发明实施例由于根据视频帧与在前关键帧的特征匹配比率进行候选关键帧的选取，并根据候选关键帧的重投影误差选取在后关键帧，使得关键帧的选取更为合理，而依据该更为合理的关键帧进行2D到3D视频的转换可以提高转换的3D视频的质量。

进一步，本发明实施例中还提供了对特征匹配比率阈值T₁和T₂进行调节的方案，使得可以根据3D视频质量的要求来确定T₁和T₂，进而确定关键帧。从而提供了更为灵活的3D视频转换方法，技术人员可以灵活地根据3D视频质量的要求对T₁和T₂进行调节。

进一步，本发明实施例中还提供了可以根据预先确定的关键帧数目，确定关键帧的技术方案。为技术人员进行3D视频转换提供了更大的灵活性，技术人员可以在转换3D视频之前，就预先根据工作量来限定关键帧数目，根据该关键帧的选取方法可以保证最终选取的关键帧的数目符合预先确定的关键帧数目，也就保证了技术人员的工作量。

附图说明

图1为现有技术的3D视频转换方法流程图；

图2为本发明实施例的3D视频转换方法流程图；

图3为本发明实施例的根据第i个关键帧确定第i+1个关键帧的方法流程图；

图4为本发明实施例的从2D视频中选取关键帧的具体方法流程；

图5为本发明实施例的设置T₁和T₂的方法流程图；

图6为本发明实施例的根据确定的关键帧的数目来确定关键帧的方法流程图；

图7为本发明实施例的2D视频到3D视频转换的方法流程图；

图8a、8b为本发明实施例的选择关键帧的装置的结构框图；

图9为本发明实施例的2D到3D视频转换系统的内部结构框图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举出优选实施例，对本发明进一步详细说明。然而，需要说明的是，说明书中列出的许多细节仅仅是为了使读者对本发明的一个或多个方面有一个透彻的理解，即便没有这些特定的细节也可以实现本发明的这些方面。

本申请使用的“模块”、“系统”等术语旨在包括与计算机相关的实体，例如但不限于硬件、固件、软硬件组合、软件或者执行中的软件。例如，模块可以是，但并不仅限于：处理器上运行的进程、处理器、对象、可执行程序、执行的线程、程序和/或计算机。举例来说，计算设备上运行的应用程序和此计算设备都可以是模块。一个或多个模块可以位于执行中的一个进程和/或线程内，一个模块也可以位于一台计算机上和/或分布于两台或更多台计算机之间。

本发明实施例的技术方案中，本发明的发明人考虑到在2D视频帧中找出使得总体的深度传播误差较小的帧作为关键帧，依据该关键帧进行深度传播，得到的3D视频就会较高。因此，本发明实施例的技术方案中不采用固定间隔选取关键帧的方法，而是根据视频帧与在前关键帧的特征匹配比率，从中选择一个特征匹配比率合适、以及重投影误差小的视频帧作为在后关键帧，使得选择出来的关键帧与非关键帧之间的差异较小，从而将关键帧深度传播到非关键帧时误差小，从而提高转换后的3D视频质量。

在本发明实施例中，关键帧是根据前一个关键帧而确定的；即第i+1个关键帧，是依据第i个关键帧确定的。具体地，在确定了第一个关键帧后，第2个关键帧根据第1个关键帧确定，第3个关键帧根据第2个关键帧确定，第4个关键帧根据第3个关键帧确定……依次类推，从而确定出所有的关键帧。

本发明实施例的2D到3D视频转换过程中，选择关键帧的方法流程，如图2所示，包括如下步骤：

S201：确定第1个关键帧；i＝1。

第1个关键帧的选取，可以是从2D视频中选择出的一个视频帧；例如，可以是将2D视频中的第1个视频帧作为第1个关键帧，或者其它视频帧作为第1个关键帧。

S202：根据第i个关键帧确定第i+1个关键帧。

S203：是否到达2D视频结尾；若是，执行步骤S205，结束关键帧的确定过程；否则，执行步骤S204。

S204：i＝i+1，跳转到步骤S202。

S205：结束关键帧的确定过程。

显然，在上述S202-S204的循环过程中，i的取值可以是1到N-1之间的整数；即i为[1,N-1]的自然数。

上述步骤S202中，根据第i个关键帧确定第i+1个关键帧的一种简易方法可以是：计算第i个关键帧之后的视频帧，与第i个关键帧之间的特征匹配比率；选择最接近T₁的特征匹配比率所对应的视频帧作为第i+1个关键帧。其中，T₁为预先设置的。

更优地，在确定第i+1个关键帧的过程中，可以选出多个候选关键帧；然后从多个候选关键帧中选择一个更为合适的视频帧作为第i+1个关键帧；上述步骤S202中，根据第i个关键帧确定第i+1个关键帧的具体流程，如图3所示，包括如下步骤：

S301：计算第i个关键帧后的视频帧的特征匹配比率。

具体地，对于需要转换的2D视频中，第i个关键帧后的第j个视频帧的特征匹配比率，依据如下公式1得到：

$R_c^j=\frac{R_j}{R}$              (公式1)

上述公式1中，j为自然数；若2D视频的视频帧总数为确定的N值，且第i个关键帧具体为2D视频中的第m个视频帧，则j小于等于N-m；R_j为第i个关键帧后的第j个视频帧的特征点个数；R为第i个关键帧的特征点个数。

S302：选取特征匹配比率在T₁和T₂范围内的视频帧作为候选关键帧。

其中，T₁和T₂为预先设置的阈值；一般而言，计算出的特征匹配比率的取值范围在0～1之间；若特征匹配比率接近1，说明两个视频帧之间非常相似；若特征匹配比率接近0，说明两个视频帧之间几乎完全不同。因此，通常而言，随着j值的增大，则会越来越小，也就表明离第i个关键帧越远的视频帧，其与第i个关键帧之间的不同点越来越多，两者差异越来越大。T₁、T₂通常为设置在0～1之间的数值；且T₁<T₂。例如，可以设置T₁为0.6，T₂为0.9。

具体地，在计算出第i个关键帧后的第j个视频帧的特征匹配比率后，将与T₁和T₂进行比较；若即在T₁和T₂范围内，则将第i个关键帧后的第j个视频帧选取为候选关键帧。

事实上，在从第i个关键帧后的第1个视频帧开始，以视频帧的先后顺序依次计算各视频帧的特征匹配比率，计算得到的特征匹配比率是逐渐递减的；因此，在每计算出一个视频帧的特征匹配比率后，将该特征匹配比率与T₁进行比较；若比较出特征匹配比率小于T₁，则说明在该视频帧之后的视频帧的特征匹配比率都会比T₁小；也就是说，在该视频帧之后的视频帧的特征匹配比率都不会在T₁和T₂范围内，不会被选为候选关键帧。那么，在比较出特征匹配比率小于T₁后，不用再继续计算第i个关键帧后的视频帧的特征匹配比率。

在选取出特征匹配比率在T₁和T₂范围内的候选关键帧后，可以在这些候选关键帧中选择一个视频帧作为关键帧，具体方法如下。

S303：计算各候选关键帧的重投影误差。

候选关键帧的重投影误差可以根据如下公式2得到：

$R.E=\frac{\underset{n}{\mathrm{\&Sigma;}}{\left[d(P_k{X}_k^n,x_k^n)\right]}^2}{\mathrm{Num}}$              (公式2)

公式2中，R.E为候选关键帧的重投影误差，该候选关键帧为2D视频中的第k个视频帧；表示为第k个视频帧中第n个特征点的平面坐标；为第k个视频帧中第n个特征点的立体空间坐标；P_k为根据第k个视频帧中所有的特征点计算出的投影矩阵；k为自然数，Num是第k个视频帧中特征点的个数，n为小于等于Num的自然数。d(·)表示为对其括号内的元素求差值。

由于，选取关键帧的步骤是在得到转换的3D视频之前执行的，因此，上述公式2中的是未知的；也就是说，上述的公式2通常应用在已经得到3D视频的模型重建场合中计算视频帧的重投影误差。而在本发明实施例的技术方案中，由于还未转换得到3D视频，因此，也就无法直接获知视频帧中特征点的立体空间坐标。

由此，在本发明实施例的技术方案中，通过计算的方法得到具体地，根据如下公式3得到

$X_k^n={\left(P_k^n\right)}^{-1}{x}_k^n$              (公式3)

其中，为投影矩阵的逆矩阵，根据如下公式4计算得到：

$P_k^n=\mathrm{Tsai}\left(x_k^n\right)$              (公式4)

公式4中的Tsai(·)表示对括号内的平面坐标估计投影矩阵的算法；

上述公式1中的P_k可以根据如下公式5计算得到：

$P_k=\mathrm{Tsai}(x_k^1,x_k^2,x_k^3,...,x_k^{\mathrm{Num}-1},x_k^{\mathrm{Num}})$              (公式5)

公式5中，Tsai(·)表示对括号内的平面坐标估计投影矩阵的算法。

S304：根据各候选关键帧的重投影误差从所述候选关键帧中选择一个视频帧作为第i+1个关键帧。

一般而言，重投影误差越小的视频帧其越具代表性，因此，较佳地可以选择重投影误差最小的候选关键帧作为第i+1个关键帧。当然，也可以考虑一些其它因素从中选择合适的视频帧作为关键帧。

依据上述的原理，在实际应用时，从2D视频中选取关键帧的具体方法流程可以如图4所示，包括如下步骤：

S401：确定第1个关键帧；i＝1；j＝1；r＝1。

第1个关键帧的选取，可以是从2D视频中人工选择出的一个视频帧；也可以是自动地将2D视频中的第1个视频帧作为第1个关键帧。

S402：计算2D视频中第i个关键帧后的第j个视频帧的特征匹配比率。

S403：判断是否在T₁和T₂范围内；若是，执行步骤S404；否则，执行步骤S405。

S404：选取第i个关键帧后的第j个视频帧作为第r个候选关键帧，并计算第r个候选关键帧的重投影误差；j＝j+1，r＝r+1；跳转到步骤S402。

S405：判断是否小于T₁；若是，执行步骤S406；否则，执行j＝j+1后，跳转到步骤S402。

S406：将第1个候选关键帧到第r个候选关键帧作为一组候选关键帧，从该组候选关键帧中选择重投影误差最小的作为第i+1个关键帧。

S407：判断第i个关键帧后的第j个视频帧是否为2D视频中的最后一个视频帧；若是，执行步骤S408，结束；否则，执行j＝1，r＝1，i＝i+1后，跳转到步骤S402。

S408：结束关键帧的选取。

事实上，上述的T₁和T₂的设置可以影响到关键帧的选取，也就可以影响到转换后的3D视频的质量，以及转换3D视频过程中的工作量。换言之，可以根据需要转换的3D视频的质量来设置T₁和T₂。

图5示出了一种依据3D视频质量来设置T₁和T₂的方法流程，该方法可以适用于离线2D视频到3D视频转换的场合；也就是说，由于离线2D视频的每个视频帧都是已知的，则可应用如下方法设置T₁和T₂，具体包括如下步骤：

S501：对于一段2D视频，计算该2D视频中第1个视频帧之后的每个视频帧的特征匹配比率。

具体地，2D视频中第g个视频帧的特征匹配比率根据如下公式6确定：

$R_c^g=\frac{R_g}{R_1}$              (公式6)

公式6中，R_g为2D视频中第g个视频帧的特征点个数；R₁为2D视频中第1个视频帧的特征点个数。

S502：计算2D视频中第1个视频帧之后的视频帧的特征匹配比率的均值。

具体地，第1个视频帧之后的视频帧的特征匹配比率的均值根据如下公式7确定：

$\stackrel{\&OverBar;}{R_c}=\frac{\underset{g}{\mathrm{\&Sigma;}}{R}_c^g}{N-1}$              (公式7)

公式7中，g为[2，N]内的自然数，N为2D视频的视频帧总数。

S503：计算2D视频中各视频帧与其相邻的视频帧之间的遮挡区域。

例如，2D视频中第g个视频帧与第g-1个视频帧之间的遮挡区域为O_c(g)。

S504：计算2D视频中各视频帧的累积遮挡区域。

例如，2D视频中第g个视频帧的累积遮挡区域为O_a(g)。O_a(g)可以根据如下公式8计算：

$O_a\left(g\right)=\underset{i=1}{\overset{g}{\mathrm{\&Sigma;}}}{O}_c\left(i\right)$              (公式8)

S505：计算2D视频中各视频帧的累积遮挡区域的变化率(或斜率)。

根据第1个到第N个视频帧的的累积遮挡区域，可以绘制出累积遮挡区域曲线，第g个视频帧处的累积遮挡区域的斜率即为第g个视频帧累积遮挡区域的变化率。

S506：计算2D视频中各视频帧的累积遮挡区域的变化率的均值

具体地，对各视频帧的累积遮挡区域的变化率求均值，得到

S507：根据上述计算出的和确定T₁和T₂。

具体地，可以根据如下公式9确定T₁：

$T_1=\stackrel{\&OverBar;}{R_c}\&times;(a\&times;\stackrel{\&OverBar;}{O_{\mathrm{ak}}}+b)$              (公式9)

公式9中a和b为设定参数，本领域技术人员可以根据经验设置a、b参数。

根据如下公式10确定T₂：

$T_2=\stackrel{\&OverBar;}{R_c}\&times;(c\&times;\stackrel{\&OverBar;}{O_{\mathrm{ak}}}-d)$              (公式10)

公式10中c和d为设定参数，本领域技术人员可以根据经验设置c、d参数。

例如，可以在公式9中设置a＝0.5，b＝0.3；在公式10中设置c＝0.5，d＝0.2。

显然，上述计算和的顺序可以不是严格的先后顺序。依据特征匹配比率均值和累积遮挡区域的变化率均值来设置T₁和T₂，进而根据T₁和T₂来选择关键帧，从而选择的关键帧综合考虑了特征匹配比率和累积遮挡区域的变化率：特征匹配比率合适的视频帧作为关键帧，可以使得关键帧与非关键帧之间的差异较小，从而将关键帧深度传播到非关键帧时误差小；而且，还可考虑在累积遮挡区域变化率较大的地方选择关键帧，使得视频帧图像变化大的地方可以选择更多的关键帧，使得总体上的深度传播误差进一步降低。

对于离线2D视频的转换过程中，还可以预先确定关键帧的数目；根据确定的关键帧的数目来确定关键帧。这样，就可以预先控制转换的3D视频的质量，以及转换3D视频过程中的工作量。一般而言，关键帧的数目越多，3D视频质量越好，3D视频过程中的工作量也就越大。具体方法流程如图6所示，包括如下步骤：

S601：从待转换的2D视频中选择M-2个视频帧作为参考帧；其中M为预先确定的关键帧的数目，设置t＝1。

较佳地，M-2个参考帧为均匀分布在待转换2D视频中的视频帧。例如，选取第视频帧作为第j个参考帧；其中，N为待转换2D视频中的视频帧总数，j为小于等于M-2的自然数。

之后，以待转换的2D视频中的第1个视频帧，或者选择的其它视频帧作为第1个关键帧。

S602：根据第t段视频中的各视频帧，确定第t段视频的和值。

第t段视频指的是从第t个关键帧到第t个参考帧之间的视频段；该视频段中可以含第t个参考帧。

若t＝1，则第t个关键帧即第1个关键帧可以是待转换2D视频中的第1个视频帧，或者选择的其它视频帧。

根据第t段视频中的视频帧，确定和值的方法与上述的步骤S501-S507相类似。具体地，根据如下公式11确定

$T_1^t=\stackrel{\&OverBar;}{R_c^t}\&times;(a\&times;\stackrel{\&OverBar;}{O_{\mathrm{ak}}^t}+b)$              (公式11)

公式11中a和b为设定参数，本领域技术人员可以根据经验设置a、b参数。

根据如下公式12确定

$T_2^t=\stackrel{\&OverBar;}{R_c^t}\&times;(c\&times;\stackrel{\&OverBar;}{O_{\mathrm{ak}}^t}-d)$              (公式12)

公式12中c和d为设定参数，本领域技术人员可以根据经验设置c、d参数。

上述公式11、12中，为第t段视频中第1个视频帧之后的视频帧的特征匹配比率的均值；为第t段视频中各视频帧的累积遮挡区域的变化率的均值。

S603：根据确定的第t段视频的和在第t段视频中选取第t+1关键帧。

根据第t段视频的和值，在第t段视频中选取第t+1关键帧的方法可以与上述步骤S301-S304中的方法相同。具体地，第t段视频的第1个视频帧即为第t个关键帧，相当于上述步骤S301-S304中的第i个关键帧；第t段视频的和，相当于上述步骤S301-S304中的T₁和T₂；根据上述步骤S301-S304的方法选取出的第i+1个关键帧，即相当于第t段视频中选取的第t+1个关键帧。即将所述第t个关键帧作为所述第i个关键帧，将所述第t段视频的和分别作为所述T₁和T₂后，执行上述步骤S301-S304；在确定出第i+1个关键帧之后，将所述第i+1个关键帧作为第t+1个关键帧。

S604：判断t是否等于M-1；若是，执行步骤S605结束；否则，即表明t小于M-1，执行t＝t+1后，跳转到步骤S602，继续选取第t+1个关键帧。

S605：选取出M个关键帧，结束关键帧选取流程。

此时从待转换2D视频中选取出了M个关键帧，结束关键帧选取流程。也就是说，在判断t小于M-1后，循环执行如下操作，直到判断出t等于M-1：t＝t+1；根据第t段视频中的各视频帧，计算第t段视频的和根据第t段视频中的各视频帧选取第t+1个关键帧。

而对于在线2D视频转换3D视频的情况，由于不能获知2D视频中所有的视频帧；因此，也就不能采取如上述步骤S501-S502的方法计算也不能采取如上述步骤S503-S506的方法计算因此，对于在线2D视频的情况，可以根据预先要求的3D视频的质量而确定出和通常而言，和也反映出3D视频的质量；换言之，对于在线2D视频转换3D视频的情况，和是预先确定的。因此，可以根据预先确定的和计算T₁和T₂值，而计算方法与上述步骤S507相同，此处不再赘述。

在确定T₁和T₂值后，对于在线2D视频的转换，可以一边拍摄视频帧，一边进行关键帧的选取，选取的方法可以与上述步骤S201-S204的方法相同；由于是在拍摄过程中进行关键帧的选取，因此，在拍摄结束之前，步骤S203中判断是否到达2D视频结尾的结果，应该是“否”；也就是说，在拍摄结束之前，始终是循环执行步骤S201-S204。直到拍摄结束，并且步骤S203中检测到已经到达2D视频结尾，再执行步骤S205，结束关键帧的选取过程。

结合上述的关键帧选取方法，本发明实施例提供的2D视频到3D视频转换的方法流程，如图7所示，包括如下步骤：

S701：选取关键帧。

具体地，可以按照上述步骤S201-S205的方法，从所述2D视频中选取关键帧，也可以按照上述步骤S601-S605的方法从所述待转换2D视频中选取关键帧。由于相关的关键帧选择方法已在前面详细介绍，此处不再重复叙述。

S702：对选取的各关键帧进行深度分配。

具体地，可以利用深度分配工具对关键帧进行深度分配。分配的过程为：现在关键帧图像上进行涂鸦，将图像分割为不同的部分，并相应地分配不同的深度，从而得到的关键帧的深度图。由于深度分配技术为本领域技术人员所熟知的技术，此处不再赘述。

S703：根据关键帧的深度图得到非关键帧的深度图。

具体地，利用深度传播算法根据关键帧的深度图得到非关键帧的深度图。该技术为本领域技术人员所熟知的技术，此处不再赘述。

S704：根据关键帧的深度图以及非关键帧的深度图得到合成视频，即得到合成的3D视频。

由于合成3D视频的方法为本领域技术人员所熟知的技术，此处不再赘述。

本发明实施例提供的一种3D视频转换系统中的选择关键帧的装置，其结构框图如图8a所示，包括：特征匹配比率计算单元801、候选关键帧选取单元802、关键帧选取单元803。

特征匹配比率计算单元801用于根据第i个关键帧，计算2D视频中第i个关键帧后的视频帧的特征匹配比率；其中，i为自然数，第i个关键帧后的第j个视频帧的特征匹配比率，依据上述公式1得到。对于i＝1的情况，特征匹配比率计算单元801以所述2D视频中的第1个视频帧作为第1个关键帧。

候选关键帧选取单元802用于根据特征匹配比率计算单元801计算出的特征匹配比率，从中选取特征匹配比率在T₁和T₂范围内的视频帧作为候选关键帧，其中，T₁和T₂为预先设定的，且T₁<T₂；

关键帧选取单元803用于从候选关键帧选取单元802选取的候选关键帧中选择一个视频帧作为关键帧。具体地，关键帧选取单元803计算候选关键帧选取单元802选取出的各候选关键帧的重投影误差，从所述候选关键帧中选择一个视频帧作为第i+1个关键帧；具体地，关键帧选取单元803选择重投影误差最小的候选关键帧作为第i+1个关键帧。

进一步，选择关键帧的装置中还可以包括：循环控制单元804。

在关键帧选取单元803选择出第i+1个关键帧后，循环控制单元804若判断还未到达2D视频的结尾，则更新i＝i+1，并将更新后的i值发送给特征匹配比率计算单元801。特征匹配比率计算单元801在接收到循环控制单元804发送的更新后的i值，继续根据第i个关键帧，计算2D视频中第i个关键帧后的视频帧的特征匹配比率。而候选关键帧选取单元802继续根据特征匹配比率计算单元801计算出的特征匹配比率，选取候选关键帧；关键帧选取单元803继续根据候选关键帧选取单元802选取出的各候选关键帧，选择第i+1个关键帧。

上述的关键帧选取单元具体包括：

重投影误差计算子单元，用于计算各候选关键帧的重投影误差；候选关键帧的重投影误差R.E可以根据上述公式2计算得到。

关键帧确定子单元，用于根据所述重投影误差计算子单元的计算结果，从中选取选择重投影误差最小的候选关键帧作为第i+1个关键帧。

进一步，选择关键帧的装置中还可以包括：阈值确定单元805。

阈值确定单元805用于确定所述T₁和T₂；T₁具体可以是根据上述公式9确定的，T₂具体可以是根据上述公式10确定的。

本发明实施例提供的另一种选择关键帧的装置，其结构框图如图8b所示，包括上述的特征匹配比率计算单元801、候选关键帧选取单元802、关键帧选取单元803之外，还包括：参考帧设置单元806、视频段确定单元807、视频段阈值确定单元808、控制单元809。

参考帧设置单元806用于在待转换2D视频中选择M-2个视频帧作为参考帧，其中M为预先确定的关键帧的数目；并设置t＝1，确定所述待转换2D视频中的第1个关键帧为所述待转换2D视频中的第1个视频帧。较佳地，M-2个参考帧为均匀分布在待转换2D视频中的视频帧。

视频段确定单元807用于将第t个关键帧到第t个参考帧之间的视频段作为第t段视频。

视频段阈值确定单元808用于根据第t段视频中的各视频帧，计算第t段视频的和并将和分别作为所述T₁和T₂、将第t个关键帧作为第i个关键帧发送给特征匹配比率计算单元801。视频段阈值确定单元808中确定第t段视频的和的具体方法在上述步骤S602中详细介绍了，此处不再赘述。

特征匹配比率计算单元801在接收到视频段阈值确定单元808发送的第i个关键帧以及T₁和T₂后，根据第i个关键帧，计算2D视频中第i个关键帧后的视频帧的特征匹配比率。

候选关键帧选取单元802和关键帧选取单元803与上述介绍的相同，此处不再赘述。

控制单元809在获取关键帧选取单元803选择的第i+1个关键帧后，将第i+1个关键帧作为第t+1个关键帧；并在判断出t小于M-1后，更新t＝t+1，并将第t+1个关键帧和更新后的t发送给视频段确定单元807。视频段确定单元807根据控制单元809发送的更新后的t，重新进行视频段的确定。

本发明实施例提供的一种2D到3D视频转换系统，如图9所示，包括：选择关键帧的装置901、深度分配装置902、深度传播装置903、视频合成装置904。

其中，选择关键帧的装置901用于选取关键帧，其内部结构框图与上述图8a或图8b所示的选择关键帧的装置相同，此处不再赘述。

深度分配装置902用于对选择关键帧的装置901选取的各关键帧进行深度分配，得到各关键帧的深度图；

深度传播装置903用于根据关键帧的深度图得到非关键帧的深度图；

视频合成装置904用于根据关键帧的深度图以及非关键帧的深度图合成所述3D视频。

本发明实施例由于根据视频帧与在前关键帧的特征匹配比率进行候选关键帧的选取，并根据候选关键帧的重投影误差选取在后关键帧，使得关键帧的选取更为合理，而依据该更为合理的关键帧进行2D到3D视频的转换可以提高转换的3D视频的质量。

进一步，本发明实施例中还提供了对特征匹配比率阈值T₁和T₂进行调节的方案，使得可以根据3D视频质量的要求来确定T₁和T₂，进而确定关键帧。从而提供了更为灵活的3D视频转换方法，技术人员可以灵活地根据3D视频质量的要求对T₁和T₂进行调节。

进一步，本发明实施例中还提供了可以根据预先确定的关键帧数目，确定关键帧的技术方案。为技术人员进行3D视频转换提供了更大的灵活性，技术人员可以在转换3D视频之前，就预先根据工作量来限定关键帧数目，根据该关键帧的选取方法可以保证最终选取的关键帧的数目符合预先确定的关键帧数目，也就保证了技术人员的工作量。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读取存储介质中，如：ROM/RAM、磁碟、光盘等。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种3D视频转换中选择关键帧的方法，包括：

在确定出第1个关键帧后，根据第i个关键帧，确定出第i+1个关键帧：

计算2D视频中第i个关键帧后的视频帧的特征匹配比率；其中，i为[1，N-1]内的自然数，N为所述2D视频的视频帧总数；第i个关键帧后的第j个视频帧的特征匹配比率依据如下公式1得到：

$R_c^j=\frac{R_j}{R}$      (公式1)

其中，j为自然数，R_j为第i个关键帧后的第j个视频帧的特征点个数，R为第i个关键帧的特征点个数；

选取特征匹配比率在T₁和T₂范围内的视频帧作为候选关键帧；其中，T₁和T₂为预先设定的的阈值，且T₁<T₂；

根据各候选关键帧的重投影误差从所述候选关键帧中选择一个视频帧作为第i+1个关键帧；其中，

所述T₁具体是根据如下公式9设置的：

$T_1=\stackrel{\&OverBar;}{R_c}\&times;(a\&times;\stackrel{\&OverBar;}{O_{\mathrm{ak}}}+b)$     (公式9)

所述公式9中，a和b为设定参数；以及

所述T₂具体是根据如下公式10设置的：

$T_2=\stackrel{\&OverBar;}{R_c}\&times;(c\&times;\stackrel{\&OverBar;}{O_{\mathrm{ak}}}-d)$     (公式10)

所述公式10中，c和d为设定参数；

所述公式9和10中，为所述2D视频中第1个视频帧之后的视频帧的特征匹配比率的均值；为所述2D视频中各视频帧的累积遮挡区域的变化率的均值；其中，

对于所述2D视频中的一视频帧，其累积遮挡区域根据如下方法得到：

所述2D视频中第g个视频帧的累积遮挡区域O_a(g)根据如下公式8计算得到：

$O_a\left(g\right)=\underset{i=1}{\overset{g}{\mathrm{\&Sigma;}}}{O}_c\left(i\right)$       (公式8)

其中，O_c(g)为2D视频中第g个视频帧与第g-1个视频帧之间的遮挡区域，g为[2，N]内的自然数；以及

根据所述2D视频中各视频帧的累积遮挡区域，绘制出累积遮挡区域曲线；所述累积遮挡区域曲线中第g个视频帧处的累积遮挡区域的斜率为第g个视频帧的累积遮挡区域的变化率；

所述具体是根据如下公式7计算得到的：

$\stackrel{\&OverBar;}{R_c}=\frac{\underset{g}{\mathrm{\&Sigma;}}{R}_c^g}{N-1}$     (公式7)

所述公式7中，N为所述2D视频的视频帧总数；为所述2D视频中第g个视频帧的特征匹配比率，具体根据如下公式6计算得到：

$R_c^g=\frac{R_g}{R_1}$     (公式6)

所述公式6中，R_g为所述2D视频中第g个视频帧的特征点个数；R₁为所述2D视频中第1个视频帧的特征点个数；其中，g为[2，N]内的自然数；

其中，所述候选关键帧的重投影误差R.E具体根据如下公式2计算得到：

$R.E=\frac{\underset{n}{\mathrm{\&Sigma;}}{\left[d(P_k{X}_k^n,x_k^n)\right]}^2}{\mathrm{Num}}$     (公式2)

所述公式2中，所述候选关键帧为所述2D视频中的第k个视频帧；为第k个视频帧中第n个特征点的平面坐标；为第k个视频帧中第n个特征点的立体空间坐标；P_k为根据第k个视频帧中所有的特征点计算出的投影矩阵；k为自然数，Num是第k个视频帧中特征点的个数，n为小于等于Num的自然数，d(·)表示为对其括号内的元素求差值；

所述公式2中，根据如下公式3计算得到：

$X_k^n={\left(P_k^n\right)}^{-1}{x}_k^n$      (公式3)

所述公式3中，为投影矩阵的逆矩阵，根据如下公式4计算得到：

$P_k^n=\mathrm{Tsai}\left(x_k^n\right)$      (公式4)

所述公式4中的Tsai(·)表示对括号内的平面坐标估计投影矩阵的算法；

所述公式2中，P_k根据如下公式5计算得到：

$P_k=\mathrm{Tsai}(x_k^1,x_k^2,x_k^3,...x_k^{\mathrm{Num}-1},x_k^{\mathrm{Num}})$           (公式5)

所述公式5中的Tsai(·)表示对括号内的平面坐标估计投影矩阵的算法；以及

所述根据各候选关键帧的重投影误差从所述候选关键帧中选择一个视频帧作为第i+1个关键帧，具体为：

选择重投影误差最小的候选关键帧作为第i+1个关键帧。

2.如权利要求1所述的方法，其特征在于，所述计算2D视频中第i个关键帧后的视频帧的特征匹配比率具体包括：

从第i个关键帧后的第1个视频帧开始，以视频帧的先后顺序依次计算各视频帧的特征匹配比率，并将计算出的特征匹配比率与T₁比较；

在比较出特征匹配比率小于T₁后，不再继续计算第i个关键帧后的视频帧的特征匹配比率。

3.如权利要求1所述的方法，其特征在于，确定第1个关键帧具体为：以第1个视频帧作为第1个关键帧。

4.如权利要求1所述的方法，其特征在于，在根据第i个关键帧，确定出第i+1个关键帧之前，还包括：

在所述2D视频中选择M-2个视频帧作为参考帧，其中M为预先确定的关键帧的数目；确定第1个关键帧为所述2D视频中的第1个视频帧；

对于第t段视频：

计算第t段视频的T₁ ^t和

将所述第t个关键帧作为所述第i个关键帧，将所述第t段视频的T₁ ^t和分别作为所述T₁和T₂；

其中，第t段视频指的是从第t个关键帧到第t个参考帧之间的视频段，t为自然数；根据如下公式11确定T₁ ^t：

${T_1}^t=\stackrel{\&OverBar;}{R_c^t}\&times;(a\&times;\stackrel{\&OverBar;}{O_{\mathrm{ak}}^t}+b)$ (公式11)

所述公式11中，a和b为设定参数；

根据如下公式12确定

$T_2^t=\stackrel{\&OverBar;}{R_c^t}\&times;(c\&times;\stackrel{\&OverBar;}{O_{\mathrm{ak}}^t}-d)$ (公式12)

所述公式12中c和d为设定参数；

所述公式11、12中，为第t段视频中第1个视频帧之后的视频帧的特征匹配比率的均值；为第t段视频中各视频帧的累积遮挡区域的变化率的均值；以及

在根据第i个关键帧，确定出第i+1个关键帧之后，还包括：将所述第i+1个关键帧作为第t+1个关键帧。

5.一种3D视频转换方法，包括：

根据如权利要求1-4任一所述的选择关键帧的方法，从所述2D视频中选取关键帧；

对选取的各关键帧进行深度分配；

根据关键帧的深度图得到非关键帧的深度图；

根据关键帧的深度图以及非关键帧的深度图合成所述3D视频。

6.一种3D视频转换系统中选择关键帧的装置，包括：

特征匹配比率计算单元，用于根据第i个关键帧，计算2D视频中第i个关键帧后的视频帧的特征匹配比率，其中，i为[1，N-1]内的自然数，N为所述2D视频的视频帧总数；第i个关键帧后的第j个视频帧的特征匹配比率依据如下公式1得到：

$R_c^j=\frac{R_j}{R}$         (公式1)

其中，j为自然数，R_j为第i个关键帧后的第j个视频帧的特征点个数，R为第i个关键帧的特征点个数；

候选关键帧选取单元，用于选取特征匹配比率在T₁和T₂范围内的视频帧作为候选关键帧，其中，T₁和T₂为预先设定的阈值，且T₁<T₂；

关键帧选取单元，用于根据所述候选关键帧选取单元选取的各候选关键帧的重投影误差从所述候选关键帧中选择一个视频帧作为第i+1个关键帧；以及

阈值确定单元，用于确定所述T₁和T₂；

其中，所述T₁具体是根据如下公式9确定的：

$T_1=\stackrel{\&OverBar;}{R_c}\&times;(a\&times;\stackrel{\&OverBar;}{O_{\mathrm{ak}}}+b)$      (公式9)

所述公式9中，a和b为设定参数；以及

所述T₂具体是根据如下公式10确定的：

$T_2=\stackrel{\&OverBar;}{R_c}\&times;(c\&times;\stackrel{\&OverBar;}{O_{\mathrm{ak}}}-d)$      (公式10)

所述公式10中，c和d为设定参数；

所述公式9和10中，为所述2D视频中第1个视频帧之后的视频帧的特征匹配比率的均值；为所述2D视频中各视频帧的累积遮挡区域的变化率的均值；

其中，具体是根据如下公式7计算得到的：

$\stackrel{\&OverBar;}{R_c}=\frac{\underset{g}{\mathrm{\&Sigma;}}{R}_c^g}{N-1}$      (公式7)

所述公式7中，N为所述2D视频的视频帧总数；为所述2D视频中第g个视频帧的特征匹配比率，具体根据如下公式6计算得到：

$R_c^g=\frac{R_g}{R_1}$ (公式6)

所述公式6中，R_g为所述2D视频中第g个视频帧的特征点个数；R₁为所述2D视频中第1个视频帧的特征点个数；其中，g为[2，N]内的自然数；

对于所述2D视频中的一视频帧，其累积遮挡区域根据如下方法得到：

所述2D视频中第g个视频帧的累积遮挡区域O_a(g)根据如下公式8计算得到：

$O_a\left(g\right)=\underset{i=1}{\overset{g}{\mathrm{\&Sigma;}}}{O}_c\left(i\right)$      (公式8)

其中，O_c(g)为2D视频中第g个视频帧与第g-1个视频帧之间的遮挡区域；以及

根据所述2D视频中各视频帧的累积遮挡区域，绘制出累积遮挡区域曲线；所述累积遮挡区域曲线中第g个视频帧处的累积遮挡区域的斜率为第g个视频帧的累积遮挡区域的变化率。

阈值确定单元，用于确定所述T₁和T₂；

其中，所述T₁具体是根据如下公式9确定的：

$T_1=\stackrel{\&OverBar;}{R_c}\&times;(a\&times;\stackrel{\&OverBar;}{O_{\mathrm{ak}}}+b)$      (公式9)

所述公式9中，a和b为设定参数；以及

所述T₂具体是根据如下公式10确定的：

$T_2=\stackrel{\&OverBar;}{R_c}\&times;(c\&times;\stackrel{\&OverBar;}{O_{\mathrm{ak}}}-d)$      (公式10)

所述公式10中，c和d为设定参数；

所述公式9和10中，为所述2D视频中第1个视频帧之后的视频帧的特征匹配比率的均值；为所述2D视频中各视频帧的累积遮挡区域的变化率的均值；

其中，具体是根据如下公式7计算得到的：

$\stackrel{\&OverBar;}{R_c}=\frac{\underset{g}{\mathrm{\&Sigma;}}{R}_c^g}{N-1}$      (公式7)

所述公式7中，N为所述2D视频的视频帧总数；为所述2D视频中第g个视频帧的特征匹配比率，具体根据如下公式6计算得到：

$R_c^g=\frac{R_g}{R_1}$      (公式6)

所述公式6中，R_g为所述2D视频中第g个视频帧的特征点个数；R₁为所述2D视频中第1个视频帧的特征点个数；其中，g为[2，N]内的自然数；

对于所述2D视频中的一视频帧，其累积遮挡区域根据如下方法得到：

所述2D视频中第g个视频帧的累积遮挡区域O_a(g)根据如下公式8计算得到：

$O_a\left(g\right)=\underset{i=1}{\overset{g}{\mathrm{\&Sigma;}}}{O}_c\left(i\right)$      (公式8)

其中，O_c(g)为2D视频中第g个视频帧与第g-1个视频帧之间的遮挡区域；以及

根据所述2D视频中各视频帧的累积遮挡区域，绘制出累积遮挡区域曲线；所述累积遮挡区域曲线中第g个视频帧处的累积遮挡区域的斜率为第g个视频帧的累积遮挡区域的变化率；其中，所述关键帧选取单元具体用于选择重投影误差最小的候选关键帧作为第i+1个关键帧；以及，所述关键帧选取单元具体包括：

重投影误差计算子单元，用于计算各候选关键帧的重投影误差；

关键帧确定子单元，用于根据所述重投影误差计算子单元的计算结果，从中选取选择重投影误差最小的候选关键帧作为第i+1个关键帧；

其中，所述候选关键帧的重投影误差R.E具体根据如下公式2计算得到：

$R.E=\frac{\underset{n}{\mathrm{\&Sigma;}}{\left[d(P_k{X}_k^n,x_k^n)\right]}^2}{\mathrm{Num}}$      (公式2)

所述公式2中，所述候选关键帧为所述2D视频中的第k个视频帧；为第k个视频帧中第n个特征点的平面坐标；为第k个视频帧中第n个特征点的立体空间坐标；P_k为根据第k个视频帧中所有的特征点计算出的投影矩阵；k为自然数，Num是第k个视频帧中特征点的个数，n为小于等于Num的自然数；其中，d(·)表示为对其括号内的元素求差值。

所述公式2中，根据如下公式3计算得到：

$X_k^n={\left(P_k^n\right)}^{-1}{x}_k^n$      (公式3)

所述公式3中，为投影矩阵的逆矩阵，根据如下公式4计算得到：

$P_k^n=\mathrm{Tsai}\left(x_k^n\right)$      (公式4)

所述公式4中的Tsai(·)表示对括号内的平面坐标估计投影矩阵的算法；

所述公式2中，P_k根据如下公式5计算得到：

$P_k=\mathrm{Tsai}(x_k^1,x_k^2,x_k^3,...x_k^{\mathrm{Num}-1},x_k^{\mathrm{Num}})$      (公式5)

所述公式5中的Tsai(·)表示对括号内的平面坐标估计投影矩阵的算法。

7.如权利要求6所述的装置，其特征在于，

所述特征匹配比率计算单元还用于以所述2D视频中的第1个视频帧作为第1个关键帧；以及

所述关键帧选取单元还用于在选择出第i+1个关键帧后，更新i＝i+1，并将更新后的i值发送给所述特征匹配比率计算单元；

所述特征匹配比率计算单元在接收到所述关键帧选取单元发送的更新后的i值，继续根据第i个关键帧，计算2D视频中第i个关键帧后的视频帧的特征匹配比率。

8.如权利要求7所述的装置，其特征在于，还包括：

参考帧设置单元，用于在所述2D视频中选择M-2个视频帧作为参考帧，其中M为预先确定的关键帧的数目；确定所述2D视频中的第1个关键帧为所述2D视频中的第1个视频帧；

视频段确定单元，用于将第t个关键帧到第t个参考帧之间的视频段作为第t段视频；其中，t为自然数；

视频段阈值确定单元，用于对于根据第t段视频中的各视频帧，计算第t段视频的T₁ ^t和并将T₁ ^t和分别作为所述T₁和T₂、将第t个关键帧作为第i个关键帧发送给所述特征匹配比率计算单元；其中，所述视频段阈值确定单元根据如下公式11确定T₁ ^t：

${T_1}^t=\stackrel{\&OverBar;}{R_c^t}\&times;(a\&times;\stackrel{\&OverBar;}{O_{\mathrm{ak}}^t}+b)$      (公式11)

所述公式11中，a和b为设定参数；

根据如下公式12确定

$T_2^t=\stackrel{\&OverBar;}{R_c^t}\&times;(c\&times;\stackrel{\&OverBar;}{O_{\mathrm{ak}}^t}-d)$      (公式12)

所述公式12中c和d为设定参数；

所述公式11、12中，为第t段视频中第1个视频帧之后的视频帧的特征匹配比率的均值；为第t段视频中各视频帧的累积遮挡区域的变化率的均值；

控制单元，用于在获取所述关键帧选取单元选择的第i+1个关键帧后，将第i+1个关键帧作为第t+1个关键帧；并在判断出t小于M-1后，更新t＝t+1，并将第t+1个关键帧和更新后的t发送给所述视频段确定单元。

9.一种3D视频转换系统，包括：

如权利要求6-8任一所述的选择关键帧的装置，用于从所述2D视频中选取关键帧；

深度分配装置，用于对选取的各关键帧进行深度分配，得到各关键帧的深度图；

深度传播装置，用于根据关键帧的深度图得到非关键帧的深度图；

视频合成装置，用于根据关键帧的深度图以及非关键帧的深度图合成所述3D视频。