CN103686139B - 帧图像转换方法、帧视频转换方法及装置 - Google Patents

Abstract

本发明涉及一种帧图像转换方法、帧视频转换方法及装置，其中，帧视频转换方法包括：提取2D帧视频的最长线段；根据所述最长线段的方向确定所述2D帧视频的第一深度图；根据与所述2D帧视频相邻的一帧视频，确定所述2D帧视频的运动信息；根据所述运动信息确定所述2D帧视频的第二深度图；根据所述第一深度图、所述第二深度图以及所述2D帧视频生成所述2D帧视频对应的3D帧视频。本发明实施例提供的帧图像转换方法、帧视频转换方法及装置，与仅用一个深度线索合成的深度图相比具有更高的可靠性，且能保持良好的深度边缘信息，从而使生成深度图更加真实，转换而成的3D帧视频逼真自然，有利于提高用户体验。

Description

帧图像转换方法、帧视频转换方法及装置

技术领域

本发明涉及图像处理领域，尤其涉及一种帧图像转换方法、帧视频转换方法及装置。

背景技术

3D技术能将真实世界中的事物以更加逼真的效果展现给人们。然而，相比于3D显示的硬件设备来说，3D内容的数量明显不足。尽管可以使用3D设备拍摄3D内容，但若能将已有丰富的2D资源转换为3D资源，无疑能有效地解决3D资源匮乏的问题。

目前，基于深度图的3D合成技术是一种比较主流的2D转3D技术。该技术主要利用2D转3D时人的视觉经验和视觉记忆构成的人眼的心理立体视觉。2D图像存在的深度线索，如运动视差、聚焦/散焦、线性透视、大气散射、阴影、遮挡、相对高度以及相对大小等，通过对这些深度线索进行分析，可以将2D图像中的深度信息估计出来，从而根据估计出来的深度信息生成对应的深度图。根据原始视图及其对应的深度图，利用基于深度图像绘制（Depthimagebasedrendering，DIBR）技术，可以合成虚拟的左右视图，将左右视图合成，通过3D显示设备即可得到具有3D效果的立体图。

随着DIBR技术的成熟，基于深度图的3D合成技术被广泛研究，如何准确估计出2D图像的深度信息成为了该技术的关键。

发明内容

技术问题

有鉴于此，本发明要解决的技术问题是，如何准确估计出2D图像的深度信息，从而提高基于该深度信息的3D合成技术得到的深度图像的真实性。

解决方案

为了解决上述技术问题，根据本发明一实施例，在第一方面，提供了一种帧图像转换方法，包括：

提取2D帧图像的最长线段；

根据所述最长线段的方向，确定所述2D帧图像的第一深度图；

根据所述第一深度图及所述2D帧图像，生成所述2D帧图像对应的3D帧图像。

结合第一方面，在一种可能的实现方式中，所述提取2D帧图像的最长线段，包括：

利用双边滤波对所述2D帧图像进行平滑去噪处理；

利用霍夫变换技术检测双边滤波后的所述2D帧图像，以提取所述2D帧图像的最长线段。

结合第一方面，在一种可能的实现方式中，所述根据所述最长线段的方向确定所述2D帧图像的第一深度图，包括：

根据所述最长线段的方向确定与所述2D帧图像对应的初始深度模板的深度变换方向；

将双边滤波后的所述2D帧图像进行分块，并对分块结果进行分组聚类；

基于所述初始深度模板，根据所述深度变换方向和分组聚类结果，得到所述第一深度图。

结合第一方面，在一种可能的实现方式中，所述根据所述最长线段的方向确定与所述2D帧图像对应的初始深度模板的深度变换方向，包括：

以双边滤波后的所述2D帧图像中的任一点为原点，以双边滤波后的所述2D帧图像的水平向右方向为x轴正方向，竖直向下方向为y轴正方向建立平面直角坐标系；

如果所述最长线段按顺时针方向与x轴正方向的夹角在(112.5°，157.5°)或(292.5°，337.5°）的第一范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧图像左下向右上变换；

如果所述最长线段按顺时针方向与x轴正方向的夹角在(22.5°，67.5°)或(202.5°，247.5°)的第二范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧图像右下向左上变换；

如果所述最长线段按顺时针方向与x轴正方向的夹角不在所述第一范围和第二范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧图像底部向上部变换。

结合第一方面，在一种可能的实现方式中，在所述基于所述初始深度模板，根据所述深度变换方向和分组聚类结果，得到所述第一深度图后，还包括：

利用交叉双边滤波处理所得到的所述第一深度图。

为了解决上述技术问题，根据本发明另一实施例，在第二方面，提供了一种帧视频转换方法，包括：

提取2D帧视频的最长线段；

根据所述最长线段的方向确定所述2D帧视频的第一深度图；

根据与所述2D帧视频相邻的一帧视频，确定所述2D帧视频的运动信息；

根据所述运动信息确定所述2D帧视频的第二深度图；

根据所述第一深度图、所述第二深度图以及所述2D帧视频生成所述2D帧视频对应的3D帧视频。

结合第二方面，在一种可能的实现方式中，所述提取2D帧视频的最长线段，包括：

利用双边滤波对所述2D帧视频进行平滑去噪处理；

利用霍夫变换技术检测双边滤波后的所述2D帧视频，以提取所述2D帧视频的最长线段。

结合第二方面，在一种可能的实现方式中，所述根据所述最长线段的方向确定所述2D帧视频的第一深度图，包括：

根据所述最长线段的方向确定与所述2D帧视频对应的初始深度模板的深度变换方向；

将双边滤波后的所述2D帧视频进行分块，并对分块结果进行分组聚类；

基于所述初始深度模板，根据所述深度变换方向和分组聚类结果，得到所述第一深度图。

结合第二方面，在一种可能的实现方式中，所述根据所述最长线段的方向确定与所述2D帧视频对应的初始深度模板的深度变换方向，包括：

以双边滤波后的所述2D帧视频中的任一点为原点，以双边滤波后的所述帧视频的水平向右方向为x轴正方向，竖直向下方向为y轴正方向建立平面直角坐标系，

如果所述最长线段按顺时针方向与x轴正方向的夹角在(112.5°，157.5°)或(292.5°，337.5°）的第一范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧视频左下向右上变换；

如果所述最长线段按顺时针方向与x轴正方向的夹角在(22.5°，67.5°)或(202.5°，247.5°)的第二范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧视频右下向左上变换；

如果所述最长线段按顺时针方向与x轴正方向的夹角不在所述第一范围和第二范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧视频底部向上部变换。

结合第二方面，在一种可能的实现方式中，在所述基于所述初始深度模板，根据所述深度变换方向和分组聚类结果，得到所述第一深度图后，还包括：

利用交叉双边滤波处理所得到的所述第一深度图。

结合第二方面，在一种可能的实现方式中，根据与所述2D帧视频相邻的一帧视频，确定所述2D帧视频的运动信息，包括：

根据与所述2D帧视频相邻的一帧视频，估计得到所述2D帧视频的每个像素的运动矢量；

根据所述每个像素的运动矢量得到所述每个像素的运动信息。

结合第二方面，在一种可能的实现方式中，所述根据所述运动信息确定所述2D帧视频的第二深度图，包括：

根据所述每个像素的运动信息，得到所述每个像素的深度信息；

根据所述每个像素的深度信息得到所述2D帧视频的第二深度图。

结合第二方面，在一种可能的实现方式中，所述根据所述第一深度图、所述第二深度图以及所述2D帧视频生成所述2D帧视频对应的3D帧视频，包括：

将所述第一深度图与所述第二深度图融合生成所述2D帧视频的第三深度图；

根据所述第三深度图及所述2D帧视频生成所述2D帧视频对应的3D帧视频。

为了解决上述技术问题，根据本发明又一实施例，在第三方面，提供了一种帧图像转换装置，包括：

第一提取模块，用于提取2D帧图像的最长线段；

第一确定模块，与所述第一提取模块连接，用于根据所述最长线段的方向确定所述2D帧图像的第一深度图；

第一生成模块，与所述第一确定模块连接，用于根据所述第一深度图及所述2D帧图像生成所述2D帧图像对应的3D帧图像。

结合第三方面，在一种可能的实现方式中，所述第一提取模块包括：

第一双边滤波处理单元，用于利用双边滤波对所述2D帧图像进行平滑去噪处理；

第一提取单元，与所述第一双边滤波处理单元连接，用于利用霍夫变换技术检测双边滤波后的所述2D帧图像，以提取所述2D帧图像的最长线段。

结合第三方面，在一种可能的实现方式中，所述第一确定模块包括：

第一深度变换方向确定单元，用于根据所述最长线段的方向确定与所述2D帧图像对应的初始深度模板的深度变换方向；

第一分块单元，用于将双边滤波后的所述2D帧图像进行分块，并对分块结果进行分组聚类；

第一确定单元，与所述第一深度变换方向确定单元和第一分块单元连接，用于基于所述初始深度模板，根据所述深度变换方向和分组聚类结果，得到所述第一深度图。

结合第三方面，在一种可能的实现方式中，所述第一深度变换方向确定单元用于：

以双边滤波后的所述2D帧图像中的任一点为原点，以双边滤波后的所述帧图像的水平向右方向为x轴正方向，竖直向下方向为y轴正方向建立平面直角坐标系，

如果所述最长线段按顺时针方向与x轴正方向的夹角在(112.5°，157.5°)或(292.5°，337.5°）的第一范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧图像左下向右上变换；

如果所述最长线段按顺时针方向与x轴正方向的夹角在(22.5°，67.5°)或(202.5°，247.5°)的第二范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧图像右下向左上变换；

如果所述最长线段按顺时针方向与x轴正方向的夹角不在所述第一范围和第二范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧图像底部向上部变换。

结合第三方面，在一种可能的实现方式中，还包括：

第一交叉双边滤波处理模块，用于利用交叉双边滤波处理所得到的所述第一深度图。

为了解决上述技术问题，根据本发明又一实施例，在第四方面，提供了一种帧视频转换装置，包括：

第二提取模块，用于提取2D帧视频的最长线段；

第二确定模块，与所述第二提取模块连接，用于根据所述最长线段的方向确定所述2D帧视频的第一深度图；

第三确定模块，用于根据与所述2D帧视频相邻的一帧视频，确定所述2D帧视频的运动信息；以及用于根据所述运动信息确定所述2D帧视频的第二深度图；

第二生成模块，与所述第二确定模块与第三确定模块连接，用于根据所述第一深度图、所述第二深度图以及所述2D帧视频生成所述2D帧视频对应的3D帧视频。

结合第四方面，在一种可能的实现方式中，所述第二提取模块包括：

第二双边滤波处理单元，用于利用双边滤波对所述2D帧视频进行平滑去噪处理；

第二提取单元，与所述第二双边滤波处理单元连接，用于利用霍夫变换技术检测双边滤波后的所述2D帧视频，以提取所述2D帧视频的最长线段。

结合第四方面，在一种可能的实现方式中，所述第二确定模块包括：

第二深度变换方向确定单元，用于根据所述最长线段的方向确定与所述2D帧视频对应的初始深度模板的深度变换方向；

第二分块单元，用于将双边滤波后的所述2D帧视频进行分块，并对分块结果进行分组聚类；

第二确定单元，与所述第二深度变换方向确定单元和第二分块单元连接，基于所述初始深度模板，根据所述深度变换方向和分组聚类结果，得到所述第一深度图。

结合第四方面，在一种可能的实现方式中，所述第二深度变换方向确定单元用于：

以双边滤波后的所述2D帧视频中的任一点为原点，以双边滤波后的所述帧视频的水平向右方向为x轴正方向，竖直向下方向为y轴正方向建立平面直角坐标系，

如果所述最长线段按顺时针方向与x轴正方向的夹角在(112.5°，157.5°)或(292.5°，337.5°）的第一范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧视频左下向右上变换；

如果所述最长线段按顺时针方向与x轴正方向的夹角在(22.5°，67.5°)或(202.5°，247.5°)的第二范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧视频右下向左上变换；

如果所述最长线段按顺时针方向与x轴正方向的夹角不在所述第一范围和第二范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧视频底部向上部变换。

结合第四方面，在一种可能的实现方式中，所述帧视频转换装置还包括：

第二交叉双边滤波处理模块，用于利用交叉双边滤波处理所得到的所述第一深度图。

结合第四方面，在一种可能的实现方式中，所述第三确定模块用于：

根据与所述2D帧视频相邻的一帧视频，确定所述2D帧视频的每个像素的运动矢量；

根据所述每个像素的运动矢量得到所述每个像素的运动信息。

结合第四方面，在一种可能的实现方式中，所述第三确定模块还用于：

根据所述每个像素的运动信息，得到所述每个像素的深度信息；

根据所述每个像素的深度信息确定所述2D帧视频的第二深度图。

结合第四方面，在一种可能的实现方式中，所述第二生成模块用于：

将所述第一深度图与所述第二深度图融合生成所述2D帧视频的第三深度图；

根据所述第三深度图及所述2D帧视频生成所述2D帧视频对应的3D帧视频。

有益效果

本发明实施例的帧图像转换方法、帧视频转换方法及装置，能够根据所提取的最长线段的方向，准确估计该2D帧图像的基于相对高度线索的深度信息，从而使根据该深度信息生成的深度图更加真实，转换而成的3D图像逼真自然。本发明实施例的帧视频转换方法、帧视频转换方法及装置，能够根据所述最长线段的方向，准确的估计出该2D帧视频的基于相对高度线索的深度信息以及该2D帧视频的运动信息，估计出该2D帧视频的基于运动线索的深度信息，结合基于相对高度线索的深度信息和基于运动线索的深度信息来合成深度图。这样，与仅用一个深度线索合成的深度图相比具有更高的可靠性，且能保持良好的深度边缘信息，从而使生成深度图更加真实，转换而成的3D帧视频逼真自然，有利于提高用户体验。

根据下面参考附图对示例性实施例的详细说明，本发明的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本发明的示例性实施例、特征和方面，并且用于解释本发明的原理。

图1示出根据本发明一实施例的帧图像转换方法的流程图；

图2示出根据本发明另一实施例的帧图像转换方法的流程图；

图3示出根据本发明一实施例的帧视频转换方法的流程图；

图4示出根据本发明另一实施例的帧视频转换方法的流程图；

图5示出根据本发明一实施例的帧图像转换装置的结构框图；

图6示出根据本发明另一实施例的帧图像转换装置的结构框图；

图7示出根据本发明一实施例的帧视频转换装置的结构框图；

图8示出根据本发明另一实施例的帧视频转换装置的结构框图；

图9示出根据本发明又一实施例的帧图像转换装置的结构框图；

图10示出根据本发明又一实施例的帧视频转换装置的结构框图。

具体实施方式

以下将参考附图详细说明本发明的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本发明，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本发明的主旨。

如背景技术和发明内容所述，本申请的方法是基于深度图的3D合成技术。该技术主要是根据对2D图像或视频存在的深度线索，如运动视差、聚焦/散焦、线性透视、大气散射、阴影、遮挡、相对高度以及相对大小等进行分析，将2D图像或视频中的深度信息估计出来，从而根据估计出来的深度信息生成对应的深度图。生成该2D图像或视频对应的深度图一个非常关键的地方在于估计出来的深度信息是否准确。因此，本申请提出了一种基于相对高度信息的帧图像转换方法，根据该帧图像转换方法，可以将2D帧图像转换成3D帧图像，从而生成对应的3D图像。以及在此基础上提出了一种基于相对高度信息和运动信息的帧视频转换方法，根据该帧视频转换方法，将2D帧视频转换成3D帧视频，从而生成对应的3D视频。这两种方法的具体描述可以详见下面实施例的阐述。

实施例1

图1示出根据本发明一实施例的帧图像转换方法的流程图。如图1所示，该方法主要可以包括：

步骤S100、提取2D帧图像的最长线段；

步骤S110、根据所述最长线段的方向确定所述2D帧图像的第一深度图；

步骤S120、根据所述第一深度图及所述2D帧图像生成所述2D帧图像对应的3D帧图像。

根据本发明实施例的帧图像转换方法，首先，提取所述2D帧图像的最长线段；然后，根据所述最长线段的方向，确定所述2D帧图像的第一深度图；最后，根据所述第一深度图及所述2D帧图像，生成所述2D帧图像对应的3D帧图像。

本发明实施例提供的帧图像转换方法，是一种基于相对高度线索来估计该2D帧图像的深度信息的方法，该方法能够根据所提取的最长线段的方向，准确估计该2D帧图像的基于相对高度线索的深度信息，从而使根据该深度信息生成的深度图更加真实，转换而成的3D图像逼真自然。

实施例2

图2示出根据本发明另一实施例的帧图像转换方法的流程图。图2中标号与图1相同的步骤具有相同的功能，为简明起见，省略对这些步骤的详细说明。

如图2所示，图2所示的帧图像转换方法与图1所示帧图像转换方法的主要区别在于，上述步骤S100具体可以包括以下步骤：

步骤S1001、利用双边滤波对所述2D帧图像进行平滑去噪处理；

步骤S1002、利用霍夫变换技术检测双边滤波后的所述2D帧图像，以提取所述2D帧图像的最长线段。

对于上述步骤S1001，对帧图像I_t，先对该帧图像I_t进行平滑去噪处理，以减少噪声和杂乱边缘，保留该帧图像I_t中的最长线段。在一种可能的实现方式中，其公式如（1）所示：

$I_{\mathrm{filtered}}\left(x_i\right)=\frac{1}{N\left(x_i\right)}\underset{x_j\⋐\mathrm{\Ω}\left(x_i\right)}{\mathrm{\Σ}}{e}^{-0.5(\frac{{|x_j-x_i|}^2}{{{\mathrm{\σ}}_d}^2}+\frac{{|u\left(x_j\right)-u\left(x_i\right)|}^2}{{{\mathrm{\σ}}_c}^2})}{I}_{\mathrm{org}}\left(x_j\right)$

$N\left(x_i\right)=\underset{x_j\⋐\mathrm{\Ω}\left(x_i\right)}{\mathrm{\Σ}}{e}^{-0.5(\frac{{|x_j-x_i|}^2}{{{\mathrm{\σ}}_d}^2}+\frac{{|u\left(x_j\right)-u\left(x_i\right)|}^2}{{{\mathrm{\σ}}_c}^2})---\left(1\right)}$

其中，u(x_i)表示像素x_i的密度值，Ω(x_i)表示像素x_i的邻域窗口，优选的，可以取窗口大小为6×6，N(x_i)表示滤波的归一化系数，I_org，I_filtered分别是原帧图像和滤波后的帧图像，σ_d,σ_c分别为距离和灰度值的标准差，优选的，其取值可以分别为15，30。

对于上述步骤S1002，利用霍夫变换技术，检测滤波后的帧图像I_filtered以得到其最长线段。霍夫变换是图像处理中从图像中识别几何形状的基本方法之一。其基本原理在于点与线的对偶性，在平面直角坐标系(x-y)中，一条直线可以用方程y=kx+b表示。对于直线上的一个确定的点(x₀,y₀)，y₀=kx₀+b，这表示参数平面(k-b)中的一条直线。因此，图像中的一个点对应参数平面的一条直线，图像中的一条直线对应参数平面中的一个点。对该帧图像I_t中所有的点作霍夫变换，最终所要检测的最长线段对应的一定是参数平面中直线相交最多的那个点。这样就可以在该帧图像I_filtered中检测出一条最长线段。在原始坐标系下呈现直线的所有点，它们的斜率和截距是相同的，即它们在参数坐标系下对应于同一个点。这样，通过对帧图像I_filtered利用Canny算子（1986年由JohnF.Canny提出）做边缘检测，将检测到的各个边缘点投影到参数坐标系下之后，对参数坐标系下存在的聚集点进行筛选，将个数最多的聚集点对应的原始坐标系下的线段作为最长线段L。

在一种可能的实现方式中，上述步骤S110具体可以包括以下步骤：

步骤S1101、根据所述最长线段的方向确定与所述2D帧图像对应的初始深度模板的深度变换方向；

步骤S1102、将双边滤波后的所述2D帧图像进行分块，并对分块结果进行分组聚类；

步骤S1103、基于所述初始深度模板，根据所述深度变换方向和分组聚类结果，得到所述第一深度图。

对于上述步骤S1101，根据从帧图像I_filtered中提取到的最长线段L的斜率，就可以确定该最长线段L的方向，根据该最长线段L的方向就可以确定W_rl,W_ud的大小，其中，W_rl,W_ud是用来控制初始深度模板的深度变换方向。

在一种可能的实现方式中，上述步骤S1101具体可以包括：

以双边滤波后的所述2D帧图像中的任一点为原点，以双边滤波后的所述2D帧图像的水平向右方向为x轴正方向，竖直向下方向为y轴正方向建立平面直角坐标系，如果所述最长线段按顺时针方向与x轴正方向的夹角在(112.5°，157.5°)或(292.5°，337.5°）的第一范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧图像左下向右上变换；如果所述最长线段按顺时针方向与x轴正方向的夹角在(22.5°，67.5°)或(202.5°，247.5°)的第二范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧图像右下向左上变换；如果所述最长线段按顺时针方向与x轴正方向的夹角不在所述第一范围和第二范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧图像底部向上部变换。

对于上述步骤S1102，可以将帧图像I_filtered进行分块，例如可以分成4*4的小块，并将这些小块作为图的结点，小块与小块之间的均值差的绝对值作为边，然后利用最小生成树的原理，使用克鲁斯卡尔（Kruskal）算法构造出最小生成树，即用最短的边连接所有的结点。然后通过对边设置阈值T来对分块后的帧图像进行分组聚类，如果两个结点间边的值大于阈值T，则这两个结点不属于一个类，如果小于阈值T，则这两个结点属于一个类。优选的，阈值T设为3.5。

对于上述步骤S1103，对于上述步骤中得到的聚类结果，在一种可能的实现方式中，由（2）可以得到由W_rl和W_ud确定的初始深度模板在坐标(i,j)处的深度值。

$\mathrm{Depth}(i,j)=128+255(W_{\mathrm{rl}}\frac{i-w/2}{w}+W_{\mathrm{ud}}\frac{j-h/2}{h})$

|W_rl|+|W_ud|=1（2）

i∈[0,w),j∈[0,h)

其中，Depth(i,j)表示由W_rl和W_ud确定的初始深度模板在坐标(i,j)处的深度值，w和h分别为帧图像的宽度和高度。

在一种可能的实现方式中，根据（3）可以求出的将每块区域赋给其对应模板区域内的深度平均值，从而得到基于相对高度信息的初始深度图即第一深度图D_i。

$\begin{array}{c}{D}_i(i,j)=\frac{\underset{x,y\∈R}{\mathrm{\Σ}}\mathrm{Depth}(x,y)}{\mathrm{pixel}\_\mathrm{num}\left(R\right)}\\ i,j\∈R\end{array}---\left(3\right)$

其中，D_i为基于相对高度信息的初始深度图，R为基于最小生成树分割得到的各个聚类结果，Depth(x,y)表示初始深度模板在坐标(x,y)的深度值，pixel_num(R)表示聚类结果R内的像素数。换言之，基于相对高度信息的第一深度图在坐标(i,j)处的深度值，为其所在分割区域R内的所有像素在初始深度模板的深度值的平均值。

在一种可能的实现方式中，在步骤S1103之后，上述步骤S110还可以包括步骤S1104。

步骤S1104、利用交叉双边滤波处理所得到的所述第一深度图。

具体地，由于上述步骤S1102中利用最小生成树分割的分块操作，得到的第一深度图D_i存在块效应。为了消除块效应，在一种可能的实现方式中，采用交叉双边滤波公式（4）来处理该第一深度图。

$\begin{array}{c}{D}_h\left(x_i\right)=\frac{1}{N\left(x_i\right)}\underset{x_j\⋐\mathrm{\Ω}\left(x_i\right)}{\mathrm{\Σ}}{e}^{-0.5(\frac{{|x_j-x_i|}^2}{{{\mathrm{\σ}}_d}^2}+\frac{{|u\left(x_j\right)-u\left(x_i\right)|}^2}{{{\mathrm{\σ}}_c}^2})}{D}_i\left(x_j\right)\\ N\left(x_i\right)=\underset{x_j\⋐\mathrm{\Ω}\left(x_i\right)}{\mathrm{\Σ}}{e}^{-0.5(\frac{{|x_j-x_i|}^2}{{{\mathrm{\σ}}_d}^2}+\frac{{|u\left(x_j\right)-u\left(x_i\right)|}^2}{{{\mathrm{\σ}}_c}^2})}\end{array}---\left(4\right)$

其中，u(x_i)表示像素x_i的密度值，Ω(x_i)表示像素x_i的邻域窗口，优选的。可以取窗口大小为15×15，N(x_i)表示滤波的归一化系数，D_h是采用交叉双边滤波处理后的第一深度图，σ_d,σ_c分别为距离和灰度值的标准差，优选的，取值可以分别为12，0.05。x_j表示像素x_i的邻域窗口Ω(x_i)内的像素。

在得到采用交叉双边滤波处理后的第一深度图D_h后，利用基于深度图像绘制技术，结合第一深度图D_h以及原帧图像，可以生成虚拟的左视图和右视图。对于生成的每个虚拟视图，其每个像素的位置(u,v)都是由原图像根据深度值进行投影映射得到的，在一种可能的实现方式中，映射得到左右视图的公式如（5）所示：

$N\left(x_i\right)=\underset{x_j\⋐\mathrm{\Ω}\left(x_i\right)}{\mathrm{\Σ}}{e}^{-0.5(\frac{{|x_j-x_i|}^2}{{{\mathrm{\σ}}_d}^2}+\frac{{|u\left(x_j\right)-u\left(x_i\right)|}^2}{{{\mathrm{\σ}}_c}^2})}---\left(5\right)$

其中，Z是图像(u,v)点的深度值，f是焦距，b是左右两个视图的基线，X_c,X_l,X_r分别是点(u,v)在原图像、左视图和右视图的位置。

投影映射得到的左右视图中，因为深度在边缘的不连续性，使得生成的左右虚拟视图的边缘处常会出现空洞，即没有信息的像素点。在一种可能的实现方式中，可以采用背景像素来填充这些空洞，如公式(6)所示：

$X_l=X_c+\left(\frac{b}{2}\right)f/Z,X_r=X_c-\left(\frac{b}{2}\right)f/Z,---\left(6\right)$

其中，s(x,y)表示图像中的坐标位置为(x,y)的像素值，w表示用来填充空洞的窗口大小，u、v大小在范围[-w,w]之间，non_hole(x,y)用于标记图像中坐标位置为(x,y)的像素是否为空洞，该值为0表示该位置像素为空洞，为1表示该位置像素为非空洞，仅使用w窗口内的非空洞像素来填充空洞。

对于生成的左右虚拟视图，对左视图取红色通道，对右视图取绿色和蓝色通道，将这三个通道融合就可以得到最终的红蓝格式的3D视图，从而将2D帧图像转换成3D帧图像，即将一幅2D图像转换成3D图像。

本发明实施例的帧图像转换方法，能够基于相对高度线索来估计该2D帧图像的深度信息，从而根据估计出的该2D帧图像的深度信息来恢复出该2D帧图像的深度图，从而将该2D帧图像转3D帧图像。该方法首先可以利用霍夫变换技术检测双边滤波后的所述2D帧图像，以提取所述2D帧图像的最长线段；其次，根据所述最长线段的方向确定与所述2D帧图像对应的初始深度模板的深度变换方向，即准确的估计出该2D帧图像的基于相对高度线索的深度信息，以及将双边滤波后的所述2D帧图像进行分块并对所述分块进行分组聚类；再次基于所述初始深度模板，根据所述深度变换方向和分组聚类结果，得到该2D帧图像的深度图；最后，根据2D帧图像的深度图以及该2D帧图像，将该2D帧图像转成3D图像。本发明实施例提供的帧图像转换方法，能够根据所述最长线段的方向，准确的估计出该2D帧图像的基于相对高度线索的深度信息，从而使根据该深度信息生成的深度图更加真实，转换而成的3D图像逼真自然。

实施例3

图3示出根据本发明一实施例的帧视频转换方法的流程图。如图3所示，该方法主要可以包括：

步骤S200、提取2D帧视频的最长线段；

步骤S210、根据所述最长线段的方向确定所述2D帧视频的第一深度图；

步骤S220、根据与所述2D帧视频相邻的一帧视频，确定所述2D帧视频的运动信息；

步骤S230、根据所述运动信息确定所述2D帧视频的第二深度图；

步骤S240、根据所述第一深度图、所述第二深度图以及所述2D帧视频生成所述2D帧视频对应的3D帧视频。

本发明实施例的帧视频转换方法，是一种基于相对高度信息和运动信息的帧视频转换方法。首先，通过提取所述2D帧视频的最长线段以及根据所述最长线段的方向确定所述2D帧视频的第一深度图，即基于相对高度信息来估计出该2D帧视频的背景深度信息，通过该背景深度信息可以生成该2D帧视频的背景区域的深度图。其次，通过根据与所述2D帧视频相邻的一帧视频，估计出所述2D帧图像的运动信息以及根据所述运动信息得到所述2D帧视频的第二深度图，即基于运动信息来估计该2D帧视频的运动深度信息，通过该运动深度信息可以生成该2D帧视频的运动深度图。最后，将所得到的背景区域的深度图和运动深度图合成，即可得到该2D帧视频的深度图。本发明实施例提供的帧视频转换方法，能够根据所述最长线段的方向，准确的估计出该2D帧视频的基于相对高度线索的深度信息以及该2D帧视频的运动信息，恢复出该2D帧视频的基于运动线索的深度信息，结合基于相对高度线索的深度信息和基于运动线索的深度信息来合成深度图。这样，与仅用一个深度线索合成的深度图相比具有更高的可靠性，且能保持良好的深度边缘信息，从而使生成深度图更加真实，转换而成的3D帧视频逼真自然，有利用提高用户体验。

实施例4

图4示出根据本发明另一实施例的帧视频转换方法的流程图。图4中标号与图3相同的步骤具有相同的功能，为简明起见，省略对这些步骤的详细说明。

如图4所示，图4所示的帧视频转换方法与图3所示帧视频转换方法的主要区别在于，上述步骤S200还可以具体包括以下步骤：

步骤S2001、利用双边滤波对所述2D帧视频进行平滑去噪处理；

步骤S2002、利用霍夫变换技术检测双边滤波后的所述2D帧视频，以提取所述2D帧视频的最长线段。

在一种可能的实现方式中，上述步骤S110具体可以包括以下步骤：

步骤S2101、根据所述最长线段的方向确定与所述2D帧视频对应的初始深度模板的深度变换方向；

步骤S2102、将双边滤波后的所述2D帧视频进行分块，并对分块结果进行分组聚类；

步骤S2103、基于所述初始深度模板，根据所述深度变换方向和分组聚类结果，得到所述第一深度图。

在一种可能的实现方式中，在步骤S2103之后，上述步骤S210还可以包括步骤S2104。

步骤S2104、利用交叉双边滤波处理所得到的第一深度图。

在一种可能的实现方式中，上述步骤S2101具体可以包括：

以双边滤波后的所述2D帧视频中的任一点为原点，以双边滤波后的所述帧视频的水平向右方向为x轴正方向，竖直向下方向为y轴正方向建立平面直角坐标系；如果所述最长线段按顺时针方向与x轴正方向的夹角在(112.5°，157.5°)或(292.5°，337.5°）的第一范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧视频左下向右上变换；如果所述最长线段按顺时针方向与x轴正方向的夹角在(22.5°，67.5°)或(202.5°，247.5°)的第二范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧视频右下向左上变换；如果所述最长线段按顺时针方向与x轴正方向的夹角不在所述第一范围和第二范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧视频底部向上部变换。

上述步骤S2001、S2002、S2101、S2102、S2103以及S2104可以分别具体参见上述实施例2中的步骤S1001、S1002、S1101、S1102、S1103以及S1104的阐述。参照实施例2根据2D帧图像得到其对应的深度图的方法，可以根据2D帧视频基于相对高度信息得到其对应的背景区域的深度图即第一深度图D_h。

在一种可能的实现方式中，上述步骤S220具体还可以包括以下步骤：

步骤S2201、根据与所述2D帧视频相邻的一帧视频，估计得到所述2D帧视频的每个像素的运动矢量；

步骤S2202、根据所述每个像素的运动矢量得到所述每个像素的运动信息。

对于上述步骤S2201，对相邻的两帧视频I_t和I_t+1以t时刻的视频帧I_t为当前帧视频，结合其后续t+1时刻的一帧视频I_t+1为参考帧，在一种可能的实现方式中，可以应用稠密光流估计法例如SimpleFlow得到当前帧视频I_t的运动矢量(u,v)。

对于上述步骤S2202，在一种可能的实现方式中，可以利用公式（7）得到当前帧视频I_t中每个像素的运动信息motion以及帧视频I_t中所有像素的运动信息的最大值MaxMotion，

$\begin{array}{c}\mathrm{motion}(i,j)=\sqrt{u{(i,j)}^2+v{(i,j)}^2}\\ \mathrm{MaxMotion}=\max \left(\mathrm{motion}(i,j)\right)\\ i\∈[0,\mathrm{width}),j\∈[0,\mathrm{height})\end{array}---\left(7\right)$

其中，motion(i,j)为帧视频I_t在(i,j)坐标位置处的运动值，MaxMotion是帧视频I_t中所有像素的运动信息的最大值，u(i,j)和v(i,j)分别为帧视频I_t在(i,j)坐标位置处水平方向和竖直方向的位移大小，width和height分别帧视频I_t的宽度和高度。

在一种可能的实现方式中，上述步骤S230具体还可以包括以下步骤：

步骤S2301、根据所述每个像素的运动信息，得到所述每个像素的深度信息；

步骤S2302、根据所述每个像素的深度信息得到所述2D帧视频的第二深度图。

对于上述步骤S2301，根据每个像素的运动信息motion大小，按照运动越快的物体距离摄像机越近，运动越慢的物体距离摄像机越远的假设，利用线性变换调节到预设的深度范围[0,MaxDepth],即运动信息最大值所对应位置的深度值是MaxDepth，优选的，可以设定其值为120。在一种可能的实现方式中，可以根据公式（8）就可以得到每个像素的深度信息值。

$D_m(i,j)=\frac{\mathrm{motion}(i,g)}{\mathrm{MaxMotion}}\mathrm{MaxDepth}---\left(8\right)$

其中D_m(i,j)为帧视频I_t在(i,j)坐标位置处的深度值。

对于上述步骤S2302，根据所述每个像素的深度信息，就可以得到该帧视频基于运动信息的第二深度图即深度图D_m。

在一种可能的实现方式中，上述步骤S240具体可以包括以下步骤：

步骤S2401、将所述第一深度图与所述第二深度图融合生成所述2D帧视频的第三深度图；

步骤S2402、根据所述第三深度图及所述2D帧视频生成所述2D帧视频对应的3D帧视频。

对于上述步骤S2401，将由相对高度信息得到的第一深度图D_h和由运动信息得到的第二深度图D_m，按一定的权重比融合得到最终的第三深度图D。最终的第三深度图D中，保留了运动部分的深度信息，添加了背景的基于相对高度的深度信息，可以非常合理准确的反映原图像的真实深度信息。在一种可能的实现方式中，可以利用公式（9）合成深度图：

D(x,y)=W_m*D_m(x,y)+W_h*D_h(x,y)（9）

W_m+W_h=1

需要说明的是，W_m默认为0.7，W_h为0.3。当运动信息比较明显时，可以适当的增加W_m，减小W_h，反之亦然。

对于步骤S2402，利用基于深度图像绘制技术，结合帧视频以及生成的对应深度图像，可以生成虚拟的左视图和右视图。对于生成的每个虚拟视图，其每个像素的位置(u,v)都是由原图像根据深度值进行投影映射得到的，在一种可能实现方式中，映射得到左右视图的公式如上述公式(5)所示。

投影映射得到的左右视图中，因为深度在边缘的不连续性，使得生成的左右虚拟视图的边缘处常会出现空洞，即没有信息的像素点。在一种可能的实现方式中，可以采用背景像素来填充这些空洞，如上述公式(6)所示。

对于生成的左右虚拟视图，对左视图取红色通道，对右视图取绿色和蓝色通道，将这三个通道融合就可以得到最终的红蓝格式的3D视图。

需要说明的是，上述实施例仅是将一个帧的2D视频转换成3D视频，1个2D视频包括很多帧的2D视频，只用重复应用上述帧视频转换方法，就可以将2D视频中所有的帧视频转换成相应的3D帧视频，从而将2D视频转换成3D视频。

本发明实施例提供的帧视频转换方法，能够根据所述最长线段的方向，准确的估计出该2D帧视频的基于相对高度线索的深度信息以及该2D帧视频的运动信息，估计出该2D帧视频的基于运动线索的深度信息，结合基于相对高度线索的深度信息和基于运动线索的深度信息来合成深度图。这样，与仅用一个深度线索合成的深度图相比具有更高的可靠性，且能保持良好的深度边缘信息，从而使生成深度图更加真实，转换而成的3D帧视频逼真自然，有利于提高用户体验。

实施例5

图5示出根据本发明一实施例的帧图像转换装置的结构框图。如图5所示，该装置50主要可以包括第一提取模块51、第一确定模块52以及第一生成模块53。其中，第一提取模块51主要用于提取所述2D帧图像的最长线段；第一确定模块52与所述第一提取模块51连接，主要用于根据所述最长线段的方向确定所述2D帧图像的第一深度图；第一生成模块53与所述第一确定模块52连接，主要用于根据所述第一深度图及所述2D帧图像生成所述2D帧图像对应的3D帧图像。

本发明实施例的帧图像转换装置，首先第一提取模块提取所述2D帧图像的最长线段，然后第一确定模块根据所述最长线段的方向确定所述2D帧图像的第一深度图，最后第一生成模块根据所述第一深度图及所述2D帧图像生成所述2D帧图像对应的3D帧图像。本发明实施例提供的帧图像转换装置，能够基于相对高度线索来准确的估计出该2D帧图像的深度信息，从而使根据该深度信息生成的深度图更加真实，转换而成的3D图像逼真自然。

实施例6

图6示出根据本发明另一实施例的帧图像转换装置的结构框图。如图6所示，本实施例所述的帧图像转换装置60与实施例5所述的帧图像转换装置50的主要区别在于，所述第一提取模块51主要可以包括第一双边滤波处理单元511以及第一提取单元512。其中，第一双边滤波处理单元511主要用于利用双边滤波对所述2D帧图像进行平滑去噪处理；第一提取单元512与所述第一双边滤波处理单元511连接，主要用于利用霍夫变换技术检测双边滤波后的所述2D帧图像，以提取所述2D帧图像的最长线段。

在一种可能的实现方式中，所述第一确定模块52包括第一深度变换方向确定单元521、第一分块单元522以及第一确定单元523。其中，第一深度变换方向确定单元521主要用于根据所述最长线段的方向确定与所述2D帧图像对应的初始深度模板的深度变换方向；第一分块单元522主要用于将双边滤波后的所述2D帧图像进行分块，并对分块结果进行分组聚类；第一确定单元523与所述第一深度变换方向确定单元521和第一分块单元522连接，主要用于基于所述初始深度模板，根据所述深度变换方向和分组聚类结果，得到所述第一深度图。

在一种可能的实现方式中，所述第一深度变换方向确定单元521用于：

以双边滤波后的所述2D帧图像中的任一点为原点，以双边滤波后的所述2D帧图像的水平向右方向为x轴正方向，竖直向下方向为y轴正方向建立平面直角坐标系；如果所述最长线段按顺时针方向与x轴正方向的夹角在(112.5°，157.5°)或(292.5°，337.5°）的第一范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧图像左下向右上变换；如果所述最长线段按顺时针方向与x轴正方向的夹角在(22.5°，67.5°)或(202.5°，247.5°)的第二范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧图像右下向左上变换；如果所述最长线段按顺时针方向与x轴正方向的夹角不在所述第一范围和第二范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧图像底部向上部变换。

在一种可能的实现方式中，帧图像转换装置60还包括第一交叉双边滤波处理模块54。其中，第一交叉双边滤波处理模块54主要用于利用交叉双边滤波处理所得到的所述第一深度图。

本发明实施例的帧图像转换装置，能够基于相对高度线索来估计该2D帧图像的深度信息，从而根据估计出的该2D帧图像的深度信息来恢复出该2D帧图像的深度图，从而将该2D帧图像转3D帧图像。本发明实施例提供的帧图像转换装置，能够根据最长线段的方向，准确的估计出该2D帧图像的基于相对高度线索的深度信息，从而使根据该深度信息生成的深度图更加真实，转换而成的3D图像逼真自然。

实施例7

图7示出根据本发明一实施例的帧视频转换装置的结构框图。如图7所示，帧视频转换装置70主要可以包括第二提取模块71、第二确定模块72、第三确定模块73以及第二生成模块74。其中，第二提取模块71主要用于提取2D帧视频的最长线段；第二确定模块72与所述第二提取模块71连接，主要用于根据所述最长线段的方向确定所述2D帧视频的第一深度图；第三确定模块73主要用于根据与所述2D帧视频相邻的一帧视频，确定所述2D帧视频的运动信息；以及用于根据所述运动信息确定所述2D帧视频的第二深度图；第二生成模块74，与所述第二确定模块72与第三确定模块73连接，用于根据所述第一深度图、所述第二深度图以及所述2D帧视频生成所述2D帧视频对应的3D帧视频。

本发明实施例的帧视频转换装置，能够根据所述最长线段的方向，准确的估计出该2D帧视频的基于相对高度线索的深度信息以及该2D帧视频的运动信息，恢复出该2D帧视频的基于运动线索的深度信息，结合基于相对高度线索的深度信息和基于运动线索的深度信息来合成深度图。这样，与仅用一个深度线索合成的深度图相比具有更高的可靠性，且能保持良好的深度边缘信息，从而使生成深度图更加真实，转换而成的3D帧视频逼真自然，有利用提高用户体验。

实施例8

图8示出根据本发明另一实施例的帧视频转换装置的结构框图。如图8所示，本实施例所述的帧视频转换装置80与实施例7所述的帧视频转换装置70的主要区别在于，第二提取模块71包括第二双边滤波处理单元711以及第二提取单元712。其中，第二双边滤波处理单元711，主要用于利用双边滤波对所述2D帧视频进行平滑去噪处理；第二提取单元712，与所述第二双边滤波处理单元711连接，主要用于利用霍夫变换技术检测双边滤波后的所述2D帧视频，以提取所述2D帧视频的最长线段。

在一种可能的实现方式中，第二确定模块72包括第二深度变换方向确定单元721、第二分块单元722以及第二确定单元723。其中，第二深度变换方向确定单元721，主要用于根据所述最长线段的方向确定与所述2D帧视频对应的初始深度模板的深度变换方向；第二分块单元722，主要用于将双边滤波后的所述2D帧视频进行分块，并对分块结果进行分组聚类；第二确定单元723，与所述第二深度变换方向确定单元721和第二分块单元722连接，基于所述初始深度模板，根据所述深度变换方向和分组聚类结果，得到所述第一深度图。

在一种可能的实现方式中，第二深度变换方向确定单元721主要用于：以双边滤波后的所述2D帧视频中的任一点为原点，以双边滤波后的所述帧视频的水平向右方向为x轴正方向，竖直向下方向为y轴正方向建立平面直角坐标系；如果所述最长线段按顺时针方向与x轴正方向的夹角在(112.5°，157.5°)或(292.5°，337.5°）的第一范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧视频左下向右上变换；如果所述最长线段按顺时针方向与x轴正方向的夹角在(22.5°，67.5°)或(202.5°，247.5°)的第二范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧视频右下向左上变换；如果所述最长线段按顺时针方向与x轴正方向的夹角不在所述第一范围和第二范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧视频底部向上部变换。

在一种可能的实现方式中，帧视频转换装置80还包括第二交叉双边滤波处理模块75。其中，第二交叉双边滤波处理模块75，主要用于利用交叉双边滤波处理所得到的所述第一深度图。

在一种可能的实现方式中，第三确定模块73主要用于：根据与所述2D帧视频相邻的一帧视频，确定所述2D帧视频的每个像素的运动矢量；以及用于根据所述每个像素的运动矢量得到所述每个像素的运动信息。

在一种可能的实现方式中，所述第三确定模块73还用于：根据所述每个像素的运动信息，得到所述每个像素的深度信息；以及根据所述每个像素的深度信息确定所述2D帧视频的第二深度图。

在一种可能的实现方式中，所述第二生成模块74主要用于将所述第一深度图与所述第二深度图融合生成所述2D帧视频的第三深度图；以及根据所述第三深度图及所述2D帧视频生成所述2D帧视频对应的3D帧视频。

本发明实施例提供的帧视频转换装置，能够根据所述最长线段的方向，准确的估计出该2D帧视频的基于相对高度线索的深度信息以及该2D帧视频的运动信息，估计出该2D帧视频的基于运动线索的深度信息，结合基于相对高度线索的深度信息和基于运动线索的深度信息来合成深度图。这样，与仅用一个深度线索合成的深度图相比具有更高的可靠性，且能保持良好的深度边缘信息，从而使生成深度图更加真实，转换而成的3D帧视频逼真自然，有利用提高用户体验。

实施例9

图9示出根据本发明又一实施例的帧图像转换装置的结构框图。所述帧图像转换装置900可以是具备计算能力的主机服务器、个人计算机PC、或者可携带的便携式计算机或终端等。本发明具体实施例并不对计算节点的具体实现做限定。

所述帧图像转换装置900包括处理器(processor)910、通信接口(CommunicationsInterface)920、存储器(memory)930和总线940。其中，处理器910、通信接口920、以及存储器930通过总线940完成相互间的通信。

通信接口920用于与网络设备通信，其中网络设备包括例如虚拟机管理中心、共享存储等。

处理器910用于执行程序。处理器910可能是一个中央处理器CPU，或者是专用集成电路ASIC（ApplicationSpecificIntegratedCircuit），或者是被配置成实施本发明实施例的一个或多个集成电路。

存储器930用于存放文件。存储器930可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器930也可以是存储器阵列。存储器930还可能被分块，并且所述块可按一定的规则组合成虚拟卷。

在一种可能的实施方式中，上述程序可为包括计算机操作指令的程序代码。该程序具体可用于：

提取2D帧图像的最长线段；

根据所述最长线段的方向确定所述2D帧图像的第一深度图；

根据所述第一深度图及所述2D帧图像生成所述2D帧图像对应的3D帧图像。

在一种可能的实现方式中，所述提取2D帧图像的最长线段，包括：

利用双边滤波对所述2D帧图像进行平滑去噪处理；

利用霍夫变换技术检测双边滤波后的所述2D帧图像，以提取所述2D帧图像的最长线段。

在一种可能的实现方式中，所述根据所述最长线段的方向确定所述2D帧图像的第一深度图，包括：

根据所述最长线段的方向确定与所述2D帧图像对应的初始深度模板的深度变换方向；

将双边滤波后的所述2D帧图像进行分块，并对分块结果进行分组聚类；

基于所述初始深度模板，根据所述深度变换方向和分组聚类结果，得到所述第一深度图。

在一种可能的实现方式中，所述根据所述最长线段的方向确定与所述2D帧图像对应的初始深度模板的深度变换方向，包括：

以双边滤波后的所述2D帧图像中的任一点为原点，以双边滤波后的所述2D帧图像的水平向右方向为x轴正方向，竖直向下方向为y轴正方向建立平面直角坐标系，

如果所述最长线段按顺时针方向与x轴正方向的夹角在(112.5°，157.5°)或(292.5°，337.5°）的第一范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧图像左下向右上变换；

如果所述最长线段按顺时针方向与x轴正方向的夹角在(22.5°，67.5°)或(202.5°，247.5°)的第二范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧图像右下向左上变换；

如果所述最长线段按顺时针方向与x轴正方向的夹角不在所述第一范围和第二范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧图像底部向上部变换。

在一种可能的实现方式中，在所述基于所述初始深度模板，根据所述深度变换方向和分组聚类结果，得到所述第一深度图后，该程序还用于：

利用交叉双边滤波处理所得到的所述第一深度图。

实施例10

图10示出根据本发明再又一实施例的帧视频转换装置的结构框图。所述帧视频转换装置1000可以是具备计算能力的主机服务器、个人计算机PC、或者可携带的便携式计算机或终端等。本发明具体实施例并不对计算节点的具体实现做限定。

所述帧视频转换装置1000包括处理器(processor)1010、通信接口(CommunicationsInterface)1020、存储器(memory)1030和总线1040。其中，处理器1010、通信接口1020、以及存储器1030通过总线1040完成相互间的通信。

通信接口1020用于与网络设备通信，其中网络设备包括例如虚拟机管理中心、共享存储等。

处理器1010用于执行程序。处理器1010可能是一个中央处理器CPU，或者是专用集成电路ASIC（ApplicationSpecificIntegratedCircuit），或者是被配置成实施本发明实施例的一个或多个集成电路。

存储器1030用于存放文件。存储器1030可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器1030也可以是存储器阵列。存储器1030还可能被分块，并且所述块可按一定的规则组合成虚拟卷。

在一种可能的实施方式中，上述程序可为包括计算机操作指令的程序代码。该程序具体可用于：

提取2D帧视频的最长线段；

根据所述最长线段的方向确定所述2D帧视频的第一深度图；

根据与所述2D帧视频相邻的一帧视频，确定所述2D帧视频的运动信息；

根据所述运动信息确定所述2D帧视频的第二深度图；

根据所述第一深度图、所述第二深度图以及所述2D帧视频生成所述2D帧视频对应的3D帧视频。

在一种可能的实现方式中，所述提取2D帧视频的最长线段，包括：

利用双边滤波对所述2D帧视频进行平滑去噪处理；

利用霍夫变换技术检测双边滤波后的所述2D帧视频，以提取所述2D帧视频的最长线段。

在一种可能的实现方式中，所述根据所述最长线段的方向确定所述2D帧视频的第一深度图，包括：

根据所述最长线段的方向确定与所述2D帧视频对应的初始深度模板的深度变换方向；

将双边滤波后的所述2D帧视频进行分块，并对分块结果进行分组聚类；

基于所述初始深度模板，根据所述深度变换方向和分组聚类结果，得到所述第一深度图。

在一种可能的实现方式中，所述根据所述最长线段的方向确定与所述2D帧视频对应的初始深度模板的深度变换方向，包括：

以双边滤波后的所述2D帧视频中的任一点为原点，以双边滤波后的所述帧视频的水平向右方向为x轴正方向，竖直向下方向为y轴正方向建立平面直角坐标系，

如果所述最长线段按顺时针方向与x轴正方向的夹角在(112.5°，157.5°)或(292.5°，337.5°）的第一范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧视频左下向右上变换；

如果所述最长线段按顺时针方向与x轴正方向的夹角在(22.5°，67.5°)或(202.5°，247.5°)的第二范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧视频右下向左上变换；

如果所述最长线段按顺时针方向与x轴正方向的夹角不在所述第一范围和第二范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧视频底部向上部变换。

在一种可能的实现方式中，在所述基于所述初始深度模板，根据所述深度变换方向和分组聚类结果，得到所述第一深度图后，该程序还用于：

利用交叉双边滤波处理所得到的所述第一深度图。

结合第二方面，在一种可能的实现方式中，根据与所述2D帧视频相邻的一帧视频，确定所述2D帧视频的运动信息，包括：

根据与所述2D帧视频相邻的一帧视频，估计得到所述2D帧视频的每个像素的运动矢量；

根据所述每个像素的运动矢量得到所述每个像素的运动信息。

在一种可能的实现方式中，所述根据所述运动信息确定所述2D帧视频的第二深度图，包括：

根据所述每个像素的运动信息，得到所述每个像素的深度信息；

根据所述每个像素的深度信息得到所述2D帧视频的第二深度图。

在一种可能的实现方式中，所述根据所述第一深度图、所述第二深度图以及所述2D帧视频生成所述2D帧视频对应的3D帧视频，包括：

将所述第一深度图与所述第二深度图融合生成所述2D帧视频的第三深度图；

根据所述第三深度图及所述2D帧视频生成所述2D帧视频对应的3D帧视频。

本领域普通技术人员可以意识到，本文所描述的实施例中的各示例性单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件形式来实现，取决于技术方案的特定应用和设计约束条件。专业技术人员可以针对特定的应用选择不同的方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

如果以计算机软件的形式来实现所述功能并作为独立的产品销售或使用时，则在一定程度上可认为本发明的技术方案的全部或部分（例如对现有技术做出贡献的部分）是以计算机软件产品的形式体现的。该计算机软件产品通常存储在计算机可读取的非易失性存储介质中，包括若干指令用以使得计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本发明各实施例方法的全部或部分步骤。而前述的存储介质包括U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，RandomAccessMemory）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (22)

1.一种帧图像转换方法，其特征在于，包括：

提取2D帧图像的最长线段；

根据所述最长线段的方向，确定所述2D帧图像的第一深度图；

根据所述第一深度图及所述2D帧图像，生成所述2D帧图像对应的3D帧图像，

其中，所述根据所述最长线段的方向，确定所述2D帧图像的第一深度图，包括：

根据所述最长线段的方向，确定与所述2D帧图像对应的初始深度模板的深度变换方向；

将双边滤波后的所述2D帧图像进行分块，并对分块结果进行分组聚类；

基于所述初始深度模板，根据所述深度变换方向和分组聚类结果，得到所述第一深度图。

2.根据权利要求1所述的帧图像转换方法，其特征在于，所述提取2D帧图像的最长线段，包括：

利用双边滤波对所述2D帧图像进行平滑去噪处理；

利用霍夫变换技术检测双边滤波后的所述2D帧图像，以提取所述2D帧图像的最长线段。

3.根据权利要求1所述的帧图像转换方法，其特征在于，所述根据所述最长线段的方向，确定与所述2D帧图像对应的初始深度模板的深度变换方向，包括：

以双边滤波后的所述2D帧图像中的任一点为原点，以双边滤波后的所述2D帧图像的水平向右方向为x轴正方向，竖直向下方向为y轴正方向建立平面直角坐标系；

如果所述最长线段按顺时针方向与x轴正方向的夹角在(112.5°，157.5°)或(292.5°，337.5°)的第一范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧图像左下向右上变换；

如果所述最长线段按顺时针方向与x轴正方向的夹角在(22.5°，67.5°)或(202.5°，247.5°)的第二范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧图像右下向左上变换；

如果所述最长线段按顺时针方向与x轴正方向的夹角不在所述第一范围和第二范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧图像底部向上部变换。

4.根据权利要求1所述的帧图像转换方法，其特征在于，在所述基于所述初始深度模板，根据所述深度变换方向和分组聚类结果，得到所述第一深度图后，还包括：

利用交叉双边滤波处理所得到的所述第一深度图。

5.一种帧视频转换方法，其特征在于，包括：

提取2D帧视频的最长线段；

根据所述最长线段的方向，确定所述2D帧视频的第一深度图；

根据与所述2D帧视频相邻的一帧视频，确定所述2D帧视频的运动信息；

根据所述运动信息确定所述2D帧视频的第二深度图；

根据所述第一深度图、所述第二深度图以及所述2D帧视频，生成所述2D帧视频对应的3D帧视频，

其中，所述根据所述最长线段的方向，确定所述2D帧视频的第一深度图，包括：

根据所述最长线段的方向，确定与所述2D帧视频对应的初始深度模板的深度变换方向；

将双边滤波后的所述2D帧视频进行分块，并对分块结果进行分组聚类；

基于所述初始深度模板，根据所述深度变换方向和分组聚类结果，得到所述第一深度图。

6.根据权利要求5所述的帧视频转换方法，其特征在于，所述提取2D帧视频的最长线段，包括：

利用双边滤波对所述2D帧视频进行平滑去噪处理；

利用霍夫变换技术检测双边滤波后的所述2D帧视频，以提取所述2D帧视频的最长线段。

7.根据权利要求5所述的帧视频转换方法，其特征在于，所述根据所述最长线段的方向，确定与所述2D帧视频对应的初始深度模板的深度变换方向，包括：

以双边滤波后的所述2D帧视频中的任一点为原点，以双边滤波后的所述帧视频的水平向右方向为x轴正方向，竖直向下方向为y轴正方向建立平面直角坐标系；

如果所述最长线段按顺时针方向与x轴正方向的夹角在(112.5°，157.5°)或(292.5°，337.5°)的第一范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧视频左下向右上变换；

如果所述最长线段按顺时针方向与x轴正方向的夹角在(22.5°，67.5°)或(202.5°，247.5°)的第二范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧视频右下向左上变换；

如果所述最长线段按顺时针方向与x轴正方向的夹角不在所述第一范围和第二范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧视频底部向上部变换。

8.根据权利要求5所述的帧视频转换方法，其特征在于，在所述基于所述初始深度模板，根据所述深度变换方向和分组聚类结果，得到所述第一深度图后，还包括：

利用交叉双边滤波处理所得到的所述第一深度图。

9.根据权利要求5或6所述的帧视频转换方法，其特征在于，根据与所述2D帧视频相邻的一帧视频，确定所述2D帧视频的运动信息，包括：

根据与所述2D帧视频相邻的一帧视频，估计得到所述2D帧视频的每个像素的运动矢量；

根据所述每个像素的运动矢量，得到所述每个像素的运动信息。

10.根据权利要求9所述的帧视频转换方法，其特征在于，所述根据所述运动信息确定所述2D帧视频的第二深度图，包括：

根据所述每个像素的运动信息，得到所述每个像素的深度信息；

根据所述每个像素的深度信息，得到所述2D帧视频的第二深度图。

11.根据权利要求5或6所述的帧视频转换方法，其特征在于，所述根据所述第一深度图、所述第二深度图以及所述2D帧视频，生成所述2D帧视频对应的3D帧视频，包括：

将所述第一深度图与所述第二深度图融合，以生成所述2D帧视频的第三深度图；

根据所述第三深度图及所述2D帧视频，生成所述2D帧视频对应的3D帧视频。

12.一种帧图像转换装置，其特征在于，包括：

第一提取模块，用于提取2D帧图像的最长线段；

第一确定模块，与所述第一提取模块连接，用于根据所述最长线段的方向确定所述2D帧图像的第一深度图；

第一生成模块，与所述第一确定模块连接，用于根据所述第一深度图及所述2D帧图像，生成所述2D帧图像对应的3D帧图像，

其中，所述第一确定模块包括：

第一深度变换方向确定单元，用于根据所述最长线段的方向，确定与所述2D帧图像对应的初始深度模板的深度变换方向；

第一分块单元，用于将双边滤波后的所述2D帧图像进行分块，并对结果分块进行分组聚类；

第一确定单元，与所述第一深度变换方向确定单元和第一分块单元连接，用于基于所述初始深度模板，根据所述深度变换方向和分组聚类结果，得到所述第一深度图。

13.根据权利要求12所述的帧图像转换装置，其特征在于，所述第一提取模块包括：

第一双边滤波处理单元，用于利用双边滤波对所述2D帧图像进行平滑去噪处理；

第一提取单元，与所述第一双边滤波处理单元连接，用于利用霍夫变换技术检测双边滤波后的所述2D帧图像，以提取所述2D帧图像的最长线段。

14.根据权利要求12所述的帧图像转换装置，其特征在于，所述第一深度变换方向确定单元用于：

以双边滤波后的所述2D帧图像中的任一点为原点，以双边滤波后的所述帧图像的水平向右方向为x轴正方向，竖直向下方向为y轴正方向建立平面直角坐标系；

如果所述最长线段按顺时针方向与x轴正方向的夹角在(112.5°，157.5°)或(292.5°，337.5°)的第一范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧图像左下向右上变换；

如果所述最长线段按顺时针方向与x轴正方向的夹角在(22.5°，67.5°)或(202.5°，247.5°)的第二范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧图像右下向左上变换；

如果所述最长线段按顺时针方向与x轴正方向的夹角不在所述第一范围和第二范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧图像底部向上部变换。

15.根据权利要求12所述的帧图像转换装置，其特征在于，还包括：

第一交叉双边滤波处理模块，用于利用交叉双边滤波处理所得到的所述第一深度图。

16.一种帧视频转换装置，其特征在于，包括：

第二提取模块，用于提取2D帧视频的最长线段；

第二确定模块，与所述第二提取模块连接，用于根据所述最长线段的方向，确定所述2D帧视频的第一深度图；

第三确定模块，用于根据与所述2D帧视频相邻的一帧视频，确定所述2D帧视频的运动信息；以及用于根据所述运动信息确定所述2D帧视频的第二深度图；

第二生成模块，与所述第二确定模块和第三确定模块连接，用于根据所述第一深度图、所述第二深度图以及所述2D帧视频，生成所述2D帧视频对应的3D帧视频，

其中，所述第二确定模块包括：

第二深度变换方向确定单元，用于根据所述最长线段的方向，确定与所述2D帧视频对应的初始深度模板的深度变换方向；

第二分块单元，用于将双边滤波后的所述2D帧视频进行分块，并对分块结果进行分组聚类；

第二确定单元，与所述第二深度变换方向确定单元和第二分块单元连接，基于所述初始深度模板，根据所述深度变换方向和分组聚类结果，得到所述第一深度图。

17.根据权利要求16所述的帧视频转换装置，其特征在于，所述第二提取模块包括：

第二双边滤波处理单元，用于利用双边滤波对所述2D帧视频进行平滑去噪处理；

第二提取单元，与所述第二双边滤波处理单元连接，用于利用霍夫变换技术检测双边滤波后的所述2D帧视频，以提取所述2D帧视频的最长线段。

18.根据权利要求16所述的帧视频转换装置，其特征在于，所述第二深度变换方向确定单元用于：

以双边滤波后的所述2D帧视频中的任一点为原点，以双边滤波后的所述帧视频的水平向右方向为x轴正方向，竖直向下方向为y轴正方向建立平面直角坐标系；

如果所述最长线段按顺时针方向与x轴正方向的夹角在(112.5°，157.5°)或(292.5°，337.5°)的第一范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧视频左下向右上变换；

如果所述最长线段按顺时针方向与x轴正方向的夹角在(22.5°，67.5°)或(202.5°，247.5°)的第二范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧视频右下向左上变换；

如果所述最长线段按顺时针方向与x轴正方向的夹角不在所述第一范围和第二范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧视频底部向上部变换。

19.根据权利要求16所述的帧视频转换装置，其特征在于，所述帧视频转换装置还包括：

第二交叉双边滤波处理模块，用于利用交叉双边滤波处理所得到的所述第一深度图。

20.根据权利要求16或17所述的帧视频转换装置，其特征在于，所述第三确定模块用于：

根据与所述2D帧视频相邻的一帧视频，确定所述2D帧视频的每个像素的运动矢量；

根据所述每个像素的运动矢量，得到所述每个像素的运动信息。

21.根据权利要求20所述的帧视频转换装置，其特征在于，所述第三确定模块还用于：

根据所述每个像素的运动信息，得到所述每个像素的深度信息；

根据所述每个像素的深度信息，确定所述2D帧视频的第二深度图。

22.根据权利要求16或17所述的帧视频转换装置，其特征在于，所述第二生成模块用于：

将所述第一深度图与所述第二深度图融合，以生成所述2D帧视频的第三深度图；

根据所述第三深度图及所述2D帧视频，生成所述2D帧视频对应的3D帧视频。