CN102957933A - 一种3d视频格式识别方法、装置 - Google Patents

Abstract

本发明适用于视频技术领域，提供了一种3D视频格式识别方法、装置，所述方法包括：从3D视频中提取一图像帧；计算所述图像帧的特征向量；输入所述特征向量至预先训练好的3D视频格式分类器中；所述3D视频格式分类器根据所述特征向量对所述3D视频的格式进行识别。本发明，计算输入的3D视频的图像帧的特征向量，并输入该特征向量至预先训练好的3D视频格式分类器中，以由所述3D视频格式分类器对待识别3D视频进行格式识别，得到所述3D视频的视频格式，后续播放器即可根据该格式对视频帧数据进行正确的拆分和重组，以播放正常的3D画面。

Description

一种3D视频格式识别方法、装置

技术领域

本发明属于视频技术领域，尤其涉及一种3D视频格式识别方法、装置。

背景技术

人以左右眼看同样的物体，因两眼观察角度不同，在视网膜上形成的成像并不完全相同，这两个成像经过大脑综合以后就能区分物体的前后、远近，从而产生立体视觉。立体3D显示就是根据这一原理，将同一景象的左眼图像和右眼图像分别送入观看者的左眼和右眼，让观察者产生立体观看感觉。

目前，常见的3D片源格式有：

frame sequence：连续交替发送左眼和右眼画面。

full-side-by-side：将左、右眼图像压进一帧画面中，左半帧画面为左眼图像，右半帧画面为右眼图像。

half-side-by-side：类似于full-side-by-side，但左、右眼图像的分辨率均在水平方向上压缩一半。

top-and-bottom：在这种格式中，左、右眼画面按上下排列方式压缩到一帧图像中，左、右眼图像的分辨率均在垂直方向上压缩为一半。

Frame Packing：为了保证数据完整性，将左、右眼画面按上下方式排列Frame Packing标准规定为区别左、右眼画面，在左、右眼画面之间包含一个空白区域。

隔行：将左、右眼画面在垂直方向上按行交错排列。

隔列：将左、右眼画面在水平方向上按列交错排列。

CheckBoard：在CheckBoard 3D格式中，左眼和右眼的图像被交织，也就是每相隔一个像素存放左眼或右眼图像。这种格式和国际象棋棋盘的方格相似，因此叫做CheckBoard格式。

3D视频格式众多，然而，目前还没有一种有效的方法能够自动识别各种3D视频格式，这给播放器对各种格式的3D视频进行自动解析造成了困难。

发明内容

本发明实施例提供了一种3D视频格式识别方法、装置，旨在解决现有技术无法自动识别3D视频格式，给播放器对各种格式的3D视频进行自动解析造成了困难的问题。

一方面，提供一种3D视频格式识别方法，所述方法包括：

从3D视频中提取一图像帧；

计算所述图像帧的特征向量；

输入所述特征向量至预先训练好的3D视频格式分类器中；

所述3D视频格式分类器根据所述特征向量对所述3D视频的格式进行识别。

另一方面，提供一种3D视频格式识别装置，所述装置包括：

图像帧提取单元，用于从3D视频中提取一图像帧；

特征向量计算单元，用于计算所述图像帧的特征向量；

特征向量输入单元，用于输入所述特征向量至预先训练好的3D视频格式分类器中；

训练好的3D视频格式分类器，用于根据所述特征向量对所述3D视频的格式进行识别。

在本发明实施例中，计算输入的3D视频的图像帧的特征向量，并输入该特征向量至预先训练好的3D视频格式分类器中，以由所述3D视频格式分类器对待识别3D视频进行格式识别，得到所述3D视频的视频格式，后续播放器即可根据该格式对视频帧数据进行正确的拆分和重组，以播放正常的3D画面。

附图说明

图1是本发明实施例一提供的3D视频格式识别方法的实现流程图；

图2是本发明实施例一提供的按照预设规则对灰度图像进行的区域划分示意图；

图3是本发明实施例一提供的对频谱图进行的区域划分示意图；

图4是本发明实施例二提供的3D视频格式识别装置的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在本发明实施例中，计算输入的3D视频的图像帧的特征向量，并输入该特征向量至预先训练好的3D视频格式分类器中，以由所述3D视频格式分类器对待识别3D视频进行格式识别，得到所述3D视频的视频格式，后续播放器即可根据该格式对视频帧数据进行正确的拆分和重组，以播放正常的3D画面。

以下结合具体实施例对本发明的实现进行详细描述：

实施例一

图1示出了本发明实施例一提供的3D视频格式识别方法的实现流程图，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：

在步骤S101中，从3D视频中提取一图像帧。

在本发明实施例中，从输入的3D视频中随机提取一帧图像帧。

在步骤S102中，计算所述图像帧的特征向量。

在本发明实施例中，首先从输入的3D视频中随机提取一帧图像帧，再计算该图像帧的特征向量，其中，该特征向量的计算步骤包括：

步骤1、将所述图像帧转换为灰度图像。

在本实施例中，将提取的彩色图像帧转换成灰度图像。

步骤2、按预设规则对所述灰度图像进行区域划分，得到预设组数左右眼图像对。

在本实施例中，对步骤1中得到的灰度图像进行区域划分，以得到预设组数的左右眼图像对，在本实施例中，预设的组数为两组。图2为按照预设规则进行的区域划分示意图。在图2中，将灰度图像划分为A、B、C、D四个大小相等的区域，并将区域A和区域B作为一组左右眼图像对，将区域A和区域C作为另一组左右眼图像对。

除上述的基本区域划分方法外，为了降低后续步骤的计算量，可以对图2所示的区域划分方法进行优化改进：如图2所示，截取区域A、B、C、D中的子区域A1、B1、C1、D1，然后可以选择区域A1、区域B1为一组左右眼图像对，选择区域A1、区域C1为另一组左右眼图像对；或先对所截取的区域进行组合构成一幅图像，如将A1、B1组合成AB1，C1、D1组合成CD1，将A1、C1组合成AC1，B1、D1组合成BD1，然后将组合构成的图像两两分为一组，比如，将AB1、CD1分为一组，那么AB1、CD1即为一组左右眼图像对，将AC1、BD1分为一组，则AC1、BD1即为另外一组左右眼图像对。需要注意的是，A1、B 1、C1、D1为大小相同的区域，且它们在A、B、C、D四个区域中的相对位置也一致。

步骤3、计算所述预设组数左右眼图像对的相似度特征。

在本实施例中，在步骤2中已经得到两组左右眼图像对，则可分别计算该两组左右眼图像对的相似度特征。每组图像的相似度可由归一化互相关系数（Normalized Correlation Coefficient，NCC）来表征，此外还可以选择绝对差值的总和（Sum of Absolute Difference，SAD）或差值平方和（Sum of SquaredDifference，SSD）来对相似度进行表征，上述相似度特征的计算方法为本领域公知技术，此处不再赘述。需要说明的是，为了提高对3D视频格式的识别率，可以增加左右眼图像对的组数，这样就增加了左右眼图像对相似度的个数，也即增加了图像特征向量的维数。

步骤4、计算所述图像帧的频谱特征。

在本实施例中，由于不同格式的3D视频图像中左右眼画面像素排列方式不同，因此其傅里叶变换频谱会有所差别，本实施例从图像帧的频谱中分析其能量分布，并从中提取图像帧的频谱特征。

具体步骤包括：

1a、对所述图像帧进行二维快速傅里叶变换，得到频谱图；

1b、对所述频谱图进行区域划分；

1c、统计低频段区域以及所述低频段区域垂直方向上、水平方向上以及对角方向上的高频段区域的能量均值，将所述能量均值作为所述图像帧的频谱特征。

详述如下：

首先对图像帧进行二维快速傅里叶变换，并对变换后得到的频谱图进行区域划分，图3所示为频谱图的区域划分示意图，本实施例分别统计低频段（如图3中区域D）以及垂直方向上、水平方向上、对角方向上高频段（分别为图3中区域B、C、A）的能量均值，并将所述能量均值作为图像帧的频谱特征。

此外，出于降低计算量的目的，可以截取3D视频的图像帧的一部分，然后对其进行二维快速傅里叶变换，并根据上述方法提取该截取图像的频谱特征；或者本实施例可以对截取的图像在行、列方向上分别进行一维快速傅里叶变换，并分别统计低频段、中频段以及高频段的能量均值，并将所述能量均值作为频谱特征，优选地，可以抽取图像中一定数目的行和列进行一维快速傅里叶变换，并统计这些行和列数据的低频段、中频段、高频段的能量均值，并将这些能量均值的比值（如低频段能量均值与中频段能量均值的比值，低频段能量均值与高频段能量均值的比值，以及中频段能量均值与高频段能量均值的比值）作为频谱特征。

步骤5、所述相似度特征和所述频谱特征组成所述图像帧的特征向量。

在本实施例中，将步骤3中计算得到的左右眼图像对相似度特征和步骤4中计算得到的频谱特征组成图像帧的特征向量，则一个特征向量可表征一帧3D视频图像。

在步骤S103中，输入所述特征向量至预先训练好的3D视频格式分类器中。

在本实施例中，输入步骤S102计算得到的特征向量至预先训练好的3D视频格式分类器中后，即可利用该训练好的3D视频格式分类器进行3D视频格式的自动识别。对一个3D视频执行步骤1至步骤5的操作，即可提取一图像帧的特征向量，将该特征向量作为3D视频格式分类器的输入，则3D视频格式分类器的输出即为3D视频格式的判别结果。此外，可以从3D视频中抓取多帧图像帧来进行综合判断，以进一步提高视频格式的识别率。

其中，利用生成的训练样本库对3D视频格式分类器来进行训练，可基于人工神经网络或支持向量机来构成3D视频格式分类器。人工神经网络和支持向量机分类器的训练方法为本领域公知技术，此处不再赘述。

具体的，可以计算各种格式的3D视频中的不同图像帧所对应的特征向量，由这些特征向量的集合构成所述3D视频格式分类器的训练样本库。

在本实施例中，每种格式的3D视频中的不同图像帧所对应的特征向量的计算详见步骤1至步骤5的描述，在此不再赘述。

在步骤S104中，所述3D视频格式分类器根据所述特征向量对所述3D视频的格式进行识别。

本发明实施例，计算输入的3D视频的图像帧的特征向量，并输入该特征向量至预先训练好的3D视频格式分类器中，以由所述3D视频格式分类器对待识别3D视频进行格式识别，得到所述3D视频的视频格式，后续播放器即可根据该格式对视频帧数据进行正确的拆分和重组，以播放正常的3D画面。

实施例二

图4示出了本发明实施例二提供的3D视频格式识别装置的结构框图，为了便于说明，仅示出了与本发明实施例相关的部分，所述3D视频格式识别装置包括：图像帧提取单元41、特征向量计算单元42和特征向量输入单元43。

其中，

图像帧提取单元41，用于从3D视频中提取一图像帧；

特征向量计算单元42，用于计算所述图像帧的特征向量；

特征向量输入单元43，用于输入所述特征向量至预先训练好的3D视频格式分类器中，训练好的3D视频格式分类器根据所述特征向量对所述3D视频的格式进行识别。

具体的，所述特征向量计算单元42包括：转换模块、左右眼图像对生成模块、相似度计算模块、频谱特征计算模块和特征向量生成模块。

其中，转换模块，用于将所述图像帧转换为灰度图像；

左右眼图像对生成模块，用于按预设规则对所述灰度图像进行区域划分，得到预设组数左右眼图像对；

相似度计算模块，用于计算所述预设组数左右眼图像对的相似度特征；

频谱特征计算模块，用于计算所述图像帧的频谱特征；

特征向量生成模块，用于将所述相似度特征和所述频谱特征组成所述图像帧的特征向量。

具体的，所述频谱特征计算模块包括：频谱图生成子模块、区域划分子模块和频谱特征生成子模块。

其中，频谱图生成子模块，用于对所述图像帧进行二维快速傅里叶变换，得到频谱图；

区域划分子模块，用于对所述频谱图进行区域划分；

频谱特征生成子模块，用于统计低频段区域以及所述低频段区域垂直方向上、水平方向上以及对角方向上的高频段区域的能量均值，将所述能量均值作为所述图像帧的频谱特征。

另外，本发明实施例提供的3D视频格式识别装置还可以包括样本库建立单元和分类器训练单元。

其中，样本库建立单元41，用于建立3D视频格式分类器的训练样本库，具体的，样本库建立单元41计算各种格式的3D视频中的不同图像帧所对应的特征向量，由这些特征向量的集合构成所述3D视频格式分类器的训练样本库；

分类器训练单元42，用于利用所述训练样本库对3D视频格式分类器进行训练，生成训练好的3D视频格式分类器。

值得注意的是，上述系统实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘或光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种3D视频格式识别方法，其特征在于，所述方法包括：

从3D视频中提取一图像帧；

计算所述图像帧的特征向量；

输入所述特征向量至预先训练好的3D视频格式分类器中；

所述3D视频格式分类器根据所述特征向量对所述3D视频的格式进行识别。

2.如权利要求1所述的方法，其特征在于，在所述输入所述特征向量至预先训练好的3D视频格式分类器中之前，所述方法还包括：

建立3D视频格式分类器的训练样本库；

利用所述训练样本库对3D视频格式分类器进行训练，生成训练好的3D视频格式分类器。

3.如权利要求2所述的方法，其特征在于，所述建立3D视频格式分类器的训练样本库具体为：

计算各种格式的3D视频中的不同图像帧所对应的特征向量，由这些特征向量的集合构成所述3D视频格式分类器的训练样本库。

4.如权利要求1所述的方法，其特征在于，所述计算所述图像帧的特征向量具体为：

将所述图像帧转换为灰度图像；

按预设规则对所述灰度图像进行区域划分，得到预设组数左右眼图像对；

计算所述预设组数左右眼图像对的相似度特征；

计算所述图像帧的频谱特征；

所述相似度特征和所述频谱特征组成所述图像帧的特征向量。

5.如权利要求4所述的方法，其特征在于，所述计算所述图像帧的频谱特征具体为：

对所述图像帧进行二维快速傅里叶变换，得到频谱图；

对所述频谱图进行区域划分；

统计低频段区域以及所述低频段区域垂直方向上、水平方向上以及对角方向上的高频段区域的能量均值，将所述能量均值作为所述图像帧的频谱特征。

6.一种3D视频格式识别装置，其特征在于，所述装置包括：

图像帧提取单元，用于从3D视频中提取一图像帧；

特征向量计算单元，用于计算所述图像帧的特征向量；

特征向量输入单元，用于输入所述特征向量至预先训练好的3D视频格式分类器中；

训练好的3D视频格式分类器，用于根据所述特征向量对所述3D视频的格式进行识别。

7.如权利要求6所述的装置，其特征在于，所述装置还包括：

样本库建立单元，用于建立3D视频格式分类器的训练样本库；

分类器训练单元，用于利用所述训练样本库对3D视频格式分类器进行训练，生成训练好的3D视频格式分类器。

8.如权利要求7所述的装置，其特征在于，所述样本库建立单元计算各种格式的3D视频中的不同图像帧所对应的特征向量，由这些特征向量的集合构成所述3D视频格式分类器的训练样本库。

9.如权利要求6所述的装置，其特征在于，所述特征向量计算单元包括：

转换模块，用于将所述图像帧转换为灰度图像；

左右眼图像对生成模块，用于按预设规则对所述灰度图像进行区域划分，得到预设组数左右眼图像对；

相似度计算模块，用于计算所述预设组数左右眼图像对的相似度特征；

频谱特征计算模块，用于计算所述图像帧的频谱特征；

特征向量生成模块，用于将所述相似度特征和所述频谱特征组成所述图像帧的特征向量。

10.如权利要求9所述的装置，其特征在于，所述频谱特征计算模块包括：

频谱图生成子模块，用于对所述图像帧进行二维快速傅里叶变换，得到频谱图；

区域划分子模块，用于对所述频谱图进行区域划分；

频谱特征生成子模块，用于统计低频段区域以及所述低频段区域垂直方向上、水平方向上以及对角方向上的高频段区域的能量均值，将所述能量均值作为所述图像帧的频谱特征。

Images