CN104185012B - 三维视频格式自动检测方法及装置 - Google Patents

Abstract

本发明公开了一种三维视频格式自动检测方法及装置，该装置包括：初始降维模块，对输入的视频图像信号进行初步降维；3D格式块特征统计模块，对经过初步降维处理得到的图像以像素点坐标进行计算该像素点所属图像块，在线统计该图像块的3D格式块特征，并获得3D格式块特征向量；3D格式特征值计算模块，通过该3D格式块特征向量分别计算第一类特征向量差和第二类特征向量差，由第一类和第二类特征向量差计算各自的最大向量差并分别求得第一类和第二类3D格式特征值；视频格式判别模块，根据3D格式特征值所属特征值类型判别视频格式，通过本发明，实现了一种易于硬件实现的低成本的三维视频格式检测技术。

Description

三维视频格式自动检测方法及装置

技术领域

本发明涉及视频显示领域，特别是涉及一种三维电视或三维视频播放器中的低成本的实时三维视频格式自动检测方法及装置。

背景技术

随着视频影像技术的发展，越来越多的二维(2D)和三维(3D)视频的视频影片上传到视频网站共享，以及随着越来越多的三维(3D)电影在电影院的放映和三维(3D)数字电视节目的开播，三维(3D)视频数量呈海量增长之势。目前可以通过现有宽带传送的三维(3D)的视频格式有左右格式(即，图像的左半部分是左眼图像，右半部分是右眼图像)、上下格式(即，图像的上半部分是左眼图像，下半部分是右眼图像)，三维视频的数量呈海量增长之势，如何把三维视频带回家已成为迫在眉睫的事情，但是仍然存在着许多的挑战。由于现有的视频中仍然存在着大量的二维(2D)视频，因此最需要解决的技术重要问题之一，就是针对电视上播放的各种片源进行自动检测出所播放的视频图像格式，控制电视正常播放片源，以实现电视智能化自动识别播放的片源是哪种格式的片源，这就需要提供一种自动检测视频格式是二维(2D)还是三维(3D)的技术手段，如果是三维(3D)视频格式，还需要检测是三维(3D)视频格式具体哪种三维格式(左右格式、上下格式中的哪种格式)。

一个完整的三维(3D)电视系统如图1所示，其主要模块包括视频信号接受端口、电源系统、音频处理器、扬声器、视频处理器、图形控制器、三维显示面板，而用于检测三维视频格式的模块则是图形控制器中的三维格式检测模块。

在三维(3D)格式检测技术的开发过程中，要面临严峻的问题是：随着视频技术的发展，视频图像的分辨率越来越高，在视频格式检测检测过程中，三维视频图像分辨率往往很高(分辨率至少大于1080P)，如果通过软件算法实现，视频格式实时检测时需要读取大量的图像信息，导致DDR(Double Data Rate，双倍速率同步动态随机存储器)在吞吐高频率高分辨率视频图像时，往往一个时刻(1/60s或1/120s)内就要读入高分辨率视频图像，这样会造成带宽严重负荷。对于CPU来说，需要处理的任务非常的多，如果是通过软件实现实时视频格式检测，视频格式检测算法复杂度高或者数据吞吐量大都会大量的消耗有限的CPU资源。所以必需通过硬件实现实时视频格式检测，必须保证算法是硬件可实现的，为了使芯片成本的最小化，使用的linebuffer硬件资源必需尽可能少。

公开号为CN101980545A的中国专利提供“一种自动检测三维TV视频节目格式的方法”，其通过先进行图像熵阈值判别，然后进行图像块像素的协方差相似性特征阈值征判别方法来判别视频格式，硬件实现成本非常高：例如输入的图像分辨率是1080P，如果需要计算第一个块的协方差，必需同时取到第1行和541行的图像数据，则硬件实现过程中至少540条长度为1920Byte的linebuffer的硬件资源，硬件资源消耗太高，无法通过硬件实现该视频格式自动检测方法。该专利在实际应用中，只可能通过软件实现，且软件实现过程中，至少需要一帧图像数据的DDR读写，特别是对于大分辨率的视频源，读写DDR数据需要消耗大量的DDR带宽资源，同时算法中需要大量的计算协方差相似性特征(大量的乘法和除法运算)，需要消耗大量的CPU资源，由于CPU资源和DDR带宽资源有限，这样大量的消耗有限资源会严重影响三维电视的正常播放功能的实现。

综上所述，公开号为CN101980545A的中国专利中的三维格式检测方法计算过于复杂，不易于硬件实现，只能用于研究，不能商用产品化，因此，实有必要提出一种易于硬件可实现的低成本的三维视频格式检测技术，以解决上述问题。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种三维视频格式自动检测方法及装置，其在具有三维视频格式高检测准确率的同时，有着较低的算法复杂度，硬件实现在线计算，无DDR带宽资源、无CPU资源消耗，同时硬件资源占用极少，硬件实现只需要2条linebuffer资源和少量的寄存器，具有低成本、低功耗，易于硬件实现。

为达上述及其它目的，本发明提出一种三维视频格式自动检测装置，至少包括：

初始降维模块，对输入的视频图像信号进行初步降维；

3D格式块特征统计模块，对经过初步降维处理得到的图像以像素点坐标进行计算该像素点所属图像块，并在线统计该图像块的块梯度模特征、块直方图特征和块亮度均值特征，并获得块梯度模特征向量、块直方图特征向量和块亮度均值特征向量；

3D格式特征值计算模块，通过该块梯度模特征向量、该块直方图特征向量和该块亮度均值特征向量分别计算第一类块梯度模特征向量差、第一类块直方图特征向量差、第一类块亮度均值特征向量差和第二类块梯度模特征向量差、第二类块直方图特征向量差、第二类块亮度均值特征向量差，由第一类和第二类特征向量差计算各自的最大向量差并分别求得第一类和第二类3D格式特征值。

视频格式判别模块，对3D格式特征值判断其所属类型，根据3D格式特征值所属特征值类型判别视频格式。

进一步地，该初始降维模块采用下采样方法对输入的视频图像信号进行初步降维。

进一步地，该初始降维模块对输入源图像先在列方向进行下采样，然后再在行方向进行下采样处理，或者该初始降维模块对输入源图像仅进行列或行方向下采样。

进一步地，该3D格式特征值计算模块将该块梯度模特征向量、该块亮度均值特征向量、该块亮度均值特征向量分别按照空间位置进行左右对半分解，分成左半部分特征向量和右半部分特征向量，计算左半部分与右半部分的特征向量距离，符号分别记为分别为该第一类块梯度模特征向量差、该第一类块直方图特征向量差、该第一类块亮度均值特征向量差，将该第一类块梯度模特征向量差第一类块直方图特征向量差第一类块亮度均值特征向量差进行加权可得该第一类3D格式特征值。

进一步地，该3D格式特征值计算模块将该块梯度模特征向量、该块亮度均值特征向量、该块亮度均值特征向量分别按照空间位置进行上下对半分解，分成上半部分特征向量和下半部分特征向量，计算上半部分与下半部分的特征向量距离，符号分别记为分别为该第二类块梯度模特征向量差、该第二类块直方图特征向量差、该第二类块亮度均值特征向量差，将该第二类块梯度模特征向量差第二类块直方图特征向量差第二类块亮度均值特征向量差进行加权可得该第一类3D格式特征值。

进一步地，该视频格式判别模块进行如下判别：如果3D格式特征值是3D强特征值，则判别图像为三维视频格式；如果3D格式特征值是2D强特征值，则判别图像为二维视频格式；如果3D格式特征值是模糊特征，则判别图像为与前一帧图像视频格式相同，最后输出视频格式信号以控制三维显示器按照该种视频格式来正常显示视频图像。

为达到上述目的，本发明还提供一种三维视频格式自动检测方法，包括如下步骤：

步骤一，对输入的视频图像信号进行初步降维处理；

步骤二，对经过初步降维处理得到的图像以像素点坐标进行计算该像素点所属图像块，并在线统计该图像块的块梯度模特征、块直方图特征和块亮度均值特征，并获取该图像块的块梯度模特征向量、块直方图特征向量和块亮度均值特征向量；

步骤三，通过块梯度模特征向量、块直方图特征向量和块亮度均值特征向量分别计算第一类块梯度模特征向量差、第一类块直方图特征向量差、第一类块亮度均值特征向量差和第二类块梯度模特征向量差、第二类块直方图特征向量差、第二类块亮度均值特征向量差，由第一类和第二类特征向量差计算各自的最大向量差并分别求得第一类和第二类3D格式特征值；

步骤四，判断3D格式特征值是否为3D强特征值、2D强特征值、模糊特征中的一种，并根据3D格式特征值所属特征值类型进行判别视频格式。

进一步地，步骤二进一步包括如下步骤：

对降维处理后的图像进行分块，并以像素点坐标进行计算该像素点所属图像块；

先计算像素点梯度模，再将所有属于第i行第j列块的像素点的梯度模累加求平均值计算得图像块的梯度模均值，将所有图像块进行计算块梯度模特征，获得该块梯度模特征向量；

将所有属于第i行第j列块的像素点亮度分量进行块直方图统计，将所有图像块进行计算块直方图特征，获得该块直方图特征向量；

将所有属于第i行第j列块的像素点的亮度值累加求平均值计算得到图像块的亮度均值，将所有图像块进行计算块亮度均值特征，获得该块亮度均值特征向量。

进一步地，步骤三进一步包括如下步骤：

将该块梯度模特征向量、该块亮度均值特征向量、该块亮度均值特征向量分别按照空间位置进行左右对半分解，分成左半部分特征向量和右半部分特征向量，计算左半部分与右半部分的特征向量距离，符号分别记为分别为该第一类块梯度模特征向量差、该第一类块直方图特征向量差、该第一类块亮度均值特征向量差；

将该块梯度模特征向量、该块亮度均值特征向量、该块亮度均值特征向量分别按照空间位置进行上下对半分解，分成上半部分特征向量和下半部分特征向量，计算上半部分与下半部分的特征向量距离，符号分别记为分别为该第二类块梯度模特征向量差、该第二类块直方图特征向量差、该第二类块亮度均值特征向量差；

对该第一类块梯度模特征向量差该第一类块直方图特征向量差该第一类块亮度均值特征向量差进行加权获得该第一类3D格式特征值，对该第二类块梯度模特征向量差该第二类块直方图特征向量差该第二类块亮度均值特征向量差进行加权获得该第二类3D格式特征值。

将该第一3D格式特征值与该第二类3D格式特征值中的最小特征值作为输入图像的3D格式特征值。

进一步地，于步骤四中，根据如下视频格式计算公式判别视频格式：

fmt_n表示当前帧图像经过时域信息融合后判别的视频格式，fmt_n-1表示前一帧图像的视频格式，d表示图像f(x,y)的3D格式特征值，d_low为下门限阈值，d_high为上门限阈值，d¹为第一类3D格式特征值，d²为第二类3D格式特征值。

与现有技术相比，本发明一种三维视频格式自动检测方法及装置通过对源图像进行初步降维，并对特征向量进行维数缩减处理，降低了本发明的计算复杂度，同时，本发明采用了多特征(块梯度模特征向量、块直方图特征向量和块亮度均值特征向量)进行视频格式判别，提升了三维格式检测的准确度和稳定性，另外，本发明采用在空间域上的新的三维格式特征提取方法，可以在线统计块特征向量，对三维图像的左右眼图像的视差导致不一致信息产生视频格式误检的鲁棒性和容忍度高，同时，无需占用DDR带宽和只需要2条linebuffer资源，而且逻辑运算绝大部分是加法运算，只需要少量的寄存器和逻辑运算单元，硬件芯片实现简单，成本极低。

附图说明

图1为一个完整的3D电视系统的系统架构图；

图2为本发明一种三维视频格式自动检测装置的系统架构图；

图3为本发明一种三维视频格式自动检测方法的步骤流程图；

图4为本发明较佳实施例中三维格式块特征统计流程图；

图5为本发明较佳实施例中图像分块示意图；

图6为本发明较佳实施例中三维格式特征值计算流程图；

图7为本发明较佳实施例中块特征向量左右对半分解示意图；

图8为本发明较佳实施例中块特征向量上下对半分解示意图；

图9为本发明较佳实施例中视频格式判别流程图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

图2为本发明一种三维视频格式自动检测装置的系统架构图。如图2所示，本发明一种三维视频格式自动检测装置，至少包括：初始降维模块201、3D格式块特征统计模块202、3D格式特征值计算模块203以及视频格式判别模块204。

其中，初始降维模块301对输入的视频图像信号进行初步降维处理，在本发明中，初步降维处理可采用缩放的方法，例如，缩放中的下采样方法，具体地说，初始降维模块301对输入源图像先在列方向进行下采样，然后再在行方向进行下采样处理，本发明通过下采样方法对源图像进行降维处理，在一定程度上减少图像源的像素数据量，可以保证本发明对输入不同的分辨率图像的计算复杂度限制在一个可控范围内。在此需说明的是，本发明较佳实施例中采用的下采样方法非仅限于同时列方向和行方向，在实际应用中也可以根据需要只进行单(列或行)方向下采样。

3D格式块特征统计模块202，对经过初步降维处理(本发明较佳实施例中为下采样)得到的图像以像素点坐标进行计算该像素点所属图像块(分辨率大小为B_h×B_w图像块)，并在线统计该图像块的3D格式块特征，包括块梯度模特征、块直方图特征和块亮度均值特征，并获得3D格式块特征向量，相应地，包括块梯度模特征向量、块直方图特征向量和块亮度均值特征向量，本发明以图像块为基本单位进行特征提取可以有效减少左右眼图像视差的负面影响，同时对图像的特征向量可以实现维数缩减，增加特征向量的鲁棒性，而且可以大大减少硬件资源的消耗(控制硬件成本)，只需要消耗2条linebuffer资源和少量的寄存器等逻辑单元，硬件芯片实现简单，成本极低，这也是本发明的简单高效低成本的关键点。

3D格式特征值计算模块203，通过块梯度模特征向量、块直方图特征向量和块亮度均值特征向量分别计算第一类块梯度模特征向量差、第一类块直方图特征向量差、第一类块亮度均值特征向量差和第二类块梯度模特征向量差、第二类块直方图特征向量差、第二类块亮度均值特征向量差，并由第一类和第二类特征向量差计算各自的最大向量差分别求得第一类和第二类3D格式特征值。

视频格式判别模块204，通过对3D格式特征值进行判断是否为3D强特征值、2D强特征值、模糊特征中哪种类型的特征值，根据3D格式特征值所属特征值类型进行判别视频格式。如果3D格式特征值是3D强特征值，则判别图像为三维视频格式；如果3D格式特征值是2D强特征值，则判别图像为二维视频格式；如果3D格式特征值是模糊特征，则判别图像为与前一帧图像视频格式相同，最后输出视频格式信号以控制三维显示器按照该种视频格式来正常显示视频图像。

图3为本发明一种三维视频格式自动检测方法的步骤流程图。如图3所示，本发明一种三维视频格式自动检测方法，包括如下步骤：

步骤301，对输入的视频图像信号进行初步降维处理，在本发明中，初步降维处理采用的是下采样方法，即，对输入源图像先在列方向进行下采样，然后再在行方向进行下采样处理，当然，本发明中采用的下采样方法非仅限于同时列方向和行方向，在实际应用中也可以根据需要只进行单(列或行)方向下采样。

步骤302，对经过初步降维处理得到的图像以像素点坐标进行计算该像素点所属图像块(分辨率大小为B_h×B_w图像块)，并在线统计该图像块的3D格式块特征，包括块梯度模特征、块直方图特征和块亮度均值特征，获取3D格式块特征向量，相应地，该3D格式块特征向量包括块梯度模特征向量、块直方图特征向量和块亮度均值特征向量。

步骤303，通过块梯度模特征向量、块直方图特征向量和块亮度均值特征向量分别计算第一类块梯度模特征向量差、第一类块直方图特征向量差、第一类块亮度均值特征向量差和第二类块梯度模特征向量差、第二类块直方图特征向量差、第二类块亮度均值特征向量差，并由第一类和第二类特征向量差计算各自的最大向量差分别求得第一类和第二类3D格式特征值。

步骤304，通过对3D格式特征值进行判断是否为3D强特征值、2D强特征值、模糊特征中哪种类型的特征值，根据3D格式特征值所属特征值类型进行判别视频格式。如果3D格式特征值是3D强特征值，则判别图像为三维视频格式；如果3D格式特征值是2D强特征值，则判别图像为2维视频格式；如果3D格式特征值是模糊特征，则判别图像为与前一帧图像视频格式相同，最后输出视频格式信号以控制三维显示器按照该种视频格式来正常显示视频图像。

以下将通过一具体实施例来进一步说明本发明之三维视频格式自动检测方法及装置。本实施例采用的图像分辨率以实例说明(不限于其它分辨率大小)，输入源图像像素分辨率大小为1920×1080、下采样后的图像分辨率大小为1440×720，图像块分辨率大小为B_h×B_w(其中B_h＝90,B_w＝45)，图像数据是在YCbCr颜色空间的亮度Y分量进行计算的。以下根据图2中的模块逐一进行详细说明：

1、初始降维模块301：采用列/行方向下采样

为了减少视频格式检测方法的计算复杂度，所以需要对输入分辨率1920×1080图像f在列方向和行方向进行在线下采样为分辨率大小为1440×720(不限于其它分辨率图像)的图像f_s，在一定程度上可以减少图像源的像素数据量，可以保证本发明对输入不同的分辨率图像中的计算复杂度限制在一个可控范围内。

2、3D格式块特征统计模块202：进行3D格式块特征统计

由于三维视频图像的左右眼图像具有很强的对称性，所以梯度模特征、直方图特征、亮度均值特征都能反映三维视频图像的左右眼图像的对称性特征。3D格式块特征统计流程图见图4，首先，计算输入图像的像素点对应所属的图像块坐标，其次，计算图像块坐标所对应的块梯度模特征、块直方图特征、块亮度均值特征。其步骤具体如下：

Step1，块坐标计算

将输入图像(本实施例中下采样后的图像1440×720)按照分辨率大小为90×45的图像块分块，分块示意图见图5，则总共有256个图像块。设当前输入的像素点坐标为(x,y)，则根据图5的图像分块方法在线计算该像素点所属块的坐标 $(i,j)=(\frac{x}{B_h},\frac{y}{B_w}).$

Step2，计算块梯度模特征向量

首先，设输入的下采样后的图像亮度分量f_s(x,y)(8bit图像取值范围是[0,255])，为了进一步简化计算，以及减少噪音对图像梯度模计算的影响，利用其4领域像素其梯度模，其在(x,y)处(第x行第y列)的梯度模m(x,y)(Gradient Magnitude)，计算公式如下：

m_h(x,y)＝max(|f_s(x,y)-f_s(x,y-1)|,|f_s(x,y)-f_s(x,y+1)|)

m_v(x,y)＝max(|f_s(x,y)-f_s(x-1,y)|,|f_s(x,y)-f_s(x+1,y)|)

$m(x,y)=\frac{m_h(x,y)+m_v(x,y)}{2}$

由于图像f_s(x,y)∈[0,255]，则梯度模m(x,y)的取值范围是[0,255]。

由于像素点梯度模是利用4领域像素计算其梯度模，则对于硬件实现在线计算像素点梯度模，只需要2条长度为1440Byte的linebuffer资源即可。

其次，将所有属于第i行第j列块的像素点的梯度模累加再求平均值可以计算得该块的梯度模均值，第i行j列的块梯度模均值计算公式如下：

$m_{\mathrm{blk}}(i,j)=\frac{1}{B_{h}g{B}_w}\underset{x,y\∈(i,j)}{\mathrm{\Σ}}m(x,y)$

其式中m_blk(i,j)表示左眼图像块梯度模均值，称之为块梯度模特征。

最后，将所有图像块进行计算块梯度模特征m_blk(i,j)，i、j的取值范围为{i,j|i＝1,2,...,16,j＝1,2,...,16}，则可得块梯度模特征向量，符号记为m_blk。由于图像共有256个图像块，因此硬件实现中只需要256个寄存器来存储块梯度模特征向量，在线计算块梯度模特征时只需根据像素点所属块坐标进行更新该块对应的寄存器。

Step3，计算块直方图特征向量

首先，类似于Step2的块梯度模特征向量计算，将所有属于第i行第j列块的像素点亮度分量进行块直方图统计，这里本发明将亮度分为有重叠的3段区间，即bin＝3。第i行j列的块直方图统计计算公式如下：

$h_{\mathrm{blk}}(i,j,\mathrm{bin})=\frac{1}{B_{h}g{B}_w}\underset{x,y\∈(i,j)}{\mathrm{\Σ}}\mathrm{\δ}(f(x,y)\∈\mathrm{bin})$

为了更好的描述亮度统计直方图，本发明引进Kronecker Delta函数(克罗内克δ函数)，其函数定义如下：

$\mathrm{\δ}\left(x\right)=\left\{\begin{array}{cc}1& x=0\\ 0& x\≠0\end{array}\right.$

其式中h_blk(i,j,bin)表示图像的块直方图，称之为块直方图特征。

然后，将所有图像块进行计算块直方图特征h_blk(i,j,bin)，i、j的取值范围为{i,j|i＝1,2,...,16,j＝1,2,...,16}，则可得块直方图特征向量，符号记为h_blk。由于图像共有256个图像块，块直方图特征有3个bin，因此硬件实现中只需要256×3＝768个寄存器来存储块直方图特征向量，在线计算块直方图特征时只需根据像素点所属块坐标进行更新该块对应的寄存器组。

Step4，计算块亮度均值特征向量。

首先，类似于Step2的块梯度模特征向量计算，将所有属于第i行第j列块的像素点的亮度值累加再求平均值可以计算得该块的亮度均值，第i行j列的块亮度均值特征计算公式如下：

$l_{\mathrm{blk}}(i,j)=\frac{1}{B_{h}g{B}_w}\underset{x,y\∈(i,j)}{\mathrm{\Σ}}f(x,y)$

然后，将所有图像块进行计算块亮度均值特征l_blk(i,j)，i、j的取值范围为{i,j|i＝1,2,...,16,j＝1,2,...,16}，则可得块亮度均值特征向量，符号记为l_blk。由于图像共有256个图像块，因此硬件实现中只需要256个寄存器来存储块亮度均值特征向量，在线计算块亮度均值特征时只需根据像素点所属块坐标进行更新该块对应的寄存器。

3、3D格式特征值计算模块203：进行3D格式特征值计算(流程图见图6)

Step1：将块梯度模特征向量m_blk按照空间位置进行左右对半分解(示意图见附图7)，分成左半部分块梯度模特征向量和右半部分块梯度模特征向量，可以计算左半部分与右半部分的块梯度模特征向量距离(即块梯度模特征向量差)，计算公式如下：

$d_{\mathrm{mag}}^1=\frac{1}{16\×8}\underset{i=1}{\overset{16}{\mathrm{\Σ}}}\underset{j=1}{\overset{8}{\mathrm{\Σ}}}\max (0,|m_{\mathrm{blk}}(i,j)-m_{\mathrm{blk}}(i,j+8)|-m^{\mathrm{core}})$

其中，m^core∈[0,255]表示块梯度模差阈值，表示图像的第一类块梯度模特征向量差。

Step2：同样，将块直方图特征向量h_blk按照空间位置分成左半部分块直方图特征向量和右半部分块直方图特征向量，可以计算左半部分与右半部分的块直方图特征向量距离(即块直方图特征向量差)，计算公式如下：

$d_{\mathrm{hist}}^1=\frac{1}{16\×8\×3}\underset{i=1}{\overset{16}{\mathrm{\Σ}}}\underset{j=1}{\overset{8}{\mathrm{\Σ}}}\underset{\mathrm{bin}=1}{\overset{3}{\mathrm{\Σ}}}\max (0,|h_{\mathrm{blk}}(i,j,\mathrm{bin})-h_{\mathrm{blk}}(i,j+8,\mathrm{bin})|-h^{\mathrm{core}})$

其式中，h^core∈[0,255]表示块直方图特征差阈值，表示图像的第一类块直方图特征向量差。

Step3：同样，将块亮度均值特征向量l_blk按照空间位置分成左半部分块亮度均值特征向量和右半部分块亮度均值特征向量，可以计算左半部分与右半部分的块亮度均值特征向量距离(即块亮度均值特征向量差)，计算公式如下：

$d_{\mathrm{luma}}^1=\frac{1}{16\×8}\underset{i=1}{\overset{16}{\mathrm{\Σ}}}\underset{j=1}{\overset{8}{\mathrm{\Σ}}}\max (0,|l_{\mathrm{blk}}(i,j)-l_{\mathrm{blk}}(i,j+8)|-l^{\mathrm{core}})$

其式中，l^core∈[0,255]表示块亮度均值特征差阈值，表示图像的第一类块亮度均值特征向量差。

Step4：类似，将块梯度模特征向量m_blk、块亮度均值特征向量h_blk、块亮度均值特征向量l_blk分别按照空间位置进行上下对半分解(示意图见附图8)，分成上半部分特征向量和下半部分特征向量，可以计算上半部分与下半部分的特征向量距离(即特征向量差)，符号分别记为分别称之为第二类块梯度模特征向量差、第二类块直方图特征向量差、第二类块亮度均值特征向量差。

Step5：有第一类块梯度模特征向量差第一类块直方图特征向量差第一类块亮度均值特征向量差进行加权可得第一类3D格式特征值，计算公式如下：

$d^1=w_1{\mathrm{gd}}_{\mathrm{mag}}^1+w_2{\mathrm{gd}}_{\mathrm{hist}}^1+w_3{\mathrm{gd}}_{\mathrm{luma}}^1$

其式中d¹表示3D格式特征值，w₁、w₂、w₃表示预设特征向量差加权权重系数，且1＝w₁+w₂+w₃,w₁,w₂,w₃∈[0,1]。

同样，对于有第二类块梯度模特征向量差第二类块直方图特征向量差第二类块亮度均值特征向量差通过相同的计算公式进行加权可得第二类3D格式特征值，符号记为d²。

Step6：三维视频图像只可能是左右格式或者上下格式中的一种，不可能同时属于这2种三维视频格式。如果输入的视频图像是左右格式图像，通过前面的特征值计算方法得到的第一类3D视频格式特征值d¹、第二类3D视频格式特征值d²。如果输入的视频图像是左右格式图像，则显然有第一类3D视频格式特征值小于第二类3D视频格式特征值；如果输入的视频图像是上下格式图像，则显然有第二类3D视频格式特征值小于第一类3D视频格式特征值，所以第一、二类3D视频格式特征值中的最小特征值最能表达输入图像的3D格式特征值，则可得数学计算表达式：

d＝min(d¹,d²)

其式中，d表示图像f(x,y)的3D格式特征值；由于第一类3D格式特征值d¹∈[0,255]，第二类3D格式特征值d²∈[0,255]，则有3D格式特征值d∈[0,255]。

从三维格式特征值d定义可知，d描述了图像f(x,y)的左眼图像和右眼图像的距离度量，也就是说若格式特征值d的值越小，三维视频格式特征越强，图像f(x,y)越可能是三维图像；反之，格式特征值d的值越大，三维视频格式特征越弱，即2D视频格式特征越强，图像f(x,y)越可能是2D图像。

4、视频格式判别模块204：进行三维格式判别(流程图见图9)

这里本发明引入三维格式特征值d的下门限阈值d_low(或称2D格式强特征阈值)和上门限阈值d_high(或称三维格式强特征阈值)，其中d_low和d_high定义域为0＜d_low＜d_high＜255。显然，当格式特征值d＞d_high或d＜d_low，格式特征值属于视频格式强特征，格式特征值的可信度高；当格式特征值d_low≤d≤d_high，对于较暗场景的2D或者三维图像格式特征值往往会落在区间[d_low,d_high]，2D或三维视频格式特征模糊，很难区分图像格式是2D还是三维图像，很容易导致视频格式误判，格式特征值的可信度较低，因此称区间[d_low,d_high]为格式特征模糊区。

为了减少模糊区格式误判对算法检测准确度的影响，本发明引入时域信息，由于视频图像往往都是连续多帧的，当前帧图像格式往往和前一帧图像格式有一定的相关性，当格式特征值d∈[d_low,d_high]，由于单帧格式判断出来的视频格式可信度低，时域信息中前几帧图像格式视频格式相对于当前帧计算出的视频格式可信度更高，因此当前帧图像格式判断成与前一帧图像格式相同。

则视频格式计算公式如下：

其中，fmt_n表示当前帧图像经过时域信息融合后判别的视频格式，fmt_n-1表示前一帧图像的视频格式。

图9为本发明较佳实施例中视频格式判别流程图。如图9所示，首先，判断3D格式特征值是否小于低阈值d_low；若是，则判断3D格式特征值是否等于第一类3D格式特征值d₁，若否，则判断3D格式特征值是否大于高阈值d_high，若3D格式特征值大于高阈值d_high，则判断为二维格式，否则则判断当前帧图像格式判断成与前一帧图像格式相同；若3D格式特征值等于第一类3D格式特征值d₁，则判断为左右格式的三维图像，否则判断3D格式特征值是否等于第二类3D格式特征值d₂；若3D格式特征值等于第二类3D格式特征值d₂，则判断为上下格式的三维图像，否则认为是交错格式。

综上所述，本发明一种三维视频格式自动检测方法及装置通过对源图像进行初步降维，并对特征向量进行维数缩减处理，降低了本发明的计算复杂度，同时，本发明采用了多特征(块梯度模特征向量、块直方图特征向量和块亮度均值特征向量)进行视频格式判别，提升了三维格式检测的准确度和稳定性，另外，本发明采用在空间域上的新的三维格式特征提取方法，可以在线统计块特征向量，对三维图像的左右眼图像的视差导致不一致信息产生视频格式误检的鲁棒性和容忍度高，同时，无需占用DDR带宽和只需要2条linebuffer资源，而且逻辑运算绝大部分是加法运算，只需要少量的寄存器和逻辑运算单元，硬件芯片实现简单，成本极低。

具体地说，与现有技术相比，本发明有如下优点：

1、采用源图像和特征向量降维处理，使本发明的视频格式检测方法计算复杂度极低。首先对源图像采用了下采样方法进行初步降维，减少源数据的冗余性，在一定程度上减少了视频格式检测方法的计算复杂度。同时对特征向量进行了维数缩减处理，即将图像进行块划分，以块为基本单元进行提取特征(块梯度模特征向量、块直方图特征向量和块亮度均值特征向量)，进一步大大降低了视频格式检测方法的计算复杂度。

2、采用在空间域上的新的三维格式特征提取方法，即块梯度模特征向量、块直方图特征向量和块亮度均值特征向量提取方法，整个计算过程中可以在线统计块特征向量，对三维图像的左右眼图像的视差导致不一致信息产生视频格式误检的鲁棒性和容忍度高，同时，无需占用DDR带宽和只需要2条linebuffer资源，而且逻辑运算绝大部分是加法运算，只需要少量的寄存器和逻辑运算单元，硬件芯片实现简单，成本极低。

3、本发明采用了多特征(块梯度模特征向量、块直方图特征向量和块亮度均值特征向量)进行视频格式判别，提升了三维格式检测的准确度和稳定性。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (7)

1.一种三维视频格式自动检测装置，至少包括：

初始降维模块，对输入的视频图像信号进行初步降维；

3D格式块特征统计模块，对经过初步降维处理得到的图像以像素点坐标进行计算该像素点所属图像块，在线统计该图像块的块梯度模特征、块直方图特征和块亮度均值特征，并获得块梯度模特征向量、块直方图特征向量和块亮度均值特征向量；

3D格式特征值计算模块，通过该块梯度模特征向量、该块直方图特征向量和该块亮度均值特征向量分别计算第一类块梯度模特征向量差、第一类块直方图特征向量差、第一类块亮度均值特征向量差和第二类块梯度模特征向量差、第二类块直方图特征向量差、第二类块亮度均值特征向量差，由第一类和第二类特征向量差计算各自的最大向量差并分别求得第一类和第二类3D格式特征值，

视频格式判别模块，对输入图像的3D格式特征值判断其所属类型，根据3D格式特征值所属特征值类型判别视频格式，

该3D格式特征值计算模块将该块梯度模特征向量、该块亮度均值特征向 量、该块亮度均值特征向量分别按照空间位置进行左右对半分解，分成左半部分特征向量和右半部分特征向量，计算左半部分与右半部分的特征向量距离，符号分别记为分别为该第一类块梯度模特征向量差、该第一类块直方图特征向量差、该第一类块亮度均值特征向量差，将该第一类块梯度模特征向量差第一类块直方图特征向量差第一类块亮度均值特征向量差进行加权得到该第一类3D格式特征值；该3D格式特征值计算模块将该块梯度模特征向量、该块亮度均值特征向量、该块亮度均值特征向量分别按照空间位置进行上下对半分解，分成上半部分特征向量和下半部分特征向量，计算上半部分与下半部分的特征向量距离，符号分别记为分别为该第二类块梯度模特征向量差、该第二类块直方图特征向量差、该第二类块亮度均值特征向量差，将该第二类块梯度模特征向量差第二类块直方图特征向量差第二类块亮度均值特征向量差进行加权得到该第二类3D格式特征值。

2.如权利要求1所述的一种三维视频格式自动检测装置，其特征在于：该初始降维模块采用下采样方法对输入的视频图像信号进行初步降维。

3.如权利要求2所述的一种三维视频格式自动检测装置，其特征在于：该初始降维模块对输入源图像先在列方向进行下采样，然后再在行方向进行下采样处理，或者该初始降维模块对输入源图像仅进行列或行方向下采样。

4.如权利要求1所述的一种三维视频格式自动检测装置，其特征在于，该视频格式判别模块进行如下判别：如果3D格式特征值是3D强特征值，则判别图像为三维视频格式；如果3D格式特征值是2D强特征值，则判别图像为二维视频格式；如果3D格式特征值是模糊特征，则判别图像为与前一帧图像视频格式相同，最后输出视频格式信号以控制三维显示器按照该种视频格式来正常显示视频图像。

5.一种三维视频格式自动检测方法，包括如下步骤：

步骤一，对输入的视频图像信号进行初步降维处理；

步骤二，对经过初步降维处理得到的图像以像素点坐标进行计算该像素点所属图像块，并在线统计该图像块的块梯度模特征、块直方图特征和块亮度均值特征，并获取该图像块的块梯度模特征向量、块直方图特征向量和块亮度均值特征向量；

步骤三，通过块梯度模特征向量、块直方图特征向量和块亮度均值特征向 量分别计算第一类块梯度模特征向量差、第一类块直方图特征向量差、第一类块亮度均值特征向量差和第二类块梯度模特征向量差、第二类块直方图特征向量差、第二类块亮度均值特征向量差，由第一类和第二类特征向量差计算各自的最大向量差并分别求得第一类和第二类3D格式特征值；

步骤四，判断输入图像的3D格式特征值是否为3D强特征值、2D强特征值、模糊特征中的一种，并根据3D格式特征值所属特征值类型进行判别视频格式，

步骤三进一步包括：

将该块梯度模特征向量、该块亮度均值特征向量、该块亮度均值特征向量分别按照空间位置进行左右对半分解，分成左半部分特征向量和右半部分特征向量，计算左半部分与右半部分的特征向量距离，符号分别记为分别为该第一类块梯度模特征向量差、该第一类块直方图特征向量差、该第一类块亮度均值特征向量差；

将该块梯度模特征向量、该块亮度均值特征向量、该块亮度均值特征向量分别按照空间位置进行上下对半分解，分成上半部分特征向量和下半部分特征 向量，计算上半部分与下半部分的特征向量距离，符号分别记为分别为该第二类块梯度模特征向量差、该第二类块直方图特征向量差、该第二类块亮度均值特征向量差；

对该第一类块梯度模特征向量差该第一类块直方图特征向量差该第一类块亮度均值特征向量差进行加权获得该第一类3D格式特征值，对该第二类块梯度模特征向量差该第二类块直方图特征向量差该第二类块亮度均值特征向量差进行加权获得该第二类3D格式特征值，

将该第一3D格式特征值与该第二类3D格式特征值中的最小特征值作为输入图像的3D格式特征值。

6.如权利要求5所述的一种三维视频格式自动检测方法，其特征在于，步骤二进一步包括如下步骤：

对降维处理后的图像进行分块，并以像素点坐标进行计算该像素点所属图像块；

先计算像素点梯度模，再将所有属于第i行第j列块的像素点的梯度模累加求平均值计算得图像块的梯度模均值，将所有图像块进行计算块梯度模特征， 获得该块梯度模特征向量；

将所有属于第i行第j列块的像素点亮度分量进行块直方图统计，将所有图像块进行计算块直方图特征，获得该块直方图特征向量；

将所有属于第i行第j列块的像素点的亮度值累加求平均值计算得到图像块的亮度均值，将所有图像块进行计算块亮度均值特征，获得该块亮度均值特征向量。

7.如权利要求6所述的一种三维视频格式自动检测方法，其特征在于，于步骤四中，根据如下视频格式计算公式判别视频格式：

fmt_n表示当前帧图像经过时域信息融合后判别的视频格式，fmt_n-1表示前一帧图像的视频格式，d表示图像f(x,y)的3D格式特征值，d_low为下门限阈值，d_high为上门限阈值，d¹为第一类3D格式特征值，d²为第二类3D格式特征值。