CN103428515B - 视频格式判断设备和方法以及视频显示设备 - Google Patents

Abstract

本发明涉及一种视频格式判断设备，包括：视频输入单元，接收具有每个像素的特征量的视频；区域代表值计算单元，将输入视频中待判断的三维视频格式的左眼视频区域和右眼视频区域分别划分为一些小区域，并随后针对左眼视频区域和右眼视频区域每一个计算各个小区域的特征量的代表值；校正值计算单元，计算校正值来校正所述代表值；数据校正单元，校正代表值；区域间相关性计算单元，计算左眼和右眼视频区域之间的相关性；以及评估判断单元，评估相关性以判断输入视频是否为三维视频格式。

Description

视频格式判断设备和方法以及视频显示设备

技术领域

本说明书所披露的本发明涉及一种视频格式判断设备以及视频格式判断方法，其用于判断视频信号的格式，并且涉及一种视频显示设备，其基于格式判断结果切换显示模式，并且尤其是涉及一种视频格式判断设备、一种视频格式判断方法以及一种视频显示设备，其实现了通过较小的计算量来可靠地判断三维视频格式或二维视频格式。

背景技术

可以通过使用右眼和左眼之间的视差显示视频来向观众呈现可以三维地观看的立体视频。例如，一种时分立体视频显示系统包括以时分方式显示多个不同的视频的显示设备和视频观众佩戴的眼镜的组合。该显示设备以非常短的时间间隔交替地显示据偶视差的左眼图像和右眼图像。此外，在显示左眼视频时，眼镜的左眼部分透过光，而其右眼部分遮挡光。另一方面，在显示右眼视频时，眼镜的右眼部分透过光，而其左眼部分遮挡光。此外，在空分（space-division）立体视频显示系统中，左眼视频和右眼视频被复用和显示在屏幕上，观众佩戴的眼睛的左眼部分只透过左眼视频的光，而其右眼部分只透过右眼视频的光。在两个系统中，观看视频的用户的大脑将左眼视频和右眼视频及性融合从而将这种融合识别为立体视频。

作为三维视频信号的传输格式，例如，可以例举三种类型，并排格式、顶底格式以及帧顺序格式。在并排格式中，二维视频信号的活动区域沿着水平方向被划分为两半，如图23所示，并且（同时的）左眼视频L右眼视频R被复用到左侧和右侧，即在水平方向。此外，在顶底格式中，二维视频信号的活动区域沿着垂直方向被划分为两半，如图24所示，并且（同时的）左眼视频L和右眼视频R沿着垂直方向被复用到上侧和下侧。在帧顺序格式中，左眼视频L和右眼视频R被交替地插入时间轴上，如图25所示。

这些传输格式的任意一种控制处理视频信号的显示设备使得左眼视频和右眼视频从该信号中分离开正确地排列在时间轴上，并由此将左眼视频显示给左眼，而将右眼视频显示给右眼。在这种情况下，当然有必要通过判断当前传输的视频信号是否是用于三维视频来切换显示格式，并且如果判断信号为三维视频，则判断该信号采用的是在上述图23-25中的任意一个中所示的那种传输格式。

如果将表示传输格式的信号增加到被传输的视频数据上，则可以进行判断。不过，有很多广播信号和DVD（数字通用盘）上没有增加这种信号。此外，有些信号的内容具有不同的传输格式，诸如商业TV的二维视频内容以及TV节目的三维视频内容。在每次切换信号的时候采用手动切换对观众而言非常不便。如果选择了与视频格式不相符的显示模式，就会产生两种不同类型的图像重叠显示的不舒服的情况。

现有几种用于设备的建议基于分别对应于图像中的左眼视频和右眼视频的区域的相关性来判断视频格式。例如，已经提出了一种用于视频显示设备的建议，该设备通过根据像素单元中的差值获取位置直方图以计算相关性以及判断该结果是否用于三维视频来切换显示格式（例如，参见日本待审专利申请公开号2010-68309）。此外，已经提出了另一种用于立体图像格式判断设备的建议，该设备根据左眼视频和右眼视频的每个区域的特征量的内积（innerproduct）自动确定格式（参见日本待审专利申请公开号2006-332985）。

在用于确定具有视频信号中的各个左眼视频区域右眼视频区域之间的相关性的格式作为的指数（index）的方法中，通过从视频区域获取预定特征量以及使得特征量之间的绝对差值的累加结果作为评估值来判断数据是用于三维视频还是用于二维视频。在此，当评估值较小时，左眼和右眼视频区域之间的相关性较高，并因此能够确定各个区域处于对应左右视频的关系，换句话说，数据用于三维视频。相反，当评估值较大，则左眼和右眼视频区域之间的相关性较低，并因此确定各个区域不处于对应左右视频的关系，并且该数据为二维视频。

不过，如果仅仅基于左眼视频区域和右眼视频区域之间的相关性的计算来执行评估，则存在判断精度较低的性能问题，并且可靠性也很难得到保证。

例如，由于在立体视频中的左视频和右视频之间存在视差，因此当视差较大时视频之间的相关性较低，因此存在作出视频不是三维视频的错误判断的可能性。图26通过简单地匹配具有视差的左眼视频（Lch）和右眼视频（Rch）的特征量显示了特征量的绝对差值ABS（Lch-Rch）的结果。如图所示，当视差较大时，在视频之间生成差，因此相关性较低，因此，存在作出视频是二维视频的错误判断的可能性。

此外，还存在除了左右视频之间的视差之外的差别而导致作出视频不是三维视频的错误判断的可能性。在CG（计算机制图）视频等中不会有问题，但是尤其是在采用双透镜照相机所拍摄的三维视频的情况下，亮度、对比度、γ、色彩、视频信号的频段、噪声量等可能由于透镜系统的特性不同、按转精度不同等而导致显著不同。图27通过简单地匹配显示了亮度和对比度方面的差的左眼视频（Lch）和右眼视频（Rch）的特征量而显示了特征量的绝对差值ABS（Lch-Rch）的结果。如图所示，当亮度和对比度方面的差较大时，在视频之间进一步产生不同，相关性较低，因此作出视频是二维视频的错误判断的可能性会不断增加。

相反，还存在如果其中包含的视频在分别对应于左眼视频和右眼视频的区域之间具有较高的相关性，则二维视频被错误地判断为三维视频的情况。图28显示了海景图像作为图像的实例，其显示了在亮度和对比度之间的不足的改变，并且由于在图像的左侧和右侧上的特征量的差别较小并且显示了较高的相关性，因此，存在错误地将该图像判断为并排格式的三维视频的可能性。

而且，在判断视频格式器件，仅仅使用计算左右眼视频区域之间的相关性的评估方法包括像素单元内的计算以及内积的计算，这会产生较大的计算量，并且该计算量会对快速判断以及成本带来负面影响。

发明内容

需要本说明书所披露的技术来提供优秀的视频格式判断设备、视频格式判断方法以及视频显示设备，其能够以较小的计算量可靠地进行三维视频格式或二维视频格式的判断。

根据本发明的实施例，提供了一种视频格式判断设备，包括：视频输入单元，接收具有每个像素的特征量的视频；区域代表值计算单元，将输入视频中待判断的三维视频格式的左眼视频区域和右眼视频区域分别划分为具有M行和N列的一些小区域，并随后针对左眼视频区域和右眼视频区域每一个计算各个小区域的特征量的代表值；校正值计算单元，基于左眼视频区域的特征量的平均值和右眼视频区域的特征量的平均值计算校正值来校正所述代表值；数据校正单元，使用所述校正值来校正针对左眼视频区域和右眼视频区域之一计算的各个小区域的代表值；区域间相关性计算单元，通过累加左眼视频区域和右眼视频区域中对应小区域的代表值的差来计算左眼和右眼视频区域之间的相关性；以及评估判断单元，评估左眼和右眼视频区域之间的相关性以判断输入视频是否为三维视频格式。

另外，根据本发明的实施例，提供了一种视频格式判断设备，包括：视频输入单元，接收具有每个像素的特征量的视频；区域代表值计算单元，将输入视频中待判断的三维视频格式的左眼视频区域和右眼视频区域分别划分为具有M行和N列的一些小区域，并随后针对左眼视频区域和右眼视频区域每一个计算各个小区域的特征量的代表值；区域间相关性计算单元，通过累加左眼视频区域和右眼视频区域中对应小区域的代表值的差来计算左眼和右眼视频区域之间的相关性；区域内相关性计算单元，计算左眼视频区域和右眼视频区域的至少一个区域内的相关性；以及评估判断单元，基于左眼和右眼视频区域之间的相关性与区域内相关性的比例计算评估值以便基于所述评估值判断输入视频是否为三维视频格式。

区域代表值计算单元可使用每个像素的亮度信号作为特征量。

区域间相关性计算单元基于左眼视频区域和右眼视频区域中的对应小区域的代表值的差计算左眼和右眼视频区域之间的相关性。

区域间相关性计算单元通过对左眼视频区域和右眼视频区域之间的对应小区域的代表值的差执行累积加权求和来计算左眼和右眼视频区域之间的相关性。

区域间相关性计算单元使用权重函数执行累积加权求和，该权重函数抑制了其值等于或小于预定值的差的求和。

所述视频格式判断设备，还包括：区域内相关性计算单元，计算左眼视频区域和右眼视频区域中至少一个内的相关性。评估判断单元基于左眼和右眼视频区域之间的相关性与区域内相关性的比例计算评估值以便基于所述评估值判断输入视频是否为三维视频格式。

当区域内相关性的值等于或小于预定阈值时，评估判断单元推迟判断输入视频的视频格式。

区域代表值计算单元分别将左眼视频区域和右眼视频区域布置在输入视频的左侧和右侧，并在判断输入视频是否为并排格式的三维视频的判断模式下计算各个小区域的代表值。

区域代表值计算单元分别将左眼视频区域和右眼视频区域布置在输入视频的左侧和右侧，并在判断输入视频是否为顶底格式的三维视频的判断模式下计算各个小区域的代表值。

提供了多个判断模式，在所述多个判断模式下，针对多个三维视频格式中的每一个判断视频格式。并且，当在某种判断模式下判断输入视频不是三维视频时，评估判断单元通过切换到另一种判断模式来判断输入视频是否为三维视频。

在判断运动图像的视频格式期间，评估判断单元基于当前帧的视频格式的判断结果、前一帧的视频格式的判断状态以及自判断结果的改变起流逝的时间来判断是否应该转变视频格式的判断状态。

评估判断单元设置在根据视频格式判断状态在确定评估值时使用的阈值。

另外，根据本发明的实施例，提供了一种视频格式判断设备，包括：视频输入单元，接收具有用于每个像素的特征量的视频；区域代表值计算单元，将输入视频中待判断的三维视频格式的左眼视频区域和右眼视频区域分别划分为具有M行和N列的一些小区域，并随后针对左眼视频区域和右眼视频区域每一个计算各个小区域的特征量的代表值；代表值排序计算单元，基于在左眼视频区域和右眼视频区域的每一个中的所计算的代表值，对每一行和每一列计算小区域的排序；以及评估判断单元，评估左眼视频区域和右眼视频区域之间的对应小区域的排序的相似度以便判断输入视频是否为三维视频格式。

另外，根据本发明的实施例，提供了一种视频格式判断设备，包括：视频输入单元，接收具有用于每个像素的特征量的视频；区域代表值计算单元，将输入视频中待判断的三维视频格式的左眼视频区域和右眼视频区域分别划分为具有M行和N列的一些小区域，并随后针对左眼视频区域和右眼视频区域每一个计算各个小区域的特征量的代表值；代表值方向计算单元，计算在左眼视频区域和右眼视频区域每一个的每个小区域中代表值改变的方向；以及评估判断单元，还评估在左眼视频区域和右眼视频区域中的对应小区域中代表值改变方向的相似度以便判断输入视频是否为三维视频格式。

通过n×m的权重过滤系数乘以左眼视频区域和右眼视频区域每一个中的n×m小区域的每一个，代表值方向计算单元计算代表值每个小区域中代表值的改变反向。

另外，根据本发明的实施例，提供了一种视频格式判断方法，包括：接收具有每个像素的特征量的视频；将输入视频中待判断的三维视频格式的左眼视频区域和右眼视频区域分别划分为具有M行和N列的一些小区域，并随后针对左眼视频区域和右眼视频区域每一个计算各个小区域的特征量的代表值；基于左眼视频区域的特征量的平均值和右眼视频区域的特征量的平均值计算校正值来校正所述代表值；使用所述校正值来校正针对左眼视频区域和右眼视频区域之一计算的各个小区域的代表值；通过累加左眼视频区域和右眼视频区域中对应小区域的代表值的差来计算左眼和右眼视频区域之间的相关性；以及评估左眼和右眼视频区域之间的相关性以判断输入视频是否为三维视频格式。

另外，根据本发明的实施例，提供了一种视频格式判断方法，包括：接收具有每个像素的特征量的视频；将输入视频中待判断的三维视频格式的左眼视频区域和右眼视频区域分别划分为具有M行和N列的一些小区域，并随后针对左眼视频区域和右眼视频区域每一个计算各个小区域的特征量的代表值；通过累加左眼视频区域和右眼视频区域中对应小区域的代表值的差来计算左眼和右眼视频区域之间的相关性；计算左眼视频区域和右眼视频区域的至少一个区域内的相关性；以及基于左眼和右眼视频区域之间的相关性与区域内相关性的比例计算评估值以便基于所述评估值判断输入视频是否为三维视频格式。

另外，根据本发明的实施例，提供了一种视频格式判断方法，包括：接收具有用于每个像素的特征量的视频；区域代表值计算单元，将输入视频中待判断的三维视频格式的左眼视频区域和右眼视频区域分别划分为具有M行和N列的一些小区域，并随后针对左眼视频区域和右眼视频区域每一个计算各个小区域的特征量的代表值；基于在左眼视频区域和右眼视频区域的每一个中的所计算的代表值，对每一行和每一列计算小区域的排序；以及评估左眼视频区域和右眼视频区域之间的对应小区域的排序的相似度以便判断输入视频是否为三维视频格式。

另外，根据本发明的实施例，提供了一种视频格式判断方法，包括：接收具有用于每个像素的特征量的视频；将输入视频中待判断的三维视频格式的左眼视频区域和右眼视频区域分别划分为具有M行和N列的一些小区域，并随后针对左眼视频区域和右眼视频区域每一个计算各个小区域的特征量的代表值；计算在左眼视频区域和右眼视频区域每一个的每个小区域中代表值改变的方向；以及评估在左眼视频区域和右眼视频区域中的对应小区域中代表值改变方向的相似度以便判断输入视频是否为三维视频格式。

另外，根据本发明的实施例，提供了一种显示设备，包括：输入单元，接收视频信号；视频信号处理单元，判断输入视频信号的格式，并根据判断结果通过切换显示格式来执行三维视频信号或二维视频信号的处理；以及显示单元，在屏幕上显示在视频信号处理单元已经被过的视频信号，其中视频信号处理单元将输入视频中待判断的三维视频格式的左眼视频区域和右眼视频区域分别划分为具有M行和N列的一些小区域，并随后针对左眼视频区域和右眼视频区域每一个计算各个小区域的特征量的代表值，基于左眼视频区域的特征量的平均值和右眼视频区域的特征量的平均值计算校正值来校正所述代表值；使用所述校正值来校正针对左眼视频区域和右眼视频区域之一计算的各个小区域的代表值；通过累加左眼视频区域和右眼视频区域中对应小区域的代表值的差来计算左眼和右眼视频区域之间的相关性；以及评估左眼和右眼视频区域之间的相关性以判断输入视频是否为三维视频格式。

根据本说明书披露的技术，能够提供一种优秀的视频格式判断设备、视频格式判断方法以及视频显示设备，其能够以较小的计算量可靠地进行三维视频格式或二维视频格式的判断，并且不受捕获方法和视频内容的不同种类的影响。

本说明书所披露的本发明的其他目的、特征以及有点将通过参见下面描述的实施例以及附图的详细描述而更清楚。

附图说明

图1是显示安装在视频信号处理单元2001中的视频格式判断设备100的内部配置的示意图；

图2是显示在用于判断三维视频格式为并排格式的判断模式中划分输入视频的实例的示意图；

图3是显示在用于判断三维视频格式为顶底格式的判断模式中划分输入视频的实例的示意图；

图4是例示用于划分输入视频的另一个方法的示意图；

图5是例示用于划分输入视频的另一个方法的示意图；

图6是显示在累积差别计算中使用的权重函数的实例的示意图；

图7是显示判断单元180基于评估值Z判断输入视频的视频格式的处理的流程图；

图8是显示基于评估值Z的视频格式的判断处理方法的示意图；

图9是显示判断单元180基于评估值Z判断多个视频格式的处理的流程图；

图10是在视频格式判断设备100进行的运动图像的视频格式判断期间的操作控制中使用的状态转变示意图；

图11是显示用于确定是否应该在图10中所示的状态转变示意图中的状态之间执行转换的处理的流程图；

图12是显示视频格式判断设备1200的另一个配置实例的示意图

图13是例示并排格式的三维视频的示意图；

图14是显示通过计算图13所示的输入图像中的每个小区域的代表值所获得结果的示意图；

图15是显示通过计算图14所示的每个小区域的代表值的计算结果中的亮度排序所获得结果的示意图；

图16是显示在普鲁伊特（Prewitt）模板匹配中使用的八个掩码（mask）的示意图；

图17是显示通过对图14所示的小区域的代表值的计算结果施加普鲁伊特（Prewitt）模板匹配而获得的在每个小区域中的亮度变化方向的结果；

图18是显示用于图15中所示的亮度排序结果的评估结果的示意图；

图19是显示用于图17中所示亮度变化方向的计算结果的评估结果的示意图；

图20是示意性显示其中应用了本说明书所披露的技术的视频显示系统的配置实例的示意图；

图21是显示快门眼镜2100的右眼快门透镜2101和左眼快门透镜2102的与显示设备2000的左眼视频图像L的显示周期同步的控制操作的示意图；

图22是显示快门眼镜2100的右眼快门透镜2101和左眼快门透镜2102的与显示设备2000右眼视频图像R的显示周期同步的控制操作的示意图；

图23是显示并排格式的三维视频格式的示意图；

图24是显示顶底格式的三维视频格式的示意图；

图25显示帧顺序格式的三维视频格式的示意图；

图26是例示其中在左右视频之间存在视差的立体视频被错误判断为二维视频的情况的示意图；

图27是例示其中三维视频由于在左右视频的亮度和对比度方面的差别而被错误判断为二维视频的情况的示意图；

图28是例示其中在左右侧之间具有高相关性的二维视频被错误判断为并排格式的三维视频的情况的示意图。

具体实施方式

下面将参照附图详细描述本发明的优选实施例。需要注意的是，在本说明书和附图中，基本上具有相同功能和结构的构件采用相同的标记来代表，并且省略对这些构件的重复解释。

图20示意性显示了其中应用了本说明书所披露的技术的视频显示系统的配置实例。图中所示的视频显示系统包括用于三维显示（立体视觉）的显示设备2000和在左眼部分和右眼部分每一个中装备有快门机构的快门眼镜2100的组合。下满，液晶显示器（LCD）被用作显示设备2000来显示三维图像。不过，本说明书所披露的技术的要点并不限于液晶显示器。

显示设备2000以时分方式交替地显示左眼视频L和右眼视频R。另一方面，快门眼镜2100与在显示设备2000侧上的左眼视频L和右眼视频R的切换定时同步，以便执行左右快门透镜2101和2102的开启和关闭。在显示设备2000和快门眼镜2100之间的通讯中，使用诸如Wi-Fi、IEEE802.15.4等的无线电波通讯的无线网络被使用以便控制其中描述用于左右快门透镜2101和2102的开启和关闭定时所需的信息的数据包从显示设备2000被传输到快门眼镜2100。当然，其上也可以应用红外通讯方法或除了无线网络之外的通讯方法。

显示设备2000包括：视频信号处理单元2001、定时控制单元2002、门驱动器2003、数据驱动器2004、液晶显示屏2005以及通讯单元2007。

液晶显示屏2005包括液晶层和彼此面对并且其中插入该液晶层的透明电极、滤色器等（未示出）。此外，在液晶显示屏2005的背面，布置了背光（表面光源）2006。背光2006包括具有令人满意的余辉（persistence）特性的LED（发光二级管）等。

在视频信号处理单元2001中，执行用于增强视频图像的锐度和改善对比度的图像品质校正处理。

此外，在视频信号处理单元2001中，安装后面将描述的视频格式判断设备以便基于视频格式的判断结果切换输入视频信号的显示格式，判断输入视频信号是二维视频信号还是三维视频信号，并且在信号为三维视频信号时，确定其格式。随后，在输入信号被判断为三维视频信号时，该信号被分离为左眼视频图像L和右眼视频图像R，并被沿着时间轴排列，并且左右视频信号被输出以便以时分方式在液晶显示屏2005上交替显示左眼视频图像L和右眼视频图像R。

在视频信号处理单元2001中被转换的左眼视频信号和右眼视频信号被输入到定时控制单元2002。定时控制单元2002将所输入的左眼视频信号和右眼视频信号转换成将被输入到液晶显示屏2005的信号，并生成用于使得包括门驱动器2003和数据驱动器2004的屏面驱动电路进行操作的脉冲信号。

门驱动器2003是驱动电路，其生成用于顺序驱动的信号，并且根据从定时控制单元2002传输来的信号输出驱动电压到与显示屏134的每个像素连接的门总线。此外，数据驱动器2004是驱动电路，其基于视频信号输出驱动电压，并基于从定时控制单元2002传输来的信号生成和输出被施加到信号线的信号。

此外，为了补偿液晶显示屏2005的响应速度，适当地执行过驱动（over-driving）。过驱动是一种用于通过施加等于或高于屏面驱动电路的目标电压的驱动电压到液晶元件来改善响应特性以便更快地到达目标电压的处理。

通讯单元2007起到在诸如Wi-Fi或IEEE802.15.4的无线网络中的接入点的作用，并包括其自身的基础服务集（BSS）内起到终端作用的一个或多个在快门眼镜2100。通讯单元2007传输其中描述用于控制在快门眼镜2100侧上的左右快门透镜2101和2102的开启和关闭所必需的信息的数据包。

图21显示了快门眼镜2100的左右快门透镜2101和2102的与显示设备2000的左眼视频图像L的显示周期同步的控制操作。如图所示，在左眼视频图像L的显示周期期间，根据从显示设备2000侧传无线传输来的同步数据包，左快门透镜2101被设置为处于开启状态，而右快门透镜2102处于关闭状态，并且基于左眼视频图像L的显示光LL到达用户的左眼。

此外，图22显示了了快门眼镜2100的左右快门透镜2101和2102的与显示设备2000的右眼视频图像R的显示周期同步的控制操作。如图所示，在右眼视频图像R的显示周期期间，根据从显示设备2000侧传无线传输来的同步数据包，右快门透镜2102被设置为处于开启状态，而左快门透镜2101处于关闭状态，并且基于右眼视频图像R的显示光RR到达用户的右眼。

显示设备2000以时分方式按照每一场（field）在液晶显示屏2005上交替地显示左眼视频图像L和右眼视频图像R。在快门眼镜2100侧，左右快门透镜2101和2102与显示设备2000的每场的视频图像的切换同步并交替地执行开启和关闭操作。通过快门眼镜2100观看显示图像用户的大脑融合左眼视频图像L和右眼视频图像R并由此三维地识别显示在显示设备2000上的视频。

需要注意的是，本说明书所披露的技术不仅可以应用到使用诸如上述快门眼镜2100的主动眼镜的三维视频显示格式，而且可以应用到用于裸眼的三维视频显示格式和应用到使用被动眼镜的三维视频显示格式。

图1显示了安装在视频信号处理单元2001内的视频格式判断设备100的内部配置。图中所示的视频格式判断设备100接收视频信号，根据判断模式选择并行判断模式或顶底判断模式，并获得判断结果D。

在此，输入到视频格式判断设备100中的视频信号假设为分辨率为例如具有1920×1080像素大小的HD（高清）信号、具有720×480像素大小的SD（标清）信号的视频信号或由数字照相机记录的静态图像。图1显示了配置实例，其中执行用于为一帧静态图像判断视频格式的处理，但是在视频信号情况下，通过处理其帧被连续输入的运动图像中的一帧来判断视频格式。

视频格式判断设备100包括：特征量计算单元110、区域代表值计算单元120、校正值计算单元130、数据校正单元140、累积差值计算单元150、区域内相关性计算单元160、评估值计算单元170以及判断单元180。

在基于输入视频信号判断视频格式时，特征量计算单元110计算特征量。为了计算特征量，可以考虑使用低通滤波器来排除高频信息的方法以及使用带通滤波器或基于相邻像素之间的差的斜率计算获取边缘信息的方法，但是可以使用任何方法。此外，尤其时，可以照原样使用输入视频的亮度值而不计算特征量。下面，设置输入视频的亮度值本身用作特征量。

区域代表值计算单元120根据判断模式（换句话说，根据将被判断的三维视频格式）将视频帧中的左眼视频区域和右眼视频区域分别划分为多个小区域，并随后针对每个小区域计算由特征量计算单元110所计算的特征量的代表值。在此，作为代表值，计算每个区域的特征量（亮度值）的平均值。应该确定哪种三维视频格式是由用户例如从视频格式判断设备100的外部自动或手动指令的。

例如，当设置其中判断并行三维视频格式的判断模式时，区域代表值计算单元120将输入视频划分为位于左右侧的两半，并将各个左右区域每个划分为M×N个小区域，换句话说，如图2所示，将输入视频划分为2M×N个小区域。

下面，区域代表值计算单元120根据每个小区域的特征量计算平均值作为例如该小区域的代表值。在图2和3所示的左右侧的小区域L(p,q)和R(p,q)的平均值可以按照下面表公式（1）和（2）所示计算。

$L(p,q)=\frac{1}{P\×Q}\underset{x=(p\×P)}{\overset{P-1}{\mathrm{\Σ}}}\underset{y=(q\×Q)}{\overset{Q-1}{\mathrm{\Σ}}}F(x,y)...\left(1\right)$

$R(p,q)=\frac{1}{P\×Q}\underset{x=(p\×P)+(M\×P)}{\overset{P-1}{\mathrm{\Σ}}}\underset{y=(q\×Q)}{\overset{Q-1}{\mathrm{\Σ}}}F(x,y)...\left(2\right)$

其中，上述公式（1）和（2）中的的每个变量定义如下：

L(p,q)：左眼视频图像的小区域的代表值

R(p,q)：右眼视频图像的小区域的代表值

F(x,y)：输入视频的像素单元的特征量（亮度值）

x：输入视频的水平像素位置；y:输入视频的垂直像素位置

X：F(x,y)的水平像素的数量；Y：F(x,y)的垂直线的数量

M：在水平方向各个左右视频区域的被划分出的区域的数量

N：在垂直方向各个左右视频区域的被划分出的区域的数量

P：被划分出的区域的每一个中的水平像素的数量（P=X/M）

Q：被划分出的区域的每一个中的垂直像素的数量（Q=Y/N）

p：小区域单元中水平像素位置；q：小区域单元中垂直像素位置

此外，当设置其中判断顶底三维视频格式的判断模式时，区域代表值计算单元120将输入视频划分为位于上下侧的两半，并将各个上下区域每个划分为M×N个小区域，换句话说，如图3所示，将输入视频划分为M×2N个小区域。随后，区域代表值计算单元120根据小区域的特征量计算平均值作为例如该小区域的代表值。

需要注意的是，作为用于划分输入视频的方法，除了如图2和3所示的将区域清楚地划分为块的方法，还例举了可以使用通过划分左眼视频区域和右眼视频区域获得缩小区域块以便分别具有M行或N列的方法（参见图4）和可以使用将区域与相邻块叠加的方法（参见图5）。

此外，在不受视差影响的范围内的分块（division）数量也是本说明书中披露的技术的特征。换句话说，在图2和3所示的实例中，M×N分块的数量被设置为左眼视频区域和右眼视频区域中的每个为4×4分块，但是诸如16×16分块、12×12分块、或8×8分块的足够粗的数量是其另一种特征。可以使用诸如16×8分块的水平方向和垂直方向不对称的分块数量。采用这种方式，通过对输入视频使用足够粗的分块数量，可以消除视频信号的噪声或频段的影响以及视差的影响，并且同时，可以降低计算量。

针对从特征量计算单元110供应来的输入分辨率的特征量，如在下面公式（3）和（4）所示，校正值计算单元130分别计算左右视频区域的每一个的特征量（亮度值）的平均值APL_L和APL_R作为该区域的代表值，不同于区域代表值计算单元120中的小区域的代表值的计算

$\mathrm{APL}\_L=\frac{1}{X/2\×Y}\underset{x=0}{\overset{X/2-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{Y-1}{\mathrm{\Σ}}}F(x,y)...\left(3\right)$

$\mathrm{APL}\_R=\frac{1}{X/2\×Y}\underset{x=X/2}{\overset{X-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{Y-1}{\mathrm{\Σ}}}F(x,y)...\left(4\right)$

随后，如下面的公式（5）所示，所计算值APL_L和APL_R之间的差被计算为校正值α，并在后面的阶段被供应到数据校正单元140

α=APL_L-APL_R...（5)

当从区域代表值计算单元120获取左眼视频区域中的每个小区域的代表值L(p,q)时，数据校正单元140根据下面公式（6）使用从校正值计算单元130供应来的校正值α校正该值，随后获取校正后的代表值L’(p,q)。

L′(p，q)＝L(p，q)-α...(6)

采用上述公式（6）所示的代表值的运算，可以消除采用双透镜照相机获取的三维视频的亮度、对比度以及γ的影响（由于左右相机的特征的差别导致的左右视频区域之间的差别）

累积差值计算单元150通过对左右眼视频区域之间的对应小区域的代表值的差进行加权获得累加和S。不过，作为在左眼视频区域侧上的每个小区域的代表值，使用在数据校正单元140中获得的校正值L’(p,q)。可以根据下面公式（7）计算所述累加和S。并且该和作为该视频中左眼和右眼视频区域之间的相关性值S。

$S=\underset{p=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{q=0}{\overset{N-1}{\mathrm{\Σ}}}W(L^{\′}(p,q)-R(p,q))...\left(7\right)$

应该注意的时，作为被赋予左右眼视频区域的对应小区域的代表值的差值的权值W（在上述公式（7）中），使用了抑制等于或小于预定值的差值的相加的权重函数。具体而言，可以使用图6和下面的公式（8）所示的权重函数。图中所示的权重函数W为等于和小于预定值c的输入x给予极小的权值，因此，当被用作输入x的差值L’(p,q)-R(p,q)由于该值受到通过使用双手经相机拍摄而产生的视差、亮度和噪声影响而降低时，则抑制相加到相关性值S。因此，与在仅仅计算相关性值作为绝对差值时相比，可以进一步期望消除视差等的影响以及增加三维视频格式的判断精度的效果

$\left.\begin{array}{cc}W\left(x\right)=d/c\&times;\left|x\right|& (\mathrm{When}0\&le;|x|<c)\\ W\left(x\right)=e\&times;\left|x\right|+(d-e\&times;c)& (\mathrm{Whenc}\&le;|x\left|\right)\end{array}\right\}...\left(8\right)$

区域内相关性计算单元160计算左右眼视频区域内每个视频信号的相关程度。对于整个视频的区域内相关性C，可以使用左眼视频区域中获得的区域内相关性值CL和右眼视频区域中获得的区域内相关性值CR中的任何一个，或者如下面公式（9）所示的那样，可以根据CL和CR的平均值获得区域内相关性C

C＝(CL+CR)/2...（9)

在此，左眼视频区域中的区域内相关性CL和右眼视频区域中的区域内相关性值CR可以分别根据下面公式（10）和（11）获得。

$\mathrm{CL}=\underset{p=0}{\overset{M/2-1}{\mathrm{\&Sigma;}}}\underset{q=0}{\overset{N-1}{\mathrm{\&Sigma;}}}|L(p,q)-L(p+M/2,q)|...\left(10\right)$

$\mathrm{CR}=\underset{p=0}{\overset{M/2-1}{\mathrm{\&Sigma;}}}\underset{q=0}{\overset{N-1}{\mathrm{\&Sigma;}}}|R(p,q)-R(p+M/2,q)|...\left(11\right)$

评估值计算单元170根据公式（12）通过获取累积差值计算单元150所获得的在左右眼视频区域之间的相关性值S与区域内相关性计算单元160所获得的左右眼视频区域中的区域内相关性C的比率来计算评估值Z。

Z=S/C...(12)

判断单元180基于所计算的评估值Z判断输入视频是并排格式等的三维视频信号还是二维视频信号。当输入视频是三维视频格式时，输入视频中的左眼视频区域和右眼视频区域的相关程度增加。在这种情况下，由于在上述公式（7）中所示的区域之间的相关性值S变小，上述公式（12）中所示的评估值下降。因此，判断单元180在从评估值计算单元170输出的评估值Z低时能够判断该输入视频为三维视频格式。

图7以流程图形式显示了判断单元180用于基于评估值Z判断输入视频的视频格式的过程。判断单元180被设置成将判断结果显示为值D（D的值或0：三维视频，1：推迟判断）。

判断单元180首先核实区域内相关性计算单元160所计算的区域内相关性C是否等于或高于预定阈值th_c（步骤S701）。

此时，当区域内相关性C小于预定阈值th_c（在步骤S701中的“是”），判断结果D输出为1，换句话说，判断被推迟（步骤S702）。当区域内相关性C的值接近0时，原因在于整个屏幕都是平坦的可能性很高，并且因此没有足够的信息来判断视频格式。

另一方面，当区域内相关性C等于或高于阈值th_c时（在步骤S701中的“否”），可以根据输入视频获得用于判断视频格式的足够的信息，并因此基于由评估值计算单元170计算的评估值Z尝试判断视频格式（步骤S703）。

在本实施例中，在基于评估值Z判断视频格式的处理中使用两个阈值th_a和th_b（其中，th_a<th_b）。图8用图表解释了基于评估值Z判断视频格式的处理方法。

如果评估值Z较低，则可以判断输入视频为三维视频格式（如上所述）。因此，当评估值Z小于阈值th_a时，判断单元180判断该输入视频为三维视频，并输出0作为判断结果D。另一方面，当评估值Z等于或大于阈值th_b时，判断单元180判断输入视频为二维视频，并输出2作为判断结果D。此外，当评估值Z等于或大于th_a并且小于th_b时，判断单元180推迟判断，并输出1作为判断结果D。

需要注意的是，阈值th_a和th_b被确定为值例如0.2和0.4等。此外，可以使用具有三级或更多级（例如10级）而不是如图8所示两级阈值的公式的位置来执行评估值Z的确定，从而在这些级中表达用于确定值的可靠性。

当并排格式的静态图像需要在视频格式判断设备100中确定时，将“并行判断模式”设置为判断模式。当从视频格式判断设备100获得的判断结果D为表示三维视频的0时，判断该图像为并排格式，而当结果为表示二维视频的2时，判断该图像为二维视频。此外，当判断结果D为表示推迟判断的1时，该图像被判断为二维视频，因为还存在错误判断的可能性。

此外，当希望在视频格式判断设备100中判断顶底格式静态图像时，将“顶底判断模式”设置为判断模式。当从视频格式判断设备100获得的判断结果D为表示三维视频的0时，判断该图像为顶底格式，而当结果为表示二维视频的2时，判断该图像为二维视频。此外，当判断结果D为表示推迟判断的1时，该图像被判断为二维视频，因为还存在错误判断的可能性。

此外，当不了解输入视频是并排格式或顶底格式的三维视频信号还是二维视频信号时，视频格式判断设备100有必要这样多种视频格式。

图9以流程图形式显示了判断单元180用于基于评估值Z判断多种视频格式的过程。

首先，通过将判断模式设置为并行（SBS）判断模式，执行判断处理并获得判断结果D（步骤S901）。

在此，当所获得的判断结果D为0（步骤S902中的“是”）时，则输出表示输入视频的格式为并排格式的最后判断结果E=SBS（步骤S903，并随后结束该处理例程。

此外，当所获得的判断结果D不为0（在步骤S902中的“否”）时，则随后将判断模式切换为顶底（TAB）判断模式，执行该判断处理，并随后再次获得判断结果D（步骤S904）。

在此，当所获得的判断结果D为0（步骤S905中的“是”）时，则输出表示输入视频的格式为顶底格式的最后判断结果E=TAB（步骤S906），并结束该处理例程。

此外，当所获得的判断结果D不是0（步骤S905中的“否”），则核实判断结果D是否为1（步骤S907）。随后，当D为1（在步骤S907中的“是”）时，输出表示判断被推迟的最后判断结果E=HOLD（步骤S908），而当D不是1（在步骤S907中的“否”）时，输出表示输入视频为二维视频的最后判断结果E=2D（步骤S909），并结束处理例程。

如上所述，安装有视频格式判断设备100的显示设备2000基于视频格式的判断结果切换输入视频的显示格式。在此，在如图7-9所示的判断方法中，有可能判断结果针对每帧切换。当输入视频是运动图像时，如果判断结果在短时间周期内改变，显示设备200的屏幕上输出的显示格式会非常频繁地改变，并因此产生这种改变导致观众不愉快的问题。因此，有必要使得从视频格式判断设备100输出的判断结果的间隔稳定下来。

图10显示了在视频格式判断设备100进行运动图像的视频格式判断期间在操作控制中使用的状态变换示意图。在所示的实例中，视频格式判断设备100具有三种状态，它们是“SBS状态”，其中输入视频被判断为并排格式的三维视频；“TAB状态”，其中视频被判断为顶底格式三维视频；以及“2D状态”，其中视频被判断为二维视频。此外，判断单元180基于当前帧的判断结果（E）、其前一帧的判断状态（T）以及判断结果改变之后流逝的时间（CNT）判断状态变换。附图中的每种状态从视频格式判断设备100中输出作为每个视频格式的最后判断结果。初始状态被设置为例如2D状态。

在2D状态中，如果当前帧的判断结果维持在2D，则该状态返回到2D状态。另一方面，在当前帧的判断结果改变为SBS并且流逝了一段预定时间时（换句话说，如果在几个连续帧上的判断结果为SBS），状态从2D状态变换为SBS。此外，如果当前帧的判断结果改变为TAB并且流逝了一段预定时间，则状态从2D变换到TAB。

此外，在SBS状态，如果当前帧的判断结果维持在SBS，则状态返回到SBS状态。另一方面，如果当前帧的判断结果改变到TAB并且流逝了一段预定时间，则状态从SBS状态变换到TAB状态。此外，如果当前帧的判断结果改变到2D并且流逝了一段预定时间，则状态从SBS状态变换到2D状态。

此外，在TAB状态，如果当前帧的判断结果维持在TAB，则状态返回到SBS状态。另一方面，如果当前帧的判断结果改变到2D并且流逝了一段预定时间，则状态从TAB状态变换到2D状态。此外，如果当前帧的判断结果改变到SBS并且流逝了一段预定时间，则状态从TAB状态变换到SBS状态。

图11以流程图形式显示了判断单元180判断是否在图10所示的状态变换示意图中的状态之间执行变换的的过程。

首先，判断单元180根据前一帧中的状态T判断每种状态中的不同判断阈值（步骤S1101）。

例如，在2D状态中，设置帮助检测二维视频的判断阈值，诸如th_a=0.15和th_b=0.3，以便从二维视频的检测开始的变换不会频繁出现。此外，在诸如SBS状态或TAB状态的三维视频状态的情况下，设置帮助检测三维视频的判断阈值，诸如th_a=0.25以及th_b=0.45，使得从三维视频的检测开始的变换不会频繁出。

当判断结果模棱两可时，使得判断单元180仅仅在处于清晰而不同的格式的视频被输入时作出响应，通过以这种方式由判断单元180抑制从每种状态变换的频率而不容许判断状态T被转换，，并由此为稳定了判断结果的间隔。

在此，判断单元180将用于变量F的E保留作为在执行多种视频格式判断之前的前一判断结果（前一帧）（步骤S1102）。需要注意的是，此时，当E表示HOLD（判断推迟）时，变量F的值不更新。通过这种操作，E不被替换为前一判断结果F。E的初始值被设置为与T相同的值。

随后，判断单元180根据图9所示的过程执行用于多种视频格式的判断处理，并随后获得用于当前帧的判断结果E（步骤S1103）。

接着，判断单元180核实当前帧的判断结果E是否为HOLD（判断推迟）（步骤S1104）。

在此，在当前帧的判断结果E为HOLD（判断推迟）（步骤S1104中的“是”），则处理例程结束而不更新状态T和计数器CNT中的任意一个，计数器CNT测量从检测到状态改变开始流逝的时间。

另一发明，在当前帧的判断结果E不是HOLD（判断推迟）时（步骤S1104中的“否”），则进一步核实当前帧的判断结果E是否不同于当前状态T以及是否与前一判断结果F相同（步骤S1105）。

在当前帧的判断结果E不同于当前状态T并且与前一判断结果F相同（步骤S1105），则测量流逝时间的计数器CNT对值进行计数（步骤S1106）。

最后，当测量流逝时间的计数器CNT的值超过预定阈值（改变的时间）th_d时（步骤S1107中的“是”），当前状态T给更新为当前帧的判断结果E，并且计数器CNT被重置以便具有值0（步骤S1108），并结束处理例程。

此外，在当前帧的判断结果E与当前状态T相同，或不同于前一判断结果F时（步骤S1105中的“否”），改变的判断结果不被稳定，并因此将测量流逝时间的计数器CNT重置以便具有值0（步骤S1109，并结束处理例程。

采用图11中所示的处理，判断单元180获得不同于当前状态的判断结果，并且当不同的判断结果持续了一段给定时间或更长时，状态变换为新状态作为视频格式的判断结果，因此，执行稳定的视频格式判断。因此，显示设备2000能够根据判断结果稳定地显示运动图像。

图1中所示的视频格式判断设备100的特征概括如下：

（1）区域代表值计算单元120针对每个小区域将高分辨率的输入视频信号转换为特征量的代表值。因此可以执行几乎不受视差、视频信号的频段以及噪声影响的格式判断。此外，通过执行到每个小区域的特征量的代表值的转换，可以以较小的计算量执行格式判断。

（2）校正值计算单元130基于针对每个区域算出的特征量的平均值计算校正值，并且数据校正单元140使用该校正值校正每个区域的代表值，并且因此在后面阶段计算左眼和右眼视频区域之间的相关性时，能够一直对比度、γ以及颜色的影响。

（3）由于区域内相关性计算单元160计算左右眼视频区域之间的区域内相关性并且在计算区域之间的相关性的同时评估值计算单元170根据区域间相关性值与区域内相关性值之间的比率计算确定值，因此能够执行几乎不受对比度、γ以及颜色影响的格式判断。此外，由于在左右侧之间具有较高相关性的二维视频（参见图28）的影戏那个较小，因此区分二维视频和三维视频的性能得到增强。

（4）在计算左眼和右眼视频区域之间的相关性期间，累积差值计算单元150使用权重函数。因此，通过抑制视差、视频信号短短以及噪声的影响，改善了三维视频判断精度。

（5）判断单元180使用基于区域之间的相关性的评估值计算的确定值判断输入视频的格式，但是通过在判断三维视频格式和二维视频格式时提供不同的判断，可以降低错误判断的危险。

（6）通过改变划分和处左右眼视频区域的方法，视频格式判断设备100能够被用于判断多种不同三维视频格式，从并排格式和顶底格式开始。

（7）此外，通过切换多种判断模式以及连续执行判断处理，视频格式判断设备100能够同时判断多种三维视频格式。

（8）当判断运动图像的视频格式，视频格式判断设备100将判断结果的变换设定为不频繁出现，或者根据前一判断值通过设置判断阈值而易于判断所需的视频格式。

（9）当判断运动图像的视频格式，视频格式判断设备100能够参考判断结果的历史来稳定判断结果的间隔。

图12显示了视频格式判断设备1200另一个配置实例，其可以应用到视频信号处理单元2001中的输入视频格式的确定中。

视频格式判断设备1200包括：特征量计算单元1210、区域代表值计算单元1220、亮度排序计算单元1230、亮度方向计算单元1240、评估值计算单元1250以及判断单元1260。输入到视频格式判断设备1200的视频信号例如为具有1920×1080像素大小的HD（高清）信号、具有720×480像素大小的SD（标清）信号的视频信号或由数字照相机记录的静态图像。在视频信号情况下，可以通过处理连续输入的运动图像中的一帧来判断其视频格式。

在判断输入视频的视频格式时，特征量计算单元1210计算特征量。之后，将输入视频的亮度值设置用作特征量。

区域代表值计算单元1220根据来自视频格式判断设备1200的外部自动或由用户人工所指令的判断模式将视频帧中的左眼视频区域和右眼视频区域分别划分为多个小区域，并针对每个小区域计算由特征量计算单元1210所计算的特征量的代表值。在此，将每个区域的特征量（亮度值）的平均值计算为代表值。

例如，当设置其中判断并排格式三维视频的判断模式时，区域代表值计算单元1220将输入视频划分为在左右侧上的两半，并进一步将各个左右区域划分为M×N个小区域（参见图2），并随后根据上述公式（1）以及（2）计算小区域的平均值。此外，当设置其中判断顶底格式三维视频的判断模式时，区域代表值计算单元1220将输入视频划分为在上下侧上的两半，并进一步将各个上下区域划分成M×N个小区域（参见图3），并随后计算小区域的平均值。

需要注意的是，作为用于划分输入视频的方法，除了如图2和3所示的将区域清楚地划分为块的方法，还例举了可以使用通过划分左眼视频区域和右眼视频区域获得缩小区域块以便分别具有M行或N列的方法（参见图4）和可以使用将区域与相邻块叠加的方法（参见图5）。

此外，在不受视差影响的范围内的分块（division）数量也是本说明书中披露的技术的特征。换句话说，在图2和3所示的实例中，M×N分块的数量被设置为左眼视频区域和右眼视频区域中的每个为4×4分块，但是诸如16×16分块、12×12分块、或8×8分块的足够粗的数量是其另一种特征。可以使用诸如16×8分块的水平方向和垂直方向不对称的分块数量。采用这种方式，通过对输入视频使用足够粗的分块数量，可以消除视频信号的噪声或频段的影响以及视差的影响，并且同时，可以降低计算量。

亮度排序计算单元1230基于每个小区域的代表值针对在视频帧的左半边上的左眼显示区域以及在其右半边上的右眼显示区域分别对每行中的小区域进行排序，该代表是区域代表值计算单元1220所计算的平均亮。例如，假设输入视频是如图13所示的并排格式三维视频，并且通过使用区域代表值计算单元1220针对视频的每个小区域计算的代表值所获得结果如图14所示。在这种情况下，如果亮度排序计算单元1230对在左眼显示区域和右眼显示区域的每一个中的每行的小区域执行排序，则获得图15中所示的结果。此外，当输入视频为顶底格式，则亮度排序计算单元1230对在上半边上的左眼显示区域和在下半边上的右眼显示区域的每一个中的每列的小区域执行排序。

亮度方向计算单元1240基于每个小区域的代表值计算视频帧的左眼显示区域和右眼显示区域的每一个中的小区域的亮度改变方向，该代表值是在区域代表值计算单元1220中算出的平均亮度。

例如，针对位于3×3的中心的小区域通过乘以用于每个小3×3区域的3×3权重过滤系数可以获得亮度的改变方向。作为这种权重过滤器，已知有Prewitt模批匹配（例如，参见日本待审专利公开2009-217606）。在该匹配方法中，使用8种各自具有掩码值和方向的掩码，如图16所示。随后对所聚焦的小区域和8个外围的每个平均亮度以及掩码的值执行乘积和（product-sum）运算，，并将表示具有最大值的掩码的方向设置作为所聚焦小区域的亮度变化方向。如果使用如图16所示的8个掩码，以每45度间隔获得8个亮度变化方向。如果如图13所示Prewitt模板匹配应用到并排格式三维视频，则可以获得如图17所示的两边方向的改变。

评估值计算单元1250比较亮度排序计算单元1230针对左眼视频区域和右眼视频区域的对应小区域进行排序所获得的结果。最后，其排序在左右侧上一致的小区域被设置为1，不一致的小区设置为0，并且计算其在左右侧上排序一致的区域的数量R作为用于排序的评估值。随着其排序一致的小区域的数量的增加，换句话说，随着R的值的变大，能够将输入视频判断为三维视频。图18显示了用于图15中所示的亮度排序的结果的评估结果。在图示的实例中，由于所有24个小区域的排序一致，因此评估值R为24。

此外，评估值计算单元1250针对左眼视频区域和右眼视频区域的对应小区域比较通过使用亮度方向计算单元1240计算亮度改变方向所获得结果。随后，其亮度改变方向在左右侧上一致的小区域被设置为1，不一致的设置为0，并且,计算其在左右侧上亮度改变方向一致的区域的数量P作为用于亮度改变方向的评估值。如果使用如图16所示的8个掩码，以每45度间隔获得8个亮度变化方向。当判断规则减弱（alleviate）时，获得在左右侧上的亮度改变方向的可容许范围（例如，假设-45度、0度以及45度彼此一致）以及属于该范围的区域。随着其亮度改变的方向一致的小区域的数量的增加，换句话说，随着P值的变大，输入视频可以被判断为三维视频。图19显示了用于图17所示的亮度改变的方向的计算结果的评估结果。在该图的实例中，由于24个小区域中有22个的亮度改变方向一致，因此P的评估值为22。

例如，判断单元1260为评估值R和P的每一个提供三维视频判断阈值th_R_3D和th_P_3D以及二维视频判断阈值th_R_2D和th_P_2D。随后，由于左右眼视频区域的相似度随着评估值的变高而增加，因此存在是三维视频的可能性。相反，由于左右眼视频区域的相似度随着评估值的变低而下降，因此存在是二维视频的可能性。此外，当由于中间像素程度而视频没有被判断是三维视频或二维视频时，判断单元1260推迟判断。具体而言，基于亮度的排序或亮度改变方向，使用下面的各个公式（12）和（13）进行判断。

判断单元1260可以参照评估值计算单元基于亮度排序计算单元1230和亮度方向计算单元1240的计算结果所计算的评估值R和P中的任意一个或两者判断输入视频的格式。

此外，由于以一个输入帧为单位执行上述判断，因此在运动图像的情况下存在由于图像的改变和噪声导致的以一个帧为单位中存判断结果改变的可能性。如果判断结果在短时间周期内改变，那么显示设备2000在其屏幕上输出的显示格式会改变得过于频繁，因此存在这种改变使得观众不愉快的问题。因此有必要稳定从视频格式判断设备1200输出的判断结果的间隔。因此，使用前述方法，判断单元1260可以沿着时间方向抑制判断结果的改变。

（1）当连续N次（例如N帧）获得相同的判断结果时，确认该判断。

（2）N个连续判断（用于N帧）中有M或更多判断结果被采用。

此外，当没有判断结果满足条件（1）或（2）时，则输入视频不能被判断为三维视频或二维视频，因此判断单元1260可以输出“判断推迟”的结果。

图1所示的视频格式判断设备100的特征概括如下。

(1)由于进行判断不需考虑左右眼视频区域中亮度的绝对值，因此甚至可以针对其亮度在左右眼视频区域有显著偏差的三维视频图像精确判断视频格式。

（2）左右眼视频区域分别被划分为小区域，并针对每个区域使用平均亮度值等的代表值执行评估。因此，帧判断几乎不受到视差、视频信号的频段以及噪声的影响。

（3）左右眼视频区域分别被划分为小区域，并针对每个区域使用平均亮度值等的代表值执行评估。因此，与其中以像素为单位进行评估的方法相比，计算量较小。

（4）通过改变划分和处理左右眼视频区域的方法视频格式判断设备1200可以用于判断开始于并排格式和顶底格式的多种不同三维视频格式。

此外，本发明也可以配置如下。

（1）一种视频格式判断设备，包括：

视频输入单元，接收具有每个像素的特征量的视频；

区域代表值计算单元，将输入视频中待判断的三维视频格式的左眼视频区域和右眼视频区域分别划分为具有M行和N列的一些小区域，并随后针对左眼视频区域和右眼视频区域每一个计算各个小区域的特征量的代表值；

校正值计算单元，基于左眼视频区域的特征量的平均值和右眼视频区域的特征量的平均值计算校正值来校正所述代表值；

数据校正单元，使用所述校正值来校正针对左眼视频区域和右眼视频区域之一计算的各个小区域的代表值；

区域间相关性计算单元，通过累加左眼视频区域和右眼视频区域中对应小区域的代表值的差来计算左眼和右眼视频区域之间的相关性；以及

评估判断单元，评估左眼和右眼视频区域之间的相关性以判断输入视频是否为三维视频格式。

（2）一种视频格式判断设备，包括：

视频输入单元，接收具有每个像素的特征量的视频；

区域代表值计算单元，将输入视频中待判断的三维视频格式的左眼视频区域和右眼视频区域分别划分为具有M行和N列的一些小区域，并随后针对左眼视频区域和右眼视频区域每一个计算各个小区域的特征量的代表值；

区域间相关性计算单元，通过累加左眼视频区域和右眼视频区域中对应小区域的代表值的差来计算左眼和右眼视频区域之间的相关性；

区域内相关性计算单元，计算左眼视频区域和右眼视频区域的至少一个区域内的相关性；以及

评估判断单元，基于左眼和右眼视频区域之间的相关性与区域内相关性的比例计算评估值以便基于所述评估值判断输入视频是否为三维视频格式。

（3）根据（1）的视频格式判断设备，其中区域代表值计算单元使用每个像素的亮度信号作为特征量。

（4）根据（1）或（2）的视频格式判断设备，其中区域间相关性计算单元基于左眼视频区域和右眼视频区域中的对应小区域的代表值的差计算左眼和右眼视频区域之间的相关性。

（5）根据（1）或（2）的视频格式判断设备，其中区域间相关性计算单元通过对左眼视频区域和右眼视频区域之间的对应小区域的代表值的差执行累积加权求和来计算左眼和右眼视频区域之间的相关性。

（6）根据（5）的视频格式判断设备，其中区域间相关性计算单元使用权重函数执行累积加权求和，该权重函数抑制了其值等于或小于预定值的差的求和。

（7）根据（1）的视频格式判断设备，还包括：

区域内相关性计算单元，计算左眼视频区域和右眼视频区域中至少一个内的相关性，

其中，评估判断单元基于左眼和右眼视频区域之间的相关性与区域内相关性的比例计算评估值以便基于所述评估值判断输入视频是否为三维视频格式。

（8）根据（2）或（7）的视频格式判断设备，其中当区域内相关性的值等于或小于预定阈值时，评估判断单元推迟判断输入视频的视频格式。

（9）根据（1）或（2）的视频格式判断设备，其中区域代表值计算单元分别将左眼视频区域和右眼视频区域布置在输入视频的左侧和右侧，并在判断输入视频是否为并排格式的三维视频的判断模式下计算各个小区域的代表值。

（10）根据（1）或（2）的视频格式判断设备，其中区域代表值计算单元分别将左眼视频区域和右眼视频区域布置在输入视频的左侧和右侧，并在判断输入视频是否为顶底格式的三维视频的判断模式下计算各个小区域的代表值。

（11）根据（1）或（2）的视频格式判断设备，

其中，提供了多个判断模式，在所述多个判断模式下，针对多个三维视频格式中的每一个判断视频格式，以及

其中，当在某种判断模式下判断输入视频不是三维视频时，评估判断单

（12）根据（1）或（2）的视频格式判断设备，其中，在判断运动图像的视频格式期间，评估判断单元基于当前帧的视频格式的判断结果、前一帧的视频格式的判断状态以及自判断结果的改变起流逝的时间来判断是否应该转变视频格式的判断状态。

（13）根据（12）的视频格式判断设备，其中评估判断单元设置在根据视频格式判断状态在确定评估值时使用的阈值。

（14）一种视频格式判断设备，包括：

视频输入单元，接收具有用于每个像素的特征量的视频；

区域代表值计算单元，将输入视频中待判断的三维视频格式的左眼视频区域和右眼视频区域分别划分为具有M行和N列的一些小区域，并随后针对左眼视频区域和右眼视频区域每一个计算各个小区域的特征量的代表值；

代表值排序计算单元，基于在左眼视频区域和右眼视频区域的每一个中的所计算的代表值，对每一行和每一列计算小区域的排序；以及

评估判断单元，评估左眼视频区域和右眼视频区域之间的对应小区域的排序的相似度以便判断输入视频是否为三维视频格式。

（15）一种视频格式判断设备，包括：

视频输入单元，接收具有用于每个像素的特征量的视频；

区域代表值计算单元，将输入视频中待判断的三维视频格式的左眼视频区域和右眼视频区域分别划分为具有M行和N列的一些小区域，并随后针对左眼视频区域和右眼视频区域每一个计算各个小区域的特征量的代表值；

代表值方向计算单元，计算在左眼视频区域和右眼视频区域每一个的每个小区域中代表值改变的方向；以及

评估判断单元，还评估在左眼视频区域和右眼视频区域中的对应小区域中代表值改变方向的相似度以便判断输入视频是否为三维视频格式。

（16）根据（15）的视频格式判断设备，其中，通过n×m的权重过滤系数乘以左眼视频区域和右眼视频区域每一个中的n×m小区域的每一个，代表值方向计算单元计算代表值每个小区域中代表值的改变反向。

（17）一种视频格式判断方法，包括：

接收具有每个像素的特征量的视频；

将输入视频中待判断的三维视频格式的左眼视频区域和右眼视频区域分别划分为具有M行和N列的一些小区域，并随后针对左眼视频区域和右眼视频区域每一个计算各个小区域的特征量的代表值；

基于左眼视频区域的特征量的平均值和右眼视频区域的特征量的平均值计算校正值来校正所述代表值；

使用所述校正值来校正针对左眼视频区域和右眼视频区域之一计算的各个小区域的代表值；

通过累加左眼视频区域和右眼视频区域中对应小区域的代表值的差来计算左眼和右眼视频区域之间的相关性；以及

评估左眼和右眼视频区域之间的相关性以判断输入视频是否为三维视频格式。

（18）一种视频格式判断方法，包括：

接收具有每个像素的特征量的视频；

将输入视频中待判断的三维视频格式的左眼视频区域和右眼视频区域分别划分为具有M行和N列的一些小区域，并随后针对左眼视频区域和右眼视频区域每一个计算各个小区域的特征量的代表值；

通过累加左眼视频区域和右眼视频区域中对应小区域的代表值的差来计算左眼和右眼视频区域之间的相关性；

计算左眼视频区域和右眼视频区域的至少一个区域内的相关性；以及

基于左眼和右眼视频区域之间的相关性与区域内相关性的比例计算评估值以便基于所述评估值判断输入视频是否为三维视频格式。

（19）一种视频格式判断方法，包括：

接收具有用于每个像素的特征量的视频；

区域代表值计算单元，将输入视频中待判断的三维视频格式的左眼视频区域和右眼视频区域分别划分为具有M行和N列的一些小区域，并随后针对左眼视频区域和右眼视频区域每一个计算各个小区域的特征量的代表值；

基于在左眼视频区域和右眼视频区域的每一个中的所计算的代表值，对每一行和每一列计算小区域的排序；以及

评估左眼视频区域和右眼视频区域之间的对应小区域的排序的相似度以便判断输入视频是否为三维视频格式。

（20）一种视频格式判断方法，包括：

接收具有用于每个像素的特征量的视频；

将输入视频中待判断的三维视频格式的左眼视频区域和右眼视频区域分别划分为具有M行和N列的一些小区域，并随后针对左眼视频区域和右眼视频区域每一个计算各个小区域的特征量的代表值；

计算在左眼视频区域和右眼视频区域每一个的每个小区域中代表值改变的方向；以及

评估在左眼视频区域和右眼视频区域中的对应小区域中代表值改变方向的相似度以便判断输入视频是否为三维视频格式。

（21）一种显示设备，包括：

输入单元，接收视频信号；

视频信号处理单元，判断输入视频信号的格式，并根据判断结果通过切换显示格式来执行三维视频信号或二维视频信号的处理；以及

显示单元，在屏幕上显示在视频信号处理单元已经被过的视频信号，

其中视频信号处理单元将输入视频中待判断的三维视频格式的左眼视频区域和右眼视频区域分别划分为具有M行和N列的一些小区域，并随后针对左眼视频区域和右眼视频区域每一个计算各个小区域的特征量的代表值，基于左眼视频区域的特征量的平均值和右眼视频区域的特征量的平均值计算校正值来校正所述代表值；使用所述校正值来校正针对左眼视频区域和右眼视频区域之一计算的各个小区域的代表值；通过累加左眼视频区域和右眼视频区域中对应小区域的代表值的差来计算左眼和右眼视频区域之间的相关性；以及评估左眼和右眼视频区域之间的相关性以判断输入视频是否为三维视频格式。

以上，参照具体实施例描述了本说明书所披露的技术。不过，本领域技术人员应该理解到，根据设计要求和其他因素可以有各种修改形式、组合、子组合以及替代形式，只要其在附后权利要求书或其等同方式的范围之内即可。

在本说明书中，给出的描述集中在这样的实施例，其中判断诸如其中所有视频作为一帧被传输的并排格式和顶底格式的三维视频格式，但是本说明书所披露的技术的应用范围不限于任何具体的三维视频格式。例如，在其中左眼视频和右眼视频用于每帧交替传输的帧序列方案中，本说明书中披露的技术能够通过执行区域之间的相关性以及计算区域内相关性以相同的方式实现。

此外，本说明书所披露的技术不仅可以应用于使用诸如上述快门眼镜的主动眼镜的三维视频显示格式，而且应用于使用被动眼镜的三维视频显示格式和用于裸眼的三维视频显示格式。

本领域技术人员应该理解到，根据设计要求和其他因素可以有各种修改形式、组合、子组合以及替代形式，只要其在附后权利要求书或其等同方式的范围之内即可。

本发明包含与在2012年5月15日向日本专利局提交的日本优先权专利申请JP2012-111815相关的主题，其整个内容通过引用包含在本申请中。

Claims (20)

1.一种视频格式判断设备，包括：

视频输入单元，接收具有每个像素的特征量的视频；

区域代表值计算单元，将输入视频中待判断的三维视频格式的左眼视频区域和右眼视频区域分别划分为具有M行和N列的小区域，并随后针对左眼视频区域和右眼视频区域每一个计算各个小区域的特征量的代表值；

校正值计算单元，基于左眼视频区域的特征量的平均值和右眼视频区域的特征量的平均值计算校正值来校正所述代表值；

数据校正单元，使用所述校正值来校正针对左眼视频区域和右眼视频区域之一计算的各个小区域的代表值；

区域间相关性计算单元，通过累加左眼视频区域和右眼视频区域中对应小区域的代表值的差来计算左眼和右眼视频区域之间的相关性；以及

评估判断单元，评估左眼和右眼视频区域之间的相关性以判断输入视频是否为三维视频格式。

2.根据权利要求1所述的视频格式判断设备，其中区域代表值计算单元使用每个像素的亮度信号作为特征量。

3.根据权利要求1所述的视频格式判断设备，其中区域间相关性计算单元基于左眼视频区域和右眼视频区域中的对应小区域的代表值的差计算左眼和右眼视频区域之间的相关性。

4.根据权利要求1所述的视频格式判断设备，其中区域间相关性计算单元通过对左眼视频区域和右眼视频区域之间的对应小区域的代表值的差执行累积加权求和来计算左眼和右眼视频区域之间的相关性。

5.根据权利要求4所述的视频格式判断设备，其中区域间相关性计算单元使用权重函数执行累积加权求和，该权重函数抑制了其值等于或小于预定值的差的求和。

6.根据权利要求1所述的视频格式判断设备，还包括：

区域内相关性计算单元，计算左眼视频区域和右眼视频区域中至少一个内的相关性，

其中，评估判断单元基于左眼和右眼视频区域之间的相关性与区域内相关性的比例计算评估值以便基于所述评估值判断输入视频是否为三维视频格式。

7.根据权利要求1所述的视频格式判断设备，其中区域代表值计算单元分别将左眼视频区域和右眼视频区域布置在输入视频的左侧和右侧，并在判断输入视频是否为并排格式的三维视频的判断模式下计算各个小区域的代表值。

8.根据权利要求1所述的视频格式判断设备，其中区域代表值计算单元分别将左眼视频区域和右眼视频区域布置在输入视频的顶部和底部，并在判断输入视频是否为顶底格式的三维视频的判断模式下计算各个小区域的代表值。

9.根据权利要求1所述的视频格式判断设备，

其中，提供了多个判断模式，在所述多个判断模式下，针对多个三维视频格式中的每一个判断视频格式，以及

其中，当在某种判断模式下判断输入视频不是三维视频时，评估判断单元通过切换到另一种判断模式来判断输入视频是否为三维视频。

10.根据权利要求1所述的视频格式判断设备，其中，在判断运动图像的视频格式期间，评估判断单元基于当前帧的视频格式的判断结果、前一帧的视频格式的判断状态以及自判断结果的改变起流逝的时间来判断是否应该转变视频格式的判断状态。

11.根据权利要求10所述的视频格式判断设备，其中评估判断单元设置在根据视频格式的判断状态的确定评估值时使用的阈值。

12.一种视频格式判断设备，包括：

视频输入单元，接收具有每个像素的特征量的视频；

区域代表值计算单元，将输入视频中待判断的三维视频格式的左眼视频区域和右眼视频区域分别划分为具有M行和N列的小区域，并随后针对左眼视频区域和右眼视频区域每一个计算各个小区域的特征量的代表值；

区域间相关性计算单元，通过累加左眼视频区域和右眼视频区域中对应小区域的代表值的差来计算左眼和右眼视频区域之间的相关性；

区域内相关性计算单元，计算左眼视频区域和右眼视频区域的至少一个区域内的相关性；以及

评估判断单元，基于左眼和右眼视频区域之间的相关性与区域内相关性的比例计算评估值以便基于所述评估值判断输入视频是否为三维视频格式。

13.根据权利要求12所述的视频格式判断设备，其中当区域内相关性的值等于或小于预定阈值时，评估判断单元推迟判断输入视频的视频格式。

14.一种视频格式判断设备，包括：

视频输入单元，接收具有用于每个像素的特征量的视频；

区域代表值计算单元，将输入视频中待判断的三维视频格式的左眼视频区域和右眼视频区域分别划分为具有M行和N列的小区域，并随后针对左眼视频区域和右眼视频区域每一个计算各个小区域的特征量的代表值；

代表值排序计算单元，基于在左眼视频区域和右眼视频区域的每一个中的所计算的代表值，对每一行或每一列计算小区域的排序；以及

评估判断单元，评估左眼视频区域和右眼视频区域之间的对应小区域的排序的相似度以便判断输入视频是否为三维视频格式。

15.一种视频格式判断设备，包括：

视频输入单元，接收具有用于每个像素的特征量的视频；

区域代表值计算单元，将输入视频中待判断的三维视频格式的左眼视频区域和右眼视频区域分别划分为具有M行和N列的小区域，并随后针对左眼视频区域和右眼视频区域每一个计算各个小区域的特征量的代表值；

代表值方向计算单元，通过n×m的权重过滤系数乘以左眼视频区域和右眼视频区域每一个中的n×m小区域的每一个，计算在左眼视频区域和右眼视频区域每一个的每个小区域中的那些代表值改变的方向；以及

评估判断单元，还评估在左眼视频区域和右眼视频区域中的对应小区域中代表值改变方向的相似度以便判断输入视频是否为三维视频格式。

16.一种视频格式判断方法，包括：

接收具有每个像素的特征量的视频；

将输入视频中待判断的三维视频格式的左眼视频区域和右眼视频区域分别划分为具有M行和N列的小区域，并随后针对左眼视频区域和右眼视频区域每一个计算各个小区域的特征量的代表值；

基于左眼视频区域的特征量的平均值和右眼视频区域的特征量的平均值计算校正值来校正所述代表值；

使用所述校正值来校正针对左眼视频区域和右眼视频区域之一计算的各个小区域的代表值；

通过累加左眼视频区域和右眼视频区域中对应小区域的代表值的差来计算左眼和右眼视频区域之间的相关性；以及

评估左眼和右眼视频区域之间的相关性以判断输入视频是否为三维视频格式。

17.一种视频格式判断方法，包括：

接收具有每个像素的特征量的视频；

将输入视频中待判断的三维视频格式的左眼视频区域和右眼视频区域分别划分为具有M行和N列的小区域，并随后针对左眼视频区域和右眼视频区域每一个计算各个小区域的特征量的代表值；

通过累加左眼视频区域和右眼视频区域中对应小区域的代表值的差来计算左眼和右眼视频区域之间的相关性；

计算左眼视频区域和右眼视频区域的至少一个区域内的相关性；以及

基于左眼和右眼视频区域之间的相关性与区域内相关性的比例计算评估值以便基于所述评估值判断输入视频是否为三维视频格式。

18.一种视频格式判断方法，包括：

接收具有用于每个像素的特征量的视频；

将输入视频中待判断的三维视频格式的左眼视频区域和右眼视频区域分别划分为具有M行和N列的一些小区域，并随后针对左眼视频区域和右眼视频区域每一个计算各个小区域的特征量的代表值；

基于在左眼视频区域和右眼视频区域的每一个中的所计算的代表值，对每一行或每一列计算小区域的排序；以及

评估左眼视频区域和右眼视频区域之间的对应小区域的排序的相似度以便判断输入视频是否为三维视频格式。

19.一种视频格式判断方法，包括：

接收具有用于每个像素的特征量的视频；

将输入视频中待判断的三维视频格式的左眼视频区域和右眼视频区域分别划分为具有M行和N列的一些小区域，并随后针对左眼视频区域和右眼视频区域每一个计算各个小区域的特征量的代表值；

通过n×m的权重过滤系数乘以左眼视频区域和右眼视频区域每一个中的n×m小区域的每一个，计算在左眼视频区域和右眼视频区域每一个的每个小区域中的那些代表值改变的方向；以及

评估在左眼视频区域和右眼视频区域中的对应小区域中代表值改变方向的相似度以便判断输入视频是否为三维视频格式。

20.一种显示设备，包括：

输入单元，接收视频信号；

视频信号处理单元，判断输入视频信号的格式，并根据判断结果通过切换显示格式来执行三维视频信号或二维视频信号的处理；以及

显示单元，在屏幕上显示在视频信号处理单元已经被过的视频信号，

其中视频信号处理单元将输入视频中待判断的三维视频格式的左眼视频区域和右眼视频区域分别划分为具有M行和N列的一些小区域，并随后针对左眼视频区域和右眼视频区域每一个计算各个小区域的特征量的代表值；基于左眼视频区域的特征量的平均值和右眼视频区域的特征量的平均值计算校正值来校正所述代表值；使用所述校正值来校正针对左眼视频区域和右眼视频区域之一计算的各个小区域的代表值；通过累加左眼视频区域和右眼视频区域中对应小区域的代表值的差来计算左眼和右眼视频区域之间的相关性；以及评估左眼和右眼视频区域之间的相关性以判断输入视频是否为三维视频格式。