CN103959767B - 检测时间同步失配的视频处理装置及方法 - Google Patents

Abstract

说明了用于检测立体视频内容的至少第一和第二视频流之间的时间同步失配的视频处理装置(2)及方法。检测出在视频内容中成像的生物的眨眼。通过确定在第一视频流中的眨眼的再现与在第二视频流中的所述眨眼的再现之间的时间偏移来确定时间同步失配。

Description

检测时间同步失配的视频处理装置及方法

技术领域

本发明涉及用于检测3D视频内容的至少第一和第二视频流之间的时间同步失配的方法。另外，本发明涉及用于检测在该立体视频内容中的时间同步失配的视频处理装置。

背景技术

在3D视频中，观看者的每只眼睛接收其自己的图像流。该流中的每个图像对表示自略有不同的视角的同一场景，在再现期间在人脑中创建3D体验。典型地，使用一对同步摄像机来捕捉立体3D视频内容。一个摄像机捕捉给左眼的图像，而另一个摄像机捕捉给右眼的图像。在此上下文中，3D视频内容也被称为立体视频内容。由于立体摄像机布置中的左、右摄像机的略有不同的观看方向，在从不同的摄像机位置得到的左、右图像中的两个对应点之间存在位移。在所捕捉的图像中的对应点之间的这种位移通常被称为视差。

为了制作高质量的立体视频内容，立体摄像机必须紧密地同步，使得在同一时刻得到每对图像，亦即，由立体摄像机布置的左摄像机得到的图像或帧以及由立体摄像机布置的右摄像机得到的对应的图像或帧。否则，摄像机运动和在所捕捉的场景中的移动对象将导致附加的错误的视差。众所周知，人类观察者对即使少量的错误的垂直视差也是非常敏感的。然而，改变的或错误的水平视差也能够导致在视频内容的3D再现中的严重失真。另外，在立体视频内容中的左、右画面之间的错误的视差能够导致单眼闭塞与立体布局线索(stereoscopicplacementcue)之间的冲突以及超收敛或超发散。这些问题能够容易地导致与错误的垂直视差相似的不愉快的观看体验，特别是在电影中的运动在水平方向上趋于更加明显的时候。

为了提供紧密的摄像机同步，立体摄像机通常装备有“同步锁相”或者“同步”输入端，由此，中央定时产生器单元可以向每个摄像机发送共同的同步信号，从而以同步的方式触发两个捕捉处理。然而，很多3D视频内容遭受不充分的同步。原因是多方面的并且范围从硬件故障和公差到操作者过错和编辑错误。

因此，在最终的立体视频内容中的正确的同步是在制作高质量3D内容时要关注的一个重要领域。根据现有技术，大多数的情况下，关于同步的质量检验是手动实施的。然而，这是一项成本高且费时的处理，因为必须由操作者检查3D内容并且必须手动确定同步失配。相应地，需要允许检测3D内容中的同步失配的自动或半自动的检查。

发明内容

本发明的一个目的是提供一种改进的视频处理装置及改进的方法，用于检测3D视频内容的至少第一和第二视频流之间的时间同步失配。

在本发明的一个方面中，提供一种检测3D视频内容的至少第一和第二视频流之间的时间同步失配的方法。检测出在视频内容中成像的生物的眨眼。通过确定在第一视频流中的眨眼的再现与在第二视频流中的所述眨眼的再现之间的时间偏移来确定时间同步失配。换言之，根据本发明的方面的方法依赖于检测眨眼来确定第一和第二视频流之间的时间同步失配。换言之，根据本发明的方面的方法依靠对眨眼的检测来确定第一和第二视频流之间的时间同步失配。因为对脸部的检测和跟踪、对生物(其可以是人类、动物或者甚至动画生物)的眼睛的位置的估计以及对他们注视的方向的确定和对眨眼的检测长期以来一直是人机交互领域中的活跃的研究领域，所以可以容易且鲁棒地实现该方法。该技术领域已成熟到了现代数字摄像机装备有脸部、微笑及眨眼检测器的程度。后者在一个被拍摄的人闭上了眼睛的情况下可以自动地触发第二画面捕捉。换言之，可以基于各种不同的“现成”可用的算法来实施检测眨眼的算法的实现。随后，可以将所述眨眼检测的结果用于确定时间同步失配。

因为眼睛的形状和眼睑的运动是定义明确的并且从一个人到另一个人变化非常小，所以检测眨眼对于检测同步失配是有利的。而且，眨眼导致色彩和反差的剧烈变化，并且从更大的距离和在很陡的角度下仍然可见。

根据本发明的另一方面，眨眼检测包含检测至少第一和第二视频流中的眨眼。换言之，对于形成立体视频内容一部分的每个视频流，单独地实施眨眼检测。另外，分别确定第一和第二视频流中的眨眼的再现的第一和第二时刻。通过比较该第一和第二时刻来确定时间同步失配。

如果检测第一和第二视频流中的眨眼包含对第一和第二视频流计算时间眨眼函数，则更为有利。眨眼函数可以指示生物的至少一只眼睛的闭合或睁开的程度。可以通过计算第一和第二视频流的时间分辨的(time-resolved)眨眼函数之间的相关性来确定时间同步失配，其中，相关性函数的最大值可以指示同步失配。根据本发明的实施例，可以对每个视频流和视频的场景计算多于一个的眨眼函数。

首先，在第一和第二视频流中对相应视频流中的眨眼的多个对应的再现检测出多个眨眼。例如，第一眨眼函数可以指示生物的左眼的闭合程度，并且第二眨眼函数可以指示该生物的右眼的闭合程度。对于对应的眨眼的再现确定多个第一和第二时刻，其中，通过比较对应的眨眼的多个第一个和第二时刻，并且通过对于多个第一和第二时刻之间的所确定的差分实施求平均步骤，由此确定时间同步失配。例如，可以计算出可以分别指示生物的左、右眼的睁开的程度的另外的第三和第四眨眼函数。根据实施例，对于3D视频内容的每个视频流以及对于每个生物，这将得到最多四个眨眼函数。相应地，可以确定已经对第一视频流确定的这四个眨眼函数与可以对第二视频流类似地计算出的相应的另外的四个眨眼函数之间的相关性。该眨眼函数的增加的数量和对于相应的眨眼函数之间的相关性函数的确定与对每个视频流仅应用一个眨眼函数的实施例相比，将导致更高的鲁棒性。然而，计算负荷将稍微更高。

根据本发明的另一方面，通过对生物的至少一只眼睛的再现与预定的眼睛模板进行匹配来确定时间分辨的眨眼函数。眼睛模板可以分别涉及睁开的眼睛或闭合的眼睛。根据本发明的另一实施例，使用立体视频内容的第一和/或第二视频流中的生物的至少一只眼睛的再现来更新眼睛模板。换言之，可以在开始时应用预定的模板，并且可以使用第一和第二视频流的检测出的眼睛的捕捉的信息来对其进行细化。这将改善匹配阶段的结果。

时间分辨的眨眼函数可以是以眼睛的可见区域的形式指示眼睛闭合程度的信号、瞳孔的高度或者与眼睛模板的匹配得分。

有利地，第一视频流的眨眼函数与第二视频流的眨眼函数之间的相关性允许利用子帧准确度来确定同步失配。将在下面的段落中对此进行解释。

典型地，眨眼的持续时间在300与400毫秒之间。该期间对于摄像机(具有例如每秒仅24帧的捕捉速率)捕捉在眼睑闭合和睁开过程的期间的多个帧而言足够长。对于快速的眨眼，粗略的估计导致大约七个帧。为了得到子帧准确度(乍一看，这似乎是很困难的任务)，可以对眨眼函数进行插值，并且相应地可以提供考虑了所确定的测量点的平滑曲线。可以通过将第二视频流与第一视频流的经插值的眨眼函数相互关联来得到子帧准确度。根据本发明的另一实施例，为了得到子帧准确度，可以对第一和第二眨眼函数之间相关性函数进行插值。然而，第一方法预计将提交更精确的结果。

根据本发明的另一方面，在检测至少第一和第二视频流中的眨眼之后，选择第一视频流的第一帧和第二视频流的对应的第二帧来实施确定时间同步失配的步骤。从一组帧中得到该第一和第二帧，优选地，每一个均示出眨眼的完整再现。比较第一帧中的生物的至少一只眼睛的再现与对应的第二帧中的所述眼睛的再现以确定同步失配。换言之，与本发明的上述方面相反，没有用于确定眨眼函数以及后继的对同步失配的确定的固定且预定的模板。根据本发明的所提到的方面，第一视频流的视频信息用作第二视频流的模板，并且/或者反之亦然。对于高质量视频内容，第一和第二视频流之间的主要差异应当仅是在视角上略有移位。相应地，根据本发明的另一方面，不需要调整模板的大小和/或旋转，而且可以通过视差补偿来校正该稍微的视角失真。

根据本发明的另一方面，选择第一视频流的第一组帧和第二视频流的第二组对应的帧。优选地，第一和第二组帧每组均示出从睁开的眼睛到闭合的眼睛(反之亦然)的一半的眨眼的完整再现。另外，计算出第一和第二组帧中的第一和第二帧中的生物的眼睛的再现之间的亮度或色彩的差分图像。这个可以通过对对应帧的简单的减法以及设置阈值来实施。不幸的是，根据所述差分计算出的偏差区域的大小将不仅取决于所分析的时间偏移，还取决于眨眼速度以及帧中的生物的眼睛的绝对大小。可以通过对计算的偏差区域进行归一化去掉后者。就眨眼速度而言，认识到可以在一半的眨眼持续时间内(亦即，从睁开的眼睛到闭合的眼睛的眨眼的持续时间内，反之亦然)对检测出的偏差区域进行累积。换言之，在各自的那组帧上计算偏差区域的总量。有利地，在偏差区域的归一化以及偏差区域的累积之后，得到的总和将直接指示帧偏移。

然而，在捕捉的视频内容中可能存在运动模糊。相应地，计算出的第一和第二组帧的第一和第二帧中的生物的眼睛的再现之间的差分(亦即，偏差区域)可能不是明显的过渡而是在灰度画面中包含梯度的模糊的过渡。为了克服这一点，可以对计算出的偏差区域应用阈值滤波器，其中，优选地，应用在经归一化的0到1的范围内的阈值0.5。

根据本发明的另一方面，在分别计算第一和第二组帧的第一和第二帧中的生物的眼睛的再现之间的差分图像之后，根据所述差分计算出下眼睑和上眼睑之间的高度。可以对计算出的高度进行归一化。通过计算所述高度的总和，可以确定同步失配。这可以按照与对偏差区域解释的方式相类似的方式来实施。

另外，并且根据本发明的又一方面，可以计算出第一和第二组帧的对应的第一和第二帧中的生物的眼睛的再现之间的差分。另外，可以计算出第一和第二组帧的后继的帧中的生物的眼睛的再现之间的差分。可以将对对应的帧计算出的差分除以对后继的帧计算出的差分，从而确定同步失配。根据本发明的这个有利方面，不需要对计算出的差分进行归一化。对于该计算最少有三个帧是必要的。必须考虑一个视频流中的第一和后继的第二帧。对于这些帧之一，来自其他视频流的另外的第三对应帧是必要的。计算出的差分可以是如前所述的差分区域或者上、下眼睑之间的高度。

根据本发明的另一方面，可以提供一种用于检测立体视频内容的至少第一和第二视频流之间的时间同步失配的视频处理装置。该视频处理装置可以被配置为检测在视频内容中成像的生物的眨眼。另外，该视频处理装置可以被配置为通过确定第一视频流中的眨眼的再现与第二视频流中的所述眨眼的再现之间的时间偏移来确定第一和第二视频流之间的时间同步失配。

该视频处理装置还可以被配置为允许进行简单且附加的视觉检查，例如，用于对该检测时间同步失配的自动方法的质量控制。例如，可以在适合的用户界面中显示眨眼函数以及第一和第二视频流的眨眼函数之间的相关性函数。相应地，操作者可以立即检测出并校正任何系统故障，并且如有必要可以手动确定同步失配。另外，可以通过检测在时间上的相关性函数来实施对自动眨眼检测的质量检查。每个检测到的眨眼都将伴随着相关性函数中的较宽的或较尖锐的峰值，并且通过短暂地看一下视频内容本身，操作者可以确定所实现的算法的正确的功能。

附图说明

为了更好的理解，现在将参考附图在下面的说明中更详细地解释本发明。应当理解的是，本发明并不限定于该示例性实施例，并且还可以方便地结合和/或修改所指定的特征，而不脱离如在所附的权利要求书中定义的本发明的范围。附图中：

图1是示出多个随时间变化的眨眼函数的简图；

图2是例示带有略微同步失配的立体视频内容的左视频流和右视频流中的闭合的眼睛的简图；

图3是例示带有略微同步失配的立体视频内容的左视频流和右视频流中的闭合的眼睛的另外的简图；

图4是将眼睛睁开的程度作为所捕捉到的示出快速眨眼的相应眨眼的帧的函数来例示的图表；

图5是将眼睛睁开的程度作为所捕捉到的示出慢速眨眼的相应眨眼的帧的函数来例示的图表；并且

图6是用于检测立体视频内容的第一和第二视频流之间的时间同步失配的简化的视频处理装置。

具体实施方式

根据本发明的第一实施例，对3D内容视频内容的第一和第二视频流计算出随时间变化的眨眼函数，随后计算出这两个随时间变化的眨眼函数之间的相关性以便确定第一和第二视频流之间的时间同步失配。为了确定时间分辨的眨眼函数，必须使在3D视频内容中成像的生物的眼睛位于视频序列中。这可以通过应用众所周知的算法来实施。例如，可以应用K.Graumann等人在《CommunicationviaEyeBlinks–DetectionandDurationAnalysisinRealtime》(IEEE计算机视觉与模式识别会议(CVPR2001)会议录，第2卷，第1110-1117页)中描述的算法。

为了确定随时间变化的眨眼函数，可以确定围绕着生物的眼睛的位置的搜索区域与预定的眼睛模板之间的相关性得分CS。预定的眼睛模板可以在初始化步骤期间产生或者可以从数据库得到。当眼睛闭合时，该眼睛开始看起来越来越不像睁开的眼睛，亦即，该眼睛开始看起来越来越不像睁开的眼睛模板。同样地，当它重新睁开时，其慢慢地恢复与睁开的眼睛的相似性。这种简单却有效的观察可以被用于确定在图1中分别被画成实线和虚线的第一眨眼函数A和第二眨眼函数B。图1是从K.Graumann等人的《CommunicationviaEye–DetectionandDurationAnalysisinRealTime》(IEEE计算机视觉与模式识别会议(CVPR2001)会议录，第2卷，第1110-1117页)中得到的。为了产生第一眨眼函数A，通过计算眼睛的当前的再现与示出闭合的眼睛的眼睛模板之间的相关性得分将眼睛的当前的再现匹配到眼睛模板。另一方面，为了产生第二眨眼函数B，计算出眼睛的当前的再现与示出睁开的眼睛的模板之间的相关性得分SC。

根据实施例，在大约25个帧的第一段期间内，生物的眼睛(例如，在相应场景中成像的人的眼睛)是睁开的。相应地，在这段期间内，第二眨眼函数B高，而第一眨眼函数A低。在第一眨眼之后，第一眨眼函数急剧地增加(大约在帧25处)，而第二眨眼函数B相应地减少。当该生物稍后重新睁开眼睛时(大约在帧40处)，因为在视频流的搜索区域中的生物的眼睛的当前图像与示出睁开的眼睛的眼睛模板之间的相关性得分再次增加，所以第二眨眼函数B将再次增加。相应地，生物的眼睛的实际的再现与示出闭合的眼睛的眼睛模板之间的相关性得分再次减少(参见第一眨眼函数A)。

为了检测眨眼，可以对眨眼函数A、B之一或这两者应用简单的阈值。根据实施例，对于第二眨眼函数B，将该阈值定义为0.85的相关性得分。如果第二眨眼函数B下降到0.85的相关性得分CS以外，则眨眼开始；如果第二眨眼函数B重新获得0.85的相关性得分CS，则该眼睛被视为是再次睁开。相应地，可以定义眼睛睁开的时段和眼睛闭合的时段。这些通过眼睛睁开函数C(示为点线)来定义。如果第二眨眼函数B大于相关性得分阈值，则该函数是高的或者为“1”；如果第二眨眼函数B小于阈值，则该函数是低的或者为“0”。

为了确定第一和第二视频流之间的时间同步失配，将对每个视频流确定时间分辨的眨眼函数A、B中的至少一个。如果存在时间同步失配，则可以通过简单地比较第一和第二视频流的各自的眼睛睁开函数C的下降和/或增加斜率的时间点来确定时间偏移。根据本发明的另一实施例，可以计算出第一视频流与第二视频流的眨眼函数A、B之间的相关性得分。例如，可以计算出3D视频流的左信道(表示第一视频流)的第二眨眼函数B与右信道(表示第二视频流)的第二眨眼函数B'之间的相关性。如果在第一和第二视频流之间(亦即，在左、右信道之间)存在时间同步失配，则在每次出现眨眼之后该相关性函数将示出最大值。

为了增加确定时间同步失配的准确度，可以对眨眼函数A、B进行插值，并且可以基于各自的经插值的眨眼函数计算出第一和第二视频流的眨眼函数之间的后继的相关性。相应地，可以利用子帧准确度来确定第一和第二视频流之间的时间同步失配。为了减少同步失配检测中的噪声，对于确定时间同步失配，可以考虑多于一个的眨眼函数A、B。例如，对于每个视频流，可以确定出指示眼睛闭合的眨眼函数(亦即，第一眨眼函数A)和指示眼睛睁开的眨眼函数(亦即，第二眨眼函数B)。相应地，可以计算出两个匹配函数，并且可以通过考虑这两个匹配函数来确定时间同步失配。

另外，对于生物的每只眼睛(例如，对于人的左、右眼)可以确定出各自的第一和第二眨眼函数A、B。这将分别得到针对每个视频流的四个眨眼函数和四个匹配函数。甚至能够对场景中的多于一个的生物或人计算眨眼函数。然而，必须实施适合的脸部检测和脸部识别以便对第一和第二视频流中的各自的生物指定各自的眼睛对。

根据本发明的另一实施例，可以通过计算第一和第二视频流的对应的帧之间的差分来确定同步失配。换言之，在一个视频流中的生物的眼睛的再现可以用作另一视频流的模板。在更详细地论述该方法之前，更仔细地看一下作为3D视频内容的左、右视频流(仅作为示例)的第一和第二视频流中的生物的眼睛的再现。

图2是例示在左视频流L中的和在右视频流R中的闭合的眼睛的简图，其中，该眨眼发生在0到2这三个帧的期间。左、右视频流L、R具有0.125个帧的稍微的同步失配。应当理解的是，图2中的眨眼(仅发生在三个帧期间)是非常快的示例。然而，为了清楚，假设眨眼发生在0到2的帧的期间。该示例用于例示实施例的工作原理，然而，其可以非常容易地应用于任意的更现实的发生在多个帧的期间的眨眼。在第一帧(帧0)中，生物的眼睛在左视频流L中完全睁开。由于同步失配，右视频流R中的所述眼睛仅睁开到0.9375的程度。在第二帧(帧1)中，左视频流L中的眼睛是半闭合的，而在右视频流R中眼睛的睁开仅为0.4375。最后，在第三帧(帧2)中，生物的眼睛在左视频流中完全闭合，而在右视频流中则是稍微地再次重新睁开，由于这样，生物的眼睛的睁开为0.0625。在下面的表1中总结了左信道L和右信道R的眼睛睁开的程度：

帧	在左信道中眼睛睁开的程度	在右信道中眼睛睁开的程度
			0	1	0.9375
1	0.5	0.4375
			2	0	0.0625

表1

在图4的图表中给出了关于左信道L和右信道R的眼睛睁开的随时间变化的程度的另外的图示。存在作为多个帧F的函数的眼睛睁开的程度EO。眼睛睁开EO在分别指示睁开的眼睛和闭合的眼睛的“1”和“0”之间变化。在左信道L中的帧0处，眼睛睁开EO为1。其通过实心点指示。在帧1中眼睛睁开为0.5，并且在帧2中生物的眼睛是闭合的(EO＝0)。由于0.125个帧的稍微的时间同步失配，眼睛睁开EO在右视频流R中稍微更低，其通过空心点指示。可以使用子帧准确度通过确定实心点的线性插值来计算眼睛睁开的程度EO，从而得到下面的公式：

EO＝1-F/2(1)

借助这个公式可以确定在表1中的眼睛睁开的程度EO。例如，对于左信道L，在帧1处的眼睛睁开EO为0.5。为了计算右信道R的眼睛睁开EO，必须考虑0.125的时间同步失配。相应地，右信道R的对应的第二帧(帧1)为F＝1.125，从而得到眼睛睁开程度为EO＝0.4375。

图2和对应的图4例示了仅发生在三个帧的期间的快速眨眼。图3和5是例示了发生在五个帧的期间(亦即，帧0到4的期间)的较慢眨眼的另外的对应的图。图3示出多个例示较慢眨眼的简图，亦即，其在左信道L中的和在右信道R中的再现。对于左、右信道，通过下面的表2给出每个帧的眼睛睁开的程度：

帧	左信道的眼睛睁开的程度	右信道的眼睛睁开的程度
			0	1	0.96875
1	0.75	0.71875
			2	0.5	0.46875
3	0.25	0.21875
			4	0	0.03125

表2

另外，图5例示了左信道L(实心点)和右信道R(空心点)的眼睛睁开的程度EO。由于也被假设为有0.125个帧的时间同步失配，与在左信道L中的生物的眼睛相比，该生物的眼睛在右信道R中稍微地更加闭合。可以通过对帧0到4的实心点计算插值函数来确定眼睛睁开的程度EO，即：

EO＝1-F/4(2)

为了确定第一和第二视频流之间的时间同步失配，可以通过计算左、右信道L、R中的眼睛的再现的偏差区域来确定左、右视频流L、R中的生物的眼睛的再现之间的差分。在图2和4中，左信道L中的眼睛睁开EO和右信道中的眼睛睁开EO之间的差分为0.0625。这可以根据表1通过简单地确认左、右信道L、R的眼睛睁开EO的差分来得出。然而，该偏差区域取决于眨眼的速度，这在看一下表2并且计算仅为0.03125的左、右信道L、R之间眼睛睁开EO的差分时变得明显。然而，通过对一半的眨眼(这意味着，对于从睁开的眼睛到闭合的眼睛的范围内的所有的帧，反之亦然)计算所述偏差区域的总和，可以确定同步失配。根据图2到5中的实施例，必须分别针对帧0到2和帧0到4计算偏差区域的总和。根据图2和4中的实施例，这意味着计算三次的差分0.0625的总和，从而得到0.125。根据图3和5中的实施例，眼睛睁开EO的程度的差分是0.03125，其被得到五次。这也将得到0.125个帧，刚好是同步失配。

另外，生物的眼睛的再现可以在眨眼的期间变化，这意味着眼睛的再现(在各自的帧中)在眨眼的开始时可能比在眨眼的结束时更大或更小。然而，这可以通过对生物的眼睛的再现进行归一化或者通过对偏差区域进行归一化来解决。

图6是包含用于接收3D视频内容(3D-AV)的处理单元4的简化的视频处理装置2。另外，适合的显示设备6被耦合到处理单元4。视频处理装置2可以被配置为实施根据本发明的方面的方法。另外，视频处理装置2可以被配置为提供允许对检测时间同步失配的自动方法实施质量控制的适合的用户界面。例如，可以将立体视频内容的再现提供给操作者，并且同时将左、右信道L、R的眨眼函数之间的匹配函数的再现提供给操作者。该匹配函数将在每次检测出眨眼时示出更小的或更宽的最大值，并且操作者可以简单地检查自动的同步失配检测的操作或者可以手动校正同步失配。

尽管以上参考具体的实施例说明了本发明，但是本发明并不限定于这些实施例，并且毫无疑问地在所要求保护的本发明的范围内技术人员将想出另外的选择。

Claims (15)

1.一种检测3D视频内容的至少第一视频流和第二视频流(L，R)之间的时间同步失配的方法，该方法包含：

检测所述3D视频内容中的生物的眨眼；以及

通过确定所述第一视频流(L)中的眨眼的再现与所述第二视频流(R)中的所述眨眼的再现之间的时间偏移来确定所述第一视频流和第二视频流(L，R)之间的时间同步失配。

2.根据权利要求1所述的方法，其中，检测眨眼包含：

检测至少所述第一视频流和第二视频流(L，R)中的眨眼；以及

确定所述第一视频流和第二视频流(L，R)中的眨眼的再现的第一时刻和第二时刻；

并且其中，确定时间同步失配包含：

比较所述第一时刻和第二时刻，以便确定同步失配。

3.根据权利要求2所述的方法，其中，检测所述第一视频流和第二视频流(L，R)中的眨眼包含：

计算所述第一视频流和第二视频流(L，R)中的眨眼过程的时间眨眼函数，其中，所述时间眨眼函数指示生物的至少一只眼睛的闭合或睁开的程度；

并且其中，确定时间同步失配包含：

计算所述第一视频流和第二视频流(L，R)的时间眨眼函数之间的相关性。

4.根据权利要求3所述的方法，其中，通过计算生物的至少一只眼睛的再现与预定的眼睛模板之间的匹配得分来确定所述时间眨眼函数。

5.根据权利要求4所述的方法，其中，使用立体视频内容的第一视频流或第二视频流中的生物的至少一只眼睛的再现来更新所述眼睛模板。

6.根据权利要求3所述的方法，其中，在至少第一视频流和第二视频流(L，R)中对于相应视频流(L，R)中的多个对应的眨眼的再现检测出多个眨眼，并且对于对应的眨眼的再现确定多个第一时刻和第二时刻，其中，通过比较对应的眨眼的多个第一时刻和第二时刻、并且通过对于多个第一时刻和第二时刻之间的所确定的差分实施求平均来确定时间同步失配。

7.根据权利要求1所述的方法，其中，检测眨眼包含：

检测至少第一视频流和第二视频流(L，R)中的眨眼；

并且其中，确定所述时间同步失配包含：

选择所述第一视频流(L)的第一帧以及所述第二视频流(R)的对应的第二帧，其中，从第一视频流的第一组帧得到所述第一帧和从第二视频流的第二组对应的帧得到所述第二帧，其中第一组帧和第二组帧示出所述眨眼的完整再现；以及

比较所述第一帧中的生物的至少一个眼睛的再现与在对应的第二帧中的所述眼睛的再现，以便确定同步失配。

8.根据权利要求7所述的方法，其中，确定所述时间同步失配还包含：

选择所述第一视频流的第一组帧以及所述第二视频流的第二组对应的帧，其中，所述第一组帧和第二组帧示出从睁开的眼睛到闭合的眼睛的或者反过来的眨眼的完整再现；

并且其中，对于所述第一组帧和第二组帧的所有对应的帧对，该比较包含：

分别计算在所述第一组帧和第二组帧的第一帧和第二帧中的生物的眼睛的再现之间的亮度或色彩的差分图像；

根据所述差分图像计算偏差区域；以及

计算所述偏差区域的总和，以便确定同步失配。

9.根据权利要求8所述的方法，其中，对于所述第一组帧和第二组帧的所有帧，对所计算出的偏差区域进行归一化。

10.根据权利要求8所述的方法，其中，计算偏差区域包含对所述差分图像应用阈值滤波器，其中，应用在经归一化的0到1的范围内的阈值0.5。

11.根据权利要求7所述的方法，其中，确定所述时间同步失配还包含：

选择所述第一视频流(L)的第一组帧以及所述第二视频流(R)的第二组对应帧，其中，所述第一组帧和第二组帧示出从睁开的眼睛到闭合的眼睛的或者反过来的眨眼的完整再现；

并且其中，对于所述第一组帧和第二组帧的所有对应的帧对，该比较包含：

分别计算在所述第一组帧和第二组帧的第一帧和第二帧中的生物的眼睛的再现之间的亮度或色彩的差分图像；

根据所述差分图像计算下眼睑和上眼睑之间的高度；以及

计算所述高度的总和，以便确定同步失配。

12.根据权利要求11所述的方法，其中，根据所述差分图像计算下眼睑和上眼睑之间的高度包含对所计算的高度进行归一化。

13.根据权利要求7所述的方法，其中，确定所述时间同步失配还包含：

选择所述第一视频流(L)的第一组帧以及所述第二视频流(R)的第二组对应帧，其中，所述第一组帧和第二组帧示出从睁开的眼睛到闭合的眼睛的或者反过来的眨眼的完整再现；

并且其中，该比较包含：

计算所述第一组帧和第二组帧的对应的第一帧和第二帧中的生物的眼睛的再现之间的差分；

计算所述第一组帧和第二组帧的后继的帧中的生物的眼睛的再现之间的差分；

将为对应的帧计算的差分除以为后继的帧计算的差分，以便确定同步失配。

14.根据权利要求13所述的方法，其中，计算所述第一组帧和第二组帧的对应的第一帧和第二帧中的生物的眼睛的再现之间的差分以及计算所述第一组帧和第二组帧的后继的帧中的生物的眼睛的再现之间的差分包含计算亮度或色彩的差分图像以及计算偏差区域或根据所述差分图像计算下眼睑和上眼睑之间的高度。

15.一种视频处理装置(2)，用于检测立体视频内容的至少第一视频流和第二视频流(L，R)之间的时间同步失配，其中，该视频处理装置(2)被配置为：

检测在所述视频内容中成像的生物的眨眼；以及

通过确定所述第一视频流(L)中的眨眼的再现与所述第二视频流(R)中的所述眨眼的再现之间的时间偏移来确定所述第一视频流和第二视频流(L，R)之间的时间同步失配。