CN102215423A - 用于测量视听参数的方法和设备 - Google Patents

Abstract

本发明涉及用于测量视听参数的方法和设备。提供了一种测量立体图像的3D深度的方法，包括提供左和右眼输入图像，向左和右眼输入图像中的每一个应用边缘提取滤波器，并使用经边缘提取的左和右眼图像来确定立体图像的3D深度。还提供了一种用于执行测量立体图像的3D深度的方法的设备。

Description

用于测量视听参数的方法和设备

技术领域

本发明大体上涉及视听数据流测试，并且特别地涉及用于测量立体视频流中的3D视觉深度的程度的方法和设备。

背景技术

立体（即3D）图像和视频通过分别向左和右眼呈现两个单独且略有不同的图像来进行工作。图像是不同的，因为它们每个将模拟特定场景的观看者将分别从间隔开约10cm的左和右眼看到的内容。正是眼睛之间的观看角的此变化允许人（及其它眼睛朝前的动物，其主要是食肉动物）通过所谓的视差来感知深度。

只有当左和右眼单独地（即右眼不能看到任何左眼的图像，反之亦然）且同时地观看它们相应的图像时，立体媒体才起作用。

存在许多不同的技术可用于实现此分离但同时的显示，包括立体图（anaglyph）（即使用两个不同且色彩上相反的颜色滤波器）、被动式（passive）偏振（即，使用通常水平地和垂直地分开90度的偏振滤波器）和主动式（active）快门（其交替地使左眼、然后是右眼模糊）。对于前两种方法而言，同时地显示左和右眼图像，但是使用相应颜色或偏振滤波器来从视图中去除相反眼睛的图像，使得每个眼睛仅看到正确的图像。而主动式快门方法将主动控制的眼镜连接到显示器，使得眼镜根据在屏幕上显示哪个图像来交替地挡住左或右眼。因此，在此主动式快门方法中，在任何一个时间仅显示左或右眼图像中的一个，并且依赖于人脑来将交替显示合并成单个图像（很像24个帧/秒胶片被感知为全动态（full motion））。

为了说明单独的左和右眼图像，可以以多种不同的方式来将立体图像或视频编码。例如，可以将立体视频“连续地”编码，即编码为连续图像流，在用于左和右眼的显示之间交替（可以使用滤波器将其处理成单个“双”图像）。同样地，可以“并排地”对立体图像流进行编码，即包含左和右眼图像两者的图像流，随后可以对其进行处理以将图像分离成分别用于向左和右眼显示的流。

无论编码方法如何，用主动式或被动式3D眼镜来观看3D图像的观看者将看到两个不同的图像，一个在左眼中且另一个在右眼中。这是在被动式眼镜的情况下使用偏振光/颜色滤波器、或者在主动式眼镜中使用主动式快门来实现，所述主动式眼镜需要与显示3D视频的设备同步。

由于3D图像模拟人在真实生活中能够看到的，所以使3D图像可视化要求不仅使用眼镜，而且还要求到显示屏的适当距离。如果该距离不正确，或者图像的编码深度不正确，则图像可能看起来不自然，并因此引起眼疲劳。

当前，难以客观地确定在视频流中是否存在3D内容，其是否看起来自然，或者其是否被正确地编码。因此，本文献中所描述的本发明给出了用于对3D视频/图像的深度方面进行可视化和分析的方法和设备。

发明内容

因此，提供了一种测量立体图像的3D深度的方法，包括提供左和右眼输入图像，向左和右眼输入图像中的每一个应用边缘提取滤波器，并使用经边缘提取的左和右眼图像来确定立体图像的3D深度。

为了便于解释，所描述的方法和设备提供了一种估计立体图像或视频中的感知的3D视觉深度的程度（即视差）并且可视化/图示不同2D显示的选择中的估计深度的手段。

可选地，所述边缘提取滤波器被颜色编码，并且所述方法还包括将已被颜色编码的经边缘提取的左和右眼图像叠加到单个屏幕上以向用户显示。

可选地，所述边缘提取滤波器被应用于左和右眼图像中的每个像素的亮度分量。

可选地，所述方法还包括确定指示立体图像中的每个像素的3D深度的视差值。

可选地，确定视差值包括在经边缘提取的左或右眼图像中的一个中选择像素的核心（kernel）以进行比较，在经边缘提取的左或右眼图像中的另一个中确定像素的最相似选择，并提供来自经边缘提取的一只眼图像的所选核心到经边缘提取的另一只眼图像的相对位置之间的分离值。

可选地，确定最相似选择包括使来自经边缘提取的左眼图像或经边缘提取的右眼图像中的一个的所选像素核心与来自经边缘提取的左或右眼图像中的另一个的一定范围的像素相关。

可选地，所述相关使用经边缘提取的左或右眼图像的像素之间的绝对差的和的倒数。

可选地，来自经边缘提取的左或右眼图像中的另一个的像素的范围包括搜索窗口，所述搜索窗口具有等于像素核心高度的高度和用户定义长度，或具有大于像素核心高度的用户定义高度和用户定义长度。使用与像素核心相比具有附加高度的搜索窗口允许检测并校正透镜的任何垂直偏差（misalignment）。

可选地，确定最相似选择还包括使用足够的峰值幅度（peak magnitude）来选择所比较的位置以指示可能匹配。然后，可以将所估计的视差值添加到用于图像的视差分布列表。

可选地，如果未发现足够的峰值幅度，则对于在测试中的像素，省略视差值。

可选地，所述方法还包括确定是否任何已确定视差值超过了用户定义的正或负阈值。

可选地，所述方法还包括根据归因于像素的视差量来应用至少一个颜色，并显示立体图像的经颜色编码的灰阶版本（version）以示出跨越立体图像的视差分布。

还提供了一种用于测量立体图像的3D深度的设备，包括用于接收立体图像的输入端、对立体图像的左和右眼部分进行滤波的至少一个边缘提取滤波器和执行所述方法中的任何一个的处理装置。

可选地，所述设备还包括视差估计单元和比较/相关单元。

还提供了一种包括所描述设备的供在电视广播系统测试（或其它视听测试设备）中使用的操作监视设备。

还提供了一种在视觉上显示3D图像中的分离量的方法，包括向立体图像的左和右眼图像的亮度分量应用颜色编码的边缘滤波器并随后将结果得到的两个图像叠加在单个显示上。

还提供了一种显示3D图像中的对象的相对深度的方法，包括使用颜色来表示图像的单色版本中的深度，其中，向左或右眼图像的亮度分量应用边缘检测滤波器，其中，应用于每个边缘的颜色将表示其在图像中的相对深度。例如，可以将红色用于看起来在屏幕之外的对象（即负视差），对于零视差而言褪色至白色，并且对于看起来在远处的对象而言移动至蓝色（即正视差）。

还提供了一种提供可以绘制的视差分布直方图的方法，其显示跨越整个图像所使用的视差的比例。这通过将每个像素的视差绘图来实现。可以在用户定义的视差水平下应用报警极限以驱动监视设备。

所有提出的方法和设备与用来传送左和右眼图像的方法无关，诸如立体图或并排。因此，所述方法和设备适用于其中在左和右眼图像之间存在已知同步的任何3D透射方法。

附图说明

现在将仅以示例的方式并参考附图来描述用于测量立体图像中的3D深度的方法和设备，在附图中：

图1示出根据本发明的实施例的原始图像和应用了边缘提取滤波器的同一图像；

图2示出根据本发明的实施例的被叠加成单个图像的经边缘提取的左和右眼图像；

图3示出根据本发明的实施例的用于所选单个像素的视差估计的样本分布；

图4示出根据本发明的实施例的原始图像、叠加的左/右眼边缘提取版本和用于显示立体图像的相对深度的温度显示；

图5示出根据本发明的实施例的用于整个图像的视差分布图；

图6示出根据本发明的实施例的分析立体视频的3D的方法的高级流程图；

图7示出根据本发明的实施例的分析立体视频的3D深度的方法的视差估计部分的更详细流程图；

图8示出根据本发明的实施例的用于测量立体视频的3D深度的设备的高级示意图。

具体实施方式

现在将参考附图来描述本发明的实施例，在附图中，已对相同或类似的部分或步骤给定相同或类似的附图标记。

左眼帧和右眼帧上的边缘检测

根据本发明的实施例的用于分析立体视频的3D深度的方法的第一步骤是向两个输入帧（分别为左眼和右眼帧）应用边缘检测滤波器。边缘检测滤波器通常对构成图像的像素的亮度分量起作用，并通过向两个输入帧应用可分离卷积滤波器来实现。存在适用于该过程的可用的各种边缘检测滤波器，特别地，例如Sobel、Prewitt和Kirsch边缘滤波器。每种类型的滤波器的性能很可能与图像内容有关。也就是说，例如，一个滤波器可能更擅长具有人和动物的内容，而另一滤波器可能更擅长风景等。例如，根据经验的测试已经显示Sobel滤波器对于在前景中具有对象的视频而言特别有效。还可以将边缘检测称为边缘提取。

图1示出原始图像110和从向原始图像110应用边缘提取滤波器得到的图像120的示例。可以看到经边缘提取的图像主要是黑色/暗色的，只有经提取的边缘显示出任何显著的亮度值。

双边缘显示

一旦已经产生了两个左/右眼输入帧的边缘提取，就可以对于每只眼睛使用不同颜色来显示两个经边缘提取的输入帧（例如用于左眼的绿色和用于右眼的蓝色或分别用于左和右的红色和蓝色—这里所使用的颜色的选择与颜色的立体图选择没有任何关系，并且仅仅被选择为在视觉上形成对比，因此在没有眼镜的情况下是可辨别的）并将其叠加在一起以便在同一显示中示出。这允许（由根据所述方法和设备适配的测试设备的用户）对在（一个或多个）采样图像中是否存在任何3D效果的容易的视觉识别，并且如下面将更详细地描述的，还在视觉上指示哪些对象具有负视差和正视差。

图2示出如上所描述的那样处理的叠加的经边缘提取的显示图像200的示例。虽然人很容易根据内容在深度方面主观地推断图像内的项目应在哪里，但机器需要客观测试，并且此外，用户可能要求可测量的参数。

可以如下客观地测试深度。从图2中的图像，可以推断图像中的人的脸和眼镜具有负视差（即，看起来‘在屏幕之外’），而背景中的计算机监视器具有正视差（即，看起来‘进入屏幕中’）。这是因为可以看到，绿色边缘在用于眼镜/脸的蓝色边缘的左侧，而绿色边缘在用于计算机监视器的对应蓝色边缘的右侧。

在每种情况下，用于同一特征的两个彩色线之间的像素距离对应于所感知的对象深度（即视差）。

因此，经边缘提取的左和右眼图像内的相同特征之间的相对水平距离是图像分离的度量并直接与3D图像对于观看者而言看起来有多自然有关。显著水平的分离将使得观看者看起来不舒服，甚至恶心。很可能广播公司和标准主体将对用于3D视频/图像材料的图像分离的可接受水平施加限制。

视差估计

在计算用于左和右眼两者的边缘提取帧之后，通过使用相关将两个经边缘提取的左和右眼图像相互比较来估计每个像素的视差。

现在将描述示例性小规模相关（small scale correlation）。然而，本发明不仅限于所描述的小规模相关。

对于像素P而言，利用经边缘提取的左眼图像中的屏幕坐标（X，Y），构建以像素P为中心的像素的核心。下面示出此类核心的示例，采取3×3矩阵的形式。其详述了包括在核心中的像素的坐标（如果具有坐标X，Y的像素是正被估计的像素-即在测试中的像素）：

X-1, Y-1	X,Y-1	X+1, Y-1
			X-1,Y	X,Y	X+1, Y
X-1, Y+1	X, Y+1	X+1, Y+1

可以使用其它核心尺寸。为了简单起见，可以忽视正好在图像边缘处的像素，因为将不存在对其可用的完整核心。此外，这些边缘部分不太可能特别重要，因为它们不是观看者的注意力的焦点。使该核心与在另一眼图像中的用户所选搜索窗口M乘N相关（即，评估两者之间的相似性）。由于为了容易起见，假设左和右眼图像在空间上是对准的，所以比较是在来自经边缘提取的左眼图像的核心与经边缘提取的右眼图像中的搜索窗口之间进行。当然，可以相反地执行相关计算（即，来自经边缘提取的右眼图像的核心，和来自经边缘提取的左眼图像的搜索窗口）。

通常由样本核心的高度来确定搜索窗口（N）的高度。这是因为通常仅沿着水平（侧向（sideways））方向（即向左或右）来执行相关，因为立体效果仅沿着水平方向操作。而搜索窗口（M）的长度根据输入图像/视频材料的参数和期望的性能特性是用户特定的。在一个示例中，搜索窗口可以是+/-100像素，但是可以同样地使用其它搜索窗口尺寸。增加搜索窗口尺寸对比核心增加相关时间，并且可以提供改善的准确度。然而，另一方面，由于不期待视差过大，所以较小的搜索窗口应是足够的。

在更高级的实施例中，搜索窗口可以在高度上大于核心，使得该相关在某种程度上也在垂直面中搜索。这允许自动地（在相机具有电动透镜移动结构的情况下）或经由向摄影师通知以便其手动地调整透镜来检测和校正形成3D相机的两个透镜之间的任何垂直偏差。可替换地，在已经拍摄了3D图像并因此不能调整透镜的情况下，垂直偏差量的检测可以允许两个图像组中的一个的后处理以通过使图像流中的一个向上或向下移位以进行补偿来使图像流重新对准。这可能节省将被分类为不可用3D视频/图像内容的项目（其将被有效地略微‘模糊’）。

通常由图像尺寸和最大可容许视差来确定最大偏移。

在本示例中，两个核心的相关性被定义为像素之间的差的绝对值的和的倒数。因此，在这种情况下，如果左和右是被相关的两个核心，则相关指数是：

Correlation(Left, Right) = 1 / ∑ [Left(i, j) – Right(i,j)]

其中，i，j是使用中的像素的坐标。

然而，可以使用其它形式的相关，诸如移位不变模式匹配算法。

在此简化示例中，正在被查看的像素（即感兴趣的像素）不是经边缘提取的左眼帧中的左上至右下对角线的一部分。

构造像素的3×3核心，其包括给定像素及其相邻像素，得到以下矩阵：

150	0	0
			0	200	0
0	0	225

这些是‘边缘强度’值，即图像的边缘提取版本中的亮度值。请注意，在经边缘提取的图像中，只有边缘具有亮度值，其余部分接近于零或为零。

现在，如果右眼帧中的相同的三行像素具有以下值（示例仅是非常小的图片—3高×7宽像素）：

200	200	200	0	145	0	0
							200	200	200	0	0	225	0
200	200	200	0	0	0	250

然后，当尝试使左眼核心与这三行相关时，我们发现最佳匹配是最后一个位置，即在极右侧。这是因为其在相同的对角线形成中显示出非常类似的值的集合。在这种情况下，核心是被最好地设置在其初始起点右侧四个像素。因此，偏移和因此视差是4的右偏移，即+4。

在针对不同的偏移计算经边缘提取的左眼帧中的核心与经边缘提取的右眼帧中的搜索窗口的相关指数之后，我们获得相关图表（用归一化值），诸如图3所示。

如果发现了足够幅度的单个峰值，则确定能够估计该像素处的视差且此估计值被添加到视差分布列表。组成‘足够幅度’的内容根据设定的参数而变。按照实际情况，上述相关等式可以产生可以在0与无穷大之间变化的幅度（在存在精确匹配的情况下，分母是0）。然而，实际实现可以对值进行归一化（例如至100），以便在处理硬件上使计算更快且更高效。在这种情况下，例如，可以将足够的幅度视为在60%之上的任何项目。

如果在第一遍期间发现不足的结果，则可以修改所使用的确切阈值。例如，如果在图像的第一遍中未发现适当的匹配，则可以降低针对足够幅度设定的水平以确保某些像素被视为具有足够的幅度。

偶尔，在图像质量差或图像内容由于重复内容（诸如格子衫）而提供多个可能的匹配的情况下，或许不可能估计用于单独像素的视差，因此没有值被添加到用于该像素的分布列表。并且，用户可能希望根据正被分析的内容材料来调整幅度阈值。

可以采用求平均或其它假性结果拒绝方案的使用。例如，可以将用于像素的估计像素视差与相邻像素的视差相比较，并且如果存在显著且不期望的结果（例如，所有正值之中的-5），则可以忽视该假性结果，或者基于特定局部分组的平均值用视差值进行修正。

在示出用于单个像素300 P的视差估计的样本分布的图3中，存在所获得的一组三个潜在视差值—分别处于-4和-6的两个较低峰值310和处于-5的明确峰值幅度320。因此，此值被假设为用于视差的最可能值，并因此被添加到视差分布列表。

除极端边缘之外，针对经边缘提取的左眼图像中的每个像素执行相同的过程。

温度显示

一旦获得了尽可能完整的视差分布列表，然后就可以在示出整个图像的总视差的显示上对每个像素的估计视差进行绘图。这称为‘温度’显示，其中，根据其估计视差来对与图像中的边缘相对应的每个像素进行着色。

在相机之外（即具有负估计视差）的对象将被视为‘热的’，并以红色来显示。而进入相机中的对象（即，具有正估计视差）将被视为‘冷’的，并以蓝色来显示。具有零视差的对象将是白色的。当然，可以使用其它颜色，并且这些颜色与用于立体图3D图像呈现的颜色没有关系。这些颜色也与先前相对于经边缘提取的图像所讨论的蓝色/绿色颜色无关（同样地，这些是颜色的任意选择，以使得清楚在向用户显示数据时发生什么）。

图4示出用于全部的三个上述过程的一组图像。原始图像410、其叠加左/右边缘提取版本420和最终温度显示版本430。在本示例中，未对用于其中不能估计视差的像素绘制温度。以另一种颜色来对这些像素进行绘图以突出显示视差估计已经可能的程度将是简单的。

在图4的温度显示430中，可以看到底部右侧的紫花是一半红色且一半蓝色的，显示其具有正和负视差部分（其中的某些从屏幕出来，并且某些进入屏幕中）。

如前所述，如果不足的像素被示出具有估计视差值，则可以调整用于‘足够幅度’的阈值以允许估计更多的像素。同样地，如果存在过多的视差估计，则可以减小阈值。

优选地以现场实时馈送形式示出的此类温度显示允许内容创建者和广播公司使用更容易解释的简单2D显示来检验在其正在（或意图）广播的3D图像/视频中使用的对象的相对深度。此显示的关键是用表示由不同颜色（例如红色和蓝色）表示的相对深度的信息来替换原始图像的色度含量。可以通过使用所选颜色的色调等级来增加显示效用。例如，在上述红色/蓝色颜色方案中，深蓝色可以表示极端3D深度，而淡蓝色表示仅微小的3D深度。对于饱和和非饱和红色而言也是如此（但是沿着相反的方向）。

视差分布

既然3D深度（即视差）的度量可用于立体图像中的每个像素，可能有益的是将此用于确定3D图像/视频是否包含可能引起典型的观看者不适或恶心的任何3D效果。例如，这可能帮助确保要广播的任何3D视频在由相关管理机构设定的用于3D深度的标准极限内。如果发现了任何此类违反材料，则可以对其进行修正，使得其不再在界限之外，或被将其排除使用。

为此，然后可以在直方图中对像素进行绘图，对于所述像素而言，可以发现足够幅度的单个峰值。该直方图在x轴中使用估计的视差值，并在y轴中使用以该视差水平发现的像素的数目。

图5示出其中1010个像素包含零视差的示例性直方图500（这意味着在左眼帧与右眼帧之间的0偏移处发现最大相关）。与指示在远处（即进入屏幕中）的图像的比例的正值相比，负视差值指示从屏幕出来的图像的比例。

可以调整x轴并替代地重新标记以指示不一致或分离的百分比。这仅仅是作为水平图像尺寸的比例的视差程度。例如，如果在经边缘提取的左眼帧和经边缘提取的右眼帧之间存在5个像素的分离，则在200像素宽的图像中，于是可以将视差计算至-2.5%而不是-5。

很可能存在对被允许在3D立体图像/视频中使用的视差量设置的界限，以免使得观看者感觉不舒服、恶心或更坏。这些极限还有待于定义，但是可以预期大约达到负1%和正2%。

因此，为了允许内容创建者和分发者知道其3D材料是否在被接受界限内，向视差分布直方图应用正和负视差的对应用户指定垂直阈值可能是有用的。在图5中，可以看到中心“界限内”部分510，在那里视差是可接受的，以及左侧“过负”部分520和右侧“过正”部分530。

如果在测试中的立体图像/视频表现出在中心允许部分510之外的视差值（如在图5中的情况一样），则可以在根据本发明的3D立体深度监视设备中触发警报。此类方法和设备不仅允许无人看管操作，而且还比单独使用人（用3D眼镜）来检验3D内容更不容易出错。

图6示出分析立体图像/视频的3D深度的上述方法600的高级流程图。

该方法通过将输入的3D视频处理成相应的左和右眼图像来在步骤610处开始。这可以包括例如将‘连续的’3D视频流去交织，或者将‘并排’视频流切割成相应的左和右眼部分。

接下来，在步骤620处向在测试中的每个左和右图像应用边缘检测/提取滤波器。适当的边缘提取滤波器包括Sobel、Prewitt和Kirsch边缘滤器。

然后，在步骤630处将经边缘提取的左和右图像一起相关以确定相应原始图像的什么部分具有3D深度。以最简单的方式，这包括在步骤640处将两个经边缘提取的图像相互叠加（均为灰阶版本，但是采取相互不同的颜色）并向用户显示结果。然后，如上文更详细地描述的，根据彼此相对地显示用于每只眼睛的线的方式，用户可以在视觉上确定哪些部分具有3D深度，和那些部分是否将看起来像是从前景出来或去到远处。

以虚线示出了显示步骤640（和显示步骤660和680），因为在根据用户的选择，可以将根据本发明修改的测试和测量设备设置为显示不同显示640、660和680中的任何一个或多个的意义上，这些部分是可选的。通常，这将通过由用户在设备上的某种选择来实现。设备可以是多功能的，并因此可以被设置为根本不显示任何种类的3D深度测量，并且替代地显示与广播传输的其它方面相关联的参数，诸如位速率、使用中的编码标准等。

下一步骤650包括通过如上文更详细描述的那样来比较特征之间的距离来确定用于原始图像的每个像素的视差的实际测量值。这是估计过程，其根据用户定义参数来选择最可能拟合，所述用户定义参数诸如经边缘提取的图像中的峰值像素亮度级。

测试和测量设备可以可选地在步骤660处显示用于指定像素的潜在候选视差值，因此向用户提供关于选择的确定性的信息，或者在没有进行选择的情况下，指示情况为什么如此。

一旦已经确定了用于整个原始图像（或其部分，只要图像的一部分是感兴趣的即可）的视差值，结果是用于整个图像的视差分布（在步骤670处指示其完成），并且如上文所讨论的，可以（可选地）作为直方图或作为温度显示将其显示给用户680。

可以评估视差分布以确定是否任何估计视差值超过了某些阈值（如图5所示），因此确定是否引起警报（通知步骤690），向用户指示感兴趣的3D图像/视频中的视差值和因此的3D深度的量已超过某个用户定义值。该警报可以是可听的、可视的或采取某种其它形式。同样地，可以使用该通知来自动地引起某种形式的自动化视频修正，以减小感知的3D深度。在这种情况下，所述方法提供一种3D深度限制器，其可以具有特别的用途，其中，评估是关于计算机生成的3D内容的，对于该3D内容而言，更容易地实现了输出视频的修正。3D深度限制器可以向控制3D图像生成的算法中进行反馈。

图7示出步骤650处的估计视差的方法的更详细流程图。

估计视差的方法通过从经边缘提取的左或右眼图像中的任何一个中选择像素的核心以便与另一只眼图像中的搜索窗口相比较来在步骤710处开始。

在步骤720处，将来自经边缘提取的左眼图像的核心与经边缘提取的右眼图像中的搜索窗口相比较，以确定最佳拟合，并因此指示视差值，如上文更详细地描述的。该搜索过程仅沿着水平方向操作，因为3D深度由于左和右眼之间的角度变化而是水平分离的函数，但是还可以使用垂直评估来检测并控制透镜偏差。

在每种情况下，确定是否存在足够幅度的单个峰值（步骤730）。如果存在，则在步骤750处将在经边缘提取的左眼图像的峰值幅度与经边缘提取的右眼图像中的相同特征的峰值幅度之间的距离存储在视差分布列表中。如果不存在单个足够的峰值，则在步骤740处忽略该像素的视差。

以上述方式，仅使用相对于所估计的视差具有一定程度的确定性的像素，因此避免歪斜的结果。

图8示出可以用来执行所描述方法的硬件800的示例性形式。

向硬件800提供输入3D图像或视频810。根据其形式，可能需要在分离器（separator）820中将输入图像或视频810分离成左和右眼视频帧。

然后由边缘提取滤波器830来处理左和右眼视频帧，并可选地在显示器850上显示叠加结果。

然后，经边缘提取的左和右图像帧被视差估计单元840用来构建能够在显示器850上显示的用于原始图像的视差分布。

然后，比较器单元870获取视差估计的结果和一组用户定义视差极限860两者以便如果已经超过了某些视差极限，则通过警告系统880来向用户提供警告。警告系统880实际上可以包括对另一系统的某种形式的控制和向任何3D深度调整单元（未示出）中的反馈。

该硬件通常被集成到位于工作室、广播单元或处理3D图像和视频内容的其它视频传输基础设施中的多功能测试和测量设备中。

虽然已经就帧而言描述了前述内容，但显而易见的是还可以将本质上类似的过程用于域、或将被同时显示的像素的其它分组，诸如宏块、切片等。

所述方法和设备是编码格式不可知的，即，它们将用任何已知的编码方案进行工作，并且很可能用任何将来的编码方案进行工作，诸如，例如用于标准和高清晰度立体图像和视频数据的MPEG-4、H.264或VC-1。

可以由任何被适当地修改或设计的硬件来执行上述方法。还可以以在存储在计算机可读介质上的指令集来体现所述方法的各部分，所述指令集在被加载到处理器或具有数字信号处理器（DSP）等的计算机中时其促使处理器或计算机执行上述方法。

同样地，可以将所述方法体现为被具体编程或硬件设计的集成电路，该集成电路在所述立体深度估计/测量方法被加载到所述集成电路中时执行该方法。可以将该集成电路形成为诸如PC等通用计算设备的一部分，或者可以将其形成为更专用的设备的一部分，诸如硬件测试和/或测量设备等。

一个示例性硬件实施例是被编程为提供所述设备和/或执行所述方法的现场可编程门阵列（FPGA），所述FPGA位于测试或测量设备内。

本发明的另一示例性硬件实施例是位于测试或测量设备内的一个或多个专用集成电路（ASIC）。

当3D深度测量将实时地发生时，硬件（即FPGA或ASIC）实施方式可能是特别有益的。

对于技术人员来说显而易见的是根据诸如速度、质量等特定的一组执行参数的要求，可以修改在本文所述的方法中执行的步骤的确切次序和内容。使用求平均来克服假性瞬时测量值是可选的，并且使用的程度将取决于实施方式参数。此外，显而易见的是总体上根据本发明的特定实施方式要求，所公开设备的不同实施例可以以不同的组合选择性地实现本发明的某些特征。因此，不应将权利要求编号理解为对在权利要求之间移动特征的能力的严格限制，并且同样地，可以自由地利用从属权利要求的这些部分。

Claims (15)

1.一种测量立体图像的3D深度的方法，包括：

提供左和右眼输入图像；

向左和右眼输入图像中的每一个应用边缘提取滤波器；以及

使用经边缘提取的左和右眼图像来确定立体图像的3D深度。

2.权利要求1的方法，其中，所述边缘滤波器被颜色编码，并且所述方法还包括将已被颜色编码的经边缘提取的左和右眼图像叠加到单个屏幕上以向用户显示。

3.权利要求1或2的方法，其中，所述边缘提取滤波器被应用于左和右眼图像中的每个像素的亮度分量。

4.任何前述权利要求的方法，还包括确定指示立体图像中的每个像素的3D深度的视差值。

5.权利要求4的方法，其中，确定视差值包括：

在经边缘提取的左或右眼图像中的一个中选择像素的核心以进行比较；

在经边缘提取的左或右眼图像中的另一个中确定像素的最相似选择；以及

提供来自经边缘提取的一只眼图像的所选核心到经边缘提取的另一只眼图像的相对位置之间的分离值。

6.权利要求5的方法，其中，确定最相似选择包括：

使来自经边缘提取的左眼图像或经边缘提取的右眼图像中的一个的所选像素核心与来自经边缘提取的左或右眼图像中的另一个的一定范围的像素相关。

7.权利要求6的方法，其中，所述相关使用经边缘提取的左或右眼图像的像素之间的绝对差的和的倒数。

8.权利要求6或7的方法，其中，来自经边缘提取的左或右眼图像中的另一个的像素的范围包括搜索窗口，所述搜索窗口：

具有等于像素核心高度的高度和用户定义长度；或

具有大于像素核心高度的用户定义高度和用户定义长度。

9.权利要求5至8中的任一项的方法，其中，确定最相似选择还包括使用足够的峰值幅度来选择比较位置。

10.权利要求9的方法，其中，如果未发现足够的峰值幅度，则对于在测试中的像素，省略视差值。

11.权利要求5至10中的任一项的方法，还包括确定是否任何已确定视差值超过了用户定义的正或负阈值。

12.权利要求5至11中的任一项的方法，还包括根据归因于像素的视差量来应用至少一个颜色，并显示立体图像的经颜色编码的灰阶版本以示出跨越立体图像的视差分布。

13.一种用于测量立体图像的3D深度的设备，包括：

输入端，其用于接收立体图像；以及

至少一个边缘提取滤波器，其对立体图像的左和右眼部分进行滤波；

其中，所述设备适合于执行权利要求1至12中的任一项。

14.权利要求13的设备，还包括：

视差估计单元；以及

比较单元。

15.一种包括权利要求13或14中的任一项的设备的供在电视广播系统测试中使用的操作监视设备。

Images