CN102740115B - 立体图像配准和色平衡评估显示 - Google Patents

Abstract

本发明涉及立体图像配准和色平衡评估显示。一种生成立体图像配准和色平衡评估显示的方法使用户能够对准用来产生立体视频信号的两个相机或者分析接收的立体视频信号。将来自相机的左和右图像转换成所需视频信号分量。针对每个视频信号分量比较来自左和右图像的对应像素并且将这些像素绘制为向笛卡尔绘图的x和y输入以产生相应二维（2D）直方图。将多个2D直方图呈现为四菱形显示，因而用户可以对准两个相机或者分析接收的立体视频信号。

Description

立体图像配准和色平衡评估显示

相关申请的交叉引用

这一非临时专利申请要求于2011年2月24日提交的美国临时专利申请系列号61/446,170、标题为“Stereoscopic Image Registration and Color Balance Evaluation Display”的优先权申请日期，通过引用将其结合于此。

技术领域

本发明涉及视频测试和测量仪器并且更具体地涉及用于评定三维（3D）图像的图像配准和色平衡的方法。

背景技术

如今，3D立体图像的现场产生通常需要如下双相机装备，该双相机装备使用图像拆分以产生两个图像——左图像和右图像。必须设置并且相互配准两个相机以消除几何或者空间失配，诸如1）垂直偏离、2）角度偏离（除了所需视差之外）、3）旋转误差、4）缩放或者焦距失配以及5）场景组成。也要求调整两个相机以减轻6）亮度/对比度（孔径或者增益）和在相机或者成像器之间的色平衡的失配以及时间误定时（mistiming）。

当前通过诸如以下方法完成调整相机以匹配并且消除这些差异中的一个或者多个差异：a）查看两个图像的拆分屏幕的图片监视器进行并排比较；b）使用棋盘图案，其中相邻方形在左与右图像之间交替地切换以促进在单个图片上的匹配；或者c）使用波形监视器或者矢量显示器精确地匹配两个相机的信号电平和色平衡以减轻亮度/对比度和色平衡的失配。

于1994年4月26日向Daniel G. Baker授权的美国专利号5,307,087、标题为“Three-Dimensional RGB Component Vector Display”提供一种通过组合两对组合信号（诸如绿色和蓝色分量以及绿色和红色分量）的用于标准二维视频显示的三维显示。向矢量显示设备的输入交替地输入两个组合信号以提供关于对称轴的对称显示，其中一半表征蓝色分量。另一半表征红色分量并且两个一半均表征绿色分量。所得“菱形”显示用于每一半的如下格网，该格网用于限定用于三个色分量的色阶（color gamut）区域，因而用户可以看见彩色视频信号是否代表RGB中的有效色空间。

需要的是一种易于使用和理解的方法和显示器，该方法和显示器允许精确匹配由于在左与右图像之间的相机色平衡、孔径（增益）和定时失配所致的信号电平，因而用户可以容易地为双相机立体系统产生的立体图像提供立体图像配准和色平衡评估。也应当提供对最优几何对准的指示，因而可以通过调整相对左和右相机倾斜、旋转和缩放而不参考图片显示上的特定图像段来消除任何失配。

发明内容

因而，本发明提供一种立体图像配准和色平衡评估显示器以使用户能够对准用来产生优良立体视频信号的相机或者替代地分析接收的立体视频信号的质量。相机分别产生左图像和右图像，这些图像被转换成所需视频信号分量（诸如YRGB）。针对每个视频信号分量比较来自左和右图像的对应像素，并且将这些像素绘制为向笛卡尔绘图的x和y输入以产生用于每个视频信号分量的相应二维（2D）直方图。根据所得多个“菱形”显示，用户可以配准相应图像并且利用适当相机调整来产生在两个图像之间的色平衡，这导致改进的高质量立体视频信号或者可以确定现有立体视频信号的质量。用户也可以使用菱形显示以提供对在两个图像之间的相对像差（disparity）的指示以促进对某些测试图表或者场景的视差或者深度调整。

根据在与所附权利要求和附图结合阅读时的下文详细描述而清楚本发明的目的、优点和其他新颖特征。

附图说明

图1是根据现有技术的具有有关三维矢量菱形显示的二维视频显示的平面图。

图2是根据本发明一个实施例的具有有关二维直方图“四菱形（quad-diamond）”显示的如下两个二维视频显示的平面图，这两个二维视频显示一起形成立体图像。

图3是两个采样照度帧的立体图（anaglyph）的平面图。

图4是根据本发明的如下菱形显示的平面图，该菱形显示用于图3的立体图的一个色分量。

图5是如下平面图，该平面图图示了根据本发明的具有不同相机对准的图4的菱形显示的两个示例。

具体实施方式

一种用于比较两个信号电压的常用方法是在笛卡尔绘图上将一个信号电压绘制为x值并且将另一信号电压绘制为y值。这常用于两个信号代表复合信号的正交分量这样的情况下（诸如使用于星座和色矢量显示器中）。然而即使当信号并非这样的正交分量时，笛卡尔绘图仍然常用来示出共同信号依赖性，如在立体音频中使用的Lissajous显示器中那样。以这一方式，可以比较信号幅度，并且在信号为正弦曲线时，经常可以确定相对相位和频率。

通过引用结合于此的上述美国专利号5,307,087、标题为“Three-dimensional RGB Component Vector Display”描述了在x和y轴上按逐绘制分量RGB视频信号以产生所谓的“双菱形”显示。这一显示提供对信号如何比较以确定电平是否代表有效分量RGB信号空间的指示。这之所以有用是因为R、G和B分量中的每个代表三维（3D）笛卡尔色空间的三个轴之一。双菱形显示的有用特征是信号匹配，因为在x和y分量匹配或者具有随时间的相同波形时，无论信号波形可以是什么，笛卡尔绘图都是直线。例如，可以比较高度详细图像的整个帧的每个R、G和B像素以确定是否在所有点处R=G=B、由此代表如图1中所示理想单色图像。

双菱形显示经常在光栅扫描显示存储器中实施为二维（2D）直方图，其具有创建x坐标的一个信号和创建y坐标的另一信号。以这一方式，在所得笛卡尔绘图上的点的强度与特定仓（bin）的由两个信号寻址的x和y坐标出现的次数或者仓计数有关。经常完成仓计数到强度的非线性转换或者限制以适应仓计数相对于典型显示强度而言的大动态范围。图1示出了这些2D直方图中的一对105、110。注意直方图105、110旋转45度以产生线，其中两个信号具有竖直而不是倾斜45度的匹配像素。

现在，在本发明的一个实施例中，将3D立体视频信号的不同色分量的对应左和右像素绘制为2D直方图。

在本发明的另一实施例中，为了提供如上文讨论的所需立体图像配准和色平衡评估，提供四个2D直方图以如图2中所示产生所谓的“四菱形”显示200。照度分量Y_L（用于左图像的照度）比对Y_R（用于右图像的照度）形成一个2D直方图205以便比较和匹配左和右照度电平。R_L（来自左图像的红色分量）比对R_R（来自右图像的红色分量）210、G_L（来自左图像的绿色分量）比对G_R（来自右图像的绿色分量）215以及B_L（来自左图像的蓝色分量）比对B_R（来自右图像的蓝色分量）200的三个更多2D直方图也用于色匹配。其他比较（诸如Hue_L（来自左图像的色调）比对Hue_R（来自右图像的色调））也可以有用。

在本发明的一些实施例中，对信号的水平分量但不是竖直分量低通滤波。这在左和右图像中提供沿着水平线的局部平均值，但是未提供竖直细节的求平均。以这一方式，任何不匹配的左和右像素值（从竖直线偏离）主要是由于两个图像的竖直失准而不是水平失准。这使所得显示对任何非所需竖直像差很敏感并且通常允许将竖直偏移消除至少于1线。

水平低通滤波器也通过对更大屏宽分量求平均来限制由于用来产生立体深度的有意左和右视差所致的直方图像差或者从竖直线偏离的程度，由此允许更容易比较总体颜色和照度失配。在1MHz区域中的低通滤波器带宽对于标准清晰度（SD）立体视频而言工作良好，并且在2至5MHz区域中的低通滤波器带宽对于高清晰度（HD）立体视频而言工作良好。

图2示出了如下立体图像的示例，提供该立体图像为上有左相机图像225并且下有右相机图像230的堆叠图像。在这一示例中，左相机图像225包含比右相机图像230略微少的红色，因而有颜色失配。这在四菱形显示200的红色2D直方图210中被视为共同左和右像素值（竖直线）的朝右加权，这指示右图像中的更多红色偏置。还要注意，也存在照度（YL比对YR）向右图像的略微加权。另一方面，绿色和蓝色匹配215、220看上去良好。

举例而言，图3示出了待处理的两个采样照度帧（照度左和右或者YL和YR）的立体图300。图4示出了根据YL和YR创建的低通滤波和抽选像素YLd和YRd的笛卡尔绘图400，由此提供对上述2D直方图的仿真。

用于y轴Dy和x轴Dx的等式如下：

这些等式的结果是将笛卡尔xy绘图旋转45度，由此使在左与右之间具有相同照度值的像素出现于竖直中心线上。然后如在图2的示例四菱形显示中那样，将Dy和Dx的值绘制到2D直方图的仓中或者充当这些仓的索引。对于那些由于深度视差而不是竖直、缩放或者旋转对准误差而未共享相同左和右值的像素而言，在图像之间的水平像差表现为绘图绕着菱形绘图区的竖直中心线的水平扩展。水平扩展的宽度与深度视差量有关，而绘图从竖直线离开的偏斜示出了在两个图像之间的电平或者增益失配。

使用相似的一组等式，针对立体视频信号的左和右红色、绿色、蓝色、色调、值或者其他色分量创建左比对右菱形显示。组合代表四个分量的四个菱形显示产生图2的四菱形显示。

图5示出了图4的菱形显示的具有不同相机对准的两个示例500、505。左侧上的显示500示出了已经实现在两个图像之间的完美空间对准并且无增益失配的情况。这由细竖直线绘图指示并且图示了在已经为立体深度设置视差角度之前的理想立体相机设置。右侧上的显示505示出了存在图像之间的某些所需水平视差（深度像差），但是也有例如由于相机自动孔径差异所致的非所需的10%照度增益或者对比度失配（左相机比右相机低10%）的情况。

在一个实施例中，向左转换矩阵输入来自左立体相机的左分量视频值（YL，CrL，CbL），而向右转换矩阵输入来自右立体相机的右分量视频值（YR，CrR，CbR）。向如下相应匹配处理路径输入来自转换矩阵的相应照度值YL、YR和RGB分量值（RL、GL、BL和RR、GR、BR）：一个用于比较立体照度分量YL、YR，一个用于比较立体红色分量RL、RR，一个用于比较立体绿色分量GL、GR，并且最后一个用于比较立体蓝色分量BL、BR。每个路径在这一示例中具有用于两个输入立体分量中的每个输入立体分量的低通滤波器，之后为用于产生水平线滤波而无非必要过采样的采样速率抽选器。来自抽选器的所得抽选值然后由相应加法器和减法器一起相加和一起相减，并且结果由后续一半除法器求平均。在每个处理路径的输出的结果如上文讨论的那样输入到笛卡尔绘图的相应x和y输入以产生用于显示的相应2D直方图。结果是如图2中所示的四菱形显示。

虽然上文讨论主要地涉及用于产生优良的立体视频信号的相机调整，但是容易清楚描述的发明也可以用来分析接收的立体视频信号的质量。

因此，本发明为相机设置以及对实况3D视频素材的信号电平和色匹配提供对左和右图像配准的简单指示。在图像之一由镜子反转的情况下，像素将在应用于本发明时未反转。虽然本发明主要意图用于立体视频图像产生，但是它也具有用于质量控制可能需要色纠正的3D立体视频信号的价值。

Claims (11)

1.一种生成立体图像配准和色平衡评估显示的方法，包括以下步骤：

通过为左像素和右像素生成特定视频分量、比较所述特定视频分量中的所述左像素和右像素以产生和以及差值并且向笛卡尔绘图的相应正交坐标输入所述和以及差值以产生二维直方图来将立体视频信号的对应左像素和右像素绘制为代表所述立体视频信号的特定视频分量的二维直方图，所述立体视频信号具有左图像和右图像，根据所述左图像绘制左像素，根据所述右图像绘制右像素；并且

在显示屏上呈现所得二维直方图以供用户查看。

2.如权利要求1所述的方法，还包括以下步骤：在绘制步骤之前在水平方向上对所述左像素和右像素低通滤波以产生所述左像素和右像素的局部平均。

3.如权利要求1所述的方法，还包括以下步骤：在比较步骤之前对所述特定视频分量低通滤波。

4.如权利要求1所述的方法，其中所述特定视频分量选自由以下内容组成的组：照度、红色、蓝色、绿色、色调和值。

5.如权利要求1所述的方法，其中绘制步骤包括以下步骤：为所述立体视频信号的多个不同视频分量绘制多个直方图。

6.如权利要求5所述的方法，其中所述不同视频分量包括照度分量、红色分量、蓝色分量和绿色分量。

7.如权利要求6所述的方法，其中所述二维直方图被呈现为四菱形显示。

8.一种用于在分析立体视频信号中使用的显示器，包括：

显示屏，用于呈现二维直方图以向查看者提供对用于左和右图像的特定色分量匹配得如何的指示，其中根据所述立体视频信号的特定色分量生成笛卡尔绘图，所述笛卡尔绘图具有作为输入的用于所述特定色分量的左图像像素和对应右图像像素以通过使用对应左图像像素和右图像像素的和以及差值充当沿着所述二维直方图的两个轴到仓中的索引来产生所述二维直方图。

9.如权利要求8所述的显示器，其中所述特定色分量选自由以下内容组成的组：照度、红色、蓝色、绿色、色调和值。

10.如权利要求8所述的显示器，其中根据所述立体视频信号的不同色分量生成多个笛卡尔绘图，每个笛卡尔绘图以二维直方图的形式代表所述不同色分量中的一个不同色分量，所述二维直方图同时显示于所述显示屏上。

11.如权利要求10所述的显示器，其中所述不同色分量为照度、红色、绿色和蓝色，并且所述二维直方图在所述显示屏上呈现为四菱形显示。