CN102013104A - 用于确定图像中的失准的方法和设备 - Google Patents

Abstract

本发明公开了用于确定图像中的失准的方法和设备。该方法确定场景的图像在一个方向上的失准量，该图像由第一相机捕获。该方法包括以下步骤：限定该图像中的第一点与该图像中的第二点之间的线，所述线在失准的方向上延伸；限定该场景中的基准部分，该图像将要对准所述基准部分，场景的基准部分具有基准图像特性；识别该图像中沿所述线的不同点处的图像特性；和将沿所述线的每个点处的图像特性与基准图像特性相比较，并且通过确定该图像中所捕获的基准部分和场景中被限定的基准部分的基准图像特性的位置之间的距离来确定失准量。

Description

用于确定图像中的失准的方法和设备

技术领域

本发明涉及用于确定图像中的失准(mis-alignment)的方法和设备。

背景技术

为了制作三维(3D)图像，有必要获得同一场景的两个镜头并且将一个图像相对于另一图像略微移置。这意味着，在图像被移置前有必要仔细地对准图像。为了实现该对准，通常使用特殊的相机机架(rig)来捕获这两个镜头。3ality生产一种这样的机架。

然而，由于对准处理的复杂度，这些机架要用很长的时间来搭建。这是非常不合需求的，特别是在拍摄进度被严密管理的电视直播制作中。

此外，这些机架也很昂贵。通常，3D机架的成本如此之高以致它们经常被节目制作方租用而不是购买。

因此希望在不需要难以搭建并且昂贵的传统3D机架的情况下产生所需要的配准。本发明的一个目的是缓减这些问题。

发明内容

根据本发明的第一个方面，提供一种确定场景的图像在一个方向上的失准的量的方法，该图像由第一相机捕获，该方法包括：

限定该图像中的第一点与该图像中的第二点之间的线，所述线在失准的方向上延伸；

限定该场景中的基准部分，该图像将要对准基准部分，场景的基准部分具有基准图像特性；

识别该图像中沿所述线的不同点处的图像特性；以及

将沿所述线的每个点处的图像特性与基准图像特性相比较，并且通过确定该图像中所捕获的基准部分和场景中被限定的基准部分的基准图像特性的位置之间的距离来确定失准量。

这是有益的，因为其使得可以快速地确定失准并且因此使得可以对图像进行任意变换来针对这样的失准进行校正，只要其是必要的。

该方法还可以包括：使用第二相机捕获第二图像，从而第一和第二图像具有重叠区域并且场景中的基准部分位于重叠区域中；限定第二图像中的第一点与第二图像中的第二点之间的第二线，第二线在失准的方向上被绘出并且与基准部分相交，基准部分具有第二基准图像特性；识别第二图像中沿第二线的不同点处的图像特性；以及将第一图像中沿所述线的每个点处的图像特性与第二图像中沿第二线的每个点处的图像特性相比较，从而失准的量根据第一图像中的基准图像特性和第二图像中的第二基准图像特性的位置之间的位置差被确定。

这使得可以测量两个图像之间的失准。

第一或第二图像中的图像特性可以通过对多个像素值的插值来形成。这使得可以校正任意方向上的失准。

插值可以是对最近的4个像素值的双线性插值。

该方法还可以包括在第一图像和第二图像中显示极坐标模板，极坐标模板具有圆形模板线和径向(radial)模板线，径向模板线具有与捕获该图像的相机的光轴相一致的中心点，第一图像中第一和第二点之间的线用圆形模板线和径向模板线中的一个或多个来限定。

这使得可以快速地绘出适当的边界。因此，这减少了用于确定失准量所要花费的时间。

该方法还可以包括确定围绕第一和第二线的区域中的各位置处的图像特性，所述位置距离捕获该图像的相机的光轴实质上相同的距离。

根据实施例，提供了一种对准图像的方法，包括：

用于根据这些实施例中任一个实施例确定失准的方法；和

变换第一图像直到所捕获的部分与基准部分的图像特性之间的距离在预定阈值以内为止。

第一图像可以沿第一和第二点之间的线被变换。

第一图像中的线和第二图像中的线可以是圆形线并且第一图像被施加了滚转变换。

第一图像中的线和第二图像中的线可以是径向线，并且第二图像被沿径向线的长度施加了变换。

根据另一个方面，提供一种计算机程序，包括计算机可读指令，所述指令在被装载到计算机时，配置计算机来执行根据本发明任意实施例的方法。

还提供一种计算机可读存储介质，被配置为存储计算机程序。

根据另一个方面，提供一种用于确定场景的图像在一个方向上的失准的量的设备，所述图像由第一相机捕获，该设备包括：

限定器，该限定器可操作用于限定该图像中的第一点与该图像中的第二点之间的线，所述线在失准的方向上延伸；

该限定器还可操作用于限定场景中的基准部分，该图像将要对准基准部分，场景的基准部分具有基准图像特性；

识别器，该识别器可操作用于识别该图像中沿所述线的不同点处的图像特性；和

比较器，该比较器可操作用于将沿所述线的每个点处的图像特性与基准图像特性相比较，并且通过确定该图像中所捕获的基准部分和该场景中被限定的基准部分的基准图像特性的位置之间的距离来确定失准量。

该设备还可以包括：可连接到第二相机的输入，第二相机可操作用于捕获第二图像，从而第一和第二图像具有重叠区域并且场景中的基准部分位于重叠区域中；

该限定器还可操作用于限定在第二图像中的第一点与第二图像中的第二点之间延伸的第二线，第二线在失准的方向上延伸并且与基准部分相交，基准部分具有第二基准图像特性；

该识别器还可操作用于识别第二图像中沿第二线的不同点处的图像特性；以及

该比较器还可操作用于将第一图像中沿所述线的每个点处的图像特性与第二图像中沿第二线的每个点处的图像特性相比较，从而失准的量根据第一图像中的基准图像特性和第二图像中的第二基准图像特性的位置之间的位置差被确定。

第一或第二图像中的图像特性可以通过对多个像素值的插值来形成。

插值可以是对最近的4个像素值的双线性插值。

该设备还可以包括显示器，显示器可操作用于在第一图像和第二图像中显示极坐标模板，极坐标模板具有圆形模板线和径向模板线，径向模板线具有与捕获该图像的相机的光轴相一致的中心点，第一图像中在第一和第二点之间延伸的线用圆形模板线和径向模板线中的一个或多个来限定。

确定器可操作用于确定围绕第一或第二线的区域中的各位置处的图像特性，所述位置距离捕获图像的相机的光轴实质上相近的距离。

还提供一种用于对准图像的装置，包括：

用于根据本发明实施例地确定失准的设备；和

变换器，该变换器可操作用于变换第一图像直到所捕获的部分与基准部分的图像特性之间的距离低于阈值距离为止。

第一图像可以沿在第一和第二点之间延伸的线被变换。

第一图像中的线和第二图像中的线可以是圆形线并且第一图像被施加了滚转变换。

第一图像中的线和第二图像中的线可以是径向线，并且第一图像被沿径向线的长度施加了变换。

还提供一种系统，包括连接到根据任意实施例的设备或根据任意实施例的装置的第一和第二相机。

附图说明

从以下可以结合附图阅读的说明性实施例的详细描述中，本发明的以上和其它目的、特征和优势将显而易见，其中：

图1示出根据本发明实施例用于捕获在生成三维图像时使用的图像的系统；

图2示出在图1的系统中使用的工作站；

图3示出使用多个图2的工作站的图1的系统；

图4示出与图2的工作站一起使用的界面的呈现；

图5示出图2的用户控制系统中设置模式的呈现；

图6A到图6D示出根据本发明实施例用于确定滚转畸变的量的迹线模式的呈现；

图7A到图7D示出根据本发明实施例用于确定透镜畸变的量的迹线模式的呈现；以及

图8示出极坐标模板。

具体实施方式

参考图1，示出用于捕获在生成3D图像中使用的场景图像的系统100。系统100具有相机机架(rig)115，相机机架115上安装两个相机105。这些相机可以是摄像机或照相机。尽管图1中未示出，但是每个相机相对于彼此的偏转(yaw)可以改变。具体地，当被安装在机架115上时，每个相机105的俯仰(pitch)和滚转(roll)通常相对于彼此是固定的。然而，每个相机105的偏转可以被相互独立地调节。这使得相机105“前束”(toe-in)可以改变。在被适当地锁定(即，固定于机架115)时，机架115的偏转、俯仰和滚转可以一致地移动。机架115的位置可以用转动臂120适当地锁定。

根据本发明实施例，每个相机105的输出馈送(feed)被馈送到工作站200中。在图1中，这些输出被标为a和b。每个相机105的输出馈送包括图像数据。然而，也可以从每个相机馈送其它数据。例如，也可以从每个相机馈送元数据。元数据可以涉及相机设置，例如，每个相机的光圈设置、聚焦长度和/或缩放。另外，元数据可以包括有关相机操作者或出色取景标兵(shot marker)等的信息。在该实施例中，每个相机105的输出馈送可以使用电线或通过网络来连接。实际上，相机105和工作站200之间的连接可以是无线的。这意味着，工作站200可以远离相机机架115。

另外，用户终端125也连接到工作站200。用户终端125允许用户在对准处理(稍后说明)期间控制工作站200。工作站200也有许多输出馈送。在具体实施例中，如稍后将说明的，存在4个输出馈送，然而，本发明不限于此并且也可以使用比4更少或更多的输出馈送。

参考图2，示出根据本发明实施例的工作站200。根据本发明实施例的工作站200包含基于cell处理器的体系架构(由索尼、东芝和IBM设计)，这被专门设计用于应付大量的数据处理。这尤其适合图像处理任务。工作站200具有两个输入馈送；一个输入馈送来自一个相机105(在图2中标记为“左i/p”和“右i/p”)。如在图1和图2中所述，工作站200有4个输出馈送；经校正的左输出馈送、经校正的右输出馈送、立体声监视器输出馈送和波形监视器输出馈送。稍后将描述这些。另外，在图2中示出与用户终端125的连接。

将了解，输入馈送和输出馈送的这种配置意味着每对相机(即，针对每一对左右两个相机)设置一个工作站。该配置可以扩展。具体地，如果还可使用高清晰度-串行数据接口(HD-SDI)卡，则该配置可以扩展为支持双链路4:4:4输出。该种类型的输出对于显示立体声输出馈送的立体图(anaglyph)输出特别有用。稍后，将参考图4到图6来描述工作站200的操作。

参考图3，示出具有多个使用单链路HD-SDI的工作站的系统300。在该布置中，示出两个工作站200A和200B。然而，在实施例中，本发明完全可扩展来从任意数目的相机对接收输入。第一工作站200A拥有来自第一和第二相机对的输入。换而言之，存在到第一工作站200A中的4个分开的相机馈送。类似地，第二工作站200B拥有来自第三和第四相机对的输入。

第一工作站200A的输出馈送是第一相机对的输出经校正的左馈送和第一相机对的输出经校正的右馈送。另外，还从第一工作站200A提供第二相机对的输出经校正的左馈送和第二相机对的输出经校正的右馈送。类似地，第二工作站200B的输出馈送是第三相机对的输出经校正的左馈送和第三相机对的输出经校正的右馈送。另外，还从第二工作站200B提供第四相机对的输出经校正的左馈送和第四相机对的输出经校正的右馈送。

第一和第二工作站200A和200B的这些输出馈送被馈送到交叉点交换器(XPT)305。XPT 305可以要么是交叉点要么是包括交叉点的交换器。本领域技术人员将了解，交叉点使得任意输入可以被映射到任意输出，并且交换器使得在改变输入到输出的映射时可以施加效果。所以，可以利用擦拭或淡入效果来改变输出相机对。

另外，XPT 305提供了左输出馈送和右输出馈送。XPT 305基于XPT305的操作者所进行的选择来选择来自用于监视的相机对之一的输出馈送。然而，也可以改为是用户终端125控制XPT 305。换而言之，XPT305的操作者或用户终端125中的任一者可以选择相机对中的哪些将被显示在左右监视器上并且XPT 305选择来自合适的相机对的经校正的左右馈送。

左右输出馈送和左右输出监视器馈送被馈送到监视工作站310中。监视工作站310基于Cell处理器，因为Cell处理器特别适合处理上述图像处理任务。

监视工作站310的输出是节目立体声监视器输出、预览立体声监视器输出和节目/预览波形或立体声监视器输出。技术人员将了解，节目立体声监视器输出是被发送用于广播的直播馈送，预览立体声监视器输出是使得可以“离播地”(off-air)尝试不同效果的直播馈送版本，并且节目/预览波形是包含节目立体声监视器输出和预览立体声监视器输出任一者的双路馈送(dual feed)。

在图3中所描述的实施例的可替换实施例中，可以使用双链路HDSDI来替代单链路HD-SDI。

输入相机馈送是高清晰度的，并且具体地是1920x1080像素分辨率的：帧率为23.98逐行分段帧(Progressive Segmented Frame，PsF)、24PsF、25Psf、29.97PsF、30PsF 50隔行(i)、59.94i或60i中的一种。将了解，也可以支持50逐行(P)、59.94P和60P，但是在该情况中，每个工作站200A和200B将由于工作站200中HD-SDI输入的数目而只能支持一个相机对。另外，将了解，相机数目的增大将增大所需要的处理功率。可替换地，输入相机馈送可以具有1280x720像素的分辨率，具有50P、59.94或60P之一。由监视工作站310提供的输出馈送可以是与输入相机馈送的类型相同的类型。然而，这不是必须的。实际上，输出馈送可以是与输入相机馈送的类型不同的类型。例如，输出馈送可以被下转换(downconvert)成可以记录到记录介质上的低分辨率图像。这对于“急速”编辑(“rush”edit)可能是有用的，通过“急速”编辑，对所捕获的素材执行粗裁(rough cut)来确保所有所需要的镜头已经被捕获。

现在将描述根据本发明实施例的对准处理。该处理使得来自相机对的左右相机的输出馈送可以被对准，即便安装在相机机架115上的左右相机105没有被完全对准也可以如此。将明白，由于对准处理需要像素特性信息，所以来自左右相机的输出馈送可能在对准处理开始之前经历色彩匹配。如果3D机架包括波束分裂器则尤其如此。尽管不是必须，但是色彩匹配确保在进行位置对准处理之前，每个输出的相机馈送中的同源像素(homologous pixel)的色彩特性相匹配。这可以提高图像被对准的准确度。为了执行色彩匹配，在对准之前，用户将在左右输出相机馈送图像上标识出至少一个区域，这至少一个区域应当严格色彩匹配。根据该信息，用户可以确定要对该区域以及对整个图像施加的色彩匹配的水平。这是通过使用专门的用户界面来调节一种或两种色彩的参数来实现的。在本发明的实施例中，用户使用三个控制集来控制色彩匹配；每个控制集针对R、G和B特性中的一个。这三种类型的控制在广播视频处理领域中是已知的，在这里将不再进一步描述。此外，尽管在实施例中，该控制器被集成到用户终端中，但是本发明不限于此。实际上，可以构想到：这样的控制器可以与终端分离。

一旦色差已被确定，则这给出对由左右相机捕获的色彩之间的差的指示并且从而可以应用于来自输出馈送的所有图像。

在色彩校正之后，来自相机对中的左相机的经校正的输出馈送被显示为401。类似地，来自同一相机对中的右相机的经校正的输出馈送被显示为402。用户终端125的用户选择所显示的经校正的左相机馈送401中的区域404并且选择所显示的经校正的右相机馈送402中的区域403。由于所选择的区域403和404将被用于对准左右图像401和402，所以所选择的区域应当包括场景中既被左相机又被右相机捕获的特征。在具体实施例中，由于既被左相机又被右相机捕获的场景非常相似，所以存在许多既被左相机又被右相机捕获的特征。然而，如果既被左相机又被右相机捕获的场景在它们的视野中只有很小的重叠区域，则所选择的区域应当至少包括该重叠的一部分。

来自左相机的经校正的输出馈送401的被选区域404’被显示在来自左相机的经校正的输出馈送401的下面。另外，来自右相机的经校正的输出馈送402的被选区域403’被显示在来自右相机的经校正的输出馈送402的下面。所显示的被选区域403’和404’是被进行了放大的被选区域403和404的版本。换而言之，被选区域401和402中的每一个被进行数字放大并且经放大区域的结果被显示在所显示的被选区域403’和404’中，其中所显示的被选区域403’和404’分别在来自左相机和右相机的经校正的输出馈送的下面。通过进行放大，被选区域的尺寸增大并且容易由用户观察。

在来自左相机的经校正输出馈送的所显示被选区域404’内的第一区域404A和第二区域404B以及在来自右相机的经校正输出馈送的所显示被选区域403’内的第一区域403A和第二区域403B通过用户终端125来确定。显然，两个第一区域403A和404A选择垂直像素列的范围，并且第二区域403B和404B选择水平像素行的范围。然而，本发明不限于此。第一区域403A和404A以及第二区域403B和404B都可以选择任意方向的采样点的范围。实际上，这些方向不必相同。

在显示400上，提供显示波形的部分410。在波形显示部分410中，显示第一波形415和第二波形417。这些波形一般显示像素特性，例如，像素或像素群组内的红、绿、蓝(RGB)分量。然而，本发明不限于此。实际上，这些波形可以显示像素或像素群组的任意特性，例如，亮度水平、色差水平(Cr、Cb水平)等。在实施例中，第一波形415显示多个迹线(trace)的叠加，其中，每个迹线对应于在图4的x方向上延伸的所选择的像素行之一。第一波形415的x轴上的每个点对应于沿第二区域404B的x轴的像素位置。所显示的这条线是红色的并且在第一波形中具有点404C。

叠加其上的是示出通过对区域403B执行类似的技术所生成的波形的线。所显示的这条线是青色的并且在第一波形中具有点403C。这里应当注意，第一波形中的这两条线是不同颜色的，以能够相互区分。然而，也可以在这些线重叠的地方，显示第三种颜色(在实施例中，为白色)。

第二波形417显示多个迹线的叠加，其中，每个迹线对应于在图4的y方向上延伸的所选择的像素行之一。第二波形417的y轴上的每个点对应于沿第一区域404A的y轴延伸的所选择的像素行之一。该迹线是红色的并且在第二波形中具有点404D。

叠加其上的是示出针对第二区域403B的类似迹线的线。该迹线是青色的并且具有点403D。任意两种不同颜色都可以用来区分这些线，并且可以用第三种颜色(在实施例中，为白色)来显示共同的迹线。

在点403C和404C处，可以看到非常相似的像素特性。实际上，点403C对应于第二放大区域403’的场景中的按钮403E。类似地，点404C对应于被放大的第一区域404’的场景中的按钮404E。这些按钮是由左相机和右相机捕获的场景内的相同特征。然而，从第一波形415来看，很显然点403C和404C在x方向上不位于相同位置。这意味着，来自左相机401的经校正的输出馈送和来自右相机402的经校正的输出馈送没有被完全对准。换而言之，来自左相机401的经校正的输出馈送和来自右相机402的经校正的输出馈送不完全重叠。实际上，通过以这种叠加方式提供第一波形，可以确定来自左相机401的经校正的输出馈送对准来自右相机402的经校正的输出馈送的右方。

类似地，点403D和404D示出非常相似的像素特性。实际上，点403D对应于第一区域404中的按钮404F。类似地，点404D对应于第二区域403中的按钮403F。换而言之，线403D和404D表示由左相机和右相机捕获的场景内的相同特征。然而，从第二波形417可见，显然点403D和404D在y方向上不位于相同位置。因此，按钮403F和404F在y方向上未完全对准。这意味着，来自左相机401的经校正的输出馈送和来自右相机402的经校正的输出馈送在y方向上未完全对准。实际上，通过以这种叠加方式提供第二波形417，可以确定来自左相机的经校正的输出馈送未被对准并且实际上在来自右相机402的经校正的输出馈送的下方。

实际上，如前所述，第一波形415中x方向上的每个点对应于第二区域403B和404B的x方向上的像素位置，并且第二波形417的y方向上的每个点对应于第一区域403A和404A的y方向上的像素位置。这意味着，通过得知点403C和404C之间的距离，可以确定在来自左相机401的经校正的输出与来自右相机402的经校正的输出之间在x方向上的偏移。类似地，通过得知点403D和404D之间的距离，可以确定在来自左相机401的经校正的输出与来自右相机402的经校正的输出之间在y方向上的偏移。这意味着，通过简单地分析点403C和404C之间以及点403D和404D之间的距离，就可以确定来自左相机401的经校正的输出和来自右相机402的经校正的输出在特定方向上何时被充分对准。

将了解，在经校正的输出在特定方向上偏移预定距离的情况下，对准可能是充分的。例如，当拍摄3D连续镜头(footage)时，有必要在y方向上对准图像的同时将经校正的输出在x方向上偏移预定量。然而，对于图像拼接，希望在x方向和y方向上都完全对准图像。本发明不限于3D或图像拼接，并且也可以构想到任意方向上的任意水平的对准。例如，在图像稳定化中，完全对准是有用的。此外，还可以对准在不同时刻拍摄的图像。

可以使用该信息来调节位于相机机架115上的相机105的对准。为了这样做，将由工作站200生成控制伺服电机的适当信息并且将其馈送给伺服控制器(未示出)。此外，该信息可以提供给手动机架操作员。然而，为了降低机架115的成本和设计复杂度，在实施例中，可以变换来自左或右相机401或402的经校正的输出图像来实现这样的对准。现在，将描述来自左相机401的经校正的输出馈送的该变换。尽管，仅描述一个输出馈送的变换，但是本发明不限于此并且任意一个或两个图像都可以被变换。

相机可以进行的三种移动是偏转(绕着图4的x方向旋转)、俯仰(绕着图4的y方向旋转)和滚转(绕着相机的光轴旋转)。可以在来自相机的输出馈送中复制相机的这种移动。为了这样做，使用4x4矩阵中的旋转、缩放、变换和投影的集合来变换输出馈送。这种类型的变换有时称为模型视图投影矩阵(model view projection matrix)。该变换需要左相机和右相机的视野。

如前所述，可以确定来自左相机401的输出馈送位于来自右相机402的输出馈送的右方。为了对此进行校正，并且如果需要，对左相机401的输出馈送施加将左相机401的输出向右移动的偏转变换。还可以构想到平面移位。在来自左相机401的输出馈送被变换之后，点403C和404C之间的距离被测量。如果点403C和404C之间的距离处在某一阈值(例如，对于3D连续镜头是所希望的瞳孔间距离±1像素)或者该阈值以下，则偏转变换停止。然而，如果点403C和404C之间的距离在阈值之上，则偏转变换继续。

此外，如上所述，在实施例中，由于知道区域404B和403B的宽度(即，x方向上的长度)，知道波形415的长度(即，该波形表示多少像素)，并且通过确定点403C和404C之间的距离知道相机的视野(或等同的信息)，所以可以确定恰当地对准经校正的输出馈送需要多少偏转变换。相比于迭代方法，这增大了对准进行的速度。

在图像在x方向上被恰当地对准之后，来自左相机401的经校正的输出馈送被施加俯仰变换来将该馈送向上移。这是因为来自左相机的输出馈送被对准在来自右相机的输出馈送下方。在来自左相机401的输出馈送被变换之后，点403D和404D之间的距离被测量。如果点403D和404D之间的距离处在某一阈值(例如，完全对准±1像素)或该阈值以下，则俯仰变换停止。然而，如果点403D和404D之间的距离在阈值之上，则俯仰变换继续。

此外，在实施例中，知道区域404A和403A的高度(即，y方向上的长度)，知道波形417的长度(即，该波形表示多少像素)并且通过确定两个点403D和404D之间的距离知道相机的视野(或等同信息)。因此，可以确定要恰当地对准输出馈送需要多少俯仰变换。相比于迭代方法，这增大了对准进行的速度。

这里应当注意，尽管以上恰当的对准是通过在对一个图像施加水平偏移之后施加垂直偏移来执行的，但是本发明不限于此。例如，可能需要对来自相机的输出馈送施加滚转旋转校正。这将去除对任一相机施加的任意不正确的滚转角度。稍后，将参考图6A来描述涉及滚转旋转的校正的本发明实施例。此外，如以上所述，对准处理假定两个相机的聚焦长度相同。然而，在不能使用俯仰、偏转和滚转校正来获得对准的情况中，施加缩放校正。这通过缩放一个或两个图像来实现。如果必要，在各个不同的聚焦长度时，进行施加俯仰、偏转和滚转校正的处理。

除了第一和第二波形415和417以外，还提供矢量显示器420。矢量显示器420是已知的并且绘出色度信息。在本发明实施例中的矢量显示器420上，示出在第一波形上绘出的像素的色度信息。通过绘制色度信息，可以执行色彩匹配。所以，通过在场景中选择应当具有相同颜色的一个或多个特征，可以更改由任意相机捕获的特征的色彩特性直到矢量显示器420上的色彩相同为止。

另外还显示第一监视器输出406和第二监视器输出405。第一监视器输出406示出来自左相机的输出馈送401和来自右相机的输出馈送402的立体图呈现。在第二监视器405中示出放大区域403和404的立体图呈现。

在第一监视器输出406附近提供按钮425(或按钮已经被按压的指示器)，按钮425使得可以显示来自左右相机的输出馈送401和402之间的差而不是立体图呈现。在第二监视器输出405附近设置了类似的按钮430，其示出第一区域403和第二区域404之间的差的呈现。将了解，在左右相机被对准时，即，来自左右相机的图像输出被对准时，输出馈送之间的差将为0。换而言之，监视器输出将是灰色的。然而，当图像未被完美地对准时，在每个像素处将显示差分值。该差分值将在第一监视器405上被呈现为指示出对准不正确的区域的有色阴影。因此，差分特征提供附加检查来确保使用波形部分410所确定的对准是正确的。尽管以上提及的是作为具体颜色的差分信号，但是本发明不限于此。实际上，可以构想到指示正的或负的差分值的任意颜色。

在确定图像被正确对准之后，从左右相机馈送输出的图像被缩放来确保使由之前的调节造成的任意空白区域消失并且输出馈送填满可用的画面尺寸。

在来自左相机和右相机的输出馈送正被对准时，用户有权使用设置画面。该设置画面在单独的计算机上运行。然而，其也可以由工作站200运行，尽管其通常可以在单独的屏幕上观察。在图5中示出设置画面的呈现。设置画面500用来控制对准，而且还包括左右相机515的图形表示。其向用户提供观想相机布置的机会。另外，存在彼此叠加的左右相机的图形表示520。此外，在区域505中示出在对准过程期间确定的并且由用户终端125控制的变换参数。这些参数可以由用户手动调节，如果他们需要对对准后的图像施加某些特殊的效果(例如，增大的前束)的话。通过调节相机对前束或水平平面移位，明显的3D收敛被改变。这有将对象相对于将要显示所产生的图像的屏幕的平面向前或向后移动的效果。

此外，在恰当地对准图像来拍摄3D图像的情况中，有必要让x方向上的图像之间具有位移来生成3D图像。对对准的校正可以使用用户区域505来观想。最终，表示对左右相机施加的变换的网格也被显示。这是有用的，因为其使得用户可以确定哪种变换已经被施加于图像来校正对准。实际上，应当注意，变换复制相机的移动，而不是复制图像将在其上被观察的平面的移动。由于预期将只有很小的校正将被施加于图像来恰当地对准图像，所以，这些不容易被系统的用户辨别。因此，在网格上施加夸大变换的权重，使得用户可以容易地观察变换。此外，应当注意，提供这，用户容易确定相机对准得很不好并且它们应当被手动调节并且该校正处理应重新开始。这对于减少用来恰当地对准图像要花费的时间是有用的。

尽管已经参考恰当地对准图像说明了以上内容使得可以从已对准的图像来制作3D图像，但是本发明不限于此。实际上，存在其中两个或更多图像的对准非常有用的许多应用。例如，在图像拼接(其中，从多个合成图像制成全景图)中，有必要确保重叠的区域是对准的。在该情况中，对准每个图像的不同部分是特别有用的。例如，对准不同图像的不同区域的各个部分是有用的。所以，在图像拼接的情况中，将在一个图像的最左侧的区域与在另一图像的最右侧的区域对准是有用的。换而言之，将图像的相互重叠的区域完全对准是有用的。

如前所述，在本发明的实施例中，可以针对滚转畸变和透镜畸变进行校正。在图4中，每个图像的两个区域被选择。这些图像通过分析区域内的像素特性来对准。图6A到图6D描述了更容易针对滚转畸变和透镜畸变进行校正的另一实施例。

图6A示出没有滚转畸变的图像。图6B示出被施加了20°逆时针滚转畸变的和图6A一样的图像。在图像600A中，内圆形迹线605A和外圆形迹线610A被选择，而在滚转畸变的图像600B中，内圆形迹线605B和外圆形迹线610B被选择。内圆形迹线和外圆形迹线是被分析的半径范围的边界。两个图像中的圆形迹线与场景中的相同特征相交，即，图像600A中的网615A和滚转畸变的图像600B中的615B的第一部分，和图像600A中的网620A和滚转畸变的图像600B中的620B的第二部分。

从图6A和图6B可见，在内圆形迹线和外圆形迹线之间存在宽度为50像素的区域(内圆形迹线具有距图像中心100像素的半径，并且外圆形迹线具有距图像中心150像素的半径)。并且，在图6A和图6B中可见，图像600A和600B分别被水平线625A和625B对半分开。该笔直的水平线是径向特征并且定义0°。此外，该直线穿过捕获该图像的相机的光轴，尽管不一定如此。

图6C示出与围绕图像600A中的内外圆形迹线之间的区域内的圆周的采样点的图像特性相对应的波形，并且图6D示出与围绕图像600B中的内外圆形迹线之间的区域内的圆周的采样点的图像特性相对应的波形。这是波形650D。另外，在图6D中，图6C的波形650C被绘制在相同的轴上。这使得容易在波形之间进行比较。

具体地，波形由指定范围中的不同半径处许多单个的迹线的叠加组成。单个的迹线是针对沿那个半径的圆形路径以等间距的点采样的像素的像素特性相对角度的线图。在采样点不是精确地落在像素位置上的地方，取最接近的4个像素并且特性被进行双线性插值来估计那个采样点处的特性。以与上述方式类似的方式，图像特性是每个像素的RGB值，尽管也可以构想到诸如Cr，Cb值之类的任意恰当的特性或不同的另一特性。

在实施例中，由于图像由像素组成并且内外的迹线是圆形的，所以图像中特性被测量的点不一定位于像素点处。更具体地，在实施例中，由于图像由正交网格上的像素组成，并且像素采样点在极坐标网格上，于是图像中特性被测量的点不一定处于像素点处。因此，采样点处的特性必须要么从最近的像素位置插值或从最近的4个像素位置进行双线性插值或用其它措施插值。

从0°开始，每个半径处的每个采样点的图像特性的值被测量。

在环绕图像600A的所有值都已经被计算之后，生成波形650C。波形650C实际上是不同半径的许多迹线的叠加。从波形650C可见，点655C和660C特别显眼。它们分别对应于图像600A中的网615A和620A的部分。从x轴可见，点655C大约5°而点660C大约185°。

对滚转畸变的图像600B执行类似的过程。这样的分析产生图6D中所示的波形650D。从图6D中可见，点660D对应于图像600B中的部分620B而点655D对应于图像600B中的部分615B。在图6D中，显而易见点660D位于约165°而点655D位于约345°。通过比较波形650C和650D，显而易见图像600B是图像600A的滚转畸变的版本并且滚转畸变量是20°。而且，通过比较波形650C和650D，显然滚转是逆时针方向的。

尽管已经参考测量两个图像之间的滚转畸变描述了前述滚转畸变校正，但是也可以确定单个相机上的滚转畸变。为了实现这一点，如果场景中的特征处在已知的角度，则可以使用以上技术来测量所捕获的图像中该特征的角度。通过测量图像中该特征的角度，可以确定相机的滚转量。

一旦滚转畸变被计算出，则可以将滚转畸变变换施加于图像来针对滚转畸变进行校正。这可以通过施加逐行校正来迭代地校正直到迹线匹配为止。

参考图7A，示出没有透镜畸变的棋盘形图案700A。在该图案中，画出第一径向线705A和第二径向线710A。这提供用于透镜畸变分析的边界线。第一径向线705A和第二径向线710A横跨图案700A并且穿过图像700A的中心。该情况中该图像的中心是相机715A的光轴，但是本发明不限于此。实际上，技术人员将了解，图像的中心可以在图像700A的任意适当的点处。或者，图像中的任意点可以用作径向线从其延伸的点。

在图7C中示出与没有透镜畸变的棋盘形图案700A相对应的波形750C。该波形由指定范围中不同角度的许多单个的迹线的叠加组成。单个的迹线是针对沿那个角度的径向路径(radial path)在等间距的点处采样的像素的像素特性相对距图像中心的距离的线图。由于采样点是极坐标的并且像素布置在正交网格中，所以采样点未严格匹配像素位置。在采样点没有精确地落在像素位置的情况中，取最接近的4个像素并且特性被进行双线性插值来估计那个采样点处的特性。然而，构想到诸如邻接插值之类的其它插值方法。

如以上关于图6A到图6D所说明的，由于线705A和710A不一定是笔直的，所以在离开中心715的位置处的图像特性值被计算出作为最接近的4个像素的双线性插值。还如上所述，每个位置的图像特性被绘制在波形上。换而言之，线705A和710A之间每个位置的图像特性被绘制在波形750C上。

在图7C中可见，755C处的波形类似于方波脉冲群。这是由于线705A和710A之间的距离很小并且棋盘形图案具有不同的白色和黑色的块，在线705A和710A之间的距离较小的情况下，这些块看起来像从中心开始以相同的距离从黑色变为白色。然而，朝向图像700A的外部，线705A和710A之间的距离增大。这意味着，在区域760C中，跨许多不同的像素位置发生从黑色向白色的改变。这导致具有许多不同转变的区域760C。

图7B让图7A的棋盘形图像被施加大量负的透镜畸变。这示出为图像700B。第一线705B和第二线710B被绘出横跨图像700B。与图7A类似，第一线705B和第二线710B在点715B处穿过图像的中心。第一和第二线705B和710B的位置与图7A中的图像700A中的相同。

在图7D中示出与图像700B相对应的波形。以与关于图7C描述的方式类似的方式，在图7D中，部分755D类似图7C中的部分755C。这是因为，在接近图像700B的中心715B时第一线705B和710B之间的距离很小。图7C和图7D的波形通常会被绘制在相同轴上这样容易进行比较。

然而，朝向图像700B的外部区域，透镜畸变具有“挤压”图像的效果。换而言之，黑白转变之间的像素数随着接近图像700B的边缘而减小。这可以在图7D中看到。如前所述，部分755D类似于图7C中相对应的部分755C。然而，在部分760D中，黑白转变之间的距离在它们变得越接近的范围内改变。尽管未被示出，但是如果在该图像中存在较大程度的正的透镜畸变，这也将是可辨识的。具有正的透镜畸变，图像也看起来“被挤压”。

此外，如在之前的示例中一样，由于图7D的x轴表示图像中的位置，所以可以识别施加于图像700B的透镜畸变量。这使得可以容易地确定所需要的校正量。

显然，尽管以上内容提及取围绕圆形路径和沿径向路径的采样点，但是技术人员将了解，可以构想到既围绕圆形路径又沿径向路径的采样点。

图8示出可以施加于图像来辅助两个图像的对准的极坐标迹线模板800。极坐标迹线800包括外圆形迹线810和内圆形迹线820，其示出圆周波形中各个迹线的半径的范围和径向波形中各个迹线的角度的范围。它们包围的区域与前述被选择的区域404A和404B类似。这使得两个有大小的圆形迹线中的一个能够被施加于两个图像。这用来针对旋转误差进行校正，如参考图6A到图6D所述的。另外，提供在外圆形迹线810的中心处相交的径向线825。这两条径向线使得能够校正透镜畸变，如参考图7A到图7D所述的。应当注意，尽管在图中既示出了极坐标线又示出了径向线，但是极坐标和/或径向线中任一者可以显示在模板上并且进行恰当的校正。

已经参考工作站和用户终端描述了前述实施例。然而，本发明可以以不同方式实施。例如，工作站和用户终端可以集成到包括所有必要的用户输入设备的一个产品。此外，本发明的实施例可以是包含计算机可读指令的计算机程序。此外，计算机程序可以包含在信号中，这些信号可以通过网络(例如互联网)转送，或者存储在诸如光盘之类的存储介质上。最终，本发明可以实施为包含计算机程序的存储介质。

Claims (29)

1.一种确定场景的图像在一个方向上的失准量的方法，所述图像由第一相机捕获，该方法包括：

限定所述图像中的第一点与所述图像中的第二点之间的线，所述线在失准的方向上延伸；

限定所述场景中的基准部分，所述图像将要对准所述基准部分，所述场景的基准部分具有基准图像特性；

识别所述图像中沿所述线的不同点处的图像特性；

将沿所述线的每个点处的图像特性与所述基准图像特性相比较，并且通过确定所述图像中所捕获的基准部分和所述场景中被限定的基准部分的基准图像特性的位置之间的距离来确定失准量；以及

在所述图像中限定圆形采样路径和径向采样路径中的至少一者，其中，所述圆形采样路径限定在所述第一点和第二点之间的圆形采样路径并且所述径向采样路径具有与所述图像中相对应的点相一致的中心点并且沿从该中心点开始的径向线延伸，所述图像中的所述第一点和第二点之间的线由所述圆形采样路径或所述径向采样路径中的一个或多个来限定。

2.根据权利要求1所述的方法，还包括：

使用第二相机捕获第二图像，从而所述第一图像和第二图像具有重叠区域并且所述场景中的基准部分位于所述重叠区域中；

限定所述第二图像中的第一点与所述第二图像中的第二点之间的第二线，所述第二线在失准的方向上被绘出并且与所述基准部分相交，所述基准部分具有第二基准图像特性；

识别所述第二图像中沿所述第二线的不同点处的图像特性；以及

将所述第一图像中沿所述线的每个点处的图像特性与所述第二图像中沿所述第二线的每个点处的图像特性相比较，从而失准量根据所述第一图像中的基准图像特性和所述第二图像中的第二基准图像特性的位置之间的位置差被确定。

3.根据权利要求1的任一者所述的方法，其中所述第一图像或第二图像中的图像特性通过对多个像素值的插值来形成。

4.根据权利要求3所述的方法，其中，所述插值是对最近的4个像素值的双线性插值。

5.根据权利要求1所述的方法，包括在所述第一图像中显示极坐标模板和/或径向模板，所述极坐标模板具有圆形模板线和径向模板线，所述径向模板线具有与每个不同图像中的相对应的点相一致的中心点并且沿着从中心点开始的径向线延伸，所述第一图像中所述第一点和第二点之间的线由所述圆形模板线和/或所述径向模板线中的一个或多个来限定。

6.根据权利要求1所述的方法，包括确定围绕所述第一线或第二线的区域中的各位置处的图像特性，所述位置距离捕获所述图像的相机的光轴实质上相近的距离。

7.根据权利要求1所述的方法，其中，所述径向线穿过的中心点是捕获所述图像的相机的光轴。

8.根据权利要求1所述的方法，其中，所述圆形采样路径的中心对应于捕获所述图像的相机的光轴。

9.根据权利要求1所述的方法，包括对照沿所述采样路径的每个采样点的位置绘制沿所述采样路径的所述每个采样点处的图像属性的值。

10.一种对准图像的方法，包括：

如之前任一权利要求所述的确定失准的方法；和

变换所述第一图像直到所捕获的部分与所述基准部分的图像特性之间的距离在预定阈值以内为止。

11.根据权利要求10所述的方法，其中，所述第一图像沿所述第一点和所述第二点之间的线被变换。

12.根据权利要求11所述的方法，其中，所述第一图像中的线和所述第二图像中的线是圆形线并且所述第一图像被施加了滚转变换。

13.根据权利要求11所述的方法，其中，所述第一图像中的线和所述第二图像中的线是径向线，并且所述第二图像被沿所述径向线的长度施加了变换。

14.一种计算机程序，包括计算机可读指令，所述指令在被装载到计算机时，配置所述计算机来执行根据权利要求1所述的方法。

15.一种计算机可读存储介质，被配置为存储根据权利要求14所述的计算机程序。

16.一种用于确定场景的图像在一个方向上的失准量的设备，所述图像由第一相机捕获，该设备包括：

限定器，所述限定器可操作用于限定所述图像中的第一点与所述图像中的第二点之间的线，所述线在失准的方向上延伸；

所述限定器还可操作用于限定所述场景中的基准部分，所述图像将要对准所述基准部分，所述场景的基准部分具有基准图像特性；

识别器，所述识别器可操作用于识别所述图像中沿所述线的不同点处的图像特性；

比较器，所述比较器可操作用于将沿所述线的每个点处的图像特性与所述基准图像特性相比较，并且通过确定所述图像中所捕获的基准部分和所述场景中被限定的基准部分的基准图像特性的位置之间的距离来确定失准量；以及

限定器，该限定器在所述图像中限定圆形采样路径或径向采样路径中的至少一者，其中，所述圆形采样路径限定在所述第一点和第二点之间的圆形采样路径并且所述径向采样路径具有与所述图像中相对应的点相一致的中心点并且沿从该中心点开始的径向线延伸，所述图像中的所述第一点和第二点之间的线由所述圆形采样路径或所述径向采样路径中的一个或多个来限定。

17.根据权利要求16所述的设备，还包括：

可连接到第二相机的输入，所述第二相机可操作用于捕获第二图像，从而所述第一图像和第二图像具有重叠区域并且所述场景中的基准部分位于所述重叠区域中；

所述限定器还可操作用于限定在所述第二图像中的第一点与所述第二图像中的第二点之间延伸的第二线，所述第二线在失准的方向上延伸并且与所述基准部分相交，所述基准部分具有第二基准图像特性；

所述识别器可操作用于识别所述第二图像中沿所述第二线的不同点处的图像特性；以及

所述比较器可操作用于将所述第一图像中沿所述线的每个点处的图像特性与所述第二图像中沿所述第二线的每个点处的图像特性相比较，从而失准量根据所述第一图像中的基准图像特性和所述第二图像中的第二基准图像特性的位置之间的位置差被确定。

18.根据权利要求16所述的设备，其中所述第一图像或第二图像中的图像特性通过对多个像素值的插值来形成。

19.根据权利要求18所述的设备，其中所述插值是对最近的4个像素值的双线性插值。

20.根据权利要求16所述的设备，包括显示器，所述显示器可操作用于在所述第一图像中显示极坐标模板和/或径向模板中的至少一者，所述极坐标模板具有圆形模板线和径向模板线，所述径向模板线具有与每个不同图像中的相对应的点相一致的中心点并且沿着从中心点开始的径向线延伸，所述第一图像中所述第点一和第二点之间的线由所述圆形模板线或所述径向模板线中的一个或多个来限定。

21.根据权利要求16所述的设备，其中，所述确定器可操作用于确定围绕所述第一线或第二线的区域中的各位置处的图像特性，所述位置距离捕获所述图像的相机的光轴实质上相近的距离。

22.根据权利要求16所述的设备，其中，所述径向线从其发射的点是捕获所述图像的相机的光轴。

23.根据权利要求16所述的设备，其中所述圆形采样路径的中心对应于所述相机的光轴。

24.根据权利要求16所述的设备，还包括绘制器，所述绘制器可操作用于对照沿所述采样路径的每个采样点的位置绘制沿所述采样路径的所述每个采样点处的图像属性的值。

25.一种用于对准图像的装置，包括：

用于如权利要求16所述地确定失准的设备；和

变换器，所述变换器可操作用于变换所述第一图像直到所捕获的部分与所述基准部分的图像特性之间的距离低于阈值距离为止。

26.根据权利要求25所述的装置，其中，所述第一图像沿所述第一点和所述第二点之间的线被变换。

27.根据权利要求25所述的装置，其中，所述第一图像中的线和所述第二图像中的线是圆形线并且所述第一图像被施加了滚转变换。

28.根据权利要求26所述的装置，其中，所述第一图像中的线和所述第二图像中的线是径向线，并且所述第一图像被沿所述径向线的长度施加了变换。

29.一种系统，包括连接到根据权利要求16所述的设备的第一相机和第二相机。

Images