CN103533326A - 用于立体视图对齐的系统和方法 - Google Patents
用于立体视图对齐的系统和方法 Download PDFInfo
- Publication number
- CN103533326A CN103533326A CN201310270166.0A CN201310270166A CN103533326A CN 103533326 A CN103533326 A CN 103533326A CN 201310270166 A CN201310270166 A CN 201310270166A CN 103533326 A CN103533326 A CN 103533326A
- Authority
- CN
- China
- Prior art keywords
- image
- camera
- taken
- ratio
- swing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000013519 translation Methods 0.000 claims abstract description 42
- 230000008859 change Effects 0.000 claims description 38
- 230000000007 visual effect Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 abstract description 2
- 238000000844 transformation Methods 0.000 abstract 1
- 230000014616 translation Effects 0.000 description 29
- 238000006243 chemical reaction Methods 0.000 description 21
- 239000007787 solid Substances 0.000 description 7
- 230000001052 transient effect Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 206010019233 Headaches Diseases 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 231100000869 headache Toxicity 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本公开涉及用于立体视图对齐的系统和方法。根据本说明书公开的原理的系统和方法可以提供屏幕空间转换，例如，被实施为节点，该节点可以用于校准本地立体板的左眼和右眼之间的对齐问题。该转换可以是多种单应的方式，包括，经由平移、旋转、和缩放。通过正确地对齐立体图像，在整个动画管道中后续的图像被正确地对齐。此外，显著地改善了观看者的体验。
Description
技术领域
本申请总体上涉及三维图像的处理，更具体地涉及用于立体视图对齐的系统和方法。
背景技术
以三维（3-D）形式呈现的电影非常受人们欢迎。实现三维图像的一种方式是立体摄影术。在立体摄影术中，捕获两个图像并且将这两个图像呈现给用户，这两个图像中的一个来自左侧摄像机并用于观看者的左眼，而另一个来自右侧摄像机并用于观看者的右眼。立体摄影术是一种为观看者产生3-D图像的最古老的方式之一。
然而，来自3-D图像观看者的一个普遍抱怨是：观看这种3-D图像经常产生各种烦恼，例如，头痛或恶心。在某些情况下，不向幼儿或其他容易视力受到障碍的人推荐3-D图像。
因此，需要改善3-D观看体验。
发明内容
根据本说明书公开的原理的系统和方法可以提供屏幕空间转换，例如，被实施为节点，该节点可以用于校准本地立体板（native stereoplate）的左右眼之间的对齐问题。该转换可以是多种单应的方式，包括，经由平移、旋转、和缩放。通过适当地对齐立体图像，可以显著地改善观看者的体验。
在一方面，本发明针对一种使来自针对立体像配置的摄像机的图像对齐的方法，包括∶a.在包括左右摄像机的系统中，选择所述左右摄像机中的一个作为主摄像机，另一个作为对齐摄像机；b.比较由所述主摄像机拍摄的图像上的点的垂直位置和由所述对齐摄像机拍摄的图像上的对应点的垂直位置，如果所述垂直位置不相同，垂直地平移所述主摄像机或来自所述对齐摄像机的图像使得所述垂直位置相同;c.比较在垂直地偏离步骤b中使用的点的点处由所述主摄像机拍摄的图像的比例和由所述对齐摄像机拍摄的图像的比例，如果所述比例不相同，那么改变由所述主摄像机拍摄的图像的比例或由所述对齐摄像机拍摄的图像的比例使得所述比例相同；以及d.比较在水平地偏离步骤b和c中使用的点的点处由所述主摄像机拍摄的图像的旋转度和由所述对齐摄像机拍摄的图像的旋转度，如果所述旋转度不相同，那么改变由所述主摄像机拍摄的图像的旋转度或由所述对齐摄像机拍摄的图像的旋转度使得所述旋转度相同。
本发明的实现方式可以包括以下一个或多个。可以对来自所述对齐摄像机的图像执行垂直平移。可以对来自所述对齐摄像机的图像执行比例的改变。可以对来自所述对齐摄像机的图像执行旋转度的改变。可以对来自所述对齐摄像机的图像执行所述垂直平移、比例的改变、以及旋转度的改变。可以在改变比例之前执行垂直平移，并且可以在改变旋转度之前执行比例的改变。上述比较步骤中的至少一个步骤是通过分别对应于垂直位置、比例、或旋转度在步骤b、c、和d中的点处进行色值减法来执行的，并且上述相应的平移或改变步骤中的至少一个步骤是通过使上述色值减法的绝对值的结果最小化来执行的。所述方法可以进一步地包括：使第一匹配移动摄像机与所述主摄像机关联并且使第二匹配移动摄像机与所述对齐的摄像机关联，以及根据对来自所述对齐摄像机的图像执行的对齐操作，对所述第二匹配移动摄像机执行对应的片盒（filmback）对齐操作。可以在与如下摄像机关联的匹配移动摄像机的图像上执行所述第一或第二匹配移动摄像机的图像上的平移和/或改变步骤，在所述摄像机上分别在步骤b、c、或d中执行了平移和/或改变步骤。所述比较垂直位置可以包括检测来自所述主摄像机的图像中的关键点，并且比较所述关键点和来自所述对齐摄像机的图像中的对应的关键点。所述比较比例可以包括测量来自所述主摄像机的图像中的两个关键点之间的距离，并且比较所测量的距离和来自所述对齐摄像机的图像中的两个对应的关键点之间的对应的距离。所述比较旋转度可以包括测量来自所述主摄像机的图像中的两条关键线之间的角度，并且比较所测量的角度和来自所述对齐摄像机的图像中的两条对应的关键线之间的角度。每条关键线可以由两个关键点限定。
在另一方面，本发明针对一种非瞬态计算机可读方法，包括用于使计算环境执行上述方法的指令。
在又一方面，本发明针对一种用于修改立体图像的计算环境，所述计算环境包括∶含有如下指令的存储器，所述指令用于选择一组左右摄像机中的一个摄像机作为主摄像机，另一个摄像机作为对齐摄像机；含有如下指令的存储器，所述指令用于比较由所述主摄像机拍摄的图像上的点的垂直位置和由所述对齐摄像机拍摄的图像上的对应点的垂直位置，如果所述垂直位置不相同，垂直地平移所述主摄像机或来自所述对齐摄像机的图像使得所述垂直位置相同；含有如下指令的存储器，所述指令用于比较由所述主摄像机拍摄的图像的比例和由所述对齐摄像机拍摄的图像的比例，如果所述比例不相同，那么改变由所述主摄像机拍摄的图像的比例或由所述对齐摄像机拍摄的图像的比例使得所述比例相同；以及，含有如下指令的存储器，所述指令用于比较由所述主摄像机拍摄的图像的旋转度和由所述对齐摄像机拍摄的图像的旋转度，如果所述旋转度不相同，那么改变由所述主摄像机拍摄的图像的旋转度或由所述对齐摄像机拍摄的图像的旋转度使得所述旋转度相同。
本发明的实现方式可以包括以下一个或多个。可以配置存储器的这些指令，使得垂直平移发生在改变比例之前，并且改变比例发生在改变旋转度之前。所述计算环境进一步地包括：含有用于提供差异可视化的指令的存储器，其中，所述差异可视化示出了减法的结果，所述减法的被减数是由所述主摄像机拍摄的图像的垂直位置、比例、或旋转度的值，所述减法的减数是由所述对齐摄像机拍摄的图像的垂直位置、比例、或旋转度的值。所述计算环境进一步地包括：含有用于提供差异可视化的指令的存储器，其中，所述差异可视化示出了减法的结果，所述减法的被减数是在由所述主摄像机拍摄的图像的像素处的像素值，所述减法的减数是在由所述对齐摄像机拍摄的图像的对应像素处的像素值。所述计算环境进一步地包括：含有如下指令的存储器，所述指令用于使第一匹配移动摄像机与所述主摄像机关联并且使第二匹配移动摄像机与所述对齐摄像机关联，以及用于在所述第一和/或第二匹配移动摄像机的图像上执行所述平移和/或改变步骤。所述计算环境可以使得，在与对其分别在以上的存储器中执行了平移和/或改变步骤的摄像机关联的匹配移动摄像机的图像上执行所述第一或第二匹配移动摄像机的图像上的平移和/或改变步骤。
本发明的优点可以包括以下一个或多个。根据本说明书公开的原理的系统和方法可以取得立体摄影术的最优结果并且可以避免现有技术中遇到的问题。可以在获得立体板或图像之后立即并且如果必要的话在获得匹配移动信息之后直接采用所述系统和方法，由此允许进行拍摄的对齐和分析，而不会出现现有技术中遇到的有害影响，例如，由于未对齐导致的头痛。例如，可以在最后的合成之前很久采用所述系统和方法，使得可以在生产期间采用该正确对齐的拍摄。换句话说，该视觉益处不仅有益于最终的观看者，还有益于生产中涉及的所有人。
根据以下描述（包括权利要求书和附图），本发明的其它优点将变得明了。
附图说明
图1示出了观看对象的立体摄像机系统的理想化的顶视图。
图2示出了其中立体摄像机系统正在观看对象的常见情景。
图3示出了分别来自左右立体摄像机的左右图像，示出了由于非理想化的摄像机位置和透镜而导致的图像差异。
图4示出了分别来自左右立体摄像机的左右图像，遵循根据本说明书公开的原理的系统和方法的应用。
图5是示出根据本说明书公开的原理的示例性方法的流程图。
图6示出了类似于图2的情景，但是其中还采用了虚拟匹配移动渲染摄像机。
图7是示出根据本说明书公开的原理的另一个示例性方法的流程图。
图8示出了用于执行根据本说明书公开的原理的某些方法的示例性计算环境。
图9示出了用于执行根据本说明书公开的原理的某些方法的另一个示例性计算环境。
本说明书中，类似附图标记指示类似元件。
具体实施方式
图1示出了根据本原理的立体摄像机步置10的顶视图。在该图中，两个摄像机12和16使对象15成像。为了保持恒定位置，摄像机12和16定位在底板（mount）20上。摄像机12具有至对象15的视线14，摄像机16具有至对象15的视线18。
在这种系统中，观看者的左眼和右眼呈现有该对象的不同视图，由此在双眼视觉中产生了立体感效应。然后，这种系统可以与不同类型的3-D成像结合，以创建例如3-D电影。
图1是理想化的情景。图2示出了所遇到的更常见的情景。在图2的系统20中，通过第一或左摄像机12和第二或右摄像机16'使对象15可视化或拍摄对象15。在图2中，摄像机12被示出为正确地定位在底板20上，而摄像机16'被示出为具有各种定位误差。应该理解，定位误差可能发生在摄像机中的任何一个上。在任何情况下，摄像机12具有至对象15的视线14，摄像机16'具有至对象15的视线18。
摄像机12和16'中的任何一个可以被指定为主摄像机，在这种情况下，该摄像机的定位（包括垂直位置、比例（scale）、和旋转度）被任意看作是正确的。在以下的某些示例性阐述中，左摄像机被认为是主摄像机，而右摄像机被认为是要对齐的摄像机，或者简单地说，"对齐摄像机"。然而，应该理解，这是习惯的问题，任何一个摄像机可以被认为是主摄像机。在很多情况下，如果由于某一原因在特定场景中一个摄像机的图像不可接受，那么至少针对该特定场景另一个摄像机可以被看作是主摄像机。一个给定的电影可以针对一组场景将左摄像机作为主摄像机，而针对另一组场景将右摄像机作为主摄像机。
为了便于说明，图2还示出了三维直角坐标系x-y-z。该摄像机的平面，以及由此所得到的图像的平面，是x-z平面。关于这些轴和平面描述可能发生的各种误差，这些误差可以由本说明书中公开的系统和方法来解决。
图2示出了缩放距离22，其示出摄像机16'与对象15之间的附加距离，而摄像机12与对象15之间没有该附加距离。换句话说，相比于摄像机12，摄像机16'与对象15之间的距离多出了量22。通过沿y轴定位得离对象15更远，由摄像机16'描述的图像的比例不同于由摄像机12描述的图像的比例。
由于摄像机12和摄像机16'之间的透镜差异，可能发生类似的误差。换句话说，由于制造中固有的透镜差异，即使相同型号的摄像机也可能遇到比例差异。
根据本说明书公开的原理，这些图像比例差异可以由所公开的系统和方法来补救，消除了重新获取整个拍摄或场景的必要性，重新获取整个拍摄或场景非常昂贵并且极其不方便。在距离22的情况下，可以通过比例转换来补救图像比例差异，该比例转换实质上对整个图像的大小进行调整以补偿比例差异。
图2还示出了旋转度24，其表示了摄像机16'的旋转，而摄像机12没有该旋转度。换句话说，相比于摄像机12，摄像机16'相对对象15旋转了量24。提供关于Y轴的旋转，来自左摄像机的图像和来自右摄像机的图像没有被旋转地对齐。两个图像的可视化（例如，从一个图像的像素值减去另一个图像的像素值）一般可以通过描述多个非零或非黑色像素值来阐释这种情景。
根据本说明书公开的原理，可以利用所公开的系统和方法通过相对一个图像旋转另一个图像来补救这些图像差异。在此处的步置中，来自对齐摄像机的图像相对来自主摄像机的图像旋转，以使得这两个图像之间的差异最小化。
图2的插图部分中还示出了一个侧视图，其示出了摄像机12和摄像机16'之间的垂直平移或偏移26的结果。换句话说，摄像机的垂直位置在很多情况下彼此稍微不同，由此这些摄像机的相应图像的垂直位置也不同。
参考图3，来自主摄像机的图像30紧邻要对齐的摄像机的图像40，如上所述，该要对齐的摄像机被称为"对齐摄像机"。已经在每个摄像机中成像了相同对象15，由于这些立体摄像机的水平位移，对象15在水平方向上也自然地偏移。还示出了这些图像之间的其它各种区别，这些区别在图2中由相同的附图标记表示。例如，图像40中的对象15相对图像30中的对象15垂直地偏移了距离26。换句话说，对象的垂直位置在这些图像之间不同。测量垂直位置的差异的一种方式是测量对象上的关键点之间的距离。例如，在图像30中示出了关键点17，而等同的关键点在图像40中被示出为位于位置17'处，其以垂直距离26偏离关键点17。通过测量垂直距离26，可以获知图像40在垂直方向上所需要的平移的量。
同样地，可以通过测量图像中的代表性的或关键的线的角度24来确定对齐所需的旋转度。例如，在图像30中已经测量了对象特征的角度24，而等同的特征在图像40中的测量是24'。由此，为了对齐这些图像，必须以一定的量（角度24'-角度24）旋转图像40。
类似地，可以通过测量图像中的关键线22的长度来确定对齐所需的缩放程度。在图3中，图像30具有要测量的关键线22，而在图像40中等同的特征是关键线22'。在图3的示例中，为了使来自主摄像机的图像和来自对齐摄像机的图像对齐，图像40所需的缩放将大于一（unity）。
图4示出了在已经进行了用于对齐的转换步骤之后可视化对象15的相同图像30和40。图像40中的对象15仍然水平地偏离图像30中的对象15，但这是由于摄像机的水平位移，而不是摄像机定位的误差，并且对于立体像这是必须的。水平位移越大，立体照相系统可以实现的景深越大。
图5是根据本说明书描述的原理的方法的实现方式的流程图50。第一步骤是：设定一组两个立体摄像机中的一个摄像机为主摄像机，另一个为对齐摄像机(步骤32)。在该应用中，左摄像机被设定为主摄像机，右摄像机被设定为对齐摄像机。然而，在其它应用中，这两个摄像机可以交换。在某些情况下，可以在拍摄之间变化主摄像机的选择。
下一个步骤是：比较来自主摄像机的图像的垂直位置和来自对齐摄像机的图像的垂直位置（步骤34）。通常，这意味着比较一个图像中的关键点和另一个图像中的对应的关键点。可以在其它转换之前，首先执行该步骤。一旦确定了图像上的垂直位置之间的差异，可以垂直地平移对齐的图像，直到这些关键点的垂直位置匹配（步骤36)。
下一个步骤是：比较来自主摄像机的图像的比例和来自对齐摄像机的图像的比例（步骤38）。例如，可以测量来自主摄像机的图像的关键特征或关键线的长度，并且将其与对齐摄像机成像的对应特征的长度进行比较。
一旦确定了比例差异，可以缩放来自对齐摄像机的图像，直到该图像的比例与来自主摄像机的图像的比例匹配（步骤42）。例如，可以进行缩放，直到关键线或关键特征的距离相同。在一个特定的示例中，如果关键特征在来自主摄像机的图像中的测量值是任意值1.1并且在来自对齐摄像机的图像中的测量值是任意值1.0，也就是说，对齐摄像机比主摄像机离可视化的特征更远，那么应该将来自对齐摄像机的图像的尺寸或比例增加10%。
下一个步骤是：比较来自主摄像机的图像的旋转度和来自对齐摄像机的图像的旋转度（步骤44）。例如，关键行可以关于来自主摄像机的图像中的垂直或水平线成一定的角度，并且可以根据来自对齐摄像机的图像中的相应的垂直或水平（线）测量对应的角度。当这些角度不同时，可以测量并由此确定差异量。
一旦确定，可以以所确定的量旋转来自对齐摄像机的图像，直到该图像相对来自主摄像机的图像没有旋转，例如，根据垂直或水平线的关键线角度在两个图像中对于对应的关键线是一样的。
上述方法提供了一系列的单应（homographic）转换，这些单应转换产生了针对立体摄影术正确对齐的图像。可以通过使针对垂直位置、关键线角度、或关键线距离计算和测量的差异最小化，自动地执行这些步骤。替代地，可以以自动的方式使用和最小化像素值中的差异。在另一实现方式中，可以为用户界面提供一种模式，通过该模式，动画绘制者可以可视化像素值的差异，并且通过调整来自对齐摄像机的图像的垂直位置、旋转量、或比例，动画绘制者可以通过查看什么位置给出减法的最小化结果来手动地确定正确的对齐，其中来自主摄像机的图像的像素值充当被减数，而来自对齐摄像机的图像的像素值充当减数（步骤54）。除了使像素值的差异最小化以外，应该理解，动画绘制者可以直接对垂直位置、旋转量、或比例的值工作。
由于立体摄像机的水平位移，从一个图像减去另一个图像通常不会导致黑色图像，即，剩余零或没有任何值剩余。仍然，动画绘制者可以目测在什么地方差异被本地最小化并且由此在什么地方已经基本上实现了对齐。在另一个方法中，可以自动地或由用户手动地对齐像素的关键区。像素的关键区可以是存在显著对比度的区域、存在明显的容易识别的垂直平移或旋转的区域、特征长度被清楚地放大或缩小的区域、等等，以及由此对齐最容易被确定的区域。其它这种区域包括亮/暗点、边、和角。在大多数情况下，这些在图像中静止的点提供所希望的点。
注意，附图标记48和52指示用于可选步骤的线，其中在不同的转换之间，不同的摄像机被设定为主摄像机和对齐摄像机。换句话说，虽然在一个给定的拍摄中通常同一摄像机对于所有的转换均充当主摄像机，但并非严格要求这样，立体摄像机可以在不同的转换之间切换角色。
图6示出了另一个示例性系统20'的顶视图，其中摄像机12'和16"被示出为使对象15成像。摄像机12'和16"定位在底板20上。如上所述，示出了各种转换，以补偿缩放差异22和旋转差异24。没有示出垂直平移，沿着轴z垂直平移会在页的平面之外。
图6还示出了虚拟目标15'，其可以是通过左匹配移动摄像机56和右匹配移动摄像机58渲染的计算机生成对象。可以按照以下方式采用左右匹配移动摄像机。
首先，注意，可以在合成封装中执行图2-5的屏幕空间对齐，其结果是正确对齐的立体板。对齐转换数据也可以被提供至计算机生成对象管道，例如，在
中实施。对齐转换数据（也称作对齐属性）可以被转换成等同的片盒转换，其可以应用于匹配移动虚拟摄像机的对应的眼。这确保了针对拍摄创建的任何CG渲染在左右眼之间按照与立体板对齐的方式相同的方式对齐。
如所知的，匹配移动技术允许通过使虚拟对象与所拍摄的环境中的特征（例如，静止关键特征）对齐使得该虚拟对象出现在物理视频的连续镜头（footage）中。通过为这种虚拟对象创建时间演化曲线，可以使得这些虚拟对象看上去以物理现实的方式在所拍摄的环境中移动。通过利用CG渲染合成来自片盒主摄像机和来自对齐摄像机的图像，虚拟对象出现在视频中。然而，当匹配移动曲线是基于使用片盒摄像机确定的点时，虚拟对象将遭受与实物相同的问题，因为CG摄像机遵循物理摄像机的对齐（包括其未对齐）。因此，针对物理摄像机图像确定的转换还应该应用于对应的CG摄像机图像。
参考图7的流程图60，第一步骤是：确定片盒立体板所需的转换数据(步骤62)。上面参考图2-6主要地描述了该第一步骤。下一个步骤是：使用该确定的数据修改至少一个虚拟摄像机的对齐（步骤64）。一个这种摄像机可以是，例如，匹配移动摄像机。
这可以通过多种方式来实现。一个这种方式是：直接将该转换应用于对应的匹配移动摄像机。例如，如果已经相对"右"对齐摄像机确定了该转换，那么该转换可以应用于右匹配移动摄像机。在另一个方式中，如果已经相对右对齐摄像机确定了该转换，那么可以将逆转换应用于左匹配移动摄像机。在任何情况下，根据适当的转换来修改虚拟摄像机(步骤66)。
图8示出了用于转换所接收的和/或创建的立体图像的示例性计算环境70。计算环境70包括处理器67和存储器68，存储器68具有用于将一个摄像机设定为主摄像机并且将另一个摄像机设定为对齐摄像机的指令。类似于在本说明书中公开的其它存储器，该存储器典型地是非瞬态的或者与非瞬态的存储装置通信，并且还可以用于切换摄像机的角色。计算环境70进一步地包括存储器72，该存储器72具有用于比较来自主摄像机的图像和来自对齐摄像机的图像之间的一个关键点或多个关键点的垂直位置的指令。由此，该存储器确定需要多少垂直平移以至少垂直地对齐图像。计算环境70进一步地包括存储器74，该存储器74包括用于执行图像的垂线平移的指令。注意，典型地，一个图像将相对另一个图像垂直地平移，虽然在某些特殊的情况下，两个图像均经受垂直平移。
计算环境进一步地包括存储器76，该存储器76包括用于比较图像的比例的指令。例如，存储器76可以测量图像中关键特征等的特征距离。一旦确定，如果需要比例的改变，存储器78包括用于改变图像的比例的指令，典型地，改变一个图像的比例以匹配另一个图像的长度比例。然而，在某些情况下，两个图像均被改变（这适用于所描述的所有转换）。
计算环境70进一步地包括存储器82，该存储器82包括用于比较图像的旋转度的指令。例如，该存储器可以比较特征线与水平线或垂直线的角度。一旦确定，可以调用具有用于相对一个图像旋转另一个图像并且由此在旋转中对齐这些图像的指令的存储器84。
计算环境70进一步地包括存储器86，该存储器86包括用于修改虚拟摄像机的对齐的指令。例如，这种虚拟摄像机可以是匹配移动摄像机。存储器86主要从主摄像机和对齐摄像机获取对齐转换数据并且将该对齐转换数据应用于渲染CG虚拟摄像机。存储器86可以包括用于修改一个或两个（或更多）虚拟摄像机的指令。
已经描述了提供方便的屏幕空间转换节点的系统和方法，该屏幕空间转换节点用于校准本地立体板的左右眼之间的垂直对齐问题，其包括"可视化模式"，该"可视化模式"切换至"差异"以帮助像素的关键区的对齐，用于精确对齐。根据本说明书公开的原理的系统和方法可以消除先前的立体视觉系统的很多有害影响。例如，可使观看者的烦恼（诸如，头痛）最小化，这些烦恼是由未对齐的图像导致的。更根本的是，随后，在对齐之后的每个回顾的阶段针对每个帧实现两个匹配对齐的图像。例如，在上述立体对齐之后，当在任何阶段（例如，步置、动画、等等）立体拍摄正在被回顾时，至少关于可通过上述方法解决的误差对齐这些图像。另一方面，例如，如果没有由合成阶段进行解决，那么将不能表明图像中的未对齐发生在什么地方，也就是，在什么阶段。由此，所公开的对齐方法和系统允许经由管道的图像数据的持续的质量控制。
还将理解这些系统和方法的变体。例如，虽然在大多数描述中左摄像机被指定为"主"摄像机，但是全部地或者针对任何给定的拍摄或场景，右立体摄像机也可以用于该目的。在一组非常具体的转换中，一个方法可以包括：利用垂直偏移转换朝向屏幕的一个角进行对齐，然后核查垂直相对的角并且调节比例参数，然后核查对角相对的角以确定所需要的旋转量。已经发现按照这种顺序进行这些步骤是一种用于实现立体板的对齐的有效的并且高效的方法。还将理解其它这种变体。
一种实现方式包括一个或多个可编程处理器以及对应的存储和执行计算机指令的计算系统部件，以便运行提供以上公开和讨论的各种转换功能的代码。参考图9，示出了一种示例性计算环境100的代表，其可以代表一个或多个计算环境，包括计算环境70。
计算环境100包括控制器148、存储器152、存储装置156、媒体设备162、用户界面168、输入/输出（I/0）接口172、以及网络接口174。这些部件通过公共总线176互相连接。替代地，可以使用不同的连接配置，例如，控制器位于中心的星形图案。
控制器148包括可编程处理器，并且控制计算环境及其部件的操作。控制器148从存储器152或嵌入式控制器存储器(未示出)加载指令，并且执行这些指令以控制转换系统150。
包括非瞬态计算机可读存储器（CRM）154的存储器152临时地存储数据，以供系统的其它部件使用。在一个实现方式中，存储器152被实施为DRAM。在其它实现方式中，存储器152还包括长期的或永久性存储器，诸如闪速存储器和/或只读存储器(ROM)。
可以包括非瞬态计算机可读存储器（CRM）158的存储装置156临时地或长期地存储数据，以供计算环境的其它部件使用，例如，用于存储系统使用的数据。在一个实现方式中，存储装置156是硬盘驱动器或固态驱动器。
包括非瞬态计算机可读存储器164的媒体设备162接收可拆卸的媒体并且从插入的媒体读取数据或者将数据写入插入的媒体。在一种实现方式中，媒体设备162是光盘驱动器或光盘刻录器，例如，可写入的蓝光（
）盘驱动器（BD）166。
用户界面168包括用于接受用户输入的部件，例如，转换等的用户指示（虽然，可以注意到，在某些步置中，可以使转换自动化）。在一种实现方式中，用户界面168包括键盘、鼠标、音频扬声器、以及显示器。控制器148利用来自用户的输入调整计算环境的操作。
输入/输出(I/O)接口172包括一个或多个输入/输出端口，以连接至对应的输入/输出装置，诸如外部存储装置或辅助装置（例如，打印机或个人数字助理）。在一种实现方式中，输入/输出接口172的端口包括诸如USB端口、PCMCIA端口、串行端口、和/或并行端口之类的端口。在另一个实现方式中，输入/输出接口172包括用于与外部设备进行无线通信的无线接口。
网络接口174允许与局域网的连接并且包括有线和/或无线网络连接，诸如RJ-45或以太网连接或WiFi接口(802.11)。可以理解，许多其它类型的网络连接也是可能，包括WiMax、3G或4G、802.15协议、802.16协议、卫星、蓝牙、等等。
计算环境可以包括这种装置所特有的辅助硬件和软件，例如，电源和操作系统，尽管出于简洁的目的没有具体地示出这些部件。在其它实现方式中，可以使用这些装置的不同配置，例如，不同的总线或存储装置配置或多处理器配置。
已经关于特定的步置描述了本发明，给出这些特定的步置仅仅作为用于实施根据本说明书公开的原理的系统和方法的一种示例性方式。因此，本发明不仅仅局限于以上描述的那些步置。
Claims (19)
1.一种使来自针对立体视图配置的摄像机的图像对齐的方法，包括∶
a.在包括左右摄像机的系统中，选择所述左右摄像机中的一个摄像机作为主摄像机，另一个摄像机作为对齐摄像机；
b.比较由所述主摄像机拍摄的图像上的点的垂直位置和由所述对齐摄像机拍摄的图像上的对应点的垂直位置，如果所述垂直位置不相同，那么垂直地平移所述主摄像机或来自所述对齐摄像机的图像使得所述垂直位置相同；
c.在垂直地偏离步骤b中使用的点的点处比较由所述主摄像机拍摄的图像的比例和由所述对齐摄像机拍摄的图像的比例，如果所述比例不相同，那么改变由所述主摄像机拍摄的图像的比例或由所述对齐摄像机拍摄的图像的比例使得所述比例相同；以及
d.在水平地偏离步骤b和c中使用的点的点处比较由所述主摄像机拍摄的图像的旋转度和由所述对齐摄像机拍摄的图像的旋转度，如果所述旋转度不相同，那么改变由所述主摄像机拍摄的图像的旋转度或者由所述对齐摄像机拍摄的图像的旋转度使得所述旋转度相同。
2.根据权利要求1的方法，其中，对来自所述对齐摄像机的图像执行垂直平移。
3.根据权利要求1的方法，其中，对来自所述对齐摄像机的图像执行比例的改变。
4.根据权利要求1的方法，其中，对来自所述对齐摄像机的图像执行旋转度的改变。
5.根据权利要求1的方法，其中，垂直平移、比例的改变、以及旋转度的改变均对来自所述对齐摄像机的图像执行。
6.根据权利要求1的方法，其中，在改变比例之前执行垂直平移，并且在改变旋转度之前执行比例的改变。
7.根据权利要求1的方法，其中，所述比较步骤中的至少一个步骤是通过分别对应于垂直位置、比例、或旋转度在步骤b、c、和d中的点处进行色值减法来执行的，并且其中，所述相应的平移或改变步骤中的至少一个步骤是通过使所述色值减法的绝对值的结果最小化来执行的。
8.根据权利要求1的方法，进一步地包括：使第一匹配移动摄像机与所述主摄像机关联并且使第二匹配移动摄像机与所述对齐摄像机关联，以及根据对来自所述对齐摄像机的图像执行的对齐操作，对所述第二匹配移动摄像机执行对应的片盒对齐操作。
9.根据权利要求8的方法，其中，对来自与分别在步骤b、c、或d中执行了平移和/或改变步骤的摄像机关联的匹配移动摄像机的图像执行对来自所述第一或第二匹配移动摄像机的图像的平移和/或改变步骤。
10.根据权利要求1的方法，其中，比较垂直位置的步骤包括：检测来自所述主摄像机的图像中的关键点，并且比较所述关键点和来自所述对齐摄像机的图像中的对应的关键点。
11.根据权利要求1的方法，其中，比较比例的步骤包括：测量来自所述主摄像机的图像中的两个关键点之间的距离，并且比较所测量的距离和来自所述对齐摄像机的图像中的两个对应的关键点之间的对应的距离。
12.根据权利要求1的方法，其中，比较旋转度的步骤包括：测量来自所述主摄像机的图像中的两条关键线之间的角度，并且比较所测量的角度和来自所述对齐摄像机的图像中的两条对应的关键线之间的角度。
13.根据权利要求12的方法，其中，每条关键线由两个关键点限定。
14.一种用于修改立体图像的设备，所述设备包括∶
a.用于选择一组左右摄像机中的一个摄像机作为主摄像机另一个摄像机作为对齐摄像机的装置；
b.用于比较由所述主摄像机拍摄的图像上的点的垂直位置和由所述对齐摄像机拍摄的图像上的对应点的垂直位置，如果所述垂直位置不相同，垂直地平移所述主摄像机或来自所述对齐摄像机的图像使得所述垂直位置相同的装置；
c.用于比较由所述主摄像机拍摄的图像的比例和由所述对齐摄像机拍摄的图像的比例，如果所述比例不相同，那么改变由所述主摄像机拍摄的图像的比例或由所述对齐摄像机拍摄的图像的比例使得所述比例相同的装置；以及
d.用于比较由所述主摄像机拍摄的图像的旋转度和由所述对齐摄像机拍摄的图像的旋转度，如果所述旋转度不相同，那么改变由所述主摄像机拍摄的图像的旋转度或由所述对齐摄像机拍摄的图像的旋转度使得所述旋转度相同的装置。
15.根据权利要求14的设备，其中，所述设备被配置为使得垂直平移发生在改变比例之前，并且改变比例发生在改变旋转度之前。
16.根据权利要求14的设备，进一步地包括：用于提供差异可视化的装置，其中，所述差异可视化示出减法的结果，所述减法的被减数是由所述主摄像机拍摄的图像的垂直位置、比例、或旋转度的值，所述减法的减数是由所述对齐摄像机拍摄的图像的垂直位置、比例、或旋转度的值。
17.根据权利要求14的设备，进一步地包括：用于提供差异可视化的装置，其中，所述差异可视化示出减法的结果，所述减法的被减数是在由所述主摄像机拍摄的图像的像素处的像素值，所述减法的减数是在由所述对齐摄像机拍摄的图像的对应像素处的像素值。
18.根据权利要求14的设备，进一步地包括：用于使第一匹配移动摄像机与所述主摄像机关联并且使第二匹配移动摄像机与所述对齐摄像机关联，以及用于在所述第一和/或第二匹配移动摄像机的图像上执行所述平移和/或改变处理的装置。
19.根据权利要求18的设备，其中，在与如下摄像机关联的匹配移动摄像机的图像上执行所述第一或第二匹配移动摄像机的图像上的平移和/或改变处理，在所述摄像机上分别在装置b、c、或d中执行了平移和/或改变处理。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US13/539,892 US9013558B2 (en) | 2012-07-02 | 2012-07-02 | System and method for alignment of stereo views |
| US13/539,892 | 2012-07-02 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103533326A true CN103533326A (zh) | 2014-01-22 |
| CN103533326B CN103533326B (zh) | 2016-05-11 |
Family
ID=49777733
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310270166.0A Expired - Fee Related CN103533326B (zh) | 2012-07-02 | 2013-07-01 | 用于立体视图对齐的系统和方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US9013558B2 (zh) |
| CN (1) | CN103533326B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107079141A (zh) * | 2014-09-22 | 2017-08-18 | 三星电子株式会社 | 用于三维视频的图像拼接 |
| CN110473235A (zh) * | 2019-09-12 | 2019-11-19 | 杭州依图医疗技术有限公司 | 一种对齐两侧乳房图像的方法及装置 |
| US11049218B2 (en) | 2017-08-11 | 2021-06-29 | Samsung Electronics Company, Ltd. | Seamless image stitching |
| US11205305B2 (en) | 2014-09-22 | 2021-12-21 | Samsung Electronics Company, Ltd. | Presentation of three-dimensional video |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016225865A (ja) * | 2015-06-01 | 2016-12-28 | 東芝アルパイン・オートモティブテクノロジー株式会社 | 俯瞰画像生成装置 |
| US20170064287A1 (en) * | 2015-08-24 | 2017-03-02 | Itseez3D, Inc. | Fast algorithm for online calibration of rgb-d camera |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101371593A (zh) * | 2006-01-18 | 2009-02-18 | 伊斯曼柯达公司 | 纠正立体显示系统的方法 |
| CN101505433A (zh) * | 2009-03-13 | 2009-08-12 | 四川大学 | 一种实拍实显多镜头数码立体系统 |
| CN102119317A (zh) * | 2008-08-05 | 2011-07-06 | 罗伯特·博世有限公司 | 多摄像机系统以及用于所述多摄像机系统的校准的方法 |
| CN102413342A (zh) * | 2011-09-05 | 2012-04-11 | 清华大学 | 双目立体视频的几何校正方法及系统 |
| CN102457752A (zh) * | 2010-11-05 | 2012-05-16 | 索尼公司 | 成像设备、图像处理设备、图像处理方法和程序 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010108499A2 (en) | 2009-03-22 | 2010-09-30 | Algreatly Cherif Atia | 3d navigation method and system |
| US20110249889A1 (en) | 2010-04-08 | 2011-10-13 | Sreenivas Kothandaraman | Stereoscopic image pair alignment apparatus, systems and methods |
| US20130163854A1 (en) * | 2011-12-23 | 2013-06-27 | Chia-Ming Cheng | Image processing method and associated apparatus |
-
2012
- 2012-07-02 US US13/539,892 patent/US9013558B2/en active Active
-
2013
- 2013-07-01 CN CN201310270166.0A patent/CN103533326B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101371593A (zh) * | 2006-01-18 | 2009-02-18 | 伊斯曼柯达公司 | 纠正立体显示系统的方法 |
| CN102119317A (zh) * | 2008-08-05 | 2011-07-06 | 罗伯特·博世有限公司 | 多摄像机系统以及用于所述多摄像机系统的校准的方法 |
| CN101505433A (zh) * | 2009-03-13 | 2009-08-12 | 四川大学 | 一种实拍实显多镜头数码立体系统 |
| CN102457752A (zh) * | 2010-11-05 | 2012-05-16 | 索尼公司 | 成像设备、图像处理设备、图像处理方法和程序 |
| CN102413342A (zh) * | 2011-09-05 | 2012-04-11 | 清华大学 | 双目立体视频的几何校正方法及系统 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107079141A (zh) * | 2014-09-22 | 2017-08-18 | 三星电子株式会社 | 用于三维视频的图像拼接 |
| US10257494B2 (en) | 2014-09-22 | 2019-04-09 | Samsung Electronics Co., Ltd. | Reconstruction of three-dimensional video |
| US10313656B2 (en) | 2014-09-22 | 2019-06-04 | Samsung Electronics Company Ltd. | Image stitching for three-dimensional video |
| CN107079141B (zh) * | 2014-09-22 | 2019-10-08 | 三星电子株式会社 | 用于三维视频的图像拼接 |
| US10547825B2 (en) | 2014-09-22 | 2020-01-28 | Samsung Electronics Company, Ltd. | Transmission of three-dimensional video |
| US10750153B2 (en) | 2014-09-22 | 2020-08-18 | Samsung Electronics Company, Ltd. | Camera system for three-dimensional video |
| US11205305B2 (en) | 2014-09-22 | 2021-12-21 | Samsung Electronics Company, Ltd. | Presentation of three-dimensional video |
| US11049218B2 (en) | 2017-08-11 | 2021-06-29 | Samsung Electronics Company, Ltd. | Seamless image stitching |
| CN110473235A (zh) * | 2019-09-12 | 2019-11-19 | 杭州依图医疗技术有限公司 | 一种对齐两侧乳房图像的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103533326B (zh) | 2016-05-11 |
| US9013558B2 (en) | 2015-04-21 |
| US20140002614A1 (en) | 2014-01-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10848743B2 (en) | 3D Camera calibration for adjustable camera settings | |
| US11386581B2 (en) | Multi view camera registration | |
| CN110809786B (zh) | 校准装置、校准图表、图表图案生成装置和校准方法 | |
| CN105453136B (zh) | 使用自动聚焦反馈进行立体侧倾校正的系统、方法及设备 | |
| US20120300044A1 (en) | Systems and Methods for Alignment, Calibration and Rendering for an Angular Slice True-3D Display | |
| CN103533326A (zh) | 用于立体视图对齐的系统和方法 | |
| US20140327736A1 (en) | External depth map transformation method for conversion of two-dimensional images to stereoscopic images | |
| US10063792B1 (en) | Formatting stitched panoramic frames for transmission | |
| US10114838B2 (en) | Reference card for scene referred metadata capture | |
| CN109785390B (zh) | 一种用于图像矫正的方法和装置 | |
| KR100897542B1 (ko) | 임의 시점 영상 합성 시 영상 보정 방법 및 장치 | |
| US20180182178A1 (en) | Geometric warping of a stereograph by positional contraints | |
| CN110505468B (zh) | 一种增强现实显示设备的测试标定及偏差修正方法 | |
| CN113259642B (zh) | 一种影片视角调节方法及系统 | |
| EP3526639A1 (en) | Display of visual data with a virtual reality headset | |
| CN109785225B (zh) | 一种用于图像矫正的方法和装置 | |
| Ainsworth et al. | Acquisition of stereo panoramas for display in VR environments | |
| TWI820246B (zh) | 具有像差估計之設備、估計來自廣角影像的像差之方法及電腦程式產品 | |
| Huang et al. | Stereo panorama acquisition and automatic image disparity adjustment for stereoscopic visualization | |
| WO2023028939A1 (zh) | 信息采集系统及其标定方法、装置及计算机可读存储介质 | |
| KR20110025083A (ko) | 입체 영상 시스템에서 입체 영상 디스플레이 장치 및 방법 | |
| CN108933939A (zh) | 用于确定显示设备的特性的方法和设备 | |
| JP2016500162A (ja) | オブジェクト空間のオブジェクト点の記述のための方法およびその実施のための結合体 | |
| Perek et al. | Towards automatic calibration of stereoscopic video systems | |
| CN109949374B (zh) | 一种基于镜像的反向相机标定系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160511 |