CN102595168B - 用于360度立体视频的无缝左/右视图 - Google Patents

用于360度立体视频的无缝左/右视图 Download PDF

Info

Publication number
CN102595168B
CN102595168B CN201110443455.7A CN201110443455A CN102595168B CN 102595168 B CN102595168 B CN 102595168B CN 201110443455 A CN201110443455 A CN 201110443455A CN 102595168 B CN102595168 B CN 102595168B
Authority
CN
China
Prior art keywords
image
group
imageing sensor
picture
overlapping region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110443455.7A
Other languages
English (en)
Other versions
CN102595168A (zh
Inventor
H·扎尔加坡
B·沃特
江胜明
M·龙迪内利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102595168A publication Critical patent/CN102595168A/zh
Application granted granted Critical
Publication of CN102595168B publication Critical patent/CN102595168B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/06—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe involving anamorphosis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

本发明涉及用于360度立体视频的无缝左/右视图。公开一种用于将来自三个或更多个图像传感器的第一和第二组图像缝合在一起的方法。第一组图像被组合为全景的合成左视图，而第二组图像被组合为全景的合成右视图。当适当地缝合在一起时，左右视图可作为全景的立体视图呈现。应用缝合算法，该缝合算法去除由所组合的左图像中和所组合的右图像中的视差带来的任何差别。

Description

用于360度立体视频的无缝左/右视图
技术领域
本发明涉及图像处理，尤其涉及360度立体视频的无缝左/右视图。
背景技术
人类视觉使用了各种线索来感知真实世界中的三维(3D)深度。这些线索之一是视网膜像差，其中瞳孔间距导致左眼和右眼接收到关于世界的略微不同的投影。立体成像尝试通过向每个眼睛呈现略微不同的图像来创建人为的3D深度感知。从不同的有利位置捕捉两个图像，所述不同的有利位置彼此隔开一个距离，该距离近似于人眼的瞳孔间距。假定图像被正确地同步且有利位置近似瞳孔间距，则大脑以创建图像中深度的幻象的方式来处理这些图像。
常规的3D相机包括用于生成一个场景的两个视图的一对隔开的图像传感器。尽管适用于场景的正视图或场景的某一其他部分，但是常规的3D相机不能获得场景的全景360度视图。这点的原因至少在于：在围绕360度全景的某一视角，第一图像传感器会捕捉第二图像传感器的视图，反之亦然，导致了360度视图内的遮挡。另一选项是旋转这对图像传感器以便在没有任何相机遮挡的情况下捕捉完全的360度视图，但该技术将不能正确地捕捉动态场景。
发明内容
本文公开一种用于将来自三个或更多个图像传感器的第一和第二组图像缝合在一起的方法。第一组图像被组合为全景的合成左视图，而第二组图像被组合为全景的合成右视图。当适当地缝合在一起时，左右视图可作为全景的立体视图呈现。应用缝合算法，该缝合算法去除由所组合的左图像中和所组合的右图像中的视差带来的任何差别。
该缝合算法首先基于所检测的由视差在该重叠区域中的对象间带来的差异来计算光学流。然后该算法从左向右和从右向左交叉淡化两遍，以将该重叠区域中来自两个视图的对象对齐。为了防止拉伸后的图像中的间隙，当拉伸该图像时应用经加权的因子。因此，当从左向右拉伸时，用在该重叠的左边缘处的经加权因子0和在该重叠的右边缘处的经加权因子1来执行该交叉淡化。当从右向左拉伸时，用在该重叠的右边缘处的相同的经加权因子0和在该重叠的左边缘处的相同的经加权因子1来执行该交叉淡化。然后在两个方向上使用经加权的交叉淡化来使该图像变形。然后可对变形后的图像的左半部和右半部应用拉普拉斯混合以平滑掉任何剩余差别。
在一个示例中，本技术涉及一种从多个图像传感器形成立体图像的方法，该方法包括如下步骤：(a)将来自不同图像传感器的第一组图像组合起来，该第一组图像被用作该立体图像中的左侧视角且该第一组图像是在具有该第一组图像的重叠的情况下组合的；(b)将来自该不同图像传感器的第二组图像组合起来，该第二组图像被用作该立体图像中的右侧视角且该第二组图像是在具有该第二组图像的重叠的情况下组合的；(c)移除该第一和第二组图像的重叠区域中的一对图像之间的缝的出现，该步骤(c)包括如下步骤：i)通过将第一图像在第一方向上在该重叠的第一边界处拉伸0倍而在相对边界处拉伸1倍而将该重叠区域中来自两个不同图像的对象对齐，以及ii)通过将第二图像在与该第一方向相反的第二方向上在该重叠的第二边界处拉伸0倍而在相对边界处拉伸1倍而将该重叠区域中来自该两个不同图像的对象对齐。
在一个进一步示例中，本技术涉及一种从多个图像传感器形成立体图像的方法，该方法包括如下步骤：(a)将具有视差的第一组图像组合起来，该第一组图像被用作该立体图像中的左侧视角且该第一组图像是在具有该第一组图像的重叠的情况下组合的；(b)将具有视差的第二组图像组合起来，该第二组图像被用作该立体图像中的右侧视角且该第二组图像是在具有该第二组图像的重叠的情况下组合的；(c)移除该第一和第二组图像的重叠区域中的一对图像之间的缝的出现，该步骤(c)包括如下步骤：i)使用重叠区域中的对应对象之间的水平差异来计算光学流，ii)使用加权因子从左到右交叉淡化，该因子从左到右增加，iii)使用加权因子从右到左交叉淡化，该因子从右到左增加，iv)使用在步骤(c)(ii)和(c)(iii)中修改的流来变形，以及v)在该重叠区域的左半部和右半部之间应用拉普拉斯混合。
在另一示例中，本技术涉及用于对处理器进行编程以执行一种从三个图像传感器形成立体图像的方法的机器可读存储介质，该方法包括如下步骤：(a)将来自该三个图像传感器的第一组三个图像组合起来，围绕360度全景拍摄的该第一组三个图像被用作该全景的该立体图像中的左侧视角，该第一组图像是在具有重叠的情况下组合的；(b)将来自该三个图像传感器的第二组三个图像组合起来，围绕360度全景拍摄的该第二组三个图像被用作该全景的该立体图像中的右侧视角，该第二组图像是在具有重叠的情况下组合的；(c)移除该第一和第二组图像的重叠区域中的一对图像之间的缝的出现，该步骤(c)包括如下步骤：i)使用重叠区域中的对应对象之间的水平差异来计算光学流，ii)使用在重叠区域的左边缘处的0和该重叠区域的右边缘处的1之间加权的因子来从左向右交叉淡化，iii)使用在重叠区域的右边缘处的0和该重叠区域的左边缘处的1之间加权的因子来从右向左交叉淡化，iv)使用在步骤(c)(ii)和(c)(iii)中修改的流来变形，以及v)在重叠区域的左半部和右半部之间应用拉普拉斯混合。
提供本发明内容以便以简化的形式介绍将在以下具体实施方式中进一步描述的一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。此外，所要求保护主题不限于解决本发明的任一部分中所提及的任何或所有缺点的实现。
附图说明
图1是包括反折射底架组件和计算系统的本发明系统的图。
图2是反折射底架组件的透视图。
图3是反折射底架的透视图。
图4是移除了凸面镜的反折射底架组件的一部分的透视图。
图5是在反折射底架组件的图像传感器内使用的镜的俯视图。
图6是反折射底架组件的图像传感器的截面侧视图。
图7是捕捉全景的视图的反折射底架组件的俯视图。
图8是捕捉图7的全景的不同部分的视图的反折射底架部件的俯视图。
图8A是示出了遮挡角计算的图7的反折射底架组件的图示。
图9是示出图8的反折射底架组件的图像传感器的左视图、右视图和被遮挡视图的图表。
图10-12是根据本发明的替代实施例的反折射底架组件的俯视图。
图13是本发明系统的一实施例的操作流程图。
图14是捕捉反折射图像的凸面镜的仰视图。
图15是从图14的反折射图像变形的柱形图像的透视图。
图16是示出凸面镜的各参数的图14的凸面镜的仰视图。
图17是图15的柱形图像的展平视图。
图18-20是由三个图像传感器捕捉的柱形图像，并且示出可以为校准目的而在不同的图像间匹配的线索。
图21是示出图13的步骤208的进一步细节的流程图。
图22是示出图13的步骤212的进一步细节的流程图。
图23是来自不同图像传感器的柱形图像被分成左视图和右视图的视图。
图24和25是在从全景的不同部分接收到图像数据时区分瞳孔间视距的两个例子。
图26是左图像被合成为全景左图像且右图像被合成为全景右图像的视图。
图27是示出图13的步骤218的进一步细节的流程图。
图28是示出图27的步骤274的进一步细节的流程图。
图29是左图像或右图像的对要被合成的视图。
图30是图29的图像被合成为带有重叠区域的视图。
图31是示出图30的图像在重叠区域中以第一方向通道变形的视图。
图32是示出图30的图像在重叠区域中以第二方向通道变形的视图。
图33是可在其上实现本发明系统的各实施例的示例计算设备的框图。
具体实施方式
现在将参考附图1-33来描述本发明的技术的一般涉及用于生成全景立体图像的系统和方法的各实施例。在各实施例中，本发明系统包括硬件和软件组件。硬件组件包括计算设备以及在底架中彼此固定的三个或更多反折射图像传感器的组件。每个图像传感器生成全景的图像，诸如场景的360度视图。软件组件将反折射图像处理成全景的柱形图像，在空间上校准来自不同图像传感器的柱形图像并且在时间上将它们彼此同步，将柱形图像分割成用于左眼的图像和用于右眼的图像，然后将来自不同传感器的左眼图像以及来自不同传感器的右眼图像缝合在一起。结果是可以被显示给用户以便提供例如360度全景的3D立体视图的全景左视图和右视图。
在各例子中，系统中所使用的图像可以是真实事件、人物、地点或事物的图像。仅作为一些非限制性的例子，图像可以是体育事件或音乐会的图像，其中用户能够从竞技场、舞台或者图像收集设备所位于的任何地方来观看该事件。下面说明用于生成场景的立体全景图的硬件和软件组件。
图1-4示出用于捕捉全景立体图像的系统100的一个例子。系统100包括能够与计算系统110通信的反折射底架组件104。下面参照图33更详细地说明了计算系统110的实施例，但通常，计算系统110可以是一个或多个台式机、便携式计算机、服务器、多处理器系统、大型计算机、分布式计算环境或其他处理系统。反折射底架组件104可以经由物理连接或者无线地与计算系统110通信。在各实施例中，计算系统110可以是来自组件104的单独组件。在这样的实施例中，计算系统110可以直接连到组件104，或者计算系统110和组件104可以经由例如LAN或因特网这样的网络连接相连。在进一步的实施例中，计算系统可以作为反折射底架组件104的一部分集成，以形成单个组件。
在图1-4的示例实施例中，反折射底架组件104包括三个反折射图像传感器112、114和116。每个反折射图像传感器可以在底架120中安装在一起以便将图像传感器保持为相对固定关系。图3是没有图像传感器112、114、116的底架120的视图。底架120可以包括各插孔，基本上是柱形的图像传感器112、114、116的每一个可以被容纳和固定在插孔中，例如通过一个或多个螺丝钉或其他扣件。一旦被固定，图像传感器112、114和116就相对于彼此保持基本上固定。在所示的实施例中，底架120被配置成容纳三个反折射图像传感器。如下面说明的，底架120可以被配置成容纳大于三个图像传感器。底架120例如可以安装在三脚架122上。
每个图像传感器112、114、116包括中心轴，每个中心轴在此称为传感器112、114、116的光轴。传感器112、114、116固定在底架120内，使得光轴一起限定了等边三角形的顶点。在其他实施例中，各个传感器的轴可以形成具有其他配置的三角形。底架120可由金属、塑料或其他刚性材料形成。在包括多于三个图像传感器的实施例中，会相应地配置底架120，以便将组件内的每一个图像传感器保持为彼此固定关系。
由于每一个反折射图像传感器112、114、116彼此相同，以下对一个反折射图像传感器的说明适用于阵列104中的每一个反折射图像传感器。如图1-2和4-6所示，每个反折射图像传感器可以包括相机124以及通过杆132和环133固定安装至相机124的凸面镜130。镜130包括和杆132相邻的顶部130a和底部130b。杆132可以是关于反折射图像传感器的光轴同轴的，并且可以支撑镜，使得镜130b的底部距离相机约为7英寸，然而在其他实施例中也可以更大或更小。杆132可以是直径为四分之一英寸到二分之一英寸的圆形，然而在其他实施例中，它也可以具有其他直径并且可以是其他截面形状。
镜130和杆132可以通过一环133相对于相机124而固定，环133可以固定到底架120的插孔。镜130和杆132可以通过各种其他固定方法来固定到底架120和/或相机124。一种这样的方法在2008年7月15日公告的第7399095号美国专利中公开，该专利题为“Apparatus For Mounting a Panoramic Mirror(用于安装全景镜的装置)”，该专利全体结合于此。构想了其他安装结构，用于以使安装结构在反折射图像传感器所捕捉的图像中的出现最小化的方式将镜安装到相机。相机124可以是用于捕捉图像并将图像数字化为像素数据的已知数字相机。在一个例子中，相机可以是具有IEEE-1394接口的IIDC数字相机。可使用其它类型的数字相机。
凸面镜130可以是关于光轴对称的，并且通常可用来捕捉来自360度全景的图像数据并将该图像数据向下引导至相机124。特别是，如图5和6所示，提供镜130的表面，使得镜130的各部分上入射的光线LR被引导至相机124内的透镜134上。透镜又将光线聚焦到图像传感设备138上，图像传感设备138可以例如是图6示意性地示出的CCD或CMOS传感器。在下面描述的实施例中，每个反折射图像传感器112、114、116所捕捉的全景可以是360度全景。然而，图像传感器所产生的全景可以小于360度，诸如在90度和360度之间，然而在其他实施例中也可以小于90度。
在各实施例中，镜130的表面是关于图像传感器的光轴对称的。可以使用在与摄像机光学结合时真正等角的镜形状。在这一等角的镜/相机系统中，图像中的每个像素可以跨越相等的角度，而不考虑它离开反折射图像传感器112、114、116所创建的圆形图像中心的距离。由此，图像的径向变形是统一的。可以修改镜的形状，以便补偿在与镜结合时相机透镜增加的透视效应，从而提供改进的高分辨率全景图像。和凸面镜130的形状的一个例子有关的进一步细节在2006年6月6日公告的Singh等人的第7058239号美国专利中提出，该专利题为“System and Method for Panoramic Imaging(用于全景成像的系统和方法)”，该专利通过引用全部结合于此。下面提供了镜130的形状的一些细节。
图5和6示出等角镜130的例子的几何形状。所反射的光线LR被放大一个常数增益α，而不管沿着镜130的垂直剖面的位置。这些镜的通式在等式(1)中给出：
cos ( θ 1 + α 2 ) = ( r r 0 ) - ( 1 + α ) / 2 - - - ( 1 )
对于α的不同值，可以产生具有高度曲率或低度曲率的镜，而仍旧保持它们的等角特性。在一个实施例中，α在从约3到约15的范围内，例如可以为11。这些镜的一个好处是图像数据中的恒定分辨率。在各实施例中，镜130的顶部130a可以具有3英寸直径，镜130从顶部130a到底部130b的高度可以是2英寸。在其他实施例中，该直径和高度可以在那些值以上和/或以下改变。
已经确定向相机添加透镜引入了这样的效应，使得每个像素不跨越相同的角度。这是因为镜和相机的组合不再是投影设备。由此，为了真正的等角，可以对镜进行成形以便考虑透镜的透视效应，并且可以修改各算法。在上面标识的第2003/0095338号美国专利公布文本中提出了如何修改上面的等式(1)以考虑透镜效应的例子，这些例子通过引用结合于此。
镜130使表面符合这些凸面镜的一个好处在于，它们导致图像数据中的恒定分辨率。这允许直接的数学换算和不昂贵的处理以将每个反折射图像传感器112、114、116所获得的圆形图像转换(即解除变形)成具有线性x轴和y轴分量的柱形图像。然而，可以理解，在其他实施例中镜表面可以符合各种其他外形。在这种其他实施例中，可以使用已知的数学等式来将每个反折射图像传感器所获得的所产生的圆形图像转换成具有线性x轴和y轴分量的柱形图像。
在各实施例中，镜130可由涂敷有铝制反射面的玻璃制成，并且具有例如硅的保护涂层。应当理解，在其他实施例中，镜130可由其他材料以及其他反射面和/或涂层制成。在一个例子中，镜的平滑度是可见光波长的四分之一，同样，这在其他实施例中也可以改变。
图7示出具有三个反折射图像传感器112、114和116的反折射底架组件104的例子的俯视图。每一个图像传感器捕捉环绕全景P的图像。如下面说明的，包括三个或更多图像传感器的组件104的一个特征在于，可以从组件104中的至少两个不同的图像传感器中选择环绕全景P的视图，以便从每个方向上的图像传感器提供360度全景P的无遮挡的立体视图。例如，如图8的俯视图所示，可以使用图像传感器112和114来提供全景P的部分P1的无遮挡视图；可以使用图像传感器114和116来提供全景P的部分P2的无遮挡视图；并且可以使用图像传感器116和112来提供全景P的部分P3的无遮挡视图。部分P1、P2和P3一起形成全景的360度视图。在各实施例中，每一段P1、P2和P3可以是120度，但在其他实施例中无需如此。
通常，如背景技术部分中所述，为了提供立体图像，从不同视野拍摄两个图像：左侧视图和右侧视图。当左侧视图和右侧视图偏移了和人眼的瞳孔间距近似的视差时，可以向左眼显示左侧视图，向右眼显示右侧视图。所产生的合成图像(如果还被正确校准和同步)可由大脑解释为具有立体深度。
为了使用组件104的图像传感器来提供这一立体效应，给定的图像传感器在捕捉全景的第一部分时提供左侧图像，同一个图像传感器在查看全景的第二部分时提供右侧图像。确定两个图像传感器中的哪一个提供了全景的给定部分的左侧图像和右侧图像取决于相对于来自全景该部分的光线来说、哪个图像传感器在左边、哪个在右边。
例如，现在参考图8，当使用图像传感器112和114来捕捉全景的图像部分P1时，图像传感器114相对于入射光线在右侧，由此，图像传感器114为部分P1提供右侧图像。然而，当使用图像传感器114和116来捕捉全景的图像部分P2时，图像传感器114相对于入射光线在左侧，由此，图像传感器114为部分P2提供左侧图像。当使用组件104来捕捉图像部分P3时，来自图像传感器114的视图会包括图像传感器112和116并且被它们遮挡，由此，在捕捉全景的部分P3的视图时不使用图像传感器114。下面提供了用于获得全景图像并将它们处理成立体全景视图的系统110的结构和操作的更多细节。
图9示出由围绕图8的360度全景的图像传感器112、114、116捕捉的图像的图表，其中将原点(0度)任意地选择为在P3和P1之间。如图所示，对于图8的配置，图像传感器112将为部分P1提供左侧图像数据，并且对于部分P2被遮挡，并且会为部分P3提供右侧图像数据。图像传感器114将为部分P1提供右侧图像数据、为部分P2提供左侧图像数据，并且会对于部分P3被遮挡。以及图像传感器116将对于部分P1被遮挡、为部分P2提供右侧图像数据，并且会为部分P3提供左侧图像数据。图8和9内用“x”标记的区域表示了来自图像传感器的可能被另一图像传感器遮挡的、并因此在生成立体全景视图时不使用的视图。可以理解，由于图像传感器查看全景的不同部分，其他相机配置会得到左图像数据、右图像数据和被遮挡的图像数据的不同细分。
在图8所示的三传感器实施例中，可能使左图像跨越120度，右图像跨越120度，被遮挡的区域为120度。然而，如下面说明的，当来自每个图像传感器的左图像被合成、而来自每个图像传感器的右图像被合成时，希望提供图像中可能发生缝合和混合的重叠。在各实施例中，如图9所示，左图像段和右图像段可能有某种程度的重叠。此外，也如图9所示，通过降低被用作被遮挡区域x的区域的角大小，可以提高左图像和右图像的跨度。重叠程度可以变化，但例如可以是10度到20度的重叠。在其他实施例中，重叠可以更大或更小。
被遮挡区域x可以被减少的量取决于图像传感器112、114、116中使用的镜的尺寸和间隔。现在将参考图8A的示例来说明这一点。该示例说明了关于图像传感器112的尺寸和间隔，但同样也会适用于图像传感器114和116。来自图像传感器112的右图像可以延伸到和传感器116相切的线j。此外，右图像会包括图像传感器116的视图。类似地，来自传感器112的左图像可以延伸到和传感器114相切的线k。此外，左图像会包括图像传感器114的视图。
在图8A中，r是镜的半径rmax，D是镜之间的中心间距。限定被遮挡区域x的遮挡角(以度为单位)由角度α+β+α给出，其中：
α＝sin-1(r/D)，并且
β＝180(1-(2/N))，其N等于镜的数量。
由此，遮挡角由以下等式给出：
2sin-1(r/D)+180(1-(2/N))                                 (2)
从以上等式可见，在图像传感器112、114和116的三个镜互相接触使得D＝2r时，等式(2)给出的遮挡角会是120度。然而，当镜之间存在间隔使得D大于2r时，遮挡角会小于120度，使得如图9所示，左图像和右图像有更大的重叠跨度。期望的重叠可以通过选择镜的尺寸和间隔来设置。
如上所述，在其它实施例中，反折射底架组件104可以包括多于三个图像传感器。图10是包括四个图像传感器的反折射底架组件104的俯视图，这四个图像传感器标记为IS1、IS2、IS3和IS4。图像传感器1和2可用于提供全景P的部分P1的无遮挡视图；图像传感器2和3可用于提供全景P的部分P2的无遮挡视图；图像传感器3和4可用于提供全景P的部分P3的无遮挡视图；图像传感器4和1可用于提供全景P的部分P4的无遮挡视图。在各实施例中，每一段P 1、P2、P3和P4各自可以是90度，但在其他实施例中无需如此。根据哪个部分正在被捕捉，每个图像传感器可用于提供左侧视图或右侧视图。例如，图像传感器3在捕捉P2时提供右侧视图，而在捕捉P3时提供左侧视图。
在各实施例中，在四个镜的配置中，为了提供用于缝合图像的重叠区域，左图像和右图像跨越的角度应当大于90度(360度/4)。左图像和右图像的跨度可以通过彼此重叠来增加。或者或另外，遮挡区域x可以小于180度。特别是，如关于图像传感器1所示，右图像跨越的角度可以被提高至线j，左图像可被提高至线k。尽管仅为图像传感器1示出，这适用于每个图像传感器1-4。如上所述，线j与相邻图像传感器4相切，线k与相邻传感器2相切。可以选择图像传感器1-4中的镜的尺寸和形状以通过上述等式(2)限定被遮挡区域。被遮挡区域的量会部分地限定左图像和右图像的可允许跨度。
其他配置是已知的。图11示出包括图像传感器1-5的反折射底架组件104的俯视图。如图11所示，相邻的图像传感器对可用来捕捉五个不同的部分P1-P5。根据哪个部分正在被捕捉，每个图像传感器可用于提供左侧视图或右侧视图。例如，图像传感器5在捕捉P5时提供右侧视图，而在捕捉P1时提供左侧视图。可以提供左图像和右图像间的重叠。此外，遮挡区域x可以被缩小至线j和k(分别为图像传感器5和2的切线)所界定的角度。这还允许提高左图像和右图像的跨度。尽管仅在图像传感器1上示出，但是为图像传感器1示出的遮挡可以适用于图像传感器1-5的每一个。
图12示出进一步的配置，该配置包括含有图像传感器1-6的反折射底架组件104的俯视图。如图12所示，相邻的图像传感器对可用来捕捉六个不同的部分P1-P6。根据哪个部分正在被捕捉，每个图像传感器可用于提供左侧视图或右侧视图。例如，图像传感器4在捕捉P3时提供右侧视图，而在捕捉P4时提供左侧视图。可以提供左图像和右图像间的重叠。此外，遮挡区域x可以被缩小至线j和k(分别为图像传感器6和2的切线)所界定的角度。这还允许提高左图像和右图像的跨度。尽管仅在图像传感器1上示出，但是为图像传感器1示出的遮挡可以适用于图像传感器1-6的每一个。
图1-12中提出的实施例仅仅为示例。应当理解，在其他实施例中，其他的反折射底架组件104可以包括多于六个图像传感器。此外，在反折射底架组件104在和每个图像传感器的光轴垂直的平面上具有彼此对齐的不同图像传感器的实施例中，可以构想，图像传感器中的一个或多个相对于一个或多个其他图像传感器而言可以在平面之外；也就是说，一个或多个图像传感器可以沿着其光轴相对于一个或多个其他图像传感器上移或下移。
而且，尽管反折射底架组件104中的全部图像传感器的光轴可以彼此平行，可以构想，一个或多个图像传感器的光轴可以朝向或远离一个或多个其余的图像传感器而倾斜。例如，图像传感器的光轴可以在0度和45度之间的角度向彼此倾斜。下述实施例是关于具有三个图像传感器112、114和116的组件104描述的。然而，以下描述也适用于具有多于三个图像传感器的组件104。
此外，尽管本发明的技术的实施例包括上述镜130，替代的实施例可以在没有镜的情况下捕捉围绕360度的全景的图像。特别是，相机124可以包括广角镜，使得包括例如三个这样的图像传感器的实施例可以捕捉全景的三个图像，每个都围绕360度。之后，如下面说明的，所捕捉的图像可以被解析成柱形图像。
图13是示出从反折射底架组件104的图像传感器所捕捉的反折射图像生成左全景图像和右全景图像的高级流程图。在步骤200中，反折射底架组件104的图像传感器112、114、116捕捉反折射图像数据。如上所述，反折射底架组件104中的每个图像传感器捕捉环绕全景P的图像，例如围绕360度的全景。图14示出由图像传感器112、114、116之一获得的关于360度全景P的反折射图像150。来自图像传感器周围360度的光线入射到镜130上并且向下反射到相机124中以创建反折射图像150。反折射图像150包括全景P、以及组件104中其他传感器的图像。例如，在图14中所示的图像由图像传感器116生成时，传感器112和114的图像在所捕捉的图像中可见。
在步骤202中，来自每一个图像传感器的图像可以在时间上彼此同步，步骤204是重新获得捕捉系统参数的校准步骤。这些参数对于将来自输入图像的像素映射到输出的立体柱形图像是必要的。如下面说明的，在各实施例中，图13的各步骤可以每帧执行一次，以提供立体视频图像。在这样的实施例中，同步步骤202仅需执行一次。一旦图像传感器彼此同步，就无需对于每帧重复该步骤。然而，在其他实施例中，可以每帧执行同步步骤。类似地，可构想校准步骤可以仅执行一次。例如，在步骤204，校准步骤可以对于受控图像在受控环境中执行。一旦图像彼此校准，就无需对于每帧重复该步骤。然而，和时间同步步骤不同，图像传感器的彼此校准更可能改变，例如，如果图像传感器被震动、跌落或以其他方式彼此移动。因此，在其他实施例中，可以每帧执行校准步骤204(或者在受控环境中、然后在受控环境外实时使用，或者仅仅在受控环境外的实时使用)。
步骤202的适当同步操作的进一步细节在申请人于2010年5月3日提交的共同待批的第12/772,802号美国专利申请中公开，该申请题为“HeterogeneousImage Sensor Synchronization(异类图像传感器同步)”，该申请通过引用整体被结合于此。然而，通常，可以使用已知的同步锁相技术以及/或者图像传感器112、114、116中的每一个可以被绑定至或者在反折射底架组件104中或者在计算设备110中的公共时钟。通过使用公共时钟，系统可以确保，在来自不同图像传感器的图像被合成时，图像各自是在同一个时刻被拍摄。在各实施例中，如果图像传感器是全部同步锁相的或是硬件同步的，可以省略同步步骤。
图13的校准步骤204包括步骤208，将相机124中获得的反折射图像变形为柱形图像。特别是，镜130的底部130b和镜顶部130a同样地接收来自全景P的相同量的光线。然而，底部130b小于顶部130a。因而，和从顶部130a生成的反折射图像数据相比，镜130的底部130b所生成的全景图像数据更为精简。在上述第7,058,239号美国专利中公开了用于将反折射图像变形成柱形图像(也称为将反折射图像解除变形成柱形图像)的算法的细节。进一步的细节也在2005年2月15日公告的第6,856,472号美国专利中公开，该专利题为“Panoramic Mirror and System For Producing Enhanced Panoramic Images(用于产生增强的全景图像的全景镜和系统)”，该专利通过引用全部进一步地结合于此。
图15示出被变形为柱形图像154的图14的反折射图像数据的示意表示。柱形图像154可以由反折射图像150的等角或等直角投射产生。图17示出被扁平化成柱形图像数据的二维表示的图15的柱形图像154。尽管在图17上被示出为平的、二维图像，柱形图像154表示全景的360度视图，其最左边部分和最右边部分是全景的同一区域的图像。
图16是图14的反折射图像150的图示，并且有图像中心(xcen，ycen)、最小半径rmin(从所投射的镜杆的中心到边缘)、最大半径rmax(从镜的中心到外边缘)的指示。如图17所示，反折射图像中从rmin到rmax通过(xcen，ycen)的径线158映射为柱形图像中的垂线160。
给定柱形图像的宽度w，对于一图像传感器，对着角度θ(逆时针方向)的径线158通过以下等式映射到垂线160：
x＝w*(θ)/2π。
沿着宽度维度上的距离x的范围是从0到全宽w。
如上所述，在各实施例中，镜的形状是等角的。这一形状的一个好处在于，径线158和垂线160之间沿着x和y方向上的变形是线性的。也就是说，y坐标(在底部y＝0)对应于：
y＝h*(r-rmin)/(rmax-rmin)
其中h是柱形图像的高度。沿着高度维度的距离y从0至全高h(在r＝rmax)变化。如上所述，在其他实施例中，镜的形状可能不是等角的。在这样的实施例中，可以推导出用于将反折射图像中的径线158变形成柱形图像中的垂线160的已知等式。
对于第二和第三图像传感器从反折射数据到柱形数据的映射和对于第一图像传感器所述的是相同的，除了添加固定角度移位以考虑第二和第三图像传感器相对于第一图像传感器的相对方向以外。
校准步骤204还包括将来自不同图像传感器112、114、116的图像垂直地对齐。特别是，如下面所说明的，来自不同图像传感器的图像的部分彼此合成在一起。即使在图像传感器最初彼此校准的情况下，移动、震动或不对齐也会使来自不同图像传感器的图像变得不校准。执行校准以确保图像在垂直方向上(沿y方向)的对齐，因为y方向上的不对齐会影响立体效应。校准在水平方向上(沿x方向)并非同样的关键，因为为了产生深度幻象和3D效应，图像彼此间故意偏移一个和瞳孔间距近似的距离。
如上所述，可以执行校准一次或者可以周期性地执行校准，例如在反折射底架组件104静止时。或者，可以为来自图像传感器112、114、116的捕捉图像数据的每个帧执行校准，例如在反折射底架组件104静止或移动时。在各实施例中，反折射底架组件104可以包括图像稳定性组件和/或软件来使图像传感器112、114、116所捕捉的图像间的任何差异最小化。
图18又示出在步骤200和208中由第一图像传感器生成的全景的柱形数据。图19和20分别类似地示出以相似方式由第二和第三图像传感器所生成的柱形图像数据。从图中可见，在捕捉完全的360度全景时，每个图像传感器捕捉其视野内的其余图像传感器的图像。如上所述，每个图像传感器所生成的图像具有四个可变参数：限定图像中心的两个参数(xcen，ycen)；从所投影的镜杆的中心到边缘的最小半径rmin；以及镜的中心到外边缘的最大半径rmax。对于三图像传感器系统，因而有十二个可变参数。
然而，通过使图像传感器之一保持作为参考，而其他图像传感器与参考相比较，可以将可变参数的数目减少为八个。校准步骤208的目标是选择第二和第三图像传感器的可变参数，以便使由三个图像传感器所生成的柱形图像之间的垂直移位最小化。
一种执行校准步骤208的方法是通过标识由不同的图像传感器112、114和116所生成的图像中诸如对象角落这样的点特征。现在将参考附图21的流程图描述这一校准步骤的进一步细节。在步骤224中，标识了来自不同图像传感器的图像的点特征166(特征中的一些在图18-20中标记)。点特征可以是具有局部强度边缘的数据点，因此在来自不同图像传感器的图像间容易地标识。理想情况下，在每个图像内标识多个这种空间上良好分布的点特征。图像内的其他对象的各方面也可以成为线索。
存在各种用于从图像中标识出线索的已知算法。在Mikolajczyk，K.和Schmid，C的“A Performance Evaluation of Local Descriptors(局部描述符的性能评估)”(IEEE模式分析和机器智能学报，27，10，1615-1630(2005年))中阐述了这样的算法，该论文的全部内容通过引用结合于此。另一用于利用图像数据检测线索的方法是比例不变特征变换(SIFT)算法。例如在2004年3月23日颁发的题为“Method and Apparatus for Identifying Scale InvariantFeatures in an Image and Use of Same for Locating an Object in an Image(用于在图像中标识出比例不变特征和将其用于对图像中的物体进行定位的方法和装置)”的美国专利第6,711,293号中描述了SIFT算法，该专利的全部内容通过引用结合于此。另一线索检测器方法是最大稳定极值区域(MSER)算法。例如在J.Matas、O.Chum、M.Urba、和T.Pajdla的论文“Robust Wide BaselineStereo From Maximally Stable Extremal Regions(来自最大稳定极值区域的鲁棒宽基线立体)”(英国机器视觉会议学报，第384-396页(2002年))中描述了MSER算法，该论文的全部内容通过引用结合于此。
一旦来自各个图像的点特征被标识，这些点匹配就可以在步骤226被映射回输入的反折射图像(图14和16)。对于一组给定的假定的相机参数，来自输入图像的线索166可以被映射至柱形坐标。在步骤230中，线索在图像间比较，以标识不同图像中的相同线索。在步骤234中，可以找到线索166的相应对之间的垂直(y坐标)移位。因此，在步骤238中，选择了能产生垂直移位(差异)的最小平均的可变参数的值。在一个实施例中，可以使用Nelder-Mead单式算法来搜索能使图像传感器112、114和116间的垂直移位最小化的局部最优的相机参数。Nelder-Mead单式算法在例如由Nelder、John A.、R.Mead所著的“A Simplex Method For Function Minimization(用于功能最小化的单式方法)”(计算机期刊7：308-313(1965))中提出，该公开内容通过引用全部结合于此。
在图像彼此校准之后，来自每个图像传感器112、114和116的图像在步骤212中被分成左视图和右视图。左视图是指将被显示给用户左眼的图像数据，右视图是指将被显示给用户右眼的图像数据，从而在全景被显示给用户时造成立体效应。重要的是，当两个图像传感器从场景的同一部分接收图像数据时，由于两个图像在反折射底架组件104内彼此间偏移，因此这两个图像包含视差。所捕捉的视差负责立体效应。
根据图像数据来自于全景中的什么区域，每个图像传感器既生成左视图又生成右视图。在从全景的一个区域接收图像数据时，图像传感器提供右视图，在从全景的另一个区域接收图像数据时，该同一个图像传感器可以提供左视图。现在将参考图21的流程图以及图8、9和23的图示来说明将来自图像传感器的图像数据分割成左视图和右视图的进一步细节。
在步骤250中，对于给定的反折射底架组件配置，可以预先确定，根据组件相对于正在被捕捉的全景部分的方向，每个图像传感器所捕捉的什么视图将被用作左视图、右视图或不被使用。如图8和9所示，当反折射底架组件104如图8所示定向时，来自全景的部分P1的图像被图像传感器112和114捕捉。两个图像传感器接收来自部分P1的图像数据，其中图像传感器112接收左侧图像数据，图像传感器114接收右侧图像数据。由于两个图像间的视差，分别来自图像传感器112和114的部分P1的左视图和右视图的呈现将实现部分P1的立体视图。如下面说明的，瞳孔间视距取决于图像数据是来自P1的中间部分还是来自P1的侧面部分而改变，该改变可以被校正。在查看部分P1时，图像传感器116捕捉到图像传感器112、114中至少一个的出现。由此，来自图像传感器116的视图不用于来自部分P1的图像数据。
以相同方式，图像传感器114和116分别提供了部分P2左视图和右视图。图像传感器112不用于来自部分P2的图像数据。图像传感器116和112分别提供了部分P3的左视图和右视图。图像传感器114不用于来自部分P3的图像数据。由此，围绕360度全景，给定的图像传感器将提供左视图、右视图和无视图。
现在参考图22的流程图以及图23的图示，来自每一个图像传感器112、114和116的左视图被分组在一起，来自每一个图像传感器112、114和116的右视图被分组在一起。图23分别示出从例如图像传感器112、114和116拍摄的柱形图像168、170和172。在每一个图像168、170和172上标记左视图和右视图。然后在步骤254中处理每一个图像168、170、172以便移除除了左视图以外的全部视图，并且在步骤258中将它们保存为一组图像174、176和178。类似地，在步骤260中，再次处理图像168、170和172来移除除了右视图以外的全部视图，这些图像然后在步骤264中被保存为一组图像180、182和184。图像168、170和172然后可以被缝合在一起以提供整个全景的左视图图像数据，但是从图像来处理图像传感器。类似地，图像174、176和178然后可以被缝合在一起以提供整个全景的右视图图像数据，但是从图像来处理图像传感器。下面说明了缝合步骤。
如上所述，一对图像传感器之间的瞳孔间视距可以取决于图像传感器正在从全景的什么部分接收图像数据而改变。例如，图24和25示出两种情况。在第一种情况下，图像传感器114和116正在查看在图像传感器的在效果上直前的全景的一部分(在上述任意约定中，这会来自P2的中间部分)。在本上下文中的“直前”可意味着和图像传感器114和116的光轴间的线垂直。瞳孔间视距是D1。在图25的第二种情况下，图像传感器114和116正在查看更接近于一边界的全景的一部分，例如，更接近于部分P1。瞳孔间视距是D2。D2小于D1。因而，关于图25中的全景部分捕捉的左图像数据和右图像数据的立体效应将不与关于图24中的全景部分捕捉的左图像数据和右图像数据的立体效应相同。
因而，参照图13中的步骤214，可以处理左图像168、170、172以及右图像174、176、178以便对从全景一部分的中间拍摄的视图和在两侧拍摄的视图之间的瞳孔间视距变化进行校正。该处理步骤可以包括处理图像以便有效地改变从中捕捉图像的有利位置，使得不管是查看全景的直前部分还是侧面部分，瞳孔间视距都是相同的。有利位置的这一变化不是相机位置的实际变化。它是图像传感器在机器空间中的有利位置的转换，以便好像图像传感器处在不同的有利位置那样来有效地转换图像数据。在图像传感器彼此校准之后，在单参考系统中，每个图像传感器的位置相对于彼此是已知的。这样，来自任一个图像传感器的图像数据可以用已知的矩阵变换来转换，其中移位部分取决于景深，以便看上去已经在不同的有利位置生成。在其他实施例中可以省略校正瞳孔间视距变化的步骤214。
现在参考图13中的步骤218以及图26的图示，一旦如上所述获得了左图像174、176、178和右图像180、182、184，左图像可以被合成为单个全景左图像186，右图像可以被合成为单个全景右图像188。在上述三图像传感器的配置中，左图像174、176、178和右图像180、182、184中的每一个可能仅跨越120度，使得每个图像在被合成为全景左图像186和全景右图像188时，每个图像包括完整的360度全景。然而，在合成例如左图像174、176、178时，每个图像来自一个不同的图像传感器以及一个略微不同的视角。由此，即使图像传感器在图像间的接缝处捕捉同一图像，不同视图间的视差也会在图像被合成之处的接缝处造成不连续。对于在将右图像180、182、184合成为全景右图像188时同样如此。
为了防止不连续性，图像传感器112、114、116所捕捉的左视图和右视图的每一个可以各自跨越略大于120度，使得在合成左图像174、176、178时，接缝处有重叠。对于右图像180、182、184同样如此。合成图像例如可以重叠10度至20度，然而在其他实施例中，重叠可以更大或更小。
现在将参考图27的流程图说明合成左图像174、176、178和右图像180、182、184的步骤218的进一步细节。合成图像包括将左图像的边缘重叠在一起以形成合成的全景左图像、以及将右图像重叠在一起以形成合成的全景右图像的步骤270。此后，在步骤274中在重叠区域内执行缝合算法以移除任何接缝的出现。
参考图28的流程图和图29-32的图示来描述步骤274的缝合操作的进一步细节。图29示出要被缝合在一起的一对图像190和192。图像190、192可以来自图26所示的左侧图像174、176、178或右侧图像180、182、184中的任一个。为清楚起见以虚线示出图像192。图像190和192包括对象194、196，这些对象可以是图像传感器所捕捉的任何对象。在其他示例中可以存在更少或多得多的这样的对象。图30示出图像190、192被合成，并且有重叠区域198。尽管图像是对于相同的对象拍摄的，然而因为图像从略微不同的视角拍摄，因此对象彼此间不能完全对齐。对象194在重叠区域198中被示出为对象194a和194b，对象196在重叠区域198中被示出为对象196a和196b。
在步骤284中，计算两个流场；一个流场将图像190的特征变形为图像192中在重叠区域198内的对应特征，另一个流场将图像192的特征变形为图像190中在重叠区域198内的对应特征。每个流场以相同方式计算，通过对强度分布和移位像素进行局部比较以便使强度分布中的差异最小化。这具有分别对齐对象194a和194b以及对象196a和196b的效应。在各实施例中，也可以标识和对齐诸如对象角落和边缘这样的图像特征，以便计算流。作为校准的结果，重叠区域198内的190和192之间的移位是水平的。通过将场景对象保持在最小距离，可以将移位保持为合理小的程度，以便使光流计算容易处理。重叠区域内的像素移位可能不相同。也就是说，对象194a和194b之间的偏移距离d1可能与对象196a和196b之间的偏移距离d2不同。
在步骤284中，基于匹配强度分布所需的距离来计算双向流场。在各实施例中，移动可以是水平的，但是由于校准过程中的硬件非理想性和不准确性，图像对齐也可能需要一些小的垂直移动。在各实施例中，可以使用Horn-Schunck流算法来计算双向流场，例如在B.K.P.Horn和B.G.Schunck等人所著的“Determining Optical Flow(确定光流)”，人工智能第17卷第185-203页(1981)中描述，该公开内容通过引用全部结合于此。可以使用其他已知的算法来基于来自重叠图像的相应模式来计算流场。
如上所述，来自相应对象的不同像素可能需要沿着重叠区域198内的线移动不同的距离。流场线可以是水平的，或者它们也可以是带有少量垂直偏移而水平的。流场线可能具有单像素宽度，或者流场线的长度可以为多像素。在相应的强度分布中的相应像素相对离开较远时，会导致相对强的流场。相反，在相应的亮度模式中的相应像素相对较近时，会导致相对弱的流场。
如果图像数据仅仅移位了所计算的流场以对齐相应的强度分布，则在重叠区域边界处的图像中会有间隙。为了考虑这一点，在步骤286中，将像素要沿每个流场线移动的距离和一个因子相乘，该因子在0和1之间，并且和离开重叠边缘的距离成比例。如图31所示，在第一遍，来自图像190的像素在步骤288中沿着所计算的流场从左向右变形。图31示出流场的三个部分x1、x2和x3。像素190中的处在重叠区域198左边界的像素将它们的流场乘以0。这样，这些像素不移动。在图像190中的左边界附近的像素具有小的、非零因子。由此，图像190中接近左边界的像素被恰好移位一个小的量，该量等于流场乘以小因子。中间部分的像素移动约为流场一半的因子。最后，重叠区域右边界处的像素被移动流场的完全量(流场乘以1)。
如图31所示，在第一遍之后，由于对象194a接近左边界，因此对象194a中的像素仅仅朝向对象194b变形了一个小的距离。另一方面，在第一遍之后，由于对象196a接近右边界，因此对象196a中的像素朝向对象196b变形了距离的一大部分。
在步骤286的第二遍中，如图32所示，来自图像192的像素沿着相同的所计算的流场x1、x2和x3从右向左变形。如上所述，图像192中的处在重叠区域198右边界的像素将它们的流场乘以0。这样，这些像素不移动。中间部分的像素移动约为流场一半的因子。重叠区域左边界处的像素被移动流场的完全量(流场乘以1)。
在步骤290，向上述第一遍和第二遍中生成的已变形图像应用拉普拉斯(Laplacian)混合。拉普拉斯混合技术的描述例如在P.J.Burt和E.H.Adelson所著的“A Multiresolution Spline With Application To Image Mosaics(应用于图像马赛克的多分辨率样条)”(ACM图形学报第2卷第4号第217-236页，1983年10月)中提出，该公布内容通过引用全部结合于此。然而，通常来说，从第一遍和第二遍生成的图像首先被分解成一组带通滤波的组成图像。接着，每个空间频带内的组成图像被聚集成一个相应的带通马赛克。在该步骤中，使用过渡区内的加权平均来结合组成图像，过渡区的大小和频带内表示的波长成比例。最后，将带通马赛克图像相加来获得重叠区域198内的合成图像。步骤280到290的效应是，在不留出图像中的间隙的情况下以及在不模糊图像内的对象的情况下，对重叠区域进行变形以对齐高频对象。应当理解，可以使用除拉普拉斯混合以外的已知算法来对图像进行平滑和混合。
再次参考图13的高级流程图，一旦获得了左全景图像186和右全景图像188，图像就可以经由3D显示耳机(未示出)被显示给用户，该3D显示耳机向用户左眼显示左全景图像186，向用户右眼显示右全景图像188。左全景图像186和右全景图像188可以在步骤222中被显示给用户。可以向用户提供使用户能向前、向左、向右或向后看的控制，控制或者在3D显示耳机中提供，或者作为单独的控制器来提供。无论用户看向何处，都可以显示全景的立体视图。在其他实施例中，可以扩展图像数据以便不仅提供柱形立体图像数据，而且提供球形立体图像数据。在这样的实施例中，可以提供附加的图像传感器来从用户之上和之下捕捉图像数据。
可以为图像传感器中获得的图像数据的每个新帧执行图13的上述步骤。在一个例子中，图像传感器可以以60Hz对图像数据进行采样，然而在其他实施例中，采样率可以高于或低于60Hz。由此，可以向用户显示立体视频数据，其中用户能够自由地选择围绕360度的视频全景的任何视图。在其他实施例中，图像传感器可以捕捉围绕360度或较小的全景的静止图像。
尽管本发明的系统有利地提供了围绕360度的全景的立体视图，但是可以理解，被图像传感器所查看的和/或被显示给用户的全景可以小于360度。在一个进一步的例子中，全景可以是180度以及180度和360度之间的角度。在进一步的实施例中，全景可以小于180度。
图33示出了可以是上述任何计算系统的示例性计算系统。图33示出了计算机610，它包括，但不限于：处理单元620、系统存储器630以及将包括系统存储器在内的各种系统组件耦合至处理单元620的系统总线621。系统总线621可以是若干类型的总线结构中的任一种，包括使用各种总线体系结构中的任一种的存储器总线或存储器控制器、外围总线、以及局部总线。作为示例而非限制，这样的体系结构包括工业标准体系结构(ISA)总线、微通道体系结构(MCA)总线、增强型ISA(EISA)总线、视频电子标准协会(VESA)局部总线，以及也称为夹层总线的外围部件互连(PCI)总线。
计算机610通常包括各种计算机可读介质。计算机可读介质可以是能由计算机610访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。作为示例而非限制，计算机可读介质可包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括，但不限于，RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、磁带盒、磁带、磁盘存储或其它磁性存储设备、或能用于存储所需信息且可以由计算机610访问的任何其它介质。通信介质通常以诸如载波或其他传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其他数据，并包括任意信息传送介质。术语“已调制数据信号”是指具有以在信号中编码信息的方式被设定或改变其一个或多个特征的信号。作为示例而非限制，通信介质包括诸如有线网络或直接线连接之类的有线介质，以及诸如声学、RF、红外及其他无线介质之类的无线介质。以上的任一种的组合也包括在计算机可读介质的范围之内。
系统存储器630包括易失性和/或非易失性存储器形式的计算机存储介质，如只读存储器(ROM)631和随机存取存储器(RAM)632。基本输入/输出系统633(BIOS)包含诸如在启动期间帮助在计算机610内的元件之间传输信息的基本例程，基本输入/输出系统633(BIOS)通常储存储在ROM 631中。RAM632通常包含处理单元620可立即访问和/或目前正在操作的数据和/或程序模块。作为示例而非限制，图33示出了操作系统634、应用程序635、其他程序模块636，以及程序数据637。
计算机610也可以包括其他可移动/不可移动、易失性/非易失性计算机存储介质。仅作为示例，图33示出了对不可移动、非易失性磁介质进行读写的硬盘驱动器641，对可移动、非易失性磁盘652进行读写的磁盘驱动器651，以及对诸如CD ROM或其它光学介质等可移动、非易失性光盘656进行读写的光盘驱动器655。可在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性计算机存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等。硬盘驱动器641通常由诸如接口640等不可移动存储器接口连接至系统总线621，并且磁盘驱动器651和光盘驱动器655通常由诸如接口650等可移动存储器接口连接至系统总线621。
上文所讨论的并且在图33中示出的驱动器及其相关联的计算机存储介质为计算机610提供了对计算机可读的指令、数据结构、程序模块及其他数据的存储。例如，图33中，硬盘驱动器641被示为存储操作系统644、应用程序645、其它程序模块646和程序数据647。这些组件可以与操作系统634、应用程序635、其他程序模块636，以及程序数据637相同，也可以不同。在此操作系统644、应用程序645、其他程序模块646以及程序数据647被给予了不同的编号，以说明至少它们是不同的副本。用户可以通过输入设备，例如键盘662和定点设备661——通常是指鼠标、跟踪球或触摸垫——向计算机610输入命令和信息。其他输入设备(未示出)可包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪等。这些和其他输入设备通常通过耦合至系统总线的用户输入接口660连接至处理单元620，但也可以由其他接口和总线结构，例如并行端口、游戏端口或通用串行总线(USB)来连接。监视器691或其他类型的显示设备也通过诸如视频接口690之类的接口连接至系统总线621。除监视器之外，计算机也可包括诸如扬声器697和打印机696之类的其他外围输出设备，它们可以通过输出外围接口695来连接。
计算机610可以使用到一个或多个远程计算机(如远程计算机680)的逻辑连接，以在联网环境中操作。远程计算机680可以是个人计算机、服务器、路由器、网络PC、对等设备或其他公共网络节点，并且通常包括上文参考计算机610所描述的许多或全部元件，虽然图33中只示出了存储器设备681。图33中所描述的逻辑连接包括局域网(LAN)671和广域网(WAN)673，但是，也可以包括其他网络。这些联网环境在办公室、企业范围计算机网络、内联网和因特网中是常见的。
当用于LAN网络环境中时，计算机610通过网络接口或适配器670连接到LAN 671。当在WAN联网环境中使用时，计算机610通常包括调制解调器672或用于通过诸如因特网等WAN 673建立通信的其他手段。调制解调器672可以是内置的或外置的，可以经由用户输入接口660或其他适当的机制连接到系统总线621。在联网环境中，相对于计算机610所描述的程序模块或其部分可被存储在远程存储器存储设备中。作为示例而非限制，图33示出了驻留在存储器设备681上的远程应用程序685。应当理解，所示的网络连接是示例性的，并且可使用在计算机之间建立通信链路的其他手段。
本发明系统的前述详细描述是出于说明和描述的目的而提供的。这并不旨在穷举本发明系统或将本发明系统限于所公开的精确形式。鉴于上述教导，许多修改和变型都是可能的。选择所述实施例以最好地解释本发明系统的原理及其实践应用，从而允许本领域技术人员能够在各种实施例中并采用各种适于所构想的特定用途的修改来最好地利用本发明系统。本发明系统的范围旨在由所附权利要求书来定义。

Claims (9)

1.一种从多个图像传感器形成立体图像的方法，包括如下步骤：
(a)将来自不同图像传感器的第一组图像(174,176,178)组合(步骤270)在一起，所述第一组图像被用作所述立体图像中的左侧视角且所述第一组图像是在具有所述第一组图像的重叠的情况下组合的；
(b)将来自所述不同图像传感器的第二组图像(180,182,184)组合(步骤270)在一起，所述第二组图像被用作所述立体图像中的右侧视角且所述第二组图像是在具有所述第二组图像的重叠的情况下组合的；
(c)移除(步骤274)所述第一和第二组图像的重叠区域中的一对图像之间的缝的出现，所述步骤(c)包括如下步骤：
i)通过将第一图像在第一方向上在所述重叠的第一边界处拉伸0倍而在相对边界处拉伸1倍而将所述重叠区域中来自两个不同图像的对象对齐(步骤284)；以及
ii)通过将第二图像在与所述第一方向相反的第二方向上在所述重叠的第二边界处拉伸0倍而在相对边界处拉伸1倍而将所述重叠区域中来自所述两个不同图像的对象对齐(步骤284)，
其中所述步骤(c)(i)和(c)(ii)包括在所述重叠区域中将不同对象拉伸不同水平距离的步骤。
2.如权利要求1所述的方法，其特征在于，还包括对于组合后的第一组图像在三个重叠区域的每个中如所述步骤(c)中那样移除差异以及对于组合后的第二组图像在三个重叠区域的每个中如所述步骤(c)中那样移除差异的步骤。
3.如权利要求1所述的方法，其特征在于，在所述步骤(c)中被对齐的对象是高频对象。
4.如权利要求1所述的方法，其特征在于，还包括在所述步骤(c)(i)和(c)(ii)中对齐所述对象之后对所述重叠区域的左半部和右半部应用拉普拉斯混合的步骤。
5.一种从多个图像传感器形成立体图像的方法，包括如下步骤：
(a)将具有视差的第一组图像(174,176,178)组合(步骤270)在一起，所述第一组图像被用作所述立体图像中的左侧视角(186)且所述第一组图像是在具有所述第一组图像的重叠的情况下组合的；
(b)将具有视差的第二组图像(180,182,184)组合(步骤270)在一起，所述第二组图像被用作所述立体图像中的右侧视角(188)且所述第二组图像是在具有所述第二组图像的重叠的情况下组合的；
(c)移除(步骤274)所述第一和第二组图像的重叠区域中的一对图像之间的缝的出现，所述步骤(c)包括如下步骤：
i)使用重叠区域中的对应像素之间的水平和/或垂直差异来计算(步骤284)光学流，
ii)使用经加权的因子从左向右交叉淡化(步骤286)，所述因子从左向右增加，
iii)使用经加权的因子从右向左交叉淡化(步骤286)，所述因子从右向左增加，
iv)使用在步骤(c)(ii)和(c)(iii)中修改的流来变形(步骤288)，以及
v)在所述重叠区域的左半部和右半部之间应用(步骤290)拉普拉斯混合，
其中所述步骤(c)(i)到(c)(v)包括在所述重叠区域中将不同对象拉伸不同水平距离的步骤。
6.如权利要求5所述的方法，其特征在于，步骤(c)(ii)和(c)(iii)中使用的所述经加权的因子从0增加到1。
7.如权利要求5所述的方法，其特征在于，所述第一组图像是从彼此以三角关系排列的三个图像传感器捕捉的。
8.如权利要求5所述的方法，其特征在于，所述第二组图像是从与捕捉所述第一组图像的相同的三个图像传感器捕捉的。
9.一种从三个图像传感器形成立体图像的方法，所述方法包括如下步骤：
(a)将来自所述三个图像传感器的第一组三个图像(174,176,178)组合(步骤270)在一起，围绕360度全景拍摄的所述第一组三个图像被用作所述全景的所述立体图像中的左侧视角(186)，所述第一组图像是在具有重叠的情况下组合的；
(b)将来自所述三个图像传感器的第二组三个图像(180,182,184)组合(步骤270)在一起，围绕360度全景拍摄的所述第二组三个图像被用作所述全景的所述立体图像中的右侧视角(188)，所述第二组图像是在具有重叠的情况下组合的；
(c)移除(步骤274)所述第一和第二组图像的重叠区域中的一对图像之间的缝的出现，所述步骤(c)包括如下步骤：
i)使用重叠区域中的对应对象之间的水平和/或垂直差异来计算(步骤284)光学流，
ii)使用在重叠区域的左边缘处的0和所述重叠区域的右边缘处的1之间加权的因子来从左向右交叉淡化(步骤286)，
iii)使用在重叠区域的右边缘处的0和所述重叠区域的左边缘处的1之间加权的因子来从右向左交叉淡化(步骤286)，
iv)使用在步骤(c)(ii)和(c)(iii)中修改的流来变形(步骤288)，以及
v)在所述重叠区域的左半部和右半部之间应用(步骤290)拉普拉斯混合，
其中所述步骤(c)(i)到(c)(v)包括在所述重叠区域中将不同对象拉伸不同水平距离的步骤。
CN201110443455.7A 2010-12-17 2011-12-16 用于360度立体视频的无缝左/右视图 Active CN102595168B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/971,840 US8548269B2 (en) 2010-12-17 2010-12-17 Seamless left/right views for 360-degree stereoscopic video
US12/971,840 2010-12-17

Publications (2)

Publication Number Publication Date
CN102595168A CN102595168A (zh) 2012-07-18
CN102595168B true CN102595168B (zh) 2015-05-20

Family

ID=46234523

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110443455.7A Active CN102595168B (zh) 2010-12-17 2011-12-16 用于360度立体视频的无缝左/右视图

Country Status (3)

Country Link
US (1) US8548269B2 (zh)
CN (1) CN102595168B (zh)
HK (1) HK1173009A1 (zh)

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5425547B2 (ja) * 2008-07-31 2014-02-26 キヤノンアネルバ株式会社 基板処理装置、及び磁気記録媒体の製造方法
IL194701A (en) * 2008-10-12 2012-08-30 Rafael Advanced Defense Sys Method and system for displaying a panoramic view to an operator
JP5316118B2 (ja) * 2009-03-12 2013-10-16 オムロン株式会社 ３次元視覚センサ
JP5282614B2 (ja) 2009-03-13 2013-09-04 オムロン株式会社 視覚認識処理用のモデルデータの登録方法および視覚センサ
KR101723235B1 (ko) * 2010-10-04 2017-04-04 삼성전자주식회사 입체 영상의 입체감을 감쇠하기 위한 장치 및 방법
US9762794B2 (en) 2011-05-17 2017-09-12 Apple Inc. Positional sensor-assisted perspective correction for panoramic photography
US9247133B2 (en) 2011-06-01 2016-01-26 Apple Inc. Image registration using sliding registration windows
US9098922B2 (en) * 2012-06-06 2015-08-04 Apple Inc. Adaptive image blending operations
US10306140B2 (en) 2012-06-06 2019-05-28 Apple Inc. Motion adaptive image slice selection
TW201351959A (zh) * 2012-06-13 2013-12-16 Wistron Corp 立體全景影像合成方法及其相關之立體攝影機
US9148651B2 (en) * 2012-10-05 2015-09-29 Blackberry Limited Methods and devices for generating a stereoscopic image
US9832378B2 (en) 2013-06-06 2017-11-28 Apple Inc. Exposure mapping and dynamic thresholding for blending of multiple images using floating exposure
US11019258B2 (en) * 2013-08-21 2021-05-25 Verizon Patent And Licensing Inc. Aggregating images and audio data to generate content
US9451162B2 (en) 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
GB2517730A (en) 2013-08-29 2015-03-04 Mediaproduccion S L A method and system for producing a video production
JP6462671B2 (ja) 2013-10-03 2019-01-30 ユニバーシティー オブ デラウェア Ｘスリットカメラ
US9911454B2 (en) 2014-05-29 2018-03-06 Jaunt Inc. Camera array including camera modules
US10368011B2 (en) 2014-07-25 2019-07-30 Jaunt Inc. Camera array removing lens distortion
US11108971B2 (en) 2014-07-25 2021-08-31 Verzon Patent and Licensing Ine. Camera array removing lens distortion
US10186301B1 (en) 2014-07-28 2019-01-22 Jaunt Inc. Camera array including camera modules
US10701426B1 (en) 2014-07-28 2020-06-30 Verizon Patent And Licensing Inc. Virtual reality system including social graph
US10440398B2 (en) 2014-07-28 2019-10-08 Jaunt, Inc. Probabilistic model to compress images for three-dimensional video
US9363569B1 (en) 2014-07-28 2016-06-07 Jaunt Inc. Virtual reality system including social graph
US9774887B1 (en) 2016-09-19 2017-09-26 Jaunt Inc. Behavioral directional encoding of three-dimensional video
US9973694B1 (en) * 2014-08-21 2018-05-15 Jaunt Inc. Image stitching to form a three dimensional panoramic image
US11205305B2 (en) 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
US10547825B2 (en) 2014-09-22 2020-01-28 Samsung Electronics Company, Ltd. Transmission of three-dimensional video
US11856297B1 (en) 2014-12-31 2023-12-26 Gn Audio A/S Cylindrical panorama hardware
US10027887B1 (en) 2015-01-30 2018-07-17 Google Llc Dynamic 3D panoramas
JP2016171463A (ja) * 2015-03-12 2016-09-23 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US10038887B2 (en) 2015-05-27 2018-07-31 Google Llc Capture and render of panoramic virtual reality content
EP3304195A1 (en) 2015-05-27 2018-04-11 Google LLC Camera rig and stereoscopic image capture
US9877016B2 (en) 2015-05-27 2018-01-23 Google Llc Omnistereo capture and render of panoramic virtual reality content
HK1212857A2 (zh) * 2016-03-21 2016-06-17 有限公司 現實場景視頻顯示方法和系統
US10210660B2 (en) * 2016-04-06 2019-02-19 Facebook, Inc. Removing occlusion in camera views
CN106060510B (zh) * 2016-05-31 2018-02-06 北京聚力维度科技有限公司 全景图片处理方法和装置
CN107784844B (zh) * 2016-08-31 2021-05-14 百度在线网络技术（北京）有限公司 智能交通信号灯系统及其道路环境检测方法
US11032535B2 (en) 2016-09-19 2021-06-08 Verizon Patent And Licensing Inc. Generating a three-dimensional preview of a three-dimensional video
US11032536B2 (en) 2016-09-19 2021-06-08 Verizon Patent And Licensing Inc. Generating a three-dimensional preview from a two-dimensional selectable icon of a three-dimensional reality video
US10681341B2 (en) 2016-09-19 2020-06-09 Verizon Patent And Licensing Inc. Using a sphere to reorient a location of a user in a three-dimensional virtual reality video
KR102641881B1 (ko) 2016-10-28 2024-02-29 삼성전자주식회사 전방위 영상을 획득하는 방법 및 장치
JP6752425B2 (ja) * 2016-12-27 2020-09-09 東京都公立大学法人 撮影装置
US10332242B2 (en) 2017-02-02 2019-06-25 OrbViu Inc. Method and system for reconstructing 360-degree video
US10748333B2 (en) 2017-03-23 2020-08-18 Nvidia Corporation Finite aperture omni-directional stereo light transport
US10917633B2 (en) * 2017-09-15 2021-02-09 Intel Corporation Generating stereoscopic light field panoramas using concentric viewing circles
EP3487162B1 (en) * 2017-11-16 2021-03-17 Axis AB Method, device and camera for blending a first and a second image having overlapping fields of view
EP3752877A4 (en) 2018-02-17 2021-11-03 Dreamvu, Inc. SYSTEM AND METHOD FOR CAPTURING OMNISTEREO VIDEOS USING MULTIPLE SENSORS
USD931355S1 (en) 2018-02-27 2021-09-21 Dreamvu, Inc. 360 degree stereo single sensor camera
USD943017S1 (en) 2018-02-27 2022-02-08 Dreamvu, Inc. 360 degree stereo optics mount for a camera
US10582181B2 (en) * 2018-03-27 2020-03-03 Honeywell International Inc. Panoramic vision system with parallax mitigation
US11812009B2 (en) 2018-06-22 2023-11-07 Intel Corporation Generating virtual reality content via light fields
CN112041852A (zh) * 2018-07-30 2020-12-04 惠普发展公司，有限责任合伙企业 对360度图像中的对象的神经网络标识
US20200077073A1 (en) * 2018-08-28 2020-03-05 Qualcomm Incorporated Real-time stereo calibration by direct disparity minimization and keypoint accumulation
US10694167B1 (en) 2018-12-12 2020-06-23 Verizon Patent And Licensing Inc. Camera array including camera modules
US11693927B2 (en) * 2020-07-24 2023-07-04 Pony Ai Inc. Generating fused sensor data through metadata association

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6157747A (en) * 1997-08-01 2000-12-05 Microsoft Corporation 3-dimensional image rotation method and apparatus for producing image mosaics
US6359617B1 (en) * 1998-09-25 2002-03-19 Apple Computer, Inc. Blending arbitrary overlaying images into panoramas

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5657073A (en) 1995-06-01 1997-08-12 Panoramic Viewing Systems, Inc. Seamless multi-camera panoramic imaging with distortion correction and selectable field of view
US6389179B1 (en) * 1996-05-28 2002-05-14 Canon Kabushiki Kaisha Image combining apparatus using a combining algorithm selected based on an image sensing condition corresponding to each stored image
US6459451B2 (en) 1996-06-24 2002-10-01 Be Here Corporation Method and apparatus for a panoramic camera to capture a 360 degree image
US6356297B1 (en) 1998-01-15 2002-03-12 International Business Machines Corporation Method and apparatus for displaying panoramas with streaming video
US7382927B2 (en) 1999-01-08 2008-06-03 Sharp Laboratories Of America, Inc. System for constructing mosaic images
US6639596B1 (en) 1999-09-20 2003-10-28 Microsoft Corporation Stereo reconstruction from multiperspective panoramas
US7710451B2 (en) 1999-12-13 2010-05-04 The Trustees Of Columbia University In The City Of New York Rectified catadioptric stereo sensors
FR2806809B1 (fr) 2000-03-22 2002-11-22 Powell Group Dispositif d'aquisition d'image panoramique
US6788333B1 (en) 2000-07-07 2004-09-07 Microsoft Corporation Panoramic video
US7194112B2 (en) 2001-03-12 2007-03-20 Eastman Kodak Company Three dimensional spatial panorama formation with a range imaging system
US6677956B2 (en) * 2001-08-15 2004-01-13 Mitsubishi Electric Research Laboratories, Inc. Method for cross-fading intensities of multiple images of a scene for seamless reconstruction
US7058239B2 (en) 2001-10-29 2006-06-06 Eyesee360, Inc. System and method for panoramic imaging
AU2002356414A1 (en) * 2001-12-20 2003-07-09 Wave Group Ltd. A panoramic stereoscopic imaging method and apparatus
US6982743B2 (en) 2002-01-31 2006-01-03 Trustees Of The University Of Pennsylvania Multispectral omnidirectional optical sensor and methods therefor
US7224382B2 (en) 2002-04-12 2007-05-29 Image Masters, Inc. Immersive imaging system
US20030220971A1 (en) 2002-05-23 2003-11-27 International Business Machines Corporation Method and apparatus for video conferencing with audio redirection within a 360 degree view
US7184609B2 (en) 2002-06-28 2007-02-27 Microsoft Corp. System and method for head size equalization in 360 degree panoramic images
US7463280B2 (en) 2003-06-03 2008-12-09 Steuart Iii Leonard P Digital 3D/360 degree camera system
US7399095B2 (en) 2003-07-09 2008-07-15 Eyesee360, Inc. Apparatus for mounting a panoramic mirror
US7756358B2 (en) 2004-11-30 2010-07-13 Hewlett-Packard Development Company, L.P. System and method of aligning images
GB2425363A (en) 2005-04-18 2006-10-25 Sharp Kk Panoramic adapter with mirrors formed by rotating conic section
US7872665B2 (en) 2005-05-13 2011-01-18 Micoy Corporation Image capture and processing
KR100715026B1 (ko) 2005-05-26 2007-05-09 한국과학기술원 단일카메라 전방향 양안시 영상 획득 장치
US7424218B2 (en) 2005-07-28 2008-09-09 Microsoft Corporation Real-time preview for panoramic images
US7460730B2 (en) 2005-08-04 2008-12-02 Microsoft Corporation Video registration and image sequence stitching
KR100765209B1 (ko) 2006-03-23 2007-10-09 삼성전자주식회사 전방향 스테레오 카메라 및 그 제어 방법
US8572183B2 (en) 2006-06-26 2013-10-29 Microsoft Corp. Panoramic video in a live meeting client
US20080158341A1 (en) * 2006-12-27 2008-07-03 Texas Instruments Incorporated Camera for panoramic photography
US7701577B2 (en) 2007-02-21 2010-04-20 Asml Netherlands B.V. Inspection method and apparatus, lithographic apparatus, lithographic processing cell and device manufacturing method
US20080298674A1 (en) 2007-05-29 2008-12-04 Image Masters Inc. Stereoscopic Panoramic imaging system
WO2009003169A2 (en) 2007-06-27 2008-12-31 University Of Florida Research Foundation, Inc. Display-based interactive simulation with dynamic panorama
US7859572B2 (en) 2007-08-06 2010-12-28 Microsoft Corporation Enhancing digital images using secondary optical systems
KR20110068994A (ko) 2008-08-14 2011-06-22 리모트리얼리티 코포레이션 3-미러 파노라마 카메라
US8554014B2 (en) 2008-08-28 2013-10-08 Csr Technology Inc. Robust fast panorama stitching in mobile phones or cameras
US20100141766A1 (en) 2008-12-08 2010-06-10 Panvion Technology Corp. Sensing scanning system
US9952671B2 (en) * 2010-10-12 2018-04-24 Nokia Technologies Oy Method and apparatus for determining motion

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6157747A (en) * 1997-08-01 2000-12-05 Microsoft Corporation 3-dimensional image rotation method and apparatus for producing image mosaics
US6359617B1 (en) * 1998-09-25 2002-03-19 Apple Computer, Inc. Blending arbitrary overlaying images into panoramas

Also Published As

Publication number Publication date
US20120155786A1 (en) 2012-06-21
HK1173009A1 (zh) 2013-05-03
US8548269B2 (en) 2013-10-01
CN102595168A (zh) 2012-07-18

Similar Documents

Publication Publication Date Title
CN102595168B (zh) 用于360度立体视频的无缝左/右视图
US11743416B2 (en) Apparatus and methods for the storage of overlapping regions of imaging data for the generation of optimized stitched images
KR101994121B1 (ko) 중간 뷰로부터의 효율적인 캔버스 뷰 생성
CN102547357A (zh) 用于捕捉全景立体视频的系统
CN102547358A (zh) 360度立体视频的左/右图像生成
JP2004015255A (ja) 撮像装置および撮像方法、画像処理装置および画像処理方法、並びにプログラムおよび記録媒体
US20120154519A1 (en) Chassis assembly for 360-degree stereoscopic video capture
JP2018109946A (ja) 表示装置、プログラム、表示方法
CN115049548A (zh) 恢复从阵列相机获得的图像的方法和装置
JP2012256274A (ja) 画像生成装置、画像生成方法、及びコンピュータプログラム
JP5202448B2 (ja) 画像処理システム及び方法
JP2012191380A (ja) カメラ、画像変換装置、及び画像変換方法
EP3229470B1 (en) Efficient canvas view generation from intermediate views
KR100419890B1 (ko) 가상 현실 구현을 위한 실사 이미지 촬영용 광학 튜브 조립체 및 이를 이용한 실사 이미지 합성 방법
US20240257301A1 (en) Information processing apparatus and information processing system
KR100551107B1 (ko) 가상 현실 구현을 위한 실사 이미지 합성 방법
JP2005260731A (ja) カメラ選択装置、及びカメラ選択方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1173009

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150717

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150717

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.

REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1173009

Country of ref document: HK