CN1922892A

CN1922892A - 多维成像装置、系统和方法

Info

Publication number: CN1922892A
Application number: CNA2004800420407A
Authority: CN
Inventors: T·格拉弗
Original assignee: PRAIRIE LOGIC Inc
Current assignee: Digital Kingdom Micco
Priority date: 2003-12-26
Filing date: 2004-12-22
Publication date: 2007-02-28
Anticipated expiration: 2024-12-22
Also published as: WO2005067318A9; US7347555B2; EP1702475A2; AU2004313174A1; JP2007517264A; US20080192344A1; WO2005067318A2; WO2005067318A3; KR20070007059A; CA2551636A1; US7553023B2; US20050141089A1; CN1922892B; IL176521A0

Abstract

一种透镜、装置和系统、以及方法和物品可操作用来在图像获取平面处接收通过透镜的第一多个分隔小面的多个左眼光线、以及在图像获取平面处接收通过透镜的第二多个分隔小面的多个右眼光线。从图像平面获得的数据可用于构造立体图像，包括运动的全景立体图像。可以实现利用三个或更多个视点操作的透镜、图像捕捉装置和投影仪。

Description

多维成像装置、系统和方法

技术领域

这里所描述的不同实施例一般而言涉及包括用于记录和投影多维图像的装置、系统和方法的图像处理。

背景信息

可以利用单部旋转式照相机来构造圆柱全景图。当旋转照相机时，可以以规定的增量来捕捉图像，直到已经穿过期望的全景视场。然后可从每幅图像的中心提取垂直条(strip)，并且可以将这些条彼此相邻放置以形成单幅连续的圆柱全景图像。

该过程可被扩展来产生圆柱立体(例如三维的)全景图像。例如，可以隔开一个规定的距离来彼此相邻地安装两部照相机。这两部照相机于是可以绕位于它们之间一半长度的点被一致地旋转。如上所述，每部照相机可被用来利用连续的垂直图像切片(slice)产生独立的圆柱全景图。当一起观察所得到的两幅全景图时，即一幅由观察者的左眼观察而另一幅由观察者的右眼观察，则获得了立体效果。然而，虽然旋转的双照相机模式可用于产生静止立体图像，但是所述的系统并不适用于有效地提供运动的立体全景图像。

附图简述

图1是根据不同实施例的折射右眼光线的透镜的俯视图；

图2是根据不同实施例的折射左眼光线的透镜的俯视图；

图3是根据不同实施例的透镜和装置的俯视图；

图4是根据不同实施例的装置的俯视图；

图5是根据不同实施例的装置和系统的俯视图；

图6是根据不同实施例的系统的透视图；

图7A-7E说明根据不同实施例的立体全景图产生过程的部分；

图8说明根据不同实施例的与透镜有关的几个视场；

图9是根据不同实施例的与透镜有关的透镜表面点光线角的俯视图；

图10是根据不同实施例的与透镜有关的眼光线角的俯视图；

图11是根据不同实施例的与透镜有关的透镜小面定向角的俯视图；

图12是根据不同实施例的与透镜有关的另外的透镜小面定向角的俯视图；

图13是根据不同实施例的多视点透镜的俯视图；

图14是根据不同实施例的多视点图像捕捉装置的俯视图；

图15是根据不同实施例的多图像投影系统的俯视图；

图16A和16B是说明根据不同实施例的几种方法的流程图；以及

图17是根据不同实施例的几个物品(article)的框图。

详细描述

应当注意，利用两部照相机产生的立体效果的质量可能受到使照相机透镜的中心分开的距离的支配。当透镜被分开一个接近人的平均眼距(即大约6.4cm，或者左眼和右眼瞳孔之间的平均距离)的量时，立体效果可以精确地模仿人类视觉。如果照相机被彼此更靠近地放置在一起，则可以减少捕捉的场景的三维深度。如果它们被分开更远地放置，则可以增加三维深度。因此，许多立体照相机系统利用大约6.4cm的照相机或透镜间距。

作为创建用于立体成像的新装置和系统的部件的一部分，可以考虑前述的旋转双照相机模式，从每幅全景图中提取小的垂直图像条到单条光线，在每部照相机的图像获取平面的中心处终止。当两部照相机绕公共的中心点旋转时，这些光线沿着与具有等于两部照相机分开的距离的直径的圆相切的路径旋转。如前所述，中心圆形路径的直径可支配所得到的圆柱立体全景图的感觉的眼距。为了设计能够实时捕捉运动的圆柱立体图像(例如视频)的照相机系统，可能方便的是构造一种装置以在基本上相同的时间捕捉所有这些光线。然而，由于围着6.4cm直径的圆安排几部照相机是不方便的，因此，可能需要一种允许任意尺寸的摄像机(或其他图像捕捉装置)捕捉从中心眼间圆的外侧的交替的左眼和右眼光线的机构。

为了简化所得到的装置，可将圆柱视场分成更小的片，每片由单独的图像捕捉装置覆盖。为了捕捉用于每个装置的左眼光线和右眼光线，可构造透镜和装置以使它们交错。在概念上，这种交错是左眼光线和右眼光线的简单水平交替。这种效果可利用专门设计成以不寻常的方式折射左眼和右眼光线的透镜来实现。

这种透镜可被设计成包围围绕多照相机组件的圆筒的整个表面区域。然而，多照相机组件的径向对称有助于简化透镜的设计过程。可将圆柱表面分成几个相同的部分或段来代替采用单个统一的圆柱透镜折射入射光线。因此，可以隔离对应于单部摄像机的圆柱表面区域，并且可以相对于其对应的摄像机来设计隔离的透镜段。然后，可以复制所得到的透镜段和摄像机的组合以包括圆柱图像获取组件的剩余区域。

因此，可将每个透镜或透镜段设计成折射不同的入射光线，该入射光线对应于左眼和右眼观察光线，并且进入其各自的摄像机。由于左眼和右眼光线以非对称的方式穿过圆柱透镜表面，所以均匀的透镜表面不可能适当地完成这种折射。

图1是根据不同实施例的折射右眼光线102的透镜100的俯视图，以及图2是根据不同实施例的折射左眼光线202的透镜200的俯视图。可以看出，有小面的透镜100、200具有被设计成将右眼光线102和左眼光线202折射到摄像机110、210或其他图像捕捉装置的图像获取平面106、206上的外表面104、204(即有小面的表面)。利用有小面的透镜表面104、204，各个垂直的透镜小面112、212被用来将眼光线114、214的各个垂直跨距折射到在摄像机110、210的捕捉图像获取平面106、206中包括的各个像素垂直线中。

图3是根据本发明不同实施例的透镜300和装置316的俯视图。在该情况中，为了在基本上相同的时间捕捉左眼光线和右眼光线，沿着透镜300的外表面304交替用于左眼和右眼光线的各个透镜小面312。可将光线折射到摄像机310或其他的图像捕捉装置的图像获取平面306上。

利用交错的、有小面的透镜300允许摄像机310(或其他图像捕捉装置)捕捉垂直交错的图像序列。由于该垂直交错的图案在整个视频序列中保持不变，所以可以实时隔离和分开左眼和右眼成像。捕捉的左眼和右眼光线的均匀的径向、切向特性允许将这些透镜照相机装置的若干彼此相邻放置以扩展总装置的圆柱视场。因此，正是包括透镜300和摄像机310或其他图像捕捉装置的组合装置316可以被复制多次以提供全景的立体图像捕捉系统。为了本文件的目的，术语“全景的”指的是具有从大约60度一直到大约360度视场的单视场的或立体的图像。

图4是根据不同实施例的装置416的俯视图。在该例图中示出了可以与装置316相似或相同的装置416连同相关的眼距D。装置416可以包括具有多个交错分隔的小面412的透镜400，所述小面412包括折射左眼光线424的第一分隔小面422和折射右眼光线428的第二分隔小面426。该装置416也可包括图像获取平面406(可能作为诸如帧接收器、数字摄像机或某一其它装置之类的图像捕捉装置430的一部分)以接收来自第一分隔小面422的折射的左眼光线432以及接收来自第二分隔小面426的折射的右眼光线434。

图5是根据不同实施例的装置516和系统536的俯视图。如相对于装置416的图4中所示，装置516可包括第一透镜538和第一图像获取平面540。该装置516也可包括第二透镜542和图像获取平面544。第一透镜538和第一图像获取平面540可以与图4中所示的透镜400和图像获取平面406相似或相同。第二透镜542和第二图像获取平面544也可与图4中所示的透镜400和图像获取平面406相似或相同，以使第二透镜542可以具有第二多个交错分隔的小面(图5中未示出)，所述小面包括折射左眼光线的第三分隔小面和折射右眼光线的第四分隔小面。第二图像获取平面544可用于接收来自第三分隔小面的第二折射左眼光线以及接收来自第四分隔小面的第二折射右眼光线，如相对于图4中所绘的装置416所述。

第一透镜538可以具有限定圆柱段(section)550的一部分548的第一内径546，以及第二透镜542可以具有近似位于由圆柱段550的该部分548限定的圆筒554上的第二内径552。因此，透镜400、500可以包括限定圆柱段550的一部分548的内径546以及近似沿着其设置多个分隔小面512的外径551。多个小面512可以包括与多个右眼光线分隔小面交错的多个左眼光线分隔小面(参见图4，元件412、422和426)。最终，可以实现整个360度的圆柱视场。

图6是根据不同实施例的系统636的透视图。现在参考图5和图6，可以看出，系统536、636可以包括多个透镜500、600。透镜500、600可以与图4中所示的透镜400相似或相同，其具有多个交错小面412、512。系统536、636也可包括多个图像获取平面506(图6中未示出)以接收来自透镜500、600中的第一分隔小面的折射的左眼光线以及来自透镜500、600中的第二分隔小面的折射的右眼光线。系统536、636可以包括存储器556(图6中未示出)以接收来自多个图像获取平面506的图像数据558(图6中未示出)。

图像数据558可以包括构造立体图像的信息，该立体图像包括全景立体图像。图像数据558可以包括分隔的左眼图像和分隔的右眼图像。系统536、636也可包括耦合到存储器556以结合分隔的左眼图像和分隔的右眼图像(例如参见图7中的元件770、772)的处理器560。如前所述，当以与相对于装置516的图5中所示的相似或相同的方式彼此相邻地放置几个装置416(参见图4)时，也可以实时地彼此相邻放置所得到的提取的左眼和右眼成像以产生均匀无缝的的左眼和右眼全景成像(参见图7的元件774、746)。现在将更详细地分析该过程。

图7A-7E说明根据不同实施例的立体全景图产生过程的部分。该过程允许实时捕捉360度圆柱立体的视频成像。在图7A中，示出了单个装置716被用来捕捉不同物体762的图像，该装置716包括透镜700(与图4中所示的透镜400相似或相同)和图像捕捉装置730(与图4的图像捕捉装置430相似或相同)。图7B描绘了由图像捕捉装置730通过有小面的透镜700捕捉的交错图像764的近似(例如从多个捕捉的左眼光线和多个捕捉的右眼光线中构造的)。图7C示出了从交错的图像764中构造的解交错的(de-interlaced)左眼和右眼图像条766、768。图7D示出了分别从解交错的左眼和右眼图像条766、768中构造的连接的左眼和右眼图像段770、772或分隔的左眼和右眼图像。最后，图7E示出了分别通过将从相邻装置716获得的多个左眼和右眼图像段结合在一起获得的左眼和右眼全景图像774、776，该左眼和右眼全景图像774、776包括左眼和右眼图像段770、772，该装置716以与图5中的装置516相似或相同的方式进行布置。当通过左眼观察左全景图像774并且通过右眼观察右全景图像776时，可以重新产生物体762的立体全景图(例如直到360度)。

图8说明根据不同实施例的与透镜800相关的几个视场。透镜800可以与图4中所示的透镜400相似或相同。可以基于某些规定的物理值在数学上描述执行折射以实现所期望的立体效果的有小面的透镜800。这些值包括提供所期望的立体效果的眼距(D)、用于制造有小面的透镜的材料的折射率(n)、从视点旋转的中心到图像捕捉装置的距离(r_c)、图像捕捉装置的有效水平视场(fov_c)、以及装置的有小面的透镜段的有效水平视场(fov_l)。距离D可以是选定的眼距，它可以是任何期望的距离，但是它在被选择为大约4cm到大约8cm时最有用。

随后的数学过程假定了x-y坐标系，该坐标系在视点旋转的中心处具有原点O。所有角度测量以度为单位。外部有小面的透镜的表面874的半径(r_l)对应于图像捕捉装置的视场(fov_c)与有小面的透镜段的视场(fov_l)重叠的距离，并且可以如下计算：

r_{l} = \frac{r_{c} * \tan (\frac{{fov}_{c}}{2})}{\cos (\frac{{fov}_{l}}{2}) * \tan (\frac{{fov}_{c}}{2}) - \sin (\frac{{fov}_{l}}{2})}

一旦确定了透镜800的半径，则可以计算各个小面的特性。可以基于逐条光线来计算这些小面的特性，从而允许具有任何数目的小面的透镜的设计。为了本文件的目的，可以假定最佳图像是对于由图像捕捉装置830获取的每个垂直像素线利用单个小面而获得的。

图9是根据不同实施例的与透镜900有关的透镜表面点光线角的俯视图。透镜900可以与图4中所示的透镜400相似或相同。对应于透镜表面974上的特定点的透镜小面特性取决于该点的位置(P_i)和光线976从图像捕捉装置930到该点的角度(Θ_c)。装置916(其可以与图4中所示的装置416相似或相同)可以被设计成这样，即对应于图像捕捉装置的视场(fov_c)的透镜表面区域匹配对应于有小面的透镜段的视场(fov_l)的透镜表面区域(参见图8)。结果，来自视点旋转中心O的光线978可以在相同的点(P_i)与透镜表面相交。光线978的角度(Θ_l)可如下计算：

Θ_{l} = \frac{{fov}_{l} * Θ_{c}}{{fov}_{c}}

该光线角度(Θ_l)允许如下计算透镜表面交点(在x-y坐标中P_i＝P_ix，P_iy)：

P_i＝(P_ix，P_iy)

P_ix＝r_l*cos(Θ_l)

P_iy＝r_l*sin(Θ_l)

图10是根据不同实施例的与透镜1000相关的眼光线角度的俯视图。透镜1000可以与图4中所示的透镜400相似或相同。处于透镜表面交点(P_i)的透镜小面应该被优选定向以捕捉所期望的左眼光线1080或右眼光线1082中的任何一个，所期望的左眼光线1080或右眼光线1082与眼旋转的圆形路径1084(具有与眼距D近似相等的直径)相切并且穿过透镜表面交点(P_i)。通过将点P_m指定为透镜表面交点P_i与旋转中心O之间的中点，并将半径r_m指定为由基本上等于从旋转中心到点P_i之间的距离的直径限定的圆的半径，切点(P_t1和P_t2)可通过下述过程计算：

P_{m} = (P_{mx}, P_{my}) = (\frac{P_{ix}}{2}, \frac{P_{iy}}{2})

r_{m} = \sqrt{{(P_{mx} - P_{ix})}^{2} + {(P_{my} - P_{iy})}^{2}}

d = \sqrt{{P_{mx}}^{2} + {P_{my}}^{2}}

P_t1＝(P_t1x，P_t1y)

P_{t 1 x} = (\frac{P_{mx}}{2}) + (\frac{P_{mx} * ({(\frac{D}{2})}^{2} - {r_{m}}^{2})}{{2 d}^{2}}) + (\frac{P_{my}}{{2 d}^{2}}) * \sqrt{({(\frac{D}{2} + r_{m})}^{2} - d^{2}) * (d^{2} - {(r_{m} - \frac{D}{2})}^{2})}

P_{t 1 y} = (\frac{P_{my}}{2}) + (\frac{P_{my} * ({(\frac{D}{2})}^{2} - {r_{m}}^{2})}{{2 d}^{2}}) - (\frac{P_{mx}}{{2 d}^{2}}) * \sqrt{({(\frac{D}{2} + r_{m})}^{2} - d^{2}) * (d^{2} - {(r_{m} - \frac{D}{2})}^{2})}

P_t2＝(P_t2x，P_t2y)

P_{t 2 x} = (\frac{P_{mx}}{2}) + (\frac{P_{mx} * ({(\frac{D}{2})}^{2} - {r_{m}}^{2})}{{2 d}^{2}}) - (\frac{P_{my}}{{2 d}^{2}}) * \sqrt{({(\frac{D}{2} + r_{m})}^{2} - d^{2}) * (d^{2} - {(r_{m} - \frac{D}{2})}^{2})}

P_{t 2 y} = (\frac{P_{my}}{2}) + (\frac{P_{my} * ({(\frac{D}{2})}^{2} - {r_{m}}^{2})}{{2 d}^{2}}) + (\frac{P_{mx}}{{2 d}^{2}}) * \sqrt{({(\frac{D}{2} + r_{m})}^{2} - d^{2}) * (d^{2} - {(r_{m} - \frac{D}{2})}^{2})}

图11是根据不同实施例的与透镜1100有关的透镜小面定向角的俯视图。图12是根据不同实施例的与透镜1200有关的另外的透镜小面定向角的俯视图。透镜1100、1200可以与图4中所示的透镜400相似或相同。现在参考图10、11和12，可以看出，当结合透镜表面交点(P_i)观察时，两个计算的切点(P_t1和P_t2)可对应于在该点处穿过透镜表面的所期望的左眼光线(P_LE)和右眼光线(P_RE)。

P_RE＝(P_REx，P_REy)＝P_t1

P_LE＝(P_LEx，P_LEy)＝P_t2

在每个眼光线和x轴之间形成的角(分别是Θ_RE和Θ_LE)在计算当前透镜表面小面对于每条眼光线的折射特性时是有用的。这些角可如下计算：

Θ_{RE} = \arctan (\frac{P_{REy} - P_{iy}}{P_{REx} - P_{ix}})

Θ_{LE} = \arctan (\frac{P_{LEy} - P_{iy}}{P_{LEx} - P_{ix}})

一旦计算出眼光线角(Θ_RE和Θ_LE)，则考虑到折射率n，可以对于当前透镜位置计算出最终的小面特性。可以选择当前的小面来执行将捕捉左眼光线(Θ_LE)或右眼光线(Θ_RE)的折射。为了执行所期望的折射，透镜小面必须被定向成折射入射眼光线(Θ_RE或Θ_LE)以匹配当前的照相机光线(Θ_c)。透镜小面的定向(Θ_RS或Θ_LS)可如下计算：

ΔΘ_R＝Θ_c-Θ_RE

ΔΘ_L＝Θ_c-Θ_LE

整个过程可以基于逐个小面进行重复，直到横穿整个透镜表面1074。

因此，在一些实施例中，透镜400、500、600、700、800、900、1000、1100、1200可以包括具有分隔小面的外径r_l，以使r_l近似等于：

\frac{r_{c} * \tan (\frac{{fov}_{c}}{2})}{\cos (\frac{{fov}_{l}}{2}) * \tan (\frac{{fov}_{c}}{2}) - \sin (\frac{{fov}_{l}}{2})},

其中r_c包括从旋转中心到图像获取平面的距离，fov_c包括用于图像获取平面的有效水平视场，以及fov_l包括由透镜跨越的有效水平视场(尤其参见图8)。

在一些实施例中，透镜400、500、600、700、800、900、1000、1100、1200可以包括一个或多个分隔的小面，所述小面具有选自Θ_RS和Θ_LS之一的小面定向，该Θ_RS近似等于：

其中ΔΘ_R近似等于图像捕捉装置光线角减去一个选定的眼光线角，以及Θ_LS近似等于：

其中ΔΘ_L近似等于图像捕捉装置光线角减去另一选定的眼光线角。此外，已经示出了许多图像获取平面可以被置于距离位于选定眼距(例如大约4cm-8cm的眼距)的中心处的原点的径向距离r_c处。还已经示出了透镜的外径r_l可以对应于相关的图像获取平面的视场与透镜的视场重叠的距离。

可以实现许多其他的实施例。虽然附图迄今为止已经示出了利用允许单个图像捕捉装置从两个不同的分隔视点(例如左眼和右眼)捕捉成像的透镜的透镜和装置，但是所公开的实施例并不限于此。事实上，所示的公式可以用来构造利用三个或更多个视点来操作的透镜、图像捕捉装置和投影仪。

例如，图13是根据不同实施例的多视点透镜1300的俯视图。透镜1300可以与图4中所示的透镜400相似或相同。处于透镜表面交点(P_i)的透镜小面应该被优选定向以捕捉所期望的左眼光线1380之一、右眼光线1382之一、和/或另外的眼光线1386(例如第三视点)，所述眼光线与眼旋转的第一圆形路径1384(具有近似等于眼距D₁的直径)相切或者与眼旋转的第二圆形路径1388(具有近似等于眼距D₂的直径)相切并穿过透镜表面交点(P_i)。因此，可通过改变眼距(例如选择D₂来代替D₁)、形成新的眼旋转圆形路径(例如具有以O₂来代替O₁的旋转中心)、以及发现圆形路径上的新切点(例如P_t3代替P_t1)来提供许多另外的视点。

通过将点P_m指定为透镜表面交点P_i与旋转中心O₁(或O₂)之间的中点，并将半径r_m指定为由基本上等于从旋转中心到点P_i之间的距离的直径限定的圆的半径，切点(P_t1，P_t2或P_t3，P_t2)可通过与图10所示相同的过程来计算。用于每个视点P_t1、P_t2和P_t3的小面可以形成在如相对于图1-3和10-12所述的透镜的表面1374中，其可能是以交错的方式。

因此，可以实现透镜1300的许多变化。例如，透镜1300可以包括多个分隔的小面，例如左眼分隔小面、右眼分隔小面、以及一个或多个另外的眼光线分隔小面(可能对应于多个另外的视点)。

利用上面对于这种有多小面的透镜所示出的公式的例子包括透镜1300，该透镜1300具有：第一分隔小面，其具有Θ_RS(近似等于

)的小面定向，其中ΔΘ_R近似等于图像捕捉装置光线角减去选定的第一眼光线角；第二分隔小面，其具有Θ_LS(近似等于 )的小面定向，其中ΔΘ_L近似等于图像捕捉装置光线角减去第二选定的眼光线角；以及第三分隔小面，其具有Θ_TS(近似等于

)的小面定向，其中ΔΘ_T近似等于图像捕捉装置光线角减去第三选定的眼光线角。

透镜1300可形成多视点图像捕捉装置或多图像投影系统的一部分。因此，可以实现其他的实施例。例如，图14是根据不同实施例的多视点图像捕捉装置1416的俯视图。因此，可以提供使单个装置能够同时捕捉两个或更多个不同图像的透镜1400。例如，可将配备有与图4、10或13中描述的相似的透镜的单个图像捕捉装置放置在房间中以捕捉靠近第一墙壁的第一图像、靠近另一墙壁的第二图像、以及第一和第二墙壁之间的第三图像。

这种图像捕捉装置在图1 4中被示出。在该例图中示出了可以与装置416相似的装置1416以及相关的眼距D。装置1416可以包括具有多个交错分隔的小面1412的透镜1400，所述小面1412包括折射左眼光线1424的第一分隔小面1422和折射右眼光线1428的第二分隔小面1426。因此，左眼光线可以被分组为从第一图像接收的光线，以及右眼光线可以被分组为从第二图像接收的光线。该装置1416也可以包括图像获取平面1406(可能作为诸如帧接收器、数字摄像机或某一其他装置之类的图像捕捉装置1430的一部分)以接收来自第一分隔小面1422的折射的左眼光线1432以及接收来自第二分隔小面1426的折射的右眼光线1434。另外的分隔小面(为了清楚而未示出)可被包括在如相对于图13中的透镜1300所述的透镜1400中，并且根据透镜1400上的不同小面位置和平面1406上的像素，可在图像获取平面1406处获得与其他视点(例如与图13中的切点P_t3相关的第三视点)相关的另外的眼光线。

因此，可以实现装置1416的许多变化。例如，装置1416可以包括：具有第一多个交错分隔的小面的透镜，所述小面包括折射左眼光线的第一分隔小面和折射右眼光线的第二分隔小面；以及图像获取平面，用于接收来自第一分隔小面的第一折射左眼光线，以及接收来自第二分隔小面的第一折射右眼光线。

该透镜可以包括一个或多个与第一分隔小面和第二分隔小面交错的另外的眼光线分隔小面。在这种情况下，第一分隔小面可对应于第一视点，第二分隔小面可对应于第二视点，以及另外的眼光线分隔小面中的一个可对应于第三视点。

如前所述，图像获取平面可以被置于距离位于第一眼距的中心的第一原点的径向距离r_c处。在透镜中包括的另外的分隔小面可对应于第二眼距，并且与第一和第二分隔小面相交错。因此，图像获取平面可用来接收来自另外的分隔小面的另外的折射的眼光线。

还可以实现其他的实施例。例如，图15是根据不同实施例的多图像投影系统1516的俯视图。前面的大部分讨论集中在透镜和能够从两个或更多个视点(例如图13和图14中的P_t1、P_t2和P_t3)捕捉成像的图像捕捉装置的应用上。这一概念可被颠倒并应用于图像的投影。因此，可以提供使单个投影仪能够同时显示两个或更多个不同视频呈现的透镜。例如，配备有与图4、10、13或14中所述的相似的透镜的单个投影仪可以指向房间的一角，并且在一面墙壁上显示第一视频场景，在另一面墙壁上显示第二视频场景，以及在与第一和第二墙壁邻近的墙壁上显示第三视频场景。当然，这假定视频呈现在投影之前根据为投影透镜(例如水平或垂直交错小面)选择的交错技术而被交错。

这种投影仪在图15中被示出。在本例图中，装置1516可包括具有多个交错分隔小面1512的透镜1500，所述小面1512包括折射左眼光线1524的第一分隔小面1522和折射右眼光线1528的第二分隔小面1526。因此，可以组合左眼光线以形成第一投影图像I₁，以及可以组合右眼光线以形成第二投影图像I₂。

装置1516也可包括图像投影平面1506(可能作为诸如数字视频投影仪或某一类似装置之类的图像投影装置1530的一部分)以传输折射的左眼光线1532到第一分隔小面1522，并传输折射的右眼光线1534到第二分隔小面1526。另外的分隔小面(为了清楚而未示出)可被包括在如相对于图13中的透镜1300所述的透镜1500中，并且另外的眼光线与第三视点(例如图13中的P_t3)相关。

图像投影平面1506可被置于距离位于第一眼距(例如图13中的D₁)的中心的原点的径向距离r_c处，它可包括大约4cm到大约8cm的距离。透镜1500可包括一个或多个另外的眼光线分隔小面(为了清楚而未示出，但是可能与第一分隔小面1522和第二分隔小面1526相交错)，其中第一分隔小面对应于第一视点，其中第二分隔小面对应于第二视点，以及其中另外的眼光线分隔小面对应于第三视点和第二眼距(例如图13中的D₂)。

有小面的透镜100、200、300、400、500、538、542、600、700、800、900、1000、1100、1200、1300、1400、1500；折射右眼光线102、202；外部表面104、204、304；图像获取平面106、206、306、406、540、544、1406；摄像机110、210、310；透镜小面112、212、312、412、512、1412、1512；眼光线114、214；装置316、416、516、716、1416、1516；第一分隔小面422、1422、1522；左眼光线424、1424、1524；第二分隔小面426、1426、1526；右眼光线428、1428、1528；图像捕捉装置430、530、730、830、930、1430；折射的左眼光线432、1432、1532；折射的右眼光线434、1434、1534；系统536、636；内径546、552；部分548；圆柱段550；圆筒554；存储器556；图像数据558；处理器560；物体762；交错图像764；左眼和右眼图像条766、768；左眼和右眼图像段770、772；左眼和右眼全景图像774、746；透镜表面974、1074、1374；光线976、978、1080、1082、1380、1382、1386；眼旋转的圆形路径1084、1384、1388；另外的眼光线1386；图像投影平面1506；以及图像投影装置1530全部都可以在这里表征为“模块”。这种模块可包括如透镜100、200、300、400、500、538、542、600、700、800、900、1000、1100、1200、1300、1400、1500，装置316、416、516、716、1416、1516和系统536、636的设计者所期望的并适于不同实施例的特定实现的硬件电路、和/或一个或多个处理器和/或存储电路、包含目标程序(object)和目标程序的集合的软件程序模块、和/或固件、以及它们的结合。

还应该理解，不同实施例的透镜、装置和系统可用于除了全景照相机之外的其他应用，因此，不同实施例并不限于此。透镜100、200、300、400、500、538、542、600、700、800、900、1000、1100、1200、1300、1400、1500，装置316、416、516、716、1416、1516和系统536、636的说明打算提供对不同实施例的结构的一般理解，并且它们不打算用作对可能利用了在此所述的结构的装置和系统的所有元件和特征的全部描述。

可能包括不同实施例的新的透镜、装置和系统的应用包括帧接收器、照相机、双目镜、望远镜和显微镜。这样的透镜、装置和系统还可以被包括作为各种电子系统内的子部件，所述电子系统例如是电视机、蜂窝电话、个人计算机、个人数字助理(PDA)、工作站、放像机、电视游戏机、运载工具等等。

还可以实现另外的实施例。例如，图16A和16B是说明根据不同实施例的几种方法的流程图。将要描述的一些方法可以从图7中说明的过程中获得。因此，在本发明的一些实施例中，方法1611可以(可选择地)开始于在图像获取平面处接收通过透镜的第一多个分隔小面之一的多个左眼光线和在图像获取平面处接收通过透镜的第二多个分隔小面之一的多个右眼光线的块1615。如图4中所示，第一多个分隔小面可以与第二多个分隔小面相交错。

该方法1611可以在块1619处从图像获取平面获得数据以构造分隔的左眼图像、并从图像获取平面获得数据以构造分隔的右眼图像而继续。该方法1611还可以包括在块1627处结合分隔的左眼图像以提供结合的左眼图像并结合分隔的右眼图像以提供结合的右眼图像，以及在块1627处组合结合的左眼图像和结合的右眼图像以提供立体图像。该方法也可以包括在块1631处组合结合的左眼图像和结合的右眼图像以提供360度(或某一较少的度数)全景立体图像。如前所述，透镜的外径可以对应于图像获取平面的视场与透镜的视场相重叠的距离。

该方法1611也可以包括在块1623处反复地从图像获取平面获得数据以构造分隔的左眼图像，反复地从图像获取平面获得数据以构造分隔的右眼图像，以及处理分隔的左眼图像和分隔的右眼图像以提供运动的立体图像。该方法1611可以进一步包括在块1623处反复地从图像获取平面获得数据以构造分隔的左眼图像，反复地从图像获取平面获得数据以构造分隔的右眼图像，以及处理分隔的左眼图像和分隔的右眼图像以提供运动的360度(或某一较少的度数)全景立体图像。

还可以实现另外的实施例。例如，在图16B中说明了投影多图像的方法。因此，方法1641可以包括在块1645处通过透镜的第一多个分隔小面中的一个从图像投影平面投影多个左眼光线。该方法1641也可以包括在块1649处通过透镜的第二多个分隔小面中的一个从图像投影平面投影多个右眼光线。第一多个分隔小面可以与第二多个分隔小面相交错，并且多个左眼光线可以包含分隔的左眼图像的一部分，而多个右眼光线可以包含分隔的右眼图像的一部分。如前面相对于图像捕捉平面所述，透镜的外径可以对应于图像投影平面的视场与透镜的视场相重叠的距离。

应当注意，这里描述的方法不必以所述的顺序或以任何特定的顺序来执行。而且，相对于这里指出的方法而描述的不同活动可以以反复的、迭代的、串行的或并行的方式执行。为了本文件的目的，术语“信息”和“数据”可互换地使用。包括参数、命令、操作数和其他数据的信息可以以一种或多种载波的形式进行发送和接收。

一旦阅读和理解了本公开的内容，本领域普通技术人员将会理解这种方式，即软件程序可从基于计算机的系统中的计算机可读介质中开始以执行在软件程序中定义的功能。本领域普通技术人员进一步理解可以用来产生一个或多个被设计成实现和执行这里所述的方法的软件程序的不同编程语言。该程序可以利用诸如Java、Smalltalk或C++之类的面向对象的语言以面向对象的格式来构造。可选择地，该程序可以利用诸如汇编或C之类的过程语言以面向过程的格式来构造。该软件部件可利用诸如应用程序接口或包括远程过程调用的进程间通信技术之类的多种本领域公知的机制的任何一个进行通信。不同实施例的教导并不限于任何包括超文本标记语言(HTML)和可扩展标记语言(XML)的特定编程语言或环境。因此，可以实现其他的实施例。

图17是根据不同实施例的物品1785的框图，例如计算机、存储器系统、磁或光盘、某一其他存储装置、和/或任何类型的电子装置或系统。该物品1785可包括耦合到例如具有相关信息1791(例如计算机程序指令或其他数据)的存储器1789(例如包括电、光或电磁导体的存储器)的机器可访问介质的处理器1787，该信息1791在被访问时导致机器(例如处理器1787)执行这种操作，即在图像获取平面处接收通过透镜的第一多个分隔小面之一的多个左眼光线，并在图像获取平面处接收通过透镜的第二多个分隔小面之一的多个右眼光线。

其他操作可包括从图像获取平面获得数据以构造分隔的左眼图像，以及从图像获取平面获得数据以构造分隔的右眼图像。进一步的活动可包括结合分隔的左眼图像以提供结合的左眼图像，以及结合分隔的右眼图像以提供结合的右眼图像，以及组合结合的左眼图像和结合的右眼图像以提供立体图像。

进一步的活动还可包括通过透镜的第一多个分隔小面中的一个从图像投影平面投影多个左眼光线，以及通过透镜的第二多个分隔小面中的一个从图像投影平面投影多个右眼光线。如前所述，多个左眼光线可以包含分隔的左眼图像的一部分，以及多个右眼光线可以包含分隔的右眼图像的一部分。

实施这里描述的透镜、装置、系统和方法可以提供用于实时地重新产生全景(直到360度)立体图像的机构。在许多情况下，单个透镜可用来取代多个透镜。这种机构可以以降低的成本和增加的效率来改善三维成像的质量。

形成其一部分的附图通过说明而非限制来示出其中可能实践了主题的特定实施例。所说明的实施例被足够详细地描述，以使本领域技术人员能够实践这里所公开的教导。其他的实施例可被利用并从中得出，以使可以在不脱离本公开的范围的情况下进行结构和逻辑的代替和改变。因此，本详细描述并不在限制的意义上被采用，并且只通过所附权利要求书连同这样的权利要求书授权的等价物的全部范围来限定不同实施例的范围。

本发明主题的这些实施例在这里可以被单独地和/或共同地称为术语“本发明”，这仅仅是为了方便，并且如果事实上公开了多于一个，则不打算将本申请的范围主动限定到任何单个发明或发明构思。因此，虽然这里已经说明和描述了特定实施例，但是应当理解，任何打算实现相同目的的布置可代替所示的特定实施例。本公开打算覆盖不同实施例的任何和所有的修改或变化。一旦本领域技术人员回顾了上面的描述，则上面实施例的组合和在这里未专门描述的其他实施例将是显而易见的。

提供了本公开的摘要以符合37C.F.R.§1.72(b)，其需要将允许读者快速地弄清本技术公开的特性的摘要。以这样的理解来提交摘要，即它将不被用于解释或限定权利要求书的范围或含义。另外，在前面的详细描述中，可以看出为了简化公开的目的而在单个实施例中将不同特征组合在一起。这种公开的方法并不解释为反映下述意图，即所要求保护的实施例需要比清楚记载在每个权利要求中的特征更多的特征。而是，正如后面的权利要求书所反映的，本发明的主题在于少于单个公开的实施例的全部特征。因此，后面的权利要求书由此被结合到详细的描述中，每个权利要求都独立地作为单独的实施例。

Claims

1、一种方法，包括：

在图像获取平面处接收通过透镜的第一多个分隔小面之一的多个左眼光线；以及

在图像获取平面处接收通过透镜的第二多个分隔小面之一的多个右眼光线。

2、权利要求1所述的方法，其中该第一多个分隔小面与该第二多个分隔小面相交错。

3、权利要求1所述的方法，还包括：

从该图像获取平面获得数据以构造分隔的眼图像。

4、权利要求3所述的方法，其中该分隔的眼图像选自分隔的左眼图像和分隔的右眼图像中的至少一个。

5、权利要求3所述的方法，还包括：

结合该分隔的眼图像以提供结合的眼图像。

6、权利要求5所述的方法，其中该结合的眼图像选自结合的右眼图像和结合的左眼图像中的至少一个。

7、权利要求6所述的方法，还包括：

组合该结合的左眼图像和该结合的右眼图像以提供立体图像。

8、权利要求6所述的方法，还包括：

组合该结合的左眼图像和该结合的右眼图像以提供全景立体图像。

9、权利要求1所述的方法，其中该透镜的外径对应于该第一图像获取平面的视场与该透镜的视场相重叠的距离。

10、权利要求1所述的方法，还包括：

反复地从该图像获取平面获得数据以构造分隔的左眼图像；

反复地从该图像获取平面获得数据以构造分隔的右眼图像；以及

处理该分隔的左眼图像和该分隔的右眼图像以提供运动的立体图像。

11、权利要求1所述的方法，还包括：

反复地从该图像获取平面获得数据以构造分隔的左眼图像；

处理该分隔的左眼图像和该分隔的右眼图像以提供运动的全景立体图像。

12、一种方法，包括：

捕捉多个左眼光线和多个右眼光线；以及

从该多个捕捉的左眼光线和该多个捕捉的右眼光线中构造交错的图像。

13、权利要求12所述的方法，还包括：

从该交错的图像中构造解交错的眼图像条。

14、权利要求13所述的方法，其中该解交错的眼图像条选自左解交错的眼图像条和右解交错的眼图像条中的至少一个。

15、权利要求13所述的方法，还包括：

从该解交错的眼图像条中构造分隔的眼图像段。

16、权利要求15所述的方法，其中该分隔的眼图像段选自左分隔的眼图像段和右分隔的眼图像段中的至少一个。

17、一种包括具有相关信息的机器可访问介质的物品，其中该信息在被访问时导致机器执行：

在该图像获取平面处接收通过透镜的第二多个分隔小面之一的多个右眼光线。

18、权利要求17所述的物品，其中该信息在被访问时导致该机器执行：

从该图像获取平面获得数据以构造分隔的眼图像。

19、权利要求18所述的物品，其中该分隔的眼图像选自分隔的左眼图像和分隔的右眼图像中的至少一个。

20、权利要求19所述的物品，其中该信息在被访问时导致该机器执行：

结合该分隔的左眼图像以提供结合的左眼图像；以及

结合该分隔的右眼图像以提供结合的右眼图像。

21、权利要求20所述的物品，其中该信息在被访问时导致该机器执行：

22、一种透镜，包括：

具有分隔小面的外径r_l，其中r_l近似等于

\frac{r_{c} * \tan (\frac{{fov}_{c}}{2})}{\cos (\frac{{fov}_{l}}{2}) * \tan (\frac{{fov}_{c}}{2}) - \sin (\frac{{fov}_{l}}{2})},

其中r_c包括从旋转中心到图像获取平面的距离，以及其中fov_c包括用于该图像获取平面的有效水平视场，以及fov_l包括由透镜跨越的有效水平视场。

23、权利要求22所述的透镜，还包括：

限定圆柱段的一部分的内径。

24、权利要求22所述的透镜，还包括：

近似沿着该外径设置的多个分隔小面，其包括该分隔的小面。

25、权利要求24所述的透镜，其中该多个分隔小面包括与多个右眼光线分隔小面相交错的多个左眼光线分隔小面。

26、权利要求25所述的透镜，其中该多个分隔小面包括至少一个另外的眼光线分隔小面。

27、权利要求22所述的透镜，其中n近似等于折射率，其中Θ_c近似等于图像捕捉装置的光线角，以及其中该分隔的小面具有选自Θ_RS和Θ_LS之一的小面定向，该Θ_RS近似等于

其中ΔΘ_R近似等于该图像捕捉装置光线角减去一个选定的眼光线角，该Θ_LS近似等于

其中ΔΘ_L近似等于该图像捕捉装置光线角减去另一选定的眼光线角。

28、权利要求22所述的透镜，其中n近似等于折射率，其中Θ_c近似等于图像捕捉装置的光线角，以及其中该分隔的小面具有Θ_RS的小面定向，该Θ_RS近似等于其中ΔΘ_R近似等于该图像捕捉装置光线角减去选定的第一眼光线角，还包括：

具有Θ_LS的小面定向的第二分隔小面，该Θ_LS近似等于

其中ΔΘ_L近似等于该图像捕捉装置光线角减去第二选定的眼光线角；以及

具有Θ_TS的小面定向的第三分隔小面，该Θ_TS近似等于其中ΔΘ_T近似等于该图像捕捉装置光线角减去第三选定的眼光线角。

29、一种装置，包括：

具有第一多个交错分隔的小面的第一透镜，所述小面包括折射左眼光线的第一分隔小面和折射右眼光线的第二分隔小面；以及

第一图像获取平面，用于接收来自该第一分隔小面的第一折射左眼光线，以及接收来自该第二分隔小面的第一折射右眼光线。

30、权利要求29所述的装置，其中该第一透镜包括至少一个与该第一分隔小面和该第二分隔小面相交错的另外的眼光线分隔小面，其中该第一分隔小面对应于第一视点，其中该第二分隔小面对应于第二视点，以及其中该另外的眼光线分隔小面对应于第三视点。

31、权利要求29所述的装置，还包括：

具有第二多个交错分隔的小面的第二透镜，所述小面包括折射左眼光线的第三分隔小面和折射右眼光线的第四分隔小面；以及

第二图像获取平面，用于接收来自该第三分隔小面的第二折射左眼光线，以及接收来自该第四分隔小面的第二折射右眼光线。

32、权利要求31所述的装置，其中该第一透镜具有限定圆柱段的一部分的第一内径，以及其中该第二透镜具有近似位于由该圆柱段的该部分限定的圆筒上的第二内径。

33、权利要求31所述的装置，其中该第一图像获取平面和该第二图像获取平面被置于距离位于选定眼距的中心处的原点的径向距离r_c处。

34、权利要求33所述的装置，其中该选定眼距是大约4cm到大约8cm。

35、权利要求29所述的装置，其中该第一图像获取平面被置于距离位于第一眼距的中心处的第一原点的径向距离r_c处，其中该第一透镜包括另外的分隔小面，该另外的分隔小面对应于第二眼距，并且与该第一分隔小面和该第二分隔小面相交错，以及其中该第一图像获取平面用于从该另外的分隔小面接收另外的折射的眼光线。

36、权利要求29所述的装置，其中该第一透镜的外径对应于该第一图像获取平面的视场与该第一多个交错的分隔小面之一的视场相重叠的距离。

37、一种系统，包括：

具有多个交错分隔的小面的多个透镜，所述小面包括折射左眼光线的第一分隔小面和折射右眼光线的第二分隔小面；

多个图像获取平面，用于接收来自该第一分隔小面的折射的左眼光线，以及接收来自该第二分隔小面的折射的右眼光线；以及

用于从多个图像获取平面接收图像数据的存储器。

38、权利要求37所述的系统，其中该图像数据包括构造立体图像的信息。

39、权利要求37所述的系统，其中该图像数据包括构造全景立体图像的信息。

40、权利要求37所述的系统，其中该图像数据包括分隔的左眼图像和分隔的右眼图像。

41、权利要求40所述的系统，还包括：

耦合到该存储器以结合该分隔的左眼图像和结合该分隔的右眼图像的处理器。

42、一种装置，包括：

具有第一多个交错分隔的小面的透镜，所述小面包括折射左眼光线的第一分隔小面和折射右眼光线的第二分隔小面；以及

图像投影平面，用于将第一折射左眼光线传输到该第一分隔小面，以及将第一折射右眼光线传输到该第二分隔小面。

43、权利要求42所述的装置，其中该图像投影平面被置于距离位于第一眼距的中心处的原点的径向距离r_c处。

44、权利要求43所述的装置，其中该第一眼距是大约4cm到大约8cm。

45、权利要求43所述的装置，其中该透镜包括至少一个与该第一分隔小面和该第二分隔小面相交错的另外的眼光线分隔小面，其中该第一分隔小面对应于第一视点，其中该第二分隔小面对应于第二视点，以及其中该另外的眼光线分隔小面对应于第三视点和第二眼距。

46、一种方法，包括：

通过透镜的第一多个分隔小面中的一个从图像投影平面投影多个左眼光线；以及

通过透镜的第二多个分隔小面中的一个从该图像投影平面投影多个右眼光线。

47、权利要求46所述的方法，其中该第一多个分隔小面与该第二多个分隔小面相交错。

48、权利要求46所述的方法，其中该透镜的外径对应于该图像投影平面的视场与该透镜的视场相重叠的距离。

49、权利要求46所述的方法，其中该多个左眼光线包括分隔的左眼图像的一部分，以及其中该多个右眼光线包括分隔的右眼图像的一部分。

50、一种包括具有相关信息的机器可访问介质的物品，其中该信息在被访问时导致机器执行：

通过透镜的第二多个分隔小面中的一个从图像投影平面投影多个右眼光线。

51、权利要求50所述的物品，其中该第一多个分隔小面与该第二多个分隔小面相交错。

52、权利要求50所述的物品，其中该透镜的外径对应于该图像投影平面的视场与该透镜的视场相重叠的距离。

53、权利要求50所述的物品，其中该多个左眼光线包括分隔的左眼图像的一部分，以及其中该多个右眼光线包括分隔的右眼图像的一部分。