CN202904216U - 立体摄像装置以及立体摄像方法 - Google Patents

Abstract

本公开提供了一种立体摄像装置以及立体摄像方法，该立体摄像装置包括无焦光学系统的目标光学系统，其包括将对象形成为真实图像或虚拟图像并且布置在相同光轴上的两个或更多个透镜组；多个摄像光学系统，其允许从所述目标光学系统的不同路径发出的多个对象光束通过多个单独的透镜组成像为单独的图像；以及多个摄像元件，其与多个摄像光学系统对应地设置，并且将通过多个摄像光学系统成像的图像转换为图像信号。

Description

立体摄像装置以及立体摄像方法

技术领域

本公开涉及拍摄立体图像的立体摄像装置和立体摄像方法，更具体地涉及调节有效摄像机之间的距离与有效会聚的技术。

背景技术

在相关领域的双目型立体摄像装置中，作为要拍摄的物体的对象的右图像和左图像通过布置在左右方向两个方向上的摄像机拍摄，从而得到双目立体图像。此时，左右摄像机之间的距离(摄像镜头之间的距离)(基线长度，IAD(轴间距离))和会聚对于所得到的双目立体图像的立体效果或者舒适的视差范围具有很大的影响。在相关领域的双目立体摄像装置中，通过实际地改变左右摄像机的布置来进行摄像机之间的距离的调节，并且也通过调节摄像机本身的布局或者通过各个摄像机的镜头控制来进行摄像机的会聚的调节。

对于摄像机之间的距离，通过调节(缩小)安装在摄像机中的镜头或摄像元件的尺寸使距离缩短存在限制。因此，通过安装在叫做平台(rig)的架子上的半反射镜、分别利用左右摄像机来拍摄反射光和透射光，从而可以在不引起摄像机之间的物理干涉的情况下缩小摄像机之间的距离。

此外，对于摄像机的会聚，可以以下面的方法作为示例，即其中左右摄像机的光轴相互平行地布置的平行方法，以及其中使左右摄像机的光轴与要拍摄的物体(其在显示是位于屏幕上)的深度(会聚点)相符地彼此交叉的方法。当调节立体图像从显示屏幕的前凸量或内陷量时，摄像机的会聚是必要的调节项目。当前，通过以物理的方式直接改变左右摄像机的方向、或者采用分别调节左右镜头中的光路的方式，或者以图像处理的方式使左右图像的像素位置彼此偏离的方式来调节会聚。

这里，对于双目立体摄像装置，在图29中示出了其中在左右摄像机的前面布置一个目标光学系统的配置。

在图29中，将目标光学系统201表示为一个凸透镜，其中目标光学系统能够使图像形成在位于摄像光学系统(image pickup optical system)内的像平面上。此外，将摄像光学系统202R和202L分别表示为左凸透镜和右凸透镜，并且指出目标光学系统201不是无焦光学系统。

图29是从上侧观察的立体摄像装置的示图，并且图示了在拍摄从目标光学系统201的中心轴稍微向右侧偏移的对象211至216的情况下、成像到左摄像机(拍摄右眼图像的摄像元件(image pickup device)203L)的对象图像的位置。对象211至216是包括位于前后方向上的四个对象、以及相对于位于中心附近的对象212分别在左侧和右侧并排布置的两个对象的六个对象。

当以对象214作为示例进行描述时，连接对象214与目标光学系统201的中心的线、与平行于目标光学系统201的中心轴从对象214入射并被折射的光束的交叉点，是通过目标光学系统201得到的像位置214-1。在该像位置214-1处的图像通过摄像光学系统202L在像位置214i处成像。以这种方式，对象211至216的图像分别通过像位置211-1至216-1在像位置211i至216i处成像。

由于成像后的对象图像的位置布置在与像平面204垂直的线上，因此考虑使透射通过对象211至216的光束透射通过瞳孔(由于对象相对于目标光学系统201的中心轴位于右侧，因此是右眼瞳孔)。虽然在图29中未示出，但是对于左眼图像的图像，可以考虑以同样的方式透射通过瞳孔的对象的布局。此时，根据目标光学系统201的后侧焦点位置为顶角的相似三角形的相似比、以物IAD的f1/(L-f1)倍得到作为有效IAD的距离ed。这里，L表示目标光学系统201与摄像光学系统202R和202L的主平面之间的距离，f1表示目标光学系统201的焦距。此外，在图29中，f3表示摄像光学系统202R和202L的焦距，并且d表示从目标光学系统201的主平面到对象212的距离。

在图29的立体摄像装置中，其优势在于有效IAD距离ed可以小于物理IAD，但像平面204的倾斜度与焦平面205的倾斜度不同，从而存在整个平面上的聚焦不简单的问题。

日本未审查专利申请公开No.2003-5313公开一种包括具有聚焦功能的目标光学系统和摄像光学系统的立体摄像装置，其中摄像光学系统使得从目标光学系统的不同路径发出的对象的多个光束成像、来作为视差图像。在摄像光学系统中，各个光学系统的光轴布置在相同的平面上并且在该平面中的各个光学系统的焦点位置处相互交叉，并且目标光学系统的光轴也布置在该平面中。

发明内容

然而，在半反射镜方式的平台中，很难操作大尺度的装置，并且改善影响拍摄结果的半反射镜往往很昂贵。

此外，左右摄像机的光轴彼此交叉的会聚点被设置为距离左右摄像机等距。因此，需要避免由于单独地调整左右摄像机而照常的左右摄像机在方向上的偏差，并且优选地通过一个机构来进行调节。因此，对于针对每个拍摄场景需要被调整的摄像机之间的距离或者会聚，优选地允许通过尽可能简单地调节来改变距离和会聚。

此外，在双目立体摄像装置中，需要在左右图像之间不产生除了可以根据深度上的差别而得到的左右视差以外的差别，并且需要精确地设置左右摄像机的相对关系。为了进行该设置，在利用半反射镜的平台中在拍摄之前需要时间来进行调节操作。此外，在目前的立体摄像机中，摄像机之间的距离是固定的，这导致了对拍摄范围的一个限制。

在包括作为摄像光学系统的多个摄像机的立体摄像装置中，期望在不改变多个摄像机的物理相对位置的情况下，容易地调节有效摄像机之间的距离和有效会聚。

根据本公开的实施例，提供了一种立体摄像装置，包括：无焦光学系统的目标光学系统，其包括将对象形成为真实图像或虚拟图像并且布置在相同光轴上的两个或更多个透镜组；多个摄像光学系统，其允许从目标光学系统的不同路径发出的多个对象光束通过多个单独的透镜组成像为单独的图像；以及多个摄像元件，其与多个摄像光学系统对应地设置，并且将通过多个摄像光学系统成像的图像转换为图像信号。

此外，在目标光学系统由包括对象侧透镜组和摄像光学系统侧透镜组的两个透镜组等效地构成的情况下，可以使得摄像光学系统侧的透镜组、与摄像光学系统具有彼此相同的焦平面，并且然后可以改变目标光学系统中的两个透镜组之间在光轴上的距离。

根据本公开的本实施例的立体摄像装置，无焦光学系统的目标光学系统与包括多个光学系统的摄像光学系统组合，从而可以在不改变摄像光学系统之间的物理位置的情况下调节会聚，以给出瞳孔之间的有效距离(有效IAD)和零的有效视差。

在目标光学系统是无焦光学系统的情况下，目标光学系统和摄像光学系统(不倾斜)的布局与有效IAD的调节没有关系。

另一方面，当假设目标光学系统由两个透镜组构成时，在使得摄像光学系统侧透镜组与摄像光学系统的透镜组具有彼此相同的焦平面的情况下，当改变目标光学系统的两个透镜组之间的距离时，目标光学系统不会变为无焦光学系统，但可以在不改变有效IAD的同时改变会聚。

根据本公开的实施例，可以在不改变设置有多个摄像光学系统和摄像元件的多个摄像机之间的物理相对位置的情况下、容易地调节有效摄像机之间的距离和有效会聚。

附图说明

图1A和1B是图示了当前的立体摄像装置的基本配置示例的说明图，其中图1A从上侧图示了利用左右摄像机拍摄多个对象的情形，并且图1B图示了对象的图像位置反转的左图像和右图像；

图2是图示了通过图1A和1B所示的立体摄像装置拍摄的左右图像被显示并且人观看这些图像的情形的说明图；

图3A和3B是图示了利用立体摄像装置的彼此间隔开的左右摄像机拍摄对象的情形的说明图，其中图3A从上侧图示了利用左右摄像机拍摄多个对象的情形，并且图3B图示了图像的像位置被反转的左图像和右图像；

图4是图示了人通过使用由图3A和3B所示的立体摄像装置拍摄的左右图像来观看立体图像的情形的说明图；

图5是图示了在摄像机方向上相互平行布置的多个对象与瞳孔之间的关系的说明图；

图6是图示了在左右摄像机方向上相互平行布置的两个对象列与IAD之间的关系的说明图；

图7是图示了在摄像机方向上相互平行布置的对象列与IAD转换时的IAD和瞳孔之间的关系的说明图；

图8是图示了在立体摄像装置的方向与像平面的法线方向彼此不同的情况下、IAD转换前后的IAD与瞳孔之间的关系的说明图；

图9是图示了在设置会聚位置的情况下、在摄像机方向上相互平行布置的对象列与IAD之间的关系的说明图；

图10是图示了在设置会聚位置的情况下、在摄像机方向上相互平行布置的对象列与IAD转换前后的IAD和瞳孔之间的关系的说明图；

图11是图示了根据本公开的第一实施例的立体摄像装置(目标光学系统的第一和第二透镜组是凸透镜并且是共焦关系)的整体的配置图；

图12是图示了根据本公开的第二实施例的立体摄像装置(目标光学系统的第一和第二透镜组是凸透镜并且是共焦关系，并且目标光学系统的第二透镜组和摄像光学系统是共焦关系)的整体的配置图；

图13是图示了根据本公开的第二实施例的立体摄像装置(目标光学系统的第二透镜组和摄像光学系统是共焦关系)的整体的配置图；

图14是图示了在目标光学系统由凹透镜和凸透镜构成的情况下、在根据本公开的第一实施例的立体摄像装置中物理摄像机之间的距离(物理IAD)与有效摄像机之间的距离(有效IAD)之间的关系的说明图；

图15是图示了在目标光学系统由凹透镜和凸透镜构成的情况下、在根据本公开的第一实施例的立体摄像装置中物理会聚点和有效会聚点之间的关系的说明图；

图16是图示了在作为参考的立体摄像装置中对象和图像之间的关系的说明图；

图17A和17B是图示了图16的各个距离之间的关系的说明图，其中图17A图示了相对于右眼的各个距离之间的关系，并且图17B图示了相对于左眼的各个距离之间的关系；

图18是图示了在将凹透镜布置为目标光学系统的第一透镜组并且将凸透镜布置为第二透镜组的情况下、根据本公开的实施例的立体摄像装置中的对象和图像之间的关系的说明图；

图19是图示了在将凸透镜布置为目标光学系统的第一透镜组并且将凸透镜设置为第二透镜组的情况下、根据本公开的实施例的立体摄像装置中的对象和图像之间的关系的说明图；

图20是图示了在将凸透镜布置为目标光学系统的第一透镜组并且将凹透镜布置为第二透镜组的情况下、根据本公开的实施例的立体摄像装置中的对象和图像之间的关系的说明图；

图21是图示了根据本公开的实施例的立体摄像装置的配置示例(对应于条件1)的框图；

图22是图示了根据本公开的实施例的立体摄像装置的另一个配置示例(对应于条件2)的框图；

图23是图示了在目标光学系统用作可拆卸转换镜头的情况下、根据本公开的实施例的立体摄像装置中的配置示例的框图；

图24是图示了在目标光学系统用作焦距固定的转换镜头的情况下、根据本公开的实施例的立体摄像装置中的配置示例的框图；

图25是图示了在目标光学系统由三个透镜组构成的情况下、根据本公开的实施例的立体摄像装置中的配置示例的框图；

图26是图示了使得图25中的第一透镜组移动的情况的说明图；

图27是图示了在图26的目标光学系统中、与像平面垂直的且通过物理摄像机的瞳孔的光束的入射方向的说明图；

图28是图示了在根据本公开的实施例的立体摄像装置中的IAD控制的说明图；

图29是图示了在相关领域中的立体摄像装置的说明图。

具体实施方式

在下文中，将参考附图描述用于实施公开的实施例(在下文中，称作“本示例”)。将以如下顺序进行描述。此外，在各个附图中，对具有大致相似的功能的共同部分给予相同的附图标记，并且将省略其多余的描述。

1.对双目立体视觉显示的说明

2.根据本公开的实施例的立体摄像装置的原理

3.根据本公开的实施例的立体摄像装置的配置概述

3-1.第一实施例(目标光学系统的第一和第二透镜组是共焦关系)

3-2.第二实施例(目标光学系统的第一和第二透镜组是共焦关系，并且目标光学系统的第二透镜组和摄像光学系统是共焦关系)

3-3.第三实施例(目标光学系统的第二透镜组和摄像光学系统是共焦光学)

4.根据本公开的立体摄像装置的配置细节

4-1.条件1的说明

4-2.条件2的说明

4-3.在双目立体摄像装置中的对象和图像之间的关系

4-4.在将凹透镜布置为根据本公开的实施例的目标光学系统的第一透镜组并且将凸透镜布置为第二透镜组的情况下、对象和图像之间的关系

4-5.在将凸透镜布置为根据本公开的实施例的目标光学系统的第一透镜组并且将凸透镜布置为第二透镜组的情况下、对象和图像之间的关系

4-6.在将凸透镜布置为根据本公开的实施例的目标光学系统的第一透镜组并且将凹透镜布置为第二透镜组的情况下、对象和图像之间的关系

4-7.在适用于交叉方法时的计算公式

5.根据本公开的实施例的立体摄像装置的模块配置

5-1.对应于条件1的配置示例

5-2.对应于条件2的配置示例

5-3.目标光学系统由可拆卸会聚透镜构成的配置示例

5-4.目标光学系统由具有固定焦距的转换镜头构成的配置示例

6.由三个透镜组构成的目标光学系统的配置示例

1.对双目立体视觉的说明

首先，将进行对立体视觉、视差和IAD的说明以及对瞳孔和有效瞳孔(pupil and an effective pupil)的说明。引入瞳孔和有效瞳孔以考虑双目视差。

在当前立体视觉中，通过双目视差(在下文中称作“视差”)得到立体效果。因此，在立体图像拍摄中视差的控制非常重要。视差是当从彼此不同的左右两个视点(拍摄位置)拍摄时产生的、两个图像在水平方向上的偏离，并且诸如左右视点的位置距离多远等这样的事情对控制视差来说非常重要。

图1A和1B示出了图示当前的立体摄像装置的基本配置示例的说明图。图1A从上侧图示了利用左右摄像机拍摄多个对象的情形，并且图1B图示了将对象的图像位置反转的图像。

在图1A的示例中，通过包括摄像透镜(瞳孔4R)和摄像元件5R的右摄像机和包括摄像透镜(瞳孔4L)和摄像元件5L的左摄像机，对在平行于摄像机方向的直线上布置的三个对象1至3进行拍摄。关于左右摄像机，摄像透镜的各个中心用瞳孔示意性地表示，并且来自三个对象1至3的主光束头透过左右瞳孔4R和4L，并且在与摄像元件5R和5L的成像平面平行的像平面上成像。左右瞳孔4R和4L之间的距离是IAD，并且距离d是在立体图像的拍摄中的重要因素。

在像平面上，对象的图像以水平反转的状态投影，使得在左右摄像元件中，图像的位置是反转的，从而输出右图像和左图像。在图1B的示例中，对象1至3的图像1aR至3aR在右摄像元件5R上成像，并且右摄像元件5R输出图像1aR至3aR反转的右图像6R。此外，对象1至3的图像1aL至3aL在左摄像元件5L上形成，并且左摄像元件5L输出图像1aL至3aL被反转的左图像6L。

图2示出了图示由图1A和1B所示的立体摄像装置摄取的左右图像被显示并且人观看图像的情形的说明书。

在显示屏幕上，呈现了右图像6R和左图像6L，但是通过诸如使用液态快门等任意方法，右图像仅呈现给右眼，并且左图像仅呈现给左眼。图2图示了为了便于说明、右图像6R和左图像6L在显示位置处并排显示，并且立体图像以左右图像的边界线设置为显示平面(屏幕)而再现的情形。

对于三个对象当中的中间对象2，左右图像2aR和2aL在相同的位置处(交叉点2a)示出，使得视差为零。因此，在立体视觉中，看起来好像对象2精确地存在于显示屏幕上。

此外，对于最靠近摄像机的对象3，通过右眼7R观看的位置和通过左眼7L观看的位置彼此不同，使得当对象3存在于深度方向上的位置时、人类的大脑判断对象3(图像3aR和3aL)是否被认为是一个对象，并且判定3存在于左右视线的交叉点3a处。

此外，类似地，对于距离摄像机最远的对象1，人类的大脑判定对象1存在于交叉点1a处，其中在交叉点1a处视线在显示屏幕的后侧处彼此交叉。以这样的方式，被投影为相同对象的左右图像的位置的偏差被称作视差(双目视差)，并且大脑由于视差的存在而执行立体认知，从而实现立体视觉。

此外，诸如与对象2对应的交叉点2a等视差为零的深度位置(图1A及图1B中)称作会聚点，但该位置被识别为仿佛其存在于显示屏幕上，使得该位置被认为是人类最容易观看的位置。通过该改变使左右屏幕重叠的方式，可以将与最靠近摄像机的对象3相符的视差设置为零，或者可以将与距离摄像机最远的对象1相符的视差设置为零。然而，例如，在将与对象3相符的视差设置为零的情况下，关于对象1的视差变得宽阔到那种程度。因此，会聚点的最佳位置可以根据拍摄场景或拍摄意图而不同。

图3A和3B是图示了利用立体摄像装置的相互远离的左右摄像机拍摄对象的情形的说明图，其中图3A从上侧图示了利用左右摄像机拍摄多个对象的情形，并且图3B图示了其中对象的图像位置被反转的左图像和右图像。

在图3B的示例中，对象1至3的图像1bR至3bR形成在右摄像元件5R上，并且右摄像元件5R输出其中图像1bR至3bR被反转的右图像8R。此外，对象1至3的图像1bL至3bL形成在左摄像元件5L上，并且左摄像元件5L输出其中图像1bL至3bL被反转的右图像8L。在这样的情况下，以三个对象当中的中间对象2与会聚点重叠的方式来设置左右图像的各个的开始位置。与图1A和1B类似，所拍摄的图像成为以对象2的图像2bR和2bL位于图像的中心处的左右图像。

图4示出了图示由图3A和3B所示的立体摄像装置摄取的左右图像被显示并且人观看图像的情形的说明图。

与图2类似，看起来好像对象2存在于显示屏幕上的位置(交叉点2b)处，并且对象3的图像存在于显示屏幕的前侧的位置(交叉点3b)处，并且对象1的图像存在于显示屏幕的后侧的位置(交叉点1b)处，但是对象3的图像伸出的感觉以及对象1的图像缩回的感觉变得强烈。即，视差的范围由于摄像机之间的距离(瞳孔4R和4L之间的距离)而变宽。这从被投影为右图像8R和左图像8L的三个对象1至3的图像的重叠状态与图2的情况不同也可以看出。如上所述，可以看出摄像机之间的距离(IAD：瞳孔之间的距离)的控制在控制立体效果时非常重要。

2.根据本公开的实施例的立体摄像装置的原理

下面，将描述怎样在考虑IAD时理解瞳孔的位置。

在普通摄像机中，瞳孔的位置存在于与通过摄像透镜的中心的像平面正交的线上。这种情形在摄像透镜的中心轴是一个的情况下容易考虑，但这种情形在摄像透镜的中心轴是多个的情况下并不真实。这里，假设左右瞳孔位于相对于沿着摄像机方向的中心线对称的位置上，并且关于像平面，像平面的法线与位于相对于中心轴对称的位置处的摄像机的方向平行。

图5图示了在摄像机方向上相互平行地布置的多个对象与瞳孔的关系。

首先，对于设置有摄像透镜和摄像元件5的一个摄像机，将考虑对象、瞳孔和投影在像平面上的图像之间的关系。在普通摄像机中，瞳孔4的位置在摄像透镜的中心处，使得垂直于像平面的光束是在通过瞳孔4之前在与像平面垂直的方向上，并且在摄像机方向上。由此，如图5所示，在布置在与摄像机方向平行的线上的三个对象1至3的图像1c至3c在像平面上相互重叠(图像的位置在与像平面垂直的线上)的情况下，可以看出瞳孔存在于直线上。此外，由于摄像机方向和垂直于像平面的光束不一定相互平行，因此利用“布置在与摄像机方向平行的线上的三个对象”的表达来进行描述。

当考虑具有左右摄像机的上述情形时，如图6所示，当组成与左右摄像机方向平行的两个对象列的对象1至3和对象11至13的图像1dR至3dR和图像11dL至13dL分别在图形平面上重叠，此时左右瞳孔4R和4L之间的距离d(物理IAD)被认为是对象列之间的距离。在本公开的实施例中，对象列、图像和瞳孔之间的关系是很重要的。此外，图像13dR是对象11的图像，其在通过瞳孔4R的中心之后形成在摄像元件5R上，并且图像1dL是对象1的图像，其在通过瞳孔4L的中心之后在摄像元件5L上成像。

这里，考虑通过转换原始存在的物理IAD来得到有效IAD的情况。

在这种情况下，对于相对于物理IAD的瞳孔和相对于有效IAD的有效瞳孔进行考虑。基本上，如图6所示，当假设通过瞳孔4R和4L的光束没有发生变化时，如图7所示在组成与摄像机方向平行的两个对象列的对象1至3和对象11至13的图像1eR至3eR和图像11eL至13eL分别在像平面上相互重叠时，可以认为两个对象列之间的距离ed是有效IAD。

在摄像元件5R上形成的图像11eR、12eR和13eR是在通过IAD转换部分14的光入射侧的有效瞳孔15R和光出射侧的内部瞳孔16R之后成像的、对象11至13的图像。此外，在摄像元件5L上形成的图像1eL、2eL和3eL是在通过IAD转换部分14的光入射侧的有效瞳孔15L和光出射侧的内部瞳孔16L的中心之后成像的、对象1至3的图像。

IAD转换部分14具有转换物理IAD的距离d和有效IAD的距离ed的功能。通过逆向计算在内部瞳孔16R和16L的位置处聚集的光束，可以认为位于IAD转换部分14的入射侧的两个有效瞳孔15R和15L是相对于IAD转换部分14入射的光束实际或虚拟聚集的位置，其中内部瞳孔16R和16L位于当通过两个对象列的入射光垂直地进入各个像平面时、与摄像透镜的主平面的中心的交叉点的附近。有效瞳孔位于通过上述两个对象列的入射光束上或者其延长线上。

在本说明书中，位于IAD转换部分14的光出射侧的两个内部瞳孔16R和16L之间的距离id叫做“内部IAD”。“内部瞳孔”和“内部IAD”是由于其不一定与设置IAD转换部分14之前的物理瞳孔和物理IAD具有相同的值，为了方便描述而给出的名称。例如，在后面所述的基于“条件2”设置会聚位置的情况下，内部瞳孔和内部IAD与转换之前的瞳孔和IAD不同。

图8图示了在立体摄像装置的方向与像平面的法线方向不同的情况下、IAD转换前后的IAD与瞳孔之间的关系。

通过两个对象列的光束入射到位于IAD转换部分24的输入侧的有效瞳孔25R和25L，并且从位于IAD转换部分24的输出侧的内部瞳孔26R和26L射出，并且然后由各个摄像元件5R和5L接收。在图8中，与图7类似，组成布置在与立体摄像装置的方向平行的线上的对象列的对象1至3与对象11至13的图像1fR、2fR和3fR以及图像11fL、12fL和13fL分别在像平面上相互重叠。

形成在摄像元件5R上的图像11fL、12fL和13fL是对象11至13的图像，其在通过IAD转换部分24的入射侧有效瞳孔25R和出射侧内部瞳孔26R之后成像。此外，形成在摄像元件5L上的图像1fR、2fR和3fR是对象1至3的图像，其在通过IAD转换部分24的入射侧有效瞳孔25L和出射侧内部瞳孔26L之后成像。

下面，将对于在会聚位置无限远的情况下(交叉法)的有效IAD和有效瞳孔进行说明。

由于在图6和图7的上述示例中应用了平行法，与立体摄像装置而不是对象列平行的入射光在通过瞳孔之后垂直地投影到象素平面的中心。因此，瞳孔与考虑单个摄像机的情况类似、位于摄像透镜的中心轴上。

然而，在会聚点CP的位置设置为如图9所示的情况下，通过像平面的中心并且与像平面垂直的线AxR和AxL不通过当考虑IAD时假设的瞳孔。该位置是在单个摄像机中通常不考虑的瞳孔位置。

即，组成与左右摄像机的方向平行的两个对象列的对象1至3和对象11至13的图像1gR、2gR和3gR以及图像11gL、12gL和13gL，分别在像平面上相互重叠，但在通过各个瞳孔4R和4L之后未投影到像平面的中心。形成在摄像元件5R上的图像11gR、12gR和13gR是对象11至13的图像，其在通过瞳孔4R之后成像。此外，形成在摄像元件5L上的图像1gL、2gL和3gL是对象1至3的图像，其在通过瞳孔4L之后成像。

在线AxR和AxL进入转换IAD的IAD转换部分的情况下也是这样。在利用交叉法执行立体拍摄的情况下，如图10所示，通过像平面的中心并且与像平面垂直的线AxR和AxL不通过内部瞳孔。图10图示了在设置了会聚点的情况下，与摄像机方向相互平行的对象列与1AD转换前后的IAD和瞳孔之间的关系。在图10的示例中，按照以对象1作为示例来设置会聚点CP。

即，通过两个对象列的光束从位于IAD转换部分34的输入侧的有效瞳孔35R和35L入射，并且从位于IAD转换部分34的输出侧的内部瞳孔36R和36L射出，并且然后由各个摄像元件5R和5L接收。此时，组成布置在与立体摄像装置的方向平行的线上的对象列的对象1至3和对象11至13的图像1hR、2hR和3hR以及图像11hL、12hL和13hL，分别在像平面上相互重叠，但在通过各个内部瞳孔36R和36L之后未投影到像平面的中心。

形成在摄像元件5R上的图像11hR、12hR和13hR是对象11至13的图像，其在通过IAD转换部分34的入射侧有效瞳孔35R和出射侧内部瞳孔36R之后成像。此外，形成在摄像元件5L上的图像1hL、2hL和3hL是对象1至3的图像，其在通过IAD转换部分34的入射侧有效瞳孔35L和出射侧内部瞳孔36L之后成像。

根据本公开的实施例的立体摄像装置具有与上述IAD转换部分相同的功能，并且利用通过IAD转换部分调节的有效瞳孔和有效IAD来执行IAD的控制。

3.根据本公开的实施例的立体摄像装置的配置概述

在下文中，将描述根据本公开的实施例的立体摄像装置的配置概述。

3-1.第一实施例(目标光学系统的第一和第二透镜组是共焦关系)

图11是图示了根据本公开的第一实施例的示例的立体摄像装置的概述的结构图。

关于第一实施例，在双目立体摄像装置中，在作为摄像光学系统42的左右摄像机(摄像部分)的前面布置了两个透镜组作为目标光学系统41。此外，目标光学系统41的第一透镜组41-1和第二透镜组41-2以共焦关系布置，并且目标光学系统41设置为相对于平行光的入射而射出平行光的无焦光学系统。目标光学系统41和摄像光学系统42对应于上述IAD转换部分。

需要使用至少两个透镜组来实现无焦光学系统，并且在该示例中，通过使用可以等效于凸透镜的第一透镜组41-1和第二透镜组41-2两组来实现无焦光学系统，使焦点位置相互吻合(条件1)。

图11是从上侧看立体摄像装置的示图，并且图示了在拍摄从目标光学系统41的中心轴略微向右侧偏离的对象51至56的情况下、成像到左摄像机(拍摄右眼图像的摄像元件43L)的对象图像的位置。对象51至56包括布置在前后方向上的四个对象、以及相对于布置在中央附近的对象52分别在左侧和右侧并排布置的两个对象。此外，该示例的摄像元件43L被示出为好像摄像元件43L在光轴方向上较长，但摄像元件43L被布置为与光轴垂直，使得摄像元件43L基本上不长。摄像元件43L被表示为通过像位置55i和56i的直线(立体平面，这是因为图中厚度是垂直于纸面的方向)。在图11的示例中，摄像元件43L的位置由通过像位置55i和56i的直线(虚线)表示，并且图示了执行到像位置52i、55i和56i的聚焦的情况。

当对于作为示例的对象54进行描述时，连接对象54和目标光学系统41的第一透镜组41-1的线、与平行于第一透镜组41-1的光轴从对象54入射并被折射的光束的交点是经由第一透镜组41-1的像位置54-1。连接像位置54-1和第二透镜组41-2的中心的线、与平行于第二透镜组41-2的中心轴从像位置54-1入射并且被折射的光束的延长线的交点是经由第二透镜组41-2的像位置54-2。在该像位置54-2处的图像通过摄像光学系统42的摄像透镜组42L形成在像位置54i上。以这种方式，对象51至56的图像分别是经由像位置51-1至56-1和像位置51-2至56-2、在像位置51i至56i处的图像。

在第一透镜组41-1和第二透镜组41-2是共焦关系的情况下，通过第二透镜组41-2观察的对象图像在横向方向上变为f2/f1倍，在深度方向上变为f2/f1的两倍。当通过摄像光学系统拍摄在像位置51i至56i处成像的图像时，可以以放大或缩小的方式拍摄实际的六个图像。当以放大或缩小的方式拍摄对象时，可以相对地减小或增大摄像光学系统的摄像机之间的距离。这是最简单的操作原理，但即使在第一透镜组和第二透镜组不是共焦关系的情况下，稍后将参考图13描述的结构也是有效的。

在该示例中，平行于目标光学系统41的中心轴入射的光束由第一透镜组41-1朝向焦点位置折射，并且通过第二透镜组41-2恢复为平行，然后射出。因此，当考虑在射出之后精确地通过摄像光学系统42的摄像透镜组的中心(内部瞳孔IP)的光束时，有效瞳孔EP的位置在光束上(在图11中，考虑附图的可见性示出了左侧有效瞳孔)。

此时，有效IAD是从以位于目标光学系统41的两个透镜组之间的共焦位置为顶角的相似三角形的相似比、作为物理IAD的f1/f2得到的。这里，f1是目标光学系统41的第一透镜组41-1(凸透镜)的焦距，并且f2是第二透镜组41-2(凸透镜)的焦距。此外，图11中的f3代表摄像透镜组42R和42L的焦距。此外，d代表从目标光学系统41的第一透镜组41-1的主平面到对象52的距离，L代表从第一透镜组41-1到第二透镜组41-2的距离，M代表目标光学系统41的第二透镜组41-2与摄像透镜组42R和42L的主平面之间的距离。

在根据第一实施例的立体摄像装置中，可以使有效IAD的距离ed小于物理IAD的距离。此外，像平面的倾度和焦平面的倾度彼此相同，并且在整个屏幕上的聚焦变得简单。

此外，在摄像透镜组42R和42L中，主要使用靠近光轴的位置、即透镜的中心，并且可以进行作为相关领域中的设计的延伸的光学设计。这相较于整个配置是专门设计的情况下在成本方面具有很大优势。

此外，在上述第一实施例中，已经对于其中组成目标光学系统的第一透镜组和第二透镜组全部由凸透镜或者可视为凸透镜的透镜组构成的配置进行了描述，但不限于此。例如，第一透镜组和第二透镜组的组合可以是凹透镜和凸透镜的组合，或者凸透镜和凹透镜的组合。在第一透镜组由凹透镜构成的情况下，由于后侧焦点位置相对于凹透镜的后侧主平面位于对象侧，因此第二透镜组由凸透镜构成，以使得第二透镜组的后侧焦点位置和前侧焦点位置彼此基本相同。此外，在第二透镜组由凹透镜构成的情况下，第一透镜组由凸透镜构成。因此，第一透镜组或者第二透镜组、或者这两者由凸透镜构成。

3-2.第二实施例(目标光学系统的第一和第二透镜组是共焦关系，并且目标光学系统的第二透镜组和摄像光学系统是共焦关系)

下面，将描述通过将两个透镜组布置为目标光学系统的配置得到的另一个效果。

在第二实施例中，目标光学系统由两个透镜组构成，并且目标光学系统和摄像光学系统之间的距离设定为“(目标光学系统的第二透镜组的焦距)+(摄像光学系统的焦距)”，并且使得目标光学系统和摄像光学系统两者具有彼此相同的成像平面或焦点位置(条件2)。此外，使目标光学系统的两个透镜组之间的距离发生变化以控制会聚偏移量。

图12是图示了根据本公开的第二实施例的立体图像摄取装置的概述的结构图。

在第二实施例中，与图11所示第一实施例类似，对于双目立体摄像装置，在作为摄像光学系统42的左右摄像机(摄像部分)的前面布置了作为目标光学系统41的两个透镜组。除了第一实施例的条件1(目标光学系统的第一和第二透镜组是共焦关系)之外，目标光学系统与摄像光学系统之间的距离设定为“(目标光学系统的第二透镜组的焦距)+(摄像光学系统的焦距)”，并且可以使目标光学系统和摄像光学系统两者具有彼此系统的成像平面或焦距(条件2)。目标光学系统41和摄像光学系统42对应于上述IAD转换部分。

当考虑与图11相同的对象51至56时，以与图11所示的第一实施例相似的方式，对象51至56的图像分别经由像位置51-1至56-1和像位置51-2至56-2在像位置对象51i至56i处成像。

由于本实施例满足条件1，与图11所示的第一实施例类似，平行于目标光学系统41的中心轴入射的光束由第一透镜组41-1朝向焦点位置折射，并且通过第二透镜组41-2恢复为平行，然后射出。因此，当考虑在射出之后精确地通过摄像光学系统42的摄像透镜组的中心(内部瞳孔IP)的光束时，有效瞳孔EP的位置在光束上(在图12中，考虑附图的可见性示出了左侧有效瞳孔)。

本实施例(图12)与第一实施例(图11)之间的区别是目标光学系统41与摄像光学系统42之间的距离增大，并且满足M＝f2+f3的关系。因此，在图12中，最终成像位置与图11所示的位置不同。

此外，在上述第二实施例中，已经对于组成目标光学系统的第一透镜组和第二透镜组全部由凸透镜或可视为凸透镜的透镜组构成的配置进行了描述，但不限于此。例如，第一透镜组和第二透镜组的组合可以是凹透镜和凸透镜的组合，或者凸透镜和凹透镜的组合。

3-3.第三实施例(目标光学系统的第二透镜组和摄像光学系统是共焦关系)

然而，当平行光束如上到一个透镜或者可等效地视为一个透镜的透镜组时，原则上光束在焦平面的一个点上会聚(或者从一个点发散)。这里，可以经由通过允许满足关系M＝f2+f3而进行的会聚偏移量控制来利用该性质。

图13是图示了根据本公开的第三实施例的立体摄像装置的概述的结构图。

在本实施例中，增大了目标光学系统41的第一透镜组41-1与第二透镜组41-2之间的距离L，从而不满足在无焦光学系统中的条件1(L≠f1+f2)。目标光学系统41和摄像光学系统42对应于上述IAD转换部分。

此外，在图13中，呈现了光束不通过的各个透镜组的部分，但是由于为了便于附图描述，并且对于该部分，以光束通过透镜组来处理。

当考虑与图11相同的对象51至56时，以与图11所示的第一实施例相似的方式，对象51至56的图像分别经由像位置51-1至56-1和像位置51-2′至56-2′在像位置51iB至56iB处成像。

在该实施例中，不满足条件1，使得原来平行于光轴射到摄像光学系统42的摄像透镜组42R和42L的透镜中心的光束变得与光轴不平行。然而，在第一透镜组41-1与第二透镜组41-2之间，该光束是与满足条件1的情况下的光束平行的光束，使得该实施例中的光束在第二透镜组41-2的焦点后侧、在焦点F处与满足条件1的情况下的射出光束相交。

然而，当满足关系M＝f2+f3(条件2)时，可以将焦点F设置到摄像光学系统42的前侧焦点位置。通过前侧焦点的光线在摄像光学系统42中被折射为平行于光轴的光束，并且垂直地入射到像平面。在目标光学系统41的第一透镜组41-1和第二透镜组41-2是共焦关系的情况下，通过有效瞳孔EP并且平行于摄像元件43L的入射光在从目标光学系统41射出时、变得与摄像元件的方向平行，使得通过摄像光学系统42的中心的光束与成像平面垂直。因此，由于入射光总是通过摄像光学系统42的透镜组的中心位置，所以目标光学系统41与摄像光学系统42之间的距离与有效IAD无关。因此，有效瞳孔EP的位置不变。结果，可以在不改变有效IAD的情况下延长和缩短第一透镜组41-1与第二透镜组41-2之间的距离L。入射到摄像光学系统42的角度可由于距离L的延长和缩短来控制，因此可以在不改变有效IAD的同时、容易地控制会聚偏移量CO。

此外，在上述第三实施例中，已经对于组成目标光学系统的第一透镜组和第二透镜组全部由凸透镜或者可视为凸透镜的透镜组构成的配置进行了描述，但不限于此。例如，第一透镜组和第二透镜组的组合可以是凹透镜和凸透镜的组合，或者凸透镜和凹透镜的组合。

如上所述，在根据本公开的实施例的立体摄像装置中，目标光学系统由两个透镜组构成，并且具有条件1和/或条件2的特性。

当然，即使当目标光学系统由三个或更多的透镜组构成的目标光学系统时，也可以考虑条件2。

首先，在目标光学系统设置为无焦光学系统(这对于通过有效瞳孔来说很重要)的情况下，考虑通过有效瞳孔并且平行于摄像机的方向的光束的情况。在将该光束看作目标光学系统的入射光的情况下，得到在当目标光学系统是无焦光学系统时射出的光束与当目标光学系统从无焦光学系统脱离时射出的光束之间的交点。该交点在摄像光学系统的焦平面上的情形对应于条件2。这是因为当交点在摄像光学系统的焦平面上时，目标光学系统的出射光经由摄像光学系统垂直地入射到成像平面上，并且通过有效瞳孔并且平行于摄像机的方向的光束变成与成像平面垂直的光束。这在目标光学系统等效地由两个透镜组构成时对应于条件2。

4.根据本公开的实施例的立体摄像装置的配置细节

4-1.条件1的说明

在条件1中，对于包括多个摄像机(多个摄像部分)的立体摄像装置，在摄像光学系统的多个摄像机的前侧布置了一个目标光学系统。该目标光学系统由至少两个透镜组构成。此外，采用了如下配置(条件1)，其中设置了能够通过排列目标光学系统的两个透镜组以及对摄像光学系统的多个摄像机的各个设置的摄像透镜组来设置或控制三个透镜组(目标光学系统的第一透镜组、目标光学系统的第二透镜组和摄像透镜组)的焦距的单元来解决问题。

其中设置有基本上成为无焦光学系统的目标光学系统表示(换句话说)如下配置，其中当假设目标光学系统包括物镜侧第一透镜组(焦距：f1)和位于多个摄像机侧的第二透镜组(焦距：f2)时，第一透镜组的后侧焦距与第二透镜组的前侧焦距基本上彼此相同。结果，对于有效摄像机之间的距离(左右摄像透镜组之间的距离)和有效的会聚之间、可发生如下操作。

有效摄像机之间的距离

当设置有基本上是无焦光学系统的目标光学系统时，目标光学系统的光轴和多个摄像机的光轴可以共同改变大致f1/f2倍。如图14所示，这意味着可以将摄像机之间的距离有效地改变大致f1/f2倍。即，在改变摄像机之间的距离时，不一定高精度地调节多个摄像机的各个的布置，并且可以通过目标光学系统或目标光学系统内的可变倍率的附加或拆除来调节摄像机之间的距离。

图14图示了在目标光学系统由凹透镜和凸透镜构成的情况下、在根据本公开的第一实施例的立体摄像装置中的物理摄像机之间的距离(物理1AD)和有效摄像机之间的距离(有效IAD)。在该示例中，对于由凹透镜和凸透镜构成的目标光学系统进行了描述，但相同的观点可适用于其他组合。

从对象侧(图14中的左侧)入射的光束通过由凹透镜构成的第一透镜组61-1和由凸透镜构成的第二透镜组61-2折射，并且入射到物理摄像机62R和62L。如图14所示，当使得目标光学系统61的第一透镜组61-1的后侧焦点(相对于凹透镜的对象侧)与第二透镜组61-2的前侧焦点彼此相同时，相对于由虚线指示的有效摄像机63R和63L聚集的光被输入到物理摄像机62R和62L。

示出了平行于光轴的光束R1R和R1L以及朝向第一透镜组61-1(相对于凹透镜的摄像机侧)的前侧焦点入射的的光束R2R和R2L，作为代表性的两种光束。光束R1R和R1L由第一透镜组61-1(凹透镜)折射为远离共同焦点位置的方向，并且入射到第二透镜组61-2，但由于光束R1R和R1L是来自凸透镜的焦点的光束，因此光束R1R和R1L被再次折射为平行光束。因此，光束R1R和R1L上的对象图像由第二透镜组61-2投影到物理摄像机62R和62L的摄像透镜中心的图像位置65R和65L。另一方面，光束R2R和R2L由第一透镜组61-1折射为平行光束，并且由第二透镜组61-2聚集为焦点方向。

结果，聚焦到有效摄像机63R和63L的光被聚集到物理摄像机62R和62L。经由图14的目标光学系统61的有效IAD ed变为物理IAD pd的大致f1/f2倍。

有效会聚

当设置了基本上变为无焦光学系统的目标光学系统时，可以将原来应用在摄像光学系统中的会聚改变为非常适合的有效会聚(然而，在摄像光学系统的光轴与目标光学系统的光轴平行的情况下，有效会聚也是平行的)。对于会聚，由于摄像机的摄像透镜的物理限制导致对于使会聚较窄存在限制，但如图15所示，当目标光学系统设置在多个摄像机的前侧时，可以将会聚位置设定在物理约束之外的位置处。

图15图示了在目标光学系统由凹透镜和凸透镜构成的情况下，在根据本公开的第一实施例的立体摄像装置中、物理会聚点和有效会聚点之间的关系。在该示例中，对于其中目标光学系统由凹透镜和凸透镜构成的配置进行了描述，但相同的观点也适用于其他组合。

对于摄像光学系统中的物理摄像机62R和62L的会聚角，当设置目标光学系统61时，会聚点CP改变并且转移到有效会聚点eCP，并且有效会聚角也被改变。来自物理摄像机62R和62L的各个的视线由目标光学系统61的第二透镜组61-2向目标光学系统61的光轴侧折射。此外，视线经由第二透镜组61-2朝向物理摄像机62R和62L的摄像透镜中心的像位置65R和65L前进，并且经由第一透镜组61-1在通过了有效摄像机73R和73L的摄像透镜中心的各个的视线的方向上前进。结果，如图15所示，与物理摄像机62R和62L所设定的会聚点CP相比，有效会聚点eCP被设定到较近位置。

以这种方式，具有凹透镜+凸透镜配置的目标光学系统61具有用于近距离拍摄(其中还以广角拍摄图像本身)的特性，使得诸如会聚点可被调节到相对较近位置等与拍摄范围的扩大相关联，并且是有效的。

此外，由于物理约束导致对于使会聚点靠近物理摄像机存在限制，并且特别地，这导致了近距离拍摄时的问题。然而，如图15所示，由于使用目标光学系统，可以将会聚点设定到相对较近位置。

相反，在目标光学系统的第一透镜组由凸透镜构成，并且第二透镜组由凹透镜构成的情况下，有效会聚点相对于物理会聚点较远。

4-2.条件2的说明

在条件2中，目标光学系统被视为由包括目标侧的第一透镜组和多个摄像机侧的第二透镜组的两个组等效地构成，并且摄像光学系统的摄像透镜可视为第三透镜组。此外，在将第一透镜组、第二透镜组和第三透镜组的后侧焦距分别设定为f1、f2和f3的情况下，将第一透镜组的后侧主平面与第二透镜组的前侧主平面之间的距离设定为L，并且将第二透镜组的后侧主平面与第三透镜组的前侧主平面之间的距离设定为M，f1、f2、f3、L和M设定为满足如下关系(条件2)。下面将详细描述。

M-f3-f2≈0

有效摄像机之间的距离

由于条件2，目标光学系统的光轴和多个摄像机的光轴可以总体地变为大致f1/f2倍。此外，当设置调节f1和f2的单元时，可以调节有效摄像机之间的距离。

有效会聚

可以通过改变第一透镜组的后侧主平面与第二透镜组的前侧主平面之间的距离来改变有效会聚点的位置。此时，在设置摄像光学系统的多个摄像机的会聚时，可以通过改变L来进一步设置会聚点。

此外，由于摄像光学系统是单独地包括多个摄像机的多目立体摄像装置，因此可以在将目标光学系统从装置中拆除的情况下执行拍摄，从而可以使用与拍摄场景相符的目标光学系统或者不使用目标光学系统来执行拍摄。为了使目标光学系统可拆卸，优选地是由目标光学系统施加到摄像光学系统上的约束很小。在根据本公开的实施例的条件1中，由于约束存在于目标光学系统内部，因此在摄像光学系统上没有约束。

此外，由于有效摄像机与有效会聚之间的距离响应于目标光学系统的第一透镜组的焦距f1与第二透镜组的f2之间的比例而变化，因此可以通过控制该比例来设置与拍摄场景相符的摄像机与会聚之间的距离。具体而言，在条件2中，即使在光学系统的全部光轴均相互平行并且在制造过程中可以进行高精度组装的设计中，也可以通过目标光学系统的第一透镜组与第二透镜组之间的距离来设置会聚。

4-3.在双目立体摄像装置中对象和图像之间的关系

下面，将描述在考虑会聚点的双目立体摄像装置中的对象和图像之间的关系。在下面的描述中，说明了考虑作为目标的参考的立体摄像装置，并且在根据本公开的实施例的立体摄像装置中可以得到相同的成像结果。

图16示出了图示了在作为参考的立体摄像装置中的对象和图像之间的关系的说明图。在图16中，存在没有光束通过的部分，但由于这是为了方便附图的描述，并且对于该部分，看作光束通过透镜组来处理。当存在与上述部分对应的部分时，这种处理对于随后的附图同样适用。

在双目立体摄像装置中，图示了由两个摄像透镜81R和81L生成的对象82的像位置83R和83L。即，该附图是当从上侧观看左右摄像机时的示图，并且图示了在拍摄位于前方右侧的对象82时、从对象(位于距离摄像透镜81R和81L的距离d′处)发出的光束通过摄像透镜81R和81L的中心(瞳孔85R和85L)相对于左右摄像机的各个成像的点。

此外，在其中所拍摄的左右图像之间的视差变为零的屏幕上平面(包括屏幕上位置84的平面)设置在距离摄像透镜81R和81L的前侧主平面的距离c′处。偏移量oR和oL表示在设置屏幕上位置84时、与屏幕上位置84对应的像位置86R和86L与光轴偏离多远。在设定屏幕上位置84的情况下，像位置86R和86L变为左侧像及右侧像的原点的位置。此外，yR和yL表示在设置屏幕上位置84时、对象82的像位置83R和83L相对于原始点(像位置86R和86L)的偏移量。z3表示从摄像透镜81R和81L到像位置83R和83L的距离。此外，z0表示从摄像透镜81R和81L到像位置86R和86L的距离。图17A和17B是通过相对于各个左右摄像机以相似三角形来绘制这些距离关系而得到的。根据这些关系，成像坐标(yR，yL)用公式(1-1)和公式(1-2)来表示。

$\mathrm{yR}=\{x-(\mathrm{ia}{d}^{\′}/2)\}\frac{{f3}^{\′}}{d^{\′}-f{3}^{\′}}+(\mathrm{ia}{d}^{\′}/2)\frac{{f3}^{\′}}{c^{\′}-{f3}^{\′}}...(1-1)$

$\mathrm{yL}=\{x+(\mathrm{ia}{d}^{\′}/2)\}\frac{{f3}^{\′}}{d^{\′}-f{3}^{\′}}+(\mathrm{ia}{d}^{\′}/2)\frac{{f3}^{\′}}{c^{\′}-{f3}^{\′}}...(1-2)$

这些成像坐标是使用摄像机之间的距离(iad′)、焦距(f3′)和屏幕上位置(c′)作为参数、根据对象82的位置(x，d′)计算出来的。这些参数是所谓的立体拍摄参数。当然，在双目立体摄像装置中，成像坐标基于该公式来表示，并且该公式被认为是图18至20的参考。

这里，在屏幕上位置84被设置为无限远的情况下，位于从原来的点的偏移量oR和oL的距离处的像位置83R和83L位、位于左右摄像透镜81R和81L的中心轴上。此时，即使当屏幕上位置84移动时，摄像透镜81R和81L的中心轴与像位置83R和83L之间的距离也不变化。在屏幕上位置84是无限远的情况下，由于到屏幕上位置的距离c′无限远，因此在关于yR和yL的各个公式(1-1)和(1-2)中的第二项变为零。在c′有限的情况下，随着c′变得靠近摄像机，距离原来的点偏移量oR和oL的像位置83R和83L变得远离摄像透镜81R和81L的中心轴，yR变大并且yL变小。

在相关领域，为了调整屏幕上位置84，采用了如下方法，其中使得相对于左右摄像元件的像素的读出位置偏离，或者使得摄像元件的位置以偏移量oR和oL从光轴竖直地偏离，从而使读出图像的中心位置偏离。此外，在相关领域中，通过在将左右摄像机设置为具有交叉眼，即，使得左右摄像机的光轴彼此交叉的状态下执行拍摄来进行校正以删除梯形失真。然而，在根据本公开的实施例的立体摄像装置中，可以在不改变多个摄像机之间的物理相对位置的条件下容易地设置有效摄像机之间的距离和有效会聚。

4-4.在将凹透镜布置为根据本公开的实施例的目标光学系统的第一透镜组、并且将凸透镜布置为第二透镜组的情况下，对象和图像之间的关系

图18图示了在将凹透镜布置为目标光学系统的第一透镜组、并且凸透镜布置为第二透镜组的情况下，在根据本公开的第一实施例的立体摄像装置中对象和图像之间的关系。

将第一透镜组的凹透镜的焦距设置为f1，将第二透镜组101-2的凸透镜的焦距设置为f2，将第三透镜组(在摄像光学系统102中的摄像透镜组102R和102L)的凸透镜的焦距设置为f3，将第一透镜组101-1的后侧主平面与第二透镜组101-2的前侧主平面之间的距离设置为L，并且将第二透镜组101-2的后侧主平面与第三透镜组的前侧主平面之间的距离设置为M。

在该示例中，对象103的经由第一透镜组101-1的凹透镜的虚拟像位置103-1的坐标是(x1、z1)，并且该虚拟像位置103-1的经由第二透镜组101-2的凸透镜的虚拟像位置103-2的坐标是(x2，z2)。此外，虚拟像位置103-2经由第三透镜组(摄像透镜组102R和102L)的凸透镜、在像位置103iR和103iL处成像。在这种情况下，位于图中的位置(x，d)处的对象103最终成像的左右图像中的成像坐标(yR，yL)由公式(2-1)和(2-2)表示。

$\mathrm{yR}=\{x-(\mathrm{iad}/2)\frac{f1*f2}{(M-f3-f2)(f2-f1-L)+f2*f2}\}\frac{{f3}^{\′}}{d^{\′}-{f3}^{\′}}+(\mathrm{iad}/2)\frac{(L+f1-f2){f3}^{\′}}{f1*f2}...(2-1)$

$\mathrm{yL}=\{x+(\mathrm{iad}/2)\frac{f1*f2}{(M-f3-f2)(f2-f1-L)+f2*f2}\}\frac{{f3}^{\′}}{d^{\′}-{f3}^{\′}}-(\mathrm{iad}/2)\frac{(L+f1-f2){f3}^{\′}}{f1*f2}...(2-2)$

然而，

$d^{\′}=d+\frac{f1((f2+f3)L+(f2-L)M)}{(M-f3-f2)(f2-f1-L)+f2*f2}...\left(3\right)$

${f3}^{\′}=\frac{f1*f2*f3}{(M-f3-f2)(f2-f1-L)+f2*f2}...\left(4\right)$

(这里，d′表示有效对象距离，f3′表示有效焦距)。这说明了在图18的光学系统与图16类似、由左右合成和摄像透镜的两个透镜来表示的情况下，从合成和摄像透镜的各个的主平面到对象103的距离变为d′，并且合成和摄像透镜的各个的焦距被认为是f3′。

此外，在公式(2-1)和(2-2)中，公式(5)的项是有效摄像机之间的距离的一半，并且表示有效摄像机之间的距离可以通过相对于物理摄像机之间的距离(iad)改变f1、f2、f3、L和M、来改变有效摄像机之间的距离。

$(\mathrm{iad}/2)\frac{f1*f2}{(M-f3-f2)(f2-f1-L)+f2*f2}...\left(5\right)$

此外，在公式(2-1)和(2-2)中，公式6的项是确定有效屏幕上位置的项(在摄像光学系统的多个摄像机相互平行布置的情况下)。

$(\mathrm{iad}/2)\frac{(L+f1-f2){f3}^{\′}}{f1*f2}...\left(6\right)$

根据公式(1-1)和(1-2)以及公式(2-1)和(2-2)，iad′和iad之间的关系可通过公式(7)来表示。

$(\mathrm{ia}{d}^{\′}/2)=(\mathrm{iad}/2)\frac{f1*f2}{(M-f3-f2)(f2-f1-L)+f2*f2}...\left(7\right)$

根据公式(7)，得到公式(8)，并且屏幕上位置c′可通过公式(9)来表示。

$(\mathrm{iad}/2)\frac{f1*f2}{(M-f3-f2)(L-f1-f2)+f2*f2}\·\frac{{f3}^{\′}}{(c^{\′}-{f3}^{\′})}=(\mathrm{iad}/2)\frac{(L+f1-f2){f3}^{\′}}{f1*f2}...\left(8\right)$

$c^{\′}={f3}^{\′}+\frac{f1*f2*f1*f2}{(L+f1-f2)(M-f3-f2)(f2-f1-L)+f2*f2}...\left(9\right)$

在该示例中，相对于上述计算公式的各个项，为了便于使用执行下面所述的控制。

(1)提高目标光学系统与摄像光学系统之间的连接和拆开的容易度

当考虑目标光学系统101与摄像光学系统102之间的连接和拆开时，优选地是，即使当第二透镜组101-2的后侧主平面与第三透镜组(摄像透镜组102R和102L)的前侧主平面之间的距离M略微变化时，该变化对有效摄像机之间的距离iad′、有效焦距f3′和有效屏幕上位置没有影响。

这里，当满足关系f2-f1-L＝0时，全部这些立体拍摄参数均不依赖于M。因此，在安装有目标光学系统101的情况下，可以使得光轴方向的改变不被感觉到。因此，使得关系f2-f1-L＝0基本满足是有用的。当f2-f1-L＝0时，目标光学系统101的第一透镜组101-1和第二透镜组101-2具有彼此相同的焦点位置，从而满足条件1。

(2)容易地控制有效屏幕上位置

a)当摄像光学系统102的多个摄像机与光轴平行地布置时，条件1是必要的，以使得即使当安装目标光学系统101时有效屏幕上位置也不变。

b)在不改变有效摄像机之间的距离iad′或者有效焦距f3′的条件下改变屏幕上位置。

这可以通过改变摄像光学系统102的多个摄像机的会聚来实现，但是当满足关系M-f3-f2＝0时，在不改变多个摄像机的会聚的条件下、L的变化可以与有效摄像机之间的距离iad′和有效焦距f3′无关。因此，可以通过在设置了有效摄像机之间的距离和有效焦距之后改变L、来调节有效屏幕上位置。条件M-f3-f2＝0意味着第二透镜组101-2(目标光学系统101)和第三透镜组(摄像光学系统102的摄像透镜组102R和102L)具有彼此相同的焦点位置，并且满足条件2。

如上所述，当目标光学系统和摄像光学系统被布置并且设置为满足条件1或条件2，可以以更简单的方式改变有效摄像机之间的距离以及给出零视差的深度位置。

4-5.在将凸透镜布置为根据本公开的实施例的目标光学系统的第一透镜组，并且将凸透镜布置为第二透镜组的情况下，对象和图像之间的关系

图19图示了在将凸透镜布置为目标光学系统的第一透镜组并且将凸透镜设置为其第二透镜组的情况下、在根据本公开的第一实施例的立体摄像装置中对象和图像之间的关系。

将第一透镜组111-1的凸透镜的焦距设置为f1，将第二透镜组111-2的凸透镜的焦距设置为f2，将第三透镜组(在摄像光学系统112中的摄像透镜组112R和112L)的凸透镜的焦距设置为f3，将第一透镜组111-1的后侧主平面与第二透镜组111-2的前侧主平面之间的距离设置为L，并且将第二透镜组111-2的后侧主平面与第三透镜组(摄像透镜组112R和112L)的前侧主平面之间的距离设置为M。

在该示例中，对象113的经由第一透镜组111-1的凸透镜的像位置113-1的坐标是(x1、z1)，并且该像位置113-1的经由第二透镜组111-2的凸透镜的像位置113-2的坐标是(x2，z2)。此外，像位置113-2经由第三透镜组(摄像透镜组112R和112L)的凸透镜、在像位置113iR和113iL处成像。在这种情况下，位于图中的位置(x，d)处的对象113最终成像的左右图像中的成像坐标(yR，yL)由公式(10-1)和(10-2)表示。

$\mathrm{yR}=-\{x-(\mathrm{iad}/2)\frac{f1*f2}{(M-f3-f2)(L-f1-f2)-f2*f2}\}\frac{{f3}^{\′}}{d^{\′}-{f3}^{\′}}+(\mathrm{iad}/2)\frac{(L-f1-f2){f3}^{\′}}{f1*f2}...(10-1)$

$\mathrm{yL}=-\{x+(\mathrm{iad}/2)\frac{f1*f2}{(M-f3-f2)(L-f1-f2)-f2*f2}\}\frac{{f3}^{\′}}{d^{\′}-{f3}^{\′}}-(\mathrm{iad}/2)\frac{(L-f1-f2){f3}^{\′}}{f1*f2}...(10-2)$

然而，

$d^{\′}=d+\frac{f1\{(f2+f3)L+(f2-L)M\}}{(M-f3-f2)(L-f1-f2)-f2*f2}...\left(11\right)$

${f3}^{\′}=\frac{f1*f2*f3}{(M-f3-f2)(L-f1-f2)-f2*f2}...\left(12\right)$

在该配置中，相对于上述计算公式的各个项，为了便于使用执行下面所述的控制。

(1)提高目标光学系统与摄像光学系统之间的连接和拆开的容易度

当考虑目标光学系统111与摄像光学系统112之间的连接和拆开时，优选地是，即使当第二透镜组111-2的后侧主平面与第三透镜组(摄像透镜组112R和112L)的前侧主平面之间的距离M略微变化时，该变化对有效摄像机之间的距离iad′、有效焦距f3′和有效屏幕上位置没有影响。

这里，当满足关系L-f1-f2＝0时，全部这些立体拍摄参数均不依赖于M。因此，在安装有目标光学系统111的情况下，可以使得光轴方向的改变不被感觉到。因此，基本满足关系L-f1-f2＝0是有用的。当L-f1-f2＝0时，目标光学系统111的第一透镜组111-1和第二透镜组111-2具有彼此相同的焦点位置，从而满足条件1(然而，凹透镜和凸透镜的焦距的符号彼此不同)。

(2)容易地控制有效屏幕上位置

a)当摄像光学系统112的多个摄像机与光轴平行地布置时，条件1是必要的，以使得即使当安装了目标光学系统111时有效屏幕上位置也不变。

b)在不改变有效摄像机之间的距离iad′或者有效焦距f3′的条件下改变屏幕上位置。

这可以通过改变摄像光学系统112的多个摄像机的会聚来实现，但是当满足关系M-f3-f2＝0时，在不改变多个摄像机的会聚的条件下、L的变化可以与有效摄像机之间的距离iad′和有效焦距f3′无关。因此，可以仅控制有效屏幕上位置。结果，可以通过在设置了有效摄像机之间的距离和有效焦距之后改变L、来调节有效屏幕上位置。条件M-f3-f2＝0意味着第二透镜组111-2(目标光学系统111)和第三透镜组(摄像光学系统112的摄像透镜组112R和112L)具有彼此相同的焦点位置，并且满足条件2。

4-6.在将凸透镜布置为根据本公开的实施例的目标光学系统的第一透镜组，并且将凹透镜布置为第二透镜组的情况下，对象和图像之间的关系

图20图示了在将凸透镜布置为目标光学系统的第一透镜组并且将凹透镜设置为其第二透镜组的情况下、在根据本公开的第一实施例的立体摄像装置中对象和图像之间的关系。

将第一透镜组121-1的凸透镜的焦距设置为f1，将第二透镜组121-2的凹透镜的焦距设置为f2，将第三透镜组(在摄像光学系统122中的摄像透镜组122R和122L)的凹透镜的焦距设置为f3，将第一透镜组121-1的后侧主平面与第二透镜组121-2的前侧主平面之间的距离设置为L，并且将第二透镜组121-2的后侧主平面与第三透镜组(摄像透镜组122R和122L)的前侧主平面之间的距离设置为M。

在该示例中，对象123的经由第一透镜组121-1的凸透镜的像位置123-1的坐标是(x1、z1)，并且该像位置123-1的经由第二透镜组121-2的凹透镜的像位置123-2的坐标是(x2，z2)。此外，像位置123-2经由第三透镜组(摄像透镜组122R和122L)的凸透镜、在像位置123iR和123iL处成像。在该示例中，作为有效IAD的有效瞳孔EP之间的距离变得大于作为物理IAD的内部瞳孔IP之间的距离。在这种情况下，位于图中的位置(x，d)处的对象123最终成像的在左右图像中的成像坐标(yR，yL)由公式(13-1)和(13-2)表示。

$\mathrm{yR}=\{(x-(\mathrm{iad}/2)\frac{f1*f2}{((M-f3+f2)(f1-L-f2)+f2*f2)}\}\frac{{f3}^{\′}}{d^{\′}-{f3}^{\′}}-(\mathrm{iad}/2)\frac{(f1-L-f2){f3}^{\′}}{f1*f2}...(13-1)$

$\mathrm{yL}=\{(x+(\mathrm{iad}/2)\frac{f1*f2}{((M-f3+f2)(f1-L-f2)+f2*f2)}\}\frac{{f3}^{\′}}{d^{\′}-{f3}^{\′}}+(\mathrm{iad}/2)\frac{(f1-L-f2){f3}^{\′}}{f1*f2}...(13-2)$

然而，

$d^{\′}=d+\frac{f1\{(f2-f3)L+(L+f2)M\}}{(M-f3+f2)(f1-L-f2)+f2*f2}...\left(14\right)$

${f3}^{\′}=\frac{f1*f2*f3}{(M-f3+f2)(f1-L-f2)+f2*f2}...\left(15\right)$

在该配置中，相对于上述计算公式的各个项，为了便于使用执行下面所述的控制。

(1)提高目标光学系统与摄像光学系统之间的连接和拆开的容易度

当考虑目标光学系统121与摄像光学系统122之间的连接和拆开时，优选地是，即使当第二透镜组121-2的后侧主平面与第三透镜组(摄像透镜组122R和122L)的前侧主平面之间的距离M略微变化时，该变化对有效摄像机之间的距离iad′、有效焦距f3′和有效屏幕上位置没有影响。

这里，当满足关系f1-L-f2＝0时，全部这些立体拍摄参数均不依赖于M。因此，在安装有目标光学系统121的情况下，可以使得光轴方向的改变不被感觉到。因此，基本满足关系f1-L-f2＝0是有用的。当f1-L-f2＝0时，目标光学系统121的第一透镜组121-1和第二透镜组121-2具有彼此相同的焦点位置，从而满足条件1(然而，凸透镜和凹透镜的焦距的符号彼此不同)。

(2)容易地控制有效屏幕上位置

a)当摄像光学系统122的多个摄像机与光轴平行地布置时，条件1是必要的，以使得即使当安装了目标光学系统121时有效屏幕上位置也不变。

b)在不改变有效摄像机之间的距离iad′或者有效焦距f3′的条件下改变屏幕上位置。

这可以通过改变摄像光学系统122的多个摄像机的会聚来实现，但是当满足关系M-f3+f2＝0时，在不改变多个摄像机的会聚的条件下、L的变化可以与有效摄像机之间的距离iad′和有效焦距f3′无关，从而可以仅控制有效屏幕上位置。因此，可以通过在设置了有效摄像机之间的距离和有效焦距之后改变L、来调节有效屏幕上位置。条件M-f3+f2＝0意味着第二透镜组121-2(目标光学系统121)和第三透镜组(摄像光学系统122的摄像透镜组122R和122L)具有彼此相同的焦点位置，并且满足条件2(然而，凸透镜和凹透镜的焦距符号彼此不同)。

4-7.在应用于交叉方法时的计算公式

这里，将描述上述计算公式应用于交叉方法的情况。

在通过交叉方法(屏幕上位置是无限远的)而不是平行方法来执行摄像光学系统的多个摄像机的拍摄的情况下，公式(6)变为数学公式16。

$(\mathrm{iad}/2)\frac{(L+f1-f2)f{3}^{\′}}{f1*f2}+(\mathrm{iad}/2)\frac{f3}{c-f3}...\left(16\right)$

(然而，c代表距离摄像光学系统的前侧主平面的距离)

因此，公式(2-1)和(2-2)可以修改为下面的公式。

$\mathrm{yR}=\{x-(\mathrm{iad}/2)\frac{f1*f2}{(M-f3-f2)(f2-f1-L)+f2*f2}\}\frac{{f3}^{\′}}{d^{\′}-{f3}^{\′}}+(\mathrm{iad}/2)\frac{(L+f1-f2)f3}{f1*f2}$

$+(\mathrm{iad}/2)\frac{f3}{c-f3}...(17-1)$

$\mathrm{yL}=\{x+(\mathrm{iad}/2)\frac{f1*f2}{(M-f3-f2)(f2-f1-L)+f2*f2}\}\frac{{f3}^{\′}}{d^{\′}-{f3}^{\′}}-(\mathrm{iad}/2)\frac{(L+f1-f2)f3}{f1*f2}$

$-(\mathrm{iad}/2)\frac{f3}{c-f3}...(17-2)$

在目标光学系统没有安装在立体摄像装置中的状态下进行会聚，并且在将以距离c远离摄像光学系统的位置设置为屏幕上位置的情况下，将公式(16)的右侧项加到公式(6)的计算公式中。这从参考图16说明的公式(1-1)和(1-2)可以明白。在进行会聚的状态下，当安装了目标光学系统时，添加公式(16)的左侧项。

根据本实施例，对于设置有多个摄像机的摄像光学系统，组合了目标光学系统，从而可以在不改变摄像光学系统的多个摄像机之间的物理位置的条件下、改变有效摄像机与给出有效会聚(零视差)的深度位置之间的距离。

例如，经由目标光学系统的有效摄像机之间的距离的改变与摄像光学系统的摄像透镜组的焦点和目标光学系统的第二透镜组的焦点之间的距离M没有关联。因此，可以通过将目标光学系统(转换镜头)作为附件(辅助部分)添加到相关领域的摄像光学系统，来改变摄像机之间的距离。

此外，当改变会聚点时，可以仅通过调节目标光学系统的第一透镜组与第二透镜组之间的距离来移动有效会聚点。

5.根据本公开的实施例的立体摄像装置的框图

5-1.对应于条件1的配置示例

图21示出了图示根据本公开的实施例的立体摄像装置的(对应于条件1的)配置示例的框图。这里，图示了摄像机之间的距离的电动控制以及摄像处理所需要的模块。

根据本示例的立体摄像装置包括具有第一透镜组131-1和第二透镜组131-2的目标光学系统、以及分别包括摄像透镜组132R和132L和摄像透镜组133R和133L的左右摄像机134R和134L(摄像光学系统)。此外，立体摄像装置包括由摄像元件133R和133L得到的图像信号所输入到的摄像电路139R及139L、图像处理电路140、非易失性存储器141、主控制单元138、输入单元142，并且这些都经由总线以通信的方式彼此连接。此外，立体摄像装置包括IAD控制单元135、变焦控制单元136、会聚控制单元137、电动机143、144-1、144-2、145R、145L、146R和146L。

IAD控制单元135是用于调节有效摄像机之间的距离的控制机构，并且在主控制单元138的控制下驱动电动机144-1和144-2。因此，执行目标光学系统的第一透镜组131-1和第二透镜组131-2的焦距的调节，并且从而得到期望的有效摄像机之间的距离。此外，通过第一透镜组131-1的位置调节，以满足本公开的实施例中的条件1(目标光学系统的第一透镜组和第二透镜组是共焦关系)的方式来执行控制。通过精密地控制构成透镜组的每个透镜的位置来执行透镜组的焦距调节。

对于摄像光学系统，变焦控制单元136在主控制单元138的控制下驱动电动机145R和145L，并且从而对摄像透镜组132R和132L执行焦距控制。

对于视差为零处的深度位置的调节，可以以如下方式作为对策，其中会聚控制单元137在主控制单元138的控制下驱动电动机146R和146L，并且从而改变摄像光学系统中的各个摄像机134R和134L的方向(摄像机之间的距离或者光轴方向)。此时，可以仅使摄像透镜组133R和132L移动、仅使得摄像元件133R和133L移动、或者使左右摄像机134R和134L的全部移动。

可以通过目标光学系统(第一透镜组131-1和第二透镜组131-2)和摄像光学系统(摄像机134R和134L)由摄像元件133R和133L得到的已拍摄图像，被转换为图像信号，然后该经转换的信号被输入到对应的摄像电路139R和139L。在摄像电路139R和139L中，例如执行叫做白平衡的聚焦、光圈、增益调整、检测过程，并且然后由主控制单元138将所拍摄的图像存储在存储器141中。此外，虽然图中未示出，但在检测过程的结果中，反馈所需要的参数可以对于拍摄设置被反馈。

在图像处理电路140中，可以执行对于单个摄像机图像的单独处理，或者对于多个摄像机的图像处理。

主控制单元138是负责整体控制的控制单元的示例，并且基于由142根据操作输入而输入的操作输入信号或者基于存储在存储器141中的程序，来执行预定计算处理。

在该示例中，说明了双目型立体摄像装置，但不特定地限于双目型。此外，目标光学系统的第一透镜组和第二透镜组被指示为凸透镜，但在本说明书中描述的其他组合也是有效的。没有描述表示各个光学系统模块的透镜组的可变焦距机构的细节，但不限于应用本公开时的具体机构。此外，在该示例中，已经对于利用电动机的电动控制的示例进行了描述，但可以设置满足根据本公开的实施例的条件1的机械机构。

5-2.满足条件2的配置示例

图22示出了图示根据本公开的实施例的立体摄像装置的(对应于条件2的)另一个配置示例的框图。这里，图示了摄像机之间的距离和视差变为零处的深度位置的电动控制以及摄像处理所需要的模块。在图22中，将省略对于与图21的配置共同的部分的描述。

变焦控制单元153在主控制单元138的控制下驱动电动机156R和156L，并且以满足本公开的实施例中的条件2(目标光学系统的第二透镜组和摄像光学系统是共焦关系)的方式、来控制目标光学系统的第二透镜组131-2和摄像光学系统的摄像透镜组132R和132L之间的距离。图22的示例图示了这样的控制，该控制通过移动整个目标光学系统以允许目标光学系统的第二透镜组131-2和摄像光学系统的摄像透镜组132R和132L成为共焦关系，但不特定地局限于此，只要是满足条件2的机构即可。在通过变焦调节设置了有效摄像机之间的距离之后，执行在显示平面上的图像尺寸的调节。此外，可以控制图22的配置以满足条件1。

IAD控制单元152用于控制有效摄像机之间的距离的控制机构，并且在主控制单元138的控制下驱动电动机155-1和155-2，并且从而执行目标光学系统的第一透镜组131-1和第二透镜组131-2之间的焦距调节，以得到期望的有效摄像机之间的距离。

对于视差变为零处的深度位置的调节，会聚控制单元151在主控制单元138的控制下驱动电动机154，并且从而将第一透镜组131-1的位置调节到期望的深度位置。此时，在摄像光学系统中的多个摄像机(摄像透镜组132R和132L以及摄像元件133R和133L)的方向可以平行于目标光学系统的光轴方向。由于设置了任意会聚，并且其与目标光学系统的会聚合成，因此可通过计算合成会聚来执行设置。作为设置会聚的方法，可以例示为其中使像素的读取位置相对于左右摄像元件偏移的方法、其中在垂直于光轴的方向上移动摄像元件的位置并且从而使读取图像的中心位置偏移的方法等。

在上述配置中，在满足条件2的情况下，可以执行在目标光学系统中的有效摄像机之间的距离以及视差变为零处的深度位置的调节。

此外，在图21的会聚控制单元137中，执行控制以改变各个摄像机134R和134L的距离，而本示例的变焦控制单元153可以执行控制以改变各个摄像机134R和134L的方向。此外，在本示例中，已经对于其中执行利用电动机的电动控制的示例进行了描述，但可以设置满足本公开的实施例的条件2的机械机构。此外，可以采用与在图21所示的配置的说明中例示的修改示例相似的修改示例。

当在裸眼立体显示器等中、显示由多目以及双目立体摄像装置拍摄的图像时，在单独的双目型中很难实现的、对应于头部运动的运动立体视觉是可以的。伴随着这些，预计利用多目立体摄像装置进行拍摄的概率增大。本公开的实施例也可以适用于多目情况以及双目情况，并且对于在多目立体摄像装置中的调整显示处进一步的效果。当使用本公开的实施例时，可以在不改变多个摄像机的物理布局的情况下调节有效摄像机之间的距离和会聚，从而可以以简单且精确的方式、调节随着摄像机数目的增大而增加的单个摄像机的操作。

5-3.由可拆卸会聚透镜构成的目标光学系统的配置示例

根据本公开的实施例的目标光学系统可以组装到多目立体摄像装置中，也可以用作目标光学系统作为会聚透镜安装在现存的多目立体摄像装置的前面的形式。包括至少两个透镜组的转换镜头被配置为相对于立体摄像装置可拆卸，并且在根据本公开的实施例中，转换镜头用作立体摄像装置中的目标光学系统。

图23示出了图示在目标光学系统用作可拆卸会聚透镜的情况下、在根据本公开的实施例的立体图像摄取装置中的配置示例的框图。图23的示例是能够以电动方式控制有效摄像机之间的距离的示例，并且图示了用于该控制的模块。例如，省略了与图21的变焦控制单元136和会聚控制单元137对应的说明。

转换镜头161被配置为包括第一透镜组161-1和第二透镜组161-2，并且用作根据本发明的实施例的目标光学系统。另一方面，本示例中的立体摄像装置包括IAD控制单元163，其控制所安装的转换镜头161的第一透镜组161-1和第二透镜组161-2的聚焦位置等。

IAD控制单元163在主控制单元138的控制下驱动电动机164、165-1和165-2，并且执行转换镜头161的第一透镜组161-1和第二透镜组161-2的焦距调节以及第一透镜组161-1的位置调节。以这样的方式，IAD控制单元163以满足根据本公开的实施例的条件1(目标光学系统的第一透镜组和第二透镜组是共焦关系)的方式执行控制。

在根据本公开的实施例的条件1中对于摄像光学系统与目标光学系统之间的距离没有限制，因此本公开的实施例对于现有的多目立体摄像装置适合用作转换镜头。

此外，在本示例中，已经对于其中执行利用电动机的电动控制的示例进行了描述，但可以设置满足根据本公开的实施例的条件1的机械机构。

此外，当转换镜头161安装在立体摄像装置中时，可以以满足根据本公开的实施例的条件2(目标光学系统的第二透镜组和摄像光学系统是共焦关系)的方式来设计。此外，可以采用与在图21和22所示的配置的描述中例示的修改示例相似的修改示例。

5-4.物镜光学他由具有固定焦距的会聚透镜构成的配置示例

图24示出了图示在目标光学系统用作焦距固定的转换镜头的情况下、根据本公开的实施例的立体摄像装置中的配置示例的框图。

用作根据本公开的实施例的目标光学系统的转换镜头171被配置为包括第一透镜组171-1和第二透镜组171-2。在转换镜头171中，以满足根据本公开的实施例的条件1(目标光学系统的第一透镜组和第二透镜组是共焦关系)的方式设计固定焦距。

在满足根据本公开的实施例的条件1的情况下，由于对目标光学系统和摄像光学系统之间的距离没有限制，因此转换镜头171可以设置为其中只有转换镜头(目标光学系统)被添加到现有的多目立体摄像装置中的形式。作为简单的示例，转换镜头171可以以如下方式设置为转换镜头，其中目标光学系统的第一透镜组和第二透镜组的焦距固定，并且有效摄像机之间的距离以恒定的放大倍率放大(缩小)。

此外，当转换镜头171安装在立体摄像装置中时，可以以满足根据本公开的实施例的条件2(目标光学系统的第二透镜组和摄像光学系统是共焦关系)的方式设计。此外，在图24中，目标光学系统的第一透镜组171-1和第二透镜组171-2被图示为凸透镜，但在本说明书中所述的其他透镜组合也是有效的。

如上所述，根据本公开的实施例，当对于设置有多个摄像机的、可以设置任意摄像机间距离和会聚的多目立体摄像装置应用本公开的实施例时，可以在不受多个摄像机的物理位置的限制的约束的情况下改变摄像机之间的距离和会聚。

此外，当使用本公开的实施例时，可以通过设置在多个摄像机的前面的目标光学系统来进行有效摄像机之间的距离的调节或者会聚的调节。因此，由于可以在不需要调整用于各个拍摄的单个摄像机的位置的情况下进行摄像机之间的距离的调节或者会聚的调节，因此可以实现在开始拍摄之前调节时间的减少，或者多目立体摄像装置中的互锁机构的简化(条件1)。

此外，在根据本公开的实施例的目标光学系统中，可以通过在进行了有效摄像机之间的距离的调节之后由透镜移动机构仅控制目标光学系统中的L，来进行有效会聚的调节。因此，在有效摄像机之间的距离恒定等的场景中、在设置了有效摄像机之间的距离之后进行会聚的调节的情况下，可以实现用户操作或者镜头控制系统的简化(条件2)。

6.由三个透镜组构成的目标光学系统的配置示例

下面，将与相关领域的示例相比较地描述由三个透镜组构成的目标光学系统。

首先，将描述在日本未审查专利申请No.2003-5313中公开的技术。在日本未审查专利申请No.2003-5313中，在缩放比例分为目标光学系统中的缩放比例和摄像光学系统中的缩放比例的情况下，并且当使一侧的放大倍率增大、使另一侧的放大倍率减小以使得整个放大倍率恒定时，可以得到立体效果改变的操作。此时，配置为IAD和会聚焦点同时变化的方式。没有公开分开控制IAD和会聚的技术。

在本说明书中，公开了作为立体视觉的重要项目的IAD控制以及在确定IAD之后的会聚控制。

(1)通过控制IAD将IAD转换为具有期望值的技术的公开

通过使得IAD可变或者通过在IAD固定的情况下改变目标光学系统，来得到期望的IAD。作为实现该配置的方式，将无焦光学系统布置在多个摄像机的前面。IAD是涉及多个摄像机的概念，并且在本公开的实施例中，进行IAD控制。这与在单个摄像机的前面布置转换镜头的配置基本不同。

(2)在确定IAD之后进行会聚控制的技术的公开

公开了关于在维持IAD的同时做什么来改变会聚的技术。

作为实现该技术的方式，可以以如下配置为示例，其中使得目标光学系统的两个透镜组与摄像光学系统具有彼此相同的焦平面，并且然后使得目标光学系统是无焦光学系统的配置不满足。此外，即使当目标光学系统不是由两个透镜组构成的情况下，当把目标光学系统看作是由等效地两个组构成的镜头时，也可以应用本公开的实施例。

图25示出了图示在目标光学系统由三个透镜组构成的情况下、根据本公开的实施例的立体摄像装置中的示例的说明图。图25至28所示的瞳孔是在使用目标光学系统的情况下的瞳孔，从而该瞳孔是被看作为内部瞳孔的瞳孔。然而，这里，不执行会聚位置的设置，从而该瞳孔与当取消目标光学系统时的瞳孔相同。

在该图中，图示了在由第一至第三透镜组181至183构成的目标光学系统是无焦光学系统的情况下进行IAD转换。第一至第三透镜组181至183的焦距是f1、f2和f3。通过物理摄像机184R和184L的瞳孔并且与像平面垂直的光束，即使当光束通过无焦光学系统时也与物理摄像机的方向平行。因此，在物理摄像机184R和184L的镜头中心轴线上的瞳孔与作为通过目标光学系统得到的图像的有效瞳孔EP，用作双目立体摄像装置的瞳孔。因此，通过与摄像机的方向平行的有效瞳孔EP的光束与左右物理摄像机184R和184L的中心线之间的距离ed/2成为有效IAD/2。从图中可以看出，有效IAD的距离ed被转换成小于物理IAD的距离iad。

图26图示了在日本未审查专利申请No.2003-5313中说明的、焦点调整时目标光学系统的形状。

图26图示了图25所示的入射光束在焦点调整时以什么方式前进。当使第一透镜组181朝向对象侧移动长度Δ时，目标光学系统的放大倍率改变并且无焦光学系统的条件不满足，从而目标光学系统不再是无焦光学系统。因此，在目标光学系统是无焦光学系统的情况下通过摄像光学系统(物理摄像机184L)的瞳孔并且与像平面垂直的光束(图25)、从瞳孔偏离并且从而与像平面的角度也发生变化。结果，作为立体视觉的重要控制因素的IAD也发生变化。具体而言，在日本未审查专利申请No.2003-5313中描述了自然的立体效果，但没有公开自然立体效果的背景。

图27图示了在图26的目标光学系统中，通过物理摄像机的瞳孔并且与像平面垂直的光束的入射方向。

如图所示，使图25的有效瞳孔的位置移动，并且使入射方向与目标光学系统的中心轴不同。结果，IAD改变并且会聚也改变。如本说明书所描述的，当试图在不改变IAD的同时来改变会聚时，由于在目标光学系统和摄像光学系统中存在条件，因此仅通过在日本未审查专利申请No.2003-5313中公开的技术细节很难将IAD和会聚控制为期望的状态。

图28示出了图示在根据本公开的实施例的立体摄像装置中的IAD控制的说明图。

即使当没有对摄像光学系统设置条件时，当与本公开的实施例类似以目标光学系统满足无焦光学系统的条件的方式执行控制时，也可以控制IAD。即，可以控制有效IAD/物理IAD的转换率。根据本公开的实施例的技术，如图28所示，当结合位于距离对象侧的第三位置处的第三透镜组183来控制图26所示的第一透镜组181的移动时，可以实现目的在于IAD控制的目标光学系统的控制。在该示例中，有效瞳孔EP′时的有效IAD/2的距离变得比焦点调节之前的有效IAD/2的距离h短。此外，图28所示的目标光学系统是根据本公开的实施例的目标光学系统的示例，但在可变倍率的情况下不限于该配置。

日本未审查专利申请No.2003-5313公开了通过图26的镜头控制进行焦点调节并且立体效果发生变化。与此相反，在根据本公开的实施例的该光学系统中的焦点调节可以通过至少在摄像光学系统中进行焦点调整来解决。

如上所述，在根据本公开的实施例的立体摄像装置中使用的目标光学系统可以由至少两个透镜组构成。此外，摄像光学系统可以由至少一个摄像透镜构成。

此外，根据本公开的实施例的立体摄像装置不仅可以用于立体摄像装置，而且可以用于距离测量装置。即使在距离测量装置中，当可以在不受多个摄像机的物理位置的限制的制约的情况下改变有效摄像机之间的距离和会聚时，对于距离侧量也非常有效。例如，当使有效IAD较大时，预计测量距离变得较长，并且相反地当使得有效IAD较短时，预计测量距离变得较短。因此，当调节有效IAD并且将其设置为较大值时，可以提高测量精度。

此外，本技术可以具有如下配置。

(1)一种立体摄像装置，包括：无焦光学系统的目标光学系统，其包括将对象形成为真实图像或虚拟图像并且布置在相同光轴上的两个或更多个透镜组；

多个摄像光学系统，其允许从所述目标光学系统的不同路径发出的多个对象光束通过多个单独的透镜组成像为单独的图像；以及

多个摄像元件，其与所述多个摄像光学系统对应地设置，并且将通过所述多个摄像光学系统成像的图像转换为图像信号。

(2)根据项目(1)所述的立体摄像装置，

其中在所述目标光学系统由两个透镜组等效地构成的情况下，使得所述目标光学系统的透镜组当中的位于所述摄像光学系统侧的透镜组、与所述摄像光学系统的各个透镜组具有彼此相同的焦平面，并且改变所述目标光学系统的对象侧透镜组与所述摄像光学系统侧透镜组之间的在光轴上的距离。

(3)根据项目(1)所述的立体摄像装置，

其中在所述目标光学系统由两个透镜组等效地构成的情况下，第一透镜组和第二透镜组具有彼此相同的焦平面。

(4)根据项目(3)所述的立体摄像装置，

其中在所述第一透镜组和所述第二透镜组具有彼此相同的焦平面的状态下，所述目标光学系统的透镜组当中的位于所述摄像光学系统侧的所述第二透镜组、与所述摄像光学系统的各个光学系统具有彼此相同的焦平面。

(5)根据项目(1)至(4)中的任一项所述的立体摄像装置，还包括：控制单元，其执行第一控制，所述第一控制通过改变所述第一透镜组与所述第二透镜组之间在光轴上的距离来使得所述第一透镜组和所述第二透镜组具有彼此相同的焦点。

(6)根据项目(1)至(5)中的任一项所述的立体摄像装置，还包括：控制单元，其执行第二控制，所述第二控制通过改变所述目标光学系统的各个透镜组的焦距并且改变所述目标光学系统的放大倍率来改变有效摄像光学系统之间的距离。

(7)根据项目(2)至(6)中的任一项所述的立体摄像装置，还包括：控制单元，其执行第三控制，所述第三控制使得所述目标光学系统的透镜组当中的位于所述摄像光学系统侧的第二透镜组与所述摄像光学系统的各个光学系统具有彼此相同的焦平面。

(8)根据项目(2)至(7)中的任一项所述的立体摄像装置，其中所述控制单元还包括执行第四控制的控制单元，所述第四控制在所述目标光学系统的透镜组当中的位于所述摄像光学系统侧的第二透镜组、与所述摄像光学系统的各个透镜组具有彼此相同的焦平面的状态下，改变所述目标光学系统中的第一透镜组与第二透镜组之间在光轴上的距离。

(9)根据项目(2)至(8)中的任一项所述的立体摄像装置，其中当假设所述目标光学系统的第一透镜组和第二透镜组的各个是一个透镜时，所述第一透镜组和所述第二透镜组的组合包括凸透镜和凸透镜的组合、凸透镜和凹透镜的组合以及凹透镜和凸透镜的组合。

(10)根据项目(1)至(9)中的任一项所述的立体摄像装置，其中所述目标光学系统被配置为相对于所述立体摄像装置是可拆卸的。

(11)一种在通过立体摄像装置执行立体摄像时的立体摄像方法，所述立体摄像装置包括无焦光学系统的目标光学系统，其包括将对象形成为真实图像或虚拟图像并且布置在相同光轴上的两个或更多个透镜组；多个摄像光学系统，其允许从所述目标光学系统的不同路径发出的多个对象光束通过多个单独的透镜组成像为单独的图像；以及多个摄像元件，其与所述多个摄像光学系统对应地设置，并且将通过所述多个摄像光学系统成像的图像转换为图像信号，

其中通过改变所述目标光学系统的各个透镜组的焦距以及所述各个透镜组之间在光轴上的距离、将所述目标光学系统设置为无焦光学系统，并且

通过改变所述目标光学系统的放大倍率来改变有效摄像光学系统之间的距离。

本公开包含涉及在于2011年3月31日在日本专利局提交的日本优先专利申请JP 2011-081306中公开的主题，该申请的全部内容通过引用结合于此。

本领域的技术人员应该明白，在所附权利要求或其等同物的范围内，根据设计需求和其他因素可以发生各种修改、组合、子组合和变体。

Claims (6)

1.一种立体摄像装置，包括： 

无焦光学系统的目标光学系统，其包括将对象形成为真实图像或虚拟图像并且布置在相同光轴上的两个或更多个透镜组； 

多个摄像光学系统，其允许从所述目标光学系统的不同路径发出的多个对象光束通过多个单独的透镜组成像为单独的图像；以及 

多个摄像元件，其与所述多个摄像光学系统对应地设置，并且将通过所述多个摄像光学系统成像的图像转换为图像信号。 

2.根据权利要求1所述的立体摄像装置， 

其中在所述目标光学系统由两个透镜组等效地构成的情况下，使得所述目标光学系统的透镜组当中的位于所述摄像光学系统侧的透镜组、与所述摄像光学系统的各个透镜组具有彼此相同的焦平面，并且改变所述目标光学系统的对象侧透镜组与所述摄像光学系统侧透镜组之间的在光轴上的距离。 

3.根据权利要求1所述的立体摄像装置， 

其中在所述目标光学系统由两个透镜组等效地构成的情况下，第一透镜组和第二透镜组具有彼此相同的焦平面。 

4.根据权利要求3所述的立体摄像装置， 

其中在所述第一透镜组和所述第二透镜组具有彼此相同的焦平面的状态下，所述目标光学系统的透镜组当中的位于所述摄像光学系统侧的所述第二透镜组、与所述摄像光学系统的各个光学系统具有彼此相同的焦平面。 

5.根据权利要求2所述的立体摄像装置， 

其中当假设所述目标光学系统的第一透镜组和第二透镜组的各个是一个透镜时，所述第一透镜组和所述第二透镜组的组合包括凸透镜和凸透镜的组合、凸透镜和凹透镜的组合以及凹透镜和凸透镜的组合。 

6.根据权利要求1所述的立体摄像装置， 

其中所述目标光学系统被配置为相对于所述立体摄像装置是可拆卸 的。 

Images