CN104460011B - 立体成像装置和立体图像生成方法 - Google Patents

立体成像装置和立体图像生成方法 Download PDF

Info

Publication number
CN104460011B
CN104460011B CN201410469995.6A CN201410469995A CN104460011B CN 104460011 B CN104460011 B CN 104460011B CN 201410469995 A CN201410469995 A CN 201410469995A CN 104460011 B CN104460011 B CN 104460011B
Authority
CN
China
Prior art keywords
reflecting surface
imaging unit
image
angle
luminous flux
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410469995.6A
Other languages
English (en)
Other versions
CN104460011A (zh
Inventor
佐藤辉幸
觉幸典弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN104460011A publication Critical patent/CN104460011A/zh
Application granted granted Critical
Publication of CN104460011B publication Critical patent/CN104460011B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/34—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/225—Image signal generators using stereoscopic image cameras using a single 2D image sensor using parallax barriers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00—Systems with reflecting surfaces, with or without refracting elements
    • G02B17/02—Catoptric systems, e.g. image erecting and reversing system
    • G02B17/06—Catoptric systems, e.g. image erecting and reversing system using mirrors only, i.e. having only one curved mirror
    • G02B17/0694—Catoptric systems, e.g. image erecting and reversing system using mirrors only, i.e. having only one curved mirror with variable magnification or multiple imaging planes, including multispectral systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/1066—Beam splitting or combining systems for enhancing image performance, like resolution, pixel numbers, dual magnifications or dynamic range, by tiling, slicing or overlapping fields of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/34—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
    • G02B30/35—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers using reflective optical elements in the optical path between the images and the observer
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/34—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
    • G02B30/36—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers using refractive optical elements, e.g. prisms, in the optical path between the images and the observer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种立体成像装置和立体图像生成方法。立体成像装置包括：生成图像的成像单元；立体适配器，该立体适配器安装在成像单元的前方并且将来自对象的光沿着视差方向分成第一光通量和第二光通量以及引导第一光通量和第二光通量，以使得第一光通量和第二光通量在垂直于视差方向的方向上并排入射到成像单元上；以及立体图像生成单元，该立体图像生成单元基于图像生成立体图像。立体图像生成单元包括：划分单元，该划分单元沿着垂直于视差方向的方向将图像划分成两个子图像；水平方向校正单元，该水平方向校正单元对两个子图像中的对象的任意旋转进行校正；及梯形失真校正单元，该梯形失真校正单元对两个子图像中的对象的任意梯形失真进行校正。

Description

立体成像装置和立体图像生成方法
技术领域
文中所讨论的实施方式涉及用于通过使用能够从两个不同方向捕捉对象的图像的立体适配器来生成立体图像的立体成像装置和立体图像生成方法。
背景技术
针对再现立体像的研究已经进行了许多年。在一种已知的再现立体像的方法中，并排显示从不同方向对对象进行成像而捕捉的两个图像，将一个图像呈现给观看者的左眼并且将另一图像呈现给观看者的右眼。在这种方法中使用的图像对被称为立体图像。
为了生成立体图像，已知的是使用安装在单目摄像机的成像透镜的前方的立体适配器，以使得从不同方向观看的相同对象的两个图像分别聚焦到摄像机的像平面的左半部分和右半部分(例如，参考日本公开特许公报No.H01-279235)。例如，立体适配器包括在水平方向上关于立体适配器的中心对称设置的两个镜对，以使得从两个不同视点捕捉的对象的图像可以形成在摄像机的图像传感器上。在每个镜对中，内侧镜位于成像透镜的前方，以及内侧镜的反射面面向成像透镜并且相对于成像透镜的光轴朝向水平方向倾斜。然后，来自对象的被在水平方向上相对于成像透镜设置在内侧镜的外侧并且具有被取向以面向对象的反射面的外侧镜反射的光通量被内侧镜反射并且重新导向到成像透镜。以此方式，从各外侧镜的位置处观看的对象的图像分别形成在成像传感器的像平面的左半部分和右半部分上。可以根据通过使用立体适配器拍摄对象而获得的图像的左半部分和右半部分对包含对象的图像的区域进行修整以获得构成立体图像对的左眼图像和右眼图像。
然而，当使用在日本公开特许公报No.H01-279235中所公开的立体适配器来创建立体图像时，在其中出现视差的视差方向上的左眼图像和右眼图像中的每个图像的视角变为成像透镜的水平视角的一半。因此，在视差方向上的包含在每个图像中的空间的范围很小。解决这个问题的一种可能的方法是通过使用两个摄像机分别创建左眼图像和右眼图像。然而，当对象是运动物体时，如果在两个摄像机之间的拍摄定时是不同步的，则包含在左眼图像中的对象的位置可能与包含在右眼图像中的对象的位置或取向不匹配。如果出现这种情况，则根据左眼图像和右眼图像不能正确地再现立体像。特别地，当使用立体图像来测量距运动物体的距离时，不能正确地再现立体像将显著地降低测量的精度。因此，当使用两个摄像机创建立体图像时，就需要提供一种用于对两个摄像机之间的拍摄定时进行同步的机构。
另一方面，为了在用于立体图像拍摄的附接物中使用，提出以下技术：以在垂直于视差方向的方向上使光通量并排布置的方式通过将针对左眼的光通量和针对右眼的光通量引导至成像透镜来增大在视差方向上的视场(例如，参考日本公开特许公报No.H07-134345、2000-81331、H08-171151、H08-234339和2004-4869)。
发明内容
如果在垂直于视差方向的方向上针对左眼的光通量和针对右眼的光通量是并排布置的，则在垂直于视差方向的方向上的对象的位置变成位于左眼图像与右眼图像之间。因此，采用上述专利文献中公开的技术，用于补偿位置位移的附接物的光学系统是复杂的，不仅增大了附接物的大小，而且增加了附接物的成本。
例如，在日本公开特许公报No.H07-134345所公开的技术中，使用棱镜以对针对左眼的光通量与针对右眼的光通量之间的垂直位置位移进行补偿。
另一方面，在日本公开特许公报No.2000-81331所公开的技术中，通过使用掺杂棱镜使针对左眼的光通量和针对右眼的光通量中的每个转过90°，并且被并排聚焦到图像传感器上。
此外，在日本公开特许公报No.H08-171151、H08-234339和2004-4869所公开的技术中，因为针对左眼的光学器件和针对右眼的光学器件中的每个包括聚焦透镜，所以附接物实际上具有双目配置。因此，如果附接物被安装在成像光学器件的前方使用，则需要设置会聚透镜以用于当被聚焦透镜会聚时将光通量重新转换成平行的光通量。这增大了附接物的大小，使得用户难以操控附接物。此外，因为光学器件是复杂的，所以还增加了附接物的成本。
因此，本发明的目的是提供一种可以简化立体适配器的光学系统同时确保在视差方向上的视角和成像透镜的视角近似相同的立体成像装置。
根据一个实施方式，提供了一种立体成像装置。立体成像装置包括：成像单元，该成像单元通过拍摄对象来生成图像；立体适配器，该立体适配器安装在成像单元的前方，以及该立体适配器将来自对象的光沿着视差方向分成第一光通量和第二光通量并且引导第一光通量和第二光通量，以使得第一光通量和第二光通量在垂直于视差方向的方向上并排入射到成像单元上，并且使得在第一光通量中任何当进入立体适配器时平行于成像单元的光轴的光线通过与当其离开立体适配器时相对于光轴形成第一角度以更接近于第二光通量，并且在第二光通量中任何当进入立体适配器时平行于光轴的光线通过与当其离开立体适配器时相对于光轴形成第一角度以更接近于第一光通量；以及立体图像生成单元，该立体图像生成单元基于图像生成立体图像。立体图像生成单元包括：划分单元，该划分单元沿着垂直于视差方向的方向将图像划分成第一光通量入射到其上的第一区域和第二光通量入射到其上的第二区域，并且该划分单元输出第一区域作为立体图像的针对一只眼睛的第一子图像和输出第二区域作为立体图像的针对另一只眼睛的第二子图像；水平方向校正单元，该水平方向校正单元对出现在第一子图像和第二子图像中的与第一角度成比例的对象的任意旋转进行校正；及梯形失真校正单元，该梯形失真校正单元对出现在第一子图像和第二子图像中的与第一角度成比例的对象的任意梯形失真进行校正。
附图说明
图1是示意性地示出了结合立体图像生成装置的立体成像装置的配置的图。
图2A是立体适配器的光学系统的平面图。
图2B是从图2A中的箭头A的方向观看的立体适配器的光学系统的侧视图。
图2C是从图2A中的箭头B的方向观看的立体适配器的光学系统的侧视图。
图3是示出了构成立体适配器中的一个镜对的镜之间的位置关系的一个示例的图。
图4是示出了反射面上的入射光线的入射角与反射光线的反射角之间的关系的图。
图5是示出了对于构成立体适配器中的一个镜对的镜中的每个镜的光线的入射角与反射角之间的关系的一个示例的图。
图6A示出了当外侧镜既不向前倾斜也不向后倾斜时通过成像单元生成的图像的一个示例。
图6B示出了当外侧镜分别向前倾斜和向后倾斜时通过成像单元生成的图像的一个示例。
图7是示出了根据一个实施方式的立体图像生成装置的配置的图。
图8是用来说明由于立体适配器中的外侧镜引起的对象的图像的旋转的图。
图9是示出了不会引起任何梯形失真的像平面和物平面的布置的图。
图10是示出了平面投影变换模型的图。
图11是示出了平面投影变换模型的修改示例的图。
图12是立体图像生成处理的操作流程图。
图13是示出了根据每个实施方式或其修改示例通过执行用于实现构成立体图像生成装置的各种单元的功能的计算机程序作为立体图像生成装置操作的计算机的配置的图。
具体实施方式
将参照附图在下面描述根据一个实施方式的立体图像生成装置和结合立体图像生成装置的立体成像装置。立体成像装置使用具有两个镜对的立体适配器根据通过拍摄对象而获得的图像来生成立体图像，镜对将针对左眼的光通量和针对右眼的光通量引导朝向单目摄像机的成像光学器件，以使得相应的光通量在垂直于视差方向的方向上并排入射到成像光学器件上。立体适配器对针对左眼的光通量进行引导，以使得任何当进入立体适配器时平行于成像光学器件的光轴的光线通过与当其离开立体适配器时相对于光轴形成指定角度更接近于针对右眼的光通量。类似地，立体适配器对针对右眼的光通量进行引导，以使得任何当进入立体适配器时平行于成像光学器件的光轴的光线通过与当其离开立体适配器时相对于光轴形成指定角度更接近于针对左眼的光通量。立体成像装置沿着垂直于视差方向的方向将图像划分为左眼图像(第一子图像)和右眼图像(第二子图像)。然后，立体图像生成装置对由于指定角度而引起的出现在左眼图像和右眼图像中的对象的任意旋转和梯形失真进行校正。
在本实施方式中，立体图像生成装置被结合到可附接有立体适配器的数字摄像机、配备有摄像机的移动电话或配备有摄像机的便携式信息终端中。
图1是示意性地示出了结合立体图像生成装置的数字摄像机的配置的图。
如图1所示，数字摄像机1是立体成像装置的一个示例，除了立体图像生成装置6以外包括成像单元2、操作单元3、显示单元4、存储单元5、控制单元7以及立体适配器8。数字摄像机1还可以包括符合诸如通用串行总线的串行总线标准的接口电路(未示出)，以将数字摄像机1连接至诸如计算机或电视接收机的其他装置。例如，控制单元7经由总线连接至数字摄像机1的其他组成元件。
成像单元2包括具有布置成二维的固态成像设备阵列的图像传感器，以及用于将通过立体适配器8捕捉的对象的图像分别聚焦到图像传感器的上半部分和下半部分的成像光学器件。成像单元2分别在上半部分图像区域和下半部分图像区域上形成对象的图像。每当生成图像时，成像单元2将生成的图像发送给立体图像生成装置6。
例如，操作单元3包括各种类型的操作按钮或拨盘开关以供用户操作数字摄像机1。然后，响应于用户的操作，操作单元3给控制单元7发送用于开始拍摄、聚焦、或其他动作的控制信号，或者用于设置快门速度、孔径开口等的设置信号。
例如，显示单元4包括诸如液晶显示设备的显示设备，并且对从控制单元7接收的各种类型的信息或由成像单元2生成的图像进行显示。例如，使用触摸面板显示器可以将操作单元3和显示单元4组合成一个单元。
例如，存储单元5包括可读/可写易失性或非易失性半导体存储器电路。存储单元5存储由立体图像生成装置6生成的立体图像。存储单元5还可以存储从成像单元2接收的图像。如果立体图像生成装置6的功能是通过执行结合在控制单元7中的处理器上的计算机程序来实现的，则计算机程序可以被存储在存储单元5中。
立体图像生成装置6根据通过使用立体适配器8拍摄对象而捕捉的图像来修整包含与被捕捉的图像的上半部分对应的对象的图像的区域来生成左眼图像，以及根据被捕捉的图像来修整包含与被捕捉的图像的下半部分对应的对象的图像的区域来生成右眼图像。为了简单起见，左眼图像在下文中被称为左图像，以及右眼图像被称为右图像。立体图像生成装置6对由于立体适配器8中的镜对的布置而引起的出现在左图像和右图像中的对象的任意旋转和梯形失真进行校正。将在后面描述立体图像生成装置6的细节。
控制单元7包括至少一个处理器及其外围电路。控制单元7对数字摄像机1的整个操作进行控制。
立体适配器8可拆卸地安装在成像单元2的成像透镜系统的前方。为此，立体适配器8包括用于将立体适配器8安装到成像单元2的前方的安装机构(未示出)。立体适配器8还包括用于将从两个不同方向观看的对象的图像形成到成像单元2的像平面上的两个镜对。立体适配器8和成像单元2可以集成到一个透镜镜筒中。
在本实施方式中，立体适配器8安装在成像单元2上，以使得视差方向与水平方向一致，以及垂直于视差方向的方向与垂直方向一致。因此，在视差方向上左图像和右图像中的每个图像的视角与成像单元2的水平视角大致上相同。
图2A是立体适配器8的光学系统的平面图。图2B是从图2A中的箭头A的方向观看的立体适配器的光学系统的侧视图。图2C是从图2A中的箭头B的方向观看的立体适配器的光学系统的侧视图。如图2A至图2C所示，立体适配器8包括针对左眼的一对镜81a和镜82a以及针对右眼的一对镜81b和镜82b。在本实施方式中，每个镜都是没有光学放大率的平面镜。设置针对左眼的一对镜81a和镜82a以及针对右眼的一对镜81b和镜82b以使其当被安装到数字摄像机1上时在立体适配器8的水平方向上关于成像单元2的光轴OA彼此对称。镜81a和镜81b位于成像单元2的成像光学器件的前方并且在立体适配器8的垂直方向(即，垂直于视差方向的方向)上并排布置。包括成像单元2的光轴OA的水平面对镜81a与镜81b之间的边界进行了限定。
镜82a和镜82b从对象200接收光通量B1和光通量B2并且将其朝向相应的镜81a和镜81b反射。然后，光通量B1和光通量B2被相应的镜81a和镜81b反射到成像单元2的成像光学器件中。对每个镜的取向进行调节，以使得对象200的图像分别聚焦到成像单元2中的图像传感器的上半部分区域和下半部分区域上。
更特别地，对镜81a进行取向，以使其反射面面向成像单元2并且相对于成像单元2的入射光瞳面绕垂直轴线旋转-θ角，例如旋转-45°角。另一方面，对镜81b进行取向，以使其反射面面向成像单元2并且相对于成像单元2的入射光瞳面在与镜81a的方向相反的方向上绕垂直轴线旋转θ角，例如，旋转45°角。当镜相对于入射光瞳面沿着逆时针方向旋转时，角度θ的符号为正。
镜82a和镜82b被设置在相应的镜81a和镜81b的外部。对镜82a和镜82b的反射面进行取向以使其面向对象。设置镜82a以使其反射面相对于其图像被聚焦到成像单元2的像平面上的物平面绕垂直轴线旋转θ°。更特别地，镜82a相对于成像单元2的入射光瞳面绕垂直轴线旋转(π-θ)角，例如，135°角。另一方面，设置镜82b以使其反射面相对于物平面在与镜82a的方向相反的方向上绕垂直轴线旋转-θ°。更特别地，镜82b相对于成像单元2的入射光瞳面绕垂直轴线旋转(θ-π)角，例如，-135°角。
如果镜被布置成其反射面平行于垂直方向，则光通量B1通过包含成像单元2的光轴的水平面的上面，以及光通量B2通过水平面的下面。因此，包含在由成像单元2生成的图像的上半部分中的图像和包含在下半部分中的图像彼此不交叠，从而使得立体图像生成装置6不能根据所生成的图像来创建立体图像。
因此，在本实施方式中，镜82a的反射面绕垂直于垂直轴线且平行于反射面的轴线向前倾斜φ角，以使得光通量B1和光通量B2在相较于立体适配器8更靠近物体的区域中至少部分地彼此交叠。类似地，镜82b的反射面绕垂直于垂直轴线且平行于反射面的轴线向后倾斜φ角。因此，平行于光轴OA的入射光线201相对于包含光轴OA的水平面被镜82a向下反射与向前倾斜角成比例的一定角度。相反地，平行于光轴OA的入射光线202相对于包含光轴OA的水平面被镜82b向上反射与向后倾斜角成比例的一定角度。
接下来，将参照图3详细描述各镜之间的位置关系，图3示出了针对右眼的一对镜81b和镜82b的布置。在图3中，平行于成像单元2的成像光学器件的入射光瞳面的方向作为x轴，平行于成像单元2的光轴的方向作为z轴。另外，垂直方向作为y轴。在y＝0处的水平面与针对左眼的一对镜81a和镜82a与针对右眼的一对镜81b和镜82b之间的边界平面对应。设φ表示成像单元2的水平视角，以及θ(α＝tanθ)表示镜81b相对于x轴的倾斜角。此外，设m1代表沿着成像单元2的光轴从入射光瞳面到镜81b的距离，以及l代表沿着光轴从入射光瞳到立体适配器8的物体侧上的孔径面的长度。
在这种情况下，具有θ角的切断面301从入射光瞳面的顶点穿过由扩展水平视角φ的长度l的三角形所代表的主光线通量B的物体侧孔径面上的端点以线对称的方式相对于内侧镜81b的反射面移动到的位置是外侧镜82b的位置。镜81b的反射面由直线z＝ax+m1来表示。从上面可以看出，基线长度B1(即，左眼视点与右眼视点之间的距离)以及立体适配器8中的每个镜的左边缘与右边缘之间的距离是明确表示的。更特别地，可以根据相对于直线z＝ax+m1以线对称方式设置的点A和点B的坐标(ltanφ/2，l)和(0，m2′)来计算镜82b的右边缘的坐标(xR，zR)和平行于成像单元2的光轴的主光线与镜82b的反射面相交处的点的坐标(x0，z0)。
更特别地，镜82b的右边缘的坐标(xR，zR)如下给出：
如果θ＝45°(a＝1)，则(xR，zR)如下给出：
xR＝l-m1:不依赖于
另一方面，坐标(x0，z0)可以通过以下步骤得出：
如果θ＝45°(a＝1)，则X0如下给出：
因为x0乘以2等于基线长度B1，所以如果m1是固定的，则基线长度B1的一半等于xR减去立体适配器8的一半孔径。换句话说，如果xR是确定的，则基线长度B1可以随着水平视角变小而变长。
接下来，将描述如何明确表示针对从入射光瞳面到内侧镜81b的距离m1的约束条件。为了使光通量B不被镜81b晕映，从物体侧入射到外侧镜82b的左边缘上的光线需要处于镜81b的最右边缘(x1，z1)的外面。在位于距入射光瞳面的距离为z(即，从入射光瞳面到镜82b的最右边缘的距离)的位置处左边缘光线穿过的坐标(xL，zL)如下给出：
另一方面，镜81b的最右边缘(x1，z1)是代表镜81b的反射面的直线z＝ax+m1和代表光通量B中的右边缘光线的直线z＝x/tan(φ/2)相交的位置。因此，下述公式成立。
如果在公式(6)中θ＝45°(a＝1)，则因为xR＝1-m1，所以下述公式成立。
也就是说，需要设定距离m1以满足公式(7)。
接下来，将描述针对外侧镜82a的向前倾斜角和镜82b的向后倾斜角的约束条件。向前倾斜角和向后倾斜角通过镜绕垂直轴线的倾斜角θ和成像单元2的成像光学器件的垂直视角φv来确定。
为了使包含在由成像单元2生成的图像的上半部分中的图像和包含在下半部分中的图像彼此交叠而不考虑距成像单元2的距离的情况下，优选地的是使与上半部分的视场的中心对应的光线和与下半部分的视场的中心对应的光线在对象侧彼此平行。换句话说，优选地的是设定镜82a的向前倾斜角，以使得当以平行于成像单元2的光轴的方式入射到将光通量指引到成像单元2的入射光瞳面的上半部分的镜82a的中心上的光线离开立体适配器8时，光线在垂直方向上相对于光轴的夹角为φv/4。类似地，优选地的是设定镜82b的向后倾斜角，以使得当以平行于成像单元2的光轴的方式入射到将光通量指引到成像单元2的入射光瞳面的下半部分的镜82b的中心上的光线离开立体适配器8时，光线在垂直方向上相对于光轴的夹角为φv/4。
图4是示出了反射面上的入射光线的入射角与反射光线的反射角之间的关系的图。在图4中，设f表示反射面400上的入射光线的单位方向向量，n表示反射面400的法向向量，以及r表示反射光线的单位方向向量。因为入射角等于反射角，所以在各向量之间的下述关系成立。
对于一对左眼镜81a和82a，从成像单元2侧入射到内侧镜81a的光线的单位方向向量由a＝(0，sinφv/4，cosφv/4)表示，如图5中所示。另外，镜81a的反射表面的法向向量的反向向量由n1＝(sinθ，0，cosθ)表示，以及被镜81a反射的光线的单位方向向量由b＝(x，y，z)表示。在这种情况下，根据关系式(8)下述公式成立。
因此，反射光线的单位方向向量的元素如下给出：
x＝αsin2θ，y＝-β，z＝αcos2θ (10)
接下来，入射到外侧镜82a上的光线的单位方向向量的反向向量由c表示，其中c＝b。此外，当镜82a绕平行于其反射面的水平轴线旋转向前倾斜角φ时，镜82a的反射面的法向向量由n2＝(sinθ，-sinφ，cosθcosφ)表示。然后，被镜82a反射的光线的单位方向向量由d＝(sinλ，0，cosλ)表示。在这种情况下，根据关系式(8)下述公式成立。
因此，下述关系式成立。
x cosθ-z sinθ＝-cosθsinλ+sinθcosλ 12)
y＝-2x sinθsinψcosψ+2y sin2ψ-2z cosθsinψcosψ
从公式(12)消除x，y和z，根据镜81a和镜82a绕垂直轴线的旋转角θ，可以针对λ和向前倾斜角φ对公式求解。特别地，当θ＝45°时，通过使用摄像机的垂直视角φv，向前倾斜角φ可以由下述公式来表示。
例如，当成像单元2的水平视角是30°，并且由成像单元2生成的图像的高宽比为4：3时，成像单元2的垂直视角为22.76°。在这种情况下，根据公式(13)，将光通量从对象指引至成像单元2的上半部分的左眼外侧镜82a的向前倾斜角为约4°。假设当反射面向下面向水平面时，向前倾斜角是正值。另一方面，将光通量从对象指引至成像单元2的下半部分的右眼外侧镜82b的向后倾斜角为约-4°。
图6A示出了当外侧镜82a的向前倾斜角和外侧镜82b的向后倾斜角都为0°时，由成像单元2生成的图像的一个示例。在这种情况下，由于包含在所生成图像600的上半部分中的对象的图像和包含在下半部分中的对象的图像彼此不交叠，所以立体图像生成装置6不能根据图像600创建立体图像。另一方面，图6B示出了当镜82a的向前倾斜角和镜82b的向后倾斜角都根据公式(13)来设定时，由成像单元2生成的图像的一个示例。在这种情况下，包含在所生成图像610的上半部分中的对象的图像和包含在下半部分中的对象的图像彼此部分地交叠。然后，立体图像生成装置可以根据图像610的上半部分和下半部分通过修整交叠部分以分别作为左图像和右图像来创建立体图像。
然而，由于外侧镜各自向前或向后倾斜，对象的图像在所生成图像中旋转出现。此外，包含在所生成图像的上半部分的图像和包含在下半部分的图像中的每个图像以梯形形状失真。这是因为，由于外侧镜各自向前倾斜或向后倾斜，所以当两个通量通常彼此分离得更远以及距成像单元2的距离增加时，通过成像单元2的光轴上面的光通量的中心和通过成像单元2的光轴下面的光通量的中心彼此平行。
因此，立体图像生成装置6根据由成像单元2生成的图像分别修整上半部分图像和下半部分图像以作为左图像和右图像，并且针对对象的旋转和梯形失真校正左图像和右图像。以此方式，立体图像生成装置6创建根据左图像和右图像对形成的立体图像。
将在下面描述立体图像生成装置6的细节。图7是示出了立体图像生成装置6的配置的图。如图7所示，立体图像生成装置6包括缓冲器10、划分单元11、水平方向校正单元12以及梯形失真校正单元13。构成立体图像生成装置6的这些单元可以被实施为在立体图像生成装置6上的单独电路，或可以以实现相应单元的功能的单个集成电路的形式实施。
另外，立体图像生成装置6可以结合到控制单元7中。在这种情况下，例如，构成立体图像生成装置6的单元被实现为通过执行结合在控制单元7中的处理器上的计算机程序的功能模块。然后，由立体图像生成装置生成的各种类型的数据或由立体图像生成装置使用的各种类型的数据被存储在存储单元5中。
例如，缓冲器10包括易失性半导体存储电路，并且临时存储由成像单元2生成并且输入到立体图像生成装置6的图像。此外，缓冲器10可以临时存储由划分单元11生成的左图像和右图像。
划分单元11将通过使用立体适配器8拍摄对象而获得的图像划分成上半部分图像和下半部分图像。上半部分图像与通过由包含在立体适配器8中的左眼镜对引导的光通量形成的对象的图像对应。另一方面，下半部分图像与通过由包含在立体适配器8中的右眼镜对引导的光通量形成的对象的图像对应。划分单元11输出上半部分图像作为左图像以及输出下半部分图像作为右图像。
如果光通量被立体适配器8的壳体或任一个镜晕映，则划分单元11可以通过对与来自上半部分图像的光通量的入射范围对应的区域进行修整来创建左图像。类似地，划分单元11可以通过对与来自下半部分图像的光通量的入射范围对应的区域进行修整来创建右图像。
划分单元11将左图像和右图像传给水平方向校正单元12。
水平方向校正单元12以通过以平行于成像单元2的光轴的方式进入立体适配器的光线在被对应的镜对的反射上旋转来消除与角度成比例的对象的旋转这种方式对左图像和右图像中的每个图像进行校正。首先，将描述对象的旋转角。
图8是用来说明由于立体适配器8中的外侧镜82a引起的对象的图像的旋转的图。由于镜82a是向前倾斜的，所以平行于水平面的光线通量801被镜82a斜向下反射。在镜82a的外侧端点(即，左边缘)处被反射的光来回移动直到其到达成像单元2为止的光学路径长度大于在镜82a的内侧端点(即，右边缘)处被反射的光来回移动直到其到达成像单元2为止的光学路径长度。因此，光线通量801在更靠近镜82a的外边缘的位置处被反射的光线在被镜81a反射之后在朝向左下移动的位置处入射到成像单元2的入射光瞳面上。因此，在由成像单元2生成的图像中，物平面中的水平线倾斜，以致于向左下方倾斜。基于这个事实，在由成像单元2生成的图象中可以计算出水平线的旋转角度。
更特别地，可以通过注意平行于成像单元2的光轴并且在水平位置处与光轴一致的光线在被一对镜81a和镜82a反射后与立体适配器8的入射孔径面相交处的点来获得用于校正图像中的对象的旋转的角度α。为了简单起见，假设在z轴上镜82a的外边缘的位置(即，沿着成像单元2的光轴的位置)与z轴上的入射孔径面的位置相同。
图8中所示的向量802代表平行于成像单元2的光轴并且在镜82a上的反射点803(坐标(-x0，0，z0))处被反射的光线。在本实施方式中，镜82a向前倾斜，以使得平行于成像单元2的光轴并且从对象侧入射到镜82a上的光线当被镜82a和镜81a反射时相对于光轴的角为φv/4。因此，向量802通过相对于水平面向下形成φv/4角被指引至水平面下面的位置。由向量802代表的光线从镜82a上的反射点向下偏移至光线与立体适配器8的入射孔径面相交的点的量由A表示。然后，注意由向量802形成的直角三角形、偏移的量A以及水平面，下述公式成立。
另一方面，注意由立体适配器8的入射孔径面中的端点804(坐标(-xR，θ，zR)，当镜82a的向前倾斜角为0°时向量802与入射孔径面相交处的交点805(坐标(-x0，0，zR)以及位于交点805下方距交点的距离为偏移量A的点所形成的直角三角形。然后，下述公式成立。
从公式(14)和公式(15)消除偏移量A，并且代入由公式(1)和公式(3)给出的xR、zR、x0和z0的坐标，下述公式成立。
根据公式(16)，可以看出，在左图像中的对象的旋转角度α通过一对镜81a和镜82a绕垂直轴线的旋转角度θ和成像单元2的垂直视角φv来表示。在右图像中的对象的旋转角度还可以由公式(16)计算，因为镜81b和镜82b相对于穿过成像单元2的光轴的垂直面以与镜81a和镜82a线对称的方式设置。
如上所述，因为镜82a相对于入射光瞳面和物平面关于垂直轴线是倾斜的并且不取向为垂直于光轴，所以对象的旋转角度α由旋转角度θ和成像单元2的垂直视角φv来表示。因此，在镜82a的外边缘处被反射的光线来回移动直到其到达成像单元2为止的光学路径长度与在镜82a的内边缘处被反射的光线来回移动直到其到达成像单元2为止的光学路径长度不同。这个光学路径长度差取决于旋转角度θ。因此，在垂直方向上的作为参数的垂直视角对图像中的与旋转角度θ成比例的对象的旋转有影响。
用于校正左图像和右图像中的对象的旋转的矩阵由设置其方向与由成像单元2生成的图像中的对象的旋转角度α的方向相反的旋转角度(-α)的2x2仿射变换给出，并且由下述公式来表示。
其中，u和v代表图像中的任意像素的水平坐标和垂直坐标，其原点是在由成像单元2生成的图像的中心处，即，在与成像单元2的光轴对应的图像中的像素处。另一方面，u′和v′代表在与由坐标(u，v)表示的像素对应的被校正的图像中的像素的水平坐标和垂直坐标。
根据公式(17)通过对左图像和右图像中的每个像素的坐标进行变换，水平方向校正单元12可以对由于镜82a的向前倾斜和镜82b的向后倾斜引起的出现在图像中的对象的旋转进行校正。
水平方向校正单元12将针对对象的旋转进行校正的左图像和右图像传给梯形失真校正单元13。
因为立体适配器8中的外侧镜各自向前倾斜或向后倾斜，所以当光被引导通过立体适配器8时，与成像单元2的像平面对应的物平面是倾斜的。因此，在平行于像平面的物平面中的物体通过立体适配器8和成像单元2斜投影在像平面上。因此，在由成像单元2生成的图像中，对象的图像以梯形形状失真。
梯形失真校正单元13对由斜投影引起的梯形失真进行校正。
首先，将研究出现在图像中的梯形失真。应注意，如图9所示，将垂直于光线901的平坦平面902聚焦到成像单元2的像平面上且没有梯形形状的失真，光线901通过穿过立体适配器8平行于成像单元2的光轴。梯形失真校正单元13可以通过相对于垂直平面903给这个平坦平面应用平面投影变换来对梯形失真进行校正。在本实施方式中，设定镜82a和镜82b的倾斜角，以使得平行于成像单元2的光轴的光线通过穿过立体适配器8相对于光轴倾斜φv/4。因此，根据直角三角形的补角关系，平坦平面相对于垂直平面903的倾斜角被计算为φv/4。
用于校正在摄像机坐标系统(u，v)中限定的图像的梯形失真的矩阵由3x3平面投影变换给出。如图10所示，为了获得平面投影变换，获得在其光轴与z轴一致的摄像机的像平面上的与世界坐标系中的点P的坐标(X，Y，Z)对应的点s的坐标(x，y，z)，以及在其光轴绕X轴旋转θ°的摄像机的像平面上的点s′的坐标(x′，y′，z′)。
然后，通过将坐标(x，y，z)和(x′，y′，z′)变换成由摄像机限定的摄像机坐标系统中的点(u，v)和(u′，v′)，并且通过获得从坐标(u，v)到坐标(u′，v′)的映射来获得期望的平面投影矩阵。为了有利于理解到摄像机坐标系的变换，假设世界坐标系为右手系统。
如图11所示，图10中所示的平面投影变换模型还可以被限定在通过将图10的坐标系绕X轴旋转-θ且不失一般性而获得的坐标系中(当旋转处于右旋方向时，θ为正)。
坐标(x′，y′，z′)表示公式(y-h)＝tan(90-θ)(z-f)＝(1/tanθ)(z-f)和y＝(Y/Z)z的交点。从这些公式中，z′如下计算：
其中f是摄像机的焦距。
此外，根据关系式x′＝(z′/Z)X和y′＝(z′/Z)Y，得到如下的摄像机的透视变换公式：
另一方面，与公式(19)中θ＝0的情况对应的坐标(x，y，z)的透视变换由下述公式给出。
从这两个透视变换公式中消除(X，Y，Z)，并且重新限定s′/s作为s′，则获得下述公式：
此外，为了将坐标从世界坐标系变换到摄像机坐标系，摄像机坐标系中的点(u，v)被映射到点(u′，v′)。在其光轴与z轴一致的摄像机的像平面上的坐标(x，y，z)与由那个摄像机限定的摄像机坐标系中的对应的坐标(u，v)之间的关系通过下述公式表示。
u＝x+w，v＝y+h
x＝u-w，y＝v-h (22)
类似地，在其光轴绕X轴旋转θ的摄像机的像平面上的坐标(x′，y′，z′)与由那个摄像机限定的摄像机坐标系中的对应的坐标(u，v)之间的关系通过下述公式表示。
∴x′＝u′-w，y′＝v′cosθ-(2cosθ-1)h (23)
将公式(22)和公式(23)代入公式(21)，从而将公式(21)变换成由摄像机坐标系中的坐标(u，v)和(u′，v′)表达的公式，获得期望的校正公式。
其中，FOVH表示摄像机的水平视角，以及FOVV表示摄像机的垂直视角。
根据公式(24)通过对针对对象的旋转进行校正的左图像和右图像中的每个像素的坐标进行变换，梯形失真校正单元13可以对梯形失真进行校正。FOVH和FOVV分别是成像单元2的水平视角和垂直视角，以及f表示成像单元2的焦距。在本实施方式中，因为由于立体适配器8中的外侧镜的倾斜而引起的与成像单元2的像平面对应的物平面倾斜了φv/4，所以在公式(24)中θ＝φv/4。
针对梯形失真由梯形失真校正单元13校正的左图像和右图像可以用作立体图像。立体图像生成装置6将所获得的立体图像显示在显示单元4上或将图像存储在存储单元5中。
图12是由立体图像生成装置6执行的立体图像生成处理的操作流程图。
立体图像生成装置6从成像单元2获取通过使用立体适配器8拍摄对象而生成的图像(步骤S101)。然后，立体图像生成装置6将图像存储在缓冲器10中。
划分单元11对来自缓冲器10的图像进行检索。然后，划分单元11将图像划分成对应于左眼镜对的上半部分和对应于右眼镜对的下半部分，并且将所划分的图像分别设定为左图像和右图像(步骤S102)。
水平方向校正单元12从划分单元11接收左图像和右图像，并且针对由各自的镜的向前倾斜和向后倾斜而造成的对象的旋转对左图像和右图像进行校正(步骤S103)。然后，梯形失真校正单元13针对由各自的镜的向前倾斜和向后倾斜而造成的对象的梯形失真对图像进行校正(步骤S104)。立体图像生成装置6输出针对对象的旋转和梯形失真校正的左图像和右图像作为立体图像对并且终止立体图像生成处理。
如上所述，根据立体图像生成装置和立体成像装置，使用立体适配器以沿着垂直于视差方向的方向将成像单元的视场分成两个相等的半个部分，并且将左眼光通量引导至视场的上半部分以及右眼光通量引导至视场的下半部分。采用这种布置，立体图像生成装置和立体成像装置可以生成在视差方向上具有宽视角的立体图像。此外，在立体图像生成装置和立体成像装置中，由于包含在立体适配器中的光学镜的布置而在图像中引起的对象的旋转量和梯形失真量可以根据镜的倾斜角和成像单元的垂直视角来计算。然后，立体图像生成装置和立体成像装置通过图像处理对对象的旋转和梯形失真进行校正；以此方式，可以简化立体适配器的光学系统。
根据修改示例，包含在立体适配器中的左眼镜对和右眼镜对中的每个可以替换为具有与内侧镜的反射面对应的反射面和与外侧镜的反射面对应的反射面的棱镜。因为在棱镜的情况下，各反射面之间的位置关系是固定的，所以与当将镜对安装在立体适配器中的情况相比，当将棱镜安装在立体适配器中时可以容易地实现对准。
此外，当从成像单元至对象的距离是预定的时，可以确定各外侧镜的向前倾斜角和向后倾斜角以使在该距离处包含在左图像中的面积和包含在右图像中的面积彼此交叠的区域最大化。在这种情况下，距离越短，向前倾斜角和向后倾斜角被设定的越大。然后，向前倾斜角和向后倾斜角越大，平行于成像单元的光轴的入射光线当进入立体适配器时与当其离开立体适配器时与成像单元的光轴构成的角度φ1越大。在这种情况下，可以通过在公式(16)中用φ1代替(φv/4)来获得针对图像中的对象的旋转的校正量α。此外，在表示用于校正梯形失真的正交投影变换的公式(24)中，梯形失真校正单元13使用φ1作为角θ。
根据上述实施方式构成立体图像生成装置的各种单元的功能可以通过在处理器上执行的计算机程序来实现。这种计算机程序可以被设置成记录在诸如磁记录介质或光学记录介质的计算机可读记录介质上。
图13是示出了根据上述实施方式通过执行用于实现构成立体图像生成装置的各种单元的功能的计算机程序作为立体图像生成装置操作的计算机的配置的图。计算机100包括用户接口单元101、通信接口单元102、存储单元103、存储介质访问设备104以及处理器105。例如，处理器105经由总线连接至用户接口单元101、通信接口单元102、存储单元103以及存储介质访问设备104。
例如，用户接口单元101包括诸如键盘和鼠标的输入设备，以及诸如液晶显示器的显示设备。另外，用户接口单元101可以包括诸如触摸面板显示器的输入设备和显示设备集成在其中的设备。例如，用户接口单元101生成响应于用户操作的用于启动立体图像生成处理的操作信号，并且将操作信号提供给处理器105。
通信接口单元102可以包括用于将计算机100连接至可拆卸地安装有立体适配器的成像装置(未示出)的通信接口，以及用于通信接口的控制电路。例如，这种通信接口可以是通用串行总线(USB)接口。
此外，通信接口单元102可以包括用于连接至符合通信标准(例如以太网(注册商标))的通信网络的通信接口，以及用于通信接口的控制电路。在这种情况下，通信接口单元102从成像单元、摄像机、或连接至通信网络的其他装置获取通过使用立体适配器拍摄对象而生成的图像，并且将图像传给处理器105。通信接口单元102还可以从处理器105接收立体图像并且将图像经由通信网络发送至另一装置。
例如，存储单元103包括可读/可写半导体存储器和只读半导体存储器。存储单元103存储用于待在处理器105上执行的实现立体图像生成处理的计算机程序，并且还存储诸如公式(17)和公式(24)中的各种系数的待在立体图像生成处理期间使用的参考区域范围和数据。存储单元103还存储图像，该图像如经由通信接口单元102接收的图像或由处理器105生成的立体图像。
存储介质访问设备104是访问存储介质106的设备，存储介质106如磁盘、半导体存储卡或光存储介质。例如，存储介质访问设备104访问存储介质106以读出用于待在处理器105上执行的立体图像生成的计算机程序，并且将读出的计算机程序传给处理器105。此外，存储介质访问设备104可以将由处理器105生成的立体图像写入到存储介质106。
处理器105执行根据上述实施方式的用于生成立体图像的计算机程序并且根据使用立体适配器拍摄对象而生成的图像生成立体图像。处理器105将生成的立体图像存储在存储单元103中或经由通信接口单元102将图像传输至另一装置。
文中所阐述的所有示例和条件性语言是为了教导的目的以帮助读者理解本发明和发明人的贡献以促进现有技术的构思，并且应被解释为并不限于这种具体阐述的示例和条件，也不限于涉及显示本发明的优势和劣势的说明书中这种示例的结构。虽然对本发明的实施方式进行了详细描述，但是应理解，在不偏离本发明的精神和范围的前提下可以做出各种改变、替换以及变更。

Claims (5)

1.一种立体成像装置，包括：
成像单元，所述成像单元通过拍摄对象来生成图像；
立体适配器，所述立体适配器安装在所述成像单元的前方，并且所述立体适配器包括：
沿着垂直于视差方向的方向布置在所述成像单元的前方的第一反射面和第二反射面；
设置成沿着所述视差方向比所述第一反射面更远离所述成像单元的第三反射面；
设置成沿着所述视差方向比所述第二反射面更远离所述成像单元并且相对于所述成像单元的光轴位于所述第三反射面的相对侧上的第四反射面；其中,
所述第一反射面相对于所述成像单元的入射光瞳面绕垂直于所述视差方向和所述光轴两者的第一轴线旋转第二角度，以面向所述成像单元和所述第三反射面；
所述第三反射面相对于物平面绕所述第一轴线旋转所述第二角度以面向所述对象和所述第一反射面，其中所述物平面的图像聚焦到所述成像单元的像平面上，并且所述第三反射面绕平行于所述第三反射面且垂直于所述第一轴线的轴线倾斜第三角度，以使得入射到所述第三反射面的中心且平行于所述光轴的光线当所述光线靠近所述成像单元时通过形成第一角度更接近于所述光轴；
所述第二反射面相对于所述成像单元的所述入射光瞳面在与所述第一反射面的所述旋转相反的方向上绕所述第一轴线旋转所述第二角度，以面向所述成像单元和所述第四反射面；
所述第四反射面相对于所述物平面在与所述第三反射面的旋转相反的方向上绕所述第一轴线旋转所述第二角度以面向所述对象和所述第二反射面，并且绕平行于所述第四反射面且垂直于所述第一轴线的轴线倾斜所述第三角度，以使得入射到所述第四反射面的中心并且平行于所述光轴的光线当所述光线靠近所述成像单元时通过形成所述第一角度更接近于所述光轴；
所述第三和第四反射面将来自所述对象的光沿着视差方向分成第一光通量和第二光通量，并且所述第一、第二、第三和第四反射面引导所述第一光通量和所述第二光通量，以使得所述第一光通量和所述第二光通量在垂直于所述视差方向的方向上并排入射到所述成像单元上，以及
所述第一光通量首先由所述第三反射面反射并且然后由所述第一反射面反射以进入所述成像单元，而所述第二光通量首先由所述第四反射面反射并且然后由所述第二反射面反射以进入所述成像单元；以及
立体图像生成单元，所述立体图像生成单元基于所述图像生成立体图像，以及其中，所述立体图像生成单元包括：
划分单元，所述划分单元沿着所述垂直于所述视差方向的方向将所述图像划分成所述第一光通量入射到上面的第一区域和所述第二光通量入射到上面的第二区域，并且所述划分单元输出所述第一区域作为所述立体图像的针对一只眼睛的第一子图像以及输出所述第二区域作为所述立体图像的针对另一只眼睛的第二子图像；
水平方向校正单元，所述水平方向校正单元对出现在所述第一子图像和所述第二子图像中的、与所述第一角度成比例的所述对象的任意旋转进行校正；及
梯形失真校正单元，所述梯形失真校正单元对出现在所述第一子图像和所述第二子图像中的、与所述第一角度成比例的所述对象的任意梯形失真进行校正。
2.根据权利要求1所述的立体成像装置，其中，所述第一角度是在所述垂直于所述视差方向的方向上测量的所述成像单元的视角的四分之一。
3.根据权利要求1所述的立体成像装置，其中，所述水平方向校正单元旋转所述第一子图像以消除出现在所述第一子图像中的所述对象的任意旋转量，所述对象的任意旋转量与所述第一角度成比例。
4.根据权利要求1所述的立体成像装置，其中，所述梯形失真校对单元通过下述方式对所述第一子图像中的所述对象的所述梯形失真进行校正：给针对所述对象的所述旋转进行校正的所述第一子图像应用正交投影变换，所述正交投影变换用于从垂直于第二光线的平面变换至垂直于所述光轴的平面，其中，当所述第二光线进入所述立体适配器时，所述第二光线在所述第三反射面和所述第一反射面上反射而相对于所述光轴倾斜第一角度。
5.一种用于根据由成像装置生成的图像来生成立体图像的立体图像生成方法，所述成像装置包括：成像单元，所述成像单元通过拍摄对象来生成图像；和立体适配器，所述立体适配器安装在所述成像单元的前方，并且所述立体适配器包括：
沿着垂直于视差方向的方向布置在所述成像单元的前方的第一反射面和第二反射面；
设置成沿着所述视差方向比所述第一反射面更远离所述成像单元的第三反射面；
设置成沿着所述视差方向比所述第二反射面更远离所述成像单元并且相对于所述成像单元的光轴位于所述第三反射面的相对侧上的第四反射面；其中,
所述第一反射面相对于所述成像单元的入射光瞳面绕垂直于所述视差方向和所述光轴两者的第一轴线旋转第二角度，以面向所述成像单元和所述第三反射面；
所述第三反射面相对于物平面绕所述第一轴线旋转所述第二角度以面向所述对象和所述第一反射面，其中所述物平面的图像聚焦到所述成像单元的像平面上，并且所述第三反射面绕平行于所述第三反射面且垂直于所述第一轴线的轴线倾斜第三角度，以使得入射到所述第三反射面的中心且平行于所述光轴的光线当所述光线靠近所述成像单元时通过形成第一角度更接近于所述光轴；
所述第二反射面相对于所述成像单元的所述入射光瞳面在与所述第一反射面的所述旋转相反的方向上绕所述第一轴线旋转所述第二角度，以面向所述成像单元和所述第四反射面；
所述第四反射面相对于所述物平面在与所述第三反射面的旋转相反的方向上绕所述第一轴线旋转所述第二角度以面向所述对象和所述第二反射面，并且绕平行于所述第四反射面且垂直于所述第一轴线的轴线倾斜所述第三角度，以使得入射到所述第四反射面的中心并且平行于所述光轴的光线当所述光线靠近所述成像单元时通过形成所述第一角度更接近于所述光轴；
所述第三和第四反射面将来自所述对象的光沿着视差方向分成第一光通量和第二光通量，并且所述第一、第二、第三和第四反射面引导所述第一光通量和所述第二光通量，以使得所述第一光通量和所述第二光通量在垂直于所述视差方向的方向上并排入射到所述成像单元上，以及
所述第一光通量首先由所述第三反射面反射并且然后由所述第一反射面反射以进入所述成像单元，而所述第二光通量首先由所述第四反射面反射并且然后由所述第二反射面反射以进入所述成像单元；以及
所述立体图像生成方法包括：
沿着所述垂直于所述视差方向的方向将所述图像划分成所述第一光通量入射到上面的第一区域和所述第二光通量入射到上面的第二区域，并且输出所述第一区域作为所述立体图像的针对一只眼睛的第一子图像以及输出所述第二区域作为所述立体图像的针对另一只眼睛的第二子图像；
对出现在所述第一子图像和所述第二子图像中的与所述第一角度成比例的所述对象的任意旋转进行校正；以及
对出现在所述第一子图像和所述第二子图像中的、与所述第一角度成比例的所述对象的任意梯形失真进行校正。
CN201410469995.6A 2013-09-17 2014-09-15 立体成像装置和立体图像生成方法 Expired - Fee Related CN104460011B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-192049 2013-09-17
JP2013192049A JP2015059988A (ja) 2013-09-17 2013-09-17 ステレオ撮像装置及びステレオ画像生成方法

Publications (2)

Publication Number Publication Date
CN104460011A CN104460011A (zh) 2015-03-25
CN104460011B true CN104460011B (zh) 2017-12-22

Family

ID=51417182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410469995.6A Expired - Fee Related CN104460011B (zh) 2013-09-17 2014-09-15 立体成像装置和立体图像生成方法

Country Status (4)

Country Link
US (1) US20150077523A1 (zh)
EP (1) EP2848996A1 (zh)
JP (1) JP2015059988A (zh)
CN (1) CN104460011B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015039067A1 (en) * 2013-09-16 2015-03-19 Duke University Method for combining multiple image fields
JP6193195B2 (ja) * 2014-09-17 2017-09-06 株式会社東芝 移動支援装置、方法及びプログラム
KR20190013224A (ko) * 2017-08-01 2019-02-11 엘지전자 주식회사 이동 단말기
JP7434303B2 (ja) * 2018-10-12 2024-02-20 マジック リープ， インコーポレイテッド 運動追跡システムの正確度を検証するためのステージングシステム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01279235A (ja) 1988-05-02 1989-11-09 Matsushita Electric Ind Co Ltd 撮像装置
JPH0787385A (ja) * 1993-09-10 1995-03-31 Canon Inc 撮像装置
JPH07134345A (ja) 1993-11-11 1995-05-23 Jiro Sekine 立体画像撮影装置、立体画像撮影用アタッチメントおよび立体画像観賞装置
JP3483963B2 (ja) 1994-12-16 2004-01-06 オリンパス株式会社 ステレオカメラ
JPH08234339A (ja) 1995-02-28 1996-09-13 Olympus Optical Co Ltd 撮影用光学装置
JP4436488B2 (ja) 1998-07-09 2010-03-24 パナソニック株式会社 ステレオ映像取得装置
DE69921240T2 (de) * 1998-07-09 2006-02-02 Matsushita Electric Industrial Co., Ltd., Kadoma Vorrichtung zur Herstellung eines Stereoskopischen Bildes
JP2000056412A (ja) * 1998-08-05 2000-02-25 Jiro Sekine 立体画像撮影用アタッチメント
JP2001346226A (ja) * 2000-06-02 2001-12-14 Canon Inc 画像処理装置、立体写真プリントシステム、画像処理方法、立体写真プリント方法、及び処理プログラムを記録した媒体
JP4065488B2 (ja) * 2001-12-14 2008-03-26 キヤノン株式会社 ３次元画像生成装置、３次元画像生成方法及び記憶媒体
JP2004070302A (ja) * 2002-06-12 2004-03-04 Eriko Shimizu 立体画面構成方式
JP3834016B2 (ja) 2003-05-30 2006-10-18 オリンパス株式会社 ステレオ撮影用光学系及びそれを用いたステレオカメラ
JP4402400B2 (ja) * 2003-08-28 2010-01-20 オリンパス株式会社 物体認識装置
JP4360180B2 (ja) * 2003-11-13 2009-11-11 ソニー株式会社 立体映像撮影装置
JP4825244B2 (ja) * 2008-06-26 2011-11-30 オリンパス株式会社 立体視画像表示装置、立体視画像表示方法
JP2010278878A (ja) * 2009-05-29 2010-12-09 Fujifilm Corp 立体画像表示装置及びその表示画像切替方法
JP5551517B2 (ja) * 2010-05-24 2014-07-16 オリンパスイメージング株式会社 撮像装置
US20120154549A1 (en) * 2010-12-16 2012-06-21 An Wenge David Adapter and corresponding methods for adding 3D function to a 2D digital camera
JP2012182738A (ja) * 2011-03-02 2012-09-20 Riverbell Kk ステレオ画像撮像装置

Also Published As

Publication number Publication date
JP2015059988A (ja) 2015-03-30
US20150077523A1 (en) 2015-03-19
EP2848996A1 (en) 2015-03-18
CN104460011A (zh) 2015-03-25

Similar Documents

Publication Publication Date Title
TWI387936B (zh) A video conversion device, a recorded recording medium, a semiconductor integrated circuit, a fish-eye monitoring system, and an image conversion method
CN109087244B (zh) 一种全景图像拼接方法、智能终端及存储介质
CN103685917B (zh) 图像处理器、图像处理方法和成像系统
US10397545B2 (en) 3-D light field camera and photography method
Pollefeys Visual 3D Modeling from Images.
CN101796548B (zh) 立体图像生成装置和立体图像生成方法
CN104460011B (zh) 立体成像装置和立体图像生成方法
CN107431803A (zh) 全景虚拟现实内容的捕捉和渲染
CN103852243B (zh) 检测广角镜头的光学中心的方法以及光学中心检测装置
US20180052308A1 (en) Optical lens accessory for wide-angle photography
JP4712874B2 (ja) 誘導装置および方法
CN110191326A (zh) 一种投影系统分辨率扩展方法、装置和投影系统
JP4825244B2 (ja) 立体視画像表示装置、立体視画像表示方法
US11030719B2 (en) Imaging unit, display apparatus and method of displaying
CN105165000A (zh) 一种全景摄影用数码照相机及全景摄影系统
CN102722080A (zh) 一种基于多镜头拍摄的多用途立体摄像方法
CN103020900B (zh) 一种图像处理方法及装置
GB2555908A (en) Multi-tier camera rig for stereoscopic image capture
CN113808220A (zh) 双目摄像机的标定方法、系统、电子设备和存储介质
CN107027338A (zh) 成像系统、方法和应用
JP2019029721A (ja) 画像処理装置、画像処理方法およびプログラム
US11137582B2 (en) Omnidirectional catadioptric lens with odd aspheric contour or multi-lens
US20150281674A1 (en) Stereo adapter and stereo imaging apparatus
CN103530870B (zh) 用单应变换校正双目摄影的系统和方法
Boutarel et al. Epipolar rectification for autostereoscopic camera setup

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171222

Termination date: 20180915