CN202750183U - 视差成像设备和视差成像系统 - Google Patents

视差成像设备和视差成像系统 Download PDF

Info

Publication number
CN202750183U
CN202750183U CN2011203233927U CN201120323392U CN202750183U CN 202750183 U CN202750183 U CN 202750183U CN 2011203233927 U CN2011203233927 U CN 2011203233927U CN 201120323392 U CN201120323392 U CN 201120323392U CN 202750183 U CN202750183 U CN 202750183U
Authority
CN
China
Prior art keywords
image
area
parallax
light
image pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2011203233927U
Other languages
English (en)
Inventor
佐藤修三
大谷荣二
小泽谦
小林诚司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Application granted granted Critical
Publication of CN202750183U publication Critical patent/CN202750183U/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/25Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type using polarisation techniques
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/30Polarising elements
    • G02B5/3025Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
    • G02B5/3058Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state comprising electrically conductive elements, e.g. wire grids, conductive particles
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/18Stereoscopic photography by simultaneous viewing
    • G03B35/26Stereoscopic photography by simultaneous viewing using polarised or coloured light separating different viewpoint images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/257Colour aspects

Abstract

一种视差成像设备,其特征在于包括:安排在矩阵中的像素集合,所述像素集合的第一图像像素组,用于接收原始信息;以及所述像素集合的第二图像像素组,用于接收视差信息,其中由所述第一图像像素组接收的原始信息是穿过第一偏振部件和第二偏振部件的会聚光,并且所述第一图像像素组将所述会聚光转换为电信号,其中由所述第二图像像素组接收的视差信息是穿过第一偏振部件的会聚光,并且所述第二图像像素组将所述会聚光转换为电信号,以及处理器,用于利用所述视差信息处理所述原始信息,以呈现第一图像和第二图像。

Description

视差成像设备和视差成像系统
技术领域
本实用新型涉及视差成像设备和视差成像系统。 
背景技术
在相关技术中,建议了一种系统,在该系统中,左右布置的两个摄像机同时对公共的对象成像,并且输出所获得的两种类型的图像(右眼图像和左眼图像),以显示为立体图像。此外,建议了一种立体拍摄装置,在该立体拍摄装置中,通过组合偏振滤波器而共享光学系统以便易于调整用于执行立体摄像的透镜系统(例如,参见JP-B-6-54991),所述偏振滤波器执行偏振以便以彼此正交的关系放置。 
此外,建议了一种方法,其目的在于利用由两个透镜和一个成像部件组成的成像装置执行立体摄像(例如,参见JP-A-2004-309868)。日本已审查专利申请公布中公开的成像装置包括成像部件,其具有布置在成像平面上的像素,像素的数目对应于预定数目的扫描线的整数倍;第一水平分量偏振部件,其适配为仅透射来自对象的第一光学图像的光的水平分量;以及第一垂直分量偏振部件,布置在与第一水平分量偏振部件离开预定距离的位置处,并被适配为仅透射来自对象的第二光学图像的光的垂直分量,其中,由第一水平分量偏振装置透射的水平分量被会聚到成像平面上的预定区域中的像素;并且由第一垂直分量偏振装置透射的垂直分量被会聚到预定区域之外的其余区域中的像素。具体地,被布置为离开按照人的视差的间距的距离的水平分量偏振滤波器和垂直分量偏振滤波器配备有两个透镜,这两个透镜位于与CCD的成像平面分开预定距离的位置处。 
引用列表 
专利文献 
[PTL1]JP-B-6-054991 
[PTL2]JP-A-2004-309868 
发明内容
技术问题 
然而,在JP-B-6-054991公开的技术中,通过重叠两个偏振滤波器的输出并接着组合它们的光学路径而共享透镜系统。然而,必须在下游(lower)部分中提供另一偏振滤波器,以提取右眼图像和左眼图像并通过再次分开光学路径而使光入射到各个偏振滤波器。在JP-A-2004-309868公开的技术中,需要两对透镜和偏振滤波器的组合。为此原因,在这样的成像装置中,所述两对的光学路径的光轴、焦距、透射率、F数、放大率、光圈、焦点、会聚角等必须彼此完全对应,并且难以抑制视场竞争的发生。这里,视场竞争是指这样的现象:例如,当反射P波分量但吸收S波分量的诸如水面、窗等对象被成像时,并且当从P波分量获得的图像和从S波分量获得的图像都被呈现给双眼时,在它们的亮度差别非常大的情况下不发生像的融合,由于仅一个图像占主导从而图像被交替地显示,或者图像在重叠区域中彼此抑制。此外,因为使用几个偏振滤波器,所以存在到达成像部件(成像元件)的光量大大降低的问题。 
因此,本实用新型的目的是提供一种可以抑制视场竞争的发生并防止到达成像元件的光量的显著降低的成像方法。 
解决问题的方案 
因此,目的是提供一种视差成像方法,包括:通过像素矩阵的第一像素组接收视差信息;通过所述像素矩阵的第二像素组接收原始信息,其中,基于由所述第一像素组的第一像素子组接收的第一偏振信息和由所述第一像素组的第二像素子组接收的第二偏振信息计算所述视差信息;以及利用第一视差信息和第二视差信息处理所述原始信息,以分别呈现第一图像和第二图像。所述像素矩阵的第一像素组可以包括至少一个像素行,并且所述像素矩阵的第二像素组可以包含未包括在所述第一像素中的像素行。 
此外,所述像素矩阵的第一像素组可以针对每一个第N行包括至少一个像素行,其中N≥2,并且,所述像素矩阵的第二像素组可以包括不等于每一个第N行的像素行。N的上限可以是N=2^n,其中n是从1至5的自然数,并且具体地,n可以等于3。 
此外,所述第一偏振信息的电场方向可以与所述第二偏振信息的电场方向正交。 
另一目的是提供一种视差成像设备,其可以包括:安排在矩阵中的像素集合,所述像素集合的第一图像像素组,用于接收原始信息;以及所述像素集合的第二图像像素组,用于接收视差信息,其中由所述第一图像像素组接收的原始信息是穿过第一偏振部件和第二偏振部件的会聚光,并且所述第一图像像素组将所述会聚光转换为电信号,其中由所述第二图像像素组接收的视差信息是穿过第一偏振部件的会聚光,并且所述第二图像像素组将所述会聚光转换为电信号,以及处理器,用于利用所述视差信息处理所述原始信息,以呈现第一图像和第二图像。所述设备可以是数码照相机、个人计算机、移动终端设备、摄像机或游戏机中的一个。 
另一目的是提供一种视差成像系统,其可以包括:安排在矩阵中的像素集合,所述像素集合的第一图像像素组,用于接收原始信息;以及所述像素集合的第二图像像素组,用于接收视差信息,其中由所述第一图像像素组接收的原始信息是穿过第一偏振部件和第二偏振部件的会聚光,并且所述第一图像像素组将所述会聚光转换为电信号,其中由所述第二图像像素组接收的视差信息是穿过第一偏振部件的会聚光,并且所述第二图像像素组将所述会聚光转换为电信号,其中所述第一偏振部件具有沿着第一方向布置的第一区域和第二区域,并且其中所述第二偏振部件具有沿着第二方向布置的第三区域和第四区域。 
另一目的是提供一种视差成像设备,其可以包括:第一图像像素组,用于接收原始信息;以及第二图像像素组,用于接收视差信息,其中由所述第一图像像素组接收的原始信息是穿过第一偏振部件和第二偏振部件的会聚光,并且所述第一图像像素组将所述会聚光转换为电信号,其中由所述第二图像像素组接收的视差信息是穿过第一偏振部件的会聚光,并且所述第二图像像素组将所述会聚光转换为电信号,其中所述第一偏振部件具有沿着第一方向布置的第一区域和第二区域,并且其中所述第二偏振部件具有沿着第二方向布置的第三区域和第四区域。 
另一目的是提供一种存储程序代码的非暂时计算机可读介质,所述程序代码在被计算机执行时执行视差系统中的视差成像处理,所述视差系统包括布置在矩阵中的像素集合,其中所述像素集合具有第一像素组和第二像素组,所述处理包括:通过所述像素矩阵的第一像素组接收视差信息;通过所述像素矩阵的第二像素组接收原始信息,其中,基于有所述第一像素组的第一像 素子组接收的第一偏振信息和由所述第一像素组的第二像素子组接收的第二偏振信息计算所述视差信息;以及利用所述第一视差信息和所述第二视差信息处理所述原始信息,以分别呈现第一图像和第二图像。 
附图说明
图1(A)、(B)和(C)分别是实施例1的成像装置的概念图,以及示意地示出第一偏振部件和第二偏振部件中的偏振状态的图。 
图2(A)和(B)分别是穿过第一偏振部件中的第一区域和第二偏振部件中的第三区域并到达实施例1的成像元件阵列的光的概念图,以及穿过第一偏振部件中的第二区域和第二偏振部件中的第四区域并到达实施例1的成像装置中的成像元件阵列的光的概念图;图2(C)和(D)是示意地示出图2(A)和(B)中示出的光在成像元件阵列中形成的图像的图。 
图3(A)和(B)分别是成像元件的示意部分截面图和示意地示出根据实施例1的成像装置的线栅(wire-grid)偏振器的布置状态的图。 
图4是实施例1的成像装置中具有Bayer布置的成像元件阵列的概念图。 
图5是具有Bayer布置的成像元件阵列对从成像元件获得的电子信号进行去马赛克(demosaicing)处理并描述用于获得信号值的图像处理的概念图。 
图6(A)和(B)分别是各自示意性地示出实施例2的成像装置中提供的第一偏振部件和第二偏振部件中的偏振状态的图。 
图7是实施例2的成像装置中的具有Bayer布置的成像元件阵列的概念图。 
图8(A)至(D)是实施例3的成像装置中提供的第一偏振部件的示意图。 
图9(A)、(B)和(C)是各自示出实施例5中的组成线栅偏振器的线的间距(pitch)、入射光的波长和消光比之间的关系、组成线栅偏振器的线的高度、入射光的波长和消光比之间的关系、以及组成线栅偏振器的线的(宽度/间距)、入射光的波长和消光比之间的关系的结果的曲线图。 
图10是示出实施例5中的组成线栅偏振器的两个线的长度、入射光的波长、以及消光比之间的关系的结果的图。 
图11是实施例6的成像装置中的具有Bayer布置的成像元件阵列的概念图。 
图12是实施例6的成像装置的修改示例中的具有Bayer布置的成像元件阵列的概念图。 
图13(A)和(B)分别是修改示例中的成像元件的示意部分截面图。 
具体实施方式
下面,将参照附图基于实施例描述本实用新型,但本实用新型并不限于所述实施例,实施例中的各个数值和材料是示例。此外,将以以下顺序进行说明。 
本实用新型的成像方法和总体描述 
实施例1(本实用新型的成像方法) 
实施例2(实施例1的修改) 
实施例3(实施例1的另一修改) 
实施例4(实施例1的另一修改) 
实施例5(实施例1的另一修改) 
实施例6(实施例1的另一修改),以及其它内容 
[本实用新型的成像方法和总体描述] 
虽然N的值在本实用新型的成像方法中并不受限制,但该值被设置为等于或大于2的整数,并且上限可以是25。替代地,虽然N的值在本实用新型的成像方法中并不受限制,但N=2n,并且n可以是从1至5的自然数。 
在本实用新型的具有上述优选配置的成像方法中,光学系统包括: 
(a)第一偏振部件,其将来自对象的光进行偏振;以及 
(b)透镜系统,其将来自第一偏振部件的光进行会聚, 
其中,第一成像元件组在光入射侧具有第二偏振部件,并将由透镜系统会聚的光转换为电信号(更具体地讲,第一成像元件组将由透镜系统会聚的并穿过第一偏振部件和第二偏振部件的光转换为电信号),第二成像元件组将由透镜系统会聚的光转换为电信号(更具体地将,第二成像元件组将由透镜系统会聚并穿过第一偏振部件的光转换为电信号),第一偏振部件具有沿着第一方向布置的第一区域和第二区域,穿过第一区域的第一区域穿过光的偏振状态与穿过第二区域的第二区域穿过光的偏振状态不同,第二偏振部件具有在第一方向上延伸的多个第三和第四区域,穿过第三区域的第三区域穿过光的偏振状态与穿过第四区域的第四区域穿过光的偏振状态不同,第一区域穿 过光穿过第三区域并到达第一成像元件组,第二区域穿过光穿过第四区域并到达第一成像元件组,因此,可以获得视差信息,其中第一区域的质心和第二区域的质心之间的距离被设置为双眼的视差的基线长度。此外,为了方便,包括具有上述实施例的光学系统的成像装置可以被称为“本实用新型的成像装置”。 
根据本实用新型的成像装置,因为成像装置由一对第一偏振部件和第二偏振部件以及一个透镜系统组成,所以可以提供单眼的小成像装置,且其具有简单的配置和结构。此外,因为不需要两对透镜和偏振滤波器的组合,所以在放大率、光圈、焦点、会聚角等上不发生偏差或差别。另外,因为双眼的视差的基线长度相对较短,所以可以获得自然的立体效果。此外,通过附加或去除第一偏振部件可以容易地获得二维图像或三维图像。 
这里,根据本实用新型的成像装置,优选采用第一偏振部件布置在透镜系统的光圈周围的实施例。替代地,当入射到透镜系统的光一旦被假定为平行光并最终会聚到成像元件上(形成图像)时,优选将第一偏振部件布置在处于平行光的状态中的透镜系统部分中。在这样的实施例中,一般地,不需要重新设计透镜系统的光学系统,并且可以通过将第一偏振部件固定到现有透镜系统或者可拆卸地附接第一偏振部件来进行机械(物理)设计的改变。此外,为了将第一偏振部件可拆卸地附接在透镜系统上,例如,第一偏振部件可以被配置或构造为类似于光圈叶片(diaphragm blade)并被布置在透镜系统内。替代地,透镜系统可以被配置或构造为使得同时具有第一偏振部件和开孔的组件被附接到旋转轴,从而该组件可以围绕平行于透镜系统的光轴的旋转轴旋转,并且通过围绕旋转轴旋转该组件穿过透镜系统的光束穿过该开孔,或者穿过第一偏振部件。替代地,透镜系统可以被配置或构造为使得同时具有第一偏振部件和开孔的组件在垂直于例如透镜系统的光轴的方向上可滑动地附接到透镜系统,并且,通过滑动该组件,穿过该透镜系统的光束穿过开孔或者穿过第一偏振部件。 
根据本实用新型的具有上述优选实施例的成像装置,在第一偏振部件中,在第一区域和第二区域之间提供中心区域,并且穿过中心区域的中心区域穿过光的偏振状态可以被配置为不从入射在中心区域中之前的状态发生变化。换言之,中心区域可以在偏振的自由穿过的状态中。在第一偏振部件的中心区域中,光强度较强,但视差量较小。因此,通过采用这样的实施例,可以 增大成像元件阵列接收的光强度,并确保双眼的视差的足够基线长度。当第一偏振部件的外部形状是圆形时,可以将中心区域塑形为圆形,第一区域和第二区域可以是环绕中心区域的中心角度是180度的扇形,该中心区域可以是正方形或菱形,并且第一区域和第二区域可以被塑形为类似于环绕中心区域的中心角度是180度的扇形。替代地,第一区域、中心区域和第二区域可以是沿着第二方向延伸的条形。 
根据本实用新型中具有上述各种优选实施例的成像装置,第一区域和第二区域由偏振器构成,并且第一区域穿过光的电场方向和第二区域穿过光的电场方向可以被配置为彼此正交。此外,根据本实用新型的具有这种配置的成像装置,第一区域穿过光的电场的方向可以被配置为与第一方向平行,或者第一区域穿过光的电场方向可以被配置为与第一方向形成45度角。此外,在本实用新型的包括这种配置的任意组合的成像装置中,第一区域穿过光的电场方向和第三区域穿过光的电场方向可以彼此平行,并且第二区域穿过光的电场方向和第四区域穿过光的电场方向可以彼此平行。此外,在本实用新型的包括这种配置的任意组合的成像装置中,期望偏振器的消光比是3或更大,并优选是10或更大。 
这里,“偏振器”是指将自然光(非偏振光)或圆偏振光转变为线偏振光的装置,并且,构成第一区域和第二区域的偏振器本身可以是具有已知配置和结构的偏振器(偏振片)。此外,例如,第一区域穿过光或第二区域穿过光之一的偏振分量可以主要地设置为S波(TE波),并且第一区域穿过光或第二区域穿过光的另一个的偏振分量可以主要地设置为P波(TM波)。第一区域穿过光和第二区域穿过光的偏振状态可以是线偏振,或圆偏振(然而,光的旋转方向彼此相反)。一般地,振荡方向仅是特定方向的水平波被称为偏振波,并且该振荡方向被称为偏振方向或偏振轴。光的电场方向与偏振方向一致。当第一区域穿过光的电场方向与第一方向平行时,消光比在第一区域中是包含在穿过第一区域的光中的电场方向是第一方向的光分量与电场方向是第二方向的光分量之间的比,和在第二区域中是包含在穿过第二区域的光中的电场方向是第二方向的光分量与电场方向是第一方向的光分量之间的比。此外,当第一区域穿过光的电场方向被配置为与第一方向形成45度角时,消光比在第一区域中是包含在穿过第一区域的光中的电场方向与第一方向成45度角的光分量与电场方向与第一方向成135度角的光分量之间的比,和在第 二区域是包含在穿过第二区域的光中的电场方向与第一方向成135度角的光分量与电场方向与第一方向成45度角的光分量之间的比。替代地,例如,当第一区域穿过光的偏振分量主要是P波并且第二区域穿过光的偏振分量主要是S波时,消光比在第一区域中是包含在第一区域穿过光中的P偏振分量与S偏振分量之间的比,和在第二区域中是包含在第二区域穿过光中的S偏振分量与P偏振分量之间的比。 
在本实用新型的具有上述各种实施例和配置的成像装置中,组成第一成像元件组的成像元件由光电转换元件、以及叠置在该元件上或上方的滤色器、片上透镜、和线栅偏振器组成,并且线栅偏振器可以被配置为构成第三区域或第四区域。替代地,组成第一成像元件组的成像元件有光电转换元件、以及叠置在该元件上或上方的线栅元件、滤色器和片上透镜组成,并且该线栅偏振器可以被配置为构成第三区域或第四区域。替代地,成像元件由光电转换元件以及叠置在该元件上或上方的片上透镜、滤色器和线栅偏振器组成,并且线栅偏振器可以被配置为构成第三区域或第四区域。然而,片上透镜、滤色器和线栅偏振器的叠置顺序可以被适当地改变。此外,在这些实施例中,当第一区域穿过光的电场方向与第一方向平行时,组成线栅偏振器的多个线延伸的方向可以平行于第一方向或第二方向。具体地,在构成第三区域的线栅偏振器中,线延伸的方向平行于第二方向,并且在构成第四区域的线栅偏振器中,线延伸的方向平行于第一方向。替代地,在这样的实施例中,当第一区域穿过光的电场方向与第一方向形成45度角时,构成线栅偏振器的多个线延伸的方向可以与第一方向或第二方向形成45度角。更具体地,在构成第三区域的线栅偏振器中,线延伸的方向与第一方向形成135度角,并且在构成第四区域的线栅偏振器中,线延伸的方向与第一方向形成45度角。线延伸的方向是线栅偏振器中的光吸收轴,并且与线延伸的方向正交的方向是线栅偏振器中的光透射轴。此外,除了没有提供线栅偏振器之外,组成第二成像元件组的成像元件可以被配置或构造为与组成第一成像元件组的成像元件相同。 
在本实用新型的具有上述各种优选实施例和配置的成像装置中,成像元件阵列具有Bayer布置,并且一个像素可以由四个成像元件组成。此外,在第一像素组中,对于一个像素可以布置一个第三区域和/或第四区域。换言之,可以配置如下实施例:对于一个像素布置一个第三区域、布置一个第四区域、 或者布置一个第三区域和一个第四区域。替代地,在本实用新型的具有上述各种实施例和配置的成像装置中,可以配置为使得第一像素组由两个单位像素行构成,第三区域布置在单位像素行之一中,并且第四区域布置在另一单位像行中。替代地,可以配置为使得第一像素组由一个单位像素行构成,并且第三区域和第四区域布置在所述一个单位像素行中。然而,成像元件阵列的布置不限于Bayer布置,诸如行间插入(interline)布置、G条纹(G-striped)和RB棋盘格(RB-checkered)布置、G条纹和RB完全棋盘格布置、棋盘格互补颜色布置、条布置、斜条布置、主颜色色差布置、场色差序列布置、帧色差序列布置、MOS布置、修改的MOS布置、帧交错布置、以及场交错布置等其它布置可以作为示例。 
替代地,当成像元件阵列的布置在第一像素组中被设置为Bayer布置时,在一个像素中,感测红色的红成像元件和感测蓝色的蓝成像元件不被布置有第三区域和第四区域,但两个感测绿色的绿成像元件中的一个可以被布置有第三区域,并且另一个可以被布置有第四区域。替代地,当成像元件阵列的布置在第一像素组中被设置为Bayer布置时,在一个像素中,在感测红色的红成像元件、一个感测蓝色的蓝成像元件以及两个感测绿色的绿成像元件之中与第一方向相邻的两个成像元件(例如,一个感测红色的红成像元件和两个感测绿色的绿成像元件之一)可以被布置有第三区域或第四区域,并且其余两个成像元件(例如,感测蓝色的蓝成像元件和另一感测绿色的绿成像元件)可以被布置有第四区域或第三区域。替代的,当成像元件阵列的布置在第一像素组中被设置为Bayer布置时,在一个像素中,在一个感测红色的红成像元件、一个感测蓝色的蓝成像元件以及两个感测绿色的绿成像元件之中的任何一个成像元件(例如,一个感测红色的红成像元件或者一个感测蓝色的蓝成像元件)可以被布置有第三区域或第四区域,并且这些成像元件之中与第二方向相邻的成像元件(例如,绿成像元件)被布置有第四区域或第三区域。 
构成第一像素组的单位像素行的数目可以例如是如上所述的一个或两个,但不限于此。构成第一像素组中的像素的成像元件被设置为第一成像元件组,但构成第一像素组中的所有像素的成像元件可以被设置为第一成像元件组,并且构成第一像素组中的一部分像素的成像元件可以是第一成像元件组。此外,由未包含在第一成像元件组中的成像元件构成的成像元件组被设 置为第二成像元件组,但由未包含在第一成像元件组中的所有成像元件构成的成像元件组可以被设置为第二成像元件组。 
在本实用新型的具有上述各种优选实施例和配置的成像方法(下文中,其可以被总体简单地称为“本实用新型”)中,第一方向可以被设置为水平方向,第二方向可以被设置为垂直方向。在第一像素组中,第三区域和第四区域沿着第一方向的单位长度可以例如相当于成像元件沿着第一方向的长度(当第一区域穿过光的电场方向平行于第一方向时),或者可以相当于一个成像元件的长度(当第一区域穿过光的电场方向与第一方向形成45度角时)。透镜系统可以包括单焦点透镜、或所谓的变焦透镜,并且可以基于透镜系统所需要的规格参数确定透镜或透镜系统的配置或结构。作为成像元件,可以例示诸如CCD(电荷耦合器件)元件、CMOS(互补金属氧化物半导体)图像传感器、CIS(接触图像传感器)、以及CMD(电荷调制器件)的信号放大图像传感器。此外,作为成像装置,例如例示有表面辐射型固态成像装置或者后表面辐射型固态成像装置。此外,例如,本实用新型的成像装置等可以构成数字静物照相机、摄像机、或便携摄像放像机(camcorder)。此外,本实用新型的成像方法可以应用到在JP-A-2004-309868中公开的技术等中。 
当第三区域和第四区域由线栅偏振器构成时,优选构成线栅偏振器的线不受限制,但由铝(Al)或铝合金形成,线的宽度与线的间距的比值[(线的宽度)/(线的间距)]是0.33或更大,线的高度是5×10-8m或更大,并且线的数目是10或更多。 
在本实用新型中,第一区域的质心是指基于第一区域的外部形状而获得的质心,第二区域的质心是指基于第二区域的外部形状而获得的质心。当第一偏振部件的外部形状被设置为具有半径r的圆形,并且第一区域和第二区域分别被设置为占据第一偏振部件的一半的半月形时,第一区域的质心和第二区域的质心之间的距离可以根据[(8r)/(3π)]的简单计算获得。 
[实施例1] 
实施例1涉及本实用新型的成像方法,更具体地涉及用于将对象成像为立体图像的成像方法。 
适合用于执行实施例1的成像方法的本实用新型的成像装置的概念图显示在图1(A)中,第一偏振部件和第二偏振部件中的偏振状态被示意性地显示在图1(B)和(C)中,穿过透镜系统、第一偏振部件中的第一区域和第 二偏振部件中的第三区域、并到达成像元件阵列的光的概念图显示在图2(A)中,穿过第一偏振部件中的第二区域和第二偏振部件中的第四区域、并到达成像元件阵列的光的概念图显示在图2(B)中,由图2(A)和(B)中所示的光形成在成像元件阵列中的图像示意性地显示在图2(C)和(D)中。此外,在以下说明中,光行进方向被设置为Z轴方向,第一方向被设置为水平方向(X轴方向),第二方向被设置为垂直方向(Y轴方向)。此外,实施例1的成像装置中具有Bayer布置的成像元件阵列的概念图显示在图4中。 
在实施例1或后面要描述的实施例2至6中的成像装置中,由沿着第一方向(水平方向或X轴方向)的M0个像素(例如,在实施例1中是1920)组成的单位像素行布置在沿着与第一方向正交的第二方向(垂直方向或Y轴方向)的N0(例如,在实施例1中是1080)个行中,并且该装置包括(A)光学系统、以及(B)成像元件阵列40,在成像元件阵列40中,成像元件43A和43B被布置为对应于每个像素,并且成像元件阵列40将穿过光学系统的光转换为电信号。此外,M0和N0的值基本是任意的,并不限于上述值。 
这里,包括为每一个第N行(其中,2≤N)而选择的单位像素行的由至少一个单位像素行组成的像素组被设置为第一像素组PG1,组成第一像素组PG1中的像素的成像元件被设置为第一成像元件组41,由未包含在第一成像元件组41中的成像元件组成的成像元件组被设置为第二成像元件组42,并且由第二成像元件组42组成的像素构成的像素组被设置为第二像素组PG2。因此,该第二像素组PG2由未包含在第一像素组中的像素行组成。 
此外,在实施例1的成像装置中,N=2n,并且n是从1至5的自然数,更特殊地,n=3。 
在实施例1中,或者在后面要描述的实施例2至6中,光学系统包括(a)第一偏振部件130、230和330,其将来自对象的光进行偏振,以及(b)透镜系统20,其将来自第一偏振装置130、230和330的光进行会聚。此外,第一成像元件组41在光入射侧具有第二偏振部件150和250,将由透镜系统20会聚的光转换为电信号,并且第二成像元件组42将由透镜系统20会聚的光转换为电信号。具体地,第一成像元件组41将由透镜系统20会聚并穿过第一偏振部件130、230和330以及第二偏振部件150和250的光转换为电信号。第二成像元件组42将由透镜系统20会聚并穿过第一偏振部件130、230和330的光转换为电信号。第一偏振部件130、230和330具有沿着第一方向 (水平方向或X轴方向)布置的第一区域131、231和331以及第二区域132、232和332。 
此外,穿过第一区域131、231和331的第一区域穿过光L1的偏振状态与穿过第二区域132、232和332的第二区域穿过光L2的偏振状态彼此不同,第二偏振部件150和250具有在第一方向(水平方向或X轴方向)上延伸的多个第三区域151和251以及第四区域152和252,穿过第三区域151和251的第三区域穿过光L3的偏振状态与穿过第四区域152和252的第四区域穿过光L4的偏振状态彼此不同,第一区域穿过光L1穿过第三区域151和251,然后到达第一成像元件组41,第二区域穿过光L2穿过第四区域152和252,然后到达第一成像元件组41,因此,获得了视差信息,其中,第一区域131、231和331的质心BC1与第二区域132、232和332的质心BC2之间的距离被设置为双眼的视差的基线距离。 
在实施例1或后面将描述的实施例2至6的成像装置中,透射系统20包括例如拍摄透镜21、光圈22和成像透镜23,并用作变焦透镜。拍摄透镜21是用于将从对象入射的光会聚的透镜。拍摄透镜21包括用于进行聚焦的聚焦透镜、用于放大对象的变焦透镜,等等,并且一般由多个透镜的组合实现,用于校正色像差等。光圈22具有窄化的功能以便调节会聚的光的量,并且一般地被配置为与多个板形叶片组合。至少在光圈22的位置中,来自对象的一个点的光是平行光。成像透镜23利用穿过第一偏振部件130、230和330的光在成像元件阵列40上形成图像。成像元件阵列40被布置在照相机主体11内部。在上述配置中,入射光瞳被更多地定位在照相机主体侧而不是成像透镜23侧。成像装置构成例如数字静物照相机、摄像机或便携摄像放像机。 
照相机主体11除了成像元件阵列40之外还包括例如图像处理部件12和图像存储单元13。此外,基于由成像元件阵列40转换的电信号产生右眼视差信息、左眼视差信息和图像信息。成像元件阵列40由例如CCD元件、CMOS图像传感器等实现。图像处理部件12最终创建视差信息,并且来自电信号的图像信息从成像元件阵列40输出,并被记录在图像存储单元13中。 
第一偏振部件130、230和330被布置在透镜系统20的光圈22周围。具体地,如果可能,第一偏振部件130、230和330布置在光圈22周围的位置上,只要所述部件不阻碍光圈22的操作。此外,当入射到透镜系统20的光首先是平行光并最终如上所述被会聚在成像元件43A和43B上(形成图像) 时,在平行光的状态中,第一偏振部件130、230和330布置在透镜系统20的附近。 
在实施例1的成像装置110中,第一偏振部件130包括沿着第一方向布置的第一区域131和第二区域132。具体地,第一偏振部件130的外部形状是圆形,并且第一区域131和第二区域132各自具有占据第一偏振部件130的一半的半月形外部形状。第一区域131和第二区域132之间的边界线沿着第二方向延伸。由两个偏振滤波器的组合构成的第一偏振部件130将入射光划分为两个不同的偏振状态。第一偏振部件130由上述的双侧对称的偏振器组成,并且在照相机的直立状态中的两个左和右位置处产生彼此正交的线性方向上的偏振光束,或者彼此相反的旋转方向上的偏振光束。第一区域131是对第一像素组PG1中的、右眼应当看到的对象的图像(右眼应当接收的光)进行偏振的滤波器。另一方面,第二区域132是对第一像素组PG1中的、左眼应当看到的对象的图像(左眼应当接收的光)进行偏振的滤波器。 
这里,在实施例1的成像装置110中,第一区域131和第二区域132由偏振器构成。此外,第一区域穿过光L1的电场方向(由白箭头指示)和第二区域穿过光L2的电场方向(由白箭头指示)彼此正交,参见图1(B)。这里,在实施例1中,第一区域穿过光L1的电场方向与第一方向平行。具体地,例如,第一区域穿过光L1主要具有P波(TM波)作为偏振分量,第二区域穿过光L2主要具有S波(TE波)作为偏振分量。此外,第一区域穿过光L1的电场方向和第三区域穿过光L3的电场方向(由白箭头指示)彼此平行,第二区域穿过光L2的电场方向与第四区域穿过光L4的电场方向(由白箭头指示)彼此平行(参见图1(C))。此外,每个偏振器的消光比是3或更大,更特别的是10或更大。 
在实施例1的成像装置110中,第一偏振部件130的外部形状是具有半径r=10mm的圆形。此外,第一区域131和第二区域132具有占据第一偏振部件130的一半的半月形。因此,第一区域131的质心BC1和第二区域132的质心BC2之间的距离是[(8r)/(3π)]=8.5mm。 
图3(A)中示出了示意性部分截面图,图3(B)中示意性地示出了线栅偏振器67的布置状态,组成第一成像元件组41的成像元件43A由例如提供在硅半导体基板60上的光电转换元件61,以及叠置在该光电转换元件61上的第一平化薄膜(flattening film)62、滤色器63、片上透镜64、第二平化 薄膜65、无机绝缘基层66、和线栅偏振器67构成。此外,线栅偏振器67由第三区域151和第四区域152构成。此外,在图3(B)中,实线指示像素的边界区域,虚指示成像元件43A的边界区域。组成线栅偏振器67的多个线68的延伸方向与第一方向或第二方向平行。具体地,在构成第三区域151的线栅偏振器67A中,线68A的延伸方向与第二方向平行,并且,在构成第四区域152的线栅偏振器67B中,线68B的延伸方向与第一方向平行。线68的延伸方向是线栅偏振器67中的光吸收轴,与线68的延伸方向正交的方向是线栅偏振器67中的光透射轴。组成第二成像元件组42的成像元件43B可以被配置或构造为与组成第一成像元件组41的成像元件43A相同,除了在其中不提供线栅偏振器。 
如图2(A)和(B)示意性示出的,假定方形对象A进入透镜系统20的焦点。此外,假定圆形对象B位于比对象A更靠近透镜系统20的位置。方形对象A的图像在进入焦点的状态中形成在成像元件阵列40上。此外,圆形对象B的图像在未进入焦点的状态中形成在成像元件阵列40上。于是,在图2(A)所示的示例中,对象B的图像形成在成像元件阵列40上对象A的右侧距离(+ΔX)的位置上。另一方面,在图2(B)所示的示例中,对象B的图像形成在成像元件阵列40上对象A的左侧距离(-ΔX)的位置上。因此,距离(2×ΔX)是关于对象B的深度的信息。换言之,位于比对象A更靠近成像装置的位置的对象的模糊(blurring)量和模糊方向与位于远离成像装置的位置的另一对象的模糊量和模糊方向不同,并且对象B的模糊量根据对象A和对象B之间的距离而不同。此外,通过将第一偏振部件130中的第一区域131和第二区域132的形状的质心位置之间的距离设置为双眼的视差的基线长度,可以获得立体图像。换言之,从如上在第一像素组PG1中获得的右眼视差信息(参见图2(C)的示意图)和左眼视差信息(参见图2(D)的示意图),可以获得立体图像。 
图4中示出了实施例1的成像装置中具有Bayer布置的成像元件阵列的概念图。这里,一个像素由四个成像元件组成,(一个感测红色的红成像元件R、一个感测蓝色的蓝成像元件B、以及两个感测绿色的绿成像元件)。此外,包括为每一个第N行(其中2≤N,并且在实施例1中,N=8,如上所述)而选择的单位像素行的由至少一个单位像素行(在实施例1中是两个单位像素行)构成的像素组被设置为第一像素组PG1。换言之,在实施例1中,第三 区域151安排在沿着第一方向布置的一个单位像素行中,并且与单位像素行在第二方向上相邻的第四区域152安排在沿着第一方向布置的一个单位像素行中。在第一像素组PG1中,对于一个像素安排一个第三区域151或第四区域152,对组成一个单位像素行的所有像素安排第三区域151,并对组成一个单位像素行的所有像素安排第四区域152。换言之,组成第一像素组PG1中的所有像素的成像元件被设置为第一成像元件组41。此外,第三区域151和第四区域152整体在第一方向上延伸,但第三区域151和第四区域152在第一方向和第二方向上延伸的单位长度等于成像元件43A沿着第一方向和第二方向的长度。此外,通过采用这样的配置,沿着第二方向产生基于主要具有P波分量的光在第一方向上延伸的条形图像(右眼视差信息)和基于主要具有S波分量的光在第一方向上延伸的条形图像。此外,在图4中,在第三区域151中画出了垂直线,在第四区域152中画出了垂直线和水平线,但它们示意地指示线栅偏振器67A和67B的线。 
此外,在实施例1或后面将描述的实施例2至6的成像方法中,在第一成像元件组41中获取用于获得立体图像的视差信息,在第二成像元件组42中获取用于获得图像的图像信息,基于所获取的图像信息,获得第一像素组PG1中从其获取视差信息的像素(具体地,在实施例1中,是第一像素组中的所有像素)中的图像信息,然后根据视差信息和所有像素的图像信息获得立体图像。 
换言之,在第一像素组PG1中,基于从由穿过第三区域151的第一区域穿过光以及由穿过第四区域152的第二区域穿过光获得的电信号产生的视差量,获取深度地图(深度信息)作为视差信息。此外,基于来自构成成像元件阵列40的所有其余像素元件43B(第二成像元件组42)的电信号获取图像信息。这种获取和处理方法可以采用已知方法。 
因为从其中安排了第三区域151和第四区域152的第一成像元件组41构成的第一像素组PG1中的各个成像元件获得的图像信息和光量(下文中,总体称为图像信息)是从穿过被划分为第一区域131和第二区域132的区域的、用于获取各个视差信息的光所获取的图像信息,所以不可能获得与第二成像元件组42中的各个成像元件的、从通过将穿过第一区域131的第一区域穿过光与穿过第二区域132的第二区域穿过光相加而不分离视差信息获得的光所获取的图像信息相同的图像信息。为此原因,需要对于其中安排了第三 区域151和第四区域152的第一成像元件组41构成的第一像素组PG1中的、从其获取视差信息的每个成像元件,基于来自构成与第一像素组相邻的第二成像元件组42的每个成像元件的图像信息,获得不充分的或缺少的图像信息。换言之,对于包括其中安排了第三区域151和第四区域152的第一成像元件组的单位像素行,基于插值处理,产生与第二成像元件组相同的图像信息。通过将如上获得的第一成像元件组中的图像信息与第二成像元件组中的图像信息相加而进行合成,可以在全体成像元件中获得图像信息而没有不充分或缺失。此外,可以例如利用用于通过根据从第三区域获得的左眼视差信息和从第四区域获得的右眼视差信息之间的差别执行立体匹配而创建差异(disparity)地图的视差检测技术、以及用于基于所获得的差异地图以及通过基于插值处理而将第一成像元件组和第二成像元件组相加所获得的全体成像元件的图像信息来任意地产生左眼图像和右眼图像的视差控制技术,而使得像差加强或适当。 
具体地,由穿过第三区域151并到达成像元件43A的第一区域穿过光L1在成像元件43A中产生用于获得右眼视差信息的电信号。此外,由穿过第四区域152并到达成像元件43A的第二区域穿过光L2在成像元件43A中产生用于获得左眼视差信息的电信号。然后,同时或在时间序列上交替地输出这两个电信号。另一方面,由穿过第一区域131和第二区域132并到达成像元件43B的光在成像元件43B中产生并输出用于获得图像信息(二维图像信息)的电信号。由图像处理部件12对输出电信号(用于获得右眼视差信息、左眼视差信息、以及从成像元件阵列40输出的图像信息的电信号)执行成像处理,并将其记录在图像存储单元13中作为视差信息和图像信息。 
图5示出了对于从构成第二成像元件组42的成像元件43B获得的电信号执行去马赛克处理并具有Bayer布置的成像元件阵列的概念图,用于描述获得信号值的成像处理。此外,图5示出了产生与绿成像元件相关的信号值的示例。在一般去马赛克处理中,通常使用具有相同颜色的相邻成像元件的电信号的平均值。然而,当用于获得右眼视差信息的单位像素行与用于获得左眼视差信息的单位像素行被彼此邻接地安排时(如实施例1),存在如果在不改变的情况下使用相邻值则不能获得原始图像信息的问题。因此,执行去马赛克处理以便防止这样的问题。可以通过去马赛克处理而获得各个成像元件位置中的成像元件信号值,但该阶段可能处于一种遗漏的状态,如上所述。 换言之,在其中布置了第一成像元件组41的第一像素组PG1中,未获得与来自第二成像元件组42相同的图像信息。为此原因,必须通过对其中不存在成像元件信号值的区域(第一成像元件组41)进行插值来产生成像元件信号值。作为插值方法,可以例示诸如使用相邻值的和的平均的方法等已知方法。此外,可以与去马赛克处理并行地执行插值处理。因为在第一方向中完全保持像素数据,所以诸如整个图像的分辨率的降低的图像质量的劣化相对无关紧要。此外,因此,可以获得第一像素组PG1中从其获取视差信息的像素(更具体地,实施例1中的第一像素组PG1中的所有像素)中的图像信息。 
在Bayer布置中,假定红成像元件R安排在位置(4,2)。在这一点,执行由以下公式表达的算术运算,以便产生对应于此位置(4,2)的绿成像元件信号值g’。 
g’4,2=(g4,1+g4,3+g5,2+g1,2×W3)/(3.0+W3
其中,左侧的g’i,j是位置(i,j)的绿成像元件信号值。此外,右侧的gi,j是位置(i,j)的绿成像元件的电信号的值。此外,当从目标成像元件G4,2到相邻成像元件G4,1、G4,1和G5,2的距离(W1)的每一个被设置为例如“1.0”时,“3.0”是所获得的、使得它们的倒数被设置为权重并且这些权重被相加的值。以相同的方式,W3是为三个成像元件而分离的成像元件G1,2的电信号值的权重,在此情况中,该值为“1/3”。如果以上公式被一般化,其变为以下公式。 
当i是偶数(对应于红成像元件R的位置的绿成像元件G的信号值)时: 
g’i,j=(gi,j-1×W1+gi,j+1×W1+gi+1,j×W1+gi-3,j×W3)/(W1×3.0+W3), 
并且当i是奇数(对应于蓝成像元件B的位置的绿成像元件G的信号值)时: 
g’i,j=(gi,j-1×W1+gi,j+1×W1+gi-1,j×W1+gi+3,j×W3)/(W1×3.0+W3), 
其中W1=1.0,W3=1/3。 
可以以相同的方式对红成像元件R和蓝成像元件B执行去马赛克处理。 
可以通过去马赛克处理获得各个成像元件位置的成像元件信号值,但如上所述,该阶段可能处于一种遗漏的状态。换言之,在其中安排了第一成像元件组41的第一像素组PG1中,未获得与来自第二成像元件组42相同的图像信息。为此原因,必须通过对其中不存在成像元件信号值的区域(第一成像元件组41)进行插值来产生成像元件信号。作为插值方法,可以例示诸如 使用相邻值的相加的平均的方法等已知方法。此外,可以与去马赛克处理并行地执行插值处理。因为在第一方向中完全保持图像质量,所以诸如整个图像的分辨率的降低的图像质量劣化相对无关紧要。此外,因此,可以获得第一像素组PG1中从其获取视差信息的像素(更具体地,实施例1中的第一像素组PG1的所有像素)中的图像信息。 
此外,根据所获得的视差信息和所有像素中的图像信息获得立体图像。换言之,在从所获得的视差信息和所有像素中的图像信息获得右眼图像数据和左眼图像数据之后,基于右眼图像数据和左眼图像数据显示立体图像。此外,这样的处理方法本身可以采用已知方法。 
在实施例1的成像方法中,在第一成像元件组中获取用于获得立体图像的视差信息,在第二成像元件组中获取用于获得图像的图像信息,基于所获取的图像信息获取第一像素组中从其获取视差信息的像素中的图像信息,接着根据视差信息和所有像素的图像信息获得立体图像。换言之,因为用于获得图像的图像信息基本在第二成像元件组中获取,也就是说,穿过第一偏振部件的第一区域和第二区域的光以混合的状态入射到第二成像元件组,所以可以通过非偏振光获得图像信息,因此可以抑制视场竞争的发生。此外,因为在某些像素中(即在第一成像元件组中)获取用于获得立体图像的视差信息,所以与在所有像素中获取用于获得立体图像的视差信息的情况相比,可以防止到达成像元件阵列的光量的急剧下降。换言之,在入射自然光的强度100方面,穿过第一偏振部件130和第二偏振部件150的光量(到达第一成像元件组的光)约为入射到第一偏振部件130之前的光量的25%,即使在透射损耗是0的情况下也是如此。另一方面,穿过第一偏振部件130的光量(到达第二成像元件组的光)没有从入射到第一偏振部件130的光量发生变化,即使在透射损耗是0的情况下也是如此。为此原因,可以防止到达整个成像元件阵列的光量的急剧下降。 
此外,关于图像质量和图像的像素数,深度地图的图像质量与像素数的比例不设置为1:1,但这是因为在大多数拍摄场景中,与像素分辨能力相比,单独对象足够大,并且,只要在与像素分辨能力相同的精细度上没有距离差,则对于单独对象不需要与图像的像素分辨能力相同的距离信息分辨能力。此外,如果水平方向的分辨能力在感测距离差上是足够的,则甚至当垂直方向上的分辨能力较低时也几乎不存在不舒服。 
此外,在实施例1中,因为成像装置110由一对第一偏振部件130和第二偏振部件150、以及一个透镜系统20构成,所以可以同时产生两个例如左右分离的不同图像,并且可以提供小的单筒成像装置,并且该成像装置具有简单的配置和结构,以及少量的构成组件。此外,因为不需要两对透镜和偏振滤波器的组合,所以在放大率、光圈、焦点、会聚角度等上没有偏差或差别。此外,因为双眼的视差的基线长度相对较短,所以可以获得自然立体效果。此外,可以通过采用由附接或卸除第一偏振部件130而产生的结构来容易地获得二维或三维图像。 
〔实施例2〕 
实施例2是实施例1的修改。在实施例1中,第一区域穿过光L1的电场方向被设置为与第一方向平行。另一方面,在实施例2中,第一区域穿过光L1的电场方向被设置为与第一方向形成45度角。此外,第一区域穿过光L1的电场方向与第三区域穿过光L3的电场方向彼此平行,并且第二区域穿过光L2的电场方向与第四区域穿过光L4的电场方向彼此平行。实施例2的成像装置中提供的第一偏振部件230和第二偏振部件250中的偏振状态在图6(A)和(B)中示意性地显示。 
图7中示出了具有Bayer布置的成像元件阵列40的概念图。同样,在实施例2中,成像元件阵列40的一个像素由四个成像元件构成,(一个感测红色的红成像元件R、一个感测蓝色的蓝成像元件B、以及两个感测绿色的绿成像元件G)。此外,在第一像素组PG1中,第三区域251安排在沿着第一方向布置的一个单位像素行中,在第二方向上与该单位像素行相邻的第四区域252安排在沿着第一方向布置的一个像素行中。为每一个第N行沿着第二方向安排第三区域251和第四区域252。此外,第三区域251和第四区域252整体上在第一方向上延伸,但第三区域251和第四区域252的单位长度相当于一个成像元件长度。此外,利用这样的配置,沿着第二方向产生了基于主要具有P波分量(右眼视差信息)的光在第一方向上延伸的条形图像以及基于主要具有S波分量的光在第一方向上延伸的条形图像。此外,在图7中,在第三区域251和第四区域252内部画出倾斜线,但它们示意性地指示线栅偏振器的线。 
除了以上各点,因为使用实施例2的成像装置的成像方法可以与实施例1中描述的方法相同,所以其详细描述将被省略。此外,因为实施例2的成 像装置的配置和结构与实施例1中描述的成像装置110的相同,所以其详细描述也将被省略。实施例2的成像装置的配置和结构可以应用到后面将描述的实施例3至6中的成像装置。 
[实施例3] 
实施例3是实施例1的修改。在实施例3的成像装置的第一偏振部件330中,在第一区域331和第二区域332之间提供中心区域333,并且穿过中心区域333的中心区域穿过光的偏振状态不从在入射到中心区域333之前的状态发生变化。换言之,中心区域333是偏振的自由穿过状态。 
顺便提及,当入射光穿过第一偏振装置时,光量与频谱特性和消光比成比例地下降,并且亮度变得较暗。这里,消光比是指在选择偏振器的情况下的穿过光的量与没有选择偏振器的情况下通过反射或吸收而泄漏的光的量的比。具体地,例如,在使P波分量以10的消光比穿过的偏振器的情况下,对于P波分量:S波分量=50:50的入射自然光的强度100,偏振器以50的P波分量和5的S波分量的比来透射光。此外,在使P波分量以∞的消光比穿过的偏振器的情况下,P波分量100%透射,但S波分量不被透射,而是被全部反射或完全吸收,因此,当普通的自然光入射时,亮度变为约1/2。图1(B)和(C)中所示的穿过第一偏振部件130和第二偏振部件150的光量约为入射到第一偏振部件130之前的光量的25%,即使在透射损耗为0的情况下也是如此。此外,当穿过第一和第二区域的光在混合状态并以不可分离的状态入射到成像元件阵列40时,双眼的视差的基线长度与混合比成比例地变短,并且左眼视差信息和右眼视差信息在完全混合的状态中变得相同,未获得视差,因此立体视图是不可能的。 
在第一偏振部件330的中心区域333中,光强度较强,但视差量较小。因此,可以通过采用实施例3的第一偏振部件330来增大成像元件阵列40接收的光强度,并确保双眼的视差的足够的基线长度。如图8(A)中的第一偏振部件330的示意图所示,当第一偏振部件330的外部形状是圆形时,中心区域333可以是圆形,并且第一区域331和第二区域332可以是环绕中心区域333的具有180度的中心角度的扇形。替代地,如图8(B)和(C)中的第一偏振部件330的示意图所示,中心区域333可以是菱形或正方形,并且第一区域331和第二区域332可以是类似围绕中心区域333的具有180度的中心角的扇形的形状。替代地,如图8(D)中的第一偏振部件330的示意图 所示,第一区域331、中心区域333以及第二区域332可以是沿着第二方形延伸的条形。 
除了以上各点,因为使用实施例3的成像装置的成像方法可以与实施例1中描述的相同,所以将省略其详细描述。此外,因为实施例3的成像装置的配置和结构与实施例1中描述的成像装置110的相同,所以其详细描述将被省略。实施例3的成像装置的配置和结构可以应用到后面将描述的实施例4至6中的成像装置。 
[实施例4] 
实施例4也是实施例1的修改。在实施例4中,检查消光比和视差之间的关系。换言之,通过将消光比从消光比=∞(具有0%的串扰,并在左眼视差信息和右眼视差信息完全分离的状态)改变为消光比=1(具有50%的串扰,在左眼图像和右眼图像完全混合的状态中,并且左眼视差信息和右眼视差信息是相同的视差信息(图像)),执行合成图像模拟,用于在被分离为左和右的图像混合时,检查如果像差消失,即如果立体视图不可能,像应当被混合到什么程度。根据以上结果,确定偏振器的消光比期望是3或更大。 
[实施例5] 
实施例5也是实施例1的修改。在实施例5中,线栅偏振器的规格参数和消光比之间的关系从计算中获得。具体地,构成线栅偏振器的线的间距、入射光的波长(λ)、以及消光比之间的关系显示在图9(A)中。此外,线宽被设置为线间距的1/3,线的高度被设置为150nm,并且线的长度被设置为无限。在图9(A)中,曲线“A”是间距为150nm的情况中的数据,曲线“B”是间距为175nm的情况中的数据,曲线“C”是间距为200nm的情况中的数据,曲线“D”是间距为250nm的情况中的数据,曲线“E”是间距为300nm的情况中的数据。此外,构成线栅偏振器的线的高度、入射光的波长(λ)、以及消光比之间的关系显示在图9(B)中。此外,线宽被设置为50nm,线的长度被设置为无限,并且线的间距被设置为150nm。在图9(B)中,曲线“A”是高度为250nm的情况中的数据,曲线“B”是高度为200nm的情况中的数据,曲线“C”是高度为150nm的情况中的数据,曲线“D”是高度为100nm的情况中的数据。此外,构成线栅偏振器的线的(宽度/间距)、入射光波长(λ)、以及消光比之间的关系显示在图9(C)中。此外,线宽被设置为50nm,线的高度被设置为150nm,线的长度被设置为无限。在图9(C)中,曲线“A” 是(宽度/间距)的值为0.50时的数据,曲线“B”是(宽度/间距)的值为0.33时的数据。 
根据图9(A),确定期望线的间距等于或小于200nm,期望线的高度等于或大于5×10-8m(50nm),期望线的(宽度/间距)值等于或大于0.33,以便将消光比设置为10或更大。此外,线的数目优选为10或更多。 
此外,两个线的长度、入射光的波长(λ)、以及消光比之间的关系显示在图10中。此外,线宽设置为50nm,线的高度设置为150nm,并且线的间距设置为线宽的三倍。在图10中,“A”是长度为1μm的情况中的数据,“B”是长度为2μm的情况中的数据,“C”是长度为3μm的情况中的数据,“D”是长度为4μm的情况中的数据,“E”是长度为5μm的情况中的数据,“F”是长度为6μm的情况中的数据,“G”是长度为无限的情况中的数据。根据图10,确定期望线的长度等于或长于2μm,优选等于或长于3μm,以便将消光比设置为10或更大。此外,为了容易处理的原因,确定期望形成线的材料为铝或铝合金。 
[实施例6] 
实施例6也是实施例1的修改。图11中显示了实施例6的成像装置中的具有Bayer布置的成像元件阵列的概念图,但第一像素组由一个单位像素行构成,并且在一个像素中安排一个第三区域151和一个第四区域152。更具体地,第三区域151安排在两个感测绿色的绿成像元件G中的一个中,第四区域152安排在一个像素中的另一个绿成像元件G中,此外,在第一像素组的一个像素中安排一个第三区域151和一个第四区域152,第一像素组由针对每一个第N行选择的一个单位像素行构成,(其中,N=2n,并且在图中所示的示例中,n=2)。 
替代地,图12中示出了实施例6的成像装置的修改示例中的具有Bayer布置的成像元件阵列的概念图,但一个第三区域151和一个第四区域152沿着第一方向安排在一个像素中。而且,N=8。此外,第一像素组由两个单位像素行构成。然而,在一个单位像素行中为每一个第二像素安排第三区域151,并且在另一个单位像素行中为每一个第二像素安排第四区域152。在一个单位像素行中,其中未安排第三区域151的成像元件包含在第二成像元件组中,并且在另一单位像素行中,其中未安排第四区域152的成像元件包含在第二成像元件组中。 
除了以上各点,因为使用实施例6的成像装置的成像方法可以与实施例1中描述的方法相同,所以将省略其详细描述。 
在上文中,基于优选实施例描述了本实用新型,但本实用新型不限于这些实施例。实施例中描述的成像装置和成像元件的配置和结构是示例,并可以被适当地修改。例如,如图13(A)中所示出的示意性部分截面图,成像元件43A可以被配置为由提供在硅半导体基板60上的光电转换元件61、以及叠置在该光电转换元件61上的第一平化薄膜62、无机绝缘基层66、线栅偏振器67、第二平化薄膜65、滤色器63和片上透镜64组成。 
替代地,如图13(B)中所示出的示意性部分截面图,成像元件43A可以被配置为由提供在硅半导体基板60上的光电转换元件61、以及叠置在该光电转换元件61上的第一平化薄膜62、片上透镜64、第二平化薄膜65、滤色器63、无机绝缘基层66和线栅偏振器67组成。除了不提供线栅偏振器67之外,成像元件43B可以具有与成像元件43A相同的配置和结构。此外,成像元件可以是表面辐射型,如图中所示,也可以是后表面辐射型,尽管图中未示出。 
基于通过本实用新型的成像方法获得的右眼图像数据和左眼图像数据显示立体图像,但作为这样的显示方法,可以例示通过在两个投影仪中安装圆偏振或线偏振滤波器而分别显示左眼和右眼图像并利用对应于显示器的圆偏振或线偏振眼镜观看图像的方法、双凸透镜(lenticular lens)方法、以及视差栅栏方法。另外,如果不使用圆偏振或线偏振眼镜观看图像,可以看到通常的二维(平)图像。此外,上面描述的处理过程可以被理解为具有这样一系列过程的方法,并且可以被理解为使得计算机执行这样一系列过程的程序或存储该程序的记录介质。作为记录介质,例如可以使用CD(紧致盘)、MD(迷你盘)、DVD(数字多功能盘)、存储卡、蓝光盘(注册商标)等。 
附图标记列表 
PG1:第一像素组 
PG2:第二像素组 
110:成像装置 
11:照相机主体 
12:图像处理部件 
13:图像存储单元 
20:透镜系统 
21:拍摄透镜 
22:光圈 
23:成像透镜 
130、230和330:第一偏振部件 
131、231和331:第一区域 
132、232和332:第二区域 
333:中心区域 
40:成像元件阵列 
41:第一成像元件组 
42:第二成像元件组 
43A和43B:成像元件 
150和250:第二偏振部件 
151和251:第三区域 
152和252:第四区域 
60:硅半导体基板 
61:光电转换元件 
62:第一平化薄膜 
63:滤色器 
64:片上透镜 
65:第二平化薄膜 
66:无机绝缘基层 
67、67A和67B:线栅偏振器 
68、68A和68B:线 

Claims (12)

1.一种视差成像设备,其特征在于包括:
安排在矩阵中的像素集合,
所述像素集合的第一图像像素组,用于接收原始信息;以及
所述像素集合的第二图像像素组,用于接收视差信息,
其中由所述第一图像像素组接收的原始信息是穿过第一偏振部件和第二偏振部件的会聚光,并且所述第一图像像素组将所述会聚光转换为电信号,
其中由所述第二图像像素组接收的视差信息是穿过第一偏振部件的会聚光,并且所述第二图像像素组将所述会聚光转换为电信号,以及
处理器,用于利用所述视差信息处理所述原始信息,以呈现第一图像和第二图像。
2.如权利要求1所述的视差成像设备,其特征在于所述设备是数码照相机、个人计算机、移动终端设备、摄像机或游戏机中的一个。
3.如权利要求1所述的视差成像设备,其特征在于所述像素矩阵的第一图像像素组包括至少一个像素行,并且
其中所述像素矩阵的第二图像像素组由未包含在所述第一图像像素组中的像素行组成。
4.如权利要求1所述的视差成像设备,其特征在于所述第一图像像素组针对每一个第N行包括至少一个像素行,其中N≥2,并且
其中所述第二图像像素组包括不等于每一个第N行的像素行。
5.如权利要求4所述的视差成像设备,其特征在于N的上限是N=2^n,其中n是从1至5的自然数。
6.如权利要求5所述的视差成像设备,其特征在于n=3。
7.一种视差成像系统,其特征在于包括:
安排在矩阵中的像素集合,
所述像素集合的第一图像像素组,用于接收原始信息;以及
所述像素集合的第二图像像素组,用于接收视差信息,
其中由所述第一图像像素组接收的原始信息是穿过第一偏振部件和第二偏振部件的会聚光,并且所述第一图像像素组将所述会聚光转换为电信号,
其中由所述第二图像像素组接收的视差信息是穿过第一偏振部件的会聚 光,并且所述第二图像像素组将所述会聚光转换为电信号,
其中所述第一偏振部件具有沿着第一方向布置的第一区域和第二区域,并且
其中所述第二偏振部件具有沿着第二方向布置的第三区域和第四区域。
8.如权利要求7所述的视差成像系统,其特征在于所述第一区域的质心和所述第二区域的质心之间的距离被设置为双眼的视差的基线长度。
9.如权利要求7所述的视差成像系统,其特征在于穿过所述第一区域的会聚光的电场方向与穿过所述第二区域的会聚光的电场方向正交。
10.一种视差成像设备,其特征在于包括:
第一图像像素组,用于接收原始信息;以及
第二图像像素组,用于接收视差信息,
其中由所述第一图像像素组接收的原始信息是穿过第一偏振部件和第二偏振部件的会聚光,并且所述第一图像像素组将所述会聚光转换为电信号,
其中由所述第二图像像素组接收的视差信息是穿过第一偏振部件的会聚光,并且所述第二图像像素组将所述会聚光转换为电信号,
其中所述第一偏振部件具有沿着第一方向布置的第一区域和第二区域,并且
其中所述第二偏振部件具有沿着第二方向布置的第三区域和第四区域。
11.如权利要求10所述的视差成像设备,其特征在于所述第一区域的质心和所述第二区域的质心之间的距离被设置为双眼的视差的基线长度。
12.如权利要求10所述的视差成像设备,其特征在于穿过所述第一区域的会聚光的电场方向与穿过所述第二区域的会聚光的电场方向正交。 
CN2011203233927U 2010-09-03 2011-08-31 视差成像设备和视差成像系统 Expired - Fee Related CN202750183U (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010197484A JP5454424B2 (ja) 2010-09-03 2010-09-03 撮像方法
JP2010-197484 2010-09-03

Publications (1)

Publication Number Publication Date
CN202750183U true CN202750183U (zh) 2013-02-20

Family

ID=45772378

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2011203233927U Expired - Fee Related CN202750183U (zh) 2010-09-03 2011-08-31 视差成像设备和视差成像系统
CN201110254543.2A Expired - Fee Related CN102385168B (zh) 2010-09-03 2011-08-31 将像素矩阵划分为子组的立体成像方法和系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201110254543.2A Expired - Fee Related CN102385168B (zh) 2010-09-03 2011-08-31 将像素矩阵划分为子组的立体成像方法和系统

Country Status (9)

Country Link
US (1) US9851483B2 (zh)
EP (1) EP2478711A4 (zh)
JP (1) JP5454424B2 (zh)
KR (1) KR101824265B1 (zh)
CN (2) CN202750183U (zh)
BR (1) BR112012010121A2 (zh)
RU (1) RU2012117249A (zh)
TW (1) TW201232042A (zh)
WO (1) WO2012029251A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102385168A (zh) * 2010-09-03 2012-03-21 索尼公司 将像素矩阵划分为子组的立体成像方法和系统

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5531483B2 (ja) * 2008-08-29 2014-06-25 ソニー株式会社 撮像装置および映像記録再生システム
JP5831024B2 (ja) * 2011-08-04 2015-12-09 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2014232899A (ja) * 2011-09-22 2014-12-11 富士フイルム株式会社 固体撮像装置及びデジタルカメラ
JP5831105B2 (ja) * 2011-09-30 2015-12-09 ソニー株式会社 撮像装置及び撮像方法
JP5990953B2 (ja) * 2012-03-16 2016-09-14 株式会社リコー 撮像装置、物体検出装置、車両走行支援画像処理システム、及び車両
WO2013161313A1 (ja) * 2012-04-25 2013-10-31 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
JP5978736B2 (ja) * 2012-04-25 2016-08-24 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
JP5978738B2 (ja) * 2012-04-25 2016-08-24 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
JP5978735B2 (ja) * 2012-04-25 2016-08-24 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
JP5978737B2 (ja) * 2012-04-25 2016-08-24 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
JP5974658B2 (ja) * 2012-06-19 2016-08-23 ソニー株式会社 撮像装置
WO2014045689A1 (ja) * 2012-09-19 2014-03-27 富士フイルム株式会社 画像処理装置、撮像装置、プログラム及び画像処理方法
KR20140064478A (ko) 2012-11-20 2014-05-28 삼성디스플레이 주식회사 영상 감지 유닛, 3d 영상 처리 장치, 3d 카메라 시스템, 3d 영상 처리 방법
DE102013004963A1 (de) * 2013-03-22 2014-09-25 Carl Zeiss Microscopy Gmbh Mikroskop mit strukturierter Beleuchtung
JP2018029280A (ja) * 2016-08-18 2018-02-22 ソニー株式会社 撮像装置と撮像方法
US20200041807A1 (en) * 2018-08-02 2020-02-06 Christie Digital Systems Usa, Inc. Light emitting diode display with a monolithic wire-grid polarizer for producing three-dimensional images
CN111122567B (zh) * 2018-11-01 2022-09-16 华中科技大学苏州脑空间信息研究院 一种高通量光学层析三维成像系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0654991B2 (ja) * 1987-08-25 1994-07-20 シャープ株式会社 立体撮影装置
JP2971259B2 (ja) 1992-08-06 1999-11-02 富士車輌株式会社 ドライクリーニング機
US6807295B1 (en) * 1999-06-29 2004-10-19 Fuji Photo Film Co., Ltd. Stereoscopic imaging apparatus and method
JP3863319B2 (ja) * 1999-06-29 2006-12-27 富士フイルムホールディングス株式会社 視差画像撮像装置及びカメラ
JP2001045521A (ja) * 1999-07-30 2001-02-16 Canon Inc 立体画像撮影光学系及びそれを用いた立体画像撮影装置
WO2003010976A1 (en) * 2001-07-23 2003-02-06 Koninklijke Philips Electronics N.V. Stereoscopic image processing apparatus and method
JP2004309868A (ja) * 2003-04-08 2004-11-04 Sony Corp 撮像装置及び立体映像生成装置
US7248968B2 (en) * 2004-10-29 2007-07-24 Deere & Company Obstacle detection using stereo vision
JP5581782B2 (ja) * 2009-04-17 2014-09-03 ソニー株式会社 撮像装置
JP5227368B2 (ja) * 2010-06-02 2013-07-03 パナソニック株式会社 3次元撮像装置
JP5454424B2 (ja) 2010-09-03 2014-03-26 ソニー株式会社 撮像方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102385168A (zh) * 2010-09-03 2012-03-21 索尼公司 将像素矩阵划分为子组的立体成像方法和系统
CN102385168B (zh) * 2010-09-03 2016-09-07 索尼公司 将像素矩阵划分为子组的立体成像方法和系统
US9851483B2 (en) 2010-09-03 2017-12-26 Sony Corporation Stereoscopic imaging method and system that divides a pixel matrix into subgroups

Also Published As

Publication number Publication date
CN102385168B (zh) 2016-09-07
KR20130098131A (ko) 2013-09-04
US20120206576A1 (en) 2012-08-16
TW201232042A (en) 2012-08-01
JP5454424B2 (ja) 2014-03-26
WO2012029251A1 (en) 2012-03-08
EP2478711A1 (en) 2012-07-25
KR101824265B1 (ko) 2018-01-31
BR112012010121A2 (pt) 2016-06-07
RU2012117249A (ru) 2013-11-10
JP2012054856A (ja) 2012-03-15
EP2478711A4 (en) 2017-01-18
CN102385168A (zh) 2012-03-21
US9851483B2 (en) 2017-12-26

Similar Documents

Publication Publication Date Title
CN202750183U (zh) 视差成像设备和视差成像系统
US11736676B2 (en) Imaging apparatus and image sensor array
CN102685377B (zh) 摄像装置
JP5831105B2 (ja) 撮像装置及び撮像方法
CN104041020B (zh) 彩色摄像元件
CN102948141B (zh) 图像捕获装置和图像捕获方法
CN105872525B (zh) 图像处理装置和图像处理方法
CN101995758B (zh) 成像装置和视频记录/播放系统
JP5742281B2 (ja) 撮像装置、画像処理方法およびプログラム
JP2015521411A (ja) πフィルタ群を用いてパターン化されたカメラモジュール
CN104170377B (zh) 图像处理装置、摄像装置
CN104935793A (zh) 配有滤光器阵列的微透镜和固态成像设备
CN103430094A (zh) 图像处理装置、拍摄装置以及图像处理程序
JP2013102322A (ja) 撮像装置及び撮像方法
GB2540922B (en) Full resolution plenoptic imaging
US20160029005A1 (en) Image-capturing apparatus and image-capturing method

Legal Events

Date Code Title Description
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130220

Termination date: 20130831