CN102474649A - 三维摄像装置及透光板 - Google Patents

三维摄像装置及透光板 Download PDF

Info

Publication number
CN102474649A
CN102474649A CN201180003195XA CN201180003195A CN102474649A CN 102474649 A CN102474649 A CN 102474649A CN 201180003195X A CN201180003195X A CN 201180003195XA CN 201180003195 A CN201180003195 A CN 201180003195A CN 102474649 A CN102474649 A CN 102474649A
Authority
CN
China
Prior art keywords
zone
light
sees
light transmission
blue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201180003195XA
Other languages
English (en)
Other versions
CN102474649B (zh
Inventor
平本政夫
石井育规
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN102474649A publication Critical patent/CN102474649A/zh
Application granted granted Critical
Publication of CN102474649B publication Critical patent/CN102474649B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/214Image signal generators using stereoscopic image cameras using a single 2D image sensor using spectral multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Blocking Light For Cameras (AREA)

Abstract

本发明提供一种三维摄像装置及透光板。三维摄像装置具备:光透过部(2),具有透过波段互不相同的N个(N是3以上的整数)扇形透过区域;固体摄像元件(1),接受透过了光透过部(2)的光;光学系统(2),在固体摄像元件(1)的摄像面上形成像;信号处理部(200),处理从固体摄像元件(1)输出的信号。在固体摄像元件(1)的摄像面上形成有以N个光敏元件和N个彩色滤光器作为单位构成要素的光敏元件阵列、以及彩色滤光器阵列。各透过区域和各彩色滤光器的透过波段被设定成:透过N个透过区域中的至少1个区域的光能够透过N个彩色滤光器中的至少2个彩色滤光器。信号处理部基于从各光敏元件输出的信号,通过生成表示入射到各透过区域的光的强度中的至少2个强度的信号,从而生成具有视差的至少2个图像的数据。

Description

三维摄像装置及透光板
技术领域
本发明涉及生成具有视差的多个图像的单眼三维摄像技术。
背景技术
近几年,使用了CCD或CMOS等固体摄像元件(以下,有时称作“摄像元件”)的数码相机或数码摄像机的高功能化、高性能化备受瞩目。特别是,通过半导体制造技术的进步,推进了固体摄像元件的像素结构的微细化。其结果,实现了固体摄像元件的像素和驱动电路的高集成化。因此,仅用几年的时间,摄像元件的像素数从100万像素程度显著增加到了1000万像素以上。而且,通过拍摄得到的图像的质量也得到了飞跃性提高。另一方面,关于显示装置,通过由薄型的液晶或等离子体构成的显示器,与场所无关地能够以高分辨率实现高对比度的显示,实现了高性能。这样的影像的高品质化的趋势正在从二维图像扩展到三维图像。近来,需要偏振眼镜,开始公开了高画质的三维显示装置。
关于三维摄像技术,作为具有简单结构的代表性技术,具有如下的技术:使用由2个照相机构成的摄像系统,分别获得右眼用图像和左眼用图像。在这种所谓的双眼摄像方式中,由于使用2个照相机,因此摄像装置较大,成本也会变高。因此,研究了使用1个照相机来获得具有视差的多个图像的方式。例如,在专利文献1中,公开了使用透过轴的方向互相正交的2片偏振板和旋转的偏振滤光器的方式。
图12是表示该方式的摄像系统的结构的示意图。摄像装置具备:0度偏振的偏振板11、90度偏振的偏振板12、反射镜13、半透明反射镜14、圆形的偏振滤光器15、使圆形的偏振滤光器旋转的驱动装置16、光学透镜3、和获得由光学透镜成像的像的摄像装置9。在此,半透明反射镜14对透过偏振板11而被反射镜13反射的光进行反射,使透过了偏振板12的光透过。通过以上的结构,分别透过了配置在远离的位置上的偏振板11、12的光,在透过半透明反射镜14、圆形的偏振滤光器15、和光学透镜3之后入射到摄像装置9,从而获取图像。该方式的拍摄原理是:通过使圆形的偏振滤光器15旋转,从而在不同的时刻捕捉分别入射到2个偏振板11、12的光,来获得具有视差的2个图像。
但是,在上述方式中,由于使圆形的偏振滤光器15旋转的同时通过时间分割而获得不同位置的图像,因此存在不能同时获得具有视差的2个图像的课题。此外,由于使用机械式驱动,因此耐久性上可能存在问题。而且,由于入射光透过偏振板和偏振滤光器,因此还存在摄像装置9接受的光量(受光量)减少50%以上的问题。
针对上述方式,专利文献2公开了在不使用机械式驱动的情况下同时拍摄具有视差的2个图像的方式。该方式的摄像装置通过反射镜对从2个入射区域入射的光进行聚光,并由交替地排列了2种偏振滤光器的摄像元件进行受光,从而在不具备机械式驱动部的情况下获得具有视差的2个图像。
图13是表示该方式的摄像系统的结构的示意图。该摄像系统具备透过轴的方向互相正交的2个偏振板11、12、反射镜13、光学透镜3、和摄像元件1。摄像元件1在其摄像面上具备:多个像素10、和与像素一一对应地配置的偏振滤光器17、18。在所有像素上交替地排列了偏振滤光器17、18。在此,偏振滤光器17、18的透过轴的朝向分别与偏振板11、12的透过轴的朝向一致。
根据以上的结构,入射光透过偏振板11、12并被反射镜13反射,通过光学透镜3,入射到摄像元件1的摄像面上。分别透过偏振板11、12而入射到摄像元件1的光,分别透过偏振滤光器17、18之后在它们的正下方的像素中被进行光电变换。其中,将由分别通过偏振板11、12而入射到摄像元件1的光形成的图像分别称作右眼用图像、左眼用图像,右眼用图像、左眼用图像分别是根据与偏振滤光器17、18对置的像素组而得到的。
由此,在专利文献2公开的方式中,代替专利文献1公开的旋转的圆形的偏振滤光器的使用,在摄像元件的像素上交替地配置了透过轴的方向互相正交的2种偏振滤光器。由此,与专利文献1的方式相比,分辨率降低为1/2,但是能够使用1个摄像元件同时获得具有视差的右眼用图像和左眼用图像。
但是,该技术也与专利文献1的技术相同,由于入射光透过偏振板和偏振滤光器时光量会减少,因此摄像元件的受光量会大量减少。
针对该受光量减少的问题,专利文献3公开了可利用1个摄像元件获得具有视差的2个图像和通常的图像的技术。根据该技术,通过在获得具有视差的2个图像时和获得通常图像时以机械方式切换构成要素的一部分,从而可利用1个摄像元件获得具有视差的2个图像和通常图像。在获得具有视差的2个图像时,在光路上配置2个偏振滤光器这一点与专利文献2公开的技术相同。另一方面,在获得通常图像时,以机械方式从光路移除这些偏振滤光器。通过采用这种机构,能够得到具有视差的图像和光利用率高的通常图像。
在上述的专利文献1~3公开的技术中,使用了偏振板或偏振滤光器,但是作为其它方法,也有使用彩色滤光器的技术。例如,专利文献4公开了使用彩色滤光器同时获得具有视差的2个图像的技术。图14是示意性表示采用了该技术的摄像系统的图。该技术中的摄像系统具备:透镜3、透镜光圈19、配置了透过波段不同的2个彩色滤光器20a、20b的光束限制板20、感光胶片21。在此,彩色滤光器20a、20b例如是分别使红色系、蓝色系的光透过的滤光器。
根据以上的结构,入射光透过透镜3、透镜光圈19、和光束限制板20,在感光胶片上成像。此时,在光束限制板20的2个彩色滤光器20a、20b中,分别仅使红色系、蓝色系的光透过。其结果,在感光胶片上,基于分别透过了这2个彩色滤光器的光形成品红色系的颜色的像。在此,由于彩色滤光器20a、20b的位置不同,因此在形成于感光胶片上的像中会产生视差。在此,根据感光胶片制成照片,若使用将红色滤光器和蓝色滤光器分别粘贴成右眼用和左眼用的眼镜,则能够观察到具有进深感的图像。由此,根据专利文献4公开的技术,能够使用2个彩色滤光器制成具有视差的图像。
专利文献4公开的技术是在感光胶片上成像并制成具有视差的多个图像的技术,另一方面,专利文献5公开了将具有视差的图像变换为电信号来获得的技术。图15是示意性表示该技术中的光束限制板的图。在该技术中,使用了在与摄像光学系统的光轴垂直的平面上设置有透过红色光的R区域22R、透过绿色光的G区域22G、透过蓝色光的B区域22B的光束限制板22。由具有红色用的R像素、绿色用的G像素和蓝色用的B像素的彩色摄像元件接受透过了这些区域的光,由此获得透过了各区域的光所形成的图像。
此外,专利文献6也公开了使用与图15的结构相同的结构来获得具有视差的多个图像的技术。图16是示意性表示专利文献6公开的光束限制板的图。在该技术中也是可通过入射光透过设置在光束限制板23上的R区域23R、G区域23G和B区域23B来制成具有视差的图像。
根据上述的专利文献4~6所示的技术,通过在光束限制板上设置RGB的彩色滤光器,从而能够生成具有视差的图像。但是,由于使用光束限制板,因此入射光量会减少。此外,为了提高视差的效果而在相互远离的位置上配置RGB的彩色滤光器,因此需要减小它们的面积,于是入射光量会进一步减少。
针对以上的技术,专利文献7公开了可使用配置了RGB的彩色滤光器的光圈,来获得具有视差的多个图像和在光量方面没有问题的通常图像的技术。在该技术中,在关闭了光圈的状态下仅接受透过了RGB的彩色滤光器的光,在打开了光圈的状态下,由于RGB的彩色滤光器区域偏离了光路,因此能够接受全部的入射光。由此,在关闭了光圈的状态下可获得具有视差的图像,在打开了光圈的状态下可得到光利用率高的通常图像。
(现有技术文献)
(专利文献)
专利文献1:日本特开昭62-291292号公报
专利文献2:日本特开昭62-217790号公报
专利文献3:日本特开2001-016611号公报
专利文献4:日本特开平2-171737号公报
专利文献5:日本特开2002-344999号公报
专利文献6:日本特开2009-276294号公报
专利文献7:日本特开2003-134533号公报
发明内容
(发明要解决的课题)
根据现有技术,能够获得具有视差的多个图像,但是由于使用偏振板或彩色滤光器,因此摄像元件的受光量会减少。为了充分确保入射光量,需要使用通过机械式驱动从光路上移除偏振板或彩色滤光器的机构,来获得光利用率高的通常图像。在使用这样的机械式驱动的情况下,导致装置的大型化以及成本高的问题。
本发明提供一种可在不进行机械式驱动的情况下使用彩色滤光器来生成具有视差的多个图像,并且可生成光利用率高的图像的三维摄像技术。并且,本发明的目的在于提供一种即使透镜光圈量变化也可通过同一机构获得具有视差的多个图像的摄像技术和光学结构。
(用于解决课题的手段)
本发明的三维摄像装置具备:光透过部,其具有透过波段互不相同的N个(N是3以上的整数)透过区域;固体摄像元件,其被配置成接受透过了所述光透过部的光;光学系统,其具有光圈,并在所述固体摄像元件的摄像面上形成像;和信号处理部,其处理从所述固体摄像元件输出的信号。所述固体摄像元件具有光敏元件阵列、和与所述光敏元件阵列对置配置的彩色滤光器阵列。所述光敏元件阵列和所述彩色滤光器阵列由多个单位要素构成,各单位要素包括N个光敏元件、和与所述N个光敏元件一一对应地配置且透过波段互不相同的N个彩色滤光器。所述光透过部的中心位于所述光学系统的光轴上,所述N个透过区域的至少2个区域具有垂直于所述光透过部的半径方向的方向的尺寸随着距所述光透过部的中心的距离的变大而变大的部分。
在某一实施方式中,所述N个透过区域的至少N-1个区域具有垂直于所述光透过部的半径方向的方向的尺寸随着距所述光透过部的中心的距离的变大而变大的部分。
在某一实施方式中,所述N个透过区域的至少N-1个区域具有以所述光透过部的中心为顶点的扇形形状。
在某一实施方式中,N=3,所述N个透过区域分别是使蓝绿色光透过的蓝绿色区域、使黄色光透过的黄色区域和透明区域,所述蓝绿色区域的形状和所述黄色区域的形状是扇形。
在某一实施方式中,N=4,所述N个透过区域分别是使蓝绿色光透过的蓝绿色区域、使黄色光透过的黄色区域、使品红色光透过的品红色区域和透明区域,所述蓝绿色区域的形状、所述黄色区域的形状、和所述品红色区域的形状是扇形。
在某一实施方式中,所述N个透过区域和所述N个彩色滤光器的透过波段被设定成:透过所述N个透过区域中的至少1个区域的光能够透过所述N个彩色滤光器中的至少2个彩色滤光器,所述信号处理部基于从所述N个光敏元件输出的信号,通过生成表示入射到所述N个透过区域的每一个区域的光的强度中的至少2个强度的信号,从而生成具有视差的至少2个图像的数据。
本发明的透光板是具有透过波段互不相同的N个(N是3以上的整数)透过区域的透光板,所述N个透过区域的至少2个区域具有垂直于半径方向的方向的尺寸随着距中心的距离的变大而变大的部分。
在本发明的透光板的某一实施方式中,所述N个透过区域的至少2个区域具有以中心为顶点的扇形形状。
在本发明的透光板的某一实施方式中,所述N个透过区域的至少N-1个区域具有以中心为顶点的扇形形状。
在本发明的透光板的某一实施方式中,N=3,所述N个透过区域分别是使蓝绿色光透过的蓝绿色区域、使黄色光透过的黄色区域和透明区域,所述蓝绿色区域的形状和所述黄色区域的形状是扇形。
在本发明的透光板的某一实施方式中,N=4,所述N个透过区域分别是使蓝绿色光透过的蓝绿色区域、使黄色光透过的黄色区域、使品红色光透过的品红色区域和透明区域,所述蓝绿色区域的形状、所述黄色区域的形状和所述品红色区域的形状是扇形。
(发明效果)
根据本发明,可在不进行机械式驱动的情况下使用具有彩色滤光器的摄像元件来获得具有视差的多个图像。另外,通过适当地设定透过区域和彩色滤光器的透过波段,从而能够获得光利用率高的图像。此外,根据本发明,即使透镜光圈量变化也可通过同一机构获得具有视差的多个图像。
附图说明
图1是表示实施方式1中的整体结构的框图。
图2是表示实施方式1中的透光板、光学系统、和摄像元件的示意结构的示意图。
图3是表示实施方式1中的透光板的透过区域的配置的图。
图4是表示实施方式1中的摄像元件的彩色滤光器的基本结构的图。
图5是表示实施方式1中的摄像元件的彩色滤光器的其它基本结构的图。
图6是表示实施方式1中的摄像元件的彩色滤光器的另一基本结构的图。
图7A是表示实施方式1中的透光板、光学系统、和摄像元件的第2例的图。
图7B是表示实施方式1中的透光板、光学系统、和摄像元件的第3例的图。
图8是表示实施方式2中的透光板的透过区域的配置的图。
图9是表示实施方式2中的摄像元件的彩色滤光器的基本结构的图。
图10是表示具有n个透过区域的光透过部的一例的图。
图11是表示各单位要素中的n个彩色滤光器的配置的一例的图。
图12是专利文献1中的摄像系统的结构图。
图13是专利文献2中的摄像系统的结构图。
图14是专利文献4中的摄像系统的结构图。
图15是专利文献5中的光束限制板的外观图。
图16是专利文献6中的光束限制板的外观图。
具体实施方式
以下,参照附图说明本发明的实施方式。在以下的说明中,对共同的要素附加同一符号。另外,在本说明书中,有时将表示图像的信号或信息简单地称作“图像”。
(实施方式1)
图1是表示本发明的第1实施方式中的摄像装置的整体结构的框图。本实施方式的摄像装置是数字式电子照相机,具备摄像部100、和基于来自摄像部100的信号生成表示图像的信号(图像信号)的信号处理部200。
摄像部100包括:具备在摄像面上排列的多个光敏元件的摄像元件(图像传感器)1;具有透过波段互不相同的3个透过区域且使入射光透过的透光板2;用于在摄像元件的摄像面上形成像的光学透镜3;红外截止滤光器4;透镜光圈19。摄像部100还具备:信号产生/接收部5,其产生用于驱动摄像元件1的基本信号,并且接收来自摄像元件1的输出信号后发送给信号处理部200;元件驱动部6,其基于由信号产生/接收部5产生的基本信号,驱动摄像元件1。摄像元件1典型的是CCD或CMOS传感器,是通过公知的半导体制造技术制造的。信号产生/接收部5和元件驱动部30例如由CCD驱动器等LSI构成。
信号处理部200具备:处理从摄像部100输出的信号来生成图像信号的图像信号生成部7;保存在图像信号的生成中所使用的各种数据的存储器30;向外部输出所生成的图像信号的接口(IF)部8。图像信号生成部7可通过公知的数字信号处理器(DSP)等硬件、和执行包括图像信号生成处理在内的图像处理的软件的组合来适当实现。存储器30由DRAM等构成。存储器30记录从摄像部100得到的信号,并且暂时存储由图像信号生成部7生成的图像数据或被压缩的图像数据。这些图像数据经由接口部8而被输出到未图示的记录介质或显示部等中。
另外,本实施方式的摄像装置可具备电子快门、取景器、电源(电池)、闪光灯等公知的构成要素,由于这些部件的说明对于理解本发明并非特别必要,所以省略说明。
接着,参照图2~4,更详细说明摄像部100的结构。
图2是示意性表示摄像部100中的透光板2、透镜3、和摄像元件1的配置关系的图。另外,在图2中,省略了透光板2、透镜3、和摄像元件1以外的构成要素。透光板2具有透过波段互不相同的3个透过区域C1、C2、C3,使入射光透过。在本实施方式中,区域C3隔着区域C1和C2被分为2个部分,但是将它们称作1个区域C3。透镜3是公知的透镜,对透过了透光板2的光进行聚光,在摄像元件1的摄像面1a上成像。另外,在以下的说明中,在平行于摄像面1a的平面内,将从区域C1朝向C2的方向设为x方向,将垂直于x方向的方向设为y方向。在此,透光板2的中心位于透镜3的光轴上。
图3是本实施方式的透光板2的主视图。本实施方式中的透光板2的形状与透镜3相同,也是圆形,但是也可以是其他形状。在此,区域C1和区域C2具有以透光板2的中心为顶点的扇形形状。通过使用这样的透光板2,在改变了透镜光圈19的开口直径的情况下,在区域C1、C2、C3中接收入射光的部分的面积会变化,但是它们的面积比率保持恒定。其结果,即使透镜光圈19的开口直径变化,也能够在不改变后述的信号运算处理的情况下生成图像。另外,区域C1、C2内的扇形形状的中心角只要在小于180°的范围内就可设定成任意的角度。在本实施方式中,区域C1、C2被配置成相对于通过透光板2的中心的y方向的直线处于线对称的位置上,但是本发明并不限于这样的配置。
在区域C1内,配置有使蓝绿色(Cy)波段的光透过的彩色滤光器(Cy滤光器)。在区域C2内,配置有使黄色(Ye)波段的光透过的彩色滤光器(Ye滤光器)。这些彩色滤光器可以是公知的任何一种彩色滤光器。另外,本实施方式中的区域C1和区域C2只要构成为分别透过Cy波段的光和Ye波段的光、且不透过其他波段的光,则并不限于彩色滤光器,也可以由其他任何部件构成。此外,透光板2中的其他区域C3是由使包含在白色光(W)中的所有波段的可见光透过的透明部件形成的透明区域。透明部件只要是以高的透过率使光透过的部件,则可以是任何部件。在本实施方式中,区域C1和区域C2的面积相等,区域C3的面积被设计成大于区域C1、C2的面积。
另外,上述的透光板2的结构仅仅是本实施方式中的结构,本发明并不限于这样的结构。本发明的光透过部只要具有透过波段互不相同的3个以上的透过区域,则各透过区域的特性、材质、形状、尺寸可以是任意的。例如,也可以在区域C3内代替透明部件而配置使品红色(Mg)波段的光透过的彩色滤光器(Mg滤光器)。此外,透光板2的一部分也可以包括遮光区域。
在图2所示的摄像元件1的摄像面1a中形成有二维状排列的光敏元件阵列和与光敏元件阵列对置地配置的彩色滤光器阵列。光敏元件阵列和彩色滤光器阵列具有个单位要素,各单位要素包括4个光敏元件和与这些光敏元件对置的4个彩色滤光器。各光敏元件典型的是光电二极管,通过光电变换而输出与各个受光量对应的电信号(光电变换信号)。此外,各彩色滤光器是使用公知的颜料等制作的,被设计成选择性地使特定波段的光透过。
图4是示意性表示本实施方式中的彩色滤光器阵列的一部分的图。如图所示,在摄像面1a上以矩阵状排列有多个彩色滤光器110。相邻的4个彩色滤光器110和与其相对置的4个光敏元件120构成1个单位要素。在各单位要素中,第1行第1列上配置有使红色(R)波段的光透过的彩色滤光器(R滤光器)。在第1行第2列和第2行第1列上配置有使绿色(G)波段的光透过的彩色滤光器(G滤光器)。在第2行第2列上配置有使蓝色波段的光透过的彩色滤光器(B滤光器)。由此,本实施方式中的彩色滤光器110的排列是以2行2列为基本的公知的Bayer排列。
另外,光敏元件120和彩色滤光器110和排列不需要一定是Bayer排列,也可以是公知的任意排列。此外,光敏元件120和彩色滤光器110的排列不需要一定是沿着x方向和y方向的排列,也可以相对于x方向和y方向倾斜。此时,得到的不是关于左右视差的信息,而是关于倾斜方向的视差的信息。
此外,在1个单位要素中不一定要具备4个光敏元件和4个彩色滤光器,只要具备至少3个光敏元件和3个彩色滤光器即可。若各单位要素所包含的光敏元件和彩色滤光器的数量与上述的透光板2中的透过区域的数量相同,或者比透过区域的数量多,则可通过后述的信号运算来得到图像信息。
根据以上的结构,在曝光过程中入射到摄像装置的光,通过透光板2、透镜3、红外截止滤光器4、和彩色滤光器110之后入射到光敏元件120。各光敏元件接受在透过了透光板2的区域C1、C2、C3的每一个区域的光之中、通过了对置的彩色滤光器的光,并输出与接受到的光的量相对应的光电变换信号。由各光敏元件输出的光电变换信号通过信号产生/接收部5之后被发送到信号处理部200。信号处理部200中的图像信号生成部7基于从摄像部100发送的信号,生成右眼用图像、左眼用图像、以及彩色图像。
以下,说明从各光敏元件输出的光电变换信号。首先,分别用附加了下标“i”的Ci1、Ci2、Ci3来表示与入射到透光板2的区域C1、C2、C3的光的强度相当的信号。此外,将透光板2中的透明区域C3、透镜3和红外截止滤光器4合起来的分光透过率设为Tw,将Cy滤光器的分光透过率设为Tcy,将Ye滤光器的分光透过率设为Tye。同样地,将R、G、B的各彩色滤光器的分光透过率分别表示为Tr、Tg、Tb。在此,Tw、Tcy、Tye、Tr、Tg、Tb是依赖于入射的光的波长λ的函数。将表示透过R、G、B的彩色滤光器之后由正下方的光敏元件受光的光的强度的信号,利用分别用附加了下标“s”的Rs、Gs、Bs来表示。此外,用记号∑表示可见光波段中的分光透过率的积分运算。例如,将关于波长λ的积分运算∫TwTcyTrdλ等表示为∑TwTcyTr等。在此,积分是在可见光的整个波段内进行的。于是,Rs与将Ci1∑TwTcyTr、Ci2∑TwTyeTr、和Ci3∑TwTr相加的结果成比例。同样地,Gs与将Ci1∑TwTcyTg、Ci2∑TwTyeTg、和Ci3∑TwTg相加的结果成比例,Bs与将Ci1∑TwTcyTb、Ci2∑TwTyeTb、Ci3∑TwTb相加的结果成比例。另外,在此,假设入射到C1~C3的光包含大致等量的可见光区域的任一波长成分。若将它们的关系中的比例系数设为1,则Rs、Gs、Bs可用以下的式1~3来表示。
(式1)Rs=Ci1∑TwTcyTr+Ci2∑TwTyeTr+Ci3∑TwTr
(式2)Gs=Ci1∑TwTcyTg+Ci2∑TwTyeTg+Ci3∑TwTg
(式3)Bs=Ci1∑TwTcyTb+Ci2∑TwTyeTb+Ci3∑TwTb
在式1~3中,分别用Mx11、Mx12、Mx13表示∑TwTcyTr、∑TwTyeTr、∑TwTr,分别用Mx21、Mx22、Mx23表示∑TwTcyTg、∑TwTyeTg、∑TwTg,分别用Mx31、Mx32、Mx33表示∑TwTcyTb、∑TwTyeTb、∑TwTb。于是,Rs、Gs、Bs与Ci1、Ci2、Ci3的关系可使用矩阵用以下的式4来表示。
[数学式1]
(式4)
Rs Gs Bs = Mx 11 Mx 12 Mx 13 Mx 21 Mx 22 Mx 23 Mx 31 Mx 32 Mx 33 Ci 1 Ci 2 Ci 3
在此,若将由式4中的要素Mx11~Mx33构成的矩阵的逆矩阵的要素分别设为iM11~iM33,则式4可变形为如下的式5。即,可将表示入射到区域C1、C2、C3的光的强度的信号,利用光电变换信号Rs、Gs、Bs来表示。
[数学式2]
(式5)
Ci 1 Ci 2 Ci 3 = iM 11 iM 12 iM 13 iM 21 iM 22 iM 23 iM 31 iM 32 iM 33 Rs Gs Bs
图像信号生成部7执行基于式5的信号运算,按单位要素生成信号Ci1、Ci2、Ci3。这样按单位要素生成的信号Ci1、Ci2、Ci3表示由分别入射到区域C1、C2、C3的光形成的3个图像。特别是,由信号Ci1、Ci2表示的图像相当于分别从在x方向上分开配置的区域C1、C2观察被摄体时的图像,因此能够作为左眼用图像和右眼用图像处理。即,由信号Ci1、Ci2表示的2个图像具有与区域C1、C2的距离相应的视差。因此,从这些图像,能够得到表示被摄体的进深的信息。
另一方面,可以说Ci3不是表示视差的图像,而是表示通常图像的信号。由于Ci3有可能具有与Ci1和Ci2类似之处,因此在类似之处,通过在Ci1、Ci2的信号上相加Ci3的信号,从而能够提高表示视差的图像Ci1、Ci2的信号电平。在本实施方式中,由于区域C3的面积大于区域C1、C2的面积,因此Ci3的信号电平比Ci1、Ci2的信号电平高。因此,将Ci3的一部分相加到Ci1和Ci2,在得到表示视差的良好的图像方面是很有效的。在本实施方式中,区域C3的面积相对于区域C1、C2的面积越大越好。另外,在获得无视差的通常图像时,也是区域C3的面积越大,越能够得到信号电平高的图像信号。
通过以上的处理得到的图像信号Ci1、Ci2、Ci3是利用光电变换信号Rs、Gs、Bs来表示的,但是它们不是彩色图像,而是相当于黑白图像。为了得到彩色图像而非黑白图像,只要不进行上述的信号运算处理,而根据得到的各光电变换信号进行通常的Bayer排列中的彩色处理即可。此时,因配置在透光板2中的Cy滤光器、Ye滤光器,可能会产生入射光的损失或色温偏差,但是由于这些彩色滤光器的光透过率高,因此入射光的损失能够变得比现有技术小。此外,即使产生整体的色偏差,也能够通过白平衡的调整来应对。由此,根据本实施方式的摄像装置,能够得到光利用率高的良好的彩色图像。
另外,在得到彩色图像时,也可以不根据各光电变换信号进行通常的Bayer排列中的彩色处理,而是仅利用式4中的Ci3项来得到彩色信息。即,基于式5求出Ci3之后,将Mx13×Ci3设为R的光量、将Mx23×Ci3设为G的光量、将Mx33×Ci3设为B的光量,由此也能够得到彩色图像。
如上所述,根据本实施方式,使用由配置了Cy滤光器的区域C1、配置了Ye滤光器的区域C2和利用透明部件组成的区域C3构成的透光板2、以及具有Bayer排列的彩色摄像元件1。通过对各光电变换信号执行基于根据与光学系统或彩色滤光器等的分光透过率相关的积分运算得到的3×3矩阵的信号运算,图像信号生成部7生成具有视差的2个图像和光利用率高的通常图像。并且,若进行在通常的Bayer排列中使用的彩色处理、或使用了信号Ci3的彩色处理,则能够得到光利用率高的彩色图像。此外,由于即使透镜光圈19的开口直径变化,区域C1、C2、C3的使光透过的部分的面积比率也不会变化,因此还具有在不改变上述的运算式(式4、5)的情况下能够应对透镜光圈19的开口直径的变化的优点。
另外,在本实施方式的透光板2中,区域C1、C2的形状是扇形,但是不一定必须是扇形。若在透镜光圈19的开口直径变化时可在各透过区域中确保恒定的接受光的部分的面积比率,则区域C1、C2的形状可以是任何形状。
如上所述,本实施方式中的图像信号生成部7能够生成具有视差的2个图像、光利用率高的黑白图像和彩色图像,但不一定需要生成这些图像的全部。图像信号生成部7只要构成为至少生成具有视差的2个图像数据即可。
另外,在本实施方式中,摄像元件1中的彩色滤光器的排列是配置了RGB的彩色滤光器的Bayer型颜色排列,但是也可以使用其他彩色滤光器或其他排列。例如,如图5所示,使用了与Bayer型彩色化相同的RGB的彩色滤光器,但是也可以在同一列配置R滤光器和B滤光器。在使用了这种排列的情况下,在与R滤光器对置的光敏元件和与B滤光器对置的光敏元件之间由于不存在x方向的像素单位的偏离,因此能够提高x方向的视差的精度。此外,如图6所示,代替G滤光器,利用使包含在白色光(W)中的所有波段的可见光透过的透明部件也能够实现同样的彩色化。在采用图6所示的结构的情况下,由于与G滤光器相比,透明要素使更多的光透过,因此具有可进一步提高摄像元件的光利用率的优点。
对于摄像部100的结构而言,图2所示的各构成要素的配置关系仅仅是一例,本发明并不限于这样的配置关系。例如,只要能够在摄像面1a上形成像,则透镜3也可以被配置在比透光板2更远离摄像元件1的位置上。此外,如图7A所示,也可以是配置多个透镜3且在其间配置透光板2的结构。此外,透镜3和透光板2不一定是独立的构成要素,两者也可以构成为一体化的1个光学元件3a。另外,不一定需要平行地配置透光板2和摄像元件1的摄像面。例如,如图7B所示,通过在两者之间配置反射镜或棱镜等反射光的光学元件52,从而构成为透光板2和摄像元件1的摄像面位于互相交叉的平面上。
本实施方式的摄像装置根据通过摄像得到的光电变换信号并基于信号运算来生成图像,但是也可以使独立于摄像装置的其他装置执行基于信号运算的图像的生成处理。例如,使其他装置读入由具有本实施方式的摄像部100的摄像装置获取到的信号,并使该其他装置执行规定上述的信号运算处理的程序,也能够得到与上述相同的效果。
(实施方式2)
接着,参照图8、9,说明本发明的第2实施方式。本实施方式的摄像装置与实施方式1的摄像装置的不同点在于:透光板2中的透过区域的结构和摄像元件1的彩色滤光器阵列的结构。以下,说明不同于实施方式1的特征,并省略对重复的特征的说明。
图8是本实施方式中的透光板2的主视图。透光板2的形状与光学透镜3相同,是圆形,但是也可以是其他形状。在此,区域C1、C2、C3具有以透光板2的中心为顶点的扇形形状。通过使用这样的透光板2,在透镜光圈19的开口直径变化的情况下,在区域C1、C2、C3、C4中接受入射光的部分的面积会变化,但是它们的面积比率保持恒定。其结果,即使透镜光圈19的开口直径变化,也能在不改变后述的信号运算处理的情况下生成图像。另外,区域C1、C2、C3中的扇形形状的中心角只要小于120°,可以设定为任意的角度。在区域C1中配置使蓝绿色光透过的Cy滤光器,在区域C2中配置使品红色光透过的Mg滤光器,在区域C3中配置使黄色光透过的Ye滤光器,这以外的区域C4是由透明部件形成的透明区域(W)。
图9是表示本实施方式中的在摄像元件1的摄像面1a上形成的彩色滤光器阵列的基本结构的图。彩色滤光器阵列由以2行2列为基本的Mg滤光器、G滤光器、Cy滤光器、Ye滤光器构成。在图9中,表示了在第1行第1列配置Mg滤光器、在第1行第2列配置G滤光器、在第2行第1列配置Cy滤光器、在第2行第2列配置Ye滤光器的例,但是这些彩色滤光器的排列是任意的。
根据以上的结构,各光敏元件接受在透过了透光板2的区域C1~C4的每一个区域的光之中、透过了对置的彩色滤光器的光。以下,说明各光敏元件中的光电变换信号。
在本实施方式中,假设入射到区域C1~C4的光包含大致等量的可见光区域的任何波长成分。此外,记号的标记与实施方式1的标记相同。其中,设透光板2的Mg、Cy、Ye滤光器的分光透过率Tmg、Tcy、Tye分别与彩色滤光器阵列中的Mg、Cy、Ye滤光器的分光透过率相同。另外,将透过彩色滤光器阵列中的Mg、Cy、Ye的彩色滤光器并在正下方的光敏元件中被光电变换的信号分别用Ms、Cs、Ys来表示。于是,Ms与相加了Ci1∑TwTcyTmg、Ci2∑TwTmgTmg、Ci3∑TwTyeTmg、Ci4∑TwTmg的结果成比例。同样地,Gs与相加了Ci1∑TwTcyTg、Ci2∑TwTmgTg、Ci3∑TwTyeTg、Ci4∑TwTg的结果成比例,Cs与相加了Ci1∑TwTcyTcy、Ci2∑TwTmgTcy、Ci3∑TwTyeTcy、Ci4∑TwTcy的结果成比例,Ys与Ci1∑TwTcyTye、Ci2∑TwTmgTye、Ci3∑TwTyeTye、Ci4∑TwTye的相加结果成比例。若将这些比例系数设为1,则可分别用以下的式6~9表示Ms、Gs、Cs、Ys。
(式6)Ms=Ci1∑TwTcyTmg+Ci2∑TwTmgTmg+Ci3∑TwTyeTmg+Ci4∑TwTmg
(式7)Gs=Ci1∑TwTcyTg+Ci2∑TwTmgTg+Ci3∑TwTyeTg+Ci4∑TwTg
(式8)Cs=Ci1∑TwTcyTcy+Ci2∑TwTmgTcy+Ci3∑TwTyeTcy+Ci4∑TwTcy
(式9)Ys=Ci1∑TwTcyTye+Ci2∑TwTmgTye+Ci3∑TwTyeTye+Ci4∑TwTye
在式6~9中,分别用Mx11、Mx12、Mx13、Mx14表示∑TwTcyTmg、∑TwTmgTmg、∑TwTyeTmg、∑TwTmg,分别用Mx21、Mx22、Mx23、Mx24表示∑TwTcyTg、∑TwTmgTg、∑TwTyeTg、∑TwTg,分别用Mx31、Mx32、Mx33、Mx34表示∑TwTcyTcy、∑TwTmgTcy、∑TwTyeTcy、∑TwTcy,分别用Mx41、Mx42、Mx43、Mx44表示∑TwTcyTye、∑TwTmgTye、∑TwTyeTye、∑TwTye。于是,利用矩阵由以下的式10表示Ms、Gs、Cs、Ys与Ci1、Ci2、Ci3、Ci4之间的关系。
[数学式3]
(式10)
Ms Gs Cs Ys = Mx 11 Mx 12 Mx 13 Mx 14 Mx 21 Mx 22 Mx 23 Mx 24 Mx 31 Mx 32 Mx 33 Mx 34 Mx 41 Mx 42 Mx 43 Mx 44 Ci 1 Ci 2 Ci 3 Ci 4
在此,若将由式10中的要素Mx11~Mx44构成的矩阵的逆矩阵的要素设为iM11~iM44,则式10可变形为以下的式11。即,能够将表示入射到区域C1、C2、C3、C4的光的强度的信号,利用光电变换信号Ms、Gs、Cs、Ys来表示。
[数学式4]
(式11)
Ci 1 Ci 2 Ci 3 Ci 4 = iM 11 iM 12 iM 13 iM 14 iM 21 iM 22 iM 23 iM 24 iM 31 iM 32 iM 33 iM 34 iM 41 iM 42 iM 43 iM 44 Ms Gs Cs Ys
通过按单位要素求出由式11表示的信号Ci1、Ci2、Ci3、Ci4,从而能够求出由分别入射到区域C1、C2、C3、C4的光形成的4个图像。
由于Ci1、Ci3所示的图像相当于分别从在x方向上分开配置的区域C1、C3观察被摄体时的图像,因此可以作为左眼用图像和右眼用图像处理。此外,由于Ci2相当于从相对于区域C1、C3而在斜向方向分开配置的区域C2观察时的图像,因此是相对于Ci1、Ci3而表示斜向方向的视差的图像。
另一方面,Ci4所示的图像是由入射到透明区域C4的光形成的图像(黑白图像),是不表示视差的通常图像。因此,与区域C1、C2、C3相比而越增大区域C4的面积,越能得到表示信号电平高的图像(黑白图像)的信号Ci4。
在本实施方式中,为了得到彩色图像时,只要不进行上述处理,求出以下的式12~14所示的亮度信号Yl、色差信号RY、BY即可。
(式12)Yl=Ms+Gs+Cs+Ys
(式13)RY=Ms-Gs-Cs+Ys
(式14)BY=Ms-Gs+Cs-Ys
通过在NTSC方式等中使用的方法将根据式12~14得到的亮度信号Yl和色差信号RY、BY变换为RGB信号,能够得到彩色图像。另外,由于配置在透光板2中的Cy滤光器、Mg滤光器、Ye滤光器的光透过率比较高,因此得到的彩色图像是光利用率高的图像。
另外,与实施方式1相同,也可以仅利用与表示由入射到透明区域C4的入射光形成的图像的信号Ci4相关的项来得到彩色信息。此时,首先通过基于式11的运算处理求出Ci4,然后在上述的式12~14中设Ms=Ci4∑TwTmg、Gs=Ci4∑TwTg、Cs=Ci4∑TwTcy、Ys=Ci4∑TwTye即可。
如以上所示,根据本实施方式,使用了透光板2和彩色摄像元件,在透光板2中,Cy滤光器、Mg滤光器、Ye滤光器被配置在相互远离的位置上,且除此之外的区域由透明部件构成,彩色摄像元件具有由以2行2列为基本结构的品红色(Mg)、绿色(G)、蓝绿色(Cy)、黄色(Ye)的彩色滤光器构成的彩色滤光器阵列。对从摄像元件输出的光电变换信号实施基于通过与光学系统、彩色滤光器等的分光透过率相关的积分运算而得到的4×4矩阵的运算,从而能够得到具有视差的多个图像和光利用率高的通常图像。另外,通过直接利用摄像元件1的各光电变换信号而进行生成亮度信号和色差信号的彩色处理,从而起到还能够得到光利用率高的彩色图像的效果。此外,由于即使透镜光圈19的开口直径变化,区域C1、C2、C3、C4的使光透过的部分的面积比率也不会改变,因此还具有在不改变上述的运算式的情况下能够应对透镜光圈19的开口直径的变化的优点。
另外,在本实施方式的透光板2中,区域C1、C2、C3的形状是扇形,但是不需要一定是扇形。若在透镜光圈19的开口直径产生了变化时,在各透过区域中接受光的部分的面积比率保持恒定,则区域C1、C2、C3的形状可以是任何形状。
另外,在本实施方式中,透光板2由配置了Cy滤光器的区域C1、配置了Mg滤光器的区域C2、配置了Ye滤光器的区域C3、和透明区域C4构成,但是包括透明区域在内的4个区域的结构并不限于上述的结构。若各区域的透过波段不同,且透过率比较高,则可以是任何结构。
此外,对于摄像元件中的彩色滤光器的组合而言,也并不限于Mg、G、Cy、Ye的组合。若各彩色滤光器的透过波段不同,则彩色滤光器的颜色的组合是任意的。
在上述的实施方式1和实施方式2中,透光板分别具备3个和4个透过区域,摄像元件中的包含在各单位要素内的彩色滤光器的种类数也与透过区域的数量相同,分别是3种和4种。但是,本发明的透过区域的数量和彩色滤光器的种类数并不限于上述的数量。例如,包含在各单位要素中的彩色滤光器的种类数可以超过透过区域的数量。即使在这种情况下,也能够通过基于各光敏元件的光电变换信号与入射到透过区域的光量之间的关系式的信号运算,求出图像信息。
此外,透过区域的数量和包含在各单位要素中的彩色滤光器的种类数也可以多于4个。本发明的三维摄像装置只要包括具有透过波段互不相同的n个(n是3以上的整数)的透过区域的光透过部、和在各单位要素中透过波段互不相同的n个彩色滤光器即可。其中,透过n个透过区域的至少1个区域的光在1个单位要素中至少透过2个彩色滤光器。
图10是表示这样一般化时的光透过部2a的例的图。在图示的例中,光透过部2a具有圆形的形状,但是也可以具有其他形状。在该例中,光透过部2a具有n个透过区域C1~Cn。透过区域C1~Cn-1具有以光透过部2a的中心为顶点的扇形形状,它们的透过波段互不相同。透过区域Cn是使可见光全部透过的透明区域。在图10所示的光透过部2a中,在区域C1~Cn-1的每一个与光透过部2a的外周部分之间留有间隙,该部分也包含在透明区域Cn中,但是也可以不具备这样的间隙。从提高光利用率的观点来看,透过区域C1~Cn-1的透过波段优选互补色的波段。另外,透过区域C1~Cn-1的顶点不一定要位于光透过部2a的中心,即使它们的顶点多少远离了光透过部2a的中心也能够得到本发明的效果。此外,透过区域C1~Cn-1的形状不一定需要是扇形。在本发明中,只要针对n个透过区域的至少2个,将垂直于光透过部2a的半径方向的方向的尺寸设计成随着距光透过部2a的中心的距离的变大而实质变大,则各透过区域的形状是任意的。在此,“实质变大”意味着只要垂直于光透过部2a的半径方向的方向的尺寸随着距光透过部2a的中心的距离的变大而整体变大,则也可以包含局部变小的部分。根据以上的情况,光透过部2a也可以构成为例如只有2个透过区域具有以光透过部2a的中心为顶点的扇形形状,且剩下的透过区域具有互不相同的各种形状。另外,在此设为区域Cn是透明区域,但是区域Cn也可以与其他区域同样地构成为仅使特定波段的光透过。此外,光透过部2a的一部分也可以是遮光区域。
图11是表示在如以上那样一般化的三维摄像装置中设置的摄像元件的各单位要素中的彩色滤光器的排列的一例的图。如图所示,各单位要素具有彩色滤光器D1~Dn。彩色滤光器D1~Dn的透过波段互不相同。另外,彩色滤光器的排列并不限于图示的排列,可以是任何排列。
在上述的结构例中,从提高光利用率的观点来看,也可以按照透过区域C1~Cn中具有最宽的透过波段的透过区域具备比彩色滤光器D1~Dn中具有最宽的透过波段的彩色滤光器更宽的透过波段的方式,设计各透过区域和各彩色滤光器。
在这样一般化的情况下,可以利用以下的式15表示入射到光透过部2a的各透过区域的光所形成的图像信号Ci1、Ci2、Ci3、……、Cin、与从对应于摄像元件的各彩色滤光器的光敏元件输出的光电变换信号Ds1、Ds2、Ds3、……、Dsn之间的关系。
[数学式5]
(式15)
Figure BDA0000134480010000201
在基于式15求出图像信息Ci1~Cin的情况下,优选按照以Mx11~Mxnn为要素的n×n矩阵的矩阵式不会成为接近于0的值的方式构成摄像系统的光学特性。若将式15中的n×n矩阵的逆矩阵的要素设为iM11~iMnn,则式15可变形为以下的式16。
[数学式6]
(式16)
Figure BDA0000134480010000202
通过执行基于式16的信号运算处理,从而能够根据光电变换信号Ds1~Dsn生成表示入射到透过区域C1~Cn的光的强度的信号Ci1~Cin。由此,能够生成具有视差的n个图像数据。
在如上述那样一般化了的情况下,通过将信号Ci1~Cin的每一个相加到其他信号上,从而能够增大该其他信号的信号电平。此时,优选将与入射到具有最宽的透过波段的透过区域、或者面积最大的透过区域的光对应的信号相加到其他信号上。此外,在得到彩色信息时,也优选利用与入射到具有最宽的透过波段的透过区域、或者具有面积最大的透过区域的透过区域的光对应的信号,来求出RGB的彩色信号。
另外,摄像装置也可以构成为不生成信号Ci1~Cin的全部而生成这些信号中的至少2个信号。即使是这样的结构,也能够得到具有视差的至少2个图像数据。
(产业上的可利用性)
本发明的三维摄像装置在使用了固体摄像元件的所有照相机中都很有效。例如,可利用于数字静态照相机或数码摄像机等消费者用照相机、或者产业用的固体监视照相机等中。
符号说明:
1 固体摄像元件
1a 固体摄像元件的摄像面
2 透光板
2a 光透过部
3 光学透镜
3a 将透光板和光学透镜的功能一体化的光学元件
4 红外截止滤光器
5 信号产生/接收部
6 元件驱动部
7 图像信号生成部
8 接口部
9 摄像装置
10 像素
11 0度偏振的偏振板
12 90度偏振的偏振板
13 反射镜
14 半透明反射镜
15 圆形的偏振滤光器
16 使偏振滤光器旋转的驱动装置
17、18 偏振滤光器
19 透镜光圈
20、22、23 光束限制板
20a 使红色系的光透过的彩色滤光器
20b 使蓝色系的光透过的彩色滤光器
21 感光胶片
22R、23R 光束限制板的R光透过区域
22G、23G 光束限制板的G光透过区域
22B、23B 光束限制板的B光透过区域
30 存储器
52 反射光的光学元件
100 摄像部
110 彩色滤光器
120 光敏元件
200 信号处理部

Claims (11)

1.一种三维摄像装置,具备:
光透过部,其具有透过波段互不相同的N个透过区域,其中N是3以上的整数;
固体摄像元件,其具有光敏元件阵列、和与所述光敏元件阵列对置配置的彩色滤光器阵列,且被配置成接受透过了所述光透过部的光,其中所述光敏元件阵列和所述彩色滤光器阵列由多个单位要素构成,各单位要素包括N个光敏元件、和与所述N个光敏元件一一对应地配置且透过波段互不相同的N个彩色滤光器;
光学系统,其具有光圈,并在所述固体摄像元件的摄像面上形成像;和
信号处理部,其处理从所述固体摄像元件输出的信号,
所述光透过部的中心位于所述光学系统的光轴上,
所述N个透过区域的至少2个区域具有垂直于所述光透过部的半径方向的方向的尺寸随着距所述光透过部的中心的距离的变大而变大的部分。
2.根据权利要求1所述的三维摄像装置,其中,
所述N个透过区域的至少N-1个区域具有垂直于所述光透过部的半径方向的方向的尺寸随着距所述光透过部的中心的距离的变大而变大的部分。
3.根据权利要求2所述的三维摄像装置,其中,
所述N个透过区域的至少N-1个区域具有以所述光透过部的中心为顶点的扇形形状。
4.根据权利要求1至3任一项所述的三维摄像装置,其中,
N=3,
所述N个透过区域分别是使蓝绿色光透过的蓝绿色区域、使黄色光透过的黄色区域和透明区域,
所述蓝绿色区域的形状和所述黄色区域的形状是扇形。
5.根据权利要求1至3任一项所述的三维摄像装置,其中,
N=4,
所述N个透过区域分别是使蓝绿色光透过的蓝绿色区域、使黄色光透过的黄色区域、使品红色光透过的品红色区域和透明区域,
所述蓝绿色区域的形状、所述黄色区域的形状和所述品红色区域的形状是扇形。
6.根据权利要求1至5任一项所述的三维摄像装置,其中,
所述N个透过区域和所述N个彩色滤光器的透过波段被设定为:透过所述N个透过区域中的至少1个区域的光能够透过所述N个彩色滤光器中的至少2个彩色滤光器,
所述信号处理部基于从所述N个光敏元件输出的信号,通过生成表示入射到所述N个透过区域的每一个区域的光的强度中的至少2个强度的信号,从而生成具有视差的至少2个图像的数据。
7.一种透光板,其被用于权利要求1至6任一项所述的三维摄像装置中,其中,
该透光板具有透过波段互不相同的N个透过区域,其中N是3以上的整数,
所述N个透过区域的至少2个区域具有垂直于半径方向的方向的尺寸随着距中心的距离的变大而变大的部分。
8.根据权利要求7所述的透光板,其中,
所述N个透过区域的至少2个区域具有以中心为顶点的扇形形状。
9.根据权利要求8所述的透光板,其中,
所述N个透过区域的至少N-1个区域具有以中心为顶点的扇形形状。
10.根据权利要求7至9任一项所述的透光板,其中,
N=3,
所述N个透过区域分别是使蓝绿色光透过的蓝绿色区域、使黄色光透过的黄色区域和透明区域,
所述蓝绿色区域的形状和所述黄色区域的形状是扇形。
11.根据权利要求7至9任一项所述的透光板,其中,
N=4,
所述N个透过区域分别是使蓝绿色光透过的蓝绿色区域、使黄色光透过的黄色区域、使品红色光透过的品红色区域和透明区域,
所述蓝绿色区域的形状、所述黄色区域的形状和所述品红色区域的形状是扇形。
CN201180003195.XA 2010-06-30 2011-04-22 三维摄像装置及透光板 Expired - Fee Related CN102474649B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010-149996 2010-06-30
JP2010149996A JP5507362B2 (ja) 2010-06-30 2010-06-30 3次元撮像装置および光透過板
PCT/JP2011/002379 WO2012001853A1 (ja) 2010-06-30 2011-04-22 3次元撮像装置および光透過板

Publications (2)

Publication Number Publication Date
CN102474649A true CN102474649A (zh) 2012-05-23
CN102474649B CN102474649B (zh) 2015-06-03

Family

ID=45401604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180003195.XA Expired - Fee Related CN102474649B (zh) 2010-06-30 2011-04-22 三维摄像装置及透光板

Country Status (4)

Country Link
US (1) US9086620B2 (zh)
JP (1) JP5507362B2 (zh)
CN (1) CN102474649B (zh)
WO (1) WO2012001853A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108459417A (zh) * 2018-02-05 2018-08-28 华侨大学 一种单目窄带多光谱立体视觉系统及其使用方法
CN114616495A (zh) * 2019-10-30 2022-06-10 富士胶片株式会社 光学元件、光学装置及摄像装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6595161B2 (ja) * 2014-07-31 2019-10-23 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、及び、撮像装置
US9661193B2 (en) * 2014-08-01 2017-05-23 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus and analyzing apparatus
JP6422924B2 (ja) 2016-09-12 2018-11-14 株式会社ソニー・インタラクティブエンタテインメント 撮像装置および被写体情報取得方法
CN112135066B (zh) * 2019-06-24 2022-02-25 北京地平线机器人技术研发有限公司 调整摄像装置的入射光强度的装置、方法、介质和设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02171737A (ja) * 1988-12-26 1990-07-03 Minolta Camera Co Ltd ステレオカメラ用撮影レンズ
CN1300505A (zh) * 1998-05-08 2001-06-20 松下电器产业株式会社 固体彩色摄像装置
JP2002344999A (ja) * 2001-05-21 2002-11-29 Asahi Optical Co Ltd ステレオ画像撮像装置
CN1825143A (zh) * 2005-02-22 2006-08-30 三洋电机株式会社 滤色器阵列以及固体摄像元件
CN101221969A (zh) * 2007-01-12 2008-07-16 株式会社东芝 固体摄像元件以及固体摄像装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0748878B2 (ja) 1986-03-19 1995-05-24 日本放送協会 立体画像撮像表示システム
JPS62291292A (ja) 1986-06-11 1987-12-18 Sharp Corp 撮像装置
US6807295B1 (en) 1999-06-29 2004-10-19 Fuji Photo Film Co., Ltd. Stereoscopic imaging apparatus and method
JP3863319B2 (ja) 1999-06-29 2006-12-27 富士フイルムホールディングス株式会社 視差画像撮像装置及びカメラ
JP3869702B2 (ja) 2001-10-30 2007-01-17 ペンタックス株式会社 ステレオ画像撮像装置
US20060092314A1 (en) 2004-10-31 2006-05-04 Silverstein D A Autofocus using a filter with multiple apertures
US20070263275A1 (en) * 2006-05-09 2007-11-15 Texas Instruments Incorporated Spatial Light Modulators with Light Transmissive Substrates
JP4728211B2 (ja) 2006-12-18 2011-07-20 パナソニック株式会社 固体撮像装置、カメラ、車両及び監視装置
CA2627999C (en) 2007-04-03 2011-11-15 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry Through The Communications Research Centre Canada Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
JP2009276294A (ja) 2008-05-16 2009-11-26 Toshiba Corp 画像処理方法
US20100103276A1 (en) 2008-10-28 2010-04-29 Border John N Split aperture capture of rangemap for 3d imaging
WO2010058545A1 (ja) 2008-11-19 2010-05-27 パナソニック株式会社 撮像装置
JP5012823B2 (ja) * 2009-01-28 2012-08-29 ソニー株式会社 撮像装置および撮像方法
EP2384693B1 (en) 2009-01-30 2019-04-17 Kowa Company, Ltd. Ophthalmologic photographing device
US8363093B2 (en) 2009-07-27 2013-01-29 Eastman Kodak Company Stereoscopic imaging using split complementary color filters
JP5406151B2 (ja) 2010-09-24 2014-02-05 パナソニック株式会社 3次元撮像装置
WO2012157210A1 (ja) 2011-05-19 2012-11-22 パナソニック株式会社 3次元撮像装置、画像処理装置、画像処理方法、およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02171737A (ja) * 1988-12-26 1990-07-03 Minolta Camera Co Ltd ステレオカメラ用撮影レンズ
CN1300505A (zh) * 1998-05-08 2001-06-20 松下电器产业株式会社 固体彩色摄像装置
JP2002344999A (ja) * 2001-05-21 2002-11-29 Asahi Optical Co Ltd ステレオ画像撮像装置
CN1825143A (zh) * 2005-02-22 2006-08-30 三洋电机株式会社 滤色器阵列以及固体摄像元件
CN101221969A (zh) * 2007-01-12 2008-07-16 株式会社东芝 固体摄像元件以及固体摄像装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108459417A (zh) * 2018-02-05 2018-08-28 华侨大学 一种单目窄带多光谱立体视觉系统及其使用方法
CN108459417B (zh) * 2018-02-05 2020-06-26 华侨大学 一种单目窄带多光谱立体视觉系统及其使用方法
CN114616495A (zh) * 2019-10-30 2022-06-10 富士胶片株式会社 光学元件、光学装置及摄像装置
US11796722B2 (en) 2019-10-30 2023-10-24 Fujifilm Corporation Optical element, optical device, and imaging apparatus for acquiring multispectral images
CN114616495B (zh) * 2019-10-30 2023-11-14 富士胶片株式会社 光学元件、光学装置及摄像装置

Also Published As

Publication number Publication date
CN102474649B (zh) 2015-06-03
JP5507362B2 (ja) 2014-05-28
JP2012015766A (ja) 2012-01-19
US9086620B2 (en) 2015-07-21
US20120182395A1 (en) 2012-07-19
WO2012001853A1 (ja) 2012-01-05

Similar Documents

Publication Publication Date Title
CN102474648B (zh) 三维摄像装置
CN102823230B (zh) 摄像装置
CN103052914B (zh) 三维摄像装置
US20020089596A1 (en) Image sensing apparatus
CN102474649B (zh) 三维摄像装置及透光板
CN103119516A (zh) 光场摄像装置和图像处理装置
CN103004218B (zh) 三维摄像装置、摄像元件、透光部、及图像处理装置
CN102342116A (zh) 三维摄像装置
CN102484723A (zh) 固体摄像元件、摄像装置以及信号处理方法
JP5903670B2 (ja) 3次元撮像装置、画像処理装置、画像処理方法および画像処理プログラム
CN102472958A (zh) 三维摄像装置
CN102918355B (zh) 三维摄像装置、图像处理装置
CN203933848U (zh) 三芯片式摄像装置
CN103907189A (zh) 固体摄像元件、摄像装置和信号处理方法
CN107135380B (zh) 一种彩色成像装置以及获取彩色图像的方法
CN102959961B (zh) 固体摄像元件、摄像装置及信号处理方法
CN102986236B (zh) 三维摄像装置、图像处理装置、图像处理方法
CN102687514B (zh) 三维摄像装置以及图像处理装置
US11238830B2 (en) Display device and display method thereof
JP2004085965A (ja) 立体撮像装置および立体表示装置
CN1144079C (zh) 屏控摄影装置
WO2023050040A1 (zh) 一种摄像头模组及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150914

Address after: Japan Osaka

Patentee after: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

Address before: Osaka Japan

Patentee before: Matsushita Electric Industrial Co.,Ltd.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150603

CF01 Termination of patent right due to non-payment of annual fee