CN103703770B - 偏振彩色摄像装置 - Google Patents

偏振彩色摄像装置 Download PDF

Info

Publication number
CN103703770B
CN103703770B CN201380001201.7A CN201380001201A CN103703770B CN 103703770 B CN103703770 B CN 103703770B CN 201380001201 A CN201380001201 A CN 201380001201A CN 103703770 B CN103703770 B CN 103703770B
Authority
CN
China
Prior art keywords
polarized
light
formula
polarized color
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380001201.7A
Other languages
English (en)
Other versions
CN103703770A (zh
Inventor
平本政夫
物部祐亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN103703770A publication Critical patent/CN103703770A/zh
Application granted granted Critical
Publication of CN103703770B publication Critical patent/CN103703770B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • G02B5/201Filters in the form of arrays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/30Polarising elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/125Colour sequential image capture, e.g. using a colour wheel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Optical Filters (AREA)
  • Studio Devices (AREA)
  • Blocking Light For Cameras (AREA)
  • Polarising Elements (AREA)

Abstract

偏振彩色摄像装置,具备如下:偏振彩色滤光板,其具有使在第一方向上偏振的第一波长范围的光透过的第一区域、使在第二方向上偏振的第二波长范围的光透过的第二区域、和使入射的光的至少一部分透过的第三区域;摄像元件,其在摄像面上排列多个单位区块,该多个单位区块各自具有第一至第三光敏元件、和分别与所述第一至第三光敏元件对向配置的第一至第三偏振滤光片,并且所述第一至第三偏振滤光片的偏振光透射轴方向完全不同;光学透镜,其使像在所述摄像元件的所述摄像面上形成。

Description

偏振彩色摄像装置
技术领域
本申请涉及通过使用一组光学系统、和所谓偏振摄像元件来取得彩色图像的单板彩色摄像技术,该偏振摄像元件以与各像素对向的方式配置有偏振滤光片。
背景技术
近年来,使用CCD和CMOS等的固体摄像元件(以下,称为“摄像元件”。)的数码相机和数码摄像机的高机能化、高性能化令人瞠目。特别是随着半导体制造技术的进步,摄像元件中的像素构造的微细化推进。其结果是,能够实现摄像元件的像素和驱动电路的高集成化。因此,仅仅数年,摄像元件的像素数就从100万像素左右显著增加到1000万像素以上。随着这样的摄像元件的性能提高,最近而言新的功能也正在一起追加。例如,在摄像元件的各像素上配置偏振滤光片、从而得到二维的偏振信息的偏振成像相机得到开发。
在偏振成像相机中,在摄像元件的前面配置被图案化的起偏镜(偏光子)的阵列。根据接近的多个像素的亮度值,能够求得偏振光的主轴方向、平均亮度、偏振成分的强度这样的偏振信息。
通常,偏振成像相机只能得到黑白图像。为了以偏振成像相机取得彩色图像,需要在摄像元件的像素上配置彩色滤光片。例如,在专利文献1和专利文献2所公开的摄像装置中,在摄像元件的多个像素上,图案化的多个起偏镜、和以马赛克状所排列的多个彩色滤光片被重叠配置。由此,可以同时取得偏振信息和彩色信息。
先行技术文献
专利文献
专利文献1:国际公开2008/149489号
专利文献2:特开2009—290895号公报
发明内容
本申请提供一种摄像技术,其使用与现有技术不同的光学构成和信号处理,能够取得偏振信息和彩色信息。
为了解决上述课题,本发明的一个形态的偏振彩色摄像装置,具备如下:偏振彩色滤光板,其具有使在第一方向上偏振的第一波长范围的光透过的第一区域、使在第二方向上偏振的第二波长范围的光透过的第二区域、和使入射的光的至少一部分透过的第三区域;摄像元件,其在摄像面上排列多个单位区块,该多个单位区块各自具有第一至第三光敏元件、和分别与所述第一至第三光敏元件对向配置的第一至第三偏振滤光片,并且所述第一至第三偏振滤光片的偏振光透射轴的方向完全不同;光学透镜,其使像在所述摄像元件的所述摄像面上形成;信号处理部,其处理从所述摄像元件输出的信号。
上述的一般的且特定的方式,能够使用系统、方法和计算机程序进行装配,或使用系统、方法和计算机程序的组合实现。
根据本发明的一个实施方式,能够通过像素间的运算计算彩色信息。另外,根据其他的实施方式,通过像素间的运算也能够取得偏振信息。
附图说明
图1是实施方式1的摄像装置的结构图
图2是实施方式1的摄像部的模式图
图3是表示偏振彩色滤光片移动部11的其他构成例的模式图
图4是实施方式1的偏振彩色滤光板1的俯视图
图5是实施方式1的摄像元件2的基本结构图
图6A是模式化地表示使偏振彩色滤光板1从光路上脱离的状态的俯视图
图6B是模式化地表示将偏振彩色滤光板1插入到光路上的状态的俯视图
图7是表示从被摄物体入射的光具有偏振特性时生成彩色图像的动作的流程的流程图
图8是表示偏振彩色滤光板1的变形例的俯视图
图9是表示摄像元件2的基本像素构成的变形例的图
具体实施方式
本发明的例示的实施方式的概要如下。
(1)本发明的一个形态的偏振彩色摄像装置,具备如下:偏振彩色滤光板,其具有使在第一方向上偏振的第一波长范围的光透过的第一区域、使在第二方向上偏振的第二波长范围的光透过的第二区域、和使入射的光的至少一部分透过的第三区域;摄像元件,其在摄像面上排列多个单位区块,该多个单位区块各自具有第一至第三光敏元件、和分别与所述第一至第三光敏元件对向配置的第一至第三偏振滤光片,并且所述第一至第三偏振滤光片的偏振光透射轴的方向完全不同;光学透镜,其使像在所述摄像元件的所述摄像面上形成;信号处理部,其处理从所述摄像元件输出的信号。
(2)在项目(1)所述的偏振彩色摄像装置的有的形态中,所述第三区域其构成方式为,使在第三方向上偏振的第三波长范围的光透过。
(3)在项目(1)或(2)所述的偏振彩色摄像装置的有的形态中,所述信号处理部具有图像处理部,其基于从各单位区块的所述第一至第三光敏元件输出的信号,生成彩色图像。
(4)在项目(1)至(3)中任一项所述的偏振彩色摄像装置的有的形态中,所述第一至第三区域的偏振光透射轴的方向,分别与所述第一至第三偏振滤光片的偏振光透射轴的方向一致。
(5)在项目(1)至(4)中任一项所述的偏振彩色摄像装置的有的形态中,所述第一至第三区域分别通过彩色滤光片和偏振滤光片的重合而被形成。
(6)在项目(1)至(5)中任一项所述的偏振彩色摄像装置的有的形态中,所述第一至第三区域的偏振光透射轴的方向各相差60度。
(7)在项目(1)至(6)中任一项所述的偏振彩色摄像装置的有的形态中,所述第一波长范围相当于红光的波长范围,所述第二波长范围相当于绿光的波长范围,所述第三波长范围相当于蓝光的波长范围。
(8)项目(1)至(7)中任一项所述的偏振彩色摄像装置,在有的形态中,还具备能够使所述偏振彩色滤光板在光路上装卸的驱动机构。
(9)项目(8)所述的偏振彩色摄像装置,在有的形态中,还具备控制部,其控制所述驱动机构和所述摄像元件,以便在所述偏振彩色滤光板从光路上脱离的状态下使第一摄像进行,在所述偏振彩色滤光板插入到光路上的状态下使第二摄像进行。
(10)在项目(9)所述的偏振彩色摄像装置的有的形态中,所述信号处理部具有图像处理部,其基于通过所述第一摄像而从各单位区块的所述第一至第三光敏元件输出的信号,生成从被摄物体入射的光的偏振信息,并且基于通过所述第二摄像而从各单位区块的所述第一至第三光敏元件输出的信号和所述偏振信息,生成彩色图像。
(11)本发明的一个形态的偏振彩色滤光板,在项目(1)至(10)中任一项所述的偏振彩色摄像装置中使用。所述偏振彩色滤光板具有:使在第一方向上偏振的第一波长范围的光透过的第一区域、使在第二方向上偏振的第二波长范围的光透过的第二区域、和使入射的光的至少一部分透过的第三区域。
(12)本发明的一个形态的图像处理装置,其构成方式为,基于从项目(1)至(10)中任一项所述的偏振彩色摄像装置输出的信号而生成图像。所述图像处理装置基于从所述摄像元件的各单位区块的所述第一至第三光敏元件输出的信号,生成彩色图像。
(13)本发明的一个形态的图像处理程序,是用于基于从项目(1)至(10)中任一项所述的偏振彩色摄像装置输出的信号而生成图像的程序。所述图像处理程序使计算机运行:基于从所述摄像元件的各单位区块的所述第一至第三光敏元件输出的信号而生成彩色图像的步骤。
以下,一边参照附图,一边说明本发明的更具体的实施方式。在以下的说明中,对于多张图中通用或对应的要素附加相同的符号。
(实施方式1)
图1是表示第一实施方式的偏振彩色摄像装置的整体构成的方块图。本实施方式的偏振彩色摄像装置,是数字式的电子照相机,且具备摄像部100、和基于来自摄像部100的信号而生成表示图像的信号(图像信号)的信号处理部200。
摄像部100具备如下:具备在摄像面上所排列的多个光敏元件的摄像元件(图像传感器)2;具有透射波长范围和偏振光透射轴的方向互不相同的3个透光区域的偏振彩色滤光板1;在摄像元件2的摄像面上形成像的光学透镜3;红外截止滤光片4;按照使偏振彩色滤光板1在摄像光学系统内插拔的方式构成的驱动机构(偏振彩色滤光片移动部)11。在摄像元件2的各光敏元件(以下,也称为“像素”。)之上,配置有偏振滤光片。在本实施方式中,4个像素和与之对置的4个偏振滤光片构成1个单位要素,多个单位要素在摄像面上以二维状排列。单位要素中的4个偏振滤光片之中,3个偏振滤光片的偏振光透射轴的方向不同。
摄像部100另外还具备如下:发生用于驱动摄像元件2的基本信号,并且接收从摄像元件2输出的信号并向信号处理部200发送的信号发生/接收部5;基于由信号发生/接收部5发生的基本信号而驱动摄像元件2的控制部6。控制部6此外以与摄像元件2的动作联动的方式控制偏振彩色滤光片移动部11的动作。摄像元件2代表性的是CCD或CMOS传感器,例如能够由公知的半导体制造技术制造。信号发生/接收部5和控制部6,例如能够由CCD驱动器等的LSI构成。
信号处理部200具备如下:处理从摄像部100输出的信号而生成图像信号的图像处理部7;将图像信号和信号处理的过程中所发生的各种数据加以存储的存储器30;将生成的图像信号发送到外部的接口(IF)部8。就图像处理部7而言,例如能够通过公知的数字信号处理器(DSP)等的硬件、和进行图像信号生成处理的软件之组合来适当地实现。存储器30例如由DRAM等构成。存储器30记录从摄像部100得到的信号、并且临时性地记录由图像处理部7生成的图像数据和压缩的图像数据。这些图像数据经由接口部8被发送至未图示的记录媒体和显示部等。
还有,本实施方式的偏振彩色摄像装置,能够具备电子快门、取景器、电源(电池)、闪光灯等的公知的构成要素,但其说明对于本实施方式的理解不是特别必要,因此省略。另外,上述的构成是一例,偏振彩色滤光板1、摄像元件2、图像处理部7以外的构成要素,能够适宜组合公知的要素使用。
以下,详细地说明摄像部100的构成。在以下的说明中,说明摄像区域的位置和方向时,使用图中所示的xy坐标。
图2是模式化地表示摄像部100的光学透镜3、红外截止滤光片4、偏振彩色滤光板1、偏振彩色滤光片移动部11和摄像元件2的配置关系的图。就光学透镜3而言,可以是由多个透镜群构成的透镜单元,但在图2中为了简单而作为单一的透镜描绘。光学透镜3是公知的透镜、且会聚入射光而使之在摄像元件2的摄像面2P上成像。还有,图2所示的各构成要素的配置关系完全只是一例,不限定于这一示例。例如,光学透镜3与红外截止滤光片4的配置关系交换也可,光学透镜3与偏振彩色滤光板1的配置关系交换也可。或者,光学透镜3和偏振彩色滤光片版1一体化也可。
就红外截止滤光片4而言,在本实施方式中,是大约吸收相比650nm更靠长波长侧的光的类型的光学滤光片。但是,未必一定要是光吸收型的光学滤光片,例如也可以是由折射率不同的多层膜构成的反射型的光学滤光片。偏振彩色滤光片移动部11具有电机、且是可以使偏振彩色滤光板1在摄像光学系统的光轴上插拔的旋转机构。偏振彩色滤光片移动部11,在得到被摄物体的偏振信息时使偏振彩色滤光板1脱离摄像光学系统、而在得到彩色信息时使偏振彩色滤光板1进入摄像光学系统内。还有,偏振彩色滤光片移动部11只要是以能够在光路上插拔偏振彩色滤光板1的方式构成,也不一定非要是旋转式机构,怎样构成都可以。例如,偏振彩色滤光片移动部11,如图3所例示,也可以按照使偏振彩色滤光板1仅沿一个方向移动的方式构成。
图4是模式化地表示偏振彩色滤光板1的俯视图。在本实施方式中,偏振彩色滤光板1的透光区域,被三等分为偏振特性不同的3个区域1a1、1a2、1a3。若设水平方向(x方向)为0度,则区域1a1、1a2、1a3的偏振光透射轴的方向分别设计为+60度、0度、-60度。另外,区域1a1、1a2、1a3除了上述的偏振特性以外,还具备不同的色特性(波长选择性)。其设计方式为,区域1a1只使红(R)光透过,区域1a2只使绿(G)光透过,区域1a3只使蓝(B)光透过。在本实施方式中,通过使拥有期望的偏振光透射轴的偏振滤光片和拥有期望的波长选择性的彩色滤光片贴合来实现上述特性。
图5是表示摄像元件2的基本像素构成的图。摄像元件2具有:以2行2列的像素为基本构成的单位要素被二维状排列在摄像面上的构成。1个单位要素具有:4个光敏元件2PD11、2PD12、2PD21、2PD22;和以覆盖它们的方式配置的4个偏振滤光片2a1、2a2、2a3、2a4。若以水平方向(x方向)为基准方向,且设其角度为0度,则第1行第1列的偏振滤光片2a1拥有+60度的方向的偏振光透射轴。第1行第2列和第2行第1列的偏振滤光片2a2、2a3,都拥有0度的方向的偏振光透射轴。第2行第2列的偏振滤光片2a4拥有-60度的方向的偏振光透射轴。这样的偏振滤光片2a1~2a3,例如能够由光子结晶实现。
根据以上的构成,在摄像时入射到摄像装置的光,在透过偏振彩色滤光板1的各区域时,偏光成分和色彩成分受到选择,进而在透过摄像元件1的各偏振滤光片时,偏光成分进一步受到选择。另外,因为偏振彩色滤光板1具有透射波长范围不同的3个区域1a、1a2、1a3,所以R、G、B的混色的光向各像素入射。在本实施方式中,从各像素输出的信号,由图像处理部7处理,生成彩色图像和偏振信息。
以下,说明本实施方式的偏振彩色摄像装置的操作和信号处理。首先说明的是,在从被摄物体入射到摄像装置的光没有偏振特性的假定情况下取得彩色信息的方法。其后,说明取得偏振信息的方法。
取得彩色信息时,通过偏振彩色滤光片移动部11,在偏振彩色滤光板1被插入到摄像光学系统的状态下进行摄像。摄像元件2通过偏振彩色滤光板1、光学透镜3、红外截止滤光片4而接收来自被摄物体的光,并进行光电转换,由此输出被摄物体像所对应的电信号。基于此电信号,表示图像的信号(图像信号)被生成。
摄像元件2的各单位要素的光敏元件2PD11、2PD12、2PD21、2PD22,输出与各自接收到的光的量(强度)对应的光电转换信号。若将这些光电转换信号分别表示为2PD11s、2PD12s、2PD21s和2PD22s,则这些信号由下式1~式4表示。
【算式1】
2PD11s=Rs+GsCos2(π/3)+BsCos2(2π/3) (式1)
【算式2】
2PD12s=Rscos2(π/3)+Gs+Bscos2(π/3) (式2)
【算式3】
2PD21s=Rscos2(π/3)+Gs+Bscos2(π/3) (式3)
【算式4】
2PD22s=RsCos2(2π/3)+GsCos2(π/3)+Bs (式4)
在此,Rs、Gs、Bs是表示在偏振彩色滤光板1和摄像元件2的各偏振滤光片不拥有偏振特性的假定情况下,分别透过偏振彩色滤光板1的区域1a1、1a2、1a3而入射到1个像素的光的强度的信号。即,Rs、Gs、Bs是分别表示被摄物体的红、绿、蓝的成分信号。另外,在式1~式4中,为了简单,将偏振光透射轴的方向相同的2片偏振滤光片重叠时的透射率作为100%,将偏光方向有90度不同的2片偏振滤光片重叠时的透射率作为0%。还有,实际上它们并不是完全达到100%或0%,能够使用根据偏振滤光片的透射率对式1~式4的各项附加修正系数的算式。
摄像元件2按单位要素输出上述式1~式4所示的信号(以下,称为“像素信号”。)。这些像素信号,通过控制部6和信号发生/接收部5从摄像元件2被读取。所读取的像素信号被发送至信号处理部200。在信号处理部200,所接收的像素信号被记录在存储器30中,所记录的信号由图像处理部7处理。
在此,说明像素信号2PD11s、2PD12s、2PD21s、2PD22s和彩色信号Rs、Gs、Bs的关系。根据上述式1~式4,像素信号2PD11s、2PD12s(与2PD21s相同)、2PD22s和彩色信号Rs、Gs、Bs处于下式5所表示的关系。
【算式5】
2 PD 11 s 2 PD 12 s 2 PD 22 s = 1 1 / 4 1 / 4 1 / 4 1 1 / 4 1 / 4 1 / 4 1 Rs Gs Bs (式5)
根据式5所示的系,Rs、Gs、Bs能够通过2PD11s、2PD12s(或2PD21s)、2PD22s的使用,由以下的式6表示。
【算式6】
Rs Gs Bs = ( 10 / 9 ) × 1 - 1 / 5 - 1 / 5 - 1 / 5 1 - 1 / 5 - 1 / 5 - 1 / 5 1 2 PD 11 s 2 PD 12 s 2 PD 22 s (式6)
图像处理部7,能够按单位要素基于式6进行运算,求得彩色信号Rs、Gs、Bs。然后,由这些彩色信号生成彩色图像,经由接口(IF)部8输出到外部。
通过以上的信号处理,不用对摄像元件2的各像素设置彩色滤光片,就可以进行图像的彩色化。根据上述构成,通过更换偏振彩色滤光板1的彩色滤光片部分,经由不同的彩色滤光片构成也能够实现彩色化。只要使用不同的三色的彩色滤光片,则通过信号处理就可以彩色化,因此彩色滤光片的组合不限定为上述的例子。例如,通过使用互补色系的品红(Mg)、青(Cy),黄(Ye)的彩色滤光片,能够提高光的利用率,因此也能够简单地进一步提高彩色图像的灵敏度。这样的彩色滤光片的更换在现有技术中不能轻易实现,为了实现,只有使不同的彩色滤光片在摄像元件上图案化的方法。为此成本非常地高。相对于此,根据本实施方式,能够以低成本实现由不同的彩色滤光片构成带来的彩色化。
其次,说明来自被摄物体的光具有偏振特性而取得其偏振信息的方法。图6A是模式化地表示取得偏振信息时的偏振彩色滤光板1和摄像元件2的配置关系的俯视图。在图6A中,光学透镜3和红外截止滤光片4等的表述被省略。取得偏振信息时,如图6A所示,在借助偏振彩色滤光片移动部11使偏振彩色滤光板1从摄像光学系统脱离了的状态下进行摄像。这时,来自被摄物体的光通过光学透镜3、红外截止滤光片4由摄像元件2接收并进行光电转换。从各光敏元件输出的信号值,由与该光敏元件对向配置的偏振滤光片的特性和来自被摄物体的光的偏振特性决定。即,在将来自被摄物体的偏振光亮度的振幅设为A,摄像元件的偏振滤光片的偏振光透射轴的方向的角度设为ω,来自被摄物体的偏振光亮度达到最大的方向的角度设为φ,来自被摄物体的偏振光亮度的平均值设为M时,像素信号值PDs通常由下式7表示。
【算式7】
PDs=Acos(2ω-2φ)+M (式7)
若使用式7,则摄像元件2的各像素信号2PD11s、2PD12s、2PD21s和2PD22s分别由下式8~式11表示。
【算式8】
2PD11s=Acos(2π/3-2φ)+M (式8)
【算式9】
2PD12s=Acos(2φ)+M (式9)
【算式10】
2PD21s=Acos(2φ)+M (式10)
【算式11】
2PD22s=Acos(-2π/3-2φ)+M (式11)
在式8~式11中,A、φ、M是未知数,取决于每个被摄物体的位置。因为未知数是3个,所以只要包含它们的关系式有3个,则能够求得这些未知数。因此,A、φ、M能够使用式8、式9(或式10)和式11求得。即,就被摄物体的偏振信息而言,通过在来自以2行2列为基本构成的4个像素的信号之中使用3个来计算A、φ、M,且将其代入式7求得。
接着,说明从被摄物体入射具有偏振特性的光时的彩色信息的取得方法。图6B是模式化地表示用于取得彩色信息的偏振彩色滤光板1和摄像元件2的配置关系的俯视图。取得彩色信息时,首先如图6A所示,在使偏振彩色滤光板1从摄像光学系统脱离了的状态下进行摄像。接着,如图6B所示,在使偏振彩色滤光板1进入摄像光学系统的状态下进行摄像。即,摄像装置将被摄物体进行两次拍摄、且利用取得的2个图像信息来生成彩色信息。
以下,一边参照图7,一边说明取得彩色信息时的处理的流程。摄像装置首先在使偏振彩色滤光板1从由被摄物体入射的光的光路上脱离了的第一状态下进行摄像(步骤S601)。这时,控制部6向偏振彩色滤光片移动部11发送控制信号,使偏振彩色滤光板1移动到光路外。
其次,图像处理部7,根据在第一状态下取得的像素信号,遍及图像全体而求得式7所示的A、φ、M(步骤S602)。A、φ、M是依存于图像上的位置的数值,但在以下的说明中,不论图像上的位置,都以相同的符号A、φ、M表现。图像处理部7使用求得的A、φ、M,遍及图像全体而计算由以下的式12~式14所示的系数k1、k2、k3(步骤S603)。
【算式12】
k 1 = A cos ( 2 π / 3 - 2 φ ) + M M (式12)
【算式13】
k 2 = A cos ( 2 φ ) + M M (式13)
【算式14】
k 3 = A cos ( - 2 π / 3 - 2 φ ) + M M (式14)
接着,摄像装置在将偏振彩色滤光板1插入到光路上的第二状态下进行摄像(步骤S604)。这时,控制部6向偏振彩色滤光片移动部11发送控制信号,使偏振彩色滤光板1移动到覆盖摄像元件2的摄像面2P的位置。
接着,图像处理部7,根据在第二状态下取得的图像,使用上述式12~式14生成彩色图像(步骤S605)。具体来说,使用分别相当于式1~式4的以下的式15~18生成彩色图像。
【算式15】
2PD11s=k1Rs+k2GsCos2(π/3)+k3BsCos2(2π/3) (式15)
【算式16】
2PD12s=k1Rscos2(π/3)+k2Gs+k3Bscos2(π/3) (式16)
【算式17】
2PD21s=k1Rscos2(π/3)+k2Gs+k3Bscos2(π/3) (式17)
【算式18】
2PD22s=k1RsCos2(2π/3)+k2GsCos2(π/3)+k3Bs (式18)
式15~式18就是在式1~式4中的Rs、Gs、Bs上分别乘以k1、k2、k3,且是考虑了从被摄物体入射的光的偏振特性的关系式。假如来自被摄物体的光是非偏光,则k1~k3所含的系数A为0,式15~式18与式1~式4相同。根据式15~式18,彩色信号Rs、Gs、Bs和像素信号2PD11s、2PD12s(或2PD21s)、2PD22s的关系由下式19表示。
【算式19】
2 PD 11 s 2 PD 12 s 2 PD 22 s = k 1 k 2 / 4 k 3 / 4 k 1 / 4 k 2 k 3 / 4 k 1 / 4 k 2 / 4 k 3 Rs Gs Bs (式19)
此外,根据式19,使用2PD11s、2PD12s(或2PD21s)、2PD22s,由以下的式20表示Rs、Gs、Bs。
【算式20】
Rs Gs Bs = ( 10 / 9 ) × 1 / k 1 - 1 / 5 k 2 - 1 / 5 k 3 - 1 / 5 k 1 1 / k 2 - 1 / 5 k 3 - 1 / 5 k 1 - 1 / 5 k 2 1 / k 3 2 PD 11 s 2 PD 12 s 2 PD 22 s (式20)
图像处理部7,在步骤S605中,通过基于式20的运算生成彩色图像。生成的彩色图像经由接口(IF)部8被输出到外部。
如此,通过使偏振彩色滤光板1从摄像光学系统出入而进行两次摄像,即使是被摄物体有偏振特性时,也能够利用所取得的2个图像而生成彩色信息。
如上,根据本实施方式,在像素上配置有3种偏振滤光片的摄像元件2,和在摄像光学系统中具有与上述3种偏振滤光片有着相同的偏振特性的等面积的3个区域1a1、1a2、1a3的偏振彩色滤光板1,均被使用。由于3个区域1a1、1a2、1a3具有作为R、G、B的彩色滤光片的功能,从而通过从摄像元件2输出的信号间的运算,能够得到RGB的彩色信息。另外,通过使偏振彩色滤光板1从光路上脱离而进行摄像,能够取得被摄物体的偏振信息。于是,便具有如下这样优异的效果:通过利用经由偏振彩色滤光板1取得的图像和未经由偏振彩色滤光板1取得的图像,即使对于具有偏振特性的被摄物体,也能够取得彩色信息。
还有,在本实施方式中,使偏振彩色滤光板1的区域1a1、1a2、1a3的偏振光透射轴的方向,和摄像元件2的偏振滤光片2a1、2a2(或2a3)、2a4的偏振光透射轴的方向,分别为60度、0度、-60度,但并不限定为这样的例子。这些偏振光透射轴的方向只要是不同的3个方向便没有问题。另外,使偏振彩色滤光板1的区域1a1、1a2、1a3的透射波长范围分别与红(R)、绿(G)、蓝(B)的光的波长范围相同,但不限定于这样的例子。这些区域的透射波长范围只要是与不同的三色的光对应的波长范围,便能够通过运算计算RGB的彩色信息。
另外,本实施方式的偏振彩色滤光板1为圆形,但也可以具有椭圆、多角形等的其他的形状。此外,偏振彩色滤光板1可以分割成4个以上的区域,也可以在不同的区域间设置遮光部。另外,偏振彩色滤光板1的各区域的面积不需要一定相同。这些区域的面积不同时,采用根据其面积比而在式1~4的各项上附加必要的系数的运算式即可。
以下,一边参照图8、9,一边说明使实施方式1更普及化的构成例。
图8是表示偏振彩色滤光板1的其他的构成例的图。在此构成例中,偏振彩色滤光板1具有2个不同的偏光彩色区域1a1、1a2和透明区域1b。在此,偏光彩色区域1a1、1a2、透明区域1b的面积全部相等,透明区域1b由在x方向上被分割的2个区域构成。偏光彩色区域1a、1a2的偏振光透射轴的方向,是以x方向为基准,分别构成角度α1、α2的方向。另外,偏光彩色区域1a1其构成方式为,使青(Cy)的波长范围(绿和蓝的波长范围)的光透过,而吸收或反射红的波长范围的光。另一方面,偏光彩色区域1a2其构成方式为,使黄(Ye)的波长范围(红和绿的波长范围)的光透过,而吸收或反射蓝的波长范围的光。还有,偏光彩色区域1a1、1a2分别位于图8的上部和下部,但其配置任意。
图9是表示摄像元件2的单位要素的其他的构成例的图。在该例中,1个单位要素具有:3个光敏元件2PD1、2PD2、2PD3;和与之对向配置的3个偏振滤光片2a1、2a2、2a3。在此,偏振滤光片2a1、2a2、2a3的偏振光透射轴的方向,分别相对于x方向构成角度ω1、ω2、ω3。还有,在该例中,光敏元件2PD1、2PD2沿y方向排列,光敏元件2PD2、2PD3沿x方向排列,但像素排列不受该例限定。
在此,将非偏振的光入射到偏振滤光片2a1~2a3时的透射率设为T(T<1)。在图8、9所示的构成例中,从3个光敏元件2PD1、2PD2、2PD3分别输出的像素信号2PD1s、2PD2s、2PD3s,分别由以下的式21~式23表示。
【算式21】
2PD1s=(Gs+Bs)cos2(α1-ω1)+(Rs+Gs)cos2(α2-ω1)+(Rs+Gs+Bs)T
={cos2(α2-ω1)+T}Rs+{cos2(α1-ω1)+cos2(α2-ω1)+T}Gs+{cos2(α1-ω1)+T}Bs
(式21)
【算式22】
2PD2s=(Gs+Bs)cos2(α1-ω2)+(Rs+Gs)cos2(α2-ω2)+(Rs+Gs+Bs)T
={cos2(α2-ω2)+T}Rs+{cos2(α1-ω2)+cos2(α2-ω2)+T}Gs+{cos2(α1-ω2)+T}Bs
(式22)
【算式23】
2PD3s=(Gs+Bs)cos2(α1-ω3)+(Rs+Gs)cos2(α2-ω3)+(Rs+Gs+Bs)T
={cos2(α2-ω3)+T}Rs+{cos2(α1-ω3)+cos2(α2-ω3)+T}Gs+{cos2(α1-ω3)+T}Bs
(式23)
因为式21~式23的右边的Rs、Gs、Bs的各项的系数是已知的量,所以基于式21~23,能够求得彩色信号Rs、Gs、Bs。因此,在图8、9所示的构成中,与上述的实施方式同样,也能够生成彩色信息。还有,需要使式21~式23的右边的各项的系数所表示的行列的行列式不为零,如此设计偏振彩色滤光板1的各区域和摄像元件2的各偏振滤光片。
如此,偏振彩色滤光板1,其以如下方式构成即可:最低限度具有透射波长范围和偏振光透射轴不同的2个区域、和没有偏振特性的1个区域。没有偏振特性的1个区域不限于透明区域,使入射的光的至少一部透过的区域即可。例如,也可以是拥有与区域1a1、1a2不同的透射波长范围的彩色滤光片设于区域1b。在此,透射波长范围不同时,如上述的Cy和Ye的示例,也包括一部分的波长范围重叠的情况。另外,摄像元件2的1个单位要素,最低限度具有3个光敏元件、和与其对向配置的偏振光透射轴的方向完全不同的3个偏振滤光片即可。
还有,在以上的实施方式中,是内置于摄像装置的图像处理部进行图像处理,但也可以在相对于摄像装置独立的其他的装置中运行该图像处理。例如,将具有上述的各实施方式的摄像部100的摄像装置所取得的信号读取到其他的装置(图像处理装置)中,使规定上述的信号运算处理的程序在内置于该图像处理装置中的计算机上运行,由此也能够取得同样的效果。
产业上的可利用性
本发明的一个形态的偏振彩色摄像装置,例如能够利用于使用了固体摄像元件的民用的数码相机、数码摄像机,和播放用的固体照相机、工业用的固体监控摄像机等的所有照相机。
符号说明
1 偏振彩色滤光板
1a1 具有R光透射性,偏振光透射轴方向为60度的偏振滤光片
1a2 具有G光透射性,偏振光透射轴方向为0度的偏振滤光片
1a3 具有B光透射性,偏振光透射轴方向为-60度的偏振滤光片
2 摄像元件
2a1 偏振光透射轴方向为60度的偏振滤光片
2a2 偏振光透射轴方向为0度的偏振滤光片
2a3 偏振光透射轴方向为-60度的偏振滤光片
2P 摄像元件的摄像面
2PD11、2PD12、2PD21、2PD22 光敏元件
3 光学透镜
4 红外截止滤光片
5 信号发生/接收部
6 控制部
7 图像处理部
8 接口部
11 偏振彩色滤光片移动部(驱动机构)
30 存储器
100 摄像部
200 信号处理部

Claims (10)

1.一种偏振彩色摄像装置,其中,具备:
偏振彩色滤光板,其具有使在第一方向上偏振的第一波长范围的光透过的第一区域、使在第二方向上偏振的第二波长范围的光透过的第二区域、和使入射的光的至少一部分透过的第三区域;
摄像元件,其在摄像面上排列多个单位区块,该多个单位区块各自具有第一至第三光敏元件、和分别与所述第一至第三光敏元件对向地配置的第一至第三偏振滤光片,并且所述第一至第三偏振滤光片的偏振光透射轴的方向完全不同;
光学透镜,其使像在所述摄像元件的所述摄像面上形成;
信号处理部,其处理从所述摄像元件输出的信号;
驱动机构,其能够使所述偏振彩色滤光板在光路上装卸;
控制部,其控制所述驱动机构和所述摄像元件,以便在所述偏振彩色滤光板从光路上脱离了的状态下使第一摄像进行,在所述偏振彩色滤光板插入到光路上的状态下使第二摄像进行。
2.根据权利要求1所述的偏振彩色摄像装置,其中,
所述第三区域按照使在第三方向上偏振的第三波长范围的光透过的方式构成。
3.根据权利要求1所述的偏振彩色摄像装置,其中,
所述信号处理部具有图像处理部,该图像处理部基于从各单位区块中的所述第一至第三光敏元件输出的信号而生成彩色图像。
4.根据权利要求1至3中任一项所述的偏振彩色摄像装置,其中,
所述第一至第三区域的偏振光透射轴的方向,分别与所述第一至第三偏振滤光片的偏振光透射轴的方向一致。
5.根据权利要求1至3中任一项所述的偏振彩色摄像装置,其中,
所述第一至第三区域分别通过彩色滤光片和偏振滤光片的重合而被形成。
6.根据权利要求1至3中任一项所述的偏振彩色摄像装置,其中,
所述第一至第三区域的偏振光透射轴的方向,各相差60度。
7.根据权利要求1至3中任一项所述的偏振彩色摄像装置,其中,
所述第一波长范围相当于红光的波长范围,所述第二波长范围相当于绿光的波长范围,所述第三波长范围相当于蓝光的波长范围。
8.根据权利要求1所述的偏振彩色摄像装置,其中,
所述信号处理部具有图像处理部,该图像处理部基于通过所述第一摄像而从各单位区块的所述第一至第三光敏元件输出的信号,生成从被摄物体入射的光的偏振信息,并且基于通过所述第二摄像而从各单位区块的所述第一至第三光敏元件输出的信号和所述偏振信息,生成彩色图像。
9.一种偏振彩色滤光板,其在权利要求1至8中任一项所述的偏振彩色摄像装置中使用,其中,
所述偏振彩色滤光板具有:使在第一方向上偏振的第一波长范围的光透过的第一区域、使在第二方向上偏振的第二波长范围的光透过的第二区域、和使入射的光的至少一部分透过的第三区域。
10.一种图像处理装置,其基于从权利要求1至8中任一项所述的偏振彩色摄像装置输出的信号而生成图像,其中,
所述图像处理装置基于从所述摄像元件的各单位区块的所述第一至第三光敏元件输出的信号,生成彩色图像。
CN201380001201.7A 2012-08-02 2013-03-15 偏振彩色摄像装置 Active CN103703770B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012171754 2012-08-02
JP2012-171754 2012-08-02
PCT/JP2013/001776 WO2014020791A1 (ja) 2012-08-02 2013-03-15 偏光カラー撮像装置

Publications (2)

Publication Number Publication Date
CN103703770A CN103703770A (zh) 2014-04-02
CN103703770B true CN103703770B (zh) 2016-11-02

Family

ID=50027509

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380001201.7A Active CN103703770B (zh) 2012-08-02 2013-03-15 偏振彩色摄像装置

Country Status (4)

Country Link
US (1) US9118796B2 (zh)
JP (1) JP6124079B2 (zh)
CN (1) CN103703770B (zh)
WO (1) WO2014020791A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017005111A (ja) * 2015-06-10 2017-01-05 ソニー株式会社 固体撮像装置及び電子機器
US10901128B2 (en) * 2015-06-26 2021-01-26 The Arizona Board Of Regents On Behalf Of The University Of Arizona Compound dichroic polarizers with wavelength dependent transmission axes
CN108475409B (zh) * 2015-12-28 2022-03-22 夏普株式会社 生物体认证装置
KR20170096813A (ko) 2016-02-17 2017-08-25 삼성전자주식회사 전자식 편광필터, 이를 포함하는 전자장치 및 그 동작방법
CN106019537A (zh) * 2016-07-29 2016-10-12 厦门力鼎光电技术有限公司 一种能同时成像两幅图像的镜头
JP6908793B2 (ja) * 2018-10-09 2021-07-28 富士フイルム株式会社 撮像装置
JP7285322B2 (ja) * 2019-06-11 2023-06-01 富士フイルム株式会社 撮像装置
JP7238121B2 (ja) 2019-06-11 2023-03-13 富士フイルム株式会社 撮像装置
WO2021010103A1 (ja) * 2019-07-17 2021-01-21 富士フイルム株式会社 フィルターおよび撮像装置
JP7335969B2 (ja) 2019-09-27 2023-08-30 富士フイルム株式会社 光学素子、光学装置、撮像装置、及び光学素子の製造方法
CN114631057A (zh) 2019-10-30 2022-06-14 富士胶片株式会社 摄像装置、摄像光学系统及摄像方法
JP7290742B2 (ja) 2019-10-30 2023-06-13 富士フイルム株式会社 光学素子、光学装置、及び撮像装置
CN113099078B (zh) * 2020-01-08 2023-06-27 华为技术有限公司 摄像头模组、成像方法和成像装置
CN115039008A (zh) * 2020-01-31 2022-09-09 富士胶片株式会社 镜头装置、摄像装置、光学部件、摄像方法及摄像程序
JP7326581B2 (ja) * 2020-02-28 2023-08-15 富士フイルム株式会社 撮像装置及び方法
WO2022004572A1 (ja) * 2020-06-30 2022-01-06 富士フイルム株式会社 レンズ装置、撮像装置、及び撮像方法
JPWO2022004571A1 (zh) * 2020-06-30 2022-01-06
JPWO2022181094A1 (zh) * 2021-02-26 2022-09-01
CN113055575B (zh) * 2021-03-30 2023-02-07 Oppo广东移动通信有限公司 图像传感器、摄像头模组及电子设备
US11290658B1 (en) * 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11689813B2 (en) * 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101584222A (zh) * 2007-05-31 2009-11-18 松下电器产业株式会社 图像处理装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0530516A (ja) * 1991-07-19 1993-02-05 Sony Corp カラー撮像装置
JP4857962B2 (ja) * 2006-07-05 2012-01-18 株式会社ニコン 撮像装置
EP3217660B1 (en) 2007-06-15 2018-10-31 Panasonic Intellectual Property Management Co., Ltd. Image processing device
JP2010104422A (ja) 2008-10-28 2010-05-13 Fujifilm Corp 撮像システムおよび撮像方法
JP2010245870A (ja) * 2009-04-07 2010-10-28 Olympus Corp マルチスペクトル撮影用レンズアダプタ装置、マルチスペクトル撮影装置、および画像処理装置
JP4932978B2 (ja) * 2010-08-04 2012-05-16 パナソニック株式会社 撮像素子および撮像装置
WO2012039087A1 (ja) * 2010-09-24 2012-03-29 パナソニック株式会社 撮像素子および撮像装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101584222A (zh) * 2007-05-31 2009-11-18 松下电器产业株式会社 图像处理装置

Also Published As

Publication number Publication date
WO2014020791A1 (ja) 2014-02-06
JPWO2014020791A1 (ja) 2016-07-21
CN103703770A (zh) 2014-04-02
JP6124079B2 (ja) 2017-05-10
US9118796B2 (en) 2015-08-25
US20150130962A1 (en) 2015-05-14

Similar Documents

Publication Publication Date Title
CN103703770B (zh) 偏振彩色摄像装置
CN103119516B (zh) 光场摄像装置和图像处理装置
CN206759600U (zh) 成像系统
CN103137638B (zh) 固态摄像器件及其制造方法、电子装置及用于固态摄像器件的合成物
CN102342115B (zh) 三维摄像装置
CN102577395B (zh) 固体摄像元件和摄像装置
JP5227368B2 (ja) 3次元撮像装置
CN106537890A (zh) 复眼摄像装置
CN102484723B (zh) 固体摄像元件、摄像装置以及信号处理方法
WO2017155622A1 (en) Phase detection autofocus using opposing filter masks
CN103503143B (zh) 固体摄像元件以及摄像装置
CN103907189B (zh) 固体摄像元件、摄像装置和信号处理方法
CN103052914B (zh) 三维摄像装置
CN103222267B (zh) 固体摄像元件、摄像装置和信号处理方法
US20200267291A1 (en) Reduced optical crosstalk plenoptic imaging device, corresponding method, computer program product, computer-readable carrier medium and apparatus
CN103404152B (zh) 固体摄像元件、摄像装置、以及信号处理方法
CN102474649B (zh) 三维摄像装置及透光板
CN103503144B (zh) 固体摄像装置
CN108140655A (zh) 拍摄元件以及拍摄装置
JP5852006B2 (ja) 固体撮像素子、撮像装置および信号処理方法
CN212628124U (zh) 暗景全彩功能图像传感器及其成像装置
CN111727453B (zh) 用于去马赛克的滤波器阵列
US20230319385A1 (en) Optical member, lens device, and imaging apparatus
KR101724086B1 (ko) 3차원 적층 이미지 센서
CN113905193A (zh) 暗景全彩功能的图像传感器及其成像方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160119

Address after: Japan Osaka

Applicant after: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

Address before: Osaka Japan

Applicant before: Matsushita Electric Industrial Co.,Ltd.

C14 Grant of patent or utility model
GR01 Patent grant