CN105324991B - 摄像装置、图像处理装置、摄像方法和图像处理方法 - Google Patents

摄像装置、图像处理装置、摄像方法和图像处理方法 Download PDF

Info

Publication number
CN105324991B
CN105324991B CN201480034481.6A CN201480034481A CN105324991B CN 105324991 B CN105324991 B CN 105324991B CN 201480034481 A CN201480034481 A CN 201480034481A CN 105324991 B CN105324991 B CN 105324991B
Authority
CN
China
Prior art keywords
wave band
pupil
image
transmission characteristics
signal component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480034481.6A
Other languages
English (en)
Other versions
CN105324991A (zh
Inventor
今出慎
今出慎一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN105324991A publication Critical patent/CN105324991A/zh
Application granted granted Critical
Publication of CN105324991B publication Critical patent/CN105324991B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Blocking Light For Cameras (AREA)
  • Optics & Photonics (AREA)

Abstract

摄像装置包括光学滤镜(12)、摄像元件(20)、多波段估计部(30)。光学滤镜(12)将摄像光学系统(10)的光瞳分割成第1光瞳和透射波段与第1光瞳不同的第2光瞳。摄像元件(20)包括具有第1透射率特性的第1滤色镜、具有第2透射率特性的第2滤色镜、具有第3透射率特性的第3滤色镜。而且，多波段估计部(30)根据构成通过摄像元件(20)进行摄像而得到的图像的第1颜色～第3颜色的像素值R、G、B，估计根据第1光瞳和第2光瞳的透射波段以及第1～第3透射率特性设定的第1～第4波段的成分值R1、R2、B1、B2。

Description

摄像装置、图像处理装置、摄像方法和图像处理方法
技术领域
本发明涉及摄像装置、图像处理装置、摄像方法和图像处理方法等。
背景技术
此前提出了根据图像信息求出距离信息并计测三维形状的多种方法。例如，存在如下方法：在光瞳位置插入滤色镜，根据颜色成分对左右的光瞳图像进行分离，由此求出相位差信息，通过三角测量的原理进行立体计测。在该方法中，为了对左右光瞳图像进行分离而需要进行摄像彩色图像的分光分离，但是，多数情况下，针对摄像传感器的像素，设置仅使希望分离的波长区域通过的光学滤镜，以光学方式进行分光分离。作为这种方法，例如存在下述文献所记载的方法。
在专利文献1中公开了配置分光透射率特性的平均波长不同的5种以上(包含该值)的滤色镜的摄像装置。在专利文献1中，对应于摄像传感器的像素而设置6种滤镜、即第1蓝色滤镜、第2蓝色滤镜、第1绿色滤镜、第2绿色滤镜、第1红色滤镜和第2红色滤镜，能够同时对多波段的图像进行摄像。
在专利文献2中公开了如下方法：在成像光学系统与摄像传感器之间设置分支光学系统，使用该分支光学系统分离为4波段以上(包含该值)的波段。在该方法中，分支后的各颜色的图像在摄像传感器上的分离后的区域内成像。各颜色的图像在汇总的区域内生成像，所以，能够同时对多波段的图像进行摄像。
在非专利文献1中公开了如下方法：使用旋转式的多波段滤镜，依次更换要摄像的图像的通过波段来进行摄像，由此取得多波段的图像。在该方法中，进行使用自然界的被摄体的分光反射率平滑这样的预见信息估计无法取得的波段的信息的处理。
现有技术文献
专利文献
专利文献1：日本特开2005-286649号公报
专利文献2：日本特开2005-260480号公报
非专利文献
非专利文献1：电子信息通信协会志Vol.88,No.6,2005,东京工业大学
发明内容
发明要解决的课题
在上述三维计测方法中，不使用通常的RGB拍摄，而使用多波段拍摄。在该多波段拍摄中，存在期望实现摄像系统而不大幅变更现有摄像系统的课题。
例如，在上述专利文献1中，使用6种滤色镜作为摄像元件的滤色镜。因此，与使用通常的RGB三原色的滤色镜的情况相比，只能对一种滤色镜分配一半像素。通过插值处理求出未分配而作为信息丢失的像素值，所以，不可避免分辨率的降低。
并且，在专利文献2中，通过分支光学系统使各颜色的图像在摄像传感器上的分离后的区域内成像。因此，与通常的RGB三原色拍摄相比，分配给各颜色的图像的像素数较少，分辨率降低。
并且，在非专利文献1中，使用旋转式的多波段滤镜。在运动的被摄体的情况下，需要进行滤镜的高速旋转和与其同步的高速拍摄，所以，需要追加特殊的机构。并且，在不拍摄自然界的被摄体而拍摄人工的被摄体的情况下，基于预见信息的估计处理可能不成立。
根据本发明的若干个方式，能够提供能够实现多波段的摄像系统而不大幅变更现有摄像系统的摄像装置、图像处理装置、摄像方法和图像处理方法等。
用于解决课题的手段
本发明的一个方式涉及一种摄像装置，该摄像装置包括：光学滤镜，其将摄像光学系统的光瞳分割成第1光瞳和透射波段与所述第1光瞳不同的第2光瞳；摄像元件，其包括具有第1透射率特性的第1滤色镜、具有第2透射率特性的第2滤色镜、具有第3透射率特性的第3滤色镜；以及多波段估计部，其根据构成通过所述摄像元件进行摄像而得到的图像的第1颜色、第2颜色和第3颜色的像素值，估计根据所述第1光瞳和所述第2光瞳的所述透射波段以及所述第1透射率特性～第3透射率特性设定的第1波段～第4波段的成分值。
并且，在本发明的一个方式中，也可以是，所述第1波段、第2波段对应于所述第1透射率特性的频带，所述第2波段、第3波段对应于所述第2透射率特性的频带，所述第3波段、第4波段对应于所述第3透射率特性的频带，所述第1光瞳透射所述第2波段、第3波段，所述第2光瞳透射所述第1波段、第4波段。
并且，在本发明的一个方式中，也可以是，所述第2波段对应于所述第1透射率特性和所述第2透射率特性的重合部分，所述第3波段对应于所述第2透射率特性和所述第3透射率特性的重合部分。
并且，在本发明的一个方式中，也可以是，所述多波段估计部根据对所述第1波段、第2波段的成分值进行加法运算而得到的值即所述第1颜色的像素值、对所述第2波段、第3波段的成分值进行加法运算而得到的值即所述第2颜色的像素值、对所述第3波段、第4波段的成分值进行加法运算而得到的值即所述第3颜色的像素值，求出所述第1波段～第4波段的成分值之间的关系式，根据所述关系式估计所述第1波段～第4波段的成分值。
并且，在本发明的一个方式中，也可以是，所述多波段估计部将所述第1波段～第4波段的成分值中的任意一方作为未知数来求出所述关系式，求出表示由所述关系式所表示的所述第1波段～第4波段的成分值与所述第1颜色～第3颜色的像素值之间的误差的误差评价值，决定使所述误差评价值最小的所述未知数，根据所决定的所述未知数和所述关系式决定所述第1波段～第4波段的成分值。
并且，在本发明的一个方式中，也可以是，所述多波段估计部取得根据所述第1光瞳和所述第2光瞳的透射率特性以及所述第1透射率特性～第3透射率特性设定的参数，根据所述参数估计所述第1波段～第4波段的成分值。
并且，在本发明的一个方式中，也可以是，所述参数是所述第2波段中的所述第1透射率特性、第2透射率特性的增益比以及所述第3波段中的所述第2透射率特性、第3透射率特性的增益比。
并且，在本发明的一个方式中，也可以是，所述多波段估计部取得预先以统计的方式将所述第1颜色～第3颜色的像素值和所述第1波段～第4波段的成分值对应起来而成的已知信息，根据所述已知信息求出与所述第1颜色～第3颜色的像素值对应的所述第1波段～第4波段的成分值，所述第1颜色～第3颜色的像素值构成通过所述摄像元件进行摄像而得到的所述图像。
并且，在本发明的一个方式中，也可以是，所述摄像装置包括相位差检测部，该相位差检测部根据由所述第1波段～第4波段中的透射过所述第1光瞳的波段的成分值构成的第1图像以及由所述第1波段～第4波段中的透射过所述第2光瞳的波段的成分值构成的第2图像，检测所述第1图像与所述第2图像的相位差。
并且，在本发明的一个方式中，也可以是，所述摄像装置包括相位差图像生成部，该相位差图像生成部通过生成根据所述相位差对所述第1图像进行移位而得到的第3图像和根据所述相位差对所述第2图像进行移位而得到的第4图像，针对所述第1波段～第4波段的各波段，生成相当于透射过所述第1光瞳的情况的图像和相当于透射过所述第2光瞳的情况的图像。
并且，在本发明的一个方式中，也可以是，所述摄像装置包括显示图像生成部，该显示图像生成部根据所述第1波段～第4波段中的透射过所述第1光瞳或所述第2光瞳的波段的成分值，生成显示图像。
并且，本发明的另一个方式涉及一种摄像装置，该摄像装置包括：光学滤镜，其将摄像光学系统的光瞳分割成第1光瞳和透射波段与所述第1光瞳不同的第2光瞳；以及摄像元件，其包括具有第1透射率特性的第1滤色镜、具有第2透射率特性的第2滤色镜、具有第3透射率特性的第3滤色镜，所述第1波段、第2波段对应于所述第1透射率特性的频带，所述第2波段、第3波段对应于所述第2透射率特性的频带，所述第3波段、第4波段对应于所述第3透射率特性的频带，所述第1光瞳透射所述第1波段、第4波段，所述第2光瞳透射所述第2波段、第3波段。
并且，本发明的又一个方式涉及一种图像处理装置，该图像处理装置包括：图像取得部，其取得通过摄像元件进行摄像而得到的图像，该摄像元件包括具有第1透射率特性的第1滤色镜、具有第2透射率特性的第2滤色镜、具有第3透射率特性的第3滤色镜；以及多波段估计部，其根据构成所述图像的第1颜色～第3颜色的像素值估计第1波段～第4波段的成分值，所述第1波段、第2波段对应于所述第1透射率特性的频带，所述第2波段、第3波段对应于所述第2透射率特性的频带，所述第3波段、第4波段对应于所述第3透射率特性的频带。
并且，在本发明的又一个方式中，也可以是，所述图像取得部取得通过所述摄像元件对光学滤镜的透射光进行摄像而得到的所述图像，该光学滤镜将摄像光学系统的光瞳分割成第1光瞳和透射波段与所述第1光瞳不同的第2光瞳，所述第1光瞳透射所述第1波段、第4波段，所述第2光瞳透射所述第2波段、第3波段。
并且，本发明的又一个方式涉及一种摄像方法，该摄像方法进行以下处理：通过摄像元件对光学滤镜的透射光进行摄像，所述光学滤镜将摄像光学系统的光瞳分割成第1光瞳和透射波段与所述第1光瞳不同的第2光瞳，所述摄像元件包括具有第1透射率特性的第1滤色镜、具有第2透射率特性的第2滤色镜、具有第3透射率特性的第3滤色镜，根据构成通过所述摄像元件进行摄像而得到的图像的第1颜色～第3颜色的像素值，估计根据所述第1光瞳和所述第2光瞳的所述透射波段以及所述第1透射率特性～第3透射率特性设定的第1波段～第4波段的成分值。
并且，本发明的又一个方式涉及一种图像处理方法，在第1波段和第2波段对应于第1透射率特性的频带、所述第2波段和第3波段对应于第2透射率特性的频带、所述第3波段和第4波段对应于第3透射率特性的频带的情况下，进行以下处理：取得通过摄像元件进行摄像而得到的图像，所述摄像元件包括具有所述第1透射率特性的第1滤色镜、具有所述第2透射率特性的第2滤色镜、具有所述第3透射率特性的第3滤色镜，根据构成所述图像的第1颜色～第3颜色的像素值估计第1波段～第4波段的成分值。
附图说明
图1是摄像装置的结构例。
图2是摄像装置的基本结构例。
图3是与波段分割方法有关的说明图。
图4是示出边缘部分中的4波段成分值的变化的示意图。
图5是示出边缘部分中的RGB像素值的变化的示意图。
图6是与4波段成分值的估计方法有关的说明图。
图7是与4波段成分值的估计方法有关的说明图。
图8是与第1估计方法有关的说明图。
图9是示出4波段成分值与RGB像素值的关系的图。
图10是与第3估计方法有关的说明图。
图11是摄像装置的详细结构例。
图12是与摄像装置分开构成的情况下的图像处理装置的详细结构例。
图13是与监视器图像的生成处理有关的说明图。
图14是与完整4波段相位差图像的生成处理有关的说明图。
图15是与完整4波段相位差图像的生成处理有关的说明图。
图16是与根据相位差求出距离的方法有关的说明图。
具体实施方式
下面，对本发明的优选实施方式进行详细说明。另外，以下说明的本实施方式并非不当地限定权利要求书所记载的本发明的内容，本实施方式中说明的全部结构不一定必须作为本发明的解决手段。
1.本实施方式的概要
作为高速AF(AF：自动对焦)的代表方法，存在相位差AF方式。在相位差AF方式中，以前对摄像光学路径进行分支，通过相位差检测用的专用摄像元件来检测相位差信息，但是，最近提出了不设置专用摄像元件而仅利用摄像元件来检测相位差的各种方法。例如，存在在摄像元件自身中搭载相位差检测功能的方式(图像内相位差方式)；以及在成像光学系统的左右光瞳位置配置不同波段的滤镜、根据颜色差异来取得左右相位差图像(复用图像)并通过运算来求出相位差的方式(彩色相位差方式)等。
但是，在图像内相位差方式中，需要分别接收来自左右光瞳位置的光束的独立的像素(相位差检测用像素)，所以，能够作为成像图像使用的像素成为一半，伴有分辨率的牺牲。并且，相位差检测用像素成为像素缺陷这样的状态，成为画质劣化的因素，所以，需要进行高度的校正处理。
并且，在专利文献1的彩色相位差方式、未直接涉及AF的专利文献2的彩色相位差方式中，能够消除图像内相位差方式的课题。但是，在使用通常的三原色彩色摄像元件的情况下，例如对右光瞳通过光束用途分配R(红色)滤镜，对左光瞳通过光束用途分配B(蓝色)滤镜等，必须能够通过三原色中的任意一方明确地分离相位差图像。因此，在仅红色成分R的图像或仅蓝色成分B的图像等单一颜色图像的情况下，只能取得通过了左右光瞳中的一个光瞳的图像，无法检测相位差。并且，在R和B的图像的相关性较低的情况下，即使通过颜色分离而取得相位差图像，检测相位差的精度也劣化。这样，在彩色相位差方式中，可能产生无法检测相位差的状况或检测精度显著劣化的状况。进而，由于使用仅使RGB中的一部分颜色的光束通过的滤镜，所以，产生光量降低。并且，由于散焦位置的摄像图像必定由于相位差而引起色偏，所以，需要进行高精度校正该色偏的处理。因此，在校正图像的品质、处理的实时性、低成本化的观点中存在课题。
为了解决这些彩色相位差方式的课题，考虑使用多波段滤镜的方法(例如日本特开2005-286649号公报)。在该方法中，例如，对右光瞳光束用途分配波长分离后的两个颜色的滤镜R1、B1，对左光瞳光束用途也分配波长分离后的两个颜色的滤镜R2、B2等，得到左右相位差图像。该情况下，在摄像元件中需要用于分离各颜色的多波段(多分割波段)的滤色镜，并且，针对各个波段的滤色镜需要分配像素。因此，一个一个的波段图像(分离波段图像)的取样必定变粗糙，使相位差检测用的相关精度降低。并且，残留有如下课题：根据取样的粗糙度，单一波段图像的分辨率也降低，作为摄像图像的分辨率也劣化。
这样，在现有的相位差AF中存在各种课题，例如色偏产生、分辨率降低、需要进行像素缺陷的高度校正、相位差的检测精度降低、可能存在无法检测相位差的状况、需要具有多波段滤色镜的摄像元件等。
因此，如图1所示，本实施方式的摄像装置包括光学滤镜12，摄像元件20、多波段估计部30。光学滤镜12将摄像光学系统10的光瞳分割成第1光瞳和透射波段与第1光瞳不同的第2光瞳。摄像元件20包括具有第1透射率特性的第1颜色(例如红色)滤镜、具有第2透射率特性的第2颜色(绿色)滤镜、具有第3透射率特性的第3颜色(蓝色)滤镜。而且，多波段估计部30根据构成通过摄像元件20进行摄像而得到的图像的第1颜色～第3颜色的像素值R、G、B，估计根据第1光瞳和第2光瞳的透射波段以及第1～第3透射率特性设定的第1～第4波段的成分值R1、R2、B1、B2。
根据本实施方式，能够根据第1光瞳和第2光瞳的透射波段以及通过具有第1颜色～第3颜色的滤色镜的摄像元件20得到的第1颜色～第3颜色的像素值R、G、B来设定第1～第4波段，能够根据构成通过摄像元件20进行摄像而得到的图像的第1～第3颜色的像素值来估计该第1～第4波段的成分值R1、R2、B1、B2。由此，能够实现多波段的摄像系统而不大幅变更现有摄像系统。
以后述实施方式为例具体进行说明。摄像元件20是原色RGB的单板摄像元件。即，是针对每一个像素设置一个颜色的滤镜、且该像素以规定配置(例如拜耳排列)排列的元件。如图3所示，RGB的波段(FB、FG、FR)叠加。叠加特性例如与现有的摄像传感器的滤色镜相同，特别是能够以不伴有大幅变更的方式进行使用。
并且，如图2、图3所示，例如对右光瞳(FL1)分配两个颜色R1、B1的频带(BD3、BD2)，对左光瞳(FL2)分配两个颜色R2、B2的频带(BD4、BD1)。这样，根据第1光瞳和第2光瞳的透射波段以及第1颜色～第3颜色滤镜的第1～第3透射率特性来设定第1～第4波段。由于摄像元件20的R和G的波段以及G和B的波段叠加，所以，能够取得R＝R1+R2、G＝R2+B2、B＝B1+B2作为像素值。在本实施方式中，利用该叠加进行估计处理，确定4波段的成分值R1、R2、B1、B2(rR R、rL R、bR B、bL B)。
该情况下，能够根据与右光瞳对应的成分值R1、B1构成右光瞳图像(IR(x))，能够根据与左光瞳对应的成分值R2、B2构成左光瞳图像(IL(x))。通过使用这两个图像，能够求出相位差。由于能够使用通常的RGB摄像元件作为摄像元件20，所以，摄像图像得到以往那样的分辨率的RGB图像。即，由于不需要现有技术这样的用于分离四个颜色的分配像素，所以，得到RGB图像而不会降低摄像图像的分辨率。并且，通过RGB拜耳图像的去马赛克，相位差图像的分辨率也不会降低，所以，能够提高相位差的检测精度。并且，由于对第1光瞳和第2光瞳双方分配了红色和蓝色的频带，所以，还能够抑制散焦位置的图像的色偏。
如上所述，本实施方式能够以单眼方式进行视差拍摄(立体信息取得拍摄)，不用大幅改变现有摄像光学系统的结构和摄像传感器的构造，能够通过后处理而得到全部像素的相位差信息。并且，其结果，由于得到四个颜色R1、R2、B2、B1的图像，所以，左右光瞳图像能够进行这些分光的各种组合，针对被摄体的各种分光特性的检测范围也变宽。作为本实施方式的应用，例如可以假设高速相位差AF、基于单眼的立体观察、被摄体测距等。
2.基本结构
接着，对本实施方式的详细情况进行说明。另外，下面，适当将摄像元件称为摄像传感器。并且，以下使用的透射率特性{FR，FG，FB}、{rR，rL，bR，bL}均为波长λ的函数，但是，为了简化表记而省略波长λ。波段的成分值{bL B，bR B，rL R，rR R}不是函数而是值。
图2示出本实施方式中的摄像光学系统10的基本结构例。摄像光学系统10包括使被摄体在摄像元件20的传感器面上成像的成像透镜14、以及利用第1光瞳和第2光瞳对频带进行分离的光学滤镜12。下面，设第1光瞳为右光瞳、第2光瞳为左光瞳来进行说明，但是，在本实施方式中不限于此。即，光瞳的分离方向不限于左右，在与摄像光学系统的光轴垂直的任意方向上分离第1光瞳和第2光瞳即可。
光学滤镜12具备具有透射率特性{bR，rR}的右光瞳滤镜FL1(第1滤镜)以及具有透射率特性{bL，rL}的左光瞳滤镜FL2(第2滤镜)。如后所述，透射率特性{rR，rL，bR，bL}设定为梳齿状。光学滤镜12设置在摄像光学系统10的光瞳位置(例如光圈的设置位置)，滤镜FL1、FL2分别相当于右光瞳、左光瞳。
3.波段分割方法
图3示出与波段分割有关的说明图。另外，表示各成分值的符号(bL B等)的上角标表示穿过右光瞳“R”和左光瞳“L”中的某一方，下角标表示穿过摄像元件20的红色滤镜“R”、绿色滤镜“G”、蓝色滤镜“B”中的某一方。
如图3所示，第1～第4波段BD1～BD4对应于光学滤镜12的透射率特性{rL，rR，bR，bL}。即，对右光瞳分配内侧2个波段BD2、BD3，对左光瞳分配外侧2个波段BD1、BD4。这些波段BD1～BD4的成分值{bL B，bR B，rL R，rR R}是根据摄像系统的分光特性而确定的成分值。
图3示出摄像传感器的滤色镜的透射率特性{FR，FG，FB}作为摄像系统的分光特性，但是，严格地讲，摄像系统的分光特性例如还包含除了滤色镜以外的摄像传感器所具有的分光特性、光学系统所具有的分光特性等。下面，为了简化说明，设摄像传感器等的分光特性包含在图3所示的滤色镜的透射率特性{FR，FG，FB}中。
滤色镜的透射率特性{FR，FG，FB}相互叠加，对应于该叠加来设定波段。即，波段BD2对应于蓝色、绿色滤镜的透射率特性{FB，FG}的重合部分，波段BD3对应于绿色、红色滤镜的透射率特性{FG，FR}的重合部分。并且，波段BD1对应于蓝色滤镜的透射率特性FB的非重合部分，波段BD4对应于红色滤镜的透射率特性FR的非重合部分。这里，非重合部分是不与其他滤色镜的透射率特性重合的部分。
考虑光学滤镜12的分光特性、成像光学系统的分光特性、摄像传感器的RGB滤镜特性、像素的感光度特性来设定波段BD1～BD4的带宽，以使得例如在对理想的白色被摄体(平面分光特性的像)进行摄像时，4个分光成分{rL R，rR R，bR B，bL B}成为同一像素值。即，波段BD1～BD4的带宽不需要是透射率特性的带宽或重合部分的带宽本身。例如，透射率特性{FG，FB}的重合部分的频带大约为450nm～550nm，但是，波段BD2对应于重合部分即可，不需要是450nm～550nm。
如图2所示，4波段的成分值{rL R，rR R，bR B，bL B}构成左图像IL(x)和右图像IR(x)。例如，能够如下式(1)或下式(2)或下式(3)那样构成。这里，x是光瞳分割方向(例如摄像元件20的水平扫描方向)上的位置(坐标)。
[IL(x)，IR(x)]＝[rL R(x)，rR R(x)] (1)
[IL(x)，IR(x)]＝[bL B(x)，bR B(x)] (2)
[IL(x)，IR(x)]＝[rL R(x)+bL B(x)，rR R(x)+bR B(x)] (3)
4.多波段估计处理
接着，对根据3个颜色的像素值{R，G，B}来估计4波段的成分值{rL R，rR R，bR B，bL B}的处理进行说明。另外，下面，以进行光瞳分割的情况为例进行说明，但是，在不进行光瞳分割的情况下也能够应用本实施方式的多波段估计处理。即，还可以不设置光学滤镜12，而根据进行摄像而得到的图像，通过同样的估计方法得到4波段的图像。
如图2所示，利用具有拜耳排列的滤色镜的摄像传感器对透射过光学滤镜12的左右光瞳的成像光进行摄像。对拜耳图像进行去马赛克处理，生成每个RGB的3个图像(在全部像素中存在R像素值、G像素值、B像素值的图像)。另外，摄像元件20也可以是原色RGB的三板摄像元件。即，摄像元件20能够对第1颜色～第3颜色的图像进行拍摄即可。
如图3中说明的那样，对应于滤色镜的分光特性{FR，FG，FB}的叠加来分配左右光瞳的分光特性{rR，rL，bR，bL}。因此，在摄像传感器的各像素中取得的RGB值与4波段的成分值之间，下式(4)的关系成立。
R＝rR R+rL R，
G＝rR G+bR G，
B＝bR B+bL B(4)
这里，在叠加部分中，分光特性{FB，FG，FR}的感光度不同。即，针对右光瞳的蓝色透射光(bR)的蓝、绿像素(FB、FG)的感光度不同，针对右光瞳的红色透射光(rR)的绿、红像素(FG、FR)的感光度不同。当设绿、红的像素的感光度比(增益比)为系数α、设蓝、绿像素的感光度比(增益比)为系数β时，成为下式(5)。
rR G＝α·rR R，
bR G＝β·bR B (5)
系数α、β是根据成像光学系统、光学滤镜12、摄像传感器的滤色镜、摄像传感器的像素的分光特性而决定的值。为了简化说明，当设α＝β＝1时，根据上式(5)，成分值{rR G，bR G}可以视为下式(6)。
rR G＝rR R，
bR G＝bR B (6)
根据上式(6)，可以如下式(7)那样改写上式(4)。
R＝rR R+rL R，
G＝rR R+bR B，
B＝bR B+bL B (7)
当对上式(7)进行变形时，得到下式(8)。
G-R＝bR B-rL R，
rR R＝R-rL R，
bL B＝B-bR B (8)
在上式(8)中，当设成分值rL R为未知数(未知变量)时，如下式(9)那样，能够求出4波段的成分值{rL R，rR R，bR B，bL B}的关系式。另外，未知数不限于成分值rL R，也可以将4波段的成分值中的任意一方作为未知数。
rL R＝(未知数)，
rR R＝R-rL R，
bR B＝(G-R)-rL R，
bL B＝B-(G-R)+rL R (9)
4波段的成分值{rL R，rR R，bR B，bL B}的解存在多个组合，但是，如果能够从中估计出最佳的组合图案，则能够求出基于左右光瞳通过光的相位差图像{rL R，rR R}或{bR B，bL B}。下面，对最佳解的估计方法进行说明。
5.解的估计方法
图4、图5中示意地示出边缘部分中的RGB像素值和4波段成分值的变化。图4中示出摄像图像的边缘部分的轮廓和4波段的分光图案的变化。图5中示出与4波段的分光图案对应的RGB图案(检测像素值)。
光瞳分割后的4波段分光图案被设定为，与所取得的RGB图案之间的相关性较高。这是因为，像素值G的成分值{rR R，bR B}穿过相同光瞳(右光瞳)，所以，如图4所示，在rR R的图像与bR B的图像之间不存在相位差(图像偏移)。并且，这是因为，由于{rR R，bR B}是相邻波段的成分，所以，在多个被摄体中，由大致相似的轮廓构成，认为成分值联动。像素值G和成分值{rR R，bR B}联动是指，RGB图案和4波段图案得到相似性较高的关系(认为rR R，bR B的大小交替重复的特殊图案是例外)。
由此，通过从多个解中选择能够判断为与各像素中取得的RGB图案的相似性最高的4波段分光图案，能够估计最相似的4波段分光图案。
使用图4～图7进一步详细地进行说明。如图4所示，各成分值的图像成为左光瞳、右光瞳的点扩散函数PSFL、PSFR与被摄体的轮廓的卷积。因此，在左右光瞳中分割频带的红色成分值{rR R，rL R}与蓝色成分值{bR B，bL B}中产生相位差。另一方面，在仅对右光瞳分配的绿色成分值{rR R，bR B}中不产生相位差。
如图5所示，实际进行摄像而得到的图像的RGB值成为上述成分值的相加值。R图像和B图像是加上相位差图像而得的图像，相对于边缘，偏移平均。另一方面，G图像是加上因右光瞳视差而偏移的相位差不存在的图像而得到的图像，相对于边缘向左侧偏移。
在边缘的中央及其两侧观察该图像的情况下，成为图6所示的4波段成分值和RGB像素值。进行摄像而得到的是像素值{B，G，R}，根据该值估计4波段的成分值{bL B，bR B，rR R，rL R}，但是，如图6所示，由于像素值和成分值的图案相似，所以能够进行高精度的估计。
这里，假设对左右左右的光瞳分配4波段。该情况下，如图7所示，在边缘的中央，成分值{bL B，bR B，rL R，rR R，}成为“高低高低”的图案，像素值{B，G，R}成为大小一致的图案。如果根据像素值{B，G，R}得到曲线cv2这样的估计结果，则接近4波段成分值的图案，但是，由于像素值{B，G，R}的图案平坦，所以认为估计精度降低。
另一方面，在本实施方式中，如图6所示，在边缘的中央，成为像素值{G}比像素值{B，R}小的图案，与该图案相称的曲线cv1与成分值{bL B，bR B，rR R，rL R，}的图案相似。这是因为对右光瞳分配中央的2波段。这样，通过对左右右左的光瞳分配4波段，能够实现高精度的多波段估计。
6.第1估计方法
接着，对根据上式(9)所示的4波段成分值的关系式和RGB像素值来决定4波段成分值的方法进行说明。
设用于判断RGB图案与4波段分光图案的相似性的评价函数为E(rL R)。这里，与上式(9)同样，设未知数为rL R。当设RGB像素值和4波段成分值为例如图8所示的关系时，评价函数E(rL R)成为下式(10)。
E(rL R)＝eR+eG+eB，
eR＝(rL R-R/2)2+(rR R-R/2)2，
eG＝(rR R-G/2)2+(bR B-G/2)2，
eB＝(bR B-B/2)2+(bL B-B/2)2 (10)
在上式(10)中代入上式(9)的关系式，求出评价函数E(rL R)作为未知数rL R的函数。改变未知数rL R，采用满足下式(11)所示的成分值{rL R，rR R，bR B，bL B}的范围且评价函数E(rL R)最小时的rL R作为解。下式(11)的N是变量中定义的量化的最大位数。
0≦rL R<2N，
0≦rR R<2N，
0≦bR B<2N，
0≦bL B<2N (11)
如果决定了未知数rL R，则通过将该值代入上式(9)中，导出4波段成分{rL R，rR R，bR B，bL B}。
在该方法中，由于评价函数E(rL R)为未知数rL R的二次函数，所以，容易求出最小值作为{R，G，B}的函数，4波段成分值{rL R，rR R，bR B，bL B}的运算也成为简单的计算式。但是，在适用于该计算式而使{rL R，rR R，bR B，bL B}超过可取范围(上式(11))的情况下，必须求出该范围内的最小值。
图9示出通过估计而得到的4波段成分值与RGB像素值的关系。以像素值R为例时，由于R＝rL R+rR R＝(rL R，rR R)·(1，1)，所以，像素值R在(1，1)方向上映射向量(rL R，rR R)。即，向量(rL R，rR R)可以取穿过像素值R的直线LN1上的值。同样，针对像素值G、B，也决定直线LN2、LN3，以使值存在于这些直线LN1～LN3上的方式决定4波段成分值{rL R，rR R，bR B，bL B}。
此时，根据像素值{R，G，B}的定义域，4波段成分值{rL R，rR R，bR B，bL B}的定义域也被限制(例如0≦R＝rL R+rR R<2N时，0≦rL R，rR R<2N)。因此，以不超过该定义域的方式估计成分值。
7.第2估计方法
作为与上述估计方法不同的方法，考虑以下方法。在图8中，通过对RGB图案进行内插插值或外插插值，求出下式(12)所示的4波段图案的插值成分值{rL R’，rR R’，bR B’，bL B’}。
rL R’＝(3/2)·(R/2-G/2)+G/2，
rR R’＝(1/2)·(R/2+G/2)，
bR B’＝(1/2)·(B/2+G/2)，
bL B’＝(3/2)·(R/2-G/2)+G/2 (12)
该情况下，能够根据下式(13)定义评价函数E(rL R)。
E(rL R)＝(rL R-rL R’)2+(rR R-rR R’)2+(bR B-bR B’)2+(bL B-bL B’)2 (13)
在上式(13)中代入上式(9)、(12)，改变未知数rL R，采用评价函数E(rL R)最小时的rL R作为解。如果求出rL R，则通过将该rL R代入上式(9)中，导出4波段成分值{rL R，rR R，bR B，bL B}。
8.第3估计方法
作为又一个与上述估计方法不同的方法，考虑以下方法。如图10所示，根据RGB图案，认为rR R’和bR B’与G相等，认为其他部分是通过外插插值而求出的插值值。该情况下，求出下式(14)所示的4波段图案的插值成分值{rL R’，rR R’，bR B’，bL B’}。
rL R’＝(3/2)·(R/2-G/2)+G/2，
rR R’＝G/2，
bR B’＝G/2，
bL B’＝(3/2)·(B/2-G/2)+G/2 (14)
能够根据下式(15)定义评价函数E(rL R)。
E(rL R)＝(rL R-rL R’)2+(rR R-rR R’)2+(bR B-bR B’)2+(bL B-bL B’)2 (15)
在上式(15)中代入上式(9)、(14)，改变未知数rL R，采用评价函数E(rL R)最小时的rL R作为解。如果求出rL R，则通过将该rL R代入上式(9)中，导出4波段成分值{rL R，rR R，bR B，bL B}。
9.估计方法的变形例
除了上述方法以外，还考虑根据RGB图案估计4波段分光图案的各种方法。
例如，也可以根据RGB的3值，通过拉格朗日插值而求出插值4波段分光图案。或者，也可以假设为4波段成分值与2次曲线相乘，通过进行拟合来求出适合于RGB图案的回归曲线。
或者，也可以通过统计方法来进行估计。即，确定被摄体图像的对象，根据该对象的已知图像产生4波段分光图案。针对已知图像的各RGB图案，预先以统计方式求出产生概率最高的4波段分光图案，生成其对应的查找表。然后，将该查找表存储在未图示的存储器等中，参照查找表求出与所取得的RGB图案对应的4波段分光图案。
10.摄像装置
图11示出进行本实施方式的多波段估计处理的摄像装置的详细结构例。摄像装置包括光学滤镜12、成像透镜14、摄像部40、监视器显示部50、图像处理装置100。另外，对与图1中说明的结构要素相同的结构要素标注相同标号并适当省略说明。
摄像部40包括摄像元件20和摄像处理部。摄像处理部进行摄像动作的控制、模拟像素信号的A/D转换处理、RGB拜耳图像的去马赛克处理等，输出RGB图像(像素值{R，G，B})。
图像处理装置100进行本实施方式的多波段估计处理以及其他各种图像处理。图像处理装置100包括多波段估计部30、监视器图像生成部110、图像处理部120、分光特性存储部130、数据压缩部140、数据记录部150、相位差检测部160、完整4波段相位差图像生成部170、测距运算部180。
分光特性存储部130存储摄像元件20的滤色镜的透射率特性{FR，FG，FB}的数据。多波段估计部30根据从分光特性存储部130中读出的透射率特性{FR，FG，FB}的数据，决定上式(5)的系数α、β。然后，根据系数α、β进行多波段估计处理，估计4波段的成分值{rL R，rR R，bR B，bL B}。
相位差检测部160检测左图像IL和右图像IR的相位差δ(x，y)。使用4波段的成分值{rL R，rR R，bR B，bL B}，如上式(1)～(3)那样构成左图像IL和右图像IR。可以分别针对上式(1)～(3)求出相位差，也可以对该求出的相位差进行平均。或者，也可以针对上式(1)～(3)中的任意一方求出相位差(例如，在R成分较大的区域中求出上式(1)的相位差等)。针对各像素求出相位差δ(x，y)。(x，y)是图像上的位置(坐标)，例如x对应于水平扫描方向，y对应于垂直扫描方向。
测距运算部180根据检测到的相位差δ(x，y)进行三维计测。即，根据相位差δ(x，y)计算各像素位置(x，y)处的与被摄体之间的距离，取得物体的三维形状信息。另外，详细情况在后面叙述。
完整4波段相位差图像生成部170根据相位差δ(x，y)生成4波段的完整的相位差图像。即，针对仅得到右光瞳的成分值{rR R，bR B}的波段，生成左光瞳的成分值{rL R’，bL B’}。并且，针对仅得到左光瞳的成分值{rL R，bL B}的波段，生成右光瞳的成分值{rR R’，bR B’}。另外，详细情况在后面叙述。
监视器图像生成部110根据4波段的成分值{rL R，rR R，bR B，bL B}生成监视器图像(像素值{R’，G’，B’})。监视器图像例如是通过后述方法简易地进行了色偏校正后的显示图像。
图像处理部120对监视器图像进行图像处理，将其输出到监视器显示部50。例如，进行噪声降低处理、灰度校正处理等高画质化处理。
数据压缩部140对摄像部40输出的摄像图像数据进行压缩处理。数据记录部150记录压缩后的摄像图像数据和滤色镜的透射率特性{FR，FG，FB}的数据。作为摄像图像数据，可以记录由摄像传感器得到的未进行任何加工的原始数据，也可以记录完整4波段相位差图像的数据。在以原始数据进行记录的情况下，记录数据量较少即可。记录数据能够在拍摄后的事后处理中用于多波段估计处理。事后处理可以在摄像装置中的图像处理装置100中进行，也可以在与摄像装置分开构成的图像处理装置中进行。
11.图像处理装置
图12示出与摄像装置分开构成的图像处理装置的结构例。该图像处理装置包括数据记录部200、数据解压缩部210、多波段估计部220、监视器图像生成部230、图像处理部240、监视器显示部250、分光特性存储部260、相位差检测部270、完整4波段相位差图像生成部280、测距运算部290。作为该图像处理装置，例如假设PC等信息处理装置。
数据记录部200例如由外部存储装置(例如存储卡)构成，存储由摄像装置记录的RGB图像数据和透射率特性数据。数据解压缩部210进行对由摄像装置压缩后的RGB图像数据进行解压缩的处理。分光特性存储部260从数据记录部200取得透射率特性数据并进行存储。
多波段估计部220、监视器图像生成部230、图像处理部240、监视器显示部250、相位差检测部270、完整4波段相位差图像生成部280、测距运算部290的结构和动作与图11的摄像装置中说明的同名结构要素相同。
根据以上的实施方式，如图3等中说明的那样，第1、第2波段BD1、BD2对应于第1透射率特性FB的频带，第2、第3波段BD2、BD3对应于第2透射率特性FG的频带，第3、第4波段BD3、BD4对应于第3透射率特性FR的频带。而且，如图2等中说明的那样，第1光瞳(滤镜FL1)透射第2、第3波段BD2、BD3(透射率特性bR、rR)，第2光瞳(滤镜FL2)透射第1、第4波段BD1、BD4(透射率特性bL、rL)。
这样，由于第1～第4波段BD1～BD4被分配给第1光瞳和第2光瞳，所以，根据估计出的成分值{bL B，bR B，rR R，rL R}，能够构成穿过第1光瞳、第2光瞳的图像IR、IL(上式(1)～(3))。由此，能够根据两个光瞳的图像IR、IL求出相位差δ，能够根据该相位差δ进行测距、三维计测、相位差AF等。并且，通过将4波段中的中央的2波段分配给第1光瞳，如图6等中说明的那样，能够使{B，G，R}的图案和{bL B，bR B，rR R，rL R}的图案成为相似形。由此，能够提高4波段成分值的估计精度。
并且，在本实施方式中，如图3等中说明的那样，第2波段BD2对应于第1透射率特性FB与第2透射率特性FG的重合部分，第3波段BD3对应于第2透射率特性FG与第3透射率特性FR的重合部分。
这样，如上式(4)、(5)所示，像素值{B，G}共用第2波段BD2的成分值bR B(bR G)，像素值{G，R}共用第3波段BD3的成分值rR R(rR G)。由此，如上式(9)所示，能够利用未知数rL R和像素值{B，G，R}的关系式来表示4波段的成分值{bL B，bR B，rR R，rL R}，通过估计未知数rL R，能够决定4波段的成分值{bL B，bR B，rR R，rL R}。
具体而言，多波段估计部30(220)根据对第1、第2波段BD1、BD2的成分值{bL B，bR B}进行加法运算而得到的值即第1颜色的像素值B、对第2、第3波段BD2、BD3的成分值{bR B，rR R}进行加法运算而得到的值即第2颜色的像素值G、对第3、第4波段BD3、BD4的成分值{rR R，rL R}进行加法运算而得到的值即第3颜色的像素值R，求出第1～第4波段BD1～BD4的成分值之间的关系式(上式(9))，根据该关系式估计第1～第4波段的成分值。
这样，根据第1～第4波段BD1～BD4与第1颜色～第3颜色的对应，各颜色的像素值能够利用与该颜色对应的波段的成分值的相加值来表示(上式(6))。由于各颜色的像素值具有共用的成分值，所以，通过减法运算等删除该共用的成分值(上式(5)～(9))，由此，能够利用一个未知数rL R来表示4波段的成分值{bL B，bR B，rR R，rL R}。
然后，多波段估计部30(220)将第1～第4波段BD1～BD4的成分值中的任意一方作为未知数(rL R)求出关系式，求出表示由该关系式表示的第1～第4波段BD1～BD4的成分值{bL B，bR B，rR R，rL R}与第1～第3颜色的像素值{B，G，R}之间的误差的误差评价值E(rL R)(上式(10)～(15))。然后，决定使误差评价值E(rL R)最小的未知数rL R，根据该决定的未知数rL R和关系式(上式(9))决定第1～第4波段BD1～BD4的成分值{bL B，bR B，rR R，rL R}。
这样，能够根据误差评价值E(rL R)对成分值{bL B，bR B，rR R，rL R}与像素值{B，G，R}的相似度进行评价，能够决定该相似度最高的情况下的未知数rL R。
并且，在本实施方式中，多波段估计部30(220)取得根据第1光瞳和第2光瞳的透射率特性{bR，rR，bL，rL}以及第1～第3透射率特性{FB，FG，FR}设定的参数(上式(5)的系数α、β)，根据该参数估计第1～第4波段BD1～BD4的成分值{bL B，bR B，rR R，rL R}。
具体而言，参数是第2波段BD2中的第1、第2透射率特性{FB，FG}的增益比(系数β)以及第3波段BD3中的第2、第3透射率特性{FG，FR}的增益比(系数α)。
这样，通过使用基于分光特性(透射率特性)的参数(系数α、β)，能够对像素值{B，G}共用的成分值bR B(bR G)和像素值{G，R}共用的成分值rR R(rR G)的增益比进行调整。由此，能够通过减法运算而高精度地删除共用的成分值，能够提高4波段成分值的估计精度。
另外，在本实施方式中，多波段估计部30(220)也可以取得预先以统计方式将第1～第3颜色的像素值{B，G，R}和第1～第4波段BD1～BD4的成分值{bL B，bR B，rR R，rL R}对应起来的已知信息(例如查找表)。然后，多波段估计部30(220)也可以根据已知信息求出与第1颜色～第3颜色的像素值{B，G，R}对应的第1～第4波段BD1～BD4的成分值{bL B，bR B，rR R，rL R}，所述第1颜色～第3颜色的像素值{B，G，R}构成通过摄像元件20进行摄像而得到的图像。
这样，根据通过已知图像以统计方式生成的已知信息，能够估计4波段成分值。例如，在如显微镜等那样决定了用途(摄像对象)的情况下，如果仅限于该摄像对象，则认为在针对RGB像素值的4波段成分值的产生频度中存在失衡。这种情况下，通过以统计方式针对各RGB像素值求出产生频度较高的4波段成分值，能够进行高精度的多波段估计。
12.监视器图像的生成处理
接着，对监视器图像生成部110、230进行的处理的详细情况进行说明。
如图13所示，仅使用呈相同相位的基于右光瞳通过光的图像或基于左光瞳通过光的图像生成监视器用的实时图像。即，如下式(16)所示，仅使用构成G图像的成分值{rR R，bR B}生成监视器显示用的RGB图像{R’G’B’}。或者，如下式(17)所示，仅使用成分值{rL R，bL B}生成监视器显示用的RGB图像{R’G’B’}。另外，图13对应于下式(18)。
R’＝rR R，G’＝rR G+bR G，B’＝bR B (16)
R’＝rL R，G’＝rL R+bL B，B’＝bL B (17)
图13示出通过摄像传感器取得边缘图像的情况下的监视器用图像的原色轮廓。例如，在基于右光瞳通过光的图像的情况下，由于仅利用右光瞳图像生成R’G’B’，所以，不容易产生原色彼此的色偏(相位偏移)。并且，由于能够表现的颜色的波段被限定，所以表现色域较窄，但是，均能够用作不要求高品质图像的监视器用途。
例如可以如下所述选择是显示基于上式(16)的监视器图像还是显示基于上式(17)的监视器图像。即，可以按照要取得的每个图像帧，在成分值{rR R，bR B}平均较大的情况下选择上式(16)，在成分值{rL R，bL B}平均较大的情况下使用上式(17)。
根据以上的实施方式，显示图像生成部(监视器图像生成部110)根据第1～第4波段BD1～BD4中的透射过第1光瞳(滤镜FL1)或第2光瞳(滤镜FL2)的波段的成分值，生成显示图像(上式(16)或(17))。
这样，能够利用仅穿过第1光瞳和第2光瞳中的一个光瞳的波段的成分值生成显示图像。即，由于成为在RGB的颜色之间不具有相位差的显示图像，所以，能够显示没有色偏的显示图像。并且，由于仅取出一个光瞳图像，所以能够利用简单的处理来实现，即使是处理能力比较低的摄像装置，也能够以轻负荷生成监视器图像。
13.完整4波段相位差图像的生成处理
接着，对完整4波段相位差图像生成部170、280进行的处理的详细情况进行说明。
由摄像传感器取得的分光光瞳分割的图像在分割后的分光中只能取得左光瞳图像或右光瞳图像中的一个图像。即，为了在四个分光中得到全部左右光瞳合成图像而生成完整的彩色图像，需要对欠缺的成对的光瞳图像进行复原。
如图14所示，设与构成R图像的右光瞳的成分值rR R成对的左光瞳的成分值为rL R’、与构成R图像的左光瞳的成分值rL R成对的右光瞳的成分值为rR R’。设与构成G图像的右光瞳的成分值rR G+bR G成对的左光瞳的成分值为rR G’+bR G’。设与构成B图像的右光瞳的成分值bR B成对的左光瞳的成分值为bL B’、与构成B图像的左光瞳的成分值bL B成对的右光瞳的成分值为bL B’。
在关注像素p(x，y)中，通过rR R与rL R的图像的相关运算而得到相位差(偏移量)δR，通过bR B与bL B的图像的相关运算而得到相位差δB。由于相位差δR和δB是穿过左右分别相同的光瞳的结果，所以应该是大致相同的相位差。因此，如下式(18)所示，求出RGB共通的相位差δ作为δR与δB的平均值。
δ＝(δR+δB)/2(18)
当使用相位差δ时，下式(19)的关系成立。根据下式(19)，针对全部4波段得到左右光瞳的完整图像。
rL R’(x)＝rR R(x-δ)，
rR R’(x)＝rL R(x+δ)，
rL G’(x)+bL G’(x)＝rR G(x-δ)+bR G(x-δ)，
bL B’(x)＝bR B(x-δ)，
bR B’(x)＝bL B(x+δ) (19)
使用上式(19)的成分值，如下式(20)所示，生成完整地复原后的图像的像素值{Rh，Gh，Bh}。如图15所示，该完整地复原后的图像没有颜色之间的相位差(色偏)，也没有相对于边缘的相位差。
Rh＝(rR R+rL R’)+(rR R’+rL R)，
Gh＝(rR G+bR G)+(rR G’+bR G’)，
Bh＝(bR B+bL B’)+(bR B’+bL B) (20)
另外，上述相位差δR、δB、δ均是按照摄像传感器上的任意位置(x，y)求出的值，但是，这里省略x和y的坐标的表记。
根据以上的实施方式，相位差检测部160(270)根据由第1～第4波段BD1～BD4中的透射过第1光瞳(右光瞳)的波段的成分值{rR R，bR B}构成的第1图像、以及由第1～第4波段BD1～BD4中的透射过第2光瞳(左光瞳)的波段的成分值{rL R，bL B}构成的第2图像，检测第1图像与第2图像的相位差δ。
这样，能够利用基于光学滤镜12的光瞳分割来检测相位差δ，例如能够在相位差AF、三维计测等各种应用中使用该相位差δ。
并且，在本实施方式中，生成根据相位差δ对第1图像(成分值{rR R，bR B})进行移位而得到的第3图像(成分值{rL R’，bL B’})以及根据相位差δ对第2图像(成分值{rL R，bL B})进行移位而得到的第4图像(成分值{rR R’，bR B’})。由此，针对第1～第4波段BD1～BD4的各波段，生成相当于透射过第1光瞳的情况的图像和相当于透射过第2光瞳的情况的图像。
这样，能够根据分别穿过一个光瞳的4波段的图像，针对全部4波段生成两个光瞳的图像。由此，能够生成上式(20)那样的没有色偏的复原图像。并且，不限于此，例如还能够应用于3D显示、多波段图像显示、立体形状解析等各种应用。
14.根据相位差求出距离的方法
接着，对根据相位差求出与被摄体之间的距离的方法进行说明。该测距方法例如用于测距运算部180、290的处理。或者，也可以使用所求出的散焦量进行相位差AF控制。
如图16所示，当设打开光圈时的开口径为A、以开口径A为基准的的左右光瞳的重心之间的距离为q×A、光轴上的从成像透镜14的中心到摄像元件的传感器面PS的距离为s、传感器面PS中的右光瞳图像IR(x)与左光瞳图像IL(x)的相位差为δ时，根据三角测量法，下式(21)成立。
q×A：δ＝b：d，
b＝s+d (21)
这里，q是满足0<q≦1的系数，q×A是根据光圈量而变化的值。S是由透镜位置检测传感器检测到的值。B表示光轴上的从成像透镜14的中心到对焦位置PF的距离。Δ是通过相关运算而求出的。根据上式(21)，散焦量d由下式(22)给出。
d＝(δ×s)/{(q×A)-δ} (22)
距离a是与对焦位置PF对应的距离，是光轴上的从成像透镜14到被摄体的距离。一般情况下，在成像光学系统中，当设由多个透镜构成的成像光学系统的合成焦距为f时，下式(23)成立。
(1/a)+(1/b)＝1/f (23)
根据上式(22)中求出的散焦量d和可检测的值s，通过上式(21)求出b，将该b和由成像光学结构决定的合成焦距f代入上式(23)中，计算距离a。由于能够计算与任意像素位置对应的距离a，所以，能够进行与被摄体之间的距离计测、被摄体的三维形状计测。
在进行AF控制的情况下，如下所述。在图16例如是从摄像装置的上部(与光瞳分割方向垂直的方向)观察的图的情况下，x是水平方向(光瞳分割方向)的坐标轴。以右光瞳图像IR(x)和左光瞳图像IL(x)中的任意一方为基准利用正负符号进行表示来定义坐标轴x上的相位差δ，根据该相位差δ的正负，识别传感器面PS是位于对焦位置PF的前方还是位于后方。如果得知传感器面PS与对焦位置PF的前后关系，则简单地得知在使传感器面PS与对焦位置PF一致时，使对焦透镜向哪个方向移动即可。
在求出散焦量d和相位差δ的符号后，根据它们驱动对焦透镜以使散焦量d成为零，进行对焦。在本实施方式中，由于通过左右光瞳在水平方向上进行颜色分割，所以，选择摄像图像中的希望对焦的水平方向的区域进行相关运算即可。另外，由于光瞳颜色分割的方向不限于水平方向，所以，根据左右频带分离光学滤镜的设定条件(分割方向)适当设定进行相关运算的方向即可。并且，求出散焦量d的对象区域不限于摄像图像的一部分区域，也可以将摄像图像的全部区域作为对象。该情况下，由于求出多个散焦量d，所以，需要针对这些多个散焦量d通过规定的评价函数决定最终散焦量的过程。
以上对应用了本发明的实施方式及其变形例进行了说明，但是，本发明不限于各实施方式及其变形例原样，能够在实施阶段在不脱离发明主旨的范围内对结构要素进行变形而具体化。并且，通过适当组合上述各实施方式和变形例所公开的多个结构要素，能够形成各种发明。例如，可以从各实施方式和变形例所记载的全部结构要素中删除若干个结构要素。进而，可以适当组合不同实施方式和变形例中说明的结构要素。并且，摄像装置、图像处理装置的结构和动作以及它们的工作方法(摄像方法、图像处理方法)也不限于本实施方式中说明的那样，能够进行各种变形实施。这样，能够在不脱离发明主旨的范围内进行各种变形和应用。并且，在说明书或附图中，至少一次与更加广义或同义的不同术语一起记载的术语能够在说明书或附图的任意部位置换为该不同的术语。
标号说明
10：摄像光学系统；12：光学滤镜；14：成像透镜；20：摄像元件；30：多波段估计部；40：摄像部；50：图像处理部；50：监视器显示部；100：图像处理装置；110：监视器图像生成部；120：图像处理部；130：分光特性存储部；140：数据压缩部；150：数据记录部；160：相位差检测部；170：完整4波段相位差图像生成部；180：测距运算部；200：数据记录部；210：数据解压缩部；220：多波段估计部；230：监视器图像生成部；240：图像处理部；250：监视器显示部；260：分光特性存储部；270：相位差检测部；280：完整4波段相位差图像生成部；290：测距运算部；B，G，R：第1颜色～第3颜色的像素值；BD1～BD4：第1～第4波段；FB，FG，FR：第1～第3透射率特性；FL1：右光瞳滤镜；FL2：左光瞳滤镜；IL：左光瞳图像；IR：右光瞳图像；PSFL：左光瞳的点扩散函数；PSFR：右光瞳的点扩散函数；bL，rL：左光瞳的透射率特性；bR，rR：右光瞳的透射率特性；bL B，bR B，rR R，rL R：第1～第4波段的成分值；δ：相位差。

Claims (15)

1.一种摄像装置，其特征在于，该摄像装置包括：
光学滤镜，其将摄像光学系统的光瞳分割成第1光瞳和透射波段与所述第1光瞳不同的第2光瞳；
摄像元件，其包括具有第1透射率特性的第1滤色镜、具有第2透射率特性的第2滤色镜、具有第3透射率特性的第3滤色镜；
多波段估计部，其根据构成通过所述摄像元件进行摄像而得到的图像的第1颜色、第2颜色和第3颜色的像素值，估计根据所述第1光瞳和所述第2光瞳的所述透射波段以及所述第1透射率特性～第3透射率特性设定的第1波段～第4波段的成分值；以及
显示图像生成部，该显示图像生成部根据所述第1波段～第4波段中的透射过所述第1光瞳或所述第2光瞳的波段的成分值，生成显示图像。
2.根据权利要求1所述的摄像装置，其特征在于，
所述第1波段、第2波段对应于所述第1透射率特性的频带，所述第2波段、第3波段对应于所述第2透射率特性的频带，所述第3波段、第4波段对应于所述第3透射率特性的频带，
所述第1光瞳透射所述第2波段、第3波段，所述第2光瞳透射所述第1波段、第4波段。
3.根据权利要求2所述的摄像装置，其特征在于，
所述第2波段对应于所述第1透射率特性和所述第2透射率特性的重合部分，所述第3波段对应于所述第2透射率特性和所述第3透射率特性的重合部分。
4.根据权利要求2或3所述的摄像装置，其特征在于，
所述多波段估计部根据对所述第1波段、第2波段的成分值进行加法运算而得到的值即所述第1颜色的像素值、对所述第2波段、第3波段的成分值进行加法运算而得到的值即所述第2颜色的像素值、对所述第3波段、第4波段的成分值进行加法运算而得到的值即所述第3颜色的像素值，求出所述第1波段～第4波段的成分值之间的关系式，
根据所述关系式估计所述第1波段～第4波段的成分值。
5.根据权利要求4所述的摄像装置，其特征在于，
所述多波段估计部将所述第1波段～第4波段的成分值中的任意一方作为未知数来求出所述关系式，
求出表示由所述关系式所表示的所述第1波段～第4波段的成分值与所述第1颜色～第3颜色的像素值之间的误差的误差评价值，
决定使所述误差评价值最小的所述未知数，
根据所决定的所述未知数和所述关系式决定所述第1波段～第4波段的成分值。
6.根据权利要求2或3所述的摄像装置，其特征在于，
所述多波段估计部取得根据所述第1光瞳和所述第2光瞳的透射率特性以及所述第1透射率特性～第3透射率特性设定的参数，
根据所述参数估计所述第1波段～第4波段的成分值。
7.根据权利要求6所述的摄像装置，其特征在于，
所述参数是所述第2波段中的所述第1透射率特性、第2透射率特性的增益比以及所述第3波段中的所述第2透射率特性、第3透射率特性的增益比。
8.根据权利要求1～3中的任意一项所述的摄像装置，其特征在于，
所述多波段估计部取得预先以统计的方式将所述第1颜色～第3颜色的像素值和所述第1波段～第4波段的成分值对应起来而成的已知信息，
根据所述已知信息求出与所述第1颜色～第3颜色的像素值对应的所述第1波段～第4波段的成分值，所述第1颜色～第3颜色的像素值构成通过所述摄像元件进行摄像而得到的所述图像。
9.根据权利要求1～3中的任意一项所述的摄像装置，其特征在于，
所述摄像装置包括相位差检测部，该相位差检测部根据由所述第1波段～第4波段中的透射过所述第1光瞳的波段的成分值构成的第1图像以及由所述第1波段～第4波段中的透射过所述第2光瞳的波段的成分值构成的第2图像，检测所述第1图像与所述第2图像的相位差。
10.根据权利要求9所述的摄像装置，其特征在于，
所述摄像装置包括相位差图像生成部，该相位差图像生成部通过生成根据所述相位差对所述第1图像进行移位而得到的第3图像和根据所述相位差对所述第2图像进行移位而得到的第4图像，针对所述第1波段～第4波段的各波段，生成相当于透射过所述第1光瞳的情况的图像和相当于透射过所述第2光瞳的情况的图像。
11.一种摄像装置，其特征在于，该摄像装置包括：
光学滤镜，其将摄像光学系统的光瞳分割成第1光瞳和透射波段与所述第1光瞳不同的第2光瞳；
摄像元件，其包括具有第1透射率特性的第1滤色镜、具有第2透射率特性的第2滤色镜、具有第3透射率特性的第3滤色镜，
在第1波段、第2波段对应于所述第1透射率特性的频带，所述第2波段、第3波段对应于所述第2透射率特性的频带，所述第3波段、第4波段对应于所述第3透射率特性的频带的情况下，
所述第1光瞳透射所述第1波段、所述第4波段，所述第2光瞳透射所述第2波段、所述第3波段；以及
显示图像生成部，该显示图像生成部根据所述第1波段～第4波段中的透射过所述第1光瞳或所述第2光瞳的波段的成分值，生成显示图像。
12.一种图像处理装置，其特征在于，该图像处理装置包括：
图像取得部，其取得通过摄像元件进行摄像而得到的图像，该摄像元件包括具有第1透射率特性的第1滤色镜、具有第2透射率特性的第2滤色镜、具有第3透射率特性的第3滤色镜；以及
多波段估计部，其根据构成所述图像的第1颜色～第3颜色的像素值估计第1波段～第4波段的成分值，
所述第1波段、第2波段对应于所述第1透射率特性的频带，所述第2波段、第3波段对应于所述第2透射率特性的频带，所述第3波段、第4波段对应于所述第3透射率特性的频带，
其中，所述多波段估计部根据对所述第1波段、第2波段的成分值进行加法运算而得到的值即所述第1颜色的像素值、对所述第2波段、第3波段的成分值进行加法运算而得到的值即所述第2颜色的像素值、对所述第3波段、第4波段的成分值进行加法运算而得到的值即所述第3颜色的像素值，求出所述第1波段～第4波段的成分值之间的关系式，根据所述关系式估计所述第1波段～第4波段的成分值。
13.根据权利要求12所述的图像处理装置，其特征在于，
所述图像取得部取得通过所述摄像元件对光学滤镜的透射光进行摄像而得到的所述图像，该光学滤镜将摄像光学系统的光瞳分割成第1光瞳和透射波段与所述第1光瞳不同的第2光瞳，
所述第1光瞳透射所述第1波段、第4波段，所述第2光瞳透射所述第2波段、第3波段。
14.一种摄像方法，其特征在于，该摄像方法进行以下处理：
通过摄像元件对光学滤镜的透射光进行摄像，所述光学滤镜将摄像光学系统的光瞳分割成第1光瞳和透射波段与所述第1光瞳不同的第2光瞳，所述摄像元件包括具有第1透射率特性的第1滤色镜、具有第2透射率特性的第2滤色镜、具有第3透射率特性的第3滤色镜，
根据构成通过所述摄像元件进行摄像而得到的图像的第1颜色～第3颜色的像素值，估计根据所述第1光瞳和所述第2光瞳的所述透射波段以及所述第1透射率特性～第3透射率特性设定的第1波段～第4波段的成分值，
根据所述第1波段～第4波段中的透射过所述第1光瞳或所述第2光瞳的波段的成分值，生成显示图像。
15.一种图像处理方法，其特征在于，
在第1波段和第2波段对应于第1透射率特性的频带、所述第2波段和第3波段对应于第2透射率特性的频带、所述第3波段和第4波段对应于第3透射率特性的频带的情况下，进行以下处理：
取得通过摄像元件进行摄像而得到的图像，所述摄像元件包括具有所述第1透射率特性的第1滤色镜、具有所述第2透射率特性的第2滤色镜、具有所述第3透射率特性的第3滤色镜，
根据构成所述图像的第1颜色～第3颜色的像素值估计第1波段～第4波段的成分值，
其中，根据对所述第1波段、第2波段的成分值进行加法运算而得到的值即所述第1颜色的像素值、对所述第2波段、第3波段的成分值进行加法运算而得到的值即所述第2颜色的像素值、对所述第3波段、第4波段的成分值进行加法运算而得到的值即所述第3颜色的像素值，求出所述第1波段～第4波段的成分值之间的关系式，根据所述关系式估计所述第1波段～第4波段的成分值。
CN201480034481.6A 2013-06-21 2014-05-08 摄像装置、图像处理装置、摄像方法和图像处理方法 Expired - Fee Related CN105324991B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013130963A JP6173065B2 (ja) 2013-06-21 2013-06-21 撮像装置、画像処理装置、撮像方法及び画像処理方法
JP2013-130963 2013-06-21
PCT/JP2014/062295 WO2014203639A1 (ja) 2013-06-21 2014-05-08 撮像装置、画像処理装置、撮像方法及び画像処理方法

Publications (2)

Publication Number Publication Date
CN105324991A CN105324991A (zh) 2016-02-10
CN105324991B true CN105324991B (zh) 2017-07-28

Family

ID=52104382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480034481.6A Expired - Fee Related CN105324991B (zh) 2013-06-21 2014-05-08 摄像装置、图像处理装置、摄像方法和图像处理方法

Country Status (4)

Country Link
US (1) US20160094822A1 (zh)
JP (1) JP6173065B2 (zh)
CN (1) CN105324991B (zh)
WO (1) WO2014203639A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6751155B2 (ja) 2016-11-24 2020-09-02 富士フイルム株式会社 画像処理装置、撮像装置、及び画像処理方法
CN106791735A (zh) * 2016-12-27 2017-05-31 张晓辉 图像生成方法及装置
WO2019073881A1 (ja) * 2017-10-11 2019-04-18 富士フイルム株式会社 撮像装置及び画像処理装置
WO2020250774A1 (ja) 2019-06-11 2020-12-17 富士フイルム株式会社 撮像装置
US10996426B2 (en) * 2019-08-21 2021-05-04 Omnivision Technologies, Inc. 3D imaging using phase detection autofocus (PDAF) image sensor

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005286649A (ja) * 2004-03-29 2005-10-13 Sharp Corp 色フィルタアレイおよびそれを用いた撮像装置
CN102918355A (zh) * 2011-04-22 2013-02-06 松下电器产业株式会社 三维摄像装置、光透过部、图像处理装置及程序
WO2013021542A1 (ja) * 2011-08-11 2013-02-14 パナソニック株式会社 ３次元撮像装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6807295B1 (en) * 1999-06-29 2004-10-19 Fuji Photo Film Co., Ltd. Stereoscopic imaging apparatus and method
EP1686810A4 (en) * 2003-11-11 2009-06-03 Olympus Corp DEVICE FOR ENTERING MULTISPECTRAL IMAGES
JP4717363B2 (ja) * 2004-03-10 2011-07-06 オリンパス株式会社 マルチスペクトル画像撮影装置及びアダプタレンズ
JP2009258618A (ja) * 2008-03-27 2009-11-05 Olympus Corp フィルタ切替装置、撮影レンズ、カメラ、および撮影システム
JP2009276294A (ja) * 2008-05-16 2009-11-26 Toshiba Corp 画像処理方法
GB2463480A (en) * 2008-09-12 2010-03-17 Sharp Kk Camera Having Large Depth of Field
JP5227368B2 (ja) * 2010-06-02 2013-07-03 パナソニック株式会社 ３次元撮像装置
JP2013057761A (ja) * 2011-09-07 2013-03-28 Olympus Corp 距離測定装置、撮像装置、距離測定方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005286649A (ja) * 2004-03-29 2005-10-13 Sharp Corp 色フィルタアレイおよびそれを用いた撮像装置
CN102918355A (zh) * 2011-04-22 2013-02-06 松下电器产业株式会社 三维摄像装置、光透过部、图像处理装置及程序
WO2013021542A1 (ja) * 2011-08-11 2013-02-14 パナソニック株式会社 ３次元撮像装置

Also Published As

Publication number Publication date
JP6173065B2 (ja) 2017-08-02
US20160094822A1 (en) 2016-03-31
WO2014203639A1 (ja) 2014-12-24
JP2015005921A (ja) 2015-01-08
CN105324991A (zh) 2016-02-10

Similar Documents

Publication Publication Date Title
TWI525382B (zh) 包括至少一拜耳型攝影機的攝影機陣列系統及關聯的方法
CN105324991B (zh) 摄像装置、图像处理装置、摄像方法和图像处理方法
JP5882455B2 (ja) 高解像度マルチスペクトル画像キャプチャ
CN102668537B (zh) 多眼摄像装置及多眼摄像方法
JP5788009B2 (ja) 少なくとも２つの独立したデジタルカメラを備えたデジタルマルチスペクトルカメラシステム
CN108055452A (zh) 图像处理方法、装置及设备
JP5406151B2 (ja) ３次元撮像装置
JPWO2011158498A1 (ja) 撮像装置及び撮像方法
JPH09172649A (ja) カラー画像記録再生システム
CN105359024B (zh) 摄像装置和摄像方法
US20120230549A1 (en) Image processing device, image processing method and recording medium
JP2009117976A (ja) 撮像装置
JP5882789B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN105555180A (zh) 内窥镜装置和内窥镜装置的控制方法
WO2009016256A1 (en) Ultra-compact aperture controlled depth from defocus range sensor
CN105659054A (zh) 摄像装置和相位差检测方法
JP2012142952A (ja) 撮像装置
JP2013044597A (ja) 画像処理装置および方法、プログラム
JP2000278710A (ja) 両眼立体視画像評価装置
CN107636532A (zh) 摄像装置、内窥镜装置以及摄像方法
CN107636533A (zh) 摄像装置、内窥镜装置以及摄像方法
JP6732440B2 (ja) 画像処理装置、画像処理方法、及びそのプログラム
JP6752942B2 (ja) 画像処理装置、画像処理方法およびプログラム、並びに撮像装置
CN105359517B (zh) 图像处理装置和图像处理方法
WO2013111824A1 (ja) 画像処理装置、撮像装置及び画像処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170728

Termination date: 20210508