CN105359517B - 图像处理装置和图像处理方法 - Google Patents

Abstract

图像处理装置(100)包括图像取得部(110)和校正处理部(120)，图像取得部(110)取得通过摄像元件(20)进行摄像而得到的图像，摄像元件(20)包括具有第1透射率特性的第1滤色器、具有第2透射率特性的第2滤色器、具有第3透射率特性的第3滤色器；校正处理部(120)根据构成图像的第1颜色～第3颜色的像素值(b、g、r)中的第2颜色的像素值(g)估计第1透射率特性与第3透射率特性的重复部分的成分值，根据重复部分的成分值对第1颜色～第3颜色的像素值(b、g、r)进行校正。第2颜色是比第1颜色的波长长且比第3颜色的波长短的颜色。校正处理部(120)将基于第1透射率特性和第3透射率特性的第1系数与第2颜色的像素值相乘，求出重复部分的成分值。

Description

图像处理装置和图像处理方法

技术领域

本发明涉及图像处理装置和图像处理方法等。

背景技术

在近年来的摄像装置中广泛使用具有原色RGB的滤色器的摄像元件。滤色器的频带越宽，透射光量越增加，为了得到摄像感光度，在一般的摄像元件中，使用有意叠加RGB的滤色器的透射率特性的方法。

现有技术文献

专利文献

专利文献1：日本特开2001-174696号公报

发明内容

发明要解决的课题

但是，当叠加滤色器的透射率特性时，颜色的分离性降低，所以，存在摄像图像的颜色纯度降低的课题。

例如，在专利文献1中公开了进行基于光瞳分割的相位差检测的方法。在该方法中，右光瞳透射R和G，左光瞳透射G和B，检测进行摄像而得到的RGB图像中的具有视差的R图像与B图像的相位差。但是，在该方法中，存在在与左光瞳对应的B图像中混入右光瞳的透射光的课题。即，由于在摄像元件的B和G的滤色器的透射率特性中存在叠加，所以，透射R和G的右光瞳的透射光混入到B图像中，左右光瞳的分离性降低，相位差检测的精度降低。这是由于通过叠加滤色器的透射率特性而使颜色的分离性降低而引起的。

为了提高颜色纯度，考虑不叠加透射率特性而进行分离的方法，但是，在该方法中，摄像感光度降低。

根据本发明的若干个方式，能够提供能够根据滤色器的透射率特性叠加后的摄像图像取得高颜色纯度图像的图像处理装置和图像处理方法等。

用于解决课题的手段

本发明的一个方式涉及一种图像处理装置，该图像处理装置包括：图像取得部，其取得通过摄像元件进行摄像而得到的图像，该摄像元件包括具有第1透射率特性的第1滤色器、具有第2透射率特性的第2滤色器、具有第3透射率特性的第3滤色器；以及校正处理部，其根据构成所述图像的第1颜色～第3颜色的像素值中的第2颜色的像素值估计所述第1透射率特性与所述第3透射率特性的重复部分的成分值，根据所述重复部分的成分值对所述第1颜色～第3颜色的像素值进行校正。

并且，本发明的另一个方式涉及一种图像处理方法，该图像处理方法进行以下处理：取得通过摄像元件进行摄像而得到的图像，该摄像元件包括具有第1透射率特性的第1滤色器、具有第2透射率特性的第2滤色器、具有第3透射率特性的第3滤色器，根据构成所述图像的第1颜色～第3颜色的像素值中的第2颜色的像素值估计所述第1透射率特性与所述第3透射率特性的重复部分的成分值，根据所述重复部分的成分值对所述第1颜色～第3颜色的像素值进行校正。

根据本发明的一个方式和另一个方式，根据第2颜色的像素值估计第1透射率特性与第3透射率特性的重复部分的成分值，根据该估计出的重复部分的成分值对第1颜色～第3颜色的像素值进行校正。由此，能够根据滤色器的透射率特性叠加后的摄像图像取得高颜色纯度的图像。

附图说明

图1是摄像装置的基本结构例。

图2是与求出高颜色再现图像的方法有关的说明图。

图3是与求出高颜色再现图像的方法有关的说明图。

图4是与求出系数α的方法有关的说明图。

图5是与求出系数β的方法有关的说明图。

图6是第1实施方式中的摄像装置的结构例。

图7是与第2实施方式中的求出高颜色再现图像的方法有关的说明图。

图8是第3实施方式中的摄像装置的基本结构例。

图9是与对右光瞳图像和左光瞳图像进行分离的方法有关的说明图。

图10是与右光瞳图像和左光瞳图像的轮廓有关的说明图。

图11是第3实施方式中的摄像装置的结构例。

具体实施方式

下面，对本发明的优选实施方式进行详细说明。另外，以下说明的本实施方式并非不当地限定权利要求书所记载的本发明的内容，本实施方式中说明的全部结构不一定必须作为本发明的解决手段。

1.本实施方式的概要

首先，对本实施方式的概要进行说明。下面，以使用RGB拜耳排列的摄像元件的情况为例进行说明，但是，本实施方式不限于此，只要是具有波段叠加的滤色器的摄像元件即可。

图2中示意地示出摄像元件的滤色器的透射率特性。F_B、F_G、F_R分别表示蓝色、绿色、红色的滤色器的透射率特性。由于这些透射率特性相互叠加，所以颜色混合。例如，由于蓝色和红色的透射率特性F_B、F_R在中重复，所以，蓝色的波长的光也到达红色的像素(泄漏光)，在红色的像素值中混合有蓝色光的成分。这样，在颜色的分离不明确的情况下，很难准确再现被摄体的颜色。

另一方面，在缩窄透射率特性F_B、F_G、F_R的频带而减小叠加的情况下，能够提高颜色的再现性。但是，由于滤色器的频带变窄，所以透射光量减少，很难确保感光度。在一般的摄像元件中，有意地叠加透射率特性F_B、F_G、F_R来确保感光度，但是，当叠加过大时，颜色的再现性非常差，所以，考虑平衡来决定透射率特性。这样，存在很难进行同时实现高感光度和高颜色再现性双方的摄像的课题。

因此，如图1所示，本实施方式的图像处理装置100包括图像取得部110和校正处理部120。图像取得部110取得通过摄像元件20进行摄像而得到的图像，该摄像元件20包括具有第1透射率特性F_B的第1颜色(蓝色)滤镜、具有第2透射率特性F_G的第2颜色(绿色)滤镜、具有第3透射率特性F_R的第3颜色(红色)滤镜。而且，校正处理部120根据构成图像的第1颜色～第3颜色的像素值b、g、r中的第2颜色的像素值g估计第1透射率特性F_B与第3透射率特性F_R的重复部分的成分值 (I为入射光量)，根据重复部分的成分值对第1颜色～第3颜色的像素值b、g、r进行校正。

这样，能够通过校正来降低或消除第1颜色～第3颜色的像素值b、g、r中相互重复的成分(例如)。由此，能够根据滤色器的透射率特性F_B、F_G、F_R叠加后的高感光度摄像图像得到好像使用了叠加较小的滤色器那样的颜色纯度较高的图像。

以后述实施方式为例更加具体地进行说明。如图2所示，在一般的摄像元件中，由于透射率特性F_B、F_R的重复部分与绿色(第2颜色)的透射率特性F_G相似，所以，根据绿色的像素值g来估计重复部分的成分值通过从像素值b、r中减去该成分值得到校正后的蓝色和红色的像素值并且，如图3所示，当对绿色(第2颜色)的透射率特性F_G进行增益放大(F_G2)时，覆盖蓝色和红色的透射率特性F_B、F_R，所以，根据该增益和绿色的像素值g求出F_G2的成分值。通过从该F_G2的成分值中减去得到校正后的绿色的像素值

如上所述，在本实施方式中，根据重复部分的成分值对第1颜色～第3颜色的像素值b、g、r进行校正，求出校正后的像素值该校正后的像素值成为去除滤色器的透射率特性F_B、F_G、F_R的叠加部分后的像素值。这样，能够根据以高感光度进行摄像而得到的图像生成高颜色再现性的图像。

2.第1实施方式

2.1.高纯度分光分离方法

接着，对本实施方式的详细情况进行说明。另外，下面，适当将摄像元件20称为摄像传感器。并且，透射率特性(分光特性){F_B，F_G，F_R，F_G1，F_G2}、透射率特性的区域或部分是波长λ的函数，但是，为了简化而将F_B(λ)等表记为F_B等。并且，在中乘以光量I(按波长λ进行积分)而得到的是像素值或成分值。

首先，对同时取得高感光度图像和高颜色再现图像的方法进行说明。如图2、图3所示，将摄像传感器的滤色器的透射率特性F_B、F_G、F_R分成四个区域 进行考虑。是F_B和F_R重合的部分。是从F_R中去除了重复部分后的部分。是从F_B中去除了重复部分后的部分。是从以包含F_B、F_R的方式对F_G进行增益放大后的特性F_G2中去除了后的部分。

当将理解为通过高纯度的原色RGB的分光特性滤镜的光量成分时，如果能够预先求出的特性，则能够得到高颜色再现的图像。

使用图2对提取红色和蓝色的高纯度像素值的方法进行说明。另外，下面，在一般广泛使用的彩色摄像传感器中，可知重复部分的分光特性F_RG与绿色的滤色器的分光特性F_G的相似性较高。由于相互的特性本身的相似性较高，所以，能够通过下式(1)来近似另外，系数α的求解方法在后面叙述。

0<α<1.0 (1)

根据上式(1)中求出的求出根据图2可知，下式(2)成立。

根据上式(1)、(2)，下式(3)成立，所以能够求出

当设输入到摄像传感器的像素的光量值为I时，实际上作为各像素的RGB像素值而得到的值成为下式(4)。

r＝I·F_R，

g＝I·F_G，

b＝I·F_B (4)

即，根据上式(3)、(4)，如下式(5)那样求出高纯度像素值r’、b’。

接着，使用图3对提取绿色的高纯度像素值的方法进行说明。分光特性F_G2是对绿色的分光特性F_G乘以增益β(系数β)而得到的。以F_G2包含区域和区域且成为最小增益的方式求出增益β。另外，增益β的求解方法的详细情况在后面叙述。

如下式(6)所示，得到根据增益β对绿色的分光特性F_G进行增益放大后的分光特性F_G2。

F_G2＝β·F_G，

1.0<β (6)

根据上式(6)中得到的F_G2和上式(1)、(3)中求出的根据下式(7)得到

根据上式(1)、(4)、(7)，如下式(8)那样求出高纯度像素值g’。

如上所述，得到高纯度的原色像素值

另外，作为高感光度图像，使用由RGB特性的重合较大的摄像传感器直接取得的图像即可，所以，使用像素值r、g、b即可。

2.2.系数α、β的计算方法

接着，对估计上述系数α、β的方法进行说明。可以将利用以下说明的方法预先求出的系数α、β存储在图像处理装置100中，或者，图像处理装置100也可以取得分光特性F_B、F_G、F_R并根据该分光特性求出系数α、β。

如图4所示，从实用的观点来看，分光特性F_B、F_G、F_R不一定是F_B、F_R关于F_G对称的特性，所以，针对在F_B、F_R中存在偏移的特性的情况，示出系数α、β的决定方法。

首先，对系数α的求解方法进行说明。F_B与F_R的重合部分相对于F_G偏移，设表示F_G的最大值的波长为λ_C，设表示F_B与F_R的交叉点的波长为λ’_C。如下式(9)所示，将重复部分的分光特性和分光特性F_G理解为将波长λ₀、λ₁、λ₂、…、λ_N下的透射率作为成分的向量V_RB、V_G。

V_G＝[F_G(λ₀)，F_G(λ₁)，F_G(λ₂)，…，F_G(λ_N)] (9)

如下式(10)所示，采用这些向量V_RB、V_G的欧几里得距离最小时的系数α。由此，由于能够提高与αF_G(＝F_G1)的相似性，所以，能够对泄漏光成分的减少效果进行优化。

另外，系数α的计算方法不限于上述方法。例如，也可以将系数α作为变量而使其变化，根据上式(1)和上式(3)求出将光量I假设为平面分光特性即白色光，根据上式(5)求出r’、b’，探索地求出系数α以使其白平衡最佳。

接着，对系数β的求解方法进行说明。如图5所示，设从F_G2中减去而得到的部分为所述F_G2是以包含的方式对F_G进行增益放大而得到的。设分光特性F_R和F_G2大致一致的波段为λ_R、λ_R+1、…、λ_N，设分光特性F_B和F_G2大致一致的波段为λ₀、λ₁、…、λ_B。如下式(11)所示，设将波长λ_R、λ_R+1、…、λ_N下的分光特性F_R、F_G2的透射率作为成分的向量为V_R、V_GR2。并且，设将波长λ₀、λ₁、…、λ_B下的分光特性F_B、F_G2的透射率作为成分的向量为V_B、V_GB2。

V_R＝[F_R(λ_R)，F_R(λ_R+1)，…，F_R(λ_N)]，

V_GR2＝[F_G2(λ_R)，F_G2(λ_R+1)，…，F_G2(λ_N)]，

V_B＝[F_B(λ₀)，F_B(λ₁)，…，F_B(λ_B)]，

V_GB2＝[F_G2(λ₀)，F_G2(λ₁)，…，F_G2(λ_B)] (11)

如下式(12)所示，采用这些向量V_R、V_GR2、V_B、V_GB2的欧几里得距离最小时的系数β。由此，由于能够提高与βF_G(＝F_G2)的相似性，所以，能够对泄漏光成分的减少效果进行优化。

另外，系数β的计算方法不限于上述方法。例如，也可以将系数β作为变量而使其变化，根据上式(1)和上式(3)求出将光量I假设为平面分光特性即白色光，根据上式(5)求出r’、g’、b’，探索地求出系数β以使其白平衡最佳。

在以上的说明中，设分光特性F_B、F_G、F_R为摄像传感器的滤色器的分光特性进行了说明，但是，分光特性F_B、F_G、F_R例如也可以包含摄像光学系统的分光特性、摄像传感器的像素的感光度特性、光源的分光特性等。该情况下，如果决定了基于照明或摄像传感器的摄像条件，则分光特性F_B、F_G、F_R成为基于该摄像条件的特性，所以，能够预先求出系数α、β。另一方面，在基于户外光等的拍摄的情况下，也可以按照每次拍摄来检测分光特性F_B、F_G、F_R，根据该分光特性求出系数α、β。

2.3.摄像装置

图6中示出同时取得高感光度图像{r，g，b}和高颜色再现图像{r’，g’，b’}的摄像装置的结构例。

摄像装置包括成像透镜14(光学系统)、摄像部40、监视器显示部50、分光特性检测部60、图像处理装置100。图像处理装置100包括去马赛克部130、高画质化处理部140、监视器图像生成部150、高纯度分光分离处理部160、高画质化处理部180、摄像模式选择部190、分光特性存储部195。

摄像部40包括摄像元件20和摄像处理部。摄像元件20例如是拜耳排列的彩色摄像传感器。摄像处理部进行摄像动作的控制、对模拟像素信号进行A/D转换的处理等，输出拜耳排列的图像{r，gr，gb，b}。

去马赛克部130对拜耳排列的图像进行去马赛克处理，生成按照每个像素具有RGB像素值的图像(三板化图像){r，g，b}。

这里，图1的图像取得部110对应于摄像处理部或去马赛克部130。即，取得图像的处理例如是摄像处理部从摄像传感器的输出中取得数字图像的处理、或者去马赛克部130从拜耳图像中取得三板化图像的处理。

由于彩色摄像传感器采用增大了RGB的分光特性F_B、F_G、F_R的重合的彩色摄像传感器，所以，图像{r、g、b}直接作为高感光度图像进行处理。另外，作为彩色摄像传感器，也可以使用具有通常的叠加特性的摄像传感器，或者，还可以使用与通常相比增大了叠加的摄像传感器。在后者的情况下，能够扩大各颜色的频带，所以，与通常相比，能够进行高感光度的拍摄，例如在暗处等也能够得到明亮的图像。

高画质化处理部140对高感光度图像{r，g，b}进行高画质化处理(例如噪声降低处理、灰度校正处理等)，将该图像输出到监视器图像生成部150。监视器图像生成部150进行在监视器显示部50中显示该图像的处理。

高纯度分光分离处理部160包括取得系数α、β的系数取得部170、以及从经由去马赛克处理后的三板化图像{r，g，b}中提取纯度较高的原色成分的校正处理部120。

具体而言，分光特性存储部195存储滤色器的分光特性{F_B，F_G，F_R}。该分光特性例如可以从摄像部40取得，也可以预先存储在分光特性存储部195中。并且，还可以进一步设置取得户外光或照明光的分光特性的分光特性检测部60，考虑该户外光或照明光的分光特性而取得分光特性{F_B，F_G，F_R}。

系数取得部170从分光特性存储部195中读出分光特性{F_B，F_G，F_R}，根据该分光特性{F_B，F_G，F_R}，通过上述方法求出系数α、β。

或者，分光特性存储部195也可以存储预先根据分光特性{F_B，F_G，F_R}求出的系数α、β。该情况下，系数取得部170通过从分光特性存储部195中读出系数α、β，来取得系数α、β。

校正处理部120通过进行基于上述方法的处理，根据系数α、β求出高颜色再现图像{r’，g’，b’}，输出该高颜色再现图像。

高画质化处理部180对高颜色再现图像{r’，g’，b’}进行颜色平衡等调整处理，以提高颜色的再现性。即，对高颜色再现图像{r’，g’，b’}实施白平衡处理等适当的高画质化处理。高画质化处理部180将该图像输出到监视器图像生成部150，监视器图像生成部150进行在监视器显示部50中显示该图像的处理。

摄像模式选择部190进行选择监视器显示图像的处理。具体而言，对监视器图像生成部150进行使监视器显示从高感光度图像和高颜色再现图像中选择出的一方的指示。或者，也可以进行显示高感光度图像和高颜色再现图像双方的指示。例如可以根据经由未图示的操作部输入的用户指示来进行图像的选择。或者，也可以设置户外光传感器，根据由该户外光传感器检测到的明亮度来选择图像。例如，可以在户外光比阈值亮的情况下选择高颜色再现图像，在户外光比阈值暗的情况下选择高感光度图像。

另外，在上述中以图像处理装置100设置在摄像装置中的情况为例进行了说明，但是，本实施方式不限于此，也可以与摄像装置分开构成图像处理装置100。该情况下，分开构成的摄像装置将摄像图像数据和分光特性{F_B，F_G，F_R}的数据记录在未图示的记录装置中。然后，图像处理装置100取得所记录的数据，根据该数据求出高颜色再现图像{r’，g’，b’}。这样，分开的图像处理装置100也可以通过事后处理而求出高颜色再现图像。作为分开的图像处理装置100，例如假设PC等信息处理装置。

根据该摄像系统，例如，在暗处环境中希望使感光度优先的情况下选择高感光度图像，在亮处环境中希望使颜色再现性优先的情况下，能够从一次拍摄的图像中选择高颜色再现图像。与改变条件而分成多次进行拍摄的现有方式相比，能够实时地进行两种拍摄，能够进行与数据量的节约和目的灵活对应的拍摄。并且，在本实施方式中，基本上仅依赖于摄像传感器的滤色器的特性，所以，不需要用于提取纯度较高的三原色像素值的光学滤镜及其机械插拔机构，因此，实施容易且实现性极为优良。

根据以上的实施方式，如图2所示，第2颜色(绿色)是比第1颜色(蓝色)长的波长侧和比第3颜色(红色)短的波长侧的颜色。而且，校正处理部120通过将基于第1透射率特性F_B和第3透射率特性F_R的第1系数α与第2颜色的像素值g相乘，求出重复部分的成分值(上式(1)～(5))。

如上所述，在一般的摄像元件中，第1颜色(蓝色)和第3颜色(红色)的滤色器的分光特性F_B、F_R的重复部分与第2颜色(绿色)的滤色器的分光特性F_G相似。并且，在本实施方式中，由于能够分离高颜色纯度的图像，所以，能够设定与一般的摄像元件不同的分光特性，此时，还能够较高地设定重复部分与F_G的相似性。根据这种相似性，能够将重复部分的成分值估计为α·g，能够根据该估计值进行提高第1颜色～第3颜色的像素值b、g、r的颜色纯度的校正。

并且，在本实施方式中，系数取得部170取得乘以第1系数α后的第2透射率特性F_G与重复部分的相似性最高时的第1系数α(上式(9)、(10))。

这样，能够根据第2透射率特性F_G与重复部分的相似性，决定该相似性最高时的系数α。由此，能够提高用于提高颜色纯度的校正(即，从像素值r、b中减去重复部分的成分α·g的校正)的精度。

并且，在本实施方式中，相似性最高时的第1系数α是向量V_RB与向量V_G之间的欧几里得距离最小时的第1系数α(上式(9)、(10))，所述向量V_RB将重复部分的多个波长λ₀、λ₁、…、λ_N下的透射率作为成分，所述向量V_G将乘以第1系数α后的第2透射率特性F_G的多个波长λ₀、λ₁、…、λ_N下的透射率作为成分。

这样，能够将向量V_RB与向量V_G之间的欧几里得距离作为指标而求出相似度。而且，能够将该指标取最小值的情况作为相似度最高的情况来决定第1系数α。

并且，在本实施方式中，校正处理部120通过从第1颜色的像素值b中减去重复部分的成分值α·g，对第1颜色的像素值b进行校正(像素值b’)，通过从第3颜色的像素值r中减去重复部分的成分值α·g，对第3颜色的像素值r进行校正(像素值r’)(上式(1)～(5))。

这样，根据通过第1系数估计出的重复部分的成分值α·g，能够从第1颜色和第3颜色的像素值b、r中降低重复部分的成分值由此，能够根据滤色器的分光特性叠加后的摄像图像求出颜色纯度较高的像素值b、r。

并且，在本实施方式中，校正处理部120从乘以基于第1透射率特性F_B和第3透射率特性F_R的第2系数β后的第2颜色的像素值g中减去重复部分的成分值α·g、校正后的第1颜色的像素值b’和校正后的第3颜色的像素值r’，由此对第2颜色的像素值g进行校正(像素值g’)(图5、上式(6)、(7))。

这样，能够估计利用第2系数β对第2透射率特性F_G进行增益放大后的分光特性的成分值β·g，根据该估计出的成分值β·g求出颜色纯度较高的第2颜色的像素值g’。即，能够进行从成分值β·g中降低(或消除)与第1颜色、第2颜色的像素值b、r的重复部分的校正。

并且，在本实施方式中，如图5所示，系数取得部170取得第1透射率特性F_B的短波长侧的一部分(比波长λ_B短的波长侧)和第3透射率特性F_R的长波长侧的一部分(比波长λ_R短的波长侧)与乘以第2系数β后的第2透射率特性F_G之间的相似性最高时的第2系数β(上式(11)、(12))。

这样，能够根据第2透射率特性F_G与第1、第3透射率特性F_B、F_R的一部分的相似性，决定该相似性最高时的系数β。由此，能够提高用于提高颜色纯度的校正(即，从成分值β·g中减去重复部分的成分r’、b’、α·g的校正)的精度。

并且，在本实施方式中，如图5所示，设比第1透射率特性F_B的最大透射率短的波长侧的规定波长为第1波长λ_B，设比第3透射率特性F_R的最大透射率长的波长侧的规定波长为第2波长λ_R。而且，设将第1透射率特性F_B中的比第1波长λ_B短的波长侧的多个波长λ₀、λ₁、…、λ_B下的透射率作为成分的向量为V_B。设将第3透射率特性F_R中的比第2波长λ_R长的波长侧的多个波长λ_R、λ_R+1、…、λ_N下的透射率作为成分的向量为V_R。设将乘以第2系数β后的第2透射率特性F_G的多个波长下的透射率作为成分的向量为V_GB2、V_GR2(上式(11))。该情况下，相似性最高时的第2系数β是向量V_B和向量V_R与向量V_GB2、V_GR2之间的欧几里得距离最小时的第2系数β(上式(12))。

这样，能够将向量V_B和向量V_R与向量V_GB2、V_GR2之间的欧几里得距离作为指标而求出相似度。而且，能够将该指标取最小值的情况作为相似度最高的情况来决定第2系数β。

并且，在本实施方式中，显示控制部(监视器图像生成部150)进行如下控制：在显示部(监视器显示部50)中显示图像取得部110(例如去马赛克部130)取得的图像即高感光度图像(像素值b、g、r)以及基于校正处理部120校正后的第1颜色～第3颜色的像素值b、g、r的图像即高颜色再现图像中的至少一方。

在本实施方式中，能够根据高感光度图像生成高颜色再现图像。即，能够根据一个摄像图像同时取得高感光度图像和高颜色再现图像。显示控制部能够选择这种同时取得的高感光度图像和高颜色再现图像中的一方使显示部进行显示，或者使显示部同时显示双方。

并且，在本实施方式中，选择部(摄像模式选择部190)取得外部的明亮度的信息，根据该明亮度的信息选择高感光度图像和高颜色再现图像中的一方。然后，显示控制部(监视器图像生成部150)进行显示选择部选择出的图像的控制。

这样，能够根据外部的明亮度而选择性地显示高感光度图像和高颜色再现图像。即，能够在较暗环境中显示分光特性直接叠加后的高感光度图像，能够在较亮环境中显示减少或消去了叠加成分的高颜色再现图像。

3.第2实施方式

接着，对第2实施方式进行说明。能够与图1或图6的摄像装置同样构成第2实施方式的摄像装置。

在第2实施方式中，根据关系式估计区域的分光特性。具体而言，在上述区域的像素值与去马赛克处理后的原色像素值{r，g，b}之间，下式(13)的关系成立。这里，为了简便设为

根据上式(13)，将作为未知数(未知变量)求出下式(14)的关系式。

gx＝(未知数)，

r’＝r-gx，

b’＝b-gx (14)

上式(14)表示当未知数gx被决定后，{r’，b’}被唯一地决定。如果gx为正，则能够求出{r’，b’}必定为正值。

但是，在现阶段，存在多个候选值{r’，gx，b’}的组合解。为了从该多个解中确定看似合理的解，求出存在于候选值{r’，gx，b’}附近的参照值{I_R，I_RB，I_B}。设在分光特性F_R中占据的占有率为γ_R，设在分光特性F_B中占据的占有率为γ_B，设参照值为下式(15)。这里，α是第1实施方式中求出的系数。

为了从候选值{r’，gx，b’}中求出最接近参照值{I_R，I_RB，I_B}的组合解，求出它们的误差最小的候选值{r’，gx，b’}。

分光特性{F_R，F_G，F_B}由摄像条件决定，由此，系数α和占有率γ_R、γ_B是已知信息，所以，将它们代入上式(15)中，求出参照值{I_R、I_RB、I_B}。将该参照值和上式(14)代入下式(16)的评价函数E(gx)中，求出评价函数E(gx)最小的未知数gx。即，如图7所示，确定根据未知数gx求出的候选值{r’，gx，b’}与参照值{I_R，I_RB，I_B}的误差最小的未知数gx。

E(gx)＝(r’-I_R)²+(gx-I_RB)²+(b’-I_B)² (16)

在上式(16)中，也可以改变未知数gx，探索地求出评价函数E(gx)最小的gx，还可以将上式(16)作为未知数gx的二次函数进行展开，解析地求解并确定gx。

另外，由于如下式(17)那样决定了候选值{r’，gx，b’}的可取范围，所以，决定gx以使其成为满足该条件的组合值。

0≦r’<(最大设定像素值)，

0≦gx<(最大设定像素值)，

0≦b’<(最大设定像素值) (17)

根据以上的实施方式，校正处理部120求出表示重复部分的成分值的候选值、值b’＝b-gx和值r’＝r-gx，与第1颜色～第3颜色的像素值b、g、r之间的相似性的评价值E(gx)(上式(13)～(16))，其中值b’＝b-gx是利用候选值gx对第1颜色(蓝色)的像素值b进行校正而得到的，值r’＝r-gx是利用候选值gx对第3颜色(红色)的像素值r进行校正而得到的。然后，校正处理部120根据评价值E(gx)决定相似性最高时的候选值gx，由此求出重复部分的成分值(图7)。

这样，能够根据校正后的像素值的候选值{r’，gx，b’}与第1颜色～第3颜色的像素值b、g、r之间的相似性，求出校正后的像素值{r’，g’，b’}。即，能够求出评价值E(gx)作为相似性的指标，例如能够将该评价值E(gx)成为最小值的情况作为相似性最高的情况来决定重复部分的成分值gx。如果求出重复部分的成分值gx，则与第1实施方式同样，能够求出颜色纯度较高的像素值{r’，g’，b’}。

4.第3实施方式

4.1.减少左右光瞳图像的泄漏光的方法

接着，对第3实施方式进行说明。在第3实施方式中，进行基于左右光瞳的相位差检测，减少该左右光瞳图像之间的泄漏光。

另外，下面说明对单眼光学系统的光瞳进行分割的例子，但是，本实施方式不限于此，也可以将双眼光学系统作为2个光瞳。并且，下面设第1光瞳为右光瞳、设第2光瞳为左光瞳进行说明，但是，在本实施方式中不限于此。即，光瞳的分离方向不限于左右，只要在与摄像光学系统的光轴垂直的任意方向上分离第1光瞳和第2光瞳即可。

图8示出第3实施方式中的摄像装置的基本结构例。摄像装置包括使被摄体在摄像传感器中成像的光学系统10。光学系统10具有成像透镜14和光学滤镜12。

光学滤镜12具备具有透射率特性f^R的右光瞳滤镜FL1(第1滤镜)和具有透射率特性f^L的左光瞳滤镜FL2(第2滤镜)。光学滤镜12设置在摄像光学系统10的光瞳位置(例如光圈的设置位置)，滤镜FL1、FL2分别相当于右光瞳、左光瞳。当设入射到摄像元件中的光量为I时，I^R(x)＝I(x)·f^R、I^L(x)＝I(x)·f^L、I(x)＝I^R(x)+I^L(x)。这里，x是水平方向(光瞳分割方向)上的位置(坐标)。

透射率特性{f^R，f^L}是将摄像波段分割成两个分光(波段)成分而得到的。即，如图9所示，将包含(覆盖)原色RGB的三个分光特性{F_R，F_G，F_B}在内的波段分割成两个。例如，按F_R和F_B交叉的波长λ_C对波段进行分割。或者，也可以按设定为左右光瞳图像的分离性优良的波长对波段进行分割。

由摄像传感器进行摄像而得到的图像可作为将图9的原色RGB的三个分光特性{F_R，F_G，F_B}与入射光量I相乘而得到的成分值来取得。分光特性{F_R，F_G，F_B}被定义为，不仅是按照摄像传感器的每个像素而设置的滤色器的分光特性，还合成有对被摄体照射的户外光或照明光的分光特性。

另外，将分光特性{F_R，F_G，F_B}分成四个区域进行考虑。设F_R和f^R重合的部分为设F_B和f^L重合的部分为设从F_R中减去重复成分而得到的部分为设从F_B中减去重复部分而得到的部分为

为了高精度地检测相位差信息，需要能够高精度地分离左右的光瞳分割图像。由于对左右光瞳分配了分离后的频带{f^R，f^L}，所以，例如通过利用像素值r＝I·F_R构成右光瞳图像、利用像素值b＝I·F_B构成左光瞳图像，能够对光瞳分割图像进行分离。

但是，存在如下课题：未完全分离为原本分配给左右的光瞳分割图像的波段{f^R、f^L}，光瞳图像成分作为泄漏光而相互进入并合成，从而取得摄像传感器的滤镜特性。即，在右光瞳图像的像素值r＝I·F_R中包含与左光瞳的分光特性f^L重合的的成分，在左光瞳图像的像素值b＝I·F_B中包含与右光瞳的分光特性f^R重合的的成分。这样，左右光瞳图像相互混入，分离性降低。

这种分离性的降低成为降低相位差检测的精度的因素。如图10所示，例如在被摄体是从白变化为黑的像图案的情况下，产生右光瞳图像和左光瞳图像的轮廓的失真，丧失右光瞳图像与左光瞳图像的相似性。由于该相似性的降低，基于相关运算的相位差检测的精度显著劣化。

即，通过右光瞳、左光瞳的成分分别成为左光瞳、右光瞳的点扩散函数PSF^L、PSF^R与被摄体的轮廓的卷积。由此，在通过右光瞳、左光瞳的成分之间产生视差(相位差)。关于右光瞳图像的像素值r，由于在通过右光瞳的中加上了通过左光瞳的所以，对这些具有视差的成分进行相加而得到的像素值r的轮廓失真而不是仅右光瞳的轮廓。像素值b也同样，在通过左光瞳的中加上了通过右光瞳的轮廓失真。在进行这些轮廓的相关运算的情况下，由于失真的影响而使相似性降低，无法进行准确的匹配。

因此，在本实施方式中，从右光瞳图像中除去不需要的左光瞳的通过成分从左光瞳图像中除去不需要的右光瞳的通过成分由于所以，通过利用第1实施方式等中说明的方法减少或去除的成分值，能够求出分光特性的像素值由于该像素值{r’，b’}能够分别视为纯粹的右光瞳、左光瞳的通过光的成分，所以，能够得到没有失真的轮廓。通过利用该像素值{r’，b’}分别构成右光瞳图像、左光瞳图像，确保了左右光瞳图像的相似性，能够进行高精度的相位差检测。

4.2.摄像装置

图11示出第3实施方式中的摄像装置的结构例。包括光学系统10(光学滤镜12、成像透镜14)、摄像部40、监视器显示部50、分光特性检测部60、图像处理装置100。图像处理装置100包括去马赛克部130、监视器图像生成部150、高纯度分光分离处理部160、测距运算部175、高画质化处理部180、相位差检测部185、分光特性存储部195。另外，对与图1或图6中说明的结构要素相同的结构要素标注相同标号并适当省略说明。

分光特性存储部195存储由光学滤镜12的分光特性、照明光(或户外光)的分光特性、摄像传感器的滤色器的分光特性决定的分光特性{F_B，F_G，F_R}。或者，也可以存储预先根据分光特性{F_B，F_G，F_R}求出的系数α、β。

相位差检测部185检测高纯度分光分离处理部160输出的高颜色纯度的左右光瞳图像{r’，b’}的相位差δ(x，y)。针对各像素求出相位差δ(x，y)。(x，y)是图像上的位置(坐标)，例如x对应于水平扫描方向，y对应于垂直扫描方向。

测距运算部175根据检测到的相位差δ(x，y)进行三维计测。即，根据相位差δ(x，y)计算各像素位置(x，y)处的与被摄体之间的距离，取得物体的三维形状信息。

另外，作为本实施方式的应用，例如可以假设使用相位差δ(x，y)的高速相位差AF、使用测距信息的三维计测、立体显示等。

以上对应用了本发明的实施方式及其变形例进行了说明，但是，本发明不限于各实施方式及其变形例原样，能够在实施阶段在不脱离发明主旨的范围内对结构要素进行变形而具体化。并且，通过适当组合上述各实施方式和变形例所公开的多个结构要素，能够形成各种发明。例如，可以从各实施方式和变形例所记载的全部结构要素中删除若干个结构要素。进而，可以适当组合不同实施方式和变形例中说明的结构要素。并且，摄像装置、图像处理装置的结构和动作以及它们的工作方法(摄像方法、图像处理方法)也不限于本实施方式中说明的那样，能够进行各种变形实施。这样，能够在不脱离发明主旨的范围内进行各种变更和应用。并且，在说明书或附图中，至少一次与更加广义或同义的不同术语一起记载的术语能够在说明书或附图的任意部位置换为该不同的术语。

标号说明

10：摄像光学系统；12：光学滤镜；14：成像透镜；20：摄像元件；40：摄像部；50：监视器显示部；60：分光特性检测部；100：图像处理装置；110：图像取得部；120：校正处理部；130：去马赛克部；140：高画质化处理部；150：监视器图像生成部；160：高纯度分光分离处理部；170：系数取得部；175：测距运算部；180：高画质化处理部；185：相位差检测部；190：摄像模式选择部；195：分光特性存储部；F_B、F_G、F_R：第1～第3透射率特性；FL1：右光瞳滤镜；FL2：左光瞳滤镜；PSF^L：左光瞳的点扩散函数；PSF^R：右光瞳的点扩散函数；b、g、r：第1颜色～第3颜色的像素值；b’、g’、r’：校正后的第1颜色～第3颜色的像素值；f^L：左光瞳滤镜的透射率特性；f^R：右光瞳滤镜的透射率特性；δ：相位差；λ_B、λ_R：第1、第2波长； 区域。

Claims (10)

1.一种图像处理装置，其特征在于，该图像处理装置包括：

图像取得部，其取得通过摄像元件进行摄像而得到的图像，该摄像元件包括具有第1透射率特性的第1滤色器、具有第2透射率特性的第2滤色器、具有第3透射率特性的第3滤色器；以及

校正处理部，其根据构成所述图像的第1颜色～第3颜色的像素值中的第2颜色的像素值估计所述第1透射率特性与所述第3透射率特性的重复部分的成分值，根据所述重复部分的成分值对所述第1颜色～第3颜色的像素值进行校正，

所述第2颜色是相比所述第1颜色处于长波长侧且相比所述第3颜色处于短波长侧的颜色，

所述校正处理部将基于所述第1透射率特性和所述第3透射率特性的第1系数与所述第2颜色的像素值相乘，由此求出所述重复部分的成分值，

所述图像处理装置还包括系数取得部，该系数取得部取得乘以所述第1系数后的所述第2透射率特性与所述重复部分之间的相似性最高时的所述第1系数。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述相似性最高时的所述第1系数是如下两个向量之间的欧几里得距离最小时的所述第1系数，所述两个向量为将所述重复部分的多个波长下的透射率作为成分的向量、将乘以所述第1系数后的所述第2透射率特性的所述多个波长下的透射率作为成分的向量。

3.根据权利要求1或2所述的图像处理装置，其特征在于，

所述校正处理部通过从所述第1颜色的像素值中减去所述重复部分的成分值，对所述第1颜色的像素值进行校正，通过从所述第3颜色的像素值中减去所述重复部分的成分值，对所述第3颜色的像素值进行校正。

4.根据权利要求3所述的图像处理装置，其特征在于，

所述校正处理部从乘以第2系数后的所述第2颜色的像素值中减去所述重复部分的成分值、所述校正后的所述第1颜色的像素值和所述校正后的所述第3颜色的像素值，由此对所述第2颜色的像素值进行校正，所述第2系数是基于所述第1透射率特性和所述第3透射率特性的系数。

5.根据权利要求4所述的图像处理装置，其特征在于，

所述图像处理装置包括系数取得部，该系数取得部取得所述第1透射率特性的短波长侧的一部分和所述第3透射率特性的长波长侧的一部分与乘以所述第2系数后的所述第2透射率特性之间的相似性最高时的所述第2系数。

6.根据权利要求5所述的图像处理装置，其特征在于，

在设相比所述第1透射率特性的最大透射率处于短波长侧的规定波长为第1波长、相比所述第3透射率特性的最大透射率处于长波长侧的规定波长为第2波长的情况下，

所述相似性最高时的所述第2系数是将所述第1透射率特性中的相比所述第1波长处于短波长侧的多个波长下的透射率作为成分的向量和将所述第3透射率特性中的相比所述第2波长处于长波长侧的多个波长下的透射率作为成分的向量、与将乘以所述第2系数后的所述第2透射率特性的所述多个波长下的透射率作为成分的向量之间的欧几里得距离最小时的所述第2系数。

7.根据权利要求1或2所述的图像处理装置，其特征在于，

所述校正处理部求出表示所述重复部分的成分值的候选值、利用所述候选值对所述第1颜色的像素值进行校正而得到的值和利用所述候选值对所述第3颜色的像素值进行校正而得到的值，与所述第1颜色～第3颜色的像素值之间的相似性的评价值，

通过根据所述评价值决定所述相似性最高时的所述候选值，求出所述重复部分的成分值。

8.根据权利要求1或2所述的图像处理装置，其特征在于，

所述图像处理装置包括显示控制部，该显示控制部进行如下控制：在显示部中显示高感光度图像和高颜色再现图像中的至少一方，所述高感光度图像是所述图像取得部取得的所述图像，所述高颜色再现图像是基于所述校正处理部进行校正后的所述第1颜色～第3颜色的像素值的图像。

9.根据权利要求8所述的图像处理装置，其特征在于，

所述图像处理装置包括选择部，该选择部取得外部的明亮度的信息，根据所述明亮度的信息选择所述高感光度图像和所述高颜色再现图像中的一方，

所述显示控制部进行显示所述选择部选择出的图像的控制。

10.一种图像处理方法，其特征在于，该图像处理方法进行以下处理：

取得通过摄像元件进行摄像而得到的图像，该摄像元件包括具有第1透射率特性的第1滤色器、具有第2透射率特性的第2滤色器、具有第3透射率特性的第3滤色器，

根据构成所述图像的第1颜色～第3颜色的像素值中的第2颜色的像素值，将基于所述第1透射率特性和所述第3透射率特性的第1系数与所述第2颜色的像素值相乘，由此求取而估计所述第1透射率特性与所述第3透射率特性的重复部分的成分值，根据所述重复部分的成分值对所述第1颜色～第3颜色的像素值进行校正，所述第2颜色是相比所述第1颜色处于长波长侧且相比所述第3颜色处于短波长侧的颜色，

其中，所述第1系数通过以下方式取得：取得乘以所述第1系数后的所述第2透射率特性与所述重复部分之间的相似性最高时的所述第1系数。