CN103004211B - 成像设备和处理拍摄图像的方法 - Google Patents

Abstract

公开了一种成像装置，其将由能够拍摄两种具有不同色调的彩色图像的固态图像传感器获取的两种类型的彩色图像进行合并。根据所述固态图像传感器的第一组像素（具有宽的滤色器光谱灵敏度的像素）处理第一拍摄彩色图像，根据所述固态图像传感器的第二组像素（具有窄的滤色器光谱灵敏度的像素）处理第二拍摄彩色图像。关于宽的和窄的滤色器光谱灵敏度的电平差，使用所述光谱灵敏度导出所述第一像素组中的各像素的拍摄图像信号与所述第二像素组中的各像素的拍摄图像信号之间的电平差（步骤S1和S2），以校正所述电平差，并且将所述第一拍摄彩色图像与所述第二拍摄彩色图像进行合并。

Description

成像设备和处理拍摄图像的方法

技术领域

本发明涉及一种配备有能拍摄两种具有不同色调的彩色图像的固态成像装置的成像设备、一种处理拍摄图像的方法、以及一种用于处理拍摄图像的程序。

背景技术

已提出并使用了各种布置来作为安装在固态成像装置中的滤色器的布置。例如，下面专利文献1中公开的一种成像设备使用了称作Bayer布置的滤色器布置。在Bayer布置中，R(红)、G(绿)、和B(蓝)三原色的任意一个的滤色器基于预定规则以镶嵌模式布置于各像素中。例如，在安装红色滤色器的一个红色像素中，不能探测到绿色和蓝色信号。因此，对位于红色像素周围的、并且其中分别安装了绿色和蓝色滤色器的各像素的信号执行插值计算，由此在该红色像素位置处获取了绿色和蓝色信号。

在下面专利文献2中公开的一种成像装置中，在斜向上彼此相邻的每两个像素为一对，并且RGB三原色之一的滤色器根据预定规则以成对像素为单位按照镶嵌模式进行布置。例如，G1滤色器和G2滤色器安装在一对像素上，其中每个像素上分别安装了绿色滤色器。

例如，将G1和G2之间的关系设置为使得例如通过将它们彼此相加而获得G颜色。生产这样的G滤色器以使540nm的波长被设置为中心波长，并且获得在背面和正面每一个中都具有约100nm的宽度的钟形光谱特性。相比之下，例如，G1和G2被分成两个滤色器，以使G1滤色器探测具有440nm至540nm的波长的颜色，并且G2滤色器探测540nm至640nm的波长。至于R和B颜色，类似地，R1和R2滤色器安装在成对的像素上，B1和B2滤色器安装在成对的像素上。

如上述所述，当与R、G和B三个颜色的情况相比对将要被滤色器分离的各个颜色进行更精细的分离时，可以提高目标图像的颜色再现性。然而，从安装R1、G1和B1滤色器的像素中提取的拍摄图像与从安装R2、G2和B2滤色器的像素中提取的拍摄图像在色调上彼此不同。当单个地看这些图像时，这些图像是具有不自然色调的彩色图像。因此，必须执行适当的图像合并处理，以便通过图像处理获得具有高颜色再现性的目标图像。

在下面专利文献3中公开的成像设备中，每个像素被分成小面积部分和大面积部分。例如，在安装绿色(G)滤色器的每个像素中，使安装在小面积部分上的滤色器的厚度大于安装在大面积部分上的滤色器的厚度，或者减小构成光敏二极管的n区的厚度。

因此，小面积部分实质上不能探测某一波长区域的入射光，而大面积部分可以探测该波长区域的光。通过使用此布置，成像设备探测该波长区域的光是否存在，并且判断该光源的种类。

引用列表

专利文献

专利文献1：JP-A-2006-135468

专利文献2：JP-A-2009-268078

专利文献3：JP-A-2004-289728

发明内容

作为可以显示彩色图像的传统显示设备，通常使用阴极射线管显示设备(CRT)。然而最近，液晶显示设备被广泛用作液晶电视接收机。因此，例如，普通用户习惯于看到色调上不同于自然彩色图像的鲜艳的彩色图像。因此，由数码相机拍摄到的彩色图像看起来不足的情况在增加。

简单地发明出上述用在传统固态成像装置中的彩色滤色器，以便目标图像的颜色再现性能够具有自然色调。因此，目标的彩色图像不能被拍摄为鲜艳的彩色图像。

另外，还存在目标的彩色图像必须被拍摄为鲜艳的彩色图像的成像场景。强烈需求既可以拍摄鲜艳彩色图像又可以拍摄自然彩色图像的成像设备。

本发明的目标是提供配备有能拍摄两种具有不同色调的彩色图像的固态成像装置的成像设备、处理拍摄图像的方法、以及用于处理拍摄图像的程序。

问题的解决方案

本发明的一种成像设备，包括：

固态成像装置，其包括：

多个像素，其以二维阵列布置并形成在半导体衬底中；

多个第一颜色滤色器，它们根据预定规则布置并堆叠在包括像素的奇数行和偶数行之一的第一像素组上；和

多个第二颜色滤色器，它们根据预定规则布置并堆叠在包括所述奇数行和所述偶数行中的另一个的第二像素组上，所述多个第二颜色滤色器在光谱灵敏度上不同于所述多个第一颜色滤色器；以及

图像处理部分，其获取所述第一像素组的各像素的拍摄图像信号与所述第二像素组的各像素的拍摄图像信号之间的电平差，所述电平差是由于包括所述第一颜色的所述多个滤色器与包括所述第二颜色的所述多个滤色器之间的光谱灵敏度的差别而造成的，并且所述图像处理部分将通过校正所述电平差而从所述第一像素组获取的第一拍摄图像与从所述第二像素组获取的第二拍摄图像进行合并。

一种处理拍摄图像的方法，其处理由本发明的固态成像装置拍摄到的图像，所述固态成像装置包括：

多个像素，其以二维阵列布置并形成在半导体衬底中；

多个第一颜色滤色器，它们根据预定规则布置并堆叠在包括像素的奇数行和偶数行中的一个的第一像素组上；以及

多个第二颜色滤色器，它们根据预定规则布置并堆叠在包括所述奇数行和偶数行中的另一个的第二像素组上，所述多个第二颜色滤色器在光谱灵敏度上不同于所述多个第一颜色滤色器，其中

所述方法包括步骤：

获取所述第一像素组的各像素的拍摄图像信号与所述第二像素组的各像素的拍摄图像信号之间的电平差，所述电平差是由于包括所述第一颜色的所述多个滤色器和包括所述第二颜色的所述多个滤色器之间的光谱灵敏度的差别而造成的；

校正所述电平差；以及

将从所述第一像素组获取的第一拍摄图像与从所述第二像素组获取的第二拍摄图像彼此进行合并。

一种用于处理拍摄图像的程序，其处理由本发明的固态成像装置拍摄到的图像，向所述程序提供了执行所述处理拍摄图像的方法的步骤。

发明的有益效果

根据本发明，可以拍摄两种具有不同色调的彩色图像(例如，自然彩色图像和鲜艳彩色图像)，并且也可以获得作为这两种彩色图像的组合的图像。

附图说明

图1是本发明的第一实施例的成像设备的功能框图；

图2是图1所示的固态成像装置中的滤色器布置的视图；

图3是示出用在图2所示的滤色器布置中的滤色器的光谱灵敏度的视图；

图4是示出本发明的第一实施例中的拍摄图像处理过程的流程图；

图5是本发明的第二实施例的成像设备的功能框图；

图6是示出本发明的第二实施例中的拍摄图像处理过程的流程图；

图7是本发明的第三实施例的成像设备的功能框图；

图8是示出在图像上进行边缘判定的视图；

图9是示出本发明的第三实施例中的拍摄图像处理过程的流程图；

图10是本发明的第四实施例的成像设备的功能框图；

图11是示出本发明的第四实施例中的拍摄图像处理过程的流程图；以及

图12是不同于图2所示实施例的固态成像装置中的滤色器布置的视图。

具体实施方式

在下文中，将参照附图描述本发明的实施例。

图1是本发明的第一实施例的成像设备的功能框图。成像设备10包括固态成像装置11、成像控制部分13、存储器14、以及CPU 15。成像控制部分13驱动并控制固态成像装置11。此外，成像控制部分13接收从固态成像装置11输出的拍摄图像信号，执行相关双采样处理、增益控制处理、以及A/D(模拟/数字)转换处理，并且向总线12输出结果信号。存储器14连接到总线12。CPU 15总体控制整个成像设备10。CPU 15包含DSP功能，并且对从固态成像装置11输出的拍摄图像信号执行校正处理(补偿处理、伽马校正处理、RGB/YC转换处理、并行处理等等)以产生目标图像。

成像设备10进一步包括窄光谱像素平均值计算电路17、宽光谱像素平均值计算电路18、颜色再现选择部分19、校正比率计算部分20、以及乘法器21。窄光谱像素平均值计算电路17和宽光谱像素平均值计算电路18处理从总线12接收的数字拍摄图像信号。颜色再现选择部分19选择性地控制计算电路17、18的输出以及从总线12接收的数字拍摄图像信号，并且执行颜色再现。校正比率计算部分20根据由颜色再现选择部分19选择的计算电路17或18的输出信号来计算校正比率。乘法器21将由颜色再现选择部分19根据从总线12接收的数字拍摄图像信号选择的、且要对其中的电平差进行校正的一个像素的信号乘以校正比率计算部分20的输出信号，并且将乘积返回至总线12。

计算电路17和18、颜色再现选择部分19、校正比率计算部20、以及乘法器21组成图像处理部分的一部分。随后将详细描述图像处理部分的操作。

图2是固态成像装置11的平面图。在本实施例的固态成像装置11中，具有相同光接收面积的多个像素(光敏二极管)以二维阵列布置并形成在半导体衬底中。偶数像素行布置为相对于奇数像素行偏移1/2像素间距。当只考虑奇数行像素的布置时，这些像素构成方点阵布置。当只考虑偶数行像素的布置时，这些像素构成方点阵布置。三原色滤色器R、G、B以Bayer形式布置在奇数行的各像素(A组像素)中，并且三原色滤色器r、g、b以Bayer形式布置在偶数行的各像素(B组像素)中。

虽然没有示出，但将由各像素探测到的拍摄图像信号读出至外部的信号读出部分形成在半导体衬底的表面部分中。例如，如在JP-A-2005-72966中公开的固态成像装置为CCD类型的情况中，该信号读出部分可以由竖直电荷传送路径、水平电荷传送路径、以及输出与信号电荷量相对应的电压值信号作为拍摄图像信号的放大器配置而成。例如，如在JP-A-2007-124137和JP-A-2007-81140中公开的固态成像装置为CMOS类型的情况中，该信号读出部分可以由MOS晶体管、竖直扫描电路、水平电路等配置而成。

图3是示出滤色器RGB和rgb的光谱灵敏度的曲线图。光的波长由λ表示。堆叠在A组像素上的红色滤色器R(λ)、绿色滤色器G(λ)、以及蓝色滤色器B(λ)中的每一个的光谱灵敏度具有钟状的山形和大宽度(在下文中，此情况称为宽的)。

相比之下，虽然堆叠在B组像素上的红色滤色器r(λ)、绿色滤色器g(λ)、以及蓝色滤色器b(λ)中的每一个的光谱灵敏度具有钟状的山形，但其具有小宽度(在下文中，此情况称为窄的)。

图3的曲线图示出了各种波长的光的光谱灵敏度。如根据图2描述，A组像素和B组像素具有相同的光接收面积。因此，图3的曲线图示出了已通过每个像素的滤色器的接收光量的波长相关性。

红色滤色器的长波长侧(红外区域)的光很难只通过一个滤色器截止。因此通常在数码相机的成像透镜系统中插入红外截止滤色器。图3的曲线图示出了在只使用没有插入红外截止滤色器的红色滤色器R或红色滤色器r的情况下的特性。

在图3的上端部分中，给出了波长λ(nm)的值和颜色之间的关系。要在A组像素上堆叠的宽的红色滤色器R实际上被制造为允许橙色光通过并且也允许部分黄色光通过的滤色器。绿色滤色器G被制造为在其长波长侧允许部分黄色和橙色光通过的滤色器。这一特征同样适用于短波长侧。宽的绿色滤色器G被制造为允许部分蓝色光通过的滤色器，宽的蓝色滤色器B被制造为允许部分绿色光通过的滤色器。

即，安装G滤色器的各像素和安装R滤色器的各像素都接收橙色和黄色光，并且安装G滤色器的各像素和安装B滤色器的各像素都接收蓝色和绿色边界附近的部分光。

在基于安装G滤色器的各像素的探测信号、安装R滤色器的各像素的探测信号、以及安装B滤色器的各像素的探测信号而再现目标彩色图像的情况下，各探测信号的重叠部分(在上面描述的橙色和黄色的边界部分、以及蓝色和绿色的边界部分)越大，所再现的彩色图像中绿色和红色、以及绿色和蓝色混合的比率越大。

即，通过宽的滤色器R、G、B获取的颜色信号R、G、B是不仅包括红色、绿色和蓝色各自的原始颜色、还包括了其他颜色的颜色信号，并且其中原始颜色的混合分数(混合比率)较低。然而，在与其他颜色混合的程度适当的混合比率下，可以获得自然的彩色图像。

相比之下，重叠部分越小，信号具有越高的原始颜色的混合分数(混合比率)。即，通过窄的滤色器r、g、b获取的颜色信号r、g、b是其中原始颜色的混合分数(混合比率)较高的颜色信号。基于颜色信号r、g、b再现的彩色图像是鲜艳的彩色图像。

在某一波长范围中的颜色并非是相同的，而是逐渐变化的。例如，在图3的500nm至570nm的波长范围中，所有颜色被示出为“绿色”。但是，实际上获得了蓝色的混合比率随着进一步向图3的左侧推进而逐渐增加的颜色，并获得了黄色的混合比率随着进一步向图3的右侧推进而逐渐增加的颜色。上面，例如，绿色情况下的“原始颜色”并不意味着500nm至570nm的整个范围中的颜色，而是意味着该范围一部分中的颜色，例如，以535nm为中心的预定波长范围(例如，±25nm)中的颜色。

在将要安装在本实施例的成像设备中的固态成像装置11中，宽的滤色器R、G、B堆叠在A组像素上，以便可以拍摄目标的自然彩色图像，而窄的滤色器r、g、b堆叠在B组像素上，以便可以拍摄目标的鲜艳彩色图像。

作为宽的滤色器R、G、B，使用了通常存在的、且允许拍摄自然彩色图像的滤色材料。相比于宽的滤色材料，具有图3中示例性示出的光谱特性的滤色器r、g、b是由不同于宽的滤色材料的颜料或染料生产的。

在此情况下，当宽的滤色器R、G、B的厚度不同于窄的滤色器r、g、b的厚度时，在固态成像装置11表面上形成了不平坦性，并且在其上堆叠微透镜的步骤是复杂的。因此为了便于生产以减小生产成本，优选地，宽的滤色器R、G、B和窄的滤色器r、g、b具有相同的厚度。

优选地，将滤色器R、G、B的峰值灵敏度值设置为分别与滤色器r、g、b的峰值灵敏度值近似相等，从而由A组像素拍摄的自然彩色图像的亮度基本上等于由B组像素拍摄的鲜艳彩色图像的亮度。

在图3的示例中，在蓝色滤色器B的峰值灵敏度值Bw与蓝色滤色器b的峰值灵敏度值bn之间的误差在10％以内的情况下，将蓝色滤色器B的峰值灵敏度值认定为与蓝色滤色器b的峰值灵敏度值相等。载绿色滤色器G的峰值灵敏度值Gw与绿色滤色器g的峰值灵敏度值gn之间的误差在10％以内的情况下，将绿色滤色器G的峰值灵敏度值认定为与绿色滤色器g的峰值灵敏度值相等。在红色滤色器R的峰值灵敏度值Rw与红色滤色器r的峰值灵敏度值rn之间的误差在10％以内的情况下，将红色滤色器R的峰值灵敏度值认定为与红色滤色器r的峰值灵敏度值相等。

优选地，提供蓝光的峰值灵敏度值Bw的光的波长λ_BW与提供峰值灵敏度值bn的光的波长λ_bn是相同的。然而，实际上形成滤色器B的材料不同于形成滤色器b的材料，因此很难使波长λ_BW与波长λ_bn相同。然而，波长λ_BW与波长λ_bn之间的误差可以在大约±20nm的范围之内。这也类似地适用于其他颜色。

窄的红色滤色器r的光谱灵敏度的波长范围完全处于宽的红色滤色器R的光谱灵敏度的波长范围之内。这也类似地适用于其他颜色(绿色和蓝色)。在可见光的波长范围(约380nm至650nm)内，即，设定R(λ)>r(λ)、G(λ)>g(λ)、以及B(λ)>b(λ)。

这是因为通过宽的滤色器R、G、B拍摄的彩色图像是自然彩色图像，但是以偏离于滤色器R、G、B的光谱灵敏度的波长范围的光谱灵敏度拍摄的彩色图像是具有不自然色调的彩色图像。当窄的滤色器r(g、b)的光谱灵敏度的波长范围完全处于宽的滤色器R(G、B)的光谱灵敏度的波长范围之内时，通过窄的滤色器r、g、b拍摄的彩色图像是鲜艳彩色图像而不是具有不自然色调的彩色图像。

在窄的绿色滤色器g的光谱灵敏度的波长范围被设置为处于宽的绿色滤色器G的光谱灵敏度的波长范围内时，优选地，窄的绿色滤色器g的光谱灵敏度与宽的绿色滤色器G的光谱灵敏度的山形的右和左边缘线分离相等的距离。然而，滤色器g的材料不同于滤色器G的材料。因此，上述的并非是必要的，窄的绿色滤色器g的光谱灵敏度可以略微地向一侧偏移。

如上所述，从窄的滤色器r、g、b传送的光中所包含的原始颜色的混合比率(内容比率)高于从宽的滤色器R、G、B传送的光中所包含的原始颜色的混合比率(内容比率)。接下来，将对其进行定量描述。

当宽的滤色器R、G、B中的原始颜色的混合比率由α表示，并且窄的滤色器r、g、b中的原始颜色的混合比率由α+Δα表示时，优选地设定Δα>0。据此，通过窄的滤色器r、g、b拍摄的图像可以被在视觉上鲜艳的看到。

主观地判断一个图像是否是鲜艳的。因此，很难量化差值Δα的程度。在实施例中，通过如下方式定义混合比率α。参考图3，获得了相对于蓝色滤色器B的峰值灵敏度值Bw的半值宽度Bd，并且获得了相对于蓝色滤色器b的峰值灵敏度值bn的半值宽度bd。随后，从宽的滤色器B传送的光中所包含的原始颜色的混合比率(内容比率)被定义为Bd/Bw，从窄的滤色器b传送的光中所包含的原始颜色的混合比率(内容比率)被定义为bd/bn。此时，确定窄的滤色器b的光谱灵敏度以实现：

bd/bn<Bd/Bw。

当在该表达式中使用上面的Δα时，确定窄的滤色器b的光谱灵敏度以实现：

bd/bn+Δα＝Bd/Bw。

在图3的示例的测量值中，bd/bn＝53.75(％)，且Bd/Bw＝64.7(％)。因此,Δα＝约10(％)。

关于绿色，类似地，确定窄的滤色器g的光谱灵敏度以实现：

gd/gn<Gd/Gw。

当在该表达式中使用上面的Δα时，确定窄的滤色器g的光谱灵敏度以实现：

gd/gn+Δα＝Gd/Gw。

在图3的示例的测量值中，gd/gn＝63.75(％)，且Gd/Gw＝95.12(％)。因此,Δα＝约31(％)。

关于红色，如上所述，红外截止滤色器截止长波长侧。因此，只通过使用峰值灵敏度位置的短波长侧来执行判定。

确定窄的滤色器r的光谱灵敏度以实现：

rd/rn<Rd/Rw。

当在该表达式中使用上面的Δα时，确定窄的滤色器r的光谱灵敏度以实现：

rd/rn+Δα＝Rd/Rw。

在图3的示例的测量值中，rd/rn＝7.5(％)，且Rd/Rw＝34(％)。因此,Δα＝约26(％)。

如上所述，当使得从窄的滤色器r、g、b传送的光中所包含的原始颜色的内容比率大于从宽的滤色器R、G、B传送的光中所包含的原始颜色的内容比率时，单个固态成像装置11可以同时拍摄两种目标图像(从A组像素中获取的自然彩色图像和从B组像素中获取的鲜艳彩色图像)。在本实施例中，在每一个窄的滤色器r、g、b的光谱灵敏度的半值宽度的波长范围内的颜色被设定为“原始颜色”，从而使得该原始颜色的内容比率大于宽的滤色器R、G、B的原始颜色的内容比率。

如上所述，具有图2的配置的固态成像装置11可以同时拍摄两种彩色图像。然而，每个拍摄图像是使用安装在固态成像装置11上的1/2数量的像素来拍摄到的图像，从而还存在使用所有像素来拍摄高清晰度目标图像的需要。然而，A组像素和B组像素具有不同光谱灵敏度的滤色器，因此在所拍摄图像之间产生了电平差(level difference)(灵敏度比率)。即使当通过简单地将拍摄图像彼此合并而获得高清晰度图像时，该高清晰度图像也是给人奇怪感觉的图像。

因此，在下面的实施例中，将描述处理拍摄图像的方法，其中从具有自然色调的目标彩色图像的信号和具有鲜艳色调的目标彩色图像的信号产生不会给人奇怪感觉的高清晰度图像。

当A组像素和B组像素的光谱灵敏度彼此不同时，关于将要拍摄的(目标)对象中所包含的相同颜色获得了不同像素值，并且产生了电平差。此外，如图3所示，A组像素和B组像素之间的电平差取决于可见光区域中的各个颜色(波长)而不同。因此，高度精确的校正不能由一个一致地处理整个屏幕的处理(例如增益处理)来执行，而是需要局部优化。

因此，在下面的实施例中，通过如下方式校正电平差。图1中的平均值计算电路17、18针对每个光谱灵敏度计算相同颜色像素(R和r、G和g、以及B和b)的平均值(例如，与将要校正的一个像素的颜色相同的相邻5×5像素的平均值)。校正比率计算部分20计算由颜色再现选择部分19选择的光谱(假设为宽侧)的平均值与其他平均值(窄侧)的比率。然后，乘法器21将没有选择到的、并且其中将要校正电平差的一个像素的探测信号与由校正比率计算部分20计算的比率相乘。

颜色再现选择部分19用于选择将颜色再现设置为窄侧的鲜艳颜色还是设置为宽侧的自然颜色。例如，在风景图像的情况下，选择窄侧，而在人像的情况下，选择宽侧。

如上所述，当使用两种具有不同光谱灵敏度或者窄的和宽的滤色器时，可以选择两种颜色再现中的任意一个。此外，当校正未被选择的颜色再现的光谱灵敏度的电平被校正为与所选择的另一颜色再现的光谱灵敏度的电平匹配时，可以通过使用A组像素和B组像素两者来对RGB(rgb)插值，从而可以产生高分辨率的目标图像。

图4是示出本发明第一实施例的用于处理拍摄图像的方法的处理程序的过程的流程图。当用户选择鲜艳彩色图像时，或者当成像场景设置成风景成像时，堆叠了窄的滤色器r、g、b的B组像素的拍摄图像信号可以被原样使用，且以此把将要校正的像素设置成A组像素(堆叠了宽的滤色器R、G、B的像素)。

首先，计算在将要校正的像素周边的预定数量像素(例如，邻近将要校正的像素的、且在窄侧的5×5个相同颜色像素)的拍摄图像信号的平均值(步骤S1)。其次，计算在所述将要校正的像素周边的、且在宽侧的5×5个相同颜色像素的拍摄图像信号的平均值(步骤S2)。

在步骤S3，判定颜色再现是在窄侧还是在宽侧。在本示例中，如上所述，对窄侧执行颜色再现，因此处理从步骤S3前进至步骤S4以设定[在步骤S1获得的平均值]/[在步骤S2获得的平均值]＝校正比率。

在接下来的步骤S5，将要校正的像素(在本示例中是在宽侧的像素)的拍摄图像信号的值被乘以在步骤S4计算出的校正比率，从而将电平差(灵敏度比率)校正为具有与窄的像素相同的电平。

在步骤S6，判定针对所有将要校正的像素进行的校正是否结束。如果校正还没有结束，处理前进到步骤S7以将将要校正的像素改变为下一个将要校正的像素，并且返回到步骤S1。

当用户选择自然彩色图像时，或者当成像场景设置成人像时，堆叠了宽的滤色器R、G、B的A组像素的拍摄图像信号可以被原样使用，且因此把将要校正的像素设置成B组像素(堆叠了窄的滤色器r、g、b的像素)。

在此情况下，处理前进到步骤S1、步骤S2、以及步骤S3，在步骤S3的判定中选择宽侧，并且处理进一步前进到步骤S8。在步骤S8，计算校正比率＝[在步骤S2获得的平均值]/[在步骤S1获得的平均值]。在接下来的步骤S9，将要校正的像素(在本示例中是在窄侧的像素)的拍摄图像信号的值被乘以在步骤S8计算出的校正比率，从而将电平差(灵敏度比率)校正为具有与宽的像素相同的电平。

在步骤S9之后，处理前进到步骤S6以判定针对所有将要校正的像素进行的校正是否结束。如果针对所有将要校正的像素的校正处理已结束，则该处理终止。

图4的校正处理结束之后，执行将由A组像素产生的拍摄图像与由B组像素产生的拍摄图像(当然，其中由像素组之一所产生的拍摄图像是一个经校正的拍摄图像)进行合并的处理。这也类似地适用于下面的实施例。

图5是本发明第二实施例的成像设备30的功能框图。第二实施例与图1所示的第一实施例的不同之处在于，在校正比率计算部分20的后面以及乘法器21的前面布置了校正比率抑制部分23，而在其他要点上与第一实施例相同。校正比率抑制部分23事先设定关于校正比率的上限值(例如，相同颜色的光谱灵敏度比率)，并且当由校正比率计算部分20计算出的校正比率超过该上限值(上限校正比率)时，执行其中用上限校正比率代替该校正比率的抑制处理，并且将得到的校正比率输出至乘法器21。

图6是示出由第二实施例的成像设备30执行的拍摄图像处理的过程的流程图。与图4的流程图的步骤相同的步骤由相同的步骤数字表示，并且省略了其详细的描述。将只描述不同要点。

在本实施例中，与图4的流程图相比，在步骤S4和步骤S5之间设置了步骤S11和步骤S12，而且还在步骤S8和步骤S9之间设置了步骤S11和步骤S12。

在步骤S11，判定在步骤S4或步骤S8计算出的校正比率是否小于上限校正比率。如果计算出的校正比率小于上限校正比率(判定结果为是)，则处理前进到步骤S5或步骤S9以通过使用该计算出的校正比率来执行校正。如果步骤S11的判定结果为否，即如果在步骤S4或步骤S8计算出的校正比率超过上限校正比率，则处理前进到步骤S12以用上限校正比率代替该校正比率，然后前进到步骤S5或步骤S9。

根据本实施例，抑制了校正比率，因此可以抑制在拍摄包含高频成分的场景的情况下由过校正引起的分辨率的降低。

图7是本发明第三实施例的成像设备40的功能框图。本实施例的成像设备40与图1所示的第一实施例的成像设备10的不同之处在于，在平均值计算电路17之前设置了边缘判定部分25，以及在平均值计算电路18之前设置了边缘判定部分26，而在其他配置上与第一实施例相同。边缘判定部分25判定由窄的像素(B组像素)产生的拍摄图像中是否存在边缘。边缘判定部分26判定由宽的像素(A组像素)产生的拍摄图像中是否存在边缘。

边缘判定部分25基于堆叠有窄的滤色器r、g、b的B组像素的拍摄图像信号之间的电平差来判定边缘的存在或不存在。边缘判定部分26基于堆叠有宽的滤色器R、G、B的A组像素的拍摄图像信号之间的电平差来判定边缘的存在或不存在。

如上所述，平均值计算电路17、18使用将要校正的像素周边的相同颜色像素的平均值。然而，当将要校正的像素周边的相同颜色像素中包含边缘部分时，相对于其他像素值电平差较大的一个像素值加入了平均值，由此引起错误地执行校正的可能性。因此，边缘判定部分25、26判定边缘的存在或不存在，并且平均值计算电路17、18计算其中如图8所示排除了被判定为包含边缘的边缘部分的像素的平均值。更具体地，图8示出的示例中判定未被粗线围住的右下部分中包含一个边缘。在排除未被粗线围住的右下部分的同时，平均值计算电路17、18通过使用其余像素(由粗线围住的部分中的像素)的拍摄图像信号来计算平均值。

图9是第三实施例中处理拍摄图像的过程的流程图。图9的流程图与图4的流程图的不同之处在于，在步骤S1之前设置了步骤S21、S22、S23，并且在步骤S1与步骤S2之间设置了步骤S25、S26、S27，而在其他要点上与图4的流程图相同。因此，在下文中，将只描述不同要点。

在步骤S21，判定将要校正的像素的拍摄图像信号与在判定目标周边的像素(窄的像素)的拍摄图像信号之间的电平差是否小于阈值。如果该电平差小于阈值(在步骤S21的“是”)，则将在判定目标周边的各像素标记为将要用在平均值计算中的各像素(步骤S22)，然后处理前进到步骤S23。

如果在步骤S21的判定结果中，电平差等于或大于阈值(在步骤S21的“否”)，则处理类似地前进到步骤S23。然后，判定是否对所有周边像素执行了步骤S21的判定(步骤S23)。如果针对所有周边像素进行的步骤S21的判定还没有结束(在步骤S23的“否”)，则改变作为判定目标的周边像素并且处理返回到步骤S21。相反，如果针对所有周边像素进行的步骤S21的判定结束(在步骤S23的“是”)，则处理前进到步骤S1。在步骤S1的平均值计算处理中，计算其中在步骤S22设置了标记的那些周边像素的平均值。

步骤S25、S26、S27的基本处理分别与步骤S21、S22、S23的处理相同，但不同点在于周边像素是宽的像素。

根据本实施例，判定了图像中的边缘部分，并且在排除该边缘部分的同时计算平均值。因此，可以减少由图像中的边缘部分引起的错误的校正。

图10是本发明第四实施例的成像设备50的功能框图。该实施例的成像设备50是可以将由安装了宽的滤色器R、G、B的A组像素拍摄的自然彩色图像与由安装了窄的滤色器r、g、b的B组像素拍摄的鲜艳彩色图像进行合并、由此产生出一个具有宽动态范围的图像的成像设备。

在将要产生具有宽动态范围的图像的情况下，执行对相同颜色且彼此相邻的两个或窄的和宽的像素的相加操作。然而，当由于光谱灵敏度比率而造成的在窄的像素和宽的像素之间产生的电平差没有被适当地校正时，合并操作产生不自然的图像。

类似于图1的成像设备10，本实施例的成像设备50包括固态成像装置11、总线12、成像控制部分13、存储器14、CPU 15、校正比率计算部分20、以及乘法器21。成像设备50进一步包括对成像控制部分13进行控制的D(动态)范围设定装置31，以及由D范围设定装置31控制的曝光差校正量计算装置32。

成像设备50进一步包括：第一颜色再现选择部分(I)33；乘法器34；适当曝光像素平均值计算电路35；欠曝光像素平均值计算电路36；以及第二颜色再现选择部分(Ⅱ)37。第一颜色再现选择部分(I)33接收窄的像素的拍摄图像信号以及宽的像素的拍摄图像信号，并且选择这些信号中的一个。乘法器34将窄的像素的拍摄图像信号与宽的像素的拍摄图像信号中的由颜色再现选择部分33选择的一个乘以曝光差校正量计算装置32的输出信号。适当曝光像素平均值计算电路35计算乘法器34的输出信号的平均值以作为适当曝光像素的平均值。欠曝光像素平均值计算电路36计算窄的像素的拍摄图像信号与宽的像素的拍摄图像信号中的另一个的平均值以作为欠曝光像素的平均值。第二颜色再现选择部分(Ⅱ)37选择从总线12接收到的窄的像素的拍摄图像信号与宽的像素的拍摄图像信号中的一个，并且向乘法器21输出所选择的信号。平均值计算电路35、36的输出由校正比率计算部分20接收，并且其计算校正比率，然后向乘法器21进行输出。

图11是示出成像设备50中执行的拍摄图像处理程序的处理过程的流程图。首先，判定由用户设定的、或者由成像设备50自动设定的D范围是100％、200％、还是400％(步骤S31)。

如果D范围为100％，则处理前进到步骤S32以设定曝光差校正量＝1倍。如果D范围为200％，则处理前进到步骤S33以设定曝光差校正量＝1/2倍。如果D范围为400％，则处理前进到步骤S34以设定曝光差校正量＝1/4倍。

曝光差校正量是曝光时间的差。当B组像素的曝光时间设定为与A组像素的曝光时间相等时，D范围为100％。当其中一组像素的曝光时间设定为另一组像素的曝光时间的1/2时，D范围为200％。当其中一组像素的曝光时间设定为另一组像素的曝光时间的1/4时，D范围为400％。

根据颜色再现是在宽侧(自然色调)还是在窄侧(鲜艳色调)而执行使哪一个像素组的曝光时间的较小的判定。在下文中，属于其中曝光时间设定为小于另一个像素组中的曝光时间的一个像素组(即A组像素或者B组像素)的各像素被称为欠曝光像素，并且将曝光时间设定为较小的同时执行的成像称为欠曝光成像。在下文中，属于其中曝光时间未被设定为较短的一个像素组的各像素被称为适当曝光像素，并且在此条件下的成像被称为适当曝光成像。

步骤S32、S33、S34之后，处理前进到步骤S35以判定颜色再现是在窄侧(获取鲜艳色调一侧)还是在宽侧(获取自然色调一侧)。在颜色再现被设定成窄侧(色调为鲜艳的一侧)的情况下，处理前进到步骤S36，在颜色再现侧上的窄的像素(B组像素)经历欠曝光成像，而宽的像素(A组像素)经历适当曝光成像。这些成像处理同时进行，并且在执行适当曝光成像时的曝光时间期间执行欠曝光成像。

在步骤S37，类似于图4的步骤S1和S2，获得在将要校正的像素周边的相同颜色的预定数量的窄的像素的拍摄图像信号的平均值，并且获得在将要校正的像素周边的相同颜色的预定数量的宽的像素的拍摄图像信号的平均值。于是，获得校正比率：

校正比率＝[窄的像素的平均值]/[宽的像素的平均值]×曝光差校正量。

在步骤S38，将要校正的像素的拍摄图像信号(在此情况下为宽的像素)被乘以校正比率，使宽的像素的拍摄图像信号与窄的像素的光谱灵敏度相匹配，也使曝光差(曝光时间差)相匹配，然后处理结束。当然，对于所有将要校正的像素执行上述的处理，但在图11的流程图中省略了图4的步骤S6和S7的说明。步骤S6和S7可被相继地设置在步骤S38之后，并且步骤S7的返回目的地设定成步骤S37。

在于步骤S35中将颜色再现设定成宽侧(色调为自然的一侧)的情况下，处理从步骤S35前进到步骤S36。在此情况下，在颜色再现侧的宽的像素(A组像素)经历欠曝光成像，而窄的像素(B组像素)经历适当曝光成像。

在步骤S40，获得在将要校正的像素周边的相同颜色的预定数量的窄的像素的拍摄图像信号的平均值，并且获得在将要校正的像素周边的相同颜色的预定数量的宽的像素的拍摄图像信号的平均值。然后，获得校正比率：

校正比率＝[宽的像素的平均值]/[窄的像素的平均值]×曝光差校正量。

在步骤S41，将要校正的像素的拍摄图像信号(在此情况下为窄的像素)被乘以校正比率，使窄的像素的拍摄图像信号与宽的像素的光谱灵敏度相匹配，也使曝光差(曝光时间差)相匹配，然后处理结束。当然，对于所有将要校正的像素执行上述的处理。

在图11的步骤S36和步骤S39，写出了欠曝光成像和适当曝光成像。然而，在D范围为100％的情况下，窄的像素的曝光时间等于宽的像素的曝光时间。因此，在不区分“欠曝光”和“适当曝光”的情况下执行成像。

上述用于处理拍摄图像的程序不仅可以在其包含在成像设备中的情况下执行，而且可以在外部个人计算机中执行。该程序可以用在通过将由本实施例的成像设备拍摄的两种彩色图像进行合并而产生一个高清晰度彩色图像的情况中，而且可以用在通过合并而产生一个具有宽动态范围的彩色图像的情况中。用于处理拍摄图像的程序可以存储在诸如硬盘或ROM之类的记录介质中，并且当CPU或处理器执行该程序时，该程序被读出至RAM等。可选地，用于处理拍摄图像的程序可以存储在诸如CD-ROM之类的记录介质上。

本实施例的固态成像装置被描述为其中如图2所示各像素以格子花图案布置的固态成像装置。像素的布置并不限于该实施例。例如，如图12所示，所有像素可以按方点阵布置(作为滤色器布置示出)。在图12的固态成像装置22中，三原色的滤色器在奇数行的像素(A组像素)中以Bayer形式布置，三原色的滤色器在偶数行的像素(B组像素)中也以Bayer形式布置。

在该实施例的固态成像装置22中同样将宽的滤色器R、G、B堆叠在A组像素上，窄的滤色器r、g、b堆叠在B组像素上，并且通过一个成像操作可以同时拍摄目标的自然彩色图像和该目标的鲜艳彩色图像。

在上述实施例中，示例性地描述了其中安装了允许拍摄自然彩色图像的滤色器和允许拍摄鲜艳彩色图像的滤色器的固态成像装置。然而，上述实施例的图像处理方法并不限于这些滤色器，并且该图像处理方法可以适用于可以拍摄两种具有不同色调的彩色图像的固态成像装置的拍摄图像。

在上述图像处理的实施例中，示例性地描述了三原色的滤色器。然而，所述方法也可以类似地适用于补色滤色器(省略了三原色中相应一个的滤色器)。即使当窄的光谱灵敏度并不完全处于宽的光谱灵敏度之内时也可以应用上述图像处理方法。

关于补色滤色器的窄/宽的关系如下。红色(R)的补色为青色(B+G)，蓝色(B)的补色为黄色(G+R)，以及绿色(G)的补色为品红色(B+R)。这里，青色的窄/宽的关系如下。即，组成宽的青色的B和组成窄的青色的B具有窄/宽的关系，组成宽的青色的G和组成窄的青色的G具有窄/宽的关系。

这同样适用于其他颜色或者黄色和品红色。关于组成窄的黄色的G和R的光谱灵敏度的半值宽度的波长范围处在关于组成宽的黄色的G和R的光谱灵敏度的半值宽度的波长范围之内。此外关于组成窄的品红色的B和R的光谱灵敏度的半值宽度的波长范围处在关于组成宽的品红色的B和R的光谱灵敏度的半值宽度的波长范围之内。

此外，假设各像素具有相同面积的情况下做出了描述。当在每个组中的各像素的面积在误差范围之内彼此相等时，A组像素的面积与B组像素的面积没有必要在误差范围之内彼此相等。即使当A组像素在面积上不等于B组像素时也可以应用上述图像处理方法。

各实施例所述的成像设备包括：固态成像装置，其包括：多个像素，其以二维阵列布置并形成在半导体衬底中；多个第一颜色滤色器，它们根据预定规则布置并堆叠在包括像素的奇数行和偶数行中的一个的第一像素组上；和多个第二颜色滤色器，它们根据预定规则布置并堆叠在包括所述奇数行和偶数行中的另一个的第二像素组上，所述多个第二颜色滤色器在光谱灵敏度上不同于所述多个第一颜色滤色器；以及图像处理部分，其获取所述第一像素组的各像素的拍摄图像信号与所述第二像素组的各像素的拍摄图像信号之间的电平差，所述电平差是由于所述多个第一颜色滤色器与所述多个第二颜色滤色器之间的光谱灵敏度的差别而造成的，并且所述图像处理部分将通过校正所述电平差而从所述第一像素组获取的第一拍摄图像与从所述第二像素组获取的第二拍摄图像进行合并。

另外，一种处理拍摄图像的方法，其处理由各实施例的固态成像装置拍摄到的图像，所述固态成像装置包括：多个像素，其以二维阵列布置并形成在半导体衬底中；多个第一颜色滤色器，它们根据预定规则布置并堆叠在包括像素的奇数行和偶数行中的一个的第一像素组上；以及多个第二颜色滤色器，它们根据预定规则布置并堆叠在包括所述奇数行和偶数行中的另一个的第二像素组上，所述多个第二颜色滤色器在光谱灵敏度上不同于所述多个第一颜色滤色器，其中所述方法包括步骤：获取所述第一像素组的各像素的拍摄图像信号与所述第二像素组的各像素的拍摄图像信号之间的电平差，所述电平差是由于所述多个第一颜色滤色器和所述多个第二颜色滤色器之间的光谱灵敏度的差别而造成的；校正所述电平差；以及将从所述第一像素组获取的第一拍摄图像与从所述第二像素组获取的第二拍摄图像彼此进行合并。

另外，在各实施例的成像设备和处理拍摄图像的方法中，所述图像处理部分根据第一平均值和第二平均值获取所述电平差，并且校正所述电平差，其中所述第一平均值是在作为校正对象的一个像素周边的、并且属于所述第一像素组的预定数量的像素的拍摄图像信号的平均值，所述第二平均值是在所述作为校正对象的像素周边的、并且属于所述第二像素组的预定数量的像素的拍摄图像信号的平均值。

另外，在各实施例的成像设备和处理拍摄图像的方法中，所述图像处理部分通过如下步骤校正所述电平差：设定所述第一平均值与所述第二平均值的比率以作为校正比率；以及将所述作为校正对象的像素的拍摄图像信号乘以所述校正比率。

另外，在各实施例的成像设备和处理拍摄图像的方法中，当所述校正比率超过预设上限值时，所述图像处理部分使用所述上限值作为所述校正比率。

另外，在各实施例的成像设备和处理拍摄图像的方法中，所述图像处理部分判定指示出目标的轮廓部分的边缘部分的图像是否包含在所述第一拍摄图像和所述第二拍摄图像中，并且在排除所述边缘部分的情况下获取所述第一平均值和所述第二平均值。

另外，在各实施例的成像设备和处理拍摄图像的方法中，所述成像设备进一步包括成像控制部分，其在产生曝光差的同时通过所述第一像素组执行成像并且通过所述第二像素组执行成像，所述图像处理部分获取所述电平差，基于所述电平差和所述曝光差来校正所述第一像素组和所述第二像素组中的一个像素组的各像素的拍摄图像信号，并且将校正后的各拍摄图像信号与另一个像素组的各像素的拍摄图像信号进行合并，由此产生一个具有宽动态范围的合并图像。

另外，在各实施例的成像设备和处理拍摄图像的方法中，所述第一像素组的各像素的光接收面积与所述第二像素组的各像素的光接收面积在误差范围之内彼此相等。

另外，在各实施例的成像设备和处理拍摄图像的方法中，包括所述第二颜色的所述多个滤色器的各颜色的光谱灵敏度的半最大值处的全宽度处在包括所述第一颜色的所述多个滤色器的各对应颜色的光谱灵敏度的半最大值处的全宽度之内。

另外，在各实施例的成像设备和处理拍摄图像的方法中，包括所述第一颜色的所述多个滤色器的各颜色的光谱灵敏度的峰值与包括所述第二颜色的所述多个滤色器的各颜色的光谱灵敏度的峰值的比率在0.9到1.1的范围之内。

另外，在各实施例的成像设备和处理拍摄图像的方法中，包括所述第一颜色的所述多个滤色器是三原色滤色器，包括所述第二颜色的所述多个滤色器是三原色滤色器。

另外，在各实施例的成像设备和处理拍摄图像的方法中，以所述第一颜色配置的所述多个滤色器是补色滤色器，以所述第二颜色配置的所述多个滤色器是补色滤色器。

另外，在各实施例的成像设备和处理拍摄图像的方法中，处理由第一像素组产生的第一拍摄图像以产生目标的自然彩色图像，处理由第二像素组产生的第二拍摄图像以产生目标的鲜艳彩色图像。

另外，实施例的一种用于处理拍摄图像的程序包括：执行处理拍摄图像的方法中的一种方法的步骤。

根据上述实施例，可以同时拍摄两种具有不同色调的彩色图像(例如，自然彩色图像和鲜艳彩色图像)，并且在不产生奇怪感觉的情况下可以合并这两种彩色图像以产生高清晰度图像或具有宽动态范围的图像。

工业实用性

本发明的成像设备以及诸如此类配备有新颖的固态成像装置，可以同时拍摄两种具有不同色调的目标彩色图像，并且可以合并这两种图像以产生高清晰度目标图像或具有宽动态范围的图像。因此，当其应用于诸如数码照相机或数码摄像机之类的广泛种类的成像装置、诸如配备相机的移动电话、PDA或笔记本电脑之类的配置相机的电子装置、以及内窥镜时非常有用。

根据具体的实施例详细描述了本发明，但在不背离本发明的精神和范围的情况下对于本领域的技术人员来说各种改变和修改是显而易见的。

本申请基于2010年4月20日提交的日本专利申请(第2010-097367号)，并且其公开通过引用并入本文。

参考符号列表

10、20、30、40 成像设备

11、22 固态成像装置

15 CPU

17 窄光谱像素平均值计算电路

18 宽光谱像素平均值计算电路

19、33、37 颜色再现选择部分

20 校正比率计算部分

21 乘法器

23 校正比率抑制部分

25 窄像素边缘判定部分

26 宽像素边缘判定部分

31 D范围设定装置

32 曝光差校正量计算装置

35 适当曝光像素平均值计算电路

36 欠曝光像素平均值计算电路

Claims (17)

1.一种成像设备，包括：

固态成像装置，其包括：

多个像素，其以二维阵列布置并形成在半导体衬底中；

多个第一颜色滤色器，它们根据预定规则布置并堆叠在包括像素的奇数行和偶数行中的一个的第一像素组上；和

多个第二颜色滤色器，它们根据预定规则布置并堆叠在包括所述奇数行和偶数行中的另一个的第二像素组上，所述多个第二颜色滤色器在光谱灵敏度上不同于所述多个第一颜色滤色器；以及

图像处理部分，其获取所述第一像素组的各像素的拍摄图像信号与所述第二像素组的各像素的拍摄图像信号之间的电平差，所述电平差是由于所述多个第一颜色滤色器与所述多个第二颜色滤色器之间的光谱灵敏度的差别而造成的，并且所述图像处理部分将通过校正所述电平差而从所述第一像素组获取的第一拍摄图像与从所述第二像素组获取的第二拍摄图像进行合并，其中，

所述图像处理部分根据第一平均值和第二平均值获取所述电平差，并且校正所述电平差，其中所述第一平均值是在作为校正对象的一个像素周边的、并且属于所述第一像素组的预定数量的像素的拍摄图像信号的平均值，所述第二平均值是在所述作为校正对象的像素周边的、并且属于所述第二像素组的预定数量的像素的拍摄图像信号的平均值，以及

所述图像处理部分判定所述第一拍摄图像和所述第二拍摄图像中是否包含指示出目标的轮廓部分的边缘部分的图像，并且在排除所述边缘部分的情况下获取所述第一平均值和所述第二平均值，

其中，所述图像处理部分通过如下步骤校正所述电平差：设定所述第一平均值与所述第二平均值的比率以作为校正比率；以及将所述作为校正对象的像素的拍摄图像信号乘以所述校正比率。

2.根据权利要求1所述的成像设备，其中

当所述校正比率超过预设上限值时，所述图像处理部分使用所述上限值作为所述校正比率。

3.根据权利要求1所述的成像设备，其中

所述成像设备进一步包括成像控制部分，其在产生曝光差的同时通过所述第一像素组执行成像并且通过所述第二像素组执行成像，并且

所述图像处理部分获取所述电平差，基于所述电平差和所述曝光差来校正所述第一像素组和所述第二像素组中的一个像素组的各像素的拍摄图像信号，并且将校正后的各拍摄图像信号与另一个像素组的各像素的拍摄图像信号进行合并，由此产生一个具有宽动态范围的合并图像。

4.根据权利要求1至3中任一项所述的成像设备，其中

所述第一像素组的各像素的光接收面积与所述第二像素组的各像素的光接收面积在误差范围之内彼此相等。

5.根据权利要求1至3中任一项所述的成像设备，其中

所述多个第二颜色滤色器的各颜色的光谱灵敏度的半最大值处的全宽度处在所述多个第一颜色滤色器的各对应颜色的光谱灵敏度的半最大值处的全宽度之内。

6.根据权利要求1至3中任一项所述的成像设备，其中

所述多个第一颜色滤色器的各颜色的光谱灵敏度的峰值与所述多个第二颜色滤色器的各颜色的光谱灵敏度的峰值的比率在0.9到1.1的范围之内。

7.根据权利要求1至3中任一项所述的成像设备，其中

所述多个第一颜色滤色器是三原色滤色器，所述多个第二颜色滤色器是三原色滤色器。

8.根据权利要求1至3中任一项所述的成像设备，其中

所述多个第一颜色滤色器是补色滤色器，所述多个第二颜色滤色器是补色滤色器。

9.一种处理拍摄图像的方法，其处理由固态成像装置拍摄到的图像，所述固态成像装置包括：

多个像素，其以二维阵列布置并形成在半导体衬底中；

多个第一颜色滤色器，它们根据预定规则布置并堆叠在包括像素的奇数行和偶数行中的一个的第一像素组上；以及

多个第二颜色滤色器，它们根据预定规则布置并堆叠在包括所述奇数行和偶数行中的另一个的第二像素组上，所述多个第二颜色滤色器在光谱灵敏度上不同于所述多个第一颜色滤色器，其中

所述方法包括步骤：

获取所述第一像素组的各像素的拍摄图像信号与所述第二像素组的各像素的拍摄图像信号之间的电平差，所述电平差是由于所述多个第一颜色滤色器与所述多个第二颜色滤色器之间的光谱灵敏度的差别而造成的；

校正所述电平差；以及

将从所述第一像素组获取的第一拍摄图像与从所述第二像素组获取的第二拍摄图像彼此进行合并，其中，

根据第一平均值和第二平均值获取所述电平差，并且校正所述电平差，其中所述第一平均值是在作为校正对象的一个像素周边的、并且属于所述第一像素组的预定数量的像素的拍摄图像信号的平均值，所述第二平均值是在所述作为校正对象的像素周边的、并且属于所述第二像素组的预定数量的像素的拍摄图像信号的平均值，以及

所述方法进一步包括步骤：判定所述第一拍摄图像和所述第二拍摄图像中是否包含指示出目标的轮廓部分的边缘部分的图像，以及

在排除所述边缘部分的情况下获取所述第一平均值和所述第二平均值，

其中，通过如下步骤校正所述电平差：设定所述第一平均值与所述第二平均值的比率以作为校正比率；以及将所述作为校正对象的像素的拍摄图像信号乘以所述校正比率。

10.根据权利要求9所述的处理拍摄图像的方法，其中

所述方法进一步包括：当所述校正比率超过预设上限值时使用所述上限值作为所述校正比率。

11.根据权利要求9所述的处理拍摄图像的方法，其中

当要对在产生曝光差的同时通过所述第一像素组执行成像以及通过所述第二像素组执行成像而获得的拍摄图像进行处理时，获取所述电平差，基于所述电平差和所述曝光差来校正所述第一像素组和所述第二像素组中的一个像素组的各像素的拍摄图像信号，并且将校正后的各拍摄图像信号与另一个像素组的各像素的拍摄图像信号进行合并，由此产生一个具有宽动态范围的合并图像。

12.根据权利要求9至11中任一项所述的处理拍摄图像的方法，其中

所述第一像素组的各像素的光接收面积与所述第二像素组的各像素的光接收面积在误差范围之内彼此相等。

13.根据权利要求9至11中任一项所述的处理拍摄图像的方法，其中

所述多个第二颜色滤色器的各颜色的光谱灵敏度的半最大值处的全宽度处在所述多个第一颜色滤色器的各对应颜色的光谱灵敏度的半最大值处的全宽度之内。

14.根据权利要求9至11中任一项所述的处理拍摄图像的方法，其中

所述多个第一颜色滤色器的各颜色的光谱灵敏度的峰值与所述多个第二颜色滤色器的各颜色的光谱灵敏度的峰值的比率在0.9到1.1的范围之内。

15.根据权利要求9至11中任一项所述的处理拍摄图像的方法，其中

所述多个第一颜色滤色器是三原色滤色器，所述多个第二颜色滤色器是三原色滤色器。

16.根据权利要求9至11中任一项所述的处理拍摄图像的方法，其中

所述多个第一颜色滤色器是补色滤色器，所述多个第二颜色滤色器是补色滤色器。

17.根据权利要求13所述的处理拍摄图像的方法，其中

处理由所述第一像素组产生的第一拍摄图像以产生目标的自然彩色图像，处理由所述第二像素组产生的第二拍摄图像以产生目标的鲜艳彩色图像。