CN101827274B

CN101827274B - 图像处理装置、图像处理方法以及摄像装置

Info

Publication number: CN101827274B
Application number: CN2010101239613A
Authority: CN
Inventors: 金光史吕志; 相泽裕俊; 川上好日; 田渊和浩; 细川纯一
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2009-03-06
Filing date: 2010-03-02
Publication date: 2013-06-19
Anticipated expiration: 2030-03-02
Also published as: TWI418221B; JP2010212761A; CN101827274A; JP5248368B2; TW201127074A; US8144222B2; US20100225781A1

Abstract

像素插补处理部通过图像信号的插补处理生成不足颜色成分的灵敏度级别值。关注像素的不足颜色成分的灵敏度级别值通过与关注像素的既得颜色成分相对应的计算并假想在顶点包含既得颜色成分的灵敏度级别值的几何学图形而算出。作为几何学图形，在既得颜色成分为任一颜色成分的情况下都使用同一图形。

Description

图像处理装置、图像处理方法以及摄像装置

本申请享受2009年3月6日提出的日本国专利申请号2009-53616的优先权的权利，在本申请中引用该日本国专利申请的全部内容。

技术领域

本发明涉及一种图像处理装置、图像处理方法以及摄像装置。

背景技术

作为一种全色摄像装置，所谓的单板式摄像装置例如民用的数字静态图片照相机(DSC)或带相机的便携电话那样，适用于要求结构小型化及低价格化的情况。单板式摄像装置将红色(R)用、绿色(G)用、蓝色(B)用的滤色器中的某一种设置在光电元件上，按照像素位置计算不足颜色成分的灵敏度信号，由此从一个二维摄像元件得到多色的图像信号。不足颜色成分的灵敏度级别值通过对位于关注像素周边的像素的灵敏度级别值进行插补而生成。例如，在日本特开2001-197512号公报中提出以下技术，即，假想三维空间中的几何学图形，基于几何学图形的线段相似比，生成不足颜色成分的灵敏度级别值。

例如，在将既得颜色成分为R成分的R用像素作为关注像素的情况下，假想与如下几何学图形相似的几何学图形，即，以关注像素的灵敏度级别值和位于关注像素的周边的R用像素的灵敏度级别值为顶点的几何学图形，求得不足颜色成分的灵敏度级别值。作为单板式二维摄像元件的像素阵列，在如下任意一种情况下，即，在已知的拜耳阵列的情况下、在将关注像素设为R用像素的情况下、在设为B用像素的情况下，将四棱锥假想为相互相似的几何学图形，能够算出不足颜色成分的灵敏度级别值。与之相对，在将关注图像设为G用像素的情况下，由于G用像素的阵列与R用像素、B用像素不同，所以，将三角形假想为相互相似的几何学图形，算出不足颜色成分的灵敏度级别值。这样，根据关注像素的既得颜色成分假想不同的几何学图形，由此，存在对不足颜色成分的灵敏度级别值计算精度产生差异的情况。另外，在使用三角形作为几何学图形的情况下，与使用四棱锥的情况相比，参照灵敏度级别值的像素少，所以，与G光相比，灵敏度低的R光、B光以少的数据数插补。因此，容易受到像素的输出不均匀的影响，精度进一步恶化。

发明内容

根据本发明的一个方式，提供一种图像处理装置，具有像素插补处理部，该像素插补处理部通过摄像被拍摄体像所得到的图像信号的插补处理，生成不足颜色成分的灵敏度级别值，上述像素插补处理部具有计算单元，该计算单元通过与既得颜色成分相应的计算，输出关注像素中的上述不足颜色成分的灵敏度级别值，其中，对于上述关注像素，上述既得颜色成分的灵敏度级别值是已经获得的，上述图像处理装置中，将与排列有各像素的二维方向垂直的高度方向的轴作为表示灵敏度级别值的轴，假想第1几何学图形和第2几何学图形，上述第1几何学图形是将对于上述关注像素为既得的灵敏度级别值、和对于多个第1参照像素为既得的灵敏度级别值作为顶点的几何学图形，其中，该多个第1参照像素是位于上述关注像素附近的像素，并且其既得颜色成分与上述关注像素相同，上述第2几何学图形是在顶点包含对于多个第2参照像素为既得的灵敏度级别值的几何学图形，其中，该多个第2参照像素位于上述关注像素附近，并以上述关注像素的上述既得颜色成分以外的某颜色成分为既得颜色成分，上述计算单元以使上述第2几何学图形成为与上述第1几何学图形相似的形状的方式算出上述关注像素中的上述不足颜色成分的灵敏度级别值，在上述关注像素的上述既得颜色成分为任意一种颜色成分的情况下，使用同一图形作为上述几何学图形。

另外，根据本发明的一个方式，提供一种图像处理方法，该图像处理方法通过摄像被拍摄体像所得到的图像信号的插补处理，生成不足颜色成分的灵敏度级别值，通过与既得颜色成分相应的计算，输出关注像素中的上述不足颜色成分的灵敏度级别值，其中，对于上述关注像素，上述既得颜色成分的灵敏度级别值是已经获得的，将与排列有各像素的二维方向垂直的高度方向的轴作为表示灵敏度级别值的轴，假想第1几何学图形和第2几何学图形，上述第1几何学图形是将对于上述关注像素为既得的灵敏度级别值、和对于多个第1参照像素为既得的灵敏度级别值作为顶点的几何学图形，其中，该多个第1参照像素是位于上述关注像素附近的像素，并且其既得颜色成分与上述关注像素相同，上述第2几何学图形是在顶点包含对于多个第2参照像素为既得的灵敏度级别值的几何学图形，其中，该多个第2参照像素位于上述关注像素附近，并以上述关注像素的上述既得颜色成分以外的某颜色成分为既得颜色成分，以使上述第2几何学图形成为与上述第1几何学图形相似的形状的方式，算出上述关注像素中的上述不足颜色成分的灵敏度级别值，在上述关注像素的上述既得颜色成分为任意一种颜色成分的情况下，使用同一图形作为上述几何学图形。

另外，根据本发明的一个方式，提供一种摄像装置，该摄像装置具有对通过摄像被拍摄体像所得到的图像信号实施图像处理的图像处理装置，该图像处理装置具有像素插补处理部，该像素插补处理部通过上述图像信号的插补处理，生成不足颜色成分的灵敏度级别值，上述像素插补处理部具有计算单元，该计算单元通过与既得颜色成分相应的计算，输出关注像素中的上述不足颜色成分的灵敏度级别值，其中，对于上述关注像素，上述既得颜色成分的灵敏度级别值是已经获得的，上述图像处理装置中，将与排列有各像素的二维方向垂直的高度方向的轴作为表示灵敏度级别值的轴，假想第1几何学图形和第2几何学图形，上述第1几何学图形是将对于上述关注像素为既得的灵敏度级别值、和对于多个第1参照像素为既得的灵敏度级别值作为顶点的几何学图形，其中，该多个第1参照像素是位于上述关注像素附近的像素，并且其既得颜色成分与上述关注像素相同，上述第2几何学图形是在顶点包含对于多个第2参照像素为既得的灵敏度级别值的几何学图形，其中，该多个第2参照像素位于上述关注像素附近，并以上述关注像素的上述既得颜色成分以外的某颜色成分为既得颜色成分，上述计算单元以使上述第2几何学图形成为与上述第1几何学图形相似的形状的方式算出上述关注像素中的上述不足颜色成分的灵敏度级别值，在上述关注像素的上述既得颜色成分为任意一种颜色成分的情况下，使用同一图形作为上述几何学图形。

附图说明

图1是第1实施方式的摄像装置的框图。

图2是说明拜耳阵列的像素配置的附图。

图3是对在生成R用像素中的不足颜色成分的灵敏度级别值时参照的像素进行说明的附图。

图4是表示关注像素、第1参照像素、第2参照像素的各灵敏度级别值的分布的例子的附图。

图5是说明参照像素、二维方向上的四棱锥形状的面积比的附图。

图6是表示关注像素、第1参照像素、第2参照像素的各灵敏度级别值的分布的例子的附图。

图7是说明将三角形假想为几何学图形的情况的附图。

图8是说明生成G用像素中的B成分的灵敏度级别值的方法的附图。

图9是表示灵敏度级别值的分布的例子的附图。

图10是对关于第2参照像素的插补灵敏度级别值的生成进行说明的附图。

图11是表示对第2参照像素生成的插补灵敏度级别值的分布的例子的附图。

图12是说明生成G用像素中的R成分的灵敏度级别值的方法的附图。

图13是对关于第2参照像素的插补灵敏度级别值的生成进行说明的附图。

图14是表示图像插补处理部的结构的一个例子的框图。

图15是说明像素插补处理部的动作的流程图。

图16是对将Gr像素作为关注像素的情况的插补灵敏度级别值的算出进行说明的附图。

图17是对将Gb像素作为关注像素的情况的插补灵敏度级别值的算出进行说明的附图。

图18是说明像素插补处理部的动作的流程图。

图19是说明生成不足颜色成分的灵敏度级别值的计算式的一个例子的附图。

具体实施方式

下面，参照附图对本发明的实施方式的图像处理装置、图像处理方法以及摄像装置进行详细说明。

图1是作为本发明的第1实施方式的摄像装置的固体摄像装置的框图。固体摄像装置具有摄像透镜1、摄像部2、模拟数字转换器(ADC)3以及图像处理装置4。摄像透镜1将来自被拍摄体的光取入。摄像部2通过将来自被拍摄体的光转换为信号电荷而拍摄被拍摄体图像。摄像部2将红色、蓝色、绿色的像素值按照与拜耳阵列对应的顺序取入，并将导入的模拟图像信号以从外部指定的摄像条件所对应的增益依次放大并输出。ADC3将从摄像部2输出的模拟图像信号转换为数字图像信号。图像处理装置4对从ADC3输出的数字图像信号实施各种图像处理。

图像处理装置4具有第1噪声消除处理部10、透镜阴影(shanding)处理部11、损伤修正处理部12、第2噪声消除处理部13、像素插补处理部14、白平衡处理部15、颜色矩阵处理部16、轮廓处理部17、灰度系数修正部18以及输出部19。

第1噪声消除处理部10从ADC3输出的数字图像信号中除去散粒噪声等与被拍摄体像的信号不同的信号。通过图像处理装置4的初阶段的噪声消除处理，使后阶段的各部处理中的计算精度提高。第1噪声消除处理部10为了将电路规模和消耗电力抑制得较小而不使用行存储器(linememory)，对以与拜耳阵列对应的顺序传递来的数字图像信号依次执行噪声消除处理。因此，第1噪声消除处理部10基于数字图像信号的图像帧中的像素值的一维排列而执行噪声清除处理。

透镜阴影处理部11对通过第1噪声消除处理部10执行了噪声消除处理的数字图像信号，乘以根据对应的像素的位置而分别决定的修正系数，由此执行电气的阴影修正。损伤修正处理部12对通过透镜阴影处理部11执行了阴影修正的数字图像信号执行损伤修正处理。损伤修正处理是为了修正在摄像部2中没有正常发挥作用的像素所引起的数字图像信号的缺损部分(损伤)而进行的处理。

第2噪声消除处理部13对通过损伤修正处理部12执行了损伤修正处理的数字图像信号再次执行噪声清除处理。第2噪声清除处理部13使用行存储器而构成，将以对应于拜耳阵列的顺序传递来的数字图像信号的数据临时存储于行存储器。第2噪声清除处理部13通过使用二维过滤器等，对存储于行存储器的数据执行基于二维方向上的像素阵列的噪声清除处理。

像素插补处理部14通过第2噪声清除处理部13执行噪声清除处理，对以拜耳阵列的顺序传递来的数字图像信号执行像素插补处理(去马赛克处理(demosaic处理))。像素插补处理部14通过由被拍摄体像的摄像而得到的图像信号的插补处理，生成不足颜色成分的灵敏度级别值。白平衡处理部15对通过像素插补处理部14执行了去马赛克处理后的数字图像信号执行白平衡处理。

颜色矩阵处理部16对通过白平衡处理部15执行了白平衡处理的数字图像信号执行用于得到颜色再现性的颜色矩阵计算处理(颜色再现性处理)。轮廓处理部17对通过颜色矩阵处理部16执行了颜色再现性处理的数字图像信号，使用基于摄像部2的摄像条件和各像素的位置而算出的修正系数，执行轮廓强调处理。

灰度系数修正部18对通过轮廓处理部17强调了轮廓的数字图像信号执行灰度系数修正。输出部19将通过图像处理的执行而得到的数字图像信号向外部输出。另外，本实施方式中说明的图像处理装置4的结构为一个例子，也可以适当地进行用于其它处理的要素的追加或省略能够省略的要素等的变更。

图2是说明拜耳阵列的像素的配置的附图。在图2中，记作“R”的标号表示红色(R)用像素，记作“G”的标号表示绿色(G)用像素，记作“B”的标号表示蓝色(B)用像素。R用像素对应于设置了使R成分选择性透过的滤色器的光电元件，将R成分作为既得颜色成分，将G成分和B成分作为不足颜色成分。G用像素对应于设置使G成分选择性透过的滤色器的光电元件，将G成分作为既得颜色成分，将R成分和B成分作为不足颜色成分。B用像素对应于设置了使B成分选择性透过的滤色器的光电元件，将B成分作为既得颜色成分，将R成分和G成分作为不足颜色成分。

各像素在包含相互垂直的H方向和V方向的二维方向上并列。使R用像素以及G用像素向H方向交替排列的列、和使G用像素以及B用像素向H方向交替并列的列，在V方向上交替地配置。G用像素彼此在相对H方向和V方向倾斜的方向上邻接。相对于图2所示的阵列，数字图像信号向着H方向的右侧被逐个像素地依次输入，当到达右端时，接着从V方向上的下一层的列的左端的像素开始输入。

图3是对生成R用像素中的不足颜色成分的灵敏度级别值时参照的像素进行说明的附图。将像素R0作为计算不足颜色成分的灵敏度级别值的对象即关注像素。像素R0以R成分为既得颜色成分。像素R1～R4(像素R1、像素R2、像素R3、像素R4)为位于像素R0附近的R用像素。像素R2、像素R0、像素R4经由G用像素在H方向上并列。像素R1、像素R0、像素R3经由G用像素在V方向上并列。像素R1～R4与像素R0相同，是将R成分作为既得颜色成分的第1参照像素。另外，在简单地称作R0、R1、R2、R3、R4的情况下，分别表示像素R0、像素R1～R4中的R成分的灵敏度级别值。

像素B1～B4(像素B1、像素B2、像素B3、像素B4)为位于像素R0附近的B用像素，以B成分为既得颜色成分。像素B1～B4在相对于H方向和V方向倾斜的方向上与像素R0邻接。像素B1～B4是以像素R0的既得颜色成分以外的颜色成分即B成分作为既得颜色成分的第2参照像素。另外，在简单地称作B1、B2、B3、B4的情况下，分别表示像素B1～B4中的B成分的灵敏度级别值。

图4是表示关注像素、第1参照像素、第2参照像素的各灵敏度级别值的分布的例子的附图。在这里，将垂直于各像素排列的H方向和V方向的高度方向设为Z方向，以Z方向的轴作为表示灵敏度级别值的轴。标注了与图3所示的符号相同的符号的圆分别表示对于各像素已经得到(既得)的灵敏度级别值。涂黑的圆表示关注像素R0中不足的B成分的灵敏度级别值B0。

在包含H方向、V方向、Z方向的三维空间中，假想以R0、R1、R2、R3、R4为顶点的四棱锥形状A1。四棱锥形状A1是第1几何学图形。另外，假想包含并以B1、B2、B3、B4为顶点的四棱锥形状A2。四棱锥形状A2为第2几何学图形。像素插补处理部14算出四棱锥形状A2成为与四棱锥形状A1线性相似的形状的B0。

图5是说明图3所示的参照像素和二维方向的四棱锥形状A1和A2的面积比的附图。在二维方向上，相对于连接R1～R4所得到的四角形的面积，连接B1～B4所得到的四角形的面积为二分之一。在这里说明的面积比相当于像素R1～R4中的R成分的能量与像素B1～B4中的B成分的能量的比。相对于R0与R1～R4的插补值之间的差，B0与B1～B4的插补值之间的差为二分之一。像素插补处理部14由相关关系算出B0。

图3所示的像素G1～G4(像素G1、像素G2、像素G3、像素G4)为位于像素R0附近的G用像素，以G成分为既得颜色成分。像素G1～G4在H方向和V方向上与像素R0邻接。像素G1～G4是以作为像素R0的既得颜色成分以外的颜色成分的G成分作为既得颜色成分的第2参照像素。另外，在简单地称作G1、G2、G3、G4的情况下，分别表示像素G1～G4中的G成分的灵敏度级别值。

图6是表示关注像素、第1参照像素、第2参照像素的各灵敏度级别值的分布的例子的附图。涂黑的圆表示关注像素R0中不足的G成分的灵敏度级别值G0。与B成分的情况相同，对于G成分，假想包含并以G1、G2、G3、G4为顶点的四棱锥形状A3。四棱锥形状A3为第2几何学图形。像素插补处理部14算出四棱锥形状A3成为与四棱锥形状A1线性相似的形状的G0。

在H方向以及V方向的二维方向上，相对于连接R1～R4所得到的四角形的面积，连接G1～G4所得到的四角形的面积为四分之一。在这里说明的面积比相当于像素R1～R4中的R成分的能量与像素G1～G4中的G成分的能量的比。相对于R0与R1～R4的插补值之间的差，G0与G1～G4的插补值之间的差为四分之一。像素插补处理部14由相关关系算出G0。

当着眼于各像素的既得颜色成分时，在拜耳阵列的情况下，R用像素和B用像素在二维方向中的倾斜方向上交替排列，在H方向和V方向中的任意一个方向上，在与G用像素邻接的点上，阵列的形态相同。因此，在以关注像素为B用像素的情况下，与R用像素的情况相同，通过使用四棱锥形状作为几何学图形，能够算出作为不足颜色成分的R成分、G成分的各灵敏度级别值。与之相对，G用像素彼此在二维方向中的倾斜方向上邻接，G用像素的阵列的形态与R用像素、B用像素中的任意一个都不同。

因此，为了采用与R用像素、B用像素的情况相同的方法来算出G用像素中的R成分、B成分的各灵敏度级别值，假想四棱锥形状以外的形状作为几何学图形，例如如图7所示，假想包含Z方向的面内的三角形。由于根据关注像素的既得颜色成分而假想不同的几何学图形，有时不足颜色成分的灵敏度级别值的计算精度产生差异。另外，在使用三角形作为几何学图形的情况下，与使用四棱锥的情况相比，由于参照灵敏度级别值的像素少，所以，以少的数据数插补与G光相比灵敏度低的R光、B光。因此，容易受到像素的输出不均的影响，进而使精度恶化。

在这里，根据本实施方式，说明生成G用像素中的B成分的灵敏度级别值的方法。图8所示的像素G1～G4是位于作为关注像素的像素G0附近的G用像素，在相对于H方向以及V方向倾斜的方向上，与像素G0邻接。如图9所示的灵敏度级别值的分布的例子所示，对于G成分，假想以G0～G4为顶点的四棱锥A4。

像素B1和像素B2经由像素G0而向V方向并列。像素B3和像素B1经由像素G1而向H方向并列。像素B4和像素B2经由像素G2而向H方向并列。像素B2和像素B6经由像素G3而向H方向并列。像素B1和像素B5经由像素G4而向H方向并列。像素B1～像素B6是以B成分为既得颜色成分的第2参照像素，该B成分作为像素G0的既得颜色成分以外的颜色成分。

图10是对关于第2参照像素的插补灵敏度级别值的生成进行说明的附图。在关注像素的既得颜色成分为作为特定颜色成分的G成分的情况下，图像插补处理部14对第2参照像素通过既得的灵敏度级别值彼此的插补、例如通过线性插补，生成插补灵敏度级别值。在这里，对于6个第2参照像素，对B成分生成4个插补灵敏度级别值。对于像素B3和像素B1，生成B3和B1的插补灵敏度级别值B31。B31的位置为像素B3和像素B1之间的像素G1的位置。对于像素B4和像素B2，生成B4和B2的插补灵敏度级别值B42。B42的位置为像素B4和像素B2之间的像素G2的位置。对于像素B2和像素B6，生成B2和B6的插补灵敏度级别值B26。B26的位置为像素B2和像素B6之间的像素G3的位置。对于像素B1和像素B5，生成B1和B5的插补灵敏度级别值B15。B15的位置为像素B1和像素B5之间的像素G4的位置。

图11是表示对第2参照像素生成的插补灵敏度级别值的分布的例子的附图。涂黑的圆表示关注像素G0中不足的B成分的灵敏度级别值B0。对于像素B1～B6，作为第2几何学图形，假想包含并以B31、B42、B26、B15为顶点的四棱锥A5。像素插补处理部14算出四棱锥A5成为与四棱锥A4线性相似的形状的B0。

在二维方向上，连接G1～G4所得到的四角形的面积与连接B31、B42、B26、B15所得到的四角形的面积相同。像素G1～G4中的G成分的能量与像素B1～B6中的B成分的能量相同。像素插补处理部14由G0与G1～G4的插补值之间的差，等于B0与B31、B42、B26、B15的插补值之间的差的关系算出B0。

接下来，参照图12和图13，对像素G0中的R成分的灵敏度级别值R0的生成进行说明。像素R1和像素R2经由像素G0向H方向并列。像素R3和像素R1经由像素G1向V方向并列。像素R1和像素R5经由像素G2向V方向并列。像素R2和像素R6经由像素G3向V方向并列。像素R4和像素R2经由像素G4向V方向并列。像素R1～R6是以R成分为既得颜色成分的第2参照像素，该R成分作为像素G0的既得颜色成分以外的颜色成分。

对于R成分，对6个第2参照像素生成4个插补灵敏度级别值。对于像素R3和像素R1，生成R3和R1的插补灵敏度级别值R31。R31的位置为像素R3和像素R1之间的像素G1的位置。对于像素R1和像素R5，生成R1和R5的插补灵敏度级别值R15。R15的位置为像素R1和像素R5之间的像素G2的位置。对于像素R2和像素R6，生成R2和R6的插补灵敏度级别值R26。R26的位置为像素R2和像素R6之间的像素G3的位置。对于像素R4和像素R2，生成R4和R2的插补灵敏度级别值R42。R42的位置为像素R4和像素R2之间的像素G4的位置。

对于像素R1～R6，作为第2几何学图形，假想包含并以R31、R15、R26、R42为顶点的四棱锥形状。像素插补处理部14算出该四棱锥成为与作为第1几何学图形的四棱锥A4线性相似的形状的R0。像素插补处理部14通过与B0相同的计算，算出R0。这样，像素插补处理部14在关注像素为任意一个颜色用像素的情况下都能使用相同图形即四棱锥作为几何学图形。

图14是表示图像插补处理部14的结构的一个例子的框图。像素插补处理部14具有4H的行存储器20、R用计算单元21R、G用计算单元21G、B用计算单元21B以及选择器22。行存储器20保持4个线路量的数字图像信号。R用计算单元21R是用于关注像素为R用像素时的像素插补处理的计算单元。G用计算单元21G是用于关注像素为G用像素时的像素插补处理的计算单元。B用计算单元21B是用于关注像素为B用像素时的像素插补处理的计算单元。选择器22根据V/H计数器的计数值选择R用计算单元21R、G用计算单元21G、B用计算单元21B。

像素插补处理部14从保持于行存储器20的4个线路和干线的1个线路共计5个线路取得H方向5个像素×V方向5个像素的25个像素量的图像信号。选择器22通过V/H计数器的计数值判断所取得的25个像素中作为关注像素的中心像素是R用像素、G用像素、B用像素中的哪一个。在关注像素为R用像素的情况下，选择器22选择基于R用计算单元21R的计算。在关注像素为G用像素的情况下，选择器22选择基于G用计算单元21G的计算。在关注像素为B用像素的情况下，选择器22选择基于B用计算单元21B的计算。各颜色用计算单元21R、21G、21B从取得的25个像素中确定第1参照像素和第2参照像素，并输出关注像素中的不足颜色成分的灵敏度级别值。

图15是说明像素插补处理部14的动作的流程图。在步骤S1中，图像插补处理部14判断关注像素是否为R用像素。在关注像素为R用像素的情况下(步骤S1，是)，像素插补处理部14通过R用计算单元21R的计算生成关注像素中的G成分、B成分的各灵敏度级别值。在关注像素不为R用像素的情况下(步骤S1，否)，像素插补处理部14在步骤S3中判断关注像素是否为B用像素。在关注像素为B用像素的情况下(步骤S3，是)，像素插补处理部14通过B用计算单元21B的计算生成关注像素中的R成分、G成分的各灵敏度级别值。

在关注像素也不为B用像素的情况下(步骤S3，否)，像素插补处理部14判断关注像素为G。像素插补处理部14通过G用计算单元21G的计算，对关于R成分的第2参照像素、关于G成分的第2参照像素的每一个，计算插补灵敏度级别值(步骤S5)。接下来，像素插补处理部14使用在步骤S5中算出的插补灵敏度级别值，生成关注像素中的R成分、B成分的各灵敏度级别值(步骤S6)。

通过结束基于R用计算单元21R的计算(步骤S2)、基于B用计算单元21B的计算(步骤S4)、基于G用计算单元21G的计算(步骤S6)中的任意一个，结束对该关注像素的像素插补处理。像素插补处理部14对所有的像素执行这样的像素插补处理。另外，判断关注像素为哪一个颜色用像素的顺序是任意的，也可以同时进行。

根据以上说明，即使在关注像素为任意颜色用像素的情况下，通过使用相同的图形作为几何学图形，对不足颜色成分的灵敏度级别值，能够使计算精度的差减小。在以G用像素作为关注像素的情况下，通过使用四棱锥作为几何学图形，与使用三角形的情况相比，能够使用于生成不足颜色成分的灵敏度级别值而参照的像素增多。由于能够使比G光灵敏度低的R光、B光的插补中使用的数据数增多，从而能够减小像素的输出不均的影响。由此，具有能够以高精度生成不足颜色成分的灵敏度级别值的效果。由于B光比R光和G光的光谱透过率小，所以，在单板式摄像装置中，存在B光的S/N比变差的倾向。本实施方式的图像处理装置4通过使用插补灵敏度级别值生成不足颜色成分的灵敏度级别值，能够得到以下效果，即，对最终输出的R、G、B的各图象信号改善S/N比。

第2实施方式的特征在于，将G用像素分类为Gr像素和Gb像素，算出由Gr像素彼此的插补而得到的插补灵敏度级别值、和由Gb像素彼此的插补而得到的插补灵敏度级别值。Gr像素为G用像素中位于使R用像素向H方向并列的列中的第1绿色用像素。Gb像素为G用像素中位于使B用像素向H方向并列的列中的第2绿色用像素。Gr像素在H方向上与R用像素邻接，在该点上，Gr像素是二维方向上的阵列形态相同的G用像素。Gb像素在H方向与B用像素邻接，在该点上，Gb像素是二维方向上的阵列形态相同的G用像素。

图16是对将Gr像素作为关注像素的情况下的插补灵敏度级别值的计算进行说明的附图。像素Gr1～Gr4(像素Gr1、Gr2、Gr3、Gr4)是位于作为关注像素的像素Gr0附近的Gr像素。像素Gr2、像素Gr0、像素Gr4经由R用像素在H方向上并列。像素Gr1、像素Gr0、像素Gr3经由B用像素在V方向上并列。像素Gr0中的G成分的灵敏度级别值为通过使用Gr1、Gr2、Gr3、Gr4的插补而生成的插补灵敏度级别值。另外，在简单地称作Gr1、Gr2、Gr3、Gr4的情况下，分别表示像素Gr1～Gr4中的G成分的灵敏度级别值。

图17是对将Gb像素作为关注像素的情况下的插补灵敏度级别值的计算进行说明的附图。像素Gb1～Gb4(像素Gb1、Gb2、Gb3、Gb4)是位于作为关注像素的像素Gb0附近的Gb像素。像素Gb2、像素Gb0、像素Gb4经由B用像素在H方向上并列。像素Gb1、像素Gb0、像素Gb3经由R用像素在V方向上并列。像素Gb0中的G成分的灵敏度级别值为通过使用Gb1、Gb2、Gb3、Gb4的插补而生成的插补灵敏度级别值。另外，在简单地称作Gb1、Gb2、Gb3、Gb4的情况下，分别表示像素Gb1～Gb4中的G成分的灵敏度级别值。这样，G用计算单元21G(参照图14)作为关注像素中的G成分的灵敏度级别值而输出插补灵敏度级别值。

图18是说明像素插补处理部14的动作的流程图。由于从步骤S1到步骤S6与图15所示的第1实施方式的说明相同，因此省略说明。在本实施方式中，在步骤S5中的R用像素、B用像素的插补灵敏度级别值的算出与步骤S6中的G用计算单元21G的计算之间，作为步骤S7，算出G用像素的插补灵敏度级别值。另外，步骤S5和步骤S7的顺序为任意，也可以同时进行。

在摄像部3(参照图1)中，Gr像素和Gb像素中的任意一个都使用G用滤色器。在Gr像素和Gb像素中，由于空间的位置条件不同，所以因摄像部3的光电元件的配线关系，有时实际上能够聚光的光量产生偏差。另外，在使用CMOS传感器的情况下，存在由Gr像素和Gb像素对混色的影响等产生差异的情况。在本实施方式中，像素插补处理部14通过对G用像素由相同特性的像素彼此生成插补灵敏度级别值，从而能够对灵敏度级别值进行高精度的计算。

第3实施方式的特征在于，通过由Gr像素彼此的插补而得到的插补灵敏度级别值、和由Gb像素彼此的插补而得到的插补灵敏度级别值，分别对像素Gr0、像素Gb0的每一个进行G成分的灵敏度级别值的修正。本实施方式参照图16和图17进行说明。

G用计算单元21G(参照图14)算出由使用了Gr1、Gr2、Gr3、Gr4的插补而生成的插补灵敏度级别值、和由使用了Gb1、Gb2、Gb3、Gb4的插补而生成的插补灵敏度级别值的规定比。G用计算单元21G将算出的规定比作为参数，分别对像素Gr0中的G成分的灵敏度级别值、像素Gb0中的G成分的灵敏度级别值进行修正。

在由Gr像素和Gb像素产生输出差时，G成分的光量在倾斜方向上产生差，由此，颜色再现性降低。通过本实施方式，考虑到Gr像素和Gb像素的特性差，通过对G用像素中的G成分的灵敏度级别值进行修正，能够对灵敏度级别值进行高精度的计算。

图19是对生成不足颜色成分的灵敏度级别值的计算式的一个例子进行说明的附图。从图中上层开始，分别依次表示关注像素为R用像素的情况、为B用像素的情况、为Gr像素的情况、和为Gb像素的情况。关注像素为R用像素的情况、为B用像素的情况下的计算式为第1实施方式中说明的计算式。关注像素为Gr像素的情况、为Gb像素的情况下的计算式是第3实施方式中说明的计算式。在这里，作为插补值，使用用数据数除以多个灵敏度级别值的和所得到的值。另外，插补的方法可以使用目前已知的任意一种方法。各计算式也可以对应于插补的方法而适当变形。

本领域技术人员能够容易地导出其它效果和变形例。因此，本发明的更广泛的实施方式不仅限定于以上表述并说明的特定的详细并具有代表性的实施方式。因此，不脱离由权利要求及其均等物定义的总括的发明的概念的精神或范围，可以进行各种变更。

Claims

1.一种图像处理装置，通过摄像被拍摄体像所得到的图像信号的插补处理，生成不足颜色成分的灵敏度级别值，其特征在于，

该图像处理装置具有计算单元，该计算单元通过与既得颜色成分相应的计算，输出关注像素中的上述不足颜色成分的灵敏度级别值，其中，对于上述关注像素，上述既得颜色成分的灵敏度级别值是已经获得的，

上述计算单元具备：

几何学图形假想单元，将与排列有各像素的二维方向垂直的高度方向的轴作为表示灵敏度级别值的轴，假想第1几何学图形和第2几何学图形，

上述第1几何学图形是将对于上述关注像素为既得的灵敏度级别值、和对于多个第1参照像素为既得的灵敏度级别值作为顶点的几何学图形，其中，该多个第1参照像素是位于上述关注像素附近的像素，并且其既得颜色成分与上述关注像素相同，

上述第2几何学图形是在顶点包含对于多个第2参照像素为既得的灵敏度级别值的几何学图形，其中，该多个第2参照像素位于上述关注像素附近，并以上述关注像素的上述既得颜色成分以外的某颜色成分为该第2参照像素的既得颜色成分；以及

灵敏度级别值算出单元，以使上述第2几何学图形成为与上述第1几何学图形相似的形状的方式算出上述关注像素中的上述不足颜色成分的灵敏度级别值，上述灵敏度级别值算出单元在上述关注像素的上述既得颜色成分为任意一种颜色成分的情况下，使用同一图形作为上述第1几何学图形及上述第2几何学图形。

2.如权利要求1所述的图像处理装置，其特征在于，在上述关注像素的既得颜色成分为特定颜色成分的情况下，对于上述第2参照像素，上述计算单元通过既得的灵敏度级别值彼此的插补而生成插补灵敏度级别值，并将位于上述第2参照像素彼此之间的上述插补灵敏度级别值作为上述第2几何学图形的顶点。

3.如权利要求1所述的图像处理装置，其特征在于，在上述关注像素的既得颜色成分为特定颜色成分的情况下，对于着眼于各像素的既得颜色成分的情况下的上述二维方向上的阵列样态相同的像素，上述计算单元通过既得的灵敏度级别值彼此的插补生成插补灵敏度级别值，作为上述关注像素中的上述特定颜色成分的灵敏度级别值，输出上述插补灵敏度级别值。

4.如权利要求1所述的图像处理装置，其特征在于，使将红色成分作为既得颜色成分的红色用像素、将绿色成分作为既得颜色成分的绿色用像素、和将蓝色成分作为既得颜色成分的蓝色用像素进行拜耳排列，

将上述绿色用像素分类为第1绿色用像素和第2绿色用像素，上述第1绿色用像素是位于使上述红色用像素并列排列的列中的上述绿色用像素，上述第2绿色用像素是位于使上述蓝色用像素并列排列的列中的上述绿色用像素，

上述计算单元通过由上述第1绿色用像素的灵敏度级别值彼此的插补生成的插补灵敏度级别值、和由上述第2绿色用像素的灵敏度级别值彼此的插补生成的插补灵敏度级别值，对上述关注像素为上述绿色用像素时的灵敏度级别值进行修正。

5.如权利要求1所述的图像处理装置，其特征在于，上述计算单元基于上述多个第2参照像素的灵敏度级别值彼此的插补值、上述关注像素中的上述既得颜色成分的灵敏度级别值与上述多个第1参照像素的灵敏度级别值彼此的插补值的差分、和上述第1几何学图形与上述第2几何学图形在上述二维方向上的面积比，算出上述不足颜色成分的灵敏度级别值。

6.如权利要求1所述的图像处理装置，其特征在于，上述第1几何学图形及上述第2几何学图形为四棱锥形状。

7.如权利要求1所述的图像处理装置，其特征在于，上述像素插补处理部具有：

红色用计算单元，是用于上述关注像素为红色用像素时的像素插补处理的上述计算单元；

绿色用计算单元，是用于上述关注像素为绿色用像素时的像素插补处理的上述计算单元；以及，

蓝色用计算单元，是用于上述关注像素为蓝色用像素时的像素插补处理的上述计算单元。

8.一种图像处理方法，其特征在于，通过摄像被拍摄体像所得到的图像信号的插补处理，生成不足颜色成分的灵敏度级别值，

通过与既得颜色成分相应的计算，输出关注像素中的上述不足颜色成分的灵敏度级别值，其中，对于上述关注像素，上述既得颜色成分的灵敏度级别值是已经获得的，

将与排列有各像素的二维方向垂直的高度方向的轴作为表示灵敏度级别值的轴，

假想第1几何学图形和第2几何学图形，

上述第2几何学图形是在顶点包含对于多个第2参照像素为既得的灵敏度级别值的几何学图形，其中，该多个第2参照像素位于上述关注像素附近，并以上述关注像素的上述既得颜色成分以外的某颜色成分为该第2参照像素的既得颜色成分，

以使上述第2几何学图形成为与上述第1几何学图形相似的形状的方式，算出上述关注像素中的上述不足颜色成分的灵敏度级别值，

在上述关注像素的上述既得颜色成分为任意一种颜色成分的情况下，使用同一图形作为上述第1几何学图形及上述第2几何学图形。

9.如权利要求8所述的图像处理方法，其特征在于，在上述关注像素的既得颜色成分为特定颜色成分的情况下，对于上述第2参照像素，通过既得的灵敏度级别值彼此的插补而生成插补灵敏度级别值，并将位于上述第2参照像素彼此之间的上述插补灵敏度级别值作为上述第2几何学图形的顶点。

10.如权利要求8所述的图像处理方法，其特征在于，在上述关注像素的既得颜色成分为特定颜色成分的情况下，对于着眼于各像素的既得颜色成分的情况下的上述二维方向上的阵列样态相同的像素，通过既得的灵敏度级别值彼此的插补生成插补灵敏度级别值，作为上述关注像素中的上述特定颜色成分的灵敏度级别值，输出上述插补灵敏度级别值。

11.如权利要求8所述的图像处理方法，其特征在于，使将红色成分作为既得颜色成分的红色用像素、将绿色成分作为既得颜色成分的绿色用像素、和将蓝色成分作为既得颜色成分的蓝色用像素进行拜耳排列，

通过由上述第1绿色用像素的灵敏度级别值彼此的插补生成的插补灵敏度级别值、和由上述第2绿色用像素的灵敏度级别值彼此的插补生成的插补灵敏度级别值，对上述关注像素为上述绿色用像素时的灵敏度级别值进行修正。

12.如权利要求8所述的图像处理方法，其特征在于，基于上述多个第2参照像素的灵敏度级别值彼此的插补值、上述关注像素中的上述既得颜色成分的灵敏度级别值与上述多个第1参照像素的灵敏度级别值彼此的插补值的差分、和上述第1几何学图形与上述第2几何学图形在上述二维方向上的面积比，算出上述不足颜色成分的灵敏度级别值。

13.如权利要求8所述的图像处理方法，其特征在于，上述第1几何学图形及上述第2几何学图形为四棱锥形状。

14.如权利要求8所述的图像处理方法，其特征在于，

确定上述关注像素是否为以红色成分为既得颜色成分的红色用像素、以绿色成分为既得颜色成分的绿色用像素、以及以蓝色成分为既得颜色成分的蓝色用像素，

当确定上述关注像素为红色用像素时，生成该关注像素中的绿色成分和蓝色成分的灵敏度级别值，

当确定上述关注像素为蓝色用像素时，生成该关注像素中的红色成分和绿色成分的灵敏度级别值，

当确定上述关注像素为绿色用像素时，利用插补灵敏度级别值，生成该关注像素中的红色成分和蓝色成分的灵敏度级别值，其中，对于红色成分用第2参照像素和蓝色成分用第2参照像素分别算出该插补灵敏度级别值。