CN101049027A

CN101049027A - 图像处理装置、非摄像色信号算出装置以及图像处理方法

Info

Publication number: CN101049027A
Application number: CNA2004800442853A
Authority: CN
Inventors: 田村正司; 的场成浩; 杉浦博明; 久野彻也
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2004-11-30
Filing date: 2004-11-30
Publication date: 2007-10-03
Anticipated expiration: 2024-11-30
Also published as: WO2006059365A1; EP1819175A4; JPWO2006059365A1; JP4725520B2; US7889252B2; EP1819175B1; CN100589582C; US20080043131A1; EP1819175A1

Abstract

具备：第1算出部件，算出对应于注目像素的第H插值色的非摄像色信号；第2算出部件，使对应于注目像素的摄像色的第J摄像色信号乘以第H二维低通滤波器输出和第J二维低通滤波器输出之比，算出非摄像色信号；和第3算出部件，使用第1算出部件的算出结果和上述第2算出部件的算出结果，算出对应于注目像素的第H插值色的非摄像色信号。

Description

图像处理装置、非摄像色信号算出装置以及图像处理方法

技术领域

本发明涉及如下装置和方法：在各光电转换元件上粘贴用于红色(R色)、绿色(B色)或蓝色(B色)中的任意一种的彩色滤光片，使用以光电转换元件作为形成图像的像素并且配置成二维状的1个二维摄像元件(下面称为摄像元件)，对于通过摄像得到的图像信息，使用从配置在该光电转换元件周围的光电转换元件得到的同种颜色的颜色信号，算出从各光电转换元件未得到的颜色信号(插值色)，从而虚拟地从各光电转换元件得到R色、G色、B色各色的信号电平。

背景技术

在使用CCD(Charge Coupled Devices，电荷耦合器件)的摄像元件的图像输入装置中，具有如下的摄像方法：在各光电转换元件上粘贴用于红色(R色)、绿色(G色)或蓝色(B色)中的任意一种的彩色滤光片，使用以光电转换元件作为形成图像的像素并且配置成二维状的1个摄像元件，对于通过摄像得到的图像信息，使用从配置在该光电转换元件周围的光电转换元件得到的同种颜色的颜色信号，算出从各光电转换元件未得到的颜色信号(插值色)，从而虚拟地从各光电转换元件得到R色、G色、B色各色的信号电平。图10示出以一般的拜耳(Bayer)型排列配置光电转换元件的例子。另外，各光电转换元件负责由摄像元件拍摄的图像的各图像。另外，m行n列的位置处的像素的颜色取决于从配置在该位置处的光电转换元件得到的信号(摄像色信号)。

作为根据从摄像元件得到的图像信息进行颜色信号插值、得到彩色图像的方法，说明现有技术的线性插值法(下面称为现有技术1)。各光电转换元件只能得到1种颜色信号(摄像色信号)，对于在各光电转换元件中不能得到的其他颜色的信号(非摄像色信号)，根据输出与该非摄像色信号同种颜色的信号的、配置在周围的其他光电转换元件的输出信号来生成。现在，若着眼于G色信号，则在图11所示的位置上存在通过摄像得到的G信号(用大写“G”表述)。对于作为插值生成颜色信号的对象像素的注目像素，通过从与该注目像素相邻的前后左右4个像素的信号，利用线性插值法算出平均值，并生成不存在G信号的像素中的G信号(用小写“g”表述)，可得到全部像素的G信号。另外，若着眼于B信号，则如图12所示，通过从相邻的上下2个像素的B信号生成b1信号，从上下左右4个像素的B信号生成b2信号，从左右2个像素的B信号生成b3信号，分别利用线性插值法等得到全部画面的B信号。在R信号中，如图13所示，也可利用与B信号同样的方法，对全部像素的信号进行插值。利用上述方法，可得到全部像素中的R、G及B信号(该线性插值例如使用低通滤波器)。

但是，现有技术1的方法存在不能得到足够的分辨率、在图像的边缘部分产生在原来的被摄体中不存在的伪色的问题。这起因于在各像素上配置1种颜色的彩色滤光片来拍摄图像。即，由于在各像素上配置1种颜色的彩色滤光片来进行拍摄，所以空间频率特性或相位不同，利用现有技术1的线性插值法不能充分还原高频分量，从而各R、G、B色均不能得到对应于像素数量的分辨率。

为了解决该问题，本申请人在特开平5-56446号公报(下面称为现有技术2)中申请了使用颜色相关性来执行高分辨率且良好地控制了伪色的颜色插值的方法。下面，说明现有技术2。

在图10中，注目像素是m行n列的G位置时，R、B信号电平的算出方法通过如式1、式2所示求出不同颜色之间的信号变化的变化率(式1中为R_LPF与G_LPF之比、式2中为B_LPF与G_LPF之比)来进行。这里，R_LPF表示作为将R信号输入低通滤波器(LPF)时的输出值的LPF输出值，G_LPF表示G的LPF输出值，B_LPF表示B的LPF输出值，G(m，n)表示作为由摄像像素中的注目像素G的位置处的光电转换元件实际拍摄得到的输出信号的摄像色信号。R(m，n)表示在G的位置算出的插值色R的信号值，B(m，n)表示在G的位置算出的插值色B的信号值。这些R(m，n)、B(m，n)可以使用作为实际拍摄的摄像色信号的G(m，n)，通过下面示出的式1、式2求出。另外，由于G(m，n)是求出R(m，n)、B(m，n)时参照的颜色，所以也称为参照色。

[式1]

R (m, n) = G (m, n) \times \frac{R_{LPF}}{G_{LPF}}

……(式1)

[式2]

B (m, n) = G (m, n) \times \frac{B_{LPF}}{G_{LPF}}

……(式2)

将式1或式2一般化，若设注目像素的摄像色为J色、该位置为(m，n)，则在位置(m，n)，将与J色不同种类的H色作为插值色来进行插值生成时的算出方式用式3表示。

[式3]

H (m, n) = J (m, n) \times \frac{H_{LPF}}{J_{LPF}}

……(式3)

现有技术2的方法利用摄像图像的一般特征，即，颜色信号的变化比亮度信号的变化小，换言之，在不同颜色之间存在颜色相关性高的区域。图14是利用式3在存在G彩色滤光片的像素位置处插值生成R色时的模式图。为了简化说明，该图示出仅考虑一维方向的摄像元件的情况。在图中，用黑圆标记及白圆标记示出的信号表示利用摄像元件实际拍摄的各色的信号电平。用2点点划线示出的曲线表示作为参照色的G色信号的信号变化，用实线示出的曲线表示在存在G色彩色滤光片的像素位置处对R色信号进行了正确插值时所期待的信号变化。在图中，使用现有技术1的线性插值法插值时生成的R色信号生成为双线上的×标记的信号电平。这种情况下，在信号电平变化缓慢的区域中无问题地生成妥当的信号电平值，但在图像边缘的信号电平变化急剧的区域中插值的颜色信号没有被充分再现，颜色之间的信号变化产生偏差，从而作为原来没有的伪色而被感知。相反，使用现有技术2的方法进行插值色的插值时生成的颜色信号再现为图的星标记示出的信号电平。因此，通过充分再现图像中的边缘而得到的全彩色图像为高分辨率且伪色少的高画质图像。

但是，由于现有技术2的方法在求插值色时使用参照色的局部信号电平的变化率，所以存在产生特有的画质劣化的情况。图15是利用现有技术2的方法进行颜色插值时产生画质劣化的情况的模式图。如图所示，在所参照的信号电平的LPF输出值小、传感器输出信号由于暗部噪声的影响等产生变化、要插值生成的信号电平的LPF输出值高时，即，在有彩色区域中，插值色信号以与参照色信号的变化成正比地反应的方式产生很大变化，结果，注目像素会产生原来图像中没有的黑斑或白斑。

例如，假定R、G、B信号各为10比特(0～1023范围，0：暗、1023：明)的摄像装置，在图15中，当作为局部信号电平，G1＝4、G3＝1、G5＝4、R2＝R4＝1023，且各LPF通过简单平均算出时，式3具体地进行式4～式6的运算。

[式4]

G_LPF＝(4+1+4)/3＝3

……(式4)

[式5]

R_LPF＝(1023+1023)/2＝1023

……(式5)

[式6]

r3＝G3×R_LPF/G_LPF＝1×1023/3＝341

……(式6)

因此，生成的插值信号值r3与配置在同种颜色周围的像素的信号电平相比，是极小的值。即，现有技术2作为在使用摄像元件的摄像装置中对颜色信号进行插值的方法，是高画质且伪色少的有效方法，但由于传感器噪声特性的影响或所拍摄的图案，存在引起方法固有的画质劣化的问题。

专利文献1：日本专利申请公开号特开平5-56446号

专利文献2：日本专利申请公开号特开2001-078211号

专利文献3：日本专利申请公开号特开2000-165894号

非专利文献1：“National Technical Report”(Vol.31 No.1Feb.1985)株式会社松下テクノリサチ(Matsushita TechnoResearch)发行、株式会社オム社(Ohmsha，Ltd.)销售

发明内容

发明所要解决的技术问题

本发明所要解决的技术问题是，在仅使用现有技术1的情况下，在图像中不能得到足够的分辨率，在图像的边缘部分产生在原来的被摄体中不存在的伪色；在仅使用现有技术2的情况下，像素产生原来图像中没有的黑斑或白斑。

解决技术问题的技术手段

为了实现该目的，本发明提供一种图像处理装置，利用摄像元件得到图像，该摄像元件将具有第1～第N的N种光谱灵敏度特性中的某一种光谱灵敏度特性的光电转换元件排列在二维平面上，其特征在于，该图像处理装置具备：第1算出部件，根据从注目像素周围的像素的第H光谱灵敏度特性的光电转换元件输出的摄像色信号，算出对应于该注目像素的第H插值色的非摄像色信号；第2算出部件，通过将光电转换元件的摄像色信号输入到二维低通滤波器，得到二维低通滤波器输出，使对应于上述注目像素的摄像色的第J摄像色信号，乘以上述注目像素中的第H二维低通滤波器输出与上述注目像素中的第J二维低通滤波器输出之比，算出对应于上述注目像素的第H插值色的非摄像色信号；和第3算出部件，使用上述第1算出部件的算出结果和上述第2算出部件的算出结果，算出对应于上述注目像素的第H插值色的非摄像色信号。

发明效果

根据本发明，由于在利用将具有第1～第N的N种光谱灵敏度特性中的某一种光谱灵敏度特性的光电转换元件排列在二维平面上的摄像元件得到图像的图像处理装置中，具备：第1算出部件，根据从注目像素周围的像素的第H光谱灵敏度特性的光电转换元件输出的摄像色信号，算出对应于该注目像素的第H插值色的非摄像色信号；第2算出部件，通过将光电转换元件的摄像色信号输入到二维低通滤波器，得到二维低通滤波器输出，使对应于上述注目像素的摄像色的第J摄像色信号，乘以上述注目像素中的第H二维低通滤波器输出与上述注目像素中的第J二维低通滤波器输出之比，算出对应于上述注目像素的第H插值色的非摄像色信号；和第3算出部件，使用上述第1算出部件的算出结果和上述第2算出部件的算出结果，算出对应于上述注目像素的第H插值色的非摄像色信号，所以可得到仍产生现有技术1和现有技术2的优点、可良好地抑制画质劣化的发生、实用性高的摄像装置。

附图说明

图1是本发明实施方式1的整体框图。

图2是表示将R信号写入2维存储器6a的情况的图。

图3是表示将G信号写入2维存储器6b的情况的图。

图4是表示将B信号写入2维存储器6c的情况的图。

图5是表示2维LPF7a的输出的图。

图6是表示2维LPF7b的输出的图。

图7是表示2维LPF7c的输出的图。

图8是表示使本实施方式2中的常数项M变化时J(m，n)、J_LPF对插值运算式的影响程度的图。

图9是本发明实施方式3的整体框图。

图10是以一般的拜耳型排列构成原始彩色滤光片作为摄像元件的例子。

图11是表示利用线性插值生成“G”的例子的图。

图12是表示利用线性插值生成“b”的例子的图。

图13是表示利用线性插值生成“r”的例子的图。

图14是插值生成存在G彩色滤光片的像素位置处的R色时的模式图。

图15是插值生成存在G彩色滤光片的像素位置处的R色时的模式图。

符号说明

1、透镜

2、摄像元件

3、A/D

4、帧存储器

5、多路复用器

6a～6c、2维存储器

7a～7c、2维LPF

8、运算电路

9、系数运算电路

10、寄存器

具体实施方式

实施方式1

下面，利用附图来说明本发明的实施方式1。图1是表示本发明实施方式1的整体框图。说明使用将粘贴了R色、G色及B色3原色的彩色滤光片的光电转换元件排列成拜耳型的摄像元件，利用数码相机来实现R信号、G信号及B信号的10比特数字静止图像的情况。

在图1中，1是会聚来自被摄体的入射光的透镜；2是对通过透镜入射的光进行光电转换的摄像元件；3是将从摄像元件输出的模拟图像信号转换成数字图像信号的A/D转换器；4是暂时存储1个画面大小的数字图像信号的帧存储器；5是多路复用器，根据像素位置从帧存储器4上的图像数据区分成R、G、B各信号；6a～6c是分别对应于R、G、B信号的2维存储器；7a～7c是分别对应于R、G、B信号的低通滤波器(下面称为LPF)；8是运算电路，参照各色的LPF输出值，算出注目像素中的非摄像色信号；9是系数运算电路，以2维LPF7a～7c的输出值为基础，算出后述的插值强度系数值K(下面称为系数K)。

下面说明动作。在图1中，从透镜1入射的光在摄像元件2上成像。摄像元件2对入射光进行光电转换，并作为模拟电信号输出。输出的模拟电信号由A/D转换器3转换成数字电信号，并输入到帧存储器4。积蓄在帧存储器4中的图像信号由未图示的控制部件依次发送到多路复用器5，由多路复用器5按各色进行分配，并将R、G、B色的各信号分别写入2维存储器6a～6c中。图2～图4示出将各色的有意义的图像信号写入2维存储器6a～6c中的情况。这些图中示出的图像信号通过LPF7a～7c来平滑化。即，LPF以注目像素为中心，作为例如图2～图4中的图像信号的平均值来进行线性插值输出。图5～图7中示出2维LPF7a～7c的输出。从2维LPF7a～7c输出的R、G、B各色的LPF输出值被输入到系数运算电路9。

下面，说明系数运算电路9。例如在生成通过配置R彩色滤光片拍摄的像素(下面称为R像素位置)中的G色插值色的情况下，系数运算电路9根据从配置在作为摄像色的R色周围的像素算出的LPF输出值R_LPF、从配置在G色周围的像素算出的LPF输出值G_LPF、作为注目像素中的所拍摄的摄像色(参照色)的R的信号值R_R，依据式7算出系数K。

[式7]

K = \frac{(Dr - | R_{R} - R_{LPF} |) \times | R_{LPF} - G_{LPF} |}{{Dr}^{2}}

……(式7)

这里，变量Dr表示输入图像信号的动态范围，通过用Dr²来除，将系数K的可取范围标准化成0≤K≤1。另外，关于(式7)的分子中的相乘的第1项(左项)，通过取注目像素中的R信号值R_R和R色的LPF输出值R_LPF的差分的绝对值，算出注目像素中的摄像色的凹凸度(注目像素的摄像色的信号电平与注目像素的摄像色的二维低通滤波器输出的信号电平的信号电平差)，并从动态范围Dr中将其减去，从而将该第1项确定成注目像素中的摄像色的凹凸度越小、第1项的值越大，摄像色的凹凸度越大、第1项的值越小。

并且，上式分子中的相乘的第2项(右项)通过取R色的LPF输出值R_LPF及G色的LPF输出值G_LPF的差分(注目像素中的第H二维低通滤波器输出与注目像素中的第J二维低通滤波器输出之差)的绝对值，算出注目像素中的色差(色调的程度)，从而确定成色差越大、第2项的值越大，色差越小、第2项的值越小。

即，注目像素中的摄像色的凹凸度越小、色差越大(注目像素的摄像色的信号电平与注目像素的摄像色的二维低通滤波器输出的信号电平的信号电平差小、注目像素中的摄像色的二维低通滤波器输出与注目像素中的插值色的二维低通滤波器输出之差大的情况)，式7中的系数K取越大的值。相反，注目像素中的摄像色的凹凸度越大、色差越小(注目像素的摄像色的信号电平与注目像素的摄像色的二维低通滤波器输出的信号电平的信号电平差大、注目像素中的摄像色的二维低通滤波器输出与注目像素中的插值色的二维低通滤波器输出之差小的情况)，系数K取越小的值。下面，使用利用式7算出的系数K，如式8所示算出注目像素中的G分量值G_R。

[式8]

G_{R} = G_{LPF} \times \frac{R_{R} \times (1 - K) + R_{LPF} \times K}{R_{LPF}}

……(式8)

在式8中，例如以K＝0的情况为代表，系数K小时，从现有技术2所示的式3的颜色插值运算得到的效果大。另一方面，例如以K＝1的情况为代表，系数K大时，G_R接近G色的LPF输出值G_LPF，并且接近利用在现有技术1中说明的线性插值法产生的颜色插值结果。

这里，在注目像素的摄像色为J、注目像素的位置为(m，n)、插值色为H的情况下，式9中示出将式7一般化后的系数运算式，式10中示出将式8一般化后的插值色信号运算式。

[式9]

K = \frac{(Dr - | J_{(m, n)} - J_{LPF} |) \times | J_{LPF} - H_{LPF} |}{{Dr}^{2}}

……(式9)

[式10]

H_{(m, n)} = H_{LPF} \times \frac{J_{(m, n)} \times (1 - K) + J_{LPF} \times K}{J_{LPF}}

……(式10)

这里，表示颜色的J及H排他地对应于R、G或B中的任意一种颜色分量。

根据上述说明可知，关于摄像色J和插值色H，在注目像素中的各自的LPF输出值存在大的差别时，式9的系数K变大(接近1)，从而要生成的H(m，n)取接近H_LPF的值。即，在该情况下，要生成的颜色分量H(m，n)不受摄像色J左右，接近对配置在同种颜色周围的像素值进行线性插值的结果，从而具有排除了图15中示出的画质劣化的效果。

另外，即使参照色J和插值色H的LPF输出值差别很大，在注目像素中的摄像色的凹凸度大时，也认为摄像色的信号变化是构成图像边缘的部分，而非噪声的影响。这种情况下，由于式9的分子的相乘第1项为小值，所以系数K小，因而式10的(1-K)项比K项大，来自特开平5-56446号公报中示出的式(3)的插值方式的影响度增大，从而具有可再现图14的峰值、可谋求高分辨率化和伪色减少的效果。

具体地说明本方式的有效性。在假定作为10比特的信号电平，G1＝4、G3＝1、G5＝4、R2＝R4＝1023，且各LPF通过简单平均算出的情况下，依据式9和式10算出注目像素中的R信号值(参照图15)。即，执行式11～式14的运算。

[式11]

G_LPF＝(4+1+4)/3＝3 ……(式11)

[式12]

R_LPF＝(1023+1023)/2＝1023 ……(式12)

[式13]

K＝(1024-|1-3|)×|3-1023|/1024²

＝1022×1020/1024²＝0.994 ……(式13)

[式14]

R_G＝1023×{1×(1-0.994)+3×0.994}/3

＝1018 ……(式14)

因此，由于所生成的插值信号值R与现有技术2的方法不同，是不逊色于配置在同种颜色周围的像素的信号电平的电平，所以在有彩色区域中不会极端地产生黑斑或白斑等画质劣化。

下面，在假定G1＝20、G3＝100、G5＝30、R2＝R4＝700，各LPF通过简单平均算出的情况下，依据式9和式10，算出注目像素中的R信号值(参照图14)。即，进行式15～式18的运算。

[式15]

G_LPF＝(20+100+30)/3＝50 ……(式15)

[式16]

R_LPF＝(700+700)/2＝700 ……(式16)

[式17]

K＝(1024-|100-50|)×|50-700|/1024²

＝974×650/1024²＝0.603 ……(式17)

[式18]

R_G＝700×{100×(1-0.603)+50×0.603}/50

＝977 ……(式18)

结果，所生成的插值信号值R与相邻的同色像素(R2＝700、R4＝700)相比，形成明确的峰值，并且再现为追随摄像色G的凹凸度形成向上凸的形状，所以与现有技术2所示出的相同，可实现高分辨率、伪色少的颜色插值。另外，在利用现有技术1算出R_R时，R_R＝R_LPF＝700。

使用上述说明的方法，对由摄像元件2得到的摄像图像的整个画面，一边沿水平或垂直方向依次错开1个像素、一边扫描注目像素位置(m，n)，算出R像素位置处的G及B分量、G像素位置处的R及B分量、B像素位置处的R及G分量，由此可得到各像素具备了全部颜色分量的1个画面大小的全彩色图像。尤其是，利用数码相机等摄像装置拍摄的图像与CG图像不同，图像中的边缘附近常常为低色度的影子(明暗)。因此，通过使用本发明，具有如下效果：在对分辨率有贡献的边缘附近可以充分发挥现有方法的优点，对于非边缘区域，即使在由于噪声的影响而在摄像色信号中产生波动的情况下，也可得到排除了黑斑等画质劣化的高画质的全彩色图像。

实施方式2

下面，利用附图说明实施方式2。表示实施方式2的整体结构的框图与实施方式1同样为图1，内部结构与实施方式1的不同仅在于包含算出系数K的式19的系数运算电路9。

下面，说明动作。在本实施方式中，通过式19实现系数运算电路9中的运算。

[式19]

K = \frac{(Dr - | J_{(m, n)} - J_{LPF} |) \times | J_{LPF} - H_{LPF} |}{M}

……(式19)

其中，在K≥1时，K＝1。

这里，在实施方式1中，M为M＝Dr²，用于标准化系数K。相反，在实施方式2中，预先考虑到包含光学系统或传感器的摄像系统的固有特性、由以模拟增益调整为代表的灵敏度调节引起的噪声特性等，使用者可以选择M(与Dr不相关)。即，该图像处理装置的使用者通过预先选择M的值，可以使系数K的取值偏向0，或偏向1。

图8是表示在使本实施方式中的式19的常数项M变化的情况下，K值偏向0时、偏向1时的图。在该图中，示出使常数项M作为例如Dr的幂变化时的情况。在图中，在M＝Dr^x中，分成X＝2、X＞2、X＜2的情况来图示。

将系数K限制为0≤K≤1，Dr(＞1)的指数x越大，M值越大，分母越大，所以式19的系数K容易饱和至0。通过进行调整增大M的值，以使系数K容易饱和至0，可以使式10受J(m，n)(现有技术2中记载的方法)的影响大。具体地说，如图8所示，在X＝2的M的情况下，系数K的值是0.9，通过使X＞2，系数K变为0.5。

另一方面，Dr(＞1)的指数x越小，M值越小，式19的系数K容易饱和至1。通过进行调整减小M的值，以使系数K容易饱和至1，式10受J_LPF(现有技术1的线性插值法)的影响大。具体地说，如图8所示，在X＝2的M的情况下，系数K的值是0.9，通过使X＜2，系数K变成1.3，由于K≥1，所以变为1。

如上所述，在本实施方式2中，通过如式19那样定义图1的系数运算电路9中的系数K，在考虑到包含光学系统或传感器的摄像系统的固有特性、由以模拟增益调整为代表的灵敏度调节引起的噪声特性等的基础上，使用者可以预先选择常数M，从而可以进行考虑到重视高分辨率和低伪色效果的颜色插值结果和重视暗部等的耐噪性能的颜色插值结果的最佳均衡的图像处理。

实施方式3

下面，利用附图说明实施方式3。图9是表示实施方式3的整体结构的框图，内部结构与现有例的不同之处在于：在进行颜色插值运算的运算电路8中使用式10，并且附加了提供式10中的系数K的寄存器10。

作为实施方式3的动作，预先直接提供式10的系数K作为常数。在这方面，与在实施方式1中从式9动态地算出系数K、在实施方式2中通过由使用者选择M而从式19动态地算出系数K不同。

使这种情况下的系数K对应于摄像条件并针对每个图像变化，这一点可与实施方式1及实施方式2相同。但是，在实施方式3中，与实施方式1及实施方式2不同，在单一图像中使用相同的系数K。由此，可以不配置系数运算电路9，所以具有可减小电路规模(在用软件实现的情况下为处理所需时间或程序代码量)、并且可使装置低价格化或处理高速化的效果。

在实施方式1及实施方式2中，对整个画面实施式10的颜色插值运算，但不限于此。即，在使用现有技术2中记载的方法的情况下，由于产生白斑或黑斑的是摄像色的信号电平低的情况，所以对于摄像色的LPF输出值为一定值以上的图像区域，可以通过设K＝0来使用现有技术2中记载的方法。另外，与此相反，对于摄像色的LPF输出值为一定值以下的图像区域，可以通过设K＝0来使用依据现有技术1的线性插值法的方法。

另外，在上述全部实施方式中，示出了使用将原色系的彩色滤光片排列成拜耳型的单板传感器来作为摄像元件的结构，但也可以使用补色系彩色滤光片，在原色系下也可以使用其他的排列(利用了第1～第N的N种光谱灵敏度特性的排列等)。

另外，在上述全部实施方式中，说明了作为现有技术1由2维LPF7a～7c使图像信号平滑化，但有时不通过LPF，而是根据从注目像素的周围像素的光电转换元件输出的摄像色信号，算出对应于该注目像素的插值色的非摄像色信号(未图示)。

另外，在上述全部实施方式中，示出了摄像元件为正方形排列，但在使用正方形排列以外的排列、例如蜂窝状排列时，也可得到同样的效果。

另外，在上述全部实施方式中，示出了作为摄像后的图像处理仅针对颜色插值处理构成的模块结构，但在构成实际的摄像装置时，与自动白色均衡处理(白色修正)、γ修正处理(灰度等级特性的修正)、滤波处理(轮廓强调或噪声除去)、JPEG压缩处理(图像数据压缩保存)等通常使用的处理相组合，当然也可得到同等效果。

另外，附加LCD接口(图像显示确认用液晶接口)、闪速存储器接口(摄像图像保存媒体接口)等输入输出接口，当然也得到同等效果。

另外，在上述全部实施方式中，示出了由A/D转换电路3将在摄像元件2中进行了光电转换后的图像数据数字化之后，在帧存储器4中一次保持1个画面大小的结构，但不限于此。即，可以构成为与摄像时的数据流同步，对像素或多条线中的每一个实施包含颜色插值的图像处理。

另外，在上述全部实施方式中，示出了可在摄像装置的内部执行颜色插值处理的结构例，但不限于此，也可以在个人计算机或彩色打印机等可以通过直接或间接地经由存储媒体连接到摄像装置上并使用单板式传感器来处理输入图像的任意一种设备上构成。

Claims

1、一种图像处理装置，利用摄像元件得到图像，该摄像元件将具有第1～第N的N种光谱灵敏度特性中的某一种光谱灵敏度特性的光电转换元件排列在二维平面上，其特征在于，该图像处理装置具备：

第1算出部件，根据从注目像素周围的像素的第H(第1～第N中的某一种)光谱灵敏度特性的光电转换元件输出的摄像色信号，算出对应于该注目像素的第H插值色的非摄像色信号；

第2算出部件，通过将光电转换元件的摄像色信号输入到二维低通滤波器，得到二维低通滤波器输出，使对应于上述注目像素的摄像色的第J(第1～第N中的某一种)摄像色信号，乘以上述注目像素中的第H二维低通滤波器输出与上述注目像素中的第J二维低通滤波器输出之比，算出对应于上述注目像素的第H插值色的非摄像色信号；和

第3算出部件，使用上述第1算出部件的算出结果和上述第2算出部件的算出结果，算出对应于上述注目像素的第H插值色的非摄像色信号。

2、根据权利要求1所述的图像处理装置，其特征在于：

第1算出部件根据注目像素中的第H二维低通滤波器输出，算出对应于该注目像素的第H插值色的非摄像色信号。

3、根据权利要求1或2所述的图像处理装置，其特征在于：

第3算出部件

在注目像素的摄像色的信号电平与上述注目像素的摄像色的二维低通滤波器输出的信号电平的信号电平差小时，增大第1算出部件的算出结果的使用比率，

在注目像素的摄像色的信号电平与上述注目像素的摄像色的二维低通滤波器输出的信号电平的信号电平差大时，增大第2算出部件的算出结果的使用比率。

4、根据权利要求1或2所述的图像处理装置，其特征在于：

第3算出部件

在注目像素中的第H二维低通滤波器输出与上述注目像素中的第J二维低通滤波器输出之差大时，增大第1算出部件的算出结果的使用比率，

在注目像素中的第H二维低通滤波器输出与上述注目像素中的第J二维低通滤波器输出之差小时，增大第2算出部件的算出结果的使用比率。

5、根据权利要求1或2所述的图像处理装置，其特征在于：

第3算出部件

在注目像素的摄像色的信号电平与上述注目像素的摄像色的二维低通滤波器输出的信号电平的信号电平差小、且上述注目像素中的第H二维低通滤波器输出与上述注目像素中的第J二维低通滤波器输出之差大时，增大第1算出部件的算出结果的使用比率，

在注目像素的摄像色的信号电平与上述注目像素的摄像色的二维低通滤波器输出的信号电平的信号电平差大、且上述注目像素中的第H二维低通滤波器输出与上述注目像素中的第J二维低通滤波器输出之差小时，增大第2算出部件的算出结果的使用比率。

6、根据权利要求1或2所述的图像处理装置，其特征在于：

第3算出部件

在设注目座标(m，n)的像素中的第J光谱灵敏度特性的光电变更元件的摄像色信号为J(m，n)，

设上述注目像素中的第H二维低通滤波器输出为H_LPF，

设上述注目像素中的第J二维低通滤波器输出为J_LPF，

设系数K的可取范围为0以上1以下的变量Dr的情况下，

在式1中的K的值大时，增大第1算出部件的算出结果的使用比率，在K的值小时，增大第2算出部件的算出结果的使用比率，

[式1]

K = \frac{(Dr - | J_{(m, n)} - J_{LPF} |) \times | J_{LPF} - H_{LPF} |}{D r^{2}} .

7、根据权利要求1或2所述的图像处理装置，其特征在于：

第3算出部件

设上述注目像素中的第H二维低通滤波器输出为H_LPF，

设上述注目像素中的第J二维低通滤波器输出为J_LPF，

设动态范围为Dr、变量为M的情况下，

在重视耐噪性能时增大式2中的M的值，

在重视高分辨率的情况下减小式2中的M的值，

[式2]

K = \frac{(Dr - | J_{(m . n)} - J_{LPF} |) \times | J_{LPF} - H_{LPF} |}{M} .

8、根据权利要求6或7所述的图像处理装置，其特征在于：

第3算出部件

在设注目像素的非摄像色信号为H(m，n)时，使用式2算出，

[式3]

H_{(m, n)} = H_{LPF} \times \frac{J_{(m, n)} \times (1 - K) + J_{LPF} \times K}{J_{LPF}} .

9、一种非摄像色信号算出装置，具有算出部件，该算出部件在生成注目像素的第H(第1～第N中的某一种)插值色时，根据周围像素的第H光谱灵敏度特性的光电转换元件的摄像色信号，算出对应于上述注目像素的第H插值色的非摄像色信号，其特征在于，

该算出部件在上述注目像素的摄像色的信号电平与上述注目像素的摄像色的二维低通滤波器输出的信号电平的信号电平差大、且上述注目像素中的第H二维低通滤波器输出与上述注目像素中的第J二维低通滤波器输出之差小时，

通过将光谱灵敏度特性的光电转换元件的摄像色信号输入到二维低通滤波器，得到二维低通滤波器输出，使作为上述注目像素的摄像色的第J(第1～第N中的某一种)摄像色信号，乘以上述注目像素中的第H二维低通滤波器输出与上述注目像素中的第J二维低通滤波器输出之比，算出对应于上述注目像素的第H插值色的非摄像色信号。

10、一种非摄像色信号算出装置，具有算出部件，该算出部件通过将光谱灵敏度特性的光电转换元件的摄像色信号输入到二维低通滤波器，得到二维低通滤波器输出，使作为注目像素的摄像色的第J(第1～第N中的某一种)摄像色信号，乘以上述注目像素中的第H二维低通滤波器输出与上述注目像素中的第J二维低通滤波器输出之比，算出对应于上述注目像素的第H插值色的非摄像色信号，

该算出部件在上述注目像素的摄像色的信号电平与上述注目像素的摄像色的二维低通滤波器输出的信号电平的信号电平差小、且上述注目像素中的第H二维低通滤波器输出与上述注目像素中的第J二维低通滤波器输出之差大的情况下，在生成上述注目像素的第H插值色时，根据周围像素的第H光谱灵敏度特性的输出信号，算出对应于上述注目像素的第H插值色的非摄像色信号。

11、一种图像处理方法，具备：

线性插值算出步骤，根据从注目像素周围的像素的第H(第1～第N中的某一种)光谱灵敏度特性的光电转换元件输出的摄像色信号，算出对应于该注目像素的第H插值色的非摄像色信号；

颜色相关算出步骤，通过将光谱灵敏度特性的光电转换元件的摄像色信号输入到二维低通滤波器，得到二维低通滤波器输出，使对应于上述注目像素的摄像色的第J(第1～第N中的某一种)摄像色信号，乘以上述注目像素中的第H二维低通滤波器输出与上述注目像素中的第J二维低通滤波器输出之比，算出对应于上述注目像素的第H插值色的非摄像色信号；和

算出合并步骤，使用线性插值算出步骤的算出结果和颜色相关算出步骤的算出结果，算出对应于注目像素的第H插值色的非摄像色信号。

12、一种图像处理方法，具备：

颜色相关算出步骤，通过将光谱灵敏度特性的光电转换元件的摄像色信号输入到二维低通滤波器，得到二维低通滤波器输出，使对应于注目像素的摄像色的第J(第1～第N中的某一种)摄像色信号，乘以上述注目像素中的第H二维低通滤波器输出与上述注目像素中的第J二维低通滤波器输出之比，算出对应于上述注目像素的第H插值色的非摄像色信号；

线性插值算出步骤，根据从注目像素周围的像素的第H(第1～第N中的某一种)光谱灵敏度特性的光电转换元件输出的摄像色信号，算出对应于上述注目像素的第H插值色的非摄像色信号；和