CN1290343C - 数据处理设备、图像处理设备、相机和数据处理方法 - Google Patents

Abstract

本发明提供了一种用于处理固体摄像元件获得的图像信号的数据处理设备，在该固体摄像元件内，在各像素上分离设置多种类型的滤色器，而要内插的像素及其周围像素具有图像信号。该设备包括：内插部分，通过至少利用要内插的像素及其周围像素的图像信号中的周围像素的图像信号进行内插，产生每个像素的图像信号内的丢失彩色信号。根据要内插的像素及其周围像素的图像信号的均匀性和倾斜度，内插部分获得与要内插的像素及其周围像素的数据值的图形类似的内插图形，然后，根据该内插图形，进行内插。

Description

数据处理设备、图像处理设备、相机 和数据处理方法

本非临时专利申请根据35 U.S.C§119(a)要求优先权基于2003年6月18日在日本提交的第2003-174061号专利申请，在此合并其全部内容供参考。

技术领域

本发明涉及一种将丢失彩色信号内插到每个像素的图像信号中、用于具有固体摄像元件的相机(例如，摄像机、数码相机等)的数据处理设备(例如，相机信号处理设备等)。此外，本发明还涉及采用该数据处理设备的数据处理方法，采用该数据处理方法的图像处理设备以及使用该图像处理设备和固体摄像元件的相机(例如，摄像机、数码相机、具有相机的移动电话等)。

背景技术

在采用一个固体摄像元件的传统相机(例如，摄像机、数码相机等，以下将它们称为相机)中，在固体摄像元件的各像素上分离设置滤色器。

每个滤色器具有三色(三原色)之一，例如红色(R)、绿色(G)和蓝色(B)。R、G和B滤色器之一设置在每个像素上。通过计算可以获得对像素设置的滤色器的颜色之外的颜色(彩色信号)。在这种情况下，可以获得空间连续数据(在此是二维的)，如同连续设置3个滤色器。用于获得空间连续数据的这种计算被称为内插。

以下将详细说明内插。

图8是示出传统滤色器的排列的示意图。

通常，在滤色器板上，以棋盘图形方式排列G滤色器，同时以棋盘图形方式一起排列R滤色器和B滤色器，其中R滤色器或B滤色器排列在其他行上(参考图8)。将这种排列称为Bayer阵列。

如果固体摄像元件利用具有Bayer阵列的滤色器板来数字化图像信号，则每个像素提供的图像信号仅表示一种颜色。因此，为了获得每个像素的全色图像信号(包括所有R、G和B彩色信号)，需要根据丢失彩色信号的其他像素的图像信号内插未送到像素的彩色数据。

在这种情况下，利用单独方法内插G像素以及R像素和B像素。

图9A和9B是用于解释传统内插技术的示意图。在这两个附图中，利用G表示对其设置G滤色器的像素。由于R滤色器和B滤色器排列在要内插的像素上，所以利用P和Q分别表示对其设置R滤色器和B滤色器的像素。

如图9A所示，例如，假定G33是要内插的像素。需要通过内插获得像素的R和B(P和Q)数据。G像素的相邻像素是R像素和B像素。

利用P33和Q33表示内插G33获得的P和Q。具体地说，利用下面的表达式，根据P和Q的相邻像素G33，计算P33和Q33：

G33＝G33

P33＝(P32+P34)/2

Q33＝(Q23+Q43)/2

接着，如图9B所示，假定Q33是要内插的像素。通过内插，获得该像素的G数据和P数据。Q像素的相邻像素是G像素和P像素。

利用G33和P33表示通过内插Q33获得的G和P。具体地说，利用下面的表达式，根据G和P的相邻像素Q33，计算G33和P33：

G33＝(G23+G32+G34+G43)/4

P33＝(P22+P24+P42+P44)/4

Q33＝Q33

然而，上述通用内插技术导致图像失真，而且导致边缘部分的分辨率降低，如下所述。

下面将参考图10A说明该问题，在图10A中，成像垂直带状图形。

在图10A中，G11至G15形成的线是高亮度线，该线通常被显示为白色。Q21至Q25形成的线是低亮度线，该线通常被显示为黑色。

图10B是示出位于图10A所示垂直带状图形上的每个像素的图像信号值的示意图，其中每个白色像素具有值100，而每个黑色像素具有值0。

假定G33是要内插的像素。根据上面的表达式进行内插。结果，

G33＝100

P33＝(P32+P34)/2＝100，以及

Q33＝(Q23+Q43)/2＝0

同样，根据上述表达式，对所有其他像素进行内插。结果示于图10C至10E。图10C示出内插之后的G值。图10D示出内插之后的P值。图10E示出内插之后的Q值。

如图10C所示，G的内插数据不表示垂直带状图形，因此图像出现失真。如图10E所示，Q的内插数据不表示垂直带状图形，其中该带消失，即图像出现失真。

例如第7-59098号日本专利公报中，尝试解决因为内插引起的这种图像失真问题。在该文献中，根据水平或垂直相邻像素之间的差值，获得像素的灰度级。将该灰度级与预定阈值进行比较。根据比较结果，进行内插。

下面将参考图11A说明上面的文献公开的这种内插技术，在图11A中，成像水平带状图形。

在图11A中，G11到G51、G13到G53、G15到G55分别形成的线分别具有低亮度，通常，将低亮度显示为黑色。P12到P52和P14到P54分别形成的线分别具有高亮度，通常，将高亮度显示为白色。

图11B示出图11A所示水平带状图形上的每个像素的图像信号值，其中每个白像素分别具有值100，而每个黑像素分别具有值0。

根据上述文献，如果假定图11A所示的像素Q23是要内插的像素，则利用下面的表达式计算彩色数据G23和P23：

Q23＝Q23

P23＝0.25×[P14-Adap(G14)+P12-Adap(G12)

+P32-Adap(G32)+P34-Adap(G34)]

+Adap(G23)

G23＝Adap(G23)

...(1)

根据上述文献，利用表达式(2)计算表达式(1)中的Adap，表达式(2)具有条件转移。下面的表达式(2)表示图11A中的像素G23。在表达式(2)中，“Threshold”表示预定阈值，“Gdiff-hor”表示亮度的水平差值，以及“Gdiff-ver”表示亮度的垂直差值。

Gdiff-hor＝|G13-G33|

Gdiff-ver＝|G22-G24|

Threshold＝预定值

如果(Gdiff-hor＜Threshold)且(Gdiff-ver＜Threshold)

或(Gdiff-hor＞Threshold)且(Gdiff-ver＞Threshold)

那么|Adap(G23)＝(G13+G33+G22+G24)/4|

如果(Gdiff-hor＜Threshold)且(Gdiff-ver＞Threshold)

那么|Adap(G23)＝(G13+G33)/2|

如果(Gdiff-hor＞Threshold)且(Gdiff-ver＜Threshold)

那么|Adap(G23)＝(G22+G24)/2|

...(2)

然而，利用上述文献公开的内插技术，一些图像可能出现失真。

例如，利用表达式(1)和(2)，根据图11B所示的数据值，计算G23。结果，

Gdiff-hor＝Gdiff-ver＝0

而且，如果不考虑阈值的值，则

G23＝Adap(G23)＝|G13+G3 3+G22+G24|/4＝50

同样，所计算的G43也是50。

根据上述文献，利用每个像素的数据计算的G13、G33和G53均为0。

图11C示出所获得的G13到G53的数据。

在图11C中，内插产生伪白色信号，相反，它在图11A中是黑色，因此在水平线上，产生亮度差。获得的图形显示交替的黑色和白色，或弱亮度和强亮度，这被称为闪光环噪声(zipper noise)。即，图像出现失真。

此外，在上述文献的内插技术中，将亮度值的垂直差值和水平差值与预定阈值进行比较。如果图像信号没有噪声等，则这种技术有效。然而，如果因为噪声等使得亮度值的水平差值和垂直差值在该阈值附近波动，则内插计算以时序方式波动，因此数据也波动。例如，要内插的像素很可能以时序方式闪烁。

发明内容

根据本发明的一个方面，提供了一种用于处理固体摄像元件获得的图像信号的数据处理设备，在该固体摄像元件内，在各像素上分离设置多种类型的滤色器，而要内插的像素及其周围像素具有图像信号。该设备包括：内插部分，通过至少利用要内插的像素及其周围像素的图像信号中的周围像素的图像信号进行内插，产生每个像素的图像信号内的丢失彩色信号；和内插图形存储部分，用于存储多个表示图形信号的均匀性和倾斜度的内插图形。根据要内插的像素及其周围像素的图像信号的均匀性和倾斜度，内插部分，从存储在内插图形存储部分内的多个内插图形中，至少获得一个与要内插的像素及其周围像素的数据值的图形类似的内插图形，然后，根据该至少一个内插图形，进行内插。

在本发明的一个实施例中，对存储在内插图形存储部分内的多个内插图形分别提供识别信息，以及内插部分将选择的内插图形的识别信息存储到内插图形存储部分内。

在本发明的一个实施例中，内插部分计算表示至少一个内插图形与要内插的像素及其周围像素的数据值的图形的相似性的方向性数据，并选择其中方向性数据是最小的内插图形。

在本发明的一个实施例中，根据要内插的像素是主要对亮度起作用的像素，还是不是主要对亮度起作用的像素，内插部分选择至少一个内插图形之一，然后，根据选择的内插图形进行内插。

在本发明的一个实施例中，当要内插的像素是主要对亮度起作用的像素时、或者当要内插的像素不是主要对亮度起作用的像素时，至少使用存储在内插图形存储部分内的多个内插图形之一。

在本发明的一个实施例中，内插图形存储部分存储：其中水平排列具有规定值的像素的图形；其中垂直排列具有规定值的像素的图形；其中向右上方向倾斜排列具有规定值的像素的图形；其中向右下方向倾斜排列具有规定值的像素的图形；其中具有规定值的像素一起排列在左上角部分的图形；其中具有规定值的像素一起排列在右上角部分的图形；其中具有规定值的像素一起排列在左下角部分的图形；以及其中具有规定值的像素一起排列在右下角部分的图形，作为多个内插图形。

在本发明的一个实施例中，当存储在内插图形存储部分内的多个内插图形均不与要内插的像素及其周围像素的图像信号的数据值的图形类似时，根据存储在内插图形存储部分的内插表达式，内插部分进行内插。

在本发明的一个实施例中，当存储在内插图形存储部分内的多个内插图形中的两个或者更多个内插图形与要内插的像素及其周围像素的图像信号的数据值的图形类似时，根据对一个或者多个周围像素选择的内插图形，内插部分选择两个或者更多个内插图形之一。

在本发明的一个实施例中，根据对应于获得的内插图形的表达式，内插部分进行内插。

根据本发明的另一个方面，提供了一种图像处理设备，该图像处理设备包括：上述数据处理设备；以及图像处理部分，根据数据处理设备获得的内插图形，进行图像处理。

根据本发明的另一个方面，提供了一种相机，该相机包括上述图像处理设备。相机从固体摄像元件接收图像信号，然后，进行内插和图像处理，以获得相机的图形数据。

根据本发明的另一个方面，提供了一种用于处理从固体摄像元件获得的图像信号的数据处理方法，在该固体摄像元件内，在各像素上分离设置多种类型的滤色器，而要内插的像素及其周围像素具有图像信号。该方法包括步骤：根据要内插的像素及其周围像素的图像信号的均匀性和倾斜度，从预先存储在内插图形存储部分内的、表示图像信号的均匀性和倾斜度的多个内插图形中，获得与要内插的像素及其周围像素的数据值的图形类似的内插图形；以及根据该内插图形，进行内插，以产生要内插的像素的图像信号内的丢失彩色信号。

下面说明本发明的功能。

在固体摄像元件内分离设置(例如，Bayer阵列)多种类型的滤色器，例如RGB(三原色)滤色器。该装置获得数字化图像信号(像素信号)。根据本发明，通过进行内插，在未设置对应于丢失彩色信号的滤色器的像素，可以获得丢失彩色数据(信号)，如同所有滤色器连续设置在每个像素内一样。例如，当固体摄像元件具有1,000像素时，每个像素具有对应于R、G和B之任一的图像信号的数据。通过进行内插，分别对R、G和B获得1,000个数据(信号)。这样，获得3,000个彩色信号。因此，可以实现空间(在此是二维的)的数据连续性。

根据本发明，如下进行内插。根据图像信号的均匀性和倾斜度，获得与要内插的像素及其周围像素的图像信号的数据值的图形类似的内插图形。根据获得的内插图形，进行内插。这样，考虑到图像信号的均匀性和倾斜度，进行内插。这样，可以防止出现传统内插技术中发生的图像失真。此外，正如第7-59098号日本专利公报描述的那样，在该专利申请中，在内插过程中使用阈值，由于噪声干扰，而导致内插计算过程发生变化，因此图像信号发生波动。利用本发明可以解决这种问题。

考虑到图像信号的均匀性和倾斜度，准备内插图形。例如，内插图形存储部分存储：其中水平排列具有规定值的像素的图形；其中垂直排列具有规定值的像素的图形；其中向右上方向倾斜排列具有规定值的像素的图形；其中向右下方向倾斜排列具有规定值的像素的图形；其中具有规定值的像素一起排列在左上角部分的图形；其中具有规定值的像素一起排列在右上角部分的图形；其中具有规定值的像素一起排列在左下角部分的图形；以及其中具有规定值的像素一起排列在右下角部分的图形。对于每个内插图形，计算表示内插图形的相似性的方向性数据。可以选择具有最小方向性数据值的内插图形。

假定像素位于内插图形内，根据对应于内插图形的表达式，利用要内插的像素及其周围像素的图像信号，或者其周围像素的图像信号，进行内插。对所有像素连续进行该处理。

当与要内插的像素及其周围像素的图像信号的数据值的图形类似的内插图形未存储在内插图形存储部分内时，利用规定的表达式进行内插。因此，即使根据均匀性和倾斜度不能获得最佳内插图形，仍可以进行更精确内插。

当将与要内插的像素及其周围像素的图像信号的数据值的图形类似的两个或者更多个内插图形存储到内插图形存储部分内时，根据对周围像素选择的内插图形，选择两个或者更多个内插图形之一。通过考虑到周围像素的内插图形，即使噪声等的波动以时序方式改变图像信号数据，仍可以防止内插过程计算的图像信号发生波动。

在图像的边缘部分，亮度发生显著变化，而颜色在该部分的变化减小。主要对亮度起作用的像素，例如G像素在边缘部分发生显著变化，而不对亮度起主要作用的像素，例如R和B像素变化较小。因此，通过对上述情况分别进行内插，可以进行最佳内插。

此外，内插之后，可以根据内插图形，进行数字图像信号处理，例如边缘加重处理，伪彩色信号抑制处理等，该内插图形是根据要内插的像素及其周围像素的图像信号的均匀性和倾斜度获得的。因此，可以产生令人满意的图像。

这样，在此描述的本发明可以有利提供：数据处理设备(例如，相机信号处理设备等)，其中当从固体摄像元件获得内插的数字图像信号时，可以避免噪声波动，而且可以防止图像失真，在该固体摄像元件内，在各像素上分离设置多种类型的滤色器；使用该数据处理设备的数据处理方法；采用该数据处理方法的图像处理设备；以及使用该图像处理设备的相机。

在参考附图阅读并理解了下面的详细说明后，对于本技术领域内的熟练技术人员，本发明的这些以及其他优点是显而易见的。

附图说明

图1是示出根据本发明实施例的相机的配置的方框图。

图2是用于解释图1所示内插部分执行的内插过程的流程图。

图3A和3B是示出存储在图1所示行存储器内的图像信号的图像示意图，其中P和Q分别表示R像素或B像素，或者B像素或R像素。

图4A至4H是示出关于G像素的典型内插图形的示意图，其中P和Q分别表示R像素或B像素，或者B像素或R像素。

图5A至5D是用于解释根据本发明确定内插过程的内插图形的方法的示意图，其中P和Q分别表示R像素或B像素，或者B像素或R像素。

图6A至6H是示出关于P像素的典型内插图形的示意图，其中P和Q分别表示R像素或B像素，或者B像素或R像素。

图7A至7H是用于解释作为根据本发明的图像处理过程进行边缘加重处理的示意图，其中P和Q分别表示R像素或B像素，或者B像素或R像素。

图8是示出滤色器上各颜色的传统Bayer阵列排列的示意图。

图9A和9B是用于解释传统内插技术的示意图，其中P和Q分别表示R像素或B像素，或者B像素或R像素。

图10A至10E是用于解释传统内插技术存在的问题的示意图，其中P和Q分别表示R像素或B像素，或者B像素或R像素。

图11A至11C是用于解释传统内插技术存在的另一个问题的示意图，其中P和Q分别表示R像素或B像素，或者B像素或R像素。

具体实施方式

下面将参考附图，利用说明性例子，说明本发明。包括图像处理设备的相机(相机系统)包括本发明的数据处理设备，以下将特别说明该相机。

图1是示出根据本发明实施例的相机的配置的方框图。在图1中，实线箭头表示图像信号流，而点划线箭头表示控制信号流。

在图1中，相机100包括：固体摄像元件1；CDS(相关双采样电路)2；AGC(自动增益控制电路)3；A/D(模拟/数字)变换电路4；DSP(数字信号处理器)5，是图像处理设备，例如相机信号处理设备等；以及TG(定时信号生成电路)6。

固体摄像元件1包括进行光电变换的光电二极管。R、G和B(三原色)滤色器以所谓Bayer阵列的方式分离排列在光电二极管上，如图8所示。进入光电二极管的光信号被光电变换为电信号。

CDS 2和AGC 3分别对固体摄像元件1输出的信号进行相关双采样和自动增益控制处理。

A/D变换电路4将模拟图像信号变换为数字图像信号。

DSP 5对A/D变换电路4输出的数字信号进行图像处理(以下做详细说明)。

TG 6是用于产生/驱动定时信号以传送上述电信号的电路。

DSP 5包括：5行的行存储器7、内插部分8、内插图形存储内存9、图像信号处理部分10以及I/F部分11。行存储器7、内插部分8以及内插图形存储内存9构成数据处理设备12。

行存储器7保存输入到DSP 5的图像信号的5行的数据，并将该数据连续送到内插部分8。

根据行存储器7输入的图像信号，内插部分8对要内插的像素进行内插。任选使用存储在内插图形存储内存9内的内插图形。内插处理取决于要内插的像素及其周围像素的图像信号均匀性和倾斜度。将内插之后获得的图像信号传送到图像信号处理部分10。

内插图形存储内存9预先存储多个内插图形。当内插部分8进行内插时，将内插图形存储内存9选择的内插图形号作为用于识别内插图形的信息存储到内插图形存储内存9内。

图像信号处理部分10是用于处理图像信号的众所周知的每块。在此不做详细说明。通常，图像信号处理部分10进行多种图像处理，例如，用于调节固体摄像元件1的曝光的自动曝光控制处理，用于调节图像信号的白电平的自动白平衡控制处理，用于加重边缘信号的边缘加重处理，用于去除边缘部分产生的伪色的伪色抑制处理等。

I/F部分11接收图像信号处理部分10已经处理过的图像信号，然后，与外部电路系统同步传送该图像信号。

以下将参考图2以及图3A和B至6，说明内插部分8执行的内插。

图3A和3B是示出从存储在行存储器7内的图像信号中提取的、具有5×5像素(水平方向和垂直方向分别有5个像素)的图像的示意图，其中要内插的像素位于G33，G33位于该图像的中心。图3A示出其中设置在要内插的像素上的滤色器的颜色是G的图像。图3B示出其中设置在要内插的像素上的滤色器的颜色是R或B的图像。请注意，在该Bayer阵列中，R或B滤色器设置在要内插的像素上，因此，在图3B中，利用P和Q表示R和B滤色器。

我们知道，亮度在图像的边缘部分显著变化，而该部分的颜色的变化却较小。例如，主要对亮度起作用的G像素的图像信号在边缘部分显著变化，而主要对彩色分量起作用而不对亮度起作用的R和B像素的图像信号的变化较小。

因此，在图2所示步骤S1，内插部分8对G像素或者R像素或B像素分别进行最佳内插。

首先，将说明对G像素进行的内插。

在图2所示的步骤S2，当在步骤S1确定对G像素进行内插时，计算要内插的G像素及其周围像素的图像信号的均匀性和倾斜度。为了获得图像信号的均匀性和倾斜度，需要将均匀性和倾斜度变换为数值形式。数值数据被称为方向性数据。

在该实施例中，将如图4A至4H所示的内插图形存储到内插图形存储内存9内，对于每个内插图形，根据下面描述的表达式，计算方向性数据Gv(x)。结果，可以获得其数量与内插图形的数量相同的方向性数据。方向性数据表示与其相应内插图形的相似性。当方向性数据的值小时，确定G像素(要内插的像素)及其周围像素的图像信号的数据值的图形与内插图形类似。

例如，图4A示出其中低亮度像素排列在向右上方倾斜的线上的内插图形。因此，图4A所示的内插图形没有均匀性，而且具有从左向右升高的倾斜度。当图像信号的数据值的图形与该内插图形类似时，确定该图形数据出现在向右上方倾斜的线上。因此，方向性数据Gv(1)表示要内插的像素及其周围像素的图像信号的数据值的图形与内插图形之间的相似性的数值值，通过计算要内插的像素的G33与剩余像素G51、G42、G24以及G15的值之间的差值的平均值，可以获得该方向性数据。因此，方向性数据Gv(1)被表示为：

Gv(1)＝(|G33-G51|+|G33-G42|+|G33-G24|+|G33-G15|)/4

当要内插的像素及其周围像素的图像信号与内插图形匹配时，所有差值均为0。方向性数据Gv(1)的值越小，要内插的像素及其周围像素的图像信号的数据值的图形与图4A所示的内插图形之间的相似性越高。

图4B示出其中水平排列低亮度像素的内插图形。因此，图4B所示的内插图形没有均匀性，而且其倾斜度是水平的。因此，方向性数据Gv(2)表示要内插的像素及其周围像素的图像信号的数据值的图形与内插图形之间的相似性的数值值，利用下面的表达式计算方向性数据Gv(2)：

Gv(2)＝(|G33-G13|+|G33-G53|)/2

方向性数据Gv(2)的值越小，要内插的像素及其周围像素的图像信号的数据值的图形与图4B所示的内插图形之间的相似性越高。

图4C示出其中将低亮度像素排列在向右下方倾斜的线上的内插图形。因此，图4C所示的内插图形没有均匀性，而且具有从左向右降低的倾斜度。方向性数据Gv(3)表示要内插的像素及其周围像素的图像信号的数据值的图形与内插图形之间的相似性的数值值，利用下面的表达式计算方向性数据Gv(3)：

Gv(3)＝(|G33-G11|+|G33-G22|+|G33-G44|+|G33-G55|)/4

方向性数据Gv(3)的值越小，要内插的像素及其周围像素的图像信号的数据值的图形与图4C所示的内插图形之间的相似性越高。

图4D示出其中垂直排列低亮度像素的内插图形。因此，图4D所示的内插图形没有均匀性，而且其倾斜度是垂直的。因此，方向性数据Gv(4)表示要内插的像素及其周围像素的图像信号的数据值的图形与内插图形之间的相似性的数值值，利用下面的表达式计算方向性数据Gv(4)：

Gv(4)＝(|G33-G31|+|G33-G35|)/2

方向性数据Gv(4)的值越小，要内插的像素及其周围像素的图像信号的数据值的图形与图4D所示的内插图形之间的相似性越高。

图4E示出其中将低亮度像素一起排列在该图形的左上部分的内插图形。因此，图4E所示的内插图形具有均匀性(左上部分)和倾斜度(角部)。方向性数据Gv(5)表示要内插的像素及其周围像素的图像信号的数据值的图形与内插图形之间的相似性的数值值，利用下面的表达式计算方向性数据Gv(5)：

Gv(5)＝(|G33-G11|+|G33-G31|+|G33-G22|+|G33-G13|)/4

方向性数据Gv(5)的值越小，要内插的像素及其周围像素的图像信号的数据值的图形与图4E所示的内插图形之间的相似性越高。

图4F示出其中将低亮度像素一起排列在该图形的右上部分的内插图形。因此，图4F所示的内插图形具有均匀性(右上部分)和倾斜度(角部)。方向性数据Gv(6)表示要内插的像素及其周围像素的图像信号的数据值的图形与内插图形之间的相似性的数值值，利用下面的表达式计算方向性数据Gv(6)：

Gv(6)＝(|G33-G31|+|G33-G42|+|G33-G51|+|G33-G53|)/4

方向性数据Gv(6)的值越小，要内插的像素及其周围像素的图像信号的数据值的图形与图4F所示的内插图形之间的相似性越高。

图4G示出其中将低亮度像素一起排列在该图形的左下部分的内插图形。因此，图4G所示的内插图形具有均匀性(左下部分)和倾斜度(角部)。方向性数据Gv(7)表示要内插的像素及其周围像素的图像信号的数据值的图形与内插图形之间的相似性的数值值，利用下面的表达式计算方向性数据Gv(7)：

Gv(7)＝(|G33-G13|+|G33-G24|+|G33-G15|+|G33-G35|)/4

方向性数据Gv(7)的值越小，要内插的像素及其周围像素的图像信号的数据值的图形与图4G所示的内插图形之间的相似性越高。

图4H示出其中将低亮度像素一起排列在该图形的右下部分的内插图形。因此，图4H所示的内插图形具有均匀性(右下部分)和倾斜度(角部)。方向性数据Gv(8)表示要内插的像素及其周围像素的图像信号的数据值的图形与内插图形之间的相似性的数值值，利用下面的表达式计算方向性数据Gv(8)：

Gv(8)＝(|G33-G35|+|G33-G44|+|G33-G53|+|G33-G55|)/4

方向性数据Gv(8)的值越小，要内插的像素及其周围像素的图像信号的数据值的图形与图4H所示的内插图形之间的相似性越高。

在用于计算方向性数据的上述表达式中，使用图像信号的2个或者4个数据。在这两种情况下，数据的数量与内插图形上出现的所有G像素的数量对应。

具有方向性数据值Gv(1)至Gv(8)中最小值的、要内插的像素及其周围像素的图像信号的数据值的图形与存储在内插图形存储内存9内的内插图形最相似。将方向性数据的( )内的数值值称为内插图形号。在这种情况下，将内插图形称为Gn33。

在图2所示的步骤S3，利用上述方向性数据Gv(1)至Gv(8)获得对于要内插的像素及其周围像素的图像信号具有最小方向性数据值的内插图形。

例如，当成像图5A所示水平带状图形(2条带)以获得图5B所示图像信号的数据值时，以下获得Gv(1)至Gv(8)，其中G33是要内插的像素，

Gv(1)＝(100+100+100+0)/4＝75

Gv(2)＝(0+0)/2＝0

Gv(3)＝(100+100+100+0)/4＝75

Gv(4)＝(100+0)/2＝50

Gv(5)＝(100+100+100+0)/4＝75

Gv(6)＝(100+100+100+0)/4＝75

Gv(7)＝(100+0+0+0)/4＝25

Gv(8)＝(100+0+0+0)/4＝25

在这种情况下，具有最小值的方向性数据是Gv(2)，它是内插图形方向性数据中的唯一最小值。

接着，在图2所示步骤S4中，确定是否只有一个内插图形提供最小方向性数据值。当只有一个内插图形(是)时，该处理过程到步骤S5。当存在两个或者更多个内插图形(否)时，该处理过程到步骤S6。

在步骤S5，例如，当最小值是Gv(2)时，可以看出要内插的像素及其周围像素的图像信号的数据值的图形与图4B所示内插图形类似。在这种情况下，内插部分8将要内插的像素的内插图形(Gn33＝2)存储到内插图形存储内存9内。

在步骤S7，内插部分8根据每个内插图形进行内插。通过内插获得的彩色数据被指定为Go、Po或Qo。利用在内插图形存储内存9等内事先准备好的内插表达式，可以计算彩色数据，该内插表达式与彩色数据的内插图形对应。

下面将说明适合用于对应于Gv(1)至Gv(8)的每个内插图形的典型内插表达式。

内插图形号1：(Gv(1)是最小的)

Go＝(G15+G24×2+G33×2+G42×2+G51)/8

Po＝(P14+P34+P32+P52)/4

Qo＝(Q23+Q25+Q43+Q41)/4

内插图形号2：(Gv(2)是最小的)

Go＝(G13+G33×2+G53)/4

Po＝(P12+P14+P32×2+P34×2+P52+P54)/8

Qo＝(Q23+Q43)/2

内插图形号3：(Gv(3)是最小的)

Go＝(G11+G22×2+G33×2+G44×2+G55)/8

Po＝(P12+P34+P32+P54)/4

Qo＝(Q21+Q23+Q43+Q45)/4

内插图形号4：(Gv(4)是最小的)

Go＝(G31+G33×2+G35)/4

Po＝(P32+P34)/2

Qo＝(Q21+Q41+Q23×2+Q43×2+Q25+Q45)/8

内插图形号5：(Gv(5)是最小的)

Go＝(G11+G13+G22+G31+G33×4)/8

Po＝(P12+P32)/2

Qo＝(Q21+Q23)/2

内插图形号6：(Gv(6)是最小的)

Go＝(G31+G42+G53+G51+G33×4)/8

Po＝(P32+P52)/2

Qo＝(Q41+Q43)/2

内插图形号7：(Gv(7)是最小的)

Go＝(G13+G15+G24+G35+G33×4)/8

Po＝(P14+P34)/2

Qo＝(Q23+Q25)/2

内插图形号8：(Gv(8)是最小的)

Go＝(G35+G44+G53+G55+G33×4)/8

Po＝(P34+P54)/2

Qo＝(Q43+Q45)/2

通过利用上述表达式进行内插，可以计算彩色数据。

在上述内插表达式中，计算图像信号的平均值以获得Go、Po和Qo。在这种情况下，要均化的像素的数量是2的乘方。这是因为如果使用2的乘方，则利用移位操作可以简化计算过程，因此容易构造计算器(硬件)，而且可以提高计算速度。通过加权特定像素(s)，可以进行其中数据值的数量是2的乘方的均化过程，而非进行简单平均。这是因为，利用更靠近要内插的像素的像素的数据，可以获得更精确的数据。

下面将说明图2所示步骤S4。并不是始终仅有一个内插图形具有最小方向性数据值。例如，当成像如图5A所示的水平带状图形时，可以获得图像信号的数据值，如图5B所示。在这种情况下，如果如图5C所示，G31因为诸如噪声等的波动而变成0，则如下计算Gv(1)至Gv(8)：

Gv(1)＝(100+100+100+0)/4＝75

Gv(2)＝(0+0)/2＝0

Gv(3)＝(100+100+100+0)/4＝75

Gv(4)＝(0+0)/2＝0

Gv(5)＝(100+100+100+0)/4＝75

Gv(6)＝(100+100+100+0)/4＝75

Gv(7)＝(100+0+0+0)/4＝25

Gv(8)＝(100+0+0+0)/4＝25

根据上述计算结果，Gv(2)和Gv(4)是最小方向性数据值。

因此，如上述计算结果所示，利用获得具有最小方向性数据值的内插图形和内插图形号的方法，有时会获得两个或者更多个内插图形。不能确定将哪个内插图形用于最佳内插表达式。

在该实施例中，在图2所示的步骤S6，当存在两个或者更多个具有最小方向性数据值的内插图形时，要考虑到与已经确定其最佳内插图形的周围像素的内插图形相关。这是因为，在图像中，要内插的像素的图像信号的数据值与其周围像素的图像信号的数据值高度相关。

在图5C中，从左上像素向右，然后向下，...，即Q01，G11，...，Q41，G51，G02，P12，...，Q45，G55进行内插。

假定要内插的当前像素是G33。当以上述顺序进行内插时，已经对像素G13、G22和G31进行了内插。将其内插图形号存储到内插图形存储内存9。

假定图5C所示的像素G13、G22和G31分别具有存储的内插图形号Gn13、Gn22和Gn31。在这种情况下，成像具有图5A所示2条带的水平带状图形，显然，Gn13和Gn22＝2，而Gn31≠4。因此，确定Gv(2)与周围像素的内插图形相关。具体地说，如果具有最小值的一个内插图形是周围像素G的内插图形，则该内插图形是周围像素G的内插图形之一。在这种情况下，在步骤S7，执行“对应于图形的内插”。具体地说，确定最佳内插图形号G33是2，而将适合用于Gv(2)的内插图形的内插表达式进行内插。

因此，即使噪声的波动使图5B所示的数据转变为图5C所示的数据，但是仍可以对像素G33进行内插，以精确计算彩色数据，而不受噪声的干扰。

然而，对于图5D所示的图像，方向性数据Gv(1)至Gv(8)均具有同样的值，而且与周围像素的内插图形不相关。在这种情况下，在步骤S6，确定不能确定内插图形具有最小值。换句话说，如果不存在“最小内插图形＝周围像素G的内插图形”，则确定“内插图形＝不能确定”。当被确定为“不能确定”时，在步骤S7，进行“对应于图形的内插”。具体地说，为了对应于“不能确定”的情况事先在内插图形存储内存9内准备好的内插表达式用于进行内插。

以下将说明用于“不能确定”情况的典型内插表达式。

“不能确定”：

Go＝(G22+G24+G42+G44+G33×4)/8

Po＝(P32+P34)/2

Qo＝(Q23+Q43)/2

将这样获得的内插图形号或表示“不能确定”的编号作为Gn33存储到内插图形存储内存9，而且在内插周围像素时，可以利用它验证内插图形的相关性。

利用步骤S1至S7，可以对G信号，实现最佳内插，G信号是主要对亮度起作用的图像信号。

接着，将说明R像素和B像素的内插过程。

请注意，当R像素是要内插的像素时B像素的排列与当B像素是要内插的像素时R像素的排列相同。因此，下面对要内插的像素指定P，而对G像素之外的其他像素指定Q。

为了获得适合P像素和Q像素的内插图形，在图2所示步骤S8验证对周围像素G获得的内插图形的相关性。

通常，分辨率在边缘部分发生变化。特别是亮度(＝黑色和白色)变化显著，而彩色信号的变化不非常明显。因此，在边缘部分，仅处理对亮度起作用的G像素数据。如果内插R像素或B像素，则在其他情况下是黑色的部分会具有彩色信号。因此，当内插R像素和B像素(P像素和Q像素)时，需要内插G像素的内插图形与其周围像素的内插图形的相关性。

在该实施例中，在图2所示步骤S8，当围绕要内插的P像素的各G像素的内插图形号相同时，将对应于周围像素G的内插图形的号用作要内插的P像素的最佳内插图形。

在步骤S8，周围像素G的内插图形号相同时，在步骤S14，选择周围像素G的内插图形作为要内插的P像素的内插图形。例如，假定要内插的P像素的内插图形号是Pn33。当从左上像素向右，然后向下，进行内插时，Gn32和Gn23用作周围像素G的内插图形号。在步骤S8，如果Gn23＝Gn32，则在图2所示步骤S14，设置内插图形号Pn33等于Gn23。

接着，在图2所示步骤S8，当围绕要内插的P像素的G信号的内插图形号不同时(否)，计算数值方向性数据，以获得要内插的P像素及其周围像素的图像信号的均匀性和倾斜度。

在该实施例中，在内插图形存储内存9内准备好如图6A至6H所示的内插图形。对于每个内插图形，利用下面的表达式计算方向性数据Pv(x)。

因此，计算其数值值与内插图形的数值值相同的方向性数据值。这些方向性数据值分别表示与其相应内插图形的相似性。当方向性数据的数值值小时，确定要内插的G像素及其周围像素的图像信号的数据值的图形与内插图形类似。在内插P像素的过程中，要考虑到与其周围像素G的相关性。因此，准备好与对G像素准备的内插图形类似的图形作为内插图形。同样，建立内插图形号。

例如，与图4A类似，图6A示出其中低亮度像素排列在向右上方倾斜的线上的内插图形。因此，图6A所示的内插图形没有均匀性，而且具有从左向右升高的倾斜度。当图像信号的数据值的图形与该内插图形类似时，确定该图形数据出现在向右上方倾斜的线上。因此，方向性数据Pv(1)表示要内插的像素及其周围像素的图像信号的数据值的图形与内插图形之间的相似性的数值值，通过计算要内插的像素的P33与剩余像素P51和P15的值之间的差值的平均值，可以获得该方向性数据。因此，方向性数据Pv(1)被表示为：

Pv(1)＝(|P33-P51|+|P33-P15|)/2

当要内插的像素及其周围像素的图像信号与内插图形匹配时，所有差值均为0。方向性数据Pv(1)的值越小，要内插的像素及其周围像素的图像信号的数据值的图形与图6A所示的内插图形之间的相似性越高。

与图4B类似，图6B示出其中水平排列低亮度像素的内插图形。因此，图6B所示的内插图形没有均匀性，而且其倾斜度是水平的。因此，方向性数据Pv(2)表示要内插的像素及其周围像素的图像信号的数据值的图形与内插图形之间的相似性的数值值，利用下面的表达式计算方向性数据Pv(2)：

Pv(2)＝(|P33-P13|+|P33-P53|)/2

方向性数据Pv(2)的值越小，要内插的像素及其周围像素的图像信号的数据值的图形与图6B所示的内插图形之间的相似性越高。

与图4C类似，图6C示出其中将低亮度像素排列在向右下方倾斜的线上的内插图形。因此，图6C所示的内插图形没有均匀性，而且具有从左向右降低的倾斜度。方向性数据Pv(3)表示要内插的像素及其周围像素的图像信号的数据值的图形与内插图形之间的相似性的数值值，利用下面的表达式计算方向性数据Pv(3)：

Pv(3)＝(|P33-P11|+|P33-P55|)/2

方向性数据Pv(3)的值越小，要内插的像素及其周围像素的图像信号的数据值的图形与图6C所示的内插图形之间的相似性越高。

与图4D类似，图6D示出其中垂直排列低亮度像素的内插图形。因此，图6D所示的内插图形没有均匀性，而且其倾斜度是垂直的。因此，方向性数据Pv(4)表示要内插的像素及其周围像素的图像信号的数据值的图形与内插图形之间的相似性的数值值，利用下面的表达式计算方向性数据Pv(4)：

Pv(4)＝(|P33-P31|+|P33-P35|)/2

方向性数据Pv(4)的值越小，要内插的像素及其周围像素的图像信号的数据值的图形与图6D所示的内插图形之间的相似性越高。

与图4E类似，图6E示出其中将低亮度像素一起排列在该图形的左上部分的内插图形。因此，图6E所示的内插图形具有均匀性(左上部分)和倾斜度(角部)。方向性数据Pv(5)表示要内插的像素及其周围像素的图像信号的数据值的图形与内插图形之间的相似性的数值值，利用下面的表达式计算方向性数据Pv(5)：

Pv(5)＝(|P33-P11|+|P33-P31|+|P33-P13|)/3

方向性数据Pv(5)的值越小，要内插的像素及其周围像素的图像信号的数据值的图形与图6E所示的内插图形之间的相似性越高。

与图4F类似，图6F示出其中将低亮度像素一起排列在该图形的右上部分的内插图形。因此，图6F所示的内插图形具有均匀性(右上部分)和倾斜度(角部)。方向性数据Pv(6)表示要内插的像素及其周围像素的图像信号的数据值的图形与内插图形之间的相似性的数值值，利用下面的表达式计算方向性数据Pv(6)：

Pv(6)＝(|P33-P31|+|P33-P51|+|P33-P53|)/3

方向性数据Pv(6)的值越小，要内插的像素及其周围像素的图像信号的数据值的图形与图6F所示的内插图形之间的相似性越高。

与图4G类似，图6G示出其中将低亮度像素一起排列在该图形的左下部分的内插图形。因此，图6G所示的内插图形具有均匀性(左下部分)和倾斜度(角部)。方向性数据Pv(7)表示要内插的像素及其周围像素的图像信号的数据值的图形与内插图形之间的相似性的数值值，利用下面的表达式计算方向性数据Pv(7)：

Pv(7)＝(|P33-P13|+|P33-P15|+|P33-P35|)/3

方向性数据Pv(7)的值越小，要内插的像素及其周围像素的图像信号的数据值的图形与图6G所示的内插图形之间的相似性越高。

与图4H类似，图6H示出其中将低亮度像素一起排列在该图形的右下部分的内插图形。因此，图6H所示的内插图形具有均匀性(右下部分)和倾斜度(角部)。方向性数据Pv(8)表示要内插的像素及其周围像素的图像信号的数据值的图形与内插图形之间的相似性的数值值，利用下面的表达式计算方向性数据Pv(8)：

Pv(8)＝(|P33-P35|+|P33-P53|+|P33-P55|)/3

方向性数据Pv(8)的值越小，要内插的像素及其周围像素的图像信号的数据值的图形与图6H所示的内插图形之间的相似性越高。

在用于计算方向性数据的上述表达式中，使用图像信号的2个或者3个数据。在这两种情况下，数据的数量与内插图形上出现的所有P像素的数量对应。

具有方向性数据值Pv(1)至Pv(8)中最小值的、要内插的像素及其周围像素的图像信号的数据值的图形与存储在内插图形存储内存9内的内插图形最相似。将方向性数据的( )内的数值值称为内插图形号。在这种情况下，将内插图形称为Pn33。

在图2所示的步骤S10，利用上述方向性数据Gv(1)至Gv(8)获得对于要内插的像素及其周围像素的图像信号具有最小方向性数据值的内插图形。

接着，在图2所示步骤S11，确定是否只有一个内插图形提供最小方向性数据值。当只有一个内插图形(是)时，该处理过程到步骤S12。当存在两个或者更多个内插图形(否)时，该处理过程到步骤S13。

在图2所示步骤S12，由于在步骤S11确定只有一个内插图形具有最小方向性数据值，所以将该内插图形号存储到内插图形存储内存9内，作为要内插的像素的内插图形号Pn33。

在图2所示步骤S12，当存在两个或者更多个内插图形具有最小方向性数据值时，在步骤S13，要考虑与已经确定其最佳内插图形的周围像素的内插图形的相关性。现在，假定从左上像素向右，然后向下进行内插。还假定要内插的当前像素是P33。还假定像素G23和G32已经被内插，而且将其相应内插图形号Gn23和Gn32存储到内插图形存储内存9内。当内插图形号Gn23和Gn32与具有最小方向性数据值Pv(x)的一个或者多个内插图形匹配时，将该内插图形号存储到内插图形存储内存9内作为Pn33。为什么考虑G像素，而不考虑P信号和Q像素的原因是G像素比P像素和Q像素更适合图形检测。

当具有最小方向性数据值的两个或者更多个内插图形均不与周围像素的任何内插图形匹配时，在步骤S13，确定不能确定内插图形。在这种情况下，利用事先存储在内插图形存储内存9内的、对应于“不能确定”情况的内插表达式，进行内插。

在图2所示步骤S15，进行对应于每个内插图形的内插。通过内插获得的彩色数据被指定为Go、Po或Qo。利用在内插图形存储内存9等内事先准备好的内插表达式，可以计算彩色数据，该内插表达式与彩色数据的内插图形对应。

下面将说明适合用于对应于Pv(1)至Pv(8)的每个内插图形的典型内插表达式。

内插图形号1：(Pv(1)是最小的)

Go＝(G14+G25+G23×2+G34×2+G32×2+G43×2+G41+G52)/12

Po＝(P15+P33×2+P51)/4

Qo＝(Q42+Q24)/2

内插图形号2：(Pv(2)是最小的)

Go＝(G23+G43)/2

Po＝(P13+P33×2+P53)/4

Qo＝(Q22+Q24+Q42+Q44)/2

内插图形号3：(Pv(3)是最小的)

Go＝(G12+G21+G23×2+G32×2+G34×2+G43×2+G45+G54)/12

Po＝(P11+P33×2+P55)/4

Qo＝(Q22+Q44)/2

内插图形号4：(Pv(4)是最小的)

Go＝(G32+G34)/2

Po＝(P31+P33×2+P35)/4

Qo＝(Q22+Q24+Q42+Q44)/4

内插图形号5：(Pv(5)是最小的)

Go＝(G12+G21+G23×2+G32×2)/6

Po＝(P11+P13+P31+P33×3)/6

Qo＝Q22

内插图形号6：(Pv(6)是最小的)

Go＝(G41+G52+G32×2+G43×2)/6

Po＝(P31+P51+P53+P33×3)/6

Qo＝Q42

内插图形号7：(Pv(7)是最小的)

Go＝(G14+G25+G23×2+G34×2)/6

Po＝(P15+P35+P13+P33×3)/6

Qo＝Q24

内插图形号8：(Pv(8)是最小的)

Go＝(G54+G45+G34×2+G43×2)/6

Po＝(P55+P35+P53+P33×3)/6

Qo＝Q44

当“不能确定”时：

Go＝(G23+G32+G34+G43)/4

Po＝P33

Qo＝(Q22+Q24+Q42+Q44)/4

通过利用上述表达式进行内插，可以计算彩色数据。

如上所述，G信号是主要对亮度起作用的图像信号，R和B信号是不对亮度起作用的图像信号，可以对G信号以及R信号和B信号实现最佳内插。

将这样获得的内插图形号或表示“不能确定”的编号存储到内插图形存储内存9。内插之后，当利用图像信号处理部分10处理数字图像信号时，通过根据相应内插图形处理信号，可以进行信号处理。

下面将简要说明典型图像信号处理过程，其中存储在内插图形存储内存9内的内插图形号用于对图7A所示的图像图形进行边缘加重处理。

图7B是示出图7A所示图像的图像信号的值的示意图，其中白色部分分别具有值100，而黑色部分分别具有值40。在典型边缘加重处理过程中，使图像信号通过图7C所示的所谓拉普拉斯滤波器，此后，使获得的值与原始信号相加。

图7D是示出边缘加重处理的结果的示意图。具体地说，使图7B所示的图像(数据)通过图7C所示滤波器。使获得的每个值分别乘以1/8，然后，使它与原始信号相加。

图7E是示出在图7D内水平排列的像素G13、Q13、G33、Q43和G53的数值值的示意图。图7F是示出从图7D的左上角倾斜排列的像素G11、G22、G33、G44和G55的数值值的示意图。

根据图7E，利用上述方法对该信号的边缘进行加重处理。然而，根据图7F，对像素G33的信号进行加重处理以进一步变负，而不对像素G22的信号进行加重处理。

在该实施例中，将每个像素的内插图形号存储到内插图形存储内存9内。例如，对于图7A所示图像，将图4A所示内插图形号存储到内插图形存储内存9内。

作为对应于图4A所示内插图形的滤波器，可以采用图7G所示滤波器。使像素G22的数据通过图7G所示滤波器。使获得的每个值分别乘以1/4，然后，使它与原始信号相加。图7H示出获得的数值值，从图7H可以明显看出，利用内插图形进行边缘加重处理。同样，还可以将对应于内插图形的滤波器用于对应于内插图形的其他数字信号处理过程，例如伪彩色信号处理过程等。

根据该实施例，在内插图形存储内存9内准备多个内插图形。根据要内插的像素及其周围像素的图像信号的均匀性和倾斜度，内插部分8获得与要内插的像素及其周围像素的图像信号的数据值的图形类似的内插图形。假定要内插的像素位于所获得的内插图形内，对应于该内插图形的表达式用于进行内插。结果，可以考虑到图像信号的均匀性和倾斜度进行内插。因此，可以防止传统内插技术产生的图像失真，而不考虑噪声的干扰。

在该实施例中，使用了8个内插图形(如果包括“不能确定”的情况是9个内插图形)。然而，可以改变图形的数量，以便例如减小内插图形存储内存9等的电路规模。例如，本发明进行了试验。结果，在上述8个内插图形中，图4A和6A所示的水平图形、图4B和6B所示的垂直图形、图4C和6C所示的向下向右倾斜图形以及图4D和6D所示的向上向右倾斜图形占据了大多数情况(约90％)。考虑到成本性能，可以仅利用这4个内插图形表示图像信号的均匀性和倾斜度。例如，在使用一维图像的系统，例如条形码阅读器等中，仅需要使用图4D和6D所示的内插图形。作为一种选择，在具有足够大电路规模或工作性能的系统中，可以增加行存储器7，以增加内插图形的数量。在这种情况下，图形更精确，因此，可以改善内插。

在该实施例中，根据内插图形，进行内插。因此，使用简单表达式。在本发明中，根据图像信号的均匀性和倾斜度，获得与要内插的像素及其周围像素的图形相似的内插图形。进行对应于内插图形的内插。对于每个内插图形，可以正确提供用于计算内插的最佳方法。

在本发明中，根据要内插的像素及其周围像素的均匀性和倾斜度，获得最佳内插图形。利用该内插图形和周围像素的内插图形确定内插方法。因此，在本发明范围内，可以对内插图形、内插图形的数量、内插图形号、内插计算方法、使用要内插的像素的内插图形的方法、使用周围像素的内插图形的方法以及利用内插图形进行内插后的数字图像信号处理过程进行适当修改。

如上所述，根据本发明的数据处理设备处理固体摄像元件获得的图像信号，该固体摄像元件分离设置多种类型的滤色器(RGB等)。当利用该设备进行内插时，根据要内插的像素及其周围像素的图像信号的均匀性和倾斜度，获得与要内插的像素及其周围像素的图形类似的内插图形。执行对应于内插图形的内插过程。这样，由于考虑到图像信号的均匀性和倾斜度进行内插，所以可以防止出现传统内插技术中发生的图像失真。此外，即使存在不是图像的信号，例如噪声等，仍可以表示令人满意的边缘，同时可以防止出现在第7-59098号日本专利公报中出现的图像信号波动，因此可以防止分辨率恶化。

此外，在内插之后，根据内插图形，可以进行数字图像信号处理，例如边缘加重处理、伪彩色信号抑制处理等，该内插图形是根据要内插的像素及其周围像素的图像信号的均匀性和倾斜度获得的。因此，可以产生令人满意的图像信号。

在不脱离本发明的精神与主旨的实质范围内，对于本技术领域内的熟练技术人员各种其他修改是显而易见的，而且他们可以容易地进行各种修改。因此，无意使在此所附权利要求所限定的范围局限于上面的描述，而应该广泛理解权利要求的意义。

Claims (12)

1.一种用于处理固体摄像元件获得的图像信号的数据处理设备，在该固体摄像元件内，在各像素上分离设置多种类型的滤色器，而要内插的像素及其周围像素具有图像信号，该设备包括：

内插部分，通过至少利用要内插的像素及其周围像素的图像信号中的周围像素的图像信号进行内插，产生每个像素的图像信号内的丢失彩色信号；和

内插图形存储部分，用于存储多个表示图像信号的均匀性和倾斜度的内插图形，

其中根据要内插的像素及其周围像素的图像信号的均匀性和倾斜度，内插部分，从存储在内插图形存储部分内的多个内插图形中，至少获得一个与要内插的像素及其周围像素的数据值的图形类似的内插图形，然后，根据该至少一个内插图形，进行内插。

2.根据权利要求1所述的数据处理设备，其中对存储在内插图形存储部分内的多个内插图形分别提供识别信息，以及

内插部分将选择的内插图形的识别信息存储到内插图形存储部分内。

3.根据权利要求1所述的数据处理设备，其中内插部分计算表示至少一个内插图形与要内插的像素及其周围像素的数据值的图形的相似性的方向性数据，并选择其中方向性数据是最小的内插图形。

4.根据权利要求1所述的数据处理设备，其中根据要内插的像素是主要对亮度起作用的像素，还是不是主要对亮度起作用的像素，内插部分选择至少一个内插图形之一，然后，根据选择的内插图形进行内插。

5.根据权利要求1所述的数据处理设备，其中当要内插的像素是主要对亮度起作用的像素时、或者当要内插的像素不是主要对亮度起作用的像素时，至少使用存储在内插图形存储部分内的多个内插图形之一。

6.根据权利要求1所述的数据处理设备，其中内插图形存储部分存储：其中水平排列具有规定值的像素的图形；其中垂直排列具有规定值的像素的图形；其中向右上方向倾斜排列具有规定值的像素的图形；其中向右下方向倾斜排列具有规定值的像素的图形；其中具有规定值的像素一起排列在左上角部分的图形；其中具有规定值的像素一起排列在右上角部分的图形；其中具有规定值的像素一起排列在左下角部分的图形；以及其中具有规定值的像素一起排列在右下角部分的图形，作为多个内插图形。

7.根据权利要求1所述的数据处理设备，其中当存储在内插图形存储部分内的多个内插图形均不与要内插的像素及其周围像素的图像信号的数据值的图形类似时，根据存储在内插图形存储部分内的内插表达式，内插部分进行内插。

8.根据权利要求1所述的数据处理设备，其中当存储在内插图形存储部分内的多个内插图形中的两个或者更多个内插图形与要内插的像素及其周围像素的图像信号的数据值的图形类似时，根据对一个或者多个周围像素选择的内插图形，内插部分选择两个或者更多个内插图形之一。

9.根据权利要求1所述的数据处理设备，其中根据对应于获得的内插图形的表达式，内插部分进行内插。

10.一种图像处理设备，该图像处理设备包括：

根据权利要求1所述的数据处理设备；以及

图像处理部分，根据该数据处理设备获得的内插图形，进行图像处理。

11.一种相机，该相机包括根据权利要求10所述的图像处理设备，其中相机从固体摄像元件接收图像信号，然后，进行内插和图像处理，以获得相机的图像数据。

12.一种用于处理从固体摄像元件获得的图像信号的数据处理方法，在该固体摄像元件内，在各像素上分离设置多种类型的滤色器，而要内插的像素及其周围像素具有图像信号，该方法包括步骤：

根据要内插的像素及其周围像素的图像信号的均匀性和倾斜度，从预先存储在内插图形存储部分内的、表示图像信号的均匀性和倾斜度的多个内插图形中，获得与要内插的像素及其周围像素的数据值的图形类似的内插图形；以及

根据该内插图形，进行内插，以产生要内插的像素的图像信号内的丢失彩色信号。

Images