CN101902548B - 图像处理设备、成像设备及图像处理方法 - Google Patents

Abstract

本发明公开了图像处理设备、成像设备及图像处理方法。图像处理设备包括：第一插值部，用于利用关注像素和与关注像素相邻的像素的像素值来计算对于关注像素的像素值的第一插值值；第二插值部，用于检测最小跳跃量方向，以计算对于关注像素的像素值的第二插值值；检测部，用于检测利用第一插值值进行的插值是否造成了任何改变，并在存在或不存在改变时选择第一或第二插值值；以及孤立点检测部，用于确定关注像素是否为孤立点，当关注像素是孤立点时输出第一或第二插值值，并且当关注像素不是孤立点时输出关注像素的像素值。

Description

图像处理设备、成像设备及图像处理方法

技术领域

本发明涉及图像处理设备、成像设备及图像处理方法。更具体地，本发明涉及用于对已经被确定为孤立点的像素进行充分插值的技术。

背景技术

在相关技术中，由成像设备获取的图像信号可能会具有由成像元件的瑕疵造成的固定点噪声，并且图像信号可能会包括在诸如光子散粒噪声或热噪声之类的随机噪声的影响下生成具有显著高于相邻像素级(pixellevel)(像素值)的像素级的孤立点。在这种情况下，执行孤立点插值处理，以执行对这种孤立点的实时检测并插值适当的像素级(插值值)。

参考用于孤立点插值处理的方法，主要使用三种方法，即静态插值、自适应插值以及中值插值。图7B至7D是说明这些方法的示意图。图7B至7D中所示的方法是基于以下假设描述的：边缘(edge)在从下到上并且从左到右的方向成对角线地延伸，以经过关注像素P，如图7A所示。范围包括在水平方向的3个像素和垂直方向的3个像素的的滤波器被使用。在图7B至7D中，滤波器系数被示出为值“0”或“1”。

在图7B中所示的静态插值的情况下，将滤波器系数被设置为“1”的像素的值(即与关注像素P相邻的所有八个像素的值)加总，并且将如此获得的总值除以8(其是被加总的像素级的数目)。如上所述获得的相邻的八个像素的像素级的平均值被用作关注像素P处的插值后的值。

在图7C中所示的自适应插值的情况下，首先确定边缘的延伸方向，然后沿着边缘的延伸方向执行插值。具体地，计算位于边缘内且接近边缘的两个像素(关注像素P左下侧的像素和关注像素P右上侧的像素)的像素级的平均值，并且将这样获得的平均值用作针对关注像素P的插值值。

在图7D中所示的中值插值的情况下，计算滤波器窗口中的九个像素的中值，并且将计算出的中值用作插值值。图7D示出了基于以下假设的情况：关注像素P右侧的相邻像素是中值，在这个位置的滤波器系数被设置为“1”。即，那个位置的像素级被输出作为关注像素P的像素级。

在JP-A-2003-242504(专利文献1)中描述了利用中值滤波器的插值处理的示例。

发明内容

上述插值处理中的任何一种插值处理都可能会在图像边缘处不利地导致问题。例如，在图7C中所示的自适应插值的情况下，当关注的图像信号具有较差的信噪比时，边缘方向的确定本身可能不会被精确执行。结果，插值处理可能会导致诸如在字符等中形成一个像素宽的缝隙之类的问题。

在图7D中所示的中值插值的情况下，插值是利用包括在滤波器窗口中的像素级的中值执行的。这种方法有如同在自适应插值的情况中碰到的问题，即当图像信号具有较差的信噪比时，作为插值的结果，图像的边缘可能会被扭曲。

在图7A中所示的静态插值的情况下，不执行边缘方向的确定，而是该方法采用了总是应用恒定系数的滤波器。所以，插值处理不会导致边缘的扭曲。然而，由于边缘两侧的像素级被加总，所以产生了边缘区域的像素级的频率不希望地被变低的问题。

在这种情况下，希望即使在关注的像素信号具有较差的信噪比时也能够适当地保持边缘区域处像素级的频率，以使得能够在孤立点处执行适当插值。

根据本发明的实施例，首先利用与关注像素(pixel of interest)相邻的多个像素的像素值来计算针对关注像素的像素值的第一插值值。从由关注像素和多个相邻像素限定的方向中检测最小跳跃量方向，其中最小跳跃量方向是与关注像素的像素值的差分之和最小的方向。然后，利用位于最小跳跃量方向中的像素的像素值和关注像素的像素值来计算针对关注像素的像素值的第二插值值。然后，利用位于最小跳跃量方向中的像素的像素值、第一插值值以及第二插值值，确定利用第一插值值执行的插值是否造成了关注像素和位于最小跳跃量方向中的像素的像素值的大小之间的关系的任何改变。当不存在改变时选择第一插值值，并且当存在改变时选择第二插值值。另外，确定关注像素是否为孤立点。当确定关注像素是孤立点时输出如此选择的第一插值值或第二插值值，并且当确定关注像素不是孤立点时输出关注像素的像素值。

所以，当利用第一插值值执行的插值导致关注像素和位于最小跳跃量方向中的像素的像素值的大小之间的关系的改变时，利用关注像素和位于最小跳跃量方向中的像素的像素值计算出的插值值被使用。

当滤波器区域中存在边缘并且利用第一插值值执行的插值会导致关注像素和位于最小跳跃量方向中的像素的像素值的大小之间的关系的改变时，利用与关注像素高度相关的像素的像素值来计算插值值。即，当确定孤立点插值处理可能会产生问题时，在关注像素(孤立点)处可以利用不会产生问题的插值值来执行插值。

根据本发明的实施例，当确定孤立点插值处理会产生问题时，可以在孤立点处利用不会产生问题的插值值来执行插值。从而，即使在图像信号具有较差的信噪比的情况下，边缘区域的像素的频率也不会不必要地变低。也就是说，可以在孤立点处适当地执行插值。

附图说明

图1是示出根据本发明实施例的成像设备的示例性内部配置的框图；

图2是示出根据本发明实施例的孤立点消除部的示例性内部配置的框图；

图3是示出由根据本发明实施例的中值滤波器执行的处理示例的图表；

图4是示出根据本发明实施例的计算跳跃量(jump amount)的示例的示意图；

图5是示出根据本发明实施例的图像处理的示例的流程图；

图6是示出根据本发明实施例的修改的中值滤波器的示例性配置的示图；以及

图7A至7D是示出根据相关技术的插值处理的示例的示图，图7B示出了静态插值的示例，图7C示出了自适应插值的示例，图7D示出了中值插值的示例。

具体实施方式

现在将参考附图描述根据本发明实施例的图像处理设备、成像设备、以及图像处理方法的具体示例。本发明不限于下面描述的实施例。下面的主题将以所列出的顺序描述。

1.图像处理设备的示例性配置

2.孤立点消除部的示例性配置

3.图像处理的步骤

<1.图像处理设备的示例性配置>

本实施例(也可以被称为“示例”)是根据本发明的图像处理设备应用于诸如相机之类的成像设备的示例。根据本发明实施例的图像处理设备不限于应用于成像设备，并且本发明可以被应用于具有图像处理功能的任何类型的设备和系统，例如诸如显示器、打印机之类的重现设备(rendering apparatus)以及包括图像处理应用的设备。本发明对成像设备的可能应用不仅包括相机本身，而且包括具有成像功能的信息处理设备(例如，移动电话)。

[成像设备的配置]

图1示意性地示出了根据本发明的成像设备的块配置。成像设备100包括透镜1、成像元件2、模数转换器(ADC)3以及图像处理单元4。透镜1、成像元件2、ADC 3以及图像处理单元4被按照从对象的光15进入设备的一侧起的顺序放置。

成像设备100还包括显示处理单元5、显示单元6、控制单元7、存储单元8、操作输入单元9、外部接口单元10、记录/再现处理单元11以及记录介质12。成像设备100的上述部分通过信号线13以直接或间接的方式相互电连接。

透镜1聚集对象的光，以在成像元件2的成像面(未示出)上形成图像。成像元件2通过对已经由透镜1形成图像的对象的光执行光电转换，来生成图像信号。成像元件2将如此生成的图像信号输出到ADC 3。例如，诸如CCD(电荷耦合器件)型传感器和CMOS(互补金属氧化物半导体)型传感器之类的各种类型的图像传感器可被用作成像元件2。

尽管图1只示出了一个成像元件2，但是实际上设置了与三种颜色，即红色(R)、绿色(G)以及蓝色(B)相关联的三个成像元件。所以，在成像元件组(即，三个成像元件2)和透镜1之间设置了用于将入射光分离成三种颜色R、G和B的颜色分离棱镜(尽管未示出)。

ADC 3将从成像元件2输出的图像信号转换为数字成像信号，并将数字转换后的成像信号输出到图像处理单元4。当CMOS型图像传感器被用作成像元件2时，不需要ADC 3，因为对图像信号的模数转换处理也在成像元件2中被执行。

图像处理单元4对从ADC 3输出的图像信号进行各种处理，并将处理后的图像信号输出到噪声降低处理部件42。图像处理单元4包括光学系统/传感器系统校正部件41、噪声降低处理部件42、伽马校正部件43以及高频带增强处理部件44。

光学系统/传感器系统校正部件41执行用于校正可归因于透镜1的图像信号扭曲的处理(光学系统校正处理)和用于校正可归因于成像元件2的图像信号扭曲的处理(传感器系统校正处理)。例如，光学系统校正处理包括扭曲校正、像差校正、周边阴影的校正以及杂散光校正。传感器系统校正处理例如包括像素缺陷的校正和阴影的校正。当CMOS型图像传感器被用作成像元件2时，传感器系统校正处理还包括垂直条纹(fringe)校正。当CCD型图像传感器被用作成像元件2时，传感器校正系统还包括托影校正。

噪声降低处理部件42对从光学系统/传感器系统校正部件41输出的图像信号进行噪声抑制处理，并将得到的经噪声消除的信号供应给伽马校正部件43。在本实施例中，噪声降低处理部件42包括用于消除孤立点的孤立点消除部420。孤立点消除部420的细节随后将描述。

伽马校正部件43对从噪声降低处理部件42输出的图像信号的伽马值进行校正，从而使得其与显示单元6的伽马特性相适应。高频带增强部件44执行用于增强与从伽马校正后的图像信号获得的图像的边缘区域(轮廓)相关联的高频分量的校正。

本实施例被作为噪声降低处理部件42被放置在伽马校正部件43的上游的示例，或者噪声降低处理部42被放置在图像信号具有线性特性的区域中的示例来描述。然而，本发明不限于这样的布置。噪声降低处理部件42可以被放置在伽马校正部件43的下游。也就是说，噪声降低处理部件42可以被放置在图像信号具有非线性特性的区域中。当噪声降低处理部件42被放置在伽马校正部件43的下游时，部件42优选地被放置在高频带增强部件44的上游。原因在于，当噪声降低处理部件42对已经由高频带增强部件44进行处理以增强与该图像的边缘区域相关联的高频分量的图像信号执行噪声消除处理时，将不能提供充分的噪声降低效果。

显示处理单元5将已经在图像处理单元4经历了各种处理的图像信号转换为可以被显示单元6显示的形式的信号，并且单元5将转换后的信号输出到显示单元6。例如，显示单元6可以是LCD(液晶显示器)或有机EL(电致发光)面板，由显示处理单元5供应的信号被显示作为显示屏幕上的图像。

控制单元7可以由CPU(中央处理单元)组成，并且其基于由随后将要描述的操作输入单元9供应的操作信号来控制形成成像设备100的各个部分。存储单元8可以由ROM(只读存储器)和/或RAM(随机存取存储器)组成。图像处理所需的程序和各类数据被存储在ROM中，并且RAM被用作用于暂时存储由控制单元7执行的各种处理的中间结果的工作区。

操作输入单元9包括诸如按钮、旋钮以及开关之类的操作装置。操作输入单元9接受用户通过操作装置输入的预定操作，根据操作内容生成操作信号，并且将如此生成的操作信号输出到控制单元7。

外部接口单元10包括可以连接至外部设备的输入/输出端子(未示出)，并且数据通过输入/输出端子被输出到外部设备或从外部设备输入。

记录/再现处理单元11连接至随后将要描述的记录介质12。该单元执行将从图像处理单元4输出的图像信号记录在记录介质12中的处理、读取并再现记录在记录介质12中的图像数据的处理以及将得到的再现信号输出到显示处理单元5的处理。

例如，记录介质12可以是HDD(硬盘驱动器)、半导体存储器或光盘。记录介质12被设置用来存储诸如已经被图像处理单元4处理过的图像数据和由外部记录设备记录的图像信号之类的信号。

<2.孤立点消除部的示例性配置>

[孤立点消除部的内部配置]

现在参考图2描述孤立点消除部420的细节。图2是示出孤立点消除部420的示例性内部配置的框图。孤立点消除部420包括用于检测孤立点的孤立点检测部421、用作用于执行孤立点处的插值处理的第一插值部的孤立点插值部422以及用作用于消除由孤立点插值处理导致的问题的第二插值部的问题消除处理部430。

孤立点消除部420还包括选择器SL1和选择器SL2。选择器SL1根据孤立点检测部421执行的检测的结果，选择并输出已经经历过孤立点插值部422处的插值处理的图像信号或没有经历过处理的图像信号(原始像素)。选择器SL2选择来自孤立点插值部422的输出信号或来自问题消除处理部430的输出信号，并将所选择的信号输出到选择器SL1。

孤立点检测部421根据输入到其的像素级(即，具有等于3个像素的水平范围和等于3个像素的垂直范围的窗口中的关注像素的像素级Y11和与关注像素相邻的八个像素中各像素的像素级Y00至Y22)，来确定关注像素是否为孤立点。

孤立点检测部421首先计算关注像素的像素级Y11和与关注像素相邻的每个像素的像素级之间的差分(difference)。接着，孤立点检测部421对所计算出的差分中大于预置阈值imp_th的差分的数目进行计数，并确定所述差分的数目是否大于等于预置阈值imp_refcnt。当具有大于预置阈值imp_th的值的差分的数目大于等于阈值imp_refcnt时，确定关注像素为孤立点。然后，孤立点检测部421向选择器SL1供应切换信号，以使其选择来自选择器SL2的输出信号。

阈值imp_th被设置为大于“0”的值。例如，当由ADC 3(参见图1)生成的数字像素信号具有8个比特时，阈值被设置为大约10至大约20的范围中的值。该阈值将根据ADC 3的分辨率、包括在图像信号中的噪声最以及毗连像素的像素级之间的差分的大小(将要处理的区域是否是在像素级之间具有平缓过渡的渐变区域)而被设置为适当的值。

阈值imp_refcnt被设置为小于等于“8”的值，其中“8”是与关注像素相邻的像素的数目。在本示例中，假设阈值imp_refcnt被设置为“8”。

具体地，例如利用下述算法来作出上述确定。

(1)正相邻差分标记Fdp_ij(i，j＝0，1，2)的值被如下确定。

当关注像素的像素级Y11-相邻像素的像素级Yij＞阈值imp_th时，正相邻差分标记Fdp_ij＝1。

否则，正相邻差分标记Fdp_ij＝0。

即，确定关注像素的像素级Y11和相邻像素的像素级Yij之间的差分在正方向是否大于阈值imp_th。如果是，则正相邻差分标记Fdp_ij具有值1。否则(当差分小于等于阈值imp_th时)，正相邻差分标记Fdp_ij具有值0。

(2)负相邻差分标记Fdm_ij的值被如下确定。

当关注像素的像素级Y11-相邻像素的像素级Yij＜-阈值imp_th时，负相邻差分标记Fdm_ij＝1。

否则，负相邻差分标记Fdm_ij＝0。

即，确定关注像素的像素级Y11和相邻像素的像素级Yij之间的差分在负方向是否大于阈值imp_th。如果是，则负相邻差分标记Fdm_ij具有值1。否则(当差分小于等于或阈值imp_th时)，负相邻差分标记Fdm_ij具有值0。

(3)正孤立点检测标记Fap被如下确定。

当∑(正相邻差分标记Fdp_ij)≥阈值imp_refcnt时，正孤立点检测标记Fap＝1。

否则，正孤立点检测标记Fap＝0。

即，当正相邻差分标记Fdp_ij的总数大于等于被设置作为阈值imp_refcnt的当前数8时，正孤立点检测标记Fap具有值1。否则，该标记具有值0。

(4)负孤立点检测标记Fam被如下确定。

当∑(负相邻差分标记Fdp_ij)≥阈值imp_refcnt时，负孤立点检测标记Fam＝1。

否则，负孤立点检测标记Fam＝0。

即，当负相邻差分标记Fdm_ij的总数大于等于被设置作为阈值imp_refcnt的当前数8时，负孤立点检测标记Fam具有值1。否则，标记具有值0。

正相邻差分标记Fdp_ij和负相邻差分标记Fdm_ij的计算可以以相反的顺序执行，或者也可以同时执行。这同样适用于正孤立点检测标记Fap和负孤立点检测标记Fam的计算。

现在将描述孤立点插值部422的配置。孤立点插值部422包括中值滤波器422h、422v、422ru、422rd以及平均值计算部422a。

中值滤波器422h、422v、422ru和422rd计算进入其的三个像素的像素级的中值，并且将计算结果输出到平均值计算部422a。所使用的滤波器在一维轴上具有三个抽头(tap)。使用了四个一维轴，即H轴(水平轴)、V轴(垂直轴)、RU轴(右上轴)、以及RD轴(右下轴)。

关注像素的像素级Y11和在水平方向与关注像素毗连的两个像素的像素级(像素级Y10和Y12)被输入到中值滤波器422h。关注像素的像素级Y11和在垂直方向与关注像素毗连的两个像素的像素级(像素级Y01和Y21)被输入到中值滤波器422v。

关注像素的像素级Y11和关注像素右斜向的位于关注像素上方和下方的成对角线地毗连的两个像素的像素级(像素级Y02和Y20)被输入到中值滤波器422ru。另外，关注像素的像素级Y11和关注像素左斜向的位于关注像素上方和下方的成对角线地毗连的两个像素的像素级(像素级Y00和Y22)被输入到中值滤波器422rd。

现在参考图3描述中值滤波器执行的处理的示例。在图3中，像素位置被示出为沿着水平轴，并且像素级Y的等级被示出为沿着垂直轴。图3示出了位于每个一维轴上的三个像素，即像素X0、X1、和X2，这些像素被示出为分别具有像素级Y0、Y1、和Y2。

当如图3中所示像素级Y2高于像素级Y0时，像素级Y1位于高值区Ac、单调增加区Am以及低值区Ar中的任意一个中。在图3中，高值区Ac由斜线示出；低值区Ar由网格示出；并且单调增加区Am被示出为没有阴影的区域。

高值区Ac是高于像素级Y2的像素级所在的区域，单调增加区Am是包括在像素级Y0和Y2之间的像素级所在的区域。低值区Ar是低于像素级Y0的像素级所在的区域。

假设关注像素X1的像素级Y1被归类为位于高值区Ac中并且像素级Y1具有值“Y1c”(像素级Y1c)。则，像素级Y0、Y1c和Y2的中值是Y1c’，其具有与像素级Y2相同的值。

类似地，假设关注像素X1的像素级Y1被分类为位于单调增加区Am中并且像素级Y1具有值“Y1m”(像素级Y1m)。则，与像素级Y1m具有相同的值的像素级Y1m’被输出作为像素级Y0、Y1r和Y2的中值。尽管为了更容易地理解描述而在图3的水平轴上以相互偏移的像素位置示出了像素级Y1m和Y1m’，但是实际上这些像素级应该在水平轴上的相同位置被示出。

假设关注像素X1的像素级Y1被归类为位于低值区Ar中并且像素级Y1具有值“Y1r”(像素级Y1r)。则，像素级Y0、Y1r和Y2的中值为像素级Y1r’，其具有与像素级Y0相同的值。

即，中值滤波器的使用使得能够在显著消除不规则分量的同时保持图像信号的边缘区域(高频分量)。尽管图3通过示例示出了像素级Y2高于像素级Y0的情况，但是当像素级Y0高于像素级Y2时，中值也被类似地计算出来。

再次参考图2，平均值计算部422a计算从中值滤波器422h、422v、422ru和422rd输出的中值的平均值，并且将平均值作为关注像素的插值值供应给选择器SL2和问题消除处理部430。

图2中所示的中值滤波器和平均值计算部422a处的处理可以由下列表达式表示。

(中值滤波器422h处的处理)

中值med_h＝median(像素级Y10、像素级Y11、像素级Y12)

(中值滤波器422v处的处理)

中值med_v＝median(像素级Y01、像素级Y11、像素级Y21)

(中值滤波器422ru处的处理)

中值med_ru＝median(像素级Y20、像素级Y11、像素级Y02)

(中值滤波器422rd处的处理)

中值med_rd＝median(像素级Y00、像素级Y11、像素级Y22)

(平均值计算部422a处的处理)

插值值Y11’＝(中值med_h+中值med_v+中值med_ru+中值med_rd)/4

作为中值滤波器422h、422v、422ru和422rd以及平均值计算部422a处执行的这些处理的结果，关注像素的像素级Y11的值被更显著地抑制，并且像素级的孤立程度越高，相邻像素的像素级中的像素级越高或越低。也就是说，关注像素的像素级Y11被其等级被抑制为第一插值值的插值值Y11’代替。

现在描述问题消除处理部430的细节。问题消除处理部430执行消除作为孤立点插值部422执行的插值处理的执行结果而出现的问题的处理。

例如，当原始图像包括具有等于一个像素的宽度的垂直直线时，问题出现。在这种情况下，这条线被检测为在V轴上具有单调增加的等级，尽管其好像是将被归类为位于H轴上的高值区Ac(参见图3)中的孤立点。由于这条线好像是将被归类为位于RU和RD轴上的高值区Ac中的孤立点，所以利用在四个轴上获取的中值的平均值进行的插值会导致在该垂直直线中形成缝隙的效果。

在这种情况下，当确定因孤立点插值部422执行的插值处理而发生所述问题时，问题消除处理部430输出如下的插值值，以使问题将不会出现。防止问题出现的插值值是利用位于与关注像素的像素级Y11的差分最小的方向中的像素计算出的插值值。

当执行插值以利用这种插值值来代替关注像素的像素级Y11时，像素级Y11的值将不会与其值接近像素值Y11的相邻像素的像素级的值差太远。即，即使在原始图像包括具有等于一个像素的宽度的垂直直线时，由于插值的结果也不会在线中形成缝隙。

现在参考图2描述问题消除处理部430的配置。问题消除处理部430包括绝对差分计算部431、最小跳跃量方向确定部432、中值滤波器433以及问题检测部434。

绝对差分计算部431计算关注像素的像素级Y11和与其相邻的八个像素的像素级之间的绝对差分值。

最小跳跃量方向确定部432以大小上升的顺序对绝对差分计算部431计算出的绝对差分值进行排列，以确定与关注像素的像素级Y11的跳跃量最小发生的方向。跳跃量由与像素级Y11的绝对差分值的和表示。具体地，该示例中的跳跃量由像素级Y11和具有与像素级Y11的绝对差分最小的像素之间的绝对差分与像素级Y11和具有与像素级Y11的绝对差分第二最小的像素之间的绝对差分的和表示(绝对差分的和)。

在图2所示的示例中，最小跳跃量取自由具有与像素级Y11的绝对差分最小的像素级Y00的像素和具有与像素级Y11的绝对差分第二最小的像素级Y12的像素限定的方向。

图4使用图3所示的图表作为示例示出了跳跃量的概念。图3和图4共同所示的项目由相同的参考标号指示。在图4中，具有与像素级Y11的绝对差分最小和第二最小的像素级的像素分别为像素X0和像素X2(或者分别为像素X2和像素X0)。

当关注像素X1的像素级位于高值区Ac中时(当像素具有像素级Y1c时)，跳跃量由实线所示的两个箭头指示的量的总和给出或由以下表达式给出：

绝对差分的和＝abs(像素级Y1c-像素级Y0)+abs(像素级Y1c-像素级Y2)

当关注像素X1的像素级位于单调增加区Am中时(当像素具有像素级Y1m时)，跳跃量由虚线所示的两个箭头指示的量的总和给出或由以下表达式给出：

绝对差分的和＝abs(像素级Y1m-像素级Y0)+abs(像素级Y1m-像素级Y2)

当关注像素X1的像素级位于低值区Ar中时(当像素具有像素级Y1r时)，跳跃量由链式线所示的两个箭头指示的量的总和给出或由下列表达式给出：

绝对差分的和＝abs(像素级Y1r-像素级Y0)+abs(像素级Y1r-像素级Y2)

再次参考图2，最小跳跃量方向确定部432输出关注像素的像素级Y11、具有与像素级Y11绝对差分最小的像素的像素级以及具有与像素级Y11绝对差分第二最小的像素的像素级到中值滤波器433和问题检测部434。

中值滤波器433计算三个像素级，即关注像素的像素级Y11、具有与像素级Y11的绝对差分最小的像素的像素级以及具有与像素级Y11的绝对差分第二最小的像素的像素级的中值。如此计算出的中值作为插值值Y11”被输入到选择器SL2。

在具有与像素级Y11的绝对差分最小的像素级和具有与像素级Y11的绝对差分第二最小的像素级分别由Y1stmin和Y2ndmin表示的情况下，由中值滤波器433计算出的插值值Y11”可以表示如下：

插值值Y1”(第二插值值)＝median(像素级Y1stmin、像素级Y11、像素级Y2ndmin)

问题检测部434确定作为利用从最小跳跃量方向确定部432输出的像素级Y1stmin、像素级Y11、像素级Y2ndmin以及从孤立点插值部422输出的插值值Y11’进行的插值处理的结果是否有任何问题出现。

具体地，当孤立点插值部422执行的插值处理导致关注像素的像素级Y11的值和像素级Y1stmin或像素级Y2ndmin的值的大小之间的关系变化时，确定问题出现。

首先，问题检测部434按照如下所示对插值前和插值后的状态进行比较：

插值前的状态具体为像素级Y1stmin、关注像素的像素级Y11、以及像素级Y2ndmin；

插值后的状态具体为像素级Y1stmin、关注像素的插值值Y11’、像素级Y2ndmin。

当插值之前关注像素的像素级Y11被归类所在的区域与插值后关注像素的插值值Y11’被归类所在的区域之间存在下列差异中的任意一种差异时，确定作为插值处理结果而出现问题。具体地，差异如下(参见图3所示的两个区域)：

(1)像素级Y11位于高值区Ac中，而插值值Y11’位于低值区Ar中。

(2)像素级Y11位于低值区Ar中，而插值值Y11’位于高值区Ac中。

(3)像素级Y11位于单调增加区Am中，而插值值Y11’位于高值区Ac或低值区Ar中。

当确定作为插值处理的结果而出现问题时，问题检测部434向选择器SL2供应切换信号以进行切换，从而使得信号将从问题消除处理部430被输入到选择器。结果，从问题消除处理部430的中值滤波器433输出的插值值Y11”被从选择器SL2输出到选择器SL1。

当确定作为插值处理的结果而不会出现问题时，问题检测部434向选择器SL2供应切换信号以进行切换，从而使得信号将从孤立点插值部422被输入到该选择器。结果，从孤立点插值部422的平均值计算部422a输出的插值值Y11’被从选择器SL2输出到选择器SL1。

<3.图像处理的步骤>

[孤立点消除部的操作的示例]

现在将参考图5中所示的流程图来描述孤立点消除部420的操作的示例。首先，孤立点插值部422执行孤立点插值处理，以计算关注像素的插值值Y11’(步骤S11)。接着，问题消除处理部430的绝对差分计算部431计算关注像素的像素级Y11和与关注像素相邻的八个像素的像素级之间的绝对差分(步骤S12)。问题消除处理部430的最小跳跃量方向确定部432确定与关注像素的像素级Y11的绝对差分的和变得最小(最小跳跃量)的方向(步骤S13)。

接着，问题消除处理部430的中值滤波器433计算关注像素的像素级Y11和位于与像素级Y11的最小跳跃量所在方向中的像素的像素级的中值，并且使用该中值作为插值值Y11”(步骤S14)。

接着，问题检测部434确定由孤立点插值部422执行的插值处理是否导致关注像素的像素级Y11和位于与像素级Y11的最小跳跃量所在的方向中的像素的像素级的大小之间的关系的变化(步骤S15)。具体地，确定在插值处理之前关注像素的像素级Y11被归类所在区域和通过插值处理获取的插值值Y11’被归类所在区域之间是否存在任何差异。当位于高值区Ac或低值区Ar中的像素级Y11被改变为单调增加区Am中的插值值Y11”时，该改变不能被认为是这种区域变化。

具体地，步骤S15处的答复为“是”，并且在以下情况下处理进行到步骤S16。

(1)像素级Y11被归类位于高值区Ac中，而插值值Y11’被归类位于低值区Ar中。

(2)像素级Y11被归类位于低值区Ar中，而插值值Y11’被归类位于高值区Ac中。

(3)像素级Y11被归类位于单调增加区Am中，而插值值Y11’被归类位于高值区Ac或低值区Ar中。在步骤S16，由问题消除处理部430计算出的、在最小跳跃量所在的方向中的插值值Y11”被选择并被输出作为关注像素的插值值。

当插值值Y11’被归类为位于像素级Y11所在的区域中(包括插值值Y11’在单调增加区Am中而像素级Y11位于高值区Ac或低值区Ar中的情况)时，步骤S15处的答复为“否”，并且处理进行到步骤S17。在步骤S17，由孤立点插值部422计算的插值值Y11’被选择并被输出作为关注像素的插值值。

接下来，孤立点检测部421确定是否检测到了孤立点(步骤S18)。当检测到孤立点时，插值值Y11’或插值值Y11”替换了关注像素的像素级Y11，并且插值值被输出(步骤S19)。当没有检测到孤立点时，关注像素的像素级Y11被原样输出(步骤S20)。

[本实施例的优点]

在上述实施例中，确定孤立点插值处理导致关注像素和位于与关注像素的最小跳跃量所在方向中的像素的像素值的大小之间的关系的变化。当孤立点插值处理导致这种变化时，确定插值处理会产生问题。然后，关注像素和位于最小跳跃量方向中的像素的像素值的中值被输出作为插值值。结果，即使当边缘存在于滤波器区域中时，也可以执行插值来利用与被检测作为孤立点的关注像素高度相关的像素的像素值计算的插值值来代替关注像素的像素级Y11。也就是说，即使在边缘区域中，也可以在孤立点处适当地执行插值处理。

在上述实施例中，在具有较差的信噪比从而使得边缘的方向无法被确定的环境中，确定孤立点插值处理可能会导致问题。然后，插值值被输出，从而使得该问题可以被消除。所以，即使在图像信号具有较差的信噪比的情况下，也可以精确地对孤立点执行插值。

在这种情况下，利用关注像素和位于最小跳跃量发生的方向中的像素的像素值的中值，对关注像素的像素级Y11进行插值。结果，即使在图像包括具有等于一个像素的宽度的字符或直线的情况下，作为插值处理的结果也不会在图像中形成任何缝隙。

在上述实施例中，由于插值值是利用中值滤波器计算出来的，所以插值值的频率将不会不必要地变低。

在上述实施例中，当确定孤立点插值处理将会导致问题时，不仅利用与关注像素的像素级Y11的差分最小的像素的像素级，而且利用与关注像素的像素级Y11的差分第二最小的像素的像素级来计算插值值。相对于仅利用与关注像素的像素级Y11的差分最小的像素的像素级来计算插值值，这种方法能够使孤立点被更有效地消除。

在上述实施例中，当问题将要发生时，执行如上所述的问题消除处理。从而，可以利用诸如中值滤波器之类的虽然能够实现相对较高水平的噪声抑制但也很可能导致问题的普通插值装置来执行插值。

在上述实施例中，由于孤立点插值处理是利用3×3滤波器执行的，所以可以最小化线存储器(line memory)的数目，从而可以节省这种处理所需的图像处理设备的资源。

[本实施例的修改]

已经描述了作为示例的上述实施例，其中，孤立点插值部422由分别与H轴、V轴、RU轴以及RD轴相关联的四个中值滤波器422h、422v、422ru以及422rd和平均值计算部422a形成。然而，本发明不限于这种配置。例如，本发明可以被用在利用与H轴和V轴相关联的两个中值滤波器的配置中，或者被用在如相关技术中那样利用将被应用于滤波器窗口中的所有像素的中值滤波器的配置中。

尽管以上实施例是根据本发明的图像处理设备应用于三CCD成像设备的示例，但是本发明不限于这种应用。例如，本发明可替代地被应用于四CCD成像设备或一CCD成像设备。当本发明被应用于一CCD成像设备时，可以通过执行根据本实施例的孤立点消除处理来适当消除彩色滤波器阵列上的以棋盘(checkerboard)图案排列的绿色像素中的孤立点。

在这种情况下，希望将本实施例的孤立点插值部422放置在用于执行去马赛克处理的电路的下游。可以通过提供图6中所示的在RU轴和RD轴上例如具有三个抽头并且在H轴和V轴上具有五个抽头的中值滤波器来充分执行插值处理。

当还要对红色和蓝色像素执行孤立点消除时，可以使用与作为关注像素的红色或蓝色像素相邻的绿色像素提取边缘信息，并且仅在确定附近不存在边缘时执行孤立点消除处理。

本实施例可以被应用于其中的平滑化处理是利用ε滤波器来执行的图像处理设备。ε滤波器的特征在于，其会在关注像素是孤立点时由于可以加总的像素的百分比的降低而遭受平滑度极端降低。在这种情况下，可以在ε滤波器执行平滑处理之前执行根据本实施例的孤立点消除处理，以在不会导致平滑度降低的情况下有效地消除孤立点。

本申请包括与2009年5月27日在日本专利局递交的日本优先权专利申请JP 2009-128099所公开的主题有关的主题，其全部内容通过引用结合于此。

本领域技术人员应该理解，在不脱离所附权利要求及其等同物的范围的情况下，可以根据设计要求和其它因素进行各种修改、组合、子组合以及改变。

Claims (5)

1.一种图像处理设备，包括：

第一插值部，用于利用关注像素和与所述关注像素相邻的多个像素的像素值来计算对于所述关注像素的像素值的第一插值值；

第二插值部，用于检测由所述关注像素和所述相邻的多个像素限定的方向中的最小跳跃量方向，以利用位于所述最小跳跃量方向中的像素的像素值和所述关注像素的像素值来计算对于所述关注像素的像素值的第二插值值，所述最小跳跃量方向是与所述关注像素的像素值的差分之和最小的方向；

问题检测部，用于利用位于所述最小跳越量方向中的像素的像素值、所述第一插值值以及所述第二插值值来确定利用所述第一插值值执行的插值是否造成了所述关注像素和位于所述最小跳跃量方向中的像素的像素值的大小之间的关系的任何改变，当不存在改变时选择所述第一插值值，并且当存在改变时选择所述第二插值值；以及

孤立点检测部，用于确定所述关注像素是否为孤立点，并且当确定所述关注像素是孤立点时输出由所述问题检测部选择的所述第一插值值或所述第二插值值，并且当确定所述关注像素不是孤立点时输出所述关注像素的像素值，

其中，位于所述最小跳跃量方向中的像素有：具有与所述关注像素的像素值的绝对差分最小的像素值的第一像素和具有与所述关注像素的像素值的绝对差分第二最小的像素值的第二像素，并且

其中，当存在以下情况时所述问题检测部确定利用所述第一插值值进行的插值导致了所述关注像素和位于所述最小跳跃量方向中的像素的像素值的大小之间的关系的改变：

当所述关注像素的像素值在插值之前被归类为存在于高值区中并且在插值之后被归类为存在于低值区中时；

当所述关注像素的像素值在插值之前被归类为存在于所述低值区中并且在插值之后被归类为存在于所述高值区中时；或者

当所述关注像素的像素值在插值之前被归类为存在于单调增加区域中并且在插值之后被归类为存在于所述高值区或所述低值区中时，

所述高值区是像素值被归类为大于所述第一像素和所述第二像素的像素值中较大的像素值的区域，所述低值区是被归类为像素值小于所述第一像素和所述第二像素的像素值中较小的像素值的区域，所述单调增加区是被归类为像素值大于等于所述第一像素和所述第二像素的像素值中较小的像素值且被归类为小于等于所述第一像素和所述第二像素的像素值中较大的像素值的区域。

2.根据权利要求1所述的图像处理设备，其中，以所述关注像素为中心并且具有水平方向的3个像素×垂直方向的3个像素的范围的窗口中的每个像素的像素值被输入到所述第二插值部。

3.根据权利要求1所述的图像处理设备，其中，所述第一插值部和所述第二插值部利用中值滤波器来分别计算所述第一插值值和所述第二插值值。

4.一种成像设备，包括：

成像部，用于通过对对象的光执行光电转换来生成图像信号；

第一插值部，用于利用由所述成像部获取的所述图像信号中的特定的关注像素的像素值和与所述关注像素相邻的多个像素的像素值来计算第一插值值；

第二插值部，用于检测由所述关注像素和所述相邻的多个像素限定的方向中的最小跳跃量方向，以利用位于所述最小跳跃量方向中的像素的像素值和所述关注像素的像素值来计算对于所述关注像素的像素值的第二插值值，所述最小跳跃量方向是与所述关注像素的像素值的差分之和最小的方向；

问题检测部，用于利用位于所述最小跳跃量方向中的像素的像素值、所述第一插值值以及所述第二插值值来确定利用所述第一插值值执行的插值是否造成了所述关注像素和位于所述最小跳跃量方向中的像素的像素值的大小之间的关系的任何改变，当不存在改变时选择所述第一插值值，并且当存在改变时选择所述第二插值值；以及

孤立点检测部，用于确定所述关注像素是否为孤立点，当确定所述关注像素是孤立点时输出由所述问题检测部选择的所述第一插值值或所述第二插值值，并且当确定所述关注像素不是孤立点时输出所述关注像素的像素值，

其中，位于所述最小跳跃量方向中的像素有：具有与所述关注像素的像素值的绝对差分最小的像素值的第一像素和具有与所述关注像素的像素值的绝对差分第二最小的像素值的第二像素，并且

其中，当存在以下情况时所述问题检测部确定利用所述第一插值值进行的插值导致了所述关注像素和位于所述最小跳跃量方向中的像素的像素值的大小之间的关系的改变：

当所述关注像素的像素值在插值之前被归类为存在于高值区中并且在插值之后被归类为存在于低值区中时；

当所述关注像素的像素值在插值之前被归类为存在于所述低值区中并且在插值之后被归类为存在于所述高值区中时；或者

当所述关注像素的像素值在插值之前被归类为存在于单调增加区域中并且在插值之后被归类为存在于所述高值区或所述低值区中时，

所述高值区是像素值被归类为大于所述第一像素和所述第二像素的像素值中较大的像素值的区域，所述低值区是被归类为像素值小于所述第一像素和所述第二像素的像素值中较小的像素值的区域，所述单调增加区是被归类为像素值大于等于所述第一像素和所述第二像素的像素值中较小的像素值且被归类为小于等于所述第一像素和所述第二像素的像素值中较大的像素值的区域。

5.一种图像处理方法，包括：

利用关注像素和与所述关注像素相邻的多个像素的像素值来计算对于所述关注像素的像素值的第一插值值；

检测由所述关注像素和所述相邻的多个像素限定的方向中的最小跳跃量方向，以利用所述关注像素的像素值和位于所述最小跳跃量方向中的像素的像素值来计算对于所述关注像素的像素值的第二插值值，所述最小跳跃量方向是与所述关注像素的像素值的差分之和最小的方向；

利用位于所述最小跳跃量方向中的像素的像素值、所述第一插值值、和所述第二插值值来确定利用所述第一插值值执行的插值是否造成了所述关注像素和位于所述最小跳跃量方向中的像素的像素值的大小之间的关系的任何改变，当不存在改变时选择所述第一插值值，并且当存在改变时选择所述第二插值值；以及

确定所述关注像素是否为孤立点，当确定所述关注像素是孤立点时输出由问题检测部选择的所述第一插值值或所述第二插值值，并且当确定所述关注像素不是孤立点时输出所述关注像素的像素值，

其中，位于所述最小跳跃量方向中的像素有：具有与所述关注像素的像素值的绝对差分最小的像素值的第一像素和具有与所述关注像素的像素值的绝对差分第二最小的像素值的第二像素，并且其中，当存在以下情况时所述问题检测部确定利用所述第一插值值进行的插值导致了所述关注像素和位于所述最小跳跃量方向中的像素的像素值的大小之间的关系的改变：

当所述关注像素的像素值在插值之前被归类为存在于高值区中并且在插值之后被归类为存在于低值区中时；

当所述关注像素的像素值在插值之前被归类为存在于所述低值区中并且在插值之后被归类为存在于所述高值区中时；或者

当所述关注像素的像素值在插值之前被归类为存在于单调增加区域中并且在插值之后被归类为存在于所述高值区或所述低值区中时，

所述高值区是像素值被归类为大于所述第一像素和所述第二像素的像素值中较大的像素值的区域，所述低值区是被归类为像素值小于所述第一像素和所述第二像素的像素值中较小的像素值的区域，所述单调增加区是被归类为像素值大于等于所述第一像素和所述第二像素的像素值中较小的像素值且被归类为小于等于所述第一像素和所述第二像素的像素值中较大的像素值的区域。

Images