CN103384334A - 图像处理装置、图像处理方法及程序 - Google Patents

Abstract

一种图像处理装置、图像处理方法及程序。像素改变量计算单元通过使用由图像传感器输出的像素信号来计算第一像素改变量和第二像素改变量。边界方向确定单元通过使用关于第一像素改变量和第二像素改变量的信息，来确定其中存在彼此具有很大差异的像素值的相邻像素的边界的边界方向。内插值计算单元基于边界方向确定单元的确定结果来计算与边界方向对应的内插值。内插处理器通过使用内插值计算单元计算的内插值，而将第一颜色成分内插到包括第二颜色成分的目标像素中。

Description

图像处理装置、图像处理方法及程序

技术领域

本公开涉及一种图像处理装置、图像处理方法及程序，更具体地涉及一种高精确度地将不足的颜色成分内插到通过滤色器获得的、构成图像的每个像素中的技术。

背景技术

在单板（single plate）成像装置中，使用滤色器将通过透镜获得的物光分解为例如R（红）、G（绿）和B（蓝）三原色。经常使用具有拜耳布置的滤色器作为这种滤色器。拜耳布置意味着以棋盘图案布置其中亮度信号贡献较高比率的G-滤色器并且在其它部分以网格图案布置R和B滤色器，如图43所图示。在图像传感器的每个像素中获得R、G和B之中的仅仅一种颜色的数据。因此，像素中未获得的其它颜色需要通过使用该像素周围的像素的像素值的计算来进行内插。这种内插处理被称为“去马赛克”或者“去马赛克化”。

在图43图示的拜耳布置中，以两倍于R滤色器和B滤色器的比率来提供G滤色器，并且以棋盘图案来布置G滤色器而以网格图案来布置R和B像素。也就是说，对应于G的像素和对应于R和B的像素在像素的再现范围方面不同。此外，再现范围上的差异具体地对于图像的轮廓部分中伪色的产生等有作用。为了使得再现范围均衡，必须将R和B像素值作为内插值插入到R和B像素缺失的位置处，使得R和B像素具有与G像素相同的布置。也就是说，图像质量很大程度上依赖于G像素能否被合适地内插到R和B像素中。作为一种以高精度将G像素插入到R和B像素中的一种方法，例如，考虑到图像的边缘（边界）的方向性执行内插的方法是已知的。

例如，日本专利申请特许公开No.2007-037104（下文中称为专利文献1）描述了如下的一种方法。具体地，在该方法中，使用目标像素周围的像素的像素值来估计存在边界的方向（下文中，称为“边界方向”）并且以对应于所估计的方向的计算方法计算内插值。作为一种估计边界方向的方法，专利文献1描述了一种在像素的布置方向中的水平方向被设置为0°的情况下，确定0°、90°、45°和135°方向中的每个是否是边界方向的方法。

发明内容

随着用于确定边界方向的存在或者不存在的方向数量增加，内插精度也增加。然而，当用于确定边界方向存在或者不存在的方向数量增加，例如，用于确定边界方向存在或者不存在的像素值的改变量的计算需要与方向的数量执行相同的次数。相应地，计算量也增加。

鉴于上述情形，期望在不显著增加计算量的情况下关于各个方向来确定边界的存在或者不存在。

根据本公开的一实施例，提供了一种图像处理装置，包括：像素改变量计算单元、边界方向确定单元、内插值计算单元和内插处理器。图像处理装置的各个单元具有以下配置和功能。像素改变量计算单元被配置为通过使用由图像传感器输出的像素信号来计算第一像素改变量和第二像素改变量，所述图像传感器被配置为将穿过滤色器的光进行光电转换并且作为像素信号输出，所述滤色器包括第一滤色器和第二滤色器。第一滤色器中的每一个包括第一颜色成分并且以棋盘图案布置。第二滤色器中的每一个包括与第一颜色成分不同的第二颜色成分并且被布置在与以棋盘图案布置第一滤色器的位置不同的位置处。所述第一像素改变量是至少在估计的边界方向中的第一估计边界方向、第二估计边界方向和第三估计边界方向上的像素值的改变量，在估计的边界方向中的每一个中，彼此具有很大差异的像素值的相邻像素的边界被估计为存在。第二像素改变量是在与第一至第三估计边界方向正交的方向上的像素值的改变量。第一估计边界方向是在像素的布置方向上的水平方向。第二估计边界方向是在像素的布置方向上的垂直方向。第三估计边界方向在将第一估计边界方向和第二估计边界方向形成的角几乎平分的线上延伸。边界方向确定单元被配置为通过使用关于在第一至第三估计边界方向上计算的第一像素改变量、和在与第一至第三估计边界方向正交的方向上计算的第二像素改变量的信息，来确定存在边界的边界方向。内插值计算单元被配置为基于边界方向确定单元的确定结果来计算与边界方向对应的内插值。内插处理器被配置为通过使用内插值计算单元计算的内插值，将第一颜色成分内插到包括第二颜色成分的目标像素中。

此外，根据本公开的另一实施例，提供了如下的一种图像处理方法。首先，通过使用由图像传感器输出的像素信号来计算第一像素改变量和第二像素改变量，所述图像传感器被配置为将穿过滤色器的光进行光电转换并且作为像素信号输出，所述滤色器包括第一滤色器和第二滤色器。第一滤色器每个包括第一颜色成分并且以棋盘图案布置。第二滤色器每个包括与第一颜色成分不同的第二颜色成分并且被布置在与以棋盘图案布置第一滤色器的位置不同的位置处。所述第一像素改变量是至少在估计的边界方向中的第一估计边界方向、第二估计边界方向和第三估计边界方向上的像素值的改变量，在估计的边界方向中的每一个中，彼此具有很大差异的像素值的相邻像素的边界被估计为存在。第二像素改变量是在与第一至第三估计边界方向正交的方向上的像素值的改变量。第一估计边界方向是在像素的布置方向上的水平方向。第二估计边界方向是在像素的布置方向上的垂直方向。第三估计边界方向在将第一估计边界方向和第二估计边界方向形成的角几乎平分的线上延伸。随后，通过使用关于计算的第一像素改变量、和在与第一至第三估计边界方向正交的方向上计算的第二像素改变量的信息，来确定存在边界的边界方向。随后，基于确定结果来计算与边界方向对应的内插值。随后，通过使用计算的内插值而将第一颜色成分内插到包括第二颜色成分的目标像素中。

此外，根据本公开的又一实施例，提供了如下一种使得计算机执行以下步骤的程序。首先，通过使用由图像传感器输出的像素信号来计算第一像素改变量和第二像素改变量，所述图像传感器被配置为将穿过滤色器的光进行光电转换并且作为像素信号输出，所述滤色器包括第一滤色器和第二滤色器。第一滤色器中的每一个包括第一颜色成分并且以棋盘图案布置。第二滤色器中的每一个包括与第一颜色成分不同的第二颜色成分并且被布置在与以棋盘图案布置第一滤色器的位置不同的位置处。所述第一像素改变量是至少在估计的边界方向中的第一估计边界方向、第二估计边界方向和第三估计边界方向上的像素值的改变量，在估计的边界方向中的每一个中，彼此具有很大差异的像素值的相邻像素的边界被估计为存在。第二像素改变量是在与第一至第三估计边界方向正交的方向上的像素值的改变量。第一估计边界方向是在像素的布置方向上的水平方向。第二估计边界方向是在像素的布置方向上的垂直方向。第三估计边界方向在将第一估计边界方向和第二估计边界方向形成的角几乎平分的线上延伸。随后，通过使用关于计算的第一像素改变量、和在与第一至第三估计边界方向正交的方向上计算的第二像素改变量的信息，来确定存在边界的边界方向。随后，基于确定结果来计算与边界方向对应的内插值。随后，通过使用计算的内插值而将第一颜色成分内插到包括第二颜色成分的目标像素中。

利用上述配置和处理，基于第一像素改变量和基于在第一至第三估计边界方向上的计算的像素改变量设置的第二像素改变量的信息来确定边界方向。基于关于第一像素改变量和第二像素改变量的信息来确定边界方向。因此，同样，如果边界方向不与其中已经计算了像素改变量的第一至第三估计边界方向中的任一个对应，则可以确定第一至第三估计边界方向中的每一个是否是边界方向。

根据本公开的实施例，可能减少像素改变量的计算量并且确定各种边界方向。

鉴于以下本公开的最佳实施例的详细描述，如在附图中图示的，本公开的这些和其它目的、特征和优点将变得更明显。

附图说明

图1是示出了根据本公开的一实施例的成像装置的示例性内部配置的框图；

图2是示出了根据本公开的实施例的内插处理器的示例性配置的框图；

图3是示出了根据本公开的实施例的边界方向和边界方向的正交方向之间的关系的说明图；

图4是示出了根据本公开的实施例的示例性估计的边界方向的说明图；

图5是示出了根据本公开的实施例的像素改变量计算单元的示例性处理的流程图；

图6是示出了根据本公开的实施例的、在估计的0°边界方向上的示例性像素改变量计算区域的说明图；

图7A和7B是每一个示出了根据本公开的实施例的、关于估计的0°边界方向、正交于估计的边界方向的方向上的示例性像素改变量计算区域的说明图；

图8A和8B是每一个示出了根据本公开的实施例的、关于估计的0°边界方向、正交于估计的边界方向的方向上的示例性像素改变量计算区域的说明图；

图9是示出了根据本公开的实施例的、在估计的90°边界方向上的示例性像素改变量计算区域的说明图；

图10A和10B是每一个示出了根据本公开的实施例的、关于估计的90°边界方向、正交于估计的边界方向的方向上的示例性像素改变量计算区域的说明图；

图11A和11B是每一个示出了根据本公开的实施例的、关于估计的90°边界方向、正交于估计的边界方向的方向上的示例性像素改变量计算区域的说明图；

图12是示出了根据本公开的实施例的、在估计的45°边界方向上的示例性像素改变量计算区域的说明图；

图13A和13B是每一个示出了根据本公开的实施例的、关于估计的45°边界方向、正交于估计的边界方向的方向上的示例性像素改变量计算区域的说明图；

图14A和14B是每一个示出了根据本公开的实施例的、关于估计的45°边界方向、正交于估计的边界方向的方向上的示例性像素改变量计算区域的说明图；

图15A和15B是每一个示出了根据本公开的实施例的、关于估计的45°边界方向、正交于估计的边界方向的方向上的示例性像素改变量计算区域的说明图；

图16是示出了根据本公开的实施例的、在估计的135°边界方向上的示例性像素改变量计算区域的说明图；

图17A和17B是每一个示出了根据本公开的实施例的、关于估计的135°边界方向、正交于估计的边界方向的方向上的示例性像素改变量计算区域的说明图；

图18A和18B是每一个示出了根据本公开的实施例的、关于估计的135°边界方向、正交于估计的边界方向的方向上的示例性像素改变量计算区域的说明图；

图19A和19B是每一个示出了根据本公开的实施例的、关于估计的135°边界方向、正交于估计的边界方向的方向上的示例性像素改变量计算区域的说明图；

图20是示出根据本公开的实施例的边界方向确定单元进行的示例性处理的流程图；

图21A至21C是示出根据本公开的实施例在边界处于估计的0°边界方向上的情况下，第一方向、第二方向和第三方向之间的示例性关系的说明图，其中图21A示出了在每个估计的边界方向上计算的像素改变量、图21B示出了在正交于每个估计的边界方向的方向上计算的像素改变量，以及图21C示出了第一方向、第二方向和第三方向之间的位置关系。

图22是示出根据本公开的实施例的边界方向确定单元进行的示例性处理的流程图；

图23是示出根据本公开的实施例的边界方向确定单元进行的示例性处理的流程图；

图24A和24B是每一个示出了根据本公开的实施例的在边界处于45°方向的情形下，每个像素和用于计算内插值的边界之间的位置关系的说明图；

图25是示出了根据本公开的实施例的用于在估计的0°边界方向上计算内插值的每个像素的位置的说明图；

图26是示出了根据本公开的实施例的用于在估计的90°边界方向上计算内插值的每个像素的位置的说明图；

图27A和27B是每一个示出了根据本公开的实施例的用于在估计的45°边界方向上计算内插值的每个像素的位置以及每个像素和边界之间的位置关系的说明图；

图28是示出了根据本公开的实施例的用于在估计的45°边界方向上计算内插值的每个像素的位置、每个像素和边界之间的位置关系、以及重心校正方向的说明图；

图29A和29B是每一个示出了根据本公开的实施例的在边界处于135°方向的情形下，每个像素和用于计算内插值的边界之间的位置关系的说明图；

图30是示出了根据本公开的实施例的用于在估计的135°边界方向上计算内插值的每个像素的位置、每个像素和边界之间的位置关系、以及重心校正方向的说明图；

图31是示出了根据本公开的实施例的用于在估计的30°边界方向上计算内插值的每个像素的位置、每个像素和边界之间的位置关系、以及重心校正方向的说明图；

图32是示出了根据本公开的实施例的用于在估计的150°边界方向上计算内插值的每个像素的位置、每个像素和边界之间的位置关系、以及重心校正方向的说明图；

图33是示出了根据本公开的实施例的用于在估计的60°边界方向上计算内插值的每个像素的位置、每个像素和边界之间的位置关系、以及重心校正方向的说明图；

图34是示出了根据本公开的实施例的用于在估计的120°边界方向上计算内插值的每个像素的位置、每个像素和边界之间的位置关系、以及重心校正方向的说明图；

图35是示出了根据本公开的实施例的内插值计算单元的示例性处理的流程图；

图36是示出了根据本公开的实施例的内插处理器的示例性处理的流程图；

图37是示出根据本公开的实施例的在B被内插到已经采样了R的位置的情况下、用于计算内插值的每个像素的说明图；

图38是示出根据本公开的实施例的在R被内插到已经采样了B的位置的情况下、用于计算内插值的每个像素的说明图；

图39是示出根据本公开的实施例的在R被内插到已经采样了G的位置的情况下、用于计算内插值的每个像素的说明图；

图40是示出根据本公开的实施例的在B被内插到已经采样了G的位置的情况下、用于计算内插值的每个像素的说明图；

图41是示出根据本公开的实施例的修改示例在估计的0°边界方向上示例性的像素改变量计算区域的说明图；

图42是示出根据本公开的实施例的在正交于估计的0°边界方向上示例性的像素改变量计算区域的说明图；以及

图43是示出现有技术中的示例性拜耳布置的说明图。

具体实施方式

下文中，将按以下顺序参照附图来描述根据本公开的实施例的示例性图像处理装置。在该实施例中，将描述其中将根据本公开的实施例的图像处理装置应用于成像装置的示例。

1.成像装置的示例性配置

2.内插处理器的示例性配置

3.示例性的颜色内插处理

4.各种修改的示例

<1.成像装置的示例性配置>

图1示出了根据本公开实施例的图像处理装置应用于的成像装置1的示例性内部配置。成像装置1包括透镜10、滤色器20、图像传感器30、模数转换器40（下文称为ADC40）、颜色内插处理器50、以及信号处理器60。

透镜10接收被摄体的图像光并且在图像传感器30的成像表面（未示出）形成图像。滤色器20是如图43所示的拜耳布置滤色器。以棋盘图案来布置第一颜色成分“G”，在除了布置第一颜色成分“G”的位置之外的位置上以网格图案布置第二或者第三颜色成分“R”或者“B”。

图像传感器30包括，例如，电荷耦合器件（CCD）图像传感器或者互补金属氧化物半导体（CMOS）图像传感器。在图像传感器30中以二维方式布置对应于像素的多个光电转换元件。每个光电转换元件对通过滤色器20的光进行光电转换并且输出转换后的光作为像素信号。构成滤色器20的R、G和B滤色器（分别是第二滤色器、第一滤色器和第三滤色器）的布置位置对应于图像传感器30的像素的布置位置。为每个像素产生具有R（第二颜色成分）、G（第一颜色成分）和B（第三颜色成分）中任一种颜色成分的像素信号。

ADC40将从图像传感器30输出的像素信号转换为数字信号。颜色内插处理器50估计由ADC40转换到数字信号的每个像素信号。具体地，颜色内插处理器50估计未被包括在像素信号中的颜色成分。此外，颜色内插处理器50执行内插估计的颜色成分（去马赛克化）的处理。典型地，在去马赛克化时，颜色内插处理器50首先执行将G内插到已经采样了R或B的位置的处理。随后，颜色内插处理器50执行将B内插到已经采样了R的位置和将R内插到已经采样了B的位置的处理。最后，颜色内插处理器50执行将R或B内插到已经采样了G的位置的处理。

已经做出本公开的该实施例的目的在于增加作为第一步骤的将G内插到已经采样R或B的位置的处理的精度。为了增加内插处理的精度，如果颜色内插处理器50确定在包括彼此具有非常大的差异的像素值的邻近像素的部分中存在边界，例如，图像中的对象的轮廓部分穿过目标像素，颜色内插处理器50执行对应于其中存在边界的方向上的内插处理。稍后将详细地描述颜色内插处理器50的处理。

信号处理器60对经历了颜色内插处理器50的颜色内插处理的像素信号执行信号处理，诸如白平衡调整、伽马校正，以及轮廓增强。尽管在该示例中，从颜色内插处理器50输出的信号经历了白平衡调整和伽马校正，但可以在颜色内插处理器50之前的阶段执行这种处理。当在颜色内插处理器50之前的阶段执行这种处理时，通过信号处理克服了邻近像素之间的过大的亮度改变。因此，可以进一步减少由于过大的亮度改变造成的伪色。

<2.颜色内插处理器的示例性配置>

接着，将参照图2描述颜色内插处理器50的示例性配置。颜色内插处理器50包括像素改变量计算单元501、边界方向确定单元502、内插值计算单元503，和内插处理器504。像素改变量计算单元501计算像素值的两种改变量。像素值的两种改变量其中的一种意味着在被估计为存在边界的方向每个估计的边界方向上像素值的改变量。像素值的两种改变量其中的另一种意味着在正交于每个估计的边界方向的方向上的像素值的改变量。

在其中在局部区域中存在具有图像的不同阴影（像素值）的区域Ar1和区域Ar2的情况下，边界方向意味着沿区域Ar1和区域Ar2之间的边界的方向，如图3所示。在该实施例中，在估计的边界方向上的像素值的改变量和正交于每个估计的边界方向的方向上的像素值的改变量被用作确定实际边界方向对应于被预先设置的估计的边界方向中的哪一个边界方向的基础。

如果存在边界，则位于边界方向上的像素之间的像素值的改变量在除了边界方向之外的任何方向上的像素值的改变量中是最小的。此外，位于与边界方向正交的方向上的像素之间的像素值的改变量在除了正交于边界方向的方向之外的任何方向上的像素值的改变量中是最大的。也就是说，可以通过参照估计的边界方向上的像素值的改变量和正交于估计的边界方向的方向上的像素值的改变量之间的量值关系来确定实际边界方向对应于被设置为估计的边界方向的方向中的哪一个。

例如，八个方向被设置为其中被估计存在边界的估计的边界方向。图4是示出八个估计的边界方向的图。在像素的布置方向的水平方向被设置为0°的情况下，由一角度来指示每一个被估计的边界方向。估计的边界方向被分类为第一组和第二组。在第一组中，使用像素改变量的计算结果来确定边界方向。在第二组中，不计算像素改变量来确定边界方向。第一组包括作为第一估计边界方向的0°，作为第二估计边界方向的90°，作为第三估计边界方向的45°和135°。第二组包括作为第四估计边界方向的30°、60°、120°和150°。在图4中，由实线示出第一组，由虚线示出第二组。

如上所述，像素改变量计算单元501计算在属于第一组的每一个估计的边界方向上的像素值的改变量。像素改变量计算单元501不计算在属于第二组的每一个估计的边界方向上的像素值的改变量。

边界方向确定单元502基于在估计的边界方向上的像素值的改变量以及基于在与估计的边界方向正交的方向上的像素值的改变量之间的量值关系，来确定实际边界方向对应于八个估计的边界方向中的哪一个。更具体地，边界方向确定单元502确定边界属于第一组和第二组中的哪一组，或者边界是否属于第一组和第二组中任一组。与由边界方向确定单元502确定的估计边界方向对应，内插值计算单元503改变其中要选择的用于计算内插值的像素的区域或者用于内插值的计算方法。内插处理器504使用由内插值计算单元503计算的内插值来对目标像素Pi执行内插处理。

<3.示例性的颜色内插处理>

接着，稍后将描述颜色内插处理器50的各个单元进行的示例性处理。将按以下顺序来进行描述。

3-1．像素改变量计算单元的示例性处理

3-2．边界方向确定单元和内插值计算单元的示例性处理

3-3．内插值计算单元在每个估计的边界方向上的内插值计算方法的示例

3-4．内插值计算单元进行的颜色成分的示例性内插处理

[3-1.像素改变量计算单元的示例性处理]

图5是示出像素改变量计算单元501的示例性处理的流程图。像素改变量计算单元501首先在估计的0°边界方向上计算像素值的改变量（下文也被称为“像素改变量”）（步骤S1）。像素改变量计算单元501在正交于估计的0°边界方向的方向上计算像素改变量（步骤S2）。随后，像素改变量计算单元501在估计的90°边界方向上计算像素改变量（步骤S3）。像素改变量计算单元501在正交于估计的90°边界方向的方向上计算像素改变量（步骤S4）。随后，像素改变量计算单元501在估计的45°边界方向上计算像素改变量（步骤S5）。像素改变量计算单元501在正交于估计的45°边界方向的方向上计算像素改变量（步骤S6）。随后，像素改变量计算单元501在估计的135°边界方向上计算像素改变量（步骤S7）。像素改变量计算单元501在正交于估计的135°边界方向的方向上计算像素改变量（步骤S8）。处理进行到连接器J1。注意，不一定需要按照图5所示的顺序而在估计的边界方向上执行像素改变量的计算。可以采用其它顺序。

通过计算被设置为像素改变量计算区域的预定区域中的多个像素的像素值之间的绝对差值来计算像素改变量。图6是示出了在估计的边界方向上像素值改变量的计算区域（像素改变量计算区域Ara）的图。在图6中，目标像素Pi在水平方向上的坐标由“h”表示，垂直方向上的坐标由“v”表示。此外，目标像素Pi的像素值由例如符号R(h,v)表示，其中组合了目标像素Pi的颜色成分和坐标。在以下描述中，目标像素Pi具有R成分的情形。然而，应注意，如果目标像素Pi具有B成分，也执行相同的处理。

（3-1-1．在估计的0°边界方向上和正交于估计的0°边界方向的方向上的像素改变量的计算示例）

关于估计的0°边界方向，如图6所示，例如，以目标像素Pi作为中心，包括5个左侧和右侧像素的区域被设置为像素改变量计算区域Ara。计算像素改变量计算区域Ara中的像素中的、具有相同颜色成分的像素之间的绝对差值。所计算的绝对差值的平均值被认为是估计的0°边界方向上的像素改变量。当估计的0°边界方向上的像素改变量被表示为dif_along_0并且绝对值产生函数被表示为abs()时，可以使用以下的表达式1来计算像素改变量dif_along_0。

dif_along_0=(abs(R(h-2,v)-R(h,v))+abs(G(h-1,v)-G(h+1,v))+abs(R(h,v)-R(h+2,v)))/3  表达式1

也就是说，在以上的表达式1中，按以下三种组合来计算绝对差值以及计算绝对差值的平均值

（1）在估计的0°边界方向上最靠近目标像素Pi的像素中的、位于左手侧位置（h-2,v）上的像素的像素值R(h-2,v)与目标像素Pi的像素值R(h,v)之间的差，每个像素具有类似于目标像素Pi的R色成分。

（2）在估计的0°边界方向上最靠近目标像素Pi的像素中的、位于右手侧位置（h+2,v）上的像素的像素值R(h+2,v)与目标像素Pi的像素值R(h,v)之间的差，每个像素具有类似于目标像素Pi的R色成分。

（3）在估计的0°边界方向上位于与目标像素Pi相邻的左手侧的位置（h-1,v）上的像素的像素值G(h-1,v)与位于与目标像素Pi相邻的右手侧的位置（h+1，v）上的像素的像素值G(h+1,v)之间的差，每个像素具有G色成分。

注意，在如表达式1所示的计算公式中，示出了其中对按照三种组合计算的绝对差值均匀地求平均值的示例。然而，本公开不限于此。例如，可以执行加权平均。在该示例中，例如，将更靠近目标像素Pi的像素的权重设置为较大的值。

图7A和7B是每一个示出在正交于估计的0°边界方向上的方向上的示例性像素改变量计算区域Arc的图。通过计算位于与估计的0°边界方向正交的方向上的像素，即，位于估计的90°边界方向上的像素之间的绝对差值，来确定与估计的边界方向正交的方向上的像素改变量。用于计算该绝对差值的正交方向上的像素的数量被设置为例如夹持目标像素Pi的上侧和下侧的2个像素。也就是说，计算像素（h,v-1）的像素值和像素（h,v+1）的像素值之间的绝对差值。

在此，不仅计算在正交方向上与目标像素Pi属于相同(h)的像素之间的绝对差值，也计算右手侧（h+1）正交方向上的像素之间的绝对差值和左手侧（h-1）正交方向上的像素之间的绝对差值。然后，对所计算的绝对差值求平均值。以此方式，增加了边界检测精度。

将目标像素Pi视为中心，可以假设0°方向边界在正交方向上的两个位置。具体地，0°方向边界在正交方向上的位置可以在目标像素Pi之上或者之下。图7A示出了该边界在目标像素Pi的上面穿过。另一方面，图7B示出了该边界在目标像素Pi的下面穿过。在这两幅图中，由虚线示出边界。然而，在任一种情况下，像素改变量计算区域Arc具有相同的范围。

因此，当与估计的0°边界方向正交的方向上的像素改变量被表示为dif_cross_0时，可以使用以下的表达式2来计算像素改变量dif_cross_0。

dif_cross_0=(abs(B(h-1,v-1)-B(h-1,v+1))+abs(G(h,v-1)-G(h,v+1))+abs(B(h+1,v-1)-B(h+1,v+1)))/3  表达式2

注意，0°方向边界在正交方向上的位置可以如图8A的虚线所示在（v-2）和(v-1)之间，或者如图8B的虚线所示在（v+2）和(v+1)之间。如果考虑这种可能性计算像素改变量，则可以进一步增加边界检测精度。在该情形下，计算三个区域中的绝对差值。这三个区域包括图8A所示的像素改变量计算区域Arc、图8B所示的像素改变量计算区域Arc,和图7A和7B所示的像素改变量计算区域Arc。然后，绝对差值中的最大值被设置为与0°边界方向正交的方向上的像素改变量。

在图8A所示的示例和图8B所示的示例中，像素改变量计算区域Arc是不同的。因此，在像素改变量计算区域Arc的两个不同组中分别计算像素改变量。当图8A所示的像素改变量计算区域Arc中的像素改变量被表示为dif_cross_0_n时，可以使用以下的表达式3来计算像素改变量dif_cross_0_n。

dif_cross_0_n=(abs(G(h-1,v)-G(h-1,v-2))+abs(R(h,v)-R(h,v-2))+abs(G(h+1,v)-G(h+1,v-2)))/3  表达式3

此外，当图8B所示的像素改变量计算区域Arc中的像素改变量被表示为dif_cross_0_s时，可以使用以下的表达式4来计算像素改变量dif_cross_0_s。

dif_cross_0_s=(abs(G(h-1,v)-G(h-1,v+2))+abs(R(h,v)-R(h,v+2))+abs(G(h+1,v)-G(h+1,v+2)))3  表达式4

当如上所述在正交方向上的不同位置的三个像素改变量计算区域Arc中计算像素改变量时，在三个像素改变量计算区域Arc中计算的像素改变量中具有最大值的那一个被设置为与0°边界方向正交的方向上的像素改变量。当与0°边界方向正交的方向上的像素改变量被表示为dif_cross_0并且当图7A和图7B所示的像素改变量计算区域Arc中的像素改变量被表示为dif_cross_0_v时，可以使用以下的表达式5来计算像素改变量dif_cross_0。

dif_cross_0=MAX(dif_cross_0_v，dif_cross_0_n，dif_cross_0_s)  表达式5

(3-1-2.估计的90°边界方向和与估计的90°边界方向正交的方向上的像素改变量的计算示例)

关于估计的90°边界方向,如图9所示，例如，以目标像素Pi作为中心、包括5个上侧和下侧像素的区域被设置为像素改变量计算区域Ara。当估计的90°边界方向上的像素改变量被表示为dif_along_90时，可以使用以下的表达式6来计算像素改变量dif_along_90。

dif_along_90=(abs(R(h,v-2)-R(h,v))+abs(G(h,v-1)-G(h,v+1))+abs(R(h,v)-R(h,v+2)))/3  表达式6

图10A和10B是其中每一个示出在与估计的90°边界方向正交的方向上示例性的像素改变量计算区域Arc的图。通过计算位于与估计的90°边界方向正交的方向上的像素，即，位于估计的0°边界方向上的像素之间的绝对差值，来确定与估计的边界方向正交的方向上的像素改变量。用于计算该绝对差值的正交方向上的像素的数量被设置为例如夹持目标像素Pi的左侧和右侧的2个像素。也就是说，计算像素（h-1,v）的像素值和像素（h+1,v）的像素值之间的绝对差值。

在此，不仅计算在水平方向上与目标像素Pi属于相同(v)的像素之间的绝对差值，也计算上侧（v+1）水平方向上的像素之间的绝对差值和下侧（v-1）水平方向上的像素之间的绝对差值。然后，对所计算的绝对差值求平均值。

将目标像素Pi视为中心，可以假设90°方向边界在水平方向上的两个位置。具体地，90°方向边界在水平方向上的位置可以在目标像素Pi的右手侧或者左手侧。图10A示出了该边界在目标像素Pi的右手侧穿过。另一方面，图10B示出了该边界在目标像素Pi的左手侧穿过。在这两幅图中，由虚线示出边界。然而，在任一种情况下，像素改变量计算区域Arc具有相同的范围。

因此，当与估计的90°边界方向正交的方向上的像素改变量被表示为dif_cross_90时，可以使用以下的表达式7来计算像素改变量dif_cross_90。

dif_cross_90=(abs(B(h-1,v-1)-B(h+1,v-1))+abs(G(h-1,v)-G(h+1,v))+abs(B(h-1,v+1)-B(h+1,v+1)))/3  表达式7

注意，90°方向边界在正交方向上的位置可以如图11A的虚线所示在（h+1）和(h+2)之间，或者如图11B的虚线所示在（h-2）和(h-1)之间。如果考虑这种可能性计算像素改变量，则可以进一步增加边界检测精度。在该情形下，计算三个区域中的绝对差值。这三个区域包括图10A和10B所示的像素改变量计算区域Arc、图11A所示的像素改变量计算区域Arc,和图11B所示的像素改变量计算区域Arc。然后，绝对差值中的最大值被设置为与90°边界方向正交的方向上的像素改变量。

在图11A所示的示例和图11B所示的示例中，像素改变量计算区域Arc是不同的。因此，在像素改变量计算区域Arc的两个不同组中分别计算像素改变量。当图11A所示的像素改变量计算区域Arc中的像素改变量被表示为dif_cross_90_e时，可以使用以下的表达式8来计算像素改变量dif_cross_90_e。

dif_cross_90_e=(abs(G(h,v-1)-G(h+2,v-1))+abs(R(h,v)-R(h+2,v))+abs(G(h,v+1)-G(h+2,v+1)))/3  表达式8

此外，当图11B所示的像素改变量计算区域Arc中的像素改变量被表示为dif_cross_90_w时，可以使用以下的表达式9来计算像素改变量dif_cross_90_w。

dif_cross_90_w=(abs(G(h,v-1)-G(h-2,v-1))+abs(R(h,v)-R(h-2,v))+abs(G(h,v+1)-G(h-2,v+1)))/3  表达式9

然后，当在水平方向上的不同位置的三个像素改变量计算区域Arc中计算像素改变量时，在三个像素改变量计算区域Arc中计算的像素改变量中具有最大值的那一个被设置为与90°边界方向正交的方向上的像素改变量。当与90°边界方向正交的方向上的像素改变量被表示为dif_cross_90并且当图10A和图10B所示的像素改变量计算区域Arc中的像素改变量被表示为dif_cross_90_h时，可以使用以下的表达式10来计算像素改变量dif_cross_90。

dif_cross_90=MAX(dif_cross_90_h，dif_cross_90_e，dif_cross_90_w)  表达式10

(3-1-3.估计的45°边界方向和与估计的45°边界方向正交的方向上的像素改变量的计算示例)

关于估计的45°边界方向,如图12所示，例如，以目标像素Pi作为中心、包括5个右上对角线的像素的区域被设置为像素改变量计算区域Ara。当估计的45°边界方向上的像素改变量被表示为dif_along_45时，可以使用以下的表达式11来计算像素改变量dif_along_45。

dif_along_45=(abs(R(h-2,v+2)-R(h,v))+abs(B(h-1,v+1)-B(h+1,v-1))+abs(R(h,v)-R(h+2,v-2)))/3  表达式11

图13A和13B是其中每一个示出在与估计的45°边界方向正交的方向上示例性的像素改变量计算区域Arc的图。通过计算位于与估计的45°边界方向正交的方向上的像素，即，位于估计的135°边界方向上的像素之间的绝对差值，来确定与估计的边界方向正交的方向上的像素改变量。在此，以位于135°方向上的像素中的目标像素Pi的上侧像素和右侧相邻像素的组合以及目标像素Pi的左侧像素和下侧像素的组合来计算该绝对差值。绝对差值的平均值被设置为与估计的45°边界方向正交的方向上的像素改变量。

将目标像素Pi视为中心，可以假设45°方向边界在135°方向上的两个位置。具体地，45°方向边界在135°方向上的位置可以在目标像素Pi的左上侧或者右下侧。图13A示出了该边界在目标像素Pi的左上侧穿过。另一方面，图13B示出了该边界在目标像素Pi的右下侧穿过。在这两幅图中，由虚线示出边界。然而，在任一种情况下，像素改变量计算区域Arc具有相同的范围。

因此，当与估计的45°边界方向正交的方向上的像素改变量被表示为dif_cross_45时，可以使用以下的表达式12来计算像素改变量dif_cross_45。

dif_cross_45=(abs(G(h-1,v)-G(h,v+1))+abs(G(h,v-1)-G(h+1,v)))/2  表达式12

注意，45°方向边界在135°方向上的位置可以如图14A的虚线所示，是穿过目标像素Pi的左上角的位置，或者如图14B的虚线所示，是穿过目标像素Pi的右下角的位置。如果考虑这种可能性计算像素改变量，则可以进一步增加边界检测精度。

在该情形下，计算图14A和14B所示的像素改变量计算区域Arc中的绝对差值。图14A中所示的像素改变量计算区域Arc包括：从目标像素Pi的右上侧的B位置开始的135°方向上布置的三个像素构成的行、从目标像素Pi的位置开始的135°方向上布置的三个像素构成的行，以及从目标像素Pi的左下侧的B位置开始的135°方向上布置的三个像素构成的行。图14B中所示的像素改变量计算区域Arc包括：从目标像素Pi的右上侧的B位置开始的135°方向上布置的三个像素构成的行、从目标像素Pi的位置开始的135°方向上布置的三个像素构成的行，以及从目标像素Pi的左下侧的B位置开始的135°方向上布置的三个像素构成的行。也就是说，图14A中所示的像素改变量区域Arc在135°方向上在其右下部中包括目标像素Pi。图14B中所示的像素改变量区域Arc在其左上部中包括目标像素Pi。此外，其特征在于，图14A和图14B二者中所示的像素改变量计算区域Arc是用于计算像素改变量的三行。

当图14A所示的像素改变量计算区域Arc中的像素改变量被表示为dif_cross_45_nw时，可以使用以下的表达式13来计算像素改变量dif_cross_45_nw。

dif_cross_45_nw=(abs(B(h-1,v+1)-B(h-3,v-1))+abs(R(h,v)-R(h-2,v-2))+abs(B(h+1,v-1)-B(h-1,v-3)))/3  表达式13

此外，当图14B所示的像素改变量计算区域Arc中的像素改变量被表示为dif_cross_45_se时，可以使用以下的表达式14来计算像素改变量dif_cross_45_se。

dif_cross_45_se=(abs(B(h-1,v+1)-B(h+1,v+3))+abs(R(h,v)-R(h+2,v+2))+abs(B(h+1,v-1)-B(h+3,v+1)))/3  表达式14

也就是说，在表达式13和14中，执行其中将用于计算像素改变量的三行中获得的绝对差值的平均值用作像素改变量计算区域Arc中的像素改变量的计算。然后，在图14A所示的像素改变量计算区域Arc中的像素改变量dif_cross_45nw和图14B所示的像素改变量计算区域Arc中的像素改变量dif_cross_45se中，具有较大值的那一个被设置为与45°边界方向正交的方向上的像素改变量dif_cross_45。可以使用以下的表达式15来计算像素改变量dif_cross_45。

dif_cross_45=MAX(dif_cross_45_nw，dif_cross_45_se)  表达式15

以此方式，像素改变量计算区域Arc的位置被设置为在其右下部包括目标像素Pi的位置和在其左上部包括目标像素Pi的位置。因此，可以针对其中边界在目标像素Pi的左上侧和右下侧穿过的两种情形。图15A示出了其中边界在目标像素Pi的左上侧穿过的情形的示例。图15B示出了其中边界在目标像素Pi的右下侧穿过的情形的示例。图15A中示出的像素改变量计算区域Arc的位置和图14A中示出的那些相同。图15B中示出的像素改变量计算区域Arc的位置和图14B中示出的那些相同。如从图15A和15B中可见的，在与图14A和14B中所示那些相同的像素改变量计算区域Arc中包括由虚线表示的边界。

也就是说，通过在图14A（图15A）中所示的位置处和图14B（图15B）中所示的位置处设置像素改变量计算区域Arc,像素改变量计算区域Arc包括穿过目标像素Pi的左上角和右下角以及在其左上侧和右下侧通过的所有边界。与其中利用图13A和13B所示的像素改变量计算区域Arc作为目标来计算像素改变量的情形相比（使用表达式12），增加了计算量。然而，增加了覆盖的边界的位置，并且因此使得计算的像素改变量dif_cross_45更适合于图像。

（3-1-4．估计的135°边界方向和与估计的135°边界方向正交的方向上的像素改变量的计算示例)

关于估计的135°边界方向,如图16所示，例如，以目标像素Pi作为中心、包括5个左上对角线的像素的区域被设置为像素改变量计算区域Ara。当估计的135°边界方向上的像素改变量被表示为dif_along_135时，可以使用以下的表达式16来计算像素改变量dif_along_135。

dif_along_135=(abs(R(h-2,v-2)-R(h,v))+abs(B(h-1,v-1)-B(h+1,v+1))+abs(R(h,v)-R(h+2,v+2)))/3 表达式16

图17A和17B是每一个示出在与估计的135°边界方向正交的方向上示例性的像素改变量计算区域Arc的图。通过计算位于与估计的135°边界方向正交的方向上的像素，即，位于估计的45°边界方向上的像素之间的绝对差值，来确定与估计的边界方向正交的方向上的像素改变量。在此，以位于135°方向上的像素中的目标像素Pi的上侧像素和左侧相邻像素的组合以及目标像素Pi的右侧像素和下侧像素的组合来计算该绝对差值。绝对差值的平均值被设置为与估计的135°边界方向正交的方向上的像素改变量。

将目标像素Pi视为中心，可以假设135°方向边界在45°方向上的两个位置。具体地，135°方向边界在45°方向上的位置可以在目标像素Pi的右上侧或者左下侧。图17A示出了该边界在目标像素Pi的右上侧通过。另一方面，图17B示出了该边界在目标像素Pi的左下侧通过。在这两幅图中，由虚线示出边界。然而，在任一种情况下，像素改变量计算区域Arc具有相同的范围。

因此，当与估计的135°边界方向正交的方向上的像素改变量被表示为dif_cross_135时，可以使用以下的表达式17来计算像素改变量dif_cross_135。

dif_cross_135=(abs(G(h-1,v)-G(h,v-1))+abs(G(h,v+1)-G(h+1,v)))/2  表达式17

注意，135°方向边界在45°方向上的位置可以如图18A的虚线所示，是穿过目标像素Pi的右上角的位置，或者如图18B的虚线所示，是穿过目标像素Pi的左下角的位置。如果考虑这种可能性计算像素改变量，则可以进一步增加边界检测精度。在该情形下，计算图18A和18B所示的像素改变量计算区域Arc中的绝对差值。

图18A中所示的像素改变量计算区域Arc包括：从目标像素Pi的左上侧的B位置开始的45°方向上布置的三个像素构成的行、从目标像素Pi的位置开始的45°方向上布置的三个像素构成的行，以及从目标像素Pi的右下侧的B位置开始的45°方向上布置的三个像素构成的行。图18B中所示的像素改变量计算区域Arc包括：从目标像素Pi的左上侧的B位置开始的45°方向上布置的三个像素构成的行、从目标像素Pi的位置开始的45°方向上布置的三个像素构成的行，以及从目标像素Pi的右下侧的B位置开始的45°方向上布置的三个像素构成的行。也就是说，图18A中所示的像素改变量区域Arc在45°方向上在其左下部中包括目标像素Pi。图18B中所示的像素改变量区域Arc在其右上部中包括目标像素Pi。此外，其特征在于，图18A和图18B二者中所示的像素改变量计算区域Arc是用于计算像素改变量的三行。

当图18A所示的像素改变量计算区域Arc中的像素改变量被表示为dif_cross_135_ne时，可以使用以下的表达式18来计算像素改变量dif_cross_135_ne。

dif_cross_135_ne=(abs(B(h-1,v-1)-B(h+1,v-3))+abs(R(h,v)-R(h+2,v-2))+abs(B(h+1,v+1)-B(h+3,v-1)))/3  表达式18

此外，当图18B所示的像素改变量计算区域Arc中的像素改变量被表示为dif_cross_135_sw时，可以使用以下的表达式19来计算像素改变量dif_cross_135_sw。

dif_cross_135_sw=(abs(B(h-1,v-1)-B(h-3,v+1))+abs(R(h,v)-R(h-2,v+2))+abs(B(h+1,v+1)-B(h-1,v+3)))/3  表达式19

也就是说，在表达式18和19中，执行其中将用于计算像素改变量的三行中获得的绝对差值的平均值用作像素改变量计算区域Arc中的像素改变量的计算。然后，在图18A所示的像素改变量计算区域Arc中的像素改变量dif_cross_135_ne和图18B所示的像素改变量计算区域Arc中的像素改变量dif_cross_135_sw中，具有较大值的那一个被设置为与135°边界方向正交的方向上的像素改变量dif_cross_135。可以使用以下的表达式20来计算像素改变量dif_cross_135。

dif_cross_135=MAX(dif_cross_135_ne，dif_cross_135_sw)  表达式20

以此方式，像素改变量计算区域Arc的位置被设置为在45°方向上在其左下部包括目标像素Pi的位置和在45°方向上在其右上部包括目标像素Pi的位置。因此，可以应对其中边界在目标像素Pi的右上侧和左下侧通过的两种情形。图19A示出了其中边界在目标像素Pi的右上侧通过的情形的示例。图19B示出了其中边界在目标像素Pi的左下侧通过的情形的示例。图19A中示出的像素改变量计算区域Arc的位置和图18A中示出的那些相同。图19B中示出的像素改变量计算区域Arc的位置和图18B中示出的那些相同。如从图19A和19B中可见的，在与图18A和18B中所示那些相同的像素改变量计算区域Arc中包括由虚线表示的边界。

也就是说，通过在图18A（图19A）中所示的位置处和图18B（图19B）中所示的位置处设置像素改变量计算区域Arc,像素改变量计算区域Arc包括穿过目标像素Pi的右上角和左下角以及在其右上侧和左下侧通过的所有边界。

[3-2.边界方向检测确定单元和内插值计算单元的示例性处理]

接着，将参照图20的流程图来描述跟随在图5的连接器J1的处理之后的颜色内插处理器50的边界方向确定单元502的示例性处理。首先，检测其中计算由像素改变量计算单元501计算的、估计的边界方向上的像素改变量中最小的像素改变量的方向（步骤S11）。当像素改变量的最小值由dif_along_n1表示时，可以使用以下表达式21来计算像素改变量dif_along_n1的最小值。

dif_along_n1=MIN(dif_along_0,dif_along_90,dif_along_45,dif_along_135)表达式21

然后，其中计算像素改变量dif_along_n1的估计的边界方向被称为第一方向A_a1。

随后，检测其中计算由像素改变量计算单元501计算的、与估计的边界方向正交的方向上的像素改变量中最大的像素改变量的方向（步骤S12）。当像素改变量的最大值由dif_cross_m1表示时，可以使用以下表达式22来计算像素改变量dif_cross_m1的最大值。

dif_cross_m1=MAX(dif_cross_0,dif_cross_90,dif_cross_45,dif_cross_135)表达式22

然后，其中计算像素改变量dif_cross_m1的（即，紧跟在“dif_cross_”之后的数字部分）估计的边界方向,被称为第三方向A_r1。与A_r1正交的方向，即，其中像素改变量为最大的方向被称为第二方向A_c1。

接着，边界方向确定单元502确定第一方向A_a1是否与第二方向A_c1垂直（步骤S13）。如果第一方向A_a1与第二方向A_c1垂直，则边界方向确定单元502确定该边界方向是属于第一组中的估计的边界方向任一（步骤S14）。处理进行到连接器J2。如果第一方向A_a1不与第二方向A_c1垂直，则处理进行到连接器J3。

现在，参照图21A至21C，将描述为何基于关于第一方向A_a1和第二方向A_c1的信息可以确定边界方向的原因。图21A至21C通过箭头示出了估计的边界方向。在此，通过箭头的长度来表示在每个方向上计算的像素改变量的量值。例如，其中实际的边界方向是0°的情形可以被视为是其中如图21A所示，区域Ar1和具有阴影中的不同像素的区域Ar2是关于作为边界的0°边界方向彼此相邻的情形。在这种情形下，在估计的边界方向上计算的像素改变量中，在0°边界方向上计算的像素改变量dif_along_0是最小的。也就是说，第一方向A_a1是其中计算像素改变量dif_along_0的估计的0°边界方向。

此外，如图21B所示，在与估计的边界方向正交的方向上计算的像素改变量中具有最大值的那一个是像素改变量dif_cross_0。也就是说，第二方向A_c1是其中计算像素改变量dif_cross_0的估计的0°边界方向正交的方向。因此，在其中如图21C所示的实际边界出现在0°线的情形下，第一方向A_a1和第二方向A_c1彼此垂直。

类似地，同样在其中边界出现在90°线的情形下、边界出现在45°线的情形下、或者边界出现在135°线的情形下，第一方向A_a1和第二方向A_c1彼此垂直。因此，当第一方向A_a1和第二方向A_c1彼此垂直时，可以确定该边界方向对应于属于第一组的估计的边界方向中的任一种。

接着，参照图22的流程图，将描述跟随在图20的连接器J2之后的处理。在连接器J2之后，边界方向确定单元502确定被确定为属于第一组的每个估计的边界方向具体是哪一个方向（与图2比较）。基于确定的结果，内插值计算单元503选择与每个估计的边界方向对应的内插值计算方法。

首先，边界方向确定单元502确定第一方向A_a1是否是0°（步骤S21）。如果第一方向A_a1是0°，则内插值计算单元503通过用于估计的0°边界方向的内插值计算方法来计算内插值（步骤S22）。处理进行到连接器J5。如果第一方向A_a1不是0°，则边界方向确定单元502确定第一方向A_a1是否是90°（步骤S23）。如果第一方向A_a1是90°，则内插值计算单元503通过用于估计的90°边界方向的内插值计算方法来计算内插值（步骤S24）。处理进行到连接器J5。

如果第一方向A_a1不是90°，则边界方向确定单元502确定第一方向A_a1是否是45°（步骤S25）。如果第一方向A_a1是45°，则内插值计算单元503通过用于估计的45°边界方向的内插值计算方法来计算内插值（步骤S26）。处理进行到连接器J5。如果第一方向A_a1不是45°，则内插值计算单元503通过用于估计的135°边界方向的内插值计算方法来计算内插值（步骤S27）。处理进行到连接器J5。

接着，参照图23的流程图，将描述跟随在图20的连接器J3之后的示例性处理。在连接器J3之后，边界方向确定单元502确定边界方向对应于属于第二组的哪一个估计的边界方向，或者边界方向是否对应于属于第二组中的估计的边界方向中的任一。具体地，当第一方向A_a1和第三方向A_r1是在属于第一组的估计的边界方向中彼此相邻的方向时，边界方向确定单元502确定该边界方向是位于这两个方向之间夹持的位置的第二组的估计的边界方向。然后，基于确定的结果，内插值计算单元503选择与每个估计的边界方向对应的内插值计算方法。

首先，边界方向确定单元502确定第一方向A_a1是否是0°并且第三方向A_r1是否45°（步骤S31）。如果“是”，则边界方向确定单元502确定该边界方向是在估计的30°边界方向上（步骤S32）。内插值计算单元503通过用于估计的30°边界方向的内插值计算方法来计算内插值（步骤S33）。如果在步骤S31中选择“否”，则边界方向确定单元502确定是否第一方向A_a1是45°并且第三方向A_r1是0°（步骤S34）。如果“是”，则边界方向确定单元502确定该边界方向是在估计的30°边界方向上（步骤S32）。内插值计算单元503通过用于估计的30°边界方向的内插值计算方法来计算内插值（步骤S33）。处理进行到连接器J5。

图24A和24B是每一个示出了当边界方向是30°时区域Ar1和区域Ar2的示例性配置的图。当边界方向是30°时，可以认为在像素值上彼此很大差异的区域Ar1和区域Ar2是关于在30°方向上出现的该边界作为边界彼此相邻。在这种情形下，像素改变量是作为边界方向的30°方向上的最小的。该像素改变量在作为与边界方向正交的方向的120°方向上是最大的。

然而，如果同样在这种被分类到第二组的估计的边界方向上计算像素改变量，则增加了计算量和计算时间。因此，在本公开的实施例中，也使用其中已经计算了像素改变量的第一组的计算结果来确定第二组中的估计的边界方向。

例如，如图24A所示，假设其中计算的像素改变量是最小的估计的边界方向，即第一方向A_a1是0°（第一估计的边界方向：第一组）。此外，假设其中计算的像素改变量是最大的估计的边界方向，即第二方向A_c1是135°（第二估计的边界方向：第一组）。然后，第三方向A_r1是45°（第三估计的边界方向：第一组）。以此方式，当第一方向A_a1和第三方向A_r1是在属于第一组的估计的边界方向中彼此相邻的方向时，边界方向确定单元502确定该边界方向是位于这两个方向夹持的位置的第二组的估计的边界方向。

例如，当第一方向A_a1是0°并且第三方向A_r1是45°时，如图24A所示，边界方向确定单元502可以确定该边界方向在估计的30°边界方向上。此外，同样当第一方向A_a1是45°并且第三方向A_r1是0°时，如图24B所示，边界方向确定单元502可以确定该边界方向在估计的30°边界方向上。

参照回到图23，将继续进行描述。如果在步骤S34中选择“否”，则边界方向确定单元502确定是否第一方向A_a1是0°并且第三方向A_r1是135°（步骤S35）。如果“是”，则边界方向确定单元502确定该边界方向是在估计的150°边界方向上（步骤S36）。内插值计算单元503通过用于估计的30°边界方向的内插值计算方法来计算内插值（步骤S33）。处理进行到连接器J5。将描述当边界方向确定单元502确定边界方向在估计的150°边界方向上时为何也可以使用与估计的30°边界方向共用的内插值计算方法的原因，同时描述稍后要描述的由内插值计算单元503进行的处理。

如果在步骤S35中选择“否”，则边界方向确定单元502确定是否第一方向A_a1是135°并且第三方向A_r1是0°（步骤S37）。如果“是”，则边界方向确定单元502确定该边界方向是在估计的150°边界方向上（步骤S36）。内插值计算单元503通过用于估计的30°边界方向的内插值计算方法来计算内插值（步骤S33）。

如果在步骤S37中选择“否”，则边界方向确定单元502确定是否第一方向A_a1是45°并且第三方向A_r1是90°(步骤S38）。如果“是”，则边界方向确定单元502确定该边界方向是在估计的60°边界方向上（步骤S39）。内插值计算单元503通过用于估计的60°边界方向的内插值计算方法来计算内插值（步骤S40）。处理进行到连接器J5。如果在步骤S38中选择“否”，则边界方向确定单元502确定是否第一方向A_a1是90°并且第三方向A_r1是45°（步骤S41）。如果“是”，则边界方向确定单元502确定该边界方向是在估计的60°边界方向上（步骤S39）。内插值计算单元503通过用于估计的60°边界方向的内插值计算方法来计算内插值（步骤S40）。处理进行到连接器J5。

如果在步骤S41中选择“否”，则边界方向确定单元502确定是否第一方向A_a1是135°并且第三方向A_r1是90°（步骤S42）。如果“是”，则边界方向确定单元502确定该边界方向是在估计的120°边界方向上（步骤S43）。内插值计算单元503通过用于估计的60°边界方向的内插值计算方法来计算内插值（步骤S40）。同样，将描述当边界方向确定单元502确定边界方向在估计的120°边界方向上时为何也可以使用与估计的60°边界方向共用的内插值计算方法的原因，同时描述稍后将要描述的由内插值计算单元503进行的处理。

如果在步骤S42中选择“否”，则边界方向确定单元502确定是否第一方向A_a1是90°并且第三方向A_r1是135°（步骤S44）。如果“是”，则边界方向确定单元502确定该边界方向是在估计的120°边界方向上（步骤S43）。内插值计算单元503通过用于估计的60°边界方向的内插值计算方法来计算内插值（步骤S40）。如果在步骤S44中选择“否”，则处理进行到连接器J4。

[3-3.内插值计算单元在每个估计的边界方向上的内插值计算方法的示例]

接着，将按以下顺序来描述内插值计算单元的具体的内插值计算方法。

3-3-1．在估计的0°边界方向上的内插值计算方法

3-3-2．在估计的90°边界方向上的内插值计算方法

3-3-3．在估计的45°边界方向上的内插值计算方法

3-3-4．在估计的135°边界方向上的内插值计算方法

3-3-5．在估计的30°边界方向上的内插值计算方法

3-3-6．在估计的60°边界方向上的内插值计算方法

3-3-7．在边界不对应于估计的边界方向中的任一个的情况下的内插值计算方法

（3-3-1.估计的0°边界方向上的内插值计算方法）

首先，将参照图25描述在估计的0°边界方向上的内插值计算方法。在以下的描述中，目标像素Pi的内插值被表示为g(h,v)。关于估计的0°边界方向，如图25所示，使用在左侧和右侧与目标像素Pi相邻的G像素的像素值G(h-1,v)和G(h+1,v)来计算内插值。

注意到，关于估计的0°边界方向，与目标像素Pi相邻的两个像素值G(h-1,v)和G(h+1,v)的平均值被设置为内插值。在这种情况下的内插值g(h,v)的计算公式是如下的表达式23。

g(h,v)=(G(h-1,v)+G(h+1,v))/2  表达式23

注意，当与最靠近目标像素Pi并且与目标像素Pi具有相同颜色成分的像素的像素值（R(h-2,v)和R(h+2,v)）相比，目标像素的像素值R(h,v)是极值时，可以考虑将目标像素的亮度作为极值来执行校正。也就是，可以将关于目标像素Pi的像素值和最靠近目标像素Pi并且与目标像素Pi具有相同颜色成分的像素的每个像素值R(h,v),（R(h-2,v)和R(h+2,v)之间的差的信息反映到内插值上。可以使用以下的表达式24来计算这种情况下的内插值g(h,v)。

g(h,v)=(G(h-1,v)+G(h+1,v))/2+((R(h,v)-R(h-2,v))+(R(h,v)-R(h+2,v)))/2×scly  表达式24

这里，scly表示用于调整校正项的效果的系数并且例如被设置为满足以下表达式的值：1≥scly

(3-3-2.估计的90°边界方向上的内插值计算方法）

接着，将参照图26描述在估计的90°边界方向上的内插值计算方法。关于估计的90°边界方向，如图26所示，使用与目标像素Pi相邻的上侧和下侧的G像素的像素值G(h,v-1)和G(h,v+1)来计算内插值。在这种情况下的内插值g(h,v)的计算公式是如下的表达式25。

g(h,v)=(G(h,v-1)+G(h,v+1))/2  表达式25

注意，也是关于估计的90°边界方向，当与最靠近目标像素Pi并且与目标像素Pi具有相同颜色成分的像素的像素值（R(h,v-2)和R(h,v+2)）相比，目标像素的像素值R(h,v)是极值时，可以考虑将目标像素的亮度作为极值来执行校正。可以使用以下的表达式26来计算这种情况下的内插值g(h,v)。

g(h,v)=(G(h,v-1)+G(h,v+1))/2+((R(h,v)-R(h,v-2))+(R(h,v)-R(h,v+2)))/2×scly  表达式26

这里，scly表示用于调整校正项的效果的系数并且例如被设置为满足以下表达式的值：1≥scly

(3-3-3.估计的45°边界方向上的内插值计算方法）

接着，将参照图27A至28描述在估计的45°边界方向上的内插值计算方法。在估计的45°边界方向上，与目标像素Pi相邻的四个G像素的像素值G(h,v-1)、G(h-1,v)、G(h+1,v)和G(h,v+1)被用于计算内插值。关于估计的45°边界方向，依赖于该边界是否穿过目标像素Pi的中心来改变内插值的计算方法。

图27A和27B是每个示出了其中边界方向是45°的情形中边界区域的纵向方向上的中心线（下文中被称为“边界的重心”）和目标像素Pi之间的位置对应关系的图像的图。图27A示出了其中边界的重心几乎穿过目标像素Pi的中心的情况的示例。图27B示出了其中边界的重心穿过与目标像素Pi的中心偏离的位置的情况的示例。

如图27A所示，在其中边界的重心Gr几乎穿过目标像素Pi的中心的情况下，与最靠近目标像素Pi并且与目标像素Pi具有相同颜色成分的像素值（R(h,v-2)，R(h-2,v)，R(h+2,v)和R(h,v+2)）相比，目标像素Pi的像素值R(h,v)或者较大或者较小。然后，其中与目标像素Pi相邻的四个G像素和边界彼此重叠的部分对于四个G像素的每一个具有相同的区域。通过斜线示出四个G像素并且通过粗框示出边界。因此，在其中与最靠近目标像素Pi并且与目标像素Pi具有相同颜色成分的像素值相比，目标像素Pi的像素值R(h,v)是最大值或者最小值（极值）的情况下，边界的重心Gr被视为几乎穿过目标像素Pi的中心。通过简单地对四个G像素取平均值获得的值被设置为内插值。可以使用以下的表达式27来计算在这种情况下的内插值g(h,v)的计算公式。

g(h,v)=(G(h,v-1)+G(h-1,v)+G(h+1,v)+G(h,v+1))/4  表达式27

注意，如果边界方向确定单元502确定边界的重心Gr几乎穿过目标像素Pi的中心，则可以执行其中将关于最靠近目标像素Pi并且与目标像素Pi具有相同颜色成分的像素的像素值的信息反映到内插值g(h,v)上的亮度校正。在这种情况下，使用最靠近目标像素Pi并且与目标像素Pi具有相同颜色成分的像素的像素值R(h,v-2)、R(h-2,v)、R(h+2,v)和R(h,v+2)来产生校正项。然后，将该校正项加到通过对四个G像素简单取平均值而获得的值上。通过以下的表达式28来表示在执行亮度校正时内插值g(h,v)的计算公式。

g(h,v)=(G(h,v-1)+G(h-1,v)+G(h+1,v)+G(h,v+1))/4+((R(h,v)-R(h,v-1))+(R(h,v)-R(h-1,v))+(R(h,v)-R(h,v+1))+(R(h,v)-R(h,v-1)))/4×scly  表达式28

这里，scly表示用于调整校正项的效果的系数并且例如被设置为满足以下表达式的值：1≥scly

同时，如图27B所示，在其中边界的重心Gr穿过与目标像素Pi的中心几乎偏离的位置的情况下，与目标像素Pi相邻的四个G像素和边界彼此重叠的部分在四个G像素不具有相同的区域。通过斜线示出四个G像素并且通过粗框示出边界。在这种情况下，在其中与最靠近目标像素Pi并且与目标像素Pi具有相同颜色成分的像素值R(h,v-2)、R(h-2,v)、R(h+2,v)和R(h,v+2)相比，目标像素Pi的像素值R(h,v)不是极值。

因此，在其中与最靠近目标像素Pi并且与目标像素Pi具有相同颜色成分的像素值相比，目标像素Pi的像素值不是极值的情况下，边界方向确定单元502可以确定边界的重心与目标像素Pi的中心偏离。因此，必须通过使用与重心的偏离量对应的加权系数来进行加权平均而不是通过简单地对四个G像素取平均值，来计算内插值。这种情况下的计算公式是以下的表达式29。

g(h,v)=scale_n×(G(h,v-1)+G(h-1,v))+scale_s×(G(h+1,v)+G(h,v+1))  表达式29

以上表达式29中的“scale_n”和“scale_s”表示加权系数。具体地，“scale_n”表示用于定义如图28中“重心校正方向n”所示的左上侧方向中的权重的系数。“scale_s”表示用于定义如“重心校正方向s”所示的右下侧方向中的权重的系数。

必须将G(h,v-1)、G(h-1,v)、G(h+1,v)和G(h,v+1)的值作为正值加到内插值g(h,v)上。因此，“scale_n”和“scale_s”被设置为满足以下表达式的值：

scale_n×2+scale_s×2=1

scale_n>0

scale_s>0

在其中无需考虑边界重心的偏离的情况下，“scale_n”和“scale_s”是作为0.25的相同的值。

当定义“scale_n”与“scale_s”的比率的校正量被称为校正量tmp时，如下表示“scale_n”和“scale_s”：

scale_n=0.25-tmp

scale_s=0.25+tmp

可以使用以下的表达式30来计算校正量tmp的值

校正量tmp=(dif_n-dif_s)/(dif_n+dif_s)×adj0  表达式30

必须将用于计算内插值g(h,v)的G(h,v-1),G(h-1,v),G(h+1,v),和G(h,v+1)作为正值加到内插值g(h,v)上。也就是说，需要将校正量tmp的绝对值调整到小于0.25。以上表达式30中的“adj0”表示调整系数。例如，将值0.125设置为“adj0”。

在以上的表达式30中，“dif_n”表示目标像素Pi的像素值R(h,v)和在上侧和左侧最靠近目标像素Pi并且具有相同颜色的像素的每个像素值之间的绝对差值。“dif_s”表示目标像素Pi的像素值R(h,v)和在下侧和右侧最靠近目标像素Pi并且具有相同颜色的像素的每个像素值之间的绝对差值。可以使用以下的表达式31来计算“dif_n”。可以使用以下的表达式32来计算“dif_s”。

dif_n=(abs(R(h,v)-R(h,v-2))+abs(R(h,v)-R(h-2,v)))

表达式31

dif_s=(abs(R(h,v)-R(h,v+2))+abs(R(h,v)-R(h+2,v)))

表达式32

(3-3-4.估计的135°边界方向上的内插值计算方法）

接着，将参照图30至29B描述在估计的135°边界方向上的内插值计算方法。同样关于估计的135°边界方向，与目标像素Pi相邻的四个G像素的像素值G(h,v-1)、G(h-1,v)、G(h+1,v)和G(h,v+1)被用于计算内插值。此外，同样关于估计的135°边界方向，依赖于该边界是否穿过目标像素Pi的中心来改变内插值的计算方法。

图29A和29B是每个示出了其中边界方向是135°的情形中边界的重心和目标像素Pi之间的位置对应关系的图像的图。图29A示出了其中边界的重心几乎穿过目标像素Pi的中心的情况的示例。图29B示出了其中边界的重心穿过与目标像素Pi的中心偏离的位置的情况的示例。

如图29A所示，在其中边界的重心Gr几乎穿过目标像素Pi的中心的情况下，与目标像素Pi相邻的四个G像素和边界彼此重叠的部分对于四个G像素的每一个具有相同的区域。通过斜线示出四个G像素并且通过粗框示出边界。因此，通过简单地对四个G像素取平均值获得的值被设置为内插值。可以使用以上的表达式27来计算在这种情况下的内插值g(h,v)。

注意，如果边界方向确定单元502确定边界的重心Gr几乎穿过目标像素Pi的中心，则可以执行其中将关于最靠近目标像素Pi并且与目标像素Pi具有相同颜色成分的像素的像素值的信息反映到内插值g(h,v)上的亮度校正，如在45°边界方向的情况下。在这种情况下，通过以上的表达式28来表示在这种情况下的计算公式。

同时，如图29B所示，在其中边界的重心Gr穿过与目标像素Pi的中心几乎偏离的位置的情况下，与目标像素Pi相邻的四个G像素和边界彼此重叠的部分在四个G像素不具有相同的区域。通过斜线示出四个G像素并且通过粗框示出边界。在这种情况下，在与最靠近目标像素Pi并且与目标像素Pi具有相同颜色成分的像素值R(h,v-2)、R(h-2,v)、R(h+2,v)和R(h,v+2)相比，目标像素Pi的像素值R(h,v)不是极值。

因此，在其中与最靠近目标像素Pi并且与目标像素Pi具有相同颜色成分的像素的像素值相比，目标像素Pi的像素值不是极值的情况下，边界方向确定单元502可以确定边界的重心与目标像素Pi的中心偏离。因此，必须通过使用与重心的偏离量对应的加权系数进行加权平均而不是通过简单地对四个G像素取平均值，来计算内插值。可以使用以下的表达式33来计算这种情况下的内插值g(h,v)。

g(h,v)=scale_n×(G(h,v-1)+G(h+1,v))+scale_s×(G(h-1,v)+G(h,v+1))  表达式33

同样在这里，校正量tmp被用于定义“scale_n”和“scale_s”的分配并且可以使用以上的表达式30来计算校正量tmp。在此，“scale_n”表示用于定义如图30中“重心校正方向n”所示的右上侧方向中的权重的系数。“scale_s”表示用于定义如“重心校正方向s”所示的左下侧方向中的权重的系数。可以使用以下的表达式34和35来计算用于计算校正量tmp的绝对差值dif_n和绝对插值dif_s。

dif_n=(abs(R(h,v)-R(h,v-2))+abs(R(h,v)-R(h+2,v)))

表达式34

dif_s=(abs(R(h,v)-R(h,v+2))+abs(R(h,v)-R(h-2,v)))

表达式35

(3-3-5.估计的30°边界方向上的内插值计算方法）

接着，将参照图31描述在估计的30°边界方向上的内插值计算方法。关于估计的30°边界方向，如图31所示，与目标像素Pi相邻的上、下、左、右G像素的像素值G(h,v-1)、G(h-1,v)、G(h+1,v)和G(h,v+1)被用于计算内插值。可以使用以下的表达式36来计算内插值g(h,v)。

g(h,v)=scale_n×G(h,v-1)+scale_s×G(h,v+1)+scale_w×G(h-1,v)+scale_e×G(h+1,v)  表达式36

“scale_n”,“scale_s,“scale_w”,和“scale_e”是加权系数。“scale_n”表示用于定义如图31中“重心校正方向n”所示的上侧方向中的权重的系数。“scale_s”表示用于定义如“重心校正方向s”所示的下侧方向中的权重的系数。“scale_w”表示用于定义如图31中“重心校正方向w”所示的左侧方向中的权重的系数。“scale_e”表示用于定义如“重心校正方向e”所示的右侧方向中的权重的系数。必须将每个加权系数作为正值加到内插值g(h,v)上。因此，在加权系数之间建立以下关系。

scale_n+scale_s+scale_w+scale_e=1

scale_n>0

scale_s>0

scale_w>0

scale_e>0

图31是示出其中在30°方向上存在的边界穿过目标像素Pi的中心的情形的示例的图。在其中边界方向是30°的情况下，其中目标像素Pi的右侧的G像素(h+1,v)和左侧的G像素(h-1,v)与粗框示出的边界彼此重叠的部分具有比其中上侧的G像素(h,v-1)和下侧的G像素(h,v+1)与粗框示出的边界彼此重叠的部分更大的面积。因此，在估计的30°边界方向上，必须将用于定义左侧的权重的加权系数“scale_w”和用于定义右侧的权重的加权系数“scale_e”的分配设置得比用于定义上侧的权重的加权系数“scale_n”和用于定义下侧的权重的“scale_s”的分配更大。

此处，用于定义加权系数“scale_n”和“scale_s”的分配的系数被称为“sc10”，用于定义加权系数“scale_w”和“scale_e”的分配的系数被称为“sc11”。通过将“sc10”和“sc11”设置在满足以下表达式的范围内的任意值，可以使得“scale_w”和“scale_e”的分配比“scale_n”和“scale_s”的分配大。

scl0+scl1=0.5

scl0<scl1

scl0>0

scl1>0

在其中如图31所示的，边界的重心不偏离的情况下，scale_n=scale_s=scl0并且scale_w=scale_e=scl1。在其中边界的重心偏离的情况下，可以使用与偏离量对应的系数“dif_n”,“dif_s”,“dif_w”,和“dif_e”来计算与偏离量对应的内插值。以下是在边界的重心偏离的情况下重心系数的计算公式。

scale_n=scl0+dif_n×adj1  表达式37

scale_s=scl0+dif_s×adj1  表达式38

scale_w=scl1+dif_w×adj2  表达式39

scale_e=scl1+dif_e×adj2  表达式40

以上表达式37至40中的“adj1”和“adj2”表示用于调整的系数。将一个值设置为“adj1”使得当“dif_n”的绝对值和“dif_s”的绝对值乘以“adj1”时，“adj1×dif_n”和“adj1×dif_s”被保持比“sc10”小。将一个值设置为“adj2”使得当“dif_w的绝对值和“dif_e”的绝对值乘以“adj2”时，“adj2×dif_w”和“adj2×dif_e”被保持地比“sc11”小。可以使用以下表达式41至44来计算“dif_n”,“dif_s”,“dif_w”,和“dif_e”

dif_e=(abs(R(h,v)-R(h-2,v))-abs(R(h,v)-R(h+2,v)))/(abs(R(h,v)-R(h-2,v))+abs(R(h,v)-R(h+2,v)))  表达式41

dif_w=-dif_e  表达式42

dif_n=(abs(R(h,v)-R(h,v+2))-abs(R(h,v)-R(h,v-2)))/(abs(R(h,v)-R(h,v+2))+abs(R(h,v)-R(h,v-2))  表达式43

dif_s=-dif_n  表达式44

注意，在其中如图31所示，边界的重心不偏离的情况下，则可以执行其中将关于最靠近目标像素Pi并且与目标像素Pi具有相同颜色成分的像素的像素值的信息反映到内插值g(h,v)上的亮度校正。通过以下的表达式45来表示该情形下的计算公式。

g(h,v)=scale_n×G(h,v-1)+scale_s×G(h,v+1)+scale_w×G(h-1,v)+scale_e×G(h+1,v)+scale_n×(R(h,v)-R(h,v-2))×scly+scale_s×(R(h,v)-R(h,v+2))×scly+scale_w×(R(h,v)-R(h-2,v))×scly+scale_e×(R(h,v)-R(h+2,v))×scly  表达式45

同样在这里，scly表示用于调整校正项的效果的系数并且例如被设置为满足以下表达式的值：1≥scly

图32是示出其中边界方向是150°的示例的图。同样关于估计的150°边界方向，用于内插的像素的位置是与目标像素Pi相邻的上、下、左和右侧的G像素中的那些。因此，用于内插的像素的位置与在估计的30°边界方向的情况下的那些相同。此外，如在图32中所示的，其中那些像素(h,v-1),(h-1,v),(h,v+1)和（h+1,v）和边界彼此重叠的部分与其中如图31所示的边界方向是30°的情形下具有几乎相同的面积。因此，同样在边界方向被确定为150°的情况下，可以使用与在30°边界方向的情况下相同的计算公式来计算内插值。

(3-3-6.估计的60°边界方向上的内插值计算方法）

接着，将参照图33描述在估计的60°边界方向上的内插值计算方法。同样关于估计的60°边界方向，如图33所示，与目标像素Pi相邻的上、下、左、右的G像素的像素值G(h,v-1)、G(h-1,v)、G(h+1,v)和G(h,v+1)被用于计算内插值。可以使用与在估计的30°边界方向上的内插值计算公式相同的表达式36来计算内插值g(h,v)。

用于指示重心偏离量的“dif_n”,“dif_s”,“dif_w”,和“dif_e”的计算方法也与估计的30°边界方向的情况相同。与估计的30°边界方向中的内插值计算方法的不同点在于，系数sc10和系数sc11的值之间的量值关系。在估计的60°边界方向上，系数sc10和系数sc11的每个值被设置为满足以下表达式：

scl0>scl1

利用这种设置，可以将表达式36中的“scale_n”和“scale_s”的分配设置比“scale_w”和“scale_e”的分配大。也就是说，可以使得向目标像素Pi的右侧G像素的像素值G(h+1,v)和左侧的G像素的像素值G(h-1,v)的每一个设置的权重比向上侧G像素的像素值G(h,v-1)和下侧的G像素的像素值G(h,v+1)的每一个设置的权重更大。

图34是示出其中边界方向是120°的情况的示例的图。同样关于估计的120°边界方向，用于内插的像素的位置是与目标像素Pi相邻的上、下、左和右侧的G像素中的那些。用于内插的像素的位置与在估计的60°边界方向的情况下的那些相同。此外，如在图34中所示的，其中那些像素(h,v-1),(h-1,v),(h,v+1)和（h+1,v）和边界彼此重叠的部分与其中如图33所示的边界方向是60°的情形下具有几乎相同的面积。因此，同样在边界方向被确定为120°的情况下，可以使用与在60°边界方向的情况下相同的计算公式来计算内插值。

（3-3-7．如果边界不与估计的边界方向中的任一个对应的情况下的内插值计算方法）

接着，将参照图35的流程图来描述如果边界不与估计的边界方向中的任一个对应的情况下的内插值计算方法。图35的流程图示出了在图23所示的流程图中的连接器J4之后的处理。在图23所示的流程图中，在其中边界方向不属于第一组和第二组中的任一组的情况下，处理进行到连接器J4。

在图35所示的流程图中，将与目标像素Pi相邻的上、下、左和右G像素的像素值的平均值设置为用于目标值Pi的内插值（步骤S51）。也就是说，使用以上的表达式27来计算内插值g(h,v)。

注意，即便边界方向不与估计的边界方向中的任一个对应，在其中与最靠近目标像素Pi并且与目标像素Pi具有相同颜色成分的像素的像素值相比，目标像素Pi的像素值是极值的情况下，也可以执行亮度校正。在这种情况下，仅仅需要使用以上的表达式28来计算内插值g(h,v)。

[3-4.内插值计算单元的颜色成分的示例性内插处理]

接着，将参照图36的流程图来描述在图35的连接器J6之后的、由内插值计算单元503（比较图2）进行的颜色成分的示例性处理。在内插值计算单元503中，在如上所述处理计算了内插值g之后，由以下例程来执行其它颜色成分的内插处理。传统使用的处理可照原样应用于该处理。

首先，将G内插到已经采样R或B的位置处（步骤S61）。也就是说，将通过上述处理获得的内插值g(h,v)内插到已经采样R或B的位置。接着，将B像素值内插到已经采样R的位置处（步骤S62）。将R像素值内插到已经采样B的位置处（步骤S63）。然后，将R像素值内插到已经采样G的位置处（步骤S64）。将B像素值内插到已经采样G的位置处（步骤S65）。

将参照图37来描述步骤S62中的将B像素值内插到已经采样R的位置处的处理。在关于位置R的用于B的内插值计算中，首先计算图37中所示的目标像素Pi的左上侧的(h-1,v-1)、右上侧的(h+1,v-1)、左下侧的(h-1,v+1)和右下侧的(h+1,v+1)位置处的B像素值与在相同位置上已经计算的内插值g之间的平均差值。然后，将内插值g加到所计算的平均差值上。当通过内插值b(h,v)来表示要计算的内插值时，可以使用以下的表达式46来计算内插值b(h,v)：

b(h,v)=(B(h-1,v-1)-g(h-1,v-1)+B(h+1,v-1)-g(h+1,v-1)+B(h-1,v+1)-g(h-1,v+1)+B(h+1,v+1)-g(h+1,v+1))/4+g(h,v)

表达式46

接着，将参照图38来描述步骤S63中的将R像素值内插到已经采样B的位置处的处理。在关于位置B的用于R的内插值计算中，首先计算图38中所示的目标像素Pi的左上侧的(h-1,v-1)、右上侧的(h+1,v-1)、左下侧的(h-1,v+1)和右下侧的(h+1,v+1)位置处的每个R像素值与在相同位置上已经计算的内插值g之间的平均差值。然后，将内插值g加到所计算的平均差值上。当通过内插值r(h,v)来表示要计算的内插值时，可以使用以下的表达式47来计算内插值r(h,v)：

r(h,v)=(R(h-1,v-1)-g(h-1,v-1)+R(h+1,v-1)-g(h+1,v-1)+R(h-1,v+1)-g(h-1,v+1)+R(h+1,v+1)-g(h+1,v+1))/4+g(h,v)

表达式47

接着，将参照图39和40来描述步骤S64中的将R像素值内插到已经采样G的位置处的处理。在G位置处的R的内插值计算中，首先计算图39中所示的目标像素Pi的上侧的(h,v-1)、左侧的(h-1,v)、右侧的(h+1,v)和下侧的(h,v+1)位置处的每个R像素值或者使用表达式47计算的内插值r与在相同位置上已经计算的内插值g之间的平均差值。然后，将内插值g加到所计算的平均差值上。当通过内插值r’(h,v)来表示要计算的内插值时，可以使用以下的表达式48来计算内插值r’(h,v)。在表达式48中，统一R像素值和使用表达式47计算的内插值r的字符，并且使用r。如图39所示，在其中R像素值位于目标像素Pi的左侧（h-1,v）和右侧（h+1,v）的情况下，r(h-1,v)=R(h-1,v),r(h+1,v)=R(h+1,v)。如图40所示，在其中R像素值位于目标像素Pi的上侧（h,v-1）和下侧（h,v+1）的情况下，r(h,v-1)=R(h,v-1),r(h,v+1)=R(h,v+1)。

r′(h,v)=(r(h,v-1)-g(h,v-1)+r(h-1,v)-g(h-1,v)+r(h+1,v)-g(h+1,v)+r(h,v+1)-g(h,v+1))/4+g(h,v)  表达式48

接着，也将参照图39和40来描述步骤S65中的将B像素值内插到已经采样G的位置处的处理。在G位置处的B的内插值计算中，首先计算图40中所示的目标像素Pi的上侧的(h,v-1)、左侧的(h-1,v)、右侧的(h+1,v)和下侧的(h,v+1)位置处的每个B像素值或者使用表达式46计算的内插值b与在相同位置上已经计算的内插值g之间的平均差值。然后，将内插值g加到所计算的平均差值上。当通过内插值b’(h,v)来表示要计算的内插值时，可以使用以下的表达式49来计算内插值b’(h,v)。在表达式49中，统一B像素值和使用表达式46计算的内插值b的字符，并且使用b。如图40所示，在其中B像素值位于目标像素Pi的左侧（h-1,v）和右侧（h+1,v）的情况下，b(h-1,v)=B(h-1,v),和b(h+1,v)=B(h+1,v)。如图39所示，在其中B像素值位于目标像素Pi的上侧（h,v-1）和下侧（h,v+1）的情况下，b(h,v-1)=B(h,v-1)和b(h,v+1)=B(h,v+1)

b′(h,v)=(b(h,v-1)-g(h,v-1)+b(h-1,v)-g(h-1,v)+b(h+1,v)-g(h+1,v)+b(h,v+1)-g(h,v+1))/4+g(h,v)  表达式49

根据上述实施例，使用关于其中像素改变量在估计的边界方向中是最小的第一方向A_a1和其中像素改变量在与估计的边界方向正交的方向中是最大的第二方向A_c1的信息来确定边界方向。然后，通过与其中确定存在边界的估计的边界方向对应的计算方法来计算内插值。使用该内插值，执行内插。也就是说，同样，如果在包括倾斜方向的各种方向中存在边界，则使用由对应于这些方向的计算方法计算的内插值来执行内插处理。因此，可以抑制边界方向上的伪色的产生。

此外，根据上述实施例，在其中第一方向A_a1和第三方向A_r1是第一组中彼此相邻的估计的边界方向的情况下，确定在位于第一方向和第三方向之间夹持的位置处的第二组中的（第四）估计的边界方向上存在边界。如果第一方向A_a1和第三方向A_r1中的任一个是作为第一估计边界方向的0°或者是作为第二估计边界方向的90°，并且另一个是作为第三估计边界方向45°或者135°，则第一方向A_a1和第三方向A_r1可以是第一组中彼此相邻的估计的边界方向。

以此方式，同样，如果在作为第二组中的（第四）估计的边界方向的各种方向30°、60°、120°和150°上存在边界，则可以检测到边界。因此，可以抑制这些方向上的伪色的产生。

此外，可以检测到作为第二组中的（第四）估计的边界方向的30°、60°、120°和150°的每个方向上的边界，而无需计算像素改变量，可以减少内插处理的计算量。以此，可以防止增加内插处理必需的时间。

此外，可以减少计算量，因此还可以减少电路规模。还可以将具有与内插处理器对应大小的电路安装到集成电路（IC）中。另外，不仅安装到IC中，还可以执行在严格代码量限制下的固件或者通用图形处理单元（GPGPU）上的实施。

此外，根据上述实施例，如果边界的重心与目标像素的中心偏离，则使用与偏离量对应的校正系数来计算内插值。因此，还可以抑制由于边界的重心偏离引起的伪色的产生。

此外，根据上述实施例，在其中与靠近目标像素并且与目标像素具有相同颜色成分的周围像素的像素值相比，目标像素具有极值的情况下，使用与目标像素的像素值和靠近目标像素并且与目标像素具有相同颜色成分的每个周围像素的像素值之间的差对应的校正值来计算内插值。因此，还可以抑制由于亮度引起的伪色的产生。

<4.各种修改的示例>

注意，在上述实施例中的计算用于确定边界方向的“dif_along_”或者“dif_cross_”对其要计算差的像素组合的数量仅仅是示例。通过增加该数量，可以增加边界方向的确定精度。

示范了估计的0°边界方向上的像素改变量。例如，如图41所示，可以将用于在估计的0°边界方向上计算像素改变量dif_along_0的像素区域扩展到左侧的（h-3）和右侧的（h+3），并且可以将用于计算差值的组合的数量增加到5。使用以下的表达式50来计算这种情况下的像素改变量dif_along_0。

dif_along_0=(abs(G(h-3,v)-G(h-1,v))+abs(R(h-2,v)-R(h,v))+abs(G(h-1,v)-G(h+1,v))+abs(R(h,v)-R(h+2,v))+abs(G(h+1,v)-G(h+3,v)))/5  表达式50

关于与估计的0°边界方向正交的方向上的像素改变量，如图42所示，在水平方向上的位置（h-2）到位置（h+2）的5个位置处计算（v-1）和（v+1）之间的差值。使用以下的表达式51来计算这种情况下的像素改变量dif_cross_0。

dif_cross_0=(abs(G(h-2,v-1)-G(h-2,v+1))+abs(B(h-1,v-1)-B(h-1,v+1))+abs(G(h,v-1)-G(h,v+1))+abs(B(h+1,v-1)-B(h+1,v+1))+abs(G(h+2,v-1)-G(h+2,v+1)))/5  表达式51

此外，在上述实施例中，已经示出了使用作为在估计的边界方向上计算的像素改变量中具有最小值的方向的第一方向A_a1和作为在与估计的边界方向正交的方向上计算的像素改变量中具有最大值的方向的第二方向A_c1，以及与A_c1正交的第三方向A_r1的示例。然而，本公开不限于此。还可以指代在估计的边界方向上的计算的像素改变量中具有第二最小值的方向和在与边界正交的方向上的像素改变量中具有第二最大值的方向。利用这种配置，可以进一步增加边界方向的确定精度。

此外，在上述实施例中，例如，如在图8A和8B中所示的示例中，同样在其中在用于计算像素改变量的像素改变量计算区域Arc中存在复制（duplicated）部分的情况下，在各自的像素改变量计算区域Arc中单独计算像素改变量。然而，考虑到复制部分，可以通过预先仅仅执行最小的必需的差计算来存储结果，并且可以在对改变量求和时参照存储的结果。

此外，在上述实施例中，已经描述了其中将根据本公开的实施例的图像处理装置应用于成像装置的示例，根据本公开的实施例的图像处理装置不限于此。还可以将根据本公开的实施例的图像处理装置应用到不具有图像传感器等的图像处理装置，该图像处理装置加载由成像装置获得的图像信号并且执行图像处理。

此外，可以通过硬件执行上述实施例中的一系列处理。可替换地，也可以由软件执行该系列的处理。当通过软件来执行该系列的处理时，可以通过利用专用硬件并入配置该软件的程序的计算机或者通过安装用于执行各种功能的程序的计算机来执行该系列的处理。例如，仅仅需要将配置期望软件的程序安装到通用计算机等上来执行该程序。

此外，可以将存储用于实现上述实施例的功能的软件的程序代码的记录介质提供给系统或者装置。不用说，也可以通过该系统的计算机（或者诸如CPU之类的控制装置）或者读取并且执行在记录介质上存储的程序代码的装置来实现所述功能。

在这种情况下提供程序代码的记录介质的示例包括软盘、硬盘、光盘、磁光盘、CD-ROM、CD-R、磁带、非易失性存储卡和ROM。

此外，通过执行计算机读取的程序代码来实现上述实施例的功能。另外，根据程序代码的指令，在计算机上操作的OS等执行实际处理的一部分或者全部。该处理可以实现上述实施例的功能。

应注意，本公开还可以采用以下配置：

（1）一种图像处理装置，包括：

像素改变量计算单元，被配置为通过使用由图像传感器输出的像素信号来计算第一像素改变量和第二像素改变量，所述图像传感器被配置为将穿过滤色器的光进行光电转换并且作为像素信号输出，所述滤色器包括第一滤色器和第二滤色器，第一滤色器中的每一个包括第一颜色成分并且以棋盘图案布置，第二滤色器中的每一个包括与第一颜色成分不同的第二颜色成分并且被布置在与以棋盘图案布置第一滤色器的位置不同的位置处，所述第一像素改变量是至少在估计的边界方向中的第一估计边界方向、第二估计边界方向和第三估计边界方向上的像素值的改变量，在估计的边界方向中的每一个中，彼此具有很大差异的像素值的相邻像素的边界被估计为存在，第二像素改变量是在与第一至第三估计边界方向正交的方向上的像素值的改变量，第一估计边界方向是在像素的布置方向上的水平方向，第二估计边界方向是在像素的布置方向上的垂直方向，第三估计边界方向在将第一估计边界方向和第二估计边界方向形成的角几乎平分的线上延伸；

边界方向确定单元，被配置为通过使用关于在第一至第三估计边界方向上计算的第一像素改变量、和在与第一至第三估计边界方向正交的方向上计算的第二像素改变量的信息，来确定存在边界的边界方向；

内插值计算单元，被配置为基于边界方向确定单元的确定结果来计算与边界方向对应的内插值；以及

内插处理器，被配置为通过使用内插值计算单元计算的内插值而将第一颜色成分内插到包括第二颜色成分的目标像素中。

（2）根据（1）项的图像处理装置，其中

边界方向确定单元被配置为

将其中在第一至第三估计边界方向中具有最小值的第一像素改变量的方向设置为第一方向，

将其中在第一至第三估计边界方向中是最大值的第二像素改变量的方向设置为第二方向，以及

基于第一方向和第二方向之间的关系来确定边界方向。

（3）根据（2）项的图像处理装置，其中

边界方向确定单元被配置为

当第一方向和第二方向彼此不同时，将与第二方向正交的方向设置为第三方向，以及

如果第一方向和第三方向中的一个是第一估计边界方向和第二估计边界方向中的一个，另一个是第三估计边界方向，并且第一方向和第三方向彼此相邻，则确定边界方向是彼此相邻的第一方向和第三方向之间的第四估计边界方向。

（4）根据（2）或（3）项的图像处理装置，其中

如果第一方向和第二方向彼此正交，则边界方向确定单元确定边界方向对应于第一估计边界方向、第二估计边界方向和第三估计边界方向中的任一个。

（5）根据（3）或（4）项的图像处理装置，其中

内插值计算单元被配置为

如果边界方向确定单元确定边界方向是第三估计边界方向和第四估计边界方向之一，则将最靠近目标像素并且与目标像素具有相同颜色成分的每个像素的像素值与目标像素的像素值进行比较，以及

如果目标像素的像素值不是最大值和最小值之一，则确定边界穿过与目标像素的中心偏离的位置，并且通过使用对应于边界位置与目标像素的中心的偏离量的加权系数进行加权平均，来计算内插值。

（6）根据（3）至（5）任一项的图像处理装置，其中

内插值计算单元被配置为在以下情况下通过对最靠近目标像素的周围像素的像素值进行平均来计算内插值：

如果边界方向确定单元确定边界方向不与第一至第四估计边界方向的任一个对应，如果边界方向确定单元确定边界方向是第一估计边界方向和第二估计边界方向之一，或者如果边界方向确定单元确定边界方向是第三估计边界方向并且与最靠近目标像素且与目标像素具有相同颜色成分的像素的像素值相比、目标像素的像素值是最大值和最小值之一。

（7）根据（1）至（6）任一项的图像处理装置，其中

内插值计算单元被配置为在以下情况下计算与目标像素的像素值和最靠近目标像素并且与目标像素具有相同颜色成分的每个像素的像素值之间的差对应的内插值：

如果边界方向确定单元确定边界方向不与第一至第四估计边界方向的任一个对应，如果边界方向确定单元确定边界方向是第一估计边界方向和第二估计边界方向之一并且与在边界方向上最靠近目标像素且与目标像素具有相同颜色成分的像素的像素值相比、目标像素的像素值是最大值和最小值之一，或者如果边界方向确定单元确定边界方向是第三估计边界方向并且与最靠近目标像素且与目标像素具有相同颜色成分的像素的像素值相比、目标像素的像素值是最大值和最小值之一。

（8）根据（1）至（7）项的图像处理装置，其中

在第一估计边界方向被设置为0°的情况下，第三估计边界方向包括45°方向和135°方向；

第四估计边界方向包括30°方向、60°方向、120°方向和150°方向，以及

内插值计算单元被配置为在30°方向和150°方向上使用相同的内插值计算方法，并且在60°方向和120°方向上使用相同的内插值计算方法。

（9）一种图像处理方法，包括：

通过使用由图像传感器输出的像素信号来计算第一像素改变量和第二像素改变量，所述图像传感器被配置为将穿过滤色器的光进行光电转换并且作为像素信号输出，所述滤色器包括第一滤色器和第二滤色器，第一滤色器每个包括第一颜色成分并且以棋盘图案布置，第二滤色器每个包括与第一颜色成分不同的第二颜色成分并且被布置在与以棋盘图案布置第一滤色器的位置不同的位置处，所述第一像素改变量是至少在估计的边界方向中的第一估计边界方向、第二估计边界方向和第三估计边界方向上的像素值的改变量，在估计的边界方向中的每一个中，彼此具有很大差异的像素值的相邻像素的边界被估计为存在，第二像素改变量是在与第一至第三估计边界方向正交的方向上的像素值的改变量，第一估计边界方向是在像素的布置方向上的水平方向，第二估计边界方向是在像素的布置方向上的垂直方向，第三估计边界方向在将第一估计边界方向和第二估计边界方向形成的角几乎平分的线上延伸；

通过使用关于计算的第一像素改变量、和在与第一至第三估计边界方向正交的方向上计算的第二像素改变量的信息，来确定存在边界的边界方向；

基于确定结果来计算与边界方向对应的内插值；以及

通过使用计算的内插值而将第一颜色成分内插到包括第二颜色成分的目标像素中。

（10）一种使得计算机执行以下步骤的程序，包括：

通过使用由图像传感器输出的像素信号来计算第一像素改变量和第二像素改变量，所述图像传感器被配置为将穿过滤色器的光进行光电转换并且作为像素信号输出，所述滤色器包括第一滤色器和第二滤色器，第一滤色器每个包括第一颜色成分并且以棋盘图案布置，第二滤色器每个包括与第一颜色成分不同的第二颜色成分并且被布置在与以棋盘图案布置第一滤色器的位置不同的位置处，所述第一像素改变量是至少在估计的边界方向中的第一估计边界方向、第二估计边界方向和第三估计边界方向上的像素值的改变量，在估计的边界方向中的每一个中，彼此具有很大差异的像素值的相邻像素的边界被估计为存在，第二像素改变量是在与第一至第三估计边界方向正交的方向上的像素值的改变量，第一估计边界方向是在像素的布置方向上的水平方向，第二估计边界方向是在像素的布置方向上的垂直方向，第三估计边界方向在将第一估计边界方向和第二估计边界方向形成的角几乎平分的线上延伸；

通过使用关于计算的第一像素改变量、和在与第一至第三估计边界方向正交的方向上计算的第二像素改变量的信息，来确定存在边界的边界方向；

基于确定结果来计算与边界方向对应的内插值；以及

通过使用计算的内插值而将第一颜色成分内插到包括第二颜色成分的目标像素中。

本公开包含与在2012年5月1日向日本专利局提交的日本优先权专利申请JP2012-104522中公开的内容有关的主题，在此通过引用的方式并入其全部内容。

本领域的技术人员应该理解，依赖于设计要求和其它因素，可能出现各种修改、组合、子组合和变更，只要它们落在所附权利要求或其等效物的范围内即可。

Claims (10)

1.一种图像处理装置，包括：

像素改变量计算单元，被配置为通过使用由图像传感器输出的像素信号来计算第一像素改变量和第二像素改变量，所述图像传感器被配置为将穿过滤色器的光进行光电转换并且作为像素信号输出，所述滤色器包括第一滤色器和第二滤色器，第一滤色器每个包括第一颜色成分并且以棋盘图案布置，第二滤色器每个包括与第一颜色成分不同的第二颜色成分并且被布置在与以棋盘图案布置第一滤色器的位置不同的位置处，所述第一像素改变量是至少在估计的边界方向中的第一估计边界方向、第二估计边界方向和第三估计边界方向上的像素值的改变量，在估计的边界方向中的每一个中，彼此具有很大差异的像素值的相邻像素的边界被估计为存在，第二像素改变量是在与第一至第三估计边界方向正交的方向上的像素值的改变量，第一估计边界方向是在像素的布置方向上的水平方向，第二估计边界方向是在像素的布置方向上的垂直方向，第三估计边界方向在将第一估计边界方向和第二估计边界方向形成的角几乎平分的线上延伸；

边界方向确定单元，被配置为通过使用关于在第一至第三估计边界方向上计算的第一像素改变量、和在与第一至第三估计边界方向正交的方向上计算的第二像素改变量的信息，来确定存在边界的边界方向；

内插值计算单元，被配置为基于边界方向确定单元的确定结果来计算与边界方向对应的内插值；以及

内插处理器，被配置为通过使用内插值计算单元计算的内插值，将第一颜色成分内插到包括第二颜色成分的目标像素中。

2.根据权利要求1的图像处理装置，其中

边界方向确定单元被配置为

将其中第一像素改变量在第一至第三估计边界方向中具有最小值的方向设置为第一方向，

将其中第二像素改变量在第一至第三估计边界方向中是最大值的方向设置为第二方向，以及

基于第一方向和第二方向之间的关系来确定边界方向。

3.根据权利要求2的图像处理装置，其中

边界方向确定单元被配置为

当第一方向和第二方向彼此不同时，将与第二方向正交的方向设置为第三方向，以及

如果第一方向和第三方向中的一个是第一估计边界方向和第二估计边界方向中的一个，另一个是第三估计边界方向，并且第一方向和第三方向彼此相邻，则确定边界方向是彼此相邻的第一方向和第三方向之间的第四估计边界方向。

4.根据权利要求3的图像处理装置，其中

如果第一方向和第二方向彼此正交，则边界方向确定单元确定边界方向对应于第一估计边界方向、第二估计边界方向和第三估计边界方向中的任一个。

5.根据权利要求3的图像处理装置，其中

内插值计算单元被配置为

如果边界方向确定单元确定边界方向是第三估计边界方向和第四估计边界方向之一，则将最靠近目标像素并且与目标像素具有相同颜色成分的每个像素的像素值与目标像素的像素值进行比较，以及

如果目标像素的像素值不是最大值和最小值之一，则确定边界穿过与目标像素的中心偏离的位置，并且通过使用对应于边界位置与目标像素的中心的偏离量的加权系数进行加权平均，来计算内插值。

6.根据权利要求3的图像处理装置，其中

内插值计算单元被配置为在以下情况下通过对最靠近目标像素的周围像素的像素值进行平均来计算内插值：

如果边界方向确定单元确定边界方向不与第一至第四估计边界方向的任一个对应，如果边界方向确定单元确定边界方向是第一估计边界方向和第二估计边界方向之一，或者如果边界方向确定单元确定边界方向是第三估计边界方向并且与最靠近目标像素且与目标像素具有相同颜色成分的像素的像素值相比、目标像素的像素值是最大值和最小值之一。

7.根据权利要求3的图像处理装置，其中

内插值计算单元被配置为在以下情况下计算与目标像素的像素值和最靠近目标像素并且与目标像素具有相同颜色成分的每个像素的像素值之间的差对应的内插值：

如果边界方向确定单元确定边界方向不与第一至第四估计边界方向的任一个对应，如果边界方向确定单元确定边界方向是第一估计边界方向和第二估计边界方向之一并且与在边界方向上最靠近目标像素且与目标像素具有相同颜色成分的像素的像素值相比、目标像素的像素值是最大值和最小值之一，或者如果边界方向确定单元确定边界方向是第三估计边界方向并且与最靠近目标像素且与目标像素具有相同颜色成分的像素的像素值相比、目标像素的像素值是最大值和最小值之一。

8.根据权利要求3的图像处理装置，其中

在第一估计边界方向被设置为0°的情况下，第三估计边界方向包括45°方向和135°方向；

第四估计边界方向包括30°方向、60°方向、120°方向和150°方向，以及

内插值计算单元被配置为在30°方向和150°方向上使用相同的内插值计算方法，并且在60°方向和120°方向上使用相同的内插值计算方法。

9.一种图像处理方法，包括：

通过使用由图像传感器输出的像素信号来计算第一像素改变量和第二像素改变量，所述图像传感器被配置为将穿过滤色器的光进行光电转换并且作为像素信号输出，所述滤色器包括第一滤色器和第二滤色器，第一滤色器每个包括第一颜色成分并且以棋盘图案布置，第二滤色器每个包括与第一颜色成分不同的第二颜色成分并且被布置在与以棋盘图案布置第一滤色器的位置不同的位置处，所述第一像素改变量是至少在估计的边界方向中的第一估计边界方向、第二估计边界方向和第三估计边界方向上的像素值的改变量，在估计的边界方向中的每一个中，彼此具有很大差异的像素值的相邻像素的边界被估计为存在，第二像素改变量是在与第一至第三估计边界方向正交的方向上的像素值的改变量，第一估计边界方向是在像素的布置方向上的水平方向，第二估计边界方向是在像素的布置方向上的垂直方向，第三估计边界方向在将第一估计边界方向和第二估计边界方向形成的角几乎平分的线上延伸；

通过使用关于计算的第一像素改变量、和在与第一至第三估计边界方向正交的方向上计算的第二像素改变量的信息，来确定存在边界的边界方向；

基于确定结果来计算与边界方向对应的内插值；以及

通过使用计算的内插值而将第一颜色成分内插到包括第二颜色成分的目标像素中。

10.一种使得计算机执行以下步骤的程序，包括：

通过使用由图像传感器输出的像素信号来计算第一像素改变量和第二像素改变量，所述图像传感器被配置为将穿过滤色器的光进行光电转换并且作为像素信号输出，所述滤色器包括第一滤色器和第二滤色器，第一滤色器中的每一个包括第一颜色成分并且以棋盘图案布置，第二滤色器中的每一个包括与第一颜色成分不同的第二颜色成分并且被布置在与以棋盘图案布置第一滤色器的位置不同的位置处，所述第一像素改变量是至少在估计的边界方向中的第一估计边界方向、第二估计边界方向和第三估计边界方向上的像素值的改变量，在估计的边界方向中的每一个中，彼此具有很大差异的像素值的相邻像素的边界被估计为存在，第二像素改变量是在与第一至第三估计边界方向正交的方向上的像素值的改变量，第一估计边界方向是在像素的布置方向上的水平方向，第二估计边界方向是在像素的布置方向上的垂直方向，第三估计边界方向在将第一估计边界方向和第二估计边界方向形成的角几乎平分的线上延伸；

通过使用关于计算的第一像素改变量、和在与第一至第三估计边界方向正交的方向上计算的第二像素改变量的信息，来确定存在边界的边界方向；

基于确定结果来计算与边界方向对应的内插值；以及

通过使用计算的内插值而将第一颜色成分内插到包括第二颜色成分的目标像素中。

Images