CN102682426A - 图像处理设备、图像处理方法及程序 - Google Patents

Abstract

提供一种图像处理设备、图像处理方法及程序。图像处理设备包括：边缘强度计算单元，其将通过减少由成像元件捕获的图像的像素的总数目而获得的像素数目减少图像设定为输入图像，以及以像素块为单位计算多个方向的边缘强度；内插像素值计算单元，其计算作为像素块中的多个方向的平滑分量的内插像素值；权重计算单元，其基于边缘强度来计算作为多个方向的平滑分量的内插像素值的权重；以及混合处理单元，其通过执行作为多个方向的平滑分量的内插像素值和所计算的权重的加权相加的混合处理，来计算作为像素块的中心像素的校正对象像素的像素值。

Description

图像处理设备、图像处理方法及程序

技术领域

本公开涉及图像处理设备、图像处理方法及程序，更具体地，涉及能够减少发生在图像中的锯齿的图像处理设备、图像处理方法及程序。

背景技术

例如，当将由相机捕获的图像打印输出或显示时，输出对象的图像轮廓不同于原始对象的轮廓。即，在某些情况下，输出对象的图像轮廓输出为阶梯状、锯齿状的轮廓。

阶梯状、锯齿状的形状通常被称为锯齿(jaggy)。锯齿是一种图像失真噪声。迄今为止已经提出了各种减少锯齿的图像处理方法。

例如，日本未审查专利申请公开第2010-67272号公开了一种通过确定执行边缘检测的方向、以及通过增加在还平行于边缘的方向上的平滑分量的权重并且执行每个方向上的混合处理来减少锯齿的方法。

但是，该方法具有的问题在于，由于当使用质心偏移的像素执行边缘保持平滑时，以亚像素为单位在垂直于边缘的方向上彼此偏离的像素之间执行平滑，所以分辨率会恶化。

另外，日本未审查专利申请公开第2009-070123号公开了一种通过使低分辨率的图像经过高分辨率处理而在边缘附近具有高分辨率来抑制锯齿的重点的方法。

但是，会出现的问题在于，在高分辨率处理中计算量通常相当大，并且通过小尺寸的电路难以实现。

另外，日本未审查专利申请公开第2004-234623号公开了一种生成高质量图像的方法，其中，通过匹配和叠加连续捕获的图像的位置来减少锯齿。

但是，在该方法中，会出现的问题在于，即使当匹配位置稍微彼此偏移时，边缘也变得模糊，因此分辨率恶化。

另外，还会出现的问题在于，难以既考虑到作为整个图像的运动信息的全局运动又考虑到作为部分运动信息的局部运动来准确地计算图像间的位置偏移，以及难以提高图像的整个区域的分辨率。

发明内容

期望提供一种能够以简单的配置来实现锯齿的减少的图像处理设备、图像处理方法及程序。

根据本公开的实施例，提供了一种图像处理设备，包括：边缘强度计算单元，其将通过减少由成像元件捕获的图像的像素的总数目而获得的像素数目减少图像设定为输入图像，以及以将从输入图像中选择的校正对象像素用作中心像素的像素块为单位来计算多个方向的边缘强度；内插像素值计算单元，其计算作为像素块中的多个方向的平滑分量的内插像素值；权重计算单元，其基于由边缘强度计算单元计算的多个方向的边缘强度，来计算作为多个方向的平滑分量的内插像素值的权重；以及混合处理单元，其通过执行作为多个方向的平滑分量的内插像素值和由权重计算单元计算的权重的加权相加的混合处理，来计算作为像素块的中心像素的校正对象像素的像素值。

在根据本公开的实施例的图像处理设备中，多个方向可为水平方向、垂直方向、右上方向和左上方向的四个方向。

在根据本公开的实施例的图像处理设备中，像素数目减少图像可为具有拜耳(Bayer)布置图像的图像。

在根据本公开的实施例的图像处理设备中，像素数目减少图像可为具有拜耳布置图像的图像，以及校正对象像素是G像素。

在根据本公开的实施例的图像处理设备中，边缘强度计算单元可以以将校正对象像素用作中心像素的像素块为单位计算多个拉普拉斯绝对值，以及通过应用计算的多个拉普拉斯绝对值来计算在校正对象像素的位置处的多个方向的边缘强度。

在根据本公开的实施例的图像处理设备中，内插像素值计算单元可基于存在于像素块中设定的特定方向的线上的像素的像素值来计算多个平滑分量，以及基于计算的多个平滑分量来计算作为对应于校正对象像素的平滑分量的内插像素值。

在根据本公开的实施例的图像处理设备中，内插像素值计算单元可基于包括在像素数目减少图像中并且发生质心偏移的像素来计算内插像素值。

在根据本公开的实施例的图像处理设备中，权重计算单元可执行将预定的裁剪函数应用于由边缘强度计算单元计算的多个方向的边缘强度中的每个的裁剪处理，以及基于经过裁剪处理的多个方向的边缘强度，来计算作为多个方向的平滑分量的内插像素值的权重。

在根据本公开的实施例的图像处理设备中，像素数目减少图像可为具有拜耳布置图像的图像，而校正对象像素为G像素。图像处理设备还可包括去马赛克处理单元，其对具有由混合处理单元输出的G像素的校正图像执行去马赛克处理。

在根据本公开的实施例的图像处理设备中，去马赛克处理单元可使用拜耳布置中的G像素与R像素之间的关系和拜耳布置中的G像素与B像素之间的关系来执行设定各个像素的RGB像素值的去马赛克处理。

根据本公开的另一实施例的图像处理设备，提供了一种图像处理设备，包括：图像校正单元，其基于未经过像素增加或疏化处理的原始图像的分辨率，来计算从通过成像元件中的像素增加或疏化处理而获得的原始图像中的对象G像素的中心穿过的边缘方向，以及对在垂直于所计算的边缘方向的直线附近的G像素进行投影，在垂直于边缘的方向上对投影的G像素执行重采样处理，使用作为重采样像素的像素值的重采样信号来执行确定对象G像素的像素值的处理。

在根据本公开的实施例的图像处理设备中，图像校正单元通过以下方式来确定对象G像素的像素值：用预定的特定方向的边缘分量的线性总和来表示边缘方向，对特定方向的每个边缘分量执行重采样处理，以及以与线性总和表示的边缘分量的比率基本上相同的比率对特定方向中的多个方向的重采样信号执行加权平均。

根据本公开的又一实施例，提供了一种成像设备，包括：成像元件；像素数目减少单元，其通过减少由成像元件捕获的图像的像素的总数目来生成像素数目减少图像；边缘强度计算单元，其将像素数目减少图像设定为输入图像，以及以将从输入图像中选择的校正对象像素用作中心像素的像素块为单位来计算多个方向的边缘强度；内插像素值计算单元，其计算作为像素块中的多个方向的平滑分量的内插像素值；权重计算单元，其基于由边缘强度计算单元计算的多个方向的边缘强度，来计算作为多个方向的平滑分量的内插像素值的权重；以及混合处理单元，其通过执行作为多个方向的平滑分量的内插像素值和由权重计算单元计算的权重的加权相加的混合处理，来计算作为像素块的中心像素的校正对象像素的像素值。

根据本公开的再一实施例，提供了一种在图像处理设备中处理图像的图像处理方法。图像处理方法包括：由边缘强度计算单元将通过减少由成像元件捕获的图像的像素的总数目而获得的像素数目减少图像设定为输入图像，以及以将从输入图像中选择的校正对象像素用作中心像素的像素块为单位来计算多个方向的边缘强度；由内插像素值计算单元计算作为像素块中的多个方向的平滑分量的内插像素值；由权重计算单元基于由边缘强度计算单元计算的多个方向的边缘强度，来计算作为多个方向的平滑分量的内插像素值的权重；以及由混合处理单元通过执行作为多个方向的平滑分量的内插像素值和由权重计算单元计算的权重的加权相加的混合处理，来计算作为像素块的中心像素的校正对象像素的像素值。

根据本公开的再一实施例，提供了一种程序，其使执行图像处理的图像处理设备执行：由边缘强度计算单元将通过减少由成像元件捕获的图像的像素的总数目而获得的像素数目减少图像设定为输入图像，以及以将从输入图像中选择的校正对象像素用作中心像素的像素块为单位来计算多个方向的边缘强度；由内插像素值计算单元计算作为像素块中的多个方向的平滑分量的内插像素值；由权重计算单元基于由边缘强度计算单元计算的多个方向的边缘强度，来计算作为多个方向的平滑分量的内插像素值的权重；以及由混合处理单元通过执行作为多个方向的平滑分量的内插像素值和由权重计算单元计算的权重的加权相加的混合处理，来计算作为像素块的中心像素的校正对象像素的像素值。

根据本公开实施例的程序是提供给例如能够执行由存储介质或通信介质以计算机可读格式提供的各种程序代码的信息处理设备或计算机系统的程序。通过以计算机可读形式提供程序，根据信息处理设备或计算机系统上的程序来实现处理。

根据下述实施例的详细说明或附图，本公开实施例的其它目的、特点、或优点是明显的。另外，说明书中的系统具有多个设备的逻辑集合配置。具有分离配置的设备可不包括在同一壳体中。

根据本公开实施例的配置，可以通过校正像素数目减少图像的处理来创建锯齿减少的高质量图像。

具体地，例如，将通过减少由成像元件捕获的图像的像素的总数目而获得的像素数目减少图像设定为输入图像，以将从输入图像中选择的校正对象像素用作中心像素的像素块为单位来计算多个方向的边缘强度，计算内插像素值作为像素块中的多个方向的平滑分量，基于由边缘强度计算单元计算的多个方向的边缘强度计算内插像素值的权重作为多个方向的平滑分量；以及通过执行作为多个方向的平滑分量的内插像素值和由权重计算单元计算的权重的加权相加的混合处理，来计算作为像素块的中心像素的校正对象像素的像素值。通过处理来校正像素数目减少图像中的质心偏移，从而减少锯齿。

附图说明

图1A和1B是图示与像素数目减少处理有关的问题的图；

图2A和2B是图示与像素数目减少处理有关的问题的图；

图3是图示锯齿的产生的图，其中锯齿是像素数目减少处理中的问题；

图4是图示作为图像处理设备的示例的成像设备的配置示例的图；

图5是图示由图像处理设备执行的处理的概要的图；

图6是图示计算水平(H)(＝横向)方向的拉普拉斯绝对值的处理的图；

图7是图示计算垂直(V)(＝纵向)方向的拉普拉斯绝对值的处理的图；

图8是图示计算右上(R)方向的拉普拉斯绝对值的处理的图；

图9是图示计算左上(L)方向的拉普拉斯绝对值的处理的图；

图10是图示用于计算拉普拉斯绝对值的加权平均的滤波器结构的示例的图；

图11A和11B是图示像素增加处理的示例的图；

图12A和12B是图示水平方向和垂直方向的增加比率均被设定为1∶3的像素增加处理的图；

图13A和图13B是图示当发生像素质心偏移时和当未发生像素质心偏移时右上倾斜方向的采样间隔时间的差别的示例的图；

图14是图示当以水平比率1∶1和垂直比率1∶1执行增加处理时的内插处理的示例的图；

图15是图示计算与具有左上(L)方向的边缘的图案对应的平滑G分量(G_L)的处理的图；

图16是图示计算与具有左上(L)方向的边缘的图案对应的平滑G分量(G_L)的处理的图；

图17A和17B是图示在右上(R)方向的边缘图案的情况下计算右上方向(R)的平滑G分量(G_R)的处理的图；

图18是图示当以水平比率1∶3和垂直比率1∶1执行增加处理时的内插处理的示例的图；

图19是图示当以水平比率1∶3和垂直比率1∶1执行增加处理时的内插处理的示例的图；

图20是图示各个G像素与在右上和左下方向上以45度倾斜并且与穿过中心处的4像素块的中心的边缘方向(左上(L)方向)垂直的直线之间的距离的图；

图21是图示当以右上(R)方向的边缘图案对内插信号进行重采样以及计算对象平滑G分量(G_R)时的距离分布的图；

图22是图示计算水平(H)方向的平滑G分量(G_H)的处理的图；

图23是图示用于对拉普拉斯值总和D执行由阈值确定的裁剪处理的裁剪函数的示例的图；

图24是图示当在任意方向上检测到边缘时的处理的图；

图25是图示图像校正单元的配置和处理的概要的图；

图26A至26C是图示要被图像校正单元处理的像素块的示例的图；

图27是图示偏置值计算单元的处理的图；

图28是图示四方向边缘强度计算单元的处理的图；

图29是图示四方向边缘强度计算单元的处理的图；

图30是图示四方向内插像素值计算单元的处理的图；

图31是图示四方向内插像素值计算单元的处理的图；

图32是图示四方向内插像素值计算单元的处理的图；

图33是图示四方向权重计算单元的处理的图；以及

图34是图示混合处理单元的处理的图。

具体实施方式

下文中，将参考附图描述本公开的实施例的图像处理设备、图像处理方法及程序。将按照下面的顺序对其进行说明。

1.图像中锯齿的产生

2.图像处理设备的配置实例

3.信号处理单元的处理的概要

4.图像校正单元的处理

4-1.(第一处理)使用像素数目减少图像(原始图像)的G分量来计算全部四个方向，即水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的边缘强度(D_H、D_V、D_R和D_L)的处理

4-2.(第二处理)计算全部四个方向，即水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的平滑G分量(G_H、G_V、G_R和G_L)的处理

4-3.(第三处理)根据通过第一处理计算的四个方向的边缘强度(D_H、D_V、D_R和D_L)确定要与通过第二处理计算的水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的平滑G分量(G_H、G_V、G_R和G_L)相乘的权重(W_H、W_V、W_R和W_L)的处理

4-4.(第四处理)通过将通过第二处理计算的水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的平滑G分量(G_H、G_V、G_R和G_L)乘以通过第三处理计算的权重(W_H、W_V、W_R和W_L)的混合处理来计算输出像素值的处理

5.去马赛克处理

6.与任意方向的边缘对应的处理

7.图像校正单元的配置和处理的概要

7-1.偏置值计算单元的处理

7-2.四方向边缘强度计算单元的处理

7-3.四方向内插像素值计算单元的处理

7-4.四方向权重计算单元的处理

7-5.混合处理单元的处理

8.本公开的配置概要

1.图像中锯齿的产生

如上所述，当打印并输出、或显示由相机捕获的图像时，输出图像中包含的对象的图像轮廓不同于原始对象的轮廓。即，在某些情况下，对象的图像轮廓被输出为阶梯状、锯齿状的轮廓。锯齿状的形状通常被称为锯齿。

例如，即使当对通过由具有大量像素的高分辨率成像元件捕获的图像执行像素疏化处理或像素合成处理而创建的像素数目减少的输出图像时，也产生锯齿。

近来许多成像设备具有拥有诸如几百万像素至几千万像素的非常大量像素的成像元件，以捕获高分辨率的图像。

然而，很少使用能够输出与具有成像元件的像素数目的图像对应的高分辨率图像的显示设备。而且，当没有任何改变地记录从成像元件输出的高分辨率图像时，记录高分辨率图像所需的存储器容量会增加，因此记录的图像数目会减少。

考虑到该情形，在许多情况下，包括具有大量像素的成像元件的成像设备通过执行使输出像素的数目疏化而不是无任何改变地记录从成像元件输出的像素信号、或者通过执行包括多个像素的相加操作的处理，来执行减少像素的总数目以及将数目减少的像素记录在存储器中的处理。

然而，会出现的问题在于，由于像素数目转换处理，输出图像中产生锯齿。

将结合附图描述由于像素数目的减少而产生的锯齿。

图1A示出成像元件的像素布置(拜耳布置)，而图1B示出输出像素的像素质心。

图1A中所示的像素布置是布置了成像元件的大量像素的像素布置。捕获的图像具有关于大量像素的像素信息。通过减少像素的数目来创建要存储在存储器中的图像。例如，基于图1A中所示的成像元件中的具有相同颜色的四个像素来设定和输出输出图像的单个像素的像素值。

即，通过将四个像素聚集成单个像素以及输出该单个像素来减少像素的总数目。

在图1B中，输出像素的像素质心是原始成像元件中的像素数目减少之后的输出像素的像素质心。

例如，图1B中所示的Gb像素31具有均匀地使用图1A中所示的3×3像素块21的四个角上的Gb像素的像素值确定的像素值。像素质心设定在3×3像素块21的中心位置。表示质心位置的像素是图1B中所示的Gb像素31。

图1A和1B示出将输出图像的像素数目减少到成像元件的像素数目的1/4，即将图1A中所示的8×8＝64个像素减少到图1B中所示的4×4＝16个像素。

在该处理中，例如，对图1A中所示的3×3像素块21的四个角上的Gb像素执行加法平均处理，然后计算输出图像的单个Gb像素的像素值。

即，基于图1A中所示的3×3像素块21的四个Gb像素来计算图1B所示的Gb像素31的像素值。

在这种情况下，按照水平右方向为x而垂直向下方向为y的坐标系，输出图像中的Gb像素31的质心位于(x，y)＝(2，2)的位置，即图1B中所示的Gb像素31的位置。

基于图1A中所示的3×3像素块22的四个B像素来计算图1B中所示的B像素32的像素值。

在这种情况下，输出图像中的B像素32的质心位于(x，y)＝(3，2)的位置，即图1B中所示的B像素32的位置。

同样地，基于图1A中所示的3×3像素块23的四个Gb像素来计算图1B中所示的Gb像素33的像素值。

在这种情况下，输出图像中的Gb像素33的质心位于(x，y)＝(6，2)的位置，即图1B中所示的Gb像素33的位置。

同样地，基于图1A中所示的3×3像素块24的四个B像素来计算图1B中所示的B像素34的像素值。

在这种情况下，输出图像中的B像素34的质心位于(x，y)＝(7，2)的位置，即图1B中所示的B像素34的位置。

当对图像设定16个像素时，图1B中所示的全部16个像素输出为具有4×4像素的图像。

即，如图2B所示，16个像素输出为具有4×4像素的图像70。

图2A示出输出像素的像素质心(如图1B)。图2B示出输出图像的像素位置。

在图2B中，认为左上侧上的包括2×2像素、即Gb像素31和B像素32的2×2像素块是固定的。在该设定的示例中，其它三个2×2像素块均按照图2B中所示的箭头(α)、(β)和(γ)移动，并且输出为图2B中所示的4×4像素图像70的组成像素。

由于该位移处理而出现下面的问题。

例如，像素质心位于位置(x，y)＝(6，2)处的Gb像素33被设定为输出图像中像素位置是(x，y)＝(3，2)的Gb像素53。

而且，像素质心位于位置(x，y)＝(7，2)处的B像素34被设定为输出图像中位于像素位置(x，y)＝(3，3)处的B像素54。

此处，计算减少比率。

像素位置(x，y)＝(2，2)处的Gb像素31被假定为位于固定位置处的参考像素。

在图2A所示的像素位置(x，y)＝(6，2)处的Gb像素33与用作参考像素的Gb像素31相距四个像素。

在输出图像中，由于Gb像素33被设定为位于像素位置(x，y)＝(3，2)处的Gb像素53，所以Gb像素53与用作参考像素的Gb像素31之间的距离是两个像素。

即，减少比率是2个像素/4个像素＝1/2。

另一方面，在图2A所示的像素位置(x，y)＝(7，2)处的B像素34与用作参考像素的Gb像素31相距五个像素。

在输出图像中，由于B像素34被设定为位于像素位置(x，y)＝(4，2)处的B像素54，所以B像素54与用作参考像素的Gb像素31之间的距离是三个像素。

即，减少比率是3个像素/5个像素＝3/5。

由于该原因，像素之间的减少比率是分散的，因此可创建这样的输出图像：该输出图像具有与捕获图像的每个像素的相对位置不同的相对位置，其中捕获图像对应于成像元件的像素布置。

即，可创建这样的输出图像，在该输出图像中，不均匀地减少由成像元件捕获的原始图像的像素之间的距离。

像素之间的不均匀距离可导致图像质量的恶化。

具体地，例如，如图3所示，锯齿扩大，从而导致恶化。

图3的(A)部分所示的原始图像是具有大量像素并且与成像元件捕获的图像对应的高分辨率图像。在该图像中，锯齿小。

如参考图1A、图1B、图2A和图2B所描述的，当图3的(A)部分所示的原始图像经过使相对像素位置分散的像素数目减少处理时，如图3的(B)部分所示，会创建锯齿扩大的图像。

而且，锯齿是一种图像失真噪声。由于相加计算后像素质心之间的不均匀距离，锯齿进一步恶化。

而且，RGB颜色组合之间的位置关系可能是不规则的，因此输出图像的颜色可能不同于原始图像的颜色。这样，产生图像质量的各种恶化。

根据本公开实施例的图像处理设备实现抑制由于像素数目的减少而产生锯齿的处理。

2.图像处理设备的配置示例

将参考图4描述成像设备的配置，该成像设备是根据本公开实施例的图像处理设备的示例。

图4是图示成像设备的示例的框图。穿过光学透镜101的光入射在例如由CMOS成像传感器配置的成像元件102上，以及通过光电转换输出图像数据。输出的图像数据输入到信号处理单元103。信号处理单元103执行一般相机的信号处理，例如白平衡(WB)调整、伽马调整、或去马赛克处理。

而且，信号处理单元103执行像素数目减少处理和实现锯齿减少的图像校正处理，以生成输出图像120。输出图像120存储在存储单元(未示出)中。替选地，输出图像输出到显示单元。

控制单元105根据存储器(未示出)中存储的程序向每个单元输出控制信号，以及控制各种处理。

3.信号处理单元的处理的概要

如上所述，信息处理单元103不仅执行一般相机的信号处理，而且执行像素减少处理和实现锯齿减少的图像校正处理。

将参考图5描述处理的概要。

图5示出如下的三个图像数据：

(a)部分，捕获的图像，

(b)部分，像素数目减少的图像；以及

(c)部分，像素数目减少并校正的图像。

如图5所示，信号处理单元103包括像素数目减少单元151、图像校正单元152、去马赛克处理单元153。

捕获的图像(a)是成像元件102捕获的图像，并且是按照成像元件102的像素单位来设定像素值的图像数据。

在该实施例中，将描述具有拜耳布置(RGrGbB)的成像元件的输出的处理示例。

在图5所述的像素数目减少的图像(b)中，示出了通过将捕获的图像(a)的像素数目减少到像素数目的1/4而获得的图像像素的像素质心的位置。各自用圆形框表示像素数目减少的图像的像素。

像素数目减少的图像的像素质心位于原始的捕获的图像(a)中的给定位置。

像素数目减少单元151输入捕获的图像(a)以及对例如四个Gb像素的像素值执行相加平均处理以计算单个Gb像素的像素值。像素数目减少单元151首先对位于与以上参考图1A和1B描述的像素块相同的3×3像素块的四个顶点处的Gb像素的像素值执行相加平均处理。

像素数目减少单元151根据所有R像素、Gr像素、Gb像素和B像素的四个像素值来计算单个输出像素值，以及创建像素数目减少到1/4的像素数目减少的图像(b)。

该处理与以上根据现有技术参考图1A、图1B、图2A和图2B描述的像素数目减少处理相同。

像素数目减少的图像(b)中由圆形框指示的R像素、Gr像素、Gb像素和B像素的像素位置是参考图1B描述的像素质心的像素位置。

当以这种方式创建输出图像时，输出图像可为产生参考图2A、图2B和图3所描述的锯齿的图像。

因此，在根据该实施例的图像处理设备中，图5的(b)部分所示的像素数目减少的图像输入到信号处理单元103的图像校正单元152，以及执行图像校正处理以移动像素质心。

通过图像校正单元152的图像校正处理，来创建图5的(c)部分所示的像素数目减少并校正的图像。

图5的(b)部分所示的像素数目减少的图像与图5的(c)部分所示的像素数目减少并校正的图像的区别在于，Gb像素和Gr像素的像素质心的位置移动。

以这种方式，根据该实施例的图像处理设备执行移动Gb像素和Gr像素的像素质心的处理。

在图5的(c)部分所示的像素数目减少并校正的图像中，通过移动像素质心的处理，将每个颜色信号的相对位置设定成基本上与捕获的图像中的相同。即，可将像素数目减少并校正的图像中的每个颜色(RGrGbB)的相对位置设定成基本上与作为原始图像的捕获图像(a)中的每个颜色的相对位置相同。

在以下描述的实施例中，仅对RGrGbB像素结构的拜耳布置中的G像素(Gr和Gb)执行处理。G像素与整个图像的像素的比率高。所以，即使当仅对G像素执行处理时，也可以获得充分的锯齿减少的优点。作为处理结果，由于抑制锯齿产生，如以上参考图3所描述的，可以创建高质量的像素数目减少并校正的图像。

去马赛克处理单元153基于图5的(c)部分所示的像素数目减少并校正的图像执行去马赛克处理，以创建在每个像素中设定所有颜色信息(RGrGbB)的图像数据。

4.图像校正单元的处理

下文中，将描述获得锯齿减少优点的由根据本公开实施例的图像处理设备执行的图像校正处理，即由图5所示的图像校正单元152执行的处理。

如以上参考图5所描述的，图像校正单元152执行校正图5的(b)部分所示的像素数目减少图像的处理，该像素数目减少图像是通过像素相加处理或像素疏化处理而创建的原始图像。此处，原始图像指的是未经过去马赛克处理并且每个像素中仅设定一个像素值的图像。

图像校正单元152通过调整质心偏移来减少现有技术中可能很少被校正的由于像素质心的偏移而导致的锯齿。

具体地，图像校正单元152执行的处理包括四个处理，即以下描述的第一处理至第四处理：

(第一处理)使用像素数目减少图像(原始图像)的G分量来计算全部四个方向，即水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的边缘强度(D_H、D_V、D_R和D_L)的处理；

(第二处理)计算全部四个方向，即水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的平滑G分量(G_H、G_V、G_R和G_L)的处理；

(第三处理)根据通过第一处理计算的四个方向的边缘强度(D_H、D_V、D_R和D_L)确定要与通过第二处理计算的水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的平滑G分量(G_H、G_V、G_R和G_L)相乘的权重(W_H、W_V、W_R和W_L)的处理；以及

(第四处理)通过将通过第二处理计算的水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的平滑G分量(G_H、G_V、G_R和G_L)乘以通过第三处理计算的权重(W_H、W_V、W_R和W_L)的混合处理来计算输出像素值的处理。

下文中，将依次描述每个处理(第一处理至第四处理)。

4-1.(第一处理)使用像素数目减少图像(原始图像)的G分量来计算全部四个方向，即水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的边缘强度(D_H、D_V、D_R和D_L)的处理

首先，将描述第一处理，即，使用像素数目减少图像(原始图像)的G分量来计算全部四个方向，即水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的边缘强度(D_H、D_V、D_R和D_L)的处理。

图像校正单元152输入图5的(b)部分所示的像素数目减少图像(原始图像)，以及执行使用包括在输入的像素数目减少图像中的像素中的G(Gr和Gb)像素的像素值来计算全部四个方向，即水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的边缘强度(D_H、D_V、D_R和D_L)的处理。

在以下描述的实施例中，将描述这样的处理示例，在该处理示例中，由成像元件102捕获的图像和由信号处理单元创建的像素数目减少图像均具有RGrGbB的拜耳布置。

图像校正单元152使用包括在像素数目减少图像具有的拜耳布置中的G(Gr和Gb)像素的像素值，来计算与像素值的二次差分值的绝对值对应的拉普拉斯绝对值。

而且，图像校正单元152计算预设的边缘强度计算区域中的G(Gr和Gb)像素的像素值的拉普拉斯绝对值的加权平均，以及计算在每个区域处的边缘强度。

下文中，将描述计算全部四个方向，即水平方向(H)(＝横向)、垂直方向(V)(＝纵向)、右上方向(R)和左上方向(L)的G(Gr和Gb)像素的像素值的拉普拉斯绝对值的具体示例。

a.计算水平(H)(＝横向)方向和垂直(V)(＝纵向)方向的拉普拉斯绝对值的处理

首先，将参考图6和图7描述计算水平(H)(＝横向)方向和垂直(V)(＝纵向)方向的拉普拉斯绝对值的处理。

现在，将参考图6描述计算水平(V)(＝横向)方向的拉普拉斯绝对值的处理。

图6所示的图像是与图5的(b)部分所示的像素数目减少图像对应的像素数目减少图像201(原始图像)。图5的(b)部分所示的像素数目减少图像是将像素数目减少图像的像素质心的位置示出在原始的捕获图像的像素布置中的图像，而图6所示的像素数目减少图像201对应于通过合并图5的(b)部分所示的彼此相隔的像素而创建的像素数目减少图像。即，像素数目减少图像201是通过设定以上参考图2B描述的像素位置而创建的像素数目减少图像(原始图像)。

图6所示的像素数目减少图像201是存在以下问题的图像：由于各个颜色的像素质心的相对位置偏离原始的捕获图像的像素布置中的各个颜色的像素质心的相对位置，所以会产生以上参考图3描述的锯齿。

图6所示的像素数目减少图像201具有拜耳布置。所以，G(Gr或Gb)像素每两个像素地出现在水平(H)(＝横向)方向和垂直(V)(＝纵向)方向两者中。使用G分量计算拉普拉斯绝对值。

将描述计算水平(H)(＝横向)方向的拉普拉斯绝对值的方法。

作为一个示例，将描述以下情况：在该情况中，计算在图6所示的图像201中的像素Gr2211的位置处的水平(H)(横向)方向的拉普拉斯绝对值L_{Gr2_H}。

当图像校正单元152计算在图6所示的图像201中的像素Gr2211的位置处的水平(H)(横向)方向的拉普拉斯绝对值L_{Gr2_H}时，图像校正单元152通过等式(等式1)使用在水平(H)(＝横向)方向上与Gr2211相距一个像素的像素Gr1和Gr3的像素值来执行计算。

L_{Gr2_H}＝|Gr₁-2Gr₂+Gr₃|        ......(等式1)

在该等式中，L_{Gr2_H}是在像素Gr2位置处的水平(H)(＝横向)方向的拉普拉斯绝对值，Gr1是在横向方向上与像素Gr2相距一个像素的位置处的像素Gr1的像素值，Gr2是像素Gr2的像素值，以及Gr3是在横向方向上与像素Gr2相距一个像素的位置处的像素Gr3的像素值。

图像校正单元152通过以上的等式(等式1)计算在G分量、即包括在像素数目减少图像201中的像素Gr和Gb的像素位置处的横向方向的拉普拉斯绝对值。

例如，当计算在图6所示的像素Gb2212的位置处的水平(H)(＝横向)方向的拉普拉斯绝对值L_{Gb2_H}时，通过以上的等式(等式1)使用在横向方向上与像素Gb2212相距一个像素的位置处的像素Gb1和Gb3的像素值来执行计算。

在以上的等式(等式1)中，分别用Gb1、Gb2和Gb3替换Gr1、Gr2和Gr3，以及计算在像素Gb2212的位置处的水平(H)(＝横向)方向的拉普拉斯绝对值L_{Gb2_H}。

还使用在纵向方向上相距一个像素的G分量来计算垂直(V)(＝纵向)方向的拉普拉斯绝对值。

例如，当计算在图7所示的像素Gb5221的位置处的垂直(V)(＝纵向)方向的拉普拉斯绝对值L_{Gb5_V}时，通过以上的等式(等式1)使用在纵向方向上与像素Gb5221相距一个像素的位置处的像素Gb1和Gb9的像素值来执行计算。

在以上的等式(等式1)中，分别用Gb5、Gb1和Gb9替换Gr1、Gr2和Gr3，以及计算在像素Gb5221的位置处的垂直(V)(＝纵向)方向的拉普拉斯绝对值L_{Gb5_V}。

例如，当计算在图7所示的像素Gr5222的位置处的垂直(V)(＝纵向)方向的拉普拉斯绝对值L_{Gr5_V}时，通过以上的等式(等式1)使用在纵向方向上与像素Gr5222相距一个像素的位置处的像素Gr1和Gr9的像素值来执行计算。

在以上的等式(等式1)中，分别用Gr5、Gr1和Gr9替换Gr1、Gr2和Gr3，以及计算在像素Gr5222的位置处的垂直(V)(＝纵向)方向的拉普拉斯绝对值L_{Gr5_V}。

b.计算右上(R)方向和左上(L)方向的拉普拉斯绝对值的处理

接下来，将参考图8和图9来描述计算右上倾斜方向和左上倾斜方向，即右上(R)方向和左上(L)方向的拉普拉斯绝对值的处理。

使用倾斜方向上的对象G像素和在倾斜方向上邻近的三个G像素来计算拉普拉斯绝对值。

将参考图8来描述计算右上(R)方向的拉普拉斯绝对值的处理。

例如，当计算在图8所示的像素Gb5231的位置处的右上(R)方向的拉普拉斯绝对值L_{Gb5_R}时，通过下面的等式(等式2)使用像素Gb5的像素值、和位于右上位置的像素Gr2的像素值和位于左下位置的像素Gr3的像素值来执行计算，其中像素Gr2和像素Gr3是出现在右上倾斜方向上的G分量像素。

L_{Gb5_R}＝|Gr₂-2Gb₅+Gr₃|              ......(等式2)

在该等式中，L_{Gb5_R}是在像素Gb5的位置处的右上(R)方向的拉普拉斯绝对值，Gr2是在像素Gb5的右上位置处的像素Gr2的像素值，Gb5是像素Gb5的像素值，以及Gr3是在像素Gb5的左下位置处的像素Gr3的像素值。

还通过诸如以上等式(等式2)的计算等式来计算左上(L)方向的拉普拉斯绝对值。

例如，当计算在图9所示的像素Gb5231的位置处的左上(L)方向的拉普拉斯绝对值L_{Gb5_L}时，通过以上等式(等式2)使用像素Gb5的像素值、和位于左上位置的像素Gr1的像素值和位于右下位置的像素Gr4的像素值来执行计算，其中像素Gr1和像素Gr4是出现在左上(L)倾斜方向上的G分量像素。

在等式2中，使用Gr1和Gr4，而不是Gr2和Gr3。

如以上参考图5所描述的，要由图像校正单元152计算拉普拉斯绝对值的图像是图5的(b)部分所示的像素数目减少图像。像素数目减少图像是通过由像素相加处理或像素疏化处理减少原始的捕获图像(a)的像素数目而获得的图像。如以上参考图2A和图2B所描述的，在像素数目减少图像中，在某些情况下会发生像素质心的偏移。

基于发生像素质心偏移的像素数目减少图像(b)计算的拉普拉斯绝对值不同于基于作为原始图像的捕获图像(a)计算的拉普拉斯绝对值。即，计算与期望要计算的角度偏离的方向的拉普拉斯绝对值。然而，误差最大为10％或更少。已经定量地验证了何时计算四个方向的强度的比率没有影响。

图像校正单元152计算四个拉普拉斯绝对值：

(1)水平(H)方向的拉普拉斯绝对值；

(2)垂直(V)方向的拉普拉斯绝对值；

(3)右上(R)方向的拉普拉斯绝对值；以及

(4)左上(L)方向的拉普拉斯绝对值。

以这种方式，图像校正单元152使用包括在像素数目减少图像中的G分量(Gr和Gb)来计算各个方向上的拉普拉斯绝对值。

接下来，图像校正单元152通过计算G位置处的拉普拉斯绝对值的加权平均来计算边缘强度。

通过执行以下处理来计算拉普拉斯绝对值的加权平均：该处理执行加权平均处理，即，计算在N×N像素中出现的全部G位置处所计算的拉普拉斯绝对值的加权平均值的处理，其中，在N×N像素中，作为边缘强度计算对象的像素用作中心像素。

将大权重给予与作为边缘强度计算对象的像素对应的中心像素的拉普拉斯绝对值，而将小权重给予周边像素。

图10示出权重的设定示例。在图10所示的示例中，按照N×N＝5×5像素的区域设定权重。

在图10所示的示例中，如下设定权重。

对作为边缘强度计算对象的G像素(Gr或Gb)设定权重36，对四个周边G(Gr或Gb)像素给定权重16，对水平方向和垂直方向上的四个周边G(Gr或Gb)像素设定权重6，以及对倾斜方向上的四个G(Gr或Gb)像素设定权重1。

图像校正单元152使用权重来计算在各个G位置处计算的拉普拉斯绝对值的加权平均，以及计算指示中心位置处的G像素的边缘强度的拉普拉斯绝对值的加权平均值。而且，需要执行归一化，使得权重之和在实际计算时变成1。

图像校正单元152通过上述处理以像素数目减少图像的G像素(Gr和Gb)为单位计算下面的值：

(1)D_H：水平(H)方向的拉普拉斯绝对值的水平方向拉普拉斯值总和(加权平均值)；

(2)D_V：垂直(V)方向的拉普拉斯绝对值的垂直方向拉普拉斯值总和(加权平均值)；

(3)D_R：右上(R)方向的拉普拉斯绝对值的右上方向拉普拉斯值总和(加权平均值)；以及

(4)D_L：左上(L)方向的拉普拉斯绝对值的左上方向拉普拉斯值总和(加权平均值)。

4-2.(第二处理)计算全部四个方向，即水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的平滑G分量(G_H、G_V、G_R和G_L)的处理

接下来，将描述第二处理，即计算全部四个方向，即水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的平滑G分量(G_H、G_V、G_R和G_L)的处理。

在该方法中，通过积极地使用由像素相加导致的像素质心的偏移来实现内插处理，以抑制分辨率的恶化。首先，将描述由于像素相加处理而导致的像素质心的偏移，然后将描述与两种像素相加处理对应的平滑G分量(G_H、G_V、G_R和G_L)的具体计算示例。

例如，通过在执行成像处理时对累积在成像元件(成像传感器)102的每个像素中的电荷的模拟输出信号进行的重采样处理，来实现像素相加处理。具体地，通过设定两个像素的输出相加结构，来实现成像元件102的每个像素的输出电路。

例如，提供了一种以1∶1的比率将在成像元件(成像传感器)102的水平方向和垂直方向上彼此邻近的具有相同颜色的四个像素相加、或者仅在水平方向上执行加权相加的方法。

将参考图11A和图11B描述像素相加处理的示例。

图11A和图11B示出对包括在成像元件(成像传感器)102的3×3像素块中的具有相同颜色的像素进行的像素相加处理的示例。

图11A和图11B示出均匀地计算包括在3×3像素块中的四个R像素的像素值、计算像素值的平均值、以及计算像素数目减少图像的输出像素值(R像素值)的处理的示例。图11A示出捕获图像的像素相加处理(在R像素的情况下)的示例。图11B示出经过像素相加处理的像素数目减少图像的像素质心(在R像素的情况下)。

图11A和图11B所示的处理的示例是基于具有相同颜色的四个像素的像素值来设定像素数目减少图像中的单个像素的像素值的处理，并且是产生通过将像素数目减少到由成像元件得到的原始的捕获图像的像素的总数目的1/4而获得的像素数目减少图像的处理。

图11A和图11B示出均匀地将四个像素的像素值相加的处理的示例，即按照水平1∶1和垂直1∶1的设定而进行的像素相加处理的示例。

在图11B中，经过像素相加处理的像素数目减少图像的像素质心(在R像素的情况下)指示像素数目减少图像中的R像素的像素质心。用圆指示的R部分表示中心位置。

R像素的质心不是位于4像素单元块的中心，而是位于偏置在4像素单元块的右下方向上的位置处。图11A和图11B中描述的处理是将像素数目减少到1/4的像素数目减少处理。优选地将像素质心设定在4像素单元块的中心位置处。

即，当将像素数目减少图像的每个像素的像素质心设定在4像素单元块的中心位置处时，产生相对位置与像素数目减少之前的捕获图像的每个颜色的相对位置相同的像素数目减少图像。所以，如以上参考图1A至图3所描述的，可以抑制锯齿由于像素质心的偏移而产生。

图11B所示的像素质心的偏移发生在与以上参考图1A至图3所描述的处理相同的处理中，并且会产生锯齿。

即，由于在这样的普通的像素相加处理中发生简单的重采样效果和像素质心的偏移，所以会产生锯齿。

原本，像素质心的偏移仅导致图像质量的恶化。然而，与根据现有技术的方法相比，在该方法中通过积极地使用像素质心的偏移，可以实现锯齿的减少，因此可以实现分辨率恶化的减少。

将描述减少锯齿的处理的概要。

如图11A所示，当通过使用具有相同颜色的四个像素执行像素相加处理以及以水平1∶1和垂直1∶1的比率执行像素相加处理、即均匀地将四个像素的像素值相加的处理来计算像素数目减少图像的单个像素的像素值时，设定如图11B所示的像素质心。因此，由于像素质心的偏移而出现锯齿。

为了解决该问题，例如，如图12A和图12B所示，可执行将水平方向和垂直方向的相加比率均设定成1∶3的像素相加处理。

图12A和图12B所示的像素相加处理是基于包含在图11A和图11B的3×3像素块中的具有相同颜色的四个像素的像素值来计算像素数目减少图像的单个像素的像素值的处理的示例。

图12A示出像素相加处理(在Gr像素的情况下)的示例。图12B示出经过像素相加处理的像素数目减少图像中的像素质心(在Gr像素的情况下)。

在图12B中，经过像素相加处理的像素数目减少图像的像素质心(在Gr像素的情况下)指示像素数目减少图像中的Gr像素的像素质心。用圆(O)指示的Gr部分表示质心位置。

图12B所示的示例不同于图11B所示的示例。即，将Gr像素的像素质心设定在4像素单元块的中心位置处。图12A和图12B中描述的处理是将像素数目减少到1/4的像素数目减少处理。优选地将像素质心设定在4像素单元块的中心位置处。

即，当将像素数目减少图像的每个像素的像素质心设定在4像素单元块的中心位置处时，生成相对位置与像素数目减少之前的捕获图像的每个颜色的相对位置相同的像素数目减少图像。所以，如以上参考图1A至图3所描述的，可以抑制锯齿由于像素质心的偏移而产生。

以这种方式，通过执行改变像素值的相加比率的像素相加处理，可以移动像素数目减少图像的像素的像素质心。因此，可以抑制锯齿产生。

已经描述了图12A和图12B中的对Gr像素的处理。然而，可通过调整除Gr像素以外的四个Gb像素的相加比率来控制输出像素的像素质心的位置。即，可将像素质心设定在图12B所示的4像素块的中心位置处。因此，可以创建锯齿被抑制的像素数目减少图像。

不同于发生像素质心偏移的像素数目减少图像，例如，通过将像素质心布置在四像素块的中心位置处，像素被布置在倾斜方向上的一条线形状上。所以，可以以更大的采样间隔来观测信号。

例如，假设存在具有从右上方向到左下方向取向的直线边缘的图案。即使当沿着边缘执行平滑处理时，图案的分辨率也没有由于边缘的特性而恶化。所以，当对在平行于边缘的方向上彼此邻近的Gr像素或Gb像素进行平滑时，可以以大于像素相加处理之后的分辨率的采样间隔在垂直于边缘的方向上，即在从左上倾斜方向到右下倾斜方向上提取分辨率没有恶化的信号。

另一方向，当没有发生像素质心的偏移时，即使在使用Gr像素、Gb像素、或者Gr像素和Gb像素两者的情况下，关于在倾斜方向上平滑的分量，仅能获取像素相加处理之后的分辨率中的像素间隔的倾斜分量信号。

图13A和图13B是图示当发生像素质心偏移时以及当没有发生像素质心偏移时在右上倾斜方向上的采样间隔的差别的示例的图。

图13A示出当发生像素质心偏移时的采样间隔的示例，而图13B示出当没有发生像素质心偏移时的采样间隔的示例。

图13A和图13B两者均示出在G像素(Gr和Gb)的倾斜线上的采样间隔(像素间隔)。

如图13A所示，当发生像素质心的偏移时，可获取两种平滑分量，即Gr像素之间的平滑Gr线和Gb像素之间的平滑Gb线。

由于Gr线与Gb线之间的间隔比拜耳布置的倾斜方向上的采样间隔更密集，所以可根据平滑分量重采样具有更高分辨率的信号。

相反，如图13B所示，当没有发生像素质心的偏移时，Gr线与Gb线相同(G线)，并且G线之间的间隔与拜耳布置的间隔相同。

图13B所示的G线之间的间隔大于图13A所示的Gb线与Gr线之间的间隔。因此，可根据图13A的设定中的平滑分量重采样具有高分辨率的信号。

接下来，将在应用于下面的像素相加处理的具体示例中描述到目前为止所描述的使用像素质心的偏移计算平滑分量的方法：

(a)水平1∶1和垂直1∶1相加(图11A和图11B所示的处理)；以及

(b)水平1∶3和垂直1∶1相加。

(a)对应于水平1∶1和垂直1∶1相加(图11A和图11B所示的处理)的内插处理

首先，当按照以上参考图11A和图11B描述的水平1∶1和垂直1∶1比率执行相加处理时，将参考图14及后续附图中的每个图来描述内插处理的示例。

如图14所示，当按照以上参考图11A和图11B描述的水平1∶1和垂直1∶1比率执行相加处理时，设定像素数目减少图像的每个像素的质心位置。

用圆表示像素R、Gr、Gb和B中的每个的质心位置。当在该相加处理中发生质心位置的偏移时，可在具有左上和右下倾斜方向上的边缘的图案中对大采样间隔的信号进行内插。

将参考图15及后续附图来描述计算与具有左上(L)方向上的边缘的图案对应的平滑G分量(G_L)的处理。

例如，通过两个处理(a)和(b)来执行计算与具有左上(L)方向上的边缘的图案对应的平滑G分量的处理。

(a)计算边缘方向(L)上的内插像素值的处理；以及

(b)使用诸如计算的内插像素值的多个像素值来计算对象像素位置的像素值的重采样处理，其中，在对象像素位置处设定最终像素值。

首先，将参考图15来描述处理(a)，即计算边缘方向(L)上的内插像素值的处理。

最终像素值被设定的对象像素位置被称为对象像素位置301。

在垂直于对象像素位置的边缘的方向上的线302上设定内插像素值。

如图15所示，当以1∶1的比率在左上方向上对Gr像素Gr1和Gr2进行内插时，可在图中的像素Gr12311的位置处计算经过重采样处理(内插处理)的信号(内插像素的像素值)。

在内插信号中，分辨率在左上和右下倾斜方向上的边缘图案中的右上方向(像素值变化率大的方向)上没有恶化。

同样地，当对像素Gb1和Gb2进行内插以获得像素Gb12312时，可在右上方向上的线302上计算采样间隔与像素相加处理之前的分辨率相同的G分量。

使用诸如计算的内插像素值的多个像素值，来执行使用多个信号的上述(b)处理，即计算最终像素值被设定的对象像素位置的像素值的重采样处理。

可通过重采样处理对保留有高频分量的信号进行内插。

例如可通过将预定的重采样滤波器应用于诸如计算的内插像素值的多个像素值信号，来执行重采样处理。

例如，如图16所示，通过对在倾斜方向上内插的分量Gr12311和Gb12312、以及原始分量Gb3和Gr3的四个值卷积具有高频强调效果的线性滤波器，例如[-1，5，5，-1]，来对在图中内插像素位置301处的经过高频强调的信号进行内插。

内插信号被计算为与具有左上(L)方向上的边缘的图案对应的平滑G分量(G_L)。具体地，通过以下等式来计算平滑G分量(G_L)。

G_L＝(-1(Gb12)+5(Gr12)+5(Gb3)-1(Gr3))/8

在该等式中，Gb12是像素Gb12的像素值，Gr12是像素Gr12的像素值，Gb3是像素Gb3的像素值，以及Gr3是像素Gr3的像素值。

另外，滤波器系数仅为示例，并且可使用其它滤波器系数。

可在倾斜方向上增加内插分量的数目，以采用更大的线性滤波器来执行重采样处理。由于可通过任何方法以大采样间隔对左上和右下方向上的没有分辨率恶化的信号进行内插，所以可以恢复分辨率比普通重采样的分辨率更高的信号。

可通过以上参考图15和图16描述的处理来计算左上(L)方向的平滑G分量(G_R和G_L)。然而，由于可不使用通过使用像素质心的偏移而获得的多个内插像素值来计算水平(H)方向、垂直(V)方向、和右上(R)方向的平滑G分量(G_H和G_V)，所以使用邻近像素执行重采样处理。

将参考图17A和图17B来描述在右上方向(R)的边缘图案的情况下计算右上方向(R)的平滑G分量(G_R)的处理。

首先，如图17A的第一处理所示，通过使用在右上和左下方向上邻近的块中出现的像素Gr均匀地将两个Gr像素的值相加和平均(1∶1内插)以及计算图17A所示的Gr像素322的像素值，来设定具有四个像素的内插像素位置块321中的像素Gr 322，其中，四个像素是内插像素G的设定对象。内插分量的质心位于内插像素位置块321内。

接下来，如图17B的第二处理所示，通过以1∶1的比率对位于内插像素位置块321内的质心偏移校正对象的G分量(Gb)的像素值与第一处理中的内插Gr像素322的像素值分量进行相加和平均，来计算像素值，然后将该像素值设定为在内插像素位置块321的中心位置处的内插像素323。

通过内插处理，可将质心偏移校正对象的G分量(Gb)的质心移动到内插像素位置块321的中心。

而且，内插处理等同于对与右上和左下方向上的质心偏移校正对象G像素(Gb)邻近的两个G分量(Gr)卷积[1，2，1]的线性滤波器。

由于最初没有注意到锯齿，所以与水平(H)方向和垂直(V)方向的边缘图案对应的水平方向和垂直方向的平滑G分量(G_H和G_V)不经过质心偏移校正，并且无改变地输出。

(b)对应于水平1∶3和垂直1∶1相加的内插处理

接下来，当以水平1∶3和垂直1∶1的比率执行相加处理时，将参考图18及后续附图中的每个来描述内插处理的示例。

在水平1∶3和垂直1∶1相加情况下的内插处理基本上等同于上述在水平1∶1和垂直1∶1相加情况下的内插处理。通过对可在由于像素质心的偏移导致的特定方向上提取的具有大采样间隔的信号执行重采样处理，来计算在像素质心的偏移被校正的位置处的像素值。

图18是图示当以水平1∶3和垂直1∶1的比率执行相加处理时的质心位置的图。由于水平方向上的质心位于像素的中心，而垂直方向上的质心位置偏移，所以使用该偏移对大采样间隔的信号进行内插。

首先，将参考图19描述左上(L)方向上的内插处理。如在水平1∶1和垂直1∶1相加中一样，在像素Gr之间以及在像素Gb之间的左上和右下倾斜方向上执行内插。

在这种情况下，如在上述处理中一样，执行如下两个处理：

(a)计算在边缘方向上的内插像素值的处理；以及

(b)使用诸如计算的内插像素值的多个像素值来计算对象像素位置的像素值的重采样处理，其中，在对象像素位置处设定最终像素值。

根据直线352与每个像素之间的距离来执行加权，使得每个内插像素的质心位于直线352上，该直线352在右上和左下方向上以45度倾斜并且垂直于边缘方向(左上(L)方向)的，其中，边缘方向(左上(L)方向)穿过图19所示的中心位置处的4像素块351的中心。

图20示出每个G像素与直线352之间的距离，该直线352在右上和左下方向上以45度倾斜并且垂直于边缘方向(左上(L)方向)，其中，该边缘方向(左上(L)方向)穿过中心位置处的4像素块351的中心。根据距离计算内部分割点，其中，在该内部分割点处，质心彼此交叠在直线上。

例如，当对图19中的像素Gr1和Gr2进行内插时，像素Gr1与直线352之间的距离为

而像素Gr2与直线352之间的距离为

所以，可通过应用以下的等式(等式3)，通过加权平均来计算内部分割点Gr12。

$\mathrm{Gr}1\_2=\frac{\frac{9\sqrt{2}}{4}\·\mathrm{Gr}1+\frac{7\sqrt{2}}{4}\·\mathrm{Gr}2}{(\frac{7\sqrt{2}}{4}+\frac{9\sqrt{2}}{4})}=\frac{9\mathrm{Gr}1+7\mathrm{Gr}2}{16}$ ......(等式3)

在计算了其它内部分割点之后，对信号执行重采样。在该重采样处理中，如在水平1∶1和垂直1∶1相加中一样，使用具有高频强调效果的任何重采样滤波器。

通过该处理计算平滑G分量(G_L)。

接下来，将描述在右上(R)方向的边缘图案的情况下的处理的示例。在该情况下，如在左上和右下倾斜方向中一样，以这样的方式执行内插处理，使得一旦根据像素与垂直于边缘方向(右上(R)方向)的线353之间的距离通过加权平均来计算大采样间隔的内插信号，就对内插信号进行重采样，然后计算对象平滑G分量(G_R)。

图21示出在该情况下的距离分布。如在参考图20描述的处理中一样，根据像素与线353之间的距离来执行内插处理。

在水平(H)方向的情况下，通过简单的内插处理来计算水平(H)方向的平滑G分量(G_H)。

如图22所示，首先，使用在纵向方向上邻近的G分量(Gr1和Gr2)来产生水平方向的内插分量Gr12。接下来，通过使用包括要计算像素值的对象像素Gi 371的块中的像素Gr12和像素Gb1，根据离对象像素Gi371的距离来计算加权平均，以及计算像素Gi的像素值。将计算的像素Gi设定为水平(H)方向的平滑G分量(G_H)。

以Gb1∶Gr12＝5∶1的比率计算加权平均。

当对象像素是Gr像素时，实现上下颠倒的布置。

不校正垂直(V)方向的分量。这是因为在水平1∶3和垂直1∶1的比率的情况下，在横向方向上不发生像素质心的偏移。所以，在边缘沿纵向方向延伸的图案中不对分量进行校正，并且没有改变地输出值。

4-3.(第三处理)根据通过第一处理计算的四个方向的边缘强度(D_H、D_V、D_R和D_L)确定要与通过第二处理计算的水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的平滑G分量(G_H、G_V、G_R、和G_L)相乘的权重(W_H、W_V、W_R和W_L)的处理

接下来，将描述第三处理，即，根据通过第一处理计算的四个方向的边缘强度(D_H、D_V、D_R和D_L)确定要与通过第二处理计算的水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的平滑G分量(G_H、G_V、G_R、和G_L)相乘的权重(W_H、W_V、W_R和W_L)的处理。

根据通过第一处理计算的四个方向的边缘强度(D_H、D_V、D_R和D_L)，来确定四个方向的权重(W_H、W_V、W_R和W_L)。

在第一处理中，如上所述，以像素数目减少图像的G像素(Gr和Gb)为单位来计算下面的值：

(1)D_H：水平(H)方向的拉普拉斯绝对值的水平方向拉普拉斯值总和(加权平均值)；

(2)D_V：垂直(V)方向的拉普拉斯绝对值的垂直方向拉普拉斯值总和(加权平均值)；

(3)D_R：右上(R)方向的拉普拉斯绝对值的右上方向拉普拉斯值总和(加权平均值)；以及

(4)D_L：左上(L)方向的拉普拉斯绝对值的左上方向拉普拉斯值总和(加权平均值)。因此，计算四方向拉普拉斯值总和(加权平均值)。

在第三处理中，首先对拉普拉斯值总和D执行由阈值确定的裁剪处理，以计算裁剪的总和D’。

可通过以下的等式(等式4)中的非线性函数来执行裁剪处理。

$D^{\&prime;}=\left\{\begin{array}{cc}0& D<{\mathrm{th}}_{\mathrm{lower}}\\ \frac{1}{{\mathrm{th}}_{\mathrm{upper}}-{\mathrm{th}}_{\mathrm{lower}}}D-\frac{{\mathrm{th}}_{\mathrm{lower}}}{{\mathrm{th}}_{\mathrm{upper}}-{\mathrm{th}}_{\mathrm{lower}}}& {\mathrm{th}}_{\mathrm{lower}}\&le;D<{\mathrm{th}}_{\mathrm{upper}}\\ 1& D\&GreaterEqual;{\mathrm{th}}_{\mathrm{upper}}\end{array}\right.$

......(等式4)

图23示出裁剪函数。

如图23所示，设定下限阈值th_lower和上限阈值th_upper，以及在下限阈值th_lower和上限阈值th_upper之间设定以直线转变的权重分布。通过实际操作来设定阈值。通过以下的等式(等式5)，使用经过裁剪处理的获得的各个方向拉普拉斯值总和，来计算四个方向(水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L))的分量的权重(W_H、W_V、W_R和W_L)。

$W_H=\frac{1+(D_V-D_H)}{2}\&CenterDot;\frac{1+|D_V-D_H|-|D_L-D_{R|}}{2}$

$W_V=\frac{1-(D_V-D_H)}{2}\&CenterDot;\frac{1+|D_V-D_H|-|D_L-D_R|}{2}$

$W_R=\frac{1+(D_L-D_H)}{2}\&CenterDot;\frac{1+|D_V-D_H|-|D_L-D_R|}{2}$

$W_L=\frac{1-(D_L-D_R)}{2}\&CenterDot;\frac{1-|D_V-D_H|-|D_L-D_{R|}}{2}$

W_d：d方向的权重

D_d：经过裁剪的d方向拉普拉斯值总和

H、V、R、L：分别为水平方向、垂直方向、右上倾斜方向、和左上倾斜方向

......(等式5)

4-4.(第四处理)通过将通过第二处理计算的水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的平滑G分量(G_H、G_V、G_R、和G_L)乘以通过第三处理计算的权重(W_H、W_V、W_R和W_L)的混合处理来计算输出像素值的处理

最后，将描述第四处理，即，通过将通过第二处理计算的水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的平滑G分量(G_H、G_V、G_R、和G_L)乘以通过第三处理计算的权重(W_H、W_V、W_RX和W_L)的混合处理来计算输出像素值的处理。

在第四处理中，执行将通过第二处理计算的水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的平滑G分量(G_H、G_V、G_R、和G_L)乘以通过第三处理计算的权重(W_H、W_V、W_R和W_L)的混合处理。

例如通过以下的等式(等式6)来执行混合处理。

G′＝W_HG_H+W_VG_V+W_RG_R+W_LG_L

Gd：在d方向内插的G分量

......(等式6)

通过上述处理，来确定像素数目减少并校正的图像的像素值(G’)，其中像素数目减少并校正的图像是通过校正像素数目减少图像而创建的校正图像。

通过以上等式(等式6)计算的像素值G’对应于当图5的(c)部分所示的质心位置被设定为原始捕获图像的4×4像素块的中心位置时的像素值。

因此，通过校正像素质心偏移的G分量，将质心位置设定为4×4像素块的中心位置，从而实现锯齿的减少。

5.去马赛克处理

接下来，将描述图5所示的去马赛克处理单元153的处理。

去马赛克处理单元153输入像素数目减少并校正的图像，以及执行将每个RGB像素的像素值设定为像素数目减少并校正的图像的每个像素的位置的处理。

去马赛克处理单元153被配置成执行通过使用G像素与R像素之间的关系、和G像素与B像素之间的关系的处理来设定每个RGB像素的像素值的去马赛克处理。

在该处理示例中，仅重置G像素的像素值。例如，具体原因如下：

(1)在去马赛克处理中，当对R/B像素的低频分量进行内插时，使用从像素以及该像素的周边R/B像素获得的低频分量。与低频分量计算区域相比，发生像素相加或疏化处理时的像素质心的偏移量误差程度小。因此，R/B像素中的像素质心的偏移很少影响低频分量。

(2)在去马赛克处理中，当对R/B像素的高频分量进行内插时，使用G分量的高频分量。即，R/B像素中的像素质心的偏移很少影响高频分量的内插。

由于以上提及的原因，在该方法中仅对G像素执行处理，而不对R/B像素执行处理。通过处理来实现充分的锯齿减少的优点。

6.对应于任意方向上的边缘的处理

如上所述，到目前为止已经作为示例描述了将水平(H)方向、垂直(V)方向、右上(R)方向、或左上(L)方向选择为边缘方向或重采样处理的方向、以及执行处理的方法。然而，当可在任意方向上检测到边缘角时，可使用在边缘方向上取向的像素的像素值来执行重采样处理。

例如，如图24所示，当检测到用虚线表示的边缘方向线381的边缘方向时，基于在边缘方向线381附近的G像素的像素值在边缘方向线381上执行重采样处理，以计算重采样的像素值，然后可使用重采样的像素值来计算位于所需位置的G像素的像素值。

作为用于检测任意方向上的边缘的配置，例如，可使用全方向的边缘检测滤波器，或者可应用诸如霍夫(Hough)变换的处理。

以这种方式，图像校正单元可基于像素相加或疏化处理之前的分辨率，来计算穿过经过成像元件的像素相加或疏化处理的原始图像中的对象G像素的中心的边缘方向，对在垂直于所计算的边缘方向的直线附近的G像素进行投影，在垂直于边缘方向的方向上对投影的G像素执行重采样处理，以及使用作为重采样像素的像素值的重采样信号来确定对象G像素的像素值。

而且，在难以检测任意方向上的边缘的配置中，图像校正单元可用预定的特定方向，例如水平(H)方向、垂直(V)方向、右上(R)方向、或左上(L)方向的边缘分量的线性总和来表示边缘方向，对特定方向的每个边缘分量执行重采样处理，以与线性总和表示的边缘分量的比率基本上相同的比率，对特定方向中的多个方向的重采样信号执行加权平均，以及确定对象G像素的像素值。当检测到适当的边缘方向时，仅执行基于检测到的边缘方向的处理以确定对象像素的像素值，而不执行混合处理，例如不执行根据特定方向的边缘分量的加权平均。

7.图像校正单元的配置和处理的概要

接下来，将参考图25及后续的附图，用处理单元依次描述图像校正单元152的处理。

如上所述，图像校正单元152执行下面四个处理：

(第一处理)使用像素数目减少图像(原始图像)的G分量来计算全部四个方向，即水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的边缘强度(D_H、D_V、D_R和D_L)的处理；

(第二处理)计算全部四个方向，即水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的平滑G分量(G_H、G_V、G_R和G_L)的处理；

(第三处理)根据通过第一处理计算的四个方向的边缘强度(D_H、D_V、D_R和D_L)确定要与通过第二处理计算的水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的平滑G分量(G_H、G_V、G_R和G_L)相乘的权重(W_H、W_V、W_R和W_L)的处理；以及

(第四处理)通过将通过第二处理计算的水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的平滑G分量(G_H、G_V、G_R和G_L)乘以通过第三处理计算的权重(W_H、W_V、W_R和W_L)的混合处理来计算输出像素值的处理。

图像校正单元152执行四个处理，即，第一处理至第四处理。

图25是图示包括执行上述处理的各个处理单元的图像校正单元152的详细配置的图。

如图25所示，图像校正单元152包括偏置值计算单元501、四方向边缘强度计算单元502、四方向内插像素值计算单元503、四方向权重计算单元504、和混合处理单元505。

四方向边缘强度计算单元502执行上述处理(第一处理)，即使用像素数目减少图像(原始图像)的G分量来计算全部四个方向，即水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的边缘强度(D_H、D_V、D_R和D_L)的处理。

四方向内插像素值计算单元503执行上述处理(第二处理)，即计算全部四个方向，即水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的平滑G分量(G_H、G_V、G_R和G_L)的处理。

四方向权重计算单元504执行上述处理(第三处理)，即根据通过第一处理计算的四个方向的边缘强度(D_H、D_V、D_R和D_L)确定要与通过第二处理计算的水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的平滑G分量(G_H、G_V、G_R和G_L)相乘的权重(W_H、W_V、W_R和W_L)的处理。

混合处理单元505执行上述处理(第四处理)，即通过将通过第二处理计算的水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的平滑G分量(G_H、G_V、G_R和G_L)乘以通过第三处理计算的权重(W_H、W_V、W_R和W_L)的混合处理来计算输出像素值的处理。

如图25所示，图像校正单元152输入像素数目减少图像401，通过图像校正处理来创建像素数目减少和校正的图像451，以及输出像素数目减少并校正的图像451。

图25所示的像素数目减少图像401对应于图5的(b)部分所述的并且由图5所示的像素数目减少单元151创建的像素数目减少图像。

图25所示的像素数目减少并校正的图像451对应于图5的(c)部分所示的像素数目减少并校正的图像。

而且，图像校正单元152以预定的N×N像素块为单位输入像素数目减少图像401的像素块，以及依次处理像素块。

此处，如图26A和图26B所示，将描述如下示例：在该示例中，输入具有5×5像素、G像素(Gb或Gr)用作中心像素的像素块，以及以像素块为单位执行处理，并且计算用作中心的中心G像素(Gb或Gr)的像素值。

在下面的描述中，如图26C所示，像素Gr和Gb被集体地称为G像素。

下文中，将描述下面组成单元中的每个组成单元的处理：

偏置值计算单元501；

四方向边缘强度计算单元502；

四方向内插像素值计算单元503；

四方向权重计算单元504；以及

混合处理单元505。

7-1.偏置值计算单元的处理

首先，将参考图27来描述偏置值计算单元501的处理。

偏置值计算单元501执行计算作为偏置值的用于消除拉普拉斯值总和的亮度依赖的系数的处理，其中，拉普拉斯值总和是由四方向边缘强度计算单元502计算的全部四个方向，即水平(H)方向、垂直(V)方向、右上(R)方向和左上(L)方向的边缘强度(D_H、D_V、D_R和D_L)。

例如，将系数(偏置值)计算为输入像素块(5×5像素块)的中心像素(G)的像素值的平方根的倒数。偏置值计算单元501可被配置为计算单元，其计算中心像素(G)的像素值的平方根的倒数。然而，在实际计算中，需要执行除法和平方根计算。所以，可预先制作并保存计算结果的表，以及可使用表来输出系数(偏置值)。

通过使用表可以减少计算量。

由偏置值计算单元501计算的系数(偏置值)输入到根据拉普拉斯值总和计算每个方向的权重的四方向权重计算单元504，以及用来消除拉普拉斯值总和的亮度依赖。

7-2.四方向边缘强度计算单元的处理

接下来，将参考图28及后续附图来描述四方向边缘强度计算单元502的处理。四方向边缘强度计算单元502执行上述处理(第一处理)，即使用像素数目减少图像(原始图像)的G分量来计算全部四个方向，即水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的边缘强度(D_H、D_V、D_R和D_L)的处理。

图28是图示水平(H)方向的四方向边缘强度计算单元502H的详细配置的图。

如图28所示，水平(H)方向的四方向边缘强度计算单元502H包括拉普拉斯计算单元611、系数相乘单元612和总和计算单元613。

拉普拉斯计算单元611使用包括在输入像素块(5×5像素块)的第一、第三、和第五水平线中的每个水平线中的三个G像素的像素值，来计算拉普拉斯绝对值。

例如，如图28的(a)部分所示，在计算第一水平线的拉普拉斯绝对值的处理中，通过以下等式来计算拉普拉斯绝对值(L)。

L＝|Gr₁-2Gr₂-Gr₃|

使用三个G像素的像素值来计算对应于其它线中的每条线的拉普拉斯绝对值(L)。

系数相乘单元612将与拉普拉斯计算单元611计算的每条线对应的计算值(拉普拉斯绝对值(L))乘以由偏置值计算单元501计算的系数(偏置值)。该处理是消除拉普拉斯值总和的亮度依赖的处理。

在附图中，将0.5、2和0.5用作系数的示例，但是这些值仅是系数的示例。可使用其它的系数。

系数(偏置值)相乘处理对应于以上参考图10描述的基于权重值设定来计算拉普拉斯绝对值的加权平均的处理。

总和计算单元613输入系数相乘单元612的输出，以及计算对应于水平(H)方向的边缘强度(D_H)的拉普拉斯值总和。

如图28的(b)部分所示，总和计算单元613通过以下等式来计算水平(H)方向的边缘强度(D_H)(＝拉普拉斯值总和)。

D_H＝0.5|Gr₁-2Gr₂-Gr₃|

+2|Gr₄-2Gr₅-Gr₆|

+0.5|Gr₇-2Gr₈-Gr₉|

此处，描述了对5×5像素块执行的处理的示例，其中，Gr像素是中心像素。然而，即使当Gb是中心像素时，也基于Gb像素的像素值来执行计算边缘强度(＝拉普拉斯值总和)的相同处理。

当计算垂直(V)方向的边缘强度(D_V)(＝拉普拉斯值总和)时，使用5×5像素块的左端、中心、和右端的纵向线上的G(Gr或Gb)像素的像素值来执行该处理。

接下来，将参考图29详细描述右上(R)方向的边缘强度计算单元502R。

如图29所示，右上(R)方向的边缘强度计算单元502R包括拉普拉斯计算单元611、系数相乘单元612和总和计算单元613。

拉普拉斯计算单元611使用包括在输入像素块(5×5像素块)中的三条右上倾斜线上的三个G像素的像素值来计算拉普拉斯绝对值，其中，在三条右上倾斜线上可获取三个G像素。

例如，如图29的(a)部分所示，通过以下等式来计算左上端上的拉普拉斯绝对值(L)。

L＝|Gr₁-2Gr₂-Gr₃|

使用三个G像素的像素值来计算对应于其它线中的每条线的拉普拉斯绝对值(L)。

穿过中心像素的右上线包括五个G像素。所以，根据穿过中心像素的右上线的五个G像素，来计算与由三个连续的G像素组成的三像素组对应的三个拉普拉斯绝对值(L)。

即，拉普拉斯计算单元611计算全部五个拉普拉斯绝对值，即，来自左上端上的右上倾斜线的一个拉普拉斯绝对值(L)，来自包括中心像素的右上倾斜线的三个拉普拉斯绝对值(L)，以及来自右下端上的右上倾斜线的一个拉普拉斯绝对值(L)。

系数相乘单元612将由拉普拉斯计算单元611计算的值(拉普拉斯绝对值(L))乘以由偏置值计算单元501计算的系数(偏置值)。该处理是消除拉普拉斯值总和的亮度依赖的处理。

在附图中，将0.5、0.5、2、0.5和0.5用作系数的示例，但是这些值仅是系数的示例。可使用其它的系数。

总和计算单元613输入系数相乘单元612的输出，以及计算对应于右上(R)方向的边缘强度(D_R)的拉普拉斯值总和。

如图29的(b)部分所示，总和计算单元613通过以下等式来计算右上(R)方向的边缘强度(D_R)(＝拉普拉斯值总和)。

D_R＝0.5|Gr₁-2Gr₂-Gr₃|

+0.5|Gr₄-2Gr₅-Gr₆|

+2|Gr₅-2Gr₆-Gr₇|

+0.5|Gr₆-2Gr₇-Gr₈|

+0.5|Gr₉-2Gr₁₀-Gr₁₁|

此处，描述了对5×5像素块执行的处理的示例，其中，Gr像素是中心像素。然而，即使当Gb是中心像素时，也基于Gb像素的像素值来执行计算边缘强度(＝拉普拉斯值总和)的相同处理。

当计算左上(L)方向的边缘强度(D_L)(＝拉普拉斯值总和)时，使用从5×5像素块获取的三条左上倾斜线上的G(Gr或Gb)像素的像素值来执行该处理。

7-3.四方向内插像素值计算单元的处理

下面，将描述四方向内插像素值计算单元503的处理。

如上所述，四方向内插像素值计算单元503执行下面的处理(第二处理)，即计算全部四个方向，即水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的平滑G分量(G_H、G_V、G_R和G_L)的处理。

图30是图示水平(H)方向的内插像素值计算单元503H的详细配置的图。

如图30所示，水平(H)方向的内插像素值计算单元503H包括平滑处理单元621和质心控制单元622。

平滑处理单元621计算在作为要处理的对象像素的输入像素块(5×5像素块)的中心像素上下的水平线上的两个G像素的像素值的平均值G_smooth。

例如，如图30的(a)部分所示，通过以下等式来计算两个G像素的像素值的平均值G_smooth。

G_smooth＝(Gb1+Gb2)/2

质心控制单元622通过计算由平滑处理单元621计算的值(G_smooth)和中心像素的像素值的加权平均，来计算水平(H)方向的平滑G分量(G_H)，其中，该中心像素是输入像素块(5×5像素块)中要处理的像素。例如，如图30的(b)部分所示，通过以下等式来计算水平(H)方向的平滑G分量(G_H)。

G_H＝(G_smooth+5Gr)/6

在用四方向内插像素值计算单元503计算内插像素值的处理中，例如，如以上参考图13A至图21所描述的，基于包括在图5的(b)部分所示的并且发生像素质心的偏移的像素数目减少图像中的像素来执行计算内插像素值的处理。因此，例如，如以上通过将图13A和图13B彼此比较所描述的，可使用更密集的Gr线和Gb线上设定的像素Gb和Gr来计算内插像素值，因此可使用密集的Gr线和Gb线的高分辨率信号来计算内插像素的像素值。因此，可如此设定像素值，使得分辨率的恶化被抑制。

在图30中，描述了中心像素是Gr像素的情况。然而，即使当中心像素是Gb像素时，也可应用相同的等式，其中，用Gb像素替代Gr像素。

图31是图示垂直(H)方向的内插像素值计算单元503V的详细配置的图。

作为垂直(V)方向的平滑G分量(G_V)，无改变地使用作为要处理的像素并且存在于5×5像素块的中心处的G像素的像素值。

接下来，将参考图32描述右上(R)方向的内插像素值计算单元503R的详细配置。

如图32所示，右上(R)方向的内插像素值计算单元503R包括平滑处理单元631和重采样单元632。

平滑处理单元631针对作为输入像素块(5×5像素块)中要处理的像素的中心像素，使用与存在于三个右上(R)方向线上的中心像素相同的像素(Gr或Gb)中的两个像素来获得全部四个平滑信号，其中，三个右上(R)方向线即左上端上的右上(R)方向线、穿过中心像素的右上(R)方向线、和右下端上的右上(R)方向线。

例如，图32的(a)部分示出针对输入像素块(5×5像素块)的中心像素，使用左上端上的右上(R)方向线的三个连续G像素来计算平滑信号值(G’)的示例。

通过以下等式来计算平滑信号值(G’)。

G′＝(7Gr₁+9Gr₂)/16

如图32的(a)部分中一样，平滑处理单元631针对作为输入像素块(5×5像素块)中要处理的像素的中心像素，使用与存在于三个右上(R)方向线上的中心像素相同的像素(Gr或Gb)中的两个像素来获得全部四个平滑信号，其中，三个右上(R)方向线即左上端上的右上(R)方向线、穿过中心像素的右上(R)方向线、和右下端上的右上(R)方向线。

重采样单元632使用四个平滑信号来计算对应于中心像素的右上(R)方向的平滑G分量(G_R)，其中，中心像素是输入像素块(5×5像素块)中要处理的像素。例如，如图32的(b)部分所示，将滤波器[-1，5，5，-1]应用于四个平滑信号G’，来计算对应于中心像素的右上(R)方向的平滑G分量(G_R)。

在图32中，描述了由右上(R)方向的内插像素值计算单元503R计算右上(R)方向的平滑G分量(G_R)的处理。然而，在由左上(L)方向的内插像素值计算单元503L计算左上(L)方向的平滑G分量(G_L)的处理中，使用左上(L)方向上的线。

7-4.四方向权重计算单元的处理

接下来，将描述四方向权重计算单元504的处理。

如上所述，四方向权重计算单元504执行上述处理(第三处理)，即根据通过第一处理计算的四个方向的边缘强度(D_H、D_V、D_R和D_L)确定要与通过第二处理计算的水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的平滑G分量(G_H、G_V、G_R和G_L)相乘的权重(W_H、W_V、W_R和W_L)的处理。

图33是图示四方向权重计算单元504的详细配置的图。如图33所示，四方向权重计算单元504包括裁剪单元641和方向权重计算单元642。

裁剪单元641对与从四方向边缘强度计算单元输入的拉普拉斯值总和对应的四个方向的边缘强度(D_H、D_V、D_R和D_L)执行裁剪处理。

图33的(a)部分示出裁剪处理的示例。裁剪处理对应于以上参考图23描述的处理。设定下限阈值th_lower和上限阈值th_upper，以及在下限阈值th_lower和上限阈值th_upper之间设定以直线转变的权重分布。通过实际操作来设定阈值。

裁剪单元641通过裁剪处理产生设定在0到1的范围内的四个方向的边缘强度(D_H、D_V、D_R和D_L)，以及将边缘强度输出到方向权重计算单元642。

方向权重计算单元642使用四个方向的边缘强度(D_H、D_V、D_R和D_L)，通过图33的(b)部分所示的等式来计算四个方向(水平(H)方向、垂直(V)方向、右上(R)方向、和左上(L)方向)的分量的权重(W_H、W_V、W_R和W_L)。

计算等式已经在以上被描述为等式5。

7-5.混合处理单元的处理

接下来，将参考图34来描述混合处理单元505的处理。混合处理单元505执行上述处理(第四处理)，即通过将通过第二处理计算的水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的平滑G分量(G_H、G_V、G_R和G_L)乘以通过第三处理计算的权重(W_H、W_V、W_R和W_L)的混合处理来计算输出像素值的处理。

如图25所示，四方向内插像素值计算单元503向混合处理单元505输入水平(H)方向、垂直(V)方向、右上(R)方向、和左上(L)方向的平滑G分量(G_H、G_V、G_R和G_L)。

而且，四方向权重计算单元504输入四个方向(水平(H)方向、垂直(V)方向、右上(R)方向、和左上(L)方向)的分量的权重(W_H、W_V、W_R和W_L)。

如图34所示，混合处理单元505包括四个乘法单元和一个加法单元，其中，乘法单元将平滑G分量(G_H、G_V、G_R和G_L)与四个方向(水平(H)方向、垂直(V)方向、右上(R)方向、和左上(L)方向)的权重(W_H、W_V、W_R和W_L)相乘，而加法单元将四个乘法结果相加。

在计算配置中，执行以上通过等式6描述的混合处理，以确定像素数目减少并校正的图像的像素值(G’)，其中，像素数目减少并校正的图像是像素数目减少图像的校正图像。

即，通过以下等式来确定像素数目减少并校正的图像的像素值(G’)。

G′＝W_HG_H+W_VG_V+W_RG_R+W_LG_L

在该示例中，像素值(G’)是5×5像素块的中心G像素(Gr或Gb)的像素值。

对处理的图像的G像素执行相同的处理，以确定像素数目减少并校正的图像的像素值(G’)。

通过该处理对质心在像素数目减少图像中偏移的G分量进行校正，因此产生不发生像素质心偏移的像素数目减少并校正的图像(对应于图5的(c)部分所示的图像)。

因此，可以产生高质量的图像，在高质量的图像中，抑制产生以上参考图3描述的锯齿。

如上所述，通过处理而产生的像素数目减少并校正的图像输入到图5所示的去马赛克处理单元153，经过对各个像素位置处的RGB像素的像素值进行设定的去马赛克处理，然后输出到显示设备等，或者记录在存储器中。

通过该处理来减少整个计算量。而且，可以产生并且输出锯齿减少并且分辨率高的高质量图像。

8.本公开的配置的概要

到目前为止已经详细描述了本公开的具体实施例。然而，对本领域普通技术人员来说明显的是，在不偏离本公开的要旨的情况下，当然可以对实施例进行修改或替代。即，本公开的实施例不应被解释为限制性的。为了确定本公开的要旨，应该参考权利要求。

说明书中公开的技术可被具体实施为下面的配置。

(1)一种图像处理设备，包括：边缘强度计算单元，其将通过减少由成像元件捕获的图像的像素的总数目而获得的像素数目减少图像设定为输入图像，以及以将从输入图像中选择的校正对象像素用作中心像素的像素块为单位来计算多个方向的边缘强度；内插像素值计算单元，其计算作为像素块中的多个方向的平滑分量的内插像素值；权重计算单元，其基于由边缘强度计算单元计算的多个方向的边缘强度，来计算作为多个方向的平滑分量的内插像素值的权重；以及混合处理单元，其通过执行作为多个方向的平滑分量的内插像素值和由权重计算单元计算的权重的加权相加的混合处理，来计算作为像素块的中心像素的校正对象像素的像素值。

(2)在根据(1)所述的图像处理设备中，多个方向为水平方向、垂直方向、右上方向和左上方向的四个方向。

(3)在根据(1)或(2)所述的图像处理设备中，像素数目减少的图像为具有拜耳布置图像的图像。

(4)在根据(1)至(3)中的任一项所述的图像处理设备中，像素数目减少图像为具有拜耳布置图像的图像，以及校正对象像素是G像素。

(5)在根据(1)至(4)中的任一项所述的图像处理设备中，边缘强度计算单元以将校正对象像素用作中心像素的像素块为单元计算多个拉普拉斯绝对值，以及通过应用计算的多个拉普拉斯绝对值，来计算在校正对象像素的位置处的多个方向的边缘强度。

(6)在根据(1)至(5)中的任一项所述的图像处理设备中，内插像素值计算单元基于存在于像素块中设定的特定方向的线上的像素的像素值来计算多个平滑分量，以及基于计算的多个平滑分量来计算作为与校正对象像素对应的平滑分量的内插像素值。

(7)在根据(1)至(6)中的任一项所述的图像处理设备中，内插像素值计算单元基于包括在像素数目减少图像中并且发生质心偏移的像素来计算内插像素值。

(8)在根据(1)至(7)中的任一项所述的图像处理设备中，权重计算单元执行将预定的裁剪函数应用于由边缘强度计算单元计算的多个方向的边缘强度中的每个的裁剪处理，以及基于经过裁剪处理的多个方向的边缘强度来计算作为多个方向的平滑分量的内插像素值的权重。

(9)在根据(1)至(8)中的任一项所述的图像处理设备中，像素数目减少图像为具有拜耳布置图像的图像，而校正对象像素为G像素。图像处理设备还可包括去马赛克处理单元，其对具有混合处理单元输出的G像素的校正图像执行去马赛克处理。

(10)在根据(1)至(9)中的任一项所述的图像处理设备中，去马赛克处理单元使用拜耳布置中的G像素与R像素之间的关系和拜耳布置中的G像素与B像素之间的关系来执行设定各个像素的RGB像素值的去马赛克处理。

(11)根据(1)至(10)中的任一项所述的图像处理设备，包括：图像校正单元，其基于未经过像素增加或疏化处理的原始图像的分辨率，来计算从通过成像元件中的像素增加或疏化处理而获得的原始图像中的对象G像素的中心穿过的边缘方向，以及对垂直于所计算的边缘方向的直线附近的G像素进行投影，在垂直于边缘的方向上对投影的G像素执行重采样处理，使用作为重采样像素的像素值的重采样信号来执行确定对象G像素的像素值的处理。

(12)根据(1)至(11)中的任一项所述的图像处理设备，图像校正单元通过以下方式来确定对象G像素的像素值：用预定的特定方向的边缘分量的线性总和来表示边缘方向，对特定方向的每个边缘分量执行重采样处理，以及以与线性总和表示的边缘分量的比率基本上相同的比率对特定方向中的多个方向的重采样信号执行加权平均。

可通过硬件、软件、或其组合来执行以上在说明书中描述的处理系列。当通过软件来执行处理系列时，可在专用的集成硬件计算机的存储器中安装并执行记录处理序列的程序。替选地，可在能够执行各种处理的通用计算机中安装并执行程序。例如，可预先将程序记录在记录介质中。不仅将程序从记录介质安装到计算机，而且可经由诸如LAN(局域网)或互联网的网络接收程序，并且可安装在诸如内部硬盘等记录介质中。

根据需要，说明书中描述的各种处理可以根据说明书时间顺序地执行，以及可以根据执行处理的设备的处理能力并行或分离地执行。说明书中的系统具有多个设备的逻辑集合配置。具有分离配置的设备可不包括在同一壳体中。

本公开包含与2011年3月11日在日本专利局提交的日本优先权专利申请JP2011-053728中所公开的主题相关的主题，其全部内容通过引用合并于此。

本领域普通技术人员应当理解，取决于设计要求和其它因素可进行各种修改、组合、子组合和替换，只要其在所述权利要求或其等同内容的范围内即可。

Claims (15)

1.一种图像处理设备，包括：

边缘强度计算单元，其将通过减少由成像元件捕获的图像的像素的总数目而获得的像素数目减少图像设定为输入图像，以及以将从所述输入图像中选择的校正对象像素用作中心像素的像素块为单位来计算多个方向的边缘强度；

内插像素值计算单元，其计算作为所述像素块中的所述多个方向的平滑分量的内插像素值；

权重计算单元，其基于由所述边缘强度计算单元计算的所述多个方向的所述边缘强度，来计算作为所述多个方向的所述平滑分量的所述内插像素值的权重；以及

混合处理单元，其通过执行作为所述多个方向的所述平滑分量的所述内插像素值和由所述权重计算单元计算的所述权重的加权相加的混合处理，来计算作为所述像素块的所述中心像素的所述校正对象像素的像素值。

2.根据权利要求1所述的图像处理设备，其中，所述多个方向为水平方向、垂直方向、右上方向和左上方向的四个方向。

3.根据权利要求1所述的图像处理设备，其中，所述像素数目减少图像为具有拜耳布置图像的图像。

4.根据权利要求1所述的图像处理设备，其中，所述像素数目减少图像为具有拜耳布置图像的图像，以及所述校正对象像素是G像素。

5.根据权利要求1所述的图像处理设备，其中，所述边缘强度计算单元以将所述校正对象像素用作所述中心像素的所述像素块为单元计算多个拉普拉斯绝对值，以及通过应用计算的多个拉普拉斯绝对值来计算在所述校正对象像素的位置处的所述多个方向的所述边缘强度。

6.根据权利要求1所述的图像处理设备，其中，所述内插像素值计算单元基于存在于所述像素块中设定的特定方向的线上的像素的像素值来计算多个所述平滑分量，以及基于计算的多个所述平滑分量来计算作为对应于所述校正对象像素的所述平滑分量的内插像素值。

7.根据权利要求1所述的图像处理设备，其中，所述内插像素值计算单元基于包括在所述像素数目减少图像中并且发生质心偏移的像素来计算所述内插像素值。

8.根据权利要求1所述的图像处理设备，其中，所述权重计算单元执行将预定的裁剪函数应用于由所述边缘强度计算单元计算的所述多个方向的所述边缘强度中的每个的裁剪处理，以及基于经过所述裁剪处理的所述多个方向的所述边缘强度来计算作为所述多个方向的所述平滑分量的所述内插像素值的所述权重。

9.根据权利要求1所述的图像处理设备，

其中，所述像素数目减少图像为具有拜耳布置图像的图像，而所述校正对象像素为G像素，以及

其中，所述图像处理设备还包括：

去马赛克处理单元，其对具有由所述混合处理单元输出的所述G像素的校正图像执行去马赛克处理。

10.根据权利要求9所述的图像处理设备，其中，所述去马赛克处理单元使用拜耳布置中的所述G像素与R像素之间的关系和所述拜耳布置中的所述G像素与B像素之间的关系来执行设定各个像素的RGB像素值的所述去马赛克处理。

11.一种图像处理设备，包括：

图像校正单元，其基于未经过像素增加或疏化处理的原始图像的分辨率，来计算从通过成像元件中的所述像素增加或疏化处理而获得的所述原始图像中的对象G像素的中心穿过的边缘方向，以及对在垂直于所计算的边缘方向的直线附近的G像素进行投影，在垂直于边缘的方向上对投影的G像素执行重采样处理，使用作为所述重采样像素的像素值的重采样信号来执行确定所述对象G像素的像素值的处理。

12.根据权利要求11所述的图像处理设备，其中，所述图像校正单元通过以下方式来确定所述对象G像素的像素值：用预定的特定方向的边缘分量的线性总和来表示所述边缘方向，对所述特定方向的每个边缘分量执行所述重采样处理，以及以与所述线性总和表示的所述边缘分量的比率基本上相同的比率对所述特定方向中的多个方向的所述重采样信号执行加权平均。

13.一种成像设备，包括：

成像元件；

像素数目减少单元，其通过减少由所述成像元件捕获的图像的像素的总数目来生成像素数目减少图像；

边缘强度计算单元，其将所述像素数目减少图像设定为输入图像，以及以将从所述输入图像中选择的校正对象像素用作中心像素的像素块为单位来计算多个方向的边缘强度；

内插像素值计算单元，其计算作为所述像素块中的所述多个方向的平滑分量的内插像素值；

权重计算单元，其基于由所述边缘强度计算单元计算的所述多个方向的所述边缘强度，来计算作为所述多个方向的所述平滑分量的所述内插像素值的权重；以及

混合处理单元，其通过执行作为所述多个方向的所述平滑分量的所述内插像素值和由所述权重计算单元计算的所述权重的加权相加的混合处理，来计算作为所述像素块的所述中心像素的所述校正对象像素的像素值。

14.一种在图像处理设备中处理图像的图像处理方法，包括：

由边缘强度计算单元将通过减少由成像元件捕获的图像的像素的总数目而获得的像素数目减少图像设定为输入图像，以及以将从所述输入图像中选择的校正对象像素用作中心像素的像素块为单位来计算多个方向的边缘强度；

由内插像素值计算单元计算作为所述像素块中的所述多个方向的平滑分量的内插像素值；

由权重计算单元基于由所述边缘强度计算单元计算的所述多个方向的所述边缘强度，来计算作为所述多个方向的所述平滑分量的所述内插像素值的权重；以及

由混合处理单元通过执行作为所述多个方向的所述平滑分量的所述内插像素值和由所述权重计算单元计算的所述权重的加权相加的混合处理，来计算作为所述像素块的所述中心像素的所述校正对象像素的像素值。

15.一种程序，其使执行图像处理的图像处理设备执行：

由边缘强度计算单元将通过减少由成像元件捕获的图像的像素的总数目而获得的像素数目减少图像设定为输入图像，以及以将从所述输入图像中选择的校正对象像素用作中心像素的像素块为单位来计算多个方向的边缘强度；

由内插像素值计算单元计算作为所述像素块中的所述多个方向的平滑分量的内插像素值；

由权重计算单元基于由所述边缘强度计算单元计算的所述多个方向的所述边缘强度，来计算作为所述多个方向的所述平滑分量的所述内插像素值的权重；以及

由混合处理单元通过执行作为所述多个方向的所述平滑分量的所述内插像素值和由所述权重计算单元计算的所述权重的加权相加的混合处理，来计算作为所述像素块的所述中心像素的所述校正对象像素的像素值。

Images