CN104052918A - 信号处理单元和信号处理方法 - Google Patents

Abstract

一种信号处理单元，其包括：高频信号确定部件，其被配置为基于从其中布置有相位差像素的图像拾取部件输出的像素信号来确定作为相位差像素的外围区域的参考区域是否是在特定方向上的高频信号区域；以及合成比确定部件，其被配置为当所述参考区域被确定为不是在特定方向上的高频信号区域，使用所述参考区域的像素差来确定通过增益倍数内插方法的相位差像素的内插值与通过外围像素内插方法的相位差像素的内插值的合成比。

Description

信号处理单元和信号处理方法

相关申请的交叉引用

本申请要求在2013年3月15日提交的日本优先权专利申请JP2013-054249的权利，通过引用将其全部内容合并于此。

技术领域

本发明涉及一种信号处理单元和信号处理方法，并且具体地涉及允许计算相位差像素的用于图像输出的像素值的信号处理单元和信号处理方法，所述像素值使得图像质量较少地降低。

背景技术

最近，提出了一种具有其中在矩阵中排列多个像素的像素区域的固态图像拾取单元，所述像素除了包括用于图像输出的正常像素之外还包括用于检测焦点的相位差像素。

在这样的固态图像拾取单元中，需要正确地获得相位差像素的用于图像输出的像素值。像素值的校正方法包括：通过相位差像素的像素值的增益倍数（gain multiples）来获得这样的校正像素值的方法，以及基于相位差像素外围中的外围像素的像素值获得这样的校正像素值的方法。

日本未审查专利申请公开No.2012-4729（JP-A-2012-4729）公开了一种方法，通过在经由相位差像素的增益倍数的内插值和基于取决于外围像素的像素值的总亮度和边缘数量的外围像素的像素值的内插值之间进行切换，而获取相位差像素的用于图像输出的像素值。

例如，日本未审查专利申请公开No.2010-62640（JP-A-2010-62640）提出了一种方法，将通过相位差像素的增益倍数的内插值与基于外围像素的像素值的内插值的预定合成比中的合成值确定为相位差像素的用于图像输出的像素值。JP-A-2010-62640中公开的方法中，基于相位差像素的外围同色像素的标准偏差值σ与平均值a之间的比σ/a来确定合成比。

发明内容

JP-A-2012-4729中公开的方法中，基于使用外围像素的像素值的总亮度和边缘数量的确定条件以切换方式来使用通过相位差像素的增益倍数的内插值和基于外围像素的像素值的内插值；因此，具有接近确定条件边界的像素值的相位差像素可能校正失败并且增加伪影（artifact）。

JP-A-2010-62640中公开的方法中，虽然也使用通过增益倍数的内插值来校正在沿着相位差像素的屏蔽方向（shielding direction）的方向上的高频信号，但是由于采样的影响而经常发生错误的校正。

如上文中所描述的，在计算相位差像素的用于图像输出的像素值的每种现有方法中，存在改进的空间。

希望允许计算相位差像素的用于图像输出的像素值，所述像素值使得图像质量较少地降低。

根据本技术的实施例（1），提供一种信号处理单元，其包括：高频信号确定部件，其被配置为基于从其中布置有相位差像素的图像拾取部件输出的像素信号来确定作为相位差像素的外围区域的参考区域是否是在特定方向上的高频信号区域；以及合成比确定部件，其被配置为当所述参考区域被确定为不是在特定方向上的高频信号区域时，使用所述参考区域的像素差来确定通过增益倍数内插方法的相位差像素的内插值与通过外围像素内插方法的相位差像素的内插值的合成比。

根据本技术的实施例（1），提供一种信号处理方法，其中，被配置为对从其中布置有相位差像素的图像拾取部件中输出的像素信号进行处理的信号处理单元确定作为所述相位差像素的外围区域的参考区域是否是在特定方向上的高频信号区域，以及当所述参考区域被确定为不是在所述特定方向上的高频信号区域时，使用所述参考区域的像素差来确定通过增益倍数内插方法的所述相位差像素的内插值与通过外围像素内插方法的所述相位差像素的内插值的合成比。

在本技术的实施例（1）中，确定作为相位差像素的外围区域的参考区域是否是在特定方向上的高频信号区域，并且当确定参考区域不是在特定方向上的高频信号区域时，使用参考区域的像素差来确定通过增益倍数内插方法的相位差像素的内插值与通过外围像素内插方法的相位差像素的内插值的合成比。

根据本技术的实施例（2），提供一种信号处理单元，其包括：相似度总和计算部件，其被配置为基于从其中布置有相位差像素的图像拾取部件中输出的像素信号来计算在作为相位差像素的外围区域的参考区域和设置在比参考区域大的搜索区内的多个搜索区域中的每一个之间的相似度，并且计算作为所述计算结果的总和的相似度总和，其中每个搜索区域具有与所述参考区域的尺寸相同的尺寸；以及合成比确定部件，其被配置为与所计算的相似度总和相对应地确定通过增益倍数内插方法的相位差像素的内插值与通过外围像素内插方法的相位差像素的内插值的合成比。

根据本技术的实施例（2），提供一种信号处理方法，其中，被配置为对从其中布置有相位差像素的图像拾取部件中输出的像素信号进行处理的信号处理单元计算在作为相位差像素的外围区域的参考区域与设置在比所述参考区域大的搜索区内的多个搜索区域中的每一个之间的相似度，并且计算作为所述计算结果的总和的相似度总和，其中每个搜索区域具有与所述参考区域的尺寸相同的尺寸，以及与所计算的相似度总和相对应地，确定通过增益倍数内插方法的所述相位差像素的内插值和通过外围像素内插方法的所述相位差像素的内插值的合成比。

在本技术的实施例（2）中，计算作为相位差像素的外围区域的参考区域与在比参考区域大的搜索区内设置的多个搜索区域中的每一个之间的相似度，其中每个搜索区域具有与参考区域的尺寸相同的尺寸，并且计算作为这样的计算结果的总和的相似度总和，并且与所计算的相似度总和相对应地确定通过增益倍数内插方法的相位差像素的内插值和通过外围像素内插方法的相位差像素的内插值的合成比。

信号处理单元可以是独立的单元或合并在另一单元内的模块（信号处理电路）。

根据本技术的实施例（1）和（2），允许计算相位差像素的用于图像输出的像素值，所述像素值使得图像质量较低地降低。

要理解的是，上述总体描述和下文中的详细描述是示例性的，并且意图提供所要求保护的技术的进一步解释。

附图说明

附图被包括以提供本公开的进一步理解，并且被合并在本说明书中且构成本说明书的一部分。附图图示实施例并且与说明书一起用来解释本技术的原理。

图1是图示应用本技术的示例性实施例的固态图像拾取单元的示意性配置的框图。

图2A至2C是图示像素阵列部件的示例性像素排列配置的图。

图3A至3C是解释固态图像拾取单元的基板配置的图。

图4是信号处理电路的第一实施例的框图。

图5A至5C是解释其中增益倍数内插方法和外围像素内插方法中的每一个都不能很好地进行内插的情况的图。

图6A至6E是解释平坦度确定部件的示例性处理的图。

图7A至7D是各个图示高频信号确定部件的示例性Sobel滤波器的图。

图8是解释焦点对准（in-focus）确定处理的图。

图9是图示混合比确定表的图。

图10是解释第一实施例的像素内插过程的流程图。

图11是解释示例性现有外围像素内插的图。

图12是信号处理电路的第二实施例的框图。

图13是解释计算相似度match_w(P,Q)的方法的图。

图14是解释计算相似度总和match_wsum(P)的方法的图。

图15是解释计算内插值neighbor_pix的方法的图。

图16是解释第二实施例的像素内插过程的流程图。

图17是图示其中独立地提供信号处理电路的模式的框图。

图18是图示作为应用本技术的示例实施例的电子装置的图像拾取单元的示例性配置的框图。

具体实施例

下文中，描述本技术的一些实施例。要注意的是，以下述顺序进行描述。

1.包括信号处理电路的固态图像拾取单元的示例性示意配置。

2.信号处理电路的第一实施例。

3.信号处理电路的第二实施例。

【固态图像拾取单元的示例性示意配置】

图1是图示应用本技术的示例性实施例的固态图像拾取单元的示意性配置的框图。

图1的固态图像拾取单元1包括像素阵列部件11、AD转换部件12、水平传输部件13、信号处理电路14、定时控制部件15和像素驱动部件16。像素阵列部件11、AD转换部件12、水平传输部件13、定时控制部件15和像素驱动部件16构成图像拾取部件17。

像素阵列部件11由以二维阵列图案（在行方向上和列方向上）排列的多个像素构成，每个像素包括作为光电转换部件的光电二极管和多个像素晶体管（所谓的MOS晶体管）。例如，多个像素晶体管可以由传输（transfer）晶体管、复位晶体管和放大晶体管的三个晶体管构成。可替换地，像素可以由还包括选择晶体管的四个晶体管构成。

图2A至2C图示像素阵列部件11的示例性像素排列配置。

如在图2A至2C中所图示的，像素阵列部件11具有这样的配置，其中在用于图像输出的像素（下文中也被称为正常像素）中以预定排列来布置用于检测焦点的像素（下文中也被称为相位差像素）。

图2A图示这样的示例性配置，其中在行方向上排列相位差像素，在每个相位差像素中光接收区域的右部或左部被屏蔽。在此，如图2A中图示的相位差像素的屏蔽方向被称为水平屏蔽方向。

由于屏蔽位置的差异，在右部被屏蔽的相位差像素的像素信号和左部被屏蔽的相位差像素的像素信号之间发生图像偏移。基于在相位差像素的两个像素信号之间的相位偏移量来计算散焦（defocus）量以调节（移动）摄影透镜，由此实现自动对焦。

图2B图示这样的示例性配置，其中在列方向上排列相位差像素，在每个相位差像素中光接收区域的上部或下部被屏蔽。在此，如图2B中图示的相位差像素的屏蔽方向被称为竖直屏蔽方向。

图2C图示这样的示例性配置，其中在斜右上方向上排列相位差像素，在每个相位差像素中光接收区域的斜右上部或斜左下部被屏蔽。在此，如图2C中图示的相位差像素的屏蔽方向被称为斜右上屏蔽方向。可替换地，虽然省略未示出，但是可以在斜左上方向上排列相位差像素，在每个相位差像素中光接收区域的斜左上部或斜右下部被屏蔽。这样的相位差像素的屏蔽方向被称为斜左上屏蔽方向。

虽然单独地描述了在每个屏蔽方向的相位差像素以便简化图2A至2C中的解释，但是实际情况下在各种屏蔽方向上的相位差像素可以混合地存在。此外，相位差像素不仅可以布置在规则位置上，也可以布置在随机位置上。

返回至图1，AD转换部件12包括为像素阵列部件11的每个像素阵列所布置的多个模拟数字转换器（ADC），并且对从与每个像素阵列的一行相对应的像素中输出的模拟像素信号进行相关双采样（CDS）处理，并且对模拟像素信号进一步进行AD转换处理。经过AD转换处理的数字像素信号输出至水平传输部件13。

由水平扫描电路等构成的水平传输部件13将AD转换部件12中的各个ADC中存储的数字像素信号以预定定时顺序地输出至信号处理电路14。

信号处理电路14对从水平传输部件13所供应的像素信号进行预定数字信号处理。具体地，信号处理电路14对相位差像素进行像素内插过程（像素校正过程），该过程计算用于图像输出的像素值。除了像素内插过程之外，还允许信号处理电路14进行数字信号处理，诸如黑色电平调节和列变化校正。

定时控制部件15可以由例如生成诸如竖直同步信号和水平同步信号之类的各种定时信号的定时生成器构成。定时控制部件15将由定时生成器生成的各种定时信号供应至AD转换部件12、水平传输部件13、信号处理电路14和像素驱动部件16以便控制每个部件的操作定时。

由例如移位寄存器构成的像素驱动部件16按行在竖直方向上顺序地且选择地扫描像素阵列部件11的像素，并且允许将基于与通过每个像素的光电转换部件所接收的光量相应地形成的信号电荷所生成的像素信号输出至AD转换部件12。

例如，如上配置的固态图像拾取单元1可以由列AD类型的CMOS图像传感器构成，其中对于每个图像阵列布置ADC，所述ADC中的每一个进行CDS处理和AD转换处理。

【固态图像拾取单元的基板配置】

现在参考图3A至3C来描述固态图像拾取单元1的基板配置。

可以使用图3A至3C中图示的具有包括硅（Si）等的半导体基板的第一至第三基板配置之一来制造图1的固态图像拾取单元1。

图3A图示固态图像拾取单元1的第一基板配置。

图3A的固态图像拾取单元1由像素区域22、控制电路23和用于在一个半导体基体21内进行信号处理的逻辑电路24构成。例如，图3A中的像素区域22可以包括图1中的像素阵列部件11，并且图3A中的控制电路23可以包括图1中的AD转换部件12、水平传输部件13、定时控制部件15和像素驱动部件16。图3A中的逻辑电路24可以包括图1中的信号处理电路14。

图3B图示固态图像拾取单元1的第二基板配置。

在第二基板配置中，固态图像拾取单元1具有第一半导体基板25和第二半导体基板26的堆叠结构。第一半导体基板25在其中具有像素区域22和控制电路23，而第二半导体基板26在其中具有逻辑电路24。

图3C图示固态图像拾取单元1的第三基板配置。

在第三基板配置中，如第二基板配置那样，固态图像拾取单元1具有第一半导体基板25和第二半导体基板26的堆叠结构。然而，第一半导体基板25在其中仅具有像素区域22，而第二半导体基板26在其中具有控制电路23和逻辑电路24。

允许固态图像拾取单元1采用如上描述的配置。

现在详细地描述由信号处理电路14所进行的图像内插过程。

信号处理电路14通过对由像素阵列部件14所检测的相位差像素的像素值进行内插处理来计算用于图像输出的像素值，并且输出所计算的像素值。

【信号处理电路的第一实施例】

现在描述信号处理电路14的第一实施例。

基于由第一合成比确定方法所确定的合成比，第一实施例的信号处理电路14通过合成通过增益倍数内插方法的内插值和通过外围像素内插方法的内插值来计算相位差像素的内插值，所述增益倍数内插方法通过相位差像素的像素值的增益倍数来获得内插值，所述外围像素内插方法使用相位差像素的外围像素的像素值来进行内插。

【信号处理电路的功能配置框图】

图4是图示信号处理电路14的第一实施例的示例性功能配置的框图。

信号处理电路14顺序地将与从水平传输部件13（图1）中所供应的像素信号相对应的像素阵列部件11的每个像素设置为对焦像素。当相位差像素被设置为对焦像素时，信号处理电路14进行计算相位差像素的用于图像输出的像素值的处理。

信号处理电路14由存储器部件31、条件确定部件32、混合比确定部件33、像素校正值确定部件34和输出图像生成部件35构成。

存储器部件31存储从水平传输部件13（图1）所供应的每个像素的像素信号。存储器部件31可以具有用于像素阵列部件11的所有像素的存储器容量，或者可以具有用于像素内插过程所需的像素阵列部件11的多个行的存储器容量。

需要时由条件确定部件32和输出图像生成部件35来读取存储器部件31中存储的每个像素的像素信号。

条件确定部件32确定用于确定作为通过第一方法的内插值与通过第二方法的内插值的合成比的混合比α的条件。在第一方法中，通过相位差像素的像素值的增益倍数、基于通过先前测量而预先形成且存储的校正图（校正值表）来获得内插值。在第二方法中，通过相位差像素外围的外围像素的像素值来获得内插值。下文中，基于校正图的第一方法被称为增益倍数内插（方法），而基于外围像素值的第二方法被称为外围像素内插（方法）。

混合比α具有0≤α≤1的值。当给定α=1时，直接使用通过第二方法的内插值，所述第二方法从外围像素的像素值中获得内插值。当给定α=0时，直接使用通过第一方法的内插值，所述第一方法通过相位差像素的像素值的增益倍数来获得内插值。

参考图5A至5C来描述其中增益倍数内插方法和外围像素内插方法中的每一个都不能很好地进行内插的情况。

通过相位差像素的像素值的增益倍数来获得内插值的增益倍数内插方法在如图5A中图示的焦点失调（out-focus）区域中不能很好地进行相位差像素的内插。

此外，增益倍数内插方法不能很好地在焦点对准图像的区域内进行相位差像素的内插，所述区域在与相位差像素的屏蔽方向相同的方向上具有高频信号，诸如图5B中虚线所包围的部分。

自然地，增益倍数内插法不能很好地进行具有与在创建校正图时的色温不同的色温的对象图像的相位差像素的内插。

另一方面，例如，当相位差像素的外围纹理具有超出边缘方向确定处理的方向分辨率之外的角度时，以及当用于计算内插值的参考像素在不与边缘方向相对应的方向上时，外围像素内插方法不能很好地进行内插。

具体地，外围像素内插方法在由图5C中的虚线所包围的区域内不能很好地进行相位差像素的内插。例如，在0°方向和45°方向之间的15°或30°方向上，以及在90°方向和45°方向之间的75°或60°方向上，由图5C中虚线所包围的区域内的图像具有最小的像素差。当其中像素差最小的这样的方向超过边缘方向确定处理的方向分辨率时，所述方向被假定称为浅角度边缘方向（shallow-angle edge direction）。

如上所描述的，一些图像不能通过增益倍数内插方法和外围像素内插方法中的每一个来很好地内插，并且不能通过两种内插方法来很好地内插的各个图像是排他（exclusive）关系。

在此，基于在被设置为对焦像素的相位差像素的外围的图像纹理信息，条件确定部件32确定用于确定通过增益倍数内插方法的内插值和通过外围像素内插方法的内插值的混合比α的条件。

返回至图4，条件确定部件32包括平坦度确定部件41、边缘确定部件42、高频信号确定部件43和焦点对准确定部件44。

平坦度确定部件41基于被设置为对焦像素的相位差像素的外围像素来确定对焦像素的外围是否是平坦部分。

图6A至6E是解释平坦度确定部件41的示例性处理的图。

如图6A中图示的，平坦度确定部件41将对焦像素设置为相位差像素，并且将其在对焦像素周围的外围区域设置为参考区域（第一参考区域）。在图6A的示例性情况下，具有圆圈（○）的像素表示对焦像素，并且在对焦像素周围的7×5（水平方向×竖直方向）个像素的区域被设置为参考区域。图6A中像素之间图案的差别表示在R（红）、G（绿）和B（蓝）之间的颜色差别。

平坦度确定部件41使用设置的参考区域中具有与对焦像素的颜色相同的颜色的多个像素的像素值（亮度值）来计算参考区域的像素值的平均值ave_area和标准偏差std_area。

此外，平坦度确定部件41计算参考区域的梯度（值）grad。

如下文中那样计算参考区域的梯度grad。

首先，如在图6B至6E中图示的，平坦度确定部件41在与屏蔽方向相对应的水平方向、竖直方向、斜右上方向和斜左上方向中的每一个上计算参考区域中相邻同色像素的像素差值的平均值（像素差平均值）。在图6B至6E中，计算在同色像素对之间的15组像素差值，并且计算像素差值的平均值作为像素差平均值。

平坦度确定部件41确定水平方向、竖直方向、斜右上方向和斜左上方向之中像素差平均值最小的最小方向。平坦度确定部件41将在最小方向上的像素差平均值（像素差平均值的最小值）定义为对焦像素的参考区域的梯度（值）grad。

平坦度确定部件41使用对焦像素的参考区域的如上计算的标准偏差std_area和梯度grad来确定对焦像素的参考区域是否是平坦部分。更具体地，当对焦像素的参考区域的标准偏差std_area和梯度grad各个具有比预定参考值低的值时，换言之，当对焦像素的参考区域的标准偏差std_area等于或低于预定阈值LO_STD_TH时，并且当对焦像素的参考区域的梯度grad等于或低于预定阈值LO_GRD_TH时，平坦度确定部件41确定对焦像素的参考区域是平坦部分。

当对焦像素的参考区域被确定为平坦部分时，这样的情况包括如下情况，其中对焦像素的外围表示具有与创建校正图时的色温不同的色温的对象图像。在该情况下，当通过增益倍数内插方法来内插像素值时，可能产生伪影。另一方面，当通过将外围像素内插方法应用于平坦部分中的像素来内插像素值时，维持外围像素的连续性，并且允许很好地校正像素值。

因此，当对焦像素的参考区域被确定为平坦部分时，如下文所描述的，信号处理电路14仅使用外围像素内插方法来对对焦像素的像素值进行内插。

返回至图4，边缘确定部件42使用上述对焦像素的参考区域的标准偏差std_area和梯度grad，以便确定对焦像素的参考区域是否是具有浅角度边缘方向的区域。具体地，当对焦像素的参考区域的标准偏差std_area和梯度grad各个具有比预定参考值大的值时，换言之，当对焦像素的参考区域的标准偏差std_area大于阈值HI_STD_TH时，并且当对焦像素的参考区域的梯度grad大于阈值HI_GRD_TH时，边缘确定部件42确定对焦像素的参考区域是具有浅角度边缘方向的区域。

当尝试通过外围像素内插方法来很好地内插在参考区域中具有浅角度边缘方向的对焦像素时，需要使用在对焦像素外围的大面积内的像素用于内插。然而，在实际处理中（实践中较难），难以使用在这样大面积内的像素来进行内插。如果使用对焦像素外围的小面积内的像素通过外围像素内插方法来对在参考区域内具有浅角度边缘方向的区域内的对焦像素进行内插，则产生伪影，这使得图像质量降低。

因此，当参考区域被确定为具有浅角度边缘方向的区域时，如下文所述，信号处理电路14仅使用增益倍数内插方法来对对焦像素的像素值进行内插。

高频信号确定部件43使用上述对焦像素的参考区域的标准偏差std_area和梯度grad，以及参考区域的边缘方向direction的确定结果，以便确定对焦像素的参考区域是否是高频信号区域。

高频信号确定部件43将被采用为对焦像素的参考区域的梯度（值）grad的方向的方向确定为参考区域的边缘方向direction。换言之，高频信号确定部件43将水平方向、竖直方向、斜右上方向和斜左上方向之中多个同色像素的像素差平均值最小的方向确定为参考区域的边缘方向direction。

高频信号确定部件43根据对焦像素的参考区域的标准偏差std_area和梯度grad、以及参考区域的边缘方向direction是否满足式（1）的下述确定条件，来确定对焦像素的参考区域是否是高频信号区域。

std_area<HI_FREQ_STD_TH

&&grad<HI_FREQ_GRAD_TH

&&direction==MASK_DIRECTION········(1)

根据式（1），当对焦像素的参考区域的标准偏差std_area小于用于高频信号确定的标准偏差阈值HI_FREQ_STD_TH时，并且当对焦像素的参考区域的梯度grad小于用于高频信号确定的梯度阈值HI_FREQ_GRAD_TH时，并且当对焦像素的参考区域的边缘方向direction等于对焦像素的屏蔽方向MASK_DIRECTION时，对焦像素的参考区域被确定为高频信号区域。

当在接近奈奎斯特（Nyquist）频率的区域内通过增益倍数内插方法来对相位差像素进行内插时，内插可能失败。具体地，由于采样的影响，在沿着相位差像素的屏蔽方向的边缘上的像素经常被错误地校正。因此，对对焦像素的参考区域是否是在沿着屏蔽方向具有高频信号的区域进行检测，并且当对焦像素的参考区域被确定为沿着屏蔽方向具有高频信号的区域时，使用沿着对焦像素的参考区域的边缘方向的外围像素的像素值、通过外围像素内插方法来对相位差像素进行内插，由此允许很好地校正像素值。

因此，当对焦像素的参考区域被确定为沿着屏蔽方向具有高频信号的区域时，如下文描述的，信号处理电路14仅通过外围像素内插方法、使用沿着对焦像素的参考区域的边缘方向direction的外围像素的像素值来对对焦像素的像素值进行内插。

要注意的是，高频信号确定部件43还可以使用检测在特定方向上的频率的滤波器来确定对焦像素的参考区域是否是高频信号区域。

例如，当高频信号确定部件43使用检测在特定方向上的频率的滤波器来确定对焦像素的参考区域是否是高频信号区域时，可以使用Sobel滤波器作为滤波器。

图7A至7D各个图示作为检测在特定方向上的频率的示例性滤波器的Sobel滤波器的示例，所述滤波器可以在确定高频信号区域是否是具有特定方向的边缘方向的参考区域时使用。

图7A图示用于确定参考区域的高频的边缘方向是否是水平方向的示例性Sobel滤波器。

图7B图示用于确定参考区域的高频的边缘方向是否是竖直方向的示例性Sobel滤波器。

图7C图示用于确定参考区域的高频的边缘方向是否是斜右上方向的示例性Sobel滤波器。

图7D图示用于确定参考区域的高频的边缘方向是否是斜左上方向的示例性Sobel滤波器。

例如，当在由这样的Sobel滤波器计算的值中存在大于预定阈值HI_FREQ_Sobel_TH的方向值时，高频信号确定部件43可以确定存在其边缘方向具有比阈值HI_FREQ_Sobel_TH大的值的高频信号区域。

随后，焦点对准确定部件44将作为对焦像素的相位差像素的像素值与在相位差像素外围中的像素的像素值中的每一个相比较，并且由此确定对焦像素的参考区域是否是焦点失调区域（焦点失调或焦点对准）。

图8是解释由焦点对准确定部件44所进行的焦点对准确定处理的图。

焦点对准确定部件44设置参考区域（第二参考区域），所述参考区域由作为相位差像素的对焦像素和其中以对焦像素作为中心的外围区域所构成。如图8中图示的，在该情况下设置的参考区域是这样的区域，其由沿着屏蔽方向上的、以对焦像素作为中心的多个像素构成，不同于由平坦度确定部件41等设置的上述参考区域（第一参考区域）。根据具有与对焦像素的颜色相同的颜色的外围像素的值计算的内插值被用作在参考区域内具有与对焦像素的颜色不同的颜色的每个像素的像素值。

首先，焦点对准确定部件44计算在参考区域内具有与对焦像素的颜色相同的颜色的像素值的动态范围drange，并且确定所计算的动态范围drange是否大于用于焦点失调确定的动态范围阈值TEX_FOCUS_DRANGE_TH。

TEX_FOCUS_DRANGE_TH<drange········(2)

焦点对准确定部件44确定作为对于参考区域内每个相邻像素所计算的相位差绝对值的每个梯度phase_grad是否在用于焦点失调确定的梯度下限阈值TEX_FOCUS_GRAD_LOWER_TH和梯度上限阈值TEX_FOCUS_GRAD_UPPER_TH之间的范围内。

TEX_FOCUS_GRAD_LOWER_TH<phase_grad<TEX_FOCUS_GRAD_UPPER_TH········(3)

当计算的动态范围drange满足式（2）时，并且当所有计算的梯度phase_grad各个满足式（3）时，焦点对准确定部件44确定作为对焦像素的相位差像素具有相位偏移的信号，并且参考区域是焦点失调的。

如上文描述的，焦点对准确定部件44被允许通过对接近强边缘的相位差像素的相位差进行检测来确定对焦像素的参考区域是否是焦点失调区域。

图4中条件确定部件32的平坦度确定部件41、边缘确定部件42、高频信号确定部件43和焦点对准确定部件44各个将确定结果供应至混合比确定部件33。

混合比确定部件33基于从条件确定部件32所供应的确定结果确定作为通过增益倍数内插方法的内插值与通过外围像素内插方法的内插值的合成比的混合比α。

具体地，当从平坦度确定部件41供应指示对焦像素的参考区域是平坦部分的确定结果时，混合比确定部件33确定混合比α为1（α=1）。

当从边缘确定部件42供应指示对焦像素的参考区域是具有浅角度边缘方向的区域的确定结果时，混合比确定部件33确定混合比α为0（α=0）。

当从高频信号确定部件43供应指示对焦像素的参考区域是高频信号区域的确定结果时，混合比确定部件33确定混合比α为1（α=1）。

当从焦点对准确定部件44供应指示对焦像素的参考区域是焦点失调区域的确定结果时，混合比确定部件33确定混合比α为1（α=1）。

另一方面，当对焦像素的参考区域未被确定为平坦部分、具有浅角度边缘方向的区域、高频信号区域和焦点失调区域中的任意一种时，混合比确定部件33使用由高频信号确定部件43所计算的对焦像素的参考区域的梯度grad以便以下述方式来确定混合比α。

梯度grad的幅度被认为与方向确定结果的可靠性相对应。因此，较小的梯度grad指示在该方向上较小可能存在边缘，并且在该方向上的外围像素的像素值在像素内插期间可能更为可靠。

因此，例如，如图9中所图示的，混合比确定部件33可以在其内部存储混合比确定表，所述混合比确定表将梯度grad与混合比α相关联，使得随着梯度grad增加，混合比α在0＜α＜1的范围内逐渐减小。混合比确定部件33可以使用混合比确定表，以便选择与由高频信号确定部件43所计算的对焦像素的参考区域的梯度grad相对应的混合比α，并且将所选择的混合比α确定为对焦像素的混合比α。

除了如图9中图示的混合比确定表之外，例如，梯度grad的幅度可以被分类为多个级别，使得以混合比确定表的形式存储与每个级别相对应的混合比α。

混合比确定部件33将所确定的混合比α供应至像素校正值确定部件34。

像素校正值确定部件34使用从混合比确定部件33所供应的混合比α以便计算作为对焦像素的相位差像素的内插值，并且将内插值供应至输出图像生成部件55。

像素校正值确定部件34由增益倍数内插值计算部件51、外围像素内插值计算部件52和合成内插值计算部件53构成。

增益倍数内插值计算部件51基于校正图计算通过增益倍数内插方法的内插值gained_pix，所述增益倍数内插方法通过相位差像素的像素值的增益倍数来获得内插值。所述校正图是使用与自然光条件相同的条件下的均匀白光源的摄影图像根据相位差像素的像素值和其外围像素的像素值之间的关系预先创建的，并且存储所述校正图。

外围像素内插值计算部件52使用作为高频信号确定部件43的确定结果的、对焦像素的参考区域的边缘方向direction，根据对焦像素外围中的同色像素的像素值计算内插值dir_pix。更具体地，外围像素内插值计算部件52计算在边缘方向direction上的与对焦像素相邻的多个同色像素的平均值，作为通过外围像素内插的内插值dir_pix。与作为高频信号确定部件43的确定结果的、对焦像素的参考区域的边缘方向direction一起使用在梯度（像素差）下降的方向上的外围像素的像素值，由此允许改进内插准确性。

合成内插值计算部件53根据下式（4）计算作为相位差像素的对焦像素的内插值corr_pix，并且将内插值corr_pix供应至输出图像生成部件35。

corr_pix=α×dir_pix+(1-α)×gained_pix········(4)

输出图像生成部件35使用存储器部件31中存储的像素值和从合成内插值计算部件53中供应的内插值，以向后续级输出用于图像输出的像素信号和用于检测焦点的像素信号。

更具体地，输出图像生成部件35输出存储器部件31中存储的相位差像素的像素信号，作为用于检测焦点的像素信号。

此外，输出图像生成部件35输出由在存储器部件31中存储的正常像素的像素值，以及通过利用从合成内插值计算部件53供应的内插值来对相位差像素的像素值进行内插而获得的像素值构成的每个像素的像素信号，作为用于图像输出的像素信号。

根据上述配置，第一实施例的信号处理电路14进行对相位差像素的像素值进行内插的处理。

【像素内插过程的流程图】

现在参考图10的流程图来描述通过信号处理电路14计算用于相位差像素的像素值的内插的内插值的像素内插过程。

首先，在步骤S1中，信号处理电路14将在存储器部件31中存储的预定义像素设置为对焦像素。例如，当以光栅扫描顺序读取与其像素值存储在存储器部件31中的一帧相对应的像素时，信号处理电路14可以将像素的首位像素设置为对焦像素。

在步骤S2中，信号处理电路14确定所设置的对焦像素是否是相位差像素。当信号处理电路14确定所设置的对焦像素不是相位差像素时，信号处理电路14将过程前进至步骤S17。

另一方面，当在步骤S2中对焦像素被确定为相位差像素时，过程前进至平步骤S3，并且平坦度确定部件41计算在对焦像素的参考区域内（在第一参考区域内）的多个同色像素的平均值ave_area和标准偏差std_area。要注意的是，因为仅将标准偏差std_area用于下文中描述的平坦度确定，因此可以省略平均值ave_area的计算。

在步骤S4中，平坦度确定部件41计算对焦像素的参考区域的梯度（值）grad。更具体地，平坦度确定部件41计算在水平方向、竖直方向、斜右上方向和斜左上方向中的每一个上的多个同色像素的相位差平均值，并且定义相位差平均值的最小值作为对焦像素的参考区域的梯度grad。

在步骤S5中，平坦度确定部件41使用参考区域的所计算的标准偏差std_area和梯度grad，以便确定对焦像素的参考区域是否是平坦部分。

在步骤S5中，当参考区域的所计算的标准偏差std_area和梯度grad各个具有比预定参考值低的值时，换言之，当参考区域的所计算的标准偏差std_area等于或小于预定阈值LO_STD_TH时，并且当所计算的梯度grad等于或小于预定阈值LO_GRD_TH时，对焦像素的参考区域被确定为平坦部分。

当在步骤S5中对焦像素的参考区域被确定为平坦部分时，过程前进至步骤S6，并且平坦度确定部件41将确定结果供应至混合比确定部件33。混合比确定部件33基于确定结果将混合比α确定为1（α=1）。所确定的混合比α被供应至像素校正值确定部件34，并且过程前进至步骤S14。

另一方面，当在步骤S5中对焦像素的参考区域被确定为不是平坦部分时，过程前进至步骤S7，并且平坦度确定部件41将确定结果供应至边缘确定部件42。在步骤S7中，边缘确定部件42使用参考区域的所计算的标准偏差std_area和梯度grad，以确定对焦像素的参考区域是否是具有浅角度边缘方向的区域。

具体地，当参考区域的所计算的标准偏差std_area和梯度grad各个具有比预定参考值高的值时，换言之，当参考区域的所计算的标准偏差std_area大于阈值HI_STD_TH时，并且当参考区域的所计算的梯度grad大于阈值HI_GRD_TH时，边缘确定部件42确定对焦像素的参考区域是具有浅角度边缘方向的区域。

当在步骤S7中对焦像素的参考区域被确定是具有浅角度边缘方向的区域时，过程前进至步骤S8，并且边缘确定部件42将确定结果供应至混合比确定部件33。混合比确定部件33基于确定结果将混合比α确定为0（α=0）。所确定的混合比α被供应至像素校正值确定部件34，并且步骤前进至步骤S14。

另一方面，当在步骤S7中对焦像素的参考区域被确定为不是具有浅角度边缘方向的区域时，过程前进至步骤S9，并且边缘确定部件42将确定结果供应至高频信号确定部件43。在步骤S9中，高频信号确定部件43使用对焦像素的参考区域的标准偏差std_area和梯度grad以及参考区域的边缘方向direction的确定结果，以确定对焦像素的参考区域是否是高频信号区域。

具体地，高频信号确定部件43根据参考区域的所计算的标准偏差std_area和梯度grad以及参考区域的边缘方向direction是否满足式（1）的上述确定条件来确定对焦像素的参考区域是否是高频信号区域。

如上描述的，作为步骤S9的处理，高频信号确定部件43也可以使用对特定方向上的频率进行检测的滤波器来确定对焦像素的参考区域是否是高频信号区域。

当在步骤S9中对焦像素的参考区域被确定为高频信号区域时，过程前进至步骤S6。

另一方面，当在步骤S9中对焦像素的参考区域被确定为不是高频信号区域时，过程前进至步骤S10，并且高频信号确定部件43将确定结果供应至焦点对准确定部件44。在步骤S10中，焦点对准确定部件44计算在参考区域内（在第二参考区域内）具有与对焦像素的颜色相同的颜色的像素的像素值的动态范围drange。

在步骤S11中，焦点对准确定部件44计算梯度phase_grad，作为在参考区域内每个相邻像素的相位差绝对值。

在步骤S12中，焦点对准确定部件44基于所计算的动态范围drange和每个梯度phase_grad，确定对焦像素的参考区域是否是焦点失调区域。

具体地，当所计算的动态范围drange满足式（2）时，并且当所有计算的梯度phase_grad满足式（3）时，焦点对准确定部件44确定作为对焦像素的相位差像素具有相位偏移的信号，并且对焦像素的参考区域是焦点失调区域。

当在步骤S12中参考区域被确定为焦点失调区域时，过程前进至步骤S6。

另一方面，当在步骤S12中参考区域被确定为不是焦点失调区域时，过程前进至步骤S13，并且焦点对准确定部件44将确定结果供应至混合比确定部件33。在步骤S13中，混合比确定部件33基于来自条件确定部件32的确定结果来确定混合比α。具体地，混合比确定部件33使用如图9中图示的混合比确定表，以便将与由高频信号确定部件43所计算的对焦像素的参考区域的梯度grad相对应的混合比α确定为对焦像素的混合比α。所确定的混合比α被供应至像素校正值确定部件34。

在步骤S13之后，过程前进至步骤S14，并且增益倍数内插值计算部件51基于校正图计算通过增益倍数内插方法的内插值gained_pix，所述增益倍数内插方法通过相位差像素的像素值的增益倍数来获得内插值。

在步骤S15中，外围像素内插值计算部件52使用对焦像素的参考区域的边缘方向direction计算通过在对焦像素的外围中的同色像素的像素内插的内插值dir_pix。

在步骤S16中，合成内插值计算部件53根据式（4）计算作为相位差像素的对焦像素的内插值corr_pix，并且将内插值corr_pix供应至输出图像生成部件35。

在步骤S17中，信号处理电路确定是否存储器部件31中存储的所有像素作为对焦像素被处理。

当在S17中并非所有像素被确定为作为对焦像素被处理时，过程前进至步骤S18，并且信号处理电路14将还未作为对焦像素被处理的后续像素设置为对焦像素，并且将过程返回至步骤S2。然后，对新设置的对焦像素执行上面描述的从步骤S2至步骤S17的处理步骤。

另一方面，当在步骤S17中所有像素被确定为作为对焦像素被处理时，图10的像素内插过程结束。

如上所描述的，根据第一实施例的信号处理电路14，对于相位差像素的参考区域，检测在特定方向上高频（沿着相位差像素的屏蔽方向的高频）的出现。当参考区域被确定为不是在特定方向上具有高频信号的区域时，使用参考区域的像素差来确定混合比α。

因此，允许以合适的比率来合成通过增益倍数内插方法的内插值和基于外围像素值的外围像素内插值，并且允许计算相位差像素的用于图像输出的像素值，所述像素值使得图像质量较少地降低。

【信号处理电路的第二实施例】

现在描述信号处理电路14的第二实施例。

基于由第二合成比确定方法所确定的合成比，第二实施例的信号处理电路14合成通过增益倍数内插方法的内插值和通过外围像素内插方法的内插值，并且计算相位差像素的内插值。

第一实施例中的外围像素内插方法中，使用沿着边缘方向的外围像素的像素值来计算内插值。

另一方面，第二实施例中的外围像素内插方法中，使用在对焦像素周围的平面区域内的像素值来计算内插值。第二合成比确定方法采用适于使用这样的平面区域内的像素值来计算内插值的合成比确定方法，作为外围像素内插方法。

【在平面区域内进行内插的示例性外围像素内插方法】

现在参考图11简要地描述使用平面区域内的像素值来进行内插的示例性外围像素内插方法。

图11中，位于像素区域中心的具有格网图案的相位差像素指示待内插的对焦像素。在对焦像素周围的外围区域被设置为参考区域P。在图11的示例性情况下，由虚线图示的在对焦像素周围的5×5像素区域被设置为参考区域P。

具有与对焦像素的颜色相同的颜色的、位于对焦像素外围内的像素被设置为对焦对应像素。对焦对应像素各个是待经受与对焦像素相对应的加权计算的像素。在图11的示例性情况下，在对焦像素周围的5×5同色像素（除去对焦像素）各个被设置为对焦对应像素。

对于多个对焦对应像素中的每一个，与参考区域P具有相同位置关系和尺寸的区域被设置为搜索区域Q。图11中，通过点划线来各个图示用于两个对焦对应像素的搜索区域Q。

根据上文，作为要被用于对对焦像素的内插值进行计算的像素区域的搜索区R被设置为比参考区域P大的区。图11中，搜索区R被示为通过粗实线指示的13×13像素区域。

在对焦像素的内插值的计算中，首先，基于在对焦像素v(i)的参考区域P与对焦对应像素v(j)的搜索区域Q之间的相似度，来确定多个对焦对应像素v(j)中的每一个的加权系数w(i,j)。在此，加权系数w(i,j)具有满足0≤w(i,j)≤1和Σj w(i,j)=1的值。

计算多个对焦对应像素v(j)的像素值与其各自加权系数w(i,j)相乘的乘积的总和Σj w(i,j)v(j)作为对焦像素的内插值。例如，在A.Buades、B.Coll和J.M.Morel的“A non local algorithm for image denoising”IEEE ComputerVision and Pattern Recognition2005,Vol2,pp:60-65,2005中公开了这样的像素内插方法。

当仅通过在对焦像素周围的平面区域内的内插方法来内插相位差像素时，并且当诸如具有浅角度边缘之类的相似平面区域（片）不存在于参考区域内并且由此相似度总和降低时，发生伪影，使得图像质量降低。

因此，也以预定合成比理想地合成通过使用在对焦像素周围的平面区域内的像素值的内插方法的内插值、和通过经由相位差像素的像素值的增益倍数来获得内插值的方法的内插值，以获得最终的内插值。

因此，第二实施例的信号处理电路14使用适用于使用平面区域内的像素值计算内插值的这样的方法的合成比确定方法来确定混合比α，并且计算内插值。

第二实施例中使用的第二合成比确定方法被允许广泛地应用于使用平面区域内的像素值的任何内插值计算方法，而不局限于参考图11所描述的外围像素内插方法。

【信号处理电路的功能配置框图】

图12是图示信号处理电路14的第二实施例的示例性功能配置的框图。

图12中，通过相同的标号来表示与第一实施例中的组件相对应的组件，并且适当地省略对其的描述。

图12中图示的信号处理电路14由存储器部件31、输出图像生成部件35、相似度确定部件81、混合比确定部件82和像素校正值确定部件83构成。

具体地，第二实施例的配置与第一实施例相同之处在于存储器部件31和输出图像生成部件35，而与第一实施例的不同之处在于相似度确定部件81、混合比确定部件82和像素校正值确定部件83。

相似度确定部件81由相似度计算部件91、相似度总和计算部件92和置信参考值计算部件93构成。

相似度计算部件91根据式（5）计算在对焦像素周围的参考区域P和为对焦像素所设置的搜索区R内的多个搜索区域Q中的每一个之间的相似度match_w(P,Q)。

$\mathrm{match}\_w(P,Q)=\frac{\mathrm{\&Sigma;}|v\left(p\right)-v\left(g\right)|}{n}\&CenterDot;\&CenterDot;\&CenterDot;\left(5\right)$

图13是解释通过相似度计算部件91计算相似度match_w(P,Q)的方法的图。

相似度计算部件91计算在参考区域P和搜索区域Q内相对应像素的各个像素值v(p)和v(q)之间的差绝对值总和作为相似度match_w(P,Q)，并且计算作为差绝对值总和除以区域内经受差计算的像素数目N的商的值。要注意的是，相似度计算部件91不对参考区域P和搜索区域Q内的相位差像素进行差计算。图13中具有格网图案的对焦像素和在对焦像素右侧的相邻像素各个是相位差像素，并且因此不经受差计算。

随后，相似度总和计算部件92根据式（6）计算相似度总和match_wsum(P)，作为搜索区R内的相似度计算结果的总和。

$\mathrm{match}\_\mathrm{wsum}\left(P\right)=\underset{Q\&Element;R}{\mathrm{\&Sigma;}}\mathrm{match}\_w(P,Q)\&CenterDot;\&CenterDot;\&CenterDot;\left(6\right)$

图14是解释通过相似度总和计算部件92来计算相似度总和match_wsum(P)的方法的图。

相似度总和计算部件92对搜索区R内计算的相似度match_w(P,Q)的总和进行计算，并且将计算结果定义为相似度总和match_wsum(P)。

相似度总和match_wsum(P)被用作用于计算混合比α的评估值，和用于使用外围像素的像素值来计算内插值dir_pix的标准化系数。

置信参考值计算部件93计算相似度置信参考值match_ref_val，作为当混合比确定部件82确定混合比α时用于对相似性总和match_wsum(P)的可靠性进行确定的系数。

例如，置信参考值计算部件93可以对于参考区域P内的像素的像素值v(p)计算相似度总和match_wsum(P)的可能最大值（最差值），作为相似度置信参考值match_ref_val。

换言之，置信参考值计算部件93假定与参考区域P的图像最不相似的虚拟图像的搜索区域Qmax，并且使用虚拟图像的搜索区域Qmax以计算相似度总和match_wsum(P)作为相似度置信参考值match_ref_val。

可替换地，被假定为相似度总和match_wsum(P)的最大值的预定值可以在不考虑参考区域P的实际图像的情况下预先确定，并且可以用作相似度置信参考值match_ref_val。

混合比确定部件82基于相似度总和match_wsum(P)与相似度置信参考值match_ref_val的比来确定混合比α。

具体地，根据下式（7）来确定混合比α。

$\mathrm{\&alpha;}=1-\frac{(A\&times;\mathrm{match}\_\mathrm{wsum}\left(P\right)+B)}{\mathrm{match}\_\mathrm{ref}\_\mathrm{val}}\&CenterDot;\&CenterDot;\&CenterDot;\left(7\right)$

其中，0≤α且A,B≥0。

在式（7）中，A和B各个是合成比调节系数，用于调节根据外围像素的像素值计算的内插值的贡献率。

返回至图12，像素校正值确定部件83由增益倍数内插值计算部件101、外围像素内插值计算部件102和合成内插值计算部件103构成。

如第一实施例中的增益倍数内插值计算部件51，增益倍数内插值计算部件101基于校正图计算通过增益倍数内插方法的内插值gained_pix，所述增益倍数内插方法通过相位差像素的像素值的增益倍数来获得内插值。

外围像素内插值计算部件102计算通过外围像素内插方法的内插值neighbor_pix，所述外围像素内插方法使用具有和对焦像素的颜色相同的颜色的外围像素，所述外围像素被假定为在搜索区R内的对焦对应像素。

图15是解释通过外围像素内插值计算部件102计算内插值neighbor_pix的方法的图。

首先，外围像素内插值计算部件102根据下式（8）计算在搜索区R内每个对焦对应像素的加权系数w(P,Q)。

$w(P,Q)=\frac{1}{\mathrm{match}\_\mathrm{wsum}\left(P\right)}\&CenterDot;\mathrm{match}\_w(P,Q)\&CenterDot;\&CenterDot;\&CenterDot;\left(8\right)$

如式（8）所示，在搜索区R内每个对焦对应像素的加权系数w(P,Q)被计算为在对焦对应像素周围的搜索区域Q与参考区域P之间的相似度match_w(P,Q)和相似度总和match_wsum(P)的标准化值。

随后，外围像素内插值计算部件102根据下式（9）计算内插值neighbor_pix。

$\mathrm{neighbor}\_\mathrm{pix}=\underset{q\&Element;R}{\mathrm{\&Sigma;}}w(P,Q)\&CenterDot;V\left(q\right)\&CenterDot;\&CenterDot;\&CenterDot;\left(9\right)$

如式（9）所示，内插值neighbor_pix被计算为在搜索区R内各个对焦对应像素的像素值V(q)与加权系数w(P,Q)的乘积的总和。

合成内插值计算部件103根据下式（10）计算作为相位差像素的对焦像素的内插值corr_pix，并且将内插值corr_pix供应至输出图像生成部件35。

corr_pix=α×neighbor_pix+(1-α)×gained_pix········(10)

根据上文描述的配置，第二实施例的信号处理电路14对相位差像素的像素值进行内插的处理。

【像素内插过程的流程图】

现在参考图16的流程图来描述通过第二实施例的信号处理电路14进行的像素内插过程。

首先，在步骤S41中，信号处理电路14将存储器部件31中存储的预定义像素设置为对焦像素。例如，当以光栅扫描顺序读取与其像素值存储在存储器部件31中的一帧相对应的像素时，信号处理电路14可以将像素的首位像素设置为对焦像素。

在步骤S42中，信号处理电路14确定所设置的对焦像素是否是相位差像素。当信号处理电路14确定所设置的对焦像素不是相位差像素时，信号处理电路14将过程前进至步骤S50。

另一方面，当在步骤S42中对焦像素被确定为相位差像素时，过程前进至步骤S43。在步骤S43中，相似度计算部件91根据式（5）计算在对焦像素的参考区域P和在为对焦像素设置的搜索区R内的多个搜索区域Q中的每一个之间相似度match_w(P,Q)。所计算的相似度match_w(P,Q)被供应至混合比确定部件82和像素校正值确定部件83。

在步骤S44中，相似度总和计算部件92根据式（6）、基于在在搜索区R内的每个搜索区域Q和参考区域P之间的相似度match_w(P,Q)来计算相似度总和match_wsum(P)。所计算的相似度总和match_wsum(P)被供应至混合比确定部件82。

在步骤S45中，例如，置信参考值计算部件93可以计算相似度总和match_wsum(P)的可能最大值，以便计算相似度置信参考值match_ref_val。

在步骤S46中，混合比确定部件82根据式（7）、使用相似度置信参考值match_ref_val和相似度总和match_wsum(P)来确定混合比α。

在步骤S47中，增益倍数内插值计算部件101基于校正图计算通过增益倍数内插方法的内插值gain_pix。

在步骤S48中，外围像素内插值计算部件102使用在对焦像素外围的同色像素来计算通过外围像素内插的内插值neighbor_pix，所述同色像素被定义为在搜索区R内的对焦对应像素。

在步骤S49中，合成内插值计算部件103根据式（10）计算作为相位差像素的对焦像素的内插值corr_pix，并且将内插值corr_pix供应至输出图像生成部件35。

在步骤S50中，信号处理电路14确定是否在存储器部件31存储的所有像素作为对焦像素被处理。

当在步骤S50中并非所有像素被确定为作为对焦像素被处理，过程前进至步骤S51，并且信号处理电路14将还未作为对焦像素被处理的后续像素设置为对焦像素，并且将过程返回至步骤S42。然后，对新设置的对焦像素进行从步骤S42至步骤S50的上文中描述的处理步骤。

另一方面，当在步骤S50中所有像素被确定为作为对焦像素被处理时，结束图16的像素内插过程。

如上文中描述的，根据第二实施例的信号处理电路14，与相似度总和match_wsum(P)相对应地确定混合比α，所述相似度总和是在相位差像素的参考区域P和在搜索区R内的各个搜索区域Q之间的相似度match_w(P,Q)的总和。更具体地，基于相似度总和match_wsum(P)与相似度置信参考值match_ref_val的比，来确定混合比α。

因此，在使用利用平面区域内的像素值来对对焦像素进行内插的外围像素内插方法的情况下，允许合适地设置通过增益倍数内插方法的内插值和基于外围像素值的外围像素内插值的合成比，并且由此允许计算相位差像素的用于图像输出的像素值，所述像素值使得图像质量较少地降低。

根据如上文描述的信号处理电路14的像素内插过程，仅使用相位差像素的像素信息的增益倍数内插方法与使用相位差像素的外围像素的像素信息的外围像素内插方法相结合；因此，允许获得对两种方法的缺点进行补偿的内插性能。

此外，当确定通过增益倍数内插方法的内插值和通过外围像素内插方法的内插值的混合比（合成比）α时，通过每一种方法不能很好内插的纹理被检测并且反映在混合比α上；因此，允许计算相位差像素的用于图像输出的像素值，所述像素值使得图像质量较少地降低。

要注意的是，信号处理电路14可以具有第一和第二实施例的两种配置，并且例如可以根据例如从采集图像提取的特征量、图像拾取模式或从操作部件指示的用户设置操作等来选择性地进行第一和第二实施例的像素内插过程之一。

还可以理解，信号处理电路14仅具有第一和第二实施例的配置之一。与第二实施例的信号处理电路相比，允许通过少量的计算并且以较少的硬件配置来有利地实现第一实施例的信号处理电路14。另一方面，第二实施例的信号处理电路14可以有利地不进行高频确定，并且由此与第一实施例的信号处理电路14相比较在计算混合比α上是容易的。

【其他实施例】

现在描述进行相位差像素的像素内插过程的上述信号处理电路的其他实施例。

【其中独立提供信号处理电路的模式】

图17图示其中进行相位差像素的像素内插过程的上述信号处理电路作为信号处理单元独立地提供的模式的示例性配置。

具体地，在上述示例性情况下，如参考图1描述的，进行像素内插过程的信号处理电路14作为固态图像拾取单元1内的一部分被合并。

然而，在图17的示例性情况下，与图1中的图像拾取部件17相对应的固态图像拾取单元221分开地提供与图1中的信号处理电路14相对应的信号处理单元222。

基于从固态图像拾取单元221输出的像素信号，信号处理单元222进行上述像素内插过程，并且输出用于图像输出的像素信号。此外，信号处理电路222输出相位差像素的像素信号，作为用于检测焦点的像素信号。

【指向电子装置的应用示例】

各个应用本技术的示例实施例的固态图像拾取单元和信号处理单元，可以应用于各种电子装置，例如，诸如数字静态相机和视频摄像机之类的图像拾取单元、具有图像拾取功能的移动电话和具有图像拾取功能的音频播放器。固态图像拾取单元和信号处理单元可以形成为一个芯片，或者可以形成为具有图像拾取功能的模块，其中图像拾取部件和信号处理电路被一起封装。

图18是图示作为应用本技术的示例实施例的电子装置的图像拾取单元的示例性配置的框图。

图18的图像拾取单元300包括由透镜组等构成的光学部件301、具有固态图像拾取单元221的配置的固态图像拾取单元（图像拾取设备）302、和具有信号处理电路14的功能的数字信号处理器（DSP）303。图像拾取单元300还包括帧存储器304、显示部件305、记录部件306、操作部件307和电源部件308。DSP电路303、帧存储器304、显示部件305、记录部件306、操作部件307和电源部件308通过总线309彼此连接。

光学部件301采集来自对象的入射光（图像光），并且在固态图像拾取单元302的图像拾取表面上形成光的图像。固态图像拾取单元302将其图像通过光学部件301形成在图像拾取表面上的入射光的光量转换为像素单元中的电信号，并且将电信号作为像素信号输出。

例如，显示部件305由诸如液晶面板或有机电致发光（EL）面板之类的面板类型显示单元构成，并且显示由固态图像拾取单元302所采集的移动的或静止的图像。记录部件306将由固态图像拾取单元302采集的移动的或静止的图像存储至诸如硬盘或半导体存储器之类的存储介质中。

操作部件307在用户操作下给出关于图像拾取单元300的各种功能的操作指令。电源部件308合适地向包括DSP电路303、帧存储器304、显示部件305、记录部件306和操作部件307的组件供应作为用于组件的操作电源的各种电源。

本技术不仅可以应用于检测可见光的入射光量的分布和采集这样的光分布作为图像的固态图像拾取单元，还可以应用于对红外线、X射线或粒子等的入射量的分布进行采集的固态图像拾取单元，或者在广义上，应用于例如指纹检测传感器的通用固态图像拾取单元（物理量分布检测单元），其各个采集诸如压力或电容之类的另一类型的物理量的分布。

本技术的实施例并不局限于上面描述的实施例，可以在本发明的范围内对其做各种修改或变动，而不背离本发明的精神。

从本公开的上述示例性实施例中至少可以实现如下配置。

（1）一种信号处理单元，其包括：

高频信号确定部件，其被配置为基于从其中布置有相位差像素的图像拾取部件输出的像素信号来确定作为相位差像素的外围区域的参考区域是否是在特定方向上的高频信号区域；以及

合成比确定部件，其被配置为当所述参考区域被确定为不是在特定方向上的高频信号区域时，使用所述参考区域的像素差来确定通过增益倍数内插方法的相位差像素的内插值与通过外围像素内插方法的相位差像素的内插值的合成比。

（2）根据（1）所述的信号处理单元，其中，所述合成比确定部件基于在其中所述参考区域的像素差减小的方向上的像素差值来确定所述合成比。

（3）根据（2）所述的信号处理单元，其中，当所述参考区域的像素值的标准偏差小于预定阈值，并且当在所述方向上的像素差值小于预定阈值，以及当所述方向与所述相位差像素的屏蔽方向相同时，所述高频信号确定部件确定所述参考区域是在所述特定方向上的高频信号区域。

（4）根据（1）或（2）所述的信号处理单元，其中，所述高频信号确定部件使用检测在所述特定方向上的频率的滤波器，以确定所述参考区域是否是在所述特定方向上的高频信号区域。

（5）根据（1）至（4）中任一项所述的信号处理单元，其中，所述合成比确定部件使用将在其中所述参考区域的像素差减小的方向上的像素差值与所述合成比相关联的表，以将与在所述方向上的像素差值相对应的合成比确定为所述合成比。

（6）根据（1）至（5）中任一项所述的信号处理单元，其中，所述特定方向与所述相位差像素的屏蔽方向相对应。

（7）根据（1）至（6）中任一项所述的信号处理单元，其还包括：

平坦度确定部件，其被配置为确定所述参考区域是否是平坦部分，

其中，当所述参考区域被确定为不是平坦部分时，所述高频信号确定部件确定所述参考区域是否是在所述特定方向上的高频信号区域。

（8）根据（7）所述的信号处理单元，其中，所述平坦度确定部件基于所述参考区域的像素值的标准偏差和在其中所述参考区域的像素差减小的方向上的像素差值，来确定所述参考区域是否是平坦部分。

（9）根据（1）至（8）中任一项所述的信号处理单元，其还包括：

边缘确定部件，其被配置为确定所述参考区域是否是具有浅角度边缘方向的区域，

其中，当所述参考区域被确定为不是具有浅角度边缘方向的区域时，所述高频信号确定部件确定所述参考区域是否是在所述特定方向上的高频信号区域。

（10）根据（9）所述的信号处理单元，其中，所述边缘确定部件基于所述参考区域的像素值的标准偏差和在其中所述参考区域的像素差减小的方向上的像素差值，来确定所述参考区域是否是具有浅角度边缘方向的区域。

（11）根据（1）至（10）中任一项所述的信号处理单元，其还包括：

焦点对准确定部件，其被配置为确定所述参考区域是否是焦点失调区域，

其中，当所述参考区域被确定为不是在特定方向上的高频信号区域并且不是焦点失调区域时，所述合成比确定部件确定所述合成比。

（12）根据（11）所述的信号处理单元，其中，所述焦点对准确定部件基于在参考区域内的动态范围和像素差绝对值来确定所述参考区域是否是焦点失调区域，所述参考区域是沿着相位差像素的屏蔽方向的外围区域。

（13）根据（1）至（12）中任一项所述的信号处理单元，其还包括：

增益倍数内插值计算部件，其被配置为计算通过所述增益倍数内插方法的所述相位差像素的内插值；以及

外围像素内插值计算部件，其被配置为计算通过所述外围像素内插方法的所述相位差像素的内插值，

其中，当所述参考区域被确定为是在所述特定方向上的高频信号区域时，对于所述相位差像素，所述外围像素内插值计算部件根据位于其中所述参考区域的像素差减小的方向上的外围同色像素的像素值计算相位差像素的内插值。

（14）一种信号处理方法，其中，

被配置为对从其中布置有相位差像素的图像拾取部件中输出的像素信号进行处理的信号处理单元

确定作为所述相位差像素的外围区域的参考区域是否是在特定方向上的高频信号区域，以及

当所述参考区域被确定为不是在所述特定方向上的高频信号区域时，使用所述参考区域的像素差来确定通过增益倍数内插方法的所述相位差像素的内插值与通过外围像素内插方法的所述相位差像素的内插值的合成比。

（15）一种信号处理单元，其包括：

相似度总和计算部件，其被配置为基于从其中布置有相位差像素的图像拾取部件中输出的像素信号来计算在作为相位差像素的外围区域的参考区域和设置在比参考区域大的搜索区内的多个搜索区域中的每一个之间的相似度，并且计算作为所述计算结果的总和的相似度总和，其中每个搜索区域具有与所述参考区域的尺寸相同的尺寸；以及

合成比确定部件，其被配置为根据所计算的相似度总和确定通过增益倍数内插方法的相位差像素的内插值与通过外围像素内插方法的相位差像素的内插值的合成比。

（16）根据（15）所述的信号处理单元，其还包括：

相似度计算部件，其被配置为计算在所述参考区域和所述搜索区内多个搜索区域中的每一个之间的相似度，

其中，所述相似度总和计算部件使用通过所述相似度计算部件所计算的相似度来计算所述相似度总和。

（17）根据（15）或（16）所述的信号处理单元，其还包括：

置信参考值计算部件，其被配置为计算用于确定所计算的相似度总和的可靠性的参考值，

其中，所述合成比确定部件基于所述相似度总和与所述参考值的比来确定所述合成比。

（18）根据（15）至（17）中任一项所述的信号处理单元，其还包括：

增益倍数内插值计算部件，其被配置为计算通过所述增益倍数内插方法的所述相位差像素的内插值；以及

外围像素内插值计算部件，其被配置为计算通过所述外围像素内插方法的所述相位差像素的内插值。

（19）根据（18）所述的信号处理单元，其中，所述外围像素内插值计算部件通过将作为搜索区域内与所述相位差像素相对应的像素的对应像素的像素值与对应像素的加权系数相乘、并且获得对于所有搜索区域的这样的乘法结果的总和来计算所述相位差像素的内插值，所述加权系数通过用相似度总和对在所述参考区域和所述搜索区域之间的相似度进行标准化来获得。

（20）一种信号处理方法，其中，

被配置为对从其中布置有相位差像素的图像拾取部件中输出的像素信号进行处理的信号处理单元

计算在作为相位差像素的外围区域的参考区域与设置在比所述参考区域大的搜索区内的多个搜索区域中的每一个之间的相似度，并且计算作为所述计算结果的总和的相似度总和，其中每个搜索区域具有与所述参考区域的尺寸相同的尺寸，以及

根据所计算的相似度总和，确定通过增益倍数内插方法的所述相位差像素的内插值和通过外围像素内插方法的所述相位差像素的内插值的合成比。

本领域技术人员应当理解的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和变动，只要它们在权利要求或其等价物的范围内。

Claims (20)

1.一种信号处理单元，其包括：

高频信号确定部件，其被配置为基于从其中布置有相位差像素的图像拾取部件输出的像素信号来确定作为所述相位差像素的外围区域的参考区域是否是在特定方向上的高频信号区域；以及

合成比确定部件，其被配置为当所述参考区域被确定为不是在所述特定方向上的高频信号区域时，使用所述参考区域的像素差来确定通过增益倍数内插方法的所述相位差像素的内插值与通过外围像素内插方法的所述相位差像素的内插值的合成比。

2.根据权利要求1所述的信号处理单元，其中，所述合成比确定部件基于在其中所述参考区域的像素差减小的方向上的像素差值来确定所述合成比。

3.根据权利要求2所述的信号处理单元，其中，当所述参考区域的像素值的标准偏差小于预定阈值，并且当在所述方向上的像素差值小于预定阈值，以及当所述方向与所述相位差像素的屏蔽方向相同时，所述高频信号确定部件确定所述参考区域是在所述特定方向上的高频信号区域。

4.根据权利要求1所述的信号处理单元，其中，所述高频信号确定部件使用检测在所述特定方向上的频率的滤波器，以确定所述参考区域是否是在所述特定方向上的高频信号区域。

5.根据权利要求1所述的信号处理单元，其中，所述合成比确定部件使用将在其中所述参考区域的像素差减小的方向上的像素差值与所述合成比相关联的表，以将与在所述方向上的像素差值相对应的合成比确定为所述合成比。

6.根据权利要求1所述的信号处理单元，其中，所述特定方向与所述相位差像素的屏蔽方向相对应。

7.根据权利要求1所述的信号处理单元，其还包括：

平坦度确定部件，其被配置为确定所述参考区域是否是平坦部分，

其中，当所述参考区域被确定为不是所述平坦部分时，所述高频信号确定部件确定所述参考区域是否是在所述特定方向上的高频信号区域。

8.根据权利要求7所述的信号处理单元，其中，所述平坦度确定部件基于所述参考区域的像素值的标准偏差和在其中所述参考区域的像素差减小的方向上的像素差值，来确定所述参考区域是否是所述平坦部分。

9.根据权利要求1所述的信号处理单元，其还包括：

边缘确定部件，其被配置为确定所述参考区域是否是具有浅角度边缘方向的区域，

其中，当所述参考区域被确定为不是具有所述浅角度边缘方向的区域时，所述高频信号确定部件确定所述参考区域是否是在所述特定方向上的高频信号区域。

10.根据权利要求9所述的信号处理单元，其中，所述边缘确定部件基于所述参考区域的像素值的标准偏差和在其中所述参考区域的像素差减小的方向上的像素差值，来确定所述参考区域是否是具有所述浅角度边缘方向的区域。

11.根据权利要求1所述的信号处理单元，其还包括：

焦点对准确定部件，其被配置为确定所述参考区域是否是焦点失调区域，

其中，当所述参考区域被确定为不是在所述特定方向上的高频信号区域并且不是所述焦点失调区域时，所述合成比确定部件确定所述合成比。

12.根据权利要求11所述的信号处理单元，其中，所述焦点对准确定部件基于在参考区域内的动态范围和像素差绝对值来确定所述参考区域是否是所述焦点失调区域，所述参考区域是沿着所述相位差像素的屏蔽方向的外围区域。

13.根据权利要求1所述的信号处理单元，其还包括：

增益倍数内插值计算部件，其被配置为计算通过所述增益倍数内插方法的所述相位差像素的内插值；以及

外围像素内插值计算部件，其被配置为计算通过所述外围像素内插方法的所述相位差像素的内插值，

其中，当所述参考区域被确定为是在所述特定方向上的高频信号区域时，对于所述相位差像素，所述外围像素内插值计算部件根据位于其中所述参考区域的像素差减小的方向上的外围同色像素的像素值计算所述相位差像素的内插值。

14.一种信号处理方法，其中，

被配置为对从其中布置有相位差像素的图像拾取部件中输出的像素信号进行处理的信号处理单元

确定作为所述相位差像素的外围区域的参考区域是否是在特定方向上的高频信号区域，以及

当所述参考区域被确定为不是在所述特定方向上的高频信号区域时，使用所述参考区域的像素差来确定通过增益倍数内插方法的所述相位差像素的内插值与通过外围像素内插方法的所述相位差像素的内插值的合成比。

15.一种信号处理单元，其包括：

相似度总和计算部件，其被配置为基于从其中布置有相位差像素的图像拾取部件中输出的像素信号来计算在作为所述相位差像素的外围区域的参考区域和设置在比所述参考区域大的搜索区内的多个搜索区域中的每一个之间的相似度，并且计算作为所述计算结果的总和的相似度总和，其中每个搜索区域具有与所述参考区域的尺寸相同的尺寸；以及

合成比确定部件，其被配置为根据所计算的相似度总和确定通过增益倍数内插方法的所述相位差像素的内插值与通过外围像素内插方法的所述相位差像素的内插值的合成比。

16.根据权利要求15所述的信号处理单元，其还包括：

相似度计算部件，其被配置为计算在所述参考区域和所述搜索区内多个搜索区域中的每一个之间的相似度，

其中，所述相似度总和计算部件使用通过所述相似度计算部件所计算的相似度来计算所述相似度总和。

17.根据权利要求15所述的信号处理单元，其还包括：

置信参考值计算部件，其被配置为计算用于确定所计算的相似度总和的可靠性的参考值，

其中，所述合成比确定部件基于所述相似度总和与所述参考值的比来确定所述合成比。

18.根据权利要求15所述的信号处理单元，其还包括：

增益倍数内插值计算部件，其被配置为计算通过所述增益倍数内插方法的所述相位差像素的内插值；以及

外围像素内插值计算部件，其被配置为计算通过所述外围像素内插方法的所述相位差像素的内插值。

19.根据权利要求18所述的信号处理单元，其中，所述外围像素内插值计算部件通过将作为所述搜索区域内与所述相位差像素相对应的像素的对应像素的像素值与所述对应像素的加权系数相乘、并且获得对于所有搜索区域的这样的乘法结果的总和来计算所述相位差像素的内插值，所述加权系数通过用所述相似度总和对在所述参考区域和所述搜索区域之间的相似度进行标准化来获得。

20.一种信号处理方法，其中，

被配置为对从其中布置有相位差像素的图像拾取部件中输出的像素信号进行处理的信号处理单元

计算在作为相位差像素的外围区域的参考区域与设置在比所述参考区域大的搜索区内的多个搜索区域中的每一个之间的相似度，并且计算作为所述计算结果的总和的相似度总和，其中每个搜索区域具有与所述参考区域的尺寸相同的尺寸，以及

根据所计算的相似度总和，确定通过增益倍数内插方法的所述相位差像素的内插值和通过外围像素内插方法的所述相位差像素的内插值的合成比。