CN102970463A - 图像处理设备、图像处理方法以及程序 - Google Patents

Abstract

本公开提供了一种图像处理设备、图像处理方法、以及程序。该图像处理设备包括执行图像校正处理的图像信号校正部。图像信号校正部执行：方向确定处理，在包括目标像素的像素区域内检测具有最小像素值梯度的方向作为像素值梯度方向；缺陷检测处理，针对目标像素，基于在方向确定处理中所检测到的最小梯度方向上的参考像素的像素值而计算拉普拉斯算子，并确定目标像素有无缺陷；以及缺陷校正处理，针对在缺陷检测处理中从其已检测到缺陷的目标像素，执行校正像素值的计算，其中该校正像素值是通过应用在方向确定处理中所检测到的方向上的参考像素的像素值而获得的。

Description

图像处理设备、图像处理方法以及程序

技术领域

本公开涉及一种图像处理设备、图像处理方法以及程序，更具体地，涉及一种执行图像校正处理的图像处理设备、图像处理方法以及程序。

背景技术

用在诸如数码相机的成像设备中的图像传感器例如设置有包括RGB阵列的滤色器，并且具有特定波长的光入射到每个像素上的配置。

具体地，主要使用例如具有拜尔（Bayer）阵列的滤色器。

拜尔阵列的捕获图像是所谓的马赛克图像（mosaic image），在马赛克图像中，仅为图像传感器的每个像素设置对应于RGB中的一种颜色的像素值。摄像装置的信号处理单元通过对马赛克图像执行各种类型的信号处理（诸如，像素值内插）来执行用于为每个像素设置RGB的所有像素值的去马赛克（demosaicing）处理，从而生成并输出彩色图像。

对具有根据拜尔阵列的滤色器的捕获图像的信号处理已被评论并且在技术上已被确立达一定程度。然而，还未充分评论对具有与拜尔阵列不同的阵列的图像的信号处理。

另外，例如，第2011-55038号日本未审查专利申请公布等已公开对设置有具有RGBW阵列的滤波器作为属于图像传感器的滤波器的成像设备的捕获图像的校正处理，其中RGBW阵列包括全波长透射型白色（W）像素以及RGB的每种颜色。

发明内容

考虑到前述情况，期望提供一种图像处理设备、图像处理方法以及程序，其中该图像处理设备对图像传感器捕获的图像执行图像校正处理，该图像传感器设置有具有与例如拜尔阵列不同的阵列的滤色器。

根据本公开的第一方面，提供了一种图像处理设备，该图像处理设备包括被配置成执行图像校正处理的图像信号校正部。图像信号校正部执行：方向确定处理，在包括目标像素的像素区域内检测具有最小像素值梯度的方向作为像素值梯度方向；缺陷检测处理，针对目标像素，计算基于在方向确定处理中所检测到的最小梯度方向上的参考像素的像素值的拉普拉斯算子，并确定目标像素有无缺陷；以及缺陷校正处理，针对在缺陷检测处理中从其已检测到缺陷的目标像素，执行校正像素值的计算，其中该校正像素值是通过应用在方向确定处理中所检测到的方向上的参考像素的像素值而获得的。使用通过多种不同的梯度检测处理所算出的多种类型的梯度信息的加权相加结果来执行方向确定处理。

另外，根据本公开的实施例，图像信号校正部在方向确定处理中计算对应于高频纹理的像素值梯度信息、对应于低频纹理的像素值梯度信息以及对应于亮度信号的像素值梯度信息，并且基于三种类型的梯度信息加权相加结果检测具有最小像素值梯度的方向。

另外，根据本公开的实施例，图像信号校正部使用邻近像素的像素值差来计算对应于高频纹理的像素值梯度信息，并且使用非邻近像素的像素值差来计算对应于低频纹理的像素值梯度信息。

另外，根据本公开的实施例，图像信号校正部以包括RGB像素的像素区域为单位、基于RGB像素的像素值而计算亮度信号，并且使用以区域为单位所算出的亮度信号来计算对应于亮度信号的像素值梯度信息。

另外，根据本公开的实施例，图像信号校正部执行根据输出图像的分辨率改变在对三种类型的梯度信息的加权相加处理中所设置的权重的处理，当输出图像的分辨率高时，将对应于高频纹理的像素值梯度信息的权重设置为高于其他类型的梯度信息的权重，并且当输出图像的分辨率低时，将对应于低频纹理的像素值梯度信息的权重设置为高于其他类型的梯度信息的权重。

另外，根据本公开的实施例，图像信号校正部执行根据要处理的输入图像的频带改变在对三种类型的梯度信息的加权相加处理中所设置的权重的处理，当输入图像包括许多高频区域时，将对应于高频纹理的像素值梯度信息的权重设置为高于其他类型的梯度信息的权重，并且当输入图像包括许多低频区域时，将对应于低频纹理的像素值梯度信息的权重设置为高于其他类型的梯度信息的权重。

另外，根据本公开的实施例，图像信号校正部对RGB颜色以2×2的四个像素为单位布置的图像或者RGBW颜色以2×2的四个像素为单位布置的图像执行像素值校正。

另外，根据本公开的实施例，在缺陷检测处理中，图像信号校正部从最小梯度方向选择颜色与要经受缺陷检测的目标像素的颜色相同的像素作为参考像素，将基于目标像素与所选择的像素的不同组合所算出的多个拉普拉斯算子与预定阈值进行比较，并且基于比较结果确定目标像素是否是缺陷像素。

另外，根据本公开的实施例，图像信号校正部从最小梯度方向选择颜色与将经受缺陷检测的目标像素的颜色相同的四个像素作为参考像素，将基于目标像素与所选择的两个像素的不同组合所算出的三个拉普拉斯算子与预定阈值进行比较，并且当所有三个拉普拉斯算子都大于阈值时确定目标像素是缺陷像素。

另外，根据本公开的实施例，在缺陷检测处理中，当在预定参考区域中从最小梯度方向不能选择颜色与要经受缺陷检测的目标像素的颜色相同的仅四个像素时，图像信号校正部在最小梯度方向上颜色不同于目标像素的颜色的像素的位置，基于在具有不同颜色的像素的位置周围颜色与目标像素的颜色相同的像素的像素值而执行像素内插，并且将通过像素内插所生成的内插像素设置为参考像素。

另外，根据本公开的实施例，在缺陷校正处理中，图像信号校正部通过参考像素的像素值的加权相加来计算目标像素的校正像素值。

另外，根据本公开的实施例，在缺陷检测处理中，图像信号校正部计算在目标像素的两侧的两个参考像素之间的像素值梯度，并且通过在像素值梯度小的方向上的两个像素的像素值的加权相加来计算目标像素的校正像素值。

另外，根据本公开的实施例，图像信号校正部执行确定在缺陷检测处理中所执行的校正处理是否是高亮（highlight）错误校正的高亮错误校正确定处理，当确定校正处理是高亮错误校正时输出校正前的原始像素值，并且当确定校正处理不是高亮错误校正时输出校正像素值。

另外，根据本公开的第二方面，提供了一种图像处理设备执行的图像处理方法，该方法包括通过图像信号校正部执行：方向确定处理，在包括目标像素的像素区域内检测具有最小像素值梯度的方向作为像素值梯度方向；缺陷检测处理，针对目标像素，计算基于在方向确定处理中所检测到的最小梯度方向上的参考像素的像素值的拉普拉斯算子，并确定目标像素有无缺陷；以及缺陷校正处理，针对在缺陷检测处理中从其已检测到缺陷的目标像素，执行校正像素值的计算，其中该校正像素值是通过应用在方向确定处理中所检测到的方向上的参考像素的像素值而获得的。使用通过多种不同的梯度检测处理所算出的多种类型的梯度信息的加权相加结果来执行方向确定处理。

另外，根据本公开的第三方面，提供了一种用于使图像处理设备执行图像处理的程序。该程序使得图像信号校正部执行如下处理：方向确定处理，在包括目标像素的像素区域内检测具有最小像素值梯度的方向作为像素值梯度方向；缺陷检测处理，针对目标像素，计算基于在方向确定处理中所检测到的最小梯度方向上的参考像素的像素值的拉普拉斯算子，并确定目标像素有无缺陷；以及缺陷校正处理，针对在缺陷检测处理中从其已检测到缺陷的目标像素，执行校正像素值的计算，其中该校正像素值是通过应用在方向确定处理中所检测到的方向上的参考像素的像素值而获得的。使用通过多种不同的梯度检测处理所算出的多种类型的梯度信息的加权相加结果执行方向确定处理。

应注意，本公开的程序是可以借助于以计算机可读格式提供的存储介质、通信介质提供给可以执行各种程序代码的计算机的程序，例如，存储介质诸如光盘、磁盘或半导体存储器，或者通信介质诸如网络。当以计算机可读格式提供这样的程序时，在计算机上实现根据程序的处理。

注意，在本说明书中描述的各种类型的处理可不仅按已描述的时序来执行，而且可根据执行处理的装置的处理能力或者按需要来并行地或者独立地执行。此外，在本说明书中的系统不限于为逻辑上集合多个装置的配置，所有的装置包括在相同的壳体内。

根据本公开的实施例的配置，提供了一种能够对具有多样地设置的像素阵列的图像以高精确度执行缺陷检测和校正的设备和方法。

具体地，将多种不同的技术应用于包括目标像素的像素区域，从而获取各种类型的梯度检测信息。此外，基于梯度检测信息的加权相加检测最小梯度方向。此外，计算基于在所检测到的最小梯度方向上颜色与目标像素的颜色相同的参考像素的像素值的拉普拉斯算子，并且确定目标像素有无缺陷。此外，将在方向确定处理中所检测到的方向上的参考像素的像素值应用于从其已检测到缺陷的目标像素，从而计算校正像素值。

通过本处理，实现了能够对具有多样地设置的像素阵列的图像以高精确度执行缺陷检测和校正的设备和方法。

附图说明

图1是用于说明图像传感器的配置示例的图；

图2是用于说明图像处理设备的配置示例的图；

图3是用于说明本公开的图像处理设备执行的处理的流程图；

图4是用于说明本公开的图像处理设备执行的处理的流程图；

图5是用于说明本公开的图像处理设备执行的方向确定处理的图；

图6是用于说明本公开的图像处理设备执行的方向确定处理的图；

图7是用于说明本公开的图像处理设备执行的方向确定处理的图；

图8是用于说明本公开的图像处理设备执行的梯度加权平均计算处理的图；

图9是用于说明本公开的图像处理设备执行的梯度加权平均计算处理中的权重确定处理示例的图；

图10是用于说明本公开的图像处理设备执行的梯度加权平均计算处理中的权重确定处理示例的图；

图11是用于说明本公开的图像处理设备执行的梯度加权平均计算处理中的权重确定处理示例的图；

图12是用于说明本公开的图像处理设备执行的梯度计算处理的图；

图13是用于说明本公开的图像处理设备执行的梯度计算处理的图；

图14是用于说明本公开的图像处理设备执行的梯度计算处理的图；

图15是用于说明本公开的图像处理设备执行的梯度计算处理的图；

图16是用于说明本公开的图像处理设备执行的方向确定处理的图；

图17是用于说明本公开的图像处理设备执行的缺陷检测处理的图；

图18是用于说明本公开的图像处理设备执行的像素内插处理的图；

图19是用于说明本公开的图像处理设备执行的像素内插处理的图；

图20是用于说明本公开的图像处理设备执行的像素内插处理的图；

图21是用于说明本公开的图像处理设备执行的像素内插处理的图；

图22是用于说明本公开的图像处理设备执行的拉普拉斯算子计算处理的图；

图23是用于说明本公开的图像处理设备执行的拉普拉斯算子比较处理的图；

图24是用于说明本公开的图像处理设备执行的缺陷校正处理的图；

图25是用于说明本公开的图像处理设备执行的缺陷校正处理的图；

图26是用于说明本公开的图像处理设备执行的缺陷校正处理的变型的图；

图27是用于说明本公开的图像处理设备执行的包括高亮错误校正检测的处理示例的图；

图28是用于说明本公开的图像处理设备执行的包括高亮错误校正检测的处理示例的图；

图29是用于说明本公开的图像处理设备执行的包括高亮错误校正检测的处理示例的图；以及

图30是用于说明本公开的图像处理设备执行的包括高亮错误校正检测的处理示例的图。

具体实施方式

在下文中，将参照附图详细地描述本公开的优选实施例。注意，在本说明书和附图中，以相同的附图标记表示具有基本上相同的功能和结构的结构元件，并且省略对这些结构元件的重复说明。

在下文中，将参照附图详细地描述本公开的图像处理设备、图像处理方法以及程序。另外，将按以下顺序给出描述。

1.图像传感器的配置示例

2.图像处理设备的配置示例

3.图像处理的具体示例

4.方向确定处理

5.方向确定处理的变型

6.缺陷检测处理

7.缺陷校正处理

8.缺陷校正处理的变型

9.执行高亮错误校正确定的处理示例

10.本公开的配置的结论

[图像传感器的配置示例]

将参照图1描述图像传感器的配置示例。图1示出了三个图像传感器的以下配置示例。

（1）拜尔阵列

（2）4分割（4-Division）拜尔RGB阵列

（3）RGBW阵列

（1）在很多照相机中已采用拜尔阵列，并且已经大致确立了对包括具有拜尔阵列的滤色器的捕获图像的信号处理。

然而，对于（2）4分割拜尔RGB阵列和（3）RGBW阵列，未充分评论对由包括这样的滤波器的图像传感器捕获的图像的信号处理。

另外，（2）4分割拜尔RGB阵列对应于在（1）中所示的拜尔阵列的RGB像素中的每一个均被设置为四个像素的阵列。

在下文中，将描述用于执行对图像传感器捕获的图像的信号处理的图像处理设备，其中该图像传感器包括具有（2）4-割拜尔RGB阵列的滤色器。

[2.图像处理设备的配置示例]

图2示出了成像设备100的配置示例，该配置示例是本公开的图像处理设备的配置示例。

如图2所示，成像设备100包括光学透镜105、图像传感器110、图像处理单元120、存储器130以及控制单元140。

另外，图2所示的成像设备100是本公开的图像处理设备的示例，并且本公开的图像处理设备例如包括诸如PC的设备。除图2所示的成像设备100的光学透镜105和图像传感器110以外，诸如PC的图像处理设备还包括其他元件，并且设置有图像传感器110获取的数据的输入单元或存储单元。

在下文中，将描述图2所示的成像设备100作为本公开的图像处理设备的代表示例。另外，图2所示的成像设备100例如包括数码相机、摄像机等。

图2所示的成像设备100的图像传感器110包括具有参照图1的（2）描述的4分割拜尔RGB阵列的滤色器：

红色（R），使红色附近的波长透过；

绿色（G），使绿色附近的波长透过；以及

蓝色（B），使蓝色附近的波长透过。

图像传感器110包括具有这三种类型的谱特征的滤色器。

如上所述，4分割拜尔RGB阵列对应于图1的（1）中所示的拜尔阵列的一个像素被设置为四个像素的阵列。

具有4分割拜尔RGB阵列181的图像传感器110通过光学透镜105以像素为单位接收RGB光，并且通过光电转换生成对应于接收到的信号强度的电信号并输出电信号。通过图像传感器110，获得具有三种类型的RGB谱的马赛克图像。

图像传感器110的输出信号输入到图像处理单元120的图像信号校正部200。

图像信号校正部200对具有4分割拜尔RGB阵列181的图像执行校正处理，例如，缺陷图像的校正。

经图像信号校正部200校正后的图像输入到信号处理部250。信号处理部250执行与现有摄像装置中的信号处理部的处理相同的处理（例如，白平衡（WB）调整、用于为像素设置RGB的像素值的去马赛克处理等），从而生成并输出彩色图像183。彩色图像183存储在存储器130中。

另外，控制信号从控制单元140输入到光学透镜105、图像传感器110以及图像处理单元120，从而控制拍摄处理和信号处理。除根据来自输入单元（未示出）的用户输入的图像拍摄以外，控制单元140例如还根据存储在存储器130中的程序执行各种处理。

[3.图像处理的具体示例]

接下来，将参照图3和随后的附图描述图2的图像处理单元120的图像信号校正部200执行的处理。

图3是图像信号校正部200执行的信号处理的整个序列。

在步骤S101中，图像信号校正部200从图像传感器110输入的捕获图像中选择要处理的一个像素（目标像素），并且参照在目标像素周围的像素区域（例如，N×N个像素）执行像素值梯度的方向确定。

即，图像信号校正部200生成像素值梯度最小的方向作为方向确定结果。

像素值梯度最小的方向对应于边缘方向，并且是像素值的改变小的方向。同时，垂直于边缘方向的方向具有大的像素值梯度并且是像素值的改变大的方向。

例如，当执行对目标像素的处理时，图像信号校正部200参照图3所示的关于目标像素301的N×N个像素的像素区域300执行处理。在图3所示的示例中，N为11。

随后，在步骤102中，图像信号校正部200确定目标像素是否是缺陷像素，并且在目标像素具有缺陷时，在步骤S103中执行缺陷校正。

在下文中，将顺序地详细描述这些处理。

[4.方向确定处理]

首先，将描述在图3的流程图的步骤S101中的对像素值梯度的方向确定处理。

图4示出了方向确定处理的详细流程图。

如图4所示，根据方向确定处理，图像信号校正部200使用关于目标像素301的N×N个像素的像素区域300作为输入，并且顺序地输出对应于目标像素301的像素值梯度的方向确定结果。

具体地，首先，图像信号校正部200在步骤S121中计算高频纹理的梯度，在步骤S122中计算低频纹理的梯度，并且在步骤S123中计算亮度信号的梯度，即，执行三种类型的梯度计算。

此外，图像信号校正部200在步骤S124中针对三个梯度计算结果计算加权平均值，并且在步骤S125中基于加权平均值输出方向确定结果。

在下文中，将描述这些处理的具体示例

图5是示出在步骤S121中的高频纹理的梯度计算处理的示例的图。

在关于目标像素301的N×N个像素的像素区域300中，图像信号校正部200使用邻近于如图5所示的目标像素301的或者在如图5所示的目标像素301周围的G像素的像素值计算以下每个方向的梯度:

水平方向上的梯度：gradH；

垂直方向上的梯度：gradV；

右上方向上的梯度：gradA；以及

右下方向上的梯度：gradD。

具体地，图像信号校正部200根据以下等式1计算高频纹理的梯度。

等式1

$\mathrm{grad}H=\frac{1}{N_H}\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}|G_{x,y}-G_{x+1,y}|$

$\mathrm{grad}V=\frac{1}{N_V}\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}|G_{x,y}-G_{x,y+1}|$

$\mathrm{grad}A=\frac{1}{N_A}\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}|G_{x,y}-G_{x+1,y-1}|$

$\mathrm{grad}D=\frac{1}{N_D}\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}|G_{x,y}-G_{x+1,y+1}|$

另外，G_x,y表示坐标位置（x,y）的G像素值。

N表示在每个方向上的梯度的数量。

图6是示出在步骤S122中的对低频纹理的梯度计算处理的示例的图。

在关于目标像素301的N×N个像素的像素区域300中，图像信号校正部200使用邻近于图6所示的目标像素301的或者在图6所示的目标像素301周围的G像素的像素值来计算以下每个方向的梯度：

水平方向上的梯度：gradH；

垂直方向上的梯度：gradV；

右上方向上的梯度：gradA；以及右下方向上的梯度：gradD。

具体地，图像信号校正部200根据以下等式2计算低频纹理的梯度。

等式2

$\mathrm{grad}H=\frac{1}{N_H}\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}|G_{x,y}-G_{x+4,y}|$

$\mathrm{grad}V=\frac{1}{N_V}\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}|G_{x,y}-G_{x,y+4}|$

$\mathrm{grad}A=\frac{1}{N_A}\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}|G_{x,y}-G_{x+2,y-2}|$

$\mathrm{grad}D=\frac{1}{N_D}\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}|G_{x,y}-G_{x+2,y+2}|$

另外，G_x,y表示坐标位置（x,y）的G像素值。

N表示在每个方向上的梯度的数量。

图7是示出在步骤123中的对亮度信号的梯度计算处理的示例。

在关于目标像素301的N×N个像素的像素区域300中，如图7中所示，图像信号校正部200通过以2×2像素区域为单位对四个RGGB像素进行相加并平均来计算亮度信号：

亮度=（R+G+G+B）/4

接下来，图像信号校正部200使用相加平均值计算以下每个方向的梯度：

水平方向上的梯度：gradH；

垂直方向上的梯度：gradV；

右上方向上的梯度：gradA；以及

右下方向上的梯度：gradD。

具体地，图像信号校正部200根据以下等式3计算低频纹理的梯度。

等式3

$\mathrm{grad}H=\frac{1}{N_H}\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}|L_{x,y}-L_{x+1,y}|$

$\mathrm{grad}V=\frac{1}{N_V}\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}|L_{x,y}-L_{x,y+1}|$

$\mathrm{grad}A=\frac{1}{N_A}\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}|L_{x,y}-L_{x+1,y-1}|$

$\mathrm{grad}D=\frac{1}{N_D}\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}|L_{x,y}-L_{x+1,y+1}|$

另外，L_x,y表示通过亮度计算等式亮度=（R+G+G+B）/4算出的亮度。

N表示在每个方向上的梯度的数量。

接下来，将参照图8描述步骤S124的处理。

在步骤S124中，图像信号校正部200针对三个梯度计算结果（即，在步骤S121中所算出的高频纹理的梯度、在步骤S122中所算出的低频纹理的梯度以及在步骤S123中所算出的亮度信号的梯度）计算加权平均值。

图8所示的示例示出了在水平方向上的梯度的加权平均值gH的计算处理示例。

假设将权重与通过三种类型的方法所获得的梯度相加，使得获得加权平均。

图像信号校正部200将在步骤S121中所算出的高频纹理的梯度gradH_h、在步骤S122中所算出的低频纹理的梯度gradH_l和在步骤S123中所算出的亮度信号的梯度gradH_i分别与权重w_h、w_l和w_i相乘，并将乘积彼此相加，而且计算和作为加权平均值gH。

即，图像信号校正部200根据等式gH=w_h×gradH_h+w_l×gradH_l+w_i×gradH_i来计算梯度的加权平均值gH。

另外，图8所示的示例示出了在水平方向上的梯度的加权平均值gH的计算处理示例。然而，与垂直方向、右上方向和右下方向类似地，图像信号校正部200计算在每个方向上的梯度的加权平均值gV、gA以及gD。

另外，权重w_h、w_l以及w_i分别是对于以下梯度的权重。

权重w_h是对于在步骤S121中所算出的高频纹理的梯度的权重，权重w_l是对于在步骤S122中所算出的低频纹理的梯度的权重，以及权重w_i是对于在步骤S123中所算出的亮度信号的梯度的权重。

可以将权重应用为预设值，例如，诸如1:1:1的权重的固定值。然而，可以将权重设置为对应于图像特征的权重。

将参照图9至图11描述对应于图像特征的权重设置的示例。

首先，将参照图9描述对应于输出图像的分辨率的权重设置示例。

图9示出了对应于以下两个分辨率的权重设置示例：

（a）在输出图像具有全分辨率时的权重设置示例；以及

（b）在输出图像具有半分辨率时的权重设置示例。

全分辨率对应于如下情况：输出与图像传感器的分辨率（即，图像传感器的像素配置）对应的图像。

半分辨率是如下图像的分辨率：其是通过对于具有相同颜色的图像传感器的四个像素块的四个像素值执行相加平均以设置一个像素值，并且将总像素值设置为1/4而获得的，其中，在图像中，在垂直轴和水平轴中的每条轴的像素的数量被设置为1/2。

（a）例如，如下设置在输出图像具有全分辨率时的权重：

对于高频纹理的梯度的权重：wh=0.6；

对于低频纹理的梯度的权重：wl=0.1；以及

对于亮度信号的梯度的权重：wi=0.3。

同时，（b）例如，如下设置在输出图像具有半分辨率时的权重：

对于高频纹理的梯度的权重：wh=0.1；

对于低频纹理的梯度的权重：wl=0.6；以及

对于亮度信号的梯度的权重：wi=0.3。

如上所述，在全分辨率的情况下，可以将高频梯度的权重设置为大于其他权重。

同时，当允许减小输出分辨率时，增大低频梯度的权重的比率。

如上所述那样执行权重设置，使得实现适于输出图像的梯度方向确定。

接下来，将参照图10描述设置与要处理的输入图像的频带对应的权重的处理示例。

在以下将描述的示例中，例如，针对具有许多纹理的图像（即，具有许多高频区域的图像，可替选地，图像区域），将高频梯度的权重设置为大于其他权重。同时，针对像素值的改变小的平面图像，将低频梯度的权重设置为大于其他权重。

作为用于确定图像是具有许多高频区域还是具有许多低频区域的图像的技术，可以使用各种技术。然而，在以下描述中，将描述使用傅里叶变换的示例作为其示例。

图10示出作为在执行设置与输入图像的频带对应的权重的处理时的处理序列的具体处理示例。

首先，在步骤S151中对输入图像执行二维傅里叶变换。

将参照图11描述傅里叶变换。

如果对输入图像执行傅里叶变换，则计算等同于图像阵列的二维阵列的傅里叶系数F。

即，如果对W×H图像执行傅里叶变换，则计算对应于W×H个配置像素的数量的W×H傅里叶系数F（u,v），在W×H图像中，图像的像素数量在水平轴上为W并且在垂直轴上为H。

根据以下等式计算傅里叶系数F(u,v)。

$F(u,v)=\underset{x=0}{\overset{W}{\mathrm{\Σ}}}\underset{y=0}{\overset{H}{\mathrm{\Σ}}}I(x,y)\·{\exp }^{-j\frac{2\mathrm{\π}}{N}\mathrm{ux}}{\exp }^{-j\frac{2\mathrm{\π}}{N}\mathrm{vy}}$

根据以上等式所算出的傅里叶系数F(u,v)包括如在图11的下端所示的其中心处的低频功率（振幅），并且在其外围存储高频功率。

在图10所示的步骤S151中，通过对输入图像（即，图像传感器的输出图像）的傅里叶变换计算傅里叶系数。另外，计算傅里叶系数直到预设周期N。

接下来，在图10所示的步骤S152中，确定对应于所算出的傅里叶系数的权重：

对于高频纹理的梯度的权重：wh；

对于低频纹理的梯度的权重：wl；以及

对于亮度信号的梯度的权重：wi。

如图10的（2）中所示，根据所算出的傅里叶系数，对应于频带的大小来确定每个权重。

如图10的（2）中所示，将傅里叶系数F(u,v)的坐标轴设置为u、v，然后，预先设置三个矩形区域。

即，设置（a）u>T1且v>T1的外侧区域A、（b）T1≥u>T2且T1≥v>T2的区域B、以及（c）T2≥u且T2≥v的中心区域C。

区域A是高频区域，区域C是低频区域，以及区域B是中频区域。

在步骤S151中通过傅里叶变换所算出的傅里叶系数F(u,v)分别包括在（a）至（c）中。

在步骤S152中，例如，通过以下设置确定每个权重。

将（高频）区域A的傅里叶系数的和设置为对于高频纹理的梯度的权重（wh），将（中频）区域B的傅里叶系数的和设置为对于亮度信号的梯度的权重（wi），以及将（低频）区域C的傅里叶系数的和设置为对于低频纹理的梯度的权重（wl）。

执行上述处理，使得能够设置对应于图像的频带的权重，并且作为对应于图像的特征的最佳处理能够执行梯度方向确定。另外，可以以图像或图像的预定区域为单位执行处理。

在图4所示的步骤S124中，针对三个梯度计算结果（即，在步骤S121中所算出的高频纹理的梯度、在步骤S122中所算出的低频纹理的梯度以及在步骤S123中所算出的亮度信号的梯度）计算加权平均值。

即，根据等式gH=w_h×gradH_h+w_l×gradH_l+w_i×gradH_i计算梯度的加权平均值gH。

接下来，将描述在图4所示的步骤S125中的方向确定处理。

在步骤S125中，将在步骤S124中所算出的以下四个值相互进行比较，并且获得具有最小值的方向作为方向确定结果：

水平梯度的加权平均值gH；

垂直梯度的加权平均值gV；

右上梯度的加权平均值gA；以及

右下梯度的加权平均值gD。

如上所述，像素值梯度最小的方向对应于边缘方向，并且是像素值的改变小的方向。同时，垂直于边缘方向的方向具有大的像素值梯度，并且是像素值的改变大的方向。

例如，当具有错误地设置的像素值的缺陷像素（错误像素）包括在从图像传感器输出的图像中并被校正时，执行使用从周围像素中选择的参考像素的像素值来计算校正像素值的处理。

当选择了参考像素时，选择像素值梯度最小的方向上的像素，使得能够更平滑地执行像素值校正。这是为了防止在使用像素值突然改变的方向上的像素的像素值时发生不平滑的像素值设置。

在步骤S125中所获得的方向确定结果用于上述处理。

另外，随后将描述使用方向确定结果的处理示例。

在本公开的方向确定处理中，使用多种类型的梯度执行加权平均。例如，使用多种类型的不同梯度的组合，使得能够应对各种频率的纹理。

具体地，由于在如图1的（2）中所示那样描述的4分割拜尔RGB阵列中，相同颜色的像素的采样间隔不是规则的间隔，所以可按相位获取的纹理的频率是有偏差的。

在本公开的配置中，获取高频纹理和低频纹理并将其彼此组合，从而执行像素值梯度的方向确定处理。使用这种技术，能够以高精确度执行方向确定。

另外，使用亮度信号，能够从以规则的间隔采样的信号获取梯度。

在本公开的方向确定处理中，计算以下三种类型的不同梯度并将其彼此组合，从而执行像素值梯度的方向确定：

（a）高频纹理的梯度；

（b）低频纹理的梯度；以及

（c）亮度信号的梯度。

通过该处理，例如，通过防止像素值梯度的错误方向确定由于像素阵列的不均匀性等而发生，以高精确度执行方向确定。

另外，在相关技术中，提出了确定图像的纹理方向并使用沿所确定的方向的像素信号执行缺陷检测和校正的技术，并且为了确定纹理方向，已知使用亮度信号的技术以及使用最密集地布置成格子图案（checkedpattern）的像素（诸如，拜尔阵列的G像素）的技术。后一种技术被广泛使用，因为该技术使得能够确定高频纹理方向。

然而，如在图1的（2）中所示那样描述的4分割拜尔RGB阵列中，由于G像素没有布置成格子图案，因此，与拜尔阵列相比，可获取的纹理的频率是有偏差的。因此，即使在相同纹理的情况下，也可降低方向确定的精确度，例如，可根据图像位置改变方向确定结果。另外，由于使用以恒定间隔采样的像素来计算梯度，因此，可能无法成功地确定特定频率的纹理方向。

根据本公开的上述技术，能够解决这些问题并以高精确度执行方向确定。

[5.方向确定处理的变型]

接下来，将描述方向确定处理的变型。

（方向确定处理的第一变型）

图12示出了方向确定处理的第一变型的处理示例。

图12示出了高频纹理的梯度和低频纹理的梯度的计算处理示例。

在关于目标像素的N×N像素的像素区域300中，图像信号校正部200使用邻近于如图12所示的目标像素301的或在如图12所示的目标像素301周围的G像素、R像素和B像素的像素值来计算以下每个方向的梯度：

水平方向上的梯度：gradH；

垂直方向上的梯度：gradV；

右上方向上的梯度：gradA；以及

右下方向上的梯度：gradD。

本处理示例是在获得高频纹理的梯度和低频纹理的梯度时除G像素之外还使用R像素或B像素的处理示例。

具体地，根据以下等式4计算高频纹理的梯度。

等式4

$\mathrm{grad}H=\frac{1}{N_H}\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}|G_{x,y}-G_{x+1,y}|+|R_{x,y}-R_{x+1,y}|+|B_{x,y}-B_{x+1,y}|$

$\mathrm{grad}V=\frac{1}{N_V}\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}|G_{x,y}-G_{x,y+1}|+|R_{x,y}-R_{x,y+1}|+|B_{x,y}-B_{x,y+1}|$

$\mathrm{grad}A=\frac{1}{N_A}\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}|G_{x,y}-G_{x+1,y-1}|+|R_{x,y}-R_{x+1,y-1}|+|B_{x,y}-B_{x+1,y-1}|$

$\mathrm{grad}D=\frac{1}{N_D}\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}|G_{x,y}-G_{x+1,y+1}|+|R_{x,y}-R_{x+1,y+1}|+|B_{x,y}-B_{x+1,y+1}|$

另外，根据以下等式5计算低频纹理的梯度。

等式5

$\mathrm{grad}H=\frac{1}{N_H}\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}|G_{x,y}-G_{x+1,y}|+|R_{x,y}-R_{x+1,y}|+|B_{x,y}-B_{x+1,y}|$

$\mathrm{grad}V=\frac{1}{N_V}\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}|G_{x,y}-G_{x,y+1}|+|R_{x,y}-R_{x,y+1}|+|B_{x,y}-B_{x,y+1}|$

$\mathrm{grad}A=\frac{1}{N_A}\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}|G_{x,y}-G_{x+1,y-1}|+|R_{x,y}-R_{x+1,y-1}|+|B_{x,y}-B_{x+1,y-1}|$

$\mathrm{grad}D=\frac{1}{N_D}\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}|G_{x,y}-G_{x+1,y+1}|+|R_{x,y}-R_{x+1,y+1}|+|B_{x,y}-B_{x+1,y+1}|$

（方向确定处理的第二变型）

图13示出了方向确定处理的第二变型的处理示例。

图13示出了在重加马赛克（remosaicing）处理中使用方向确定结果的示例以及在去马赛克处理中使用方向确定结果的示例。

这些方向确定结果可以应用于使用方向确定结果的各种处理以及缺陷像素的校正。

另外，重加马赛克处理是改变为从图像传感器输出的每个像素所设置的RGB阵列以生成不同像素阵列的处理。

具体地，当来自图像传感器的输出例如是如在图1的（2）中所示那样描述的4分割拜尔RGB阵列时，重加马赛克处理是将该阵列改变为图1中所示的拜尔阵列的处理。

例如，通常，图2所示的成像设备100的图像处理单元120中的信号处理部250执行对图1的（1）所示的拜尔阵列的图像信号的信号处理。因此，当来自图像传感器110的输出是不同于拜尔阵列的像素阵列时，执行将像素阵列改变为拜尔阵列的重加马赛克处理，并且处理结果输入到信号处理部250，使得信号处理部250能够具有与现有的一般信号处理部相同的配置。

去马赛克处理是对所有像素设置所有RGB像素值的处理。即，在图2的配置中，生成对应于彩色图像183的图像。

根据重加马赛克处理和去马赛克处理，为了在目标像素位置（内插像素位置）设置RGB像素值中的任一个，执行像素值内插处理以从周围像素中选择颜色与在内插像素位置所设置的颜色相同的像素作为参考像素，并且使用所选择的参考像素的像素值来确定目标像素位置的像素值。

在内插处理中，将具有小的像素值梯度的方向设置为参考像素的选择方向，使得能够更平滑地计算内插像素值。

在根据图13所示的流程图的实施例中，在重加马赛克处理或去马赛克处理中，将像素值梯度的方向确定结果用作用于确定参考像素的方向的信息。

（方向确定处理的第三变型）

图14示出了方向确定处理的第三变型的处理示例。

根据图14所示的示例，除参照图4描述的方向确定处理的步骤S121至步骤S123之外，增加4像素相加平均的梯度计算处理作为步骤S131。

具体地，如图15所示，以具有相同RGB颜色的四个像素块为单位来计算像素值的相加平均，并且根据相加平均计算梯度。

即，以图15所示的四个像素块为单位设置具有四个像素的像素值的相加平均值的一个像素，并且使用像素的总数已被设置为像素的1/4的图像来计算水平方向、垂直方向、右上方向以及右下方向的梯度。

另外，这些梯度的计算方法等同于之前参照图7所描述的对亮度信号的梯度计算处理，并且通过以上述等式3设置像素值（四个像素的相加平均值）而不是亮度来计算梯度。

在图14的步骤S124中，图像信号校正部200针对四个梯度计算结果（即，在步骤S121中所算出的高频纹理的梯度、在步骤S122中所算出的低频纹理的梯度、在步骤S123中所算出的亮度信号的梯度以及在步骤S131中所算出的4像素相加平均的梯度）计算加权平均值。

如上所述，能够获得各种类型的设置，诸如要执行加权平均值的计算处理的梯度类型的增加或减少。

（方向确定处理的第四变型）

对于参照图1的（2）所描述的4分割拜尔RGB阵列，已描述上述的处理示例。然而，本公开的处理可以应用于其他阵列的图像数据，例如，诸如图1的（1）中所示的拜尔阵列、图1的（3）中所示的WRGB阵列或者图16所示的4分割WRGB阵列的各种阵列。

[6.缺陷检测处理]

接下来，将描述在图3的流程图的步骤S102中的缺陷检测处理。

步骤S102的处理用于确定目标像素是否是缺陷像素，并且当包括缺陷时，在步骤S103中执行缺陷校正。

图17示出了缺陷检测处理的详细流程图。

使用关于目标像素501的N×N个像素的像素区域500作为输入，并且使用在图3的流程图的步骤S101中所检测到的方向信息作为输入。

在缺陷检测处理中，选择性地执行步骤S201的在水平方向上的像素内插、步骤S202的在垂直方向上的像素内插、步骤S203的在右上方向上的像素内插以及步骤S204的在右下方向上的像素内插。

即，图像信号校正部200选择与图3的流程图的步骤S101中作为方向确定结果所获得的梯度最小的方向对应的方向，并且执行像素内插。

例如，当梯度最小的方向为水平方向时，图像信号校正部200执行步骤S201的在水平方向上的像素内插。

将参照图18描述像素内插处理的具体示例。

图18示出目标像素是R像素的处理示例。

图18示出了在水平方向上的内插处理示例（对应于步骤S201）以及在右下方向上的内插处理示例（对应于步骤S204）。

图像信号校正部200从每个方向选择相同颜色的像素，并且使用所选择的像素作为参考像素来执行内插处理。

然而，如图18中所示，根据方向改变参考像素的数量。

在图18所示的在水平方向上的内插处理示例中，由于包括在水平方向上的目标像素的、颜色与R像素（中心目标像素）相同的R像素的数量为六，因此，可获得这六个像素作为参考像素。

然而，在图18所示的在右下方向上的内插处理示例中，由于包括在右下方向上的目标像素的、颜色与R像素（中心目标像素）相同的R像素的数量为三，因此，可获得这三个像素作为参考像素。

根据参考方向改变可以参考的像素的数量。具体地，当目标像素为R像素或B像素时，显著减少对应于参考方向的参考像素的数量。

如上所述，当在某一参考方向上仅得到小于预设阈值的参考像素时，如图19所示，执行内插处理，以选择在垂直于参考方向的方向上的相同颜色的像素，并且基于所选择的像素的像素值而在参考方向上设置内插像素值。内插像素被设置为参考像素，并且允许增加参考像素的数量，然后，基于这些参考像素执行作为目标像素的像素值设置的内插处理。

在如同参照图1的（2）所描述的4分割拜尔RGB阵列一样采样间隔不恒定的阵列中，由于根据方向像素数量小，因此通过上述内插来增加参考像素的数量。通过该处理，能够增加参考像素的数量，使得能够以高精确度计算校正像素值。

如上所述，当在参考方向上参考像素的数量小时，在参考方向上设置内插像素，使得能够在所有方向上将具有相同RGB颜色的参考像素的数量设置为彼此相同。

通过该处理，为目标像素设置校正像素值，使得能够以高精确度执行校正，并且在所有方向上以相同的颜色执行相同的处理。结果，能够使用相同的校正电路执行处理，从而导致设置在设备中的电路规模减小。

参照图19所述的处理是如下的内插处理示例：选择在垂直于参考方向的方向上具有相同颜色的像素，并且基于所选择的像素的像素值而在参考方向上设置内插像素值。

在参考方向上设置内插像素值的处理不限于在垂直于参考方向的方向上的像素，并且可使用在内插像素位置的任何给定方向上具有相同颜色的周围像素。

将参照图20和图21描述该处理的示例。

与图19类似，图20示出了在在右下方向上设置参考像素时的处理示例。

根据处理示例，目标像素501为中心R像素，并且在右下方向上将R像素设置为参考像素。

将描述图20所示的在参考像素内插位置521处设置R像素时的处理。

另外，图20示出了在图像的水平方向被定义为X并且垂直方向被定义为Y时(x,y)=(1,1)至(11,11)的图像。

目标像素501是在坐标位置(x,y)=(6,6)处的R像素。

参考像素内插位置521是坐标位置(8,8)的B像素的位置。

在坐标位置(8,8)的B像素的位置处内插R像素。

在本示例中，在所有方向以及参考方向的垂直方向（在本示例中为右下方向）上选择具有相同颜色的像素。具体地，选择距参考像素内插位置521预设距离的、具有相同颜色的预设数量的像素。

图20示出了如下处理示例：选择在参考像素内插位置521周围的5个R像素作为要应用于内插像素值计算的像素。在图20中所示的由粗线围绕的像素是R像素。具体地，R像素如下：

（1）在坐标位置(x,y)=(6,7)处的R像素；

（2）在坐标位置(x,y)=(9,7)处的R像素；

（3）在坐标位置(x,y)=(6,10)处的R像素；

（4）在坐标位置(x,y)=(9,10)处的R像素；以及

（5）在坐标位置(x,y)=(10,10)处的R像素；

计算这五个R像素的像素值的相加平均并将其设置为参考像素内插位置521的R像素的内插像素值。

即，根据以下等式计算参考像素内插位置521的R像素的内插像素值Ra。

$\mathrm{Ra}=\underset{i,j}{\mathrm{\Σ}}{\mathrm{\α}}_{i,j}R(i,j)$

参照图21，提供对于在将要应用于内插处理的像素数量设置为三时的具体内插像素值计算处理示例的描述。

图21示出了如下处理示例：选择在参考像素内插位置521周围的三个R像素作为要应用于内插像素值计算的像素。在图21中由粗线围绕的像素是R像素。具体地，R像素如下：

（1）在坐标位置(x,y)=(6,7)处的R像素；

（2）在坐标位置(x,y)=(9,7)处的R像素；以及

（3）在坐标位置(x,y)=(9,10)处的R像素。

计算这三个R像素的像素的相加平均并将其设置为参考像素内插位置521的R像素的内插像素值。

即，根据以下等式计算参考像素内插位置521的R像素的内插像素值Ra。

$\mathrm{Ra}=\underset{i,j}{\mathrm{\Σ}}{\mathrm{\α}}_{i,j}R(i,j)$

$=\mathrm{\α}\×R\left(\mathrm{7,6}\right)+\mathrm{\β}\×R\left(\mathrm{7,9}\right)+\mathrm{\γ}\×R\left(\mathrm{10,9}\right)$

如上所述，作为在参考方向上内插参考像素的处理，可以应用如参照图19所述的应用颜色与在垂直于参考方向的方向上的目标像素的颜色相同的像素的处理、或者参照图20和图21所述的应用颜色与在参考方向上在内插像素位置周围的目标像素的颜色相同的像素的处理。

接下来，将参照图22描述图17的流程图的步骤S205的拉普拉斯算子计算处理。

如在图22的（a）中所示，选择包括在上述内插处理中所提取的目标像素501的具有相同颜色的五个像素。

此外，如在图22的（b）中所示，这五个像素以像素位置的顺序布置成行，使得设置包括目标像素501的像素的以下三种类型的组合阵列：

（b1）目标像素501被设置在右端的3像素阵列；

（b2）目标像素501被设置在中心的3像素阵列；以及

（b3）目标像素501被设置在左端的3像素阵列。

基于三个3像素阵列（b1）至（b3），计算以下三种类型的拉普拉斯算子L1、L2和L3：

（L1）基于3像素阵列（b1）的拉普拉斯算子L1；

（L2）基于3像素阵列（b2）的拉普拉斯算子L2；以及

（L3）基于3-像素阵列（b3）的拉普拉斯算子L3。

另外，根据以下等式6计算拉普拉斯算子。

即，当从左起将3像素阵列的像素的像素位置设置为i-1、i和i+1，并且将像素位置的像素值设置为G_i-1、G_i和G_i+1时，根据以下等式6计算拉普拉斯算子L_i。

等式6

L_i＝G_i-1+G_i+1-2G_i

接下来，将参照图23描述图17的流程图的步骤S206的拉普拉斯算子比较和缺陷检测处理。

如图23所示，通过比较在步骤S205中所算出的拉普拉斯算子来执行缺陷检测。

具体地，当L₁＞τ、L₂>τ且L₃>τ时，确定目标像素是缺陷像素。

另外，τ是预设的阈值。

例如，在图23的（a）中所示的两个示例中，当满足条件L₁>τ、L₂>τ且L₃>τ时，确定目标像素501是缺陷像素。

同时，在图23的（b）中所示的两个示例中，当不满足条件L₁>τ、L₂>τ且L₃>τ时，确定目标像素501不是缺陷像素。

[7.缺陷校正处理]

接下来，将描述图3的流程图的步骤S103中的缺陷校正处理。

将参照图24和图25描述校正处理的详情。

如图24所示，包括用于缺陷检测的目标像素501的具有相同颜色的五个像素应用于校正处理。这五个像素布置在图3的流程图的步骤S101中的方向确定处理中像素值梯度小的方向上。即，五个像素包括参照图18至图22所描述的目标像素和参考像素。其一部分可包括通过参照图19所述的内插处理而生成的像素。

使用如图24所示的包括目标像素501并且布置在像素值梯度小的方向上的五个像素，在步骤S301中计算参考像素间梯度。

参考像素间梯度是在目标像素501的两侧的两个像素之间的像素值梯度。

计算图24中所示的参考像素511与参考像素512之间的像素值梯度g1和参考像素513与参考像素514之间的像素值梯度g2。

在步骤S302中，使用参考像素间梯度来计算校正值，即，目标像素501的校正像素值。

参照图25，将详细描述步骤S301的参考像素间梯度计算处理和步骤S302的校正像素值计算处理。

如在图25的（a）中所示，在步骤S301的参考像素间梯度计算处理中，计算在目标像素的两侧的两个参考像素间梯度。

在图25的（a）中所示的示例是R像素的处理示例。R1至R5表示像素的像素值。

在步骤S301的参考像素间梯度计算处理中，根据以下等式计算梯度：

g1＝|R1-R2|，以及

g2＝|R4-R5|。

在步骤S301中，计算这两个参考像素间梯度。

接下来，将参照图25的（b）描述步骤S302的处理，即，校正像素值计算处理。

将校正像素值设置为R3’。

根据以下等式计算校正像素值R3’：

当g1≤g2时，R3′＝α×R1+(1-α)×R2；以及

当g1>g2时，R3′＝β×R4+(1-β)×R5。

在以上等式中，α和β是大于等于0且小于等于1的预设参数。

通过这些处理，计算被确定为缺陷像素的目标像素501的校正像素值，并且将其设置为目标像素的像素值。

例如由图2所示的成像设备100的图像处理单元120中的图像信号校正部200执行这些处理。

具有设置的校正像素值的校正图像输出到信号处理部250，其中信号处理部250执行与现有摄像装置中的信号处理部相同的处理（例如，白平衡（WB）调整、为像素设置RGB的像素值的去马赛克处理等），从而生成并输出彩色图像183.

如上所述，在本公开的处理中，使用包括要处理的目标像素并且布置在像素值梯度小的方向上的多个像素，当确定目标像素是否是缺陷像素时，通过内插补充在该方向上具有相同颜色的像素，并且设置预定数量以上的参考像素。

此外，当对被确定为缺陷像素的目标像素执行校正处理时，使用通过根据需要执行的内插处理所设置的预定数量以上的参考像素来执行校正处理。

如上所述，在本公开的处理中，执行已将参考像素的数量设置为等于或大于预定数量的处理，从而导致检测和校正精确度提高。此外，由于可以在所有方向上准备相同RGB颜色的像素，因此，可以在所有方向上以相同颜色执行基于相同算法的处理，使得使用相同处理电路执行处理，从而导致电路规模减小。另外，可以减少由于像素阵列引起的校正的相对优点和缺点，即，校正的有利方向与不利方向之间的差异。具体地，在具有宽采样间隔的像素中获得有利效果。

[8.缺陷校正处理的变型]

已对于参照图1的（2）所述的4分割拜尔RGB阵列描述了上述处理示例。然而，即使对于上述缺陷检测和校正处理，与上述方向确定处理类似，本公开的处理可以应用于其他阵列的图像数据，例如，诸如在图1的（1）中所示的拜尔阵列、在图1的（3）中所示的WRGB阵列或者在图26中所示的4分割WRGB阵列的各种阵列。

另外，在上述实施例中，已描述了在执行缺陷检测处理时执行像素内插的处理示例。然而，可以使用如下配置：在执行校正处理时执行像素内插，而在缺陷检测时不执行像素内插。另外，可以使用在进行方向确定时执行像素内插的配置。

[9.执行高亮错误校正确定的处理示例]

接下来，将参照图27和随后的附图描述执行高亮错误校正确定的处理。

例如，如果拍摄星空，则星星作为黑暗中明亮的点被拍摄。在由摄像装置拍摄的图像中，由于在低亮度像素中设置点和高亮度像素，因此，可将高亮度像素确定为缺陷像素。如果高亮度像素被识别为缺陷像素，则用等于周围像素（即，低亮度像素）的像素值的像素值校正表示原来的星星的像素。该误差校正将被称为高亮误差校正。

在下文中，将提供对如下实施例的描述：验证为了校正缺陷像素而执行的校正是否是高亮错误校正，并且当确定校正是高亮错误校正时输出校正前的像素值。

图27示出了用于说明本实施例的处理序列的流程图。

图2的图像处理单元120中的图像信号校正部200执行根据图27中所示的流程图的处理。

在步骤S401中，图像信号校正部200从自图像传感器110输入的捕获图像中选择要处理的一个像素（目标像素），并且参照在目标像素周围的像素区域（例如，N×N个像素）执行像素值梯度的方向确定。

输入图像例如是图27中所示的图像600，并且是关于目标像素601的N×N个像素的图像。

步骤S401的方向确定处理等同于上述图3的流程图的步骤S101的方向确定处理。即，图像信号校正部200生成像素值梯度最小的方向作为方向确定结果。

像素值梯度最小的方向对应于边缘方向，并且是像素值的改变小的方向。同时，垂直于边缘方向的方向具有大的像素值梯度，并且是像素值的改变大的方向。

另外，例如，当执行对目标像素的处理时，参照如图27中所示的关于目标像素601的N×N个像素的像素区域600执行处理。在图27所示的示例中，N是11。

在步骤S402中，图像信号校正部200执行缺陷检测处理以确定目标像素是否是缺陷像素。

步骤S402的缺陷检测处理等同于上述图3的流程图的步骤S102的缺陷检测处理。即，基于参照图17至图23描述的拉普拉斯算子计算，图像信号校正部200执行缺陷检测。

步骤S403是与关于目标像素是否是缺陷像素的结果对应的分支步骤。

当确定目标像素不是缺陷像素时，图像信号校正部200进行到步骤S407以输出校正前的原始像素值。

同时，当确定目标像素是缺陷像素时，图像信号校正部200进行到步骤S404以执行校正处理。

步骤S404的校正处理等同于上述图3的流程图的步骤S103的缺陷校正处理。即，图像信号校正部200执行参照图24和图25描述的像素值校正处理。

接下来，图像信号校正部200进行到步骤S405以执行确定在步骤S404中所执行的校正处理是否是高亮错误校正的处理。

在步骤S405至步骤S408中，图像信号校正部200根据关于在步骤S404中所执行的校正处理是否是高亮错误校正的确定结果，如下确定并输出目标像素的输出像素值。

即，当确定在步骤S404中所执行的校正处理不是高亮错误校正时，图像信号校正部200进行到步骤S408以输出校正后的像素值。

同时，当确定在步骤S404中所执行的校正处理是高亮错误校正时，图像信号校正部200进行到步骤S407以输出校正前的原始像素值。

将参照28至图30描述高亮错误校正确定处理和输出像素值确定处理的详情。

图28是用于说明高亮错误校正确定处理和输出像素值确定处理的详细处理的图。

在高亮错误校正确定处理中，图像信号校正部200接收要处理的目标像素的校正像素值611、要处理的目标像素的校正前的原始像素值612以及关于要处理的目标像素的邻近区域（例如，关于目标像素的N×N个像素的区域）的信息613。

在步骤S501中，图像信号校正部200对目标像素的邻近区域信息613执行白平衡计算。

将参照图29描述该处理。

图29示出了作为关于目标像素601的邻近区域信息的N×N个像素的像素区域600。

图像信号校正部200计算像素区域600的白平衡。

计算白平衡，作为在像素区域600中所算出的RGB的像素值平均aveR、aveG和aveB的比。

具体地，图像信号校正部200根据以下等式计算白平衡。

$\mathrm{aveR}=\frac{1}{N_R}\underset{i=1}{\overset{N_R}{\mathrm{\Σ}}}{R}_i$

$\mathrm{aveG}=\frac{1}{N_G}\underset{i=1}{\overset{N_G}{\mathrm{\Σ}}}{G}_i$

$\mathrm{aveB}=\frac{1}{N_B}\underset{i=1}{\overset{N_B}{\mathrm{\Σ}}}{B}_i$

在图28的步骤S501中，图像信号校正部200根据以上等式计算目标像素的邻近区域的白平衡。

在步骤S502中，图像信号校正部200计算不同颜色像素的平均值。不同颜色像素的平均值是颜色与要经受高亮错误校正的目标像素的颜色不同的像素的平均值。

以下，如图30所示，根据以下等式计算例如不同颜色像素的平均值P。

$P=\{\frac{\mathrm{aveG}}{\mathrm{aveB}}(B_1+B_2)+\frac{\mathrm{aveG}}{\mathrm{aveR}}(R_1+R_2)\}/4$

该等式对应于在目标像素是G像素时计算不同颜色像素的平均值P的计算示例。如图30所示，图像信号校正部200从在目标像素601周围的八个像素中选择不同颜色像素B1、B2、R1和R2，并且使用之前算出的白平衡值aveG/aveR和aveG/aveB来计算不同颜色像素的平均值P。

另外，等式对应于在目标像素是G像素时的计算示例。然而，当目标像是是B像素或R像素时，图像信号校正部200从目标像素周围选择颜色不同于目标像素的颜色的像素，以颜色为单位将像素的像素值相加，并执行白平衡调整，从而计算不同颜色像素的平均值P。

在步骤S503中，图像信号校正部200确定在图27的步骤S404中所执行的缺陷校正是否是高亮错误校正，并且根据确定结果，确定是否允许输出像素具有校正像素值或原始像素值。

如图30所示，根据以下等式执行该输出像素选择处理。

当||G_org-P||＞||G_cor-P||时，输出G_cor。

当||G_org-P||≤||G_cor-P||时，输出G_org。

在以上等式中，G_org表示目标像素的原始像素值，G_cor表示目标像素的校正像素值，以及P表示插入像素值。

即，图像信号校正部200输出校正前和校正后接近不同颜色像素的平均值P的值。

当校正后的校正像素值与不同颜色像素的平均值P之间的差等于或大于校正前的原始像素值与不同颜色像素的平均值P之间的差时，图像信号校正部200确定校正是高亮错误校正，并且执行输出原始像素值的处理。

当校正后的校正像素值与不同颜色像素的平均值P之间的差小于校正前的原始像素值与不同颜色像素的平均值P之间的差时，图像信号校正部200确定校正不是高亮错误校正而是适合的校正，并且执行输出校正像素值的处理。

如参照图28至图30描述的处理一样，执行图27的流程图的步骤S405至步骤S408的处理。

通过这些处理，当执行了高亮错误校正时，能够输出原始像素值。

[10.本公开的配置的结论]

到目前为止，参照具体实施例详细描述了本公开的实施例。然而，应当注意，在不背离本公开的范围情况下，各种变型和替选实施例对于本领域的技术人员而言是显而易见的。即，应当注意，本公开内容通过实施例公开，并且不以由这些实施例限制的方式解释。为了确定本公开的范围，需要考虑权利要求的范围。

此外，本技术也可以进行如下配置。

（1）一种图像处理设备包括：

图像信号校正部，被配置成执行图像校正处理，

其中，所述图像信号校正部执行：

方向确定处理，在包括目标像素的像素区域中检测具有最小像素值梯度的方向作为像素值梯度方向；

缺陷检测处理，针对所述目标像素，计算基于在所述方向确定处理中所检测到的最小梯度方向上的参考像素的像素值的拉普拉斯算子，并确定所述目标像素有无缺陷；

缺陷校正处理，针对在所述缺陷检测处理中从其已检测到缺陷的目标像素，执行校正像素值的计算，其中所述校正像素值是通过应用在所述方向确定处理中所检测到的方向上的参考像素的像素值而获得的，

其中，使用通过多种不同的梯度检测处理所算出的多种类型的梯度信息的加权相加结果来执行所述方向确定处理。

（2）根据（1）所述的图像处理设备，其中，所述图像信号校正部在所述方向确定处理中计算对应于高频纹理的像素值梯度信息、对应于低频纹理的像素值梯度信息以及对应于亮度信号的像素值梯度信息，并且基于这三种类型的梯度信息的加权相加结果来检测具有最小像素值梯度的方向。

（3）根据（2）所述的图像处理设备，其中，所述图像信号校正部使用邻近像素的像素值差计算对应于所述高频纹理的像素值梯度信息，并且使用非邻近像素的像素值差计算对应于所述低频纹理的像素值梯度信息。

（4）根据（2）或（3）所述的图像处理设备，其中，所述图像信号校正部以包括RGB像素的像素区域为单位、基于所述RGB像素的像素值来计算亮度信号，并且使用以区域为单位所算出的亮度信号来计算对应于所述亮度信号的像素值梯度信息。

（5）根据（1）至（4）中的任一项所述的图像处理设备，其中，所述图像信号校正部执行根据输出图像的分辨率改变在所述三种类型的梯度信息的加权相加处理中所设置的权重的处理，当所述输出图像的分辨率高时，将对应于所述高频纹理的像素值梯度信息的权重设置为高于其他类型的梯度信息的权重，并且当所述输出图像的分辨率低时，将对应于所述低频纹理的像素值梯度信息的权重设置为高于其他类型的梯度信息的权重。

（6）根据（1）至（5）中的任一项所述的图像处理设备，其中，所述图像信号校正部执行根据要处理的输入图像的频带改变在所述三种类型的梯度信息的加权相加处理中所设置的权重的处理，当所述输入图像包括许多高频区域时，将对应于所述高频纹理的像素值梯度信息的权重设置为高于其他类型的梯度信息的权重，并且当所述输入图像包括许多低频区域时，将对应于低频纹理的像素值梯度信息的权重设置为高于其他类型的梯度信息的权重。

（7）根据（1）至（6）中的任一项所述的图像处理设备，其中，所述图像信号校正部对RGB颜色以2×2的四个像素为单位布置的图像或者RGBW颜色以2×2的四个像素为单位布置的图像执行像素值校正。

（8）根据（1）至（7）中的任一项所述的图像处理设备，其中，在所述缺陷检测处理中，所述图像信号校正部从所述最小梯度方向选择颜色与要经受缺陷检测的目标像素的颜色相同的像素作为参考像素，将基于所述目标像素与所选择的像素的不同组合所算出的多个拉普拉斯算子与预定阈值进行比较，并且基于比较结果确定所述目标像素是否是缺陷像素。

（9）根据（8）所述的图像处理设备，其中，所述图像信号校正部从所述最小梯度方向选择颜色与要经受缺陷检测的目标像素的颜色相同的四个像素作为参考像素，将基于所述目标像素与所选择的两个像素的不同组合所算出的三个拉普拉斯算子与预定阈值进行比较，并且在所有三个拉普拉斯算子大于所述阈值时确定所述目标像素是缺陷像素。

（10）根据（8）或（9）所述的图像处理设备，其中，在所述缺陷检测处理中，当在预定参考区域中从所述最小梯度方向不能选择颜色与要经受缺陷检测的目标像素的颜色相同的仅四个像素时，所述图像信号校正部在所述最小梯度方向上颜色不同于所述目标像素的颜色的像素的位置，基于在具有不同颜色的像素的位置周围颜色与所述目标像素的颜色相同的像素的像素值而执行像素内插，并且将通过所述像素内插所生成的内插像素设置为参考像素。

（11）根据（8）至（10）中的任一项所述的图像处理设备，其中，在所述缺陷校正处理中，所述图像信号校正部通过所述参考像素的像素值的加权相加来计算所述目标像素的校正像素值。

（12）根据（8）至（11）中的任一项所述的图像处理设备，其中，在所述缺陷检测处理中，所述图像信号校正部计算在所述目标像素的两侧的两个参考像素之间的像素值梯度，并且通过在所述像素值梯度小的方向上的两个像素的像素值的加权相加来计算所述目标像素的校正像素值。

（13）根据（8）至（12）中的任一项所述的图像处理设备，其中，所述图像信号校正部执行确定在所述缺陷检测处理中所执行的校正处理是否是高亮错误校正的高亮错误确定处理，当确定所述校正处理是所述高亮错误校正时输出校正前的原始像素值，并且当确定所述校正处理不是所述高亮错误校正时输出校正像素值。

（14）根据（1）所述的图像处理设备，其中，所述图像信号校正部在所述方向确定处理中计算对应于高频纹理的像素值梯度信息、对应于低频纹理的像素值梯度信息、对应于亮度信号的像素值梯度信息以及对应于4像素相加平均的像素值梯度信息，并且基于这三种类型的梯度信息的加权相加结果来检测具有最小像素值梯度的方向。

另外，本公开的配置包括在上述设备和系统中执行要执行的处理的方法中、用于允许执行处理的程序以及记录程序的记录介质中。

另外，可以通过硬件、软件或者硬件与软件的组合配置执行在说明书中描述的一系列处理。当通过软件执行处理时，记录处理序列的程序可以在被安装到嵌入专用硬件中的计算机内的存储器中后执行，或者程序可以在被安装到能够执行各种处理的通用计算机后执行。例如，可以预先将程序记录在记录介质上。除了从记录介质安装到计算机的之外，程序还可以通过诸如局域网（LAN）或者因特网的网络来接收，并可以安装到诸如嵌入式硬盘的记录介质上。

另外，在说明书中所述的各种处理可不仅根据描述按时序执行，还可根据用于执行处理的设备的处理能力或者根据需要、以并行或独立的方式执行。另外，在本说明书中的系统对应于多个设备的逻辑集合配置，并且每种配置的设备不需要在相同的壳体中。

到目前为止，如上所述，根据本公开的实施例的配置，提供了能够针对具有不同地设置的像素阵列的图像以高精确度执行缺陷检测和校正的设备和方法。

具体地，将多种不同技术应用到包括目标像素的像素区域，从而获取各种类型的梯度检测信息。此外，基于各种类型的梯度检测信息的加权相加来检测最小梯度方向。此外，计算基于在所检测到的最小梯度方向上颜色与目标像素相同的参考像素的像素值的拉普拉斯算子，以确定目标像素的缺陷有无。此外，对从其已检测到缺陷的目标像素应用在方向确定处理中检测到的方向上的参考像素的像素值，从而计算校正像素值。

通过本处理，实现了能够针对具有不同地设置的像素阵列的图像以高精确度执行缺陷检测和校正的设备和方法。

本公开包含与2011年8月31日向日本专利局提交的日本优先权专利申请JP 2011-190053以及2012年3月27日向日本专利局提交的日本优先权专利申请JP 2012-070537中公开的主题内容相关的主题内容，其全部内容通过引用合并于此。

Claims (16)

1.一种图像处理设备，包括：

图像信号校正部，被配置成执行图像校正处理，

其中，所述图像信号校正部执行：

方向确定处理，在包括目标像素的像素区域中检测具有最小像素值梯度的方向作为像素值梯度方向；

缺陷检测处理，针对所述目标像素，计算基于在所述方向确定处理中所检测到的最小梯度方向上的参考像素的像素值的拉普拉斯算子，并确定所述目标像素有无缺陷；

缺陷校正处理，针对在所述缺陷检测处理中从其已检测到缺陷的目标像素，执行校正像素值的计算，其中所述校正像素值是通过应用在所述方向确定处理中所检测到的方向上的参考像素的像素值而获得的；

其中，使用通过多种不同的梯度检测处理所算出的多种类型的梯度信息的加权相加结果执行所述方向确定处理。

2.根据权利要求1所述的图像处理设备，其中，所述图像信号校正部在所述方向确定处理中计算对应于高频纹理的像素值梯度信息、对应于低频纹理的像素值梯度信息以及对应于亮度信号的像素值梯度信息，并且基于这三种类型的梯度信息的加权相加结果来检测具有最小像素值梯度的方向。

3.根据权利要求2所述的图像处理设备，其中，所述图像信号校正部使用邻近像素的像素值差计算对应于所述高频纹理的像素值梯度信息，并且使用非邻近像素的像素值差计算对应于所述低频纹理的像素值梯度信息。

4.根据权利要求2所述的图像处理设备，其中，所述图像信号校正部以包括RGB像素的像素区域为单位、基于所述RGB像素的像素值来计算亮度信号，并且使用以区域为单位所算出的亮度信号来计算对应于所述亮度信号的像素值梯度信息。

5.根据权利要求1所述的图像处理设备，其中，所述图像信号校正部执行根据输出图像的分辨率改变在所述三种类型的梯度信息的加权相加处理中所设置的权重的处理，当所述输出图像的分辨率高时，将对应于所述高频纹理的像素值梯度信息的权重设置为高于其他类型的梯度信息的权重，并且当所述输出图像的分辨率低时，将对应于所述低频纹理的像素值梯度信息的权重设置为高于其他类型的梯度信息的权重。

6.根据权利要求1所述的图像处理设备，其中，所述图像信号校正部执行根据要处理的输入图像的频带改变在所述三种类型的梯度信息的加权相加处理中所设置的权重的处理，当所述输入图像包括许多高频区域时，将对应于所述高频纹理的像素值梯度信息的权重设置为高于其他类型的梯度信息的权重，并且当所述输入图像包括许多低频区域时，将对应于低频纹理的像素值梯度信息的权重设置为高于其他类型的梯度信息的权重。

7.根据权利要求1所述的图像处理设备，其中，所述图像信号校正部对RGB颜色以2×2的四个像素为单位布置的图像或者RGBW颜色以2×2的四个像素为单位布置的图像执行像素值校正。

8.根据权利要求1所述的图像处理设备，其中，在所述缺陷检测处理中，所述图像信号校正部从所述最小梯度方向选择颜色与要经受缺陷检测的目标像素的颜色相同的像素作为参考像素，将基于所述目标像素与所选择的像素的不同组合所算出的多个拉普拉斯算子与预定阈值进行比较，并且基于比较结果确定所述目标像素是否是缺陷像素。

9.根据权利要求8所述的图像处理设备，其中，所述图像信号校正部从所述最小梯度方向选择颜色与要经受缺陷检测的目标像素的颜色相同的四个像素作为参考像素，将基于所述目标像素与所选择的两个像素的不同组合所算出的三个拉普拉斯算子与预定阈值进行比较，并且在所有三个拉普拉斯算子大于所述阈值时确定所述目标像素是缺陷像素。

10.根据权利要求8所述的图像处理设备，其中，在所述缺陷检测处理中，当在预定参考区域中从所述最小梯度方向不能选择颜色与要经受缺陷检测的目标像素的颜色相同的仅四个像素时，所述图像信号校正部在所述最小梯度方向上颜色不同于所述目标像素的颜色的像素的位置，基于在具有不同颜色的像素的位置周围颜色与所述目标像素的颜色相同的像素的像素值而执行像素内插，并且将通过所述像素内插所生成的内插像素设置为参考像素。

11.根据权利要求8所述的图像处理设备，其中，在所述缺陷校正处理中，所述图像信号校正部通过所述参考像素的像素值的加权相加来计算所述目标像素的校正像素值。

12.根据权利要求8所述的图像处理设备，其中，在所述缺陷检测处理中，所述图像信号校正部计算在所述目标像素的两侧的两个参考像素之间的像素值梯度，并且通过在所述像素值梯度小的方向上的两个像素的像素值的加权相加计算所述目标像素的校正像素值。

13.根据权利要求1所述的图像处理设备，其中，所述图像信号校正部执行确定在所述缺陷检测处理中所执行的校正处理是否是高亮错误校正的高亮错误确定处理，当确定所述校正处理是所述高亮错误校正时输出校正前的原始像素值，并且当确定所述校正处理不是所述高亮错误校正时输出校正像素值。

14.根据权利要求1所述的图像处理设备，其中，所述图像信号校正部在所述方向确定处理中计算对应于高频纹理的像素值梯度信息、对应于低频纹理的像素值梯度信息、对应于亮度信号的像素值梯度信息以及对应于4像素相加平均的像素值梯度信息，并且基于这三种类型的梯度信息的加权相加结果来检测具有最小像素值梯度的方向。

15.一种图像处理设备执行的图像处理方法，所述方法包括通过图像信号校正部执行：

方向确定处理，在包括目标像素的像素区域中检测具有最小像素值梯度的方向作为像素值梯度方向；

缺陷检测处理，针对目标像素，计算基于在所述方向确定处理中所检测到的最小梯度方向上的参考像素的像素值的拉普拉斯算子，并确定所述目标像素有无缺陷；

缺陷校正处理，针对在所述缺陷检测处理中从其已检测到缺陷的目标像素，执行校正像素值的计算，其中所述校正像素值是通过应用在所述方向确定处理中所检测到的方向上的参考像素的像素值而获得的；

其中，使用通过多种不同的梯度检测处理所算出的多种类型的梯度信息的加权相加结果来执行所述方向确定处理。

16.一种程序，用于使图像处理设备执行图像处理，

其中，所述程序使得图像信号校正部执行：

方向确定处理，在包括目标像素的像素区域中检测具有最小像素值梯度的方向作为像素值梯度方向；

缺陷检测处理，针对目标像素，计算基于在所述方向确定处理中所检测到的最小梯度方向上的参考像素的像素值的拉普拉斯算子，并确定所述目标像素有无缺陷；

缺陷校正处理，针对在所述缺陷检测处理中从其已检测到缺陷的目标像素，执行校正像素值的计算，其中所述校正像素值是通过应用在所述方向确定处理中所检测到的方向上的参考像素的像素值而获得的；

其中，使用通过多种不同的梯度检测处理所算出的多种类型的梯度信息的加权相加结果来执行所述方向确定处理。

Images