CN102572272B

CN102572272B - 图像处理设备、图像处理方法和程序

Info

Publication number: CN102572272B
Application number: CN201110415703.7A
Authority: CN
Inventors: 原彰宏
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2010-12-20
Filing date: 2011-12-13
Publication date: 2014-08-20
Anticipated expiration: 2031-12-13
Also published as: JP2012134581A; JP5655543B2; CN102572272A; US20120154637A1; US8537267B2

Abstract

本发明涉及图像处理设备、图像处理方法和程序。一种图像处理设备，包括：距离信息产生单元，被构造为基于针对每个相差检测像素基于作为由包括用于产生用于进行聚焦确定的确定像素值的相差检测像素和用于产生用于产生图像的图像产生像素值的图像产生像素的程序装置产生的图像数据的包括确定像素值和图像产生像素值的图像数据的确定像素值计算的散焦量产生距离信息；以及插值单元，被构造为基于产生的距离信息和由图像产生像素产生的图像产生像素值对构建图像数据的像素之中的要进行插值的像素的图像产生像素值进行插值。

Description

图像处理设备、图像处理方法和程序

技术领域

本发明涉及图像处理设备，更具体地讲，涉及对色彩信息进行插值的图像处理设备和图像处理方法以及使得计算机执行该方法的程序。

背景技术

最近，使用成像器件对例如人的物体进行成像以产生成像图像并且记录产生的成像图像的成像设备(例如，数字相机)已经得到广泛应用。以拜尔阵列形式布置在布置于光接收表面中的像素中的彩色滤光器的成像器件已经得到广泛应用。

最近，在多功能和高分辨率的成像设备以后，已经考虑这样一种成像器件：在布置在成像器件中的像素中布置除用于产生图像的像素以外的像素，或着布置利用除用于拜尔阵列的彩色滤光器(R、G和B)之外的彩色滤光器的像素。例如，考虑这样一种成像器件，其中用于产生图像的现有像素(图像产生像素)和用于多功能的新像素布置在同一成像器件内。

例如，已经提出了包括这种成像器件的成像设备，例如像素(相差检测像素)对通过成像透镜的光进行光瞳分割的成像设备(例如，日本未审专利申请公布No.2009-145401)。这个成像设备对由光接收部件接收的一半被摄体光进行遮蔽并且提供用于执行光瞳分割以形成一对图像的相差检测像素并且测量形成的图像之间的间隙以计算聚焦偏离。这个成像设备基于计算的聚焦偏离计算成像透镜的移动量并且基于计算的移动量调整成像透镜的位置，从而执行聚焦控制。

发明内容

在上述的现有技术中，由于相差检测像素和图像产生像素包括在一个成像器件中，所以不需要单独地向成像设备提供包括用于聚焦检测的成像器件和用于成像图像的成像器件的两个成像器件。

在上述的现有技术中，如果对由成像器件产生的图像数据执行插值处理，则使用图像产生像素的像素值对相差检测像素和图像产生像素的色彩信息进行插值(去马赛克处理)。因此，与对由不包括相差检测像素而仅仅包括图像产生像素的成像器件产生的图像数据执行插值处理的情况相比较，用于插值处理的像素值的比率下降。在对由包括相差检测像素和图像产生像素的成像器件产生的图像数据执行插值处理的情况下，防止由于用于插值处理的像素值的比率的下降导致的图像数据的图像质量下降是重要的。

鉴于这些情况提供本发明，希望可以提高图像数据的图像质量。

根据本发明的一个实施例，提供了一种图像处理设备、图像处理方法和使得计算机执行该方法的程序，其中，该图像处理设备包括：估计单元，被构造为基于作为由成像器件产生的图像数据的、包括确定像素值和图像产生像素值的图像数据的确定像素值来估计与成像器件的相差检测像素的位置对应的图像产生像素值，其中所述成像器件包括用于产生用于进行聚焦确定的确定像素值的相差检测像素和用于产生用于产生图像的图像产生像素值的图像产生像素；以及插值单元，被构造为基于估计的图像产生像素值和由图像产生像素产生的图像产生像素值对构成图像数据的各像素的图像产生像素值进行插值。因此，可以使用由相差检测像素产生的确定像素值执行图像产生像素值的插值处理。

图像处理设备还可以包括距离信息产生单元，该距离信息产生单元被构造为根据基于每个相差检测像素的确定像素值计算的散焦量产生距离信息，插值单元基于估计的图像产生像素值、距离信息以及由图像产生像素产生的图像产生像素值对构成图像数据的像素的图像产生像素值进行插值。因此，可以使用由距离信息产生单元产生的距离信息执行图像产生像素值的插值处理。在这种情况下，插值单元可以使用要进行插值的像素作为基准像素来设置要成为基准像素的插值的色彩作为目标色彩，如果使用距离信息插值基准像素的图像产生像素值则基于相差检测像素的距离信息计算图像产生像素的距离信息，设置位于距离基准像素的预定范围内的像素中的、保持与目标色彩相关的图像产生像素值的像素作为目标像素，在基于距离信息通过目标像素的距离信息指定的距离内检测距离基准像素的预定范围内的目标像素，并且通过将与检测的目标像素的目标色彩相关的图像产生像素值的均值设置到与要进行插值的像素的目标色彩相关的图像产生像素值来对图像产生像素值进行插值。

因此，可以基于距离信息在通过目标像素的距离信息指定的距离内检测靠近基准像素的目标像素并且通过将与检测的目标像素的目标色彩有关的图像产生像素值的均值设置成与要进行插值的像素的目标色彩有关的图像产生像素值对图像产生像素值进行插值。在这种情况下，插值单元可以建立通过目标像素的距离信息指定的距离的像素的次数分布，设置次数分布的次数属于最大类的距离作为基准，检测与距离基准预定范围内的距离对应的目标像素，并且设置与检测的目标像素的目标色彩相关的图像产生像素值的均值作为与要进行插值的像素的目标色彩相关的图像产生像素值。因此，可以通过次数分布(柱状图)检测目标像素。

相差检测像素可以包括用于对被摄体光进行聚焦的微透镜、用于通过接收被摄体光产生图像产生像素值的光接收部件和位于微透镜与光接收部件之间以部分遮蔽被摄体光的遮光单元，以及估计单元基于由要进行估计的相差检测像素产生的确定像素值和由与要进行估计的相差检测像素相邻的相差检测像素产生的确定像素值计算与由要进行估计的相差检测像素的遮光单元遮蔽的光相关的像素值，并且基于计算的像素值和要进行估计的相差检测像素的确定像素值估计相差检测像素的位置的图像产生像素值。因此，可以计算与由相差检测像素遮光单元遮蔽的光有关的像素值并且基于计算的像素值和要进行估计的相差检测像素的确定像素值估计相差检测像素的位置的图像产生像素值。在这种情况下，图像产生像素可以包括由用于对指示红色的波长区域之外的光进行遮蔽的红色滤光器覆盖的红色像素、由用于对指示蓝色的波长区域之外的光进行遮蔽的蓝色滤光器覆盖的蓝色像素和由用于对指示绿色的波长区域之外的光进行遮蔽的绿色滤光器覆盖的绿色像素，相差检测像素由透射可见光区域的光的白色滤光器或透明层进行覆盖，以及估计单元估计与白色相关的图像产生像素作为相差检测像素的位置的图像产生像素值。因此，可以估计与白色有关的图像产生像素值作为相差检测像素的位置的图像产生像素值。

插值单元可以使用要进行插值的像素作为基准像素将要成为基准像素的插值的色彩设置成目标色彩，对与构成图像数据的像素的图像产生像素值的白色相关的图像产生像素值进行插值，并且然后基于与位于距离基准像素的预定范围内的像素的目标色彩相关的图像产生像素值、与由同作为要进行插值作为位于距离基准像素预定范围内的像素的像素相同的滤光器覆盖的像素的白色相关的图像产生像素值和与基准像素的白色相关的图像产生像素值，对与基准像素的目标色彩相关的图像产生像素值进行插值。因此，可以基于与位于距离基准像素的预定范围内的像素的目标色彩有关的图像产生像素值、与由与要进行插值的像素相同滤光器覆盖作为位于距离基准像素的预定范围内的像素的像素的白色有关的图像产生像素值和与基准像素的白色有关的图像产生像素值对与基准像素的目标色彩有关的图像产生像素值进行插值。

插值单元可以与基于与位于距离基准像素预定范围内的像素的白色相关的图像产生像素值计算的白色相关的图像产生像素值的低频分量、与基于与由位于距离基准像素预定范围内的目标色彩的滤光器覆盖的像素的目标色彩相关的图像产生像素值计算的目标色彩有关的图像产生像素值的低频分量和与基准像素的白色有关的图像产生像素值，对与基准像素的目标色彩相关的图像产生像素值进行插值。因此，可以基于与目标色彩有关的图像产生像素值的低频分量和与基准像素的白色有关的图像产生像素值对与基准像素的目标色彩有关的图像产生像素值进行插值。

在成像器件中，在与特定方向正交的正交方向上交替布置通过在该特定方向上布置图像产生像素而构造的第一行和通过在该特定方向上布置相差检测像素而构造的第二行，以及插值单元基于与从与在基准像素的正交方向上位于预定范围内的相差检测像素的白色相关的图像产生像素值计算的白色相关的图像产生像素值的低频分量和与从与位于预定范围内的绿色像素的绿色相关的图像产生像素值计算的白色相关的图像产生像素值的低频分量以及与基准像素的绿色相关的图像产生像素值，对与绿色像素的白色相关的图像产生像素值进行插值。因此，可以对由通过在特定方向上布置图像产生像素构建的第一行和通过在特定方向上布置相差检测像素的第二行在与特定方向正交的正交方向上进行交替布置的成像器件产生的图像数据的图像产生像素值进行插值。

根据本发明的另一个实施例，提供了一种图像处理设备，包括：距离信息产生单元，被构造为基于针对每个相差检测像素计算的散焦量产生距离信息，其中基于作为由成像器件产生的图像数据的、包括确定像素值和图像产生像素值的图像数据的确定像素值来计算所述散焦量，所述成像器件包括用于产生用于进行聚焦确定的确定像素值的相差检测像素和用于产生用于产生图像的图像产生像素值的图像产生像素，以及插值单元，该插值单元被构造为基于产生的距离信息和由图像产生像素产生的图像产生像素值对构成图像数据的像素之中的要进行插值的像素的图像产生像素值进行插值。因此，可以使用由距离信息产生单元产生的距离信息执行图像产生像素值的插值处理。

根据本发明的实施例，可以获得优良效果(例如，提高图像数据的图像质量)。

附图说明

图1是示出根据本发明的第一实施例的成像系统的内部结构的例子的示意图。

图2是示出根据本发明的第一实施例的成像系统的成像设备的功能结构的例子的框图。

图3是示出根据本发明的第一实施例的去马赛克单元的功能结构的例子的框图。

图4是示出包括在根据本发明的第一实施例的成像器件内的像素的布置的例子的示意图。

图5A和图5B是示出根据本发明的第一实施例的图像产生像素的例子和相差检测像素的例子的示意性截面图。

图6A到图6F是示出根据本发明的第一实施例的由相差检测像素W值计算单元执行的相差像素W值的计算的例子的示意图。

图7A到图7C是示出根据本发明的第一实施例的由R和B像素W计算单元执行的R像素和B像素的W值的计算的例子的示意图。

图8A和图8B是示出根据本发明的第一实施例的由R和B像素G计算单元执行的R像素和B像素的W值的计算的例子的示意图。

图9A和图9B是示出由根据本发明的第一实施例的成像设备的去马赛克单元执行的使用W值的去马赛克处理的例子和现有技术的成像设备的去马赛克处理的例子的示意图。

图10A和图10B是示出根据本发明的第一实施例的由成像设备的去马赛克单元执行的使用距离信息的去马赛克处理的例子和现有技术的成像设备的去马赛克处理的例子的示意图。

图11是示出由根据本发明的第一实施例的成像设备执行的成像过程的例子的流程图。

图12是示出根据本发明的第一实施例的成像处理操作的去马赛克处理(步骤S930)的处理过程的例子的流程图。

图13是示出根据本发明的第一实施例的由相差检测像素W值计算单元执行的相差检测像素W值计算处理(步骤S940)的处理过程的例子的流程图。

图14是示出根据本发明的第一实施例的由R和B像素W值计算单元执行的图像产生像素W值计算处理(步骤S950)的处理过程的例子的流程图。

图15是示出根据本发明的第一实施例的由R和B像素G值计算单元和相差检测像素G值计算单元执行的G值计算处理(步骤S960)的处理过程的例子的流程图。

图16是示出根据本发明的第一实施例的由R值计算单元执行的R值计算处理(步骤S970)的处理过程的例子的流程图。

图17是示出根据本发明的第一实施例的由B值计算单元执行的B值计算处理(步骤S980)的处理过程的例子的流程图。

图18是示出根据本发明的第二实施例的去马赛克单元的功能结构的例子的框图。

图19A和图19B是示出根据本发明的第二实施例的由G像素W值计算单元执行的G像素的W值的计算的例子的示意图。

图20是示出根据本发明的第二实施例的由G像素W值计算单元和R和B像素W值计算单元执行的图像产生像素W值计算处理(步骤S991)的处理过程的例子的流程图。

图21是示出根据本发明的第二实施例的由R和B像素G值计算单元和相差检测像素G值计算单元执行的G值计算处理(步骤S995)的处理过程的例子的流程图。

图22是示出布置在两列内的图像产生像素和布置在两列内的相差检测像素进行交替布置的成像器件的像素的布置的例子作为本发明的第一实施例的变型例子的示意图。

图23是示出布置了每个均具有G滤光器的相差检测像素的成像器件的像素的布置的例子作为本发明的第一实施例的变型例子的示意图。

具体实施方式

将在下文中描述本发明的实施方式(下文称作实施例)。将按照下面顺序进行描述。

1.第一实施例(成像控制：使用相差检测像素的亮度值的去马赛克处理的例子)

2.第二实施例(成像控制：从G值与W值之间的相关性计算G像素的W值的例子)

3.变型例子

1.第一实施例

成像系统的内部结构例子

图1是示出根据本发明的第一实施例的成像系统10的内部结构的例子的示意图。这个成像系统10包括成像设备100和可交换镜头170。

此外，在本发明的第一实施例中，成像系统10是用于通过成像形成图像的单镜头反光相机，其中，透镜可交换。在图1中，为了便于进行描述，将省去当通过成像形成图像时较少使用的内部结构(例如，闪光灯的结构)。

在图1中，为了便于进行描述，关于镜头的驱动仅仅示出了涉及聚焦透镜的驱动的结构，而省去了涉及缩放透镜的驱动的结构。

成像设备100对物体进行成像，产生图像数据(数字数据)，并且记录产生的图像数据作为图像内容(静止图像内容或者运动图像内容)。在下文中将主要描述记录静止图像内容(静止图像文件)作为图像内容(图像文件)的例子。这个成像设备100包括快门单元112、成像器件113、模拟前端(AFE)114、校正电路115、相差计算电路150、白平衡(WB)电路116和γ校正电路117。成像设备100包括去马赛克单元140、图像存储器119、电池121、电源电路122、通信接口(I/F)123、卡I/F 124和记忆卡125。此外，成像设备100包括视频随机访问存储器(VRAM)126、液晶显示器(LCD)127、操作单元128、快门驱动控制单元131和快门驱动电机(M1)132。成像设备100包括光圈驱动控制单元133、聚焦驱动控制单元134、主控制单元136和连接端子161到163。

快门单元112通过幕帘体打开和关闭从被摄体入射到成像器件113的入射光的光路，该幕帘体在所有方向上进行移动并且由快门驱动电机(M1)132进行驱动。在光路打开的情况下，快门单元112将来自被摄体的入射光提供给成像器件113。

成像器件113将来自被摄体的入射光光电转换成电信号，接收来自被摄体的入射光，并且产生模拟电信号。例如，成像器件113由互补金属氧化物半导体(CMOS)传感器和电荷耦合器件(CCD)传感器实现。在成像器件113中，布置了产生用于基于从被摄体接收的光产生成像图像的信号的像素(图像产生像素)以及用于产生用于执行相差检测的信号的相差检测像素。

在成像器件113中，作为图像产生像素，布置了通过透射红(R)光的滤光器接收红光的像素(R像素)和通过透射绿(G)光的滤光器接收绿光的像素(G像素)。此外，在成像器件113中，除了R像素和G像素以外，作为图像产生像素还布置了通过透射蓝(B)光的滤光器接收蓝光的像素(B像素)。将参照图4描述成像器件113。成像器件113向AFE 114提供通过光电转换产生的电信号(模拟图像信号)。

AFE 114对从成像器件113提供的模拟图像信号执行预定的信号处理并且例如对该模拟图像信号执行信号处理(例如，去噪和信号放大)。AFE 114将经历过信号处理的图像信号转换成数字信号并且产生数字图像信号。AFE 114基于从主控制单元136提供的基准时钟产生用于成像器件113的成像操作的定时脉冲，并且将产生的定时脉冲提供给成像器件113。AFE 114将产生的数字图像信号(像素值)提供给校正电路115。

校正电路115对从AFE 114提供的图像信号执行预定的信号处理并且校正图像信号。例如，校正电路115执行黑电平校正、缺陷校正、暗影校正、混合色彩校正、等等。这里，黑电平校正是通过从每个像素值减去在通常遮挡的区域的像素中产生的像素值调整黑电平从而使得如果接收的光量是“0”则像素值变成“0”的处理。缺陷校正是根据没有在成像器件113中正常发挥功能的像素(缺陷像素)的周围像素的像素值估计并校正该缺陷像素的像素值的处理。暗影校正是通过向整个图像的像素值应用根据图像高度的增益校正由于像素位置从成像器件113的中心向外围部分偏离导致的亮度恶化(暗影)的处理。混合色彩校正是通过估计混合色彩的增量并且执行相减校正由于光从相邻像素泄漏导致的像素值的增加(混合色彩)的处理。校正电路115将经历过这些校正处理的图像信号之中的由相差检测像素产生的图像信号提供给相差计算电路150。校正电路115将图像信号(由相差检测像素和图像产生像素产生的图像信号)提供给WB电路116。

WB电路116基于预定基准色彩(即白色)执行校正成像图像的色彩平衡的处理(所谓的白平衡校正)。WB电路116将经历过白平衡校正的图像信号提供给γ校正电路117。

γ校正电路117校正经历过白平衡校正的图像数据的灰阶属性。更具体地讲，γ校正电路117使用预定的伽马校正表对由每个像素产生的像素值执行非线性转换(所谓的γ校正)。γ校正电路117将经历过γ校正的图像信号提供给去马赛克单元140。

相差计算电路150基于从校正电路115提供的由相差检测像素产生的图像信号、使用相差检测方法检测聚焦的偏离。相差计算电路150执行聚焦的物体的聚焦的偏移的计算以自动聚焦(AF)，并且向主控制单元136提供关于检测的聚焦的信息。针对相差检测像素的每个像素，相差计算单元150检测一对相差检测像素的聚焦的偏移并且将关于检测的聚焦的信息提供给去马赛克单元140。

去马赛克单元140执行去马赛克处理(插值处理)从而使得在每个像素位置处校准R、G和B的所有通道。去马赛克单元140基于由相差检测像素产生的图像信号、由图像产生像素(R像素、G像素和B像素)产生的图像信号以及关于聚焦的信息执行去马赛克处理。去马赛克单元140将经历过去马赛克处理的图像信号提供给图像存储器119。

图像存储器119临时保持从去马赛克单元140提供的图像信号。图像存储器119用作用于根据来自主控制单元136的控制信号对图像执行预定处理的工作区域。图像存储器119临时保持从记忆卡125读取的图像信号。

电池121向操作成像系统10供电并且例如包括例如镍氢可再充电电池的二次电池。电池121向电源电路122供电。

电源电路122将从电池121提供的电力转换成用于操作成像系统10的每个单元的电压。例如，在主控制单元136以5V电压进行操作的情况下，电源电路122产生5V电压并且将产生的电压提供给主控制单元136。电源电路122将产生的电压提供给成像系统10的每个单元。在图1中，部分省去了从电源电路122到每个单元的电源线。

通信I/F 123是用于在外部装置与主控制单元136之间进行数据传输的接口。

卡I/F 124是用于在记忆卡125与主控制单元136之间进行数据传输的接口。

记忆卡125是用于保持图像信号的存储介质并且保持通过卡I/F124提供的数据。

VRAM 126是用于临时保持在LCD 127上显示的图像的缓冲器存储器并且向LCD 127提供保持的图像。

LCD 127在主控制单元136的控制之下显示图像并且LCD 127例如包括彩色液晶面板。LCD 127显示成像图像、记录图像、模式设置屏幕、等等。

例如，当按下快门按钮(未示出)时，操作单元128接收用户操作并且将按压信号提供给主控制单元136。操作单元128将涉及用户操作的信号提供给主控制单元136。

快门驱动控制单元131基于从主控制单元136提供的快门控制信号产生用于驱动快门驱动电机(M1)132的驱动信号并且将产生的驱动信号提供给快门驱动电机(M1)132。

快门驱动电机(M1)132是基于从快门驱动控制单元131提供的驱动信号驱动快门单元112的电机。

光圈驱动控制单元133基于从主控制单元136提供的关于光圈的信息产生用于控制光圈的驱动的信号(光圈驱动控制信号)并且通过连接端子161将产生的光圈驱动信号提供给可交换镜头170。

主控制单元136控制成像设备100的每个单元的操作并且例如包括具有用于存储控制程序的ROM的宏计算机。

聚焦驱动控制单元134基于从主控制单元136提供的关于聚焦的信息产生指示透镜的驱动量的驱动量信号。聚焦驱动控制单元134通过连接端子163向可交换镜头170提供产生的驱动量信号。

可交换镜头170包括多个透镜，对由成像设备100成像的图像的光进行聚焦并且使用聚焦的光在成像表面上形成图像。可交换镜头170包括光圈驱动机构181、光圈驱动电机(M3)182、透镜位置检测单元183、透镜驱动机构184、透镜驱动电机(M4)185和镜头筒190。镜头筒190包括光圈191和透镜组194。在透镜组194中，为了便于描述，仅仅示出了缩放透镜192和聚焦透镜193。

光圈驱动机构181基于通过连接端子161提供的光圈驱动控制信号产生用于驱动光圈驱动电机(M3)182的驱动信号。光圈驱动机构181将产生的驱动信号提供给光圈驱动电机(M3)182。

光圈驱动电机(M3)182是基于从光圈驱动机构181提供的驱动信号驱动光圈191的电机。光圈驱动电机(M3)182通过驱动光圈191改变光圈191的光圈直径。

透镜位置检测单元183检测透镜组194的缩放透镜192和聚焦透镜193的位置。透镜位置检测单元183通过连接端子162将关于检测的位置的信息(透镜位置信息)提供给成像设备100。

透镜驱动机构184基于通过连接端子163提供的驱动量信号产生用于驱动透镜驱动电机(M4)185的驱动信号。透镜驱动机构184将产生的驱动信号提供给透镜驱动电机(M4)185。

透镜驱动电机(M4)185是基于从透镜驱动机构184提供的驱动信号驱动聚焦透镜193的电机。透镜驱动电机(M4)185通过驱动聚焦透镜193来调整聚焦。

镜头筒190是安装构成可交换镜头170的透镜组194的各个透镜的部分。

光圈191是调整从被摄体入射到成像设备100的入射光的量的遮光材料。

缩放透镜192在镜头筒190中在光轴方向上进行移动以改变焦距并且调整包括在成像图像中的被摄体的放大率。

聚焦透镜193在镜头筒190中在光轴方向上进行移动以调节聚焦。成像系统的功能结构例子

图2是示出根据本发明的第一实施例的成像系统10的成像设备100的功能结构的例子的框图。

在该附图中，将描述每个相关结构直到产生在成像器件产生图像信号以后显影得到图像。

成像设备100包括成像器件210、模拟信号处理单元220、A/D转换器230、黑电平处理单元240、图像校正单元250和距离信息计算单元260。成像设备100包括WB处理单元270、γ校正单元275、去马赛克单元300、图像处理单元280、显示单元281和记录单元282。

成像器件210将来自被摄体的入射光光电转换成电信号以产生图像信号。成像器件210将由布置在成像器件210中的图像产生像素和相差检测像素产生的模拟图像信号提供给模拟信号处理单元220。成像器件210对应于图1所示的成像器件113。

模拟信号处理单元220对从成像器件210提供的模拟图像信号执行预定的模拟信号过程。例如，通过相关双采样(CDS)电路、自动增益控制(AGC)电路、箝位电路等等实现模拟信号处理单元220。也就是说，模拟信号处理单元220执行模拟图像信号的去噪、信号放大等等。模拟信号处理单元220将经历过信号处理的模拟图像信号提供给A/D转换器230。模拟信号处理单元220对应于图1所示的AFE 114。

A/D转换器230将从模拟信号处理单元220提供的模拟图像信号转换成数字图像信号(像素值)。也就是说，A/D转换器230将每个像素的连续量的信号改变成由数值指示的信号。A/D转换器230将转换后的数字图像信号提供给黑电平处理单元240。A/D转换器230对应于图1所示的AFE 114。

黑电平处理单元240对从A/D转换器230提供的像素值执行黑电平校正。黑电平处理单元240将经历过黑电平校正的图像信号提供给图像校正单元250。黑电平处理单元240对应于图1所示的校正电路115。

图像校正单元250对从黑电平处理单元240提供的图像信号执行检测(例如，缺陷校正、暗影校正和混合色彩校正)。图像校正单元250将由经历过校正的图像信号中由相差检测像素产生的图像信号提供到距离信息计算单元260。图像校正单元250将经历过校正的图像信号(两种像素(图像产生像素和相差检测像素)的信号的图像信号)提供给WB处理单元270。图像校正单元250对应于图1所示的校正电路115。

距离信息计算单元260基于从图像校正单元250提供的相差检测像素的图像信号计算距离信息，即关于布置相差检测像素的位置的聚焦的偏移的信息。针对每对相差检测像素，距离信息计算单元260检测布置一对相差检测像素的位置的聚焦的偏移(散焦量)。距离信息计算单元260通过信号线261将关于检测的聚焦的偏移的信息(例如，通过像素的数目指示一对图像的偏移量的值)提供给去马赛克单元300作为距离信息。距离信息计算单元260检测聚焦的物体的聚焦的偏移并且通过信号线262将检测到的聚焦的偏移提供给主控制单元136。此外，距离信息计算单元260对应于图1所示的相差计算电路150。距离信息计算单元260对应于距离信息产生单元。

WB处理单元270对从图像校正单元250提供的图像信号执行白平衡校正。例如，WB处理单元270从图像产生像素(R像素、G像素和B像素)的图像信号中指定估计为原始白色的部分从而计算校正增益并且调整(校正)相差检测像素、R像素、G像素和B像素的图像信号的电平平衡。WB处理单元270将校正后的图像信号提供给γ校正单元275。WB处理单元270对应于图1所示的WB电路116。

γ校正单元275对从WB处理单元270提供的图像信号执行γ校正。γ校正单元275对相差检测像素、R像素、G像素和B像素的图像信号执行γ校正并且通过信号线290将伽马校正后的图像信号(图像数据)提供给去马赛克单元300。γ校正单元275对应于图1所示的γ校正电路117。

去马赛克单元300基于从γ校正单元275提供的图像信号(图像数据)和从距离信息计算单元260提供的距离信息执行去马赛克处理(插值处理)从而使得在每个像素位置处校准R、G和B的所有通道。也就是说，通过经由去马赛克单元300的去马赛克处理，各像素的各位置的所有色彩(R、G和B)被校准以显影图像。去马赛克单元300通过信号线301将经历过去马赛克处理的图像数据(RGB图像)提供给图像处理单元280。将参照图3详细描述去马赛克单元300。

图像处理单元280基于从去马赛克单元300提供的RGB图像产生给用户观看的显示图像数据并且将记录图像数据记录在记录介质上。图像处理单元280根据显示单元281的分辨率减小RGB图像以产生显示图像数据并且将产生的显示图像数据提供给显示单元281。图像处理单元280对根据记录方法记录在记录单元282中的RGB图像进行压缩以产生记录图像并且将产生的记录图像数据提供给记录单元282。图像处理单元280对应于图1所示的主控制单元136。

显示单元281基于从图像处理单元280提供的显示图像数据显示图像。例如，通过彩色液晶面板实现显示单元281。显示单元281对应于图1所示的LCD 127。

记录单元282记录从图像处理单元280提供的记录图像数据作为图像内容(图像文件)。例如，作为记录单元282，可以使用可移动记录介质(一种或多种记录介质)，例如，诸如数字多功能盘(DVD)的盘或诸如记忆卡的半导体存储器。该记录介质可以安装在成像设备100中并且可以从成像设备100进行拆卸。记录单元282对应于图1所示的记忆卡125。

去马赛克单元的功能结构例子

图3是示出根据本发明的第一实施例的去马赛克单元300的功能结构的例子的框图。

去马赛克单元300包括相差检测像素W值计算单元310、B像素W值计算单元330、G值计算单元340、R值计算单元360、B值计算单元370和图像合成单元380。

相差检测像素W值计算单元310基于图像数据的每个相差检测像素的图像信号(确定的像素值)计算每个相差检测像素的白色(W)的像素值(W值)。W值指示由包括透射可见光波长区域的所有光的滤光器的图像产生像素(称作白色(W)像素)产生的像素值。例如，包括这种滤光器的W像素是不包括滤光器(包括透明层以替代滤光器层)的图像产生像素、包括吸收其它波长的光的滤光器(白色滤光器)的图像产生像素、等等。

也就是说，在假设W像素(接收可见光波长区域的所有光的图像产生像素)布置在相差检测像素的位置处的情况下，相差检测像素W值计算单元310根据相差检测像素的像素值估计假设的位置的像素值(W值)。然后，产生在假设包括具有与相差检测像素相同颜色的滤光器的图像产生像素布置在每个相差检测像素的位置处的情况下由图像产生像素产生的像素值(图像产生像素值)。相差检测像素W值计算单元310将相差检测像素的计算的W值(下文中，称作相差检测像素W值)提供给R和B像素W值计算单元330。将参照图6A到图6F描述由相差检测像素W值计算单元310执行的相差检测像素W值的计算。相差检测像素W值计算单元310是估计单元的例子。

R和B像素W值计算单元330基于从相差检测像素W值计算单元310提供的相差检测像素W值和通过信号线261从距离信息计算单元260提供的距离信息计算图像产生像素的R像素和B像素的W值。也就是说，在假设W像素布置在R像素和B像素的位置处的情况下，R和B像素W值计算单元330根据相差检测像素W值和距离信息估计像素值(W值)。R和B像素W值计算单元330在以要进行计算的像素(基准像素)为中心的预定范围内的相差检测像素(目标像素)之中检测在由距离信息指定的距离内靠近基准像素的目标像素。R和B像素W值计算单元330将检测的像素的W值(与目标颜色有关的像素值)的均值设置到基准像素的W值。如果通过柱状图(次数分布)检测靠近基准像素的目标像素，则目标像素对应于距离使用次数属于最大类的距离作为基准的基准的预定范围(预定阈值内)的距离。R和B像素W值计算单元330将计算的R像素的W值(R像素W值)和B像素的W值(B像素W值)提供给G值计算单元340的R和B像素G值计算单元341。将参照图7A到图7C描述由R和B像素W值计算330执行的R像素W值和B像素W值的计算。

G值计算单元340计算(插值)G像素之外的像素中的关于G色彩的像素值(G值)。这里，G值是指示由RGB表达的色彩空间中的G的灰阶的值并且是由通过透射绿(G)光的滤光器接收绿光的像素(G像素)产生的像素值。也就是说，在假设G像素布置在相差检测像素、R像素和B像素的位置处的情况下，G值计算单元340估计假设的位置的G值。G值计算单元340包括R和B像素G值计算单元341和相差检测像素G值计算单元342。

R和B像素G值计算单元341基于通过信号线290的G线294提供的G像素的G值(G像素G值)和从R和B像素W值计算单元330提供的R像素W值和B像素W值计算R像素的G值和B像素的G值。R和B像素G值计算单元341基于W值和G值之间的相关性以及要进行计算的像素的W值计算R像素的G值(R像素G值)和B像素的G值(B像素G值)。也就是说，在R和B像素G值计算单元341中，W值用作用于产生构建图像的像素值(图像产生像素值)的像素值。R和B像素G值计算单元341将计算的R像素G值和B像素G值提供给图像合成单元380。将参照图8A和图8B描述由R和B像素G值计算单元341执行的R像素G值和B像素G值的计算。

相差检测像素G值计算单元342基于通过信号线290的G线294提供的G像素的G值(G像素G值)和通过信号线261提供的距离信息计算相差检测像素的G值(相差检测像素G值)。相差检测像素G值计算单元342从柱状图检测在以要进行计算的像素为中心的预定范围内具有高次数的距离位置的G像素并且将对应G像素的G值(G像素G值)的均值设置到要进行计算的相差检测像素的G值。也就是说，与R和B像素W值计算单元330类似，相差检测像素G值计算单元342通过使用柱状图的计算方法计算相差检测像素G值。相差检测像素G值计算单元342将计算的相差检测像素G值提供给图像合成单元380。

R值计算单元360计算(插值)关于R像素以外的像素中的R色彩的像素值(R值)。这里，R值是指示由RGB表达的色彩空间中的R的灰阶的值并且是由通过透射红(R)光的彩色滤光器接收红光的像素(R像素)产生的像素值。R值计算单元360基于通过信号线290的R线293提供的R像素的R值(R像素R值)和通过信号线261提供的距离信息估计相差检测像素的R值、G像素的R值和B像素的R值。与R和B像素W值计算单元330类似，R值计算单元360通过使用柱状图的计算方法计算各个像素的R值。R值计算单元360将计算的R值(相差检测像素R值、G像素R值和B像素R值)提供给图像合成单元380。

B值计算单元370计算(插值)关于B像素以外的像素中的B色彩的像素值(B值)。这里，B值是指示由RGB表达的色彩空间内的B的灰阶的值并且是由通过透射蓝(B)光的彩色滤光器接收红光的像素(B显示)产生的像素值。B值计算单元370基于通过信号线290的B线292提供的B像素的B值(B像素B值)和通过信号线261提供的距离信息估计相差检测像素的B值、R像素的B值和G像素的B值。与R和B像素W值计算单元330类似，B值计算单元370通过使用柱状图的计算方法计算各个像素的B值。B值计算单元370将计算的B值(相差检测像素B值、R像素B值和G像素B值)提供给图像合成单元380。R和B像素W值计算单元330、R和B像素G值计算单元341、相差检测像素G值计算单元342、R值计算单元360和B值计算单元370是插值单元的例子。

图像合成单元380合成RGB图像。图像合成单元380基于来自R线293的R像素R值以及来自R值计算单元360的各个R值(相差检测像素R值、G像素R值和B像素R值)合成RGB图像的R分量的图像数据。图像合成单元380基于来自G线294的G像素G值和来自R和B像素G值计算单元341和相差检测像素G值计算单元342的各个G值(R像素G值、B像素G值和相差检测像素G值)合成RGB图像的G分量的图像数据。图像合成单元380基于来自B线292的B像素B值和来自B值计算单元370的各个B值(相差检测像素B值、R像素B值、G像素B值)合成RGB图像的B分量的图像数据。图像合成单元380通过信号线301提供校准了RGB的图像。

成像器件中的像素的布置例子

图4是示出根据本发明的第一实施例的包括在成像器件210内的像素的布置的例子的示意图。

在该附图中，将使用垂直方向是Y轴而水平方向是X轴的XY轴进行描述。在该附图中，左下角是XY轴的原点，从底到顶的方向是Y轴的+侧，从左到右的方向是X轴的+侧。在该附图中，成像器件210的特定方向(与成像图像的水平方向(左右方向)对应的方向)是X轴方向，与特定方向正交的正交方向(成像图像的与垂直方向(上下方向)对应的方向)是Y轴方向。成像器件210的信号读取方向是X轴方向(以行为单位进行读取)。

在该附图中，为了便于描述，将使用构建成像设备210的像素的一些像素(16×16像素)的区域(区域410)给出描述。在成像器件210的像素的布置中，区域410中所示的像素布置是一个单位并且与这个单位对应的像素布置(与区域410对应的像素布置)是在X轴方向和Y轴方向上重复的布置。

在该附图中，一个像素由一个方块进行表示。图像产生像素由包括指示内部的彩色滤光器的符号R、G和B的方块进行表示。也就是说，图像产生像素的R像素由附图中的R像素411进行表示，图像产生像素的B像素由附图中的B像素414进行表示。关于G像素，包括R像素(R像素411)的行(线)的G像素由Gr像素(Gr像素412)进行表示，包括B像素(B像素414)的行(线)的像素由Gb像素(Gb像素413)进行表示。

相差检测像素由附加了白色椭圆形的灰色方块进行表示。此外，相差检测像素的白色椭圆形指示入射光没有被遮光层遮挡而是由光接收部件接收的一侧(遮光层中存在开口的一侧)。现在，将描述附图中所示的相差检测像素(相差检测像素415到418)。

相差检测像素415是形成遮光层从而入射到相差检测像素415的微透镜的被摄体光之中的穿过出瞳的右半部分的被摄体光被遮蔽的相差检测像素。也就是说，相差检测像素415遮蔽分割成出瞳的右和左(X轴方向的+-侧)的光瞳的右半部分的光并且接收左半部分的光瞳分割光。

相差检测像素416是形成遮光层从而入射到相差检测像素416的微透镜的被摄体光之中的穿过出瞳的左半部分的被摄体光被遮蔽的相差检测像素。也就是说，相差检测像素416遮蔽分割成出瞳的右和左(X轴方向的+-侧)的光瞳的左半部分的光并且接收右半部分的光瞳分割光。相差检测像素416与相差检测像素415成对使用以形成一对图像。

相差检测像素417是形成遮光层从而入射到相差检测像素417的微透镜的被摄体光之中的穿过出瞳的上半部分的被摄体光被遮蔽的相差检测像素。也就是说，相差检测像素417遮蔽分割成出瞳的上和下侧(Y轴方向的+-侧)的光瞳的上半部分的光并且接收下半部分的光瞳分割光。

相差检测像素418是形成遮光层从而入射到相差检测像素418的微透镜的被摄体光之中的穿过出瞳的下半部分的被摄体光被遮蔽的相差检测像素。也就是说，相差检测像素418遮蔽分割成出瞳的上和下侧(Y轴方向的+-侧)的光瞳的下半部分的光并且接收上半部分的光瞳分割光。相差检测像素418与相差检测像素417成对使用以形成一对图像。

现在，将描述成像器件210的像素布置。

在成像器件210中，布置图像产生像素的行(线)和布置相差检测像素的行(线)进行交替布置。也就是说，如图3所示，图像产生像素、相差检测像素、图像产生像素、相差检测像素......交替地布置在y轴方向上。在成像器件210中，在仅仅除了布置相差检测像素的行以外的图像产生像素的布置中，布置B像素和G像素的行以及布置R像素和G像素的行进行交替布置以变成拜尔(Bayer)阵列。

在成像器件210中，布置相差检测像素415和相差检测像素416的线和布置相差检测像素417和相差检测像素418的线进行交替布置，其中，图像产生像素的行插入到它们之间。也就是说，在相差检测像素中，在相同方向(读取方向(右和左))或与读取方向正交的方向(上和下侧))上分割的相差检测像素光瞳以行为单位进行布置。

接下来，将参照图5A和图5B描述根据本发明的第一实施例的图像产生像素的截面结构和相差检测像素的截面结构。

图像产生像素和相差检测像素的结构例子

在图5A中，示意性示出根据本发明的第一实施例的图像产生像素的R像素(R像素411)的截面结构。根据本发明的第一实施例的三种色彩(R像素、G像素和B像素)的图像产生像素之间的差别仅仅是彩色滤光器的差别，并且由此，在图5A中，将仅仅描述R像素(R像素411)的截面结构。在图5A和图5B中，示出了左右方向是X轴方向而上下方向是z轴方向的截面结构。

在图5A中，作为R像素411的截面结构，示出了微透镜421、R滤光器422、导线423、导线424和光接收部件425。

微透镜421是用于将被摄体光聚焦到光接收部件425的透镜。

导线423和导线424是用于连接R像素411内的各个电路的导线。在图5A中，在导线423和导线424中，三个导线以层状布置在光轴上。导线423和导线424被布置为不会妨碍光入射到光接收部件425。

光接收部件425将接收的光(光电地)转换成电信号以产生具有根据接收的光的量的强度的电信号。光接收部件425包括光电二极管(PD)。

在图5B中，示出了根据本发明的第一实施例的相差检测像素之中的相差检测像素416的截面结构。相差检测像素416到418之间的截面结构的差别仅仅是变成遮光层的导线的布置方向的差别，并且由此，在图5B中，将描述相差检测像素416的截面结构。

在图5B中，作为相差检测像素416的截面结构，示出了微透镜421、光接收部件425、导线426和导线427。微透镜421和光接收部件425与图5A的相同并且由此省去描述。

导线426和导线427是用于连接相差检测像素416内的各个电路的导线。在图5B中，在导线426和导线427中，三个导线以层状布置在光轴上，这与图5A的导线423和导线424类似。

在导线427中，包括突出到光接收部件425的中心附近的一条导线。这个突出部分覆盖光接收部件425与微透镜421之间的光接收部件425的右半部分并且遮蔽穿过出瞳的左半部分的被摄体光。导线426没有布置在从微透镜421到光接收部件425的被摄体光的光路上而是布置在光路的外围上。

在相差检测像素416中，光接收部件425的一半由导线427进行覆盖。因此，在相差检测像素416中，遮蔽了穿过微透镜421的光的一半。

由相差检测像素W值计算单元执行的相差检测像素W值的计算的例子

图6A到图6F是示出根据本发明的第一实施例的相差检测像素W值计算单元310的计算的例子的示意图。

图6A示意性示出了遮蔽分割成出瞳的右和左的光瞳的左半部分的光并且接收右半部分的光瞳分割光的相差检测像素(相差检测像素431)的W值的计算的例子。

在相差检测像素431的W值的计算中，相差检测像素W值计算单元310首先计算与入射到由相差检测像素431的遮光层遮蔽的区域的光(由遮光层进行遮蔽并且没有由光接收部件进行接收的光)相关的像素值(遮光区域像素值)。

相差检测像素W值计算单元310将相差检测像素431的像素值与计算的相差检测像素431的遮光区域像素值进行相加以计算相差检测像素431的W值。

例如，使用方程1计算相差检测像素431的遮光区域像素值(S_D431)。例如，使用方程2计算相差检测像素431的W值(W_D431)。

S_D431＝(I_D431×2+I_D432×1)/3…(1)

W_D431＝(I_D431+S_D431)/2…(2)

其中，I_D431表示要计算其W值的相差检测像素431的像素值。此外，I_D432表示最靠近相差检测像素431的遮光区域的相差检测像素432的像素值。

在图6A中，遮光区域像素值(S_D431)对应于与由区域433接收的光相关的像素值。相差检测像素431的W值(W_D431)对应于与示意性示出相差检测像素431作为W像素的W像素434相关的像素值。

如方程1所示，基于包括要进行计算的遮光区域的相差检测像素的像素值(I_D431)和靠近要进行计算的遮光区域的相差检测像素的像素值(I_D432)计算遮光区域像素值(S_D431)。如方程1所示，像素值(I_D431)和像素值(I_D432)与权重系数(方程1的数值“2”和“1”)进行相乘，所述权重系数用于给出根据要进行计算的遮光区域与各个相差检测像素的光接收位置(白椭圆形位置)之间的距离的权重。通过使用该权重系数进行计算，可以提高计算精度。

如方程2所示，通过包括将要进行计算的遮光区域的相差检测像素的像素值(I_D431)与关于入射到要进行计算的遮光区域的光的像素值(S_D431)进行相加计算相差检测像素的W值。W值是接收可见光区域的所有光的图像产生像素的像素值的一个假设值，并且由此变得高于G值、R值和B值。如方程2所示，通过将通过将相差检测像素的像素值(I_D431)与遮光区域像素值(S_D431)相加获得的值除以“2”，W值的灰阶的范围变得靠近G值的灰阶的范围。

图6B示意性示出了遮蔽分割成出瞳的右和左的光瞳的右半部分的光并且接收左半部分的光瞳分割光的相差检测像素(相差检测像素432)的W值的计算的例子。也就是说，图6B示出了与在图6A的计算方法中所示的相差检测像素成对布置的相差检测像素的W值的计算。

例如，使用方程3计算相差检测像素432的遮光区域像素值(S_D432)，这与相差检测像素431的遮光区域像素值(S_D431)类似。例如，使用方程4计算相差检测像素432的W值(W_D432)，这与相差检测像素431的W值(W_D431)类似。

S_D432＝(I_D432×2+I_D431×1)/3…(3)

W_D432＝(I_D432+S_D432)/2…(4)

在图6B中，遮光区域像素值(S_D432)对应于关于由区域437接收的光的像素值。相差检测像素432的W值(W_D432)对应于关于示意性示出相差检测像素432作为W像素的W像素438的像素值。

图6C示意性示出了遮蔽分割成出瞳的上和下侧的光瞳的上半部分的光并且接收下半部分的光瞳分割光的相差检测像素(相差检测像素441)的W值的计算的例子。

在相差检测像素441的W值的计算中，与图6A和图6B所示的相差检测像素431和432的W值的计算类似，首先，计算相差检测像素441的遮光区域像素值。将相差检测像素441的像素值与计算的遮光区域像素值进行相加以计算相差检测像素441的W值。

例如，使用方程5计算相差检测像素441的遮光区域像素值(S_D441)。例如，使用方程6计算相差检测像素441的W值(W_D441)。

S_D441＝(I_D441×1+I_D442×1)/2…(5)

W_D441＝(I_D441+S_D441)/2…(6)

其中，I_D441表示要计算其W值的相差检测像素441的像素值。此外，I_D442表示最靠近相差检测像素441的遮光区域的相差检测像素(左和右)之间与相差检测像素441成对使用的相差检测像素442的像素值。

在图6C中，遮光区域像素值(S_D441)对应于关于由区域443接收的光的像素值。相差检测像素441的W值(W_D441)对应于关于示意性示出相差检测像素441作为W像素的W像素444的像素值。

如方程5所示，基于包括要进行计算的遮光区域的相差检测像素的像素值和靠近要进行计算的遮光区域的相差检测像素(成对的相差检测像素)的像素值计算遮光区域像素值(S_D432)，这与图6A的方程1类似。如方程5所示，由于相差检测像素441和442的光接收位置距离要进行计算的遮光区域相同，所以使用具有相同值的权重系数(“1”)。

方程6与图6A的方程2相同并且由此将省去对它进行描述。

图6D示意性示出了遮蔽分割成出瞳的上和下侧的光瞳的下半部分的光并且接收上半部分的光瞳分割光的相差检测像素(相差检测像素442)的W值的计算的例子。也就是说，图6D示出了与在图6C的计算方法中所示的相差检测像素成对布置的相差检测像素的W值的计算。

计算相差检测像素442的遮光区域像素值(S_D442)和W值(W_D442)的方法与图6C的相差检测像素441的计算方法相同。例如，使用方程7计算相差检测像素442的遮光区域像素值(S_D442)。例如，使用方程8计算相差检测像素442的W值(W_D442)。

S_D442＝(I_D442×1+I_D441×1)/2…(7)

W_D442＝(I_D442+S_D442)/2…(8)

在图6D中，遮光区域像素值(S_D442)对应于关于由区域447接收的光的像素值。相差检测像素442的W值(W_D442)对应于关于示意性示出相差检测像素442作为W像素的W像素448的像素值。

通过计算关于由遮光层遮蔽的光的像素值并且将计算的像素值与要进行计算的相差检测像素的像素值(确定的像素值)进行相加计算相差检测像素的W值。

图6E示意性示出了基于以行进行布置的相差检测像素的像素值来计算各个相差检测像素的W值，在该行(行451)中相差检测像素将出瞳进行光瞳分割成右和左。

图6F示意性示出了基于以行进行布置的相差检测像素的像素值来计算各个相差检测像素的W值，在该行(行461)中相差检测像素将出瞳进行光瞳分割成上和下。

如图6E和图6F所述，由于相差检测像素以行为单位进行布置，所以相差检测像素W值计算单元310以行为单位计算相差检测像素的W值。

由R和B像素W值计算单元执行的R像素和B像素的W值的计算的例子

图7A到图7C是示出根据本发明的第一实施例的由R和B像素W计算单元330执行的R像素和B像素的W值的计算的例子的示意图。

由于计算R像素的W值的方法与计算B像素的W值的方法相同，所以将描述R像素的例子。

图7A示出了以要计算W值的R像素为中心的9×9像素。在图7A中，由于通过相差检测像素W值计算单元310计算相差检测像素的W值，所以相差检测像素由具有W符号的方块(下文中称作W像素)进行表示。在图7A中，要计算W值的R像素由灰色R像素(R像素471)进行表示。在图7A中，W像素由粗线包围。

图7B示出了基于通过以当R和B像素W计算单元330计算R像素的W值时要计算W值的R像素为中心的9×9像素中的相差检测像素的距离信息指定的距离建立的柱状图。图7B示出了将由距离信息指示的值分类成15个类并且对这15个类进行合计的例子。

也就是说，图7B示出这样一种柱状图，其中水平轴是指示分类成15个类的距离的轴，垂直轴是指示次数的轴，并且把要计算W值的R像素为中心的9×9像素内的相差检测像素的距离信息分类成15个类。图7B示出了具有最高次数的类(类473)并且使用这个类的距离作为基准的预定阈值(阈值472)。

图7C示意性示出了由R和B像素W计算单元330计算的R像素471的W值。在图7C中，在对点进行标记的区域(W值476)中显示了由R和B像素W计算单元330计算的R像素471的W值。示出了由成像器件210产生的R像素471的R值(R值475)。

现在，将描述由R和B像素W计算单元330执行的R像素的W值的计算的流程。首先，R和B像素W计算单元330选择相差检测像素以计算R像素471的W值。使用基于在以要计算W值的R像素为中心的预定范围(在该附图中，示出了9×9像素的例子)内布置的相差检测像素的距离信息建立的柱状图执行这个选择。在图7A中，以9×9像素进行布置的相差检测像素显示为由粗线包围的W像素。在图7B中，示出了基于相差检测像素的距离信息建立的柱状图。

R和B像素W计算单元330确定具有最高次数的类(473)并且使用这个类的距离作为基准确定属于预定阈值(阈值472)内的距离的类。在图7B中，通过灰色类显示具有最高次数的类(473)和使用这个类为基准对属于预定阈值(阈值472)内的距离的类。

接下来，R和B像素W计算单元330计算属于确定的类(图7B的灰色类)的相差检测像素的W值的均值并且将该均值设置成R像素471的W值。在图7C中，计算的R像素471的W值被显示为W值476。

通过这种方法，R和B像素W计算单元330基于在以要进行计算的R像素为中心的预定范围内布置的相差检测像素的距离信息检测在该距离(成像物与成像设备之间的距离)内的靠近要进行计算的R像素的相差检测像素。检测的相差检测像素的W值的均值变成要进行计算的R像素的W值。也就是说，通过使用距离信息识别成像物，R和B像素W计算单元330提高要进行计算的R像素的W值的插值的精度。

通过相差检测像素的距离信息的值的最大值与最小值之间的差确定阈值472。例如，如果这个差较大，则阈值增大，如果差较小，则阈值下降。此外，还同样地确定当建立柱状图时的类的数目和类之间的距离间隙。可以从以要计算W值的像素为中心的预定范围内的像素的距离信息确定阈值、类的数目和类之间的距离间隙。

柱状图是在由距离信息指定的距离内检测靠近要进行计算的R像素的相差检测像素的方法的例子并且本发明不限于此。例如，可以从与R像素相邻的相差检测像素的距离信息计算要进行计算的R像素的距离信息并且可以检测包括靠近计算的距离信息的距离信息的相差检测像素。由R和B像素G计算单元执行的R像素和B像素的G值的计算的例子

图8A和图8B是示出根据本发明的第一实施例的由R和B像素G计算单元341执行的R像素和B像素的W值的计算的例子的示意图。

由于计算R像素的G值的方法与计算B像素的G值的方法相同，所以现在将仅仅描述B像素的例子。

图8A示意性示出了布置了B像素和G像素的一行中的9个像素。图8A示出了在行方向上与要计算G值的B像素(B像素650)相邻的9个像素。这9个像素(B像素610、630、650、670和690以及相差检测像素620、640、660和680)是保持当计算B像素650的W值时使用的像素值的像素。

图8B示出了由R和B像素G计算单元341执行的B像素650的G值以及图8A所示的9个像素的像素值的计算的例子。

如在图8B的一行内布置的9个像素的内部所示，当R和B像素G计算单元341计算G值时，通过由成像器件210产生的B值和由R和B像素W值计算单元330计算的W值构建B像素的像素值。通过由成像器件210产生的G值和由R和B像素W值计算单元330计算的W值构建G(Gb)像素的像素值。

在图8B中，B像素(610、630、650、670和690)的B值由B值613、633、653、573和693进行表示，B像素的W值由W值614、634、654、674和694进行表示。

在图8B中，Gb像素(620、640、660和680)的G值由G值621、641、661和681进行表示，Gb像素的W值由W值624、644、664和684进行表示。

现在，将描述由R和B像素G计算单元341执行的B像素650的G值的计算。在B像素650的G值的计算处理中，R和B像素G计算单元341基于G值与W值之间的高相关性和B像素650的W值计算G值。

例如，使用方程9到11计算B像素650的G值(G_B650)。

G_B650＝(G_m/W_m)×W_B650…(9)

G_m＝a×G_G620+b×G_G640+c×G_G660+d×G_G680…(10)

W_m＝e×W_B610+f×W_B650+g×W_B690…(11)

其中，G_G620是G像素620的G值。此外，G_G640是G像素640的G值，G_G660是G像素660的G值，G_G680是G像素680的G值。此外，W_B610是B像素610的W值，W_B650是B像素650的W值，W_B690是B像素690的W值。

此外，a到g是权重系数。设置权重系数a到g以满足方程12到14的关系。

a+b+c+d＝e+f+g …(12)

a＝d＜b＝c …(13)

e＝h＜f …(14)

例如，根据要计算G值的像素的位置与保持每个像素值的像素的位置之间的关系设置权重系数a到g。也就是说，G_m是通过使用B像素650的位置作为基准应用低通滤光器计算的G值的低频分量。此外，W_m是通过使用B像素650的位置作为基准应用低通滤光器计算的W值的低频分量。

这里，假设：权重系数a和d的值是“1”，权重系数b和c的值是“3”，权重系数e和h的值是“1”，并且权重系数f的值是“6”。在这种情况下，方程10和11变成方程15和16。

G_m＝1×G_G620+3×G_G640+3×G_G660+1×G_G680…(15)

W_m＝1×W_B610+6×W_B650+1×W_B690…(16)

方程9的左侧的G_m/W_m指示使用B像素650的位置作为基准的G值的低频分量与使用B像素650的位置作为基准的W值的低频分量之间的相关性。也就是说，如方程9所示，基于低频分量与B像素650的W值之间的相关计算B像素650的G值。

在图8B中，B像素650的G值(G_B650)对应于箭头下面所示的B像素650中所示的G值651(对点进行标记的区域)。当计算G值(G_B650)时使用的像素值对应于由布置在一行内的9个像素的粗线包围的像素值(W值614、654和694以及G值621、641、661和681)。

G_m和W_m的计算仅仅是示例性的并且可以使用设置各种权重系数的其它方法(应用低通滤光器的方法)。

计算R像素和B像素的W值的方法不限于此，并且例如，如图7A到图7C所示，可以采用使用柱状图等等的计算方法。

现在，将简要描述相差检测像素G值计算单元342、R值计算单元360和B值计算单元370的插值。

相差检测像素G值计算单元342、R值计算单元360和B值计算单元370执行插值，这与图7A到图7C所示的由R和B像素W计算单元330执行的R像素和B像素的W值的计算类似。

也就是说，从与图像产生像素相邻的相差检测像素的距离信息计算图像产生像素的距离信息。基于计算的距离信息建立柱状图，从柱状图确定涉及像素值的像素，并且计算涉及的像素的插值的目标色彩的像素值的均值，从而执行插值。

使用W值的去马赛克处理的例子

图9A和图9B是示出根据本发明的第一实施例的通过成像设备100的去马赛克单元300执行的使用W值的去马赛克处理的例子和现有技术的成像设备的去马赛克处理的例子的示意图。在图9A和图9B中，为了便于描述，显示并描述了6×6像素的区域。

图9A示出了现有技术的成像设备的去马赛克处理的例子。在图9A中，为了便于描述，假设：成像器件中的像素的布置与本发明的实施例的成像器件中的像素的布置相同。图9A示出了指示成像器件中的像素的布置的区域(区域717)、指示用于去马赛克处理的像素值的区域(区域718)以及指示去马赛克处理的结果的区域(区域719)。

在包括具有与本发明的实施例相同的像素的布置的成像器件(图9A的区域717)的现有技术的成像设备中，仅仅使用由图像产生像素产生的像素值执行去马赛克处理。由相差检测像素产生的像素值仅仅用于检测相差。

也就是说，如区域718所示，在去马赛克处理中，基于由图像产生像素产生的像素值(由区域718的粗线包围的18个像素的像素值)对图像产生像素和相差检测像素的各位置的色彩信息进行插值(去马赛克处理)。如区域719所示，即使当仅仅使用由图像产生像素产生的像素值执行去马赛克处理时仍能够对所有像素的色彩信息(R值、G值和B值)进行插值。

然而，由于仅仅如区域718所示使用由图像产生像素产生的像素值，所以用于插值的信息(像素值)的数目根据相差检测像素的数目进行下降。因此，如果相差检测像素的数目变得等于图像产生像素的数目的本发明的实施例的成像器件(成像器件210)的图像数据经历去马赛克处理，则用于插值的信息的数目下降并且由此出现去马赛克处理的精度下降。

图9B示出了根据本发明的第一实施例的成像设备100中的去马赛克处理的例子。图9B示出了指示成像器件210中的像素的布置的区域(区域711)、指示用于去马赛克处理的像素值的区域(区域712)和指示去马赛克处理的结果的区域(区域713)。在区域712中，相差检测像素的像素值由通过相差检测像素W值计算单元310计算的W值进行表示。

在根据本发明的第一实施例的成像设备100中，计算相差检测像素的像素值和相差检测像素的W值并且使用计算的相差检测像素的W值和由图像产生像素产生的像素值执行去马赛克处理。也就是说，如区域712所示，在去马赛克处理中，基于区域712中由粗线包围的36个像素的像素值对图像产生像素和相差检测像素的位置的色彩信息进行插值。在区域713中，对所有像素的色彩信息(R值、G值和B值)进行插值。

在根据本发明的第一实施例的成像设备100中，从相差检测像素的像素值计算相差检测像素的W值并且W值用于去马赛克处理。因此，用于插值的信息的数目增加并且由此可以提高去马赛克处理的精度。

使用距离信息的去马赛克处理的例子

图10A和图10B是示出由根据本发明的第一实施例的成像设备100的去马赛克单元300执行的使用距离信息的去马赛克处理的例子和现有技术的成像设备的去马赛克处理的例子的示意图。在现有技术的成像设备中，描述了与图9A所示相同的设备。

图10A示出了在由现有技术的成像设备执行的去马赛克处理以后的成像图像(成像图像729)。在成像图像729中，对与成像设备具有不同距离的两个楼进行成像从而使得显示了它们的一些部分彼此重叠。假设两个楼的外墙具有类似色彩。在成像图像729中，通过由虚线(虚线728)表示两个楼之间的边沿表示两个楼之间的边沿的崩溃。

在现有技术的成像设备的去马赛克处理中，基于布置在预定范围内的像素的像素值对色彩信息进行插值。也就是说，没有确定是否涉及像素值的像素是用于对与由将要进行插值的像素成像的物体不同的物体进行成像的像素。因此，在与具有相同色彩并且与成像设备具有不同距离的物体彼此相邻的地点相邻的像素(与成像图像729的两个楼之间的边沿相邻的像素)中，错误地确定相邻物体是相同物体。

因此，在现有技术的成像设备的去马赛克处理中，插值精度会下降。

图10B示出了在由根据本发明的第一实施例的成像设备100执行的去马赛克处理以后的成像图像(成像图像721)。假设：图10B的被摄体与图10A的被摄体(两个楼)相同。在成像图像721中，通过用实线(线722)表示两个楼之间的边沿表达两个楼之间的边沿的锐度。

在根据本发明的第一实施例的去马赛克处理中，使用距离信息选择涉及像素值的像素。也就是说，确定了是否涉及像素值的像素是用于对与由进行插值的像素成像的物体不同的物体进行成像的像素。通过参照对相同物体进行成像的像素的像素值对要进行插值的像素的像素值进行插值。

也就是说，在具有相同色彩并且与成像设备具有不同距离的物体彼此相邻的地点的像素(与成像图像721的两个楼之间的边沿相邻的像素)中，使用距离信息识别由这些像素进行成像的物体。通过参照用于对与进行插值的像素相同的物体进行成像的像素的像素值执行像素值的插值。因此，具有相同色彩的物体彼此相邻的地点的边沿(线722)变得锐利(插值精度提高)。

在根据本发明的第一实施例的成像设备100中，在去马赛克处理中，可以通过使用距离信息选择涉及像素值的像素提高去马赛克处理的精度。

成像设备的操作的例子

接下来，将参照附图描述根据本发明的第一实施例的成像设备100的操作。

图11是示出由根据本发明的第一实施例的成像设备100执行的成像处理过程的流程图。图11示出了成像器件210对被摄体进行成像并且通过成像得到的图像保持在记录单元282中的流程。

首先，执行使用成像器件210对被摄体进行成像的成像处理(步骤S911)。然后，通过模拟信号处理单元220，执行对通过成像器件210的成像产生的模拟图像信号执行预定模拟信号处理的模拟信号处理。

然后，通过A/D转换器230，通过A/D转换处理，模拟信号处理单元220的模拟信号处理以后的模拟图像信号通过A/D转换处理被转换成数字图像信号(步骤S913)。接下来，通过黑电平处理单元240，执行校正由A/D转换器230获得的数字图像信号的黑电平的黑电平校正处理。

通过图像校正单元250，对黑电平校正以后的图像信号执行进行校正(例如，缺陷校正、暗影校正、混合色彩校正等等)的图像校正处理(步骤S915)。然后，通过距离信息计算单元260，基于从图像校正单元250提供的相差检测像素的图像信号执行计算布置相差检测像素的地点的距离信息的距离信息计算处理(步骤S916)。

接下来，通过WB处理单元270，执行校正从图像校正单元250提供的图像信号的白平衡(WB)的WB处理(步骤S917)。然后，通过γ校正单元275，对WB处理以后的图像信号执行γ校正处理(步骤S918)。然后，通过去马赛克单元300，基于γ校正以后的图像信号(图像数据)和距离信息执行去马赛克处理，从而使得R、G和B的所有通道在每个像素位置处被校准(步骤S930)。将参照图12描述去马赛克处理(步骤S930)。

通过显示单元281，显示了在去马赛克处理以后的成像图像(步骤S919)。通过记录单元282，记录去马赛克处理以后的成像图像(步骤S921)。成像处理过程完成。

图12是示出根据本发明的第一实施例的成像处理操作的去马赛克处理(步骤S930)的处理过程的流程图。

首先，通过相差检测像素W值计算单元310，执行计算相差检测像素的W值(相差检测像素W值)的相差检测像素W值计算处理(步骤S940)。将参照图13描述相差检测像素W值计算处理(步骤S940)。步骤S940是在估计处理过程的例子。

接下来，通过R和B像素W值计算单元330，基于相差检测像素W值和从距离信息计算单元260提供的距离信息执行计算图像产生像素之中的R像素和B像素的W值的图像产生像素W值计算处理(步骤S950)。将参照图14描述图像产生像素W值计算处理(步骤S950)。

通过R和B像素G值计算单元341和相差检测像素G值计算单元342，执行计算相差检测像素、R像素和B像素的G值计算处理(步骤S960)。将参照图15描述G值计算处理(步骤S960)。

然后，通过R值计算单元360，执行计算相差检测像素、G像素和B像素的R值的R值计算处理(步骤S970)。将参照图16描述R值计算处理(步骤S970)。

接下来，通过B值计算单元370，执行计算相差检测像素、R像素和G像素的B值的B值计算处理(步骤S980)。将参照图17描述B值计算处理(步骤S980)。步骤S950、S960、S970和S980是插值处理的例子。

通过图像合成单元380，合成RGB图像，输出合成的图像(步骤S931)，并且去马赛克处理过程完成。

图13是示出根据本发明的第一实施例的由相差检测像素W值计算单元310执行的相差检测像素W值计算处理(步骤S940)的处理过程的流程图。

首先，经历是否计算了它的W值的像素(要进行确定的像素)的位置设置成确定的开始行的开始列的位置(步骤S941)。接下来，确定布置要进行确定的像素的行(要进行确定的行)是否是布置相差检测像素的行(步骤S942)。

如果确定要进行确定的行是布置相差检测像素的行(步骤S942)，则确定要进行确定的像素是否是相差检测像素(步骤S943)。如果确定要进行确定的像素不是相差检测像素(步骤S943)，则处理进入步骤S946。

如果确定要进行确定的像素是相差检测像素(步骤S943)，则计算包括在相差检测像素内的遮光区域的像素值(遮光区域像素值)(步骤S944)。例如，使用图6A到图6F所示的方程1、3、5和7计算遮光区域像素值。接下来，计算相差检测像素的W值(步骤S945)。例如，使用图6A到图6F所示的方程2、4、6和8计算相差检测像素的W值。

然后，确定要进行确定的像素的位置是否是要进行确定的最后列(最终列)(步骤S946)。如果确定要进行确定的像素的位置是最终列(步骤S946)，则处理进入步骤S948。

如果确定要进行确定的像素的位置不是最终列(步骤S946)，则要进行确定的像素的位置偏移一列(步骤S947)并且处理返回步骤S943。

如果确定要进行确定的行不是布置相差检测像素的行(图像产生像素的行)(步骤S942)，则确定要进行确定的行是否是要进行确定的最后行(最终行)(步骤S948)。如果确定要进行确定的行不是最终行(步骤S948)，则把要进行确定的像素的位置设置到在要进行确定的行偏移一行以后的行的开始列的位置(步骤S949)并且处理返回到步骤S942以继续进行确定。

如果确定要进行确定的行是最终行(步骤S948)，则相差检测像素W值计算处理过程完成。

图14是示出根据本发明的第一实施例的由R和B像素W值计算单元330执行的图像产生像素W值计算处理(步骤S950)的处理过程的流程图。

首先，经历过确定是否计算了它的W值的像素(要进行确定的像素)的位置被设置到确定的开始列的开始行的位置(步骤S951)。接下来，确定要进行确定的像素是否是相差检测像素(步骤S952)。如果确定要进行确定的像素是相差检测像素(步骤S952)，则处理进入步骤S956。

如果确定要进行确定的像素不是相差检测像素(它是图像产生像素)(步骤S952)，则确定要进行确定的像素是否是G像素(步骤S953)。如果确定要进行确定的像素是G像素(步骤S953)，则处理进入步骤S956。

如果确定要进行确定的像素不是G像素(它是R像素或B像素)(步骤S953)，则基于使用距离信息的柱状图计算要进行确定的像素(R像素和B像素)的W值(步骤S955)。例如，如参照图7A到图7C描述那样计算R像素或B像素的W值。

接下来，确定要进行确定的像素的位置是否是最后行(最终行)(步骤S956)。如果确定要进行确定的像素的位置不是最终行(步骤S956)，则要进行确定的像素的位置偏移一行(步骤S957)并且处理返回步骤S952。

如果确定要进行确定的像素的位置是最终行(步骤S956)，则确定布置要进行确定的像素的列(要进行确定的列)是否是要进行确定的最后列(最终列)(步骤S958)。如果确定要进行确定的列不是最终列(步骤S958)，则把要进行确定的像素的位置设置到在要进行确定的列偏移一列以后的列的开始行的位置(步骤S959)并且处理返回步骤S952以继续进行确定。

如果确定要进行确定的列是最终列(步骤S958)，则图像产生像素W值计算处理过程结束。

图15是示出根据本发明的第一实施例的由R和B像素G值计算单元341和相差检测像素G值计算单元342执行的G值计算处理(步骤S960)的处理过程的流程图。

首先，经历是否计算了它的G值的确定的像素(要进行确定的像素)的位置设置到确定的开始行的开始列的位置(步骤S961)。接下来，确定要进行确定的像素是否是G像素(步骤S962)。如果确定要进行确定的像素是G像素(步骤S962)，则处理进入步骤S966。

如果确定要进行确定的像素不是G像素(步骤S962)，则确定要进行确定的像素是否是相差检测像素(步骤S963)。如果确定要进行确定的像素是相差检测像素(步骤S963)，则设置图像产生像素的距离信息并且然后，利用使用距离信息的柱状图计算要进行确定的像素的G值(步骤S964)。在计算了G值以后(步骤S964)，处理进入步骤S966。

如果确定要进行确定的像素不是相差检测像素(它是R像素或B像素)(步骤S963)，则使用W值与G值之间的相关性计算G值(步骤S965)。例如，使用图8A和图8B所示的方程9到14计算R像素或B像素的G值。

接下来，确定要进行确定的像素的位置是否是最后列(最终列)(步骤S966)。如果确定要进行确定的像素的位置不是最终列(步骤S966)，则要进行确定的像素的位置偏移一列(步骤S967)并且然后，处理返回步骤S962。

如果确定要进行确定的像素的位置是最终列(步骤S966)，则确定布置要进行确定的像素的行(要进行确定的行)是否是要进行确定的最后行(最终行)(步骤S968)。如果确定要进行确定的行不是最终行(步骤S968)，则把要进行确定的像素的位置设置到在要进行确定的行偏移一行以后的行的开始列的位置(步骤S969)并且处理返回到步骤S962以继续进行确定。

如果确定要进行确定的行是最终行(步骤S968)，则G值计算处理过程结束。

图16是示出根据本发明的第一实施例的由R值计算单元360执行的R值计算处理(步骤S970)的处理过程的流程图。

处理过程的步骤S971、步骤S976到步骤S979分别对应于图15所示的步骤S961、步骤S966到步骤S969并且由此将省去对它们的描述。

如果把要确定R值的像素的位置设置到开始行的开始列的位置(步骤S971)，则确定要进行确定的像素是否是R像素(步骤S972)。如果确定要进行确定的像素是R像素(步骤S972)，则处理进入步骤S976。

如果确定要进行确定的像素不是R像素(步骤S972)，则设置图像产生像素的距离信息并且利用使用距离信息的柱状图计算要进行确定的像素(相差检测像素、G像素或B像素)的R值(步骤S973)。在计算了R值以后(步骤S973)，处理进入步骤S976。例如，如参照图7A到图7C所述，计算R值。

图17是示出根据本发明的第一实施例的由B值计算单元370执行的B值计算处理(步骤S980)的处理过程的流程图。

处理过程的步骤S981、步骤S986到步骤S989分别对应于图15所示的步骤S961、步骤S966到步骤S969并且由此将省去对它们的描述。

如果把要确定B值的像素的位置设置到开始行的开始列的位置(步骤S981)，则确定要进行确定的像素是否是B像素(步骤S982)。如果确定要进行确定的像素是B像素(步骤S982)，则处理进入步骤S986。

如果确定要进行确定的像素不是B像素(步骤S982)，则设置图像产生像素的距离信息并且然后利用使用距离信息的柱状图计算要进行确定的像素(相差检测像素、R像素或G像素)的B值(步骤S983)。在计算了B值以后(步骤S983)，处理进入步骤S986。例如，如参照图7A到图7C所述计算B值。

根据本发明的第一实施例，可以通过使用相差检测像素的像素值和在去马赛克处理中从相差检测像素的像素值产生的距离信息提高图像数据的图像质量。

2.第二实施例

尽管在第一实施例中描述了使用针对距离的柱状图计算相差检测像素的G值的例子，但是本发明不限于此并且可以基于W值与G值之间的相关性执行计算。即使在R值和B值中，可以基于W值与R值之间的相关性或W值与B值之间的相关性执行计算，其精度低于W值与G值之间的相关性的精度(W值与G值之间的相关性最高)。

在本发明的第二实施例中，将参照图18到图21描述计算G像素的W值以及使用计算的G像素的W值计算相差检测像素的G值的例子。

去马赛克单元的功能结构例子

图18是示出根据本发明的第二实施例的去马赛克单元800的功能结构的例子的框图。

除了安装去马赛克单元800以替代图2所示的根据本发明的第一实施例的成像设备100的去马赛克单元300以外，根据本发明的第二实施例的成像设备的结构与成像设备100的结构相同。现在将省去根据本发明的第二实施例的成像设备的结构的描述。

去马赛克单元800包括相差检测像素W值计算单元310、G像素W值计算单元820、R和B像素W值计算单元330、R和B像素G值计算单元341和相差检测像素G值计算单元842。去马赛克单元300包括R值计算单元360、B值计算单元370和图像合成单元380。除了包括相差检测像素G值计算单元842以替代图3所示的去马赛克单元300的相差检测像素G值计算单元342以及新包括G像素W值计算单元820以外，去马赛克单元800的结构与去马赛克单元300的结构相同。因此，将仅仅描述G像素W值计算单元820和相差检测像素G值计算单元842。

G像素W值计算单元820基于从相差检测像素W值计算单元310提供的相差检测像素W值和通过信号线290的G线294提供的G像素的G值(G像素G值)计算G像素的W值(G像素W值)。G像素W值计算单元820将计算的G像素W值提供给相差检测像素G值计算单元842。将参照图19A和图19B描述由G像素W值计算单元820执行的G像素W值的计算。

相差检测像素G值计算单元842基于通过信号线290的G线294提供的G像素的G值(G像素G值)和从G像素W值计算单元820提供的G像素W值计算相差检测像素G值。相差检测像素G值计算单元842基于W值与G值之间的相关性计算相差检测像素G值。相差检测像素G值计算单元842将计算的相差检测像素G值提供给图像合成单元380。

由G像素W值计算单元820执行的G像素的W值的计算的例子。

图19A和图19B是示出根据本发明的第二实施例的由G像素W值计算单元820执行的G像素的W值的计算的例子的示意图。

图19A示意性示出了布置B像素、Gr像素(在该附图中，称作G像素)和相差检测像素的一列中的9个像素。图19A示出了在列方向上与要计算其W值的G像素(G像素550)相邻的9个像素。9个像素(G像素510、550和590、B像素530和570以及相差检测像素520、540、560和580)是当计算G像素550的W值时保持使用的像素值的像素。

图19B示出了由G像素W值计算单元820执行的G像素的W值以及图19A所示的9个像素的像素值的计算的例子。

如在图19B的一列中布置的9个像素的内部所示，当G像素W值计算单元820计算W值时，通过G值构建G像素的像素值并且通过B值构建B像素的像素值。通过由相差检测像素W值计算单元310计算的W值构建相差检测像素的像素值。在图19B中，G像素(G像素510、550和580)的G值由G值511、551和591进行表示，B像素(B像素530和550)的B值由B值533和573进行表示。相差检测像素(相差检测像素520、540、560和580)的W值由W值524、544、564和584进行表示。

现在，将描述由G像素W值计算单元820执行的G像素550的W值的计算。在G像素550的W值的计算中，G像素W值计算单元820基于G值与W值之间的相关性以及G像素550的G值计算W值。

例如，使用方程17-19计算G像素550的W值(W_G550)。

W_G550＝(W_m/G_m)×G_G550…(17)

W_m＝a×W_W520+b×W_W540+c×W_W560+d×W_W580…(18)

G_m＝e×G_G510+f×G_G550+g×G_G590…(19)

其中，G_G550是G像素550的G值。此外，G_G510是G像素510的G值，G_G590是G像素590的G值。此外，W_W520是相差检测像素(称作W像素)520的W值，W_W540是W像素540的W值，W_W560是W像素560的W值，W_W580是W像素580的W值。

此外，a到g是权重系数并且与参照图8A和图8B描述的相同并且由此将省去对它们的描述。

此外，W_m是通过使用G像素550的位置作为基准应用低通滤光器计算的W值的低频分量，类似的是，G_m是通过使用G像素550的位置作为基准应用低通滤光器计算的G值的低频分量。

也就是说，方程17到方程19是用于使用G值的低频分量与W值的低频分量之间的相关性计算W值的方程，这与图8A和图8B中所示的方程9到方程11类似。如方程17所示，基于G值与W值之间的低频分量的相关性和G像素550的G值计算G像素550的W值。

在图19B中，G像素550的W值(W_G550)对应于在箭头的右侧所示的G像素550中所示的W值554(对点进行标记的区域)。当计算W值(W_G550)时使用的像素值对应于由布置在一列内的9个像素的粗线包围的像素值(G值511、551和591以及W值524、544、564和584)。

在G像素W值计算单元820中，基于G值与W值之间的低频分量的相关性以及G像素550的G值计算G像素W值。

如图19A和图19B所示，相差检测像素G值计算单元842基于G值与W值之间的低频分量的相关性以及相差检测像素的W值计算相差检测像素G值。在相差检测像素G值计算单元842中，使用与列方向上与要进行计算的相差检测像素相邻的像素的布置对应的低通滤光器。成像设备的操作的例子

接下来，将参照附图描述根据本发明的第二实施例的去马赛克单元800的操作。

图20是示出根据本发明的第二实施例的由G像素W值计算单元820和R和B像素W值计算单元330执行的图像产生像素W值计算处理(步骤S991)的处理过程的流程图。

这个处理过程是图14的变型例子并且与之不同之处在于由G像素W值计算单元820计算G像素的W值。由于其它部分与图14相同，所以与图14的共同部分由相同标号进行指示并且将部分省去对它们的描述。

如果确定要进行确定的像素是G像素(步骤S953)，则通过G像素W值计算单元820，使用W值与G值之间的相关性计算G像素的W值(步骤S992)并且然后处理进入步骤S956。

图21是示出根据本发明的第二实施例的由R和B像素G值计算单元341和相差检测像素G值计算单元842执行的G值计算处理(步骤S995)的处理过程的流程图。这个处理过程是图15的变型例子并且与之不同之处在于由相差检测像素G值计算单元842计算相差检测像素的G值。由于其它部分与图15相同，所以与图15共同部分由相同标号进行指示并且将部分省去对它们的描述。

如果确定要进行确定的像素不是G像素(步骤S962)，则使用W值与G值之间的相关性计算G值(步骤S992)并且然后处理进入步骤S966。例如，使用图8A和图8B所示的方程9到14计算R像素或B像素的G值。例如，使用在列方向上与要计算其G值的相差检测像素相邻的图像产生像素的G值和W值计算相差检测像素的G值，这与图19的方程17到19类似。

根据本发明的第二实施例，与本发明的第一实施例类似，即使当基于G值与W值之间的低频分量的相关性和G像素550的G值计算G像素W值时仍能够提高图像数据的图像质量。

3.变型例子

在本发明的第一和第二实施例中，假设：在如图4所示的成像器件的像素的布置中，布置图像产生像素的行和布置相差检测像素的行交替布置。然而，本发明不限于此并且可应用到使用具有其它像素布置的成像器件的情况，这与本发明的第一和第二实施例类似。本发明甚至可应用到彩色滤光器像素被包括在相差检测像素内的情况，与本发明的第一和第二实施例类似。

在图22中，将描述布置在两列中的图像产生像素与布置在两列中的相差检测像素进行交替布置的成像器件的例子。在图23中，将描述相差检测像素均包括透射绿(G)光的彩色滤光器(G滤光器)的成像器件的例子。

成像器件中的像素的布置的例子

图22是示出布置在两列内的图像产生像素与布置在两列内的相差检测像素进行交替布置的成像器件的像素的布置的例子作为本发明的第一实施例的变型例子的示意图。

图22对应于示出根据本发明的第一实施例的成像器件210的像素的布置的图4。也就是说，图22示出了构建根据本发明的第三实施例的成像器件的像素之中的一些像素(16×16像素)的区域(区域860)。如区域860中所示，在本发明的第一实施例的变型例子中，布置图像产生像素的两列和布置相差检测像素的两列进行交替布置。也就是说，如图22所示，在X轴方向上，交替布置图像产生像素、图像产生像素、相差检测像素、相差检测像素、图像产生像素、图像产生像素、相差检测像素、相差检测像素......。

在这种像素布置中，R和B像素G值计算单元341使用在列方向上与要计算其G值的像素相邻的像素的W值和G值计算G值(例如，图19所示的计算)。因此，可以执行去马赛克处理，这与本发明的第一实施例类似。

图23是示出相差检测像素均包括G滤光器的成像器件的像素的布置的例子作为本发明的第一实施例的变型例子的示意图。

与图22类似，图23对应于示出根据本发明的第一实施例的成像器件210的像素的布置的图4。

在图23所示的区域870中，示出了各自包括G滤光器的相差检测像素(相差检测像素875到878)。

在这种像素布置中，与图6A到图6F所示的方程1到方程8类似，通过计算与遮光区域对应的像素值并且将计算的像素值与相差检测像素的像素值进行相加计算相差检测像素的G值。由于计算G值替代W值，方程2、4、6和8中的除以“2”变得不必要。

从基于距离信息的柱状图计算R像素和B像素的G值。从基于距离信息的柱状图计算R值和B值，这与本发明的第一实施例类似。因此，可以执行去马赛克处理，这与本发明的第一实施例类似。

在本发明的实施例中，通过使用相差检测像素的像素值执行去马赛克处理，可以提高图像数据的图像质量。也就是说，在本发明的实施例中，通过从相差检测像素的像素值计算W值并且使用W值执行去马赛克处理，可以增加当执行去马赛克处理时涉及的像素值的数目并且提高分辨率或者提高插值精度。通过从相差检测像素的像素值计算距离信息并且使用距离信息执行去马赛克处理从而在识别具有相同色彩并且具有不同距离的物体的同时执行插值，可以提高插值精度。

通常，包括W滤光器的图像产生像素(W像素)易于饱和。因此，包括W像素的成像设备包括用于W像素的曝光控制电路。在本发明的实施例中，通过从光瞳分割的光的一部分被遮蔽的相差检测像素的像素值估计W值，即使当没有包括曝光控制电路时也几乎不会出现饱和(最多可以累积光接收部件的光接收表面的饱和量的两倍)。通过从相差检测像素的像素值估计W值并且在去马赛克处理中使用W值，可以提高信号/噪声(S/N)比率。

尽管描述了包括在图像产生像素中的彩色滤光器是具有三原色(RGB)的彩色滤光器的情况，但是本发明不限于此。例如，本发明还可以同样应用到具有互补色彩的彩色滤光器被包括在图像产生像素内的情况。

尽管描述了相差检测像素接收光瞳分割成两个部分的光的部分的情况，但是本发明不限于此。例如，本发明的实施例可应用到包括两个光接收部件并且相差检测像素能够通过光接收部件接收光瞳分割光的情况，从而提高图像数据的图像质量。

尽管在本发明的实施例中作为例子描述成像设备，但是本发明不限于此。例如，成像设备的外部设备(例如，个人计算机)可以基于记录的RWA数据执行根据本发明的第一实施例的处理。

本发明的实施例是用于实施本发明的例子。如在本发明的实施例中所述，本发明的实施例的内容对应于权利要求的特定内容。类似的是，权利要求的特定内容对应于具有相同名称的本发明的实施例的内容。本发明不限于这些实施例并且可以在不脱离本发明的范围的情况下实现实施例的各种变型。

在本发明的实施例中描述的处理过程可以是具有一系列过程的方法、用于执行这一系列过程的程序或者用于存储该程序的记录介质。作为记录介质，例如，可以使用紧凑盘(CD)、迷你盘(MD)、数字多功能盘(DVD)、记忆卡、蓝光盘(注册商标)等等。

本申请包含与在于2010年12月20日提交到日本专利局的日本优先权专利申请JP 2010-282524中公开的主题有关的主题，该日本优先权专利申请的全部内容以引用方式并入本文。

本领域技术人员应该明白，可以根据设计要求和其它因素构思各种变型、组合、子组合和变更，只要它们位于权利要求或它们的等同物的范围内即可。

Claims

1.一种图像处理设备，包括：

估计单元，被构造为基于图像数据的确定像素值来估计与成像器件的相差检测像素的位置对应的图像产生像素值，其中作为由成像器件产生的图像数据，所述图像数据包括确定像素值和图像产生像素值，所述成像器件包括用于产生用于进行聚焦确定的确定像素值的相差检测像素和用于产生用于产生图像的图像产生像素值的图像产生像素；以及

插值单元，被构造为基于估计的图像产生像素值和由图像产生像素产生的图像产生像素值对构成图像数据的各像素的图像产生像素值进行插值。

2.根据权利要求1的图像处理设备，还包括距离信息产生单元，该距离信息产生单元被构造为根据基于每个相差检测像素的确定像素值计算的散焦量产生距离信息，

其中，插值单元基于估计的图像产生像素值、距离信息以及由图像产生像素产生的图像产生像素值对构成图像数据的像素的图像产生像素值进行插值。

3.根据权利要求2的图像处理设备，其中，插值单元使用要进行插值的像素作为基准像素来设置要成为基准像素的插值的色彩作为目标色彩，如果使用距离信息插值基准像素的图像产生像素值则基于相差检测像素的距离信息计算图像产生像素的距离信息，设置位于距离基准像素的预定范围内的像素中的、保持与目标色彩相关的图像产生像素值的像素作为目标像素，在基于距离信息通过目标像素的距离信息指定的距离内检测距离基准像素的预定范围内的目标像素，并且通过将与检测的目标像素的目标色彩相关的图像产生像素值的均值设置到与要进行插值的像素的目标色彩相关的图像产生像素值来对图像产生像素值进行插值。

4.根据权利要求3的图像处理设备，其中，插值单元建立通过目标像素的距离信息指定的距离的像素的次数分布，设置次数分布的次数属于最大类的距离作为基准，检测与距离基准预定范围内的距离对应的目标像素，并且设置与检测的目标像素的目标色彩相关的图像产生像素值的均值作为与要进行插值的像素的目标色彩相关的图像产生像素值。

5.根据权利要求1的图像处理设备，其中，相差检测像素包括用于对被摄体光进行聚焦的微透镜、用于通过接收被摄体光产生图像产生像素值的光接收部件和位于微透镜与光接收部件之间以部分遮蔽被摄体光的遮光单元，以及

估计单元基于由要进行估计的相差检测像素产生的确定像素值和由与要进行估计的相差检测像素相邻的相差检测像素产生的确定像素值计算与由要进行估计的相差检测像素的遮光单元遮蔽的光相关的像素值，并且基于计算的像素值和要进行估计的相差检测像素的确定像素值估计相差检测像素的位置的图像产生像素值。

6.根据权利要求5的图像处理设备，其中，图像产生像素包括由红色滤光器覆盖的红色像素、由蓝色滤光器覆盖的蓝色像素和由绿色滤光器覆盖的绿色像素，其中所述红色滤光器用于对指示红色的波长区域之外的光进行遮蔽，所述蓝色滤光器用于对指示蓝色的波长区域之外的光进行遮蔽，所述绿色滤光器用于对指示绿色的波长区域之外的光进行遮蔽，

相差检测像素由透射可见光区域的光的白色滤光器或透明层进行覆盖，以及

估计单元估计与白色相关的图像产生像素作为相差检测像素的位置的图像产生像素值。

7.根据权利要求6的图像处理设备，其中，插值单元使用要进行插值的像素作为基准像素将要成为基准像素的插值的色彩设置成目标色彩，对与构成图像数据的像素的图像产生像素值的白色相关的图像产生像素值进行插值，并且然后基于与目标色彩相关的图像产生像素值、与由相同的滤光器覆盖的像素的白色相关的图像产生像素值和与基准像素的白色相关的图像产生像素值，对与基准像素的目标色彩相关的图像产生像素值进行插值，其中所述目标色彩是位于距离基准像素的预定范围内的像素的目标色彩，所述相同的滤光器还覆盖要进行插值作为位于距离基准像素预定范围内的像素的像素。

8.根据权利要求7的图像处理设备，其中，插值单元基于与白色相关的图像产生像素值的低频分量、与目标色彩有关的图像产生像素值的低频分量和与基准像素的白色有关的图像产生像素值，对与基准像素的目标色彩相关的图像产生像素值进行插值，其中，与白色相关的图像产生像素值的低频分量是基于与位于距离基准像素预定范围内的像素的白色相关的图像产生像素值计算的，与目标色彩有关的图像产生像素值的低频分量是基于与由目标色彩的滤光器覆盖的像素的目标色彩相关的图像产生像素值计算的，该目标色彩的滤光器位于距离基准像素预定范围内。

9.根据权利要求7的图像处理设备，其中，在成像器件中，在与特定方向正交的正交方向上交替布置通过在该特定方向上布置图像产生像素而构造的第一行和通过在该特定方向上布置相差检测像素而构造的第二行，以及

插值单元基于与白色相关的图像产生像素值的低频分量以及与基准像素的绿色相关的图像产生像素值，对与绿色像素的白色相关的图像产生像素值进行插值，其中白色相关的图像产生像素值的低频分量是：从与在基准像素的正交方向上位于预定范围内的相差检测像素的白色相关的图像产生像素值计算的白色相关的图像产生像素值的低频分量；以及从与位于预定范围内的绿色像素的绿色相关的图像产生像素值计算的白色相关的图像产生像素值的低频分量。

10.一种图像处理设备，包括：

距离信息产生单元，被构造为基于针对每个相差检测像素计算的散焦量产生距离信息，其中基于图像数据的确定像素值来计算所述散焦量，其中作为由成像器件产生的图像数据，所述图像数据包括确定像素值和图像产生像素值，所述成像器件包括用于产生用于进行聚焦确定的确定像素值的相差检测像素和用于产生用于产生图像的图像产生像素值的图像产生像素，以及

插值单元，该插值单元被构造为基于产生的距离信息和由图像产生像素产生的图像产生像素值对构成图像数据的像素之中的要进行插值的像素的图像产生像素值进行插值。

11.一种图像处理方法，包括：

基于图像数据的确定像素值来估计与成像器件的相差检测像素的位置对应的图像产生像素值，其中作为由成像器件产生的图像数据，所述图像数据包括确定像素值和图像产生像素值，所述成像器件包括用于产生用于进行聚焦确定的确定像素值的相差检测像素和用于产生用于产生图像的图像产生像素值的图像产生像素；以及

基于估计的图像产生像素值和由图像产生像素产生的图像产生像素值对构成图像数据的像素的图像产生像素值进行插值。