CN103828344A - 图像处理设备、图像处理方法和程序、以及包括该设备的摄像设备 - Google Patents

Abstract

一种图像处理设备，其用于对使用被配置成获得与拍摄镜头的光瞳分割区域相对应的被摄体图像光的行进方向信息的摄像光学系统从摄像元件所获得的图像信号进行处理。所述设备包括：用于设置生成重调焦图像的焦点位置的单元和用于使用其它像素的图像信号校正所述摄像元件的缺陷像素的图像信号的单元。所述设备基于所设置的焦点位置和所述被摄体图像光的行进方向信息来确定校正所述缺陷像素的图像信号要使用的所述其它像素。

Description

图像处理设备、图像处理方法和程序、以及包括该设备的摄像设备

技术领域

本发明涉及一种使用具有微透镜阵列的摄像元件的摄像设备所采用的图像处理设备，尤其涉及一种用于进行缺陷像素的校正测量的图像处理设备和包括该图像处理设备的摄像设备。

背景技术

近年来，提出了如下的照相机，该照相机可以根据以使得除了光强度分布以外还包括光的行进方向信息的方式所获得的摄像数据，来重构用户所指定的任何焦点位置处的图像。例如，NPL1提出了一种用于使用所谓的“光场摄像”的方法来实现上述功能的光场照相机。NPL1采用具有如下结构的光学系统，其中在该结构中，在拍摄镜头和摄像元件之间配置微透镜阵列，以使得穿过拍摄镜头的不同光瞳区域的光能够汇聚在各个微透镜上。将包括多个像素的像素块分配给一个微透镜。相应块中所包括的不同像素根据入射方向来对微透镜所汇聚的光进行光电转换。从由此所获得的图像信号中提取与聚焦于虚拟图像面(重调焦面)并且到达各微透镜处的光线相对应的图像信号，从而使得能够重构任何焦点位置处的图像。

在诸如CCD图像传感器和CMOS图像传感器等的固体摄像元件中，由于半导体基板上局部存在的晶体缺陷，可能导致缺陷像素。从这类缺陷像素不能获得正确的光电转换输出。因此，需要对来自缺陷像素的摄像信号进行校正。

用于校正来自缺陷像素的摄像信号的传统方法例如有用于利用与缺陷像素邻接的像素的像素值来替代缺陷像素的像素值的方法以及用于利用与缺陷像素邻接的像素的平均值来替代缺陷像素的像素值的方法。

引文列表

非专利文献

NPL1：Ren.Ng等7人,"Light Field Photography with a Hand-HeldPlenoptic Camera",Stanford Tech Report CTSR2005-02

发明内容

技术问题

在如NPL1所述的光场照相机中，通过多个像素分别接收聚焦于重调焦面上的光线。重调焦面的位置距离微透镜阵列越远，则各个像素接收光线的位置相互分开得越远。

因此，存在这样的问题：用于使用光电转换元件上邻接像素的像素值来校正缺陷像素的像素值的传统方法不能适当地校正缺陷像素的像素值。

用于解决问题的手段

考虑到上述情况做出了本发明，并且本发明提供一种能够始终对以使得包括光的行进方向信息的方式获得的摄像信号进行与缺陷像素有关的适当校正处理的图像处理设备。

根据本发明，一种图像处理设备，用于对使用被配置成获得与拍摄镜头的光瞳分割区域相对应的被摄体图像光的行进方向信息的摄像光学系统从摄像元件所获得的图像信号进行处理，所述图像处理设备包括：虚拟图像面位置设置单元，用于设置虚拟图像面的位置，其中，在所述虚拟图像面上，使用从所述摄像元件所获得的图像信号来重构被摄体的图像；以及校正单元，用于使用所述摄像元件的其它像素的图像信号，来校正所述摄像元件的缺陷像素的图像信号，其中，所述校正单元基于所述虚拟图像面位置设置单元所设置的虚拟图像面的位置和所述被摄体图像光的行进方向信息，来确定校正所述缺陷像素的图像信号要使用的所述其它像素。

发明的有益效果

本发明可以对用于生成重调焦图像的拍摄图像进行适当的缺陷像素校正。

根据以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是根据本发明实施例的整个摄像设备的框图。

图2是根据本发明实施例的摄像元件的像素阵列和微透镜阵列的结构的概念图。

图3是根据本发明实施例的拍摄镜头、微透镜阵列和像素阵列的结构的概念图。

图4A和4B是示出拍摄镜头的光瞳分割区域、微透镜和像素阵列之间的对应关系的图。

图5是示出穿过重调焦面上的特定像素的光线、拍摄镜头的光瞳分割区域、以及微透镜之间的位置关系的图。

图6是根据本发明实施例的摄像设备的图像处理单元的框图。

图7是根据本发明实施例的缺陷校正操作的流程图。

图8是示出从拍摄镜头的光瞳分割区域出射的、然后到达微透镜的光线和重调焦面上的穿过位置之间的关系的图。

图9A和图9B是从拍摄镜头的各个光瞳分割区域出射的、穿过微透镜阵列并且到达摄像元件的各个像素的光线的概念图。

图10A和图10B是示出缺陷像素和作为用于校正缺陷像素的像素所选择的像素的例子的图。

图11是示出根据像素阵列中的位置的权重系数的例子的图。

具体实施方式

将根据附图详细说明本发明的优选实施例。

示例1

图1是根据本发明第一实施例的整个摄像设备的框图。在该图中，穿过拍摄镜头101的被摄体图像光形成与拍摄镜头101的焦点位置邻接的图像。微透镜阵列102包括多个微透镜113。摄像光学系统包括微透镜阵列102和拍摄镜头。将微透镜阵列102配置成与拍摄镜头101的焦点位置邻接。穿过拍摄镜头101的不同光瞳区域的光到达微透镜阵列102处以分别针对每一光瞳分割区域从微透镜阵列102出射。通过微透镜阵列102分开的光到达摄像元件103处。摄像元件103由例如CCD图像传感器和CMOS图像传感器中的任一个构成，并且被配置在微透镜阵列102的焦点位置的附近。

模拟前端(AFE)104对来自摄像元件103的图像信号进行基准电平调整(钳位处理)和模拟-数字转换处理。数字前端(DFE)105对从AFE104输出的数字图像信号进行诸如基准电平的微小移位等的数字校正处理。图像处理单元106对来自DFE105的数字图像信号进行规定的图像处理，并且生成并输出图像数据。存储单元107包括用于保持缺陷像素信息(坐标)的非易失性存储器。控制单元108以集中的方式控制整个摄像设备，包括众所周知的CPU，并且装载并执行存储在未示出的存储器中的程序，从而控制各个组件的操作和各种处理。操作单元109具有用于电接收数字照相机中的操作构件的操作的结构。用户可以使用操作单元109(虚拟图像面位置设置单元)，来设置用于生成重调焦图像的任何重调焦(虚拟图像)面位置。可以通过控制单元108使用照相机参数来自动设置该重调焦面的位置。

显示单元110显示图像。记录介质111可以是存储卡和硬盘中的任一个。时序生成电路(TG)112生成用于驱动摄像元件103的各种定时信号。

如图6所示，本实施例的图像处理单元106包括缺陷校正单元601和重构单元602。缺陷校正单元601对摄像数据的缺陷像素进行校正处理。本发明的特征在于该缺陷校正单元。稍后将进行详细说明。图6中的重构单元602使用所谓的“光场摄像”的方法进行运算处理，从而根据摄像数据在所设置的焦点位置(重调焦面)处重构图像。稍后将详细说明重构单元602。

接着说明本实施例的摄像设备中所包括的拍摄镜头101、微透镜阵列102和摄像元件103的结构。

图2是用于说明摄像元件103和微透镜阵列102的结构的概念图。该图是示出从图1的光轴Z的方向上观看时、摄像元件103和微透镜阵列102之间的配置关系的概念图。以与多个像素201(以下简称为像素)相对应的方式配置一个微透镜113。将一个微透镜后方的像素201整体定义为像素阵列200。在本实施例中，像素阵列200包括五行五列的25个像素201。

图3是在从与光轴Z垂直的方向上观看时，从拍摄镜头101出射的光线穿过一个微透镜113、并且通过摄像元件103接收到的情况的概念图。从拍摄镜头的光瞳区域a1至a5的各个光瞳区域出射的被摄体图像光穿过微透镜113，并且聚焦于配置在微透镜113后方的各个像素p1至p5的感光面上。也就是说，从不同光瞳分割区域p1至p5出射的光线穿过一个微透镜113，并且通过不同像素进行光电转换，从而获得被摄体图像光的行进方向信息。

图4A是在从光轴Z的方向上观看时的拍摄镜头的开口的概念图。图4B是在从光轴Z的方向上观看时的一个微透镜113和配置在该微透镜113后方的像素阵列200的概念图。如图4A所示，在将拍摄镜头101的光瞳区域分割成与一个微透镜下的像素阵列所包括的像素同样多的区域的情况下，来自拍摄镜头的一个光瞳分割区域的光聚焦于一个像素。这里，假定拍摄镜头101的F数和微透镜113的F数大体相互一致。

在从光轴Z的方向上观看时，图4A所示的拍摄镜头101的光瞳分割区域a11至a55和图4B所示的像素p11至p55之间的对应关系成点对称。因此，从拍摄镜头101的光瞳分割区域a11出射的光聚焦于微透镜113后方的像素阵列200中所包括的像素p11。同样，从光瞳分割区域a11出射的、并且穿过其它微透镜113的光也聚焦于该微透镜后方的像素阵列200中的像素p11。

接着，将说明重构处理。对通过包括拍摄镜头101、微透镜阵列102和摄像元件103的摄像系统所获得的摄像信号中的任意设置的虚拟图像面(重调焦面)上的图像进行该处理。使用所谓的“光场摄像”的方法，基于图6所示的重构单元602中的控制程序，在控制单元108的控制下进行该重构处理。

图5是示出从与光轴Z垂直的方向观看时、穿过任意设置的重调焦面上的像素的光线从拍摄镜头101的哪个光瞳分割区域出射以及该光线到达哪个微透镜113的概念图。该图假定：拍摄镜头面上的光瞳分割区域的位置的坐标是(u，v)，重调焦面上的像素的位置的坐标是(x，y)，并且微透镜阵列面上的微透镜的位置的坐标是(x'，y')。该图还假定：从拍摄镜头面到微透镜阵列面的距离是F，并且从拍摄镜头面到重调焦面的距离是αF。重调焦系数α用于确定重调焦面的位置，并且可以被用户任意设置(α≠0)。图5仅示出方向u、x和x'，而省略与之垂直的方向v、y和y'。如图5所示，穿过了坐标(u，v)和坐标(x，y)的光线到达微透镜阵列上的坐标(x'，y')。可以将坐标(x'，y')表示为等式(1)。

$(x^{\text{'}},y^{\text{'}})=(u+\frac{x-u}{\mathrm{\α}},v+\frac{y-v}{\mathrm{\α}})---\left(1\right)$

假定：接收到该光线的像素的输出是L(x'，y'，u，v)，在重调焦面上的坐标(x，y)上所获得的输出E(x，y)是L(x'，y'，u，v)关于拍摄镜头的光瞳区域的积分。因此，可以将该输出表示为等式(2)。

$E(x,y)=\frac{1}{{\mathrm{\α}}^2{F}^2}\∫\∫L(u+\frac{x-u}{\mathrm{\α}},v+\frac{y-v}{\mathrm{\α}},u,v)\mathrm{dudv}---\left(2\right)$

在等式(1)中，通过用户确定重调焦系数α。因此，假定(x，y)和(u，v)确定了光线入射的微透镜的位置(x'，y')。那么，可以根据与该微透镜相对应的像素阵列200得知与位置(u，v)相对应的像素。该像素的输出是L(x'，y'，u，v)。针对所有光瞳分割区域获得该输出。根据等式(2)对所获得的像素输出进行加总(积分)，从而计算E(x，y)。

在(u，v)是拍摄镜头的光瞳分割区域上的代表性坐标(离散值)的情况下，可以通过简单加法(Σ)来计算等式(2)的积分。

如上所述，进行等式(2)的运算处理，从而使得能够重构任意焦点位置的图像。

接着，将说明作为本发明的特征的缺陷校正单元601中的缺陷校正操作。根据存储在系统中的程序，在控制单元108的控制下执行该操作。

图7是缺陷校正单元601中的缺陷校正操作的流程图。在针对从摄像元件103的各像素所获得的图像信号判断像素是否是缺陷像素期间，在像素是缺陷像素的情况下，缺陷校正单元601校正图像信号。假定已经基于例如预先存储在存储器中的缺陷像素的坐标信息，判断输入至缺陷校正单元601的图像信号是来自缺陷像素的图像信号还是来自正常像素的图像信号。

在步骤S701，基于经由操作单元109所设置的虚拟图像面的位置，获得重调焦系数α。

在步骤S702，判断所输入的摄像数据中的像素是缺陷像素还是正常像素。如果像素是缺陷像素，则处理进入步骤S703。如果像素是正常像素，则处理进入步骤S706。

在步骤S703，选择生成校正值所使用的像素以创建被判断为缺陷像素的像素的校正值。首先，通过使用缺陷像素来重构图像的重调焦面上的坐标。计算在重调焦面上重构所获得的坐标上的图像所使用的其它像素的坐标。从这些像素中选择生成校正值所使用的像素。

在步骤S704，使用来自S703中已选择的用于生成校正值的像素的图像信号，生成用于校正缺陷像素的校正值。在本实施例中，校正值生成所使用的像素的算术平均就是该校正值。然而，本实施例不限于此。根据所选择的用于生成校正值的像素在像素阵列200中的位置，可以将使用如图11所示的权重系数的加权后的平均值作为校正值。图11是与图4B所示的像素阵列200相对应的权重系数的例子。在图4B中，如果将与拍摄镜头的有效光瞳区域以外的区域相对应的像素阵列200中的像素(例如，p11，p15，p51和p55)的权重系数设置得小，则可以降低生成校正值时的噪声影响。

在步骤S705，通过以在S704所计算出的校正值替换缺陷像素的输出来进行校正。

在步骤S706，判断是否所有像素都已经过了S702至S705的处理。如果仍未对于所有像素进行这些处理，则处理返回至S702并且判断下一像素是否是缺陷像素。如果下一像素是最后的像素，则结束缺陷校正操作。

接着，将详细说明在步骤S703选择创建校正值所使用的像素的方法。这里，假定如下情况以进行说明：在与微透镜阵列上的坐标(x_k'，y_k')的微透镜相对应的像素阵列200中所包括的像素中，与拍摄镜头的光瞳分割区域(uk，pk)相对应的像素是缺陷像素。

虚拟图像面上的如下光线所穿过的位置是位置(x_k，y_k)：该光线从拍摄镜头面的光瞳分割区域(u_k，p_k)出射并且入射到微透镜阵列面上的坐标(x_k'，y_k')的微透镜以聚焦于缺陷像素。首先，计算坐标(x_k，y_k)。

图8是示出从拍摄镜头面的光瞳分割区域(u_k，p_k)出射并且到达微透镜阵列面上的坐标(x_k'，y_k')的微透镜的光线所穿过的重调焦面上的坐标的概念图。对于图5，该图仅示出方向u、x和x'，而省略垂直方向v、y和y'。

通过图8可知，可以通过等式(3)来表示光线穿过的重调焦面上的坐标(x_k，y_k)。

$(x_k,y_k)=(\frac{\mathrm{\α}}{1-\mathrm{\α}}(x_k^{\text{'}}-u_k)+u_k,\frac{\mathrm{\α}}{1-\mathrm{\α}}(y_k^{\text{'}}-v_k)+v_k)---\left(3\right)$

因此，在重构图像时，将接收穿过与等式(3)所表示的重调焦面上的相同位置(x_k，y_k)的光线的像素与缺陷像素一起进行积分。在通过L(x'，y'，u，v)表示这些像素输出的情况下，可以使用等式(1)、通过等式(4)来表示L(x'，y'，u，v)。

$L(x^{\text{'}},y^{\text{'}},u,v)=L(u+\frac{x_k-u}{\mathrm{\α}},v+\frac{y_k-v}{\mathrm{\α}},u,v)---\left(4\right)$

这里，代表性坐标(u，v)处于光线入射到缺陷像素所通过的光瞳分割区域(u_k，v_k)以外的光瞳分割区域上。也就是说，可以通过简单加法计算等式(2)的积分。

例如，根据摄像元件上用来与缺陷像素一起重构图像的像素中位于该缺陷像素附近(即，上、下、右和左)的四个像素的平均值，来创建校正值。在这种情况下，根据通过将(u_k+d，v_k)、(u_k-d，v_k)、(u_k，v_k+d)、(u_k，v_k-d)分别代入等式(4)的(u，v)中所获得的四个像素输出，来计算校正值。

符号d表示拍摄镜头的邻接光瞳分割区域的代表性坐标之间的距离。这里，假定距离F是从拍摄镜头101到微透镜阵列102，距离f是从微透镜阵列到摄像元件103，摄像元件的像素间距是s，并且拍摄镜头和微透镜的F数相等，则可以将d表示为等式(5)。

$d=\frac{F}{f}s---\left(5\right)$

在将重调焦面设置在微透镜阵列面上的情况下，即，在α=1的情况下，等式(3)似乎无法求解。在这种情况下，通过相应像素阵列上的微透镜来形成拍摄镜头的图像。根据用于计算校正值的方法，可以选择像素阵列上与缺陷像素邻接的像素作为校正用的像素。

图9A、图9B、图10A和图10B示出根据上述方法所选择的用于创建校正值的像素的例子。

图9A和图9B是示出从拍摄镜头101的各个光瞳分割区域出射的光线穿过微透镜阵列102、并且到达摄像元件103的各个像素的情况的概念图。图10A和图10B是示出在从光轴的方向观看摄像元件103和微透镜阵列102时该元件和该阵列的概念图。

图9A示出在将重调焦面设置在与微透镜阵列的位置相同的位置时(α=1)的光线。在这种情况下，用于生成重调焦面上的坐标(x，y)的重构图像的像素信号的像素是表示为图10A中的像素A、B和C的像素。在将重调焦面设置在微透镜阵列上的情况下，重构特定坐标所使用的所有像素是同一像素阵列中的像素。在图10A和10B中，在像素B是缺陷像素的情况下，用于创建缺陷像素B的校正值的像素是与缺陷像素B邻接的四个像素C。然后，通过以这四个像素C的平均值替换缺陷像素B的输出来进行校正。

另一方面，将重调焦面设置在拍摄镜头相对于微透镜阵列的一侧的情况下(0<α<1)的光线如图9B所示。在这种情况下，用于生成重调焦面上的坐标(x，y)的重构图像的像素信号的像素例如是如图10B中的像素A、B和C所示的远处位置上的像素。这里，在像素B是缺陷像素的情况下，创建缺陷像素B的校正值要使用的像素是重构图像所使用的像素中位于缺陷像素B附近的四个像素C。然后，通过以这四个像素C的平均值替换缺陷像素B的输出来进行校正。

如图9A、图9B、图10A和图10B所示，即使在校正相同位置上的缺陷像素的情况下，校正缺陷像素所要使用的像素根据所设置的虚拟图像面上的位置而有所不同。本发明使得能够根据这类状况对于缺陷像素进行适当校正。

可以采用在重构单元602中进行缺陷校正处理的结构。也就是说，在重构单元602中，顺次进行以等式(2)所表示的重构处理。如果在重构图像所使用的像素中存在缺陷，则可以根据以等式(4)所表示的像素值来创建校正值。

如上所述，首先，本实施例获得缺陷像素用于重构重调焦面上的哪一坐标。计算重构所获得的重调焦面的坐标上的图像所使用的其它像素的坐标。根据所计算出的坐标的像素的输出值，来创建校正值。因此，对于用于重构重调焦图像的拍摄图像，可以适当校正缺陷像素。

系统控制单元108的控制可以通过一个硬件来进行或者可以在多个硬件之间共享，以控制整个设备。在上述实施例中，本发明示例性说明了摄像设备。然而，显然，本发明可应用于对从诸如PC等的处理设备中的记录介质所提供的图像信号的处理。

其它示例

还可以通过读出并执行记录在存储器装置上的程序以进行上述实施例的功能的系统和设备的计算机(或者诸如CPU或MPU等的装置)和通过下述方法来实现本发明的各方面，其中，系统或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行所述方法的步骤。为此，例如，经由网络或者通过用作为存储器装置的各种类型的记录介质(诸如，计算机可读介质)将该程序提供给计算机。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

本申请要求2011年11月30日提交的日本专利申请2011-262007的优先权，其全部内容通过引用包含于此。

Claims (9)

1.一种图像处理设备，用于对使用被配置成获得与拍摄镜头的光瞳分割区域相对应的被摄体图像光的行进方向信息的摄像光学系统从摄像元件所获得的图像信号进行处理，所述图像处理设备包括：

虚拟图像面位置设置单元，用于设置虚拟图像面的位置，其中，在所述虚拟图像面上，使用从所述摄像元件所获得的图像信号来重构被摄体的图像；以及

校正单元，用于使用所述摄像元件的其它像素的图像信号，来校正所述摄像元件的缺陷像素的图像信号，

其中，所述校正单元基于所述虚拟图像面位置设置单元所设置的虚拟图像面的位置和所述被摄体图像光的行进方向信息，来确定校正所述缺陷像素的图像信号要使用的所述其它像素。

2.根据权利要求1所述的图像处理设备，其中，所述校正单元从用于接收包括与到达所述缺陷像素的被摄体图像光所穿过的所述虚拟图像面上的位置相同的位置的行进方向信息的被摄体图像光的像素中选择所述其它像素，并且使用所选择的像素的像素信号来生成所述缺陷像素的图像信号的校正值。

3.根据权利要求2所述的图像处理设备，其中，所选择的像素是包括与到达所述缺陷像素的被摄体图像光所穿过的所述虚拟图像面上的位置相同的位置的行进方向信息的被摄体图像光中的、来自与到达所述缺陷像素的被摄体图像光所出射的光瞳分割区域邻接的光瞳分割区域的被摄体图像光所到达的像素。

4.根据权利要求1～3中任一项所述的图像处理设备，其中，所述校正单元利用所述其它像素的图像信号的算术平均来生成所述缺陷像素的图像信号的校正值。

5.根据权利要求1～3中任一项所述的图像处理设备，其中，所述校正单元通过使用与所述光瞳分割区域的位置相对应的像素的图像信号的权重的加权平均来生成所述缺陷像素的图像信号的校正值。

6.一种图像处理设备的控制方法，所述图像处理设备用于对使用被配置成获得与拍摄镜头的光瞳分割区域相对应的被摄体图像光的行进方向信息的摄像光学系统从摄像元件所获得的图像信号进行处理，所述控制方法包括以下步骤：

虚拟图像面位置设置步骤，用于设置虚拟图像面的位置，其中，在所述虚拟图像面上，使用从所述摄像元件所获得的图像信号来重构被摄体的图像；以及

校正步骤，用于使用所述摄像元件的其它像素的图像信号，来校正所述摄像元件的缺陷像素的图像信号，

其中，所述校正步骤包括：基于所述虚拟图像面位置设置步骤所设置的虚拟图像面的位置和所述被摄体图像光的行进方向信息，来确定校正所述缺陷像素的图像信号要使用的所述其它像素。

7.一种用于存储程序的计算机可读存储介质，其中，所述程序包括用于使得计算机执行根据权利要求6所述的图像处理设备的控制方法的程序代码。

8.一种摄像设备，包括：

摄像光学系统，用于获得与拍摄镜头的光瞳分割区域相对应的被摄体图像光的行进方向信息；

摄像元件，用于对通过所述摄像光学系统所聚焦的被摄体图像光进行光电转换，以输出图像信号；以及

根据权利要求1～5中任一项所述的图像处理设备。

9.根据权利要求10所述的摄像设备，其中，所述摄像光学系统包括位于所述拍摄镜头和所述摄像元件之间的与所述光瞳分割区域相对应的微透镜阵列，并且与各微透镜相对应的所述摄像元件的像素阵列中所包括的各个像素对应于所述拍摄镜头中的各个光瞳分割区域。

Images