CN102547095A - 图像感测装置及图像感测装置的控制方法 - Google Patents

Abstract

本发明提供图像感测装置及图像感测装置的控制方法。获取由图像感测器输出的图像信号生成的感测图像，该图像感测器用于接收依次通过成像透镜和微透镜阵列而入射的光，该微透镜阵列是包括多个微透镜的二维阵列。创建列表，在该列表中，针对所述图像感测器上的各像素位置，登记入射在该像素位置处的光在成像透镜上的坐标与该像素位置的坐标之间的对应关系。生成通过根据在所述列表中登记的成像透镜上的坐标的排列顺序来重排所述图像感测器上与该坐标对应的像素位置处的像素而获得的图像，作为视差图像组。

Description

图像感测装置及图像感测装置的控制方法

技术领域

本发明涉及图像感测装置以及图像感测装置的控制方法。

背景技术

传统上，在数字相机中，通过成像透镜在图像感测元件上形成物像，并将由图像感测元件获得的图像信息显示在LCD(液晶显示器)上。数字相机包括电子取景器(EVF)以观察在LCD上形成的图像信息(日本特开平5-134294号公报)。

已知一种使用即时观察显示(live view display)的数字相机，其中布置在图像感测元件的整个表面上的遮光器(shutter)是打开的，以将物像投影在图像感测元件上，由此在图像显示LCD中显示视频(日本特开2001-186401号公报)。

国际专利公开06/039486号公报和Ren.Ng等人所著的论文“LightField Photography with a Hand-Held Plenoptic Camera”(Stanford TechReport CTSR 2005-02)提出了一种利用所谓“光场摄影”方法的图像感测装置。该图像感测装置包括成像透镜、微透镜阵列、图像感测元件以及图像处理单元。由图像感测元件获得的感测图像数据不仅包括光接收面上的光强度分布，还包括光传播方向的信息。图像处理单元能够重建从多个取景器或多个方向观察的图像。

然而，当包括布置在图像感测元件前方的微透镜阵列的图像感测装置利用具有环形开口部分的孔径光阑，感测如图20A所示的被摄体时，即时观察显示图像包括如图20B所示的非光接收区域。因此，对于用户来说，难以确定焦点位置。

发明内容

鉴于上述问题做出了本发明，本发明提供一种用于将即时观察图像转换成用户能够容易地确定焦点位置的图像的技术。

根据本发明的第一方面，提供一种图像感测装置，该图像感测装置包括：用于获取由图像感测器输出的图像信号生成的感测图像的单元，该图像感测器用于接收依次通过成像透镜和微透镜阵列而入射的光，该微透镜阵列是包括多个微透镜的二维阵列；创建单元，其创建列表，在该列表中，针对所述图像感测器上的各像素位置，登记入射在该像素位置处的光在成像透镜上的坐标与该像素位置的坐标之间的对应关系；生成单元，其生成通过根据在所述列表中登记的成像透镜上的坐标的排列顺序来重排所述图像感测器上与该坐标对应的像素位置处的像素而获得的图像，作为视差图像组；以及输出单元，其输出由所述生成单元生成的图像。

根据本发明的第二方面，提供一种图像感测装置的控制方法，该图像感测装置包括用于接收依次通过成像透镜和微透镜阵列而入射的光的图像感测器，该微透镜阵列是包括多个微透镜的二维阵列，该控制方法包括：获取由图像感测器输出的图像信号生成的感测图像的步骤；创建步骤，其创建列表，在该列表中，针对所述图像感测器上的各像素位置，登记入射在该像素位置处的光在成像透镜上的坐标与该像素位置的坐标之间的对应关系；生成步骤，其生成通过根据在所述列表中登记的成像透镜上的坐标的排列顺序来重排所述图像感测器上与该坐标对应的像素位置处的像素而获得的图像作为视差图像组；输出步骤，其输出在该生成步骤中生成的图像。

通过下面参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是示出图像感测装置的结构示例的框图；

图2是示出信号处理单元106的功能结构示例的框图；

图3是示出孔径光阑102的图；

图4是示出位置关系的图；

图5是示出图像感测器104的光接收面上各微透镜的光接收区域的示例的图；

图6是要由信号处理单元106执行的处理的流程图；

图7是示出在m＝3和n＝3的情况下成像透镜101的区域划分和区域的指标(index)的示例的图；

图8是用于解释成像透镜上的坐标(u，v)的图；

图9是示出光场的排列的示例的表；

图10是用于解释光场创建方法的图；

图11是示出视差图像的排列的示例的图；

图12A和图12B是示出视差图像创建的示例的图；

图13是示出图像感测器104的光接收面上的微透镜的光接收区域的示例的图；

图14是示出显示单元116的显示画面上的显示示例的图；

图15是示出在m＝5和n＝5的情况下根据提取开始坐标排列所有的视差图像的示例的图；

图16是示出在显示单元116的显示画面上仅排列并显示分别具有大于或等于阈值的平均像素值的视差图像的示例的图；

图17是示出视差图像的排列示例的图；

图18是示出GUI的显示示例的图；

图19是示出视差图像的排列示例的图；

图20A至图20C是用于解释第一实施例的效果的图；

图21是在缩小孔径光阑102时图像感测器104上的光接收区域的示意图；

图22是示出在视差数为5×5时的视差图像的图；

图23是示出在视差数为3×3时的视差图像的图；

图24是示出在视差数为7×7时的视差图像的图；

图25是示出信号处理单元106的功能结构示例的框图；

图26是重聚焦评价信息生成处理的流程图；

图27是用于解释获取主被摄体选择信息的处理的图；

图28是用于解释中心坐标的图；以及

图29是示出显示单元116上的显示示例的图。

具体实施方式

以下参照附图说明本发明的实施例。请注意，以下要说明的实施例仅是本发明的具体实践的示例，并且表示所附权利要求中的结构的具体示例。

[第一实施例]

在本实施例中，将说明以下示例：保持(holding)微透镜阵列的图像感测装置将即时观察图像转换成有助于在显示即时观察图像的显示单元上进行聚焦的图像。

<图像感测装置的结构示例>

将参照图1的框图来说明根据本实施例的图像感测装置的结构示例。注意图1示出了以下要描述的各处理的主要部件的示例，可适用于本实施例的图像感测装置的结构不限于图1所示的结构。也就是说，可以向图1中所示的结构添加部件。可以整合图1中所示的某些单元。可以将一个构成单元分解成两个或更多个构成单元。可以将以下要作为给定构成单元执行的处理而描述的处理，分配给其他构成单元。

成像透镜101是主透镜，被构造成感测被摄体，并例如包括在摄像机、静态照相机等中使用的通用变焦透镜、聚焦透镜以及模糊校正透镜。

孔径光阑102是用于成像透镜101的光学孔径光阑。孔径光阑102例如在中央处具有一个圆形开口部分，如图3所示。黑框部分表示通过缩小孔径光阑到一定程度而形成的非开口部分。将开口部分的直径(成像透镜101的有效直径)称为D。将孔径光阑102布置成与微透镜阵列103相隔距离L。

微透镜阵列103例如是通过以矩阵方式二维地排列多个微透镜而形成的二维阵列，并且布置在成像透镜101的成像面上。各微透镜例如具有圆形或六角形的平面形状，并且由固体透镜、液晶透镜、液体透镜、衍射透镜等形成。

将成像透镜101、孔径光阑102、微透镜阵列103以及图像感测器(图像感测元件)104一起称为图像感测单元100。

图4示出了成像透镜101、孔径光阑102、微透镜阵列103以及图像感测器104之间的位置关系。在此情况下，m是分配给微透镜阵列103的各微透镜的一个方向(图4中的垂直方向)的像素数，s是在图像感测器104中包括的图像感测元件(像素)的一侧方向(图4中的垂直方向)上的大小(像素大小)，而L如上所述是孔径光阑102与微透镜阵列103之间的距离。注意，成像透镜101与孔径光阑102之间的距离很近，近到可被忽略。因此，在图4中，L表示成像透镜101与微透镜阵列103之间的距离。如上所述，D表示成像透镜101的有效直径，而f表示微透镜阵列103与图像感测器104之间的距离。

换言之，像素数m是图像感测器104接收通过一个微透镜入射的光的区域(光接收区域)的一个方向上(图4中的垂直方向上)的像素数。可以通过以下公式计算所分配的像素数m：

(m×s)∶f＝D∶L

m＝D×f/(L×s)                        (1)

然而，作为m，当然仅能够采用正整数。因此，如果通过计算公式(1)求得实数作为m，则将小数点第一位进位成整数。

返回参照图1，图像感测器104接收通过微透镜阵列103(各微透镜)入射的光并获取被摄体的光量。图像感测器104布置在微透镜阵列103(各微透镜)的焦平面(focal plane)上。图像感测器104包括按矩阵方式二维排列的多个图像感测元件。可以采用CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)，作为图像感测元件。当然，如果能够确保图像感测器104的光接收面上的位置与从图像感测器104输出的图像上的位置之间的对应关系，则不特别限制图像感测器104的布置。

在本实施例中，在图像感测器104的光接收面上按矩阵方式二维排列M×N个像素(图像感测元件)。在由多个像素形成的区域(光接收区域)上接收透过一个微透镜的光。光接收面上的像素数例如是M×N＝5180×3450＝17871000。

令m为针对光接收区域的水平方向利用公式(1)计算的像素数(针对水平方向分配的像素数)，令n为针对垂直方向利用公式(1)计算的像素数(针对垂直方向分配的像素数)。在此情况下，像素数m和n与最终生成的视差图像的任意视角上的分辨能力相关。为此，随着值m和n的增大，视差图像的任意视角上的分辨能力升高。另一方面，M/m和N/n与视差图像的像素数(分辨率)相关。为此，随着值M/m和N/n的增大，视差图像的像素数升高。因此，在视差图像的任意视角上的像素数和分辨能力具有折衷关系。

此外，例如，基于像素将彩色滤光器(图1中未示出)二维布置在图像感测器104的光接收面上。彩色滤光器具有拜耳排列(Bayerarrangement)，在该拜耳排列中以R∶G∶B＝1∶2∶1的比率将三基色(即红(R)、绿(G)和蓝(B))的滤光器排列为格子图案。因为将这种彩色滤光器设置在图像感测器104的光接收面上，所以能够获得与彩色滤光器的色彩对应的多种色彩的像素。

A/D转换单元105将表示从图像感测器104输出的被摄体的光量的模拟信号(表示从各图像感测元件输出的像素的像素值的模拟信号(图像信号))，转换成数字信号。

信号处理单元106对从A/D转换单元105输出的数字信号，执行去马赛克处理(demosaicing processing)、白平衡处理、伽马处理等，以生成所感测图像的数据(感测图像数据)。然后，信号处理单元106基于图像感测器104上的像素的一侧方向上的像素大小s、孔径光阑102与微透镜阵列103之间的距离L、成像透镜101的有效直径D以及微透镜阵列103与图像感测器104之间的距离f，生成视差图像的数据(视差图像数据)。接下来，信号处理单元106根据来自操作单元113的指令，生成要在显示单元116上显示的图像数据(显示图像数据)。稍后将描述视差图像数据生成处理和显示图像数据生成处理。

编码器单元107执行将信号处理单元106生成的视差图像数据转换成诸如jpeg或mpeg的文件格式的处理。

介质接口单元108用作连接PC或其他介质(例如硬盘、存储卡、CF卡、SSD卡或USB存储器)的接口。

D/A转换单元109将信号处理单元106生成的视差图像数据转换成模拟数据。

CPU 110利用存储在ROM 111或RAM 112中的计算机程序和数据执行处理，以控制图像感测装置中包括的单元的操作。

ROM 111存储图像感测装置的激活程序和初始安装数据、要由CPU110使用以对图像感测装置的单元的操作进行控制的计算机程序和数据，以及在本实施例中作为已知信息描述的各种信息。

RAM 112具有临时存储从ROM 111载入的计算机程序和数据的区域，以及要由CPU 110和其他单元使用以执行处理的工作区域。也就是说，RAM 112能够按需要提供各种区域。

操作单元113包括按钮和模式转盘(mode dial)。将通过用户对操作单元113的操作而输入的操作指令发送给CPU 110。当然，CPU 110可以执行操作单元113的某些功能，例如，通过在稍后描述的显示单元116的显示画面上显示按钮图像并使用户用手指指出按钮图像的模式选择按钮的功能等。

图像感测系统控制单元114控制图像感测单元100来进行聚焦、遮光器打开、光阑调节等。

字符生成单元115生成字符、图形等，并能够生成例如GUI(图形用户界面)。所生成的字符、图形以及GUI显示在稍后描述的显示单元116的显示画面上。

通常，广泛使用LCD作为显示单元116，来显示由字符生成单元115生成的字符和图形、由信号处理单元106生成的显示图像等。显示单元116可以具有触摸屏功能。在此情况下，如上所述能够实现操作单元113的某些功能。当然，也能够实现除了操作单元113的那些功能以外的功能。

接下来，将参照图2的框图来描述信号处理单元106的结构示例。

视差数计算单元201计算图像感测器上能够接收到透过各微透镜的光的像素数。以下，将图像感测器上能够接收到透过各微透镜的光的像素数称为视差数。

LF创建单元202基于视差数创建图像感测装置的光场。光场表示通过成像透镜的光束的通过位置与图像感测元件上的光接收位置之间的对应关系。

图像重构单元203基于光场重排保持在缓冲器204中的感测图像数据的像素，由此生成从不同视点观察的视差图像数据。

视差图像提取单元205基于操作单元113的显示模式信息选择并提取视差图像数据，并向编码器单元107和D/A转换单元109发送视差图像数据。

<图像感测装置的操作>

接下来将描述根据本实施例的图像感测装置的操作。通过成像透镜101和孔径光阑102入射在微透镜阵列103上的光(物像)，根据各微透镜的形状，在图像感测器104的光接收面上形成图像。也就是说，针对各微透镜，在图像感测器104的光接收面上形成接收透过微透镜的光的区域(光接收区域)。图5示出了图像感测器104的光接收面上的针对各微透镜的光接收区域的示例。

由于孔径光阑102的开口部分是圆形的(如图3所示)，因此在图像感测器104的光接收面上与各微透镜相对应地形成有圆形的光接收区域。此时，入射在微透镜阵列103上的光束，根据在成像透镜101上的入射位置，在图像感测器104的光接收面上的不同位置处被接收。

图像感测器104的各图像感测元件输出与接收到的光量相对应的模拟信号。结果，图像感测器104输出针对各像素的模拟信号。A/D转换单元105将各像素的模拟信号转换(A/D转换)成数字信号，由此生成各像素的数字信号。该A/D转换可以是通常处理。例如，将被摄体的光量光电转换成信号，然后转换成表示14位数字值的数字信号。

接下来，信号处理单元106对由A/D转换单元105转换后的各像素的数字信号，执行针对一般拜耳排列的去马赛克处理、白平衡处理以及伽马处理，以生成感测图像数据。信号处理单元106基于光场将感测图像数据重构为视差图像数据，并生成要在显示单元116上显示的显示图像数据。将参照图6的流程图来描述视差图像数据生成处理和显示图像数据生成处理。

在步骤S601中，视差数计算单元201从图像感测单元100获取图像感测单元参数。图像感测单元参数是图像感测元件上的像素的一侧方向上的像素大小s、孔径光阑102与微透镜阵列103之间的距离L、成像透镜101的有效直径D以及微透镜阵列103与图像感测器104之间的距离f。上面已经描述了从图像感测单元100获取图像感测单元参数。然而，例如，图像感测单元参数可以预先存储在ROM 111中，并且视差数计算单元201可以从ROM 111获取图像感测单元参数。作为另选方案，可以在显示单元116上显示参数输入字段，并且可以使用用户通过操作操作单元113而输入到参数输入字段的值，作为图像感测单元参数。否则，例如，可以将全孔径状态的孔径光阑102的有效直径D0存储在ROM 111中。当获得光阑的F数Fnum时，可以通过计算以下公式来求得有效直径D：

D＝D0/Fnum                                (2)

可以使用用于距离测量而提供的雷达设备来检测孔径光阑102与微透镜阵列103之间的距离L或者微透镜阵列103与图像感测器104之间的距离f。请注意，当例如成像透镜101与微透镜阵列103或图像感测器104之间的距离或光阑已经改变时，可以重新获取图像感测单元参数。

在步骤S602中，视差数计算单元201基于在步骤S601中获取的图像感测单元参数，来计算视差数。图4示出了图像感测单元参数以及成像透镜101、孔径光阑102、微透镜阵列103和图像感测器104之间的位置关系。此时，以下公式给出了用于从各微透镜接收光的元件数m：

m×s∶f＝D∶L

$m=\frac{\mathrm{Ls}}{\mathrm{Df}}---\left(3\right)$

其中，m是正整数。

由公式(3)计算出图像感测元件上的用于接收光的元件数量m×n。视差数计算单元201将元件数量m×n发送给LF创建单元202，作为根据本实施例的图像感测装置的视差数。请注意：视差数计算仅是保持透镜阵列的图像感测装置的一种形式的示例，而本发明并不限于此。例如，可以从ROM 111中获取视差数。当重新获取图像感测单元参数时，也重新计算视差数。

在步骤S603中，LF创建单元202基于视差数将成像透镜101划分成多个区域，并且向各区域分配指标。由视差数计算单元201计算出的、用于接收针对各微透镜的光的元件数量是视差数。因此，当视差数是m×n时，成像透镜被划分成m×n个区域，并且将指标ML(1，1)，ML(2，1)，...，ML(m，n)分别分配给这些区域。例如，图7示出了在m＝3并且n＝3时成像透镜101的区域划分和区域的指标的示例。

在步骤S604中，基于图像感测单元参数和成像透镜的区域划分，LF创建单元202创建光场，该光场是登记有各图像感测元件的坐标(x，y)与入射在图像感测元件上的光束在成像透镜101上的坐标(u，v)之间的对应关系的列表。如图8所示，成像透镜上的坐标(u，v)被定义在将原点置于成像透镜的中心时在包括成像透镜的坐标系上。例如，假设u-v坐标系的范围从-1至1(如图8所示)。如图9所示，所创建的光场是与各像素的坐标(x，y)对应的坐标(u，v)和包括坐标(u，v)的划分区域的指标的表。对于图像感测装置的光场，从一像素到微透镜的中心划线，如图10所示，由此获取成像透镜上的透射点的坐标，作为与该像素对应的坐标。对所有像素执行该操作，以创建光场。请注意，图10中示出的光场仅是图像感测单元100的元件的位置关系的示例。本发明不限于此，只要光场表示成像透镜101上的坐标(u，v)以及图像感测器104上的像素的坐标(x，y)之间的对应关系即可。当图像感测单元100中孔径光阑102与微透镜阵列103之间的距离L或者微透镜阵列103与图像感测器104之间的距离f发生改变时可以重建光场。

在步骤S605中，将从A/D转换单元105输入的数字信号存储在缓冲器204中，作为感测图像数据。

在步骤S606中，图像重构单元203基于从LF创建单元202获得的光场，将保持在缓冲器204中的感测图像数据重构为视差图像数据。更具体地说，重排感测图像数据中的像素，使得光场中的坐标(u，v)的u从左向右增大，而v从上向下增大。也就是说，当重排之后像素的坐标由(x′，y′)表示时，利用以下公式来进行重排

(x′，y′)＝(u，v)                                    (4)

这使得能够重构具有与成像透镜的划分区域相同数量的视差的视差图像数据。视差图像表示具有如下视差的图像组，该视差包括当感测到图12A中示出的被摄体时从相对于中央的上侧感测到的被摄体的图像和从右侧感测到的被摄体的图像，如图12B所示。

在步骤S607中，图像重构单元203将重构的视差图像数据存储在缓冲器204中。如果视差图像数据已经存储在缓冲器204中，则图像重构单元203更新已经存储的视差图像数据。图像重构单元203还将光场存储在缓冲器204中。

在步骤S608中，图像重构单元203确定光场的图像感测单元参数是否存在改变。在确定不存在改变时，确定完成了该更新，并且处理进行到步骤S609。在确定图像感测单元参数存在改变时，处理返回步骤S601。

在步骤S609中，图像重构单元203执行光场中的交叠确定。在交叠确定中，确定成像透镜是否具有与各像素对应的两种或更多种坐标。在确定存在交叠时，处理进行到步骤S610。在确定不存在交叠时，处理进行到步骤S611。例如，假设图像感测器104具有处于图13中示出的状态的光接收区域。如图13所示，当各光接收区域较宽时，产生交叠区域。

在步骤S610中，图像重构单元203向与确定为交叠的像素相对应的光场给出表示存在交叠的信息，并更新缓冲器204中的光场。在步骤S611中，视差图像提取单元205确认当前设置的显示模式。用户可以通过操作操作单元113来设置任一种显示模式。更具体地说，当用户利用操作单元113输入用来选择显示模式的指令时，字符生成单元115生成显示模式选择画面(GUI)，并在显示单元116的显示画面上显示该GUI。图14示出了在显示单元116的显示画面上的显示示例。

如GUI示出的3×3矩阵对应于3×3视差图像。例如，利用操作单元113指出位于左上角的矩形使得能够指定通过从左上侧感测被摄体而获得的视差图像ML(-1，-1)。由此，利用操作单元113指出从左上侧向右第i(图14中1≤i≤3)个且向下第j(图14中1≤j≤3)个矩形，使得能够指定视差图像ML(-2+i，-2+j)。当然，视差图像指定方法以及其GUI的结构并不限于上述情况。

当用户利用操作单元113指出一个矩形时，指定了与所指出的位置相对应的视差图像，并设置单视差显示模式(1-parallax display mode)。当用户利用操作单元113指示选择所有矩形(GUI的所有矩形)时，设置全视差显示模式。请注意，设置单视差显示模式或全视差显示模式的方法不限于此。作为另选方案，例如，可以利用由字符生成单元115生成的复选框选择全视差显示模式和单视差显示模式中的一种模式。在上述示例中，两种显示模式是可选择的。然而，本发明不限于此。还存在用于选择并显示若干视差图像的模式。

无论如何，当用户利用操作单元113设置显示模式时，将表示所设置的显示模式的数据(当设置单视差显示模式时，该数据包括表示指定的视差图像的数据)写入RAM 112中。因此，在步骤S611中，参照用于表示显示模式的写入RAM 112中的数据，并且确定该数据表示哪种显示模式。

在步骤S611中确定设置了单视差显示模式时，处理进行到步骤S612。当设置了全视差显示模式时，视差图像提取单元205针对各视差直接排列视差图像数据(如图11中所示)，并将其输出给编码器单元107和D/A转换单元109作为显示图像数据。

当然，如何排列并显示视差图像不限于上述情况。例如，当如图11所示排列视差图像时，可以提取一些视差图像并进行排列，作为显示图像。可以从显示对象中排除具有小于或等于给定阈值的平均像素值的视差图像，因为这种视差图像太暗了。

图15示出了在m＝5且n＝5的情况下根据提取开始坐标排列所有的视差图像的示例。此时，当孔径光阑102的开口部分如图3所示是圆形时，如图5所示在图像感测器104上生成不发生光接收的非光接收区域。参照图15，以下要列出的视差图像(图15中的阴影线部分)是由从非光接收区域中提取的像素形成的，并且因此比其余视差图像更暗。

●显示图像数据区域ML(1，1)、ML(2，1)、ML(4，1)、ML(5，1)、ML(1，2)、ML(5，2)、ML(1，4)、ML(5，4)、ML(1，5)、ML(2，5)、ML(4，5)以及ML(5，5)

如图16所示仅可以排列各自具有大于或等于阈值的平均像素值的视差图像，并且显示在显示单元116的显示画面上。在通过将各像素值乘以增益而变得更亮后，可以显示暗的视差图像。作为另选方案，可以将相邻的视差图像相加。

作为另选方案，如图17所示，可以提取视差图像、进行排列并扩大到3×3，由此显示在显示单元116的显示画面上。可以从显示对象中排除在步骤S610中被赋予交叠信息的视差图像。对于被赋予交叠信息的视差图像，替代视差图像可以显示“表示发生交叠的信息”，如图19所示。

返回参照图6，在步骤S612中，视差图像提取单元205确定是否参照在表示单视差显示模式的数据中包含的“表示指定视差图像的数据”。可以预设或者由用户选择是否参照该数据。如果参照该数据，则处理进行到步骤S613。如果不参照该数据，则处理进行到步骤S614。当利用GUI而不是上述矩阵GUI简单地输入用于选择单视差显示模式的指令时，不存在表示指定视差图像的数据。在此情况下，处理进行到步骤S614。

在步骤S613中，视差图像提取单元205按需要扩大指定的视差图像，并将扩大的视差图像数据输出给D/A转换单元109，作为显示图像数据。例如，在图11中，当在上述示例的3×3矩阵GUI上指出位于左上角的矩形时，提取视差图像数据ML(1，1)，按需要进行扩大，并输出给D/A转换单元109。诸如双三次方法(bicubic method)的已知扩大方法是可用的。基于显示单元116的显示画面的像素数，计算扩大的缩放比例因子。当然，扩大处理并不是必要的，代替扩大，可以执行缩小。

在对显示单元116上的图像显示进行显示期间可以进行GUI上的操作(切换显示对象视差图像)。例如，当在显示单元116上进行显示图像的显示期间用户利用操作单元113指出另一视差图像时，由指定的视差图像生成显示图像，并输出给D/A转换单元109。

注意显示单元116的显示画面上的显示结构并不限于上述示例。例如，可以在显示单元116上显示如图18所示的GUI，以在显示单元116的上侧显示显示图像，在下侧显示视差图像，并且使用户在下侧选择视差图像。在图18中示出的GUI中，对步骤S607中生成的各视差图像数据进行缩小并布置在显示单元116的下侧，并且将选择的视差图像扩大并显示在上侧。可以禁止对被赋予交叠信息的视差图像的选择。可以如图11所示，针对各视差直接布置视差图像数据，并输出给编码器单元107和D/A转换单元109，作为显示图像数据。

在步骤S614中，视差图像提取单元205如步骤S613中一样，按需要扩大位于视差图像数据中央处的区域ML，并将扩大后的视差图像输出给D/A转换单元109，作为显示图像。当然，扩大处理不是必要的，代替扩大可以执行缩小。

注意，显示单元116显示从D/A转换单元109接收的显示图像数据，作为例如LCD上的显示图像。

如上所述，根据本实施例，用户可以经由显示单元116确认通过包括微透镜阵列103的图像感测装置获取的视差图像是否对焦(in focus)。例如，当被摄体是如图20A所示的平面图表时，传统上通过微透镜阵列103获得图20B所示的显示图像。因此，不可能确认该平面图表是否对焦。然而，根据本实施例，如图20C所示，扩大并显示中央视点的图像等。这使得能够确认平面图表是否对焦。

[第二实施例]

以预定时间间隔执行第一实施例中的系列处理，以实时更新显示图像，由此实现即时观察显示。此外，每当更新分配的像素数计算参数或透镜位置时，执行上述处理。这使得能够在显示图像上实时地反映拍摄时的焦距、孔径光阑以及透镜和图像感测元件的移动的影响。例如，当焦距或孔径光阑102改变时，图像感测器104上的光接收区域改变。

图21是当缩小孔径光阑102时图像感测器104上的光接收区域的示意图。图13是当打开(open)孔径光阑102时光接收区域的示意图。这时，由于图像感测单元参数改变，因此从步骤S601起再次执行信号处理单元106的处理过程，以创建新的光场由此处理该改变。例如，如图21所示，当缩小孔径光阑102时，光接收区域变得更小。因此，如从公式(2)和(3)可以看出的，视差数m×n降低。假设视差图像数据的视差数是5×5，而在缩小孔径光阑时降低到3×3。此时，重建光场。视差图像数据的视差数从图22中的数量降低至图23中的数量。如上所述，即使在例如通过缩小孔径光阑102或者通过增大距离L而缩窄光接收区域时，也能够正确地生成视差图像数据。

当将孔径光阑102打开以扩宽图像感测器104上的光接收区域时，视差数m×n增大(这一点基于公式(2)和(3)是明显的)。例如，当视差数从5×5增大到7×7时，获得如图24所示的视差图像数据。如上所述，即使在例如通过打开孔径光阑或者缩短距离L而扩宽光接收区域时，也能够正确地生成视差图像数据。

在上述实施例中，能够通过显示视差图像来确认对焦状态。然而，当然，该图像也可以用于其他目的。例如，可以利用显示图像从CPU 110和图像感测系统控制单元114进行对比度AF处理。

以上描述了可以改变焦距并移动孔径光阑102、成像透镜101以及图像感测器104的图像感测装置相关的处理。然而，该处理不适用于使用单焦点或单个孔径光阑并且不改变图像感测器104上的各光接收区域的尺寸的图像感测装置。在该图像感测装置中，可以预先将光场保持在ROM 111等中，因为光场不是由图像感测单元参数重建的。即使在与孔径光阑的孔径状态无关、由于图像感测单元100中的位置关系不改变光场的图像感测装置中，也能够进行同样的处理。在光场创建之后的处理与从步骤S605起的处理相同。

[第三实施例]

在该实施例中，将对如下示例进行说明，在该示例中执行显示以使得用户能够容易地确认要由保持透镜阵列的图像感测装置执行的拍摄后的焦点调整处理(以下将称为“重聚焦”)是否是可能的。以下将主要描述与第一实施例的不同之处。

<图像感测装置的结构示例>

图25是示出根据本实施例的信号处理单元106的功能结构的示例的框图。信号处理单元106包括视差数计算单元201、LF创建单元202、图像重构单元203、缓冲器204、视差图像提取单元205、主被摄体提取单元2501以及视差量计算单元2502。

视差数计算单元201、LF创建单元202、图像重构单元203、缓冲器204与第一实施例中的相同，不重复对其进行说明。

视差图像提取单元205从存储在缓冲器204中的视差图像数据的中央视点提取视差图像，扩大该视差图像，并发送给D/A转换单元109。

主被摄体提取单元2501获取用户经由操作单元113或显示单元116的触摸屏指定的主被摄体的信息，并从各视差图像数据中提取主被摄体。

视差量计算单元2502由从各视差图像数据提取的主被摄体，计算主被摄体在各视差图像坐标系上的质心坐标，并基于该主被摄体的质心坐标与中央视点的视差图像的质心坐标之间的距离来计算视差量。接下来，基于视差量来确定该主被摄体是否具有足以进行重聚焦的视差。然后，基于包含主被摄体的各视差图像及其视差量来生成重聚焦确定信息，将该信息赋予视差图像，并将其发送给D/A转换单元109。

<图像感测装置的操作>

接下来将描述根据本实施例的图像感测装置的操作。

直到信号处理单元106的感测图像数据生成的处理与第一实施例中的相同，不再重复对其进行说明。以下参照图26中的流程图来描述重聚焦评价信息生成处理。

步骤S2601至S2610的处理与上述步骤S601至S610中的处理相同，不再重复对其进行说明。

在步骤S2611中，视差图像提取单元205提取视差图像数据的中央视点的视差图像，扩大该视差图像，并发送给D/A转换单元109。此外，在显示单元116上显示用于使用户选择主被摄体的消息。

在步骤S2612中，主被摄体提取单元2501获取来自操作单元113的主被摄体选择信息。主被摄体选择信息是在步骤S2611中由用户利用操作单元113从显示单元116上显示的中央视点的视差图像中选择的中央视点的视差图像数据的x″-y″坐标系中的点(x″c，y″c)。例如，假设如图27所示，在中央视点的视差图像数据中感测到脸部图像。当用户指定用实圆表示的点，并指定脸部作为主被摄体时，将实圆的x″y″坐标存储在RAM112中，作为主被摄体选择信息。主被摄体提取单元2501获取该信息。

在步骤S2613中，主被摄体提取单元2501从缓冲器204中获取中央视点的视差图像数据，基于主被摄体选择信息提取被摄体，并计算所提取的被摄体的中心坐标(x″0，y″0)。通过用矩形包围该被摄体并定义该矩形的中心获得中心坐标，如图28所示。请注意，可以利用已知方法进行被摄体提取。

在步骤S2614中，主被摄体提取单元2501从缓冲器204中获取中央视点的视差图像数据以外的视差图像数据，并从各视差图像数据中提取在步骤S2613中提取的被摄体。请注意，可以通过诸如模式匹配的已知方法来进行该提取。接下来，如在步骤S2613中一样，针对各视差图像计算被摄体的中心坐标(x″1，y″1)，(x″2，y″2)，(x″3，y″3)，...。然后，主被摄体提取单元2501将能够提取出被摄体的所有视差图像的中心坐标，发送给视差量计算单元2502。

在步骤S2615中，视差量计算单元2502计算包含由用户指定的被摄体的各视差图像的视差量。例如，被摄体中心坐标为(x″1，y″1)的视差图像的视差量E1由以下公式计算：

$E1=\sqrt{{(x^{\&prime;\&prime;}1-x^{\&prime;\&prime;}0)}^2+{(y^{\&prime;\&prime;}1-y^{\&prime;\&prime;}0)}^2}---\left(5\right)$

按类似的方式，针对能够提取出被摄体的视差图像计算视差量E2，E3，...。

在步骤S2616中，视差量计算单元2502基于在步骤S2615中计算的各视差量，生成重聚焦评价信息，并将重聚焦评价信息赋予对应的视差图像数据。将所有视差图像数据发送给D/A转换单元109，作为显示图像数据。重聚焦评价信息是1位信息○或×。当在视差图像中存在被摄体，并且视差图像数据的视差量大于重聚焦必要且充分的阈值Th时，将重聚焦评价信息○赋予视差图像数据。当视差量小于阈值Th时，将重聚焦评价信息×赋与视差图像数据。重聚焦评价信息确定条件不限于上述情况。随视差图像数据远离中央视点的视差图像数据，阈值Th可以增大。在上述示例中，仅使用视差量的标量(scalar quantity)，作为确定条件。然而，可以将方向组合。例如，当视差图像数据位于中央视点的视差图像数据的上方时，被摄体的视差量矢量应该是向上的。因此，可以确定该矢量是否是向上的。

接下来，显示单元116将显示图像数据显示在例如LCD上，作为显示图像。可以以例如全视差模式显示图像，如图29所示。此时，基于在步骤S2616中赋予的重聚焦评价信息，将重聚焦评价信息○或×显示在各视差图像的右上部。该显示方法不限于该方法。可以以逐一的方式在显示单元116上仅显示被赋予重聚焦评价信息的视差图像，并随时间经过而切换。此时，同时显示视差图像的重聚焦评价信息。

通过执行上述处理将显示图像显示在显示单元116上。这使得用户能够经由显示单元116容易地确认，由包含微透镜阵列103的图像感测装置获取的感测图像的主被摄体是否具有足以在稍后执行重聚焦的视差量。

其他实施例

还可以由读出并执行记录在存储设备上的程序来执行上述实施例的功能的系统或装置的计算机(或诸如CPU或MPU等的设备)，来实现本发明的各方面；并且可以利用由通过例如读出并执行记录在存储设备上的程序来执行上述实施例的功能的系统或装置的计算机来执行各步骤的方法，来实现本发明的各方面。为此，例如经由网络或从充当存储设备的各种类型的记录介质(例如，计算机可读介质)将程序提供给计算机。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明不局限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使所述范围涵盖所有的此类变型例以及等同结构和功能。

Claims (6)

1.一种图像感测装置，该图像感测装置包括：

用于获取由图像感测器输出的图像信号生成的感测图像的单元，该图像感测器用于接收依次通过成像透镜和微透镜阵列而入射的光，该微透镜阵列是包括多个微透镜的二维阵列；

创建单元，其创建列表，在该列表中，针对所述图像感测器上的各像素位置，登记入射在该像素位置处的光在成像透镜上的坐标与该像素位置的坐标之间的对应关系；

生成单元，其生成通过根据在所述列表中登记的成像透镜上的坐标的排列顺序来重排所述图像感测器上与该坐标对应的像素位置处的像素而获得的图像，作为视差图像组；以及

输出单元，其输出由所述生成单元生成的图像。

2.根据权利要求1所述的图像感测装置，其中，所述创建单元创建列表，在该列表中，针对所述图像感测器上的各像素位置，登记通过该像素位置和微透镜的中心位置的线段与成像透镜相交处的坐标与该像素位置的坐标之间的对应关系。

3.根据权利要求1所述的图像感测装置，其中，

在获取用于输出所述视差图像组中的一个视差图像的指令时，所述输出单元向显示画面输出所述一个视差图像，以使所述显示画面显示所述一个视差图像，并且

在获取用于输出所述视差图像组的指令时，所述输出单元向所述显示画面输出所述生成单元生成的图像，以使所述显示画面显示该图像。

4.根据权利要求3所述的图像感测装置，其中，所述输出单元仅向所述显示画面输出具有不小于阈值的平均像素值的视差图像。

5.根据权利要求3所述的图像感测装置，其中，当为生成视差图像而收集的像素与为生成另一视差图像而收集的像素相同时，所述输出单元向所述显示画面输出除了所述视差图像和所述另一视差图像以外的视差图像。

6.一种图像感测装置的控制方法，该图像感测装置包括用于接收依次通过成像透镜和微透镜阵列而入射的光的图像感测器，该微透镜阵列是包括多个微透镜的二维阵列，该控制方法包括：

获取由图像感测器输出的图像信号生成的感测图像的步骤；

创建步骤，其创建列表，在该列表中，针对所述图像感测器上的各像素位置，登记入射在该像素位置处的光在成像透镜上的坐标与该像素位置的坐标之间的对应关系；

生成步骤，其生成通过根据在所述列表中登记的成像透镜上的坐标的排列顺序来重排所述图像感测器上与该坐标对应的像素位置处的像素而获得的图像，作为视差图像组；以及

输出步骤，其输出在所述生成步骤中生成的图像。

Images