CN102857677B - 具有重构图像的功能的装置及方法 - Google Patents

Abstract

本发明提供一种具有重构图像的功能的装置及方法。根据透镜阵列图像重构噪声少的重构图像。图像重构装置(210)取得将被摄体的基于主透镜的光学像通过排列了多个副透镜的透镜阵列成像后的透镜阵列图像。图像重构装置(210)具备插补部(212)，其基于构成取得的透镜阵列图像的第1副图像和第2副图像，在使第1副图像成像的第1副透镜与使第2副图像成像的第2副透镜之间配置了第3副透镜的情况下，对该第3副透镜成像的第3副图像进行插补。图像重构装置(210)具备重构部(215)，其将插补后的第3副图像和第1副图像、第2副图像重构成通过焦点对焦于规定距离的位置处的主透镜成像的被摄体的图像。

Description

具有重构图像的功能的装置及方法

本申请主张以2011年3月31日提出的日本特愿2011-080746为基础的优先权，并将该基础申请的内容全部援引于此。

技术领域

本发明涉及重构图像的技术。

背景技术

拍摄将基于图22所示这种的主透镜LM的被摄体的成像通过多个微透镜的排列(以下称为微透镜阵列)LA₁₁再次成像后的图像(以下称为透镜阵列图像)的相机，已经公开在日本特表2009-532993号公报中。

另外，公知一种下述技术：在使主透镜LM的焦点对焦于相距被指定的距离的面的状态下(即、在事后聚焦的状态下)，根据1枚透镜阵列图像来重构在主透镜LM成像的被摄体的图像OB。

在该技术中，在由构成被重构的图像(以下称为重构图像)OB的像素发出光的情况下，通过确定该光到达摄像元件面IE的多个到达点，并积分针对确定的多个到达点分别存在的摄像元件所对应的透镜阵列图像的像素值，由此确定重构图像OB的像素值。

在此，在日本特表2009-532993号公报的通过构成相机的微透镜阵列LA₁₁成像的各个图像中，会产生与微透镜的透镜间距2dr等相应的视差。因为该视差使得图像OB的重构所需的像素会从透镜阵列图像中遗漏(即、发生像素遗漏)，因而存在着如图23的Nz部所示那样的图像的明暗周期性变化的噪声发生在重构图像OB中的问题。

发明内容

本发明的第1观点涉及一种图像重构装置，其具备：

图像信息取得单元，其取得表示将被摄体的基于主透镜的光学像通过透镜阵列成像后的透镜阵列图像的信息，其中该透镜阵列排列了包括第1副透镜和第2副透镜的多个副透镜；

插补单元，其基于构成由取得的所述信息表示的透镜阵列图像的第1副图像和第2副图像，在使所述第1副图像成像的第1副透镜与使所述第2副图像成像的第2副透镜之间配置了第3副透镜的情况下，对该第3副透镜所成像的第3副图像进行插补；

距离信息取得单元，其取得表示到所述主透镜对焦的位置的距离的距离信息；

重构单元，其将插补后的所述第3副图像和由取得的所述信息表示出的第1副图像、第2副图像重构成：通过焦点对焦于由取得的所述距离信息表示的距离的位置处的所述主透镜成像的所述被摄体的图像；和

图像信息输出单元，其输出表示重构后的所述图像的信息。

本发明的第2观点涉及一种图像重构方法，包括下述步骤：

取得表示将被摄体的基于主透镜的光学像通过透镜阵列成像后的透镜阵列图像的信息，其中该透镜阵列排列了包括第1副透镜和第2副透镜的多个副透镜；

基于构成由取得的所述信息表示的透镜阵列图像的第1副图像和第2副图像，在使所述第1副图像成像的第1副透镜与使所述第2副图像成像的第2副透镜之间配置了第3副透镜的情况下，对该第3副透镜所成像的第3副图像进行插补；

取得表示到所述主透镜对焦的位置为止的距离的距离信息；

将插补后的所述第3副图像和由取得的所述信息表示的第1副图像、第2副图像重构成：通过焦点对焦于由取得的所述距离信息表示的距离的位置处的所述主透镜成像的所述被摄体的图像；和

输出表示重构后的所述图像的信息，

所述插补单元基于由取得的所述信息表示的所述第1副图像的像素值和所述第2副图像的像素值，确定所述第1副图像与所述第2副图像之间的视差，按照所述第1副图像与所述第3副图像之间的视差相对于确定的所述视差的比率成为所述第1副透镜与第3副透镜之间的距离相对于所述第1副透镜与所述第2副透镜之间的距离的比率的方式插补所述第3副图像。

附图说明

结合以下附图考虑以下详细记述，可获得本申请的更深刻的理解。

图1A、图1B是表示搭载了图像重构装置的数码相机的图。

图2是表示数码相机所具有的透镜阵列的图。

图3是表示光场(light field)图像的图。

图4A、图4B是表示图像重构处理的流程图。

图5A是表示图像重构装置所具有的功能的图。

图5B是表示插补部所具有的功能的图。

图6是表示核平面(epipolar plane)的一例的图。

图7是表示核图像ES生成处理的流程图。

图8A是表示核图像ES的图。

图8B是表示核图像ET的图。

图9是表示光场图像中的核面上的像素行的图。

图10是详细表示核图像ES_mk的图。

图11是表示被插补的透镜阵列的图。

图12是表示被插补的光场图像的图。

图13是表示插补核图像CES_mk的图。

图14是表示角度S推定处理的流程图。

图15是表示推定角度S表格的图。

图16A、图16B是表示像素S插补处理的流程图。

图17是用于说明直线推定方法的图。

图18是表示插补像素表格的图。

图19是表示插补核图像CET_nl的图。

图20A、图20B是表示重构图像生成处理的流程图。

图21是用于说明直线推定方法的其他例的图。

图22是表示数码相机所具备的光学装置的图。

图23是表示在重构图像中产生的噪声的图。

具体实施方式

以下，参照附图，说明本发明的实施方式涉及的具有重构图像的功能的装置(以下称为图像重构装置)210。

本发明的实施方式涉及的图像重构装置210被搭载于图1A所示的数码相机1。图像重构装置210根据由数码相机1拍摄到的1枚图像，重构焦点对焦于任意距离的图像。

数码相机1由摄像部100、包括本发明涉及的图像重构装置210的数据处理部200、以及接口部(图示为I/F部)300构成。

摄像部100是进行数码相机1的摄像动作的部分，由光学装置110及图像传感器120构成。光学装置110包括图22所示的主透镜LM、将通过主透镜LM成像的光学像进一步成像的透镜阵列LA₁₁、未图示的光圈机构及快门机构，进行摄像涉及的光学动作。

透镜阵列LA₁₁将图2所示的副透镜(以下称为微透镜)L₁₁～L_MN在纵向方向上(即、在副扫描方向上)以2dr间距排列M个，在横向方向上(即、在主扫描方向上)以2dr间距排列N个。

图像传感器120例如由CCD(Charge Coupled Device：电荷耦合元件)或CMOS(Complementary Metal Oxide Semiconductor：互补型金属氧化物半导体)等摄像元件构成。图像传感器120生成与由光学装置110的透镜阵列LA₁₁聚光得到的入射光相应的电信号，并将生成的电信号输出至数据处理部200。

数据处理部200通过对由摄像部100生成的模拟电信号进行信号处理，由此生成通过透镜阵列LA₁₁成像的、表示图3所示的透镜阵列图像(以下也称为光场图像)LF₁₁的数字数据(即、图像数据)，并对生成的图像进行各种图像处理。

数据处理部200由图像重构装置210、图像处理部220、存储部230、及图像输出部240构成。图像重构装置210例如由具备图1B所示的CPU(Central Processing Unit)210a、RAM(Random Access Memory)210b、ROM(Read Only Memory)210c、及I/O端口210d的LSI(Large ScaleIntegration)构成。

CPU210a按照在ROM210c中保存的程序执行软件处理，来控制包括图像重构装置210的数码相机1的各部分(即、整体控制)。RAM210b在由CPU210a执行程序时，暂时存储作为处理对象的信息(数据)。I/O端口210d在与图像重构装置210相连的各部和CPU210a之间进行数据的输入输出。

图像处理部220例如由缓冲存储器、AD(Analog/Digital，模拟/数字)转换器、及图像处理用的处理器构成。图像处理部220的AD转换器将从图像传感器120输出的模拟电信号转换成数字信号。然后，图像处理部220的处理器通过进行所谓的显影处理，例如生成JPEG(JointPhotographic Experts Group，联合图像专家小组)或位图等的图像数据，并将生成的图像数据保存至存储部230。

存储部230例如由DRAM(Dynamic Random Access Memory，动态随机存取存储器)或闪存等存储装置构成，存储由图像处理部220生成的图像数据、由图像重构装置210生成的图像数据等。

图像输出部240例如由液晶显示控制器或RGB信号的生成电路等构成，在将从图像重构装置210输出的图像数据或在存储部230中存储的图像数据转换成RGB信号等之后，将RGB信号输出至后述的显示部320等。

接口部300是数码相机1和其使用者(即、用户)或者外部装置之间的接口涉及的结构，由外部接口部310、显示部320及操作部330构成。

外部接口部310例如由USB(Universal Serial Bus)连接器或视频输出端子等构成，进行向外部的计算机装置的图像数据的输出、向外部的监视器装置的图像的显示输出、从记录介质的程序的上载、图像数据的读出、及向记录介质的图像数据的写入等。

显示部320例如由液晶显示装置或有机EL(Electro Luminescence)显示器等构成。显示部320基于操作数码相机1所需的各种画面、来自图像输出部240的图像信号(RGB信号)等，显示各种图像等。

操作部330通过在数码相机1的外表面上构成的各种按钮等而构成，生成与数码相机1的用户进行的操作相应的操作信号，并将生成的操作信号输入至图像重构装置210。

图像重构装置210的CPU210a通过执行图4A、图4B所示的图像重构处理，由此作为图5A所示的图像信息取得部211、插补部212、距离信息取得部214、重构部215及图像信息输出部216发挥功能。其中，图5A的插补部212具有图5B所示的提取部212a、生成部212b、直线推定部212c、像素推定部212d及像素值决定部212e。

在开始图像重构处理时，距离信息取得部214执行取得各种设定值的设定值取得处理(步骤S01)。具体而言，距离信息取得部214从用户操作的操作部330中取得表示数码相机1和主透镜LM对焦的焦点位置之间的距离的距离信息。其中，假设数码相机1和焦点位置之间的距离是从图22的主透镜LM到焦点位置的被摄体距离，进行说明。另外，距离信息取得部214从存储部230中取得表示预先规定的内部参数(即、由数码相机1规定的常数)的各种信息。

在步骤S01之后，图像信息取得部211从存储部230中读出表示拍摄到的光场图像LF₁₁的图像数据(步骤S02)。

在此，对光场图像LF₁₁进行说明。

图3的光场图像LF₁₁由通过构成图2的透镜阵列LA₁₁的微透镜L₁₁～L_MN分别成像的副图像(Sub-image)S₁₁～S_MN构成。在该副图像S₁₁～S_MN中分别产生视差。

作为具体例，对副图像S_mn(其中，m＝1～M，n＝1～N-1)与副图像S_mn+1之间的视差进行说明。如图2所示，成像了副图像S_mn的透镜L_mn的中心是相对于成像了副图像S_mn+1的透镜L_mn+1的中心而言在主扫描方向上(即、在+s轴方向上)相距透镜间距2dr的点。即、如图6所示，由透镜L_mn+1规定的光学中心O_mn+1是相对于由透镜L_mn规定的光学中心O_mn而言在主扫描方向上(即、在世界坐标系的+x轴方向上)相距透镜间距2dr的点。

为此，由光学中心O_mn、光学中心O_mn+1和被摄体OJ上的点P确定的核面O_mnO_mn+1P，与主扫描方向(即、平行于x轴方向的uv图像坐标系的u轴)平行。在与该u轴平行的核面O_mnO_mn+1P上，存在该被摄体OJ上的点P被表示为副图像S_mn的点P_mn和被表示为副图像S_mn+1的点P_{mn +1}。该点P_mn和点P_mn+1在uv图像坐标系上的差异是视差。即、在副图像S_mn中的核面O_mnO_mn+1P上的像素列(以下称为像素行)和副图像S_mn+1中的核面O_mnO_mn+1P上的像素行中，仅在主扫描方向上(即、在u轴方向上)产生视差。

在图4A的步骤S02之后，插补部212执行图7所示的核图像ES生成处理(步骤S03)。在此，核图像ES生成处理是指，根据在步骤S02中读出的由图像数据表示出的光场图像LF₁₁生成图8A所示的核图像ES₁₁～ES_MK的处理。

在此，如图9所示，假设光场图像LF₁₁的st图像坐标系的+s方向(即、主扫描方向)与光场图像LF₁₁的副图像S₁₁～S_MN中的uv图像坐标系的u轴方向相平行，+t方向(即、副扫描方向)与v轴方向相平行。此时，假设副图像S_ml～S_mN的s方向的像素数(Number of pixels)为L，t方向的像素数为K(其中，通常像素数K和L为相同的值)。为此，对在s方向上平行的核面(以下称为核S面)分配编号k(k＝1～K)，分配方式是越是t坐标值小的面越分配小的编号k。

这种情况下，图8A的核图像ES_mk(其中，m＝1～M、k＝1～K)成为下述图像：将图9所示的光场图像LF₁₁的副图像S_ml～S_mN中的第k个核S面上的像素行，按照越是s坐标值小的像素行越成为小的段数的方式，在t方向上排列的图像(即、按照越是段数大的像素行则s坐标值越大的方式排列而成的图像)。

在开始图7的核图像ES生成处理时，插补部212所具有的提取部212a将变量m的值用值“1”进行初始化(步骤S31)。接着，提取部212a判别变量m的值是否为值M以下(在副扫描方向上排列的微透镜的数量以下)(步骤S32)。

此时，若判别出变量m的值为值M以下(步骤S32；是)，则提取部212a将变量k的值用值“1”进行初始化(步骤S33)。接着，提取部212a判别变量k的值是否为值K以下(副扫描方向的副图像的像素数以下)(步骤S34)。

此时，若判别出变量k的值为值K以下(步骤S34；是)，则提取部212a将变量n的值用值“1”进行初始化(步骤S35)。接着，提取部212a判别变量n的值是否为值N以下(在主扫描方向上排列的微透镜的数量以下)(步骤S36)。

此时，若判别出变量n的值为值N以下(步骤S36；是)，则提取部212a从副图像S_mn中提取第k个核S面上的像素行，生成部212b生成将提取出的像素行作为第n段的核图像ES_mk(步骤S37)。

接着，提取部212a将变量n的值增加值“1”之后(步骤S38)，自步骤S36起重复进行上述处理。

在步骤S36中，若判别出变量n的值大于值N(步骤S36；否)，则提取部212a将变量k的值增加值“1”之后(步骤S39)，自步骤S34起重复进行上述处理。

在步骤S34中，若判别出变量k的值大于值K(步骤S34；否)，则提取部212a将变量m的值增加值“1”之后(步骤S40)，自步骤S32起重复进行上述处理。

在步骤S32中，若判别出变量m的值大于值M(步骤S32；否)，则提取部212a结束核图像ES生成处理。

在此，参照图10，说明通过执行核图像ES生成处理而生成的核图像ES_mk(其中，m＝1～M、k＝1～K)。

核图像ES_mk是将副图像S_ml～S_mN中的第k个核S面上的像素行如图10所示那样排列N段的图像，第n段(其中，n＝1～N)的像素行从副图像S_mn中提取出。

在此，副图像S_mn(其中，n＝1～N-1)与副图像S_mn+1之间的视差是通过图6所示的光学中心O_mn与光学中心O_mn+1之间的距离(即、微透镜L_mn与微透镜L_mn+1之间的透镜间距2dr)、从光学中心O_mn及光学中心O_mn+1到被摄体OJ上的点P的距离(即、被摄体距离)、以及其他内部参数确定的。另外，如图2所示，微透镜L_ml～L_mN分别在主扫描方向上以透镜间距2dr进行排列，微透镜L_ml～L_mN的中心(即、光学中心)分别到被摄体OJ上的点P相距大致相同的距离，其他内部参数没有变化。

鉴于此，同一核S面上的副图像S_mn与副图像S_mn+1之间的视差和同一核S面上的副图像S_mn-1与副图像S_mn之间的视差大致相同。由此，在副图像S_mn-1、S_mn及S_mn+1中存在投影了被摄体OJ上的点P的点P_mn-1、P_mn及P_mn+1的情况下，如图10所示那样，核图像ES_mk的第n-1段的像素行中的表示点P_mn-1的像素的u坐标值与第n段的像素行中的表示点P_mn的像素的u坐标值之间的差异和该点P_mn的u坐标值与第n+1段的像素行中的表示点P_mn+1的像素的u坐标值之间的差异大体一致。因而，这些点P_mn-1、点P_mn及点P_mn+1在核图像ES_mk中分别存在于同一直线上。

接着，如图11所示，假设在从透镜阵列LA₁₁的位置沿着+s方向移动了将透镜阵列LA₁₁的透镜间距2dr进行H等分后的间距2dr/H的位置处，配置了具有与透镜阵列LA₁₁同样的透镜构成的透镜阵列LA₁₂。同样地，假设在从透镜阵列LA₁₁的位置沿着+s方向移动了间距2×(2dr/H)的位置处，配置了具有与透镜阵列LA₁₁同样的透镜构成的透镜阵列LA₁₃，以下同样地假设配置到透镜阵列LA_1H。

这种情况下，在透镜阵列LA₁₁的微透镜L_mn(其中，m＝1～M，n＝1～N-1)与透镜阵列LA₁₁的微透镜L_mn+1之间，在+s方向上顺序地等间隔插补透镜阵列LA₁₂的微透镜L_mn、透镜阵列LA₁₃的微透镜L_mn、……及透镜阵列LA_1H的微透镜L_mn等的(H-1)个微透镜。

在此，由于副图像S₁₁～S_MN的s方向的像素数为L，因而通过假设了配置的透镜阵列LA₁₂～LA_1H分别成像的光场图像LF₁₂～LF_1H如图12所示那样，在使光场图像LF₁₁朝向+s方向分别移位L/H、2×(L/H)、……、(H-1)×(L/H)的位置处成像。

即、在拍摄到的光场图像LF₁₁的副图像S_mn(其中，m＝1～M，n＝1～N-1)与光场图像LF₁₁的副图像S_mn+1之间，光场图像LF₁₂的副图像S_mn、光场图像LF₁₃的副图像S_mn、……、及光场图像LF_1H的副图像S_mn等的(H-1)个副图像沿着+s方向顺序地等间隔插补。

以下，说明插补部212用于插补(H-1)个副图像的处理。

在图4A的步骤S03之后，插补部212执行插补核图像CES生成处理(步骤S04)。该处理如图13所示，在图10的核图像ES_mk(其中，m＝1～M，k＝1～K)中的光场图像LF₁₁的副图像S_mn(其中，n＝1～N-1)的第k个像素行被存储的段与光场图像LF₁₁的副图像S_mn+1的第k个像素行被存储的段之间的段，插入了(H-1)个段。在被插入的(H-1)个段中，按照段数从少到多的顺序，存储光场图像LF₁₂的副图像S_mn的第k个像素行、光场图像LF₁₃的副图像S_mn的第k个像素行、……、光场图像LF_1H的副图像S_mn的第k个像素行、即仍未决定像素值的(H-1)个像素列。将插入有(H-1)个像素行的图像称为插补核图像CES_mk。

在此，光场图像LF_1h(其中，h＝1～H-1)的副图像S_mn的第k个像素行与光场图像LF_1h+1的副图像S_mn的第k个像素行之间的视差是通过透镜阵列LA_1h的微透镜L_mn与透镜阵列LA_1h+1的微透镜L_mn之间的透镜间距2dr/H、从这些微透镜L_mn到被摄体OJ上的点P的距离(即、被摄体距离)、以及内部参数确定的。由于该透镜间距、到点P的距离和内部参数是固定的，所以即便变量h是1～H-1中的任何值，光场图像LF_1h的副图像S_mn的第k个像素行与光场图像LF_1h+1的副图像S_mn的第k个像素行之间的视差也大致一定。

在此，如图13所示，在光场图像LF₁₁的副图像S_mn及S_mn+1中存在投影了被摄体OJ上的点P的点P_mn及P_mn+1的情况下，在被插补的光场图像LF₁₂的副图像S_mn、……、及光场图像LF_1H的副图像S_mn中存在投影了被摄体OJ上的点P的点P_12mn、点P_13mn、……、点P_1Hmn(以下将这些点称为点P_mn的对应点)。

在此，因为如上述视差大致固定，所以插补核图像CES_mk中的表示点P_mn的像素的u坐标值与表示点P_12mn的像素的u坐标值之间的差异、表示点P_12mn的像素的u坐标值与表示点P_13mn的像素的u坐标值之间的差异、……、及表示点P_1Hmn的像素的u坐标值与表示点P_mn+1的像素的u坐标值之间的差异，分别大体一致。因而，这些点P_mn、点P_12mn、……、点P_1Hmn及点P_mn+1在插补核图像CES_mk中分别存在于同一直线上。

以下，将该直线称为对应像素直线。对应像素直线是由该直线通过的像素、和该直线与u坐标轴(也可以是v坐标轴)所形成的角度θ确定的。在此，若被摄体OJ上的点P不同，则从微透镜L_mn到被摄体OJ上的点P的距离不同，所以投影了点P的点P_mn、点P_12mn、点P_13mn、……、点P_1Hmn及P_mn+1的u坐标值的差异(即、视差)不同。因而，对应像素直线的角度θ成为根据由该直线通过的像素表示出的被摄体OJ上的点P的不同而不同的角度。

由此，在图4A的步骤S04之后，直线推定部212c执行对插补核图像CES_mk的对应像素直线的角度进行推定的、图14所示的角度S推定处理(步骤S05)。在开始图14的角度S推定处理时，直线推定部212c将变量m的值用值“1”进行初始化(步骤S41)。接着，直线推定部212c判别变量m的值是否为值M以下(步骤S42)。

此时，若判别出变量m的值为值M以下(步骤S42；是)，则直线推定部212c将变量k的值用值“1”进行初始化(步骤S43)。接着，直线推定部212c判别变量k的值是否为值K以下(步骤S44)。

此时，若判别出变量k的值为值K以下(步骤S44；是)，则直线推定部212c将变量n的值用值“1”进行初始化(步骤S45)。接着，直线推定部212c判别变量n的值是否为值N以下(步骤S46)。

此时，若判别出变量n的值为值N以下(步骤S46；是)，则直线推定部212c将变量1的值用值“1”进行初始化(步骤S47)。接着，直线推定部212c判别变量1的值是否为值L以下(步骤S48)。

此时，若判别出变量1的值为值L以下(步骤S48；是)，则直线推定部212c利用以下的式(1)算出图13所示的插补核图像CES_mk中的、通过了光场图像LF₁₁的副图像S_mn的第k个像素列的第1个像素(即、u坐标值第1小的像素)E_11nl的角度θ的直线EPL的评价值Line(θ)(步骤S49)。该评价值表示通过了像素E_11nl的角度θ在直线EPL上的像素q与像素E_11nl相差异的程度的指标。

$\mathrm{Line}\left(\mathrm{\θ}\right)=\frac{1}{Q}\underset{q\∈\mathrm{EPI}}{\mathrm{\Σ}}|I_q-I_{11\mathrm{nl}}|\·\·\·\left(1\right)$

其中，EPI是通过了像素E_11nl的直线上的像素的集合，q是该集合的要素，Q是该集合的要素数，I_q是要素q(即、该直线上的像素)的像素值，I_11nl是像素E_11nl的像素值。

其中，在上述式(1)中，像素E_11nl的像素值I_11nl与直线上的像素q的像素值I_q之差的绝对值的总和除以直线上的像素数Q的结果，若直线的角度有差异，则直线上的像素q的数量有差异(即、被标准化的缘故)。

在直线推定部212c对多个角度θ算出评价值Line(θ)之后，将算出最小评价值用到的角度θ设为最佳角度θ^*。接着，直线推定部212c将最佳角度θ^*推定为通过了像素E_11nl的对应像素直线的角度。

在此，如上述，因为若到由像素E_11nl表示出的点P的距离(即、被摄体距离)不同，则通过了像素E_11nl的对应像素直线的角度θ不同，所以最佳角度θ^*作为表示被摄体距离(即、景深信息)的指标发挥功能。另外，评价值Line(θ^*)作为表示对应像素直线的角度θ为角度θ^*妥当到什么程度的指标值发挥功能。

为此，在图14的步骤S49之后，直线推定部212c判别评价值Line(θ^*)是否为预先规定的阈值th以上(步骤S50)。此时，若直线推定部212c判别出评价值Line(θ^*)为预先规定的阈值th以上(步骤S50；是)，则将识别插补核图像CES_mk的信息(以下称为插补核图像ID)、识别对应像素直线所通过的像素E_11nl的信息(以下称为像素ID)、以及表示推定角度θ^*的信息对应起来保存至存储部230存储的图15的推定角度S表格(步骤S51)。其中，插补核图像ID由变量m的值及变量k的值进行表示。另外，像素ID由变量n的值及变量1的值进行表示。

另外，表示阈值th的信息被预先存储至存储部230。关于该阈值th，本领域的技术人员能够通过实验确定为最佳值。另外，阈值th也可基于被用户操作的从操作部330输出的信号，而设定成被用户指定的值。

在图14的步骤S50中，若直线推定部212c判别出评价值Line(θ^*)小于预先规定的阈值th(步骤S50；否)，则不向图15的推定角度S表格保存表示推定角度θ^*的信息，而将表示推定角度θ^*不明确的信息、插补核图像ID和像素ID对应起来保存至图15的推定角度S表格。

即便多个副图像S_mk中的多个像素表示相同被摄体OJ上的点P，若该点P处于被摄体OJ中的对比度充分高的区域，则表示点P的这些像素的像素值的差异小于规定值的情况也不多。与之相对，若该点P处于例如白墙等对比度不充分高的区域，则即便是位于该区域的不同的多个点，表示这些点的像素的像素值的差异也小于规定值。为此，若直线推定部212c判别出评价值Line(θ^*)小于预先规定的阈值th，则判断出存在通过了像素E_11nl的角度θ^*的直线不是通过了被摄体OJ上的表示相同点P的多个像素的直线的可能性，并向图15的推定角度S表格保存表示推定角度θ^*不明确的信息。

然后或者在步骤S51后，直线推定部212c将变量1的值增加值“1”之后(步骤S52)，自步骤S48起重复进行上述处理。

在步骤S48中，若判别出变量1的值大于值L(步骤S48；否)，则直线推定部212c将变量n的值增加值“1”之后(步骤S53)，自步骤S46起重复进行上述处理。

在步骤S46中，若判别出变量n的值大于值N(步骤S46；否)，则直线推定部212c将变量k的值增加值“1”之后(步骤S54)，自步骤S44起重复进行上述处理。

在步骤S44中，若判别出变量k的值大于值K(步骤S44；否)，则直线推定部212c将变量m的值增加值“1”之后(步骤S55)，自步骤S42起重复进行上述处理。

在步骤S42中，若判别出变量m的值大于值M(步骤S42；否)，则直线推定部212c结束角度S推定处理。

在图4A的步骤S05之后，执行基于被推定为是对应像素直线的直线(以下称为推定直线)来决定被插补的光场图像LF_1h(其中，h＝2～H)的像素值的、图16A、图16B所示的像素S插补处理(步骤S06)。

像素推定部212d执行与图14的步骤S41～步骤S48同样的处理(步骤S61～步骤S68)。

在步骤S68中，若判别出变量1的值为值L以下(步骤S68；是)，则像素推定部212d从图15的推定角度S表格中取得表示与插补核图像CES_mk的插补核图像ID(即、变量m的值及变量k的值)和像素E_11nl的像素ID(即、变量n的值及变量1的值)相对应的推定角度θ^*的信息(步骤S69)。

接着，像素推定部212d判别是否取得了表示推定角度θ^*的信息(即、是否保存了表示与变量m、变量k、变量n及变量1的值相对应的推定角度θ^*的信息)(步骤S70)。此时，若像素推定部212d判别出取得了表示推定角度θ^*的信息(步骤S70；是)，则将变量h用值“2”进行初始化(步骤S71)。

接着，像素推定部212d判别变量h的值是否为值H以下(步骤S72)。此时，若判别出变量h的值为值H以下(步骤S72；是)，则像素推定部212d基于光场图像LF_1h的副图像S_mn的像素列和推定直线的交点来推定对应像素(步骤S73)。

具体而言，如图17所示，像素推定部212d将插补核图像CES_mk中的、构成被插补的光场图像LF_1h的副图像S_mn的第k个像素列的第1个像素的中心点设为C_hl。像素推定部212d确定通过了中心点C_hl～C_hL的与u轴平行的直线(以下称为插补像素行)和对应像素直线相交的点CP_h。然后，像素推定部212d确定夹着交点CP_h的2个中心点、即中心点C_ha及中心点C_hb。像素推定部212d将以中心点C_ha作为中心的像素E_1hna和以中心点C_hb作为中心的像素E_1hnb，推定为是表示由像素E_11nl表示出的点P_mn的对应点P_1hmn的像素。

在图16B的步骤S73之后，像素值决定部212e基于像素E_11nl的像素值I_11nl，决定在步骤S73中推定出的对应像素E_1hna和像素E_1hnb的像素值(步骤S74)。

具体而言，像素值决定部212e算出从确定出的中心点C_ha到交点CP_h的距离r_ha、和从中心点C_hb到交点CP_h的距离r_hb。其次，像素值决定部212e分别利用以下的式(2)及(3)，决定向对应像素E_1hna的像素值I_1hna相加的值ΔI_1hna、和向对应像素E_1hnb的像素值I_1hnb相加的值ΔI_1hnb。

ΔI_1hna＝r_hb/(r_ha+r_hb)×I_11nl···(2)

ΔI_1hnb＝r_ha/(r_ha+r_hb)×I_11nl···(3)

其中，r_hb/(r_ha+r_hb)和r_ha/(r_ha+r_hb)是加权系数。

然后，像素值决定部212e从存储部230中参照保存有构成被插补的光场图像(以下称为插补光场图像)LF_1h的像素的像素值的、图18所示的插补像素表格。在该插补像素表格中，通过构成插补光场图像LF_1h的像素行而构成的插补核图像CES_mk(其中，m＝1～M，k＝1～K)的插补核图像ID、构成该像素行的像素的像素ID、以及表示该像素的像素值的信息对应起来进行保存。

为此，像素值决定部212e取得表示与由变量m的值及变量k的值表示出的插补核图像ID和由变量n的值及确定出的值a表示出的对应像素E_1hna的像素ID相对应的像素值I_1hna的信息。接着，像素值决定部212e将对像素值I_1hna相加了相加值ΔI_1hna之后的值，重新确定为对应像素E_1hna的像素值I_1hna。

同样地，像素值决定部212e取得表示与插补核图像ID和对应像素E_1hnb的像素ID相对应的像素值I_1hnb的信息。接着，像素值决定部212e将对像素值I_1hnb相加了相加值ΔI_1hnb之后的值，重新确定为对应像素E_1hnb的像素值I_1hnb(步骤S74)。其中，作为在插补像素表格中保存的像素值I_1hnl(其中，n＝1～N、l＝1～L)的一例的R值、G值及B值，在开始像素S插补处理时全部用“0”进行初始化。

然后，像素值决定部212e用表示决定出的像素值I_1hna的信息，更新与插补核图像ID和对应像素E_1hna的像素ID相对应的信息。同样地，像素值决定部212e用表示决定出的像素值I_1hnb的信息，更新与插补核图像ID和对应像素E_1hnb的像素ID相对应的信息(步骤S75)。

然后，像素推定部212d将变量h的值增加值“1”之后(步骤S76)，自步骤S72起重复进行上述处理。

在步骤S70中判别出未取得表示推定角度θ^*的信息的情况下(步骤S70；否)、或者在步骤S72中判别出变量h的值大于值H的情况下(步骤S72；否)，像素推定部212d在执行了与图14的步骤S52～步骤S55同样的处理之后(步骤S77～步骤S80)，结束像素S插补处理的执行。

在图4A的步骤S06之后，插补部212执行基于像素值I_1hnl(其中，h＝2～H，n＝1～N，l＝1～L)被决定的插补核图像CES_mk(其中，m＝1～M，k＝1～K)来生成插补光场图像LF₁₂～LF_1H的插补光场图像S生成处理(步骤S07)。然后，插补部212将分别表示生成的插补光场图像LF₁₂～LF_1H的图像数据保存至存储部230。

根据以上的处理，基于通过透镜阵列LA₁₁成像的光场图像LF₁₁，生成在配置有透镜阵列LA₁₂～LA_1H的情况下成像的、图12所示的插补光场图像LF₁₂～LF_1H。

在以后的处理中，假设在从透镜阵列LA₁₁的位置朝向+t方向移动了将透镜阵列LA₁₁的透镜间距2dr进行I等分后的间距2dr/I的位置处，配置了具有与透镜阵列LA₁₁同样的透镜构成的透镜阵列LA₂₁。同样地，假设配置了透镜阵列LA₃₁～透镜阵列LA_I1，基于拍摄到的光场图像LF₁₁生成通过透镜阵列LA₂₁～透镜阵列LA_I1分别成像的插补光场图像LF₂₁～LF_I1。

然后假设透镜阵列LA₂₂～透镜阵列LA_I2的配置，基于插补光场图像LF₁₂生成插补光场图像LF₂₂～LF_I2。同样地，假设透镜阵列LA_2H～透镜阵列LA_IH的配置，生成插补光场图像LF_2H～LF_IH。

在图4A的步骤S07之后，插补部212将变量h的值用值“1”进行初始化(步骤S08)。接着，插补部212判别变量h的值是否为值H以下(步骤S09)。此时，若插补部212判别成变量h的值为值H以下(步骤S09；是)，则图像信息取得部211与步骤S02同样地，从存储部230中读出光场图像LF_1h的图像数据(步骤S10)。

接着，插补部212执行与步骤S03同样的核图像ET生成处理(步骤S11)。该核图像ET生成处理是指，根据在步骤S10中读出的由图像数据表示出的光场图像LF_1h来生成图8B所示的核图像ET₁₁～ET_NL的处理。

具体而言，插补部212如图9所示，对与t方向平行的核面(以下称为核T面)分配编号1(l＝1～L)，其中分配方式为越是s坐标值小的面则编号1越小。这种情况下，图8B的核图像ET_nl(其中，n＝1～N，l＝1～L)成为下述图像：将图9所示的光场图像LF_1h的副图像S_1n～S_Mn中的第1个核T面上的像素行，按照越是t坐标值小的像素行则越成为小的段数的方式在s方向上排列的图像(即、按照越是段数大的像素行则t坐标值越大的方式排列的图像)。

在图4B的步骤S11之后，插补部212与步骤S04同样地执行插补核图像CET生成处理(步骤S12)。该处理如图19所示，在核图像ET_nl(其中，n＝1～N，l＝1～L)中的光场图像LF_1h的副图像S_mn(其中，m＝1～M-1)的第1个像素行被存储的段与光场图像LF_1h的副图像S_m+1n的第1个像素行被存储的段之间的段中，插入(I-1)个段。在被插入的(I-1)个段中，按照段数从少到多的顺序，存储了光场图像LF_2h的副图像S_mn的第1个像素行、光场图像LF_3h的副图像S_mn的第1个像素行、……、光场图像LF_Ih的副图像S_mn的第1个像素行、即仍未决定像素值的(I-1)个像素列。将插入了该(I-1)的像素行的图像称为插补核图像CET_nl。

在图4B的步骤S12之后，直线推定部212c与步骤S05同样地执行对插补核图像CET_ml的对应像素直线的角度进行推定的角度T推定处理(步骤S13)。

接着，通过像素推定部212d及像素值决定部212e执行基于在步骤S13中推定出的推定直线来决定插补光场图像LF_ih(其中，i＝2～I)的像素值的像素T插补处理(步骤S14)。

然后，插补部212执行基于在步骤S14中像素值I_ihmk(其中，i＝2～I，m＝1～M，k＝1～K)被决定的插补核图像CET_nl(其中，n＝1～N，l＝1～L)来生成插补光场图像LF_2h～LF_Ih的插补光场图像T生成处理(步骤S15)。

然后，插补部212将变量h的值增加值“1”之后，自步骤S09起重复进行上述处理。

在步骤S09中，若判别出变量h的值大于值H(步骤S09；否)，则重构部215执行基于光场图像LF₁₁～LF_IH来生成通过焦点对焦于离开在步骤S01中取得的由距离信息表示出的距离的焦点位置处(即、事后聚焦)的主透镜LM成像的被摄体的图像(即、重构图像)OB的、图20A、图20B所示的重构图像生成处理(步骤S17)。

在开始重构图像生成处理时，重构部215判别是否对构成重构图像OB的所有像素执行了以下的步骤S82等处理(步骤S81)。此时，若重构部215判别出并非处理了所有像素(步骤S81；否)，则在构成重构图像OB的多个像素内，将未处理的像素作为关注像素(步骤S82)。

接着，重构部215将变量h的值用值“1”进行初始化(步骤S83)。接着，重构部215判别变量h的值是否为值H以下(步骤S84)。此时，若重构部215判别出变量h的值为值H以下(步骤S84；是)，则将变量i的值用值“1”进行初始化(步骤S85)。接着，重构部215判别变量i的值是否为值I以下(步骤S86)。

此时，若重构部215判别出变量i的值为值I以下(步骤S86；是)，则将变量m的值用值“1”进行初始化(步骤S87)。其次，重构部215判别变量m的值是否为值M以下(步骤S88)。此时，若重构部215判别出变量m的值为值M以下(步骤S88；是)，则将变量n的值用值“1”进行初始化(步骤S89)。接着，重构部215判别变量n的值是否为值N以下(步骤S90)。

此时，若重构部215判别出变量n的值为值N以下(步骤S90；是)，则在从图22所示的关注像素的位置PS发出光的情况下，确定该光通过透镜阵列LA_ih的微透镜L_mn而到达摄像元件面IE的轨迹，确定位于追踪所确定的轨迹的光到达摄像元件面IE的到达点PE_mn处的摄像元件(步骤S91)。

具体而言，将图22所示的X轴方向上的关注像素的位置PS与光轴OA之间的距离设为x，将到达点PE_mn与光轴OA之间的距离设为x”_mn。

在此，在通过步骤S01取得的内部参数中包括：主透镜LM的焦点距离f_ML、从主透镜LM到微透镜阵列LA_ih的距离c1、从微透镜阵列LA_ih到摄像元件面IE的距离c2、及基于透镜间距2dr算出的从光轴OA到微透镜L_mn的主点的距离d。另外，通过步骤S01取得的由距离信息表示出的距离是从主透镜LM到焦点位置的被摄体距离a1。

由此，重构部215将焦点距离f_ML及被摄体距离a1用于以下的式(4)中，算出从主透镜LM到主透镜LM的成像面为止的距离b1。

$b1=\frac{a1-f_{\mathrm{ML}}}{a1\×f_{\mathrm{ML}}}\·\·\·\left(4\right)$

接着，重构部215将被摄体距离a1和利用上述式(4)算出的距离b1用于以下的式(5)中，算出从光轴OA到主透镜LM的成像点PF为止的距离x’。

$x^{\′}=x\×\frac{b1}{a1}\·\·\·\left(5\right)$

然后，重构部215将从主透镜LM到微透镜阵列LA_ih为止的距离c1和利用上述的式(4)算出的距离b1用于以下的式(6)中，算出从主透镜LM的成像面到微透镜L_mn为止的距离a2。

a2＝c1-b1···(6)

接着，重构部215将从光轴OA到微透镜L_mn的主点为止的距离d、利用上述的式(5)算出的距离x’、从微透镜阵列LA_ih到摄像元件面IE为止的距离c2、及利用上述的式(6)算出的距离a2用于以下的式(7)中，算出到达点PE_mn与光轴OA之间的距离x”_mn。

${x^{\′\′}}_{\mathrm{mn}}=(d-x^{\′})\×\frac{c2}{a2}+d\·\·\·\left(7\right)$

此外，图22的Z轴方向的计算式(4)及(6)由高斯的成像公式导出。另外，X轴方向的计算式(5)及(7)由三角形的相似关系导出。在上述式(5)及(7)中，利用记号x、x’及x”_mn算出了X轴方向上的关注像素的位置PS与光轴OA之间的距离、从光轴OA到主透镜LM的成像点PF为止的距离、及到达点PE_mn与光轴OA之间的距离。同样地，通过在上述式(5)及(7)中利用记号y、y’及y”_mn，也能够算出与X轴及Z轴的两个轴都垂直的Y轴方向上的关注像素的位置PS与光轴OA之间的距离、从光轴OA到主透镜LM的成像点PF的距离、及到达点PE_mn与光轴OA之间的距离。

在图20B的步骤S91之后，重构部215确定处于所确定的到达点PE_mn处的图像传感器(即、摄像元件)120所对应的光场图像LF_ih的副图像S_mn上的像素，取得所确定的像素的像素值(步骤S92)。然后，重构部215对关注像素的像素值相加所取得的像素值(步骤S93)。其中，作为关注像素的像素值的一例的R值、G值及B值，在开始重构图像生成处理时被初始化成值“0”。

然后，重构部215将变量n的值增加值“1”之后(步骤S94)，自步骤S90起重复进行上述处理。

若在步骤S90中判别为变量n的值大于值N(步骤S90；否)，则重构部215将变量m的值增加值“1”之后(步骤S95)，自步骤S88起重复进行上述处理。

若在步骤S88中判别为变量m的值大于值M(步骤S88；否)，则重构部215将变量i的值增加值“1”之后(步骤S96)，自步骤S86起重复进行上述处理。

若在步骤S86中判别为变量i的值大于值I(步骤S86；否)，则重构部215将变量h的值增加值“1”之后(步骤S97)，自步骤S84起重复进行上述处理。

若在步骤S84中判别为变量h的值大于值H(步骤S84；否)，则重构部215自步骤S81起重复进行上述处理。

若在步骤S81中重构部215判别为处理了所有像素(步骤S81；是)，则结束重构图像生成的执行。

在图4B的步骤S17之后，图像信息输出部216将在步骤S17中重构的重构图像OB的图像数据输出至显示部320之后(步骤S18)，结束图像重构处理的执行。此外，图像信息输出部216也可经由外部I/F部310向记录介质存储重构图像OB的图像数据，另外也可向其他装置输出重构图像OB的图像数据。

根据这些结构，若假设在透镜阵列LA₁₁的微透镜L_mn(其中，m＝1～M，n＝1～N-1)与微透镜L_mn+1之间的位置处配置了构成微透镜阵列LA_1h(其中，h＝2～H)的微透镜L_mn，则较之微透镜阵列LA₁₁的微透镜L_mn与微透镜L_mn+1之间的透镜间距2dr，微透镜阵列LA₁₁的微透镜L_mn与假设了配置的微透镜阵列LA_1h的微透镜L_mn之间的间距短。为此，较之通过微透镜阵列LA₁₁的微透镜L_mn及L_mn+1分别成像的光场图像LF₁₁的副图像S_mn与副图像S_mn+1之间的视差，光场图像LF₁₁的副图像S_mn与插补光场图像LF_1h的副图像S_mn之间的视差小。即、根据这些结构，在光场图像LF₁₁的副图像S_mn与副图像S_mn+1之间能够插补视差更少的光场图像LF_1h的副图像S_mn。因而，对为了重构图像OB所需的发生了像素遗漏的像素能够进行插补，故能够重构周期噪声比以往少的重构图像OB。

另外，通过2个透镜分别成像的图像的视差，根据该2个透镜的间距而变化。为此，根据这些结构，按照光场图像LF₁₁的副图像S_mn与插补光场图像LF_1h(其中，h＝2～H)的副图像S_mn之间的视差相对于光场图像LF₁₁的副图像S_mn与副图像S_mn+1之间的视差的比率，成为透镜阵列LA₁₁的微透镜L_mn与假设了配置的透镜阵列LA_1h的微透镜L_mn之间的距离相对于透镜阵列LA₁₁的微透镜L_mn与微透镜L_mn+1之间的距离的比率的方式，插补光场图像LF_1h的副图像S_mn。因而，与以往相比能够高精度地插补光场图像LF_1h的副图像S_mn，所以能够重构噪声比以往少的重构图像OB。

另外，在核平面上存在：被摄体OJ上的点P、该点P被投影到光场图像LF₁₁的副图像S_mn上的点P_mn、被投影到光场图像LF₁₁的副图像S_{mn +1}上的点P_mn+1。另外，表示点P_mn的像素的像素值和表示点P_mn+1的像素的像素值，通常是大致相同的像素值。为此，根据这些结构，能够基于像素值的差异高精度地推定表示相同点的不同图像上的像素，所以与以往相比能够高精度地推定通过了表示相同点的像素(即、表示点P_mn的像素和表示点P_mn+1的像素)的直线。

另外，在上述核平面上除了存在点P_mn及点P_mn+1之外，还存在被摄体OJ上的点P被投影到插补光场图像LF_1h(其中，h＝2～H)的副图像S_mn上的点P_1hmn。而且，因为假设透镜阵列LA_1h的微透镜L_mn被配置在透镜阵列LA₁₁的微透镜L_mn与微透镜L_mn+1之间，所以在核平面上点P_1hmn位于点P_mn与点P_mn+1之间。为此，根据这些结构，将推定出的直线所通过的位于点P_mn与点P_mn+1之间的像素作为表示点P的像素来推定，所以与以往相比能够高精度地推定表示点P的像素。

另外，根据这些结构，若在图14的步骤S50中判别出评价值Line(θ^*)小于预先规定的阈值th(步骤S50；否)，则判断出存在通过了像素E_11nl的角度θ^*的直线不是通过了被摄体OJ上的表示相同点P的多个像素的直线的可能性，并向图15的推定角度S表格保存表示推定角度θ^*不明确的信息。另外，若在图16B的步骤S70中从推定角度S表格未取得推定角度θ^*，则不决定表示与像素E_11nl相同的被摄体OJ上的点P的像素(即、对应像素)的像素值。为此，与以往相比能够高精度地插补光场图像LF_1h，所以能够生成噪声少的重构图像。

在本实施方式中说明了下述情况：图像信息取得部211及插补部212在图4A的步骤S02～步骤S07的处理中基于拍摄到的光场图像LF₁₁生成插补光场图像LF₁₂～LF_1H之后，将变量h设为值“1”，在步骤S10～步骤S16中基于光场图像LF₁₁生成插补光场图像LF₂₁～LF_I1。另外，说明了下述情况：然后，插补部212将变量h设为值“2”之后，图像信息取得部211及插补部212重复进行步骤S10～步骤S16的处理，由此基于插补光场图像LF₁₂～LF_1H生成插补光场图像LF_ih(其中，i＝2～I，h＝2～H)。

然而，本发明并不限定于此，也可图像信息取得部211及插补部212在生成插补光场图像LF₁₂～LF_1H及LF₂₁～LF_I1之后，通过重复进行步骤S02～步骤S07的处理，由此基于插补光场图像LF₂₁～LF_I1来生成插补光场图像LF_ih(其中，i＝2～I，h＝2～H)。

另外，也可插补部212在生成插补光场图像LF₁₂～LF_1H及LF₂₁～LF_I1之后，将插补光场图像LF_1h的各像素的像素值(其中，h＝2～H)和插补光场图像LF_il所对应的各像素的像素值(其中，i＝2～I)之和除以值“2”而得到的值，作为插补光场图像LF_ih的各像素的像素值，由此生成插补光场图像LF_ih。作为具体例，能够举出下述例子：插补部212将插补光场图像LF₁₂的各像素的像素值和插补光场图像LF₂₁所对应的各像素的像素值之和除以值“2”而得到的值，作为插补光场图像LF₂₂的各像素的像素值。另外，作为其他具体例，能够举出下述例子：插补部212将插补光场图像LF₁₃的各像素的像素值和插补光场图像LF₂₁所对应的各像素的像素值之和除以值“2”而得到的值，作为插补光场图像LF₂₃的各像素的像素值。

<变形例>

在本实施方式中，说明了下述情况：直线推定部212c如图17所示，从构成插补核图像CES_mk(其中，m＝1～M，k＝1～K)的光场图像LF₁₁的像素E_11nl(其中，n＝1～N，l＝1～L)的多条直线之中，确定被推定为对应像素直线的直线。另外，说明了下述情况：像素值决定部212e根据像素E_11nl的像素值决定基于被推定为对应像素直线的直线(即、推定直线)与通过了中心点C_hl～C_hL的插补像素行的交点CP_h而决定的像素E_1hna的像素值I_1hna和像素E_1hnb的像素值I_1hnb。

然而，也能够采用下述结构：直线推定部212c如图21所示，从通过了构成插补核图像CES_mk的插补光场图像LF_1h的像素E_1hnl的多条直线之中，确定被推定为对应像素直线的直线。在该结构中，直线推定部212c利用以下的式(8)及(9)算出通过了像素E_1hnl的角度θ的直线EPL的评价值Line(θ)，确定使算出的评价值最小化的最佳角度θ^*。

$\mathrm{Line}\left(\mathrm{\&theta;}\right)=\frac{1}{Q}\underset{q\&Element;\mathrm{EPI}}{\mathrm{\&Sigma;}}{\{I_q-\mathrm{Average}\left(\mathrm{\&theta;}\right)\}}^2\&CenterDot;\&CenterDot;\&CenterDot;\left(8\right)$

$\mathrm{Average}\left(\mathrm{\&theta;}\right)=\frac{1}{Q}\underset{q\&Element;\mathrm{EPI}}{\mathrm{\&Sigma;}}{I}_q\&CenterDot;\&CenterDot;\&CenterDot;\left(9\right)$

其中，EPI是通过了像素E_1hnl的直线上的像素的集合，q是该集合的要素，Q是该集合的要素数，I_q是要素q的像素值。

另外，也可像素值决定部212e将通过上述的式(9)算出的最佳角度θ^*的平均像素值Average(θ^*)决定为像素E_1hnl的像素值I_1hnl。而且，也可重构部215在最佳角度θ^*的评价值Line(θ^*)小于阈值th的情况下，不将由该最佳角度θ^*确定的直线所通过的像素的像素值用于图像OB的重构中。

根据本实施方式的变形例，基于通过了插补光场图像LF_1h的像素E_1hnl的推定直线上的像素的像素值I_q来决定像素E_1hnl的像素值，因而能够以比本实施方式少的计算量高精度地决定像素E_1hnl的像素值。另外，在最佳角度θ^*的评价值Line(θ^*)小于阈值th的情况下，不将由该最佳角度θ^*确定的直线所通过的像素的像素值使用于图像OB的重构中，因而能够生成噪声少的图像OB。

本发明的实施方式及变形例能够分别相互组合。

此外，除了能够作为预先具备有用于实现本实施方式或本实施方式的变形例的结构的图像重构装置210进行提供，也能够根据程序的应用将已有的图像重构装置作为本实施方式或本实施方式的变形例涉及的图像重构装置210发挥功能。即、通过按照控制已有的图像重构装置的计算机(CPU等)执行用于实现本实施方式或本实施方式的变形例例示出的由图像重构装置210进行的各功能结构的程序，由此能够作为本实施方式或本实施方式的变形例涉及的图像重构装置210发挥功能。

这种程序的分配方法是任意的，例如除了能够存储并分配于存储卡、CD-ROM、或DVD-ROM等记录介质之外，还能经由因特网等通信媒体进行分配。

另外，本发明在不脱离本发明的广义上的精神和范围的情况下，可进行各种实施方式及变形。即、虽然说明了本发明的几个实施方式，但是上述的实施方式只是用于说明本发明，并不限定本发明的范围。本发明的范围不是在实施方式中记载的发明的范围，而是包括在权利要求书中记载的发明及其等同发明的范围。

Claims (6)

1.一种图像重构装置，其具备：

图像信息取得单元，其取得表示将被摄体的基于主透镜的光学像通过透镜阵列成像后的透镜阵列图像的信息，其中该透镜阵列排列了包括第1副透镜和第2副透镜的多个副透镜；

插补单元，其基于构成由取得的所述信息表示的透镜阵列图像的第1副图像和第2副图像，在使所述第1副图像成像的第1副透镜与使所述第2副图像成像的第2副透镜之间配置了第3副透镜的情况下，对该第3副透镜所成像的第3副图像进行插补；

距离信息取得单元，其取得表示到所述主透镜对焦的位置为止的距离的距离信息；

重构单元，其将插补后的所述第3副图像和由取得的所述信息表示出的第1副图像、第2副图像重构成：通过焦点对焦于由取得的所述距离信息表示的距离的位置处的所述主透镜成像的所述被摄体的图像；和

图像信息输出单元，其输出表示重构后的所述图像的信息，

所述插补单元基于由取得的所述信息表示的所述第1副图像的像素值和所述第2副图像的像素值，确定所述第1副图像与所述第2副图像之间的视差，按照所述第1副图像与所述第3副图像之间的视差相对于确定的所述视差的比率成为所述第1副透镜与第3副透镜之间的距离相对于所述第1副透镜与所述第2副透镜之间的距离的比率的方式插补所述第3副图像。

2.根据权利要求1所述的图像重构装置，其中，

所述插补单元具有：

提取单元，其从由取得的所述信息表示的所述第1副图像和所述第2副图像中提取同一核平面上的第1像素列和第2像素列；

生成单元，其生成将所述提取出的所述第1像素列、所述第3副图像在所述核平面上的第3像素列、以及所述提取出的所述第2像素列沿着所述核平面的法线方向顺序排列的核图像；

直线推定单元，其从通过了构成所述核图像的所述第1像素列中的第1像素的多条直线之中，将在构成所述第2像素列的多个像素内通过了表示与由所述第1像素表示出的所述被摄体上的点相同的点的第2像素的直线，基于所述第1像素的像素值和该第2像素的像素值之间的差异来推定；

像素推定单元，其在构成所述第3像素列的多个像素内，将推定的所述直线通过的像素推定为表示与由所述第1像素及所述第2像素表示的所述被摄体上的点相同的点的像素；和

像素值决定单元，其基于所述第1像素的像素值决定推定的所述像素的像素值。

3.根据权利要求1所述的图像重构装置，其中，

所述插补单元具有：

提取单元，其从由取得的所述信息所表示的所述第1副图像和所述第2副图像中提取同一核平面上的第1像素列和第2像素列；

生成单元，其生成将所述提取的所述第1像素列、所述第3副图像在所述核平面上的第3像素列、以及所述提取的所述第2像素列沿着所述核平面的法线方向顺序排列的核图像；

直线推定单元，其从通过了构成所述核图像的所述第3像素列上的规定的像素的多条直线之中，基于所述第1像素的像素值和所述第2像素的像素值之间的差异，推定通过了表示所述被摄体上的相同点的所述第1像素列上的第1像素和所述第2像素列上的第2像素的直线；和

像素值决定单元，其基于推定的所述直线通过的所述第1像素的像素值和所述第2像素的像素值来决定所述规定的像素的像素值。

4.根据权利要求2所述的图像重构装置，其中，

在所述第1像素的像素值与所述第2像素的像素值之间的差异小于规定的阈值的情况下，所述直线推定单元将通过了所述第1像素和所述第2像素的直线推定为存在不是通过了表示所述被摄体上的相同点的多个像素的直线的情况；

在被推定为存在不是通过了表示所述被摄体上的相同点的多个像素的直线的情况的直线，通过了构成所述第3像素列的像素的情况下，所述像素值决定单元不基于该直线通过的所述第1像素的像素值及所述第2像素的像素值来决定构成所述第3像素列的像素的像素值，在被推定为是通过了表示所述被摄体上的相同点的多个像素的直线的直线，通过了构成所述第3像素列的像素的情况下，所述像素值决定单元基于该直线通过的所述第1像素列上的像素的像素值及所述第2像素列上的像素的像素值来决定构成所述第3像素列的像素的像素值。

5.根据权利要求4所述的图像重构装置，其中，

所述重构单元在构成所述第3像素列的多个像素内，不将被推定为存在不是通过了表示所述被摄体上的相同点的多个像素的直线的情况的直线通过的像素的像素值利用于向所述被摄体的图像的重构。

6.一种图像重构方法，包括下述步骤：

取得表示将被摄体的基于主透镜的光学像通过透镜阵列成像后的透镜阵列图像的信息，其中该透镜阵列排列了包括第1副透镜和第2副透镜的多个副透镜；

基于构成由取得的所述信息表示的透镜阵列图像的第1副图像和第2副图像，在使所述第1副图像成像的第1副透镜与使所述第2副图像成像的第2副透镜之间配置了第3副透镜的情况下，对该第3副透镜所成像的第3副图像进行插补；

取得表示到所述主透镜对焦的位置为止的距离的距离信息；

将插补后的所述第3副图像和由取得的所述信息表示的第1副图像、第2副图像重构成：通过焦点对焦于由取得的所述距离信息表示的距离的位置处的所述主透镜成像的所述被摄体的图像；

输出表示重构后的所述图像的信息；和

所述插补基于由取得的所述信息表示的所述第1副图像的像素值和所述第2副图像的像素值，确定所述第1副图像与所述第2副图像之间的视差，按照所述第1副图像与所述第3副图像之间的视差相对于确定的所述视差的比率成为所述第1副透镜与第3副透镜之间的距离相对于所述第1副透镜与所述第2副透镜之间的距离的比率的方式插补所述第3副图像。