CN107534731A - 图像处理装置和图像处理方法 - Google Patents

Abstract

该技术涉及使得可以精确地再现光学镜头的模糊的图像处理装置和图像处理方法。光束再现单元再现从真实空间内部的真实空间点入射到虚拟镜头上的光束，在所述虚拟镜头中，将用于从多个视角捕获图像的多个成像单元设置为合成孔径。聚光处理单元通过使用像面偏移位置对虚拟传感器上的使用要被仿真地插入其中的仿真镜头对光束所会聚的位置进行位置对准来执行用于将光束会聚到虚拟传感器上的聚光处理，该像面偏移位置是从真实空间点发射的主光束经由仿真镜头到达的虚拟传感器上的位置。该技术可应用于例如用于根据从多个视角拍摄的图像来重建使用各种光学镜头捕获的图像的光场技术。

Description

图像处理装置和图像处理方法

技术领域

本技术涉及图像处理装置和图像处理方法，具体地涉及使得例如可以精确地再现光学镜头的模糊度的图像处理装置和图像处理方法。

背景技术

提出了一种光场技术，其重建例如对其进行重新聚焦的图像，即，看起来像在改变光学系统的聚焦位置的情况下进行图像拾取的图像，或来自从多个视点的图像中的类似图像(例如，参见PTL 1)。

[引用列表]

[专利文献]

[PTL 1]

JP 2013-238927A

发明内容

[技术问题]

对于光场技术，当使用实际光学镜头进行图像拾取时，需要精确地再现出现在图像上的模糊度。

考虑到刚刚描述的这样的情况而做出了本技术，并且本技术使得可以精确地再现光学镜头的模糊度。

[问题的解决方案]

本技术的图像处理装置是一种图像处理装置，包括：光线再现部，被配置成再现要从真实空间中的真实空间点入射到虚拟镜头的光线，该虚拟镜头具有由拾取多个视点处的图像的多个图像拾取部构成的合成孔径；以及聚光处理部，被配置成执行聚光处理，在该聚光处理中，根据像面偏移位置来对光线再现部再现的光线通过仿真目标的仿真镜头会聚到虚拟传感器上的位置进行定位，并且将光线会聚到虚拟传感器上，像面偏移位置是从真实空间点发射的主光线通过仿真镜头到达的虚拟传感器上的位置。

本技术的图像处理方法是一种图像处理方法，其包括:再现要从真实空间中的真实空间点入射到虚拟镜头的光线，该虚拟镜头具有由拾取多个视点处的图像的多个图像拾取部构成的合成孔径；以及执行聚光处理，在聚光处理中，根据像面偏移位置来对光线通过仿真目标的仿真镜头会聚到虚拟传感器上的位置进行定位，并且将光线会聚到虚拟传感器上，像面偏移位置是从真实空间点发射的主光线通过仿真镜头到达的虚拟传感器上的位置。

在本技术的图像处理装置和图像处理方法中，再现要从真实空间中的真实空间点入射到虚拟镜头的光线，该虚拟镜头具有由拾取多个视点处的图像的多个图像拾取部构成的合成孔径。然后，进行聚光处理，在聚光处理中，根据像面偏移位置来对光线通过仿真目标的仿真镜头会聚到虚拟传感器上的位置进行定位，并且将光线会聚到虚拟传感器上，所述像面偏移位置是虚拟传感器上的由从真实空间点发射的主光线通过仿真镜头到达的位置。

应当注意，图像处理装置可以是独立的装置，或者可以是构成单个装置的内部块。

此外，可以通过使计算机执行程序来实现图像处理装置，并且可以通过传输介质发送程序或通过将程序记录在记录介质上来提供程序。

[发明的有益效果]

根据本技术，例如，可以精确地再现光学镜头的模糊度。

应当注意，这里描述的效果不一定是限制性的，而可以是在本公开内容中描述的任何效果。

附图说明

[图1]

图1是示出应用本技术的图像处理系统的实施方式的配置示例的框图。

[图2]

图2是示出图像拾取装置11的配置示例的平面图。

[图3]

图3是示出图像处理装置12的配置示例的框图。

[图4]

图4是示出图像处理系统的处理的示例的流程图。

[图5]

图5是示出视差信息生成部31的配置示例的框图。

[图6]

图6是示出由参考视差图生成部41来生成参考视差图的示例的图。

[图7]

图7是示出生成外围图像PL#i的视差图的示例的图。

[图8]

图8是示出将视差插值到外围图像PL#i的视差图的未登记区域的图。

[图9]

图9是示出生成多层视差图的示例的图。

[图10]

图10是示出由视差信息生成部31来生成参考视差图和多层视差图的处理的示例的流程图。

[图11]

图11是示出通过使用实际光学镜头拾取预定图像拾取对象的图像而获得的实际图像的示例的图。

[图12]

图12是示出由图像处理装置12获得的仿真图像的示例的图。

[图13]

图13是示出当不进行饱和像素恢复处理时不再现清晰模糊的原理的图。

[图14]

图14是示出通过进行饱和像素恢复处理来再现清晰模糊的原理的图。

[图15]

图15是示出用于获取标准亮度拾取图像PL#i和低亮度拾取图像PH#i的第一获取方法的图。

[图16]

图16是示出饱和像素恢复部33的配置的第一示例的框图。

[图17]

图17是示出由饱和像素恢复部33进行的饱和像素恢复处理的示例的流程图。

[图18]

图18是示出饱和像素恢复部33的配置的第二示例的框图。

[图19]

图19是示出由饱和像素恢复部33进行的饱和像素恢复处理的示例的流程图。

[图20]

图20是示出图像拾取装置11的配置的另一示例的平面图。

[图21]

图21是示出饱和像素恢复部33的配置的第三示例的框图。

[图22]

图22是示出校正视差图的视差的示例的图。

[图23]

图23是示出由饱和像素恢复部33进行的饱和像素恢复处理的示例的流程图。

[图24]

图24是示出用于在注意视点处获取HDR(高动态范围)拾取图像的注意像素的像素值的处理的示例的流程图。

[图25]

图25是示出镜头仿真部35的镜头仿真处理的概要的图。

[图26]

图26是示出通过实际光学镜头的聚光处理和镜头仿真处理的聚光处理的图。

[图27]

图27是示出入射光线再现部36的配置示例的框图。

[图28]

图28是示出真实空间点的图。

[图29]

图29是示出用于使用多层视差图来确定真实空间点的确定方法的图。

[图30]

图30是示出由光线生成部102进行的光线生成的示例的图。

[图31]

图31是示出由碰撞判定部103进行的碰撞判定以及由亮度分配部104进行的向光线分配亮度的图。

[图32]

图32是示意性地示出由入射光线再现部36进行的入射光线再现处理而获得的最大数量的数据的图。

[图33]

图33是示出由入射光线再现部36进行的入射光线再现处理的示例的流程图。

[图34]

图34是示出用于碰撞判定的处理的示例的流程图。

[图35]

图35是示出用于光线亮度分配的处理的示例的流程图。

[图36]

图36是示出由仿真镜头信息生成部37生成的镜头信息的图。

[图37]

图37是示出作为用于生成镜头信息和聚焦位置的目标的真实空间点的图。

[图38]

图38是示出光学镜头的PSF(点扩散函数)强度分布的示例的图。

[图39]

图39是示出用于生成PSF强度分布的方法的示例的图。

[图40]

图40是示意性地示出由仿真镜头信息生成部37生成的PSF强度分布的图。

[图41]

图41是示意性地示出由仿真镜头信息生成部37生成的像面间距的图。

[图42]

图42是示出用于生成PSF角分量信息的方法的示例的图。

[图43]

图43是示出用于生成PSF角分量信息的方法的示例的图。

[图44]

图44是示出PSF角分量信息的细节的图。

[图45]

图45是示意性地示出由仿真镜头信息生成部37生成的PSF角分量信息的图。

[图46]

图46是示出像面偏移信息的图。

[图47]

图47是示出用于生成PSF角分量信息的方法的示例的图。

[图48]

图48是示意性地示出由仿真镜头信息生成部37生成的像面偏移信息的图。

[图49]

图49是示出生成镜头信息的仿真镜头信息生成部37的配置的示例的框图。

[图50]

图50是示出由仿真镜头信息生成部37进行的仿真镜头信息生成处理的示例的流程图。

[图51]

图51是示出由聚光处理部38进行的聚光处理的概要的图。

[图52]

图52是示出来自聚光处理内的用于确定图像形成值的处理的示例的图。

[图53]

图53是示出来自聚光处理内的用于确定图像形成值的处理的不同示例的图。

[图54]

图54是示出来自聚光处理内的用于向虚拟传感器加图像形成值(的分布)的处理的示例的图。

[图55]

图55是示出聚光处理部38的配置的示例的框图。

[图56]

图56是示出由聚光处理部38进行的聚光处理的示例的流程图。

[图57]

图57是示出光线相加处理的示例的流程图。

[图58]

图58是示出减少镜头信息的信息量的概要的图。

[图59]

图59是示出镜头信息生成轴的具体示例的图。

[图60]

图60是示出仿真镜头信息生成部37的配置示例的框图，其中，仅针对镜头信息生成轴的信息点生成镜头信息。

[图61]

图61是示出由仿真镜头信息生成部37进行的仿真镜头信息生成处理的示例的流程图。

[图62]

图62是示出使用针对镜头信息生成轴的信息点(与其对应的真实空间点)生成的镜头信息进行的聚光处理的示例的图。

[图63]

图63是示出通过光线旋转法进行的聚光处理的示例的图。

[图64]

图64是示出使用针对镜头信息生成轴生成的镜头信息进行聚光处理的聚光处理部38的配置的示例的框图。

[图65]

图65是示出由聚光处理部38进行的聚光处理的示例的流程图。

[图66]

图66是示出光线相加处理的示例的流程图。

[图67]

图67是示出用于确定作为虚拟传感器上的旋转之前的光线形成图像的图像形成位置的像面偏移位置的方法的图，其中，进行通过光线旋转方法进行的聚光处理。

[图68]

图68是示出在信息点的并置方向上插值像面偏移信息的图。

[图69]

图69是示出在视差方向上插值像面偏移信息的图。

[图70]

图70是示出由于由镜头仿真部35进行的镜头仿真处理而获得的仿真图像的示例的图。

[图71]

图71是示出由于由镜头仿真部35进行的镜头仿真处理而获得的仿真图像的不同示例的图。

[图72]

图72是示出应用本技术的计算机的实施方式的配置示例的框图。

具体实施方式

<应用本技术的图像处理系统的实施方式>

图1是示出应用本技术的图像处理系统的实施方式的配置示例的框图。

在图1中，图像处理系统包括图像拾取装置11、图像处理装置12和显示装置13。

图像拾取装置11从多个视点拾取图像拾取对象的图像，并且将由于图像拾取而获得的多个视点的拾取图像提供给图像处理装置12。

图像处理装置12使用来自图像拾取装置11的多个视点的拾取图像来进行图像处理，以生成与使用是仿真目标的光学镜头的仿真镜头来拾取图像拾取对象的图像类似的仿真图像并且将仿真图像提供给显示装置13。

显示装置13显示来自图像处理装置12的仿真图像。

仿真图像是以下图像，通过该图像，例如，可靠地再现可移除地安装在单镜头反光摄像装置或无反光镜摄像装置上的光学镜头拾取的图像拾取对象的图像中产生的模糊度。因此，用户可以在不购买昂贵的光学镜头的情况下享受这样的昂贵的光学镜头的模糊度。

应当注意，在图1中，构成图像处理系统的图像拾取装置11、图像处理装置12和显示装置13可以内置在例如数字(静止/视频)摄像装置或便携式终端例如智能电话的独立装置中。

此外，图像拾取装置11、图像处理装置12和显示装置13可以分别内置在独立装置中。

此外，图像拾取装置11、图像处理装置12和显示装置13中的任意两个和其余一个可以分别内置在独立装置中。

例如，图像拾取装置11和显示装置13可以内置在用户拥有的便携式终端中，而图像处理装置12可以内置在云上的服务器中。

此外，图像处理装置12的块可以内置在云上的服务器中，而图像处理装置12的其余块、图像拾取装置11和显示装置13可以内置在便携式终端中。

<图像拾取装置11的配置示例>

图2是示出图像拾取装置11的配置示例的平面图。

图像拾取装置11包括多个摄像装置单元21_i，并且由多个摄像装置单元21_i来拾取多个视点的拾取图像。

在图2中，图像拾取装置11包括多个例如七个摄像装置单元21₁、21₂、21₃、21₄、21₅、21₆和21₇，并且七个摄像装置单元21₁至21₇设置在二维平面上。

此外，在图2中，例如，以作为七个摄像装置单元21₁至21₇中之一的摄像装置单元21₁为中心，其他六个摄像装置单元21₂至21₇设置在摄像装置单元21₁周围，以构成正六边形。

因此，在图2中，在七个摄像装置单元21₁至21₇中的任一个摄像装置单元21_i(i＝1,2,...,7)(任一个摄像装置单元21_i的光轴)和最靠近摄像装置单元21_i的另一摄像装置单元21_j(j＝1,2,...,7)之间的距离是相等的距离L。

可以采用例如大约20mm作为摄像装置单元21_i和21_j之间的距离L。在这种情况下，图像拾取装置11可以被配置成诸如IC(集成电路)卡的卡的尺寸。

应当注意，构成图像拾取装置11的摄像装置单元21_i的数量不限于七个，而可以采用等于或大于二但是等于或小于六的数量，或等于或大于八的数量。

此外，在图像拾取装置11中，多个摄像装置单元21_i可以设置成构成正多边形例如如上所述的正六边形，或者可以设置在任意位置。

这里，摄像装置单元21₁至21₇中的设置在中心处的摄像装置单元21₁也称为参考摄像装置单元21₁，而设置在参考摄像装置单元21₁周围的摄像装置单元21₂至21₇有时也称为外围摄像装置单元21₂至21₇。

<图像处理装置12的配置示例>

图3是示出图1的图像处理装置12的配置示例的框图。

在图3中，图像处理装置12包括视差信息生成部31、校准数据获取部32、饱和像素恢复部33、镜头设计数据获取部34和镜头仿真部35。

从图像拾取装置11向图像处理装置12提供由摄像装置单元21₁至21₇拾取的七个视点的拾取图像。

这里，可将标准亮度拾取图像PL1至PL7和低亮度拾取图像PH1至PH7用作由图像拾取装置11提供给图像处理装置12的七个视点的拾取图像。

标准亮度拾取图像PL#i是以例如当由摄像装置单元21_i进行图像拾取时被估计为适合的预定曝光时间段(以快门速度)(以下也称为标准曝光时间段)拾取的图像。作为标准曝光时间段，可以采用例如通过自动曝光功能设置的曝光时间段等。

低亮度拾取图像PH#i是由摄像装置单元21_i以比标准曝光时间段短的曝光时间段(以比对应于标准曝光时间段的快门速度高的快门速度)拾取的图像。

因此，在低亮度拾取图像PH#i中，大体上被反映在标准亮度拾取图像PL#i中的图像拾取对象被反映为暗。

在图像处理装置12中，将标准亮度拾取图像PL#i提供给视差信息生成部31和饱和像素恢复部33，而将低亮度拾取图像PH#i提供给饱和像素恢复部33。

视差信息生成部31使用从图像拾取装置11提供的标准亮度拾取图像PL#i来确定视差信息，并且将视差信息提供给下文描述的构成镜头仿真部35的入射光线再现部36、仿真镜头信息生成部37和聚光处理部38。

具体地，视差信息生成部31进行用于确定从图像拾取装置11提供的每个标准亮度拾取图像PL#i与不同的标准亮度拾取图像PL#j的视差信息的处理作为对多个视点的标准亮度拾取图像PL#i的图像处理。然后，视差信息生成部31生成其中登记有视差信息的视差图，并且将所生成的视差图提供给镜头仿真部35。

此外，视差信息生成部31生成下文关于标准亮度拾取图像PH#i中的由参考摄像装置单元21₁拾取的标准亮度拾取图像PL1描述的多层视差图，并且将所生成的多层视差图提供给镜头仿真部35。

这里，不仅可以采用视差(不同)本身，而且可以采用与视差对应的距离(深度)作为视差信息。在本实施方式中，采用例如视差和距离之间的视差作为视差信息。

校准数据获取部32获取摄像装置单元21₁至21₇中的每个摄像装置单元的光学镜头的失真值和遮蔽系数作为校准数据。

这里，校准数据例如被存储在未示出的存储器中，或者从因特网上的服务器等中提供。校准数据获取部32从存储器或互联网上的服务器获取校准数据，并且将所获取的校准数据提供给视差信息生成部31和入射光线再现部36。

视差信息生成部31和入射光线再现部36使用从校准数据获取部32提供的校准数据来进行用于使由外围摄像装置单元21₂至21₇拾取的拾取图像(下文描述的标准亮度拾取图像PL2至PL7或HDR拾取图像HD2至HD7)与由参考摄像装置单元21₁拾取的拾取图像(下文描述的标准亮度拾取图像PL1或HDR拾取图像HD1)一致的校准处理。

具体地，视差信息生成部31和入射光线再现部36使用校准数据来进行用于将由外围摄像装置单元21₂至21₇拾取的拾取图像校正为在使用参考摄像装置单元21₁代替外围摄像装置单元21₂至21₇进行图像拾取的情况下可以获得的拾取图像的校准处理。

然后，视差信息生成部31和入射光线再现部36使用校正处理之后的拾取图像来针对由外围摄像装置单元21₂至21₇拾取的拾取图像进行处理。

应当注意，为了简化描述，下文不再描述校准处理。

饱和像素恢复部33使用从摄像装置单元21_i提供的低亮度拾取图像PH#i来恢复从摄像装置单元21_i提供的标准亮度拾取图像PL#i的像素中的其像素饱和的饱和像素的像素值。

饱和像素恢复部33通过恢复饱和像素的像素值来将标准亮度拾取图像PL#i转换成动态范围比标准亮度拾取图像PL#i的动态范围高的拾取图像HD#i(其中分配给像素值的位数更大)，并且将拾取图像HD#i提供给入射光线再现部36。

应当注意，在饱和像素恢复部33中，不仅可以向入射光线再现部36而且还可以向视差信息生成部31提供具有比标准亮度拾取图像PL#i的动态范围更高的动态范围的拾取图像HD#i。

在这种情况下，在视差信息生成部31中，可以使用具有高动态范围的拾取图像HD#i代替标准亮度拾取图像PL#i来进行用于确定视差信息的图像处理。在使用具有高动态范围的拾取图像HD#i来确定视差信息的情况下，可以以更高的精度来确定视差信息。

这里，通过恢复饱和像素的像素值而获得的高动态范围的拾取图像HD#i也称为HDR拾取图像HD#i。

此外，由参考摄像装置单元21₁拾取的低亮度拾取图像PH1和标准亮度拾取图像PL1以及HDR拾取图像HD1(从标准亮度拾取图像PL1和低亮度拾取图像PH1获得的)在下文中均称为参考图像。

此外，由外围摄像装置单元21_i拾取的标准亮度拾取图像PL#i和低亮度拾取图像PH#i以及HDR拾取图像HD#i(从标准亮度拾取图像PL#i和低亮度拾取图像PH#i获得的)在下文中均称为外围图像。

镜头设计数据获取部34获取作为仿真目标的光学镜头的仿真镜头的镜头设计数据，并且将所获取的镜头设计数据提供给仿真镜头信息生成部37。

这里，镜头设计数据被存储在例如未示出的存储器中，或者从互联网上的服务器等中提供。镜头设计数据获取部34从存储器或互联网上的服务器获取镜头设计数据并且将镜头设计数据提供给仿真镜头信息生成部37。

应当注意，仿真镜头不需要是现有的光学镜头，而是可以是实际上不存在的光学镜头。实际上不存在的光学镜头可以是理论上可能存在的光学镜头，或者可以是理论上不能存在的光学镜头。

在采用不存在的光学镜头作为仿真镜头的情况下，例如通过用户操作未示出的操作部来输入仿真镜头的镜头设计数据。镜头设计数据获取部34获取由用户输入的镜头设计数据。

镜头仿真部35进行镜头仿真处理，并且将通过镜头仿真处理而获得的仿真图像提供给显示装置13(图1)。

在镜头仿真处理中，镜头仿真部35使用从视差信息生成部31提供的视差图(根据需要，包括下文描述的多层视差图)、从饱和像素恢复部33提供的七个视点的拾取图像HD1至HD7以及从镜头设计数据获取部34提供的镜头设计数据来生成仿真图像，该仿真图像是可以在使用仿真镜头来拾取图像拾取对象的图像的情况下获得的图像。

因此，镜头仿真部35用作对具有仿真镜头的图像拾取装置(未示出)进行仿真的仿真器。

镜头仿真部35包括入射光线再现部36、仿真镜头信息生成部37和聚光处理部38。

入射光线再现部36使用从饱和像素恢复部33提供的七个视点的拾取图像HD1至HD7和从视差信息生成部31提供的视差图来进行用于再现从真实空间中的真实空间点入射到作为虚拟光学镜头的虚拟镜头的光线(的信息)的入射光线再现处理作为针对七个视点的拾取图像HD1至HD7的图像处理。

这里，由入射光线再现部36再现的光线入射到的虚拟镜头是具有由作为用于拾取提供给入射光线再现部36的七个视点的拾取图像HD1至HD7(PL1至PL7)的多个图像拾取部的摄像装置单元21₁至21₇提供的合成孔径的虚拟镜头。

例如，在例如以图2所示的正六边形设置摄像装置单元21₁至21₇并且在一个摄像装置单元21_i和位于最靠近摄像装置单元21_i的另一摄像装置单元21_j之间的距离为L的情况下，作为虚拟镜头的孔径的合成孔径具有大致圆形形状，该大致圆形形状与外围摄像装置单元21₂至21₇的光轴相互互连并且具有2L的直径。

入射光线再现部36再现入射到虚拟镜头的光线，并且将光线提供给聚光处理部38。

仿真镜头信息生成部37使用从视差信息生成部31提供的视差图以及从镜头设计数据获取部34提供的镜头设计数据，来生成定义仿真镜头的特性、即定义通过仿真镜头的光线的仿真镜头信息，并且将仿真镜头信息提供给聚光处理部38。

这里，在以下描述中，仿真镜头信息也简称为镜头信息。

由于镜头信息具有与仿真镜头的值等同的值，因此可以作为购买和销售的目标。由于镜头信息是电子数据并且易于复制，因此为了防止非法复制，可以要求使用镜头信息的认证。

聚光处理部38使用从视差信息生成部31提供的视差图、从入射光线再现部36提供的光线和从仿真镜头信息生成部37提供的镜头信息来进行用于通过仿真镜头将光线会聚到作为虚拟图像传感器的虚拟传感器上的(数字)聚光处理。

然后，聚光处理部38将由于聚光处理而获得的仿真图像提供给显示装置13(图1)。

应当注意，可以将图像处理装置12配置为服务器，并且还可以将图像处理装置12配置为客户端。此外，可以将图像处理装置12配置为服务器-客户端系统。在图像处理装置12被配置成服务器-客户端系统的情况下，可以从服务器配置图像处理装置12的任意一个块或任意多个块并且从客户端配置其余块。

<图像处理系统的处理>

图4是示出图1的图像处理系统的处理的示例的流程图。

在步骤S1处，图像拾取装置11拾取作为多个视点的七个视点的拾取图像PL1至PL7和PH1至PH7。将拾取图像PL#i提供给图像处理装置12(图3)的视差信息生成部31和饱和像素恢复部33，将拾取图像PH#i提供给饱和像素恢复部33。

然后，处理从步骤S1进行到步骤S2，在步骤S2处，视差信息生成部31进行用于使用从图像拾取装置11提供的拾取图像PL#i来确定视差信息并且生成其中登记有视差信息的视差图(包括多层视差图)的视差信息生成处理。

视差信息生成部31将通过视差信息生成处理获得的视差图提供给构成镜头仿真部35的入射光线再现部36、仿真镜头信息生成部37和聚光处理部38，然后处理从步骤S2进行到步骤S3。

在步骤S3处，饱和像素恢复部33使用从摄像装置单元21_i提供的拾取图像PH#i来进行用于恢复从摄像装置单元21_i提供的拾取图像PL#i的像素中的饱和像素的像素值的饱和像素恢复处理。

饱和像素恢复部33将通过饱和像素恢复处理获得的高动态范围的拾取图像HD#i提供给入射光线再现部36，然后处理从步骤S3进行到步骤S4。

在步骤S4处，镜头设计数据获取部34获取仿真镜头的镜头设计数据，并且将镜头设计数据提供给仿真镜头信息生成部37。

此外，在步骤S4处，仿真镜头信息生成部37使用从视差信息生成部31提供的视差图和从镜头设计数据获取部34提供的镜头设计数据来进行用于生成仿真镜头的镜头信息的仿真镜头信息生成处理。

仿真镜头信息生成部37将通过仿真镜头信息生成处理获得的镜头信息提供给聚光处理部38，然后处理从步骤S4进行到步骤S5。

在步骤S5处，入射光线再现部36使用从饱和像素恢复部33提供的七个视点的拾取图像HD1至HD7和从视差信息生成部31提供的视差图来执行用于再现从真实空间中的真实空间点进入虚拟镜头的光线的入射光线再现处理。

入射光线再现部36将通过入射光线再现处理获得的光线(的信息)提供给聚光处理部38，然后，处理从步骤S5进行到步骤S6。

在步骤S6处，聚光处理部38使用从视差信息生成部31提供的视差图、从入射光线再现部36提供的光线和从仿真镜头信息生成部37提供的镜头信息，来进行用于通过仿真镜头将光线会聚到虚拟传感器上的聚光处理。

聚光处理部38将由于聚光处理而获得的仿真图像提供给显示装置13，然后处理从步骤S6进行到步骤S7。

在步骤S7处，显示装置13显示来自聚光处理部38的仿真图像。

<视差图的生成>

图5是示出图3的视差信息生成部31的配置示例的框图。

参照图5，视差信息生成部31包括参考视差图生成部41和多层视差图生成部42。

将拾取图像PL1至PL7从图像拾取装置11提供给参考视差图生成部41。

参考视差图生成部41生成参考视差图并且将参考视差图提供给多层视差图生成部42，该参考视差图是其中登记有作为来自图像拾取装置11的拾取图像PL1至PL7中之一的参考图像PL1与其他拾取图像(外围图像)PL2至PL7的视差的视差图。

多层视差图生成部42例如使用来自参考视差图生成部41的参考视差图来生成外围图像PL2至PL7的视差图。

然后，多层视差图生成部42使用参考图像PL1的参考视差图和外围图像PL2至PL7的视差图来生成多层视差图，在该多层视差图中登记有关于参考摄像装置单元21₁的视差点(位置)的视差。

将参考图像PL1的参考视差图、外围图像PL2至PL7的视差图和多层视差图中的一个或多个必要的视差图提供给入射光线再现部36、仿真镜头信息生成部37和聚光处理部38(图3)。

图6是示出由图5的参考视差图生成部41生成参考视差图的示例的图。

具体地，图6示出了拾取图像PL1至PL7的示例。

在图6中，在拾取图像PL1至PL7中，预定对象obj作为前景反映在预定背景的前侧。由于拾取图像PL1至PL7的视点相互不同，因此反映在例如拾取图像PL2至PL7中的对象obj的位置与反映在参考图像PL1中的对象obj的位置位移与视点的差异对应的距离。

参考视差图生成部41依次选择参考图像PL1的像素作为注意像素，并且从其他拾取图像PL2至PL7中的每个拾取图像内、即从外围图像PL2至PL7中的每个外围图像内检测与注意像素对应的对应像素(对应点)。

作为用于检测外围图像PL2至PL7中的每个外围图像的与参考图像PL1的注意像素对应的对应像素的方法，可以采用诸如块匹配的任意方法。

这里，从参考图像PL1的注意像素朝向外围图像PL#i的对应像素的矢量、即表示注意像素和对应像素之间的位置偏移的矢量称为视差矢量v#i,1。

参考视差图生成部41确定各外围图像PL2至PL7的视差矢量v2,1至v7,1。然后，参考视差图生成部41对视差矢量v2,1至v7,1的大小进行多数投票，并且确定在多数投票中胜出的视差矢量v#i,1的大小作为注意像素(的位置)的视差。

这里，在如上文参照图2所述在拾取参考图像PL1的参考摄像装置单元21₁和拾取外围图像PL2至PL7的外围摄像装置单元21₂至21₇之间的距离在图像拾取装置11中是相等距离L的情况下，如果反映在参考图像PL1的注意像素处的部分也反映在外围图像PL2至PL7中，则将尽管方向相互不同但具有相等大小的矢量确定为视差矢量v2,1至v7,1。

具体地，在这种情况下，视差矢量v2,1至v7,1是具有相等大小但具有根据外围图像PL2至PL7相对于参考摄像装置单元21₁的位置(视点)的方向的矢量。

然而，由于拾取图像PL1至PL7具有相互不同的视点，因此外围图像PL2至PL7可能包括受遮挡的图像，即，反映在参考图像PL1的注意像素处的部分被前景隐藏并未被反映。

关于未反映被反映在参考图像PL1的注意像素处的部分的外围图像(下文也称为遮挡图像)PL#i，难以检测正确的像素作为与注意像素对应的对应像素。

因此，关于遮挡图像PL#i，确定了具有与其中反映被反映在参考图像PL1的注意像素处的部分的外围图像PL#j的视差矢量v#j,1的大小不同的大小的视差矢量v#i,1。

估计出关于注意像素而受遮挡的图像的数量比在外围图像PL2至PL7之中的受遮挡的图像的数量小。因此，如上所述，参考视差图生成部41对视差矢量v2,1至v7,1的大小进行多数投票，并且将多数投票中胜出的视差矢量v#i,1的大小确定为注意像素的视差。

在图6中，三个视差矢量v2,1、v3,1和v7,1是视差矢量v2,1至v7,1中具有相等大小的矢量。同时，在参考矢量v4,1、v5,1和v6,1中，不存在具有相等大小的视差矢量。

因此，将三个视差矢量v2,1、v3,1和v7,1的大小确定为注意像素的视差。

应当注意，可以从参考摄像装置单元21₁和外围摄像装置单元21_i之间的位置关系来识别参考图像PL1与任意外围图像PL#i的注意像素的视差的方向。

参考视差图生成部41依次选择参考图像PL1的像素作为注意像素，并且确定视差。然后，参考视差图生成部41生成视差图，在该视差图中，将参考图像PL1的每个像素的视差与像素的位置(xy坐标)相关联地登记为参考视差图。因此，视差图是其中像素的位置和像素的视差相互相关联的图(表)。

这里，除了参考图像PL1的视差图(参考视差图)之外，也可以类似地生成每个外围图像PL#i的视差图。

然而，在生成外围图像PL#i的视差图时，根据基于外围图像PL#i和其他拾取图像PL#j中的每个拾取图像之间的视点的关系(摄像装置单元21_i和21_j之间的位置关系)调整的视差矢量的大小来进行视差矢量的多数投票。

具体地，例如，在要生成外围图像PL5的视差图的情况下，例如在外围图像PL5与参考图像PL1之间获得的视差矢量具有等于在外围图像PL5和外围图像PL2之间获得的视差矢量的两倍的大小。

这是因为，虽然作为在拾取外围图像PL5的外围摄像装置单元21₅和拾取参考图像PL1的参考摄像装置单元21₁的光轴之间的距离的基线长度为距离L，但是在拾取外围图像PL5的外围摄像装置单元21₅和拾取外围图像PL2的外围摄像装置单元21₂之间的基线长度为距离2L。

因此，如果假设例如将作为外围摄像装置单元21₅和参考摄像装置单元21₁之间的基线长度的距离L称为参考基线长度，则在调整视差矢量的大小使得基线长度被转换为参考基线长度L之后对视差矢量进行多数投票。

具体地，例如，由于例如拾取外围图像PL5的外围摄像装置单元21₅和拾取参考图像PL1的参考摄像装置单元21₁之间的基线长度L等于参考基线长度L，因此将在外围图像PL5和参考图像PL1之间获得的视差矢量大小调整为一倍。

同时，由于，例如拾取外围图像PL5的外围摄像装置单元21₅和拾取外围图像PL2的外围摄像装置单元21₂之间的基线长度2L等于参考基线长度L的两倍，因此将在外围图像PL5和参考图像PL1之间获得的视差矢量的大小调整为1/2倍(n倍，其中，n是外围摄像装置单元21₅和外围摄像装置单元21₂之间的基线长度与参考基线长度的比率的值)。

此外，类似地，将在外围图像PL5和任何其他拾取图像PL#i之间获得的视差矢量的大小也调整为n倍，其中，n是与参考基线长度L的比率的值。

然后，在大小调整之后，使用视差矢量对视差矢量进行多数投票。

应当注意，参考视差图生成部41可以例如以由图像拾取装置11拾取的拾取图像的像素的精度来确定参考图像PL1(的每个像素)的视差。此外，可以例如以比图像拾取装置11拾取的拾取图像的像素更精确的精度(以下称为子像素精度)、具体地例如以1/4像素的精度等来确定参考图像PL1的视差。

在以子像素精度确定视差的情况下，在使用视差的处理中，不仅可以原样使用子像素精度的视差，而且可以通过对视差的小数位进行舍去、舍入或四舍五入而对子像素精度的视差进行求整来使用视差。

在本实施方式中，以子像素精度确定视差，并且除非另有说明，否则对具有子像素精度的视差进行求整和使用，以便于计算。

图7是示出生成外围图像PL#i的视差图的示例的图。

外围图像PL#i的视差图不仅可以与参考图像PL1的视差图(参考视差图)类似地生成，而且可以简单且容易地利用参考视差图来生成。

多层视差图生成部42(图5)可以利用参考视差图来生成外围图像PL#i的视差图。

在图7中，利用参考视差图来生成外围图像PL2和PL5的视差图。

这里，在图7中，示出了参考图像PL1和外围图像PL2和PL5以及参考图像PL1和外围图像PL2和PL5的视差图。

作为参考图像PL1的视差图(参考视差图)，示出了其中由阴影表示像素的视差的视差图和其中横坐标轴表示像素的水平位置而纵轴表示视差的视差图的平面图。

这还类似地适用于外围图像PL2和PL5的视差图。

当多层视差图生成部42要利用参考视差图来生成外围图像PL#i的视差图时，多层视差图生成部42在参考视差图中将登记在像素的位置处的视差沿根据拾取参考图像的摄像装置单元21₁和拾取外围图像PL#i的外围摄像装置单元21_i之间的位置关系的方向(该方向在下文称为摄像装置位置关系方向)移动所述视差，以生成外围图像PL#i的视差图。

例如，当要生成外围图像PL2的视差图时，确定作为当从拾取外围图像的摄像装置单元21₂观看拾取参考图像的摄像装置单元21₁时的方向的向左的方向作为摄像装置位置关系方向，将登记在参考视差图的每个像素的位置处的视差沿作为摄像装置位置关系方向的向左的方向移动所述视差，以生成外围图像PL2的视差图。

另一方面，例如，当要生成外围图像PL5的视差图时，将作为当从拾取外围图像PL5的摄像装置单元21₅观看拾取参考图像的摄像装置单元21₁的方向的向右方向确定为摄像装置位置关系方向，将登记在参考视差图的每个像素的位置处的视差沿作为摄像装置位置关系方向的向右方向移动所述视差，以生成外围图像PL5的视差图。

当以上述方式利用参考视差图来生成外围图像PL#i的视差图时，与虽然反映在外围图像PL#i中但是未反映在参考图像P1中的区域中的像素对应的区域是未登记视差的未登记区域(由图7中的倾斜线指示的部分)。

因此，多层视差图生成部42将视差插值到利用参考视差图生成的外围图像PL#i的视差图的未登记区域中，以使外围图像PL#i的视差图完整。

图8是示出将视差插值到外围图像PL#i的视差图的未登记区域中的图。

这里，也在图8中，与图7中类似地示出了参考图像PL1和外围图像PL2和PL5以及参考图像PL1和外围图像PL2和PL5的视差图。

多层视差图生成部42沿一个方向和相反方向两个方向跟随摄像装置位置关系方向的直线并且检测在以下处理中首先到达并且作为其视差被登记的像素的视差登记像素，该直线是从在外围图像PL#i的视差图中的未登记区域中的像素沿摄像装置位置关系方向延伸的直线。

此外，多层视差图生成部42从沿摄像装置位置关系方向直线的一个方向的视差登记像素的视差和沿相反方向的视差登记像素的视差之间选择较小的视差(与较大距离对应的视差)作为要用于未登记区域中的像素的插值的插值视差。

然后，多层视差图生成部42利用插值视差对未登记区域中的像素的视差进行插值(将插值视差登记为未登记区域中的像素的视差)，以使外围图像PL#i的视差图完整。

在图8中，在外围图像PL2的视差图中，选择登记在与未登记区域(图7)的右侧的边界相邻的像素(视差登记像素)处的视差作为插值视差，并且将未登记区域中的像素的视差插值为插值视差(插值视差作为未登记区域中的像素的视差传播)。

此外，在图8中，在外围图像PL5的视差图中，选择登记在与未登记区域(图7)的左侧的边界相邻的像素(视差登记像素)处的视差作为插值视差，并且将未登记区域中的像素的视差插值为插值视差。

图9是示出生成多层视差图的示例的图。

这里，也在图9中，与图7和图8类似地示出参考图像PL1和外围图像PL2和PL5以及参考图像PL1和外围图像PL2和PL5的视差图。

多层视差图生成部42使用参考图像PL1的参考视差图和外围图像PL2至PL7的视差图(外围图像PL2至PL7的视差图中的一个或更多个)来生成多层视差图。

具体地，多层视差图生成部42依次选择外围图像PL#i的像素作为注意像素，并且检测参考图像的与该注意像素对应的对应像素。

例如，检测从外围图像PL#i的注意像素的位置沿摄像装置位置关系方向(这里，沿从摄像装置单元21₁观看摄像装置单元22_i的方向)移动登记在外围图像PL#i的视差图的注意像素处的视差的位置处的参考图像PL1的像素作为参考图像PL1的与外围图像PL#i的注意像素对应的对应像素。

然后，将外围图像PL#i的注意像素的视差登记到参考视差图中的参考图像PL1的对应像素中。

在生成多层视差图时，虽然在参考视差图中参考图像PL1的对应像素处已登记了视差，但是在外围图像PL#i的注意像素的视差与已登记在对应像素处的视差不同的情况下，视差是以下述形式登记的：将其加到已登记的视差中。

如上所述，登记在外围图像PL#i的视差图中的视差被以被加的形式原样反映在参考视差图中，并且反映之后的参考视差图是多层视差图。

因此，多层视差图是以下视差图，其中，除了可以从参考摄像装置单元21₁的视点(下文有时称为参考视点)观看的区域中的视差之外，还登记有至少在隐藏在前景之后的不能被观看到的区域(出现遮挡的区域)的一部分处的视差。

在多层视差图中，例如，在前景区域中的像素处，事实上登记有多层视差(多个视差)，像与到前景的距离对应的视差以及与到从参考视点不能观看到隐藏在前景后面的背景的距离对应的视差。

图10是示出用于由图5的视差信息生成部31生成参考视差图和多层视差图的处理的示例的流程图。

在用于生成参考视差图的参考视差图生成处理中，在步骤S11处，参考视差图生成部41从图像拾取装置11的外围图像PL2至PL7中选择尚未被选择为注意图像的图像中的一个图像作为注意图像。此后，处理进行到步骤S12。

在步骤S12处，参考视差图生成部41检测来自图像拾取装置11的注意图像和参考图像PL1的每个像素之间的视差矢量v(图6)。此后，处理进行到步骤S13。

在步骤S13处，参考视差图生成部41判定是否已将所有外围图像PL2至PL7选择为注意图像。

如果在步骤S13处判定尚未将所有外围图像PL2至PL7选择为注意图像，则处理返回到步骤S11，然后重复类似的处理。

另一方面，如果在步骤S13处判定已将所有外围图像PL2至PL7都选择为注意图像，则处理进行到步骤S14。

在步骤S14处，参考视差图生成部41如上文参照图6所描述的关于参考图像的每个像素对外围图像PL2至PL7的视差矢量v2,1至v7,1的大小进行多数投票，并且确定在多数投票中胜出的视差矢量v#i,1的大小作为视差。

然后，参考视差图生成部41生成针对参考图像的每个像素登记视差的参考视差图，并且将参考视差图提供给多层视差图生成部42，从而结束参考视差图生成处理。

在用于生成多层视差图的多层视差图生成处理中，在步骤S21处，多层视差图生成部42如上文参照图7所述使用来自参考视差图生成部41的参考视差图来生成外围图像PL2至PL7的视差图。此后，处理进行到步骤S22。

在步骤S22处，多层视差图生成部42如上文参照图8所述将视差插值到外围图像PL#i的视差图的未登记区域中以使外围图像PL#i的视差图完整。此后，处理进行到步骤S23。

在步骤S23中，多层视差图生成部42如上文参照图9所述将外围图像PL2至PL7的视差图反映到参考视差图上，以生成多层视差图，从而结束多层视差图生成处理。

<饱和像素的恢复>

图11是示意性地示出通过使用实际光学镜头对预定图像拾取对象进行图像拾取而获得的实际图像的示例的图。

图11的A示出当将焦点设置为全焦点时的实际图像的示例。

在图11的A的实际图像中，位于后侧的灯泡相对清晰地反映而没有模糊。

图11的B示出当将焦点设置为相对接近的位置例如设置为1m的距离(距离光学镜头的主点)时的实际图像的示例。

在图11的B的实际图像中，虽然在1m的距离处的图像拾取对象(图11中的罐)被清晰地反映而没有模糊，但是在不同距离处的其他图像拾取对象被模糊地反映。此外，同时，在图11的B的实际图像中，位于后侧的灯泡由于亮度高而模糊，因此被相对清晰地反映。

图12是示出由图3的图像处理装置12获得的仿真图像的示例的图。

图12的A示出当图像处理装置12不进行饱和像素恢复处理时获得的仿真图像的示例。

在图12的A的仿真图像中，类似于在图11的B的情况下，将焦点设置在近侧的位置。因此，位于后侧的灯泡模糊。

然而，在图12的A的仿真图像中，虽然位于后侧的灯泡模糊，但是与图11的B的情况不同，灯泡不是很清晰。

图12的B示出当图像处理装置12进行饱和像素恢复处理时获得的仿真图像的示例。

在图12的B的仿真图像中，类似于在图11的B的情况下，将焦点设置在近侧的位置。因此，位于后侧的灯泡模糊。

此外，在图12的B的仿真图像中，类似于在图11的B的情况下，位于后侧的灯泡清晰地模糊。

因此，根据饱和像素恢复处理，可以通过稍后进行的仿真处理来精确地再现实际的光学镜头的模糊度。

具体地，根据饱和像素恢复处理，可以再现与使用实际光学镜头拾取的实际图像的清晰模糊类似的清晰模糊。

图13是示出当未进行饱和像素恢复处理时不再现清晰模糊的原理的图。

图13的A示出图像拾取对象的光强度的示例。

在图13的A中，横坐标轴指示沿未示出的图像传感器的水平方向(水平坐标)的从其配置摄像装置单元21_i的位置，纵坐标轴指示来自图像拾取对象的照射在图像传感器上的光的光强度。

在图13的A中，非常高光强度S₀的光照射摄像装置单元21_i(的图像传感器)。

图13的B示出当接收到光强度S₀的光时从摄像装置单元21_i输出的拾取图像的亮度的示例。

在图13的B中，横坐标轴表示像素在从接收光强度S₀的光的摄像装置单元21_i输出的拾取图像的水平方向上的位置，而纵坐标轴表示拾取图像的像素的亮度。

与光强度S₀的光对应的亮度超过作为可以从摄像装置单元21_i输出为像素值的最大值的图像拾取极限亮度THL，因此，在拾取图像中，从其发射光强度S₀的光的图像拾取对象的亮度被削减(箝位)到图像拾取极限亮度THL。

这里，将与图像拾取极限亮度THL对应的光强度表示为S₁(＜S₀)。

图13的C示出通过镜头仿真处理生成的仿真图像的示例，其中，使用以下拾取图像，该拾取图像的与光强度S₀的光对应的亮度被削减到与光强度S₁对应的图像拾取极限亮度THL。

在图13的C中，横坐标轴指示像素沿仿真图像的水平方向的位置，而纵坐标轴指示仿真图像的像素的亮度。

在生成仿真图像时，当反映在具有等于与光强度S₁对应的图像拾取极限亮度THL的像素值的像素上的图像拾取对象模糊时，光强度S₁在其上反映图像拾取对象的像素周围扩散，并且图像拾取对象的亮度从图像拾取极限亮度THL进一步下降。

如上所述，发射比与图像拾取极限亮度THL对应的光强度S₁高的光强度S₀的光的图像拾取对象(例如灯泡等)在拾取图像中被反映为发射与图像拾取极限亮度THL对应的光强度S₁的光的图像拾取对象。

然后，如果在生成其中使用以下拾取图像的仿真图像时图像拾取对象模糊，则低于原始光强度S₀的光强度S₁被扩散并且在图像拾取对象上没有出现清晰化：在该拾取图像中，反映了发射与图像拾取极限亮度THL对应的光强度S₁的光的图像拾取对象。

图14是示出通过进行饱和像素恢复处理来再现清晰模糊的原理的图。

图14的A示出了当由摄像装置单元21_i接收到光强度S₀的光时输出的拾取图像的亮度的示例。

图14的A的拾取图像的亮度与图13的B的拾取图像的亮度类似，并且将发射光强度S₀的光的图像拾取对象的亮度削减为与低于光强度S₀的光强度S₁对应的图像拾取极限亮度THL。

图14的B示出在饱和像素恢复处理之后的拾取图像的亮度的示例。

在饱和像素恢复处理中，作为拾取图像中的具有被削减到图像拾取极限亮度THL的像素值的图像拾取对象的像素值，恢复通过将与满足表达式S₁+S₂≈S₀的光强度S₂对应的亮度加到图像拾取极限亮度THL而获得的亮度。

因此，在饱和像素恢复处理之后的拾取图像中，其像素值被削减到图像拾取极限亮度THL的像素具有与原始光强度S₀≈S₁+S₂基本对应的亮度作为像素值。

图14的C示出在饱和像素恢复处理之后使用拾取图像生成的仿真图像的示例。

在图14的C中，横坐标轴表示像素沿仿真图像的水平方向的位置，而纵坐标轴表示仿真图像的像素的亮度。

在生成仿真图像时当反映在使与光强度S₁+S₂对应的亮度作为像素值的像素上的图像拾取对象模糊时，尽管光强度S₁+S₂在其上反映图像拾取对象的像素周围扩散，但是由于光强度S₁+S₂非常高，因此即使光强度S₁+S₂扩散，图像拾取对象的亮度也高于当未进行饱和像素恢复处理时的亮度。

如上所述，根据饱和像素恢复处理，将发出高光强度S₀的光并且其像素值被削减到图像拾取极限亮度THL的图像拾取对象(例如灯泡等)的亮度恢复到与(基本上)原始高光强度S₀对应的亮度。

然后，当在生成其中使用以下拾取图像的仿真图像(镜头仿真处理)时图像拾取对象模糊时，清晰模糊出现在图像拾取对象上，在该拾取图像中，反映了如上所述与这样的高光强度S₀对应的亮度的图像拾取对象。

因此，可以再现与使用实际光学镜头拾取的实际图像中的清晰模糊类似的清晰模糊。

这里，饱和像素恢复部33进行饱和像素恢复处理，通过饱和像素恢复处理，使用如上参照图3所述从摄像装置单元21_i提供的低亮度拾取图像PH#i来从摄像装置单元21_i提供的标准亮度拾取图像PL#i的像素中恢复其像素值饱和的饱和像素的像素值。

标准亮度拾取图像PL#i的像素的像素值饱和表示将标准亮度拾取图像PL#i的像素的像素值削减到图像拾取极限亮度THL或将标准亮度拾取图像PL#i的像素的像素值近似为如上文参照图13和图14所述的图像拾取极限亮度THL。

此外，在饱和像素恢复处理中，需要两者之中都反映同一图像拾取对象的标准亮度拾取图像PL#i和低亮度拾取图像PH#i。作为用于获取两者之中都反映同一图像拾取对象的标准亮度拾取图像PL#i和低亮度拾取图像PH#i的方法，可以采用任意方法。

在下文中，作为用于获取两者之中都反映同一图像拾取对象的标准亮度拾取图像PL#i和低亮度拾取图像PH#i的方法，描述了第一获取方法、第二获取方法和第三获取方法。

应当注意，作为饱和像素恢复处理的目标的拾取图像是RAW数据的图像，或者优选地是伽马校正之前的去马赛克图像，以保持亮度的线性。

图15是示出用于获取标准亮度拾取图像PL#i和低亮度拾取图像PH#i的第一获取方法的图。

在第一获取方法中，在短时间内进行多次例如两次图像拾取同时曝光时间段(快门速度)对于构成图像拾取装置11的所有摄像装置单元21₁至21₇而改变。

具体地，在第一获取方法中，由构成图像拾取装置11的所有摄像装置单元21₁至21₇依次进行在标准曝光时间段(例如通过自动曝光功能等设置的在图像拾取时被估计为适合的曝光时间段)中的图像拾取和在比标准曝光时间段段的曝光时间段中的图像拾取。

在标准曝光时间段中拾取的每个拾取图像是标准亮度拾取图像PL#i，而在比标准曝光时间段短的曝光时间段中拾取的每个拾取图像是低亮度拾取图像PH#i。

因此，通过第一获取方法获得的标准亮度拾取图像PL#i和低亮度拾取图像PH#i是以相互不同的定时拾取的图像。

现在，如果将标准曝光时间段表示为X(秒)，则作为低亮度拾取图像PH#i的比标准曝光时间段X短的曝光时间段，可以采用例如X/16(秒)等。

图15分别示出由摄像装置单元21₁、21₂和21₅拾取的标准亮度拾取图像PL1、PL2和PL5以及低亮度拾取图像PH1、PH2和PH5的示例。

由于低亮度拾取图像PH#i的曝光时间段比标准亮度拾取图像PL#i的标准曝光时间段短，因此在低亮度拾取图像PH#i中的图像拾取对象被反映为比标准亮度拾取图像PL#i中的图像拾取对象更暗。

图16是示出图3的饱和像素恢复部33的第一配置示例的框图。

具体地，图16示出在通过第一采集方法获取标准亮度拾取图像PL#i和低亮度拾取图像PH#i的情况下的饱和像素恢复部33的配置示例。

参考图16，饱和像素恢复部33包括饱和判定部51和恢复部52。

标准亮度拾取图像PL#i从图像拾取装置11(图1)提供至饱和度判定部51。

饱和度判定部51进行用于判定来自图像拾取装置11的标准亮度拾取图像PL#i的每个像素是否为饱和像素的饱和判定，并且将饱和判定的判定结果提供给恢复部52。

除了来自饱和判定部51的饱和判定的判定结果之外，标准亮度拾取图像PL#i和低亮度拾取图像PH#i还从图像拾取装置11提供给恢复部52。

响应于来自饱和判定部51的饱和判定的判定结果(饱和判定结果)，恢复部52从来自图像拾取装置11的标准亮度拾取图像PL#i的像素中指定饱和像素。

此外，恢复部52根据需要使用来自图像拾取装置11的低亮度拾取图像PH#i来恢复每个饱和像素的像素值，并且将动态范围比标准亮度拾取图像PL#i的动态范围高的HDR拾取图像HD#i提供给入射光线再现部36(图3)，HDR拾取图像HD#i是通过恢复获得的。

图17是示出由图16的饱和像素恢复部33进行的饱和像素恢复处理的示例的流程图。

在步骤S31处，饱和判定部51从七个摄像装置单元21₁至21₇的视点(位置)中选择尚未被选择为注意视点的一个视点作为注意视点。此后，处理进行到步骤S32。

在步骤S32处，饱和判定部51从图像拾取装置11提供的七个视点的标准亮度拾取图像PL1至PL7中的注意视点的标准亮度拾取图像PL#i的像素中选择尚未被选择注意像素的一个像素作为注意像素。此后，处理进行到步骤S33。

在步骤S33处，饱和判定部51对作为注意视点的标准亮度拾取图像PL#i的注意像素的像素值的标准像素值是否等于或高于预定阈值TH1进行饱和判定。

如果在步骤S33处判定注意视点的标准亮度拾取图像PL#i的注意像素的标准像素值不等于或高于阈值TH1，也就是说，如果注意视点的标准亮度拾取图像PL#i的注意像素的标准像素值不处于饱和状态，则饱和判定部51将标准像素值不处于饱和状态的饱和判定结果提供给恢复部52。然后，处理进行到步骤S34。

在步骤S34处，恢复部52响应于来自饱和判定部51的标准像素值不处于饱和状态的饱和判定结果而选择来自图像拾取装置11的注意视点的标准亮度拾取图像PL#i的注意像素的标准像素值作为在注意视点的HDR拾取图像HD#i中的注意像素的位置处的像素的像素值(在注意像素的位置处的像素在下文中也称为注意像素)。此后，处理进行到步骤S37。

另一方面，如果在步骤S33处判定注意视点的标准亮度拾取图像PL#i的注意像素的标准像素值等于或高于阈值TH1，也就是说，如果注意视点的标准亮度拾取图像PL#i的注意像素的标准像素值处于饱和状态或者这样的饱和的可能性为高，则饱和判定部51将标准像素值处于饱和状态的饱和判定结果提供给恢复部52。然后，处理进行到步骤S35。

在步骤S35处，恢复部52响应于来自饱和判定部51的标准像素值处于饱和状态的饱和判定结果，来判定作为来自图像拾取装置11的注意视点的低亮度拾取图像PH#i的注意像素的位置处的像素(在注意像素的位置处的像素也称为注意像素)的像素值的低亮度像素值是否等于或高于比阈值TH1低的预定阈值TH2。

如果在步骤S35处判定注意视点的低亮度拾取图像PH#i的注意像素的低亮度像素值不等于或高于阈值TH2，也就是说，如果注意视点的低亮度拾取图像PH#i的注意像素的低亮度像素值为低并且低亮度像素值可能是噪声的可能性为高，则处理进行到步骤S34。

在步骤S34处，恢复部52将注意视点的标准亮度拾取图像PL#i的注意像素的标准像素值选择为如上所述的注意视点的HDR拾取图像HD#i的注意像素的像素值。然后，处理进行到步骤S37。

另一方面，如果在步骤S35中判定注意视点的低亮度拾取图像PH#i的注意像素的低亮度像素值等于或高于阈值TH2，也就是说，如果注意视点的低亮度拾取图像PH#i的注意像素的低亮度像素值是可被认为不是噪声的一定水平的值，则处理进行到步骤S36。

在步骤S36处，恢复部52将注意视点的低亮度拾取图像PH#i的注意像素的低亮度像素值与预定数值相乘，并且将得到的像素值确定为从饱和像素恢复的恢复像素值。此外，恢复部52选择恢复像素值作为注意视点的HDR拾取图像HD#i的注意像素的像素值。然后，处理从步骤S36进行到步骤S37。

这里，作为当要确定恢复像素值时使用的用于乘法的预定数值(下文称为恢复增益)，采用标准亮度拾取图像PL#i的曝光时间段(标准曝光时间段)和低亮度拾取图像PH#i的曝光时间段之间的比率的值。

因此，例如，如上文参考图15所述，在标准曝光时间段为X(秒)，而低亮度拾取图像PH#i的曝光时间段为X/16(秒)的情况下，恢复增益为16＝X/(X/16)倍。

在步骤S37处，饱和判定部51判定注意视点的标准亮度拾取图像PL#i的所有像素是否都已被选择为注意像素。

如果在步骤S37处判定注意视点的标准亮度拾取图像PL#i的所有像素不是均被选择为注意像素，则处理返回到步骤S32，然后重复类似的处理。

另一方面，如果在步骤S37处判定注意视点的标准亮度拾取图像PL#i的所有像素都已被选择为注意像素，则处理进行到步骤S38。

在步骤S38处，饱和判定部51判定七个视点中的所有视点是否已都被选择为注意视点。

如果在步骤S38处判定七个视点中的所有视点不是均被选择为注意视点，则处理返回到步骤S31，此后，重复类似的处理。

另一方面，如果在步骤S38处判定七个视点中的所有视点已被选择为注意视点，则恢复部52将通过上述处理获得的七个视点的HDR拾取图像HD1至HD7提供给入射光线再现部36(图3)，从而结束饱和像素恢复处理。

应当注意，作为低亮度拾取图像PH#i，可以采用其曝光时间段比标准曝光时间段短的第一低亮度拾取图像和其曝光时间段比第一低亮度拾取图像的曝光时间段短的第二低亮度拾取图像。

在第一获取方法中，图像拾取装置11可以通过三次改变曝光时间段依次进行图像拾取来获取标准亮度拾取图像PL#i、第一低亮度拾取图像和第二低亮度拾取图像。

在标准亮度拾取图像的像素值处于饱和状态并且第一低亮度拾取图像的像素值处于饱和状态的情况下，可以使用第二低亮度拾取图像来恢复其像素值处于饱和状态的饱和像素。

图18是示出饱和像素恢复部33的第二结构示例的框图。

具体地，图18示出饱和像素恢复部33的配置示例，其中，通过第二获取方法获取两者之中反映了同一图像拾取对象的标准亮度拾取图像PL#i和低亮度拾取图像PH#i。

应当注意，在图18中，用类似的附图标记来表示与图16的元件类似的元件，并且在以下描述中适当地省略对它们的描述。

在第二获取方法中，构成图像拾取装置11的所有摄像装置单元21₁至21₇进行高速图像拾取，通过该高速图像拾取，在具有比标准曝光时间段短的固定曝光时间段的短时间段中进行多次图像拾取。

此外，在第二获取方法中，对通过摄像装置单元21_i的高速图像拾取获得的多个高速拾取图像中的不同数量的高速拾取图像进行相加以生成(获取)标准亮度图像PL#i和低亮度拾取图像PH#i。

例如，在高速图像拾取的曝光时间段为1/4000秒的情况下，如果将标准亮度拾取图像PL#i的曝光时间段(标准曝光时间段)设置为1/60秒，而将低亮度拾取图像PH#i的曝光时间段设定为1/1000秒，则可以以下述方式生成标准亮度拾取图像PL#i和低亮度拾取图像PH#i。

具体地，可以通过对66或67个高速拾取图像进行相加来生成标准亮度拾取图像PL#i。同时，可以通过通过对四个高速拾取图像进行相加来生成低亮度拾取图像PH#i。

在图18中，假设从图像拾取装置11提供高速拾取图像，饱和像素恢复部33通过第二获取方法从高速拾取图像中获取(生成)标准亮度拾取图像PL#i和低亮度通过拾取图像PH#i。然后，饱和像素恢复部33使用标准亮度拾取图像PL#i和低亮度拾取图像PH#i来进行饱和像素恢复处理。

具体地，参照图18，饱和像素恢复部33包括饱和判定部51、恢复部52、标准亮度拾取图像生成部61和低亮度拾取图像生成部62。

因此，图18的饱和像素恢复部33与图16的情况下的饱和像素恢复部33的共同之处在于其包括饱和判定部51和恢复部52。

然而，图18的饱和像素恢复部33与图16的情况下的饱和像素恢复部33的不同之处在于其包括标准亮度拾取图像生成部61和低亮度拾取图像生成部62。

将通过高速图像拾取获得的七个视点的高速拾取图像从图像拾取装置11提供给标准亮度拾取图像生成部61和低亮度拾取图像生成部62。

标准亮度拾取图像生成部61针对七个视点中的每个视点对来自图像拾取装置11的预定数量的高速拾取图像进行相加，以生成标准亮度拾取图像PL#i并且将标准亮度拾取图像PL#i提供给饱和判定部51和恢复部52。

低亮度拾取图像生成部62针对七个视点中的每个视点对来自图像拾取装置11的数量小于被标准亮度拾取图像生成部61所相加的高速拾取图像的数量的高速拾取图像进行相加以生成低亮度拾取图像PH#i，并且将低亮度拾取图像PH#i提供给饱和度判定部51和恢复部52。

图19是示出由图18的饱和像素恢复部33进行的饱和像素恢复处理的示例的流程图。

在步骤S41处，标准亮度拾取图像生成部61针对七个视点中的每个视点对来自图像拾取装置11的高速拾取图像进行相加，以生成标准亮度拾取图像PL#i，并且将标准亮度拾取图像PL#i提供给饱和判定部51和恢复部52。

此外，在步骤S41处，低亮度拾取图像生成部62针对七个视点中的每个视点对来自图像拾取装置11的高速拾取图像进行相加，以生成低亮度拾取图像PH#i并且将低亮度拾取图像PH#i提供给饱和判定部51和恢复部52。

然后，处理从步骤S41进行到步骤S42，此后，在步骤S42至S49处分别进行与图17中的在步骤S31至S38处的处理类似的处理。

图20是示出图像拾取装置11的其他配置示例的平面图。

具体地，图20示出图像拾取装置11的配置示例，其中，通过第三获取方法来获取两者之中都反映同一图像拾取对象的标准亮度拾取图像PL#i和低亮度拾取图像PH#i。

在图20中，图像拾取装置11由19个摄像装置单元构成。

具体地，在图20中，将一个摄像装置单元设置为参考摄像装置单元，并且以参考摄像装置单元为中心围绕沿水平方向设置了五个摄像装置单元。

此外，在以参考摄像装置单元为中心的五个摄像装置单元的上方和下方，分别设置了沿水平方向并置的四个摄像装置单元。

此外，在以参考摄像装置单元为中心的五个摄像装置单元的上侧的四个摄像装置单元上方，设置了沿水平方向并置的三个摄像装置单元。

此外，在以参考摄像装置单元为中心的五个摄像装置单元的下侧的四个摄像装置单元下方，设置了沿水平方向并置的三个摄像装置单元。

此外，在图20中，构成图像拾取装置11的19个摄像装置单元中的与参考摄像装置单元的左上侧、左下侧、右上侧和右下侧相邻的四个摄像装置单元是具有ND(中性密度)滤光器的摄像装置单元，在四个摄像装置单元中的每个摄像装置单元上安装有ND滤光器。

这里，在以下描述中，其上未安装ND滤光器的每个摄像装置单元称为普通摄像装置单元。

参照图20，附图标记U1表示普通摄像装置单元，而U2表示具有ND滤光器的摄像装置单元。

而根据第一获取方法和第二获取方法，通过多次进行图像拾取以获取反映同一图像拾取对象但是曝光时间段相互不同的标准亮度拾取图像PL#i和低亮度拾取图像PH#i，根据第三获取方法，通过单次图像拾取(一次图像拾取)获取标准亮度拾取图像PL#i和低亮度拾取图像PH#i。

具体地，在第三获取方法中，图像拾取装置11的15＝19-4个普通摄像装置单元U1和具有ND滤光器的四个摄像装置单元U2在例如标准曝光时间段内进行图像拾取。

通过在标准曝光时间段内进行图像拾取的普通摄像装置单元U1，可以获取针对标准曝光时间段的标准亮度拾取图像。

另一方面，现在假设由具有ND滤光器的四个摄像装置单元U2通过ND滤光器观察到的光的亮度是例如当没有ND滤光片插入时的1/16、1/256、1/4096和1/65536。换言之，具有ND滤光器的四个摄像装置单元U2的灵敏度是普通摄像装置单元U1的灵敏度的1/16、1/256、1/4096和1/65536。

在这种情况下，当由具有ND滤光器的四个摄像装置单元U2在标准曝光时间内进行图像拾取时，可以分别获取相当于标准曝光时间段的1/16、1/256、1/4096和1/65536的曝光时间段的第一低亮度拾取图像、第二低亮度拾取图像、第三低亮度拾取图像和第四低亮度拾取图像。

因此，通过第三获取方法获得的标准亮度拾取图像和第一至第四低亮度拾取图像是以相同定时但是以相互不同灵敏度拾取的不同视点的图像。

图21是示出饱和像素恢复部33的第三配置示例的框图。

具体地，图21示出饱和像素恢复部33的配置示例，其中，通过第三获取方法获取两者都反映同一图像拾取对象的标准亮度拾取图像和低亮度拾取图像。

参照图21，饱和像素恢复部33包括视差信息获取部71、标准亮度拾取图像生成部72、低亮度拾取图像生成部73、饱和判定部74和恢复部75。

视差信息获取部71获取由构成图像拾取装置11的19个视点的(19)个摄像装置单元拾取的各个拾取图像(标准亮度拾取图像和第一至第四低亮度拾取图像)的视差图(图20)，并且将视差图提供给标准亮度拾取图像生成部72和低亮度拾取图像生成部73。

视差信息获取部71可以使用由19个视点的摄像装置单元拾取的拾取图像来以与视差信息生成部31(图3)的情况下的方式类似的方式生成由19个视点的摄像装置单元拾取的各个拾取图像的视差图。或者，视差信息获取部71可以从视差信息生成部31获取由19个视点的摄像装置单元拾取的拾取图像的视差图。

视差图从视差信息获取部71提供给标准亮度拾取图像生成部72，并且也将由15个视点的普通摄像装置单元U1拾取的标准亮度拾取图像从图像拾取装置11提供给标准亮度拾取图像生成部72。

标准亮度拾取图像生成部72使用来自图像拾取装置11的15个普通摄像装置单元U1的15个视点(下文中均也称为普通摄像装置视点)的标准亮度拾取图像和来自视差信息获取部71的视差图来生成具有ND滤光器的四个摄像装置单元U2的四个视点(下文中均也称为ND摄像装置视点)的标准亮度拾取图像，并且将生成的标准亮度拾取图像以及来自图像拾取装置11的15个普通摄像装置视点的标准亮度拾取图像提供给饱和判定部74和恢复部75。

具体地，标准亮度拾取图像生成部72依次选择ND摄像装置视点的(第一至第四)低亮度拾取图像的像素作为注意像素，并且参照来自视差信息获取部71的视差图以检测与注意像素对应的普通摄像装置视点的标准亮度拾取图像的对应像素。然后，标准亮度拾取图像生成部72采用普通摄像装置视点的标准亮度拾取图像的对应像素的像素值作为ND摄像装置视点的标准亮度拾取图像的注意像素的像素值，以生成ND摄像装置视点的标准亮度拾取图像。

应当注意，可以从15个普通摄像装置视点的标准亮度拾取图像中的每个标准亮度拾取图像中检测与ND摄像装置视点的低亮度拾取图像的注意像素对应的的对应像素。

作为ND摄像装置视点的普通亮度拾取图像的注意像素的像素值，可以采用例如来自分别从15个普通摄像装置视点的标准亮度拾取图像检测到的15个对应像素中的参考摄像装置单元(在19个摄像装置单元的中心的摄像装置单元)的标准亮度拾取图像的对应像素的像素值。

此外，作为ND摄像装置视点的普通亮度拾取图像的注意像素的像素值，可以采用以下集合的对应像素的像素值的平均值，在所述集合中，在例如从15个普通摄像装置视点的每个标准亮度拾取图像中检测到的15个对应像素中的、具有相互近似的像素值的对应像素的集合中，对应像素数最大。

不仅将视差图从视差信息获取部71提供给低亮度拾取图像生成部73，而且将由4个ND摄像装置视点的具有ND滤光器的摄像装置单元U2拾取的第一至第四低亮度拾取图像从图像拾取装置11提供给低亮度拾取图像生成部73。

低亮度拾取图像生成部73使用来自图像拾取装置11的四个ND摄像装置视点的第一至第四低亮度拾取图像以及来自视差信息获取部71的视差图来生成15个普通摄像装置视点的第一至第四低亮度拾取图像，并且将所生成的第一至第四低亮度拾取图像与来自图像拾取装置11的四个ND摄像装置视点的第一至第四低亮度拾取图像一起提供给恢复部75。

具体地，低亮度拾取图像生成部73依次选择每个普通摄像装置视点的标准亮度拾取图像的像素作为注意像素，并且参照来自视差信息获取部71的视差图来检测ND摄像装置视点的第一至第四低亮度拾取图像中的每个低亮度拾取图像的与注意像素对应的对应像素。然后，低亮度拾取图像生成部73采用ND摄像装置视点的第一至第四低亮度拾取图像的对应像素的像素值作为普通摄像装置视点的第一至第四低亮度拾取图像的注意像素的像素值以生成普通摄像装置视点的第一至第四低亮度拾取图像。

如上所述，标准亮度拾取图像生成部72生成四个ND摄像装置视点的标准亮度拾取图像，而低亮度拾取图像生成部73生成15个普通摄像装置视点的第一至第四低亮度拾取图像。因此，可以从构成图像拾取装置11(图20)的19个摄像装置单元的所有19个视点中获得标准亮度拾取图像以及第一至第四低亮度拾取图像。

应该注意，在本实施方式中，预先生成了四个ND摄像装置视点的标准亮度拾取图像和15个普通摄像装置视点的第一至第四低亮度拾取图像以便于描述，可以在必要时针对需要这样的像素值的一个或多个像素生成四个ND摄像装置视点的标准亮度拾取图像的像素值和15个普通摄像装置视点的第一至第四低亮度拾取图像的像素值。

饱和判定部74进行用于判定来自标准亮度拾取图像生成部72的19个视点的标准亮度拾取图像的每个像素是否为饱和像素的饱和判定并且将饱和判定的判定结果(饱和判定结果)提供给恢复部75。

如上所述，将饱和判定的判定结果从饱和判定部74提供给恢复部75。此外，如上所述，将19个视点的标准亮度拾取图像从标准亮度拾取图像生成部72提供给恢复部75并且将19个视点的第一至第四低亮度拾取图像从低亮度拾取图像生成部73提供给恢复部75。

此外，将针对第一至第四低亮度拾取图像的恢复增益从图20的图像拾取装置11提供给恢复部75。

这里，针对第一低亮度拾取图像的恢复增益是上文参考图17所述的恢复增益，其用于使用第一低亮度拾取图像对饱和像素进行恢复。

因此，针对第一低亮度拾取图像的恢复增益是标准亮度拾取图像的曝光时间段(标准曝光时间段)和第一低亮度拾取图像的曝光时间段之间的比率的值。

例如，如果第一低亮度拾取图像的曝光时间段如上文参照图20所述为(等价于)标准曝光时间段的1/16倍，则针对第一低亮度拾取图像的恢复增益为16＝1/(1/16)倍。

此外，可以与针对第一低亮度拾取图像的恢复增益类似地确定对于第二至第四低亮度拾取图像的恢复增益。

恢复部75响应于来自饱和判定部74的饱和判定结果而指定来自标准亮度拾取图像生成部72的19个视点的标准亮度拾取图像中的每个标准亮度拾取图像的饱和像素。

此外，恢复部75根据需要使用来自低亮度拾取图像生成部73的对于第一至第四低亮度拾取图像的恢复增益和来自图像拾取装置11(图20)的第一至第四低亮度拾取图像来恢复饱和像素的像素值，并且将动态范围比标准亮度拾取图像的动态范围高的HDR拾取图像提供给入射光线再现部36(图3)，HDR拾取图像是通过恢复而获得的。

图22是示出校正视差图的视差的示例的图。

在图21的饱和像素恢复部33中，标准亮度拾取图像生成部72参照由视差信息获取部71获取的视差图，以检测普通摄像装置视点的标准亮度拾取图像的与ND摄像装置视点的低亮度拾取图像的注意像素对应的对应像素。此外，低亮度拾取图像生成部73参照由视差信息获取部71获取的视差图，以检测ND摄像装置视点的(第一至第四)低亮度拾取图像的与普通摄像装置视点的标准亮度拾取图像的注意像素对应的对应像素。

如上所述，根据需要校正当如上所述要由标准亮度拾取图像生成部72和低亮度拾取图像生成部73检测一个视点的图像的与另一视点的注意像素对应的对应像素时参照的视差图中所登记的视差。

这里，为了简化描述，假设图像拾取装置11由如图22所示沿水平方向上并置的三个摄像装置单元Ua、Ub和Uc构成。

此外，假设例如三个摄像装置单元Ua、Ub和Uc中最左侧的摄像装置单元Ua被确定为拾取针对其要生成多层视差图的目标的参考图像的参考摄像装置单元。

此外，假设参考摄像装置单元Ua和最右侧的摄像装置单元Uc是普通摄像装置单元，而中央摄像装置单元Ub是具有ND滤光器的摄像装置单元。参考摄像装置单元Ua和普通摄像装置单元Uc拾取标准亮度拾取图像，而具有ND滤光器的摄像装置单元Ub拾取低亮度拾取图像。

这里，由参考摄像装置单元Ua拾取的标准亮度拾取图像称为参考图像Ua或标准亮度拾取图像Ua。同时，由具有ND滤光器的摄像装置单元Ub拾取的低亮度拾取图像也称为低亮度拾取图像Ub。此外，由普通摄像装置单元Uc拾取的标准亮度拾取图像也称为标准亮度拾取图像Uc。

现在，假设视差信息获取部71在将参考摄像装置单元Ua和普通摄像装置单元Uc之间的基线长度(光轴之间的距离)用作参考基线长度的情况下来生成由参考摄像装置单元Ua拾取的标准亮度拾取图像(参考图像)Ua的视差图(参考视差图)。

可以简单且容易地利用如上文参照图7和8所述的参考视差图来生成除了参考摄像装置单元Ua的视点(参考视点)之外的视点的视差图，即例如由普通摄像装置单元Uc拾取的标准亮度拾取图像Uc的视差图。

具体地，可以通过在参考视差图上将登记在每个像素的位置处的视差沿根据参考摄像装置单元Ua和普通摄像装置单元Uc之间的位置关系的摄像装置位置关系方向移动等于如上文参照图7所述的视差的距离来生成由普通摄像装置单元Uc拾取的标准亮度拾取图像Uc的视差图，然后如上文参照图8所述，在未登记区域中插值插值视差。

利用参考视差图生成的并且登记在标准亮度拾取图像Uc的视差图中的视差是关于被作为参考摄像装置单元Ua和普通摄像装置单元Uc之间的基线长度的参考基线长度间隔开的两个点的视差。

因此，当要检测低亮度拾取图像Ub的与标准亮度拾取图像Uc的注意像素对应的对应像素时，校正登记在标准亮度拾取图像Uc的视差图中的视差，以变成关于被在拾取标准亮度拾取图像Uc的普通摄像装置单元Uc和拾取低亮度拾取图像Ub的具有ND滤光器的摄像装置单元Ub之间的基线长度相互间隔开的两个点的视差。

具体地，现在如果假设作为参考摄像装置单元Ua和普通摄像装置单元Uc之间的基线长度的参考基线长度由ac表示，并且具有ND滤光器的摄像装置单元Ub和普通摄像装置单元Uc之间的基线长度由bc表示，则将登记在标准亮度拾取图像Uc的视差图中的视差校正为与基线长度bc和参考基线长度之间的比率的值bc/ac相乘。

例如，假设参考摄像装置单元Ua和具有ND滤光器的摄像装置单元Ub之间的基线长度ab以及具有ND滤光器的摄像装置单元Ub和普通摄像装置单元Uc之间的基线长度bc两者都为5mm。

在这种情况下，作为参考摄像装置单元Ua和普通摄像装置单元Uc之间的基线长度ac的参考基线长度为10mm。

现在，如果假设利用参考视差图生成并被登记在标准亮度拾取图像Uc的视差图中的注意像素的视差为例如10(像素)，则将为10的视差与基线长度bc＝5mm和参考基线长度ac＝10mm之间的比率的值5/10相乘，并且将为10的视差校正为是5的视差。

然后，检测到低亮度拾取图像Ub的在从注意像素的位置移位为5的视差的位置处的像素作为低亮度拾取图像Ub的与标准亮度拾取图像Uc的注意像素对应的对应像素。

图23是示出由图21的饱和像素恢复部33进行的饱和像素恢复处理的示例的流程图。

在步骤S61处，视差信息获取部71获取由构成图像拾取装置11(图20)的19个视点的摄像装置单元拾取的拾取图像(标准亮度拾取图像和第一至第四低亮度拾取图像)的视差图，并且将视差图提供给标准亮度拾取图像生成部72和低亮度拾取图像生成部73。

此外，在步骤S61处，标准亮度拾取图像生成部分72使用构成图像拾取装置11(图20)的19个视点的摄像装置单元中的15个普通摄像装置视点的标准亮度拾取图像以及来自视差信息获取部71的视差图来生成四个ND摄像装置视点的标准亮度拾取图像，并且将所生成的标准亮度拾取图像与15个普通摄像装置视点的标准亮度拾取图像一起提供给饱和判定部74和恢复部75。

此外，在步骤S61处，低亮度拾取图像生成部73使用来自图像拾取装置11的四个ND摄像装置视点的第一至第四低亮度拾取图像以及来自视差信息获取部71的视差图来生成15个普通摄像装置视点的第一至第四低亮度拾取图像，并且将所生成的第一至第四低亮度拾取图像与四个ND摄像装置视点的第一至第四低亮度拾取图像一起提供给恢复部75。

然后，处理从步骤S61进行到步骤S62，在步骤S62处，饱和判定部74从构成图像拾取装置11(图20)的19个摄像装置单元的19个视点中选择尚未被选择为注意视点的一个视点作为注意视点。此后，处理进行到步骤S63。

在步骤S63处，饱和判定部74从自标准亮度拾取图像生成部72提供的19个视点的标准亮度拾取图像中的注意视点的标准亮度拾取图像的像素中选择尚未被选择为注意像素的一个像素作为注意像素。此后，处理进行到步骤S64。

在步骤S64处，进行用于获取注意视点的HDR拾取图像的注意像素的像素值(在与注意视点的标准亮度拾取图像的注意像素的位置相同的位置处的像素)的处理。然后，处理进行到步骤S65。

在步骤S65处，饱和判定部74判定注意视点的标准亮度拾取图像的所有像素是否都被选择为注意像素。

如果在步骤S65处判定注意视点的标准亮度拾取图像的所有像素不是均被选择为注意像素，则处理返回到步骤S63，此后，重复类似的处理。

另一方面，如果在步骤S65处判定注意视点的标准亮度拾取图像的所有像素都被选择为注意像素，则处理进行到步骤S66。

在步骤S66处，饱和判定部74判定构成图像拾取装置11(图20)的19个摄像装置单元的19个视点中的所有视点是否都被选择为注意视点。

如果在步骤S66处判定19个视点中的所有视点尚未都被选择为注意视点，则处理返回步骤S62，此后，重复类似的处理。

另一方面，如果在步骤S66处判定19个视点中的所有视点都被选择为注意视点，则恢复部52将通过上述处理获得的19个视点的HDR拾取图像提供给入射光线再现部36(图3)，从而结束饱和像素恢复处理。

应当注意，虽然在图23中，针对构成图像拾取装置11的19个摄像装置单元的19个视点中的所有视点进行饱和像素恢复处理，但是可以仅针对19个视点中的15个普通摄像装置视点进行饱和像素恢复处理。

在这种情况下，通过饱和像素恢复处理获得的HDR拾取图像不是19个视点的HDR拾取图像，而是15个普通摄像装置视点的HDR拾取图像，图21的饱和像素恢复部33可以被配置成不设置标准亮度拾取图像生成部72。

图24是示出用于获取在图23的步骤S64处进行的注意视点的HDR拾取图像的注意像素的像素值的处理的示例的流程图。

在步骤S71处，饱和判定部74从标准亮度拾取图像生成部72获取注意视点的标准亮度拾取图像的注意像素的像素值作为注意像素的标准像素值。然后，处理进行到步骤S72。

在步骤S72处，饱和判定部74判定注意视点的标准亮度拾取图像的注意像素的标准像素值是否等于或高于阈值TH1的饱和判定。

如果在步骤S72处判定注意视点的标准亮度拾取图像的注意像素的标准像素值不等于或高于阈值TH1，也就是说，如果注意视点的标准亮度拾取图像的注意像素的标准像素值未处于饱和状态，则饱和判定部74将标准像素值未处于饱和状态的饱和判定结果提供给恢复部75(图21)。然后，处理进行到步骤S73。

在步骤S73处，恢复部75响应于来自饱和判定部74的标准像素值未处于饱和状态的饱和判定结果来选择来自标准亮度拾取图像生成部72的注意视点的标准亮度拾取图像的注意像素的标准像素值作为注意视点的HDR拾取图像的注意像素的像素值(在与注意视点的标准亮度拾取图像的注意像素的位置相同的位置处的像素)。此后，处理返回。

另一方面，如果在步骤S72处判定注意视点的标准亮度拾取图像的注意像素的标准像素值等于或高于阈值TH1，也就是说，如果注意视点的标准亮度拾取图像的注意像素的标准像素值处于饱和状态或者可能以高度可能性处于饱和状态，则饱和判定部74将标准像素值处于饱和状态的饱和度判定结果提供给恢复部75。然后，处理进行到步骤S74。

在步骤S74处，恢复部75响应于来自饱和判定部74的标准像素值处于饱和状态的饱和判定结果而从低亮度拾取图像生成部73获取注意视点的相应的第一至第四低亮度拾取图像的注意像素的像素值(在与注意视点的标准亮度拾取图像的注意像素的位置相同的位置处的像素)作为注意像素的第一至第四低亮度像素值v1至v4。

此外，恢复部75从图像拾取装置11获取对于第一至第四低亮度拾取图像的恢复增益g1至g4。然后，处理从步骤S74进行到步骤S75。

在步骤S75处，恢复部75判定作为注意视点的第一低亮度拾取图像的注意像素的像素值的第一低亮度像素值v1是否满足使用阈值TH1和低于阈值TH1的另一阈值TH2的表达式TH2＜v1＜TH1。

如果在步骤S75处判定第一低亮度像素值v1满足表达式TH2＜v1＜TH1，也就是说，如果第一低亮度像素值v1不是如噪声的值的一样低的值并且此外未处于饱和状态，则处理进行到步骤S76。

在步骤S76处，恢复部75将作为注意视点的第一低亮度拾取图像的注意像素的像素值的第一低亮度像素值v1与对于第一低亮度拾取图像的恢复增益g1相乘，并且将相乘所得的像素值确定为在恢复饱和像素时的恢复像素值。此外，恢复部75选择恢复像素值作为注意视点的HDR拾取图像的注意像素的像素值。然后，处理返回。

另一方面，如果在步骤S75处判定第一低亮度像素值v1不满足表达式TH2＜v1＜TH1，则处理进行到步骤S77。

在步骤S77处，恢复部75判定作为注意视点的第二低亮度拾取图像的注意像素的像素值的第二低亮度像素值v2是否满足表达式TH2＜v2＜TH1。

如果在步骤S77处判定第二低亮度像素值v2满足表达式TH2＜v2＜TH1，也就是说，如果第二低亮度像素值v2不是如噪声的值一样低的值并且此外未处于饱和状态，则处理进行到步骤S78。

在步骤S78处，恢复部75将作为注意视点的第二低亮度拾取图像的注意像素的像素值的第二低亮度像素值v2与对于第二低亮度拾取图像的恢复增益g2相乘并且将所得到的像素值确定为从饱和像素的像素值恢复的恢复像素值。此外，恢复部75选择恢复像素值作为注意视点的HDR拾取图像的注意像素的像素值。此后，返回处理。

另一方面，如果在步骤S77处判定第二低亮度像素值v2不满足表达式TH2＜v2＜TH1，则处理进行到步骤S79。

在步骤S79处，恢复部75判定作为注意视点的第三低亮度拾取图像的注意像素的像素值的第三低亮度像素值v3是否满足表达式TH2＜v3＜TH1。

如果在步骤S79处判定第三低亮度像素值v3满足表达式TH2＜v3＜TH1，也就是说，如果第三低亮度像素值v3不是如噪声的值一样低的值并且未处于饱和状态，则处理进行到步骤S80。

在步骤S80处，恢复部75将作为注意视点的第三低亮度拾取图像的注意像素的像素值的第三低亮度像素值v3与对于第三低亮度拾取图像的恢复增益g3相乘，并且将所得到的像素值确定为从饱和像素的像素值恢复的恢复像素值。此外，恢复部75选择恢复像素值作为注意视点的HDR拾取图像的注意像素的像素值。此后，处理返回。

另一方面，如果在步骤S79处判定第三低亮度像素值v3不满足表达式TH2＜v3＜TH1，则处理进行到步骤S81。

在步骤S81中，恢复部75将作为注意视点的第四低亮度拾取图像的注意像素的像素值的第四低亮度像素值v4与对于第四低亮度拾取图像的恢复增益g4相乘，并且将所得到的像素值确定为从饱和像素的像素值恢复的恢复像素值。此外，恢复部75选择恢复像素值作为注意视点的HDR拾取图像的注意像素的像素值。此后，处理返回。

应当注意，由于饱和像素恢复处理而获得的高动态范围的多个视点的(HDR)拾取图像不仅可以被作为用于由视差信息生成部31生成视差信息以及由镜头仿真部35生成仿真图像的目标，而且可以被作为用于任意图像处理的目标，针对该任意图像处理，需要多个视点的拾取图像。

此外，如果饱和像素恢复处理不仅针对由具有多个摄像装置单元21_i的图像拾取装置11等拾取的多个视点的拾取图像进行，而且针对可以应用光场技术的任意图像进行，则可以再现清晰模糊。

作为用于拾取可以应用光场技术的图像的方法，除了使用具有多个摄像装置单元21_i的图像拾取装置11拾取多个视点的拾取图像的方法之外，还可用例如用于使用例如在Ren.Ng.和另外七个人的“Light Field Photography with a Hand-Held PlenopticCamera(使用手持式光场摄像装置的光场摄影)”Stanford Tech Report(斯坦福技术报告)CTSR 2005-02中公开的MLA(微镜头阵列)来进行图像拾取的方法。

<镜头仿真部35的镜头仿真处理的概要>

图25是示出图3的镜头仿真部35的镜头仿真处理的概要的图。

在镜头仿真处理中，入射光线再现部36(图3)再现从真实空间点例如存在于真实空间中的对象上的当由图像拾取装置11进行图像拾取时已变成图像拾取对象的点发射的光线中的入射到虚拟镜头的光线(不仅包括在真实空间点发射光的情况下从真实空间点发射的光而且包括由真实空间点反射的反射光)。

虚拟镜头是具有由构成图像拾取装置11(图2)的摄像装置单元21₁至21₇提供的合成孔径的虚拟镜头，并且虚拟镜头的实体是摄像装置单元21₁至21₇。

此外，通过镜头仿真处理，由仿真镜头信息生成部37(图3)生成限定通过仿真镜头的光线的镜头信息(仿真镜头信息)。

如上文参照图3所述，仿真镜头可以是实际存在的光学镜头，或者可以是实际上不存在的光学镜头。

此外，镜头信息包括表示仿真镜头对点光源等的响应的PSF强度分布。

在镜头仿真处理中，聚光处理部38(参照图3)进行作为用于使用由仿真镜头信息生成部37获得的镜头信息将由入射光线再现部36再现的光线通过仿真镜头会聚到虚拟传感器上的聚光处理的数字信号处理。

虚拟传感器的实体例如是未示出的存储器，并且在聚光处理中，使用镜头信息来将与光线的亮度对应的值加到存储器(的存储值)以生成仿真图像。

图26是示出由实际光学镜头进行的聚光处理和镜头仿真处理的聚光处理的图。

图26的A示出通过实际光学镜头的聚光处理。

实际光学镜头对从真实空间中的对象发射的大量光线进行采样以根据实际光学镜头的镜头特性在像面上形成图像。

在实际光学镜头中，要被光学镜头采样的光线的角度例如取决于孔径而改变。

具体地，如果孔径受到限制，则来自对象的以相对于光轴的大角度w扩散的光线不被光学镜头采样。另一方面，如果孔径被打开，则来自对象的以相对于光轴的大角度w扩散的光线被光学镜头采样。

图26的A的图像picA是在光圈受到限制的情况下拾取的图像，并且是景深很深并且大体上焦点对准的图像。此外，在图像picA中，虽然在右上区域中灯泡存在于人物儿童之后，但是来自灯泡的以相对于光轴的大角度扩散的光线未被光学镜头采样，因此，在人物儿童之后未反映灯泡。

图26的A的另一图像picB是在孔径被打开的情况下拾取的图像并且是其中景深较浅且仅在其一部分处焦点对准而在其另一大部分处模糊的图像。此外，在图像picB中，在右上区域中灯泡存在于人物儿童之后，并且通过光学镜头对来自灯泡的以相对于光轴的大角度扩散的光线进行采样。因此，灯泡的一部分被反映在人物儿童之后。

图26的B示出镜头仿真处理的聚光处理。

在镜头仿真处理的聚光处理中，使用从真实空间中的对象发射并由图像拾取装置11的多个摄像装置单元21_i成像(记录)的光线来再现(生成)入射到具有由多个摄像装置单元21_i提供的合成孔径的虚拟镜头的光线。

这里，在图26的B中，由作为多个摄像装置单元的三个摄像装置单元21₁、21₂和21₅对三条光线进行成像。此外，再现入射到虚拟镜头的光线，以使得三条光线之间的光线被插值。

在镜头仿真处理的聚光处理中，在以如上所述的方式再现入射到虚拟镜头的光线之后，根据仿真镜头的镜头信息将光线会聚在虚拟传感器上。因此，在由于聚光而获得的仿真图像中，再现了与在使用仿真镜头实际拾取图像的情况下的模糊度类似的模糊度。

<再现入射到虚拟镜头的光线>

图27是示出图3的入射光线再现部36的配置示例的框图。

参照图27，入射光线再现部36包括真实空间点选择部101、光线生成部102、碰撞判定部103和亮度分配部104。

将视差图从视差信息生成部31提供给真实空间点选择部101。

真实空间点选择部101使用视差信息生成部31的视差图中的多层视差图来选择真实空间中的其图像是由图像拾取装置11拾取的空间点作为注意真实空间点，并且将注意真实空间点提供给光线生成部102。

光线生成部102根据来自真实空间点选择部101的注意真实空间点来生成要入射到虚拟镜头的(直线作为)光线，并且将光线提供给碰撞判定部103。

不仅将光线从光线生成部103提供给碰撞判定部103，而且还将视差图从视差信息生成部31提供给碰撞判定部103。

碰撞判定部103使用来自视差信息生成部31的视差图中的多层视差图来进行用于判定来自碰撞判定部103的光线在其进入虚拟镜头之前是否与真实空间中的对象碰撞的碰撞判定。

然后，碰撞判定部103向亮度分配部104提供作为碰撞判定的结果而剩下的光线。

不仅将光线从碰撞判定部103提供给亮度分配部104，而且还将视差图从视差信息生成部31提供给亮度分配部104，并且还将作为多个视点的七个视点的(HDR)拾取图像HD#i从饱和像素恢复部33提供给亮度分配部104。

亮度分配部104使用来自视差信息生成部31的视差图和来自饱和像素恢复部33的拾取图像HD#i，来将亮度分配给来自碰撞判定部103的光线，即，分配给作为碰撞判定的结果而剩下的光线，并且在分配亮度之后将光线提供给聚光处理部38(图3)。

图28是示出真实空间点的图。

具体地，图28是从上方观看的其图像是由构成作为虚拟镜头的图像拾取装置11的摄像装置单元21_i拾取的真实空间的示意平面图。

这里，作为定义真实空间中的位置(真实空间点)的三维坐标系，使用以下三维坐标系，其具有在虚拟镜头或仿真镜头的主点处的原点，并且具有当从正面观看图像拾取装置11(图2)时分别沿水平方向和垂直方向的x轴和y轴以及从原点沿深度方向(图像拾取对象的方向)的z轴。

可以根据某像素p在参考图像上的位置(在摄像装置单元211的未示出的图像传感器上的位置)以及像素p的视差d来确定作为反映在参考图像的某一像素p处的对象(图像拾取对象)的真实空间中的位置的真实空间点(x，y，z)。

因此，真实空间点选择部101根据登记在多层视差图中的像素p的视差d和位置来确定与具有视差d的像素p对应的真实空间点(可以被反映在像素p处的对象的真实空间中的位置)。

现在，如果假设将具有登记在多层视差图中的视差d的真实空间点(的集合)称为视差登记位置，则真实空间点选择部101依次选择构成视差登记位置的真实空间点作为注意真实空间点。

应当注意，在图28中，THETA表示沿参考图像(参考摄像装置单元21₁)的水平方向的视角。视差登记位置存在于以虚拟镜头的光轴为中心由视角THETA展开的范围内。

虚拟镜头的轴线是通过参考图像的中心并且垂直于参考图像的直线(参考摄像装置单元21₁的光轴)。

图29是示出用于使用多层视差图来确定真实空间点的判定方法的图。

现在假设，使用如下三维空间作为用于表示多层视差图的多层视差图空间：沿水平方向和垂直方向具有在参考图像的位置处的x轴和y轴，并且具有通过其表示可以由视差信息生成部31(图3)获得的视差呈现的值的z轴。

在如上所述的多层视差图空间中，在位置(x，y)处的像素的视差d可以通过使视差标记表示将视差登记在位置(x，y，d)处来登记。

这里，在本实施方式中，将可以登记到多层视差图中的视差的最大值表示为Dmax并且将最小值表示为Dmin。在这种情况下，沿z轴方向的多层视差图空间的大小为Dmax-Dmin+1。要注意，可以采用例如0(无穷大)作为Dmin。

此外，可以例如根据表达式z＝37.4/d将登记在多层视差图中的每个视差d转换成从虚拟镜头(参考摄像装置单元21₁)的主点开始沿深度方向的真实空间中的距离z。

应当注意，用于将视差d转换为距离z的表达式不限于表达式z＝37.4/d，而根据参考摄像装置单元21₁的分辨率、视角和焦距而不同。

现在，如果将参考图像的x坐标为Xpic的像素p注意为注意像素p，则在图29的多层视差图中，针对注意像素p登记视差D₁和D₂。

真实空间点选择部101依次选择对于注意像素p的视差D₁和D₂作为要注意的注意视差，并且选择与具有注意视差的注意像素p对应的真实空间点作为注意真实空间点。

现在，假设从视差D₁和D₂之间选择视差D₁作为注意视差。

此外，将参考图像(视差图)的沿水平方向(x轴方向)的像素数表示为宽度，并且参考图像的沿水平方向的视角由THEATA表示。此外，将与具有参考视差D₁的注意像素p对应的真实空间点P1的沿x轴方向的距离光轴的位置(距离)表示为x1。

真实空间点选择部101首先将参考视差D₁转换成真实空间中的距离z＝z1。

然后，真实空间点选择部101使用与参考视差D₁对应的距离z＝z1来确定与具有参考视差D1的注意像素p对应的真实空间点P1的沿x轴方向的距离光轴的位置(距离)x1。

具体地，真实空间中的距离x1和多层视差图空间中的像素数Xpic-width/2相互对应。此外，表示真实空间中的沿水平方向的视角的一半的距离z1×tan(THEATA/2)和表示多层视差图空间中的沿水平方向的视角的一半的像素的数量width/2相互对应。

由于x1和Xpic-width/2之间的比率以及z1×tan(THEATA/2)和width/2之间的比率相互一致，因此满足表达式x1：Xpic-width/2＝z1×tan(THEATA/2):width/2。

因此，可以根据表达式x1＝((Xpix-width/2)(z1×tan(THEATA/2))/(width/2)来确定与具有参考视差D₁的注意像素p对应的真实空间点P1的沿x轴方向的距离光轴的位置x1。

真实空间点选择部101以如上所述的方式确定与具有参考视差D₁的注意像素p对应的真实空间点P1的沿x轴方向的距离光轴的位置x1。

真实空间点选择部101类似地确定与具有参考视差D₁的注意像素p对应的真实空间点P1沿y轴方向的距离光轴的位置，从而确定与具有参考视差D₁的注意像素p对应的真实空间点P1(的xyz坐标)。

此外，可以以类似的方式确定与具有视差D₂的像素p对应的真实空间点。

图30是示出由图27的光线生成部102进行的生成光线的示例的图。

具体地，图30是从正面(图像拾取对象侧)观看时的虚拟镜头的正视图。

光线生成部102将包括虚拟镜头(的合成孔径)的区域设置为镜头区域。

在图30中，例如，将包围虚拟镜头的最小矩形区域设置为镜头区域。

光线生成部102将镜头区域(由镜头区域包围的虚拟镜头)划分为作为小区域的镜头区域单元，并且在将真实空间点视为点光源的情况下对要从作为点光源的真实空间点入射到每个镜头区域单元(例如，每个镜头区域单元的中心)的光线进行生成，计算直线作为要从真实空间点入射到每个镜头区域单元的光线。

在图30中，镜头区域被划分为总共Lx×Ly个镜头区域单元，包括沿水平方向的Lx个镜头区域单元和沿垂直方向的Ly个镜头区域单元。

在这种情况下，光线生成部102关于一个真实空间点，密集地生成分别与真实空间点和Lx×Ly个镜头区域单元互联的Lx×Ly条直线作为要入射到虚拟镜头的光线。

这里，假设沿水平方向或垂直方向相互相邻定位的镜头区域单元(的中心)之间的距离称为角分辨率，可以以该角分辨率区分从真实空间点发射的两条光线之间的角度。

例如，如果假设合成孔径(虚拟镜头的直径)为40mm，而沿镜头区域的水平方向和垂直方向的镜头区域单元的数量Lx和Ly为21，则角分辨率为40/21mm。

此外，作为镜头区域被其划分为镜头区域单元的沿水平方向的直线和沿垂直方向的另一直线之间的交点的网格点也称为网格点LP#i(i＝1,2,...,(Lx+1)(Ly+1))。

在水平方向或垂直方向上相互相邻定位的网格点LP#i和LP#j之间的距离表示角分辨率。

图31是示出由图27的碰撞判定部103进行的碰撞判定和由亮度分配部104对光线进行亮度分配的图。

具体地，图31是当从上方观看其图像是由将构成图像拾取装置11的摄像装置单元21_i作为虚拟镜头拾取的真实空间的示意性平面图。

碰撞判定部103进行用于使用多层视差图来判定来自碰撞判定部103的从真实空间点发射并且指向虚拟镜头的Lx×Ly个镜头区域单元的Lx×Ly条光线是否在进入虚拟镜头之前与真实空间中的对象碰撞的碰撞判定。

具体地，如果从真实空间点发射并且指向虚拟镜头的镜头区域单元的光线在其进入镜头区域单元之前与视差登记位置碰撞(相交)，则碰撞判定部103判定光线碰撞。

另一方面，如果从真实空间点发射并且指向虚拟镜头的镜头区域单元的光线在其进入镜头区域单元之前与视差登记位置不碰撞，则碰撞判定部103判定光线未碰撞。

然后，碰撞判定部103将由于碰撞决定而剩下的那些光线、即被确定为未碰撞的光线提供给亮度分配部104。

应该注意，碰撞判定部103将与从其发射光线的真实空间点(x，y，z)对应的视差d＝D分配给由于碰撞判定而剩下的每条光线，而将与光线碰撞的视差登记位置对应的视差d＝D'分配给被判定为碰撞的每条光线。

可以根据分配给从某真实空间点(x，y，z)发射的光线的视差是否与从其发射光线的真实空间点(x，y，z)的视差一致来识别在碰撞判定之后该光线是否进入虚拟镜头而不会与对象碰撞。

具体地，当分配给光线的视差与从其发射光线的真实空间点(x，y，z)的视差一致时，光线不与对象碰撞并进入虚拟镜头。另一方面，如果分配给光线的视差与从其发射光线的真实空间点(x，y，z)的视差不一致，则光线与在与分配给光线的视差对应的深度位置处的对象碰撞并且不会到达虚拟镜头。

亮度分配部104使用多层视差图和拾取图像HD#i来向由于来自碰撞判定部103的碰撞判定而剩下的光线分配亮度。

具体地，亮度分配部104针对七个视点的拾取图像HD1至HD7中的每个拾取图像来确定与从其发射由于碰撞判定而剩下的光线的真实空间点(x，y，z)对应的对应像素。

此外，亮度分配部104参照视差图以从拾取图像HD1至HD7的对应像素中检测关于其登记有与对应于真实空间点(x，y，z)的深度z的视差d＝D一致的视差的每个像素作为要用于分配亮度的光线亮度分配像素。

然后，亮度分配部104使用R(红色)、G(绿色)和B(蓝色)的值作为光线亮度分配像素的像素值来给光线分配亮度。

具体地，亮度分配部104将例如光线亮度分配像素的像素值(R、G和B的值)的平均值作为光线的亮度分配给光线。

如上所述，当从真实空间点(x，y，z)发射的光线与对象碰撞并且未进入虚拟镜头时，碰撞判定部103将与光线在其处碰撞的视差登记位置对应的视差分配给光线。

另一方面，如果从真实空间点(x，y，z)发射的光线与对象不碰撞并且进入虚拟镜头，则碰撞判定部103将与从其发射光线的真实空间点(x，y，z)对应的视差分配给光线。

此外，亮度分配部104将作为亮度的像素值(R，G，B的值)分配给与对象不碰撞并且进入虚拟镜头的光线。

图32是示意性地示出通过由图27的入射光线再现部36进行的入射光线再现处理得到的最大数量的数据的图。

现在，假设参考图像HD1由N个像素pix1、pix2、...、pix#N构成，并且可以登记到视差图(多层视差图)中的视差d的数量为从最小值Dmin以1个像素递增到最大值Dmax的DPN＝Dmax-Dmin+1个整数值。

在这种情况下，在入射光线再现处理中，如图32所示，至多针对与N个像素pix1、pix2、…、pix#N中的任意像素pix#n和DPN视差Dmin、Dmin+1、...、Dmax中的任意视差d的组合(pix#n，d)对应的真实空间点登记像素值表。

如图32所示，分配给从与组合(pix#n，d)对应的真实空间点开始朝向镜头区域(图30)的Lx×Ly个镜头区域单元中的从左侧开始的第i个和从上侧开始的第j个的镜头区域单元(i，j)的光线的视差D登记到针对与组合(pix#n，d)对应的真实空间点的像素值表中。

此外，在将R、G和B的值作为亮度分配给从与组合(pix#n，d)对应的真实空间点开始朝向镜头区域单元(i，j)的光线的情况下，将R、G和B的值作为亮度登记到针对与组合(pix#n，d)对应的真实空间点的像素值表中。

图33是示出由图27的入射光线再现部36进行的入射光线再现处理的示例的流程图。

在步骤S101处，入射光线再现部36(图27)的真实空间点选择部101、碰撞判定部103和亮度分配部104从视差信息生成部31获取视差图。然后，处理进行到步骤S102。

在步骤S102处，真实空间点选择部101从参考图像HD1的像素中选择尚未被选择为注意像素的一个像素作为注意像素。然后，处理进行到步骤S103。

在步骤S103处，真实空间点选择部101参照来自视差信息生成部31的视差图(多层视差图)，以从针对注意像素登记的视差中选择尚未被选择为注意视差的一个视差作为注意视差。然后，处理进行到步骤S104。

在步骤S104处，真实空间点选择部101选择与注意视差的注意像素(具有注意视差的注意像素)对应的真实空间点(x，y，z)＝(x0，y0，z0)作为注意真实空间点，并且将注意真实空间点提供给光线生成部102。然后，处理进行到步骤S105。

在步骤S105处，光线生成部102从虚拟镜头(图30)的镜头区域单元中选择尚未被选择为注意镜头区域单元的一个镜头区域单元作为注意镜头区域单元。然后，处理进行到步骤S106。

在步骤S106处，光线生成部102生成从注意真实空间点(x0，y0，z0)开始朝向注意镜头区域单元的中心点(lx，ly，0)的光线(的直线表达)作为注意光线，并且将注意光线提供给碰撞判定部103。然后，处理进行到步骤S107。

这里，从注意真实空间点(x0，y0，z0)开始朝向注意镜头区域单元的中心点(lx，ly，0)的光线的直线由表达式(x-lx)/(x0-lx)＝(y-ly)/(y0-ly)＝z/z0表示。

在步骤S107处，碰撞判定部103在将来自光线生成部102的注意光线作为目标的情况下进行碰撞判定。然后，处理进行到步骤S108。

在步骤S108处，亮度分配部104基于由碰撞判定部103对碰撞判定的判定结果(碰撞判定结果)来判定注意光线是否碰撞。

如果在步骤S108处判定注意光线未碰撞，也就是说，如果在由碰撞判定部103在步骤S107处进行的碰撞判定中，将等于与注意真实空间点对应的视差(注意视差)的视差分配给注意光线，则处理进行到步骤S109。

在步骤S109处，亮度分配部104进行用于将亮度分配给注意光线的光线亮度分配，并且将所分配的亮度提供给聚光处理部38。然后，处理进行到步骤S110。

另一方面，如果在步骤S108处判定注意光线碰撞，也就是说，如果在由碰撞判定部103在步骤S107处进行的碰撞判定中，将不等于与注意真实空间点对应的视差(注意视差)的视差分配给注意光线，则处理跳过步骤S109，并且进行到步骤S110。

因此，当注意光线碰撞时，对于注意光线不进行步骤S109处的光线亮度分配。

在步骤S110处，光线生成部102判定虚拟镜头的所有镜头区域单元是否都被选择为注意镜头区域单元。

如果在步骤S110处判定虚拟镜头的所有镜头区域单元尚未都被选择为注意镜头区域单元，则处理返回到步骤S105，此后，重复类似的处理。

另一方面，在步骤S110处，如果判定虚拟镜头的所有镜头区域单元都被选择为注意镜头区域单元，则处理进行到步骤S111。

在步骤S111处，真实空间点选择部101判定在多层视差图中针对注意像素登记的所有视差是否都被选择为注意视差。

在步骤S111处，如果判定在多层视差图中针对注意像素登记的所有视差尚未都被选择为注意视差，则处理返回到步骤S103，此后，重复类似的处理。

另一方面，如果在步骤S111处判定在多层视差图中针对注意像素登记的所有视差都被选择为注意视差，则处理进行到步骤S112。

在步骤S112处，真实空间点选择部101判定参考图像HD1的所有像素是否都被选择为注意像素。

如果在步骤S112处判定参考图像HD1的所有像素尚未都被选择为注意像素，则处理返回到步骤S102，此后，重复类似的处理。

另一方面，如果在步骤S112处判定参考图像HD1的所有像素都被选择为注意像素，则入射光线再现处理结束。

图34是示出用于图33的步骤S107处的碰撞判定的处理的示例的流程图。

在步骤S121处，碰撞判定部103将用于碰撞判定的视差d设定为最大值Dmax作为初始值。然后，处理进行到步骤S122。

在步骤S122处，碰撞判定部103确定与判定视差d对应的深度(距离)Z。然后，处理进行到步骤S123。

在步骤S123处，碰撞判定部103判定与判定视差d对应的深度Z是否等于注意真实空间点(x0，y0，z0)的深度z0。

如果在步骤S123处确定与判定视差d对应的深度Z不等于注意真实空间点(x0，y0，z0)的深度z0，则处理进行到步骤S124。

在从步骤S124开始的步骤中，确认注意真实空间点(x0，y0，z0)开始朝向注意镜头区域单元的中心点(lx，ly，0)的注意光线是否与在与判定视差d对应的深度Z处的对象碰撞。

具体地，在步骤S124处，碰撞判定部103将由表达式z＝Z表示的平面、即在深度Z的位置处垂直于光轴的平面设置为判定层作为用于碰撞判定的平面。然后，处理进行到S125。

这里，在与视差d对应的深度(距离)Z处垂直于光轴的由表达式z＝Z表示的平面在下文也称为z＝Z的视差平面。在步骤S124处，将z＝Z的视差平面设置为判定层。

在步骤S125处，碰撞判定部103确定注意光线和判定层之间的交点(Px，Py，Z)。然后，处理进行到步骤S126。

这里，如上文参照图33所述，由(x-lx)/(x0-lx)＝(y-ly)/(y0-ly)＝z/z0表示作为注意光线的直线。

因此，注意光线的x坐标和y坐标分别由表达式x＝z/z0(x0-lx)+lx和另一表达式y＝z/z0(y0-ly)+ly表示。

通过将Z代入表达式x＝z/z0(x0-lx)+lx和表达式y＝z/z0(y0-ly)+ly，可以确定在由表达式z＝Z表示的判定层上的注意光线的x坐标和y坐标，即，注意光线和判定层之间的交点(Px，Py，Z)的x坐标Px和y坐标Py。

因此，可以分别根据表达式x＝Z/z0(x0-lx)+lx和表达式y＝Z/z0(y0-ly)+ly来确定x坐标Px和y坐标Py。

在步骤S126处，碰撞判定部103确定与注意光线和判定层之间的交点(Px，Py，Z)对应的参考图像的像素(该像素在下文也称为交点像素)。然后，处理进行到步骤S127。

在步骤S127处，碰撞判定部103判定判定视差d是否登记在多层视差图中的交点像素(的位置)处(对于交点像素登记的视差是否等于判定视差d)。

如果在步骤S127处判定判定视差d未登记在交点像素处，也就是说，如果在注意光线和判定层之间的交点(Px，Py，Z)处不存在对象，并且注意光线与交点(Px，Py，Z)不碰撞，则处理进行到步骤S128。

在步骤S128处，碰撞判定部103使判定视差d递减(减小)1。然后，处理返回到步骤S122，此后，重复类似的处理。

这里，随着判定视差d在步骤S128处减小，判定层从最靠近与视差的最大值Dmax对应的虚拟镜头的位置朝向注意真实空间点(x0，y0，z0)移动。

另一方面，如果在步骤S127处判定针对交点像素登记了判定视差d，也就是说，如果对象存在于注意光线与判定层之间的交点(Px，Py，Z)处并且注意光线在注意点(Px，Py，Z)处碰撞，则处理进行到步骤S129。

在步骤S129处，碰撞判定部103将判定视差d分配给注意光线，以表示注意光线在到达虚拟镜头之前与对象碰撞的碰撞判定结果。然后，处理返回。

另一方面，如果在步骤S123处判定与判定视差d对应的深度Z等于注意真实空间点(x0，y0，z0)的深度z0，也就是说，如果当判定层从最靠近与视差的最大值Dmax对应的虚拟镜头的位置移动到注意真实空间点(x0，y0，z0)时注意光线未与对象碰撞，则处理进行到步骤S130。

在步骤S130处，碰撞判定部103将注意视差(这也是此时的判定视差d)，即，与注意真实空间点(x0，y0，z0)对应的视差d分配给注意光线，以表示注意光线在到达虚拟镜头之前与对象未碰撞的碰撞判定结果。此后，处理返回。

应当注意，虽然在图34中，使用视差的最大值Dmax作为初始值，并且将判定视差从初始值依次递减到与注意真实空间点(x0，y0，z0)对应的目标的视差，判定视差的值可以在视差的最大值Dmax至与注意真实空间点(x0，y0，z0)对应的视差的范围内以任何方式改变。

图35是示出用于图33的步骤S109处的光线亮度分配的处理的示例的流程图。

在步骤S131处，亮度分配部104从七个视点的拾取图像HD1至HD7中的每个图像中检测与注意真实空间点(x0，y0，z0)对应的对应像素。然后，处理进行到步骤S132。

在步骤S132处，亮度分配部104参照例如拾取图像HD1至HD7的视差图，以从拾取图像HD1至HD7的对应像素中检测与注意真实空间点(x0，y0，z0)的深度z0对应的视差d，即，针对其登记有与目标视差一致的视差的像素，作为要用于亮度分配的光线亮度分配像素。然后，处理进行到步骤S133。

在步骤S133处，亮度分配部104例如将光线亮度分配像素的像素值(R，G和B的值)的平均值作为光线的亮度分配给注意光线。然后，处理返回。

以这种方式，在入射光线再现部36(图27)中，光线生成部102从多层图中关于其登记有视差的真实空间点、即从存在于其图像拾取要由图像拾取装置11进行的真实空间中的对象上的点生成直线作为入射到虚拟镜头的光线，该虚拟镜头具有由构成图像拾取装置11的七个视点的摄像装置单元21₁至21₇提供的合成孔径。换言之，入射光线再现部36确定几何上描述从真实空间点入射到虚拟镜头的光线的直线。

此外，在入射光线再现部36中，碰撞判定部103进行用于判定光线在进入虚拟镜头之前是否与对象碰撞的碰撞判定。

然后，在入射光线再现部36中，亮度分配部104使用由摄像装置单元21₁至21₇拾取的七个视点的拾取图像HD1至HD7将亮度分配给由于碰撞判定而剩下的光线。

因此，可以使用七个视点的拾取图像HD1至HD7来再现入射到虚拟镜头并因此入射到仿真镜头的光线组。

换言之，例如，通过使构成仿真镜头的所谓的前镜头与虚拟镜头对应，入射到虚拟镜头的光线组变成进入仿真镜头的光线组。因此，通过再现要入射到虚拟镜头的光线组，可以再现要进入仿真镜头的光线组。

结果，可以通过下文所述的聚光处理来再现由仿真镜头会聚入射到仿真镜头的光线组而产生的模糊度。

<镜头信息的生成>

图36是示出由图3的仿真镜头信息生成部37生成的镜头信息的图。

PSF强度分布、像面间距、PSF角分量信息和像面偏移信息可用作镜头信息(仿真镜头信息)。

PSF强度分布表示仿真镜头对从点光源发射的光线的响应。

像面间距表示PSF强度分布的尺度。

PSF角分量信息表示当从点光源发射的光线通过仿真镜头到达时的PSF强度分布的位置。

像面偏移信息表示作为从自真实空间点发射的光线中由主光线通过仿真镜头到达的虚拟传感器上的位置的像面偏移位置。

图37是示出作为用于生成镜头信息的目标的真实空间点和聚焦位置的图。

具体地，图37是当从相对于图像拾取装置的正面的右侧观看其图像由构成作为虚拟镜头的图像拾取装置11的摄像装置单元21_i拾取的真实空间时的示意性侧视图。

镜头信息是定义通过仿真镜头的光线的信息，并且光线从真实空间点发射。

此外，虽然通过仿真镜头的光线被会聚在虚拟传感器上，但是会聚光线的方式根据仿真镜头的聚焦位置(焦距)f而不同。

因此，可以针对仿真镜头的每个聚焦位置f生成镜头信息，信息的条数等于由图像处理装置12(图3)最多要处理的真实空间点的最大数量(该数量在下文称为最大真实空间点数量)。

现在，假设参考图像HD1由N个像素pix1、pix2、...、pix#N构成，并且可以登记到视差图(多层视差图)中的视差d的数量为如上文参照图32所述的从最小值Dmin以1个像素递增到最大值Dmax的DPN＝Dmax-Dmin+1个整数值。

在这种情况下，最大真实空间点数量为N×DPN。

此外，现在假设仿真镜头的聚焦位置f可以采取f1、f2、...、f#Fmax的Fmax个位置。

在这种情况下，可以将镜头信息形成为最多为Fmax×N×DPN条的信息。

这里，在本实施方式中，基于仿真镜头来定义虚拟传感器的尺寸(尺度)。

例如，在仿真镜头是用于全尺寸为35mm的图像传感器的光学镜头的情况下，基于如上所述的这样的仿真镜头将虚拟传感器的尺寸设置为全尺寸35mm。具体地，将虚拟传感器的水平尺寸和垂直尺寸分别设置为36mm和24mm。

此外，在本实施方式中，虚拟传感器的像素间距基于参考图像的像素数(分辨率)来定义，以使得虚拟传感器具有等于参考图像的像素数的像素数(或者比参考图像的像素数小的像素数)。

例如，在仿真镜头是用于全尺寸为35mm的图像传感器的光学镜头并且参考图像沿水平方向的像素数为Nx的情况下，由于如上所述虚拟传感器的水平尺寸为36mm，因此虚拟传感器的像素间距为36mm/Nx。

应当注意，某真实空间点(X，Y，Z)与参考图像的具有对应于深度z＝Z的视差d＝D的某像素对应。

此外，由于基于参考图像的像素数(分辨率)来定义虚拟传感器的像素间距，因此可以使虚拟传感器的像素对应于参考图像的像素。在虚拟传感器具有等于参考图像的像素数的像素数的情况下，参考图像的像素和虚拟传感器的位于与该像素的位置相同的位置处的像素相互对应。

此外，如果原样采用参考图像的某像素的视差作为虚拟传感器的与该像素对应的像素的视差，则真实空间点(X，Y，Z)与虚拟传感器的具有对应于深度z＝Z的视差d＝D的某像素对应。

在这种情况下，关于某真实空间点的镜头信息可以被认为是关于与真实空间点对应的虚拟传感器的视差和像素(位置)的组合的镜头信息。

图38是示出某光学镜头的PSF强度分布的示例的图。

参照图38，水平方向表示光学镜头的聚焦位置f而垂直方向表示作为图像形成面上的图像形成位置距光学中心的距离的图像高度，在该图像形成面上，来自光学镜头的光形成图像。

这里，图像形成面对应于虚拟传感器的平面。同时，关于图38的水平方向，向左方向表示靠近光学镜头的聚焦位置f而向右方向表示远离光学镜头的聚焦位置f。此外，关于图38的垂直方向，向上方向表示小的图像高度，向下方向表示大的图像高度。

如图38所示，PSF强度分布取决于光学镜头的聚焦位置f而不同。

此外，PSF强度分布根据图像形成位置的图像高度、即根据在虚拟传感器的平面上的位置而不同。

此外，PSF强度分布还根据从光学镜头的主点到图像拾取对象(这里是点光源)的距离、即根据图像拾取对象的视差而不同。

因此，PSF强度分布例如根据聚焦位置f、虚拟传感器的像素(的位置)和图像拾取对象的视差的集合而不同。

图39是示出用于生成PSF强度分布的方法的示例的图。

图39示出了在与图37类似地从相对于图像拾取装置的正面的右侧观看其图像由构成作为虚拟镜头的图像拾取装置11的摄像装置单元21_i拾取的真实空间的情况下的概图。

对于至多Fmax个聚焦位置f中的每个聚焦位置，仿真镜头信息生成部37生成对于与最大真实空间点数N×DPN个真实空间点中的每个真实空间点对应的真实空间点、即对于构成虚拟传感器的最大数量N个像素与可以登记到多层视差图中的DPN个视差d的组合中的每个组合的PSF强度分布。

这里，构成虚拟传感器的像素的最大数量N等于构成参考图像HD1的像素pix1至pix#N的数量N。如上文参照图37所述，在本实施方式中，为了简化描述，虚拟传感器与参考图像HD1类似地由像素pix1至pix#N的N个像素构成。

仿真镜头信息生成部37将点光源设定为真实空间点，并且使用仿真镜头的镜头设计数据进行用于追踪从被设置为真实空间点的点光源发射的光线的光线追踪，以产生PSF强度分布。

在光线追踪中，将从点光源发射的光线设置为入射矢量，计算入射矢量和仿真镜头的最图像拾取对象侧的折射面之间的交点，并且计算当作为从交点入射的光线的入射矢量被折射表面折射并且从折射表面发射时的矢量作为输出矢量。

此外，在光线追踪中，使用输出矢量作为到下一折射表面的入射矢量，计算入射矢量和下一折射表面之间的交点。

在光线追踪中，重复如上所述的这样的处理直到仿真镜头的最后的折射表面为止。

然后，仿真镜头信息生成部37观察从仿真镜头的最后一个折射面发射到虚拟传感器上的输出矢量，并且记录光线的光强度作为由于观察而获得的输出矢量，以生成PSF强度分布。

现在假设在仿真镜头信息生成部37中，将当从真实空间点(的点光源)发射的主光线、即作为从真实空间点发射的光线中的穿过仿真镜头的主点O的光线的主光线到达虚拟传感器时在虚拟传感器的位置处具有中心(重心)的矩形区域称为分布区域。

作为分布区域，例如，可以采用以下矩形区域，该矩形区域以从真实空间点发射的主光线为中心并且是包围由从真实空间点发射的光线通过仿真透镜到达的虚拟传感器上的点的最小(或接近最小)的矩形区域。此外，假设分布区域是以下区域，可以将信息以宽×长的PX×PY的分辨率记录到该区域中。对于PX×PY，例如，可以采用255。

仿真镜头信息生成部37将变成PSF强度分布的光强度以宽×长的PX×PY的分辨率记录到分布区域中以生成PSF强度分布。

图40是示意性地示出由仿真镜头信息生成部37生成的PSF强度分布的图。

如上文参照图39所述，对于至多Fmax个聚焦位置f中的每个聚焦位置，对于与构成虚拟传感器的N个像素pix1至pix#N和可以登记到视差图中的DPN个视差d的N×DPN个组合中的每个组合对应的真实空间点生成PSF强度分布。

现在假设其中水平方向指示DPN个视差d而垂直方向指示构成虚拟传感器的N个像素pix1至pix#N并且其中登记有对于与某视差d和某像素pix#n的组合对应的真实空间点的PSF强度分布的表称为对于聚焦位置f的强度分布表，如图40中所示。

仿真镜头信息生成部37生成针对Fmax个聚焦位置f中的每个聚焦位置的强度分布表。

如上文参考图39所述，登记在强度分布表中的PSF强度分布以宽×长的PX×PY的分辨率记录到分布区域中。

因此，当将PSF强度分布记录到阵列中时，PSF强度分布的阵列数量至多为Fmax×N×DPN×PX×PY个。

这里，在分布区域中，记录有PSF强度分布的一个光强度的单元(PSF强度分布的采样的单元)称为分布区域单元。可以将分布区域单元设想为例如正方形的区域。

如上文参照图39所述，由于分布区域是包围由从真实空间点发射的光线到达的虚拟传感器上的点的最小正方形区域，因此分布区域具有可变尺寸。

此外，如上文参考图38所述，PSF强度分布根据聚焦位置f、图像形成位置的图像高度(真实空间点(点光源)和光轴之间的距离)以及到图像拾取对象(真实空间点(点光源))的距离(视差)而不同。

此外，如上所述的包围这样的PSF强度分布的最小分布区域的尺寸(尺度)对于每个PSF强度分布而不同。

在随后将描述的聚光处理中，通过根据记录在不同尺寸的分布区域中的PSF强度分布来在虚拟传感器上加上形成图像的光线的图像形成值，从而生成仿真图像。

在根据PSF强度分布加图像形成值时，需要使根据记录在不同尺寸的分布区域中的PSF强度分布的图像形成值的分布的尺度与虚拟传感器的尺度一致。此外，为此，需要表示PSF强度分布尺度的信息。

因此，仿真镜头信息生成部37确定像面间距作为表示PSF强度分布的信息，该像面间距是构成其中记录有PSF强度分布的分布区域的分布区域单元的尺寸(间距)。

现在如果假设像面间距是IP并且虚拟传感器的像素间距是PP，则在聚光处理中，将从PSF强度分布确定的光线的图像形成值的分布减小(或扩大)到IP/PP倍，并且将其加到虚拟传感器上。

应该注意，PSF强度分布不是以可变尺寸而是以PX×PY的分辨率记录在固定尺寸的分布区域中。

在将PSF强度分布记录在不是可变尺寸的分布区域中而是记录在固定尺寸的分布区域的情况下，固定尺寸仅需要一个像面间距。

然而，由于需要将分布区域的固定尺寸调整为在虚拟传感器上从主光线的到达位置扩散最大的PSF强度分布，所以具有窄分布的PSF强度分布的分辨率降低。

图41是示意性地示出由仿真镜头信息生成部37生成的像面间距的图。

针对每一个PSF强度分布生成像面间距。

现在，假设将以下表称为针对聚焦位置f的像面间距表：在该表中，水平方向指示DPN个视差d，而垂直方向指示构成虚拟传感器的N个像素pix1至pix#N，并且在该表中，登记有对于与某视差d和某像素pix#N的组合对应的真实空间点的PSF强度分布的像面间距，例如，如图41所示。

仿真镜头信息生成部37针对Fmax个聚焦位置f中的每个聚焦位置生成像面间距表。

因此，在将像面间距记录为阵列的情况下，像面间距的阵列数量至多为Fmax×N×DPN。

图42是示出用于生成PSF角分量信息的方法的示例的图。

具体地，图42是从正面(图像拾取对象侧)观看仿真镜头时的正视图。

仿真镜头信息生成部37例如在上文参照图30所述的光线生成部102生成光线时进行与针对对于仿真镜头的虚拟镜头进行的处理类似的处理。

具体地，仿真镜头信息生成部37将例如包含仿真镜头的前镜头的区域设定为镜头区域。

在图42中，例如，将包围仿真镜头的前镜头的最小矩形区域设置为镜头区域。

仿真镜头信息生成部37将镜头区域(由镜头区域所包围的仿真镜头)划分为小区域的镜头区域单元。然后，仿真镜头信息生成部37将真实空间点视为点光源，并且确定PSF角分量信息，该PSF角分量信息表示由从作为点光源的真实空间点入射到镜头区域单元的光线通过仿真镜头到达的PSF强度分布的位置。

在图42中，与图30的虚拟镜头的情况类似，将镜头区域划分为包括沿水平方向的Lx个镜头区域单元和沿垂直方向的Ly个镜头区域单元的总共Lx×Ly个镜头区域单元。

此外，在图42中，与图30的情况类似，也将作为将包围仿真镜头的镜头区域划分为镜头区域单元的沿水平方向的直线和沿垂直方向的另一直线之间的交点的网格点表示为网格点LP#i(i＝1,2,...,(Lx+1)(Ly+1))。

这里，假设在本实施方式中，为了简化描述，直径在虚拟镜头(的合成孔径)和仿真镜头的前镜头(的孔径)之间一致，镜头区域的划分数Lx×Ly在虚拟镜头和仿真镜头之间一致。

应当注意，由于使用入射到仿真镜头的光线进行聚光处理，因此虚拟镜头的直径必须等于或大于仿真镜头的直径。

此外，为了使入射到虚拟镜头的光线和入射到仿真镜头的光线相互对应，也使虚拟镜头的镜头区域单元和仿真镜头的镜头区域单元(尺寸上)相互一致。

图43是示出用于生成PSF角分量信息的方法的示例的图。

图43示出了与图37类似地在从相对于图像拾取装置的正面的右侧观看其图像由构成图像拾取装置11的作为虚拟镜头的摄像装置单元21_i拾取的真实空间的情况下的概图。

仿真镜头信息生成部37生成对于与最大真实空间点数N×DPN个真实空间点中的每个真实空间点对应的真实空间点、即对于至多Fmax个聚焦位置f中的每个聚焦位置针对构成虚拟传感器的最大数量的N个像素和可以被登记到多层视差图中的DPN个视差d的组合中的每个组合的PSF角分量信息。

仿真镜头信息生成部37确定从真实空间点(的点光源)发射并且入射到仿真镜头的网格点LP#i的光线到达虚拟传感器的到达点AP#i。

然后，仿真镜头信息生成部37将虚拟传感器的到达点AP#i转换成PSF强度分布的(分布区域)上的点，并且将通过转换获得的分布区域到达点AP#i(光线到达的分布区域单元)和网格点LP#i的集合(位置上)确定为PSF角分量信息。

应该注意，从真实空间点发射并且入射到仿真镜头的光线可能不一定到达虚拟传感器。换言之，在入射到仿真镜头的光线中，存在由如图43中的虚线箭头指示的未到达虚拟传感器(未被虚拟传感器接收)的光线。

图44是示出PSF角分量信息的细节的图。

仿真镜头信息生成部37针对作为仿真镜头的镜头区域单元的四个顶点的四个网格点LP#i1、LP#i2、LP#i3和LP#i4确定作为由从真实空间点发射并且分别通过网格点LP#i1、LP#i2、LP#i3和LP#i4到达的PSF强度分布上的到达点的分布区域到达点AP#i1、AP#i2、AP#i3和AP#i4。

然后，仿真镜头信息生成部37生成作为仿真镜头的镜头区域单元的四个顶点的四个网格点LP#i1、LP#i2、LP#i3和LP#i4和分布区域到达点AP#i1、AP#i2、AP#i3和AP#i4的集合作为表示由通过其顶点为四个网格点LP#i1、LP#i2、LP#i3和LP#i4的镜头区域单元的光线到达的PSF强度分布的区域(位置)的PSF角分量信息。

毕竟，当入射到仿真镜头的网格点LP#i的光线通过仿真镜头到达分布区域到达点AP#i时，PSF角分量信息是分布区域到达点AP#i和网格点LP#i的集合。

这里，由通过镜头区域单元的光线到达的PSF强度分布的区域也称为对应区域。

在图44中，对应区域是在分布区域到达点AP#i1、AP#i2、AP#i3和AP#i4处具有顶点的四边形区域。

分布区域到达点AP#i的粒度(分辨率)是记录有PSF强度分布的分布区域的分布区域单元(图40)的尺寸。具体地，分布区域到达点AP#i表示分布区域的某分布区域单元的位置。

图45是示意性地示出由仿真镜头信息生成部37生成的PSF角分量信息的图。

针对至多Fmax个聚焦位置f中的每个聚焦位置，针对与构成虚拟传感器的N个像素pix1至pix#N与可以被登记到的视差图中的DPN个视差d的N×DPN个组合对应的真实空间点来生成PSF角分量信息。

现在，例如如图45所示的其中水平方向指示DPN个视差d而垂直方向指示构成虚拟传感器的N个像素pix1至pix#N并且其中登记有针对与某视差d和某像素pix#n的组合对应的真实空间点的PSF角分量信息的表称为对于聚焦位置f的PSF角分量信息表。

仿真镜头信息生成部37生成对于Fmax各聚焦位置f中的每个聚焦位置的PSF角分量信息表。

登记在PSF角分量信息表中的PSF角分量信息是仿真镜头的网格点LP#i和在由入射到网格点LP#i的光线通过仿真镜头到达PSF强度分布的分布区域上的分布区域到达点AP#i的集合。

在本实施方式中，由于如上文参照图42所述仿真镜头的镜头区域被划分为PX×PY个镜头区域单元，因此网格点LP#i的数量为(Lx+1)(Ly+1)。

因此，在将PSF角分量信息记录为阵列的情况下，PSF角分量信息的阵列数目至多为Fmax×N×DPN×(PX+1)×(PY+1)。

图46是表示像面偏移信息的图。

与图37类似，图46示出当与从相对于图像拾取装置的正面的右侧观看其图像由构成图像拾取装置11的作为虚拟镜头的摄像装置单元21_i拾取的真实空间时的概图。

在本实施方式中，使虚拟镜头和仿真镜头的前镜头相互对应，并且入射光线再现部36再现入射到虚拟镜头的光线作为入射到仿真镜头的光线。

然而，由于仿真镜头通常具有多个透镜，因此虚拟镜头和仿真镜头的入射光瞳的位置(沿z方向)移位。

因此，在虚拟传感器上，通过虚拟镜头观察的图像和通过仿真镜头观察的图像有时相互不同。

图46的A是示出通过虚拟镜头在虚拟传感器上的观察到的图像的示例的图。

在图46的A中，作为从真实空间中的对象obj1发射的主光线的直线和作为位于相对于对象obj1的前侧的另一对象obj2发射的主光线的另一直线在虚拟镜头上相互交叠。

因此，对象obj1相对于虚拟镜头的像面偏移位置、即作为由从对象obj1发射的主光线通过虚拟镜头到达的虚拟传感器上的位置的像面偏移位置和对象obj2相对于虚拟镜头的像面偏移位置相互一致。

因此，虽然在虚拟传感器上观察到对象obj2，但是位于对象obj2的内侧的对象obj1被对象obj2隐藏并且未被观察到。

图46的B示出通过仿真镜头在虚拟传感器上观察到的图像的示例的图。

在图46的B中，对象obj1和obj2被定位在与图46的A的情况下的位置相同的位置处。

在仿真镜头中，入射光瞳的位置以及因此主点从虚拟镜头的位置偏移。因此，在仿真镜头上，作为从真实空间中的对象obj1发射的主光线的直线和作为从位于相对于对象obj1的前侧的对象obj2发射的主光线的另一直线不相互交叠，但是相互偏移。

因此，由于对象obj1相对于仿真镜头的像面偏移位置和对象obj2相对于仿真镜头的像面偏移位置相互不一致，因此在虚拟传感器上观察到对象obj2和位于相对于对象obj2的内侧的对象obj1两者。

如上所述，由于虚拟镜头和仿真镜头的入射光瞳的位置之间的位移，因此真实空间点的像面偏移位置在虚拟镜头和仿真镜头之间不同。

因此，仿真镜头信息生成部37生成表示相对于仿真镜头的像面偏移位置的像面偏移信息作为一种镜头信息，以精确地再现仿真镜头的聚光。

这里，可以将像面偏移信息看作用于校正虚拟镜头和仿真镜头的入射光瞳位置的位移的信息，并且从如上所述的这样的观点来看，可以将像面偏移信息看作入射光瞳校正信息。

图47是示出用于生成像面偏移信息的方法的示例的图。

图47示出与图37类似地当从相对于图像拾取装置的正面的右侧观看其图像要由构成图像拾取装置11的作为虚拟镜头的摄像装置单元21_i拾取的真实空间时的概图。

仿真镜头信息生成部37生成对于与最大真实空间点数N×DPN个真实空间点中的每个真实空间点对应的真实空间点、即对于至多Fmax个聚焦位置f中的每个聚焦位置针对构成虚拟传感器的最大数量的N个像素和可以被登记到多层视差图中的DPN个视差d的组合中的每个组合的像面偏移信息。

仿真镜头信息生成部37将从真实空间点(的点光源)发射并且通过仿真镜头的主点的主光线到达虚拟传感器的到达点设置为像面偏移位置，并且确定例如离虚拟传感器的中心的表示像面偏移位置的x轴方向和y轴方向的坐标(距离)作为像面偏移信息。

图48是示意性地示出由仿真镜头信息生成部37生成的像面偏移信息的图。

对于至多Fmax个聚焦位置f中的每个聚焦位置，针对与构成虚拟传感器的N个像素pix1至pix#N和可以被登记到的视差图中的DPN个视差d的N×DPN个组合对应的真实空间点生成像面偏移信息。

现在，例如如图48所示的其中水平方向指示DPN个视差d而垂直方向指示构成虚拟传感器的N个像素pix1至pix#N并且其中登记有针对与某视差d和某像素pix#n的组合对应的真实空间点的像面偏移信息的表称为对于聚焦位置f的像面偏移信息表。

仿真镜头信息生成部37生成对于Fmax个聚焦位置f中的每个聚焦位置的像面偏移信息表。

因此，在像面偏移信息被记录为阵列的情况下，像面偏移信息的阵列数量至多为Fmax×N×DPN。

应该注意，可以通过使用仿真镜头的镜头设计数据进行光线追踪等的算术运算来确定仿真镜头的镜头信息(PSF强度分布、像面间距、PSF角分量信息和像面偏移信息)，并且在仿真镜头是现有光学镜头的情况下可以通过使用光学镜头实际测量光线来确定仿真镜头的镜头信息。

图49是示出用于生成镜头信息的仿真镜头信息生成部37(图3)的配置示例的框图。

参照图49，仿真镜头信息生成部37包括真实空间点选择部131、信息计算部132和聚焦位置选择部133。

真实空间点选择部131参照从视差信息生成部31(图3)提供给仿真镜头信息生成部37的多层视差图，以从最大真实空间点数N×DPN个真实空间点中选择注意真实空间点，所述最大真实空间点数N×DPN个真实空间点与构成虚拟传感器的N个像素pix1至pix#N和可以被登记到多层视差图的DPN个视差d的组合对应。

信息计算部132使用从镜头设计数据获取部34(图3)提供给仿真镜头信息生成部37的镜头设计数据以及由聚焦位置选择部133选择的注意聚焦位置f来生成对于由真实空间点选择部131选择的真实空间点的镜头信息，并且将生成的镜头信息提供给聚光处理部38。

聚焦位置选择部133从Fmax个聚焦位置f中选择注意聚焦位置。

图50是示出由图49的仿真镜头信息生成部37进行的仿真镜头信息生成处理的示例的流程图。

在步骤S141处，聚焦位置选择部133从Fmax个聚焦位置f中选择注意聚焦位置。然后，处理进行到步骤S142。

这里，在本实施方式中，为了减少镜头信息的信息量，仅针对注意聚焦位置生成镜头信息。可以例如响应于用户的操作等来进行对注意聚焦位置的选择。此外，例如可以选择预先确定的默认聚焦位置作为注意聚焦位置。

应该注意，不仅可以针对注意聚焦位置而且还可以针对Fmax个聚焦位置f中的每个聚焦位置生成镜头信息。

在步骤S142处，真实空间点选择部131获取从视差信息生成部31提供的多层视差图。然后，处理进行到步骤S143。

在步骤S143处，真实空间点选择部131从虚拟传感器的像素中选择未被选择为注意像素的像素中的一个像素作为注意像素。然后，处理进行到步骤S144。

在步骤S144处，真实空间点选择部131从登记在来自视差信息生成部31的多层视差图中的注意像素的视差中选择尚未被选择为注意视差的视差中的一个视差作为注意视差。然后，处理进行到步骤S145。

在步骤S145处，真实空间点选择部131选择与具有注意视差的注意像素对应的真实空间点作为注意真实空间点。然后，处理进行到步骤S146。

在步骤S146处，信息计算部132以上文参照图39至图48所述的方式确定作为针对注意真实空间点、即针对注意聚焦位置、注意像素和注意视差的集合的镜头信息的PSF强度分布、像面间距、PSF角分量信息和像面偏移信息。然后，处理进行到步骤S147。

在步骤S147处，真实空间点选择部131判定登记在多层视差图中的注意像素的所有视差是否都被选择为注意视差。

如果在步骤S147处判定登记在多层视差图中的注意像素的所有视差尚未都被选择为注意视差，则处理返回到步骤S144，此后，重复类似的处理。

另一方面，如果在步骤S147处判定登记在多层视差图中的注意像素的所有视差都被选择为注意视差，则处理进行到步骤S148。

在步骤S148处，真实空间点选择部131判定虚拟传感器的所有像素是否都被选择为注意像素。

如果在步骤S148处判定虚拟传感器的所有像素尚未都被选择为注意像素，则处理返回到步骤S143，此后，重复类似的处理。

另一方面，如果在步骤S148处判定虚拟传感器的所有像素都被选择为注意像素，则仿真镜头信息生成处理结束。

<聚光处理>

图51是示出由图3的聚光处理部38进行的聚光处理的概要的图。

图51示出与图37类似地当从相对于图像拾取装置的正面的右侧观看其图像要由构成图像拾取装置11的作为虚拟镜头的摄像装置单元21_i拾取的真实空间时的概图。

聚光处理部38进行用于使用来自仿真镜头信息生成部37的镜头信息来确定当来自从入射光线再现部36提供的光线中的由于碰撞判决而剩下的光线通过仿真镜头在虚拟传感器上形成图像的图像形成值，并且将图像形成值加到虚拟传感器上的处理，作为聚光处理。

图52是示出用于确定来自聚光处理内的图像形成值的处理的示例的图。

应该注意，在图52中，为了避免附图变得复杂，将仿真镜头的镜头区域划分为为5×5个镜头区域单元。

如上文参照图43所述，从真实空间点发射并且入射到仿真镜头的光线可能不一定到达虚拟传感器。换言之，在入射到仿真镜头的光线中，存在到达虚拟传感器的光线和没有到达虚拟传感器的光线。

现在，将从真实空间点发射并且入射到仿真镜头的光线中的到达虚拟传感器的光线入射到其上的镜头区域单元的区称为有效光线区域。

在图52中，关于从某真实空间点(x，y，z)发射的光线，5×5个镜头区域单元中的中心部分的3×3个镜头区域单元rp1至rp9是有效的光线区。

此外，在图52中，从真实空间点(x，y，z)发射并且通过镜头区域的网格点p#i的光线到达的分布区域到达点是记录有PSF强度分布的分布区域的分布区域单元q#i。

可以从PSF角分量信息识别变成由从真实空间点(x，y，z)发射并且通过镜头区域的网格点p#i的光线到达的分布区域到达点的分布区域单元q#i。

在图52中，从真实空间点(x，y，z)发射并且通过镜头区域单元rp1的光线BL到达PSF强度分布(其中已记录有分布区域)的对应区域rq1。

这里，镜头区域单元rp1是在网格点p1、p2、p5和p6处具有顶点的镜头区域单元。

此外，在图52中，从真实空间点(x，y，z)发射并且通过网格点p1、p2、p5和p6的光线到达分布区域的其中记录有PSF强度分布的分布区域单元q1、q2、q5和q6。在分布区域单元q1、q2、q5和q6处具有顶点的区域是对应区域rq1。

根据PSF角分量信息，认识到从真实空间点(x，y，z)发射并且通过网格点p1、p2、p5和p6的光线分别到达分布区域的其中记录有PSF强度分布的分布区域单元q1、q2、q5和q6。因此，认识到通过在网格点p1、p2、p5和p6处具有顶点的镜头单元rp1的光线BL到达在分布区域单元q1、q2、q5和q6处具有顶点的对应区域rq1。

在图52中，对应区域rq#j是从真实空间点(x，y，z)发射并且通过镜头区域单元rp#j的光线的对应区域。

聚光处理部38使用PSF角分量信息来指定由从真实空间点(x，y，z)发射并且通过镜头区域单元rp1的光线BL要到达的对应区域rq1。

然后，聚光处理部38确定分配给光线BL的亮度和对应区域rq1中的PSF强度分布、即记录在构成对应区域rq1的分布区域单元(的位置)中的PSF强度分布的乘积作为当光线BL通过仿真镜头在虚拟传感器上形成图像时的图像形成值。

如上所述，由于光线BL的图像形成值是分配给光线BL的亮度和记录在构成对应区域rq1的每个分布区域单元中的PSF强度分布的乘积，因此这样的图像形成值具有其粒度是分布区域单元的分布。

聚光处理部38还类似地确定关于从真实空间点(x，y，z)发射并且通过除镜头区域单元rp1以外的镜头区域单元的光线的图像形成值。

应当注意，从真实空间点(x，y，z)发射并且入射到5×5镜头区域单元的光线中，入射到不是有效光线区域的镜头区域单元的那些光线(这样的光线在下文也称为无效光线)不到达虚拟传感器。因此，这样的无效光线入射到其上的镜头区域单元不具有要由无效光线达到的对应区域。因此，只有关于通过形成有效光线区域的镜头区域单元rp1至rp9的光线才能确定图像形成值。

图53是示出用于确定聚光处理中的图像形成值的处理的另一示例的图。

应该注意，在图53中，由相同的附图标记表示如图52所示那样的元件。

在图53中，从真实空间点(x，y，z)发射的光线未到达5×5镜头区域单元的在作为有效光线区域的中心部分处的3×3镜头区域单元rp1至rp9中的镜头区域单元rp7至rp9，这是因为它们被存在于相对于真实空间点(x，y，z)的该侧的对象阻挡。

因此，在图53中，基本上仅关于通过来自形成有效光线区域的镜头区域单元rp1至rp9中的由从真实空间点(x，y，z)发射的光线到达的镜头区域单元rp1至rp6的每个光线来确定图像形成值(的分布)。

图54是示出用于聚光处理中的将图像形成值(的分布)加到虚拟传感器上的处理的示例的图。

如上文参照图52所述，从真实空间点(x，y，z)发射的光线的图像形成值表示其粒度是分布区域单元的分布。现在，假设为了便于描述，将从真实空间点(x，y，z)发射的光线的图像形成值的分布记录在其中记录有用于确定图像形成值的PSF强度分布的分布区域中。换言之，假设从真实空间点(x，y，z)发射的光线的图像形成值以分布区域单元的单位记录在其中记录有用于确定图像形成值的PSF强度分布的分布区域中。

聚光处理部38关于真实空间点(x，y，z)使用像面间距调整分布区域的尺度，以使得其中记录有从真实空间点(x，y，z)发射的光线的图像形成值的分布的分布区域的尺度与虚拟传感器的尺度一致。

具体地，如果假设像面间距为IP而虚拟传感器的像素间距为PP，则聚光处理部38进行用于将其中记录有光线的图像形成值的分布的分布区域缩小(扩大)到IP/PP倍的处理作为分布区域的尺度的调整。

此外，聚光处理部38根据由对于真实空间点(x，y，z)的像面偏移信息表示的像面偏移位置，来进行对虚拟传感器上的从真实空间点(x，y，z)发射的光线通过仿真镜头所会聚的位置的定位。

具体地，聚光处理部38在调整尺度之后的其中记录有从真实空间点(x，y，z)发射的光线的图像形成值的分布区域和虚拟传感器之间进行定位，以使得分布区域的中心点CP和虚拟传感器的像面偏移位置相互一致。

在聚光处理部38预先对其中记录有图像形成值的分布的分布区域的尺度进行调整并且除此之外还以如上所述的方式在调整尺度之后的分布区域和虚拟传感器之间进行定位之后，聚光处理部38将分布在分布区域中的图像形成值以虚拟传感器的像素为单位加到虚拟传感器上。

应该注意，可以以任何顺序进行或者可以同时进行图像形成值(其中记录有图像形成值的分布区域)的尺度的调整和定位。

图55是示出图3的聚光处理部38的配置示例的框图。

参照图55，聚光处理部38包括真实空间点选择部141、图像形成值计算部142、尺度调整部143、图像形成位置识别部144和相加部145。

真实空间点选择部141参照从视差信息生成部31(参照图3)提供给聚光处理部38的多层视差图，以从最大真实空间点数N×DPN个真实空间点中选择注意真实空间点，所述最大真实空间点数N×DPN个真实空间点与构成参考图像HD1的N个像素pix1至pix#N和可以被登记到多层视差图的DPN个视差d的组合对应。

图像形成值计算部142使用从仿真镜头信息生成部34提供给聚光处理部38的镜头信息内的PSF强度分布和PSF角分量信息，来确定其中记录有由真实空间点选择部131从入射光线再现部36提供给聚光处理部38的光线中选择的从注意真实空间点发射的光线的图像形成值的分布的分布区域，并且将分布区域提供给尺度调整部143。

尺度调整部143使用从仿真镜头信息生成部34提供给聚光处理部38的镜头信息内的像面间距，来调整其中记录有从图像形成值计算部142提供的图像形成值的分布的分布区域的尺度并且将调整后的尺度的分布区域提供给图像形成位置识别部144。

图像形成位置识别部144从自仿真镜头信息生成部34提供给聚光处理部38的镜头信息内的像面偏移信息中识别作为在通过虚拟透镜的光线在其上形成图像的虚拟传感器上的图像形成位置的像面偏移位置，并且将识别到的像面偏移位置与来自尺度调整部143的调整尺度之后的分布区域一起提供给相加部145。

相加部145具有作为其中内置的虚拟传感器的存储器，并且取决于来自图像形成位置识别部144的像面偏移位置而根据图像形成位置识别部144和虚拟传感器对在调整尺度之后的分布区域进行定位(识别虚拟传感器上的在其处要加图像形成值的位置)。

此外，相加部145(累积地)将使用虚拟传感器进行定位之后在分布区域中记录的图像形成值以虚拟传感器的像素为单位加到虚拟传感器上。

然后，相加部145提供其中通过相加在虚拟传感器上即在存储器上获得的图像形成值的结果来提供像素值的图像作为仿真图像至显示装置13(图1)。

图56是示出由图55的聚光处理部38进行的聚光处理的示例的流程图。

应该注意，在本实施方式中，为了减少镜头信息的信息量，仅针对如上文参照图50所述的注意聚焦位置生成镜头信息。因此，在假设将聚焦位置设置为当生成镜头信息时的注意聚焦位置的情况下进行聚光处理。

然而，可以针对Fmax个聚焦位置中的每个聚焦位置预先生成镜头信息(图37)。在这种情况下，聚光处理部38设置注意聚焦位置，并且可以使用关于注意聚焦位置的镜头信息来进行聚光处理。

或者，在聚光处理部38设置注意聚焦位置之后，仿真镜头信息生成部37可以生成关于注意聚焦位置的镜头信息。

在步骤S151处，真实空间点选择部141获取从视差信息生成部31提供的多层视差图。此后，处理进行到步骤S152。

在步骤S152处，真实空间点选择部141从参考图像HD1的像素中选择尚未被选择为注意像素的像素作为注意像素。此后，处理进行到步骤S153。

在步骤S153处，真实空间点选择部141从登记在来自视差信息生成部31的多层视差图中的注意像素的视差中选择尚未被选择为注意视差的一个视差作为注意视差。此后，处理进行到步骤S154。

在步骤S154处，真实空间点选择部141选择与具有注意视差的注意像素对应的真实空间点作为注意真实空间点。此后，处理进行到步骤S155。

在步骤S155处，图像形成值计算部142从仿真镜头的镜头区域单元中选择尚未被选择为注意镜头区域单元的一个镜头区域单元作为注意镜头区域单元。此后，处理进行到步骤S156。

在步骤S156处，图像形成值计算部142从自入射光线再现部36提供的光线中获取从注意真实空间点开始朝向注意镜头区域单元的光线作为注意光线。此后，处理进行到步骤S157。

在步骤S157处，图像形成值计算部142判定注意光线是否从注意真实空间点到达仿真镜头。

如果在步骤S157处判定注意光线到达仿真镜头，也就是说，当分配给注意光线的视差(由上文参照图33至图35所述的入射光线再现处理所分配的视差)等于注意视差时，处理进行到步骤S158。

在步骤S158处，图像形成值计算部142、尺度调整部143、图像形成位置识别部144和相加部145针对到达模拟镜头的注意光线、即作为碰撞判定的结果而剩下的注意光线进行下文所述的光线相加处理。此后，处理进行到步骤S159。

另一方面，如果在步骤S157处确定注意光线未到达仿真镜头，也就是说，如果分配给注意光线的视差(由上文参照图33至图35所述的入射光线再现处理所分配的视差)不等于注意视差，则处理跳过步骤S158并进行到步骤S159。因此，当注意光线未到达模拟镜头时，对于注意光线，不进行光线相加处理。

在步骤S159处，图像形成值计算部142判定仿真镜头的所有镜头区域单元是否都被选择为注意镜头区域单元。

如果在步骤S159处判定仿真镜头的所有镜头区域单元尚未都被选择为注意镜头区域单元，则处理返回到步骤S155，此后，重复类似的处理区域。

另一方面，如果在步骤S159处判定仿真镜头的所有镜头区域单元都被选择为注意镜头区域单元，则处理进行到步骤S160。

在步骤S160处，真实空间点选择部141判定登记在多层视差图中的注意像素的所有视差是否都被选择为注意视差。

如果在步骤S160处判定登记在多层视差图中的注意像素的所有视差尚未都被选择为注意视差，则处理返回到步骤S153，此后，重复类似的处理。

另一方面，如果在步骤S160处判定登记在多层视差图中的注意像素的所有视差都被选择为注意视差，则处理进行到步骤S161。

在步骤S161处，真实空间点选择部141判定参考图像HD1的所有像素是否都被选择为注意像素。

如果在步骤S161处判定参考图像HD1的所有像素尚未都被选择为注意像素，则处理返回到步骤S152。此后，重复类似的处理。

另一方面，如果在步骤S161处判定参考图像HD1的所有像素都被选择为注意像素，则相加部145将通过上述处理获得并且具有由在虚拟传感器上对图像形成值的相加结果提供的像素值的图像作为仿真图像提供给显示装置13(图1)，从而结束聚光处理。

图57是示出在图56的步骤S158处进行的光线相加处理的示例的流程图。

在步骤S171处，图像形成值计算部142使用如上文参照图52和图53所述的来自仿真镜头信息生成部37的关于注意真实空间点(与注意真实空间点对应的注意像素和注意视差)的关于PSF角分量信息和注意聚焦位置f的PSF强度分布(其上记录有PSF强度分布的分布区域)，来确定作为分布区域上的在其处记录了由注意光线到达的PSF强度分布的位置的对应区域。

此外，如上文参照图52至53所述，图像形成值计算部142确定对应区域的PSF强度分布和分配给注意光线的亮度(通过上文参照图33至图35所述的入射光线再现处理所分配的亮度)的乘积作为注意光线的图像形成值(的分布)。

然后，图像形成值计算部142将其中记录有注意光线的图像形成值的分布区域提供给尺度调整部143。此后，处理从步骤S171进行到步骤S172。

在步骤S172处，如上文参照图54所述，尺度调整部143使用关于注意真实空间点的关于来自仿真镜头生成部34的注意聚焦位置f的像面间距来缩小或放大其中记录了来自图像形成值计算部142的图像形成值的分布的分布区域，以将分布区域的尺度调整为与虚拟传感器的尺度一致的尺度。

此外，尺度调整部143通过图像形成位置识别部144将调整尺度之后的分布区域提供给相加部145。此后，处理从步骤S172进行到步骤S173。

在步骤S173处，图像形成位置识别部144从来自镜头信息生成部34的关于注意真实空间点的关于注意聚焦位置f的注意像面偏移信息中识别作为虚拟传感器上的在其处注意光线通过仿真镜头形成图像的图像形成位置的像面偏移位置，并且将像面偏移位置提供给相加部145。此后，处理进行到步骤S174。

在步骤S174处，相加部145根据来图像形成位置识别部144的像面偏移位置，来在由尺度调整部143获得的在调整尺度之后的分布区域和虚拟传感器之间进行定位。

具体地，相加部145在调整尺度之后的分布区域和虚拟传感器之间进行定位，以使得调整尺度之后的分布区域的中心点CP(图54)和虚拟传感器的像面偏移位置相互一致。

然后，相加部145将使用虚拟传感器进行定位之后的分布区域中记录的图像形成值以虚拟传感器的像素为单位加到虚拟传感器上。具体地，相加部145将作为虚拟传感器的存储器的存储值和图像形成值相加，并且使用加法获得的相加值重写存储器的存储值。应该注意，当开始聚光处理(图56)时，将作为虚拟传感器的存储器的存储值初始化为零。

光线相加处理由此结束，并且处理返回。

如上所述，在镜头仿真部35(图3)中，入射光线再现部46再现由于碰撞判定而剩下并且进入虚拟镜头的光线。

此外，仿真镜头信息生成部37生成镜头信息，即PSF强度分布、像面间距、PSF角分量信息和像面偏移信息。

此外，聚光处理部38确定PSF强度分布和PSF角分量信息表示的PSF强度分布的位置处的光线的亮度的乘积作为当由于碰撞判定而剩下的每条光线通过仿真镜头在虚拟传感器上形成图像时的图像形成值。

此外，聚光处理部38基于像面间距来调整光线的图像形成值的分布的尺度，以使得尺度与虚拟传感器的尺度一致。

然后，聚光处理部38根据像面偏移位置来对虚拟传感器上的在其处要加图像形成值的位置进行定位，并且将图像形成值加到虚拟传感器上，然后生成其中像素值是由通过相加获得的相加值而给出的仿真图像。

根据如上所述的镜头仿真部35的这样的处理，聚光等价于通过数字信号处理再现由实际光学镜头进行的聚光，因此，可以生成再现(反映)模糊度或实际光学镜头的其他聚光特性的仿真图像。

因此，即使用户没有购买实际光学镜头，也可以享受用户使用光学镜头进行图像拾取的高品质图像拾取体验(使用高品质光学镜头进行的图像拾取的体验)。

<减少镜头信息的信息量>

图58是示出减少镜头信息的信息量的概要的图。

图58的A示出了来自实际光学镜头的镜头信息内的PSF强度分布的示例。

具体地，图58的A示意性地示出了实际图像传感器上的在其处光线通过实际光学镜头形成图像的图像形成位置和施加于在该图像形成位置处形成图像的光线的PSF强度分布之间的关系。

如上文参照图38所述，PSF强度分布根据聚焦位置f、图像形成位置处的图像高度(到光轴的距离)和到图像拾取对象(真实空间点)的距离(视差)而不同。

具体地，例如，如果实际图像传感器上的图像形成位置的图像高度(在从图像形成位置处形成图像的真实空间点到光轴的距离)不同，则施加至在图像形成位置处形成图像的从真实空间点发射的光线的实际光学镜头的PSF强度分布不同。

因此，在实际的图像传感器中，如果图像形成位置的图像高度不同，则实际光学镜头的PSF强度分布提供了不同的无限信息。

虽然PSF强度分布在图像形成位置的图像高度不同的情况下以如上所述的方式不同，但是反过来说，在图像高度相同的情况下，也就是说，在真实空间点位于到光轴相同的距离处的情况下，PSF强度分布是共有的，除非聚焦位置f和视差(到真实空间点的距离)是变化的。

具体地，为了简化描述，现在假设聚焦位置f和视差是固定的。

当将关于与位置pos1对应的真实空间点的PSF强度分布围绕光轴旋转预定角度a时，关于与将图像传感器的某图像高度r的某位置pos1围绕光轴旋转预定角a之后的位置pos2对应的真实空间点的PSF强度分布与旋转之后的PSF强度分布一致。

如上所述，由于当将关于与位置pos1对应的真实空间点的PSF强度分布围绕光轴旋转预定角度a时，关于与位置pos2对应的真实空间点的PSF强度分布与旋转之后的PSF强度分布一致，因此关于与位置pos2对应的真实空间点的像面间距和关于与位置pos1对应的真实空间点的像面间距一致。

此外，当将关于与位置pos1对应的真实空间点的PSF角分量信息围绕光轴旋转预定角度a时，关于与位置pos2对应的真实空间点的PSF角分量信息与旋转之后的PSF角分量信息一致。

此外，当将关于与位置pos1对应的真实空间点的像面偏移信息围绕光轴旋转预定角度a时，关于与位置pos2对应的真实空间点的像面偏移信息(由像面偏移信息表示的像面偏移位置)与旋转之后的像面偏移信息一致。

如上所述，在聚焦位置f和视差固定的情况下，镜头信息在与图像传感器的在其处图像高度相同的位置对应的真实空间点间是共用的。

因此，仿真镜头信息生成部37可以通过不针对与虚拟传感器的所有像素对应的真实空间点而仅针对与作为虚拟传感器的平面的一部分的多个位置的多个信息点对应的真实空间点生成镜头信息来减小镜头信息的信息量。

具体地，仿真镜头信息生成部37将例如在虚拟传感器的平面中从虚拟传感器的中心(光轴)延伸的预定的一个轴(的真实空间点)确定为用于镜头信息的生成的目标的镜头信息生成轴，并且在镜头信息生成轴上设置多个位置(与多个位置对应的真实空间点)作为用于生成镜头信息的信息点。

然后，仿真镜头信息生成部37生成关于镜头信息生成轴的信息点(与信息点对应的真实空间点)的镜头信息。

图58的B示出镜头信息生成轴的示例。

在图58的B中，从虚拟传感器的中心沿向上方向延伸的一个轴形成镜头信息生成轴。

当围绕虚拟传感器的中心进行旋转以使得镜头信息生成轴旋转等于旋转的角度的旋转角度时，可以将对于如上所述这样的镜头信息生成轴的信息点生成的镜头信息应用于例如针对从与虚拟传感器的与旋转之后的镜头信息生成轴一致的位置对应的真实空间点发射的光线的聚光处理。

图59是示出镜头信息生成轴的特定示例的图。

现在，如图59所示，从虚拟传感器的中心开始朝向虚拟传感器的对角线处的一个像素的轴称为对角轴。

在图59中，诸如15个位置的多个位置以相等的距离被设置作为对角轴上的信息位置。

此外，在图59中，设置信息点的对角轴围绕虚拟传感器的中心旋转，以使得其指向向上的方向，并且旋转之后的对角轴是镜头信息生成轴。

因此，在图59中，镜头信息生成轴是具有宽度为0且垂直长度等于虚拟传感器的对角线长度的1/2(在对角线位置处的像素之间的距离)并且从虚拟传感器的中心沿垂直方向向上延伸(向上方向)的线段。

仿真镜头信息生成部37可以仅针对与如上所述的这样的镜头信息生成轴的信息点对应的真实空间点生成镜头信息。与镜头信息生成轴的信息点对应的真实空间点是由x＝0表示的平面中的点。

应该注意，虽然针对镜头信息内的PSF强度分布、PSF角分量信息和像面间距，15个或类似数量的信息点是足够的，但是对于像面偏移信息，15个或类似数量的信息点有时会降低在聚光处理中对仿真镜头的聚光特性的再现性。

因此，对于像面偏移信息，可以采用通过以虚拟传感器的像素间距划分从虚拟传感器的中心到位于对角线(虚拟传感器的图像高度的最大值)处的一个像素的距离而获得的值(接近虚拟传感器的对角线上的像素数的1/2的值)等作为要设置在镜头信息生成轴上的信息点的数量。

这里，如上文参照图40、图41、图45和图48所述，对于Fmax个聚焦位置f中的每个聚焦位置，如果针对与构成虚拟传感器的N个像素pix#1至pix#N与可以被登记到视差图中的DPN个视差d的N×DPN个组合对应的真实空间点生成镜头信息，则镜头信息的阵列的数量变如下所述的巨大数量。

具体地，如上文参考图40所述，PSF强度分布的阵列的数量至多为Fmax×N×DPN×PX×PY。如上文参考图41所述，像面间距的阵列的数量至多为Fmax×N×DPN。如上文参照图45所述，PSF角分量信息的阵列的数量至多为Fmax×N×DPN×(PX+1)×(PY+1)。如上文参照图48所述，像面偏移信息的阵列的数量至多为Fmax×N×DPN。

应该注意，如上文参考图42所述，PX和PY分别表示构成镜头区域的镜头区域单元的水平(水平方向)数量和垂直(垂直方向)数量。

另一方面，如果将镜头信息生成轴上的信息点的数量表示为Ninfo，则镜头信息的阵列数量如下所述。

具体地，PSF强度分布的阵列的数量至多为Fmax×Ninfo×DPN×PX×PY。像面间距的阵列的数量至多为Fmax×Ninfo×DPN。PSF角分量信息的阵列的数量至多为Fmax×Ninfo×DPN×(PX+1)×(PY+1)。像面偏移信息的阵列的数量至多为Fmax×Ninfo×DPN。

因此，当仅针对镜头信息生成轴的信息点生成镜头信息时，对于Fmax个聚焦位置f中的每个聚焦位置，与在针对与构成虚拟传感器的N个像素pix1至pix#N和可以登记到视差图中的DPN个视差d的N×DPN个组合对应的真实空间点生成的镜头信息的情况下相比，可以将镜头信息的信息量减小到Ninfo/N。

例如，如果虚拟传感器的像素数N为1892×1052并且信息点数Ninfo为15，则可以将镜头信息的信息量减少到15/(1892×1052)。

因此，使用镜头信息生成轴，可以以减少的数据量来再现仿真镜头的模糊度或其他聚光特性。

图60是示出在仅针对镜头信息生成轴的信息点生成镜头信息的情况下的图3的仿真镜头信息生成部37的配置示例的框图。

应该注意，在图60中，用相同的附图标记表示与图49中的元件类似的元件，并且在下面的描述中适当地省略对它们的描述。

参照图60，仿真镜头信息生成部37包括真实空间点选择部231、信息计算部132和聚焦位置选择部133。

因此，图60的仿真镜头信息生成部37与图49的情况的共同之处在于包括信息计算部132和聚焦位置选择部133。

然而，图60的仿真镜头信息生成部37与图49的情况的不同之处在于包括代替真实空间点选择部131的真实空间点选择部231。

真实空间点选择部231参照从视差信息生成部31(图3)提供的多层视差图，以从与虚拟传感器上的镜头信息生成轴的Ninfo个信息点和可以被登记到多层视差图中的DPN个视差d的组合对应的Ninfo×DPN个真实空间点中选择注意真实空间点。

图61是示出由图60的仿真镜头信息生成部37进行的仿真镜头信息生成处理的示例的流程图。

在步骤S211处，与图50的步骤S141处类似，聚焦位置选择部133从Fmax个聚焦位置f中选择注意聚焦位置。此后，处理进行到步骤S212。

在步骤S212处，与图50的步骤S142处类似，真实空间点选择部231获取从视差信息生成部31提供的多层视差图。此后，处理进行到步骤S213。

在步骤S213处，真实空间点选择部231设置要用于生成镜头信息内的PSF强度分布、PSF角分量信息和像面间距的镜头信息生成轴。此后，处理进行到步骤S214。

具体地，真实空间点选择部231设置从被设置为虚拟镜头的中心的开始点开始的沿竖直方向(向上方向)的镜头信息生成轴，该镜头信息生成轴具有预先确定的预定数量(例如15个等)并且均匀地划分例如虚拟传感器的最大图像高度(从虚拟传感器的中心到对角线上的一个像素的距离)的信息点。

在步骤S214处，真实空间点选择部231从镜头信息生成轴的信息点中选择尚未被选择为注意信息点的一个信息点作为注意信息点。此后，处理进行到步骤S215。

在步骤S215处，真实空间点选择部231从被登记到来自视差信息生成部31的多层视差图中并且可以被登记到在注意信息点的位置处的像素(靠近注意信息点的像素)中的视差中选择尚未被选择为注意视差的一个视差作为注意视差。此后，处理进行到步骤S216。

在步骤S216处，真实空间点选择部231选择与具有注意视差的注意信息点(虚拟传感器的平面上的注意信息点的位置)对应的真实空间点作为注意真实空间点。此后，处理进行到步骤S217。

在步骤S217处，信息计算部132以与图50的步骤S146处类似的方式确定对于注意真实空间点、即对于一组注意聚焦位置、注意信息点和注意视差的PSF强度分布、像面间距和PSF角分量信息。此后，处理进行到步骤S218。

在步骤S218处，真实空间点选择部231判定可以被登记到多层视差图中的所有视差是否都被选择为注意视差。

如果在步骤S218处判定可以被登记到多层视差图中的所有视差尚未都被选择为注意视差，则处理返回到步骤S215，此后，重复类似的处理。

另一方面，如果在步骤S218处判定可以被登记到多层视差图中的所有视差都被选择为注意视差，则处理进行到步骤S219。

在步骤S219处，真实空间点选择部231判定镜头信息生成轴的所有信息点是否都被选择为注意信息点。

如果在步骤S219处判定镜头信息生成轴的所有信息点尚未都被选择为注意信息点，则处理返回到步骤S214，此后，重复类似的处理。

另一方面，如果在步骤S219处判定镜头信息生成轴的所有信息点都被选择为注意信息点，则处理进行到步骤S220，此后，生成像面偏移信息。

在步骤S220处，真实空间点选择部231设置要用于生成镜头信息内的像面偏移信息的镜头信息生成轴。此后，处理进行到步骤S221。

具体地，真实空间点选择部231设置从设置为虚拟镜头的起始点开始沿垂直方向的镜头信息生成轴，在该镜头信息生成轴上，例如，以等距离设置数量等于将通过将虚拟传感器的最大图像高度除以虚拟传感器的像素间距而获得的值的数量的信息点。

在步骤S221处，真实空间点选择部231从镜头信息生成轴的信息点中选择尚未被选择为注意信息点的一个信息点作为注意信息点。此后，处理进行到步骤S222。

在步骤S222处，真实空间点选择部231从被登记到来自视差信息生成部31的多层视差图中并且可以被登记到在注意信息点的位置处的像素中的视差中选择尚未被选择为注意视差的一个视差作为注意视差。此后，处理进行到步骤S223。

在步骤S223处，真实空间点选择部231选择与具有注意视差的注意信息点对应的真实空间点作为注意真实空间点。此后，处理进行到步骤S224。

在步骤S224处，与图50的步骤S146处类似，信息计算部132确定对于注意真实空间点、即对于一组注意聚焦位置、注意信息点和注意视差的像面偏移信息。此后，处理进行到步骤S225。

在步骤S225处，真实空间点选择部231判定可以被登记到多层视差图中的所有视差是否都被选择为注意视差。

如果在步骤S225处判定可以被登记到多层视差图中的所有视差尚未都被选择为注意视差，则处理返回到步骤S222，此后，重复类似的处理。

另一方面，如果在步骤S225处判定可以被登记到多层视差图中的所有视差都被选择为注意视差，则处理进行到步骤S226。

在步骤S226处，真实空间点选择部231判定镜头信息生成轴的所有信息点是否都被选择为注意信息点。

如果在步骤S226处判定镜头信息生成轴的所有信息点尚未都被选择为注意信息点，则处理返回到步骤S221，此后，重复类似的处理。

另一方面，如果在步骤S226处判定镜头信息生成轴的所有信息点都被选择为注意信息点，则仿真镜头信息生成处理结束。

在图61的仿真镜头信息生成处理中，以如上所述的方式确定关于与可以被登记到多层视差图中的视差和镜头信息生成轴的信息点的集合对应的真实空间点的镜头信息。

图62是示出使用如上所述的方式针对镜头信息生成轴的信息点(与信息点对应的真实空间点)生成的镜头信息进行聚光处理的示例的图。

作为用于使用针对镜头信息生成轴的信息点生成的镜头信息进行聚光处理的方法，用于旋转镜头信息的方法(下文称为镜头信息旋转方法)和用于旋转要用于聚光处理的光线的方法(下文称为光线旋转方法)可用。

现在，当虚拟传感器(的像素)或镜头信息生成轴围绕虚拟传感器的中心旋转以使得例如与某个真实空间点rsp对应的虚拟传感器的像素(位置)位于镜头信息生成轴上时的角度称为一致旋转角ALPHA。

与真实空间点rsp对应的虚拟传感器的像素和镜头信息生成轴围绕虚拟传感器的中心形成一致旋转角ALPHA。

在镜头信息旋转方法和光线旋转方法中，当虚拟传感器(的像素)或镜头信息生成轴绕虚拟传感器的中心旋转一致旋转角ALPHA，以使得虚拟传感器的与真实空间点rsp对应的像素位于镜头信息生成轴上时，检测到最靠近虚拟传感器的与真实空间点rsp对应的像素的信息点(下文称为对应信息点)。

这里，将围绕虚拟传感器的中心旋转时旋转角度的顺时针方向确定为正方向。在这种情况下，通过围绕虚拟传感器的中心将镜头信息生成轴旋转一致旋转角+ALPHA，或者通过围绕虚拟传感器的中心将虚拟传感器旋转一致旋转角-ALPHA，虚拟传感器的与真实空间点rsp对应的像素被定位在镜头信息生成轴上。

在下文中，为了简化描述，假设当从镜头信息生成轴和虚拟传感器之间检测对应信息点时，例如将镜头信息生成轴旋转一致旋转角+ALPHA。

在镜头信息旋转方法和光线旋转方法中，当镜头信息生成轴围绕虚拟传感器的中心旋转一致旋转角+ALPHA时，将最靠近虚拟传感器的与真实空间点rsp对应的像素的信息点检测为对应信息点。

然后，将关于对应信息点(与对应信息点对应的真实空间点)的镜头信息应用于从真实空间点rsp发射的光线来进行聚光处理。

然而，在镜头信息旋转方法中，将关于对应信息点的镜头信息(镜头信息内的PSF强度分布、PSF角分量信息和像面偏移信息)旋转一致旋转角+ALPHA，并且将其应用于从真实空间点rsp发射的光线。

同时，在光线旋转方法中，将从真实空间点rsp发射的光线旋转一致旋转角度-ALPHA，并且将关于对应信息点的镜头信息应用于旋转之后的光线。

图62示出通过镜头信息旋转方法的聚光处理的示例。

图62的A示出在聚光方法中计算图像形成值的示例，其中，虚拟传感器的与注意真实空间点对应的注意像素是镜头信息生成轴上的像素(下文称为轴上像素)。

具体地，图62的A示出关于关于虚拟传感器的与注意真实空间点对应的注意像素的对应信息点的PSF强度分布(其中记录有其分布区域)的示例。

在图62的A中，入射到镜头区域单元U1的光线到达PSF强度分布的对应区域UC1。

在虚拟传感器的与注意真实空间点对应的注意像素是轴上像素的情况下，对于从注意真实空间点发射并且入射到镜头区域单元U1的光线，关于对应信息点到注意像素的PSF强度分布被直接使用(不旋转)，并且将分配给入射到镜头区域单元U1的光线的亮度与相应区域UC1的PSF强度分布的乘积确定为图像形成值。

图62的B示出在聚光处理中计算图像形成值的示例，其中，虚拟传感器的与真实空间点对应的注意像素是当将镜头信息生成轴围绕虚拟传感器的中心旋转例如90度时由镜头信息生成轴提供的直线上的像素(该像素也称为90度旋转像素)。

在62的B中，作为注意像素的90度旋转像素的一致旋转角+ALPHA为90度。

现在，假设对应信息点到作为注意像素的90度旋转像素与图62的A的情况下的对应信息点到轴上像素一致。

在这种情况下，根据镜头信息旋转方法，对于从注意真实空间点发射的光线，当将关于对应信息点到注意像素的PSF强度分布围绕其中记录有PSF强度分布的分布区域的中心旋转例如作为一致旋转角+ALPHA的90度时，使用旋转之后的PSF强度分布来确定图像形成值。

对于旋转之后的PSF强度分布(其上记录有分布区域)，当镜头区域单元U1围绕光轴旋转作为一致旋转角+ALPHA的90度时，入射到位于旋转之后的镜头区域单元U1的位置处的镜头区域单元U2的光线到达PSF强度分布的对应区域UC1。

因此，在注意像素为90度旋转像素的情况下，在镜头信息旋转方法中确定分配给入射到镜头区域单元U2的光线的亮度与对应区域UC1的PSF强度分布的乘积作为从注意真实空间点发射并且入射到镜头区域单元U2的光线的图像形成值。

图63示出根据光线旋转方法的聚光处理的示例。

在虚拟传感器的与注意真实空间点对应的注意像素是轴上像素的情况下，在光线旋转方法中，与在镜头信息旋转方法中类似地确定从注意真实空间点发射的光线的图像形成值。

另一方面，在虚拟传感器的与注意真实空间点对应的注意像素例如为90度旋转像素的情况下，在光线旋转方法中，当将从注意真实空间点发射的光线旋转一致旋转角-ALPHA＝-90度时旋转之后的光线用于确定光线的图像形成值。

图63的A示出从注意真实空间点发射的光线的旋转。

在虚拟传感器的与注意真实空间点对应的注意像素是90度旋转像素的情况下，入射到仿真镜头的光线围绕光轴旋转一致旋转角-ALPHA＝-90度。

在图63的A中，在旋转光线之前，光线R1从注意真实空间点入射到镜头区域单元U1，而另一光线R2从注意真实空间点入射到镜头区域单元U2。

镜头区域单元U2被定位在当镜头区域单元U1围绕光轴旋转一致旋转角+ALPHA＝+90度时的位置处。

因此，如果要入射到仿真镜头的光线围绕光轴旋转一致旋转角-ALPHA＝-90度，则在旋转之前已入射到镜头区域单元U2的光线R2现在进入镜头区域单元U1。

图63的B示出了关于作为注意像素的90度旋转像素的对应信息点有关的PSF强度分布(其中记录有分布区域)的示例。

在图63的B中，与图62的A的情况类似，入射到镜头区域单元U1的光线到达PSF强度分布的对应区域UC1。

由于旋转之后的光线R2进入镜头区域单元U1，因此将光线R2的图像形成值VF确定为光线R2的亮度与对应区域UC1到镜头区域单元U1的PSF强度分布的乘积。

图63的C示出光线R2的图像形成值VF的反向旋转的示例。

在光线旋转方法中，当将图像形成值VF加到虚拟传感器时，图像形成值VF(其上记录有分布区域)反向旋转光线已绕光轴旋转的一致旋转角-ALPHA＝-90度。

具体地，图像形成值VF(其中记录有分布区域)在围绕光轴旋转了一致旋转角+ALPHA＝+90度之后被加到虚拟传感器上。

在使用针对镜头信息生成轴生成的镜头信息进行的聚光处理中，可以采用镜头信息旋转方法或者可以采用光线旋转方法。

根据镜头信息旋转方法，可以使聚光处理所需的算术运算量比通过光线旋转法的算术运算量小。

然而，在镜头信息旋转方法中，可能劣化仿真镜头的聚光特性的再现性。

具体地，在镜头信息旋转方法中，镜头信息(像面间距除外)旋转一致旋转角+ALPHA。

在这种情况下，例如由在旋转之后的镜头信息内的PSF角分量信息表示的分布区域到达点AP#i(图44)的坐标系是以一致旋转角度+ALPHA倾斜的坐标系。因此，除了一致旋转角+ALPHA为90度的整数倍的情况之外，在可能变成由旋转之前的PSF角分量信息表示的分布区域到达点AP#i的位置和可能变成由旋转之后的PSF角分量信息表示的分布区域到达点AP#i的位置之间发生位移。

由于由PSF角分量信息表示的分布区域到达点AP#i表示由光线以分布区域的分布区域单元(图40)的粒度所达到的PSF强度分布上的位置，取决于粒度，出现在可能变成由旋转之前的PSF角分量信息表示的分布区域到达点AP#i的位置和可能变成由旋转之后的PSF角分量信息表示的分布区域达到点AP#i的位置之间的位移可能对仿真镜头的聚光特性的再现产生不良影响。

具体地，在由旋转之后的PSF角分量信息表示的对应区域(图44)中，PSF强度分布有时与某其他对应区域的PSF强度分布部分交叠或者最初应被包括在某对应区域中的PSF强度分布的一部分有时从对应区域缺失。

在PSF强度分布的交叠度或缺失度高的情况下，仿真镜头的聚光特性的再现性劣化。

因此，对于聚光处理，可以采用光线旋转法。

然而，如果在由光线达到的PSF强度分布上由分布区域到达点AP#i表示的位置的粒度足够精细，则即使将镜头信息旋转方法用于聚光处理，也可以充分精确地再现仿真镜头的聚光特性。因此，在这种情况下，可以采用镜头信息旋转方法。

图64是示出使用在镜头信息生成轴上生成的镜头信息进行聚光处理的聚光处理部38的配置示例的框图。

应该注意，在图64中，用类似的附图标记表示与图55的部件类似的部件，并且在以下描述中适当地省略对它们的描述。

参照图64，聚光处理部38包括真实空间点选择部141、图像形成值计算部242、尺度调整部143、图像形成位置识别部244、相加部245和旋转处理部246。

因此，图64的聚光处理部38与图55的情况的共同之处在于聚光处理部38包括真实空间点选择部141和尺度调整部143。

然而，图64的聚光处理部38与图55的情况的不同之处在于聚光处理部38包括分别代替图像形成值计算部142、图像形成位置识别部144和相加部145的图像形成值计算部242、图像形成位置识别部244和相加部245。

此外，图64的聚光处理部38与图55的情况的不同之处在于聚光处理部38新包括旋转处理部246。

图像形成值计算部242通过镜头信息旋转方法或光线旋转方法确定其中记录从由真实空间点选择部131选择的注意真实空间点发射的光线的图像形成值的分布的分布区域，并且将分布区域提供给尺度调整部143。

具体地，图像形成值计算部242根据光线旋转方法使用从旋转处理部246提供的PSF角分量信息和PSF强度分布，来确定其中记录了从由真实空间点选择部131从自旋转处理部246提供的光线中选择从注意真实空间点发射并且旋转一致旋转角-ALPHA的光线的图像形成值的分布的分布区域，并且将分布区域提供给尺度调整部143。

或者，图像形成值计算部242根据镜头信息旋转方法使用从旋转处理部246提供的并且旋转了一致旋转角+ALPHA的PSF角分量信息和PSF强度分布，来确定其中记录了从由真实空间点选择部131选择的并且从旋转处理部246提供的光线的图像形成值的分布的分布区域，并且将分布区域提供给尺度调整部143。

图像形成位置识别部244从自旋转处理部246提供的像面偏移信息或者旋转一致旋转角+ALPHA的像面偏移信息中识别作为虚拟传感器上的在其处通过仿真镜头的光线形成图像的图像形成位置的像面偏移位置，并且将像面偏移位置和从尺度调整部143调整尺度之后的分布区域一起提供给相加部245。

相加部245进行与图55的相加部145的处理类似的处理。

具体地，相加部245具有其中内置有虚拟传感器的存储器，并且根据来自图像形成位置识别部244的像面偏移位置来进行对来自图像形成位置识别部244的尺度调整之后的分布区域和虚拟传感器的的定位。

此外，相加部245将使用虚拟传感器定位之后的分布区域中记录的图像形成值以虚拟传感器的像素为单位加到虚拟传感器上。

然后，相加部245将其中通过在虚拟传感器上、即在存储器上获得的图像形成值的相加结果给出像素值的图像作为仿真图像提供给显示装置13(图1)。

应该注意，当进行通过镜头信息旋转方法的聚光处理时，相加部245进行如上所述与图55的相加部145的处理类似的处理。

另一方面，当进行通过光线旋转方法的聚光处理时，当光线已被旋转处理部246旋转、即被旋转一致旋转角+ALPHA时，相加部245首先将定位之后的分布区域(分布区域中记录的图像形成值)反向旋转一致旋转角光线-ALPHA，然后将在旋转后的分布区域中记录的图像形成值加到虚拟传感器上。

将光线从入射光线再现部36(图3)提供给旋转处理部246，将关于镜头信息生成轴的信息点的镜头信息从仿真镜头信息生成部34(图3)提供给旋转处理部246。

当进行通过镜头信息旋转方法的聚光处理时，当旋转镜头信息生成轴以使得与由真实空间点选择部141选择的注意真实空间点对应的虚拟传感器的像素到达镜头信息生成轴上的像素时，旋转处理部246将关于来自仿真镜头信息生成部34的镜头信息生成轴的信息点的镜头信息内的PSF强度分布、PSF角分量信息和像面偏移信息旋转一致旋转角+ALPHA。

然后，旋转处理部246将旋转之后的PSF强度分布和PSF角分量信息提供给图像形成值计算部242，而将旋转之后的像面偏移信息提供给图像形成位置识别部244。

此外，旋转处理部246将来自入射光线再现部36的光线原样提供给图像形成值计算部242而不旋转它们。

另一方面，当进行通过光线旋转法的聚光处理时，旋转处理部246在虚拟传感器(的像素)被旋转以使得与由真实空间点选择部141选择的注意真实空间点对应的虚拟传感器的像素变成镜头信息生成轴上的像素时，将来自入射光线再现部36的光线转动一致旋转角-ALPHA。

然后，旋转处理部246将旋转之后的光线提供给图像形成值计算部242。

此外，旋转处理部246将来自仿真镜头信息生成部34的关于镜头信息生成轴的信息点的镜头信息中的PSF强度分布和PSF角分量信息原样提供给图像形成值计算部242而不旋转它们，并且将像面偏移信息原样提供给图像形成位置识别部244而不旋转它们。

图65是示出由图64的聚光处理部38进行的聚光处理的示例的流程图。

应该注意，在本实施方式中，如上文参照图61所述，仅针对注意聚焦位置生成镜头信息以减少镜头信息的信息量。因此，当生成镜头信息时，在假设聚焦位置被设定为注意聚焦位置的情况下进行聚光处理。

然而，可以针对Fmax个聚焦位置中的每个聚焦位置预先生成镜头信息(图37)。在这种情况下，聚光处理部38设置注意聚焦位置并且可以使用关于注意聚焦位置的镜头信息进行聚光处理。

或者，仿真镜头信息生成部37可以在由聚光处理部38设置注意聚焦位置之后生成注意聚焦位置的镜头信息。

这里，在图65中，假设进行通过光线旋转法的聚光处理。

在步骤S251至步骤S254中，进行与图56的步骤S151至S154的处理类似的处理。

具体地，真实空间点选择部141在步骤S251处获取从视差信息生成部31提供的多层视差图，并且在步骤S252处从参考图像HD1的像素中选择尚未被选择为注意像素的一个像素作为注意像素。

此外，在步骤S253处，真实空间点选择部141从被登记在来自视差信息生成部31的多个视差图中的注意像素的视差中选择尚未被选择为注意视差的一个视差作为注意视差。然后在步骤S254处，真实空间点选择部141选择与具有注意视差的注意像素对应的真实空间点作为注意真实空间点。

然后，处理从步骤S254进行到步骤S255，在步骤S255处，当虚拟传感器被旋转以使得与由真实空间点选择部141选择的注意真实空间点对应的虚拟传感器的像素变成镜头信息生成轴上的像素时，旋转处理部246计算一致旋转角-ALPHA。然后，处理进行到步骤S256。

在步骤S256处，旋转处理部246从仿真镜头的镜头区域单元中选择尚未被选择为注意镜头区域单元的一个镜头区域单元作为注意镜头区域单元。然后，处理进行到步骤S257。

在步骤S257处，旋转处理部246从自入射光线再现部36提供的光线中获取从注意真实空间点开始朝向注意镜头区域单元的光线作为注意光线。然后，处理进行到步骤S258。

在步骤S258处，旋转处理部246将注意光线围绕光轴旋转在步骤S255处计算的一致旋转角-ALPHA，并且将旋转之后的注意光线提供给图像形成值计算部242。然后，处理进行到步骤S259。

在步骤S259处，图像形成值计算部242判定来自旋转处理部246的在旋转之后的注意光线是否从注意真实空间点到达仿真镜头。

如果在步骤S259处判定旋转之后的注意的光线到达仿真镜头，也就是说，如果分配给旋转之后的注意光线的视差(上文参照图33至图35所述的通过入射光线再现处理分配的视差)等于注意视差，则处理进行到步骤S260。

在步骤S260中，对于被图像形成值计算部242、尺度调整部143、图像形成位置识别部244和相加部245判定为到达仿真镜头的旋转之后的注意光线，即，对于通过旋转由于碰撞判定剩下的注意光线而获得的旋转之后的注意光线，进行下文所述的光线相加处理。然后，处理进行到步骤S261。

另一方面，如果在步骤S259处判定旋转之后的注意光线未到达仿真镜头，也就是说，如果分配给旋转之后的注意光线的视差不等于注意视差，则处理跳过步骤S260而进行到步骤S261。因此，当旋转之后的注意光线未到达仿真镜头时，针对旋转之后的注意光线不进行光线相加处理。

在步骤S261至S263中，进行与图56的步骤S159至S161处的处理类似的处理。

具体地，在步骤S261处，旋转处理部246判定仿真镜头的所有镜头区域单元是否都被选择为注意镜头区域单元。然后，如果判定仿真镜头的所有镜头区域单元尚未都被选择为注意镜头区域单元，则处理返回到步骤S256，此后，重复类似的处理。

另一方面，如果在步骤S261处判定仿真镜头的所有镜头区域单元被选择为注意镜头区域单元，则处理进行到步骤S262，在步骤S262处，真实空间点选择部141判定被登记在多层视差图中的注意像素的所有视差是否都被选择为注意视差。

如果在步骤S262处判定被登记在多层视差图中的注意像素的所有视差尚未都被选择为注意视差，则处理返回到步骤S253，此后，重复类似的处理。

另一方面，如果在步骤S262处判定被登记在多层视差图中的注意像素的所有视差都被选择为注意视差，则处理进行到步骤S263，在步骤S263处，真实空间点选择部141判定参考图像HD1的所有像素是否都被选择为注意像素。

如果在步骤S263处判定参考图像HD1的所有像素未都被选择为注意像素，则处理返回到步骤S252，此后，重复类似的处理。

另一方面，如果在步骤S263处判定参考图像HD1的所有像素都被选择为注意像素，则相加部245将其中通过由处理直到现在为止获得的虚拟传感器上的图像形成值的相加结果提供像素值的图像作为仿真图像提供给显示装置13(图1)，从而结束聚光处理。

图66是示出在图65的步骤S260处进行的光线相加处理的示例的流程图。

在步骤S271处，图像形成值计算部242从镜头信息生成轴的信息点中检测对应信息点，该对应信息点是当将像素旋转在图65的步骤S255处计算的一致旋转角-ALPHA时最靠近与注意真实空间点对应的虚拟传感器的旋转之后的像素(位置)的信息点。

此外，图像形成值计算部242从来自旋转处理部246的关于镜头信息生成轴的信息点的镜头信息内获取关于与对应信息点和注意视差对应的真实空间点的镜头信息。

然后，图像形成值计算部242使用关于与对应信息点和注意视差对应的真实空间点的镜头信息内的关于注意聚焦位置f的PSF强度分布(其中记录有分布区域)和PSF角分量信息，来确定作为分布区域上的其中记录有PSF强度分布的位置的对应区域，在该PSF强度分布中，来自旋转处理部246的旋转之后的注意光线到达。

此外，图像形成值计算部242确定对应区域的PSF强度分布和分配给旋转之后的注意光线的亮度(通过上文参考图33至图35所述的入射光线再现处理分配的亮度)的乘积，作为旋转之后的注意光线的图像形成值(的分布)。

然后，图像形成值计算部242将记录有旋转之后的注意光线的图像形成值的分布区域提供给尺度调整部143。此后，处理从步骤S271进行到步骤S272。

在步骤S272处，尺度调整部143从关于来自仿真镜头信息生成部34的镜头信息生成轴的信息点的镜头信息中获取关于与对应信息点和注意视差对应的真实空间点的镜头信息。

然后，尺度调整部143使用关于与对应信息点和注意视差对应的真实空间点的镜头信息中的关于注意聚焦位置f的像面间距，来缩小或放大其中记录有来自图像形成值计算部242的图像形成值的分布的分布区域，以将分布区域的尺度调整为与虚拟传感器的尺度一致。

此外，尺度调整部143通过图像形成位置识别部244将调整尺度之后的分布区域提供给相加部245。此后，处理从步骤S272进行到步骤S273。

在步骤S273处，图像形成位置识别部244从来自旋转处理部246的关于镜头信息生成轴的信息点的镜头信息内获取关于与对应信息点和注意视差对应的真实空间点的镜头信息。

然后，图像形成位置识别部244从关于与对应信息点和注意视差对应的真实空间点的镜头信息内的关于注意聚焦位置f的像面偏移信息和注意光线被旋转处理部246旋转的一致旋转角-ALPHA中，识别作为虚拟传感器上的在其处旋转之前的注意光线通过仿真镜头形成图像的图像形成位置的像面偏移位置，并且将像面偏移位置提供给相加部245。然后，处理进行到步骤S274。

在步骤S274处，相加部245根据来自图像形成位置识别部244的像面偏移位置，来进行对由尺度调整部143获得的调整尺度之后的分布区域和虚拟传感器进行定位。

具体地，相加部245对调整尺度之后的分布区域和虚拟传感器进行定位，以使得调整尺度之后的分布区域的中心点CP(图54)和虚拟传感器的像面偏移位置相互一致。

此外，在步骤S274处，当注意光线被旋转处理部246旋转，也就是说，注意光线围绕光轴(或中心点CP)旋转一致旋转角度+ALPHA时，相加部245将将定位之后的分布区域(记录在分布区域中的图像形成值)围绕光轴(或中心点CP)反向旋转一致旋转角-ALPHA。然后，处理进行到步骤S275。

在步骤S275处，相加部245将旋转之后的分布区域中记录的图像形成值以虚拟传感器的像素为单位加到虚拟传感器上。即，相加部245将作为虚拟传感器的存储器的存储值和图像形成值相加，并且用由于相加而获得的相加值重写存储器的存储值。

光线相加处理结束，并且处理返回。

如上所述，在针对与作为虚拟传感器的平面的一部分的多个位置的多个信息点对应的真实空间点生成镜头信息并且使用镜头信息进行聚光处理的情况下，可以以减少的数据量精确地再现模糊度或仿真镜头的其他聚光特性。

应当注意，在本实施方式中，虽然采用具有等于虚拟传感器的对角线的长度的1/2的长度并且从垂直方向的中心沿垂直方向延伸的线段(图59)作为镜头信息生成轴，但是也可以采用从虚拟传感器的中心延伸的任意一个轴。

具体地，例如可以采用将虚拟传感器的中心与虚拟传感器的对角线的一个像素互连的线段作为镜头信息生成轴。

此外，多个信息点不限于等分从虚拟传感器的中心延伸的镜头信息生成轴的多个点。

具体地，例如可以采用在虚拟传感器的平面的图像高度不同的情况下布置在直线上或未布置在直线上的多个点作为多个信息点。应该注意，多个信息点的图像高度优选地均匀地分散在从零到虚拟传感器的图像高度的最大值的范围内。

图67是示出在进行通过光线旋转法(图65和图66)的聚光处理的情况下用于确定作为虚拟传感器上在其处旋转之前的光线形成图像的图像形成位置的像面偏移位置的方法的图(用于在图66中的步骤S273处识别图像形成位置的方法)。

这里，假设像面偏移位置例如由二维坐标系的坐标(x，y)表示，其中原点是虚拟传感器的左上角的像素，并且虚拟传感器的像素间距为1。

此外，假设像面偏移信息表示距像面偏移位置的光轴(虚拟传感器的中心)SO的沿x方向和y方向的距离(微米)。

如上文结合图66的步骤S273所述，图像形成位置识别部244从关于与具有注意视差和已由旋转处理部246将注意光线旋转一致旋转角-ALPHA的对应信息点对应的真实空间点的像面偏移信息中识别作为虚拟传感器上的在其处旋转之前的注意光线形成图像的图像形成位置的像面偏移位置(该位置在下文也称为旋转之前的像面偏移位置)。

这里，对应信息点是从虚拟传感器的中心SO沿向上方向延伸的传感器信息生成轴上的点，并且关于与这样的对应信息点和注意视差对应的真实空间点的像面偏移信息img_height表示从虚拟传感器的中心SO到通过中心SO并沿垂直方向延伸的直线上的位置A的距离。位置A是虚拟传感器上的由从与对应信息点和注意视差对应的真实空间点发射的主光线通过仿真镜头而到达的位置。

现在，假设将虚拟传感器的水平宽度(左端的像素与右端的像素之间的距离)表示为宽度，而将虚拟传感器的像素间距(相邻像素之间的距离)表示为Sensor_pitch。

作为虚拟传感器上的在其处旋转之前的注意光线形成图像的图像形成位置的旋转之前的像面偏移位置是当在注意光线已旋转的情况下位置A反向旋转一致旋转角-ALPHA的位置，即，旋转了一致旋转角+ALPHA的位置。

因此，可以根据表达式X＝宽度/2+(img_height×cos(90度-ALPHA))/Sensor_pitch来确定旋转之前的像面偏移位置的x坐标X。

也可以类似地确定旋转之前的像面偏移位置的y坐标。

图像形成位置识别部244以如上所述的方式确定并识别旋转之前的像面偏移位置(的x坐标和y坐标)。

然后，相加部245根据通过当(通过将位置A旋转一致旋转角+ALPHA)旋转注意光线时将由关于与对应信息点和注意视差对应的真实空间点的像面偏移信息img_height表示的位置(像面偏移位置)A反向旋转一致旋转角-ALPHA而获得的旋转之前的像面偏移位置，来对调整尺度之后的分布区域和虚拟传感器进行定位。

具体地，相加部245对调整尺度之后的分布区域和虚拟传感器进行定位，以使得调整尺度之后的分布区域的中心点CP(图54)和虚拟传感器的旋转之前的像面偏移位置的相互一致。

应该注意，如上所述，由于通过旋转由关于与对应信息点和注意视差对应的真实空间点的像面偏移信息img_height表示的位置(像面偏移位置)来确定旋转之前的像面偏移位置，因此发生旋转产生的舍入误差。

由于该舍入误差，旋转之前的像面偏移位置的精度劣化，并且由于旋转之前的像面偏移位置的精度劣化，聚光处理中的仿真镜头的聚光特性的再现性有时会劣化。

因此，为了抑制旋转之前的像面偏移位置的精度的劣化，可以针对像面偏移信息(由像面偏移信息表示的像面位移位置)进行插值。

作为对像面偏移信息的(由像面偏移信息表示的像面位移位置)的插值，沿信息点的排列方向(垂直于光轴的方向)(图像高度的方向)的插值和沿视差方向的插值可用。

图68是示出沿像面偏移信息的(由像面偏移信息表示的像面位移位置)的信息点的排列方向的插值的图。

使用关于与对应信息点和注意视差对应的真实空间点的镜头信息(这样的镜头信息在下文中仅称为关于对应信息点的镜头信息)来进行通过光线旋转方法的聚光处理，其是当虚拟传感器的与注意真实空间点对应的像素(位置)旋转一致旋转角-ALPHA时最靠近旋转之后的像素(位置)的信息点。

在图68中，当虚拟传感器的与注意真实空间点对应的像素(位置)pp旋转一致旋转角-ALPHA时，旋转之后的像素(位置)pp'被定位在相邻信息点A和B之间，并且作为最靠近旋转之后的像素pp'的信息点的对应信息点是信息点B。

在这种情况下，例如，根据从旋转之后的像素pp'分别到信息点A和B的距离a和b之间之间的比率，进行使用关于其中夹着旋转之后的像素pp'的信息点A和B的像面偏移位置ih1和ih2的插值作为沿信息点的排列方向的插值。

具体地，在沿信息点的排列方向的插值中，例如根据表达式ih＝(ih1×b+ih2×a)/(a+b)来确定像面偏移位置ih作为沿信息点的排列方向的插值值。

然后，将像面移位位置ih用作沿信息点的排列方向的插值值代替关于作为对应信息点的信息点B的像面偏移位置ih2，以进行对从注意真实空间点发射的光线的图像形成位置的定位。

图69是示出沿像面偏移信息(由像面偏移信息表示的像面位移位置)的视差方向的插值的图。

在本实施方式中，例如如上文参考图6所述的以1/4像素的精度来确定视差，并且对1/4像素的精度的视差进行求整和使用。

因此，例如虽然在图32等中可以被登记到视差图中的视差d是从最小值Dmin到最大值Dmax以1个像素递增的DPN＝Dmax-Dmin+1个整数值，但是可以将为1/4像素的精度的视差登记到视差图中，并且当要使用被登记到视差图中的视差时，对视差求整。

如上所述，在视差图中登记了精度等于或低于诸如1/4像素的精度的像素的精度的视差的情况下，在沿视差方向的像面偏移信息的插值中，可以原样使用精度等于或低于被登记到视差图中的像素的精度的视差而不对该视差进行求整。

例如，现在假设将1/4像素的精度的视差记录在视差图中。

在图61的仿真镜头信息生成处理中，通过选择可以登记到视差图中的视差作为注意视差，来确定像面偏移信息(由像面偏移信息表示的像面偏移位置)作为关于与注意信息点和注意视差对应的注意真实空间点的镜头信息。

作为可以通过仿真镜头信息生成处理登记到视差图中并且被选择为注意视差的视差，使用从最小值Dmin到最大值Dmax的以1个像素递增的DPN＝Dmax-Dmin+1个整数值。

因此，在仿真镜头信息生成处理中，对于整数值的视差来确定像面偏移位置。

在图69中，下一幅度小于特定整数值的视差D的视差具有整数值D+1。然后，针对整数值的视差D确定像面偏移位置ih1，并且针对下一幅度的整数值的视差D+1确定另一像面移位位置ih2。

另一方面，在图65的聚光处理中，作为从参考图像中选择的注意像素的视差，从登记在视差图中的视差中选择注意视差(步骤S253)。

在这种情况下，对登记在视差图中的视差进行求整并且将其选择为注意视差。

然后，在聚光处理中，使用关于与对应信息点和注意视差对应的真实空间点的镜头信息来进行光线相加处理(图66)。

对于在光线相加处理中使用的镜头信息内的像面偏移信息(由像面偏移信息表示的像面偏移位置)，可以使用登记在视差图中的视差而不进行求整来进行沿视差方向的插值。

具体地，在图69中，与对应信息点和注意视差对应的的真实空间点的视差(注意视差)是作为1/4像素的精度的视差的D+0.75。

这里，在登记在视差图中的视差为1/4像素的精度的视差的情况下，作为从整数值的视差D到下一整数值的视差D+1的1/4像素的精度的视差，D+0.25、D+0.5和D+0.75可用。

当登记在视差图中的视差被求整并被使用时，如果假设例如通过在小数点后截断来进行求整，则在注意视差是D、D+0.25、D+0.5或D+0.75的情况下，它们全部都被求整成整数值D。

然后，使用被求整到整数值D的注意视差的像面偏移位置ih1来进行光线相加处理(图66)。

根据从注意视差D+0.75到整数值的视差D和D+1的距离0.75和0.25之间的比率，来进行使用对于其中夹着未求整的注意视差D+0.75的整数值的视差D和D+1的像面偏移位置ih1和ih2的插值。

具体地，在沿视差方向的插值中，根据表达式ih＝ih1×0.25+ih2×0.75来确定像面偏移位置ih作为沿视差方向的插值值。

然后，代替求整为整数值D的注意视差的像面偏移位置ih1，使用作为沿视差方向的插值值的像面偏移位置ih来进行(对来自光线相加处理内的光线的图像形成位置的定位)光线相加处理。

在进行对像面偏移信息(由像面偏移信息表示的像面移位位置)的插值的情况下，能够提高聚光处理中的仿真镜头的聚光特性的再现性。

应该注意，对于像面偏移信息，可以仅进行沿信息点的排列方向的插值和沿视差方向的插值中之一，或者进行它们两者。

<仿真结果>

图70是示出由于镜头仿真部35(图3)的镜头仿真处理而获得的仿真图像的示例的图。

图70示出当拾取其中在对象obj1的前侧处设置有棒状对象obj2的真实空间的图像时从拾取图像获得的仿真图像。

根据仿真图像，可以确认从被条状对象obj2隐藏的对象obj1的一部分发射的光线与对象obj2碰撞而不能被看见。

图71是示出由于由镜头仿真部35的镜头模拟处理而获得的仿真图像的另一示例的图。

应该注意，图71的仿真图像是从通过拾取其中与图70类似地在对象obj1的前侧设置有棒状对象obj2的真实空间的图像而获得的拾取图像获得的仿真图像。

图71的A示出仿真图像，其中，不是主光线通过仿真镜头到达的虚拟传感器上的位置而是主光线通过虚拟镜头到达的虚拟传感器上的位置用作像面偏移位置。

在聚光处理中，在采用不是主光线通过仿真镜头到达的虚拟传感器上的位置而是主光线通过虚拟镜头到达的虚拟传感器上的位置作为像平面偏移位置的情况下，由于虚拟镜头和仿真镜头之间的输入光瞳的位置偏移而产生的误差随着主光线的图像形成值要加到其上的虚拟传感器的位置而发生。因此，在图71的A中，在仿真图像中，观看到对象obj1的内部侧的一部分，该部分应该被条形对象obj2隐藏并且不能被观看到。

图71的B图示不进行像面偏移信息的插值的仿真图像。

在图71的B中，可以确认，通过由于旋转像面偏移信息(由像面偏移信息表示的像面偏移位置)而产生的舍入误差的影响，形成条状对象obj2的轮廓并且沿垂直方向延伸的线段是不均匀的。

通过采用虚拟传感器上的主光线通过仿真镜头到达的位置作为像面偏移位置或通过对像面偏移信息进行插值，可以防止如图71所示的状态出现在仿真图像中。

<对应用本技术的计算机的说明>

虽然上述一系列处理可以通过硬件执行，但也可以以另外的方式通过软件执行。在通过软件执行一系列处理的情况下，将构建软件的程序安装到通用计算机等中。

图72是示出安装有用于执行上述一系列处理的程序的计算机的一个实施方式的配置示例的框图。

可以将程序预先记录到作为嵌入计算机中的记录介质的硬盘405或ROM(只读存储器)403中。

或者，可以将程序存储(记录)到可移除记录介质411中。如上所述的这样的可移除记录介质411可以被提供为所谓的封装软件。这里，作为可移除记录介质411，例如软盘、CD-ROM(致密盘只读存储器)、MO(磁光盘)盘、DVD(数字通用盘)、磁盘，半导体存储器等可用。

应该注意，除了从如上所述的这样的可移除记录介质411安装到计算机之外，还可以通过通信网络或广播网络将程序下载到计算机中，并且将程序安装到内置在计算机中的硬盘405中。具体地，程序可以例如通过用于数字卫星广播的人造卫星从下载站点通过无线传输传送到计算机或通过诸如LAN(局域网)或互联网的网络从下载站点通过有线传输传送到计算机。

计算机内置有CPU(中央处理单元)402，并且输入/输出接口410通过总线401连接到CPU 402。

如果输入部407由用户等操作以通过输入/输出接口410向CPU 402输入指令，则执行存储在ROM(只读存储器)403中的程序。或者，CPU402将存储在硬盘405中的程序加载到RAM(随机存取存储器)404中并且执行该程序。

因此，CPU 402进行根据上文所述的流程图的处理，或者进行通过上述框图的配置执行的处理。然后，CPU 402例如通过输入/输出接口410从输出部406输出处理的结果，从通信部408发送处理结果，或者根据需要使处理结果被记录在硬盘405等上。

应该注意，输入部407由键盘、鼠标、麦克风等构成。同时，输出部406由LCD(液晶显示器)、扬声器等构成。

这里，在本说明书中，由计算机根据程序进行的处理不必按以如流程图中所述的顺序的时间序列进行。具体地，要由计算机根据程序执行的处理包括并行或单独执行的处理(例如，通过并行处理或由对象进行的处理)。

此外，程序可以被单个计算机(处理器)处理，或者可以被多个计算机以分布式方式处理。此外，可以将程序传送到远程计算机并由其执行。

此外，在本说明书中，术语系统表示多个部件(装置、模块(零件)等)的聚集，并且所有部件可以或可以不被容置在同一个壳体中。因此，容置在分离的壳体中并通过网络相互连接的多个装置是系统以及其中多个模块被容置在单个壳体中的一个装置也是系统。

应该注意，本技术的实施方式不限于上述实施方式，并且可以在不脱离本技术的主题的情况下以各种方式进行改变。

例如，本技术可以采用云计算的配置，其中一个功能被多个装置通过网络协同共享和处理。

此外，上文结合流程图所述的步骤可以由单个装置执行，或者可以由多个装置以共享的方式执行。

此外，在一个步骤中包括多个处理的情况下，一个步骤中包括的多个处理可以由一个装置执行，或者可以由多个装置以共享的方式执行。

此外，本说明书中描述的效果是说明性的而不是限制性的，并且可以表现出其他效果。

应该注意，本技术可以采用如下所述的配置。

<1>一种图像处理装置，包括：

光线再现部，被配置成再现要从真实空间中的真实空间点入射到虚拟镜头的光线，该虚拟镜头具有由拾取多个视点处的图像的多个图像拾取部构成的合成孔径；以及

聚光处理部，被配置成执行聚光处理，在所述聚光处理中，根据像面偏移位置来对所述光线再现部再现的所述光线通过仿真目标的仿真镜头会聚到虚拟传感器上的位置进行定位，并且将所述光线会聚到所述虚拟传感器上，所述像面偏移位置是从所述真实空间点发射的主光线通过所述仿真镜头到达的所述虚拟传感器上的位置。

<2>根据<1>所述的图像处理装置，其中，

所述聚光处理部如下所述执行所述聚光处理：在所述聚光处理中，将当所述光线通过所述仿真镜头在所述虚拟传感器上形成图像时的图像形成值加到所述虚拟传感器上。

<3>根据<2>所述的图像处理装置，其中，

所述聚光处理部如下所述执行所述聚光处理：在所述聚光处理中，根据所述像面偏移位置来对加所述图像形成值的所述虚拟传感器上的位置进行定位。

<4>根据<3>所述的图像处理装置，其中，

所述聚光处理部使用所述光线以及所述仿真镜头的表示对点光源的响应的PSF(点扩散函数)强度分布来确定所述图像形成值。

<5>根据<4>所述的图像处理装置，其中，

所述聚光处理部指定所述光线到达的所述PSF强度分布的位置，并且确定所述光线到达的所述PSF强度分布的位置处的所述PSF强度分布和所述光线的亮度之间的乘积作为所述光线的图像形成值。

<6>根据<5>所述的图像处理装置，其中，

所述聚光处理部使由所述PSF强度分布和所述光线的亮度之间的乘积确定的所述光线的图像形成值的分布的尺度与所述虚拟传感器的尺度一致，并且将所述图像形成值加到所述虚拟传感器上。

<7>根据<2>至<6>中的任意一项所述的图像处理装置，其中，

所述光线再现部使用所述多个视点处的图像来向要入射到所述虚拟镜头的光线分配亮度。

<8>根据<2>至<7>中的任意一项所述的图像处理装置，其中，

所述光线再现部对由于碰撞判定而剩下的光线分配亮度，在所述碰撞判定中判定在所述光线入射到所述虚拟镜头之前所述光线与对象是否碰撞。

<9>根据<2>至<8>中的任意一项所述的图像处理装置，其中，

所述聚光处理部使用限定通过所述仿真镜头的光线的镜头信息来执行所述聚光处理。

<10>根据<9>所述的图像处理装置，其中，

所述聚光处理部使用表示所述像面偏移位置的像面偏移信息作为所述镜头信息来执行所述定位。

<11>根据<9>所述的图像处理装置，其中，

所述聚光处理部使用所述仿真镜头的表示对点光源的响应的PSF(点扩散函数)强度分布作为所述镜头信息来确定所述图像形成值。

<12>根据<11>所述的图像处理装置，其中，

所述聚光处理部使用PSF角分量信息作为所述镜头信息来确定在由所述PSF角分量信息表示的所述PSF强度分布的位置处的所述PSF强度分布和所述光线的亮度之间的乘积作为所述图像形成值，所述PSF角分量信息表示所述光线所到达的所述PSF强度分布的位置。

<13>根据<12>所述的图像处理装置，其中，

所述聚光处理部使用表示所述PSF强度分布的尺度的像面间距作为所述镜头信息，以基于所述像面间距和表示所述虚拟传感器的像素的尺度的像素间距，使由所述PSF强度分布和所述光线的亮度之间的乘积确定的所述光线的图像形成值的分布的尺度与所述虚拟传感器的尺度一致，并且将所述图像形成值加到所述虚拟传感器上。

<14>根据<1>至<13>中的任意一项所述的图像处理装置，其中，

所述聚光处理部使用关于与多个信息点对应的真实空间点生成的并且限定通过所述仿真镜头的光线的镜头信息来执行所述聚光处理，所述多个信息点是所述虚拟传感器的平面的一部分的多个位置。

<15>根据<14>所述的图像处理装置，其中，

所述聚光处理部使用针对与镜头信息生成轴上的所述多个信息点对应的真实空间点的镜头信息来执行所述聚光处理，所述镜头信息生成轴是从所述虚拟传感器的中心延伸的一个给定轴。

<16>根据<15>所述的图像处理装置，其中，

所述聚光处理部将从真实空间点发射的光线或所述镜头信息生成轴的镜头信息旋转当所述镜头信息生成轴或所述虚拟传感器的像素围绕所述虚拟传感器的中心旋转时的旋转角，以使得与所述真实空间点对应的所述虚拟传感器的像素被定位在所述镜头信息生成轴上，并且执行所述聚光处理。

<17>根据<16>所述的图像处理装置，其中，

所述聚光处理部使用当所述镜头信息生成轴或所述虚拟传感器的像素被旋转所述旋转角时的、针对与对应于所述虚拟传感器的像素的一个信息点对应的真实空间点的所述镜头信息来执行所述聚光处理。

<18>根据<17>所述的图像处理装置，其中，

所述镜头信息包括表示所述像面偏移位置的像面偏移信息，以及

所述聚光处理部基于将所述像面偏移位置反向旋转所述旋转角所到达的位置来进行所述定位。

<19>根据<18>所述的图像处理装置，其中，

所述聚光处理部使用通过使用在所述镜头信息中所包括的所述像面偏移信息进行插值而获得的所述像面偏移位置来执行所述聚光处理。

<20>一种图像处理方法，包括：

再现要从真实空间中的真实空间点入射到虚拟镜头的光线，该虚拟镜头具有由拾取多个视点处的图像的多个图像拾取部构成的合成孔径；以及

执行聚光处理，在所述聚光处理中，根据像面偏移位置来对所述光线通过仿真目标的仿真镜头会聚到虚拟传感器上的位置进行定位，并且将所述光线会聚到所述虚拟传感器上，所述像面偏移位置是从所述真实空间点发射的主光线通过所述仿真镜头到达的所述虚拟传感器上的位置。

[附图标记列表]

11图像拾取装置，12图像处理装置，13显示装置，21_l至21₇摄像装置单元，31视差信息生成部，32校准数据获取部，33饱和像素恢复部，34透镜设计数据获取部，35透镜模拟部，36入射光线再现部，37仿真透镜信息生成部，38聚光处理部，41参照视差图生成部，42多层视差图生成部，51饱和判定部，52恢复部，61标准亮度拾取图像生成部，62低亮度拾取图像生成部，71视差信息获取部，72标准亮度拾取图像生成部，73低亮度拾取图像生成部，74饱和判定部，75恢复部，101真实空间点选择部，102光线生成部，103碰撞判定部，104亮度分配部，131真实空间点选择部，132信息计算部，133聚焦位置选择部，141真实空间点选择部，142图像形成值计算部，143尺度调整部，144图像形成位置识别部，145相加部，231真实空间点选择部，242图像形成值计算部，244图像形成位置识别部，245相加部，246旋转处理部，401总线，402CPU，403ROM，404RAM，405硬盘，406输出部，407输入部，408通信部，409驱动器，410输入/输出接口，411可移除记录介质。

Claims (20)

1.一种图像处理装置，包括：

光线再现部，被配置成再现要从真实空间中的真实空间点入射到虚拟镜头的光线，该虚拟镜头具有由拾取多个视点处的图像的多个图像拾取部构成的合成孔径；以及

聚光处理部，被配置成执行聚光处理，在所述聚光处理中，根据像面偏移位置来对所述光线再现部再现的所述光线通过仿真目标的仿真镜头会聚到虚拟传感器上的位置进行定位，并且将所述光线会聚到所述虚拟传感器上，所述像面偏移位置是从所述真实空间点发射的主光线通过所述仿真镜头到达的所述虚拟传感器上的位置。

2.根据权利要求1所述的图像处理装置，其中，

所述聚光处理部如下所述执行所述聚光处理：在所述聚光处理中，将当所述光线通过所述仿真镜头在所述虚拟传感器上形成图像时的图像形成值加到所述虚拟传感器上。

3.根据权利要求2所述的图像处理装置，其中，

所述聚光处理部如下所述执行所述聚光处理：在所述聚光处理中，根据所述像面偏移位置来对加所述图像形成值的所述虚拟传感器上的位置进行定位。

4.根据权利要求3所述的图像处理装置，其中，

所述聚光处理部使用所述光线以及所述仿真镜头的表示对点光源的响应的PSF(点扩散函数)强度分布来确定所述图像形成值。

5.根据权利要求4所述的图像处理装置，其中，

所述聚光处理部指定所述光线到达的所述PSF强度分布的位置，并且确定所述光线到达的所述PSF强度分布的位置处的所述PSF强度分布和所述光线的亮度之间的乘积作为所述光线的图像形成值。

6.根据权利要求5所述的图像处理装置，其中，

所述聚光处理部使由所述PSF强度分布和所述光线的亮度之间的乘积确定的所述光线的图像形成值的分布的尺度与所述虚拟传感器的尺度一致，并且将所述图像形成值加到所述虚拟传感器上。

7.根据权利要求2所述的图像处理装置，其中，

所述光线再现部使用所述多个视点处的图像来向要入射到所述虚拟镜头的光线分配亮度。

8.根据权利要求2所述的图像处理装置，其中，

所述光线再现部对由于碰撞判定而剩下的光线分配亮度，在所述碰撞判定中判定在所述光线入射到所述虚拟镜头之前所述光线与对象是否碰撞。

9.根据权利要求2所述的图像处理装置，其中，

所述聚光处理部使用限定通过所述仿真镜头的光线的镜头信息来执行所述聚光处理。

10.根据权利要求9所述的图像处理装置，其中，

所述聚光处理部使用表示所述像面偏移位置的像面偏移信息作为所述镜头信息来执行所述定位。

11.根据权利要求9所述的图像处理装置，其中，

所述聚光处理部使用所述仿真镜头的表示对点光源的响应的PSF(点扩散函数)强度分布作为所述镜头信息来确定所述图像形成值。

12.根据权利要求11所述的图像处理装置，其中，

所述聚光处理部使用PSF角分量信息作为所述镜头信息来确定在由所述PSF角分量信息表示的所述PSF强度分布的位置处的所述PSF强度分布和所述光线的亮度之间的乘积作为所述图像形成值，所述PSF角分量信息表示所述光线所到达的所述PSF强度分布的位置。

13.根据权利要求12所述的图像处理装置，其中，

所述聚光处理部使用表示所述PSF强度分布的尺度的像面间距作为所述镜头信息，以基于所述像面间距和表示所述虚拟传感器的像素的尺度的像素间距，使由所述PSF强度分布和所述光线的亮度之间的乘积确定的所述光线的图像形成值的分布的尺度与所述虚拟传感器的尺度一致，并且将所述图像形成值加到所述虚拟传感器上。

14.根据权利要求1所述的图像处理装置，其中，

所述聚光处理部使用关于与多个信息点对应的真实空间点生成的并且限定通过所述仿真镜头的光线的镜头信息来执行所述聚光处理，所述多个信息点是所述虚拟传感器的平面的一部分的多个位置。

15.根据权利要求14所述的图像处理装置，其中，

所述聚光处理部使用针对与镜头信息生成轴上的所述多个信息点对应的真实空间点的镜头信息来执行所述聚光处理，所述镜头信息生成轴是从所述虚拟传感器的中心延伸的一个给定轴。

16.根据权利要求15所述的图像处理装置，其中，

所述聚光处理部将从真实空间点发射的光线或所述镜头信息生成轴的镜头信息旋转当所述镜头信息生成轴或所述虚拟传感器的像素围绕所述虚拟传感器的中心旋转时的旋转角，以使得与所述真实空间点对应的所述虚拟传感器的像素被定位在所述镜头信息生成轴上，并且执行所述聚光处理。

17.根据权利要求16所述的图像处理装置，其中，

所述聚光处理部使用当所述镜头信息生成轴或所述虚拟传感器的像素被旋转所述旋转角时的、针对与对应于所述虚拟传感器的像素的一个信息点对应的真实空间点的所述镜头信息来执行所述聚光处理。

18.根据权利要求17所述的图像处理装置，其中，

所述镜头信息包括表示所述像面偏移位置的像面偏移信息，以及

所述聚光处理部基于将所述像面偏移位置反向旋转所述旋转角所到达的位置来进行所述定位。

19.根据权利要求18所述的图像处理装置，其中，

所述聚光处理部使用通过使用在所述镜头信息中所包括的所述像面偏移信息进行插值而获得的所述像面偏移位置来执行所述聚光处理。

20.一种图像处理方法，包括：

再现要从真实空间中的真实空间点入射到虚拟镜头的光线，该虚拟镜头具有由拾取多个视点处的图像的多个图像拾取部构成的合成孔径；以及

执行聚光处理，在所述聚光处理中，根据像面偏移位置来对所述光线通过仿真目标的仿真镜头会聚到虚拟传感器上的位置进行定位，并且将所述光线会聚到所述虚拟传感器上，所述像面偏移位置是从所述真实空间点发射的主光线通过所述仿真镜头到达的所述虚拟传感器上的位置。