CN107534729B - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN107534729B
CN107534729B CN201680023012.3A CN201680023012A CN107534729B CN 107534729 B CN107534729 B CN 107534729B CN 201680023012 A CN201680023012 A CN 201680023012A CN 107534729 B CN107534729 B CN 107534729B
Authority
CN
China
Prior art keywords
image
lens
pixel
section
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201680023012.3A
Other languages
English (en)
Other versions
CN107534729A (zh
Inventor
早坂健吾
井藤功久
中村真备
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107534729A publication Critical patent/CN107534729A/zh
Application granted granted Critical
Publication of CN107534729B publication Critical patent/CN107534729B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本技术涉及一种图像处理装置和一种图像处理方法，使得能用少的数据量正确地再现光学透镜的模糊度。执行将有待从真实空间中的真实空间点入射到具有由拍摄多个视点的图像的多个图像拍摄部构成的合成孔径的虚拟透镜的光线通过仿真对象的仿真透镜集中到虚拟传感器上的集光处理，所述集光处理的执行是使用对于对应于作为所述虚拟传感器的平面的一部分的多个位置的多个信息点的真实空间点生成的并且限定通过所述仿真透镜的光线的透镜信息。本技术能应用于例如从多个视点的图像重构使用各种光学透镜拍摄的图像的光场技术。

Description

图像处理装置和图像处理方法
技术领域
本技术涉及一种图像处理装置和一种图像处理方法，并且尤其涉及一种用少的数据量准确地再现例如光学透镜的模糊度的图像处理装置和图像处理方法。
背景技术
已经有人提出从多个视点的图像重构例如执行了重新对焦的图像的光场技术，执行了重新对焦的图像即是看起来仿佛在改变了光学系统的焦点位置的情况下执行图像拍摄的图像或者类似图像(例如，参照PTL1)。
[引用列表]
[专利文献]
[PTL 1]
JP 2013-238927A
发明内容
[技术难题]
对于光场技术，需要用小的数据量准确地再现在使用实际的光学透镜执行图像拍摄时出现在图像上的模糊度。
本技术是鉴于如上所述的这种情形提出的，并且使得能用小的数据量正确地再现实际光学透镜的模糊度。
[问题的解决方案]
本技术的图像处理装置是一种包含以下部分的图像处理装置：集光处理部，其配置成执行集光处理以将有待从真实空间中的真实空间点入射到具有由拍摄多个视点的图像的多个图像拍摄部构成的合成孔径的虚拟透镜的光线通过仿真对象的仿真透镜集中到虚拟传感器上，该集光处理使用对于对应于作为所述虚拟传感器的平面的一部分的多个位置的多个信息点的真实空间点生成的并且限定通过所述仿真透镜的光线的透镜信息。
本技术的图像处理方法是一种包含以下处理的图像处理方法：执行集光处理，以将有待从真实空间中的真实空间点入射到具有由拍摄多个视点的图像的多个图像拍摄部构成的合成孔径的虚拟透镜的光线通过仿真对象的仿真透镜集中到虚拟传感器上，该集光处理使用对于对应于作为所述虚拟传感器的平面的一部分的多个位置的多个信息点的真实空间点生成的并且限定通过所述仿真透镜的光线的透镜信息。
在本技术的图像处理装置和图像处理方法中，用于将有待从真实空间中的真实空间点入射到具有由拍摄多个视点的图像的多个图像拍摄部构成的合成孔径的虚拟透镜的光线通过仿真对象的仿真透镜集中到虚拟传感器上的该集光处理，是使用对于对应于作为所述虚拟传感器的平面的一部分的多个位置的多个信息点的真实空间点生成的并且限定通过所述仿真透镜的光线的透镜信息执行的。
请注意，所述图像处理装置可以是独立的装置，或者可以是构成单个装置的内部块。
而且，可以通过使得计算机执行程序来实施所述图像处理装置，并且可以通过用传输媒体传输程序或者通过在记录媒体上记录程序来提供该程序。
[发明的有益效果]
根据本技术，能够用小的数据量正确地再现例如光学透镜的模糊度。
请注意，这里描述的效果不一定是限制性的，并且可以是本公开中描述的任何效果。
附图说明
[图1]
图1是示出适用本技术的图像处理系统的实施例的配置示例的框图。
[图2]
图2是示出图像拍摄装置11的配置示例的平面图。
[图3]
图3是示出图像处理装置12的配置示例的框图。
[图4]
图4是说明所述图像处理系统的处理的示例的流程图。
[图5]
图5是示出视差信息生成部31的配置示例的框图。
[图6]
图6是说明基准视差图生成部41的基准视差图生成的示例的图。
[图7]
图7是说明周边图像PL#i的视差图生成的示例的图。
[图8]
图8是说明周边图像PL#i的视差图的未登记区域的视差插补的图。
[图9]
图9是说明多层视差图生成的示例的图。
[图10]
图10是说明视差信息生成部31的基准视差图和多层视差图生成处理的示例的流程图。
[图11]
图11是示出使用实际的光学透镜通过拍摄预定图像拍摄物体的图像而获得的实际图像的示例的图。
[图12]
图12是示出图像处理装置12获得的仿真图像的示例的图。
[图13]
图13是说明当未执行饱和像素恢复处理时未再现鲜明模糊的原理的图。
[图14]
图14是说明通过执行饱和像素恢复处理来再现鲜明模糊的原理的图。
[图15]
图15是说明获取标准明度拍摄图像PL#i和低明度拍摄图像PH#i的第一获取方法的图。
[图16]
图16是示出饱和像素恢复部33的第一配置示例的框图。
[图17]
图17是说明饱和像素恢复部33执行的饱和像素恢复处理的示例的流程图。
[图18]
图18是示出饱和像素恢复部33的第二配置示例的框图。
[图19]
图19是说明饱和像素恢复部33执行的饱和像素恢复处理的示例的流程图。
[图20]
图20是示出图像拍摄装置11的另一个配置示例的平面图。
[图21]
图21是示出饱和像素恢复部33的第三配置示例的框图。
[图22]
图22是说明视差图的视差校正示例的图。
[图23]
图23是说明饱和像素恢复部33执行的饱和像素恢复处理的示例的流程图。
[图24]
图24是说明获取注意视点处的HDR(High Dynamic Range，高动态范围)拍摄图像的注意像素的像素值的处理的示例的流程图。
[图25]
图25是说明透镜仿真部35的透镜仿真处理的概况的图。
[图26]
图26是说明实际的光学透镜的集光处理和透镜仿真处理的集光处理的图。
[图27]
图27是示出入射光线再现部36的配置示例的框图。
[图28]
图28是说明真实空间点的图。
[图29]
图29是说明使用多层视差图确定真实空间点的确定方法的图。
[图30]
图30是说明光线生成部102执行的光线生成的示例的图。
[图31]
图31是说明冲突判定部103执行的冲突判定和明度分配部104执行的对于光线的明度分配的图。
[图32]
图32是示意性示出通过入射光线再现部36执行的入射光线再现处理获得的最大数目的数据的图。
[图33]
图33是说明入射光线再现部36执行的入射光线再现处理的示例的流程图。
[图34]
图34是说明冲突判定处理的示例的流程图。
[图35]
图35是说明光线明度分配处理的示例的流程图。
[图36]
图36是说明仿真透镜信息生成部37生成的透镜信息的图。
[图37]
图37是说明作为透镜信息生成的对象的真实空间点和焦点位置的图。
[图38]
图38是示出光学透镜的PSF(Point Spread Function，点扩散函数)强度分布的示例的图。
[图39]
图39是说明生成PSF强度分布的方法的示例的图。
[图40]
图40是示意性示出仿真透镜信息生成部37生成的PSF强度分布的图。
[图41]
图41是示意性示出仿真透镜信息生成部37生成的图像平面间距的图。
[图42]
图42是说明生成PSF角度成分信息的方法的示例的图。
[图43]
图43是说明生成PSF角度成分信息的方法的示例的图。
[图44]
图44是说明PSF角度成分信息的细节的图。
[图45]
图45是示意性示出仿真透镜信息生成部37生成的PSF角度成分信息的图。
[图46]
图46是说明图像平面移位信息的图。
[图47]
图47是说明生成PSF角度成分信息的方法的示例的图。
[图48]
图48是示意性示出仿真透镜信息生成部37生成的图像平面移位信息的图。
[图49]
图49是示出生成透镜信息的仿真透镜信息生成部37的配置示例的框图。
[图50]
图50是说明仿真透镜信息生成部37执行的仿真透镜信息生成处理的示例的流程图。
[图51]
图51是说明集光处理部38执行的集光处理的概况的图。
[图52]
图52是说明集光处理中的确定图像形成值的处理的示例的图。
[图53]
图53是说明集光处理中的确定图像形成值的处理的不同的示例的图。
[图54]
图54是说明集光处理中的在虚拟传感器上将图像形成值(的分布)相加的处理的示例的图。
[图55]
图55是示出集光处理部38的配置示例的框图。
[图56]
图56是说明集光处理部38执行的集光处理的示例的流程图。
[图57]
图57是说明光线加法处理的示例的流程图。
[图58]
图58是说明透镜信息的信息量的减少的概况的图。
[图59]
图59是示出透镜信息生成轴的特定示例的图。
[图60]
图60是示出在仅对于透镜信息生成轴的信息点生成透镜信息的情况下的仿真透镜信息生成部37的配置示例的框图。
[图61]
图61是说明仿真透镜信息生成部37执行的仿真透镜信息生成处理的示例的流程图。
[图62]
图62是说明使用对于透镜信息生成轴的信息点(对应的真实空间点)生成的透镜信息执行的集光处理的示例的图。
[图63]
图63是示出光线旋转法的集光处理的示例的图。
[图64]
图64是示出使用对于透镜信息生成轴生成的透镜信息执行集光处理的集光处理部38的配置示例的框图。
[图65]
图65是说明集光处理部38执行的集光处理的示例的流程图。
[图66]
图66是说明光线加法处理的示例的流程图。
[图67]
图67是说明在执行使用光线旋转法的集光处理的情况下确定图像平面移位位置的方法的图，图像平面移位位置是旋转前的光线形成图像的虚拟传感器上的图像形成位置。
[图68]
图68是说明图像平面移位信息的在信息点的并列方向上的插补的图。
[图69]
图69是说明图像平面移位信息的在视差方向上的插补的图。
[图70]
图70是示出作为透镜仿真部35的透镜仿真处理的结果获得的仿真图像的示例的图。
[图71]
图71是示出作为透镜仿真部35的透镜仿真处理的结果获得的仿真图像的不同的示例的图。
[图72]
图72是示出适用本技术的计算机的实施例的配置示例的框图。
具体实施方式
<适用本技术的图像处理系统的实施例>
图1是示出适用本技术的图像处理系统的实施例的配置示例的框图。
在图1中，图像处理系统包含图像拍摄装置11、图像处理装置12和显示装置13。
图像拍摄装置11从多个视点拍摄图像拍摄物体的图像，并且向图像处理装置12供应作为图像拍摄结果获得的多个视点的图像。
图像处理装置12使用从图像拍摄装置11的多个视点的拍摄图像执行图像处理，以生成与使用作为仿真对象的光学透镜的仿真透镜拍摄图像拍摄物体的图像的情况相似的仿真图像，并且向显示装置13供应所述仿真图像。
显示装置13显示来自图像处理装置12的仿真图像。
仿真图像是例如用于忠实地再现使用单透镜反射相机或无镜相机上可装卸地安装的光学透镜拍摄的图像拍摄物体的图像中生成的模糊度的图像。因此，使用者无需购买高价的光学透镜就能享受这样的高价的光学透镜的模糊度。
请注意，在图1中，构成图像处理系统的图像拍摄装置11、图像处理装置12和显示装置13可以内置在诸如(例如)数字(静态/视频)相机或诸如智能手机的便携终端的独立的装置中。
而且，图像拍摄装置11、图像处理装置12和显示装置13可以分别内置在独立的装置中。
而且，图像拍摄装置11、图像处理装置12和显示装置13中的任何两个装置和剩余一个装置可以分别内置在独立的装置中。
例如，图像拍摄装置11和显示装置13可以内置在使用者持有的便携终端中，并且图像处理装置12可以构建在云端的服务器中。
而且，图像处理装置12的一些块可以构建在云端的服务器中，并且图像处理装置12的其余块以及图像拍摄装置11和显示装置13可以构建在便携终端中。
<图像拍摄装置11的配置示例>
图2是示出图像拍摄装置11的配置示例的平面图。
图像拍摄装置11包含多个相机单元21i，并且通过多个相机单元21i拍摄多个视点的拍摄图像。
在图2中，图像拍摄装置11包含多个例如七个相机单元211、212、213、214、215、216和217，并且这七个相机单元211到217安置在二维平面上。
而且，在图2中，例如以七个相机单元211到217之一相机单元211为中心，另外六个相机单元212到217安置在相机单元211周围以便构成正六边形。
因此，在图2中，七个相机单元211到217中的任一个相机单元21i(i＝1,2,...,7)与离相机单元21i最近的另一个相机单元21j(j＝1,2,...,7)之间的(光轴)距离是相等的距离L。
相机单元21i与21j之间的距离L例如可以采用大概20mm。在这种情况下，图像拍摄装置11可以配置成诸如IC(集成电路)卡的卡片尺寸。
请注意，构成图像拍摄装置11的相机单元21i的数目不限于七个，并且可以采用等于或大于两个但是等于或小于六个的数目或者等于或大于八个的数目。
而且，在图像拍摄装置11中，多个相机单元21i可以安置成诸如上述正六边形的正多边形，或者可以安置在任意位置。
这里，相机单元211到217中的安置在中心的相机单元211也称为基准相机单元211，并且安置在基准相机单元211周围的相机单元212到217有时称为周边相机单元212到217。
<图像处理装置12的配置示例>
图3是示出图1的图像处理装置12的配置示例的框图。
在图3中，图像处理装置12包含视差信息生成部31、校准数据获取部32、饱和像素恢复部33、透镜设计数据获取部34和透镜仿真部35。
从图像拍摄装置11向图像处理装置12供应相机单元211到217拍摄的七个视点的拍摄图像。
这里，作为图像拍摄装置11向图像处理装置12供应的七个视点的拍摄图像，可以使用标准明度拍摄图像PL1到PL7和低明度拍摄图像PH1到PH7。
标准明度拍摄图像PL#i是相机单元21i在例如图像拍摄时估计合适的预定曝光时间中(以快门速度)(下文中也称为标准曝光时间)拍摄的图像。可以采用例如自动曝光功能设置的曝光时间等等作为标准曝光时间。
低明度拍摄图像PH#i是相机单元21i在比标准曝光时间短的曝光时间(快门速度高于对应于标准曝光时间的快门速度)中拍摄的图像。
因此，在低明度拍摄图像PH#i中，将在标准明度拍摄图像PL#i中反映的图像拍摄物体粗略地反映成暗的。
在图像处理装置12中，将标准明度拍摄图像PL#i供应到视差信息生成部31和饱和像素恢复部33，并且将低明度拍摄图像PH#i供应到饱和像素恢复部33。
视差信息生成部31使用从图像拍摄装置11供应的标准明度拍摄图像PL#i确定视差信息，并且向构成透镜仿真部35的如下所述的入射光线再现部36、仿真透镜信息生成部37和集光处理部38供应视差信息。
具体来说，视差信息生成部31执行确定从图像拍摄装置11供应的标准明度拍摄图像PL#i之一相对于不同的标准明度拍摄图像PL#i的视差信息的处理，以作为多个视点的标准明度拍摄图像PL#i的图像处理。然后，视差信息生成部31生成登记了该视差信息的视差图，并且向透镜仿真部35供应所生成的视差图。
而且，视差信息生成部31对于标准明度拍摄图像PL#i中的由基准相机单元211拍摄的标准明度拍摄图像PL1生成如下所述的多层视差图，并且向透镜仿真部35供应所生成的多层视差图。
这里，不但可以采用视差(差异)本身，而且可以采用对应于视差的距离(深度)作为视差信息。在本实施例中，采用视差和距离当中的例如视差作为视差信息。
校准数据获取部32获取相机单元211到217中的每个相机单元的光学透镜的失真值和着色系数作为校准数据。
这里，校准数据例如存储在未示出的存储器中，或者从因特网上的服务器等等提供。校准数据获取部32从存储器或因特网上的服务器获取校准数据，并且向视差信息生成部31和入射光线再现部36供应所获取的校准数据。
视差信息生成部31和入射光线再现部36使用从校准数据获取部32供应的校准数据执行校准处理，以使得周边相机单元212到217拍摄的拍摄图像(标准明度拍摄图像PL2到PL7或如下所述的HDR拍摄图像HD2到HD7)与基准相机单元211拍摄的拍摄图像(标准明度拍摄图像PL1或如下所述的HDR拍摄图像HD1)重合。
具体来说，视差信息生成部31和入射光线再现部36使用校准数据执行校准处理，将周边相机单元212到217拍摄的拍摄图像校正为如果代替周边相机单元212到217使用基准相机单元211执行图像拍摄的话可能获得的拍摄图像。
然后，视差信息生成部31和入射光线再现部36使用校准处理之后的拍摄图像对于周边相机单元212到217拍摄的拍摄图像执行处理。
请注意，下文中未描述校准处理以便简化说明。
饱和像素恢复部33使用从相机单元21i供应的低明度拍摄图像PH#i恢复从相机单元21i供应的标准明度拍摄图像PL#i的像素当中的像素饱和的饱和像素的像素值。
饱和像素恢复部33通过饱和像素的像素值的恢复将标准明度拍摄图像PL#i转换成动态范围比标准明度拍摄图像PL#i更高(分配给像素值的位数更多)的拍摄图像HD#i，并且向入射光线再现部36供应拍摄图像HD#i。
请注意，在饱和像素恢复部33中，动态范围比标准明度拍摄图像PL#i更高的拍摄图像HD#i不仅可以供应到入射光线再现部36，也可以供应到视差信息生成部31。
在这种情况下，在视差信息生成部31中，可以使用具有高动态范围的拍摄图像HD#i代替标准明度拍摄图像PL#i执行确定视差信息的图像处理。在使用具有高动态范围的拍摄图像HD#i确定视差信息的情况下，可以用更高的精度确定视差信息。
这里，通过恢复饱和像素的像素值获得的高动态范围的拍摄图像HD#i也称为HDR拍摄图像HD#i。
而且，基准相机单元211拍摄的标准明度拍摄图像PL1和低明度拍摄图像PH1以及HDR的拍摄图像HD1(从标准明度拍摄图像PL1和低明度拍摄图像PH1获得)在下文中都称为基准图像。
而且，周边相机单元21i拍摄的标准明度拍摄图像PL#i和低明度拍摄图像PH#i以及HDR拍摄图像HD#i(从标准明度拍摄图像PL#i和低明度拍摄图像PH#i获得)在下文中都称为周边图像。
透镜设计数据获取部34获取作为仿真对象的光学透镜的仿真透镜的设计数据，并且将所获取的透镜设计数据供应到仿真透镜信息生成部37。
这里，透镜设计数据例如存储在未示出的存储器中，或者从因特网上的服务器等等提供。透镜设计数据获取部34从存储器或因特网上的服务器获取透镜设计数据，并且将透镜设计数据供应到仿真透镜信息生成部37。
请注意，仿真透镜不需要是现有的光学透镜，而可以是实际上不存在的光学透镜。实际上不存在的光学透镜可以是理论上可以存在的光学透镜，或者可以是理论上不存在的光学透镜。
在采用不存在的光学透镜作为仿真透镜的情况下，例如通过使用者操作未示出的操作部来输入仿真透镜的透镜设计数据。透镜设计数据获取部34获取使用者输入的透镜设计数据。
透镜仿真部35执行透镜仿真处理并且将通过透镜仿真处理获得的仿真图像供应到显示装置13(图1)。
在透镜仿真处理中，透镜仿真部35使用从视差信息生成部31供应的视差图(根据情况的需要，包含如下所述的多层视差图)、从饱和像素恢复部33供应的七个视点的拍摄图像HD1到HD7和从透镜设计数据获取部34供应的透镜设计数据，生成仿真图像，该仿真图像是如果使用仿真透镜拍摄图像拍摄物体的话可以获得的图像。
因此，透镜仿真部35充当执行具有仿真透镜的图像拍摄装置(未示出)的仿真的仿真器。
透镜仿真部35包含入射光线再现部36、仿真透镜信息生成部37和集光处理部38。
入射光线再现部36使用从饱和像素恢复部33供应的七个视点的拍摄图像HD1到HD7和从视差信息生成部31供应的视差图，执行从真实空间中的真实空间点再现入射到虚拟透镜(是虚拟的光学透镜)的光线(的信息)的入射光线再现处理，作为七个视点的拍摄图像HD1到HD7的图像处理。
这里，入射光线再现部36再现的光线入射到的虚拟透镜是用相机单元211到217提供的合成孔径作为拍摄供应到入射光线再现部36的七个视点的拍摄图像HD1到HD7(PL1到PL7)用的多个图像拍摄部的虚拟透镜。
在相机单元211到217例如如图2所示安置成正六边形并且一个相机单元21i与位置离相机单元21i最近的另一个相机单元21j之间的距离是L的情况下，作为虚拟透镜的孔径的合成孔径具有将周边相机单元212到217的光轴相互连接并且直径为2L的基本上圆形的形状。
入射光线再现部36再现入射到虚拟透镜的光线并且将光线供应到集光处理部38。
仿真透镜信息生成部37使用从视差信息生成部31供应的视差图和从透镜设计数据获取部34供应的透镜设计数据生成仿真透镜信息(仿真透镜信息限定仿真透镜的特性，即限定通过仿真透镜的光线)，并且将仿真透镜信息供应到集光处理部38。
这里，在下面的说明中，仿真透镜信息也简单地称为透镜信息。
因为透镜信息具有与仿真透镜等价的价值，所以透镜信息可以成为买卖对象。因为透镜信息是电子数据并且容易复制，所以为了防止非法复制，有可能在使用透镜信息时要求认证。
集光处理部38使用从视差信息生成部31供应的视差图、从入射光线再现部36供应的光线和从仿真透镜信息生成部37供应的透镜信息，执行通过仿真透镜在虚拟传感器(它是虚拟的图像传感器)上集中光线的(数字)集光处理。
然后，集光处理部38将通过集光处理获得的仿真图像供应到显示装置13(图1)。
请注意，可以将图像处理装置12配置成服务器，也可以将图像处理装置12配置成客户端。而且，可以将图像处理装置12配置成服务器-客户端系统。在图像处理装置12配置成服务器-客户端系统的情况下，可以从服务器配置图像处理装置12的任意一个块或多个块，并且从客户端配置其余的块。
<图像处理系统的处理>
图4是说明图1的图像处理系统的处理的示例的流程图。
在步骤S1处，图像拍摄装置11拍摄作为多个视点的七个视点的拍摄图像PL1到PL7和PH1到PH7。拍摄图像PL#i供应到图像处理装置12(图3)的视差信息生成部31和饱和像素恢复部33，并且拍摄图像PH#i供应到饱和像素恢复部33。
然后，处理从步骤S1前进到步骤S2，步骤S2中，视差信息生成部31执行视差信息生成处理，使用从图像拍摄装置11供应的拍摄图像PL#i确定视差信息并且生成登记了视差信息的视差图(包含多层视差图)。
视差信息生成部31将通过视差信息生成处理获得的视差图供应到构成透镜仿真部35的入射光线再现部36、仿真透镜信息生成部37和集光处理部38，然后处理从步骤S2前进到步骤S3。
在步骤S3处，饱和像素恢复部33执行饱和像素恢复处理，使用从相机单元21i供应的拍摄图像PH#i恢复从相机单元21i供应的拍摄图像PL#i的像素当中的饱和像素的像素值。
饱和像素恢复部33将通过饱和像素恢复处理获得的高动态范围的拍摄图像HD#i供应到入射光线再现部36，然后处理从步骤S3前进到步骤S4。
在步骤S4处，透镜设计数据获取部34获取仿真透镜的透镜设计数据，并且将透镜设计数据供应到仿真透镜信息生成部37。
而且，在步骤S4处，仿真透镜信息生成部37执行仿真透镜信息生成处理，使用从视差信息生成部31供应的视差图和从透镜设计数据获取部34供应的透镜设计数据生成仿真透镜的透镜信息。
仿真透镜信息生成部37将通过仿真透镜信息生成处理获得的透镜信息供应到集光处理部38，然后处理从步骤S4前进到步骤S5。
在步骤S5处，入射光线再现部36执行入射光线再现处理，使用从饱和像素恢复部33供应的七个视点的拍摄图像HD1到HD7和从视差信息生成部31供应的视差图从真实空间中的真实空间点再现入射到虚拟透镜上的光线。
入射光线再现部36将通过入射光线再现处理获得的光线(的信息)供应到集光处理部38，然后处理从步骤S5前进到步骤S6。
在步骤S6处，集光处理部38执行集光处理，使用从视差信息生成部31供应的视差图、从入射光线再现部36供应的光线和从仿真透镜信息生成部37供应的透镜信息，将光线通过仿真透镜集中在虚拟传感器上。
集光处理部38将因为集光处理获得的仿真图像供应到显示装置13，然后处理从步骤S6前进到步骤S7。
在步骤S7处，显示装置13显示来自集光处理部38的仿真图像。
<视差图的生成>
图5是示出图3的视差信息生成部的配置示例的框图。
参照图5，视差信息生成部31包含基准视差图生成部41和多层视差图生成部42。
从图像拍摄装置11向基准视差图生成部41供应拍摄图像PL1到PL7。
基准视差图生成部41生成基准视差图，基准视差图是登记了作为来自图像拍摄装置11的拍摄图像PL1到PL7之一的基准图像PL1相对于其它拍摄图像(周边图像)PL2到PL7的视差的视差图，并且将基准视差图供应到多层视差图生成部42。
多层视差图生成部42使用例如来自基准视差图生成部41的基准视差图生成周边图像PL2到PL7的视差图。
然后，多层视差图生成部42使用基准图像PL1的基准视差图和周边图像PL2到PL7的视差图生成多层视差图，在该多层视差图中登记了参照基准相机单元211的视点(位置)的视差。
基准图像PL1的基准视差图、周边图像PL2到PL7的视差图和多层视差图当中的一个或多个必要的视差图供应到入射光线再现部36、仿真透镜信息生成部37和集光处理部38(图3)。
图6是说明图5的基准视差图生成部41的基准视差图生成的示例的图。
具体来说，图6示出了拍摄图像PL1到PL7的示例。
图6中，在拍摄图像PL1到PL7中，作为预定背景前侧的前景反映预定物体obj。因为拍摄图像PL1到PL7是在相互不同的视点，所以例如拍摄图像PL2到PL7中反映的物体obj的位置从基准图像PL1中反映的物体obj的位置位移对应于视点差异的距离。
基准视差图生成部41依次选择基准图像PL1的像素作为注意像素，并且从每个其它拍摄图像PL2到PL7中、即从每个周边图像PL2到PL7中检测对应于注意像素的对应像素(对应点)。
作为检测每个周边图像PL2到PL7的对应于基准图像PL1的注意像素的对应像素的方法，可以采用诸如(例如)块匹配法的任意方法。
这里，从基准图像PL1的注意像素朝周边图像PL#i的对应像素的向量方向，即，代表注意像素与对应像素之间的位移的向量，称为视差向量v#i,1。
基准视差图生成部41确定相应周边图像PL2到PL7的视差向量v2,1到v7,1。然后，基准视差图生成部41对于视差向量v2,1到v7,1的大小执行多数票决，并且将多数票决中胜出的视差向量v#i,1的大小确定为注意像素(的位置)的视差。
这里，如上文参照图2所述在图像拍摄装置11中在拍摄基准图像PL1的基准相机单元211与拍摄周边图像PL2到PL7的周边相机单元212到217之间的距离是相等的距离L的情况下，如果在基准图像PL1的注意像素处反映的部也反映在周边图像PL2到PL7中，则将大小相等但是方向相互不同的向量确定为视差向量v2,1到v7,1。
具体来说，在这种情况下，视差向量v2,1到v7,1是大小相等但是具有周边图像PL2到PL7相对于基准相机单元211的位置(视点)对应的方向的向量。
然而，因为拍摄图像PL1到PL7具有相互不同的视点，所以周边图像PL2到PL7可能包含受到遮挡的图像，即图像中的在基准图像PL1的注意像素处反映的部分被前景隐藏并且未被反映。
关于基准图像PL1的注意像素处反映的部分未被反映的周边图像(下文中也称为遮挡图像)PL#i，很难检测到正确的像素作为对应于注意像素的对应像素。
因此，关于遮挡图像PL#i，确定大小不同于反映基准图像PL1的注意像素处反映的部分的周边图像PL#j的视差向量v#j,1的视差向量v#i,1。
据估计，周边图像PL2到PL7当中关于注意像素发生遮挡的图像的数目小于发生遮挡的图像的数目。因此，基准视差图生成部41如上所述对于视差向量v2,1到v7,1的大小执行多数票决，并且将多数票决中胜出的视差向量v#i,1的大小确定为注意像素的视差。
在图6中，三个视差向量v2,1、v3,1和v7,1是视差向量v2,1到v7,1当中的大小相等的向量。同时，在参考向量v4,1、v5,1和v6,1中，不存在大小相等的视差向量。
因此，将三个视差向量v2,1、v3,1和v7,1的大小确定为注意像素的视差。
请注意，可以根据基准相机单元211与周边相机单元21i之间的位置关系辨别基准图像PL1的注意像素相对于任意的周边图像PL#i的视差的方向。
基准视差图生成部41依次选择基准图像PL1的像素作为注意像素并且确定视差。然后，基准视差图生成部41生成其中登记关于基准图像PL1的每个像素的位置(xy坐标)的该像素的视差的视差图作为基准视差图。因此，视差图是其中像素位置和像素视差相互关联的映射图(表格)。
这里，除了基准图像PL1的视差图(基准视差图)之外，还可以类似地生成每个周边图像PL#i的视差图。
然而，在生成周边图像PL#i的视差图时，基于周边图像PL#i与每个其它拍摄图像PL#j之间的视点关系(相机单元21i与21j之间的位置关系)调节视差向量大小，执行视差向量的多数票决。
具体来说，例如，在要生成周边图像PL5的视差图的情况下，例如在周边图像PL5与基准图像PL1之间获得的视差向量的大小等于在周边图像PL5与周边图像PL2之间获得的视差向量的两倍。
这是因为，作为拍摄周边图像PL5的周边相机单元215的光轴与拍摄基准图像PL1的基准相机单元211的光轴之间的距离的基线长度是距离L，而拍摄周边图像PL5的周边相机单元215与拍摄周边图像PL2的周边相机单元212之间的基线长度是距离2L。
因此，如果假设例如作为周边相机单元215与基准相机单元211之间的基线长度的距离L称为基准基线长度，则在调节视差向量的大小之后对视差向量执行多数票决从而使得基线长度转换成基准基线长度L。
具体来说，例如，因为例如拍摄周边图像PL5的周边相机单元215与拍摄基准图像PL1的基准相机单元211之间的基线长度L等于基准基线长度L，所以将在周边图像PL5与基准图像PL1之间获得的视差向量的大小调节成一倍。
同时，因为例如拍摄周边图像PL5的周边相机单元215与拍摄周边图像PL2的周边相机单元212之间的基线长度2L等于基准基线长度L的两倍，所以在周边图像PL5与基准图像PL1之间获得的视差向量的大小调节成1/2倍(n倍，其中n是周边相机单元215与周边相机单元212之间的基线长度与基准基线长度的比值)。
同样，在周边图像PL5与任何其他拍摄图像PL#i之间获得的视差向量的大小调节成n倍，其中n同样是与基准基线长度L的比值。
然后，使用大小调节之后的视差向量执行视差向量的多数票决。
请注意，基准视差图生成部41可以例如用图像拍摄装置11拍摄的拍摄图像的像素的精度确定基准图像PL1(的每个像素)的视差。而且，可以例如用比图像拍摄装置11拍摄的拍摄图像的像素更精细的精度(下文中称为亚像素精度)、尤其是例如用1/4像素等等的精度确定基准图像PL1的视差。
在用亚像素精度确定视差的情况下，在使用视差的处理中，不但可以原样使用亚像素精度的视差，而且可以通过将亚像素精度的视差的小数位向下舍入、向上舍入或者四舍五入将视差变成整数后使用视差。
在本实施例中，用亚像素精度确定视差，并且除非另有规定，否则将亚像素精度的视差变成整数后使用以方便计算。
图7是说明周边图像PL#i的视差图生成的示例的图。
周边图像PL#i的视差图不仅可以与基准图像PL1的视差图(基准视差图)同样地生成，也可以简单地并且容易地利用基准视差图生成。
多层视差图生成部42(图5)可以利用基准视差图生成周边图像PL#i的视差图。
在图7中，利用基准视差图生成周边图像PL2和PL5的视差图。
这里，在图7中，示出了基准图像PL1和周边图像PL2和PL5以及基准图像PL1和周边图像PL2和PL5的视差图。
作为基准图像PL1的视差图(基准视差图)，示出了其中通过着色表示像素的视差的视差图的平面图和其中横坐标轴指示像素的水平位置并且纵坐标轴指示视差的视差图。
这一点同样也适用于周边图像PL2和PL5的视差图。
当多层视差图生成部42将要利用基准视差图生成周边图像PL#i的视差图时，它在基准视差图中在根据拍摄基准图像的相机单元211与拍摄周边图像PL#i的周边相机单元21i之间的位置关系的方向(下文中将该方向称为相机位置关系方向)上将在像素位置处登记的视差移动视差距离，以生成周边图像PL#i的视差图。
例如，当要生成周边图像PL2的视差图时，将左侧方向即从拍摄周边图像PL2的相机单元212看拍摄基准图像的相机单元211时的方向确定为相机位置关系方向，将基准视差图的每个像素的位置处登记的视差在作为相机位置关系方向的左侧方向上移动视差距离以生成周边图像PL2的视差图。
另一方面，例如，当要生成周边图像PL5的视差图时，将右侧方向即从拍摄周边图像PL5的相机单元215看拍摄基准图像的相机单元211时的方向确定为相机位置关系方向，将基准视差图的每个像素的位置处登记的视差在作为相机位置关系方向的右侧方向上移动视差距离以生成周边图像PL5的视差图。
当用如上所述的方式利用基准视差图生成周边图像PL#i的视差图时，在周边图像PL#i的视差图中，在周边图像PL#i中反映但是在基准图像P1中未反映的区域是其中未登记视差的未登记区域(图7中用斜线表示的部分)。
因此，多层视差图生成部42在利用基准视差图生成的周边图像PL#i的视差图的未登记区域中插补视差以完成周边图像PL#i的视差图。
图8是说明周边图像PL#i的视差图的未登记区域的视差插补的图。
这里，在图8中，同样与图7中类似地示出了基准图像PL1和周边图像PL2和PL5以及基准图像PL1和周边图像PL2和PL5的视差图。
多层视差图生成部42在周边图像PL#i的视差图中，在一个方向和相反的方向上，跟随相机位置关系方向的直线(这是在相机位置关系方向上从未登记区域中的像素延伸的直线)，并且检测在跟随处理中最先到达的并且视差经过登记的像素。
而且，多层视差图生成部42选择相机位置关系方向直线的一个方向上的视差登记像素的视差与相反方向上的视差登记像素的视差当中的较小视差(对应于较大距离的视差)，作为用于未登记区域中的像素的插补的插补视差。
然后，多层视差图生成部42用插补视差插补未登记区域中的像素的视差(将插补视差登记为未登记区域中的像素的视差)以完成周边图像PL#i的视差图。
在图8中，在周边图像PL2的视差图中，选择在与未登记区域(图7)的右侧处的边界相邻的像素(视差登记像素)处登记的视差，并且作为插补视差插补未登记区域中的像素的视差(作为未登记区域中的像素的视差传播插补视差)。
而且，在图8中，在周边图像PL5的视差图中，选择与未登记区域(图7)的左侧的边界邻近的像素(视差登记像素)处登记的视差作为插补视差，并且作为插补视差插补未登记区域中的像素的视差。
图9是说明多层视差图生成的示例的图。
这里，在图9中，同样与图7和图8中类似地示出了基准图像PL1和周边图像PL2和PL5以及基准图像PL1和周边图像PL2和PL5的视差图。
多层视差图生成部42使用基准图像PL1的基准视差图和周边图像PL2到PL7的(一个或多个)视差图生成多层视差图。
具体来说，多层视差图生成部42依次选择周边图像PL#i的像素作为注意像素，并且检测基准图像的对应于注意像素的对应像素。
例如，在相机位置关系方向上(这里是在从相机单元211看相机单元22i的方向上)从周边图像PL#i的注意像素的位置移动了在周边图像PL#i的视差图的注意像素处登记的视差的距离的位置处的基准图像PL1的像素，被检测为基准图像PL1的对应于周边图像PL#i的注意像素的对应像素。
然后，在基准视差图中将周边图像PL#i的注意像素的视差登记到基准图像PL1的对应像素中。
在生成多层视差图时，虽然在基准视差图中已经在基准图像PL1的对应像素处登记了视差，但是在周边图像PL#i的注意像素的视差不同于已经在对应像素处登记的视差的情况下，用将该不同视差与已经登记的视差相加的形式登记该不同视差。
如上所述，周边图像PL#i的视差图中登记的视差可以说是用其加法形式在基准视差图中反映，并且反映之后的基准视差图是多层视差图。
结果是，多层视差图是这样的视差图：除了从基准相机单元211的视点(下文中有时称为基准视点)能看到的区域中的视差之外，还登记了至少在可能隐藏在前景后面无法看到的区域(发生遮挡的区域)的一部分处的视差。
在多层视差图中，例如可以说是在前景的区域中的像素处，登记多层视差(多个视差)，比如对应于离前景的距离的视差，以及从基准视点对应于离隐藏在前景后面无法看到的背景的距离的视差。
图10是说明图5的视差信息生成部31的基准视差图和多层视差图生成处理的示例的流程图。
在生成基准视差图的基准视差图生成处理中，在步骤S11处，基准视差图生成部41从来自图像拍摄装置11的周边图像PL2到PL7当中选择尚未被选择为注意图像的一个图像作为注意图像。之后，处理前进到步骤S12。
在步骤S12处，基准视差图生成部41检测注意图像与来自图像拍摄装置11的基准图像PL1的每个像素之间的视差向量v(图6)。之后，处理前进到步骤S13。
在步骤S13处，基准视差图生成部41判断是否所有周边图像PL2到PL7都已被选择为注意图像。
如果在步骤S13处判断并非所有周边图像PL2到PL7都被选择为注意图像，则处理返回到步骤S11，之后，重复类似的处理。
另一方面，如果在步骤S13处判断所有的周边图像PL2到PL7都已被选择为注意图像，则处理前进到步骤S14。
在步骤S14处，基准视差图生成部41如上文参照图6所述关于基准图像的每个像素对于周边图像PL2到PL7的视差向量v2,1到v7,1的大小执行多数票决，并且将多数票决胜出的视差向量v#i,1的大小确定为视差。
然后，基准视差图生成部41生成对于基准图像的每个像素登记视差的基准视差图，并且将基准视差图供应到多层视差图生成部42，从而结束基准视差图生成处理。
在生成多层视差图的多层视差图生成处理中，在步骤S21处，多层视差图生成部42如上文参照图7所述使用来自基准视差图生成部41的基准视差图生成周边图像PL2到PL7的视差图。之后，处理前进到步骤S22。
在步骤S22处，多层视差图生成部42如上文参照图8所述将视差插补到周边图像PL#i的视差图的未登记区域中，以完成周边图像PL#i的视差图。之后，处理前进到步骤S23。
在步骤S23处，多层视差图生成部42如上文参照图9所述在基准视差图上反映周边图像PL2到PL7的视差图以生成多层视差图，从而结束多层视差图生成处理。
<饱和像素的恢复>
图11是示意性示出使用实际的光学透镜通过预定图像拍摄物体的图像拍摄而获得的实际图像的示例的图。
图11A示出将焦点设置成全焦点时的实际图像的示例。
在图11的A的实际图像中，比较鲜明地不模糊地反映位于后侧的灯泡。
图11的B示出当焦点设置成(离光学透镜的主点)比较近的位置、例如距离为1m时的实际图像的示例。
在图11的B的实际图像中，虽然1m距离处的图像拍摄物体(在图11中是罐子)鲜明地不模糊地反映，但是不同的距离处的其它图像拍摄物体模糊地反映。而且，虽然在图11的B的实际图像中，位于后侧的灯泡是模糊的，但是它的明度较高，所以它被比较鲜明地反映。
图12是示出图3的图像处理装置12获得的仿真图像的示例的图。
图12的A示出当图像处理装置12未执行饱和像素恢复处理时获得的仿真图像的示例。
在图12的A的仿真图像中，与图11的B的情况下一样，焦点同样设置成近侧的位置，因此位于后侧的灯泡是模糊的。
然而，虽然在图12的A的仿真图像中，位于后侧的灯泡是模糊的，但是不同于图11的B的情况，灯泡不太鲜明。
图12的B示出当图像处理装置12饱和像素恢复处理时获得的仿真图像的示例。
在图12的B的仿真图像中，与图11的B的情况下一样，焦点同样设置成近侧的位置，因此位于后侧的灯泡是模糊的。
此外，在图12的B的仿真图像中，位于后侧的灯泡与图11的B的情况下相似鲜明地模糊。
因此，根据饱和像素恢复处理，可以通过后面执行的仿真处理正确地再现实际的光学透镜的模糊。
具体来说，根据饱和像素恢复处理，可以再现与使用实际的光学透镜拍摄的实际图像相似的鲜明模糊。
图13是说明当未执行饱和像素恢复处理时未再现鲜明模糊的原理的图。
图13的A示出图像拍摄物体的光强度的示例。
在图13的A中，横坐标轴指示未示出的构成相机单元21i的图像传感器的水平方向(水平坐标)中的位置，并且纵坐标轴指示来自照射在图像传感器上的光的光强度。
在图13的A中，非常高的光强度S0的光照射相机单元21i(的图像传感器)。
图13的B示出当接收到光强度S0的光时从相机单元21i输出的拍摄图像的明度的示例。
在图13的B中，横坐标轴表示从接收到光强度S0的光的相机单元21i输出的拍摄图像的水平方向中的像素的位置，并且纵坐标轴表示拍摄图像的像素的明度。
对应于光强度S0的光的明度超过图像拍摄限界明度THL、即能作为像素值从相机单元21i输出的最大值，因此，在拍摄图像中，发出光强度S0的光的图像拍摄物体的明度被截断(钳位)到图像拍摄限界明度THL。
这里，将对应于图像拍摄限界明度THL的光强度表示为S1(<S0)。
图13的C示出通过透镜仿真处理生成的仿真图像的示例，该透镜仿真处理中使用对应于光强度S0的光的明度被截断成对应于光强度S1的图像拍摄限界明度THL的拍摄图像。
在图13的C中，横坐标轴指示仿真图像的水平方向中的像素的位置，并且纵坐标轴指示仿真图像的像素的明度。
当在生成仿真图像时，在像素值等于对应于光强度S1的图像拍摄限界明度THL的像素上反映的图像拍摄物体模糊时，光强度S1在反映图像拍摄物体的像素周围分散，并且图像拍摄物体的明度从图像拍摄限界明度THL进一步降低。
如上所述，在拍摄图像中，将发出光强度S0高于对应于图像拍摄限界明度THL的光强度S1的光的图像拍摄物体(例如，灯泡等等)反映成发出对应于图像拍摄限界明度THL的光强度S1的光。
于是，如果在使用反映发出对应于图像拍摄限界明度THL的光强度S1的光的图像拍摄物体的拍摄图像生成仿真图像时，图像拍摄物体模糊，则低于原始光强度S0的光强度S1分散，并且图像拍摄物体上不出现鲜明度。
图14是说明通过执行饱和像素恢复处理来再现鲜明模糊的原理的图。
图14的A示出当相机单元21i接收到光强度S0的光时输出的拍摄图像的明度的示例。
图14的A的拍摄图像的明度与图13的B的相似，并且发出光强度S0的光的图像拍摄物体的明度被截断成对应于低于光强度S0的光强度S1的图像拍摄限界明度THL。
图14的B示出饱和像素恢复处理之后的拍摄图像的明度的示例。
在饱和像素恢复处理中，作为拍摄图像中的像素值被截断成图像拍摄限界明度THL的图像拍摄物体的像素值，恢复通过将对应于满足S1+S2≈S0这个表达式的光强度S2的明度与图像拍摄限界明度THL相加获得的明度。
结果是，在饱和像素恢复处理之后的拍摄图像中，像素值被截断成图像拍摄限界明度THL的像素具有基本上对应于原始光强度S0≈S1+S2的明度作为像素值。
图14的C示出使用饱和像素恢复处理之后的拍摄图像生成的仿真图像的示例。
在图14C中，横坐标轴表示仿真图像的水平方向中的像素的位置，并且纵坐标轴表示仿真图像的像素的明度。
当在生成仿真图像时在具有对应于光强度S1+S2的明度作为像素值的像素上反映的图像拍摄物体模糊的情况下，虽然光强度S1+S2分散在反映图像拍摄物体的像素周围，但是因为光强度S1+S2非常高，所以即使光强度S1+S2分散，图像拍摄物体的明度仍然高于不执行饱和像素恢复处理的时候。
如上所述，根据饱和像素恢复处理，发出高光强度S0的光并且像素值被截断成图像拍摄限界明度THL的图像拍摄物体(例如灯泡等等)的明度被恢复成对应于(基本上)原始的高光强度S0的明度。
于是，当在使用反映明度如上所述对应于这样的高光强度S0的图像拍摄物体的拍摄图像生成仿真图像(透镜仿真处理)时图像拍摄物体模糊的情况下，在图像拍摄物体上出现鲜明模糊。
因此，可以再现与使用实际的光学透镜拍摄的实际图像相似的鲜明模糊。
这里，饱和像素恢复部33执行饱和像素恢复处理，其中如上文参照图3所述，使用从相机单元21i供应的低明度拍摄图像PH#i恢复从相机单元21i供应的标准明度拍摄图像PL#i的像素当中的像素值饱和的饱和像素的像素值。
标准明度拍摄图像PL#i的像素的像素值饱和，这如上文参照图13和图14所述，意味着标准明度拍摄图像PL#i的像素的像素值被截断成图像拍摄限界明度THL，或者标准明度拍摄图像PL#i的像素的像素值接近图像拍摄限界明度THL。
而且，在饱和像素恢复处理中，需要反映同一个图像拍摄物体的标准明度拍摄图像PL#i和低明度拍摄图像PH#i。作为获取反映同一个图像拍摄物体的标准明度拍摄图像PL#i和低明度拍摄图像PH#i的方法，可以采用任意方法。
下文中，描述作为获取反映同一个图像拍摄物体的标准明度拍摄图像PL#i和低明度拍摄图像PH#i的方法的第一获取方法、第二获取方法和第三获取方法。
请注意，作为饱和像素恢复处理对象的拍摄图像是RAW数据图像，或者为了保持明度的线性，优选地是伽马校正之前的去马赛克图像。
图15是说明获取标准明度拍摄图像PL#i和低明度拍摄图像PH#i的第一获取方法的图。
在第一获取方法中，在短时间中执行多次例如两次的图像拍摄，同时对于构成图像拍摄装置11的所有的相机单元211到217改变曝光时间(快门速度)。
具体来说，在第一获取方法中，构成图像拍摄装置11的所有的相机单元211到217依次执行标准曝光时间的图像拍摄(估计在图像拍摄时合适的曝光时间，例如，通过自动曝光功能设置的曝光时间等等)和比标准曝光时间短的曝光时间的图像拍摄。
在标准曝光时间中拍摄的每个拍摄图像是标准明度拍摄图像PL#i，并且在比标准曝光时间短的曝光时间中拍摄的每个拍摄图像是低明度拍摄图像PH#i。
因此，通过第一获取方法获得的标准明度拍摄图像PL#i和低明度拍摄图像PH#i是用相互不同的时序拍摄的图像。
现在，如果标准曝光时间表示为X(秒)，则作为比标准曝光时间X短的低明度拍摄图像PH#i的曝光时间，例如可以采用X/16(秒)等等。
图15示出分别通过相机单元211、212和215拍摄的标准明度拍摄图像PL1、PL2和PL5以及低明度拍摄图像PH1、PH2和PH5的示例。
因为低明度拍摄图像PH#i的曝光时间比标准明度拍摄图像PL#i的标准曝光时间短，所以低明度拍摄图像PH#i中的图像拍摄物体反映得比标准明度拍摄图像PL#i中的图像拍摄物体暗。
图16是示出图3的饱和像素恢复部33的第一配置示例的框图。
具体来说，图16示出通过第一获取方法获取标准明度拍摄图像PL#i和低明度拍摄图像PH#i的情况下的饱和像素恢复部33的配置示例。
参照图16，饱和像素恢复部33包含饱和判定部51和恢复部52。
从图像拍摄装置11(图1)向饱和判定部51供应标准明度拍摄图像PL#i。
饱和判定部51执行饱和判定以判定来自图像拍摄装置11的标准明度拍摄图像PL#i的每个像素是否为饱和像素，并且将饱和判定的判定结果供应到恢复部52。
不但向恢复部52供应来自饱和判定部51的饱和判定的判定结果，而且从图像拍摄装置11供应标准明度拍摄图像PL#i和低明度拍摄图像PH#i。
恢复部52响应于来自饱和判定部51的饱和判定的判定结果(饱和判定结果)从来自图像拍摄装置11的标准明度拍摄图像PL#i的像素当中指定饱和像素。
而且，恢复部52按照需要使用来自图像拍摄装置11的低明度拍摄图像PH#i恢复每个饱和像素的像素值，并且将动态范围比标准明度拍摄图像PL#i更高的HDR拍摄图像HD#i供应到入射光线再现部36(图3)，HDR拍摄图像HD#i是通过恢复获得的。
图17是说明图16的饱和像素恢复部33执行的饱和像素恢复处理的示例的流程图。
在步骤S31处，饱和判定部51从七个相机单元211到217的视点(位置)当中选择尚未被选择为注意视点的一个视点作为注意视点。之后，处理前进到步骤S32。
在步骤S32处，饱和判定部51从图像拍摄装置11供应的七个视点的标准明度拍摄图像PL1到PL7当中的注意视点的标准明度拍摄图像PL#i的像素当中选择尚未被选择为注意像素的一个像素作为注意像素。之后，处理前进到步骤S33。
在步骤S33处，饱和判定部51执行作为注意视点的标准明度拍摄图像PL#i的注意像素的像素值的标准像素值是否等于或高于预定阈值TH1的饱和判定。
如果在步骤S33处判定注意视点的标准明度拍摄图像PL#i的注意像素的标准像素值不等于或高于阈值TH1，即，如果注意视点的标准明度拍摄图像PL#i的注意像素的标准像素值不处在饱和状态，则饱和判定部51将标准像素值不处在饱和状态的饱和判定结果供应到恢复部52。然后，处理前进到步骤S34。
在步骤S34处，恢复部52响应于来自饱和判定部51的标准像素值不处在饱和状态的饱和判定结果，选择从图像拍摄装置11的注意视点的标准明度拍摄图像PL#i的注意像素的标准像素值，作为注意视点的HDR拍摄图像HD#i中的注意像素的位置处的像素的像素值(也是下文中称为注意像素的注意像素位置的像素)。之后，处理前进到步骤S37。
另一方面，如果在步骤S33处判定注意视点的标准明度拍摄图像PL#i的注意像素的标准像素值等于或高于阈值TH1，即，如果注意视点的标准明度拍摄图像PL#i的注意像素的标准像素值处在饱和状态或者这样的饱和的可能性较高，则饱和判定部51将标准像素值处在饱和状态的饱和判定结果供应到恢复部52。然后，处理前进到步骤S35。
在步骤S35处，恢复部52响应于来自饱和判定部51的标准像素值处在饱和状态的饱和判定结果，判定作为从图像拍摄装置11的注意视点的低明度拍摄图像PH#i的注意像素的位置处的像素的(也是称为注意像素的注意像素位置处的像素)像素值的低明度像素值是否等于或高于预定阈值TH2，预定阈值TH2低于阈值TH1。
如果在步骤S35处判定注意视点的低明度拍摄图像PH#i的注意像素的低明度像素值不等于或高于阈值TH2，即如果注意视点的低明度拍摄图像PH#i的注意像素的低明度像素值较低并且低明度像素值可能是噪声的可能性较高，则处理前进到步骤S34。
在步骤S34处，如上所述，恢复部52选择注意视点的标准明度拍摄图像PL#i的注意像素的标准像素值作为注意视点的HDR拍摄图像HD#i的注意像素的像素值。然后，处理前进到步骤S37。
另一方面，如果在步骤S35处判定注意视点的低明度拍摄图像PH#i的注意像素的低明度像素值等于或高于阈值TH2，即，如果注意视点的低明度拍摄图像PH#i的注意像素的低明度像素值是不能被视为噪声的某个水平的值，则处理前进到步骤S36。
在步骤S36处，恢复部52将注意视点的低明度拍摄图像PH#i的注意像素的低明度像素值乘以预定数目，并且将所得的像素值确定为从饱和像素恢复的恢复像素值。而且，恢复部52选择恢复像素值作为注意视点的HDR拍摄图像HD#i的注意像素的像素值。然后，处理从步骤S36前进到步骤S37。
这里，作为在确定恢复像素值时使用的预定倍数(下文中称为恢复增益)，采用标准明度拍摄图像PL#i的曝光时间(标准曝光时间)与低明度拍摄图像PH#i的曝光时间之间的比值。
因此，例如，如上文参照图15所述，在标准曝光时间是X(秒)并且低明度拍摄图像PH#i的曝光时间是X/16(秒)的情况下，恢复增益是16＝X/(X/16)倍。
在步骤S37处，饱和判定部51判定是否注意视点的标准明度拍摄图像PL#i的所有像素都被选择为注意像素。
如果在步骤S37处判定并非注意视点的标准明度拍摄图像PL#i的所有像素都被选择为注意像素，则处理返回到步骤S32然后重复类似的处理。
另一方面，如果在步骤S37处判定注意视点的标准明度拍摄图像PL#i的所有像素都被选择为注意像素，则处理前进到步骤S38。
在步骤S38处，饱和判定部51判定是否所有七个视点都被选择为注意视点。
如果在步骤S38处判定并非所有七个视点都已被选择为注意视点，则处理返回到步骤S31，之后重复类似的处理。
另一方面，如果在步骤S38处判定所有七个视点都已被选择为注意视点，则恢复部52将通过上文说明的处理获得的七个视点的HDR拍摄图像HD1到HD7供应到入射光线再现部36(图3)，从而结束饱和像素恢复处理。
请注意，作为低明度拍摄图像PH#i，可以采用曝光时间比标准曝光时间短的第一低明度拍摄图像和曝光时间比第一低明度拍摄图像短的第二低明度拍摄图像。
在第一获取方法中，图像拍摄装置11可以通过改变曝光时间并且依次执行图像拍摄三次来获取标准明度拍摄图像PL#i、第一低明度拍摄图像和第二低明度拍摄图像。
在标准明度拍摄图像的像素值处在饱和状态并且第一低明度拍摄图像的像素值也处在饱和状态的状态下，可以使用第二低明度拍摄图像恢复像素值处在像素值的饱和像素。
图18是示出饱和像素恢复部33的第二配置示例的框图。
具体来说，图18示出通过第二获取方法获取反映同一个图像拍摄物体的标准明度拍摄图像PL#i和低明度拍摄图像PH#i的情况下的饱和像素恢复部33的配置示例。
请注意，在图18中，与图16的元件相似的元件用相似的参考符号表示，并且下面的说明中合适地省略对这些元件的说明。
在第二获取方法中，构成图像拍摄装置11的所有相机单元211到217执行高速图像拍摄，通过高速图像拍摄用比标准曝光时间短的固定的曝光时间在短时间中执行多次图像拍摄。
而且，在第二获取方法中，从通过相机单元21i的高速图像拍摄获得的多个高速拍摄图像当中，将不同数目的高速拍摄图像相加以生成(获取)标准明度拍摄图像PL#i和低明度拍摄图像PH#i。
例如，在高速图像拍摄的曝光时间是1/4000秒的情况下，如果标准明度拍摄图像PL#i的曝光时间(标准曝光时间)设置成1/60秒，并且低明度拍摄图像PH#i的曝光时间设置成1/1000秒，则可以用下面的方式生成标准明度拍摄图像PL#i和低明度拍摄图像PH#i。
具体来说，可以通过将66或67张高速拍摄图像相加而生成标准明度拍摄图像PL#i。同时，可以通过将四张高速拍摄图像相加而生成低明度拍摄图像PH#i。
在图18中，假设从图像拍摄装置11供应高速拍摄图像，则饱和像素恢复部33通过第二获取方法从高速拍摄图像获取(生成)标准明度拍摄图像PL#i和低明度拍摄图像PH#i。然后，饱和像素恢复部33使用标准明度拍摄图像PL#i和低明度拍摄图像PH#i执行饱和像素恢复处理。
具体来说，参照图18，饱和像素恢复部33包含饱和判定部51、恢复部52、标准明度拍摄图像生成部61和低明度拍摄图像生成部62。
因此，图18的饱和像素恢复部33与图16的情况相同的一点是它包含饱和判定部51和恢复部52。
然而，图18的饱和像素恢复部33不同于图16的情况的一点是它包含标准明度拍摄图像生成部61和低明度拍摄图像生成部62。
从图像拍摄装置11向标准明度拍摄图像生成部61和低明度拍摄图像生成部62供应通过高速图像拍摄获得的七个视点的高速拍摄图像。
标准明度拍摄图像生成部61对于七个视点中的每一个视点，将来自图像拍摄装置11的预定数目的高速拍摄图像相加以生成标准明度拍摄图像PL#i，并且将标准明度拍摄图像PL#i供应到饱和判定部51和恢复部52。
低明度拍摄图像生成部62对于七个视点中的每一个视点，将来自图像拍摄装置11的数目小于标准明度拍摄图像生成部61的高速拍摄图像相加，以生成低明度拍摄图像PH#i，并且将低明度拍摄图像PH#i供应到饱和判定部51和恢复部52。
图19是说明图18的饱和像素恢复部33执行的饱和像素恢复处理的示例的流程图。
在S41处,标准明度拍摄图像生成部61对于七个视点中的每一个视点，将来自图像拍摄装置11的高速拍摄图像相加以生成标准明度拍摄图像PL#i，并且将标准明度拍摄图像PL#i供应到饱和判定部51和恢复部52。
而且，在S41处,低明度拍摄图像生成部62对于七个视点中的每一个视点，将来自图像拍摄装置11的高速拍摄图像相加以生成低明度拍摄图像PH#i，并且将低明度拍摄图像PH#i供应到饱和判定部51和恢复部52。
然后，处理从步骤S41前进到步骤S42，之后，分别在步骤S42到S49处执行与图17中的步骤S31到S38处相似的处理。
图20是示出图像拍摄装置11的另一个配置示例的平面图。
具体来说，图20示出通过第三获取方法获取反映同一个图像拍摄物体的标准明度拍摄图像PL#i和低明度拍摄图像PH#i的情况下的图像拍摄装置11的配置示例。
在图20中，图像拍摄装置11由19个相机单元构成。
具体来说，在图20中，将一个相机单元设置成基准相机单元，并且以基准相机单元为中心在水平方向上安置五个相机单元。
而且，在以基准相机单元为中心的五个相机单元的上方和下方，分别安置在水平方向上并列的四个相机单元。
而且，在以基准相机单元为中心的五个相机单元中的上侧的四个相机单元的上方，安置在水平方向上并排的三个相机单元。
此外，在以基准相机单元为中心的五个相机单元中的下侧的四个相机单元的下方，安置在水平方向上并排的三个相机单元。
而且，在图20中，构成图像拍摄装置11的19个相机单元当中，基准相机单元的左上侧、左下侧、右上侧和右下侧的邻近的四个相机单元是设有ND(中性密度)滤光片的相机单元，其中每个相机单元上安装一个ND滤光片。
这里，在下面的说明中，没有安装ND滤光片的每个相机单元称为普通相机单元。
参照图20，参考符号U1表示普通的相机单元，而U2表示设有ND滤光片的相机单元。
虽然根据第一和第二获取方法，执行多次图像拍摄以获取反映同一个图像拍摄物体但是曝光时间相互不同的标准明度拍摄图像PL#i和低明度拍摄图像PH#i，但是根据第三获取方法，通过单次图像拍摄(一次图像拍摄)获取标准明度拍摄图像PL#i和低明度拍摄图像PH#i。
具体来说，在第三获取方法中，图像拍摄装置11的15＝19-4个普通相机单元U1和设有ND滤光片的四个相机单元U2例如在标准曝光时间中执行图像拍摄。
通过普通的相机单元U1执行标准曝光时间的图像拍摄，可以获取标准曝光时间的标准明度拍摄图像。
另一方面，现在假设通过设有ND滤光片的四个相机单元U2的ND滤光片观察的光的明度例如是未插入ND滤光片时的1/16、1/256、1/4096和1/65536。换而言之，设有ND滤光片的四个相机单元U2的灵敏度是普通的相机单元U1的1/16、1/256、1/4096和1/65536。
在这种情况下，当通过设有ND滤光片的四个相机单元U2执行标准曝光时间的图像拍摄时，可以获取曝光时间分别等于标准曝光时间的1/16、1/256、1/4096和1/65536的第一低明度拍摄图像、第二低明度拍摄图像、第三低明度拍摄图像和第四低明度拍摄图像。
因此，通过第三获取方法获得的标准明度拍摄图像和第一到第四低明度拍摄图像是以相同时序但是用相互不同的灵敏度拍摄的不同视点的图像。
图21是示出饱和像素恢复部33的第三配置示例的框图。
具体来说，图21示出通过第三获取方法获取反映同一个图像拍摄物体的标准明度拍摄图像和低明度拍摄图像的情况下的饱和像素恢复部33的配置示例。
参照图21，饱和像素恢复部33包含视差信息获取部71、标准明度拍摄图像生成部72、低明度拍摄图像生成部73、饱和判定部74和恢复部75。
视差信息获取部71获取通过构成图像拍摄装置11(图20)的19个视点的(19个)相机单元拍摄的各个拍摄图像(标准明度拍摄图像和第一到第四低明度拍摄图像)的视差图，并且将视差图供应到标准明度拍摄图像生成部72和低明度拍摄图像生成部73。
视差信息获取部71可以用与视差信息生成部31(图3)的情况下相似的方式，使用19个视点的相机单元拍摄的拍摄图像生成19个视点的相机单元拍摄的各个拍摄图像的视差图。替代地，视差信息获取部71可以从视差信息生成部31获取通过19个视点的相机单元拍摄的拍摄图像的视差图。
从视差信息获取部71向标准明度拍摄图像生成部72供应视差图，并且也从图像拍摄装置11向标准明度拍摄图像生成部72供应通过15个视点的普通的相机单元U1拍摄的标准明度拍摄图像。
标准明度拍摄图像生成部72使用来自图像拍摄装置11的15个普通相机单元U1的15个视点(下文中也称为普通相机视点)的标准明度拍摄图像和来自视差信息获取部71的视差图生成设有ND滤光片的四个相机单元U2的四个视点(下文中也称为ND相机视点)的标准明度拍摄图像，并且将所生成的标准明度拍摄图像与来自图像拍摄装置11的15个普通相机视点的标准明度拍摄图像一起供应到饱和判定部74和恢复部75。
具体来说，标准明度拍摄图像生成部72依次选择ND相机视点的(第一到第四)低明度拍摄图像的像素作为注意像素，并且参照来自视差信息获取部71的视差图检测普通相机视点的标准明度拍摄图像的对应于注意像素的对应像素。然后，标准明度拍摄图像生成部72采用普通相机视点的标准明度拍摄图像的对应像素的像素值作为ND相机视点的标准明度拍摄图像的注意像素的像素值，以生成ND相机视点的标准明度拍摄图像。
请注意，可以从15个普通相机视点的每个标准明度拍摄图像检测对应于ND相机视点的低明度拍摄图像的注意像素的对应像素。
作为ND相机视点的普通明度拍摄图像的注意像素的像素值，可以采用分别从15个普通相机视点的标准明度拍摄图像检测的15个对应像素当中的例如基准相机单元(19个相机单元的中心的相机单元)的标准明度拍摄图像的对应像素的像素值。
而且，作为ND相机视点的普通明度拍摄图像的注意像素的像素值，可以采用从15个普通相机视点的每个标准明度拍摄图像检测的15个对应像素当中的例如像素值彼此接近的对应像素的集合当中的对应像素数目最大的集合的对应像素的像素值的平均值。
不但从视差信息获取部71向低明度拍摄图像生成部73供应视差图，而且还从图像拍摄装置11向低明度拍摄图像生成部73供应四个ND相机视点的设有ND滤光片的相机单元U2拍摄的第一到第四低明度拍摄图像。
低明度拍摄图像生成部73使用来自图像拍摄装置11的四个ND相机视点的第一到第四低明度拍摄图像和来自视差信息获取部71的视差图，生成15个普通相机视点的第一到第四低明度拍摄图像，并且将所生成的第一到第四低明度拍摄图像与来自图像拍摄装置11的四个ND相机视点的第一到第四低明度拍摄图像一起供应到恢复部75。
具体来说，低明度拍摄图像生成部73依次将每个普通相机视点的标准明度拍摄图像的像素选择为注意像素，并且参考来自视差信息获取部71的视差图以检测ND相机视点的第一到第四低明度拍摄图像中的每一个低明度拍摄图像的对应于注意像素的对应像素。然后，低明度拍摄图像生成部73采用ND个相机视点的第一到第四低明度拍摄图像的对应像素的像素值，作为普通相机视点的第一到第四低明度拍摄图像的注意像素的像素值，以生成普通相机视点的第一到第四低明度拍摄图像。
如上所述，标准明度拍摄图像生成部72生成四个ND相机视点的标准明度拍摄图像，并且低明度拍摄图像生成部73生成15个普通相机视点的第一到第四低明度拍摄图像。因此，可以从构成图像拍摄装置11(图20)的19个相机单元的所有19个视点获得标准明度拍摄图像和第一到第四低明度拍摄图像。
请注意，虽然在本实施例中，为了便于说明，事先生成四个ND相机视点的标准明度拍摄图像和15个普通相机视点的第一到第四低明度拍摄图像，但是可以在必要时对于需要这些像素值的像素生成四个ND相机视点的标准明度拍摄图像的像素值和15个普通相机视点的第一到第四低明度拍摄图像的像素值。
饱和判定部74执行判定来自标准明度拍摄图像生成部72的19个视点的标准明度拍摄图像的每个像素是否都是饱和像素的饱和判定，并且将饱和判定的判定结果(饱和判定结果)供应到恢复部75。
如上所述，从饱和判定部74向恢复部75供应饱和判定的判定结果。而且，如上所述，从标准明度拍摄图像生成部72向恢复部75供应19个视点的标准明度拍摄图像，并且从低明度拍摄图像生成部73向恢复部75供应19个视点的第一到第四低明度拍摄图像。
而且，例如从图20的图像拍摄装置11向恢复部75供应第一到第四低明度拍摄图像用的恢复增益。
这里，第一低明度拍摄图像用的恢复增益是上文参照图17所述的用于使用第一低明度拍摄图像执行饱和像素恢复的恢复增益。
因此，第一低明度拍摄图像用的恢复增益是标准明度拍摄图像的曝光时间(标准曝光时间)与第一低明度拍摄图像的曝光时间之间的比值。
例如，如果如上文参照图20所述，第一低明度拍摄图像的曝光时间(相当于)是标准曝光时间的1/16倍，则第一低明度拍摄图像用的恢复增益是16＝1/(1/16)倍。
第二到第四低明度拍摄图像用的恢复增益也可以用与第一低明度拍摄图像用的恢复增益相似的方式确定。
恢复部75对于来自标准明度拍摄图像生成部72的19个视点的每个标准明度拍摄图像，响应于来自饱和判定部74的饱和判定结果指定饱和像素。
而且，恢复部75根据需要使用来自低明度拍摄图像生成部73的第一到第四低明度拍摄图像和来自图像拍摄装置11(图20)的第一到第四低明度拍摄图像用的恢复增益恢复饱和像素的像素值，并且将动态范围比标准明度拍摄图像高的HDR拍摄图像供应到入射光线再现部36(图3)，HDR拍摄图像是通过恢复获得的。
图22是说明视差图的视差校正示例的图。
在图21的饱和像素恢复部33中，标准明度拍摄图像生成部72参照通过视差信息获取部71获取的视差图，以检测普通相机视点的标准明度拍摄图像的对应于ND相机视点的低明度拍摄图像的注意像素的对应像素。而且，低明度拍摄图像生成部73参照视差信息获取部71获取的视差图，以检测ND相机视点的(第一到第四)低明度拍摄图像的对应于普通相机视点的标准明度拍摄图像的注意像素的对应像素。
根据需要，校正标准明度拍摄图像生成部72和低明度拍摄图像生成部73如上所述在视差图中登记的在检测一个视点的图像的对应于另一个视点的注意像素的对应像素时参考的视差。
这里，为了简化说明，假设如图22所示由在水平方向上并列的三个相机单元Ua、Ub和Uc构成图像拍摄装置11。
而且，假设例如三个相机单元Ua、Ub和Uc当中在最左侧的相机单元Ua被确定为拍摄生成多层视差图的对象的基准图像的基准相机单元。
而且，假设基准相机单元Ua和最右边的相机单元Uc是普通的相机单元，并且中央相机单元Ub是设有ND滤光片的相机单元。基准相机单元Ua和普通相机单元Uc拍摄标准明度拍摄图像，并且设有ND滤光片的相机单元Ub拍摄低明度拍摄图像。
这里，基准相机单元Ua拍摄的标准明度拍摄图像称为基准图像Ua或标准明度拍摄图像Ua。同时，通过设有ND滤光片的相机单元Ub拍摄的低明度拍摄图像也称为低明度拍摄图像Ub。而且，通过普通相机单元Uc拍摄的标准明度拍摄图像也称为标准明度拍摄图像Uc。
现在，假设视差信息获取部71使用基准相机单元Ua与普通相机单元Uc之间的基线长度(光轴之间的距离)作为基准基线长度来生成基准相机单元Ua拍摄的标准明度拍摄图像(基准图像)Ua的视差图(基准视差图)。
如上文参照图7和图8所述，可以利用基准视差图简单地并且容易地生成基准相机单元Ua的视点(基准视点)之外的视点的视差图，即例如普通相机单元Uc拍摄的标准明度拍摄图像Uc的视差图。
具体来说，可以通过如下方式生成普通相机单元Uc拍摄的标准明度拍摄图像Uc的视差图：如上文参照图7所述在基准视差图上在根据基准相机单元Ua与普通相机单元Uc之间的位置关系的相机位置关系方向上将在每个像素的位置处登记的视差移动等于视差的距离，然后如上文参照图8所述在未登记区域中插补插补视差。
利用基准视差图生成的在标准明度拍摄图像Uc的视差图中登记的视差是关于隔开作为基准相机单元Ua与普通相机单元Uc之间的基线长度的基准基线长度的两个点的视差。
因此，当要检测低明度拍摄图像Ub的对应于标准明度拍摄图像Uc的注意像素的对应像素时，校正在标准明度拍摄图像Uc的视差图中登记的视差，使其成为关于相互隔开拍摄标准明度拍摄图像Uc的普通相机单元Uc与拍摄低明度拍摄图像Ub的设有ND滤光片的相机单元Ub的基线长度的两个点的视差。
具体来说，如果现在假设作为基准相机单元Ua与普通相机单元Uc之间的基线长度的基准基线长度通过ac表示，并且设有ND滤光片的相机单元Ub与普通相机单元Uc之间的基线长度通过bc表示，则校正在标准明度拍摄图像Uc的视差图中登记的视差，以便乘以基线长度bc与基准基线长度之间的比值bc/ac。
例如，假设基准相机单元Ua与设有ND滤光片的相机单元Ub之间的基线长度ab和设有ND滤光片的相机单元Ub与普通相机单元Uc之间的基线长度bc都是5mm。
在这种情况下，作为基准相机单元Ua与普通相机单元Uc之间的基线长度ac的基准基线长度是10mm。
现在，如果假设利用基准视差图生成的在标准明度拍摄图像Uc的视差图中登记的注意像素的视差例如是10个(像素)，则视差10乘以基线长度bc＝5mm与基准基线长度ac＝10mm之间的比值5/10校正为视差5。
然后，检测在从注意像素的位置位移视差5的位置处的低明度拍摄图像Ub的像素，作为低明度拍摄图像Ub的对应于标准明度拍摄图像Uc的注意像素的对应像素。
图23是说明图21的饱和像素恢复部33执行的饱和像素恢复处理的示例的流程图。
在步骤S61处,视差信息获取部71获取通过构成图像拍摄装置11(图20)的19个视点的相机单元拍摄的拍摄图像(标准明度拍摄图像和第一到第四低明度拍摄图像)的视差图，并且将视差图供应到标准明度拍摄图像生成部72和低明度拍摄图像生成部73。
而且，在步骤S61处，标准明度拍摄图像生成部72使用构成图像拍摄装置11(图20)的19个视点的相机单元当中的15个普通相机视点的标准明度拍摄图像和来自视差信息获取部71的视差图生成四个ND相机视点的标准明度拍摄图像，并且将生成的标准明度拍摄图像与15个普通相机视点的标准明度拍摄图像一起供应到饱和判定部74和恢复部75。
此外，在步骤S61处，低明度拍摄图像生成部73使用来自图像拍摄装置11的四个ND相机视点的第一到第四低明度拍摄图像和来自视差信息获取部71的视差图，生成15个普通相机视点的第一到第四低明度拍摄图像，并且将所生成的第一到第四低明度拍摄图像与四个ND相机视点的第一到第四低明度拍摄图像一起供应到恢复部75。
然后，处理从步骤S61前进到步骤S62，在步骤S62处，饱和判定部74从构成图像拍摄装置11(图20)的19个相机单元的19个视点当中选择尚未被选择为注意视点的一个视点作为注意视点。之后，处理前进到步骤S63。
在步骤S63处，饱和判定部74从标准明度拍摄图像生成部72供应的19个视点的标准明度拍摄图像当中的注意视点的标准明度拍摄图像的像素当中选择尚未被选择为注意像素的一个像素作为注意像素。之后，处理前进到步骤S64。
在步骤S64处，执行获取注意视点的HDR拍摄图像的注意像素(与注意视点的标准明度拍摄图像的注意像素相同位置的像素)的像素值的处理。然后，处理前进到步骤S65。
在步骤S65处，饱和判定部74判定是否注意视点的标准明度拍摄图像的所有像素都被选择为注意像素。
如果在步骤S65处判定并非注意视点的标准明度拍摄图像的所有像素都被选择为注意像素，则处理返回到步骤S63，然后重复类似的处理。
另一方面，如果在步骤S65处判定注意视点的标准明度拍摄图像的所有像素都被选择为注意像素，则处理前进到步骤S66。
在步骤S66处，饱和判定部74判定构成图像拍摄装置11(图20)的19个相机单元的所有19个视点是否都已被选择为注意视点。
如果在步骤S66处判定并非所有19个视点都已被选择为注意视点，则处理返回到步骤S62，之后重复类似的处理。
另一方面，如果在步骤S66处判定所有19个视点都已被选择为注意视点，则恢复部52将通过上文说明的处理获得的19个视点的HDR拍摄图像供应到入射光线再现部36(图3)，从而结束饱和像素恢复处理。
请注意，虽然在图23中，对于构成图像拍摄装置11的19个相机单元的所有19个视点执行饱和像素恢复处理，但是可以仅对于19个视点当中的15个普通相机视点执行饱和像素恢复处理。
在这种情况下，通过饱和像素恢复处理获得的HDR拍摄图像不是19个视点的HDR拍摄图像，而是15个普通相机视点的HDR拍摄图像，图21的饱和像素恢复部33可以构成为不设有标准明度拍摄图像生成部72。
图24是说明获取在图23的步骤S64处执行的注意视点的HDR拍摄图像的注意像素的像素值的处理的示例的流程图。
在步骤S71处，饱和判定部74获取来自标准明度拍摄图像生成部72的注意视点的标准明度拍摄图像的注意像素的像素值，作为注意像素的标准像素值。然后，处理前进到步骤S72。
在步骤S72处，饱和判定部74判定注意视点的标准明度拍摄图像的注意像素的标准像素值是否等于或高于阈值TH1的饱和判定。
如果在步骤S72处判定注意视点的标准明度拍摄图像的注意像素的标准像素值不等于或高于阈值TH1，即，如果注意视点的标准明度拍摄图像的注意像素的标准像素值不处在饱和状态，则饱和判定部74将标准像素值不处在饱和状态的饱和判定结果供应到恢复部75(图21)。然后，处理前进到步骤S73。
在步骤S73处，恢复部75响应于来自饱和判定部74的标准像素值不处在饱和状态的饱和判定结果，选择来自标准明度拍摄图像生成部72的注意视点的标准明度拍摄图像的注意像素的标准像素值作为注意视点的HDR拍摄图像的注意像素(与注意视点的标准明度拍摄图像的注意像素的位置相同的像素)的像素值。之后，处理返回。
另一方面，如果在步骤S72处判定注意视点的标准明度拍摄图像的注意像素的标准像素值等于或高于阈值TH1，即，如果注意视点的标准明度拍摄图像的注意像素的标准像素值处在饱和状态或者处在饱和状态的可能度较高，则饱和判定部74将标准像素值处在饱和状态的饱和判定结果供应到恢复部75。然后，处理前进到步骤S74。
在步骤S74处，恢复部75响应于来自饱和判定部74的标准像素值处在饱和状态的饱和判定结果，获取来自低明度拍摄图像生成部73的注意视点的相应第一到第四低明度拍摄图像的注意像素(与注意视点的标准明度拍摄图像的注意像素位置相同的像素)的像素值，作为注意像素的第一到第四低明度像素值v1到v4。
而且，恢复部75从图像拍摄装置11获取第一到第四低明度拍摄图像用的恢复增益g1到g4。然后，处理从步骤S74前进到步骤S75。
在步骤S75处，恢复部75判定作为注意视点的第一低明度拍摄图像的注意像素的像素值的第一低明度像素值v1是否满足使用阈值TH1和低于阈值TH1的另一个阈值TH2的表达式TH2<v1<TH1。
如果在步骤S75处判定第一低明度像素值v1满足表达式TH2<v1<TH1，即如果第一低明度像素值v1不是像噪声一样的低值并且另外不处在饱和状态，则处理前进到步骤S76。
在步骤S76处，恢复部75将作为注意视点的第一低明度拍摄图像的注意像素的像素值的第一低明度像素值v1乘以第一低明度拍摄图像用的恢复增益g1，并且确定乘法得到的像素值作为恢复饱和像素时的恢复像素值。而且，恢复部75选择恢复像素值作为注意视点的HDR拍摄图像的注意像素的像素值。然后，处理返回。
另一方面，如果在步骤S75处判定第一低明度像素值v1不满足表达式TH2<v1<TH1，则处理前进到步骤S77。
在步骤S77处，恢复部75决定作为注意视点的第二低明度拍摄图像的注意像素的像素值的第二低明度像素值v2是否满足表达式TH2<v2<TH1。
如果在步骤S77处判定第二低明度像素值v2满足表达式TH2<v2<TH1，即如果第二低明度像素值v2不是像噪声一样的低值并且另外不处在饱和状态，则处理前进到步骤S78。
在步骤S78处，恢复部75将作为注意视点的第二低明度拍摄图像的注意像素的像素值的第二低明度像素值v2乘以第二低明度拍摄图像用的恢复增益g2，并且将所得的像素值确定为从饱和像素的像素值恢复的恢复像素值。而且，恢复部75选择恢复像素值作为注意视点的HDR拍摄图像的注意像素的像素值。之后，处理返回。
另一方面，如果在步骤S77处判定第二低明度像素值v2不满足表达式TH2<v2<TH1，则处理前进到步骤S79。
在步骤S79处，恢复部75决定作为注意视点的第三低明度拍摄图像的注意像素的像素值的第三低明度像素值v3是否满足表达式TH2<v3<TH1。
如果在步骤S79处判定第三低明度像素值v3满足表达式TH2<v3<TH1，即如果第三低明度像素值v3不是像噪声一样的低值并且另外不处在饱和状态，则处理前进到步骤S80。
在步骤S80处，恢复部75将作为注意视点的第三低明度拍摄图像的注意像素的像素值的第三低明度像素值v3乘以第三低明度拍摄图像用的恢复增益g3，并且将所得的像素值确定为从饱和像素的像素值恢复的恢复像素值。而且，恢复部75选择恢复像素值作为注意视点的HDR拍摄图像的注意像素的像素值。之后，处理返回。
另一方面，如果在步骤S79处判定第三低明度像素值v3不满足表达式TH2<v3<TH1，则处理前进到步骤S81。
在步骤S81处，恢复部75将作为注意视点的第四低明度拍摄图像的注意像素的像素值的第四低明度像素值v4乘以第四低明度拍摄图像用的恢复增益g4，并且将所得的像素值确定为从饱和像素的像素值恢复的恢复像素值。而且，恢复部75选择恢复像素值作为注意视点的HDR拍摄图像的注意像素的像素值。之后，处理返回。
请注意，因为饱和像素恢复处理获得的高动态范围的多个视点的(HDR)拍摄图像不但可以是视差信息生成部31的视差信息生成和透镜仿真部35的仿真图像生成的对象，而且也是需要多个视点的拍摄图像的任意图像处理的对象。
而且，如果不但对于设有多个相机单元21i的图像拍摄装置11等等拍摄的多个视点的拍摄图像执行饱和像素恢复处理，而且也对于能适用光场技术的任意图像执行饱和像素恢复处理，则可以再现鲜明模糊。
作为能适用光场技术的图像拍摄方法，除了使用设有多个相机单元21i的图像拍摄装置11拍摄多个视点的拍摄图像的方法之外，例如还可以使用例如Ren.Ng与另外七个人的“Light Field Photography with a Hand-Held Plenoptic Camera”(Stanford TechReport CTSR 2005-02)中公开的MLA(微型透镜阵列)执行图像拍摄的方法。
<透镜仿真部35的透镜仿真处理的概况>
图25是说明图3的透镜仿真部35的透镜仿真处理的概况的图。
在透镜仿真处理中，入射光线再现部36(图3)再现从诸如真实空间中存在的物体上的点的真实空间点发出的光线当中的入射到虚拟透镜上的光线，该物体在图像拍摄装置11的图像拍摄时变成图像拍摄物体(在真实空间点发光的情况下，不但包含从真实空间点发出的光，而且包含真实空间点反射的反射光)。
虚拟透镜是具有构成图像拍摄装置11(图2)的相机单元211到217提供的合成孔径的虚拟透镜，并且虚拟透镜的实体是相机单元211到217。
而且，通过透镜仿真处理，由仿真透镜信息生成部37(图3)生成限定通过仿真透镜的光线的透镜信息(仿真透镜信息)。
如上文参照图3所述，仿真透镜可以是实际上存在的光学透镜，或者可以是实际上不存在的光学透镜。
而且，透镜信息包含表示仿真透镜对于点状光源的响应等等的PSF强度分布。
在透镜仿真处理中，集光处理部38(参照图3)执行这样的数字信号处理：使用仿真透镜信息生成部37获得的透镜信息将入射光线再现部36再现的光线通过仿真透镜集中集中在虚拟传感器上的集光处理。
虚拟传感器的实体例如是未示出的存储器，并且在集光处理中，使用透镜信息将对应于光线的明度的值与存储器(的存储值)相加以生成仿真图像。
图26是说明实际的光学透镜的集光处理和透镜仿真处理的集光处理的图。
图26的A示出实际的光学透镜的集光处理。
实际的光学透镜对从真实空间中的物体发出的大量光线进行取样，以根据实际的光学透镜的透镜特性在图像平面上形成图像。
在实际的光学透镜中，例如将由光学透镜取样的光线的角度根据孔径改变。
具体来说，如果孔径受到限制，则光学透镜不对来自物体的相对于光轴以大角度w分散的光线进行取样。另一方面，如果孔径打开，则光学透镜对来自物体的相对于光轴以大角度w分散的光线进行取样。
图26的A的图像picA是用有限的孔径拍摄的图像，并且是景深较深而且总体上对焦的图像。而且，在图像picA中，虽然右上区域中的儿童角色后面存在灯泡，但是光学透镜不对来自灯泡的相对于光轴以大角度分散的光线进行取样，并且因此，不反映儿童角色后面的灯泡。
图26的A的另一个图像picB是在孔径打开的情况下拍摄的图像，并且是景深较浅而且只有一部分对焦而且在大部分模糊的图像。而且，在图像picB中，右上区域中的儿童角色后面存在灯泡，并且光学透镜对来自灯泡的相对于光轴以大角度分散的光线进行取样。因此，在儿童角色后面反映出灯泡的一部分。
图26的B示出透镜仿真处理的集光处理。
在透镜仿真处理的集光处理中，使用真实空间中的物体发出的并且被图像拍摄装置11的多个相机单元21i成像(记录)的光线来再现(生成)入射到具有通过多个相机单元21i提供的合成孔径的虚拟透镜上的光线。
这里，在图26的B中，作为多个相机单元的三个相机单元211、212和215将三条光线成像。而且，入射到虚拟透镜上的光线被再现，从而插补三条光线当中的光线。
在透镜仿真处理的集光处理中，在用如上所述的方式再现入射到虚拟透镜上的光线之后，根据仿真透镜的透镜信息将光线集中在虚拟传感器上。因此，在因为集光获得的仿真图像中，再现与实际上使用仿真透镜拍摄图像的情况下相似的模糊度。
<入射到虚拟透镜上的光线的再现>
图27是示出图3的入射光线再现部36的配置示例的框图。
参照图27，入射光线再现部36包含真实空间点选择部101、光线生成部102、冲突判定部103和明度分配部104。
从视差信息生成部31向真实空间点选择部101供应视差图。
真实空间点选择部101使用来自视差信息生成部31的视差图当中的多层视差图将图像拍摄装置11拍摄图像的真实空间中的空间点选择为注意真实空间点并且将注意真实空间点供应到光线生成部102。
光线生成部102从来自真实空间点选择部101的注意真实空间点生成(直线作为)被入射到虚拟透镜上的光线，并且将光线供应到冲突判定部103。
不但从冲突判定部103向冲突判定部103供应光线，而且从视差信息生成部31向冲突判定部103供应视差图。
冲突判定部103使用来自视差信息生成部31的视差图当中的多层视差图执行冲突判定，以判定来自冲突判定部103的光线在入射到虚拟透镜之前是否与真实空间中的物体冲突。
然后，冲突判定部103将冲突判定结果保留的光线供应到明度分配部104。
不但从冲突判定部103向明度分配部104供应光线，而且还从视差信息生成部31供应视差图，并且还从饱和像素恢复部33供应作为多个视点的七个视点的(HDR)拍摄图像HD#i。
明度分配部104使用来自视差信息生成部31的视差图和来自饱和像素恢复部33的拍摄图像HD#i，向来自冲突判定部103的光线即向冲突判定结果保留的光线分配明度，并且在分配明度之后向集光处理部38(图3)供应光线。
图28是说明真实空间点的图。
具体来说，图28是当从上方观看被构成用作虚拟透镜的图像拍摄装置11的相机单元21i拍摄图像的真实空间时的示意平面图。
这里，作为限定真实空间中的位置(真实空间点)的三维坐标系，使用这样的三维坐标系：原点在虚拟透镜或仿真透镜的主点上，并且具有当从正面看图像拍摄装置11(图2)时分别沿着水平方向和垂直方向的x轴和y轴，以及从原点沿着深度方向(图像拍摄物体的方向)的z轴。
作为在基准图像的某个像素p处反映的物体(图像拍摄物体)的真实空间中的位置的真实空间点(x,y,z)可以根据像素p在基准图像上的位置(相机单元211的未示出的图像传感器上的位置)和像素p的视差d确定。
因此，真实空间点选择部101根据在多层视差图中登记的像素p的位置和视差d，确定对应于具有视差d的像素p的真实空间点(可以在像素p处反映的物体在真实空间中的位置)。
现在，如果假设具有在多层视差图中登记的视差的真实空间点(的集合)被称为视差登记位置，则真实空间点选择部101依次选择构成视差登记位置的真实空间点作为注意真实空间点。
请注意，在图28中，THETA表示在基准图像(基准相机单元211)的水平方向上的视角。视差登记位置存在于以虚拟透镜的光轴为中心扩展THETA视角的范围内。
虚拟透镜的轴线是经过基准图像的中心并且垂直于基准图像(基准相机单元211的光轴)的直线。
图29是说明使用多层视差图确定真实空间点的确定方法的图。
现在假设，作为表示多层视差图的多层视差图空间，使用这样的三维空间：基准图像在水平方向和垂直方向上的位置为x轴和y轴，并且能通过视差信息生成部31(图3)获得的视差所具有的值为z轴。
在如上所述的多层视差图空间中，可以通过制作表示在位置(x,y,d)处登记视差的视差旗标来登记位置(x,y)处的像素的视差d。
这里，在本实施例中，可以登记到多层视差图中的视差的最大值表示为Dmax，而最小值表示为Dmin。在这种情况下，多层视差图空间在z轴方向上的尺寸为Dmax-Dmin+1。请注意，例如可以采用0(无限远)作为Dmin。
而且，在多层视差图中登记的每个视差d可以例如根据表达式z＝37.4/d转换成在深度方向上离虚拟透镜的主点(基准相机单元211)的在真实空间中的距离z。
请注意，将视差d转换成距离z的表达式不限于表达式z＝37.4/d，并且根据基准相机单元211的分辨率、视角和焦长变化。
现在，如果将基准图像的x坐标为Xpic的像素p作为注意像素p来注意，则在图29的多层视差图中，为注意像素p登记视差D1和D2。
真实空间点选择部101将注意像素p的视差D1和D2依次选择为要注意的注意视差，并且将对应于具有注意视差的注意像素p的真实空间点选择为注意真实空间点。
现在，假设从视差D1和D2当中选择视差D1作为注意视差。
而且，基准图像(视差图)在水平方向(x轴方向)上的像素的数目表示为宽度，并且基准图像的水平方向的视角表示为THEATA。此外，对应于具有基准视差D1的注意像素p的真实空间点P1在离光轴的x轴方向上的位置(距离)表示为x1。
真实空间点选择部101首先将基准视差D1转换成真实空间中的距离z＝z1。
然后，真实空间点选择部101使用对应于基准视差D1的距离z＝z1来确定真实空间点P1在x轴方向上离光轴的位置(距离)x1，真实空间点P1对应于具有基准视差D1的注意像素。
具体来说，真实空间中的距离x1与多层视差图空间中的像素数目Xpic-width/2相互对应。而且，表示真实空间中的水平方向上的视角的一半的距离z1×tan(THEATA/2)与代表多层视差图空间中的水平方向上的视角的一半的像素数目width/2相互对应。
因为x1与Xpic-width/2之间的比率和z1×tan(THEATA/2)与width/2之间的比率相互一致，所以满足表达式x1：Xpic-width/2＝z1×tan(THEATA/2):width/2。
因此，可以根据表达式x1＝((Xpix-width/2)(z1×tan(THEATA/2))/(width/2)确定对应于具有基准视差D1的注意像素p的真实空间点P1在x轴方向上离光轴的位置x1。
真实空间点选择部101用如上所述的方式确定对应于具有基准视差D1的注意像素p的真实空间点P1在x轴方向上离光轴的位置x1。
真实空间点选择部101类似地确定对应于具有基准视差D1的注意像素p的真实空间点P1在y轴方向上离光轴的位置，从而确定对应于具有基准视差D1的注意像素p的真实空间点P1(的xyz坐标)。
对应于具有视差D2的像素p的真实空间点也可以用类似的方式确定。
图30是说明图27的光线生成部102执行的光线生成的示例的图。
具体来说，图30是从正面(图像拍摄物体一侧)看的虚拟透镜的正视图。
光线生成部102将包含虚拟透镜(的合成孔径)的区域设置为透镜区域。
在图30中，例如将围绕虚拟透镜的最小的矩形区域设置为透镜区域。
光线生成部102将透镜区域(包围的虚拟透镜)分成小区的透镜区域单元，并且在将真实空间点视为点状光源的前提下，执行从作为点状光源的真实空间点生成将要入射到每个透镜区域单元(例如其中心)的光线，即计算作为从真实空间点入射到每个透镜区域单元上的光线的直线。
在图30中，将透镜区域分成总共Lx×Ly个透镜区域单元，其中包含水平方向上的Lx个透镜区域单元和垂直方向上的Ly个透镜区域单元。
在这种情况下，光线生成部102关于一个真实空间点生成Lx×Ly条直线作为入射到虚拟透镜上的光线，这些直线分别将真实空间点与Lx×Ly个透镜区域单元相互连接。
这里，假设在水平方向或垂直方向上位置相互邻近的透镜区域单元(的中心)之间的距离称为角度分辨率，通过该角度分辨率可以区分从真实空间点发出的两条光线之间的角度。
例如，如果假设合成孔径(虚拟透镜的直径)是40mm并且透镜区域的水平方向和垂直方向上的透镜区域单元的数目Lx和Ly是21，则角度分辨率是40/21mm。
而且，作为水平方向上的直线与垂直方向上的另一条直线之间的交叉点(透镜区域通过这些交叉点分成透镜区域单元)的网格点也称为网格点LP#i(i＝1,2,...,(Lx+1)(Ly+1))。
在水平方向或垂直方向上位置相互邻近的网格点LP#i与LP#j之间的距离表示角度分辨率。
图31是说明图27的冲突判定部103执行的冲突判定和明度分配部104执行的光线的明度分配的图。
具体来说，图31是当从上方观看被构成用作虚拟透镜的图像拍摄装置11的相机单元21i拍摄图像的真实空间时的示意平面图。
冲突判定部103使用多层视差图执行冲突判定，以判定来自冲突判定部103的从真实空间点发出并且方向朝虚拟透镜的Lx×Ly个透镜区域单元的Lx×Ly光线在入射到虚拟透镜之前是否与真实空间中的物体冲突。
具体来说，如果从真实空间点发出的方向朝虚拟透镜的透镜区域单元的光线在入射到透镜区域单元之前与视差登记位置冲突(相交)，则冲突判定部103判定光线冲突。
另一方面，如果从真实空间点发出的方向朝虚拟透镜的透镜区域单元的光线在入射到透镜区域单元之前不与视差登记位置冲突(相交)，则冲突判定部103判定光线不冲突。
然后，冲突判定部103将冲突判定结果保留的那些光线(即被确定为不冲突的光线)供应到明度分配部104。
请注意，冲突判定部103向冲突判定结果保留的每条光线分配对应于发出光线的真实空间点(x,y,z)的视差d＝D，并且向被判定为冲突的每条光线分配对应于光线冲突的视差登记位置的视差d＝D’。
根据分配给从某个真实空间点(x,y,z)发出的光线的视差是否与发出光线的真实空间点(x,y,z)的视差一致，来辨别在冲突判定之后该光线是否在不与物体冲突的情况下入射到虚拟透镜。
具体来说，当分配给光线的视差与发出光线的真实空间点(x,y,z)的视差一致时，光线不与物体冲突并且入射到虚拟透镜上。另一方面，如果分配给光线的视差与发出光线的真实空间点(x,y,z)的视差不一致，则光线在对应于分配给该光线的视差的深度位置上与物体冲突，并且不到达虚拟透镜。
明度分配部104使用多层视差图和拍摄图像HD#i向来自冲突判定部103的冲突判定结果保留的光线分配明度。
具体来说，明度分配部104对于七个视点的每个拍摄图像HD1到HD7确定对应于发出冲突判定结果保留的光线的真实空间点(x,y,z)的对应像素。
而且，明度分配部104参照视差图以从拍摄图像HD1到HD7的对应像素当中检测登记了与对应于真实空间点(x,y,z)的深度z的视差d＝D一致的视差的每个像素，作为用于分配明度的光线明度分配像素。
然后，明度分配部104使用R(红)、G(绿)和B(蓝)的值作为光线明度分配像素的像素值向光线分配明度。
具体来说，明度分配部104向光线分配例如光线明度分配像素的像素值(R、G和B值)的平均值作为光线明度。
如上所述，当从真实空间点(x,y,z)发出的光线与物体冲突并且不入射到虚拟透镜时，冲突判定部103向光线分配对应于光线冲突的视差登记位置的视差。
另一方面，如果从真实空间点(x,y,z)发出的光线不与物体冲突并且入射到虚拟透镜，则冲突判定部103向该光线分配对应于发出该真实空间点(x,y,z)的视差。
而且，对于不与物体冲突并且入射到虚拟透镜的光线，明度分配部104分配像素值(R、G和B值)作为明度。
图32是示意性示出通过图27的入射光线再现部36执行的入射光线再现处理获得的最大数目的数据的图。
现在，假设基准图像HD1由N个像素pix1,pix2,...,pix#N构成，并且可以登记到视差图(多层视差图)中的视差d的数目是从最小值Dmin到最大值Dmax以1个像素递增的DPN＝Dmax-Dmin+1个整数值。
在这种情况下，在入射光线再现处理中，如图32所示最大为对应于N个像素pix1,pix2,...,pix#N当中的任意像素pix#n与DPN个视差Dmin,Dmin+1,...,Dmax当中的任意视差d的(pix#n,d)组合的真实空间点登记像素值表格。
向对应于(pix#n,d)组合的真实空间点的像素值表格中，如图32所示，登记分配给从对应于(pix#n,d)组合的真实空间点朝从透镜区域(图30)的Lx×Ly个透镜区域单元当中的从左起第i个和从上起第j个透镜区域单元(i,j)的光线的视差D。
而且，在向从对应于(pix#n,d)组合的真实空间点朝透镜区域单元(i,j)的光线分配作为明度的R、G和B值的情况下，在针对对应于(pix#n,d)组合的真实空间点的像素值表格中登记作为明度的R、G和B值。
图33是说明图27的入射光线再现部36执行的入射光线再现处理的示例的流程图。
在步骤S101处，入射光线再现部36(图27)的真实空间点选择部101、冲突判定部103和明度分配部104从视差信息生成部31获取视差图。然后，处理前进到步骤S102。
在步骤S102处，真实空间点选择部101从基准图像HD1的像素当中选择尚未被选择为注意像素的一个像素作为注意像素。然后，处理前进到步骤S103。
在步骤S103处，真实空间点选择部101参照来自视差信息生成部31的视差图(多层视差图)，从对于注意像素登记的视差当中选择尚未被选择为注意视差的一个视差作为注意视差。然后，处理前进到步骤S104。
在步骤S104处，真实空间点选择部101选择对应于注意视差的注意像素(具有该注意视差的注意像素)的真实空间点(x,y,z)＝(x0,y0,z0)作为注意真实空间点，并且将注意真实空间点供应到光线生成部102。然后，处理前进到步骤S105。
在步骤S105处，光线生成部102从虚拟透镜(图30)的透镜区域单元当中选择尚未被选择为注意透镜区域单元的一个透镜区域单元作为注意透镜区域单元。然后，处理前进到步骤S106。
在步骤S106处，光线生成部102生成从注意真实空间点(x0,y0,z0)朝注意透镜区域单元的中心点(lx,ly,0)的光线(的直线表达式)作为注意光线，并且将注意光线供应到冲突判定部103。然后，处理前进到步骤S107。
这里，作为从注意真实空间点(x0,y0,z0)朝注意透镜区域单元的中心点(lx,ly,0)的光线的直线通过表达式(x-lx)/(x0-lx)＝(y-ly)/(y0-ly)＝z/z0表示。
在步骤S107处，冲突判定部103以来自光线生成部102的注意光线为对象执行冲突判定。然后，处理前进到步骤S108。
在步骤S108处，明度分配部104基于冲突判定部103的冲突判定的判定结果(冲突判定结果)判定注意光线是否冲突。
如果在步骤S108处判定注意光线不冲突，即如果在冲突判定部103在步骤S107处的冲突判定中向注意光线分配等于对应于注意真实空间点的视差(注意视差)的视差，则处理前进到步骤S109。
在步骤S109处，明度分配部104执行光线明度分配以向注意光线分配明度并且将所分配的明度供应到集光处理部38。然后，处理前进到步骤S110。
另一方面，如果在步骤S108处判定注意光线冲突，即如果在冲突判定部103在步骤S107处的冲突判定中向注意光线分配不等于对应于注意真实空间点的视差(注意视差)的视差，则处理跳过步骤S109并且前进到步骤S110。
因此，当注意光线冲突时，不对注意光线执行步骤S109处的光线明度分配。
在步骤S110处，光线生成部102判定是否虚拟透镜的所有透镜区域单元都已被选择为注意透镜区域单元。
如果在步骤S110处判定并非虚拟透镜的所有透镜区域单元都已被选择为注意透镜区域单元，则处理返回到步骤S105，之后，重复类似的处理。
另一方面，在步骤S110处，如果判定虚拟透镜的所有透镜区域单元都已被选择为注意透镜区域单元，则处理前进到步骤S111。
在步骤S111处，真实空间点选择部101判定是否对于多层视差图中的注意像素登记的所有视差都已被选择为注意视差。
在步骤S111处，如果判定并非对于多层视差图中的注意像素登记的所有视差都已被选择为注意视差，则处理返回到步骤S103，之后，重复类似的处理。
另一方面，如果在步骤S111处判定在多层视差图中对于注意像素登记的所有视差都已被选择为注意视差，则处理前进到步骤S112。
在步骤S112处，真实空间点选择部101判定是否基准图像HD1的所有像素都已被选择为注意像素。
如果在步骤S112处判定并非基准图像HD1的所有像素都已被选择为注意像素，则处理返回到步骤S102，之后，重复类似的处理。
另一方面，如果在步骤S112处判定基准图像HD1的所有像素都已被选择为注意像素，则入射光线再现处理结束。
图34是说明在图33的步骤S107处的冲突判定处理的示例的流程图。
在步骤S121处，冲突判定部103将冲突判定用的视差d设置成最大值Dmax作为初始值。然后，处理前进到步骤S122。
在步骤S122处，冲突判定部103判定对应于判定视差d的深度(距离)Z。然后，处理前进到步骤S123。
在步骤S123处，冲突判定部103判定对应于判定视差d的深度Z是否等于注意真实空间点(x0,y0,z0)的深度z0。
如果在步骤S123处判定对应于判定视差d的深度Z不等于注意真实空间点(x0,y0,z0)的深度z0，则处理前进到步骤S124。
在从步骤S124开始的步骤处，确认从注意真实空间点(x0,y0,z0)朝注意透镜区域单元的中心点(lx,ly,0)的注意光线在对应于判定视差d的深度Z处是否与物体冲突。
具体来说，在步骤S124处，冲突判定部103将表达式z＝Z表示的平面(即垂直于深度Z的位置处的光轴的平面)设置成作为冲突判定用的平面的判定层。然后，处理前进到S125。
这里，垂直于对应于视差d的深度(距离)Z处的光轴的通过表达式z＝Z表示的平面在下文中也称为z＝Z的视差平面。在步骤S124处，将z＝Z的视差平面设置为判定层。
在步骤S125处，冲突判定部103确定注意光线与判定层之间的交叉点(Px,Py,Z)。然后，处理前进到步骤S126。
这里，如上文参照图33所述，作为注意光线的直线通过(x-lx)/(x0-lx)＝(y-ly)/(y0-ly)＝z/z0表示。
因此，注意光线的x坐标和y坐标分别通过表达式x＝z/z0(x0-lx)+lx和另一个表达式y＝z/z0(y0-ly)+ly表示。
通过将Z代入到表达式x＝z/z0(x0-lx)+lx和表达式y＝z/z0(y0-ly)+ly中，可以确定通过表达式z＝Z表示的判定层上的注意光线的x坐标和y坐标，即注意光线与判定层之间的交叉点(Px,Py,Z)的x坐标Px和y坐标Py。
因此，可以分别根据表达式x＝Z/z0(x0-lx)+lx和表达式y＝Z/z0(y0-ly)+ly确定x坐标Px和y坐标Py。
在步骤S126处，冲突判定部103确定对应于注意光线与判定层之间的交叉点(Px,Py,Z)的基准图像的像素(该像素在下文中也称为交叉点像素)。然后，处理前进到步骤S127。
在步骤s127处，冲突判定部103判定是否在多层视差图中的交叉点像素(的位置)处登记了判定视差d(对于交叉点像素登记的视差是否等于判定视差d)。
如果在步骤S127处判定未在交叉点像素处登记判定视差d，即如果注意光线与判定层之间的交叉点(Px,Py,Z)处不存在物体并且注意光线不与交叉点(Px,Py,Z)冲突，则处理前进到步骤S128。
在步骤S128处，冲突判定部103使判定视差d递减(减小)1。然后，处理返回到步骤S122，之后，重复类似的处理。
这里，当在步骤S128处判定视差d减小时，判定层从对应于视差的最大值Dmax的最接近虚拟透镜的位置朝注意真实空间点(x0,y0,z0)移动。
另一方面，如果在步骤S127处判定为交叉点像素登记了判定视差d，即如果注意光线与判定层之间的交叉点(Px,Py,Z)处存在物体并且注意光线在注意点(Px,Py,Z)处冲突，则处理前进到步骤S129。
在步骤S129处，冲突判定部103向注意光线分配判定视差d，以便表示注意光线在到达虚拟透镜之前与物体冲突的冲突判定结果。然后，处理返回。
另一方面，如果在步骤S123处判定对应于判定视差d的深度Z等于注意真实空间点(x0,y0,z0)的深度z0，即如果在判定层从对应于视差的最大值Dmax的最接近虚拟透镜的位置移动到注意真实空间点(x0,y0,z0)的同时注意光线不与物体冲突，则处理前进到步骤S130。
在步骤S130处，冲突判定部103为了表示注意光线在到达虚拟透镜之前不与物体冲突的冲突判定结果，向注意光线分配注意视差(这也是这个时间点的判定视差d)，即，对应于注意真实空间点(x0,y0,z0)的视差d。之后，处理返回。
请注意，虽然在图34中，将视差的最大值Dmax用作初始值并且判定视差从初始值连续递减成对应于注意真实空间点(x0,y0,z0)的对象的视差，但是判定视差值可以在视差的最大值Dmax到对应于注意真实空间点(x0,y0,z0)的视差的范围内以任何方式改变。
图35是说明在图33的步骤S109处的光线明度分配处理的示例的流程图。
在步骤S131处，明度分配部104从七个视点的拍摄图像HD1到HD7中的每一个拍摄图像检测对应于注意真实空间点(x0,y0,z0)的对应像素。然后，处理前进到步骤S132。
在步骤S132处，明度分配部104例如参考拍摄图像HD1到HD7的视差图，以从拍摄图像HD1到HD7的对应像素当中检测对应于注意真实空间点(x0,y0,z0)的深度z0的视差d，即对其登记了与目标视差一致的视差的像素，作为用于分配明度的光线明度分配像素。然后，处理前进到步骤S133。
在步骤S133处，明度分配部104向注意光线分配例如光线明度分配像素的像素值(R、G和B值)的平均值作为光线明度。然后，处理返回。
以此方式，在入射光线再现部36(图27)中，光线生成部102生成直线作为从关于其在多层视差图中登记视差的真实空间点(即从图像拍摄装置11将对其执行图像拍摄的真实空间中存在的物体上的点)入射到虚拟透镜的光线，该虚拟透镜具有构成图像拍摄装置11的七个视点的相机单元211到217提供的合成孔径。换而言之，入射光线再现部36确定以几何方式描述从真实空间点入射到虚拟透镜的光线的直线。
而且，在入射光线再现部36中，冲突判定部103执行冲突判定以判定光线在入射到虚拟透镜之前是否与物体冲突。
然后，在入射光线再现部36中，明度分配部104使用相机单元211到217拍摄的七个视点的拍摄图像HD1到HD7向冲突判定的结果保留的光线分配明度。
因此，可以使用七个视点的拍摄图像HD1到HD7再现入射到虚拟透镜并且因此入射到仿真透镜的光线群。
换而言之，通过让例如构成仿真透镜的所谓的前透镜对应于虚拟透镜，入射到虚拟透镜的光线群变成入射到仿真透镜的光线群。因此，通过再现将要入射到虚拟透镜的光线群，可以再现将要入射到仿真透镜的光线群。
结果是，入射到仿真透镜的光线群通过仿真透镜集中所产生的模糊度可以通过下文中描述的集光处理得到再现。
<透镜信息的生成>
图36是说明图3的仿真透镜信息生成部37生成的透镜信息的图。
作为透镜信息(仿真透镜信息)，有PSF强度分布、图像平面间距、PSF角度成分信息和图像平面移位信息可供使用。
PSF强度分布表示仿真透镜对于从点状光源发出的光线的响应。
图像平面间距表示PSF强度分布的比例。
PSF角度成分信息表示当从点状光源发出的光线通过仿真透镜到达时PSF强度分布的位置。
图像平面移位信息表示图像平面移位位置，这是从真实空间点发出的光线当中主光线通过仿真透镜到达的虚拟传感器上的位置。
图37是说明成为透镜信息生成对象的真实空间点和焦点位置的视图。
具体来说，图37是由作为虚拟透镜的构成图像拍摄装置11的相机单元21i拍摄图像的真实空间在相对于图像拍摄装置正面从右方观看时的示意性侧视图。
透镜信息是限定通过仿真透镜的光线的信息，并且光线是从真实空间点发出的。
而且，虽然通过仿真透镜的光线集中在虚拟传感器上，但是光线的集中方式根据仿真透镜的焦点位置(焦长)f而变。
因此，透镜信息可以对于仿真透镜的每个焦点位置f，生成为等于图像处理装置12(图3)最多能处理的最大真实空间点数目(该数目在下文中称为最大真实空间点数目)的信息条数。
现在，如上文参照图32所述，假设基准图像HD1由N个像素pix1,pix2,...,pix#N构成，并且可以登记到视差图(多层视差图)中的视差d的数目是从最小值Dmin到最大值Dmax以1个像素递增的DPN＝Dmax-Dmin+1的整数值。
在这种情况下，最大真实空间点数目是N×DPN个。
而且，现在假设仿真透镜的焦点位置f可以具有f1,f2,...,f#Fmax的Fmax个位置。
在这种情况下，透镜信息最多可以形成为Fmax×N×DPN条信息。
这里，在本实施例中，基于仿真透镜限定虚拟传感器的尺寸(规模)。
例如，在仿真透镜是35mm全尺寸图像传感器用的光学透镜的情况下，虚拟传感器的尺寸基于上述这样的仿真透镜设置成35mm的全尺寸。具体来说，虚拟传感器的水平尺寸和垂直尺寸例如分别设置成36mm和24mm。
此外，在本实施例中，虚拟传感器的像素间距基于基准图像的像素数目(分辨率)限定成使得虚拟传感器的像素数目等于基准图像的像素数目(或者小于基准图像的像素数目的像素数目)。
例如，在仿真透镜是35mm全尺寸的图像传感器用的光学透镜并且基准图像在水平方向上的像素数目是Nx的情况下，因为如上所述虚拟传感器的水平尺寸是36mm，所以虚拟传感器的像素间距是36mm/Nx。
请注意，某个真实空间点(X,Y,Z)对应于具有对应于深度z＝Z的视差d＝D的基准图像的某个像素。
而且，因为虚拟传感器的像素间距是基于基准图像的像素数目(分辨率)限定的，所以可以使虚拟传感器的像素对应于基准图像的像素。在虚拟传感器的像素数目等于基准图像的像素数目的情况下，基准图像的像素和虚拟传感器的位置与该像素的位置相同的像素相互对应。
而且，如果基准图像的某个像素的视差被原样用作对应于该像素的虚拟传感器的像素的视差，则真实空间点(X,Y,Z)对应于具有对应于深度z＝Z的视差d＝D的虚拟传感器的某个像素。
在这种情况下，可以将关于某个真实空间点的透镜信息视为关于对应于该真实空间点的虚拟传感器的像素(位置)与视差的组合的透镜信息。
图38是示出某个光学透镜的PSF强度分布的示例的图。
参照图38，水平方向表示光学透镜的焦点位置f，并且垂直方向表示图像高度，图像高度是在来自光学透镜的光形成图像的图像形成平面上的图像形成位置离光学中心的距离。
这里，图像形成平面对应于虚拟传感器的平面。同时，关于图38的水平方向，向左方向表示接近光学透镜的焦点位置f，并且向右方向表示远离光学透镜的焦点位置f。此外，关于图38的垂直方向，向上的方向表示小的图像高度，而向下的方向表示大的图像高度。
如图38所示，PSF强度分布根据光学透镜的焦点位置f而变。
而且，PSF强度分布根据图像形成位置的图像高度即在虚拟传感器的平面上的位置而变。
而且，PSF强度分布也根据从光学透镜的主点到图像拍摄物体(这里是点状光源)的距离即根据图像拍摄物体的视差而变。
因此，PSF强度分布例如根据焦点位置f、虚拟传感器的像素(的位置)和图像拍摄物体的视差构成的组而变。
图39是说明生成PSF强度分布的方法的示例的图。
与图37中相似，图39示出通过作为虚拟透镜的构成图像拍摄装置11的相机单元21i拍摄图像的真实空间相对于图像拍摄装置的正面从右方看时的概况。
仿真透镜信息生成部37对于最多Fmax个焦点位置f中的每一个焦点位置，对于对应于最大真实空间点数目Nx DPN个真实空间点中的每一个真实空间点即对于构成虚拟传感器的最大像素数目N与可以登记到多层视差图中的DPN个视差d的每个组合的真实空间点生成PSF强度分布。
这里，构成虚拟传感器的像素的最大数目N等于构成基准图像HD1的像素pix1到pix#N的数目N。如上文参照图37所述，在本实施例中，为了简化说明，虚拟传感器与基准图像HD1相似由像素pix1到pix#N的N个像素构成。
仿真透镜信息生成部37为真实空间点设置点状光源，以使用仿真透镜的透镜设计数据执行光线追踪用于追踪从为该真实空间点设置的点状光源发出的光线，从而生成PSF强度分布。
在光线追踪中，将从点状光源发出的光线设置成入射向量，计算入射向量与在仿真透镜的最靠图像拍摄物体侧的折射表面之间的交叉点，并且计算作为光线从交叉点入射的入射向量通过折射表面折射并且从折射表面发出时的向量作为出射向量。
而且，在光线追踪中，使用出射向量作为下一个折射表面的入射向量，计算入射向量与下一个折射表面之间的交叉点。
在光线追踪中，如上所述的这些处理一直重复到仿真透镜的最后一个折射表面为止。
然后，仿真透镜信息生成部37在虚拟传感器上观察从仿真透镜的最后一个折射表面发出的出射向量，并且记录作为因为观察获得的出射向量的光线的光强度以生成PSF强度分布。
现在假设，在仿真透镜信息生成部37中，以从真实空间点(的点状光源)发出的主光线、即作为从真实空间点发出的光线当中的通过仿真透镜的主点O的光线的主光线到达虚拟传感器时的位置作为中心(重心)的矩形区域称为分布区域。
作为分布区域，例如可以采用这样的矩形区域：它以从真实空间点发出的主光线为中心，并且是包围从真实空间点通过仿真透镜发出的光线所到达的虚拟传感器上的点的最小(或接近最小)矩形区域。而且，假设分布区域是可以用PX×PY的宽度乘长度的分辨率记录信息的区域。对于PX和PY，例如可以采用255。
仿真透镜信息生成部37将成为PSF强度分布的光强度以宽度乘长度为PX×PY的分辨率记录到分布区域中以生成PSF强度分布。
图40是示意性示出仿真透镜信息生成部37生成的PSF强度分布的图。
如上文参照图39所述，对于最多Fmax个焦点位置f中的每一个焦点位置，针对对应于构成虚拟传感器的N个像素pix1到pix#N与可以登记到Fmax个焦点位置f中的每一个焦点位置的视差图中的DPN个视差d的NxDPN个组合中的每一个组合的真实空间点生成PSF强度分布。
如图40所示，现在假设以这样的表格为焦点位置f用的强度分布表格：其中水平方向指示DPN个视差d，而垂直方向指示构成虚拟传感器的N个像素pix1到pix#N，并且其中登记针对对应于某个视差d与某个像素pix#n的组合的真实空间点的PSF强度分布。
仿真透镜信息生成部37为Fmax个焦点位置f中的每一个焦点位置生成强度分布表格。
如上文参照图39所述，以宽度乘长度为PX×PY的分辨率记录在分布区域中记录在强度分布表格中登记的PSF强度分布。
因此，当将PSF强度分布记录到阵列中时，PSF强度分布阵列的数目最多是Fmax×N×DPN×PX×PY。
这里，在分布区域中，记录PSF强度分布的一个光强度的单位(PSF强度分布的取样单位)称为分布区域单元。分布区域单元可以例如构想为正方形区域。
因为如上文参照图39所述，分布区域是围绕从真实空间点发出的光线到达虚拟传感器上的点的最小的方形区域，所以它的尺寸是可变的。
而且，如上文参照图38所述，PSF强度分布根据焦点位置f、图像形成位置的图像高度(真实空间点(点状光源)与光轴之间的距离)和离图像拍摄物体(真实空间点(点状光源))的距离视差而变。
如上所述围绕这样的PSF强度分布的最小分布区域的尺寸(规模)对于每个PSF强度分布也是不同的。
在集光处理中，如下所述，通过将根据在不同尺寸的分布区域中记录的PSF强度分布将在虚拟传感器上形成图像的光线的图像形成值相加来生成仿真图像。
在根据PSF强度分布将图像形成值相加后，必须使根据在不同尺寸的分布区域中记录的PSF强度分布的图像形成值的分布规模与虚拟传感器的规模一致。而且，为此目的，需要表示PSF强度分布的规模的信息。
因此，仿真透镜信息生成部37确定图像平面间距作为表示PSF强度分布的信息，该图像平面间距是构成记录PSF强度分布的分布区域的分布区域单元的尺寸(间距)。
如果现在假设图像平面间距是IP并且虚拟传感器的像素间距是PP，则在集光处理中，根据PSF强度分布确定的光线的图像形成值的分布缩小(或扩大)为IP/PP被并且在虚拟传感器上相加。
请注意，PSF强度分布可以不是记录在可变尺寸的分布区域中，而是以PX×PY的分辨率记录在固定尺寸的分布区域中。
在PSF强度分布记录在不是可变尺寸而是固定尺寸的分布区域中的情况下，对于固定尺寸只需要一个图像平面间距。
然而，因为必须根据从主光线在虚拟传感器上的到达位置在最大程度上扩散的PSF强度分布调节分布区域的固定尺寸，所以具有狭窄分布的PSF强度分布的分辨率恶化。
图41是示意性示出仿真透镜信息生成部37生成的图像平面间距的图。
对于每一个PSF强度分布生成图像平面间距。
现在，假设如图41所示的表格称为焦点位置f用的图像平面间距表格，该表格中水平方向指示DPN个视差d，而垂直方向指示构成虚拟传感器的N个像素pix1到pix#N，并且其中登记了针对对应于某个视差d与某个像素pix#n的组合的真实空间点的PSF强度分布的图像平面间距。
仿真透镜信息生成部37为Fmax个焦点位置f中的每一个焦点位置生成图像平面间距表格。
因此，在将图像平面间距记录到阵列中的情况下，图像平面间距的阵列数目最多是Fmax×N×DPN。
图42是说明生成PSF角度成分信息的方法的示例的图。
具体来说，图42是在从正面(图像拍摄物体一侧)看时仿真透镜的正视图。
例如在如上文参照图30所述的光线生成部102生成光线时，仿真透镜信息生成部37对于仿真透镜执行与针对虚拟透镜的处理类似的处理。
具体来说，仿真透镜信息生成部37例如将包含仿真透镜的前透镜的区域设置成透镜区域。
在图42中，例如将围绕仿真透镜的前透镜的最小的矩形区域设置成透镜区域。
仿真透镜信息生成部37将透镜区域(包围的仿真透镜)分成小区域的透镜区域单元。于是，仿真透镜信息生成部37将真实空间点视为点状光源，并且确定表示从作为点状光源的真实空间点通过仿真透镜入射到透镜区域单元的光线到达的PSF强度分布的位置的PSF角度成分信息。
在图42中，与图30的虚拟透镜的情况下相似，透镜区域分成总共Lx×Ly个透镜区域单元，其中包含水平方向上的Lx个透镜区域单元和垂直方向上的Ly个透镜区域单元。
同样在图42中，与图30的情况下相似，作为水平方向上的直线与垂直方向上的另一条直线之间的交叉点(围绕仿真透镜的透镜区域通过这些交叉点分成透镜区域单元)的网格点也表示为网格点LP#i(i＝1,2,...,(Lx+1)(Ly+1))。
这里，假设在本实施例中，为了简化说明，虚拟透镜(的合成孔径)与仿真透镜的前透镜(的孔径)之间的直径是一致的，虚拟透镜与仿真透镜之间的透镜区域尺寸和透镜区域的划分数目Lx×Ly也是一致的。
请注意，因为集光处理是使用入射到仿真透镜的光线执行的，所以只需要让虚拟透镜的直径等于或大于仿真透镜的直径即可。
而且，为了使入射到虚拟透镜的光线与入射到仿真透镜的光线相互对应，需要使虚拟透镜的透镜区域单元和仿真透镜的透镜区域单元(的尺寸)相互一致。
图43是说明生成PSF角度成分信息的方法的示例的图。
与图37中相似，图43示出通过作为虚拟透镜的构成图像拍摄装置11的相机单元21i拍摄图像的真实空间相对于图像拍摄装置的正面从右方看时的概况。
仿真透镜信息生成部37对于最多Fmax个焦点位置f中的每个焦点位置，对于对应于最大真实空间点数目N×DPN个真实空间点中的每一个真实空间点、即对于构成虚拟传感器的最大像素数目N与可以登记到多层视差图中的DPN个视差d的每个组合的真实空间点生成PSF角度成分信息。
仿真透镜信息生成部37确定从真实空间点(的点状光源)发出并且入射到仿真透镜的网格点LP#i的光线到达虚拟传感器的到达点AP#i。
然后，仿真透镜信息生成部37将虚拟传感器的到达点AP#i转换成PSF强度分布(的分布区域)上的点，并且确定通过转换获得的分布区域到达点AP#i(光线到达的分布区域单元)的和网格点LP#i的(位置)集合，作为PSF角度成分信息。
请注意，从真实空间点发出并且入射到仿真透镜的光线不一定到达虚拟传感器。换而言之，在入射到仿真透镜的光线当中，存在通过图43中的虚线箭头表示的未到达虚拟传感器(未被虚拟传感器受光)的光线。
图44是说明PSF角度成分信息的细节的图。
仿真透镜信息生成部37对于四个网格点LP#i1、LP#i2、LP#i3和LP#i4(这是仿真透镜的透镜区域单元的四个顶点)，确定分布区域到达点AP#i1、AP#i2、AP#i3和AP#i4，这是从真实空间点发出并且分别通过网格点LP#i1、LP#i2、LP#i3和LP#i4的光线所到达的PSF强度分布上的到达点。
然后，仿真透镜信息生成部37生成四个网格点LP#i1、LP#i2、LP#i3和LP#i4(这是仿真透镜的透镜区域单元的四个顶点)和分布区域到达点AP#i1、AP#i2、AP#i3和AP#i4的集合，作为表示通过顶点是这四个网格点LP#i1、LP#i2、LP#i3和LP#i4的透镜区域单元的光线所到达的PSF强度分布的区域(位置)的PSF角度成分信息。
毕竟，PSF角度成分信息是当入射到仿真透镜的网格点LP#i的光线通过仿真透镜到达分布区域到达点AP#i时的分布区域到达点AP#i和网格点LP#i的集合。
这里，通过透镜区域单元的光线到达的PSF强度分布的区域也称为对应区域。
在图44中，对应区域是顶点在分布区域到达点AP#i1、AP#i2、AP#i3和AP#i4处的四边形区域。
分布区域到达点AP#i的粒度(分辨率)是记录PSF强度分布的分布区域的分布区域单元(图40)的尺寸。具体来说，分布区域到达点AP#i表示分布区域的某个分布区域单元的位置。
图45是示意性示出仿真透镜信息生成部37生成的PSF角度成分信息的图。
对于最多Fmax个焦点位置f中的每一个焦点位置，为对应于构成虚拟传感器的N个像素pix1到pix#N与能登记到视差图中的DPN个视差d的N×DPN个组合的真实空间点生成PSF角度成分信息。
现在，例如如图45所示的表格称为焦点位置f用的PSF角度成分信息表格，该表格中水平方向指示DPN个视差d，而垂直方向指示构成虚拟传感器的N个像素pix1到pix#N，并且其中登记了针对对应于某个视差d与某个像素pix#n的组合的真实空间点的PSF角度成分信息。
仿真透镜信息生成部37为Fmax个焦点位置f中的每一个焦点位置生成PSF角度成分信息表格。
在PSF角度成分信息表格中登记的PSF角度成分信息是仿真透镜的网格点LP#i与入射到网格点LP#i的光线通过仿真透镜到达的PSF强度分布的分布区域上的分布区域到达点AP#i的集合。
在本实施例中，因为如上文参照图42所述，仿真透镜的透镜区域分成PX×PY个透镜区域单元，所以网格点LP#i的数目是(Lx+1)(Ly+1)。
因此，在PSF角度成分信息记录到阵列中的情况下，PSF角度成分信息的阵列的数目最多是Fmax×N×DPN×(PX+1)×(PY+1)。
图46是说明图像平面移位信息的图。
与图37中相似，图46示出通过作为虚拟透镜的构成图像拍摄装置11的相机单元21i拍摄图像的真实空间相对于图像拍摄装置的正面从右方看时的概况。
在本实施例中，使虚拟透镜和仿真透镜的前透镜相互对应，并且入射光线再现部36将入射到虚拟透镜的光线再现为入射到仿真透镜的光线。
然而，因为仿真透镜一般具有多个透镜，所以虚拟透镜和仿真透镜的入射光瞳的(在z方向上的)位置位移。
因此，在虚拟传感器上，通过虚拟透镜观察的图像和通过仿真透镜观察的图像有时相互不同。
图46的A是说明通过虚拟透镜在虚拟传感器上观察的图像的示例的图。
在图46的A中，作为从真实空间中的物体obj1发出的主光线的一条直线和作为从相对于物体obj2位于前侧的另一个物体obj2发出的另一条直线在虚拟透镜上相互重叠。
因此，物体obj1相对于虚拟透镜的图像平面移位位置，即作为从物体obj1发出的主光线通过虚拟透镜到达虚拟传感器上的位置的图像平面移位位置，与物体obj2相对于虚拟透镜的图像平面移位位置相互一致。
结果是，虽然在虚拟传感器上观察到物体obj2，但是比物体obj2位置更靠内侧的物体obj1被物体obj2遮住观察不到。
图46的B是说明通过仿真透镜在虚拟传感器上观察的图像的示例的图。
在图46的B中，物体obj1和obj2的位置与图46的A的情况下相同。
在仿真透镜中，入射光瞳的位置并且因此主点的位置相对于虚拟透镜的位置位移。因此，在仿真透镜上，作为从真实空间中的物体obj1发出的主光线的直线和作为从相对于物体obj2位于前侧的物体obj2发出的主光线的另一条直线并不相互重叠而是相互位移。
因此，因为物体obj1相对于仿真透镜的图像平面移位位置与物体obj2相对于仿真透镜的图像平面移位位置相互不一致，所以在虚拟传感器上观察到物体obj2和相对于物体obj2位于内侧的物体obj1这两者。
如上所述，因为虚拟透镜和仿真透镜的入射光瞳之间存在位置位移，所以虚拟透镜和仿真透镜之间的真实空间点的图像平面移位位置是不同的。
因此，仿真透镜信息生成部37为了正确地再现仿真透镜的集光，作为一种透镜信息生成表示相对于仿真透镜的图像平面移位位置的图像平面移位信息。
这里，图像平面移位信息可以被视为是校正虚拟透镜和仿真透镜的入射光瞳位置的位移用的信息，并且从如上所述的视点看，图像平面移位信息可以被视为是入射光瞳校正信息。
图47是说明生成图像平面移位信息的方法的示例的图。
与图37中相似，图47示出通过作为虚拟透镜的构成图像拍摄装置11的相机单元21i拍摄图像的真实空间相对于图像拍摄装置的正面从右方看时的概况。
仿真透镜信息生成部37对于最多Fmax个焦点位置f中的每个焦点位置，对于对应于最大真实空间点数目N×DPN个真实空间点中的每一个真实空间点、即对于构成虚拟传感器的最大像素数目N与可以登记到多层视差图中的DPN个视差d的每个组合的真实空间点生成图像平面移位信息。
仿真透镜信息生成部37将从真实空间点(的点状光源)发出并且通过仿真透镜的主点的主光线到达虚拟传感器的到达点设置为图像平面移位位置，并且确定例如离虚拟传感器的中心在x轴和y轴方向上的坐标(距离)(这表示图像平面移位位置)作为图像平面移位信息。
图48是示意性示出仿真透镜信息生成部37生成的图像平面移位信息的图。
对于最多Fmax个焦点位置f中的每一个焦点位置，为对应于构成虚拟传感器的N个像素pix1到pix#N与能登记到视差图中的DPN个视差d的N×DPN个组合的真实空间点生成图像平面移位信息。
现在，例如如图48所示的表格称为焦点位置f用的图像平面移位信息表格，该表格中水平方向指示DPN个视差d，而垂直方向指示构成虚拟传感器的N个像素pix1到pix#N，并且其中登记了针对对应于某个视差d与某个像素pix#n的组合的真实空间点的图像平面移位信息。
仿真透镜信息生成部37为所述Fmax个焦点位置f中的每一个焦点位置生成图像平面移位信息表格。
因此，在图像平面移位信息记录到阵列中时，图像平面移位信息的阵列的数目最多是Fmax×N×DPN。
请注意，仿真透镜的透镜信息(PSF强度分布、图像平面间距、PSF角度成分信息和图像平面移位信息)可以通过使用仿真透镜的透镜设计数据执行光线追踪等等的算术运算确定，并且在仿真透镜是现有的光学透镜的情况下可以通过使用光学透镜实际上测量光线而确定。
图49是示出用于生成透镜信息的仿真透镜信息生成部37(图3)的配置示例的框图。
参照图49，仿真透镜信息生成部37包含真实空间点选择部131、信息计算部132和焦点位置选择部133。
真实空间点选择部131参照从视差信息生成部31(图3)供应到仿真透镜信息生成部37的多层视差图，从对应于构成虚拟传感器的N个像素pix1到pix#N与可以登记到多层视差图中的DPN个视差d的组合的最多真实空间点数目N×DPN个真实空间点当中选择注意真实空间点。
信息计算部132使用从透镜设计数据获取部34(图3)供应到仿真透镜信息生成部37的透镜设计数据，为真实空间点选择部131选择的注意真实空间点和焦点位置选择部133选择的注意焦点位置f生成透镜信息，并且将生成的透镜信息供应到集光处理部38。
焦点位置选择部133从Fmax个焦点位置f当中选择注意焦点位置。
图50是说明图49的仿真透镜信息生成部37执行的仿真透镜信息生成处理的示例的流程图。
在步骤S141处，焦点位置选择部133从Fmax个焦点位置f当中选择注意焦点位置。然后，处理前进到步骤S142。
这里，在本实施例中，为了减少透镜信息的信息量，仅为注意焦点位置生成透镜信息。注意焦点位置的选择可以例如响应于使用者的操作等等执行。而且，作为注意焦点位置，例如可以选择提前确定的默认焦点位置。
请注意，可以不但对于注意焦点位置而且对于Fmax个焦点位置f中的每一个焦点位置生成透镜信息。
在步骤S142处，真实空间点选择部131获取从视差信息生成部31供应的多层视差图。然后，处理前进到步骤S143。
在步骤S143处，真实空间点选择部131从虚拟传感器的像素当中选择尚未被选择为注意像素的像素之一作为注意像素。然后，处理前进到步骤S144。
在步骤S144处，真实空间点选择部131从在来自视差信息生成部31的多层视差图中登记的注意像素的视差当中选择尚未被选择为注意视差的视差之一作为注意视差。然后，处理前进到步骤S145。
在步骤S145处，真实空间点选择部131选择对应于具有注意视差的注意像素的真实空间点作为注意真实空间点。然后，处理前进到步骤S146。
在步骤S146处，信息计算部132用如上文参照图39到图48所述的方式，对于注意真实空间点即对于注意焦点位置、注意像素和注意视差的集合，确定PSF强度分布、图像平面间距、PSF角度成分信息和图像平面移位信息，这是注意真实空间点的透镜信息。然后，处理前进到步骤S147。
在步骤S147处，真实空间点选择部131判定是否在多层视差图中登记的注意像素的的所有视差都已被选择为注意视差。
如果在步骤S147处判定并非在多层视差图中登记的注意像素的所有视差都已被选择为注意视差，则处理返回到步骤S144，之后，重复类似的处理。
另一方面，如果在步骤S147处判定在多层视差图中登记的注意像素的所有视差都已被选择注意视差，则处理前进到步骤S148。
在步骤S148处，真实空间点选择部131判定是否虚拟传感器的所有像素都已被选择为注意像素。
如果在步骤S148处判定并非虚拟传感器的所有像素都已被选择为注意像素，则处理返回到步骤S143，之后，重复类似的处理。
另一方面，如果在步骤S148处判定虚拟传感器的所有像素都已被选择为注意像素，则仿真透镜信息生成处理结束。
<集光处理>
图51是说明图3的集光处理部38执行的集光处理的概况的图。
与图37中相似，图51示出通过作为虚拟透镜的构成图像拍摄装置11的相机单元21i拍摄图像的真实空间相对于图像拍摄装置的正面从右方看时的概况。
集光处理部38执行以下处理作为集光处理：使用来自仿真透镜信息生成部37的透镜信息，确定从入射光线再现部36供应的光线当中因为冲突判定剩余的光线通过仿真透镜在虚拟传感器上形成图像时的图像形成值，并且将图像形成值在虚拟传感器上相加。
图52是说明集光处理中的确定图像形成值的处理的示例的图。
请注意，在图52中，为了避免让附图变得复杂，将仿真透镜的透镜区域分成5×5个透镜区域单元。
如上文参照图43所述，从真实空间点发出并且入射到仿真透镜的光线不一定到达虚拟传感器。换而言之，在入射到仿真透镜的光线当中，存在到达虚拟传感器的光线和不到达虚拟传感器的光线。
现在，从真实空间点发出并且入射到仿真透镜的光线当中的到达虚拟传感器的光线所入射到的透镜区域单元的区域称为有效光线区域。
在图52中，关于从某个真实空间点(x,y,z)发出的光线，5×5个透镜区域单元中的处在中心部分的3×3个透镜区域单元rp1到rp9是有效光线区域。
而且，在图52中，从真实空间点(x,y,z)发出并且通过透镜区域的网格点p#i的光线所到达的分布区域到达点是记录PSF强度分布的分布区域的分布区域单元q#i。
成为从真实空间点(x,y,z)发出并且通过透镜区域的网格点p#i的光线所到达的分布区域到达点的分布区域单元q#i可以从PSF角度成分信息辨别。
在图52中，从真实空间点(x,y,z)发出并且通过透镜区域单元rp1的光线BL到达PSF强度分布(其中记录的分布区域)的对应区域rq1。
这里，透镜区域单元rp1是顶点在网格点p1、p2、p5和p6的透镜区域单元。
而且，在图52中，从真实空间点(x,y,z)发出的并且通过网格点p1、p2、p5和p6的光线到达记录PSF强度分布的分布区域中的分布区域单元q1、q2、q5和q6。顶点在分布区域单元q1、q2、q5和q6的区域是对应的区域rq1。
根据PSF角度成分信息，可以认识到，从真实空间点(x,y,z)发出的并且通过网格点p1、p2、p5和p6的光线分别到达记录PSF强度分布的分布区域的分布区域单元q1、q2、q5和q6。结果是，可以认识到通过顶点在网格点p1、p2、p5和p6的透镜单元rp1的光线BL到达顶点在分布区域单元q1、q2、q5和q6的对应区域rq1。
在图52中，对应区域rq#j是从真实空间点(x,y,z)发出并且通过透镜区域单元rp#j的光线的对应区域。
集光处理部38使用PSF角度成分信息指定从真实空间点(x,y,z)发出并且通过透镜区域单元rp1的光线BL将要到达的对应区域rq1。
然后，集光处理部38确定分配给光线BL的明度与对应区域rq1中的PSF强度分布、即构成对应区域rq1的分布区域单元(的位置)中记录的PSF强度分布的乘积，作为光线BL通过仿真透镜在虚拟传感器上形成图像时的图像形成值。
如上所述，因为光线BL的图像形成值是分配给光线BL的明度与在构成对应区域rq1的每个分布区域单元中记录的PSF强度分布的乘积，所以这样的图像形成值的分布粒度是分布区域单元。
集光处理部38还关于从真实空间点(x,y,z)发出并且通过透镜区域单元rp1以外的透镜区域单元的光线类似地确定图像形成值。
请注意，在从真实空间点(x,y,z)发出并且入射到5x5个透镜区域单元的光线当中，入射到不是有效光线区域的透镜区域单元的那些光线(这样的光线在下文中也称为无效光线)不到达虚拟传感器。因此，这样的无效光线入射到的透镜区域单元不具有无效光线将要到达的对应区域。因此，可以只关于通过形成有效光线区域的透镜区域单元rp1到rp9的光线确定图像形成值。
图53是说明集光处理中的确定图像形成值的处理的另一个示例的图。
请注意，在图53中，与图52相同的元件通过相同的参考符号表示。
在图53中，从真实空间点(x,y,z)发出的光线不到达5×5个透镜区域单元的作为有效光线区域的中心部分处的3×3个透镜区域单元rp1到rp9当中的透镜区域单元rp7到rp9，因为这些光线被相对于真实空间点(x,y,z)靠这边存在的物体阻挡。
因此，在图53中，基本上仅关于通过形成有效光线区域的透镜区域单元rp1到rp9当中的从真实空间点(x,y,z)发出的光线到达的透镜区域单元rp1到rp6的每一条光线确定图像形成值(的分布)。
图54是说明集光处理中的在虚拟传感器上将图像形成值(的分布)相加的处理的示例的图。
如上文参照图52所述，从真实空间点(x,y,z)发出的光线的图像形成值指示作为分布区域单元粒度的分布。现在，假设为了便于说明，在记录用于确定图像形成值的PSF强度分布的分布区域中记录从真实空间点(x,y,z)发出的光线的图像形成值的分布。换而言之，假设从真实空间点(x,y,z)发出的光线的图像形成值以分布区域单元为单位记录在记录用于确定图像形成值的PSF强度分布的分布区域中。
集光处理部38使用关于真实空间点(x,y,z)的图像平面间距调节分布区域的规模，从而使得记录从真实空间点(x,y,z)发出的光线的图像形成值的分布的分布区域的规模与虚拟传感器的规模一致。
具体来说，如果假设图像平面间距是IP并且虚拟传感器的像素间距是PP，则集光处理部38执行将记录光线的图像形成值的分布的分布区域缩小(或扩大)成IP/PP倍的处理，作为对于分布区域的规模的调节。
而且，集光处理部38根据真实空间点(x,y,z)用的图像平面移位信息表示的图像平面移位位置，对于从真实空间点(x,y,z)发出的光线通过仿真透镜在虚拟传感器上集中的位置的定位。
具体来说，集光处理部38执行记录从真实空间点(x,y,z)发出的光线的图像形成值的分布的规模调节之后的分布区域与虚拟传感器之间的定位，从而使得分布区域的中心点CP与虚拟传感器的图像平面移位位置相互一致。
在集光处理部38用如上所述的方式对于记录图像形成值分布的分布区域的规模执行调节并且还在规模调节之后的分布区域与虚拟传感器之间执行定位之后，它在虚拟传感器上以虚拟传感器的像素为单位将在分布区域中分布的图像形成值相加。
请注意，图像形成值(其中记录的分布区域)的规模的调节和定位可以用任何顺序执行，或者可以同时执行。
图55是示出图3的集光处理部38的配置示例的框图。
参照图55，集光处理部38包含真实空间点选择部141、图像形成值计算部142、规模调节部143、图像形成位置辨别部144和加法部145。
真实空间点选择部141参照从视差信息生成部31(参照图3)供应到集光处理部38的多层视差图，从对应于构成基准图像HD1的N个像素pix1到pix#N与可以登记到多层视差图中的DPN个视差d的组合的最多真实空间点数目N×DPN个真实空间点当中选择注意真实空间点。
图像形成值计算部142使用从仿真透镜信息生成部34供应到集光处理部38的透镜信息内的PSF强度分布和PSF角度成分信息，确定记录真实空间点选择部131从入射光线再现部36供应到集光处理部38的光线当中选择的从注意真实空间点发出的光线的图像形成值的分布的分布区域，并且将分布区域供应到规模调节部143。
规模调节部143使用从仿真透镜信息生成部34供应到集光处理部38的透镜信息内的图像平面间距，调节记录从图像形成值计算部142供应的图像形成值的分布的分布区域的规模，并且将调节后的规模的分布区域供应到图像形成位置辨别部144。
图像形成位置辨别部144从仿真透镜信息生成部34供应到集光处理部38的透镜信息内的图像平面移位信息中，辨别作为通过仿真透镜的光线在虚拟传感器上形成图像的图像形成位置的图像平面移位位置，并且将所辨别的图像平面移位位置与来自规模调节部143的规模调节之后的分布区域一起供应到加法部145。
加法部145中内置有存储器作为虚拟传感器，并且根据来自图像形成位置辨别部144的图像平面移位位置执行来自图像形成位置辨别部144的规模调节之后的分布区域与虚拟传感器的定位(辨别将在上面将图像形成值相加的虚拟传感器上的位置)。
而且，加法部145将在与虚拟传感器的定位之后的分布区域中记录的图像形成值在虚拟传感器上以虚拟传感器的像素为单位(累加地)相加。
然后，加法部145将通过在虚拟传感器上、即在存储器上获得的图像形成值的相加结果提供像素值的图像作为仿真图像供应到显示装置13(图1)。
图56是说明图55的集光处理部38执行的集光处理的示例的流程图。
请注意，在本实施例中，如上文参照图50所述，为了减少透镜信息的信息量仅对于注意焦点位置生成透镜信息。因此，集光处理是在将焦点位置设置成透镜信息生成时的注意焦点位置的假设下执行的。
然而，可以对于Fmax个焦点位置(图37)中的每一个焦点位置事先生成透镜信息。在这种情况下，集光处理部38设置注意焦点位置并且可以使用关于该注意焦点位置的透镜信息执行集光处理。
替代地，在集光处理部38设置注意焦点位置之后，仿真透镜信息生成部37可以生成关于该注意焦点位置的透镜信息。
在步骤S151处，真实空间点选择部141获取从视差信息生成部31供应的多层视差图。之后，处理前进到步骤S152。
在步骤S152处，真实空间点选择部141选择基准图像HD1的像素当中的尚未被选择为注意像素的像素作为注意像素。之后，处理前进到步骤S153。
在步骤S153处，真实空间点选择部141选择在来自视差信息生成部31的多层视差图中登记的注意像素的视差当中的尚未被选择为注意视差的一个视差作为注意像素。之后，处理前进到步骤S154。
在步骤S154处，真实空间点选择部141选择对应于具有注意视差的注意像素的真实空间点作为注意真实空间点。之后，处理前进到步骤S155。
在步骤S155处，图像形成值计算部142选择仿真透镜的透镜区域单元当中的尚未被选择为注意透镜区域单元的一个透镜区域单元作为注意透镜区域单元。之后，处理前进到步骤S156。
在步骤S156处，图像形成值计算部142获取从入射光线再现部36供应的光线当中的从注意真实空间点朝注意透镜区域单元的光线作为注意光线。之后，处理前进到步骤S157。
在步骤S157处，图像形成值计算部142判定注意光线是否从注意真实空间点到达仿真透镜。
如果在步骤S157处判定注意光线到达仿真透镜，即，当分配给注意光线的视差(通过上文参照图33到图35描述的入射光线再现处理分配的视差)等于注意视差时，则处理前进到步骤S158。
在步骤S158处，图像形成值计算部142、规模调节部143、图像形成位置辨别部144和加法部145对于到达模拟透镜的注意光线、即冲突判定结果保留的注意光线执行下文所述的光线相加处理。之后，处理前进到步骤S159。
另一方面，如果在步骤S157处判定注意光线不到达仿真透镜，即，如果分配给注意光线的视差(通过上文参照图33到图35描述的入射光线再现处理分配的视差)不等于注意视差，则处理跳过步骤S158并且前进到步骤S159。因此，当注意光线不到达模拟透镜时，不对于注意光线执行光线相加处理。
在步骤S159处，图像形成值计算部142判定是否仿真透镜的所有透镜区域单元都已被选择为注意透镜区域单元。
如果在步骤S159处判定并非仿真透镜的所有透镜区域单元都已被选择为注意透镜区域单元，则处理返回到步骤S155，之后，重复类似处理。
另一方面，如果在步骤S159处判定并非仿真透镜的所有透镜区域单元都已被选择为注意透镜区域单元，则处理前进到步骤S160。
在步骤S160处，真实空间点选择部141判定是否在多层视差图中登记的注意像素的的所有视差都已被选择为注意视差。
如果在步骤S160处判定并非在多层视差图中登记的注意像素的所有视差都已被选择为注意视差，则处理返回到步骤S153，之后，重复类似的处理。
另一方面，如果在步骤S160处判定在多层视差图中登记的注意像素的所有视差都已被选择注意视差，则处理前进到步骤S161。
在步骤S161处，真实空间点选择部141判定是否基准图像HD1的所有像素都已被选择为注意像素。
如果在步骤S161处判定并非基准图像HD1的所有像素都已被选择为注意像素，则处理返回到步骤S152。之后，重复类似的处理。
另一方面，如果在步骤S161处判定基准图像的所有像素都已被选择为注意像素，则加法部145将通过上文说明的处理获得的并且具有通过在虚拟传感器上的图像形成值的加法结果提供的像素值的图像作为仿真图像供应到显示装置13(图1)，从而结束集光处理。
图57是说明在图56的S158处执行的光线相加处理的示例的流程图。
在步骤S171处，如上文参照图52和图53所述，图像形成值计算部142使用来自仿真透镜信息生成部37的关于注意焦点位置f的相关注意真实空间点(对应的注意像素和注意视差)的PSF强度分布(其中记录的分布区域)和PSF角度成分信息，确定作为记录注意光线到达的PSF强度分布的分布区域位置的对应区域。
而且，如上文参照图52到图53所述，图像形成值计算部142确定对应区域的PSF强度分布与分配给注意光线的明度(通过上文参照图33到图35描述的入射光线再现处理分配的明度)的乘积作为注意光线的图像形成值(的分布)。
然后，图像形成值计算部142将记录注意光线的图像形成值的分布区域供应到规模调节部143。之后，处理从步骤S171前进到步骤S172。
在步骤S172处，如上文参照图54所述，规模调节部143使用来自仿真透镜信息生成部34的关于注意焦点位置f的相关注意真实空间点的图像平面间距来缩小或扩大分布区域(其中记录来自图像形成值计算部142的图像形成值的分布)，以将分布区域的规模调节成与虚拟传感器的规模一致的规模。
而且，规模调节部143将规模调节之后的分布区域通过图像形成位置辨别部144供应到加法部145。之后，处理从步骤S172前进到步骤S173。
在步骤S173处，图像形成位置辨别部144从来自仿真透镜信息生成部34的关于注意焦点位置f的相关注意真实空间点的图像平面移位信息，辨别作为注意光线通过仿真透镜形成图像的虚拟传感器上的图像形成位置的图像平面移位位置，并且将图像平面移位位置供应到加法部145。之后，处理前进到步骤S174。
在步骤S174处，加法部145根据来自图像形成位置辨别部144的图像平面移位位置，执行通过规模调节部143获得的规模调节之后的分布区域与虚拟传感器之间的定位。
具体来说，加法部145执行规模调节之后的分布区域与虚拟传感器之间的定位，从而使得规模调节之后的分布区域的中心点CP(图54)与虚拟传感器的图像平面移位位置相互一致。
然后，加法部145将在与虚拟传感器的定位之后的分布区域中记录的图像形成值在虚拟传感器上以虚拟传感器的像素为单位相加。具体来说，加法部145将作为虚拟传感器的存储器的存储值与图像形成值相加，并且用通过加法获得的加法值重写存储器的存储值。请注意，在集光处理(图56)开始时，作为虚拟传感器的存储器的存储值初始化成零。
光线相加处理由此结束，并且处理返回。
如上所述，在透镜仿真部35(图3)中，入射光线再现部46再现冲突判定结果保留的并且入射到虚拟透镜的光线。
而且，仿真透镜信息生成部37生成透镜信息，即PSF强度分布、图像平面间距、PSF角度成分信息和图像平面移位信息。
而且，集光处理部38作为冲突判定结果保留的每条光线通过仿真透镜在虚拟传感器上形成图像时的图像形成值，确定PSF角度成分信息表示的PSF强度分布的位置处的PSF强度分布与光线明度的乘积。
而且，集光处理部38基于图像平面间距调节光线的图像形成值的分布规模以便使该规模与虚拟传感器的规模一致。
然后，集光处理部38根据图像平面移位位置执行图像形成值将在上面相加的虚拟传感器上的位置的定位，并且在虚拟传感器上执行图像形成值的相加，然后生成仿真图像，该仿真图像中通过将通过加法获得的相加值提供像素值。
根据如上所述的透镜仿真部35的这些处理，通过数字信号处理再现与实际的光学透镜等效的集光，因此，可以生成再现(反映)实际的光学透镜的模糊度或其它集光特性的仿真图像。
因此，即使使用者不购买实际的光学透镜，也能享受使用者使用光学透镜执行的图像拍摄这样的高品质图像拍摄体验(使用高品质光学透镜执行的图像拍摄的体验)。
<透镜信息的信息量的减少>
图58是说明透镜信息的信息量的减少的概况的图。
图58的A示出实际的光学透镜的透镜信息内的PSF强度分布的示例。
具体来说，图58的A示意性示出光线通过实际的光学透镜形成图像的实际图像传感器上的图像形成位置与应用于在图像形成位置上形成图像的光线的PSF强度分布之间的关系。
如上文参照图38所述，PSF强度分布根据焦点位置f、图像形成位置处的图像高度(离光轴的距离)和到图像拍摄物体(真实空间点)的距离(视差)而变。
具体来说，例如，如果实际图像传感器上的图像形成位置的图像高度(在图像形成位置处形成图像的真实空间点离光轴的距离)不同，则应用于从在图像形成位置处形成图像的真实空间点发出的光线的实际光学透镜的PSF强度分布不同。
因此，在实际图像传感器中，如果图像形成位置的图像高度不同，则实际的光学透镜的PSF强度分布提供不同的无限的信息。
虽然以如上所述的方式，如果图像形成位置的图像高度不同则PSF强度分布不同，但是反过来说，在图像高度相同的情况下，即在真实空间点的位置离光轴的距离相同的情况下，PSF强度分布是共同的，除非焦点位置f和视差(到真实空间点的距离)变化。
具体来说，为了简化说明，现在假设焦点位置f和视差是固定的。
关于对应于图像传感器的某个图像高度r的某个位置pos1围绕光轴旋转预定角度α之后的位置pos2的真实空间点的PSF强度分布，与关于对应于位置pos1的真实空间点的PSF强度分布围绕光轴旋转预定角度α时的旋转之后的PSF强度分布一致。
因为如上所述，关于对应于位置pos2的真实空间点的PSF强度分布与在关于对应于位置pos1的真实空间点的PSF强度分布如上所述围绕光轴旋转预定角度α时的旋转之后的PSF强度分布一致，所以关于对应于位置pos2的真实空间点的图像平面间距与关于对应于位置pos1的真实空间点的图像平面间距一致。
而且，关于对应于位置pos2的真实空间点的PSF角度成分信息与当关于对应于位置pos1的真实空间点的PSF角度成分信息围绕光轴旋转预定角度α时的旋转之后的PSF角度成分信息一致。
此外，关于对应于位置pos2的真实空间点的图像平面移位信息(表示的图像平面移位位置)与当关于对应于位置pos1的真实空间点的图像平面移位信息围绕光轴旋转预定角度α时的旋转之后的图像平面移位信息一致。
如上所述，在焦点位置f和视差固定的情况下，在对应于图像高度相同的图像传感器位置的真实空间点之间，透镜信息是共同的。
因此，仿真透镜信息生成部37可以通过不对于对应于虚拟传感器的所有像素的真实空间点、而是仅对于对应于作为虚拟传感器平面的一部分的多个位置的多个信息点的真实空间点生成透镜信息来减少透镜信息的信息量。
具体来说，仿真透镜信息生成部37将例如从虚拟传感器的中心(光轴)在虚拟传感器平面中延伸的预定一条轴线(的真实空间点)确定为生成透镜信息的对象的透镜信息生成轴，并且将透镜信息生成轴上的多个位置(对应的真实空间点)设置成生成透镜信息用的信息点。
然后，仿真透镜信息生成部37生成关于透镜信息生成轴的信息点(对应的真实空间点)的透镜信息。
图58的B示出透镜信息生成轴的示例。
在图58的B中，从虚拟传感器的中心在向上的方向上延伸的一条轴线形成透镜信息生成轴。
如上所述对于这样的透镜信息生成轴的信息点生成的透镜信息可以例如应用于对于如下光线的集光处理：这条光线从对应于在围绕虚拟传感器的中心执行旋转从而使得透镜信息生成轴以等于该旋转的旋转角度执行旋转时的旋转之后的透镜生成轴一致的虚拟传感器位置的真实空间点发出。
图59是示出透镜信息生成轴的特定示例的图。
现在，将如图59所示从虚拟传感器的中心朝虚拟传感器的对角线上的一个像素的轴线称为对角线轴。
在图59中，诸如15个位置的多个位置以相等的距离作为信息位置设置在对角线轴上。
而且，在图59中，设置有信息点的对角线轴围绕虚拟传感器的中心旋转，从而使得它朝向向上的方向，并且旋转之后的对角线轴是透镜信息生成轴。
因此，在图59中，透镜信息生成轴是宽度为0并且垂直长度等于虚拟传感器的对角线的长度(对角线位置处的像素之间的距离)的1/2并且在垂直方向(向上的方向)上从虚拟传感器的中心延伸的线段。
仿真透镜信息生成部37可以仅仅对于对应于如上所述这样的透镜信息生成轴的信息点的真实空间点生成透镜信息。对应于透镜信息生成轴的信息点的真实空间点是通过x＝0表示的平面中的点。
请注意，虽然关于透镜信息中的PSF强度分布、PSF角度成分信息和图像平面间距，15个或相似数目的信息点是足够的，但是对于图像平面移位信息，15个或相似数目的信息点有时会降低集光处理中的仿真透镜的集光特性的可再现性。
因此，对于图像平面移位信息，可以采用通过用从虚拟传感器的中心到位于对角线上的一个像素的距离(虚拟传感器的图像高度的最大值)除以虚拟传感器的像素间距(接近虚拟传感器的对角线上的像素数目的1/2的值)等等获得的值，作为将要在透镜信息生成轴上提供的信息点的数目。
这里，如果如上文参照图40、图41、图45和图48所述，对于Fmax个焦点位置f中的每一个焦点位置，为对应于构成虚拟传感器的N个像素pix1到pix#N与可以登记到视差图中的DPN个视差d的N×DPN个组合的真实空间点生成透镜信息，则透镜信息的阵列数目变成像下文所述一样巨大的数目。
具体来说，如上文参照图40所述，PSF强度分布的阵列数目最多是Fmax×N×DPN×PX×PY个。如上文参照图41所述，图像平面间距的阵列数目最多是Fmax×N×DPN个。如上文参照图45所述，PSF角度成分信息的阵列数目最多是Fmax×N×DPN×(PX+1)×(PY+1)个。如上文参照图48所述，图像平面移位信息的阵列数目最多是Fmax×N×DPN个。
请注意，如上文参照图42所述，PX和PY分别表示构成透镜区域的透镜区域单元的水平(水平方向)和垂直(垂直方向)数目。
另一方面，如果透镜信息生成轴上的信息点的数目表示为Ninfo，则透镜信息的阵列数目如下所述。
具体来说，PSF强度分布的阵列数目最多是Fmax×Ninfo×DPN×PX×PY个。图像平面间距的阵列数目最多是Fmax×Ninfo×DPN个。PSF角度成分信息的阵列数目最多是Fmax×Ninfo×DPN×(PX+1)×(PY+1)个。图像平面移位信息的阵列数目最多是Fmax×Ninfo×DPN个。
因此，当仅对于透镜信息生成轴的信息点生成透镜信息时，透镜信息的信息量与对于Fmax个焦点位置f中的每一个焦点位置、对于对应于构成虚拟传感器的N个像素pix1到pix#N与可以登记到视差图中的DPN个视差d的N×DPN个组合的真实空间点生成透镜信息的情况下相比减少成Ninfo/N。
例如，如果虚拟传感器的像素数目N是1892×1052并且信息点的数目Ninfo是15，则透镜信息的信息量可以减少为15/(1892×1052)。
结果是，对于透镜信息生成轴，可以用减少的数据量再现仿真透镜的模糊度或其它集光特性。
图60是示出在仅对于透镜信息生成轴的信息点生成透镜信息的情况下的图3的仿真透镜信息生成部37的配置示例的框图。
请注意，在图60中，与图49中相同的元件用相同的参考符号表示，并且下面的说明中合适地省略对这些元件的说明。
参照图60，仿真透镜信息生成部37包含真实空间点选择部231、信息计算部132和焦点位置选择部133。
因此，图60的仿真透镜信息生成部37与图49的情况相同的一点是它包含信息计算部132和焦点位置选择部133。
然而，图60的仿真透镜信息生成部37与图49的情况不同的一点是它包含真实空间点选择部231代替真实空间点选择部131。
真实空间点选择部231参照从视差信息生成部31(图3)供应的多层视差图，从对应于虚拟传感器上的透镜信息生成轴的Ninfo个信息点与可以登记到多层视差图中的DPN个视差d的组合的Ninfo×DPN个真实空间点当中选择注意真实空间点。
图61是说明图60的仿真透镜信息生成部37执行的仿真透镜信息生成处理的示例的流程图。
在步骤S211处，焦点位置选择部133与图50的步骤S141处相似地从Fmax个焦点位置f当中选择注意焦点位置。之后，处理前进到步骤S212。
在步骤S212处，真实空间点选择部231与图50的步骤S142处相似地获取从视差信息生成部31供应的多层视差图。之后，处理前进到步骤S213。
在步骤S213处，真实空间点选择部231设置将用于生成透镜信息中的PSF强度分布、PSF角度成分信息和图像平面间距的透镜信息生成轴。之后，处理前进到步骤S214。
具体来说，真实空间点选择部231从设置成虚拟透镜的中心的开始点在垂直方向(向上的方向)上设置透镜信息生成轴，其具有事先确定的预定数目个(例如15个等等)信息点，并且例如将虚拟传感器的最大图像高度(从虚拟传感器的中心到对角线上的一个像素的距离)等分。
在步骤S214处，真实空间点选择部231从透镜信息生成轴的信息点当中选择尚未被选择为注意信息点的一个信息点作为注意信息点。之后，处理前进到步骤S215。
在步骤S215处，真实空间点选择部231从来自视差信息生成部31的多层视差图中登记的并且可以被登记到注意信息点的位置处的像素(靠近注意信息点的像素)中的视差当中选择尚未被选择为注意视差的一个视差作为注意视差。之后，处理前进到步骤S216。
在步骤S216处，真实空间点选择部231选择对应于具有注意视差的注意信息点(虚拟传感器的平面上的注意信息点的位置)的真实空间点作为注意真实空间点。之后，处理前进到步骤S217。
在步骤S217处，信息计算部132用与图50的步骤S146处相似的方式对于注意真实空间点即注意焦点位置、注意信息点和注意视差的集合确定PSF强度分布、图像平面间距和PSF角度成分信息。之后，处理前进到步骤S218。
在步骤S218处，真实空间点选择部231判定是否可以登记到多层视差图中的所有视差都已被选择为注意视差。
如果在步骤S218处判定并非可以登记到多层视差图中的所有视差都已被选择为注意视差，则处理返回到步骤S215，之后，重复类似的处理。
另一方面，如果在步骤S218处判定可以登记到多层视差图中的所有视差都已被选择注意视差，则处理前进到步骤S219。
在步骤S219处，真实空间点选择部231判定是否透镜信息生成轴的所有信息点都已被选择为注意信息点。
如果在步骤S219处判定并非透镜信息生成轴的所有信息点都已被选择为注意信息点，则处理返回到步骤S214，并且之后，重复类似的处理。
另一方面，如果在步骤S219处判定透镜信息生成轴的所有信息点都已被选择为注意信息点，则处理前进到步骤S220，之后生成图像平面移位信息。
在步骤S220处，真实空间点选择部231设置用于生成透镜信息中的图像平面移位信息的透镜信息生成轴。之后，处理前进到步骤S221。
具体来说，真实空间点选择部231从设置成虚拟透镜的中心的开始点在垂直方向上设置透镜信息生成轴，例如在透镜信息生成轴上，等间距安置数目等于通过用虚拟传感器的最大图像高度除以虚拟传感器的像素间距获得的值的数目的信息点。
在步骤S221处，真实空间点选择部231从透镜信息生成轴的信息点当中选择尚未被选择为注意信息点的一个信息点作为注意信息点。之后，处理前进到步骤S222。
在步骤S222处，真实空间点选择部231从来自视差信息生成部31的多层视差图中登记的并且可以被登记到注意信息点的位置处的像素中的视差当中选择尚未被选择为注意视差的一个视差作为注意视差。之后，处理前进到步骤S223。
在步骤S223处，真实空间点选择部231选择对应于具有注意视差的注意信息点的真实空间点作为注意真实空间点。之后，处理前进到步骤S224。
在步骤S224处，信息计算部132与图50的步骤S146处相似地对于注意真实空间点即对于注意焦点位置、注意信息点和注意视差确定图像平面移位信息。之后，处理前进到步骤S225。
在步骤S225处，真实空间点选择部231判定是否可以登记到多层视差图中的所有视差都已被选择为注意视差。
如果在步骤S225处判定并非可以登记到多层视差图中的所有视差都已被选择为注意视差，则处理返回到步骤S222，之后，重复类似的处理。
另一方面，如果在步骤S225处判定可以登记到多层视差图中的所有视差都已被选择注意视差，则处理前进到步骤S226。
在步骤S226处，真实空间点选择部231判定是否透镜信息生成轴的所有信息点都已被选择为注意信息点。
如果在步骤S226处判定并非透镜信息生成轴的所有信息点都已被选择为注意信息点，则处理返回到步骤S221，并且之后，重复类似的处理。
另一方面，如果在步骤S226处判定透镜信息生成轴的所有信息点都已被选择为注意信息点，则仿真透镜信息生成处理结束。
在图61的仿真透镜信息生成处理中，用如上所述的方式确定关于对应于可以登记到多层视差图中的视差与透镜信息生成轴的信息点的集合的真实空间点的透镜信息。
图62是说明用如上所述的方式使用对于透镜信息生成轴的信息点(对应的真实空间点)生成的透镜信息执行的集光处理的示例的图。
作为使用对于透镜信息生成轴的信息点生成的透镜信息执行集光处理的方法，可以使用旋转透镜信息的方法(下文中称为透镜信息旋转法)和旋转用于集光处理的光线的方法(下文中称为光线旋转法)。
现在，当虚拟传感器(的像素)或透镜信息生成轴围绕虚拟传感器的中心旋转时使得例如对应于某个真实空间点rsp的虚拟传感器的像素(位置)位于透镜信息生成轴上的角度称为一致旋转角度ALPHA。
对应于真实空间点rsp的虚拟传感器的像素和透镜信息生成轴围绕虚拟传感器的中心形成一致旋转角度ALPHA。
在透镜信息旋转法和光线旋转法中，当虚拟传感器(的像素)或透镜信息生成轴围绕虚拟传感器的中心旋转一致旋转角度ALPHA从而使得对应于真实空间点rsp的虚拟传感器的像素位于透镜信息生成轴上时，检测到最接近虚拟传感器的对应于真实空间点rsp的像素的信息点(下文中称为对应信息点)。
这里，在围绕虚拟传感器的中心旋转时的旋转角度的顺时针方向确定为正方向。在这种情况下，通过使透镜信息生成轴围绕虚拟传感器的中心旋转一致旋转角度+ALPHA或者通过使虚拟传感器围绕虚拟传感器的中心旋转一致旋转角度-ALPHA，对应于真实空间点rsp的虚拟传感器的像素变成位于透镜信息生成轴上。
下文中，为了简化说明，假设在检测到对应的信息点时，使透镜信息生成轴与虚拟传感器当中、例如透镜信息生成轴旋转一致旋转角度+ALPHA。
在透镜信息旋转法和光线旋转法中，当透镜信息生成轴围绕虚拟传感器的中心旋转一致旋转角度+ALPHA时，检测到最接近对应于真实空间点rsp的虚拟传感器的像素的信息点作为对应信息点。
然后，向从真实空间点rsp发出的光线应用关于对应信息点(对应的真实空间点)的透镜信息执行集光处理。
然而，在透镜信息旋转法中，关于对应信息点的透镜信息(中的PSF强度分布、PSF角度成分信息和图像平面移位信息)旋转一致旋转角度+ALPHA并且应用于从真实空间点rsp发出的光线。
同时，在光线旋转法中，从真实空间点rsp发出的光线旋转一致旋转角度-ALPHA，并且关于对应的信息点的透镜信息应用于旋转之后的光线。
图62示出通过透镜信息旋转法的集光处理的示例。
图62的A示出在对应于注意真实空间点的虚拟传感器的注意像素是透镜信息生成轴上的像素(下文中称为轴上像素)的情况下的集光方法中的图像形成值的计算的示例。
具体来说，图62的A示出了关于对应于注意真实空间点的虚拟传感器的注意像素的对应信息点的相关PSF强度分布(其中记录的分布区域)的示例。
在图62的A中，入射到透镜区域单元U1的光线到达PSF强度分布的对应区域UC1。
在对应于注意真实空间点的虚拟传感器的注意像素是轴上像素的情况下，对于从注意真实空间点发出并且入射到透镜区域单元U1的光线，原样使用(不予旋转)关于与注意像素对应的信息点的PSF强度分布，并且确定分配给入射到透镜区域单元U1的光线的明度与对应区域UC1的PSF强度分布的乘积作为图像形成值。
图62的B示出在对应于注意真实空间点的虚拟传感器的注意像素是当透镜信息生成轴围绕虚拟传感器的中心旋转例如90度时透镜信息生成轴提供的直线上的像素(该像素也称为90度旋转像素)的情况下的集光处理中的图像形成值计算的示例。
在图62的B中，作为注意像素的90度旋转像素的一致旋转角度+ALPHA是90度。
现在，假设与作为注意像素的90度旋转像素对应的信息点与图62的A的情况下的与轴上像素对应的信息点一致。
在这种情况下，根据透镜信息旋转法，对于从注意真实空间点发出的光线，使用当关于与注意像素对应的信息点的PSF强度分布围绕记录该PSF强度分布的分布区域的中心旋转了例如90度(这是一致旋转角度+ALPHA)时旋转之后的PSF强度分布确定图像形成值。
对于旋转之后的PSF强度分布(上面记录的分布区域)，入射到当透镜区域单元U1围绕光轴旋转90度(这是一致旋转角度+ALPHA)时旋转之后位于透镜区域单元U1的位置处的透镜区域单元U2的光线到达PSF强度分布的对应区域UC1。
因此，在注意像素是90度旋转像素的情况下，作为从注意真实空间点发出并且入射到透镜区域单元U2的光线的图像形成值，在透镜信息旋转法中确定分配给入射到透镜区域单元U2的光线的明度与对应区域UC1的PSF强度分布的乘积。
图63示出根据光线旋转法的集光处理的示例。
在对应于注意真实空间点的虚拟传感器的注意像素是轴上像素的情况下，在光线旋转法中，用与透镜信息旋转法中相似的方式确定从注意真实空间点发出的光线的图像形成值。
另一方面，在对应于注意真实空间点的虚拟传感器的注意像素是例如90度旋转像素的情况下，在光线旋转法中，使用当从注意真实空间点发出的光线旋转一致旋转角度-ALPHA＝-90度时旋转之后的光线来确定该光线的图像形成值。
图63的A示出从注意真实空间点发出的光线的旋转。
在对应于注意真实空间点的虚拟传感器的注意像素是90度旋转像素的情况下，入射到仿真透镜的光线围绕光轴旋转一致旋转角度-ALPHA＝-90度。
在图63的A中，在光线旋转之前，光线R1从注意真实空间点入射到透镜区域单元U1，并且另一条光线R2从注意真实空间点入射到透镜区域单元U2。
透镜区域单元U2位于当透镜区域单元U1围绕光轴旋转一致旋转角度+ALPHA＝+90度时的位置。
因此，如果入射到仿真透镜的光线围绕光轴旋转一致旋转角度-ALPHA＝-90度，则在旋转之前已经入射到透镜区域单元U2的光线R2现在入射到透镜区域单元U1。
图63的B示出关于作为注意像素的90度旋转像素的对应信息点的相关PSF强度分布(其中记录的分布区域)的示例。
在图63的B中，与图62的A的情况下相似，入射到透镜区域单元U1的光线到达PSF强度分布的对应区域UC1。
因为旋转之后的光线R2入射到透镜区域单元U1，所以将光线R2的图像形成值VF确定为光线R2的明度与透镜区域单元U1对应的区域UC1的PSF强度分布的乘积。
图63的C示出光线R2的图像形成值VF的反向旋转的示例。
在光线旋转法中，当将图像形成值VF加到虚拟传感器时，图像形成值VF(上面记录的分布区域)围绕光轴反方向旋转了光线已经旋转的一致旋转角度-ALPHA＝-90度。
具体来说，图像形成值VF(其中记录的分布区域)在围绕光轴旋转了一致旋转角度度+ALPHA＝+90之后加到虚拟传感器上。
在使用对于透镜信息生成轴生成的透镜信息执行的集光处理中，可以采用透镜信息旋转法，或者可以采用光线旋转法。
根据透镜信息旋转法，集光处理所必需的算术运算量可以比光线旋转法少。
然而，在透镜信息旋转法中，仿真透镜的集光特性的可再现性可能会降低。
具体来说，在透镜信息旋转法中，将透镜信息(除了图像平面间距)旋转一致旋转角度+ALPHA。
在这种情况下，例如旋转之后的透镜信息中的PSF角度成分信息所表示的分布区域到达点AP#i(图44)的坐标系是倾斜了一致旋转角度+ALPHA的坐标系。因此，除了一致旋转角度+ALPHA是90度的整数倍的情况以外，在可能变成旋转之前的PSF角度成分信息所表示的分布区域到达点AP#i的位置与可能变成旋转之后的PSF角度成分信息所表示的分布区域到达点AP#i的位置之间发生位移。
因为通过PSF角度成分信息表示的分布区域到达点AP#i以分布区域的分布区域单元(图40)为粒度表示光线到达的PSF强度分布上的位置，所以根据该粒度，在可能变成旋转之前的PSF角度成分信息所表示的分布区域到达点AP#i的位置与可能变成旋转之后的PSF角度成分信息所表示的分布区域到达点AP#i的位置之间出现的位移可能会对仿真透镜的集光特性的再现造成不良影响。
具体来说，在旋转之后的PSF角度成分信息表示的对应区域(图44)中，PSF强度分布有时与某个其它对应区域的PSF强度分布部分地重叠，或者某个对应区域中最初应当包含的PSF强度分布的一部分有时在该对应区域中欠缺。
在PSF强度分布的重叠或欠缺的程度较高的情况下，仿真透镜的集光特性的可再现性降低。
因此，对于集光处理，可以采用光线旋转法。
然而，如果通过分布区域到达点AP#i表示的光线到达的PSF强度分布上的位置的粒度足够精细，则即使对于集光处理使用透镜信息旋转法，也可以足够正确地再现仿真透镜的集光特性。因此，在这种情况下，可以采用透镜信息旋转法。
图64是示出使用对于透镜信息生成轴生成的透镜信息执行集光处理的集光处理部38的配置示例的框图。
请注意，在图64中，与图55的部分相似的部分用相似的参考符号表示，并且下面的说明中合适地省略对这些部分的说明。
参照图64，集光处理部38包含真实空间点选择部141、图像形成值计算部242、规模调节部143、图像形成位置辨别部244，加法部245和旋转处理部246。
因此，图64的集光处理部38与图55的情况相同的一点是它包含真实空间点选择部141和规模调节部143。
然而，图64的集光处理部38与图55的情况不同的一点是它包含图像形成值计算部242、图像形成位置辨别部244和加法部245，分别替代图像形成值计算部142、图像形成位置辨别部144和加法部145。
而且，图64的集光处理部38与图55的情况不同的一点是它新包含旋转处理部246。
图像形成值计算部242确定通过透镜信息旋转法或光线旋转法记录真实空间点选择部131所选择的从注意真实空间点发出的光线的图像形成值分布的分布区域，并且将分布区域供应到规模调节部143。
具体来说，图像形成值计算部242根据光线旋转法，使用从旋转处理部246供应的PSF强度分布和PSF角度成分信息，确定记录了从旋转处理部246供应的并且旋转了一致旋转角度-ALPHA的光线当中的从真实空间点选择部131选择的注意真实空间点发出的光线的分布区域；并且将该分布区域供应到规模调节部143。
替代地，图像形成值计算部242根据透镜信息旋转法，使用从旋转处理部246供应并且旋转了一致旋转角度+ALPHA的PSF强度分布和PSF角度成分信息，确定记录了从真实空间点选择部131选择的注意真实空间点发出的并且从旋转处理部246供应的光线的图像形成值的分布，并且将该分布区域供应到规模调节部143。
图像形成位置辨别部244从旋转处理部246供应的图像平面移位信息或旋转了一致旋转角度+ALPHA的图像平面移位信息中辨别作为通过仿真透镜的光线形成图像的虚拟传感器上的图像形成位置的图像平面移位位置，并且将该图像平面移位位置与来自规模调节部143的规模调节之后的分布区域一起供应到加法部245。
加法部245执行与图55的加法部145相似的处理。
具体来说，加法部245中构建有作为虚拟传感器的存储器，并且根据来自图像形成位置辨别部244的图像平面移位位置执行来自图像形成位置辨别部244的规模调节之后的分布区域与虚拟传感器的定位。
而且，加法部245将在与虚拟传感器的定位之后的分布区域中记录的图像形成值在虚拟传感器上以虚拟传感器的像素为单位相加。
然后，加法部245将通过在虚拟传感器上、即在存储器上获得的图像形成值的相加结果给定像素值的图像作为仿真图像供应到显示装置13(图1)。
请注意，当执行通过透镜信息旋转法的集光处理时，加法部245执行与如上所述的图55的加法部145相似的处理。
另一方面，当执行通过光线旋转法的集光处理时，加法部245首先将定位之后的分布区域(中记录的图像形成值)反方向旋转在光线被旋转处理部246旋转时的一致旋转角度-ALPHA，即旋转一致旋转角度+ALPHA，然后将旋转之后的分布区域中记录的图像形成值在虚拟传感器上相加。
除了从入射光线再现部36(图3)向旋转处理部246供应光线之后，还从仿真透镜信息生成部34(图3)向旋转处理部246供应关于透镜信息生成轴的信息点的透镜信息。
当执行通过透镜信息旋转法的集光处理时，旋转处理部246将来自仿真透镜信息生成部34的关于透镜信息生成轴的信息点的透镜信息中的PSF强度分布、PSF角度成分信息和图像平面移位信息旋转透镜信息生成轴旋转时的一致旋转角度+ALPHA，从而使得对应于真实空间点选择部141所选择的注意真实空间点的虚拟传感器的像素成为透镜信息生成轴上的像素。
然后，旋转处理部246将旋转之后的PSF强度分布和PSF角度成分信息供应到图像形成值计算部242，并且将旋转之后的图像平面移位信息供应到图像形成位置辨别部244。
此外，旋转处理部246将来自入射光线再现部36的光线不予旋转原样供应到图像形成值计算部242。
另一方面，当执行通过光线旋转法的集光处理时，旋转处理部246将来自入射光线再现部36的光线旋转虚拟传感器(的像素)旋转时的一致旋转角度-ALPHA，从而使得对应于真实空间点选择部141所选择的注意真实空间点的虚拟传感器的像素成为透镜信息生成轴上的像素。
然后，旋转处理部246将旋转之后的光线供应到图像形成值计算部242。
此外，旋转处理部246将来自仿真透镜信息生成部34的关于透镜信息生成轴的信息点的透镜信息中的PSF强度分布和PSF角度成分信息不予旋转原样供应到图像形成值计算部242，并且将图像平面移位信息不予旋转原样供应到图像形成位置辨别部244。
图65是说明图64的集光处理部38执行的集光处理的示例的流程图。
请注意，在本实施例中，如上文参照图61所述，仅仅对于注意焦点位置生成透镜信息以便减少透镜信息的信息量。因此，集光处理是在假设将焦点位置设置成透镜信息生成时的注意焦点位置的前提下执行的。
然而，可以对于Fmax个焦点位置(图37)中的每一个焦点位置事先生成透镜信息。在这种情况下，集光处理部38设置注意焦点位置并且可以使用关于该注意焦点位置的透镜信息执行集光处理。
替代地，仿真透镜信息生成部37可以在集光处理部38设置注意焦点位置之后对于注意焦点位置生成透镜信息。
这里，在图65中，假设执行通过光线旋转法的集光处理。
在步骤S251到S254处，执行与图56的步骤S151到S154处相似的处理。
具体来说，真实空间点选择部141在步骤S251获取从视差信息生成部31供应的多层视差图，并且在步骤S252处选择基准图像HD1的像素当中的尚未被选择为注意像素的一个像素作为注意像素。
而且，在步骤S253处，真实空间点选择部141选择在来自视差信息生成部31的多层视差图中登记的注意像素的视差当中的尚未被选择为注意视差的一个视差作为注意视差。然后在步骤S254处，真实空间点选择部141选择对应于具有注意视差的注意像素的真实空间点作为注意真实空间点。
然后，处理从步骤S254前进到步骤S255，其中旋转处理部246计算虚拟传感器旋转时的一致旋转角度-ALPHA，从而使得对应于真实空间点选择部141所选择的注意真实空间点的虚拟传感器的像素变成透镜信息生成轴上的像素。然后，处理前进到步骤S256。
在步骤S256处，旋转处理部246选择仿真透镜的透镜区域单元当中的尚未被选择为注意透镜区域单元的一个透镜区域单元作为注意透镜区域单元。然后，处理前进到步骤S257。
在步骤S257处，旋转处理部246获取从入射光线再现部36供应的光线当中的从注意真实空间点朝注意透镜区域单元的光线作为注意光线。然后，处理前进到步骤S258。
在步骤S258处，旋转处理部246将注意光线围绕光轴旋转在步骤S255处计算的一致旋转角度-ALPHA，并且将旋转之后的注意光线供应到图像形成值计算部242。然后，处理前进到步骤S259。
在步骤S259处，图像形成值计算部242判定来自旋转处理部246的旋转之后的注意光线是否从注意真实空间点到达仿真透镜。
如果在步骤S259处判定旋转之后的注意光线到达仿真透镜，即，当分配给旋转之后的注意光线的视差(通过上文参照图33到图35描述的入射光线再现处理分配的视差)等于注意视差时，则处理前进到步骤S260。
在步骤S260处，对于通过图像形成值计算部242、规模调节部143、图像形成位置辨别部244和加法部245判定到达仿真透镜的旋转之后的注意光线，即对于通过旋转冲突判定结果保留的注意光线获得的旋转之后的注意光线，执行下文中描述的光线相加处理。然后，处理前进到步骤S261。
另一方面，如果在步骤S259处判定旋转之后的注意光线不到达仿真透镜，即如果分配给旋转之后的注意光线的视差不等于注意视差，则处理跳过步骤S260并且前进到步骤S261。因此，当旋转之后的注意光线不到达仿真透镜时，不对于旋转之后的注意光线执行光线相加处理。
在步骤S261到S263处，执行与图56的步骤S159到S161处相似的处理。
具体来说，在步骤S261处，旋转处理部246判定是否仿真透镜的所有透镜区域单元都已被选择为注意透镜区域单元。然后，如果判定并非仿真透镜的所有透镜区域单元都已被选择为注意透镜区域单元，则处理返回到步骤S256，之后，重复类似的处理。
另一方面，如果在步骤S261处判定仿真透镜的所有透镜区域单元都已被选择为注意透镜区域单元，则处理前进到步骤S262，其中真实空间点选择部141判定是否在多层视差图中登记的注意像素的所有视差都已被选择为注意视差。
如果在步骤S262处判定并非在多层视差图中登记的注意像素的所有视差都已被选择为注意视差，则处理返回到步骤S253，之后，重复类似的处理。
另一方面，如果在步骤S262处判定在多层视差图中登记的注意像素的所有视差都已被选择为注意视差，则处理前进到步骤S263，其中真实空间点选择部141判定是否基准图像HD1的所有像素都已被选择为注意像素。
如果在步骤S263处判定并非基准图像HD1的所有像素都已被选择为注意像素，则处理返回到步骤S252，之后，重复类似的处理。
另一方面，如果在步骤S263处判定基准图像HD1的所有像素都已被选择为注意像素，则加法部245将通过到此为止的处理获得的图像(其中通过虚拟传感器上的图像形成值的加法结果提供像素值)供应到显示装置13(图1)，从而结束集光处理。
图66是说明在图65的S260处执行的光线相加处理的示例的流程图。
在步骤S271处，图像形成值计算部242从透镜信息生成轴的信息点当中检测对应信息点，这是最接近当对应于注意真实空间点的虚拟传感器的像素旋转了在图65的步骤S255处计算的一致旋转角度-ALPHA时的旋转之后的该像素(位置)的信息点。
而且，图像形成值计算部242获取来自旋转处理部246的关于透镜信息生成轴的信息点的透镜信息中的对应于对应信息点和注意视差的真实空间点的透镜信息。
然后，图像形成值计算部242使用关于对应于对应信息点和注意视差的真实空间点的透镜信息中的关于注意焦点位置f的PSF强度分布(其中记录的分布区域)和PSF角度成分信息，确定记录作为来自旋转处理部246的旋转之后的注意光线到达的PSF强度分布的分布区域上的位置的对应区域。
而且，如图像形成值计算部242确定对应区域的PSF强度分布与分配给旋转之后的注意光线的明度(通过上文参照图33到图35描述的入射光线再现处理分配的明度)的乘积作为旋转之后的注意光线的图像形成值(的分布)。
然后，图像形成值计算部242将记录旋转之后的注意光线的图像形成值的分布区域供应到规模调节部143。之后，处理从步骤S271前进到步骤S272。
在步骤S272处，规模调节部143获取来自仿真透镜信息生成部34的关于透镜信息生成轴的信息点的透镜信息中的关于对应于对应信息点和注意视差的真实空间点的透镜信息。
然后，规模调节部143使用关于对应于对应信息点和注意视差的真实空间点的透镜信息中的关于注意焦点位置f的图像平面间距，缩小或扩大记录来自图像形成值计算部242的图像形成值的分布的分布区域，以调节分布区域的规模以便与虚拟传感器的规模一致。
而且，规模调节部143将规模调节之后的分布区域通过图像形成位置辨别部244供应到加法部245。之后，处理从步骤S272前进到步骤S273。
在步骤S273处，图像形成位置辨别部244获取来自旋转处理部246的关于透镜信息生成轴的信息点的透镜信息中的对应于对应信息点和注意视差的真实空间点的透镜信息。
然后，图像形成位置辨别部244根据关于对应于对应信息点和注意视差的真实空间点的透镜信息中的关于注意焦点位置f的图像平面移位信息和注意光线被旋转处理部246旋转的一致旋转角度-ALPHA，辨别图像平面移位位置(这是旋转之前的注意光线通过仿真透镜形成图像的虚拟传感器上的图像形成位置)，并且将该图像平面移位位置供应到加法部245。然后，处理前进到步骤S274。
在步骤S274处，加法部245根据来自图像形成位置辨别部244的图像平面移位位置，执行通过规模调节部143获得的规模调节之后的分布区域与虚拟传感器的定位。
具体来说，加法部245执行规模调节之后的分布区域与虚拟传感器的的定位，从而使得规模调节之后的分布区域的中心点CP(图54)与虚拟传感器的图像平面移位位置相互一致。
而且，在步骤S274处，加法部245将定位之后的分布区域(中记录的图像形成值)围绕光轴(或中心点CP)反方向旋转注意光线被旋转处理部246旋转时的一致旋转角度-ALPHA，即围绕光轴(或中心点CP)旋转一致旋转角度+ALPHA。然后，处理前进到步骤S275。
在步骤S275处，加法部245在虚拟传感器上以虚拟传感器的像素为单位将旋转之后的分布区域中记录的图像形成值相加。也就是说，加法部245将作为虚拟传感器的存储器的存储值与图像形成值相加，并且用通过加法获得的加法值重写存储器的存储值。
光线相加处理由此结束，并且处理返回。
如上所述，在对于对应于作为虚拟传感器的平面的一部分的多个位置的多个信息点的真实空间点生成透镜信息并且使用透镜信息执行集光处理的情况下，可以通过减少的数据量正确地再现仿真透镜的模糊度或其它集光特性。
请注意，虽然在本实施例中，采用长度等于虚拟传感器的对角线的长度的1/2并且从虚拟传感器的中心在垂直方向上延伸的线段(图59)作为透镜信息生成轴，但是可以采用从虚拟传感器的中心延伸的任意一条轴线作为透镜信息生成轴。
具体来说，可以采用例如将虚拟传感器的中心与虚拟传感器的对角线的一个像素相互连接的线段作为透镜信息生成轴。
而且，多个信息点不限于将从虚拟传感器的中心延伸的透镜信息生成轴均分的多个点。
具体来说，可以采用例如在虚拟传感器平面的图像高度不同的情况下布置在一条直线上的多个点或者不是布置在一条直线上的多个点作为这多个信息点。请注意，多个信息点的图像高度优选地在零到虚拟传感器的图像高度的最大值的范围内均匀地分散。
图67是说明在执行通过光线旋转法(图65和图66)的集光处理的情况下确定作为旋转前的光线形成图像的虚拟传感器上的图像形成位置的方法(在图66中的步骤S273处的辨别图像形成位置的方法)的图。
这里，假设例如通过二维坐标系的坐标(x,y)表示图像平面移位位置，该二维坐标系中的原点是虚拟传感器的左上角的像素并且虚拟传感器的像素间距是1。
而且，假设图像平面移位信息表示图像平面移位位置在x方向和y方向上离光轴(虚拟传感器的中心)SO的距离(微米)。
如上文结合图66的步骤S273所述，图像形成位置辨别部244根据关于对应于具有注意视差的对应信息点的真实空间点的图像平面移位信息和注意光线被旋转处理部246旋转的一致旋转角度-ALPHA，辨别作为旋转之前的注意光线形成图像的虚拟传感器上的图像形成位置(该位置在下文中也称为旋转之前的图像平面移位位置)的图像平面移位位置。
这里，对应信息点是从虚拟传感器的中心SO在向上的方向上延伸的传感器信息生成轴上的点，并且关于对应于这样的对应信息点和注意视差的真实空间点的图像平面移位信息img_height表示从虚拟传感器的中心SO到在经过中心SO并且在垂直方向上延伸的直线上的位置A的距离。位置A是从对应于对应信息点和注意视差的真实空间点发出的主光线通过仿真透镜到达的虚拟传感器上的位置。
现在，假设虚拟传感器的水平宽度(左端的像素与右端的像素之间的距离)表示为width，而虚拟传感器的像素间距(邻近像素之间的距离)表示为Sensor_pitch。
作为旋转之前的注意光线形成图像的虚拟传感器上的图像形成位置的旋转之前的图像平面移位位置是位置A反方向旋转注意光线旋转时的一致旋转角度-ALPHA时的位置，即旋转一致旋转角度+ALPHA的位置。
因此，可以根据表达式X＝width/2+(img_height×cos(90度-ALPHA))/Sensor_pitch确定旋转之前的图像平面移位位置的x坐标X。
旋转之前的图像平面移位位置的y坐标也可以用相似的方式确定。
图像形成位置辨别部244用如上所述的方式确定和辨别旋转之前的图像平面移位位置(的x坐标和y坐标)。
然后，加法部245根据通过如下方式获得的旋转之前的图像平面移位位置执行规模调节之后的分布区域和虚拟传感器的定位：将通过关于对应于对应信息点和注意视差的真实空间点的图像平面移位信息img_height表示的位置(图像平面移位位置)A反方向旋转注意光线旋转时的一致旋转角度–ALPHA(通过将位置A旋转一致旋转角度+ALPHA)。
具体来说，加法部245执行规模调节之后的分布区域与虚拟传感器的定位，从而使得规模调节之后的分布区域的中心点CP(图54)与虚拟传感器的旋转之前的图像平面移位位置相互一致。
请注意，如上所述，因为旋转之前的图像平面移位位置是通过旋转通过关于对应于对应信息点和注意视差的真实空间点的图像平面移位信息img_height表示的位置(图像平面移位位置)确定的，所以会发生旋转导致的舍入误差。
因为这个舍入误差，旋转之前的图像平面移位位置的精度降低，并且因为旋转之前的图像平面移位位置的精度降低，所以集光处理中的仿真透镜的集光特性的可再现性有时会降低。
因此，为了抑制旋转之前的图像平面移位位置的精度的降低，可以对于图像平面移位信息(表示的图像平面移位位置)执行插补。
作为图像平面移位信息(表示的图像平面移位位置)的插补，可以使用信息点布置方向(垂直于光轴的方向)(图像高度方向)上的插补和视差方向上的插补。
图68是说明图像平面移位信息(表示的图像平面移位位置)的信息点的布置方向上的插补的图。
使用关于对应于对应信息点和注意视差的真实空间点的透镜信息(这样的透镜信息在下文中仅称为关于对应信息点的透镜信息)执行通过光线旋转法的集光处理，该对应信息点是最接近对应于注意真实空间点的虚拟传感器的像素(位置)旋转了一致旋转角度-ALPHA时的旋转之后的像素(位置)的信息点。
在图68中，对应于注意真实空间点的虚拟传感器的像素(位置)pp旋转了一致旋转角度-ALPHA时的旋转之后的像素(位置)pp’位于邻近信息点A和B之间，并且作为最接近旋转之后的像素pp’的对应的信息点的对应信息点是信息点B。
在这种情况下，作为信息点的布置方向上的插补，例如分别根据从旋转之后的像素pp’到信息点A和B的距离a和b之间的比率，执行使用关于夹着旋转之后的像素pp’的信息点A和B的图像平面移动位置ih1和ih2的插补。
具体来说，在信息点的布置方向上的插补中，例如根据表达式ih＝(ih1×b+ih2×a)/(a+b)确定作为信息点的布置方向上的插补值的图像平面移位位置ih。
然后，使用图像平面移位位置ih作为信息点布置方向上的插补值，代替关于作为对应信息点的信息点B的图像平面移位位置ih2，执行从注意真实空间点发出的光线的图像形成位置的定位。
图69是说明图像平面移位信息(表示的图像平面移位位置)的视差方向上的插补的图。
在本实施例中，例如如上文参照图6所述，用1/4像素的精度确定视差，并且整数化并使用1/4像素精度的视差。
因此，虽然例如在图32等等中，可以登记到视差图中的视差d是从最小值Dmin到最大值Dmax以1个像素为增量的DPN＝Dmax-Dmin+1个整数值，但是可以在视差图中登记精度为1/4像素的视差，并且当使用在视差图中登记的视差时，将该视差整数化。
如上所述，当在视差图中登记精度等于或低于一个像素的精度(诸如1/4像素的精度)的情况下，在视差方向上的图像平面移位信息的插补中，可以不予整数化原样使用精度等于或低于在视差图中登记的像素的精度的视差。
例如，现在假设在视差图中登记1/4像素的精度的视差。
在图61的仿真透镜信息生成处理中，通过将可以登记到视差图中的视差选择为注意视差，来确定作为关于对应于注意信息点和注意视差的注意真实空间点的透镜信息的图像平面移位信息(表示的图像平面移位位置)。
作为可以登记到视差图中并且被仿真透镜信息生成处理选择为注意视差的视差，使用从最小值Dmin到最大值Dmax以1个像素为增量的DPN＝Dmax-Dmin+1个整数值。
因此，在仿真透镜信息生成处理中，对于整数值视差确定图像平面移位位置。
在图69中，小于某个整数值的视差D的下一个大小的视差具有整数值D+1。然后，对于整数值的视差D确定图像平面移位位置ih1，并且对于下一个大小的整数值的视差D+1确定另一个图像平面移位位置ih2。
另一方面，在图65的集光处理中，从在视差图中登记的视差当中选择一个注意视差作为从基准图像中选择的注意像素的视差(步骤S253)。
在这种情况下，将视差图中登记的视差整数化并且选择为注意视差。
然后，在集光处理中，使用关于对应于对应信息点和注意视差的真实空间点的透镜信息执行光线相加处理(图66)。
对于光线相加处理中使用的透镜信息中的图像平面移位信息(表示的图像平面移位位置)，可以不予整数化地使用在视差图中登记的视差执行视差方向上的插补。
具体来说，在图69中，对应于对应信息点和注意视差的真实空间点的视差(注意视差)是D+0.75，这是1/4像素精度的视差。
这里，在视差图中登记的视差是1/4像素精度的视差的情况下，作为从整数值的视差D到下一个整数值的视差D+1的1/4像素精度的视差，可以使用D+0.25、D+0.5和D+0.75。
当整数化并且使用在视差图中登记的视差时，如果假设例如通过小数点以后舍掉执行整数化，则在注意视差是D、D+0.25、D+0.5或D+0.75的情况下，这些注意视差全都被整数化成整数值D。
然后，使用整数化成整数值D的注意视差用的图像平面移位位置ih1执行光线相加处理(图66)。
作为视差方向上的插补，根据从注意视差D+0.75到整数值的视差D和D+1的0.75和0.25的距离之间的比率，执行使用中间夹着未整数化的注意视差D+0.75的整数值的视差D和D+1的图像平面移动位置ih1和ih2的视差方向上的插补。
具体来说，在视差方向上的插补中，根据表达式ih＝ih1x 0.25+ih2x 0.75确定作为视差方向上的插补值的图像平面移位位置ih。
然后，代替整数化成整数值D的注意视差的图像平面移位位置ih1，使用作为视差方向上的插补值的图像平面移位位置ih执行光线相加处理(中的光线的图像形成位置的定位)。
在执行图像平面移位信息(表示的图像平面移位位置)的这样的插补的情况下，可以改进集光处理中的仿真透镜的集光特性的可再现性。
请注意，对于图像平面移位信息，可以仅执行信息点的布置方向上的插补和视差方向上的插补之一，或者执行这两种插补。
<仿真结果>
图70是示出作为透镜仿真部35(图3)的透镜仿真处理的结果获得的仿真图像的示例的图。
图70示出从当拍摄棒状物体obj2安置在物体obj1前侧的真实空间的图像时拍摄的图像获得的仿真图像。
根据仿真图像，可以确认，从物体obj1的被棒状物体obj2隐藏的部分发出的光线与物体obj2冲突并且看不到。
图71是示出作为透镜仿真部35的透镜模拟处理的结果获得的仿真图像的另一个示例的图。
请注意，图71的仿真图像与图70相似，是通过拍摄棒状物体obj2安置在物体obj1前侧的真实空间的图像而获得的拍摄图像获得的仿真图像。
图71的A示出仿真图像，该仿真图像中，作为图像平面移位位置，不是采用主光线通过仿真透镜到达的虚拟传感器上的位置，而是采用主光线通过虚拟透镜到达的虚拟传感器上的位置。
当在集光处理中，作为图像平面移位位置，不是采用主光线通过仿真透镜到达的虚拟传感器上的位置，而是主光线通过虚拟透镜到达的虚拟传感器上的位置的情况下，主光线的图像形成值将被加到的虚拟传感器的位置会因为虚拟透镜与仿真透镜之间的入射瞳的位置位移发生误差。因此，在图71A中，在仿真图像中能看到内侧的物体obj1的应当被棒状物体obj2隐藏看不到的部分。
图71的B示出不执行图像平面移位信息插补的情况下的仿真图像。
在图71的B中，可以确认，受到图像平面移位信息(表示的图像平面移位位置)旋转引起的舍入误差的影响，构成棒状物体obj2的轮廓并且在垂直方向上延伸的线段是不平坦的。
通过采用主光线通过仿真透镜到达的虚拟传感器上的位置作为图像平面移位位置，或者通过执行图像平面移位信息的插补，可以防止仿真图像中发生图71中示出的状态。
<适用本技术的计算机的说明>
虽然上文说明的一系列处理可以通过硬件执行，但是这些处理也可以通过软件执行。在这一系列处理通过软件执行的情况下，构成该软件的程序安装到通用计算机等等中。
图72是示出安装执行上文说明的这一系列处理用的程序的计算机的一个实施例的配置示例的框图。
该程序可以事先记录到作为记录媒体在计算机中内置的硬盘405或ROM(只读存储器)403中。
替代地，该程序可以存储(记录)在可装卸记录媒体411中。上述这样的可装卸记录媒体411可以作为所谓的封装软件提供。这里，作为可装卸记录媒体411，例如可以使用软盘、CD-ROM(压缩光盘只读存储器)、MO(磁光)盘、DVD(数字多功能光盘)、磁盘、半导体存储器等等。
请注意，除了从如上所述的可装卸记录媒体411安装到计算机中之外，还可以将程序通过通信网络或广播网络下载到计算机中并且安装到计算机中内置的硬盘405中。具体来说，该程序可以例如从下载网站通过无线传送使用数字卫星广播用的人造卫星传送到计算机，或者通过有线传送使用诸如LAN(局域网)或因特网的网络传送到计算机。
计算机中具有内置的CPU(中央处理单元)402，并且输入/输出接口410通过总线401连接至CPU 402。
如果使用者等等通过输入/输出接口410操作输入部407以输入指令到CPU 402，则执行存储在ROM(只读存储器)403中的程序。替代地，CPU 402将存储在硬盘405中的程序加载到RAM(随机存取存储器)404中并且执行该程序。
因此，CPU 402执行根据上文所述的流程图的处理，或者执行通过上文说明的框图的配置执行的处理。然后，CPU 402根据需要，例如通过输入/输出接口410从输出部406输出处理结果，从通信部408传输处理结果，或者使得在硬盘405上记录处理结果等等。
请注意，输入部407由键盘、鼠标、麦克风等等构成。同时，输出部406由LCD(液晶显示器)、扬声器等等构成。
这里，在本说明书中，计算机根据程序执行的处理不需要用流程图中说明的顺序的时间序列执行。具体来说，计算机将要根据程序执行的处理包含并行执行或者分别执行的处理(例如通过并行处理或通过对象执行的处理)。
而且，程序可以通过单个计算机(处理器)处理，或者可以用分布式方式通过多个计算机处理。而且，程序可以被传送到远程计算机并且通过远程计算机执行。
而且，在本说明书中，系统这个术语是指多个组件(设备、模块(零件)等等)的集合，并且所有的组件可以容纳在同一个壳体中或者可以不容纳在同一个壳体中。因此，容纳在不同的壳体中并且通过网络相互连接的多个装置还有多个模块容纳在单个壳体中的装置都是系统。
请注意，本技术的实施例不限于上文说明的实施例，并且在不脱离本技术的主题的前提下可以用多种方式更改。
例如，本技术可以具有云计算用的配置，其中，一个功能由多个装置通过网络分担和协同处理。
而且，上文结合流程图说明的步骤可以通过单个装置执行，或者可以通过多个装置用分担方式执行。
此外，在一个步骤中包含多个处理的情况下，一个步骤中包含的这多个处理可以通过一个装置执行，或者可以通过多个装置用分担的方式执行。
而且，本说明书中描述的效果是为了说明性的目的，并不是限制性的，并且可以体现出其它效果。
请注意，本技术可以具有下述配置。
<1>
一种图像处理装置，其包含：
集光处理部，其配置成执行集光处理以将有待从真实空间中的真实空间点入射到具有由拍摄多个视点的图像的多个图像拍摄部构成的合成孔径的虚拟透镜的光线通过仿真对象的仿真透镜集中到虚拟传感器上，该集光处理的执行是使用对于对应于作为所述虚拟传感器的平面的一部分的多个位置的多个信息点的真实空间点生成的并且限定通过所述仿真透镜的光线的透镜信息。
<2>
根据<1>所述的图像处理装置，其中
所述集光处理部使用针对对应于作为从所述虚拟传感器的中心延伸的一条给定轴线的透镜信息生成轴上的所述多个信息点的真实空间点的所述透镜信息执行所述集光处理。
<3>
根据<2>所述的图像处理装置，其中
所述集光处理部将从所述真实空间点发出的所述光线或所述透镜信息生成轴的透镜信息旋转所述虚拟传感器的所述像素或所述透镜信息生成轴围绕所述虚拟传感器的中心旋转时的旋转角度，从而使得对应于所述真实空间点的所述虚拟传感器的像素位于所述透镜信息生成轴上，并且执行所述集光处理。
<4>
根据<3>所述的图像处理装置，其中
所述集光处理部使用当所述虚拟传感器的像素或所述透镜信息生成轴旋转所述旋转角度时的对应于所述虚拟传感器的所述像素对应的所述信息点之一的真实空间点的所述透镜信息执行所述集光处理。
<5>
根据<1>到<4>中任一项所述的图像处理装置，其中所述集光处理部执行所述集光处理以将所述光线通过所述仿真透镜在所述虚拟传感器上形成图像时的图像形成值在所述虚拟传感器上相加。
<6>
根据<5>所述的图像处理装置，其中
所述集光处理部执行所述集光处理，在所述集光处理中：
根据作为从所述真实空间点发出的主光线通过所述仿真透镜到达的所述虚拟传感器上的位置的图像平面移位位置，定位所述图像形成值相加处的所述虚拟传感器上的位置；并且
将所述图像形成值在所述虚拟传感器上相加。
<7>
根据<6>所述的图像处理装置，其中
所述集光处理部根据所述图像平面移位位置反方向旋转所述旋转角度时的位置，执行所述图像形成值相加处的所述虚拟传感器上的位置的定位。
<8>
根据<7>所述的图像处理装置，其中
所述集光处理部使用通过用所述透镜信息中包含的并且表示所述图像平面移位位置的图像平面移位信息的插补获得的所述图像平面移位位置执行所述集光处理。
<9>
根据<8>所述的图像处理装置，其中
所述集光处理部使用通过用所述透镜信息中包含的所述图像平面移位信息的视差方向和所述信息点的布置方向上的插补获得的所述图像平面移位位置执行所述集光处理。
<10>
根据<1>到<9>中任一项所述的图像处理装置，其中
所述集光处理部执行所述集光处理，以使用所述光线和表示所述仿真透镜对于点状光源的响应并且包含在所述透镜信息中的PSF(点扩散函数)强度分布，将所述光线通过所述仿真透镜在所述虚拟传感器上形成图像时的图像形成值在所述虚拟传感器上相加。
<11>
根据<10>所述的图像处理装置，其中
所述集光处理部执行所述集光处理，以将PSF角度成分信息表示的所述PSF强度分布的位置处的所述PSF强度分布与所述光线的明度之间的乘积作为所述图像形成值在所述虚拟传感器上相加，所述PSF角度成分信息表示所述光线到达的所述PSF强度分布的位置并且包含在所述透镜信息中。
<12>
根据<11>所述的图像处理装置，其中
所述集光处理部执行所述集光处理，以基于表示所述PSF强度分布的规模并且包含在所述透镜信息中的图像平面间距和表示所述虚拟传感器的所述像素的规模的像素间距，将所述图像形成值在所述虚拟传感器上相加。
<13>
根据<12>所述的图像处理装置，其中
所述集光处理部使基于所述图像平面间距和所述像素间距作为所述PSF强度分布与所述光线的所述明度之间的乘积确定的所述图像形成值的分布规模与所述虚拟传感器的规模一致，并且将所述图像形成值在所述虚拟传感器上相加。
<14>
一种图像处理方法，其包含：
执行集光处理，以将有待从真实空间中的真实空间点入射到具有由拍摄多个视点的图像的多个图像拍摄部构成的合成孔径的虚拟透镜的光线通过仿真对象的仿真透镜集中到虚拟传感器上，该集光处理的执行是使用对于对应于作为所述虚拟传感器的平面的一部分的多个位置的多个信息点的真实空间点生成的并且限定通过所述仿真透镜的光线的透镜信息。
[参考符号列表]
11图像拍摄装置，12图像处理装置，13显示装置21l到217相机单元，31视差信息生成部，32校准数据获取部，33饱和像素恢复部，34透镜设计数据获取部，35透镜仿真部，36入射光线再现部，37仿真透镜信息生成部，38集光处理部，41基准视差图生成部，42多层视差图生成部，51饱和判定部，52恢复部，61标准明度拍摄图像生成部，62低明度拍摄图像生成部，71视差信息获取部，72标准明度拍摄图像生成部，73低明度拍摄图像生成部，74饱和判定部，75恢复部，101真实空间点选择部，102光线生成部，103冲突判定部，104明度分配部，131真实空间点选择部，132信息计算部，133焦点位置选择部，141真实空间点选择部，142图像形成值计算部，143规模调节部，144图像形成位置辨别部，145加法部，231真实空间点选择部，242图像形成值计算部，244图像形成位置辨别部，245加法部，246旋转处理部，401总线，402CPU，403ROM，404RAM，405硬盘，406输出部，407输入部，408通信部，409驱动器，410输入/输出接口，411可装卸记录媒体。

Claims (12)

1.一种图像处理装置，其包括：
集光处理部，其配置成执行集光处理以将有待从真实空间中的真实空间点入射到具有由拍摄多个视点的图像的多个图像拍摄部构成的合成孔径的虚拟透镜的光线通过仿真对象的仿真透镜集中到虚拟传感器上，使用针对对应于作为所述虚拟传感器的平面的一部分的多个位置的多个信息点的真实空间点而生成的并且限定通过所述仿真透镜的光线的透镜信息执行所述集光处理。
2.根据权利要求1所述的图像处理装置，其中
所述集光处理部使用对应于作为从所述虚拟传感器的中心延伸的一条给定轴线的透镜信息生成轴上的所述多个信息点的真实空间点的所述透镜信息执行所述集光处理。
3.根据权利要求2所述的图像处理装置，其中
所述集光处理部将从所述真实空间点发出的光线或所述透镜信息生成轴的透镜信息旋转所述虚拟传感器的像素或所述透镜信息生成轴围绕所述虚拟传感器的中心旋转时的旋转角度，从而使得对应于所述真实空间点的所述虚拟传感器的像素位于所述透镜信息生成轴上，并且执行所述集光处理。
4.根据权利要求3所述的图像处理装置，其中
所述集光处理部使用当所述虚拟传感器的像素或所述透镜信息生成轴旋转所述旋转角度时的对应于所述虚拟传感器的像素对应的所述信息点之一的真实空间点的所述透镜信息执行所述集光处理。
5.根据权利要求1所述的图像处理装置，其中所述集光处理部执行所述集光处理以将所述光线通过所述仿真透镜在所述虚拟传感器上形成图像时的图像形成值在所述虚拟传感器上相加，所述图像形成值是分配给所述光线的明度与对应区域中的PSF强度分布的乘积，其中
所述集光处理部执行所述集光处理，在所述集光处理中：
根据作为从所述真实空间点发出的主光线通过所述仿真透镜到达的所述虚拟传感器上的位置的图像平面移位位置，执行所述图像形成值相加处的所述虚拟传感器上的位置的定位；并且
将所述图像形成值在所述虚拟传感器上相加。
6.根据权利要求5所述的图像处理装置，其中
所述集光处理部根据所述图像平面移位位置反方向旋转所述旋转角度时的位置，执行所述图像形成值相加处的所述虚拟传感器上的位置的定位。
7.根据权利要求6所述的图像处理装置，其中
所述集光处理部使用通过用所述透镜信息中包含的并且表示所述图像平面移位位置的图像平面移位信息的插补获得的所述图像平面移位位置执行所述集光处理。
8.根据权利要求7所述的图像处理装置，其中
所述集光处理部使用通过利用所述透镜信息中包含的所述图像平面移位信息的视差方向和所述信息点的布置方向上的插补获得的所述图像平面移位位置执行所述集光处理。
9.根据权利要求1所述的图像处理装置，其中
所述集光处理部执行所述集光处理，以使用所述光线和表示所述仿真透镜对于点状光源的响应并且包含在所述透镜信息中的PSF强度分布，将所述光线通过所述仿真透镜在所述虚拟传感器上形成图像时的图像形成值在所述虚拟传感器上相加，所述图像形成值是分配给所述光线的明度与对应区域中的PSF强度分布的乘积，
其中所述集光处理部执行所述集光处理，以将PSF角度成分信息表示的所述PSF强度分布的位置处的所述PSF强度分布与所述光线的明度之间的乘积作为所述图像形成值在所述虚拟传感器上相加，所述PSF角度成分信息表示所述光线到达的所述PSF强度分布的位置并且包含在所述透镜信息中。
10.根据权利要求9所述的图像处理装置，其中
所述集光处理部执行所述集光处理，以基于表示所述PSF强度分布的规模并且包含在所述透镜信息中的图像平面间距和表示所述虚拟传感器的所述像素的规模的像素间距，将所述图像形成值在所述虚拟传感器上相加。
11.根据权利要求10所述的图像处理装置，其中
所述集光处理部使基于所述图像平面间距和所述像素间距作为所述PSF强度分布与所述光线的所述明度之间的乘积确定的所述图像形成值的分布规模与所述虚拟传感器的规模一致，并且将所述图像形成值在所述虚拟传感器上相加。
12.一种图像处理方法，其包括：
执行集光处理，以将有待从真实空间中的真实空间点入射到具有由拍摄多个视点的图像的多个图像拍摄部构成的合成孔径的虚拟透镜的光线通过仿真对象的仿真透镜集中到虚拟传感器上，使用针对对应于作为所述虚拟传感器的平面的一部分的多个位置的多个信息点的真实空间点而生成的并且限定通过所述仿真透镜的光线的透镜信息执行所述集光处理。
CN201680023012.3A 2015-04-28 2016-04-15 图像处理装置和图像处理方法 Expired - Fee Related CN107534729B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015091113 2015-04-28
JP2015-091113 2015-04-28
PCT/JP2016/062066 WO2016175046A1 (ja) 2015-04-28 2016-04-15 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
CN107534729A CN107534729A (zh) 2018-01-02
CN107534729B true CN107534729B (zh) 2020-08-21

Family

ID=57198372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680023012.3A Expired - Fee Related CN107534729B (zh) 2015-04-28 2016-04-15 图像处理装置和图像处理方法

Country Status (4)

Country Link
US (1) US10453183B2 (zh)
JP (1) JP6684454B2 (zh)
CN (1) CN107534729B (zh)
WO (1) WO2016175046A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018123781B4 (de) * 2018-09-26 2023-08-03 Carl Zeiss Meditec Ag Verfahren zum Durchführen einer Shading-Korrektur und optisches Beobachtungsgerätesystem
DE102021200965A1 (de) * 2021-02-03 2022-08-04 Carl Zeiss Ag Verfahren zur Simulation einer optischen Abbildung

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013168381A1 (en) * 2012-05-11 2013-11-14 Sony Corporation Image processing apparatus and image processing method
JP2014107631A (ja) * 2012-11-26 2014-06-09 Nikon Corp 画像生成方法及び装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11284903A (ja) * 1998-03-26 1999-10-15 Casio Comput Co Ltd 電子カメラ装置および撮像方法
US7692859B2 (en) * 2005-11-02 2010-04-06 Koninklijke Philips Electronics N.V. Optical system for 3-dimensional display
CN102812712B (zh) * 2010-03-24 2015-04-08 富士胶片株式会社 图像处理设备和图像处理方法
US8451346B2 (en) * 2010-06-30 2013-05-28 Apple Inc. Optically projected mosaic rendering
CN102164298B (zh) * 2011-05-18 2012-10-03 长春理工大学 全景成像系统中基于立体匹配的元素图像获取方法
JP2014010783A (ja) * 2012-07-02 2014-01-20 Canon Inc 画像処理装置、画像処理方法およびプログラム
GB2506405A (en) * 2012-09-28 2014-04-02 Sony Comp Entertainment Europe Imaging device with steerable light redirection units forming virtual lens
JP2014107311A (ja) * 2012-11-26 2014-06-09 Chiba Techno:Kk 液冷抵抗器
JP6497321B2 (ja) * 2013-09-11 2019-04-10 ソニー株式会社 画像処理装置および方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013168381A1 (en) * 2012-05-11 2013-11-14 Sony Corporation Image processing apparatus and image processing method
JP2014107631A (ja) * 2012-11-26 2014-06-09 Nikon Corp 画像生成方法及び装置

Also Published As

Publication number Publication date
US10453183B2 (en) 2019-10-22
CN107534729A (zh) 2018-01-02
JPWO2016175046A1 (ja) 2018-02-15
US20180075583A1 (en) 2018-03-15
JP6684454B2 (ja) 2020-04-22
WO2016175046A1 (ja) 2016-11-03

Similar Documents

Publication Publication Date Title
US10944960B2 (en) Free-viewpoint video generating method and free-viewpoint video generating system
CN107534731B (zh) 图像处理装置和图像处理方法
KR20170005009A (ko) ３ｄ 라돈 이미지의 생성 및 사용
JP2016128816A (ja) プレノプティック・カメラを使った表面属性の推定
US8917317B1 (en) System and method for camera calibration
WO2020075252A1 (ja) 情報処理装置、プログラム及び情報処理方法
JP7479729B2 (ja) 三次元表現方法及び表現装置
WO2016175043A1 (ja) 画像処理装置及び画像処理方法
CN107534730B (zh) 图像处理装置及图像处理方法
CN107534729B (zh) 图像处理装置和图像处理方法
CN116524022A (zh) 偏移数据计算方法、图像融合方法、装置及电子设备
CN108353120B (zh) 用于生成表示像素束的数据的装置和方法
KR20090012982A (ko) 깊이 정보 생성 방법, 그 장치 및 그 방법을 실행하는프로그램이 기록된 기록매체
CN111489384A (zh) 基于互视角的遮挡评估方法及装置、设备、系统和介质
JP2004257934A (ja) ３次元形状計測方法及び３次元形状計測装置並びにその処理プログラムと記録媒体
US20230370708A1 (en) Systems and Methods for Light Field Imaging with Mirror Arrays
JP6984583B2 (ja) 情報処理装置および情報処理方法
CN115209044A (zh) 形成对象的图像的方法、计算机程序产品和图像形成系统
Li et al. Simulation of depth from coded aperture cameras with Zemax
Sathyanarayana et al. Generating highly realistic 3D animation video with depth-of-field and motion blur effects
Ferreira A Fully Automatic Depth Estimation Algorithm for Multi-Focus Plenoptic Cameras: Coarse and Dense Aproaches

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200821

CF01 Termination of patent right due to non-payment of annual fee