CN107534730A - 图像处理装置及图像处理方法 - Google Patents

图像处理装置及图像处理方法 Download PDF

Info

Publication number
CN107534730A
CN107534730A CN201680023027.XA CN201680023027A CN107534730A CN 107534730 A CN107534730 A CN 107534730A CN 201680023027 A CN201680023027 A CN 201680023027A CN 107534730 A CN107534730 A CN 107534730A
Authority
CN
China
Prior art keywords
image
lens
parallax
light
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680023027.XA
Other languages
English (en)
Other versions
CN107534730B (zh
Inventor
早坂健吾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107534730A publication Critical patent/CN107534730A/zh
Application granted granted Critical
Publication of CN107534730B publication Critical patent/CN107534730B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本技术涉及能够精确地再现光学透镜的模糊度的图像处理装置及图像处理方法。光线生成部从真实空间中的真实空间点生成将要入射到具有由摄取多个视点的图像的多个图像摄取部构成的合成孔径的虚拟透镜的光线。辉度分配部分配辉度给因用于判定在所述光线入射到所述虚拟透镜之前所述光线是否与物体冲突的冲突判定而残余的光线。本技术可以适用于例如根据多个视点的图像重构使用各种光学透镜摄取的图像的光场技术。

Description

图像处理装置及图像处理方法
技术领域
本技术涉及图像处理装置及图像处理方法，特定地，涉及能够例如精确地再现光学透镜的模糊度的图像处理装置及图像处理方法。
背景技术
本发明提出了一种光场技术，该光场技术例如根据多个视点的图像重构执行重聚焦的图像，即，看起来好像在改变光学系统的焦点位置的情况下执行图像摄取一样的图像或类似图像(例如，参照PTL 1)。
【引文列表】
【专利文献】
【PTL 1】
JP 2013-238927A
发明内容
【技术问题】
对于光场技术，需要精确地再现当使用实际光学透镜执行图像摄取时出现在图像上的模糊度。
本技术鉴于上述情况而提出，且能够精确地再现光学透镜的模糊度。
【技术方案】
本技术的图像处理装置是一种图像处理装置，该图像处理装置包括：光线生成部，被构造为从真实空间中的真实空间点生成将要入射到具有由摄取多个视点的图像的多个图像摄取部构成的合成孔径的虚拟透镜的光线；和辉度分配部，被构造为分配辉度给因用于判定在由光线生成部生成的光线入射到虚拟透镜之前所述光线是否与物体冲突的冲突判定而残余的光线。
本技术的图像处理方法是一种图像处理方法，该图像处理方法包括从真实空间中的真实空间点生成将要入射到具有由摄取多个视点的图像的多个图像摄取部构成的合成孔径的虚拟透镜的光线并分配辉度给因用于判定在所述光线入射到虚拟透镜之前所述光线是否与物体冲突的冲突判定而残余的光线。
在本技术的图像处理装置和图像处理方法中，从真实空间中的真实空间点生成将要入射到具有由摄取多个视点的图像的多个图像摄取部构成的合成孔径的虚拟透镜的光线，并分配辉度给因用于判定在所述光线入射到虚拟透镜之前所述光线是否与物体冲突的冲突判定而残余的光线。
应当注意，图像处理装置可以是独立装置或者可以是构成单个装置的内部模块。
此外，图像处理装置可以通过使计算机执行程序来执行，且程序可以通过经由传输介质传输程序或通过将程序记录在记录介质上来提供。
本发明的有益效果如下：
根据本技术，例如，可以精确地再现光学透镜的模糊度。
应当注意，这里所述的效果不一定是限制性的，且可以是本公开中所述的任何效果。
附图说明
图1是描绘本技术所适用的图像处理系统的实施例的构造实例的方块图；
图2是描绘图像摄取装置11的构造实例的俯视图；
图3是描绘图像处理装置12的构造实例的方块图；
图4是示出图像处理系统的处理实例的流程图；
图5是描绘视差信息生成部31的构造实例的方块图；
图6是示出通过基准视差图生成部41的基准视差图生成实例的视图；
图7是示出周边图像PL#i的视差图生成实例的视图；
图8是示出到周边图像PL#i的视差图的未登记区域中的视差插补的视图；
图9是示出多层视差图生成实例的视图；
图10是示出通过视差信息生成部31生成基准视差图和多层视差图的处理实例的流程图；
图11是描绘通过使用实际光学透镜摄取预定摄像体的图像而获得的实际图像实例的视图；
图12是描绘通过图像处理装置12获得的仿真图像实例的视图；
图13是示出当未执行饱和像素恢复处理时不再现清晰污斑的原理的视图；
图14是示出通过执行饱和像素恢复处理来再现清晰污斑的原理的视图；
图15是示出获取标准辉度摄取图像PL#i和低辉度摄取图像PH#i的第一获取方法的视图；
图16是描绘饱和像素恢复部33的第一构造实例的方块图；
图17是示出由饱和像素恢复部33执行的饱和像素恢复处理实例的流程图；
图18是描绘饱和像素恢复部33的第二构造实例的方块图；
图19是示出由饱和像素恢复部33执行的饱和像素恢复处理实例的流程图；
图20是描绘图像摄取装置11的另一个构造实例的俯视图；
图21是描绘饱和像素恢复部33的第三构造实例的方块图；
图22是示出视差图的视差校正实例的视图；
图23是示出由饱和像素恢复部33执行的饱和像素恢复处理实例的流程图；
图24是示出获取关注视点处的高动态范围(HDR)摄取图像的关注像素的像素值的处理实例的流程图；
图25是示出透镜仿真部35的透镜仿真处理略图的视图；
图26是示出通过实际光学透镜的聚光处理和透镜仿真处理的聚光处理的视图；
图27是描绘入射光线再现部36的构造实例的方块图；
图28是示出真实空间点的视图；
图29是示出使用多层视差图来判定真实空间点的判定方法的视图；
图30是示出由光线生成部102执行的光线生成实例的视图；
图31是示出由冲突判定部103执行的冲突判定和由辉度分配部104执行的光线辉度分配的视图；
图32是示意性地描绘通过由入射光线再现部36执行的入射光线再现处理而获得的最大数量的数据的视图；
图33是示出由入射光线再现部36执行的入射光线再现处理实例的流程图；
图34是示出冲突判定处理实例的流程图；
图35是示出光线辉度分配处理实例的流程图；
图36是示出由仿真透镜信息生成部37生成的透镜信息的视图；
图37是示出作为透镜信息生成目标的真实空间点及焦点位置的视图；
图38是描绘光学透镜的点扩散函数(PSF)强度分布实例的视图；
图39是示出生成PSF强度分布的方法的实例的视图；
图40是示意性地描绘由仿真透镜信息生成部37生成的PSF强度分布的视图；
图41是示意性地描绘由仿真透镜信息生成部37生成的图像平面间距的视图；
图42是示出生成PSF角分量信息的方法的实例的视图；
图43是示出生成PSF角分量信息的方法的实例的视图；
图44是示出PSF角分量信息的细节的视图；
图45是示意性地描绘由仿真透镜信息生成部37生成的PSF角分量信息的视图；
图46是示出图像平面偏移信息的视图；
图47是示出生成PSF角分量信息的方法的实例的视图；
图48是示意性地描绘由仿真透镜信息生成部37生成的图像平面偏移信息的视图；
图49是描绘生成透镜信息的仿真透镜信息生成部37的构造实例的方块图；
图50是示出由仿真透镜信息生成部37执行的仿真透镜信息生成处理实例的流程图；
图51是示出由聚光处理部38执行的聚光处理略图的视图；
图52是示出从聚光处理当中判定图像形成值的处理实例的视图；
图53是示出从聚光处理当中判定图像形成值的不同处理实例的视图；
图54是示出从聚光处理当中将图像形成值(的分布)相加到虚拟传感器的处理实例的视图；
图55是描绘聚光处理部38的构造实例的方块图；
图56是示出由聚光处理部38执行的聚光处理实例的流程图；
图57是示出光线相加处理实例的流程图；
图58是示出透镜信息的信息量减少略图的视图；
图59是描绘透镜信息生成轴的特定实例的视图；
图60是描绘在只为透镜信息生成轴的信息点生成透镜信息的情况下仿真透镜信息生成部37的构造实例的方块图；
图61是示出由仿真透镜信息生成部37执行的仿真透镜信息生成处理实例的流程图；
图62是示出使用为透镜信息生成轴的信息点(与信息点对应的真实空间点)生成的透镜信息来执行的聚光处理实例的视图；
图63是描绘通过光线旋转法的聚光处理实例的视图；
图64是描绘使用为透镜信息生成轴生成的透镜信息来执行聚光处理的聚光处理部38的构造实例的方块图；
图65是示出由聚光处理部38执行的聚光处理实例的流程图；
图66是示出光线相加处理实例的流程图；
图67是示出在执行通过光线旋转法的聚光处理的情况下判定作为虚拟传感器上的图像形成位置的图像平面偏移位置的方法的视图，旋转前的光线在该图像形成位置上形成图像；
图68是示出在信息点的并置方向上的图像平面偏移信息的插补的视图；
图69是示出在视差方向上的图像平面偏移信息的插补的视图；
图70是描绘因通过透镜仿真部35的透镜仿真处理而获得的仿真图像实例的视图；
图71是描绘因通过透镜仿真部35的透镜仿真处理而获得的不同仿真图像实例的视图；
图72是描绘本技术所适用的计算机的实施例的构造实例的方块图。
具体实施方式
<本技术所适用的图像处理系统的实施例>
图1是描绘本技术所适用的图像处理系统的实施例的构造实例的方块图。
图1中，图像处理系统包括图像摄取装置11、图像处理装置12和显示装置13。
图像摄取装置11从多个视点摄取摄像体的图像并将因图像摄取而获得的多个视点的摄取图像提供给图像处理装置12。
图像处理装置12使用来自图像摄取装置11的多个视点的摄取图像来执行图像处理以生成与在使用作为仿真目标的光学透镜的仿真透镜来摄取摄像体的图像的情况下的图像类似的仿真图像，并将仿真图像提供给显示装置13。
显示装置13显示来自图像处理装置12的仿真图像。
仿真图像是图像，例如，通过该图像如实地再现在使用可拆卸地安装在单镜头反光相机或无反光镜相机上的光学透镜摄取的摄像体的图像中生成的模糊度。因此，用户可以在不购买昂贵的光学透镜的情况下享受这种昂贵的光学透镜的模糊度。
应当注意，图1中，构成图像处理系统的图像摄取装置11、图像处理装置12和显示装置13可以内置在诸如例如数字(静物/视频)相机的独立装置或诸如智能手机的便携式终端中。
此外，图像摄取装置11、图像处理装置12和显示装置13可以单独地内置在独立装置中。
此外，图像摄取装置11、图像处理装置12和显示装置13中的任意两个装置和剩余一个装置可以单独地内置在独立装置中。
例如，图像摄取装置11和显示装置13可以内置在用户拥有的便携式终端中，以及图像处理装置12可以内置在云端服务器中。
此外，图像处理装置12的一些模块可以内置在云端服务器中，图像处理装置12的剩余模块以及图像摄取装置11和显示装置13可以内置在便携式终端中。
<图像摄取装置11的构造实例>
图2是描绘图像摄取装置11的构造实例的俯视图。
图像摄取装置11包括多个相机单元21i，并通过多个相机单元21i摄取多个视点的摄取图像。
图2中，图像摄取装置11包括多个(例如，七个)相机单元211、212、213、214、215、216和217，且七个相机单元211至217置于二维平面上。
此外，图2中，例如，以作为七个相机单元211至217之一的相机单元211为中心，其他六个相机单元212至217置于相机单元211周围以构成正六边形。
因此，图2中，从七个相机单元211至217当中的任意一个相机单元21i(i＝1,2,...,7)(的光轴)和最靠近相机单元21i的另一个相机单元21j(j＝1,2,...,7)(的光轴)之间的距离是等距L。
例如，可以采用约20mm作为相机单元21i和21j之间的距离L。在这种情况下，图像摄取装置11可被构造成卡片大小，诸如集成电路(IC)卡。
应当注意，构成图像摄取装置11的相机单元21i的数量并不限于七个，且可以采用等于或大于两个但等于或小于六个的数量或等于或大于八个的数量。
此外，在图像摄取装置11中，多个相机单元21i可被置成以便构成诸如如上所述的正六边形的正多边形或可以置于任意位置处。
这里，从相机单元211至217当中置于中心处的相机单元211也被称为基准相机单元211，以及置于基准相机单元211周围的相机单元212至217有时被称为周边相机单元212至217。
<图像处理装置12的构造实例>
图3是描绘图1的图像处理装置12的构造实例的方块图。
图3中，图像处理装置12包括视差信息生成部31、校准数据获取部32、饱和像素恢复部33、透镜设计数据获取部34和透镜仿真部35。
从图像摄取装置11提供通过相机单元211至217摄取的七个视点的摄取图像给图像处理装置12。
这里，标准辉度摄取图像PL1至PL7和低辉度摄取图像PH1至PH7可作为通过图像摄取装置11提供给图像处理装置12的七个视点的摄取图像。
标准辉度摄取图像PL#i是通过相机单元21i在例如根据图像摄取估计为合适的预定曝光时间周期内(以快门速度)(以下也称为标准曝光时间周期)摄取的图像。例如，可以采用通过自动曝光功能等设定的曝光时间周期作为标准曝光时间周期。
低辉度摄取图像PH#i是通过相机单元21i在比标准曝光时间周期更短的曝光时间周期内(以比与标准曝光时间周期对应的快门速度更高的快门速度)摄取的图像。
因此，在低辉度摄取图像PH#i中，反射在标准辉度摄取图像PL#i中的摄像体大致上是反射性暗的。
在图像处理装置12中，标准辉度摄取图像PL#i提供给视差信息生成部31和饱和像素恢复部33，低辉度摄取图像PH#i提供给饱和像素恢复部33。
视差信息生成部31使用从图像摄取装置11提供的标准辉度摄取图像PL#i来判定视差信息并将视差信息提供给下文所述构成透镜仿真部35的入射光线再现部36、仿真透镜信息生成部37和聚光处理部38。
特定地，视差信息生成部31执行判定从图像摄取装置11提供的标准辉度摄取图像PL#i中的每个标准辉度摄取图像PL#i与不同的标准辉度摄取图像PL#j的视差信息的处理，作为多个视点的标准辉度摄取图像PL#i的图像处理。然后，视差信息生成部31生成登记视差信息的视差图并将所生成的视差图提供给透镜仿真部35。
此外，视差信息生成部31从标准辉度摄取图像PL#i当中生成下文所述关于通过基准相机单元211摄取的标准辉度摄取图像PL1的多层视差图并将所生成的多层视差图提供给透镜仿真部35。
这里，不仅可以采用视差(视差)自身而且可以采用与视差对应的距离(深度)作为视差信息。在本实施例中，例如，从视差和距离之间采用视差作为视差信息。
校准数据获取部32获取相机单元211至217中的每个相机单元的光学透镜的失真值和阴影系数作为校准数据。
这里，校准数据例如存储在存储器(未示出)中或经由因特网从服务器等提供。校准数据获取部32从存储器或经由因特网从服务器获取校准数据并将所获取的校准数据提供给视差信息生成部31和入射光线再现部36。
视差信息生成部31和入射光线再现部36使用从校准数据获取部32提供的校准数据来执行使通过周边相机单元212至217摄取的摄取图像(标准辉度摄取图像PL2至PL7或下文所述的HDR摄取图像HD2至HD7)与通过基准相机单元211摄取的摄取图像(标准辉度摄取图像PL1或下文所述的HDR摄取图像HD1)一致的校准处理。
特定地，视差信息生成部31和入射光线再现部36使用校准数据来执行将通过周边相机单元212至217摄取的摄取图像校正为在使用基准相机单元211代替周边相机单元212至217来执行图像摄取的情况下可获得的摄取图像的校准处理。
然后，视差信息生成部31和入射光线再现部36使用校准处理后的摄取图像对通过周边相机单元212至217摄取的摄取图像执行处理。
应当注意，为了简化说明，下文不对校准处理进行说明。
饱和像素恢复部33使用从相机单元21i提供的低辉度摄取图像PH#i从从相机单元21i提供的标准辉度摄取图像PL#i当中恢复像素饱和的饱和像素的像素值。
饱和像素恢复部33通过饱和像素的像素值的恢复将标准辉度摄取图像PL#i转换为比标准辉度摄取图像PL#i的动态范围更高的动态范围(其中分配给像素值的位数更大)的摄取图像HD#i并将摄取图像HD#i提供给入射光线再现部36。
应当注意，在饱和像素恢复部33中，具有比标准辉度摄取图像PL#i的动态范围更高的动态范围的摄取图像HD#i不仅可以提供给入射光线再现部36，而且可以提供给视差信息生成部31。
在这种情况下，在视差信息生成部31中，可以使用具有高动态范围的摄取图像HD#i代替标准辉度摄取图像PL#i来执行判定视差信息的图像处理。在使用具有高动态范围的摄取图像HD#i来判定视差信息的情况下，可以更高精度地判定视差信息。
这里，通过饱和像素的像素值的恢复而获得的高动态范围的摄取图像HD#i也称为HDR摄取图像HD#i。
此外，通过基准相机单元211摄取的标准辉度摄取图像PL1和低辉度摄取图像PH1以及HDR摄取图像HD1(由标准辉度摄取图像PL1和低辉度摄取图像PH1获得)以下各自被称为基准图像。
此外，通过周边相机单元21i摄取的标准辉度摄取图像PL#i和低辉度摄取图像PH#i以及HDR摄取图像HD#i(由标准辉度摄取图像PL#i和低辉度摄取图像PH#i获得)以下各自被称为周边图像。
透镜设计数据获取部34获取作为仿真目标的光学透镜的仿真透镜的透镜设计数据并将所获取的透镜设计数据提供给仿真透镜信息生成部37。
这里，透镜设计数据例如存储在存储器(未示出)中或经由因特网从服务器等提供。透镜设计数据获取部34从存储器或经由因特网从服务器获取透镜设计数据并将透镜设计数据提供给仿真透镜信息生成部37。
应当注意，仿真透镜不需要是现有光学透镜，而是可以是实际上不存在的光学透镜。实际上不存在的光学透镜可以是理论上可能存在的光学透镜或者可以是理论上可能不存在的光学透镜。
在采用不存在的光学透镜作为仿真透镜的情况下，例如由操作操作部(未示出)的用户输入仿真透镜的透镜设计数据。透镜设计数据获取部34获取由用户输入的透镜设计数据。
透镜仿真部35执行透镜仿真处理并将通过透镜仿真处理而获得的仿真图像提供给显示装置13(图1)。
在透镜仿真处理中，透镜仿真部35使用从视差信息生成部31提供的视差图(根据需要，包括下文所述的多层视差图)、从饱和像素恢复部33提供的七个视点的摄取图像HD1至HD7和从透镜设计数据获取部34提供的透镜设计数据来生成仿真图像，该仿真图像是在使用仿真透镜来摄取摄像体的图像的情况下可获得的图像。
因此，透镜仿真部35用作执行具有仿真透镜的图像摄取装置(未示出)的仿真的仿真器。
透镜仿真部35包括入射光线再现部36、仿真透镜信息生成部37和聚光处理部38。
入射光线再现部36使用从饱和像素恢复部33提供的七个视点的摄取图像HD1至HD7和从视差信息生成部31提供的视差图来执行从真实空间中的真实空间点再现入射到虚拟透镜的光线(的信息)的入射光线再现处理，作为七个视点的摄取图像HD1至HD7的图像处理，该虚拟透镜是虚拟光学透镜。
这里，虚拟透镜(由入射光线再现部36再现的光线入射到该虚拟透镜)是具有由作为用于摄取提供给入射光线再现部36的七个视点的摄取图像HD1至HD7(PL1至PL7)的多个图像摄取部的相机单元211至217提供的合成孔径的虚拟透镜。
在相机单元211至217被置成例如正六边形(如图2所示)且一个相机单元21i和定位成最靠近相机单元21i的另一个相机单元21j之间的距离是L的情况下，作为虚拟透镜的孔径的合成孔径具有将周边相机单元212至217的光轴相互连接的大致圆形，且具有2L的直径。
入射光线再现部36再现入射到虚拟透镜的光线并将光线提供给聚光处理部38。
仿真透镜信息生成部37使用从视差信息生成部31提供的视差图和从透镜设计数据获取部34提供的透镜设计数据生成仿真透镜信息，该仿真透镜信息定义仿真透镜的特性，即，定义通过仿真透镜的光线，并将仿真透镜信息提供给聚光处理部38。
这里，在以下说明中，仿真透镜信息也被简称为透镜信息。
因为透镜信息具有与仿真透镜的值相等的值，所以它可以成为买卖目标。因为透镜信息是电子数据且容易复制，所以为了防止非法复制，可能需要对透镜信息的使用进行认证。
聚光处理部38使用从视差信息生成部31提供的视差图、从入射光线再现部36提供的光线和从仿真透镜信息生成部37提供的透镜信息来执行通过仿真透镜将光线聚集在虚拟传感器上的(数字)聚光处理，该虚拟传感器是虚拟图像传感器。
然后，聚光处理部38将因聚光处理而获得的仿真图像提供给显示装置13(图1)。
应当注意，可以将图像处理装置12构造为服务器，也可以将图像处理装置12构造为客户端。此外，可以将图像处理装置12构造为服务器-客户端系统。在图像处理装置12被构造为服务器-客户端系统的情况下，可以由服务器构造图像处理装置12中的任意模块或多个模块以及由客户端构造剩余模块。
<图像处理系统的处理>
图4是示出图1的图像处理系统的处理实例的流程图。
在步骤S1中，图像摄取装置11摄取作为多个视点的七个视点的摄取图像PL1至PL7和PH1至PH7。摄取图像PL#i提供给图像处理装置12(图3)的视差信息生成部31和饱和像素恢复部33，以及摄取图像PH#i提供给饱和像素恢复部33。
然后，处理从步骤S1进入到步骤S2，在步骤S2中，视差信息生成部31执行使用从图像摄取装置11提供的摄取图像PL#i来判定视差信息并生成登记视差信息的视差图(包括多层视差图)的视差信息生成处理。
视差信息生成部31将通过视差信息生成处理而获得的视差图提供给构成透镜仿真部35的入射光线再现部36、仿真透镜信息生成部37和聚光处理部38，然后，处理从步骤S2进入到步骤S3。
在步骤S3中，饱和像素恢复部33执行使用从相机单元21i提供的摄取图像PH#i从从相机单元21i提供的摄取图像PL#i的像素当中恢复饱和像素的像素值的饱和像素恢复处理。
饱和像素恢复部33将通过饱和像素恢复处理而获得的高动态范围的摄取图像HD#i提供给入射光线再现部36，然后，处理从步骤S3进入到步骤S4。
在步骤S4中，透镜设计数据获取部34获取仿真透镜的透镜设计数据并将透镜设计数据提供给仿真透镜信息生成部37。
此外，在步骤S4中，仿真透镜信息生成部37执行使用从视差信息生成部31提供的视差图和从透镜设计数据获取部34提供的透镜设计数据来生成仿真透镜的透镜信息的仿真透镜信息生成处理。
仿真透镜信息生成部37将通过仿真透镜信息生成处理而获得的透镜信息提供给聚光处理部38，然后，处理从步骤S4进入到步骤S5。
在步骤S5中，入射光线再现部36执行使用从饱和像素恢复部33提供的七个视点的摄取图像HD1至HD7和从视差信息生成部31提供的视差图从真实空间中的真实空间点再现进入虚拟透镜的光线的入射光线再现处理。
入射光线再现部36将通过入射光线再现处理而获得的光线(的信息)提供给聚光处理部38，然后，处理从步骤S5进入到步骤S6。
在步骤S6中，聚光处理部38使用从视差信息生成部31提供的视差图、从入射光线再现部36提供的光线和从仿真透镜信息生成部37提供的透镜信息来执行通过仿真透镜将光线聚集在虚拟传感器上的聚光处理。
聚光处理部38将因聚光处理而获得的仿真图像提供给显示装置13，然后，处理从步骤S6进入到步骤S7。
在步骤S7中，显示装置13显示来自聚光处理部38的仿真图像。
<视差图的生成>
图5是描绘图3的视差信息生成部31的构造实例的方块图。
参照图5，视差信息生成部31包括基准视差图生成部41和多层视差图生成部42。
从图像摄取装置11提供摄取图像PL1至PL7给基准视差图生成部41。
基准视差图生成部41生成基准视差图，该基准视差图是登记作为来自图像摄取装置11的摄取图像PL1至PL7之一的基准图像PL1与其他摄取图像(周边图像)PL2至PL7的视差的视差图，并将基准视差图提供给多层视差图生成部42。
多层视差图生成部42使用例如来自基准视差图生成部41的基准视差图来生成周边图像PL2至PL7的视差图。
然后，多层视差图生成部42使用基准图像PL1的基准视差图和周边图像PL2至PL7的视差图来生成登记参照基准相机单元211的视点(位置)的视差的多层视差图。
从基准图像PL1的基准视差图、周边图像PL2至PL7的视差图以及多层视差图当中提供必要的视差图或多个视差图给入射光线再现部36、仿真透镜信息生成部37和聚光处理部38(图3)。
图6是示出通过图5的基准视差图生成部41的基准视差图生成实例的视图。
特定地，图6描绘摄取图像PL1至PL7的实例。
图6中，在摄取图像PL1至PL7中，预定物体obj作为前景反射在预定背景的前面。因为摄取图像PL1至PL7的视点彼此不同，所以例如反射在摄取图像PL2至PL7中的物体obj的位置与反射在基准图像PL1中的物体obj的位置偏移了与视点差对应的距离。
基准视差图生成部41相继地选择基准图像PL1的像素作为关注像素，并从其他摄取图像PL2至PL7中的每个摄取图像中(即，从周边图像PL2至PL7中的每个周边图像中)检测与关注像素对应的对应像素(对应点)。
可以采用任意方法作为检测与基准图像PL1的关注像素对应的周边图像PL2至PL7中的每个周边图像的对应像素的方法，诸如，例如区块匹配。
这里，从基准图像PL1的关注像素朝向周边图像PL#i的对应像素的矢量(即，表示关注像素和对应像素之间的位置位移的矢量)被称为视差矢量v#i,1。
基准视差图生成部41判定各个周边图像PL2至Pl7的视差矢量v2,1至v7,1。然后，基准视差图生成部41对视差矢量v2,1至v7,1的大小执行多数票决，并判定在多数票决中获胜的视差矢量v#i,1的大小为关注像素(的位置)的视差。
这里，在摄取基准图像PL1的基准相机单元211和摄取周边图像PL2至PL7的周边相机单元212至217之间的距离在图像摄取装置11中是等距L的情况下，如上参照图2所述，如果反射在基准图像PL1的关注像素处的部分也反射在周边图像PL2至PL7中，那么尽管方向彼此不同，但是具有相同大小的矢量被判定为视差矢量v2,1至v7,1。
特定地，在这种情况下，视差矢量v2,1至v7,1是具有相同大小但具有视周边图像PL2至PL7(的视点)相对于基准相机单元211的位置而定的方向的矢量。
然而，因为摄取图像PL1至PL7具有彼此不同的视点，所以周边图像PL2至PL7可能包括受到遮挡的图像，即，其中反射在基准图像PL1的关注像素处的部分被前景遮住且未被反射。
关于反射在基准图像PL1的关注像素处的部分未被反射的周边图像(以下也称为遮挡图像)，很难检测正确像素作为与关注像素对应的对应像素。
因此，对于遮挡图像PL#i，判定具有与反射在基准图像PL1的关注像素处的部分被反射的周边图像PL#j的视差矢量v#j,1的大小不同的大小的视差矢量v#i,1。
据估计，关于关注像素受到遮挡的图像的数量小于周边图像PL2至PL7中受到遮挡的图像的数量。因此，基准视差图生成部41对视差矢量v2,1至v7,1的大小执行多数票决，如上所述，并判定在多数票决中获胜的视差矢量v#i,1的大小为关注像素的视差。
图6中，三个视差矢量v2,1、v3,1和v7,1是从视差矢量v2,1至v7,1中具有相同大小的矢量。同时，在基准矢量v4,1、v5,1和v6,1中，不存在具有相同大小的视差矢量。
因此，三个视差矢量v2,1、v3,1和v7,1的大小被判定为关注像素的视差。
应当注意，可以从基准相机单元211和周边相机单元21i之间的位置关系来识别基准图像PL1的关注像素与任意周边图像PL#i的视差的方向。
基准视差图生成部41相继地选择基准图像PL1的像素作为关注像素并判定视差。然后，基准视差图生成部41生成登记与基准图像PL1的每个像素的位置(xy坐标)相关联的像素的视差的视差图作为基准视差图。因此，视差图是像素的位置和像素的视差彼此相关联的图(表)。
这里，除了基准图像PL1的视差图(基准视差图)，还可以类似地生成每个周边图像PL#i的视差图。
然而，在周边图像PL#i的视差图生成中，对基于周边图像PL#i和其他摄取图像PL#j中的每个摄取图像PL#j之间的视点关系(相机单元21i和21j之间的位置关系)而调整的视差矢量的大小执行视差矢量的多数票决。
特定地，例如，在将要生成周边图像PL5的视差图的情况下，例如在周边图像PL5和基准图像PL1之间获得的视差矢量具有等于在周边图像PL5和周边图像PL2之间获得的视差矢量两倍的大小。
这是因为，当作为摄取周边图像PL5的周边相机单元215的光轴和摄取基准图像PL1的基准相机单元211的光轴之间的距离的基线长度是距离L时，摄取周边图像PL5的周边相机单元215和摄取周边图像PL2的周边相机单元212之间的基线长度是距离2L。
因此，如果假设例如作为周边相机单元215和基准相机单元211之间的基线长度的距离L被称为基准基线长度，那么在视差矢量的大小被调整为使得基线长度转换为基准基线长度L之后，对视差矢量执行多数票决。
特定地，例如，因为例如摄取周边图像PL5的周边相机单元215和摄取基准图像PL1的基准相机单元211之间的基线长度L等于基准基线长度L，所以在周边图像PL5和基准图像PL1之间获得的视差矢量的大小被调整到一倍。
同时，因为例如摄取周边图像PL5的周边相机单元215和摄取周边图像PL2的周边相机单元212之间的基线长度2L等于基准基线长度L的两倍，所以在周边图像PL5和基准图像PL1之间获得的视差矢量的大小被调整到1/2倍(n倍，其中n是周边相机单元215和周边相机单元212之间的基线长度与基准基线长度之比的值)。
在周边图像PL5和任何其他摄取图像PL#i之间获得的视差矢量的大小也类似地被调整到n倍，其中n是周边相机单元215和任何其他周边相机单元21i之间的基线长度与基准基线长度L之比的值。
然后，使用大小调整后的视差矢量对视差矢量执行多数票决。
应当注意，基准视差图生成部41可以例如以通过图像摄取装置11摄取的摄取图像的像素的精度来判定基准图像PL1(的像素中的每个像素)的视差。此外，可以例如以比通过图像摄取装置11摄取的摄取图像的像素更精确的精度(以下称为子像素精度)(特定地，例如，以1/4像素等的精度)来判定基准图像PL1的视差。
在以子像素精度来判定视差的情况下，在使用视差的处理中，不仅可以照原样使用子像素精度的视差，而且可以通过将子像素精度的视差的小数位向下舍入、向上舍入或舍入对视差进行取整来使用视差。
在本实施例中，以子像素精度来判定视差，除非另有说明，为了便于计算，对具有子像素精度的视差进行取整并使用。
图7是示出周边图像PL#i的视差图生成实例的视图。
周边图像PL#i的视差图不仅可以与基准图像PL1的视差图(基准视差图)类似地生成，而且可以简单且容易地利用基准视差图照原样生成。
多层视差图生成部42(图5)可以利用基准视差图来生成周边图像PL#i的视差图。
图7中，利用基准视差图来生成周边图像PL2和PL5的视差图。
这里，图7中，描绘基准图像PL1及周边图像PL2和PL5以及基准图像PL1及周边图像PL2和PL5的视差图。
像素的视差由阴影表示的视差图和横坐标轴表示像素的水平位置以及纵坐标轴表示视差的视差图的俯视图被示出作为基准图像PL1的视差图(基准视差图)。
这同样也适用于周边图像PL2和PL5的视差图。
当多层视差图生成部42将要利用基准视差图来生成周边图像PL#i的视差图时，通过在随摄取基准图像的相机单元211和摄取周边图像PL#i的周边相机单元21i之间的位置关系而定的方向(该方向以下被称为相机位置关系方向)上的视差来移动登记在基准视差图中的像素的位置处的视差以生成周边图像PL#i的视差图。
例如，当将要生成周边图像PL2的视差图时，判定向左方向为相机位置关系方向，该向左方向是当从摄取周边图像PL2的相机单元212的角度看摄取基准图像的相机单元211时的方向，通过在作为相机位置关系方向的向左方向上的视差来移动登记在基准视差图中的每个像素的位置处的视差以生成周边图像PL2的视差图。
另一方面，例如，当将要生成周边图像PL5的视差图时，判定向右方向作为相机位置关系方向，该向右方向是当从摄取周边图像PL5的相机单元215的角度看摄取基准图像的相机单元211时的方向，通过在作为相机位置关系方向的向右方向上的视差来移动登记在基准视差图中的每个像素的位置处的视差以生成周边图像PL5的视差图。
当以如上所述的这种方式利用基准视差图来生成周边图像PL#i的视差图时，在周边图像PL#i的视差图中，与尽管反射在周边图像PL#i中但是未反射在基准图像PL1中的区域中的像素对应的区域是未登记视差的未登记区域(图7中由斜线表示的部分)。
因此，多层视差图生成部42在利用基准视差图而生成的周边图像PL#i的视差图的未登记区域中插补视差以完成周边图像PL#i的视差图。
图8是示出到周边图像PL#i的视差图的未登记区域中的视差插补的视图。
这里，与图7中类似，在图8中，也描绘基准图像PL1及周边图像PL2和PL5以及基准图像PL1及周边图像PL2和PL5的视差图。
多层视差图生成部42跟随相机位置关系方向的直线，该直线是在相机位置关系方向上从周边图像PL#i的视差图中的未登记区域中的像素沿一个方向和相反方向延伸的直线，并检测在跟随处理中首先到达且是登记视差的像素的视差登记像素。
此外，多层视差图生成部42从相机位置关系方向直线的一个方向上的视差登记像素的视差和相反方向上的视差登记像素的视差之间选择较小视差(与较大距离对应的视差)作为将要用于未登记区域中的像素插补的插补视差。
然后，多层视差图生成部42利用插补视差来插补未登记区域中的像素的视差(将插补视差作为像素的视差登记在未登记区域中)以完成周边图像PL#i的视差图。
图8中，在周边图像PL2的视差图中，登记在与未登记区域(图7)的右侧边界相邻的像素(视差登记像素)处的视差被选定为插补视差，且未登记区域中的像素的视差被插补为插补视差(插补视差作未登记区域中的像素的视差用)。
此外，图8中，在周边图像PL5的视差图中，登记在与未登记区域(图7)的左侧边界相邻的像素(视差登记像素)处的视差被选定为插补视差，且未登记区域中的像素的视差被插补为插补视差。
图9是示出多层视差图生成实例的视图。
这里，与图7和图8中类似，在图9中，也描绘基准图像PL1及周边图像PL2和PL5以及基准图像PL1及周边图像PL2和PL5的视差图。
多层视差图生成部42使用基准图像PL1的基准视差图和周边图像PL2至PL7的视差图(中的一个或多个视差图)来生成多层视差图。
特定地，多层视差图生成部42相继地选择周边图像PL#i的像素作为关注像素并检测与关注像素对应的基准图像的对应像素。
例如，在相机位置关系方向上(这里，在从相机单元211的角度看相机单元21i的方向上)通过登记在周边图像PL#i的视差图的关注像素处的视差从周边图像PL#i的关注像素的位置移动的位置处的基准图像PL1的像素被检测为与周边图像PL#i的关注像素对应的基准图像PL1的对应像素。
然后，周边图像PL#i的关注像素的视差被登记到基准视差图中的基准图像PL1的对应像素中。
在多层视差图的生成中，虽然视差已经登记在基准视差图中的基准图像PL1的对应像素处，但是在周边图像PL#i的关注像素的视差与已经登记在对应像素处的视差不同的情况下，周边图像PL#i的关注像素的视差以其相加到已经登记的视差的这样一种形式进行登记。
如上所述，登记在周边图像PL#i的视差图中的视差以其相加到已经登记的视差的这样一种形式照原样反射在基准视差图中，且反射后的基准视差图是多层视差图。
因此，多层视差图是除可以从基准相机单元211的视点(以下有时称为基准视点)看的区域中的视差外至少登记在隐藏在前景后面无法看到的区域(出现遮挡的区域)中的一部分处的视差的视差图。
在多层视差图中，例如，如与到前景的距离对应的视差和与到隐藏在前景后面从基准视点无法看到的背景的距离对应的视差的多层视差(多个视差)照原样登记在前景的区中的像素处。
图10是示出通过图5的视差信息生成部31生成基准视差图和多层视差图的处理实例的流程图。
在生成基准视差图的基准视差图生成处理中，在步骤S11中，基准视差图生成部41从来自图像摄取装置11的周边图像PL2至PL7当中选择尚未选定为关注图像的一个图像作为关注图像。此后，处理进入到步骤S12。
在步骤S12中，基准视差图生成部41检测关注图像和来自图像摄取装置11的基准图像PL1的每个像素之间的视差矢量v(图6)。此后，处理进入到步骤S13。
在步骤S13中，基准视差图生成部41判定周边图像PL2至PL7是否已经全部被选定为关注图像。
如果在步骤S13中判定周边图像PL2至PL7尚未全部被选定为关注图像，那么处理返回到步骤S11，此后，重复类似处理。
另一方面，如果在步骤S13中判定周边图像PL2至PL7已经全部被选定为关注图像，那么处理进入到步骤S14。
在步骤S14中，基准视差图生成部41对周边图像PL2至PL7就基准图像的每个像素而言的视差矢量v2,1至v7,1执行多数票决，如上参照图6所述，并判定在多数票决中获胜的视差矢量v#i,1的大小为视差。
然后，基准视差图生成部41为基准图像的每个像素生成登记视差的基准视差图，并将基准视差图提供给多层视差图生成部42，从而结束基准视差图生成处理。
在生成多层视差图的多层视差图生成处理中，在步骤S21中，多层视差图生成部42使用来自基准视差图生成部41的基准视差图来生成周边图像PL2至PL7的视差图，如上参照图7所述。此后，处理进入到步骤S22。
在步骤S22中，多层视差图生成部42将视差插补到周边图像PL#i的视差图的未登记区域中，如上参照图8所述，以完成周边图像PL#i的视差图。此后，处理进入到步骤S23。
在步骤S23中，多层视差图生成部42将周边图像PL2至PL7的视差图反射在基准视差图上以生成多层视差图，如上参照图9所述，从而结束多层视差图生成处理。
<饱和像素的恢复>
图11是示意性地描绘通过使用实际光学透镜摄取预定摄像体的图像而获得的实际图像实例的视图。
图11A描绘当焦点设定为全焦点时的实际图像实例。
在图11A的实际图像中，位于后面的电灯泡被反射得比较清晰而不模糊。
图11B描绘当焦点设定为(与光学透镜的主点相距)比较近的位置(例如，相距1m距离)时的实际图像实例。
在图11B的实际图像中，虽然在1m距离处的摄像体(图11中，罐头)被反射得清晰而不模糊，但是在不同距离处的其他摄像体被反射得模糊不清。此外，虽然在图11B的实际图像中，位于后面的电灯泡由于辉度高而模糊，但是它被反射得比较清晰。
图12是描绘通过图3的图像处理装置12获得的仿真图像实例的视图。
图12A描绘当图像处理装置12未执行饱和像素恢复处理时获得的仿真图像的实例。
在图12A的仿真图像中，与在图11B的情况下类似，焦点被设定为近侧位置，，因此，位于后面的电灯泡模糊不清。
然而，虽然在图12A的仿真图像中，位于后面的电灯泡模糊不清，但是与图11B的情况不同，电灯泡不是很清晰。
图12B描绘当图像处理装置12执行饱和像素恢复处理时获得的仿真图像的实例。
在图12B的仿真图像中，与在图11B的情况下类似，焦点被设定为近侧位置，因此，位于后面的电灯泡模糊不清。
此外，在图12B的仿真图像中，与在图11B的情况下类似，位于后面的电灯泡显然模糊不清。
因此，根据饱和像素恢复处理，通过后面执行的仿真处理可以精确地再现实际光学透镜的模糊度。
特定地，根据饱和像素恢复处理，可以再现与使用实际光学透镜来摄取的实际图像的污斑类似的清晰污斑。
图13是示出当未执行饱和像素恢复处理时不再现清晰污斑的原理的视图。
图13A描绘摄像体的光强度实例。
在图13A中，横坐标轴表示构成相机单元21i的图像传感器(未示出)在水平方向上的位置(水平坐标)，纵坐标轴表示从摄像体照射在图像传感器上的光的光强度。
在图13A中，非常高的光强度S0的光照射相机单元21i(的图像传感器)。
图13B描绘当接收到光强度S0的光时从相机单元21i输出的摄取图像的辉度的实例。
在图13B中，横坐标轴表示在从接收光强度S0的光的相机单元21i输出的摄取图像的水平方向上的像素的位置，纵坐标轴表示摄取图像的像素的辉度。
与光强度S0的光对应的辉度超出图像摄取限界辉度THL，该图像摄取限界辉度THL是从相机单元21i可以输出的像素值的最大值，因此，在摄取图像中，发出光强度S0的光的摄像体的辉度被削减(强行限制)到图像摄取限界辉度THL。
这里，与图像摄取限界辉度THL对应的光强度表示为S1(＜S0)。
图13C描绘通过透镜仿真处理而生成的仿真图像实例，在透镜仿真处理中，使用与光强度S0的光对应的辉度被削减到与光强度S1对应的图像摄取限界辉度THL的摄取图像。
在图13C中，横坐标轴表示在仿真图像的水平方向上的像素的位置，纵坐标轴表示仿真图像的像素的辉度。
当在仿真图像的生成中，反射在具有等于与光强度S1对应的图像摄取限界辉度THL的像素值的像素上的摄像体模糊不清时，光强度S1扩散在摄像体被反射的像素的周围，且摄像体的辉度从图像摄取限界辉度THL进一步下降。
如上所述，发出比与图像摄取限界辉度THL对应的光强度S1更高的光强度S0的光的摄像体(例如，电灯泡等)被反射为发出与摄取图像中的图像摄取限界辉度THL对应的光强度S1的光的摄像体。
然后，如果在使用发出与图像摄取限界辉度THL对应的光强度S1的光的摄像体被反射的摄取图像的仿真图像生成中，摄像体模糊不清，那么比原始光强度S0更低的光强度S1扩散，且在摄像体上不会出现清晰度。
图14是示出通过执行饱和像素恢复处理来再现清晰污斑的原理的视图。
图14A描绘当由相机单元21i接收到光强度S0的光时输出的摄取图像的辉度的实例。
图14A中的摄取图像的辉度与图13B中的摄取图像的辉度类似，且发出光强度S0的光的摄像体的辉度被削减到与比光强度S0更低的光强度S1对应的图像摄取限界辉度THL。
图14B描绘饱和像素恢复处理后的摄取图像的辉度的实例。
在饱和像素恢复处理中，通过把与满足表达式S1+S2≈S0的光辉度S2对应的辉度相加到图像摄取限界辉度THL而获得的辉度恢复为具有削减到摄取图像中的图像摄取限界辉度THL的像素值的摄像体的像素值。
因此，在饱和像素恢复处理后的摄取图像中，像素值被削减到图像摄取限界辉度THL的像素具有基本上与原始光强度S0≈S1+S2对应的辉度作为像素值。
图14C描绘使用饱和像素恢复处理后的摄取图像来生成仿真图像的实例。
在图14C中，横坐标轴表示在仿真图像的水平方向上的像素的位置，纵坐标轴表示仿真图像的像素的辉度。
当在仿真图像的生成中，反射在具有与光强度S1+S2对应的辉度作为像素值的像素上的摄像体模糊不清时，虽然光强度S1+S2扩散在摄像体被反射的像素的周围，但是因为光强度S1+S2非常高，所以即使光强度S1+S2扩散，摄像体的辉度也比当未执行饱和像素恢复处理时摄像体的辉度更高。
如上所述，根据饱和像素恢复处理，发出高光强度S0的光且像素值被削减到图像摄取限界辉度THL的摄像体(例如，电灯泡等)的辉度恢复到(基本上)与原始高光强度S0对应的辉度。
然后，当在使用与如上所述的这种高光强度S0对应的辉度的摄像体被反射的摄取图像的仿真图像生成(透镜仿真处理)中，摄像体模糊不清时，在摄像体上出现清晰污斑。
因此，可以再现与使用实际光学透镜来摄取的实际图像中的清晰污斑类似的清晰污斑。
这里，饱和像素恢复部33使用从相机单元21i提供的低辉度摄取图像PH#i来执行饱和像素恢复处理，如上参照图3所述，通过饱和像素恢复处理，从从相机单元21i提供的标准辉度摄取图像PL#i当中恢复像素值饱和的饱和像素的像素值。
标准辉度摄取图像PL#i的像素的像素值饱和表示标准辉度摄取图像PL#i的像素的像素值被削减到图像摄取限界辉度THL或标准辉度摄取图像PL#i的像素的像素值接近图像摄取限界辉度THL，如上参照图13和图14所述。
此外，在饱和像素恢复处理中，需要标准辉度摄取图像PL#i和低辉度摄取图像PH#i，同一摄像体被反射在标准辉度摄取图像PL#i和低辉度摄取图像PH#i两者中。可以采用任意方法作为获取标准辉度摄取图像PL#i和低辉度摄取图像PH#i的方法，同一摄像体被反射在标准辉度摄取图像PL#i和低辉度摄取图像PH#i两者中。
下文中，对第一获取方法、第二获取方法和第三获取方法作为获取标准辉度摄取图像PL#i和低辉度摄取图像PH#i的方法进行说明，同一摄像体被反射在标准辉度摄取图像PL#i和低辉度摄取图像PH#i两者中。
应当注意，作为饱和像素恢复处理的目标的摄取图像是RAW数据的图像或优选地是伽马校正前的去马赛克图像以保持辉度的线性。
图15是示出获取标准辉度摄取图像PL#i和低辉度摄取图像PH#i的第一获取方法的视图。
在第一获取方法中，在短时间周期内与对于构成图像摄取装置11的相机单元211至217中的所有相机单元改变曝光时间周期(快门速度)同时执行多次(诸如两次)图像摄取。
特定地，在第一获取方法中，由构成图像摄取装置11的相机单元211至217中的所有相机单元相继地执行在标准曝光时间周期(根据图像摄取估计为合适的曝光时间周期，例如通过自动曝光功能等来设定)内的图像摄取和在比标准曝光时间周期更短的曝光时间周期内的图像摄取。
在标准曝光时间周期内摄取的每个摄取图像是标准辉度摄取图像PL#i，以及在比标准曝光时间周期更短的曝光时间周期内摄取的每个摄取图像是低辉度摄取图像PH#i。
因此，通过第一获取方法获得的标准辉度摄取图像PL#i和低辉度摄取图像PH#i是在彼此不同的时间摄取的图像。
现在，如果标准曝光时间周期被表示为X(秒)，那么可以采用例如X/16(秒)等作为比标准曝光时间周期X更短的低辉度摄取图像PH#i的曝光时间周期。
图15分别描绘通过相机单元211、212和215摄取的标准辉度摄取图像PL1、PL2和PL5及低辉度摄取图像PH1、PH2和PH5的实例。
因为低辉度摄取图像PH#i的曝光时间周期比标准辉度摄取图像PL#i的标准曝光时间周期短，所以低辉度摄取图像PH#i中的摄像体被反射得比标准辉度摄取图像PL#i中的摄像体更暗。
图16是描绘图3的饱和像素恢复部33的第一构造实例的方块图。
特定地，图16描绘在通过第一获取方法来获取标准辉度摄取图像PL#i和低辉度摄取图像PH#i的情况下饱和像素恢复部33的构造实例。
参照图16，饱和像素恢复部33包括饱和判定部51和恢复部52。
从图像摄取装置11(图1)提供标准辉度摄取图像PL#i给饱和判定部51。
饱和判定部51执行判定来自图像摄取装置11的标准辉度摄取图像PL#i的像素中的每个像素是否是饱和像素的饱和判定并将饱和判定的判定结果提供给恢复部52。
除了来自饱和判定部51的饱和判定的判定结果，从图像摄取装置11还提供标准辉度摄取图像PL#i和低辉度摄取图像PH#i给恢复部52。
响应于来自饱和判定部51的饱和判定的判定结果(饱和判定结果)，恢复部52从来自图像摄取装置11的标准辉度摄取图像PL#i当中指定饱和像素。
此外，恢复部52根据需要使用来自图像摄取装置11的低辉度摄取图像PH#i来恢复每个饱和像素的像素值并将比标准辉度摄取图像PL#i的动态范围更高的动态范围的HDR摄取图像HD#i提供给入射光线再现部36(图3)，HDR摄取图像HD#i通过恢复而获得。
图17是示出由图16的饱和像素恢复部33执行的饱和像素恢复处理实例的流程图。
在步骤S31中，饱和判定部51从七个相机单元211至217的视点(位置)当中选择尚未选定为关注视点的一个视点作为关注视点。此后，处理进入到步骤S32。
在步骤S32中，饱和判定部51从从图像摄取装置11提供的七个视点的标准辉度摄取图像PL1至PL7当中从关注视点的标准辉度摄取图像PL#i的像素当中选择尚未选定为关注像素的一个像素作为关注像素。此后，处理进入到步骤S33。
在步骤S33中，饱和判定部51执行作为关注视点的标准辉度摄取图像PL#i的关注像素的像素值的标准像素值是否等于或高于预定阈值TH1的饱和判定。
如果在步骤S33中判定关注视点的标准辉度摄取图像PL#i的关注像素的标准像素值不是等于或高于阈值TH1，即，如果关注视点的标准辉度摄取图像PL#i的关注像素的标准像素值不是饱和状态，那么饱和判定部51将标准像素值不是饱和状态的饱和判定结果提供给恢复部52。然后，处理进入到步骤S34。
在步骤S34中，响应于来自饱和判定部51的标准像素值不是饱和状态的饱和判定结果，恢复部52选择来自图像摄取装置11的关注视点的标准辉度摄取图像PL#i的关注像素的标准像素值作为关注视点的HDR摄取图像HD#i中的关注像素的位置处的像素的像素值(关注像素的位置处的像素以下也称为关注像素)。此后，处理进入到步骤S37。
另一方面，如果在步骤S33中判定关注视点的标准辉度摄取图像PL#i的关注像素的标准像素值等于或高于阈值TH1，即，如果关注视点的标准辉度摄取图像PL#i的关注像素的标准像素值是饱和状态或这种饱和的可能性高，那么饱和判定部51将标准像素值是饱和状态的饱和判定结果提供给恢复部52。然后，处理进入到步骤S35。
在步骤S35中，响应于来自饱和判定部51的标准像素值是饱和状态的饱和判定结果，恢复部52判定作为来自图像摄取装置11的关注视点的低辉度摄取图像PH#i的关注像素的位置处的像素的像素值(关注像素的位置处的像素也称为关注像素)的低辉度像素值是否等于或高于预定阈值TH2，阈值TH2低于阈值TH1。
如果在步骤S35中判定关注视点的低辉度摄取图像PH#i的关注像素的低辉度像素值不是等于或高于阈值TH2，即，如果关注视点的低辉度摄取图像PH#i的关注像素的低辉度像素值低且低辉度像素值可能是噪声的可能性高，那么处理进入到步骤S34。
在步骤S34中，恢复部52选择关注视点的标准辉度摄取图像PL#i的关注像素的标准像素值作为关注视点的HDR摄取图像HD#i的关注像素的像素值，如上所述。然后，处理进入到步骤S37。
另一方面，如果在步骤S35中判定关注视点的低辉度摄取图像PH#i的关注像素的低辉度像素值等于或高于阈值TH2，即，如果关注视点的低辉度摄取图像PH#i的关注像素的低辉度像素值是某个电平的值，利用该电平可以认为低辉度像素值不是噪声，那么处理进入到步骤S36。
在步骤S36中，恢复部52将关注视点的低辉度摄取图像PH#i的关注像素的低辉度像素值乘以预定数值并判定所得像素值为从饱和像素恢复的恢复像素值。此外，恢复部52选择恢复像素值作为关注视点的HDR摄取图像HD#i的关注像素的像素值。然后，处理从步骤S36进入到步骤S37。
这里，采用标准辉度摄取图像PL#i的曝光时间周期(标准曝光时间周期)和低辉度摄取图像PH#i的曝光时间周期之比的值作为当将要判定恢复像素值时使用的预定倍数(以下称为恢复增益)。
因此，例如，如上参照图15所述，在标准曝光时间周期为X(秒)以及低辉度摄取图像PH#i的曝光时间周期为X/16(秒)的情况下，恢复增益为16＝X/(X/16)倍。
在步骤S37中，饱和判定部51判定关注视点的标准辉度摄取图像PL#i的像素是否已经全部被选定为关注像素。
如果在步骤S37中判定关注视点的标准辉度摄取图像PL#i的像素尚未全部被选定为关注像素，那么处理返回到步骤S32，然后重复类似处理。
另一方面，如果在步骤S37中判定关注视点的标准辉度摄取图像PL#i的像素已经全部被选定为关注像素，那么处理进入到步骤S38。
在步骤S38中，饱和判定部51判定七个视点是否已经全部被选定为关注视点。
如果在步骤S38中判定七个视点尚未全部被选定为关注视点，那么处理返回到步骤S31，此后，重复类似处理。
另一方面，如果在步骤S38中判定七个视点已经全部被选定为关注视点，那么恢复部52将通过上述处理而获得的七个视点的HDR摄取图像HD1至HD7提供给入射光线再现部36(图3)，从而结束饱和像素恢复处理。
应当注意，可以采用曝光时间周期比标准曝光时间周期短的第一低辉度摄取图像和曝光时间周期比第一低辉度摄取图像的曝光时间周期更短的第二低辉度摄取图像作为低辉度摄取图像PH#i。
在第一获取方法中，图像摄取装置11可以通过相继地执行三次图像摄取(改变曝光时间周期)来获取标准辉度摄取图像PL#i、第一低辉度摄取图像和第二低辉度摄取图像。
第二低辉度摄取图像可以用来在标准辉度摄取图像的像素值是饱和状态以及第一低辉度摄取图像的像素值也是饱和状态的情况下恢复像素值是饱和状态的饱和像素。
图18是描绘饱和像素恢复部33的第二构造实例的方块图。
特定地，图18描绘在通过第二获取方法来获取标准辉度摄取图像PL#i和低辉度摄取图像PH#i的情况下饱和像素恢复部33的构造实例，同一摄像体被反射在标准辉度摄取图像PL#i和低辉度摄取图像PH#i两者中。
应当注意，图18中，与图16中的元件相同的元件用相同附图标记表示，并在以下说明中适当地省略对相同元件的说明。
在第二获取方法中，构成图像摄取装置11的相机单元211至217全部执行在短时间周期内以比标准曝光时间周期更短的固定曝光时间周期执行多次图像摄取的高速图像摄取。
此外，在第二获取方法中，从通过相机单元21i的高速图像摄取而获得的多个高速摄取图像当中添加不同数量的高速摄取图像以生成(获取)标准辉度摄取图像PL#i和低辉度摄取图像PH#i。
例如，在高速图像摄取的曝光时间周期为1/4000秒的情况下，如果标准辉度摄取图像PL#i的曝光时间周期(标准曝光时间周期)设定为1/60秒以及低辉度摄取图像PH#i的曝光时间周期设定为1/1000秒，那么可以以以下方式生成标准辉度摄取图像PL#i和低辉度摄取图像PH#i。
特定地，可以通过添加66个或67个高速摄取图像来生成标准辉度摄取图像PL#i。同时，可以通过添加四个高速摄取图像来生成低辉度摄取图像PH#i。
图18中，假设从图像摄取装置11提供高速摄取图像，饱和像素恢复部33通过第二获取方法从高速摄取图像获取(生成)标准辉度摄取图像PL#i和低辉度摄取图像PH#i。然后，饱和像素恢复部33使用标准辉度摄取图像PL#i和低辉度摄取图像PH#i来执行饱和像素恢复处理。
特定地，参照图18，饱和像素恢复部33包括饱和判定部51、恢复部52、标准辉度摄取图像生成部61和低辉度摄取图像生成部62。
因此，图18中的饱和像素恢复部33与图16中的饱和像素恢复部33的共同点在于饱和像素恢复部33包括饱和判定部51和恢复部52。
然而，图18中的饱和像素恢复部33与图16中的饱和像素恢复部33的不同点在于图18中的饱和像素恢复部33包括标准辉度摄取图像生成部61和低辉度摄取图像生成部62。
从图像摄取装置11提供通过高速图像摄取而获得的七个视点的高速摄取图像给标准辉度摄取图像生成部61和低辉度摄取图像生成部62。
标准辉度摄取图像生成部61为七个视点中的每个视点添加来自图像摄取装置11的预定数量的高速摄取图像以生成标准辉度摄取图像PL#i并将标准辉度摄取图像PL#i提供给饱和判定部51和恢复部52。
低辉度摄取图像生成部62为七个视点中的每个视点添加来自图像摄取装置11的比通过标准辉度摄取图像生成部61添加的高速摄取图像数量更少数量的高速摄取图像以生成低辉度摄取图像PH#i并将低辉度摄取图像PH#i提供给饱和判定部51和恢复部52。
图19是示出由图18的饱和像素恢复部33执行的饱和像素恢复处理实例的流程图。
在步骤S41中，标准辉度摄取图像生成部61为七个视点中的每个视点添加来自图像摄取装置11的高速摄取图像以生成标准辉度摄取图像PL#i并将标准辉度摄取图像PL#i提供给饱和判定部51和恢复部52。
此外，在步骤S41中，低辉度摄取图像生成部62为七个视点中的每个视点添加来自图像摄取装置11的高速摄取图像以生成低辉度摄取图像PH#i并将低辉度摄取图像PH#i提供给饱和判定部51和恢复部52。
然后，处理从步骤S41进入到步骤S42，此后，分别在步骤S42至步骤S49中执行与在图17的步骤S31至S38中的处理类似的处理。
图20是描绘图像摄取装置11的另一个构造实例的俯视图。
特定地，图20描绘在通过第三获取方法来获取标准辉度摄取图像PL#i和低辉度摄取图像PH#i的情况下图像摄取装置11的构造实例，同一摄像体被反射在标准辉度摄取图像PL#i和低辉度摄取图像PH#i两者中。
图20中，图像摄取装置11由19个相机单元构成。
特定地，图20中，一个相机单元被设定为基准相机单元，以及五个相机单元以基准相机单元为中心置于水平方向上。
此外，并置在水平方向上的四个相机单元分别置于以基准相机单元为中心的五个相机单元的上方和下方。
此外，并置在水平方向上的三个相机单元置于以基准相机单元为中心的五个相机单元的上侧的四个相机单元的上方。
此外，并置在水平方向上的三个相机单元置于以基准相机单元为中心的五个相机单元的下侧的四个相机单元的下方。
此外，图20中，从构成图像摄取装置11的19个相机单元当中，在基准相机单元的左上侧、左下侧、右上侧和右下侧相邻的四个相机单元是具有中灰(ND)滤光片的相机单元，ND滤光片安装在四个相机单元中的每个相机单元上。
这里，在以下说明中，未安装ND滤光片的每个相机单元被称为普通相机单元。
参照图20，参考符号U1表示普通相机单元，U2表示具有ND滤光片的相机单元。
虽然根据第一获取方法和第二获取方法，执行多次图像摄取以获取反射同一摄像体但曝光时间周期彼此不同的标准辉度摄取图像PL#i和低辉度摄取图像PH#i，但是根据第三获取方法，通过单次图像摄取(单拍图像摄取)来获取标准辉度摄取图像PL#i和低辉度摄取图像PH#i。
特定地，在第三获取方法中，图像摄取装置11的15＝19-4个普通相机单元U1和具有ND滤光片的四个相机单元U2执行例如标准曝光时间周期的图像摄取。
通过执行标准曝光时间周期的图像摄取的普通相机单元U1，可以获取标准曝光时间周期的标准辉度摄取图像。
另一方面，现在假设通过具有ND滤光片的四个相机单元U2经由ND滤光片观察到的光的辉度是例如当未间置ND滤光片时的辉度的1/16、1/256、1/4096和1/65536。换言之，具有ND滤光片的四个相机单元U2的灵敏度是普通相机单元U1的灵敏度的1/16、1/256、1/4096和1/65536。
在这种情况下，当通过具有ND滤光片的四个相机单元U2执行标准曝光时间周期的图像摄取时，可以获取相当于标准曝光时间周期的1/16、1/256、1/4096和1/65536的曝光时间周期的第一低辉度摄取图像、第二低辉度摄取图像、第三低辉度摄取图像和第四低辉度摄取图像。
因此，通过第三获取方法而获得的标准辉度摄取图像和第一低辉度摄取图像至第四低辉度摄取图像是在同一时间摄取但灵敏度彼此不同的不同视点的图像。
图21是描绘饱和像素恢复部33的第三构造实例的方块图。
特定地，图21描绘在通过第三获取方法来获取标准辉度摄取图像和低辉度摄取图像的情况下饱和像素恢复部33的构造实例，同一摄像体被反射在标准辉度摄取图像和低辉度摄取图像两者中。
参照图21，饱和像素恢复部33包括视差信息获取部71、标准辉度摄取图像生成部72、低辉度摄取图像生成部73、饱和判定部74和恢复部75。
视差信息获取部71获取通过构成图像摄取装置11(图20)的19个视点的(19)相机单元摄取的各个摄取图像(标准辉度摄取图像和第一低辉度摄取图像至第四低辉度摄取图像)的视差图并将视差图提供给标准辉度摄取图像生成部72和低辉度摄取图像生成部73。
视差信息获取部71可以以与在视差信息生成部31(图3)的情况下类似的方式使用通过19个视点的相机单元摄取的各个摄取图像来生成通过19个视点的相机单元摄取的摄取图像的视差图。可选择地，视差信息获取部71可以从视差信息生成部31获取通过19个视点的相机单元摄取的摄取图像的视差图。
从视差信息获取部71提供视差图给标准辉度摄取图像生成部72，以及还从图像摄取装置11提供通过15个视点的普通相机单元U1摄取的标准辉度摄取图像给标准辉度摄取图像生成部72。
标准辉度摄取图像生成部72使用来自图像摄取装置11的15个普通相机单元U1的15个视点(每个视点以下也称为普通相机视点)的标准辉度摄取图像和来自视差信息获取部71的视差图来生成具有ND滤光片的四个相机单元U2的四个视点(每个视点以下也称为ND相机视点)的标准辉度摄取图像并将所生成的标准辉度摄取图像与来自图像摄取装置11的15个普通相机视点的标准辉度摄取图像一起提供给饱和判定部74和恢复部75。
特定地，标准辉度摄取图像生成部72相继地选择ND相机视点的(第一至第四)低辉度摄取图像的像素作为关注像素并参照来自视差信息获取部71的视差图来检测与关注像素对应的普通相机视点的标准辉度摄取图像的对应像素。然后，标准辉度摄取图像生成部72采用普通相机视点的标准辉度摄取图像的对应像素的像素值作为ND相机视点的标准辉度摄取图像的关注像素的像素值以生成ND相机视点的标准辉度摄取图像。
应当注意，可以从15个普通相机视点的标准辉度摄取图像检测与ND相机视点的低辉度摄取图像的关注像素对应的对应像素。
可以从分别从15个普通相机视点的标准辉度摄取图像检测到的15个对应像素当中采用例如基准相机单元(在19个相机单元的中心的相机单元)的标准辉度摄取图像的对应像素的像素值作为ND相机视点的普通辉度摄取图像的关注像素的像素值。
此外，可以从从15个普通相机视点的标准辉度摄取图像中的每个标准辉度摄取图像检测到的15个对应像素当中采用在具有彼此接近的像素值的多组对应像素当中例如对应像素的数量最大的一组对应像素的像素值的平均值作为ND相机视点的普通辉度摄取图像的关注像素的像素值。
不仅从视差信息获取部71提供视差图给低辉度摄取图像生成部73，而且也从图像摄取装置11提供通过四个ND相机视点的具有ND滤光片的相机单元U2摄取的第一低辉度摄取图像至第四低辉度摄取图像给低辉度摄取图像生成部73。
低辉度摄取图像生成部73使用来自图像摄取装置11的四个ND相机视点的第一低辉度摄取图像至第四低辉度摄取图像和来自视差信息获取部71的视差图来生成15个普通相机视点的第一低辉度摄取图像至第四低辉度摄取图像并将所生成的第一低辉度摄取图像至第四低辉度摄取图像与来自图像摄取装置11的四个ND相机视点的第一低辉度摄取图像至第四低辉度摄取图像一起提供给恢复部75。
特定地，低辉度摄取图像生成部73相继地选择每个普通相机视点的标准辉度摄取图像的像素作为关注像素并参照来自视差信息获取部71的视差图来检测与关注像素对应的ND相机视点的第一低辉度摄取图像至第四低辉度摄取图像中的每个低辉度摄取图像的对应像素。然后，低辉度摄取图像生成部73采用ND相机视点的第一低辉度摄取图像至第四低辉度摄取图像的对应像素的像素值作为普通相机视点的第一低辉度摄取图像至第四低辉度摄取图像的关注像素的像素值以生成普通相机视点的第一低辉度摄取图像至第四低辉度摄取图像。
如上所述，标准辉度摄取图像生成部72生成四个ND相机视点的标准辉度摄取图像，低辉度摄取图像生成部73生成15个普通相机视点的第一低辉度摄取图像至第四低辉度摄取图像。因此，从构成图像摄取装置11(图20)的19个相机单元的19个视点可以获得标准辉度摄取图像和第一低辉度摄取图像至第四低辉度摄取图像。
应当注意，虽然在本实施例中，为了便于说明，预先生成四个ND相机视点的标准辉度摄取图像和15个普通相机视点的第一低辉度摄取图像至第四低辉度摄取图像，但是可以必要时为需要四个ND相机视点的标准辉度摄取图像的像素值和15个普通相机视点的第一低辉度摄取图像至第四低辉度摄取图像的像素值的像素或多个像素生成这种像素值。
饱和判定部74执行判定来自标准辉度摄取图像生成部72的19个视点的标准辉度摄取图像的每个像素是否是饱和像素的饱和判定并将饱和判定的判定结果(饱和判定结果)提供给恢复部75。
从饱和判定部74提供饱和判定的判定结果给恢复部75，如上所述。此外，从标准辉度摄取图像生成部72提供19个视点的标准辉度摄取图像给恢复部75，以及从低辉度摄取图像生成部73提供19个视点的第一低辉度摄取图像至第四低辉度摄取图像给恢复部75，如上所述。
此外，例如从图20中的图像摄取装置11提供第一低辉度摄取图像至第四低辉度摄取图像的恢复增益给恢复部75。
这里，第一低辉度摄取图像的恢复增益是如上参照图17所述的恢复增益，该恢复增益被用来使用第一低辉度摄取图像来执行饱和像素的恢复。
因此，第一低辉度摄取图像的恢复增益是标准辉度摄取图像的曝光时间周期(标准曝光时间周期)和第一低辉度摄取图像的曝光时间周期之比的值。
例如，如果第一低辉度摄取图像的曝光时间周期(相当于)是标准曝光时间周期的1/16倍，如上参照图20所述，那么第一低辉度摄取图像的恢复增益是16＝1/(1/16)倍。
与第一低辉度摄取图像的恢复增益类似地，还可以判定第二低辉度摄取图像至第四低辉度摄取图像的恢复增益。
响应于来自饱和判定部74的饱和判定结果，恢复部75为来自标准辉度摄取图像生成部72的19个视点的标准辉度摄取图像中的每个标准辉度摄取图像指定饱和像素。
此外，恢复部75根据需要使用来自低辉度摄取图像生成部73的第一低辉度摄取图像至第四低辉度摄取图像的恢复增益和来自图像摄取装置11(图20)的第一低辉度摄取图像至第四低辉度摄取图像的恢复增益来恢复饱和像素的像素值并将比标准辉度摄取图像的动态范围更高的动态范围的HDR摄取图像提供给入射光线再现部36(图3)，HDR摄取图像通过恢复而获得。
图22是示出视差图的视差校正实例的视图。
在图21的饱和像素恢复部33中，标准辉度摄取图像生成部72参照通过视差信息获取部71获取的视差图来检测与ND相机视点的低辉度摄取图像的关注像素对应的普通相机视点的标准辉度摄取图像的对应像素。此外，低辉度摄取图像生成部73参照通过视差信息获取部71获取的视差图来检测与普通相机视点的标准辉度摄取图像的关注像素对应的ND相机视点的(第一至第四)低辉度摄取图像的对应像素。
根据需要对登记在当如上所述将要通过标准辉度摄取图像生成部72和低辉度摄取图像生成部73来检测与一个视点的关注像素对应的另一个视点的图像的对应像素时参照的视差图中的视差进行校正。
这里，为了简化说明，假设图像摄取装置11由并置在水平方向上的三个相机单元Ua、Ub和Uc构成，如图22所示。
此外，假设例如从三个相机单元Ua、Ub和Uc当中判定最左侧的相机单元Ua为基准相机单元，该基准相机单元摄取将要生成多层视差图的目标的基准图像。
此外，假设基准相机单元Ua和最右侧的相机单元Uc是普通相机单元，以及中央相机单元Ub是具有ND滤光片的相机单元。基准相机单元Ua和普通相机单元Uc摄取标准辉度摄取图像，以及具有ND滤光片的相机单元Ub摄取低辉度摄取图像。
这里，通过基准相机单元Ua摄取的标准辉度摄取图像被称为基准图像Ua或标准辉度摄取图像Ua。同时，通过具有ND滤光片的相机单元Ub摄取的低辉度摄取图像也被称为低辉度摄取图像Ub。此外，通过普通相机单元Uc摄取的标准辉度摄取图像也被称为标准辉度摄取图像Uc。
现在，假设视差信息获取部71使用基准相机单元Ua和普通相机单元Uc之间的基线长度(光轴之间的距离)作为基准基线长度来生成通过基准相机单元Ua摄取的标准辉度摄取图像(基准图像)的视差图(基准视差图)。
可以简单且容易地利用基准视差图来生成除基准相机单元Ua的视点(基准视点)以外的视点的视差图(即，例如通过普通相机单元Uc摄取的标准辉度摄取图像Uc的视差图)，如上参照图7和图8所述。
特定地，通过在基准视差图上将登记在随基准相机单元Ua和普通相机单元Uc之间的位置关系而定的相机位置关系方向上的每个像素的位置处的视差移动了等于视差的距离，如上参照图7所述，然后在未登记区域中插补插补视差，如上参照图8所述，可以生成通过普通相机单元Uc摄取的标准辉度摄取图像Uc的视差图。
利用基准视差图而生成且登记在标准辉度摄取图像Uc的视差图中的视差是与间隔了基准基线长度的两个点有关的视差，该基准基线长度是基准相机单元Ua和普通相机单元Uc之间的基线长度。
因此，当将要检测与标准辉度摄取图像Uc的关注像素对应的低辉度摄取图像Ub的对应像素时，对登记在标准辉度摄取图像Uc的视差图中的视差进行校正以变为与彼此间隔了在摄取标准辉度摄取图像Uc的普通相机单元Uc和摄取低辉度摄取图像Ub的具有ND滤光片的相机单元Ub之间的基线长度的两个点有关的视差。
特定地，现在，如果假设作为基准相机单元Ua和普通相机单元Uc之间的基线长度的基准基线长度由ac表示，以及具有ND滤光片的相机单元Ub和普通相机单元Uc之间的基线长度由bc表示，那么对登记在标准辉度摄取图像Uc的视差图中的视差进行校正以便乘以基线长度bc和基准基线长度ac之比的值bc/ac。
例如，假设基准相机单元Ua和具有ND滤光片的相机单元Ub之间的基线长度ab以及具有ND滤光片的相机单元Ub和普通相机单元Uc之间的基线长度bc都为5mm。
在这种情况下，作为基准相机单元Ua和普通相机单元Uc之间的基线长度ac的基准基线长度为10mm。
现在，如果假设利用基准视差图而生成且登记在标准辉度摄取图像Uc的视差图中的视差例如为10(像素)，那么10的视差乘以基线长度bc＝5mm和基准基线长度ac＝10mm之比的值5/10并校正为5的视差。
然后，在从关注像素的位置偏移了5的视差的位置处的低辉度摄取图像Ub的像素被检测为与标准辉度摄取图像Uc的关注像素对应的低辉度摄取图像Ub的对应像素。
图23是示出由图21的饱和像素恢复部33执行的饱和像素恢复处理实例的流程图。
在步骤S61中，视差信息获取部71获取通过构成图像摄取装置11(图20)的19个视点的相机单元摄取的摄取图像(标准辉度摄取图像和第一低辉度摄取图像至第四低辉度摄取图像)的视差图并将视差图提供给标准辉度摄取图像生成部72和低辉度摄取图像生成部73。
此外，在步骤S61中，标准辉度摄取图像生成部72从构成图像摄取装置11(图20)的19个视点的相机单元当中使用15个普通相机视点的标准辉度摄取图像及来自视差信息获取部71的视差图来生成四个ND相机视点的标准辉度摄取图像并将所生成的标准辉度摄取图像与15个普通相机视点的标准辉度摄取图像一起提供给饱和判定部74和恢复部75。
此外，在步骤S61中，低辉度摄取图像生成部73使用来自图像摄取装置11的四个ND相机视点的第一低辉度摄取图像至第四低辉度摄取图像和来自视差信息获取部71的视差图来生成15个普通相机视点的第一低辉度摄取图像至第四低辉度摄取图像并将所生成的第一低辉度摄取图像至第四低辉度摄取图像与四个ND相机视点的第一低辉度摄取图像至第四低辉度摄取图像一起提供给恢复部75。
然后，处理从步骤S61进入到步骤S62，在步骤S62中，饱和判定部74从构成图像摄取装置11(图20)的19个相机单元的19个视点当中选择尚未选定为关注视点的一个视点作为关注视点。此后，处理进入到步骤S63。
在步骤S63中，饱和判定部74从从标准辉度摄取图像生成部72提供的19个视点的标准辉度摄取图像当中从关注视点的标准辉度摄取图像的像素当中选择尚未选定为关注像素的一个像素作为关注像素。此后，处理进入到步骤S64。
在步骤S64中，执行获取关注视点的HDR摄取图像的关注像素(在与关注视点的标准辉度摄取图像的关注像素的位置相同的位置处的像素)的像素值的处理。然后，处理进入到步骤S65。
在步骤S65中，饱和判定部74判定关注视点的标准辉度摄取图像的像素是否已经全部被选定为关注像素。
如果在步骤S65中判定关注视点的标准辉度摄取图像的像素尚未全部被选定为关注像素，那么处理返回到步骤S63，此后，重复类似处理。
另一方面，如果在步骤S65中判定关注视点的标准辉度摄取图像的像素已经全部被选定为关注像素，那么处理进入到步骤S66。
在步骤S66中，饱和判定部74判定构成图像摄取装置11(图20)的19个相机单元的19个视点是否已经全部被选定为关注视点。
如果在步骤S66中判定19个视点尚未全部被选定为关注视点，那么处理返回到步骤S62，此后，重复类似处理。
另一方面，如果在步骤S66中判定19个视点已经全部被选定为关注视点，那么恢复部52将通过上述处理而获得的19个视点的HDR摄取图像提供给入射光线再现部36(图3)，从而结束饱和像素恢复处理。
应当注意，虽然在图23中，对于构成图像摄取装置11的19个相机单元的19个视点全部执行饱和像素恢复处理，但是可以只对于19个视点当中的15个普通相机视点执行饱和像素恢复处理。
在这种情况下，通过饱和像素恢复处理而获得的HDR摄取图像不是19个视点的HDR摄取图像，而是15个普通相机视点的HDR摄取图像，可以在未设置标准辉度摄取图像生成部72的情况下构造图21的饱和像素恢复部33。
图24是示出在图23的步骤S64中执行的获取关注视点的HDR摄取图像的关注像素的像素值的处理实例的流程图。
在步骤S71中，饱和判定部74获取来自标准辉度摄取图像生成部72的关注视点的标准辉度摄取图像的关注像素的像素值作为关注像素的标准像素值。然后，处理进入到步骤S72。
在步骤S72中，饱和判定部74执行关注视点的标准辉度摄取图像的关注像素的标准像素值是否等于或高于阈值TH1的饱和判定。
如果在步骤S72中判定关注视点的标准辉度摄取图像的关注像素的标准像素值不是等于或高于阈值TH1，即，如果关注视点的标准辉度摄取图像的关注像素的标准像素值不是饱和状态，那么饱和判定部74将标准像素值不是饱和状态的饱和判定结果提供给恢复部75(图21)。然后，处理进入到步骤S73。
在步骤S73中，响应于来自饱和判定部74的标准像素值不是饱和状态的饱和判定结果，恢复部75选择来自标准辉度摄取图像生成部72的关注视点的标准辉度摄取图像的关注像素的标准像素值作为关注视点的HDR摄取图像的关注像素(在与关注视点的标准辉度摄取图像的关注像素的位置相同的位置处的像素)的像素值。此后，处理返回。
另一方面，如果在步骤S72中判定关注视点的标准辉度摄取图像的关注像素的标准像素值等于或高于阈值TH1，即，如果关注视点的标准辉度摄取图像的关注像素的标准像素值是饱和状态或可能很有可能是饱和状态，那么饱和判定部74将标准像素值是饱和状态的饱和判定结果提供给恢复部75。然后，处理进入到步骤S74。
在步骤S74中，响应于来自饱和判定部74的标准像素值是饱和状态的饱和判定结果，恢复部75获取来自低辉度摄取图像生成部73的关注视点的各个第一低辉度摄取图像至第四低辉度摄取图像的关注像素(在与关注视点的标准辉度摄取图像的关注像素的位置相同的位置处的像素)的像素值作为关注像素的第一低辉度像素值v1至第四低辉度像素值v4。
此外，恢复部75获取来自图像摄取装置11的第一低辉度摄取图像至第四低辉度摄取图像的恢复增益g1至g4。然后，处理从步骤S74进入到步骤S75。
在步骤S75中，恢复部75判定作为关注视点的第一低辉度摄取图像的关注像素的像素值的第一低辉度像素值v1是否满足使用阈值TH1和比阈值TH1更低的另一个阈值TH2的表达式TH2＜v1＜TH1。
如果在步骤S75中判定第一低辉度像素值v1满足表达式TH2＜v1＜TH1，即，如果第一低辉度像素值v1不是噪声那样低的值而且不是饱和状态，那么处理进入到步骤S76。
在步骤S76中，恢复部75将作为关注视点的第一低辉度摄取图像的关注像素的像素值的第一低辉度像素值v1乘以第一低辉度摄取图像的恢复增益g1并判定相乘所得的像素值为当恢复饱和像素时的恢复像素值。此外，恢复部75选择恢复像素值作为关注视点的HDR摄取图像的关注像素的像素值。然后，处理返回。
另一方面，如果在步骤S75中判定第一低辉度像素值v1不满足表达式TH2＜v1＜TH1，那么处理进入到步骤S77。
在步骤S77中，恢复部75判定作为关注视点的第二低辉度摄取图像的关注像素的像素值的第二低辉度像素值v2是否满足表达式TH2＜v2＜TH1。
如果在步骤S77中判定第二低辉度像素值v2满足表达式TH2＜v2＜TH1，即，如果第二低辉度像素值v2不是噪声那样低的值而且不是饱和状态，那么处理进入到步骤S78。
在步骤S78中，恢复部75将作为关注视点的第二低辉度摄取图像的关注像素的像素值的第二低辉度像素值v2乘以第二低辉度摄取图像的恢复增益g2并判定所得像素值为从饱和像素的像素值恢复的恢复像素值。此外，恢复部75选择恢复像素值作为关注视点的HDR摄取图像的关注像素的像素值。此后，处理返回。
另一方面，如果在步骤S77中判定第二低辉度像素值v2不满足表达式TH2＜v2＜TH1，那么处理进入到步骤S79。
在步骤S79中，恢复部75判定作为关注视点的第三低辉度摄取图像的关注像素的像素值的第三低辉度像素值v3是否满足表达式TH2＜v3＜TH1。
如果在步骤S79中判定第三低辉度像素值v3满足表达式TH2＜v3＜TH1，即，如果第三低辉度像素值v3不是噪声那样低的值而且不是饱和状态，那么处理进入到步骤S80。
在步骤S80中，恢复部75将作为关注视点的第三低辉度摄取图像的关注像素的像素值的第三低辉度像素值v3乘以第三低辉度摄取图像的恢复增益g3并判定所得像素值为从饱和像素的像素值恢复的恢复像素值。此外，恢复部75选择恢复像素值作为关注视点的HDR摄取图像的关注像素的像素值。此后，处理返回。
另一方面，如果在步骤S79中判定第三低辉度像素值v3不满足表达式TH2＜v3＜TH1，那么处理进入到步骤S81。
在步骤S81中，恢复部75将作为关注视点的第四低辉度摄取图像的关注像素的像素值的第四低辉度像素值v4乘以第四低辉度摄取图像的恢复增益g4并判定所得像素值为从饱和像素的像素值恢复的恢复像素值。此外，恢复部75选择恢复像素值作为关注视点的HDR摄取图像的关注像素的像素值。此后，处理返回。
应当注意，因饱和像素恢复处理而获得的高动态范围的多个视点的(HDR)摄取图像可以不仅作为通过视差信息生成部31生成视差信息和通过透镜仿真部35生成仿真图像的目标而且作为需要多个视点的摄取图像的任意图像处理的目标。
此外，如果不仅对于通过具有多个相机单元21i等的图像摄取装置11摄取的多个视点的摄取图像而且对于可以应用光场技术的任意图像执行饱和像素恢复处理，那么可以再现清晰污斑。
除了使用具有多个相机单元21i的图像摄取装置11来摄取多个视点的摄取图像的方法，例如，使用例如Ren.Ng.和另外七人在斯坦福大学技术报告CTSR 2005-02的“利用手持全光相机的光场摄影”中所公开的微透镜阵列(MLA)来执行图像摄取的方法可作为摄取可以应用光场技术的图像的方法。
<透镜仿真部35的透镜仿真处理略图>
图25是示出图3的透镜仿真部35的透镜仿真处理略图的视图。
在透镜仿真处理中，入射光线再现部36(图3)从真实空间点(诸如存在于真实空间中根据通过图像摄取装置11摄取的图像已经成为摄像体的物体上的点)发出的光线当中再现入射到虚拟透镜的光线(不仅包括在真实空间点发光的情况下从真实空间点发出的光而且包括被真实空间点反射的反射光)。
虚拟透镜是具有由构成图像摄取装置11(图2)的相机单元211至217提供的合成孔径的虚拟透镜，且虚拟透镜的实体是相机单元211至217。
此外，通过透镜仿真处理，由仿真透镜信息生成部37生成定义通过仿真透镜的光线的透镜信息(仿真透镜信息)。
如上参照图3所述，仿真透镜可以是实际上存在的光学透镜，或可以是实际上不存在的光学透镜。
此外，透镜信息包括表示仿真透镜对点光源等的响应的PSF强度分布。
在透镜仿真处理中，聚光处理部38(参照图3)使用通过仿真透镜信息生成部37获得的透镜信息来执行数字信号处理作为通过仿真透镜将通过入射光线再现部36再现的光线聚集在虚拟传感器上的聚光处理。
虚拟传感器的实体例如是存储器(未示出)，且在聚光处理中，透镜信息被用来将与光线的辉度对应的值相加到存储器(的存储值)以生成仿真图像。
图26是示出通过实际光学透镜的聚光处理和透镜仿真处理的聚光处理的视图。
图26A描绘通过实际光学透镜的聚光处理。
实际光学透镜根据实际光学透镜的透镜特性对从真实空间中的物体发出的大量光线进行采样以在图像平面上形成图像。
在实际光学透镜中，将要通过光学透镜进行采样的光线的角度例如根据孔径而变化。
特定地，如果孔径受限，那么不通过光学透镜对相对于光轴以大角度w从物体扩散的光线进行采样。另一方面，如果孔径打开，那么通过光学透镜对相对于光轴以大角度w从物体扩散的光线进行采样。
图26A中的图像picA是在孔径受限的情况下摄取的图像，且是景深深且通常聚焦的图像。此外，在图像picA中，虽然电灯泡存在于右上区域中的孩子角色后面，但是不通过光学透镜对相对于光轴以大角度从电灯泡扩散的光线进行采样，因此，电灯泡未被反射在孩子角色后面。
图26A中的另一个图像picB是在孔径打开的情况下摄取的图像，且是景深浅且只在其一部分处聚焦以及在其另外大部分处模糊的图像。此外，在图像picB中，电灯泡存在于右上区域中的孩子角色后面，并通过光学透镜对相对于光轴以大角度从电灯泡扩散的光线进行采样。因此，电灯泡的一部分被反射在孩子角色后面。
图26B描绘透镜仿真处理的聚光处理。
在透镜仿真处理的聚光处理中，使用从真实空间中的物体发出并通过图像摄取装置11的多个相机单元21i成像(记录)的光线来再现(生成)入射到具有由多个相机单元21i提供的合成孔径的虚拟透镜的光线。
这里，在图26B中，通过作为多个相机单元的三个相机单元211、212和215对三个光线进行成像。此外，再现将要入射到虚拟透镜的光线，使得对三个光线当中的光线进行插补。
在透镜仿真处理的聚光处理中，在以如上所述的这种方式再现将要入射到虚拟透镜的光线之后，光线根据仿真透镜的透镜信息聚集在虚拟传感器上。因此，在因聚光而获得的仿真图像中，再现与在实际上使用仿真透镜来摄取图像的情况下的模糊度类似的模糊度。
<入射到虚拟透镜的光线的再现>
图27是描绘图3的入射光线再现部36的构造实例的方块图。
参照图27，入射光线再现部36包括真实空间点选择部101、光线生成部102、冲突判定部103和辉度分配部104。
从视差信息生成部31提供视差图给真实空间点选择部101。
真实空间点选择部101从来自视差信息生成部31的视差图当中使用多层视差图来选择通过图像摄取装置11摄取图像的真实空间中的空间点作为关注真实空间点并将关注真实空间点提供给光线生成部102。
光线生成部102根据来自真实空间点选择部101的关注真实空间点生成将要入射到虚拟透镜的(直线)光线并将光线提供给冲突判定部103。
不仅从光线生成部102提供光线给冲突判定部103，而且从视差信息生成部31提供视差图给冲突判定部103。
冲突判定部103从来自视差信息生成部31的视差图当中使用多层视差图来执行判定来自光线生成部102的光线在它们进入虚拟透镜之前是否与真实空间中的物体冲突的冲突判定。
然后，冲突判定部103将因冲突判定而残余的光线提供给辉度分配部104。
不仅从冲突判定部103提供光线给辉度分配部104，而且从视差信息生成部31提供视差图给辉度分配部104，且还从饱和像素恢复部33提供作为多个视点的七个视点的(HDR)摄取图像HD#i给辉度分配部104。
辉度分配部104使用来自视差信息生成部31的视差图和来自饱和像素恢复部33的摄取图像HD#i来分配辉度给来自冲突判定部103的光线(即，因冲突判定而残余的光线)，并将分配辉度后的光线提供给聚光处理部38(图3)。
图28是示出真实空间点的视图。
特定地，图28是当从上面看通过构成图像摄取装置11作为虚拟透镜的相机单元21i摄取图像的真实空间时的示意俯视图。
这里，使用具有在虚拟透镜或仿真透镜的主点处的原点以及具有当从前面看图像摄取装置11(图2)时分别沿水平方向和垂直方向的x轴和y轴及从原点(摄像体的方向)看图像摄取装置11(图2)时沿深度方向的z轴的三维坐标系作为定义真实空间中的位置(真实空间点)的三维坐标系。
可根据基准图像上的某个像素p的位置(相机单元211的图像传感器(未示出)上的位置)及像素p的视差d来判定真实空间点(x，y，z)，该真实空间点(x，y，z)是反射在基准图像的像素p处的物体(摄像体)的真实空间中的位置。
因此，真实空间点选择部101根据位置及登记在多层视差图中的像素p的视差d来判定与具有视差d的像素p对应的真实空间点(可以反射在像素p处的物体的真实空间中的位置)。
现在，如果假设具有登记在多层视差图中的视差d的(一组)真实空间点被称为视差登记位置，那么真实空间点选择部101相继地选择构成视差登记位置的真实空间点作为关注真实空间点。
应当注意，图28中，THETA表示在基准图像(基准相机单元211)的水平方向上的视角。视差登记位置存在于因以虚拟透镜的光轴为中心的视角THETA而扩散的范围内。
虚拟透镜的轴是通过基准图像的中心并垂直于基准图像(基准相机单元211的光轴)的直线。
图29是示出使用多层视差图来判定真实空间点的判定方法的视图。
现在，假设使用具有在水平方向和垂直方向上的基准图像的位置处的x轴和y轴以及具有z轴的三维空间作为表示多层视差图的多层视差图空间，可以归于通过视差信息生成部31(图3)获得的视差的值由z轴表示。
在如上所述的这种多层视差图中，可以通过制定表示视差登记在位置(x，y，d)处的视差标志来登记位置(x，y)处的像素的视差d。
这里，在本实施例中，可以登记到多层视差图中的视差的最大值表示为Dmax，最小值表示为Dmin。在这种情况下，z轴方向上的多层视差图空间的大小为Dmax-Dmin+1。应当注意，例如，可以采用0(无穷大)作为Dmin。
此外，登记在多层视差图中的每个视差d例如根据表达式z＝37.4/d可以转换为深度方向上的真实空间与虚拟透镜(基准相机单元211)的主点的距离z。
应当注意，用于将视差d转换为距离z的表达式并不限于表达式z＝37.4/d，且根据基准相机单元211的分辨率、视角和焦距而不同。
现在，如果x坐标为Xpic的基准图像的像素p被关注为关注像素p，那么在图29的多层视差图中，为关注像素p登记视差D1和D2。
真实空间点选择部101相继地选择关注像素p的视差D1和D2作为将要关注的关注视差并选择与具有关注视差的关注像素p对应的真实空间点作为关注真实空间点。
现在，假设从视差D1和D2之间选择视差D1作为关注视差。
此外，基准图像(视差图)的水平方向(x轴方向)上的像素的数量表示为宽度，基准图像的水平方向上的视角由THEATA表示。此外，与具有基准视差D1的关注像素p对应的真实空间点P1在x轴方向上与光轴的位置(距离)表示为x1。
真实空间点选择部101首先将基准视差D1转换为真实空间中的距离z＝z1。
然后，真实空间点选择部101使用与基准视差D1对应的距离z＝z1来判定与具有基准视差D1的关注像素p对应的真实空间点P1在x轴方向上与光轴的位置(距离)x1。
特定地，真实空间中的距离x1和多层视差图中的像素数量Xpic-width/2相互对应。此外，表示真实空间中的水平方向上的视角的一半的距离z1×tan(THEATA/2)和表示多层视差图空间中的水平方向上的视角的一半的像素数量width/2相互对应。
因为x1和Xpic-width/2之比以及z1×tan(THEATA/2)和width/2之比相互一致，所以满足表达式x1:Xpic-width/2＝z1×tan(THEATA/2):width/2。
因此，根据表达式x1＝((Xpix-width/2)(z1×tan(THEATA/2))/(width/2)可以判定与具有基准视差D1的关注像素p对应的真实空间点P1与光轴的位置x1。
真实空间点选择部101以如上所述的这种方式来判定与具有基准视差D1的关注像素p对应的真实空间点P1在x轴方向上与光轴的位置x1。
真实空间点选择部101类似地判定与具有基准视差D1的关注像素p对应的真实空间点P1在y轴方向上与光轴的位置，从而判定与具有基准视差D1的关注像素p对应的真实空间点P1(的xyz坐标)。
还可以以类似方式判定与具有视差D2的像素p对应的真实空间点。
图30是示出由图27的光线生成部102执行的光线生成实例的视图。
特定地，图30是当从前面(摄像体侧)看时虚拟透镜的正视图。
光线生成部102将包括虚拟透镜(的合成孔径)的区域设定为透镜区域。
在图30中，例如，包围虚拟透镜的最小矩形区域被设定为透镜区域。
光线生成部102将透镜区域(包围的虚拟透镜)分割成小区域的透镜区域单元，并把真实空间点看作点光源，执行从作为点光源的真实空间点生成将要入射到每个透镜区域单元(例如，的中心)的光线，即，从真实空间点计算作为将要入射到每个透镜区域单元的光线的直线。
在图30中，透镜区域分割成包括水平方向上的Lx个透镜区域单元和垂直方向上的Ly个透镜区域单元的总共Lx×Ly个透镜区域单元。
在这种情况下，光线生成部102就一个真实空间点而言生成分别将真实空间点和Lx×Ly个透镜区域单元密集地相互连接的Lx×Ly条直线作为将要入射到虚拟透镜的光线。
这里，假设在水平方向或垂直方向上定位成彼此相邻的透镜区域单元(的中心)之间的距离被称为角分辨率，利用角分辨率可以区分从真实空间点发出的两个光线之间的角度。
例如，如果假设合成孔径(虚拟透镜的直径)为40mm且透镜区域的水平方向和垂直方向上的透镜区域单元的数量Lx和Ly为21，那么角分辨率为40/21mm。
此外，作为水平方向上的直线和垂直方向上的另一个直线之间的交叉点的网格点也被称为网格点LP#i(i＝1,2,...,(Lx+1)(Ly+1))，透镜区域通过网格点分割成多个透镜区域单元。
在水平方向或垂直方向上定位成彼此相邻的网格点LP#i和LP#j之间的距离表示角分辨率。
图31是示出由图27的冲突判定部103执行的冲突判定和由辉度分配部104执行的光线辉度分配的视图。
特定地，图31是当从上面看通过构成图像摄取装置11作为虚拟透镜的相机单元21i摄取图像的真实空间时的示意俯视图。
冲突判定部103使用多层视差图来执行判定来自光线生成部102从真实空间点发出并指向虚拟透镜的Lx×Ly个透镜区域单元的Lx×Ly个光线在它们进入虚拟透镜之前是否与真实空间中的物体冲突的冲突判定。
特定地，如果从真实空间点发出并指向虚拟透镜的透镜区域单元的光线在它进入透镜区域单元之前与视差登记位置冲突(交叉)，那么冲突判定部103判定光线冲突。
另一方面，如果从真实空间点发出并指向虚拟透镜的透镜区域单元的光线在它进入透镜区域单元之前与视差登记位置不冲突，那么冲突判定部103判定光线不冲突。
然后，冲突判定部103将因冲突判定而残余的这些光线(即，判定为不冲突的光线)提供给辉度分配部104。
应当注意，冲突判定部103将与发出光线的真实空间点(x，y，z)对应的视差d＝D分配给因冲突判定而残余的每个光线，以及将与光线冲突的视差登记位置对应的视差d＝D分配给判定为冲突的每个光线。
根据分配给光线的视差是否与发出光线的真实空间点(x，y，z)的视差一致，可以识别在冲突判定之后从某个真实空间点(x，y，z)发出的光线在与物体不冲突的情况下是否进入虚拟透镜。
特定地，当分配给光线的视差与发出光线的真实空间点(x，y，z)的视差一致时，光线与物体不冲突并进入虚拟透镜。另一方面，如果分配给光线的视差与发出光线的真实空间点(x，y，z)的视差不一致，那么光线在与分配给光线的视差对应的深度位置处与物体冲突且未到达虚拟透镜。
辉度分配部104使用多层视差图和摄取图像HD#i来分配辉度给来自冲突判定部103因冲突判定而残余的光线。
特定地，辉度分配部104为七个视点的摄取图像HD1至HD7中的每个摄取图像判定与发出因冲突判定而残余的光线的真实空间点(x，y，z)对应的对应像素。
此外，辉度分配部104参照基准视差图从摄取图像HD1至HD7的对应像素当中检测登记与与真实空间点(x，y，z)的深度z对应的视差d＝D一致的视差的每个像素作为将要用于辉度分配的光线辉度分配像素。
然后，辉度分配部104使用红色(R)、绿色(G)和蓝色(B)作为光线辉度分配像素的像素值来分配辉度给光线。
特定地，辉度分配部104将例如光线辉度分配像素的像素值(R、G和B的值)的平均值作为光线的辉度分配给光线。
如上所述，当从真实空间点(x，y，z)发出的光线与物体冲突且未进入虚拟透镜时，辉度分配部104将与光线冲突的视差登记位置对应的视差分配给光线。
另一方面，如果从真实空间点(x，y，z)发出的光线与物体不冲突并进入虚拟透镜，那么辉度分配部104将与发出光线的真实空间点(x，y，z)对应的视差分配给光线。
此外，辉度分配部104将像素值(R、G和B的值)作为辉度分配给与物体不冲突并进入虚拟透镜的光线。
图32是示意性地描绘通过由图27的入射光线再现部36执行的入射光线再现处理而获得的最大数量的数据的视图。
现在，假设基准图像HD1由N个像素pix1,pix2,...,pix#N构成，且可以登记到视差图(多层视差图)中的视差d的数量为从最小值Dmin逐个像素地递增到最大值Dmax的DPN＝Dmax-Dmin+1个整数值。
在这种情况下，在入射光线再现处理中，最多为与N个像素pix1,pix2,...,pix#N中的任意像素pix#n和DPN视差Dmin,Dmin+1,...,Dmax中的任意视差d的组合(pix#n，d)对应的真实空间点登记像素值表，如图32所示。
从与组合(pix#n，d)对应的真实空间点朝向透镜区域(图30)的Lx×Ly个透镜区域单元当中分配给左侧第i且上面第j的透镜区域单元(i，j)的光线的视差D被登记到与组合(pix#n，d)对应的真实空间点的像素值表中，如图32所示。
此外，在R、G和B的值作为辉度分配给从与组合(pix#n，d)对应的真实空间点朝向透镜区域单元(i，j)的光线的情况下，R、G和B的值作为辉度登记到与组合(pix#n，d)对应的真实空间点的像素值表中。
图33是示出由图27的入射光线再现部36执行的入射光线再现处理实例的流程图。
在步骤S101中，入射光线再现部36(图27)的真实空间点选择部101、冲突判定部103和辉度分配部104获取来自视差信息生成部31的视差图。然后，处理进入到步骤S102。
在步骤S102中，真实空间点选择部101从基准图像HD1的像素当中选择尚未选定为关注像素的一个像素作为关注像素。然后，处理进入到步骤S103。
在步骤S103中，真实空间点选择部101参照来自视差信息生成部31的视差图(多层视差图)从为关注像素登记的视差当中选择尚未选定为关注视差的一个视差作为关注视差。然后，处理进入到步骤S104。
在步骤S104中，真实空间点选择部101选择与关注视差的关注像素(具有关注视差的关注像素)对应的真实空间点(x,y,z)＝(x0,y0,z0)作为关注真实空间点并将关注真实空间点提供给光线生成部102。然后，处理进入到步骤S105。
在步骤S105中，光线生成部102从虚拟透镜(图30)的透镜区域单元当中选择尚未选定为关注透镜区域单元的一个透镜区域单元作为关注透镜区域单元。然后，处理进入到步骤S106。
在步骤S106中，光线生成部102生成从关注真实空间点(x0,y0,z0)朝向关注透镜区域单元的中心点(lx,ly,0)的光线(的直线表达式)作为关注光线并将关注光线提供给冲突判定部103。然后，处理进入到步骤S107。
这里，作为从关注真实空间点(x0,y0,z0)朝向关注透镜区域单元的中心点(lx,ly,0)的光线的直线由表达式(x-lx)/(x0-lx)＝(y-ly)/(y0-ly)＝z/z0表示。
在步骤S107中，冲突判定部103执行以来自光线生成部102的关注光线作为目标的冲突判定。然后，处理进入到步骤S108。
在步骤S108中，辉度分配部104基于通过冲突判定部103的冲突判定的判定结果(冲突判定结果)来判定关注光线是否冲突。
如果在步骤S108中判定关注光线不冲突，即，如果在步骤S107中通过冲突判定部103的冲突判定中，等于与关注真实空间点对应的视差(关注视差)的视差分配给关注光线，那么处理进入到步骤S109。
在步骤S109中，辉度分配部104执行分配辉度给关注光线的光线辉度分配并将分配辉度提供给聚光处理部38。然后，处理进入到步骤S110。
另一方面，如果在步骤S108中判定关注光线冲突，即，如果在步骤S107中通过冲突判定部103的冲突判定中，不等于与关注真实空间点对应的视差(关注视差)的视差分配给关注光线，那么处理跳过步骤S109并进入到步骤S110。
因此，当关注光线冲突时，不对关注光线执行步骤S109中的光线辉度分配。
在步骤S110中，光线生成部102判定虚拟透镜的透镜区域单元是否已经全部被选定为关注透镜区域单元。
如果在步骤S110中判定虚拟透镜的透镜区域单元尚未全部被选定为关注透镜区域单元，那么处理返回到步骤S105，此后，重复类似处理。
另一方面，在步骤S110中，如果判定虚拟透镜的透镜区域单元已经全部被选定为关注透镜区域单元，那么处理进入到步骤S111。
在步骤S111中，真实空间点选择部101判定多层视差图中为关注像素登记的视差是否已经全部被选定为关注视差。
在步骤S111中，如果判定多层视差图中为关注像素登记的视差尚未全部被选定为关注视差，那么处理返回到步骤S103，此后，重复类似处理。
另一方面，如果在步骤S111中判定多层视差图中为关注像素登记的视差已经全部被选定为关注视差，那么处理进入到步骤S112。
在步骤S112中，真实空间点选择部101判定基准图像HD1的像素是否已经全部被选定为关注像素。
如果在步骤S112中判定基准图像HD1的像素尚未全部被选定为关注像素，那么处理返回到步骤S102，此后，重复类似处理。
另一方面，如果在步骤S112中判定基准图像HD1的像素已经全部被选定为关注像素，那么入射光线再现处理结束。
图34是示出在图33的步骤S107中的冲突判定处理实例的流程图。
在步骤S121中，冲突判定部103将冲突判定视差d设定为最大值Dmax作为初始值。然后，处理进入到步骤S122。
在步骤S122中，冲突判定部103判定与判定视差d对应的深度(距离)Z。然后，处理进入到步骤S123。
在步骤S123中，冲突判定部103判定与判定视差d对应的深度Z是否等于关注真实空间点(x0,y0,z0)的深度z0。
如果在步骤S123中判定与判定视差d对应的深度Z不等于关注真实空间点(x0,y0,z0)的深度z0，那么处理进入到步骤S124。
在从步骤S124开始的步骤中，确定从关注真实空间点(x0,y0,z0)朝向关注透镜区域单元的中心点(lx,ly,0)的关注光线是否与在与判定视差d对应的深度Z处的物体冲突。
特定地，在步骤S124中，冲突判定部103将由表达式z＝Z表示的平面(即，在深度Z的位置处垂直于光轴的平面)设定为作为冲突判定平面的判定层。然后，处理进入到步骤S125。
这里，由表达式z＝Z表示在与视差d对应的深度(距离)Z处垂直于光轴的平面以下也称为z＝Z的视差平面。在步骤S124中，z＝Z的视差平面设定为判定层。
在步骤S125中，冲突判定部103判定关注光线和判定层之间的交叉点(Px,Py,Z)。然后，处理进入到步骤S126。
这里，作为关注光线的直线由(x-lx)/(x0-lx)＝(y-ly)/(y0-ly)＝z/z0表示，如上参照图33所述。
相应地，关注光线的x坐标和y坐标分别由表达式x＝z/z0(x0-lx)+lx和另一个表达式y＝z/z0(y0-ly)+ly表示。
通过将Z代入表达式x＝z/z0(x0-lx)+lx和表达式y＝z/z0(y0-ly)+ly，可以判定由表达式z＝Z表示的判定层上的关注光线的x坐标和y坐标，即，关注光线和判定层之间的交叉点(Px,Py,Z)的x坐标Px和y坐标Py。
相应地，可以分别根据表达式x＝Z/z0(x0-lx)+lx和表达式y＝Z/z0(y0-ly)+ly来判定x坐标Px和y坐标Py。
在步骤S126中，冲突判定部103判定与关注光线和判定层之间的交叉点(Px,Py,Z)对应的基准图像的像素(该像素以下也称为交叉点像素)。然后，处理进入到步骤S127。
在步骤S127中，冲突判定部103判定判定视差d是否登记在多层视差图中的交叉点像素(的位置)处(为交叉点像素登记的视差是否等于判定视差d)。
如果在步骤S127中判定判定视差d不是登记在交叉点像素处，即，如果在关注光线和判定层之间的交叉点(Px,Py,Z)处不存在物体且关注光线与交叉点(Px,Py,Z)不冲突，那么处理进入到步骤S128。
在步骤S128中，冲突判定部103使判定视差d递减(减小)1。然后，处理返回到步骤S122，此后，重复类似处理。
这里，当在步骤S128中减小判定视差d时，判定层从与视差的最大值Dmax对应最接近虚拟透镜的位置向关注真实空间点(x0,y0,z0)移动。
另一方面，如果在步骤S127中判定判定视差d为交叉点像素而登记，即，如果在关注光线和判定层之间的交叉点(Px,Py,Z)处存在物体且关注光线在交叉点(Px,Py,Z)处冲突，那么处理进入到步骤S129。
在步骤S129中，为了表示关注光线在它到达虚拟透镜之前与物体冲突的冲突判定结果，冲突判定部103将判定视差d分配给关注光线，然后，处理返回。
另一方面，如果在步骤S123中判定与判定视差d对应的深度Z等于关注真实空间点(x0,y0,z0)的深度z0，即，如果当判定层从与视差的最大值Dmax对应最接近虚拟透镜的位置移动到真实空间点(x0,y0,z0)时，关注光线与物体不冲突，那么处理进入到步骤S130。
在步骤S130中，为了表示关注光线在它到达虚拟透镜之前与物体不冲突的冲突判定结果，冲突判定部103将关注视差(这也是在这个时间点的判定视差d)(即，与真实空间点(x0,y0,z0)对应的视差d)分配给关注光线。此后，处理返回。
应当注意，虽然在图34中，视差的最大值Dmax被用作初始值且判定视差从初始值连续递减到与关注真实空间点(x0,y0,z0)对应的目标的视差，但是判定视差的值在视差的最大值Dmax的范围内可以以任何方式改变为与关注真实空间点(x0,y0,z0)对应的视差。
图35是示出在图33的步骤S109中的光线辉度分配处理实例的流程图。
在步骤S131中，辉度分配部104从七个视点的摄取图像HD1至HD7中的每个摄取图像检测与关注真实空间点(x0,y0,z0)对应的对应像素。然后，处理进入到步骤S132。
在步骤S132中，辉度分配部104例如参照摄取图像HD1至HD7的视差图从摄取图像HD1至HD7的对应像素当中检测与关注真实空间点(x0,y0,z0)的深度z0对应的视差d(即，登记与目标视差一致的视差的像素)作为将要用于辉度分配的光线辉度分配像素。然后，处理进入到步骤S133。
在步骤S133中，辉度分配部104例如将光线辉度分配像素的像素值(R、G和B的值)的平均值作为光线的辉度分配给关注光线。然后，处理返回。
以此方式，在入射光线再现部36(图27)中，光线生成部102从视差登记在多层视差图中的真实空间点(即，由存在于将要通过图像摄取装置11执行图像摄取的真实空间中的物体上的点)生成直线作为入射到具有由构成图像摄取装置11的七个视点的相机单元211至217提供的合成孔径的虚拟透镜的光线。换言之，入射光线再现部36判定按几何学原理画出光线的直线为从真实空间点入射到虚拟透镜的光线。
此外，在入射光线再现部36中，冲突判定部103执行判定光线在它进入虚拟透镜之前是否与物体冲突的冲突判定。
然后，在入射光线再现部36中，辉度分配部104使用通过相机单元211至217摄取的七个视点的摄取图像HD1至HD7来分配辉度给因冲突判定而残余的光线。
因此，可以使用七个视点的摄取图像HD1至HD7来再现入射到虚拟透镜并因此入射到仿真透镜的光线组。
换言之，通过例如使构成仿真透镜的所谓前透镜对应于虚拟透镜，入射到虚拟透镜的光线组成为进入仿真透镜的光线组。相应地，通过再现将要入射到虚拟透镜的光线组，可以再现将要进入仿真透镜的光线组。
因此，通过下面所述的聚光处理可以再现源于入射到仿真透镜的光线组通过仿真透镜而聚集的模糊度。
<透镜信息的生成>
图36是示出由图3的仿真透镜信息生成部37生成的透镜信息的视图。
PSF强度分布、图像平面间距、PSF角分量信息和图像平面偏移信息可作为透镜信息(仿真透镜信息)。
PSF强度分布表示仿真透镜对从点光源发出的光线的响应。
图像平面间距表示PSF强度分布的比例。
PSF角分量信息表示当从点光源发出的光线透过仿真透镜时PSF强度分布的位置。
图像平面偏移信息表示图像平面偏移位置，该图像平面偏移位置是从真实空间点发出的光线当中的主光线通过仿真透镜到达的虚拟传感器上的位置。
图37是示出成为透镜信息生成目标的真实空间点和焦点位置的视图。
特定地，图37是当相对于图像摄取装置11的前面从右面看将要通过构成图像摄取装置11作为虚拟透镜的相机单元21i摄取图像的真实空间时的示意侧视图。
透镜信息是定义通过仿真透镜的光线的信息，且光线从真实空间点发出。
此外，虽然通过仿真透镜的光线聚集在虚拟传感器上，但是光线的聚集方式根据仿真透镜的焦点位置(焦距)而不同。
因此，可以为仿真透镜的每个焦点位置f生成透镜信息，作为等于通过图像处理装置12(图3)最多将要处理的最大数量的真实空间点(该数量以下称为最大真实空间点数量)的许多条信息。
现在，假设基准图像HD1由N个像素pix1,pix2,...,pix#N构成，且可以登记到视差图(多层视差图)中的视差d的数量为从最小值Dmin逐个像素地递增到最大值Dmax的DPN＝Dmax-Dmin+1个整数值，如上参照图32所述。
在这种情况下，最大真实空间点数量为N×DPN。
此外，现在假设，仿真透镜的焦点位置f可以假设为Fmax个位置f1,f2,...,f#Fmax。
在这种情况下，透镜信息最多可以形成为Fmax×N×DPN条信息。
这里，在本实施例中，基于仿真透镜来定义虚拟传感器的大小(比例)。
例如，在仿真透镜是用于35mm全尺寸的图像传感器的光学透镜的情况下，基于如上所述的这种仿真透镜，虚拟传感器的大小设定为35mm全尺寸。特定地，虚拟传感器的水平大小和垂直大小例如分别设定为36mm和24mm。
此外，在本实施例中，基于基准图像的像素数量(分辨率)来定义虚拟传感器的像素间距，使得虚拟传感器具有等于基准图像的像素数量的像素数量(或小于基准图像的像素数量的像素数量)。
例如，在仿真透镜是用于35mm全尺寸的图像传感器的光学透镜且水平方向上的基准图像的像素数量为Nx的情况下，因为虚拟传感器的水平大小如上所述为36mm，所以虚拟传感器的像素间距为36mm/Nx。
应当注意，某个真实空间点(X，Y，Z)对应于具有与深度z＝Z对应的视差d＝D的基准图像的某个像素。
此外，因为基于基准图像的像素数量(分辨率)来定义虚拟传感器的像素间距，所以可以使虚拟传感器的像素对应于基准图像的像素。在虚拟传感器具有等于基准图像的像素数量的像素数量的情况下，基准图像的像素和定位在与该像素的位置相同的位置处的虚拟传感器的像素相互对应。
此外，如果采用基准图像的某个像素的视差作为与该像素对应的虚拟传感器的像素的视差，那么真实空间点(X，Y，Z)对应于具有与深度z＝Z对应的视差d＝D的虚拟传感器的某个像素。
在这种情况下，关于某个真实空间点的透镜信息可以认为是关于与该真实空间点对应的虚拟传感器的像素(位置)和视差的组合的透镜信息。
图38是描绘某个光学透镜的PSF强度分布实例的视图。
参照图38，水平方向表示光学透镜的焦点位置f，垂直方向表示作为图像形成平面上的图像形成位置离光学中心的距离的图像高度，来自光学透镜的光在该图像形成平面上形成图像。
这里，图像形成平面对应于虚拟传感器的平面。同时，至于图38的水平方向，向左方向表示靠近光学透镜的焦点位置f，向右方向表示远离光学透镜的焦点位置f。此外，至于图38的垂直方向，向上方向表示小图像高度，向下方向表示大图像高度。
如图38所示，PSF强度分布根据光学透镜的焦点位置f而不同。
此外，PSF强度分布根据图像形成位置的图像高度(即，根据虚拟传感器的平面上的位置)而不同。
此外，PSF强度分布还根据从光学透镜的主点到摄像体(这里，点光源)的距离(即，根据摄像体的视差)而不同。
因此，PSF强度分布例如根据焦点位置f、虚拟传感器的像素(的位置)和摄像体的视差的集合而不同。
图39是示出生成PSF强度分布的方法的实例的视图。
与图37中类似，图39描绘在相对于图像摄取装置11的前面从右面看通过构成图像摄取装置11作为虚拟透镜的相机单元21i摄取图像的真实空间的情况下的略图。
仿真透镜信息生成部37为与最大真实空间点数量N×DPN个真实空间点中的每个真实空间点对应的真实空间点(即，为构成虚拟传感器的最大数量N个像素和为Fmax个焦点位置f中的每个焦点位置f最多可以登记到多层视差图中的DPN个视差d的组合中的每个组合)生成PSF强度分布。
这里，构成虚拟传感器的像素的最大数量N等于构成基准图像HD1的像素pix1至pix#N的数量N。如上参照图37所述，在本实施例中，与基准图像HD1类似，为了简化说明，虚拟传感器由像素pix1至pix#N的N个像素构成。
仿真透镜信息生成部37将点光源设定为真实空间点并使用仿真透镜的透镜设计数据来执行跟踪从设定为真实空间点的点光源发出的光线的光线跟踪以生成PSF强度分布。
在光线跟踪中，将从点光源发出的光线设定为入射矢量，计算入射矢量和仿真透镜的大部分摄像体侧的折射表面之间的交叉点，并计算当作为从交叉点入射的光线的入射矢量被折射表面折射并从折射表面发出时的矢量作为出射矢量。
此外，在光线跟踪中，使用出射矢量作为到下一个折射表面的入射矢量，计算入射矢量和下一个折射表面之间的交叉点。
在光线跟踪中，重复如上所述的这种处理，直到仿真透镜的最后一个折射表面。
然后，仿真透镜信息生成部37观察虚拟传感器上从仿真透镜的最后一个折射表面发出的出射矢量并记录因观察而获得作为出射矢量的光线的光强度以生成PSF强度分布。
现在假设，在仿真透镜信息生成部37中，当从真实空间点(的点光源)发出的主光线(即，作为从真实空间点发出的光线当中通过仿真透镜的主点O的光线的主光线)到达虚拟传感器时中心(重心)在虚拟传感器的位置处的矩形区域被称为分布区域。
例如，可以采用以从真实空间点发出的主光线为中心且是包围由从真实空间点发出的光线通过仿真透镜所到达的虚拟传感器上的点的最小(或接近最小)矩形区域的矩形区域作为分布区域。此外，假设分布区域是具有PX×PY乘以width×length的分辨率的区域，信息可以记录到该区域中。对于PX和PY，例如可以采用255。
仿真透镜信息生成部37将成为PSF强度分布的光强度以PX×PY乘以width×length的分辨率记录到分布区域中以生成PSF强度分布。
图40是示意性地描绘由仿真透镜信息生成部37生成的PSF强度分布的视图。
如上参照图39所述，为与构成虚拟传感器的N个像素pix1至pix#N和为Fmax个焦点位置f中的每个焦点位置f最多可以登记到视差图中的DPN个视差d的N×DPN个组合中的每个组合对应的真实空间点生成PSF强度分布。
现在假设，水平方向表示DPN个视差d而垂直方向表示构成虚拟传感器的N个像素pix1至pix#N且登记有与某个视差d和某个像素pix#n的组合对应的真实空间点的PSF强度分布的表被称为焦点位置f的强度分布表，如图40所示。
仿真透镜信息生成部37为Fmax个焦点位置f中的每个焦点位置f生成强度分布表。
登记在强度分布表中的PSF强度分布以PX×PY乘以width×length的分辨率记录在分布区域中，如上参照图39所述。
因此，当PSF强度分布被记录为数组时，PSF强度分布的数组数量最多为Fmax×N×DPN×PX×PY。
这里，在分布区域中，记录PSF强度分布的一个光强度的单元(PSF强度分布的采样单位)被称为分布区域单元。分布区域单元可以设想为例如正方形区域。
因为分布区域是包围从真实空间点发出的光线到达的虚拟传感器上的点的最小正方形区域，如上参照图39所述，所以它具有可变大小。
此外，如上参照图38所述，PSF强度分布根据焦点位置f、图像形成位置的图像高度(真实空间点(点光源)和光轴之间的距离)和到摄像体(真实空间点(点光源))的距离(视差)而不同。
包围如上所述的这种PSF强度分布的最小分布区域的大小(比例)对于每个PSF强度分布也不同。
在下面将要说明的聚光处理中，通过根据记录在不同大小的分布区域中的PSF强度分布把在虚拟传感器上形成图像的光线的图像形成值相加来生成仿真图像。
当根据PSF强度分布把图像形成值相加时，必须使根据记录在不同大小的分布区域中的PSF的强度分布的图像形成值的分布的比例与虚拟传感器的比例一致。此外，为此，需要表示PSF强度分布的比例的信息。
因此，仿真透镜信息生成部37判定图像平面间距，该图像平面间距是构成分布区域的分布区域单元的大小(间距)，PSF强度分布作为表示PSF强度分布的信息记录在该分布区域中。
现在假设，如果图像平面间距为IP且虚拟传感器的像素间距为PP，那么在聚光处理中，根据PSF强度分布判定的光线的图像形成值的分布缩小(或扩大)到IP/PP倍并相加在虚拟传感器上。
应当注意，PSF强度分布可以不是以可变大小而是以PX×PY的分辨率记录在固定大小的分布区域中。
在PSF强度分布不是以可变大小而是以固定大小记录在分布区域中的情况下，固定大小只需一个图像平面间距。
然而，因为必须将固定大小的分布区域调整为从虚拟传感器上的主光线的到达位置扩散最多的PSF强度分布，所以具有窄分布的PSF强度分布的分辨率降低。
图41是示意性地描绘由仿真透镜信息生成部37生成的图像平面间距的视图。
为每个PSF强度分布生成图像平面间距。
现在，假设水平方向表示DPN个视差d而垂直方向表示构成虚拟传感器的N个像素pix1至pix#N且登记与某个视差d和某个像素pix#n的组合对应的真实空间点的PSF强度分布的图像平面间距的表被称为焦点位置f的图像平面间距表，例如，如图41所示。
仿真透镜信息生成部37为Fmax个焦点位置f中的每个焦点位置f生成图像平面间距表。
因此，在图像平面间距被记录为数组的情况下，图像平面间距的数组数量最多为Fmax×N×DPN。
图42是示出生成PSF角分量信息的方法的实例的视图。
特定地，图42是当从前面(摄像体侧)看仿真透镜时的正视图。
例如，当如上参照图30所述的光线生成部102生成光线时，仿真透镜信息生成部37执行与为仿真透镜的虚拟透镜执行的处理类似的处理。
特定地，仿真透镜信息生成部37将例如包括仿真透镜的前透镜的区域设定为透镜区域。
在图42中，例如，包围仿真透镜的前透镜的最小矩形区域设定为透镜区域。
仿真透镜信息生成部37将透镜区域(包围的仿真透镜)分割成小区域的透镜区域单元。然后，仿真透镜信息生成部37将真实空间点视为点光源并判定表示由从作为点光源的真实空间点入射到透镜区域单元的光线通过仿真透镜所到达的PSF强度分布的位置的PSF角分量信息。
在图42中，与在图30的虚拟透镜的情况下类似，透镜区域分割成包括水平方向上的Lx个透镜区域单元和垂直方向上的Ly个透镜区域单元的总共Lx×Ly个透镜区域单元。
此外，在图42中，与在图30的情况下类似，作为水平方向上的直线和垂直方向上的另一个直线之间的交叉点的网格点也表示为网格点LP#i(i＝1,2,...,(Lx+1)(Ly+1))，包围仿真透镜的透镜区域通过网格点分割成透镜区域单元。
这里，假设，在本实施例中，为了简化说明，直径在虚拟透镜(的合成孔径)和仿真透镜的前透镜(的孔径)之间是一致的，以及透镜区域的大小和透镜区域的分割数量Lx×Ly在虚拟透镜和仿真透镜之间也是一致的。
应当注意，因为使用入射到仿真透镜的光线来执行聚光处理，所以虚拟透镜只需具有等于或大于仿真透镜的直径的直径。
此外，为了使入射到虚拟透镜的光线和入射到仿真透镜的光线相互对应，使虚拟透镜的透镜区域单元和仿真透镜的透镜区域单元(大小)相互一致。
图43是示出生成PSF角分量信息的方法的实例的视图。
与图37类似，图43描绘在相对于图像摄取装置11的前面从右面看通过构成图像摄取装置11作为虚拟透镜的相机单元21i摄取图像的真实空间的情况下的略图。
仿真透镜信息生成部37为与最大真实空间点数量N×DPN个真实空间点中的每个真实空间点对应的真实空间点(即，为构成虚拟传感器的最大数量N个像素和为Fmax个焦点位置f中的每个焦点位置f最多可以登记到多层视差图中的DPN个视差d的组合中的每个组合)生成PSF角分量信息。
仿真透镜信息生成部37判定从真实空间点(的点光源)发出并入射到仿真透镜的网格点LP#i的光线到达虚拟传感器的到达点AP#i。
然后，仿真透镜信息生成部37将虚拟传感器的到达点AP#i转换为PSF强度分布(的分布区域)上的点并判定通过转换而获得的分布区域到达点AP#i(光线到达的分布区域单元)和网格点LP#i的集合(位置)为PSF角分量信息。
应当注意，从真实空间点发出并入射到仿真透镜的光线可能不一定到达虚拟传感器。换言之，在入射到仿真透镜的光线当中存在如图43中由虚线箭头表示未到达虚拟传感器的这种光线(虚拟传感器未接收到)。
图44是示出PSF角分量信息的细节的视图。
仿真透镜信息生成部37为作为仿真透镜的透镜区域单元的四个顶点的四个网格点LP#i1、LP#i2、LP#i3和LP#i4判定作为从真实空间点发出并分别通过网格点LP#i1、LP#i2、LP#i3和LP#i4的光线到达的PSF强度分布上的到达点的分布区域到达点AP#i1、AP#i2、AP#i3和AP#i4。
然后，仿真透镜信息生成部37生成作为仿真透镜的透镜区域单元的四个顶点的四个网格点LP#i1、LP#i2、LP#i3和LP#i4及分布区域到达点AP#i1、AP#i2、AP#i3和AP#i4的组合作为表示通过四个顶点为网格点LP#i1、LP#i2、LP#i3和LP#i4的透镜区域单元的光线到达的PSF强度分布的区域(位置)的PSF角分量信息。
归根结底，当入射到仿真透镜的网格点LP#i的光线通过仿真透镜到达分布区域到达点AP#i时，PSF角分量信息是分布区域到达点AP#i和网格点LP#i的组合。
这里，通过透镜区域单元的光线到达的PSF强度分布的区域也称为对应区域。
图44中，对应区域是顶点在分布区域到达点AP#i1、AP#i2、AP#i3和AP#i4的四边形区域。
分布区域到达点AP#i的粒度(分辨率)是记录PSF强度分布的分布区域的分布区域单元(图40)的大小。特定地，分布区域到达点AP#i表示分布区域的某个分布区域单元的位置。
图45是示意性地描绘由仿真透镜信息生成部37生成的PSF角分量信息的视图。
为与构成虚拟传感器的N个像素pix1至pix#N和为Fmax个焦点位置f中的每个焦点位置f最多可以登记到视差图中的DPN个视差d的N×DPN个组合对应的真实空间点生成PSF角分量信息。
现在，水平方向表示DPN个视差d而垂直方向表示构成虚拟传感器的N个像素pix1至pix#N且登记有与某个视差d和某个像素pix#n的组合对应的真实空间点的PSF角分量信息的表被称为焦点位置f的PSF角分量信息表，例如，如图45所示。
仿真透镜信息生成部37为Fmax个焦点位置f中的每个焦点位置f生成PSF角分量信息表。
登记在PSF角分量信息表中的PSF角分量信息是仿真透镜的网格点LP#i和入射到网格点LP#i的光线通过仿真透镜到达的PSF强度分布的分布区域上的分布区域到达点AP#i的集合。
在本实施例中，因为仿真透镜的透镜区域分割成PX×PY个透镜区域单元，如上参照图42所述，所以网格点LP#i的数量为(Lx+1)(Ly+1)。
因此，在PSF角分量信息被记录为数组的情况下，PSF角分量信息的数组数量最多为Fmax×N×DPN×(PX+1)×(PY+1)。
图46是示出图像平面偏移信息的视图。
与图37类似，图46描绘当相对于图像摄取装置11的前面从右面看通过构成图像摄取装置11作为虚拟透镜的相机单元21i摄取图像的真实空间点时的略图。
在本实施例中，使虚拟透镜和仿真透镜的前透镜相互对应，且入射光线再现部36再现入射到虚拟透镜的光线作为入射到仿真透镜的光线。
然而，因为仿真透镜通常具有多个透镜，所以虚拟透镜和仿真透镜在入射光瞳的(z方向上)位置中移位。
因此，在虚拟传感器上，通过虚拟透镜观察到的图像和通过仿真透镜观察到的图像有时彼此不同。
图46A是示出通过虚拟透镜在虚拟传感器上观察到的图像实例的视图。
在图46A中，作为从真实空间中的物体obj1发出的主光线的直线和从相对于物体obj1位于前侧的另一个物体obj2发出的主光线的另一个直线在虚拟透镜上相互重叠。
因此，物体obj1相对于虚拟透镜的图像平面偏移位置(即，作为从物体obj1发出的主光线通过虚拟透镜到达的虚拟传感器上的位置的图像平面偏移位置)和物体obj2相对于虚拟透镜的图像平面偏移位置相互重合。
因此，虽然在虚拟传感器上观察物体obj2，但是相对于物体obj2位于内侧的物体obj1被物体obj2遮住且观察不到。
图46B是示出通过仿真透镜在虚拟传感器上观察到的图像实例的视图。
在图46B中，物体obj1和obj2位于与图46A的情况的位置相同的位置处。
在仿真透镜中，入射光瞳的位置和主点偏离虚拟透镜中的入射光瞳的位置和主点。因此，在仿真透镜上，作为从真实空间中的物体obj1发出的主光线的直线和作为相对于物体obj1从位于前侧的物体obj2发出的主光线的另一个直线不是相互重叠而是相互偏离。
因此，因为物体obj1相对于仿真透镜的图像平面偏移位置和物体obj2相对于仿真透镜的图像平面偏移位置不相互重合，所以物体obj2和相对于物体obj2位于内侧的物体obj1在虚拟传感器上都观察得到。
如上所述，真实空间点的图像平面偏移位置在虚拟透镜和仿真透镜之间源于虚拟透镜和仿真透镜的入射光瞳之间的位置位移而不同。
因此，仿真透镜信息生成部37生成表示相对于仿真透镜的图像平面偏移位置的图像平面偏移信息作为一种透镜信息以精确地再现仿真透镜的聚光。
这里，图像平面偏移信息可以认为是用于校正虚拟透镜和仿真透镜的入射光瞳的位置位移的信息，从如上所述的这种角度来看，图像平面偏移信息可以认为是入射光瞳校正信息。
图47是示出生成图像平面偏移信息的方法的实例的视图。
与图37类似，图47描绘当相对于图像摄取装置11的前面从右面看将要通过构成图像摄取装置11作为虚拟透镜的相机单元21i摄取图像的真实空间时的略图。
仿真透镜信息生成部37为与最大真实空间点数量N×DPN个真实空间点中的每个真实空间点对应的真实空间点(即，为构成虚拟传感器的最大数量N个像素和为Fmax个焦点位置f中的每个焦点位置f最多可以登记到多层视差图中的DPN个视差d的组合中的每个组合)生成图像平面偏移信息。
仿真透镜信息生成部37将从真实空间点(的点光源)发出并通过仿真透镜的主点的主光线到达虚拟传感器的到达点设定为图像平面偏移位置并将x轴方向和y轴方向上例如离虚拟传感器的中心的坐标(距离)判定为图像平面偏移信息，该坐标(距离)表示图像平面偏移位置。
图48是示意性地描绘由仿真透镜信息生成部37生成的图像平面偏移信息的视图。
为与构成虚拟传感器的N个像素pix1至pix#N和为Fmax个焦点位置f中的每个焦点位置f最多可以登记到视差图中的DPN个视差d的N×DPN个组合对应的真实空间点生成图像平面偏移信息。
现在，水平方向表示DPN个视差d而垂直方向表示构成虚拟传感器的N个像素pix1至pix#N且登记有与某个视差d和某个像素pix#n的组合对应的真实空间点的图像平面偏移信息的表被称为焦点位置f的图像平面偏移信息，例如，如图48所示。
仿真透镜信息生成部37为Fmax个焦点位置f中的每个焦点位置f生成图像平面偏移信息表。
因此，在图像平面偏移信息被记录为数组的情况下，图像平面偏移信息的数组数量最多为Fmax×N×DPN。
应当注意，通过使用仿真透镜的透镜设计数据来执行光线跟踪等的算术运算，可以判定仿真透镜的透镜信息(PSF强度分布、图像平面间距、PSF角分量信息和图像平面偏移信息)，并且在仿真透镜是现有光学透镜的情况下，通过使用光学透镜来实际测量光线，可以判定仿真透镜的透镜信息(PSF强度分布、图像平面间距、PSF角分量信息和图像平面偏移信息)。
图49是描绘用于生成透镜信息的仿真透镜信息生成部37(图3)的构造实例的方块图。
参照图49，仿真透镜信息生成部37包括真实空间点选择部131、信息计算部132和焦点位置选择部133。
真实空间点选择部131参照从视差信息生成部31(图3)提供给仿真透镜信息生成部37的多层视差图从与构成虚拟传感器的N个像素pix1至pix#N和可以登记到多层视差图中的DPN个视差d的组合对应的最大真实空间点数量N×DPN个真实空间点当中选择关注真实空间点。
信息计算部132使用从透镜设计数据获取部34(图3)提供给仿真透镜信息生成部37的透镜设计数据为被真实空间点选择部131选定的关注真实空间点和被焦点位置选择部133选定的关注焦点位置f生成透镜信息并将所生成的透镜信息提供给聚光处理部38。
焦点位置选择部133从Fmax个焦点位置f当中选择关注焦点位置。
图50是示出由图49的仿真透镜信息生成部37执行的仿真透镜信息生成处理实例的流程图。
在步骤S141中，焦点位置选择部133从Fmax个焦点位置f当中选择关注焦点位置。然后，处理进入到步骤S142。
这里，在本实施例中，为了减少透镜信息的信息量，只为关注焦点位置生成透镜信息。例如，响应于用户操作等，可以执行关注焦点位置的选择。此外，例如，预先判定的默认焦点位置可以选定为关注焦点位置。
应当注意，不仅可以为关注焦点位置而且可以为Fmax个焦点位置中的每个焦点位置生成透镜信息。
在步骤S142中，真实空间点选择部131获取从视差信息生成部31提供的多层视差图。然后，处理进入到步骤S143。
在步骤S143中，真实空间点选择部131从虚拟传感器的像素当中选择尚未选定为关注像素的像素中的一个像素作为关注像素。然后，处理进入到步骤S144。
在步骤S144中，真实空间点选择部131从登记在来自视差信息生成部31的多层视差图中的关注像素的视差当中选择尚未选定为关注视差的视差中的一个视差作为关注视差。然后，处理进入到步骤S145。
在步骤S145中，真实空间点选择部131选择与具有关注视差的关注像素对应的真实空间点作为关注真实空间点。然后，处理进入到步骤S146。
在步骤S146中，信息计算部132以如上参照图39至图48所述的这种方式为关注真实空间点(即，为关注焦点位置、关注像素和关注视差的集合)判定透镜信息的PSF强度分布、图像平面间距、PSF角分量信息和图像平面偏移信息。然后，处理进入到步骤S147。
在步骤S147中，真实空间点选择部131判定登记在多层视差图中的关注像素的视差是否已经全部被选定为关注视差。
如果在步骤S147中判定登记在多层视差图中的关注像素的视差尚未全部选定为关注视差，那么处理返回到步骤S144，此后，重复类似处理。
另一方面，如果在步骤S147中判定登记在多层视差图中的关注像素的视差已经全部选定为关注视差，那么处理进入到步骤S148。
在步骤S148中，真实空间点选择部131判定虚拟传感器的像素是否已经全部被选定为关注像素。
如果在步骤S148中判定虚拟传感器的像素尚未全部选定为关注像素，那么处理返回到步骤S143，此后，重复类似处理。
另一方面，如果在步骤S148中判定虚拟传感器的像素已经全部选定为关注像素，那么仿真透镜信息生成处理结束。
<聚光处理>
图51是示出由图3的聚光处理部38执行的聚光处理略图的视图。
与图37类似，图51描绘当相对于图像摄取装置11的前面从右面看真实空间时的略图，真实空间的图像将通过构成图像摄取装置11作为虚拟透镜的相机单元21i摄取。
聚光处理部38执行当从入射光线再现部36提供的光线当中因冲突判定而残余的光线通过仿真透镜在虚拟传感器上形成图像时使用来自仿真透镜信息生成部37的透镜信息来判定图像形成值并将图像形成值相加在虚拟传感器上的处理作为聚光处理。
图52是示出从聚光处理当中判定图像形成值的处理实例的视图。
应当注意，在图52中，为了避免图示变得复杂，仿真透镜的透镜区域分割成5×5个透镜区域单元。
如上参照图43所述，从真实空间点发出并入射到仿真透镜的光线可能不一定到达虚拟传感器。换言之，在入射到仿真透镜的光线当中存在到达虚拟传感器的光线和未到达虚拟传感器的光线。
现在，在从真实空间点发出并入射到仿真透镜的光线当中到达虚拟传感器的光线入射到的透镜区域单元的区被称为有效光线区。
在图52中，在关于从某个真实空间点(x，y，z)发出的光线的5×5个透镜区域单元当中在中心部分处的3×3个透镜区域单元rp1至rp9是有效光线区。
此外，在图52中，从真实空间点(x，y，z)发出并通过透镜区域的网格点p#i的光线到达的分布区域到达点是记录PSF强度分布的分布区域的分布区域单元q#i。
可以根据PSF角分量信息来识别成为从真实空间点(x，y，z)发出并通过透镜区域的网格点p#i的光线到达的分布区域到达点的分布区域单元q#i。
在图52中，从真实空间点(x，y，z)发出并通过透镜区域单元rp1的光线BL到达PSF强度分布(已经记录PSF强度分布的分布区域)的对应区域rp1。
这里，透镜区域单元rp1是顶点在网格点p1、p2、p5和p6处的透镜区域单元。
此外，在图52中，从真实空间点(x，y，z)发出并通过网格点p1、p2、p5和p6的光线到达记录PSF强度分布的分布区域的分布区域单元q1、q2、q5和q6。顶点在分布区域单元q1、q2、q5和q6处的区域是对应区域rq1。
根据PSF角分量信息，识别从真实空间点(x，y，z)发出并通过网格点p1、p2、p5和p6的光线分别到达记录PSF强度分布的分布区域的分布区域单元q1、q2、q5和q6。因此，识别通过顶点在网格点p1、p2、p5和p6处的透镜区域单元rp1的光线BL到达顶点在分布区域单元q1、q2、q5和q6处的对应区域rq1。
在图52中，对应区域rq#j是从真实空间点(x，y，z)发出并通过透镜区域单元rp#j的光线的对应区域。
聚光处理部38使用PSF角分量信息来指定从真实空间点(x，y，z)发出并通过透镜区域单元rp1的光线将要到达的对应区域rq1。
然后，当光线BL通过仿真透镜在虚拟传感器上形成图像时，聚光处理部38将分配给光线BL的辉度和对应区域rq1中的PSF强度分布(即，记录在构成对应区域rq1的分布区域单元(的位置)中的PSF强度分布)的乘积判定为图像形成值。
如上所述，因为光线BL的图像形成值是分配给光线BL的辉度和记录在构成对应区域rq1的分布区域单元中的每个分布区域单元中的PSF强度分布的乘积，所以这种图像形成值具有粒度是分布区域单元的分布。
类似地，对于从真实空间点(x，y，z)发出并通过除透镜区域单元rp1以外的透镜区域单元的光线，聚光处理部38也判定图像形成值。
应当注意，在从真实空间点(x，y，z)发出并入射到5×5个透镜区域单元的光线当中，入射到不是有效光线区域的透镜区域单元的这些光线(这种光线以下也称为无效光线)未到达虚拟传感器。因此，这种无效光线入射到的透镜区域单元没有无效光线将要到达的对应区域。因此，可以只对于通过形成有效光线区域的透镜区域单元rp1至rp9的光线判定图像形成值。
图53是示出从聚光处理当中判定图像形成值的不同处理实例的视图。
应当注意，在图53中，与图52的元件相同的元件由相同附图标记表示。
在图53中，从真实空间点(x，y，z)发出的光线未到达在5×5个透镜区域单元中在中心部分处的3×3个透镜区域单元rp1至rp9(是有效光线区域)当中的透镜区域单元rp7至rp9，这是因为透镜区域单元rp7至rp9被相对于真实空间点(x，y，z)存在于该侧上的物体阻挡。
因此，在图53中，基本上只对于通过形成有效光线区域的透镜区域单元rp1至rp9当中从真实空间点(x，y，z)发出的光线到达的透镜区域单元rp1至rp6的光线中的每个光线判定图像形成值(的分布)。
图54是示出从聚光处理当中把图像形成值(的分布)相加到虚拟传感器的处理实例的视图。
如上参照图52所述，从真实空间点(x，y，z)发出的光线的图像形成值表示粒度是分布区域单元的分布。现在，假设为了便于说明，从真实空间点(x，y，z)发出的光线的图像形成值的分布被记录在记录用来判定图像形成值的PSF强度分布的分布区域中。换言之，假设从真实空间点(x，y，z)发出的光线的图像形成值被以分布区域单元为单位记录在记录用来判定图像形成值的PSF强度分布的分布区域中。
聚光处理部38对于真实空间点(x，y，z)使用图像平面间距来调整分布区域的比例，使得使记录从真实空间点(x，y，z)发出的光线的图像形成值的分布的分布区域的比例与虚拟传感器的比例一致。
特定地，如果假设图像平面间距为IP且虚拟传感器的像素间距为PP，那么聚光处理部38执行将记录光线的图像形成值的分布的分布区域缩小(或扩大)到分布区域的比例调整的IP/PP倍的处理。
此外，聚光处理部38根据由图像平面偏移信息表示的图像平面偏移位置为真实空间点(x，y，z)执行从真实空间点(x，y，z)发出的光线通过仿真透镜聚集在虚拟传感器上的位置的定位。
特定地，聚光处理部38执行比例调整后的分布区域(从真实空间点(x，y，z)发出的光线的图像形成值的分布记录在该分布区域中)和虚拟传感器之间的定位，使得分布区域的中心点CP和虚拟传感器的图像平面偏移位置相互重合。
在聚光处理部38执行记录图像形成值的分布的分布区域的比例调整而且以如上所述的这种方式执行比例调整后的分布区域和虚拟传感器之间的定位之后，聚光处理部38将分布在分布区域中的图像形成值以虚拟传感器的像素为单位加在虚拟传感器上。
应当注意，可以以任何顺序执行图像形成值(已经记录图像形成值的分布区域)的比例调整及定位，或可以同时执行图像形成值(已经记录图像形成值的分布区域)的比例调整及定位。
图55是描绘图3的聚光处理部38的构造实例的方块图。
参照图55，聚光处理部38包括真实空间点选择部141、图像形成值计算部142、比例调整部143、图像形成位置识别部144和加法部145。
真实空间点选择部141参照从视差信息生成部31(参照图3)提供给聚光处理部38的多层视差图从与构成基准图像HD1的N个像素pix1至pix#N和可以登记到多层视差图中的DPN个视差d的组合对应的最大真实空间点数量N×DPN个真实空间点当中选择关注真实空间点。
图像形成值计算部142使用从仿真透镜信息生成部34提供给聚光处理部38的透镜信息中的PSF强度分布和PSF角分量信息来判定分布区域，在从入射光线再现部36提供给聚光处理部38的光线当中从被真实空间点选择部131选定的关注真实空间点发出的光线的图像形成值的分布被记录在该分布区域中，并将分布区域提供给比例调整部143。
比例调整部143使用从仿真透镜信息生成部34提供给聚光处理部38的透镜信息中的图像平面间距来调整分布区域的比例，从图像形成值计算部142提供的图像形成值的分布被记录在该分布区域中，并将调整比例的分布区域提供给图像形成位置识别部144。
图像形成位置识别部144根据从仿真透镜信息生成部34提供给聚光处理部38的透镜信息中的图像平面偏移信息来识别作为虚拟传感器上的图像形成位置的图像平面偏移位置，通过仿真透镜的光线在该图像形成位置上形成图像，并将所识别的图像平面偏移位置与来自比例调整部143的比例调整后的分布区域一起提供给加法部145。
加法部145具有作为虚拟传感器的内置存储器，并根据来自图像形成位置识别部144的图像平面偏移位置来执行来自比例调整部143的比例调整后的分布区域和虚拟传感器的定位(图像形成值将要相加的虚拟传感器上的位置的识别)。
此外，加法部145(累积地)将在与虚拟传感器定位之后记录在分布区域中的图像形成值以虚拟传感器的像素为单位相加在虚拟传感器上。
然后，加法部145将像素值由在虚拟传感器上(即，在存储器上)获得的图像形成值的相加结果提供的图像作为仿真图像提供给显示装置13(图1)。
图56是示出由图55的聚光处理部38执行的聚光处理实例的流程图。
应当注意，在本实施例中，为了减少透镜信息的信息量，只为关注焦点位置生成透镜信息，如上参照图50所述。因此，在假设当生成透镜信息时焦点位置设定为关注焦点位置的情况下执行聚光处理。
然而，可以预先为Fmax个焦点位置(图37)中的每个焦点位置生成透镜信息。在这种情况下，聚光处理部38设定关注焦点位置并可以使用关于关注焦点位置的透镜信息来执行聚光处理。
可选择地，在聚光处理部38设定关注焦点位置之后，仿真透镜信息生成部37可以生成关于关注焦点位置的透镜信息。
在步骤S151中，真实空间点选择部141获取从视差信息生成部31提供的多层视差图。此后，处理进入到步骤S152。
在步骤S152中，真实空间点选择部141从基准图像HD1的像素当中选择尚未选定为关注像素的像素作为关注像素。此后，处理进入到步骤S153。
在步骤S153中，真实空间点选择部141从登记在来自视差信息生成部31的多层视差图中的关注像素的视差当中选择尚未选定为关注视差的一个视差作为关注视差。此后，处理进入到步骤S154。
在步骤S154中，真实空间点选择部141选择与具有关注视差的关注像素对应的真实空间点作为关注真实空间点。此后，处理进入到步骤S155。
在步骤S155中，图像形成值计算部142从仿真透镜的透镜区域单元当中选择尚未选定为关注透镜区域单元的一个透镜区域单元作为关注透镜区域单元。此后，处理进入到步骤S156。
在步骤S156中，图像形成值计算部142从从入射光线再现部36提供的光线当中获取从关注真实空间点朝向关注透镜区域单元的光线作为关注光线。此后，处理进入到步骤S157。
在步骤S157中，图像形成值计算部142判定关注光线是否从关注真实空间点到达仿真透镜。
如果在步骤S157中判定关注光线到达仿真透镜，即，当分配给关注光线的视差(通过如上参照图33至图35所述的入射光线再现处理所分配的视差)等于关注视差时，那么处理进入到步骤S158。
在步骤S158中，图像形成值计算部142、比例调整部143、图像形成位置识别部144和加法部145为到达仿真透镜的关注光线(即，因冲突判定而残余的关注光线)执行下文所述的光线相加处理。此后，处理进入到步骤S159。
另一方面，如果在步骤S157中判定关注光线未到达仿真透镜，即，如果分配给关注光线的视差(通过如上参照图33至图35所述的入射光线再现处理所分配的视差)不等于关注视差，那么处理跳过步骤S158并进入到步骤S159。因此，当关注光线未到达仿真透镜时，不对关注光线执行光线相加处理。
在步骤S159中，图像形成值计算部142判定仿真透镜的透镜区域单元是否已经全部被选定为关注透镜区域单元。
如果在步骤S159中判定仿真透镜的透镜区域单元尚未全部选定为关注透镜区域单元，那么处理返回到步骤S155，此后，重复类似处理。
另一方面，如果在步骤S159中判定仿真透镜的透镜区域单元已经全部选定为关注透镜区域单元，那么处理进入到步骤S160。
在步骤S160中，真实空间点选择部141判定登记在多层视差图中的关注像素的视差是否已经全部被选定为关注视差。
如果在步骤S160中判定登记在多层视差图中的关注像素的视差尚未全部选定为关注视差，那么处理返回到步骤S153，此后，重复类似处理。
另一方面，如果在步骤S160中判定登记在多层视差图中的关注像素的视差已经全部选定为关注视差，那么处理进入到步骤S161。
在步骤S161中，真实空间点选择部141判定基准图像HD1的像素是否已经全部被选定为关注像素。
如果在步骤S161中判定基准图像HD1的像素尚未全部选定为关注像素，那么处理返回到步骤S152。此后，重复类似处理。
另一方面，如果在步骤S161中判定基准图像HD1的像素已经全部选定为关注像素，那么加法部145将通过上述处理而获得且具有由图像形成值在虚拟传感器上的相加结果提供的像素值的图像作为仿真图像提供给显示装置13(图1)，从而结束聚光处理。
图57是示出在图56的步骤S158中执行的光线相加处理实例的流程图。
在步骤S171中，图像形成值计算部142使用如上参照图52和图53所述来自仿真透镜信息生成部37关于关注真实空间点(与关注真实空间点对应的关注像素和关注视差)(关于关注焦点位置f)的PSF强度分布(已经记录PSF强度分布的分布区域)及PSF角分量信息来判定作为记录关注光线到达的PSF强度分布的分布区域上的位置的对应区域。
此外，如上参照图52和图53所述，图像形成值计算部142将对应区域的PSF强度分布和分配给关注光线的辉度(通过如上参照图33至图35所述的入射光线再现处理所分配的辉度)的乘积判定为关注光线的图像形成值的(分布)。
然后，图像形成值计算部142将记录关注光线的图像形成值的分布区域提供给比例调整部143。此后，处理从步骤S171进入到步骤S172。
在步骤S172中，如上参照图54所述，比例调整部143使用来自仿真透镜信息生成部34的关于关注真实空间点(关于关注焦点位置f)的图像平面间距来缩小或扩大记录来自图像形状值计算部142的图像形成值的分布的分布区域以将分布区域的比例调整到与虚拟传感器的比例一致的比例。
此外，比例调整部143将比例调整后的分布区域通过图像形成位置识别部144提供给加法部145。此后，处理从步骤S172进入到步骤S173。
在步骤S173中，图像形成位置识别部144根据来自仿真透镜信息生成部34的关于关注真实空间点(关于关注焦点位置f)的图像平面偏移信息来识别图像平面偏移位置，该图像平面偏移位置是关注光线通过仿真透镜在虚拟传感器上形成图像的图像形成位置，并将图像平面偏移位置提供给加法部145。此后，处理进入到步骤S174。
在步骤S174中，加法部145根据来自图像形成位置识别部144的图像平面偏移位置来执行通过比例调整部143获得的比例调整后的分布区域和虚拟传感器之间的定位。
特定地，加法部145执行比例调整后的分布区域和虚拟传感器之间的定位，使得比例调整后的分布区域的中心点CP(图54)和虚拟传感器的图像平面偏移位置相互重合。
然后，加法部145将在与虚拟传感器定位之后记录在分布区域中的图像形成值以虚拟传感器的像素为单位相加在虚拟传感器上。特定地，加法部145把作为虚拟传感器的存储器的存储值和图像形成值相加并用通过加法而获得的加法值重写存储器的存储值。应当注意，当聚光处理(图56)开始时，作为虚拟传感器的存储器的存储值被初始化为零。
光线相加处理随即结束，且处理返回。
如上所述，在透镜仿真部35(图3)中，入射光线再现部46再现因冲突判定而残余并将要进入虚拟透镜的光线。
此外，仿真透镜信息生成部37生成透镜信息，即，PSF强度分布、图像平面间距、PSF角分量信息和图像平面偏移信息。
此外，聚光处理部38将PSF强度分布和在由PSF角分量信息表示的PSF强度分布的位置处的光线辉度的乘积判定为当因冲突判定而残余的光线中的每个光线通过仿真透镜在虚拟传感器上形成图像时的图像形成值。
此外，聚光处理部38根据图像平面间距来调整光线的图像形成值的分布的比例以使该比例与虚拟传感器的比例一致。
然后，聚光处理部38根据图像平面偏移位置来执行虚拟传感器上的位置(图像形成值将要相加在该位置处)的定位并执行图像形成值在虚拟传感器上的相加，然后生成像素值由通过加法而获得的加法值给出的仿真图像。
根据如上所述透镜仿真部35的这种处理，通过数字信号处理来再现与通过实际光学透镜的聚光等效的聚光，因此，可以生成仿真图像，该仿真图像再现(反映)实际光学透镜的模糊度或其他聚光特性。
因此，即使用户不购买实际光学透镜，也可以享受用户使用光学透镜执行图像摄取的这种高品质摄取体验(使用高品质光学透镜执行图像摄取的体验)。
<透镜信息的信息量的减少>
图58是示出透镜信息的信息量减少略图的视图。
图58A描绘在实际光学透镜的透镜信息当中的PSF强度分布实例。
特定地，图58A示意性地描绘在实际图像传感器上的图像形成位置(光线通过实际光学透镜在该图像形成位置处形成图像)和施加于在图像形成位置处形成图像的光线的PSF强度分布之间的关系。
如上参照图38所述，PSF强度分布根据焦点位置f、图像形成位置处的图像高度(离光轴的距离)和到摄像体(真实空间点)的距离(视差)而不同。
特定地，例如，如果实际图像传感器上的图像形成位置的图像高度(在图像形成位置处形成图像的真实空间点离光轴的距离)不同，那么施加于从在图像形成位置处形成图像的真实空间点发出的光线的实际光学透镜的PSF强度分布不同。
因此，在实际图像传感器中，如果图像形成位置的图像高度不同，那么实际光学透镜的PSF强度分布提供不同的无穷大的信息。
虽然以如上所述的这种方式，如果图像形成位置的图像高度不同，那么PSF强度分布不同，但是反过来说，在图像高度相同的情况下，即，在真实空间点位于离光轴相同距离的情况下，除非焦点位置f和视差(到真实空间点的距离)变化，否则PSF强度分布是相同的。
特定地，为了简化说明，现在假设焦点位置f和视差是固定的。
当关于与图像传感器的某个图像高度r的某个位置pos1对应的真实空间点的PSF强度分布绕光轴旋转了预定角度a时，在位置pos1绕光轴旋转了预定角度a之后关于与位置pos2对应的真实空间点的PSF强度分布与旋转后的PSF强度分布一致。
因为当关于与位置pos1对应的真实空间点的PSF强度分布绕光轴旋转了预定角度a时，关于与位置pos2对应的真实空间点的PSF强度分布与旋转后的PSF强度分布一致，如上所述，所以关于与位置pos2对应的真实空间点的图像平面间距与关于与位置pos1对应的真实空间点的图像平面间距一致。
此外，当关于与位置pos1对应的真实空间点的PSF角分量信息绕光轴旋转了预定角度a时，关于与位置pos2对应的真实空间点的PSF角分量信息与旋转后的PSF角分量信息一致。
此外，当关于与位置pos1对应的真实空间点的图像平面偏移信息绕光轴旋转了预定角度a时，关于与位置pos2对应的真实空间点的图像平面偏移信息(由图像平面偏移信息表示的图像平面偏移位置)与旋转后的图像平面偏移信息一致。
如上所述，在焦点位置f和视差是固定的的情况下，透镜信息在与图像高度相同的图像传感器的位置对应的真实空间点当中是相同的。
因此，为了减少透镜信息的信息量，仿真透镜信息生成部37可以通过不是为与虚拟传感器的所有像素对应的真实空间点而是只为与作为虚拟传感器的平面的一部分的多个位置的多个信息点对应的真实空间点生成透镜信息。
特定地，仿真透镜信息生成部37将例如从虚拟传感器(光轴)的中心在虚拟传感器的平面上延伸的一个预定轴(的真实空间点)判定为用于生成透镜信息的目标的透镜信息生成轴，并将透镜信息生成轴上的多个位置(与多个位置位置对应的真实空间点)设定为用于生成透镜信息的信息点。
然后，仿真透镜信息生成部37生成关于透镜信息生成轴的信息点(与信息点对应的真实空间点)的透镜信息。
图58B描绘透镜信息生成轴的实例。
在图58B中，从虚拟传感器的中心沿向上方向延伸的一个轴形成透镜信息生成轴。
当绕虚拟传感器的中心执行旋转使得透镜信息生成轴旋转了等于旋转的旋转角度时，为如上所述的这种透镜信息生成轴的信息点生成的透镜信息可以例如应用于从与与旋转后的透镜生成轴一致的虚拟传感器的位置对应的真实空间点发出的光线的聚光处理。
图59是描绘透镜信息生成轴的特定实例的视图。
现在，如图59所示，从虚拟传感器的中心朝向虚拟传感器的对角线处的一个像素的轴被称为对角线轴。
在图59中，多个位置(诸如15个位置)以相等距离设定为对角线轴上的信息位置。
此外，在图59中，对角线轴(信息点设定为对角线轴)绕虚拟传感器的中心旋转，使得对角线轴指向向上方向，且旋转后的对角线轴是透镜信息生成轴。
因此，在图59中，透镜信息生成轴是具有0宽度和等于虚拟传感器的对角线的长度的1/2的垂直长度(对角线位置处的像素之间的距离)并从虚拟传感器的中心沿垂直方向(向上方向)延伸的线段。
仿真透镜信息生成部37可以只为与如上所述的这种透镜信息生成轴的信息点对应的真实空间点生成透镜信息。与透镜信息生成轴的信息点对应的真实空间点是由x＝0表示的平面中的点。
应当注意，虽然15个或相同数量的信息点就透镜信息当中的PSF强度分布、PSF角分量信息和图像平面间距而言足够，但是对于图像平面偏移信息，15个或相同数量的信息点在聚光处理中有时使仿真透镜的聚光特性的再现性劣化。
因此，对于图像平面偏移信息，可以采用通过将从虚拟传感器的中心到位于对角线处的一个像素的距离除以虚拟传感器的像素间距而获得的值(接近于虚拟传感器的对角线上的像素数量的1/2的值)等作为在透镜信息生成轴上将要提供的信息点数量。
这里，如果为与构成虚拟传感器的N个像素pix1至pix#N和为Fmax个焦点位置f中的每个焦点位置可以登记到视差图中的DPN个视差d的N×DPN个组合对应的真实空间点生成透镜信息，如上参照图40、图41、图45和图48所述，那么透镜信息的数组数量变为如下所述的这种巨大数量。
特定地，PSF强度分布的数组数量最多为Fmax×N×DPN×PX×PY，如上参照图40所述。图像平面间距的数组数量最多为Fmax×N×DPN，如上参照图41所述。PSF角分量信息的数组数量最多为Fmax×N×DPN×(PX+1)×(PY+1)，如上参照图45所述。图像平面偏移信息的数组数量最多为Fmax×N×DPN，如上参照图48所述。
应当注意，PX和PY分别表示构成透镜区域的透镜区域单元的水平(水平方向)数量和垂直(垂直方向)数量，如上参照图42所述。
另一方面，如果透镜信息生成轴上的信息点数量表示为Ninfo，那么透镜信息的数组数量为如下所述的这种数量。
特定地，PSF强度分布的数组数量最多为Fmax×Ninfo×DPN×PX×PY。图像平面间距的数组数量最多为Fmax×Ninfo×DPN。PSF角分量信息的数组数量最多为Fmax×Ninfo×DPN×(PX+1)×(PY+1)。图像平面偏移信息的数组数量最多为Fmax×Ninfo×DPN。
因此，当只为透镜信息生成轴的信息点生成透镜信息时，与在为与构成虚拟传感器的N个像素pix1至pix#N和为Fmax个焦点位置f中的每个焦点位置可以登记到视差图中的DPN个视差d的N×DPN个组合对应的真实空间点生成透镜信息的情况下透镜信息的信息量相比，透镜信息的信息量可以减少到Ninfo/N。
例如，如果虚拟传感器的像素数量N为1892×1052且信息点的数量Ninfo为15，那么透镜信息的信息量可以减少到15/(1892×1052)。
因此，利用透镜信息生成轴，可以通过减少数据量来再现仿真透镜的模糊度或其他聚光特性。
图60是描绘在只为透镜信息生成轴的信息点生成透镜信息的情况下图3的仿真透镜信息生成部37的构造实例的方块图。
应当注意，图60中，与图49中的元件相同的元件由相同附图标记表示，并在以下说明中适当地省略对相同元件的说明。
参照图60，仿真透镜信息生成部37包括真实空间点选择部231、信息计算部132和焦点位置选择部133。
因此，图60的仿真透镜信息生成部37和图49的情况的共同点在于仿真透镜信息生成部37包括信息计算部132和焦点位置选择部133。
然而，图60的仿真透镜信息生成部37和图49的情况的不同点在于仿真透镜信息生成部37包括真实空间点选择部231代替真实空间点选择部131。
真实空间点选择部231参照从视差信息生成部31(图3)提供的多层视差图从与虚拟传感器上的透镜信息生成轴的Ninfo个信息点和可以登记到多层视差图中的DPN个视差d的组合对应的Ninfo×DPN个真实空间点当中选择关注真实空间点。
图61是示出由图60的仿真透镜信息生成部37执行的仿真透镜信息生成处理实例的流程图。
在步骤S211中，与在图50的步骤S141中类似，焦点位置选择部133从Fmax个焦点位置f当中选择关注焦点位置。此后，处理进入到步骤S212。
在步骤S212中，与在图50的步骤S142中类似，真实空间点选择部231获取从视差信息生成部31提供的多层视差图。此后，处理进入到步骤S213。
在步骤S213中，真实空间点选择部231设定将要用于生成透镜信息当中的PSF强度分布、PSF角分量信息和图像平面间距的透镜信息生成轴。此后，处理进入到步骤S214。
特定地，真实空间点选择部231在垂直方向(向上方向)上设定透镜信息生成轴(从设定为虚拟透镜的中心的起始点开始)，该透镜信息生成轴具有预先判定的预定数量(例如，15等)的信息点且该透镜信息生成轴将例如虚拟传感器的最大图像高度(从虚拟传感器的中心到对角线上的一个像素的距离)等分。
在步骤S214中，真实空间点选择部231从透镜信息生成轴的信息点当中选择尚未选定为关注信息点的一个信息点作为关注信息点。此后，处理进入到步骤S215。
在步骤S215中，真实空间点选择部231从登记在来自视差信息生成部31的多层视差图中并可以登记到关注信息点的位置处的像素(靠近关注信息点的像素)中的视差当中选择尚未选定为关注视差的一个视差作为关注视差。此后，处理进入到步骤S216。
在步骤S216中，真实空间点选择部231选择与具有关注视差的关注信息点(虚拟传感器的平面上的关注信息点的位置)对应的真实空间点作为关注真实空间点。此后，处理进入到步骤S217。
在步骤S217中，信息计算部132以与在图50的步骤S146中类似的方式为关注真实空间点(即，为关注焦点位置、关注信息点和关注视差的集合)判定PSF强度分布、图像平面间距和PSF角分量信息。此后，处理进入到步骤S218。
在步骤S218中，真实空间点选择部231判定可以登记到多层视差图中的视差是否已经全部被选定为关注视差。
如果在步骤S218中判定可以登记到多层视差图中的视差尚未全部选定为关注视差，那么处理返回到步骤S215，此后，重复类似处理。
另一方面，如果在步骤S218中判定可以登记到多层视差图中的视差已经全部选定为关注视差，那么处理进入到步骤S219。
在步骤S219中，真实空间点选择部231判定透镜信息生成轴的信息点是否已经全部被选定为关注信息点。
如果在步骤S219中判定透镜信息生成轴的信息点尚未全部选定为关注信息点，那么处理返回到步骤S214，此后，重复类似处理。
另一方面，如果在步骤S219中判定透镜信息生成轴的信息点已经全部选定为关注信息点，那么处理进入到步骤S220，此后，生成图像平面偏移信息。
在步骤S220中，真实空间点选择部231设定将要用于生成透镜信息中的图像平面偏移信息的透镜信息生成轴。此后，处理进入到步骤S221。
特定地，真实空间点选择部231在垂直方向上设定透镜信息生成轴(从设定为虚拟透镜的中心的起始点开始)，例如等于通过将虚拟传感器的最大图像高度除以虚拟传感器的像素间距而获得的值的数量的许多信息点等距设置在该透镜信息生成轴上。
在步骤S221中，真实空间点选择部231从透镜信息生成轴的信息点当中选择尚未选定为关注信息点的一个信息点作为关注信息点。此后，处理进入到步骤S222。
在步骤S222中，真实空间点选择部231从登记在来自视差信息生成部31的多层视差图中并可以登记到关注信息点的位置处的像素中的视差当中选择尚未选定为关注视差的一个视差作为关注视差。此后，处理进入到步骤S223。
在步骤S223中，真实空间点选择部231选择与具有关注视差的关注信息点对应的真实空间点作为关注真实空间点。此后，处理进入到步骤S224。
在步骤S224中，与在图50的步骤S146中类似，信息计算部132为关注真实空间点(即，为关注焦点位置、关注信息点和关注视差的集合)判定图像平面偏移信息。此后，处理进入到步骤S225。
在步骤S225中，真实空间点选择部231判定可以登记到多层视差图中的视差是否已经全部被选定为关注视差。
如果在步骤S225中判定可以登记到多层视差图中的视差尚未全部选定为关注视差，那么处理返回到步骤S222，此后，重复类似处理。
另一方面，如果在步骤S225中判定可以登记到多层视差图中的视差已经全部选定为关注视差，那么处理进入到步骤S226。
在步骤S226中，真实空间点选择部231判定透镜信息生成轴的信息点是否已经全部被选定为关注信息点。
如果在步骤S226中判定透镜信息生成轴的信息点尚未全部选定为关注信息点，那么处理返回到步骤S221，此后，重复类似处理。
另一方面，如果在步骤S226中判定透镜信息生成轴的信息点已经全部选定为关注信息点，那么仿真透镜信息生成处理结束。
在图61的仿真透镜信息生成处理中，以如上所述的这种方式判定关于与可以登记到多层视差图中的视差和透镜信息生成轴的信息点的集合对应的真实空间点的透镜信息。
图62是示出使用以如上所述的这种方式为透镜信息生成轴的信息点(与信息点对应的真实空间点)生成的透镜信息来执行的聚光处理实例的视图。
旋转透镜信息的方法(以下称为透镜信息旋转法)和旋转将要用于聚光处理的光线的方法(以下称为光线旋转法)可作为使用为透镜信息生成轴的信息点生成的透镜信息来执行聚光处理的方法。
现在，当虚拟传感器(的像素)或透镜信息生成轴绕虚拟传感器的中心旋转使得例如与某个真实空间点对应的虚拟传感器(位置)的像素位于透镜信息生成轴上时的角被称为重合旋转角ALPHA。
与真实空间点rsp对应的虚拟传感器的像素和透镜信息生成轴绕虚拟传感器的中心形成重合旋转角ALPHA。
在透镜信息旋转法和光线旋转法中，当虚拟传感器(的像素)或透镜信息生成轴绕虚拟传感器的中心旋转了重合旋转角ALPHA使得与真实空间点rsp对应的虚拟传感器的像素位于透镜信息生成轴上时，检测最靠近与真实空间点rsp对应的虚拟传感器的像素的信息点(以下称为对应信息点)。
这里，当绕虚拟传感器的中心旋转时旋转角的顺时针方向被判定为正方向。在这种情况下，通过使透镜信息生成轴绕虚拟传感器的中心旋转了重合旋转角+ALPHA或通过使虚拟传感器绕虚拟传感器的中心旋转了重合旋转角-ALPHA，与真实空间点rsp对应的虚拟传感器的像素位于透镜信息生成轴上。
下文中，为了简化说明，假设当在透镜信息生成轴和虚拟传感器之间检测到对应信息点时，例如，透镜信息生成轴旋转了重合旋转角+ALPHA。
在透镜信息旋转法和光线旋转法中，当透镜信息生成轴绕虚拟传感器的中心旋转了重合旋转角+ALPHA时，最靠近与真实空间点rsp对应的虚拟传感器的像素的信息点被检测为对应信息点。
然后，将关于对应信息点(与信息点对应的真实空间点)的透镜信息应用于从真实空间点rsp发出的光线，执行聚光处理。
然而，在透镜信息旋转法中，关于对应信息点的透镜信息(中的PSF强度分布、PSF角分量信息和图像平面偏移信息)旋转了重合旋转角+ALPHA并应用于从真实空间点rsp发出的光线。
同时，在光线旋转法中，从真实空间点rsp发出的光线旋转了重合旋转角-ALPHA，且关于对应信息点的透镜信息应用于旋转后的光线。
图62描绘通过透镜信息旋转法的聚光处理实例。
图62A描绘在与关注真实空间点对应的虚拟传感器的关注像素是透镜信息生成轴上的像素(以下称为轴上像素)的情况下在聚光方法中的图像形成值计算实例。
特定地，图62A描绘关于关注像素(关于与关注真实空间点对应的虚拟传感器)的对应信息点的PSF强度分布(已经记录PSF强度分布的分布区域)实例。
在图62A中，入射到透镜区域单元U1的光线到达PSF强度分布的对应区域UC1。
在与关注真实空间点对应的虚拟传感器的关注像素是轴上像素的情况下，对于从关注真实空间点发出并入射到透镜区域单元U1的光线，照原样(不旋转)使用关于与关注像素对应的信息点的PSF强度分布，且分配给入射到透镜区域单元U1的光线的辉度和对应区域C1的PSF强度分布的乘积被判定为图像形成值。
图62B描绘在与关注真实空间点对应的虚拟传感器的关注像素是当透镜信息生成轴例如绕虚拟传感器的中心旋转了90度时由透镜信息生成轴提供的直线上的像素(该像素也称为90度旋转像素)的情况下在聚光处理中的图像形成值计算实例。
在图62B中，作为关注像素的90度旋转像素的重合旋转角+ALPHA为90度。
现在，假设与作为关注像素的90度旋转像素对应的信息点与在图62A的情况下与轴上像素对应的信息点一致。
在这种情况下，根据透镜信息旋转法，对于从关注真实空间点发出的光线，当关于与关注像素对应的信息点的PSF强度分布例如绕记录PSF强度分布的分布区域的中心旋转了90度(90度是重合旋转角+ALPHA)时，使用旋转后的PSF强度分布来判定图像形成值。
对于旋转后的PSF强度分布(已经记录PSF强度分布的分布区域)，当透镜区域单元U1绕光轴旋转了90度(90度是重合旋转角+ALPHA)时，入射到位于透镜区域单元U1的位置处的透镜区域单元U2的光线在旋转之后到达PSF强度分布的对应区域UC1。
因此，在关注像素是90度旋转像素的情况下，分配给入射到透镜区域单元U2的光线的辉度和对应区域UC1的PSF强度分布的乘积在透镜信息旋转法中被判定为从关注真实空间点发出并入射到透镜区域单元U2的光线的图像形成值。
图63描绘根据光线旋转法的聚光处理实例。
在与关注真实空间点对应的虚拟传感器的关注像素是轴上像素的情况下，在光线旋转法中，与在透镜信息旋转法中类似地判定从关注真实空间点发出的光线的图像形成值。
另一方面，在与关注真实空间点对应的虚拟传感器的关注像素例如是90度旋转像素的情况下，在光线旋转法中，当从关注真实空间点发出的光线旋转了重合旋转角-ALPHA＝-90度时，旋转后的光线被用来判定光线的图像形成值。
图63A描绘从关注真实空间点发出的光线的旋转。
在与关注真实空间点对应的虚拟传感器的关注像素是90度旋转像素的情况下，将要入射到仿真透镜的光线绕光轴旋转了重合旋转角-ALPHA＝-90度。
在图63A中，在光线旋转之前，光线R1从关注真实空间点入射到透镜区域单元U1，另一个光线R2从关注真实空间点入射到透镜区域单元U2。
透镜区域单元U2位于当透镜区域单元U1绕光轴旋转了重合旋转角+ALPHA＝+90度时的位置处。
因此，如果将要入射到仿真透镜的光线绕光轴旋转了重合旋转角-ALPHA＝-90度，那么在旋转之前已经入射到透镜区域单元U2的光线R2现在进入透镜区域单元U1。
图63B描绘关于对应信息点(关于作为关注像素的90度旋转像素)的PSF强度分布(已经记录PSF强度分布的分布区域)实例。
在图63B中，与在图62A的情况下类似，入射到透镜区域单元U1的光线到达PSF强度分布的对应区域UC1。
因为旋转后的光线R2进入透镜区域单元U1，所以光线R2的图像形成值VF被判定为光线R2的辉度和与透镜区域单元U1对应的区域UC1的PSF强度分布的乘积。
图63C描绘光线R2的图像形成值VF的反向旋转实例。
在光线旋转法中，当图像形成值VF相加到虚拟传感器时，图像形成值VF(记录图像形成值VF的分布区域)绕光轴反向旋转了光线已经旋转了的重合旋转角-ALPHA＝-90度。
特定地，在图像形成值VF(记录图像形成值VF的分布区域)绕光轴旋转了重合旋转角+ALPHA＝+90度之后，图像形成值VF(记录图像形成值VF的分布区域)相加在虚拟传感器上。
在使用为透镜信息生成轴生成的透镜信息来执行的聚光处理中，可以采用透镜信息旋转法或可以采用光线旋转法。
根据透镜信息旋转法，可以使聚光处理所需的算术运算量小于通过光线旋转法的算术运算量。
然而，在透镜信息旋转法中，仿真透镜的聚光特性的再现性可能会劣化。
特定地，在透镜信息旋转法中，透镜信息(图像平面间距除外)旋转了重合旋转角+ALPHA。
在这种情况下，例如由旋转后的透镜信息中的PSF角分量信息表示的分布区域到达点AP#i(图44)的坐标系是倾斜了重合旋转角+ALPHA的坐标系。因此，除了重合旋转角+ALPHA是90度的整数倍的情况，在可能成为由旋转前的PSF角分量信息表示的分布区域到达点AP#i的位置和可能成为由旋转后的PSF角分量信息表示的分布区域到达点AP#i的位置之间发生位移。
因为由PSF角分量信息表示的分布区域到达点AP#i以分布区域的分布区域单元(图40)为粒度表示光线到达的PSF强度分布上的位置，所以取决于粒度，在可能成为由旋转前的PSF角分量信息表示的分布区域到达点AP#i的位置和可能成为由旋转后的PSF角分量信息表示的分布区域到达点AP#i的位置之间出现的位移可能对仿真透镜的聚光特性的再现产生不良影响。
特定地，在由旋转后的PSF角分量信息表示的对应区域(图44)中，PSF强度分布有时与某个其他对应区域的PSF强度分布部分重叠，或对应区域有时缺失原本应该包括在某个对应区域中的PSF强度分布的一部分。
在PSF强度分布的重叠程度或缺失程度高的情况下，仿真透镜的聚光特性的再现性劣化。
因此，对于聚光处理，可以采用光线旋转法。
然而，如果在光线到达的PSF强度分布上由分布区域到达点AP#i表示的位置的粒度足够细，那么即使透镜信息旋转法用于聚光处理，也可以足够精确地再现仿真透镜的聚光特性。因此，在这种情况下，可以采用透镜信息旋转法。
图64是描绘使用在透镜信息生成轴上生成的透镜信息来执行聚光处理的聚光处理部38的构造实例的方块图。
应当注意，图64中，与图55的部分相同的部分由相同附图标记表示，并在以下说明中适当地省略对相同部分的说明。
参照图64，聚光处理部38包括真实空间点选择部141、图像形成值计算部242、比例调整部143、图像形成位置识别部244、加法部245和旋转处理部246。
因此，图64的聚光处理部38与图55的情况的相同点在于聚光处理部38包括真实空间点选择部141和比例调整部143。
然而，图64的聚光处理部38与图55的情况的不同点在于聚光处理部38包括图像形成值计算部242、图像形成位置识别部244和加法部245分别代替图像形成值计算部142、图像形成位置识别部144和加法部145。
此外，图64的聚光处理部38与图55的情况的不同点在于聚光处理部38还包括旋转处理部246。
图像形成值计算部242通过透镜信息旋转法或光线旋转法来判定记录从由真实空间点选择部131选定的关注真实空间点发出的光线的图像形成值的分布的分布区域并将分布区域提供给比例调整部143。
特定地，图像形成值计算部242根据光线旋转法使用从旋转处理部246提供的PSF强度分布和PSF角分量信息来判定记录在从旋转处理部246提供并旋转了重合旋转角-ALPHA的光线当中从由真实空间点选择部131选定的关注真实空间点发出的光线的图像形成值的分布的分布区域并将分布区域提供给比例调整部143。
可选择地，图像形成值计算部242根据透镜信息旋转法使用从旋转处理部246提供并旋转了重合旋转角+ALPHA的PSF强度分布和PSF角分量信息来判定记录从由真实空间点选择部131选定的关注真实空间点发出并从旋转处理部246提供的光线的图像形成值的分布的分布区域并将分布区域提供给比例调整部143。
图像形成位置识别部244根据从旋转处理部246提供的图像平面偏移信息或旋转了重合旋转角+ALPHA的图像平面偏移信息来识别作为虚拟传感器上的图像形成位置的图像平面偏移位置，通过仿真透镜的光线在该图像形成位置处形成图像，并将图像平面偏移位置与来自比例调整部143的比例调整后的分布区域一起提供给加法部245。
加法部245执行与图55的加法部145的处理类似的处理。
特定地，加法部245具有作为虚拟传感器的内置存储器并根据来自图像形成位置识别部244的图像平面偏移位置来执行来自比例调整部143的比例调整后的分布区域和虚拟传感器的定位。
此外，加法部245将记录在与虚拟传感器定位后的分布区域中的图像形成值以虚拟传感器的像素为单位相加在虚拟传感器上。
然后，加法部245将像素值由在虚拟传感器上(即，在存储器上)获得的图像形成值的相加结果给出的图像作为仿真图像提供给显示装置13(图1)。
应当注意，当执行通过透镜信息旋转法的聚光处理时，加法部245执行与图55的加法部145的处理类似的处理，如上所述。
另一方面，当执行通过光线旋转法的聚光处理时，当已经通过旋转处理部246旋转光线时，加法部245首先将定位后的分布区域(图像形成值记录在分布区域中)反向旋转了重合旋转角-ALPHA(即，旋转了重合旋转角+ALPHA)，然后将记录在旋转后的分布区域中的图像形成值相加在虚拟传感器上。
从入射光线再现部36(图3)提供光线给旋转处理部246，并从仿真透镜信息生成部34(图3)提供关于透镜信息生成轴的信息点的透镜信息给旋转处理部246。
当执行通过透镜信息旋转法的聚光处理时，当旋转透镜信息生成轴使得与由真实空间点选择部141选定的关注真实空间点对应的虚拟传感器的像素成为透镜信息生成轴上的像素时，旋转处理部246将在来自仿真透镜信息生成部34关于透镜信息生成轴的信息点的透镜信息当中的PSF强度分布、PSF角分量信息和图像平面偏移信息旋转了重合旋转角+ALPHA。
然后，旋转处理部246将旋转后的PSF强度分布和PSF角分量信息提供给图像形成值计算部242并将旋转后的图像平面偏移信息提供给图像形成位置识别部244。
此外，旋转处理部246将来自入射光线再现部36的光线在未旋转的情况下照原样提供给图像形成值计算部242。
另一方面，当执行通过光线旋转法的聚光处理时，当旋转虚拟传感器(的像素)使得与被真实空间点选择部141选定的关注真实空间点对应的虚拟传感器的像素成为透镜信息生成轴上的像素时，旋转处理部246将来自入射光线再现部36的光线旋转了重合旋转角-ALPHA。
然后，旋转处理部246将旋转后的光线提供给图像形成值计算部242。
此外，旋转处理部246将在来自仿真透镜信息生成部34关于透镜信息生成轴的信息点的透镜信息当中的PSF强度分布和PSF角分量信息在未旋转的情况下照原样提供给图像形成值计算部242并将图像平面偏移信息在未旋转的情况下照原样提供给图像形成位置识别部244。
图65是示出由图64的聚光处理部38执行的聚光处理实例的流程图。
应当注意，在本实施例中，为了减少透镜信息的信息量，只为关注焦点位置生成透镜信息，如上参照图61所述。因此，假设焦点位置设定为当生成透镜信息时的关注焦点位置，执行聚光处理。
然而，可以预先为Fmax个焦点位置(图37)中的每个焦点位置生成透镜信息。在这种情况下，聚光处理部38设定关注焦点位置并可以使用关于关注焦点位置的透镜信息来执行聚光处理。
可选择地，在由聚光处理部38设定关注焦点位置之后，仿真透镜信息生成部37可以为关注焦点位置生成透镜信息。
这里，在图65中，假设执行通过光线旋转法的聚光处理。
在步骤S251至步骤S254中，执行与在图56的步骤S151至步骤S154中的处理类似的处理。
特定地，真实空间点选择部141在步骤S152中获取从视差信息生成部31提供的多层视差图并在步骤S252中从基准图像HD1的像素当中选择尚未选定为关注像素的一个像素作为关注像素。
此外，在步骤S253中，真实空间点选择部141从登记在来自视差信息生成部31的多层视差图中的关注像素的视差当中选择尚未选定为关注视差的一个视差作为关注视差。然后，在步骤S254中，真实空间点选择部141选择与具有关注视差的关注像素对应的真实空间点作为关注真实空间点。
然后，处理从步骤S254进入到步骤S255，在步骤S255中，当旋转虚拟传感器使得与由真实空间点选择部141选定的关注真实空间点对应的虚拟传感器的像素成为透镜信息生成轴上的像素时，旋转处理部246计算重合旋转角-ALPHA。然后，处理进入到步骤S256。
在步骤S256中，旋转处理部246从仿真透镜的透镜区域单元当中选择尚未选定为关注透镜区域单元的一个透镜区域单元作为关注透镜区域单元。然后，处理进入到步骤S257。
在步骤S257中，旋转处理部246从从入射光线再现部36提供的光线当中获取从关注真实空间点朝向关注透镜区域单元的光线作为关注光线。然后，处理进入到步骤S258。
在步骤S258中，旋转处理部246将关注光线绕光轴旋转了在步骤S255中计算出的重合旋转角-ALPHA并将旋转后的关注光线提供给图像形成值计算部242。然后，处理进入到步骤S259。
在步骤S259中，图像形成值计算部242判定来自旋转处理部246的旋转后的关注光线是否从关注真实空间点到达仿真透镜。
如果在步骤S259中判定旋转后的关注光线到达仿真透镜，即，如果分配给旋转后的关注光线的视差(通过如上参照图33至图35所述的入射光线再现处理所分配的视差)等于关注视差，那么处理进入到步骤S260。
在步骤S260中，对于由图像形成值计算部242、比例调整部143、图像形成位置识别部244和加法部245判定为到达仿真透镜的旋转后的关注光线，即，对于通过旋转因冲突判定而残余的关注光线而获得的旋转后的关注光线，执行下文所述的光线相加处理。然后，处理进入到步骤S261。
另一方面，如果在步骤S259中判定旋转后的关注光线未到达仿真透镜，即，如果分配给旋转后的关注光线的视差不等于关注视差，那么处理跳过步骤S260并进入到步骤S261。因此，当旋转后的关注光线未到达仿真透镜时，不对旋转后的关注光线执行光线相加处理。
在步骤S261至步骤S263中，执行与在图56的步骤S159至步骤S161中的处理类似的处理。
特定地，在步骤S261中，旋转处理部246判定仿真透镜的透镜区域单元是否已经全部被选定为关注透镜区域单元。然后，如果判定仿真透镜的透镜区域单元尚未全部选定为关注透镜区域单元，那么处理返回到步骤S256，此后，重复类似处理。
另一方面，如果在步骤S261中判定仿真透镜的透镜区域单元已经全部选定为关注透镜区域单元，那么处理进入到步骤S262，在步骤S262中，真实空间点选择部141判定登记在多层视差图中的关注像素的视差是否已经全部被选定为关注视差。
如果在步骤S262中判定登记在多层视差图中的关注像素的视差尚未全部选定为关注视差，那么处理返回到步骤S253，此后，重复类似处理。
另一方面，如果在步骤S262中判定登记在多层视差图中的关注像素的视差已经全部选定为关注视差，那么处理进入到步骤S263，在步骤S263中，真实空间点选择部141判定基准图像HD1的像素是否已经全部被选定为关注像素。
如果在步骤S263中判定基准图像HD1的像素尚未全部选定为关注像素，那么处理返回到步骤S252，此后，重复类似处理。
另一方面，如果在步骤S263中判定基准图像HD1的像素已经全部选定为关注像素，那么加法部245将通过上述处理而获得的图像作为仿真图像提供给显示装置13(图1)，该图像中的像素值由虚拟传感器上的图像形成值的相加结果提供，从而结束聚光处理。
图66是示出在图65的步骤S260中执行的光线相加处理实例的流程图。
在步骤S271中，图像形成值计算部242从透镜信息生成轴的信息点当中检测当虚拟传感器的像素旋转了在图65的步骤S255中计算出的重合旋转角-ALPHA时作为最靠近与关注真实空间点对应的旋转后的虚拟传感器的像素(位置)的信息点的对应信息点。
此外，图像形成值计算部242从来自旋转处理部246关于透镜信息生成轴的信息点的透镜信息当中获取关于与对应信息点和关注视差对应的真实空间点的透镜信息。
然后，图像形成值计算部242从关于与对应信息点和关注视差对应的真实空间点的透镜信息当中使用关于关注焦点位置f的PSF强度分布(PSF强度分布记录在分布区域中)和PSF角分量信息来判定作为在记录PSF强度分布的分布区域上来自旋转处理部246的旋转后的关注光线到达的位置的对应区域。
此外，图像形成值计算部242将对应区域的PSF强度分布和分配给旋转后的关注光线的辉度(通过如上参照图33至图35所述的入射光线再现处理所分配的辉度)的乘积判定为旋转后的关注光线的图像形成值(的分布)。
然后，图像形成值计算部242将记录旋转后的关注光线的图像形成值的分布区域提供给比例调整部143。然后，处理从步骤S271进入到步骤S272。
在步骤S272中，比例调整部143从来自仿真透镜信息生成部34关于透镜信息生成轴的信息点的透镜信息当中获取关于与对应信息点和关注视差对应的真实空间点的透镜信息。
然后，比例调整部143从关于与对应信息点和关注视差对应的真实空间点的透镜信息当中使用关于关注焦点位置f的俯视图像间距来缩小或扩大记录来自图像形成值计算部242的图像形成值的分布的分布区域以调整分布区域的比例，以便与虚拟传感器的比例一致。
此外，比例调整部143将比例调整后的分布区域通过图像形成位置识别部244提供给加法部245。此后，处理从步骤S272进入到步骤S273。
在步骤S273中，图像形成位置识别部244从来自旋转处理部246关于透镜信息生成轴的信息点的透镜信息当中获取关于与对应信息点和关注视差对应的真实空间点的透镜信息。
然后，图像形成位置识别部244从关于与对应信息点和关注视差对应的真实空间点的透镜信息当中根据关于关注焦点位置f的图像平面偏移信息及重合旋转角-ALPHA(关注光线通过旋转处理部246旋转了重合旋转角-ALPHA)来识别作为虚拟传感器上的图像形成位置的图像平面偏移位置，旋转前的关注光线通过仿真透镜在该图像形成位置处形成图像，并将图像平面偏移位置提供给加法部245。然后，处理进入到步骤S274。
在步骤S274中，加法部245根据来自图像形成位置识别部244的图像平面偏移位置来执行通过比例调整部143获得的比例调整后的分布区域和虚拟传感器的定位。
特定地，加法部245执行比例调整后的分布区域和虚拟传感器的定位，使得比例调整后的分布区域的中心点CP(图54)和虚拟传感器的图像平面偏移位置相互重合。
此外，在步骤S274中，当关注光线通过旋转处理部246旋转时，加法部245将定位后的分布区域(图像形成值记录在分布区域中)绕光轴(或中心点CP)反向旋转了重合旋转角-ALPHA，即，绕光轴(或中心点CP)旋转了重合旋转角+ALPHA。然后，处理进入到步骤S275。
在步骤S275中，加法部245将记录在旋转后的分布区域中的图像形成值以虚拟传感器的像素为单位相加在虚拟传感器上。即，加法部245将作为虚拟传感器的存储器的存储值和图像形成值相加并用因加法而获得的加法值重写存储器的存储值。
光线相加处理随即结束，且处理返回。
如上所述，在为与作为虚拟传感器的平面的一部分的多个位置的多个信息点对应的真实空间点生成透镜信息并使用透镜信息来执行聚光处理的情况下，通过减少数据量可以精确地再现仿真透镜的模糊度或其他聚光特性。
应当注意，虽然在本实施例中，采用长度等于虚拟传感器的对角线长度的1/2且从虚拟传感器的中心沿垂直方向延伸的线段(图59)作为透镜信息生成轴，但是可以采用从虚拟传感器的中心延伸的任意一个轴作为透镜信息生成轴。
特定地，例如，可以采用将虚拟传感器的中心和虚拟传感器的对角线的一个像素相互连接的线段作为透镜信息生成轴。
此外，多个信息点并不限于将从虚拟传感器的中心延伸的透镜信息生成轴等分的多个信息点。
特定地，例如，可以采用排列在直线上或在虚拟传感器的平面的图像高度不同的情况下未排列在直线上的多个点作为多个信息点。应当注意，多个信息点的图像高度优选地在从零到虚拟传感器的图像高度的最大值的范围内均匀地散射。
图67是示出在执行通过光线旋转法的聚光处理(图65和图66)的情况下判定作为虚拟传感器上的图像形成位置的图像平面偏移位置的方法(在图66的步骤S273中识别图像形成位置的方法)的视图，旋转前的光线在该图像形成位置处形成图像。
这里，假设图像平面偏移位置例如由二维坐标系的坐标(x，y)表示，其中原点为虚拟传感器的左上角的像素且虚拟传感器的像素间距为1。
此外，假设图像平面偏移信息表示在x方向和y方向上离图像平面偏移位置的光轴(虚拟传感器的中心)SO的距离(微米)。
图像形成位置识别部244根据关于与具有关注视差的对应信息点对应的真实空间点的图像平面偏移信息及重合旋转角-ALPHA(关注光线通过旋转处理部246已经旋转了重合旋转角-ALPHA)来识别作为虚拟传感器上的图像形成位置的图像平面偏移位置(该位置以下也称为旋转前的图像平面偏移位置)，旋转前的关注光线在该图像形成位置处形成图像，如上结合图66的步骤S273所述。
这里，对应信息点是从虚拟传感器的中心SO沿向上方向延伸的传感器信息生成轴上的点，且关于与这种对应信息点和关注视差对应的真实空间点的图像平面偏移信息img_height表示在通过虚拟传感器的中心SO并沿垂直方向延伸的直线上从中心SO到位置A的距离。位置A是主光线通过仿真透镜到达的虚拟传感器上的位置，该主光线从与对应信息点和关注视差对应的真实空间点发出。
现在，假设虚拟传感器的水平宽度(左端像素和右端像素之间的距离)表示为宽度，虚拟传感器的像素间距(相邻像素之间的距离)表示为Sensor_pitch。
作为虚拟传感器上的图像形成位置(旋转前的关注光线在该图像形成位置处形成图像)的旋转前的图像平面偏移位置是当位置A反向旋转了重合旋转角-ALPHA(当关注光线已经旋转时)时的位置，即，旋转了重合旋转角+ALPHA的位置。
因此，根据表达式X＝width/2+(img_height×cos(90degrees-ALPHA))/Sensor_pitch可以判定旋转前的图像平面偏移位置的x坐标X。
也可以类似地判定旋转前的图像平面偏移位置的y坐标。
图像形成位置识别部244以如上所述的这种方式判定和识别旋转前的图像平面偏移位置(的x坐标和y坐标)。
然后，加法部245根据通过当关注光线旋转时将由关于与对应信息点和关注视差对应的真实空间点的图像平面偏移信息img_height表示的位置(图像平面偏移位置)A反向旋转了重合旋转角–ALPHA(通过使位置A旋转了重合旋转角+ALPHA)而获得的旋转前的图像平面偏移位置来执行比例调整后的分布区域和虚拟传感器的定位。
特定地，加法部245执行比例调整后的分布区域和虚拟传感器的定位，使得比例调整后的分布区域的中心点CP(图54)和虚拟传感器的旋转前的图像平面偏移位置相互重合。
应当注意，如上所述，因为通过旋转由关于与对应信息点和关注视差对应的真实空间点的图像平面偏移信息img_height表示的位置(图像平面偏移位置)来判定旋转前的图像平面偏移位置，所以出现由旋转引起的舍入误差。
旋转前的图像平面偏移位置的精度因这个舍入误差而降低，且在聚光处理中仿真透镜的聚光特性的再现性有时因旋转前的图像平面偏移位置的精度降低而劣化。
因此，为了抑制旋转前的图像平面偏移位置的精度降低，可以对于图像平面偏移信息(由图像平面偏移信息表示的图像平面偏移位置)执行插补。
在信息点的排列方向(垂直于光轴的方向)(图像高度的方向)上的插补和在视差方向上的插补可作为图像平面偏移信息(由图像平面偏移信息表示的图像平面偏移位置)的插补。
图68是示出在图像平面偏移信息(由图像平面偏移信息表示的图像平面偏移位置)的信息点的排列方向上的插补的视图。
使用关于与对应信息点和关注视差对应的真实空间点的透镜信息(该透镜信息以下仅称为关于对应信息点的透镜信息)来执行通过光线旋转法的聚光处理，该对应信息点是当与关注真实空间点对应的虚拟传感器的像素(位置)旋转了重合旋转角-ALPHA时最靠近旋转后的像素(位置)的信息点。
在图68中，当与关注真实空间点对应的虚拟传感器的像素(位置)pp旋转了重合旋转角-ALPHA时旋转后的像素(位置)pp’位于相邻信息点A和B之间，且作为最靠近旋转后的像素pp’的信息点的对应信息点是信息点B。
在这种情况下，例如，根据从旋转后的像素pp’分别到信息点A和B的距离a和b之比，执行使用关于信息点A和B的图像平面偏移位置ih1和ih2的插补作为在信息点的排列方向上的插补，旋转后的像素pp’夹置在信息点A和B之间。
特定地，在信息点的排列方向上的插补中，例如，根据表达式ih＝(ih1×b+ih2×a)/(a+b)，判定作为在信息点的排列方向上的插补值的图像平面偏移位置ih。
然后，使用图像平面偏移位置ih代替关于信息点B的图像平面偏移位置ih2作为在信息点的排列方向上的插补值以执行从关注真实空间点发出的光线的图像形成位置的定位，该信息点B是对应信息点。
图69是示出在图像平面偏移信息(由图像平面偏移信息表示的图像平面偏移位置)的视差方向上的插补的视图。
在本实施例中，例如，以1/4像素的精度判定视差，如上参照图6所述，并对1/4像素精度的视差进行取整和使用。
因此，虽然例如在图32等中，可以登记到视差图中的视差d为从最小值Dmin逐个像素地递增到最大值Dmax的DPN＝Dmax-Dmin+1个整数值，但是可以将1/4像素精度的视差登记在视差图中，并当将要使用登记在视差图中的视差时，对视差进行取整。
如上所述，在精度等于或小于诸如1/4像素精度的像素精度的视差登记在视差图中的情况下，在视差方向上的图像平面偏移信息的插补中，登记在视差图中精度等于或小于像素精度的视差可以在不对视差进行取整的情况下照原样使用。
例如，现在假设1/4像素精度的视差登记在视差图中。
在图61的仿真透镜信息生成处理中，通过选择可以登记到视差图中的视差作为关注视差，判定作为关于与关注信息点和关注视差对应的关注真实空间点的透镜信息的图像平面偏移信息(由图像平面偏移信息表示的图像平面偏移位置)。
从最小值Dmin逐个像素地递增到最大值Dmax的DPN＝Dmax-Dmin+1个整数值被用作可以登记到视差图中并通过仿真透镜信息生成处理选定为关注视差的视差。
因此，在仿真透镜信息生成处理中，为整数值的视差判定图像平面偏移位置。
在图69中，小于某个整数值的视差D的下一个大小的视差具有整数值D+1。然后，为整数值的视差D判定图像平面偏移位置ih1，并为下一个大小的整数值的视差D+1判定另一个图像平面偏移位置ih2。
另一方面，在图65的聚光处理中，从登记在视差图中的视差当中选择关注视差作为选自基准图像内的关注像素的视差(步骤S253)。
在这种情况下，对登记在视差图中的视差进行取整并选定为关注视差。
然后，在聚光处理中，使用关于与对应信息点和关注视差对应的真实空间点的透镜信息来执行光线相加处理(图66)。
对于在光线相加处理中使用的透镜信息内的图像平面偏移信息(由图像平面偏移信息表示的图像平面偏移位置)，可以使用登记在视差图中的视差在不对视差进行取整的情况下执行在视差方向上的插补。
特定地，在图69中，与对应信息点和关注视差对应的真实空间点的视差(关注视差)是D+0.75，D+0.75是1/4像素精度的视差。
这里，在登记在视差图中的视差是1/4像素精度的视差的情况下，D+0.25、D+0.5和D+0.75可作为从整数值的视差D到下一个整数值的视差D+1的1/4像素精度的视差。
当对登记在视差图中的视差进行取整并使用时，如果假设例如通过小数点后舍位来执行取整，那么在关注视差是D、D+0.25、D+0.5或D+0.75的情况下，关注视差都被取整为整数值D。
然后，对于取整为整数值D的关注视差使用图像平面偏移位置ih1来执行光线相加处理(图66)。
根据从关注视差D+0.75到整数值的视差D和D+1的距离0.75和0.25之比，执行使用整数值的视差D和D+1的图像平面偏移位置ih1和ih2的插补作为在视差方向上的插补，尚未取整的关注视差D+0.75夹置在视差D和D+1之间。
特定地，在视差方向上的插补中，根据表达式ih＝ih1×0.25+ih2×0.75，判定作为在视差方向上的插补值的图像平面偏移位置。
然后，使用作为在视差方向上的插补值的图像平面偏移位置ih代替取整为整数值D的关注视差的图像平面偏移位置ih1来执行光线相加处理(光线的图像形成位置的定位)。
在执行图像平面偏移信息(由图像平面偏移信息表示的图像平面偏移位置)的这种插补的情况下，在聚光处理中仿真透镜的聚光特性的再现性可以得到改良。
应当注意，对于图像平面偏移信息，可以只执行在信息点的排列方向上的插补和在视差方向上的插补中的一者或执行在信息点的排列方向上的插补和在视差方向上的插补中的两者。
<仿真结果>
图70是描绘因通过透镜仿真部35(图3)的透镜仿真处理而获得的仿真图像实例的视图。
图70描绘当拍摄真实空间的图像时从摄取图像获得的仿真图像，其中棒状物体obj2置于物体obj1的前面。
根据仿真图像，可以确定从被棒状物体obj2遮住的物体obj1的一部分发出的光线与物体obj2冲突且不能看到。
图71是描绘因通过透镜仿真部35的透镜仿真处理而获得的另一个仿真图像实例的视图。
应当注意，与图70类似，图71的仿真图像是从通过摄取真实空间的图像而获得的摄取图像获得的仿真图像，其中棒状物体obj2置于物体obj1的前面。
图71A描绘在不是采用主光线通过仿真透镜到达的虚拟传感器上的位置而是采用主光线通过虚拟透镜到达的虚拟传感器上的位置作为图像平面偏移位置的情况下的仿真图像。
在在聚光处理中，不是采用主光线通过仿真透镜到达的虚拟传感器上的位置而是采用主光线通过虚拟透镜到达的虚拟传感器上的位置作为图像平面偏移位置的情况下，主光线的图像形成值将要相加到的虚拟传感器的位置出现由虚拟透镜和仿真透镜之间的输入光瞳的位置位移引起的误差。因此，在图71A中，在仿真图像中，看到在内侧应该被棒状物体obj2遮住且不能看到的物体obj1的一部分。
图71B描绘在未执行图像平面偏移信息的插补的情况下的仿真图像。
在图71B中，可以确定，形成棒状物体obj2的轮廓并沿垂直方向延伸的线段因由图像平面偏移信息(由图像平面偏移信息表示的图像平面偏移位置)的旋转引起的舍入误差的影响而不均匀。
通过采用主光线通过仿真透镜到达的虚拟传感器上的位置作为图像平面偏移位置或通过执行图像平面偏移信息的插补，可以防止在仿真图像中出现如图71所示的这种状态。
<本技术所适用的计算机的说明>
虽然上述一系列处理可由硬件执行，但是也可由软件执行。在一系列处理由软件执行的情况下，构建软件的程序安装到通用计算机等中。
图72是描绘安装有用于执行上述一系列处理的程序的计算机的一个实施例的构造实例的方块图。
程序可预先记录到作为内置在计算机中的记录介质的硬盘405或ROM(只读存储器)403中。
可选择地，程序可存储(记录)在可移除记录介质411中。如上所述的这种可移除记录介质411可作为所谓软件包而提供。这里，例如，软盘、光盘只读存储器(CD-ROM)、磁光(MO)盘、数字多功能光盘(DVD)、磁盘、半导体存储器等可作为可移除记录介质411。
应当注意，除了从如上所述的这种可移除记录介质411安装到计算机中，程序可通过通信网络或广播网络下载到计算机中并安装到内置在计算机中的硬盘405中。特定地，程序可从下载站点例如通过用于数字卫星广播的人造卫星经由无线传输传输到计算机或通过诸如局域网(LAN)或因特网的网络经由有线传输传输到计算机。
计算机具有内置中央处理单元(CPU)402，且输入/输出接口410通过总线401连接到CPU 402。
如果用户等操作输入部407以通过输入/输出接口410输入指令给CPU402，那么执行存储在只读存储器(ROM)403中的程序。可选择地，CPU 402将存储在硬盘405中的程序加载到随机存取存储器(RAM)404中并执行程序。
因此，CPU 402根据上述流程图来执行处理或执行通过上述方块图的构造而执行的处理。然后，CPU 402根据需要将处理结果例如通过输入/输出接口410从输出部406输出，将处理结果从通信部408发送，或使处理结果记录在硬盘405等上。
应当注意，输入部407由键盘、鼠标、麦克风等构成。同时，输出部406由液晶显示器(LCD)、扬声器等构成。
这里，在本说明书中，由计算机根据程序执行的处理无需以如流程图中所述的顺序串行执行。特定地，将由计算机根据程序执行的处理包括并行或单独执行的处理(例如，通过并行处理或通过物体的处理)。
此外，程序可由单个计算机(处理器)处理或可由多个计算机以分布式方式处理。此外，程序可传输到远程计算机并由远程计算机执行。
此外，在本说明书中，术语系统表示多个部件(装置、模块(零件)等)的集合，且所有部件可以容纳在同一壳体中或可以不容纳在同一壳体中。因此，容纳在不同壳体中并通过网络相互连接的多个装置以及多个模块容纳在单个壳体中的一个装置是系统。
应当注意，本技术的实施例并不限于上述实施例，且在不脱离本技术的主题的情况下可以以各种方式进行改变。
例如，本技术可以采用云计算构造，其中由多个装置通过网络共享和协同处理一个功能。
此外，上文结合流程图所述的步骤可由单个装置执行或可由多个装置以共享方式执行。
此外，在一个步骤中包括多个处理的情况下，包括在一个步骤中的多个处理可由一个装置执行或可由多个装置以共享方式执行。
此外，本说明书中所述的效果是说明性的而非限制性的，且可显现其他效果。
应当注意，本技术可以采用如下所述的这种构造。
<1>一种图像处理装置，包括：
光线生成部，被构造为从真实空间中的真实空间点生成将要入射到具有由摄取多个视点的图像的多个图像摄取部构成的合成孔径的虚拟透镜的光线；和
辉度分配部，被构造为分配辉度给因用于判定在由所述光线生成部生成的光线入射到所述虚拟透镜之前所述光线是否与物体冲突的冲突判定而残余的光线。
<2>根据<1>所述的图像处理装置，其中所述光线生成部
将所述虚拟透镜分割成小区域的透镜区域单元，并
从所述真实空间生成将要入射到所述透镜区域单元的光线。
<3>根据<1>或<2>所述的图像处理装置，还包括：
冲突判定部，被构造为执行所述冲突判定。
<4>根据<3>所述的图像处理装置，其中
所述冲突判定部使用视差图来执行所述冲突判定，作为所述多个视点的图像之一的基准图像与其他图像的视差登记在该视差图中。
<5>根据<4>所述的图像处理装置，其中所述冲突判定部
判定在所述光线中的每个光线和位于与用于所述冲突判定的判定视差对应的距离处并与所述虚拟透镜的光轴正交的视差平面之间的交叉点，并
根据与所述交叉点对应的所述基准图像的交叉点像素的视差是否与所述判定视差一致，执行所述冲突判定。
<6>根据<5>所述的图像处理装置，其中所述冲突判定部
将从所述视差的最大值至与所述真实空间点的深度对应的视差的范围内的视差设定为所述判定视差，并
判定在所述交叉点像素的视差与所述判定视差不一致的情况下所述光线不冲突。
<7>根据<6>所述的图像处理装置，其中所述冲突判定部
将从所述视差的最大值减小的值相继地设定为所述判定视差，并
判定在所述交叉点像素的视差与所述判定视差直到与所述判定视差对应的距离达到与所述真实空间点的深度一致时才一致的情况下所述光线不冲突。
<8>根据<1>至<7>中任一项所述的图像处理装置，其中
所述辉度分配部从与所述真实空间点对应的所述多个视点的图像的像素当中使用等于与所述真实空间点的深度对应的所述视差的视差的像素的像素值来分配辉度给所述光线。
<9>一种图像处理方法，包括：
从真实空间中的真实空间点生成将要入射到具有由摄取多个视点的图像的多个图像摄取部构成的合成孔径的虚拟透镜的光线；并
分配辉度给因用于判定在所述光线入射到所述虚拟透镜之前所述光线是否与物体冲突的冲突判定而残余的光线。
附图标记列表
11 图像摄取装置
12 图像处理装置
13 显示装置
21l至217 相机单元
31 视差信息生成部
32 校准数据获取部
33 饱和像素恢复部
34 透镜设计数据获取部
35 透镜仿真部
36 入射光线再现部
37 仿真透镜信息生成部
38 聚光处理部
41 基准视差图生成部
42 多层视差图生成部
51 饱和判定部
52 恢复部
61 标准辉度摄取图像生成部
62 低辉度摄取图像生成部
71 视差信息获取部
72 标准辉度摄取图像生成部
73 低辉度摄取图像生成部
74 饱和判定部
75 恢复部
101 真实空间点选择部
102 光线生成部
103 冲突判定部
104 辉度分配部
131 真实空间点选择部
132 信息计算部
133 焦点位置选择部
141 真实空间点选择部
142 图像形成值计算部
143 比例调整部
144 图像形成位置识别部
145 加法部
231 真实空间点选择部
242 图像形成值计算部
244 图像形成位置识别部
245 加法部
246 旋转处理部
401 总线
402 中央处理单元
403 只读存储器
404 随机存取存储器
405 硬盘
406 输出部
407 输入部
408 通信部
409 驱动器
410 输入/输出接口
411 可移除记录介质。

Claims (9)

1.一种图像处理装置，包括：
光线生成部，被构造为从真实空间中的真实空间点生成将要入射到具有由摄取多个视点的图像的多个图像摄取部构成的合成孔径的虚拟透镜的光线；和
辉度分配部，被构造为分配辉度给因用于判定在由所述光线生成部生成的光线入射到所述虚拟透镜之前所述光线是否与物体冲突的冲突判定而残余的光线。
2.根据权利要求1所述的图像处理装置，其中所述光线生成部
将所述虚拟透镜分割成小区域的透镜区域单元，并
从所述真实空间生成将要入射到所述透镜区域单元的光线。
3.根据权利要求1所述的图像处理装置，还包括：
冲突判定部，被构造为执行所述冲突判定。
4.根据权利要求3所述的图像处理装置，其中
所述冲突判定部使用视差图来执行所述冲突判定，作为所述多个视点的图像之一的基准图像与其他图像的视差登记在该视差图中。
5.根据权利要求4所述的图像处理装置，其中所述冲突判定部
判定在所述光线中的每个光线和位于与用于所述冲突判定的判定视差对应的距离处并与所述虚拟透镜的光轴正交的视差平面之间的交叉点，并
根据与所述交叉点对应的所述基准图像的交叉点像素的视差是否与所述判定视差一致，执行所述冲突判定。
6.根据权利要求5所述的图像处理装置，其中所述冲突判定部
将从所述视差的最大值至与所述真实空间点的深度对应的视差的范围内的视差设定为所述判定视差，并
判定在所述交叉点像素的视差与所述判定视差不一致的情况下所述光线不冲突。
7.根据权利要求6所述的图像处理装置，其中所述冲突判定部
将从所述视差的最大值减小的值相继地设定为所述判定视差，并
判定在所述交叉点像素的视差与所述判定视差直到与所述判定视差对应的距离达到与所述真实空间点的深度一致时才一致的情况下所述光线不冲突。
8.根据权利要求1所述的图像处理装置，其中
所述辉度分配部从与所述真实空间点对应的所述多个视点的图像的像素当中使用等于与所述真实空间点的深度对应的所述视差的视差的像素的像素值来分配辉度给所述光线。
9.一种图像处理方法，包括：
从真实空间中的真实空间点生成将要入射到具有由摄取多个视点的图像的多个图像摄取部构成的合成孔径的虚拟透镜的光线；并
分配辉度给因用于判定在所述光线入射到所述虚拟透镜之前所述光线是否与物体冲突的冲突判定而残余的光线。
CN201680023027.XA 2015-04-28 2016-04-15 图像处理装置及图像处理方法 Expired - Fee Related CN107534730B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-091112 2015-04-28
JP2015091112 2015-04-28
PCT/JP2016/062065 WO2016175045A1 (ja) 2015-04-28 2016-04-15 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
CN107534730A true CN107534730A (zh) 2018-01-02
CN107534730B CN107534730B (zh) 2020-06-23

Family

ID=57199135

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680023027.XA Expired - Fee Related CN107534730B (zh) 2015-04-28 2016-04-15 图像处理装置及图像处理方法

Country Status (4)

Country Link
US (1) US10306146B2 (zh)
JP (1) JP6674644B2 (zh)
CN (1) CN107534730B (zh)
WO (1) WO2016175045A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6259132B2 (ja) * 2015-01-20 2018-01-10 日立オートモティブシステムズ株式会社 車載用カメラ装置
KR102680384B1 (ko) * 2019-10-18 2024-07-02 삼성전자주식회사 수차 보정 방법 및 장치
DE102021200965A1 (de) * 2021-02-03 2022-08-04 Carl Zeiss Ag Verfahren zur Simulation einer optischen Abbildung

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101281356A (zh) * 2007-04-02 2008-10-08 索尼株式会社 成像装置
CN102902150A (zh) * 2011-07-26 2013-01-30 索尼公司 立体成像设备
CN103135889A (zh) * 2011-12-05 2013-06-05 Lg电子株式会社 移动终端及其3d图像控制方法
US20140104317A1 (en) * 2012-10-11 2014-04-17 Young Optics Inc. Image displaying device and method
CN104427325A (zh) * 2013-09-04 2015-03-18 北京三星通信技术研究有限公司 快速集成图像生成方法及与用户交互的裸眼三维显示系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8749620B1 (en) * 2010-02-20 2014-06-10 Lytro, Inc. 3D light field cameras, images and files, and methods of using, operating, processing and viewing same
JP6019729B2 (ja) 2012-05-11 2016-11-02 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP2014010631A (ja) * 2012-06-29 2014-01-20 Hitachi Ltd エネルギーネットワークの最適運転制御装置および方法
JP2014010783A (ja) 2012-07-02 2014-01-20 Canon Inc 画像処理装置、画像処理方法およびプログラム
JP6003578B2 (ja) 2012-11-26 2016-10-05 株式会社ニコン 画像生成方法及び装置
CN111225199A (zh) 2013-09-11 2020-06-02 索尼公司 图像处理设备及方法
KR102479827B1 (ko) * 2015-04-28 2022-12-22 소니그룹주식회사 화상 처리 장치 및 화상 처리 방법
JP2016208438A (ja) * 2015-04-28 2016-12-08 ソニー株式会社 画像処理装置及び画像処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101281356A (zh) * 2007-04-02 2008-10-08 索尼株式会社 成像装置
CN102902150A (zh) * 2011-07-26 2013-01-30 索尼公司 立体成像设备
CN103135889A (zh) * 2011-12-05 2013-06-05 Lg电子株式会社 移动终端及其3d图像控制方法
US20140104317A1 (en) * 2012-10-11 2014-04-17 Young Optics Inc. Image displaying device and method
CN104427325A (zh) * 2013-09-04 2015-03-18 北京三星通信技术研究有限公司 快速集成图像生成方法及与用户交互的裸眼三维显示系统

Also Published As

Publication number Publication date
JPWO2016175045A1 (ja) 2018-02-22
JP6674644B2 (ja) 2020-04-01
WO2016175045A1 (ja) 2016-11-03
US10306146B2 (en) 2019-05-28
CN107534730B (zh) 2020-06-23
US20180124321A1 (en) 2018-05-03

Similar Documents

Publication Publication Date Title
CN105335950B (zh) 图像处理方法和图像处理装置
Davis et al. Unstructured light fields
US6028606A (en) Camera simulation system
TWI752905B (zh) 畫像處理裝置及畫像處理方法
US6930685B1 (en) Image processing method and apparatus
CN109314753A (zh) 使用光流生成中间视图
CN106165387A (zh) 光场处理方法
CN110191326A (zh) 一种投影系统分辨率扩展方法、装置和投影系统
US20200120328A1 (en) High-Performance Light Field Display Simulator
CN107452031A (zh) 虚拟光线跟踪方法及光场动态重聚焦显示系统
WO2016175043A1 (ja) 画像処理装置及び画像処理方法
CN107534730A (zh) 图像处理装置及图像处理方法
Gu et al. Omni-nerf: neural radiance field from 360 image captures
CN115205494A (zh) 对象建模方法、装置、计算机设备和存储介质
Chlubna et al. Real-time per-pixel focusing method for light field rendering
CN107534729A (zh) 图像处理装置和图像处理方法
CN106303208A (zh) 图像采集控制方法和装置
Razavi Simulating the plenoptic camera.
Jensen Estimating and Simulating Structure and Motion
CN113658318A (zh) 数据处理方法及系统、训练数据生成方法和电子设备
Deschaintre Lightweight material acquisition using deep learning
CN117333597A (zh) 图像生成方法、装置、计算机设备和存储介质
Yang Exploiting advantages of non-centric imaging for computer vision
Killpack Visualization of three-dimensional models from multiple texel images created from fused ladar/digital imagery
Ding Understanding multiperspective distortions: Theory and applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200623