CN103997599B - 图像处理设备、图像拾取设备以及图像处理方法 - Google Patents

图像处理设备、图像拾取设备以及图像处理方法 Download PDF

Info

Publication number
CN103997599B
CN103997599B CN201410050633.3A CN201410050633A CN103997599B CN 103997599 B CN103997599 B CN 103997599B CN 201410050633 A CN201410050633 A CN 201410050633A CN 103997599 B CN103997599 B CN 103997599B
Authority
CN
China
Prior art keywords
image
area
shooting condition
input picture
optical system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410050633.3A
Other languages
English (en)
Other versions
CN103997599A (zh
Inventor
江口薫
畠山弘至
日浅法人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN103997599A publication Critical patent/CN103997599A/zh
Application granted granted Critical
Publication of CN103997599B publication Critical patent/CN103997599B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了图像处理设备、图像拾取设备以及图像处理方法。图像处理设备使用包括物体空间信息的输入图像生成输出图像，该图像处理设备包括区域分割单元，被配置用于将输入图像分割成第一区域和第二区域；以及重构图像生成单元，被配置用于重构输入图像以生成输出图像，重构图像生成单元对于第一区域和第二区域分别应用彼此不同的拍摄条件。

Description

图像处理设备、图像拾取设备以及图像处理方法
技术领域
本发明涉及一种图像拾取设备以及一种图像处理设备，该图像拾取设备获得物体空间中的光线的角度信息和光的二维强度分布，该图像处理设备从通过这样的图像拾取设备获得的图像生成重构图像。
背景技术
近年来，已经提出如下这样的图像拾取设备，该图像拾取设备对通过图像拾取元件获得的数据执行操作并且根据所得到的数据执行数字图像处理，由此输出各种图像。文献“Ren Ng,et al.,“Light Field Photography with a Hand-held Plenoptic Camera”,2005Computer Science Technical Report CTSR”公开了一种图像拾取设备，该图像拾取设备使用“光场摄影”同时获得物体空间中的光线的角度信息和光的二维强度分布。这里，光的二维强度分布和光线的角度信息被共同称为光场，并且物体空间中的三维信息可通过获得光场而被获得。在这样的图像拾取设备中，可获得光场，并且可在图像被拍摄之后执行图像处理，由此改变（调整）图像的焦点位置、摄影视点（viewpoint）、景深等（被称为重聚焦（refocus））。
此时，关于照片表现（expression），在肖像摄影以及花、昆虫等的微距摄影中通过故意模糊化前景和背景而使主要物体突出显现的表现是优选地。当旨在获得这样的照片表现时，为了获得美的背景模糊，常常通过使用具有浅的景深的图像拾取设备来对物体进行摄影。但是，当使用具有浅的景深的透镜获得美的背景模糊时，如果物体本身具有深度，则整个物体不能被清楚地摄影，导致物体的一部分模糊。如果以较深的景深对物体进行摄影以便防止这种情况，则不能获得美的模糊。因而，通过常规的图像拾取设备，背景模糊和景深不能被独立地 控制。
日本专利特开No.2011-211523公开了一种配置，在该配置中，通过改变焦点位置拍摄（shot）多个图像，由此执行模糊控制。
但是，在日本专利特开No.2011-211523的配置中，需要拾取多个图像，因此，例如当对诸如昆虫的快速移动物体进行摄影时，由于多个图像之间的拍摄时间差，多个图像中分别包含的移动物体的位置是不同的。因此，可能难以使用多个拍摄图像执行模糊控制。
发明内容
本发明提供了一种能够将彼此不同的拍摄条件值应用于图像中的多个区域以生成重构图像的图像处理设备、图像拾取设备以及图像处理方法。
作为本发明的一个方面的图像处理设备使用包含物体空间信息的输入图像生成输出图像，该图像处理设备包括被配置为将输入图像分割成第一区域和第二区域的区域分割单元，以及被配置为重构该输入图像以生成输出图像的重构图像生成单元，并且该重构图像生成单元将彼此不同的拍摄条件分别应用于第一区域和第二区域。
作为本发明的另一方面的图像拾取设备包括成像光学系统、用于生成输入图像的包括多个像素的图像拾取元件、被配置为使得来自物体平面的同一位置的光线根据光线通过的成像光学系统的光瞳区域入射到图像拾取元件的不同像素上的透镜阵列、被配置为将输入图像分割成第一区域和第二区域的区域分割单元，以及被配置为重构该输入图像以生成输出图像的重构图像生成单元，该重构图像生成单元将彼此不同的拍摄条件分别应用于第一区域和第二区域，并且该透镜阵列被设置在该成像光学系统的相对于物体平面的像侧共轭平面中。
作为本发明的另一方面的图像拾取设备使用包含物体空间信息的输入图像生成输出图像，该图像拾取设备包括成像光学系统、用于生成输入图像的包括多个像素的图像拾取元件、被配置为使得来自物体平面的同一位置的光线根据光线通过的成像光学系统的光瞳区域入射 到图像拾取元件的不同像素上的透镜阵列、以及该图像处理设备，并且该透镜阵列被设置在该成像光学系统的相对于物体平面的像侧共轭平面中。
作为本发明的另一方面的图像拾取设备使用包含物体空间信息的输入图像生成输出图像，该图像拾取设备包括成像光学系统、用于生成输入图像的包括多个像素的图像拾取元件、被配置为使得来自物体平面的同一位置的光线根据光线通过的成像光学系统的光瞳区域入射到图像拾取元件的不同像素上的透镜阵列、以及该图像处理设备，并且该透镜阵列被设置为使得图像拾取元件与成像光学系统的相对于物体平面的像侧共轭平面共轭。
作为本发明的另一方面的图像拾取设备使用包含物体空间信息的输入图像生成输出图像，该图像拾取设备包括包括具有正折光力的多个光学系统的成像光学系统、用于生成输入图像的包括多个像素的至少一个图像拾取元件、和图像处理设备，该多个光学系统被排列为使得来自物体平面的同一位置的光线根据光线通过的成像光学系统的光瞳区域入射到图像拾取元件的不同像素上，并且该成像光学系统的光瞳是通过组合多个光学系统的光瞳而获得的组合光瞳。
作为本发明的另一方面的图像处理方法使用包含物体空间信息的输入图像生成输出图像，并且该图像处理方法包括将输入图像分割成第一区域和第二区域的步骤，以及重构该输入图像以生成输出图像的步骤，该输入图像是通过将彼此不同的拍摄条件分别应用于第一区域和第二区域而被重构的。
作为本发明的另一方面的图像处理方法包括用于获得包含以彼此不同的第一、第二和第三拍摄条件拍摄的第一、第二和第三图像的输入图像的图像获得步骤、设定第一拍摄条件用于输出图像的第一区域和设定第二拍摄条件用于输出图像的第二区域的拍摄条件设定步骤，以及组合对应于第一区域的第一图像、对应于第二区域的第二图像以及对应于输出图像的第一区域和第二区域之间的第三区域的第三图像的组合步骤。
优选地，该第三拍摄条件可在第一拍摄条件和第二拍摄条件之间。
作为本发明的另一方面的图像处理设备包括被配置用于获得包含以彼此不同的第一、第二和第三拍摄条件拍摄的第一、第二和第三图像的输入图像的图像获得单元、被配置用于设定第一拍摄条件用于输出图像的第一区域和设定第二拍摄条件用于输出图像的第二区域的拍摄条件设定单元，以及被配置用于组合对应于第一区域的第一图像、对应于第二区域的第二图像以及对应于输出图像的第一区域和第二区域之间的第三区域的第三图像的组合单元。
优选地，该第三拍摄条件可在第一拍摄条件和第二拍摄条件之间。
参照附图阅读示例性实施例的以下描述，本发明的其它特征和方面将变得清楚。
附图说明
图1是各实施例中的对包括物体A和B以及背景的场景进行摄影的示例。
图2A至2D是描述各实施例中的从输入图像获得输出图像的图像处理的示图。
图3是用于描述各实施例中的确定边界处理范围的方法的摄影场景。
图4是描述各实施例中的确定边界处理范围的方法的示图。
图5A和5B是描述各实施例中的重聚焦处理的示图。
图6是描述计算模糊扩散量（spread amount）Δxi的方法的示图。
图7是描述各实施例中的边界处理的示图。
图8A和8B是描述各实施例中的确定边界处理范围的方法的示图。
图9是描述各实施例中的计算模糊扩散量Δxi的方法的示图。
图10是描述各实施例中的确定边界处理范围的方法的示图。
图11是描述各实施例中的边界处理的示图。
图12是描述各实施例中的边界处理的示图。
图13是实施例1中的图像拾取光学系统的示意性配置示图。
图14是实施例2中的图像拾取光学系统的示意性配置示图。
图15是实施例3中的图像拾取光学系统的示意性配置示图。
图16是实施例4中的图像拾取光学系统的示意性配置示图。
图17是实施例5中的图像处理系统的框图。
图18是实施例1至3和5中每一个的图像拾取设备的框图。
图19A和19B是描述实施例1中的重聚焦图像的生成的示图。
图20A和20B是描述实施例2和3中的每一个中的重聚焦图像的生成的示图。
图21是实施例4中的图像拾取设备的框图。
图22是实施例4中的图像拾取光学系统的示意性配置图。
图23A和23B是描述实施例4中的重聚焦图像的生成的示图。
图24是实施例1至5中的每一个中的图像处理方法的流程图。
图25是描述各实施例中的计算光的渗出量（exuding amount）的方法的示图。
具体实施方式
以下将参照附图描述本发明的示例性实施例。在各附图中，相同的元件将用相同的附图标记指示，并且其重复描述将被省略。
在本实施例中，“物体空间信息”是如下这样的信息，该信息包含关于从物体发出的光的二维强度分布的信息以及从物体发出并且被引至图像拾取元件的各光线的角度信息。或者，“物体空间信息”与“光场”具有相同含义。当在其中从特定视点捕获物体的图像被称为视点图像时，能够从多个视点图像获得物体空间信息的图像拾取设备也被称为“光场照相机”。光场照相机可通过一个图像拾取操作获得包含多个视点图像的图像。也就是说，“包含物体空间信息的输入图像”是包含多个视点图像的图像。
首先，作为本实施例中的获得输入图像（输入图像信息）的图像拾取设备，将描述能够同时获得多个视点图像的图像拾取设备的配置。 被应用于本实施例中的图像处理方法（图像处理程序）的输入图像是通过使用上述图像拾取设备（光场照相机）获得的图像。此图像拾取设备具有被布置的多个成像光学系统或者设置在成像光学系统的图像侧的透镜阵列，由此图像拾取设备能够获得物体空间信息。在本实施例中，“输入图像信息”是从多个视点获得的图像信息，即，通过布置多个视点图像而被配置的图像信息。而且，“输入图像”是从“输入图像信息”形成的图像。在本实施例中，如下文所述，包括物体空间信息的“输入图像”或者“输入图像信息”被使用（重构）以生成输出图像。
图13至16中所示的图像拾取光学系统是构成此图像拾取设备的图像拾取光学系统的示例。在本实施例中，图像拾取光学系统包括成像光学系统和图像拾取元件，并且还在图像拾取光学系统具有透镜阵列的情况下包括透镜阵列。人物或者物体不一定需要位于图13至16中所示的物体平面201上。这是因为即使在图像被拍摄之后，通过下文所述的重构处理，仍可执行到位于物体平面201后面或前面的人物或者物体上的聚焦。
“重构”是选择或重新布置从输入图像（输入图像信息）获得的各像素的信息以便获得希望的输出图像。其还包括根据需要对各像素的信息执行操作以及选择或者重新布置各像素的信息。因此，输入图像本身不需要是所谓的人在其中可认出物体的摄影图像，但是通过遵从某些规则的重构处理生成的输出图像仅需要是希望的图像。
“拍摄条件”是关于由焦点位置、景深、曝光等表示的拍摄条件的信息。通过常规的照相机，在图像被拍摄之后拍摄条件不能改变，但是通过光场照相机，拍摄条件可被改变。改变拍摄条件的方法根据下文所述的图像拾取设备的配置而变化。在类似于照相机阵列的配置的情况中，拍摄条件可实际上对于每一照相机改变。在一个成像光学系统中包含透镜阵列的配置的情况下，虚拟成像平面位置、虚拟景深、虚拟曝光等可被用作稍后所述的拍摄条件，并且这些可被改变。
“虚拟成像平面位置”是当通过下文所述的重聚焦操作重新执行聚焦时被考虑的虚拟成像平面位置。“虚拟景深”是虚拟地确定的任意F 数。F数是由光学系统的焦距和光瞳直径确定的，并且确定虚拟景深的方法与计算F数的常规方法相同。具有对应于希望的F数的景深的图像不是通过驱动实际孔径光阑机构以控制光束来获得的，而是通过选择输入图像中与要获得的F数光束对应的像素来重构输入图像而获得的。
“虚拟曝光”是表示在输出图像中要实现的明亮度（亮度值）的作为虚拟曝光值的值。如文献Ren Ng,et al.,“Light Field Photography with a Hand-held PlenopticCamera”,2005Computer Science Technical Report CTSR，或者日本专利特开No.2011-211523中公开的，如果在相同条件下对整个图像执行重构处理，则曝光值在整个图像上是均匀的（相同的快门速度、F数、ISO灵敏度）。但是，通过在重构时部分改变加权并且执行重构处理，可获得如下效果，即图像看上去好像其已在对于其各部分不同的曝光条件下被拾取。
“输入图像信息”或“输入图像”是通过使用包括图像拾取元件和成像光学系统的图像拾取设备同时获得多个视点图像而获得的图像信息（图像），其包括物体空间信息。如下文所述，区域分割单元将输入图像（输出图像区域）分割成多个区域（第一区域和第二区域）。“输出图像区域”（输入图像）是由要最终输出的图像的希望的大小确定的二维区域（图像）。重构图像生成单元将基于输入图像获得的彼此不同的拍摄条件应用于多个被分割的区域中的两个被分割的区域（第一区域和第二区域），由此重构该输入图像以生成输出图像。
随后，参照图1和2A至2D，将描述这些步骤。图1是使用图像拾取设备301进行包含物体A和B以及背景的场景的摄影的示例。图2A至2D是描述本实施例中的从输入图像（输入图像信息）获得输出图像的图像处理的示图。
通过常规照相机，在尝试在原样保留美的背景模糊的情况下对物体A和B两者鲜锐地摄影的情况下，仅可聚焦于仅这两个物体之一上。或者，在通过聚焦于物体A和B中任一个上并且通过例如增加F数以增加景深来对这两个物体A和B鲜锐地摄影的情况下，背景模糊将会 丢失。作为对比，对于使用本实施例的光场照相机获得的输入图像（输入图像信息），通过在图像被拍摄之后进行重构处理可解决此问题。
首先，如图2A所示，输出图像区域（输入图像）被分割成任意的区域（区域1、2和3）。在本实施例中，这三个区域中的任两个对应于第一和第二区域。用户可指定分割的区域。或者，图像拾取设备可使用作为常规技术的物体识别单元（脸部识别等）自动分割区域。如果作为基准的图像是用户在观看图像时分割区域所必需的，则从拍摄图像时的拍摄条件下的拍摄图像等临时重构的图像可被输出以被预先显示在图像拾取设备的监视器或编辑处理期间的PC监视器上。
接下来，如在图2B中所示，拍摄条件（拍摄条件1、2和3）分别对于分割的区域（区域1、2和3）被确定。在本实施例中，拍摄条件例如是虚拟成像平面位置、虚拟景深或虚拟曝光。然后，如图2C所示，对于各个分割的区域确定的拍摄条件（拍摄条件1、2和3）被应用于各个分割的区域以生成重构图像。最后，如图2D所示，对于各个分割的区域的重构图像被组合（合成）为一个图像，其作为输出图像被输出。这样，此实施例的输出图像被获得，但是在从图2C到2D的生成输出图像的步骤中，在确定拍摄条件之后，对应于所有拍摄条件的重构图像可逐一生成并且组合成输出图像。作为替代地，在执行重构处理的步骤中，输出图像可通过在使用对应于拍摄条件的参数的同时一次执行重构处理而获得。
随后，将描述使用虚拟成像平面位置作为拍摄条件的情况。具体而言，在图2A至2D中，将考虑如下情况，即在模糊化区域1的同时执行同时聚焦于区域2和3。然后，在本实施例中，制备被重构以聚焦于区域2上的图像和被重构以聚焦于区域3上的图像。对于区域1，制备被重构以相对于区域2聚焦于图像拾取设备侧（前侧）的图像。这三个图像被组合成一个图像。在此配置中，可获得如下的输出图像，在该输出图像中，在背景模糊保留（或者被增进）的情况下物体A和B两者被鲜锐地（清晰地）摄影。
在本实施例中，这三个图像中的每一个不需要是在其中整个图像 区域被重构的图像。关于区域2和3，可制备在其中至少物体和周围区域被重构的图像。
在虚拟景深被用作拍摄条件的情况中，可获得相同效果。在此情况中，在确定图2B的拍摄条件的阶段，可设定虚拟景深来增加景深以便对区域2和3鲜锐地摄影。此后的处理与使用虚拟成像平面位置的情况中相同。对于虚拟曝光也是如此。在本实施例中，图2A至2D中分别示出处理点，但是在物体也被自动识别的情况下，这些点可在内部执行，并且仅最终点（图2D）可被显示给用户。
这样，可执行本实施例的图像处理方法。本实施例的图像处理方法（图像处理设备）优选地满足以下条件中的至少一个。满足这些条件中的一个或多个使得能够实现更自然的模糊化。即，图像处理设备优选地包括（A）重构单元，其将输入图像信息重构为第一图像（输入图像）并且输出该第一图像，以及（B）边界确定单元，其确定用于将第一图像分割成至少两个区域（第一区域和第二区域）的边界。此外，图像处理设备优选地包括（C）拍摄条件确定单元，其对于第一和第二区域确定彼此不同的拍摄条件。此外，其优选地包括（D）边界处理范围确定单元，其确定第一区域和第二区域之间的边界处理范围。此外，其优选地包括（E）边界处理单元，其对边界处理范围执行边界处理以减少由于彼此不同的拍摄条件而生成的第一区域和第二区域之间的差别。
关于（D），边界处理范围确定单元优选地基于第一区域或第二区域的拍摄条件计算模糊的扩散量。模糊的扩散量是对应于物体图像改变之前和之后之间的视差的模糊的扩散量，其是基于拍摄条件计算的。此外，边界处理范围确定单元基于模糊的扩散量确定边界处理范围。
关于（E），边界处理单元优选地将通过边界处理范围彼此相邻的区域（第一区域和第二区域）的拍摄条件之间的拍摄条件应用于边界处理范围，并且执行边界处理。
首先，关于（A），针对拍摄图像重构单元输出图像（第一图像） 以供用户首先确认。如上所述，存在如下情况，即输入图像信息不是个人可从中识别物体的信息。在此情况中，从原样的输入图像信息，用户不能确定获得哪种照片也不能确定是否要编辑。因此，在本实施例中，重构单元优选地现在以在图像拍摄之后的预览图像的形式重构并输出图像（第一图像），该图像被考虑以确认是否要从其进行编辑。此外，用户可使用第一图像作为基准图像以便确定边界，这是下一步骤。而且，当物体被自动识别以确定边界时，如果基准图像是必需的，则可使用第一图像以便使得自动识别系统来识别物体。
关于（B），边界确定单元确定用以将输出图像区域（基于输入图像信息的图像）分割成多个区域（第一和第二区域）的边界。如下所述，所希望的拍摄条件（彼此不同的拍摄条件）被分配给通过边界确定单元分割的各区域。关于此步骤，用户本人还可通过屏幕上的触摸操作、PC上的鼠标操作等确定边界。或者，边界可由脸部识别或者物体识别（自动识别）被自动确定以便分割该区域。
关于（C），重构图像生成单元对于多个区域（第一和第二区域）确定（应用）彼此不同的拍摄条件。如上文所述，拍摄条件是虚拟成像平面位置、虚拟景深、虚拟曝光等。拍摄条件可由用户每次任意确定。作为替代，图像拾取设备可具有作为与物体形状对应的预设的多个表，以根据场景自动确定拍摄条件。
关于（D），边界处理范围确定单元确定边界处理范围，然后执行对于边界处理单元进行的边界处理的准备。例如，假定具有多个虚拟成像平面位置的图像在一个输出图像区域内被生成。这里，为了简便，假定如图3所示的包括两个物体（物体A和物体B）的、其中从图像拾取设备（未示出）到这两个物体的距离彼此不同的场景。物体A是接近图像拾取设备的物体，并且物体B是远离图像拾取设备的物体。此外，假定，这两个物体是不具有深度的平面物体，并且在物体A和B后面存在一些背景。所希望的图像是如下图像，其中物体A和B两者都合焦，并且关于背景模糊的程度，在物体A合焦的情况下背景模糊是优选的。
在其中物体A合焦的图像中，物体B未合焦（模糊）。如果物体B的被鲜锐摄影的图像被应用于其中物体A合焦的图像中的物体B上，原始物体B模糊并扩散到其中的区域保留，从而图像可变得稍微不自然。在此情况中，优选地，去除物体模糊并扩散到其中的区域，但是除非知晓关于距物体的距离的信息，否则模糊的扩散量不能被识别。
作为对比，根据本实施例的图像拾取设备（光场照相机），由于获得了关于距离的信息，因此可计算模糊的扩散量。例如，通过进行图4中所示的步骤，可在考虑了模糊的扩散量的情况下确定边界处理范围。本实施例中的“边界处理范围”是在重构图像中物体的模糊相对于在开始未被模糊化的物体所限定的边界的扩散量Δxp像素的范围。“边界处理范围”可以是至少Δxp像素的范围，但是依赖于物体或场景可被确定为Δxp+α像素的区域，其中α是裕度。用户可每次确定裕度α的大小。图像拾取设备可预先具有作为根据物体形状的预设（preset）的信息。
图4是描述确定边界处理范围的方法的示图。在步骤S001中，边界处理范围确定单元获得例如其中在前侧的物体A合焦的图像作为第一图像。然后，在步骤S002，边界处理范围确定单元确定物体B的边界。此时，边界处理范围确定单元可重构例如如下具有更深的景深的图像，在该图像中物体A和B两者被鲜锐地摄影，以确定边界处理范围。作为替代，可使用其中距离信息被使用的距离图（深度图）基于物体B的轮廓确定边界，或者可通过重聚焦于物体B上来确定物体B的边界。重聚焦是在图像被拍摄之后通过重构处理重新聚焦于任何物体上的处理。由于重聚焦在文献Ren Ng,“Fourier Slice Photography”,2005ACMTrans.Graph.24,735-744中被详细描述，因此其描述在此被省略。
随后，在步骤S003中，边界处理范围确定单元计算在虚拟成像平面位置从物体B合焦处的虚拟成像平面位置移动至物体A合焦处的虚拟成像平面位置时的物体B的模糊的扩散量Δxp。然后，在步骤S004 中，边界处理范围基于步骤S003中所计算的模糊的扩散量Δxp被确定。边界处理范围优选地具有等于或者大于模糊的扩散量Δxp（Δxp像素）的宽度。
接下来，参照图5A和5B，将描述计算模糊的扩散量Δxp的方法。图5A和5B是描述使用多个视点图像聚焦于任意位置上的方法（重聚焦处理）的示图。图5A示出从多个视点获取的图像（多个视点图像，在本实施例中为九个视点图像）。当从这些图像生成其中更向前的物体A合焦的图像时，重构处理需要对于全部九个图像执行，从而这些图像中的物体A彼此重合（重叠）。这九个图像中的任一个可以是要彼此重叠的作为基准的图像，并且如果例如以该九个图像的中心图像作为基准执行重构，则生成图5B中所示的图像（重构图像）。
在图5B中，这九个图像被重构以使得物体A彼此重合（重叠），因此物体A合焦。另一方面，所有九个图像在它们之间具有视差，因此比物体A更向后的物体B由于它们的视差而偏离（偏移）。这些偏离表现为模糊。因此，在本实施例中，计算模糊的扩散量（Δxp像素）等同于计算视差量。如果在物体被图像拾取设备摄影时物体可呈现的视差量之中的最大视差量被知晓，则可了解模糊的扩散量的最大值。物体的最大视差量由距要被摄影的物体的距离以及图像拾取设备的出射光瞳直径确定。因而，为了计算在多个视点图像被重构成一个图像时模糊的扩散量，仅需要了解距要被摄影的物体的距离以及图像拾取设备的出射光瞳直径。这与使用常规照相机在几何上计算模糊的扩散量的方法相同。
因此，参照图6，将描述使用常规照相机计算模糊的扩散量的方法。图6是描述找到模糊的扩散量Δxi的方式的示图。图6示出了具有焦距f和出射光瞳半径h的成像光学系统L的模型。为了简便，假定成像光学系统L的物侧主平面位置和像侧主平面位置相同。符号s为成像光学系统L的物侧主平面位置到物体A的距离，并且符号t是到物体B的距离。符号sk是成像光学系统L的像侧主平面位置到物体A的成像平面的距离，并且符号tk是成像光学系统L的像侧主平 面位置到物体B的成像平面的距离。物体A和物体A的成像平面位置为共轭关系。在图6中，物体A合焦时的光路图由实线绘制，并且此时的出自物体B的光线由点划线绘制。在此情况中，满足以下表达式（1）和（2）。
1/s+1/sk=1/f…(1)
1/t+1/tk=1/f…(2)
如从图6可见，满足Os=s+sk，并且OT=t+sk。假定物体A和B的距离Os和OT已知，则成像平面上的模糊的扩散量Δxi由以下表达式（3）表示。
Δxi=(sk-tk)×h/tk
=(OS-s)×h×{1/f-1/(OT-OS+s)}-h…(3)
这样，可计算成像光学系统L的成像平面上的模糊的扩散量Δxi。因此，在常规照相机中，当Sp指示图像拾取元件的成像平面上的像素间距时，输出图像中的模糊的扩散量Δxp被表达为从成像平面上的模糊的扩散量转换的输出图像的像素数，由以下表达式（4）表示。
Δxp=Δxi/sp…(4)
至此，如上所述，本实施例的照相机（光场照相机）与常规照相机相同。但是，本实施例的照相机与常规照相机的不同之处在于输入图像信息被重构以生成输出图像。因此，在本实施例中，仅仅使用表达式（4）可能不能根据图像拾取设备的配置将其转换成重构输出图像上的模糊的扩散量（像素）。因此，在本实施例中，用于将如上所述地在几何上计算的模糊的扩散量转换成输出图像上的像素数的系数Q需要被考虑。系数Q根据图像拾取设备的配置呈现各种值。本实施例中使用的转换式由以下表达式（5）表示。
Δxp=Q×Δxi/sp…(5)
将在以下描述的各图像拾取设备的实施例中详细描述系数Q的值。
因而，即使当在任意位置上执行重聚焦时，仍可计算重构图像上另一物体的模糊量。计算模糊的扩散量Δxi的方法并不局限于此，还可使用其他方法进行计算。
接下来，将参照图7描述（E）。图7是描述本实施例中的边界处理的示图。这里，在物体A合焦的图像中，在确定的边界中重构其中物体B合焦的图像。边界处理的目的在于防止发生诸如边缘在物体B的边界处突出的不自然，从而使得其看起来更自然。
首先，在步骤S101中，比较通过边界处理范围彼此相邻的区域F1和F2（第一区域和第二区域）处的虚拟成像平面位置。然后，确定边界处理范围是否需要被进一步细分。如果在步骤S101中，边界处理范围被进一步细分，则可生成更自然的图像，这是优选的。用户可任意确定细分的必要性。作为替代，可通过使用阈值从区域F1和F2的虚拟成像平面位置之间的分离量自动确定。
随后，在步骤S102中，区域F1和F2的虚拟成像平面位置之间的虚拟成像平面位置的图像被重构和组合以适配在边界处理范围中。结果，区域F1和F2之间的灰度链接（gradational link）可实现，从而可生成自然图像，这是优选的。“区域F1和F2的虚拟成像平面位置之间的虚拟成像平面位置”不需要是区域F1和F2的虚拟成像平面位置之间的（在严格意义上的）中心虚拟成像平面位置，而可以朝区域F1或F2的虚拟成像平面位置稍微偏离（偏移）。
如果在步骤S101中，确定细分不是必需的，如上所述，区域F1和F2的虚拟成像平面位置之间的虚拟成像平面位置的图像仅需被重构并且适配在被边界处理的整个范围中。另一方面，如果确定细分是必需的，则仅需要重构与细分数目相等的数目的图像（细分区域1至4），在从区域F1转到区域F2时其虚拟成像平面位置逐渐改变。这意味着防止发生诸如边缘在物体B的边界处突出的不自然，从而图像看起来更自然。尽管在本实施例中描述了虚拟成像平面位置的情况，但是这同样应用于虚拟景深或虚拟曝光的情况。
接下来，参照图8A和8B，将描述作为拍摄条件设定虚拟景深的情况。图8A和8B是描述确定边界处理范围的方法的示图。图8A示出当相对于某一背景具有深度的物体C（诸如玩具机器人）被摄影的示例。通过具有浅景深的图像拾取设备在物体C的右眼合焦并且背景模糊的情况下执行摄影的场景被取作示例。这里，具有浅景深的图像拾取设备是对于照相机阵列的情况具有小的组合F数的图像拾取设备，以及对于在成像光学系统和传感器之间具有透镜阵列的图像拾取设备的情况具有小的成像光学系统的F数的图像拾取设备。
如果通过常规照相机执行摄影，则步骤8B中所示，背景被良好地模糊化，但是由于其浅景深，整个物体C可能不被鲜锐地摄影，使得体部的背侧等模糊。这可能在使用例如焦距为50mm并且F数为1.4的明亮透镜或者超长焦透镜的情况下发生。
作为对比，由于也获得了距离信息，本实施例的光场照相机可计算模糊的扩散量Δxp。计算方法与上述方法相同，但是由于要使用的光束直径根据指定的虚拟景深而不同，因此出射光瞳半径h的值不同。对于与孔径光阑打开对应的虚拟景深，出射光瞳半径h的值并不与前述值不同，并且当虚拟景深增加（虚拟F数增加）时，出射光瞳半径h的值可在计算时相应地减小。
参照图9，将描述计算模糊的扩散量Δxi的方法。图9是描述计算模糊的扩散量Δxi的方法的示图，其示出简单模型作为示例。在图9中，物体C的右眼位置和物体C的右眼合焦时的成像平面位置处于共轭关系。符号h是出射光瞳半径，其确定光束。在本实施例中，背景被良好地模糊化，但是由于浅景深，物体C的体部的后部也被模糊化。此时，成像平面位置上的模糊的扩散量由Δxi指示。当模糊的扩散量Δxi的大小小于或者等于像素间距的一半时，常规照相机不能确定图像拾取元件上的模糊的扩散量，从而获得鲜锐图像。由点虚线指示的出射光瞳半径h’确定的光束表示该情况，并且Δxi’是对于该情况的模糊的扩散量。如果图像拾取设备的像素间距已知，则在模糊的扩散量Δxi’处的h’的值可被获得，因此还可计算使得整个物体C被鲜锐地摄影的F数的值是多少。还在本实施例中，可以简单的方式计算使得整个物体C被鲜锐地摄影的虚拟景深（虚拟F数）的值是多少，但是如上所述需要如表达式（5）表示的转换式。
接下来，参照图10，将描述确定边界处理范围的方法。图10是 描述确定边界处理范围的方法的示图。通过进行图10的步骤中的每一个，区域之间的边界可在考虑了模糊的扩散量的情况下被确定。还在此示例中，如同上述的虚拟成像平面位置的情况，物体的模糊的扩散量（Δxp像素）的范围被称为“边界处理范围”。作为替代，根据物体或场景，Δxp+α像素可被称为“边界处理范围”，其中α是裕度。
首先，在图10的步骤S201中，例如，获得其中物体C的右眼合焦的浅景深的图像作为第一图像。此时，背景模糊在模糊量方面是良好的，但是由于浅景深，物体C的体部的后部模糊。然后，在步骤S202中，物体C的边界被确定。这是因为如果做出了使用第一图像设定物体C的轮廓为边界的尝试，则难以认识到该轮廓，这是因为在此状态中在图像中存在模糊部分。例如，其中整个物体C被鲜锐摄影的大虚拟景深的图像可被重构以用于确定边界。作为替代，可使用在其中使用距离信息的距离图（深度图）从物体C的轮廓确定边界。
随后，在步骤S203中，从其中整个物体C被鲜锐地摄影的大虚拟景深的图像计算当切换到获得希望的背景模糊的虚拟景深时的物体C的模糊的扩散量Δxp。这里，大虚拟景深的图像例如是步骤S202中获得的第一图像。
随后，在步骤S204中，基于步骤S203中计算的模糊的扩散量Δxp来确定边界处理范围。边界处理范围优选地具有等于或者大于Δxp像素的宽度。边界处理范围可根据物体被自动确定为Δxp像素或Δxp+α像素，其中α是裕度。用户可每次确定裕度α。或者，图像拾取设备可预先具有它们作为根据物体形状的预设。由于物体C具有深度，因此对于边界上的每个点，Δxp的值是不同的。因此，严格上说，优选地对于每个像素获得Δxp的值，但是根据物体C的大小，可对于在中间与其它像素间隔开的像素计算Δxp的值以从其进行内插。
因而，在重构之后图像上具有深度的物体的部分的模糊量可在景深浅时被计算。因此，可确定边界处理范围。计算模糊的扩散量Δxi的方法并不限于此，并且还可使用其他方法。
接下来，参照图11和12，将详细描述本实施例中的边界处理。 图11和12是描述本实施例中的边界处理的示图。
首先，在图11中的步骤S301中，比较通过边界处理范围彼此相邻的区域F1和F2处的虚拟景深，并且确定要执行边界处理的范围是否需要被进一步细分。如果在步骤S301中边界处理范围被进一步细分，则可生成更自然的图像，这是优选的。用户可任意确定细分的必要性。作为替代，这可通过使用阈值从区域F1和F2的虚拟景深之间的分离量自动确定。
随后，在步骤S302中，区域F1和F2的虚拟景深之间的虚拟景深的图像被重构和组合以适配在边界处理范围中。结果，区域F1和F2之间的灰度链接可实现，从而可生成自然图像，这是优选的。“区域F1和F2的虚拟景深之间的虚拟景深”不需要是区域F1和F2的虚拟景深之间的（严格意义上的）中心虚拟景深，也可以朝区域F1或F2的虚拟景深轻微偏离（偏移）。
如果在步骤S301中确定细分不是必需的，如上所述，区域F1和F2的虚拟景深之间的虚拟景深的图像仅需被重构并且适配在整个边界处理范围中。另一方面，如果确定细分是必需的，则仅需要重构和组合与细分数目相等的数目的图像（细分区域1至4），在从区域F1转到区域F2时其虚拟景深逐渐改变。这意味着防止发生诸如边缘在物体C的边界处突出的不自然，从而可生成看起来更自然的图像，这是优选的。
由于虚拟景深不同的图像被重构为一个图像，如果它们原样被组合成一个最终输出图像，则可输出其中虚拟景深不同的区域具有不同的明亮度的图像。这可在考虑如下情况时被理解，即在快门速度相同的情况下每个区域的光阑值不同。此时，每个区域的边缘可突出并且看上去浮动，这不是优选的。为了防止这种情况，乘以加权系数的亮度信号值可被组合为一个输出图像，该加权系数由于区域的虚拟景深之间的差所导致的明亮度差（亮度水平差）而不同。
接下来，将描述使用虚拟曝光作为拍摄条件的情况。在此情况中，焦点位置和景深是任意的，并且使用在重构输入图像信息时对亮度值 进行加权的方法来改变所确定的区域的虚拟曝光（图像明亮度），并且它们的图像被组合成输出图像。
如上所述，参照图5A和5B描述从输入图像信息重构一个图像的方法。当如图5A和5B中所示的九个视差图像被重构为一个图像时，重构图像是带白色放大图像，在该图像中如果九个图像的亮度值被简单地相加到一起则会发生亮度饱和。因此，当九个视差图像在不对每一视差图像进行加权的情况下被简单地重构时，不仅这九个图像的亮度值被相加到一起，而且亮度值需要除以重构时使用的视差图像的数量。结果，获得其中保持与一个视差图像的明亮度相同的明亮度的重构图像。此时，可通过对于每个使用的视差图像不均匀地、而是以不同的加权系数对使用的视差图像的亮度值进行加权来改变区域中的明亮度。
尽管与上文所述内容相同的内容的重复描述被省略，但是虚拟曝光的情况与虚拟成像平面位置或者虚拟景深的情况的区别在于计算模糊的扩散量的步骤。在虚拟成像平面位置或虚拟景深的情况中，由于对象是模糊量，因此模糊的扩散量被计算。另一方面，在虚拟曝光的情况下，不是计算模糊的扩散量，而是计算光的渗出量。光渗出指的是当光源被带白色地、放大地摄影时（亮度饱和），不仅光源而且光源的附近都根据光源的光的强度亮度饱和，或者在不饱和的情况下被明亮地摄影。计算光的渗出量以确定边界处理范围的步骤与虚拟成像平面位置或虚拟景深的情况中不同。
在虚拟成像平面位置或虚拟景深的情况中，当物体的鲜锐拍摄图像被在同一物体的模糊图像上重构时，模糊化的原始物体图像的模糊的扩散保留，因此执行边界处理以消除这一点。另一方面，对于光渗出的场景假定如下场景，即如果如通常那样被重构，则光源的亮度值变得饱和，而光源附近也亮度饱和（或者被明亮地摄影）。对于此场景，其中光源的亮度值不饱和的光源部分的区域的暗图像可被重构，以便简单地去除光源的亮度饱和。
但是，即使区域被分割成光源部分和其它部分，并且仅对于光源 区域部分以不同的加权系数执行重构以便使得图像暗，在除光源之外的其它部分中仍留有光渗出，这不是优选的。如果光的渗出量已知，则在将该部分当作“边界处理范围”的情况下，可使用不同的加权系数对于该范围执行重构以使之更暗，从而光渗出变得不突出。但是，如果在重构之前视差图像中的光已经渗出的区域已经亮度饱和，则由于没有信息，光已经渗出的区域不能被去除。在此情况中，需要获得被设定为比正常情况更暗的视差图像，从而要被去除的光已渗出的区域中不发生亮度饱和。然后，在执行重构时，视差图像优选地被加权为更亮并重构，从而生成具有合适明亮度的输出图像。
接下来，参照图25，将描述本实施例中的计算光的渗出量的方法。图25是描述计算光的渗出量的方法的示图。前提是，如上所述，获得被设定为比正常情况更暗的视差图像，从而在要被去除的光已渗出的区域中不发生亮度饱和，并且可对视差图像执行以下处理。
首先，在步骤S401中，执行用于更亮的加权以在重构时实现正常的、合适的明亮度，并且对整个图像执行重构。随后，在步骤S402中，亮度饱和的或者其亮度值等于或者高于预定阈值的光源区域的附近部分被确定为边界处理范围。然后，在步骤S403中，对于确定的边界处理范围执行边界处理。由于步骤S403以及后续的边界处理（确定是否细分边界处理范围以及后续处理）的内容与上述的虚拟成像平面位置或虚拟景深的情况中相同，因此其描述被省略。用户可任意确定预定阈值。作为替代，图像拾取设备可具有用于假定场景的阈值表。
根据本实施例中的图像处理方法（图像处理程序），获得在一个图像中具有多个不同拍摄条件的输出图像。尽管为了易于理解，本实施例描述了虚拟成像平面位置、虚拟景深或者虚拟曝光被彼此独立地控制以改变拍摄条件的情况，但是本实施例并不局限于此。在本实施例中，可存在混合在一个输出图像区域中的组合的多个虚拟成像平面位置、虚拟景深和虚拟曝光。在本实施例中，拍摄条件不局限于虚拟成像平面位置、虚拟景深或虚拟曝光。
以下各实施例中将描述本实施例中的执行图像处理方法（图像处 理程序）的图像拾取设备（图像处理设备）。
[实施例1]
接下来，参照图18，将描述本发明的实施例1中的图像拾取设备（图像拾取光学系统）的配置。图18是本实施例中的图像拾取设备100的框图。图像拾取设备100可通过执行本实施例的图像处理方法来从输入图像（拍摄图像）生成输出图像（重构图像）。
如图18所示，图像拾取设备100包括在成像光学系统101（图像拾取光学系统）和图像拾取元件103之间的透镜阵列102，并且可同时获得来自多个视点的图像。在图像拾取设备100中，物体（未示出）经由成像光学系统101和透镜阵列102在图像拾取元件103上成像，该成像光学系统101包括孔径光阑1011和聚焦透镜1012。
图像拾取元件103是二维图像拾取元件，诸如CCD（电荷耦合器件）或CMOS（互补金属氧化物半导体）。经由成像光学系统101和透镜阵列102入射到图像拾取元件103上的光线的能量改变为电信号（模拟信号）。因而，图像拾取元件103对经由成像光学系统101和透镜阵列102形成的物体图像进行光电转换以获得拍摄图像。通过图像拾取元件103获得的拍摄图像（成像光）被转换成电信号并且被输出至A/D转换器104。A/D转换器104将从图像拾取元件103输入的电信号（模拟信号）转换成数字信号，其被输出至图像处理单元105。
图像处理单元105将图像的重构处理连同预定处理一起执行。图像处理单元105从状态检测单元108获得用于图像拾取设备100的拍摄条件（拍摄条件信息）。拍摄条件信息包括图像拾取光学系统（成像光学系统）的配置、物体距离、光阑值、变焦透镜中的焦距等。状态检测单元108可从系统控制器111直接获得拍摄条件信息，或者可从光学系统控制单元107获得成像光学系统101（图像拾取光学系统）的拍摄条件信息。
图像处理单元105中处理的图像被以预定格式存储在诸如半导体存储器的图像记录介质110中。通过对本实施例中的图像处理之后的图像执行用于显示的预定处理而获得的图像在显示单元106上被显 示。或者为了快速显示，通过执行简化处理而获得的图像可被显示。当存储在图像记录介质110中的图像被显示在显示单元106上时，图像处理单元105基于拍摄条件信息执行重构处理。此时，图像处理单元105还执行降噪处理。结果，在显示单元106上显示被重构为希望的视点、焦点位置和景深的图像（重构图像）。此外，为了高速处理，希望的设定（图像的视点、焦点位置、景深等）被预先存储在存储单元109中，并且重构图像可被直接显示在显示单元106上，而不经由图像记录介质110。图像记录介质110中存储的图像可以是重构图像。
图像拾取设备100中的一系列控制由系统控制器111执行。成像光学系统101的机械驱动由光学系统控制单元107根据系统控制器111的指令执行。孔径光阑1011的孔径直径对于光阑值（F数）的拍摄状态设定被控制。聚焦透镜1012的位置由自动聚焦（AF）机构或者手动聚焦机构（均未示出）控制以根据物体距离执行聚焦。
尽管在本实施例中，成像光学系统101（透镜设备）被配置为与图像拾取设备（图像拾取设备体部）成整体，但是本实施例并不局限于此。成像光学系统101可以是被配置为可去除地附接到诸如单透镜反射照相机的图像拾取设备体部的可更换透镜。
接下来，参照图13，将描述本实施例中的图像拾取光学系统的配置。图13是图像拾取光学系统的示意性配置示图。图像拾取光学系统包括成像光学系统101、透镜阵列102和图像拾取元件103。在本实施例中，透镜阵列102由多个透镜（小透镜）构成，并且小透镜由固体透镜构成。本实施例并不限于此，并且透镜阵列102也可由液体透镜、液晶透镜、或者衍射光学元件构成。透镜阵列102也可由多个透镜构成。构成透镜阵列102的小透镜在两侧具有表面，每一表面具有凸形。本实施例并不局限于此，而是在一侧的表面可以是平面，并且另一侧的表面可具有凸形。
透镜阵列102设置在相对于物体平面201的成像光学系统101的像侧共轭平面。此外，透镜阵列102被配置为使得成像光学系统101的出射光瞳与图像拾取元件103处于基本共轭的关系。来自物体平面 201上的同一位置的光线通过成像光学系统101和透镜阵列102，然后根据它们在物体平面201上的位置以及角度入射到图像拾取元件103的不同像素上，由此获得光场。这里，透镜阵列102用于防止通过物体平面201上的不同位置的光线入射到同一像素上。结果，在图像拾取元件103中，获得如下图像，在该图像中通过从多个视点对物体平面201上的同一区域进行摄影而布置像素组。在图13中所示的配置中，通过使用三个像素（在二维中九个像素）拍摄物体平面201上的同一位置的图像。因此，关于本实施例的图像拾取光学系统，其二维空间分辨率被减小为仅获得光的二维强度分布的图像拾取光学系统的二维空间分辨率的1/9。即使要拍摄物体平面201上的同一位置的图像的像素数量改变，在定性方面这仍保持相同。
随后，将描述本实施例中的重聚焦处理。由于文献Ren Ng,“Fourier SlicePhotography”,2005ACM Trans.Graph.24,735-744中详细描述了重聚焦处理，因此这里将进行简要描述。
接下来，参照图19A和19B，将描述生成重聚焦图像的方法的示例。图19A和19B是图13中所示的图像拾取光学系统的透镜阵列102和图像拾取元件103的详细示图。在图19A和19B中，通过各像素的中心以及对应于此像素的小透镜的像侧主点的光线的路径及其延长部由点虚线指示。虚拟成像平面203指示成像光学系统101相对于在物体侧的要通过重聚焦在其上聚焦的平面的像侧共轭平面。在本实施例中，当像侧共轭平面相对于透镜阵列102的物侧主平面位于像侧时，通过将像侧共轭平面朝像侧移动透镜阵列102的主平面间隔而获得的平面是虚拟成像平面203。通过沿点虚线将通过图像拾取元件103获得的像素值平移至虚拟成像平面203来组合它们，可生成在希望的焦点位置处的重聚焦图像。
例如，为了生成其中图13中的物体平面201合焦的图像，虚拟成像平面203可被设定在经由成像光学系统101与物体平面201共轭的平面，即图19B中所示的透镜阵列102的主平面（像侧主平面）。在图19A和19B中，为了易于理解，在生成重聚焦图像时平移的像素由虚线指示，并且被示出为它们相互偏离（偏移），它们没有相互重叠。如图19A和19B中所示，可见当任意重聚焦图像被生成时，如果成像光学系统101的入射到像素上的光束通过其中的光瞳区域对于像素是相同的，则那些像素的平移量是相同的。因此，在生成重聚焦图像时的像素的操作根据成像光学系统101的入射到像素上的光束通过其中的光瞳区域被确定。
随后，将描述调整景深的方法。在图13的图像拾取光学系统的配置中，如上所述，物体平面201上的同一位置的图像是通过使用三个像素（二维中九个像素）被拍摄的。例如，在此情况中，通过使用全部三个像素（二维中九个像素）执行重构处理，可重构图13所示的状态中的成像光学系统101中的最浅景深的图像。当生成具有深景深的图像时，例如可仅使用在中心的一个像素来执行重构处理，而不使用所有三个像素。结果，可仅选择通过成像光学系统101的光瞳的中心及其附近的光束来生成图像，而没有使用成像光学系统101的整个光瞳。因此，可获得与通过缩小成像光学系统101的孔径光阑而产生的效果相同的效果。光束的此选择确定的虚拟F数对应于上述步骤中描述的虚拟景深。这同样应用于离轴光束以及轴向光束。
在图13所示的图像拾取光学系统中，仅使用三个像素来拍摄物体平面201上的同一位置的图像。因此，当如上所述调整景深时，仅存在两个选项：或者使用三个像素，或者仅使用在中心的一个像素。但是，景深还可被调整为这两者之间的景深。在此情况中，通过改变要使用的像素的加权，景深可被调整。例如，通过原样使用中心的一个像素，通过相对于在中心的像素对两个外部像素以0.5加权以便将其用于重构处理，还可实现中间景深。
随后，将描述改变曝光的方法。如上所述，在生成重聚焦图像时，通过将图像拾取元件103获得的像素值平移至虚拟成像平面203以组合它们，可生成在希望的焦点位置处的重聚焦图像。在此示例中，三个像素值被平移以被组合，并且通过在组合时乘以（施加）类似于校正值的系数，组合时的像素的亮度值可被控制。如果在整个图像中像 素值乘以同一校正值，则整个图像的明亮度可被改变。作为替代，通过仅将特定像素（或多个像素）乘以校正值，仅该特定区域的明亮度可被改变。因而，通过乘以校正值，明亮度可就如曝光被实际改变那样被改变。通过乘以校正值而确定的明亮度对应于上述虚拟曝光。
随后，将描述上述表达式（5）中的系数Q的值。在本实施例的图像拾取设备（图像拾取光学系统）的情况中，透镜阵列102设置在成像光学系统101相对于物体平面201的像侧共轭平面。因此，其等同于被透镜阵列102采样通过成像光学系统101形成的物体平面201的图像。对于这一点，如前文所述，说明了二维空间分辨率减小为仅获得光的二维强度分布的图像拾取设备的二维空间分辨率的1/9。当符号L1p是透镜阵列102的间距，系数Q和Δxp分别由以下表达式（6）和（5a）表示。
Q=sp/L1p…(6)
Δxp=(sp/L1p)×(Δxi/sp)=Δxi/L1p…(5a)
随后，参照图24，将描述本实施例中的图像处理方法。图24是本实施例中的图像处理方法的流程图。图24中的每一步骤由图像处理单元105基于系统控制器111的指令执行。
图像处理单元105具有区域分割单元105a和重构图像生成单元105b。区域分割单元105a将基于输入图像信息生成的输入图像（第一图像）分割成多个区域（第一和第二区域）。重构图像生成单元105b分别对于第一和第二区域应用彼此不同的拍摄条件，由此重构输入图像信息以生成输出图像。优选地，图像处理单元105的区域分割单元105a包括边界确定单元1051a、拍摄条件确定单元1051b、边界处理范围确定单元1051c以及边界处理单元1051d。边界确定单元1051a确定将图像分割成第一和第二区域的边界。拍摄条件确定单元1051b确定分别用于第一和第二区域的拍摄条件。边界处理范围确定单元1051c确定边界处理范围。边界处理单元1051d对于边界处理范围执行边界处理。
优选地，边界处理范围确定单元1051c计算在应用用于第一或第二区域的拍摄条件的情况下物体图像由于第一或第二区域的物体图像 被模糊化而改变时的模糊的扩散量。模糊的扩散量是在物体图像改变之前和之后之间的模糊的扩散量，其是基于拍摄条件被计算的。然后，边界处理范围确定单元1051c基于模糊的扩散量确定边界处理范围。
优选地，边界处理单元1051d将通过边界处理范围彼此相邻的第一区域和第二区域的拍摄条件之间的拍摄条件应用于边界处理范围，以便执行边界处理。
首先，在图24中的步骤S501中，从输入图像信息（多个视点图像的信息）生成第一图像（输入图像）以输出。随后，在步骤S502中，确定用于将第一图像分割成多个区域（第一和第二区域）的边界。然后，在步骤S503中，确定各个区域的拍摄条件。在步骤S504中，确定边界处理范围。随后，在步骤S505中，对于确定的边界处理范围执行边界处理。然后，在步骤S506中，执行重构以生成一个输出图像。结果，通过在一个图像中分别对于多个区域应用不同拍摄条件，可生成重构图像。
[实施例2]
接下来，将描述本发明的实施例2。本实施例中的图像拾取设备的基本配置与参照图18描述的实施例1的图像拾取设备100的基本配置相同，因此其描述被省略。
首先，参照图14，将描述本实施例中的图像拾取光学系统的配置。图14是图像拾取光学系统的示意性配置示图。透镜阵列102被相对于成像光学系统101的相对于物体平面201的图像侧共轭平面202设置在物体侧。透镜阵列102被设置为使得成像光学系统101的相对于物体平面201的图像侧共轭平面202变为与图像拾取元件103共轭（处于共轭关系）。来自物体平面201的光线通过成像光学系统101和透镜阵列102，然后根据光线在物体平面201上的位置和角度入射到图形拾取元件103的不同像素上，从而获得物体空间信息（光场）。来自物体平面201上的同一位置的光线根据光线相对于物体平面201的角度通过成像光学系统101的不同光瞳区域。结果，图像拾取元件103获得如下图像，在该图像中布置有拍摄视点和拍摄范围不同的多个小 图像。
与仅获得光的二维强度分布的图像拾取光学系统相比，图14中所示的图像拾取光学系统的空间分辨率减小。这是因为透镜阵列102将通过成像光学系统101形成的图像看作虚拟物体，并且将其进一步缩小成像在图像拾取元件103上。缩小比是|σ2/σ1|倍。这里，符号σ1是图像侧共轭平面202与透镜阵列102的物体侧主平面之间的距离，并且σ2是透镜阵列102的图像侧主平面与图像拾取元件103之间的距离。因此，图14中所示的图像拾取光学系统的二维空间分辨率是仅获得光的二维强度分布的图像拾取光学系统的（σ2/σ1）2倍。
接下来，参照图20A和20B，将描述本实施例中的生成重聚焦图像的方法。图20A和20B是图14中所示的图像拾取光学系统的配置中的图像拾取元件103和透镜阵列102的详细示图。在本实施例中，透镜阵列102包括其在物体侧的表面是平面并且其在图像侧的表面是凸形的小透镜。类似于实施例1，透镜阵列102的形状并不限于此。
在图20A和20B中每个小透镜的视角由点虚线指示。通过图像拾取元件103获得的像素值经由与像素对应的小透镜被投影到虚拟成像平面203上以被组合，由此生成其中虚拟成像平面203合焦的重聚焦图像。例如，为了生成其中图14中的物体平面201合焦的图像，虚拟成像平面203可被设定在图像侧共轭平面202。在图20A和20B中，在生成重聚焦图像时从透镜阵列号j=-1到+1的小透镜投影的像素由虚线指示，并且为了易于理解，被示出为它们相互偏离，它们没有相互重叠。重聚焦图像的生成可通过以与投影像素的上述生成方法相同的方式将像素平移以使得它们相互重叠以进行组合的方法执行。此时，如果入射到像素上的光束通过其中的透镜阵列102的区域相同，则这些像素的平移量相同。因而，在本实施例中生成重聚焦图像时的像素的操作根据入射到像素上的光束通过其中的透镜阵列102的区域被确定。
随后，将描述调整景深的方法。在图14中所示的图像拾取设备（图像拾取光学系统）的配置中，在光瞳区域被透镜阵列102的三个透镜 分割的情况下，物体平面201上的同一位置被摄影。例如，在此情况中，通过使用透镜阵列102的全部三个透镜执行重构处理，可生成图14中所示的图像拾取设备（成像光学系统101）中的最浅景深的图像。当生成深景深的图像时，可例如仅使用透镜阵列102在中心的一个透镜来执行重构处理，而不使用透镜阵列102的全部三个透镜。结果，可仅使用通过成像光学系统101的光瞳的中心及其附近的光束来生成图像，而不使用整个光瞳。因此，可获得与通过缩小成像光学系统101的孔径光阑产生的效果相同的效果。通过透镜阵列102的透镜的此选择确定的虚拟F数对应于上述步骤中描述的虚拟景深。这同样应用于离轴光束以及轴向光束。
还在图14中所示的图像拾取设备（图像拾取光学系统）中，类似于图13中所示的图像拾取设备（图像拾取光学系统），通过改变对应于要被使用的透镜阵列102的透镜的像素的权重，可精细地调整景深。例如，通过原样使用对应于透镜阵列102的在中心的一个透镜的像素，相对于透镜阵列102的在中心的透镜，对应于透镜阵列102的两个外部透镜的像素值被以0.5加权。通过在重构处理时使用此结果，还可实现任意的中间景深。
随后，将描述改变曝光的方法。如上所述，在生成重聚焦图像时，通过将通过图像拾取元件103获得的像素值经由对应于像素的小透镜投影到虚拟成像平面203上以将它们进行组合，可生成其中虚拟成像平面203合焦的重聚焦图像。通过在组合时将对应于透镜阵列102的透镜的像素值和类似校正值的系数分别相乘（应用），组合时的像素的亮度值可类似于实施例1的图像拾取设备那样被控制。如果在整个图像上像素值乘以相同校正值，则整个图像的明亮度可改变。作为替代，通过仅特定像素（或多个像素）乘以校正值，仅该特定区域的明亮度可被改变。因而，通过乘以校正值，明亮度可如同曝光被实际改变那样被改变。通过乘以校正值而确定的明亮度对应于前文所述的虚拟曝光。
随后，将描述上文提及的表达式（5）中的系数Q的值。在本实 施例的图像拾取设备（图像拾取光学系统）的情况中，透镜阵列102被相对于成像光学系统101的相对于物体平面201的图像侧共轭平面202被设置在物体侧。此外，图像侧共轭平面202和图像拾取元件103被经由透镜阵列102设置为处于共轭关系。因此，图像被减小为图像拾取元件103上的原始图像的σ2/σ1倍，并且被图像拾取元件103上的像素采样。因此，如以下表达式（7）表示，系数Q等于σ2/σ1。此时，Δxp由以下表达式（5b）表示。
Q=σ2/σ1…(7)
Δxp=(σ2/σ1)×(Δxi/sp)…(5b)
[实施例3]
接下来，将描述本发明的实施例3。本实施例中的图像拾取设备的基本配置与参照图18描述的实施例1的图像拾取设备100的基本配置相同，因此其描述被省略。
首先，参照图15，将描述本实施例中的图像拾取光学系统的配置。图15是图像拾取光学系统的示意性配置示图。除了透镜阵列102相对于图像侧共轭平面202设置在图像侧之外，本实施例的图像拾取光学系统与实施例2的图像拾取光学系统相同。与实施例2的图像拾取设备（图像拾取光学系统）的不同之处在于透镜阵列102将通过成像光学系统101形成的图像看作真实物体，并且再次将其成像在图像拾取元件103上。但是，实施例2（图14）和本实施例（图15）的图像拾取设备（图像拾取光学系统）基本相同，这是因为在这两者中，透镜阵列102将通过成像光学系统101形成的图像看作物体，并且在图像拾取元件103上形成其图像。因此，用于实施例2的图像拾取设备（图像拾取光学系统）的重聚焦和景深调整的讨论对于本实施例中的图像拾取设备（图像拾取光学系统）也成立。
还关于改变曝光的方法，控制可被以与实施例2的图像拾取设备（图像拾取光学系统）相同的方式被执行，因此其描述被省略。表达式（5b）可应用于表达式（5）中的系数Q的值。
[实施例4]
接下来，将描述本发明的实施例4。图21是本实施例中的图像拾 取设备100a的框图。除了成像光学系统101、透镜阵列102和图像拾取元件103之外，图像拾取设备100a的配置与图18的图像拾取设备100的配置相同。
图25是本实施例的图像拾取光学系统的示意性配置图，其是当从物体侧观看成像光学系统101时的示图。在图21中，来自物体空间（未示出）的光线入射到成像光学系统101上。如图22所示，成像光学系统101包含具有正折光力的多个光学系统101a到101g。在光学系统101b的光轴为旋转轴的情况下成像光学系统101具有六重对称的配置。成像光学系统101的配置并不局限于此，光学系统的数量和配置可根据需要改变。图像拾取元件103a至103g分别布置在光学系统101a至101g的图像侧。在本实施例中，不必需包含多个图像拾取元件103a至103g，但是如果单个图像拾取元件可接收由光学系统101a至101g形成的图像，则图像拾取光学系统可包括单个图像拾取元件。因此，本实施例的图像拾取设备可具有至少一个图像拾取元件。
图16是本实施例的图像拾取光学系统的示意图，其是包含光学系统101a至101c的光轴的截面。被光学系统101a至101c折射的光线分别被对应的图像拾取元件103a、103b和103c接收。当从不同视点观察物体空间时，通过图像拾取元件103a、103b和103c获得的多个图像是视差图像。通过组合该多个图像，可获得物体空间中的角度信息和光的二维强度分布、即物体空间信息（光场）。在本实施例中，多个视差图像是输入图像。顺便提及，在图16所示的配置中，如果使用的图像拾取元件的所有像素的数量相同，则与仅获得光的二维强度分布的图像拾取系统相比，分辨率降低。这是由于一些像素需要被专用于获得物体空间信息的角度分量。
随后，将描述本实施例中的生成重聚焦图像的方法。图23A和23B是描述重聚焦图像的生成的示图，其是图16的配置的详细示图。图23A和23B中的组合物体侧主平面被定义为延伸通过光学系统101a至101g的各物体侧主点的平面。类似地，组合图像侧主平面是延伸通过光学系统101a至101g的各图像侧主点的平面。在图21所示的图像 拾取设备100a中，成像光学系统101的物体侧主平面和图像侧主平面分别由组合物体侧主平面和组合图像侧主平面指示。在图23A和23B中，各光学系统的视角由点虚线指示。
当图像侧的焦点位置转到虚拟成像平面203上时，通过图像拾取元件103a至103g获得的像素值可经由对应于图像拾取元件103a至103g的光学系统101a至101g投影到物体侧重聚焦平面204上以被组合。物体侧重聚焦平面204经由光学系统101a至101g与虚拟成像平面203共轭。通过移动虚拟成像平面203，可生成其中聚焦于任意位置上的重聚焦图像。
例如，为了生成图16的其中聚焦于物体平面201上的图像，虚拟成像平面203可被设定在图像拾取元件103a至103g上。此时，物体平面201和物体侧重聚焦平面204相互重合。在图23A和23B中，为了易于理解，在生成重聚焦图像中的投影像素由虚线指示，并且被示出为它们相互偏离，它们不相互重叠。重聚焦图像的生成可由如下方法执行，该方法以与投影像素的上述生成方法相同的方式平移像素以使得它们相互重叠，并且组合它们。此时，如果入射到像素上的光束通过其中的光学系统相同，则那些像素的平移量相同。因而，本实施例中的生成重聚焦图像中的像素的操作是根据入射到像素上的光束通过其中的光学系统被确定的。
随后，将描述调整景深的方法。在图21所示的图像拾取设备100a中，在光瞳区域被七个光学系统101a至101g分割的情况下，对物体空间（未示出）上的同一位置进行摄影。例如，在此情况中，通过使用全部七个光学系统101a至101g执行重构处理，可生成图像拾取设备100a的成像光学系统101中具有最浅景深的图像。当生成具有深景深的图像时，可例如仅使用中心的一个光学系统101b来执行重构，而不使用全部七个光学系统101a至101g。结果，可仅使用通过成像光学系统101的光瞳的中心及其附近的光束来生成图像，而不使用整个光瞳。因此，可获得与通过缩小成像光学系统101的孔径光阑产生的效果相同的效果。通过光学系统101的此选择确定的虚拟F数对应于 上述步骤中描述的虚拟景深。这同样应用于离轴光束以及轴向光束。
还在图21中所示的图像拾取设备100a中，类似于图13中所示的图像拾取设备100，通过改变对应于要被使用的光学系统101a至101g的像素的权重，可精细地调整景深。例如，通过原样使用对应于在中心的一个光学系统101b的像素，相对于在中心的光学系统101b，对应于六个周边光学系统101a、101c至101g的像素值被以0.5加权。通过在重构处理时使用此结果，可实现任意的中间景深。
随后，将描述改变曝光的方法。如上所述，在生成重聚焦图像时，经由对应于图像拾取元件103a至103g的光学系统101a至101g将通过图像拾取元件103a至103g获得的像素值投影到物体侧重聚焦平面204上以进行组合。结果，可生成其中虚拟成像平面203合焦的重聚焦图像。通过在组合时将对应于光学系统101的像素值和类似于校正值的系数分别相乘（应用），组合时的像素的亮度值可如同实施例1的图像拾取设备（图像拾取光学系统）那样被控制。如果在整个图像上像素值乘以相同校正值，则整个图像的明亮度可改变。作为替代，通过仅特定像素（或多个像素）乘以校正值，仅该特定区域的明亮度可被改变。因而，通过乘以校正值，明亮度可如同曝光被实际改变那样被改变。通过乘以校正值而确定的明亮度对应于前文所述的虚拟曝光。
随后，将描述表达式（5）中的系数Q的值。在实施例4的图像拾取设备（图像拾取光学系统）的情况中，来自物体空间的光线入射到图21中所示的成像光学系统101上。尽管在此配置中，成像光学系统的组合光瞳被分割以获得物体空间信息，但是成像光学系统101和图像拾取元件103彼此独立地存在。因此，如同不获得来自多个视点的物体空间信息的常规图像拾取设备那样，如以下表达式（8）所示，系数Q的值等于1。因此，Δxp由以下表达式（5c）表示。
Q=1…(8)
Δxp=1×(Δxi/sp)…(5c)
[实施例5]
接下来，将描述本发明的实施例5。本实施例描述了一种执行上 述各实施例中的图像处理方法的图像处理设备（图像处理系统）。图17是本实施例中的图像处理系统300的框图。本实施例的图像处理设备使用包括从多个视点图像获得的物体空间信息的输入图像信息生成输出图像。
如图17所示，图像处理系统300包括图像拾取设备301。图像拾取设备301包括具有图13至16（实施例1至4）的配置中任一个的图像拾取光学系统。图像处理设备302是执行上述图像重构的计算机（信息处理设备）。图像处理设备302包括存储单元，其存储通过图像拾取设备301获得的输入图像的拍摄条件信息。图像处理设备302对于此输入图像执行预定重构处理，并且将处理结果（输出图像）输出至输出装置305、显示装置304和记录介质303中的一个或多个。图像处理设备302执行图24的步骤中的每一个。
记录介质303是例如半导体存储器、硬盘、网络服务器等等。输出装置305是例如打印机。显示装置304连接到图像处理设备302，并且重构图像被输入显示装置304。用户可在确认显示装置304上的重构图像的同时工作。图像处理软件306（图像处理程序）执行上述重构处理（图像处理方法），并且还根据需要执行显影处理或其它图像处理。显示装置304是例如液晶显示器、投影仪等。
本实施例通过执行以下处理来实现。即，实现上述实施例中的功能的软件（程序）被经由网络或者诸如CD-ROM的记录介质307提供给系统或设备。然后，系统或设备的计算机（或CPU、MPU等）读出并且执行图像处理程序。
各实施例的图像处理方法可包括以下的图像获得步骤、拍摄条件设定步骤和组合步骤。图像获得步骤是用于获得包括分别在彼此不同的第一、第二和第三拍摄条件下被拍摄的第一图像、第二图像和第三图像的输入图像的步骤。拍摄条件设定步骤是用于设定第一拍摄条件用于输出图像的第一区域以及设定第二拍摄条件用于输出图像的第二区域的步骤。组合步骤是用于组合对应于第一区域的第一图像、对应于第二区域的第二图像、以及对应于第一区域和第二区域之间的第三 区域的第三图像的步骤，优选地，第三图像是通过设定第一和第二拍摄条件之间的第三拍摄条件而生成的。图像获得步骤由图像获得单元（图像处理单元105）执行，拍摄条件设定步骤由拍摄条件设定单元（区域分割单元105a）执行，并且组合步骤由组合单元（重构图像生成单元105b）执行。
根据上述各实施例，能够通过对于一个图像中的多个区域应用彼此不同的拍摄条件而生成重构图像的图像处理设备、图像拾取设备和图像处理方法可被提供。结果，这使得能够独立控制背景模糊和景深，这例如当物体是移动物体时或者摄影师将物体拿在手中进行摄影时尤其有效。
根据各实施例的图像处理设备，在图像中具有多个焦点位置的图像可被容易地获得。因此，在其应用中，可获得所谓的倾斜透镜效应，即虚拟成像平面位置从前向后（或反过来）连续改变。当将虚拟成像平面位置连续改变为弯曲表面形状或自由形式表面形状时，可期望常规平面图像拾取元件不能实现的照相机效果。
虽然已参照示例性实施例描述了本发明，但应理解，本发明不限于公开的示例性实施例。以下的权利要求的范围应被赋予最宽的解释以包含所有这样的变更方式以及等同的结构和功能。

Claims (16)

1.一种图像处理设备，所述图像处理设备使用包括物体空间信息的捕获的输入图像生成输出图像，所述物体空间信息包含二维光强度分布和光线角度的信息，所述图像处理设备包括：
区域分割单元，被配置用于通过使用捕获的输入图像将输出图像区域分割成至少第一区域和第二区域；以及
重构图像生成单元，被配置用于在输入图像被捕获之后，基于捕获的输入图像中包括的物体空间信息重构捕获的输入图像以生成输出图像，重构图像生成单元对于第一区域和第二区域分别应用彼此不同的拍摄条件。
2.根据权利要求1所述的图像处理设备，其特征在于，所述区域分割单元包含：
边界确定单元，被配置用于确定用于通过使用捕获的输入图像将输出图像区域分割成至少第一区域和第二区域的边界；
拍摄条件确定单元，被配置用于确定用于第一区域和第二区域中的每一个的拍摄条件；
边界处理范围确定单元，被配置用于确定第一区域和第二区域之间的边界处理范围；以及
边界处理单元，被配置用于对于所述边界处理范围执行边界处理以便减小由彼此不同的拍摄条件生成的第一区域和第二区域之间的差别。
3.根据权利要求2所述的图像处理设备，其特征在于，所述边界处理范围确定单元基于用于第一区域和第二区域之一的拍摄条件计算对应于物体图像改变前后之间的视差的模糊的扩散量，并且基于模糊的扩散量确定边界处理范围。
4.根据权利要求2所述的图像处理设备，其特征在于，所述边界处理单元将通过所述边界处理范围彼此相邻的第一区域和第二区域的拍摄条件之间的拍摄条件应用于所述边界处理范围以便执行边界处理。
5.根据权利要求1所述的图像处理设备，其特征在于，拍摄条件是虚拟景深。
6.根据权利要求1所述的图像处理设备，其特征在于，拍摄条件是虚拟成像平面位置。
7.根据权利要求1所述的图像处理设备，其特征在于，拍摄条件是虚拟曝光。
8.一种图像拾取设备，所述图像拾取设备使用包括物体空间信息的捕获的输入图像生成输出图像，所述物体空间信息包含二维光强度分布和光线角度的信息，所述图像拾取设备包括：
成像光学系统；
图像拾取元件，包括多个像素；
透镜阵列，被配置为使得来自物体平面的同一位置的光线根据所述光线通过的成像光学系统的光瞳区域入射到图像拾取元件的不同像素上；以及
根据权利要求1-7中任一个所述的图像处理设备，
其特征在于，所述透镜阵列被设置在成像光学系统的相对于所述物体平面的图像侧共轭平面中。
9.一种图像拾取设备，所述图像拾取设备使用包括物体空间信息的捕获的输入图像生成输出图像，所述物体空间信息包含二维光强度分布和光线角度的信息，所述图像拾取设备包括：
成像光学系统；
图像拾取元件，包括多个像素；
透镜阵列，被配置为使得来自物体平面的同一位置的光线根据所述光线通过的成像光学系统的光瞳区域入射到图像拾取元件的不同像素上；以及
根据权利要求1-7中任一个所述的图像处理设备，
其特征在于，所述透镜阵列被设置为使得图像拾取元件与成像光学系统的相对于所述物体平面的图像侧共轭平面共轭。
10.一种图像拾取设备，所述图像拾取设备使用包括物体空间信息的捕获的输入图像生成输出图像，所述物体空间信息包含二维光强度分布和光线角度的信息，所述图像拾取设备包括：
成像光学系统，包括具有正折光力的多个光学系统；
包括多个像素的至少一个图像拾取元件；以及
根据权利要求1-7中任一项所述的图像处理设备，
其特征在于，
所述多个光学系统被排列为使得来自物体平面的同一位置的光线根据所述光线通过的成像光学系统的光瞳区域入射到图像拾取元件的不同像素上，并且
所述成像光学系统的光瞳是通过组合所述多个光学系统的光瞳而获得的组合光瞳。
11.一种图像处理方法，所述图像处理方法使用包括物体空间信息的捕获的输入图像生成输出图像，所述物体空间信息包含二维光强度分布和光线角度的信息，所述图像处理方法包括以下步骤：
通过使用捕获的输入图像将输出图像区域分割成至少第一区域和第二区域；以及
在输入图像被捕获之后，基于捕获的输入图像中包括的物体空间信息重构捕获的输入图像以生成输出图像，所述捕获的输入图像是通过对于第一区域和第二区域分别应用彼此不同的拍摄条件而被重构的。
12.根据权利要求11所述的图像处理方法，其特征在于，将输出图像区域分割成第一区域和第二区域的步骤包括以下步骤：
确定用于通过使用捕获的输入图像将输出图像区域分割成至少第一区域和第二区域的边界；
确定用于第一区域和第二区域中的每一个的拍摄条件；
确定第一区域和第二区域之间的边界处理范围；以及
对于边界处理范围执行边界处理以便减小由彼此不同的拍摄条件生成的第一区域和第二区域之间的差别。
13.一种图像处理方法，包括：
图像获得步骤，用于获得包含以彼此不同的第一拍摄条件、第二拍摄条件和第三拍摄条件拍摄的第一图像、第二图像和第三图像的捕获的输入图像，捕获的输入图像包括物体空间信息，所述物体空间信息包含二维光强度分布和光线角度的信息，
拍摄条件设定步骤，用于设定第一拍摄条件用于输出图像区域的第一区域和设定第二拍摄条件用于输出图像区域的第二区域，以及
组合步骤，用于在输入图像被捕获之后，基于捕获的输入图像中包括的物体空间信息来组合对应于第一区域的第一图像、对应于第二区域的第二图像以及对应于输出图像区域的第一区域和第二区域之间的第三区域的第三图像以生成输出图像。
14.根据权利要求13所述的图像处理方法，其中，该第三拍摄条件在第一拍摄条件和第二拍摄条件之间。
15.一种图像处理设备，包括：
图像获得单元，被配置用于获得包含以彼此不同的第一拍摄条件、第二拍摄条件和第三拍摄条件拍摄的第一图像、第二图像和第三图像的捕获的输入图像，捕获的输入图像包括物体空间信息，所述物体空间信息包含二维光强度分布和光线角度的信息，
拍摄条件设定单元，被配置用于设定第一拍摄条件用于输出图像区域的第一区域和设定第二拍摄条件用于输出图像区域的第二区域，以及
组合单元，被配置用于在输入图像被捕获之后，基于捕获的输入图像中包括的物体空间信息来组合对应于第一区域的第一图像、对应于第二区域的第二图像以及对应于输出图像区域的第一区域和第二区域之间的第三区域的第三图像以生成输出图像。
16.根据权利要求15所述的图像处理设备，其中，该第三拍摄条件在第一拍摄条件和第二拍摄条件之间。
CN201410050633.3A 2013-02-14 2014-02-14 图像处理设备、图像拾取设备以及图像处理方法 Active CN103997599B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013026538A JP6230239B2 (ja) 2013-02-14 2013-02-14 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2013-026538 2013-02-14

Publications (2)

Publication Number Publication Date
CN103997599A CN103997599A (zh) 2014-08-20
CN103997599B true CN103997599B (zh) 2017-09-26

Family

ID=51297211

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410050633.3A Active CN103997599B (zh) 2013-02-14 2014-02-14 图像处理设备、图像拾取设备以及图像处理方法

Country Status (3)

Country Link
US (1) US9521316B2 (zh)
JP (1) JP6230239B2 (zh)
CN (1) CN103997599B (zh)

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9547160B2 (en) 2013-01-05 2017-01-17 Light Labs Inc. Methods and apparatus for capturing and/or processing images
JP6319972B2 (ja) * 2013-08-26 2018-05-09 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、およびプログラム
US9423588B2 (en) 2013-10-18 2016-08-23 The Lightco Inc. Methods and apparatus for supporting zoom operations
US9374514B2 (en) 2013-10-18 2016-06-21 The Lightco Inc. Methods and apparatus relating to a camera including multiple optical chains
US9578252B2 (en) 2013-10-18 2017-02-21 Light Labs Inc. Methods and apparatus for capturing images using optical chains and/or for using captured images
US9736365B2 (en) 2013-10-26 2017-08-15 Light Labs Inc. Zoom related methods and apparatus
US9467627B2 (en) 2013-10-26 2016-10-11 The Lightco Inc. Methods and apparatus for use with multiple optical chains
US9686471B2 (en) 2013-11-01 2017-06-20 Light Labs Inc. Methods and apparatus relating to image stabilization
US9554031B2 (en) 2013-12-31 2017-01-24 Light Labs Inc. Camera focusing related methods and apparatus
US10931866B2 (en) 2014-01-05 2021-02-23 Light Labs Inc. Methods and apparatus for receiving and storing in a camera a user controllable setting that is used to control composite image generation performed after image capture
US9462170B2 (en) 2014-02-21 2016-10-04 The Lightco Inc. Lighting methods and apparatus
US9979878B2 (en) 2014-02-21 2018-05-22 Light Labs Inc. Intuitive camera user interface methods and apparatus
WO2016004422A1 (en) 2014-07-04 2016-01-07 The Lightco Inc. Methods and apparatus relating to detection and/or indicating a dirty lens condition
US10110794B2 (en) 2014-07-09 2018-10-23 Light Labs Inc. Camera device including multiple optical chains and related methods
JP6351105B2 (ja) * 2014-09-29 2018-07-04 オリンパス株式会社 画像処理装置、撮像装置および画像処理方法
US11689798B2 (en) * 2014-09-30 2023-06-27 Nikon Corporation Electronic device, image-capturing device, and image-capturing system
US9912865B2 (en) 2014-10-17 2018-03-06 Light Labs Inc. Methods and apparatus for supporting burst modes of camera operation
EP3235243A4 (en) 2014-12-17 2018-06-20 Light Labs Inc. Methods and apparatus for implementing and using camera devices
US9544503B2 (en) * 2014-12-30 2017-01-10 Light Labs Inc. Exposure control methods and apparatus
JP6486149B2 (ja) * 2015-03-03 2019-03-20 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
US9824427B2 (en) 2015-04-15 2017-11-21 Light Labs Inc. Methods and apparatus for generating a sharp image
US9857584B2 (en) 2015-04-17 2018-01-02 Light Labs Inc. Camera device methods, apparatus and components
US10075651B2 (en) 2015-04-17 2018-09-11 Light Labs Inc. Methods and apparatus for capturing images using multiple camera modules in an efficient manner
US10091447B2 (en) 2015-04-17 2018-10-02 Light Labs Inc. Methods and apparatus for synchronizing readout of multiple image sensors
US9967535B2 (en) 2015-04-17 2018-05-08 Light Labs Inc. Methods and apparatus for reducing noise in images
US9930233B2 (en) 2015-04-22 2018-03-27 Light Labs Inc. Filter mounting methods and apparatus and related camera apparatus
US10129483B2 (en) 2015-06-23 2018-11-13 Light Labs Inc. Methods and apparatus for implementing zoom using one or more moveable camera modules
JP6736270B2 (ja) * 2015-07-13 2020-08-05 キヤノン株式会社 画像処理装置及び画像処理装置の作動方法
US10491806B2 (en) 2015-08-03 2019-11-26 Light Labs Inc. Camera device control related methods and apparatus
US10365480B2 (en) 2015-08-27 2019-07-30 Light Labs Inc. Methods and apparatus for implementing and/or using camera devices with one or more light redirection devices
CN106254750B (zh) * 2015-08-31 2019-04-26 北京智谷睿拓技术服务有限公司 图像采集控制方法和装置
US10051182B2 (en) 2015-10-05 2018-08-14 Light Labs Inc. Methods and apparatus for compensating for motion and/or changing light conditions during image capture
US9749549B2 (en) 2015-10-06 2017-08-29 Light Labs Inc. Methods and apparatus for facilitating selective blurring of one or more image portions
CN105223756B (zh) * 2015-10-06 2018-03-09 瑞声光电科技(常州)有限公司 阵列式镜头模组
JP6723720B2 (ja) * 2015-10-20 2020-07-15 キヤノン株式会社 表示システム、情報処理方法及びプログラム
US10003738B2 (en) 2015-12-18 2018-06-19 Light Labs Inc. Methods and apparatus for detecting and/or indicating a blocked sensor or camera module
US10225445B2 (en) 2015-12-18 2019-03-05 Light Labs Inc. Methods and apparatus for providing a camera lens or viewing point indicator
KR20180103059A (ko) * 2016-01-11 2018-09-18 톰슨 라이센싱 광 필드 데이터의 일관된 편집
US10306218B2 (en) 2016-03-22 2019-05-28 Light Labs Inc. Camera calibration apparatus and methods
EP3435328A4 (en) * 2016-03-23 2019-11-13 Hitachi Automotive Systems, Ltd. OBJECT DETECTION DEVICE
JP2019114821A (ja) * 2016-03-23 2019-07-11 日本電気株式会社 監視システム、装置、方法およびプログラム
EP3474236A4 (en) * 2016-06-16 2019-12-11 Sony Interactive Entertainment Inc. IMAGING DEVICE
US9948832B2 (en) 2016-06-22 2018-04-17 Light Labs Inc. Methods and apparatus for synchronized image capture in a device including optical chains with different orientations
JP2018050231A (ja) * 2016-09-23 2018-03-29 キヤノン株式会社 撮像装置、撮像方法および撮像制御プログラム
WO2018088212A1 (ja) * 2016-11-08 2018-05-17 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
CN106791471B (zh) * 2016-12-29 2021-07-20 宇龙计算机通信科技(深圳)有限公司 图像优化方法、图像优化装置和终端
JP6780537B2 (ja) * 2017-02-22 2020-11-04 オムロン株式会社 光学センサ、学習装置、及び画像処理システム
US10084967B1 (en) * 2017-03-24 2018-09-25 Qualcomm Incorporated Systems and methods for regionally controlling exposure time in high dynamic range imaging
KR102053527B1 (ko) * 2017-10-15 2019-12-06 알레시오 주식회사 이미지 처리 방법
JP7158841B2 (ja) * 2017-11-08 2022-10-24 キヤノン株式会社 撮像装置、撮像方法、プログラム、記録媒体および画像処理装置
CN111788824B (zh) * 2018-03-06 2022-07-08 索尼公司 图像处理设备、成像设备以及图像处理方法
CN108259727A (zh) * 2018-03-21 2018-07-06 维沃移动通信有限公司 一种景深图像生成方法及移动终端
JP7271895B2 (ja) * 2018-09-28 2023-05-12 株式会社ニコン 電子機器および設定プログラム
JP7337566B2 (ja) * 2019-07-01 2023-09-04 キヤノン株式会社 撮像装置、画像処理方法、およびプログラム
CN117078662A (zh) * 2023-10-11 2023-11-17 杭州睿影科技有限公司 一种叠片式电池的检测方法、装置、图像处理设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005229198A (ja) * 2004-02-10 2005-08-25 Sony Corp 画像処理装置および方法、並びに、プログラム
CN101953153A (zh) * 2008-03-31 2011-01-19 富士胶片株式会社 摄像装置,摄像方法和用于存储程序的计算机可读取介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10290389A (ja) * 1997-04-16 1998-10-27 Toyota Motor Corp マルチフォーカス画像作成方法及び画像作成装置
US7286168B2 (en) * 2001-10-12 2007-10-23 Canon Kabushiki Kaisha Image processing apparatus and method for adding blur to an image
WO2007049634A1 (ja) * 2005-10-28 2007-05-03 Nikon Corporation 撮影装置、画像処理装置およびプログラム
JP4460560B2 (ja) * 2006-09-29 2010-05-12 富士フイルム株式会社 撮像装置及び撮影方法
JP2008312080A (ja) * 2007-06-18 2008-12-25 Sony Corp 撮像装置及び撮像方法
KR101510098B1 (ko) 2007-12-21 2015-04-08 삼성전자주식회사 디지털 영상 처리 장치에서 영상의 배경흐림 효과 처리장치 및 방법
JP2010148045A (ja) * 2008-12-22 2010-07-01 Sony Corp 撮像装置および撮像方法
US20120249550A1 (en) * 2009-04-18 2012-10-04 Lytro, Inc. Selective Transmission of Image Data Based on Device Attributes
JP2011211291A (ja) 2010-03-29 2011-10-20 Sanyo Electric Co Ltd 画像処理装置、撮像装置及び表示装置
JP2011211523A (ja) 2010-03-30 2011-10-20 Fujifilm Corp 画像処理方法および撮影装置
JP5517746B2 (ja) * 2010-05-26 2014-06-11 キヤノン株式会社 画像処理装置およびその方法
BR112013013356A2 (pt) * 2010-12-03 2016-09-13 Sharp Kk dispositivo de processamento de imagem, método de processamento de imagem e programa de processamento de imagem
JP5623313B2 (ja) * 2011-03-10 2014-11-12 キヤノン株式会社 撮像装置および撮像光学系
JP5655667B2 (ja) * 2011-03-31 2015-01-21 カシオ計算機株式会社 撮像装置及び撮像制御方法、画像処理装置及び画像処理方法、並びにプログラム
US8704916B2 (en) * 2011-04-11 2014-04-22 Canon Kabushiki Kaisha Systems and methods for focus transition
JP5818514B2 (ja) * 2011-05-27 2015-11-18 キヤノン株式会社 画像処理装置および画像処理方法、プログラム
JP5762142B2 (ja) * 2011-05-31 2015-08-12 キヤノン株式会社 撮像装置、画像処理装置およびその方法
JP2013025649A (ja) * 2011-07-23 2013-02-04 Canon Inc 画像処理装置及び画像処理方法、プログラム
JP6000520B2 (ja) * 2011-07-25 2016-09-28 キヤノン株式会社 撮像装置およびその制御方法およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005229198A (ja) * 2004-02-10 2005-08-25 Sony Corp 画像処理装置および方法、並びに、プログラム
CN101953153A (zh) * 2008-03-31 2011-01-19 富士胶片株式会社 摄像装置,摄像方法和用于存储程序的计算机可读取介质

Also Published As

Publication number Publication date
US20140226041A1 (en) 2014-08-14
JP6230239B2 (ja) 2017-11-15
JP2014158070A (ja) 2014-08-28
CN103997599A (zh) 2014-08-20
US9521316B2 (en) 2016-12-13

Similar Documents

Publication Publication Date Title
CN103997599B (zh) 图像处理设备、图像拾取设备以及图像处理方法
CN104662887B (zh) 图像处理设备、图像处理方法和具有该图像处理设备的摄像设备
JP5317891B2 (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
US20100177208A1 (en) Imaging apparatus, image processing method, and image processing program
JP6003578B2 (ja) 画像生成方法及び装置
CN104702824A (zh) 摄像装置及摄像装置的控制方法
JP2015144416A (ja) 撮像装置及び撮像装置の制御方法
JP2008276301A (ja) 画像処理装置、方法およびプログラム
JP2013026844A (ja) 画像生成方法及び装置、プログラム、記録媒体、並びに電子カメラ
US8072487B2 (en) Picture processing apparatus, picture recording apparatus, method and program thereof
JP6095266B2 (ja) 画像処理装置及びその制御方法
CN107431755A (zh) 图像处理设备、摄像设备、图像处理方法、程序和存储介质
CN104580921A (zh) 摄像设备及其控制方法
JP6418770B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体
JP2017005689A (ja) 画像処理装置および画像処理方法
JP2011035643A (ja) 多眼撮影方法および装置、並びにプログラム
CN104756493A (zh) 摄像装置、图像处理装置、摄像装置的控制程序及图像处理装置的控制程序
JP5843599B2 (ja) 画像処理装置および撮像装置並びにその方法
JP2012178688A (ja) 立体画像撮影装置
JP2014036362A (ja) 撮像装置、その制御方法、および制御プログラム
JP6168220B2 (ja) 画像生成装置、画像処理装置、画像生成方法及び画像処理プログラム
JP6330955B2 (ja) 撮像装置及び撮像方法
JP6569769B2 (ja) 任意視点画像合成方法及び画像処理装置
JP4632060B2 (ja) 画像記録装置、方法およびプログラム
JP6817855B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant