CN103685922A - 图像处理设备、摄像设备和图像处理方法 - Google Patents

图像处理设备、摄像设备和图像处理方法 Download PDF

Info

Publication number
CN103685922A
CN103685922A CN201310415360.3A CN201310415360A CN103685922A CN 103685922 A CN103685922 A CN 103685922A CN 201310415360 A CN201310415360 A CN 201310415360A CN 103685922 A CN103685922 A CN 103685922A
Authority
CN
China
Prior art keywords
image
pixel
optical system
pixel value
input picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310415360.3A
Other languages
English (en)
Other versions
CN103685922B (zh
Inventor
日浅法人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN103685922A publication Critical patent/CN103685922A/zh
Application granted granted Critical
Publication of CN103685922B publication Critical patent/CN103685922B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

提供了一种图像处理设备、摄像设备和图像处理方法。图像处理设备能够通过重建输入图像来生成具有不同焦点位置的多个输出图像，其包括：存储单元，用于存储摄像条件信息；以及图像处理单元，用于使用摄像条件信息，根据输入图像来生成输出图像，并且图像处理单元获得输入图像，其中，输入图像是经由成像光学系统和具有多个像素的摄像元件所获得的、从多个视点观看的被摄体空间的信息；计算同一区域的输入图像的像素组的平均像素值，并且利用平均像素值代替像素组的每个像素值；并且以使利用平均像素值所代替的像素彼此偏移的方式进行合成，以生成输出图像。

Description

图像处理设备、摄像设备和图像处理方法
技术领域
本发明涉及一种图像处理设备，其对输入图像进行重建，以生成具有不同焦点位置的多个输出图像。
背景技术
近来，提供了一种摄像设备，其通过对由摄像元件获得的数据进行计算并且进行与其相对应的数字图像处理来输出各种图像。Ren Ng等的“LightField Photography with A Hand-held Plenoptic CAMERA”,2005COMPUTERScience Technical Report CTSR和Todor Georgiev等的“Superresolution withPlenoptic2.0CAMERA”,2009Optical Society OF America公开了一种摄像设备，其使用“光场摄影”，同时获得被摄体空间中的光的二维强度分布和光束的角度信息、即视差信息。将光的二维强度分布和光束的角度信息统称为光场，并且通过获得光场，能够获得被摄体空间的三维信息。通过使用获得的光场对图像进行重建处理，能够进行诸如改变图像的焦点位置、改变摄像视点和调整景深的再聚焦。
此外，随着显示装置的发展，要求摄像设备具有进一步高的图像质量。为了高图像质量，减小图像的噪声很重要。日本特开平06-86332公开了通过对通过多个摄像光学系统获得的图像进行合成来减小噪声的方法。
然而，在日本特开平06-86332公开的噪声减小方法中，针对对同一被摄体进行摄像的像素，简单地进行合成。在这种情况下，当噪声符合泊松(Poisson)分布时，合成N个像素，从而通过求平均使噪声减小N-1/2倍。然而，随着显示装置的发展，要求图像具有进一步高的质量，因此在日本特开平06-86332中公开的噪声减小方法是不够的。
发明内容
本发明提供一种有效地减小通过合成视差图像而获得的图像的噪声的图像处理设备、摄像设备、图像处理方法和图像处理程序。
作为本发明的图像处理设备，其能够通过重建输入图像来生成具有不同焦点位置的多个输出图像，所述图像处理设备包括：存储单元，用于存储所述输入图像的摄像条件信息；以及图像处理单元，用于使用所述摄像条件信息，根据所述输入图像来生成所述输出图像，其中，所述图像处理单元：获得所述输入图像，其中，所述输入图像是经由成像光学系统和具有多个像素的摄像元件所获得的、从多个视点观看的被摄体空间的信息；计算所述被摄体空间的同一区域的所述输入图像的像素组的平均像素值，并且利用所述平均像素值代替所述像素组的每个像素值；以及以使利用所述平均像素值所代替的所述像素组的像素彼此偏移的方式进行合成，以生成所述输出图像。
作为本发明的另一方面的摄像设备，其能够通过重建输入图像来生成具有不同焦点位置的多个输出图像，所述摄像设备包括：成像光学系统；包括多个像素的摄像元件；透镜阵列，用于根据来自被摄体平面的同一位置的光束所通过的所述成像光学系统的光瞳区域，使所述光束进入所述摄像元件的彼此不同的像素；以及图像处理单元，用于根据所述摄像元件所获得的所述输入图像，生成所述输出图像，其中，所述图像处理单元：获得所述输入图像，其中，所述输入图像是经由所述成像光学系统、所述摄像元件和所述透镜阵列所获得的、从多个视点观看的被摄体空间的信息；计算所述被摄体空间的同一区域的所述输入图像的像素组的平均像素值，并且利用所述平均像素值代替所述像素组的每个像素值；以及以使利用所述平均像素值所代替的所述像素组的像素彼此偏移的方式进行合成，以生成所述输出图像。
作为本发明的另一方面的摄像设备，其能够通过重建输入图像来生成具有不同焦点位置的多个输出图像，所述摄像设备包括：成像光学系统，其包括具有正屈光力的多个光学系统；包括多个像素的至少一个摄像元件；以及图像处理单元，用于根据所述摄像元件所获得的所述输入图像，生成所述输出图像，其中，在所述成像光学系统的光瞳是通过对所述多个光学系统的光瞳进行合成而形成的光瞳时，所述多个光学系统被配置为使得根据来自被摄体平面的同一位置的光束所通过的所述成像光学系统的光瞳区域，使所述光束进入所述摄像元件的彼此不同的像素，
作为本发明的另一方面的图像处理方法，其能够通过重建输入图像来生成具有不同焦点位置的多个输出图像，所述图像处理方法包括如下步骤：获得所述输入图像，其中，所述输入图像是经由成像光学系统和具有多个像素的摄像元件所获得的、从多个视点观看的被摄体空间的信息；计算所述被摄体空间的同一区域的所述输入图像的像素组的平均像素值，并且利用所述平均像素值代替所述像素组的每个像素值；以及以使利用所述平均像素值所代替的所述像素组的像素彼此偏移的方式进行合成，以生成所述输出图像。
从以下参考附图对示例性实施例的描述，本发明的其它特征和方面将变得明显。
附图说明
图1是实施例1中的摄像光学系统的示意性配置图。
图2是实施例2中的摄像光学系统的示意性配置图。
图3是实施例2中的摄像光学系统的示意性配置图。
图4是实施例3中的摄像光学系统的示意性配置图。
图5是实施例1中的摄像设备的框图。
图6是实施例1中的摄像光学系统的截面图。
图7A和7B是示出实施例1中的再聚焦图像生成的图。
图8是示出实施例1中的再聚焦范围的图。
图9是示出实施例1中的摄像光学系统和物体距离的关系的图。
图10是示出实施例1中的摄像元件和透镜阵列的关系的图。
图11是示出实施例1中的摄像场景的示例的图。
图12A至12D是示出实施例1中的视差图像的示例的图。
图13A和13B是示出实施例1中的再聚焦图像的示例的图。
图14是实施例1中的图像处理方法的流程图。
图15是实施例2中的图像处理系统的框图。
图16是实施例2中的摄像光学系统的截面图。
图17A和17B是示出实施例2中的再聚焦图像生成的图。
图18是示出实施例2中的再聚焦范围的图。
图19是实施例3中的摄像设备的框图。
图20是实施例3中的摄像光学系统的示意性配置图。
图21是实施例3中的光学系统的截面图。
图22A和22B是示出实施例3中的再聚焦图像生成的图。
图23是示出实施例3中的再聚焦范围的图。
图24是实施例2和3中的每个中的图像处理方法的流程图。
具体实施方式
下面，参考附图描述本发明的示例性实施例。在附图中的每个中，用相同的附图标记表示相同的要素，并且省略重复描述。
本实施例的图像处理方法通过对输入图像进行重建，能够生成具有不同焦点位置的多个输出图像。输入图像是从不同视点对被摄体空间进行摄像以获得光场的图像(视差图像)，并且其由下面的摄像设备获得。也就是说，摄像设备被配置为通过排列具有正屈光力的多个光学系统，或者通过在摄像光学系统的图像侧布置透镜阵列，来获得光场。
图1至4是构成该摄像设备的摄像光学系统的示例。摄像光学系统被配置为包括成像光学系统和摄像元件。当设置透镜阵列时，摄像光学系统被配置为包括透镜阵列。另外，作为获得光场的另一方法，可以想到使用获得被摄体空间的光的二维强度分布的摄像设备来在改变摄像设备的位置的情况下进行多次摄像的方法。在这种情况下，通过在彼此不同的时间对被摄体空间进行摄像来获得光场(视差图像)。由于该原因，当在被摄体空间中存在运动物体时，难以获得正确的信息(视差信息)。因此，如图1至4所示，优选摄像光学系统具有能够同时获得视差图像(多个视差图像)的配置。
人或者物体不一定存在于图1至4所示的被摄体平面201上。这是因为通过重建处理，能够在进行摄像之后对存在于被摄体平面201后面或者前面的人和物体进行聚焦。另外，为了方便，使用一维系统进行对下面的实施例的描述，但是关于二维系统，相同的讨论也成立。
实施例1
首先，参考图5描述本发明的实施例1中的摄像设备的配置。图5是本实施例的摄像设备的框图。由摄像设备的图像处理单元105进行本实施例的图像处理方法。
摄像元件103是诸如CCD(电荷耦合器件)或者CMOS(互补金属氧化物半导体)的二维摄像元件，其设置有多个像素。经由成像光学系统101(主镜头单元)和透镜阵列102进入摄像元件103的光束的能量变为电信号(模拟信号)，并且由A/D转换器104转换为数字信号。在图像处理单元105中对数字信号进行预定处理，并且以预定格式将其存储在诸如半导体存储器的图像记录介质110中。在这种情况下，还存储从状态检测单元108获得的摄像设备的摄像条件信息。摄像条件信息是摄像距离、光圈、变焦透镜中的焦距等。状态检测单元108可以从系统控制器111直接获得摄像条件信息，并且可以从光学系统控制器107获得关于摄像光学系统的信息。
当在显示单元106上显示存储在图像记录介质110中的图像时，图像处理单元105基于摄像条件信息进行重建处理。其结果是，在显示单元106上显示以期望的视点、焦点位置和景深重建的图像。另外，为了高速度，可以预先将期望的图像设置(视点、焦点和景深)存储在存储单元109中，并且可以在不使用图像记录介质110的情况下直接在显示单元106上显示重建图像。另外，记录在图像记录介质110中的图像可以是重建之后的图像。由系统控制器111进行上述一系列控制，并且通过系统控制器111的指示由光学系统控制器107来进行摄像光学系统的机械驱动。
接下来，参考图1和6描述本实施例中的摄像光学系统的配置。图1是摄像光学系统的示意性配置图。图6是摄像光学系统的截面图。摄像光学系统被配置为包括成像光学系统101、透镜阵列102和摄像元件103。在本实施例中，使用多个透镜(小透镜)构成透镜阵列102，并且小透镜由固体透镜构成。然而，本实施例不限于此，可以使用液体透镜、液晶透镜或者衍射光学元件来构成透镜阵列102。构成透镜阵列102的小透镜的两侧的表面都具有凸起形状。然而，本实施例不限于此，一侧的表面可以是平坦形状，而另一侧的表面可以具有凸起形状。
透镜阵列102被布置在成像光学系统101的相对于被摄体平面201的图像侧共轭平面。另外，透镜阵列102被配置为使得成像光学系统101的出射光瞳和摄像元件103基本处于共轭的关系。来自被摄体平面201上的同一位置的光束通过成像光学系统101和透镜阵列102，然后根据光束在被摄体平面201上的位置和角度而进入彼此不同的摄像元件103的像素，以获得光场。这里，透镜阵列102用来防止通过被摄体平面201上的不同位置的光束进入同一像素。其结果是，在摄像元件103中，获得了布置有通过从多个视点对被摄体平面201上的同一区域进行摄像而获得的像素组的图像。在图1所示的配置中，由三个像素(在二维上九个像素)对被摄体平面201上的同一位置进行摄像。由于该原因，在本实施例的摄像光学系统中，在仅获得光的二维强度分布的摄像光学系统中，二维空间分辨率降低1/9。即使当对被摄体平面201上的同一位置进行摄像的像素的数量改变时，这在性质上也相同。
另外，优选构成透镜阵列102的小透镜的图像侧(摄像元件103侧)的表面具有凸起形状。因此，透镜阵列102的散光减小，在摄像元件103上获得的图像变得锐利。相反，当图像侧的表面不是凸起形状时，散光增加，由每个小透镜形成的图像的外周部分模糊。当在重建处理中使用图像模糊部分时，难以获得锐利的重建图像。另外，还优选小透镜的物体侧(成像光学系统101侧)的表面具有平坦或者凸起形状。因此，小透镜的曲率变低，像差减小，能够进一步提高图像的锐度。
随后，描述本实施例中的再聚焦处理。在“Fourier Slice Photography”(RenNg,2005ACM Trans.Graph.24,735-744)中描述了再聚焦处理，因此这里简要地进行描述。参考图7，描述生成再聚焦图像的方法的示例。图7A和7B是具体示出图1所示的摄像光学系统中的透镜阵列102和摄像元件103的一部分的图。图7A和7B中的点划线通过延伸每个像素的中心和通过与该像素相对应的小透镜的图像侧主点的光束的路径而获得。虚拟成像平面203是相对于通过再聚焦要焦距的物体侧平面的、成像光学系统101的图像侧共轭平面。然而，在本实施例中，当图像侧共轭平面的位置比透镜阵列102的物体侧主平面更靠近图像侧时，通过将图像侧共轭平面以透镜阵列102的主平面距离移动到图像侧而获得的平面是虚拟成像平面203。沿着点划线与虚拟成像平面203平行地移动由摄像元件103获得的像素值并将其合成，因此能够在期望的焦点位置生成再聚焦图像。
例如，为了生成在图1的被摄体平面201上聚焦的图像，如图7B所示，可以将虚拟成像平面203设置在通过被摄体平面201和成像光学系统101的共轭平面、即透镜阵列102的主平面(图像侧主平面)上。在图7A和7B中，在生成再聚焦图像时平行移动的像素用虚线表示，并且以偏移而不重叠的方式示出，以使得容易地看到。如图7A和7B所示，在生成任意再聚焦图像时，当进入像素的光通量所通过的成像光学系统101的光瞳区域相同时，应当理解，该像素具有相同的平行移动量。因此，依据进入像素的光通量所通过的成像光学系统101的光瞳区域，来确定生成再聚焦图像时的像素的操作。
接下来，描述可再聚焦范围。由于成像光学系统101的开口大小是有限的，因此由摄像元件103获得的光场的角度分量、即视差信息也是有限的。因此，可再聚焦范围被限制在有限范围。这里，将光的二维强度分布称为光场的空间分量。在这种情况下，再聚焦范围由空间分量的采样间距Δy和角度分量的采样间距Δu确定，并且作为下面的表达式(1)给出其系数α±。
α ± = 1 1 ± Δy / Δu · · · ( 1 )
由表达式(1)表示的图像侧的再聚焦范围α+s2至α-s2和相对于成像光学系统101共轭的范围是物体侧的再聚焦范围。这里，s2是成像光学系统101的图像侧主平面和相对于被摄体平面201的成像光学系统101的图像侧共轭平面之间的距离。
图8是再聚焦范围的图。在图8所示的配置示例中，透镜阵列102的一维周期是三个像素，因此空间分量的采样间距Δy是摄像元件103的像素间距Δu的三倍。由于成像光学系统101的出射光瞳被分割为三部分(在二维上被分割为九部分)，因此角度分量的采样间距是出射光瞳直径的1/3。当超过由表达式(1)表示的再聚焦范围时，在获得的光场中信息不足，难以生成正确的再聚焦图像。由于与成像光学系统101的出射光瞳距离P相比，摄像元件103的像素间距Δ足够小，因此可以将表达式(1)近似为下面的表达式(2)。
Figure BDA0000381274510000082
这里，成像光学系统101的出射光瞳距离P是成像光学系统101的出射光瞳平面和相对于被摄体平面201的成像光学系统101的图像侧共轭平面之间的距离。另外，N是对成像光学系统101的光瞳的一维分割的数量，F是成像光学系统101的F值，并且ΔLA是透镜阵列102的间距。当沿着图7的点划线平行移动与任意小透镜相对应的像素组时，其超过了表达式(2)的最大再聚焦量，像素的距离变得大于Δy，并且出现缺乏信息的区域。在这种情况下，难以生成正确的再聚焦图像。
接下来，描述本实施例中的噪声减小处理(图像处理方法)。首先，描述根据传统重建方法的噪声减小效果。为了容易理解，在图1的配置中，成像光学系统101的一维光瞳分割的数量是2个，考虑图9所示的配置的情况。图9是本实施例中的摄像光学系统和物体距离之间的关系图。然而，下面的讨论不限于此。
图10是图9的摄像元件103和透镜阵列102(的间距)之间的关系图。在图10中，由实线表示的矩形表示摄像元件103的像素。另外，两个最邻近的圆(两个邻接圆)的中心之间的距离表示透镜阵列102的间距。这里，由虚线表示的圆表示通过一个小透镜的光束所进入的区域。该区域在图10中由圆形状表示，但是该区域根据成像光学系统101的光瞳形状而改变。在图9的配置中，光瞳分割的数量在二维上是四个，因此如图10所示，与一个小透镜相对应的像素的数量是四个。在这种情况下，当仅提取相对于每个圆的中心在同一位置的像素时，能够获得从同一视点摄像的图像。另外，在图10中，由虚线绘制的圆外部的区域是光束不进入的区域，将其称为死区。
这里，在图9的配置中，考虑对图11所示的被摄体空间进行摄像的情况。图11是示出本实施例中的摄像场景的示例的图。在图11所示的被摄体空间中，被摄体A的位置在被摄体平面201上，被摄体B的位置远离被摄体A，并且被摄体C的位置更远。图11中的点划线表示摄像设备10在水平方向上的视角。
图12A至12D是示出本实施例中的视差图像的示例的图，其示出了通过从自摄像元件103获得的图像中提取与每个视点相对应的像素而获得的图像。图12A至12D是从被分割为四个的成像光学系统101的光瞳的每个区域观看被摄体空间时的图像。这里，每个视点的图像由18×12个像素构成，但是像素的数量不限于此。从图9可以知道，由于在不依赖于视点的情况下，在透镜阵列102的同一位置对被摄体平面201上的物体点进行摄像，因此不产生视差。由于该原因，在图12A至12D的同一位置对被摄体A进行摄像。此外，对于存在于另一物体距离的被摄体B，产生视差。由于该原因，如图12A至12D所示，在每个偏移的位置对被摄体B进行摄像。
图13A和13B是示出本实施例中的再聚焦图像的示例的图。当以完全重叠被摄体A的方式对图12A至12D的图像进行合成时，如图13A所示，生成在被摄体平面201上聚焦的再聚焦图像。在这种情况下，以偏移的方式对位于被摄体平面201之外的被摄体进行合成，因此与图13A的被摄体B类似，出现模糊。模糊的大小对应于成像光学系统101的F值。生成图13A所示的再聚焦图像的方法对应于图7B。
图13A所示的被摄体A通过合成四个图像而获得。由于该原因，当假设图像的噪声分量符合泊松分布时，通过平均而使噪声减小1/2。另外，被摄体B变模糊，也就是说，分辨率降低，因此噪声减小。分辨率的减小对应于以比图像的像素的间距大的间距进行的采样。例如，当以间距2Δ对像素间距Δ的图像进行采样时，分辨率降低，但是噪声减小1/2。通过对被摄体B等的再聚焦，模糊区域使与其相对应的噪声减小。因此，在图13A的合成图像中，与图12A至12D所示的图像相比，噪声进一步减小。即使在除了被摄体平面201的再聚焦图像中，也类似地获得噪声减小效果。例如，当以重叠被摄体B的方式对图12A至12D进行合成时，能够获得图13B所示的图像。在这种情况下，通过平均使被摄体B的噪声减小大约1/2，被摄体A变模糊(分辨率降低)，并且噪声减小。
接下来，描述本实施例的噪声减小处理。这里，假设存在于被摄体空间中的物体的表面是均匀漫射表面。由图12A至12D的虚线包围的区域中的每个像素对被摄体空间的同一区域进行摄像。因为被摄体A的边缘部分可能受具有视差的背景的影响，因此排除边缘部分。然而，当边缘部分几乎不受影响时，可以将边缘部分包含在该区域中。
这里，由于被摄体是均匀漫射表面，因此当排除了噪声分量时，每个像素的信号值具有相同的值。例如，图12A至12D中的具有斜线的四个像素对被摄体空间的同一区域进行摄像，因此当排除了噪声时，其具有相同的信号值。由于该原因，获得四个像素的平均像素值，并且用平均像素值代替原来的斜线部分的像素值。对用虚线覆盖的所有像素进行该处理，由此使图12A至12D的用虚线覆盖的区域的噪声分量减小大约1/2。
这里，平均像素值可以是通过用同一权重对像素值求平均而获得的值，并且可以是用不同的权重而计算的值。在后者的情况下，容易想到如下方法：首先用均匀权重计算平均像素值，并且增大原始像素值中接近平均像素值的像素的权重。接下来，对虚线部分的噪声减小的图12A至12D的图像进行合成，以生成输出图像。在这种情况下，当以完全重叠虚线部分的方式对视差图像进行合成，也就是说，视差图像在被摄体平面201上再聚焦时，其结果是，与传统重建相同，难以获得比传统重建更多的噪声减小效果。然而，当生成在被摄体平面201之外再聚焦的图像时，还将通过用平均像素值代替而使噪声减小的像素与具有不同的像素值的像素合成，因此噪声进一步减小。因此，例如，在如图13B所示的对被摄体B再聚焦的图像中，与使用传统重建方法的情况相比，变模糊的被摄体A附近的噪声减小更多。在传统再聚焦处理中，通过对仅噪声分量不同的多个像素求平均，来减小通过再聚焦进行聚焦的区域的噪声。然后，在由于再聚焦而变模糊的区域中，与每个视差图像相比，该区域的分辨率降低，并且噪声减小。然而，在本实施例的噪声减小方法中，除了传统再聚焦处理之外，还在由于再聚焦变模糊的区域中进行使用平均像素值的代替。也就是说，在该区域中，除了分辨率的降低之外，还进行仅噪声不同的像素的平均，因此能够进一步获得噪声减小效果。
为了简单，结合用平均像素值代替的像素局限于对被摄体平面201进行摄像的像素的情况，进行了至此的描述。然而，只要像素对被摄体空间的同一区域进行摄像，像素可以是在被摄体空间上的不同距离处进行摄像的像素。图9是将像素1031至1034通过透镜阵列102和成像光学系统101投影到被摄体空间的图。根据图9，应当理解，像素1031和像素1034在物体距离204a处对同一区域进行摄像。类似地，像素1032和像素1033在物体距离204b处对同一区域进行摄像。
当对存在于该物体距离处的被摄体进行摄像时，除了噪声之外，对该被摄体进行摄像的像素具有相同的信号值。由于该原因，通过计算并代入平均像素值，能够获得上述噪声减小效果。在这种情况下，当以完全重叠的方式对用同一平均像素值代替的像素进行合成时，难以获得如上所述的改善的噪声减小效果。由于该原因，以用同一平均像素值代替的像素不一致的方式，进行视差图像的合成，因此与传统方法相比，总是能够改善噪声减小效果。
更优选地，合成像素彼此的偏移量是像素间距的非整数倍。这对应于以子像素为单位彼此偏移来对视差图像进行合成。因此，除了噪声减小效果之外，还能够基于像素偏移的超分辨率，来实现高分辨率。
在图1的情况下，恒定地对同一区域进行摄像的像素存在于被摄体平面201上。此外，在图2至4的配置中，不一定存在对同一区域进行摄像的像素。然而，类似地，即使在图2至4的配置中，通过将像素投影到被摄体空间，也能够获得对同一区域进行摄像的像素和其物体距离。
另外，用平均像素值代替的像素必定完全对同一区域进行摄像，这不是必须的。除了被摄体的边缘部分之外，被摄体空间的光强度分布是连续的。也就是说，当除了边缘部分之外，像素进行摄像的区域彼此基本一致时，可以认为除了噪声之外，这些像素值基本相同。例如，当投影到被摄体空间的两个像素彼此重叠超过投影像素的区域的一半时，可以将这些像素视为基本对同一区域进行摄像的像素。由于该原因，当两个像素不对被摄体的边缘部分进行摄像时，可以计算平均像素值，并且可以代替该像素值。
接下来，参考图14，描述根据输入图像生成输出图像的图像处理方法。图14是根据输入图像生成输出图像的图像处理方法的流程图。在图14中，步骤S102和S103对应于代替处理，并且步骤S106对应于合成处理。另外，图14的步骤由图像处理单元105基于系统控制器111的指令来进行。
首先，在步骤S101中，图像处理单元105获得通过图6所示的摄像光学系统所获得(进行摄像)的输入图像。保存包含在输入图像中的光场的方法根据摄像光学系统的配置而改变。然而，在本实施例中，在图像中布置了通过从多个视点对被摄体平面201上的同一区域进行摄像而获得的像素组。另外，输入图像可以是存储在图像记录介质110中的由同一摄像光学系统摄像的图像。
随后，在步骤S102中，图像处理单元105从输入图像中提取对被摄体空间的同一区域进行摄像的像素。例如使用下面的方法来进行该像素提取。根据在输入图像中记录的摄像设备的配置，如图9所示，当将像素投影到被摄体空间时，能够计算不同的像素彼此重叠的物体距离以及重叠的像素。另外，能够根据输入图像的视差信息，计算被摄体空间的距离。由于该原因，通过将它们组合，能够获得要从输入图像中提取的像素。另外，存在如下方法：首先，生成每个视点的图像，使用块匹配方法等获得每个图像的对应点，并且通过当相应像素的像素值的差等于或小于预定阈值时，假设对同一区域进行摄像，来提取像素。
然后，在步骤S103中，图像处理单元105计算提取的像素的平均像素值，并且用平均像素值代替每个提取的像素的像素值。随后，在步骤S104中，图像处理单元105指定输出图像的条件。这里，输出图像的条件是输出图像的焦点位置、模糊的大小、视点、亮度、图像大小等，但是不限于此。另外，在多个条件中，用户仅指定预定条件，其它条件的规定值是预先设置的，可以使用这些规定值。
然后，在步骤S105中，当在指定的条件下生成了输出图像时，图像处理单元105判断是否在彼此不一致的情况下，对用同一平均像素值代替的像素(像素组)进行合成，也就是说，是否以彼此偏移的方式对被代替的像素进行合成。当被代替的像素不一致时，也就是说，当以偏移的方式对被代替的像素进行合成时，通过平均像素值的代替，能够获得噪声减小效果，因此处理进行到步骤S106。此外，当被代替的像素一致时，处理进行到步骤S107。作为判断方法，例如，存在如下方法：根据关于摄像光学系统的配置的信息，计算在进行合成时用同一平均像素值代替的像素一致的条件，并且将该条件与指定的条件进行比较。另外，可以预先计算一致的条件，而可以不在步骤S104中指定条件。在这种情况下，不需要步骤S105和S107。
在步骤S105中，当被代替的像素不一致时，在步骤S106中，图像处理单元105对视差图像(输入图像)进行合成，以生成输出图像。在对视差图像进行合成时，如上所述，对与通过成像光学系统101的同一光瞳区域的光束所进入的摄像元件103的像素相对应的输入图像的像素，进行相同的操作(平行移动等)。在这种情况下，可以使用被摄体空间的距离信息，用不同的权重来对视差图像的像素进行合成。通过对每个像素设置适当的权重，混叠减少，并且能够获得高质量输出图像。
在步骤S105中，当被代替的像素一致时，在步骤S107中，图像处理单元105改变输出图像的条件，以通过平均像素值的代替来获得噪声减小效果。在这种情况下，当输出图像的条件从在步骤S104中指定的输出图像的条件显著改变时，输出图像与指定的条件显著分离。由于该原因，当在步骤S104中指定的焦点位置是第一焦点位置，而生成的输出图像的焦点位置是第二焦点位置时，优选第一焦点位置和第二焦点位置之间的差在成像光学系统101的焦深的范围内。也就是说，当指定了第一焦点位置时，优选图像处理单元105生成在与第一焦点位置的差在成像光学系统101的焦深的范围内的第二焦点位置上聚焦的输出图像。因此，输出图像变得接近由用户指定的输出图像的条件。
当容许弥散圆的直径为ε，并且成像光学系统101的F值是F时，用±Fε近似表示成像光学系统101的焦深。这里，直径ε是根据摄像设备需要的性能所确定的值。作为确定直径ε的方法，存在将焦深中的点图像的宽度和焦点位置处的点图像的宽度之间的差，设置到用户察觉不到的范围的方法。例如，给定直径是摄像元件103的像素间距的大约五倍。另外，在第一焦点位置处，当在进行合成时，用同一平均像素值代替的像素不一致时，第一焦点位置和第二焦点位置可能彼此不相同。
另外，根据需要，可以一起使用其它噪声减小处理。例如，当邻接像素的像素值的改变量小时，可以使用去除作为噪声的小量的取心处理、双边滤波器或者中值滤波器。该噪声减小处理可以对每个视点的图像进行，或者可以对合成之后的输出图像进行。
如上所述，图像处理单元105获得经由成像光学系统101和具有多个像素的摄像元件103获得的、作为从多个视点看到的被摄体空间的信息的输入图像(步骤S101)。另外，图像处理单元105计算被摄体空间的同一区域的输入图像(摄像元件103)的像素组的平均像素值，并且用平均像素值代替该像素组的每个像素值(步骤S102和S103)。图像处理单元105以用平均像素值代替的像素组的像素彼此偏移的方式进行合成，以生成输出图像(步骤S106)。
根据本实施例，能够提供有效地减小通过对视差图像进行合成而获得的图像的噪声的图像处理设备、摄像设备、图像处理方法和图像处理程序。
实施例2
接下来，描述本发明的实施例2。在本实施例中，描述实施上述图像处理方法的图像处理设备(图像处理系统)。图15是本实施例的图像处理系统的框图。如图15所示，图像处理系统包括摄像设备301。摄像设备301具有具备图2的配置的摄像光学系统。图2的透镜阵列102被布置为成像光学系统101相对于被摄体平面201的图像侧共轭平面202和摄像元件103彼此共轭。
图像处理设备302是进行上述图像重建的计算机设备(信息处理设备)。图像处理设备302包括存储单元307，存储单元307存储由摄像设备301获得的输入图像的摄像条件信息(关于摄像光学系统的配置的信息和输入图像的距离信息)。存储在存储单元307中的摄像条件信息用于输出图像的生成(代替处理和合成处理)。图像处理设备302对输入图像进行噪声减小处理和预定重建处理，并且将处理结果(输出图像)输出至输出装置305、显示装置304和记录介质303中的任意一个或者多个。如上所述，图像处理设备302是使用摄像条件信息根据输入图像生成输出图像的图像处理单元。
记录介质303例如是半导体存储器、硬盘或者网络上的服务器。显示装置304例如是液晶显示器或者投影仪。输出装置305例如是打印机。显示装置304连接到图像处理设备302，并且将重建图像输入到显示装置304。用户可以在确认通过显示装置304显示重建图像的情况下进行工作。图像处理软件306(图像处理程序)进行上述噪声减小处理和重建处理(图像处理方法)，并且根据需要进行展开处理或者其它图像处理。
然而，本实施例不限于此。例如，可以通过网络或者诸如CD-ROM的各种记录介质308，向图像处理设备302等提供(安装)具有实施例的功能的图像处理软件306(图像处理程序)。在这种情况下，图像处理设备302读取安装的图像处理程序，并且使图像处理设备302中的诸如CPU或MPU的计算机(信息处理设备)进行实施例的图像处理。
图16是本实施例中的摄像光学系统的截面图。在图16中，成像光学系统101是变焦镜头。在构成透镜阵列102的小透镜中，物体侧表面是平坦的，而图像侧表面具有凸起形状，并且通过将由成像光学系统101形成的图像看作假想物体，在摄像元件103上形成图像。按照从物体侧开始的顺序，成像光学系统101包括具有正屈光力的第一透镜单元L1、具有正屈光力的第二透镜单元L2、具有负屈光力的第三透镜单元L3、具有正屈光力的第四透镜单元L4和具有正屈光力的第五透镜单元L5。在进行变焦时，第一透镜单元L1和第五透镜单元L5是固定的，而第二透镜单元L2、第三透镜单元L3和第四透镜单元L4在光轴上移动。
透镜阵列102被布置在成像光学系统101相对于被摄体平面201的图像侧共轭平面上。另外，透镜阵列102被配置为使得成像光学系统101的出射光瞳和摄像元件103基本处于共轭关系。这里，通常，共轭关系的含义不仅表示严格共轭关系，还包括被大致评价为共轭关系的关系(简而言之共轭关系)。来自被摄体平面201的光束通过成像光学系统101和透镜阵列102，根据光束在被摄体平面201上的位置和角度，进入摄像元件103的彼此不同的多个像素。使用这种配置，获得光场。在图2和3的配置中，能够获得由摄像元件103拍摄的具有不同摄像视点和摄像范围的多个小图像的图像。
除了透镜阵列102被布置为与图像侧共轭平面202相比到图像侧更远之外，图3的摄像光学系统的配置与图2所示的摄像光学系统的配置相同。与图2的配置的不同之处在于，透镜阵列102通过将成像光学系统101的形成的图像看作实际物体，在摄像元件103上重新进行摄像。然而，由于透镜阵列102将由成像光学系统101形成的图像看作物体，并且在摄像元件103上对图像进行摄像，因此图2和3所示的摄像光学系统的所有配置实质上是相同的。因此，即使针对图3的配置，也类似地实现下面的讨论。
接下来，参考图17A和17B，描述本实施例中的生成再聚焦图像的方法。图17A和17B是图2所示的摄像光学系统的配置中的透镜阵列102和摄像元件103的一部分的具体图。在本实施例中，透镜阵列102由物体侧表面是平坦的并且图像侧表面具有凸起形状的小透镜构成。然而，与实施例1类似，透镜阵列102的形状不限于此。
图17A和17B中的点划线表示每个小透镜的视角。将由摄像元件103获得的像素值通过与像素相对应的小透镜投影到虚拟成像平面203并进行合成，由此能够生成在虚拟成像平面203上聚焦的再聚焦图像。例如，为了生成在图2的被摄体平面201上聚焦的图像，优选将虚拟成像平面203设置为图像侧共轭平面202。在图17A和17B中，在生成再聚焦图像时投影的像素用虚线表示，并且为了容易理解，以偏移而不重叠的方式示出。再聚焦图像的生成可以是上述投影像素的生成方法，以及以使相同像素重叠的方式平行移动像素并对像素进行合成的方法。在这种情况下，当进入像素的光束所通过的透镜阵列102的区域相同时，这些像素的平行移动量相同。如上所述，根据进入像素的光束所通过的透镜阵列102的区域，来确定本实施例中的生成再聚焦图像时的像素的操作。
随后，描述可再聚焦范围。与实施例1类似，也用表达式(1)表示本实施例中的摄像光学系统的再聚焦范围。其关系如图18所示。图18是本实施例中的再聚焦范围的图。在本实施例的摄像光学系统中，满足Δy=Δ|σ1/σ2|。这用于通过由透镜阵列102将由成像光学系统101形成的图像看作假想物体，在摄像元件103上将该图像缩小|σ2/σ1|倍并进行摄像。这里，σ1是图像侧共轭平面202和透镜阵列102的物体侧主平面之间的距离(间隔)，并且σ2是透镜阵列102的图像侧主平面和摄像元件103之间的距离(间隔)。当与透镜阵列102的物体侧主平面相比，图像侧共轭平面202到物体侧更远时，σ1具有正值，而当其到图像侧更远时，σ1具有负值。另外，对于Δu=P/(NF)，根据Δ<<P，可以将表达式(1)重写为下面的表达式(3)。
这里，Δ是摄像元件103的像素间距。当与实施例1类似，其超过表达式(3)的范围时，难以生成正确的再聚焦图像。
接下来，参考图24，描述本实施例中的根据输入图像生成输出图像的图像处理方法。图24是本实施例中的根据输入图像生成输出图像的图像处理方法的流程图。关于图24，省略对与图14相同的部分的描述。图24的每个步骤由图像处理设备302进行。
首先，在步骤S201中，图像处理设备302从摄像设备301(摄像元件103)获得排列有具有不同摄像视点和摄像范围的多个小图像的图像，作为输入图像。随后，在步骤S202中，图像处理设备302从输入图像中提取对被摄体空间的同一区域进行摄像的像素。作为提取方法，除了在实施例1中描述的方法之外，还可以使用读取记录在摄像设备301中的对同一区域进行摄像的像素的信息的方法。另外，当在摄像设备301中记录了被摄体空间的距离信息时，可以读取并使用距离信息。随后，步骤S203和S204分别与图14的步骤S103和S104相同。
然后，在步骤S205中，当在指定的条件下生成了输出图像时，图像处理设备302判断合成像素的偏移量(像素偏移)是否是像素间距的非整数倍。这里，基于记录在输入图像中的摄像设备301的配置，来确定生成输出图像的方法。当摄像设备301具有图1所示的摄像光学系统时，使用在实施例1中描述的生成再聚焦图像的方法。在本实施例中，摄像设备301具有图2所示的摄像光学系统。由于该原因，使用在图17等中示出的生成再聚焦图像的方法。
这里，如图17A所示，当像素偏移量是投影像素的间距的非整数倍时，处理进行到步骤S206。此外，如图17B所示，当像素偏移量是投影像素的间距的整数倍时，处理进行到步骤S207。作为判断方法，除了在实施例1中描述的方法之外，还可以使用读取记录在摄像设备301中的重叠合成像素的条件并进行判断的方法。
在步骤S205中，当像素偏移是像素间距的非整数倍时，在步骤S206中，图像处理设备302对视差图像进行合成，以生成输出图像。在对视差图像进行合成时，如上所述，针对与通过透镜阵列102的同一区域的光束所进入的摄像元件103的像素相对应的输入图像的像素，进行相同的操作。
如上所述，图像处理设备302获得经由成像光学系统101和具有多个像素的摄像元件103获得的、作为从多个视点看到的被摄体空间的信息的输入图像(步骤S201)。另外，图像处理设备302计算被摄体空间的同一区域的输入图像(摄像元件103)的像素组的平均像素值，并且用平均像素值代替该像素组的每个像素值(步骤S202和S203)。图像处理设备302以用平均像素值代替的像素组的像素的偏移量可以是像素的非整数倍的方式进行合成，以生成输出图像(步骤S206)。
根据本实施例，能够提供有效地减小通过对视差图像进行合成而获得的图像的噪声并且基于像素偏移的超分辨率而具有高分辨率的图像处理设备、摄像设备、图像处理方法和图像处理程序。
实施例3
接下来，描述本发明的实施例3。图19是本实施例的摄像设备的框图。图20是本实施例中的摄像光学系统的示意性配置图，其是从物体侧看成像光学系统101时的图。在图19中，来自被摄体空间(未示出)的光束进入成像光学系统101。如图20所示，成像光学系统101被配置为包括具有正屈光力的多个光学系统101a至101g。成像光学系统101具有当光学系统101b的光轴是旋转轴时具有六次对称性的配置。然而，成像光学系统101的配置不限于此，可以对光学系统的数量或者布置进行适当的变形。摄像元件103a至103g分别布置在光学系统101a至101g的图像侧。然而，在本实施例中包括多个摄像元件103a至103g不是必须的，当能够接收由光学系统101a至101g形成的图像时，可以设置单个摄像元件。由于该原因，本实施例的摄像设备可能具有至少一个摄像元件。
图4是从包括光学系统101a至101c的光轴的截面看本实施例的摄像光学系统时的示意图。由相应的摄像元件103a至103c分别接收由光学系统101a至101c折射的光束。由摄像元件103a至103c获得的多个图像是通过从不同视点观察被摄体空间而获得的视差图像。通过匹配该多个图像，能够获得被摄体空间中的光的二维强度分布和角度信息、即光场。在本实施例中，该多个视差图像成为输入图像。
图21是本实施例中的光学系统的截面图，其示出了光学系统101a和摄像元件103a的截面。由于这同样适用于其它光学系统101b至101g和摄像元件103b至103g，因此省略其描述。然而，光学系统的配置可以彼此不同。图21所示的光学系统101a是单焦点透镜。如图4所示，来自被摄体平面201的光束根据光束在被摄体平面201上的位置和角度进入构成成像光学系统101的其它光学系统，并且由摄像元件的不同像素接收该光束，由此能够获得光场。
接下来，描述本实施例中的生成再聚焦图像的方法。图22是关于再聚焦图像生成的图，其是图4的配置的具体图。将图22的合成物体侧主平面定义为通过光学系统101a至101g的每个物体侧主点的平面。类似地，合成图像侧主平面是通过光学系统101a至101g的每个图像侧主点的平面。在本实施例的配置中，成像光学系统101的物体侧主平面和图像侧主平面分别由合成物体侧主平面和合成图像侧主平面表示。图22的点划线表示每个光学系统的视角。
当图像侧的焦点位置与虚拟成像平面203匹配时，优选通过与摄像元件103a至103g相对应的光学系统101a至101g，将由摄像元件103a至103g获得的像素值投影到物体侧再聚焦平面204并进行合成。物体侧再聚焦平面204是经由光学系统101a至101g与虚拟成像平面203共轭的平面。通过移动虚拟成像平面203，能够生成在任意位置聚焦的再聚焦图像。
例如，为了生成在图4的被摄体平面201上聚焦的图像，优选将虚拟成像平面203设置在摄像元件103a至103g上。在这种情况下，被摄体平面201和物体侧再聚焦平面204一致。在图22中，在生成再聚焦图像时投影的像素用虚线表示，并且为了容易理解，以偏移而不重叠的方式示出。再聚焦图像的生成可以是上述投影像素的生成方法，以及以重叠相同像素的方式平行移动像素并对像素进行合成的方法。在这种情况下，当输入到像素的光束所通过的光学系统相同时，这些像素的平行移动量相同。如上所述，根据进入像素的光束所通过的光学系统，来确定本实施例中的生成再聚焦图像时的像素的操作。
随后，描述可再聚焦范围。与实施例1类似，也用表达式(1)表示本实施例中的摄像光学系统的再聚焦范围，其关系如图23所示。图23是本实施例中的再聚焦范围的图。
在本实施例的摄像光学系统中，满足Δy=Δ和Δu=Psyn/(NFsyn)，并且根据Δ<<Psyn，可以将表达式(1)近似为下面的表达式(4)。
Figure BDA0000381274510000221
这里，Fsyn和Psyn是根据通过对光学系统101a至101g的光瞳进行合成所获得的成像光学系统101的合成光瞳而计算出的F值和出射光瞳距离。对光学系统101a至101g的光瞳进行合成的方法可以是合成开口方法等。图20的虚线和图23的合成出射光瞳平面表示由光学系统101a至101g形成的合成光瞳的概念。在本实施例的配置中，成像光学系统101的光瞳是通过合成多个光学系统101a至101g而获得的合成光瞳。因此，来自被摄体平面201上的同一位置的光束根据角度通过成像光学系统101中的不同光瞳区域。这里，N是合成光瞳在一维方向上的分割的数量。另外，当与实施例1类似，其超过表达式(4)的范围时，难以生成正确的再聚焦图像。另外，在本实施例中，基于通过合成多个光学系统101a至101g的光瞳而获得的合成光瞳，来计算成像光学系统101的焦深。
由图像处理单元105根据图24所示的流程图，进行本实施例中的根据输入图像生成输出图像的图像处理方法。另外，在本实施例中，省略对与实施例2相同的部分的描述。
首先，在步骤S201中，图像处理单元105获得由摄像元件103a至103g获得的多个视差图像，作为输入图像。然而，当由单个摄像元件获得了多个视差信息时，输入图像是由一个摄像元件获得的图像。后续步骤S202至S204与实施例2相同。
然后，在步骤S205中，当在指定的条件下生成了输出图像时，图像处理单元105判断合成像素的偏移量(像素偏移)是否是像素间距的非整数倍。如图22A所示，当像素偏移是投影像素的间距的非整数倍时，处理进行到步骤S206。此外，如图22B所示，当像素偏移是投影像素的间距的整数倍时，处理进行到步骤S207。
在步骤S205中，当像素偏移是像素间距的非整数倍时，在步骤S206中，图像处理单元105合成视差图像，以生成输出图像。在合成视差图像时，针对与通过相同光学系统的光束所进入的摄像元件103的像素相对应的输入图像的像素，进行相同的操作。
根据本实施例，能够提供有效地减小通过合成视差图像而获得的图像的噪声并且基于像素偏移的超分辨率而具有高分辨率的图像处理设备、摄像设备、图像处理方法和图像处理程序。
虽然参考示例性实施例对本发明进行了说明，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求的范围符合最宽的解释，以使其涵盖所有这种变形、等同结构及功能。

Claims (9)

1.一种图像处理设备，其能够通过重建输入图像来生成具有不同焦点位置的多个输出图像，所述图像处理设备包括：
存储单元，用于存储所述输入图像的摄像条件信息；以及
图像处理单元，用于使用所述摄像条件信息，根据所述输入图像来生成所述输出图像，
其中，所述图像处理单元：
获得所述输入图像，其中，所述输入图像是经由成像光学系统和具有多个像素的摄像元件所获得的、从多个视点观看的被摄体空间的信息；
计算所述被摄体空间的同一区域的所述输入图像的像素组的平均像素值，并且利用所述平均像素值代替所述像素组的每个像素值；以及
以使利用所述平均像素值所代替的所述像素组的像素彼此偏移的方式进行合成，以生成所述输出图像。
2.根据权利要求1所述的图像处理设备，其中，
所述图像处理单元以利用所述平均像素值所代替的所述像素组的像素的偏移量是该像素的非整数倍的方式进行合成，以生成所述输出图像。
3.根据权利要求1或2所述的图像处理设备，其中，
在指定了第一焦点位置时，所述图像处理单元生成聚焦于与所述第一焦点位置的差在所述成像光学系统的焦深范围内的第二焦点位置的所述输出图像。
4.根据权利要求1或2所述的图像处理设备，其中，
所述存储单元存储所述输入图像的距离信息作为所述摄像条件信息，以及
所述图像处理单元使用所述距离信息、利用所述平均像素值代替所述像素组的每个像素值，并且以使利用所述平均像素值所代替的所述像素组的像素彼此偏移的方式进行合成，以生成所述输出图像。
5.一种摄像设备，其能够通过重建输入图像来生成具有不同焦点位置的多个输出图像，所述摄像设备包括：
成像光学系统；
包括多个像素的摄像元件；
透镜阵列，用于根据来自被摄体平面的同一位置的光束所通过的所述成像光学系统的光瞳区域，使所述光束进入所述摄像元件的彼此不同的像素；以及
图像处理单元，用于根据所述摄像元件所获得的所述输入图像，生成所述输出图像，
其中，所述图像处理单元：
获得所述输入图像，其中，所述输入图像是经由所述成像光学系统、所述摄像元件和所述透镜阵列所获得的、从多个视点观看的被摄体空间的信息；
计算所述被摄体空间的同一区域的所述输入图像的像素组的平均像素值，并且利用所述平均像素值代替所述像素组的每个像素值；以及
以使利用所述平均像素值所代替的所述像素组的像素彼此偏移的方式进行合成，以生成所述输出图像。
6.根据权利要求5所述的摄像设备，其中，
所述透镜阵列被配置在所述成像光学系统的相对于所述被摄体平面的图像侧共轭平面上。
7.根据权利要求5所述的摄像设备，其中，
所述透镜阵列被配置为使得所述成像光学系统的相对于所述被摄体平面的图像侧共轭平面和所述摄像元件彼此共轭。
8.一种摄像设备，其能够通过重建输入图像来生成具有不同焦点位置的多个输出图像，所述摄像设备包括：
成像光学系统，其包括具有正屈光力的多个光学系统；
包括多个像素的至少一个摄像元件；以及
图像处理单元，用于根据所述摄像元件所获得的所述输入图像，生成所述输出图像，
其中，在所述成像光学系统的光瞳是通过对所述多个光学系统的光瞳进行合成而形成的光瞳时，所述多个光学系统被配置为使得根据来自被摄体平面的同一位置的光束所通过的所述成像光学系统的光瞳区域，使所述光束进入所述摄像元件的彼此不同的像素，
其中，所述图像处理单元：
获得所述输入图像，其中，所述输入图像是经由所述成像光学系统和所述摄像元件所获得的、从多个视点观看的被摄体空间的信息；
计算所述被摄体空间的同一区域的所述输入图像的像素组的平均像素值，并且利用所述平均像素值代替所述像素组的每个像素值；以及
以使利用所述平均像素值所代替的所述像素组的像素彼此偏移的方式进行合成，以生成所述输出图像。
9.一种图像处理方法，其能够通过重建输入图像来生成具有不同焦点位置的多个输出图像，所述图像处理方法包括如下步骤：
获得所述输入图像，其中，所述输入图像是经由成像光学系统和具有多个像素的摄像元件所获得的、从多个视点观看的被摄体空间的信息；
计算所述被摄体空间的同一区域的所述输入图像的像素组的平均像素值，并且利用所述平均像素值代替所述像素组的每个像素值；以及
以使利用所述平均像素值所代替的所述像素组的像素彼此偏移的方式进行合成，以生成所述输出图像。
CN201310415360.3A 2012-09-12 2013-09-12 图像处理设备、摄像设备和图像处理方法 Active CN103685922B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-200117 2012-09-12
JP2012200117A JP5988790B2 (ja) 2012-09-12 2012-09-12 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム

Publications (2)

Publication Number Publication Date
CN103685922A true CN103685922A (zh) 2014-03-26
CN103685922B CN103685922B (zh) 2017-04-12

Family

ID=50232920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310415360.3A Active CN103685922B (zh) 2012-09-12 2013-09-12 图像处理设备、摄像设备和图像处理方法

Country Status (3)

Country Link
US (1) US9894252B2 (zh)
JP (1) JP5988790B2 (zh)
CN (1) CN103685922B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104270560A (zh) * 2014-07-31 2015-01-07 三星电子（中国）研发中心 一种多点对焦方法和装置
CN107431754A (zh) * 2015-03-10 2017-12-01 佳能株式会社 图像处理方法、图像处理装置和摄像设备
CN107637067A (zh) * 2015-06-08 2018-01-26 佳能株式会社 图像处理设备和图像处理方法
CN108042158A (zh) * 2017-12-22 2018-05-18 飞依诺科技(苏州)有限公司 多焦点超声图像拼接方法及其系统
CN109923854A (zh) * 2016-11-08 2019-06-21 索尼公司 图像处理装置、图像处理方法以及程序
CN110476415A (zh) * 2017-04-05 2019-11-19 夏普株式会社 影像数据生成装置、影像再现装置、影像数据生成方法、控制程序及记录介质
CN111788824A (zh) * 2018-03-06 2020-10-16 索尼公司 图像处理装置、成像装置以及图像处理方法
CN115514877A (zh) * 2021-06-22 2022-12-23 爱思开海力士有限公司 用于从多视角图像降噪的装置和方法

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5608803B1 (ja) * 2013-10-03 2014-10-15 オリンパス株式会社 撮影機器、撮影方法及び撮影制御プログラム
WO2015128908A1 (ja) * 2014-02-26 2015-09-03 パナソニックＩｐマネジメント株式会社 深さ位置検出装置、撮像素子、及び深さ位置検出方法
JP6418770B2 (ja) * 2014-04-07 2018-11-07 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体
DE102014109687B4 (de) * 2014-07-10 2020-03-19 Carl Zeiss Microscopy Gmbh Positionsbestimmung eines Objekts im Strahlengang einer optischen Vorrichtung
WO2016154123A2 (en) 2015-03-21 2016-09-29 Mine One Gmbh Virtual 3d methods, systems and software
US10853625B2 (en) 2015-03-21 2020-12-01 Mine One Gmbh Facial signature methods, systems and software
US11501406B2 (en) 2015-03-21 2022-11-15 Mine One Gmbh Disparity cache
DE102015107517B3 (de) 2015-05-13 2016-06-23 Carl Zeiss Ag Vorrichtung und Verfahren zur Bildaufnahme mit erhöhter Schärfentiefe
JP6494416B2 (ja) * 2015-05-19 2019-04-03 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
CL2015003495A1 (es) * 2015-11-30 2016-07-15 Univ Concepcion Un proceso que permite eliminar el ruido de patrón fijo en imágenes efectivas formadas por arreglos de sensores electromagnéticos de un campo de luz mediante un reenfoque digital.
DE102016116309A1 (de) 2016-05-02 2017-11-02 Carl Zeiss Microscopy Gmbh Beleuchtungsmodul für winkelselektive Beleuchtung
CN106791498B (zh) * 2016-11-18 2019-11-19 成都微晶景泰科技有限公司 图像定位方法、透镜阵列成像方法及装置
US10887510B2 (en) * 2017-11-16 2021-01-05 Canon Kabushiki Kaisha Processing apparatus, lens apparatus and image pickup apparatus for reducing the shift of composition during tilt photography
EP3721378A4 (en) * 2017-12-05 2021-08-18 Mine One GmbH DISPARITY CACHE MEMORY
JP6819629B2 (ja) * 2018-02-23 2021-01-27 オムロン株式会社 画像センサ
US11089279B2 (en) * 2018-12-06 2021-08-10 Htc Corporation 3D image processing method, camera device, and non-transitory computer readable storage medium
JP2021180446A (ja) * 2020-05-15 2021-11-18 キヤノン株式会社 撮像制御装置、撮像装置、撮像装置の制御方法、プログラム
LU102087B1 (de) * 2020-09-22 2022-03-23 K/Lens Gmbh Abbildungssystem, insbesondere für eine Kamera

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030071905A1 (en) * 2001-10-12 2003-04-17 Ryo Yamasaki Image processing apparatus and method, control program, and storage medium
CN1611064A (zh) * 2001-03-16 2005-04-27 幻影自动化机械公司 增大图像传感器有效动态范围的系统和方法
JP2005167484A (ja) * 2003-12-01 2005-06-23 Japan Science & Technology Agency 画像構成装置及び画像構成方法
US20100103175A1 (en) * 2006-10-25 2010-04-29 Tokyo Institute Of Technology Method for generating a high-resolution virtual-focal-plane image
US8315476B1 (en) * 2009-01-20 2012-11-20 Adobe Systems Incorporated Super-resolution with the focused plenoptic camera

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0686332A (ja) 1992-09-04 1994-03-25 Canon Inc 複眼撮像方法
JP2003189171A (ja) * 2001-10-12 2003-07-04 Canon Inc 画像処理装置及び方法及び制御プログラム及び記録媒体
WO2006039486A2 (en) * 2004-10-01 2006-04-13 The Board Of Trustees Of The Leland Stanford Junior University Imaging arrangements and methods therefor
JP4826152B2 (ja) * 2005-06-23 2011-11-30 株式会社ニコン 画像合成方法及び撮像装置
WO2007060847A1 (ja) * 2005-11-22 2007-05-31 Matsushita Electric Industrial Co., Ltd. 撮像装置
US8559705B2 (en) * 2006-12-01 2013-10-15 Lytro, Inc. Interactive refocusing of electronic images
GB0814562D0 (en) * 2008-08-08 2008-09-17 Qinetiq Ltd Processing for coded aperture imaging
JP4706882B2 (ja) * 2009-02-05 2011-06-22 ソニー株式会社 撮像装置
JP4952768B2 (ja) * 2009-10-27 2012-06-13 株式会社ニコン 撮像装置および画像解析コンピュータプログラム
JP5387856B2 (ja) * 2010-02-16 2014-01-15 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
US8493432B2 (en) * 2010-06-29 2013-07-23 Mitsubishi Electric Research Laboratories, Inc. Digital refocusing for wide-angle images using axial-cone cameras
JP5206853B2 (ja) * 2011-09-08 2013-06-12 カシオ計算機株式会社 補間画像生成装置、再構成画像生成装置、補間画像生成方法及びプログラム
JP5360190B2 (ja) * 2011-12-27 2013-12-04 カシオ計算機株式会社 画像処理装置、画像処理方法およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1611064A (zh) * 2001-03-16 2005-04-27 幻影自动化机械公司 增大图像传感器有效动态范围的系统和方法
US20030071905A1 (en) * 2001-10-12 2003-04-17 Ryo Yamasaki Image processing apparatus and method, control program, and storage medium
JP2005167484A (ja) * 2003-12-01 2005-06-23 Japan Science & Technology Agency 画像構成装置及び画像構成方法
US20070160310A1 (en) * 2003-12-01 2007-07-12 Japan Science And Technology Agency Apparatus and method for image configuring
US20100103175A1 (en) * 2006-10-25 2010-04-29 Tokyo Institute Of Technology Method for generating a high-resolution virtual-focal-plane image
US8315476B1 (en) * 2009-01-20 2012-11-20 Adobe Systems Incorporated Super-resolution with the focused plenoptic camera

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104270560B (zh) * 2014-07-31 2018-01-12 三星电子（中国）研发中心 一种多点对焦方法和装置
CN104270560A (zh) * 2014-07-31 2015-01-07 三星电子（中国）研发中心 一种多点对焦方法和装置
CN107431754B (zh) * 2015-03-10 2020-11-03 佳能株式会社 图像处理方法、图像处理装置和摄像设备
CN107431754A (zh) * 2015-03-10 2017-12-01 佳能株式会社 图像处理方法、图像处理装置和摄像设备
US10545311B2 (en) 2015-03-10 2020-01-28 Canon Kabushiki Kaisha Image processing method, image processing device, and image pickup apparatus
CN107637067A (zh) * 2015-06-08 2018-01-26 佳能株式会社 图像处理设备和图像处理方法
US10574906B2 (en) 2015-06-08 2020-02-25 Canon Kabushiki Kaisha Image processing apparatus and image processing method
CN109923854B (zh) * 2016-11-08 2022-01-04 索尼公司 图像处理装置、图像处理方法以及记录介质
CN109923854A (zh) * 2016-11-08 2019-06-21 索尼公司 图像处理装置、图像处理方法以及程序
CN110476415A (zh) * 2017-04-05 2019-11-19 夏普株式会社 影像数据生成装置、影像再现装置、影像数据生成方法、控制程序及记录介质
CN108042158A (zh) * 2017-12-22 2018-05-18 飞依诺科技(苏州)有限公司 多焦点超声图像拼接方法及其系统
CN111788824A (zh) * 2018-03-06 2020-10-16 索尼公司 图像处理装置、成像装置以及图像处理方法
US11663708B2 (en) 2018-03-06 2023-05-30 Sony Corporation Image processing apparatus, imaging apparatus, and image processing method
CN115514877A (zh) * 2021-06-22 2022-12-23 爱思开海力士有限公司 用于从多视角图像降噪的装置和方法
CN115514877B (zh) * 2021-06-22 2024-03-19 爱思开海力士有限公司 图像处理装置和降低噪声的方法

Also Published As

Publication number Publication date
US20140071313A1 (en) 2014-03-13
CN103685922B (zh) 2017-04-12
JP2014057181A (ja) 2014-03-27
JP5988790B2 (ja) 2016-09-07
US9894252B2 (en) 2018-02-13

Similar Documents

Publication Publication Date Title
CN103685922A (zh) 图像处理设备、摄像设备和图像处理方法
CN103686134B (zh) 图像拾取装置、系统和控制方法以及图像处理装置
CN102685378B (zh) 图像拾取设备和图像拾取光学系统
US9628696B2 (en) Image processing apparatus, image processing method, image pickup apparatus, method of controlling image pickup apparatus, and non-transitory computer-readable storage medium
US7620309B2 (en) Plenoptic camera
US7949252B1 (en) Plenoptic camera with large depth of field
CN104427225B (zh) 摄像设备和摄像设备的控制方法
US20130044256A1 (en) Image processing method, image pickup apparatus, image processing apparatus, and non-transitory computer-readable storage medium
JP5677366B2 (ja) 撮像装置
US9911183B2 (en) Image processing method, image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium
JP5721891B2 (ja) 撮像装置
JP5553862B2 (ja) 撮像装置および撮像装置の制御方法
JP2013068819A (ja) 撮像装置及び光量制御装置
JP3805631B2 (ja) 多重焦点全方位撮像装置
JP2014081519A (ja) 撮影装置および表示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant