CN105939439B - 图像处理装置、摄像装置及图像处理方法 - Google Patents

图像处理装置、摄像装置及图像处理方法 Download PDF

Info

Publication number
CN105939439B
CN105939439B CN201610112225.5A CN201610112225A CN105939439B CN 105939439 B CN105939439 B CN 105939439B CN 201610112225 A CN201610112225 A CN 201610112225A CN 105939439 B CN105939439 B CN 105939439B
Authority
CN
China
Prior art keywords
functionality
image
anaglyph
information
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610112225.5A
Other languages
English (en)
Other versions
CN105939439A (zh
Inventor
江口薰
井上智晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN105939439A publication Critical patent/CN105939439A/zh
Application granted granted Critical
Publication of CN105939439B publication Critical patent/CN105939439B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种图像处理装置、摄像装置及图像处理方法。所述图像处理装置(204)包括：非必要成分确定器(204a)，其基于与多个视差图像相关的差分信息，来确定视差图像的非必要成分信息；缩小处理器(204b)，其对所述视差图像、所述差分信息和所述非必要成分信息中的至少一者，进行缩小处理；放大处理器(204c)，其对所述非必要成分信息进行放大处理；以及非必要成分削减器(204d)，其基于所述非必要成分信息，从所述视差图像或者通过合成所述多个视差图像而获得的合成图像中削减非必要成分。

Description

图像处理装置、摄像装置及图像处理方法
技术领域
本发明涉及一种用于提高拍摄图像的质量的图像处理方法。
背景技术
在通过诸如照相机等的摄像装置进行摄像时，入射于光学系统的部分光可以被透镜的表面和保持透镜的部件反射，并且作为非必要光到达成像面。该非必要光在拍摄图像中，表现为诸如重影及光斑等的非必要成分。当在远摄透镜中使用衍射光学元件来校正纵向(轴向)色像差和倍率色像差时，来自用于摄像的视角之外的高强度物体(例如，太阳)的光可能入射在衍射光学元件上，从而在整个图像之上生成作为非必要成分的非必要光。之前，已知通过使用数字图像处理来去除非必要成分的方法。
日本特开2008-54206号公报公开了如下的方法，即基于表示对焦图像与散焦图像之间的差分的差分图像，来检测重影，所述对焦图像是当光学系统在被摄体上对焦时的图像，所述散焦图像是当摄像光学系统离焦时的图像。然而，在日本特开2008-54206号公报中公开的方法需要多次进行图像拍摄，因此不适合于运动被摄体的静止图像拍摄和运动图像拍摄。
日本特开2011-205531号公报公开了如下的方法，即基于通过单镜头立体摄像而拍摄的多个视差图像的比较，来检测重影。在日本特开2011-205531号公报中公开的方法通过单次摄像获得多个视差图像，该方法适用于运动被摄体的静止图像拍摄和运动图像拍摄。
然而，在日本特开2011-205531号公报中公开的方法通过计算主图像与副图像之间的差分，来检测重影。然而，如果简单地针对所有像素获得差分，则计算处理负荷大，因此，难以实时进行处理。此外，在仅进行差分计算的处理中，噪声增大，因此，难以维持高的图像质量。
发明内容
本发明提供能够有效地确定包含在拍摄图像中的非必要成分而不进行多次摄像以减轻处理负荷并维持高的图像质量的图像处理装置、摄像装置及图像处理方法。
本发明的一个方面提供一种图像处理装置，该图像处理装置包括：非必要成分确定器，其被构造为基于与多个视差图像相关的差分信息，来确定视差图像的非必要成分信息；缩小处理器，其被构造为对所述视差图像、所述差分信息和所述非必要成分信息中的至少一者，进行缩小处理；放大处理器，其被构造为对所述非必要成分信息进行放大处理；以及非必要成分削减器，其被构造为基于所述非必要成分信息，从所述视差图像或者通过合成所述多个视差图像而获得的合成图像中削减非必要成分。
本发明的另一方面提供一种摄像装置，该摄像装置包括：摄像设备，其被构造为对经由光学系统而形成的光学像进行光电转换，以输出多个视差图像；非必要成分确定器，其被构造为基于与所述多个视差图像相关的差分信息，来确定视差图像的非必要成分信息；缩小处理器，其被构造为对所述视差图像、所述差分信息和所述非必要成分信息中的至少一者，进行缩小处理；放大处理器，其被构造为对所述非必要成分信息进行放大处理；以及非必要成分削减器，其被构造为基于所述非必要成分信息，从所述视差图像或者通过合成所述多个视差图像而获得的合成图像中削减非必要成分。
本发明的另一方面提供一种图像处理方法，该图像处理方法包括以下步骤：基于与多个视差图像相关的差分信息，来确定视差图像的非必要成分信息；对所述视差图像、所述差分信息和所述非必要成分信息中的至少一者，进行缩小处理；对所述非必要成分信息进行放大处理；以及基于所述非必要成分信息，从所述视差图像或者通过合成所述多个视差图像而获得的合成图像中削减非必要成分。
通过以下参照附图对示例性实施例的描述，本发明的其他特征及方面将变得清楚。
附图说明
图1A及图1B是例示第一实施例中的图像处理方法的过程的图。
图2A及图2B是通过第一实施例中的图像处理方法而获得的示例性的输出图像。
图3是在第一及第二实施例中的各个中的摄像系统中的、摄像元件的光接收部与光学系统的光瞳的关系图。
图4是第一及第二实施例中的各个中的摄像系统的示意图。
图5是第一实施例中的摄像装置的框图。
图6A及图6B是第一实施例中的光学系统的结构图和在光学系统中出现的非必要光的说明图。
图7是穿过第一实施例中的光学系统的孔径光阑的非必要光的说明图。
图8A至图8H是当不进行缩小处理时的噪声量的说明图。
图9是例示第一实施例中的图像处理方法的流程图。
图10是例示第一实施例中的图像处理方法的流程图。
图11是例示第一实施例中的图像处理方法的流程图。
图12是第二实施例中的摄像装置的框图。
图13是例示第二实施例中的图像处理方法的流程图。
图14是例示第二实施例中的图像处理方法的流程图。
图15是例示第二实施例中的图像处理方法的流程图。
图16是例示第三及第四实施例中的各个中的摄像元件的图。
图17是在第三及第四实施例中的各个中的摄像系统中的、摄像元件的光接收部与光学系统的光瞳的关系图。
图18是第三实施例中的摄像系统的示意图。
图19是穿过第三实施例中的光学系统的孔径光阑的非必要光的说明图。
图20是例示第三实施例中的图像处理方法的过程的图。
图21是例示第三实施例中的图像处理方法的流程图。
图22是例示第四实施例中的图像处理方法的过程的图。
图23是例示第四实施例中的图像处理方法的流程图。
图24是例示第五实施例中的摄像系统的图。
图25是例示第五实施例中的摄像系统的图。
图26是例示第五实施例中的摄像系统的图。
图27是例示传统的摄像元件的图。
图28A及图28B是例示通过图24中的摄像系统而获得的图像的图。
图29是例示通过图25及图26中的各个中的摄像系统而获得的图像的图。
图30是例示第五实施例中的摄像装置的示例的图。
图31是例示第五实施例中的摄像装置的示例的图。
图32A及图32B是例示第六实施例中的选择非必要成分削减处理区域的示例的图。
具体实施方式
下面，将参照附图来描述本发明的示例性实施例。
在各实施例中，能够生成多个视差图像的摄像装置包括摄像系统，所述摄像系统将穿过光学系统(摄像光学系统)的光瞳的彼此不同的区域的多个光束，引导至摄像元件的彼此不同的光接收部(像素)，以进行光电转换。
[第一实施例]
首先，将描述本发明的第一实施例。图3例示了本实施例中的摄像系统中的摄像元件的光接收部与光学系统的光瞳之间的关系。在图3中，符号ML表示微透镜，并且符号CF表示滤色器(color filter)。符号EXP表示光学系统的出射光瞳(光瞳)，并且符号P1及P2表示出射光瞳EXP的区域。符号G1及G2表示像素(光接收部)，并且一个像素G1和一个像素G2配对(像素G1和G2被布置为共用单个微透镜ML)。摄像元件包括多对像素G1和G2(像素对)的阵列。配对的像素G1和G2经由共用的(即为各像素对配设的)微透镜ML，与出射光瞳EXP具有共轭关系。在各实施例中，在摄像元件中阵列的像素G1及G2又分别称为像素组G1及G2。
图4是本实施例中的摄像系统的示意图，所述摄像系统被假定为具有如下的结构，即替代图3中所示的微透镜ML，在出射光瞳EXP的位置上配设薄透镜。像素G1接收穿过出射光瞳EXP的区域P1的光束。像素G2接收穿过出射光瞳EXP的区域P2的光束。符号OSP表示进行图像拍摄(摄像)的物点。物点OSP上不一定必须存在物体。穿过物点OSP的光束依据光束穿过的光瞳(出射光瞳EXP)中的位置(在本实施例中，是区域P1或区域P2)，而入射于像素G1和像素G2中的一者。光束穿过光瞳的彼此不同的区域的行进，对应于入射光以自身的角度(视差)从物点OSP的分离。换言之，对于与像素G1及G2相对应的各微透镜ML，生成基于来自像素G1的输出信号的图像和基于来自像素G2的输出信号的图像，作为彼此具有视差的多个(在该示例中，是一对)视差图像。在下文中，由彼此不同的光接收部(像素)对穿过光瞳的彼此不同的区域的光束的接收可以被称为光瞳分割。
当由于例如图3及图4中所示的出射光瞳EXP的位置偏移，共轭关系未被完全保持时，或者当区域P1、P2部分地彼此交叠时，在本实施例中，仍将获得的多个图像视为视差图像。构成图像的最小元素被称为像素(像素信号)，该像素区别于摄像元件上的像素，并且各像素表示与自身的数值相对应的光强度及颜色。各像素的值被称为像素值。根据像素值的容量或性质，将图像分类为彩色图像、灰度图像、二值图像等。
接下来，将参照图5，描述执行本实施例中的图像处理方法的摄像装置。图5是例示本实施例中的摄像装置200的结构的框图。光学系统201(摄像光学系统)包括孔径光阑201a及聚焦透镜201b，并且使来自被摄体(未例示)的光在摄像元件202上成像(会聚)。摄像元件202(摄像设备)包括诸如CCD传感器及CMOS传感器等的光电转换元件，并且如参照图3及图4所描述的，通过与各区域相对应的像素(光接收部)，来接收穿过光瞳的彼此不同的区域的光束(进行光瞳分割)。以这种方式，摄像元件202对经由光学系统201形成的被摄体像(光学像)进行光电转换，并输出图像信号(模拟电信号)作为多个视差图像。A/D转换器203将从摄像元件202输出的模拟电信号，转换为数字信号，然后将这些数字信号输出到图像处理器204。
图像处理器204对数字信号进行典型的图像处理，并且还进行非必要光(非必要成分)的确定处理，以及用来削减或去除非必要光的校正处理。在本实施例中，图像处理器204对应于并入摄像装置200中的图像处理装置。图像处理器204包括非必要成分检测器204a(非必要成分确定器)、缩小处理器204b、放大处理器204c，以及非必要成分削减器204d。
非必要成分检测器204a生成(获取)视差图像，并基于这些视差图像来检测(确定)非必要成分。缩小处理器204b对图像进行缩小处理。放大处理器204c放大由缩小处理器204b缩小的图像，以将缩小的图像的尺寸恢复到原始尺寸。非必要成分削减器204d从各视差图像中削减非必要成分。在本实施例中，视差图像可以以被预先分离为两个图像的形式，被输出和生成为“仅由像素组G1形成的图像”和“仅由像素组G2形成的图像”。作为另一选择，可以首先输出“仅由像素组G1形成的图像”和“像素组G1及G2的合成图像”，然后，可以从合成图像中减去仅由像素组G1形成的图像，以计算和获得与仅由像素组G2形成的图像相对应的图像。
在诸如半导体存储器和光盘等的图像记录介质209中，存储由图像处理器204处理的输出图像(图像数据)。可以在显示单元205上显示来自图像处理器204的输出图像。在存储单元208(存储器)中，存储图像处理器204的图像处理所需的图像处理程序和各种信息。
系统控制器210(控制器、处理器或CPU)控制摄像元件202的操作、图像处理单元204的处理，以及光学系统201(孔径光阑201a及聚焦透镜201b)。光学系统控制器206响应于来自系统控制器210的控制指令，来进行光学系统201的孔径光阑201a及聚焦透镜201b的机械驱动。孔径光阑201a的开口直径被依照设定的光圈值(F数)来控制。聚焦透镜201b的位置由自动聚焦(AF)系统和手动聚焦机构(未例示)来控制，由此，聚焦透镜201b依照被摄体距离来进行聚焦(聚焦控制)。状态检测器207响应于来自系统控制器210的控制指令，来获取当前的摄像条件信息。在本实施例中，光学系统201被包括作为包括摄像元件202的摄像装置200的一部分(与摄像装置200一体化)，但是并不限定于此。像单镜头反光照相机一样，摄像系统可以包括可拆卸地附装至摄像装置主体的可更换光学系统(可更换镜头)。
图6A及图6B分别是光学系统201的结构图和在光学系统201中出现的非必要光的说明图。图6A具体地例示了光学系统201的示例性结构。在图6A中，符号STP表示孔径光阑(对应于孔径光阑201a)，并且符号IMG表示摄像面。在摄像面IMG的位置，布置了图5中所示的摄像元件202。图6B例示了如下的情况，即在光学系统201上入射有来自作为示例性高亮度(luminance)物体的用“太阳”(SUN)表示的太阳的强光，并且在包括在光学系统201中的透镜的表面处反射的光作为非必要光(重影或光斑)，到达摄像面IMG。
图7例示了孔径光阑STP的、入射于图4中所示的像素G1及G2的光束穿过的区域P1及P2(光瞳区域或光瞳分割区域)。孔径光阑STP可以被假定为对应于光学系统201的出射光瞳EXP(即，当从光学系统201的摄像面位置观察时的虚像)，但是在实际中，经常是孔径光阑STP和出射光瞳EXP彼此不同。虽然来自高亮度物体(太阳)的光束穿过孔径光阑STP的几乎整个区域，但是将要入射于像素G1及G2的光束穿过的区域被分割为区域P1及P2(光瞳区域)。在图6B中所示的示例中，来自高亮度物体的光束穿过孔径光阑STP的约上半部分的区域，并且是如下的情形，即光束穿过参照图4的区域P1(光瞳区域)。该光束穿过区域P1，然后，该光束进入像素G1。
接下来，将参照图1A及图1B以及图2A及图2B，来描述如下的方法，即在由摄像装置200生成的拍摄图像中，确定作为通过非必要光的光电转换而显现的图像成分的非必要成分。图1A及图1B是例示本实施例中的图像处理方法的过程的图。图2A及图2B是通过本实施例中的图像处理方法而获得的输出图像的示例。
图2A例示了在无光瞳分割的情况下通过摄像(成像或图像拍摄)而生成的拍摄图像。该拍摄图像包括作为建筑物和存在于建筑物的周边的树木的被摄体。符号GST在图2A中的拍摄图像中被表示为黑色方块形状，并且是作为与非必要光(重影)相对应的图像成分的非必要成分(重影成分)。在图2A中，非必要成分GST是用黑色例示的，但是实际上，非必要成分GST具有一定的透明度，足以看到被摄体。非必要成分对应于拍摄的被摄体上的非必要光，因此具有比拍摄的被摄体更高的亮度。在后述的其他实施例中也是如此。
图1A(A-1)和图1A(B-1)例示了一对视差图像，这是由像素组G1及G2对穿过区域P1及P2(光瞳区域)的光束进行光电转换而获得的。为了便于理解，分别将从像素组G1获得的视差图像和从像素组G2获得的视差图像，例示为图1A(A-1)和图1A(B-1)。然而，在实际的处理中，可以在图像被分离之后进行处理，或者可以在图像未被分离为各视差图像的同时，使用在能够在系统上确定像素组G1及G2的状态下的图像信息。
当被摄体位于近距离处时，在一对视差图像的图像成分中，存在与视差相对应的差(被摄体的视差成分)。然而，当如图1A所示通过拍摄风景而获得的被摄体位于远距离时，被摄体的视差成分的量是微小的量。一对视差图像包含被示意性地例示为黑色方块的非必要成分GST，但是非必要成分GST的位置在视差图像之间彼此不同。在本实施例中，描述了如下的示例，即非必要成分GST被分离而不彼此交叠，但是，非必要成分GST也可以彼此交叠，从而具有亮度差。换言之，被表示为黑色方块的非必要成分GST的位置或亮度仅需要彼此不同。
图1A(A-1-1)和图1A(B-1-1)分别是对图1A(A-1)和图1A(B-1)中所示的一对视差图像的缩小处理的结果。缩小处理是例如像素间的抽取(decimating)处理、多个周边像素的像素值的平均化，或者通过使用一定的权重将多个像素的像素值组合为一个像素值的处理(所谓的像素相加处理)，但是并不限定于此。可以依据视差图像的原始尺寸，来适当地设置缩小率。在这种情况下，要削减的非必要成分仅需要在缩小处理之后保留，因此，当非必要成分的面积足够大时，可以将视差图像的尺寸缩小到原始图像尺寸的大约1/10。如果通过已知方法而识别出非必要成分的尺寸(面积)，则可以根据非必要成分的尺寸来确定缩小率，使得非必要成分不因缩小处理而消失，由此确定缩小处理。
在本实施例中，可以在进行缩小处理之前进行平滑化处理。这是因为，特别是当通过使用像素间的抽取处理来进行缩小处理时，如果存在在空间频率中具有高频成分的被摄体，则在缩小处理之后可能出现莫尔条纹。为了避免这种情况，优选对缩小处理之前的图像信息，进行依据缩小率的低通滤波处理。具体而言，例如，优选将基于缩小后的图像的尺寸而获得的奈奎斯特(Nyquist)频率，设置为截止频率，并且应用低通滤波器，来截除高于或等于奈奎斯特频率的高频成分。已公开了如下的各种缩小处理，这些缩小处理是在通过其他已知处理来减少莫尔条纹的出现的状态下进行的。本实施例仅需要在本实施例的处理流程期间的缩小处理时，来减少莫尔条纹的出现，因此，本实施例并不限定于简单的低通滤波器，并且可以在缩小处理之前，进行考虑减少在缩小时的莫尔条纹的出现的处理，或者，可以进行考虑减少在缩小时的莫尔条纹的出现的缩小处理。
图1A(A-2)例示了通过如下方式获得的图像(差分信息的图像)，即针对一对缩小后的视差图像，从作为基准图像的图1A(A-1-1)的图像中减去图1A(B-1-1)的图像。该图像(差分图像或差分信息)包含被摄体的视差成分和上述的非必要成分，作为一对视差图像的差分。然而，当如图1A所示通过拍摄风景而获得的被摄体位于远距离时，被摄体的视差成分的量是微小的量，因此，影响基本上能够被忽略。同样，图1A(B-2)是通过如下方式获得的图像，即针对一对视差图像，从作为基准图像的图1A(B-1-1)的图像中减去图1A(A-1-1)的图像。虽然通过上述的差分计算，包含在图1A(A-1-1)的图像中的非必要成分被计算为负值，但是为了简化在后面的阶段的非必要成分削减处理，在图1A(B-2)的图像中截断(truncate)了负值。因此，图1A(B-2)的差分图像仅表示包含在图1A(B-1-1)的图像中的非必要成分(在该示例中，由于图1A(B-1)的图像本来不包含非必要成分，因此，从图1A(B-2)的图像中未提取出任何非必要成分)。如上所述，通过进行保留(即，分离或提取)差分图像中的非必要成分的处理，能够确定非必要成分。在本实施例中，为了便于说明，而描述了“截断负值”，并且作为另一选择，可以在图像中的值低于通过基础噪声的降低处理或辉度(brightness)的偏移处理而提供的某一阈值的情况下，进行截断处理。即使当值为负时，也能够在计算处理中继续进行计算，因此，负值可以作为值被保留，而无需被截断。在随后的步骤，仅需要识别由于差分的应用而产生的该像素值的负值(或者小于或等于某一阈值的值)。在以下的实施例中也是如此。
然后，对要输出的图像，进行去除或削减如上所述确定的非必要成分的校正处理。具体而言，进行如下的处理，即从图1A(A-1)和图1A(B-1)的视差图像中的各个中，减去非必要成分。然而，由于图1A(A-2)和图1A(B-2)的图像中的各个的尺寸被减小，因此，有必要将尺寸恢复到未进行缩小处理的图像的尺寸(即，与图1A(A-1)和图1A(B-1)的图像中的各个相同的原始图像尺寸)。图1A(A-3)及图1A(B-3)的图像例示了将缩小的尺寸恢复到原始图像尺寸的放大处理的结果。可以简单地通过按比例放大来进行放大处理，并且优选进行诸如双线性方法及双三次方法等的插值处理。结果，能够避免出现剧烈的阶跃边缘(edgestep)，并且即使在非必要成分削减处理之后，也能够维持高的质量。
图1A(A-4)是从图1A(A-1)的图像中减去图1A(A-3)的图像的结果。图1A(B-4)是从图1A(B-1)的图像中减去图1A(B-3)的图像的结果。以这种方式，能够获得非必要成分大致消失(基本上被去除)的各视差图像。通过合成(组合)非必要成分已被削减的各视差图像(图1A(A-4)的图像和图1A(B-4)的图像)，能够生成如下的拍摄图像，该拍摄图像是如图2B所示通过无光瞳分割的摄像而生成的，并且等同于具有削减的非必要成分的图像。
在本实施例中，针对差分信息，参照一个视差图像来计算各视差图像之间的差分图像(负值被表示为零的差分图像)，但是本实施例并不限定于此。当如在本实施例中所述视差的数量是两个时，可以将如下的绝对值存储为差分信息(也考虑负值的绝对差分信息)，这些绝对值是通过从作为基准图像的图1A(A-1-1)的图像中减去图1A(B-1-1)的图像而获得的。然后，从通过将图1A(B-1-1)的图像加上图1A(A-1-1)的图像而获得的图像中，减去绝对差分信息，由此获得与上述等价的结果。
具体而言，将视差图像A及B简单地表示为A及B，则满足下式(1)。
(A-B)0+(B-A)0＝│A-B│…(1)
在式(1)中，符号()0是指针对括号内的算式的计算的结果，如果有负值，则将这些负值截断为零。如上所述，能够将差分信息存储为绝对差分信息，并且例如可以使用能够以更高的速度进行处理的方法。
随后，将参照图1B，来描述如下的方法，即通过使用上述的绝对差分信息，并进一步去除或削减非必要成分，来确定非必要成分。
图1B(C-1)和图1B(D-1)分别例示了与上述的图1A(A-1)及图1A(B-1)相同的图像。图1B(C-1)和图1B(D-1)例示了一对视差图像，这是由像素组G1及G2分别对穿过区域P1及P2(光瞳区域)的光束进行光电转换而获得的。在本实施例中，为了便于理解，分别将从像素组G1获得的视差图像和从像素组G2获得的视差图像，例示为图1B(C-1)和图1B(D-1)。图1B(E-1)是通过对图1B(C-1)及图1B(D-1)的平均化处理而获得的图像。平均化处理是通过如下方式进行的，即将图1B(C-1)和图1B(D-1)的图像在各相应坐标的像素值相加，然后将相加的像素值除以2，从而将获得的值作为图1B(E-1)的图像在各相应坐标的像素值。图1B(E-1)也是与图2A的图像等价的图像。
图1B(C-1-1)和图1B(D-1-1)分别是对图1B(C-1)和图1B(D-1)中所示的一对视差图像进行的缩小处理的结果。图1B(C-2)是对一对缩小的视差图像即图1B(C-1-1)和图1B(D-1-1)的图像进行的、如式(1)的右侧所示的绝对差分处理的结果。该图像(差分信息或绝对差分信息)包含被摄体的视差成分和上述的非必要成分，作为一对视差图像的差分。然而，当如图1B所示通过拍摄风景而获得的被摄体位于远距离时，被摄体的视差成分的量是微小的量，因此，影响基本上能够被忽略。
图1B(C-3)例示了将图像的尺寸恢复到原始尺寸而进行的放大处理的结果。图1B(C-4)是从图1B(E-1)的图像中减去图1B(C-3)的图像的结果。因此，即使当使用绝对差分信息时，也能够获得非必要成分大致消失(被去除)的各视差图像。在后述的第二实施例中也是如此。
如上所述，有必要在这些处理步骤中进行图像之间的差分计算，并且如果包括非必要成分削减处理，则还有必要多次进行差分计算。在这种情况下，依据多个图像的数据量，作为临时存储差分结果的缓冲器，需要大的存储器容量，并且处理负荷增大。然而，通过进行上述的缩小处理，能够使差分计算区域变窄，并且还能够减轻处理负荷。由于在一定程度上而言，在本实施例中作为目标的非必要成分的面积是大的，因此，即使对在长边方向上具有超过2000像素的原始图像尺寸的高清晰图像，以强的缩小率1/10进行缩小处理，也能够维持效果。因此，通过进行缩小处理，期望大幅地减轻处理负荷。
此外，通过进行缩小处理，能够实现降噪效果。如果不进行本实施例中的缩小放大处理，则与包含在原始视差图像中的噪声相比，通过对非必要成分进行削减处理，可能使噪声增大。这是因为，在获得的视差图像之间，噪声量及噪声图案是不同的。下面，将参照图8A至图8H，来简要描述噪声增大的现象。图8A至图8H是当不进行缩小处理时的噪声量的说明图。
图8A及图8B是例示提取的部分(10×10像素)具有与通过拍摄灰色的均匀被摄体而获得的视差图像相同坐标的图。实际上，虽然存在3个RGB信道，但是为了便于描述，仅通过示例而例示了G的像素值。摄像系统具有如图4所示的形式，并且摄像系统能够将要输入像素G1及G2中的光一分为二来获得两个视差图像，而如果使用不进行光瞳分割的摄像系统，则光要被收集到一个像素中。如果需要获得等同于通过有光瞳分割的摄像而生成的拍摄图像的图像，则可以将通过像素G1及G2而获得的像素值彼此相加。
例如，在图8A至图8H中，图8A例示了通过像素G1而获得的像素值，并且图8B例示了通过像素G2而获得的像素值。由于拍摄在对焦面上存在的具有均匀亮度的平面被摄体，因此，视差成分能够被忽略。在图8A及图8B中的各个中，尽管拍摄具有均匀亮度的被摄体，但由于在摄像元件中出现的噪声的影响，像素值具有一定比率的变化。在这种情况下，图8A中的10×10像素的范围内的像素值的平均值是62.6，并且，表示变化程度的标准偏差是2.98。图8B中的10×10像素的范围内的像素值的平均值是62.6，并且表示变化程度的标准偏差是2.17。该示例是用于描述噪声的行为的简单模型，因此，未叙述任何要削减的非必要成分(重影成分)。
图8C是例示通过将图8A和图8B中的相同坐标处的数值相加而获得的值的图，并且图8C对应于上述“通过无光瞳分割的摄像而生成的拍摄图像”。在这种情况下，像素值的平均值是125.1，并且标准偏差是3.91。图8D及图8E例示了进行上述“非必要成分的确定处理”的结果。具体而言，图8D是在相同坐标处从图8A的值中减去图8B的值的结果，并且图8E是在相同坐标处从图8B的值中减去图8A的值的结果。对于在差分计算期间数值为负的坐标，该坐标处的数值被替换为零。
图8F及图8G例示了进行上述“非必要成分的削减处理”的结果。具体而言，图8F是从原始视差图像(图8A)中减去非必要成分图像(图8D)的结果，并且图8G是从原始视差图像(图8B)中减去非必要成分图像(图8E)的结果。图8H是将图8F及图8G中的相同坐标处的数值相加的结果。图8H是最终的“通过削减非必要成分而获得的图像”。如上所述，由于在差分的应用的最初处理中(图8D及图8E)，负值被截断而被替换为零，因此，通过进行非必要成分的削减处理而获得的图像(图8F及图8G)，必定比原始的视差图像暗。对于噪声成分，尽管在一些像素处，噪声成分削减，但存在通过非必要成分的削减处理而增大了噪声成分的大量像素，因此，总体而言，图8H中的标准偏差比图8C中的大。已有相应的解决方案，能够使得与“通过无光瞳分割的摄像而生成的拍摄图像”相比，减小“通过非必要成分的削减处理而获得的图像”中的标准偏差的值。然而，随着图像的尺寸增大，全面地降低“通过无光瞳分割的摄像而生成的拍摄图像”中的噪声的可能性极低。由于通过如上所述的差分计算，来创建“通过进行非必要成分的削减处理而获得的图像”，因此，与“通过无光瞳分割的摄像而生成的拍摄图像”相比，噪声的振幅的最大值与最小值之差增大的可能性极高，因此，噪声看起来增大。
由于上面的原因，与“通过无光瞳分割的摄像而生成的拍摄图像”相比，在“通过进行非必要成分的削减处理而获得的图像”中，噪声量增大，因此，图像质量可能劣化。
接下来，将参照图9，来描述本实施例中的图像处理方法(非必要成分的确定处理和非必要成分的削减处理)。图9是例示图像处理方法的流程图。由系统控制器210或图像处理器204，根据作为计算机程序的图像处理程序来执行图9中的各步骤。
首先，在步骤S11中，系统控制器210控制由光学系统201及摄像元件202构成的摄像设备，以对被摄体进行摄影(拍摄)。图像处理器204获取拍摄图像作为输入图像。
随后，在步骤S12中，图像处理器204通过使用从摄像元件202(像素组G1及G2)输出的、并且通过A/D转换器203的A/D转换而获得的数字信号，来生成一对视差图像。在本实施例中，图像处理器204可以进行典型的显影处理和各种图像校正处理，来生成视差图像。此外，在步骤S12中，视差图像可以被生成为分开的图像，如“仅通过像素组G1而获得的图像”和“仅通过像素组G2而获得的图像”，或者作为另一选择，可以获得像素组G1和G2被混合的一个图像。仅需要识别像素组和相应的视差图像。
随后，在步骤S13中，图像处理器204(缩小处理器204b)对在步骤S12中生成的视差图像，进行缩小处理。根据视差图像的原始尺寸，来适当地设置缩小处理的缩小率。在这种情况下，要削减的非必要成分仅需要在缩小处理之后保留，因此，如果非必要成分的面积足够大，则可以将视差图像的尺寸缩小到原始尺寸的大约1/10。另外，在这种情况下，可以缩小被生成为分开的图像的视差图像，或者作为另一选择，可以缩小各视差被混合的一个图像。通过缩小图像，除了处理负荷减轻之外，因为如上所述噪声被平滑化的降噪效果，还能够提高最终要输出的非必要成分削减图像的质量。可以在缩小处理器204b中配设平滑器(未例示)，以根据缩小率来进行低通滤波处理，从而在步骤S12与S13之间，防止在缩小处理期间莫尔条纹出现。
随后，在步骤S14中，图像处理器204(非必要成分检测器204a)获得一对视差图像的差分信息。换言之，图像处理器204生成通过使用图1A(A-1-1)的图像作为基准图像而获得的差分图像(图1A(A-2))，以及通过使用图1A(B-1-1)的图像作为基准图像而获得的差分图像(图1A(B-2))。当到达摄像面的非必要光穿过光学系统中彼此不同的光瞳区域时，如图1A(A-1)及图1A(B-1)所示，对于各视差图像，无论非必要成分是否出现，非必要成分的出现位置都是不同的。因此，在简单的差分图像中，非必要成分的差分值表示正值或负值。例如，在本实施例中，当从图1A(A-1-1)的图像中减去图1A(B-1-1)的图像以生成差分图像(图1A(A-2))时，包含在图1A(A-1-1)的图像中的非必要成分表示正值，而另一方面，包含在图1A(B-1-1)的图像中的非必要成分表示负值。
在本实施例中，为了简化下面描述的非必要成分削减处理，进行将所述负值截断为零的处理。因此，在图1A(A-2)中，仅包含在图1A(A-1-1)的图像中的非必要成分被检测为正值。通过对图1A(B-2)的差分图像进行类似的处理，在图1A(B-2)中，仅包含在图1A(B-1-1)中的非必要成分被检测为正值。当针对包括近距离被摄体的图像获得差分信息时，可以进行对准一对视差图像的位置的处理，以去除被摄体视差成分。可以在使视差图像中的一者的位置、相对于视差图像中的另一者的位置偏移的状态下，确定视差图像之间的相关性被最大化的偏移位置，由此进行对准。作为另一选择，可以确定视差图像之间的差分的平方和被最小化的偏移位置，由此进行对准。可以使用视差图像中的对焦区域，来确定用于对准的偏移位置。可以预先在各视差图像中进行边缘检测，以利用包含检测出的边缘的图像，来确定用于对准的偏移位置。根据该方法，在对焦区域中检测具有高对比度的边缘，而另一方面，诸如背景等的离焦区域具有低对比度，并且不容易被检测为边缘，因此，必然着重于对焦区域来确定偏移位置。通过使用绝对差分信息作为差分信息，获得等价的结果。
随后，在步骤S15中，图像处理器204(非必要成分检测器204a)将在步骤S14中获得的差分图像中保留的成分，确定为非必要成分(非必要成分信息)。
随后，在步骤S16中，图像处理器(放大处理器204c)进行放大处理，以将图像尺寸恢复到原始的图像尺寸。在放大处理期间，可以简单地通过按比例放大来进行放大，并且优选进行诸如双线性方法及双三次方法等的插值处理。结果，能够避免出现剧烈的阶跃边缘，并且即使当在后面的步骤削减非必要成分时，也能够维持高质量，因此这是优选的。放大处理的结果对应于图1A(A-3)及图1A(B-3)的图像。
随后，在步骤S17中，图像处理器204(非必要成分削减器204d)进行校正处理，即从要输出的图像中削减(或去除)非必要成分。在本实施例中，作为要输出的图像，生成通过将图1A(A-4)和图1A(B-4)中所示的像素G1和G2视为一个像素而获得的各视差图像。在这种情况下，通过在步骤S14中将负值截断为零，仅包含在各视差图像中的非必要成分被检测为正值。因此，通过简单地从各视差图像中减去差分图像，能够去除非必要成分。在本实施例中，这对应于从图1A(A-1)的视差图像中减去图1A(A-3)的视差图像，以及从图1A(B-1)的视差图像中减去图1A(B-3)的视差图像。
最后，在步骤S18中，图像处理器204生成输出图像。然后，系统控制器210将如图1A(A-4)及图1A(B-4)所示已去除(削减)非必要成分的输出图像，存储在图像记录介质209中，或者显示在显示单元205上。也可以通过合成非必要成分(重影成分)已被去除的各视差图像，来输出如下的图像，该图像等同于在图2B中例示的、并且具有削减的非必要成分的拍摄图像，该拍摄图像是通过无光瞳分割的摄影(摄像)而生成的。
在本实施例中，作为进行缩小处理的顺序的变形例，如图10所示，可以在生成差分信息之后进行缩小处理。图10是例示作为本实施例的变形例的图像处理方法的流程图。与图9的流程图不同，在图10的流程图中，在生成差分信息(步骤S14)之后进行缩小处理(步骤S13)。在这种情况下，能够减轻在确定非必要成分时的计算处理负荷，并且能够削减通过缩小处理而出现的细噪声成分。
作为进一步的变形例，如图11所示，可以在确定非必要成分之后进行缩小处理。图11是例示作为本实施例进一步的变形例的图像处理方法的流程图。与图9的流程图不同，在图11的流程图中，在确定非必要成分(步骤S15)之后进行缩小处理(步骤S13)。在这种情况下，紧接在缩小处理之后进行放大处理，因此，不期望实现减轻计算处理负荷的效果，但是，能够削减通过缩小处理而出现的细噪声成分。
根据本实施例，当由基于通过多次图像拍摄(即，摄像)而获得的多个视差图像的差分信息来确定由非必要光(重影)形成的非必要成分时，能够减小图像处理中的计算负荷量。此外，即使当确定的非必要成分被削减或去除时，也能够维持高的图像质量。
[第二实施例]
接下来，将参照图12，来描述本发明的第二实施例中的摄像装置。图12是能够执行本实施例中的图像处理方法的摄像装置200a的框图。摄像装置200a与参照图5描述的第一实施例的摄像装置200的不同在于，本实施例的图像处理器204包括用来降低图像的噪声的降噪器204e。其他结构与第一实施例中的摄像装置200相同，因此，将省略相应的描述。
接下来，将参照图13来描述本实施例中的图像处理方法。图13是例示本实施例中的图像处理方法的流程图。由系统控制器210或图像处理器204，根据作为计算机程序的图像处理程序来执行图13中的各步骤。与参照图9描述的第一实施例的图像处理方法不同，在本实施例的图像处理方法中，增加了进行平滑化处理的步骤(步骤S21)。其他处理与第一实施例相同，因此，将省略相应的描述。
在图13中，步骤S11至S15与图9中的步骤S11至S15相同。随后，在步骤S21中，图像处理器204(降噪器204e)进行平滑化处理，以降低在步骤S15中获得的非必要成分的噪声。作为平滑化处理的方法，可以使用已知的方法，并且优选使用诸如双边滤波器等用来保持边缘部分的平滑滤波器。这是因为，当通过使用诸如高斯(Gaussian)滤波器等提供均匀模糊的滤波器在后面的阶段进行削减非必要成分的差分处理时，在边缘部分可能发生诸如黑电平下降(black level depression)等的负面影响。通过如本实施例中所述在进行缩小处理之后进行平滑化处理，能够降低无法通过缩小处理来充分降低的相对较大的块噪声等。在图13中，随后的步骤S16至S18与图9中的步骤S16至S18相同。
在本实施例中，作为进行平滑化处理的顺序的变形例，如图14所示，可以在生成差分信息之后进行缩小处理。图14是例示作为本实施例的变形例的图像处理方法的流程图。与图13的流程图不同，在图14的流程图中，在生成差分信息(步骤S14)之后进行平滑化处理(步骤S21)。在这种情况下，需要进行平滑化处理的图像的数量增大，但是能够与图13中的流程图的情况类似地获得噪声降低的效果。
作为进一步的变形例，如图15所示，可以在生成差分信息之前进行平滑化处理。图15是例示作为本实施例进一步的变形例的图像处理方法的流程图。与图13的流程图不同，在图15的流程图中，在生成差分信息(步骤S14)之前进行平滑化处理(步骤S21)。此外，在这种情况下，能够与图13中的流程图的情况类似地获得噪声降低的效果。
根据本实施例，当由基于通过多次图像拍摄而获得的多个视差图像的差分信息来确定由非必要光(重影)形成的非必要成分时，能够减小图像处理中的计算负荷量。此外，通过进一步应用平滑化处理，即使当确定的非必要成分被削减或去除时，也能够维持高的图像质量。
[第三实施例]
接下来，将描述本发明的第三实施例(多个光瞳分割)。
图17是例示摄像系统中的摄像元件的光接收部与光学系统的光瞳之间的关系的图。在图17中，符号ML表示微透镜，并且符号CF表示滤色器。符号EXP表示光学系统的出射光瞳。符号G1、G2、G3及G4表示光接收部(像素G1、G2、G3及G4)，并且一个像素G1、一个像素G2、一个像素G3及一个像素G4构成组(像素G1、G2、G3及G4被布置为共用单个微透镜ML)。摄像元件包括多个由像素G1、G2、G3及G4构成的组(像素组)的阵列。像素G3和G4分别在两个维度上被布置在像素G1和G2的纸面里侧(未例示)。像素G1、G2、G3及G4构成的组经由共用的(即，为各像素组配设的)微透镜ML，而与出射光瞳EXP具有共轭关系。在摄像元件中阵列的像素G1和G2分别被称为像素组G1和G2(对于像素G3和G4中的各个也是如此)。图16是当从出射光瞳EXP侧观察时的微透镜ML的图。
图18是本实施例中的摄像系统的示意图，并且例示了进行摄像的物点OSP、出射光瞳EXP及摄像元件的成像关系。像素G1接收穿过出射光瞳EXP的区域P1的光束。像素G2接收穿过出射光瞳EXP的区域P2的光束。区域P3和P4分别在两个维度上被布置在区域P1和P2的纸面里侧(未例示)。物点OSP上不一定必须存在物体，并且穿过物点OSP的光束依据该光束穿过的光瞳(出射光瞳EXP)中的区域(位置)，而入射于像素G1、像素G2、像素G3及像素4中的一者。光束穿过光瞳的彼此不同的区域的行进，对应于入射光以自身的角度(视差)从物点OSP的分离。换言之，对于与像素G1、G2、G3及G4相对应的各微透镜ML，通过使用来自像素G1、G2、G3及G4的输出信号而生成4个图像，这4个图像是彼此具有视差的多个视差图像。图19是当从微透镜ML侧观察时的出射光瞳EXP的图。在图17及图18中，当由于例如出射光瞳EXP的位置偏移使得上述的共轭关系未被完全保持时，或者当区域P1和P2(或者区域P3和P4)部分地彼此交叠时，获得的多个图像仍被视为视差图像。本实施例中的能够执行图像处理方法的摄像装置的基本结构，与参照图12描述的第二实施例的摄像装置200a相同，并且本实施例中的光学系统与参照图6A及图6B描述的光学系统201相同，因此，将省略相应的描述。
接下来，将参照图20，来描述如下的方法，即在由摄像装置200a生成的拍摄图像中，确定作为通过非必要光的光电转换而显现的图像成分的非必要成分。图20是例示本实施例中的图像处理方法的过程的图。在本实施例中，通过无光瞳分割的摄像而生成的拍摄图像与图2相同。
图20(A-1)、图20(B-1)、图20(C-1)及图20(D-1)例示了作为像素组G1、G2、G3及G4的光电转换的结果而获得的一组视差图像，在所述像素组G1、G2、G3及G4中，分别接收到穿过光瞳区域P1、P2、P3及P4的光束。该组视差图像包含被示意性地例示为黑色方块的非必要成分GST，并且图20(A-1)和图20(B-1)中的非必要成分GST的一部分(在左上部)的位置在同一位置交叠。另一方面，在图20(A-1)与图20(C-1)之间，非必要成分的全部位置均彼此不同。在图20(D-1)中，未出现任何非必要成分。
图20(A-1-1)、图20(B-1-1)、图20(C-1-1)及图20(D-1-1)是对各个视差图像进行的缩小处理的结果。在进行缩小处理之前，如在第一实施例和第二实施例中的各个中描述的，可以进行诸如低通滤波处理等的平滑化处理，以防止出现莫尔条纹。
图20(A-2)是通过如下方式获得的差分信息的图像，即针对一组视差图像，从作为基准图像的图20(A-1-1)的图像中减去图20(B-1-1)的图像。与第一实施例类似，该图像包含被摄体的视差成分和上述的非必要成分，作为差分信息。如上所述，在图20(A-1)与图20(B-1)的图像之间，非必要成分的一部分在同一位置彼此交叠。因此，在差分图像中未显现在同一位置出现的非必要成分。换言之，存在如下的非必要成分，仅通过两个图像之间的差分信息无法检测出该非必要成分。然而，如在本实施例中所述，通过获取视差图像的多个差分信息，如果在例如图20(C-1)所示的至少一个视差图像中的、与基准图像中的位置不同的位置，出现非必要成分，则能够有效地检测出该非必要成分。
图20(A-3)是通过如下方式获得的差分图像，即针对一组视差图像，从作为基准图像的图20(A-1-1)的图像中减去图20(C-1-1)的图像。与第一实施例类似，该图像包含被摄体的视差成分和上述的非必要成分，作为差分信息。与第一实施例类似，虽然通过差分计算，在图20(C-1-1)的图像中包含的非必要成分被计算为负值，但是为了简化在后面的阶段的非必要成分削减处理，在图20(A-3)的图像中截断了负值。对于所有其他的差分图像均是如此。因此，图20(A-3)的差分图像仅表示包含在图20(A-1-1)的图像中的非必要成分。
图20(A-4)是通过如下方式获得的差分图像，即针对一组视差图像，从作为基准图像的图20(A-1-1)的图像中减去图20(D-1-1)的图像。由于图20(A-1-1)和图20(D-1-1)的图像在非必要成分的有无上是不同的，因此，与图20(A-3)的图像类似，图20(A-4)的图像仅表示包含在图20(A-1-1)的图像中的非必要成分。
图20(A-5)是通过如下方式获得的信息(最大差分信息或最大差分图像)，即在作为被获取为二维数据的差分信息的图20(A-2)、图20(A-3)及图20(A-4)的差分图像中，提取各像素位置处的差分信息之间的最大值。在本实施例中，该图像信息具有与图20(A-3)及图20(A-4)的图像中的各个相等的值，并且该图像信息对应于包含在图20(A-1-1)的图像中的非必要成分的位置和量。
同样，图20(B-2)是通过如下方式获得的差分图像，即针对一组视差图像，从作为基准图像的图20(B-1-1)的图像中减去图20(A-1-1)的图像。图20(B-3)是通过如下方式获得的差分图像，即针对一组视差图像，从作为基准图像的图20(B-1-1)的图像中减去图20(C-1-1)的图像。图20(B-4)是通过如下方式获得的差分图像，即针对一组视差图像，从作为基准图像的图20(B-1-1)的图像中减去图20(D-1-1)的图像。图20(B-5)是通过如下方式获得的最大差分信息，即在作为被获取为二维数据的差分信息的图20(B-2)、图20(B-3)及图20(B-4)的差分图像中，提取各像素位置处的差分信息的最大值。在本实施例中，该图像信息具有与图20(B-3)及图20(B-4)的图像中的各个中的值相等的值，并且该图像信息包括包含在图20(B-1-1)的图像中的非必要成分的位置和量。
同样，图20(C-2)是通过如下方式获得的差分图像，即针对一组视差图像，从作为基准图像的图20(C-1-1)的图像中减去图20(A-1-1)的图像。图20(C-3)是通过如下方式获得的差分图像，即针对一组视差图像，从作为基准图像的图20(C-1-1)的图像中减去图20(B-1-1)的图像。图20(C-4)是通过如下方式获得的差分图像，即针对一组视差图像，从作为基准图像的图20(C-1-1)的图像中减去图20(D-1-1)的图像。图20(C-5)是通过如下方式获得的最大差分信息，即在作为被获取为二维数据的差分信息的图20(C-2)、图20(C-3)及图20(C-4)的差分图像中，提取各像素位置处的差分信息的最大值。在本实施例中，该图像信息具有与图20(C-2)、图20(C-3)及图20(C-4)的图像中的各个中的值相等的值，并且该图像信息包括包含在图20(C-1-1)的图像中的非必要成分的位置和量。
同样，图20(D-2)是通过如下方式获得的差分图像，即针对一组视差图像，从作为基准图像的图20(D-1-1)的图像中减去图20(A-1-1)的图像。图20(D-3)是通过如下方式获得的差分图像，即针对一组视差图像，从作为基准图像的图20(D-1-1)的图像中减去图20(B-1-1)的图像。图20(D-4)是通过如下方式获得的差分图像，即针对一组视差图像，从作为基准图像图20(D-1-1)的图像中减去图20(C-1-1)的图像。图20(D-5)是通过如下方式获得的最大差分信息，即在作为被获取为二维数据的差分信息的图20(D-2)、图20(D-3)及图20(D-4)的差分图像中，提取各像素位置处的差分信息的最大值。在本实施例中，该图像信息具有与图20(D-2)、图20(D-3)及图20(D-4)的图像中的各个中的值相等的值，并且由于在图20(D-1-1)的图像中未检测出任何非必要成分，所以检测结果为无。
接下来，合成(组合)图20(A-5)、图20(B-5)、图20(C-5)及图20(D-5)的各图像。图20(F-1)是对合成图像进行的平滑化处理的结果。图20(F-2)是进一步进行将图像尺寸恢复到原始图像尺寸的放大处理的结果，所述原始图像尺寸对应于在进行缩小处理之前获取到的图像的尺寸。然后，对要输出的图像，进行去除或削减如上所述确定的非必要成分(或者通过合成各个视差图像的非必要成分而获得的合成的非必要成分)的校正处理。因此，如图20(G-1)所示，能够获得非必要成分已大致消失(被去除)的各视差图像。具体而言，准备通过合成图20(A-1)、图20(B-1)、图20(C-1)及图20(D-1)的各视差图像而获得的合成图像(图20(E-1))，然后，从图20(E-1)的合成图像中减去图20(F-2)的图像(合成的非必要成分)。结果，能够生成如下的图像，该图像等同于在图2B中例示的、并且具有削减的非必要成分的拍摄图像，该拍摄图像是通过无光瞳分割的摄像而生成的。
接下来，将参照图21，来描述本实施例中的图像处理方法。图21是例示本实施例中的图像处理方法的流程图。由系统控制器210或图像处理器204，根据作为计算机程序的图像处理程序来执行图21中的各步骤。本实施例的图像处理方法与参照图13描述的第二实施例的图像处理方法的不同之处在于，增加了提取各视差图像的差分信息的最大值的步骤(步骤S31)。其他处理与第二实施例相同，因此，将省略相应的描述。
在图21中，步骤S11至S13与图13中的步骤S11至S13相同。随后，在步骤S14中，图像处理器204(非必要成分检测器204a)获得通过针对一组视差图像使用各视差图像作为基准图像而获得的差分信息。换言之，通过使用图20(A-1-1)的图像作为基准图像，而生成图20(A-2)、图20(A-3)及图20(A-4)的差分图像。同样，图像处理器204通过使用图20(B-1-1)的图像作为基准图像，生成图(B-2)、图20(B-3)及图20(B-4)的差分图像。图像处理器204还通过使用图20(C-1-1)的图像作为基准图像，生成图20(C-2)、图20(C-3)及图20(C-4)的差分图像。此外，图像处理器204通过使用图20(D-1-1)的图像作为基准图像，生成图20(D-2)、图20(D-3)及图20(D-4)的差分图像。
当到达摄像面的非必要光穿过光学系统中的彼此不同的光瞳区域时，如图20(A-1)及图20(C-1)所示，对于各视差图像，非必要成分的出现位置是不同的。因此，在简单的视差图像中，非必要成分的差分值表示正的和负的值。例如，在本实施例中，当从用于生成图20(C-2)的差分图像的图20(C-1-1)的图像中减去图20(A-1-1)的图像时，包含在图20(A-1-1)的图像中的非必要成分表示负值。在本实施例中，为了简化下面描述的非必要成分削减处理，进行将所述负值截断为零的处理。因此，仅包含在图20(C-1-1)的图像中的非必要成分被检测为正值。通过对各差分图像进行类似的处理，仅包含在各基准图像中的非必要成分被检测为正值。另一方面，如果如图20(D-1-1)所示未生成非必要成分，则在差分信息中无法检测到非必要成分。
随后，在步骤S31中，在通过使用在步骤S14中获得的各视差图像作为基准图像而获得的差分图像中，图像处理器204(非必要成分检测器204a)提取各像素位置处的差分信息的最大值。在下文中，将描述提取多个差分信息间的最大值的效果。如在本实施例中所述，对于图20(A-1)和图20(B-1)的图像，非必要成分的一部分在同一位置彼此交叠。因此，存在如下的可能性，即依据光学系统或者高亮度光源的位置，可能在视差图像中的同一位置出现非必要成分。在这种情况下，当计算这两个图像之间的差分时，非必要成分表示零值。换言之，存在仅通过两个图像之间的差分信息无法检测到的非必要成分。在本实施例中，通过获取视差图像的多个差分信息，如果在例如图20(C-1)所示的至少一个视差图像中的、与基准图像中的位置不同的位置，出现非必要成分，则如图20(B-3)所示，能够有效地检测到该非必要成分。因此，通过获取多个差分信息以提取所述多个差分信息间的最大差分信息，如果存在非必要成分的位置在视差图像之间不同的至少一个图像，则能够明确地检测到非必要成分的位置和量。
随后，在步骤S32中，图像处理器204(非必要成分检测器204a)将在步骤S31中获得的最大差分图像中保留的成分，确定为非必要成分(合成的非必要成分)。通过将图像合成为如图20(F-1)所示的一个图像(对应于非必要成分(合成的非必要成分))的插入步骤，能够对一个合成图像进行后面的阶段的处理。因此，能够进一步减轻处理负荷，因此，这是更佳的优选方案。
随后，在步骤S21中，图像处理器204(降噪器204e)对在步骤S31中获得的最大差分图像或者合成图像(对应于图20(F-1)的图像)，进行平滑化处理。平滑化处理与第二实施例相同，因此，将省略相应的描述。
随后，在步骤S16中，图像处理器204(放大处理器204c)进行将缩小的图像尺寸恢复到原始图像尺寸的放大处理，所述原始图像尺寸对应于在进行缩小处理之前获得的尺寸。在放大处理期间，可以简单地通过按比例放大来进行放大，并且优选进行诸如双线性方法及双三次方法等的插值处理。结果，能够避免出现剧烈的阶跃边缘，并且即使当在后面的步骤削减非必要成分时，也能够维持高质量，因此这是优选的。
随后，在步骤S33中，图像处理器204(非必要成分削减器204d)进行从要输出的图像中削减(或去除)非必要成分(通过合成多个视差图像而获得的合成的非必要成分)的校正处理。然后，如图20(A-5)、图20(B-5)、图20(C-5)及图20(D-5)所示，生成通过将像素G1、G2、G3及G4中的各个视为一个像素而获得的各视差图像，作为要输出的图像。在这种情况下，通过在步骤S14将负值截断为零，仅包含在各视差图像中的非必要成分被检测为正值。因此，通过简单地从各视差图像中减去各差分图像，能够去除非必要成分。在本实施例中，例如，这对应于从图20(A-1)的视差图像中减去图20(A-5)的最大差分图像。然而，在这种情况下，有必要通过从图20(B-1)的视差图像等中减去图20(B-5)的最大差分图像，来进行4次差分计算。因此，优选地，首先准备通过合成图20(A-1)、图20(B-1)、图20(C-1)及图20(D-1)的图像而获得的图20(E-1)的合成图像，然后，从如上所述的图20(E-1)的合成图像中，减去通过合成图20(A-5)、图20(B-5)、图20(C-5)及图20(D-5)的图像而获得的图20(F-1)的图像(合成的非必要成分)。通过准备图20(F-1)的图像，能够仅对图20(F-1)的一个图像进行平滑化处理及放大处理，因此，能够减轻处理负荷。
最后，在步骤S18中，图像处理器204生成输出图像。然后，系统控制器210将如图20(G-1)所示已去除(削减)非必要成分的输出图像，存储在图像记录介质209中，或者显示在显示单元205上。也可以通过合成非必要成分已被去除的各视差图像，来输出等同于在图2B中所示的拍摄图像的图像，该拍摄图像包含削减的非必要成分，并且是通过无光瞳分割的摄像而生成的。作为本实施例的变形例，也可以应用在第一及第二实施例中的各个中描述的变形例。
根据本实施例，当由基于通过多次摄像而获得的多个视差图像的差分信息、来确定由非必要光(重影)形成的非必要成分时，能够减小图像处理中的计算负荷量。此外，通过在缩小处理之外又应用平滑化处理，即使当确定的非必要成分被削减或去除时，也能够维持高的图像质量。[第四实施例]
接下来，将描述本发明的第四实施例。在本实施例中，摄像装置的基本结构与参照图12描述的第二实施例的摄像装置200a相同，因此，将省略相应的描述。摄像系统中的摄像元件的光接收部与第三实施例中相同，因此，将省略相应的描述。光学系统的具体结构与参照图6A及图6B描述的第一实施例中的光学系统201相同，因此，将省略相应的描述。入射于孔径光阑STP和像素G1、G2、G3及G4的光束穿过区域P1、P2、P3及P4(光瞳区域)，所述区域P1、P2、P3及P4之间的关系与第三实施例相同，因此，将省略相应的描述。
接下来，参照图22，来描述如下的方法，即在通过使用摄像装置200a进行摄像而生成的拍摄图像中，确定作为通过非必要光的光电转换而显现的图像成分的非必要成分。图22是例示本实施例中的图像处理方法的过程的图。
图22(A-1)、图22(B-1)、图22(C-1)及图22(D-1)例示了作为像素组G1、G2、G3及G4的光电转换的结果而获得的一组视差图像，在所述像素组G1、G2、G3及G4中，分别接收到穿过光瞳区域P1、P2、P3及P4的光束。该组视差图像包含被示意性地例示为黑色方块的非必要成分GST，并且图22(B-1)和图22(C-1)的非必要成分GST的一部分(在左上部)在同一位置交叠。此外，图22(A-1)和图22(D-1)中的非必要成分GST的一部分(在左上部)在同一位置交叠。另一方面，在图22(A-1)与图22(B-1)之间，非必要成分的全部位置均彼此不同。图22(A-1-1)、图22(B-1-1)、图22(C-1-1)及图22(D-1-1)是对各个视差图像进行的缩小处理的结果。
图22(A-2)是通过如下方式获得的差分信息的图像，即针对一组视差图像，从作为基准图像的图22(A-1-1)的图像中减去图22(B-1-1)的图像。该图像包含被摄体的视差成分和上述的非必要成分，作为差分信息。虽然通过差分计算，在图22(B-1-1)的图像中包含的非必要成分被计算为负值，但是为了简化在后面的阶段的非必要成分削减处理，在图22(A-2)的图像中截断了负值。对于所有其他的差分图像均是如此。因此，图22(A-2)的差分图像仅表示包含在图22(A-1-1)的图像中的非必要成分。
图22(A-3)是如下的差分图像，该差分图像是通过如下方式获得的，即针对一组视差图像，从作为基准图像的图22(A-1-1)的图像中减去图22(C-1-1)的图像。图22(A-4)是通过如下方式获得的差分图像，即针对一组视差图像，从作为基准图像的图22(A-1-1)的图像中减去图22(D-1-1)的图像。该图像包含被摄体的视差成分和上述的非必要成分，作为差分信息。如上所述，在图22(A-1-1)与图22(D-1-1)的图像之间，非必要成分的一部分(在左上部)在同一位置彼此交叠，因此，在差分信息中，未检测到左上部的非必要成分。因此，在差分图像中未显现在同一位置生成的非必要成分。
图22(A-5)是通过如下方式获得的信息(最小差分信息或最小差分图像)，即在作为被获取为二维数据的差分信息的图22(A-2)、图22(A-3)及图22(A-4)的差分图像中，提取各像素位置处的差分信息之间的最小值。在本实施例中，该图像信息具有与图22(A-4)的图像相等的值，并且该图像信息对应于包含在图22(A-1-1)的图像中的非必要成分的一部分的位置和量。
同样，图22(B-2)是通过如下方式获得的差分图像，即针对一组视差图像，从作为基准图像的图22(B-1-1)的图像中减去图22(A-1-1)的图像。图22(B-3)是通过如下方式获得的差分图像，即针对一组视差图像，从作为基准图像的图22(B-1-1)的图像中减去图22(C-1-1)的图像。图22(B-4)是通过如下方式获得的差分图像，即针对一组视差图像，从作为基准图像的图22(B-1-1)的图像中减去图22(D-1-1)的图像。图22(B-5)是通过如下方式获得的最小差分信息，即在作为被获取为二维数据的差分信息的图22(B-2)、图22(B-3)及图22(B-4)的差分图像中，提取各像素位置处的差分信息的最小值。在本实施例中，该图像信息具有与图22(B-3)的图像中相等的值，并且该图像信息包括在图22(B-1-1)的图像中包含的非必要成分的一部分的位置和量。
同样，图22(C-2)是通过如下方式获得的差分图像，即针对一组视差图像，从作为基准图像的图22(C-1-1)的图像中减去图22(A-1-1)的图像。图22(C-3)是通过如下方式获得的差分图像，即针对一组视差图像，从作为基准图像的图22(C-1-1)的图像中减去图22(B-1-1)的图像。图22(C-4)是通过如下方式获得的差分图像，即针对一组视差图像，从作为基准图像的图22(C-1-1)的图像中减去图22(D-1-1)的图像。图22(C-5)是通过如下方式获得的最小差分信息，即在作为被获取为二维数据的差分信息的图22(C-2)、图22(C-3)及图22(C-4)的差分图像中，提取各像素位置处的差分信息的最小值。在本实施例中，该图像信息具有与图22(C-3)的图像中的值相等的值，并且未检测到包含在图22(C-1-1)的图像中的非必要成分的位置和量。
同样，图22(D-2)是通过如下方式获得的差分图像，即针对一组视差图像，从作为基准图像的图22(D-1-1)的图像中减去图22(A-1-1)的图像。图22(D-3)是通过如下方式获得的差分图像，即针对一组视差图像，从作为基准图像的图22(D-1-1)的图像中减去图22(B-1-1)的图像。图22(D-4)是通过如下方式获得的差分图像，即针对一组视差图像，从作为基准图像的图22(D-1-1)的图像中减去图22(C-1-1)的图像。图22(D-5)是通过如下方式获得的最小差分信息，即在作为被获取为二维数据的差分信息的图22(D-2)、图22(D-3)及图22(D-4)的差分图像中，提取各像素位置处的差分信息的最小值。在本实施例中，该图像信息具有与图22(D-2)的图像中的值相等的值，并且未检测到包含在图22(D-1-1)的图像中的非必要成分的位置和量。
接下来，合成图22(A-5)、图22(B-5)、图22(C-5)及图22(D-5)的各图像。图22(F-1)是对合成图像进行的平滑化处理的结果。图22(F-2)是将图像尺寸恢复到原始图像尺寸的放大处理的结果，所述原始图像尺寸对应于在进行缩小处理之前获取到的图像的尺寸。然后，对要输出的图像，进行去除或削减如上所述确定的非必要成分的校正处理。因此，如图22(G-1)所示，能够获得非必要成分大致消失(被去除)的各视差图像。具体而言，准备通过合成图22(A-1)、图22(B-1)、图22(C-1)及图22(D-1)的各视差图像而获得的图像(图22(E-1))，然后，从图22(E-1)的图像中减去图22(F-2)的图像。结果，能够获得除交叠区域中以外的非必要成分已被削减的图像。
接下来，将参照图23，来描述本实施例中的图像处理方法。图23是例示本实施例中的图像处理方法的流程图。由系统控制器210或图像处理器204，根据作为计算机程序的图像处理程序来执行图23中的各步骤。与参照图21描述的第三实施例的图像处理方法不同，在本实施例的图像处理方法中，以提取各视差图像的差分信息的最小值的步骤(步骤S41)，来替代提取各视差图像的差分信息的最大值的步骤(步骤S31)。其他处理与第三实施例相同，因此，将省略相应的描述。
在步骤S41中，在通过使用在步骤S14中获得的各视差图像作为基准图像而获得的差分图像中，图像处理器204(非必要成分检测器204a)提取各像素位置处的差分信息的最小值。在下文中，将描述提取多个差分信息间的最小值的效果。如在本实施例中所述，对于图22(B-1)和图22(C-1)的图像，或者图22(A-1)和图22(D-1)的图像，非必要成分的一部分在同一位置彼此交叠。因此，依据光学系统或者高亮度光源的位置，可能在视差图像中的同一位置出现非必要成分。在这种情况下，当计算这两个图像之间的差分时，非必要成分表示零值。
当以与第三实施例不同的方式来获取差分信息的最小值时，虽然如图22所示在全部视差图像之间非必要成分位于不同位置，但是无法检测到交叠的非必要成分。然而，这对应于仅检测在多个视差图像中的一个中出现的成分，而且这对应于针对在拍摄近距离被摄体时出现的被摄体的视差成分，使针对3个视差图像的被摄体的视差成分与非必要成分分离。换言之，当对拍摄了近距离被摄体的图像进行非必要成分削减处理时，能够大大降低被摄体的视差图像的影响。因此，通过获取多个差分信息以提取所述多个差分信息中的最小差分信息，能够检测除交叠的非必要成分以外的非必要成分，而且能够同时分离针对3个视差图像的被摄体的视差成分。作为本实施例的变形例，也可以应用在第一及第二实施例中的各个中描述的变形例。
根据本实施例，当由基于通过多次摄像而获得的多个视差图像的差分信息、来确定由非必要光(重影)形成的非必要成分时，能够减小图像处理中的计算负荷量。此外，通过在缩小处理之外又应用平滑化处理，即使当确定的非必要成分被削减或去除时，也能够维持高的图像质量。
[第五实施例]
接下来，将描述本发明的第五实施例。Ren.Ng et al.,"Light FieldPhotography with a Hand-held Plenoptic Camera"(Stanford Tech Report CTSR2005-2)(Ren.Ng等，“利用手持式全光照相机的光场摄影”(斯坦福技术报告CTSR 2005-2))公开了一种“全光照相机”(plenoptic camera)。“全光照相机”能够通过使用称为“光场摄影”的技术，获取来自物体的光束的位置及角度的信息。
图24例示了本实施例中的摄像装置的摄像系统，并且例示了“全光照相机”的摄像系统的结构。光学系统301(摄像光学系统)包括主透镜301b(摄像透镜)和孔径光阑301a。在光学系统301的成像位置，布置了微透镜阵列301c，并且在微透镜301c的后方(更靠近图像)，布置了摄像元件302。微透镜阵列301c具有作为分离器(分离构件)的功能，所述分离器防止如下的两个光束在摄像元件302上混合，其中一个光束穿过例如被摄体空间中的点A，另一光束穿过点A附近的点。图24例示了来自点A的顶束、主光束及底束被彼此不同的像素接收。因此，穿过点A的光束能够依据自身的角度而被分别获取。
Todor Georgive et al.,"Full Resolution Light Field Rendering"(AdobeTechnical Report January 2008)(Todor Georgive等，“全分辨率光场渲染”(Adobe技术报告2008年1月))公开了图25及图26中所示的摄像系统的结构，所述结构获取光束的位置及角度的信息(光场)。
利用图25中所示的摄像系统的结构，微透镜阵列301c被布置在主透镜301b的成像位置的后方(更靠近图像)，以使穿过点A的光束在摄像元件302上重新成像，从而依据光束的角度来分别获取光束。利用图26中所示的摄像系统的结构，微透镜阵列301c被布置在主透镜301b的成像位置的前方(更靠近物体)，以使穿过点A的光束在摄像元件302上成像，从而依据光束的角度来分别获取光束。在两个结构中，穿过光学系统301的光瞳的光束均依据在光瞳中穿过的区域(穿过的位置)而被分离。在这些结构中，摄像元件302可以采用包括经由滤色器CF而配对的一个微透镜ML和一个光接收部G1的传统摄像元件，如图27所示。
图24中所示的光学系统301产生如图28A所示的图像。图28B是图28A中阵列的圆圈中的一个的放大图。一个圆圈表示孔径光阑STP，并且该圆圈的内部被多个像素Pj(j＝1,2,3,...)分割。该结构使得能够获取一个圆圈内的光瞳的强度分布。使用图25及图26中所示的光学系统301获得图29中所示的视差图像。通过在图28A中所示的图像中重新排列并重新构造各圆圈(孔径光阑STP)中的像素Pj，可以获得如图29所示的视差图像。
如在第一至第四实施例中所描述的，诸如重影等的非必要光以跨越光瞳的偏倚分布，而穿过光瞳。因此，在本实施例中的、通过光瞳的分割的区域来进行摄像的摄像装置中，可以采用第一至第四实施例中描述的图像处理方法，来确定非必要成分，并进一步削减这些非必要成分。
在另一示例中，如图30所示，通过多个照相机拍摄同一被摄体的图像来获得视差图像。因此，这些照相机可以采用第一至第四实施例中描述的图像处理方法。C1、C2及C3表示分开的摄像装置，但是C1、C2及C3也可以被视为单个摄像装置，该单个摄像装置通过大光瞳的3个分割的区域来进行摄像。作为另一选择，如图31所示，可以通过为一个摄像装置配设多个光学系统OSj(j＝1,2,3,...)，来实现光瞳分割。
[第六实施例]
接下来，将描述本发明的第六实施例。上述的各实施例描述了如下的情况，即在图像的整个区域上确定和去除非必要成分，但在许多情况下，非必要成分出现在图像的一部分中，如图2A及图2B所示。由于对用户而言，易于确定图像中的非必要成分区域，因此，可以由用户指定要进行削减处理的区域，由此进一步减轻各实施例中的处理负荷。通过限定区域，还能够减少在上述的近距离被摄体的摄影中生成的被摄体视差成分的影响。
图32A及图32B是例示选择非必要成分削减处理区域的示例的图。图32A例示了当用户在图像中选择要去除非必要成分的区域时的概念图。图32B例示了已对由实线表示的选定区域中的非必要成分进行了削减处理的输出图像。即使当区域的范围被限定时，也可以通过使用与第一至第四实施例中的各个类似的图像处理方法，基于视差图像来确定非必要成分，此外，能够削减非必要成分。
当用户指定如在本实施例中所述的区域时，或者当通过已知的方法获知非必要成分的区域时，可以如上所述由缩小处理器204b依据非必要成分的区域的尺寸来确定缩小率，以进行缩小处理。换言之，当非必要成分的尺寸大时，减小缩小率。另一方面，当非必要成分的区域小时，优选调整缩小率，以避免由于缩小处理而导致小于或等于一个像素的区域消失。通过在能够保持非必要成分削减的效果的范围内，将缩小率设置为增大，能够进一步减轻处理负荷。
各实施例描述了去除或削减非必要成分的情况，但是也可以通过使用与确定的非必要成分相关的信息(非必要成分信息)，来进行用于附加其他非必要成分的校正处理。例如，对于图29中所示的多个视差图像中的各个，存在包含重影(非必要成分)的图像和不包含重影的图像。如果在重构的图像中要使重影保留，则可以将确定的重影附加至各视差图像。也可以向重构的图像附加重影。
各实施例描述了执行各实施例的图像处理方法的(配设有图像处理装置的)摄像装置，但是也可以由安装在个人计算机中的图像处理程序来执行各实施例中的图像处理方法。在这种情况下，个人计算机对应于各实施例的图像处理装置。个人计算机接受(获取)由摄像装置生成的、并且要经历图像处理的图像(输入图像)，并且输出通过由图像处理程序进行图像处理而获得的图像。
如上所述，图像处理装置(图像处理器204)包括非必要成分确定器(非必要成分检测器204a)、缩小处理器204b、放大处理器204c、以及非必要成分削减器204d。非必要成分确定器基于与多个视差图像相关的差分信息，来确定视差图像的非必要成分信息(即，与非必要成分相关的信息)。缩小处理器对视差图像、差分信息和非必要成分信息中的至少一者，进行缩小处理(即，减少信息量)。放大处理器对非必要成分信息进行放大处理(即，增加信息量)。非必要成分削减器基于非必要成分信息，从视差图像或者通过合成多个视差图像而获得的合成图像中削减非必要成分(或者通过合成各个视差图像的非必要成分而获得的合成的非必要成分)。
优选地，缩小处理器对多个视差图像中的各个进行缩小处理。非必要成分确定器基于与缩小后的多个视差图像相关的差分信息，来确定非必要成分信息。然后，放大处理器进行放大处理，以将非必要成分信息的尺寸，恢复到在进行缩小处理之前获取到的尺寸(即，原始尺寸)。优选地，缩小处理器对差分信息进行缩小处理。非必要成分确定器基于缩小后的差分信息，来确定非必要成分信息。然后，放大处理器进行放大处理，以将非必要成分信息的尺寸恢复到在进行缩小处理之前获取到的尺寸(即，原始尺寸)。优选地，缩小处理器对基于多个视差图像而确定的非必要成分信息，进行缩小处理。然后，放大处理器进行放大处理，以将缩小后的非必要成分信息的尺寸，恢复到在进行缩小处理之前获取到的尺寸(即，原始尺寸)。
优选地，图像处理装置包括降噪器204e，该降噪器204e进行降低噪声的平滑化处理。更优选地，降噪器在缩小处理器进行缩小处理之后，进行平滑化处理。更优选地，降噪器对视差图像、差分信息和非必要成分信息中的至少一者，进行平滑化处理。优选地，降噪器在缩小处理器进行缩小处理之前，依据缩小处理的缩小率来进行平滑化处理。
优选地，缩小处理器通过使用基于非必要成分信息(例如，非必要成分的尺寸)而确定的缩小率，来进行缩小处理。优选地，非必要成分削减器进行多个视差图像的对准。优选地，缩小处理器通过像素的抽取处理(在像素间进行的抽取处理)、像素值的平均化处理(多个周边像素的像素值的平均化)和像素相加处理(通过使用一定的权重将多个像素的像素值组合为一个像素值的处理)中的至少一者，来进行缩小处理。优选地，非必要成分确定器基于各位置处的差分信息的最大值或最小值，来确定非必要成分信息。
优选地，通过将多个视差图像中的各个设置为基准图像，并通过计算基准图像与除基准图像之外的视差图像之间的差分，来获得差分信息。优选地，通过计算两个视差图像之间的差分的绝对值，来获得差分信息。更优选地，非必要成分确定器获取多个差分信息作为截断了不大于预定阈值的值的二维数据，并提取二维数据的各位置处的多个差分信息的最大值或最小值。由此，非必要成分确定器确定基准图像中的非必要成分的位置和量。优选地，非必要成分确定器设置要确定非必要成分信息的区域，并在该区域的范围内确定非必要成分信息。优选地，多个视差图像是基于穿过光学系统的光瞳中的彼此不同的区域的光束而生成的图像。
[其他实施例]
另外，可以通过读出并执行记录在存储介质(也可更完整地称为“非临时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多程序)以执行上述实施例中的一个或更多的功能、并且/或者包括用于执行上述实施例中的一个或更多的功能的一个或更多电路(例如，专用集成电路(ASIC))的系统或装置的计算机，来实现本发明的实施例，并且可以利用通过由所述系统或装置的所述计算机例如读出并执行来自所述存储介质的所述计算机可执行指令以执行上述实施例中的一个或更多的功能、并且/或者控制所述一个或更多电路执行上述实施例中的一个或更多的功能的方法，来实现本发明的实施例。所述计算机可以包括一个或更多处理器(例如，中央处理单元(CPU)，微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或存储介质被提供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)TM)、闪存设备以及存储卡等中的一者或更多。
根据各实施例，能够提供能够有效地确定包含在拍摄图像中的非必要成分而无需进行多次摄像以减轻处理负荷并维持高的图像质量的图像处理装置、摄像装置及图像处理方法。
虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限定于所公开的示例性实施例。所附权利要求的范围应当被赋予最宽的解释，以便涵盖所有这类修改以及等同的结构和功能。

Claims (22)

1.一种图像处理装置，该图像处理装置包括：
非必要成分确定器，其被构造为基于与多个视差图像相关的差分信息，来确定视差图像的非必要成分信息；
缩小处理器，其被构造为对所述视差图像、所述差分信息和所述非必要成分信息中的至少一者，进行缩小处理；
放大处理器，其被构造为对所述非必要成分信息进行放大处理；以及
非必要成分削减器，其被构造为基于所述非必要成分信息，从所述视差图像或者通过合成所述多个视差图像而获得的合成图像中削减非必要成分，
其特征在于：
所述缩小处理器被构造为对所述多个视差图像中的各个进行所述缩小处理，
所述非必要成分确定器被构造为基于与缩小后的所述多个视差图像相关的差分信息，来确定所述非必要成分信息，并且
所述放大处理器被构造为进行所述放大处理，以将所述非必要成分信息的尺寸恢复到在进行所述缩小处理之前获取到的尺寸。
2.一种图像处理装置，该图像处理装置包括：
非必要成分确定器，其被构造为基于与多个视差图像相关的差分信息，来确定视差图像的非必要成分信息；
缩小处理器，其被构造为对所述视差图像、所述差分信息和所述非必要成分信息中的至少一者，进行缩小处理；
放大处理器，其被构造为对所述非必要成分信息进行放大处理；以及
非必要成分削减器，其被构造为基于所述非必要成分信息，从所述视差图像或者通过合成所述多个视差图像而获得的合成图像中削减非必要成分，
其特征在于：
所述缩小处理器被构造为对所述差分信息进行所述缩小处理，
所述非必要成分确定器被构造为基于所缩小后的差分信息，来确定所述非必要成分信息，并且
所述放大处理器被构造为进行所述放大处理，以将所述非必要成分信息的尺寸恢复到在进行所述缩小处理之前获取到的尺寸。
3.根据权利要求1所述的图像处理装置，其特征在于：
所述缩小处理器被构造为对基于所述多个视差图像而确定的所述非必要成分信息，进行所述缩小处理，并且
所述放大处理器被构造为进行所述放大处理，以将所缩小后的非必要成分信息的尺寸恢复到在进行所述缩小处理之前获取到的尺寸。
4.根据权利要求1所述的图像处理装置，其特征在于，所述图像处理装置还包括被构造为进行降低噪声的平滑化处理的降噪器。
5.根据权利要求4所述的图像处理装置，其特征在于，所述降噪器被构造为在所述缩小处理器进行所述缩小处理之后，进行所述平滑化处理。
6.根据权利要求4所述的图像处理装置，其特征在于，所述降噪器被构造为对所述视差图像、所述差分信息和所述非必要成分信息中的至少一者，进行所述平滑化处理。
7.根据权利要求4所述的图像处理装置，其特征在于，所述降噪器被构造为在所述缩小处理器进行所述缩小处理之前，依据所述缩小处理的缩小率进行所述平滑化处理。
8.根据权利要求1所述的图像处理装置，其特征在于，所述缩小处理器被构造为通过使用基于所述非必要成分信息而确定的缩小率，来进行所述缩小处理。
9.根据权利要求1所述的图像处理装置，其特征在于，所述非必要成分削减器被构造为进行所述多个视差图像的对准。
10.根据权利要求1所述的图像处理装置，其特征在于，所述缩小处理器被构造为通过像素的抽取处理、像素值的平均化处理和像素相加处理中的至少一者，来进行所述缩小处理。
11.根据权利要求1所述的图像处理装置，其特征在于，所述非必要成分确定器被构造为基于在各位置处的所述差分信息的最大值或最小值，来确定所述非必要成分信息。
12.根据权利要求1所述的图像处理装置，其特征在于，通过将所述多个视差图像中的各个设置为基准图像，并通过计算该基准图像与除该基准图像之外的视差图像之间的差分，来获得所述差分信息。
13.根据权利要求1所述的图像处理装置，其特征在于，通过计算两个视差图像之间的差分的绝对值，来获得所述差分信息。
14.根据权利要求12所述的图像处理装置，其特征在于，所述非必要成分确定器被构造为获取所述多个差分信息作为截断了不大于预定阈值的值的二维数据，并提取在该二维数据的各位置处的所述多个差分信息的最大值或最小值，以确定所述基准图像中的非必要成分的位置和量。
15.根据权利要求1所述的图像处理装置，其特征在于，所述非必要成分确定器被构造为设置要确定所述非必要成分信息的区域，并在该区域的范围内确定所述非必要成分信息。
16.根据权利要求1至15中任一项所述的图像处理装置，其特征在于，所述多个视差图像是基于穿过光学系统的光瞳中彼此不同的区域的光束而生成的图像。
17.一种摄像装置，该摄像装置包括：
摄像设备，其被构造为对经由光学系统而形成的光学像进行光电转换，以输出多个视差图像；
非必要成分确定器，其被构造为基于与所述多个视差图像相关的差分信息，来确定视差图像的非必要成分信息；
缩小处理器，其被构造为对所述视差图像、所述差分信息和所述非必要成分信息中的至少一者，进行缩小处理；
放大处理器，其被构造为对所述非必要成分信息进行放大处理；以及
非必要成分削减器，其被构造为基于所述非必要成分信息，从所述视差图像或者通过合成所述多个视差图像而获得的合成图像中削减非必要成分，
其特征在于：
所述缩小处理器被构造为对所述多个视差图像中的各个进行所述缩小处理，
所述非必要成分确定器被构造为基于与缩小后的所述多个视差图像相关的差分信息，来确定所述非必要成分信息，并且
所述放大处理器被构造为进行所述放大处理，以将所述非必要成分信息的尺寸恢复到在进行所述缩小处理之前获取到的尺寸。
18.根据权利要求17所述的摄像装置，其特征在于：
所述多个视差图像是基于穿过所述光学系统的光瞳中彼此不同的区域的光束而生成的图像，
所述摄像设备包括共用单个微透镜的多个像素，并且
所述多个像素被构造为接收穿过所述光学系统的光瞳中彼此不同的区域的光束。
19.根据权利要求17所述的摄像装置，其特征在于，通过将穿过所述光学系统的光瞳中彼此不同的区域的光束，引导至所述摄像设备的彼此不同的像素，来生成所述多个视差图像。
20.一种图像处理方法，该图像处理方法包括以下步骤：
基于与多个视差图像相关的差分信息，来确定视差图像的非必要成分信息；
对所述视差图像、所述差分信息和所述非必要成分信息中的至少一者，进行缩小处理；
对所述非必要成分信息进行放大处理；以及
基于所述非必要成分信息，从所述视差图像或者通过合成所述多个视差图像而获得的合成图像中削减非必要成分，
其特征在于：
进行所述缩小处理的步骤对所述多个视差图像中的各个进行所述缩小处理，
确定所述非必要成分信息的步骤基于与缩小后的所述多个视差图像相关的差分信息，来确定所述非必要成分信息，并且
进行所述放大处理的步骤进行所述放大处理，以将所述非必要成分信息的尺寸恢复到在进行所述缩小处理之前获取到的尺寸。
21.一种摄像装置，该摄像装置包括：
摄像设备，其被构造为对经由光学系统而形成的光学像进行光电转换，以输出多个视差图像；
非必要成分确定器，其被构造为基于与所述多个视差图像相关的差分信息，来确定视差图像的非必要成分信息；
缩小处理器，其被构造为对所述视差图像、所述差分信息和所述非必要成分信息中的至少一者，进行缩小处理；
放大处理器，其被构造为对所述非必要成分信息进行放大处理；以及
非必要成分削减器，其被构造为基于所述非必要成分信息，从所述视差图像或者通过合成所述多个视差图像而获得的合成图像中削减非必要成分，其特征在于：
所述缩小处理器被构造为对所述差分信息进行所述缩小处理，
所述非必要成分确定器被构造为基于所缩小后的差分信息，来确定所述非必要成分信息，并且
所述放大处理器被构造为进行所述放大处理，以将所述非必要成分信息的尺寸恢复到在进行所述缩小处理之前获取到的尺寸。
22.一种图像处理方法，该图像处理方法包括以下步骤：
基于与多个视差图像相关的差分信息，来确定视差图像的非必要成分信息；
对所述视差图像、所述差分信息和所述非必要成分信息中的至少一者，进行缩小处理；
对所述非必要成分信息进行放大处理；以及
基于所述非必要成分信息，从所述视差图像或者通过合成所述多个视差图像而获得的合成图像中削减非必要成分，
其特征在于：
进行所述缩小处理的步骤对所述差分信息进行所述缩小处理，
确定所述非必要成分信息的步骤基于所缩小后的差分信息，来确定所述非必要成分信息，并且
进行所述放大处理的步骤进行所述放大处理，以将所述非必要成分信息的尺寸恢复到在进行所述缩小处理之前获取到的尺寸。
CN201610112225.5A 2015-03-02 2016-02-29 图像处理装置、摄像装置及图像处理方法 Active CN105939439B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-039921 2015-03-02
JP2015039921A JP6516510B2 (ja) 2015-03-02 2015-03-02 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体

Publications (2)

Publication Number Publication Date
CN105939439A CN105939439A (zh) 2016-09-14
CN105939439B true CN105939439B (zh) 2019-09-06

Family

ID=56845686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610112225.5A Active CN105939439B (zh) 2015-03-02 2016-02-29 图像处理装置、摄像装置及图像处理方法

Country Status (3)

Country Link
US (1) US10097806B2 (zh)
JP (1) JP6516510B2 (zh)
CN (1) CN105939439B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10690495B2 (en) * 2016-03-14 2020-06-23 Canon Kabushiki Kaisha Ranging apparatus and moving object capable of high-accuracy ranging
EP3595288B1 (en) * 2017-03-08 2021-07-21 Sony Corporation Imaging device and imaging method
WO2019075750A1 (zh) 2017-10-20 2019-04-25 深圳市汇顶科技股份有限公司 像素传感模块及图像撷取装置
JP7146461B2 (ja) * 2018-06-06 2022-10-04 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体
WO2023042435A1 (ja) * 2021-09-16 2023-03-23 ソニーグループ株式会社 画像処理装置および方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001043070A2 (en) * 1999-12-10 2001-06-14 Miller Michael I Method and apparatus for cross modality image registration
JP3951590B2 (ja) 2000-10-27 2007-08-01 株式会社日立製作所 荷電粒子線装置
JP2003247823A (ja) * 2002-02-26 2003-09-05 Seiko Precision Inc 位相差検出方法、位相差検出装置、測距装置および撮像装置
JP2005051379A (ja) * 2003-07-31 2005-02-24 Canon Inc 画像処理装置及び画像処理方法
US7697749B2 (en) 2004-08-09 2010-04-13 Fuji Jukogyo Kabushiki Kaisha Stereo image processing device
JP2008054206A (ja) 2006-08-28 2008-03-06 Matsushita Electric Ind Co Ltd ゴースト検出装置およびその関連技術
JP5234894B2 (ja) 2007-06-28 2013-07-10 富士重工業株式会社 ステレオ画像処理装置
JP5375010B2 (ja) 2007-10-02 2013-12-25 株式会社ニコン 撮像装置
JP5183297B2 (ja) * 2008-05-19 2013-04-17 三洋電機株式会社 画像処理装置、撮像装置及び画像処理方法
JP4760973B2 (ja) * 2008-12-16 2011-08-31 カシオ計算機株式会社 撮像装置及び画像処理方法
JP5493760B2 (ja) * 2009-01-19 2014-05-14 株式会社ニコン 画像処理装置およびデジタルカメラ
US8345144B1 (en) * 2009-07-15 2013-01-01 Adobe Systems Incorporated Methods and apparatus for rich image capture with focused plenoptic cameras
US8737755B2 (en) * 2009-12-22 2014-05-27 Apple Inc. Method for creating high dynamic range image
US8411948B2 (en) * 2010-03-05 2013-04-02 Microsoft Corporation Up-sampling binary images for segmentation
JP5284306B2 (ja) * 2010-03-26 2013-09-11 富士フイルム株式会社 立体撮像装置、ゴースト像処理装置およびゴースト像処理方法
WO2012002106A1 (ja) 2010-06-30 2012-01-05 富士フイルム株式会社 立体画像表示装置、立体画像表示方法、立体画像表示プログラム及び記録媒体
JP5963422B2 (ja) 2010-12-17 2016-08-03 キヤノン株式会社 撮像装置、表示装置、コンピュータプログラムおよび立体像表示システム
WO2012127552A1 (ja) * 2011-03-23 2012-09-27 パナソニック株式会社 画像処理装置、撮像装置及び画像処理方法
US9332156B2 (en) * 2011-06-09 2016-05-03 Hewlett-Packard Development Company, L.P. Glare and shadow mitigation by fusing multiple frames
JP2013179564A (ja) 2012-02-01 2013-09-09 Canon Inc 画像処理方法、画像処理装置および撮像装置
JP5844187B2 (ja) * 2012-03-23 2016-01-13 富士フイルム株式会社 画像解析装置および方法並びにプログラム
JP6004757B2 (ja) * 2012-06-07 2016-10-12 キヤノン株式会社 画像処理装置及び画像処理方法
WO2014024500A1 (ja) * 2012-08-10 2014-02-13 株式会社ニコン 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
CN107346061B (zh) * 2012-08-21 2020-04-24 快图有限公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
US9613408B2 (en) * 2014-09-25 2017-04-04 Intel Corporation High dynamic range image composition using multiple images

Also Published As

Publication number Publication date
US10097806B2 (en) 2018-10-09
JP2016163169A (ja) 2016-09-05
JP6516510B2 (ja) 2019-05-22
US20160261842A1 (en) 2016-09-08
CN105939439A (zh) 2016-09-14

Similar Documents

Publication Publication Date Title
CN105939439B (zh) 图像处理装置、摄像装置及图像处理方法
JP6347675B2 (ja) 画像処理装置、撮像装置、画像処理方法、撮像方法及びプログラム
US10708486B2 (en) Generation of a depth-artificial image by determining an interpolated supplementary depth through interpolation based on the original depths and a detected edge
US10325356B2 (en) Image processing device, image processing method, imaging device, and recording medium for exclusively performing adjustment processing or viewpoint change processing
JP6918485B2 (ja) 画像処理装置および画像処理方法、プログラム、記憶媒体
JP5690396B2 (ja) 撮像装置およびシェーディング補正方法
CN108462830A (zh) 摄像装置及摄像装置的控制方法
JP6253380B2 (ja) 画像処理方法、画像処理装置および撮像装置
JP6972266B2 (ja) 画像処理方法、画像処理装置、および、撮像装置
CN104144284B (zh) 成像设备和成像方法
WO2012108099A1 (ja) 撮像装置および撮像方法
CN104521231A (zh) 图像处理装置、摄像装置及图像处理装置的控制程序
JP2013044806A (ja) 撮像装置
CN105007405B (zh) 图像处理方法、图像处理设备和摄像设备
JP5820985B2 (ja) 立体画像処理装置および立体画像処理方法
JP6370348B2 (ja) 画像処理装置および画像処理方法、撮像装置、プログラム、記憶媒体
JP6976754B2 (ja) 画像処理装置および画像処理方法、撮像装置、プログラム
Liang et al. Guidance network with staged learning for image enhancement
JP6762779B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
CN105939471B (zh) 图像处理装置、摄像装置以及图像处理方法
JP6497977B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2022173069A (ja) 画像処理装置及び方法、及び、撮像装置及びその制御方法、プログラム、記憶媒体
JP5854801B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2021135725A (ja) 画像処理装置及びその制御方法並びにプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant