CN105939471B - 图像处理装置、摄像装置以及图像处理方法 - Google Patents

图像处理装置、摄像装置以及图像处理方法 Download PDF

Info

Publication number
CN105939471B
CN105939471B CN201610112223.6A CN201610112223A CN105939471B CN 105939471 B CN105939471 B CN 105939471B CN 201610112223 A CN201610112223 A CN 201610112223A CN 105939471 B CN105939471 B CN 105939471B
Authority
CN
China
Prior art keywords
image
unnecessary
ingredient
unnecessary ingredient
anaglyph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610112223.6A
Other languages
English (en)
Other versions
CN105939471A (zh
Inventor
江口薰
井上智晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN105939471A publication Critical patent/CN105939471A/zh
Application granted granted Critical
Publication of CN105939471B publication Critical patent/CN105939471B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/225—Image signal generators using stereoscopic image cameras using a single 2D image sensor using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/229—Image signal generators using stereoscopic image cameras using a single 2D image sensor using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供图像处理装置、摄像装置以及图像处理方法。图像处理装置(204)包括生成关于多个视差图像的差分信息的生成器(204a)，基于所述差分信息来确定增益分布的增益分布确定器(204b)，基于所述增益分布来确定不必要成分强度的强度确定器(204c)，以及基于所述视差图像和所述不必要成分强度来生成削减了不必要成分的不必要成分削减图像的削减器(204d)。

Description

图像处理装置、摄像装置以及图像处理方法
技术领域
本发明涉及用于提高拍摄图像的质量的图像处理方法。
背景技术
在通过诸如照相机等的摄像装置拍摄图像时，入射到光学系统的光的部分，可能被透镜的表面以及保持透镜的构件反射，并作为不必要的光而到达成像面。这种不必要的光作为诸如重影和光斑等的不必要成分，出现在拍摄图像中。当在望远镜头中使用衍射光学元件以校正纵向(轴向)色差和倍率色差时，来自用于图像拍摄的视角外部的、诸如太阳等的高强度的物体的光，可能入射到衍射光学元件，在整个图像上生成不必要的光，作为不必要成分。目前，已知通过使用数字图像处理来去除不必要成分的方法。
日本特开2008-54206号公报公开了基于指示当光学系统聚焦在被摄体时的图像(聚焦图像)与当摄像光学系统失焦时的图像(散焦图像)之间的差分的差分图像，来检测任意重影的方法。然而，日本特开2008-54206号公报中公开的方法，需要多次进行图像拍摄，因而不适合用于运动被摄体的静止图像摄取以及运动图像摄取。
日本特开2011-205531号公报公开了基于通过单镜头立体摄像而拍摄的多个视差图像的比较，来检测重影的方法。日本特开2011-205531号公报中公开的方法，其通过单次图像拍摄获得多个视差图像，适用于对运动被摄体的静止图像摄取以及运动图像拍摄。
然而，在日本特开2011-205531号公报中公开的方法中，重影的光学路径从理想的光瞳分割光学路径移位，因此，在尽管辉度分布不同但在主像素和子像素两者中都出现相同的重影的情况下，无法有效地削减重影。
发明内容
本发明提供不用多次成像，而能够有效地确定拍摄图像中包含的不必要成分的强度，以从拍摄图像削减不必要成分的图像处理装置、摄像装置以及图像处理方法。
作为本发明的一个方面的图像处理装置包括：生成器，其被构造为生成关于多个视差图像的差分信息；增益分布确定器，其被构造为基于所述差分信息，确定增益分布；强度确定器，其被构造为基于所述增益分布，确定不必要成分强度；以及削减器，其被构造为基于所述视差图像和所述不必要成分强度，生成削减了不必要成分的不必要成分削减图像。
作为本发明的另一方面的摄像装置包括：摄像设备，其被构造为光电转换经由光学系统形成的光学像，以输出多个视差图像；确定器，其被构造为确定关于所述多个视差图像的差分信息；计算器，其被构造为基于所述差分信息，计算增益分布；强度确定器，其被构造为基于所述增益分布，确定不必要成分强度；以及削减器，其被构造为基于所述视差图像和所述不必要成分强度，生成削减了不必要成分的不必要成分削减图像。
作为本发明的另一方面的图像处理方法包括如下的步骤：确定关于多个视差图像的差分信息；基于所述差分信息，计算增益分布；基于所述增益分布，确定不必要成分强度；以及基于所述视差图像和所述不必要成分强度，生成削减了不必要成分的不必要成分削减图像。
作为本发明的另一方面的图像处理装置包括：不必要成分确定器，其被构造为生成关于多个视差图像的差分信息，以基于所述差分信息确定不必要成分；增益分布确定器，其被构造为基于所述不必要成分，确定增益分布；以及削减器，其被构造为基于所述视差图像、所述不必要成分以及所述增益分布，生成削减了不必要成分的不必要成分削减图像。
作为本发明的另一方面的摄像装置包括：摄像设备，其被构造为光电转换经由光学系统形成的光学像，以输出多个视差图像；不必要成分确定器，其被构造为生成关于所述多个视差图像的差分信息，以基于所述差分信息确定不必要成分；增益分布确定器，其被构造为基于所述不必要成分，确定增益分布；以及削减器，其被构造为基于所述视差图像、所述不必要成分以及所述增益分布，生成削减了不必要成分的不必要成分削减图像。
作为本发明的另一方面的图像处理方法包括如下的步骤：生成关于多个视差图像的差分信息，以基于所述差分信息确定不必要成分；基于所述不必要成分，确定增益分布；以及基于所述视差图像、所述不必要成分以及所述增益分布，生成削减了不必要成分的不必要成分削减图像。
通过以下参照附图对示例性实施例的描述，本发明的其他特征和方面将变得清楚。
附图说明
图1是例示实施例1和实施例2的各个中的图像处理方法的过程的图。
图2是通过实施例1和实施例2的各个中的图像处理方法获得的示例性输出图像。
图3是实施例1和实施例2的各个中的摄像系统中的摄像元件的光接收部与光学系统的光瞳的关系图。
图4是实施例1和实施例2的各个中的摄像系统的示意图。
图5是各个实施例中的摄像装置的框图。
图6A至图6C是光学系统各个实施例的构造以及在光学系统中发生不必要的光的说明图的图。
图7是不必要的光经过实施例1和实施例2的各个中的光学系统的孔径光阑的说明图。
图8是通过实施例1和实施例2的各个中的图像处理方法获得的示例性输出图像。
图9是通过实施例1和实施例2的各个中的图像处理方法获得的示例性输出图像。
图10是例示实施例1中的图像处理方法的流程图。
图11是例示实施例2和实施例3的各个中的图像处理方法的流程图。
图12是例示实施例2中的削减率分布的图。
图13是例示实施例3中的摄像元件的图。
图14是不必要的光经过实施例3中的光学系统的孔径光阑的说明图。
图15是例示实施例3中的图像处理方法的过程的图。
图16是例示实施例3中的图像处理方法的过程的图。
图17是例示实施例3中的削减率分布的图。
图18是通过实施例3中的图像处理方法获得的示例性输出图像。
图19是例示实施例4中的摄像系统的图。
图20是例示实施例4中的摄像系统的图。
图21是例示实施例4中的摄像系统的图。
图22是例示传统的摄像元件的图。
图23A和图23B是例示通过图19中的摄像系统获得的图像的图。
图24是例示通过图20和图21的各个中的摄像系统获得的图像的图。
图25是例示实施例4中的摄像装置的示例的图。
图26是例示实施例4中的摄像装置的示例的图。
具体实施方式
下面将参照附图描述本发明的示例性实施例。
在各个实施例中，能够生成多个视差图像的摄像装置包括摄像系统，该摄像系统将经过光学系统(摄像光学系统)的光瞳的互不相同的区域的多个光束，引导到摄像元件的互不相同的并进行光电转换的光接收部(像素)。
[实施例1]
首先，将描述本发明的实施例1。图3例示了该实施例中的摄像系统中的摄像元件的光接收部与光学系统的光瞳之间的关系。在图3中，符号ML表示微透镜，符号CF表示滤色器。符号EXP表示光学系统的出射光瞳(光瞳)，符号P1和P2表示出射光瞳EXP的区域。符号G1和G2表示像素(光接收部)，一个像素G1和一个像素G2成为一对(像素G1和G2被设置为共享单个微透镜ML)。摄像元件包括多对(像素对)像素G1和G2的阵列。成对的像素G1和G2经由共享的(即为各个像素对提供的)微透镜ML，与出射光瞳EXP具有共轭关系。在各个实施例中，排列在摄像元件中的像素G1和G2还被分别称为像素组G1和G2。
图4是该实施例中的摄像系统的示意图，该摄像系统被假设为具有如下的构造：代替图3中例示的微透镜ML，在出射光瞳EXP的位置处配设有薄透镜。像素G1接收经过出射光瞳EXP的区域P1的光束。像素G2接收经过出射光瞳EXP的区域P2的光束。符号OSP表示进行摄像(成像或图像拍摄)的物点。物点OSP上不必须具有物体。经过物点OSP的光束，依据光束所经过的光瞳(出射光瞳EXP)中的位置(在本实施例中的区域P1或区域P2)，入射在像素G1和像素G2中的一者上。经光瞳的互不相同的区域的光束的行进，与入射光以其角度(视差)从物点OSP的分离相对应。换言之，针对与像素G1和G2相对应的各个微透镜ML，基于来自像素G1的输出信号的图像和基于来自像素G2的输出信号的图像，被生成为彼此具有视差的多个(在该示例中，一对)视差图像。之后，由互不相同的光接收部(像素)对经过光瞳的互不相同的区域的光束的接收，可以被称为光瞳分割。
当共轭关系不完全由于例如图3和图4中例示的出射光瞳EXP的位置移位而保持时，或当区域P1和区域P2部分地彼此交叠时，所获得的多个图像仍被视为该实施例中的视差图像。构成图像的最小元素被称为像素(像素信号)，其有别于摄像元件上的像素，并且各个像素表示根据它的数字值的光强度和颜色。各个像素的值被称为像素值。像素值等于当图像为单色图像时的辉度值，并且为简单起见，本发明中的各实施例将描述单色图像。因此，在各实施例中，像素值与辉度值具有相同的含义。当图像为RGB彩色图像时，能够针对像素值的各个颜色进行相同的计算。在以下实施例的各个中也是如此。
接下来，参照图5，将描述执行该实施例中的图像处理方法的摄像装置。图5是例示本实施例中的摄像装置200的构造的框图。光学系统201(摄像光学系统)包括孔径光阑201a和对焦透镜201b，并且使来自被摄体(未示出)的光成像(会聚)在摄像元件202上。摄像元件202包括诸如CCD传感器和CMOS传感器等的光电转换元件，并且如参照图3和图4所述，接收经过光瞳的互不相同的区域、经过与各区域相对应的像素(光接收部)的光束(进行光瞳分割)。以这种方式，摄像元件202对经由光学系统201形成的被摄体像(光学像)进行光电转换，并输出图像信号(模拟电信号)，作为多个视差图像。A/D转换器203将从摄像元件202输出的模拟电信号转换成数字信号，然后将这些数字信号输出到图像处理器204。
图像处理器204对数字信号进行一般的图像处理，并且还进行不必要的光(不必要成分)的确定处理，以及削减或去除不必要的光的校正处理。在本实施例中，图像处理器204对应于并入摄像装置200的图像处理装置。图像处理器204包括不必要成分检测器204a(生成器)、增益分布获取器204b(增益分布确定器)、不必要成分强度确定器204c(强度确定器)以及不必要成分削减器204d(削减器)。
不必要成分检测器204a生成(获取)视差图像，并且基于视差图像，检测(确定)不必要成分。增益分布获取器204b计算图像中的增益分布，以在随后的阶段确定不必要成分强度。不必要成分强度确定器204c基于检测到的不必要成分以及增益分布，确定要削减的不必要成分强度。不必要成分削减器204d依据不必要成分强度，从各个视差图像削减不必要成分。在该实施例中，以预先被分开成两个图像的形式，视差图像能够被输出并生成为“仅由像素组G1形成的图像”和“仅由像素组G2形成的图像”。作为选择，可以首先输出“仅由像素组G1形成的图像”和“像素组G1和G2的合成图像”，然后可以从合成图像中减去仅由像素组G1形成的图像，以计算并获得与仅由像素组G2形成的图像相对应的图像。
由图像处理器204处理的输出图像(图像数据)被存储在诸如半导体存储器和光盘等的图像记录介质209中。从图像处理器204的输出图像能够被显示在显示器单元205上。存储单元208(存储器)存储由图像处理器204进行的图像处理所需的图像处理程序和各种信息。
系统控制器210(控制器、处理器或CPU)控制摄像元件202的操作、由图像处理单元204进行的处理以及光学系统201(孔径光阑201a和对焦透镜201b)。光学系统控制器206响应于来自系统控制器210的控制指令，进行光学系统201的孔径光阑201a和对焦透镜201b的机械驱动。孔径光阑201a根据设置的孔径值(F值)控制其开口直径。对焦透镜201b使其位置由自动对焦(AF)系统和手动对焦机构(未示出)控制，以根据被摄体距离进行对焦(对焦控制)。状态检测器207响应于来自系统控制器210的控制指令，获取当前的图像拍摄条件信息。在该实施例中，光学系统201(与摄像装置200一体地)被包括为摄像装置200的部分，摄像装置200包括摄像元件202，但并不限于此。如同单镜头反光照相机，摄像系统可以包括可拆卸地附装到摄像装置主体的可交换光学系统(可交换镜头)。
图6A至图6C是光学系统201的构造图以及光学系统201中发生不必要的光的说明图。图6A具体例示了光学系统201的示例性构造。在图6A中，符号STP表示孔径光阑(对应于孔径光阑201a)，符号IMG表示成像面。图5中例示的摄像元件202布置在成像面IMG的位置处。图6B例示了如下的情况，其中，来自用“太阳”表示的、作为示例性的高辉度物体的太阳的强光入射到光学系统201上，并且在光学系统201中包括的透镜的表面处反射的光，作为不必要成分A(诸如重影或光斑等的不必要的光)到达成像面IMG。图6C例示了如下的情况，其中，强光与图6B类似地入射，在与反射不必要成分A的透镜的表面不同的表面处反射的光，作为不必要成分B(诸如重影或光斑等的不必要的光)到达成像面IMG。
图7例示了孔径光阑STP的区域P1和区域P2(光瞳区域或光瞳分割区域)，入射到图4中例示的像素G1和像素G2上的光束经过该区域P1和区域P2。可以假设孔径光阑STP对应于光学系统201的出射光瞳EXP(即，从光学系统201的像面位置看时的虚像)，但在实践中，通常情况是，孔径光阑STP与出射光瞳EXP彼此不同。虽然来自高辉度物体(太阳)的光束经过孔径光阑STP的几乎整个区域，但是要入射在像素G1和G2上的光束经过的区域被分割成区域P1和P2(光瞳区域)。在图6B和图6C中例示的示例中，来自高辉度物体的光束经过孔径光阑STP的大约在下半部分的区域，这是光束的部分经过区域P1，并且剩余的整个光束经过参照图4的区域P2的情形。经过区域P1的光束入射在像素G1上，而经过区域P2的光束入射在像素G2上。
接下来，参照图1和图2，将描述确定不必要成分，作为通过不必要的光的光电转换而出现在由摄像装置200生成的拍摄图像中的图像成分的方法。图1是例示本实施例中的图像处理方法的过程的图。图2是由本实施例中的图像处理方法获得的输出图像的示例。当通过使用图6A中例示的光学系统201拍摄图像时，发生在图6B的光学路径中的不必要成分A与发生在图6C的光学路径中的不必要成分B彼此交叠。然而，在图1和图2中，为了简化描述，不必要成分A和B被分开地例示。无论多个不必要成分是交叠的还是分开的，该实施例的思想和基本概念中的各个是相同的，并且计算增益分布的方法和削减不必要成分的方法中的各个也是相同的。
图2例示了通过“无光瞳分割的成像”生成的拍摄图像。在该拍摄图像中，为简单起见，省略了微细对象，并且作为背景(包括对象)的灰色部分和水平设置的两个方形(不必要成分A和B)出现，两个方形表示重影(具有比被摄体和背景中的各个的辉度高的辉度的不必要成分)。在现实中，被摄体在这些不必要成分的背景处是有些透明的。不必要成分对应于所拍摄被摄体上的不必要的光，因而具有比所拍摄被摄体的辉度高的辉度。因此，用比对应于背景的灰色部分高的辉度来例示。在下面描述的其它实施例中也是如此。
图1(A-1)和图1(B-1)例示了作为由像素组G1和G2进行的经过区域P1和P2(光瞳区域)的光束的光电转换的结果而获得的一对视差图像。在该对视差图像之间存在与图像成分的视差相对应的差(被摄体的视差成分)。然而，为了简化描述，省略该视差成分。该对视差图像包含示意性地例示为具有均匀辉度的白色方形的不必要成分A和B，并且辉度在视差图像之间彼此不同。在此实施例中，如上所述，例示了不必要成分A和B是分开的而彼此不交叠的示例，但是，它们可以彼此交叠而具有辉度差。换言之，不必要成分的位置或辉度在视差图像之间可以彼此不同。
图1(A-2)和图1(B-2)例示了该对视差图像在竖直方向上的中央附近、沿水平方向的辉度剖面。图1(A-2)和图1(B-2)的曲线图中的数值是不必要成分的辉度值。例如，在图1(A-2)中，背景处的辉度值为70，而不必要成分A和B的辉度值都为130。图1(C-1)例示了通过将图1(A-1)和图1(B-1)的图像相加并合成而获得的图像(合成视差图像)。图1(C-2)例示了合成视差图像在竖直方向上的中央附近、沿水平方向的辉度剖面。该合成视差图像相当于通过“无光瞳分割的成像”生成的图2的拍摄图像。在该实施例中，通过相加并合成该对视差图像，获得相当于通过“无光瞳分割的成像”生成的拍摄图像的亮度(辉度)。代替地，可以使用能够通过平均(相加并平均)该对视差图像，来获得相当于通过“无光瞳分割的成像”生成的拍摄图像的亮度(辉度)的摄像装置。将在下面的实施例3中描述这种情况。
图1(D-1)例示了针对该对视差图像，通过从图1(A-1)的图像减去图1(B-1)的图像而获得的图像。图1(D-2)例示了在竖直方向上的中央附近、沿水平方向的辉度剖面。类似地，图1(E-1)例示了针对该对视差图像，通过从图1(B-1)的图像减去图1(A-1)的图像而获得的图像。图1(E-2)例示了在竖直方向上的中央附近、沿水平方向的辉度剖面。在这种情况下，为了简化处理，当差分值表示负值时，进行截断该负值以用零替换的处理。结果，图1(E-1)中例示的差分图像中的所有值表示零。
图1(F-1)是通过将图1(D-1)和图1(E-1)的图像相加并合成而获得的图像。因此，图1(F-1)中例示的合成差分图像对应于通过从图1(C-1)的图像去除被摄体和背景而获得的图像，它仅表示包含在图1(C-1)的图像中的不必要成分。如上所述，通过针对各个视差图像进行差分计算，仅剩余(即分离或提取)不必要成分，并且能够确定不必要成分。
在该实施例中，为了计算图1(F-1)的图像，如上所述，在相加合成处理之前进行两次差分计算，并且作为选择，可以进行获得差分的绝对值的计算，以获得如由下面的表达式(1)表示的相同的结果。
Fig1F1(x,y)＝│Fig1A1(x,y)-Fig1B1(x,y)│…(1)
在表达式(1)中，符号Fig1F1(x,y)、Fig1A1(x,y)及Fig1B1(x,y)分别表示图1(F-1)、图1(A-1)及图1(B-1)的图像中的各个坐标处的辉度值。结果，能够通过单次计算获得图1(F-1)的结果(图像)。
图1(F-1)是关于确定的不必要成分的图像(第一不必要成分图像)。为了简化说明，尽管通过将差分图像相加并合成为如图1(F-1)中例示的一个图像，来创建“第一不必要成分”，但是差分图像分别被分开为“不必要成分图像(1-1)”和“不必要成分图像(1-2)”，使得分开地进行后面的计算处理。基于确定的不必要成分，进行下面描述的处理。在该实施例中，第一不必要成分不必须存储为稍后要显示的使得用户能够查看的所谓的“图像”。第一不必要成分图像仅需要在处理流程期间作为数值数据可用即可。
接下来，对要输出的图像进行去除或削减如上所述确定的不必要成分的校正处理。如果不考虑下述的“增益分布”，来进行去除或削减不必要成分的校正处理，则可以简单地从图1(C-1)的图像减去作为第一不必要成分图像的图1(F-1)。图1(G-1)例示了通过从图1(C-1)减去图1(F-1)的成分而不考虑“增益分布”，由此获得的不必要成分削减图像。结果，如图1(C-1)所示，获得与通过“无光瞳分割的成像”生成的拍摄图像相比，削减了不必要成分的图像。然而，在该示例中可以看出，在重影的光学路径没有被完全分开成区域P1和P2并且光束以一定比例经过区域P1和P2二者的情况下，不必要成分被不完全地去除，因此，如图1(G-1)中所示，在不必要成分削减图像中仍剩余不必要成分。
在仅剩余一个不必要成分的情况下，可以在将增益均匀地施加到第一不必要成分图像(图1(F-1))、直到能够充分去除不必要成分之后，进行削减处理。例如，将考虑仅充分去除图1(C-1)中包含的不必要成分A的情况。不必要成分A的辉度值为240，并且它比作为背景的辉度值的140大100。由于在当前的第一不必要成分图像(图1(F-1))中包含的不必要成分A的辉度值为20，因此可以进行增益上调(具体而言，总体上第一不必要成分图像的辉度值的5倍)，然后可以从图1(C-1)的图像减去图1(F-1)的第一不必要成分图像。
然而，如图1所示，在包含多个不必要成分，并且如图1(G-2)的曲线图所示，削减率针对各个不必要成分不同的情况下，不能通过简单的增益上调处理来去除不必要成分。削减率R(x,y)是指针对各个像素由下面的表达式(2)计算出的值。在表达式(2)中，符号G1(x,y)和C1(x,y)分别表示在各个坐标处的图1(G-1)和图1(C-1)的辉度值。当分母为零时，该坐标处的削减率为零。
R(x,y)＝1-{G1(x,y)/C1(x,y)}…(2)
虽然在该实施例中为简单起见，不必要成分被例示为具有均匀的辉度值的方形，但是实际上，针对各个像素，削减率是不同的。通过使用与将表达式(2)的结果乘以100获得的值相对应的百分比(％)，来表示图1(G-2)中例示的削减率。图1(G-2)意味着与通过“无光瞳分割的成像”生成的拍摄图像相比，不必要成分A削减了8.3％，并且与该拍摄图像相比，不必要成分B削减了18.2％。
虽然到目前仅描述了不必要成分A，但是在下文中，通过使用相同的计算，还针对不必要组分B。图8是通过该实施例中的图像处理方法获得的输出图像的示例，并且它例示了关于不必要成分B的图像。图8(A-1)是整体上使第一不必要成分图像的辉度值增大5倍的结果，以如上所述地充分去除不必要成分A。图8(A-2)是在竖直方向上的中央附近、沿水平方向的辉度剖面。图8(B-1)是从图1(C-1)的图像减去图8(A-1)的图像的结果，图8(B-2)是在竖直方向上的中央附近、沿水平方向的辉度剖面。
当观察图8(B-1)的图像时，在不必要成分A原本存在并且已被去除的区域，被背景辉度隐藏的同时，不必要成分B被过度校正并且发生黑电平降低(dark leveldepression)。因而，当存在多个不必要成分并且削减率针对各个不必要成分不同时，不能通过简单的增益上调处理来去除不必要成分。在图像中存在具有彼此不同的削减率的多个不必要成分的情况下，根据任意一个不必要成分的辉度值而施加均匀的增益，导致对其他的不必要成分的过度校正或校正不足。因此，通过均匀的增益调整，不能获得针对所有的不必要成分的良好的削减结果。
为了解决该问题，该实施例在图像中创建增益分布，并且基于创建的增益分布改变图像中的增益，而不是在图像中均匀地调整增益。因此，能够有效地削减具有不同削减率的多个不必要成分。
在该实施例中，尽管通过使用比(ratio)来计算削减率，但是作为更简单地计算削减率的方法，可以仅进行获得图1(G-1)和图1(C-1)的辉度值之间的差分的处理。准确的说，这与当施加增益时发生的特性(behavior)中的比计算，但类似地，具有能够抑制在削减处理之后的不必要成分(不必要的光成分)的黑电平降低的倾向。
接下来，作为创建增益分布的方法的示例，将描述基于第一不必要成分图像来创建增益分布的方法。该方法中的步骤，直到由视差图像计算第一不必要成分图像(图1(F-1))为止，与上述方法中的步骤相同。随后，如由下面的表达式(3)所表示的，针对在各个坐标处的第一不必要成分图像的辉度值L(x,y)，计算在二维坐标(x,y)处的增益分布gain(x,y)。在表达式(3)中，符号α和β为参数。
创建增益分布的概念，是为了防止因所施加的增益导致不必要成分由高削减率削减的过多而引起的黑电平降低的发生，从而有效地削减具有低削减率的不必要成分。因此，优选的是，施加到具有高削减率的不必要成分的增益，被抑制为低于其他不必要成分中的各个的增益。由于在第一不必要成分图像中辉度值相对高的部分，被从视差图像减去比其他部分的值更大的值，因此它能够被估计为具有更高的削减率的部分。因此，如由表达式(3)所表示的，在第一不必要成分图像中具有高辉度值的部分中，增益被设置为相对低，另一方面，在第一不必要成分图像中具有低辉度值的部分中，增益被设置为相对高。
图9(A-1)例示了该实施例中的增益分布。在这种情况下，参数α和β如下。
α＝262.324
β＝1.322
在该实施例中，不具体限制参数α和β的计算方法。即使在相同的不必要成分中，不必要成分的亮度(辉度)也依据光源或图像拍摄条件而变化。不必要成分的削减率还依据各个透镜而改变，因此准确的说，参数α和β的值依据拍摄图像时的条件而改变。因此，可以通过使用常规方法通过适应性处理来自动地获得参数α和β，或者作为选择，可以将值1作为初始值分配给参数α和β中的各个，使得用户能够在观察不必要成分(不必要的光)的削减的程度的同时，通过在削减处理期间输入数值或者使用滑块来调整图像。
随后，如由下面的表达式(4)所表示的，将增益分布gain(x,y)乘以第一不必要成分图像的辉度值L(x,y)，以确定不必要成分强度I(x,y)。通过使不必要成分强度成像，来获得第二不必要成分图像。
I(x,y)＝gain(x,y)×L(x,y)…(4)
图9(B-1)例示了通过表达式(4)计算出的第二不必要成分图像。图9(B-2)例示了在竖直方向上的中央附近、沿水平方向的辉度剖面。由于创建增益分布的概念如上所述，所以如果与概念匹配，则创建增益分布的方法并不限于表达式(2)。图9(C-1)例示了通过从图1(C-1)的图像减去第二不必要成分图像(图9(B-1))而获得的图像。图9(C-2)例示了在竖直方向上的中央附近、沿水平方向的辉度剖面。如图9(C-1)和图9(C-2)中所示，不必要成分A和B二者都被有效地削减。
在该实施例中，为了便于说明，虽然创建了作为第二不必要成分图像的图像，但在实际处理中，第二不必要成分图像不必须被创建并存储为能够稍后为用户显示的所谓的“图像”。第二不必要成分图像可以是能够在处理期间使用的数值数据，因此，可以基于第一不必要成分图像和增益分布来确定不必要成分强度，并且通过进行削减处理来创建削减图像。
接下来，参照图10，将描述该实施例中的图像处理方法(不必要成分的确定处理和不必要成分的削减处理)。图10是例示图像处理方法的流程图。由系统控制器210或图像处理器204根据作为计算机程序的图像处理程序，来进行图10中的各个步骤。
首先，在步骤S101中，系统控制器210控制由光学系统201和摄像元件202构成的摄像设备，以对被摄体拍照(拍摄被摄体像)。图像处理器204获取拍摄图像作为输入图像。
随后，在步骤S102中，图像处理器204通过使用从摄像元件202(像素组G1和G2)输出并通过A/D转换器203的A/D转换获得的数字信号，生成一对视差图像。在该实施例中，图像处理器204可以进行通常的显影处理以及各种图像校正处理，以生成视差图像。
随后，在步骤S103中，图像处理器204(不必要成分检测器204a)获得该对视差图像的差分信息。换言之，图像处理器204生成通过从图1(A-1)的图像减去图1(B-1)的图像而获得的图1(D-1)的差分图像，以及通过从图1(B-1)的图像减去图1(A-1)的图像而获得的图1(E-1)的差分图像。在这样的简单的差分计算中，不必要成分的差分值表示正值或负值。例如，在该实施例中，当从图1(A-1)的图像减去图1(B-1)的图像以生成图1(D-1)的差分图像时，图1(A-1)中包含的不必要成分的辉度值大于图1(B-1)中包含的不必要成分的辉度值。因此，差分值表示正值。类似地，当从图1(B-1)的图像减去图1(A-1)的图像时，差分值表示负值。在该实施例中，为了简化下述的不必要成分削减处理，进行将负值截断为零的处理。因此，图1(E-1)的图像的所有辉度值表示零。
当针对包括近距离被摄体的图像获得差分信息时，当在该实施例中省略视差成分的显示的同时，为了去除被摄体视差成分，可以进行对准该对视差图像的位置的处理。能够通过在使视差图像中的一个的位置相对视差图像中的另一个的位置移位的同时，通过确定该对视差图像之间的相关性为最大的移位位置，来进行对准。作为选择，可以通过确定视差图像之间的差分的平方和为最小的移位位置，来进行对准。视差图像中的聚焦区域可以被用来确定用于对准的移位位置。
可以使用包含检测的边缘的图像，在视差图像的各个中预先进行边缘检测，以确定用于对准的移位位置。根据该方法，在聚焦区域中检测具有高对比度的边缘，并且另一方面，诸如背景等的失焦区域具有低对比度并且不容易被检测为边缘，因而，必然地利用正被强调的聚焦区域来确定移位位置。此外，可以添加为了去除噪声等的影响而进行阈值处理等的步骤。
随后，在步骤S104中，图像处理器204(不必要成分检测器204a)将在步骤S103中获得的差分图像中剩余的成分，确定为不必要成分。与不必要成分相对应的图像被称为第一不必要成分图像。具体而言，通过将图1(D-1)的图像和图1(E-1)的图像相加并合成，仅图1(A-1)和图1(B-1)的图像中包含的不必要成分的差分值被检测为正值。不必要成分检测器204a将其确定为不必要成分，并且生成第一不必要成分图像(图1(F-1))。然而，如上所述，不必须生成或存储第一不必要成分图像，因此在步骤S103中获得的差分图像可以被视作不必要成分，以提高处理速度。在这种情况下，步骤S104被跳过，并且随步骤S103之后流程前进到步骤S105。
随后，在步骤S105中，图像处理器204(增益分布获取器204b)基于在步骤S104中获得的不必要成分，生成(确定)增益分布(例如图9(A-1))。
随后，在步骤S106中，图像处理器204(不必要成分强度确定器204c)基于在步骤S103或步骤S104中确定的不必要成分，以及在步骤S105中确定的增益分布，来确定不必要成分强度。具体而言，不必要成分强度确定器204c将第一不必要成分图像的各个辉度值，乘以如由表达式(4)表示的各个坐标处的增益分布，以确定不必要成分强度。
随后，在步骤S107中，图像处理器204基于在步骤S106中的结果，生成第二不必要成分图像(例如图9(B-1)的图像)。由于通过将差分图像乘以增益分布来确定不必要成分强度，因此在该实施例中，可以没有步骤S107而进行不必要成分削减处理。在这种情况下，步骤S107被跳过，并且在步骤S106之后立即进行步骤S108。
随后，在步骤S108中，图像处理器204根据视差图像的相加合成处理，生成相当于通过“无光瞳分割的成像”生成的拍摄图像的图像(合成视差图像)。例如，通过进行将在步骤S102中生成的图1(A-1)的视差图像相加到图1(B-1)的视差图像的处理，生成已进行了相加合成处理的、在图1(C-1)中例示的合成视差图像。作为选择，在步骤S108中，可以通过将从摄像元件202(像素组G1和G2)输出且通过A/D转换器203的A/D转换获得的数字信号相加，来生成合成视差图像，而不用生成视差图像的步骤(步骤S102)。在此处不必须进行步骤S108，并且不具体地的限制进行该步骤的位置，只要在步骤S109之前进行该步骤，使得能够在下一步骤S109中使用该合成视差图像即可。
随后，在步骤S109中，图像处理器204(不必要成分削减器204d)进行校正处理，以从在步骤S108中生成的合成视差图像削减或去除不必要成分。具体而言，不必要成分削减器204d从图1(C-1)的图像减去图9(B-1)的图像，因而能够削减或去除不必要成分。当未生成图9(B-1)的图像时，可以直接进行图1(C-1)-{图1(F-1)×图9(A-1)}的计算。结果，生成不必要成分削减图像。
最后，在步骤S110中，系统控制器210将去除或消减了不必要成分的输出图像，即不必要成分削减图像(图9(C-1))，存储在图像记录介质209中，或将其显示在显示单元205上。
根据该实施例，能够确定从基于通过单次图像拍摄(成像)获得的多个视差图像的差分图像的、由不必要的光(诸如重影和光斑)形成的不必要成分。换言之，能够确定拍摄图像中包含的不必要成分，而无需多次图像拍摄。此外，即使当存在经过互不相同的光瞳区域的多个不必要成分(诸如重影或光斑)时，也能够通过基于增益分布确定不必要成分强度，来有效地削减多个不必要成分。在该实施例中，为了简化描述，描述了灰度图像的示例，类似地，其也能够应用到彩色图像。在这种情况下，可以针对各个颜色通道独立地进行上述的处理，最后各个颜色可以被合成为一个图像。
[实施例2]
接下来，将描述本发明的实施例2。针对增益分布的计算方法，该实施例与实施例1不同。在该实施例中，摄像装置的基本构造与参照图5描述的实施例1的摄像装置200的相同，因此将省略其说明。该实施例的图像处理方法仅在处理流程和计算方法方面，与实施例1的图像处理方法不同，而图像处理方法的结果与实施例1的相同，因此将参照图1或图9描述该实施例。
接下来，参照图11，将描述该实施例中的图像处理方法(不必要成分的确定处理和不必要成分的削减处理)。图11是例示图像处理方法的流程图。由系统控制器210或图像处理器204根据作为计算机程序的图像处理程序，进行图11中的各个步骤。
在图11中，步骤S201至S204分别与实施例1中的图10的步骤S101至S104相同。随后，在步骤S205中，图像处理器204对视差图像进行相加合成处理，以生成相当于通过“无光瞳分割的成像”生成的拍摄图像的图像(合成视差图像)。在该实施例中，进行将在步骤S202中生成的图1(A-1)和图1(B-1)的视差图像相加的处理，因此，如图1(C-1)中所示，生成已进行了相加合成处理的合成图像(合成视差图像)。作为选择，图像处理器204可以将从摄像元件202(像素组G1和G2)输出且通过A/D转换器203的A/D转换获得的数字信号相加，而不用步骤S205，来生成合成视差图像。
随后，在步骤S206中，图像处理器204基于在步骤S205中生成的合成视差图像以及在步骤S204中确定的不必要成分(不必要成分的成像对应于第一不必要成分图像)，生成第一不必要成分削减图像。具体而言，图像处理器204从图1(C-1)的图像减去图1(F-1)的图像，以获取第一不必要成分削减图像(图1(G-1))。
随后，在步骤S207中，图像处理器204基于在步骤S205中生成的合成视差图像以及在步骤S206中生成的第一不必要成分削减图像，创建(计算)削减率分布。具体而言，图像处理器204针对所有像素，计算由在实施例1中描述的表达式(2)表示的削减率。当分母为零时，该坐标处的削减率为零。当已知不必要成分存在的区域时，可以仅在不必要成分存在的区域中进行计算，而不针对所有像素进行计算。在这种情况下，可以仅在不必要成分存在的区域中进行后续的处理，或者可以在除不必要成分存在的区域之外的区域中，将所有削减率设置为零。如上所述，作为更简单地计算削减率的方法，可以仅进行获得图1(G-1)和图1(C-1)的辉度值之间的差分的处理。准确的说，这与当施加增益时发生的特性中的比计算不同，但类似地，具有能够抑制在削减处理之后的不必要成分(不必要的光成分)的黑电平降低的倾向。图12是根据表达式(2)，通过使用图1(C-1)和图1(G-1)获得的削减率分布。
随后，在步骤S208中，图像处理器204(增益分布获取器204b)基于在步骤S207中获得的削减率分布，计算增益分布。具体而言，增益分布获取器204b针对如由下面的表达式(5)表示的各个坐标(x,y)，基于削减率分布R(x,y)，计算增益分布gain(x,y)。在表达式(5)中，符号α和β为参数。
图9(A-1)例示了该实施例中的增益分布。这种情况下的参数α和β如下。
α＝0.270
β＝1.174
在该实施例中，不具体地限制参数α和β的计算方法。即使在相同的不必要成分中，不必要成分的亮度(辉度)也依据诸如光源等的图像拍摄条件而变化。不必要成分的削减率还依据各个透镜而改变，因此准确的说，参数α和β的值依据拍摄图像时的条件而改变。因此，可以通过使用常规方法通过适应性处理来自动地获得参数α和β，或者作为选择，可以将值1作为初始值分配给参数α和β中的各个，使得用户能够在观察不必要成分的削减的程度的同时，通过在削减处理期间输入数值或者使用滑块来调整图像。由于创建增益分布的概念如实施例1中所述，因此，如果与概念匹配，则创建增益分布的方法并不限于表达式(5)。
随后，在步骤S209中，图像处理器204(不必要成分强度确定器204c)基于在步骤S203或步骤S204中确定的不必要成分，以及在步骤S208中确定的增益分布，来确定不必要成分强度。具体而言，不必要成分强度确定器204c将第一不必要成分图像的各个辉度值，乘以如由表达式(4)表示的各个坐标处的增益分布，以确定不必要成分强度。
随后，在步骤210中，图像处理器204基于在步骤S209中的结果，生成第二不必要成分图像(例如图9(B-1))。由于通过将差分图像乘以增益分布来确定不必要成分强度，因此在该实施例中，可以没有步骤S210而进行不必要成分削减处理。在这种情况下，步骤S210被跳过，并且在步骤S209之后立即进行步骤S211。
随后，在步骤S211中，图像处理器204(不必要成分削减器204d)进行校正处理(第二不必要成分削减图像的生成处理)，以从在步骤S205中生成的合成视差图像削减或去除不必要成分。具体而言，不必要成分削减器204d从图1(C-1)的图像减去图9(B-1)的图像，因而能够削减或去除不必要成分。当未生成图9(B-1)的图像时，可以直接进行图1(C-1)-{图1(F-1)×图9(A-1)}的计算。结果，生成第二不必要成分削减图像。
最后，在步骤S212中，系统控制器210将去除或削减了不必要成分的输出图像，即第二不必要成分削减图像(图9(C-1))，存储在图像记录介质209中，或将其显示在显示单元205上。
根据该实施例，能够确定从基于通过单次图像拍摄获得的多个视差图像的差分图像的、由不必要的光(诸如重影和光斑)形成的不必要成分。换言之，能够确定拍摄图像中包含的不必要成分，而无需多次图像拍摄。此外，即使当存在经过互不相同的光瞳区域的多个不必要成分(诸如重影或光斑)时，也能够通过基于增益分布确定不必要成分强度，来有效地削减多个不必要成分。在该实施例中，为了简化描述，描述了灰度图像的示例，类似地，其也能够应用到彩色图像。在这种情况下，可以针对各个颜色通道独立地进行上述的处理，最后各个颜色可以被合成为一个图像。
[实施例3]
接下来，将描述本发明的实施例3(多个光瞳分割)。该实施例在视差的数量、视差图像的概念以及计算增益分布的表达式方面，与实施例1和2中的各个不同。在该实施例中，摄像装置的基本构造和图像处理方法的基本流程与实施例2中的相同，因此将省略其描述。
图13是例示该实施例中的摄像元件(光接收部)的图。在图13中，符号ML表示微透镜，符号G1、G2、G3及G4表示光接收部(像素)，并且一个像素G1、一个像素G2、一个像素G3及一个像素G4作为一组。摄像元件包括多个组的像素G1、G2、G3及G4的阵列。像素G1、G2、G3及G4的组经由共享的(即为各个像素组提供的)微透镜ML，与出射光瞳EXP具有共轭关系。在该实施例中，当输出相当于通过“无光瞳分割的成像”生成的拍摄图像的图像时，进行对通过4个像素G1、G2、G3及G4的组获得的信号的平均处理(加法平均处理)，以生成一个信号值。
在该实施例中，光学系统的具体结构的示例也与参照图6A至图6C描述的实施例1中的光学系统201的相同。因此将省略其说明。然而，虽然包含两个不必要成分A和B作为不必要成分，但是在该实施例中，还包含在图6A至图6C中未示出的不必要成分C。
图14例示了孔径光阑STP的区域P1、P2、P3及P4(光瞳区域或光瞳分割区域)，光束经过该区域P1、P2、P3及P4入射到图13中例示的像素G1、G2、G3及G4。可以假设孔径光阑STP为对应于光学系统201的出射光瞳EXP(即，从光学系统201的像面位置看时的虚像)，但在实践中，通常情况是，孔径光阑STP与出射光瞳EXP彼此不同。当来自高辉度物体(太阳)的光束经过孔径光阑STP入射到各个像素时，其被划分成区域P1、P2、P3及P4(光瞳区域)。
接下来，参照图15和图16，将描述确定不必要成分，作为通过不必要的光的光电转换而出现在由摄像装置200生成的拍摄图像中的图像成分的方法。图15和图16是例示本实施例中的图像处理方法的过程的图。
图15(A-1)、图15(B-1)、图15(C-1)及图15(D-1)例示了作为由像素组G1、G2、G3及G4进行的经过区域P1、P2、P3及P4(光瞳区域)的光束的光电转换的结果而分别获得的一组视差图像。该组视差图像包含示意性地例示为方形的、部分地彼此交叠的不必要成分A、B及C。视差图像的不必要成分中的各个位于图15(A-1)、图15(B-1)、图15(C-1)及图15(D-1)的视差图像中的相同位置处，并且具有互不相同的辉度。图15(A-2)、图15(B-2)、图15(C-2)及图15(D-2)例示了在竖直方向上的中央附近、沿水平方向的各个视差图像的辉度剖面。各个附图的曲线图中的数值表示不必要成分的辉度值。例如，在图15(A-2)中，背景处的辉度值为50，并且不必要成分A、B及C的辉度值分别为180、130及110。不必要成分交叠的部分表示通过将交叠的不必要成分中的各个的辉度值与背景的辉度值相加并合成而获得的值。
图15(E-1)是通过对图15(A-1)、图15(B-1)、图15(C-1)及图15(D-1)的图像，进行平均处理(加法平均处理)而获得的图像。具体而言，通过将各个坐标处的图15(A-1)、图15(B-1)、图15(C-1)及图15(D-1)的图像的辉度值相加，然后将相加后的辉度值除以4，来计算各个坐标处的图15(E-1)的辉度值。这相当于通过该实施例的摄像装置中的“无光瞳分割的成像”生成的拍摄图像。图15(E-2)例示了在竖直方向上的中央附近、沿水平方向的图15(E-1)的图像的辉度剖面。
图16(A-1)、图16(B-1)及图16(C-1)是针对该组视差图像，从作为基准图像的图15(A-1)的图像分别减去图15(B-1)、图15(C-1)及图15(D-1)的图像，而获得的差分图像。类似于实施例1，这些视差图像包含作为差分信息的不必要成分。此外，类似于实施例1，虽然存在通过差分计算，使包含在图16(A-1)、图16(B-1)及图16(C-1)中的不必要成分计算为负值的部分，但是为了简化后续阶段中的不必要成分削减处理，将负值截断为零。对于所有的其他差分图像也是如此。图16(D-1)是通过提取在图16(A-1)、图16(B-1)及图16(C-1)的差分图像中的各个像素位置处的差分信息之间的最大值而获得的信息(最大差分信息或最大差分图像)，作为获取为二维数据的差分信息。
图16(A-2)、图16(B-2)及图16(C-2)是通过针对该组视差图像，从作为基准图像的图15(B-1)的图像分别减去图15(A-1)、图15(C-1)及图15(D-1)的图像，而获得的差分图像。图16(D-2)是在图16(A-2)、图16(B-2)及图16(C-2)的差分图像中的各个像素位置处的差分信息之间的最大差分信息，作为获取为二维数据的差分信息。
图16(A-3)、图16(B-3)及图16(C-3)是通过针对该组视差图像，从作为基准图像的图15(C-1)的图像分别减去图15(A-1)、图15(B-1)及图15(D-1)的图像，而获得的差分图像。图16(D-3)是在图16(A-3)、图16(B-3)及图16(C-3)的差分图像中的各个像素位置处的差分信息之间的最大差分信息，作为获取为二维数据的差分信息。
图16(A-4)、图16(B-4)及图16(C-4)是通过针对该组视差图像，从作为基准图像的图15(D-1)的图像分别减去图15(A-1)、图15(B-1)及图15(C-1)的图像，而获得的差分图像。图16(D-4)是在图16(A-4)、图16(B-4)及图16(C-4)的差分图像中的各个像素位置处的差分信息之间的最大差分信息，作为获取为二维数据的差分信息。最大差分信息是通过从各个视差图像提取不必要成分而获得的结果。
在下文中，如在实施例1和2中所述，考虑要确定不必要成分(不必要成分的成像对应于第一不必要成分图像)的情况。在这种情况下，如上所述，不必要成分被提取为针对各个视差图像的最大差分信息，因此，作为方法，可以认为多个最大差分信息中的各个对应于第一不必要成分图像。然而，作为图像，有必要进行与视差图像的数量相对应的次数的后续处理，因而处理步骤是复杂的。为了解决这个问题，在该实施例中，通过将多个最大差分信息中的各个合成为一个来简化后续处理。具体而言，对图16(D-1)、图16(D-2)、图16(D-3)及图16(D-4)的图像进行加法平均处理，然后合成(组合)图像。图16(E-1)是合成图像的结果，图16(E-2)在竖直方向上的中央附近、沿水平方向的辉度剖面。图16(F-1)是通过从作为合成视差图像的图15(E-1)减去作为第一不必要成分图像的图16(E-1)而获得的图像，并且其对应于在实施例2中描述的图11的第一不必要成分削减图像。图16(F-2)在竖直方向上的中央附近、沿水平方向的辉度剖面。
如上所述，即使当视差的数量增大时，也能够计算“合成视差图像”和“第一不必要成分图像”。后续处理的流程和基本概念与实施例2中的相同，因此在下文中，根据图11的处理流程，将主要描述与实施例2不同的部分。
该实施例在步骤S208中计算增益分布的方法与实施例2不同。图17是例示在步骤S207中创建的(计算的)削减率分布的图。
在该实施例中，通过使用下面的表达式(6)，计算增益分布gain(x,y)。在表达式(6)中，符号R(x,y)是削减率分布，符号A、B、C、D及E是参数。
削减率R(x,y)是由下面的表达式(7)针对各个像素计算的值，类似于表达式(2)的思路。当分母为零时，该坐标处的削减率为零。
R(x,y)＝1-{F1(x,y)/E1(x,y)}…(7)
在表达式(7)中，符号F1(x,y)和E1(x,y)分别表示在图16(F-1)和图15(E-1)中的各个坐标处的辉度值。
图18(A-1)例示了该实施例中的增益分布。在这种情况下，参数A、B、C、D及E如下。
A＝75.69478
B＝-88.7086
C＝37.02509
D＝-6.48479
E＝0.408826
在该实施例中，不具体限制参数A、B、C、D及E的计算方法。即使在相同的不必要成分中，不必要成分的亮度(辉度)也依据诸如光源等的图像拍摄条件而变化。不必要成分的削减率还依据各个透镜而改变。因此准确的说，参数的值依据拍摄图像时的条件而改变。因此，可以通过使用常规方法通过适应性处理来自动地获得这些参数，或者作为选择，可以将任意值作为初始值分配给各个参数。创建增益分布的概念如实施例1和2中所述，并且如果与概念匹配，则创建增益分布的方法并不限于表达式(6)。
随后，在步骤S209中，图像处理器204(不必要成分强度确定器204c)基于确定的不必要成分(第一不必要成分图像)以及增益分布，来确定不必要成分强度。具体而言，不必要成分强度确定器204c将在第一不必要成分图像中的各个坐标(x,y)处的辉度值L(x,y)，乘以如由表达式(4)表示的gain(x,y)，以计算不必要成分强度I(x,y)。
随后，在步骤S210中，图像处理器204基于在步骤S209中的结果，生成第二不必要成分图像(图18(B-1))。图18(B-2)例示了在图18(B-1)的竖直方向上的中央附近、沿水平方向的辉度剖面。如在实施例1和2中所述，可以跳过步骤S209和S210，并且可以在步骤S208之后立即进行步骤S211。
随后，在步骤S211中，图像处理器204(不必要成分削减器204d)进行校正处理(第二不必要成分削减图像的生成处理)，以从在步骤S205中生成的合成视差图像削减或去除不必要成分。具体而言，不必要成分削减器204d从图15(E-1)的图像减去图18(B-1)的图像，因而能够削减或去除不必要成分。当未生成图18(B-1)的图像时，可以直接进行图15(E-1)-{图16(E-1)×图18(A-1)}的计算。
最后，在步骤S212中，系统控制器210将去除或削减了不必要成分的输出图像，即第二不必要成分削减图像(图18(C-1))，存储在图像记录介质209中，或将其显示在显示单元205上。图18(C-2)例示了在图18(C-1)的竖直方向上的中央附近、沿水平方向的辉度剖面。
根据该实施例，能够确定来自基于通过单次图像拍摄获得的多个视差图像的差分图像的、由不必要的光(诸如重影和光斑)形成的不必要成分。换言之，能够确定拍摄图像中包含的不必要成分，而无需多次图像拍摄。此外，即使当存在经过互不相同的光瞳区域的多个不必要成分(诸如重影或光斑)时，也能够通过基于增益分布确定不必要成分强度，来有效地削减多个不必要成分。在该实施例中，为了简化描述，描述了灰度图像的示例，类似地，其也能够应用到彩色图像。在这种情况下，可以针对各个颜色通道独立地进行上述的处理，最后各个颜色可以被合成为一个图像。
[实施例4]
接下来，将描述本发明的实施例4。Ren.Ng et al.,"Light Field Photographywith a Hand-held Plenoptic Camera"(Stanford Tech Report CTSR 2005-2)公开了一种“全光照相机”。该“全光照相机”通过使用称为“光场摄影”的技术，能够从被摄体获取光束的位置和角度的信息。
图19例示了该实施例中的摄像装置的摄像系统，并且例示了“全光照相机”的摄像系统的构造。光学系统301(摄像光学系统)包括主透镜(摄像透镜)301b和孔径光阑301a。微透镜阵列301c布置在光学系统301的成像位置处，并且摄像元件302布置在微透镜阵列301c后方(比微透镜阵列301c更靠近图像)。微透镜阵列301c具有作为分隔件(分隔元件)的功能，防止经过例如被摄体空间中的点A的光束，与经过摄像元件302上的点A附近的点的光束混合。图19例示了来自点A的顶部光束、主光束和底部光束被互不相同的像素接收。因此，依据经过A点的光束的角度，能够分开地获取经过点A的光束。
Todor Georgive et al.,"Full Resolution Light Field Rendering"(AdobeTechnical Report January 2008)公开了图20和图21中例示的、获取光束的位置和角度的信息(光场)的摄像系统的构造。
利用图20中例示的摄像系统的构造，微透镜阵列301c布置在主透镜301b的成像位置后方(比主透镜301b的成像位置更靠近图像)，以将经过点A的光束再成像在摄像元件302上，从而依据光束的角度，分开地获取光束。利用图21中例示的摄像系统的构造，微透镜阵列301c布置在主透镜301b的成像位置前方(比主透镜301b的成像位置更靠近被摄体)，以将经过点A的光束成像在摄像元件302上，从而依据光束的角度，分开地获取光束。在这两种构造中，经过光学系统301的光瞳的光束，依据在光瞳中经过的区域(经过的位置)被分开。在这些构造中，如图22中所示，摄像元件302可以采用传统的摄像元件，传统的摄像元件包括经由滤色片CF配对的一个微透镜ML和一个光接收部G1。
图19中例示的光学系统301生成如图23A所示的图像。图23B是图23A中的排列的圆圈中的一个的放大图。一个圆圈表示孔径光阑STP，并且其内部被多个像素Pj(j＝1,2,3,...)分割。该构造使得能够获取一个圆圈内的光瞳的强度分布。图20和图21中例示的光学系统301被用来获得图24中例示的视差图像。可以通过在图23中例示的图像中，重新布置和重新构建圆圈(孔径光阑STP)中的像素Pj，来获得如图24中例示的视差图像。
如在实施例1至实施例3中所述，诸如重影等的不必要的光随着横跨光瞳的偏置的分布而经过光瞳。因此，在该实施例中的、通过光瞳的分割区域进行摄像的摄像装置，可以采用在实施例1至实施例3中所述的图像处理方法，以确定不必要成分并进一步削减它们。
在另一示例中，通过如图25中例示的多个照相机拍摄同一被摄体的图像，来获得视差图像。因此，这些照相机可以采用在实施例1至实施例3中描述的图像处理方法。C1、C2及C3表示分开的摄像装置，但是它们可以被看作为通过大光瞳的三个分割区域进行摄像的单个摄像装置。作为选择，如图26中所示，可以通过利用多个光学系统OSj(j＝1,2,3,...)提供一个摄像装置，来实现光瞳分割。
实施例中的各个描述了进行各个实施例的图像处理方法的摄像装置(配设有图像处理装置)，但是也可以通过安装在个人计算机中的图像处理程序来进行各个实施例的图像处理方法。在这种情况下，个人计算机对应于各个实施例的图像处理装置。个人计算机取得(获取)由摄像装置生成并且有待被提供图像处理的图像(输入图像)，并且输出通过由图像处理程序进行图像处理而获得的图像。
在各个实施例中，图像处理装置(图像处理器204)包括生成器(不必要成分检测器204a或确定器)、增益分布确定器(增益分布获取器204b或计算器)、强度确定器(不必要成分强度确定器204c)以及削减器(不必要成分削减器204d)。生成器生成关于多个视差图像的差分信息。增益分布确定器基于差分信息，确定增益分布。强度确定器基于增益分布，确定不必要成分强度。削减器基于视差图像和不必要成分强度，生成不必要成分被削减的不必要成分削减图像。
优选地，削减器基于不必要成分强度，从通过使视差图像合成而获得的合成视差图像削减不必要成分，以生成不必要成分削减图像(S109，S211)。优选地，生成器基于差分信息，确定不必要成分(S104，S204)。然后，增益分布确定器基于不必要成分，确定增益分布。更优选地，生成器生成关于不必要成分的图像(第一不必要成分图像)。然后，增益分布确定器依据图像(第一不必要成分图像)的辉度值L(x,y)，确定增益分布(如由表达式(3)表示)。更优选地，强度确定器基于增益分布和图像的辉度值，确定不必要成分强度I(x,y)(如由表达式(4)表示)。
优选地，生成器基于视差图像和不必要成分，确定削减率分布R(x,y)。然后，增益分布确定器依据削减率分布，确定增益分布。更优选地，生成器基于视差图像和差分信息，确定削减率分布(S206，S207)。
优选地，通过将多个视差图像中的各个设置为基准图像，并且计算基准图像与除基准图像之外的视差图像之间的差分，来获得差分信息。优选地，通过计算两个视差图像之间的差分的绝对值，来获得差分信息。优选地，多个视差图像是基于经过光学系统的光瞳中的互不相同的区域的光束而生成的图像。
作为各实施例的变型例，图像处理装置(图像处理器204)可以包括不必要成分确定器(不要成分检测器204a)、增益分布确定器(增益分布获取器204b)以及削减器(不必要成分削减器204d)。不必要成分确定器生成关于多个视差图像的差分信息，以基于差分信息确定不必要成分。增益分布确定器基于不必要成分，确定增益分布。削减器基于视差图像、不必要成分以及增益分布，生成不必要成分被削减的不必要成分削减图像。
其他实施例
还可以通过读出并执行记录在存储介质(也可更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能、并且/或者包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由系统或装置的计算机例如读出并执行来自存储介质的计算机可执行指令以执行上述实施例中的一个或更多个的功能、并且/或者控制一个或更多个电路以执行上述实施例中的一个或更多个的功能的方法，来实现本发明的实施例。计算机可以包括一个或更多个处理器(例如，中央处理单元(CPU)，微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行计算机可执行指令。计算机可执行指令可以例如从网络或存储介质被提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)TM)、闪存装置以及存储卡等中的一个或更多个。
根据各实施例，能够提供不用多次成像，而能够有效地确定拍摄图像中包含的不必要成分的强度，以从拍摄图像削减不必要成分的图像处理装置、摄像装置以及图像处理方法。
虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

Claims (15)

1.一种图像处理装置，所述图像处理装置包括：
生成器，其被构造为生成关于多个视差图像之间的辉度值的差分的差分信息；
增益分布确定器，其被构造为依据基于所述视差图像和由所述生成器生成的所述差分信息而确定的削减率分布，来确定增益分布；
强度确定器，其被构造为基于所述增益分布，确定不必要成分的强度，所述不必要成分与重影或光斑相对应；以及
削减器，其被构造为基于所述视差图像和所述不必要成分的强度，生成削减了不必要成分的不必要成分削减图像。
2.根据权利要求1所述的图像处理装置，其特征在于，所述削减器被构造为基于所述不必要成分的强度，从通过合成所述多个视差图像而获得的合成图像削减不必要成分，以生成所述不必要成分削减图像。
3.根据权利要求1所述的图像处理装置，其特征在于，
所述增益分布确定器被构造为通过使用基于所述差分信息确定的不必要成分，确定所述增益分布。
4.根据权利要求3所述的图像处理装置，其特征在于，
所述增益分布确定器被构造为依据通过使用所述不必要成分而生成的图像的辉度值，确定所述增益分布。
5.根据权利要求4所述的图像处理装置，其特征在于，所述强度确定器被构造为基于所述增益分布和所述图像的所述辉度值，确定所述不必要成分的强度。
6.根据权利要求1所述的图像处理装置，其特征在于，通过将所述多个视差图像中的各个设置为基准图像，并计算该基准图像与除该基准图像之外的视差图像之间的差分，来获得所述差分信息。
7.根据权利要求1所述的图像处理装置，其特征在于，通过计算两个视差图像之间的差分的绝对值，来获得所述差分信息。
8.根据权利要求1至7中任一项所述的图像处理装置，其特征在于，所述多个视差图像是基于经过光学系统的光瞳中的互不相同的区域的光束而生成的图像。
9.一种摄像装置，所述摄像装置包括：
摄像设备，其被构造为光电转换经由光学系统形成的光学像，以输出多个视差图像；以及
根据权利要求1-8中的任一项所述的图像处理装置，该图像处理装置被构造为使用从所述摄像设备输出的多个视差图像来进行图像处理。
10.根据权利要求9所述的摄像装置，其特征在于，
所述多个视差图像是基于经过所述光学系统的光瞳中的互不相同的区域的光束而生成的图像，
所述摄像设备包括共享单个微透镜的多个像素，并且
所述多个像素被构造为接收经过所述光学系统的光瞳中的互不相同的区域的光束。
11.根据权利要求9所述的摄像装置，其特征在于，所述多个视差图像是通过将经过所述光学系统的光瞳中的互不相同的区域的光束，引导到所述摄像设备的互不相同的像素而生成的图像。
12.一种图像处理方法，所述图像处理方法包括如下的步骤：
生成关于多个视差图像之间的辉度值的差分的差分信息；
依据基于所述视差图像和所述差分信息而确定的削减率分布，来确定增益分布；
基于所述增益分布，确定不必要成分的强度，所述不必要成分与重影或光斑相对应；以及
基于所述视差图像和所述不必要成分的强度，生成削减了不必要成分的不必要成分削减图像。
13.一种图像处理装置，所述图像处理装置包括：
生成器，其被构造为生成关于多个视差图像之间的辉度值的差分的差分信息；
增益分布确定器，其被构造为依据基于所述视差图像和由所述生成器生成的所述差分信息而确定的削减率分布，来确定增益分布；以及
削减器，其被构造为基于所述视差图像、所述差分信息以及所述增益分布，生成削减了不必要成分的不必要成分削减图像。
14.一种摄像装置，所述摄像装置包括：
摄像设备，其被构造为光电转换经由光学系统形成的光学像，以输出多个视差图像；以及
根据权利要求13所述的图像处理装置，所述图像处理装置被构造为使用从所述摄像设备输出的多个视差图像来进行图像处理。
15.一种图像处理方法，所述图像处理方法包括如下的步骤：
生成关于多个视差图像之间的辉度值的差分的差分信息；
依据基于所述视差图像和所述差分信息而确定的削减率分布，来确定增益分布；以及
基于所述视差图像、所述差分信息以及所述增益分布，生成削减了不必要成分的不必要成分削减图像。
CN201610112223.6A 2015-03-02 2016-02-29 图像处理装置、摄像装置以及图像处理方法 Active CN105939471B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015039964A JP6494328B2 (ja) 2015-03-02 2015-03-02 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2015-039964 2015-03-02

Publications (2)

Publication Number Publication Date
CN105939471A CN105939471A (zh) 2016-09-14
CN105939471B true CN105939471B (zh) 2019-03-12

Family

ID=56847522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610112223.6A Active CN105939471B (zh) 2015-03-02 2016-02-29 图像处理装置、摄像装置以及图像处理方法

Country Status (3)

Country Link
US (1) US10116923B2 (zh)
JP (1) JP6494328B2 (zh)
CN (1) CN105939471B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2180362A1 (en) * 2007-10-02 2010-04-28 Nikon Corporation Light receiving device, focal point detecting device and imaging device
CN102972032A (zh) * 2010-06-30 2013-03-13 富士胶片株式会社 三维图像显示装置、三维图像显示方法、三维图像显示程序及记录介质

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001043070A2 (en) 1999-12-10 2001-06-14 Miller Michael I Method and apparatus for cross modality image registration
JP3951590B2 (ja) * 2000-10-27 2007-08-01 株式会社日立製作所 荷電粒子線装置
JP2003247823A (ja) 2002-02-26 2003-09-05 Seiko Precision Inc 位相差検出方法、位相差検出装置、測距装置および撮像装置
US7697749B2 (en) * 2004-08-09 2010-04-13 Fuji Jukogyo Kabushiki Kaisha Stereo image processing device
JP2008054206A (ja) 2006-08-28 2008-03-06 Matsushita Electric Ind Co Ltd ゴースト検出装置およびその関連技術
JP5234894B2 (ja) * 2007-06-28 2013-07-10 富士重工業株式会社 ステレオ画像処理装置
JP2009152921A (ja) * 2007-12-21 2009-07-09 Panasonic Corp フレア補正装置
US8345144B1 (en) 2009-07-15 2013-01-01 Adobe Systems Incorporated Methods and apparatus for rich image capture with focused plenoptic cameras
US8737755B2 (en) 2009-12-22 2014-05-27 Apple Inc. Method for creating high dynamic range image
US8411948B2 (en) 2010-03-05 2013-04-02 Microsoft Corporation Up-sampling binary images for segmentation
JP5284306B2 (ja) * 2010-03-26 2013-09-11 富士フイルム株式会社 立体撮像装置、ゴースト像処理装置およびゴースト像処理方法
CN102318331B (zh) * 2010-03-31 2014-07-30 富士胶片株式会社 立体图像拾取装置
CN102823236B (zh) * 2010-06-09 2016-01-20 富士胶片株式会社 成像装置以及图像处理方法
JP5841718B2 (ja) * 2010-10-18 2016-01-13 積水樹脂株式会社 浄化ユニット及び浄化ユニットを用いた浄化構造体
JP2012104921A (ja) * 2010-11-08 2012-05-31 Sony Corp 映像信号処理装置及び映像信号処理方法、並びにコンピューター・プログラム
JP5963422B2 (ja) * 2010-12-17 2016-08-03 キヤノン株式会社 撮像装置、表示装置、コンピュータプログラムおよび立体像表示システム
US8861888B2 (en) 2011-03-23 2014-10-14 Panasonic Corporation Image processing device, imaging device, and image processing method
US9332156B2 (en) 2011-06-09 2016-05-03 Hewlett-Packard Development Company, L.P. Glare and shadow mitigation by fusing multiple frames
JP2013179564A (ja) * 2012-02-01 2013-09-09 Canon Inc 画像処理方法、画像処理装置および撮像装置
JP5844187B2 (ja) 2012-03-23 2016-01-13 富士フイルム株式会社 画像解析装置および方法並びにプログラム
CN104429056B (zh) * 2012-08-10 2017-11-14 株式会社尼康 图像处理方法、图像处理装置、摄像装置及图像处理程序
EP3869797B1 (en) 2012-08-21 2023-07-19 Adeia Imaging LLC Method for depth detection in images captured using array cameras
US9613408B2 (en) 2014-09-25 2017-04-04 Intel Corporation High dynamic range image composition using multiple images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2180362A1 (en) * 2007-10-02 2010-04-28 Nikon Corporation Light receiving device, focal point detecting device and imaging device
CN102972032A (zh) * 2010-06-30 2013-03-13 富士胶片株式会社 三维图像显示装置、三维图像显示方法、三维图像显示程序及记录介质

Also Published As

Publication number Publication date
JP2016163171A (ja) 2016-09-05
US10116923B2 (en) 2018-10-30
JP6494328B2 (ja) 2019-04-03
US20160261849A1 (en) 2016-09-08
CN105939471A (zh) 2016-09-14

Similar Documents

Publication Publication Date Title
KR102278776B1 (ko) 이미지 처리 방법, 기기, 및 장치
CN103997599B (zh) 图像处理设备、图像拾取设备以及图像处理方法
CN101998053B (zh) 图像处理方法、图像处理设备和成像设备
US9451160B2 (en) Imaging apparatus and method for controlling the imaging apparatus
JP6555863B2 (ja) 撮像装置及び撮像装置の制御方法
US9258545B2 (en) Stereoscopic imaging apparatus
CN107948500A (zh) 图像处理方法和装置
CN107959778A (zh) 基于双摄像头的成像方法和装置
CN103098459B (zh) 立体摄像装置及阴影校正方法
US8823778B2 (en) Imaging device and imaging method
CN108462830B (zh) 摄像装置及摄像装置的控制方法
US20130113892A1 (en) Three-dimensional image display device, three-dimensional image display method and recording medium
CN108024056B (zh) 基于双摄像头的成像方法和装置
CN104144284B (zh) 成像设备和成像方法
CN108024054A (zh) 图像处理方法、装置及设备
CN107872631B (zh) 基于双摄像头的图像拍摄方法、装置及移动终端
JPWO2012002071A1 (ja) 撮像装置、画像処理装置および画像処理方法
CN105939439B (zh) 图像处理装置、摄像装置及图像处理方法
CN107431755A (zh) 图像处理设备、摄像设备、图像处理方法、程序和存储介质
US20130083169A1 (en) Image capturing apparatus, image processing apparatus, image processing method and program
CN105007405B (zh) 图像处理方法、图像处理设备和摄像设备
JP2014026051A (ja) 撮像装置、画像処理装置
JP2011035643A (ja) 多眼撮影方法および装置、並びにプログラム
JP2014036362A (ja) 撮像装置、その制御方法、および制御プログラム
JP2010154311A (ja) 複眼撮像装置及び立体画像取得方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant