CN105007405A - 图像处理方法、图像处理设备和摄像设备 - Google Patents

图像处理方法、图像处理设备和摄像设备 Download PDF

Info

Publication number
CN105007405A
CN105007405A CN201510183988.4A CN201510183988A CN105007405A CN 105007405 A CN105007405 A CN 105007405A CN 201510183988 A CN201510183988 A CN 201510183988A CN 105007405 A CN105007405 A CN 105007405A
Authority
CN
China
Prior art keywords
image
unnecessary composition
anaglyph
unnecessary
composition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510183988.4A
Other languages
English (en)
Other versions
CN105007405B (zh
Inventor
井上智晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN105007405A publication Critical patent/CN105007405A/zh
Application granted granted Critical
Publication of CN105007405B publication Critical patent/CN105007405B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/225—Image signal generators using stereoscopic image cameras using a single 2D image sensor using parallax barriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像处理方法、图像处理设备和摄像设备。所述图像处理方法包括以下步骤：基于多个视差图像的多个相对差分信息，确定所述多个视差图像中的各个视差图像所包含的第一不必要成分(S14、S25、S35、S46)；计算所述多个视差图像所包含的所述第一不必要成分的合成值(S15、S26、S36、S47)；以及基于所述第一不必要成分的合成值，降低所述多个视差图像的合成图像所包含的第二不必要成分。

Description

图像处理方法、图像处理设备和摄像设备
技术领域
本发明涉及一种用于提高拍摄图像的图像质量的图像处理方法。
背景技术
在通过诸如照相机等的摄像设备的摄像中，入射至摄像光学系统的光中的一部分可能被镜头的表面和用于保持镜头的构件反射，并且作为不必要光到达成像面。该不必要光在拍摄图像中表现为诸如幻影和闪烁等的不必要成分。当使用衍射光学元件来校正纵向(轴向)色像差和倍率色像差时，来自诸如太阳等的、摄像视角外部的高亮度物体的光，可能入射至衍射光学元件，从而在整个图像上生成作为不必要成分的不必要光。
日本特开2008-54206号公开了这样一种方法，该方法用于基于表示摄像光学系统将焦点对准被摄体时的图像(聚焦图像)和在摄像光学系统处于离焦时的图像(离焦图像)之间的差分的差分图像，检测任何幻影。然而，日本特开2008-54206号所述的方法需要进行多次摄像，因而不适于运动被摄体的静止图像拍摄和运动图像拍摄。
日本特开2011-205531号公开了一种用于基于通过单镜头立体摄像所拍摄的多个视差图像之间的比较来检测任何幻影的方法。日本特开2011-205531号所述的方法通过单个摄像获得多个视差图像，其适用于运动被摄体的静止图像拍摄和运动图像拍摄。
然而，日本特开2011-205531号所述的方法通过计算主图像和副图像之间的差分来检测任何幻影，因而在使用以三个以上的视点所拍摄的视差图像时，该方法的幻影检测效果劣化。另一方面，日本特开2011-205531号在幻影检测之后消除各视差图像中的任何幻影，这导致处理程序复杂。
发明内容
本发明提供一种能够在无需进行多次摄像的情况下，以简单且有效的方式降低拍摄图像所包含的任何不必要成分的图像处理方法、图像处理设备和摄像设备。
作为本发明的一个方面，一种图像处理方法，其包括以下步骤：确定步骤，基于多个视差图像的多个相对差分信息，确定所述多个视差图像中的各视差图像所包含的第一不必要成分；计算步骤，计算所述多个视差图像所包含的所述第一不必要成分的合成值；以及降低步骤，基于所述第一不必要成分的合成值，降低所述多个视差图像的合成图像所包含的第二不必要成分，其中，所述第二不必要成分是所述第一不必要成分的合成值或者通过将所述第一不必要成分的合成值乘以权重系数所获得的值。
作为本发明的一个方面，一种图像处理设备，其包括：不必要成分确定器，用于基于多个视差图像的多个相对差分信息，确定所述多个视差图像中的各视差图像所包含的第一不必要成分；不必要成分合成器，用于计算所述多个视差图像所包含的所述第一不必要成分的合成值；以及不必要成分降低器，用于基于所述第一不必要成分的合成值，降低所述多个视差图像的合成图像所包含的第二不必要成分，其中，所述第二不必要成分是所述第一不必要成分的合成值或者通过将所述第一不必要成分的合成值乘以权重系数所获得的值。
作为本发明的另一方面，一种摄像设备，其包括：摄像元件，用于对光学图像进行光电转换以输出多个视差图像；不必要成分确定器，用于基于所述多个视差图像的多个相对差分信息，确定所述多个视差图像中的各视差图像所包含的第一不必要成分；不必要成分合成器，用于计算所述多个视差图像所包含的所述第一不必要成分的合成值；以及不必要成分降低器，用于基于所述第一不必要成分的合成值，降低所述多个视差图像的合成图像所包含的第二不必要成分，其中，所述第二不必要成分是所述第一不必要成分的合成值或者通过将所述第一不必要成分的合成值乘以权重系数所获得的值。
通过以下参考附图对典型实施例的说明，本发明的其它特征和方面将显而易见。
附图说明
图1示出根据本发明实施例1的图像处理方法的程序。
图2A和2B示出通过根据实施例1的图像处理方法所获得的示例性输出图像。
图3是示出根据本发明各实施例的摄像系统中的摄像元件的光接收部和摄像光学系统的光瞳的关系图。
图4是根据各实施例的摄像系统的示意图。
图5是根据实施例1的摄像设备的框图。
图6A是摄像光学系统的结构图，并且图6B是在根据实施例1的摄像光学系统中产生的不必要光的说明图。
图7是穿过根据实施例1的摄像光学系统的光圈的不必要光的说明图。
图8是根据实施例1的图像处理方法的流程图。
图9示出根据实施例2的摄像元件。
图10是穿过根据实施例2的摄像光学系统的光圈的不必要光的说明图。
图11A示出根据实施例2的图像处理方法的程序。
图11B示出根据实施例2的图像处理方法的程序。
图12是根据实施例2的图像处理方法的流程图。
图13A示出根据实施例3的图像处理方法的程序。
图13B示出根据实施例3的图像处理方法的程序。
图14是根据实施例3的图像处理方法的流程图。
图15示出根据实施例4的摄像系统。
图16示出根据实施例4的摄像系统。
图17示出根据实施例4的摄像系统。
图18示出传统摄像元件。
图19A和19B示出通过图15所示的摄像系统所获得的图像。
图20示出通过图16和17所示的摄像系统所获得的图像。
图21示出根据实施例4的示例性摄像设备。
图22示出根据实施例4的示例性摄像设备。
图23是根据实施例5的摄像设备的框图。
图24是根据实施例5的摄像设备的后视图。
图25A～25C示出用于根据实施例5选择不必要成分降低处理区域和不必要成分降低处理量的例子。
图26是根据实施例5的图像处理方法的流程图。
具体实施方式
下面参考附图说明本发明的典型实施例。
在本发明的各实施例中所使用的、能够生成多个视差图像的摄像设备，包括摄像系统，其中，摄像系统将穿过摄像光学系统的相互不同的光瞳区域的多个光束，引导至摄像元件的相互不同的光接收部(像素)并且进行光电转换。
图3示出本实施例中的摄像系统中的摄像元件的光接收部和摄像光学系统的光瞳之间的关系。在图3中，ML表示微透镜，并且CF表示颜色滤波器。EXP表示摄像光学系统的出射光瞳(光瞳)，并且P1和P2表示出射光瞳EXP的区域。G1和G2表示像素(光接收部)，并且一个像素G1和一个像素G2组成一对(像素G1和G2被设置成共享一个微透镜ML)。摄像元件包括多个像素G1和G2的对(像素对)的阵列。成对的像素G1和G2相对于所共享的(即，对于每一像素对所设置的)微透镜ML，与出射光瞳EXP具有共轭关系。在各实施例中，摄像元件中所排列的像素G1和G2还被分别称为像素单元G1和G2。
图4是假定具有下面的结构的本实施例中的摄像系统的示意图，其中，在该结构中，代替图3所示的微透镜ML，在出射光瞳EXP的位置处设置薄透镜。像素G1接收穿过出射光瞳EXP的区域P1的光束。像素G2接收穿过出射光瞳EXP的区域P2的光束。OSP表示进行摄像的物点。在物点OSP处，并非必须存在物体。穿过物点OSP的光束，根据光束所穿过的光瞳(出射光瞳EXP)的位置(本实施例中的区域P1或者区域P2)，入射至像素G1和像素G2中的一个。光束穿过相互不同的光瞳区域，对应于根据光束的角度(视差)分开来自物点OSP的入射光。换句话说，对于与像素G1和G2相对应的各微透镜ML，生成基于来自像素G1的输出信号的图像和基于来自像素G2的输出信号的图像，作为相互具有视差的多个视差图像(在该例子中为视差图像对)。下面，可以将通过相互不同的光接收部(像素)接收穿过相互不同的光瞳区域的光束，称为光瞳分割。
当由于例如图3和4所示的出射光瞳EXP的位置偏移而未完全保持共轭关系时，或者当区域P1和P2相互部分重叠时，仍将所获得的多个图像当作为视差图像。
      实施例1
参考图5，说明根据本发明实施例1执行图像处理方法的摄像设备。图5是本实施例的摄像设备200的结构的框图。摄像光学系统201包括光圈201a和调焦透镜201b，并且使得来自被摄体(未示出)的光在摄像元件202上成像(会聚)。摄像元件202包括诸如CCD传感器和CMOS传感器等的光电转换元件，并且如参考图3和4所述，通过与各个区域相对应的像素(光接收部)，接收穿过相互不同的光瞳区域的光束(进行光瞳分割)。这样，摄像元件202对被摄体图像(光学图像)进行光电转换，并且输出图像信号(模拟电信号)作为多个视差图像。A/D转换器203将从摄像元件202输出的模拟电信号转换成数字信号，然后将这些数字信号输出给图像处理单元204(图像处理器)。
图像处理单元204对数字信号进行一般的图像处理，并且还进行不必要光的判断处理、以及用于降低或者消除不必要光的校正处理。在本实施例中，图像处理单元204对应于配备在摄像设备200上的图像处理设备。图像处理单元204包括不必要成分检测单元204a、不必要成分合成单元204b、视差图像合成单元204c和不必要成分降低单元204d。
不必要成分检测单元204a(不必要成分确定器)生成(获取)视差图像，并且检测(确定)视差图像中的任何不必要成分(第一不必要成分)。不必要成分合成单元204b(不必要成分合成器)计算通过不必要成分检测单元204a所检测到的不必要成分的合成值。视差图像合成单元204c(视差图像合成器)合成通过不必要成分检测单元204a所生成的视差图像。不必要成分降低单元204d(不必要成分降低器)基于通过不必要成分合成单元204b所计算出的不必要成分的合成值，降低通过视差图像合成单元204c所合成的视差图像中的任何不必要成分(第二不必要成分)。在本实施例中，第二不必要成分是第一不必要成分的合成值、或者基于第一不必要成分的合成值所获得的值。
在图像处理单元204中处理后的输出图像(图像数据)，被存储在诸如半导体存储器和光盘等的图像记录介质209中。可以将来自图像处理单元204的输出图像显示在显示单元205上。存储单元208存储图像处理单元204进行的图像处理所需的图像处理程序和各种类型的信息。
系统控制器210(控制单元)控制摄像元件202的操作、图像处理单元204的处理、以及摄像光学系统201(光圈201a和调焦透镜201b)。摄像光学系统控制单元206响应于来自系统控制器210的控制指示，对于摄像光学系统201的光圈201a和调焦透镜201b进行机械驱动。光圈201a根据所设置的光圈值(F值)来控制其开口直径。调焦透镜201b根据被摄体距离，通过自动调焦(AF)系统和手动调焦机构(未示出)来控制其位置以进行调焦(焦点控制)。状态检测单元207响应于来自系统控制器210的控制指示，获取当前摄像条件信息。在本实施例中，作为包括摄像元件202的摄像设备200的一部分，包括摄像光学系统201(与摄像设备200是一体)，但是不局限于此。如单镜头反光照相机一样，该摄像系统可以包括可拆卸地装配至摄像设备机体的可更换摄像光学系统(可更换镜头)。
图6A示出摄像光学系统201的结构，并且图6B是在摄像光学系统201中所产生的不必要光的说明图。图6A具体示出摄像光学系统201的示例性结构。在图6A中，STP表示光圈(光圈201a)，并且IMG表示成像面。图5所示的摄像元件202被设置在成像面IMG的位置处。图6B示出下面的情况：来自作为示例性高亮度物体的、以SUN所表示的太阳的强光，入射至摄像光学系统201，并且在摄像光学系统201中所包括的镜头的表面处被反射的光，作为不必要光(幻影和闪烁)到达成像面IMG。
图7示出光圈STP的区域P1和P2(光瞳区域或者光瞳分割区域)，其中，入射至图4所示的像素G1和G2的光束，穿过区域P1和P2。可以假定光圈STP对应于摄像光学系统201的出射光瞳EXP，但是实际上，通常是下面的情况：光圈STP和出射光瞳EXP相互不同。尽管来自高亮度物体(SUN)的光束几乎穿过了光圈STP的整个区域，但是要入射至像素G1和G2的光束所穿过的区域，被分成区域P1和P2(光瞳区域)。
接着参考图1、2A和2B，说明用于确定在摄像设备200所生成的拍摄图像中，作为通过不必要光的光电转换而出现的图像成分的不必要成分的方法。图1示出根据本实施例的图像处理方法的过程。图2A和2B示出通过本实施例的图像处理方法所获得的示例性输出图像。
图2A示出通过合成通过进行光瞳分割的摄像所生成的多个视差图像所获得的拍摄图像。该拍摄图像包含诸如建筑物及其周围的树等的被摄体。图2A的拍摄图像中所示的黑色矩形GST，表示作为与不必要光(幻影)相对应的图像成分的不必要成分(幻影成分)。图2A以黑色示出不必要成分GST，但是实际上，它们一定程度地透明以足以看见被摄体。不必要成分对应于拍摄被摄体上的不必要光，因而具有高于拍摄被摄体的亮度。在后述其它实施例中也是这样。
图1(A-1)和图1(B-1)分别示出通过在像素单元G1和G2处对穿过区域(光瞳区域)P1和P2的光束进行光电转换所获得的一对视差图像。近距离被摄体的一对视差图像，具有与它们的图像成分中的视差相对应的差(被摄体视差成分)。然而，对于如图1所示的风景图像中的远距离被摄体，被摄体视差成分微小。这样一对视差图像包含作为黑色矩形所示意性示出的不必要成分GST，其中，它们的位置在视差图像之间有所不同。尽管图1所示的不必要成分GST的位置相互不重叠、并且是彼此分开的，但是它们可以相互重叠、并且具有亮度差。换句话说，以黑色矩形所表示的不必要成分GST，需要具有相互不同的位置或者亮度。
图1(A-2)示出通过从一对视差图像中作为基准图像的图1(A-1)的图像，减去这一对视差图像中的图1(B-1)的图像所获得的图像(相对差分图像)。图1(A-2)的图像(相对差分图像)包含稍后所述的被摄体的视差成分及其不必要成分，作为这一对视差图像的差分(相对差分信息)。然而，对于如图1所示的风景图像中的远距离被摄体，几乎可以忽略微小的被摄体视差成分的任何影响。该差分计算获得图1(B-1)中所包含的任何不必要成分，作为负值，但是从图1(A-2)的图像丢弃该负值，以简化稍后所述的不必要成分降低处理。因此，图1(A-2)的图像(相对差分图像)，仅示出图1(A-1)的图像中所包含的任何不必要成分。
类似地，图1(B-2)示出通过从这一对视差图像中作为基准图像的图1(B-1)的图像，减去这一对视差图像中的图1(A-1)的图像所获得的图像。类似于图1(A-2)的图像，该差分计算获得图1(A-1)的图像中所包含的不必要成分，作为负值，但是从图1(B-2)的图像丢弃该负值，以简化稍后所述的不必要成分降低处理。因此，图1(B-2)的图像(相对差分图像)，仅示出图1(B-1)中所包含的不必要成分。这样，本实施例的图像处理方法进行该处理，以仅将这些不必要成分保持在相对差分图像中(换句话说，分离或者提取不必要成分)，并且确定这些不必要成分。
接着说明如图2A所示的拍摄图像的输出，其中，通过组合(合成)通过进行光瞳分割的摄像所生成的多个视差图像，获得该拍摄图像。由于如上所述，对于每一视差图像都提取任何不必要成分，因而可以通过从视差图像减去不必要成分，来降低不必要成分的量。然而，为了输出通过组合视差图像所获得的一个图像，必须对于每一视差图像执行不必要成分的降低处理，这样导致降低处理的程序复杂。在本实施例中，与用于合成视差图像以产生输出图像的处理同时地，以相同方式进行用于合成视差图像中的不必要成分的处理。在本实施例中，组合(合成)视差图像中的不必要成分，以输出通过组合(合成)视差图像所获得的图像作为最终输出图像。图1(C)示出组合(合成)不必要成分。当视差图像的组合值(合成值)被输出为输出图像时，该输出图像中所包含的不必要成分的量，与视差图像中所包含的相应不必要成分的组合值(合成值)一致。
然后，本实施例的图像处理方法对于要输出的图像进行校正处理，以消除或者降低如上所述合成的不必要成分。这样可以生成相当于如图2B所示的通过不进行光瞳分割的摄像所生成的拍摄图像的、不必要成分被降低的图像。
接着，参考图8说明本实施例的任何不必要成分(幻影成分)的确定处理(图像处理)的程序。图8示出本实施例的图像处理方法(用于确定任何不必要成分的方法)的流程图。根据作为计算机程序的图像处理程序，主要通过系统控制器210或者图像处理单元204执行图8中的各步骤。
首先，在步骤S11，系统控制器210控制包括摄像光学系统201和摄像元件202的摄像单元(摄像系统)来拍摄被摄体的图像，并且获取输入图像(拍摄图像)。然后在步骤S12，系统控制器210控制图像处理单元204，以通过使用从摄像元件202(像素单元G1和G2)所输出的、并且通过A/D转换器203进行了A/D转换的数字信号，生成一对视差图像，作为输入图像。图像处理单元204可以进行一般的显影处理和各种类型的图像校正处理以生成视差图像。
随后在步骤S13，图像处理单元204的不必要成分检测单元204a，计算这一对视差图像的相对差分信息。换句话说，不必要成分检测单元204a基于作为基准图像的图1(A-1)的图像，生成相对差分图像(图1(A-2)的图像)，并且基于作为基准图像的图1(B-1)的图像，生成相对差分图像(图1(B-2)的图像)。当如图1(A-1)和图1(B-1)所示，到达成像面的不必要光穿过摄像光学系统201的光瞳(出射光瞳)的相互不同的光瞳区域时，各不必要成分在视差图像之间位于相互不同的位置处。因此，对于单纯相对差分图像，相应不必要成分的差分值是正值或者负值。例如，在本实施例中，对于图1(A-1)的图像中所包含的任何不必要成分，从用作为基准图像的图1(A-1)的图像减去图1(B-1)的图像以生成相对差分图像(图1(A-2)的图像)，得到正值。另一方面，图1(B-1)的图像中所包含的任何不必要成分是负值。
在本实施例中，不必要成分检测单元204a通过丢弃不必要成分进行用于将该负值设置成0的处理，以简化稍后所述的不必要成分降低处理。因此，在图1(A-2)的图像中，仅图1(A-1)中所包含的任何不必要成分被检测为正值。不必要成分检测单元204a对于相对差分图像(图1(B-2)的图像)进行相同处理。因此，在图1(B-2)的图像中，仅图1(B-1)的图像中所包含的任何不必要成分被检测为正值。
在计算包含近距离被摄体的图像的相对差分信息时，不必要成分检测单元204a可以进行用于调整一对视差图像的位置的处理，以消除任何被摄体视差成分。具体地，在相对于一对视差图像中的一个视差图像来相对偏移另一个视差图像的位置的同时，不必要成分检测单元204a确定这些图像具有最大相关性的偏移位置，从而调整图像的位置。可选地，不必要成分检测单元204a可以确定视差图像之间的差的平方的和最小处的偏移位置，从而调整图像的位置。可选地，不必要成分检测单元204a可以确定相对于视差图像中的聚焦区域的用于位置调整的偏移位置。
可选地，不必要成分检测单元204a可以对各视差图像预先进行边缘检测，并且基于示出所检测到的边缘的图像，确定用于位置调整的偏移位置。该方法对于聚焦区域，检测高对比度边缘，并且对于诸如背景等的、不大可能被检测为边缘的离焦区域，检测低对比度。必须主要基于聚焦区域来进行偏移位置的确定。在生成相对差分图像时，不必要成分检测单元204a还可以进行阈值处理以消除例如噪声的影响。
随后在步骤S14，不必要成分检测单元204a将在步骤S13所生成的相对差分图像中残留的任何成分，确定为不必要成分。
随后在步骤S15，图像处理单元204的不必要成分合成单元204b组合在步骤S14对于各视差图像所确定的任何不必要成分(计算不必要成分的合成值)。具体地，不必要成分合成单元204b相加图1(A-2)的相对差分图像和图1(B-2)的相对差分图像(计算相对差分图像的合成值)。因而如图1(C)所示，生成组合的(合成的)不必要成分。
随后在步骤S16，视差图像合成单元204c组合视差图像(计算视差图像的合成值)，并且输出相当于通过不进行光瞳分割的摄像所生成的一个拍摄图像的图像。具体地，视差图像合成单元204c相加(合成)在步骤S12所生成的多个视差图像(图1(A-1)的图像和图1(B-1)的图像)，并且生成如图2A所示这样所组合的合成图像。可选地，在不生成视差图像的情况下，可以通过相加从摄像元件202(像素单元G1和G2)所输出的、并且通过A/D转换器203进行了A/D转换的数字信号，生成合成图像(视差图像的组合值)。
随后在步骤S17，图像处理单元204的不必要成分降低单元204d进行校正处理，以降低或者消除要输出的图像中的任何不必要成分。具体地，不必要成分降低单元204d生成如图2B所示的、相当于通过不进行光瞳分割的摄像所生成的拍摄图像的图像，作为要输出的图像。在本实施例中，由于在步骤S13将负值设置成0以将其丢弃，因而不必要成分仅被检测为正值。因此，不必要成分降低单元204d从图2A的图像(合成图像)简单减去图1(C)的图像(组合的(合成的)不必要成分)，从而消除不必要成分。最后在步骤S18，系统控制器210将图2B的图像(消除或者降低了不必要成分的输出图像)，存储在图像记录介质209中，或者将该图像显示在显示单元205上。
本实施例可以通过使用基于通过一个摄像所获得的多个视差图像的多个相对差分图像，确定由不必要光(幻影)所形成的任何不必要成分(幻影成分)。因此，本实施例在无需进行多次摄像的情况下，确定拍摄图像中所包含的任何不必要成分。由于在生成相对差分图像时，负值被丢弃，因而本实施例可以获得高图像质量的拍摄图像，其中，从该拍摄图像中，良好地消除或者降低了仅通过单纯差分计算所确定的不必要成分。另外，本实施例合成不必要成分(计算不必要成分的合成值)，以生成视差图像的合成图像中所包含的不必要成分，作为一个数据。因此，可以仅通过一个差分计算来执行不必要成分降低处理，因而可以简化该处理。
      实施例2
接着说明本发明的实施例2(多光瞳分割)。本实施例的摄像设备具有与参考图5所述的实施例1的摄像设备200相同的基本结构，因而省略对其的说明。
图9示出本实施例的摄像元件202a的光接收部。在图9中，ML表示微透镜。G11、G12、G13和G14是一组像素(光接收部)。摄像元件202a包括多个像素组的阵列，其中，每一像素组包括像素G11、G12、G13和G14，并且每一像素组相对于共用或者共享(换句话说，对于各像素组所设置)的微透镜ML，与出射光瞳EXP具有共轭关系。在本实施例中，将摄像元件202a中所排列的多个像素G11，统称为像素单元G11。类似地，将摄像元件202a中所排列的多个像素G12、G13和G14的组，分别统称为像素单元G12、G13和G14。摄像光学系统201的具体示例性结构与参考图6A和6B所述的实施例1的相同，因此省略对其的说明。
图10是穿过摄像光学系统201的光圈STP的不必要光的说明图。图10示出光圈STP的区域(光瞳区域或者光瞳分割区域)P1、P2、P3和P4，其中，入射至图9所示的像素G11、G12、G13和G14的光束穿过这些区域。可以假定光圈STP相当于摄像光学系统201的出射光瞳EXP，但是实际上，光圈STP和出射光瞳EXP通常相互不同。来自高亮度物体的光束，大体穿过光圈STP的整个区域，并且入射至这些像素的光束所穿过的区域，被分成区域P1、P2、P3和P4。
接着，参考图11A和11B说明用于对通过本实施例的摄像设备200所获取(生成)的拍摄图像中的不必要光进行光电转换、以确定该图像中的任何不必要成分(幻影成分)的方法。图11A和11B示出本实施例的图像处理方法的程序。在本实施例中，拍摄图像是通过合成通过进行光瞳分割的摄像所生成的多个视差图像所获得的图像，并且与图2A的图像相同。
图11A(A-1)、图11A(B-1)、图11B(C-1)和图11B(D-1)示出通过在像素单元G11、G12、G13和G14处对穿过各个区域P1、P2、P3和P4的光束进行光电转换所获得的一组视差图像。该组视差图像包含以黑色矩形示意性示出的不必要成分(幻影成分)GST。图11A(A-1)的图像和图11B(C-1)的图像中的各不必要成分GST的位置相互重叠。类似地，图11A(B-1)的图像和图11B(D-1)的图像中的各不必要成分GST的位置相互重叠。图11A(A-1)的图像和图11B(D-1)的图像中的每一不必要成分GST的位置相互不同。类似地，图11A(B-1)的图像和图11B(C-1)的图像中的每一不必要成分GST的位置相互不同。
图11A(A-2)是通过从作为基准图像的图11A(A-1)的图像减去图11A(B-1)的图像所获得的、一对视差图像的相对差分图像(图11A(A-1)的图像和图11A(B-1)的图像的差分信息)。类似于实施例1，相对差分图像包含以上所述的被摄体的视差成分及其不必要成分，作为相对差分信息。类似于实施例1，差分计算获得图11A(B-1)所包含的任何不必要成分，作为负值，但是从图11A(A-2)的图像丢弃该负值，以简化稍后所述的不必要成分降低处理。对于所有相对差分图像进行相同处理。因而，图11A(A-2)的差分图像，仅示出图11A(A-1)的图像所包含的任何不必要成分。
图11A(A-3)是通过从作为基准图像的图11A(A-1)的图像减去图11B(C-1)的图像所获得的、一对视差图像的相对差分图像(图11A(A-1)的图像和图11B(C-1)的图像的差分信息)。类似于实施例1，相对差分图像包含以上所述的被摄体的视差成分及其不必要成分，作为相对差分信息。如上所述，由于图11A(A-1)的图像和图11B(C-1)的图像中的各不必要成分的位置相互重叠，因而在相对差分信息中不会检测到该不必要成分。这样，存在于这些图像中相同位置处的不必要成分，不会出现在相对差分图像中。因此，存在仅基于两个图像的差分信息不能被检测到的不必要成分。另一方面，当如本实施例一样，获取多个视差图像的相对差分信息时，仅包含在一个视差图像中的不必要成分的有效检测，仅需要该不必要成分处于与基准图像中的不同的位置处，如图11A(B-1)的图像中的一样。
图11A(A-4)是通过从作为基准图像的图11A(A-1)的图像减去图11B(D-1)的图像所获得的、一对视差图像的相对差分图像(图11A(A-1)的图像和图11B(D-1)的图像的差分信息)。图11A(A-1)的图像和图11B(D-1)的图像中每一不必要成分的位置相互不同。因此类似于图11A(A-2)，图11A(A-4)的相对差分图像，仅示出图11A(A-1)的图像中所包含的任何不必要成分。
图11A(A-5)的图像是在作为以二维数据所获取的相对差分信息的、图11A(A-2)、图11A(A-3)和图11A(A-4)的相对差分图像中各像素位置处的多个相对差分信息中，所选择的最大值的信息(相对差分最大值信息或者图像信息)。在本实施例中，该图像信息是相当于图11A(A-2)或者图11A(A-4)的图像的信息，并且包含图11A(A-1)中所包含的各不必要成分的位置和量。
类似地，图11A(B-2)是通过从作为基准图像的图11A(B-1)的图像减去图11A(A-1)的图像所获得的一对视差图像的相对差分图像。图11A(B-3)是通过从作为基准图像的图11A(B-1)的图像减去图11B(C-1)的图像所获得的一对视差图像的相对差分图像。图11A(B-4)是通过从作为基准图像的图11A(B-1)的图像减去图11B(D-1)的图像所获得的一对视差图像的相对差分图像。图11A(B-5)的图像是在作为以二维数据所获取的相对差分信息的、图11A(B-2)、图11A(B-3)和图11A(B-4)的相对差分图像中各像素位置处的多个相对差分信息中，所选择的最大值的图像信息(相对差分最大值信息)。在本实施例中，该图像信息是相当于图11A(B-2)或者图11A(B-3)的图像的信息，并且包含图11A(B-1)中所包含的各不必要成分的位置和量。
类似地，图11B(C-2)是通过从作为基准图像的图11B(C-1)的图像减去图11A(A-1)的图像所获得的一对视差图像的相对差分图像。图11B(C-3)是通过从作为基准图像的图11B(C-1)的图像减去图11A(B-1)的图像所获得的一对视差图像的相对差分图像。图11B(C-4)是通过从作为基准图像的图11B(C-1)的图像减去图11B(D-1)的图像所获得的一对视差图像的相对差分图像。图11B(C-5)的图像是在作为以二维数据所获取的相对差分信息的、图11B(C-2)、图11B(C-3)和图11B(C-4)的相对差分图像中各像素位置处的多个相对差分信息中，所选择的最大值的图像信息(相对差分最大值信息)。在本实施例中，该图像信息是相当于图11B(C-3)或者图11B(C-4)的图像的信息，并且包含图11B(C-1)中所包含的各不必要成分的位置和量。
类似地，图11B(D-2)是通过从作为基准图像的图11B(D-1)的图像减去图11A(A-1)的图像所获得的一对视差图像的相对差分图像。图11B(D-3)是通过从作为基准图像的图11B(D-1)的图像减去图11A(B-1)的图像所获得的一对视差图像的相对差分图像。图11B(D-4)是通过从作为基准图像的图11B(D-1)的图像减去图11B(C-1)的图像所获得的一对视差图像的相对差分图像。图11B(D-5)的图像是在作为以二维数据所获取的相对差分信息的、图11B(D-2)、图11B(D-3)和图11B(D-4)的相对差分图像中各像素位置处的多个相对差分信息中，所选择的最大值的图像信息(相对差分最大值信息)。在本实施例中，该图像信息是相当于图11B(D-2)或者图11B(D-4)的图像的信息，并且包含图11B(D-1)中所包含的各不必要成分的位置和量。
接着说明如图2A所示的、通过平均并合成通过进行光瞳分割的摄像所生成的多个视差图像所获得的拍摄图像的输出。由于如上所述，对于每一视差图像都提取任何不必要成分，因而通过从视差图像减去不必要成分，可以降低不必要成分的量。然而，为了输出通过平均视差图像所获得的一个图像，需要对每一视差图像执行不必要成分的降低处理，这导致降低处理的程序复杂。在本实施例中，与用于合成视差图像以产生输出图像的处理同时地，以相同方式进行用于合成视差图像中的不必要成分的处理。在本实施例中，计算各视差图像中的不必要成分的平均值，然后进行合成处理以输出通过平均视差图像所获得的图像，作为最终输出图像。图11B(E)示出平均并合成后的不必要成分(图像)。当输出视差图像的平均值作为输出图像时，输出图像中所包含的不必要成分的量，与视差图像中所包含的相应不必要成分的平均值一致。
然后，图像处理单元204对要输出的图像进行校正处理，以消除或者降低如上所述合成的不必要成分。这样可以生成相当于如图2B所示的通过不进行光瞳分割的摄像所生成的拍摄图像的、不必要成分被降低的图像。
接着，参考图12说明本实施例中用于确定任何不必要成分(幻影成分)的处理(图像处理)的程序。图12示出本实施例中的图像处理方法(用于确定任何不必要成分的方法)的流程图。根据作为计算机程序的图像处理程序，主要通过系统控制器210或者图像处理单元204执行图12中的各步骤。
图12中的步骤S21和S22分别与实施例1所述的图8中的步骤S11和S12相同，因而省略对其的说明。随后在步骤S23，不必要成分检测单元204a使用作为基准图像的一组中的每一视差图像，计算多个相对差分信息。换句话说，不必要成分检测单元204a基于作为基准图像的图11A(A-1)的图像，生成相对差分图像(图11A(A-2)、图11A(A-3)和图11A(A-4)的图像)。不必要成分检测单元204a基于作为基准图像的图11A(B-1)的图像，生成相对差分图像(图11A(B-2)、图11A(B-3)和图11A(B-4)的图像)。不必要成分检测单元204a基于作为基准图像的图11B(C-1)的图像，生成相对差分图像(图11B(C-2)、图11B(C-3)和图11B(C-4)的图像)。不必要成分检测单元204a基于作为基准图像的图11B(D-1)的图像，生成相对差分图像(图11B(D-2)、图11B(D-3)和图11B(D-4)的图像)。
当到达成像面的不必要光，穿过相互不同的摄像光学系统201的光瞳的光瞳区域时，如图11A(A-1)和图11A(B-1)所示，在视差图像之间，各不必要成分位于相互不同的位置处。因此，对于单纯相对差分图像，相应不必要成分的差分值是正值或者负值。例如，在本实施例中，从作为基准图像所使用的图11(A-1)的图像减去图11(B-1)的图像以生成相对差分图像(图11A(A-2)的图像)，这样对于图11A(A-1)的图像中所包含的任何不必要成分，得出正值。另一方面，图11A(B-1)的图像中所包含的任何不必要成分是负值。在本实施例中，不必要成分检测单元204a通过丢弃负值来进行用于将负值设置成0的处理，以简化稍后说明的不必要成分降低处理。因此，在图11A(A-2)的图像中，仅图11A(A-1)的图像中所包含的任何不必要成分被检测为正值。不必要成分检测单元204a对于各相对差分图像进行相同处理，并且仅各基准图像中所包含的任何不必要成分被检测为正值。另一方面，当图11A(A-1)和图11B(C-1)的图像中的不必要成分的位置相互重叠时，如上所述，在相对差分信息中，不会检测到该不必要成分。
随后在步骤S24，不必要成分检测单元204a提取在步骤S23所生成的、使用各视差图像所获得的相对差分图像中各像素位置处的多个相对差分信息中的最大值，作为基准图像。接着说明用于提取多个相对差分信息中的最大值的效果。在本实施例中，图11A(A-1)的图像和图11B(C-1)的图像中的各不必要成分的位置相互重叠。这样，根据光学系统和高亮度光源的位置，在一些情况下，视差图像中的不必要成分的位置相互重叠。在这种情况下，计算两个图像之间的差分，这样对于该不必要成分得出0值。因此，存在仅基于两个图像的差分信息不能被检测到的不必要信息。在本实施例中，获取多个视差图像的相对差分信息。因此，如图11A(A-2)的图像一样，仅包含在一个视差图像中的任何不必要成分的有效检测，仅需要该不必要成分处于与基准图像中不同的位置处，如图11A(B-1)的图像一样。如上所述，当获取多个相对差分信息、并且提取这多个相对差分信息中的相对差分最大值信息时，仅一个图像中所包含的任何不必要成分的位置和量的可靠检测，仅需要该不必要成分处于视差图像中的不同位置处。
然后在步骤S25，不必要成分检测单元204a将在步骤S24所提取的最大值(相对差分最大值图像中的残留成分，即，相对差分最大值信息)，确定为不必要成分。
随后在步骤S26，图像处理单元204的不必要成分合成单元204b平均在步骤S25所确定的、视差图像中的不必要成分的相对差分最大值信息。具体地，不必要成分合成单元204b执行图11A(A-5)、图11A(B-5)、图11B(C-5)和图11B(D-5)的相对差分最大值信息的平均值计算，并且生成如图11B(E)所示的、进行了平均值处理的不必要成分。
随后在步骤S27，图像处理单元204的视差图像合成单元204c平均视差图像，并且输出一个相当于通过不进行光瞳分割的摄像所生成的拍摄图像的图像。具体地，视差图像合成单元204c对于在步骤S22所生成的图11A(A-1)、图11A(B-1)、图11B(C-1)和图11B(D-1)的视差图像进行平均值计算(平均值处理)。结果，如图2A所示，生成进行了平均值处理的合成图像。可选地，可以在不生成视差图像的情况下，通过计算从摄像元件202(像素单元G1和G2)所输出的、并且通过A/D转换器203进行了A/D转换的数字信号的平均值，来生成合成图像。
随后在步骤S28，图像处理单元204的不必要成分降低单元204d进行校正处理，以降低或者消除要输出的图像中的任何不必要成分。具体地，不必要成分降低单元204d生成如图2B所示的、相当于通过不进行光瞳分割的摄像所生成的拍摄图像的图像，作为要输出的图像。然后，由于在步骤S23将负值设置成0而将其丢弃，因而不必要成分仅被检测为正值。因此，不必要成分降低单元204d从图2A的合成图像简单减去如图11B(E)所示的进行了平均值计算(平均值处理)的不必要成分，从而消除该不必要成分。最后在步骤S29，系统控制器210将如图2B所示的、消除或者降低了不必要成分的输出图像，存储在图像记录介质209中，或者将输出图像显示在显示单元205上。
本实施例可以通过使用基于通过一个摄像所获得的多个视差图像的多个相对差分图像，确定由不必要光(幻影)所形成的任何不必要成分(幻影成分)。因此，本实施例可以在无需进行多次摄像的情况下，确定拍摄图像中所包含的任何不必要成分。由于在生成相对差分图像时丢弃了负值，因而本实施例可以获得从其良好地消除或者降低了仅通过单纯差分计算所确定的不必要成分的、高图像质量的拍摄图像。本实施例计算多个相对差分信息，并且计算作为在它们中所选择的最大值的相对差分最大值信息，从而当多个视差图像中的不必要成分的位置相互重叠时，有效检测并降低任何不必要成分。另外，由于本实施例合成通过合成视差图像所获得的图像中所包含的不必要成分，以生成作为一个数据的不必要成分，因而可以仅通过一个差分计算来执行不必要成分降低处理，并且由此简化了该处理。
      实施例3
接着说明本发明的实施例3。本实施例中的摄像设备具有与参考图5所述的实施例1中的摄像设备200相同的基本结构，因而省略对其的说明。本实施例中的摄像元件具有参考图9所述的实施例2中的摄像元件202a(其光接收部)相同的结构，因而省略对其的说明。本实施例的摄像光学系统的具体示例性结构，与参考图6A和6B所述的实施例1的摄像光学系统201的结构相同，因而省略对其的说明。在本实施例中，光圈STP和入射至像素G11、G12、G13和G14的光束所穿过的区域P1、P2、P3和P4(光瞳区域)之间的关系，与实施例2中的相同，因而省略对其的说明。
接着参考图13A和13B，说明用于通过本实施例的摄像设备200所获取(生成)的拍摄图像中的不必要光进行光电转换以确定任何不必要成分(幻影成分)的方法。图13A和13B示出本实施例的图像处理方法的程序。
图13A(A-1)、图13A(B-1)、图13B(C-1)和图13B(D-1)示出通过在像素单元G11、G12、G13和G14处对穿过各个区域(光瞳区域)P1、P2、P3和P4的光束进行光电转换所获得的一组视差图像。该组视差图像包含如黑色矩形所示意性示出的不必要成分GST。图13A(A-1)和图13B(C-1)的一部分(左上部分)中的不必要成分GST的位置相互重叠。图13A(B-1)和图13B(D-1)的一部分(左上部分)中的不必要成分GST的位置相互重叠。图13A(A-1)和图13A(B-1)中的每一不必要成分的位置相互不同。
图13A(A-2)的图像是通过从作为基准图像的图13A(A-1)的图像减去图13A(B-1)的图像所获得的一对视差图像的相对差分图像。与实施例1相同，该相对差分图像包含上述的被摄体的视差成分及其不必要成分，作为相对差分信息。类似于实施例1，差分计算获得图13A(B-1)中所包含的作为负值的任何不必要成分，但是该负值被从图13A(A-2)的图像丢弃，以简化稍后所述的不必要成分降低处理。对于稍后所述的所有相对差分图像也是一样。因此，图13A(A-2)的差分图像，示出图13A(A-1)所包含的不必要成分。
图13A(A-3)的图像是通过从作为基准图像的图13A(A-1)的图像减去图13B(C-1)的图像所获得的一对视差图像的相对差分图像。类似于实施例1，该相对差分图像包含上述的被摄体的视差成分及其不必要成分，作为相对差分信息。如上所述，图13A(A-1)的图像和图13B(C-1)的图像的一部分(左上部分)中的不必要成分的位置相互重叠。因此，在相对差分信息中不会检测到该左上部分中的不必要成分。这样，存在于这些图像中的相同位置处的不必要成分，不会出现在相对差分图像中。
图13A(A-4)的图像是通过从作为基准图像的图13A(A-1)的图像减去图13B(D-1)的图像所获得的一对视差图像的相对差分图像。在图13A(A-1)的图像和图13B(D-1)的图像中，每一不必要成分的位置相互不同。因此，类似于图13A(A-2)的图像，图13A(A-4)的图像仅示出图13A(A-1)的图像中所包含的不必要成分。
图13A(A-5)的图像是在作为以二维数据数据所获取的相对差分信息的，图13A(A-2)、图13A(A-3)和图13A(A-4)的相对差分图像中各像素位置处的多个相对差分信息中，所选择的最小值的图像信息(相对差分最小值信息或者图像)。在本实施例中，该图像信息是相当于图13A(A-3)的图像的信息，并且包含图13A(A-1)中所包含的不必要成分的一部分的位置和量。
类似地，图13A(B-2)的图像是通过从作为基准图像的图13A(B-1)的图像减去图13A(A-1)的图像所获得的一对视差图像的相对差分图像。图13A(B-3)的图像是通过从作为基准图像的图13A(B-1)的图像减去图13B(C-1)的图像所获得的一对视差图像的相对差分图像。图13B(B-4)的图像是通过从作为基准图像的图13A(B-1)的图像减去图13B(D-1)的图像所获得的一对视差图像的相对差分图像。图13A(B-5)的图像是在作为以二维数据所获取的相对差分信息的，图13A(B-2)、图13A(B-3)和图13A(B-4)的相对差分图像中各像素位置处的多个相对差分信息中，所选择的最小值的图像信息。在本实施例中，该图像信息是相当于图13A(B-4)的图像的信息，并且包含图13A(B-1)中所包含的不必要成分的一部分的位置和量。
类似地，图13B(C-2)的图像是通过从作为基准图像的图13B(C-1)的图像减去图13A(A-1)的图像所获得的一对视差图像的相对差分图像。图13B(C-3)的图像是通过从作为基准图像的图13B(C-1)的图像减去图13A(B-1)的图像所获得的一对视差图像的相对差分图像。图13B(C-4)的图像是通过从作为基准图像的图13B(C-1)的图像减去图13B(D-1)的图像所获得的一对视差图像的相对差分图像。图13B(C-5)的图像是在作为以二维数据所获取的相对差分信息的，图13B(C-2)、图13B(C-3)和图13B(C-4)的相对差分图像中各像素位置处的多个相对差分信息中，所选择的最小值的图像信息。在本实施例中，该图像信息是相当于图13B(C-2)的图像的信息，并且不会检测到图13B(C-1)中所包含的不必要成分的位置和量。
类似地，图13B(D-2)的图像是通过从作为基准图像的图13B(D-1)的图像减去图13A(A-1)的图像所获得的一对视差图像的相对差分图像。图13B(D-3)的图像是通过从作为基准图像的图13B(D-1)的图像减去图13A(B-1)的图像所获得的一对视差图像的相对差分图像。图13B(D-4)的图像是通过从作为基准图像的图13B(D-1)的图像减去图13B(C-1)的图像所获得的一对视差图像的相对差分图像。图13B(D-5)的图像是在作为以二维数据所获取的相对差分信息的，图13B(D-2)、图13B(D-3)和图13B(D-4)的相对差分图像中各像素位置处的多个相对差分信息中，所选择的最小值的图像信息。在本实施例中，该图像信息是相当于图13B(D-3)的图像的信息，并且不会检测到图13B(D-1)中所包含的不必要成分的位置和量。
接着说明通过组合(合成)通过进行光瞳分割的摄像所生成的多个视差图像所获得的、如图2A所示的拍摄图像的输出。由于如上所述，对于每一视差图像提取任何不必要成分，因而可以通过从视差图像减去该不必要成分，降低不必要成分的量。然而，为了输出通过组合视差图像所获得的一个图像，需要对于每一视差图像都执行不必要成分的降低处理，这导致降低处理的程序复杂。在本实施例中，与用于合成视差图像以产生输出图像的处理同时地，以相同方式进行用于合成视差图像中的不必要成分的处理。在本实施例中，组合视差图像中的不必要成分以输出通过组合视差图像所获得的图像，作为最终输出图像。图13B(E)示出组合(合成)的不必要成分。
然后，图像处理单元204对要输出的图像进行校正处理，以消除或者降低如上所述合成的不必要成分。因此，可以降低除重叠成分以外的不必要成分(图13B(E)所示的成分)。这样可以生成不必要成分的量被降低的、并且相当于通过不进行光瞳分割的摄像所生成的拍摄图像的图像。
接着参考图14，说明本实施例的任何不必要成分(幻影成分)的确定处理(图像处理)的程序。图14示出本实施例中的图像处理方法(用于确定任何不必要成分的方法)的流程图。根据作为计算机程序的图像处理程序，主要通过系统控制器210或者图像处理单元204执行图14中的各步骤。
图14中的步骤S31～S33，分别与实施例2所述的图12中的步骤S21～S23相同，因而省略对其的说明。随后在步骤S34，图像处理单元204的不必要成分检测单元204a提取在步骤S33所生成的、使用各视差图像所获得的相对差分图像中各像素位置处的多个相对差分信息中的最小值，作为基准图像。接着，说明用于提取这多个相对差分信息中的最小值的效果。在本实施例中，在图13A(A-1)的图像和图13B(C-1)的图像中，不必要成分的一部分的位置相互重叠。这样，根据光学系统和高亮度光源的位置，在一些情况下，视差图像中的不必要成分的位置相互重叠。在这种情况下，两个图像之间的差分计算，对于不必要成分的这一部分得到0值。接着，不同于实施例2，多个相对差分信息中的最小值的计算，可以检测到在所有视差图像中具有不同位置的不必要成分，如图13A和图13B所示，但是不能检测到具有重叠位置的不必要成分。这对应于仅存在于多个视差图像中的一个中的不必要成分的检测。这还对应于从不必要成分分离通过近距离被摄体的摄像所生成的、并且存在于三个视差图像中的任何被摄体视差成分。换句话说，在对于近距离被摄体的图像的不必要成分降低处理中，可以大大降低被摄体视差成分的影响。这样，获取多个相对差分信息，并且提取这多个相对差分信息中的相对差分最小值信息，从而检测除具有重叠位置的任何不必要成分以外的不必要成分、并且同时分离三个视差图像的被摄体视差成分。
随后在步骤S35，不必要成分检测单元204a确定在步骤S34所提取的最小值(相对差分最小值图像中的残留成分，即，相对差分最小值信息)，作为不必要成分。
随后在步骤S36，图像处理单元204的不必要成分合成单元204b组合作为在步骤S35所确定的各视差图像中的不必要成分的、多个相对差分最小值信息。具体地，不必要成分合成单元204b执行图13A(A-5)、图13A(B-5)、图13B(C-5)和图13B(D-5)的多个相对差分最小值信息的组合值计算，并且生成如图13B(E)所示的组合的不必要成分。
随后在步骤S37，图像处理单元204的视差图像合成单元204c组合视差图像，并且输出相当于通过不进行光瞳分割的摄像所生成的拍摄图像的一个图像。具体地，视差图像合成单元204c执行在步骤S32所生成的图13A(A-1)、图13A(B-1)、图13B(C-1)和图13B(D-1)的视差图像的组合值计算，并且生成如图2A所示组合的合成图像。可选地，在不生成视差图像的情况下，可以通过计算从摄像元件202(像素单元G1和G2)所输出的、并且通过A/D转换器203进行了A/D转换的数字信号的组合值，生成合成图像。
随后在步骤S38，图像处理单元204的不必要成分降低单元204d进行校正处理，以降低或者消除要输出的图像中的任何不必要成分。具体地，不必要成分降低单元204d生成相当于通过不进行光瞳分割的摄像所生成的拍摄图像的图像，作为要输出的图像。然后，由于在步骤S33将负值设置成0以将其丢弃，因而仅将不必要成分检测为正值。因此，不必要成分降低单元204d从图2A的合成图像简单减去进行了组合值计算处理的、图13B(E)中的不必要成分，从而消除该不必要成分。最后在步骤S39，系统控制器210将消除或者降低了不必要成分的输出图像，存储在图像记录介质209中，或者将输出图像显示在显示单元205上。
本实施例可以通过使用基于通过一个摄像所获得的多个视差图像的多个相对差分图像，确定由不必要光(幻影)所形成的任何不必要成分(幻影成分)。因此，本实施例可以在无需进行多次摄像的情况下，确定拍摄图像中所包含的任何不必要成分。由于在生成相对差分图像时，负值被丢弃，因而本实施例可以获得从其良好地消除或者降低了仅通过单纯差分计算所确定的不必要成分的、高图像质量的拍摄图像。本实施例计算多个相对差分信息，并且计算作为所选择的最小值的相对差分最小值信息，从而从被摄体视差成分中的一部分分离不必要成分，以实现不必要成分的有效检测和降低。另外，由于本实施例合成通过合成视差图像所获得的图像中所包含的不必要成分，以生成作为一个数据的不必要成分，因而可以仅通过一个差分计算来执行不必要成分降低处理，因而可以简化该处理。
      实施例4
接着说明本发明的实施例4。Ren.Ng et al.，"Light Field Photography witha Hand-held Plenoptic Camera"(Stanford Tech Report CTSR 2005-2)公开一种“全光照相机”。“全光照相机”可以通过使用被称为“光场摄像”的技术来获取来自被摄体的光束的位置和角度的信息。
图15示出本实施例的摄像设备的摄像系统，并且示出“全光照相机”的摄像系统的结构。摄像光学系统301包括主镜头(摄像镜头)301b和光圈301a。微透镜阵列301c被设置在摄像光学系统301的成像位置处，并且摄像元件302被设置在微透镜阵列301c的后方(更接近图像)。微透镜阵列301c具有作为分离器(分离单元)的功能，其中，分离器防止穿过例如被摄体空间中的点A的光束，与穿过摄像元件302上的点A附近的点的光束混合。图15示出通过相互不同的像素接收来自点A的上光束、主光束和下光束。因此，可以根据穿过点A的光束的角度，分开来获取这些光束。
Todor Georgive et al.,"Full Resolution Light Field Rendering"(AdobeTechnical Report January 2008)公开了获取光束的位置和角度的信息(光场)的、图16和17所示的摄像系统的结构。
对于图16所示的摄像系统的结构，微透镜阵列301c被设置在主镜头301b的成像位置的后方(更接近图像)，以使得穿过点A的光束在摄像元件302上再成像，从而根据光束的角度分开获取光束。对于图17所示的摄像系统的结构，微透镜阵列301c被设置在主镜头301b的成像位置的前方(更接近被摄体)，以使得穿过点A的光束在摄像元件302上成像，从而根据光束的角度分开获取光束。在这两个结构中，根据在光瞳中的穿过区域(穿过位置)，分开穿过摄像光学系统301的光瞳的光束。在这些结构中，摄像元件302可以使用如图18所示的传统摄像元件，其中，传统摄像元件包括一个微透镜ML和一个光接收部G1，并且微透镜ML和光接收部G1相对于颜色滤波器CF处于共轭关系。
图15所示的摄像光学系统301产生如图19A所示的图像。图19B是图19A中的排列圆圈中的一个的放大图。一个圆圈表示光圈STP，并且该圈内部被分成多个像素Pj(j＝1、2、3、……)。该结构使得能够获取一个圆圈内的光瞳的强度分布。使用图16和17所示的摄像光学系统301获得图20所示的视差图像。可以通过重新配置和重构图19A所示的图像中的圆圈(光圈STP)中的像素Pj，来获得如图20所示的视差图像。
如实施例1～3所述，具有偏置分布的、诸如穿过光瞳的幻影等的不必要光，横跨光瞳。因此，通过光瞳的分割区域进行摄像的本实施例的摄像设备，可以使用实施例1～3所述的图像处理方法来确定不必要成分。
在另一例子中，通过利用如图21所示的多个照相机拍摄同一被摄体的图像，获得视差图像。因此，这些照相机可以使用实施例1～3所述的图像处理方法。C1、C2和C3表示分开的摄像设备，但是它们可以被当作为通过大的光瞳的三个分割区域进行摄像的单个摄像设备。可选地，如图22所示，可以通过向一个摄像设备设置多个摄像光学系统OSj(j＝1、2、3、……)，实现光瞳分割。
      实施例5
接着说明本发明的实施例5。尽管这些实施例中的每一个说明了用于确定或者消除图像的整个区域上的不必要成分的情况，但是在许多情况下，仅在如图2所示的图像的一部分中生成不必要成分。由于用户可以容易地确定图像中包含不必要成分的区域，因而通过用户指定要进行降低处理的图像的区域，这样导致各实施例中的处理负荷降低。限制进行降低处理的区域，这样可以降低在近距离被摄体的摄像中所发生的被摄体视差成分的影响。由于通过合成将不必要成分作为一个数据，因而可以容易地进行通过诸如参数处理等的、通过乘以权重系数对不必要成分消除量的调整。
参考图23，说明本实施例中执行图像处理方法的摄像设备。图23是本实施例的摄像设备200a的结构的框图。摄像设备200a与实施例1的摄像设备200的不同在于，摄像设备200a包括信息输入单元211(输入单元)。其它结构与摄像设备200的相同，因而省略对其的说明。
信息输入单元211检测用户所选择和输入的期望的摄像条件的信息(诸如光圈值和曝光时间等)，并且将该信息(数据)提供给系统控制器210。信息输入单元211检测用户所选择和输入的处理范围(图像区域)的信息以从其消除期望的不必要成分，并且将该信息(数据)提供给系统控制器210。信息输入单元211检测用户所选择和输入的期望的不必要成分消除量的信息，并且将该信息(数据)提供给系统控制器210。
接着参考图24，说明通过本实施例的摄像设备所进行的不必要成分消除区域和消除量的调整。图24是本实施例的摄像设备200a的后视图。
设置触摸面板20以启动各种功能菜单，诸如记录图像大小、日期和时间、自定义功能、要消除不必要成分的处理范围和不必要成分消除量的显示等。设置触摸面板20还用于设置从功能菜单所选择的项。设置触摸面板20还用于选择用以进行例如记录图像大小、日期和时间、自定义功能、要消除不必要成分的处理范围和不必要成分消除量的设置的项。在本实施例中，触摸面板20被用作为图13中的信息输入单元211。
用户操作触摸面板20以选择要消除期望的不必要成分的处理范围(图像区域)。具体地，用户操作触摸面板20以选择和设置显示图像中的区域，例如，图25A～25C中以实线包围的区域。用户操作触摸面板20以选择期望的不必要成分的消除量。具体地，用户操作触摸面板20以选择和设置图24和25A～25C所示的、不必要成分消除量的调整指示器10的区域。
接着参考图26，说明本实施例中的任何不必要成分(幻影成分)的确定处理(图像处理)的程序。图26示出本实施例中的图像处理方法(用于确定任何不必要成分的方法)的流程图。根据作为计算机程序的图像处理程序，主要通过系统控制器210或者图像处理单元204执行图26中的各步骤。
图26中的步骤S41和S42分别与实施例1所述的图8中的步骤S11和S12相同，因而省略对其的说明。随后在步骤S43，信息输入单元211指定用户所设置的、在其中要进行不必要成分消除或者降低处理的期望的处理范围(图像区域)。具体地，用户通过操作触摸面板20，用实线来指定图25A所示的输出图像中仍要进行不必要成分消除处理的、包含不必要成分的区域。除仅在步骤S43所指定的区域中进行步骤S23～S27的处理以外，步骤S44～S48与实施例2所述的图12中的步骤S23～S27相同。因此省略对其的说明。
随后在步骤S49，信息输入单元211检测并指定用户所设置的期望的不必要成分消除量。具体地，用户通过操作触摸面板20，在图25A～25C所示的不必要成分消除量的调整指示器10的范围内，指定消除量。在本实施例中，在不必要成分消除量的调整指示器10的左端，用于乘以不必要成分的权重系数是0，并且生成如图25A所示的、仍要进行不必要成分消除处理的图像。另一方面，在不必要成分消除量的调整指示器10的右端，用于乘以不必要成分的权重系数是1，并且生成如图25C所示的、从其完全消除了不必要成分的图像。在不必要成分消除量的调整指示器10的两端，用于乘以不必要成分的权重系数在0和1之间，并且生成如图25B所示的、从其消除了与权重系数相对应的不必要成分的部分的图像。在本实施例中，用于乘以不必要成分的权重系数最大是1，但是当还需进一步消除不必要成分的量时，在该乘法中可以使用大于1的权重系数，以执行比所检测到的不必要成分的量更大的量的消除处理。
除仅在步骤S43所指定的范围内进行与在步骤S49所指定的权重系数的乘法以外，图26中的步骤S50和S51与图12中的步骤S28和S29相同。因此省略对其的说明。
本实施例可以通过使用基于通过一个摄像所获得的多个视差图像的多个相对差分图像，确定由不必要光(幻影)所形成的任何不必要成分(幻影成分)。换句话说，可以在无需进行多次摄像的情况下，确定拍摄图像中所包含的任何不必要成分。由于在生成相对差分图像时丢弃负值，因而本实施例可以获得从其良好地消除或者降低了仅通过单纯差分计算所确定的不必要成分的、高图像质量的拍摄图像。本实施例计算多个相对差分信息，并且计算作为所选择的最大值的相对差分最大值信息，从而在多个视差图像中的不必要成分的位置相互重叠时，有效检测和降低任何不必要成分。另外，由于本实施例合成通过合成视差图像所获得的图像中所包含的不必要成分，以作为一个数据生成不必要成分，因而可以仅通过一个差分计算来执行不必要成分降低处理，由此可以简化该处理。此外，可以容易地进行诸如参数处理等的、与权重系数相乘的不必要成分消除量的调整。
尽管上述各实施例说明了用于消除或者降低不必要成分的情况，但是可以基于所确定的不必要成分的信息，进行用于添加其它不必要成分(第三不必要成分)的校正处理。例如，图20所示的多个视差图像包括具有幻影(不必要成分)的图像和不具有幻影的图像。可以将所确定的幻影添加至各视差图像以在重构图像中保持该幻影。可选地，可以向重构图像添加幻影。
各实施例说明了使用本发明的图像处理方法的摄像设备(图像处理设备所装配的)，但是可以通过安装在个人计算机中的图像处理软件来进行本发明的图像处理方法。在这种情况下，个人计算机对应于本发明的图像处理设备。个人计算机接受(获取)通过摄像设备所生成的、仍要进行图像恢复处理的图像(输入图像)，并且输出通过利用图像处理程序进行图像恢复处理所获得的图像。
如上所述，各实施例中的图像处理设备(图像处理单元204)，包括不必要成分确定器(不必要成分检测单元204a)、不必要成分合成器(不必要成分合成单元204b)和不必要成分降低器(不必要成分降低单元204d)。不必要成分确定器基于多个视差图像的多个相对差分信息，确定多个视差图像各自中的第一不必要成分(步骤S14、S25、S35和S46)。不必要成分合成器计算视差图像中的第一不必要成分的合成值(步骤S15、S26、S36和S47)。不必要成分降低器基于第一不必要成分的合成值，降低视差图像的合成图像中所包含的第二不必要成分(步骤S17、S28、S38和S50)。
图像处理设备(或者摄像设备)优选通过单个摄像操作来生成视差图像(步骤S12、S22、S32和S42)。不必要成分确定器优选将各视差图像设置为基准图像，以通过计算基准图像和除基准图像以外的视差图像之间的差分，获得各个相对差分信息(步骤S13、S23、S33和S44)。
不必要成分确定器优选获取通过使用视差图像中的、包含所要确定的任何不必要成分(第一不必要成分)的一个视差图像作为基准图像所获得的各个相对差分信息，作为丢弃了任何负值的二维数据。然后，不必要成分确定器提取在二维数据中各位置处的多个相对差分信息中的最大值或者最小值，并且确定基准图像中所包含的第一不必要成分的位置和量。可选地，代替最大值或者最小值，可以使用预定阈值。
不必要成分合成器优选计算视差图像中的第一不必要成分的和或者平均值，作为合成值。第二不必要成分优选是第一不必要成分的合成值。可选地，不必要成分降低单元可以从合成图像减去通过将第一不必要成分的合成值乘以权重系数所获得的值，以降低第二不必要成分。
图像处理设备根据用户通过输入单元(信息输入单元211)的操作(指定)，优选设置包含要降低的第二不必要成分的图像区域(步骤S43)。然后，不必要成分降低单元降低这样所设置的图像区域中的第二不必要成分。不必要成分确定器优选调整视差图像的位置。视差图像优选是由穿过摄像光学系统201的光瞳的相互不同的区域(光瞳区域)的多个光束所形成的多个图像。图像处理设备更优选基于第一不必要成分的信息，向合成图像添加第三不必要成分。
各实施例可以提供一种能够在无需进行多次摄像(进行一次摄像)的情况下，以简单且有效的方式降低拍摄图像中所包含的任何不必要成分的图像处理方法、图像处理设备和摄像设备。因此，可以获取具有高图像质量的拍摄图像。
      其它实施例
还可以通过读出并执行记录在存储介质(还可被更全面地称为“非暂时性计算机可读存储介质”)上的计算机可执行指示(例如，一个以上的程序)以进行一个以上的上述实施例的功能的、并且/或者包括用于进行一个以上的上述实施例的功能的电路(例如，专用集成电路(ASIC))的系统或设备的计算机、以及通过下面的方法来实现本发明的方面，其中，通过系统或设备的计算机例如从存储介质读出并执行计算机可执行指示以进行一个以上的上述实施例的功能、以及/或者通过控制一个以上的电路以进行一个以上的上述实施例的功能来进行该方法。计算机可以包含一个以上的处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括分离的计算机或者分离的处理器的网络以读出和执行计算机可执行指示。可以通过例如网络或者存储介质将计算机可执行指示提供给计算机。存储介质可以包括例如一个以上的硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如紧凑型光盘(CD)、数字多功能光盘(DVD)或蓝光光盘(BD)TM等)、闪存存储器装置和存储卡等。
尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (16)

1.一种图像处理方法，其包括以下步骤：
确定步骤，基于多个视差图像的多个相对差分信息，确定所述多个视差图像中的各视差图像所包含的第一不必要成分；
计算步骤，计算所述多个视差图像所包含的所述第一不必要成分的合成值；以及
降低步骤，基于所述第一不必要成分的合成值，降低所述多个视差图像的合成图像所包含的第二不必要成分，
其中，所述第二不必要成分是所述第一不必要成分的合成值或者通过将所述第一不必要成分的合成值乘以权重系数所获得的值。
2.根据权利要求1所述的图像处理方法，其中，还包括通过单个摄像操作来生成所述多个视差图像的步骤。
3.根据权利要求1所述的图像处理方法，其中，还包括如下步骤：将各视差图像设置作为基准图像，以通过计算所述基准图像和除所述基准图像以外的视差图像之间的差分，来获得各个相对差分信息。
4.根据权利要求1所述的图像处理方法，其中，所述确定步骤包括：
获取通过使用所述视差图像中包含所要确定的所述第一不必要成分的视差图像作为基准图像所获得的各个相对差分信息，作为丢弃了负值的二维数据；以及
提取所述二维数据中各位置处的多个相对差分信息中的最大值，以确定所述基准图像所包含的所述第一不必要成分的位置和量。
5.根据权利要求1所述的图像处理方法，其中，所述确定步骤包括：
获取通过使用所述视差图像中包含所要确定的所述第一不必要成分的视差图像作为基准图像所获得的各个相对差分信息，作为丢弃了负值的二维数据；以及
提取所述二维数据中各位置处的多个相对差分信息中的最小值，以确定所述基准图像所包含的所述第一不必要成分的位置和量。
6.根据权利要求1所述的图像处理方法，其中，所述计算步骤包括计算所述多个视差图像所包含的所述第一不必要成分的和，作为所述合成值。
7.根据权利要求1所述的图像处理方法，其中，所述计算步骤包括计算所述多个视差图像所包含的所述第一不必要成分的平均值，作为所述合成值。
8.根据权利要求1所述的图像处理方法，其中，还包括如下步骤：
设置包含要降低的所述第二不必要成分的图像区域，其中，
所述降低步骤包括降低所设置的图像区域所包含的所述第二不必要成分。
9.根据权利要求1所述的图像处理方法，其中，还包括调整所述视差图像的位置的步骤。
10.根据权利要求1所述的图像处理方法，其中，所述多个视差图像是由穿过摄像光学系统的光瞳的相互不同的区域的多个光束所形成的多个图像。
11.根据权利要求1～10中任一项所述的图像处理方法，其中，还包括基于所述第一不必要成分的信息，向所述合成图像添加第三不必要成分的步骤。
12.一种图像处理设备，其包括：
不必要成分确定器，用于基于多个视差图像的多个相对差分信息，确定所述多个视差图像中的各视差图像所包含的第一不必要成分；
不必要成分合成器，用于计算所述多个视差图像所包含的所述第一不必要成分的合成值；以及
不必要成分降低器，用于基于所述第一不必要成分的合成值，降低所述多个视差图像的合成图像所包含的第二不必要成分，
其中，所述第二不必要成分是所述第一不必要成分的合成值或者通过将所述第一不必要成分的合成值乘以权重系数所获得的值。
13.根据权利要求12所述的图像处理设备，其中，还包括视差图像合成器，所述视差图像合成器用于生成所述多个视差图像的所述合成图像。
14.一种摄像设备，其包括：
摄像元件，用于对光学图像进行光电转换以输出多个视差图像；
不必要成分确定器，用于基于所述多个视差图像的多个相对差分信息，确定所述多个视差图像中的各视差图像所包含的第一不必要成分；
不必要成分合成器，用于计算所述多个视差图像所包含的所述第一不必要成分的合成值；以及
不必要成分降低器，用于基于所述第一不必要成分的合成值，降低所述多个视差图像的合成图像所包含的第二不必要成分，
其中，所述第二不必要成分是所述第一不必要成分的合成值或者通过将所述第一不必要成分的合成值乘以权重系数所获得的值。
15.根据权利要求14所述的摄像设备，其中，
所述多个视差图像是由穿过摄像光学系统的光瞳的相互不同的区域的多个光束所形成的多个图像，
所述摄像元件包括共享一个微透镜的多个像素，以及
所述像素接收穿过所述摄像光学系统的光瞳的相互不同的区域的所述光束。
16.根据权利要求14或者15所述的摄像设备，其中，还包括输入单元，通过该输入单元来指定包含要降低的所述第二不必要成分的图像区域，以及，所述不必要成分降低器从所述多个视差图像的所述合成图像降低通过所述输入单元所指定的所述图像区域所包含的所述第二不必要成分。
CN201510183988.4A 2014-04-18 2015-04-17 图像处理方法、图像处理设备和摄像设备 Active CN105007405B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-086379 2014-04-18
JP2014086379A JP6214457B2 (ja) 2014-04-18 2014-04-18 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体

Publications (2)

Publication Number Publication Date
CN105007405A true CN105007405A (zh) 2015-10-28
CN105007405B CN105007405B (zh) 2018-07-06

Family

ID=53016432

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510183988.4A Active CN105007405B (zh) 2014-04-18 2015-04-17 图像处理方法、图像处理设备和摄像设备

Country Status (4)

Country Link
US (1) US9894343B2 (zh)
EP (1) EP2934005B1 (zh)
JP (1) JP6214457B2 (zh)
CN (1) CN105007405B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111292233A (zh) * 2018-12-06 2020-06-16 成都微晶景泰科技有限公司 透镜阵列图像拼接方法、装置及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6365153B2 (ja) * 2014-09-10 2018-08-01 株式会社ソシオネクスト 画像符号化方法および画像符号化装置
JP2016208438A (ja) * 2015-04-28 2016-12-08 ソニー株式会社 画像処理装置及び画像処理方法
CN111292232B (zh) * 2018-12-06 2023-08-15 成都微晶景泰科技有限公司 透镜阵列图像拼接方法、装置及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004094225A (ja) * 1998-06-05 2004-03-25 Seiko Epson Corp 液晶装置及び電子機器
CN1893674A (zh) * 2005-07-07 2007-01-10 三星电子株式会社 提供全视差图像的2d/3d可转换立体显示器
US7277118B2 (en) * 1999-08-09 2007-10-02 Fuji Xerox Co., Ltd. Method and system for compensating for parallax in multiple camera systems
CN101210895A (zh) * 2006-12-28 2008-07-02 清华同方威视技术股份有限公司 一种双视角扫描辐射成像的方法及系统
CN101902658A (zh) * 2010-07-19 2010-12-01 张德忠 无重影多目立体图像摄取与重现系统
US20110051240A1 (en) * 2009-08-28 2011-03-03 Unique Instruments Co.Ltd. Parallax barrier 3d image display method
CN201766676U (zh) * 2010-07-19 2011-03-16 张德忠 立体图像摄取与重现系统
JP2011205531A (ja) * 2010-03-26 2011-10-13 Fujifilm Corp 立体撮像装置、ゴースト像処理装置およびゴースト像処理方法
KR20120072146A (ko) * 2010-12-23 2012-07-03 한국전자통신연구원 파노라마 영상을 이용한 입체 영상 생성 장치 및 방법
CN102572468A (zh) * 2010-11-02 2012-07-11 索尼公司 图像处理器、图像处理方法和摄像装置
CN102957844A (zh) * 2011-08-12 2013-03-06 索尼公司 图像处理设备、图像处理方法和图像处理程序
CN103269435A (zh) * 2013-04-19 2013-08-28 四川长虹电器股份有限公司 双目转多目虚拟视点合成方法
CN103477186A (zh) * 2011-04-07 2013-12-25 松下电器产业株式会社 立体摄像装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006128066A2 (en) 2005-05-26 2006-11-30 Real D Ghost-compensation for improved stereoscopic projection
JP2008054206A (ja) 2006-08-28 2008-03-06 Matsushita Electric Ind Co Ltd ゴースト検出装置およびその関連技術
US8625881B2 (en) 2008-08-15 2014-01-07 Reald Inc. Enhanced ghost compensation for stereoscopic imagery
WO2011108207A1 (ja) 2010-03-01 2011-09-09 コニカミノルタオプト株式会社 ゴースト検出装置およびそれを用いる撮像装置、ゴースト検出方法、および、ゴースト除去方法
CN103098459B (zh) 2010-09-22 2016-11-09 富士胶片株式会社 立体摄像装置及阴影校正方法
EP2753062A4 (en) * 2011-08-30 2015-02-11 Fujifilm Corp IMAGING DEVICE AND IMAGING METHOD
JP2013179564A (ja) 2012-02-01 2013-09-09 Canon Inc 画像処理方法、画像処理装置および撮像装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004094225A (ja) * 1998-06-05 2004-03-25 Seiko Epson Corp 液晶装置及び電子機器
US7277118B2 (en) * 1999-08-09 2007-10-02 Fuji Xerox Co., Ltd. Method and system for compensating for parallax in multiple camera systems
CN1893674A (zh) * 2005-07-07 2007-01-10 三星电子株式会社 提供全视差图像的2d/3d可转换立体显示器
CN101210895A (zh) * 2006-12-28 2008-07-02 清华同方威视技术股份有限公司 一种双视角扫描辐射成像的方法及系统
US20110051240A1 (en) * 2009-08-28 2011-03-03 Unique Instruments Co.Ltd. Parallax barrier 3d image display method
JP2011205531A (ja) * 2010-03-26 2011-10-13 Fujifilm Corp 立体撮像装置、ゴースト像処理装置およびゴースト像処理方法
CN201766676U (zh) * 2010-07-19 2011-03-16 张德忠 立体图像摄取与重现系统
CN101902658A (zh) * 2010-07-19 2010-12-01 张德忠 无重影多目立体图像摄取与重现系统
CN102572468A (zh) * 2010-11-02 2012-07-11 索尼公司 图像处理器、图像处理方法和摄像装置
KR20120072146A (ko) * 2010-12-23 2012-07-03 한국전자통신연구원 파노라마 영상을 이용한 입체 영상 생성 장치 및 방법
CN103477186A (zh) * 2011-04-07 2013-12-25 松下电器产业株式会社 立体摄像装置
CN102957844A (zh) * 2011-08-12 2013-03-06 索尼公司 图像处理设备、图像处理方法和图像处理程序
CN103269435A (zh) * 2013-04-19 2013-08-28 四川长虹电器股份有限公司 双目转多目虚拟视点合成方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111292233A (zh) * 2018-12-06 2020-06-16 成都微晶景泰科技有限公司 透镜阵列图像拼接方法、装置及存储介质
CN111292233B (zh) * 2018-12-06 2023-08-15 成都微晶景泰科技有限公司 透镜阵列图像拼接方法、装置及存储介质

Also Published As

Publication number Publication date
US9894343B2 (en) 2018-02-13
CN105007405B (zh) 2018-07-06
US20150304633A1 (en) 2015-10-22
EP2934005B1 (en) 2019-10-09
EP2934005A1 (en) 2015-10-21
JP6214457B2 (ja) 2017-10-18
JP2015207851A (ja) 2015-11-19

Similar Documents

Publication Publication Date Title
US8890972B2 (en) Image capturing apparatus and image processing method
JP5421829B2 (ja) 撮像装置
KR101566081B1 (ko) 화상 처리 장치, 화상 처리 방법 및 기억 매체
US8823778B2 (en) Imaging device and imaging method
US10049439B2 (en) Image processing method, image processing apparatus, image capturing apparatus and non-transitory computer-readable storage medium
US20140211050A1 (en) Imaging device, imaging method and recording medium
CN108462830A (zh) 摄像装置及摄像装置的控制方法
CN105007405A (zh) 图像处理方法、图像处理设备和摄像设备
JP6516510B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2011035643A (ja) 多眼撮影方法および装置、並びにプログラム
JP2010136058A (ja) 電子カメラおよび画像処理プログラム
JP4949717B2 (ja) 合焦位置決定装置及び方法
JP2007225897A (ja) 合焦位置決定装置及び方法
CN106993110B (zh) 摄像设备及其控制方法
WO2013005477A1 (ja) 撮像装置、立体画像撮像方法及びプログラム
CN109964479A (zh) 摄像设备及其控制方法
US10447937B2 (en) Image processing apparatus, imaging apparatus, image processing method, and storage medium that perform image processing based on an image processing parameter set for a first object area, and information on a positional relationship between an object in a second object area and an object in the first object area
JP2011197278A (ja) 立体撮像装置
JP6497977B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP6198663B2 (ja) 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体
CN105939471B (zh) 图像处理装置、摄像装置以及图像处理方法
JP2014063190A (ja) 撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant