CN107395924B - 图像处理装置、图像捕获装置和图像处理方法 - Google Patents

图像处理装置、图像捕获装置和图像处理方法 Download PDF

Info

Publication number
CN107395924B
CN107395924B CN201710332926.4A CN201710332926A CN107395924B CN 107395924 B CN107395924 B CN 107395924B CN 201710332926 A CN201710332926 A CN 201710332926A CN 107395924 B CN107395924 B CN 107395924B
Authority
CN
China
Prior art keywords
image
optical
pixel
parameter value
image capturing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710332926.4A
Other languages
English (en)
Other versions
CN107395924A (zh
Inventor
市原昂
井上智晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN107395924A publication Critical patent/CN107395924A/zh
Application granted granted Critical
Publication of CN107395924B publication Critical patent/CN107395924B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/676—Bracketing for image capture at varying focusing conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理装置、图像捕获装置和图像处理方法。图像处理装置处理第一图像和第二图像以便检测与第一图像中的目标像素对应的第二图像中的对应像素。第一图像具有第一参数值，并且第二图像具有与第一参数值不同的第二参数值。第一参数值和第二参数值是用于捕获第一图像和第二图像的图像捕获系统的光学参数的值。图像处理装置包括：基于第一参数值和第二参数值中的每一个能够改变的预定范围设定作为第二图像中的要搜索对应像素的部分区域的二维搜索区域的区域设定器；和通过搜索二维搜索区域来检测对应像素的检测器。

Description

图像处理装置、图像捕获装置和图像处理方法
技术领域
本发明涉及用于在具有用于捕获图像的不同光学参数的多个图像中检测对应点的图像处理技术。
背景技术
通过在具有用于捕获图像的不同光学参数的多个图像中检测作为同一被摄体(object)的像素的对应点，基于对应点的位置的对应关系可以计算被摄体空间中的到被摄体的距离(被摄体距离)并且可以组合多个图像。
例如，可以从多个不同的视点(viewpoint)捕获图像的立体照相机可以基于在各个视点处捕获的多个图像之中的对应点的各图像的坐标差量计算视差量，并且基于视差量计算被摄体距离。日本专利公开No.(“JP”)2015-103885公开了包括多个具有不同的焦距的单焦点捕获系统并且可以以多个不同的视角获得对焦(in-focus)图像的复眼(compoundeye)图像捕获装置。该复眼图像捕获装置在通过多个图像捕获系统获得的多个图像中检测对应点，使这些图像彼此组合并且计算被摄体距离。JP 2014-107539公开了使具有不同的焦距并且在多个焦点位置处捕获的多个图像彼此对准、组合这些图像并且生成深焦(deepfocus)(全焦点(pan-focus))图像的图像捕获装置。
一般地，通过从另一搜索图像搜索与多个图像之中的一个基准图像(参考图像)中的任意目标图像对应的对应像素来检测对应点。并且，在搜索图像中仅在基于多个图像捕获系统中的光学参数设定(计算)的核线(epipolar line)上搜索对应像素。
但是，当精确的光学参数在多个图像捕获系统中的每一个中不是已知时，对应像素可能不位于基于光学参数在搜索图像中设定的核线上。在这种情况下，仅核线上的对应像素的搜索将导致检测对应像素的失败或者降低对应像素的检测精度。另一方面，当在整个搜索图像而不是核线中搜索对应像素时，处理负荷变得过重。
发明内容
本发明提供即使当没有精确地已知用于捕获图像的光学参数时也可以以减少的处理负荷检测多个图像之间的对应点的图像处理装置、图像处理方法等。
根据本发明的一个方面的图像处理装置被配置为处理第一图像和第二图像以便检测与第一图像中的目标像素对应的第二图像中的对应像素。第一图像和第二图像是通过图像捕获获得的。第一图像具有第一参数值，并且第二图像具有与第一参数值不同的第二参数值。第一参数值和第二参数值是用于捕获第一图像和第二图像的图像捕获系统的光学参数的值。图像处理装置包括：区域设定器，被配置为基于第一参数值和第二参数值中的每一个能够改变的预定范围设定作为第二图像中的要搜索对应像素的部分区域的二维搜索区域；和检测器，被配置为通过搜索二维搜索区域来检测对应像素。
从参考附图对示例性实施例的以下描述，本发明的其它特征将变得清晰。
附图说明
图1A-1C是用于解释根据本发明的一个实施例的二维搜索区域的设定方法的示图。
图2是用于解释块匹配方法的示图。
图3是用于解释两个图像捕获系统中的同一被摄体的图像捕获面上的坐标的对应关系的示图。
图4示出通过图3所示的两个图像捕获系统获得的图像上的核线。
图5是用于解释具有不同入射光瞳位置的两个图像捕获系统中的同一被摄体上的图像捕获面上的坐标的对应关系的示图。
图6示出通过图5所示的两个图像捕获系统获得的图像上的核线。
图7是用于解释聚类(clustering)处理的示图。
图8示出两个图像捕获系统中的光轴形成角度时的核线。
图9示出两个图像捕获系统具有不同的焦距时的核线。
图10是示出根据本发明的第一和第二实施例的复眼图像捕获装置的配置的框图。
图11A是根据本发明的第一和第二实施例的复眼图像捕获装置中的图像捕获单元的透视图。
图11B是根据本发明的第一和第二实施例的复眼图像捕获装置中的图像捕获单元的前视图。
图12是在根据第一实施例的复眼图像捕获装置1中执行的图像处理流程图。
图13是在根据第二实施例的复眼图像捕获装置2中执行的图像处理流程图。
图14是示出根据本发明的第三实施例的立体图像捕获装置的配置的框图。
图15是在根据第三实施例的立体图像捕获装置中执行的图像处理流程图。
图16是示出根据本发明的第四实施例的立体图像捕获装置的配置的框图。
图17是在根据第四实施例的立体图像捕获装置中执行的图像处理流程图。
具体实施方式
现在将参考附图给出本发明的实施例的描述。
在描述具体实施例(第一实施例到第四实施例)之前，将给出被配置为检测作为多个图像中的对应被摄体的对应点的对应点检测处理(图像处理方法)的描述。对应点是多个图像中的同一被摄体的像素或者记录来自同一被摄体的光的像素。根据本实施例的对应点检测处理从一个搜索图像(第二图像)搜索与多个图像中的另一基准图像(第一图像)中的任意目标像素对应的对应像素。虽然以下的描述假定一个目标像素和一个对应像素，但是一组像素或者两个或更多个像素可以被设定为目标像素和对应像素中的每一个。
图2示出在不同的观察位置处捕获的作为基准图像的第一图像IMG1和作为搜索图像的第二图像IMG2。以各图像(像素单元(unit))的中心为原点，定义各图像中的像素位置的坐标(X，Y)。X是水平方向(X方向)的坐标，Y是垂直方向(Y方向)的坐标。F1(X，Y)是第一图像IMG1中的位于坐标(X，Y)处的像素的信号值(像素值)，F2(X，Y)是第二图像IMG2中的位于坐标(X，Y)处的像素的信号值(像素值)。
通过在第二像素IMG2中搜索与像素值F1(X，Y)最类似的像素值，可以检测与第一图像IMG1中的任意目标像素(像素值F1(X，Y))对应的第二图像IMG2中的对应像素。在图2中，第一图像IMG1和第二图像IMG2中的阴影图像分别是目标像素和对应像素。在以下的描述中，目标图像将被称为所关注的图像(addressed image)，对应图像将被称为所关注的对应图像。
使用所谓的块匹配方法，以从第二图像IMG2搜索与第一图像IMG1中的任意像素最类似的像素。现在将给出块具有3×1像素的尺寸时的块匹配方法的描述。第一图像IMG1中的任意目标像素(坐标(X，Y))和两个像素(左右坐标(X-1，Y)和(X+1，Y))的三个像素值是F1(X，Y)、F1(X-1，Y)和F1(X+1，Y)。沿X方向从坐标(X，Y)偏移k的第二图像IMG2中的像素的像素值是F2(X+k，Y)、F2(X+k-1，Y)和F2(X+k+1，Y)。在这种情况下，第一图像IMG1中的位于坐标(X，Y)处的所关注的像素和第二图像IMG2中的位于坐标(X+k，Y)处的像素之间的像素值的类似度E被定义为下式(1)：
Figure BDA0001292142360000051
通过依次改变该式(1)中的k的值，计算类似度E的值，并且，使类似度E最小化的坐标(X+k，Y)是与第一图像IMG1中的所关注的像素对应的第二图像IMG2中的所关注的对应像素的坐标。用于计算类似度E的多个像素或以上的三个像素范围将被称为块。在式(1)中，块具有X方向上三个像素且Y方向上一个像素的范围，但是该范围可以在Y方向包含多个像素。块的形状是任意的。在式(1)中，类似度E由作为像素值差的平方和的SSD(经平方的差的和)表达，但可以由SAD(绝对差的和)表达。可替代地，类似度E可以由NCC(规范化的互相关)表达，并且，所关注的对应像素被设定为提供最接近1的类似度的像素。因此，通过依次改变k来搜索提供最小类似度E的所关注的对应像素的坐标(X+k，Y)的处理将被称为搜索所关注的对应像素(或检测对应点)。虽然本实施例通过仅在X方向上依次改变坐标来计算类似度E，但是另一实施例可以通过仅在Y方向(X方向和Y方向中的至少一个)上依次改变坐标来计算类似度E。在其中搜索所关注的对应像素的第二图像IMG2中的区域将被称为搜索区域。
该对应点检测处理提供(或检测)第一图像IMG1和第二图像IMG2中的对应点(诸如所关注的像素和所关注的对应像素)所位于的坐标。一旦对应点被指定，就可以获得坐标(位置)的相对关系或对应点之间的位置关系的信息。基于关于位置关系的信息，第一和第二图像可以彼此组合以生成组合图像或深焦图像，并且，可以基于第一和第二图像中的对应点之间的位置差计算被摄体空间中的到被摄体的距离(或被摄体距离)。
图2示出第二图像IMG2中的所关注的对应像素的坐标仅沿X方向从第一图像IMG1中的所关注的图像的坐标偏移，或者核线与X方向平行。核线是图像上的可以存在所关注的对应像素的线。在这种情况下，可以沿着核线执行搜索，所述核线沿X方向延伸。这里，N是第二图像IMG2中的X方向上的像素数量，通过依次改变k的值，N次计算类似度E。为了从第二图像IMG2搜索与对第一图像IMG1中的所有像素设定的目标像素中的每一个对应的所关注的对应像素，总计算次数变为N×(N×M)次，这里，M是第二图像IMG2中的Y方向上的像素数量。
为了仅从直线状搜索区域搜索所关注的对应像素，需要捕获第一图像IMG1和第二图像IMG2时的图像捕获系统的精确光学参数。光学参数包含图像捕获系统中的光学系统的焦距、光学系统中的入射光瞳的位置、光学系统中的前侧主点的位置、光学系统中的光轴的方向、对焦距离、图像捕获系统中的图像传感器的中心与光学系统中的光轴之间的位置差以及图像传感器围绕光学系统中的光轴的旋转角。如图2所示，当在不同的观察位置处捕获图像时，光学参数包含观察位置之间的距离。
光学参数中的入射光瞳的位置(以下称为“入射光瞳位置”)是从与光学系统中的光轴正交的任意参考平面到光学系统中的入射光瞳之间的距离。前侧主点的位置(以下，称为“前侧主点位置”)是从与光学系统中的光轴正交的任意参考平面到光学系统中的前侧主点之间的距离。对焦距离是在捕获被摄体的图像时光学系统聚焦在被摄体上的距离。
在用于捕获第一图像的光学参数的值(第一参数值)和用于捕获第二图像的光学参数的值(第二参数值)中的至少一个改变的情况下，在对于第二图像中的同一所关注的像素的搜索图像中，核线改变。将在后面描述该核线改变。即使当用于在第二图像中搜索所关注的对应像素的核线基于与实际光学参数值不同的光学参数值被设定时，也不能在核线上找到所关注的对应像素，并且，错误的像素可能被不正确地检测为所关注的对应像素。不正确地检测的所关注的对应像素在核线上提供最小的类似度E，但是记录来自与发出被所关注的像素记录的光的被摄体不同的被摄体的光。
现在将给出随着光学参数改变的核线的改变的描述。现在假定从两个不同的观察位置通过两个图像捕获系统捕获图像。现在将参考图3给出两个理想的成像系统具有除观察位置以外的相同的光学参数值的情况的核线的描述。图3中的CA和CB是具有不同的观察位置的两个图像捕获系统。在图3中，O是原点，水平方向是X方向，垂直方向是Y方向。交替长短虚线OAa和OAb是图像捕获系统CA和CB中的光轴，OBj是被摄体。EPa和EPb是图像捕获系统CA和CB中的入射光瞳，APa和APb是图像捕获系统CA和CB中的出射光瞳。H1a和H1b是成像系统CA和CB中的前侧主平面，H1a和H1b是成像系统CA和CB的后侧主平面。实线PRa和PRb是从被摄体入射到图像捕获系统CA和CB的光线中的、穿过成像系统CA和CB中的光学系统中的孔径光阑的中心的光线(以下，称为“孔径中心光线”)。虚线SRa和SRb是从被摄体入射到图像捕获系统CA和CB的光线中的、穿过成像系统CA和CB中的光学系统中的前后侧主点的光线(以下，称为“主点光线”)。
由于图像捕获系统CA和AB除了观察位置以外具有完全相同的光学参数值，所以光轴OAa和OAb彼此平行。入射光瞳EPa和EPb位于相同的Z坐标处，出射光瞳APa和APb位于相同的Z坐标处，前侧主平面H1a和H1b位于相同的Z坐标处，后侧主平面H2a和H2b位于相同的Z坐标处。在图像捕获系统CA中，作为前侧主平面H1a和光轴OAa之间的交点的前侧主点具有坐标(-D/2，0)。在图像捕获系统CB中，作为前侧主平面H1b和光轴OAb之间的交点的前侧主点具有坐标(+D/2，0)。在图像捕获系统CA中，入射光瞳EPa和光轴OAa之间的交点具有坐标(-D/2，eo)。在图像捕获系统CB中，入射光瞳EPb和光轴OAb之间的交点具有坐标(+D/2，eo).f。换句话说，图像捕获系统CA与CB之间的基线长度是D，前侧主平面H1a和H1b与入射光瞳EPa和EPb之间的Z轴方向的距离是eo。
虚线Pf示出作为聚焦图像捕获系统CA和CB的平面的对焦平面，并且，入射光瞳平面EPa和EPb与对焦平面Pf之间的作为Z轴方向的距离的对焦距离是Zf。对焦平面Pf与被摄体Obj之间的Z轴方向的距离为Zo，并且，被摄体Obj位于坐标(-x，eo+Zf+Zo)处。
假定“f”是图像捕获系统CA和CB中的焦距。然后，图像捕获系统CA和CB中的每一个中的图像捕获面(图像传感器)上的被摄体图像的坐标“a”和“b”满足下式(2)。坐标“a”和“b”与离图像捕获系统CA和CB中的图像捕获面的中心(光轴OAa和OAb穿过)的距离对应。
Figure BDA0001292142360000081
本实施例描述了在二维空间中坐标“a”和“b”满足的关系，但可以将该关系扩展到三维空间。假定坐标(X，Y)表达图像捕获系统CA和CB中的每一个的图像捕获面上的坐标。(ax，by)和(bx，by)是图像捕获系统CA和CB中的图像捕获面上的被摄体图像的坐标，Dx和Dy是基线长度的X方向和Y方向的分量。然后，即使当用“ax”代替“a”、用“bx”代替“b”且用“Dx”代替“D”时，式(2)也成立。即使当用“ay”代替“a”、用“by”代替“b”且用“Dy”代替“D”时，式(2)也成立。
在式(2)中，当用任意不同值Zo1和Zo2代替Zo时连接坐标b1与坐标b2的线是核线。假定位于坐标“a”处的像素被设定为所关注的像素。然后，所关注的对应像素位于核线上。
图4示出了由成像系统CA和CB获得的第一和第二图像IMGa和IMGb。在图4中，各图像的中心被设定为原点，垂直方向为Y轴方向，水平方向为X轴方向。实线epi1示出了第二图像IMGb中的核线，其中第一图像IMGa中的位于点a1处的像素被设定为所关注的图像，并且所关注的对应像素位于核线epi1上。实线epi2示出了第二图像IMGb中的核线，其中第一图像IMGa中的位于点a2处的像素被设定为所关注的图像，并且所关注的对应像素位于核线epi2上。核线epi1和epi2上的点pa1和pa2表示第二图像IMBb中的位于与第一图像IMBa中的所关注的像素a1和a2相同的坐标处的像素。
可以在第二图像IMGb中搜索核线epi1和epi2，以便检测与所关注的像素a1和a2对应的所关注的对应像素。当图像捕获系统CB相对于图像捕获系统CA定位的方向或基线方向作为光学参数已知时，可以指定核线上的所关注的对应像素相对于与所关注的像素相同的坐标的方向。换句话说，对于第二图像IMGb中的与所关注的像素相同的坐标，所关注的对应像素总是位于与基线方向相反的方向上。因此，如第二图像IMGb中的虚线reg1和reg2所示，可以基于基线方向限定核线epi1和epi2中的每一个上的所关注的对应像素的搜索区域。
现在将参考图5给出使用观察位置不同且光学参数中的入射光瞳位置(其是从与光轴OAa和OAb正交的平面到入射光瞳EPa和EPb的距离)不同的两个图像捕获系统时的核线的描述。图5和图3中的共同的附图标记标明相同的要素。在图5中的两个图像捕获系统CA和CB中，从被摄体Obj到入射光瞳EPa的距离与从被摄体Obj到入射光瞳EPb的距离不同。换句话说，入射光瞳EPa和EPb在Z轴方向位于不同坐标处。
图像捕获系统CA中的入射光瞳EPa与对焦平面Pf之间的Z轴方向上的距离为Zf，并且，对焦平面Pf与被摄体Obj之间的Z轴方向上的距离为Zo。被摄体Obj位于坐标(-x，eo+Zf+Zo)处。图像捕获系统CB中的入射光瞳EPb比图像捕获系统CA中的入射光瞳EPa更靠近被摄体Obj。入射光瞳EPa和EPb之间的距离为Δep。
假定“f”是图像捕获光学系统CA和CB中的每一个的焦距。然后，图像捕获系统CA和CB中的图像捕获面上的被摄体图像的坐标“a”和“b”满足式(3)。
Figure BDA0001292142360000091
当在式(3)中用任意不同值Zo1和Zo2代替Zo时，连接坐标b1与坐标b2的线是核线。当位于坐标“a”处的像素被设定为所关注的图像时，所关注的对应像素位于核线上。
图6示出了由图像捕获系统CA和CB获得的第一和第二图像IMGa和IMGb。图6中的坐标系与图4中的坐标系类似地定义。实线epi1表示第一图像IMGa中的位于点a1处的像素被设定为所关注的像素时第二图像IMGb中的核线，并且所关注的对应像素位于核线epi1上。实线epi2表示第一图像IMGa中的位于点a2处的像素被设定为所关注的像素时第二图像IMGb中的核线，并且所关注的对应像素位于核线epi2上。核线epi1和epi2上的点pa1和pa2表示第二图像IMBb中的位于与第一图像IMBa中的所关注的像素a1和a2的坐标相同的坐标处的像素。当图像捕获系统CB相对于图像捕获系统CA定位的作为光学参数的基线方向已知时，如第二图像IMGb上的虚线reg1和reg2所示，可以限定核线epi1和epi2上的所关注的对应像素的搜索区域。
当如图6所示图像捕获系统CA和CB具有不同的入射光瞳位置时，与除观察位置以外的所有光学参数彼此相等的图4不同，核线epi1和epi2在第二图像IMGb中倾斜。随着基线长度D和入射光瞳位置的偏移量Δep中的每一个改变，图6所示的核线epi1和epi2中的每一个的斜率变动。因此，如上所述，即使当基于与实际光学参数值不同的光学参数值设定用于搜索第二图像中的所关注的对应像素的核线时，由于实际核线改变，因此，也不能在核线上找到真实的所关注的对应像素。换句话说，可能由于差错而将错误的像素检测为所关注的对应像素。
因此，用于计算核线的光学参数值对于用于获得第一和第二图像IMGa和IMGb中的每一个的图像捕获系统中的实际和精确的光学参数来说具有误差，真实的所关注的对应像素不能被精确检测。当未校准包含图像捕获系统的对焦状态和热状态的所有状态时，或者当各光学参数值由于光学元件、机械部件和驱动器的公差而从预期值发散(scatter)时，不能获得精确的光学参数值。
为了即使在未获得精确的光学参数值并且正确的核线未知时也检测到真实的所关注的对应像素，必须搜索作为搜索区域的第二图像IMGb中的整个区域(全部像素)。更具体地，对于第一图像IMGa中的一个所关注的图像必须计算第二图像IMGb中的所有像素的类似度E，并且当第一和第二图像IMGa和IMGb具有与图2类似的N×M个像素时，必须N×N次地计算类似度E。因此，当第一图像IMGa中的所有像素中的每一个被设定为所关注的图像时，为了对于这些像素检测第二图像IMGb上的所关注的对应像素，必须总共(N×M)×(N×M)次地计算类似度E。在这种情况下，处理负荷与仅针对核线的搜索区域相比变为M倍，并且计算量变得非常大。
以下实施例中的每一个基于光学参数值(第一和第二参数值)可变的范围中的最大值和最小值计算和设定作为第二图像中的有效搜索所关注的对应像素的部分区域的二维搜索区域。更具体地，随着光学参数值在假定范围(预定范围)内从最大值变化到最小值，图像处理器将包含所有改变的核线的二维搜索区域设定为尽可能地窄(或者最小)。由此，即使当没有获得用于第一和第二图像中的每一个的图像捕获系统中的光学参数值时，也可以以减小的处理负荷(小的计算量)精确地检测真实的所关注的对应像素。
将给出各实施例中的二维搜索区域的设定方法的描述，其中，没有在图5所示的两个图像捕获系统CA和CB中获得入射光瞳位置之间的距离Δep和基线D的精确值。图1A、图1B和图1C放大图6所示的第二图像IMGb中的包含像素pa2的左下区域。图1A中的EPI1、EPI2、EPI3和EPI4是入射光瞳位置之间的距离Δep和基线D中的至少一个不同时、存在与所关注的像素a2对应的所关注的对应像素的核线。EPI1是D＝D1且Δep＝0时的核线。EPI2是D＝D1且Δep＝Δep1时的核线。EPI3是D＝D2(＜D1)且Δep＝Δep2(＜Δep1)时的核线。EPI4是D＝0且Δep＝Δep1时的核线。因此，图1A示出了基线D在0与D1之间变化并且入射光瞳位置之间的距离Δep在0与Δep1之间变化时的核线的变化。二维搜索区域被设定为第二图像IMGb中的包含所有核线EPI1-EPI4的部分区域。由此，即使当没有精确地获得入射光瞳位置之间的距离Δep和基线D时，一旦基线D落在从0到D1的范围内并且入射光瞳位置之间的距离Δep落在从0到Δep1的范围内，就也可以以减小的处理负荷精确地检测真实的所关注的对应像素。
因此，各实施例基于随着光学参数值改变的核线的变化设定二维搜索区域，并且即使当没有精确地获得光学参数值时，也可以有效地检测精确的所关注的对应像素。因此，与将第二图像中的整个区域设定为搜索区域的情况相比，可以显著地减少搜索(检测)对应点所需的计算量或处理负荷。
图1B示出了在到包含于图像捕获视角(被摄体空间)中的被摄体中的最接近图像捕获系统的被摄体的距离已知的情况下限定所关注的对应像素的搜索区域的多个核线。换句话说，在第一和第二图像IMGa和IMGb之间的对应点坐标的差量的最大值(以下，称为“最大对应点偏移量”)已知的情况下，图1示出了分别限定所关注的对应像素的搜索区域的核线。图1C示出了被设定(计算)为包含图1B所示的所有的多个核线的二维搜索区域。即使当没有精确地获得入射光瞳位置之间的距离Δep和基线D时，一旦设定了二维搜索区域、基线D落在从0到D1的范围内且入射光瞳位置之间的距离Δep落在从0到Δep1的范围内，就也可以检测到真实的所关注的对应像素。由此，一旦获得了最大对应点偏移量，就可以设定用于检测更有效和精确的所关注的对应像素的搜索区域。
这里，当所关注的像素不同时，核线不同，并且以上的二维搜索区域是不同的。因此，对各个所关注的像素设定二维搜索区域。
现在将给出最大对应点偏移量的获取方法的描述。可以通过执行被配置为将具有不同的光学参数的两个图像中的一个分割成多个像素区域的聚类处理并且通过在与针对各像素区域选择的所关注的像素对应的两个图像中的另一个中搜索所关注的对应像素，获得最大对应点偏移量。像素区域是包含具有类似的像素值的多个接近布置的像素(相邻像素)的区域。
图7示出了说明性聚类处理。图7中的IMG表示聚类前图像，IMGc表示聚类后图像。在聚类后图像IMGc中，粗实线表示通过聚类处理分割的多个像素区域之间的边界。在图像IMGc中，四个图像区域具有附图标记1-4，并且省略其它图像区域的编号。被配置为将图像分割成多个图像区域的聚类处理可以使用任意方法，诸如在IEEE Transactions onPattern Analysis and Machine Intelligence VOLUME 34，Issue 11，NOV.2012pp.2274-2282，R.Achanta et al.“SLIC Superpixels Compared to State-of-the-ArtSuperpixel Methods.”中公开的SLIC(Sample Linear Interactive Clustering)。
通过在基准图像中对各像素区域一次搜索搜索图像，对包括通过聚类处理分割的多个像素区域的另一图像(基准图像)IMGc在一个图像(搜索图像)中检测所关注的对应像素。换句话说，所关注的图像被设定为基准图像中的各像素区域中的一个任意像素，并且在搜索图像中搜索与所关注的像素对应的所关注的对应像素。结果，在搜索图像中检测到所关注的对应像素的数量(其是基准图像中的像素区域的数量)。最大对应点偏移量被设定为作为对基准图像中的所有像素区域中的每一个在搜索图像中搜索一次所关注的对应像素的结果获得的、多对对应点中的每一对的坐标差量中的最大值。
在通过使用聚类处理检测所关注的对应像素时，基准图像中的多个像素被作为一个像素区域统一对待，并且每个像素区域中的所有像素被同等地对待。因此，该检测不适合于针对基准图像中的所有像素中的每一个在搜索图像中精确检测所关注的对应像素。然而，可以以小的计算量在基准图像和搜索图像之间获取最大对应点偏移量。
已经描述了二维搜索区域的设定方法，其中，在两个图像捕获系统中，精确的基线长度和入射光瞳位置之间的精确距离是未知的，但是即使当另一光学参数的精确值未知时，也可以基于由于变化引起的核线的变化设定二维搜索区域。现在将给出随着另一光学参数的值的改变的核线的变化的描述。
将给出在参考图3描述的具有不同的观察位置的两个理想图像捕获系统CA和CB中、图像捕获系统CB中的光轴OAb的方向相对于图像捕获系统CA中的光轴OAa的方向倾斜θ°时的核线的变化的描述。当两个图像捕获系统CA和CB中的光轴OAa和OAb不彼此平行时，由图像捕获系统CB获得的第二图像IMGb中的同一被摄体的坐标从由图像捕获系统CA获得的第一图像IMGa中的被摄体的坐标偏移某个量。第一图像IMGa中的所关注的像素“a”和第二图像IMGb中的所关注的对应像素“b”满足式(4)。
Figure BDA0001292142360000141
式(4)要在二维空间中通过“a”和“b”来满足，但是可以扩展到三维空间。在这种情况下，可以代入X-Z空间或Y-Z空间中的图像捕获系统CA和CB中的光轴OAa和OAb之间的角度。
图8示出了由图像捕获系统CA和CB获得的第一和第二图像IMGa和IMGb。图8中的坐标系与图4中的坐标系类似地定义。在图8中，实线epi1代表第一图像IMGa中的位于点a1处的像素被设定为所关注的像素时第二图像IMGb中的核线，并且所关注的对应像素位于核线epi1上。实线epi2代表第一图像IMGa中的位于点a2处的像素被设定为所关注的像素时第二图像IMGb中的核线，并且所关注的对应像素位于核线epi2上。
将给出核线的变化的描述，其中，参考图3描述的具有不同的观察位置的两个理想图像捕获系统CA和CB具有不同的焦距。在两个图像捕获系统CA和CB具有不同焦距的情况下，对于通过图像捕获系统CA获得的第一图像IMGa中的被摄体坐标，由图像捕获系统CB获得的第二图像IMGb中的同一被摄体的坐标沿放射方向(radial direction)从图像中心乘以预定数。这里，fa是图像捕获系统CA的焦距，fb是图像捕获系统CB的焦距，第一图像IMGa中的所关注的像素“a”和第二图像IMGb中的所关注的对应像素“b”满足式(5)。
Figure BDA0001292142360000142
图9示出了由图像捕获系统CA和CB获得的第一和第二图像IMGa和IMGb。图9中的坐标系与图4中的坐标系类似地定义。焦距fb比焦距fa长。实线epi1代表第一图像IMGa中的位于点a1处的像素被设定为所关注的像素的情况下第二图像IMGb中的核线，并且所关注的对应像素位于核线epi1上。实线epi2代表第一图像IMGa中的位于点a2处的像素被设定为所关注的像素时第二图像IMGb中的核线，并且所关注的对应像素位于核线epi2上。
如上所述，核线受两个图像捕获系统中的光轴的方向(光轴之间的角)和焦距的差异影响。即使在没有获得两种类型的光学参数的精确值的情况下，通过设定(计算)包含随着以上光学参数值改变而改变的所有核线的二维搜索区域，也可以精确地检测所关注的对应像素。这可以类似地应用于在两个图像捕获系统之间诸如前侧主点位置、图像捕获系统中的图像传感器的Z轴方向(光轴方向)的位置、图像传感器的中心与光学系统中的光轴之间的位置差异、图像传感器相对于光轴的倾斜以及图像传感器围绕光轴的旋转量的另一光学参数的值不同的情况。
为了节省计算量和数据量，可以限定要考虑的光学参数。在这种情况下，二维搜索区域可以被设定为反映在获得图像的图像捕获系统中预期的可变光学参数。例如，由于具有单焦点光学系统的图像捕获系统中的聚焦驱动，焦距和入射光瞳位置通常可能改变，并因此可以基于这些因素设定二维搜索区域。在包括在倍率变化期间驱动多个光学元件的变焦透镜的图像捕获系统中，除了要对包括单焦点光学系统的图像捕获系统考虑的光学参数以外，还可以基于光轴的变化设定二维搜索区域。在包括具有不同焦距的多个光学系统的复眼图像捕获装置中，除了以上光学参数之外，还可以考虑基线长度(即光学系统之间的距离)。
虽然以上讨论使用了两个图像捕获系统，但是这种讨论适用于三个或更多个图像捕获系统以及通过改变一个图像捕获系统的位置和光学参数值捕获多个图像的情况。
现在将给出具体实施例的描述。
第一实施例
图10示出根据本发明的第一实施例的复眼图像捕获装置1的配置。图11A和图11B示出复眼图像捕获装置1中的图像捕获单元100的配置。
复眼图像捕获装置1包括图像捕获单元100、A/D转换器10、图像处理器20、系统控制器30、图像捕获控制器40、信息输入单元50、图像记录介质60、显示单元70和存储单元80。复眼图像捕获装置1是与图像捕获单元100中的以下图像捕获光学系统一体化的图像捕获装置，但是图像捕获光学系统可以附接到包括图像传感器的图像捕获装置以及从其拆卸。
如图11A和11B所示，图像捕获单元100包括分别被配置为形成被摄体的光学图像(被摄体图像)的六个图像捕获光学系统(单眼(ommatidia))1110a、1110b、1120a、1120b、1130a和1130b。图像捕获单元100包括用于六个图像捕获光学系统1110a、1110b、1120a、1120b、1130a和1130b的六个图像传感器1210a、1210b、1220a、1220b、1230a和1230b。六个图像捕获光学系统1110a、1110b、1120a、1120b、1130a和1130b中的每一个是包括至少一个透镜和聚焦透镜的单焦点光学系统。一个图像捕获光学系统和与图像捕获系统对应的一个图像传感器构成一个图像捕获系统。图像捕获单元100包括六个图像捕获系统。图10示出了包含图像捕获单元100中的图像捕获光学系统1110a和1120b中的光轴的图像捕获系统的截面。
六个图像传感器1210a、1210b、1220a、1220b、1230a和1230b被一体化配置并且作为图像传感器单元1200保持在同一平面上。当然，这六个图像传感器1210a、1210b、1220a、1220b、1230a和1230b可以不位于同一平面上。六个图像捕获光学系统1110a、1110b、1120a、1120b、1130a和1130b被布置为使得它们具有彼此平行的光轴。
图像捕获光学系统1110a和1110b是焦距彼此相等且在六个图像捕获光学系统1110a至1130b之中焦距最短(或具有广视角)的一对广角单眼。图像捕获光学系统1120a和1120b是焦距彼此相等且在六个图像捕获光学系统1110a至1130b之中焦距处于中间(或具有中间视角)的一对中间单眼。图像捕获光学系统1130a和1130b是焦距彼此相等且在六个图像捕获光学系统1110a至1130b之中焦距最长(或具有望远视角)的一对望远单眼。图像捕获光学系统1110a是生成以下的组合图像时的基准视点(观察位置)。
图像传感器1210a、1210b、1220a、1220b、1230a和1230b中的每一个将通过图像捕获光学系统1110a、1110b、1120a、1120b、1130a和1130b中的对应一个在图像捕获面上形成的被摄体图像转换成模拟电信号。A/D转换器10将从图像传感器1210a、1210b、1220a、1220b、1230a和1230b输出的模拟信号转换为数字信号，并将图像数据作为六个数字信号输出到图像处理器20。
图像处理器20对从A/D转换器10输入的六条图像数据执行诸如像素插值处理和颜色转换处理的图像处理，并且生成六个视点图像。来自图像处理器20的六个视点图像被发送到系统控制器30。图像处理器20基于从存储单元80读出的图像捕获单元100的光学参数值执行六个视点图像之间的对应点检测处理，并计算六个视点图像之间的对应点的坐标差量。图像处理器20基于差量生成组合图像，并且在视点图像中计算被摄体空间中的各被摄体的被摄体距离。图像处理器20与安装在复眼图像捕获装置1上的图像处理装置对应，并且用作区域设定器和图像组合器。
信息输入单元50获得作为希望的图像捕获条件由用户选择和输入的输入信息，并将图像捕获条件的信息供给到系统控制器30。系统控制器30通过基于图像捕获条件的输入信息经由图像捕获控制器40控制各图像捕获光学系统中的聚焦透镜的移动量、F数和曝光时段，捕获图像(被摄体空间)的图像。由此，图像处理器20生成以上六个视点图像。
图像记录介质60存储通过图像捕获获得的六个视点图像、从视点图像生成的组合图像、从视点图像生成的被摄体距离的图以及用于图像文件的文件头(header)。显示单元70包括液晶显示元件等，并且显示捕获图像之前的实时取景(live-view)图像、捕获图像之后的六个视点图像、组合图像、被摄体距离图(distance map)和图像捕获装置1的状态等。
现在将参考图12中的流程图给出由图像处理器20执行的图像处理的描述。作为计算机的图像处理器20根据作为计算机程序的图像处理程序执行该图像处理。
在步骤S101中，图像处理器20根据通过信息输入单元50由用户输入并经由系统控制器30接收的视角的信息计算与稍后将输出的输出组合图像对应的焦距fo。在用户不输入视角的情况下，图像处理器20可以将任意的预设焦距设定为与组合图像对应的焦距fo。可以由用户输入的视角范围是焦距fo等于或长于广角单眼的焦距并且等于或短于望远单眼的焦距的范围。
在步骤S102中，当系统控制器30控制图像捕获单元100并在被摄体空间中捕获图像时，图像处理器20通过对来自A/D转换器10的图像数据执行以上图像处理生成六个视点图像。在下面的描述中，所述六个视点图像之中通过经由图像捕获光学系统1110a的图像捕获获得的视点图像将在下文中被称为基准视点图像。
在步骤S103中，图像处理器20从存储单元80读出图像捕获单元100中的六个图像捕获系统中的多个光学参数的值。多个光学参数包含各图像捕获光学系统中的焦距、各图像捕获光学系统中的前侧主点位置、各图像捕获光学系统中的入射光瞳位置以及图像捕获系统之间的基线长度。每个光学参数可以改变的范围中的最大值和最小值是当驱动聚焦透镜时每个光学参数改变的范围中的最大值和最小值。包括图像捕获光学系统1110a的图像捕获系统中的各光学参数的值与第一参数值对应，并且，包括图像捕获光学系统1110b至1130b的五个图像捕获系统的各光学参数的值与第二个参数值对应。
在步骤S104中，图像处理器20对各视点图像执行修整(trim)放大处理或缩小处理，并且使各视点图像的视角与组合图像的视角相等。更具体地，当焦距fo短于中间单眼的焦距时，图像处理器20对通过中间和望远单眼捕获的四个视点图像执行缩小处理，并且对通过广角单眼捕获的两个视点图像执行修整放大处理。当焦距fo比中间单眼的焦距长时，图像处理器20对通过望远单眼捕获的两个视点图像执行缩小处理，并且对通过望远和中间单眼捕获的四个视点图像执行修整放大处理。诸如双三次插值的已知像素插值处理被用于修整放大处理和缩小处理。
在步骤S105中，图像处理器20对具有相等视角的多个视点图像中的一个基准视点图像和其它五个视点图像(以下称为“搜索视点图像”)执行对应点检测处理。更具体地，图像处理器20对基准视点图像中的多个像素中的每一个计算各搜索视点图像中用于搜索所关注的对应像素的二维搜索区域。所述二维搜索区域包含各搜索视点图像中的、与多个光学参数的值可以变动的范围中的最大值和最小值的所有组合对应的所有核线。
图像处理器20在位于基准视点图像中的各像素区域的中心处的像素被设定为所关注的像素的情况下计算搜索视点图像中用于搜索所关注的对应像素的二维搜索区域，并且在同一像素区域中的像素被设定为所关注的像素的情况下在搜索所关注的对应像素时搜索同一二维搜索区域。当二维搜索区域大时，计算二维搜索区域所需的计算量变得较小，但是当二维搜索区域过大时，所关注的对应像素可能不存在于二维搜索范围中。这里，假设二维搜索区域具有例如10×10像素。
因此，图像处理器20对基准视点图像中的各像素(所关注的像素)从多个搜索视点图像中的二维搜索区域搜索对应的像素(所关注的对应像素)。当对基准视点图像中的所有像素检测与多个(或一部分)搜索视点图像对应的像素时，流程移到下一步骤。
在步骤S106中，图像处理器20基于基准视点图像和每个搜索视点图像之间的对应点的坐标差量生成一个组合图像。更具体地，图像处理器20计算基准视点图像中的所关注的像素的像素值和与所关注的像素对应的五个搜索视点图像中的所关注的对应像素的像素值的平均值，并将结果设定为组合图像中与所关注的像素和所关注的对应像素对应的像素的像素值。图像处理器20对基准视点图像中的所有像素执行该处理，计算组合图像中的所有像素的像素值，并生成组合图像。
因此，本实施例基于用于捕获多个视点图像的光学参数值在图像捕获系统中可变的范围从搜索视点图像中设定的二维搜索区域搜索所关注的对应像素。由此，即使在没有对各图像捕获系统精确地获得光学参数值的情况下，也可以以较小的计算量精确地检测所关注的对应像素。结果，可以生成良好的组合图像。
第二实施例
将给出本发明的第二实施例的描述。本实施例是第一实施例的复眼图像捕获装置1的变型。根据本实施例的复眼图像捕获装置2的配置与根据第一实施例的复眼图像捕获装置1的配置类似。复眼图像捕获装置2将图像捕获光学系统1110a设定为广角基准视点，将图像捕获光学系统1120b设定为中间基准视点，并将图像捕获光学系统1130a设定为望远基准视点。
复眼图像捕获装置2中的存储单元80存储代表通过图像捕获光学系统1110b、1120b和1130b捕获的搜索视点图像中的各图像捕获条件的二维搜索区域的表数据(以下，称为“搜索区域表”)。对两个(一对)广角单眼、两个(一对)中间单眼和两个(一对)望远单眼中的每一个准备一个搜索区域表。各搜索区域表是指示各对单眼中的作为基准视点的一个图像捕获光学系统和另一个图像捕获光学系统中的焦距和所关注的像素的坐标中的每一个的二维搜索区域的数据。
已基于图像捕获光学系统1110a至1130b中的多个光学参数的值计算各搜索区域表中的二维搜索区域。更具体地，多个光学参数包含图像捕获光学系统1110a至1130b中的每一个的对焦距离、焦距、入射光瞳位置、前侧主点位置和基线长度。通过将多个光学参数的值可变的范围的最大值设定为各光学参数的参考值的105％的值并将多个光学参数的值可变的范围的最小值设定为参考值的95％的值，计算二维搜索区域。即使在本实施例中，二维搜索区域也是包含与多个光学参数的值可变的范围中的最大值和最小值的所有组合对应的所有核线的部分区域。本实施例示例性地将各光学参数的参考值的+5％值和-5％值设定为用于设定二维搜索区域的多个光学参数的值可变的范围中的最大值和最小值。可替代地，本实施例可以基于各图像捕获光学系统中的光学元件、机械单元和驱动器的公差计算用于设定二维搜索区域的多个光学参数的值可变的范围中的最大值和最小值，或者可以预先测量最大值和最小值。
在本实施例中，第一参数值与包括图像捕获光学系统1110a、1120a和1130a的三个图像捕获系统中的各光学参数值对应。第二参数值与包括其它图像捕获光学系统1110b、1120b和1130b的三个图像捕获系统中的各光学参数值对应。
存储单元80存储计算被摄体距离所需的光学参数值。如这里所使用的，光学参数包含各图像捕获光学系统中的焦距、各图像捕获光学系统中的入射光瞳位置、前侧主点位置之间的距离和作为基准视点的图像捕获系统与另一图像捕获系统之间的基线长度。可以基于各图像捕获光学系统中的入射光瞳位置计算入射光瞳位置的差量。复眼图像捕获装置2中的图像处理器20在搜索视点图像中的二维搜索区域中执行对应点检测处理，并且基于结果和光学参数生成(计算)距离图作为各视点图像中的被摄体空间中的深度(被摄体距离)的信息。图像处理器20与安装在复眼图像捕获装置2上的图像处理装置对应，并且用作区域设定器和深度信息生成器。
现在将参考图13中的流程图给出由图像处理器20执行的图像处理的描述。作为计算机的图像处理器20根据作为计算机程序的图像处理程序执行该图像处理。
在步骤S201中，当系统控制器30控制图像捕获单元100并在被摄体空间中捕获图像时，图像处理器20通过对来自A/D转换器10的图像数据执行在第一实施例中描述的图像处理来生成六个视点图像。在六个视点图像中，通过作为广角基准视点、中间基准视点和望远基准视点的单眼1110a、1120a和1130a捕获的图像将被称为广角基准视点图像、中间基准视点图像和望远基准视点图像。在六个视点图像中，通过与单眼1110a、1120a和1130a配对的单眼1110b、1120b和1130b捕获的图像将被称为广角搜索视点图像、中间搜索视点图像和望远搜索视点形象。图像处理器20生成六个视点图像并存储每个单眼的焦距作为图像捕获条件。
在步骤S202中，图像处理器20获得在步骤S201中存储的各单眼中的焦距。
在步骤S203中，图像处理器20从存储于存储单元80中的广角、中间、望远单眼中的每一个的搜索区域表读出与各焦距对应的二维搜索区域。
在步骤S204中，图像处理器20从广角、中间和望远搜索视点图像中的在步骤S203中读出的二维搜索区域搜索与广角、中间和望远基准视点图像中的所关注的像素对应的所关注的对应像素。
因此，图像处理器20在与基准视点图像中的各像素(所关注的像素)对应的多个搜索视点图像中的二维搜索区域中搜索像素(所关注的对应像素)。当对于基准视点图像中的所有像素检测到多个(或一部分)搜索视点图像中的像素时，流程移到下一步骤。
在步骤S205中，图像处理器20从存储单元80读出计算被摄体距离所需的多个光学参数的值，并且通过使用多个光学参数的值和多个对应点坐标计算被摄体空间中的多个被摄体距离。通过将各个所关注的像素和各个所关注的对应像素的坐标、各单眼中的焦距和多个光学参数的值代入式(3)，计算被摄体距离Zo。
在步骤S206中，图像处理器20生成代表在步骤S205中计算的多个被摄体距离的距离图。在本实施例中，图像处理器20基于广角基准视点图像和搜索视点图像中的所关注的像素和所关注的对应像素的坐标生成广视角的距离图，并且基于中间基准视点图像和搜索视点图像中的所关注的像素和所关注的对应像素的坐标生成中间视角的距离图。图像处理器20基于望远基准视点图像和搜索视点图像中的所关注的像素和所关注的对应像素的坐标生成望远视角的距离图。可以基于广视角的距离图获得被摄体空间中的深度信息，其比基于中间和望远视角的距离图获得的被摄体空间中的深度信息深。可以基于望远视角的距离图获得深度信息，其比基于中间和广视角的距离图获得的深度信息窄但精细。
本实施例还基于用于捕获多个视点图像的光学参数值在图像捕获系统中可变的范围，从搜索视点图像中设定的二维搜索区域搜索所关注的对应像素。由此，即使当没有对各图像捕获系统精确地获得光学参数值时，也可以以较小的计算量精确地检测所关注的对应像素。结果，可以生成良好的组合图像。
第三实施例
现在将给出根据本发明的第三实施例的立体图像捕获装置的描述。根据本实施例的立体图像捕获装置可以以高的处理速度获得距离图。
图14示出根据本实施例的立体图像捕获装置3的配置。除了图像捕获单元300以外，立体图像捕获装置3的配置与根据第一实施例的复眼图像捕获装置1的配置类似，并且，本实施例中的作为第一实施例中共同或对应的要素的那些要素将由相同的附图标记标明。
立体图像捕获装置3包括图像捕获单元300。图像捕获单元300包括图像捕获光学系统3100a和3100b以及与图像捕获光学系统3100a和3100b对应的图像传感器3200a和3200b。一个图像捕获光学系统和一个对应的图像传感器构成一个图像捕获系统。换句话说，图像捕获单元300包括两个图像捕获系统。图像捕获光学系统3100a和3100b中的每一个包括至少一个透镜，并具有相同的焦距。图像捕获光学系统3100a是生成距离图时的基准视点。通过图像捕获光学系统3100a捕获的图像将被称为基准视点图像，并且通过图像捕获光学系统3100b捕获的图像将被称为搜索视点图像。
立体图像捕获装置3中的存储单元80存储指示对于基准视点图像中的各像素(坐标)的搜索视点图像中的二维搜索区域的搜索区域表。基于图像捕获光学系统3110a和3100b中的多个光学参数的值计算搜索区域表中的二维搜索区域。更具体地，多个光学参数包括图像捕获光学系统3100a和3100b中的每一个中的焦距、入射光瞳位置、前侧主点位置和基线长度。此外，多个光学参数包括作为图像传感器3200a和3200b中的每一个的中心与图像捕获光学系统3200a和3200b中的每一个的光轴之间的位置差的中心偏移量、图像传感器3200a和3200b中的每一个围绕光轴的旋转角、以及图像传感器3200a和3200b相对于与光轴正交的平面的倾斜角。二维搜索区域是包含与多个光学参数的值可变的范围中的最大值和最小值的所有组合对应的所有核线的部分区域。
可以基于图像捕获单元300的组装公差计算各图像传感器中的中心偏移量、旋转角和倾斜角中的每一个可变的范围中的最大值和最小值。理想布置的图像传感器的中心位移量为0，旋转角为0，倾斜角为0。例如，在中心偏移量可变的范围中，最大值为+1mm，并且在中心偏移量可变的范围中，最小值为-1mm。在旋转角和倾斜角中的每一个可变的范围中，最大值为+1°，并且在旋转角和倾斜角中的每一个可变的范围中，最小值为-1°。
在本实施例中，包含图像捕获光学系统3100a的图像捕获系统中的各光学参数与第一参数值对应，并且包含图像捕获光学系统3100b的五个图像捕获系统中的各光学参数值与第二个参数值对应。图像处理器20与安装在立体图像捕获装置3上的图像处理装置对应，并且用作区域设定器和深度信息生成器。
现在将参考图15中的流程图给出由图像处理器20执行的图像处理的描述。作为计算机的图像处理器20根据作为计算机程序的图像处理程序执行该图像处理。
在步骤S301中，当系统控制器30控制图像捕获单元300并在被摄体空间中捕获图像时，图像处理器20通过对来自A/D转换器10的图像数据执行在第一实施例中描述的图像处理来生成基准视点图像和搜索视点图像。
在步骤S302中，图像处理器20通过使用SLIC方法对基准视点图像执行聚类处理，并且将基准视点图像分割成多个像素区域。像素区域可以被分割成任意数量的像素区域，尽管在本实施例中它为30个像素区域。
在步骤S303中，图像处理器20对于基础视点图像中的各像素(坐标)从存储单元80中的搜索区域表读出二维搜索区域。
在步骤S304中，图像处理器20从搜索视点图像中的在步骤S303中读取的二维搜索区域搜索与基准视点图像中的各像素区域中的一个所关注的图像对应的搜索视点图像中的所关注的对应像素。图像处理器20获得包括像素区域中的所关注的对应像素和所关注的像素的多对对应点的基准图像和搜索图像之间的坐标差量的最大值作为最大对应点偏移量。
在步骤S305中，图像处理器20调整在步骤S303中读取的坐标的二维搜索区域，以便删除与所关注的图像的坐标相距比最大对应点偏移量长的距离的像素，并设定经限定的二维搜索区域。
在步骤S306中，图像处理器20从搜索视点图像中的在步骤S305中限定的二维搜索区域搜索与所关注的像素对应的所关注的对应像素。
因此，图像处理器20对基准视点图像中的各像素(所关注的像素)从搜索视点图像中的二维搜索区域搜索对应像素(所关注的对应像素)。当检测到与基准视点图像中的全部(或一部分)像素对应的搜索视点图像中的像素时，流程移到下一步骤。
在步骤S307中，图像处理器20通过使用多个对应点的坐标计算被摄体空间中的多个被摄体距离。
在步骤S308中，图像处理器生成指示在步骤S307中计算的多个被摄体距离的距离图。
本实施例还基于用于捕获多个视点图像的光学参数值在图像捕获系统中可变的范围，从在搜索视点图像中设定的二维搜索区域搜索所关注的对应像素。由此，即使当没有对于各图像捕获系统精确地获得光学参数值时，也可以以较小的计算量精确地检测所关注的对应像素。结果，可以生成良好的组合图像。特别地，本实施例根据已接收聚类处理(并且因此包括多个像素区域)的基准视点图像和搜索视点图像之间的最大对应点偏移量设定经限定的二维搜索区域。由此，本实施例可以以小的计算量精确地检测所关注的对应像素，并且以高的速度精确地生成距离图。
第四实施例
现在将给出根据本发明的第四实施例的图像捕获装置的描述。根据本实施例的图像捕获装置获得具有不同对焦距离的多个图像，并通过使用多个图像生成深焦图像(全焦点)图像。
可以通过基于通过捕获同一被摄体空间获得的具有不同的对焦距离的多个图像选择和组合高锐度(sharpness)部分范围，生成其中整个被摄体空间被聚焦的深焦图像。可以通过在单个图像捕获系统中依次驱动聚焦透镜并且通过多次拍摄图像或通过执行聚焦包围摄影(focus bracket photography)，获得具有不同对焦距离的多个图像。然而，当诸如图像捕获光学系统中的焦距和入射光瞳位置的光学参数值随着聚焦透镜移动而改变时，在具有不同的对焦距离的多个图像中，同一被摄体的像素(坐标)可能不同。因此，组合需要遵循多个图像之间的被摄体位置的对准。
因此，本实施例的图像捕获装置将通过聚焦包围摄影获得的具有不同的对焦距离的多个图像之中的一个图像设定为基准图像，并将其它(两个或更多个)图像设定为搜索图像。图像处理器20检测与基准图像中的所关注的像素对应的二维搜索区域中的所关注的对应像素，其中该二维搜索区域是基于多个聚焦包围拍摄中的光学参数值对各搜索图像计算的。因此，通过使用由此获得的对应点，在基准图像与搜索图像之间对准被摄体。由此，可以以小的计算量生成良好的深图像。
图16示出根据本实施例的图像捕获装置4的配置。除了图像捕获单元400以外，根据本实施例的摄像装置4的配置与根据第一实施例的复眼图像捕获装置1的配置类似，并且，本实施例中的作为第一实施例中的共同或对应的要素的那些要素将由相同的附图标记标明。
图像捕获装置4包括图像捕获单元400。图像捕获单元400包括图像捕获光学系统4100和图像传感器4200。图像捕获光学系统4100和对应的图像传感器4200构成图像捕获系统。图像捕获光学系统4100包括至少一个透镜和聚焦透镜。
系统控制器30控制图像捕获控制器40以便依次移动聚焦透镜以进行图像捕获，并使图像处理器20生成具有不同对焦距离的多个图像。换句话说，图像捕获装置4可以执行聚焦包围摄影。
在本实施例中，用于捕获基准图像的成像系统的光学参数值与第一参数值对应，并且用于捕获两个搜索图像中的每一个的图像捕获系统的光学参数值与第二参数值对应。图像处理器20与安装在图像捕获装置4上的图像处理装置对应，并且用作区域设定器和图像生成器。
现在将参考图17中的流程图给出由图像处理器20执行的图像处理的描述。作为计算机的图像处理器20根据作为计算机程序的图像处理程序执行该图像处理。
在步骤S401中，系统控制器30通过控制图像捕获单元400来执行被摄体空间中的聚焦包围摄影。由此，图像处理器20通过对来自A/D转换器10的图像数据执行在第一实施例中描述的图像处理生成多个图像。此时，系统控制器30从无限远的对焦距离到近距离的对焦距离总共N次捕获图像。N可以是任意数，但在本实施例中为3。以无限远的对焦距离捕获的图像被设定为基准图像，并且两个其它图像被设定为搜索图像。
在步骤S402中，图像处理器20从存储单元80读取用于三次图像捕获的图像捕获光学系统4100的多个光学参数的值。多个光学参数包含图像捕获光学系统4100中的焦距、入射光瞳位置、前侧主点位置和光轴的方向，并且图像处理器20读取各参数可变的范围中的最大值和最小值。该最大值和最小值是当图像捕获光学系统4100移动聚焦透镜时每个光学参数可以改变的范围中的值。在基准光轴被设定为聚焦无限远处的被摄体时图像捕获光学系统4100的光轴的情况下，光轴的方向可以改变的范围中的最大值是移动聚焦透镜的各图像捕获时的光轴与基准光轴之间的角度的最大值。光轴的方向可以改变的范围中的最小值与最大值的负值(negative code)对应。
在步骤S403中，图像处理器20基于在步骤S402中读取的多个光学参数的值设定(计算)搜索图像中的二维搜索区域。更具体地，二维搜索区域是包含与多个光学参数中的每一个可变的范围中的最大值和最小值的所有组合对应的所有核线的部分区域。光轴的方向在两个正交方向上具有最大值和最小值，并且该光轴与基准光轴正交。换句话说，存在代表光轴的方向的四个参数值，并且二维搜索区域是包含与包括这四个参数值的所有组合对应的所有核线的部分区域。
图像处理器20从搜索视点图像中的在步骤S403中设定的二维搜索区域搜索与基准图像中的所关注的像素对应的所关注的对应像素。因此，图像处理器20从两个搜索视点图像中的二维搜索区域搜索与基准视点图像中的各像素(所关注的像素)对应的对应像素(所关注的对应像素)。当对基准视点图像中的所有像素检测到两个(或一个)搜索视点图像中的对应像素时，流程移到下一步骤。
在步骤S404中，图像处理器20基于基准图像和两个搜索图像之间的对应点的坐标执行对准被摄体的被摄体对准处理。更具体地，图像处理器20用与所关注的像素对应的搜索图像中的所关注的对应像素的像素值替换各搜索图像中位于与基准图像中的各像素(所关注的像素)相同的坐标处的像素的像素值。由此，两个搜索图像被转换成相同的被摄体被记录于具有与基准图像中的坐标相同的坐标的像素中的图像。
在步骤S405中，图像处理器20将基准图像和两个搜索图像组合成深焦图像。更具体地，图像处理器20选择基准图像和两个搜索图像之中具有最高锐度部分区域的图像，并将该部分区域的像素值设定为深焦图像的像素值。可以例如通过空间二次微分来评估锐度。更具体地，通过对各图像应用已知的拉普拉斯滤波，生成与基准图像和两个搜索图像中的每一个对应的空间二次微分。此后，图像处理器20选择基准图像和两个搜索图像中的对应空间二次微分图像中的部分区域的像素值最高的一个，并将该部分区域的像素值设定为深焦值的像素值。
因此，本实施例在对准通过使用一个图像捕获系统的聚焦包围摄影获得的多个图像中的被摄体位置之后，组合多个(基准和搜索)图像之中的高锐度部分区域并生成深焦图像。在被摄体对准中，图像处理器20从基于聚焦包围摄影中的光学参数值设定的二维搜索区域搜索与基准图像的像素对应的搜索图像中的像素。由此，图像处理器20可以以小的计算量对准多个图像，并且可以生成良好的深焦图像。
在该描述中，本实施例在组合通过聚焦包围摄影获得的多个图像之前检测用于被摄体对准的对应点。然而，在组合通过变焦包围摄影获得的多个图像之前，可以将对应点的这种检测应用于被摄体对准。换句话说，当图像捕获光学系统被驱动以进行变焦时，成像光学系统中的各光学参数值改变，并且难以精确地获得各光学参数值。因此，在对准多个图像中的被摄体时，在本实施例中描述的对应点检测方法(或更具体地，二维搜索区域的设定方法)是有效的。
以上实施例中的每一个即使在没有精确地获得用于捕获第一和第二图像的光学参数值时也可以以减小的处理负荷精确地检测第一和第二图像之间的对应点(目标像素和对应像素)。
其它实施例
也可以通过读出并执行记录于存储介质(也可以被更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或多个程序)以执行上述实施例中的一个或多个的功能和/或包括用于执行上述实施例中的一个或多个的功能的一个或多个电路(例如，应用特定集成电路(ASIC))的系统或装置的计算机，或者，通过由系统或装置的计算机通过例如读出并执行来自存储介质的计算机可执行指令以执行上述实施例中的一个或多个的功能和/或控制一个或多个电路以执行上述实施例中的一个或多个的功能执行的方法，实现本发明的实施例。计算机可以包括一个或多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括单独的计算机或单独的处理器的网络，以读出并执行计算机可执行指令。计算机可执行指令可以例如从网络或存储介质被提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如紧致盘(CD)、数字万用盘(DVD)或蓝光盘(BD)TM)、快擦写存储器设备和记忆卡等中的一个或多个。
虽然已参考示例性实施例描述了本发明，但应理解，本发明不限于公开的示例性实施例。所附权利要求的范围应被赋予最宽的解释以包含所有这样的修改以及等同的结构和功能。

Claims (9)

1.一种图像处理装置，被配置为处理第一图像和第二图像以便检测与第一图像中的目标像素对应的第二图像中的对应像素，第一图像和第二图像是通过图像捕获获得的，第一图像具有第一参数值，第二图像具有与第一参数值不同的第二参数值，并且第一参数值和第二参数值是用于捕获第一图像和第二图像的一个或多个图像捕获系统的光学参数的值，其特征在于，所述图像处理装置包括：
区域设定器，被配置为基于第一参数值和第二参数值中的每一个由于所述一个或多个图像捕获系统的公差而能够改变的预定范围，设定作为第二图像中的要搜索对应像素的部分区域的二维搜索区域；和
检测器，被配置为通过搜索所述二维搜索区域来检测对应像素，
其中，所述区域设定器设定所述二维搜索区域以便包含随着第一参数值和第二参数值在所述预定范围中改变而在第二图像中改变的所有核线，以及
其中，所述光学参数包括一个或多个图像捕获系统中的光学系统中的入射光瞳的位置。
2.根据权利要求1所述的图像处理装置，其中，所述光学参数还包括所述光学系统的光轴的方向。
3.根据权利要求1所述的图像处理装置，其中，所述光学参数还包括所述光学系统的焦距。
4.根据权利要求1所述的图像处理装置，其中，所述第一图像和第二图像分别是从第一观察位置和第二观察位置捕获的图像，并且
其中，所述光学参数还包含第一观察位置和第二观察位置，以及
其中，第一观察位置不同于第二观察位置。
5.根据权利要求1所述的图像处理装置，还包括深度信息生成器，所述深度信息生成器被配置为基于第一图像和在其中检测对应像素的第二图像生成由所述一个或多个图像捕获系统捕获的被摄体空间的深度信息。
6.根据权利要求1-5中的任一项所述的图像处理装置，其中，所述第一图像是由第一图像捕获系统获得的，并且所述第二图像是由第二图像捕获系统获得的，所述第二图像捕获系统具有与所述第一图像捕获系统的光学参数不同的光学参数。
7.根据权利要求6所述的图像处理装置，其中，所述第一图像捕获系统和第二图像捕获系统包括具有彼此不同的焦距的光学系统。
8.一种图像捕获装置，包括：
一个或多个图像捕获系统，被配置为以彼此不同的光学参数捕获第一图像和第二图像；和
图像处理装置，被配置为处理第一图像和第二图像以便检测与第一图像中的目标像素对应的第二图像中的对应像素，第一图像具有第一参数值，第二图像具有与第一参数值不同的第二参数值，并且第一参数值和第二参数值是用于捕获第一图像和第二图像的所述一个或多个图像捕获系统的光学参数的值，
其特征在于，所述图像处理装置包括：
区域设定器，被配置为基于第一参数值和第二参数值中的每一个由于所述一个或多个图像捕获系统的公差而能够改变的预定范围，设定作为第二图像中的要搜索对应像素的部分区域的二维搜索区域；和
检测器，被配置为通过搜索所述二维搜索区域来检测对应像素，
其中，所述区域设定器设定所述二维搜索区域以便包含随着第一参数值和第二参数值在所述预定范围中改变而在第二图像中改变的所有核线，以及
其中，所述光学参数包括所述一个或多个图像捕获系统中的光学系统中的入射光瞳的位置。
9.一种图像处理方法，被配置为处理第一图像和第二图像以便检测与第一图像中的目标像素对应的第二图像中的对应像素，第一图像和第二图像是通过图像捕获获得的，第一图像具有第一参数值，第二图像具有与第一参数值不同的第二参数值，并且第一参数值和第二参数值是用于捕获第一图像和第二图像的一个或多个图像捕获系统的光学参数的值，其特征在于，所述图像处理方法包括步骤：
基于第一参数值和第二参数值中的每一个由于所述一个或多个图像捕获系统的公差而能够改变的预定范围，设定作为第二图像中的要搜索对应像素的部分区域的二维搜索区域；和
通过搜索所述二维搜索区域来检测对应像素，
其中，设定所述二维搜索区域以便包含随着第一参数值和第二参数值由于所述图像捕获系统的公差而在所述预定范围中改变而在第二图像中改变的所有核线，以及
其中，所述光学参数包括所述一个或多个图像捕获系统中的光学系统中的入射光瞳的位置。
CN201710332926.4A 2016-05-16 2017-05-11 图像处理装置、图像捕获装置和图像处理方法 Active CN107395924B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016097981A JP6702796B2 (ja) 2016-05-16 2016-05-16 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
JP2016-097981 2016-05-16

Publications (2)

Publication Number Publication Date
CN107395924A CN107395924A (zh) 2017-11-24
CN107395924B true CN107395924B (zh) 2020-05-08

Family

ID=59061763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710332926.4A Active CN107395924B (zh) 2016-05-16 2017-05-11 图像处理装置、图像捕获装置和图像处理方法

Country Status (4)

Country Link
US (1) US11032533B2 (zh)
EP (1) EP3255888B1 (zh)
JP (1) JP6702796B2 (zh)
CN (1) CN107395924B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6818537B2 (ja) * 2016-12-16 2021-01-20 キヤノン株式会社 撮像装置
US10620505B2 (en) * 2017-06-27 2020-04-14 Arcsoft Corporation Limited Method and apparatus for focusing
US10534837B2 (en) 2017-11-13 2020-01-14 Samsung Electronics Co., Ltd Apparatus and method of low complexity optimization solver for path smoothing with constraint variation
JP2019161462A (ja) * 2018-03-13 2019-09-19 キヤノン株式会社 制御装置、画像処理システム、制御方法、及びプログラム
JP2021122080A (ja) * 2018-05-09 2021-08-26 ソニーグループ株式会社 データ処理装置、データ処理方法、及び、プログラム
CN109714530B (zh) * 2018-12-25 2020-08-21 中国科学院长春光学精密机械与物理研究所 一种航空相机图像调焦方法
JP7363892B2 (ja) * 2019-04-18 2023-10-18 ソニーグループ株式会社 交換レンズ、情報処理装置、情報処理方法、及び、プログラム
CN114862717B (zh) * 2022-05-11 2023-06-23 桂林理工大学 主光轴与核线正交和横轴共线同时约束的鱼眼相机像对检校方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101563709A (zh) * 2006-12-18 2009-10-21 皇家飞利浦电子股份有限公司 校准照相机系统
CN104299228A (zh) * 2014-09-23 2015-01-21 中国人民解放军信息工程大学 一种基于精确点位预测模型的遥感影像密集匹配方法
CN104392457A (zh) * 2014-12-11 2015-03-04 中国测绘科学研究院 倾斜影像的连接点自动匹配方法及装置
CN104717476A (zh) * 2013-12-11 2015-06-17 佳能株式会社 图像处理方法、图像处理装置和图像捕获装置
CN104966281A (zh) * 2015-04-14 2015-10-07 中测新图(北京)遥感技术有限责任公司 多视影像的imu/gnss引导匹配方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3912638B2 (ja) * 1998-07-13 2007-05-09 日本ビクター株式会社 ３次元画像処理装置
JP2002027495A (ja) * 2000-07-03 2002-01-25 Sony Corp ３次元画像生成システム、３次元画像生成方法及び３次元情報サービスシステム、並びにプログラム提供媒体
US7046306B2 (en) * 2003-03-31 2006-05-16 Texas Instruments Incorporated Processing a video signal using motion estimation to separate luminance information from chrominance information in the video signal
US8896725B2 (en) * 2007-06-21 2014-11-25 Fotonation Limited Image capture device with contemporaneous reference image capture mechanism
US7778328B2 (en) * 2003-08-07 2010-08-17 Sony Corporation Semantics-based motion estimation for multi-view video coding
JP5119567B2 (ja) * 2004-09-30 2013-01-16 カシオ計算機株式会社 カメラ
EP2059026A4 (en) * 2006-08-30 2010-12-29 Nikon Corp APPARATUS AND METHOD FOR ALIGNING IMAGE AND CAMERA
EP1918614A1 (en) * 2006-11-02 2008-05-07 Fico Triad S.A. Cover assembly for a motor vehicle gearshift assembly
JP2010103949A (ja) * 2008-10-27 2010-05-06 Fujifilm Corp 撮影装置、方法およびプログラム
JP5472328B2 (ja) * 2010-02-02 2014-04-16 コニカミノルタ株式会社 ステレオカメラ
WO2013099169A1 (ja) 2011-12-27 2013-07-04 パナソニック株式会社 ステレオ撮影装置
JP2013176468A (ja) * 2012-02-28 2013-09-09 Canon Inc 情報処理装置、情報処理方法
JP6074926B2 (ja) 2012-07-05 2017-02-08 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
WO2015025073A1 (en) * 2013-08-19 2015-02-26 Nokia Corporation Method, apparatus and computer program product for object detection and segmentation
JP6278668B2 (ja) 2013-11-22 2018-02-14 キヤノン株式会社 複眼撮像装置
KR102085228B1 (ko) 2014-03-27 2020-03-05 한국전자통신연구원 깊이 센서의 깊이 보정을 위한 이미지 처리방법 및 그 장치
US9628695B2 (en) * 2014-12-29 2017-04-18 Intel Corporation Method and system of lens shift correction for a camera array

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101563709A (zh) * 2006-12-18 2009-10-21 皇家飞利浦电子股份有限公司 校准照相机系统
CN104717476A (zh) * 2013-12-11 2015-06-17 佳能株式会社 图像处理方法、图像处理装置和图像捕获装置
CN104299228A (zh) * 2014-09-23 2015-01-21 中国人民解放军信息工程大学 一种基于精确点位预测模型的遥感影像密集匹配方法
CN104392457A (zh) * 2014-12-11 2015-03-04 中国测绘科学研究院 倾斜影像的连接点自动匹配方法及装置
CN104966281A (zh) * 2015-04-14 2015-10-07 中测新图(北京)遥感技术有限责任公司 多视影像的imu/gnss引导匹配方法

Also Published As

Publication number Publication date
EP3255888B1 (en) 2023-02-01
JP6702796B2 (ja) 2020-06-03
US20170332067A1 (en) 2017-11-16
EP3255888A3 (en) 2018-02-28
EP3255888A2 (en) 2017-12-13
JP2017208606A (ja) 2017-11-24
US11032533B2 (en) 2021-06-08
CN107395924A (zh) 2017-11-24

Similar Documents

Publication Publication Date Title
CN107395924B (zh) 图像处理装置、图像捕获装置和图像处理方法
JP7043085B2 (ja) 視点から距離情報を取得するための装置及び方法
JP4673202B2 (ja) 画像入力装置
JP5446797B2 (ja) 撮像装置
JP6585006B2 (ja) 撮影装置および車両
WO2014034918A1 (en) Distance detection apparatus, image sensing apparatus, program, recording medium, and distance detection method
US9341836B2 (en) Digital microscope apparatus, method of searching for in-focus position thereof, and program
JP7288226B2 (ja) 測距カメラ
CN114424516A (zh) 图像处理装置、图像处理方法、摄像装置和程序
CN106973199B (zh) 利用对焦距离扫描提高深度精确度的多光圈相机系统
CN111868474B (zh) 测距摄像机
CN108540693B (zh) 图像捕获装置和图像捕获单元
US20120147247A1 (en) Optical system and imaging apparatus including the same
JP2014022806A (ja) 撮像装置および撮像装置制御方法
WO2015159791A1 (ja) 測距装置および測距方法
JP6648916B2 (ja) 撮像装置
JP2018129825A (ja) 情報処理装置及び方法、情報処理システム、ならびにプログラム。
EP3099054A1 (en) Method and apparatus for determining a focal stack of images from light field data associated with a scene, and corresponding computer program product
JP2020181401A (ja) 画像処理装置、画像処理方法及びプログラム
WO2016047220A1 (ja) 撮像装置及び撮像方法
CN108540714B (zh) 图像捕获装置和系统、图像捕获装置控制方法及存储介质
JP7288227B2 (ja) 測距カメラ
JP6066765B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP2016090975A (ja) 距離検出装置、撮像装置、距離検出方法、およびプログラム
JP2024021700A (ja) 画像処理装置、撮像装置、画像処理方法、及びコンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant