CN107407560B - 图像处理装置以及图像处理方法 - Google Patents

图像处理装置以及图像处理方法 Download PDF

Info

Publication number
CN107407560B
CN107407560B CN201680010718.6A CN201680010718A CN107407560B CN 107407560 B CN107407560 B CN 107407560B CN 201680010718 A CN201680010718 A CN 201680010718A CN 107407560 B CN107407560 B CN 107407560B
Authority
CN
China
Prior art keywords
range information
image
amplitude
image processing
amplitude component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680010718.6A
Other languages
English (en)
Other versions
CN107407560A (zh
Inventor
K·源
河村岳
日浦慎作
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN107407560A publication Critical patent/CN107407560A/zh
Application granted granted Critical
Publication of CN107407560B publication Critical patent/CN107407560B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/32—Measuring distances in line of sight; Optical rangefinders by focusing the object, e.g. on a ground glass screen
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/365—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals by analysis of the spatial frequency components of the image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/62—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding by frequency transforming in three dimensions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32154—Transform domain methods
    • H04N1/3216—Transform domain methods using Fourier transforms

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

图像处理装置(100)利用对焦位置不同的多个图像来计算到被摄体的距离信息，具备：频率变换部(110)、振幅提取部(120)和距离信息计算部(130)。频率变换部(110)将图像变换为频率。振幅提取部(120)提取变换为频率而得到的系数的相位分量和振幅分量中的振幅分量。距离信息计算部(130)利用透镜的模糊数据以及系数的相位分量和振幅分量中仅由振幅提取部(120)提取出的振幅分量，来计算距离信息。

Description

图像处理装置以及图像处理方法
技术领域
本发明涉及利用对焦位置不同的多个图像来计算到被摄体为止的距离信息的图像处理装置以及图像处理方法。
背景技术
在图像拍摄装置等中，提出了用于以非接触的方式来计算某三维场景的进深，即计算从图像拍摄装置等到被摄体的距离信息的各种方法。若将这些方法大致进行分类，则有主动方法和被动方法。对于主动方法而言，向被摄体照射红外线、超声波、激光等，基于反射波返回来的时间、反射波的角度等来计算到被摄体的距离信息。对于被动方法而言，基于被摄体的图像来计算到被摄体的距离信息。特别是在照相机中广泛使用不需要用于照射红外线等的装置的被动方法。
在被动方法中也提出了很多方法。作为其中之一，存在被称作离焦深度(Depthfrom Defocus，以下记作DFD)的方法，该方法基于大小、形状根据到被摄体的距离而变化的模糊信息来计算到被摄体的距离信息。DFD具有如下等特征，即，不需要多个照相机，能够利用少数的图像来计算出到被摄体的距离信息。
以下，简单说明DFD的原理。
DFD是如下方法，即，根据对焦位置不同的多个图像，基于模糊信息来计算到被摄体的距离信息。包含模糊信息的拍摄图像(以下记作模糊图像)，是对表示没有基于透镜的模糊的状态的全聚焦图像，卷积了作为到被摄体为止的距离的函数的点扩散函数(PointSpread Function)的图像。由于点扩散函数(以下记作PSF)是到被摄体为止的距离的函数，所以在DFD中通过从模糊图像中检测模糊的信息，从而能够计算出到被摄体的距离信息。不过，此时，全聚焦图像和到被摄体的距离信息均是未知的。由于针对一张模糊图像，与模糊图像、全聚焦图像、到被摄体的距离信息相关的一个数式成立，因此新拍摄对焦位置不同的模糊图像，得到新的数式。对所得到的多个数式进行求解，从而计算出到被摄体的距离信息。关于数式的获得方法、求解数式的方法等，以专利文献1为代表，存在对于DFD的各种各样的提案。
在先技术文献
专利文献
专利文献1：JP特开平11-337313号公报
发明内容
但是，在要获得对焦位置不同的多个图像的情况下，由于使透镜系统的焦点变化来得到多个图像，因此在得到每个图像的时间上会产生时间差。在此时间差内被摄体的位置或形状等发生较大变化的情况下，由于在多个图像间的被摄体发生位置偏移，因而存在难以高精度地计算到被摄体的距离信息的情况。即，有时在活动快的被摄体的静止图像、动态图像的拍摄中难以使用现有的DFD。
本发明提供一种在运动快的被摄体的静止图像、动态图像的拍摄中能够高精度地计算出到被摄体的距离信息的图像处理装置以及图像处理方法。
本发明中的图像处理装置利用对焦位置不同的多个图像来计算到被摄体的距离信息，并具备频率变换部、振幅提取部和距离信息计算部。频率变换部将图像变换为频率。振幅提取部提取变换为频率而得到的系数的相位分量和振幅分量中的振幅分量。距离信息计算部利用透镜的模糊数据以及系数的相位分量和振幅分量中仅由振幅提取部提取出的振幅分量，来计算距离信息。
此外，本发明中的图像处理方法是利用对焦位置不同的多个图像来计算到被摄体的距离信息的图像处理方法，在该图像处理方法中，将图像变换为频率，提取变换为频率而得到的系数的相位分量和振幅分量中的振幅分量，利用透镜的模糊数据以及系数的相位分量和振幅分量中仅提取出的振幅分量，来计算距离信息。
本发明中的图像处理装置以及图像处理方法能够在运动快的被摄体的静止图像或动态图像的拍摄中高精度地计算到被摄体的距离信息。
附图说明
图1是表示实施方式1中的图像处理装置的功能结构的框图。
图2是表示实施方式1中的距离信息计算部的功能结构的框图。
图3是表示通过现有的方法而计算出的距离信息与通过本发明的方法而计算出的距离信息的相对于位置偏移的精度差异的图。
图4是表示实施方式2中的图像处理装置的功能结构的框图。
图5是表示实施方式3中的距离信息计算部的功能结构的框图。
具体实施方式
以下，适当参照附图，对实施方式详细进行说明。但是，存在省略过于详细的说明的情况。例如，存在省略已经众所周知的事项的详细说明、对于实质上相同的结构的重复说明的情况。这是为了避免以下的说明变得过于冗长，使本领域技术人员容易理解。
另外，附图以及以下的说明是为了使本领域技术人员充分理解本发明而提供的，并非意图通过这些内容来限定权利要求书所记载的主题。
(实施方式1)
以下，使用图1来说明实施方式1。
图1是表示实施方式1中的图像处理装置的功能结构的框图。
本实施方式中的图像处理装置100是利用对焦位置不同的多个图像来计算到被摄体的距离信息的装置。如图1所示，图像处理装置100具备：频率变换部110、振幅提取部120和距离信息计算部130。
频率变换部110是将图像变换为频率的处理部。即，频率变换部110针对对焦位置不同的多个图像，将图像从图像空间变换至频率空间。通过将图像从图像空间变换至频率空间，从而能够提高距离信息计算的精度。在本实施方式的情况下，频率变换部110将多个图像从图像空间变换至频率空间。在此，作为多个图像，例如设为将对焦位置不同的第一图像和第二图像输入到频率变换部110来进行说明。另外，多个图像既可以并行输入也可以串行输入。此外，频率变换部110将图像从图像空间变换至频率空间的方法并无特别限制，例如，可以举例FFT(Fast Fourie Transform，快速傅里叶变换)、DFT(Discrete FourieTransform，离散傅里叶变换)等。
振幅提取部120是提取由频率变换部110变换为频率而得到的系数的相位分量和振幅分量中的振幅分量的处理部。在本实施方式的情况下，振幅提取部120仅提取变换至频率空间而得到的第一图像和第二图像的系数的振幅分量。具体而言，变换至频率空间而得到的系数为复数，所以振幅提取部120通过计算系数的绝对值，从而仅提取振幅分量。另外，变换至频率空间而得到的系数也被称作变换系数。在本实施方式的情况下，振幅提取部120提取作为第一图像和第二图像各自的振幅分量的第一振幅分量和第二振幅分量。
距离信息计算部130是如下的处理部，即，利用透镜的模糊数据以及系数的相位分量和振幅分量中仅由振幅提取部120提取出的振幅分量，来计算到被摄体的距离信息。
在此，所谓透镜的模糊数据，是由取得图像的照相机的透镜、光圈等光学系统的结构决定的光学传递函数(Optical Transfer Function)。以下，将光学传递函数记作OTF。
图2是表示本实施方式中的距离信息计算部的功能结构的框图。
如图2所示，距离信息计算部130具备：成本计算部131和距离决定部132。
成本计算部131是如下的处理部，即，利用由振幅提取部120提取出的第一振幅分量、第二振幅分量、以及透镜的模糊数据，针对各图像的各像素，来计算所假设的距离的成本。
在本实施方式中，作为计算距离信息的方法，利用DFD。此外，作为透镜的模糊数据而利用OTF。DFD为了估算图像中各像素对应于哪个距离，例如，针对所假设的多个距离d来计算距离的成本(Cost(d))。计算距离的成本的数式由下述数式1来表示。
【数式1】
第一图像的振幅分量：|F1|……数式1
第二图像的振幅分量：|F2|
另外，数式1基于作为考虑了图像偏移的深度计算公式的下述数式2来计算。在此，本发明通过对第一图像以及第二图像中的任意一方应用图像偏移，从而能够从数式中消除相位分量。即，能够仅利用振幅分量来得到解。应用该图像偏移本身、以及将图像偏移导入到深度计算公式是新的见解。在现有技术中，并未应用图像偏移，所以并未将图像偏移导入到深度计算公式，作为结果来说，即使进行傅里叶变换在数式中也仍会残留相位分量，在存在图像偏移的情况下不能高精度地计算出深度。
【数式2】
深度计算公式：
第一图像：F1＝F0·OTF1
第二图像：F2＝F0·OTF2·OTFshift
图像偏移：：
被摄体的全聚焦图像：：
距离决定部132利用由成本计算部131计算出的距离的成本，针对各像素决定到被摄体的距离信息。在此，将各像素的所假设的多个距离d中的各像素中距离的成本最小的距离d作为该像素的距离信息来输出。即，距离信息计算部130针对图像的各像素计算到被摄体的距离信息。
图3是表示通过现有的方法而计算出的距离信息和通过本发明的方法而计算出的距离信息的相对于位置偏移的精度的差异的图。
图3在视觉上示出了使用对距离呈16等级不同的被摄体进行了摄像的第一图像、和在纵(图3中Y)横(图3中X)上被摄体发生了偏移(图3中用数字表示偏移量。单位为像素数)的第二图像，通过现有的方法而计算出的距离信息和通过本发明中的方法而计算出的距离信息。如图3所示，在现有的方法中，即使图像仅偏移了一个像素，距离信息也不能表示到被摄体的距离，与此相对，在本发明的方法中，即使像素在纵横上偏移了一个像素，距离信息也准确地表示了到被摄体的距离。
如该结果所示的那样，对于现有的方法而言，示出了如下情况：若不准确地进行对位直到子像素为止，则不能高精度地计算到被摄体的距离信息。与此相对，对于本发明的方法而言，示出了如下情况：即便是粗略的对位也能够高精度地计算到被摄体的距离信息。此外，在现有的方法中，在从第一图像的取得到第二图像的取得之间被摄体移动了一个像素程度的情况下，不能高精度地计算到被摄体的距离信息。与此相对，在本发明的方法中，即使在从第一图像的取得到第二图像的取得之间被摄体移动了一个像素程度，无需进行位置校正也能够高精度地计算到被摄体的距离信息。
如上所述，通过仅使用振幅分量来计算到被摄体的距离信息，从而能够抑制运算成本，同时高速计算距离信息。进而，在本发明的图像处理方法中，即使在对焦位置不同的多个图像间存在位置偏移的情况下，也将图像从图像空间变换至频率空间，仅使用不包含位置信息的振幅分量来进行距离信息的计算。因此，只要位置偏移在给定范围内便能够高精度地计算距离信息。因此，即使在被摄体高速移动的静止图像的拍摄或动态图像的拍摄的情况下也能够应用本发明。
(实施方式2)
以下，使用图4来说明实施方式2。
图4是表示实施方式2中的图像处理装置的功能结构的框图。另外，在本实施方式中，对于与实施方式1相同的结构使用相同的符号，并省略说明。
在本实施方式中，为了进一步提高距离信息计算的精度，对不同的图像间的位置偏移进行校正后进行距离信息的计算。
本实施方式中的图像处理装置100还具备区域分割部140和区域搜索部150。区域分割部140是将第一图像分割为多个第一小区域的处理部。要分割的第一小区域的大小并无特别限定，例如可以分割为4像素×4像素的第一小区域。
区域搜索部150是对于第一图像以外的其他图像，按照所分割的多个第一小区域的每一个，搜索对应的第二小区域的处理部。即，区域搜索部150通过针对第一图像的第一小区域的图像的每一个在第二图像内搜索对应的第二小区域的图像并进行对位，从而对图像间的位置偏移进行校正。
具体而言，使用与由区域分割部140分割出的第一图像的各第一小区域对应的图像，在第二图像内搜索对应的图像，将相似的图像的区域设为第二小区域。关于搜索算法，并无特别限定，在本实施方式中，利用块匹配作为搜索算法。另外，作为搜索算法，只要能够搜索图像间的对应的区域，则也可以利用其他方法。
块匹配是如下方法，即，针对第一图像的各第一小区域，搜索第二图像中的对应的第二小区域。搜索是计算出第一图像的第一小区域与第二图像的各区域的差异，将差异最小的区域设为第二小区域。所谓差异，例如基于相对于该区域的亮度差的总和等来计算。
本实施方式中的频率变换部110将第一小区域的图像以及对应的第二小区域的图像变换为频率。振幅提取部120按照作为第一小区域、以及对应的第二小区域的每个小区域提取振幅分量。即，振幅提取部120针对第一小区域以及对应的第二小区域分别提取振幅分量。距离信息计算部130按照每个小区域计算到被摄体的距离信息。即，距离信息计算部130针对与对应的第二小区域对位的每个第一小区域来计算到被摄体的距离信息。
如上所述，在本实施方式中，通过将多个图像中的第一图像分割为第一小区域，并按照每个第一小区域与其他图像进行对位，从而能够精细地校正图像间的位置偏移。因此，能够更高精度地计算到被摄体的距离信息。不过，在本发明中，由于即使在多个图像间发生些许的位置偏移也能够高精度地计算距离信息，所以能够粗略地进行图像间的对位。例如，在通常的DFD中，对于边缘较弱的区域若不进行对位直到0.1像素单位为止则不能高精度地计算距离信息。与此相对，在本发明的情况下即便是一个像素单位程度的对位也能够高精度地计算距离信息。
(实施方式3)
以下，使用图5来说明实施方式3。
图5是表示本实施方式中的距离信息计算部的功能结构的框图。
如图5所示，距离信息计算部130具备代表成本计算部133来取代成本计算部131，并具备代表距离决定部134来取代距离决定部132。
代表成本计算部133利用第一图像的第一小区域的振幅分量、第二图像的第二小区域的振幅分量和输入的透镜的模糊数据，按照每个小区域来计算所假设的距离的代表成本。即，代表成本计算部133按照与对应的第二小区域对位的每个第一小区域，来计算所假设的距离的代表成本。距离的代表成本通过以下的数式3来计算。
【数式3】
距离的代表成本的计算方法并无特别限定，在本实施方式中，针对一个小区域，计算出一个距离的代表成本。然后，由代表距离决定部134使用由代表成本计算部133计算出的距离的代表成本，按照每个小区域来决定代表距离信息。具体而言，代表成本计算部133对频率系数值进行合计，代表距离决定部134对一个小区域计算一个代表距离信息作为代表值。
如上所述，在本实施方式中，通过按照每个小区域而并非像素单位来计算代表距离信息，从而能够大幅削减运算成本以及使用存储器。因此，能够实现处理的高速化，也能够实现装置成本的削减。
作为本发明的具体效果，例如具有以下效果。
在对对焦位置不同的多个图像进行拍摄的期间，由于照相机的抖动或被摄体的移动，从而在多个图像间的被摄体发生了位置偏移的情况下，有时无法高精度地求取到被摄体的距离信息。在该情况下，在计算距离信息之前需要进行对位处理。但是，对位处理存在由于图像的特征或噪声等的影响而不能准确地对位的情况、为了准确地对位而需要较长时间的情况。
本发明在利用在不同的定时拍摄到的多个图像来计算到被摄体的距离信息的情况下，即使不进行图像间的对位或者是粗略的对位，也能够高精度地计算到被摄体的距离信息。
如上所述，作为在本发明中公开的技术的例示，说明了实施方式1～3。但是，本发明中的技术并不限定于此，也能够应用于进行了变更、置换、追加、省略等的实施方式。此外，在不脱离本发明的主旨即权利要求书所记载的措词所示的意思的范围内本领域技术人员对上述实施方式实施想到的各种变形而得到的变形例也包含在本发明中。
例如，在对于图像仅需要一部分的像素的距离信息的情况下，也可以仅计算该一部分的像素的距离信息。具体地，例如，无需针对所有的第一小区域进行搜索，也可以针对所关注的第一小区域进行搜索，并计算距离信息。
此外，所分割的各第一小区域可以彼此不完全独立，也可以一部分重合(重叠)。
此外，第一小区域不仅可以是正方形，还能够选择任意的形状。
此外，在实施方式1～3中，作为输入而利用OTF，但由于一般若对PSF进行傅里叶变换则成为OTF，因此也可以将PSF设为输入，在内部进行傅里叶变换而变换为OTF。
此外，用于使计算机执行图像处理装置100具备的各图像处理方法的程序以及记录了该程序的记录介质也在本发明的范围内。
产业上的可利用性
本发明能够应用于利用对焦位置不同的多个图像来计算到被摄体的距离信息的图像处理装置以及图像处理方法。具体而言，能够应用于数字静态照相机、数字电影照相机、带照相机功能的便携式电话机、智能电话等。
符号说明
100 图像处理装置
110 频率变换部
120 振幅提取部
130 距离信息计算部
131 成本计算部
132 距离决定部
133 代表成本计算部
134 代表距离决定部
140 区域分割部
150 区域搜索部。

Claims (5)

1.一种图像处理装置，利用对焦位置不同的多个图像来计算到被摄体的距离信息，所述图像处理装置具备：
频率变换部，其将所述图像变换为频率；
振幅提取部，其提取变换为频率而得到的系数的相位分量和振幅分量中的振幅分量；和
距离信息计算部，其利用透镜的模糊数据以及所述系数的相位分量和振幅分量中仅由所述振幅提取部提取出的振幅分量，来计算所述距离信息，
所述距离信息计算部具备：
成本计算部，其基于导入了对所述多个图像的任意一个图像起作用的图像偏移的深度计算公式，利用由所述振幅提取部提取出的振幅分量、以及透镜的模糊数据，来计算所述图像的假设的距离的成本；和
距离决定部，其利用由所述成本计算部计算出的所述距离的成本，来决定所述距离信息。
2.根据权利要求1所述的图像处理装置，还具备：
区域分割部，其将多个所述图像的至少一个分割为多个第一小区域；和
区域搜索部，其针对其他所述图像，按照多个所述第一小区域的每一个，搜索对应的第二小区域，
所述频率变换部将所述第一小区域的图像、以及对应的所述第二小区域的图像变换为频率，
所述振幅提取部按照作为所述第一小区域以及对应的所述第二小区域的每个小区域来提取振幅分量，
所述距离信息计算部按照每个所述小区域来计算所述距离信息。
3.根据权利要求1所述的图像处理装置，所述距离信息计算部针对所述图像的各像素计算所述距离信息。
4.根据权利要求2所述的图像处理装置，所述成本计算部按照每个所述小区域计算所假设的距离的代表成本，
所述距离决定部使用由所述成本计算部计算出的所述距离的代表成本来决定每个所述小区域的代表距离信息。
5.一种图像处理方法，利用对焦位置不同的多个图像来计算到被摄体的距离信息，在所述图像处理方法中，
将所述图像变换为频率，
提取变换为频率而得到的系数的相位分量和振幅分量中的振幅分量，
利用透镜的模糊数据以及所述系数的相位分量和振幅分量中仅提取出的振幅分量，来计算所述距离信息，
在所述距离信息的计算中：
基于导入了对所述多个图像的任意一个图像起作用的图像偏移的深度计算公式，利用所提取出的振幅分量、以及透镜的模糊数据，来计算所述图像的假设的距离的成本，并且
利用所计算出的所述距离的成本，来决定所述距离信息。
CN201680010718.6A 2016-02-29 2016-06-21 图像处理装置以及图像处理方法 Active CN107407560B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-038438 2016-02-29
JP2016038438 2016-02-29
PCT/JP2016/002973 WO2017149565A1 (ja) 2016-02-29 2016-06-21 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
CN107407560A CN107407560A (zh) 2017-11-28
CN107407560B true CN107407560B (zh) 2019-09-24

Family

ID=59743529

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680010718.6A Active CN107407560B (zh) 2016-02-29 2016-06-21 图像处理装置以及图像处理方法

Country Status (5)

Country Link
US (1) US10455139B2 (zh)
EP (1) EP3425331A4 (zh)
JP (1) JP6354907B2 (zh)
CN (1) CN107407560B (zh)
WO (1) WO2017149565A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011149931A (ja) * 2009-12-21 2011-08-04 Ricoh Co Ltd 距離画像取得装置
CN102472620A (zh) * 2010-06-17 2012-05-23 松下电器产业株式会社 图像处理装置及图像处理方法
CN102867288A (zh) * 2011-07-07 2013-01-09 三星电子株式会社 深度图像转换设备和方法
US8611610B2 (en) * 2010-01-21 2013-12-17 Samsung Electronics Co., Ltd. Method and apparatus for calculating a distance between an optical apparatus and an object
EP2854106A1 (de) * 2013-09-26 2015-04-01 Sick Ag 3D-Kamera nach dem Stereoskopieprinzip und Verfahren zum Erfassen von Tiefenkarten

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2963990B1 (ja) 1998-05-25 1999-10-18 京都大学長 距離計測装置及び方法並びに画像復元装置及び方法
JP5459768B2 (ja) * 2009-10-28 2014-04-02 京セラ株式会社 被写体距離推定装置
US8330852B2 (en) * 2010-04-30 2012-12-11 Eastman Kodak Company Range measurement using symmetric coded apertures
CN102812715B (zh) * 2011-01-27 2015-08-19 松下电器产业株式会社 三维图像摄影装置以及三维图像拍摄方法
JP5830295B2 (ja) * 2011-07-29 2015-12-09 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
US8983221B2 (en) * 2011-08-29 2015-03-17 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus, imaging apparatus, and image processing method
AU2011224051B2 (en) * 2011-09-14 2014-05-01 Canon Kabushiki Kaisha Determining a depth map from images of a scene
JP6272112B2 (ja) * 2014-03-31 2018-01-31 キヤノン株式会社 距離検出装置、撮像装置、距離検出方法及び視差量検出装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011149931A (ja) * 2009-12-21 2011-08-04 Ricoh Co Ltd 距離画像取得装置
US8611610B2 (en) * 2010-01-21 2013-12-17 Samsung Electronics Co., Ltd. Method and apparatus for calculating a distance between an optical apparatus and an object
CN102472620A (zh) * 2010-06-17 2012-05-23 松下电器产业株式会社 图像处理装置及图像处理方法
CN102867288A (zh) * 2011-07-07 2013-01-09 三星电子株式会社 深度图像转换设备和方法
EP2854106A1 (de) * 2013-09-26 2015-04-01 Sick Ag 3D-Kamera nach dem Stereoskopieprinzip und Verfahren zum Erfassen von Tiefenkarten

Also Published As

Publication number Publication date
US10455139B2 (en) 2019-10-22
CN107407560A (zh) 2017-11-28
JPWO2017149565A1 (ja) 2018-03-08
EP3425331A4 (en) 2019-02-27
JP6354907B2 (ja) 2018-07-11
EP3425331A1 (en) 2019-01-09
WO2017149565A1 (ja) 2017-09-08
US20170332007A1 (en) 2017-11-16

Similar Documents

Publication Publication Date Title
CN103003665B (zh) 立体测距装置
JP6223169B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN107077743A (zh) 用于阵列相机的动态校准的系统和方法
CN104685513A (zh) 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计
JP4941565B2 (ja) 対応点探索装置および対応点探索方法
CN104361569A (zh) 图像拼接的方法及装置
TWI528783B (zh) 產生深度影像之方法及其系統及電腦程式產品
KR100943635B1 (ko) 디지털카메라의 이미지를 이용한 디스패리티 맵 생성 장치 및 방법
JP6494402B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
JP2011185720A (ja) 距離取得装置
TWI571099B (zh) 深度估測裝置及方法
KR20160085708A (ko) 멀티뷰 영상들에 대한 슈퍼픽셀들을 생성하기 위한 방법 및 장치
CN107407560B (zh) 图像处理装置以及图像处理方法
CN104754316A (zh) 一种3d成像方法、装置及成像系统
JP2001153633A (ja) 立体形状検出方法および装置
TWI569642B (zh) 機器視覺中進行影像擷取之方法及裝置
Kouzuki et al. Precise and reliable image shift detection by a new phase-difference spectrum analysis (PSA) method
Prozorov et al. Three-dimensional reconstruction of a scene with the use of monocular vision
Hariharan et al. An adaptive focal connectivity algorithm for multifocus fusion
JP5654956B2 (ja) 視差画像生成装置および視差画像生成プログラム
JP2018206063A (ja) 画像認識装置及び画像認識方法
WO2016047220A1 (ja) 撮像装置及び撮像方法
JP6831792B2 (ja) 撮像装置、および、撮像システム
Zou et al. Restoration for High-overlapped Image Sequence with Composite Motion Blurs.
JP2016062447A (ja) 画像処理装置、画像処理方法、および画像処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant