CN102472622A - 距离推定装置、距离推定方法、集成电路、计算机程序 - Google Patents

距离推定装置、距离推定方法、集成电路、计算机程序 Download PDF

Info

Publication number
CN102472622A
CN102472622A CN2011800033353A CN201180003335A CN102472622A CN 102472622 A CN102472622 A CN 102472622A CN 2011800033353 A CN2011800033353 A CN 2011800033353A CN 201180003335 A CN201180003335 A CN 201180003335A CN 102472622 A CN102472622 A CN 102472622A
Authority
CN
China
Prior art keywords
image
depth
degree
burnt
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800033353A
Other languages
English (en)
Other versions
CN102472622B (zh
Inventor
河村岳
P·拉桑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN102472622A publication Critical patent/CN102472622A/zh
Application granted granted Critical
Publication of CN102472622B publication Critical patent/CN102472622B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/32—Measuring distances in line of sight; Optical rangefinders by focusing the object, e.g. on a ground glass screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/676—Bracketing for image capture at varying focusing conditions

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Automatic Focus Adjustment (AREA)
  • Image Analysis (AREA)

Abstract

距离推定装置(1x)为，能够解消作为采用利用全焦点图像和任意焦点图像这两张来进行距离推定的方式时的缺点的距离推定精度的偏差，且在任何被摄体距离中都能够获得高的距离推定精度的装置，包括：第一生成部(10w)，生成表示由全焦点图像和第一深度合焦图像确定的深度的第一距离图；第二生成部(11w)，生成表示由所述全焦点图像和第二深度合焦图像确定的深度的第二距离图；以及距离图合成部(14)，根据生成后的第一距离图和第二距离图合成距离图。

Description

距离推定装置、距离推定方法、集成电路、计算机程序
技术领域
本发明涉及，拍摄运动图像或连续静止图像时推定与图像中的所有的被摄体之间的距离的装置以及方法。
背景技术
一般而言，对于基于传感的距离推定方式，可以主要大致划分为以下的两种。
一种为，主动传感型。例如，该主动传感型的方式有：利用激光以及超声波的飞行时间法；在显微镜等上常用的共焦点法；以及利用多个光源的光度立体法等。
另一种为，被动传感型。该被动传感型的方式有：拍摄立体图像，并根据各个摄像图像中所拍摄的物体位置的差来推定距离的方法；以及虽然同时拍摄一张图像，但是利用透镜焦点的不同的焦点法。
焦点法为，主要用于实现相机的自动对焦(以下，称为“AF(AutoFocus)”。)功能的技术。焦点法中的方法有：用于小型数字相机的对比AF(Auto Focus)等的DFF法(Depth From Focus：对焦深度)；用于单镜头反光相机的AF等的瞳孔分割相位差检测法；以及DFD法(Depth FromDefocus：散焦深度)。
在DFD法中，针对图像中的一点，计算在该一点的对比度，逐渐进行对焦位移，在判断为接近合焦状态时，停止对焦位移，来确定距离。
在该DFD法中，需要依次进行对焦位移，直到成为合焦状态为止，而且，针对图像中的所有的像素执行该方法。因此，测量距离所需要的时间非常长。因此，对移动物体的测量不合适。
并且，如AF的情况那样，在测量特定的物体的距离的情况下，通过所述的方法能够实现，但是，若想要针对图像中的所有的像素进行距离推定，必然需要拍摄合焦位置不同的许多图像。也就是说，存在的缺点是，需要从拍摄后的这些许多图像中选择合焦于各个像素的图像，进行距离推定。
对于瞳孔分割相位差检测法，通过测量相位差检测传感器的成像间隔，从而能够直接推定距离，为了推定距离而不需要花费时间，但是，不能将相位差检测传感器排列为被分配到图像中的所有的像素。因此，仅在图像中的预先限定的点，能够推定距离。并且，用于实现其功能的机构尺寸，与其他的方式相比，必然大。
DFD法是指，拍摄互不相同的两个聚焦位置的两张图像，根据各个图像以及透镜的模糊参数来直接求出合焦距离的方法(例如，参照非专利文献1以及2)。
在此，模糊参数是表示亮度信息的模糊的值，也是与透镜的点扩展函数(PSF：Point Spread Function)的方差相关的值。
在此，PSF是表示理想的点像通过光学系统时的光线的扩展的函数。也称为散焦特性。
对于DFD法，与所述的瞳孔分割相位差检测法相同，为了推定距离而不需要花费时间，并且，拍摄的张数为最小限度的两张即可，但是，需要预先获得透镜的模糊参数。而且，实际上，在模糊图像中，除了存在由透镜的模糊以外，还存在由摄像元件的孔径的模糊、由薄膜特性的模糊等。因此，还需要预先获得并考虑这些模糊。
DFD法的问题是，在拍摄互不相同的两个聚焦位置的两张图像时，在该两张之间，需要不使像倍率发生变化。另一方，在通常的光学系统中，不是这样的设计的情况多。也就是说，需要采用像方远心光学系统(例如，参照非专利文献3)。
并且，除此以外，还存在的问题是，只能以比较小的模糊，保持距离推定精度。
对于该问题的第一原因是，通过图像处理，来进行匹配，并推定距离，因此，会有相对难以得到功率小时即模糊大时的距离推定精度的情况。
第二原因是，虽然这是在理想的透镜模型例如高斯模型以及pillbox模型中不会产生的问题，但是，基于实际透镜(组合透镜)的模糊模型中存在如下倾向，即，模糊越大，模糊的变化就越小。也就是说，因此存在的问题是，在模糊的变化量小的、模糊大的区域，导致距离推定精度降低。
针对这样的问题，在通常的光学系统中有如下想法，即，用于决定模糊的性质的瞳孔(孔径)形状为圆形，并模糊的变化小，因此距离推定精度低。而且，对于基于该想法的方法，提出了以下的方法，即，采用结构化瞳孔遮罩，利用模糊的变化大的模型，来推定距离(例如，参照非专利文献4)。
由于采用结构化瞳孔遮罩，因此，与圆形孔径的情况相比，针对深度方向，模糊的变化的区别更明显，距离推定精度提高。
并且，在推定距离的同时，能够生成All-in-focus图像(以下，称为“全焦点图像”。)。
而且，使该想法进一步发展而还提出了Coded Aperture(编码孔径)方式，其中，通过进一步研究瞳孔形状，从而按图像的每个部分区域，进行更高精度的距离测量(例如，参照非专利文献5)。
这样的研究瞳孔形状的方法的问题是，虽然距离推定精度提高，但是光量减少、且全焦点图像的画质也略降低。
对于该问题，关注之处是这样的方法采用以下的想法，即，通过研究瞳孔形状，在作为光学系统整体的频率传递特性上，生成零点，使距离推定精度提高。也就是说，因此，与被摄体无关，而能够进行稳健的距离推定，反而，在复原全焦点图像时，存在因零点而消失的信息(在频率区域成为零的成分)。因此，包含像在后级的信号处理也不能复原该信息那样的根源性问题。据此，产生所述的问题。
对于用于解决该问题的方法，有以下的方法。该方法是指，通过将以两张的、互不相同的光圈形状拍摄的两个图像，作为一对来使用，从而同时实现距离推定精度的提高和全焦点图像的复原性能劣化防止的方法。还提出了基于该方法的Coded Aperture Pairs方式(例如，参照非专利文献6)。这是因为，期待以下效果的缘故，即，通过以两张的、互不相同的光圈形状拍摄被摄体，从而互补彼此的零点。
另一方面，设定在任何光学系统、任何距离上都一定能够彼此互补零点的瞳孔形状的组合是困难的。
并且，即使以特定的光学系统为前提，也设定在任何距离上都一定能够彼此互补零点的瞳孔形状是困难的。
也就是说，不能避免与通常的光学系统相比，复原后的全焦点图像劣化。
另一方面，也有以下的方法，即，最初获得全焦点图像，将获得的全焦点图像、和由以后的通常拍摄的图像组合，根据焦点的不同来推定与物体之间的距离(例如，参照非专利文献7以及专利文献1)。
从前存在称为Focal Stack的方式，该方式是指，拍摄合焦位置互不相同的多张图像，并从各个图像分别提取有可能合焦的区域来合成，从而获得EDOF(Extended Depth of Field(Focus))图像(景深扩展图像)即全焦点图像。
利用如此获得的全焦点图像、以及另一张的对焦于任意的距离例如最靠前(近端)的距离时的实际的图像，推定距离。
通过进行测量等，预先获得对焦于近端时的各个被摄体距离的模糊参数。按图像的每个区域，比较利用所述的模糊参数来对全焦点图像的按每个被摄体距离的模糊进行模拟的多个图像的每一个、与所述的近端实际图像，将最类似的图像所示的距离判断为其被摄体的距离。
对于实现这样的方式所需要的结构，利用图8进行说明。
图8是示出距离推定装置9的结构的方框图，该距离推定装置9利用全焦点图像、和对焦于特定的距离时的实际的图像，来推定距离。
距离推定装置9包括全焦点图像生成部91、特定深度合焦图像获得部9101、模糊参数群获得部9102、模糊图像群生成部9103、类似模糊判断部9104、以及距离图生成部9105。
全焦点图像生成部91，生成全焦点图像(图8的图像91a)。
而且，对于全焦点图像生成部91的具体结构，通过景深扩张(以下，称为“EDOF”。)技术，获得全焦点图像的方法中的结构是所周知的。对于全焦点图像生成部91，例如，也可以采用该结构。
而且，一般而言，主要有以下的五个方式。
第一方式是称为Focal Stack的方式，该方式是指，拍摄合焦位置互不相同的多张图像，并从各个图像分别提取有可能合焦的区域来合成。据此，获得EDOF图像(景深扩展图像)即全焦点图像。
第二方式是指，通过插入称为相位板的光学元件，使深度方向的模糊均匀，根据预先通过测量或模拟而获得的模糊模式，进行图像复原处理，从而获得EDOF图像即全焦点图像。这称为Wavefront Coding(波前编码)(例如，参照非专利文献8)。
第三方式是指，在曝光时间中，通过使聚焦透镜或摄像元件变动，在深度方向卷积一律合焦的图像(即，与以各个深度使模糊均匀同义)，根据预先通过测量或模拟而获得的模糊模式，进行图像复原处理，从而获得EDOF图像即全焦点图像。这称为Flexible DOF(例如，参照非专利文献9)。
第四方式是指，虽然与Focal Stack相似的方法，但是，不拍摄多张图像，而利用透镜的轴向色差，根据一张颜色图像，推定深度，或者，检测图像的清晰度，通过图像处理，获得整体清晰的图像，以作为全焦点图像(例如，参照非专利文献10)。
第五方式是指，利用多焦点透镜，使深度方向的模糊均匀，根据预先通过测量或模拟而获得的模糊模式，进行图像复原处理，从而获得全焦点图像(例如，参照非专利文献11)。
由如上所举出的五个方式中的任何方式，都能够实现全焦点图像生成部91。
特定深度合焦图像获得部9101，从全焦点图像生成部91生成全焦点图像时使用了的图像群中选择任意的一张，或者，另外拍摄新的图像。特定深度合焦图像获得部9101，据此，获得在特定深度即距离合焦的图像(图像9101a)。
而且，如此，特定深度合焦图像获得部9101使相机在设定的特定深度合焦，获得在该合焦深度合焦的图像。
模糊参数群获得部9102，读出记录的模糊参数。也就是说，预先以数值来记录模糊参数(数据9102a)，该模糊参数(数据9102a)表示在使相机在特定深度合焦图像获得部9101所设定的特定深度合焦时，按任意的深度(距离)，发生怎样的模糊。例如，由模糊参数群获得部9102进行该记录。而且，模糊参数群获得部9102，读出如此记录的模糊参数。或者，在能够使透镜的模糊方法定式化的情况下，利用其算式，计算模糊参数(数据9102a)。
模糊图像群生成部9103，从全焦点图像生成部91接受全焦点图像。并且，从模糊参数群获得部9102接受按任意的深度的模糊参数。而且，针对全焦点图像，按任意的深度，卷积模糊参数。这意味着，如此获得的按任意的深度的模糊图像群为，假设在其深度存在所有的被摄体时的模拟图像群。
类似模糊判断部9104，对模糊图像群生成部9103所获得的按任意的深度的模糊图像群的各个图像(在各个深度(距离)的图像9103a)、与特定深度合焦图像获得部9101所获得的在特定深度合焦的实际拍摄图像(图像9101a)，以这样的两个图像中包含的区域为单位进行比较，判断模糊的类似性。其结果为，以图像中包含的区域为单位，判断在哪个深度(距离)的图像(图像9103a)、与实际拍摄图像(图像9101a)之间产生类似。具体而言，利用以下的(式1)，计算评价函数。
(算式1)
Fc ( d ) = Σ C ( A - F 1 * K ( d ) ) …(式1)
而且，在此，深度(距离)为d，全焦点图像的亮度值为A，在特定深度合焦的实际拍摄图像的亮度值为F1，按任意的深度的模糊参数为K(d)，评价函数为Fc(d)。并且，设想算式中的“*”表示卷积运算。在此，在这样的变量中，A和F1为，图像的纵×横×颜色的三维行列。Fc(d)为，图像的纵×横的二维行列，并且，模糊参数K(d)为，具有充分能够描述模糊的变化的大小的纵×横的正方尺寸、和颜色这三个维的三维行列。类似模糊判断部9104，针对如此计算出的各个像素单位的评价函数Fc(d)，以图像中包含的区域为单位来计算评价函数成为最小的d。
距离图生成部9105，将如此求出的、在图像中包含的区域单位的d映射在图像上，并将通过该映射获得的图作为距离图来输出。
(现有技术文献)
(专利文献)
专利文献1：(美国)专利申请公开第2007/0019883号说明书
(非专利文献)
非专利文献1：A.P.Pentland，“New Sense for Depth of Field”，IEEETrans.PAMI，vol.9，no.A4，pp.523-531(1987)
非专利文献2：M.Subbarao and G.Surya，“Depth from Defocus：Aspatial domain approach”，International Journal of Computer Vision，vol.13，no.3，pp.271-294(1994)
非专利文献3：M.Watanabe and S.K.Nayar，“Minimal operator setfor passive depth from defocus”，Proc.Of IEEE Conf.Computer Visionand Pattern Recognition，pp.431-438(1996)
非专利文献4：日浦慎作，松山隆司，“构造化瞳をもつ多重フオ一カス距离画像センサ(具有结构化瞳孔的多对焦距离图像传感器)”，电子信息通信学会论文，D-II vol.J82-D-II，no.11，pp.1912-1920(1999)
非专利文献5：A.Levin，R.Fergus，F.Durand and W.T.Freeman，“Image and Depth from a Conventional Camera with a CodedAperture”，ACM Transactions on Graphics，Vol.26，No.3，Article70，70-1-70-9(2007)
非专利文献6：C.Zhou，S.Lin and S.Nayar，“Coded Aperture Pairsfor Depth from Defocus”，IEEE International Conference onComputer Vision(ICCV)Sensing II(2009)
非专利文献7：E.Wong，“New Method for Creating a Depth Map forCamera Auto Focus Using an All in Focus Picture and 2D Scale SpaceMatching”，Acoustics，Speech and Signal AProcessing，ICASSP 2006Proceedings，IEEE International Conference on Vol.3，III，pp.1184-1187(2006)
非专利文献8：E.R.Dowski and W.T.Cathey，“Extended depth offield through wave-front coding”，Applied Optics，Vol.34，No.11，P.1859-1866(1995)
非专利文献9：H.Nagahara，S.Kuthirummal，C.Zhou and S.Nayar，“Flexible Depth of Field Photography”，European Conference onComputer Vision(ECCV)，Oct.16th，Morning Session 2：Computational Photography(2008)
非专利文献10：C.Tisse，H.P.Nguyen，R.Tesieres，M.Pyanet andF.Guichard，“Extended Depth-of-field(EDOF)using sharpnesstransport across colour channels”，Optical Engineering+Applications，Part of SPIE Optics+Photonics，Session 1--Imaging in the OpticalDesign Process：Depth of Field(2008)
非专利文献11：W.Chi and N.George，“Computational imagingwith the logarithmic asphere：theory”，Optical Society of America，Vol.20，No.12，December(2003)
发明概要
发明要解决的问题
据此，通过生成距离图像，从而能够不使全焦点图像的画质劣化，而计算与图像中的所有的被摄体之间的距离。
然而，在这样以往的方法的情况下，以圆形孔径为前提。因此，一般而言，距离推定的精度，比Coded Aperture、以及Coded Aperture Pairs低。并且，仍然存在只能以比较小的模糊，保持距离推定精度这问题。
在举出的所述例子中，在合焦于近端附近的情况下，其附近的距离推定精度高，但是，远端附近的距离推定精度低。在实际使用时，该距离推定精度的偏差的问题比较大。
发明内容
为了解决所述的以往的问题，本发明的目的在于提供没有距离推定精度的偏差的距离推定装置以及距离推定方法。
用于解决问题的手段
为了解决所述的问题，本发明的某方面涉及的距离推定装置，包括：第一深度合焦图像获得部，获得相对于第一深度合焦的第一深度合焦图像；第二深度合焦图像获得部，获得相对于与所述第一深度不同的第二深度合焦的第二深度合焦图像；全焦点图像生成部，生成在比所述第一深度合焦图像的合焦范围至所述第二深度合焦图像的合焦范围宽的范围内合焦的全焦点图像；第一生成部，设定所述全焦点图像的深度范围内的多个深度，根据所述全焦点图像，生成在所述第一深度合焦时的所述多个深度的多个模糊图像，将作为与所述第一深度合焦图像中包含的各个图像区域的图像最类似的图像的所述模糊图像，从所述多个深度的所述多个模糊图像中拣选，生成将拣选的所述模糊图像的深度作为该图像区域的距离来表示的第一距离图；第二生成部，根据所述全焦点图像，生成在所述第二深度合焦时的所述多个深度的多个模糊图像，将作为与所述第二深度合焦图像中包含的各个图像区域的图像最类似的图像的所述模糊图像，从所述多个深度的所述多个模糊图像中拣选，生成将拣选的所述模糊图像的深度作为该图像区域的距离来表示的第二距离图；以及距离图合成部，根据生成后的所述第一距离图和所述第二距离图，合成距离图。
而且，如此选定模糊图像。选定的模糊图像为，该模糊图像的深度被推定为图像区域的深度的模糊图像。也就是说，选定该模糊图像整体(或者，该图像区域的部分)为所述的最类似的图像的模糊图像。据此，该模糊图像的深度被推定为该图像区域的深度的、所述的适当的模糊图像被选定，进行适当的工作。而且，如此，全焦点图像为，比第一深度合焦图像的第一合焦范围宽、且比第二深度合焦图像的第二合焦范围宽、包含第一合焦范围、同时还包含第二合焦范围的第三合焦范围的图像。
据此，在第一生成部，根据第一深度合焦图像和全焦点图像，确定第一深度的第一被摄体的距离。并且，在第二生成部，根据第二深度合焦图像和全焦点图像，确定第二深度的第二被摄体的距离。而且，生成合成后的距离图。也就是说，被生成的合成后的距离图所示的第一被摄体的距离的精度，比根据第一深度合焦图像和全焦点图像确定的该第一被摄体的距离的精度高。并且，同样，被生成的合成后的距离图所示的第二被摄体的距离的精度，比根据第二深度合焦图像和全焦点图像确定的该第二被摄体的距离的精度高。据此，所示的任何被摄体的距离的精度都提高，能够解消确定的距离的精度的偏差。也就是说，确定的任何被摄体的距离的精度都提高，能够可靠地提高确定的精度。
也就是说，例如，也可以是，生成的所述全焦点图像为，至少在所述第一深度与所述第二深度之间的所有的深度合焦的图像，所述第一生成部，包括：第一模糊参数群获得部，获得第一模糊参数群，该第一模糊参数群为，在所述第一深度合焦的状态下至少表示在所述第一深度与所述第二深度之间的各个深度的模糊程度的模糊参数的组；第一模糊图像群生成部，针对生成后的所述全焦点图像，卷积被获得的所述第一模糊参数群中包含的各个深度的所述模糊参数，生成包含各个深度的所述模糊图像而成的第一模糊图像群；第一类似模糊判断部，按每个图像区域，对被获得的所述第一深度合焦图像、与生成后的所述第一模糊图像群中包含的各个深度的所述模糊图像进行比较，按每个所述图像区域，判断作为所述最类似的图像的所述模糊图像；以及第一距离图生成部，按每个所述图像区域，生成将被判断的所述模糊图像的深度作为该图像区域的距离来表示的所述第一距离图，所述第二生成部，包括：第二模糊参数群获得部，获得第二模糊参数群，该第二模糊参数群为，在所述第二深度合焦的状态下至少表示在所述第一深度与所述第二深度之间的各个深度的模糊程度的模糊参数的组；第二模糊图像群生成部，针对生成后的所述全焦点图像，卷积被获得的所述第二模糊参数群中包含的各个深度的所述模糊参数，生成包含各个深度的所述模糊图像而成的第二模糊图像群；第二类似模糊判断部，按每个图像区域，对被获得的所述第二深度合焦图像、与生成后的所述第二模糊图像群中包含的各个深度的所述模糊图像进行比较，按每个所述图像区域，判断作为所述最类似的图像的所述模糊图像；以及第二距离图生成部，按每个所述图像区域，生成将被判断的所述模糊图像的深度作为该图像区域的距离来表示的所述第二距离图。
根据本结构，与仅基于一张模糊图像的距离推定时的精度相比，距离推定精度的偏差小。也就是说，对于任何深度，都能够将距离推定精度保持在一定水准以上。
而且，能够比较简单地构成在第一生成部单纯地包含第一模糊参数群获得部等的结构。
优选的是，例如，也可以是，第一图像特征提取部，提取被获得的所述第一深度合焦图像的第一图像特征；以及第二图像特征提取部，提取被获得的所述第二深度合焦图像的第二图像特征，所述距离图合成部，根据所述第一图像特征和所述第二图像特征，对合成后的所述距离图进行合成。
根据本结构，进一步，能够根据图像特征，推定合焦的程度。据此，按每个图像区域，能够判断具有更小的模糊的一方，能够选择并合成距离推定精度更高的距离图，以作为最后获得的距离图。
更优选的是，例如，也可以是，所述距离图合成部，包括：第一图加权部，通过将根据被提取的所述第一图像特征而决定的第一权重系数、与生成后的更新前的所述第一距离图的值相乘，从而将更新前的所述第一距离图更新为更新后的所述第一距离图；第二图加权部，通过将根据被提取的所述第二图像特征而决定的第二权重系数、与生成后的更新前的所述第二距离图的值相乘，从而将更新前的所述第二距离图更新为更新后的所述第二距离图；以及距离图加法部，通过将更新后的所述第一距离图的值、与更新后的所述第二距离图的值相加，从而对合成后的所述距离图进行合成。
根据本结构，进一步，能够根据图像特征，推定合焦的程度，因此，按每个图像区域，能够相对地判断具有更小的模糊的一方。据此，能够对距离推定精度高的距离图的一方，进行更大的值的加权，最后获得的距离图的距离推定精度也提高。
而且，本发明，除了可以以包括这样的具有特征性的处理部的距离推定装置来实现以外，还可以以将距离推定装置所包括的具有特征性的处理部执行的处理作为步骤的距离推定方法来实现。并且，也可以以使计算机执行距离推定方法所包括的具有特征性的步骤的程序来实现。而且，当然也可以通过CD-ROM(Compact Disc-Read Only Memory)等的计算机可读取的非易失性的记录介质以及互联网等的通信网络分发这样的程序。
发明效果
如本发明，在计算距离图时，通过根据合焦位置不同的多张图像，计算并合成距离图，从而能够防止距离推定精度的偏差。
在任何区域(参照图2B的图像2I等的、区域1RF、1RN等)，都能够确定高精度的距离。据此，能够避免根据区域而确定的距离的精度不均匀、根据区域而确定的精度偏倚，因此，能够使确定的精度均匀。
对于任何区域，都确定高精度的距离，能够可靠地提高确定的距离的精度。
附图说明
图1是本发明的实施例1涉及的距离推定装置的方框结构图。
图2A是示出本发明的实施例1以及2涉及的全焦点图像的一个例子的图。
图2B是示出本发明的实施例1以及2涉及的第一特定深度合焦图像的一个例子的图。
图2C是示出本发明的实施例1以及2涉及的第二特定深度合焦图像的一个例子的图。
图3A是示出本发明的实施例1涉及的第一距离图的一个例子的图。
图3B是示出本发明的实施例1涉及的第二距离图的一个例子的图。
图3C是示出本发明的实施例1涉及的距离图合成部所合成的距离图的一个例子的图。
图4是本发明的实施例2涉及的距离推定装置的方框结构图。
图5A是示出本发明的实施例2涉及的针对第一特定深度合焦图像通过亮度方差来提取轮廓的强度的一个例子的图。
图5B是示出本发明的实施例2涉及的针对第二特定深度合焦图像通过亮度方差来提取轮廓的强度的一个例子的图。
图5C是示出本发明的实施例2涉及的针对第一特定深度合焦图像通过亮度梯度来提取轮廓的强度的一个例子的图。
图5D是示出本发明的实施例2涉及的针对第二特定深度合焦图像通过亮度梯度来提取轮廓的强度的一个例子的图。
图6是本发明的实施例2涉及的详细示出距离图合成部的距离推定装置的方框结构图。
图7是示出本发明的实施例2涉及的距离图合成部所合成的距离图的一个例子的图。
图8是以往的距离推定装置的方框结构图。
图9是示出本距离推定装置的处理流程的流程图。
具体实施方式
以下，参照附图说明本发明的各个实施例。
实施例的距离推定装置1x包括：第一特定深度合焦图像获得部2，获得相对于第一深度(图2B的图像2I等中的、三个布娃娃之中位于正当中的区域1RF的布娃娃的深度)合焦的第一图像2I(图2B，图1)(图9的步骤S1)。包括：第二特定深度合焦图像获得部3，获得相对于与第一深度不同的第二深度(位于右边的、区域1RN的布娃娃的深度)合焦的第二图像3I(图2C，图1)(S2)。并且，包括：全焦点图像生成部1，生成作为在比第一图像2I的合焦范围至第二图像3I的合焦范围宽的范围内合焦的全焦点图像(包含第一图像2I的合焦范围、且还包含第二图像3I的合焦范围的合焦范围的图像)的图像1I(图2A，图1)(S3)。并且，有生成后的图像1I的深度范围内(例如，图像1I中的所述的合焦范围)的多个深度。而且，包括：第一生成部10w，根据图像1I，生成在第一深度(区域1RF的深度)合焦时的所述多个深度的多个模糊图像(多个图像6I)，将作为与第一图像2I中包含的各个图像区域(例如，区域1RF)的图像最类似的图像的模糊图像(图像6I)，从所述多个模糊图像中拣选(确定)，生成将拣选的所述模糊图像的深度(参照数据8D)作为该图像区域(区域1RF)的距离来表示的第一距离图(参照数据10D(图1，图3A等))(S4)。包括：第二生成部11w，根据图像1I，生成在第二深度(区域1RN)合焦时的所述多个深度的多个模糊图像(多个图像7I)，将作为与第二图像3I中包含的各个图像区域(例如，区域1RN)的图像最类似的图像的模糊图像，从多个模糊图像中拣选，生成将拣选的模糊图像的深度(参照数据9D)作为该图像区域(区域1RN)的距离来表示的第二距离图(参照数据11D(图1，图3B等))(S5)。包括：距离图合成部14，根据生成后的第一距离图和第二距离图，合成距离图(合成后的距离图14D)(S6)。而且，如此，模糊图像被选定。被选定的模糊图像为，该模糊图像的深度被推定为图像区域的深度的模糊图像。也就是说，该模糊图像的整体(或者，该图像区域的部分)为所述的最类似的图像的模糊图像被选定。据此，该模糊图像的深度被推定为该图像区域的深度的、如上所述的适当的模糊图像被选定，进行适当的工作。
也就是说，由生成后的、合成后的距离图，表示各个图像区域的距离。表示的距离的精度为，在对于该距离的图像区域的、第一距离图所示的距离的精度、以及对于该图像区域的、第二距离图所示的距离的精度之中，比更低的一方的精度高的精度。
也就是说，例如，第二图像3I(图2C，图1)也可以是，合焦于第一图像2I(图2B，图1)中未被合焦的被摄体(位于右边的、区域1RN的布娃娃)的图像。
而且，根据第一图像2I和作为全焦点图像的图像1I确定的、作为该被摄体(右边的布娃娃)的距离的第一距离(由数据8D确定的距离)的精度，也可以是比第二精度低的第一精度。
而且，根据第二图像3I和作为全焦点图像的图像1I确定的、作为该被摄体(右边的布娃娃)的距离的第二距离(由数据9D确定的距离)的精度，也可以是所述的比较高的第二精度。
而且，第一生成部(10w)也可以确定第一距离(8D)。
第二生成部(11w)也可以确定第二距离(9D)。
而且，由合成后的距离图(14D)确定的、所述的被摄体(正当中的布娃娃)的距离的精度也可以，虽然在比较高的第二精度以下，但是高于比较低的第一精度。
据此，不仅对于在第一图像2I中合焦的被摄体(位于正当中的区域1RF的布娃娃)的距离，确定高精度的距离。也就是说，对于在第一图像2I中未被合焦的所述的被摄体(右边的布娃娃)，也确定高精度的距离。据此，对于任何被摄体，都确定高精度的距离，能够可靠地提高确定的距离的精度。
而且，换而言之，在任何被摄体的区域，都确定高精度的距离，避免根据区域而精度不均匀、确定的距离的精度偏倚，因此，能够使精度均匀。
进而，避免生成根据区域而精度不均匀、根据区域而精度偏倚的距离图，能够生成精度均匀、没有偏差的距离图(图1的数据14D的距离图)。
也就是说，针对任何区域，都能够提高确定的距离的精度，能够更可靠地提高距离的确定的精度。
本距离推定装置1x，在这样的结构、作用、效果上，与现有的例子不同。
(实施例1)
对于本发明的实施例1的距离推定装置以及距离推定方法，参照图1、图2A至图2C、图3A至图3C进行说明。以下，对于距离推定装置与距离推定方法，设想基本上的构成要素相同，作为装置来进行说明。
图1是示出本发明的实施例1的距离推定装置(距离推定装置1x)的方框结构图。
距离推定装置包括全焦点图像生成部1、第一特定深度合焦图像获得部2、第一模糊参数群获得部4、第一模糊图像群生成部6、第一类似模糊判断部8、第一距离图生成部10、第二特定深度合焦图像获得部3、第二模糊参数群获得部5、第二模糊图像群生成部7、第二类似模糊判断部9、第二距离图生成部11、以及距离图合成部14。
全焦点图像生成部1，生成至少在第一特定深度与第二特定深度之间的所有的深度合焦的图像(图像1I)。
而且，全焦点图像生成部1的结构为，依据图8示出的全焦点图像生成部1的结构的结构等。也就是说，例如，全焦点图像生成部1的结构也可以是，采用了Focal Stack、Wavefront Coding、Flexible DOF、轴向色差利用方式、以及多焦点透镜利用方式等中的任何方式的结构。
第一特定深度合焦图像获得部2，获得作为相对于第一特定深度合焦的图像的第一特定深度合焦图像(图像2I)。
第二特定深度合焦图像获得部3，获得作为相对于第二特定深度合焦的图像的第二特定深度合焦图像(图像3I)。
例如，这样的第一特定深度合焦图像获得部2和第二特定深度合焦图像获得部3的每一个的结构为，依据图8示出的特定深度合焦图像获得部9101的结构的结构等。
第一模糊参数群获得部4，获得作为在第一特定深度合焦的状态下至少表示在第一特定深度与第二特定深度之间的各个特定深度的模糊程度的模糊参数(数据4p)的组的第一模糊参数群。
第二模糊参数群获得部5，获得作为在第二特定深度合焦的状态下至少表示在第一特定深度与第二特定深度之间的各个特定深度的模糊程度的模糊参数(数据5p)的组的第二模糊参数群。
例如，第一模糊参数群获得部4和第二模糊参数群获得部5的结构为，依据图8示出的模糊参数群获得部9102的结构的结构等。
第一模糊图像群生成部6，针对全焦点图像生成部1生成的全焦点图像(图像1I)，卷积第一模糊参数群获得部4获得的第一模糊参数群中包含的各个特定深度的模糊参数，生成作为各个特定深度的模糊图像(图像6I)的组的第一模糊图像群。
第二模糊图像群生成部7，针对全焦点图像生成部1生成的全焦点图像(图像1I)，卷积第二模糊参数群获得部5获得的第二模糊参数群中包含的各个特定深度的模糊参数，生成作为各个特定深度的模糊图像(图像7I)的组的第二模糊图像群。
例如，第一模糊图像群生成部6和第二模糊图像群生成部7的每一个的结构为，依据图8示出的模糊图像群生成部9103的结构的结构等。
第一类似模糊判断部8，按每个图像区域，对第一特定深度合焦图像获得部2获得的第一特定深度合焦图像(所述的图像2I)、与第一模糊图像群生成部6生成的第一模糊图像群中包含的各个特定深度的模糊图像(图像6I)进行比较。而且，按每个图像区域，判断与第一特定深度合焦图像(所述的图像2I)最类似的模糊图像。
第二类似模糊判断部9，按每个图像区域，对第二特定深度合焦图像获得部3获得的第二特定深度合焦图像(图像3I)、与第二模糊图像群生成部7生成的第二模糊图像群中包含的各个特定深度的模糊图像(图像7I)进行比较，按每个图像区域，判断与第二特定深度合焦图像(图像3I)最类似的模糊图像。
而且，例如，第一类似模糊判断部8和第二类似模糊判断部9的每一个的结构为，依据图8示出的类似模糊判断部104的结构的结构等。
第一距离图生成部10，按每个图像区域，生成将第一类似模糊判断部8判断的最类似的模糊图像的特定深度(参照数据8D)作为该图像区域的距离来表示的第一距离图(数据10D)。
第二距离图生成部11，按每个图像区域，生成将第二类似模糊判断部9判断的最类似的模糊图像的特定深度(参照数据9D)作为该图像区域的距离来表示的第二距离图(数据11D)。
而且，例如，第一距离图生成部10和第二距离图生成部11的每一个的结构为，依据图8示出的距离图生成部105的结构的结构等。
距离图合成部14，合成从第一距离图生成部10输出的距离图(数据10D)和从第二距离图生成部11输出的距离图(数据11D)，输出最终的距离图(数据14D)。具体而言，计算两张距离图之间的平均和。
图2A是示出全焦点图像生成部1生成的全焦点图像(图像1I)的一个例子的图。
图2B是示出第一特定深度合焦图像获得部2获得的第一特定深度合焦图像(图像2I)的一个例子的图。
图2C是示出第二特定深度合焦图像获得部3获得的第二特定深度合焦图像(图像3I)的一个例子的图。
在此，存在作为第一特定深度合焦图像(图2B的图像2I)中的合焦的深度(距离)的第一深度(第一距离)。假设该第一深度(第一距离)为，比作为另一方的第二特定深度合焦图像(图2C的图像3I)中的合焦的深度(距离)的第二深度(第二距离)更远处的深度(距离)。
若根据所述的图2A至图2C示出的三个图像(图像1I，2I，3I)生成距离图，则得到图3A至图3B示出的两个距离图(数据10D的距离图，数据11D的距离图)。
图3A以及图3B是分别示出第一距离图(数据10D的距离图)以及第二距离图(数据11D的距离图)的一个例子的图。
图3C是示出距离图合成部14所生成的、由这两个距离图合成的距离图(数据14D的距离图)的一个例子的图。
在图3A示出的第一距离图中，三只布娃娃之中的、位于远处的、从左到右第二个的熊的布娃娃附近(区域1RF)的距离推定精度比较高。
对此，在图3B示出的第二距离图中，位于近旁的、最右边的小狗的布娃娃附近(区域1RN)的距离推定精度比较高。
也就是说，如上所述，只能以比较小的模糊(图2B中的区域1RF的模糊，图2C中的区域1RN的模糊)，保持距离推定精度。因此，例如，若合焦于近端附近(参照图2C中的区域1RN)，虽然其附近的距离推定精度高(参照图3B的区域1RN)，但是远端附近的距离推定精度低(参照图3B的区域1RF)。
图3C示出的距离图表示在这样的图3A中的第一距离图和图3B中的第二距离图之间的平均和。在该图3C的距离图中，对于所述的图3A和图3B的两个距离图之中的各个距离图的缺点，由与其距离图不同的其他的另一个距离图弥补，以成为相互弥补缺点的情况。据此，与取平均和之前的距离图(图3A、图3B的距离图)的推定精度相比，图3C的距离图的推定精度为更高的推定精度，推定精度提高了。
根据本实施例1的结构，可希望根据两个距离图(图3A的距离图，图3B的距离图)之间的平均化的效果，减少距离推定错误。
并且，如图2B以及图2C示出，假设第一特定深度为远端方(例如，区域1RF的深度)，第二特定深度为近端方(例如，区域1RN的深度)。
于是，如图3A以及图3B示出，在第一距离图生成部10所生成的距离图(图3A)中，远端方(区域1RF)的距离精度高，近端方(区域1RN)的距离精度低。
并且，在第二距离图生成部11所生成的距离图(图3B)中，近端方(区域1RN)的距离精度高，远端方(区域1RF)的距离精度低。通过将其平均化，从而能够防止各个精度的降低。
(实施例2)
对于本发明的实施例2的距离推定装置以及距离推定方法，参照图4、图5A至图5D、图6、图7进行说明。以下，对于距离推定装置与距离推定方法，设想基本上的构成要素相同，作为装置来进行说明。
图4示出本实施例2的距离推定装置(距离推定装置1y)，该距离推定装置，除了包括图1示出的实施例1的距离推定装置的结构以外，还包括第一图像特征提取部12、以及第二图像特征提取部13。并且，实施例2的距离推定装置，不包括距离图合成部14(图1)，而包括距离图合成部14B(图4)。
对于各个构成要素1至11，依据实施例1。
第一图像特征提取部12，从第一特定深度合焦图像获得部2获得的第一特定深度合焦图像(参照图1的图像2I)，提取第一图像特征。例如，生成表示第一图像特征的数据12D(图4)。
并且，第二图像特征提取部13，从第二特定深度合焦图像获得部3获得的第二特定深度合焦图像(参照图1的图像3I)，提取第二图像特征。例如，生成表示第二图像特征的数据13D。
在此，图像特征是指，通过像具有任意的截止频率的高通滤波那样的、提取图像的高频成分(轮廓的强度)的处理，来提取的特征量。
而且，对于计算这样的特征量的运算，具体而言，作为被分类为一次微分(亮度梯度＝Gradient)的运算，存在单纯差分、倾斜差分的RobertsOperator、Sobel Operator等。并且，作为被分类为二次微分的运算，存在拉普拉斯滤波等。
并且，准备表示轮廓的多个标准模型，与图像的一部分进行比较，选择最类似的模型的模板匹配法是所周知的，作为其一个例子，存在Prewitt的方法等。
而且，除此以外，还存在针对规定的部分图像，计算亮度值的方差值的亮度方差法(＝Variance)等。在此，也可以利用多个方法中的适当的方法等。
图5A以及图5B分别是，针对图2B以及图2C示出的第一特定深度合焦图像以及第二特定深度合焦图像，分别通过亮度方差来提取轮廓的强度的图。
图5C以及图5D分别是，针对图2B以及图2C示出的第一特定深度合焦图像以及第二特定深度合焦图像，分别通过亮度梯度来提取轮廓的强度的图。
如这样的图5A至图5D示出，若特定深度为远端方(参照区域1RF)(图2B、图5A、图5C)，则检测出作为合焦距离的远端方附近的轮廓更强。也就是说，能够(适当地)获得在远端的距离附近存在的物体的图像上的位置信息。而且，若特定深度为近端方(参照区域1RN)(图2C、图5B、图5D)，则检测出作为合焦距离的近端方附近的轮廓更强。也就是说，能够(适当地)获得在近端的距离附近存在的物体的图像上的位置信息。
距离图合成部14B，根据第一图像特征和第二图像特征，并且，根据第一距离图和第二距离图，合成距离图。
图6是详细示出距离图合成部14B的距离推定装置的方框结构图。
距离图合成部14B包括第一图加权部15、第二图加权部16、距离图加法部17。
第一图加权部15，通过将根据第一图像特征提取部12提取的第一图像特征(数据12D)而决定的权重系数与第一距离图生成部10生成的第一距离图相乘，从而更新第一距离图。例如，根据第一距离图生成部10所生成的更新前的第一距离图的数据10D，生成更新后的第一距离图的数据10Dx。
第二图加权部16，通过将根据第二图像特征提取部13提取的第二图像特征(数据13D)而决定的权重系数与第二距离图生成部11生成的第二距离图相乘，从而更新第二距离图。例如，根据第二距离图生成部11所生成的更新前的第二距离图的数据11D，生成更新后的第二距离图的数据11Dx。
距离图加法部17，通过将第一图加权部15更新后的第一距离图(数据10Dx)、与第二图加权部16更新后的第二距离图(数据13Dx)相加，从而合成距离图(参照数据17D)。
如实施例1的图3A至图3C的说明中所述，例如，假设第一特定深度为远端方，第二特定深度为近端方。
于是，在第一距离图生成部10所生成的距离图中，远端方的距离精度高，近端方的距离精度低。
并且，在第二距离图生成部11所生成的距离图具有，近端方的距离精度高、远端方的距离精度低的性质。
因此，第一图加权部15以及第二图加权部16，计算根据如上获得的、远端方以及近端方之中的每一个的、轮廓提取图像中的轮廓的强度之比而决定的权重系数。
也就是说，在第一图像特征的大小为a、第二图像特征的大小为b的情况下，第一图加权部15，将权重系数计算为a/(a+b)，第二图加权部16，将权重系数计算为b/(a+b)。
第一图加权部15以及第二图加权部16，通过将计算出的权重系数与第一距离图以及第二距离图分别相乘，从而更新第一距离图以及第二距离图。
距离图加法部17，通过将分别更新后的第一距离图以及第二距离图相加，最终能够合成距离推定精度比较高的距离图。
图7是示出根据本实施例2的结构而获得的距离图的图。
可见，与图3C示出的、根据实施例1的结构而获得的距离图的距离推定精度相比，在图7中，近端方、远端方的距离推定精度更提高了。
而且，也可以如此进行以下的工作等。
也就是说，也可以获得图像(例如，图2B、图1的图像2I)。
而且，也可以确定获得的图像中所拍摄的被摄体(例如，图2B的图像2I等中的、三个布娃娃之中的正当中的布娃娃)的深度(图1的数据8D)。
具体而言，也可以根据在任何深度都合焦的图像(全焦点图像)1I(图2A、图1)，获得产生了多个深度之中的各个深度的模糊程度的模糊的模糊图像(图1的图像6I)。
也可以是，这样的多个模糊图像之中的、与在任何深度都没有合焦的、所述的图像(图像2I)中的、被摄体(正当中的布娃娃)的图像(区域1RF的图像)最类似的、该被摄体(正当中的布娃娃)的图像被包含的模糊图像中的深度，被确定为该被摄体的深度。而且，如此，模糊图像的整体(或者一部分)，也可以是所述的最类似的图像。而且，该模糊图像的深度，也可以被确定为该被摄体的深度。
然而，作为被摄体，也可以与第一被摄体(例如，正当中的布娃娃)一起，还存在第二被摄体(例如，三个布娃娃之中的右边的布娃娃)。
也就是说，第二被摄体的深度，也可以是与第一被摄体的第一深度(比较远的距离的深度)不同的第二深度(比较近的距离的深度)。
而且，如上所述，可以认为，根据图像(图像2I)而确定的、第一被摄体(正当中的布娃娃)的深度的精度为高的精度，另一方面，第二被摄体(右边的布娃娃)的深度的精度为低的精度。
于是，作为不是在任何深度都合焦的、而是仅在某深度合焦的通常的图像(图像2I等)，除了获得第一图像2I(图2B)以外(参照图1的第一特定深度合焦图像获得部2等)，还可以获得第二图像3I(图2C)(参照第二特定深度合焦图像获得部3等)。
也就是说，还可以获得在与获得的第一图像2I中合焦的深度(正当中的布娃娃的深度)不同的深度(右边的布娃娃的深度)合焦的第二图像3I。
而且，也可以根据第一图像2I(以及图像1I)确定第一被摄体(正当中的布娃娃)的深度，另一方面，根据第二图像确定第二被摄体(右边的布娃娃)的深度。
据此，第二被摄体(右边的布娃娃)的深度，虽然不是第一图像2I中合焦的深度，但是，根据第二图像3I确定该第二被摄体的深度。据此，针对该第二被摄体(右边的布娃娃)的深度，也确定高精度的深度(图1的数据9D)。据此，对于任何被摄体，都能够确定高精度的距离，更可靠地提高确定的深度(距离)的精度。
而且，换而言之，在任何区域(区域1RN、1RF)中，都能够确定高精度的距离。
据此，能够避免根据进行确定的被摄体(区域)，而导致精度不均匀、精度偏倚的情况，因此，与被摄体(区域)无关，而能够使确定的深度的精度均匀。
而且，如上所述，第一被摄体(正当中的布娃娃)的深度为，与第一图像2I中合焦的深度(远的距离的深度)相同的深度(远的距离的深度)。
而且，第二被摄体(右边的布娃娃)的深度为，与第二图像3I中合焦的深度(近的距离的深度)相同的深度(近的深度)。
于是，也可以从深度互不相同的两个被摄体之中，确定与第一图像2I中合焦的深度相同的深度的一方的被摄体(正当中的布娃娃)，以作为第一被摄体。
而且，也可以从这样的两个被摄体之中，确定与第二图像3I中合焦的深度相同的深度的另一方的被摄体(右边的布娃娃)，以作为所述的第二被摄体。
而且，对于第一被摄体(正当中的布娃娃)的深度，也可以在根据确定后的第一图像2I而确定的深度、以及根据另一方的第二图像3I而确定的深度之中，根据第一图像2I的深度被确定为更佳的一方(精度更高的一方)的深度。
也就是说，对于确定后的第二被摄体(右边的布娃娃)的深度，也可以根据第二图像3I的深度被确定为更佳的一方的深度。
而且，也可以对确定后的更佳的一方的深度进行以下的处理，即，乘以作为权重系数(所述)的、比较大的值的权重系数的处理等、对更佳的一方(精度高的一方)的深度的适当的处理。
据此，例如，进行所述的利用了权重系数的处理，使确定的深度(参照数据17D等)的精度，成为比图3C所示的精度更高的、图7所示的精度等，能够更充分提高确定的深度的精度。
而且，由距离推定装置1x，确定更佳的一方的深度，用户不需要进行指定更佳的一方的深度的繁杂的操作等，因此能够使操作简化。
而且，也可以不需要进行这样的更佳的一方的深度的确定的处理。
也就是说，例如，如上所述，也可以确定在根据第一图像2I而确定的深度、与根据第二图像3I而确定的深度之间的平均的深度(参照图1的距离图合成部14等)。
也就是说，如此，也可以确定这样的平均的深度等的、这些根据第一、第二图像2I、3I的两个深度之中的、不是更佳的一方的深度的、而是比不佳的一方的深度佳的、(某程度)佳的深度。
也可以针对如此确定的(某程度)佳的深度，进行所述的对更佳的深度的比较适当的处理(参照所述的实施例1等)。
也就是说，如上所述，也可以由合成部(距离图合成部14)生成合成后的图像(数据10D)。在此，由生成的合成后的图像表示，两个以上的图像区域(区域1RF、1RN)的每一个图像区域的距离。而且，表示的任何距离的精度都是，根据第一图像2I而确定的该图像区域的距离的精度、以及根据第二图像3I而确定的该图像区域的距离的精度之中的、比低的一方的精度高的精度。也就是说，合成后的图像是，在任何区域的精度都高的、表示的距离的精度确实高的图像。
而且，如此，对于两个图像(第一、第二图像2I、3I)之中的每一个图像(例如第一图像2I)，也可以确定在该图像中的与合焦的深度相同的深度的被摄体(对焦的被摄体，第一图像2I中的正当中的布娃娃)。
该确定的处理也可以是，例如，只不过是单纯地挪用以往例中的处理而已的处理。
具体而言，如上所述，在对焦的被摄体的图像(例如，图2B的图像2I中的、正当中的布娃娃的图像)中，画质为比较鲜明的画质。因此，在该图像中：出现个数比较多的边缘；出现的边缘的梯度比较陡峭；或者，存在各种各样的亮度值的像素，亮度值的方差的值为比较大的值。
也就是说，在对焦的图像中，对比度比较高。
于是，如上所述，也可以将图像(图像2I)中的对比度比较高的图像的被摄体(正当中的布娃娃)，确定为该图像中的与合焦的深度相同的深度的被摄体(对焦的被摄体)。
而且，也可以将根据该图像(图像2I)而确定的、如此确定的被摄体(对焦的被摄体)的深度，确定为所述的更佳的一方的深度。
而且，对于所述的各个区域(区域1RF、1RN)，例如，可以是包含两个以上的像素而成的区域，也可以是仅包含一个像素而成的区域等。
而且，具体而言，也可以设置包括第一生成部10w和第二生成部11w这两者而构成的一个生成部。
也就是说，也可以由该一个生成部，进行第一图像2I的处理以及第二图像3I的处理之中的任何处理。
而且，同样，可以设置包括第一特定深度合焦图像获得部2和第二特定深度合焦图像获得部3这两者而构成的一个特定深度合焦图像获得部，也可以设置包括第一模糊图像群生成部6和第二模糊图像群生成部7这两者而构成的一个模糊图像群生成部等。
以上，说明了本发明的实施例涉及的距离推定装置，但是，本发明不仅限于这实施例。
具体而言，例如，所述的各个装置，也可以构成为由微处理器、ROM、RAM、硬盘驱动器、显示单元、键盘、鼠标等构成的计算机系统。RAM或硬盘驱动器存储有计算机程序。通过微处理器根据计算机程序而进行工作，从而各个装置实现其功能。在此，计算机程序是，为了实现规定的功能，而组合表示对计算机的命令的多个指令码而构成的。
进而，构成所述的各个装置的构成要素的一部分或全部，也可以由一个系统LSI(Large Scale Integration：大规模集成电路)构成。系统LSI是，将多个构成部集成在一个芯片上而制造的超多功能LSI，具体而言，包括微处理器、ROM、RAM等而构成的计算机系统。RAM存储有计算机程序。通过微处理器根据计算机程序而进行工作，从而系统LSI实现其功能。
进而，并且，构成所述的各个装置的构成要素的一部分或全部，也可以由与各装置可装卸的IC卡或单体的模块构成。IC卡或模块是，由微处理器、ROM、RAM等构成的计算机系统。IC卡或模块，也可以包括所述的超多功能LSI。通过微处理器根据计算机程序而进行工作，从而IC卡或模块实现其功能。该IC卡或该模块也可以具有防篡改性。
并且，本发明也可以是所述的方法。并且，可以是通过计算机实现这些方法的计算机程序，也可以是由所述计算机程序而成的数字信号。
进而，本发明，也可以将所述计算机程序或所述数字信号记录在计算机可读取的非易失性的记录介质，例如，软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray Disc(注册商标))、半导体存储器等。并且，也可以是记录在这些非易失性的记录介质中的所述数字信号。
并且，本发明，也可以将所述计算机程序或所述数字信号，经由电通信线路、无线或有线通信线路、以互联网为代表的网络以及数据广播等来传输。
并且，本发明也可以是包括微处理器和存储器的计算机系统，所述存储器存储有所述计算机程序，所述微处理器根据所述计算机程序而进行工作。
并且，也可以是，将所述程序或所述数字信号记录在所述非易失性的记录介质中来输送，或者，将所述程序或所述数字信号经由所述网络等来输送，从而由独立的其他的计算机程序实施。
进而，也可以将所述实施例以及所述变形例分别组合。
这次公开的实施例的所有的内容仅为例示，不能理解为限制性方案。本发明的范围是由权利要求书进行公开的，而非所述的说明，并且，试图包含与权利要求书同等意义以及范围内的所有的变更。
产业上的可利用性
本发明涉及的距离推定装置以及距离推定方法，由于利用在多个合焦位置拍摄的图像，并利用多个距离图进行距离推定，因此能够防止以往的问题的距离推定精度的偏差。
这样的结构，例如，有用于民用或工业用摄像装置(数字静态相机)等的领域。
能够解消确定的距离的精度的偏差。
符号说明
1全焦点图像生成部
1x距离推定装置
2第一特定深度合焦图像获得部
3第二特定深度合焦图像获得部
4第一模糊参数群获得部
5第二模糊参数群获得部
6第一模糊图像群生成部
7第二模糊图像群生成部
8第一类似模糊判断部
9第二类似模糊判断部
10第一距离图生成部
10w第一生成部
11第二距离图生成部
11w第二生成部
12第一图像特征提取部
13第二图像特征提取部
14距离图合成部
15第一图加权部
16第二图加权部
17距离图加法部
91全焦点图像生成部
9101特定深度合焦图像获得部
9102模糊参数群获得部
9103模糊图像群生成部
9104类似模糊判断部
9105距离图生成部

Claims (11)

1.一种距离推定装置，包括：
第一深度合焦图像获得部，获得相对于第一深度合焦的第一深度合焦图像；
第二深度合焦图像获得部，获得相对于与所述第一深度不同的第二深度合焦的第二深度合焦图像；
全焦点图像生成部，生成在比所述第一深度合焦图像的合焦范围至所述第二深度合焦图像的合焦范围宽的范围内合焦的全焦点图像；
第一生成部，设定所述全焦点图像的深度范围内的多个深度，根据所述全焦点图像，生成在所述第一深度合焦时的所述多个深度的多个模糊图像，将作为与所述第一深度合焦图像中包含的各个图像区域的图像最类似的图像的所述模糊图像，从所述多个深度的所述多个模糊图像中拣选，生成将拣选的所述模糊图像的深度作为该图像区域的距离来表示的第一距离图；
第二生成部，根据所述全焦点图像，生成在所述第二深度合焦时的所述多个深度的多个模糊图像，将作为与所述第二深度合焦图像中包含的各个图像区域的图像最类似的图像的所述模糊图像，从所述多个深度的所述多个模糊图像中拣选，生成将拣选的所述模糊图像的深度作为该图像区域的距离来表示的第二距离图；以及
距离图合成部，根据生成后的所述第一距离图和所述第二距离图，合成距离图。
2.如权利要求1所述的距离推定装置，
生成的所述全焦点图像为，至少在所述第一深度与所述第二深度之间的所有的深度合焦的图像，
所述第一生成部，包括：
第一模糊参数群获得部，获得第一模糊参数群，该第一模糊参数群为，在所述第一深度合焦的状态下至少表示在所述第一深度与所述第二深度之间的各个深度的模糊程度的模糊参数的组；
第一模糊图像群生成部，针对生成后的所述全焦点图像，卷积被获得的所述第一模糊参数群中包含的各个深度的所述模糊参数，生成包含各个深度的所述模糊图像而成的第一模糊图像群；
第一类似模糊判断部，按每个图像区域，对被获得的所述第一深度合焦图像、与生成后的所述第一模糊图像群中包含的各个深度的所述模糊图像进行比较，按每个所述图像区域，判断作为所述最类似的图像的所述模糊图像；以及
第一距离图生成部，按每个所述图像区域，生成将被判断的所述模糊图像的深度作为该图像区域的距离来表示的所述第一距离图，
所述第二生成部，包括：
第二模糊参数群获得部，获得第二模糊参数群，该第二模糊参数群为，在所述第二深度合焦的状态下至少表示在所述第一深度与所述第二深度之间的各个深度的模糊程度的模糊参数的组；
第二模糊图像群生成部，针对生成后的所述全焦点图像，卷积被获得的所述第二模糊参数群中包含的各个深度的所述模糊参数，生成包含各个深度的所述模糊图像而成的第二模糊图像群；
第二类似模糊判断部，按每个图像区域，对被获得的所述第二深度合焦图像、与生成后的所述第二模糊图像群中包含的各个深度的所述模糊图像进行比较，按每个所述图像区域，判断作为所述最类似的图像的所述模糊图像；以及
第二距离图生成部，按每个所述图像区域，生成将被判断的所述模糊图像的深度作为该图像区域的距离来表示的所述第二距离图。
3.如权利要求1所述的距离推定装置，
所述距离推定装置还包括：
第一图像特征提取部，提取被获得的所述第一深度合焦图像的第一图像特征；以及
第二图像特征提取部，提取被获得的所述第二深度合焦图像的第二图像特征，
所述距离图合成部，根据所述第一图像特征和所述第二图像特征，对合成后的所述距离图进行合成。
4.如权利要求3所述的距离推定装置，
所述距离图合成部，包括：
第一图加权部，通过将根据被提取的所述第一图像特征而决定的第一权重系数、与生成后的更新前的所述第一距离图的值相乘，从而将更新前的所述第一距离图更新为更新后的所述第一距离图；
第二图加权部，通过将根据被提取的所述第二图像特征而决定的第二权重系数、与生成后的更新前的所述第二距离图的值相乘，从而将更新前的所述第二距离图更新为更新后的所述第二距离图；以及
距离图加法部，通过将更新后的所述第一距离图的值、与更新后的所述第二距离图的值相加，从而对合成后的所述距离图进行合成。
5.如权利要求3所述的距离推定装置，
各个图像特征为，对应的所述第一深度合焦图像以及所述第二深度合焦图像之中的、具有该图像特征的合焦图像中的对比度。
6.如权利要求3所述的距离推定装置，
各个图像特征为，对应的所述第一深度合焦图像以及所述第二深度合焦图像之中的、具有该图像特征的合焦图像中的亮度值的方差的值。
7.如权利要求5所述的距离推定装置，
所述距离图合成部，
在所述对比度为比较高的第一对比度的情况下，针对根据具有作为该对比度的所述图像特征的对应的合焦图像而确定的所述距离的值，乘以作为所述权重系数的比较大的第一值，
在所述对比度为比较低的第二对比度的情况下，针对根据具有作为该对比度的所述图像特征的对应的合焦图像而确定的所述距离的值，乘以作为所述权重系数的比较小的第二值。
8.如权利要求1所述的距离推定装置，
所述第二深度合焦图像为，合焦于所述第一深度合焦图像中未被合焦的被摄体的图像，
根据所述第一深度合焦图像和所述全焦点图像而确定的所述被摄体的第一所述距离的精度为比较低的精度，
根据所述第二深度合焦图像和所述全焦点图像而确定的所述被摄体的第二所述距离的精度为比较高的精度，
所述第一生成部确定第一所述距离，
所述第二生成部确定第二所述距离，
根据合成后的所述距离图而确定的所述被摄体的距离的精度为，所述比较高的精度以下且比所述比较低的精度高。
9.一种距离推定方法，包括：
第一深度合焦图像获得步骤，获得相对于第一深度合焦的第一深度合焦图像；
第二深度合焦图像获得步骤，获得相对于与所述第一深度不同的第二深度合焦的第二深度合焦图像；
全焦点图像生成步骤，生成在比所述第一深度合焦图像的合焦范围至所述第二深度合焦图像的合焦范围宽的范围内合焦的全焦点图像；
第一生成步骤，设定所述全焦点图像的深度范围内的多个深度，根据所述全焦点图像，生成在所述第一深度合焦时的所述多个深度的多个模糊图像，将作为与所述第一深度合焦图像中包含的各个图像区域的图像最类似的图像的所述模糊图像，从所述多个深度的所述多个模糊图像中拣选，生成将拣选的所述模糊图像的深度作为该图像区域的距离来表示的第一距离图；
第二生成步骤，根据所述全焦点图像，生成在所述第二深度合焦时的所述多个深度的多个模糊图像，将作为与所述第二深度合焦图像中包含的各个图像区域的图像最类似的图像的所述模糊图像，从所述多个深度的所述多个模糊图像中拣选，生成将拣选的所述模糊图像的深度作为该图像区域的距离来表示的第二距离图；以及
距离图合成步骤，根据生成后的所述第一距离图和所述第二距离图，合成距离图。
10.一种集成电路，包括：
第一深度合焦图像获得部，获得相对于第一深度合焦的第一深度合焦图像；
第二深度合焦图像获得部，获得相对于与所述第一深度不同的第二深度合焦的第二深度合焦图像；
全焦点图像生成部，生成在比所述第一深度合焦图像的合焦范围至所述第二深度合焦图像的合焦范围宽的范围内合焦的全焦点图像；
第一生成部，设定所述全焦点图像的深度范围内的多个深度，根据所述全焦点图像，生成在所述第一深度合焦时的所述多个深度的多个模糊图像，将作为与所述第一深度合焦图像中包含的各个图像区域的图像最类似的图像的所述模糊图像，从所述多个深度的所述多个模糊图像中拣选，生成将拣选的所述模糊图像的深度作为该图像区域的距离来表示的第一距离图；
第二生成部，根据所述全焦点图像，生成在所述第二深度合焦时的所述多个深度的多个模糊图像，将作为与所述第二深度合焦图像中包含的各个图像区域的图像最类似的图像的所述模糊图像，从所述多个深度的所述多个模糊图像中拣选，生成将拣选的所述模糊图像的深度作为该图像区域的距离来表示的第二距离图；以及
距离图合成部，根据生成后的所述第一距离图和所述第二距离图，合成距离图。
11.一种计算机程序，用于使计算机执行以下的步骤：
第一深度合焦图像获得步骤，获得相对于第一深度合焦的第一深度合焦图像；
第二深度合焦图像获得步骤，获得相对于与所述第一深度不同的第二深度合焦的第二深度合焦图像；
全焦点图像生成步骤，生成在比所述第一深度合焦图像的合焦范围至所述第二深度合焦图像的合焦范围宽的范围内合焦的全焦点图像；
第一生成步骤，设定所述全焦点图像的深度范围内的多个深度，根据所述全焦点图像，生成在所述第一深度合焦时的所述多个深度的多个模糊图像，将作为与所述第一深度合焦图像中包含的各个图像区域的图像最类似的图像的所述模糊图像，从所述多个深度的所述多个模糊图像中拣选，生成将拣选的所述模糊图像的深度作为该图像区域的距离来表示的第一距离图；
第二生成步骤，根据所述全焦点图像，生成在所述第二深度合焦时的所述多个深度的多个模糊图像，将作为与所述第二深度合焦图像中包含的各个图像区域的图像最类似的图像的所述模糊图像，从所述多个深度的所述多个模糊图像中拣选，生成将拣选的所述模糊图像的深度作为该图像区域的距离来表示的第二距离图；以及
距离图合成步骤，根据生成后的所述第一距离图和所述第二距离图，合成距离图。
CN201180003335.3A 2010-06-17 2011-06-17 距离推定装置以及距离推定方法 Expired - Fee Related CN102472622B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010138785 2010-06-17
JP2010-138785 2010-06-17
PCT/JP2011/003478 WO2011158515A1 (ja) 2010-06-17 2011-06-17 距離推定装置、距離推定方法、集積回路、コンピュータプログラム

Publications (2)

Publication Number Publication Date
CN102472622A true CN102472622A (zh) 2012-05-23
CN102472622B CN102472622B (zh) 2015-12-02

Family

ID=45347930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180003335.3A Expired - Fee Related CN102472622B (zh) 2010-06-17 2011-06-17 距离推定装置以及距离推定方法

Country Status (4)

Country Link
US (1) US8705801B2 (zh)
JP (1) JP5824364B2 (zh)
CN (1) CN102472622B (zh)
WO (1) WO2011158515A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105230001A (zh) * 2013-07-23 2016-01-06 索尼公司 图像处理设备、处理图像的方法、图像处理程序，以及成像设备
CN106576140A (zh) * 2014-10-28 2017-04-19 夏普株式会社 图像处理装置以及程序
TWI585364B (zh) * 2016-01-21 2017-06-01 合盈光電科技股份有限公司 具距離辨識之影像處理系統及其方法
CN108107571A (zh) * 2013-10-30 2018-06-01 株式会社摩如富 图像处理装置及方法及非暂时性计算机可读记录介质
CN109310278A (zh) * 2016-06-17 2019-02-05 索尼公司 图像处理装置、图像处理方法、程序和图像处理系统
CN110390944A (zh) * 2018-04-17 2019-10-29 美商富迪科技股份有限公司 声波回音消除装置及其方法
CN110402577A (zh) * 2017-03-10 2019-11-01 富士胶片株式会社 图像处理系统、图像处理装置、图像处理方法及图像处理程序
CN111954792A (zh) * 2018-04-17 2020-11-17 索尼公司 信号处理设备、信号处理方法和图像捕获设备

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102472619B (zh) * 2010-06-15 2014-12-31 松下电器产业株式会社 摄像装置及摄像方法
US8705801B2 (en) * 2010-06-17 2014-04-22 Panasonic Corporation Distance estimation device, distance estimation method, integrated circuit, and computer program
EP2584311B1 (en) * 2010-06-17 2020-01-22 Panasonic Corporation Image processing device and image processing method
CN102713512B (zh) * 2010-11-17 2015-06-03 松下电器产业株式会社 摄像装置以及距离测量方法
US8830378B2 (en) * 2011-03-29 2014-09-09 Olympus Corporation Image capturing system and image capturing method, involving image restoration processing
US8432434B2 (en) * 2011-07-08 2013-04-30 Mitsubishi Electric Research Laboratories, Inc. Camera and method for focus based depth reconstruction of dynamic scenes
RU2616175C2 (ru) * 2011-09-28 2017-04-12 Конинклейке Филипс Н.В. Определение расстояния до объекта по изображению
JP5587930B2 (ja) * 2012-03-09 2014-09-10 日立オートモティブシステムズ株式会社 距離算出装置及び距離算出方法
JP5934940B2 (ja) * 2012-05-17 2016-06-15 パナソニックＩｐマネジメント株式会社 撮像装置、半導体集積回路および撮像方法
JP5932476B2 (ja) * 2012-05-17 2016-06-08 キヤノン株式会社 画像処理装置、撮像装置、距離計測方法および距離計測プログラム
JP6071257B2 (ja) * 2012-06-07 2017-02-01 キヤノン株式会社 画像処理装置及びその制御方法、並びにプログラム
US8988520B2 (en) 2012-07-19 2015-03-24 Sony Corporation Method and apparatus for improving depth of field (DOF) in microscopy
JP6202927B2 (ja) * 2012-08-31 2017-09-27 キヤノン株式会社 距離検出装置、撮像装置、プログラム、記録媒体および距離検出方法
JP5664626B2 (ja) * 2012-10-12 2015-02-04 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
US9894269B2 (en) 2012-10-31 2018-02-13 Atheer, Inc. Method and apparatus for background subtraction using focus differences
JP6152772B2 (ja) * 2012-11-29 2017-06-28 パナソニックＩｐマネジメント株式会社 撮像装置、半導体集積回路および撮像方法
JP2014157425A (ja) * 2013-02-14 2014-08-28 Canon Inc 撮像装置及びその制御方法
JP6040422B2 (ja) * 2013-03-26 2016-12-07 パナソニックＩｐマネジメント株式会社 撮像装置
EP3005286B1 (en) * 2013-05-30 2019-09-04 Nokia Technologies Oy Image refocusing
JP6214233B2 (ja) 2013-06-21 2017-10-18 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法およびプログラム。
CN103703757B (zh) * 2013-08-01 2015-09-09 华为终端有限公司 一种拍照方法及装置
JP2015036632A (ja) * 2013-08-12 2015-02-23 キヤノン株式会社 距離計測装置、撮像装置、距離計測方法
CN104376323B (zh) * 2013-08-12 2018-01-23 联想(北京)有限公司 一种确定目标距离的方法及装置
KR102066938B1 (ko) * 2013-08-20 2020-01-16 한화테크윈 주식회사 영상 처리 장치 및 방법
US9344619B2 (en) * 2013-08-30 2016-05-17 Qualcomm Incorporated Method and apparatus for generating an all-in-focus image
JP6173156B2 (ja) * 2013-10-02 2017-08-02 キヤノン株式会社 画像処理装置、撮像装置及び画像処理方法
WO2015128908A1 (ja) * 2014-02-26 2015-09-03 パナソニックＩｐマネジメント株式会社 深さ位置検出装置、撮像素子、及び深さ位置検出方法
JP6317635B2 (ja) * 2014-06-30 2018-04-25 株式会社東芝 画像処理装置、画像処理方法及び画像処理プログラム
JP6478496B2 (ja) * 2014-07-03 2019-03-06 キヤノン株式会社 撮像装置およびその制御方法
JP6516429B2 (ja) * 2014-09-16 2019-05-22 キヤノン株式会社 距離計測装置、撮像装置、および距離計測方法
JP2016111609A (ja) * 2014-12-09 2016-06-20 株式会社東芝 画像処理装置、撮像装置、画像処理方法およびプログラム
EP3035284A1 (en) * 2014-12-19 2016-06-22 Thomson Licensing Method and apparatus for generating an adapted slice image from a focal stack
WO2016114427A1 (ko) * 2015-01-16 2016-07-21 재단법인 다차원 스마트 아이티 융합시스템 연구단 이미지로부터 심도정보를 추정할 때의 연산 복잡도를 감소시키기 위한 방법 및 장치
EP3185209B1 (en) * 2015-12-23 2019-02-27 STMicroelectronics (Research & Development) Limited Depth maps generated from a single sensor
US10311590B1 (en) 2016-03-01 2019-06-04 Al Incorporated Method for estimating distance using point measurement and color depth
US11037320B1 (en) 2016-03-01 2021-06-15 AI Incorporated Method for estimating distance using point measurement and color depth
EP3668077B1 (en) * 2017-08-09 2023-08-02 FUJIFILM Corporation Image processing system, server device, image processing method, and image processing program
FR3074385B1 (fr) 2017-11-28 2020-07-03 Stmicroelectronics (Crolles 2) Sas Commutateurs et reseau d'interconnexion photonique integre dans une puce optoelectronique
KR102472156B1 (ko) * 2018-04-19 2022-11-30 삼성전자주식회사 전자 장치 및 그 깊이 정보 생성 방법
US11115582B2 (en) 2018-11-28 2021-09-07 Jvckenwood Corporation Imaging control apparatus, imaging apparatus, and recording medium
US11405547B2 (en) * 2019-02-01 2022-08-02 Electronics And Telecommunications Research Institute Method and apparatus for generating all-in-focus image using multi-focus image
JP7051740B2 (ja) * 2019-03-11 2022-04-11 株式会社東芝 画像処理装置、測距装置、方法及びプログラム
JP7170609B2 (ja) * 2019-09-12 2022-11-14 株式会社東芝 画像処理装置、測距装置、方法及びプログラム

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003269917A (ja) * 2002-03-15 2003-09-25 Sony Corp 距離計測方法、その装置、そのプログラム、その記録媒体及び距離計測装置搭載型ロボット装置
US20060007422A1 (en) * 2004-07-06 2006-01-12 Jerry Dimsdale System and method for determining range in 3D imaging systems
CN1735789A (zh) * 2002-11-11 2006-02-15 秦内蒂克有限公司 测距设备
JP2007139894A (ja) * 2005-11-15 2007-06-07 Olympus Corp 撮像装置
CN101116325A (zh) * 2005-02-07 2008-01-30 松下电器产业株式会社 成像装置
US20090074393A1 (en) * 2007-09-14 2009-03-19 Samsung Electronics Co., Ltd. Method and apparatus for auto focusing
JP2010002233A (ja) * 2008-06-18 2010-01-07 Ricoh Co Ltd 複眼画像入力装置及びそれを用いた距離測定装置
JP2010039448A (ja) * 2008-08-08 2010-02-18 Canon Inc 画像撮影装置およびその距離演算方法と合焦画像取得方法
JP2010066156A (ja) * 2008-09-11 2010-03-25 Nikon Corp 形状測定装置
JP2010121955A (ja) * 2008-11-17 2010-06-03 Olympus Corp 高さ情報取得装置、高さ情報取得方法、及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070019883A1 (en) * 2005-07-19 2007-01-25 Wong Earl Q Method for creating a depth map for auto focus using an all-in-focus picture and two-dimensional scale space matching
US7929801B2 (en) * 2005-08-15 2011-04-19 Sony Corporation Depth information for auto focus using two pictures and two-dimensional Gaussian scale space theory
US20070189750A1 (en) * 2006-02-16 2007-08-16 Sony Corporation Method of and apparatus for simultaneously capturing and generating multiple blurred images
TWI314832B (en) 2006-10-03 2009-09-11 Univ Nat Taiwan Single lens auto focus system for stereo image generation and method thereof
JP4524717B2 (ja) * 2008-06-13 2010-08-18 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
US8705801B2 (en) * 2010-06-17 2014-04-22 Panasonic Corporation Distance estimation device, distance estimation method, integrated circuit, and computer program

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003269917A (ja) * 2002-03-15 2003-09-25 Sony Corp 距離計測方法、その装置、そのプログラム、その記録媒体及び距離計測装置搭載型ロボット装置
CN1735789A (zh) * 2002-11-11 2006-02-15 秦内蒂克有限公司 测距设备
US20060007422A1 (en) * 2004-07-06 2006-01-12 Jerry Dimsdale System and method for determining range in 3D imaging systems
CN101116325A (zh) * 2005-02-07 2008-01-30 松下电器产业株式会社 成像装置
JP2007139894A (ja) * 2005-11-15 2007-06-07 Olympus Corp 撮像装置
US20090074393A1 (en) * 2007-09-14 2009-03-19 Samsung Electronics Co., Ltd. Method and apparatus for auto focusing
JP2010002233A (ja) * 2008-06-18 2010-01-07 Ricoh Co Ltd 複眼画像入力装置及びそれを用いた距離測定装置
JP2010039448A (ja) * 2008-08-08 2010-02-18 Canon Inc 画像撮影装置およびその距離演算方法と合焦画像取得方法
JP2010066156A (ja) * 2008-09-11 2010-03-25 Nikon Corp 形状測定装置
JP2010121955A (ja) * 2008-11-17 2010-06-03 Olympus Corp 高さ情報取得装置、高さ情報取得方法、及びプログラム

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105230001B (zh) * 2013-07-23 2019-08-20 索尼公司 图像处理设备、处理图像的方法、图像处理程序，以及成像设备
CN105230001A (zh) * 2013-07-23 2016-01-06 索尼公司 图像处理设备、处理图像的方法、图像处理程序，以及成像设备
CN108107571B (zh) * 2013-10-30 2021-06-01 株式会社摩如富 图像处理装置及方法及非暂时性计算机可读记录介质
CN108107571A (zh) * 2013-10-30 2018-06-01 株式会社摩如富 图像处理装置及方法及非暂时性计算机可读记录介质
CN106576140B (zh) * 2014-10-28 2019-10-18 夏普株式会社 图像处理装置以及摄像装置
CN106576140A (zh) * 2014-10-28 2017-04-19 夏普株式会社 图像处理装置以及程序
TWI585364B (zh) * 2016-01-21 2017-06-01 合盈光電科技股份有限公司 具距離辨識之影像處理系統及其方法
CN109310278A (zh) * 2016-06-17 2019-02-05 索尼公司 图像处理装置、图像处理方法、程序和图像处理系统
CN110402577A (zh) * 2017-03-10 2019-11-01 富士胶片株式会社 图像处理系统、图像处理装置、图像处理方法及图像处理程序
CN110402577B (zh) * 2017-03-10 2021-06-22 富士胶片株式会社 图像处理系统、图像处理装置、图像处理方法及存储有图像处理程序的存储介质
CN110390944A (zh) * 2018-04-17 2019-10-29 美商富迪科技股份有限公司 声波回音消除装置及其方法
CN111954792A (zh) * 2018-04-17 2020-11-17 索尼公司 信号处理设备、信号处理方法和图像捕获设备
CN110390944B (zh) * 2018-04-17 2022-10-04 美商富迪科技股份有限公司 声波回音消除装置及其方法

Also Published As

Publication number Publication date
US20120148109A1 (en) 2012-06-14
JPWO2011158515A1 (ja) 2013-08-19
WO2011158515A1 (ja) 2011-12-22
JP5824364B2 (ja) 2015-11-25
US8705801B2 (en) 2014-04-22
CN102472622B (zh) 2015-12-02

Similar Documents

Publication Publication Date Title
CN102472622B (zh) 距离推定装置以及距离推定方法
US9998650B2 (en) Image processing apparatus and image pickup apparatus for adding blur in an image according to depth map
US10326927B2 (en) Distance information producing apparatus, image capturing apparatus, distance information producing method and storage medium storing distance information producing program
JP5868183B2 (ja) 撮像装置及び撮像方法
JP6347675B2 (ja) 画像処理装置、撮像装置、画像処理方法、撮像方法及びプログラム
JP5230456B2 (ja) 画像処理装置および画像処理方法
JP5832424B2 (ja) 撮像装置及び距離計測方法
CN109255810B (zh) 图像处理装置及图像处理方法
CN105791801B (zh) 图像处理装置、图像拾取装置和图像处理方法
KR20170135855A (ko) 패닝 샷들의 자동 생성
US10679326B2 (en) Image data processing apparatus and image data processing method that determine confidence data indicating a level of confidence in a pixel value in high resolution image data
CN103685861A (zh) 用于在深度估计过程中使用增强的场景检测的系统和方法
US8934730B2 (en) Image editing method and associated method for establishing blur parameter
US11080873B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
JP6395429B2 (ja) 画像処理装置、その制御方法及び記憶媒体
CN101557469A (zh) 图像处理设备及图像处理方法
JP6415359B2 (ja) 焦点検出装置、撮像装置、焦点検出方法および焦点検出プログラム
Verhoeven Focusing on out-of-focus: assessing defocus estimation algorithms for the benefit of automated image masking
JP6949494B2 (ja) 画像処理装置および画像処理方法、撮像装置、プログラム
JP6792902B2 (ja) 焦点検出装置、フォーカス制御装置、撮像装置、焦点検出方法および焦点検出プログラム
CN104125385A (zh) 影像编辑方法以及影像处理装置
EP4346223A2 (en) Display control apparatus and display control method therefor
JP6625184B2 (ja) 焦点検出装置、撮像装置、焦点検出方法および焦点検出プログラム
JP2020134399A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体
CN113055584A (zh) 基于模糊程度的对焦方法、镜头控制器及相机模组

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151202