CN103026171A - 图像处理装置及图像处理方法 - Google Patents

图像处理装置及图像处理方法 Download PDF

Info

Publication number
CN103026171A
CN103026171A CN2012800021026A CN201280002102A CN103026171A CN 103026171 A CN103026171 A CN 103026171A CN 2012800021026 A CN2012800021026 A CN 2012800021026A CN 201280002102 A CN201280002102 A CN 201280002102A CN 103026171 A CN103026171 A CN 103026171A
Authority
CN
China
Prior art keywords
image
amount
object motion
exercise
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012800021026A
Other languages
English (en)
Other versions
CN103026171B (zh
Inventor
物部祐亮
山田整
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bingxi FUCE Private Ltd.
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN103026171A publication Critical patent/CN103026171A/zh
Application granted granted Critical
Publication of CN103026171B publication Critical patent/CN103026171B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/32—Measuring distances in line of sight; Optical rangefinders by focusing the object, e.g. on a ground glass screen
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本图像处理装置使用以多个摄影状态对同一被摄体在时间上连续摄影而得到的多个摄影图像，计测被摄体距离，具备：对象运动量推测部（10），推测对象运动量，该对象运动量表示所述多个摄影图像之中的以第一摄影状态摄影的第一图像与以不同于所述第一摄影状态的第二摄影状态摄影的第二图像之间的所述被摄体的位置偏差量；修正图像生成部（20），基于所述对象运动量生成对所述第二图像进行运动补偿而得到的修正图像；以及图像处理部，使用所述第一图像和所述修正图像，进行被摄体距离的计测和HDR图像的生成等图像处理。

Description

图像处理装置及图像处理方法
技术领域
本发明涉及根据在多个摄影状态下摄影的多个摄影图像来进行被摄体距离的计测和HDR图像的生成等图像处理的图像处理装置及图像处理方法。
背景技术
在摄像机的摄影中，如果能够与对被摄体摄影而得到的摄影图像同时计测三维场景的进深、即表示从摄像机到被摄体的距离的被摄体距离，则能够在图像显示、变换、识别等中实现多种应用。作为使用被摄体距离的应用，例如根据1个摄影图像以及与该摄影图像对应的被摄体距离，利用三角测距的原理，能够虚拟地生成从不同的视点观察的图像，能够生成立体的或与多视点对应的三维图像。另外，如果基于被摄体距离进行摄影图像的区域分割，则还能够仅切割出存在于特定的被摄体距离处的被摄体或者进行画质调整。
非接触地计测被摄体距离的主要方式可以大体分为以下两种。
第一个方法是以下的主动的方法：照射红外线、超声波、激光等，基于到反射波返回为止的时间、反射波的角度等，计测被摄体距离。一般而言，在使用该方法的情况下，虽然在被摄体距较近时能够高精度地计测，但存在需要通常的摄像机所不需要的主动的照射/受光设备的问题。另外，在被摄体位于远方时，存在以下问题：如果照射设备的输出等级较低，则到达被摄体的照射光变弱，被摄体距离的计测精度降低。另一方面，产生以下问题：如果照射设备的输出等级较高，则消耗电力增大。进而，在使用激光的情况下，如果照射设备的输出等级较高，则有可能产生安全性的问题，因此存在能够使用的环境受到限制的问题。
另一方面，第二个方法是仅使用由摄像机摄影的摄影图像来计测被摄体距离的被动的方法。在被动的方法中也存在多种方法，其中之一是利用摄影图像中产生的虚化量的相关值的、被称为散焦测深（Depth fromDefocus，以下称为DFD）的方法。一般而言，摄影图像中产生的虚化量按照摄影时的聚焦状态（透镜的对焦状态）与被摄体距离的关系而在每个摄像机中唯一确定。在DFD中利用该特性，通过预先对位于已知的被摄体距离的被摄体改变聚焦状态来进行摄影，事先计测被摄体距离与摄影图像中产生的虚化量的相关值的关系。由此，如果在实际的摄影中以多个聚焦状态进行摄影，通过计算图像间的虚化量的相关值，能够计测被摄体距离（例如参照非专利文献1）。
作为以多个聚焦状态对图像进行摄影的方法，如非专利文献2所记载，有以下方法：在将入射到摄像机的光分离为多个之后，利用分别配置在不同的距离的摄像元件受光。在该方法中，能够同时对聚焦状态不同的多个图像进行摄影，因此虽然在图像间不产生摄影定时的偏差，但存在以下问题：需要使用多个摄像元件，而且需要配置为与摄像元件的距离不同这样的特殊构成。
另一方面，作为以使用单板的摄像元件的摄像机构成来对多个聚焦状态的图像进行摄影的方法，有利用以自动聚焦等实现的聚焦调整机构的方法。该方法控制聚焦调整机构依次对多个图像进行摄影。在该情况下，无需追加新的设备，仅通过适当地控制聚焦调整机构和摄影定时，就能够对多个聚焦状态的图像进行，并计测被摄体距离。
在先技术文献
专利文献
专利文献1：特开2010－249794号公报
非专利文献
非专利文献1：M.Subbarao and G.Surya，“Depth from Defocus：ASpatial Domain Approach，”International Journal of Computer Vision，Vol.13、No.3、pp.271－294、1994
非专利文献2：松山隆司、竹村岳：“使用多重焦点图像的实时三维距离计测”，信息处理学会论文志，Vol.39、No.7、pp.2149－2158、1998.7.
非专利文献3：日浦慎作、松山隆司，“具有构造化瞳的多重焦点距离图像传感器”，电子信息通信学会论文志，Vol.J82－D－II、No.11、pp.1912－1920、1999.11.
发明的概要
发明所要解决的课题
但是，在控制聚焦调整机构而依次对多个摄影图像进行摄影的方法中，由于多个摄影图像的摄影定时不同，在被摄体移动的情况或摄像机的摄影方向变化的情况下，在摄影图像间产生被摄体的位置偏差。在使用DFD的被摄体距离的计测中，以被摄体以及摄像机不移动、即多个摄影图像间不产生被摄体的位置偏差为前提，在以多个聚焦状态摄影的图像间，比较与相同被摄体对应的虚化量的相关值。因此，在使用基于多个摄影图像的DFD的被摄体距离的计测中，如果产生被摄体的位置偏差，则无法准确进行该比较，存在被摄体距离的计测精度低下的问题。
换言之，在使用改变摄影状态来摄影的摄影图像进行图像处理的情况下，在不产生摄影图像上的被摄体的位置偏差时，能够良好地进行图像处理。但是，不仅聚焦状态和曝光状态等摄影状态、还同时产生了被摄体的位置偏差的情况下，产生图像处理的精度低下的问题。
发明内容
本发明鉴于上述课题而做成，其目的在于，提供一种图像处理装置及图像处理方法，在摄影状态不同的多个摄影图像间产生了被摄体的位置偏差的情况下，也能够更加稳定地以高精度进行图像处理。
用于解决课题的手段
为了解决上述课题，本发明的一个方式的图像处理装置根据以多个聚焦状态对同一被摄体进行摄影而得到的多个摄影图像，计测被摄体距离，具备：对象运动量推测部，推测对象运动量，该对象运动量表示所述多个摄影图像之中的以第一聚焦状态摄影的第一图像与以不同于所述第一聚焦状态的第二聚焦状态摄影的第二图像之间的所述被摄体的位置偏差量；修正图像生成部，基于所述对象运动量，生成对所述第二图像进行运动补偿而得到的修正图像；以及被摄体距离计测部，基于所述第一图像与所述修正图像之间的虚化量的相关值，计测所述第一图像中的所述被摄体距离。
其中，这些整体或具体的方式既可以通过系统、方法、集成电路或者计算机程序或记录介质来实现，也可以通过系统、方法、集成电路以及计算机程序及记录介质的任意的组合来实现。
发明效果
根据本发明，在摄影状态不同的多个摄影图像间产生了被摄体的位置偏差的情况下，也能够更加稳定地以高精度计测被摄体距离。
附图说明
图1是表示本发明的实施方式1、2，3的图像处理装置的结构例的框图。
图2是表示本发明的实施方式1的对象运动量推测部的结构例的框图。
图3是表示本发明的实施方式1中的图像处理方法的处理的流程的一例的流程图。
图4是表示本发明的实施方式1中使用的多个摄影图像、对象运动量与第一运动量的关系的图。
图5A是块匹配的处理中的探索源图像与关注块的关系的一例的说明图。
图5B是块匹配的处理中的探索目的地图像与探索区域的关系的一例的说明图。
图6是表示本发明的实施方式2的对象运动量推测部的结构例的框图。
图7是表示本发明的实施方式2中的图像处理方法的处理的流程的一例的流程图。
图8是表示本发明的实施方式2中使用的多个摄影图像、对象运动量、第一运动量与第二运动量的关系的图。
图9是表示本发明的实施方式3的对象运动量推测部的结构例的框图。
图10是表示本发明的实施方式3中的图像处理方法的处理的流程的一例的流程图。
图11是表示本发明的实施方式3中使用的多个摄影图像、对象运动量、第一运动量、第二运动量与第三运动量的关系的图。
图12是表示在本发明的实施方式3中的3个摄影图像之间推测的运动量的关系的矢量图。
图13是表示本发明的实施方式4的图像处理装置的结构例的框图。
图14是表示本发明的实施方式4中的图像处理方法的处理的流程的一例的流程图。
图15是表示本发明的实施方式4中的被摄体距离的补偿处理中使用的像素位置的关系的图。
图16是表示本发明的实施方式5的图像处理装置的结构例的框图。
图17是表示本发明的实施方式5的处理的流程的流程图。
图18是表示本发明的实施方式5中使用的多个摄影图像、以及对象运动量与第一运动量的关系的图。
图19是表示搭载了本发明的图像处理装置的摄像机的一例的外观图。
具体实施方式
为了解决上述问题，本发明的一个方式的图像处理装置根据以多个聚焦状态对同一被摄体进行摄影而得到的多个摄影图像，计测被摄体距离，具备：对象运动量推测部，推测对象运动量，该对象运动量表示所述多个摄影图像之中的以第一聚焦状态摄影的第一图像与以不同于所述第一聚焦状态的第二聚焦状态摄影的第二图像之间的所述被摄体的位置偏差量；修正图像生成部，基于所述对象运动量，生成对所述第二图像进行运动补偿而得到的修正图像；以及被摄体距离计测部，基于所述第一图像与所述修正图像之间的虚化量的相关值，计测所述第一图像中的所述被摄体距离。
根据本构成的图像处理装置，通过运动补偿，生成在与第一图像之间消除了被摄体的位置偏差、或者减小了被摄体的位置偏差量以能够进行被摄体距离的计算而得到的修正图像，使用第一图像和修正图像来计算被摄体距离，因此即使在多个摄影图像间产生了被摄体的位置偏差，也能够以高精度计测被摄体距离。换言之，根据本构成的图像处理装置，在聚焦状态不同的多个摄影图像间产生了被摄体的位置偏差的情况下，通过运动补偿，以使被摄体的位置在与第一图像之间相同的方式生成修正图像，因此在第一图像与修正图像之间，仅聚焦状态不同，或者位置偏差的程度非常小，能够更好地进行基于DFD的被摄体距离的计测。
其中，在此的被摄体表示摄影图像中出现的全部对象，不仅包括人物等，而且还包括背景图像等。
另外，例如也可以构成为：所述图像处理装置接受所述第一图像、在不同于所述第一图像的定时以所述第一聚焦状态摄影的第三图像、以及在所述第一图像与所述第三图像之间摄影的所述第二图像，所述对象运动量推测部具有：第一运动量推测部，推测第一运动量，该第一运动量表示所述第一图像与所述第三图像之间的被摄体的位置偏差量；以及对象运动量决定部，使用所述第一运动量来推测所述对象运动量。
根据本构成，根据在聚焦状态相同的第一图像与第三图像之间求出的高精度的第一运动量来求出对象运动量，因此即使在聚焦状态不同的摄影图像间，也能够以高精度推测对象运动量，结果能够以高精度计测被摄体距离。
另外，例如也可以构成为：所述对象运动量决定部用所述第一运动量的大小乘以所述第一图像与所述第二图像之间的摄影时间间隔相对于所述第一图像与所述第三图像之间的摄影时间间隔的比率，来求出所述对象运动量的大小，由此推测所述对象运动量。
根据本构成，在第一图像、第二图像以及第三图像的摄影间隔不是等间隔的情况下，也能够良好地求出对象运动量。特别是，在第二图像为多个的情况下，第一图像之间的摄影时间间隔与第三图像之间的摄影时间间隔不同的情况较多，是有用的。
另外，例如也可以构成为：所述对象运动量推测部还具有第二运动量推测部，该第二运动量推测部推测表示所述第一图像与所述第二图像之间的位置偏差量的第二运动量；所述对象运动量决定部使用所述第一运动量和所述第二运动量推测所述对象运动量。
另外，例如也可以构成为：所述对象运动量决定部基于构成所述第二图像的像素之中的所述对象运动量的计算对象像素与对应于所述计算对象像素的所述第一图像上的像素之间的像素值的差，判定所述第二运动量的精度，在判定为所述第二运动量的精度高于阈值的情况下，将所述第二运动量推测为所述对象运动量，在判定为所述第二运动量的精度低于所述阈值的情况下，使用所述第一运动量推测所述对象运动量。
根据本构成，在第二运动量的精度良好的情况下，使用在第一图像与第二图像之间直接求出的第二运动量，所以通常认为与间接求出的运动量相比，直接求出的运动量的精度较高，因此能够以更高精度进行对象运动量的推测。
另外，例如也可以构成为：所述对象运动量推测部还具有第三运动量推测部，该第三运动量推测部推测表示所述第二图像与所述第三图像之间的位置偏差量的第三运动量；所述对象运动量决定部不仅使用所述第一运动量和所述第二运动量还使用所述第三运动量来推测所述对象运动量。
另外，例如也可以构成为：所述对象运动量决定部在所述第二运动量与所述第三运动量的合计等于所述第一运动量的情况下，将所述第二运动量推测为所述对象运动量，在所述第二运动量与所述第三运动量的合计不等于所述第一运动量的情况下，基于作为所述对象运动量的计算对象的所述第二图像的像素与相对应的所述第一图像上的像素之间的像素值的差，判定所述第二运动量的精度，基于作为所述对象运动量的计算对象的所述第二图像的像素与相对应的所述第三图像上的像素之间的像素值的差，判定所述第三运动量的精度，在判定为所述第二运动量的精度高于阈值时，将所述第二运动量推测为所述对象运动量，在判定为所述第二运动量的精度低于所述阈值时，将从所述第一运动量中减去所述第三运动量而得到的运动量推测为所述对象运动量。
根据本构成，在第二运动量的精度较低的情况下，能够使用直接求出的高精度的第一图像和第三图像来推测对象运动量，因此也能够以更高精度进行对象运动量的推测。其中，从第一运动量中减去第三运动量的“减法”，指的是矢量运算中的减法。
另外，例如也可以构成为具备：模糊区域判定部，基于所述对象运动量，将产生了模糊的区域判定为模糊区域；以及被摄体距离补偿部，针对构成所述模糊区域的各个像素，使用所述第一图像的未产生所述模糊的区域即非模糊区域的所述被摄体距离、或者预先求出了所述被摄体距离的其他摄影图像的所述被摄体距离，计测所述第一图像的所述被摄体距离；所述被摄体距离计测部针对构成所述非模糊区域的各个像素，基于所述第一图像与所述修正图像之间的虚化量的相关值，求出所述被摄体距离。
根据本构成，在摄影图像内产生了模糊的情况下，也能够以高精度计测被摄体距离。
在此，所谓模糊（blur），指的是在被摄体的运动或摄影方向的变化较快而在曝光时间中被摄体的位置大为变化时在摄影图像中产生的运动抖动。在该情况下，在摄影图像中，不仅受到由于被摄体距离和聚焦状态的不一致而产生的虚化的影响，而且还叠加了模糊的影响。在这种情况下，在以往的图像处理方法中，由于不考虑这些影响，因此产生被摄体距离的计测精度低下的问题。对此，在本构成的图像处理装置中，针对不受模糊影响的区域进行被摄体距离的计测，因此能够以高精度计测被摄体距离。
在本构成中，使用一般的被摄体距离的测定中利用的改变聚焦状态而得到的摄影图像，因此在进行被摄体距离的测定时，能够使用一般的被摄体距离的测定方法。
为了解决上述问题，本发明的一个方式的图像处理装置使用以多个摄影状态对同一被摄体进行摄影而得到的多个摄影图像，进行图像处理，具备：对象运动量推测部，推测对象运动量，该对象运动量表示所述多个摄影图像之中的以第一摄影状态摄影的第一图像与以不同于所述第一摄影状态的第二摄影状态摄影的第二图像之间的所述被摄体的位置偏差量；修正图像生成部，基于所述对象运动量，生成对所述第二图像进行运动补偿而得到的修正图像；以及图像处理部，使用所述第一图像和所述修正图像进行图像处理。
如上所述，在使用改变摄影状态摄影的摄影图像来进行图像处理的情况下，除了摄影状态，还同时产生了被摄体的位置偏差的情况下，产生图像处理的精度低下的问题。
根据本构成的图像处理装置，通过运动补偿，生成在与第一图像之间消除了被摄体的位置偏差而得到的修正图像，使用第一图像和修正图像进行图像处理，因此能够使用仅摄影状态不同的多个摄影图像进行图像处理，能够防止图像处理的精度的低下。
另外，例如也可以构成为：所述图像处理装置接受以第一曝光状态摄影的所述第一图像、以及以第二曝光状态摄影的所述第二图像，所述图像处理部作为所述图像处理进行以下处理：将所述第一图像与所述修正图像合成，生成动态范围大的合成图像。
根据本构成的图像处理装置，通过运动补偿，生成在与第一图像之间消除了被摄体的位置偏差而得到的修正图像，使用第一图像和修正图像进行HDR（High Dynamic Range）图像的生成，因此即使在多个摄影图像间产生了被摄体的位置偏差，也能够以高精度进行HDR图像的生成。
本发明的一个方式的图像处理方法根据以多个聚焦状态对同一被摄体进行摄影而得到的多个摄影图像，计测被摄体距离，包括：对象运动量推测步骤，推测对象运动量，该对象运动量表示所述多个摄影图像之中的以第一聚焦状态摄影的第一图像与以不同于所述第一聚焦状态的第二聚焦状态摄影的第二图像之间的所述被摄体的位置偏差量；修正图像生成步骤，基于所述对象运动量，生成对所述第二图像进行运动补偿而得到的修正图像；被摄体距离计测步骤，基于所述第一图像与所述修正图像之间的虚化量的相关值，计测所述第一图像中的所述被摄体距离。
本发明的一个方式的图像处理方法使用以多个摄影状态对同一被摄体进行摄影而得到的多个摄影图像，进行图像处理，包括：对象运动量推测步骤，推测对象运动量，该对象运动量表示所述多个摄影图像之中的以第一摄影状态摄影的第一图像与以不同于所述第一摄影状态的第二摄影状态摄影的第二图像之间的所述被摄体的位置偏差量；修正图像生成步骤，基于所述对象运动量，生成对所述第二图像进行运动补偿而得到的修正图像；以及图像处理步骤，使用所述第一图像和所述修正图像进行图像处理。
以下，利用附图详细说明本发明的实施方式。其中，以下说明的实施方式都表示本发明的优选的一个具体例。以下的实施方式所示的结构要素、结构要素的配置位置以及连接方式、处理、处理的顺序等为一例，不是限定本发明的主旨。另外，针对以下的实施方式中的结构要素之中的未记载在表示本发明的最上位概念的独立权利要求中的结构要素，作为构成更加优选的方式的任意的结构要素们进行说明。
（实施方式1）
基于图1～图5B说明本发明的实施方式1的图像处理装置。
本实施方式的图像处理装置是根据以多个摄影状态摄影的多个摄影图像、利用DFD计测被摄体距离的装置，以搭载于能够对运动图像进行摄影的摄像装置的情况为例进行说明。
在此，所谓摄影状态，指的是聚焦状态、曝光状态、ISO感度等。在本实施方式中，图像处理装置进行利用DFD的被摄体距离的计测，因此以摄影状态为聚焦状态的情况为例进行说明。
另外，本实施方式的摄像装置以视频摄像机的情况为例进行说明。图19是表示视频摄像机200的一例的外观图。该视频摄像机200构成为在运动图像的摄影中，以一定的时间间隔交替切换近景聚焦（在本实施方式中相当于第一聚焦状态）和远景聚焦（在本实施方式中相当于第二聚焦状态）来进行摄影。视频摄像机200将以远景聚焦摄影的远景摄影图像和以近景聚焦摄影的近景摄影图像交替向图像处理装置输出。其中，图像处理装置在本实施方式中以搭载于视频摄像机200的情况为例进行说明，但也可以搭载于能够对运动图像进行摄影的视频摄像机200以外的设备（例如便携式电话机等），还可以设于能够从摄像装置取得摄影图像的其他装置。
另外，在此的近景聚焦，表示使焦点对焦在视频摄像机200的焦点所对焦的对焦范围之中的、与摄像机的距离最近的位置的摄影状态，远景聚焦表示使焦点对焦在上述对焦范围之中的与摄像机的距离最远的位置（无限远）的摄影状态。
（实施方式1中的图像处理装置的结构）
首先，参照图1及图2说明图像处理装置100的结构。图1是表示图像处理装置100的结构例的框图。
图像处理装置100在本实施方式中是根据以远景聚焦以及近景聚焦摄影的多个摄影图像来计测被摄体距离的装置，如图1所示，具备对象运动量推测部10（在本实施方式中为10A）、修正图像生成部20、被摄体距离计测部30。
图像处理装置100构成为，从视频摄像机200交替连续地取得以远景聚焦对被摄体摄影而得到的远景摄影图像、以及在不同于远景摄影图像的定时以近景聚焦对同一被摄体摄影而得到的近景摄影图像。另外，将被摄体距离的计算对象的摄影图像作为第一图像，将在第一图像的紧之前摄影的摄影图像作为第二图像，将在第二图像的紧之前摄影的摄影图像作为第三图像进行说明。第一图像与第三图像的聚焦状态相同。另外，以下为了便于说明，以将规定的近景摄影图像作为被摄体距离的计算对象的情况（将近景聚焦作为第一聚焦状态的情况）为例进行说明，但在将远景摄影图像作为被摄体距离的计算对象的情况（将远景聚焦作为第一聚焦状态的情况）下，也能够利用相同的方法计算被摄体距离。另外，也可以使用近景聚焦以及远景聚焦以外的聚焦状态。
对象运动量推测部10A将由视频摄像机200摄影的摄影图像之中的以近景聚焦摄影的第一图像与以远景聚焦摄影的第二图像之间产生的被摄体的位置偏差量作为对象运动量来推测，并输出至修正图像生成部20。另外，对象运动量为矢量，由位置偏差的方向和位置偏差的大小规定。图2是表示对象运动量推测部10A的结构例的框图。对象运动量推测部10A如图2所示，具有第一运动量推测部11A和运动量决定部12A。
第一运动量推测部11A接受以相同聚焦状态摄影的第一图像和第三图像，将第一图像与第三图像之间产生的被摄体的位置偏差量作为第一运动量来推测，并输出至运动量决定部12A。另外，第一运动量为矢量，由位置偏差的方向和位置偏差的大小规定。
运动量决定部12A基于第一运动量，将第一图像与第二图像之间产生的被摄体的位置偏差量作为对象运动量来推测。
修正图像生成部20基于对象运动量，进行针对第二图像的运动补偿，生成在与第一图像之间没有被摄体的位置偏差的修正图像，并输出至被摄体距离计测部30。
被摄体距离计测部30基于第一图像与修正图像之间的虚化量的相关值，使用DFD来计测被摄体距离。
在此，说明根据聚焦状态不同的多个摄影图像、基于虚化量的相关值来计测被摄体距离的DFD的原理。另外，关于该DFD的原理在专利文献1和非专利文献3中也有记载。
一般而言，如果对通过摄像机的光学系统摄影的图像进行二维傅里叶变换，则其频率信息I（u,v）如以下的式1所示。
【数1】
I(u，v)＝OTF(u，v，d)·S(u，v)   ···(1)
在此，变量u以及变量v表示二维傅里叶空间中的频率成分。另外，S（u,v）表示以虚化量为零的方式摄影的情况下的全焦点图像的频率信息。进而，OTF（u,v,d）与摄影时的聚焦状态相关联，表示对存在于与摄像机的距离为d的位置上的被摄体进行摄影时的光学系统的传递函数（OpticalTransfer Function）。由式1可知，摄影图像的频率信息I（u,v）由全焦点图像的频率信息S（u,v）与摄影时的光学系统的传递函数OTF（u,v,d）的积表示。
在此，如果以两个不同的聚焦状态对对位于距离d的被摄体进行摄影，则摄影的2个摄影图像的频率信息I1（u,v）以及I2（u,v）由以下的式2以及式3表示。其中，设为2个摄影图像间不产生被摄体的位置偏差。
【数2】
I1(u，v)＝OTF1(u，v，d)·S(u，v)   ···(2)
【数3】
I2(u，v)＝OTF2(u，v，d)·S(u，v)   ···(3)
在将这些式的两边相除的情况下，得到不依赖于全焦点图像S（u,v）的以下的式4。
【数4】
I 1 ( u , v ) I 2 ( u , v ) = OTF 1 ( u , v , d ) OTF 2 ( u , v , d ) . . . ( 4 )
在此，OTF1（u,v,d）、OTF2（u,v,d）表示对各图像进行摄影时的光学系统的特性，因此能够预先计测并保持各距离d的特性。因此，如果对聚焦状态不同的2个图像I1（u,v）、I2（u,v）进行摄影，则通过求出与式4的左边一致的右边的距离d，能够计测被摄体距离。
但是，一般而言，在摄影图像中包含噪声和量化误差等的影响，因此不一定存在左边与右边的值完全一致的距离d。因此，也可以如以下的式5所示，求出以距离d为参数的式4的左边与右边的差分的绝对值e（d），将e（d）成为最小的距离d推测为到被摄体的距离。
【数5】
e ( d ) = Σ u , v | I 1 ( u , v ) I 2 ( u , v ) - OTF 1 ( u , v , d ) OTF 2 ( u , v , d ) | . . . ( 5 )
如果构成为将e（d）成为最小的距离d推测为到被摄体的距离，则在摄影图像的特性与预先计测的光学系统的特性不完全一致的情况下，也能够计测被摄体距离。
（实施方式1中的图像处理方法的处理步骤）
接着，利用图3以及图4，说明在本发明的实施方式1的图像处理装置中计测被摄体距离的情况下的处理的流程（图像处理方法的处理步骤）。图3是表示本实施方式中的图像处理方法的处理步骤的流程图，图4是表示本实施方式中的摄影图像、对象运动量与第一运动量的关系的说明图。
首先，在图19所示的视频摄像机200（摄像装置）中，以多个聚焦状态对图像进行摄影，并向图像处理装置100输出（步骤S101）。
本实施方式的视频摄像机200如图4所示，在时间上连续交替地重复近景聚焦下的摄影和远景聚焦下的摄影，将摄影的近景摄影图像和远景摄影图像输出至图像处理装置100。其中，在本实施方式中，以视频摄像机200从同一位置对同一方向摄影的情况、即在多个摄影图像中对相同被摄体进行摄影的情况为例进行说明。另外，在本实施方式中，被摄体是相对于摄像机位于近距离的人物及其背景。
其中，在本实施方式中，为了便于说明，说明视频摄像机200的位置以及摄影方向相同的情况，但不限于此。另外，被摄体的结构也不限于人物及其背景。
在图4中，在近景聚焦的摄影图像中，焦点对焦于眼前站立的人物（焦点对焦于近距离），因此眼前站立的人物清晰地显示，而背景虚化。另一方面，在远景聚焦中，焦点对焦于背景（焦点对焦于无限远），因此背景清晰地显示，而眼前站立的人物虚化。另外，如上所述，将以近景聚焦摄影的近景摄影图像之中的1个图像作为进行被摄体距离的计测的第一图像，将其前面的1个以远景聚焦摄影的远景摄影图像作为第二图像，将再前面1个以近景聚焦摄影的近景摄影图像作为第三图像。其中，本步骤S101不是本发明的必须步骤，作为构成更加优选的方式的要素进行说明。图像处理装置100构成为能够取得多个摄影状态的摄影图像即可。另外，以下说明的步骤S102～步骤S105的处理既可以与视频摄像机200的摄影并行执行，也可以在摄影后执行。
在此，如果在对近景聚焦的第一图像与远景聚焦的第二图像进行摄影的期间没有被摄体的运动和摄影方向的变化，则图像间不产生被摄体的位置偏差。在该情况下，能够直接使用第一图像和第二图像，通过基于式5的DFD的处理来计测被摄体距离。但是，在第一图像与第二图像之间产生了被摄体的位置偏差的情况下，在式2以及式3中全焦点图像S（u,v）不同，因此式4不成立，无法计测被摄体距离。因此，在本实施方式中，为了使第一图像以及第二图像的全焦点图像S（u,v）一致，在推测出相当于图像间的位置偏差的运动量之后，进行针对产生位置偏差的被摄体的运动补偿并生成修正图像。以下，将第一图像与第二图像之间的运动量称为对象运动量。
图像处理装置100在计测被摄体距离时，首先，如图3所示，在对象运动量推测部10A的第一运动量推测部11A中，将第一图像和以与第一图像相同的近景聚焦状态摄影的第三图像之间的运动量作为第一运动量（步骤S102）来推测。其中，该运动量的推测是以相同聚焦状态摄影的图像间的推测，仅被摄体的位置不同，因此能够得到高精度的推测结果。
以下，利用图5A以及图5B说明第一图像与第三图像之间的第一运动量的推测方法。其中，在本实施方式中，以运动量的推测中使用块匹配法的情况为例进行说明。
块匹配法是按每个块区域来推测图像间的运动量的方法，将与一方的图像（以下称为探索源图像）内设定的块区域的图像之间相关最高的区域从另一方的图像（以下称为探索目的地图像）内确定，由此推测运动量。图5A是表示探索源图像与关注块的关系的一例的说明图，图5B是表示探索目的地图像与探索区域的关系的一例的说明图。
第一运动量推测部11A如图5A所示，首先在探索源图像（即第一图像）内，设定由多个像素构成的关注块。该关注块的尺寸可以任意设定为8×8像素或16×16像素等。换言之，第一运动量推测部11A将探索源图像分割为相同尺寸的多个块区域，将多个块区域依次设定为关注块。
接着，第一运动量推测部11A在探索目的地图像（即第三图像）内设定探索区域。该探索区域表示探索与探索源图像内的关注块之间相关最高的区域（area）的范围，是尺寸比关注块大的区域。另外，探索区域优选为设定在与探索源图像内的关注块的位置相近的位置。
接着，第一运动量推测部11A从探索目的地图像的探索区域内切割出与探索源图像内的关注块相同尺寸的块区域作为探索块，基于以下的式6，计算表示图像的相关的评价值rx，y。
【数6】
r x , y = Σ i , j | g x , y ( i , j ) - f ( i , j ) | . . . ( 6 )
在此，x,y是表示块区域在探索目的地图像内的位置的座标位置，是将图5B所示的探索目的地图像的左上角部的像素的座标（x，y）设为（0，0）时的座标位置。另外，（i,j）是构成块区域（关注块以及探索块）的像素在块区域内的相对座标位置，是将块区域的左上角部的像素的座标（i，j）设为（0，0）时的座标位置。f（i,j）表示构成在探索源图像内设定的关注块的像素的像素值，gx,y（i,j）表示从探索目的地图像内切割出的探索块的像素值。一边错移从探索目的地图像的探索区域内切割出探索块的座标位置（x,y），一边基于式6计算评价值rx，y，从中确定评价值rx，y最小的座标位置。该座标位置与探索源图像内的关注块的座标位置之间的相对位置偏差表示图像间的运动量。第一运动量推测部11A通过针对探索源图像内的全部的块区域进行该处理，能够在图像整体中推测运动量。
接着，对象运动量推测部10A的运动量决定部12A基于第一运动量，推测作为第一图像与第二图像之间的运动量的对象运动量（步骤S103）。在此，在设为第一图像、第二图像、第三图像在时间上等间隔地被摄影时，将对象运动量决定为位置偏差的方向与第一运动量相同，而大小为第一运动量的一半。这利用了在短时间内被摄体的运动和摄影方向的变化大致等速的特性，利用了如果第一图像与第二图像之间的摄影时间间隔为第一图像与第三图像之间的摄影时间间隔的一半、则它们之间的运动量也大致成为一半的关系。
另外，在摄影时间间隔不是等间隔的情况下，也可以通过按照摄影时间间隔的比率对第一运动量的大小进行修正，来决定对象运动量。具体而言，例如，设为对象运动量的大小＝第一运动量的大小×（（第一图像与第二图像之间的摄影时间间隔）/（第一图像与第三图像之间的摄影时间间隔）），且设为对象运动量的方向＝第一运动量的方向，求出对象运动量。其中，在该式中，如果采用第一图像与第二图像之间的摄影时间间隔为第一图像与第三图像之间的摄影时间间隔的一半的情况，则对象运动量的大小＝第一运动量的大小×0.5。
修正图像生成部20从对象运动量推测部10A接受到对象运动量后，基于接受的对象运动量，进行第二图像的运动补偿，生成修正图像（步骤S104）。结果，由于在第一图像与修正图像中被摄体的位置一致，因此全焦点图像共通，成为仅虚化量不同的关系。换言之，在第一图像与修正图像中被摄体的状态相同，成为仅聚焦状态不同的关系。
被摄体距离计测部30从修正图像生成部20接受到修正图像时，基于第一图像与修正图像之间的虚化量的相关值，进行基于DFD的被摄体距离的计测（步骤S105）。在此，如上所述，通过求出式5成为最小的距离d，能够计测被摄体距离。
根据上述方法，使用在以相同聚焦状态摄影的第一图像与第三图像之间推测的第一运动量，推测以不同的聚焦状态摄影的第一图像与第二图像之间的对象运动量，由此能够推测高精度的对象运动量。通过使用该对象运动量来对第二图像进行运动补偿，能够以高精度生成与第一图像之间没有被摄体的位置偏差的修正图像，能够更好地进行基于DFD的被摄体距离的计测处理。
另外，通过在第一图像与第二图像之间进行上述的块匹配法，即使聚焦状态不同，也能够直接计算第一图像与第二图像之间的运动量。尤其是，在对第一图像进行摄影时的聚焦状态与对第二图像进行摄影时的聚焦状态之间的差异较小的情况下，能够良好地推测运动量的可能性较高。但是，在对第一图像进行摄影时的聚焦状态与对第二图像进行摄影时的聚焦状态之间的差异较大的情况下，由于在图像间虚化量大为不同，因此即使为相同的被摄体，在图像间相关性也变低，推测的运动量有可能产生较多误差。一般而言，在使用DFD计测被摄体距离的情况下，在图像间的聚焦状态的差异较大的情况下，被摄体距离的计测精度提高，因此多在后者的条件下进行摄影。
根据上述的方法，在使用聚焦状态不同的第一图像和第二图像测定被摄体距离时，使用通过块匹配法以高精度求出的第一图像与第三图像之间的第一运动量，从而能够以高精度推测第一图像与第二图像之间的运动量。通过使用以高精度推测的对象运动量，能够消除第一图像与修正图像之间的位置偏差，或者将位置偏差缩小为能够良好地进行被摄体距离的计测的程度，能够良好地进行被摄体距离的计测。
（实施方式2）
基于图1、图6～图8说明本发明的实施方式2的图像处理装置。
其中，本实施方式的图像处理装置与实施方式1的图像处理装置100的不同点在于，对象运动量推测部10B除了求出第一图像与第三图像之间的第一运动量的第一运动量推测部11A之外，还具备直接求出第一图像与第二图像之间的第二运动量的第二运动量推测部11B。
在本实施方式中，与实施方式1相同，以摄像装置为图19所示的视频摄像机200，摄影状态为近景聚焦以及远景聚焦这两个聚焦状态的情况为例进行说明。
（实施方式2中的图像处理装置的结构）
首先，参照图1及图6说明实施方式2中的图像处理装置100的结构。
图6是表示对象运动量推测部10B的结构例的框图。其中，对本实施方式的图像处理装置的结构之中的与实施方式1的图像处理装置100共通的模块赋予相同的标记，并省略说明。
本实施方式的图像处理装置的结构是与图1所示实施方式1的图像处理装置100相同的模块构成，具备对象运动量推测部10B、修正图像生成部20、被摄体距离计测部30。其中，修正图像生成部20以及被摄体距离计测部30的结构与实施方式1相同。另外，本实施方式的图像处理装置与实施方式1相同，构成为从视频摄像机200交替连续地取得在时间上连续摄影的远景摄影图像和近景摄影图像。另外，将被摄体距离的计算对象的摄影图像作为第一图像，将第一图像的紧之前摄影的摄影图像作为第二图像，将第二图像的紧之前摄影的摄影图像作为第三图像进行说明。
对象运动量推测部10B构成为将以近景聚焦摄影的第一图像与以远景聚焦摄影的第二图像之间产生的被摄体的位置偏差量作为对象运动量来推测，如图6所示，具有第一运动量推测部11A、第二运动量推测部11B和运动量决定部12B。
第一运动量推测部11A的结构与实施方式1相同，通过块匹配法求出第一图像与第三图像之间的第一运动量，并输出至运动量决定部12B。
第二运动量推测部11B通过实施方式1中说明的块匹配法，将第一图像与第二图像之间产生的被摄体的位置偏差量作为第二运动量（相当于初始推测值）来推测，并输出至运动量决定部12B。其中，第二运动量与对象运动量以及第一运动量相同，是矢量，由位置偏差的方向和位置偏差的大小规定。
运动量决定部12B基于由第一运动量推测部11A推测的第一运动量、以及由第二运动量推测部11B推测的第二运动量，推测表示在第一图像与第二图像之间产生的被摄体的位置偏差的对象运动量。
（实施方式2中的图像处理方法的处理步骤）
接着，利用图7及图8说明本发明的实施方式2的图像处理装置中计测被摄体距离的情况下的处理的流程。图7是表示本实施方式中的图像处理方法的处理步骤的流程图，图8是表示本实施方式中的摄影图像、对象运动量、第一运动量与第二运动量的关系的说明图。其中，对图7所示的处理的流程之中的与图3所示的实施方式1的处理的流程共通的处理赋予相同的标记，并省略说明。
首先，在图19所示的视频摄像机200（摄像装置）中，以多个聚焦状态摄影出图像，并向图像处理装置100输出（步骤S101）。
图像处理装置100在计测被摄体距离时，首先，如图7所示，在对象运动量推测部10B的第一运动量推测部11A中，将第一图像与第三图像之间的运动量作为第一运动量来推测（步骤S102）。至此为止，与实施方式1相同。
接着，图像处理装置100通过对象运动量推测部10B的第二运动量推测部11B，推测作为第一图像与第二图像之间的运动量的初始推测值的第二运动量（步骤S201）。在该推测中可以进行块匹配法。
接着，图像处理装置100通过对象运动量推测部10B的运动量决定部12B，使用第一运动量和第二运动量来推测对象运动量（步骤S202）。
在此，如果聚焦状态相同，则一般而言，直接推测的第二运动量与从第一运动量间接推测的情况相比精度更高。即，有时直接推测第一图像与第二图像之间的第二运动量精度较高。但是，如上所述，摄影第一图像时的聚焦状态与摄影第二图像时的聚焦状态尤其是在基于DFD的被摄体距离的测定中大为不同的可能性很高。因此，如果由于聚焦状态的变更而虚化量大为不同，则即使是相同的被摄体，在图像间相关性变低，有时在推测的运动量中产生较大误差。
因此，本实施方式的运动量决定部12B判定第二运动量的精度，是用于被摄体距离的测定所需的精度的情况下，将第二运动量直接作为对象运动量，在不是所需的精度的情况下，与实施方式1相同，根据第一运动量推测对象运动量。其中，根据第一运动量推测对象运动量的方法与实施方式1的步骤S103相同。
在此，运动量决定部12B基于在推测第二运动量时适用的块匹配法中的最小的评价值rx，y（最小评价值rmin），判定第二运动量的精度。更具体而言，运动量决定部12B在判定为最小评价值rmin小于规定的阈值的情况（判定为精度较高的情况）下，将第二运动量直接用作对象运动量，在判定为最小评价值rmin大于规定的阈值的情况（判定为精度较低的情况）下，根据第一运动量推测对象运动量。这利用了以下特性：在通过块匹配法计算的最小评价值rmin较小时，探索源图像中的关注块与探索目的地图像中确定的探索块之间的一致度较高，运动量的推测精度较高。在这种情况下，认为使用在第一图像与第二图像之间适用块匹配法而直接求出的第二运动量，作为对象运动量能够得到更高精度的推测结果。
修正图像生成部20在从对象运动量推测部10B接受到对象运动量时，基于接受的对象运动量，进行第二图像的运动补偿，生成修正图像（步骤S104）。该步骤S104与实施方式1相同。
进而，被摄体距离计测部30从修正图像生成部20接受到修正图像后，基于第一图像与修正图像之间的虚化量的相关值，进行基于DFD的被摄体距离的计测（步骤S105）。该步骤S105与实施方式1相同。
根据上述的方法，在判断为在以不同的聚焦状态摄影的第一图像与第二图像之间推测的第二运动量的推测精度较高时，作为对象运动量利用第二运动量，在判断为第二运动量的推测精度较低时，能够基于在以相同聚焦状态摄影的第一图像与第三图像之间推测的第一运动量来推测对象运动量，能够实现高精度的推测。
其中，在本实施方式中，第一运动量推测部11A也可以构成为：在判定为由第二运动量推测部11B中出的最小评价值rmin小于规定的阈值的情况下，不计算第一运动量。
其中，作为步骤S202中的对象运动量的推测方法，也可以基于在推测第一运动量和第二运动量时分别适用的块匹配法的最小评价值rmin之比，使用对第一运动量的一半的运动量与第二运动量进行内分而得到的运动量作为对象运动量。
（实施方式3）
基于图1、图9～图12说明本发明的实施方式3的图像处理装置。
其中，本实施方式的图像处理装置与实施方式2的图像处理装置100的不同点在于，对象运动量推测部10C除了具备求出第一图像与第三图像之间的第一运动量的第一运动量推测部11A、直接求出第一图像与第二图像之间的第二运动量的第二运动量推测部11B之外，还具备求出第二图像与第三图像之间的第三运动量的第三运动量推测部11C。
在本实施方式中，与实施方式1以及实施方式2相同，以摄像装置为图19所示的视频摄像机200，摄影状态为近景聚焦以及远景聚焦这两个聚焦状态的情况为例进行说明。
（实施方式3中的图像处理装置的结构）
首先，参照图1及图9说明实施方式3中的图像处理装置100的结构。
图9是表示对象运动量推测部10C的结构例的框图。其中，对本实施方式的图像处理装置的结构之中的与实施方式1或者实施方式2的图像处理装置共通的模块赋予相同的标记，并省略说明。
本实施方式的图像处理装置的结构是与图1所示的实施方式1的图像处理装置100相同的模块构成，具备对象运动量推测部10C、修正图像生成部20、被摄体距离计测部30。其中，修正图像生成部20以及被摄体距离计测部30的结构与实施方式1以及实施方式2相同。另外，本实施方式的图像处理装置与实施方式1以及实施方式2相同，构成为从视频摄像机200交替连续地取得以远景聚焦摄影的远景摄影图像和以近景聚焦摄影的近景摄影图像。另外，将被摄体距离的计算对象的摄影图像作为第一图像，将第一图像的紧之前摄影的摄影图像作为第二图像，将第二图像的紧之前摄影的摄影图像作为第三图像进行说明。
对象运动量推测部10C构成为将以近景聚焦摄影的第一图像与以远景聚焦摄影的第二图像之间产生的被摄体的位置偏差量作为对象运动量来推测，如图9所示，具有第一运动量推测部11A、第二运动量推测部11B、第三运动量推测部11C和运动量决定部12C。
第一运动量推测部11A的结构与实施方式1以及实施方式2相同，通过块匹配法求出第一图像与第三图像之间的第一运动量，并输出至运动量决定部12C。
第二运动量推测部11B的结构与实施方式2相同，通过块匹配法直接求出第一图像与第二图像之间的第二运动量（初始推测值），并输出至运动量决定部12C。
第三运动量推测部11C通过实施方式1中说明的块匹配法，将第二图像与第三图像之间产生的被摄体的位置偏差量作为第三运动量来推测，并输出至运动量决定部12C。
运动量决定部12C基于由第一运动量推测部11A推测的第一运动量、由第二运动量推测部11B推测的第二运动量、以及由第三运动量推测部1 1C推测的第三运动量，推测表示在第一图像与第二图像之间产生的被摄体的位置偏差量的对象运动量。
（实施方式3中的图像处理方法的处理步骤）
接着，利用图10～图12说明在本发明的实施方式3的图像处理装置中计测被摄体距离的情况下的处理的流程。图10是表示本实施方式中的图像处理方法的处理步骤的流程图，图11是表示本实施方式中的摄影图像、对象运动量、第一运动量、第二运动量与第三运动量的关系的说明图。另外，图12是表示第一运动量、第二运动量、第三运动量以及对象运动量的关系的矢量图。其中，对图10所示的处理的流程之中的与图3所示的实施方式1的处理的流程以及图7所示的实施方式2的处理的流程共通的处理赋予相同的标记，并省略说明。
首先，在图19所示的视频摄像机200（摄像装置）中，以多个聚焦状态摄影出图像，并向图像处理装置100输出（步骤S101）。
图像处理装置100在计测被摄体距离时，首先，如图10所示，在对象运动量推测部10C的第一运动量推测部11A中，计算第一图像与第三图像之间的运动量来作为第一运动量（步骤S102）。至此为止，与实施方式1以及实施方式2相同。
接着，图像处理装置100通过对象运动量推测部10C的第二运动量推测部11B，推测作为第一图像与第二图像之间的运动量的初始推测值的第二运动量（步骤S201）。该处理与实施方式2相同。
接着，图像处理装置100通过对象运动量推测部10C的第三运动量推测部11C，推测作为第二图像与第三图像之间的运动量的第三运动量（步骤S301）。在该推测中可以进行块匹配法。
接着，图像处理装置100通过对象运动量推测部10C的运动量决定部12C，基于第一运动量、第二运动量以及第三运动量，推测对象运动量（步骤S302）。在此，利用图12，说明根据第一运动量、第二运动量、第三运动量的关系，选择被判断为推测精度较高的组合，从而决定对象运动量的方法。
其中，在图12中，将步骤S102中求出的第一运动量表示为V1。另外，将步骤S201中求出的第二运动量表示为V2a，将此时得到的评价值表示为r2a。另外，将步骤S301中求出的第三运动量表示为V3a，将此时得到的评价值表示为r3a。在此，V1、V2a、V3a表示图像上的二维的运动量，因此在图12中如实线的箭头所示表示为矢量。在此，如果以下的式7的关系成立，则V1、V2a、V3a作为3个图像间的运动而取得匹配，因此无论判断为哪个的推测精度高，都使用第二运动量V2a作为对象运动量。
【数7】
V1＝V2a+V3a    ···(7)
但是，在式7的关系不成立的情况下，第一运动量V1、第二运动量V2a、第三运动量V3a之中的至少一个的推测精度较低。其中，关于第一运动量V1，由于是在以相同聚焦状态摄影的摄影图像间推测的运动量，因此认为推测精度较高。进而，第二运动量V2a以及第三运动量V3a是在以不同的聚焦状态摄影的摄影图像间推测的运动量，因此在此认为第二运动量V2a或者第三运动量V3a的一方或双方的推测精度较低。
在此，如果假定为第二运动量V2a的推测精度较高，则由于将第二运动量V2a与实际的第三运动量矢量相加而得到的运动量必须与第一运动量V1一致，因此第三运动量的修正候选量V3b能够通过式8计算。这在图12中以点线表示。
【数8】
V3b＝V1-V2a    ···(8)
与此相对，如果假定为第三运动量V3a的推测精度较高（假定为第二运动量V2a的推测精度较低），则由于将第三运动量V3a与实际的第二运动量矢量相加而得到的运动量必须与第一运动量V1一致，因此第二运动量的修正候选量V2b能够通过式9计算。这在图12中以虚线表示。
【数9】
V2b＝V1-V3a    ···(9)
在此，将切割出与第三运动量的修正候选量V3b对应的、探索源图像（第二图像）的关注块和探索目的地图像（第三图像）的块区域，并基于式6计算评价值而得到的结果设为r3b。另外，将切割出与第二运动量的修正候选量V2b对应的、探索源图像（第一图像）的关注块和探索目的地图像（第二图像）的块区域，并基于式6计算评价值而得到的结果设为r2b。
此时，在假定为第二运动量V2a的推测精度较高的情况下，与第二运动量V2a和第三运动量的修正候选量V3b的组合对应的合计的评价值为（r2a＋r3b）。另一方面，在假定为第三运动量V3a的推测精度较高的情况下，与第二运动量的修正候选量V2b和第三运动量V3a的组合对应的合计的评价值为（r2b＋r3a）。
在此，合计的评价值（r2a＋r3b）和（r2b＋r3a）之中的较小一方表示运动量的推测精度较高，因此将合计的评价值较小的组合中的第二运动量V2a或者第二运动量的修正候选量V2b决定为对象运动量。换言之，在（r2a＋r3b）较小的情况下，判定为第二运动量V2a的推测精度较高，将第二运动量V2a作为对象运动量。另一方面，在（r2b＋r3a）较小的情况下，判定为第三运动量V3a的推测精度较高，将第二运动量的修正候选量V2b决定为对象运动量。
其中，在合计的评价值（r2a＋r3b）和（r2b＋r3a）双方都大于规定的阈值的情况下，表示哪个组合的运动量的推测精度都低，因此在该情况下，将第一运动量V1的一半的运动量决定为对象运动量。
修正图像生成部20从对象运动量推测部10C接受到对象运动量后，基于接受的对象运动量，进行第二图像的运动补偿，生成修正图像（步骤S104）。该步骤S104与实施方式1以及实施方式2相同。
进而，被摄体距离计测部30从修正图像生成部20接受到修正图像后，基于第一图像与修正图像之间的虚化量的相关值，进行基于DFD的被摄体距离的计测（步骤S105）。该步骤S105与实施方式1及实施方式2相同。
根据上述方法，能够根据第一运动量、第二运动量、第三运动量这三个运动量的关系，选择被判断为推测精度高的组合，从而决定对象运动量，因此能够实现更高精度的推测。
（实施方式4）
基于图13～图15说明本发明的实施方式4的图像处理装置。
其中，本实施方式的图像处理装置与实施方式1～实施方式3的图像处理装置100的不同点在于，考虑被摄体的运动或摄影方向的变化快的情况下等产生的模糊的影响，进行被摄体距离的计测。
在本实施方式中，与实施方式1相同，以摄像装置为图19所示的视频摄像机200，且摄影状态为近景聚焦以及远景聚焦这两个聚焦状态的情况为例进行说明。
（实施方式4中的图像处理装置的结构）
首先，参照图13说明实施方式4中的图像处理装置100的结构。
图13是表示图像处理装置100的结构例的框图。其中，对本实施方式的图像处理装置的结构中的与实施方式1、实施方式2、实施方式3中的某一个的图像处理装置100共通的模块赋予相同的标记，并省略说明。
本图像处理装置100如图13所示，具备对象运动量推测部10、修正图像生成部20、被摄体距离计测部30、模糊区域判定部40、被摄体距离补偿部50。其中，在本实施方式中，对象运动量推测部10的结构以与实施方式1的对象运动量推测部10A相同的情况为例进行说明，但也可以是与实施方式2的对象运动量推测部10B或者实施方式3的对象运动量推测部10C相同的构成。
另外，本实施方式的图像处理装置与实施方式1相同，构成为从视频摄像机200交替连续地取得以远景聚焦摄影的远景摄影图像和以近景聚焦摄影的近景摄影图像。另外，将被摄体距离的计算对象的摄影图像作为第一图像，将第一图像的紧之前摄影的摄影图像作为第二图像，将第二图像的紧之前摄影的摄影图像作为第三图像进行说明。
模糊区域判定部40基于从对象运动量推测部10输出的对象运动量，判定在第一图像以及第二图像内是否产生了模糊，将包括表示被判定为产生了模糊的区域的信息（例如位置坐标）的模糊区域判定结果输出至修正图像生成部20、被摄体距离计测部30以及被摄体距离补偿部50。
修正图像生成部20基于从对象运动量推测部10输出的对象运动量，进行针对第二图像的运动补偿，生成与第一图像之间没有被摄体的位置偏差的修正图像，并输出至被摄体距离计测部30。其中，在本实施方式中，仅针对在从模糊区域判定部40输出的模糊区域判定结果中判定为未产生模糊的区域（以下称为非模糊区域）生成修正图像。
被摄体距离计测部30与实施方式1～实施方式3相同，基于第一图像与修正图像之间的虚化量的相关值，使用DFD来计测被摄体距离。其中，在本实施方式中，仅针对模糊区域判定结果中判定为非模糊区域的区域，计测被摄体距离。
被摄体距离补偿部50针对在模糊区域判定结果中判定为产生了模糊的区域（以下称为模糊区域）进行被摄体距离的推测。
（实施方式4中的图像处理方法的处理步骤）
接着，利用图14以及图15说明在本发明的实施方式4的图像处理装置中计测被摄体距离的情况下的处理的流程。图14是表示本实施方式中的图像处理方法的处理步骤的流程图，图15是表示模糊区域的判定方法的说明图。其中，对图14所示的处理的流程之中的与图3所示的实施方式1的处理的流程、图7所示的实施方式2的处理的流程、以及图10所示的实施方式3的处理的流程共通的处理赋予相同的标记，并省略说明。
首先，在图19所示的视频摄像机200（摄像装置）中，以多个聚焦状态摄影图像，并向图像处理装置100输出（步骤S101）。该处理与实施方式1～实施方式3相同。
图像处理装置100在计测被摄体距离时，首先，如图14所示，通过对象运动量推测部10，推测第一图像与第二图像之间的对象运动量（步骤S401）。该处理在本实施方式中，与实施方式1中的步骤S102以及步骤S103（参照图3）所示的处理相同。其中，作为步骤S401的对象运动量的推测处理，也可以使用实施方式2中的步骤S102、步骤S201以及步骤S202（参照图7）所示的处理、或者实施方式3中的步骤S102、步骤S201、步骤S301以及步骤S302（参照图10）所示的处理。
接着，图像处理装置100通过模糊区域判定部40，判定在第一图像或者第二图像的至少某一方中产生了模糊的区域（步骤S402）。其中，在第一图像与第二图像之间产生了不同的模糊的情况下，在式2以及式3这两式中全焦点图像S（u,v）不同，因此式4不成立，无法基于式5计测被摄体距离。另一方面，在第一图像与第二图像之间产生了同程度的模糊的情况下，在包含了模糊的影响的两个摄影图像间全焦点图像S（u,v）共通，因此在理论上式4成立，能够基于式5计测被摄体距离。但是，在受到模糊的影响较大时，摄影图像的高频成分大量丢失，因此与共通的全焦点图像S（u,v）对应的摄影图像的频率信息仅保留了在以不同的聚焦状态摄影的摄影图像间几乎没有差异的低频成分。因此，在该情况下，认为也难以通过基于式5的DFD的处理来计测被摄体距离。
因此，根据上述特性，在第一图像以及第二图像的至少某一方中产生了规定的阈值以上的模糊时，判断为无法利用基于式5的方法计测被摄体距离，通过其他的方法计测被摄体距离。在此，说明为了判定在第一图像以及第二图像的至少某一方中产生了规定的阈值以上的模糊的区域而使用作为第一图像与第二图像之间的运动量的对象运动量的情况。本来，由于曝光时间中发生的被摄体的运动或摄影方向的变化而产生的模糊与摄影图像间的被摄体的位置偏差没有关系。但是，通过利用在短时间内被摄体的运动和摄影方向的变化大致等速的特性，在用于摄影第一图像或第二图像的曝光时间中发生的被摄体的运动或摄影方向的变化而导致的模糊较大的情况下，能够推测为第一图像与第二图像之间的对象运动量也较大。
如上所述，模糊区域判定部40基于该特性，在对象运动量大于规定的阈值时，判定为第一图像以及第二图像的至少某一方中产生了规定的大小以上的模糊。该判定针对摄影图像整体（摄影图像中设定的全部块区域）进行，由此得到以块区域为单位判定了是模糊区域还是非模糊区域的模糊区域判定结果。
接着，修正图像生成部20在从对象运动量推测部10接受到对象运动量，并从模糊区域判定部40接受到模糊区域判定结果时，基于接受的对象运动量，进行第二图像的运动补偿，生成修正图像（步骤S104）。其中，在本实施方式中，修正图像生成部20对判定为模糊区域的块区域不进行修正，仅针对判定为非模糊区域的块区域进行运动补偿。针对判定为非模糊区域的块区域的处理与实施方式1～实施方式3相同。
被摄体距离计测部30在从修正图像生成部20接受到修正图像，并从模糊区域判定部40接受到模糊区域判定结果时，基于第一图像与修正图像之间的虚化量的相关值，进行基于DFD的被摄体距离的计测（步骤S105）。其中，在本实施方式中，被摄体距离计测部30对判定为模糊区域的块区域不进行基于DFD的被摄体距离的计测，仅对判定为非模糊区域的块区域进行基于DFD的被摄体距离的计测。针对判定为非模糊区域的块区域的处理与实施方式1～实施方式3相同。因此，在判定为模糊区域的块区域中，在该时刻尚未得到被摄体距离。
被摄体距离补偿部50针对判定为模糊区域的块区域进行被摄体距离的补偿处理，求出与构成摄影图像的全部像素对应的被摄体距离（步骤S403）。
（被摄体距离的补偿处理1）
在此，使用模糊区域的周边的（与模糊区域相邻的）非模糊区域的被摄体距离进行插补，从而计算模糊区域的各像素的被摄体距离。利用图15说明该处理的概要。在图15中，以斜线表示表现摄影的图像整体的图像区域之中的判定为模糊区域的区域，以白色背景表示判定为非模糊区域的区域。另外，以圆点表示插补生成被摄体距离的模糊区域的关注像素，以菱形的点表示在该补偿处理1中参照被摄体距离的非模糊区域的参照像素。在本实施方式中，被摄体距离补偿部50针对插补生成被摄体距离的模糊区域内的关注像素，将从该关注像素向横向以及纵向引出直线时与非模糊区域相交的位置的像素作为参照像素来参照被摄体距离。由图15可知，参照像素是非模糊区域的像素。进而，根据从插补生成被摄体距离的关注像素引出到参照像素的直线的长度的倒数，计算对参照像素的被摄体距离加权后的平均值，由此推测关注像素的被摄体距离。被摄体距离补偿部50一边依次设定关注像素，一边进行该处理，针对模糊区域的全部像素插补生成被摄体距离。
根据上述方法，针对产生了模糊的模糊区域，能够分配与未产生模糊的周边区域相近的被摄体距离。在进行这种被摄体距离的补偿处理的情况下，不会分配与周边区域不连续的被摄体距离。因此，例如在将生成的被摄体距离用于三维图像的生成时，能够避免看上去不舒服的影像。
（被摄体距离的补偿处理2）
其中，作为被摄体距离补偿部50进行的被摄体距离的补偿处理的其他例，有以下处理：针对作为补偿处理的对象的像素，使用前一个求出的第二图像的被摄体距离，利用对象运动量修正该被摄体距离。
在此，在运动图像的情况下，按照摄影的顺序进行摄影图像的计测处理。即，在计测与当前的第一图像对应的被摄体距离之前，进行第二图像的计测处理。具体而言，基于第二图像与第三图像之间的对象运动量，在对第三图像进行运动补偿而得到的修正图像与第二图像之间，基于虚化量的相关值来计测第二图像中的被摄体距离。因此，对于通过计测与作为过去帧的第二图像对应的被摄体距离而求出的被摄体距离，使用作为第一图像与第二图像之间的运动量的对象运动量，对第二图像的被摄体距离进行运动补偿，由此能够推测与第一图像对应的被摄体距离。针对第一图像的模糊区域，也可以使用像这样对在第二图像中计测的被摄体距离进行运动补偿而生成的被摄体距离。
根据上述方法，在由于产生了模糊而难以基于虚化量的相关值来计测被摄体距离的区域中，能够基于过去帧的计测结果生成被摄体距离，因此能够稳定地生成高精度的被摄体距离。
其中，在上述被摄体距离的补偿处理1以及被摄体距离的补偿处理2中，都可以不仅对非模糊区域，而且对图像整体进行修正图像的生成、基于虚化量的相关值的被摄体距离的计测。在该情况下，由于还计测最终不使用的被摄体距离，因此包括冗余的运算。但是，在LSI（Large ScaleIntegration）等中与，根据特定的条件使处理分支相比，针对图像整体均匀地进行修正图像的生成或基于虚化量的相关值的被摄体距离的计测，能够在得到模糊区域判定结果之前进行这些处理，因此有可能减少延迟。在该情况下，在包括模糊区域的图像整体中，进行修正图像的生成、以及基于虚化量的相关值的被摄体距离的计测之后，针对判定为模糊区域的区域的被摄体距离，利用由被摄体距离补偿部50生成的被摄体距离进行覆盖即可。像这样，作为被摄体距离也能够得到相同的结果。
（实施方式5）
基于图16～图18说明本发明的实施方式5的图像处理装置。
其中，本实施方式的图像处理装置与实施方式1～实施方式4的图像处理装置100的不同点在于，不进行被摄体距离的计测，而是进行HDR图像的生成。
本实施方式的图像处理装置是根据以多个摄影状态摄影的多个摄影图像来生成HDR图像的装置，以搭载于能够摄影运动图像的摄像装置（例如监视摄像机等）的情况为例进行说明。因此，在本实施方式中，以摄影状态为过度曝光以及曝光不足这两个曝光状态的情况为例进行说明。
另外，本实施方式的摄像装置在后面详述，构成为在运动图像的摄影中，以一定的时间间隔交替切换过度曝光（在本实施方式中相当于第一摄影状态）和曝光不足（在本实施方式中相当于第二摄影状态）来进行摄影。本实施方式的摄像装置将以过度曝光摄影的过度曝光图像和以曝光不足摄影的曝光不足图像交替输出至本实施方式的图像处理装置。其中，本实施方式的图像处理装置在本实施方式中以搭载于摄像装置的情况为例进行说明，但也可以搭载于能够摄像运动图像的其他设备，还可以设于能够从摄像装置取得摄影图像的其他装置。
（实施方式5中的图像处理装置的结构）
首先，参照图16说明实施方式5中的图像处理装置300的结构。图16是表示图像处理装置300的结构例的框图。其中，对本实施方式的图像处理装置的结构之中的与实施方式1的图像处理装置100共通的模块赋予相同的标记，并省略说明。
图像处理装置300是将以过度曝光以及曝光不足摄影的摄影图像合成来生成HDR图像的图像处理装置，如图16所示，具备对象运动量推测部10、修正图像生成部20以及HDR图像生成部60。其中，对象运动量推测部10以及修正图像生成部20的结构以与实施方式1相同的情况为例进行说明，但也可以与实施方式2或者实施方式3相同。
图像处理装置300构成为从摄像装置交替连续地取得以过度曝光摄影的过度曝光图像和以曝光不足摄影的曝光不足图像。另外，将用于生成HDR图像的2个过度曝光图像以及曝光不足图像之中的过度曝光图像作为第一图像，将第一图像的紧之前摄影的曝光不足图像作为第二图像，将第二图像的紧之前摄影的过度曝光图像作为第三图像进行说明。第一图像与第三图像的曝光状态相同。另外，以下为了便于说明，以将规定的过度曝光图像作为第一图像的情况为例进行说明，但是将曝光不足图像作为第一图像，也能够利用相同的方法生成HDR图像。
对象运动量推测部10与实施方式1～实施方式4相同，将第一图像（在本实施方式中为过度曝光图像）与第二图像（在本实施方式中为曝光不足图像）之间产生的被摄体的位置偏差量作为对象运动量来推测，并输出至修正图像生成部20。
修正图像生成部20与实施方式1～实施方式4相同，基于对象运动量进行针对第二图像的运动补偿，生成与第一图像之间没有被摄体的位置偏差的修正图像，并输出至被摄体距离计测部30。
HDR图像生成部60将第一图像与修正图像合成，来生成HDR图像
（实施方式5中的图像处理方法的处理步骤）
接着，利用图17及图18说明在本发明的实施方式5的图像处理装置中计测被摄体距离的情况下的处理的流程（图像处理方法的处理步骤）。图17是表示本实施方式中的图像处理方法的处理步骤的流程图，图18是表示本实施方式中的摄影图像、对象运动量与第一运动量的关系的说明图。其中，对图17所示的处理的流程之中的与图3所示的实施方式1的处理的流程、图7所示的实施方式2的处理的流程、图10所示的实施方式3的处理的流程、以及图14所示的实施方式4的处理的流程共通的处理赋予相同的标记，并省略说明。
首先，在图19所示的视频摄像机200（摄像装置）中，以多个曝光状态摄影图像，并向图像处理装置100输出（步骤S501）。
本实施方式的视频摄像机200如图18所示，交替连续地重复进行过度曝光的摄影和曝光不足的摄影，将摄影的过度曝光图像和曝光不足图像输出至图像处理装置100。过度曝光与曝光不足的切换，具体而言，例如通过减光滤波器的开启（ON）/关闭（OFF），以长曝光与短曝光切换曝光时间，或者切换光圈的开闭来进行。其中，过度曝光的摄影图像虽然再现了暗的部分，但明亮的部分过白，与此相对，曝光不足的摄影图像抑制了明亮的部分的过白，但暗的部分未被再现。
另外，如上所述，将以过度曝光摄影的过度曝光图像之中的1个图像作为进行HDR图像的生成的第一图像，将其前面的1个以曝光不足摄影的曝光不足图像作为第二图像，将其再前1个以过度曝光摄影的过度曝光图像作为第三图像。其中，本步骤S501不是本发明的必须步骤，作为构成更加优选的方式的要素进行说明。图像处理装置100构成为能够取得多个摄影状态的摄影图像即可。另外，以下说明的步骤S102～步骤S104、S502的处理可以与视频摄像机200的摄影并行执行，也可以在摄影后执行。
图像处理装置100在生成HDR图像时，首先，如图17所示，通过对象运动量推测部10，求出第一图像与第三图像之间的第一运动量（步骤S102），使用第一运动量来推测第一图像与第二图像之间的对象运动量（步骤S103）。该处理在本实施方式中，与实施方式1（参照图3）相同。其中，也可以取代该步骤S102以及步骤S103，执行实施方式2中的步骤S102、步骤S201以及步骤S202（参照图7），或者执行实施方式3中的步骤S102、步骤S201、步骤S301以及步骤S302（参照图10）。
接着，修正图像生成部20在从对象运动量推测部10接受到对象运动量时，基于接受的对象运动量，进行第二图像的运动补偿，生成修正图像（步骤S104）。该处理在本实施方式中与实施方式1（参照图3）相同。
接着，HDR图像生成部60在从修正图像生成部20接受到修正图像时，将第一图像与修正图像合成，生成动态范围较大的合成图像（步骤S502）。HDR图像的生成方法可以使用以往的方法。例如，根据第一图像以及修正图像，将更接近于适当曝光的区域组合，由此生成HDR图像。另外，例如也可以将第一图像的合成对象像素的像素值与第一加权计数相乘而得到的值和修正图像的合成对象像素的像素值与第二加权计数相乘而得到的值相加，作为修正图像的像素。在该情况下，例如，针对亮度为一定以上的区域以及亮度为一定以下的区域，将加权系数的值设定得较低，针对亮度接近于中央值的区域，将加权系数的值设定得较大。
另外，例如在步骤S501的摄影图像（在此为运动图像）的摄影中，在以长曝光和短曝光切换曝光时间的情况下等，有时会产生模糊。在该情况下，也可以设置模糊区域判定部40，针对判定为模糊区域的区域，根据未产生模糊的图像，生成该区域的图像等。
根据上述方法，在使用曝光状态不同的第一图像和第二图像生成HDR图像时，使用通过块匹配法以高精度求出的第一图像与第三图像之间的第一运动量，从而能够以高精度推测第一图像与第二图像之间的运动量。
其中，在以减光滤波器的开启/关闭来进行过度曝光与曝光不足的切换的情况下，在第一图像与第二图像之间，明亮度（S/N比）不同。另外，在以曝光时间的切换来进行过度曝光与曝光不足的切换的情况下，在第一图像与第二图像之间，不仅明亮度（S/N比）不同，被摄体运动的区域的模糊量也不同。进而，在通过光圈的开闭的切换来进行过度曝光与曝光不足的切换的情况下，在第一图像与第二图像之间，不仅明亮度（S/N比）不同，景深也不同。在任一情况下，在第一图像与第三图像之间，明亮度（S/N比）、模糊量、景深都大致相同，因此能够以高精度求出第一运动量。
通过使用以高精度推测的推测运动量，能够消除第一图像与修正图像之间的位置偏差，或者减小为能够良好进行HDR图像的生成的程度，能够更好地进行HDR图像的生成。
（变形例）
（1）在上述实施方式1～实施方式5中，说明了运动图像的情况，但在静止图像的情况下，通过摄影第一图像、第二图像以及第三图像这3个图像，也能够适用。其中，在实施方式4中，模糊区域的各像素的被摄体距离的插补通过使用被摄体距离的补偿处理1，能够对应于静止图像。
（2）在上述实施方式1～实施方式5中，说明了使用以两个摄影状态摄影的第一图像以及第二图像这两个摄影图像进行图像处理的情况，但也可以构成为使用以3个以上的摄影状态摄影的3个以上的摄影图像进行图像处理。
例如，在进行被摄体距离的计测的情况（实施方式1～实施方式4的情况）下，从近景聚焦（例如最近）到远景聚焦（例如无限远），取得以多阶段改变聚焦状态而摄影的摄影图像。在该情况下，将聚焦状态相同的2个摄影图像作为第一图像以及第三图像，将在该2个摄影图像之间摄影的任意的摄影图像作为第二图像即可。
具体而言，例如，将1个近景聚焦的摄影图像作为第一图像，将第一图像之前以近景聚焦摄影的1个摄影图像作为第三图像，将第一图像与第三图像之间摄影的多个摄影图像作为第二图像。
然后，针对各个第二图像求出对象运动量。在该情况下，用于生成插补图像的对象运动量与摄影时间间隔不是等间隔的情况相同（参照实施方式1的步骤S103），能够按照摄影时间间隔的比率对第一运动量的大小进行修正而求出。
进而，针对各个第二图像，使用相对应的对象运动量，生成与第一图像之间没有被摄体的位置偏差的修正图像。由此，能够取得与第一图像之间没有位置偏差的多个第二图像。最后，使用第一图像和多个修正图像，进行被摄体距离的计测。
通过这样构成，能够以更高精度进行被摄体距离的计测。
另外，例如，在进行HDR图像的生成的情况（实施方式5的情况）下，从过度曝光到曝光不足为止，取得以多阶段改变曝光状态而摄影的摄影图像。在该情况下，将曝光状态相同的2个摄影图像作为第一图像及第三图像，将该2个摄影图像之间摄影的任意的摄影图像作为第二图像即可。
具体而言，例如将1个过度曝光图像作为第一图像，将接着第一图像之后摄影的1个过度曝光图像作为第三图像，将第一图像与第三图像之间摄影的多个摄影图像作为第二图像。
然后，针对各个第二图像求出对象运动量。在该情况下，用于生成插补图像的对象运动量与摄影时间间隔不是等间隔的情况相同（参照实施方式1的步骤S103），能够按照摄影时间间隔的比率对第一运动量的大小进行修正来求出。
进而，针对各个第二图像使用相对应的对象运动量，生成与第一图像之间没有被摄体的位置偏差的修正图像。由此，能够取得与第一图像之间没有位置偏差的多个第二图像。最后，使用第一图像和多个修正图像进行HDR图像的生成。
通过这样构成，能够生成画质更高的HDR图像。
（3）其中，在上述实施方式中，框图（图1、图2、图6、图9、图13、图16）的各功能模块典型地由作为集成电路的LSI实现。它们既可以个别单芯片化，也可以以包括一部分或者全部的方式单芯片化。在此设为LSI，但根据集成度的差异，也有时称为IC、系统LSI、超大规模LSI、特大规模LSI。
另外，集成电路化的方法不限于LSI，也可以由专用电路或者通用处理器实现。也可以利用在LSI制造后可编程的FPGA（Field Programmable GateArray）、或者可重构LSI内部的电路单元的连接和设定的可重构处理器。
进而，如果由于半导体技术的进步或者派生的其他技术而出现了替代LSI的集成电路化的技术，当然也可以利用该技术来进行功能模块的集成化。存在适用生物技术等可能性。
另外，在上述实施方式中，各结构要素既可以由专用的硬件构成，或者，作为可以由软件实现的结构要素，也可以通过执行程序来实现。
以上，参照附图说明了本发明的实施方式，但本发明不限定于此。针对上述的实施方式，在与本发明相同的范围或均等的范围内，能够进行多种变形、追加、变更。
工业实用性
本发明的图像处理装置及图像处理方法在使用以多个摄影状态摄影的多个摄影图像进行图像处理的情况下，即使产生了被摄体的位置偏差，也能够更加稳定地以高精度进行图像处理。
这些结构例如在民用或商用的摄像装置（数码静止相机、视频摄像机）等领域中是有用的。
标记说明
10、10A、10B、10C 对象运动量推测部
11A  第一运动量推测部
11B  第二运动量推测部
11C  第三运动量推测部
12A、12B、12C 运动量决定部
20   修正图像生成部
30   被摄体距离计测部
40   模糊区域判定部
50   被摄体距离补偿部
60   HDR图像生成部
100、300 图像处理装置
200  视频摄像机

Claims (12)

1.一种图像处理装置，根据以多个聚焦状态对同一被摄体进行摄影而得到的多个摄影图像，计测被摄体距离，该图像处理装置具备：
对象运动量推测部，推测对象运动量，该对象运动量表示所述多个摄影图像之中的以第一聚焦状态摄影的第一图像与以不同于所述第一聚焦状态的第二聚焦状态摄影的第二图像之间的所述被摄体的位置偏差量；
修正图像生成部，基于所述对象运动量，生成对所述第二图像进行运动补偿而得到的修正图像；以及
被摄体距离计测部，基于所述第一图像与所述修正图像之间的虚化量的相关值，计测所述第一图像中的所述被摄体距离。
2.如权利要求1所述的图像处理装置，
所述图像处理装置接受所述第一图像、在不同于所述第一图像的定时以所述第一聚焦状态摄影的第三图像、以及在所述第一图像与所述第三图像之间摄影的所述第二图像；
所述对象运动量推测部具有：
第一运动量推测部，推测第一运动量，该第一运动量表示所述第一图像与所述第三图像之间的被摄体的位置偏差量；以及
对象运动量决定部，使用所述第一运动量来推测所述对象运动量。
3.如权利要求2所述的图像处理装置，
所述对象运动量决定部用所述第一运动量的大小乘以所述第一图像与所述第二图像之间的摄影时间间隔相对于所述第一图像与所述第三图像之间的摄影时间间隔的比率，来求出所述对象运动量的大小，由此推测所述对象运动量。
4.如权利要求2所述的图像处理装置，
所述对象运动量推测部还具有第二运动量推测部，该第二运动量推测部推测表示所述第一图像与所述第二图像之间的位置偏差量的第二运动量；
所述对象运动量决定部使用所述第一运动量和所述第二运动量来推测所述对象运动量。
5.如权利要求4所述的图像处理装置，
所述对象运动量决定部基于构成所述第二图像的像素之中的所述对象运动量的计算对象像素与对应于所述计算对象像素的所述第一图像上的像素之间的像素值的差，判定所述第二运动量的精度，在判定为所述第二运动量的精度高于阈值的情况下，将所述第二运动量推测为所述对象运动量，在判定为所述第二运动量的精度低于所述阈值的情况下，使用所述第一运动量来推测所述对象运动量。
6.如权利要求4所述的图像处理装置，
所述对象运动量推测部还具有第三运动量推测部，该第三运动量推测部推测表示所述第二图像与所述第三图像之间的位置偏差量的第三运动量；
所述对象运动量决定部除了所述第一运动量和所述第二运动量，还使用所述第三运动量来推测所述对象运动量。
7.如权利要求6所述的图像处理装置，
所述对象运动量决定部在所述第二运动量与所述第三运动量的合计等于所述第一运动量的情况下，将所述第二运动量推测为所述对象运动量；
在所述第二运动量与所述第三运动量的合计不等于所述第一运动量的情况下，基于作为所述对象运动量的计算对象的所述第二图像的像素与相对应的所述第一图像上的像素之间的像素值的差，判定所述第二运动量的精度，基于作为所述对象运动量的计算对象的所述第二图像的像素与相对应的所述第三图像上的像素之间的像素值的差，判定所述第三运动量的精度，在判定为所述第二运动量的精度高于阈值时，将所述第二运动量推测为所述对象运动量，在判定为所述第二运动量的精度低于所述阈值时，将从所述第一运动量中减去所述第三运动量而得到的运动量推测为所述对象运动量。
8.如权利要求1至7中任一项所述的图像处理装置，具备：
模糊区域判定部，基于所述对象运动量，将产生了模糊的区域判定为模糊区域；以及
被摄体距离补偿部，针对构成所述模糊区域的各个像素，使用所述第一图像的未产生所述模糊的区域即非模糊区域的所述被摄体距离、或者预先求出了所述被摄体距离的其他摄影图像的所述被摄体距离，计测所述第一图像的所述被摄体距离；
所述被摄体距离计测部针对构成所述非模糊区域的各个像素，基于所述第一图像与所述修正图像之间的虚化量的相关值，求出所述被摄体距离。
9.一种图像处理装置，使用以多个摄影状态对同一被摄体进行摄影而得到的多个摄影图像，进行图像处理，该图像处理装置具备：
对象运动量推测部，推测对象运动量，该对象运动量表示所述多个摄影图像之中的以第一摄影状态摄影的第一图像与以不同于所述第一摄影状态的第二摄影状态摄影的第二图像之间的所述被摄体的位置偏差量；
修正图像生成部，基于所述对象运动量，生成对所述第二图像进行运动补偿而得到的修正图像；以及
图像处理部，使用所述第一图像和所述修正图像进行图像处理。
10.如权利要求9所述的图像处理装置。
所述图像处理装置接受以第一曝光状态摄影的所述第一图像、以及以第二曝光状态摄影的所述第二图像；
所述图像处理部作为所述图像处理而进行以下处理：将所述第一图像与所述修正图像合成，生成动态范围大的合成图像。
11.一种图像处理方法，根据以多个聚焦状态对同一被摄体进行摄影而得到的多个摄影图像，计测被摄体距离，包括：
对象运动量推测步骤，推测对象运动量，该对象运动量表示所述多个摄影图像之中的以第一聚焦状态摄影的第一图像与以不同于所述第一聚焦状态的第二聚焦状态摄影的第二图像之间的所述被摄体的位置偏差量；
修正图像生成步骤，基于所述对象运动量，生成对所述第二图像进行运动补偿而得到的修正图像；以及
被摄体距离计测步骤，基于所述第一图像与所述修正图像之间的虚化量的相关值，计测所述第一图像中的所述被摄体距离。
12.一种图像处理方法，使用以多个摄影状态对同一被摄体进行摄影而得到的多个摄影图像，进行图像处理，包括：
对象运动量推测步骤，推测对象运动量，该对象运动量表示所述多个摄影图像之中的以第一摄影状态摄影的第一图像与以不同于所述第一摄影状态的第二摄影状态摄影的第二图像之间的所述被摄体的位置偏差量；
修正图像生成步骤，基于所述对象运动量，生成对所述第二图像进行运动补偿而得到的修正图像；以及
图像处理步骤，使用所述第一图像和所述修正图像进行图像处理。
CN201280002102.6A 2011-05-27 2012-05-24 图像处理装置及图像处理方法 Active CN103026171B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-119049 2011-05-27
JP2011119049 2011-05-27
PCT/JP2012/003398 WO2012164881A1 (ja) 2011-05-27 2012-05-24 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
CN103026171A true CN103026171A (zh) 2013-04-03
CN103026171B CN103026171B (zh) 2016-03-16

Family

ID=47258758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280002102.6A Active CN103026171B (zh) 2011-05-27 2012-05-24 图像处理装置及图像处理方法

Country Status (5)

Country Link
US (1) US9068831B2 (zh)
EP (2) EP2717012B1 (zh)
JP (1) JP5934929B2 (zh)
CN (1) CN103026171B (zh)
WO (1) WO2012164881A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104913762A (zh) * 2014-03-10 2015-09-16 福特全球技术公司 用于估计行驶中的车辆和对象之间的距离的方法和装置
CN105258673A (zh) * 2015-11-02 2016-01-20 南京航空航天大学 一种基于双目合成孔径聚焦图像的目标测距方法、装置
CN106289157A (zh) * 2015-06-12 2017-01-04 联想(北京)有限公司 一种信息处理方法及电子设备
CN106469431A (zh) * 2015-08-20 2017-03-01 株式会社东芝 图像处理装置和摄影装置
CN107408302A (zh) * 2015-03-02 2017-11-28 三菱电机株式会社 图像处理装置、图像处理方法和程序
WO2018209603A1 (zh) * 2017-05-17 2018-11-22 深圳配天智能技术研究院有限公司 图像处理方法、图像处理设备及存储介质

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012060434A (ja) * 2010-09-09 2012-03-22 Fuji Xerox Co Ltd 画素補間装置、画像読取装置、及び画素補間プログラム
JP5587930B2 (ja) * 2012-03-09 2014-09-10 日立オートモティブシステムズ株式会社 距離算出装置及び距離算出方法
WO2014171051A1 (ja) * 2013-04-15 2014-10-23 パナソニック株式会社 距離測定装置、及び、距離測定方法
KR102126355B1 (ko) * 2013-06-04 2020-06-25 삼성전자주식회사 방사선 촬영 장치 및 방사선 영상 생성 방법
US20150009355A1 (en) * 2013-07-05 2015-01-08 Himax Imaging Limited Motion adaptive cmos imaging system
US10136063B2 (en) * 2013-07-12 2018-11-20 Hanwha Aerospace Co., Ltd Image stabilizing method and apparatus
JP2015036632A (ja) * 2013-08-12 2015-02-23 キヤノン株式会社 距離計測装置、撮像装置、距離計測方法
JP6329557B2 (ja) * 2013-10-08 2018-05-23 オリンパス株式会社 撮像装置及び電子機器
JP6270413B2 (ja) * 2013-10-29 2018-01-31 キヤノン株式会社 画像処理装置、撮像装置、および画像処理方法
US20150116525A1 (en) * 2013-10-31 2015-04-30 Himax Imaging Limited Method for generating high dynamic range images
AU2013273843A1 (en) * 2013-12-23 2015-07-09 Canon Kabushiki Kaisha Motion blur compensation for depth from defocus
JP6136019B2 (ja) * 2014-02-03 2017-05-31 パナソニックＩｐマネジメント株式会社 動画像撮影装置、および、動画像撮影装置の合焦方法
JP6362068B2 (ja) * 2014-02-17 2018-07-25 キヤノン株式会社 距離計測装置、撮像装置、距離計測方法、およびプログラム
JP6432038B2 (ja) * 2014-03-19 2018-12-05 パナソニックＩｐマネジメント株式会社 撮像装置
JP6395429B2 (ja) * 2014-04-18 2018-09-26 キヤノン株式会社 画像処理装置、その制御方法及び記憶媒体
JP6317635B2 (ja) * 2014-06-30 2018-04-25 株式会社東芝 画像処理装置、画像処理方法及び画像処理プログラム
FR3028611A1 (fr) * 2014-11-13 2016-05-20 Valeo Schalter & Sensoren Gmbh Dispositif et procede de determination de positions de points dans un environnement tridimensionnel, dispositif de detection d'obstacles et vehicule equipe d'un tel dispositif
JP6399517B2 (ja) * 2014-12-16 2018-10-03 東洋ゴム工業株式会社 流体計測方法、流体計測装置、流体計測用データ生成方法、流体計測用データ生成装置、及びコンピュータプログラム
US20160232672A1 (en) * 2015-02-06 2016-08-11 Qualcomm Incorporated Detecting motion regions in a scene using ambient-flash-ambient images
US9684970B2 (en) * 2015-02-27 2017-06-20 Qualcomm Incorporated Fast adaptive estimation of motion blur for coherent rendering
JP2016170522A (ja) * 2015-03-11 2016-09-23 株式会社東芝 移動体検出装置
AU2015202286A1 (en) 2015-05-01 2016-11-17 Canon Kabushiki Kaisha Method, system and apparatus for determining distance to an object in a scene
US10091436B2 (en) * 2015-05-13 2018-10-02 Samsung Electronics Co., Ltd. Electronic device for processing image and method for controlling the same
US10834309B2 (en) * 2017-11-16 2020-11-10 Canon Kabushiki Kaisha Lens control apparatus and control method for tracking moving object
CN107945112B (zh) * 2017-11-17 2020-12-08 浙江大华技术股份有限公司 一种全景图像拼接方法及装置
US10594940B1 (en) * 2018-01-12 2020-03-17 Vulcan Inc. Reduction of temporal and spatial jitter in high-precision motion quantification systems
CN109688322B (zh) * 2018-11-26 2021-04-02 维沃移动通信（杭州）有限公司 一种生成高动态范围图像的方法、装置及移动终端
US11044404B1 (en) 2018-11-28 2021-06-22 Vulcan Inc. High-precision detection of homogeneous object activity in a sequence of images
US10872400B1 (en) 2018-11-28 2020-12-22 Vulcan Inc. Spectral selection and transformation of image frames
EP3820138A1 (en) * 2019-11-06 2021-05-12 Koninklijke Philips N.V. A system for performing image motion compensation
US20230034727A1 (en) * 2021-07-29 2023-02-02 Rakuten Group, Inc. Blur-robust image segmentation
DE102022117726A1 (de) 2022-07-15 2024-01-18 Carl Zeiss Industrielle Messtechnik Gmbh Koordinatenmessgerät, Verfahren und Computerprogrammprodukt

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020154240A1 (en) * 2001-03-30 2002-10-24 Keiji Tamai Imaging position detecting device and program therefor
US6801248B1 (en) * 1998-07-24 2004-10-05 Olympus Corporation Image pick-up device and record medium having recorded thereon computer readable program for controlling the image pick-up device
JP2007036743A (ja) * 2005-07-27 2007-02-08 Matsushita Electric Works Ltd 複数画像合成方法及び撮像装置

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4065778A (en) * 1976-06-17 1977-12-27 Eastman Kodak Company Automatic rangefinder and focusing apparatus
JPH07109625B2 (ja) * 1985-04-17 1995-11-22 株式会社日立製作所 三次元立体視方法
DE3905619C2 (de) * 1988-02-23 2000-04-13 Olympus Optical Co Bildeingabe-/Ausgabevorrichtung
JP3218730B2 (ja) * 1992-10-19 2001-10-15 株式会社ニコン 予測機能を有する焦点調節装置
US5539493A (en) * 1992-12-15 1996-07-23 Nikon Corporation Autofocus camera
JP3450449B2 (ja) * 1994-07-18 2003-09-22 キヤノン株式会社 撮像装置およびその撮像方法
JP3697745B2 (ja) * 1995-06-30 2005-09-21 ソニー株式会社 オートフォーカス制御装置及び方法
JPH10311945A (ja) * 1997-05-12 1998-11-24 Canon Inc 焦点検出装置
JP4622120B2 (ja) * 2001-03-06 2011-02-02 ソニー株式会社 画像処理装置及び方法、記憶媒体、コンピュータ・プログラム
JP2003066321A (ja) * 2001-08-29 2003-03-05 Mega Chips Corp Ａｆ制御装置およびａｆ制御方法
JP3866957B2 (ja) 2001-10-23 2007-01-10 オリンパス株式会社 画像合成装置
JP2004240054A (ja) * 2003-02-04 2004-08-26 Olympus Corp カメラ
WO2006121088A1 (ja) * 2005-05-10 2006-11-16 Olympus Corporation 画像処理装置、画像処理方法および画像処理プログラム
US7538813B2 (en) * 2005-05-11 2009-05-26 Sony Ericsson Mobile Communications Ab Digital cameras with triangulation autofocus systems and related methods
EP1887382A1 (en) * 2005-05-19 2008-02-13 Olympus Corporation Distance measuring apparatus, distance measuring method and distance measuring program
US7912337B2 (en) * 2005-11-02 2011-03-22 Apple Inc. Spatial and temporal alignment of video sequences
US7903168B2 (en) * 2006-04-06 2011-03-08 Eastman Kodak Company Camera and method with additional evaluation image capture based on scene brightness changes
JP4806329B2 (ja) * 2006-10-23 2011-11-02 三洋電機株式会社 撮像装置及び撮像方法
DE102006055908A1 (de) * 2006-11-27 2008-05-29 Adc Automotive Distance Control Systems Gmbh Verfahren zur automatischen Fernlichtsteuerung
US8390733B2 (en) * 2007-02-15 2013-03-05 Panasonic Corporation Imaging device with interchangeable lens and camera body for imaging device
JP2009159092A (ja) 2007-12-25 2009-07-16 Canon Inc 撮像装置及びその制御方法
US8098957B2 (en) * 2008-02-13 2012-01-17 Qualcomm Incorporated Shared block comparison architechture for image registration and video coding
KR20100013171A (ko) * 2008-07-30 2010-02-09 삼성디지털이미징 주식회사 오토 포커스 영역의 움직임 보상 방법 및 장치, 이를이용한 오토 포커스 방법 및 장치
JP5294805B2 (ja) * 2008-11-05 2013-09-18 キヤノン株式会社 撮影システム及びレンズ装置
US8339475B2 (en) * 2008-12-19 2012-12-25 Qualcomm Incorporated High dynamic range image combining
JP5199907B2 (ja) * 2009-02-03 2013-05-15 パナソニック株式会社 画像処理方法および画像処理装置
JP5206494B2 (ja) * 2009-02-27 2013-06-12 株式会社リコー 撮像装置、画像表示装置と、撮像方法及び画像表示方法並びに合焦領域枠の位置補正方法
JP5430292B2 (ja) 2009-03-26 2014-02-26 京セラ株式会社 被写体距離計測装置
US8390698B2 (en) * 2009-04-08 2013-03-05 Panasonic Corporation Image capturing apparatus, reproduction apparatus, image capturing method, and reproduction method
US8482622B2 (en) * 2009-08-27 2013-07-09 Sony Corporation Method, system and computer program product for reducing motion blur
JP5829018B2 (ja) * 2010-11-22 2015-12-09 オリンパス株式会社 撮像装置
JP5867996B2 (ja) * 2010-12-27 2016-02-24 キヤノン株式会社 焦点検出装置及びそれを有する撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6801248B1 (en) * 1998-07-24 2004-10-05 Olympus Corporation Image pick-up device and record medium having recorded thereon computer readable program for controlling the image pick-up device
US20020154240A1 (en) * 2001-03-30 2002-10-24 Keiji Tamai Imaging position detecting device and program therefor
JP2007036743A (ja) * 2005-07-27 2007-02-08 Matsushita Electric Works Ltd 複数画像合成方法及び撮像装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104913762A (zh) * 2014-03-10 2015-09-16 福特全球技术公司 用于估计行驶中的车辆和对象之间的距离的方法和装置
CN104913762B (zh) * 2014-03-10 2020-02-18 福特全球技术公司 用于估计行驶中的车辆和对象之间的距离的方法和装置
CN107408302A (zh) * 2015-03-02 2017-11-28 三菱电机株式会社 图像处理装置、图像处理方法和程序
CN107408302B (zh) * 2015-03-02 2020-09-01 三菱电机株式会社 图像处理装置和图像处理方法
CN106289157A (zh) * 2015-06-12 2017-01-04 联想(北京)有限公司 一种信息处理方法及电子设备
CN106289157B (zh) * 2015-06-12 2019-10-29 联想(北京)有限公司 一种信息处理方法及电子设备
CN106469431A (zh) * 2015-08-20 2017-03-01 株式会社东芝 图像处理装置和摄影装置
CN105258673A (zh) * 2015-11-02 2016-01-20 南京航空航天大学 一种基于双目合成孔径聚焦图像的目标测距方法、装置
CN105258673B (zh) * 2015-11-02 2017-05-31 南京航空航天大学 一种基于双目合成孔径聚焦图像的目标测距方法、装置
WO2018209603A1 (zh) * 2017-05-17 2018-11-22 深圳配天智能技术研究院有限公司 图像处理方法、图像处理设备及存储介质
CN109314776A (zh) * 2017-05-17 2019-02-05 深圳配天智能技术研究院有限公司 图像处理方法、图像处理设备及存储介质

Also Published As

Publication number Publication date
EP2717012B1 (en) 2016-07-27
CN103026171B (zh) 2016-03-16
EP3101387A1 (en) 2016-12-07
US9068831B2 (en) 2015-06-30
WO2012164881A1 (ja) 2012-12-06
EP2717012A4 (en) 2015-06-24
EP2717012A1 (en) 2014-04-09
JPWO2012164881A1 (ja) 2015-02-23
EP3101387B1 (en) 2018-09-12
JP5934929B2 (ja) 2016-06-15
US20130121537A1 (en) 2013-05-16

Similar Documents

Publication Publication Date Title
CN103026171B (zh) 图像处理装置及图像处理方法
US10755428B2 (en) Apparatuses and methods for machine vision system including creation of a point cloud model and/or three dimensional model
Gehrig et al. Combining events and frames using recurrent asynchronous multimodal networks for monocular depth prediction
US5030984A (en) Method and associated apparatus for minimizing the effects of motion in the recording of an image
US11373325B1 (en) Machine-trained network for misalignment-insensitive depth perception
CN102143321B (zh) 摄影装置及控制方法
CN104104882B (zh) 图像闪烁检测方法及装置、图像捕获设备
TWI393980B (zh) The method of calculating the depth of field and its method and the method of calculating the blurred state of the image
US20070189750A1 (en) Method of and apparatus for simultaneously capturing and generating multiple blurred images
US20110193941A1 (en) Image processing apparatus, imaging apparatus, image processing method, and program
US20190080464A1 (en) Stereo matching method and apparatus
US20210144357A1 (en) Method and apparatus with depth image generation
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
JP3990271B2 (ja) 簡易ステレオ画像入力装置、方法、プログラム、および記録媒体
CN111507132A (zh) 一种定位方法、装置及设备
US20200182984A1 (en) Apparatuses and Methods for Determining Depth Motion Relative to a Time-of-Flight Camera in a Scene Sensed by the Time-of-Flight Camera
CN112215879B (zh) 一种光场极平面图像的深度提取方法
JP2023019521A (ja) 学習方法、プログラム及び画像処理装置
JP7191711B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2018133064A (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
Coman et al. Application of distance measuring with Matlab/Simulink
CN115086628B (zh) 学习方法及图像处理装置
US20230107489A1 (en) Multipass interference correction and material recognition based on patterned illumination without frame rate loss
US11800223B2 (en) Focus adjustment device and focus adjustment method
JP2023035903A (ja) 深度推定方法、深度推定装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20160411

Address after: Osaka Japan

Patentee after: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

Address before: Osaka Japan

Patentee before: Matsushita Electric Industrial Co.,Ltd.

TR01 Transfer of patent right

Effective date of registration: 20220712

Address after: Room 01, 6 / F, Mituo Road, 45 Singapore

Patentee after: Bingxi FUCE Private Ltd.

Address before: Osaka, Japan

Patentee before: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

TR01 Transfer of patent right