JP2015034732A5 - 距離検出装置、撮像装置および距離検出方法 - Google Patents

距離検出装置、撮像装置および距離検出方法 Download PDF

Info

Publication number
JP2015034732A5
JP2015034732A5 JP2013165119A JP2013165119A JP2015034732A5 JP 2015034732 A5 JP2015034732 A5 JP 2015034732A5 JP 2013165119 A JP2013165119 A JP 2013165119A JP 2013165119 A JP2013165119 A JP 2013165119A JP 2015034732 A5 JP2015034732 A5 JP 2015034732A5
Authority
JP
Japan
Prior art keywords
distance
image
frequency component
value
dependent value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013165119A
Other languages
English (en)
Other versions
JP6292790B2 (ja
JP2015034732A (ja
Filing date
Publication date
Application filed filed Critical
Priority to JP2013165119A priority Critical patent/JP6292790B2/ja
Priority claimed from JP2013165119A external-priority patent/JP6292790B2/ja
Priority to US14/446,414 priority patent/US9299151B2/en
Publication of JP2015034732A publication Critical patent/JP2015034732A/ja
Priority to US15/012,197 priority patent/US9846944B2/en
Publication of JP2015034732A5 publication Critical patent/JP2015034732A5/ja
Application granted granted Critical
Publication of JP6292790B2 publication Critical patent/JP6292790B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明の第一の態様は、異なる撮影パラメータを用いて撮影されたぼけが異なる第1画像と第2画像から被写体の距離情報を検出する距離検出装置であって、前記第1画像および前記第2画像のそれぞれから、周波数成分を抽出する抽出手段と、前記抽出手段が抽出
した周波数成分から前記距離情報を取得する距離取得手段と、を備え、前記抽出手段は、前記第1画像および前記第2画像のそれぞれから、第1周波数帯の成分である第1周波数成分と、前記第1周波数帯よりも低い第2周波数帯の成分である第2周波数成分とを抽出し、前記距離取得手段は、前記第1画像の前記第1周波数成分と前記第2画像の前記第1周波数成分とから第1距離依存値を取得する第1距離依存値取得手段と、前記第1画像の前記第2周波数成分と前記第2画像の前記第2周波数成分とから第2距離依存値を取得する第2距離依存値取得手段と、前記第1距離依存値と前記第2距離依存値に基づいて、前記距離情報を取得する距離情報取得手段と、を含む、距離検出装置である。
本発明の第2の態様は、異なる撮影パラメータを用いて撮影されたぼけが異なる第1画像と第2画像から被写体の距離情報を検出する距離検出装置であって、前記第1画像および前記第2画像のそれぞれから、n(nは2以上の整数)個の周波数帯の周波数成分を抽出する抽出手段と、前記抽出手段が抽出した周波数成分から前記距離情報を取得する距離取得手段と、を備え、前記距離取得手段は、前記n個の周波数成分のそれぞれについて、前記第1画像および前記第2画像から抽出された周波数成分に基づいて距離依存値を取得する距離依存値取得手段と、前記第1画像に含まれる各領域が、i(iは1以上n−1以下の整数)番目に高い周波数成分に基づいて測距可能であるか否かを、i+1番目に高い周波数成分に対応する距離依存値から判断する判断手段と、前記距離情報取得手段は、前記第1画像に含まれる各領域について、当該領域の測距が可能な周波数成分のうち最も高い周波数成分に対応する距離依存値に基づいて、前記距離情報を取得する距離情報取得手段と、を含む、距離検出装置である。
本発明の第3の態様は、異なる撮影パラメータを用いて撮影されたぼけが異なる第1画像と第2画像から被写体の距離情報を検出する距離検出方法であって、前記第1画像および前記第2画像のそれぞれから、周波数成分を抽出する抽出ステップと、前記抽出ステップにおいて抽出された周波数成分から前記距離情報を取得する距離取得ステップと、を含み、前記抽出ステップでは、前記第1画像および前記第2画像のそれぞれから、第1周波数帯の成分である第1周波数成分と、前記第1周波数帯よりも低い第2周波数帯の成分である第2周波数成分とを抽出し、前記距離取得ステップは、前記第1画像の前記第1周波数成分と前記第2画像の前記第1周波数成分とから第1距離依存値を取得する第1距離依存値取得ステップと、前記第1画像の前記第2周波数成分と前記第2画像の前記第2周波数成分とから第2距離依存値を取得する第2距離依存値取得ステップと、前記第1距離依存値と前記第2距離依存値に基づいて、前記距離情報を取得する距離情報取得ステップと、を含む、距離検出方法である。

Claims (14)

  1. 異なる撮影パラメータを用いて撮影されたぼけが異なる第1画像と第2画像から被写体の距離情報を検出する距離検出装置であって、
    前記第1画像および前記第2画像のそれぞれから、周波数成分を抽出する抽出手段と、
    前記抽出手段が抽出した周波数成分から前記距離情報を取得する距離取得手段と、
    を備え、
    前記抽出手段は、前記第1画像および前記第2画像のそれぞれから、第1周波数帯の成分である第1周波数成分と、前記第1周波数帯よりも低い第2周波数帯の成分である第2周波数成分とを抽出し、
    前記距離取得手段は、
    前記第1画像の前記第1周波数成分と前記第2画像の前記第1周波数成分とから第1距離依存値を取得する第1距離依存値取得手段と、
    前記第1画像の前記第2周波数成分と前記第2画像の前記第2周波数成分とから第2距離依存値を取得する第2距離依存値取得手段と、
    前記第1距離依存値と前記第2距離依存値に基づいて、前記距離情報を取得する距離情報取得手段と、
    を含む、距離検出装置。
  2. 前記距離取得手段は、前記第1画像に含まれる各領域が、前記第1周波数成分に基づいて測距可能であるか否かを、前記第2距離依存値が所定の範囲内の値であるか否かに応じて判断する判断手段を、更に含み、
    前記距離情報取得手段は、前記第1周波数成分に基づく測距が不可能であると判断された領域の距離情報を、測距範囲外を示す値とする、
    請求項1に記載の距離検出装置。
  3. 前記距離取得手段は、前記第1画像に含まれる各領域が、前記第1周波数成分に基づいて測距可能であるか否かを、前記第2距離依存値が所定の範囲内の値であるか否かに応じて判断する判断手段を、更に含み、
    前記距離情報取得手段は、前記第1周波数成分に基づく測距が可能であると判断された領域では前記第1距離依存値または前記第1距離依存値および前記第2距離依存値から前記距離情報を取得し、前記第1周波数成分に基づく測距が不可能であると判断された領域
    では前記第2距離依存値から前記距離情報を取得する、
    請求項1に記載の距離検出装置。
  4. 前記判断手段は、前記第1距離依存値および前記第2距離依存値の大小関係も考慮して、前記第1周波数成分に基づく測距可能な領域であるか否かを判断する、
    請求項2または3に記載の距離検出装置。
  5. 前記距離情報取得手段は、前記第1距離依存値から求められる距離情報と前記第2距離依存値から求められる距離情報との平均値を、最終的な距離情報として取得する、
    請求項1から4のいずれか1項に記載の距離検出装置。
  6. 前記距離情報取得手段は、前記第1距離依存値から求められる距離情報と前記第2距離依存値から求められる距離情報とを、前記第1距離依存値および前記第2距離依存値の信頼度に応じた重みにより重み付けした平均値から前記距離情報を取得し、
    前記第1距離依存値の信頼度は、前記第1周波数成分の振幅量の総和と第1周波数帯とに基づいて決定され、
    前記第2距離依存値の信頼度は、前記第2周波数成分の振幅量の総和と第2周波数帯とに基づいて決定される、
    請求項1から4のいずれか1項に記載の距離検出装置。
  7. 前記第1距離依存値取得手段は、前記第1画像から抽出した第1周波数成分および第2画像から抽出した第1周波数成分の大小関係を考慮して、前記第1距離依存値を取得し、
    前記第2距離依存値取得手段は、前記第1画像から抽出した第2周波数成分および第2画像から抽出した第2周波数成分の大小関係を考慮して、前記第2距離依存値を取得する、
    請求項1から6のいずれか1項に記載の距離検出装置。
  8. 異なる撮影パラメータを用いて撮影されたぼけが異なる第1画像と第2画像から被写体の距離情報を検出する距離検出装置であって、
    前記第1画像および前記第2画像のそれぞれから、n(nは2以上の整数)個の周波数帯の周波数成分を抽出する抽出手段と、
    前記抽出手段が抽出した周波数成分から前記距離情報を取得する距離取得手段と、
    を備え、
    前記距離取得手段は、
    前記n個の周波数成分のそれぞれについて、前記第1画像および前記第2画像から抽出された周波数成分に基づいて距離依存値を取得する距離依存値取得手段と、
    前記第1画像に含まれる各領域が、i(iは1以上n−1以下の整数)番目に高い周波数成分に基づいて測距可能であるか否かを、i+1番目に高い周波数成分に対応する距離依存値から判断する判断手段と、
    前記距離情報取得手段は、前記第1画像に含まれる各領域について、当該領域の測距が可能な周波数成分のうち最も高い周波数成分に対応する距離依存値に基づいて、前記距離情報を取得する距離情報取得手段と、
    を含む、距離検出装置。
  9. 前記判断手段は、i+1番目に高い周波数成分に対応する距離依存値が所定の範囲内の値であるか否かに応じて、i番目に高い周波数成分に基づいて測距可能であるか否かを判断する、
    請求項8に記載の距離検出装置。
  10. 前記判断手段は、i番目に高い周波数成分に対応する距離依存値とi+1番目に高い周
    波数成分に対応する距離依存値の大小関係も考慮して、i番目に高い周波数成分に基づいて測距可能であるか否かを判断する、
    請求項9に記載の距離検出装置。
  11. 前記距離情報取得手段は、前記判断手段によってn−1番目に高い周波数成分に基づく測距が不可能と判断された領域の距離情報を、測距範囲外を示す値とする、
    請求項8から10のいずれか1項に記載の距離検出装置。
  12. 撮像手段と、
    請求項1から11のいずれか1項に記載の距離検出装置と、
    を備え、
    前記距離検出装置は、前記撮像手段によって異なる撮影パラメータを用いて撮影されたぼけが異なる複数の画像から被写体の距離情報を検出する、
    撮像装置。
  13. 異なる撮影パラメータを用いて撮影されたぼけが異なる第1画像と第2画像から被写体の距離情報を検出する距離検出方法であって、
    前記第1画像および前記第2画像のそれぞれから、周波数成分を抽出する抽出ステップと、
    前記抽出ステップにおいて抽出された周波数成分から前記距離情報を取得する距離取得ステップと、
    を含み、
    前記抽出ステップでは、前記第1画像および前記第2画像のそれぞれから、第1周波数帯の成分である第1周波数成分と、前記第1周波数帯よりも低い第2周波数帯の成分である第2周波数成分とを抽出し、
    前記距離取得ステップは、
    前記第1画像の前記第1周波数成分と前記第2画像の前記第1周波数成分とから第1距離依存値を取得する第1距離依存値取得ステップと、
    前記第1画像の前記第2周波数成分と前記第2画像の前記第2周波数成分とから第2距離依存値を取得する第2距離依存値取得ステップと、
    前記第1距離依存値と前記第2距離依存値に基づいて、前記距離情報を取得する距離情報取得ステップと、
    を含む、距離検出方法。
  14. 請求項13に記載の方法の各ステップをコンピュータに実行させるためのプログラム。
JP2013165119A 2013-08-08 2013-08-08 距離検出装置、撮像装置および距離検出方法 Expired - Fee Related JP6292790B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013165119A JP6292790B2 (ja) 2013-08-08 2013-08-08 距離検出装置、撮像装置および距離検出方法
US14/446,414 US9299151B2 (en) 2013-08-08 2014-07-30 Depth calculation device, imaging apparatus, and depth calculation method
US15/012,197 US9846944B2 (en) 2013-08-08 2016-02-01 Depth calculation device, imaging apparatus, and depth calculation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013165119A JP6292790B2 (ja) 2013-08-08 2013-08-08 距離検出装置、撮像装置および距離検出方法

Publications (3)

Publication Number Publication Date
JP2015034732A JP2015034732A (ja) 2015-02-19
JP2015034732A5 true JP2015034732A5 (ja) 2016-09-23
JP6292790B2 JP6292790B2 (ja) 2018-03-14

Family

ID=52448707

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013165119A Expired - Fee Related JP6292790B2 (ja) 2013-08-08 2013-08-08 距離検出装置、撮像装置および距離検出方法

Country Status (2)

Country Link
US (2) US9299151B2 (ja)
JP (1) JP6292790B2 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6140935B2 (ja) 2012-05-17 2017-06-07 キヤノン株式会社 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置
JP6091318B2 (ja) * 2013-04-26 2017-03-08 キヤノン株式会社 測距装置およびその制御方法
US9749532B1 (en) 2014-08-12 2017-08-29 Amazon Technologies, Inc. Pixel readout of a charge coupled device having a variable aperture
US9787899B1 (en) 2014-08-12 2017-10-10 Amazon Technologies, Inc. Multiple captures with a variable aperture
US9646365B1 (en) 2014-08-12 2017-05-09 Amazon Technologies, Inc. Variable temporal aperture
JP6429724B2 (ja) * 2015-05-19 2018-11-28 キヤノン株式会社 撮像装置およびその制御方法
JP6598550B2 (ja) * 2015-07-28 2019-10-30 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP6604775B2 (ja) * 2015-08-20 2019-11-13 キヤノン株式会社 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
CN105354805B (zh) * 2015-10-26 2020-03-06 京东方科技集团股份有限公司 深度图像的去噪方法和去噪设备
CN106643642B (zh) * 2015-10-29 2019-05-10 原相科技股份有限公司 双孔径测距系统
CN107170007B (zh) * 2016-03-02 2019-12-27 钰立微电子股份有限公司 具有图像散焦功能的图像装置及其产生散焦图像的方法
CN106595489A (zh) * 2016-10-28 2017-04-26 惠州Tcl移动通信有限公司 一种实时测距的移动终端及方法
US10003787B1 (en) * 2016-12-21 2018-06-19 Canon Kabushiki Kaisha Method, system and apparatus for refining a depth map
CN106842496B (zh) * 2017-01-24 2019-03-19 青岛大学 基于频域比较法的自动调节焦点的方法
US10445861B2 (en) * 2017-02-14 2019-10-15 Qualcomm Incorporated Refinement of structured light depth maps using RGB color data
US11422372B2 (en) 2017-03-08 2022-08-23 Maxell, Ltd. Distance measurement device, head-mounted display device, mobile information terminal, image display device, surroundings monitoring system, and distance measurement method
JP6896543B2 (ja) * 2017-07-19 2021-06-30 オリンパス株式会社 計測装置および計測装置の作動方法
US10812769B2 (en) * 2017-08-21 2020-10-20 International Business Machines Corporation Visualizing focus objects from video data on electronic maps
JP6931306B2 (ja) * 2017-09-20 2021-09-01 キヤノン株式会社 像ズレ量算出装置及び方法、撮像装置、デフォーカス量算出装置、及び、距離算出装置
JP7224840B2 (ja) * 2017-10-27 2023-02-20 キヤノン株式会社 撮像装置及び撮像装置の制御方法
US11115582B2 (en) * 2018-11-28 2021-09-07 Jvckenwood Corporation Imaging control apparatus, imaging apparatus, and recording medium
CN111726515A (zh) * 2019-03-22 2020-09-29 爱唯秀股份有限公司 一种深度相机系统
JP7451120B2 (ja) * 2019-09-20 2024-03-18 キヤノン株式会社 画像処理装置および画像処理方法、撮像装置、プログラム
KR20210056149A (ko) * 2019-11-08 2021-05-18 삼성전자주식회사 깊이 영상 생성 방법 및 깊이 영상 생성 장치

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4965840A (en) 1987-11-27 1990-10-23 State University Of New York Method and apparatus for determining the distances between surface-patches of a three-dimensional spatial scene and a camera system
JP2004325517A (ja) * 2003-04-21 2004-11-18 Nikon Corp 撮像装置
WO2009016256A1 (en) * 2007-08-01 2009-02-05 Dublin City University Ultra-compact aperture controlled depth from defocus range sensor
JP4990234B2 (ja) 2008-07-07 2012-08-01 オリンパス株式会社 測距装置、測距方法、測距プログラム又は撮像装置
JP2010078681A (ja) * 2008-09-24 2010-04-08 Canon Inc 自動焦点調整装置および方法、並びにプログラム
JP5832424B2 (ja) * 2010-11-17 2015-12-16 パナソニック株式会社 撮像装置及び距離計測方法
AU2011224051B2 (en) * 2011-09-14 2014-05-01 Canon Kabushiki Kaisha Determining a depth map from images of a scene
JP5705096B2 (ja) * 2011-12-02 2015-04-22 キヤノン株式会社 画像処理装置及び画像処理方法
WO2013094635A1 (ja) * 2011-12-19 2013-06-27 シャープ株式会社 画像処理装置、撮像装置および表示装置
JP6214183B2 (ja) * 2012-05-11 2017-10-18 キヤノン株式会社 距離計測装置、撮像装置、距離計測方法、およびプログラム
US20140066768A1 (en) * 2012-08-30 2014-03-06 Siemens Medical Solutions Usa, Inc. Frequency Distribution in Harmonic Ultrasound Imaging
US9418400B2 (en) * 2013-06-18 2016-08-16 Nvidia Corporation Method and system for rendering simulated depth-of-field visual effect

Similar Documents

Publication Publication Date Title
JP2015034732A5 (ja) 距離検出装置、撮像装置および距離検出方法
JP2011179907A5 (ja) 位置姿勢計測装置、位置姿勢計測方法、プログラムおよび記憶媒体
EP3098080A3 (en) Distance measuring device, image forming apparatus, distance measuring method, and computer-readable recording medium
JP2017215306A5 (ja)
JP2013253964A5 (ja)
JP2013185832A5 (ja)
EP3029604A3 (en) Area information estimating device, area information estimating method, and air conditioning apparatus
MX2017007004A (es) Dispositivo y metodo para deteccion de piel.
EP2911093A3 (en) Method and device for detecting straight line
JP2011027724A5 (ja)
JP2011101240A5 (ja)
JP2014145725A5 (ja)
JP2011120655A5 (ja)
JP2007263926A5 (ja)
EP2881891A3 (en) Image processing device and image processing method
JP2015029558A5 (ja)
JP2016129289A5 (ja)
JP2015103104A5 (ja)
JP2012195668A5 (ja)
EP2927710A3 (en) Ranging system, information processing apparatus, information processing method and program thereof
JP2011134012A5 (ja)
JP2018101942A5 (ja)
JP2011160219A5 (ja) 撮影機器
JP2016220198A5 (ja)
JP2013218177A5 (ja)