JP2015034732A5 - 距離検出装置、撮像装置および距離検出方法 - Google Patents
距離検出装置、撮像装置および距離検出方法 Download PDFInfo
- Publication number
- JP2015034732A5 JP2015034732A5 JP2013165119A JP2013165119A JP2015034732A5 JP 2015034732 A5 JP2015034732 A5 JP 2015034732A5 JP 2013165119 A JP2013165119 A JP 2013165119A JP 2013165119 A JP2013165119 A JP 2013165119A JP 2015034732 A5 JP2015034732 A5 JP 2015034732A5
- Authority
- JP
- Japan
- Prior art keywords
- distance
- image
- frequency component
- value
- dependent value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims description 24
- 238000003384 imaging method Methods 0.000 title claims 4
- 230000001419 dependent Effects 0.000 claims description 43
- 238000000605 extraction Methods 0.000 claims description 16
- 230000000875 corresponding Effects 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims 5
- 239000004615 ingredient Substances 0.000 description 1
Description
本発明の第一の態様は、異なる撮影パラメータを用いて撮影されたぼけが異なる第1画像と第2画像から被写体の距離情報を検出する距離検出装置であって、前記第1画像および前記第2画像のそれぞれから、周波数成分を抽出する抽出手段と、前記抽出手段が抽出
した周波数成分から前記距離情報を取得する距離取得手段と、を備え、前記抽出手段は、前記第1画像および前記第2画像のそれぞれから、第1周波数帯の成分である第1周波数成分と、前記第1周波数帯よりも低い第2周波数帯の成分である第2周波数成分とを抽出し、前記距離取得手段は、前記第1画像の前記第1周波数成分と前記第2画像の前記第1周波数成分とから第1距離依存値を取得する第1距離依存値取得手段と、前記第1画像の前記第2周波数成分と前記第2画像の前記第2周波数成分とから第2距離依存値を取得する第2距離依存値取得手段と、前記第1距離依存値と前記第2距離依存値に基づいて、前記距離情報を取得する距離情報取得手段と、を含む、距離検出装置である。
した周波数成分から前記距離情報を取得する距離取得手段と、を備え、前記抽出手段は、前記第1画像および前記第2画像のそれぞれから、第1周波数帯の成分である第1周波数成分と、前記第1周波数帯よりも低い第2周波数帯の成分である第2周波数成分とを抽出し、前記距離取得手段は、前記第1画像の前記第1周波数成分と前記第2画像の前記第1周波数成分とから第1距離依存値を取得する第1距離依存値取得手段と、前記第1画像の前記第2周波数成分と前記第2画像の前記第2周波数成分とから第2距離依存値を取得する第2距離依存値取得手段と、前記第1距離依存値と前記第2距離依存値に基づいて、前記距離情報を取得する距離情報取得手段と、を含む、距離検出装置である。
本発明の第2の態様は、異なる撮影パラメータを用いて撮影されたぼけが異なる第1画像と第2画像から被写体の距離情報を検出する距離検出装置であって、前記第1画像および前記第2画像のそれぞれから、n(nは2以上の整数)個の周波数帯の周波数成分を抽出する抽出手段と、前記抽出手段が抽出した周波数成分から前記距離情報を取得する距離取得手段と、を備え、前記距離取得手段は、前記n個の周波数成分のそれぞれについて、前記第1画像および前記第2画像から抽出された周波数成分に基づいて距離依存値を取得する距離依存値取得手段と、前記第1画像に含まれる各領域が、i(iは1以上n−1以下の整数)番目に高い周波数成分に基づいて測距可能であるか否かを、i+1番目に高い周波数成分に対応する距離依存値から判断する判断手段と、前記距離情報取得手段は、前記第1画像に含まれる各領域について、当該領域の測距が可能な周波数成分のうち最も高い周波数成分に対応する距離依存値に基づいて、前記距離情報を取得する距離情報取得手段と、を含む、距離検出装置である。
本発明の第3の態様は、異なる撮影パラメータを用いて撮影されたぼけが異なる第1画像と第2画像から被写体の距離情報を検出する距離検出方法であって、前記第1画像および前記第2画像のそれぞれから、周波数成分を抽出する抽出ステップと、前記抽出ステップにおいて抽出された周波数成分から前記距離情報を取得する距離取得ステップと、を含み、前記抽出ステップでは、前記第1画像および前記第2画像のそれぞれから、第1周波数帯の成分である第1周波数成分と、前記第1周波数帯よりも低い第2周波数帯の成分である第2周波数成分とを抽出し、前記距離取得ステップは、前記第1画像の前記第1周波数成分と前記第2画像の前記第1周波数成分とから第1距離依存値を取得する第1距離依存値取得ステップと、前記第1画像の前記第2周波数成分と前記第2画像の前記第2周波数成分とから第2距離依存値を取得する第2距離依存値取得ステップと、前記第1距離依存値と前記第2距離依存値に基づいて、前記距離情報を取得する距離情報取得ステップと、を含む、距離検出方法である。
Claims (14)
- 異なる撮影パラメータを用いて撮影されたぼけが異なる第1画像と第2画像から被写体の距離情報を検出する距離検出装置であって、
前記第1画像および前記第2画像のそれぞれから、周波数成分を抽出する抽出手段と、
前記抽出手段が抽出した周波数成分から前記距離情報を取得する距離取得手段と、
を備え、
前記抽出手段は、前記第1画像および前記第2画像のそれぞれから、第1周波数帯の成分である第1周波数成分と、前記第1周波数帯よりも低い第2周波数帯の成分である第2周波数成分とを抽出し、
前記距離取得手段は、
前記第1画像の前記第1周波数成分と前記第2画像の前記第1周波数成分とから第1距離依存値を取得する第1距離依存値取得手段と、
前記第1画像の前記第2周波数成分と前記第2画像の前記第2周波数成分とから第2距離依存値を取得する第2距離依存値取得手段と、
前記第1距離依存値と前記第2距離依存値に基づいて、前記距離情報を取得する距離情報取得手段と、
を含む、距離検出装置。 - 前記距離取得手段は、前記第1画像に含まれる各領域が、前記第1周波数成分に基づいて測距可能であるか否かを、前記第2距離依存値が所定の範囲内の値であるか否かに応じて判断する判断手段を、更に含み、
前記距離情報取得手段は、前記第1周波数成分に基づく測距が不可能であると判断された領域の距離情報を、測距範囲外を示す値とする、
請求項1に記載の距離検出装置。 - 前記距離取得手段は、前記第1画像に含まれる各領域が、前記第1周波数成分に基づいて測距可能であるか否かを、前記第2距離依存値が所定の範囲内の値であるか否かに応じて判断する判断手段を、更に含み、
前記距離情報取得手段は、前記第1周波数成分に基づく測距が可能であると判断された領域では前記第1距離依存値または前記第1距離依存値および前記第2距離依存値から前記距離情報を取得し、前記第1周波数成分に基づく測距が不可能であると判断された領域
では前記第2距離依存値から前記距離情報を取得する、
請求項1に記載の距離検出装置。 - 前記判断手段は、前記第1距離依存値および前記第2距離依存値の大小関係も考慮して、前記第1周波数成分に基づく測距可能な領域であるか否かを判断する、
請求項2または3に記載の距離検出装置。 - 前記距離情報取得手段は、前記第1距離依存値から求められる距離情報と前記第2距離依存値から求められる距離情報との平均値を、最終的な距離情報として取得する、
請求項1から4のいずれか1項に記載の距離検出装置。 - 前記距離情報取得手段は、前記第1距離依存値から求められる距離情報と前記第2距離依存値から求められる距離情報とを、前記第1距離依存値および前記第2距離依存値の信頼度に応じた重みにより重み付けした平均値から前記距離情報を取得し、
前記第1距離依存値の信頼度は、前記第1周波数成分の振幅量の総和と第1周波数帯とに基づいて決定され、
前記第2距離依存値の信頼度は、前記第2周波数成分の振幅量の総和と第2周波数帯とに基づいて決定される、
請求項1から4のいずれか1項に記載の距離検出装置。 - 前記第1距離依存値取得手段は、前記第1画像から抽出した第1周波数成分および第2画像から抽出した第1周波数成分の大小関係を考慮して、前記第1距離依存値を取得し、
前記第2距離依存値取得手段は、前記第1画像から抽出した第2周波数成分および第2画像から抽出した第2周波数成分の大小関係を考慮して、前記第2距離依存値を取得する、
請求項1から6のいずれか1項に記載の距離検出装置。 - 異なる撮影パラメータを用いて撮影されたぼけが異なる第1画像と第2画像から被写体の距離情報を検出する距離検出装置であって、
前記第1画像および前記第2画像のそれぞれから、n(nは2以上の整数)個の周波数帯の周波数成分を抽出する抽出手段と、
前記抽出手段が抽出した周波数成分から前記距離情報を取得する距離取得手段と、
を備え、
前記距離取得手段は、
前記n個の周波数成分のそれぞれについて、前記第1画像および前記第2画像から抽出された周波数成分に基づいて距離依存値を取得する距離依存値取得手段と、
前記第1画像に含まれる各領域が、i(iは1以上n−1以下の整数)番目に高い周波数成分に基づいて測距可能であるか否かを、i+1番目に高い周波数成分に対応する距離依存値から判断する判断手段と、
前記距離情報取得手段は、前記第1画像に含まれる各領域について、当該領域の測距が可能な周波数成分のうち最も高い周波数成分に対応する距離依存値に基づいて、前記距離情報を取得する距離情報取得手段と、
を含む、距離検出装置。 - 前記判断手段は、i+1番目に高い周波数成分に対応する距離依存値が所定の範囲内の値であるか否かに応じて、i番目に高い周波数成分に基づいて測距可能であるか否かを判断する、
請求項8に記載の距離検出装置。 - 前記判断手段は、i番目に高い周波数成分に対応する距離依存値とi+1番目に高い周
波数成分に対応する距離依存値の大小関係も考慮して、i番目に高い周波数成分に基づいて測距可能であるか否かを判断する、
請求項9に記載の距離検出装置。 - 前記距離情報取得手段は、前記判断手段によってn−1番目に高い周波数成分に基づく測距が不可能と判断された領域の距離情報を、測距範囲外を示す値とする、
請求項8から10のいずれか1項に記載の距離検出装置。 - 撮像手段と、
請求項1から11のいずれか1項に記載の距離検出装置と、
を備え、
前記距離検出装置は、前記撮像手段によって異なる撮影パラメータを用いて撮影されたぼけが異なる複数の画像から被写体の距離情報を検出する、
撮像装置。 - 異なる撮影パラメータを用いて撮影されたぼけが異なる第1画像と第2画像から被写体の距離情報を検出する距離検出方法であって、
前記第1画像および前記第2画像のそれぞれから、周波数成分を抽出する抽出ステップと、
前記抽出ステップにおいて抽出された周波数成分から前記距離情報を取得する距離取得ステップと、
を含み、
前記抽出ステップでは、前記第1画像および前記第2画像のそれぞれから、第1周波数帯の成分である第1周波数成分と、前記第1周波数帯よりも低い第2周波数帯の成分である第2周波数成分とを抽出し、
前記距離取得ステップは、
前記第1画像の前記第1周波数成分と前記第2画像の前記第1周波数成分とから第1距離依存値を取得する第1距離依存値取得ステップと、
前記第1画像の前記第2周波数成分と前記第2画像の前記第2周波数成分とから第2距離依存値を取得する第2距離依存値取得ステップと、
前記第1距離依存値と前記第2距離依存値に基づいて、前記距離情報を取得する距離情報取得ステップと、
を含む、距離検出方法。 - 請求項13に記載の方法の各ステップをコンピュータに実行させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013165119A JP6292790B2 (ja) | 2013-08-08 | 2013-08-08 | 距離検出装置、撮像装置および距離検出方法 |
US14/446,414 US9299151B2 (en) | 2013-08-08 | 2014-07-30 | Depth calculation device, imaging apparatus, and depth calculation method |
US15/012,197 US9846944B2 (en) | 2013-08-08 | 2016-02-01 | Depth calculation device, imaging apparatus, and depth calculation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013165119A JP6292790B2 (ja) | 2013-08-08 | 2013-08-08 | 距離検出装置、撮像装置および距離検出方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015034732A JP2015034732A (ja) | 2015-02-19 |
JP2015034732A5 true JP2015034732A5 (ja) | 2016-09-23 |
JP6292790B2 JP6292790B2 (ja) | 2018-03-14 |
Family
ID=52448707
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013165119A Expired - Fee Related JP6292790B2 (ja) | 2013-08-08 | 2013-08-08 | 距離検出装置、撮像装置および距離検出方法 |
Country Status (2)
Country | Link |
---|---|
US (2) | US9299151B2 (ja) |
JP (1) | JP6292790B2 (ja) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6140935B2 (ja) | 2012-05-17 | 2017-06-07 | キヤノン株式会社 | 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置 |
JP6091318B2 (ja) * | 2013-04-26 | 2017-03-08 | キヤノン株式会社 | 測距装置およびその制御方法 |
US9749532B1 (en) | 2014-08-12 | 2017-08-29 | Amazon Technologies, Inc. | Pixel readout of a charge coupled device having a variable aperture |
US9787899B1 (en) | 2014-08-12 | 2017-10-10 | Amazon Technologies, Inc. | Multiple captures with a variable aperture |
US9646365B1 (en) | 2014-08-12 | 2017-05-09 | Amazon Technologies, Inc. | Variable temporal aperture |
JP6429724B2 (ja) * | 2015-05-19 | 2018-11-28 | キヤノン株式会社 | 撮像装置およびその制御方法 |
JP6598550B2 (ja) * | 2015-07-28 | 2019-10-30 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
JP6604775B2 (ja) * | 2015-08-20 | 2019-11-13 | キヤノン株式会社 | 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体 |
CN105354805B (zh) * | 2015-10-26 | 2020-03-06 | 京东方科技集团股份有限公司 | 深度图像的去噪方法和去噪设备 |
CN106643642B (zh) * | 2015-10-29 | 2019-05-10 | 原相科技股份有限公司 | 双孔径测距系统 |
CN107170007B (zh) * | 2016-03-02 | 2019-12-27 | 钰立微电子股份有限公司 | 具有图像散焦功能的图像装置及其产生散焦图像的方法 |
CN106595489A (zh) * | 2016-10-28 | 2017-04-26 | 惠州Tcl移动通信有限公司 | 一种实时测距的移动终端及方法 |
US10003787B1 (en) * | 2016-12-21 | 2018-06-19 | Canon Kabushiki Kaisha | Method, system and apparatus for refining a depth map |
CN106842496B (zh) * | 2017-01-24 | 2019-03-19 | 青岛大学 | 基于频域比较法的自动调节焦点的方法 |
US10445861B2 (en) * | 2017-02-14 | 2019-10-15 | Qualcomm Incorporated | Refinement of structured light depth maps using RGB color data |
US11422372B2 (en) | 2017-03-08 | 2022-08-23 | Maxell, Ltd. | Distance measurement device, head-mounted display device, mobile information terminal, image display device, surroundings monitoring system, and distance measurement method |
JP6896543B2 (ja) * | 2017-07-19 | 2021-06-30 | オリンパス株式会社 | 計測装置および計測装置の作動方法 |
US10812769B2 (en) * | 2017-08-21 | 2020-10-20 | International Business Machines Corporation | Visualizing focus objects from video data on electronic maps |
JP6931306B2 (ja) * | 2017-09-20 | 2021-09-01 | キヤノン株式会社 | 像ズレ量算出装置及び方法、撮像装置、デフォーカス量算出装置、及び、距離算出装置 |
JP7224840B2 (ja) * | 2017-10-27 | 2023-02-20 | キヤノン株式会社 | 撮像装置及び撮像装置の制御方法 |
US11115582B2 (en) * | 2018-11-28 | 2021-09-07 | Jvckenwood Corporation | Imaging control apparatus, imaging apparatus, and recording medium |
CN111726515A (zh) * | 2019-03-22 | 2020-09-29 | 爱唯秀股份有限公司 | 一种深度相机系统 |
JP7451120B2 (ja) * | 2019-09-20 | 2024-03-18 | キヤノン株式会社 | 画像処理装置および画像処理方法、撮像装置、プログラム |
KR20210056149A (ko) * | 2019-11-08 | 2021-05-18 | 삼성전자주식회사 | 깊이 영상 생성 방법 및 깊이 영상 생성 장치 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4965840A (en) | 1987-11-27 | 1990-10-23 | State University Of New York | Method and apparatus for determining the distances between surface-patches of a three-dimensional spatial scene and a camera system |
JP2004325517A (ja) * | 2003-04-21 | 2004-11-18 | Nikon Corp | 撮像装置 |
WO2009016256A1 (en) * | 2007-08-01 | 2009-02-05 | Dublin City University | Ultra-compact aperture controlled depth from defocus range sensor |
JP4990234B2 (ja) | 2008-07-07 | 2012-08-01 | オリンパス株式会社 | 測距装置、測距方法、測距プログラム又は撮像装置 |
JP2010078681A (ja) * | 2008-09-24 | 2010-04-08 | Canon Inc | 自動焦点調整装置および方法、並びにプログラム |
JP5832424B2 (ja) * | 2010-11-17 | 2015-12-16 | パナソニック株式会社 | 撮像装置及び距離計測方法 |
AU2011224051B2 (en) * | 2011-09-14 | 2014-05-01 | Canon Kabushiki Kaisha | Determining a depth map from images of a scene |
JP5705096B2 (ja) * | 2011-12-02 | 2015-04-22 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
WO2013094635A1 (ja) * | 2011-12-19 | 2013-06-27 | シャープ株式会社 | 画像処理装置、撮像装置および表示装置 |
JP6214183B2 (ja) * | 2012-05-11 | 2017-10-18 | キヤノン株式会社 | 距離計測装置、撮像装置、距離計測方法、およびプログラム |
US20140066768A1 (en) * | 2012-08-30 | 2014-03-06 | Siemens Medical Solutions Usa, Inc. | Frequency Distribution in Harmonic Ultrasound Imaging |
US9418400B2 (en) * | 2013-06-18 | 2016-08-16 | Nvidia Corporation | Method and system for rendering simulated depth-of-field visual effect |
-
2013
- 2013-08-08 JP JP2013165119A patent/JP6292790B2/ja not_active Expired - Fee Related
-
2014
- 2014-07-30 US US14/446,414 patent/US9299151B2/en not_active Expired - Fee Related
-
2016
- 2016-02-01 US US15/012,197 patent/US9846944B2/en active Active
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2015034732A5 (ja) | 距離検出装置、撮像装置および距離検出方法 | |
JP2011179907A5 (ja) | 位置姿勢計測装置、位置姿勢計測方法、プログラムおよび記憶媒体 | |
EP3098080A3 (en) | Distance measuring device, image forming apparatus, distance measuring method, and computer-readable recording medium | |
JP2017215306A5 (ja) | ||
JP2013253964A5 (ja) | ||
JP2013185832A5 (ja) | ||
EP3029604A3 (en) | Area information estimating device, area information estimating method, and air conditioning apparatus | |
MX2017007004A (es) | Dispositivo y metodo para deteccion de piel. | |
EP2911093A3 (en) | Method and device for detecting straight line | |
JP2011027724A5 (ja) | ||
JP2011101240A5 (ja) | ||
JP2014145725A5 (ja) | ||
JP2011120655A5 (ja) | ||
JP2007263926A5 (ja) | ||
EP2881891A3 (en) | Image processing device and image processing method | |
JP2015029558A5 (ja) | ||
JP2016129289A5 (ja) | ||
JP2015103104A5 (ja) | ||
JP2012195668A5 (ja) | ||
EP2927710A3 (en) | Ranging system, information processing apparatus, information processing method and program thereof | |
JP2011134012A5 (ja) | ||
JP2018101942A5 (ja) | ||
JP2011160219A5 (ja) | 撮影機器 | |
JP2016220198A5 (ja) | ||
JP2013218177A5 (ja) |