JP2018185162A - 測距装置、測距システム、および測距方法 - Google Patents
測距装置、測距システム、および測距方法 Download PDFInfo
- Publication number
- JP2018185162A JP2018185162A JP2017085395A JP2017085395A JP2018185162A JP 2018185162 A JP2018185162 A JP 2018185162A JP 2017085395 A JP2017085395 A JP 2017085395A JP 2017085395 A JP2017085395 A JP 2017085395A JP 2018185162 A JP2018185162 A JP 2018185162A
- Authority
- JP
- Japan
- Prior art keywords
- image
- wavelength
- distance
- focus position
- projection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
Description
複数の波長からなるパターン照明であって、投影ピント位置が波長ごとに異なるパターン照明が投影された被写体の第1の画像および第2の画像を取得する撮像手段と、
前記第1の画像および前記第2の画像に基づいて距離値を決定する演算手段と、
を備える、測距装置である。
複数の波長からなるパターン照明を投影可能であり、波長ごとに投影ピント位置を変更可能な投影装置と、
上述の測距装置と、
前記複数の波長ごとの投影ピント位置を決定するピント位置決定手段と、
を備える、測距システムである。
投影装置と測距装置を含む測距システムにおける測距方法であって、
前記投影装置が、複数の波長からなるパターン照明であって、投影ピント位置が波長ごとに異なるパターン照明を投影する第1ステップと、
前記測距装置が、前記投影装置からのパターン照明が投影された被写体の第1の画像および第2の画像を取得する第2ステップと、
前記測距装置が、前記第1の画像および前記第2の画像に基づいて距離値を決定する第3ステップと、
を含む、測距方法である。
<概要>
図1(A)は、本実施形態に係る測距システム100の概略構成を示す図である。測距システム100は、パターン投影を行う投影装置101と、撮像および距離計測を行う測距装置(カメラ装置)103を含んで構成される。測距システム100では、投影装置101から被写体102へパターン投影を行った状態で、測距装置103が2枚の視差画像を撮影し、画像間の視差量に基づいて被写体距離を求める。
。この例では、被写体501に投影パターンのピントを合わせているため、被写体501上の投影パターン511は鮮鋭度が高いが、被写体502,503上の投影パターン512,513は鮮鋭度が低下している。
以下、投影装置101および測距装置103の構成をより詳細に説明する。
する。すなわち、投影装置101は、光源201、拡大平行光学系202、偏光ビームスプリッター204(G)および206(R,B)、LCOS205(G)、207(R)、208(B)、ダイクロイックミラー209、投影光学系210を備える。
好適である。
相関値から視差量(像ずれ量ともいう)を求め、視差量を距離値へ変換する。本実施形態では、距離値としてデフォーカス量を用いる。視差量から距離値(デフォーカス量)への変換は、光学系パラメータに基づく変換係数を用いて行われる。
GA(Field Programmable Gate Array)を用いて構成することができる。演算処理部2
24の別の形態として、マイクロプロセッサと演算処理プログラムとを格納するメモリから構成し、マイクロプロセッサが演算処理プログラムを実行することで上記の各機能を提供してもよい。
図3は、本実施形態における距離測定処理のフローチャートである。以下、図3を参照しながら本実施形態における測距方法について説明する。なお、この距離測定処理における各ステップの実行順序は適宜変更してもよく、また、複数の処理ステップを並列に実行してもよいことは、当業者であれば理解できるであろう。
、視差量dをデフォーカス量ΔLに変換することができる。
ける距離値の信頼度に応じた値とすることが好適である。距離値の信頼度は、視差量算出時に得られる相関度の高さや、画像中のコントラスト変化の大きさなどに基づいて決定することができる。また、重みは、投影装置101からの投影パターンのピント位置に基づいて決定してもよい。具体的には、各波長(色)について、投影ピント位置と距離値の差が小さいほど重みを大きく設定すればよい。
以下、図を参照しながら、本実施形態に係る投影装置101の、投影パターンのピント位置(合焦位置)の決定方法について説明する。上述したように、本実施形態に係る投影装置101は赤色・緑色・青色の3色からなる投影パターンを投影可能であり、かつ、各色の投影パターンのピント位置を個別に変更可能である。ここでは、各色についてピント位置の決定方法について説明する。ピント位置とパターン色の対応付けには任意性があるので、投影装置101が投影するパターン色の波長をλ1、λ2、λ3として説明する。言い換えると、λ1、λ2、λ3を赤色・緑色・青色のいずれに対応させるかは適宜決定可能である。
図4(A)は、ピント位置決定処理の第1の例を示すフローチャートである。まず、ステップS211において、演算処理部224は、波長λ1のピント位置L1を決定する。具体的な決定手法はいくつか考えられる。
図4(B)は、ピント位置決定処理の第2の例を示すフローチャートである。この処理では、仮測距によって被写体が存在する距離を求め、被写体が存在する距離に対してピント位置を設定する。
判断する。なお、ピークを求める際に、焦点深度と比較して十分に近い複数のピークは1つのピーク(峰)としてみなしてよい。
ピント位置決定処理の第3の例は、仮測距を行って距離分布が存在する範囲に基づいて決定する処理である。たとえば、投影装置101の波長数が3つの場合には、距離分布が存在する範囲の、中心値・最大値・最小値にピント位置を設定する。この手法は、被写体の距離が比較的狭い範囲に集中しているときに有効な処理といえる。
上記の処理例2,3では、仮測距における全ての被写体(画素)の距離値を利用して波長ごとのピント位置を決定している。パターン投影を行う理由がテクスチャの乏しい被写体の測距精度向上であることを鑑みると、ピント位置の決定においてはテクスチャの乏しい被写体のみ距離値のみを考慮してもよい。たとえば、ステップS221において距離ヒストグラムを作成する際に、テクスチャの乏しい被写体のみに基づいてヒストグラムを作成してもよい。
本実施形態によれば、投影装置101からパターン照明を投影しているので、テクスチャの乏しい被写体に対しても精度の良い距離測定を行える。さらに、パターン照明のピント位置を波長ごとに変更しているので、パターン照明の焦点深度を拡大したのと同等の効果が得られ、より広い距離範囲について精度の良い距離測定が可能である。
第1の実施形態では、撮像素子223内に同一画素内にA画素およびB画素(第1および第2の光電変換部)が配置された構成であるが、視差のある複数の画像が取得できれば上記の構成以外を採用してもよい。たとえば、一部の画素が第1の瞳領域を通過した光束が入射するA画素であり、他の一部の画素が第2の瞳領域を通過した光束が入射するB画素である撮像素子を利用してもよい。このような撮像素子は、半導体作製プロセスが容易であり作製コストを低減できるという観点から好適である。
することが望ましい。また、その帯域幅は色によるパターン画像の分離の観点から各波長域が重複しないよう±25nm以下であることが望ましい。すなわち、λ1〜λ3は、波長600±25nm以内の赤色、波長550±25nm以内の緑色、波長450±25nm以内の青色の波長とすることが望ましい。
置を決定することも測距精度向上の観点から好適である。
本実施形態に係る測距システムの装置構成は第1の実施形態と同様であるが、距離測定処理が第1の実施形態と異なる。以下、図6(A)および図6(B)を参照して、本実施形態における距離測定処理について説明する。図6(A)は本実施形態における距離測定処理の流れを示すフローチャートを示す。図6(B)は本実施形態における距離測定処理におけるデータフローを示す。
れ、広い距離範囲にわたって精度のよい距離測定が行える。
本実施形態では測距装置(カメラ装置)103の結像光学系が保有する軸上色収差の影響を軽減するように各波長の投影ピント位置の組み合わせを決定する。図7(A)に測距装置103の撮像レンズ222が有する軸上色収差を示す。被写体600に対し、本実施形態で基準とする波長λ1はセンサ面610に結像しているのに対し、波長λ2は光軸611に沿ってセンサ面より奥側に結像し、波長λ3は光軸611に沿ってセンサ面より手前側に結像する。これをもとに、色収差の影響を軽減するように、各波長のピント位置を指定する。図7(B)に示す位置関係の被写体601、602、603、に対し各波長λ1、λ2、λ3のピント位置をO11、O12、O13とする。このように、事前に取得した撮像レンズの光学特性から波長に応じたピント位置の前後傾向を決定できる。
本実施形態では、被写体の色分布(分光反射率の分布)に基づいて波長ごとの投影ピント位置を決定することで測距精度を向上させる。本実施形態における処理を図8(A)に示すフローチャートにしたがって説明する。
にして決定されたピント位置にしたがって、投影パターンを投影しながらの測距処理が行われる。
本実施形態では、測距装置(カメラ装置)103として、単眼かつ画素分割されていない、つまり視差量を取得できないカメラを用いる。投影装置101において、波長ごとにピント位置を異ならせたパターン投影を行いながら、測距装置103で撮影を行う点は同一である。本実施形態では、撮影に得られた画像から、それぞれの波長に対応する画像を取得し、これら複数の画像に基づいてDFD(Depth From Defocus)の手法を用いて距離値を算出する。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (18)
- 複数の波長からなるパターン照明であって、投影ピント位置が波長ごとに異なるパターン照明が投影された被写体の第1の画像および第2の画像を取得する撮像手段と、
前記第1の画像および前記第2の画像に基づいて距離値を決定する演算手段と、
を備える、測距装置。 - 前記第1の画像および前記第2の画像は、互いに視差を有する画像であり、
前記演算手段は、前記第1の画像および前記第2の画像の視差量に基づいて前記距離値を決定する、
請求項1に記載の測距装置。 - 前記演算手段は、
前記複数の波長ごとに、前記第1の画像および前記第2の画像の当該波長成分の画像における視差量に基づいて暫定距離値を求め、
前記複数の波長ごとの前記暫定距離値を合成することにより、前記距離値を決定する、
請求項2に記載の測距装置。 - 前記演算手段は、重み付け平均を用いて、前記複数の波長ごとの前記暫定距離値を合成する、
請求項3に記載の測距装置。 - 前記演算手段は、前記重み付け平均における重みを、前記複数の波長ごとの前記暫定距離値の信頼度に応じた値として決定する、
請求項4に記載の測距装置。 - 前記演算手段は、
前記第1の画像および前記第2の画像から、前記複数の波長の画素信号から輝度を表す第1の輝度画像および第2の輝度画像をそれぞれ生成し、
前記第1の輝度画像と前記第2の輝度画像の視差量に基づいて前記距離値を決定する、
請求項2に記載の測距装置。 - 前記第1の画像および前記第2の画像は、前記複数の波長のうちの第1の波長成分および第2の波長成分の画像であり、
前記演算手段は、前記第1の画像および前記第2の画像のあいだの空間周波数の変化をもとに前記距離値を決定する、
請求項1に記載の測距装置。 - 前記撮像手段は、前記複数の波長を含む帯域に分光特性を有する撮像素子を備える、
請求項1から7のいずれか1項に記載の測距装置。 - 前記複数の波長は、波長600±25nm以内の赤色、波長550±25nm以内の緑色、波長450±25nm以内の青色の波長を含む、
請求項8に記載の測距装置。 - 前記複数の波長ごとの投影ピント位置を決定するピント位置決定手段をさらに備え、
決定されたピント位置を、前記パターン照明を投影する投影装置に対して出力する、
請求項1から9のいずれか1項に記載の測距装置。 - 複数の波長からなるパターン照明を投影可能であり、波長ごとに投影ピント位置を変更
可能な投影装置と、
請求項1から9のいずれか1項に記載の測距装置と、
前記複数の波長ごとの投影ピント位置を決定するピント位置決定手段と、
を備える、測距システム。 - 前記ピント位置決定手段は、前記複数の波長の投影ピント位置の差が、第1の波長の前方焦点深度または後方焦点深度以上となるように決定する、
請求項11に記載の測距システム。 - 前記複数の波長は、第1の波長、第2の波長および第3の波長の少なくとも3つの波長を含み、
前記第2の波長の投影ピント位置は、前記第1の波長の投影ピント位置よりも前記第1の波長の前方焦点深度以上、前方であり、
前記第3の波長の投影ピント位置は、前記第1の波長の投影ピント位置よりも前記第1の波長の後方焦点深度以上、後方である、
請求項12に記載の測距システム。 - 前記ピント位置決定手段は、
仮測距に基づいて距離ヒストグラムを取得し、
前記距離ヒストグラムが単峰性の場合には、前記距離ヒストグラムのピーク範囲を前記複数の波長の数で分割して、分割された範囲に含まれる距離をそれぞれの波長の投影ピント位置を決定し、
前記距離ヒストグラムが多峰性の場合には、それぞれのピーク範囲に含まれる距離値の度数が高いピークから順に、当該ピークに含まれる距離を投影ピント位置として決定する、
請求項12に記載の測距システム。 - 前記ピント位置決定手段は、前記撮像手段の色収差を軽減するように、投影ピント位置と波長の対応付けを決定する、
請求項12から14のいずれか1項に記載の測距システム。 - 前記ピント位置決定手段は、被写体の色分布に基づいて、前記複数の波長の投影ピント位置を決定する、
請求項11に記載の測距システム。 - 投影装置と測距装置を含む測距システムにおける測距方法であって、
前記投影装置が、複数の波長からなるパターン照明であって、投影ピント位置が波長ごとに異なるパターン照明を投影する第1ステップと、
前記測距装置が、前記投影装置からのパターン照明が投影された被写体の第1の画像および第2の画像を取得する第2ステップと、
前記測距装置が、前記第1の画像および前記第2の画像に基づいて距離値を決定する第3ステップと、
を含む、測距方法。 - コンピュータを、請求項1から10のいずれか1項に記載の測距装置の各手段、または、請求項11から16のいずれか1項に記載の測距システムの各手段として機能させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017085395A JP6983531B2 (ja) | 2017-04-24 | 2017-04-24 | 測距装置、測距システム、および測距方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017085395A JP6983531B2 (ja) | 2017-04-24 | 2017-04-24 | 測距装置、測距システム、および測距方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018185162A true JP2018185162A (ja) | 2018-11-22 |
JP6983531B2 JP6983531B2 (ja) | 2021-12-17 |
Family
ID=64355834
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017085395A Active JP6983531B2 (ja) | 2017-04-24 | 2017-04-24 | 測距装置、測距システム、および測距方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6983531B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113820695A (zh) * | 2021-09-17 | 2021-12-21 | 深圳市睿联技术股份有限公司 | 测距方法与装置、终端系统及计算机可读存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003007994A (ja) * | 2001-06-27 | 2003-01-10 | Konica Corp | 固体撮像素子、立体カメラ装置及び測距装置 |
JP2003150936A (ja) * | 2001-11-08 | 2003-05-23 | Fuji Heavy Ind Ltd | 画像処理装置および画像処理方法 |
JP2003150937A (ja) * | 2001-11-09 | 2003-05-23 | Fuji Heavy Ind Ltd | 画像処理装置および画像処理方法 |
JP2008145121A (ja) * | 2006-12-06 | 2008-06-26 | Nikon Corp | 三次元形状測定装置 |
JP2013190814A (ja) * | 2008-03-27 | 2013-09-26 | Kyocera Corp | 複合光伝送基板および光モジュール |
JP2016061609A (ja) * | 2014-09-16 | 2016-04-25 | キヤノン株式会社 | 距離計測装置、撮像装置、および距離計測方法 |
JP2016090568A (ja) * | 2014-10-31 | 2016-05-23 | キヤノン株式会社 | 距離計測装置、撮像装置、および距離計測方法 |
-
2017
- 2017-04-24 JP JP2017085395A patent/JP6983531B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003007994A (ja) * | 2001-06-27 | 2003-01-10 | Konica Corp | 固体撮像素子、立体カメラ装置及び測距装置 |
JP2003150936A (ja) * | 2001-11-08 | 2003-05-23 | Fuji Heavy Ind Ltd | 画像処理装置および画像処理方法 |
JP2003150937A (ja) * | 2001-11-09 | 2003-05-23 | Fuji Heavy Ind Ltd | 画像処理装置および画像処理方法 |
JP2008145121A (ja) * | 2006-12-06 | 2008-06-26 | Nikon Corp | 三次元形状測定装置 |
JP2013190814A (ja) * | 2008-03-27 | 2013-09-26 | Kyocera Corp | 複合光伝送基板および光モジュール |
JP2016061609A (ja) * | 2014-09-16 | 2016-04-25 | キヤノン株式会社 | 距離計測装置、撮像装置、および距離計測方法 |
JP2016090568A (ja) * | 2014-10-31 | 2016-05-23 | キヤノン株式会社 | 距離計測装置、撮像装置、および距離計測方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113820695A (zh) * | 2021-09-17 | 2021-12-21 | 深圳市睿联技术股份有限公司 | 测距方法与装置、终端系统及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP6983531B2 (ja) | 2021-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10567646B2 (en) | Imaging apparatus and imaging method | |
JP5263310B2 (ja) | 画像生成装置、撮像装置、画像生成方法 | |
WO2013027504A1 (ja) | 撮像装置 | |
JP2017184217A (ja) | 画像処理装置、撮像装置およびこれらの制御方法ならびにプログラム | |
US9894339B2 (en) | Image processing apparatus, image processing method and program | |
JP2015046019A (ja) | 画像処理装置、撮像装置、撮像システム、画像処理方法、プログラム、および、記憶媒体 | |
WO2013005489A1 (ja) | 撮像装置、画像処理装置 | |
US11812137B2 (en) | Measurement apparatus, image capturing apparatus, control method, and recording medium | |
US11808561B2 (en) | Electronic apparatus for controlling a projector to project an image onto a screen at an actual size length, control method thereof and computer readable storage medium | |
JP2017102637A (ja) | 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体 | |
JP2010177860A (ja) | 画像合成装置、撮像装置、画像合成方法 | |
JP2019179463A (ja) | 画像処理装置、その制御方法、プログラム、記録媒体 | |
JP6983531B2 (ja) | 測距装置、測距システム、および測距方法 | |
JP2019071596A (ja) | 撮像装置およびその制御方法 | |
WO2020084894A1 (ja) | マルチカメラシステム、制御値算出方法及び制御装置 | |
WO2018235709A1 (ja) | 測距カメラおよび測距方法 | |
JP7210170B2 (ja) | 処理装置、処理システム、撮像装置、処理方法、プログラム、および、記録媒体 | |
KR20130024125A (ko) | 스테레오 카메라의 노출조정 장치, 스테레오 카메라 및 그의 노출조정방법 | |
WO2017163588A1 (ja) | 画像処理装置、撮像装置およびこれらの制御方法ならびにプログラム | |
JP7309425B2 (ja) | 処理装置、処理システム、撮像装置、処理方法、および、プログラム | |
JP2023132730A (ja) | 画像処理装置及び画像処理方法 | |
JP6415139B2 (ja) | 焦点検出装置、撮像装置、焦点検出方法および焦点検出プログラム | |
JP6153424B2 (ja) | 焦点検出装置および撮像装置並びに焦点検出方法、プログラム | |
JP2013149043A (ja) | 画像処理装置 | |
JP2000354251A (ja) | 2板式撮像装置および2板式撮像装置を備えるカメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20181116 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200403 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210309 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210422 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211026 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211124 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6983531 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |