JP2018185162A - 測距装置、測距システム、および測距方法 - Google Patents

Abstract

【課題】被写体に模様の乏しい領域がある場合でも、より広い奥行き範囲に対して精度良く距離測定を行う。【解決手段】測距装置は、複数の波長からなるパターン照明であって、投影ピント位置が波長ごとに異なるパターン照明が投影された被写体の第１の画像および第２の画像を取得する撮像手段と、前記第１の画像および前記第２の画像に基づいて距離値を決定する演算手段と、を備える。【選択図】図１

Description

本発明は、測距装置、測距システム、および測距方法に関する。

画像を撮影し、その撮影画像から距離情報を算出する手法が提案されている。例えば、異なる視点からの画像を取得し、各画像間の相関値から視差量を求め、距離情報を取得する手法が知られている。このとき、撮影画像中に模様（テクスチャ）の乏しい領域がある場合、相関値の算出精度が低下し、測距精度が低下する。また、合焦位置をずらした２つの画像のぼけの違いから距離情報を取得する手法においても、テクスチャが乏しい領域では算出精度が低下する。

これに対してパターン投影を併用して撮影画像の取得を行い、元々は模様の乏しい領域でも測距精度の低下を抑制する手法が提案されている。パターン投影を用いる場合、撮影画像における投影パターンの鮮鋭度が測距精度に影響を与える。そこで、投影側の焦点深度を拡大させる手法が提案されている。特許文献１では、パターン投影の光源にレーザ光の平行光を用い、複数の平行光を合波した後に回折パターンを生成し投影することで、奥行き方向に広い範囲でピントの合ったパターン投影を行っている。

特開２０１５−１０９８７号公報

特許文献１のように、レーザ光の平行光を用いてパターン投影を行う場合、レーザ光のビームウェストにより投影側の焦点深度が制限される。したがって、ビームウェストで制限される奥行き範囲を越えて、投影パターンのピントを合わせることは難しい。すなわち、測距精度が向上される奥行き範囲が限定されてしまう。

本発明の目的は、被写体に模様の乏しい領域がある場合でも、より広い奥行き範囲に対して精度良く距離測定が可能な技術を提供することである。

本発明の第一の態様は、
複数の波長からなるパターン照明であって、投影ピント位置が波長ごとに異なるパターン照明が投影された被写体の第１の画像および第２の画像を取得する撮像手段と、
前記第１の画像および前記第２の画像に基づいて距離値を決定する演算手段と、
を備える、測距装置である。

本発明の第二の態様は、
複数の波長からなるパターン照明を投影可能であり、波長ごとに投影ピント位置を変更可能な投影装置と、
上述の測距装置と、
前記複数の波長ごとの投影ピント位置を決定するピント位置決定手段と、
を備える、測距システムである。

本発明の第三の態様は、
投影装置と測距装置を含む測距システムにおける測距方法であって、
前記投影装置が、複数の波長からなるパターン照明であって、投影ピント位置が波長ごとに異なるパターン照明を投影する第１ステップと、
前記測距装置が、前記投影装置からのパターン照明が投影された被写体の第１の画像および第２の画像を取得する第２ステップと、
前記測距装置が、前記第１の画像および前記第２の画像に基づいて距離値を決定する第３ステップと、
を含む、測距方法である。

本発明によれば、被写体に模様の乏しい領域がある場合でも、より広い奥行き範囲に対して精度良く距離測定が可能となる。

第１の実施形態に係る測距システムの概要を示す図。 第１の実施形態に係る測距システムの構成を示す図。 第１の実施形態における距離測定処理の流れを示すフローチャート。 第１の実施形態におけるピント位置決定処理を説明する図。 従来技術の問題点を説明する図。 第２の実施形態における距離測定処理を説明する図。 第３の実施形態における色収差を考慮したピント位置決定を説明する図。 第４の実施形態における色分布を考慮したピント位置決定を説明する図。

本発明の実施形態を、図面を用いて詳細に説明する。本発明の技術的範囲は以下で説明される実施形態に内容に限定されない。また、各実施形態を適宜組み合わせても良い。

（第１の実施形態）
＜概要＞
図１（Ａ）は、本実施形態に係る測距システム１００の概略構成を示す図である。測距システム１００は、パターン投影を行う投影装置１０１と、撮像および距離計測を行う測距装置（カメラ装置）１０３を含んで構成される。測距システム１００では、投影装置１０１から被写体１０２へパターン投影を行った状態で、測距装置１０３が２枚の視差画像を撮影し、画像間の視差量に基づいて被写体距離を求める。

被写体１０２の模様（テクスチャともいう）が乏しいときに、周辺環境光や均一照明光のみで撮影をすると、視差画像のコントラストやＳ／Ｎ比が低下し、相関値ピークの算出精度が低下する。これに伴い、測距精度も低下する。このため本実施形態では、投影装置１０１からパターン光の投影を行い、被写体１０２の表面にテクスチャを重畳した状態で撮影を行い、相関値ひいては測距演算の精度を向上させる。

このようにパターン投影を併用して撮影した視差画像を用いて相関演算を行うことでテクスチャの乏しい被写体に対しても測距精度の低下を防ぐことができるが、被写体表面に投影されているパターンの鮮鋭度で相関演算の算出精度が決まってしまう。

図５に示すように、奥行き方向に異なる位置にある複数の被写体５０１、５０２、５０３を対象に距離測定する場合、パターン照明のピント位置をどの被写体に合わせてもその他の被写体にはピントが合わず投影パターンの鮮鋭度が低下してしまう。複数の被写体が存在する場合だけでなく、奥行き方向に距離分布を有する被写体を対象に距離測定する場合も同様である。図５では、ピントが合っている投影パターンを点線で囲って示している
。この例では、被写体５０１に投影パターンのピントを合わせているため、被写体５０１上の投影パターン５１１は鮮鋭度が高いが、被写体５０２，５０３上の投影パターン５１２，５１３は鮮鋭度が低下している。

この課題に対して本実施形態では、投影装置１０１から投影するパターン光のピント位置を波長ごとに変更することで、被写体の距離方向分布が広い場合でも精度の良い測距精度を可能とする。その概要を図１（Ｂ）に示す。投影装置からの投影パターンはλ１、λ２、λ３からなる複数の波長で作成したパターンから構成される。図１（Ｂ）では、ピントが合っている投影パターンを点線で囲って示している。被写体１５１が存在する距離へはλ１の投影パターンのピント位置が合うように投影する。同様に被写体１５２が存在する距離（被写体１５１より近距離）へはλ２の投影パターンのピント位置が合うように投影し、被写体１５３が存在する距離（被写体１５１より遠距離）へはλ３の投影パターンのピント位置が合うように投影している。本実施形態では、波長λ１、λ２、λ３として、それぞれ、緑色（Ｇ）、青色（Ｂ）、赤色（Ｒ）の波長帯を用いる。

図１（Ｃ）は本実施形態における距離測定処理を簡略化して示した図である。測距装置１０３は、視差画像のそれぞれ（Ａ像およびＢ像とも称する）から、各波長成分の画像、すなわち、ＲＧＢ各色のみの画素から作成したＲ画像、Ｇ画像、Ｂ画像を取得する。Ｒ画像、Ｇ画像、Ｂ画像において、投影パターンのピント位置（奥行き距離）はそれぞれ異なる。測距装置１０３は、Ｒ画像のペア、Ｇ画像のペア、Ｂ画像のペアのそれぞれから暫定距離値を算出し、これらの暫定距離値を合成して最終的な距離値を求める。このようにして距離値を求めることにより、投影パターンの焦点深度を拡大した場合と同等の効果が得られ、より広い距離範囲について精度の良い距離測定が実現できる。

＜構成＞
以下、投影装置１０１および測距装置１０３の構成をより詳細に説明する。

図２（Ａ）は、投影装置１０１の構成を示した図である。本実施形態では、投影装置１０１としてＬＣＯＳ（Liquid Crystal on Silicon）を用いた反射型プロジェクタを採用
する。すなわち、投影装置１０１は、光源２０１、拡大平行光学系２０２、偏光ビームスプリッター２０４（Ｇ）および２０６（Ｒ，Ｂ）、ＬＣＯＳ２０５（Ｇ）、２０７（Ｒ）、２０８（Ｂ）、ダイクロイックミラー２０９、投影光学系２１０を備える。

光源２０１は白色光を発し、緑色光（Ｇ）の光束はダイクロイックミラー２０３を透過し偏光ビームスプリッター２０４からＬＣＯＳ（Ｇ）２０５に入射する。ダイクロイックミラー２０３を反射した赤色光（Ｒ）および青色光（Ｂ）は、偏光ビームスプリッター２０６によって分割されて、それぞれＬＣＯＳ２０７（Ｒ）およびＬＣＯＳ２０８（Ｂ）に入射する。ＬＣＯＳによって変調された赤色・緑色・青色の光は、それぞれ合成されて投影光学系２１０から投影される。また、投影装置１０１は、ＲＧＢごとの光路長を変化させるピント調整機構を有し、ＲＧＢごとに投影ピント位置（距離）を調整可能である。

ここでは、ＬＣＯＳを用いた反射型プロジェクタの例を示したが、ＤＬＰ（Digital Light Processing）を用いた反射型プロジェクタや、透過型液晶パネルを用いた透過型プロジェクタを採用してもよい。

図２（Ｂ）は、投影装置１０１が投影するパターン光の例を示した図である。投影パターンは特に限定されないが、相関演算を行う探索範囲内において非周期とみなせるランダムドットパターンを用いることが望ましい。図２（Ｂ）に示すようなランダムドットパターンは、縦横（ｘｙ）のどちらの方向に対してもランダム周期とみなせるため、相関演算のウィンドウ形状や、第一の画素と第二の画素の分割配置する方向に制限が生じないため
好適である。

図２（Ｃ）は、測距装置（カメラ装置）１０３の構成を示した図である。測距装置１０３は、カメラボディ２２１、撮像レンズ２２２、撮像素子２２３、演算処理部２２４、本体メモリ２２５を備える。

測距装置１０３は視差画像を取得できるよう撮像素子２２３の各画素が同一方向に対し分割された構成を備える。図２（Ｄ）は、撮像素子２２３中の一つの画素の断面図を示す。図示されるように、撮像素子の各画像は、マイクロレンズ２３１、カラーフィルタ２３２、２つの光電変換部２３０Ａ、２３０Ｂを含んで構成されている。撮像素子２２３は画素毎にカラーフィルタ２３２によって検出する波長帯域に応じたＲＧＢ（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ）の分光特性が与えられ、図示しない公知の配色パターンによってｘｙ平面上に配置されている。基板２３３には、検出する波長帯域に感度を有する光電変換部が形成されている。また、各画素には、図示しない配線を備えている。

光電変換部２３０Ａおよび光電変換部２３０Ｂには、それぞれ射出瞳の異なる領域である第１の瞳領域を通過した第一の光束および第二の瞳領域を通過した第二の光束が入射し、それぞれ第一の信号および第二の信号を得る。第一の画素である光電変換部２３０Ａから取得した第一の信号から第一の像であるＡ像を形成し、第二の画素である光電変換部２３０Ｂから取得した第二の信号から第二の像であるＢ像を形成する。取得されたＡ像とＢ像は演算手段である演算処理部２２４に伝送され測距演算処理が施される。

演算処理部２２４は、Ａ像とＢ像に対して測距演算処理を施して画素ごとに被写体の距離値を算出し、本体メモリ２２５に格納する。測距演算処理は公知の手法によって行えば良く、本実施形態ではＳＳＤ（Sum of Squared Difference）によって相関値を算出し、
相関値から視差量（像ずれ量ともいう）を求め、視差量を距離値へ変換する。本実施形態では、距離値としてデフォーカス量を用いる。視差量から距離値（デフォーカス量）への変換は、光学系パラメータに基づく変換係数を用いて行われる。

距離値は、ある基準点と被写体とのあいだの距離に応じた値であれば任意のものを採用できる。典型的には、撮像装置と被写体とのあいだの距離（絶対距離）が距離値に相当する。距離値は、一般には、撮像装置と被写体とのあいだの距離から求めれるその他の値であってもよい。距離値のその他の例は、１画像のフォーカス位置と被写体のあいだの距離、２画像のフォーカス位置の中間位置と被写体のあいだの距離である。また、距離情報は、像面側での距離、物体側での距離のどちらであっても良い。また、距離値は、実空間の距離で表されてもよいし、デフォーカス量や視差量など実空間距離に換算できる量で表されてもよい。このように距離値は、撮像装置と被写体のあいだの距離（絶対距離）に依存して変化する値である。したがって、距離値は距離依存値と称することもできる。

演算処理部２２４は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰ
ＧＡ（Field Programmable Gate Array）を用いて構成することができる。演算処理部２
２４の別の形態として、マイクロプロセッサと演算処理プログラムとを格納するメモリから構成し、マイクロプロセッサが演算処理プログラムを実行することで上記の各機能を提供してもよい。

＜距離測定処理＞
図３は、本実施形態における距離測定処理のフローチャートである。以下、図３を参照しながら本実施形態における測距方法について説明する。なお、この距離測定処理における各ステップの実行順序は適宜変更してもよく、また、複数の処理ステップを並列に実行してもよいことは、当業者であれば理解できるであろう。

まず、ステップＳ１０１において投影装置１０１からパターン光を投影した状態で、測距装置１０３が撮影処理を行う。ステップＳ１０２において、測距装置１０３は、Ａ像およびＢ像のそれぞれについて、Ｒ画像、Ｇ画像、Ｂ画像を取得する。上述のように、Ａ像は第１の瞳領域を通過した光束からなる像、すなわち、光電変換部２３０Ａから取得した信号からなる像である。同様に、Ｂ像は第２の瞳領域を通過した光束からなる像、すなわち、光電変換部２３０Ｂから取得した信号からなる像である。以下では、Ａ像およびＢ像を表す画像を第１の画像および第２の画像と称し、Ａ像のＲ画像・Ｇ画像・Ｂ画像をそれぞれＲ１画像・Ｇ１画像・Ｂ１画像と称し、Ｂ像のＲ画像・Ｇ画像・Ｂ画像をそれぞれＲ２画像・Ｇ２画像・Ｂ２画像と称する。各ＲＧＢ画像は、演算処理部２２４が第１の画像および第２の画像に対してデモザイキング処理を施すことによって得られる。あるいは、デモザイキング処理を施す前のＲＧＢそれぞれの画素信号をＲ画像・Ｇ画像・Ｂ画像として用いてもかまわない。

ループＬ１は、測距対象画素ごとに実行される処理である。本実施形態では、測距対象画素は全画素とするが、一部の画素のみを測距対象画素としてもよい。

ループＬ２に含まれるステップＳ１０３およびＳ１０４の処理は、Ｒ画像、Ｇ画像、Ｂ画像それぞれに実行される。

ステップＳ１０３において、演算処理部２２４は、第１の画像と第２の画像の間の視差量（相対的な位置ズレ量）を算出する。以下では、Ｒ画像を例にとって、以下の算出手順を説明する。まず、Ｒ１画像内に注目点（注目画素）が設定され、注目点を中心とする照合領域が設定される。次に、Ｒ２画像内の上記注目点に対応する位置に参照点が設定され、参照点を中心とする参照領域が設定される。演算処理部２２４は、参照点を順次移動させながら、照合領域内に含まれるＲ１画像と参照領域内に含まれるＲ２画像間の相関度を算出し、最も相関が高い参照点を上記注目点に対応する対応点（対応画素）とする。演算処理部２２４は、注目点と対応点間の相対的な位置のズレ量を、注目点における位置ズレ量として決定する。注目点を順次移動させながら位置ズレ量を算出することで、複数の画素位置における位置ズレ量を算出することができる。相関度は、上述のようにＳＳＤによって評価できる。Ｇ１画像とＧ２画像の間の視差量、Ｂ１画像とＢ２画像の間の視差量も同様に算出できる。

ステップＳ１０４において、演算処理部２２４は、所定の変換係数を用いて、各色の画像の視差量を暫定的な距離値（暫定距離値）に変換する。距離値は、測距装置１０３と被写体の間の距離に換算可能な値である。本実施形態では、距離値として、撮像素子と結像光学系の焦点との間の距離であるデフォーカス量を採用する。所定の変換係数をＧａｉｎ、デフォーカス量をΔＬ、視差量をｄとしたとき、変換式ΔＬ＝Ｇａｉｎ× ｄによって
、視差量ｄをデフォーカス量ΔＬに変換することができる。

ループＬ２の処理が完了すると、Ｒ画像・Ｇ画像・Ｂ画像のそれぞれについて暫定距離値が得られる。ステップＳ１０５において、演算処理部２２４はこれらの暫定距離値を合成することにより、測距対象画素についての最終的な距離値を算出する。

合成処理の一例として、Ｒ画像・Ｇ画像・Ｂ画像のそれぞれから得られる距離値の単純平均を採用できる。単純平均を用いた距離値の合成は、計算コスト削減の観点から好適である。

合成処理の別の例として、重み付け平均を採用できる。加重平均を用いた距離値の合成は、測距精度向上の観点から好適である。重みは、Ｒ画像・Ｇ画像・Ｂ画像それぞれにお
ける距離値の信頼度に応じた値とすることが好適である。距離値の信頼度は、視差量算出時に得られる相関度の高さや、画像中のコントラスト変化の大きさなどに基づいて決定することができる。また、重みは、投影装置１０１からの投影パターンのピント位置に基づいて決定してもよい。具体的には、各波長（色）について、投影ピント位置と距離値の差が小さいほど重みを大きく設定すればよい。

＜ピント位置決定処理＞
以下、図を参照しながら、本実施形態に係る投影装置１０１の、投影パターンのピント位置（合焦位置）の決定方法について説明する。上述したように、本実施形態に係る投影装置１０１は赤色・緑色・青色の３色からなる投影パターンを投影可能であり、かつ、各色の投影パターンのピント位置を個別に変更可能である。ここでは、各色についてピント位置の決定方法について説明する。ピント位置とパターン色の対応付けには任意性があるので、投影装置１０１が投影するパターン色の波長をλ１、λ２、λ３として説明する。言い換えると、λ１、λ２、λ３を赤色・緑色・青色のいずれに対応させるかは適宜決定可能である。

ここでは、測距装置１０３の演算処理部２２４が波長ごとのピント位置を決定し、決定結果を投影装置１０１に出力・通知するものとして説明を行う。ただし、ピント位置決定処理の一部または全部は、投影装置１０１内の演算処理部が実施してもかまわない。

［処理例１］
図４（Ａ）は、ピント位置決定処理の第１の例を示すフローチャートである。まず、ステップＳ２１１において、演算処理部２２４は、波長λ１のピント位置Ｌ１を決定する。具体的な決定手法はいくつか考えられる。

第１の手法は、仮測距を行って合焦対象被写体の距離値（仮測距値）を求めて、この距離を波長λ１のピント位置として決定する手法である。ここでの仮測距はどのように行われてもよく、周辺環境光のみを用いた撮影や、投影装置１０１から均一照明を投影したりパターン光（各色でピント位置が同一でも異なっていてもよい）を投影したりして行う撮影が該当する。仮測距は、投影装置１０１のピント位置を決定するための処理であるので、実際の測距（本測距）よりも簡易的な処理として実装してもかまわない。また、合焦対象被写体の決定方法も任意であってよい。たとえば、ユーザによって指定された画素位置にある被写体を合焦対象として決定したり、画像中で最も大きいあるいは最も顕著な被写体を演算処理部２２４が求めて合焦対象として決定したりすることが考えられる。あるいは仮測距において最も出現頻度が高い距離値を、波長λ１のピント位置として決定してもよい。

第２の手法は、あらかじめ設定された固定値を波長λ１のピント位置として決定する手法である。この固定値は、ユーザによって変更が可能な値であってもよいし、装置固有の変更不可能な値であってもよい。また、この固定値は、測距装置１０３の撮影パラメータに応じて決定されてもよい。

ステップＳ２１２において、演算処理部２２４は、波長λ１のパターン投影の焦点深度に基づいて波長λ２およびλ３のピント位置Ｌ２およびＬ３を決定する。より具体的には、波長λ１のピント位置Ｌ１から前方に前方焦点深度Ｔｆだけ離れた位置をピント位置Ｌ２として決定（Ｌ２＝Ｌ１−Ｔｆ）し、ピント位置Ｌ１から後方に後方焦点深度Ｔｒだけ離れた位置をピント位置Ｌ３として決定（Ｌ３＝Ｌ１＋Ｔｒ）する。

波長λ１についての前方焦点深度Ｔｆおよび後方焦点深度Ｔｒは下記の式によって算出される。ここで、ｆはレンズの焦点距離、ＦはＦ値、δは投影装置内の画素サイズである
。

たとえば、投影装置１０１の特性が、ｆ＝３０ｍｍ、Ｆ＝２、δ＝０．０１ｍｍであるとする。このとき、前方焦点深度Ｔｆ＝５００ｍｍとなり、波長λ２のピント位置Ｌ２はＬ２＝Ｌ１−Ｔｆ＝４５００ｍｍとなる。また、後方焦点深度Ｔｒ＝６２５ｍｍとなり、波長λ３のピント位置Ｌ３はＬ３＝Ｌ１＋Ｔｒ＝５６２５ｍｍとなる。

本手法によれば、特定の距離（ステップＳ２１１において求めた距離）付近について精度の良い測距が行える。上述のように各波長のピント位置を決定することで、Ｌ２からＬ３の距離範囲の任意の位置（距離）においていずれかのピント位置Ｌ１〜Ｌ３との差が、投影パターンが画素サイズの影響以上にぼける距離の半値となる。これにより、いずれかの波長の投影パターンのピントが合うことが保証されるとともに、互いの投影ピント位置が互いに近すぎて本手法の効果が十分に得られない状況を回避できる。

上記の焦点深度を求める際に許容錯乱円径として投影装置１０１内の画素サイズを用いているが、許容錯乱円径の値はこれ以外の適宜の値を利用してもかまわない。

また、ピント位置Ｌ２およびＬ３は、必ずしも上記のようにＬ２＝Ｌ１−Ｔｆ、Ｌ３＝Ｌ１＋Ｔｒによって求める必要はなく、Ｌ２＝Ｌ１−ａ×Ｔｆ、Ｌ３＝Ｌ１＋ｂ×Ｔｒとして求めてもよい。ここで、ａ，ｂは１以上の値である。すなわち、波長λ２の投影ピント位置Ｌ２は、波長λ１の投影ピント位置Ｌ１よりも波長λ１の前方焦点深度以上、前方とし、波長λ３の投影ピント位置Ｌ３は、波長λ１の投影ピント位置Ｌ１よりも波長λ１の後方焦点深度以上、後方としてもよい。

ただし、ピントが合う距離範囲に抜けが生じないようにするためには、Ｌ２はＬ１−（Ｔｆ＋Ｔｒ２）以上とし、Ｌ３はＬ１＋（Ｔｒ＋Ｔｆ３）以下とすることが好ましい。ここでＴｒ２は波長λ２の投影パターンの後方焦点深度であり、Ｔｆ３は波長λ３の投影パターンの前方焦点深度である。

もっとも、投影パターンのピントが合う距離範囲の抜けを許容すればこれらの条件は満たさなくてもよい。波長ごとの投影パターンのピントが合う距離範囲に重なりがないということは、全体としてピントが合う距離範囲を最大化できるという観点から好適である。

［処理例２］
図４（Ｂ）は、ピント位置決定処理の第２の例を示すフローチャートである。この処理では、仮測距によって被写体が存在する距離を求め、被写体が存在する距離に対してピント位置を設定する。

まず、ステップＳ２２１において、演算処理部２２４は、仮測距の結果に基づいて距離ヒストグラムを取得する。仮測距については上記で説明したので繰り返しの説明は省略する。

ステップＳ２２２において、演算処理部２２４は距離ヒストグラムにおけるピークを求め、ピークが１つであるか複数であるか、すなわち分布が単峰性であるか多峰性であるか
判断する。なお、ピークを求める際に、焦点深度と比較して十分に近い複数のピークは１つのピーク（峰）としてみなしてよい。

ステップＳ２２２において分布が単峰性であると判定された場合には、ステップＳ２２３に進む。ステップＳ２２３では、演算処理部２２４は、ピーク範囲を波長数で分割して各波長のピント位置を求める。たとえば図４（Ｃ）に示すように、１つのピーク４０１が得られた場合を考える。演算処理部２２４は、ピーク４０１の下限値Ｌｍｉｎと上限値Ｌｍａｘの範囲を波長数（本実施形態では３個）に分割し、分割範囲の中心値をそれぞれの波長のピント位置Ｌ１〜Ｌ３として決定する。

ステップＳ２２３において分布が多峰性であると判定された場合には、ステップＳ２２４に進む。ステップＳ２２４では、演算処理部２２４は、含まれる度数が多いピークから順番に、ピーク中心値にピント位置を設定する。たとえば図４（Ｄ）に示すように、４つのピーク４１１、４１２，４１４，４１４が得られた場合を考える。さらに、含まれる度数は、ピーク４１２，４１１，４１４，４１３の順番で多いものとする。本実施形態では投影装置１０１の波長数は３つであるので、この場合、演算処理部２２４は、含まれる度数が最も多い３つのピーク４１２，４１１，４１４の中心値をピント位置Ｌ１〜Ｌ３として決定する。

なお、ピント位置を設定するピークは、含まれる度数が多いものから順番としなくてもよい。たとえば、被写体の重要度も考慮して、重要度と含まれる度数の両方に基づいて優先度を決定し、優先度が高いピークから順番にピント位置を設定してもよい。被写体の重要度はどのように求めてもよく、たとえば、ユーザからの指定に基づいて決定したり、画像認識処理によって決定したりしてもよい。

なお、ここでは分布から得られるピークの数が投影装置１０１の波長数よりも多い場合について検討したが、ピーク数が波長数よりも少ない場合には、次のようにピント位置を決定すればよい。まず、ピークごとに割り当てる波長数を決定する。この際、割り当てる波長数は、ピークに含まれる度数に応じた数とすることができる。そして、１つの波長のみが割り当てられたピークについてはその中心値をピント位置とし、複数の波長が割り当てられたピークについてはステップＳ２２３と同様の処理により各波長のピント位置を決定すればよい。

この手法によれば、仮測距により算出された各被写体に投影ピント位置を設定でき、測距精度が向上する。

［処理例３］
ピント位置決定処理の第３の例は、仮測距を行って距離分布が存在する範囲に基づいて決定する処理である。たとえば、投影装置１０１の波長数が３つの場合には、距離分布が存在する範囲の、中心値・最大値・最小値にピント位置を設定する。この手法は、被写体の距離が比較的狭い範囲に集中しているときに有効な処理といえる。

［その他の処理例］
上記の処理例２，３では、仮測距における全ての被写体（画素）の距離値を利用して波長ごとのピント位置を決定している。パターン投影を行う理由がテクスチャの乏しい被写体の測距精度向上であることを鑑みると、ピント位置の決定においてはテクスチャの乏しい被写体のみ距離値のみを考慮してもよい。たとえば、ステップＳ２２１において距離ヒストグラムを作成する際に、テクスチャの乏しい被写体のみに基づいてヒストグラムを作成してもよい。

＜本実施形態の有利な効果＞
本実施形態によれば、投影装置１０１からパターン照明を投影しているので、テクスチャの乏しい被写体に対しても精度の良い距離測定を行える。さらに、パターン照明のピント位置を波長ごとに変更しているので、パターン照明の焦点深度を拡大したのと同等の効果が得られ、より広い距離範囲について精度の良い距離測定が可能である。

（第１の実施形態の変形例）
第１の実施形態では、撮像素子２２３内に同一画素内にＡ画素およびＢ画素（第１および第２の光電変換部）が配置された構成であるが、視差のある複数の画像が取得できれば上記の構成以外を採用してもよい。たとえば、一部の画素が第１の瞳領域を通過した光束が入射するＡ画素であり、他の一部の画素が第２の瞳領域を通過した光束が入射するＢ画素である撮像素子を利用してもよい。このような撮像素子は、半導体作製プロセスが容易であり作製コストを低減できるという観点から好適である。

また、測距装置（カメラ装置）１０３は二眼を有するステレオカメラの構成でも良い。これは測距分解能を規定する基線長の設計自由度が向上するため、距離算出精度の観点から好適である。

相関演算手法はＳＳＤに限定されず、ＳＡＤ（Sum of Absolute Difference）やＮＣＣ（Normalized Cross-Correlation）、ＰＯＣ（Phase Only Correlation）など各種手法を用いてもよい。

距離測定処理において、デモザイキング処理を施して得られるＲＧＢ画像について視差量を求める代わりに、光電変換部から読み出されるＲＧＢそれぞれの画素信号を用いて視差量を用いてもかまわない。すなわち、演算処理部はデモザイキング処理前のＲＧＢ画素信号のそれぞれをＲ画像・Ｇ画像・Ｂ画像として用いて視差量および暫定距離値を求め、これら複数の暫定距離値を合成することにより最終的な距離値を求めてもよい。合成方法は上記と同様でよい。

距離測定処理において、ＲＧＢ画像のそれぞれの視差量を合成し、合成した視差量をデフォーカス量等に変換してもかまわない。この例では、ＲＧＢ画像それぞれの視差量が本発明の暫定距離値に相当し、合成後の視差量が本発明の距離値に相当すると解釈できる。

投影装置は、波長ごとに投影ピント位置を調整可能であればその具体的な構成は限定されない。たとえば、波長ごとに投影光学系が設けられた投影装置を採用してもよい。

投影装置１０１と測距装置１０３の配置は特に限定されない。光切断法などの空間符号化照明の手法では配置が限定されるが、本実施形態は、投影装置１０１によって投影されたパターンが測距装置１０３で撮影できればよい。したがって、測距装置（カメラ装置）１０３のホットシューなどに取り付ける外付けフラッシュ型の投影装置も操作性向上の観点から好適である。なお、投影装置１０１と測距装置１０３の光軸はほぼ一致することが好ましい。物体の陰になって投影パターンが投影されていない領域が測距装置１０３によって撮影されるのを防止するためである。この観点からも、ホットシューなどに取り付ける外付けのフラッシュ型の投影装置は好適である。

第１の実施形態では、３つの波長の投影パターンの投影ピント位置を異ならせているが、ピントを異ならせる波長の数はこれに限られず２つ以上であれば良い。ただし、第１の実施形態のように測距装置１０３のＲＧＢに対応させた波長の組み合わせは、撮影後の各色画像を分離が容易となるため好適である。一般的なＲＧＢの分光帯域に合わせ、λ１〜λ３は、波長６００付近の赤色、波長５５０付近の緑色、波長４５０付近の青色の波長と
することが望ましい。また、その帯域幅は色によるパターン画像の分離の観点から各波長域が重複しないよう±２５ｎｍ以下であることが望ましい。すなわち、λ１〜λ３は、波長６００±２５ｎｍ以内の赤色、波長５５０±２５ｎｍ以内の緑色、波長４５０±２５ｎｍ以内の青色の波長とすることが望ましい。

さらに、ＲＧＢの波長帯域だけではなくＩＲ（Ｉｎｆｒａ Ｒｅｄ）の波長領域も使用して投影パターンおよび撮像素子の感度を対応させそのパターン画像を取得し、距離算出しても良い。測定用のＲＧＢ画像にパターンが重畳されず、測定用画像と測距用画像の同時取得ができる観点から好適である。

投影パターンを構成する波長とそのピント位置関係の組み合わせは第１の実施形態の手法に限定されず任意の組み合わせを用いてよい。第４の実施形態で後述するように各被写体の分光反射率の分布に基づいて波長とピント位置関係を決定するのも撮影画像のＳ／Ｎ比向上の観点から好適である。

測定対象の被写体は複数でも単体でも良い。被写体が単体の場合、仮測距による距離分布の範囲を、投影パターンを形成する波長の数で分割し各波長の投影ピント位置を決定すればよい。

仮測距を行わず、事前の設定により各波長の投影ピント位置を決定しておき距離測定を行うことも操作容易性の観点から好適である。このとき、撮影装置の撮影レンズの光学特性を取得し、その焦点距離やF値の情報を投影装置側に送ることで各波長の投影ピント位
置を決定することも測距精度向上の観点から好適である。

（第２の実施形態）
本実施形態に係る測距システムの装置構成は第１の実施形態と同様であるが、距離測定処理が第１の実施形態と異なる。以下、図６（Ａ）および図６（Ｂ）を参照して、本実施形態における距離測定処理について説明する。図６（Ａ）は本実施形態における距離測定処理の流れを示すフローチャートを示す。図６（Ｂ）は本実施形態における距離測定処理におけるデータフローを示す。

ステップＳ２０１において投影装置１０１からパターン光を投影した状態で、測距装置１０３が撮影処理を行う。投影装置１０１の投影光のパターンや波長ごとのピント位置は、第１の実施形態と同様である。

ステップＳ２０２において、測距装置１０３はＡ像およびＢ像について、光電変換部２３０Ａ，２３０Ｂからそれぞれ得られるＲＧＢそれぞれの画素信号に基づいて輝度画像を生成する。例えば、ＲＧＢ画素信号からＹＵＶやｌａｂなどの輝度色差信号に変換して、輝度画像（Ｙやｌ）を生成することができる。このように輝度画像を生成することで、輝度画像の鮮鋭度は、ＲＧＢ各波長の画素信号の鮮鋭度を平均化したものとなる。

ループＬ１は、測距対象画素ごとに実行される処理であり、Ａ像およびＢ像の輝度画像の視差量を求めるステップＳ２０３と、視差量から距離値を求めるステップＳ２０４とを含む。これらの処理は、基本的に第１の実施形態におけるステップＳ１０３およびＳ１０４の処理と同様であるため説明を省略する。

本実施形態で得られる輝度画像の鮮鋭度は、ＲＧＢ画像のそれぞれの鮮鋭度を平均化したものとなる。投影装置１０１から投影されるパターン光は波長ごとにピント位置が異なっていることから、広い距離範囲にわたって何れかの波長のパターン光のピントが合っている。したがって、輝度画像におけるパターン光の鮮鋭度が大きく低下することを避けら
れ、広い距離範囲にわたって精度のよい距離測定が行える。

本実施形態において、輝度画像の代わりに、デモザイキング処理後の画像のＧ画像を用いて視差量および距離値を求めてもよい。Ｇ成分は輝度値との相関が高く、また、ベイヤー配列の撮像素子においては画素数が多く解像度が高いことから、Ｇ画像を用いることが好適である。デモザイキング処理により各波長成分が平均化されるので、上記と同様の効果が得られる。

（第３の実施形態）
本実施形態では測距装置（カメラ装置）１０３の結像光学系が保有する軸上色収差の影響を軽減するように各波長の投影ピント位置の組み合わせを決定する。図７（Ａ）に測距装置１０３の撮像レンズ２２２が有する軸上色収差を示す。被写体６００に対し、本実施形態で基準とする波長λ１はセンサ面６１０に結像しているのに対し、波長λ２は光軸６１１に沿ってセンサ面より奥側に結像し、波長λ３は光軸６１１に沿ってセンサ面より手前側に結像する。これをもとに、色収差の影響を軽減するように、各波長のピント位置を指定する。図７（Ｂ）に示す位置関係の被写体６０１、６０２、６０３、に対し各波長λ１、λ２、λ３のピント位置をＯ１１、Ｏ１２、Ｏ１３とする。このように、事前に取得した撮像レンズの光学特性から波長に応じたピント位置の前後傾向を決定できる。

第１の実施形態では、ピント位置Ｌ１〜Ｌ３の決定方法を述べたが、それぞれのピント位置をどの波長に割り当てるかは任意であるとした。本実施形態では、ピント位置が手前から順番にＬ１，Ｌ２，Ｌ３であるとしたときに、色収差を考慮した前後傾向に基づいて、波長λ１，λ２，λ３のピント位置をそれぞれＬ３，Ｌ１，Ｌ２として決定する。これにより、色収差の影響を軽減でき、他の波長とピント位置の組み合わせよりも各波長の結像位置がセンサ面６１０に近づき、各波長での撮影画像の鮮鋭度が向上することで測距精度が向上する。

（第４の実施形態）
本実施形態では、被写体の色分布（分光反射率の分布）に基づいて波長ごとの投影ピント位置を決定することで測距精度を向上させる。本実施形態における処理を図８（Ａ）に示すフローチャートにしたがって説明する。

まず、ステップＳ３０１において、仮測距を行い、演算処理部２２４は仮測距の結果に基づいて、被写体の概略位置（距離）関係と概略色分布を取得する。仮測距は、投影パターンなしの周辺環境光のみを利用した測距であってもよいし、全波長を同じかつ適当なピント位置に投影し行う測距であってもよい。仮測距の結果として、図８（Ｂ）のように被写体７０１、７０２、７０３の概略位置関係と概略色分布を取得できたものとする。概略色分布とは、ＲＧＢ画像をもとに、各画素の輝度値から測光センサから取得した周囲の環境色温度をオフセットとして差し引いたものを指す。

ステップＳ３０２において、演算処理部２２４は、各被写体の概略色分布からピーク波長を取得する。図８（Ｂ）の例では、被写体７０１は波長λ１付近にピーク波長を有し、被写体７０２は波長λ２付近にピーク波長を有し、被写体７０３は波長λ３付近にピーク波長を有することが分かる。

ステップＳ３０３において、演算処理部２２４は、各被写体のピーク波長に最も近い波長の投影パターンを概略距離位置にピント位置を設定する。図８（Ｂ）の例では、被写体７０１のピーク波長がλ１に最も近いことから、λ１の投影ピント位置が、被写体７０１の距離（仮測距の結果）である距離Ｌ１に設定される。同様に、λ２，λ３のピント位置が、被写体７０２，７０３の距離である距離Ｌ２，Ｌ３にそれぞれ設定される。このよう
にして決定されたピント位置にしたがって、投影パターンを投影しながらの測距処理が行われる。

本実施形態のように各波長とそのピント位置を組み合わせることで、その他の組み合わせよりも各被写体からより多くの反射光量が得られ、撮影画像中の各被写体表面のパターン鮮鋭度が向上し、測距精度が向上する。

本実施形態において、複数の被写体が同じ波長に概略色分布のピークを持つことも想定される。このようなケースに対処するためには、ステップＳ３０３において、複数の被写体について所定の順序で波長の割り当てを行い、ピント位置が設定されていない波長の中からピーク波長に最も近い波長を選択すればよい。所定の順序は、たとえば、被写体の重要度に応じた順序であってもよいし、被写体の距離値に応じた順序であってもよいし、あらかじめ定められた順序であってもよい。

上記の説明では、被写体ごとに概略色分布の決定および波長の割り当てを行っているが、被写体ごとにこれらの処理を行う代わりに距離ごと（あるいは所定の距離範囲ごと）にこれらの処理を行うようにしても同様の効果が得られる。

本実施形態では、ピント位置の決定と波長とピント位置の対応付けの２つの処理を行っている。ここで、ピント位置の決定は、第１の実施形態で説明した手法で行ってもよい。第１の実施形態の手法では、ピント位置が決定されるのみであり、ピント位置と波長の対応付けは任意であるとしている。そこで、ピント位置と波長の対応付けを、本実施形態で説明した概略色分布に基づいて行うことも好適である。

（第５の実施形態）
本実施形態では、測距装置（カメラ装置）１０３として、単眼かつ画素分割されていない、つまり視差量を取得できないカメラを用いる。投影装置１０１において、波長ごとにピント位置を異ならせたパターン投影を行いながら、測距装置１０３で撮影を行う点は同一である。本実施形態では、撮影に得られた画像から、それぞれの波長に対応する画像を取得し、これら複数の画像に基づいてＤＦＤ（Depth From Defocus）の手法を用いて距離値を算出する。

各波長のピント位置決定は適宜決定すればよい。たとえば、波長λ１のピント位置をあらかじめ設定された基準距離位置とし、波長λ２およびλ３のピント位置はこの基準距離位置から所定のオフセット距離Ｌｏずつずらした位置として決定すればよい。

演算処理部２２４は、公知のＤＦＤの手法を用いて、各波長の画像における空間周波数の変化量を解析することで距離スコアを算出し各被写体までの距離を算出する。この構成により、測距装置に視差量を取得する構成を設ける必要がないため、コスト低減や、既設装置の機能拡張性の観点から好適である。また、通常は撮影が２回必要なＤＦＤ測距において、ワンショットで測距が行えるという利点もある。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１：投影装置 １０３：測距装置 ２２３：撮像素子 ２２４：演算処理部

Claims (18)

1. 複数の波長からなるパターン照明であって、投影ピント位置が波長ごとに異なるパターン照明が投影された被写体の第１の画像および第２の画像を取得する撮像手段と、
   前記第１の画像および前記第２の画像に基づいて距離値を決定する演算手段と、
   を備える、測距装置。
2. 前記第１の画像および前記第２の画像は、互いに視差を有する画像であり、
   前記演算手段は、前記第１の画像および前記第２の画像の視差量に基づいて前記距離値を決定する、
   請求項１に記載の測距装置。
3. 前記演算手段は、
   前記複数の波長ごとに、前記第１の画像および前記第２の画像の当該波長成分の画像における視差量に基づいて暫定距離値を求め、
   前記複数の波長ごとの前記暫定距離値を合成することにより、前記距離値を決定する、
   請求項２に記載の測距装置。
4. 前記演算手段は、重み付け平均を用いて、前記複数の波長ごとの前記暫定距離値を合成する、
   請求項３に記載の測距装置。
5. 前記演算手段は、前記重み付け平均における重みを、前記複数の波長ごとの前記暫定距離値の信頼度に応じた値として決定する、
   請求項４に記載の測距装置。
6. 前記演算手段は、
   前記第１の画像および前記第２の画像から、前記複数の波長の画素信号から輝度を表す第１の輝度画像および第２の輝度画像をそれぞれ生成し、
   前記第１の輝度画像と前記第２の輝度画像の視差量に基づいて前記距離値を決定する、
   請求項２に記載の測距装置。
7. 前記第１の画像および前記第２の画像は、前記複数の波長のうちの第１の波長成分および第２の波長成分の画像であり、
   前記演算手段は、前記第１の画像および前記第２の画像のあいだの空間周波数の変化をもとに前記距離値を決定する、
   請求項１に記載の測距装置。
8. 前記撮像手段は、前記複数の波長を含む帯域に分光特性を有する撮像素子を備える、
   請求項１から７のいずれか１項に記載の測距装置。
9. 前記複数の波長は、波長６００±２５ｎｍ以内の赤色、波長５５０±２５ｎｍ以内の緑色、波長４５０±２５ｎｍ以内の青色の波長を含む、
   請求項８に記載の測距装置。
10. 前記複数の波長ごとの投影ピント位置を決定するピント位置決定手段をさらに備え、
    決定されたピント位置を、前記パターン照明を投影する投影装置に対して出力する、
    請求項１から９のいずれか１項に記載の測距装置。
11. 複数の波長からなるパターン照明を投影可能であり、波長ごとに投影ピント位置を変更
    可能な投影装置と、
    請求項１から９のいずれか１項に記載の測距装置と、
    前記複数の波長ごとの投影ピント位置を決定するピント位置決定手段と、
    を備える、測距システム。
12. 前記ピント位置決定手段は、前記複数の波長の投影ピント位置の差が、第１の波長の前方焦点深度または後方焦点深度以上となるように決定する、
    請求項１１に記載の測距システム。
13. 前記複数の波長は、第１の波長、第２の波長および第３の波長の少なくとも３つの波長を含み、
    前記第２の波長の投影ピント位置は、前記第１の波長の投影ピント位置よりも前記第１の波長の前方焦点深度以上、前方であり、
    前記第３の波長の投影ピント位置は、前記第１の波長の投影ピント位置よりも前記第１の波長の後方焦点深度以上、後方である、
    請求項１２に記載の測距システム。
14. 前記ピント位置決定手段は、
    仮測距に基づいて距離ヒストグラムを取得し、
    前記距離ヒストグラムが単峰性の場合には、前記距離ヒストグラムのピーク範囲を前記複数の波長の数で分割して、分割された範囲に含まれる距離をそれぞれの波長の投影ピント位置を決定し、
    前記距離ヒストグラムが多峰性の場合には、それぞれのピーク範囲に含まれる距離値の度数が高いピークから順に、当該ピークに含まれる距離を投影ピント位置として決定する、
    請求項１２に記載の測距システム。
15. 前記ピント位置決定手段は、前記撮像手段の色収差を軽減するように、投影ピント位置と波長の対応付けを決定する、
    請求項１２から１４のいずれか１項に記載の測距システム。
16. 前記ピント位置決定手段は、被写体の色分布に基づいて、前記複数の波長の投影ピント位置を決定する、
    請求項１１に記載の測距システム。
17. 投影装置と測距装置を含む測距システムにおける測距方法であって、
    前記投影装置が、複数の波長からなるパターン照明であって、投影ピント位置が波長ごとに異なるパターン照明を投影する第１ステップと、
    前記測距装置が、前記投影装置からのパターン照明が投影された被写体の第１の画像および第２の画像を取得する第２ステップと、
    前記測距装置が、前記第１の画像および前記第２の画像に基づいて距離値を決定する第３ステップと、
    を含む、測距方法。
18. コンピュータを、請求項１から１０のいずれか１項に記載の測距装置の各手段、または、請求項１１から１６のいずれか１項に記載の測距システムの各手段として機能させるプログラム。
    

Images