JP2006208267A

JP2006208267A - 位相差検出方式による距離情報分布の取得方法、補正方法および表示方法

Info

Publication number: JP2006208267A
Application number: JP2005022623A
Authority: JP
Inventors: Osamu Sugiyama; 治杉山; Akio Izumi; 晶雄泉
Original assignee: Fuji Electric Device Technology Co Ltd
Current assignee: Fuji Electric Co Ltd
Priority date: 2005-01-31
Filing date: 2005-01-31
Publication date: 2006-08-10

Abstract

【目的】２次元配列（マトリックス）状の距離情報分布に関し、誤測距の恐れのある距離情報を排除または補正し、その経緯や結果について適切な表示をすることができる距離情報分布の取得方法，補正方法および表示方法を提供する。
【構成】位相差やその逆数に相当する距離といった距離データと、当該距離データに関する信頼性データ、特に画像データのコントラストに関する信頼性データを対として距離情報とし、信頼性の低い距離情報を排除もしくはその距離データを補正処理する。信頼性が低い距離データに対し、周囲の信頼性が高い距離情報の距離データのみを使って補正するため、補正された距離データの信頼性を確保することができる。また、この発明の距離情報分布の表示方法は、信頼性が高い距離データのみを表示するため、観察者にとって分りやすい表示を与えることができる。
【選択図】図５

Description

この発明は、三角測距の原理に基づく位相差検出方式により、一対のマルチラインセンサ（複数の１次元光センサアレイが並列に配置されているもの）、もしく一対のエリアセンサ（２次元光センサアレイ）から得られる２次元行列（マトリックス）状の距離情報分布の取得方法、補正方法および表示方法に関する。

まず三角測距の原理について説明する。
図１８は、三角測距の原理に基づく距離測定原理図である。被写体（対象）１００の光がレンズ１０１、１０２を通して、光センサアレイ１０３、１０４上に被写体像１０５、１０６として結像する。点Ｐ_６、点Ｐ_７は、正面の無限遠からレンズ１０１、１０２の中心点Ｐ_２、Ｐ_３を通過する光線（光軸１０７、１０８）と光センサアレイ１０３、１０４との交点である。点Ｐ_６と点Ｐ_７の間の距離をＢ、光センサアレイ１０３、１０４とレンズ１０１、１０２との距離をｆ（レンズ１０１、１０２の焦点距離と略等しい）とする。また、光軸１０７、１０８からの被写体像１０５、１０６のずれをＸ１、Ｘ２とし、このＸ１とＸ２を足した長さをＸとする。
ここで三角Ｐ_１Ｐ_２Ｐ_４と三角形Ｐ_２Ｐ_５Ｐ_６および三角形Ｐ_１Ｐ_４Ｐ_３と三角形Ｐ_３Ｐ_７Ｐ_８がそれぞれ相似であることから、被写体１００までの距離ｄは次式で求められる。

(数１)
ｄ＝Ｂ・ｆ／（Ｘ１＋Ｘ２）＝Ｂ・ｆ／Ｘ
Ｘは被写体１００が無限遠にあるとき、すなわち二つの被写体像１０５、１０６がレンズ１０１、１０２の光軸１０７、１０８と光センサアレイ１０３、１０４の交点にある場合を基準とした２像の相対変位であり、位相差と呼ばれる。Ｂとｆは定数であるので、位相差Ｘを検出することで距離ｄを求めることができる。このことにより、光センサアレイ１０３、１０４およびレンズ１０１、１０２が距離測定装置１００を構成することができる。なお、二つの光センサアレイ１０３、１０４は一つの光センサアレイを電気的に分割したものでもよい。
上述の説明にあるように、三角測距原理による距離測定装置に適用される半導体装置は図１８の１０３，１０４のような光センサアレイを最低一対備えているが、測距範囲を広げて２次元行列（マトリックス）状の距離分布を得るために、一対のエリアセンサ（２次元光センサアレイ）や一対のマルチラインセンサ（複数のラインセンサ（１次元光センサアレイ）が並列に配置されているもの）など光センサが２次元状に配置された光センサアレイを適用したものが提案されている（例えば、特許文献１、２参照）。

このような距離測定装置の概要を図１９に示す。図１９において、２つの光センサが２次元状に配置された光センサアレイ１１１，１１２を有する半導体集積回路などの受光器１１３、およびレンズ１０１，１０２が距離測定装置を構成している。対象１１４の像をレンズ１０１，１０２により光センサアレイ１１１，１１２に投影することにより光センサアレイ１１１，１１２から対象１１４に関する２つの２次元状画像データを得て、これら２つの２次元状画像を比較することにより２次元状の距離分布を得るのである。なお、図１９では２次元状に配置された光センサアレイとしてマルチラインセンサを適用したものを示していて、光センサアレイ１１１，１１２中の太線がそれぞれ１つのラインセンサである。マルチラインセンサの代わりにエリアセンサを適用してもよく、その場合はエリアセンサの各行を１つのラインセンサとみなせばよい。マルチラインセンサのすべての行をラインセンサとみなしてもよいし、いくつかの行だけを距離測定に使うラインセンサとみなしてもよい。以下の説明も、同様にエリアセンサについても適用できるものである。

図１９に示す距離測定装置から距離情報分布を得るために、図２０に示すように、まず光センサが２次元状に配置された光センサアレイに対して距離検出領域を２次元行列（マトリックス）状に設定する。図２０において、マルチラインセンサ１１１および１１２がそれぞれ５つのラインセンサＬ１，・・，Ｌ５およびＲ１，・・・，Ｒ５を有する例が示されていて、各ラインセンサはそれぞれ５つの距離検出領域に分割されている。ラインセンサＬｉ（ｉ＝１〜５）の距離検出領域をＬｉｊ（ｊ＝１〜５）、ラインセンサＲｉ（ｉ＝１〜５）の距離検出領域をＲｉｊ（ｊ＝１〜５）とすると、距離検出領域Ｌｉｊと距離検出領域Ｒｉｊが距離検出領域対となり、当該距離検出領域対に対応する距離データとして、図１８で説明した三角測距の原理に基づきこの距離検出領域対の画像データより対象１１４に関する上述の位相差Ｘｉｊもしくは距離ｄｉｊを求めることができる。図２１に位相差Ｘｉｊを、距離検出領域Ｌｉｊ，Ｒｉｊのマルチラインセンサ１１１，１１２内における配置に対応させて配置した結果を示す。さらに、これを２次元２次元行列（マトリックス）のデータとして配置した結果を図２２に示す。図２２に示す位相差Ｘｉｊの分布が、被写体１１４の距離情報の分布を与えるものになる。この場合、距離情報として位相差Ｘｉｊが用いられたので、距離の逆数の分布を示すものである。距離情報として距離ｄｉｊを使えば、通常の意味での距離分布を与えるものになる。また、上述の説明においてラインセンサを分割して距離検出領域とする例を示したが、各距離検出領域がオーバーラップしてもよいし、距離検出領域同士が隣接せず、間にどちらの距離検出領域にも属さない光センサがあるものでもよい。これらは、距離検出装置を適用する目的により使い分ければよい。

特許文献１にはエリアセンサを用いた距離検出装置により図２３に示す距離分布を求め、これを画像データ自身と重ね合わせて判断することにより、写真撮影における主要被写体を二重線で囲まれた領域として検出するものが開示されている。特許文献２にはマルチラインセンサを用いた距離検出装置により、距離情報として各距離検出領域対の位相差を求め、位相差の分布状態から対象としての車両を検出するものが開示されている。すなわち、図２４に示すように、まず求めた位相差のヒストグラムを作成する。図２４において、横軸は位相差で、縦軸はその頻度である。最も頻度の多い３つの位相差（図中のＡで示す範囲のもの）が対象の車両であると判断して当該位相差を与える距離検出領域には特性値”１”を与え、それ以外の距離検出領域には特性値”０”を与える。これらの特性値を距離検出領域の配置に合わせて配置したものが図２５の領域ＤＡとなり、その中で特性値”１”を囲むようにして作成した方形領域ＥＡを、対象の車両のものと判断するのである。

また、三角測距の原理に基づいた距離測定においては、距離測定に用いる画像データの状態によっては正確な距離測定ができず誤測距につながることがあるため、求めた距離情報が信頼できるかの信頼性評価が行われることがある。特に対象が低コントラストであると原理的に誤測距する確率が高くなるため、対象のコントラストの評価は欠かせないものとなる（例えば、特許文献３，４参照）。
特開平１１−３５２５４１号公報（第６，７頁、第２，１１，１４，１５図）特開平１０−６８６２１号公報（第３−５頁、第１，２図）特開昭６０−３６９０６号公報（第５，６，９，１０頁、第１０，１１図）特開平１１−１３２７６３号公報（第２−４頁、第１−７図）

上述の特許文献１および特許文献２に開示された発明は、求めた距離情報としての距離や位相差がすべて正しいとして処理を進めるものである。誤測距している距離検出領域対があると、当該距離検出領域対からは後の処理に対し有害な影響を与える、もしくは有益な情報を与えることのない距離情報が出力されてしまうことになる。特に、対象の背景が遠距離にあるものであったり、空であったりすると、これらの背景部分に対応する距離検出領域対は低コントラストになり易く、従い誤測距し易くなる。誤測距する距離検出領域対が多くなるにつれて後処理の結果に対する信頼性も低くなり、例えば図２３の二重線で囲まれた領域や図２５の領域ＥＡが真に対象を検出しているかも定かでなくなってしまう。このように、従来技術においては位相差もしくは距離だけを用いて距離情報分布を求めるため、最終結果を確実なのものにしきれないという問題があった。

また、距離情報分布をグラフィカルに表示する方法については、距離検出領域対の位相差もしくは距離を示す２次元の棒グラフで表示する方法や、表示画面を距離検出領域の配置に合わせて分割し、各分割領域を対応する距離検出領域対の位相差もしくは距離に比例させて階調表示する方法がある。これらの表示方法については、誤測距しているものもそのまま表示してしまうため見づらいという問題がある。また、誤測距した結果が正しい測距結果からかけ離れたものであると、表示がそれに引っ張られて対象自体のコントラストが圧縮されてしまい、対象内部の構造が表示されにくくなってしまうという問題がある。
この発明は上記問題を解決するものであって、誤測距の恐れのある距離検出領域対の距離情報を排除または補正し、その経緯や結果について適切な表示をすることができる距離情報分布の取得方法，補正方法および表示方法を提供することを目的とする。

そこで、上記課題を解決するために、請求項１に係る発明は、互いに平行な１対の光軸を持つ光学系の各光軸に対応する結像面上に、それぞれ複数の１次元光センサアレイを並列に配置してなる、もしくは２次元光センサアレイからなる１対の受光器を配置し、該１対の受光器からそれぞれ出力される１対の２次元状の画像データに対し複数の距離検出領域対を２次元行列（マトリックス）状に設定し、該マトリックス状に設定された距離検出領域に対応する距離情報を求める距離情報分布の取得方法であって、前記複数の距離検出領域対の画像データをそれぞれ比較して位相差検出方式により距離データを求めるとともに、該距離データの信頼性を評価して前記距離データが信頼できると判断されればＯＫデータが、前記距離データが信頼できないと判断されればＮＧデータが与えられる信頼性データを求め、前記距離データおよび前記信頼性データからなる１対のデータを前記距離検出領域対に対する前記距離情報とすることを特徴とする。

請求項２に係る発明は、請求項１に係る発明において、前記距離データが前記位相差検出方式により求められる位相差もしくは該位相差の逆数に定数を乗じたものであり、前記信頼性を前記距離検出領域対における画像データのコントラストにより評価するものであることを特徴とする。
請求項３に係る発明は、請求項２に係る発明において、前記コントラストが所定値以上であればＯＫデータが、前記コントラストが所定値以下であれはＮＧデータが前記信頼性データとして与えられることを特徴とする。
請求項４に係る発明は、請求項１ないし３のいずれかに係る発明の距離情報分布の取得方法により得られた距離情報を初期値として前記信頼性データがＮＧデータである距離情報を補正する距離情報分布の補正方法であって、前記複数の距離検出領域対の配置に対応させて前記距離情報を２次元行列状に配置したときに前記信頼性データがＮＧデータである距離情報に隣接する８方向のうち、実際に存在しかつ前記信頼性データがＯＫデータである距離情報が１つ以上存在する場合にそれらの距離情報の距離データの平均値を計算して前記信頼性データがＮＧデータである前記距離情報の距離データとの差の絶対値もしくは比を求め、前記差の絶対値が第１の所定値より小さい、もしくは前記比が所定範囲にあれば、前記信頼性データがＮＧデータである前記距離情報の信頼性データをＯＫデータに置き換えることを特徴とする。

請求項５に係る発明は、請求項１ないし３のいずれかに係る発明の距離情報分布の取得方法により得られた距離情報または請求項４に係る発明の距離情報分布の補正方法により補正された距離情報を初期値として前記信頼性データがＮＧデータである距離情報を補正する距離情報分布の補正方法であって、前記複数の距離検出領域対の配置に対応させて前記距離情報を２次元行列状に配置したときに前記信頼性データがＮＧデータである距離情報に隣接する８方向のうち、実際に存在しかつ前記信頼性データがＯＫデータである距離情報が１つ以上存在する場合にそれらの隣接距離情報の距離データの平均値を求め、前記信頼性データがＮＧデータである前記距離情報の距離データおよび前記信頼性データをそれぞれ前記平均値およびＯＫデータに置き換えることを特徴とする。
請求項６に係る発明は、請求項１ないし３のいずれかに係る発明の距離情報分布の取得方法により得られた距離情報または請求項４に係る発明の距離情報分布の補正方法により補正された距離情報に関し、信頼性データがＯＫデータである距離情報の距離データのうち最も遠距離を示す最遠距離データもしくは無限遠に対応する距離データをダミーデータとし、信頼性データがＮＧデータである距離情報の距離データを前記ダミーデータに置き換えて補正の初期値となし、前記複数の距離検出領域対の配置に対応させて前記距離情報を２次元行列状に配置したときに前記信頼性データがＮＧデータである距離情報に隣接する８方向のうち、実際に存在しかつ前記信頼性データがＯＫデータである距離情報が１つ以上存在する場合にそれらの隣接距離情報の距離データおよび前記信頼性データがＮＧデータである前記距離情報の距離データの平均値を求め、前記信頼性データがＮＧデータである前記距離情報の距離データおよび前記信頼性データをそれぞれ前記平均値およびＯＫデータに置き換えることを特徴とする。

請求項７に係る発明は、請求項１ないし３のいずれかに係る発明の距離情報分布の取得方法により得られた距離情報または請求項４に係る発明の距離情報分布の補正方法により補正された距離情報を初期値として前記信頼性データがＮＧデータである距離情報を補正する距離情報分布の補正方法であって、信頼性データがＯＫデータである距離情報の距離データのうち最も遠距離を示す最遠距離データもしくは無限遠に対応する距離データをダミーデータとし、前記複数の距離検出領域対の配置に対応させて前記距離情報をｍ行ｎ列の２次元行列状に配置し、該２次元行列状の距離情報データに対し全て距離データが前記ダミーデータでかつ信頼性データがＯＫデータである仮想距離情報からなる第０列および第（ｎ＋１）列を追加したときに、前記信頼性データがＯＫデータである２つの距離情報に挟まれた行列の行方向に連続したｓ個（ｓは１以上の整数）の前記信頼性データがＮＧデータである距離情報について、前記信頼性データがＯＫデータである２つの距離情報の距離データをそれぞれＤ１，Ｄ２とするとき、前記連続したｓ個（ｓは１以上の整数）の前記信頼性データがＮＧデータである距離情報の距離データＤｋおよび信頼性データを、距離データがＤ１である前記距離情報に近い情報データから順に

(数２)
Ｄｋ＝Ｄ１＋（Ｄ２−Ｄ１）×ｋ／（ｓ＋１）（ｋ＝１〜ｓ）
およびＯＫデータで置き換えることを特徴とする。
請求項８に係る発明は、請求項１ないし３のいずれかに係る発明の距離情報分布の取得方法により得られた距離情報または請求項４ないし７のいずれかに記載の距離情報分布の補正方法により補正された距離情報を表示する距離情報分布の表示方法であって、表示領域を前記複数の距離検出領域対の配置に対応させてｍ行ｎ列の２次元行列状に分割し、分割されたｍｎ個の表示領域である表示セルに対し、該表示セルに対応する前記距離検出領域に対応する前記距離情報の前記信頼性データがＯＫデータであるものについて、対応する前記距離検出領域に対応する前記距離情報の距離データに応じてグレースケールで表示することを特徴とする。

請求項９に係る発明は、請求項８に係る発明において、前記信頼性データがＮＧデータである前記セルについては前記グレースケールと異なる表示方法を適用させることを特徴とする。

この発明の距離情報分布の取得方法は、位相差やその逆数に相当する距離といった距離データと、当該距離データに関する信頼性データ、特に画像データのコントラストに関する信頼性データを対として距離情報とするため、信頼性の低い距離情報を排除もしくはその距離データを補正処理することができる。この発明の距離情報分布の補正方法は、信頼性が低い距離データに対し、周囲の信頼性が高い距離情報の距離データのみを使って補正するため、補正された距離データの信頼性を確保することができる。また、この発明の距離情報分布の表示方法は、信頼性が高い距離データのみを表示するため、観察者にとって分りやすい表示を与えることができる。さらに、信頼性が高い距離データの範囲に基づき表示階調を決定することができるので、どのような対象に対しても一定のコントラストをもった表示を与えることができる。

以下、本発明の実施の形態を、図面を参照して説明する。なお、本明細書の全図において相互に対応する部位には同一符号を付し、重複部分については後述での説明を適宜省略する。

第１の実施例として、本発明の距離情報分布の取得方法の実施例について説明する。図２０では距離検出領域対を５行５列の２５領域とした例について説明したが、本実施例では距離検出領域が７行７列の４９領域であるものについて説明する。
本実施例においては、各距離検出領域対に対し、距離データと当該距離データに関する信頼性データを一対の距離情報として割り当てるものである。すなわち、第ｉ行第ｊ列の距離検出領域対に対する距離情報をＩＮＦｉｊ，信頼性データをＲｉｊ，距離データをＤｉｊとすると、ＩＮＦｉｊ＝（Ｒｉｊ，Ｄｉｊ）といった形の２元データとするものである。距離データが信頼性データと対になっているため、距離データの補正や表示などにおいて、対になっている信頼性データを参照し、その結果に応じた処理することができる（詳細は後述する）。

図１に上記４９の距離検出領域対に対する距離情報分布の例を示す。図１において、太線で囲われた領域が上述の７行７列の距離検出領域対に対応した距離情報を示す４９個のデータセルの部分である。太線で囲われた領域の上部に記されている数字１〜７は列番号であり、左部に記されている数字１〜７は行番号である。各データセルは点線で仕切られていて、点線の左側には信頼性データＲｉｊが、右側には距離データＤｉｊが記されている。例えば、第１行第１列の距離検出領域対に対応する信頼性データと距離データはそれぞれ０と３．５であり、第２行第４列の距離検出領域対に対応する信頼性データと距離データはそれぞれ０と３．８である。
距離データＤｉｊとしては上述の位相差Ｘｉｊもしくは距離ｄｉｊのいずれでもよいが、図１は位相差Ｘｉｊを適用した例を示している。従い、距離データが０（ゼロ）ということは、実際の距離は無限遠であることを示していて、距離データが大きいほど実際は近距離となる。信頼性データＲｉｊは、その値が１であれば対応する距離データＤｉｊの信頼性が高いことを示し、０であれば逆に信頼性が低いことを示す。なお、信頼性データＲｉｊに関し、その値が対応する距離データＤｉｊの信頼性が高いことを示す場合にそれをＯＫデータと称し、逆に対応する距離データＤｉｊの信頼性が低いことを示す場合にそれをＮＧデータとよぶことにする。信頼性データＲｉｊの求め方については様々な考え方・手法があるが、本実施例ではコントラストによる方法を適用する。まずコントラストの基本的な判定方法を図２により説明する。第ｉ行第ｊ列の距離検出領域対にある光センサからは図２に示すようなＳＬｉｊおよびＳＲｉｊという２つの画像データを得ることができる。画像データＳＬｉｊおよびＳＲｉｊの最大値Ｓｍａｘおよび最小値Ｓｍｉｎを求め、Ｈ１＝Ｓｍａｘ−ＳｍｉｎもしくはＨ２＝Ｓｍａｘ／Ｓｍｉｎを計算することにより、当該距離検出領域に対する画像データのコントラストを判断することができる。Ｈ１により評価を行う場合、Ｈ１が大きいほどコントラストは大きくなるから、所定値Ｃ１（＞０）に対し、Ｈ１≧Ｃ１のときＲｉｊ＝１（ＯＫデータ）とし、Ｈ１＜Ｃ１のときＲｉｊ＝０（ＮＧデータ）とする。Ｈ２により評価を行う場合も同様に、所定値Ｃ２（＞１）に対し、Ｈ２≧Ｃ２のときＲｉｊ＝１（ＯＫデータ）とし、Ｈ２＜Ｃ２のときＲｉｊ＝０（ＮＧデータ）とする。

信頼性データＲｉｊが１（ＯＫデータ）である距離情報ＩＮＦｉｊの距離情報Ｄｉｊは、コントラストが所定値以上の画像データから求めたものであるから、距離情報Ｄｉｊの信頼性は高いと判断することができる。
また、特許文献４には、逆光など何らかの原因で左右光量差（例えば、図１９においてレンズ１０１，１０２により光センサアレイ１１１，１１２に照射される光の片方にバイアスがかかった形になり、平均光量がずれてしまうこと）が生じた場合でも低コントラストに対処できるよう、二つの被写体像の相対変移（位相差）に対する二つの被写体像の一致度を示す評価関数を用いて信頼性を判断する方法が開示されている。
本発明は上述の方法のいずれの方法を用いてもよく、さらに別の方法と置き換えたり組み合わせたりしてもよい。

第２の実施例として、本発明の距離情報分布の表示方法の実施例について説明する。この表示方法は、実施例１に示すような距離情報分布の取得方法により得られた距離情報分布や、後述の距離情報の補正方法により補正された、もしくは補正される過程の距離情報分布を表示させるためのものである。本実施例は距離情報のうち距離データＤｉｊを以下の要領によって表示させるものである。
・表示領域を検出領域対の配置に合わせて、ｍ行ｎ列の２次元行列状の表示セルに分割する。
・ｍｎ個の表示セルに対し、対応する距離情報ＩＮＦｉｊの信頼性データＲｉｊが１（ＯＫデータ）である表示セルだけを、距離データＤｉｊに応じて階調表示させる。
・対応する距離情報ＩＮＦｉｊの信頼性データＲｉｊの値が０（ＮＧデータ）である表示セルに対しては上記階調表示と異なる表示を与え、距離データＤｉｊの信頼性が低いことが判別できるようにする。

なお、対応する距離情報ＩＮＦｉｊの信頼性データＲｉｊの値が１（ＯＫデータ）である表示セルを（場合によってはその距離情報ＩＮＦｉｊも含めて）ＯＫセルとよび、対応する距離情報ＩＮＦｉｊの信頼性データＲｉｊの値が０（ＮＧデータ）である表示セルを（場合によってはその距離情報ＩＮＦｉｊも含めて）ＮＧセルとよぶことにする。
図１に示す距離情報分布を表示する例について、図３，４により説明する。まず、図３に示すように、各距離情報ＩＮＦｉｊに対し、対となる信頼性データＲｉｊの値が１である距離データＤｉｊ（Ｘｉｊ）を、０≦Ｘｉｊ＜０．５，０．５≦Ｘｉｊ＜１．０，１．０≦Ｘｉｊ＜１．５，１．５≦Ｘｉｊ＜の４段階に分け、それぞれに３，２，１，０という新たな特性値を与える。信頼性データＲｉｊの値が０である距離情報ＩＮＦｉｊの特性値は−１とする。図４の太線で囲われた領域ＦＬＭは表示領域であり、図１の距離情報ＩＮＦｉｊの配置、または距離検出領域の配置に合わせて７行７列の４９表示セルに分割されている。各表示セルは図３に示す対応する特性値が０〜３であるものは、当該特性値に応じ、ＯＫセルとして表示領域ＦＬＭの右側に例示したように階調表示される。対応する特性値が−１であるＮＧセルは、階調表示ではなく×印が付されていて、信頼性が低いことが分かる表示となっている。

図４では、表示セルの階調が暗いほど遠距離であることを示し、明るいほど近距離であることを示している。言い換えれば、表示領域において明るく表示されるほど近距離であり、暗く表示されるほど遠距離となる。
また、通常の表示方法では異常に明るい点があるとその明るさに引っ張られて注目したい対象の内部のコントラストがつぶれてしまうという不具合があるが、それはこの表示方法では誤測距した結果である異常な距離データに引っ張られて、正確に測距された距離データの表示がつぶれるということに相当する。しかしながら、例えば第１行第７列の距離データ８．２などの異常値は信頼性データＲｉｊの値が０となり、上記階調の適用範囲外となるので、対象自体の表示が異常値に引っ張られてつぶれることを防げるようになる。
なお、図３は本実施例の説明のためのものであり、実際は図１の距離情報分布から直接図４に示す表示を作成してかまわない。

第３の実施例として、本発明の距離情報分布の補正方法に関する最初の補正方法について説明する。図４に示す例のようにＮＧセルが多くなると、背景技術の項で説明した主要被写体や車両を検出するアルゴリズムの適用が困難になる、もしくは検出結果の精度が劣化する。本実施例は、以下のアルゴリズムにより距離情報ＩＮＦｉｊの補正を行い、信頼性データＲｉｊの値が１（ＯＫデータ）である距離情報ＩＮＦｉｊの数を増やすものである。
Ｓ１：信頼性データＲｉｊ＝０であっても、距離データＤｉｊが次の条件を満たすときは信頼性データＲｉｊを１に置き換える。

なお、上式において、ｉもしくはｊが０もしくは８であるＲｉｊは０であるとして計算する（これは、実際に存在する距離情報だけを対象とするためである）。また、Ａは正定数である。
Ｓ２：ＯＫセルに置き換えられるＮＧセルがなくなるまでＳ１の処理を続け、ＯＫセルに置き換えられるＮＧセルがなくなった時点で処理を終了する。
この補正の考え方は次のとおりである。すなわち、図４のＮＧセルの距離データについて図１により検討すると、周囲のＯＫセルの距離データと比較してそれほど差はなく、信頼性は比較的高いと考えられるものがある。例えば、第５行第１列の距離データは１．２であり、周囲のＯＫセルの距離データ（０．９〜１．３）に近いものになっている。もともとＮＧセルとなる、すなわち、信頼性データＲｉｊ＝０となるのは対象が低コントラストであるのが一般的であり、実施例１では正にコントラストにより信頼性データＲｉｊを決めているが、このように周辺のＯＫセルと近い距離データをもつＮＧセルは低コントラストの判定基準ぎりぎりで信頼性がないと判断された可能性が高い。すなわち、ある程度コントラストがあるために正確に距離検出ができていると考えてよい。この考えに基づき、ＮＧセルの距離データを周辺（隣接する上下、左右、斜めの８方向のうち実際に存在するもの）の表示セルに対応する距離データの平均値と比較し、その差が所定値Ａより小さければ当該ＮＧセルにおいても正確に距離測定ができていると判断し、その信頼性データＲｉｊを１に置き換えるのである。

図５，６に上記アルゴリズムを実際に適用した例を示す。図５が上記アルゴリズムによる補正前、図６が補正後であり、それぞれ（ａ）が距離情報分布、（ｂ）がそのグラフィカル表示（階調表示）である。また、図５（ａ）および図５（ｂ）は、それぞれ図１および図３と同じものである。図５の距離情報に対し、正定数Ａを０．２として上記アルゴリズムにより補正した結果が図６である。図５と図６を比べれば分るように、第５行第１列，第１行第２列，第６行第６列，第６行第７列の信頼性データＲｉｊが０から１に変化し、ＯＫセルとなっている。

第４の実施例として、本発明の距離情報分布の補正方法に関する第２の補正方法について説明する。実施例３に示す補正方法は信頼性データＲｉｊのみを補正するものであるが、本実施例は距離データＤｉｊも補正するものである。すなわち、周辺のＯＫセルの距離データ平均値をＮＧセルの距離データＤｉｊの推定値とし、従来のデータを当該推定値に置き換えるものである。より具体的には、以下のアルゴリズムにより距離情報ＩＮＦｉｊの補正を行う。
Ｓ１：ＮＧセルの周辺（隣接する上下、左右、斜めの８方向のうち実際に存在するもの）の表示セルにＯＫセルが存在すれば下式によりＤ２ｉｊを計算する。

なお、上式において、ｉもしくはｊが０もしくは８であるＲｉｊは０であるとして計算する。
Ｓ２：周辺にＯＫセルがあるすべてのＮＧセルに対し、Ｓ１の処理を完了した後で、求めた全てのＤ２ｉｊを距離データＤｉｊに代入するとともに、変更した距離データＤｉｊに対応する信頼性データＲｉｊを１に置き換える。
Ｓ３：周辺にＯＫセルがあるＮＧセルが存在すれば処理Ｓ１に戻り、存在しなければ処理を終了する。
上述のように本実施例のアルゴリズムは処理Ｓ１，Ｓ２を繰り返すものであり、このアルゴリズムを適用する距離情報分布の初期値としては、上述の実施例３に示すアルゴリズムを施した後の距離情報分布データであることが好ましい。これは、実施例３に示すアルゴリズムを施した後の方がＯＫセルに対応する距離データが増えて、その後の補正精度が上がるためであるが、ＮＧセルが少ない場合は、実施例３に示すアルゴリズムを適用する前の距離情報分布を初期値としてもよい。

図６に示すデータを初期値として、すなわち実施例３に示すアルゴリズムを施したものを初期値として本実施例のアルゴリズムを実際に適用した例を図７〜９に示す。図７，８が中間処理段階のものであり、図９が補正後のものである。また、それぞれ（ａ）が距離情報分布、（ｂ）がそのグラフィカル表示である。例えば、図６に対する本アルゴリズムの処理により、１８個のＮＧセルが図７においてＯＫセルになっている。例えば、第１行第１列の距離データは周辺３つのＯＫセルの距離データ（１．２，１．０，１．０）の平均値１．１となり、第１行第４列の距離データは周辺で唯一ＯＫセルである第２行第３列の距離データ１．２と等しいものになっている。図７，図８ではまだ周辺にＯＫセルがあるＮＧセルが存在するため、さらに上記の処理Ｓ１，Ｓ２を続けるが、図９で全てのＮＧセルがＯＫセルに補正されたため、処理を終了する。

第５の実施例として、本発明の距離情報分布の補正方法に関する第３の補正方法について説明する。本補正方法は実施例４の補正方法と類似の補正方法であるが、ＮＧセルも補正に適用するところが異なる。これは、実施例３の補正方法はＮＧセルとＯＫセルがある程度混在していれば適切な補正結果を与えることができるが、ＮＧセルが連続して広い領域を占めると不適切な補正が行われる可能性があるためである。その例を図１０，１１に示す。図１０は図５の距離情報に対し、第６，７列にあるＯＫセルを全てＮＧセルとしたものである。第４〜７列が全てＮＧセルとなっている。図１０の距離情報に対し、実施例４の補正方法を実施した結果が図１１である。図１０のＮＧセルに隣接する第３列にあったＯＫセルの距離データが１．１〜１．３であったので、その平均値１．２が第４〜７列全ての距離データとして伝播してしまっている。距離データである位相差が１．２であるということはある程度近距離であることを示していて、図１１に示すデータは位相差１．２に相当する距離に壁があるようなデータとなっている。図１９の１１４として示すような対象物の背景は対象物より遠距離であり、一般的には遠景や空など無限遠もしくはそれに近い場合が多い。また、上述のようにＮＧセルになるということは低コントラストに起因している可能性が最も高く（実施例１ではコントラストで信頼性データＲｉｊを決めている）、低コントラストということは無限遠もしくはそれに準ずる遠距離であることが多い。本実施例はこれらを考慮して、ある程度ＮＧセルが広い領域を占める場合、それらの距離データが有限距離ではなく無限遠もしくはそれに準ずる遠距離に収束させるようにするものである。より具体的には、以下のアルゴリズムにより距離情報ＩＮＦｉｊの補正を行う。
Ｓ１：全てのＮＧセルの距離データＤｉｊを一旦ダミーデータ（０（ゼロ）もしくは全てのＯＫセルの距離データＤｉｊのうち最遠距離を示す距離データ）とする。
Ｓ２：ＮＧセルの周辺（隣接する上下、左右、斜めの８方向のうち実際に存在するもの）の表示セルにＯＫセルが存在すれば下式によりＤ２ｉｊを計算する。

なお、上式において、ｉもしくはｊが０もしくは８であるＤｉｊは０であるとして計算する。また、Ｂは、ｉとｊの両方が０もしくは８であるときは３、ｉとｊのうち片方だけが０もしくは８であるときは５、それ以外の場合は８である。
Ｓ３：周辺にＯＫセルがあるすべてのＮＧセルに対し、Ｓ１の処理を完了した後で、求めた全てのＤ２ｉｊを距離データＤｉｊに代入するとともに、変更した距離データＤｉｊに対応する信頼性データＲｉｊを１に置き換える。
Ｓ４：周辺にＯＫセルがあるすべてのＮＧセルが存在すれば処理Ｓ２に戻り、存在しなければ処理を終了する。
図６に示すデータを初期値として本実施例のアルゴリズムを実際に適用した例を図１２〜１４に示す。図１２は図６のＮＧセルの距離情報を全てダミーデータとしての０に置き換えたものである。図１３は上記の処理Ｓ２，Ｓ３を１回実施した結果であり、さらにもう１回繰り返した結果が図１４である。また、それぞれ（ａ）が距離情報分布、（ｂ）がそのグラフィカル表示である。例えば、図１３における第１行第１列の距離データは、図１２における自身を含めた周辺４つの表示セルの距離データ（０．０，１．０，１．２，１．０）の平均値０．８となっている。図１４で全てのＮＧセルがＯＫセルに補正されたため、処理を終了する。

第６の実施例として、本発明の距離情報分布の補正方法に関する第４の補正方法について説明する。本実施例は実施例５と同様に、ＮＧセルが広い領域を占める場合に対応するものである。本実施例は連続した複数のもしくは一つのＮＧセルの距離データとして、当該ＮＧセルを挟むＯＫセルの距離データから補間されたデータを適用するものである。連続した複数のもしくは一つのＮＧセルにＯＫセルが隣接していない場合、距離データがダミーデータである仮想のＯＫセルを想定して補間を行う。仮想セルのダミーデータの考え方は実施例５と同様である。より具体的には、本実施例は以下のアルゴリズムにより距離情報ＩＮＦｉｊの補正を行う。
Ｓ１：ｍ行（第１行〜第ｍ行）ｎ列（第１列〜第ｎ列）の表示セルに対し、その周囲（第０行第０列〜第０行第（ｎ＋１）列，第（ｍ＋１）行第０列〜第（ｍ＋１）行第（ｎ＋１）列，第１行第０列〜第ｎ行第０列，第１行第（ｍ＋１）列〜第ｎ行第（ｍ＋１）列）に距離データＤｉｊがダミーデータ（０もしくは全てのＯＫセルの距離データＤｉｊのうち最遠距離を示す距離データ），信頼性データＲｉｊ＝０である仮想セルを設定する。
Ｓ２：連続したｓ個（ｓは１でもよい）のＮＧセルの距離データＤｉｊ〜Ｄｉ（ｊ＋ｓ−１）をＯＫセルの距離データＤｉ（ｊ−１）とＤｉ（ｊ＋ｓ）を用いて次式により補間し、その後全てのＲｉｊを１とする。（１≦ｉ≦ｍ、１≦ｊ≦ｎ、１≦（ｊ＋ｓ−１）≦ｎ）

(数６)
Ｄｉ（ｊ＋ｋ−１）＝Ｄｉ（ｊ−１）＋（Ｄｉ（ｊ＋ｓ）−Ｄｉ（ｊ−１））×ｋ／（ｓ＋１）
（ｋ＝１〜ｓ）
図６に示すデータを初期値として本実施例のアルゴリズムを実際に適用した例を図１５〜１７に示す。図１５は図６と同じものである。図１６は上記処理Ｓ１を実施して表示セルの周囲に距離データＤｉｊ＝０，信頼性データＲｉｊ＝０である仮想セルを設定したもの、図１７は図１６の距離情報に対し上記Ｓ２の処理を実施したものである。また、それぞれ（ａ）が距離情報分布、（ｂ）がそのグラフィカル表示である。例えば、図１３でＮＧセルとなっていた第１行第３列〜第１行第７列の距離情報は、その両側のＯＫセル第１行第２列の距離データ１．０と仮想セル第１行第８列の距離データ０．０により補間され、図１７においてそれぞれ０．８，０．７，０．５，０．３，０．２という値が割り当てられている。

実施例１の距離情報分布の取得方法により得られた距離情報分布の例である。信頼性データＲｉｊとコントラストの関係を説明するための図である。図１の距離分布の距離データを距離範囲別に分類した図である。実施例２の距離情報分布の表示方法による階調表示の例である。実施例３の距離情報分布の補正方法により補正する前の距離情報分布を示す図である。実施例３の距離情報分布の補正方法により補正した後の距離情報分布を示す図である。実施例４の距離情報分布の補正方法による補正処理の中間段階を示す第１の図である。実施例４の距離情報分布の補正方法による補正処理の中間段階を示す第２の図である。実施例４の距離情報分布の補正方法により補正した後の距離情報分布を示す図である。ＮＧセルが連続して広い範囲を占める距離情報分布の例を示す図である。図１０の距離情報分布に対し実施例４の補正を実施した結果を示す図である。実施例５の距離情報分布の補正方法において最初の処理を行った結果を示す図である。実施例５の距離情報分布の補正方法による補正処理の中間段階を示す図である。実施例５の距離情報分布の補正方法により補正した後の距離情報分布を示す図である。実施例６の距離情報分布の補正方法により補正する前の距離情報分布を示す図である。実施例６の距離情報分布の補正方法において最初の処理を行った結果を示す図である。実施例６の距離情報分布の補正方法により補正した後の距離情報分布を示す図である。三角測距の原理に基づく距離測定原理図である。２次元行列（マトリックス）状の距離データを得るための距離測定装置について説明するための図である。２次元状に配置された光センサと距離検出領域の関係を説明するための図である。距離検出領域と位相差Ｘｉｊの関係を説明するための図である。図２１に示すデータを２次元行列（マトリックス）状にまとめたデータを示す図である。特許文献１に開示された発明により検出された主要被写体について説明するための図である。特許文献２に開示された発明により位相差分布から車両を検出する方法に関し、求めた位相差のヒストグラムを示す図である。特許文献２に開示された発明により検出された車両について説明するための図である。

符号の説明

ＩＮＦｉｊ距離情報
Ｄｉｊ距離データ
ｄｉｊ距離
Ｘｉｊ位相差
Ｒｉｊ信頼性データ
ＦＬＭ表示領域

Claims

互いに平行な１対の光軸を持つ光学系の各光軸に対応する結像面上に、それぞれ複数の１次元光センサアレイを並列に配置してなる、もしくは２次元光センサアレイからなる１対の受光器を配置し、該１対の受光器からそれぞれ出力される１対の２次元状の画像データに対し複数の距離検出領域対を２次元行列（マトリックス）状に設定し、該マトリックス状に設定された距離検出領域に対応する距離情報を求める距離情報分布の取得方法であって、
前記複数の距離検出領域対の画像データをそれぞれ比較して位相差検出方式により距離データを求めるとともに、該距離データの信頼性を評価して前記距離データが信頼できると判断されればＯＫデータが、前記距離データが信頼できないと判断されればＮＧデータが与えられる信頼性データを求め、前記距離データおよび前記信頼性データからなる１対のデータを前記距離検出領域対に対する前記距離情報とすることを特徴とする距離情報分布の取得方法。
前記距離データが前記位相差検出方式により求められる位相差もしくは該位相差の逆数に定数を乗じたものであり、前記信頼性を前記距離検出領域対における画像データのコントラストにより評価するものであることを特徴とする請求項１に記載の距離情報分布の取得方法。
前記コントラストが所定値以上であればＯＫデータが、前記コントラストが所定値以下であれはＮＧデータが前記信頼性データとして与えられることを特徴とする請求項２に記載の距離情報分布の取得方法。
請求項１ないし３のいずれかに記載の距離情報分布の取得方法により得られた距離情報を初期値として前記信頼性データがＮＧデータである距離情報を補正する距離情報分布の補正方法であって、
前記複数の距離検出領域対の配置に対応させて前記距離情報を２次元行列状に配置したときに前記信頼性データがＮＧデータである距離情報に隣接する８方向のうち、実際に存在しかつ前記信頼性データがＯＫデータである距離情報が１つ以上存在する場合にそれらの距離情報の距離データの平均値を計算して前記信頼性データがＮＧデータである前記距離情報の距離データとの差の絶対値もしくは比を求め、前記差の絶対値が第１の所定値より小さい、もしくは前記比が所定範囲にあれば、前記信頼性データがＮＧデータである前記距離情報の信頼性データをＯＫデータに置き換えることを特徴とする距離情報分布の補正方法。
請求項１ないし３のいずれかに記載の距離情報分布の取得方法により得られた距離情報または請求項４に記載の距離情報分布の補正方法により補正された距離情報を初期値として前記信頼性データがＮＧデータである距離情報を補正する距離情報分布の補正方法であって、
前記複数の距離検出領域対の配置に対応させて前記距離情報を２次元行列状に配置したときに前記信頼性データがＮＧデータである距離情報に隣接する８方向のうち、実際に存在しかつ前記信頼性データがＯＫデータである距離情報が１つ以上存在する場合にそれらの隣接距離情報の距離データの平均値を求め、前記信頼性データがＮＧデータである前記距離情報の距離データおよび前記信頼性データをそれぞれ前記平均値およびＯＫデータに置き換えることを特徴とする距離情報分布の補正方法。
請求項１ないし３のいずれかに記載の距離情報分布の取得方法により得られた距離情報または請求項４に記載の距離情報分布の補正方法により補正された距離情報において前記信頼性データがＯＫデータである距離情報の距離データのうち最も遠距離を示す最遠距離データもしくは無限遠に対応する距離データをダミーデータとし、信頼性データがＮＧデータである距離情報の距離データを前記ダミーデータに置き換えて補正の初期値となし、
前記複数の距離検出領域対の配置に対応させて前記距離情報を２次元行列状に配置したときに前記信頼性データがＮＧデータである距離情報に隣接する８方向のうち、実際に存在しかつ前記信頼性データがＯＫデータである距離情報が１つ以上存在する場合にそれらの隣接距離情報の距離データおよび前記信頼性データがＮＧデータである前記距離情報の距離データの平均値を求め、前記信頼性データがＮＧデータである前記距離情報の距離データおよび前記信頼性データをそれぞれ前記平均値およびＯＫデータに置き換えることを特徴とする距離情報分布の補正方法。
請求項１ないし３のいずれかに記載の距離情報分布の取得方法により得られた距離情報または請求項４に記載の距離情報分布の補正方法により補正された距離情報を初期値として前記信頼性データがＮＧデータである距離情報を補正する距離情報分布の補正方法であって、
信頼性データがＯＫデータである距離情報の距離データのうち最も遠距離を示す最遠距離データもしくは無限遠に対応する距離データをダミーデータとし、
前記複数の距離検出領域対の配置に対応させて前記距離情報をｍ行ｎ列の２次元行列状に配置し、該２次元行列状の距離情報データに対し全て距離データが前記ダミーデータでかつ信頼性データがＯＫデータである仮想距離情報からなる第０列および第（ｎ＋１）列を追加したときに、前記信頼性データがＯＫデータである２つの距離情報に挟まれた行列の行方向に連続したｓ個（ｓは１以上の整数）の前記信頼性データがＮＧデータである距離情報について、前記信頼性データがＯＫデータである２つの距離情報の距離データをそれぞれＤ１，Ｄ２とするとき、前記連続したｓ個（ｓは１以上の整数）の前記信頼性データがＮＧデータである距離情報の距離データＤｋおよび信頼性データを、距離データがＤ１である前記距離情報に近い情報データから順に
(数１)
Ｄｋ＝Ｄ１＋（Ｄ２−Ｄ１）×ｋ／（ｓ＋１）（ｋ＝１〜ｓ）
およびＯＫデータで置き換えることを特徴とする距離情報分布の補正方法。
請求項１ないし３のいずれかに記載の距離情報分布の取得方法により得られた距離情報または請求項４ないし７のいずれかに記載の距離情報分布の補正方法により補正された距離情報を表示する距離情報分布の表示方法であって、
表示領域を前記複数の距離検出領域対の配置に対応させてｍ行ｎ列の２次元行列状に分割し、分割されたｍｎ個の表示領域である表示セルに対し、該表示セルに対応する前記距離検出領域に対応する前記距離情報の前記信頼性データがＯＫデータであるものについて、対応する前記距離検出領域に対応する前記距離情報の距離データに応じてグレースケールで表示することを特徴とする距離情報分布の表示方法。
前記信頼性データがＮＧデータである前記セルについては前記グレースケールと異なる表示方法を適用させることを特徴とする請求項８に記載の距離情報分布の表示方法。