JP2006235972A - 検出装置 - Google Patents

Abstract

【課題】 本発明の目的は、演算量を低減しつつ、検出対象物を正確に検出することができる検出装置を提供すること。
【解決手段】 本発明の検出装置は、複数の撮像手段の撮像結果（右・左画像）に基づいて検出対象物を検出するもので、各撮像結果上の検出対象物を示す対応点Ａ間の視差ｉＤを算出する視差算出手段と、算出された視差（あるいは、視差及び撮像画像上の対応点Ａの座標ｉＸ，ｉＹ）からなる撮像情報に基づいて、実際の三次元空間に対応する三次元座標系における対応点Ａの一部次元（例えば、高さ）の座標が予め定められる所定範囲内にあるか否かを判定し、所定範囲内にあると判定された対応点Ａに対応する検出対象物を検出する判定・検出手段とを備えている。
【選択図】 図２

Description

本発明は、複数の撮像手段の撮像結果に基づいて検出対象物を検出する検出装置に関する。

一対のカメラ（撮像装置）を横方向に所定距離隔てて配設し、この一対のカメラによって撮像された二つの各画像（映像）中における、ある特定の対応点の座標位置（ｉ，ｊ）と視差（ｄ）とから、実際の三次元空間上の座標（ｘ，ｙ，ｚ）を演算する方法が下記［特許文献１］などに記載されている。
特開平１０−１４３６５９号公報 特開平７−３０２３２５号公報

このような実際の三次元空間上の座標（ｘ，ｙ，ｚ）の演算量は多く、車両に搭載して車両前方の障害物などを検出する際にはこの演算量の多さが問題となる。車両に搭載した場合、走行中は前方画像は常に変化するが、この変化する画像から実空間上の位置（三次元空間上の座標）を特定するには演算量が多くて検出が遅れることが危惧される。これを解決する方法として、上記［特許文献２］には、車両の運転状態（速度や旋回状態）に応じて、撮像した画像中の特定の一部領域を特定し、この領域についてのみ障害物検出を行う方法が記載されている（［特許文献２］の［図１５］など参照）。

しかし、検出を行う領域を限定してしまうと、次のような不都合がある。例えば、遠方の高い物体は検出する必要がないので、画像中の上方の領域を検出範囲外とした場合、近くにいる人物などを検出することができなくなってしまう。これは、縦方向の画像領域を限定することが検出することのできる物体の大きさ自体を限定してしまうことになるからである。この問題は、障害物などの実際の位置を考慮することなく画像における位置だけを用いて演算を行う領域を限定してしまうことから生じている。

また、［特許文献２］の方法では、画像中の障害物を表す点毎に演算を行うか否かの判定を行っているのではなく、検出（演算）を行う領域を一部の領域に限定しているだけである。このため、検出対象とした領域外に本来は検出すべき障害物などがある場合は、正確な検出を行うことができない。従って、本発明の目的は、演算量を低減しつつ、検出対象物を正確に検出することができる検出装置を提供することにある。

請求項１に記載の検出装置は、複数の撮像手段を備え、複数の撮像手段の撮像結果に基づいて検出対象物を検出するもので、複数の撮像手段の各撮像結果上の検出対象物を示す対応点間の視差を算出する視差算出手段と、視差算出手段によって算出された視差からなる、又は、該視差及び撮像結果の二次元画像座標系における対応点の座標からなる撮像情報に基づいて、実際の三次元空間に対応づけられた三次元座標系における対応点の一部の次元の座標が予め定められる所定範囲内にあるか否かを判定し、所定範囲内にあると判定された対応点に対応する検出対象物を検出する判定・検出手段とを備えていることを特徴としている。

請求項２に記載の発明は、請求項１に記載の検出装置において、対応点に関する一部次元の座標が、三次元座標系における複数の次元の座標であり、複数次元の各座標毎に所定範囲が予め定められ、判定・検出手段は、複数次元の各座標が各所定範囲内に全てあるか否かを判定し、各座標が各所定範囲内に全てあると判定された対応点に対応する検出対象物を検出することを特徴としている。

請求項３に記載の発明は、請求項１又は２に記載の検出装置において、所定範囲に対応させて、視差に対して設定される制限範囲を記憶する記憶手段をさらに備えており、判定・検出手段は、撮像情報に基づいて記憶手段から読み出された制限範囲内に視差があるか否かを判定し、制限範囲内にあると判定された検出対象物を検出することを特徴としている。

請求項４に記載の発明は、請求項１又は２に記載の検出装置において、対応点に関する一部次元の座標が、三次元座標系に対応する実際の三次元空間における高さ方向位置又は横方向位置を示すものを含むことを特徴としている。

請求項５に記載の発明は、請求項１、２又は４の何れか一項に記載の検出装置において、所定範囲に対応させて、視差と二次元画像座標の組み合わせに対して設定される制限範囲を記憶する記憶手段をさらに備えており、判定・検出手段は、撮像情報に基づいて記憶手段から読み出された制限範囲内に、視差と二次元画像座標の組み合わせがあるか否かで検出対象物を検出対象にするか否かを判定することを特徴としている。

請求項６に記載の発明は、請求項１〜５の何れか一項に記載の検出装置において、三次元座標系における一つの次元に対する所定範囲が複数用意されており、判定・検出手段は、検出対象物に応じて用いる所定範囲を選択することを特徴としている。

請求項７に記載の発明は、請求項１〜６の何れか一項に記載の検出装置において、検出対象物を検出すること、とは、三次元座標系における座標値の算出であることを特徴としている。

請求項１に記載の検出装置によれば、複数の撮像手段による画像によって画像上の二次元座標と視差とを求め、これに基づいて対応点の三次元座標上の一部の次元の座標（例えば高さ）が予め定められる所定範囲内にあるか否か（例えば、対応点が車両と衝突する可能性がある高さの範囲内にあるか否か）を判定し、所定範囲内の検出対象物（対応点）を検出する。このようにすることで、全ての対応点について三次元座標上の全ての次元についての座標を求める演算を行う必要がなくなり、演算量を削減することができる。

請求項２に記載の検出装置によれば、一部の次元が、一次元でなく複数の次元（例えば、高さ方向位置と横方向位置、高さ方向位置と奥行き方向位置、など）となる。そして、各次元毎に予め所定範囲を定め、各次元毎に対応点の座標が所定範囲内にあるか否かを判定する。そして、全ての次元に関して、対応点の座標が所定範囲内にある場合に対応点（検出対象物）を検出対象にする。このように、複数の次元に関して判定を行うことで、検出対象とするべきか否かをより正確に判定することができるようになる。

請求項３に記載の検出装置によれば、上述した対応点の一部次元の座標に関する所定範囲を、視差に対する制限範囲として設定する。そして、視差がこの制限範囲内にあるか否かで、一部次元の座標が所定範囲内にあるか否かを判断する。このようにすることで、二次元画像座標上の座標位置や視差に基づいて対応点を検出対象とするか否かの判断を行えるため、演算量をより低減することができる。また、上述した所定範囲と制限範囲とは対応づけられているため、検出要否判断の正確性を損ねるようなこともない。

請求項４に記載の検出装置によれば、対応点の一部次元の座標が、三次元座標系に対応する実際の三次元空間における高さ方向位置又は横方向位置を示すものを含む。三次元空間における高さ方向位置又は横方向位置は検出を行っている場所（例えば車両）と対応点との位置関係を決める上で重要であるため、対応点の一部次元の座標を三次元空間における高さ方向位置又は横方向位置とすることで、より正確な検出要否判断を行うことができる。例えば、検出位置が車両などである場合は、車両が前方に移動することで、車両と対応点の検出対象物とが衝突するか否かを判定する上で重要なのが高さ方向位置又は横方向位置である。なお、車両の場合、走行していれば対応点の奥行き方向位置にはいずれ到達する（衝突するか否かは高さ方向位置又は横方向位置で決まる）。

請求項５に記載の検出装置によれば、上述した対応点の一部次元の座標に関する所定範囲を、視差と二次元画像座標の組み合わせに対する制限範囲として設定する。そして、視差と二次元画像座標の組み合わせがこの制限範囲内にあるか否かで、一部次元の座標が所定範囲内にあるか否かを判断する。このようにすることで、二次元画像座標上の座標位置や視差に基づいて対応点を検出対象とするか否かの判断を行えるため、演算量をより低減することができる。また、上述した所定範囲と制限範囲とは対応づけられているため、検出要否判断の正確性を損ねるようなこともない。

請求項６に記載の検出装置によれば、上述した所定範囲を（上述した制限範囲と対応づけられている場合は制限範囲も）複数用意しておき、検出対象物に応じて何れの選択範囲を用いるかを選択するため、より正確な検出要否判定を行うことができる。例えば、検出位置が車両などであるような場合は、地面付近を検出する場合は、一部次元座標を高さとして、基準位置［車両接地位置］の±１ｍの所定範囲を選択して用いることなどが行える。

請求項７に記載の検出装置によれば、検出対象とする場合のみ三次元座標上の全ての次元についての座標を求め、三次元空間上での実際の位置を正確に算出できる。

本発明の検出装置の一実施形態について以下に説明する。本実施形態の検出装置が組み込まれた車両構成図を図１に示す。車両１の車室内ルームミラー前方には、一対のカメラ（撮像手段）２Ｒ，２Ｌが配設されている。これらのカメラ２Ｒ，２Ｌは、その出力映像信号を処理し、検出対象物（障害物や歩行者など）を検出する演算を行うＥＣＵ３に接続されている。ＥＣＵ３は、エンジン４（あるいはその制御ＥＣＵなど）及びブレーキ機構５（あるいはその制御ＥＣＵ）とも接続されている。なお、一対のカメラ２Ｒ，２Ｌは、同一の性能・仕様を持ったものであり、それらの設置間隔や焦点距離などは予めＥＣＵ３内のＲＯＭなどに記憶されている。

対象物の検出に際しては、まず、一対のカメラ２Ｒ，２Ｌによって前方画像を取得する。一対のカメラ２Ｒ，２Ｌは所定の間隔を置いて設置されているため、撮像された一対の画像は全く同じ画像とはならず、二つの画像間にはいわゆる肉眼での視差に相当するズレ（以下、このズレも視差と言う）が生じる。即ち、二つの画像上において同一のものを示す点（以下、この一対の点を対応点と呼ぶ）に関する視差は、カメラ２Ｒ，２Ｌからの方向及び距離に応じて異なる。そこで、画像上の位置（二次元座標軸上の座標：通常何れか一方の画像を基準とする）と視差とから、実際の三次元空間（これに対応する三次元座標軸）上の座標が算出可能となる。

ただし、上述したように、全ての対応点に対して三次元空間上の座標を演算することは演算量が多過ぎるため、本実施形態では対応点毎にこの演算が必要か否か（対象物の検出が必要であるか否か）を判定し、必要と判定されたものについてのみ三次元空間上の座標を演算する。まず、図２に示されるように、カメラ２Ｒ，２Ｌの撮像画像から、ある対応点Ａに関して、一方の基準画像（ここでは右画像）についての二位次元座標軸上の座標（ｉＸ，ｉＹ）と視差ｉＤとを取得する。ここでは、一対のカメラ２Ｒ，２Ｌは横方向に距離をおいて設置されているため、視差ｉＤは横方向に現れる。なお、一対の画像上のどの点が対応点となるかの検出は、従来の公知の手法によって行われる。

次に、この（ｉＸ，ｉＹ，ｉＤ）から、三次元空間上の一つの次元の座標（ここでは高さ方向の位置）のみを算出する。この算出の仕方について簡単に説明する。なお、以下には、三次元空間における全ての次元についての座標（Ｘ，Ｙ，Ｚ）を求める場合について説明するが、上述したように、本発明では、まず、そのうちの一つの座標（高さを示す座標Ｙ）についてのみ演算が実行され、最終的に検出対象であると判断された場合に残りの座標（横方向位置を示すＸ及び奥行き方向位置を示すＺ）が演算される。

手順としては、カメラ２Ｒ，２Ｌによって撮像された画像上方に基づく座標系（画像座標Ｌ_ＩＭＧ）の情報（ｉＸ，ｉＹ，ｉＤ）からまず、カメラ位置を基準とする三次元空間上の座標系（カメラ座標Ｌ_ＣＡＭ）における対応点の座標（Ｘｃ，Ｙｃ，Ｚｃ）を求める。そしてさらに、このカメラ座標（Ｘｃ，Ｙｃ，Ｚｃ）を車両１を基準とする三次元空間上の座標系（車両座標Ｌ_ＣＡＲ）における上述した座標（Ｘ，Ｙ，Ｚ）を求める。このときの各座標系の定義と、後述する車両１のヨー角α・ピッチ角β・ロール角γの回転方向の定義を図３に示す。なお、図３には右側のカメラ２Ｒのみを図示してあるが、左側のカメラ２Ｌも車両中心線に対してカメラ２Ｒと対称な位置に設置されている。

まず、画像座標Ｌ_ＩＭＧの（ｉＸ，ｉＹ，ｉＤ）からカメラ座標Ｌ_ＣＡＭの（Ｘｃ，Ｙｃ，Ｚｃ）への変換については、下記変換式（ｉ），（ｉｉ）を用いて行われる。なお、ｆ_{ＩＭＧ→ＣＡＭ}は、画像座標Ｌ_ＩＭＧからカメラ座標Ｌ_ＣＡＭへの変換を示しており、式（ｉｉ）は式（ｉ）を各成分毎に書き直したものである。また、式（ｉ）の最も右の式は、Ｘｃ，ＹｃをＺｃを用いて表したものである。
Ｌ_ＣＡＭ＝ｆ_{ＩＭＧ→ＣＡＭ}（Ｌ_ＩＭＧ） …（ｉ）

ここで、式中の各文字は以下の意味を持つ。
ｉＸ_０：右画像のｉＸ方向の画素単位系（画素＝ピクセルを基準とした単位系）に対応する焦点位置
ｉＹ_０：右画像のｉＹ方向の画素単位系に対応する焦点位置
ｆｘ：ｉＸ方向の画素単位系に対応する焦点距離［＝（右カメラ２Ｒの焦点距離：［ｍ］）／（ｉＸ方向の１ピクセルあたりの素子長［ｍ／ｐｉｘｅｌ］）］
ｆｙ：ｉＹ方向の画素単位系に対応する焦点距離［＝（右カメラ２Ｒの焦点距離：［ｍ］）／（ｉＹ方向の１ピクセルあたりの素子長［ｍ／ｐｉｘｅｌ］）］
Ｂ：基線長（二つのカメラ２Ｒ，２Ｌ間のレンズ中心間距離）×画素単位系に対応する焦点距離［＝基線長［ｍ］×ｆｘ］

次に、カメラ座標Ｌ_ＣＡＭの（Ｘｃ，Ｙｃ，Ｚｃ）から車両座標Ｌ_ＣＡＲの（Ｘ，Ｙ，Ｚ）への変換が、下記変換式（ｉｉｉ）を用いて行われる。なお、ｆ_{ＣＡＭ→ＣＡＲ}は、画像座標Ｌ_ＣＡＭからカメラ座標Ｌ_ＣＡＲへの変換を示している。
Ｌ_ＣＡＲ＝ｆ_{ＣＡＭ→ＣＡＲ}（Ｌ_ＣＡＭ）＝Ｒ・Ｌ_ＣＡＭ＋Ｔ …（ｉｉｉ）
ここで、Ｒはカメラと道路面との変換を行う回転行列であり、Ｔは車両１の最前端中央から地面に向かって垂直におろした点からカメラ焦点までの距離を使った並進行列であり、下記のように表される。

なお、α，β，γは、上述したように車両１のヨー角・ピッチ角・ロール角であり、それぞれ車両１に搭載されたセンサによって検出される。また、並進行列Ｔの各成分については図３に示されるとおりである。

上述したようにして、ある対応点についての三次元空間の一次元の座標（ここでは高さ位置）を算出し、この高さが所定範囲内にあるか否かを判定することで、その対応点に対応する検出対象物を検出するか否か（全ての次元の座標を算出するか否か）を決定する。例えば、車両１と衝突する可能性のある、高さが０〜２ｍの範囲内にある検出対象物のみを検出すると判定するなどする。なお、ここでは、三次元空間上の一つの次元を高さとしたが、横方向の位置であってもよい。例えば、車両１と衝突する可能性のある、横方向位置が±１ｍ（車両中心線が０）の範囲内にある検出対象物のみを検出すると判定するなどする。

なお、三次元空間上の二つの次元を用いて検出対象物を検出するか否かを判定してもよい。例えば、上述した高さと横方向位置とを組み合わせて判定してもよい。あるいは、高さと奥行き方向位置との組み合わせ、横方向と奥行き方向位置との組み合わせなどで判定してもよい。奥行き方向は、車両１からどの程度離れているかを示すこととなるので、十分に遠方にあるものなどは検出対象外としてもよい。ただし、車両１が前進して車両１と検出対象物との距離が近くなったときに検出対象となることもある。

上述したように、三次元空間（三次元座標軸）上の一つの座標を求めて、この座標が所定範囲内にあるか否かで検出の要否を判定するが、本実施形態では、さらに演算量を低減させるため、この一次元の座標の所定範囲と対応する所定の制限範囲を視差ｉＤに対して予め設定し、これに基づいて対応点に対応する対象物の検出要否を判定している。この場合、（ｉＸ，ｉＹ，ｉＤ）などの検出後に、これらに基づいて予め設定される制限範囲と視差ｉＤとを比較して、一次元の座標が所定範囲内にあるか否かを判定する。

これを、図４に基づいて説明する。なお、画像上の座標軸については、図３及び図４に示されるように、ここでは右上を原点とし、下方及び左方に座標軸が正方向に伸びるように設定されている。なお、ｉＸ，ｉＹ，ｉＤに関して、三次元空間（三次元座標軸）上の一つの座標の所定範囲と対応する制限範囲の上限と下限とを規定するテーブル（以下、視差制限テーブルと呼ぶ）が予め作成され、ＥＣＵ３内のＲＯＭなどに記憶されている。ここでは、三次元空間上の高さが所定範囲内であるか否かを判定する場合を例にして説明するが、この所定範囲の閾値毎に制限範囲の閾値を、上述した視差制限テーブルによって決定する。

例えば、三次元空間上での対応点に相当する対象物上の一点が、高さ０ｍ〜＋２ｍの範囲（所定範囲）内にあるかを判定する場合について考える。この場合、まず、所定範囲の閾値０ｍ，２ｍに対応させて、視差制限テーブル上下限テーブルｕｐｐｅｒ，ｌｏｗｅｒが設定される。図４中のＹｕ１〜Ｙｕ９がｉＹに対応した制限範囲上限を決める視差制限テーブルｕｐｐｅｒであり、Ｙｌ１〜Ｙｌ９がｉＹに対応した制限範囲下限を決める視差制限テーブルｌｏｗｅｒである。なお、ここでは、各テーブルは９分割して生成されているが、もっと多くに細分化されて生成されてもよい。また、このテーブルは数式として設定されてもよい。そして、図４の場合は、対応点Ａの画像上の座標ｉＹに基づいて、ｉＹに対する視差制限テーブルから下限Ｙｌ５が決定されると共に、上限Ｙｕ５が決定される。

ここで、下記の式が成立することが、対応点の三次元空間（三次元座標軸）上の一次元の座標（ここでは高さ）が所定範囲内にあることを示すことになる。
Ｙｌ５＜ｉＤ＜Ｙｕ５
対象物（対応点）の高さ位置は、撮像した画像のｉＹ座標に反映される。ただし、その撮像画像上の縦方向の位置は、対象物が検出位置（カメラ２Ｒ，２Ｌの位置）からどの程度の距離にあるかによっても変わる。そこで、ここでは、上述したように、視差制限テーブルを用いて、ｉＹ座標（と所定範囲の閾値）によって制限範囲の閾値を決定し、この制限範囲と視差ｉＤとによって、対象物（対応点）が所定範囲内であるか否かを判定する。

即ち、視差制限テーブルから得た上下限値によって規定される制限範囲内に、視差ｉＤが含まれているか否かを判定し、制限範囲内である場合に、対応点の三次元空間（三次元座標軸）上の一つの座標（ここでは高さ）が所定範囲内にあると判定する。なお、所定範囲（即ち、制限範囲）は予め複数用意しておくことができる（例えば、高さが０〜５ｍや±１ｍなど）。そして、検出対象物（対応点：他車・歩行者・物体など）に応じてどの所定範囲を用いるかを選択して使用することができる。

上述した例は、三次元空間上での一次元が対象物（対応点）の高さである場合について説明したが、高さ方向位置ではなく横方向位置である場合も同様にして制限範囲に基づく判定を行うことができる。この場合の図４相当図を図５に示す。例えば、対応点が車両中心に対して左右１ｍの範囲（所定範囲）内にあるかを判定する場合を例にする。この場合、まず、所定範囲の閾値左右１ｍに対応させて、視差制限テーブル上下限テーブルｕｐｐｅｒ，ｌｏｗｅｒが設定される。図５中のＸｕ１〜Ｘｕ９がｉＸに対応した制限範囲上限を決める視差制限テーブルｕｐｐｅｒであり、Ｘｌ１〜Ｘｌ９がｉＸに対応した制限範囲下限を決める視差制限テーブルｌｏｗｅｒである。ここでも、各テーブルは９分割以外の分割数とされてもよいし、数式として設定されてもよい。

そして、対応点Ａの画像上の座標ｉＸに基づいて、ｉＸに対する視差制限テーブルから下限Ｘｌ７が決定されると共に、上限Ｘｕ７が決定される。ここで、下記の式が成立することが、対応点の三次元空間（三次元座標軸）上の一次元の座標（ここでは横方向位置）が所定範囲内にあることを示すことになる。
Ｘｌ７＜ｉＤ＜Ｘｕ７
対象物（対応点）の横方向位置は、撮像した画像のｉＸ座標に反映される。ただし、その撮像画像上の横方向の位置は、対象物が検出位置（カメラ２Ｒ，２Ｌの位置）からどの程度の距離にあるかによっても変わる。そこで、ここでは、上述したように、視差制限テーブルを用いて、ｉＸ座標（と所定範囲の閾値）によって制限範囲の閾値を決定し、この制限範囲と視差ｉＤとによって、対象物（対応点）が所定範囲内であるか否かを判定する。

即ち、視差制限テーブルから得た上下限値によって規定される制限範囲内に、視差ｉＤが含まれているか否かを判定し、制限範囲内である場合に、対応点の三次元空間（三次元座標軸）上の一つの座標（ここでは横方向位置）が所定範囲内にあると判定する。なお、上述した場合と同様に、所定範囲（即ち、制限範囲）は予め複数用意しておくことができる（例えば、横方向位置が左右２ｍや０ｍ〜右１ｍなど）。そして、検出対象物（対応点：他車・歩行者・物体など）に応じてどの所定範囲を用いるかを選択して使用することができる。

さらに、三次元空間上での一次元が対象物（対応点）の奥行き方向位置である場合もほぼ同様にして制限範囲に基づく判定を行うことができる。この場合の図４相当図を図６に示す。例えば、対応点が車両中心に対して前方５〜１０ｍの範囲（所定範囲）内にあるかを判定する場合を例にする。この場合、まず、所定範囲の閾値５〜１０ｍに対応させて、視差制限テーブル上下限テーブルｕｐｐｅｒ，ｌｏｗｅｒが設定される。この場合、上述した高さ方向位置や横方向位置の場合と異なり、撮像した画像上の座標は用いない。図６中のＤｕ１〜Ｄｕ９が視差ｉＤに対応した制限範囲上限を決める視差制限テーブルｕｐｐｅｒであり、Ｄｌ１〜Ｄｌ９が視差ｉＤに対応した制限範囲下限を決める視差制限テーブルｌｏｗｅｒである。ここでも、各テーブルは９分割以外の分割数とされてもよいし、数式として設定されてもよい。

そして、一対の撮像画像から得られた視差ｉＤに基づいて、ｉＤに対する視差制限テーブルから下限Ｄｌ４が決定されると共に、上限Ｄｕ４が決定される。ここで、下記の式が成立することが、対応点の三次元空間（三次元座標軸）上の一次元の座標（ここでは奥行き方向位置）が所定範囲内にあることを示すことになる。
Ｄｌ４＜ｉＤ＜Ｄｕ４
対象物（対応点）の奥行き方向位置は、一対の撮像画像から得られる視差ｉＤに反映される。そこで、ここでは、上述したように、視差制限テーブルを用いて、視差ｉＤ（と所定範囲の閾値）によって制限範囲の閾値を決定し、この制限範囲と視差ｉＤとによって、対象物（対応点）が所定範囲内であるか否かを判定する。

即ち、視差制限テーブルから得た上下限値によって規定される制限範囲内に、視差ｉＤが含まれているか否かを判定し、制限範囲内である場合に、対応点の三次元空間（三次元座標軸）上の一つの座標（ここでは奥行き方向位置）が所定範囲内にあると判定する。なお、上述した場合と同様に、所定範囲（即ち、制限範囲）は予め複数用意しておくことができる（例えば、奥行き方向位置が２〜５ｍや３０〜５０ｍなど）。そして、検出対象物（対応点：他車・歩行者・物体など）に応じてどの所定範囲を用いるかを選択して使用することができる。

なお、上述したように、一次元についてのみ所定範囲を設定するのではなく、二次元についてそれぞれ所定範囲を設定して、三次元空間上の二つの次元を用いて検出対象物を検出するか否かを判定してもよいことは既に述べたとおりである。例えば、上述した高さと横方向位置とを組み合わせて判定してもよい。あるいは、高さと奥行き方向位置との組み合わせ、横方向と奥行き方向位置との組み合わせなどで判定してもよい。このような場合の制限範囲を用いた判定方法について、図７を参照しつつ、簡単に説明する。図７には、上述したｉＸに対応する視差制限テーブルと、ｉＹに対応する視差制限テーブルとが示されている。

そして、それぞれの視差制限テーブルから、高さ方向の制限範囲（Ｙｌ５〜Ｙｕ５）と、横方向の制限範囲（Ｘｌ７〜Ｘｕ７）とが決定される。これらの決定は、それぞれ上述した場合と同様の手法による。そして、下記の二つの式が同時に成立することが、対応点の三次元空間（三次元座標軸）上の二次元の座標（ここでは高さ及び横方向位置）が何れも各所定範囲内にあることを示すことになる。
Ｙｌ５＜ｉＤ＜Ｙｕ５
Ｘｌ７＜ｉＤ＜Ｘｕ７
このようにして、三次元空間上の二つの次元を用いて検出対象物を検出するか否かを判定することもできる。

また、三次元空間上の全ての次元（三次元）を用いて検出対象物を検出するか否かを判定することも可能であり、この場合の制限範囲を用いた判定方法についても、図８を参照しつつ、簡単に説明しておく。図８には、上述したｉＸに対応する視差制限テーブルと、ｉＹに対応する視差制限テーブルとに加えて、視差ｉＤに対応する視差制限テーブルも示されている。このように全ての次元を用いて判定したとしても、この場合は、三次元空間上の実際の座標を全て求めるのではなく、制限範囲を用いて判定を行うため演算量を低減することができる。

この場合は、各視差制限テーブルから、高さ方向の制限範囲（Ｙｌ５〜Ｙｕ５）と横方向の制限範囲（Ｘｌ７〜Ｘｕ７）とに加えて、奥行き方向の制限範囲（Ｄｌ４〜Ｄｕ４）も決定される。そして、下記の三つの式が同時に成立することが、対応点の三次元空間（三次元座標軸）上の全ての次元の各座標（ここでは高さ、横方向位置、及び、奥行き方向位置）が何れも各所定範囲内にあることを示すことになる。
Ｙｌ５＜ｉＤ＜Ｙｕ５
Ｘｌ７＜ｉＤ＜Ｘｕ７
Ｄｌ４＜ｉＤ＜Ｄｕ４
このようにして、三次元空間上の全ての次元を用いて検出対象物を検出するか否かを判定することもできる。

次に、予め用意される上述した視差制限テーブルの生成方法について、図９に基づいて簡単に説明する。ここでは、ｉＹに対する視差制限テーブル（上限・下限）を生成する方法を例に説明する。ｉＸに対する視差制限テーブル（上限・下限）の生成方法も同様である。図９には、上述した所定範囲の閾値となる値毎にｉＹの制限範囲の閾値との関係を示す直線が引かれている。これらの直線は、予め実験などによって所定範囲−制限範囲間の整合がとられた上で生成されている。ここで、実際空間での対応点の高さに対する所定範囲が０〜２ｍである場合を例にして説明する。所定範囲を０〜２ｍとするため、ここでは０ｍの直線と２ｍの直線とを用いる。所定範囲の閾値を異ならせる場合は、その閾値に対応する直線を用いることとなる。

ここで、ｉＹの値が９０である場合の制限範囲の上下限値（図４におけるＹｌｘやＹｕｘに相当する値）を求める。具体的には、図９のグラフの縦軸のｉＹ＝９０の高さに水平線を引く。この水平線と０ｍの直線と２ｍの直線との交点を求める（ただし、この場合、水平線と０ｍの直線とは交わらない）。交点の横軸ｉＤの座標を読みとる。この座標が制限範囲の閾値となる。なお、水平線がグラフ上の直線と交わらない場合は、最大値（ここでは１２８）となる。このようにして制限範囲を求めると、ｉＹ＝９０の場合のｉＹに関する制限範囲は、２５〜１２８となる。同様に、ｉＹ＝１７０の場合のｉＹに関する制限範囲は、３０〜１２８となる。また、ｉＹ＝１４０の場合のｉＹに関する制限範囲は、８〜５６となる。なお、視差ｉＤに対応する視差制限テーブル（上限・下限）は、カメラ２Ｒ，２Ｌの仕様（二つのカメラ２Ｒ，２Ｌ間の距離や焦点距離）などから求められる。

本実施形態によれば、一対のカメラ２Ｒ，２Ｌの撮影結果から対応点（検出対象物）の（ｉＸ，ｉＹ，ｉＤ）を求め、これに基づいて対応点の三次元座標上の一部の次元の座標（例えば、高さなど）を求める。そして、この一部次元の座標（高さ）が所定範囲内であるか否かによって、その対応点を検出対象とするかどうか（三次元座標上の全ての次元についての座標を求める演算を行うかどうか）を判断し（例えば、対応点が車両と衝突する可能性がある高さにあるか否か）、検出対象とする場合のみ三次元座標上の全ての次元についての座標を求める。このようにすることで、全ての対応点について三次元座標上の全ての次元についての座標を求める演算を行う必要がなくなり、演算量を削減することができる。また、検出対象とするか否か（三次元座標上の全ての次元についての座標を求める演算を行うか否か）は、先に求めた一部次元の座標（高さ）に基づいて判断するため、正確な検出要否判断を行える。

特に、本実施形態では、所定範囲内に対応する制限範囲を設定する。そして、視差ｉＤが制限範囲内にあるか否かで、対応点の一部次元の座標が所定範囲内にあるか否かを判断する。このようにすることで、実際に三次元空間（三次元座標）の一部次元の座標を算出する必要がなくなり、撮像画像から得られた（ｉＸ，ｉＹ，ｉＤ）などの値と予め決められる制限範囲との比較によって、対応点を検出対象とするか否かの判断を行えるため、演算量をより低減することができる。また、上述した所定範囲と制限範囲とは対応づけられているため、検出要否判断の正確性が損なわれることもない。

なお、本実施形態では、ｉＹ座標によって視差ｉＤの制限範囲を定めた視差制限テーブルを保持し、ｉＹ座標を持つ対応点に着目した時、視差制限テーブルから得た上下限値によって規定される制限範囲内に視差ｉＤがある場合に、対応点の３次元空間上の１つの座標が所定範囲内にあると判定しているが（図４及び図４に関する説明部分を参照）、本発明はこれに限定されず、「視差と２次元画像座標の組み合わせに対する制限範囲に、視差と２次元画像座標の組み合わせがあるか否かで判定」すればよい。

例えば、ｉＹ座標と視差ｉＤの組み合わせが制限範囲内にあるか否かを判定する別の方法として、視差ｉＤに対応したｉＹの制限範囲定めたｉＹ座標制限テーブルを保持し、視差ｉＤを持つ対応点に着目した時、視差ｉＤに基づいてｉＹ座標制限テーブルから得たｉＹ座標の上下限値によって規定される制限範囲内に、対応点のｉＹ座標がある場合に、対応点の３次元空間上の１つの座標が所定範囲内にあると判定してもよい。

なお、このｉＹ座標制限テーブルは、視差制限テーブルを求めた時と同様に、図９より算出することが出来る。例えば、２ｍから０ｍを所定範囲としたときの視差ｉＤ＝３０に対応するｉＹ座標の下限値は、図９から（右から三本目の点線から、おおよそ）８５、上限値を１７０と求めることが出来る。なお、この例では、ｉＹ座標制限テーブルを例とし、対応点が高さ方向の所定範囲内にあるか否かを判定しているが、同様の考えにより、ｉＸ座標制限テーブルを作成し、これに基づいて対応点が横方向の所定範囲にあるか否かを判定してもよい。

最終的に検出対象とされて検出された（実際の空間に対応する三次元空間上の座標が求められた）対応点、即ち、検出対象物に関しては、ここではその結果を用いて車両１との衝突判定が行われる。この判定は、検出対象物の位置や、車両１の速度、操舵角などに基づいて、車両１と検出対象物が衝突するか否か、あるいは、その可能性はどの程度かが判定される。そして、車両１と検出対象物が衝突する、あるいは、その可能性が高いと判定された場合は、ＥＣＵ５からの命令を受けて、エンジン４の出力が絞られたり、ブレーキ機構５が作動されて、車両１と検出対象物との衝突を回避する。同時に、衝突する可能性があることは、印する面とパネル内のランプを点灯又は点滅させたり、車室内に設置されたブザーを吹鳴させるなどして乗員に告知される。

本発明の検出装置の一実施形態を有する車両構成図である。 一対のカメラによる画像と（ｉＸ，ｉＹ，ｉＤ）との関係を示す説明図である。 演算時の各座標系（画像座標系・カメラ座標系・車両座標系）の関係を示す説明図である。 制限範囲を規定する視差制限テーブル（高さ方向）を説明する説明図である。 制限範囲を規定する視差制限テーブル（横方向）を説明する説明図である。 制限範囲を規定する視差制限テーブル（奥行き方向）を説明する説明図である。 制限範囲を規定する視差制限テーブル（高さ及び横方向）を説明する説明図である。 制限範囲を規定する視差制限テーブル（高さ、横、及び、奥行き方向）を説明する説明図である。 視差制限テーブルの生成に使用するグラフである。

符号の説明

１…車両、２Ｒ，２Ｌ…カメラ（撮像手段）、３…ＥＣＵ（視差算出手段、判定・検出手段）、４…エンジン、５…ブレーキ機構。

Claims (7)

1. 複数の撮像手段を備え、複数の前記撮像手段の撮像結果に基づいて検出対象物を検出する検出装置において、
   複数の前記撮像手段の各撮像結果上の前記検出対象物を示す対応点間の視差を算出する視差算出手段と、
   前記視差算出手段によって算出された視差からなる、又は、該視差及び前記撮像結果の二次元画像座標系における前記対応点の座標からなる撮像情報に基づいて、実際の三次元空間に対応づけられた三次元座標系における前記対応点の一部の次元の座標が予め定められる所定範囲内にあるか否かを判定し、前記所定範囲内にあると判定された前記対応点に対応する前記検出対象物を検出する判定・検出手段とを備えていることを特徴とする検出装置。
2. 前記対応点に関する一部次元の座標が、前記三次元座標系における複数の次元の座標であり、複数次元の各座標毎に前記所定範囲が予め定められ、前記判定・検出手段は、複数次元の各座標が各所定範囲内に全てあるか否かを判定し、各座標が各所定範囲内に全てあると判定された前記対応点に対応する前記検出対象物を検出することを特徴とする請求項１に記載の検出装置。
3. 前記所定範囲に対応させて、前記視差に対して設定される制限範囲を記憶する記憶手段をさらに備えており、前記判定・検出手段は、前記撮像情報に基づいて前記記憶手段から読み出された前記制限範囲内に前記視差があるか否かを判定し、前記制限範囲内にあると判定された前記検出対象物を検出することを特徴とする請求項１又は２に記載の検出装置。
4. 前記対応点に関する一部次元の座標が、前記三次元座標系に対応する実際の三次元空間における高さ方向位置又は横方向位置を示すものを含むことを特徴とする請求項１又は２に記載の検出装置。
5. 前記所定範囲に対応させて、前記視差と前記二次元画像座標の組み合わせに対して設定される制限範囲を記憶する記憶手段をさらに備えており、前記判定・検出手段は、前記撮像情報に基づいて前記記憶手段から読み出された前記制限範囲内に、前記視差と前記二次元画像座標の組み合わせがあるか否かで前記検出対象物を検出対象にするか否かを判定することを特徴とする請求項１、２又は４の何れか一項に記載の検出装置。
6. 前記三次元座標系における一つの次元に対する前記所定範囲が複数用意されており、前記判定・検出手段は、前記検出対象物に応じて用いる前記所定範囲を選択することを特徴とする請求項１〜５の何れか一項に記載の検出装置。
7. 前記検出対象物を検出すること、とは、三次元座標系における座標値の算出であることを特徴とする請求項１〜６の何れか一項に記載の検出装置。

Images