JP2011024079A - 周辺表示装置 - Google Patents

Abstract

【課題】自動車などの自走可能な移動体周辺の俯瞰画像を表示する周辺表示装置において、計算コストを削減した周辺表示装置を提供する。
【解決手段】３次元データ処理部ＤＰは、ステレオカメラで得られた２次元測定画像から、３次元画像データを算出する３次元化計算部１１と、３次元化計算部１１で計算された３次元画像データに含まれる各データが道路面を構成するデータであるか否かを判定する道路面判定部１２と、道路面判定部１２で道路面を構成するデータであると判定されたデータを全て破棄、あるいは間引きして道路面に該当しないデータとともに出力する道路面データ削減部１３と、自動車座標系内でのステレオカメラの位置、姿勢を表現する３次元変換行列を適用することで、ステレオカメラ座標系で表現された３次元画像データを自動車座標系で表現された３次元画像データに変換する座標変換部１４とを備えている。
【選択図】図３

Description

本発明は周辺表示装置に関し、特に、自走可能な移動体の周辺状況を俯瞰的に表示する周辺表示装置に関する。

周辺表示装置とは、複数の撮像手段によって例えば車両周辺の２次元画像を個々に撮像し、それぞれの画像を視点変換して路面を投影面とする複数の俯瞰画像を作成し、当該複数の俯瞰画像を車両周辺に並べるように合成することで、車両周辺の俯瞰画像を得る装置である。

例えば、特許文献１には、距離演算の負荷を軽減するために、測定画像に基づいて物体を識別し、識別結果に基づいてエリアを設定し、当該エリア内で距離計算を行う方法が開示されている。

また、特許文献２では、ステレオカメラで計測された３次元情報を用いて物体の高さ情報を考慮した疑似画像（高さ方向に圧縮した画像）を含んだ俯瞰画像を作成することで視認性の向上を図る技術が開示されている。

特開２００６−３２２７９５号公報 特開２００６−３３３００９号公報

車両周辺の画像を３次元的に表示するには、ステレオカメラ等で取得した２次元画像に基づいて距離情報を含む３次元情報を取得する３次元化計算が必要であり、また、取得した３次元情報に基づいて描画を行う必要があるが、これらの処理は車載端末で実行されるので、計算コストを削減することが課題となっている。

特許文献１に開示されているのは、距離計算の演算エリアを制限する技術であり、描画演算に使用するデータを制限するものではない。また、特許文献２には、計算対象のデータに対して制限をかける技術は開示されていない。

本発明は上記のような問題点を解消するためになされたもので、自動車などの自走可能な移動体周辺の俯瞰画像を表示する周辺表示装置において、計算コストを削減した周辺表示装置を提供することを目的とする。

本発明に係る周辺表示装置の第１の態様は、自走可能な移動体における周辺の画像データを取得するステレオカメラと、前記画像データに基づいて得られた３次元画像データのうち、道路面に該当する道路面データを判定する道路面判定部と、前記道路面判定部で判定された前記道路面データに基づいて、前記３次元画像データのうち、少なくとも道路面に該当しないデータを抽出する道路面データ削減部と、を有した複数の画像測定部と、前記複数の画像測定部からそれぞれ出力される、前記道路面に該当しないデータを統合して表示対象となる統合データを生成する画像統合部と、前記統合データに基づいて表示画像を生成する画像生成部と、を有した画像処理部と、を備えている。

本発明に係る周辺表示装置の第２の態様は、前記道路面判定部が、前記３次元画像データのうち、注目点の、前記ステレオカメラに対する高さ方向の距離に基づいて前記注目点が道路面であるか否かを判定する。

本発明に係る周辺表示装置の第３の態様は、前記道路面判定部が、前記ステレオカメラの座標系がカメラ座標系の状態で、前記注目点の前記高さ方向の距離を算出して前記注目点が道路面であるか否かを判定する。

本発明に係る周辺表示装置の第４の態様は、前記道路面判定部が、前記ステレオカメラの座標系を移動体座標系に変換し、前記ステレオカメラの座標の原点位置を道路面上に設定して、前記注目点の前記高さ方向の距離を表す座標値を基に前記注目点が道路面であるか否かを判定する。

本発明に係る周辺表示装置の第５の態様は、前記道路面データ削減部が、前記道路面判定部で判定された前記道路面データを削除する。

本発明に係る周辺表示装置の第６の態様は、前記道路面データ削減部が、前記道路面判定部で判定された前記道路面データを間引き処理する。

本発明に係る周辺表示装置の第７の態様は、前記画像統合部が、前記道路面に該当しないデータと、予め準備した３次元道路モデルのデータとを統合する。

本発明に係る周辺表示装置の第１の態様によれば、画像測定部から画像処理部に転送するデータ量を削減でき、転送時間を削減できるとともに、統合処理、描画処理に要する時間も削減できて、計算コストを削減できる。

本発明に係る周辺表示装置の第２の態様によれば、注目点の、ステレオカメラに対する高さ方向の距離に基づいて注目点が道路面であるか否かを判定するので、比較的容易に道路面であるか否かの判定ができる。

本発明に係る周辺表示装置の第３の態様によれば、ステレオカメラの座標系がカメラ座標系の状態で、注目点が道路面であるか否かを判定することができる。

本発明に係る周辺表示装置の第４の態様によれば、座標変換後に道路面判定を行うことにより、判定処理が容易となり、計算コストのさらなる削減が可能となる。

本発明に係る周辺表示装置の第５の態様によれば、道路面データを削除するので、データ量の削減効果が大きくなる。

本発明に係る周辺表示装置の第６の態様によれば、道路面データを間引き処理するので、データ量を削減することができる。

本発明に係る周辺表示装置の第７の態様によれば、３次元道路モデルのデータが補完されて俯瞰画像を得ることができる。

ステレオカメラの配置例を示す図である。 本発明に係る周辺表示装置の実施の形態の構成を示すブロック図である。 本発明に係る周辺表示装置の実施の形態の３次元データ処理部の構成を示すブロック図である。 実施の形態に係る道路面データの判定方法を示す図である。 実施の形態の変形例１の３次元データ処理部の構成を示すブロック図である。 実施の形態の変形例１に係る道路面データの判定方法を示す図である。 実施の形態の変形例２に係る道路面データの判定方法を示す図である。 実施の形態の変形例３に係る道路面データの判定方法を示す図である。 実施の形態の変形例３に係る道路面データの判定方法を説明する図である。 実施の形態の変形例３に係る道路面データの判定方法を説明する図である。 実施の形態の変形例３に係る道路面データの判定方法を説明する図である。 実施の形態の変形例３に係る道路面データの判定方法を説明する図である。 ステレオカメラの他の配置例を示す図である。

＜実施の形態＞
図１は、本発明に係る周辺表示装置を搭載した車両ＶＣにおけるステレオカメラの配置例を示す図である。

図１において、車両ＶＣには、前方、左右および後方の画像を取得する４台のステレオカメラが搭載されている。すなわち、前方の画像を取得するステレオカメラＳＣ１、前方に対して右側の画像を取得するステレオカメラＳＣ２、後方の画像を取得するステレオカメラＳＣ３および前方に対して左側の画像を取得するステレオカメラＳＣ４を備えている。

このようなシステムを用いることで、自車両の周辺の画像データを取得し、それを視点を変えて自車両の上方から見た俯瞰図に変更することが可能となる。

なお、各カメラの実際の配置位置は車種によって異なるが、例えば、ステレオカメラＳＣ１はルームミラーの位置に配置され、ステレオカメラＳＣ２およびＳＣ４は、それぞれ、右および左のサイドミラーの位置に配置され、ステレオカメラＳＣ３は、リヤバンパーの位置などに配置される。なお、上記配置は一例であり、ステレオカメラの配置はこれに限定されるものではない。

図２は、本発明に係る周辺表示装置１００の構成を示すブロック図である。図２に示すように周辺表示装置１００は、ステレオカメラＳＣ１、ＳＣ２、ＳＣ３およびＳＣ４をそれぞれ含む画像測定部１０、２０、３０および４０と、画像測定部１０〜４０からそれぞれ出力される３次元画像データを統合処理して表示画像を生成する画像処理部５０と、画像表示部６０とを主たる構成として備えている。

画像測定部１０は、ステレオカメラＳＣ１で得られた２次元画像データに対して３次元処理を行う３次元データ処理部ＤＰ１を備えている。

画像測定部２０も同じ構成を有し、ステレオカメラＳＣ２および３次元データ処理部ＤＰ２を備えている。

画像測定部３０も同じ構成を有し、ステレオカメラＳＣ３および３次元データ処理部ＤＰ３を備えている。

画像測定部４０も同じ構成を有し、ステレオカメラＳＣ４および３次元データ処理部ＤＰ４を備えている。

ここで、図３を用いて、３次元データ処理部ＤＰ１〜ＤＰ４の構成について説明する。なお、３次元データ処理部ＤＰ１〜ＤＰ４は同じ構成であるので、図３においては、３次元データ処理部ＤＰとして示し、ステレオカメラはステレオカメラＳＣとして示している。

図３に示すように、３次元データ処理部ＤＰは、ステレオカメラで得られた２次元測定画像から、３次元画像データを算出する３次元化計算部１１と、３次元化計算部１１で計算された３次元画像データに含まれる各データが道路面を構成するデータであるか否かを判定する道路面判定部１２と、道路面判定部１２で道路面を構成するデータであると判定されたデータ（道路面データ）を全て破棄、あるいは間引きして道路面に該当しないデータとともに出力する道路面データ削減部１３と、自動車座標系（移動体座標系）内でのステレオカメラの位置、姿勢を表現する３次元変換行列を適用することで、ステレオカメラ座標系で表現された３次元画像データを自動車座標系で表現された３次元画像データに変換する座標変換部１４とを備えている。

また、座標変換部１４に接続され、３次元変換行列を格納する記憶部１５と、ステレオカメラＳＣの基準カメラで得られた基準カメラ画像データを一時的に格納する記憶部１６と、座標変換部１４から出力される座標変換後３次元画像データを一時的に格納する記憶部１７とを備えている。基準カメラ画像データおよび座標変換後３次元画像データは、３次元データ処理部ＤＰの出力として画像処理部５０に与えられる。

ここで、図２の説明に戻る。画像処理部５０は、３次元データ処理部ＤＰ１〜ＤＰ４のそれぞれから出力された座標変換後３次元画像データと、記憶部５１に格納された道路面モデルのデータとを１つの画像に統合して３次元画像データ（統合データ）を生成する画像統合部５２と、画像統合部５２で生成された３次元画像データと、各ステレオカメラの基準カメラで得られた基準カメラ画像データとに基づいて、仮想位置に配置した仮想カメラで撮影した画像を生成する画像生成部５３とを備えている。

＜基本動作＞
次に、上述した構成を有する周辺表示装置１００の基本動作について、図２〜図４を用いて説明する。

ステレオカメラＳＣ１〜ＳＣ４は、何れも２台のカメラで異なる視点から同時に撮影を行い、３次元化計算部１１では、三角測量の原理に基づいて、対応するステレオカメラで得られた２つの画像の特徴点を相互に対応付けし（対応点探索）、その結果得られた対応点の組のそれぞれについての視差、焦点距離、基線長などのパラメータから、各対応点の組についての３次元位置を求めることで３次元画像データを算出し、当該３次元画像データに対応するテクスチャ画像と共に出力する。

３次元化計算部１１から出力された３次元画像データは、道路面データと、道路面以外のデータとを含んでいるので、道路面判定部１２において道路面データのみを抽出する。 道路面データの判定方法の一例を、図４を用いて説明する。３次元化計算部１１から出力された３次元画像データは、ステレオカメラ座標系で表現されており、図４においては、ステレオカメラＳＣのＹ軸方向（光軸に対して垂直方向）、Ｚ軸方向（光軸方向）が示されている。ステレオカメラＳＣを車両（移動体）に取り付けると、道路面ＳＦの法線方向ベクトルＶｎと、ステレオカメラＳＣから道路面ＳＦまでの高さ方向の距離ｄが決まるので、その値を予め記憶しておく。なお、そのための記憶部は道路面判定部１２内に備える構成としても良いし、何れかの記憶部に記憶させても良い。

ステレオカメラＳＣの座標系の原点位置をカメラ位置とし、法線方向ベクトルＶｎと原点から３次元画像データ内の注目点Ｐｎまでのベクトルとの内積を取ると、ステレオカメラＳＣに対する注目点Ｐｎの上下方向の距離ｄｎを計算することができる。

この距離ｄｎと、予め設定されたステレオカメラＳＣから道路面ＳＦまでの距離ｄとを比較し、ｄとｄｎとの差が、所定の許容値（±ｔｈ１）以内にあれば、上記注目点Ｐｎは道路面に該当するものと判定され、当該点Ｐｎのデータを道路面データとして抽出することができる。ここで、許容値（±ｔｈ１）は、車両のタイヤの空気圧の強弱や、サスペンションの強弱による車高の変動や、道路面の凹凸による変動を吸収できる大きさに設定される。

一方、図４において、３次元画像データ内の注目点Ｐｍが壁面ＷＬ上の点であった場合、法線方向ベクトルＶｎと原点から注目点Ｐｍまでのベクトルとの内積を取って得られた、ステレオカメラＳＣに対する注目点Ｐｍの上下方向の距離ｄｍは、距離ｄとの差が所定の許容値（±ｔｈ１）を超えるので、道路面データには該当しないものと判定される。

道路面判定部１２で抽出された道路面データは、道路面データ削減部１３において全て破棄され、道路面に該当しないデータのみが座標変換部１４に与えられる。なお、道路面データ削減部１３では、道路面データを全て廃棄するのではなく、間引きして道路面に該当しないデータとともに座標変換部１４に与えるようにしても良い。間引きの割合は、５０％程度でも良く、さらに多くても良い。

道路面データ削減部１３から出力される３次元画像データは、ステレオカメラ座標系で表現されているので、自動車座標系で表現された３次元画像データに変換するために座標変換部１４において座標変換を行う。

この座標変換は、道路面データ削減部１３から出力される３次元画像データに対して、記憶部１５に格納された所定の３次元変換行列を適用することで実行される。

座標変換部１４から出力される座標変換後３次元画像データは、記憶部１７に一時的に格納され、記憶部１６に格納された基準カメラ画像データとともに、画像処理部５０の画像統合部５２に与えられる。

画像統合部５２では、座標変換後３次元画像データと、記憶部５１に格納された道路面モデルのデータとを１つの画像に統合して３次元画像データ（統合データ）を生成し、当該３次元画像データは、各ステレオカメラの基準カメラで得られた基準カメラ画像データとともに画像生成部５３に与えられ、仮想位置に配置した仮想カメラで撮影した俯瞰画像等が生成される。

このように、周辺表示装置１００においては、画像測定部１０〜４０に、道路面判定部１２および道路面データ削減部１３を備え、３次元画像データから道路面データを削除するので、画像測定部１０〜４０から画像処理部５０に転送するデータ量を削減でき、転送時間を削減できるとともに、統合処理、描画処理に要する時間も削減できて、計算コストを削減できる。

＜変形例１＞
以上説明した周辺表示装置１００においては、図３に示したように画像測定部１０〜４０において、座標変換前に道路面判定および道路面データの削減を行う構成を示したが、座標変換後に道路面判定および道路面データの削減を行う構成としても良い。

すなわち、図２に示す３次元データ処理部ＤＰ１〜ＤＰ４を、図５に示す３次元データ処理部ＤＰＸのような構成としても良い。

図５に示すように、３次元データ処理部ＤＰＸは、３次元画像データを算出する３次元化計算部１１の出力が座標変換部１４に与えられ、座標変換後の３次元画像データが道路面判定部１２に与えられる構成となっている。なお、図３に示した３次元データ処理部ＤＰと同一の構成については同一の符号を付し、重複する説明は省略する。

そして、道路面判定部１２で道路面データと判定されたデータは、道路面データ削減部１３において全て破棄、あるいは間引きされた後、道路面に該当しないデータおよび間引き後の道路面データが、座標変換後３次元画像データとして記憶部１７に格納される。

このような構成を採る場合の道路面データの判定方法の一例を、図６を用いて説明する。座標変換部１４から出力された３次元画像データは、自動車座標系で表現されており、例えば図６に示すように、当該自動車座標系の原点位置を道路面上に設定することができる。そして、所定の座標軸、例えばＹ軸方向を道路面の法線方向と一致するように設定し、それに垂直な方向をＺ軸方向とする。

この場合、座標変換後の３次元画像データ内の注目点ＰｎのＹ座標に着目し、当該Ｙ座標値の絶対値が、所定の許容値（±ｔｈ２）以内にあれば、上記注目点Ｐｎは道路面に該当するものと判定され、当該点Ｐｎのデータを道路面データとして抽出することができる。ここで、許容値（±ｔｈ２）は、車両のタイヤの空気圧の強弱や、サスペンションの強弱による車高の変動や、道路面の凹凸による変動を吸収できる大きさに設定される。

一方、図６において、３次元画像データ内の注目点Ｐｍが壁面ＷＬ上の点であった場合、点ＰｍのＹ座標は所定の許容値（±ｔｈ２）を超えるので、道路面データには該当しないものと判定される。

このように、座標変換後に道路面判定を行うことにより、判定処理が容易となり、計算コストのさらなる削減が可能となる。

＜変形例２＞
以上説明した周辺表示装置１００においては、図４を用いて説明したように、ステレオカメラＳＣを車両（移動体）に取り付けた場合のステレオカメラＳＣから道路面ＳＦまでの高さ方向の距離ｄが固定的に決まり、当該距離と、測定点の高さ方向の距離との比較を行っており、距離ｄ、すなわち道路面の位置は固定値であった。この道路面の位置を動的に変化させる構成としても良い。この構成を図７を用いて説明する。

図７に示すように、ステレオカメラＳＣから見て近傍に位置する所定のエリアについて平面近似を行い、得られる近似平面Ｐ（ｘ，ｙ，ｚ）を道路面ＳＦとし、近似平面Ｐ（ｘ，ｙ，ｚ）に対して、３次元画像データ内の注目点ＰｎのＹ座標値の絶対値が、所定の許容値（±ｔｈ３）以内にあれば、上記注目点Ｐｎは道路面に該当するものと判定され、当該点Ｐｎのデータを道路面データとして抽出することができる。ここで、許容値（±ｔｈ３）は、車両のタイヤの空気圧の強弱や、サスペンションの強弱による車高の変動や、道路面の凹凸による変動を吸収できる大きさに設定される。

一方、図７において、３次元画像データ内の注目点Ｐｍが壁面ＷＬ上の点であった場合、点ＰｍのＹ座標は所定の許容値（±ｔｈ３）を超えるので、道路面データには該当しないものと判定される。

このような構成を採ることで、道路面ＳＦの位置が固定されたものではなく、動的に変化するものとなり、平坦面と坂道との境界など、道路面ＳＦの位置が変化するような場合にも対処することが可能となる。また、道路面ＳＦの位置のデータを設定するという手間を省くことができる。

＜変形例３＞
以上説明した周辺表示装置１００およびその変形例においては、何れも、ステレオカメラで得られた２次元測定画像を、３次元化計算部１１（図３）で３次元画像データに変換したデータを用いて道路面の判定を行っていたが、ステレオカメラで得られる２次元測定画像の組から得られる視差情報に基づいて道路面の判定を行うことも可能である。

すなわち、図２に示す３次元データ処理部ＤＰ１〜ＤＰ４を、図８に示す３次元データ処理部ＤＰＹのような構成としても良い。

図８に示すように、３次元データ処理部ＤＰＹは、ステレオカメラで得られた２次元測定画像が、直接に道路面判定部１２に与えられ、２次元測定画像に含まれる各データが道路面を構成するデータであるか否かが判定される。道路面判定部１２で道路面を構成するデータであると判定されたデータ（道路面データ）は、道路面データ削減部１３において全て破棄、あるいは間引きされた後、道路面に該当しないデータおよび間引き後の道路面データが３次元化計算部１１に与えられて３次元画像データに変換される。

３次元化計算部１１から出力される３次元画像データは、ステレオカメラ座標系で表現されているので、自動車座標系で表現された３次元画像データに変換するために座標変換部１４において座標変換を行う。そして、座標変換部１４から出力される座標変換後３次元画像データは、記憶部１７に一時的に格納される。

このような構成を採る場合の道路面データの判定方法について、図９〜図１４を用いて説明する。

図９は、道路面Ｓ_ROAD上を自車両が走行している際におけるステレオカメラＳＣの設置条件と撮影条件とについて示す図である。図９では、垂直方向Ｙ、自車両の前進方向Ｚを示し、ステレオカメラＳＣの光軸方向Ｚ_tilt、前進方向Ｚを基準とした場合のステレオカメラＳＣのピッチ方向の傾斜角度φ、焦点距離ｆ、入力画像（基準画像又は参照画像）の垂直方向Ｙ_tilt、道路面Ｓ_ROADに対するステレオカメラＳＣの高さｈ、入力画像の画角θ、自車両からＺ方向に距離Ｄだけ離隔した道路面Ｓ_ROAD上の点Ａ、道路面Ｓ_ROADの原点０_ROAD、および該点Ａを表す入力画像上の点の座標の垂直成分ｙが示されている。図９で示されるように、ステレオカメラＳＣは、自車両が前進する方向（前進方向）Ｚに対して、ピッチ方向Ｄ_PITCHの傾きを有して設置される。但し、ステレオカメラＳＣは、前進方向Ｚに対するパン方向およびロール方向には傾きを有していないものとする。なお、ステレオカメラＳＣは、並列に配置された第１カメラ３１および第２カメラ３２を有しているものとする。

図１０は、基準画像に対して設定される座標系を示す図である。ここでは、図１０で示されるように、基準画像の中心が原点Ｐ₀とされ、該基準画像の垂直方向がＹ軸によって規定され、水平方向がＸ軸によって規定される。なお、図１０では、オプティカルフローが消失する面（消失面）Ｓ_Dが示されている。なお、この消失面Ｓ_Dは、カメラパラメータαを用いた等式（ｙ＝−α・φ）で規定される。

図９で示される関係に基づいて、座標ｙと距離Ｄとの関係は、下式(１)で示される。

ｈ／Ｄ＝ｔａｎ｛ｔａｎ^-1（ｙ／α）＋φ｝ ・・・(１)
上式(１)で示されるカメラパラメータαは、下式(２)の関係を有する。

α＝ｆ／ｐ＝Ｎ／２θ ・・・(２)
上式(２)では、第１および第２カメラ３１，３２の撮像素子における画素の間隔（画素ピッチ）がｐ、入力画像を構成する画素の数（画素数）がＮで示される。例えば、本実施形態では、画素数Ｎが１２２８８００（＝１２８０×９６０）、画素ピッチが０．００４６５ｍｍ、焦点距離ｆが１５ｍｍ、ステレオカメラＳＣの基線長Ｂが２１０ｍｍにそれぞれ設定される。

ここで、ｈ／Ｄおよびｙ／αの値が１と比較して十分小さい場合には、上式(１)の関係を、下式(３)の関係に簡略化して示すことができる。

ｈ／Ｄ＝（１／α）・ｙ＋φ ・・・(３)
また、上式(３)から、距離Ｄを示す下式(４)が導出される。

Ｄ＝α・ｈ／（ｙ＋α・φ） ・・・(４)
一方、ステレオ画像から求まる視差ｄと道路面Ｓ_ROADとの距離の関係が、下式(５)で示される。なお、視差ｄは、同時刻の撮影によって得られた基準画像と参照画像との間における同じ部分をとらえた注目点のずれ量を示す。

Ｄ＝Ｂ・α・（１／ｄ） ・・・(５)
さらに、上式(４)，(５)から、視差ｄと、入力画像における道路面Ｓ_ROAD上の点との関係を示す下式(６)が導出される。

ｄ＝（Ｂ／ｈ）・（ｙ＋α・φ） ・・・(６)

なお、高さｈについては、上式(６)の関係を利用した演算によって導出することが可能である。具体的には、以下の工程(b-5-1)〜(b-5-5)に係る演算が順次に実行されることで、高さｈが導出される。

(b-5-1)入力画像について、各注目点に係る視差ｄと、該各注目点の座標の垂直成分ｙとが求められる。

(b-5-2)視差ｄと注目点の座標の垂直成分ｙとを座標軸とする２次元座標空間に各注目点に係る値がプロットされる。図１１は、各注目点に係る視差ｄと座標の垂直成分ｙとの関係を示す図である。図１１では、横軸が垂直成分ｙを示し、且つ縦軸が視差ｄを示す２次元座標空間に各注目点に係る数値がプロットされた状態が示されている。

(b-5-3)最小二乗法、ハフ変換等の直線算出手法が用いられて、図１１で示されるようにプロットされた各点によって描かれる直線Ｌ２が検出される。

(b-5-4)直線Ｌ２の傾きおよび切片が検出される。

(b-5-5)直線Ｌ２の傾きからステレオカメラＳＣの高さｈが算出されるとともに、直線Ｌ２の切片からステレオカメラＳＣのピッチ方向の傾斜角度φが算出される。なお、直線Ｌ２は、上式(６)で示される関係を有する。

具体的には、図１２で示されるように、直線Ｌ２は、ｙおよびｄを変数とし、Ｂ／ｈを傾きとし、（Ｂ／ｈ）・（α・φ）を切片とする直線である。ここで、カメラパラメータα、および基線長Ｂは、ステレオカメラＳＣの設計によって決まる定数である。

従って、ここでは、上記工程(b-5-4)において検出された直線Ｌ２の傾きと切片と、定数α，Ｂとに基づいて、高さｈの値と傾斜角度φの値とが算出される。

このように、ステレオカメラで得られた２次元測定画像から注目点に係る視差ｄが判れば、直線Ｌ２から注目点に係る座標の垂直成分ｙの値を知得することができ、３次元化計算を施す前に、道路面データを判定することができる。

＜ステレオカメラの他の配置例＞
図１においては、車両ＶＣの４方向に１台ずつステレオカメラを配置した例を示したが、図１３に示されるように、車両ＶＣの４方向に２台ずつステレオカメラを配置する構成としても良い。

すなわち、図１３に示すように、車両ＶＣの、前方の左右の画像を取得するステレオカメラＳＣ１およびＳＣ２が配置され、前方に対して右側の前方寄りおよび後方寄りの画像を取得するステレオカメラＳＣ３およびＳＣ４が配置され、後方の左右の画像を取得するステレオカメラＳＣ５およびＳＣ６が配置され、前方に対して左側の後方寄りおよび前方寄りの画像を取得するステレオカメラＳＣ７およびＳＣ８が配置されている。

このようなシステムを用いることで、より、死角の少ない周辺の画像データを取得することが可能となる。

１１ ３次元化計算部
１２ 道路面判定部
１３ 道路面データ削減部
１４ 座標変換部
５２ 画像統合部
ＳＣ１〜ＳＣ４ ステレオカメラ

Claims (7)

1. 自走可能な移動体における周辺の画像データを取得するステレオカメラと、
   前記画像データに基づいて得られた３次元画像データのうち、道路面に該当する道路面データを判定する道路面判定部と、
   前記道路面判定部で判定された前記道路面データに基づいて、前記３次元画像データのうち、少なくとも道路面に該当しないデータを抽出する道路面データ削減部と、を有した複数の画像測定部と、
   前記複数の画像測定部からそれぞれ出力される、前記道路面に該当しないデータを統合して表示対象となる統合データを生成する画像統合部と、
   前記統合データに基づいて表示画像を生成する画像生成部と、を有した画像処理部と、を備える周辺表示装置。
2. 前記道路面判定部は、
   前記３次元画像データのうち、注目点の、前記ステレオカメラに対する高さ方向の距離に基づいて前記注目点が道路面であるか否かを判定する、請求項１記載の周辺表示装置。
3. 前記道路面判定部は、前記ステレオカメラの座標系がカメラ座標系の状態で、前記注目点の前記高さ方向の距離を算出して前記注目点が道路面であるか否かを判定する、請求項１記載の周辺表示装置。
4. 前記道路面判定部は、前記ステレオカメラの座標系を移動体座標系に変換し、前記ステレオカメラの座標の原点位置を道路面上に設定して、前記注目点の前記高さ方向の距離を表す座標値を基に前記注目点が道路面であるか否かを判定する、請求項１記載の周辺表示装置。
5. 前記道路面データ削減部は、前記道路面判定部で判定された前記道路面データを削除する、請求項１記載の周辺表示装置。
6. 前記道路面データ削減部は、前記道路面判定部で判定された前記道路面データを間引き処理する、請求項１記載の周辺表示装置。
7. 前記画像統合部は、
   前記道路面に該当しないデータと、予め準備した３次元道路モデルのデータとを統合する、請求項１記載の周辺表示装置。

Images