JP2016156629A

JP2016156629A - 外界認識装置、方法および車両

Info

Publication number: JP2016156629A
Application number: JP2015032740A
Authority: JP
Inventors: 正敏奥富; Masatoshi Okutomi; 茂樹杉本; Shigeki Sugimoto; 健志磨; Takeshi Shima
Original assignee: Hitachi Ltd; Tokyo Institute of Technology NUC
Current assignee: Hitachi Ltd; Tokyo Institute of Technology NUC
Priority date: 2015-02-23
Filing date: 2015-02-23
Publication date: 2016-09-01

Abstract

【課題】
路面の凹凸や勾配があるオフロード環境において、単眼カメラのみで周囲の立体情報、３Ｄサーフェスを精度良く推定可能となる外界認識装置、方法および車両を提供する。
【解決手段】
回転するカメラにより撮像した画像から外界を認識する外界認識装置であって、回転するカメラにより得られた画像群にＳｆＭ処理を適用し、画像中の特徴点の３Ｄ座標とカメラの位置・姿勢の推定を行う３Ｄ点群・カメラ運動推定部と、ＳｆＭによって得られたカメラ運動を円にフィッティングし、その半径と既知のカメラ回転半径を一致させることにより実スケールを求め、カメラ周辺の３Ｄサーフェスを生成する。
【選択図】図１

Description

本発明は、外界センシング情報から外界の路面の３Ｄサーフェスを推定する外界認識装置、方法および車両に関する。

車両や重機の安全な走行や操縦を実現するために、車両や重機の周囲の危険な事象を検出して、検出した危険な事象を回避するために、車両の操舵、アクセル、ブレーキの自動制御、重機の安全性を確保する装置に関して研究開発が行われており、一部の車両には既に搭載されている。また、一般の乗用車以外の鉱山用のダンプトラックにおいても、稼働率向上のための自動走行が行われており、自動走行を実現するために、車両の前方の走行可能な領域や障害物を検出するセンサの技術開発が行われている。

車両に搭載されたセンサで前方の走行可能な領域や障害物を検知するには、カメラやレーダとそれらの信号を処理する処理装置が使用されるが、特に乗用車以外の鉱山用重機においては、走行する場所や操縦する場所がオフロード環境であり、凹凸や勾配が多いオフロードの路面において走行可能な領域と障害物とを分離して検出する必要がある。

オフロード環境において走行路面を検出する技術については、特許文献１に記載がある。また単眼カメラを利用して周囲の三次元地図を生成する装置に関しては特許文献２に記載がある。

特開２００８−１２３０１９号公報特開２００６−２５０９１７公報

特許文献１に記載の内容は、歩行者を検出した後に歩行者がこの先移動するであろう存在確率を求めるものであり、歩行者を検出する性能そのものを向上させるものではない。そのため、歩行者検知の性能そのものを向上させるために、歩行者を検知する前に歩行者の存在確率を求め、歩行者について重点的に処理を行うかどうか判断する必要がある。

また特許文献２に記載の内容は、単眼カメラで周囲の３Ｄ形状を推定することが可能であるが、十分な精度を持つ解を安定的に得ることが難しい。

以上のことから本発明においては、路面の凹凸や勾配があるオフロード環境において、単眼カメラのみで周囲の立体情報、３Ｄサーフェスを精度良く推定可能となる外界認識装置、方法および車両を提供することを目的とする。

上記目的を達成するために本発明では、回転するカメラにより撮像した画像から外界を認識する外界認識装置であって、回転するカメラにより得られた画像群にＳｆＭ処理を適用し、画像中の特徴点の３Ｄ座標とカメラの位置・姿勢の推定を行う３Ｄ点群・カメラ運動推定部と、ＳｆＭによって得られたカメラ運動を円にフィッティングし、その半径と既知のカメラ回転半径を一致させることにより実スケールを求める回転半径適用実スケール算出部を持つことを特徴とする。

好ましくは、本発明の外界認識装置は、地上座標系の水平面（ｘ−ｙ平面）に定めた２Ｄグリッドの頂点の高さを変数とする地表サーフェスを定義し、特徴点の３Ｄ点群にそのサーフェスをフィッティングするとともに、サーフェス上の各サンプル点を全カメラに投影した際の画素値の分散が最小になるように、地表３Ｄサーフェスを最適化する３Ｄサーフェス生成部を持つことが望ましい。

また上記目的を達成するために本発明では、回転するカメラにより撮像した画像から外界を認識する外界認識方法であって、回転するカメラにより得られた画像群にＳｆＭ処理を適用し、画像中の特徴点の３Ｄ座標とカメラの位置・姿勢の推定を行い、ＳｆＭによって得られたカメラ運動を円にフィッティングし、その半径と既知のカメラ回転半径を一致させることにより実スケールを求め、地上座標系の水平面（ｘ−ｙ平面）に定めた２Ｄグリッドの頂点の高さを変数とする地表サーフェスを定義し、特徴点の３Ｄ点群にそのサーフェスをフィッティングするとともに、サーフェス上の各サンプル点を全カメラに投影した際の画素値の分散が最小になるように、地表３Ｄサーフェスを最適化することを特徴とする。

また上記目的を達成するために本発明では、上記外界認識装置あるいは方法を搭載しあるいは採用した車両である。

本発明によれば、路面の凹凸や勾配があるオフロード環境において、単眼カメラのみで周囲の立体情報、３Ｄサーフェスを精度良く推定可能となる。

本発明の外界認識装置を実現する機能ブロック図。地上座標系におけるカメラ運動にフィッティングされた円と三角メッシュの関係を示す図。地表３Ｄサーフェスを生成するアルゴリズムフローを示す図。ＳｆＭによって推定された３Ｄ点群２１と回転するカメラ１３の位置・姿勢を示す図。点群２１にフィッティングされた地表３Ｄサーフェス３１の例を表す図。画素値分散最小化により改善された地表３Ｄサーフェス４１を表す図。半径方向のサンプル点間隔の設定方法を示す図。角度方向のサンプル点間隔の設定方法を示す図。図７手法により定めたｘ−ｙ平面上のサンプル点を示す図。図７手法により定めたｘ−ｙ平面上のサンプル点を示す図。

以下図面を用いて本発明の実施例を説明する。

以下に示す本発明の実施例においては、カメラを搭載した重機を回転させることによって得られる画像群から、実スケールの地表３Ｄサーフェスを高精度に生成する装置に適用した例を示す。

図１は本発明の外界認識装置を実現する機能ブロック図であり、撮像部１０１と、計算機で構成された画像処理部１０２とで構成されている。このうち、撮像部１０１は、少なくとも１つ以上の単眼カメラを設置しており、具体的な設置場所は、例えば重機に適用されるのであれば、重機がある特定の回転中心と回転半径で回転する場所とされる。

１０２は画像処理部であり、撮像部１０１において入手した１つ以上の単眼カメラの映像データを受信して、受信した映像の解析を行う。なお撮像部１０１と画像処理部１０２は別の筐体でも、１つの筐体でもどちらでも良い。画像処理部１０２内の機能は、以下に説明する１０３から１０６の各部の処理機能から構成されており、この順序で順次処理される。

撮像部１０１から受信した映像データは、３Ｄ点群・カメラ運動推定部１０３にて、ＳｔｒｕｃｔｕｒｅｆｒｏｍＭｏｔｉｏｎ等の手法を用いて、カメラで撮像した外界の点群の３Ｄ情報と、撮像部１０１の運動を推定する。

次に回転半径適用実スケール算出部１０４では、３Ｄ点群・カメラ運動推定部１０３で推定した３Ｄ情報と撮像部１０１の運動の情報と、撮像部１０１が取り付けられている部分の回転半径に関する情報を入力して、３Ｄ点群・カメラ運動推定部１０３で推定した３Ｄ情報の実スケールを算出する。回転半径適用実スケール算出部１０４の処理の詳細は図３を用いて後述する。

３Ｄサーフェス生成部１０５では、回転半径適用実スケール算出部１０４で求めた実スケール付の３Ｄ点群データを利用して、撮像部１０１で撮影した画像の３Ｄサーフェス形状を求める。

最後に制御・警報内容生成部１０６では、３Ｄサーフェス生成部１０５にて算出した３Ｄサーフェス情報を用いて、重機にて自動掘削や掘削支援を行う際の制御量の計算や、算出した３Ｄサーフェス上に新たな障害物を発生した際にその障害物の存在を検知して、重機の操縦者への警報を発報するかどうかの判断を行う。

次に回転カメラによる地表３Ｄサーフェスを生成する方法を詳細に説明する。この処理内容は、図１の画像処理部１０２内の一連の処理機能による処理に相当する。以下の説明を行うに当たり、理解しておくべきいくつかの前提事項を、図２を用いて説明しておく。

まずカメラは、光軸が水平方向より下向きになるように既知の角度で重機上に設置されるものとし、地平面（ゼロレベル面）からのカメラの設置高は既知とする。また、重機の回転軸からカメラ光学中心までの距離、すなわちカメラ回転半径を既知とする。

本発明では、後述の方法で地上座標系を定めた後に、そのｘ−ｙ平面上に正方格子で構成されたグリッドを定め、各正方格子を２つの三角形に分割することで三角メッシュを生成する。そして、その三角メッシュの各頂点の高さｚ＝（ｚ１，ｚ２，・・・，ｚＶ）^Ｔによって地表３Ｄサーフェスを定義する。

この場合に、カメラ回転軸（重機の回転軸）と地上座標系の高さ方向軸（ｚ軸）が一致するように定めた地上座標系と、地平面（地上座標系ｘ−ｙ平面）上に定めた三角メッシュ、および回転するカメラの様子を図２に示す。地上座標系におけるカメラ運動にフィッティングされた円と三角メッシュの関係を示す図である図２において、１０が円の中心に基づいて定められた地上座標系（ｘ−ｙ−ｚ）であり、１１がカメラ運動にフィッティングされた円であり、１２が地上座標系のｘ−ｙ平面に設定された三角メッシュ、１３が回転するカメラである。

また、以下では、重機を回転しながら撮影した画像をＩｎ，（ｎ＝１，２，・・・，Ｎ）とし、画像座標ｕ＝（ｕ，ｖ）^Ｔにおける画像Ｉｎの画素値をＩｎ［ｕ］とする。画像Ｉｎは、図１において撮像部１０１から画像処理部１０２に取り込まれる。

上記前提のもとにおいて本発明では、図３に示すアルゴリズムフローにより地表３Ｄサーフェスを生成する。図３において、左側には図１の画像処理部１０２における各機能処理部１０３から１０５を示し、右側には各機能処理部１０３から１０５における処理内容あるいはその処理結果を示している。以下、図３のアルゴリズムフローの各ステップの処理内容について述べる。

３Ｄ点群・カメラ運動推定部１０３：ＳｆＭによる点群とカメラ位置・姿勢の推定
３Ｄ点群・カメラ運動推定部１０３ではまず、重機が回転しながら撮影することによって得られる画像群に対し、ＳｆＭの技術を適用し、３Ｄ点群と回転するカメラの位置・姿勢の推定を行う。図３において３Ｄ点群・カメラ運動推定部１０３の右側の状態図において２１が３Ｄ点群であり、１３が回転するカメラである。この状態図を拡大して示したのが図４であり、ＳｆＭによって推定された３Ｄ点群２１と回転するカメラ１３の位置・姿勢を示している。

なおＳｆＭを行うソフトウェアとして、ＢｕｎｄｌｅｒやＶｉｓｕａｌＳＦＭなどが知られており、これらでは、画像群を入力すると各画像中の特徴点を抽出して画像間でのマッチングを行い、それらの特徴点の３Ｄ点座標と各カメラの相対的な位置・姿勢を推定して出力する。

ただし、このような単眼ＳｆＭではシーンの絶対的な大きさは求めることができず、スケールの不定性が残った結果となる。

なお、Ｂｕｎｄｌｅｒについて、Ｎ．Ｓｎａｖｅｌｙ，Ｓ．Ｍ．Ｓｅｉｔｚ，ａｎｄＲ．Ｓｚｅｌｓｋｙ．Ｐｈｏｔｏｔｏｕｒｉｓｍ：ｅｘｐｌｏｒｉｎｇｐｈｏｔｏｃｏｌｌｅｃｔｉｏｎｉｎ３Ｄ．ＡＣＭＳＩＧＧＲＡＰＨ，２５（３）：８３５−８４６，２００６．で述べられており、ＶｉｓｕａｌＳＦＭについて、Ｃ．Ｗｕ．Ｔｏｗａｒｄｓｌｉｎｅａｒ−ｔｉｍｅＩｎｃｒｅｍｅｎｔａｌｓｔｒｕｃｔｕｒｅｆｒｏｍｍｏｔｉｏｎ．ＩｎＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎ３ＤＶｅｒｓｉｎ，ｐａｇｅｓ１２７−１３４，２０１３で述べられているので、詳しい説明を省略する。

回転半径適用実スケール算出部１０４：既知の回転半径を利用した実スケールの算出、および地上座標系と三角メッシュの設定
本発明では、カメラは１つの回転軸のまわりに回転しているため、推定されるカメラ運動（カメラ光学中心の軌跡）もほぼ円になる。そこで、推定されたカメラ運動を円にフィッティングして回転半径を求め、この半径を既知のカメラ回転半径と一致させることにより、スケール値を求める。このスケール値を用い、ＳｆＭによって求められたカメラ位置姿勢と３Ｄ点群を実スケールに変換する。ここで得られた実スケールの３Ｄ点群２１をｘｍ＝（ｘｍ，ｙｍ，ｚｍ）^Ｔ、（ｎ＝１，２・・・，Ｍ）とする。

カメラ運動を円にフィッティングすることにより、カメラ回転半径と共にカメラ回転軸の位置が定まる。そこで、本発明では、地上座標系の高さ方向軸（ｚ軸）とカメラ回転軸とが一致し、且つｘ−ｙ平面がゼロレベル面になるように地上座標系１０を定める。そして、そのｘ−ｙ平面上に三角メッシュ１２を定める。前述の方法で実スケールが得られているため、メッシュ１２を定めるときのグリッドサイズは実スケールを用いて定めることができる。

図３において回転半径適用実スケール算出部１０４の右側の状態図を拡大して示したものが図２である。

３Ｄサーフェス生成部１０５Ａ：点群に対するサーフェスフィッティング
３Ｄサーフェス生成部１０５Ａでは、回転半径適用実スケール算出部１０４（既知の回転半径を利用した実スケールの算出、および地上座標系と三角メッシュの設定）で得られた実スケールの３Ｄ点群２１に、サーフェスをフィッティングすることにより地表３Ｄサーフェス３１を生成する。

このサーフェスフィッティングでは、（１）式のコスト関数ＣＦ（ｚ）の最小化を行う。なお（２）式は、（１）式のコスト関数ＣＦ（ｚ）のデータ項ＣＦＤを表す式であり、（３）式は（１）式のコスト関数ＣＦ（ｚ）の平滑化項ＣＦＳを表す式である。

これらの式において、データ項ＣＦＤである（２）式のλの部分は、メッシュ１２の全頂点の高さｚの重み付け和によって算出されたサーフェスのｘ＝ｘｍ、ｙ＝ｙｍにおける高さを示す。すなわち、データ項ＣＦＤである（２）式のカッコ内の部分は、サーフェスの高さと３Ｄ点の高さの差を表す。このとき、重みｍは、ｍ番目の３Ｄ点ｘｍのｘ−ｙ平面上の座標（ｘｍ，ｙｍ）^Ｔが入る三角パッチの３頂点の重心座標（ｂａｒｙｃｅｎｔｒｉｃｃｏｏｒｄｉｎａｔｅ）を用いることができ、この場合、前記３頂点以外の重みはゼロとなる。

一方、（３）式の平滑化項ＣＦＳは、３Ｄ点の数Ｍが少ない場合などで問題が不良設定問題（ｉｌｌ−ｐｏｓｅｄ）になることを避けるために利用している。ここでは、平滑化項ＣＦＳをメッシュ頂点の８近傍Ｎ（ｖ）によるラプラシアンについての二乗和として定義し、αＦＳは事前に定めた平滑化の重みとする。

図３において３Ｄサーフェス生成部１０５Ａの右側の状態図によれば、実スケールの３Ｄ点群２１に、サーフェスをフィッティングすることにより地表３Ｄサーフェス３１を生成することができている。つまりカメラ画像のみであれば、平面上の点２１の情報にすぎないが、高さ方向の情報を備えた３次元情報に変換されている。これにより、地表の凹凸が反映された情報とされている。

図５は、点群２１にフィッティングされた地表３Ｄサーフェス３１の例を表している。これはフィッティングの際に最小化される点とサーフェスとの距離を求めたものである。

３Ｄサーフェス生成部１０５Ｂ：画素値分散最小化に基づくサーフェスの最適化
画素値分散最小化に基づくサーフェスの最適化では、次式のコスト関数ＣＰを最小化する。なお（５）式は、（４）式のコスト関数ＣＰ（ｚ）のデータ項ＣＰＤを表す式であり、（６）式は（４）式のコスト関数ＣＰ（ｚ）の平滑化項ＣＰＳを表す式である。

この（５）式で、Ｘ′ｓ＝（ｘ′ｓ，ｙ′ｓ）^Ｔは、後述するｘ−ｙ平面上のサンプル点を示し、Ｘｓ＝（ｘｓ，ｙｓ，ｚｓ）^Ｔは、そのサンプル点Ｘ′ｓ＝（ｘ′ｓ，ｙ′ｓ）^Ｔと、メッシュ頂点の高さｚとによって定まるサーフェス上の３Ｄ点を示す。Ｘは、前述のサーフェスフィッティングの時と同様に、重心座標を用いて算出できる。

また、ｐｎｓは、前記サーフェス上の点Ｘｓを、それを観測した画像Ｉｎｓに投影した際の画像座標を示す。Ｉｎｓ（ｚ）は、Ｘｓを観測した全画像の画素値の平均であり、絶対値のｎｓは、点Ｘｓを観測した画像数である。すなわち、このデータ項は、サーフェス上の点Ｘｓを観測した全画像の画素値の分散を、全てのサンプル点Ｘ′ｓについて加算したものである。

一方、（６）式の平滑化項はサーフェスフィッティングのものと同様である。ただし、αＰＳは、この画素値分散最小化における平滑化項の重みを示す。本発明では地表３Ｄサーフェスを初期値として、上記コストコスト関数ＣＰ（ｚ）を、非線形最適化アルゴリズムを用いて最小化する。また、最適化において、最初はメッシュ頂点を間引いた粗いメッシュの推定を行い、段階的に細かいメッシュの推定を行うという階層的メッシュを利用することにより、推定の安定性と効率性を高めることができる。

図６は、画素値分散最小化により改善された地表３Ｄサーフェス４１を表す図である。地表３Ｄサーフェス４１は、改善前の地表３Ｄサーフェス３１よりも滑らかに表現されている。

以上述べたように、本発明では要するに、まず第１の処理として、得られた画像群にＳｔｒｕｃｔｕｒｅｆｒｏｍＭｏｔｉｏｎ（以下単にＳｆＭと称する）を適用し、画像中の特徴点の３Ｄ座標とカメラの位置・姿勢の推定を行う。次いで第２の処理として、ＳｆＭによって得られたカメラ運動を円にフィッティングし、その半径と既知のカメラ回転半径を一致させることにより実スケールを求める。そして第３の処理として、地上座標系の水平面（ｘ−ｙ平面）に定めた２Ｄグリッドの頂点の高さ（ｚ）を変数とする地表サーフェスを定義し、特徴点の３Ｄ点群にそのサーフェスをフィッティングする。最後に第４の処理として、サーフェス上の各サンプル点を全カメラに投影した際の画素値の分散が最小になるように、地表３Ｄサーフェスを最適化する。

この最適化の場合に、サンプル点Ｘ′ｓを如何に設定するかが重要である。サンプル点の設定方法に関して、（４）式を最小化するために利用するサンプル点Ｘ′ｓは、原理的には任意に定めることができる。

ただし、本発明の画素値分散最小化は画像の画素値を用いた推定であるため、サンプル点Ｘ′ｓを画像に投影した際に、全ての画素が推定に寄与するようなサンプル点の配置が好ましい。一方で、画像の解像度よりも高くなるようなサンプル点を設定すると、計算コストを必要以上に大きくする。

このことから本発明の手法では、図７で示す方法によりｘ−ｙ平面上のサンプル点を定める。この考え方は要するに、空間中にサンプル点を定め，それらの点が画像に投影された点をサンプル画素とするとともに、そのサンプル点の画像上の密度が実際の画素の密度となるべく一致するように，空間中のサンプル点を定めているものである。このための具体手法が以下に例示される。

図７（ａ）は半径方向のサンプル点間隔の設定方法を示しており、縦軸にカメラ回転軸、横軸に半径方向を示しており、横軸の地上座標系ｘ−ｙ平面の各所にサンプル点Ｘ′ｓを設定している。

ここでは、カメラの光学中心から垂直方向にｄφの角度間隔で放射される線群とｘ−ｙ平面との交差点を半径方向のサンプル点Ｘ′ｓとする。ただし、ｄφは、画像中心において、物理的な画素間隔Δｖによって伸ばした２本の光線それぞれがｘ−ｙ平面と交差する２点によって定めるものとする。

一方、図７（ｂ）は、角度方向のサンプル点間隔の設定方法を示しており、ここでは、その間隔をｄθとし、ｄθは、画像中心において、物理的な画素間隔Δｈによって伸ばした２本の光線それぞれがｘ−ｙ平面と交差する２点によって定める。

この定め方は、別な言い方をすると、サンプル点は，回転中心を基準とした地上座標系のｘ−ｙ平面において，回転方向には一定間隔の角度を用い，半径方向に次第に疎になるような間隔に定めており，これらの間隔は画像の画素間隔を利用して算出したものということができる。

このようにして定めたｘ−ｙ平面上のサンプル点を図８（ａ）に示す。ここでは、水平画角が１３０度のＶＧＡ（６４０ｘ４８０）の解像度を持つカメラが、地平面（地上座標系のｘ−ｙ平面）から高さ０．８ｍの位置にあり、かつ視線が水平方向から約４０度下向きになるように設置され、１ｍの半径で回転させることを想定した場合のサンプル点を示している。

一方、図８（ｂ）は、同じカメラを１０度のステップで回転させたとき、全画像の全画素に対応する光線とｘ−ｙ平面との交点を示している。これによると、本発明手法のサンプル点が、全光線の地平面との交点と類似した同心円状になっている。

このことは、結果として求めた地表３Ｄサーフェスが、滑らかな波形の地形状となっており、推定結果と真値を比較すると良好なサーフェス生成ができたことを意味している。

上記説明の本発明の効果は次のとおりである。一般に、単眼カメラを利用した画像計測では、シーンの実スケールを求めるために既知サイズの物体を同時に撮影したり、配置が既知の複数のマーカを利用したりする方法が広く利用されているが、本発明手法では、カメラの実際の回転半径とカメラ運動推定によって得られる回転半径を一致させることにより、特別な撮影ターゲットを利用することなく実スケールを算出している。

また、多視点画像からの地表サーフェス生成の最適化では、サーフェス上の点を観測した全画像の画素値の分散を最小化しており、これにより、全ての画像を均等に貢献させつつ地表３Ｄサーフェス生成を行うことができる。

この場合に、基準画像を設定して画素値差分を取る手法では、基準画像の画素が自然なサンプル画素となるのに対し、本発明では、基準画像が存在しないのでサンプル画素が定まらない。そこで、本発明では、空間中にサンプル点を定め、それらの点が画像に投影された点をサンプル画素とする。そして、そのサンプル点の画像上の密度が実際の画素の密度となるべく一致するように、空間中のサンプル点を定めていることにより、全ての画像を均等に貢献させつつ地表３Ｄサーフェス生成を行うことができている。

１０：地上座標系
１１：カメラ運動にフィッティングされた円
１２：三角メッシュ
１３：回転するカメラ
２１：３Ｄ点群
３１：地表３Ｄサーフェス
４１：画素値分散最小化により改善された地表３Ｄサーフェス
１０１：撮像部
１０２：画像処理部
１０３：３Ｄ点群・カメラ運動推定部
１０４：回転半径適用実スケール算出部
１０５：３Ｄサーフェス生成部
１０６：制御・警報内容生成部

Claims

回転するカメラにより撮像した画像から外界を認識する外界認識装置であって、
前記回転するカメラにより得られた画像群にＳｆＭ処理を適用し、画像中の特徴点の３Ｄ座標と前記カメラの位置・姿勢の推定を行う３Ｄ点群・カメラ運動推定部と、前記ＳｆＭによって得られたカメラ運動を円にフィッティングし、その半径と既知のカメラ回転半径を一致させることにより実スケールを求める回転半径適用実スケール算出部を持つことを特徴とする外界認識装置。
請求項１記載の外界認識装置であって、
地上座標系の水平面（ｘ−ｙ平面）に定めた２Ｄグリッドの頂点の高さを変数とする地表サーフェスを定義し、前記特徴点の３Ｄ点群にそのサーフェスをフィッティングするとともに、サーフェス上の各サンプル点を全カメラに投影した際の画素値の分散が最小になるように、地表３Ｄサーフェスを最適化する３Ｄサーフェス生成部を持つことを特徴とする外界認識装置。
請求項２記載の外界認識装置であって、
前記サーフェス上のサンプル点は、空間中にサンプル点を定め，それらの点が画像に投影された点をサンプル画素とするとともに、そのサンプル点の画像上の密度が実際の画素の密度となるべく一致するように，空間中のサンプル点を定めたものであることを特徴とする外界認識装置。
請求項２記載の外界認識装置であって、
前記サーフェス上のサンプル点は，回転中心を基準とした地上座標系のｘ−ｙ平面において，回転方向には一定間隔の角度を用い，半径方向に次第に疎になるような間隔に定め、これらの間隔は画像の画素間隔を利用して算出したものであることを特徴とする外界認識装置。
請求項１から請求項４のいずれか1項に記載の外界認識装置であって、
前記回転するカメラは単眼カメラであることを特徴とする外界認識装置。
回転するカメラにより撮像した画像から外界を認識する外界認識方法であって、
前記回転するカメラにより得られた画像群にＳｆＭ処理を適用し、画像中の特徴点の３Ｄ座標と前記カメラの位置・姿勢の推定を行い、前記ＳｆＭによって得られたカメラ運動を円にフィッティングし、その半径と既知のカメラ回転半径を一致させることにより実スケールを求め、地上座標系の水平面（ｘ−ｙ平面）に定めた２Ｄグリッドの頂点の高さを変数とする地表サーフェスを定義し、前記特徴点の３Ｄ点群にそのサーフェスをフィッティングするとともに、サーフェス上の各サンプル点を全カメラに投影した際の画素値の分散が最小になるように、地表３Ｄサーフェスを最適化することを特徴とする外界認識方法。
請求項６記載の外界認識方法であって、
前記サーフェス上のサンプル点は、空間中にサンプル点を定め，それらの点が画像に投影された点をサンプル画素とするとともに、そのサンプル点の画像上の密度が実際の画素の密度となるべく一致するように，空間中のサンプル点を定めたものであることを特徴とする外界認識方法。
請求項６記載の外界認識方法であって、
前記サーフェス上のサンプル点は，回転中心を基準とした地上座標系のｘ−ｙ平面において，回転方向には一定間隔の角度を用い，半径方向に次第に疎になるような間隔に定め、これらの間隔は画像の画素間隔を利用して算出したものであることを特徴とする外界認識方法。
請求項６から請求項８のいずれか1項に記載の外界認識方法であって、
前記回転するカメラは単眼カメラであることを特徴とする外界認識方法。
請求項１から５に記載の外界認識装置及びカメラを搭載した車両。
請求項１０に記載の車両であって、
前記外界認識装置からの出力を表示しあるいは当該出力により制御される車両。
請求項６から９に記載の外界認識方法を採用しカメラを搭載した車両。
請求項１２に記載の車両であって、
前記外界認識方法により処理された出力を表示しあるいは当該出力により制御される車両。