JP2007072987A - 環境認識装置 - Google Patents

Abstract

【課題】 複数の認識手法を融合した精度の良い認識が可能な環境認識装置を提供する。
【解決手段】 マクロブロックの色情報ＭＢ（Ｌ）に基づいて、Ｐ個のオブジェクトを抽出し（Ｓ２２０）、抽出したオブジェクトを要素とする確信度ベクトルＣａ，Ｃｂをルールベース推論、及び統計的推論を用いて算出する（Ｓ２３０〜Ｓ２９０）。その後、両確信度ベクトルＣａ，Ｃｂを統合した確信度ベクトルＣ（Ｌ）を求め（Ｓ３００）、更に、同じ色情報を有し且つ互いに隣接するマクロブロックからなる同一色領域の大きさ等に基づいて確信度ベクトルＣ（Ｌ）の修正を行う（Ｓ３３０）。このようにして得られた確信度ベクトルＣ（Ｌ）に基づき、マクロブロック毎に付与すべきオブジェクトインデックスを判定する。
【選択図】 図１４

Description

本発明は、移動体に搭載されたカメラにより撮像されたカラー画像に基づいて、移動体周辺の環境を認識する環境認識装置に関する。

近年、通信容量の大容量化に伴い、通信を利用した各種サービスにおいて様々な画像データの提供を可能とすることが望まれている。
そのためには、データベース等に蓄積された画像データを検索可能すること、更にはその基本技術として、画像データの分類，検索に有用な情報を、その画像データ自体から抽出し、その画像データのインデックスとして付与する作業を自動的に行う装置を提供することが必要となる。

この種の装置として、画像データから各種オブジェクトを認識するものが知られており、その一つとして、カラー画像を画素の色によって領域分割し、その分割により得られた領域の位置や形状が、予め用意されたオブジェクトに関する知識と適合するか否かを判断することにより、オブジェクトを認識するものが知られている（例えば、特許文献１参照。）。

また、領域分割の結果からオブジェクトを特定する際に、周知のパターンマッチング等の手法を用いる装置も知られている。
特開平６−３４８９９１号公報

しかし、これら従来の手法は、認識結果として単一のオブジェクトを抽出するものである。
このため、認識精度を向上させるために、複数の認識手法を用いてオブジェクトの認識を行ったとしても、各認識手法間で認識結果が一致するか否かを比較する程度のことしかできず、相乗的に認識精度を向上させることができないという問題や、各認識手法間で認識結果が不一致となった場合、どの認識結果を採用すべきか判定が困難であるという問題があった。

本発明は、上記問題点を解決するために、複数の認識手法を融合した精度の良い認識が可能な環境認識装置を提供することを目的とする。

上記目的を達成するためになされた本発明の環境認識装置では、画像データ取得手段が、移動体に搭載されたカメラにより撮像されたカラー画像に基づく画像データを取得し、その取得した画像データに基づいて、平均色算出手段が、カラー画像を予め設定された大きさで分割してなる画素ブロック毎に、該画素ブロックの平均色を算出する。

すると、色情報付与手段が、平均色算出手段にて算出された平均色が予め用意された色インデックスのいずれに属するかを判定し、その判定結果を色情報として画素ブロックに対応づけて記憶する。

また、カラー画像から抽出すべき物体や属性をオブジェクトとして、確信度算出手段が、色情報付与手段にて記憶された色情報に基づいて、着目する画素ブロックが着目するオブジェクトを構成するものであることについての確信度を、画素ブロック毎に、オブジェクトのそれぞれについて求める。そして、その算出結果に基づいて、オブジェクト判定手段が、画素ブロックに関連づけるべきオブジェクトを判定する。

このように、本発明の環境認識装置では、認識結果であるオブジェクトを直ちに一つに絞ってしまうのではなく、複数のオブジェクト候補についての確信度を求めており、その確信度を参考情報として、最終的なオブジェクトを判定するようにされている。

従って、本発明の環境認識装置によれば、複数のオブジェクト候補を保ったまま推論を進めることができ、また、着目する要因に応じて各オブジェクト候補の確信度を増減させることにより、様々な要因をオブジェクトの判定に反映させることができるため、精度の良い認識結果を得ることができる。

なお、確信度算出手段は、確信度の算出対象となるオブジェクトを色情報に基づいて選択する対象オブジェクト選択手段を備えていてもよい。
つまり、色情報は、物体や属性の認識に役立つ重要な情報の一つであるため、確信度を求めるべきオブジェクトを、この色情報に基づいて絞り込むことにより、確信度算出手段での処理負荷を軽減することができる。

また、確信度算出手段は、互いに異なる手法を用いて確信度を求める複数の部分確信度算出手段と、これら部分確信度算出手段での算出結果をオブジェクト毎に統合した確信度を求める確信度統合手段とにより構成されていてもよい。

この場合、異なる複数の手法を組み合わせて最終的な確信度が求められるため、単一の手法に基づく単一な基準ではなく、複数の手法に基づく多面的な基準にてオブジェクトを判定することができる。

なお、確信度統合手段にて行われる確信度の統合は、単なる加算を用いても良いし、重み付け加算等を用いてもよい。また、各オブジェクトの確信度を要素とする確信度ベクトルを定義し、多次元空間上のベクトル演算により統合を行ってもよい。

ところで、部分確信度算出手段の少なくとも一つは、予め設定された制約規則に基づくルールベース推論により前記確信度を求めるものであってもよいし、また、統計分析に基づく統計的推論により前記確信度を求めるものであってもよい。

特に、統計的推論では、具体的には、確信度とその確信度の算出に影響を及ぼす要因情報とを互いに対応付けて配列したものを計測行列として、この計測行列を回帰分析することで求めた回帰係数と、画像データ取得手段が取得した画像データから抽出された要因情報の実測値である抽出情報とに基づいて確信度を算出するものを用いることができる。

また、このような回帰係数を用いた統計的推論を確信度算出手段にて行う場合、本発明の環境認識装置は、更に、画像データ取得手段が取得した画像データから得られる情報、及び外部から入力される教示データに基づいて計測行列を生成する計測行列生成手段と、この計測行列生成手段が生成した計測行列から回帰係数を求める回帰係数算出手段とを備えていてもよい。

このように構成された本発明の環境認識装置によれば、当該装置内で自律的に回帰係数が生成されるため、初期設定された回帰係数や外部から与えられる回帰係数を用いる場合と比較して、より現在の状況に即した回帰係数を常に利用することができ、その結果、推論の精度をより向上させることができる。

また、本発明の環境認識装置は、更に、計測行列生成手段が生成した計測行列を構成する要因情報中に情報の欠落がある場合に、その欠落した情報を回帰分析によって推定する欠落情報推定手段を備えていてもよい。

即ち、計測行列において、要因情報と確信度とは同等の扱いであるため、計測行列に記載される確信度の精度がある程度高ければ、確信度を算出する場合と同様の手法を用いることで、要因情報中の欠落情報を推定することができる。また、その推定された情報を計測行列に還元すれば、計測行列の精度をより向上させることができる。

なお、要因情報には、画像を構成する画素ブロックの物理的な特徴を表す情報や、画像撮影時の状況を表す情報が含まれていることが望ましい。
具体的には、画素ブロックの物理的な特徴を表す情報としては、色，動き，画像内での位置（座標）などがあり、画像撮影時の状況を表す情報としては、時間，天候，地理的な位置などがある。

そして、確信度を求める際に最も基本的な情報は画素ブロックの物理的な特徴であり、また、この画素ブロックの物理的な特徴は、画像中に同じオブジェクトが映し出されている場合であっても、画像撮影時の状況によって異なったものとなる。

つまり、本発明の環境認識装置によれば、確信度の算出に必要となる基本的な要因だけでなく、その基本的な要因を変動させる要因も、計測行列に取り込んでいるため、統計的推論による推論精度を更に向上させることができる。

ところで、確信度算出手段は、部分確信度算出手段又は確信度統合手段のいずれかにて求められた確信度を、予め設定された制約規則に基づくルールベース推論を用いて補正する確信度補正手段を備えていてもよい。

この場合、確信度補正手段は、例えば、画像データから得られる動きベクトルに基づいて、画素ブロックに示された物体が移動物体であるか静止物体であるかを推定する制約規則を少なくとも用いるようにしてもよい。

また、確信度補正手段は、例えば、画像データから得られる動きベクトルに基づいて、現在の画素ブロックに対応した過去の画素ブロックを特定し、その特定した過去の画素ブロックに関する情報についての制約規則を少なくとも用いるようにしてもよい。

なお、過去の画素ブロックに関する情報としては、具体的には、例えば、色，動き，位置などが考えられ、これらの情報を現在の画素ブロックの情報と比較して、その変化の有無などに基づく制約規則を用いればよい。

更に、確信度補正手段は、例えば、同一の色情報を有し互いに隣接した画素ブロックが形成する同一色領域の特徴についての制約規則を少なくとも用いるようにしてもよい。
なお、同一色領域の特徴としては、具体的には、例えば、領域の大きさ，形状，位置等が考えられる。

次に、本発明の環境認識装置は、同様な特徴を有した部分領域毎にカラー画像の画面を分割することで典型的な静的環境を表した風景パターンを記憶する風景パターン記憶手段と、画像データ取得手段が取得する画像データに適合した風景パターンを選択する風景パターン選択手段とを備え、確信度算出手段は、画素ブロックが属する部分領域の特徴を、確信度の算出に用いるように構成してもよい。

この場合、意味づけされた部分領域と各オブジェクトとの関連性（色インデックスの配置に関する適合度）を利用することにより、確信度の精度をより向上させることができる。

なお、部分領域の例としては、空、路面、緑地、建造物などがある。
また、「インデックスの確信度の算出に用いる」とは、部分確信度算出手段の一つにて確信度を算出する際に用いること、いずれかの部分確信度算出手段にて算出された確信度を補正する際に用いること、確信度統合手段が求めた統合された確信度を補正する際に用いることを全て含むものとする（以下、同様。）。

また、本発明の環境認識装置は、更に、カラー画像中に示される道路周辺の三次元構造を表す道路構造モデルを、前記風景パターンに対応付けて記憶するモデル記憶手段と、風景パターン選択手段にて選択された風景パターンに対応する道路構造モデルを、前記画素ブロックで構成される画面に投影することによって、各画素ブロックの三次元位置を示した距離マップを生成する距離マップ生成手段とを備え、確信度算出手段は、距離マップから特定される前記画素ブロックの三次元位置の情報を、確信度の算出に用いるようにしてもよい。

この場合、画素ブロックに対応するオブジェクトの三次元位置を、簡単な手法によって取得することができ、その三次元位置情報を用いることで確信度の精度を更に向上させることができる。

また更に、本発明の環境認識装置は、風景パターン選択手段にて選択された風景パターンを構成する部分領域毎に、その部分領域に属する色情報の範囲を定義したものを判別条件とし、画素ブロックの色情報が該画素ブロックが位置する部分領域について設定された判別条件を満たさない場合に、その画素ブロックは背景領域とは異なるものとして、距離マップを修正する距離マップ修正手段を備えていてもよい。

つまり、基本的に部分領域は背景であり、その背景と不一致となる領域には、その背景より前面に何等かのオブジェクトが存在すると考えられるため、このような修正が有効となるのである。

ところで、オブジェクト判定手段は、確信度算出手段にて算出された確信度が最も大きいオブジェクトを、画素ブロックに関連づけるべきオブジェクトであると判定するように構成されていればよい。

但し、外部から得られたオブジェクトに関する情報に基づいて、カラー画像中に存在し得ないことが明らかなオブジェクトを判定対象から除去するように構成されていることが望ましい。

以下に本発明の実施形態を図面と共に説明する。
図２（ａ）は、本発明が適用された環境認識装置を含む車載システムの構成を示すブロック図である。

図２（ａ）に示すように、車載システム１は、車両前方の景色を撮影する車載カメラ２と、車載カメラ２から得られるカラー画像（単眼画像）を符号化する符号化部３と、符号化部３にて符号化された画像データに基づき、カラー画像中に存在するオブジェクトの認識結果を表すオブジェクトインデックスデータ（以下、ＯＢＩデータという）や、カラー画像に示されたシーンを記述した環境記述データなどを生成する環境認識装置４とを備えている。

また、車載システム１は、環境認識装置４にて使用する各種データを、車外（情報センターや他車両）または自車両内の他の車載装置から収集したり、環境認識装置４にて生成されたデータを車外に提供したりするための通信を行う通信処理部５と、符号化部３からの画像データを記憶する画像データベース６ａ，及び画像データベース６ａに記憶された画像データに対応付けて、環境認識装置４からの認識結果データ（ＯＢＩデータや環境記述データ）を記憶するメタデータデータベース６ｂからなる車内データベース６と、各種指令を入力する入力装置や環境認識装置４での処理結果などを表示する表示装置などからなるマンマシンＩＦ部８と、通信処理部５またはマンマシンＩＦ部８を介して入力される検索要求に従って、車内データベース６に記憶された画像データの検索を実行する検索処理部７とを備えている。

このうち、車載カメラ２は、カラー画像を出力するＣＣＤカメラ等からなり、フロントガラスを介して車両前方の景色を撮影できるように車室内の天井付近等に設置されている。なお、本実施形態では、１フレームの画像が横：３５２画素×縦：２４０画素で構成されているものとする。

また、符号化部３は、ＭＰＥＧ形式で符号化を行う周知のものであり、符号化部３にて符号化された画像データは、二次元ＤＣＴ（離散コサイン変換）が施され、画素ブロック（８画素×８画素）単位でＤＣＴ係数を記述したものとなる。なお、各画素ブロックにおけるＤＣＴ係数の直流（ＤＣ）成分は、画素ブロックの平均値に相当する。

そして、１フレームの画像は、１６画素×１６画素からなるマクロブロック単位に分割され（つまり、本実施形態では１フレームがＭ（＝２２）個×Ｎ（＝１５）個のマクロブロックからなる）、このマクロブロックを、輝度（Ｙ成分）を表す四つの画素ブロックＹ０，Ｙ１，Ｙ２，Ｙ３と、色差（Ｕ成分，Ｖ成分）を表す二つの画素ブロックＵ，Ｖとで表すようにされている。このマクロブロックが本発明における画素ブロックに相当する。

次に、環境認識装置４は、図２に示すように、符号化部３から取り込んだ画像データがイントラフレーム（Ｉフレーム）である場合、その画像データ（Ｉフレーム）の平均色に関する情報をマクロブロック単位で求める色情報生成部１０と、色情報生成部１０にて生成される情報の一つである色成分値（後述する）を記憶する色成分値メモリ１３と、同じく色情報生成部１０にて生成される情報の一つである色情報配列（後述する）を記憶する色インデックスメモリ１４とを備えている。

また、環境認識装置４は、色インデックスメモリ１４からの色情報配列に基づいて、カラー画像に示された周囲環境を認識する認識処理部２０と、認識処理部２０での処理結果の一つである距離マップ（後述する）を記憶する距離マップメモリ２６と、同じく認識処理部２０での処理結果の一つであるＯＢＩデータを記憶するオブジェクトインデックスメモリ２７と、色成分値メモリ１３，色インデックスメモリ１４，距離マップメモリ２６，オブジェクトインデックスメモリ２７の記憶内容を収集して統計処理を行い、認識処理部２０にて使用する回帰係数を生成する統計データ収集解析部３０と、距離マップメモリ２６及びオブジェクトインデックスメモリ２７の記憶内容や、符号化部３から供給される画像データに基づいて、各種出力情報を生成する出力情報生成部４０とを備えている。

このうち色情報生成部１０は、符号化部３から取り込んだ画像データに基づき、その画像データの平均色をマクロブロック単位で算出するブロック平均色算出部１１と、当該装置にて使用する色の語彙（以下「色インデックス」という）を定義した色辞書パレットを記憶する色辞書記憶部ＤＢ１と、この色辞書記憶部ＤＢ１に記憶された色辞書パレットを参照することにより、ブロック平均色算出部１１にて算出されたマクロブロックの平均色が、どの色インデックスに対応するを判定して、その判定結果を色情報として生成する色判定部１２とからなる。

なお、ブロック平均色算出部１１は、符号化された画像データのうち、マクロブロックに対応付けられた６個の画素ブロックＹ０〜Ｙ３，Ｕ，Ｖについて、それぞれＤＣＴ係数の直流成分を復号することで平均色を求める。但し、輝度を表す４個の画素ブロックＹ０〜Ｙ３については、それぞれの直流成分の平均値を、マクロブロックにおけるＹ成分の平均色とする。このマクロブロック毎に算出される３つの平均色が、色成分値としてマクロブロックに対応付けて色成分値メモリ１３に記憶される。

ここで、図３（ａ）は車載カメラ２にて撮影したサンプル画像、図３（ｂ）はサンプル画像を処理した場合に、ブロック平均色算出部１１にて算出されるマクロブロック単位の平均色を三次元グラフに示したものである。但し、図３（ｂ）はＹ成分についての三次元グラフであり、Ｕ成分，Ｖ成分についても同様のものが生成される。また、以下では、車載カメラ２にて撮影した画像において、車幅方向に相当する方向（図３（ａ）中の左右方向）を水平方向、これに直交する方向を垂直方向と呼ぶものとする。

次に、色辞書記憶部ＤＢ１においては、次のＰco色（本実施形態ではＰco＝７）の色インデックスが用いられている。
｛青、緑、赤、黄、白、灰、黒｝
そして、色辞書パレットでは、各色インデックスについて、選択した表色系（ここではＹＵＶ）を用いて設定した閾値（上限値，下限値）が対応づけられている。

ここでは、色インデックスのいずれかをｃｉ（ｉ＝１，２，…，Ｐco）、その色インデックスｃｉのＹ成分の下限値をＬＹci，上限値をＬＨci、Ｕ成分の下限値をＬＵci，上限値をＬＨci、Ｖ成分の下限値をＬＶci，上限値をＨＶciで表すものとする。

なお、色インデックスは、上記７色に限るものではなく、人間の感覚に即した色分類ができていれば他の色を用いたり、色インデックスの数を増減させたりしてもよい。但し、色インデックスの数は、閾値の構成上、三原色と白黒を中心とする数色が妥当である。

色判定部１２では、ブロック平均色算出部１１にて、マクロブロック毎に算出されるＹＵＶ各成分の平均色をＡＹ，ＡＵ，ＡＶとすると、色辞書パレットで定義された閾値を用いて、各色インデックス毎に定義された（１）〜（３）に示す不等式を用いて、マクロブロックの色がどの色インデックスciに対応するかを判定し、判定結果（即ち、色インデックスのいずれか）を、そのマクロブロックの色情報として生成する。但し、上限値，下限値は、そのいずれか一方しか定義されていないものがあってもよい。

ＬＹci≦ＡＹ＜ＨＹci （１）
ＬＵci≦ＡＵ＜ＨＵci （２）
ＬＶci≦ＡＶ＜ＬＵci （３）
このようにして生成された色情報が、マクロブロックに対応づけられて色インデックスメモリ１４に記憶される。また、このマクロブロックに対応づけられた色情報を色情報配列とよぶ。ここで、一般道路を走行中によく現れるシーンにおいて、赤の色インデックスが付与されるオブジェクトの例（赤信号、赤いビル、赤い車両、前方車両のテールランプ、街灯（但し夜間のみ）など）を、図２８に示す。

次に、認識処理部２０は、カラー画像の画面を同様な特徴を有した複数の部分領域に分割することで、カラー画像に現れる典型的な静的環境を表した風景パターン、及びカラー画像中に示される道路周辺の三次元構造の典型的なパターンを表した道路構造モデルを記憶するモデル記憶部ＤＢ２と、後述する各部にて実行する判定や推論に使用される制約規則を記憶する規則記憶部ＤＢ３と、色配列情報及び制約規則に基づいて、簡易的なオブジェクトの認識を実行する色情報処理部２１と、色配列情報や制約規則に従って、モデル記憶部ＤＢ２の記憶内容から処理対象の画像に適合した風景パターンや道路構造モデルを選択するモデル選択部２２と、色インデックスメモリ１４からの色配列情報、及びモデル選択部２２にて選択された道路構造モデルに基づいて、マクロブロックの配置を三次元的に示した距離マップを生成する距離マップ生成部２３とを備えている。

また、認識処理部２０は、色インデックスメモリ１４からの色配列情報，色情報処理部２１からの簡易認識結果，モデル選択部２２にて選択された風景マップ，距離マップ生成部２３にて生成された距離マップ等から得られる情報に、様々な制約規則を適用することで推論を実行するルールベース推論や、統計データ収集解析部３０にて生成された回帰係数を用いた統計的推論を実行することにより、マクロブロック毎に確信度ベクトル（後述する）を生成する推論部２４と、推論部２４が生成する確信度ベクトルの初期値を記憶する確信度初期値記憶部ＤＢ４と、推論部２４にて生成された確信度ベクトル、及び通信処理部５（図２（ａ）参照）を介して得られる外部情報に基づいて、各マクロブロックに対応づけるべきオブジェクトを判定するオブジェクト判定部２５とを備えている。

このうち、色情報処理部２１は、着目した色インデックスに対応する色情報が付与されたマクロブロックの分布を表すヒストグラムを生成し、そのヒストグラムのパターンや時間変化から、画像中に特定のオブジェクト（例えば、街灯，信号機，先行車両など）が存在するか否かをリアルタイムに判断する処理を実行する。なお、この処理の詳細は、本願出願人による特願２０００５−２４２９３１号に記載されているため、ここではその説明を省略する。

次に、規則記憶部ＤＢ３には、認識対象となる事物（即ち、オブジェクト）についての知識が様々な制約規則として記憶されている。なお、オブジェクトには、異なった二つのレベルのものが存在し、具体的には、個々の物体（前方車両，対向車両，道路標識，交差点，緑地，ビル，空，海岸など）を表すものと、画像の全体又は一部の特徴から抽出される属性（天気，渋滞など）を表すものとがある。

また、制約規則には、少なくともオブジェクトの分類等が含まれており、その代表的な例として、［表１］には色インデックスに着目した分類、［表２］には動きに着目した分類を示す。なお、動きに着目した分類において、静的オブジェクトとは画像の背景となるような動きのないオブジェクトのことであり、準静的オブジェクトとは、一時的に存在する動きのないオブジェクトのことであり、動的オブジェクトとは、実際に動いているオブジェクトのことである。

更に、制約規則には、図４に示すように、車両の運転状況（存在場所や運転状態）の遷移を表す状態遷移ダイアグラムや、その運転状況に着目したオブジェクトの分類なども含まれている。なお、［表３］には存在場所に着目したオブジェクトの分類を示す。

つまり、これらの図４や表１〜３に示した対応関係等を規則化したものが、推論部２４等において推論を実行する際に用いられる。

また、規則記憶部ＤＢ３には、例えば、以下の画像特徴に関する制約規則も記憶されている。
（Ａ）画面全体の輝度、領域の輝度、輝度の時間変化
（Ｂ）画面全体の支配色、領域の支配色、構成する他の色成分、色の時間変化
（Ｃ）動きの方向、動きの大きさ、動きの時間変化
（Ｄ）同じ色インデックスが付与された連続する領域（以下、単に「領域」という）の大きさ、時間変化
（Ｅ）領域形状、時間変化
（Ｆ）領域が存在する画像中の位置
（Ｇ）領域の存在する時間領域
（Ｈ）複数の領域間の位置関係（階層性も含む）
（Ｉ）風景パターンの各部分領域
更に、規則記憶部ＤＢ３には、風景パターンの各部分領域（道路，ビル，空，緑地など）や風景パターンから特定されるシーン（交差点など）に関する知識も記憶されている。この種の制約規則として、具体的には、以下に示すようなものがある。
・交差点には停止車両、右左折車両がいることが多い。
・ビルには人が出入りすることが多い。
・交差点には信号があることが多い。
・道路上の一定の高さの範囲には、看板や信号機、標識はない。
・同一車線上で接近する物体は先行車両であることが多い。
・対向車線上で接近する物体は対向車であることが多い。
・画面内の動きは右下になることが多い。
・テールランプは車両背面の両端にあることが多い。

次に、モデル記憶部ＤＢ２に記憶される風景パターンは、処理対象となる画像中に頻繁に現れる静的な風景（静的オブジェクト）を、色情報に着目して複数の部分領域に分割することでパターン化したものであり、そのいくつかの具体例を図５に示す。図中の括弧内の文字はその領域の色を示す。

図５において、（１）は道路両側が緑地である場合、（２）は道路左手がビル，道路右手が緑地である場合、（３）は道路左手が緑地，道路右手がビルである場合、（４）は道路両側がビルである場合、（５）は車両の前方，左右がいずれも壁（屋内駐車場など）である場合、（６）は高架下（立体交差，線路下）を通過中である場合、（７）はＴ字交差点で道路の前方，両側が緑平地（田畑など）である場合、（８）は道路左手が緑地、右手が水面（海，湖など）である場合、（９）は道路の前方，左右がいずれも緑地（山中など）である場合、（１０）が道路前方が壁である場合、（１１）は道路左手がビル、右手が水面である場合、（１２）は道路両側が緑平地である場合を示した風景パターンである。

なお、風景パターンにおける各部分領域の色は、自然の光源（太陽，月）や人工の光源（街灯など）の存在や時間帯、天候などによって様々に異なるため、これらの条件を考慮した風景パターンを用意しておいてもよい。そのいくつかの具体例を図６に示す。

図６において、（１ａ）（１ｂ）が昼間、（２ａ）（２ｂ）が夕刻、（３ａ）（３ｂ）が夜間を示し、（１ａ）（２ａ）（３ａ）が視界中に太陽又は月が存在する場合、（１ｂ）（２ｂ）（３ｂ）が視界中に太陽又は月が存在しない場合を示した風景パターンである。

また、モデル記憶部ＤＢ２に記憶される道路構造モデルは、車載カメラ映像の主たる被写体である道路周辺の立体構造について仮定した箱型のモデルであり、その代表的ないくつかの具体例を図７に示す。

図７において（ａ）が直進路を表す直進モデル、（ｂ）が左に湾曲したカーブ路を表す左湾曲モデル、（ｃ）が右に湾曲したカーブ路を表す右湾曲モデル、（ｄ）が十字交差点を表す交差点モデル、（ｅ）が上り坂に続けて下り坂が存在するアップダウンモデル、（ｆ）が下り坂に続けて上り坂が存在するダウンアップモデルである。

但し、各図において、下側に位置する線図が道路構造モデルであり、その上に位置する図が、その道路構造モデルに対応する風景モデルの一例である。
なお、モデル記憶部ＤＢ２には、予め記憶されている風景モデルや道路構造モデルの他、通信処理部５を介して車外又は車内の他の車載機器（例えば、ＣＤやＤＶＤの読み取り装置等）から適宜取得される風景モデルや道路構造モデルも記憶される。

そして、モデル選択部２２は、通信処理部５を介して得られる外部情報、ここでは特に、車内の他の機器（例えばナビゲーション装置）から取得した現在位置，車両の運転状況，天候，時間，現在位置付近の地図等といった情報と、規則記憶部ＤＢ３に記憶された状態遷移ダイアグラム（図４参照）とに基づいて、現在位置（即ち、処理対象となる画像）に適合した風景パターンを選択すると共に、その風景パターンに適合する道路構造モデルを選択する。

なお、風景パターンの選択の際には、現在位置，車両の進行方向，季節，時間帯，天候等から推定される光源（自然光源，人工光源）の有無や位置を考慮する。但し、通信処理部５を介して車外から、現在位置の情報として風景モデルや道路構造モデルの供給を受けた場合は、その供給された風景モデルや道路構造モデルを選択する。

次に、距離マップ生成部２３が実行する距離マップ生成処理を、図８に示すフローチャートに沿って説明する。
図８に示すように、本処理では、まず、モデル選択部２２にて選択された道路構造モデルを、現在位置の道路に関する情報や車両の運転状況などに基づいて補正する（Ｓ１１０）。具体的には、外部情報として取得される現在位置付近の地図データ、車速、ステアリング角、ヨーレートなどに基づき、各道路構造モデルにおける道路幅、道路の湾曲度合い、道路の傾斜度合いなどを補正する。この補正は、過去に使用された道路構造モデルの履歴や、画像データに基づく自律的なセンシングにより取得した情報等を用いてもよい。

次に、補正された道路構造モデルを使用して、距離マップを初期設定する（Ｓ１２０）。例えば、直進モデルの場合、図９に示すように、直方体状の道路構造モデルが得られ、車両の幅方向をｘ軸、垂直方向をｙ軸、車両の進行方向をｚ軸とした座標を仮定する。そして、図１０（ａ）に示すように、道路構造モデルと画面上の各マクロブロックとを対応づけることにより、図１０（ｂ）に示すように、各マクロブロックの三次元座標を求める。この時、風景モデル中の空に対応する部分領域に属するマクロブロックには、ｚ軸方向の値として予め設定された最大値（図１０（ｂ）では２００）を付与する。

但し、図９に示した道路構造モデルの箱の内部の空間点を等間隔にサンプリングして、距離マップに透視投影すると、距離マップの消失点付近では密度が高く、車載カメラ２（即ち、車両）に近いほど密度が低くなる。その結果、消失点付近では無駄な計算を増やし、カメラに近い空間では逆に距離マップを充填できないという事態が生じてしまう。そこで、透視投影の際には、画像中の消失点付近ではサンプリング密度を粗くし、車載カメラ２に近いほど、空間サンプリング密度を上げるという可変密度サンプリングを行う。

なお、消失点の算出は、図１１に示すように、画像中で消失点の候補となる候補領域を設定し、その領域内でフレーム間差分が最小となるマクロブロックを消失点とする。なお、候補領域は、予め設定された固定領域であってもよいし、前回の算出された消失点に基づいて設定される可変領域であってもよい。また、フレーム間差分として、ＹＵＶの各成分毎に求めたフレーム間差分の合計値を用いるものとする。

このようにして距離マップが初期設定されると、静的オブジェクトに関する距離マップの修正（Ｓ１３０）、空仮説による距離マップの修正（Ｓ１４０）、車両情報による距離マップの修正（Ｓ１５０）を行い、その修正された距離マップを距離マップメモリ２６に保存して（Ｓ１６０）、本処理を終了する。

なお、Ｓ１３０（静的オブジェクトに関する距離マップの修正）では、具体的には、色情報処理部２１にて認識された静的オブジェクトや、同じ位置，同じ時間帯に生成された過去の距離マップ中に示されている静的オブジェクト（道路構造モデルには示されていないもの）を距離マップ中に追加することで距離マップを修正する。但し、外部情報として情報センターなどから供給された距離マップがある時は、これと差し替えるようにしてもよい。

また、Ｓ１４０（空仮説による距離マップの修正）では、ブロック平均色算出部１１にて算出されたマクロブロックＭＢ（ｍ，ｎ）のＹ成分の平均色をＡＹ(ｍ，ｎ)として、空の領域は（１）式を満たすという仮説（これを空仮説と呼ぶ）に基づいて、これを満たさないマクロブロックの奥行き情報（ｚ値）を修正する。

ＡＹ(ｍ，ｎ)≧Ｙth （１）
但し、Ｙthは空であれば持つべき最低限の輝度を表すしきい値である。また、ｚ値の修正は、予め設定された固定値を修正値としてもよいし、他の車載装置から得られる情報に基づいて設定される可変値を修正値としてもよい。

ここで、図１２（ａ）に示す画像が得られている場合に、空仮説による修正を行う前の距離マップを図１２（ｂ）、修正を行った後の距離マップを図１２（ｃ）に示す。図１２に示されているように、風景マップ（道路構造モデル）上では空とされている領域に存在するビル及び街路樹などの領域が、（１）式（即ち、空仮説）を満たさないことにより、奥行き情報（ｚ値）の修正が行われている。

更に、Ｓ１５０（車両情報による距離マップの修正）では、色情報処理部２１にて先行車両が認識されると、距離マップ上の予め設定された車両候補領域に車両モデルを配置して、その車両モデルが配置された部分については、距離マップのｘ，ｙ，ｚ値のすべてを予め用意された値に置き換える。なお、車両モデルは、車種が判別できない限り詳細なｘ，ｙ，ｚ値が得られない上に、距離マップはマクロブロック単位の精度でよいため、単純な箱型を採用している。

但し、通信処理部５を介した無線タグの読み取りや車車間通信等により、車両タイプの識別が可能である場合には、その情報に基づいて車両モデルの形状や大きさを設定してもよい。

ここで、図１３は、車両情報に基づく距離マップの修正の具体例を示す説明図であり、（ａ）に処理対象とした画像の例を、（ｂ）に車両情報による修正を行う前の距離マップを、（ｃ）に修正を行った後の距離マップを示す。但し、（ｂ）（ｃ）では奥行き方向の値（ｚ値）のみを示す。

次に、推論部２４が実行する推論処理を、図１４に示すフローチャートに沿って説明する。
図１４に示すように、本処理では、まず、マクロブロックを指定するパラメータＬを１に設定し（Ｓ２１０）、パラメータＬで特定されるマクロブロックＭＢ（Ｌ）の色情報、及び［表１］に示した色インデックスとオブジェクトとの対応関係に基づいて、Ｐ個のオブジェクトＯ₁ 〜Ｏ_P を抽出する（Ｓ２２０）。なお、マクロブロックＭＢ（Ｌ）は、座標ｍ，ｎで特定されるＭ×Ｎ個のマクロブロックＭＢ（ｍ，ｎ）を、座標ｍ，ｎの変わりにパラメータＬで特定できるようにしたものであり、全てのマクロブロックＭＢ（ｍ，ｎ）が、それぞれマクロブロックＭＢ（１），ＭＢ（２），…，ＭＢ（Ｍ×Ｎ）のいずれかに対応する。

次に、Ｓ２２０にて抽出したＰ個のオブジェクトＯ₁ 〜Ｏ_P について、確信度ベクトルＣを生成し、その初期値を設定する（Ｓ２３０）。
なお、確信度ベクトルＣとは、着目するマクロブロックＭＢ（Ｌ）が着目するオブジェクトＯｉ（ｉ＝１，２，…Ｐ）である確信度をＣｉとして、（２）式で定義されたＰ次元のベクトルである。

Ｃ＝（Ｃ₁，Ｃ₂，…Ｃ_P）^T （２）
また、以下では、ルールベース推論に基づいて生成される確信度ベクトルをＣａ、統計的推論に基づいて生成される確信度ベクトルをＣｂとよぶものとする。

そして、ルールベース推論に基づく確信度ベクトルＣａでは、マクロブロックＭＢ（Ｌ）の色情報と、モデル選択部２２にて選択された風景モデルとに基づき、マクロブロックＭＢ（Ｌ）が風景モデルのどの部分領域に位置するかに応じて予め用意された初期値Ｃａ０を設定する。図１５は、マクロブロックＭＢ（Ｌ）の色情報（図では、緑，青，赤）に従って与えられる確信度ベクトルの初期値Ｃａ０の一例を示したものである。

また、統計的推論に基づく確信度ベクトルＣｂでは、現在位置に応じて予め用意された初期値Ｃｂ０を設定する。
なお、これらの初期値Ｃａ０，Ｃｂ０は、確信度初期値記憶部ＤＢ４に予め記憶されている。また、確信度初期値記憶部ＤＢ４に記憶される初期値Ｃａ０，Ｃｂ０は、通信処理部５を介して車外から供給される外部情報によって、適宜更新されるようにしてもよい。

次に、オブジェクトＯｉを指定するパラメータｉを１に設定し（Ｓ２４０）、オブジェクトＯｉの確信度Ｃｉを、規則記憶部ＤＢ３に記憶された判定規則に従って修正する（２５０）。

具体的には、距離マップ生成部２３にて生成された距離マップに基づいてマクロブロックＭＢ（Ｌ）の三次元位置を獲得し、その三次元位置に関する制約規則（例えば「道路上の一定の高さの範囲には、看板や信号機、標識はない」）や、マクロブロックＭＢ（Ｌ）が属する風景モデルの部分領域に関する制約規則（例えば「ビルには人が出入りすることが多い」）等を適用する。

その後、パラメータｉをインクリメントして（Ｓ２６０）、パラメータｉがオブジェクト数Ｐより大きいか否かを判断し（Ｓ２７０）、パラメータｉがオブジェクト数Ｐ以下であれば、未処理のオブジェクトＯｉが存在するためＳ２５０に戻ってＳ２５０〜Ｓ２７０の処理を繰り返す。一方、パラメータｉがオブジェクト数Ｐより大きければ、全てのオブジェクトＯｉについて個別の修正が終了したものとして、今度は、動き情報を用いた確信度ベクトルＣａの修正を行う（Ｓ２８０）。

このＳ２８０における修正処理の詳細を、図１６に示すフローチャートに沿って説明する。
この処理では、まず、環境認識装置４に入力された画像データに動き情報が付与されているか否かを判断する（Ｓ４１０）。そして、動き情報が付与されている場合には、マクロブロックＭＢ（Ｌ）の動きベクトルを復号し（Ｓ４２０）、動き情報が付与されていない場合には、画像データからマクロブロックＭＢ（Ｌ）の動きベクトルを算出する（Ｓ４３０）。

次に、通信処理部５を介して得られる外部情報（車速，ステアリング角，ＧＰＳ情報等）から特定される車載カメラ２（即ち、自車両）の動き（直進，左折，右折，停止等）に基づいて、マクロブロックＭＢ（Ｌ）におけるオブティカルフローの予想パターンを推定し（Ｓ４４０）、更に、周知の動き補償予測などを用いて、マクロブロックＭＢ（Ｌ）に対応する前フレームのマクロブロックである動き元マクロブロックを推定する（Ｓ４５０）。

そして、Ｓ４４０にて推定されたオプティカルフローとＳ４２０又はＳ４３０にて取得した動きベクトルとの差から、オブジェクトとしての自律的な動きの有無を判定し（Ｓ４６０）、オブジェクトとしての自律的な動きがあると判定された場合には、オブジェクトＯ₁ 〜Ｏ_P の中で［表２］に示された動的オブジェクトに属するものの確信度が高くなるように確信度ベクトルＣａを修正する（Ｓ４８０）。

この場合、例えば、色情報として青インデックスが付与されたマクロブロックＭＢ（Ｌ）では、オブジェクトとして｛空，標識，信号，看板，先行車，対向車，…｝などが考えられるが、確信度ベクトルＣａは、図１７に示すように、｛空，標識，…｝といった静的オブジェクトより、｛対向車，…｝といった動的オブジェクトに近接するように変化することになる。

また、Ｓ４６０にて、オブジェクトとしての自律的な動きがないと判定された場合には、同じ場所で同じ時間帯に取得された過去の情報（マクロブロックＭＢ（Ｌ）の履歴）に基づき、マクロブロックＭＢ（Ｌ）が過去に今回とは異なる色情報を有していたことがあるか否かを判定する（Ｓ４７０）。そして、肯定判定された場合には、オブジェクトＯ₁ 〜Ｏ_P の中で［表２］に示された準静的オブジェクトに属するものの確信度が高くなるように確信度ベクトルＣａを修正し（Ｓ４９０）、否定判定された場合には、オブジェクトＯ₁ 〜Ｏ_P の中で［表２］に示された静的オブジェクトに属するものの確信度が高くなるように確信度ベクトルＣａを修正する（Ｓ５００）。

これらＳ４８０〜Ｓ５００のいずれかにて確信度の修正を行った後、Ｓ４５０にて推定された動き元マクロブロックに関する情報（位置，色情報，確信度ベクトルなど）についての制約規則を用いて、マクロブロックＭＢ（Ｌ）の確信度ベクトルＣａを修正して（Ｓ５１０）、本処理を終了する。

なお、本処理では、動き情報に着目して確信度ベクトルＣａを修正しているが、例えば、マクロブロックＭＢ（Ｌ）が、風景モデルにおいて空に対応する部分領域に存在する場合、上述の空仮説（（１）式参照）を満たせば、空についての確信度が高くなるように確信度ベクトルＣａを修正する等してもよい。

図１４に戻り、Ｓ２２０にて抽出したＰ個のオブジェクトＯ₁ 〜Ｏ_P について、統計的推論に基づく確信度ベクトルＣａを（３）式を用いて算出する（Ｓ２９０）。

なお、要因ベクトルｓｒは、撮影時の状況（自然環境，時間帯など）や、マクロブロックの画像特徴（色、ブロック位置、閾値など）など、確信度ベクトルＣｂに影響を与えるＲ種類の要因Ｄｒ（ｒ＝１，２，…Ｒ）毎に設定され、その要因Ｄｒを表すＱｒ個の情報を並べてなるＱｒ次元のベクトルである。この要因ベクトルｓｒは、色成分値メモリ１３、色インデックスメモリ１４、距離マップメモリ２６に記憶された処理対象となる画像についての情報や、通信処理部５を介して外部情報として供給される現在（撮影時）の状況を表す情報に基づいて設定される。

また、回帰係数行列Ｗｒは、要因Ｄｒ毎に設定され、オブジェクトＯｉのそれぞれについて、その要因Ｄｒに対して設定された回帰係数の組みを表すＰ行Ｑｒ列の行列である。この回帰係数行列Ｗｒは、後述する統計データ収集解析部３０にて算出される。

次に、Ｓ２３０〜Ｓ２８０の処理により算出，修正されたルールベース推論に基づく確信度ベクトルＣａと、Ｓ２３０，Ｓ２９０にて算出された統計的推論に基づく確信度ベクトルＣｂとをベクトル加算することにより、マクロブロックＭＢ（Ｌ）に関する統合した確信度ベクトルＣ（Ｌ）を算出する（Ｓ３００）。なお、ベクトル加算では、単純な加算を用いてもよいし、重み付け加算を用いてもよい。つまり、確信度ベクトルＣ（Ｌ）は、図１８に示すように、複数の部分確信度ベクトルを合成したものとして捉えることができる。

その後、パラメータＬをインクリメントして（Ｓ３１０）、パラメータＬがマクロブロック数Ｍ×Ｎより大きいか否かを判定する（Ｓ３２０）。このＳ３２０にて、否定判定された場合は、未処理のマクロブロックＭＢ（Ｌ）があるものとしてＳ２２０〜Ｓ３２０の処理を繰り返し、一方、肯定判定された場合は、全てのマクロブロックについて確信度ベクトルＣ（１）〜Ｃ（Ｍ×Ｎ）が算出されたものとして、最後に、マクロブロックの同一色領域に基づく確信度ベクトルＣ（１）〜Ｃ（Ｍ×Ｎ）の修正を行って（Ｓ３３０）、本処理を終了する。

なお、マクロブロックの同一色領域とは、同じ色情報を有し且つ互いに隣接するマクロブロックからなる領域のことであり、その同一色領域を構成するマクロブロックの数（領域の大きさ）や、領域の概略形状，領域の色情報等についての制約規則を用いたルールベース推論を行う。

具体的には、同一色領域を構成するマクロブロックの数が、オブジェクト毎に設定された所定範囲内に収まる場合に、その同一色領域に属する全てのマクロブロックＭＢ（Ｌ）について、該当するオブジェクトの確信度が高くなるように確信度ベクトルＣ（Ｌ）を修正する。

また、外部情報等によって、既に何のオブジェクトであるか確定した領域が存在する場合、その確定領域との位置関係（シーン構造）に関する制約規則を利用して、確信度ベクトルＣ（Ｌ）を修正してもよい。

更に、同一色領域の情報に限らず、例えば、特定の色に着目し、赤の色インデックスに対応する色情報が付与されたマクロブロックが、予め設定された車両存在可能範囲内にて水平方向に並んで存在している場合、先行車両のテールランプであるものとして、先行車両についての確信度が高くなるように、その周辺のマクロブロックの確信度ベクトルＣ（Ｌ）を修正してもよい。

このように、推論部２４での処理により、各マクロブロックに対応したＭ×Ｎ個の確信度ベクトルＣ（１）〜Ｃ（Ｍ×Ｎ）が生成されることになる。
そして、オブジェクト判定部２５は、この推論部２４にて生成された確信度ベクトルＣ（１）〜Ｃ（Ｍ×Ｎ）と、通信処理部５を介して取得される外部情報とに基づいて、各マクロブロックに対応させるべきオブジェクトを判定し、その判定結果をオブジェクトインデックスメモリ２７に格納する。

なお、オブジェクト判定部２５にて使用される外部情報としては、現在位置情報、地図情報、レーダ等の車載計測機器からの測定情報や、車外から配信される道路環境に関する事前情報等がある。また、事前情報として、具体的には、標識の設置位置／形状／向き／色などを記述した標識情報、信号機の設置位置／形状／向き／現在の点灯色などを記述した信号情報、個々の車両の現在位置／速度／向き／走行道路／車線／形式／色などを記述した車両情報（死角車両を含む）、現在位置周辺の状況（概略台数／道路種別／渋滞状況など）を記述したマクロ情報、ランドマークの位置／形状／色などを記述したランドマーク情報等がある。

このオブジェクト判定部２５での判定は、基本的には、確信度ベクトルＣ（Ｌ）の中で、最も大きな確信度を有するオブジェクトを、そのマクロブロックのオブジェクトインデックスとして付与する。但し、着目するマクロブロックに対応づけるべきオブジェクトが外部情報（特に事前情報）から明らかな場合は、確信度ベクトルＣ（Ｌ）によらず外部情報から特定されるオブジェクトを優先させたり、外部情報から、現在のシーン中には存在しないことが明らかなオブジェクトについては、判定対象から除外する等の処理も行う。

次に、統計データ収集解析部３０は、図１に示すように、色成分値メモリ１３，色インデックスメモリ１４，距離マップメモリ２６，オブジェクトインデックスメモリ２７の記憶内容、モデル選択部２２での選択結果、通信処理部５を介して供給される外部情報、マンマシンＩＦ部８を介してとして供給されるユーザプロファイル，教示データ等（図面を見易くするために、図中での関連づけを一部省略している）に基づいて計測行列を生成する計測行列生成部３１と、計測行列生成部３１により生成された計測行列や、通信処理部５（図２参照）を介して情報センター等から取得した計測行列を記憶する計測行列記憶部ＤＢ５と、計測行列記憶部ＤＢ５に記憶された計測行列に基づいて、推論部２４での確信度ベクトルＣｂの算出に使用する回帰係数行列Ｗｒを生成する回帰係数生成部３２とからなる。

ここで、計測行列生成部３１にて生成される計測行列の概要を示す。
計測行列は、画像をフレーム単位，マクロブロック単位で分析することにより生成され、図１９に示すように、分析したフレームを特定するための識別子（イベント番号，ユーザ識別）と、その画像を説明するための説明変数（撮影時の状況、画像特徴など）及びその説明変数から獲得すべき情報を表す観測変数（オブジェクト）とからなる。

このうち説明変数は、画像処理を行うことによって自動的に獲得される情報であってもよいし、その画像を分析した人間により与えられる教示データであってもよい。そして、説明変数のうち、撮影時の状況には、時間帯、天候、撮影場所などが少なくとも含まれており、また、画像特徴には、画像処理で自動的に獲得される各マクロブロックの属性値、例えば、マクロブロックの色情報、動き、画像内での位置（二次元座標）などが少なくとも含まれている。

なお、説明変数は、画像特徴のように数値で表現できるもの以外のもの（例えば時間帯や天候など）については、次のように記述する。即ち、時間帯を表す場合は｛早朝, 朝，…，夜, 深夜｝、天候を表す場合は｛晴, 曇, 雨, …, 暴風雨｝などのように各事象に対応づけたビット列を用意し、その事象が真であれば１，偽であれば０を設定する。これは各状況要因の確信度を０と１の間で正規化して表現したことに相当するため、このように記述された説明変数は代数的な処理が可能となる。

また、説明変数は、上述したものに限らず、パターンレベルの記述（道路構造モデル／色判定しきい値／同一色領域の概略形状と存在位置／同一色領域間の位置関係など）や、言語レベルの記述（シーン分類／運転状況分類など）、距離マップから得られる三次元位置等を用いてもよく（図２０参照）、確信度ベクトルの算出に直接的な影響を与える要因だけでなく、その要因の変化と密接な関係を有し確信度ベクトルの算出に間接的な影響を与える要因を用いてもよい。

一方、観測変数は、説明変数で表されるマクロブロックが、着目するオブジェクトを構成するものであることの確信度を、認識処理部２０にて認識の対象となり得る全てのオブジェクトについて記述したものであり、人間により教示データとして与えられたものが用いられる。

なお、このようにして蓄積された計測行列において、同じ説明変数を持つ情報が存在する場合は、これらの情報を統合して、説明変数が重複しないように調整される。つまり、計測行列は、説明変数と観測変数（各オブジェクト）との関係を統計的に学習したものとなる。

次に、回帰係数生成部３２は、計測行列に対する多変量解析を行うことで、上述の（３）式で使用する回帰係数行列Ｗｒを算出する。
具体的には、回帰係数行列Ｗｒ^T の推定値をＢｒとして、（４）式を用いて推定する。

Ｂｒ＝（Ｓｒ^T Ｓｒ）^-1Ｓｒ^T Ｙ （４）
但し、時刻Ｔｋ（ｋ＝１，２，…，Ｋ）における要因ベクトルｓｒの観測値をｓｒ(ｋ)として、Ｓｒは、（５）式で表される行列である。

Ｓｒ＝［ｓｒ(１)，ｓｒ(２)，…，ｓｒ（Ｋ）］^T （５）
また、ｐ番目の語彙（オブジェクト）についての時刻Ｔｋにおける観測値をｙｐ(ｋ)として、時刻Ｔｋにおける観測変数（確信度ベクトル）の観測値ｙ(ｋ)を（６）式、ｐ番目のオブジェクト（語彙）に対する確信度の履歴Ｙｐを（７）式で表すものとして、Ｙは、（８）式で表される行列である。

ｙ(ｋ)＝（ｙ１(ｋ)，ｙ２(ｋ)，…，ｙＰ(ｋ)）^T （６）
Ｙｐ＝（ｙｐ(１)，ｙｐ(２)，…，ｙｐ(ｋ)）^T （７）
Ｙ＝［Ｙ１，Ｙ２，…，ＹＰ］ （８）
このようにして、要因ベクトルｓｒ毎に生成した回帰係数行列Ｗｒを推論部２４に供給する。また、回帰係数行列Ｗｒを、計測行列記憶部ＤＢ５に計測行列と共に記憶するようにしてもよい。

なお、計測行列において、説明変数と観測変数とは、ともに計測行列における列成分として扱われ、数学的には何の区別もないため、観測変数と未観測の説明変数とを入れ替えて回帰係数行列を生成し、その回帰行列に基づいて未観測の説明変数を推定することが可能である。従って、この手法を用いて計測行列の欠落部分（未観測の説明変数）を補完（推定）する処理を実行するように、計測行列生成部３１を構成してもよい。

次に、出力情報生成部４０は、画像データや色インデックスメモリ１４，距離マップメモリ２６，オブジェクトインデックスメモリ２７を介して供給される色配列情報，距離マップ，オブジェクトインデックス等に基づいて、各種表示を行うための表示データを生成する表示生成部４１と、オブジェクトインデックスやモデル選択部２２にて選択された風景モデル等に基づいて、画像の特徴を表すＸＭＬ形式の記述をフレーム単位で生成する言語記述生成部４２と、オブジェクトインデックスに基づいて、確信度の時間分布や空間分布を作成する確信度分布生成部４３とを備えている。

このうち、出力情報生成部４０は、画像データ（又は実写映像）にオブジェクトの判定結果を強調表示するための強調表示画像データや、距離マップの情報を用いて、オブジェクトの概略位置を、図２１に示すように、三次元グラフィックス表示するための三次元画像データ等を生成する。

なお、強調表示では、認識したオブジェクトに半透明のマスクをオーバーレイしたり、そのマスクをオブジェクト毎に色分けしたり、目標とするオブジェクトのみをマーキングしたりする等の様々な形式のものが考えられる。

また、三次元グラフィックス表示では、色インデックスを付したマクロブロックに映っているオブジェクト（あるいはその断片）が、本システムによって車両前方のどのあたりに存在すると推定されているのかを視覚的に確認することができるため、本システムの動作の検証等にも有用である。

また、言語記述生成部４２は、画像中のどの位置にどのようなオブジェクトが存在しているかを、ＸＭＬ形式で記述した環境記述データを生成する。
ここで図２２には、（ａ）に記述生成の対象とした画像、（ｂ）に言語記述生成部４２にて生成される記述の例を示す。

図２２（ａ）に示すように、ここでは、風景パターンをシーン記述の典型的なテンプレートとして用いており、図２２（ｂ）に示すように、動的オブジェクト／準静的オブジェクト／静的オブジェクト毎に、どの位置（風景パターンのどの部分領域）に、どのようなオブジェクトが存在しているのかを記述している。

また、言語記述生成部４２は、上述の記述に限らず、多くのシーン記述例を統計的に分析し、共通するエレメントの組み合わせを抽出してパターン化したものや、ある観点（例えば交通安全）から特定の属性（例えば高い危険度）を有するシーンを抽出してパターン化したものを記述するように構成してもよい。

次に、確信度分布生成部４３が確信度の空間分布を生成する際に実行する確信度空間分布生成処理を、図２３に示すフローチャートに沿って説明する。
本処理では、まず、観測回数を表す（処理対象となるフレームを特定する）パラメータｋを１に設定すると共に（Ｓ６１０）、観測点を特定するためのパラメータｉを１に設定する（Ｓ６２０）。

次に、観測点Ｐ＝（ｘ(ｉ)，ｙ(ｉ)，ｚ(ｋ)）を設定し（Ｓ６３０）、その設定した観測点Ｐに対応するマクロブロックＭＢ(ｍｇ，ｎｇ)を求める（Ｓ６４０）。ここで、ｘ(ｉ)，ｙ(ｉ)，ｚ(ｋ)は、道路構造モデル上の座標（図９参照）であり、ｍｇはマクロブロックの水平座標、ｎｇは同じく垂直座標である。

そして、時刻Ｔｋの画像フレームにおけるマクロブロックＭＢ（ｍｇ，ｎｇ）の確信度ベクトルＣを取得し（Ｓ６５０）、パラメータｉをインクリメントした後（Ｓ６６０）、パラメータｉが設定箇所数ＫＰより大きいか否かを判定する（Ｓ６７０）。このＳ６７０にて否定判定された場合は、他にも観測すべき観測点が残っているものとしてＳ６３０に戻り、Ｓ６３０〜Ｓ６７０の処理を繰り返し実行する。一方、Ｓ６７０にて肯定判定された場合は、パラメータｋで特定されるフレームについて観測すべき観測点を全て観測したものとして、パラメータｋをインクリメントした後（Ｓ６８０）、パラメータｋが設定回数ＫＦより大きいか否かを判定する（Ｓ６９０）。

このＳ６９０にて否定判定された場合は、まだ観測を継続すべきものとしてＳ６２０に戻り、Ｓ６２０〜Ｓ６９０の処理を繰り返し実行する。一方、Ｓ６９０にて否定判定された場合は、観測を終了すべきものとして次に進む。

これにより、確信度ベクトルを構成する各オブジェクトについての確信度の空間分布が、水平位置及び垂直位置が固定されたＫＰ個の観測点のそれぞれについて、ｚ(１)〜ｚ(ｋ)で特定される奥行き方向の範囲で得られることになる。

そして、過去の確信度空間分布が存在しているか否かを判定し（Ｓ７００）、過去の確信度空間分布が存在していると判定された場合には、その過去の確信度空間分布に、Ｓ６１０〜Ｓ６９０の処理にて取得した確信度の空間分布を合成し（Ｓ７１０）、その合成した確信度空間分布を保存して（Ｓ７２０）、本処理を終了する。一方、Ｓ７００にて、過去の確信度空間分布が存在していないと判定された場合は、Ｓ６１０〜Ｓ６９０の処理にて取得した確信度空間分布を、そのまま保存して（Ｓ７２０）、本処理を終了する。

つまり、本処理では、（ｘ(ｉ)，ｙ(ｉ)）で特定されるｘ−ｙ平面上の観測点Ｐを、ｚ軸方向（奥行き方向）に移動させながら確信度ベクトルを求めることによって、確信度の空間分布を得ている。

ここで、図２４（ａ）は、オブジェクトの空間分布に対応づけた確信度の空間分布の概略形状を示す説明図である。
例えば、箱型の道路構造モデルを観測画像に適用して、道路構造モデルの左側の壁面に相当する水平位置ｘｇを観測領域のｘ座標として固定すれば、図中の基点（ｘｇ，ｙｇ，０）を含む直方体（マクロブロックの大きさに対応）に含まれる空間領域を部分的に順次観測していくことになる。なお、カメラの初期位置は上記の基点（ｘｇ，ｙｇ，０）が視野に入る位置にある必要があるため、若干ｚ軸マイナス方向の位置であると考えればよい。

そして、（ｘｇ，ｙｇ，０）を基点とて本処理を行った場合には、図２４（ｂ）に示すような確信度の分布が得られることになる。
このようにして得られる確信度の空間分布が十分な精度を有していれば、それはオブジェクトの三次元配置情報に相当するため、図２５に示すように、オブジェクト周辺にある任意視点のカメラで撮影された映像に対して、原理的にはどの部分が何のオブジェクトに相当するのかを示すオブジェクトインデックス画像を生成することが可能になる。但し、そのような画像の生成にあたってはカメラの位置姿勢がＧＰＳ相当の絶対座標で明確に特定される必要があり、この位置姿勢を用いて３次元グラフィックスの描画同様に透視変換で対象領域を表示することが可能となる。

上述した確信度の空間分布は、観測点を移動させることで得られる分布であるが、観測点を未知のオブジェクト（静的オブジェクトであれば道路構造モデル上の一点）に固定し、その観測点を、動き補償等によって画面上で追尾しながら確信度ベクトルを求める処理を、確信度分布生成部４３に行わせるように構成してもよい。この場合、図２６（ａ）に示すように、固定した観測点における確信度ベクトルの軌跡（時間変化特性）を獲得することができる。

このようにして得られた確信度ベクトルの軌跡は、その時々の状況によって様々に異なるものの、未定義のオブジェクトを観測対象としない限り、図２６（ｂ）に示すように、最終的には正しいオブジェクトに対応する軸方向に収束する。従って、このような確信度ベクトルの時間変化特性を、推論部２４が利用する制約規則の一つとして組み込むようにしてもよい。

ところで、上述したように、環境認識装置４での認識結果を表す認識結果データ（環境記述データ、ＯＢＩデータなど）は、メタデータデータベース６ｂに記憶され、この認識結果データにその他の生成データ（計測行列，回帰係数行列，確信度分布データなど）を加えた生成データは、通信処理部５を介して車外に提供される。また、環境認識装置４にて生成された表示データは、マンマシンＩＦ部８を構成する表示装置、或いは通信処理部５を介して他の車載機器が有する表示装置に提供され、その表示装置にて表示が行われる。

そして、検索処理部７は、マンマシンＩＦ部８を介したユーザからの入力による問い合わせプロファイルの内容を、メタデータデータベース６ｂに記憶されたメタデータ（環境記述データ，ＯＢＩデータ）と照合することで、問い合わせプロファイルに適合する画像や画像中のオブジェクトの検索を行い、その検索結果を、マンマシンＩＦ部８の表示装置などに表示させる処理を実行する。

また、検索処理部７は、問い合わせプロファイルに適合する画像が車内データベース６中に存在しない場合は、通信処理部５を介して車外（情報センターや他車両）に対して検索要求を送信したり、通信処理部５を介して車外からの検索要求を受信した場合は、これに応答する等の処理も実行する。

なお、環境記述データが自然言語に近い表現で記述されていることにより、検索要求に用いる問い合わせプロファイルも、例えば「黄色いビルディング」「黄色い三角の道路標識があるシーン」等、自然言語に近い表現で記述したものを用いることができる。

図２７（ａ）に示すメタデータに対して、図２７（ｂ）の形式で作成された問い合わせプロファイルを用いて検索した結果を図２７（ｃ）、また、検索結果の三次元グラフィクス表示を図２７（ｄ）に示す。

なお、図２７（ｂ）に示すような、問い合わせプロファイルは、「注意箇所」「緑色のビル」といった自然言語から抽出された単語を用いて構成することができる。
また、検索対象は、「赤いビル」「交差点」「緑地」「前方車両のストップランプ」等といった周囲事物の他、「箱根の渋滞」「××スキー場の路面」「渋滞状況」「富士山の天気」等といった周囲環境、「時速100km/h以上のシーン」「交差点右折シーン」「インター料金所のシーン」「トンネルの走行シーン」「雨天時の走行シーン」「急停車時の運転状況」等といった運転状況でもよい。

次に、図２（ａ）は、各車両の車載システム１から計測行列を収集して、統計的処理を行い、処理結果を車載システムに提供する情報センター５０の概略構成を示すブロック図である。

図２（ｂ）に示すように、情報センター５０は、各車両の車載システム１から計測行列やその他の関連データを収集する情報収集処理部５１と、情報収集処理部５１が収集した計測行列を記憶する計測行列記憶部５２と、計測行列記憶部５２に蓄積された計測行列に基づいて、各種統計解析処理を実行する統計解析処理部５３と、統計解析処理部５３での解析結果を記憶する解析結果記憶部５４と、車載システム１からの要求に応じた配信、又は定期的な放送形式による配信により、解析結果記憶部５４に蓄積された解析結果を、車載システム１等に提供する情報配信処理部５５とを備えている。

なお、計測行列記憶部５２には、各車載システム１から収集された計測行列（環境情報や画像特徴）が、その収集位置情報とともに時系列のイベントとして蓄えられる。
従って、統計解析処理部５３では、環境認識装置４における回帰係数生成部３２や確信度分布生成部４３と同様の処理、即ち、回帰計数行列や確信度分布データの生成を、より大規模に収集された計測行列を用いて実行することになる。

また、情報センター５０から情報の配信を受けた車載システム１は、受信した情報に基づいて、色辞書記憶部ＤＢ１の色辞書、モデル記憶部ＤＢ２の風景モデルや道路構造モデル、規則記憶部ＤＢ３の制約規則、計測行列記憶部ＤＢ５の計測行列や回帰係数行列、確信度初期値記憶部ＤＢ４の確信度ベクトルの初期値等の更新に反映される。

このように、情報センター５０では、多くの車載システム１から収集された情報を用いているため、車載システム１が単独で生成するものより、信頼度の高い回帰係数行列や確信度分布データを生成することが可能となる。

また、情報センター５０を、各車載システム１で生成された環境記述データを集積するように構成した場合には、情報センター５０において、単なる映像だけでなく交通状況や周囲環境を含んだ信頼度の高い道路環境情報のデータベースを構築することができる。この場合、情報センター５０は、サービスを要求する車両や歩行者に対して、道路環境に関する新しい知見（「ｘｘ交差点が危険度が高い」「見通しが悪い」「渋滞を起こしやすい」など）やリアルタイム情報（「事故発生」「災害発生」など）を配信することができる。

また、この配信情報を利用することにより、例えば、見通しの悪い交差点等において死角車両の情報を提供する交通システムや、注意箇所，災害・事故発生箇所，渋滞発生箇所を報知したり、季節変化による緑地の死角発生状況を検出する等の様々な警報システムの構築に役立てることができる。

また、情報センター５０を、車載システム１で生成された確信度分布データを集積するように構成した場合には、確信度の空間分布という形式で画一的な環境情報が整備されることになるため、特別なプローブカーなどを用いなくても、道路交通データベースの生成に必要な最新のデータを、安価に且つ大量に収集することができる。

以上説明したように、本実施形態においては、環境認識装置４が確信度ベクトルＣを用いてオブジェクトの推定を行うことにより、認識結果であるオブジェクトを直ちに一つに絞ってしまうのではなく、複数のオブジェクト候補についての確信度を求め、その確信度を参考情報として、最終的なオブジェクトを判定するようにされている。しかも、確信度ベクトルＣは、ルールベース推論による確信度ベクトルＣａと、統計的推論による確信度ベクトルＣｂとを統合することで生成され、更に、様々な要因を用いて補正されるようにされている。

従って、環境認識装置４によれば、複数のオブジェクト候補を保ったまま推論を進めることができると共に、複数の手法に基づく多面的な基準にてオブジェクトが判定され、更に、補正によって様々な要因がオブジェクトの判定に反映されることになるため、精度の良い認識結果を得ることができる。

また、環境認識装置４では、マクロブロックの色情報に基づいて、確信度ベクトルを構成するオブジェクト（即ち、確信度の算出対象となるオブジェクト）の数を制限しているため、推論部２４での推論処理を処理負荷を軽減することができる。

更に、環境認識装置４では、統計データ収集解析部３０が計測行列を自律的に生成すると共に、その生成した計測行列に基づいて統計的推論による確信度ベクトルＣｂの算出に用いる回帰係数行列Ｗｒを自律的に生成し、更に、計測行列を構成する説明変数（要因情報）に欠落がある場合には、その欠落した情報を回帰分析によって推定して補完するようにされている。

従って、環境認識装置４によれば、回帰係数行列Ｗｒの自律的な生成によって現在の状況に即した回帰係数行列Ｗｒを常に利用することができるだけでなく、欠落部が補完された計測行列に基づいて信頼度の高い回帰係数行列Ｗｒが生成されるため、推論の精度をより向上させることができる。

また、環境認識装置４では、説明変数として撮影時の状況が計測行列に組み込まれているため、撮影条件が変化した場合でも、統計的推論に基づく確信度ベクトルＣｂの算出、ひいてはオブジェクトの推論を高い精度で行うことができる。

また、環境認識装置４によれば、風景パターンを利用して画面を複数の部分領域に分割しているため、マクロブロックの位置に関する制約規則の適用を容易にすることができ、また、道路構造モデルを画像に投影して距離マップを生成することにより、マクロブロックの概略的な三次元位置情報を得るようにされているため、簡易な方法により、オブジェクト間の三次元的な位置関係に関する制約規則の適用を可能とすることができる。

また、本実施形態の車載システム１では、オブジェクトの認識結果をＸＭＬ形式により自然言語に近い表現で記述した環境記述データを環境認識装置４が生成し、その環境記述データを、画像データに対応づけて車内データベース６に記憶すると共に、通信処理部５を介して車外（情報センターや他車両）に提供するようにされている。

従って、車載システム１によれば、車内データベース６に記憶された画像の検索を、自然言語に近い表現で記述された問い合わせプロファイルを用いて行うことができると共に、画像に示された状況を、画像伝送より高能率かつ高速に伝送することができる。

また、このような車載システム１を利用することにより、様々な交通システムや警報システムを効率良く構築することができる。
なお、本実施形態において、ブロック平均色算出部１１が画像データ取得手段及び平均色算出手段、色判定部１２が色情報付与手段、オブジェクト判定部２５がオブジェクト判定手段、推論部２４が確信度算出手段、Ｓ２２０が対象オブジェクト選択手段、Ｓ２３０〜Ｓ２９０が部分確信度算出手段、Ｓ３００が確信度統合手段、Ｓ２５０，Ｓ２８０，Ｓ３３０が確信度補正手段に相当する。また、計測行列生成部３１が計測行列生成手段及び欠落情報推定手段、回帰係数生成部３２が回帰係数算出手段、モデル記憶部が風景パターン記憶手段及びモデル記憶手段、モデル選択部２２が風景パターン選択手段、距離マップ生成部２３が距離マップ生成手段及び距離マップ修正手段に相当する。
［他の実施形態］
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することができる。

例えば、上記実施形態では、光源の有無や位置を考慮して、風景パターンを選択するように構成したが、風景パターンの選択では光源の有無や位置を考慮せずに、色判定部１２で使用する色インデックスの閾値を、天候などの様々な環境条件に応じて適宜変化させることで対応してもよい。

上記実施形態では、ルールベース推論に基づく確信度ベクトルＣａと統計的推論に基づく確信度ベクトルＣｂとを別々に生成し、これらを統合することで単一の確信度ベクトルＣ（Ｌ）を得るようにされているが、一方を他方の初期値として用いる等してもよい。

また、ルールベース推論に基づく確信度ベクトルＣａの生成に用いる要因（即ち、制約規則として記述される要因）、及び統計的推論に基づく確信度ベクトルＣｂの生成に用いる要因（即ち、計測行列に組み込まれる要因）は、互い交換可能であり、また、全てが重複していてもよい。

更に、確信度ベクトルの初期値の設定に使用している要因を用いて、確信度ベクトルを修正してもよいし、逆に、確信度ベクトルの修正に使用している要因を用いて、確信度ベクトルの初期値を設定してもよい。

また、統合前の確信度ベクトルＣａ，Ｃｂの修正に使用している要因を用いて、統合後の確信度ベクトルＣを修正してもよいし、逆に、統合後の確信度ベクトルＣの修正に使用している要因を用いて、統合前の確信度ベクトルＣａ，Ｃｂを修正してもよい。

上記実施形態では、環境認識装置４を車載システム１に適用し、一般の道路環境を認識するように構成したが、例えば、テーマパーク内などの限定された環境内で、周囲の事物や環境を認識しながら自律的に移動するロボットやロボット車両に適用してもよい。この場合、距離マップを生成する際には、道路構造モデルの代わりに、テーマパーク内の風景に適合したシーン構造モデルを用いるようにすればよい。

また、このようなロボットやロボット車両では、上記実施形態にて説明したような画像認識・記述装置が画像による環境理解を支援すると考えられる。例えば、標識認識や車両認識、人物認識などの詳細な画像認識モジュールは環境認識装置４の下位モジュールとして位置づけることで、各モジュールは比較的頑健な環境認識が可能になる。

即ち、標識の内容や人物の動作を個別に認識するモジュールはこれまでも高性能のものが開発されてきたが、画像中のどこがその認識対象となるかが不明であることが誤認識の最大要因になっていたが、環境認識装置４を適用した上記構成を採用することで、それらに対して適切な指針を与えることができる。

環境認識装置の構成を示すブロック図。 （ａ）は実施形態の車載システムの構成を示すブロック図、（ｂ）は情報センターの構成、及び車載システムとの関係を示す説明図。 マクロブロック毎の平均色の算出に関する説明図。 車両の運転状況の遷移を表す状態遷移ダイアグラム。 風景パターンを例示する説明図。 光源の有無や時間帯を考慮した風景パターンを例示する説明図。 道路構造モデルを例示する説明図。 距離マップ生成処理の内容を示すフローチャート。 道路構造モデル（直進モデル）の構造を示す説明図。 距離マップの生成方法、及び生成された距離マップを例示する説明図。 消失点の検出方法を示す説明図。 空仮説による距離マップの修正に関する説明図。 車両情報による距離マップの修正に関する説明図。 推論処理の内容を示すフローチャート。 色情報に応じた確信度ベクトルの初期値設定に関する説明図。 動きに基づく修正処理の内容を示すフローチャート。 動きがある場合の確信度ベクトルの修正に関する説明図。 確信度ベクトルの重ね合わせに関する説明図。 計測行列の概要についての説明図。 計測行列の一部についての具体例を示した説明図。 三次元グラフィックスに関する説明図。 環境記述データに関する説明図。 確信度空間分生成処理の内容を示すフローチャート。 確信度の空間分布に関する説明図。 確信度の空間分布の応用に関する説明図。 確信度の時間変化特性の獲得に関する説明図。 環境記述データを利用した検索に関する説明図。 色情報の付与に関する説明図。

符号の説明

１…車載システム、２…車載カメラ、３…符号化部、４…環境認識装置、５…通信処理部、６…データベース、６ａ…画像データベース、６ｂ…メタデータデータベース、７…検索処理部、８…マンマシンＩＦ部、１０…色情報生成部、１１…ブロック平均色算出部、１２…色判定部、１３…色成分値メモリ、１４…色インデックスメモリ、２０…認識処理部、２１…色情報処理部、２２…モデル選択部、２３…距離マップ生成部、２４…推論部、２５…オブジェクト判定部、２６…距離マップメモリ、２７…オブジェクトインデックスメモリ、３０…統計データ収集解析部、３１…計測行列生成部、３２…回帰係数生成部、４０…出力情報生成部、４１…表示生成部、４２…言語記述生成部、４３…確信度分布生成部、５０…情報センター、５１…情報収集処理部、５２…計測行列記憶部、５３…統計解析処理部、５４…解析結果記憶部、５５…情報配信処理部、ＤＢ１…色辞書記憶部、ＤＢ２…モデル記憶部、ＤＢ３…規則記憶部、ＤＢ４…確信度初期値記憶部、ＤＢ５…計測行列記憶部。

Claims (19)

1. 移動体に搭載されたカメラにより撮像されたカラー画像に基づく画像データを取得する画像データ取得手段と、
   該画像データ取得手段が取得した画像データに基づいて、前記カラー画像を予め設定された大きさで分割してなる画素ブロック毎に、該画素ブロックの平均色を算出する平均色算出手段と、
   該平均色算出手段にて算出された平均色が、予め用意された色インデックスのいずれに属するかを判定し、該判定結果を色情報として前記画素ブロックに対応づけて記憶する色情報付与手段と、
   前記カラー画像から抽出すべき物体や属性をオブジェクトとし、前記色情報付与手段にて記憶された色情報に基づいて、着目する画素ブロックが着目するオブジェクトを構成するものであることについての確信度を、前記画素ブロック毎に、前記オブジェクトのそれぞれについて求める確信度算出手段と、
   該確信度算出手段での算出結果に基づいて、前記画素ブロックに関連づけるべきオブジェクトを判定するオブジェクト判定手段と、
   を備えることを特徴とする環境認識装置。
2. 前記確信度算出手段は、
   前記確信度の算出対象となるオブジェクトを前記色情報に基づいて選択する対象オブジェクト選択手段を備えることを特徴とする請求項１に記載の環境認識装置。
3. 前記確信度算出手段は、
   互いに異なる手法を用いて前記確信度を求める複数の部分確信度算出手段と、
   前記部分確信度算出手段での算出結果を前記オブジェクト毎に統合した確信度を求める確信度統合手段と、
   を備えることを特徴とする請求項１又は２に記載の環境認識装置。
4. 前記部分確信度算出手段の少なくとも一つは、予め設定された制約規則に基づくルールベース推論により前記確信度を求めることを特徴とする請求項３に記載の環境認識装置。
5. 前記部分確信度算出手段の少なくとも一つは、統計分析に基づく統計的推論により前記確信度を求めることを特徴とする請求項３又は４に記載の環境認識装置。
6. 前記統計的推論では、前記確信度と該確信度の算出に影響を及ぼす要因情報とを互いに対応付けて配列してたものを計測行列として、該計測行列を回帰分析することで求めた回帰係数と、前記画像データ取得手段が取得した画像データから抽出された前記要因情報の実測値である抽出情報とに基づいて、前記確信度を算出することを特徴とする請求項５に記載の環境認識装置。
7. 前画像データ取得手段が取得した画像データから得られる情報、及び外部から入力される教示データに基づいて前記計測行列を生成する計測行列生成手段と、
   該計測行列生成手段が生成した計測行列から前記回帰係数を求める回帰係数算出手段と、
   を備えることを特徴とする請求項６に記載の環境認識装置。
8. 前記計測行列生成手段が生成した計測行列を構成する要因情報中に情報の欠落がある場合に、その欠落した情報を回帰分析によって推定する欠落情報推定手段を備えることを特徴とする請求項７に記載の環境認識装置。
9. 前記要因情報には、画像を構成する画素ブロックの物理的な特徴を表す情報が含まれていることを特徴とする請求項６〜８のいずれかに記載の環境認識装置。
10. 前記要因情報には、画像撮影時の状況を表す情報が含まれていることを特徴とする請求項６〜９のいずれかに記載の環境認識装置。
11. 前記確信度算出手段は、前記部分確信度算出手段又は前記確信度統合手段のいずれかにて求められた確信度を、予め設定された制約規則に基づくルールベース推論を用いて補正する確信度補正手段を備えることを特徴とする請求項３〜１０のいずれかに記載の環境認識装置。
12. 前記確信度補正手段は、前記画像データから得られる動きベクトルに基づいて、前記画素ブロックに示された物体が移動物体であるか静止物体であるかを推定する制約規則を少なくとも用いることを特徴とする請求項１１に記載の環境認識装置。
13. 前記確信度補正手段は、前記画像データから得られる動きベクトルに基づいて、現在の画素ブロックに対応した過去の画素ブロックを特定し、その特定した過去の画素ブロックに関する情報についての制約規則を少なくとも用いることを特徴とする請求項１１又は１２に記載の環境認識装置。
14. 前記確信度補正手段は、同一の色情報を有し互いに隣接した画素ブロックが形成する同一色領域の特徴についての制約規則を少なくとも用いることを特徴とする請求項１１〜１３のいずれかに記載の環境認識装置。
15. 同様な特徴を有した部分領域毎に前記カラー画像の画面を分割することで典型的な静的環境を表した風景パターンを記憶する風景パターン記憶手段と、
    前記画像データ取得手段が取得する画像データに適合した風景パターンを選択する風景パターン選択手段と、
    を備え、
    前記確信度算出手段は、前記画素ブロックが属する前記部分領域の特徴を、前記確信度の算出に用いることを特徴とする請求項１〜１４のいずれかに記載の環境認識装置。
16. 前記カラー画像中に示される道路周辺の三次元構造の典型的なパターンを表す道路構造モデルを、前記風景パターンに対応付けて記憶するモデル記憶手段と、
    前記風景パターン選択手段にて選択された風景パターンに対応する道路構造モデルを、前記画素ブロックで構成される画面に投影することによって、各画素ブロックの三次元位置を示した距離マップを生成する距離マップ生成手段と、
    を備え、
    前記確信度算出手段は、前記距離マップから特定される前記画素ブロックの三次元位置の情報を、前記確信度の算出に用いることを特徴とする請求項１５に記載の環境認識装置。
17. 前記風景パターン選択手段にて選択された風景パターンを構成する部分領域毎に、該部分領域に属する色情報の範囲を定義したものを判別条件とし、前記画素ブロックの色情報が該画素ブロックが位置する部分領域について設定された前記判別条件を満たさない場合に、該画素ブロックは前記背景領域とは異なるものとして、前記距離マップを修正する距離マップ修正手段を備えることを特徴とする請求項１６に記載の環境認識装置。
18. 前記オブジェクト判定手段は、前記確信度算出手段にて算出された確信度が最も大きいオブジェクトを、前記画素ブロックに関連づけるべきオブジェクトであると判定することを特徴とする請求項１〜１７のいずれかに記載の環境認識装置。
19. 前記オブジェクト判定手段は、外部から得られたオブジェクトに関する情報に基づいて、前記カラー画像中に存在し得ないことが明らかなオブジェクトを判定対象から除去することを特徴とする請求項１８に記載の環境認識装置。