JP2016126605A - 走行環境認識システム - Google Patents

Abstract

【課題】車両の走行環境を正しく認識することができる走行環境認識システムを提供する。
【解決手段】走行環境認識システムは、各車両の位置と、その位置で各車両の周辺が撮影されることによって得られる画像の画像特徴とが対応づけられた、過去の画像特徴を蓄積するデータベースと、その位置の車両で得られる画像の第１特徴と、過去の画像特徴のうちから取得された第２特徴とを照合することによって、第１特徴の欠損箇所を検出する欠損検出部と、欠損箇所に対応する補完情報を第２特徴を用いて生成する補完情報生成部と、補完情報を用いて第１特徴を補完する補完部と、補完された第１特徴に基づいて車両の走行環境を認識する画像認識部とを備える。
【選択図】図１

Description

本発明は、走行環境認識システムに関する。

本技術分野の背景技術として、特許文献１がある。特許文献１には、路面状態検出装置が記載されている。その路面状態検出装置は、リアカメラと、自車両の走行車線を区分する白線の種別を認識する白線種別認識部と、白線種別記憶部と、白線種別推定部と、白線種別に基づいて車両制御を行う車両制御装置とを備えている。自車両の現在の走行車線を区分する白線種別が画像処理によりリアルタイムで認識され、その認識された白線種別を走行履歴のかたちで白線種別記憶部に記憶させておく。白線種別を認識できないときには、白線種別推定部が白線種別記憶部に記憶されている過去の白線種別を現在の白線の種別として推定し、それに基づいて速度制御が行われる。

特開２０１０−２２１８５９号公報

自車両が現在走行している道路の白線が、かすれや汚れ、あるいは何らかの地物に隠されて認識できないといった理由で、白線種別記憶部に白線種別が記憶されている過去の走行道路の白線と連続していない場合がある。特許文献１に記載の路面状態検出装置では、このような場合において、さらに例えば車線増減があった場合や、自車両の右左折により道路状況が変化した場合等、過去の走行道路とは白線種別が異なる白線を有する道路を自車両が走行している場合においては、白線種別記憶部に記憶されている過去の白線種別から自車両が現在走行している道路の白線種別を正しく推定することは困難である。

本発明の目的は、現在走行している車両の車載カメラで撮影された現在の画像で認識されるべき白線等の路面表示や標識等の地物情報で表される車両の走行環境を、以下のような場合においても正しく認識することができる走行環境認識システムを提供することである。以下のような場合とは、例えば、表示用ペイントのかすれや汚れによって走行環境を認識できない場合、車載カメラのレンズの汚れによって走行環境を認識できない場合、あるいは他の地物に隠されて走行環境を認識できない場合である。

請求項１に記載の走行環境認識システムは、各車両の位置と、その位置で各車両の周辺が撮影されることによって得られる画像の画像特徴とが対応づけられた、過去の画像特徴を蓄積するデータベースと、その位置の車両で得られる画像の第１特徴と、過去の画像特徴のうちから取得された第２特徴とを照合することによって、第１特徴の欠損箇所を検出する欠損検出部と、欠損箇所に対応する補完情報を第２特徴を用いて生成する補完情報生成部と、補完情報を用いて第１特徴を補完する補完部と、補完された第１特徴に基づいて車両の走行環境を認識する画像認識部とを備える。

本発明によれば、車両の走行環境を正しく認識することができる。

本発明の第１の実施形態における走行環境認識システムを含み、車両の走行制御を支援する車両システムの全体構成を示す図である。 車載カメラで撮影された現在画像を、過去画像の画像特徴を用いて補完し、自車両の走行環境を認識する処理の全体処理フローを示す図である。 現在画像に対応する過去画像の画像特徴を検索する処理フローを示す図である。 現在画像の画像特徴に含まれる路面情報の欠損箇所を検出する処理フローを示す図である。 画像特徴の欠損箇所を検出する処理フローを説明するための補足図である。 センタ装置と車載装置とで構成される本発明の第２の実施形態における走行環境認識システムの構成図である。 走行環境認識システムにおける車両の安全な走行制御を支援する処理の処理フローを示す図である。 現在画像に対応する過去画像の画像特徴を、選択された回数が多い順に検索する処理の処理フローを示す図である。 センタ装置と車載装置とで構成される本発明の変形例における走行環境認識システムの構成図である。 経路情報を利用して、現在画像の画像特徴を補完する処理の処理フローを示す図である。 経路情報を利用して、現在画像の画像特徴を補完する処理の処理フローを示す図である。 ＡＤＡＳデータベースに蓄積された過去画像の画像特徴を更新する処理の処理フローを示す図である。 過去画像の画像特徴の代わりに地図データの地物情報を用いて現在画像の画像特徴を補完する処理の処理フローを示す図である。 変形例における走行環境認識システムを適用した自動駐車支援システムの処理フローを示す図である。 道路を走行している車両が向かっている駐車場の位置を表す地図画面の表示例を示す図である。 駐車場の入口及び出口と、駐車場内の複数の駐車領域の配置、空いている駐車領域及び空いていない駐車領域の位置と、空いている駐車領域の数と、駐車場内の順路とを表す駐車場内地図画面の表示例を示す図である。 車載カメラによる現在画像に補完された駐車枠が重畳された表示画面の表示例を示す図である。 車載カメラによる現在画像に補完された駐車枠が重畳された表示画面の表示例を示す図である。

−−−第１の実施形態−−−
本発明の第１の実施形態における走行環境認識システムは、複数の車両から収集された車両位置や車載カメラ（または車載レーダ）で撮影された画像等のセンサデータに基づいて生成されるＡＤＡＳ（先進運転支援システム：Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｔ Ｓｙｓｔｅｍ）データを蓄積するＡＤＡＳデータベースを有する。そのＡＤＡＳデータベースは、カメラ画像から検出した画像特徴（エッジ等）と、車両位置や進行方向等の位置情報とを対応付けた情報を過去の画像特徴情報として記憶する。本実施形態における走行環境認識システムにおいて、自車両の車載カメラで撮影した現在画像における路面情報等走行制御に必要な領域の欠損部分が、過去の画像特徴情報を用いることによって補完され、現在画像から白線等の地物が検出される。

現在画像の画像特徴を補完するための過去画像の画像特徴は、現在画像の撮影位置を表す位置情報を検索条件としてＡＤＡＳデータベースを検索して取得することができる。なお、現在画像の画像特徴には現在画像の撮影位置が対応づけられ、過去画像の画像特徴には過去画像の撮影位置が対応づけられている。現在画像の画像特徴と、過去画像の画像特徴を検索することによって選択された画像特徴との類似性が計算される。計算された類似性が所定値以下のとき、選択された過去の画像特徴に存在し、かつ現在の画像特徴に存在しない画像領域が検出されると、その画像領域の補完情報が過去の画像特徴から生成される。その補完情報を用いて現在画像に欠損している路面表示や道路標識等の走行制御に必要な地物を補完することによって、現在画像から自車両の周辺環境を認識することができる。

本発明の第１の実施形態における走行環境認識システム１を含み、車両４の走行制御を支援する車両システムの全体構成を図１に示す。図１に示す車両システムは、走行環境認識システム１と、車両４に搭載されたカメラ撮影部１１等により車両４の走行状態や走行環境をセンシングする車両状態検出装置２と、走行制御装置３とを含む。これらの装置は、ＣＡＮ（ＶｅｈｉｃｌｅＣｏｎｔｒｏｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の車載ネットワークによって接続され、そのネットワークを介して必要な情報が相互に授受される。

車両状態検出装置２は、車両４の走行状態及び走行環境を捉えるためのセンサとして、少なくとも、車両４に搭載されて路面や車両周辺を撮影するカメラ撮影部１１と、ＧＰＳ等の位置検出部１０とを含む。

走行環境認識システム１は、不図示のＣＰＵが制御プログラムを実行するコンピュータであり、画像読込部２３７と、位置情報読込部２３８と、ＡＤＡＳデータベース２０６と、欠損検出部２０３と、補完情報生成部２０４と、補完部２３２と、画像認識部２３６とを機能的に含む。画像読込部２３７及び位置情報読込部２３８は、車両状態検出装置２で検出された車両４のセンサデータ（ＡＤＡＳデータ）を取得する。位置情報読込部２３８は、位置検出部１０によって検出された車両４の現在位置の情報を読み込む。画像読込部２３７は、カメラ撮影部１１によって得られた画像の情報を読み込んで、読み込んだ画像情報からエッジ等の画像特徴を検出し、検出した画像特徴を位置情報読込部２３８によって読み込まれた位置情報に対応づけて過去の画像特徴情報としてＡＤＡＳデータベース２０６に蓄積させる。欠損検出部２０３は、ＡＤＡＳデータベース２０６に蓄積された過去の画像特徴から選択した画像特徴と、自車両の車載カメラで撮影されて得られた現在画像の画像特徴とを照合し、現在画像で検出されない白線等に対応する画像特徴の欠損箇所を検出する。補完情報生成部２０４は、欠損検出部７によって検出された欠損箇所に対応する補完情報を、過去の画像特徴から選択された画像特徴を用いて生成する。補完部２３２は、補完情報を用いて現在画像の画像特徴を補完する。画像認識部２３６は、補完部２３２によって補完された現在画像の画像特徴に基づいて車両４の走行環境を認識する。

走行制御装置３は、走行環境認識システム１で認識された白線等の路面情報や道路標識等の地物に基づいて、車両４の走行車線や進行方向のカーブ等の道路領域を把握し、方向指示器の操作等によるドライバの指示が無い状態での車線逸脱を検出してドライバに警告したり、ステアリング制御を行うことにより車線を維持するといった走行制御を行う。

図２は、本実施形態における走行環境認識システム１において、車両４の車載カメラで撮影された現在画像を、ＡＤＡＳデータベース２０６に蓄積した過去画像の画像特徴を用いて補完し、車両４の走行環境を認識する処理の全体処理フローを示す。

走行環境認識システム１の位置情報読込部２３８は、車両４に搭載されたＧＰＳ等の位置検出部１０が検出した自車両の位置や時刻、進行方向等のセンサ情報を読み込む（ステップＳ３０１）。画像読込部２３７は、車載カメラで撮影された自車両周辺画像（画像Ａ）を読み込む（ステップＳ３０２）。画像読込部２３７は、画像Ａの画像処理を実行し、エッジ等の画像特徴を検出し、路面情報等の走行環境の認識処理を実行する（ステップＳ３０３）。画像Ａの画像特徴のことを、以下の説明では画像特徴Ａともいう。画像読込部２３７は、走行制御に必要な白線等の路面表示や道路標識、道路領域等の自車両周辺情報を取得できた場合、すなわち画像特徴Ａが欠損していない場合は（ステップＳ３０４でｎｏ）、画像特徴Ａを位置情報に対応付けてＡＤＡＳデータベース２０６に保存する（ステップＳ３１０）。

画像特徴Ａから、走行制御に必要な路面情報等の周囲環境が、画像読込部２３７によって検出されなかった場合、すなわち画像特徴Ａが欠損している場合（ステップＳ３０４でｙｅｓ）、欠損検出部２０３は、画像Ａの位置情報を条件にＡＤＡＳデータベース２０６を検索し、画像Ａが撮影された位置の近くで撮影され、画像Ａの画像特徴に類似する画像Ｂの画像特徴を取得する（ステップＳ３０５）。画像Ｂの画像特徴のことを、以下の説明では画像特徴Ｂともいう。欠損検出部２０３は、画像特徴Ａと画像特徴Ｂとを照合し、画像Ｂにのみ存在する白線等の路面情報や道路標識等の画像上の位置を、画像特徴Ａの欠損箇所として検出する（ステップＳ３０６）。補完情報生成部２０４は、画像特徴Ａの欠損箇所に対応する路面情報（あるいは画像領域）を、画像特徴Ｂを用いて、補完情報として生成する（ステップＳ３０７）。補完部２３２は、画像特徴Ｂを用いて生成した補完情報で画像特徴Ａを補完する（ステップＳ３０８）。画像認識部２３６は、補完された画像特徴Ａに基づいて自車両４が走行している道路の路面情報を認識し、走行車線や停止位置、進行可能な領域を認識する（ステップＳ３０９）。ステップＳ３０９またはＳ３１０が完了すると、本処理は終了する。

図３は、図２のステップＳ３０５の、より詳細な処理フローを示す図である。本実施形態における走行環境認識システム１の欠損検出部２０３は、画像読込部２３７が路面情報を認識できなかった画像Ａに対応する画像Ｂの画像特徴を、ＡＤＡＳデータベース２０６に蓄積された過去の画像特徴の中から取得する。

欠損検出部２０３は、まず自車両４の位置情報から、画像特徴Ａの照合候補となる画像特徴をＡＤＡＳデータベース２０６に蓄積された過去の画像特徴の中から検索する（ステップＳ４０１）。このとき、位置情報に含まれる測定誤差を考慮し、画像Ａが撮影された車両位置から所定範囲を検索条件とする。さらに、車両状態検出装置２から位置情報以外に、車両の進行方向や車載カメラの撮影方向が得られれば、それらを検索条件として候補画像を絞り込んでもよい。車両の進行方向については、位置情報から生成される方向ベクトルを用いて特定することも可能であり、走行環境認識システム１が図１に示すように地図データベース２４０を更に有していれば、車両位置が存在する地図情報（道路の進行方向等）を参考にして特定することも考えられる。次に、欠損検出部２０３は、ステップＳ３０３で検出された画像特徴Ａを参照する（ステップＳ４０２）。ここでは、画像特徴Ａとして、画像４１０に示すように、画像Ａの輝度の不連続部分を抽出したエッジ情報を用いる。

次に、欠損検出部２０３は、ステップＳ４０１で検索した照合候補となる過去の画像特徴として例えば画像４２０、４２１及び４２２を読み込み（ステップＳ４０３）、画像特徴Ａと照合候補となる過去の画像特徴との類似度を計算する（ステップＳ４０４）。欠損検出部２０３は、照合候補となる過去の画像特徴全てについて、画像特徴Ａとの類似度を計算し、過去の画像特徴の中で例えば最も画像特徴Ａに近い画像、すなわち画像特徴Ａに対して最も類似度の高い画像特徴Ｂとして例えば画像４２０を選択・取得する（ステップＳ４０５）。

本実施形態では、類似度の計算について、画像特徴Ａを部分的に抽出し、抽出した部分をテンプレート画像として、そのテンプレート画像と画像特徴Ｂの部分画像との照合処理を繰り返して類似度を計算する方法を用いる。テンプレート画像との類似性を評価する一般的な方法として、例えば、式（１）で示される正規化相関がある。テンプレート画像の輝度をＴ（ｉ，ｊ）、部分画像の輝度をＩ（ｉ，ｊ）とする。ｉは画像の高さ方向の画素位置で０≦ｉ＜Ｎ、ｊは幅方向の画素数で０≦ｊ＜Ｍをとる。このとき、テンプレート画像に対する画像特徴Ｂの部分画像の正規化相関Ｒは、以下の式（１）で計算される。正規化相関Ｒは、−１≦Ｒ≦１の値をとり、値が大きいほど（Ｒが１に近づくほど）類似性が高いことを意味するとともに、値が小さいほど（Ｒが−１に近づくほど）類似性が低いことを意味し、類似度として用いられる。

式（１）は、テンプレート画像を画素単位でずらして画像特徴Ｂと照合し、かつ、画像特徴Ａから複数のテンプレート画像を抽出して照合精度を高めようとすると計算量が増える。そのため、車載カメラ２２で撮影された画像が、路面上の白線等を検出する目的で撮影されたものであるという趣旨に沿って、画像内における道路エッジの消失位置や、車両位置から想定される道路領域を画像内に予め定めておくこととしてもよい。このようにすることによって、画像特徴Ｂ内の照合対象領域が限定されて計算量を減らすことができるため、照合時間を短縮することができる。

図４は、図２のステップＳ３０６についてのより詳細な処理フローを示す図である。本実施形態における走行環境認識システム１の欠損検出部２０３は、画像読込部２３７が路面情報を認識できなかった画像Ａの画像特徴に含まれる路面情報の欠損箇所を検出する。図５は、図４の処理フローを補足説明するための補足図である。

欠損検出部２０３は、ステップＳ３０５の画像検索処理において画像特徴Ａに最も類似する画像特徴Ｂを取得したとき、画像特徴Ｂを教師データとして、画像特徴Ａにおいて白線等の路面表示が欠損している箇所（領域）を特定する。欠損箇所の検出においては、画像特徴Ａ及び画像特徴Ｂの撮影位置（車載カメラの位置）及び撮影方向が一致しており、画像特徴Ａ及び画像特徴Ｂの双方において、白線等の路面表示の位置が同様であるのが好ましいが、異なる車両においては、その車種や車高等により、車載カメラの設置位置や撮影方向が一致しているとは限らない。そこで、画像特徴Ａと画像特徴Ｂとの照合対象領域を設定（ステップＳ５０１）して撮影風景の位置ずれを補正してから、双方の画像に共通する風景、すなわち相関の高い領域を対象に欠損部分を検出する。

ステップＳ５０１における位置ずれの検出は、例えばステップＳ３０５で用いた式（１）で表される正規化相関処理により可能である。欠損検出部２０３は、画像特徴Ａから選択したテンプレート画像と、画像特徴Ｂの部分画像との照合を繰り返して、類似度Ｒが第１所定値以上となる部分画像を画像特徴Ｂから抽出する。このようにして、欠損検出部２０３は、互いの類似度が第１所定値以上のテンプレート画像と部分画像とからなる一対の領域を、画像特徴Ａ及び画像特徴Ｂからそれぞれ検出する。テンプレート画像との類似度Ｒが第１所定値以上となる部分画像が画像特徴Ｂから見つからなかった場合は、他のテンプレート画像を画像特徴Ａの中から選択し直して、画像特徴Ｂとの照合処理を繰り返す。テンプレート画像と部分画像とからなる一対の領域が検出されると、すなわちテンプレート画像との類似度Ｒが第１所定値以上となる部分画像が画像特徴Ｂから検出されると、欠損検出部２０３は、検出した部分画像の画像特徴Ｂにおける位置と、画像特徴Ａにおけるテンプレート画像の位置との差から、画像特徴Ａと画像特徴Ｂとの位置ずれを計算する。ここでは、画像特徴Ａからテンプレート画像を生成し、画像特徴Ｂと照合する方法を示したが、画像特徴Ｂからテンプレート画像を生成して画像特徴Ａと照合しても同様である。

ステップＳ５０１では、例えば図５に示すように、画像特徴Ａに対応する画像４１０と画像特徴Ｂに対応する画像４２０とに共通する風景が存在する一対の領域６１１及び６２１が得られる。欠損検出部２０３は、一対の領域６１１及び６２１を、それぞれ互いに対応する単位領域６１２、６１３、６１４、６１５、・・・及び単位領域６２２、６２３、６２４、６２５・・・に分割する。欠損検出部２０３は、画像特徴Ａ及び画像特徴Ｂに含まれる一対の領域６１１及び６２１中の対応する位置に存在する一対の単位領域の画像データを読込み（ステップＳ５０２）、正規化相関処理により一対の単位領域の互いの類似度Ｒを計算する（ステップＳ５０３）。類似度Ｒが第２所定値以下の場合（ステップＳ５０４でｙｅｓ）、欠損検出部２０３は、その一対の単位領域のうちの画像特徴Ａに含まれる単位領域を画像特徴Ａの欠損箇所として検出し、当該単位領域を記憶部２１５に一時的に蓄積していく（ステップＳ５０５）。図５の例では、一対の単位領域６１２及び６２２、一対の単位領域６１３及び６２３、一対の単位領域６１４及び６２４、一対の単位領域６１５及び６２５、・・・、といった各組合せにおける一対の単位領域相互の照合で、車線エッジが抽出されていない単位領域６１４及び６１５が、ステップＳ５０４の判定で、類似度Ｒの低い領域、すなわち画像特徴Ａの欠損箇所として検出され、記憶部２１５に蓄積される。欠損検出部２０３は、一対の領域６１１及び６２１に含まれる例えば全ての対の単位領域について、ステップＳ５０２〜Ｓ５０５の処理を繰り返した後、本処理を終了する。

第１の実施形態における走行環境認識システム１は、以下の作用効果を奏する。
（１）走行環境認識システム１は、ＡＤＡＳデータベース２０６と、欠損検出部２０３と、補完情報生成部２０４と、補完部２３２と、画像認識部２３６とを含む。ＡＤＡＳデータベース２０６は、各車両の位置と、各車両の位置で各車両の周辺が撮影されることによって得られる画像の画像特徴とが対応づけられた、過去の画像特徴を蓄積する。欠損検出部２０３は、ＡＤＡＳデータベース２０６に蓄積されている画像特徴を有する画像が過去に撮影された位置の自車両４で得られる画像の画像特徴Ａと、ＡＤＡＳデータベース２０６に蓄積されている過去の画像特徴のうちから取得された画像特徴Ｂとを照合することによって、画像特徴Ａの欠損箇所を検出する。補完情報生成部２０４は、画像特徴Ａの欠損箇所に対応する補完情報を画像特徴Ｂを用いて生成する。補完部２３２は、その補完情報を用いて画像特徴Ａを補完する。画像認識部２３６は、補完された画像特徴Ａに基づいて、自車両４の走行環境、すなわち、自車両４が走行している道路の路面情報、例えば走行車線及び停止位置を認識するとともに、走行可能な領域を認識する。したがって、車両の走行環境を正しく認識することができる。

本実施形態における走行環境認識システム１では、車載カメラで撮影された映像において、各画像の不明瞭な部分、すなわち路面表示や道路標識等の車両走行に必要な情報が欠損している部分を、ＡＤＡＳデータベースに蓄積されている車両位置に関連付けた過去の画像特徴を用いて補完する。そのため、現在画像と蓄積画像との間に、撮影時間や天候等の違いがあっても、現在画像に欠損している路面表示や道路標識等の走行制御に必要な情報が補完される。白線のかすれやカメラレンズの汚れ等で不鮮明な画像でも、路面表示等の走行環境が認識できるようになる。したがって、車両に走行車線を維持させたり、停止線を認識して車両を停止させたり、白線逸脱をドライバに警報する等の走行制御が有効に作動する道路（エリア）が拡大する。

さらに、過去画像の画像特徴から、路面表示や道路標識等の欠損部分を補完する情報を生成することで、その補完情報を用いた現在画像の補正処理は、走行制御に必要な画像領域で限定されるので従来手法よりも処理負荷が軽減される。

（２）欠損検出部２０３は、画像特徴Ａと画像特徴Ｂとを照合し、画像特徴Ａと画像特徴Ｂのそれぞれから互いの類似度が第１所定値以上となる一対の領域６１１及び６２１を検出する。欠損検出部２０３は、一対の領域６１１及び６２１に含まれる互いに対応する一対の単位領域６１２及び６２２、一対の単位領域６１３及び６２３、一対の単位領域６１４及び６２４、一対の単位領域６１５及び６２５、・・・といった複数対の単位領域のうちから、互いの類似度が第２所定値以下となる一対の単位領域６１４及び６２４ならびに一対の単位領域６１５及び６２５のうちの画像特徴Ａに含まれる単位領域６１４及び６１５を検出することによって、単位領域６１４及び６１５を欠損箇所として検出する。したがって、現在画像と蓄積画像との間に撮影位置による輝度や画面上の位置等の違いがあっても、現在画像に欠損している路面表示や道路標識等の走行制御に必要な情報が補完されるため、より有効に走行制御を行うことができる。

（３）欠損検出部２０３は、画像特徴Ａと照合する画像特徴Ｂとして、過去の画像特徴の中から、第１特徴との類似度が所定値以上となる画像特徴Ｂ、例えば最も類似度の高い画像特徴Ｂを取得する。したがって、画像特徴Ａの欠損箇所を、より正しく検出することができる。

−−−第２の実施形態−−−
図６は、センタ装置２０と車載装置２１とで構成される本発明の第２の実施形態における走行環境認識システム１の構成図である。センタ装置２０において、車両４の車載カメラ２２で撮影された現在画像の画像特徴Ａの欠損箇所を補完する補完情報が生成され、車載装置２１に送信される。車載装置２１で補完情報が受信されると、その補完情報を用いて現在画像の画像特徴Ａの欠損箇所が補完され、補完された現在画像の画像特徴Ａに基づいて車両４の走行環境を認識することができる。

図６において、本実施形態におけるセンタ装置２０は、通信ネットワーク２４に接続され、基地局２３を介して、車載装置２１に無線接続される。車載装置２１は、表示部２１０、通信部２１１、本体部２１２、操作部２１３、ＧＰＳ受信部２１４、記憶部２１５、映像入力部２１６等を含んで構成される。車載装置２１は、不図示の端末ＣＰＵにより制御プログラムが実行される本体部２１２を中心としたコンピュータである。表示部２１０はＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等によって構成される。通信部２１１は、基地局２３及び通信ネットワーク２４を介し、無線通信によるデータ通信によりセンタ装置２０に接続される。ＧＰＳ受信部２１４は、不図示のＧＰＳ衛星からの電波を受信して、車載装置２１及びそれが搭載された車両４の現在位置や現在時刻を検出する。記憶部２１５はメモリカード等によって構成され、ＧＰＳ受信部２１４で得られた車両４の位置情報が記憶部２１５に記憶される。

本体部２１２は、通信インターフェース部２３０、情報受信部２３１、補完部２３２、経路計算部２３３、情報送信部２３４、入出力部２３５、画像認識部２３６、画像読込部２３７、位置情報読込部２３８等を含む。これら本体部２１２の各部は、本体部２１２が有する不図示の端末ＣＰＵがプログラムメモリ（図示していない）に格納されている所定の制御プログラムを実行することによって機能的に実現される。

通信インターフェース部２３０は、携帯電話網や無線ＬＡＮ等による無線通信を行う通信部２１１に対する通信制御を行うとともに、基地局２３及び通信ネットワーク２４を介してセンタ装置２０との間でデータの送受信を行う。入出力部２３５は、操作部２１３のスイッチやボタン、音声、タッチパネル等からの入力情報を、センタ装置２０への情報要求や情報提供等で送受信される種々の情報に変換して本体部２１２に入力するとともに、表示部２１０及び／または操作部２１３に表示情報や音声情報を出力する。

位置情報読込部２３８は、ＧＰＳ受信部２１４から受信した、車両１０の緯度・経度や高度（位置情報）、時刻情報等の位置情報を、センタ装置２０に提供する車両位置データ（ＡＤＡＳデータの一つ）として記憶部２１５に記憶させる。図示しないが、さらに車両４がジャイロや加速度センサ等の位置検出センサを有し、ジャイロや加速度センサ等の位置検出センサのセンサデータが、携帯端末の姿勢検出やＧＰＳ情報の補正に使用されることもある。

画像読込部２３７は、車載カメラ２２で撮影され、映像入力部２１６により入力された画像データを、センタ装置２０に提供されるＡＤＡＳデータとして、記憶部２１５に記憶させる。車載カメラ２２は、車両４に取り付けられる。車載カメラ２２で撮影された路面や車両周辺の地物映像が、映像入力部２１６を介して画像読込部２３７により本体２１２内部に取り込まれる。

情報送信部２３４は、入出力部２３５を介してユーザにより入力されたユーザ要求の他、ユーザから情報が要求されたとき、あるいは予め設定された時間に、位置情報読込部２１４によって読み込まれた車両位置や進行方向、画像読込部２３７によって読み込まれた車載カメラ２２の撮影画像の画像特徴Ａ等のＡＤＡＳデータを、センタ装置２０に通信インターフェース部２３０及び通信部２１１を介して送信する。この送信されるＡＤＡＳデータにおいては、画像特徴Ａが車両４の位置情報に対応づけられている。

情報受信部２３１は、情報送信部２３４から送信されたユーザ要求に対応する情報や、車載カメラ２２で撮影された現在画像の画像特徴Ａの欠損箇所を補完する補完情報等の様々な情報を、センタ装置２０から通信部２１１及び通信インターフェース部２３０を介して受信し、記憶部２１５に記憶させる。

補完部２３２は、情報受信部２３１によって受信され、かつ記憶部２１５によって記憶された補完情報を読み込み、現在画像の画像特徴Ａの欠損部分を補完する。例えば、車載カメラ２２で撮影された画像の画像特徴Ａから、白線のかすれ等で白線位置が認識できない欠損箇所に対応する補完情報を、補完部２３２が記憶部２１５から読み込んで、その補完情報を用いて画像特徴Ａを補完する。

画像認識部２３６は、画像読込部２３７から読み込んだ車載カメラ２２で撮影された 画像データの画像特徴Ａを取得する。画像認識部２３６は、補完部２３２による画像特徴Ａの補完が行われた場合は、補完部２３２によって補完された画像特徴Ａを取得する。画像認識部２３６は、画像特徴Ａから、道路縁、白線や停止線等の路面情報を検出して、車両４が走行している車線や路面上の位置、カーブ等の前方の道路状況、すなわち車両４の走行環境を認識する。画像認識部２３６は、走行環境の認識結果を、車両４の走行制御を行う走行制御装置に提供する。

センタ装置２０は、図示していないが、センタＣＰＵと、半導体やハードディスク装置からなる記憶装置とを含むコンピュータ（情報処理装置）によって構成される。そのセンタ装置２０は、図６に示すように、通信インターフェース部２０１、情報取得部２０２、欠損検出部２０３、補完情報生成部２０４、情報提供部２０５、ＡＤＡＳデータベース２０６、地図データベース２０７、通信部２０８等を含む。

通信インターフェース部２０１、情報取得部２０２、欠損検出部２０３、補完情報生成部２０４、情報提供部２０５、画像特徴検出部２０８は、不図示のセンタＣＰＵが不図示のプログラムメモリに格納された所定のプログラムを実行することで機能的に実現される。また、ＡＤＡＳデータベース２０６や地図データベース２０７はハードディスク等の記憶装置内に構成される。

通信インターフェース部２０１は、通信部２０８を介して通信ネットワーク２４における通信制御を行うとともに、通信ネットワーク２４を介して車載装置２１とデータの送受信を行う。

情報取得部２０２は、複数の車両の各々に搭載される車載装置２１から、車両位置（位置情報読込部２３８で得られた車両位置や進行方向）や車載カメラ２２で撮影された現在画像（画像特徴Ａ）を含むＡＤＡＳデータを、通信部２０８及び通信インターフェース部２０１を介して取得し、ＡＤＡＳデータベース２０６に蓄積する。

欠損検出部２０３は、車両４からのＡＤＡＳデータとして情報取得部２０２により取得された画像特徴Ａの欠損箇所を検出する。欠損検出部２０３は、画像特徴Ａに対応する現在画像が撮影された位置及び方向と同様の位置及び方向から撮影された画像Ｂを、ＡＤＡＳデータベース２０６に蓄積されている過去の画像特徴から取得する。欠損検出部２０３は、取得した画像特徴Ｂを画像特徴Ａと比較することで、白線のかすれ等の路面情報が認識できない領域を画像特徴Ａの欠損箇所として検出する。

補完情報生成部２０４は、欠損検出部２０３が検出した画像特徴Ａの欠損箇所に対応する情報を、欠損検出部２０３が取得した画像特徴Ｂを用いて生成する。情報提供部２０５は、補完情報生成部２０４で生成した補完情報を車載装置２１に提供する。

図７は、本実施形態における走行環境認識システム１における車両の安全な走行制御を支援する処理の処理フローを示す。走行環境認識システム１は、図２に示すように、センタ装置２０と車載装置２１とを含む。センタ装置２０は、車載カメラ２２で撮影した画像の画像特徴Ａを含むＡＤＡＳデータを車載装置２１から取得し、画像特徴Ａから得られなかった白線情報等の欠損箇所を補完する補完情報を生成して車載装置２１に提供する。そして、車載装置２１は、提供された補完情報で画像特徴Ａを補完して自車両４と白線や道路縁等との位置関係を認識し、その位置関係を、自車両４の走行制御に用いるために走行制御装置へ出力する。以下、フローに従って本処理の詳細を説明する。

車載装置２１の位置情報読込部２３８は、図２のステップＳ３０１と同様に、ＧＰＳ受信部２１４から入力された自車両４の位置や時刻、進行方向等のセンサデータを読み込む。画像読込部２３７は、図２のステップＳ３０２と同様に、自車両４の車載カメラ２２で撮影された自車両周辺の画像Ａを読み込む。画像読込部２３７は、画像Ａの画像処理を実行し、エッジ等の画像特徴Ａを検出する。画像読込部２３７によって検出された画像特徴Ａに自車両４の位置等のセンサデータを対応づけて、情報送信部２３４が通信インターフェース部２３０及び通信部２１１を介して画像特徴Ａをセンタ装置２０に送信する（ステップＳ７１１）。ステップＳ７１１においては、画像読込部２３７が画像特徴Ａにおける白線等の路面情報や、道路縁、道路標識等の地物情報の検出処理を実行し、その結果、画像特徴Ａから路面情報が検出されなかった場合に限り、画像読込部２３７が、画像特徴Ａには欠損があると判断して、センサデータを対応づけた画像特徴Ａをセンタ装置２０に送信してもよい。車載装置２１とセンタ装置２０との間の通信は、自車両４が走行する時間や場所によってその費用や速度が変動することもある。そこで、センサデータを対応づけた画像特徴Ａの送信（ステップＳ７１１）については、通信の利用環境に応じて、予め設定した時間間隔での常時送信とするか、走行制御に必要な情報が画像特徴Ａから検出できなかったときに限定するか、入出力部２３５を介してユーザが設定できるようにする。

センタ装置２０においては、情報取得部２０２が、通信部２０８及び通信インターフェース部２０１を介して車載装置２１から、自車両４のセンサデータと対応づけられた画像特徴Ａを受信する（ステップＳ７０１）。欠損検出部２０３は、図２のステップＳ３０３と同様に、画像特徴Ａから路面情報等の走行環境の認識処理を実行する。欠損検出部２０３は、図２のステップＳ３０４でｎｏの場合と同様に、走行制御に必要な白線等の路面表示や道路標識、道路領域等の自車両周辺情報を取得できた場合、すなわち画像特徴Ａが欠損していない場合は、図２のステップＳ３１０と同様に、画像特徴Ａを位置情報に対応付けてＡＤＡＳデータベース２０６に保存する。

図２のステップＳ３０４でｙｅｓの場合と同様に、画像特徴Ａから、走行制御に必要な路面情報等の周囲環境が、情報取得部２０２によって検出されなかった場合、すなわち画像特徴Ａが欠損している場合、欠損検出部２０３は、図２のステップＳ３０５と同様に、画像Ａの位置情報を条件にＡＤＡＳデータベース２０６を検索し、画像Ａが撮影された位置の近くで撮影され、画像Ａの画像特徴Ａに類似する画像Ｂの画像特徴Ｂを取得する。欠損検出部２０３は、図２のステップＳ３０６と同様に、画像特徴Ａと画像特徴Ｂとを照合し、画像Ｂにのみ存在する白線等の路面情報や道路標識等の画像上の位置を、画像特徴Ａの欠損箇所として検出する。補完情報生成部２０４は、図２のステップＳ３０７と同様に、画像特徴Ａの欠損箇所に対応する路面情報（あるいは画像領域）を、画像特徴Ｂを用いて、画像特徴Ａの補完情報として生成する。画像特徴Ａの補完情報を情報提供部２０５が通信インターフェース部２０１及び通信部２０８を介して車載装置２１に送信する（ステップＳ７０２）。

車載装置２１では、画像特徴Ａの補完情報を情報受信部２３１が通信部２１１及び通信インターフェース部２３０を介して受信し（ステップＳ７１２）、補完部２３２が、図２のステップＳ３０８と同様に、情報受信部２３１が受信した補完情報を用いて画像特徴Ａの欠損箇所を補完する。補完された画像特徴Ａは画像認識部２３６に入力される。画像認識部２３６は、図２のステップＳ３０９と同様に、補完された画像特徴Ａに基づいて、自車両４が走行している道路の白線や道路縁等の位置と自車両４との位置関係から走行可能な領域を認識する。画像認識部２３６は、認識結果を走行制御装置３に出力し（ステップＳ７１３）、本処理は終了する。

第２の実施形態における走行環境認識システム１は、センタ装置２０と、車両４に搭載される車載装置２１とを含む。センタ装置２０は、ＡＤＡＳデータベース２０６と、欠損検出部２０３と、補完情報生成部２０４と、通信インターフェース部２０１と、通信部２０８とを有する。車載装置２１は、通信部２１０と、通信インターフェース部２３０と、補完部２３２と、画像認識部２３６とを含む。

ＡＤＡＳデータベース２０６は、各車両の位置と、各車両の位置で各車両の周辺が撮影されることによって得られる画像の画像特徴とが対応づけられた、過去の画像特徴を蓄積する。欠損検出部２０３は、ＡＤＡＳデータベース２０６に蓄積されている画像特徴を有する画像が過去に撮影された位置の自車両４で得られる画像の画像特徴Ａと、ＡＤＡＳデータベース２０６に蓄積されている過去の画像特徴のうちから取得された画像特徴Ｂとを照合することによって、画像特徴Ａの欠損箇所を検出する。補完情報生成部２０４は、画像特徴Ａの欠損箇所に対応する補完情報を画像特徴Ｂを用いて生成する。通信インターフェース部２０１は、通信部２０８を介して、画像特徴Ａを画像特徴Ａに対応する画像Ａが撮影された位置とともに車載装置２１から受信し、かつ補完情報を車載装置２１へ送信する。

通信インターフェース部２１２は、通信部２１１を介して、画像特徴Ａを画像特徴Ａに対応する画像Ａが撮影された位置とともにセンタ装置２０へ送信し、かつ補完情報をセンタ装置２０から受信する。補完部２３２は、その補完情報を用いて画像特徴Ａを補完する。画像認識部２３６は、補完された画像特徴Ａに基づいて、自車両４の走行環境、すなわち、自車両４が走行している道路の路面情報、例えば走行車線及び停止位置を認識するとともに、走行可能な領域を認識する。したがって、車両の走行環境を正しく認識することができる。また、センタ装置２０から車載装置２１へ、画像全体が送信されるのではなく、画像の画像特徴全体が送信されるのでもなく、走行制御に必要最小限の補完情報のみが送信されるので、通信負荷が軽減される。そのため、センタ装置２０は、より短時間で走行制御に必要な情報を車載装置２１に提供できるようになる。

−−−変形例−−−
（１）上述した第１及び第２の実施形態における走行環境認識システム１では、車載カメラ２２で撮影した画像Ａの画像特徴Ａの欠損箇所が検出され、過去の画像特徴のうちの画像特徴Ｂを用いて補完される。画像Ａの撮影位置の近傍の位置に対応する過去の画像特徴が複数存在するとき、補完情報生成用画像特徴Ｂとして過去に要求された回数（頻度）を、画像Ａの撮影位置、すなわち画像特徴Ａに対応づけられた車両４の位置に対応づけて集計してもよい。その後、新たに画像特徴Ａが取得されたとき、その画像特徴Ａに対応づけられた車両４の位置に対応づけられた過去の画像特徴のうち、要求回数（要求頻度）が他の画像特徴に比較して多い画像特徴Ｂを優先的に検索して取得するようにしてもよい。ＡＤＡＳデータベース２０６に蓄積された過去の画像特徴を、補完情報生成用に要求された回数（頻度）に応じて検索するための検索データ領域を設定することによって、ＡＤＡＳデータベース２０６の検索時間を軽減することが可能である。

第２の実施形態における走行環境認識システム１に本変形例を適用する場合であれば、センタ装置２０において、撮影地点に対する補完情報の要求回数を集計し、要求回数（要求頻度）が他の撮影地点に比較して多い地点を抽出し、経路上で撮影された画像の中で、補完頻度の高い地点の画像特徴を優先して車載装置２１に提供することができる。したがって、必要最小限の補完情報が車載装置２１に提供され、通信負荷が軽減される。

図２または図７のステップＳ３０４において画像読込部２３７によって画像特徴Ａが欠損していると判断されたときに限って、画像特徴Ａの欠損箇所の検出及び画像特徴Ａの補完が行われることとした場合は、例えば路面の白線等がかすれている位置が対応づけられた画像特徴Ａの補完情報の要求回数（要求頻度）が多くなる。換言すると、補完情報の要求回数（要求頻度）の多い位置では白線等が擦れており、その位置に対応づけられた画像特徴Ａには常に補完情報が必要と考えられる。そのため、補完情報の要求頻度の高い道路区間の道路ＩＤを、地図データベース２０７または２０７Ｘを参照すれば特定可能なので、その特定可能な道路ＩＤを道路補修の対象区間として、外部の道路管理センタ（図示しない）に提供できるように走行環境認識システム１を構成することも考えられる。

図２のステップＳ３０５における処理の詳細を示した図３の代わりに、図８に示すように、欠損検出部２０３は、ステップＳ４１１において、自車両４の位置情報を検索条件として、画像特徴Ａとの照合候補を、過去の画像特徴の中から、画像特徴Ｂとして選択（取得）された回数が多い順に検索する。なお、ＡＤＡＳデータベース２０６は、過去の画像特徴の各々と、各々の画像特徴が画像特徴Ｂとして取得された回数とを対応づけて蓄積しているものとする。その後、図３に示したステップＳ４０２〜Ｓ４０５の処理が行われ、最後にステップＳ４１２で、欠損検出部２０３は、画像特徴Ｂとして選択（取得）された回数をカウントアップする。

（２）上述した第２の実施形態における走行環境認識システム１では、センタ装置２０から取得された補完情報により画像特徴Ａを補完して自車両４の周辺環境が認識される。通信状況に起因する処理の遅延により、車両４の移動に伴って車載カメラ２２で撮影した画像を時々刻々と認識して周囲環境を認識できないことも考えられる。そのような場合は、センタ装置２０が、車載装置２１の経路計算部２３３（図６参照）からの経路情報を利用し、車載カメラ２２で撮影された画像の補完に必要な画像特徴を予め車載装置２１に提供し、車載装置２１側で補完情報生成処理が行われるようにしてもよい。

経路計算部２３３は、位置情報読込部２３８から得られた車両位置から、ユーザにより操作部２１３及び入出力部２３５を介して入力された目的地までの経路を、記憶部２１５によって記憶される地図データ２０７Ｙを用いて計算する。経路情報は入出力部２３５により表示部２１０を介してユーザに提供されるとともに、経路計算部２３３による目的地までの経路案内に用いられる。さらに、経路情報は、ＡＤＡＳデータとともに情報送信部２３４によってセンタ装置２０へ送信され、車載カメラ２２で撮影された現在画像の画像特徴Ａの補完情報生成、または走行予定経路での過去の画像特徴の位置ずれを補正するために用いられる。

図９は、センタ装置２０と車載装置２１とで構成される本変形例における走行環境認識システム１の構成図である。本変形例に対応する図９と第２の実施形態に対応する図６とを比較すると、主に、欠損検出部２０３及び補完情報生成部２０４が、センタ装置２０から車載装置２１の本体部２１２に移った点が異なる。

図１０は、図９に示す走行環境認識システム１において、車載装置２１で計算された経路情報を利用して、車載カメラ２２で撮影された画像の画像特徴Ａを補完し、自車両４の周囲環境を認識する処理フローを示す。

車載装置２１の経路計算部２３３は、位置情報読込部２３８によって読み込まれた自車両４の現在地から入出力部２３５を介してユーザが入力した目的地までの走行経路を、地図データベース２０７Ｙを参照して計算し、経路情報を、情報送信部２３４が通信インターフェース部２３０及び通信部２１１を介してセンタ装置２０に送信する（ステップＳ８１１）。

センタ装置２０の情報取得部２０２は、通信部２０８及び通信インターフェース部２０１を介して経路情報を受信すると（ステップＳ８０１）、その経路情報から、経路上の撮影位置及び撮影方向を取得し、取得した撮影位置及び撮影方向を条件として、条件に該当する画像の画像特徴をＡＤＡＳデータベース２０６で検索する。こうした検索を行うことによって、情報取得部２０２は、経路上の各位置で撮影された画像の画像特徴Ｂを、ＡＤＡＳデータベース２０６に蓄積された過去の画像特徴の中から取得する（ステップＳ８０２）。情報取得部２０２によって取得された、経路上の各位置での画像特徴Ｂを、経路を通過する順番で、情報提供部２０５が通信インターフェース部２０１及び通信部２０８を介して、車載装置２１に送信する（ステップＳ８０３）。

車載装置２１の情報受信部２３１は、センタ装置２０から経路上の各位置での画像特徴Ｂを、通信部２１１及び通信インタフェース部２３０を介して受信すると、受信したデータを記憶部２１５にいったん記憶させる（ステップＳ８１２）。経路計算部２３３が、当該経路情報に基づいて車両４の経路誘導を開始すると（ステップＳＳ８１３でｙｅｓ）、図２のステップＳ３０１及びＳ３０２と同様に、画像読込部２３７が車載カメラ２２で撮影された画像を読み込むとともに、位置情報読込部２３８がＧＰＳ等のセンサデータを読み込む。画像読込部２３７は、読み込んだ画像の画像特徴Ａを検出し、白線等の走行に必要な情報（走行環境）を認識できたか否かを判定する（ステップＳ８１４）。走行環境を認識できない場合、すなわち画像特徴Ａが欠損している場合、画像読込部２３７は、画像特徴Ａを記憶部２１５に記憶させる。

欠損検出部２０３は、画像特徴Ａと、画像特徴Ａが検出された画像が撮影された車両位置（位置情報読込部２３８から取得可能）とに基づき、画像特徴Ａに対応する画像特徴Ｂを、記憶部２１５から取得する（ステップＳ８１５）。欠損検出部２０３は、図２のステップＳ３０６と同様に、画像特徴Ａと画像特徴Ｂとを照合し、画像Ｂにのみ存在する白線等の路面情報や道路標識等の画像上の位置を、画像特徴Ａの欠損箇所として検出する。補完情報生成部２０４は、図２のステップＳ３０７と同様に、画像特徴Ａの欠損箇所に対応する路面情報（あるいは画像領域）を、画像特徴Ｂを用いて、画像特徴Ａの補完情報として生成する。補完部２３２が、図２のステップＳ３０８と同様に、補完情報生成部２０４が生成した補完情報を用いて画像特徴Ａの欠損箇所を補完する。補完された画像特徴Ａは画像認識部２３６に入力される。画像認識部２３６は、図２のステップＳ３０９と同様に、補完された画像特徴Ａに基づいて、自車両４が走行している道路の白線や道路縁等の位置と自車両４との位置関係から走行可能な領域を認識する。画像認識部２３６は、図７のステップＳ７１３と同様に、認識結果を走行制御装置３に出力する。ステップＳ８１６で、経路誘導が終了していなければ、ステップＳ３０１に戻って、処理を繰り返す。経路誘導が終了すると、本処理は終了する。

本変形例における走行環境認識システム１は、センタ装置２０と、車両４に搭載される車載装置２１と、を含む。センタ装置２０は、ＡＤＡＳデータベース２０６と、車両４の経路情報に含まれる位置の情報に基づいてＡＤＡＳデータベース２０６を検索することによって、過去の画像特徴のうちから画像特徴Ｂを取得する情報取得部２０２と、経路情報を車載装置２１から受信し、かつ画像特徴Ｂを車載装置２１へ送信する通信インターフェース部２０１及び通信部２０８、を有する。車載装置２１は、車両４が移動する予定の経路を計算して経路情報を生成する経路計算部２３３と、経路情報をセンタ装置２０へ送信し、かつ画像特徴Ｂをセンタ装置２０から受信する通信部２１０及び通信インターフェース部２３０と、欠損検出部２０３と、補完情報生成部２０４と、補完部２３２と、画像認識部２３６と、を有する。したがって、センタ装置２０の処理負荷が軽減され、画像特徴Ｂが迅速に車載装置２１へ提供される。

上述した本変形例における走行環境認識システムにおいては、車両４が経路上の各位置に到達する前、特に図１０を参照すると、車両４が経路上の走行を開始する前までに、経路上の各位置に対応する画像特徴Ｂを通信部２１０及び通信インターフェース部２３０が受信する。したがって、画像認識部２３６は、車両４の移動に応じて適切なタイミングで走行環境を認識することができる。

なお、本変形例では、ステップＳ３０６で欠損検出部２０３が、画像特徴Ａと画像特徴Ｂとを照合し、画像Ｂにのみ存在する白線等の路面情報や道路標識等の画像上の位置を、画像特徴Ａの欠損箇所として検出する。その際、図４を用いて説明したように、ステップＳ３０６に含まれるステップＳ５０１で、位置ずれの検出が行われる。ここで検出された位置ずれを、画像特徴Ｂの位置補正に用いることによって、画像認識部２３６は、周囲環境が認識できなかった画像特徴Ａの代わりに補正された画像特徴Ｂを用いて車両４の走行環境を認識し、認識した結果を走行制御装置３に出力することとしてもよい。

また、第１の実施形態における走行環境認識システム１に本変形例を適用する場合の処理フローを、図１１に示す。

図１に示す走行環境認識システム１の経路計算部（不図示）は、位置情報読込部２３８によって読み込まれた自車両４の現在地から目的地までの走行経路を、地図データベース２０７を参照して計算する（ステップＳ８２１）。

欠損検出部２０３は、経路情報から、経路上の撮影位置及び撮影方向を取得し、取得した撮影位置及び撮影方向を条件として、条件に該当する画像の画像特徴をＡＤＡＳデータベース２０６で検索する。こうした検索を行うことによって、欠損検出部２０３は、経路上の各位置で撮影された画像の画像特徴Ｂを、ＡＤＡＳデータベース２０６に蓄積された過去の画像特徴の中から取得する（ステップＳ８２２）。

経路計算部が、当該経路情報に基づいて車両４の経路誘導を開始すると（ステップＳＳ８２３でｙｅｓ）、図２のステップＳ３０１及びＳ３０２と同様に、画像読込部２３７が車載カメラ２２で撮影された画像を読み込むとともに、位置情報読込部２３８がＧＰＳ等のセンサデータを読み込む。画像読込部２３７は、読み込んだ画像の画像特徴Ａを検出し、白線等の走行に必要な情報（走行環境）を認識できたか否かを判定する（ステップＳ８２４）。走行環境を認識できない場合、すなわち画像特徴Ａが欠損している場合、画像読込部２３７は、画像特徴Ａを記憶部２１５に記憶させる。

欠損検出部２０３は、画像特徴Ａと、画像特徴Ａが検出された画像が撮影された車両位置（位置情報読込部２３８から取得可能）とに基づき、画像特徴Ａに対応する画像特徴Ｂを、記憶部２１５から取得する（ステップＳ８２５）。欠損検出部２０３は、図２のステップＳ３０６と同様に、画像特徴Ａと画像特徴Ｂとを照合し、画像Ｂにのみ存在する白線等の路面情報や道路標識等の画像上の位置を、画像特徴Ａの欠損箇所として検出する。補完情報生成部２０４は、図２のステップＳ３０７と同様に、画像特徴Ａの欠損箇所に対応する路面情報（あるいは画像領域）を、画像特徴Ｂを用いて、画像特徴Ａの補完情報として生成する。補完部２３２が、図２のステップＳ３０８と同様に、補完情報生成部２０４が生成した補完情報を用いて画像特徴Ａの欠損箇所を補完する。補完された画像特徴Ａは画像認識部２３６に入力される。画像認識部２３６は、図２のステップＳ３０９と同様に、補完された画像特徴Ａに基づいて、自車両４が走行している道路の白線や道路縁等の位置と自車両４との位置関係から走行可能な領域を認識する。画像認識部２３６は、図７のステップＳ７１３と同様に、認識結果を走行制御装置３に出力する。ステップＳ８２６で、経路誘導が終了していなければ、ステップＳ３０１に戻って、処理を繰り返す。経路誘導が終了すると、本処理は終了する。

（３）図１２は、上述した第１及び第２の実施形態における走行環境認識システム１のＡＤＡＳデータベース２０６を更新する処理フローであり、図２に示すステップＳ３１０の詳細処理を示す。

車両が走行する環境は道路整備等により変化するので、その変化に応じてＡＤＡＳデータベース２０６を更新し、自車両４の走行環境を認識できるようにすることが、走行制御を支援するために必要である。

欠損検出部２０３は、図３のステップＳ４０１と同様に、車両４の位置情報から、画像特徴Ａの照合候補となる画像特徴をＡＤＡＳデータベース２０６に蓄積された過去の画像特徴の中から検索する。欠損検出部２０３は、ＡＤＡＳデータベース２０６に、画像特徴Ａと同様の位置と方向で撮影された過去の画像特徴が存在するか否かを判定する（ステップＳ９０１）。否定判定の場合（ステップＳ９０１でｎｏ）、欠損検出部２０３は、ＡＤＡＳデータベース２０６にその画像特徴Ａを追加し（ステップＳ９０２）、本処理は終了する。肯定判定の場合（ステップＳ９０１でｙｅｓ）、古い過去の画像特徴を新たに取得した画像特徴Ａで更新する必要がある。ＡＤＡＳデータベースには常に新しいデータ（画像特徴）を保持するものとして、毎回、ＡＤＡＳデータベース２０６の更新処理を実行してもよいが、蓄積されるデータ量が大きくなるにつれて更新処理負荷も増えてくる。そのような処理負荷を軽減するため、本変形例では、過去の画像特徴と画像特徴Ａとから検出される路面情報が異なる場合のみ、ＡＤＡＳデータベース２０６を更新する。

ステップＳ９０１で、対応する過去の画像特徴が存在すると判定された場合、欠損検出部２０３は、過去の画像特徴の中から、例えばＡＤＡＳデータベース２０６に保存されている過去の画像特徴のうちの最も古い画像特徴Ｃを取得する（ステップＳ９０３）。欠損検出部２０３は、画像特徴Ａと画像特徴Ｃとを照合し、例えば上述した式（１）を用いて画像特徴Ａに含まれる単位領域と画像特徴Ｃに含まれる単位領域との類似度を計算する。類似度が所定値以下の単位領域の個数、すなわち画像特徴Ａの欠損箇所の数が設定値以下の場合（ステップＳ９０４でｎｏ）は、路面情報に変化なしとして本処理は終了する。類似度が所定値以下の単位領域の個数が設定値を超過する場合（ステップＳ９０４でｙｅｓ）、欠損検出部２０３は、ＡＤＡＳデータベース２０６内の過去の画像特徴のうちの最も古い画像特徴Ｃを削除し、代わりに画像特徴Ａを蓄積することによってＡＤＡＳデータベース２０６を更新し、本処理は終了する。

本変形例における走行環境認識システム１は、画像特徴Ａを認識する画像読込部２３７をさらに有する。画像読込部２３７によって画像特徴Ａが欠損していると認識されたとき、欠損検出部２０３は画像特徴Ａの欠損箇所を検出し、画像読込部２３７によって画像特徴Ａが欠損していると認識されなかったとき、画像読込部２３７は、画像特徴Ａと画像特徴Ｂとが類似しているか否かを判定し、画像特徴Ａと画像特徴Ｂとが類似していないと判定したとき、画像特徴Ａを過去の画像特徴としてＡＤＡＳデータベース２０６に蓄積させる。したがって、路面情報が頻繁に変化したとしても、最新の路面情報に対応する過去の画像特徴をＡＤＡＳデータベース２０６に蓄積させることができるので、車両４の走行制御に必要な情報を提供できる可能性が高い。

（４）図１３は、上述した第１及び第２の実施形態における走行環境認識システム１におけるＡＤＡＳデータベース検索処理（ステップＳ３０５）の詳細処理フローにおいて、画像特徴Ａと照合する候補が、ＡＤＡＳデータベース２０６に蓄積された過去の画像特徴の中に存在しなかった場合に、過去画像の画像特徴の代わりに地図データの地物情報を用いて画像特徴Ａを補完する処理の処理フローを示す図である。

欠損検出部２０３は、車載カメラ２２で撮影された現在画像の撮影位置を検索条件としてＡＤＡＳデータベース２０６を検索し（ステップＳ４０１）、照合候補となる過去の画像特徴が検索された場合は（ステップＳ１００１でｙｅｓ）、現在画像の画像特徴Ａと過去の画像特徴との照合処理を実行する（ステップＳ４０２）。現在画像の照合候補となる過去画像が検索されなかった場合（ステップＳ１００１でｎｏ）、欠損検出部２０３は、現在画像の撮影地点（車両位置）を検索条件に地図データベース２０７を検索し、現在画像が撮影された位置周辺の地図データを読み込む（ステップＳ１００２）。このとき、現在画像の撮影方向をさらに検索条件に加え、本処理に必要な地図データに限定して地図データを読み込むようにしてもよい。

欠損検出部２０３は、地図データベース２０７から読み込んだ地図データを用いて、画像特徴Ａを含む現在画像の撮影位置に視点を置き、かつ視線を撮影方向（車両進行方向等から特定可能）とする疑似風景画像を生成する（ステップＳ１００３）。欠損検出部２０３は、生成した疑似風景画像から、白線や道路縁等の周囲環境の認識に必要な地物を構成する線分といった画像特徴Ｂを、その画像特徴Ｂが存在する画像内の位置とともに抽出する（ステップＳ１００４）。その後、図３のステップＳ４０２と同様に、欠損検出部２０３は、現在画像から画像特徴Ａを検出する。

この後の処理フローは、図２のステップＳ３０６以降の処理と同様の処理が行われる。すなわち、画像特徴Ａにおいて地物のエッジが検出された単位領域と、画像特徴Ｂにおいて道路や車線等の地図要素を構成する線分の画像内の位置とを比較して、画像特徴Ａと画像特徴Ｂとが照合され、画像特徴Ａで検出されなかった地物の画像特徴が画像特徴Ｂを用いて補完されると、本処理が終了する。

本変形例の走行環境認識システム１において、地図データをさらに有する。欠損検出部２０３は、ＡＤＡＳデータベース２０６に蓄積された過去の画像特徴が得られた位置とは異なる他の位置の車両で得られた画像の画像特徴Ａと照合する画像特徴Ｂを過去の画像特徴から取得できない。このとき、欠損検出部２０３は、地図データベース２０７Ｘの地図データに基づいてその位置における疑似風景画像を生成し、疑似風景画像から画像特徴Ｂを抽出する。したがって、過去の画像特徴が少ない場合であっても、画像特徴Ａを補完することができる。

（５）図１４は、上述した第２の実施形態における走行環境認識システム１を適用した自動駐車支援システムの処理フローを示す。図１５〜１８は、本自動駐車支援システムにおける車載装置２１の表示部２１０の表示例を示し、図１４の処理フローを補足説明するために用いる。図１５は道路を走行している車両４が向かっている駐車場の位置を表す地図画面１２００の表示例を示す。図１６は、その駐車場の入口及び出口と、駐車場内の複数の駐車領域の配置、空いている駐車領域及び空いていない駐車領域の位置と、空いている駐車領域の数と、駐車場内の順路とを表す駐車場内地図画面１２１０の表示例を示す。図１７及び図１８は、車載カメラ２２による現在画像に補完された駐車枠１２３１が重畳された表示画面１２２０及び１２３０の表示例を示す。

本自動駐車支援システムに適用される走行環境認識システム１は、図６と同様のセンタ装置２０と車両４の車両装置２１とで構成される。センタ装置２０は、車両４の車載カメラ２２で認識できなかった駐車枠１２３１等、自動駐車を制御するために必要な情報を補完情報として車両装置２１に提供する。車両装置２１は、センタ装置２０から提供された駐車枠１２３１等の補完情報を用いて自車両４周辺の駐車環境を認識し、自車両４と駐車領域１２２１との位置関係等の認識結果を走行制御装置に出力する。走行制御装置は、自車位置から目標の駐車領域までの走行経路を計算し、目標駐車位置までアクセルやハンドル等の車両走行を制御する。さらに、本変形例において、センタ装置２０は、駐車場内の地図情報や空車／満車等のリアルタイムな利用状況を管理する駐車場管理システム（外部センタ）に接続され、ユーザからの駐車場利用情報要求に応じて、駐車場管理システムからリアルタイムな駐車場利用情報を取得して車載装置２１に提供する。

本自動駐車支援システムに適用される走行環境認識システム１の詳細処理を、図１４の処理フローに従い、以下に説明する。車載装置２１の経路計算部２３３は、車両４の現在位置から目的地である駐車場１２０３までの経路を計算し、表示部２１０の道路地図画面１２００に、自車両４を表すアイコン１２０１と駐車場１２０３とを表示させる。その駐車場１２０３までの経路と位置情報読込部２３８によって得られた自車両４の位置に基づき、自車両４が駐車場１２０３に接近したこと（駐車場までの到達距離あるいは時間が所定範囲内に達したこと）を、経路計算部２３３が検出したタイミングで（ステップＳ１１１１）、情報送信部２３４は、通信インターフェース部２３０及び通信部２１１を介して、駐車場の利用情報をセンタ装置２０に要求する（ステップＳ１１１２）。

センタ装置２０の情報取得部２０２は、通信部２０８及び通信インターフェース部２０１を介して、車載装置２１から駐車場の利用情報提供の要求を受信する（ステップＳ１１０１）。情報取得部２０２は、通信部２０８及び通信インターフェース部２０１を介して、当該駐車場内部の詳細地図と、駐車可能な空いている駐車領域の位置（駐車可能位置）等の利用情報とを、外部の駐車場管理システムから取得する（ステップＳ１１０２）。情報提供部２０５は、通信インターフェース部２０１及び通信部２０８を介して、駐車場利用情報を、駐車場内地図とともに車載装置２１に送信する（ステップＳ１１０３）。

車載装置２１の情報送信部２３４が、通信インターフェース部２３０及び通信部２１１を介して、自車両４の車種や車椅子専用車両等の車両条件とともに駐車場利用情報要求をセンタ装置２０に対して送信すると、センタ装置２０の情報取得部２０２は、通信ネットワーク２４に接続される外部センタから、指定された車両条件に該当する駐車場利用情報を、通信部２０８及び通信インターフェース２０１を介して取得し、車載装置２１に提供する。車載装置２１において、自車両４の車種等の車両条件を含めて駐車可能位置に関する情報を画面表示するようにしてもよい。センタ装置２０は、駐車場の利用情報を記憶する不図示の記憶部（外部情報記憶部）をさらに有し、外部センタ（例えば駐車場管理システム）から定期的に、あるいは情報が更新されたタイミングで、情報取得部２０２が、空いている駐車領域の数や、駐車可能位置等の利用情報を取得し、外部情報記憶部に蓄積させることによって、外部情報記憶部内の情報が最新情報で更新されたり、新規情報として記憶されるようにする。

車載装置２１の情報受信部２３１は、通信部２１１及び通信インターフェース部２３０を介して、センタ装置２０から駐車場利用情報を受信すると（ステップＳ１１１３）、表示部２１０の道路地図画面１２００に、目的地の駐車場の利用情報を取得した旨を表すメッセージ１２０２を表示することによって、駐車利用情報を表示することが可能であることをユーザに通知する。入出力部２３５は、所定のユーザ入力あるいは所定時間経過を検出すると、駐車場内地図画面１２１０を表示部２１０に表示させ、自車両４の車種等の駐車車両条件を考慮して、駐車場内の空いている駐車領域の数を表す空車情報表示１２１１と、空いている駐車領域の位置を表す駐車可能位置表示１２１２とを含む駐車場利用情報を、表示部２１０に表示させ、音声等によりユーザに通知する（ステップＳ１１１４）。このとき、入出力部２３５は、自車両４の車種等の駐車車両条件に基づいて、例えば図１６の駐車可能位置表示１２１２に示すように、例えばハッチング及び駐車領域識別番号を駐車可能位置に付すことによって、表示部２１０を介して駐車可能位置をユーザに通知し、目標駐車位置の入力をユーザに促す。タッチパネルあるいは番号指定等のユーザ入力により目標駐車位置が指定されると、情報送信部２３４は、通信インターフェース部２３０及び通信部２１１を介して、目標駐車位置、自車両４の現在位置、車載カメラで撮影された現在画像の画像特徴Ａ等のＡＤＡＳデータをセンタ装置２０に送信する（ステップＳ１１１５）。

センタ装置２０の情報取得部２０２は、目標駐車位置、車載カメラで撮影された現在画像の画像特徴Ａ、車両位置等のＡＤＡＳデータを車載装置２１から受信する（ステップＳ１１０４）。欠損検出部２０３は、地図データベース２０７から目標駐車位置周辺の詳細地図データを検索する。欠損検出部２０３は、検索した詳細地図データと、車載装置２１から受信した車両位置と、車両位置の変化に基づいて推定される進行方向を考慮して特定される撮影方向とから、車載装置２１から受信した画像特徴Ａを含む車載カメラ画像の撮影位置で、その車載カメラ画像の撮影方向に基づいて推定される視線方向の運転者が見る風景と同様の疑似風景画像を生成する（ステップＳ１１０６）。

ステップＳ１１０４でセンタ装置２０の情報取得部２０２が車載装置２１から受信した車両位置は、車載装置２１のＧＰＳ受信部２１４で受信した測位信号を生成した位置検出センサの測位精度や、車載カメラ２２の取り付け位置、車両４の姿勢（進行方向）の違いによって、車載カメラ画像と疑似風景画像として描かれる地物（駐車枠や停止線、床と壁との境界線等）との画面内での位置ずれが生じる可能性がある。そこで、図１３のステップＳ１００４と同様に、欠損検出部２０３が、疑似風景画像の画像特徴Ｂを抽出した後、図２のステップＳ３０６と同様に、画像特徴Ａの地物位置と画像特徴Ｂの地物位置とを照合する。図２のステップＳ３０７と同様に、補完情報生成部２０４が、画像特徴Ａの欠損箇所、すなわち目標駐車位置１２１２における駐車領域１２２１の駐車枠１２３１を、画像特徴Ｂを用いて、補完情報として生成する。もし、実際には明瞭な駐車枠１２３１が予め設定されていない駐車場であっても、駐車枠１２３１を画像特徴Ａの補完情報として生成することができる。図７のステップＳ７０２と同様に、情報提供部２０５は、画像特徴Ａの補完情報として駐車枠１２３１を、通信インターフェース部２０１及び通信部２０８を介して車載装置２１に送信する。

車載装置２１の情報受信部２３１は、図７のステップＳ７１２と同様に、センタ装置２０から、画像特徴Ａの補完情報として、目標駐車位置１２１２の駐車領域１２２１の駐車枠１２３１を表す駐車領域形状データを、通信部２１１及び通信インターフェース部２３０を介して受信する（ステップＳ１１１５）。図２のステップＳ３０８と同様に、補完部２３２は、画像特徴Ｂを用いて生成された補完情報で画像特徴Ａを補完する。画像認識部２３６は、補完された画像特徴Ａに含まれる駐車枠１２３１から、自車両位置と駐車領域との位置関係を認識し（ステップＳ１１１６）、認識した駐車領域の情報を走行制御装置に出力する（ステップＳ１１１７）。画像認識部２３６は、センタ装置２０から情報受信部２３１が受信した駐車領域１２２１の駐車枠１２３１を、車載カメラ２２で撮影した現在画像に重畳した画像（現在画像の補正画像）を生成して、入出力部２３５を介して表示部２１０に表示させる（ステップＳ１１１８）。ステップＳ１１１８で表示部２１０における現在画像の補正画像の表示画面は、例えば図１７の表示画面１２２０及び図１８の表示画面１２３０である。表示画面１２３０は、駐車開始位置（車両位置）から、車両４のリアカメラで、車両４が駐車領域１２２１に進行する方向に撮影された画像の一例であり、目標駐車位置１２１２の駐車領域１２２１と駐車枠１２３１とが現在画像に重畳表示された例である。ステップＳ１１１８が終了すると、本処理は終了する。

本変形例における走行環境認識システム１は、第２の実施形態における走行環境認識システム１と同様の構成であるうえに、さらに地図データベース２０７Ｘに駐車場１２０３内の地図を表す地図データを有する。駐車場１２０３内の地図及び画像特徴Ａは駐車場１２０３内の駐車領域１２２１の駐車枠１２３１を含む。欠損検出部２０３は、画像特徴Ａの駐車枠１２３１及び地図データに基づいて車両４の位置における疑似画像を生成する。第２の実施形態では、過去の画像特徴から取得される画像特徴Ｂを画像特徴Ａの欠損箇所の検出に用いるが、本変形例では、その代わりに疑似画像から抽出した画像特徴Ｂの駐車枠１２３１を、画像特徴Ａの欠損箇所の検出に用いる。補完情報生成部２０４は、第２の実施形態では、過去の画像特徴から取得される画像特徴Ｂを補完情報の生成に用いるが、本変形例では、その代わりに疑似画像から抽出された画像特徴Ｂを、補完情報の生成に用いる。画像認識部２３６が認識する走行環境は、駐車領域１２２１と車両４との位置関係である。したがって、画像認識部２３６は、駐車場内における車両４と駐車領域１２２１との位置関係を正しく認識することができる。

本変形例では、車両４の車載装置２１の車載カメラ画像から検出されない駐車枠１２３１、駐車領域１２２１や駐車可否等、車両４が駐車するまでに必要な駐車場内の情報を、センタ装置２０の欠損抽出部２０３が検出し、補完情報生成部２０４が補完情報として車載装置２１に提供するようにした。ステップＳ１１０３において、センタ装置２０の情報提供部２０５が車載装置２１へ提供する駐車場利用情報に、駐車可能位置における駐車領域の詳細形状を含めて提供するようにしてもよい。車載装置２１の欠損検出部２０３は、車両位置（カメラ撮影位置）と駐車領域の詳細形状とから、疑似風景画像を生成し、補完部２３２が、その疑似風景画像に含まれる地物形状から、車載カメラ２２で撮影された現在画像に駐車領域や駐車枠を補完することも可能である。

なお、本変形例では、上述したように、ステップＳ３０６で欠損検出部２０３が、画像特徴Ａの地物位置と画像特徴Ｂの地物位置とを照合し、画像Ｂにのみ存在する駐車枠１２３１等の地物の画像上の位置を、画像特徴Ａの欠損箇所として検出する。ステップＳ３０６に含まれるステップＳ５０１では、図４を用いて説明したように、位置ずれの検出が行われる。ここで検出された位置ずれを、画像特徴Ｂの位置補正に用いることによって、画像特徴Ｂに含まれる目標駐車位置１２１２の駐車領域１２２１の位置を、画像特徴Ａにおける駐車領域１２２１の位置に補正し、画像特徴Ａにおける目標駐車位置１２１２の駐車領域１２２１の駐車枠１２３１を計算することとしてもよい。例えば、欠損検出部２０３が、図６に示すように、画像特徴Ａ４１０と画像特徴Ｂ４２０とを、式（１）で表される正規化相関を用いて照合し、相関の高い一対の領域６１１及び６２１の画面内での位置のずれを計算する。補完情報生成部２０４が、この欠損検出部２０３によって計算された位置ずれを用いて、画像特徴Ｂに含まれる駐車枠１２３１の位置を、画像特徴Ａの座標系で表現し、車両４の位置（あるいは画像特徴Ａを含む現在画像の撮影位置）を原点とした駐車領域の形状データを計算する。画像の照合処理負荷を軽減するため、欠損検出部２０３は、双方の画像の部分領域を照合し、相関の高い一対の部分領域（例えば、一対の単位領域６１２及び６２２）の画面上での位置のずれを計算することとしてもよい。画像特徴Ａにおける目標駐車位置１２１２の駐車領域１２２１の形状データは、情報提供部２０５によって車載装置２１に送信される。車載装置２１の画像認識部２３６が、受信した駐車領域の情報を走行制御装置に出力することによって、走行制御が行われる。

本変形例では、画像特徴Ｂの駐車枠１２３１が疑似風景画像から抽出されるが、上述した第２の実施形態と同様に、画像特徴Ｂの駐車枠１２３１が過去の画像特徴のうちから取得されることとしてもよい。駐車枠１２３１が実際に例えば白線で示されているはずのところ、現在画像において駐車枠１２３１が部分的にもしくはすべてかすれて消えている場合、かすれて消える以前の駐車枠１２３１を撮影してＡＤＡＳデータベース２０６に蓄積されている過去の画像の画像特徴の中から、画像特徴Ｂの駐車枠１２３１が欠損検出部２０３によって取得される。この場合の走行環境認識システム１は、第２の実施形態における走行環境認識システム１と同様の構成であるが、過去の画像特徴、画像特徴Ａ及び画像特徴Ｂは駐車場１２０３内の駐車領域１２２１の駐車枠１２３１を含み、画像認識部２３６が認識する走行環境は、駐車領域１２２１と車両４との位置関係である。したがって、画像認識部２３６は、駐車場内における車両４と駐車領域１２２１との位置関係を正しく認識することができる。

１：走行環境認識システム、２：車両状態検出装置、３：走行制御装置、４：車両、１０：位置検出部、１１：カメラ撮影部、２０：センタ装置、２１：車載装置、２２：車載カメラ、２３：基地局、２４：通信ネットワーク、２０１：通信インターフェース部、２０２：情報取得部、２０３：欠損検出部、２０４：補完情報生成部、２０５：情報提供部、２０６：ＡＤＡＳデータベース、２０７：地図データベース、２１０：表示部、２１１：通信部、２１２：本体部、２１３：操作部、２１４：ＧＰＳ受信部、２１５：記憶部、２１６：映像入力部、２３０：通信インターフェース部、２３１：情報受信部、２３２：補完部、２３３：経路計算部、２３４：情報送信部２３４、２３５：入出力部、２３６：画像認識部、２３７：画像読込部、２３８：位置情報読込部

Claims (18)

1. 各車両の位置と、前記位置で前記各車両の周辺が撮影されることによって得られる画像の画像特徴とが対応づけられた、過去の画像特徴を蓄積するデータベースと、
   前記位置の車両で得られる画像の第１特徴と、前記過去の画像特徴のうちから取得された第２特徴とを照合することによって、前記第１特徴の欠損箇所を検出する欠損検出部と、
   前記欠損箇所に対応する補完情報を前記第２特徴を用いて生成する補完情報生成部と、
   前記補完情報を用いて前記第１特徴を補完する補完部と、
   補完された前記第１特徴に基づいて前記車両の走行環境を認識する画像認識部とを備える
   走行環境認識システム。
2. 請求項１に記載の走行環境認識システムにおいて、
   前記欠損検出部は、前記第１特徴と前記第２特徴とを照合し、前記第１特徴及び前記第２特徴のそれぞれから互いの類似度が第１所定値以上となる一対の領域を検出し、前記一対の領域に含まれる互いに対応する複数対の単位領域のうちから互いの類似度が第２所定値以下となる少なくとも一対の単位領域のうちの前記第１特徴に含まれる特定の単位領域を検出することによって、前記特定の単位領域を前記欠損箇所として検出する
   走行環境認識システム。
3. 請求項２に記載の走行環境認識システムにおいて、
   前記欠損検出部は、前記第１特徴と照合する前記第２特徴として、前記過去の画像特徴の中から、前記第１特徴との類似度が第３所定値以上となる前記第２特徴を取得する
   走行環境認識システム。
4. 請求項３に記載の走行環境認識システムにおいて、
   前記データベースは、前記過去の画像特徴の各画像特徴と、前記各画像特徴が前記第２の特徴として取得された回数とを対応づけて蓄積し、
   前記欠損検出部は、前記回数が多い順に前記過去の画像特徴を検索することによって、前記過去の画像特徴の中から前記第２特徴を取得する
   走行環境認識システム。
5. 請求項１に記載の走行環境認識システムにおいて、
   地図データをさらに備え、
   前記欠損検出部は、前記位置とは異なる他の位置の車両で得られた画像の前記第１特徴と照合する前記第２特徴を前記過去の画像特徴から取得できないとき、前記地図データに基づいて前記他の位置における疑似画像を生成し、前記疑似画像から前記第２特徴を抽出する
   走行環境認識システム。
6. 請求項１〜５のいずれか１項に記載の走行環境認識システムにおいて、
   前記車両が移動する予定の経路を計算して経路情報を生成する経路計算部をさらに備え、
   前記車両が前記経路上の各位置に到達する前に、前記各位置に対応する前記第２特徴を、前記データベースに蓄積された前記過去の画像特徴から取得する
   走行環境認識システム。
7. 請求項１に記載の走行環境認識システムにおいて、
   前記第１特徴を認識する画像読込部をさらに備え、
   前記特徴認識部によって前記第１特徴が欠損していると認識されたとき、前記欠損検出部は前記欠損箇所を検出し、
   前記特徴認識部によって前記第１特徴が欠損していると認識されなかったとき、前記特徴認識部は、前記第１特徴と前記第２特徴とが類似しているか否かを判定し、前記第１特徴と前記第２特徴とが類似していないと判定したとき、前記第１特徴を前記過去の画像特徴として前記データベースに蓄積させる
   走行環境認識システム。
8. 請求項１〜４のいずれか１項に記載の走行環境認識システムは、
   センタ装置と、前記車両に搭載される車載装置と、を含み、
   前記センタ装置は、
   前記データベースと、
   前記欠損検出部と、
   前記補完情報生成部と、
   前記第１特徴を前記第１特徴に対応する画像が撮影された位置とともに前記車載装置から受信し、かつ前記補完情報を前記車載装置へ送信するセンタ装置側通信部と、を有し、
   前記車載装置は、
   前記第１特徴を前記第１特徴に対応する画像が撮影された位置とともに前記センタ装置へ送信し、かつ前記補完情報を前記センタ装置から受信する車載装置側通信部と、
   前記補完部と、
   前記画像認識部と、を有する
   走行環境認識システム。
9. 請求項８に記載の走行環境認識システムにおいて、
   地図データをさらに備え、
   前記欠損検出部は、前記位置とは異なる他の位置の車両で得られた画像の前記第１特徴と照合する前記第２特徴を前記過去の画像特徴から取得できないとき、前記地図データに基づいて前記他の位置における疑似画像を生成し、前記疑似画像から前記第２特徴を抽出する
   走行環境認識システム。
10. 請求項８に記載の走行環境認識システムにおいて、
    前記第１特徴を認識する画像読込部をさらに備え、
    前記特徴認識部によって前記第１特徴が欠損していると認識されたとき、前記欠損検出部は前記欠損箇所を検出し、
    前記特徴認識部によって前記第１特徴が欠損していると認識されなかったとき、前記特徴認識部は、前記第１特徴と前記第２特徴とが類似しているか否かを判定し、前記第１特徴と前記第２特徴とが類似していないと判定したとき、前記第１特徴を前記過去の画像特徴として前記データベースに蓄積させる
    走行環境認識システム。
11. 請求項８に記載の走行環境認識システムにおいて、
    前記過去の画像特徴、前記第１特徴及び前記第２特徴は駐車場内の駐車領域の駐車枠を含み、
    前記走行環境は、前記駐車領域と前記車両との位置関係である
    走行環境認識システム。
12. 請求項８に記載の走行環境認識システムにおいて、
    駐車場内の地図を表す地図データをさらに備え、
    前記地図及び前記第１特徴は前記駐車場内の駐車領域の駐車枠を含み、
    前記欠損検出部は、前記第１特徴及び前記地図データに基づいて前記車両の位置における疑似画像を生成し、前記疑似画像から抽出した疑似画像特徴を、前記第２特徴の代わりに前記第１特徴の欠損箇所の検出に用い、
    前記補完情報生成部は、前記疑似画像特徴を前記第２特徴の代わりに前記補完情報の生成に用い、
    前記走行環境は、前記駐車領域と前記車両との位置関係である
    走行環境認識システム。
13. 請求項１２に記載の走行環境認識システムにおいて、
    前記車載装置は、表示部と入出力部とをさらに有し、
    前記入出力部は、前記補完部が前記補完情報を用いて補完した前記第１特徴に含まれる前記駐車枠を、前記車両で得られる画像に重畳して前記表示部に表示させる
    走行環境認識システム。
14. 請求項１３に記載の走行環境認識システムにおいて、
    前記センタ装置は、
    前記センタ装置側通信部を介して外部装置から、前記駐車場内の通行規制についての情報と、前記駐車場内における前記駐車領域の位置についての情報と、前記駐車領域に駐車可能か否かについての情報と、を含む駐車場利用情報を取得するとともに、前記センタ装置側通信部を介して前記車載装置から駐車場利用情報要求を受け付ける情報取得部と、
    情報取得部によって前記駐車場利用情報要求が受け付けられると、情報取得部によって取得された前記駐車場利用情報を、前記センタ装置側通信部を介して前記車載装置へ提供する情報提供部と、
    をさらに有し、
    前記車載装置は、
    前記車載装置側通信部を介して前記駐車場利用情報要求を前記センタ装置へ送信する情報送信部と、
    前記車載装置側通信部を介して前記センタ装置から前記駐車場利用情報を受信する情報受信部と、
    をさらに有し、
    前記入出力部は、前記駐車場利用情報を前記表示部に表示させ、ユーザによる前記入出力部への前記駐車領域に関する入力を受け付け、
    前記画像認識部は、前記入力に応じた前記駐車領域に関する前記走行環境を認識する
    走行環境認識システム。
15. 請求項８に記載の走行環境認識システムに用いられるセンタ装置。
16. 請求項１〜４のいずれか１項に記載の走行環境認識システムは、
    センタ装置と、前記車両に搭載される車載装置と、を含み、
    前記センタ装置は、
    前記データベースと、
    前記車両の経路情報に含まれる前記位置の情報に基づいて前記データベースを検索することによって、前記過去の画像特徴のうちから前記第２特徴を取得する情報取得部と、
    前記経路情報を前記車載装置から受信し、かつ前記第２特徴を前記車載装置へ送信するセンタ装置側通信部と、を有し、
    前記車載装置は、
    前記車両が移動する予定の経路を計算して前記経路情報を生成する経路計算部と、
    前記経路情報を前記センタ装置へ送信し、かつ前記第２特徴を前記センタ装置から受信する車載装置側通信部と、
    前記欠損検出部と、
    前記補完情報生成部と、
    前記補完部と、
    前記画像認識部と、を有する
    走行環境認識システム。
17. 請求項１６に記載の走行環境認識システムにおいて、
    前記車両が前記経路上の各位置に到達する前に、前記各位置に対応する前記第２特徴を前記車載装置側通信部が受信する
    走行環境認識システム。
18. 請求項１６に記載の走行環境認識システムに用いられる車載装置。
    
    

Images