JP2009205191A - 駐車スペース認識装置 - Google Patents

Abstract

【課題】
センサによって計測された情報をもとに候補となる空間的な駐車可能なスペースを認識するとともに、更にその候補となる駐車スペースは自車両が駐車する権限を有するか否かを判断材料として加味して、適切な駐車スペースを認識する技術を提供する。
【解決手段】
駐車スペース認識装置は、自車両が空間的に進入可能なスペースを検出して、当該スペースに表示されたマーク等を認識する。更に、その結果と、予め登録された自車両や運転者の固有情報に基づいて、優先順位を付加し、候補となる駐車スペースを出力する。自車両が空間的に進入可能なスペースを検出するセンシング手段と、検出された前記駐車可能空間周辺の画像と、予め用意された基準となる特徴量のテンプレートと照合することで、前記画像に含まれている路面表示の種別を判断する識別手段とを備える。更に、予め設定されたユーザー固有の優先度に基づいて、駐車スペースの候補を出力する。
【選択図】図４

Description

本発明は、画像を用いて駐車スペースを認識する技術に関する。

自車両に搭載された撮像装置が撮像した画像から駐車枠線を検出し、駐車の支援を行う技術が知られている。

例えば、車両の停止状態を検出する検出手段により車両の停止状態が検出された際、その停止位置に対して所定の相対関係にある位置を駐車目標位置として認識する技術がある（特許文献１参照）。

特開２００４−３４５４９６号公報

しかし、特許文献１に記載の技術では、物理的な空間の情報のみで目標とする駐車スペースを決定しているため、例えば、自車が一般車両であっても、身体障害者専用の駐車スペースが空いている場合、そこを駐車目標としてしまう可能性がある。

そこで本発明の目的は、センサによって計測された情報をもとに候補となる空間的に駐車可能なスペースを検出するとともに、さらにその検出された駐車スペース候補に自車両が駐車する権限を有するか否かを判断材料として加味することで、ユーザーに適した駐車スペースを認識するための技術を提供することにある。

前記課題を解決するため、駐車スペース認識装置は、検出された駐車スペース候補に自車両が駐車する権限を有するか否かを判断材料として加味することで、適切な駐車スペースを認識するための技術を提供する。例えば、自車が駐車可能な空間を検出する駐車可能空間検出手段と、検出された前記駐車可能空間周辺の画像と、予め用意された基準となる特徴量のテンプレートと照合することで、前記画像に含まれている路面表示の種別を判断する識別手段とを備える。さらに、予め設定されたユーザー固有の優先度に基づいて、駐車スペースの候補を出力する。

本発明によれば、センサによって計測された情報をもとに候補となる空間的に駐車可能なスペースを検出するとともに、さらにその検出された駐車スペース候補に自車両が駐車する権限を有するか否かを判断材料として加味することで、ユーザーに適した駐車スペースを認識するための技術を提供することができる。

以下、実施形態について、図面を参照して説明する。

図１は、第一の実施形態にかかる駐車スペース認識システム１１の機能構成を示すブロック図である。

駐車スペース認識システム１１は、駐車スペース認識装置１０と、カメラ１と、超音波センサ５と、モニタ８と、ユーザーインタフェース４と、外部記憶装置６と、外部通信装置７を含んでおり、車両ネットワーク３に接続されている。

駐車スペース認識装置１０は、路面表示テンプレートデータベース２００と、車両固有情報２と、位置固有情報９と、運転者固有情報１５と、駐車スペース認識機能２０１と、駐車スペース認識結果表示機能２０２と、駐車スペース決定機能２０３と、駐車位置座標出力機能２０４と、車両情報取得機能２０６と、を備える。

車両固有情報２は、車両の寸法情報や、身体障害者車両情報などが含まれている。

運転者固有情報１５は、運転者の年齢や、免許取得年月日や、契約している駐車場の番号などの情報などが含まれている。

路面表示テンプレートデータベース２００は、駐車スペースに表示されている可能性がある文字やマークなどの形状情報を含むテンプレートを、予め登録したものである。図２６にテンプレートの一例を示す。それぞれのテンプレートには、テンプレートコードと、形状情報と、色情報と、路面表示４０２が意味する内容に加え、探索する優先度情報を含んでいる。このテンプレート探索優先度は、車両固有情報２と、位置固有情報９とを加味して決定される。また、この優先度はユーザーが任意に設定することもできる。図３０にテンプレートに含まれる情報の一例を示す。

また、路面表示テンプレートデータベース２００には、予め登録されたテンプレートの他に、カメラ１で撮影した画像や、外部記憶装置６や、外部通信装置７，車両ネットワーク３によってユーザーが任意のテンプレートを追加登録することができる。

車両情報取得機能２０６は、車両ネットワーク３と接続されており、自車両の速度や、ヨーレートや、シフトポジションや、カーナビゲーション装置８０から出力される現在位置の情報や、現在時刻の情報を取得する。これら以外にも、車両ネットワーク３に流れている情報は全て取得することが可能である。

カーナビゲーション装置８０は、例えば、ＧＰＳ（全地球測位システム）や車速パルス、ジャイロなどの自律航法装置を利用して、自車両の位置の検出や、目的地への走行経路案内を実行する装置である。

位置固有情報９は、カーナビゲーション装置８０の地図上の座標に対して、固有のテンプレート探索優先度を付加した情報である。例えば、ユーザーが個人で契約している駐車場の地図位置に対して、ユーザーが契約している駐車場の番号が表示されている駐車スペースを優先的に探索するといった設定を位置固有情報９として登録することができる。

車両制御装置２０５は、駐車スペースへ車両を移動させるための制御を行う装置である。駐車スペース認識装置１０によって認識された駐車スペースまでの距離や角度の情報から、車両の操作系や駆動系に対する制御値を演算し、そのデータを出力する。

カメラ１は、例えば、車両の後方に設置され、車両後方側の所定の撮影範囲を、地面に対して斜めに見下ろす方向で撮像する。もちろん、設置位置は車両の後方に限らず、車両の前方や車体下等に設置することも可能である。

超音波センサ５は、例えば、車両の後方に設置され、車両後方側の所定範囲の距離を計測する。もちろん、設置位置は車両の後方に限らず、車両の前方や車体下等に設置することも可能である。

駐車スペース認識機能２０１では、まず、カメラ１からの画像を撮像し、俯瞰変換を行う。具体的には、予め撮像画像を俯瞰画像６０に変換するために必要な変換テーブル（図示しない）を外部記憶装置６に記憶する。変換テーブルとは、例えば、撮像画像の各画素の座標位置と、俯瞰画像６０の各画素の座標位置と、を対応付け、ここに角度差やレンズの歪曲収差を補正するための補正パラメータを配したものである。これらはレンズの光学特性並びに自車両に対する取り付け位置及び角度に基づいて、一意に決定される。なお、変換テーブルは、Ｉ／Ｆ部を介して、他の装置から取得してもよい。

続いて、超音波センサ５からの距離情報６１を取得する。この俯瞰画像６０と距離情報６１をもとに、自車両が駐車可能な物理的な空間（駐車可能空間と呼ぶ）を認識する。

次に、路面表示テンプレートデータベース２００の情報をもとに、認識された駐車可能空間の路面上に登録された路面表示４０２の有無を探索する。探索の結果、認識された駐車可能空間において、自車が駐車する権限の有無を判定し、適切な駐車スペースの候補を出力する。なお、前記探索の結果、自車が駐車する権限のある駐車スペースが複数存在する場合は、路面表示テンプレートデータベース２００に登録された優先度を付加した結果として出力する。詳細の処理については後述する。

駐車スペース認識結果表示機能２０２では、俯瞰画像６０に対して、駐車スペース認識機能２０１によって出力された駐車スペースの候補をオーバーレイしてモニタ８に表示する。図３に駐車スペース認識結果表示の例を示す。

複数の駐車スペースが存在する場合は、初期化処理Ｓ１００で設定された駐車スペース探索優先度の情報をもとに、優先度が視覚的にわかるように、優先度の数値、または色、または線の種類、または線の太さなど表示する。本実施形態では、第一候補として認識した駐車スペース３０を実線で、第二候補として認識した駐車スペース３１を荒い破線で、第三候補として認識した駐車スペース３２を細かい破線で表現している。

ここで、自車両の種別を考慮した駐車スペースの優先度の設定について、図４から図９を用いて具体例を説明する。

図４の例は、自車両の種別が、身体障害者用の車両９２であり、第一候補と認識した駐車スペース３０として、身体障害者用駐車スペース（Ａ）が設定され、２カ所の車両の種別制限が無い駐車スペースに関しては、自車から近い駐車スペース（Ｂ）が第二候補と認識した駐車スペースとして設定され、自車から遠い駐車スペース（Ｃ）が第三候補と認識した駐車スペース３２として設定されている。駐車スペース（Ｄ）は、駐車車両９５が存在するため、候補には設定されていない。

図５の例は、自車両の種別が、一般の車両９０であり、第一候補として認識した駐車スペース３０として、車両の種別制限が無い駐車スペースが設定されている。隣接する身体障害者用駐車スペースは、空間としては空いているが、自車両の種別が一般の車両９０に設定されているため、駐車スペースの候補として設定されていない。また、駐車スペース
（Ｃ）と（Ｄ）は、駐車車両９５が存在するため、候補には設定されていない。

図６の例は、自車両の種別が、一般の車両９０である。まず、身体障害者用駐車スペース（Ａ）は、空間としては空いているが、自車両の種別が一般の車両９０に設定されているため、駐車スペースの候補として設定されていない。車両の種別制限が無い駐車スペースが２カ所存在しているが、自車から近い駐車スペース（Ｂ）が第二候補と認識した駐車スペースとして設定され、自車から遠い駐車スペース（Ｃ）が第三候補と認識した駐車スペース３２として設定されている。駐車スペース（Ｄ）は、駐車車両９５が存在するため、候補には設定されていない。

図７の例は、自車両の種別が、一般の軽自動車９１であり、第一候補と認識した駐車スペース３０として、軽自動車用駐車スペース（Ａ）が設定され、２カ所の車両の種別制限が無い駐車スペースに関しては、自車から近い駐車スペース（Ｂ）が第二候補と認識した駐車スペースとして設定され、自車から遠い駐車スペース（Ｃ）が第三候補と認識した駐車スペース３２として設定されている。駐車スペース（Ｄ）は、駐車車両９５が存在するため、候補には設定されていない。

図８の例は、自車両の種別が、一般の車両９０であり、かつ、ユーザーの駐車場契約番号が「１」である場合である。第一候補として認識した駐車スペース３０として、駐車枠番号表示２３が「１」の駐車スペース（Ａ）に設定されている。車両の種別制限が無い駐車スペースとして（Ｂ）と（Ｃ）が存在するが、ユーザーの駐車場契約番号が異なるため、候補として設定されない。また、駐車スペース（Ｄ）は、駐車車両９５が存在するため、候補には設定されていない。

図９の例は、自車両の種別が、一般の車両９０である。まず、軽自動車用駐車スペース（Ａ）は、空間としては空いているが、自車両の種別が一般の車両９０に設定されているため、駐車スペースの候補として設定されていない。車両の種別制限が無い駐車スペースが２カ所存在しているが、自車から近い駐車スペース（Ｂ）が第二候補と認識した駐車スペースとして設定され、自車から遠い駐車スペース（Ｃ）が第三候補と認識した駐車スペース３２として設定されている。駐車スペース（Ｄ）は、駐車車両９５が存在するため、候補には設定されていない。

駐車スペース決定機能２０３は、駐車スペース認識結果表示機能２０２で表示された駐車スペースを最終的な駐車位置とするか否かをユーザーに決定させる機能である。また、複数の駐車スペース候補が表示された場合も同様に、ユーザーが選択して最終的な駐車位置を決定する。

また、駐車スペース認識結果表示機能２０２で表示された駐車スペースが、実際の駐車可能な位置からずれている可能性がある。このような場合を想定して、ユーザーが駐車位置を微調整することも可能である。

駐車位置座標出力機能２０４は、駐車スペース決定機能２０３で最終的に決定された駐車位置の実空間上の座標を出力する機能である。例えば、出力された座標値は、車両ネットワーク３を通して車両制御装置２０５に受信され、自動で駐車位置まで車両を移動させるといった制御が可能となる。

ここで、駐車スペース認識装置１０のハードウェア構成について説明する。図２は、駐車スペース認識装置１０の電気的な構成を示すブロック図である。

図２に示すように、駐車スペース認識装置１０は、コンピュータの主要部であって、各装置を集中的に制御するＣＰＵ（Central Processing Unit）５０と、各種データを書換え可能に記憶するメモリ５１と、画像処理演算のハード処理を行う画像演算回路５２と、アナログの映像データをデジタルデータに変換するＡ／Ｄ変換回路５４と、を備える。さらに、駐車スペース認識装置１０は、各種のプログラム、プログラムが生成するデータ等を格納する外部記憶装置６と、外部の装置と通信を行う外部通信装置７と、を備える。これらの各装置は、バスなどの信号線５５を介してＣＰＵ５０と接続される。

ＣＰＵ５０は、例えば、外部記憶装置６上に格納されたプログラムをメモリ５１上にロードして実行することにより、各種処理を実行する。

外部記憶装置６は、例えばＨＤＤ（Hard Disk Drive）を備えているが、もちろん、ＨＤＤのみに限定されず、配布されたプログラムであるコンピュータソフトウェアや、データを読み取るための機構として、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ等のドライブをさらに備えてもよい。

以上のように構成される駐車スペース認識装置１０での処理について、図１５に示すフローチャートを用いて説明する。図１５は、駐車スペース認識装置１０が、センサ情報から駐車位置座標を生成する際の処理の流れを示すフロー図である。

まず、初期化処理（Ｓ１００）を行う。以下、Ｓ１００について図１６を用いて説明する。Ｓ１００では、車両固有情報取得処理（Ｓ１１０）と、位置固有情報取得処理（Ｓ１２０）と、駐車スペース探索優先度設定（Ｓ１３０）とが行われる。Ｓ１１０では、予め登録されている車両固有情報２として、車両の寸法情報や、身体障害者車両情報や、運転者の年齢や、免許取得年月日や、契約している駐車場の番号などの情報をメモリ５１に蓄積する。続いて、Ｓ１２０では、カーナビゲーション装置８０から得られる自車の現在位置座標に対して、予め登録されている位置固有情報９が存在するか否かを判断する。次に、Ｓ１３０では、Ｓ１１０の車両固有情報と、Ｓ１２０の位置固有情報から、登録されている駐車スペースの探索優先度を設定する。現在位置座標に位置固有情報９が登録されていない場合には、車両固有情報をもとにテンプレート探索優先度が設定される。一方、現在位置座標に位置固有情報９が登録されている場合は、位置固有情報をもとにテンプレート探索優先度が設定される。図２３に駐車スペースの意味５０１に対応するテンプレートコード５００と、それに付加される探索優先度設定値５０２を含めたデータ構造の一例を示す。Ｓ１２０の処理終了後、Ｓ１００のサブルーチンを抜ける。

次に、センサ情報取得処理（Ｓ１５０）を行う。Ｓ１５０では、カメラ１の撮像画像と超音波センサ５からの距離情報６１を取得して、カウンタ値（同期情報）を付加してメモリ５１に蓄積する。

次に、前処理（Ｓ２００）を行う。以下、Ｓ２００について図１７を用いて説明する。Ｓ２００では、カメラ１の撮像画像に対して俯瞰変換処理を施して、俯瞰画像６０を生成する。具体的には、予め外部記憶装置６に保存された変換テーブルに基づいて、撮像画像の各画素に対して、座標変換および補正を施し、俯瞰画像６０を生成する。生成された俯瞰画像６０は、メモリ５１に格納する。続いて、ノイズ除去処理（Ｓ２０２）を行う。具体的には、駐車枠線２０が掠れている場合や、汚れている場合も安定して駐車枠線２０を検出できるように、輝度の高い領域を膨張させる処理を施す。このＳ２０２が施された画像を画像認識入力画像４００とする。なお、ノイズ除去処理の方法は上述のものに限られず、同様の効果が得られればどのような方法を用いてもよい。Ｓ２０２の処理終了後、Ｓ２００のサブルーチンを抜ける。

次に、駐車可能空間探索処理（Ｓ３００）を行う。以下、Ｓ３００について、図２０を用いて説明する。Ｓ３００では、まず、駐車枠線２０を抽出するために、Ｓ２００で生成された画像認識入力画像４００に対して、エッジ抽出処理（Ｓ３０１）を施す。エッジ抽出処理は一般的に知られているソーベルフィルタを用いる。さらに、抽出されたエッジ座標に対してハフ変換処理（Ｓ３０２）を行う。これにより、駐車枠以外のエッジの影響を抑え、安定した駐車枠線２０の検出が可能となる。なお、ハフ変換処理とは直線を検出する手法として広く使用されている。故に、公知の技術のため、ここでの説明は省略する。また、本実施形態では、直線を検出する方法としてハフ変換を用いたが、その他の直線検出手法を適用してもよい。

続いて、センサフュージョン処理（Ｓ３０４）について説明する。まず、Ｓ３０２の結果から、図２７に示すように、画像認識で検出された駐車空間候補７０が得られる。また、図２８に示すように、Ｓ１５０で得られた超音波センサ５からの距離情報６１を俯瞰画像６０の座標上にマッピングする。さらに、マッピングした距離情報６１から、超音波センサの情報から検出された駐車空間候補７１が得られる。図２９に示すように、画像認識で検出された駐車空間候補７２と、超音波センサの情報から検出された駐車空間候補７１との結果を融合し、センサフュージョンで得られた駐車空間候補７２が得られる。続いて、Ｓ３０５から３０７で、センサフュージョンで得られた駐車空間候補７２の広さ（幅と奥行き）に対して、自車両が入るか否かを判定する。Ｓ３０６で、自車両が入ると判定された駐車空間候補がカウントされる。全ての駐車空間候補の探索が終了すると、Ｓ３０８で駐車可能空間情報をメモリに格納され、Ｓ３００のサブルーチンを抜ける。なお、駐車可能空間情報には、駐車可能空間数（Ｎ），駐車可能空間のＩＤ，座標情報，駐車空間が有する規制情報（身体障害者車両用駐車スペースなど）が含まれる。

次にＳ４００について説明する。Ｓ３００で得られた駐車可能空間数Ｎ＝０の場合、つまり、駐車可能空間が検出されなかった場合、再度センサ情報の取得処理（Ｓ１５０）へ戻る。一方、Ｎ＞０の場合、つまり、駐車可能空間が１カ所以上検出された場合、次のステップへ進む。

次に、全駐車可能空間に対する路面表示認識処理（Ｓ６００）を行う。Ｓ６００について、図２１を用いて説明する。まず、図１２に示すように、Ｓ３０８で得られた駐車可能空間の座標情報から、画像認識入力画像４００に対して路面表示認識処理を行う画像処理領域４０１を設定する（Ｓ６０１）。

続いて、Ｓ６０１で設定された画像処理領域４０１に対して、エッジ抽出・投影処理（Ｓ６０２）を行う。具体的には、図１３に示すように、エッジ抽出を行った後、エッジ強度を駐車枠線２０に対して平行な方向（Ｘ方向）と、垂直な方向（Ｙ方向）それぞれに投影する。これにより、画像処理領域４０１に路面表示４０２が存在する場合、路面表示４０２の大きさ（路面表示４０２の候補領域の縦サイズＨ１、路面表示４０２の候補領域の横サイズＷ１）が設定される（Ｓ６０３）。

続いて、Ｓ１０３で設定された探索優先度設定値５０２の情報にもとづき、探索優先度設定値５０２が“２５５（探索しない）”に設定されていないテンプレート種別を順次設定する（Ｓ６０４）。

続いて、Ｓ６０３で設定された路面表示４０２のサイズをもとに、予め登録されている初期テンプレート４０３のサイズを正規化する（Ｓ６０５）。これは、実際に計測された路面表示４０２のサイズと、予め登録されている初期のテンプレートのサイズと異なる場合、テンプレートマッチングがうまくいかないために行う処理である。図１４に初期のテンプレートサイズの正規化方法に関する図を示す。

以下、正規化テンプレート４０４のサイズの算出方法を以下に説明する。

ここで、
路面表示の候補領域の縦サイズをＨ１［Pixel］、
路面表示の候補領域の横サイズをＷ１［Pixel］、
データベースに登録されているテンプレートの縦サイズをＨｄ［Pixel］、
データベースに登録されているテンプレートの横サイズをＷｄ［Pixel］、
とすると、
テンプレートの縦サイズを正規化するための係数Ｒｈと、
テンプレートの横サイズを正規化するための係数Ｒｗは、
それぞれ、
Ｒｈ＝Ｈ１／Ｈｄ （式１）
Ｒｗ＝Ｗ１／Ｗｄ （式２）
で表される。この正規化の係数を用いて、
正規化したテンプレート４０４の縦サイズＨｔ［Pixel］と、
正規化したテンプレート４０４の横サイズＷｔ［Pixel］は、
それぞれ、
Ｈｔ＝Ｈｄ×Ｒｈ （式３）
Ｗｔ＝Ｗｄ×Ｒｗ （式４）
で計算される。

続いて、Ｓ６０５で生成された正規化したテンプレート４０４をもとに、画像処理領域４０１に対してテンプレートマッチング処理（Ｓ６０６）を行う。具体的には、公知の技術である正規化相関処理を実施し、相関値が所定の閾値以上か否かを判別する（Ｓ６０７）。Ｓ６０７でＹｅｓの場合、各駐車可能空間［ＩＤ］に対して、マッチングしたテンプレートの種別コード情報と、駐車枠番号情報等の認識情報がセットされる（Ｓ６０８）。図２２に各駐車可能空間［ＩＤ］に対応づけられる駐車枠番号と、駐車スペースの種別コードと、それらの意味の一例を示す。

Ｓ６０７でＮｏの場合、予め登録されたテンプレート全てについてマッチング処理を実施したか否かを判定する（Ｓ６０９）。Ｓ６０９でＮｏの場合は、Ｓ６０４へ、Ｙｅｓの場合は、Ｓ６１０へ進む。

Ｓ６０８の処理終了後、または、Ｓ６０４の判定がＹｅｓの場合、Ｓ３００で得られた全ての駐車可能空間に対してテンプレートマッチング処理（探索処理）を実施したか否かの判定を行う（Ｓ６１０）。Ｓ６１０でＮｏの場合は、Ｓ６０１へ進み、Ｙｅｓの場合はＳ６００のサブルーチンを抜ける。

次に、Ｓ６００の結果から、自車両が駐車する権限のある駐車スペースが１カ所以上存在するか否かを判定する（Ｓ７００）。

Ｓ７００でＮｏの場合、つまり、自車両が駐車する権限のある駐車スペースが１カ所以上存在しなかった場合、駐車支援モードを継続するか否かの判定処理（Ｓ９００）へ進む。Ｓ９００で、Ｙｅｓの場合、Ｓ１５０へ進み、再度センサ情報の取得を行う。一方、Ｓ９００で、Ｎｏの場合、駐車支援モードが終了されたと判断されたため、全体の処理を終了する。なお、Ｓ９００で駐車支援モードを継続しない（終了する）場合のトリガーとしては、例えば、ユーザーによるスイッチ操作や、車速が所定以上になった場合や、各センサやユニットからのフェール情報が使用される。

Ｓ７００で、Ｙｅｓの場合、つまり、自車両が駐車する権限のある駐車スペースが１カ所以上存在した場合、最終的に駐車するスペースを決定する処理を行う（Ｓ８００）。

次に、駐車スペース決定処理（Ｓ８００）を行う。以下、Ｓ８００について図２４を用いて説明する。Ｓ８００では、まず、Ｓ６００の結果をもとに自車両が駐車する権限のある駐車スペースを俯瞰画像６０にオーバーレイしてモニタ８に表示する（Ｓ８０１）。複数の駐車スペースが存在する場合は、初期化処理Ｓ１００で設定された駐車スペース探索優先度の情報をもとに、優先度が視覚的にわかるように、優先度の数値、または色、または線の種類、または線の太さなど表示する。図４から図９に、自車両の種別による駐車スペースの優先度表示結果の一例を示す。本実施形態では、第一候補として認識した駐車スペース３０を実線で、第二候補として認識した駐車スペース３１を荒い破線で、第三候補として認識した駐車スペース３２を細かい破線で表現している。

続いて、自車両が駐車する権限のある駐車スペースが２カ所以上あるか否かを判定する（Ｓ８０２）。Ｓ８０２がＮｏの場合は、つまり、自車両が駐車する権限のある駐車スペースが１カ所の場合は、Ｓ８０４へ進む。一方、Ｓ８０２がＹｅｓの場合、つまり、自車両が駐車する権限のある駐車スペースが２カ所以上存在する場合は、ユーザーインタフェース４によって、ユーザーが駐車するスペースを決定する。例えば、モニタ８がタッチパネル式であれば、直接モニタにタッチして選択することができる。また、モニタ８がタッチパネル式でない場合、スイッチなどの入力手段で駐車スペースを選択することができる。つまり、駐車スペースを選択できるユーザーインタフェース４が具備されていればよい。

続いて、Ｓ８０６で決定された駐車スペースにおける実空間座標をメモリ５１にセットし（Ｓ８０７）、処理が終了する。セットされた実空間座標は、例えば、車両ネットワーク３を通して車両制御装置２０５によって受信され、自動で駐車位置まで車両を移動させるといった制御が可能となる。

以上、駐車スペース認識装置１０が優先度を含む駐車スペースの候補を算出し、最終的に駐車する位置の実空間座標を出力するまでの処理について説明した。

本実施形態によれば、センサによって計測された情報をもとに候補となる空間的な駐車可能なスペースを検出するとともに、さらにその検出された駐車スペース候補に自車両が駐車する権限を有するか否かを判断材料として加味することで、ユーザーに適した駐車スペースを案内することができる。

具体的には、駐車スペースの優先度を決定する情報として、車両の寸法情報や、身体障害者車両情報や、運転者の年齢や、免許取得年月日や、契約している駐車場の番号などの車両固有情報２を用いることで、多種多様な駐車スペースに対しても、ユーザーに適した駐車スペースを案内することができる。

また、路面表示テンプレートデータベース２００には、予め登録されたテンプレートの他に、カメラ１で撮影した画像や、外部記憶装置６や、外部通信装置７，車両ネットワーク３によってユーザーが任意のテンプレートを追加登録することができるため、新たな路面表示や、オリジナルの路面表示でも認識することが可能となる。

また、駐車スペースの探索優先度は、車両固有情報２から決定されるだけでなく、カーナビゲーション装置８０の地図上の座標にリンクして登録することもできるため、例えば、ユーザーが個人で契約している駐車場では、ユーザーが契約している駐車場の番号が表示されている駐車スペースを優先的に探索することが可能となる。

また、駐車スペースの探索優先度は、ユーザーが任意に変更することが可能であるため、より柔軟な駐車スペース案内が可能となる。

さらに、カメラ１で撮像した画像を俯瞰変換し、その俯瞰画像を画像認識入力画像４００とすることで、認識対象となる路面表示４０２と自車両との相対位置や、レンズの歪みに依存せず、精度よくテンプレートマッチングを行うことができる。

さらに、複数の駐車スペースが存在する場合は、優先度が視覚的にわかるようにモニタ８表示することで、ユーザーが理解しやすく、円滑な操作が可能となる。

なお、本実施例では、駐車スペースに表示されている指示マークは路面に描かれたものを対象としているが、路面に限らず、標識看板や、壁などに表示された指示マークでも同様の手法で認識することができる。

次に第二の実施形態にかかる駐車スペース認識装置１０について説明する。第一の実施形態では、車両後方に装着したカメラ１を１台使用していたが、これに限らず、複数台使用してもよい。以下、第一の実施形態と比較して、異なる箇所について説明する。

本実施形態では、車両前方（フロントバンパまたはフロントグリル周辺）に装着したフロントカメラ１−Ｆと、車両後方（ナンバープレート付近）に装着したリアカメラ１−Ｂ，左右のサイドミラー下部に装着した左右カメラ１−Ｌ，１−Ｒの計４台を使用する。

上記４台のカメラを使用することで、車両の全方位を撮像することが可能となるため、計測範囲を拡大できる。よって、探索可能な範囲が広がることで、１台のカメラでは死角になっていた駐車スペースも候補として検出できる可能性がある。

このような第二の実施形態について、以下に詳述する。図１０は、第二の実施形態にかかる駐車スペース認識システム１１の機能構成を示すブロック図である。前述した第一の実施形態との違いは、４台のカメラとする箇所と、４台のカメラからの画像を俯瞰変換して合成する画像変換合成機能２０７が追加されている箇所である。

本実施形態では、画像変換合成機能２０７によって生成される４台のカメラの俯瞰合成画像１０１に対してノイズ除去処理を施し、その画像を画像認識入力画像４００として扱う。

図１８に本実施形態における前処理（Ｓ２００）を示す。４台のカメラからの画像を俯瞰変換処理（Ｓ２０１）し、複数画像合成処理（Ｓ２１０）で、それぞれの俯瞰画像を１つの画像に合成する。その後、ノイズ除去処理（Ｓ２０２）を行う。

その他の処理については、第一の実施形態と同様である。

図１１に本実施形態における、駐車スペースの検出結果の例を示す。図に示すとおり、同時に広範囲を撮影することが可能となる。

このような構成によれば、車両の全方位を撮像することが可能となるため、計測範囲を拡大でき、探索可能な範囲を広げることができる。その結果、１台のカメラでは死角になっていた駐車スペースでも、自車両の向きを変えることなく検出することが可能となる。

次に第三の実施形態にかかる駐車スペース認識装置１０について説明する。第一および、第二の実施形態ともに、カメラから取得した１フレームの俯瞰画像に対してＳ１５０からＳ８００までの認識処理を行っていた。

これに限らず、カメラから取得した複数フレームの俯瞰画像をつなぎ合わせた画像（モザイク画像）に対して認識処理を行ってもよい。以下、第一および第二の実施形態と比較して、異なる箇所について説明する。

本実施形態では、車両後方に取り付けられた一台のカメラ１を用いる。なお、カメラの台数は１台の場合に限定されるものではなく、第二の実施形態の様に４台のカメラを用いるといった、複数台のカメラを用いてもよい。

まず、カメラ１で撮像された実画像から、過去に撮像した画像を一枚にまとめたモザイク画像を生成する。より具体的には、カメラ１で撮像される画像を俯瞰変換し、メモリ５１に時系列順に蓄積する。次に、過去に合成されたモザイク画像に、最新の俯瞰画像を接続するモザイキング処理を施す。モザイキング処理とは、連続的に入力された画像から得られる複数の画像を繋ぎ合わせて、１枚のモザイク画像を作成する処理である。

本実施形態では、図１９に示すとおり、第二の実施形態の初期化処理（Ｓ２００）に加えて、モザイキング処理（Ｓ２２０）が追加される。モザイキング処理の流れを図２５に示す。

まず、図３１の様に、対象領域Ｐの移動方向（縦方向）の画素数Ｎを検出する（Ｓ１３１）。画素数Ｎは、例えば、フレームレート（数／ｓ），単位時間あたりの移動距離（ｍ／ｓ），フレーム画像９００の移動方向の画素数，移動方向への単位距離あたりの画素数（数／ｍ）から算出することが可能である。なお、移動距離は、自車両の車速センサ等の検出する走行速度を取得して算出すればよい。また、予め一定値の速度を設定し、基準の速度として使用することも可能である。

次に、画素数Ｎが所定の閾値Ｔ₁以上か否かを判断する（Ｓ１３２）。閾値Ｔ₁は、対象領域Ｐの大きさを決定するための任意の値である。具体的には、画素数Ｎが閾値Ｔ₁以上であると判断した場合（Ｓ１３２でＹＥＳ）、対象領域Ｐをモザイク画像９２０（Ｐ０−１１）に接続して（Ｓ１３３）、最新のモザイク画像９２０（Ｐ１−１２）を得る。さらに、メモリ５１のモザイク画像９２０（Ｐ０−１１）を最新のモザイク画像９２０（Ｐ１−１２）に更新して（Ｓ１３４）、Ｓ２２０の処理を終える。

画素数Ｎが閾値Ｔ₁以上ではないと判断した場合には（Ｓ１３２でＮＯ）、対象領域Ｐの縦方向の画素数が不足しているため、Ｓ１５０に戻って処理を繰り返す。

ステップ１３３における画像の接続方法としては、様々な方法が知られているが、例えば、文献「金澤靖、金谷健一、共著、“段階的マッチングによる画像モザイク生成”、電子情報通信学会論文誌、Ｖｏｌ．Ｊ８６−ＤＩＩ，Ｎｏ．６，ｐｐ．８１６−８２４，２００３．」に記載のような、段階的マッチング手法を用いることが可能である。

この手法では、まず、２画像の特徴点を抽出し、各点の近傍をテンプレートマッチングによって対応させる。その際、投票によって回転やスケール変化、射影的ひずみを段階的に推定し、テンプレート自身を変形させることによって、精度の高いモザイク画像を得ることが可能である。

本実施形態では、このＳ２２０で生成されたモザイク画像を画像認識入力画像４００として扱い、以降の処理内容は、第一および第二の実施形態と同様である。

このような構成によれば、モザイク画像は、高精細でかつ広範囲の俯瞰画像であるため、計測範囲を拡大でき、探索可能な範囲を広げることができる。その上、高精細な俯瞰画像が生成されるため、駐車枠線の検知精度やテンプレートマッチングの性能が向上し、より安定した駐車スペース認識が可能となる。

本発明は上記の実施形態に限定されるものではなく、その要旨の範囲内で様々な変形が可能である。

第一の実施形態にかかる駐車スペース認識システム１１の機能構成を示すブロック図。 駐車スペース認識装置１０の電気的な構成を示すブロック図。 第一の実施形態における駐車スペースの認識結果表示の例。 自車両の種別を考慮した駐車スペースの優先度の設定についての具体例１。 自車両の種別を考慮した駐車スペースの優先度の設定についての具体例２。 自車両の種別を考慮した駐車スペースの優先度の設定についての具体例３。 自車両の種別を考慮した駐車スペースの優先度の設定についての具体例４。 自車両の種別を考慮した駐車スペースの優先度の設定についての具体例５。 自車両の種別を考慮した駐車スペースの優先度の設定についての具体例６。 第二の実施形態にかかる駐車スペース認識システム１１の機能構成を示すブロック図。 第二の実施形態における駐車スペースの検出結果の例。 路面表示認識処理を行う際の画像処理領域４０１を示す図。 エッジ強度を駐車枠線２０に対して平行な方向（Ｘ方向）と、垂直な方向（Ｙ方向）それぞれに投影した図。 路面表示４０２のテンプレートの正規化を説明する図。 駐車スペース認識装置１０が、センサ情報から駐車位置座標を生成する際の処理の流れを示すフロー図。 初期化処理（Ｓ１００）の流れを示すフロー図。 第一の実施形態における前処理（Ｓ２００）の流れを示すフロー図。 第二の実施形態における前処理（Ｓ２００）の流れを示すフロー図。 第三の実施形態における前処理（Ｓ２００）の流れを示すフロー図。 駐車可能空間探索処理（Ｓ３００）の流れを示すフロー図。 全駐車可能空間に対する路面表示認識処理（Ｓ６００）の流れを示すフロー図。 各駐車可能空間［ＩＤ］に対応づけられる駐車枠番号と、駐車スペースの種別コードと、それらの意味の一例を示す図。 駐車スペースの意味５０１に対応するテンプレートコード５００と、それに付加される探索優先度設定値５０２を含めたデータ構造の一例を示す図。 駐車スペース決定処理（Ｓ８００）の流れを示すフロー図。 モザイキング処理（Ｓ２２０）の流れを示すフロー図。 路面表示のテンプレートの一例を示す図。 画像認識で検出された駐車空間候補７０の示す図。 超音波センサ５からの距離情報６１を俯瞰画像６０の座標上にマッピングした図。 画像認識で検出された駐車空間候補７０と、超音波センサの情報から検出された駐車空間候補７１との結果を融合し、センサフュージョンで得られた駐車空間候補７２の図。 路面表示テンプレートに含まれる情報の一例を示す図。 フレーム画像と、俯瞰画像と、モザイク画像と、の概略図。

符号の説明

１ カメラ
１−Ｆ フロントカメラ
１−Ｂ リアカメラ
１−Ｌ 左カメラ
１−Ｒ 右カメラ
２ 車両固有情報
３ 車両ネットワーク
４ ユーザーインタフェース
５ 超音波センサ
６ 外部記憶装置
７ 外部通信装置
８ モニタ
９ 位置固有情報
１０ 駐車スペース認識装置
１１ 駐車スペース認識システム
１５ 運転者固有情報
２０ 駐車枠線
２１ 身体障害者等用駐車場表示
２２ 軽自動車用駐車場表示
２３ 駐車枠番号表示
３０ 第一候補として認識した駐車スペース
３１ 第二候補として認識した駐車スペース
３２ 第三候補として認識した駐車スペース
５０ ＣＰＵ
５１ メモリ
５２ 画像演算回路
５３ Ａ／Ｄ変換回路
５５ 信号線
６０ 俯瞰画像
６１ 距離情報
６２ 検出された駐車枠線
７０ 画像認識で検出された駐車空間候補
７１ 超音波センサの情報から検出された駐車空間候補
７２ センサフュージョンで得られた駐車空間候補
８０ カーナビゲーション装置
９０ 一般の車両
９１ 一般の軽自動車
９２ 身体障害者用の車両
９５ 駐車車両
１００ 撮影範囲
１００−Ｆ フロントカメラによる撮影範囲
１００−Ｂ リアカメラによる撮影範囲
１００−Ｌ 左カメラによる撮影範囲
１００−Ｒ 右カメラによる撮影範囲
１０１ 俯瞰合成画像
２００ 路面表示テンプレートデータベース
２０１ 駐車スペース認識機能
２０２ 駐車スペース認識結果表示機能
２０３ 駐車スペース決定機能
２０４ 駐車位置座標出力機能
２０５ 車両制御装置
２０６ 車両情報取得機能
２０７ 画像変換合成機能
４００ 画像認識入力画像
４０１ 画像処理領域
４０２ 路面表示
４０３ 初期テンプレート
４０４ 正規化テンプレート
５００ テンプレートコード
５０１ 駐車スペースの意味
５０２ 探索優先度設定値
Ｈ１ 路面表示の候補領域の縦サイズ［Pixel］
Ｗ１ 路面表示の候補領域の横サイズ［Pixel］
Ｈｄ データベースに登録されているテンプレートの縦サイズ［Pixel］
Ｗｄ データベースに登録されているテンプレートの横サイズ［Pixel］
Ｒｈ テンプレートの縦サイズを正規化するための係数
Ｒｗ テンプレートの横サイズを正規化するための係数
Ｈｔ 正規化したテンプレートの縦サイズ［Pixel］
Ｗｔ 正規化したテンプレートの横サイズ［Pixel］

Claims (11)

1. 自車両が空間的に進入可能なスペースを検出するセンシング手段と、
   前記スペースを含む領域の画像を取得する画像取得手段と、
   前記取得画像に対して予め用意された基準となるテンプレートと照合することで前記スペースに表示されている駐車スペースの用途を認識する駐車スペース用途認識手段と、
   前記駐車スペース用途認識手段の結果と、予め登録された固有情報によって、自車両が駐車可能な駐車スペースに対して優先順位が付加される、駐車スペース認識装置。
2. 前記画像取得手段は、車載カメラで取得した画像を垂直方向から見下ろす画像に変換する処理を含む、請求項１記載の駐車スペース認識装置。
3. 前記センシング手段は、超音波センサから取得される距離情報を取得する測距手段と、車載カメラで撮像された画像から得られる輝度情報取得手段と、を融合することによって実現する、請求項１又は２記載の駐車スペース認識装置。
4. 前記画像取得手段は、お互いが異なる領域を撮像する複数の車載カメラからで構成され、前記複数のカメラで取得された画像を１つの画像に合成する処理を含む、請求項２又は３記載の駐車スペース認識装置。
5. 前記固有情報には、車両の寸法情報，福祉車両または身体障害者用車両であるか否かの情報、運転者又は車両が契約している駐車場番号の情報，運転者の年齢，運転者の運転歴のいずれか一つを含む、請求項１乃至３何れか一に記載の駐車スペース認識装置。
6. 前記固有情報には、自車の現在位置情報を含む、請求項１乃至５何れか一に記載の駐車スペース認識装置。
7. 前記固有情報において、自車両が福祉車両または身体障害者用車両である場合、当該駐車スペースに対する探索優先度を、初期値より高く設定する、請求項１乃至６何れか一に記載の駐車スペース認識装置。
8. 前記固有情報において、運転者の年齢が高齢運転者に該当する場合、高齢運転者用駐車スペースに対する探索優先度を、初期値より高く設定する、請求項１乃至７何れか一に記載の駐車スペース認識装置。
9. 前記テンプレートは、ユーザーが任意の情報を登録できる、請求項１乃至８何れか一に記載の駐車スペース認識装置。
10. 前記テンプレート登録方法は、前記車載カメラで撮影した画像，外部記憶装置や、外部通信手段，車両ネットワークのいずれかによって実現する、請求項９記載の駐車スペース認識装置。
11. 前記候補となる駐車スペースはモニタ画面に出力され、前記駐車スペースに対する優先順位を、駐車スペースを縁取る線の太さ，線の種別，数字の表示の何れかの方法で表現する、請求項１乃至１０何れか一に記載の駐車スペース認識装置。

Images