JP2009111536A - 車両用後方確認システム及びその誘導方法 - Google Patents

Abstract

【課題】所定の位置に繰り返し駐車する場合に、運転者の経験の有無や技量に左右されることなく、運転者に対して適切な誘導情報を告知可能な車両用後方確認システムを提供することを目的とする。
【解決手段】車両の後方を撮像する撮像部と、撮像部が撮像する画像をリアルタイム表示する表示部とを備える車両用後方確認システムにおいて、撮像部が、車両停止位置において撮像する停止位置画像を記憶する記憶部と、記憶部が記憶する停止位置画像と、撮像部が車両の後退時に撮像する後退時画像とを比較する比較部と、比較部による比較に基づき後退時の誘導情報を演算する誘導情報演算部と、誘導情報演算部が演算する誘導情報を車両の運転者に告知する告知手段とを備える車両用後方確認システムとする。
【選択図】図１

Description

本発明は、車両用後方確認システムに関し、特に車両後退時に運転者に誘導情報を告知する車両用後方確認システムに関する。

従来、車両の後退時に、運転者が後方を確認できるように、車両の後方を撮像装置で撮像し、その撮像画像を表示装置に表示する車両用後方確認システムが知られている。車両の運転者は、車両用後方確認システムにより、車両のトランクや貨物室等によって遮られて直接目視ができないような車両後方であっても、撮像画像を通じて安全確認等ができる。

車両用後方確認システムの撮像装置は、例えば車両のギアが後退ギアになると通電され、撮像を開始する。また、車両のギアが後退ギアになると、車両が備えるナビゲーションシステムやカーオーディオ等の表示装置が、車両後方画像の表示へと切り替わり、撮像装置が撮像する車両後方の画像を表示する。

また、車両後方の画像だけでなく、運転者が車両を後退させる場合に、運転者を支援するような追加表示を併せて行う車両用後方確認システムも提案されている。運転者を支援する追加表示には、車両の大きさや車両の向きに対応する範囲を後退予想曲線として形成し、撮像装置が撮像する車両後方の画像へ重畳して表示装置に表示するものがある。

このような支援を行う車両用後方確認システムは、対応する車種の車幅や撮像装置取り付け位置やステアリング特性等に応じて、表示装置に車両の予測される後退進路等を自動的に表示する。従って、一般には車両特性に応じて車種に固有のシステムとなる。一方で、異なる車種にも使用できるよう、汎用性を持たせて設定を行える車両用後方確認システムも提案されている。

しかし、従来の車両用後方確認システムにおいては、あくまで車両後方の撮像画像を表示装置に表示して、運転者に視認させることを主たる目的としていた。また、運転者を支援する追加機能を有する車両用後方確認システムにおいても、車両後退時の予測進路を表示したり、車幅の延長線を表示したりするのみであった。

このような車両用後方確認システムは、例えば下記特許文献１に提案されている。
特開２００４−７２３９３号公報

従来の車両用後方確認システムを使用する車両の運転者は、表示装置に表示される車両後方の画像等に基づき、どの位置に車両を停車させるべきかを自ら判断しなければならない。

また、運転者は、表示装置に表示される車両後方の画像等に基づき、車両を停止させようとする所定の位置と、車両の現在の位置との位置ズレ量等を自ら判断しなければならなかった。

しかし、平面的に表示される車両後方の画像を見て、車両停止位置を正確に判断することは、必ずしも容易ではないことが懸念される。また、車両を停止させようとする所定の位置と、車両の現在の位置との位置ズレ量等を判断して車両の後退方向を決定する事は、運転者の経験が必要とされ、また運転者の技量にも左右されるところであった。

本発明は、このような問題点に鑑みなされたものであって、所定の位置に駐車する場合に、運転者の経験の有無や技量に左右されることなく、運転者に対して適切な誘導情報を告知可能な車両用後方確認システムを提供することを目的とする。

本発明の車両用後方確認システムは、車両の後方を撮像する撮像部と、撮像部が撮像する画像をリアルタイム表示する表示部とを備える車両用後方確認システムにおいて、撮像部が、車両停止位置において撮像する停止位置画像を記憶する記憶部と、記憶部が記憶する停止位置画像と、撮像部が車両の後退時に撮像する後退時画像とを比較する比較部と、比較部による比較に基づき後退時の誘導情報を演算する誘導情報演算部と、誘導情報演算部が演算する誘導情報を車両の運転者に告知する告知手段とを備えることを特徴とする。

また、本発明の車両用後方確認システムは、好ましくは操作が入力される操作部と、撮像部が撮像する画像の特徴を抽出する特徴抽出部とをさらに備え、記憶部は、特徴抽出部が抽出した停止位置画像の特徴の中から、操作部により選択指定された指定特徴を記憶し、比較部は、記憶部が記憶する指定特徴と、特徴抽出部が抽出する後退時画像の指定特徴に対応する特徴とを比較することを特徴とする。

また、本発明の車両用後方確認システムは、好ましくは撮像部が車両停止位置において撮像する複数の停止位置画像を順次記憶する第一の記憶部と、第一の記憶部が記憶する複数の停止位置画像と、車両の後退時に撮像部が撮像する後退時画像とを比較する第一の比較部と、比較部による比較に基づき同一シ−ンに対応する画像数をカウントするカウント部と、カウント部によるカウント数が所定数になると同一シ−ンに対応する停止位置画像を記憶する第二の記憶部と、第二の記憶部が記憶する停止位置画像と、車両の後退時に撮像部が撮像する後退時画像とを比較する第二の比較部とを備えることを特徴とする。

また、本発明の車両用後方確認システムは、さらに好ましくは操作が入力される操作部と、撮像部が撮像する画像の特徴を抽出する特徴抽出部とをさらに備え、第一の記憶部は、複数の停止位置画像から特徴抽出部が抽出した複数の停止位置画像の各々の特徴を順次記憶し、第一の比較部は、第一の記憶部が記憶する複数の停止位置画像の各々の特徴と、車両の後退時に撮像部が撮像する後退時画像の特徴とを比較し、第二の記憶部は、カウント部によるカウント数が所定数になると同一シ−ンに対応した停止位置画像の特徴の中から、操作部により選択された指定特徴を記憶し、第二の比較部は、第二の記憶部が記憶する指定特徴と、特徴抽出部が抽出した後退時画像の特徴の中の指定特徴に対応する特徴とを比較することを特徴とする。

また、本発明の車両用後方確認システムによる誘導方法は、車両の後方を撮像する撮像部と、撮像部が撮像する画像をリアルタイム表示する表示部とを備える車両用後方確認システムにおいて車両の後退時に運転者を誘導する方法であって、車両停止位置において予め撮像された停止位置画像と、撮像部が車両の後退時に撮像する後退時画像とを比較部で比較する工程と、比較部による比較に基づき誘導情報演算部が車両の後退時の誘導情報を演算する工程と、誘導情報演算部が演算する誘導情報を告知手段が車両の運転者に告知する工程とを有することを特徴とする。

また、本発明のプログラムは、車両の後方を撮像する撮像部と、撮像部が撮像する画像をリアルタイム表示する表示部とを備える車両用後方確認システムにおいて車両の後退時に運転者の誘導を車両用後方確認システムに行わせるプログラムであって、車両停止位置において予め撮像された停止位置画像と、撮像部が車両の後退時に撮像する後退時画像と、を比較部で比較する手順と、比較部による比較に基づき誘導情報演算部が車両の後退時の誘導情報を演算する手順と、誘導情報演算部が演算する誘導情報を告知手段が車両の運転者に告知する手順とを車両用後方確認システムに実行させることを特徴とする。

この発明により、運転者の経験の有無や技量に左右されることなく、運転者に対して適切な誘導情報を告知可能な車両用後方確認システムとすることができる。

実施形態で例示する車両用後方確認システムは、車両の後部に取り付けられる撮像装置で、トランクや貨物室等に遮られて運転者が視認できない車両後方を撮像する。撮像装置で撮像する画像は、リアルタイムで運転者に視認できるように表示する。

運転者は、表示部に表示される車両後方の画像を見ることで、現在の車両後方の状況を時間遅れなしに把握できる。また、予め記憶する所定の車両停止位置と、後退時現在の車両後方の状況との差異等から、所定の車両停止位置へ車両を停車するための適切な誘導情報を演算する。

また、演算した誘導情報を、車両を後退させている運転者に、リアルタイムで音声情報等により告知する。運転者は、車両用後方確認システムから告知される誘導情報を参考にして、所定の車両停止位置に車両の配置を行える。

運転者は、表示装置に表示される車両後方等の画像情報と、車両用後方確認システムから告知される誘導情報とを加味して、車両の後退を行うこともできる。従って、正確な車両配置が行えるだけでなく、運転者の後退運転をより厚く支援する車両用後方確認システムとできる。

以下、図面に基づいて実施形態を説明する。

（第一の実施形態）
図１は、本発明の第一の実施形態にかかるシステム構成概念図である。図１において、車両用後方確認システム１００は、車両後部に撮像部１０を備える。撮像部１０は、例えばＣＣＤやＣＭＯＳイメージセンサを用いることとできる。

また、車両用後方確認システム１００は、車両後退時に車両後方を照射する照明部２０を備える。照明部２０が車両後方を照射することにより、運転者は夜間等においても車両後方の視認が可能となる。また、照明部２０が車両後方を照射することにより、撮像部１０がより鮮明に車両後方を撮像できる。

車両用後方確認システム１００は、撮像部１０で撮像する画像をＡ／Ｄ変換部３０でディジタル信号に変換した後、画像処理部４０で所望の画像処理を行う。画像処理部４０は、例えばホワイトバランス処理やガンマ補正、階調補正等を行い、撮像画像を再現性良く正確に視認できるように画像処理を行う。

画像処理部４０は、ＡＳＩＣ等により構成することができるが、リアルタイム表示することから処理遅延時間が短い方が好ましい。従って、どのような画像処理を行うかについては、ＡＳＩＣ等の処理能力との関係で決めることとしてもよい。

また、車両用後方確認システム１００は、フラッシュメモリ９０に格納されるプログラムにより動作するＣＰＵ７０を備える。ＣＰＵ７０は、車両用後方確認システム１００の制御全体をコントロールする構成とすることができる。また、ＣＰＵ７０は、マルチプロセッサシステム等として構成してもよい。

また、車両用後方確認システム１００は、必要に応じてフラッシュメモリ９０にバージョンアッププログラム等を書き換え可能であり、ファームアップやメンテナンスに対応できる。

また、ＣＰＵ７０には、停止検出部５０と操作部６０とからの情報を入力する構成とする。停止検出部５０は、例えばパーキングブレーキの動作情報やパーキングギアの作動状況、車両の速度計からの速度情報等の入力により、車両の停止状態を検出する。典型的には、自宅車庫の駐車場等において、車両が所定の駐車位置等に駐車したことを検出する。

操作部６０は、操作ボタン等により運転者の指示を入力できる構成とし、各種設定入力が行える構成とする。タッチパネルを用いて表示部１３を構成する場合には、操作部６０からの入力は、表示部１３からの操作入力により代替できる。

ＣＰＵ７０は、比較部７１と誘導情報演算部７２とを備える。比較部７１は、記憶部８０が予め記憶する所定の車両停止位置の画像情報と、撮像部１０で撮像する撮像画像とを比較する。比較部７１は、例えばブロックマッチングやモーションベクトル、エッジ検出等の公知の画像マッチング手法を用いて比較する。記憶部８０は、不揮発性メモリを用いることとでき、ＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ等で構成してもよい。

また、予め記憶する所定の車両停止位置の画像情報は、典型的には繰り返し駐車する自宅駐車場において、所定の駐車位置に車両を停止する状態で、撮像部１０が撮像する車両後方の画像とする。

また、誘導情報演算部７２は、比較部７１での比較結果に基づき、運転者に告知する誘導情報を算出する。誘導情報は、例えば「車両左側５０センチです」等の音声情報としてもよい。また、誘導情報自体は、記憶部８０に予めテーブル等を格納しておき、ＣＰＵ７０が、記憶部から最適な誘導情報を選定し、読み出すこととできる。

撮像部１０で撮像する撮像画像や誘導情報演算部７２で算出する誘導情報は、無線インターフェース１１を介して表示部１３に伝送し、表示する。また、誘導情報演算部７２で算出する誘導情報は、運転者に聞き取り可能に備えられる音声出力部１４により、運転者に告知する。

車両用後方確認システム１００は、撮像部１０を載置する車両後方と、表示部１３を載置する運転席近傍とが、車種に応じて離れているので、無線による伝送として例示する。しかし、これに限られず、有線接続による画像情報等の伝送を行う構成としてもよい。

また、車両用後方確認システム１００は、誘導情報演算部７２で算出する誘導情報に重畳して、撮像部１０で撮像する画像と、車幅線や後退予測曲線等と、を表示部１３に表示してもよい。また、表示部１３は、描画処理部１２による所望の処理を経て描画処理された画像を表示する。

次に、図２を用いて車両用後方確認システム１００の動作について説明する。図２は、車両用後方確認システム１００の動作を説明する動作フロー図である
（ステップＳ２１）
ＣＰＵ７０は、車両が後退ギアにはいっており後退状態であるかどうかを判断する。後退ギアにはいっていればステップＳ２２に進み、後退ギアにはいっていなければステップＳ２１で待機する。

（ステップＳ２２）
ＣＰＵ７０は、記憶部８０に予め格納された停止位置画像の読み出しを指示する。読み出した停止位置画像は、現在後退している車両が最終的に停止するべき位置の後方画像である。

（ステップＳ２３）
車両用後方確認システム１００は、撮像部１０により車両の後方の画像を撮像して取り込む。撮像部１０への画像取り込み指示は、ＣＰＵ７０が行う。撮像部１０が取り込む車両後方の画像は、画像処理部４０で所望の画像処理を行い運転者に視認し易く加工する。

（ステップＳ２４）
比較部７１は、撮像部１０で撮像する画像と、ステップＳ２２で記憶部８０から読み出した停止位置画像とを比較する。比較部７１は、パターンマッチングによる比較を行うこととできる。また、比較部７１は動的輪郭抽出法等による公知の対象輪郭抽出手法を用いて、対象同士を照合して撮像画像と、停止位置画像とを比較してもよい。また、比較部７１は、いわゆるブロックマッチングを用いて比較してもよい。比較部７１が処理に用いる各比較手法は、複数の手法が既知であるのでここでは詳述を避ける。

（ステップＳ２５）
ＣＰＵ７０は、比較部７１での比較結果に基づいて、撮像部１０で撮像する画像と、ステップＳ２２で記憶部８０から読み出した停止位置画像とが同一であるかどうかを判断する。このステップＳ２５での判断処理は、比較部７１で行う構成としてもよい。また、ＣＰＵ７０とは別途に専用の処理演算部を備えてもよい。

ＣＰＵ７０は、比較部７１での比較結果に基づいて、車両が所定の停車位置であるのか所定の停止位置でないのかを判断する。すなわち、記憶部８０に設定されていた所定の停止位置画像に対応する停止位置に、現在車両が停止しているのかしていないのかを判断する。

停止位置画像と同一であればステップＳ２６へと進み、停止位置画像と同一でなければステップＳ２７へと進む。典型的には、ＣＰＵ７０が、車両は所望の停止位置に停止していると判断すればステップＳ２６へと進み、ＣＰＵ７０が、車両は所望の停止位置に停止していないと判断すればステップＳ２７へと進む。

なお、撮像部１０で撮像する画像は、天候や季節、時間等により同じシーンを撮像する場合であっても、微妙に異なると思われる。従って、比較する画像同士が完全に同一である必要はない。所望の停止位置に停止できていることを一定の信頼性の下に確認できる程度に、同一であればよい。

（ステップＳ２６）
ＣＰＵ７０は、表示部１３に、車両が既に所望の停止位置に停車している事を告知する案内を表示させる。またＣＰＵ７０は、音声出力部１４に、車両が既に所望の停止位置に停車していることを告知する案内をアナウンスさせる。

（ステップＳ２７）
誘導情報演算部７２は、撮像部１０で撮像する画像と、記憶部８０から読み出した停止位置画像との差異を演算する。誘導情報演算部７２は、撮像画像と停止位置画像との差異から、例えばモーションベクトル等を用いて、車両のズレ方向とズレ量を算出する。

ズレ方向は、典型的には所望の停止位置に対して、現在の車両の位置を示すズレ方向であり、例えば車両の前後左右等で示すものとする。また、ズレ量は、典型的には所望の停止位置に対して、現在の車両の位置を示すズレ量であり、例えば３０センチ等と距離で示すものとする。

また、この場合に操作部６０からの設定により、ズレ量に対して運転者が意図するカスタマイズ駐車位置を重畳してもよい。例えば、所定の駐車位置に対して、今回の駐車は６０センチ前方に停車させる等の設定が可能とする。これにより、駐車毎の特異条件があっても対応可能な車両用後方確認システムとなる。例えば、急遽駐車場後方に、自転車等が置かれている場合であっても対応でき、誘導情報のガイダンスが可能となる。

（ステップＳ２８）
ＣＰＵ７０は、表示部１３に、車両の誘導情報を表示させる。またＣＰＵ７０は、音声出力部１４に、車両の誘導情報をアナウンスさせる。

典型的には、ＣＰＵ７０は、表示部１３に、所望の停止位置に対して現在の車両の位置を示すズレ方向を表示させる。また、ＣＰＵ７０は、表示部１３に、所望の停止位置に対して現在の車両の位置を示すズレ量を表示させる。

また、ＣＰＵ７０は、音声出力部１４に、所望の停止位置に対して現在の車両の位置を示すズレ方向をアナウンスさせる。また、ＣＰＵ７０は、音声出力部１４に、所望の停止位置に対して現在の車両の位置を示すズレ量をアナウンスさせる。

なお、誘導情報演算部７２は、所望の停止位置に対して現在の車両位置の差異や方向だけではなく、所望の停止位置に停車するためのハンドル切り角や、そのハンドル切り角での後退距離等を演算し、誘導情報として告知してもよい。誘導情報演算部７２は、運転者がスムーズに所望の停車位置に停車することができるように、種々の運転者を支援する誘導情報を演算する。

車両用後方確認システム１００が誘導情報のアナウンスを行うことにより、運転者は、車両の後退に際し、所望の停車位置にどのようにすれば停車できるかをより正確に把握できる。

従来、運転者は、表示部１３に表示される車両後方の状況を示す画像を見て必要な後退動作方向や後退移動距離の判断をしなければならない。しかし、車両用後方確認システム１００が誘導情報のアナウンスを行うので、アナウンスにより運転者自らの判断を確認し、又は検証できる。

従って、運転者は、より確実で信頼性高く、また再現性良く車両を後退させて、所望の停車をすることができる。従って、運転者の体調等に左右されず安全であるだけでなく、迅速的確な後退操車となる。

次に、ＣＰＵ７０が画像の特徴を抽出する場合について、第二の実施形態で説明する。

（第二の実施形態）
第二の実施形態で例示する車両用後方確認システム１００は、ＣＰＵ７０が撮像部１０で撮像する画像の特徴を抽出する。また、車両用後方確認システム１００は、ＣＰＵ７０が抽出した停止位置画像の特徴の中から、運転者が指定する所望の特徴を記憶部８０に記憶する。そして、記憶部８０が記憶する特徴を、所定の停止位置画像の特徴とする。

また、ＣＰＵ７０は、運転者が車両を後退させる場合に、撮像部１０で車両後方を撮像して得た後退時画像から特徴を抽出する。比較部７１は、ＣＰＵ７０が抽出した車両後退時画像の特徴と、記憶部８０に格納されている停止位置画像の特徴とを比較する。

誘導情報演算部７２は、比較部７１の比較結果に基づき運転者に告知する誘導情報を演算する。そして表示部１３は、誘導情報演算部７２が演算する誘導情報を表示する。また、音声出力部１４は、誘導情報演算部７２が演算する誘導情報をアナウンスする。

第二の実施形態の構成は、ＣＰＵ７０が特徴抽出する機能をさらに有する以外は、第一の実施形態の構成と同じであるので、説明を省略する。ＣＰＵ７０が特徴抽出するための処理プログラムは、例えばフラッシュメモリ９０にインストールすることとできる。

次に、第二の実施形態における車両用後方確認システム１００の動作概要を説明する。図３は、第二の実施形態にかかる車両用後方確認システム１００の動作フローを示す図である。下記に説明する動作フローは、繰り返し停車する駐車場等の特徴を設定する動作を行うものである。

（ステップＳ３１）
ＣＰＵ７０は、停止検出部５０からの入力情報に基づき車両が停止状態であるかどうかを判断する。車両が停止状態であればステップＳ３２へと進み、停止状態でなければステップＳ３１で待機する。

（ステップＳ３２）
ＣＰＵ７０は、撮像部１０に車両後方の停止位置画像を取り込みを指示する。また、撮像部１０の画像取り込みに対応して、照明部２０が車両後方を照明する。また、画像処理部４０は、撮像部１０が取り込んだ停止位置画像に対し、所望の画像処理を行う。

（ステップＳ３３）
ＣＰＵ７０は、撮像部１０が取り込んだ車両後方の停止位置画像から特徴抽出を行う。ＣＰＵ７０は、例えば公知のエッジ抽出や輪郭抽出により対象の輪郭を抽出する等により、特徴抽出する。このため、ＣＰＵ７０が、不図示の特徴抽出部を備える構成としてもよい。

ＣＰＵ７０は、例えば図４に例示する対象について、特徴を抽出する。図４は、車両用後方確認システム１００の認識パターン例を説明する図である。ＣＰＵ７０は、図４（ａ）に示す「白線」を特徴的な対象として抽出する。また、ＣＰＵ７０は、図４（ｂ）に示す「ガレージ等の見切り線」を特徴的な対象として抽出する。また、ＣＰＵ７０は、図４（ｃ）に示す「縁石」を特徴的な対象として抽出する。また、ＣＰＵ７０は、図４（ｄ）に示す「柱や木」を特徴的な対象として抽出する。

また、抽出する特徴は対象物に限られず、例えば画像の特定位置の明暗パターンやエッジパターンとしてもよい。抽出する特徴をエッジパターンとする場合には、停止位置画像中の特定の画素一ライン分について、エッジが出現する位置とエッジ強度等のパターンを固有の特徴とする。また、特定の画像ブロックについて、エッジの２次元分布パターンを固有の特徴としてもよい。

（ステップＳ３４）
表示部１３は、ＣＰＵ７０の指示により、ステップＳ３３で抽出した特徴を表示する。例えば、表示部１３は、図４（ｃ）に示す二つの縁石を特徴的な対象として、縁石のいずれか又は両方を選択指定可能なように、ポップアップ表示や強調表示等する。

（ステップＳ３５）
運転者は、操作部６０からの操作入力により、特徴とする対象を選択して指定する。表示部１３をタッチパネルにより構成する場合は、操作部６０と共に又は操作部６０に換えて、表示部１３から入力することとできる。

運転者からの指定があればステップＳ３６へと進み、運転者からの指定がなければステップＳ３３へと戻る。なお、運転者は、好ましくは所望の停止位置画像に特有な固有の対象等を特徴として選択する。運転者が特有な固有の対象等を選択すれば、比較部７１は他の停車位置等と、より明瞭に分別比較可能となる。従って、ＣＰＵ７０は、より正確な判断ができる。

（ステップＳ３６）
記憶部８０は、ＣＰＵ７０の指示により、ステップＳ３５で選択指定された特徴を記憶する。特徴のみの記憶となるので、第一の実施形態で示す例に比して、記憶部８０に必要とされる記憶容量を少なくできる。また、ＣＰＵ７０やその他画像データ通信等に関わる処理負荷も小さくなるので好ましい。このステップＳ３６までが、所定の停止位置画像の特徴を、予め車両用後方確認システム１００へ設定登録する準備動作となる。

（ステップＳ３７）
ＣＰＵ７０は、車両が後退ギアにはいっており後退状態であるかどうかを判断する。後退ギアにはいっていればステップＳ３８へと進み、後退ギアにはいっていなければステップＳ３７で待機する。

（ステップＳ３８）
ＣＰＵ７０は、記憶部８０に予め格納された停止位置画像の特徴を読み出すように指示する。読み出した停止位置画像の特徴は、現在後退している車両が最終的に停止するべき目標位置の車両後方画像の特徴に対応する。

（ステップＳ３９）
車両用後方確認システム１００は、撮像部１０から車両の後方の後退時画像を取り込む。撮像部１０への画像取り込み指示は、ＣＰＵ７０が行う。撮像部１０が取り込む車両後方の後退時画像は、画像処理部４０が運転者に視認し易いように所望の画像処理をする。

（ステップＳ３ａ）
ＣＰＵ７０は、撮像部１０が取り込んだ画像から特徴を抽出する。ＣＰＵ７０が抽出する特徴は、記憶部８０が記憶する停止位置画像の指定特徴に対応する特徴とできる。

（ステップＳ３ｂ）
比較部７１は、撮像部１０で撮像する画像の特徴と、記憶部８０から読み出した停止位置画像の指定特徴とを比較する。比較部７１は、パターンマッチングによる比較を行うこととできる。また、比較部７１は動的輪郭抽出法等による公知の対象抽出手法を用いて、撮像画像と、停止位置画像との対象の輪郭を比較してもよい。また、比較部７１は、ブロックマッチング手法を用いて比較してもよい。比較部７１が処理に用いる各比較手法は、複数の手法が既知であるので、ここでは詳述を避ける。

（ステップＳ３ｃ）
ＣＰＵ７０は、比較部７１での比較結果に基づいて、撮像部１０で撮像する画像の特徴と、ステップＳ２２で記憶部８０から読み出した停止位置画像の対応する特徴とが同一であるかどうかを判断する。このステップＳ３ｃでの判断処理は、比較部７１で行う構成としてもよい。

ＣＰＵ７０は、比較部７１での比較結果に基づいて、車両が所定の停車位置であるのか所定の停止位置でないのかを判断する。すなわち、現在の車両は、記憶部８０に設定されていた特徴に対応する所定の停止位置に、停止しているのか停止していないのかを判断する。

ＣＰＵ７０は、特徴の位置、大きさ、範囲等が同一であって、停止位置画像と同一特徴であれば、所定の停止位置に停止していると判断する。典型的には、停止位置画像と同一であれば、ステップＳ３ｄへと進む。また、停止位置画像と同一でなければ、ステップＳ３ｅへと進む。

すなわち、ＣＰＵ７０が車両は所望の停止位置に停止していると判断する程度に、画像が同一であればステップＳ３ｄへと進む。また、ＣＰＵ７０が車両は所望の停止位置に停止していないと判断する程度に、画像が同一でなければステップＳ３ｅへと進む。ＣＰＵ７０は、同一性の判断にパターンマッチング等公知の画像比較方法を用いる。

（ステップＳ３ｄ）
ＣＰＵ７０は、表示部１３に、車両が既に所望の停止位置に停車していることを告知する案内を表示させる。またＣＰＵ７０は、音声出力部１４に、車両が既に所望の停止位置に停車していることを告知する案内をアナウンスさせる。

（ステップＳ３ｅ）
誘導情報演算部７２は、撮像部１０で撮像する画像の特徴と、記憶部８０から読み出した停止位置画像の特徴との差異を演算する。また、誘導情報演算部７２は、撮像画像と停止位置画像との差異から、例えばモーションベクトル等を用いて、ズレ方向とズレ量を算出する。

ズレ方向は、典型的には所望の停止位置に対して現在の車両の位置を示すズレ方向であり、例えば車両の前後左右等で示す。また、ズレ量は、典型的には所望の停止位置に対して現在の車両の位置を示すズレ量であり、例えば３０センチ等と距離で示す。誘導情報演算部７２は、特徴の形状や画像中に占める位置、大きさ、範囲等を考慮してモーションベクトル等を演算する。

（ステップＳ３ｆ）
ＣＰＵ７０は、表示部１３に、車両の誘導情報を表示させる。またＣＰＵ７０は、音声出力部１４に、車両の誘導情報のアナウンスを出力させる。

ＣＰＵ７０は、表示部１３に、典型的には所望の停止位置に対して、現在の車両の位置を示すズレ方向を表示させる。また、ＣＰＵ７０は、表示部１３に、所望の停止位置に対して、現在の車両の位置を示すズレ量を表示させる。

また、ＣＰＵ７０は、音声出力部１４に、所望の停止位置に対して現在の車両の位置を示すズレ方向をアナウンスさせる。また、ＣＰＵ７０は、音声出力部１４に、所望の停止位置に対して現在の車両の位置を示すズレ量をアナウンスさせる。

上述するように、第二の実施形態で説明する車両用後方確認システム１００は、画像の特徴を処理対象として動作する。従って、画像全体を処理対象として動作する場合に比べ、比較部７１や記憶部８０での処理負荷を低減できる。また、運転者が、自らの判断で任意に固有の特徴的対象を選択指定して設定できる。従って、所望の停止位置であるかどうかの判断が正確となる。

また、ステップＳ３３乃至ステップＳ３５の順序は適宜変更することができる。例えば、ＣＰＵ７０は、表示部１３に表示する停止位置画像の中において、運転者がタッチパネル等により指定する固有の対象の輪郭等を抽出する。また、抽出した形状やエッジ強度パターン等を停車位置に固有の特徴とし、記憶部８０に記憶させてもよい。

また、車両停止位置の画像の特徴は、季節変化や時間経過とともに変化する場合も想定される。このような場合でも、車両用後方確認システム１００は、運転者により任意に再設定できる動作とする。従って、状況にフレキシブルに対応して誘導情報の告知を行う車両用後方確認システム１００とできる。

次に、繰り返し駐停車する専用駐車場等において、車両後方画像の目印等を自動的に認識し、自動的に登録して車両の誘導を行う車両用後方確認システムについて説明する。

（第三の実施形態）
図５に、第三の実施形態にかかる車両用後方確認システム２００のシステム構成概念図を示す。

図５において車両用後方確認システム１００と対応する部位については、同一符号を付して説明を省略する。

車両用後方確認システム２００に示すＣＰＵ７０の比較部７１は、第一の比較部７３と第二の比較部７４とを備える。パターンマッチング等により撮像部１０が撮像するシーンと記憶部８０に記憶される過去のシーンとが同一であるのかどうかを判断する。典型的には、車両が駐停車しようとする駐車場が、過去に駐停車したことがある駐車場であるのかどうかを判断する。また、第一の比較部７３は、特徴抽出部７５が抽出するエッジパターン等に基づき、エッジパターンを比較して判断してもよい。

また、第二の比較部７４は、記憶部８０に設定される登録画像情報と、撮像部１０から取得する撮像画像との比較を行う。

また、車両用後方確認システム２００のＣＰＵ７０は、例えば同一の駐車場に駐停車した回数をカウントするカウント部７６を備える。カウント部７６は、第一の比較部７３による比較結果に基づき、過去のシーンと同一シーンであると判断されると、その回数を順次カウントアップする。典型的には、カウント部７６は、現在までに同一駐車場に何回駐車しているかをカウントする。

また、車両用後方確認システム２００のＣＰＵ７０には、車両の向きを検出する方位センサ５１と、ステアリングの切り角を検出する操舵角センサ５２等とからの検出信号を入力する構成とする。また、車両用後方確認システム２００は、ステアリング切り角も含めた誘導情報を告知する。

また、車両用後方確認システム２００の記憶部８０は、撮像部１０で撮像する車両後方の停止位置画像等を記憶する画像蓄積部８２と、繰り返し駐停車する位置において車両後方の指定停止位置画像等を設定して登録する画像登録部８１とを備える。

画像蓄積部８２と、画像登録部８１とは、物理的に分離して二つの記憶装置等として構成してもよいし、単一の記憶装置で構成しパーティション等で見かけ上、分割して構成してもよい。また、特定の記憶対象に対してフラグを立てる等によるマーキングを行い、目印を付与することで、他の記憶対象から分離分別可能とする構成としてもよい。

車両用後方確認システム２００の他の構成は、車両用後方確認システム１００の構成と重複するので説明を省略する。

次に、図６を用いて車両用後方確認システム２００の動作フローの概要を説明する。図６は、第三の実施形態にかかる動作フローを示す図である。なお、下記の動作説明において、上述する車両用後方確認システム１００の動作と重複する動作部分については、説明を簡略に行うこととする。

（ステップＳ６１）
車両用後方確認システム２００のＣＰＵ７０は、車両のギアが後退ギアであるかどうかを判断する。後退ギアであればステップＳ６２へと進み、後退ギアでなければステップＳ６１で待機する。

（ステップＳ６２）
車両用後方確認システム２００のＣＰＵ７０は、画像登録部８１に画像が設定登録されているかどうかを判断する。画像登録部８１に指定停止位置画像が設定登録されていればステップＳ６３へと進み、画像登録部８１に指定停止位置画像が設定登録されていなければステップＳ６ａへと進む。

（ステップＳ６３）
ＣＰＵ７０は、車両を停止しようとする位置に対応する指定停止位置画像を、画像登録部８１から読み出す指示をする。すなわち、画像登録部８１には、予め駐車位置の画像情報が設定されているので、設定された画像情報を基に後の処理を行う。

なお、画像登録部８１に予め設定登録する画像情報は、指定停止位置画像そのものであってもよく、特徴抽出部７５で抽出する指定停止位置画像の特徴であってもよい。また、画像登録部８１へ設定登録する画像の特徴は、運転者により操作部６０等から選択され指示入力され指定された特徴とできる。

（ステップＳ６４）
ＣＰＵ７０は、撮像部１０へ車両後方の車両後退時画像を取り込むように指示する。

（ステップＳ６５）
第二の比較部７４は、ステップＳ６３で画像登録部８１から読み出した指定停止位置画像と、ステップＳ６４で撮像部１０から取り込んだ車両後退時画像とを比較する。第二の比較部７４は、二次元パターンマッチングやエッジパターンの処理等により比較することとできる。

（ステップＳ６６）
ＣＰＵ７０は、第二の比較部７４での比較結果に基づき、撮像部１０で撮像する後退時画像と停止位置画像と、同一であるかどうかを判断する。典型的には、現在の車両位置が、画像登録部８１から読み出した、設定登録される指定停車位置画像に対応する所望の駐停車位置であるのかないのかを判断する。

撮像部１０で撮像する後退時画像と指定停止位置画像とが同一であれば、ステップＳ６７へと進み、撮像部１０で撮像する後退時画像と指定停止位置画像とが同一でなければステップＳ６８へと進む。この場合においても、比較する画像が完全に同一である必要はない。

（ステップＳ６７）
ＣＰＵ７０は、表示部１３に、車両が既に所望の停止位置に停車していることを告知する案内を表示させる。またＣＰＵ７０は、音声出力部１４に、車両が既に所望の停止位置に停車していることを告知する案内をアナウンスさせる。

（ステップＳ６８）
誘導情報演算部７２は、撮像部１０で撮像する画像と、画像登録部８１から読み出した指定停止位置画像との差異を演算する。誘導情報演算部７２は、撮像画像と指定停止位置画像との差異から、例えばパターンマッチングや、モーションベクトル等を用いて、ズレ方向とズレ量等の誘導情報を算出する。

ズレ方向は、典型的には所望の停止位置に対して現在の車両の位置を示すズレ方向であり、例えば車両の前後左右等で示す。また、ズレ量は、典型的には所望の停止位置に対して現在の車両の位置を示すズレ量であり、例えば３０センチ等と距離で示す。

なお、操作部６０等からのカスタマイズ設定入力により、ズレ量を予め設定される設定量だけキャンセルして演算してもよい。すなわち、運転者が、例えば車両の右側のみ十分な間隔を空けて自転車スペースを確保したい場合等において、操作部６０から右側を１メートル余分に空ける指示を入力できる構成としてもよい。この場合は、誘導情報演算部７２は、右側１メートルを差し引いて又は右側１メートルをマージンとして考慮して誘導情報を演算する。

ここで、図８を用いてモーションベクトルについて概要を簡単に説明する。図８は、モーションベクトルの説明を例示する図である。

一般に、メモリ容量を効率的に活用するため用いる圧縮技術の規格として、ＭＰＥＧ−２，４、ＡＶＳ、Ｈ．２６４等が知られている。これらの圧縮技術の規格は、いわゆる動きの推定を用いるものであり、時間軸において画像データの前後における関連性を照合することでモーションベクトルを検出する。

車両用後方確認システム２００の撮像部１０で撮像する車両後方の後退時画像は、典型的には３０ｆｐｓ（フレームパーセコンド）であり、時間的に連続するフレーム間においては、各撮像対象は、流れるように連続した動きとして把握できる。

このため、例えば連続する二枚のフレーム間で、対応するイメージ対象同士の動きを推定して移動関係を決定することが可能となる。動き推定は、例えばフレームを１６×１６の２５６画素マトリクスとして、一つのマクロブロックに分割する。そして、分割した各マクロブロックについて、前の画面と相関する最適なモーションベクトルを探索する。

このようにして図８に例示すように連続するフレーム（ａ）と，フレーム（ｂ）とについて、破線矢印で示すモーションベクトルを算出する。

また、フレームの中に小さなサーチ範囲をレンジ設定し、レンジ設定したサーチ範囲の中で、連続するフレーム間で対応する差分絶対値の総和（ＳＡＤ）を演算する。レンジ設定の中でのＳＡＤが、所定の設定値より小さい場合に、比較点位置の差異をモーションベクトルとする。レンジ設定により、車両用後方確認システム２００の誘導情報演算部７２での処理負荷を低減でき、速やかな演算処理となる。

（ステップＳ６９）
ＣＰＵ７０は、表示部１３に、車両の誘導情報を表示させる。またＣＰＵ７０は、音声出力部１４に、車両の誘導情報のアナウンスを出力させる。上述するステップＳ３ｆやステップＳ２８に対応するので、ここでは詳述を避ける。

（ステップＳ６ａ）
ＣＰＵ７０は、画像蓄積部８２に蓄積されている過去の停止位置画像から任意の画像を読み出す指示を出す。この場合に画像に換えて、特徴抽出部７５が抽出する画像の特徴を処理することとしてもよい。

（ステップＳ６ｂ）
ＣＰＵ７０は、撮像部１０に車両後退時の後退時画像や、車両停止位置における車両後方の停止位置画像を取り込むように指示する。

（ステップＳ６ｃ）
第一の比較部７３は、撮像部１０から取り込まれた画像と、ステップＳ６ａで読み出した停止位置画像とを比較する。例えば、第一の比較部７３は、特徴抽出部７５で抽出するエッジパターン等を比較することとできる。

（ステップＳ６ｄ）
第一の比較部７３は、撮像部１０から取り込まれた画像と、ステップＳ６ａで画像蓄積部８２から読み出した停止位置画像とが同一シーンに対応するかどうかを判断する。ＣＰＵ７０は、必ずしも同一画像でなくても、一定の信頼性の下で同一シーンであることが確からしければ同一シーンと判断できる。

典型的には、第一の比較部７３は、現在車両が停止しようとする駐車場が、過去にも駐車したことがある駐車場であるのかどうかを判断する。

（ステップＳ６ｅ）
車両用後方確認システム２００は、カウント部７６が、所定のカウント値に達すれば、ＣＰＵ７０の指示により、対応する停止位置画像を指定停止位置画像として画像登録部８１に設定登録する。典型的には、車両用後方確認システム２００は、現在の車両が停止しようとする駐車場が、過去に例えば３回以上駐車したことがあり、繰り返し駐車する駐車場であると判断する場合に、その駐車場の車両後方の停止位置画像を画像登録部８１に指定停止位置画像として登録する。

上述のステップＳ６ａ乃至ステップＳ６ｅは、車両用後方確認システム２００に、繰り返し駐車する指定停止位置画像を自動的に設定登録する工程であり、誘導情報を告知するための基礎となる停止位置画像情報を設定する準備段階である。

図７は、上述する車両用後方確認システム２００を、車両に搭載した車両搭載例を概念的に説明する図である。

図７において、車両用後方確認システム２００の照明部２０で照明される車両後方を撮像部１０で撮像する。ＣＰＵ７０は、フラッシュメモリ９０に格納されるプログラムに従い、撮像部１０から得られた後方画像に所望の処理をする。

また、ＣＰＵ７０は、記憶部８０に記憶する所定の画像と比較して、誘導情報を演算する。車両用後方確認システム２００は、誘導情報を無線又は有線にて伝送し、描画処理部１２は表示部１３に表示させる。また、車両用後方確認システム２００は、誘導情報を音声出力部１４からアナウンスし、運転者に告知する。

なお、実施形態で説明する車両用後方確認システムは、実施形態での説明に限られず、自明な範囲で適宜構成を変更することができる。また、車両用後方確認システムの動作や各部の処理も自明な範囲で適宜変更してもよい。また、車両の後方に限られず、車両の前方を確認する構成として用いてもよく、車両の前方と車両の後方とに各々撮像部を備えた車両確認システムとして構成してもよい。

本発明の第一の実施形態にかかるシステム構成概念図である。 本発明の第一の実施形態を説明する動作フロー図である。 本発明の第二の実施形態にかかる車両用後方確認システムの動作フロー図である。 車両用後方確認システムの認識パターン例を示す図である。 本発明の第三の実施形態にかかるシステム構成概念図である。 本発明の第三の実施形態にかかる動作フロー図である。 車両用後方確認システムの車両搭載例を示す図である。 モーションベクトルの説明図である。

符号の説明

１０・・撮像部、１１・・無線インターフェース、１２・・描画処理部、１３・・表示部、１４・・音声出力部、２０・・照明部、３０・・Ａ／Ｄ変換部、４０・・画像処理部、５０・・停止検出部、５１・・方位センサ、５２・・操舵角センサ、６０・・操作部、７０・・ＣＰＵ、７１・・比較部、７２・・誘導情報演算部、７３・・第１比較部、７４・・第２比較部、７５・・特徴抽出部、７６・・カウント部、８０・・記憶部、８１・・画像登録部、８２・・画像蓄積部、９０・・フラッシュメモリ、１００・・車両用後方確認システム。

Claims (6)

1. 車両の後方を撮像する撮像部と、前記撮像部が撮像する画像をリアルタイム表示する表示部と、を備える車両用後方確認システムにおいて、
   前記撮像部が、車両停止位置において撮像する停止位置画像を記憶する記憶部と、
   前記記憶部が記憶する前記停止位置画像と、前記撮像部が前記車両の後退時に撮像する後退時画像と、を比較する比較部と、
   前記比較部による比較に基づき前記後退時の誘導情報を演算する誘導情報演算部と、
   前記誘導情報演算部が演算する誘導情報を前記車両の運転者に告知する告知手段と、
   を備えることを特徴とする車両用後方確認システム。
2. 請求項１に記載の車両用後方確認システムにおいて、
   操作が入力される操作部と、
   前記撮像部が撮像する画像の特徴を抽出する特徴抽出部と、をさらに備え、
   前記記憶部は、
   前記特徴抽出部が抽出した前記停止位置画像の特徴の中から、前記操作部により選択指定された指定特徴を記憶し、
   前記比較部は、
   前記記憶部が記憶する前記指定特徴と、前記特徴抽出部が抽出する前記後退時画像の前記指定特徴に対応する特徴と、を比較する
   ことを特徴とする車両用後方確認システム。
3. 請求項１に記載の車両用後方確認システムにおいて、
   前記撮像部が車両停止位置において撮像する複数の停止位置画像を順次記憶する第一の記憶部と、
   前記第一の記憶部が記憶する前記複数の停止位置画像と、前記車両の後退時に前記撮像部が撮像する後退時画像と、を比較する第一の比較部と、
   前記比較部による比較に基づき同一シ−ンに対応する画像数をカウントするカウント部と、
   前記カウント部によるカウント数が所定数になると前記同一シ−ンに対応する停止位置画像を記憶する第二の記憶部と、
   前記第二の記憶部が記憶する前記停止位置画像と、前記車両の後退時に前記撮像部が撮像する後退時画像と、を比較する第二の比較部と、
   を備えることを特徴とする車両用後方確認システム。
4. 請求項３に記載の車両用後方確認システムにおいて、
   操作が入力される操作部と、
   前記撮像部が撮像する画像の特徴を抽出する特徴抽出部と、をさらに備え、
   前記第一の記憶部は、
   前記複数の停止位置画像から前記特徴抽出部が抽出した前記複数の停止位置画像の各々の特徴を順次記憶し、
   前記第一の比較部は、
   前記第一の記憶部が記憶する前記複数の停止位置画像の各々の特徴と、前記車両の後退時に前記撮像部が撮像する後退時画像の特徴と、を比較し、
   前記第二の記憶部は、
   前記カウント部によるカウント数が所定数になると前記同一シ−ンに対応した停止位置画像の特徴の中から、前記操作部により選択された指定特徴を記憶し、
   前記第二の比較部は、
   前記第二の記憶部が記憶する前記指定特徴と、前記特徴抽出部が抽出した前記後退時画像の特徴の中の前記指定特徴に対応する特徴と、を比較する
   ことを特徴とする車両用後方確認システム。
5. 車両の後方を撮像する撮像部と、前記撮像部が撮像する画像をリアルタイム表示する表示部と、を備える車両用後方確認システムにおいて車両の後退時に運転者を誘導する方法であって、
   車両停止位置において予め撮像された停止位置画像と、前記撮像部が車両の後退時に撮像する後退時画像と、を比較部で比較する工程と、
   前記比較部による比較に基づき誘導情報演算部が前記車両の後退時の誘導情報を演算する工程と、
   前記誘導情報演算部が演算する誘導情報を告知手段が前記車両の運転者に告知する工程と、
   を有することを特徴とする車両用後方確認システムによる誘導方法。
6. 車両の後方を撮像する撮像部と、前記撮像部が撮像する画像をリアルタイム表示する表示部と、を備える車両用後方確認システムにおいて車両の後退時に運転者の誘導を車両用後方確認システムに行わせるプログラムであって、
   車両停止位置において予め撮像された停止位置画像と、前記撮像部が車両の後退時に撮像する後退時画像と、を比較部で比較する手順と、
   前記比較部による比較に基づき誘導情報演算部が前記車両の後退時の誘導情報を演算する手順と、
   前記誘導情報演算部が演算する誘導情報を告知手段が前記車両の運転者に告知する手順と、
   を前記車両用後方確認システムに実行させるためのプログラム。

Images