JP2010118764A - 車両周辺監視装置および車両周辺監視方法 - Google Patents

Abstract

【課題】装置構成を比較的簡略化した場合でも、画像に補助線を適切に合成し、表示することができる車両周辺監視装置を提供する。
【解決手段】車両１の周辺を撮像する一対の撮像手段５ａ,５ｂと、前記一対の撮像手段５ａ,５ｂにより撮像された画像の一方の画像に合成される第１補助線を記憶する補助線記憶手段と、他方の画像に合成される第２補助線を生成する補助線生成手段と、前記一対の撮像手段により撮像された一対の画像を取得する取得手段と、取得された一対の画像の一方の画像を判断対象とし、当該判断対象とした画像が左側輪３ａの周辺および右側輪３ｂの周辺のいずれの画像であるかを判断する判断手段と、前記判断手段における判断結果に基づいて、前記一対の画像に、前記第１、第２補助線をそれぞれ合成する合成手段と、前記第１、第２補助線が合成された一対の画像のうち、少なくとも一方を表示する表示手段と、を有する。
【選択図】図１

Description

本発明は、車両周辺監視装置および車両周辺監視方法に関するものである。

ドアミラーに設けられた左右一対の撮像装置で車両周囲を撮像し、この左右一対の撮像装置で撮像された画像に、車両の幅寄せや駐車を行う際に指標となる補助線を重ね合わせてディスプレイに表示する車両周辺監視装置が提案されている（特許文献１）。

特開２００３−２５９３５６号公報

しかしながら、従来技術では、ドアミラーケース内に設けられた左右一対の撮像装置で撮像したそれぞれの画像に、左側のドアミラーケース内に設置した撮像装置で撮像した画像に対応する補助線と、右側のドアミラーケース内に設置した撮像装置で撮像した画像に対応する補助線とを、それぞれ別々の回路装置を用いて重ね合わせていた。そのため、これら別々の撮像装置に対応する補助線をそれぞれ記憶する必要があり、また、ドアミラーケース内に設けられた左右一対の撮像装置で撮像した一対の画像に、補助線を重ね合わせる回路装置が、それぞれ別々に必要となるため、車両周辺監視装置が全体として高価となる問題があった。

本発明が解決しようとする課題は、装置構成を比較的簡略化した場合でも、左右一対の撮像装置で撮像した画像に補助線を適切に合成し、表示することである。

車両の左側輪周辺および右側輪周辺を一対の撮像手段によりそれぞれ撮像し、撮像した一対の画像のうち一方の画像を用いて、該画像が左側輪周辺および右側輪周辺のいずれを撮像した画像かを判断し、この判断に基づき、一対の画像に、予め記憶されている第１補助線または該補助線から生成された第２補助線を、それぞれ合成することにより、上記課題を解決する。

本発明によれば、一対の撮像手段で撮像された画像に対応する補助線のうち一方の補助線のみを記憶していればよく、また、左右一対の撮像手段で撮像された一対の画像に補助線を合成する回路を一つとすることができる。これにより、左右一対の撮像手段で撮像された一対の画像と補助線とを適切に合成、表示することを可能としながら、装置構成を簡略化することができる。

≪第１実施形態≫
以下、本発明の実施形態を図面に基づいて説明する。図１は、本実施形態に係る車両１の構成を示すブロック図である。車両１は、画像処理装置２、一対のドアミラーケース６ａ，６ｂ内に設置された一対のカメラ５ａ，５ｂ、灯火制御装置８、操舵角センサ９、およびディスプレイ１０を有している。

図１に示すように、一対のカメラ５ａ，５ｂのうちの左側カメラ５ａは、左側のドアミラーケース６ａ内に設置され、車両１の左側タイヤ３ａ，４ａ、特に、タイヤ３ａの周辺を撮像する。一方、一対のカメラ５ａ，５ｂのうちの右側カメラ５ｂは、右側のドアミラーケース６ｂ内に設置され、車両１の右側タイヤ３ｂ，４ｂ、特に、タイヤ３ｂの周辺を撮像する。また、これら左右一対のカメラ５ａ，５ｂは、車両１の両側のタイヤ３ａ，３ｂの周辺を同じタイミングで、かつ、同じ所定の時間間隔で連続して撮像するように設定される。
なお、これらカメラ５ａ，５ｂは、その撮像素子上に、複数の画素を有し、輝度画像を撮像できるものが好適である。このような撮像素子としては、例えば、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などが挙げられる。

ドアミラーケース６ａ，６ｂは、それぞれカメラ５ａ，５ｂを収容し、さらに、ドアミラーケース６ａ，６ｂの図示しない撮影窓にガラスまたは透明樹脂のシールドを設けることにより、カメラ５ａ，５ｂを水滴や汚れから保護する。

画像処理装置２は、左右一対のカメラ５ａ，５ｂで撮像された画像に、補助線を重ね合わせた合成画像を生成する。図２は、左側カメラ５ａで撮像された画像に、左側補助線１１を重ね合わせた左側合成画像１３ａを示す図である。また、図３は、右側カメラ５ｂで撮像された画像に、右側補助線１２を重ね合わせた右側合成画像１３ｂを示す図である。ここで、補助線とは、車両１を移動させる際にユーザにとって指標となる線である。ユーザは、このような合成画像１３ａ，１３ｂに表示された補助線１１，１２を指標として参照することにより、車両１を車両周辺と接触させることなく、幅寄せや駐車等を容易に行うことができる。

図１に示すように、画像処理装置２は、画像の処理を実行するためのプログラムを格納したＲＯＭ（Read Only Memory）２１と、このＲＯＭ２１に格納されたプログラムを実行するＣＰＵ（Central Processing Unit）２２と、アクセス可能な記憶装置として、または撮像された画像を一時的に記憶する装置として機能するＲＡＭ（Random Access Memory）２３とから構成される。

ＣＰＵ２２は、左右一対のカメラ５ａ，５ｂで撮像した一対の画像に補助線１１，１２を重ね合わせた合成画像１３ａ，１３ｂを生成するために、以下の機能を備える。すなわち、右側補助線１２を生成する補助線生成機能、左右一対のカメラ５ａ，５ｂで撮像された一対の画像を取得する取得機能、一対の画像のうち一方の画像を判断対象とし、該画像がカメラ５ａ，５ｂのいずれで撮像された画像であるかを判断する判断機能、撮像された一対の画像に、左側、右側補助線１１，１２をそれぞれ合成する補助線合成機能、および、ディスプレイ１０に表示される画像を生成する表示画像生成機能である。

以下に、上述したＣＰＵ２２の各機能について詳細に説明する。
まず、ＣＰＵ２２の補助線生成機能について説明する。補助線生成機能とは、ＲＯＭ２１に予め記憶されている左側補助線１１に基づいて、右側補助線１２を生成する機能である。

ここで、右側補助線１２を生成するために用いられる左側補助線１１は、ＲＯＭ２１に記憶されており、左側カメラ５ａにより撮像される画像に対応して、予め、設定された所定の補助線である。例えば、左側補助線１１は、図２のように、車両の左側のドアミラーケース６ａの左先端に相当する位置を通過する車両前後方向に平行な線１１ａと、車両前端から前方の所定距離の位置を通過する車両左右方向と平行な線１１ｂと、から形成される。

一方、右側補助線１２は、左側補助線１１と反対に、右側カメラ５ｂで撮像した画像に対応する補助線である。すなわち、右側補助線１２は、図３のように、車両１の右側のドアミラーケース６ｂの右先端に相当する位置を通過する車両前後方向に平行な線１２ａと、車両前端から前方の所定距離の位置を通過する車両左右方向と平行な線１２ｂと、から形成される補助線とされる。

このように、右側補助線１２を左側補助線１１に基づいて生成することにより、右側補助線１２をＲＯＭ２１に予め記憶しておく必要がなく、装置構成を簡略化することができる。

なお、上述の例とは逆に、右側カメラ５ｂで撮像される画像に対応する右側補助線１２を、ＲＯＭ２１に予め記憶しておいてもよい。この場合、補助線生成機能により、右側補助線１２に基づいて左側補助線１１が生成される。

次に、ＣＰＵ２２の取得機能について説明する。取得機能とは、左右一対のカメラ５ａ，５ｂで撮像された一対の画像をカメラ５ａ，５ｂから取得する機能である。また、左右一対のカメラ５ａ，５ｂは、同じ所定の時間間隔で連続して一対の画像を撮像しており、ＣＰＵ２２の取得機能もその時間間隔に合わせて、その都度、撮像された一対の画像を連続して取得する。

次に、ＣＰＵ２２の判断機能について説明する。判断機能とは、取得された一対の画像のうち、一方の画像を判断対象とし、その画像が、左側カメラ５ａで撮像した画像であるか，右側カメラ５ｂで撮像した画像であるかを判断する。画像の判断は、判断対象とした一方の画像中に記録された所定の特徴を検出することにより行われる。詳しくは後述する。また、判断機能は、取得された一対の画像のうち、判断対象とした画像と異なる他方の画像については、左右一対のカメラ５ａ，５ｂのうち、判断対象とした画像を撮像したカメラと異なる他方のカメラで撮像した画像であると判断する。例えば、ＣＰＵ２２の判断機能が、判断対象とした画像が左側カメラ５ａで撮像した画像であると判断した場合、他方の画像は、右側カメラ５ｂで撮像した画像であると判断する。

次に、ＣＰＵ２２の補助線合成機能について説明する。補助線合成機能は、判断機能による判断結果に基づいて、左右一対のカメラ５ａ，５ｂで撮像された一対の画像に、左側、右側補助線１１，１２をそれぞれ合成する機能である。すなわち、左側カメラ５ａで撮像した画像に左側補助線１１を重ね合わせ、右側カメラ５ｂで撮像した画像に右側補助線１２を重ね合わせる。

次に、ＣＰＵ２２の表示画像生成機能について説明する。表示画像生成機能は、合成機能により合成された画像をディスプレイ１０に表示できるように変換し、変換した画像をディスプレイ１０に送る。なお、変換の際には、図２のような左側カメラ５ａで撮像した画像に左側補助線１１を重ね合わせた左側合成画像１３ａと、図３のような右側カメラ５ｂで撮像した画像に右側補助線１２を重ね合わせた右側合成画像１３ｂを、別々に、ディスプレイ１０に表示するための形式に変換してもよく、また、左側合成画像１３ａと右側合成画像１３ｂとを結合して一枚の合成画像とし、ディスプレイ１０に表示するための形式に変換してもよい。

灯火制御装置８は、ユーザによるウィンカースイッチの操作により、車両１の左右側面に設置されている方向指示器７ａ，７ｂを点灯するための信号を送信する。また、灯火制御装置８は、方向指示器７ａまたは７ｂへ信号を送信するとともに、画像処理装置２へ一対の方向指示器７ａ，７ｂのうちいずれかの方向指示器を点灯させたことを通知する点灯信号を送信する。画像処理装置２は灯火制御装置８から点灯信号を取得することにより、一対の方向指示器７ａ，７ｂのうち、いずれの方向指示器が点灯しようとしているのかを判断することができる。

操舵角センサ９は、車両１の図示しないステアリングに設けられ、ステアリングの絶対舵角を検出する。操舵角センサ９は、画像処理装置２に接続されており、検出したステアリングの絶対舵角を画像処理装置２へと送る。画像処理装置２は、操舵角センサ９から絶対舵角を取得することにより、車両１が転舵しようとしている方向を判断することができる。

ディスプレイ１０は、左側、右側合成画像１３ａ,１３ｂをディスプレイ１０に表示するための形式に変換して生成した表示画像を、画像処理装置２から受け取り、ディスプレイ１０に備えられた表示画面上に表示する。なお、表示方法は特に限定されず、左側合成画像１３ａまたは右側合成画像１３ｂのうち一方の画像から生成した表示画像を表示してもよく、また、左側合成画像１３ａおよび右側合成画像１３ｂから生成したそれぞれの表示画像を、ディスプレイ１０に備えられた別々の表示画面上に表示してもよい。さらに、ＣＰＵ２２の表示画像生成機能において、左側合成画像１３ａと右側合成画像１３ｂとを結合して１枚の画像とし、この画像から生成した表示画像を、ディスプレイ１０に備えられた１つの表示画面上に表示してもよい。なお、ディスプレイ１０に備えられた表示画面は、合成画像から生成された表示画像を表示する必要がない場合は、ナビゲーション画像などを表示することで有効に利用される。

次に、本発明の実施形態に係る動作を説明する。
図４は、本発明の実施形態に係る監視制御方法を示すフローチャートである。また、図５は、図４に示す監視制御方法のうち、特に、第１実施形態におけるステップＳ３の画像判断処理を示すフローチャートである。以下においては、図４，５に基づいて、左右一対のカメラ５ａ，５ｂで撮像した一対の画像に、左側、右側補助線１１，１２を合成して左側、右側合成画像１３ａ，１３ｂとし、この合成画像１３ａ，１３ｂをディスプレイ１０に表示するための形式に変換し、この変換した画像をディスプレイ１０に備える表示画面上に表示するフローについて説明する。

まず、図４に示すように、ステップＳ１では、ドアミラーケース６ａ，６ｂ内に設けられた左右一対のカメラ５ａ，５ｂで、車両１のタイヤ３ａの周辺およびタイヤ３ｂの周辺を撮像する。撮像された一対の画像は、画像処理装置２に送られ、ＣＰＵ２２の取得機能により取得される（ステップＳ２）。

ステップＳ３では、ＣＰＵ２２の判断機能により、取得された一対の画像のうち一方の画像を判断対象とし、判断対象とした画像が、左側カメラ５ａで撮像した画像であるか、右側カメラ５ｂで撮像した画像であるかを判断する。ステップＳ３の画像判断処理の具体的なフローについては、図５のステップＳ３１１〜３１５で詳細に説明する。特に、第１実施形態の画像判断処理は、判断対象とした画像中におけるタイヤの位置情報を検出することにより、判断対象とした画像がカメラ５ａ，５ｂのいずれで撮像した画像であるかを判断することを特徴とする。ここで、図６は、本実施形態における左側カメラ５ａで撮像した画像１４ａを示す図である。また、図７は、本実施形態における右側カメラ５ｂで撮像された画像１４ｂを示す図である。

まず、ステップＳ３１１において、ＣＰＵ２２の判断機能は、取得機能により取得された一対の画像１４ａ，１４ｂのうち、一方の画像を判断対象として取得する。なお、以下、本実施形態の画像判断処理の説明においては、左側カメラ５ａで撮像した画像１４ａを判断対象とした場合を例示して説明する。

次に、ステップＳ３１２において、ＣＰＵ２２の判断機能は、判断対象とした画像１４ａからタイヤ３ａの位置情報を検出する。なお、タイヤの位置情報の検出方法は、一般的な方法を用いて行えば良く、例えば、画像１４ａからエッジを検出することで、タイヤの位置情報を取得することができる。そして、ステップＳ３１３において、ＣＰＵ２２の判断機能は、図６に示すように、判断対象とした画像１４ａを、中心線Ｏを境として、左半分領域１５ａと右半分領域１６ａとに分ける。

次に、ステップＳ３１４では、検出されたタイヤ３ａが、判断対象とした画像１４ａ中の左半分領域１５ａまたは右半分領域１６ａのいずれの領域に位置するかを判断する。図４に示す判断対象とした画像１４ａでは、タイヤ３ａは、右半分領域１６ａに位置する。よって、ＣＰＵ２２の判断機能は、タイヤ３ａが、判断対象とした画像１４ａの右半分領域１６ａに位置すると判断する。

ステップＳ３１５においては、判断対象とした画像１４ａが、左側カメラ５ａで撮像した画像であるか、または右側カメラ５ｂで撮像した画像であるかを判断する。例えば、図６に示すように、左側カメラ５ａで撮像した画像１４ａでは、車両１のタイヤ３ａは、右半分領域１６ａで検出されることとなる。そのため、タイヤ３ａが画像１４ａ中の右半分領域１６ａで検出された場合には、ＣＰＵ２２の判断機能は、判断対象とした画像は、左側カメラ５ａで撮像した画像であると判断する。反対に、図７に示すように、右側カメラ５ｂで撮像した画像１４ｂでは、車両１のタイヤ３ｂは、左半分領域１５ｂで検出されることとなる。そのため、タイヤ３ｂが画像１４ｂ中の左半分領域１５ｂで検出された場合には、ＣＰＵ２２の判断機能は、判断対象とした画像は、右側カメラ５ｂで撮像した画像であると判断する。
本実施形態においては、ステップＳ３１４で、タイヤ３ａが、判断対象とした画像１４ａの右半分領域１６ａに位置すると判断されているため、ＣＰＵ２２の判断機能は、取得した一対の画像１４ａ，１４ｂのうち、判断対象とした画像１４ａは、左側カメラ５ａで撮像した画像であると判断する。そして、ＣＰＵ２２の判断機能は、他方の画像１４ｂについては、左右一対のカメラ５ａ，５ｂのうち、判断対象とした画像を撮像したカメラと異なる他方のカメラで撮像した画像と判断する。すなわち、本実施形態においては、取得した一対の画像１４ａ，１４ｂのうち、判断対象とした画像１４ａは、左側カメラ５ａで撮像した画像と判断されたため、他方の画像１４ｂは、右側カメラ５ｂで撮像した画像であると判断される。

なお、取得された一対の画像のうち判断対象とした画像が、図７に示す画像１４ｂであった場合も、ＣＰＵ２２の判断機能は、上述したようにステップＳ３１１からステップＳ３１５までの処理を行う。すなわち、ＣＰＵ２２の判断機能は、図７に示す判断対象とした画像１４ｂにおいて、タイヤ３ｂは、左半分領域１５ｂに位置することを検出し、取得した一対の画像１４ａ，１４ｂのうち、判断対象とした画像１４ｂは、右側カメラ５ｂで撮像した画像であると判断する。そして、他方の画像１４ａは、左側カメラ５ａで撮像された画像であると判断する。

判断対象とした画像１４ａが、左側カメラ５ａで撮像した画像であるか、右側カメラ５ｂで撮像した画像であるかを判断した後は、再び図４のフローチャートに戻り、ステップＳ４に進む。ステップＳ４では、左側カメラ５ａで撮像した画像と判断された画像１４ａに、左側補助線１１を重ね合わせて左側合成画像１３ａを生成する。また、右側カメラ５ｂで撮像した画像と判断された画像１４ｂに、右側補助線１２を重ね合わせて右側合成画像１３ｂを生成する。

ステップＳ５では、ＣＰＵ２２の表示画像生成機能により、右側合成画像１３ａと左側合成画像１３ｂとを結合して１枚の合成画像を生成し、この結合した合成画像をディスプレイ１０に表示するための形式に変換する。そして、ステップＳ６では、ディスプレイ１０が、この変換された画像を取得し、ディスプレイ１０に備えられた表示画面上に画像を表示する。

第１実施形態によれば、左側補助線１１または右側補助線１２のうち、いずれか一方の補助線を予め記憶しておき、他方の補助線を予め記憶した補助線に基づいて生成するため、車両周辺監視装置全体の記憶量を軽減し、装置構成を簡略化することができる。また、左右一対のカメラ５ａ，５ｂで撮像された一対の画像のうち一方の画像を判断対象とし、判断対象とした画像中において検出したタイヤが、この画像中の右半分領域と左半分領域のいずれの領域に位置するかを判断するため、判断対象とした画像が、左右一対のカメラ５ａ，５ｂのいずれで撮像した画像であるかを判断することができる。このように、判断対象とした画像が、左側カメラ５ａで撮像した画像であるか、右側カメラ５ｂで撮像した画像であるかを判断することにより、その判断結果に基づいて、取得された一対のそれぞれ画像１４ａ，１４ｂに対して、左側、右側補助線１１，１２を合成するための回路装置を一つとすることができる。これにより、左右一対のカメラ５ａ，５ｂで撮像された一対の画像１４ａ，１４ｂに補助線１１，１２を適切に合成し、表示することを可能としながら、装置構成を簡略化することができる。

≪第２実施形態≫
本発明の第２実施形態について説明する。第２実施形態では、図１に示す第１実施形態と同様の車両１において、以下に説明するとおり、図４に示す監視制御方法のうち、ステップＳ３の画像判断処理を、図８に示すフローチャートに従って行う。ここで、図８は、図４に示す監視制御方法のうち、特に、第２実施形態における画像判断処理を示すフローチャートである。また、図９は、第２実施形態における左側カメラ５ａで撮像した画像１４ａを示す図である。そして、図１０は、第２実施形態における右側カメラ５ｂで撮像された画像１４ｂを示す図である。

以下、本発明の第２実施形態に係る動作を説明する。
まず、ドアミラーケース６ａ，６ｂ内に設けられた左右一対のカメラ５ａ，５ｂで、車両１のタイヤ３ａの周辺およびタイヤ３ｂの周辺を撮像する（図４のステップＳ１）。撮像された一対の画像１４ａ，１４ｂは、画像処理装置２に送られ、ＣＰＵ２２の取得機能により取得される（図４のステップＳ２）。引き続き、第２実施形態では、図４に示すステップＳ３の画像判断処理を図８に示すフローチャートに従って行う。

すなわち、ステップＳ３２１において、ＣＰＵ２２の判断機能は、取得機能により取得された一対の画像１４ａ，１４ｂのうち、一方の画像を判断対象として取得する。なお、第２実施形態の画像判断処理の説明においても、図９に示す左側カメラ５ａで撮像した画像１４ａを判断対象とした場合を例示して説明する。

次にステップＳ３２２において、ＣＰＵ２２の判断機能は、ＲＡＭ２３に一時的に記憶されている画像を読み込む。この画像は、判断対象とした画像１４ａと同じ左側カメラ５ａで撮像された画像であり、かつ、判断対象とした画像１４ａよりも前の時系列で撮像された画像（例えば、判断対象とした画像１４ａの１フレーム前の画像）である。以下、この判断対象とした画像１４ａよりも前の時系列で撮像された画像を「画像１４ａ′」として説明する。

ステップＳ３２３では、判断対象とした画像１４ａおよび画像１４ａ′中から、撮像対象物の位置情報を検出する。なお、画像中の撮像対象物の位置情報の検出方法は、一般的な方法を用いることができ、例えば、これら画像にエッジ処理を施すことで、撮像対象物の位置情報を検出することができる。

次に、ステップ３２４において、画像１４ａ′中で検出された撮像対象物が、判断対象とした画像１４ａを撮像した時までに、車両１の移動により、画像中を移動した領域を移動領域として検出する。そのため、まず、ＣＰＵ２２の判断機能は、撮像タイミングの異なる画像１４ａ′および画像１４ａの画像情報とから、画像１４ａおよび画像１４ａ′中に撮像された撮像対象物であって、同一の撮像対象物と判断される撮像対象物を検出する。そして、画像１４ａ′中での該撮像対象物の位置から画像１４ａ中での該撮像対象物の位置までの領域を、該撮像対象物の移動領域として算出する。このように、ＣＰＵ２２の判断機能は、画像１４ａ′および画像１４ａ中に撮像される複数の撮像対象物について移動領域を算出する。なお、撮像対象物の移動領域を検出する方法は特に限定されず、例えば、判断対象とした画像１４ａ中で検出された撮像対象物の位置情報と画像１４ａ′で検出された撮像対象物の位置情報とからオプティカルフローを求めることにより、撮像対象物の移動領域を検出することができる。

次に、ステップＳ３２５では、ＣＰＵ２２の判断機能は、判断対象とした画像１４ａを、図９に示す中心線Ｏを境として、左半分領域１５ａと右半分領域１６ａとに分ける。そして、ステップＳ３２６において、左半分領域１５ａにおける移動領域の占める割合、および、右半分領域１６ａにおける移動領域の占める割合を検出する。この検出結果に基づき、ステップＳ３２７において、ＣＰＵ２２の判断機能は、判断対象とした画像１４ａが、左側カメラ５ａで撮像した画像であるか、右側カメラ５ｂで撮像した画像であるかを判断する。ここで、判断対象とした画像１４ａおよび画像１４ａ′は、撮像されたタイミングは異なるが、いずれも車両１に固定された同じカメラ５ａで撮像された画像であるため、画像１４ａおよび画像１４ａ′中の同じ位置に車両１の一部が撮像されることとなる。そのため、撮像タイミングの異なる画像１４ａと画像１４ａ′とから、移動領域を検出する場合、画像中の車両１を撮像した領域は、車両１の移動により撮像対象物である車両１は移動することがないため、移動領域として検出されないこととなる。これに対して、画像中の車両１以外を撮像する領域は、車両１の移動により撮像対象物が移動するため、当該領域では移動領域として検出される。このように、ＣＰＵ２２の判断機能が、画像中の左半分領域１５ａにおける移動領域の占める割合と、右半分領域１６ａにおける移動領域の占める割合とを比較し、移動領域の占める割合が低い半分領域に車両１が位置すると判断することができる。すなわち、ＣＰＵ２２の判断機能は、左半分領域１５ａにおける移動領域が占める割合が、右半分領域１６ａにおける移動領域の占める割合よりも高い場合は、車両１は右半分領域１６ａに位置するものと判断し、判断対象とした画像は左側カメラ５ａで撮像された画像であると判断する。また、反対に、右半分領域１６ａにおける移動領域の占める割合が、左半分領域１５ａにおける移動領域の占める割合よりも高い場合は、車両１は左半分領域１５ａに位置するものと判断し、取得した一対の画像のうち、判断対象とした画像は右側カメラ５ｂで撮像された画像であると判断する。そして、ＣＰＵ２２の判断機能は、他方の画像について、左右一対のカメラ５ａ，５ｂのうち、判断対象とした画像を撮像したカメラと異なる他方のカメラで撮像した画像と判断する。

本実施形態で判断対象とした画像は、図９に示す画像１４ａである。図９に示すように、判断対象とした画像１４ａにおいては、左半分領域１５ａにおける移動領域の占める割合（図９に記載される矢印は、画像１４ａ中の移動領域を概念的に示す。）が、右半分領域１６ａにおける移動領域の占める割合よりも高い。よって、ＣＰＵ２２の判断機能は、取得した一対の画像１４ａ，１４ｂのうち、判断対象とした画像１４ａが、左側カメラ５ａで撮像した画像であると判断し、他方の画像１４ｂが、右側カメラ５ｂで撮像した画像であると判断する（ステップＳ３２７）。

次に、ステップＳ３２８において、ＣＰＵ２２の判断機能は、今回判断対象とした画像１４ａを一時的にＲＡＭ２３に記憶する。この記憶した画像１４ａを用いて、次回判断対象となる画像における撮像対象物の移動領域を検出することができる。

なお、取得された一対の画像１４ａ，１４ｂのうち判断対象とされた一方の画像が、図１０に示す画像１４ｂであった場合も、ＣＰＵ２２の判断機能は、上述したようにステップＳ３２１からステップＳ３２８までの処理を行う。ＣＰＵ２２の判断機能は、図１０に示すように、判断対象とした画像１４ｂにおいて、右半分領域１６ｂにおける移動領域の占める割合（図１０に記載される矢印は、画像１４ｂ中の移動領域を概念的に示す。）が、左半分領域１５ｂにおける移動領域の占める割合よりも高いと判断し、取得した一対の画像１４ａ，１４ｂのうち、この判断対象とした画像１４ｂは、右側カメラ５ｂで撮像した画像であると判断する。そして、他方の画像１４ａは、左側カメラ５ａで撮像された画像であると判断する。

一対の画像１４ａ，１４ｂについて、左右一対のカメラ５ａ，５ｂのいずれで撮像した画像であるか判断した後は、第１実施形態と同様に、再び図４のフローチャートに戻り、ステップＳ４以降の処理を行う。すなわち、左右一対のカメラ５ａ，５ｂで撮像した画像であるか判断された一対の画像１４ａ，１５ｂに補助線１１，１２を合成し（ステップＳ４）、合成した画像を表示に適した形式に変換し（ステップＳ５）、変換した画像をディスプレイ１０に備えられた表示画面に表示する（ステップＳ６）。

第２実施形態によれば、上述した第１実施形態の効果に加え、次の効果を奏する。すなわち、カメラ５ａ，５ｂで撮像した画像１４ａ，１４ｂにおいてタイヤの検出が困難な場合であっても、左右一対のカメラ５ａ，５ｂで撮像された一対の画像１４ａ，１４ｂのうち、判断対象とした一方の画像中の右半分領域および左半分領域おける移動領域の占める割合が、この画像中の右半分領域および左半分領域のいずれの領域で高いかを判断することにより、判断対象とした画像が、左右一対のカメラ５ａ，５ｂのいずれで撮像した画像であるかを判断することができる。

なお、第２実施形態において、同じ左側カメラ５ａで撮像された画像であって、撮像タイミングの異なる画像１４ａおよび画像１４ａ′に基づいて撮像対象物を検出することで移動領域を検出する方法を例示しているが、移動領域の検出方法はこの方法に限定されない。例えば、カメラのシャッタースピードを長くして撮像した画像情報と図示しない車速センサから取得した車速とに基づいて、判断対象とした画像中の移動領域を検出することが挙げられる。また、第２実施形態においては、判断対象とした画像１４ａを取得した後に（ステップＳ３２１）、画像１４ａ′を読み込んでいるが（ステップＳ３２２）、画像１４ａ′を読み込んだ後に、判断対象とした画像１４ａを取得してもよいし、判断対象とした画像１４ａの取得と画像１４ａ′の読み込みとを同時に行ってもよい。

≪第３実施形態≫
本発明の第３実施形態について説明する。第３実施形態においても、図１に示す第１実施形態と同様の車両１において、以下に説明するとおり、図４に示す監視制御方法を、図１１に示すフローチャートに従って行う。ここで、図１１は、第３実施形態における画像判断処理を示すフローチャートである。また、図１２は、第３実施形態における左側カメラ５ａで撮像した画像１４ａを示す図である。

以下、本発明の第３実施形態に係る動作を説明する。
まず、ドアミラーケース６ａ，６ｂ内に設けられた左右一対のカメラ５ａ，５ｂで、車両１のタイヤ３ａの周辺およびタイヤ３ｂの周辺を撮像する（図４のステップＳ１）。撮像された一対の画像１４ａ，１４ｂは、画像処理装置２に送られ、ＣＰＵ２２の取得機能により取得される（図４のステップＳ２）。引き続き、第３実施形態では、図４に示すステップＳ３の画像判断処理を、図１１に示すフローチャートに従って行う。

すなわち、ステップＳ３３１において、ユーザが、一対の方向指示器７ａ，７ｂのうち、いずれかの方向指示器を点灯させるためにウィンカースイッチを操作することで、灯火制御装置として機能するＣＰＵ８から、ユーザが点灯を要求する方向指示器へ点灯信号が送信される。また、ＣＰＵ８は、ユーザが点灯を要求した方向指示器に点灯信号を送信するとともに、画像処理装置２のＣＰＵ２２に対してもユーザが点灯を要求した方向指示器を点灯させるための点灯信号を送信する。これにより、ＣＰＵ２２の判断機能は、灯火制御装置として機能するＣＰＵ８から灯火信号を取得する。なお、第３実施形態の画像判断処理の説明において、ユーザは、左側方向指示器７ａを点灯するように、図示しないウィンカースイッチを操作した場合を例示して説明する。この場合、灯火制御装置として機能するＣＰＵ８は、一対の方向指示器７ａ，７ｂのうち、ユーザが要求した左側方向指示器７ａを点灯させるための点灯信号を左側方向指示器７ａに送信するとともに，画像処理装置２のＣＰＵ２２に対しても左側方向指示器７ａを点灯させるための点灯信号を送信する。これにより、ＣＰＵ２２の判断機能は、この左側方向指示器７ａを点灯させるための点灯信号をＣＰＵ８から取得することとなる。

次に、ステップＳ３３２において、ＣＰＵ２２の判断機能は、取得機能により取得された一対の画像１４ａ，１４ｂのうち、一方の画像を判断対象として取得する。なお、第３実施形態の画像判断処理の説明においても、図１２に示す左側カメラ５ａで撮像した画像１４ａを判断対象とした場合を例示して説明する。

次に、ステップＳ３３３では、ＣＰＵ２２の判断機能は、ＲＡＭ２３に一時的に記憶されている画像を読み込む。この画像は、判断対象とした画像１４ａと同じ左側カメラ５ａで撮像された画像であり、かつ、判断対象とした画像１４ａよりも前の時系列で撮像された画像である。以下、この判断対象とした画像１４ａよりも前の時系列で撮像された画像を「画像１４ａ′」として説明する。また、判断対象とした画像１４ａは画像中の方向指示器の点灯時のタイミングで撮像された画像であり、画像１４ａ′は画像中の方向指示器の消灯時に撮像された画像として説明する。

ステップＳ３３４では、判断対象とした画像１４ａおよび画像１４ａ′の画像情報から、それぞれの画像における輝度情報を検出する。ここで、図１３は、左側方向指示器７ａが点灯していない画像１４ａ′の輝度情報を示すグラフである。また、図１４は、左側方向指示器７ａが点灯している図１２に示す判断対象とした画像１４ａの輝度情報を示すグラフである。なお、図１２〜図１４中におけるＡ，Ａ′、及び、Ｂは、図１２中の破線上の左右方向位置を示し、Ａはその破線上の左端の位置、Ａ′はその破線上の右端の位置、Ｂはその破線上にある左側方向指示器７ａの位置を示している。また、図１３のＡの位置の輝度は、図１２のＡの位置の輝度を表し、図１３のＡ′の位置の輝度は、図１２のＡ′の位置の輝度を表し、図１３のＢの位置の輝度は、図１２のＢの位置の輝度を表している。また、図１４と図１２とのＡ，Ａ′、及び、Ｂの位置関係も、図１３と図１２とのＡ，Ａ′、及び、Ｂの位置関係と同じである。

ステップＳ３３５では、撮像タイミングの異なる画像１４ａおよび画像１４ａ′中で検出された輝度情報に基づいて、画像中に撮像された方向指示器７ａが点灯しているかを判断する。具体的には、方向指示器７ａが消灯しているときは、図１３に示すように、画像中のＢの位置（図１２の方向指示器の位置に相当する位置）における輝度はｃの値となる。一方、方向指示器７ａが点灯しているときは、図１４に示すように、画像中のＢの位置（図１２の方向指示器の位置に相当する位置）における輝度はｃ′となる。そこで、判断対象とした画像１４ａ中で検出された輝度情報と、画像１４ａ′中で検出された輝度情報とを比較して、これら画像１４ａ，１４ａ′における輝度情報の変化を検出する。そして、ＣＰＵ２２の判断機能は、この比較の結果、輝度情報の変化を検出した場合は、判断対象とした画像１４ａ中の方向指示器は点灯していると判断し、また反対に、輝度情報の変化を検出しない場合は、判断対象とした画像１４ａ中の方向指示器は消灯していると判断する。
すなわち、本実施形態において、ＣＰＵ２２の判断機能は、図１３に示す画像１４ａ′中のＢの位置（図１２の方向指示器７ａの位置に相当する位置）の輝度ｃから、図１４に示す判断対象とした画像１４ａ中のＢの位置（図１２の方向指示器７ａの位置に相当する位置）の輝度ｃ′へ変化したことを検出し、判断対象とした画像１４ａ中における方向指示器７ａが点灯していると判断する。なお、ＣＰＵ２２の取得機能は、一対の画像１４ａ，１４ｂを、方向指示器７ａ，７ｂが点滅するタイミングに同期して取得することが好適である。このように、方向指示器７ａ，７ｂが点滅するタイミングに同期して一対の画像１４ａ，１４ｂを取得することで、輝度情報の変化を適切に検出することができる。

次に、ステップＳ３３６では、ＣＰＵ２２の判断機能は、ステップＳ３３１で取得した点灯信号から得た点灯している方向指示器の情報と、ステップＳ３３５で検出した判断対象とした画像１４ａ中の方向指示器の点灯情報とを比較する。そして、この比較結果に基づいて、ステップＳ３３７で、判断対象とした画像１４ａが、左右一対のカメラ５ａ，５ｂのうちのいずれで撮像された画像かを判断する。ここで、点灯信号は、方向指示器７ａ，７ｂのいずれかを点灯するための信号であるため、ＣＰＵ２２の判断機能は、点灯信号を取得することにより、点灯している方向指示器を判断することができる。すなわち、本実施形態においては、ＣＰＵ２２の判断機能は、ステップＳ３３１で左側方向指示器７ａを点灯するための灯火信号を取得することで、左側方向指示器７ａが点灯していると判断することができる。そして、ステップＳ３３５で得た、判断対象とした画像１４ａ中における方向指示器が点灯しているとの判断結果から、取得した一対の画像１４ａ，１４ｂのうち、判断対象とした画像１４ａは、左側カメラ５ａで撮像した画像であると判断する。そして、ＣＰＵ２２の判断機能は、他方の画像１４ｂは、右側カメラ５ｂで撮像した画像と判断する。

次に、ステップＳ３３８において、ＣＰＵ２２の判断機能は、判断対象とした画像１４ａを一時的にＲＡＭ２３に記憶する。この記憶した画像１４ａを用いて、次回判断対象となる画像における輝度情報の変化を検出することができる。

なお、取得された一対の画像のうち判断対象とした一方の画像１４ａ，１４ｂが、図１２に示す画像１４ａであり、取得した点灯信号が右側方向指示器７ｂを点灯するための信号である場合も、ＣＰＵ２２の判断機能は、上述したようにステップＳ３３１からステップＳ３３８までの処理を行う。すなわち、ＣＰＵ２２の判断機能は、判断対象とした画像１４ａおよび画像１４ａ′中の輝度の変化を検出しないため、取得した一対の画像１４ａ，１４ｂのうち、判断対象とした画像１４ａは、点灯信号により点灯している右側方向指示器７ｂと反対側の左側方向指示器７ａを撮像する左側カメラ５ａで撮像した画像であると判断する。そして、他方の画像１４ｂは、右側カメラ５ｂで撮像された画像であると判断する。

一対の画像１４ａ，１４ｂについて、左右一対のカメラ５ａ，５ｂのいずれで撮像した画像であるか判断した後は、第１実施形態と同様に、再び図４のフローチャートに戻り、ステップＳ４以降の処理を行う。すなわち、左右一対のカメラ５ａ，５ｂで撮像した画像であるか判断された一対の画像１４ａ，１５ｂに補助線１１，１２を合成し（ステップＳ４）、合成した画像を表示に適した形式に変換し（ステップＳ５）、変換した画像をディスプレイ１０に備えられた表示画面に表示する（ステップＳ６）。

第３実施形態によれば、上述した第１実施形態の効果に加えて、次の効果を奏する。すなわち、左右一対のカメラ５ａ，５ｂでタイヤや撮像対象物を検出することができない場合であっても、ＣＰＵ８から点灯信号を受け取り、この点灯信号と、判断対象とした画像、およびこの判断対象とした画像と同じカメラで撮像した画像であり、この判断対象とした画像よりも前の時系列で撮像した画像で検出した輝度情報の変化を比較することにより、判断対象とした画像が、左右一対のカメラ５ａ，５ｂのいずれで撮像した画像であるかを判断することができる。

なお、第３実施形態において、同じカメラ５ａで撮像された画像であって、撮像タイミングの異なる画像である、画像１４ａおよび画像１４ａ′中の輝度情報の変化を検出することで、方向指示器の点灯を検出する方法を例示しているが、方向指示器の点灯の検出方法はこの方法に限定されない。例えば、方向指示器の消灯時の輝度情報を予めＲＯＭ２１に記憶しておき、この記憶した方向指示器が消灯時の画像および撮像対象とした画像中の輝度情報の変化を検出することで、方向指示器の点灯を検出することが挙げられる。

≪第４実施形態≫
本発明の第４実施形態について説明する。第４実施形態においても、図１に示す第１実施形態と同様の車両１において、以下に説明するとおり、図４に示す監視制御方法を、図１５に示すフローチャートに従って行う。ここで、図１５は、第４実施形態における画像判断処理を示すフローチャートである。また、図１６は、第４実施形態における左側カメラ５ａで撮像した画像１４ａを示す図であり、図１７は、第４実施形態における右側カメラ５ｂで撮像した画像１４ｂを示す図である。

以下、本発明の第４実施形態に係る動作を説明する。
まず、ドアミラーケース６ａ，６ｂ内に設けられた左右一対のカメラ５ａ，５ｂで、車両１のタイヤ３ａの周辺およびタイヤ３ｂの周辺を撮像する（図４のステップＳ１）。撮像された一対の画像１４ａ，１４ｂは、画像処理装置２に送られ、ＣＰＵ２２の取得機能により取得される（図４のステップＳ２）。引き続き、第４実施形態では、ステップＳ３の画像判断処理を、図１５に示すフローチャートに従って行う。

すなわち、ステップＳ３４１において、ＣＰＵ２２の判断機能は、操舵角センサ９から絶対舵角を取得し、この絶対舵角に基づいて車両１が転舵しようとしている方向を判断する。第４実施形態の画像判断処理の説明において、車両１が左方向に転舵した場合を例示して説明する。この場合、操舵角センサ９は図示しないステアリングの絶対舵角をＣＰＵ２２に送り、ＣＰＵ２２の判断機能は、この絶対舵角に基づいて、車両１が左方向に転舵しようとしていると判断する。

次に、ステップＳ３４２において、ＣＰＵ２２の判断機能は、取得機能により取得された一対の画像のうち、一方の画像１４ａ，１４ｂを判断対象として取得する。なお、第４実施形態の画像判断処理の説明においても、図１６に示す左側カメラ５ａで撮像した画像１４ａを判断対象とした場合を例示して説明する。

次に、ステップＳ３４３では、ＣＰＵ２２の判断機能は、ＲＯＭ２１に予め記憶されている車両１の直進時に撮像した画像におけるタイヤの占める割合である直進時側輪占有割合を読み込む。この割合は、判断対象とした画像を撮像するカメラで、予め撮像した画像におけるタイヤの占める割合であり、後述する転舵時側輪占有割合の増減の基準となる割合である。

次に、ステップＳ３４４では、判断対象とした画像１４ａにおけるタイヤ３ａの占める転舵時側輪占有割合を検出する。上述したように、判断対象とした画像１４ａは絶対舵角を取得した時点または取得直後に撮像された画像であるので、画像１４ａは車両１の転舵時の画像となる。ＣＰＵ２２の判断機能は、判断対象とした画像１４ａ中からタイヤ３ａを検出し、判断対象とした画像１４ａ中におけるタイヤ３ａの占める割合を転舵時側輪占有割合として算出する。なお、画像中におけるタイヤの検出方法は、一般的な方法を用いて行えば良く、例えば、画像１４ａからエッジを検出することで、タイヤを検出することができる。

そして、ステップＳ３４５では、直進時側輪占有割合と比べた転舵時側輪占有割合の増減を判断する。ここで、車両１が左方向に転舵する場合は、図１６に示すように、車両１の転舵方向である左方向にあるタイヤ３ａは、車両１の転舵方向である左方向に傾くため、画像中におけるタイヤ３ａの占める割合は、直進時に撮像した画像中におけるタイヤ３ａの占める割合と比べ、増えることとなる。また反対に、車両１が左方向に転舵する場合は、図１７に示すように、車両１の転舵方向である左方向と反対方向である右方向にあるタイヤ４ｂは、車両１の転舵方向である左方向に傾くため、画面中におけるタイヤ３ｂの占める割合は、直進時に撮像した画像中におけるタイヤ３ｂの占める割合と比べ、減ることとなる。このように、直進時側輪占有割合と比べた転舵時側輪占有割合の増減を検出することで、判断対象とした画像１４ａが、車両１の転舵方向を撮像するカメラで撮像した画像か、車両の転舵方向と反対方向を撮像するカメラで撮像した画像かを判断することができる。

ステップＳ３４６では、ステップＳ３４１で取得した絶対舵角から得られた車両１が転舵しようとする方向と、ステップＳ３４５で判断した直進時側輪占有割合と比べた転舵時側輪占有割合の増減結果とを比較し、ステップＳ３４７で、判断対象とした画像１４ａが、左右一対のカメラ５ａ，５ｂのうちのいずれで撮像された画像かを判断する。
本実施形態においては、ＣＰＵ２２の判断機能は、操舵角センサ９から取得した絶対舵角に基づいて、車両１は左方向へ転舵していると判断する。そして、図１６に示す判断対象とした画像１４ａの転舵時側輪占有割合は、直進時側輪占有割合よりも増加しているため、ＣＰＵ２２の判断機能は、一対の画像１４ａ，１４ｂのうち、判断対象とした画像１４ａは、車両１の転舵方向である左方向を撮像する左側カメラ５ａで撮像した画像であると判断する。そして、他方の画像１４ｂは、右側カメラ５ｂで撮像した画像であると判断する。

なお、取得された一対の画像のうち判断対象とされた一方の画像が、図１７に示す画像１４ｂであった場合も、ＣＰＵ２２の判断機能は、上述したようにステップＳ３４１からステップＳ３４７までの処理を行う。そして、絶対舵角から車両１が左方向へ転舵していると判断した場合は、ＣＰＵ２２の判断機能は、図１７に示すように、直進時側輪占有割合と比べ転舵時側輪占有割合が減少したと判断し、一対の画像１４ａ，１４ｂのうち、判断対象とした画像１４ｂは、車両１が転舵している方向である左方向と反対方向の右方向を撮像する右側カメラ５ｂで撮像した画像であると判断する。そして、他方の画像１４ａは、左側カメラ５ａで撮像された画像であると判断する。

一対の画像１４ａ，１４ｂについて、左右一対のカメラ５ａ，５ｂのいずれで撮像した画像であるか判断した後は、第１実施形態と同様に、再び図４のフローチャートに戻り、ステップＳ４以降の処理を行う。すなわち、左右一対のカメラ５ａ，５ｂで撮像した画像であるか判断された一対の画像１４ａ，１５ｂに補助線１１，１２を合成し（ステップＳ４）、合成した画像を表示に適した形式に変換し（ステップＳ５）、変換した画像をディスプレイ１０に備えられた表示画面に表示する（ステップＳ６）。

第４実施形態によれば、上述した第１実施形態の効果に加え、次の効果を奏する。すなわち、直進時側輪占有割合に対する転舵時側輪占有割合と増減と操舵角センサ９から取得した絶対舵角から判断される車両１の転舵方向とを一致させることで、判断対象とした画像が左右一対のカメラ５ａ，５ｂのいずれで撮像した画像であるかをより正確に判断するができる。

なお、本発明においては、第１実施形態から第４実施形態で説明した画像判断処理を組み合わせて、判断対象とした画像が左右一対のカメラ５ａ，５ｂのいずれで撮像した画像であるかを判断してもよい。

また、上述した実施形態のカメラ５ａ，５ｂは本発明の撮像手段に、ＲＯＭ２１は本発明の補助線記憶手段および直進時側輪占有割合記憶手段に、ＣＰＵ２２の補助線生成機能は本発明の補助線生成手段に、ＣＰＵ２２の取得機能は本発明の取得手段に、ＣＰＵ２２の判断機能は本発明の判断手段に、ＣＰＵ２２の合成機能は本発明の合成手段に、および、ディスプレイ１０は表示手段に、それぞれ相当する。

なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

本実施形態に係る車両１の構成を示すブロック図である。 左側カメラ５ａで撮像された画像１４ａに、左側補助線１１を重ね合わせた左側合成画像１３ａを示す図である。 右側カメラ５ａで撮像された画像１４ｂに、右側補助線１２を重ね合わせた右側合成画像１３ｂを示す図である。 本発明の実施形態に係る監視制御方法を示すフローチャートである。 第１実施形態における画像判断処理を示すフローチャートである。 第１実施形態における左側カメラ５ａで撮像した画像１４ａを示す図である。 第１実施形態における右側カメラ５ｂで撮像した画像１４ｂを示す図である。 第２実施形態における画像判断処理を示すフローチャートである。 第２実施形態における左側カメラ５ａで撮像した画像１４ａを示す図である。 第２実施形態における右側カメラ５ｂで撮像した画像１４ｂを示す図である。 第３実施形態における画像判断処理を示すフローチャートである。 第３実施形態における左側カメラ５ａで撮像した画像１４ａを示す図である 左側方向指示器７ａが点灯していない画像１４ａ′の輝度情報を示すグラフである。 左側方向指示器７ａが点灯している図１２で示す画像１４ａの輝度情報を示すグラフである。 第４実施形態における画像判断処理を示すフローチャートである。 第４実施形態における左側カメラ５ａで撮像した画像１４ａを示す図である。 第４実施形態における右側カメラ５ｂで撮像した画像１４ｂを示す図である。

符号の説明

１…車両
２…画像処理装置
２１…ＲＯＭ
２２…ＣＰＵ
２３…ＲＡＭ
３ａ，３ｂ，４ａ，４ｂ…タイヤ
５ａ，５ｂ…カメラ
６ａ，６ｂ…ドアミラーケース
７ａ，７ｂ…方向指示器
８…灯火制御装置（ＣＰＵ）
９…車速センサ
１０…ディスプレイ
１１…左側補助線
１２…右側補助線
１４ａ…左側輪の周辺を撮像した画像
１５ａ…左半分領域
１６ａ…右半分領域
１４ｂ…右側輪の周辺を撮像した画像
１５ｂ…左半分領域
１６ｂ…右半分領域

Claims (12)

1. 車両の左側輪の周辺と、車両の右側輪の周辺とを、それぞれ撮像する一対の撮像手段と、
   前記一対の撮像手段により撮像された画像のうち、一方の画像に合成される第１補助線を記憶する補助線記憶手段と、
   前記一対の撮像手段により撮像された画像のうち、他方の画像に合成される第２補助線を、前記補助線記憶手段に記憶された第１補助線に基づいて生成する補助線生成手段と、
   前記一対の撮像手段により撮像された一対の画像を取得する取得手段と、
   前記取得手段により取得された一対の画像のうち、一方の画像を判断対象とし、当該判断対象とした画像が、前記車両の左側輪の周辺および右側輪の周辺のいずれを撮像した画像であるかを判断する判断手段と、
   前記一対の画像に、前記第１、第２補助線をそれぞれ合成する合成手段と、
   前記第１、第２補助線が合成された一対の画像のうち、少なくとも一方を表示する表示手段と、を有し、
   前記合成手段は、前記判断手段における判断結果に基づいて、前記一対の画像のうち、判断対象とした前記画像に前記第１補助線または前記第２補助線のうち一方を合成するとともに、前記判断手段により判断対象としなかった他方の画像については、判断対象とした前記画像に前記第１補助線を合成した場合には、前記第２補助線を合成し、判断対象とした前記画像に前記第２補助線を合成した場合には、前記第１補助線を合成することを特徴とする車両周辺監視装置。
2. 請求項１に記載の車両周辺監視装置であって、
   前記判断手段は、前記判断対象とした画像中における側輪の位置情報に基づいて、前記判断対象とした画像が、前記車両の左側輪の周辺および右側輪の周辺のいずれを撮像した画像であるかを判断することを特徴とする車両周辺監視装置。
3. 請求項２に記載の車両周辺監視装置であって、
   前記判断手段は、
   前記判断対象とした画像中における側輪が、当該画像中の左半分領域および右半分領域のどちらに位置するかを判断することにより、
   前記判断対象とした画像が、前記車両の左側輪の周辺および右側輪の周辺のいずれを撮像した画像であるかを判断することを特徴とする車両周辺監視装置。
4. 請求項３に記載の車両周辺監視装置であって、
   前記判断手段は、
   前記判断対象とした画像中における側輪が、当該画像中の右半分領域に位置する場合は、前記判断対象とした画像は、前記車両の左側輪の周辺を撮像した画像であると判断し、
   前記判断対象とした画像中における側輪が、当該画像中の左半分領域に位置する場合は、前記判断対象とした画像は、前記車両の右側輪の周辺を撮像した画像であると判断することを特徴とする車両周辺監視装置。
5. 請求項１〜４の何れかに記載の車両周辺監視装置であって、
   前記判断手段は、
   前記車両の移動により移動する撮像対象物が記録される領域である移動領域を検出し、
   当該画像中の左半分領域における前記移動領域の占める割合と、当該画像中の右半分領域における前記移動領域の占める割合とを比較することにより、前記判断対象とした画像が、前記車両の左側輪の周辺および右側輪の周辺のいずれを撮像した画像であるかを判断することを特徴とする車両周辺監視装置。
6. 請求項５に記載の車両周辺監視装置であって、
   前記判断手段は、
   前記左半分領域における移動領域の占める割合が前記右半分領域における移動領域の占める割合よりも高い場合は、前記判断対象とした画像は、前記車両の左側輪の周辺を撮像した画像であると判断し、
   前記右半分領域における前記移動領域の占める割合が前記左半分領域における前記移動領域の占める割合よりも高い場合は、前記判断対象とした画像は、前記車両の右側輪の周辺を撮像した画像であると判断することを特徴とする車両周辺監視装置。
7. 請求項１〜６の何れかに記載の車両周辺監視装置であって、
   前記判断手段は、
   前記車両の左側および右側に設置された一対の方向指示器のうち少なくても一方の方向指示器を点灯させるための信号である点灯信号を検出した場合に、
   前記判断対象とした画像中の方向指示器の点灯の有無を検出し、
   前記通知信号および前記判断対象とした画像中の方向指示器の点灯の有無に基づいて、前記判断対象とした画像が、前記車両の左側輪の周辺および右側輪の周辺のいずれを撮像した画像であるかを判断することを特徴とする車両周辺監視装置。
8. 請求項７に記載の車両周辺監視装置であって、
   前記判断手段は、
   前記判断対象とした画像中に記録された方向指示器の点灯を検出した場合には、前記判断対象とした画像は、前記車両の左側輪の周辺および右側輪の周辺を撮像した画像のうち、前記点灯信号により点灯された方向指示器が設置されている側の前記車両の側輪の周辺を撮像した画像であると判断し、
   前記判断対象とした画像中に記録された方向指示器の点灯を検出しなかった場合には、前記判断対象とした画像は、前記車両の左側輪の周辺および右側輪の周辺を撮像した画像のうち、前記点灯信号により点灯された方向指示器が設置されている側と反対側の前記車両の側輪の周辺を撮像した画像であると判断することを特徴とする車両周辺監視装置。
9. 請求項１〜８の何れかに記載の車両周辺監視装置であって、
   車両直進時に前記判断対象とした画像において側輪が占める割合である直進時側輪占有割合を記憶する直進時側輪占有割合記憶手段をさらに有し、
   前記判断手段は、
   車輪の転舵に関する転舵情報を取得した場合に、車両転舵時に前記判断対象とした画像において側輪が占める割合である転舵時側輪占有割合と、前記直進時側輪占有割合記憶手段により記憶された前記直進時側輪占有割合とを比較し、
   当該比較の結果と前記取得した転舵情報とに基づき、前記判断対象とした画像が、前記車両の左側輪の周辺および右側輪の周辺のいずれを撮像した画像であるかを判断することを特徴とする車両周辺監視装置。
10. 請求項９に記載の車両周辺監視装置であって、
    前記判断手段は、
    前記転舵時側輪占有割合が前記直進時側輪占有割合よりも高い場合には、前記判断対象とした画像が、前記車両の左側輪の周辺および右側輪の周辺を撮像した画像のうち、前記転舵情報から得た前記車両が転舵しようとする側の前記車両の側輪の周辺を撮像した画像であると判断し、
    前記転舵時側輪占有割合が前記直進時側輪占有割合よりも低い場合には、前記判断対象とした画像が、前記車両の左側輪の周辺および右側輪の周辺を撮像した画像のうち、前記転舵情報から得た前記車両が転舵しようとする側と反対側の前記車両の側輪の周辺を撮像した画像であると判断することを特徴とする車両周辺監視装置。
11. 請求項１〜１０の何れかに記載の車両周辺監視装置であって、
    前記撮像手段はドアミラーケース内に設置した撮像装置であることを特徴とする車両周辺監視装置。
12. 車両の左側輪周辺および右側輪周辺を一対の撮像手段によりそれぞれ撮像し、
    撮像した一対の画像のうち一方の画像を用いて、該画像が左側輪周辺および右側輪周辺のいずれを撮像した画像かを判断し、
    この判断に基づき、一対の画像に、予め記憶されている第１補助線または該補助線から生成された第２補助線を、それぞれ合成する車両周辺監視方法。

Images