以下、この発明の実施形態について図面を参照して説明する。
図1は、この発明の一実施形態に係る車両周辺監視装置10の構成を示すブロック図である。図2は、図1に示す車両周辺監視装置10が搭載された車両(自車両ともいう。)12の模式図である。
図1及び図2において、車両周辺監視装置10は、該車両周辺監視装置10を制御する画像処理ユニット14と、この画像処理ユニット14に接続される左右の赤外線カメラ16R、16Lと、車両12の車速Vsを検出する車速センサ18と、運転者によるブレーキペダルの操作量(ブレーキ操作量)Brを検出するブレーキセンサ20と、車両12のヨーレートYrを検出するヨーレートセンサ22と、音声で警報等を発するためのスピーカ24と、赤外線カメラ16R、16Lにより撮影された画像を表示し、接触の危険性が高い歩行者等の対象物(移動対象物)を車両の運転者に認識させるためのHUD(Head Up Dislay)26a等を含む画像表示装置26と、を備える。
画像表示装置26としては、HUD(ヘッドアップディスプレイ)26aに限らず、車両12に搭載されたナビゲーションシステムの地図等を表示するディスプレイや、メータユニット内等に設けられた燃費等を表示するディスプレイ(マルチインフォメーションディスプレイ)を利用することができる。
画像処理ユニット14は、車両12の周辺の赤外線画像と車両の走行状態を示す信号(ここでは、車速Vs、ブレーキ操作量Br及びヨーレートYr)とから、車両前方の歩行者や動物等の監視対象物を検出し、当該監視対象物との接触の可能性が高いと判断したときにスピーカ24から警報(例えば、ピッ、ピッ、…となる音)を発するとともに、HUD26a上にグレースケール表示される撮像画像の中の監視対象物を黄色や赤色等の目立つ色枠で囲って表示する。このようにして、運転者の注意を喚起する。
ここで、画像処理ユニット14は、入力アナログ信号をデジタル信号に変換するA/D変換回路等の入力回路と、デジタル化した画像信号を記憶する画像メモリ(記憶部14m)と、各種演算処理を行うCPU(中央処理装置)14cと、CPU14cが演算途中のデータを記憶するために使用するRAM(Random Access Memory)やCPU14cが実行するプログラムやテーブル、マップ及びテンプレート{歩行者(人体)形状テンプレート:右向き、左向き、正面(背面)向き、動物形状テンプレート:鹿や犬等の右向き、左向き、正面(背面)向き、車両形状テンプレート:灯体の位置、人工構造物形状テンプレート:電柱の形状等}等を記憶するROM(Read Only Memory)等の記憶部14mと、クロック(時計部)及びタイマ(計時部)と、スピーカ24の駆動信号と画像表示装置26の表示信号等を出力する出力回路等を備えており、赤外線カメラ16R、16L、ヨーレートセンサ22、車速センサ18、及びブレーキセンサ20の各出力信号は、デジタル信号に変換されてCPU14cに入力されるように構成されている。
画像処理ユニット14のCPU14cは、これらデジタル信号を取り込み、テーブル、マップ、及びテンプレート等を参照しながらプログラムを実行することで、各種機能手段(機能部ともいう。)として機能し、スピーカ24及び画像表示装置26に駆動信号(音声信号や表示信号)を送出する。これらの機能は、ハードウエアにより実現することもできる。
この実施形態において、画像処理ユニット14は、それぞれ詳細を後述する認識処理部102、計時部104、除外継続時間設定部106及び除外継続時間更新部108等の前記機能部を有する。
なお、画像処理ユニット14(認識処理部102)は、基本的には、赤外線カメラ16R、16Lにより取得した画像と、記憶部14mに記憶されている車両形状、人工構造物形状、及び対象物(監視対象物)としての人体形状等の模式的なテンプレートとを比較して物体を個別的に認識する物体認識処理(物体検知処理)プログラムを実行する。
図2に示すように、いわゆるステレオカメラとして機能する赤外線カメラ16R、16Lは、車両12の前部バンパー部に、車両12の車幅方向中心部に対してほぼ対称な位置に配置されており、2つの赤外線カメラ16R、16Lの光軸が互いに平行であって、且つ両者の路面からの高さが等しくなるように固定されている。なお、赤外線カメラ16R、16Lは、撮像対象(物体)の温度が高いほど、その出力信号(撮像信号)レベルが高くなる(輝度が増加する)特性を有している。
また、HUD26aは、車両12のフロントウインドシールド上、運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。
図1において、上記した認識処理部102は、車両形状認識処理部102a、人工構造物形状認識処理部102b、及び監視しようとする対象物である歩行者や動物等の対象物認識処理部102cを備える。
ここで、この明細書の内容の理解の便宜のために、画像処理ユニット14中、対象物認識処理部102cの公知の処理内容について、歩行者等の対象物の認識(検出)処理から注意喚起(警報)出力処理までの処理を図3のフローチャートを参照しながら説明する。
まず、ステップS1において、画像処理ユニット14は、車速センサ18により検出される車速Vs等から車両12の走行状態(走行中か停車中)を判定し、停車中(ステップS1:NO)である場合には、処理を停止する。
走行中(ステップS1:YES)である場合には、ステップS2において、画像処理ユニット14は、赤外線カメラ16R、16Lによりフレーム毎に撮像された車両前方の所定画角範囲のフレーム毎の出力信号である赤外線画像を取得し、A/D変換し、ステップS3にて、グレースケール画像を画像メモリ(記憶部14m)に格納する。
なお、赤外線カメラ16Rによりグレースケール右画像が得られ、赤外線カメラ16Lによりグレースケール左画像が得られる。また、グレースケール右画像とグレースケール左画像では、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ(視差)等を用いて三角測量の原理により対象物までの距離を算出することができる。以下、基準画像をグレースケール右画像として、単にグレースケール画像という。
次いで、ステップS4において、赤外線カメラ16Rにより得られた右画像を基準画像とし、その画像信号の2値化処理、すなわち、輝度閾値より明るい領域を「1」(白)とし、暗い領域を「0」(黒)とする2値化処理を行い2値化画像を得る。この2値化処理では、人体では、比較的に高温の頭部、肩、胴体等の塊(人体上半身部という。)が、「1」の塊(集合体)として検出される。実際上、画像処理ユニット14は、フレーム(画像)毎に2値化画像の「1」(白)をx方向(水平方向)の走査ライン毎にランレングスデータに変換し、y方向(垂直方向)に重なる部分のあるラインを1つの対象物とみなし、当該対象物の外接四角形にそれぞれラベルを付ける、いわゆるラベリング処理を行う。
次いで、ステップS5において、対象物認識処理部102cは、グレースケール画像を参照して、前記ラベルが付けられた前記人体上半身部が検出された検出対象物(この場合、歩行者等)の下部に存在する人体下半身部(脚部)(前記人体上半身部より輝度は低いが背景よりは輝度が高い部分)までを検出し、検出した人体(歩行者)を外接四角形で囲んだ人体対象物候補(前記人体上半身部と前記人体下半身部とからなる。)を算出する。
次に、ステップS6において、対象物認識処理部102cは、算出した前記人体対象物候補の前記外接四角形より僅かに大きい領域にマスク領域を設定し、記憶部14mに記憶されているテンプレートとのマッチングを行い、いわゆる相関度判定を行い、赤外線画像より抽出した前記人体対象物候補の前記テンプレートとの相関度が閾値より大きいと推定したとき、前記人体対象物候補を人体対象物と認識する。
次に、ステップS7において、画像処理ユニット14は、フレーム毎に取得されている前記人体対象物のグレースケール画像及びその2値化画像から、動体(動いている人体対象物)の移動ベクトル(速度と方向)を検出する。
次に、ステップS8において、ブレーキセンサ20、車速センサ18、及びヨーレートセンサ22の各出力であるブレーキ操作量Br、車速Vs、ヨーレートYrと、前記人体対象物までの距離・方向とに基づき、自車両12が前記人体対象物に接触の可能性があるかどうかを判定し、接触の可能性があると判定した場合(ステップS8:YES)には、ステップS9において、運転者の注意を喚起する(運転者に情報を提供する)。具体的には、当該歩行者のグレースケール画像をHUD26aに表示するとともに、スピーカ24を通じて警報を発生し、車両12の運転者に接触の回避操作を促す。
以上のステップS1〜S9までの処理内容の説明が、画像処理ユニット14中、対象物認識処理部102cの公知の処理内容の説明である。
次に、図1に示す認識処理部102中、車両形状認識処理部102a及び人工構造物形状認識処理部102bについての公知の処理内容についても説明する。
車両形状認識処理部102aは、例えば、特許文献3に開示されているように、赤外線カメラ16R、16Lにより撮像された画像から抽出される不定形な2値化対象物の位置や発せられる赤外線量により、歩行者等の対象物(監視対象物)の安定した抽出を妨げる車両(非監視対象物)を対象物から排除する。
このため、2つの赤外線カメラ16R、16Lにより捉えられた画像を利用して、物体(対向車両又は先行車両)を認識する際に、前記画像のグレースケール画像を2値化処理することにより、前記グレースケール画像から、少なくとも1つの灯体(例えば、一方の前照灯や一方の車幅灯)と思われる第1の非監視対象物を熱源として抽出する灯体抽出部と、前記第1の非監視対象物の周囲の領域と、前記第1の非監視対象物との距離を比較して、自車両12からの距離が前記第1の非監視対象物と同一距離の第2の非監視対象物(従って、他方の前照灯や他方の車幅灯)を抽出する同一距離非監視対象物抽出部と、前記第2の非監視対象物の位置及び当該第2の非監視対象物から発せられる赤外線量と、予め設定された車両構造物の位置及び当該車両構造物から発せられる赤外線量との比較により、前記画像中の車両を認識する車両判別部と、を備える。
すなわち、車両形状認識処理部102aでは、まず前記灯体抽出部により、例えば車両の灯体と思われる第1の非監視対象物を認識する。次に、前記同一距離非監視対象物抽出部により、第1の非監視対象物の周囲を探索して、第1の非監視対象物と同一距離の第2の非監視対象物を抽出する。そして、前記車両判別部により、第1の非監視対象物と第2の非監視対象物との関係が、記憶部14mにテンプレートとして記憶されている車両の特徴に当てはまるか否かをテンプレートマッチングにより判断し、且つ第2の対象物の位置及び該第2の対象物から発せられる赤外線量を判断することで、目的の第1及び第2の非監視対象物を含む物体が車両か否かを判断することができる。
次いで、人工構造物形状認識処理部102bは、例えば、特許文献2に開示されているように、例えば道路上の端部には自動販売機や看板、壁等があり、それらより道路側に電柱や標識がある道路環境下においては、発熱体である自動販売機又は太陽光により高温となった看板等が、温度が低く赤外線の放出量の少ない状態の電柱や標識の柱により遮蔽され、2つに分割されて検出された場合、歩行者が二人存在すると判定する可能性があるので、歩行者等の対象物の安定した抽出を妨げる電柱等の人工構造物(非監視対象物)を対象物から排除する。
このため、2つの赤外線カメラ16R、16Lにより撮像された画像に基づいて、物体を認識する際に、1つの人工構造物(例えば、前記自動販売機)が他の人工構造物(例えば、前記電柱)により遮蔽され分離されて複数の人工構造物(二分された前記自動販売機)として検出されたと推測する人工構造物分離推測部を備える。前記人工構造物分離推測部は、前記画像から検出された前記複数の人工構造物(前記二分された前記自動販売機)を、1つの人工構造物(前記自動販売機)が1つの人工構造物(前記電柱)により分離されて検出された物体と推測することで、1つの人工構造物(前記自動販売機)とそれを遮蔽する人工構造物(前記電柱)の両方の存在を一度に認識することができ、歩行者が二人存在すると判定する可能性のある前記複数の人工構造物(前記二分された前記自動販売機)及びそれを遮蔽する人工構造物(前記電柱)を対象物から排除することができる。
前記記憶部14mには、撮像画像(画像)に対する前記個別認識処理(車両形状認識処理、人工構造物形状認識処理、及び対象物認識処理)の結果、画像(画面)中、認識された前記物体の画像領域(例えば、その外接四角形の領域)を記憶する認識領域記憶部14mrが設けられる。また、記憶部14mには、タイマ設定テーブル14mtが設けられる。
前記計時部104には、3種の除外継続時間タイマ104a、104b、104cが設けられるとともに、3種の解除残時間設定部Tra、Trb、Trcが設けられる。
画像中に、車両(車両形状)を認識した時に、図4に示すタイマ設定テーブル14mtの「認識車両領域(車両を認識した領域の意)」の項の「車:車両の略」欄が参照され、現在残時間Ta(車両が認識されていない時には、Ta=0)を計時する除外継続時間タイマ104aに、除外継続時間T1(T1は、この実施形態では、T1=5[s])が設定される(Ta←T1)とともに、解除残時間設定部Traに解除残時間T1′(T1′は、この実施形態では、T1´=4[s])が設定される(Tra←T1′)。
除外継続時間タイマ104a及び後述する除外継続時間タイマ104b、104cは、例えば、プリセットダウンカウンタにより構成され、それぞれ除外継続時間T1、T2、T3が設定されると直ちにダウンカウント(減算計時)を開始する。なお、解除残時間T1´及び後述する解除残時間T2´、T3´は、閾値であり、それぞれの解除残時間T1´、T2´、T3´になると、対応する除外継続時間タイマ104a、104b、104cがリセットされる(T1=0、T2=0、T3=0)。
画像中に、車両(車両形状)を認識した時に、同時に、タイマ設定テーブル14mtの「認識車両領域」の項の「構:人工構造物の略」欄が参照され、前記認識車両領域に対し、現在残時間Tb(車両が認識されていない時には、Tb=0)の除外継続時間タイマ104bに、同じ除外継続時間T1が設定される(Tb←T1=5[s])とともに、解除残時間設定部Trbに解除残時間T2′(T2′は、この実施形態では、T2´=2[s])が設定される(Trb←T2′)。
さらに、画像中に、車両(車両形状)を認識した時に、同時に、タイマ設定テーブル14mtの「認識車両領域」の項の「対:対象物の略」欄が参照され、前記認識車両領域に対し、現在残時間Tc(車両が認識されていない時には、Tc=0)の除外継続時間タイマ104cに、同じ除外継続時間T1が設定される(Tc←T1)とともに、解除残時間設定部Trcに解除残時間T3′(T3′は、この実施形態では、T3´=0[s])が設定される(Trc←T3′)。
同様に、画像中に、人工構造物(人工構造物形状)を認識した時にも、タイマ設定テーブル14mtが参照され、前記人工構造物を認識した領域(認識人工構造物領域という。)に対し、現在残時間Tb(人工構造物が認識されていない時には、Tb=0)の除外継続時間タイマ104bに、除外継続時間T2(T2は、この実施形態では、T2=3[s])が設定される(Tb←T2)とともに、解除残時間設定部Trbに解除残時間T2′が設定される(Trb←T2′=2[s])。
また、画像中に、人工構造物(人工構造物形状)を認識した時に、同時に、前記認識人工構造物領域に対し、現在残時間Tc(人工構造物が認識されていない時には、Tc=0)の除外継続時間タイマ104cに、同じ除外継続時間T2が設定される(Tc←T2=3[s])とともに、解除残時間設定部Trcに解除残時間T3′(T3′は、この実施形態では、T3´=0[s])が設定される(Trc←T3′)。
画像中に、対象物(対象物形状)を認識した時に、タイマ設定テーブル14mtが参照され、前記対象物を認識した領域(認識対象物領域という。)に対し、現在残時間Tc(対象物が認識されていない時には、Tc=0)の除外継続時間タイマ104cに、除外継続時間T3(T3は、この実施形態では、T3=1[s])が設定される(Tc←T3)とともに、解除残時間設定部Trcに解除残時間T3′が設定される(Trb←T3′=0[s])。
上記のように、車両形状を認識したとき、当該認識車両領域には、除外継続時間タイマ104a、104b、104cに除外継続時間T1が設定されるとともに、解除残時間T1′、T2′、T3′が設定され、人工構造物形状を認識したとき、当該認識人工構造物領域には、除外継続時間タイマ104b、104cに除外継続時間T2が設定されるとともに、解除残時間T2′、T3′が設定され、対象物を認識したとき、当該認識対象物領域には、除外継続時間タイマ104cに除外継続時間T3が設定されるとともに、解除残時間T3′が設定される。
ここで、除外継続時間T1は、前記車両形状認識処理部102aが前記物体の種別として他車両(対向車あるいは前走車等)を認識したときに、全画像(画面)中、認識車両領域(例えば、その外接四角形の領域)については、車両形状認識処理部102aによる上述した車両形状認識処理の効果を継続させるために設定される継続時間である。
除外継続時間T2は、前記人工構造物形状認識処理部102bが前記物体の種別として人工構造物を認識したときに、全画像(画面)中、認識人工構造物領域(例えば、その外接四角形の領域)については、人工構造物形状認識処理部102bによる上述した人工構造物形状認識処理の効果を継続させるために設定される継続時間である。
除外継続時間T3は、前記対象物認識処理部102cが前記物体の種別として対象物を認識したときに、全画像(画面)中、認識対象物領域(例えば、その外接四角形の領域)については、対象物認識処理部102cによる上述した対象物認識処理の効果を継続させるために設定される継続時間である。
実際上、法規等により規定された一定形状(2つの前照灯、前後それぞれ2つの車幅灯)を有する車両形状の車両形状認識処理は、人工構造物形状認識処理よりも信頼度を高く認識することができ、また、人工構造物形状の人工構造物形状認識処理は通常静止物体であり歩行者等の対象物よりも信頼度を高く認識することができるので、除外継続時間T1〜T3は、T1>T2>T3に設定することが好ましい。
さらに、図1中の除外継続時間更新部108は、認識処理部102により認識される頻度の高い種別の前記物体の除外継続時間T1〜T3を、より長い時間に更新するようにする。この場合、除外継続時間更新部108は、例えば、道路の混雑状況を無線通信によりセンタより入手し、あるいは都市部と郊外の棲み分け情報をナビゲーション装置から入手して除外継続時間T1〜T3を更新するようにしてもよい。
次に、基本的には以上のように構成される車両周辺監視装置10の特徴的な動作[対象物{人体(歩行者)等}の検知性能は維持しつつ、処理効率を向上(処理負荷を低減)する。]について、図5のフローチャート及び図6のタイムチャート200を参照して説明する。なお、図5のフローチャートは、赤外線カメラ16R、16Lによる撮像(グレースケール画像の取得)周期、ここでは33[ms]毎に実行される。
図6において、時点t0−1から時点t0の直前までの1秒間の間では、個別認識処理の全てが、撮像周期毎に実行された(○:認識処理有)が、何らの物体形状が認識されなかったものとしている。
そこで、時点t0のステップS11にて、画像処理ユニット14のCPU14cは、図3を参照して説明したステップS1(走行判定)、ステップS2(撮像)、及びステップS3(グレースケール画像取得)の前段処理を行う。
次いで、図5のステップS12にて、認識領域記憶部14mr及び計時部104を参照し、除外継続時間タイマ104aの現在残時間Taが解除残時間設定部Traに設定されている解除残時間T1′を上回る時間(Ta>T1′)残っている認識車両領域CRが存在するか否か(Ta≦T1′)を判定する。
ここでは、認識車両領域CRが残っていない(ステップS12:NO)ものとしているので、次に、ステップS13にて、画像の全領域(全画像領域)について、車両形状認識処理部102aによる上述した車両形状認識処理を実行し、車両形状を認識した場合には、当該車両形状の外接四角形にラベルを付ける。
この車両形状認識処理の結果がステップS14で判定される。車両が認識されていた場合(ステップS14:YES)には、、ステップS13にてラベルが付けられている(図5のタイムテーブル200中、時点t0及びステップS13で特定される枠に認識されてラベルが付けられていることを示す「*」を付けている。)当該車両形状の前記外接四角形を、ステップS15にて認識車両領域CR1に設定し、時点t0で認識領域記憶部14mrに認識車両領域CR1としてメモリアドレス領域を記憶し、ステップS16にて、その認識車両領域CR1に対し、除外継続時間タイマ104aの現在残時間Ta、除外継続時間タイマ104bの現在残時間Tb、及び除外継続時間タイマ104cの現在残時間Tcを、それぞれ除外継続時間T1に設定する(Ta,Tb,Tc←T1=5)。
除外継続時間タイマ104a、104b、104cに除外継続時間T1が設定されると、ステップS17にて、除外継続時間タイマ104a、104b、104cは、直ちにダウン計時が開始される。
なお、車両が複数認識された場合、複数の認識車両領域CRのそれぞれに対し除外継続時間タイマ104a、104b、104cが設定される。
次いで、画像処理ユニット14(のCPU14c)は、ステップS18にて、認識領域記憶部14mr(図6参照)及び計時部104を参照し、除外継続時間タイマ104bの現在残時間Tbが、解除残時間設定部Trbに設定されている解除残時間T2′を上回る時間(Tb>T2′)残っている認識領域が存在するか否か(Tb≦T2′)を判定する。
ここでは(時点t0では)、認識車両領域CR1でTb>T2′となっているので、認識車両領域CR1に対するステップS19の人工構造物形状認識処理がスキップされ{図6のタイムチャート200中、(t0,S19)の座標で指定される枠内を「−」と描き、スキップすることを意味させている。}、残りの全領域において、ステップS19での人工構造物形状認識処理が実行される。
ステップS19の人工構造物形状認識処理にて、人工構造物形状を認識した場合には、当該人工構造物形状の外接四角形にラベルを付ける。
この人工構造物形状認識処理の結果がステップS20で判定される。電柱等の人工構造物が認識されていた場合(ステップS20:YES)には、ステップS21にて、ラベルが付けられている当該人工構造物形状の前記外接四角形をステップS21にて認識人工構造物領域ARに設定し、ステップS22にて、その認識人工構造物領域ARに対し、除外継続時間タイマ104bの現在残時間Tb及び除外継続時間タイマ104cの現在残時間Tcをそれぞれ除外継続時間T2に設定する(Tb、Tc←T2=3)。
除外継続時間タイマ104b、104cに除外継続時間T2が設定されると、ステップS23にて、除外継続時間タイマ104b、104cは、直ちにダウン計時を開始する。
この場合にも、人工構造物が複数認識された場合、複数の認識人工構造物領域のそれぞれに対し除外継続時間タイマ104b及び除外継続時間タイマ104cが設定される。
この実施形態では、時点t0のステップS19にて人工構造物形状が認識されていないものとしているので(図6参照)、ステップS20の判定は否定的となる。
次いで、ステップS24にて、認識領域記憶部14mr及び計時部104を参照し、除外継続時間タイマ104cの現在残時間Tcが解除残時間設定部Trcに設定されている解除残時間T3′を上回る時間(Tc>T3′)残っている認識領域が存在するか否か(Tc=T3′)を判定する。
ここでは、認識車両領域CR1でTc>T3′となっているので、その領域に対するステップS25の対象物認識処理がスキップされ、残りの全領域において、ステップS25での対象物認識処理が実行される。
ステップS25の対象物認識処理にて、対象物を認識した場合には、当該対象物形状の外接四角形にラベルを付ける。
この対象物認識処理の結果がステップS26で判定される。歩行者等の対象物が認識されていた場合(ステップS26:YES)には、ステップS27にて、ラベルが付けられている当該対象物形状の前記外接四角形をステップS27にて認識対象物領域ORに設定し、ステップS29にて、その認識対象物領域ORに対し、除外継続時間タイマ104cの現在残時間Tcを除外継続時間T3に設定する(Tc←T3=1)。
除外継続時間タイマ104cに除外継続時間T3が設定されると、ステップS29にて、除外継続時間タイマ104cは、直ちにダウン計時を開始する。
この場合にも、対象物が複数認識された場合、複数の認識対象物領域ORのそれぞれに対し除外継続時間タイマ104cが設定される。
この実施形態では、ステップS25にて対象物形状が認識されていないものとしているので、ステップS26の判定は否定的となる。
次に、ステップS30において、認識領域記憶部14mrが参照され、認識対象物領域ORの有無(存在しているか否か)を判定し、認識対象物領域ORが存在する場合(ステップS30:YES)、ステップS31にて、図3を参照して説明したステップS7(動体検出)、ステップS8(接触の可能性判定)、及びステップS9(注意喚起出力)までの後段処理を実行して、ステップS1に戻る。認識対象物領域ORが存在していない場合にも(ステップS30:NO)、ステップS11に戻る。
時点t0後、時点t0+1までの間では、認識車両領域CR1については、ステップS12の判定(Ta>T1′)、ステップS18の判定(Tb>T2′)及びステップS24の判定(Tc>T3′)が肯定的となるので、車両形状認識処理(ステップS13)、人工構造物形状認識処理(ステップS19)、対象物認識処理(ステップS25)の各処理が行われない、すなわちスキップされる(図6のタイムチャート中、時点t0と時点t0+1との間のS13、S19、S25の枠に「−」を記入している。)。
時点t0+1になると、除外継続時間タイマ104aの現在残時間TaがTa=T1′=4[s]となるので、認識車両領域CR1については、ステップS12の判定(Ta>T1′)が否定的となり(ステップS12:NO、Ta≦T1´)、ステップS13の車両形状認識処理が再び実行される(図6の時点t0+1及びステップS13で特定される枠がステップS13の処理の実行を示す「○」に変わる。)。この場合においても、ステップS18の判定(Tb=4>T2′=2)及びステップS24の判定(Tc=4>T3′=0)が肯定的となるので、人工構造物形状認識処理(ステップS19)及び対象物認識処理(ステップS25)がスキップされる。
時点t0+3になると、除外継続時間タイマ104bの現在残時間TbがTb=T2′=2[s]となるので、認識車両領域CR1について、ステップS18の判定(Tb>T2′)が否定的となり、ステップS19の人工構造物形状認識処理が実行される(図6の時点t0+3及びステップS19で特定される枠がステップS19の処理の実行を示す「○」に変わる。)。この場合においても、ステップS24の判定(Tc=2>T3′=0)が肯定的となるので、対象物認識処理(ステップS25)がスキップされる。
時点t0+5になると、除外継続時間タイマ104cの現在残時間TcがTc=T3′=0[s]となるので、認識車両領域CR1での除外継続時間T1の効果が消滅するので、ステップS24の判定(Tc>T3′)が否定的となり(Tc=T3′)、ステップS25の対象物認識処理が実行される(図6の時点t0+5及びステップS25で特定される枠がステップS25の処理の実行を示す「○」に変わる。)。
このように、図6のタイムチャート200中、「−」で示す枠に対応する時間では、ステップS13、S19、S25の各個別認識処理が行われずにスキップされるので、認識処理時間を短くすることができる。これにより画像処理ユニット14(CPU14c)の処理負荷(演算負荷、演算量)を軽減することができる。実際上、撮影間隔(フレームクロック間隔)は数十ミリ秒程度であり、スキップ時間の長さは、秒オーダーであるので、画像処理ユニット14(CPU14c)の処理負荷(演算負荷、演算量)を大幅に軽減することができる。
[実施形態の概要]
以上説明したように、上述した実施形態に係る車両周辺監視装置10は、車両12に搭載された赤外線カメラ16R、16Lにより撮像した画像から監視しようとする対象物(歩行者等の監視対象物)を認識する。
この場合、車両周辺監視装置10の認識処理部102は、前記画像に含まれる複数種別の物体(車両、人工構造物、又は歩行者等の対象物)毎に個別認識処理{車両形状認識処理(ステップS13)、人工構造物形状認識処理(ステップS19)、対象物認識処理(ステップS25)}を実行する。除外継続時間設定部106は、前記個別認識処理の結果、認識された物体の画像領域に対して、前記物体の種別に応じて、前記認識処理の効果を継続する除外継続時間T1、T2、T3を設定する。そして、さらに前記認識処理部102は、除外継続時間T1、T2、T3が設定された前記画像領域については、除外継続時間T1、T2、T3未満の前記物体の種別に応じて設定される所定残時間である解除残時間T1′、T2′、T3′となるまで、当該物体の個別認識処理を行わない(スキップする)ようにしている。このため、画像全体の認識処理の時間を短縮することができる。これにより認識処理部102の処理負荷を軽減することができる。すなわち、CPU14cの演算負荷を低減することができる。
この場合、認識処理部102は、前記画像に含まれる前記複数種別の物体毎に前記個別認識処理を実行する際、除外継続時間T1、T2、T3が長く設定された物体の前記個別認識処理から先に行うように構成しているので、すなわち車両形状(除外継続時間T1)の認識処理(ステップS13)を、人工構造物形状(除外継続時間T2)の認識処理(ステップS19)よりも先に行うようにし、人工構造物形状(除外継続時間T2)の認識処理(ステップS19)を、対象物(除外継続時間T3)の認識処理(ステップS25)よりも先に行うように構成しているので、前記処理負荷の軽減量を早期に大きくすることができる。
上述した実施形態では、除外継続時間T1、T2、T3を、固定時間としているが、前記認識処理部(車両形状認識処理部102a、人工構造物形状認識処理部102b、又は対象物認識処理部102c)により認識される頻度の高い種別の前記物体の前記除外継続時間T1、T2、T3を、除外継続時間更新部108により、より長い時間に更新することにより、処理負荷の軽減量を一層大きくすることができる。
他の実施形態として、対象物形状に対しては、除外継続時間T3を設けない(T3=0)ように構成を変更してもよい。
この場合のフローチャートを図7に示す。図7のフローチャートにおいては、図5のフローチャート中、ステップS24、S27、S28、S29、S30の処理が省略され、ステップS25の対象物認識処理の実行後に、ステップS26で対象物が認識されたか否かが判定され、対象物が認識されていた場合(ステップS26:YES)には、ステップS31の後段処理が実行される。また、図7のフローチャートのステップS16、S17、S22、S23では、それぞれ、現在残時間Tcの設定、除外継続時間タイマ104cのダウン計時開始の各処理が省略される。同様に、図示はしないが、図1例の車両周辺監視装置10においては、除外継続時間タイマ104c及び解除残時間設定部Trcが省略され、図4のタイマ設定テーブル14mtの内容から除外継続時間タイマ104c及び解除残時間設定部Trcの各行に記載した時間設定が省略される。
この図7例のフローチャートを実行する他の実施形態に係る車両周辺監視装置によれば、対象物に対する個別認識処理である対象物認識処理部102cによる処理が必ず行われるようになる。
なお、この発明は、上述の実施形態に限らず、この明細書の記載内容に基づき、種々の構成を採り得ることはもちろんである。
例えば、図8に示すように、車両12Aの前部バンパー部に、車両12Aの車幅方向中心部に配置された単一の赤外線カメラ(赤外線カメラ単眼ともいう。)16を用いて、所定時間(既知時間)間隔(例えば、上述したフレームクロック間隔)で車両周辺の対象物を少なくとも2回(2フレーム)連続して撮像し、2個の撮像画像を得る。2個の撮像画像中、前回の撮像画像における対象物の大きさ(サイズ)に比較して今回の撮像画像における同一対象物の画像の大きさ(サイズ)の変化は、対象物と車両周辺監視装置搭載車両との相対速度が高いほど大きくなる。そして、車両の前方に存在する対象物は、該対象物と車両との相対速度が高いほど、車両への到達時間が短くなる。このように、所定時間間隔間での同一の対象物の画像部分の大きさの変化率から、車両12Aへの到達時間、いわゆる接触余裕時間(TTC:Time To Contact or Time To Collision)を推定することで車両12Aの周辺を監視することができる。
監視対象物が車両12Aに到達するまでの接触余裕時間TTCは、前記変化率Rate(画像から求める。)と、所定時間間隔である撮像間隔(フレームクロック周期)dT(既知)とから、公知の要領にて、次の(1)式により求めることができる。
TTC=dT×Rate/(1−Rate) …(1)
なお、変化率Rateは、監視対象物の前回の撮像時の画像中の監視対象物の幅又は長さW0(それぞれ画素数で記憶しておけばよい。)と、今回の撮像時の画像中の同一監視対象物の幅又は長さW1(画素数)との比(Rate=W0/W1)で求めることができる。
また、監視対象物までの距離Zは、次の(2)式により求めることができる。なお、(2)式において、Vsは、より正確には、監視対象物と車両12間の相対速度とされる。監視対象物が停止している場合には、相対速度は、車速Vsに等しい。
Z=Rate×Vs×dT/(1−Rate) …(2)
さらに、画像処理ユニット14は、算出した前記接触余裕時間TTCと、所定時間間隔をもって撮像された前記画像間における同一の監視対象物の画像部分の位置変化量Δx(水平方向),Δy(垂直方向)を算出し、算出した位置変化量(移動ベクトル)Δx,Δyと、に基づいて監視対象物と車両12との接触可能性を判定する。
図8例の場合には、単一の赤外線カメラ16を用いているので2台の赤外線カメラ16R、16Lを用いる場合に比較して装置のコストダウンを図ることができるし、車両12Aへの据え付けコストも低減できる。さらに、画像処理ユニット14の処理負荷も軽減する。
なお、赤外線カメラを用いることなく、自然光下で撮像可能な一般的なデジタルビデオカメラを実施形態と同様にステレオカメラとして用いる、あるいは単一の前記デジタルビデオカメラとして用いるようにすることもできる。