JP2008026985A - 車載用歩行者検出装置 - Google Patents

Abstract

【課題】歩行者の検出位置情報とその検出頻度に基づいて、不要検出を低減させた車載用歩行者検出装置を提供することを目的とする。
【解決手段】本発明は、歩行者を含む車両周辺の対象物を検出する歩行者検出手段１０を有する車載用歩行者検出装置であって、
前記歩行者検出手段で検出された対象物の位置を算出する歩行者位置算出手段２０と、該歩行者算出手段により算出された対象物の位置を記憶する記憶手段３０と、前記歩行者検出手段により検出された対象物が歩行者であるか否かを判定する判定手段４０とを備え、
前記判定手段は、前記歩行者位置算出手段により算出された対象物位置において、前記記憶手段に記憶された過去の対象物検出データ数が所定数以上のときには、前記歩行者手段により検出された対象物が歩行者でないと判定することを特徴とする。
【選択図】図１

Description

本発明は、車両に搭載され、車両の進行の妨げとなる位置にいる歩行者を検出し、運転者に歩行者の存在を通知する車載用歩行者検出装置に関する。

従来から、赤外線カメラで捉えた画像から歩行者等の自車両に影響を与える対象物を検出し、運転者に警報を発する障害物検出装置であって、運転者の操作に基づいて、運転者が意識的に警報対象から除外したい対象物の特徴と位置情報を記憶手段に記憶し、記憶手段に記憶された対象物が再度検出された場合には、対象物に対する警報出力を中止することにより、運転者を煩わす警報の出力を抑制するものが知られている（例えば、特許文献１参照）。
特開２００４−１０６６８２号公報

しかしながら、上述の特許文献１に記載の構成では、警報対象から除外したい対象物を運転者が自ら操作して記憶させなければならず、除外した対象が多い場合は運転者の操作負担が過大となり、また同時に不要な対象物と必要な対象物が出現した場合、運転者は咄嗟に指示操作を行うことができず、不要検出を記憶することができない。

更に、上述の特許文献１においては、不要検出について特徴と位置情報を元に識別を行なっているが、対向車の光や周辺環境の光等によって特徴が異なって捉えられ、記憶された対象物の特徴と一致せず不要検出とされないことがあるという問題があった。

そこで、本発明は、歩行者の検出が発生する位置情報とその発生頻度に基づいて、不要検出を運転者の操作を要せず自動的に行うとともに、不要検出を低減させ、検出性能を向上させた車載用歩行者検出装置を提供することを目的とする。

上記目的を達成するため、第１の発明に係る車載用歩行者検出装置は、歩行者を含む車両周辺の対象物を検出する歩行者検出手段を有する車載用歩行者検出装置であって、
前記歩行者検出手段で検出された対象物の位置を算出する歩行者位置算出手段と、該歩行者算出手段により算出された対象物の位置を記憶する記憶手段と、前記歩行者検出手段により検出された対象物が歩行者であるか否かを判定する判定手段とを備え、
前記判定手段は、前記歩行者位置算出手段により算出された対象物位置において、前記記憶手段に記憶された過去の対象物検出データ数が所定数以上のときには、前記歩行者手段により検出された対象物が歩行者でないと判定することを特徴とする。これにより、看板等の非歩行者の静止対象物を歩行者と誤検出することを防ぐことができる。

第２の発明は、第１の発明に係る車載用歩行者検出装置において、
前記判定手段は、前記歩行者位置算出手段により算出された対象物位置の周辺領域において、前記記憶手段により記憶された前記過去の対象物検出データ数が所定数以上のときには、前記周辺領域内における前記歩行者検出手段の検出感度を上げることを特徴とする。これにより、人通りの多い領域では、歩行者であるのに検出されない未検出を防ぐことができる。

第３の発明は、第１又は第２の発明に係る車載用歩行者検出装置において、
前記車載用歩行者検出装置は、前記記憶手段に記憶された前記過去の対象物検出データ数が前記所定数以上ある位置において、前記歩行者検出手段が対象物を検出しなくなったときには、前記位置に係る前記過去の対象物検出データを消去することを特徴とする。これにより、撤去された対象物により煩わされることがなくなる。

本発明によれば、運転者による誤検出除去の設定操作が不要で、かつ歩行者の誤検出が少ない車載用歩行者検出装置を提供することができる。

以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。

図１は、本実施例に係る車載用歩行者検出装置の機能ブロック図の一例である。

本実施例に係る車載用歩行者検出装置は、歩行者検出手段１０と、歩行者位置算出手段２０と、記憶手段３０と、判定手段４０と、通知手段５０とを備える。更に、必要に応じて、歩行者検出手段１０は、検出感度調整手段１１、車載カメラ等の撮像手段１２、又はレーダー１３とを備えてよい。また、歩行者位置算出手段２０も、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等の通信情報を取得する通信情報取得手段２１を必要に応じて備えてよい。

次に、各々の構成要素の機能及びその動作の概要について説明する。

歩行者検出手段１０は、車両の進行の妨げとなる歩行者の存在を検出するための手段である。例えば、車両が前方に進行中、前方に歩行者が居たら、歩行者の存在を検出する。歩行者の存在は、例えば車載カメラのような撮像手段１２を用いて画像信号により検出してもよいし、レーダー１３のような光や音波等を歩行者に照射し、その反射信号で歩行者の存在を検出するように構成してもよい。レーダー１３を用いる場合は、例えばレーザー光を用いてもよいし、ミリ波を用いてもよいし、マイクロ波を用いてもよく、用途に応じて適宜適切なものを使用してよい。

また、画像信号により歩行者を検出する場合には、種々の手法により検出されてよいが、例えばパターンマッチング方式が用いられてよい。一例を挙げると、所定の歩行者の画像パターンを予め認識して記憶保存しておき、撮像手段１２により対象物の画像を取得したら、予め記憶保存していた歩行者の画像と比較し、両者の画像パターンが一致したら、対象物を歩行者として検出するように構成してよい。

検出感度調整手段１１は、歩行者検出の感度を調整する手段である。検出の感度を上げれば、歩行者は多く検出されるようになるが、代わりに歩行者以外の検出物も増えるので、歩行者以外の対象物を歩行者として検出するノイズが増える可能性も高くなる。一方、検出感度を下げれば、ノイズは減り、歩行者でない対象物を検出する確率は低くなるが、代わりに歩行者の検出漏れが出る可能性が出てくる。このように、検出感度は適切な感度に調整されることが好ましいので、検出感度調整手段１１を必要に応じて設けてよい。検出感度調整手段１１は、例えば、上述のパターンマッチング方式で構成された場合には、マッチングの閾値を上げたり下げたりして調整することができる。閾値を下げれば、撮像手段１２で取得した画像と、比較参照用のパターン画像が大まかに合っていれば検出することになるし、閾値を下げればその逆に、細部までパターンが一致していないと、歩行者として認識しないということになる。

歩行者検出手段１０により検出された歩行者存在の情報は、歩行者位置算出手段２０に送られる。

なお、歩行者検出手段１０では、歩行者の存在だけでなく、歩行者の位置も算出するようにしてよい。例えば、画像信号により歩行者の存在を検出する場合には、カメラの向きや傾斜角度等から、歩行者の位置を検出できる。この場合は、歩行者存在情報を歩行者位置算出手段２０に送るだけでなく、歩行者位置情報を判定部４０に送るように構成してよい。

歩行者位置算出手段２０は、歩行者検出手段１０からの歩行者検出情報に基づいて、歩行者の位置を算出する。歩行者の位置は、自車両の位置を例えばＧＰＳにより把握し、かつ車両の方向、歩行者との距離等の歩行者との位置関係を示す情報を把握することにより、両者に基づいて算出することができる。ＧＰＳ等の通信情報を用いて自車両の位置を把握するためには、アンテナや受信機等の通信情報取得手段２１を利用してよい。一方、自車両の歩行者との位置関係は、例えばステアリングセンサにより検出したステアリング操舵角から車両の進行方向を求め、車両速度計で検出した車両速度と自車位置の関係等から歩行者との距離を求めるようにしてもよい。

このように、歩行者位置算出手段２０は、自車両の地理上の絶対位置と、自車両の位置を基点として歩行者との相対位置を把握することにより、歩行者の位置を算出することができる。歩行者位置算出手段２０で算出された歩行者位置の情報は、記憶手段３０及び／又は判定手段４０に送られる。

記憶手段３０は、歩行者位置算出手段２０から直接又は判定手段４０を経て間接的に送られてきた歩行者位置に関する情報を記憶する。歩行者位置に関する情報は、少なくとも歩行者の位置を特定できる情報を含み、例えば緯度と経度の情報や、ＧＰＳの画像内におけるＸ−Ｙ座標であってよい。記憶手段３０に記憶された歩行者位置情報は、各位置における検出頻度をデータとして利用するため、記憶手段３０において位置毎に分類したり、位置毎の記録回数を示す情報に変換してもよい。記憶手段３０は、このように歩行者位置情報のデータを蓄積記憶し、必要に応じて、判定手段４０からそのデータを参照され、判定手段４０における判定のためのデータを提供する役割を担う。

判定手段４０は、歩行者位置算出手段２０から送られてきた歩行者位置に関する情報の正誤の判定を行い、必要な処理を実行する。判定に際しては、記憶手段２５に記憶されている過去データを参照し、過去データに基づき、歩行者位置算出手段２０から送られてきた歩行者位置に関する情報について、そのまま歩行者と判断してよいのか、それとも非歩行者を歩行者として誤検出してしまったのか、又は歩行者の未検出が有り得る等の判断を行なう。具体的な判定方法については後述するが、判定結果に応じ、必要な処理を実行する。例えば、送られてきた歩行者の情報が正しいと判定したときには、通知手段５０に送って運転者に歩行者の存在を通知する。その際、新しい歩行者情報として、記憶手段２５にデータを書き込むようにしてよい。また、送られてきた歩行者の情報が誤検出であると判定したときには、通知手段５０で歩行者の存在を通知しないような制御を行なう。例えば、通知手段５０への信号を出力しないようにしてもよいし、誤検出信号を出力して通知手段５０において出力しない旨の指令をしてもよい。更に、送られてきた歩行者の情報から、未検出が有り得ると判断したときには、歩行者検出部１０の検出感度を上げる等の制御を行なうようにしてもよい。

また、判断の際には、歩行者検出手段１０において検出した歩行者位置も合わせて照合するようにしてよい。歩行者位置算出手段２０により算出された歩行者位置との照合を取ることにより、より正確で信頼度高く歩行者の位置情報を取得できる。

なお、判定手段４０は、コンピュータ等の演算手段により構成されてよく、例えば、ＥＣＵ（Ｅｌｅｃｔｏｒｉｃａｌ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）に組み込まれてもよいし、単独で設けられてもよい。また、電気回路やプログラムを読み込んだＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍ Ｇａｔｅ Ａｒｒａｙ）等により構成されてもよい。

通知手段５０は、判定手段４０の指令に基づいて、歩行者の存在を運転者に通知する。具体的には、例えば、警報やアナウンス等の音声による通知や、ディスプレイや発光ダイオード等の視覚による通知により実行されてよいし、それらが併用されてもよい。

図２は、本実施例に係る車載用歩行者検出装置において、判定手段４０において行なわれている判定の基本的な考え方を説明するための図である。

図２（ａ）は、走行中の車両と非歩行者である看板と歩行者との関係を示した図である。車両に搭載された歩行者検出装置において、例えば画像認識を用いて歩行者を検出する場合には、カメラ等の撮像手段により取得した画像から、歩行者と非歩行者を区別して画像認識し、歩行者のみを正確に検出することが要求される。しかしながら、例えば人物画が描かれた看板は、人物とほぼ同じ大きさであり、形状も２次元平面で見れば類似しているので、画像認識のみにより正確に人物と区別して検知不要と判断するのは極めて困難である。他にも、図２（ｂ）に示すように、人物が描かれていなくても、細長で人物と同じような幅で、上端が人物大となってしまうような看板は、画像認識で人物以外の対象物と判定して不要検出するのは極めて困難である。同様に、図２（ｃ）に示すように、樹木が人物大の垣根等も不要検出が困難である。

そこで、本実施例に係る車載用歩行者検出では、歩行者は移動物であり、非歩行者は常設された静止物であることに着目し、この相違点で区別して不要検出を除去することとした。具体的には、歩行者として検出した対象物の位置データを記憶手段２５に記憶蓄積してゆき、歩行者を新たに検出する度に、その歩行者の位置における過去の検出履歴データを参照するようにする。略同一の位置において、過去の検出履歴が所定回数以上検出されているようであれば、その対象物は歩行者ではなく、常設された看板等の静止物と判定することができる。この検出対象を、歩行者として検出したものから除外することにより、非歩行者を歩行者として検出する不要検出又は誤検出の数を減らすことができる。

また逆に、横断歩道のように人が多く行き来する場所では、人が重なったり、手を上げて横断する人等もいたりして、検出した歩行者画像がパターン認識で記憶している参照用画像と異なる形状に見える場合が有り得る。人間は、体勢、姿勢、動作により如何様の形状にも変化し得るが、パターン認識の方は必ずしも総ての人間が作る形状パターンに対応できる訳ではなく、例えば人がしゃがんでいたりすると、人であるという認識が非常に難しくなる。加えて、横断歩道のような人が集まる場所では、人同士が重なったりするということが起こり得る。そこで、人が多く集まる場所においては、その場所を頻出領域として認識し、その領域内で歩行者が検出されたときには、検出感度を上げて、人にある程度近い画像であれば、歩行者として認識するような制御方法をとることができる。これにより、歩行者の未検出を減らすことができる。

次に、本実施例に係る車載用歩行者検出装置を実際に車両に搭載したときの具体的な実施例について説明する。

図３は、車両に搭載した本実施例に係る車載用歩行者検出装置のシステム構成の一例を示す図である。なお、図３において、図１で説明した構成要素に対応する構成要素については、図１で付した参照符号と同一の番号に更にアルファベットを付した参照符号を用い、その対応関係が理解し易いようにする。

図３において、本実施例に係る車載用歩行者検出装置は、近赤外線カメラ１２ａと、歩行者検出ＥＣＵ１０ａと、メモリ３０ａを含むナビゲーション２０ａと、メモリを参照・記録を行い、誤検出・エリア判定を行う判定ＥＣＵ４０ａと、注意喚起装置５０ａとから構成される。

近赤外線カメラ１２ａは、歩行者の候補となる対象物の画像検出を行う。近赤外線カメラ１２ａは、散乱しにくく薄い対象物は透過して撮像でき、また夜間でも撮像できるので、歩行者検出手段として適している。近赤外線カメラ１２ａの代わりに、遠赤外線カメラを用いてもよい。同じ赤外線カメラなので、同様の性質を有する。更に、可能であれば可視光線を利用したカメラ等も利用できるし、画像を取得する必要が無ければ、レーダー等も利用できる。近赤外線カメラ１２ａで撮像して取得した画像信号は、歩行者検出ＥＣＵ１０ａに送られる。

歩行者検出ＥＣＵ１０ａでは、近赤外線カメラ１２ａで取得した対象物画像が、歩行者か否かの画像認識を行なう。歩行者検出ＥＣＵ１０ａは、歩行者の画像パターンを予め参照用画像として記憶しており、近赤外線カメラ１２ａから送られてくる対象物画像に、歩行者が含まれるか否かをパターンマッチングにより認識判定してゆく。なお、参照用画像は、歩行者検出ＥＣＵ１０ａ内に設けられたメモリ等の記憶手段に記憶されてよく、パターンマッチングの演算処理はＥＣＵ１０ａ内の演算処理機能により処理されてよい。また、歩行者検出ＥＣＵ１０ａは、歩行者の存在を認識したときには、その位置座標も算出するようにしてよい。近赤外線カメラ１２ａの向きや傾き等から、歩行者との距離が推定できるので、これに基づいて、歩行者検出ＥＣＵ１０ａ内で歩行者の位置座標も演算算出してよい。歩行者検出手段１０ａにより歩行者の存在が検出されたら、歩行者情報は判定ＥＣＵ４０ａに送られる。なお、歩行者の位置情報があれば、その情報も合わせて判定ＥＣＵ４０ａに送ってよい。

ナビゲーション２０ａは、ＧＰＳ等の情報通信手段により自車両の位置を知る機能と、自車両の位置に基づいて歩行者位置を算出する機能と、その算出した歩行者位置をメモリ３０ａにより記憶する機能とを兼ね備える。これらの機能は、いわゆるナビゲーションシステムの中に組み込まれてよい。ナビゲーション２０ａは、ＧＰＳ等を用いて地理上の自車両の位置を知ることができる。

また、ナビゲーション２０ａは、自車両の位置に基づいて、例えばステアリングの操舵角、傾斜角度、速度等の歩行者との方向、距離等の位置関係を定めるデータを用い、歩行者の位置を推定演算する。なお、例えば、ステアリングの操舵角はステアリングセンサ、傾斜角度は水平計、速度は速度計により検出してよい。また、歩行者との距離に関しては、レーダーのような距離センサを別個に設けるようにしてもよい。

更に、ナビゲーション２０ａは、内部のメモリ３０ａを用いて、推定演算により算出した歩行者位置を記憶する。歩行者位置は、例えば緯度や経度の地理上の絶対値により記憶してもよいし、ナビゲーション２０ａのディスプレイ画面上の座標により記憶してもよいし、双方を記憶してもよい。歩行者位置を同一基準で表現できる座標系であれば、都合のよいものを利用してよい。また、歩行者位置だけでなく、歩行者位置を検出したときの自車位置も併せて記憶するようにしてもよい。歩行者位置を検出した際の自車両位置も合わせて検討するようにすれば、判定ＥＣＵ４０ａにおいてより正確な判定が期待できる場合もあるからである。

ナビゲーション２０ａにおいて算出された歩行者検出位置情報は、判定ＥＣＵ４０ａに送られる。

判定ＥＣＵ４０ａは、ナビゲーション２０ａから送られてきた歩行者検出位置情報が誤検出であるか、又は人の多い頻出領域内にあるかの判定を行う。判定ＥＣＵ４０ａは、ナビゲーション２０ａから送られてきた歩行者位置について、ナビゲーション２０ａ内のメモリ３０ａに記憶されているデータと照合を行なう。

データ照合は、例えば、ナビゲーション２０ａから送られてきた歩行者位置と略同一の座標におけるデータがメモリ３０ａ内にあるかを検索する。データがあれば、そのデータを拾い上げ、データ個数を数える。データ個数が所定の個数以上であれば、ナビゲーション２０ａから送られてきた歩行者の存在情報は、静止物を歩行者と誤って検出したと判断することができる。なお、略同一座標か否かの判断は、同一と判断する座標に有る程度の幅を持たせ、その幅以内にあれば略同一と判断するように設定しておいてもよい。

次に、判定ＥＣＵ４０ａは、例えばナビゲーション２０ａから送られてきた歩行者位置が人通りの多い頻出エリア内にあるかについて、メモリ３０ａ内を検索して判定する。歩行者位置を含む所定面積の周辺領域内に、何個検出履歴データが存在するかによりその周辺領域が頻出エリアか否かの判断ができるので、そのような周辺領域とデータ個数の基準を予め定め、その基準に基づいて頻出エリアであるか否かを判断してよい。また、領域面積とデータ個数を定めれば、所定面積内におけるデータ存在個数、即ちデータ密度が算出できるので、このデータ密度により頻出エリアを特定してもよい。ナビゲーション２０ａから送られてきた歩行者位置が、このような基準により設けられた頻出エリア内にあると判断されたときには、例えば、歩行者検出ＥＣＵの検出感度を上げるように制御してよい。頻出エリア内では、人同士が重なったりして検出すべき歩行者を未検出としてしまう可能性が高くなるため、そのような事態を防ぐべく、例えば歩行者検出ＥＣＵ１０ａで行なわれているパターンマッチングの一致閾値レベルを下げることにより、検出感度を上げることができる。

なお、これらの判定ＥＣＵ４０ａの機能は、コンピュータとしての演算機能により実行されてよい。

また、判定ＥＣＵ４０ａは、誤検出防止のための判定において、誤検出の対象となる静止物が撤去されたら、当該静止物に係る過去のデータを除去してよい。メモリ３０ａの記憶領域は有限であるため、不要になったデータは削除してメモリ領域を開放する趣旨である。静止物の撤去の判断は、例えば、略同一の位置において複数の検出履歴があるにも関わらず、所定期間データ照合のアクセスが無かったときには、静止物が撤去されたと判断して当該データを削除するように設定してもよい。

なお、判定ＥＣＵ４０ａは、ナビゲーション２０ａから送られてきた歩行者存在情報が最終的に正しい情報であると判定したときには、その歩行者存在情報に関する位置情報をメモリ３０ａに記憶するようにしてよい。新たな歩行者情報のデータとして追加するためである。

また、判定ＥＣＵ４０ａは、ナビゲーション２０ａから送られてきた歩行者存在情報が正しい情報であると判定したら、注意喚起装置５０ａが注意喚起動作を行うように制御する。一方、判定ＥＣＵ４０ａは、ナビゲーション２０ａから送られてきた歩行者存在情報が誤検出であると判定したときには、注意喚起装置５０ａが注意喚起動作を行わないような制御を行なう。

注意喚起装置５０ａは、判定ＥＣＵ４０ａの指令に従い、運転者に注意を喚起させる音声を出力するか、運転者に注意を喚起させる表示等を出力して、運転者に歩行者の存在を知らせる。

図４は、図３において説明した本実施例に係る車載用歩行者検出装置を動作させたときの処理フローチャートを示す。

ステップ１００では、近赤外線カメラ１２ａを用いて、歩行者の候補となる対象物をカメラ撮像する。撮像したら、ステップ１１０に進む。

ステップ１１０では、歩行者検出ＥＣＵ１０ａにより、近赤外線カメラ１２ａから送られてきた対象物の画像から、歩行者の検出を行う。図３において説明したように、画像認識技術を用い、パターンマッチングにより歩行者を検出してもよい。他の手法があれば、それを用いてもよい。ステップ１１０において、歩行者の存在情報及び必要に応じて歩行者の位置情報も検出される。

ステップ１２０では、歩行者を検出したか否かの判断が行なわれる。歩行者を検出していないと判断されたときは、特に運転者に注意を喚起する必要もないので、ステップ１００に戻り、カメラ撮像からやり直す。一方、歩行者を検出したと判断されたときは、ステップ１３０に進む。

ステップ１３０では、ナビゲーション２０ａにより、ＧＰＳ等の通信情報を利用して、自車両の位置情報を取得する。また、自車両の位置を基準とし、検出した歩行者の位置情報を取得する。歩行者の位置情報は、上述のように、ステアリング操舵角や車両の傾斜角度、車両の速度、車両と歩行者との距離等の検出値に基づいて自車両と歩行者との方向、距離等の位置関係を算出するようにしてよい。そしてステップ１３０では、歩行者の位置情報に基づいて、歩行者の位置における過去データをメモリ３０ａから取得する。過去データを取得したら、ステップ１４０に進む。

ステップ１４０では、判定ＥＣＵ４０ａにより、歩行者検出位置における検出頻度を算出し、これに基づいて判定処理を行なう。具体的な処理は、ステップ１５０にて行なう。

ステップ１５０では、ＥＣＵ判定処理のうち、まず歩行者検出位置と略同一位置の対象データが、過去データにＮ個あるか否かが判断される。これは、歩行者と認識して検出した対象物が、本当に歩行者であるかを判断するために行なわれるステップである。即ち、ある対象物を歩行者として検出しても、略同一の検出位置で過去データがＮ個以上あれば、その検出対象は過去から同じ位置に常設されている看板や垣根等の静止物である可能性が極めて高いので、誤検出と判断できるからである。ここで、Ｎは任意の自然数の閾値を意味し、過去の検出履歴において、同一位置対象のデータが何個以上あれば静止物とみなすのに妥当かを考慮し、所望の値に設定することができる。車両が走行する地域毎に何か傾向があればそれに応じて個別に設定してもよいし、特段の事情が無ければ、一律に設定してよい。過去データがＮ個以上あるときには、ステップ１６０に進み、Ｎ個以上ないときには、ステップ１７０に進む。

ステップ１６０では、検出された歩行者は非歩行者である常設静止物と判断され、検出無効処理又は検出したことを出力しない等の処理がなされる。そしてステップ１００に戻り、カメラ撮像からやり直す。

ステップ１７０では、歩行者検出位置を含む所定の周辺の領域において、過去データがＮ個あるか否かが判断される。これは、横断歩道等の人が頻出するエリアにおいては、人が重なって画像上の形状が変わったり、人の動きも様々で大きく形状が変化していたり、また急いで歩いていて画像認識が追い付かなかったりする等の種々の理由により、検出すべき歩行者を検出できない未検出の可能性の方がむしろ高くなる。従って、このような頻出エリアにおいては、ステップ１６０で行なった対応とは別の対応が必要となる。そこで、歩行者検出位置がこのような頻出エリアに入っているか否かの判断をステップ１７０にて行なう。頻出エリア内にあるか否かの判断は、例えば、検出位置を中心とする所定半径の円領域、又は検出位置を対角線の交点とする長方形領域を予め定めておき、その領域内の座標のデータがＮ個あるか否かにより判断してもよい。領域の面積と、その領域内のデータ個数の基準Ｎを定めれば、データ個数の密度で表現できるので、頻出エリア内にあることをデータ個数密度により表現してもよい。なお、Ｎはステップ１５０と同様に、任意の自然数の閾値を意味する。所定領域内に過去データがＮ個以上あったときはステップ１８０に進み、Ｎ個未満だったときはステップ１９０に進む。

ステップ１８０では、歩行者検出した位置が頻出エリア内にある歩行者であると判断され、歩行者の未検出を防止する観点から、歩行者検出ＥＣＵ１０ａの検出感度を上げる。検出感度を上げるには、例えば、パターンマッチングのパターン一致と判断する閾値を下げたり、或いは近赤外線カメラ１２ａの検出感度を上げることができるのであれば、そのようにして調整してもよい。形状の完全一致から、ある程度の一致で歩行者とみなすような設定の方向へと変更する。歩行者検出ＥＣＵ１０ａ又は近赤外線カメラ１２ａの検出感度を上げたら、ステップ１００に戻り、歩行者のカメラ撮像からやり直す。

ステップ１９０では、歩行者の検出は正しいと判断し、新規検出対象の歩行者として注意喚起装置５０ａにより運転者の注意を喚起する。注意の喚起方法は、音声を用いてもよいし、画像を用いても構わないが、双方を用いるか又は少なくとも音声は用いて見過ごしを防ぐように構成するのが好ましい。注意喚起後は、ステップ２００に進む。

ステップ２００では、注意喚起した歩行者の新しいデータをメモリ３０ａに書き込み、新たなデータとして追加する。これも、過去データの蓄積記憶の一部となる。データの書き込みを行なった後は、ステップ１００に戻り、またカメラ撮像をして新しい歩行者の検出に備える。

図５は、データの動きを詳述した本実施例に係る車載用歩行者検出装置の一例を示す機能ブロック図である。なお、図５において、今まで説明した構成要素と対応関係にある構成要素については、同一の参照符号の数字にアルファベットを追記した参照符号を用い、その対応関係が理解し易いようにする。また、今までの説明と同様の機能の構成要素については、その説明を省略又は簡略化する。

図５において、本実施例に係る車載用歩行者検出装置は、車載カメラ１２ｂと、歩行者検出部１０ｂと、ナビゲーション２１ｂと、車両情報検出部２２と、判定部４０ｂと、メモリ部３０ｂと、ＨＭＩ（ヒューマン・マシン・インターフェース）部５０ｂとから構成される。更に、歩行者検出部１０ｂは検出感度調整部１１ｂを備える。また、判定部４０ｂは、処理部４１と、検出対象判定部４２と、検出位置照合部４３と、過去データ参照部４４と、撮像方向・位置推定部２３とから構成される。

車載カメラ１２ｂは、歩行者の候補となる対象物を撮像し、歩行者検出部１０ｂに画像信号を送る。歩行者検出部１０ｂでは、入力された画像信号が、歩行者に該当するか否かの判定を行う。判定は、上述のように、歩行者画像パターンの参照用画像との比較によるパターンマッチング法によってなされてよい。他の画像認識手法があれば、それによってもよい。なお、パターンマッチングの検出感度は、検出感度調整部１１ｂにより調整される。上述のように、例えばマッチングとみなす閾値の調整や、カメラの感度調整により検出感度の調整を行なってよい。

パターンマッチング等の歩行者判定処理の結果、歩行者検出部１０ｂにおいて歩行者を検出したときには、その歩行者の検出情報は、ナビゲーション２１ｂ及び車両情報検出部２２に送られるとともに、歩行者の検出位置座標の情報が検出位置照合部４３に送られる。歩行者の検出信号がナビゲーション２１ｂ及び車両情報検出部２２に送られるのは、図１における説明において、歩行者検出手段１０から歩行者位置算出手段２０に歩行者の検出信号が送られるのと同様であり、歩行者の検出信号から、歩行者の位置を算出するためである。一方、歩行者検出部１０ｂにおいて、歩行者位置検出座標のデータを判定部４０ｂに送るのは、車載カメラ１２ｂからの画像情報からも検出位置に関する推定ができるため、判定部４０ｂにおいてこれをも照合することにより、より検出位置の正確な算出が可能となるからである。

なお、上述の歩行者検出部１０ｂの演算機能は、コンピュータ等の演算処理機、画像処理回路等により実現されてよいが、好適にはＥＣＵが用いられる。

ナビゲーション２１ｂと、車両情報検出部２２と、撮像方向・位置推定部２３とは、図１において説明した歩行者位置算出手段２０と同様の役割を果たす。ナビゲーション２１ｂにおいてＧＰＳ等を利用して自車位置を把握し、車両情報検出部２２で種々のセンサ等の検出器を用いて自車両の歩行者に対する方向、傾斜、距離等の位置関係を把握し、これら自車位置と車両情報に基づいて撮像方向・位置推定部２３にて歩行者位置座標を推定する。

判定部４０ｂは、種々の演算処理部から構成されている。

まず、過去データ参照部４４では、撮像方向・位置推定部２３において推定演算された歩行者の位置情報に基づき、その位置が関連するメモリ部３０ｂに記憶された過去データを参照する。なお、メモリ部３０ｂには、過去の検出データ記録が蓄積記憶されており、各データ記録は、例えば自車位置座標と、歩行者検出位置座標がレコードとして記録されている。

検出位置照合部４３は、歩行者検出部１０ｂから送られてきた歩行者検出位置座標の情報と、撮像方向・位置推定部２３で推定演算した位置とを照合し、両者の位置が一致しているかの確認、又は何か修正が必要ならば必要な修正処理を行い、歩行者の位置座標を特定する。

検出対象判定部４２では、検出位置照合部で特定された歩行者位置情報と、過去データ参照部において参照されている当該歩行者位置に関連する過去データに基づき、検出した歩行者が誤検出かどうか、又は検出した歩行者が頻出エリア内にいて、未検出となる可能性が高まっている状態なのかを判定する。

処理部４１では、検出対象判定部４２でなされた判定に基づき、必要な処理を行なう。例えば、検出対象判定部４２において検出結果が正しく、歩行者であると判定されたときには、処理部４１は、結果をＨＭＩ部に出力するとともに、歩行者検出の記録を、メモリ部３０ｂで記憶しているデータ項目についてメモリ部３０ｂに書き込む。歩行者の存在を運転者に通知するとともに、歩行者を検出した記録を過去データに反映させて今後の歩行者検出に役立てるためである。

また、例えば、検出対象判定部４２において検出結果が誤検出であり、非歩行者を歩行者として検出したと判定されたときには、処理部４１は、結果無効の指令をＨＭＩ部に送り、注意喚起が発生しないようにする。誤検出の通知により、運転者を混乱させないためである。なお、誤検出の場合は、最終的に検出結果が運転者に通知されなければよいので、処理部で結果を出力しない処理を行なったり、データを消去したりする処理としてもよい。また、誤検出の場合は、原則的にメモリ部３０ｂに書き込みを行なう必要性はないが、略同一の座標の過去データが所定回数以上存在するかを確認参照し、あった場合には、無効検出として書き込むようにしてもよい。本実施例において、誤検出と判定するためには、所定個数以上のメモリ領域が必要となるが、誤検出データの位置が確定したあとは、無効検出位置として記憶し、その後は所定個数の過去データを消去するようにすれば、メモリ領域が節約できるからである。

また、例えば、検出対象判定部４２において、検出結果が、歩行者が頻出エリアにいると判定されたときには、処理部４１は、検出感度調整部１１ｂに歩行者検出部１０ｂの検出感度を上げる指令を出力する。頻出エリアにおける歩行者の未検出を防ぐためである。

ＨＭＩ部５０ｂは、処理部４１の処理指令に基づいて、運転者への注意喚起を発生させたり、発生させないようにしたりする。注意喚起は、音声や画像の種々の手段を採用できることは、今までの説明と同様であるので、その説明を省略する。

図６は、本実施例に係る車載用歩行者検出装置に適用される記憶手段３０、メモリ３０ｂ又はメモリ部３０ｂに記憶される記憶データ構造の一例を示した図である。図６（ａ）は記憶データのうちの生データ、図６（ｂ）は生データからの変換データを示す。図６（ａ）において、メモリは通し番号と緯度と経度の自車両の座標情報と、自車両からの歩行者の方位、そしてそれらから求めた歩行者位置の画像内座標（Ｘ，Ｙ）の項目がデータとして記憶されている。そして、図６（ｂ）のように、演算し易いように、それらの生データから略同一の位置に分類した変換データが必要に応じて作成される。

図６（ａ）において、Ｎｏ．００１のデータとＮｏ．００２のデータは、自車両の位置は緯度及び経度とも略同一であるが、方位が大きく異なっているため、対象となる歩行者の位置は、画像内座標で大きく異なっている。一方、Ｎｏ．００２のデータとＮｏ．００３のデータは、自車両の位置を示す緯度と経度が略同一であるとともに、方位も略同一であるので、対象物も同一と推定でき、それを示す画像内座標も略同一となっている。また、Ｎｏ．００４のデータは、自車両の位置を示す緯度と経度はＮｏ．００１〜００３のデータと略同一であるが、方位は各々と全く異なっているため、対象物の画像内座標もＮｏ．００１〜００３の対象物と異なるものとなっている。

図６（ｂ）は、図６（ａ）の生データを、対象物の位置毎に分類してグループ名を付した変換したデータを示す。Ｎｏ．００１のデータにはグループ名をＡとし、略同一座標のＮｏ．００２とＮｏ．００３は、グループ名をＢとする。Ｎｏ．００４は、上述のデータと全く異なる新しい座標なので、グループ名も区別してＣとする。このような変換データに基づいて、略同一の位置毎にデータ数を数えれば、過去データから歩行者位置の検出頻度を知ることができる。また、判断基準となる所定回数Ｎを定めることにより、判定手段４０での頻度判定が可能となる。

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。また、上述した実施例は実施例同士で組み合わせることが可能である。

本実施例に係る車載用歩行者検出装置の機能ブロック図の一例である。 本実施例に係る車載用歩行者検出装置において、判定手段４０において行なわれている判定の基本的な考え方を説明するための図である。 本実施例に係る車載用歩行者検出装置のシステム構成の一例を示す図である。 図３における車載用歩行者検出装置の処理フローチャートを示す。 本実施例に係る車載用歩行者検出装置のデータの動きの一例を示す機能ブロック図である。 本実施例に係る車載用歩行者検出装置の記憶データ構造の一例を示した図である。

符号の説明

１０ 歩行者検出手段
１０ａ 歩行者検出ＥＣＵ
１０ｂ 歩行者検出部
１１ 検出感度調整手段
１１ｂ 検出感度調整部
１２ 撮像手段
１２ａ 近赤外線カメラ
１２ｂ 車載カメラ
１３ レーダー
２０ 歩行者位置算出手段
２０ａ、２１ｂ ナビゲーション
２１ 通信情報取得手段
２２ 車両情報検出部
２３ 撮像方向・位置推定部
３０ 記憶手段
３０ａ メモリ
３０ｂ メモリ部
４０ 判定手段
４０ａ 判定ＥＣＵ
４０ｂ 判定部
４１ 処理部
４２ 検出対象判定部
４３ 検出位置照合部
４４ 過去データ参照部
５０ 通知手段
５０ａ 注意喚起装置
５０ｂ ＨＭＩ部

Claims (3)

1. 歩行者を含む車両周辺の対象物を検出する歩行者検出手段を有する車載用歩行者検出装置であって、
   前記歩行者検出手段で検出された対象物の位置を算出する歩行者位置算出手段と、該歩行者算出手段により算出された対象物の位置を記憶する記憶手段と、前記歩行者検出手段により検出された対象物が歩行者であるか否かを判定する判定手段とを備え、
   前記判定手段は、前記歩行者位置算出手段により算出された対象物位置において、前記記憶手段に記憶された過去の対象物検出データ数が所定数以上のときには、前記歩行者手段により検出された対象物が歩行者でないと判定することを特徴とする車載用歩行者検出装置。
2. 前記判定手段は、前記歩行者位置算出手段により算出された対象物位置の周辺領域において、前記記憶手段により記憶された前記過去の対象物検出データ数が所定数以上のときには、前記周辺領域内における前記歩行者検出手段の検出感度を上げることを特徴とする請求項１に記載の車載用歩行者検出装置。
3. 前記車載用歩行者検出装置は、前記記憶手段に記憶された前記過去の対象物検出データ数が前記所定数以上ある位置において、前記歩行者検出手段が対象物を検出しなくなったときには、前記位置に係る前記過去の対象物検出データを消去することを特徴とする請求項１又は２に記載の車載用歩行者検出装置。

Images