JP2009264947A - 車両周辺監視装置 - Google Patents

Abstract

【課題】レーダによる物体の測距データと撮像手段による撮像画像のデータとに基づいて、車両周辺の歩行者を検出する際に、歩行者の見落としを回避すると共に、歩行者の検出に要する時間を短縮する。
【解決手段】レーダの反射強度が車両との距離に応じて設定された所定範囲内である物体を、歩行者である可能性がある歩行者候補物体として抽出する歩行者候補抽出手段２１と、赤外線カメラ２の撮像画像に含まれる画像部分が歩行者の画像であるか否かを判定する歩行者判定手段２２と、撮像画像に含まれる画像部分のうち、歩行者候補抽出手段２１により抽出された歩行者候補物体の画像部分について、他の画像部分よりも優先して、歩行者判定手段２２により歩行者であるか否かの判定をして、車両周辺の歩行者を検出する歩行者検出手段２３とを備える。
【選択図】 図２

Description

本発明は、レーダ装置による車両周辺の物体の距離と反射強度の検出データと、撮像手段による車両周辺の撮像画像から、車両周辺の歩行者を検出する車両周辺監視装置に関する。

従来より、車両に搭載されたレーダ装置（レーザーレーダ装置，ミリ波レーダ装置等）による車両周囲の物体の測距データと、車両に搭載された撮像手段（ＣＣＤカメラ等）による車両周囲の撮像画像のデータとに基づいて、車両周辺に存在する歩行者等の監視対象物を検出する検出装置が知られている（例えば、特許文献１参照）。

特許文献１に記載された検出装置においては、監視対象物が歩行者等の低反射物体であるときに、レーダによる反射強度の検出閾値を下げるようにしている。また、レーダの反射強度に基づいて検出した物体を画像処理によって正確に認識し、その認識結果に基づいて、物体を検出し続けるようにしている。
特開２００６−２８４２９３号公報

上記従来の検出装置においては、レーダによる物体の反射強度から歩行者であると判定された物体の画像部分について、さらに画像処理による歩行者の判定を行うことによって、歩行者の検出精度を向上させることができる。しかし、歩行者の着衣の種類等によっては、レーダの反射強度からは歩行者であると判定されない場合ある。そして、この場合には、画像処理による歩行者の判定がなされないため、車両周辺の存在する歩行者を見落としてしまうという不都合がある。

また、このような歩行者の見落としを防止するために、レーダによる物体の反射強度からは歩行者であると判定されなかった物体の画像部分についても、画像処理による歩行者の判定を行うことが考えられる。しかし、この場合には、多数の画像部分に対して歩行者の判定を行うことになるため、歩行者の検出に要する時間が長くなり、歩行者の発見とこれに応じた報知等の処理が遅れるおそれがある。

本発明はかかる背景を鑑みてなされたものであり、レーダーにる物体の反射強度の検出データと撮像手段による撮像画像データとに基づいて、車両周辺の歩行者を検出する際に、歩行者の見落としを回避すると共に、歩行者の検出に要する時間を短縮することができる車両周辺監視装置を提供することを目的とする。

本発明は上記目的を達成するためになされたものであり、車両に搭載されたレーダ装置により検出される車両周囲の物体の反射強度と車両からの距離とに基づいて、反射強度が車両との距離に応じて設定された抽出範囲内である物体を、歩行者である可能性がある歩行者候補物体として抽出する歩行者候補抽出手段と、車両に搭載された撮像手段による車両周囲の撮像画像に含まれる画像部分に対して、該画像部分が歩行者の画像であるか否かを判定する歩行者判定手段と、前記撮像画像に含まれる画像部分のうち、前記歩行者候補抽出手段により抽出された前記歩行者候補物体の画像部分について、他の画像部分よりも優先して、前記歩行者判定手段により歩行者であるか否かの判定をして、車両周辺の歩行者を検出する歩行者検出手段とを備えたことを特徴とする。

かかる本発明によれば、前記歩行者検出手段は、前記撮像画像に含まれる画像部分のうち、前記歩行者候補抽出手段により抽出された前記歩行者候補物体の画像部分について、他の画像部分よりも優先して、前記歩行者判定手段により歩行者であるか否かの判定をして歩行者を検出する。この場合、前記歩行者候補物体は歩行者である可能性が高いため、前記歩行者候補物体の画像部分について、優先的に歩行者であるか否かの判定をすることにより、車両周囲に存在する歩行者を効率良く検出することができる。

そのため、前記撮像画像に含まれる画像部分について、無作為に歩行者であるかの判定を行う場合よりも、車両周辺に存在する歩行者の検出に要する時間を短縮することができる。また、前記歩行者検出手段は、前記歩行者候補物体の画像についての歩行者の判定を優先して行った後は、他の画像部分についても歩行者の判定を行うため、車両周辺の歩行者の見落しを抑制することができる。

また、前記歩行者候補抽出手段により抽出された歩行者候補物体の画像が、前記歩行者判定手段により歩行者の画像であると判定されたときに、該歩行者候補物体について前記レーダ装置により検出された車両からの距離と反射強度を含む測距データを保持する測距データ保持手段と、前記測距データ保持手段により保持された直近の所定個数の前記測距データ、または前記測距データ保持手段により直近の所定期間内で保持された前記測距データの分布に応じて、前記抽出範囲を変更する抽出範囲変更手段とを備えたことを特徴とする。

かかる本発明によれば、前記測距データ保持手段により保持された直近の所定個数の測距データ、及び直近の所定期間内で保持された前記測距データの分布は、車両が置かれている現在の周囲環境の影響や、直近に検出対象となった歩行者及び現在検出対象となっている歩行者の反射強度の実情を反映したものとなる。そこで、前記抽出範囲変更手段により、前記測距データ保持手段により保持された直近の所定個数の前記測距データ、または前記測距データ保持手段により直近の所定期間内で保持された前記測距データの分布に応じて、前記抽出範囲を変更することによって、検出対象となっている歩行者の反射強度の実情に合わせて前記抽出範囲を設定することができる。

また、前記抽出範囲変更手段は、前回の前記抽出範囲の変更後に、前記歩行者候補抽出手段により前記歩行者候補物体として抽出されなかった物体の画像部分であって、前記歩行者判定手段により歩行者の画像であると判定されたものの個数が所定個数以上となったときに、前記抽出範囲を変更することを特徴とする。

かかる本発明において、前記歩行者候補抽出手段により前記歩行者候補物体として抽出されなかった物体の画像部分であって、前記歩行者判定手段により歩行者の画像であると判定されたものの個数が所定個数以上となったときには、前記歩行者候補抽出手段による歩行者候補物体の抽出精度が低下しており、前記抽出範囲の設定が不適切なものとなっていると判断することができる。そこで、この場合に、前記抽出範囲変更手段により前記抽出範囲を変更することによって、前記抽出範囲がより適切なものとなることが期待できる。

本発明の実施の形態について、図１〜図７を参照して説明する。図１は本発明の車両周辺監視装置が搭載された車両の構成図である。車両１０には、車両周辺監視装置１と、遠赤外線を検出可能な赤外線カメラ２（本発明の撮像手段に相当する）と、ミリ波レーダ装置８（本発明のレーダ装置に相当する）と、ヘッドアップディスプレイ６（以下、ＨＵＤ６という）とが備えられている。

赤外線カメラ２とミリ波レーダ装置８は、車両１０の前部に、路面からの高さを等しくして近接して配置されている。なお、赤外線カメラ２は、撮像物の温度が高いほど出力レベルが高くなる（輝度が大きくなる）特性を有している。また、ＨＵＤ６は、車両１０のフロントウィンドウの運転者側の前方位置に画面６ａが表示されるように設けられている。

ミリ波レーダ８は走査式のレーダであり、ミリ波のビームを出力しながら車両１０の前方の予め設定された走査範囲を走査する。そして、ミリ波レーダ８は、出力したミリ波の反射波（走査範囲内に存在する物体で反射したミリ波）を受信する。なお、ミリ波レーダ８の走査範囲は、赤外線カメラ２の撮像範囲（視野角の範囲）を含むように設定されている。

ミリ波レーダ８は、受信した反射波のうちの所定強度以上の反射波に基いて、ビームの送信方向に存在する物体を検出する。また、ミリ波レーダ８は、送信波と受信波との時間差に基いて、ミリ波を反射した物体と赤外線カメラ２との距離を検出する。

次に、図２を参照して、車両周辺監視装置１は、マイクロコンピュータ等により構成された電子ユニットであり、赤外線カメラ２から出力されるアナログの映像信号をデジタルデータに変換して画像メモリ（図示しない）に取り込み、インターフェース回路を介して、該画像メモリに取り込んだ車両前方の画像に対して該マイクロコンピュータにより各種演算処理を行う機能を有している。

また、車両周辺監視装置１には、ミリ波レーダ装置３から、物体で反射されたミリ波の反射強度を示す反射強度データと該物体の車両１０からの距離を示す距離データが入力される。さらに、車両周辺監視装置１から出力される制御信号に応じて、ＨＵＤ６の表示内容とスピーカ５の出力音声等が制御される。

そして、該マイクロコンピュータに、車両周辺監視用プログラムを実行させることによって、該マイクロコンピュータが、ミリ波レーダ装置３から出力される反射強度データと距離データに基づいて、歩行者である可能性がある物体を歩行者候補物体として抽出する歩行者候補抽出手段２１、赤外線カメラ２による車両１０の前方の撮像画像に含まれる画像部分が、歩行者の画像であるか否かを判定する歩行者判定手段２２、歩行者候補物体の画像部分について、優先的に歩行者判定手段２２による歩行者の画像であるか否かの判定を行う歩行者検出手段２３、歩行者候補物体の画像部分が歩行者の画像であると判定されたときに、当該歩行者候補物体の測距データを保持する測距データ保持手段２４、及び、歩行者候補物体を抽出するための反射強度の抽出範囲を変更する抽出範囲変更手段２０として機能する。

車両周辺監視装置１は、ミリ波レーダ装置３による物体の測距データ（物体の反射強度データと距離データを含む）と、赤外線カメラ２による赤外線画像のデータとに基づいて、車両１０の前方に存在する歩行者を検出する処理を実行する。以下、図３に示したフローチャートに従って、この処理について説明する。

車両周辺監視装置１は、ＳＴＥＰ１とＳＴＥＰ２を並行して実行し、ＳＴＥＰ１において、ミリ波レーダ装置３から出力される測距データ（反射強度データと距離データ）を取得すると共に、ＳＴＥＰ２において、赤外線カメラ２による撮像画像を取得する。

続くＳＴＥＰ３は歩行者候補抽出手段２１による処理であり、歩行者抽出手段２１は、ミリ波レーダ装置３の走査範囲内で、歩行者を想定して設定された抽出範囲内の反射強度データが得られた物体を、歩行者である可能性がある歩行者候補物体として抽出する。

次のＳＴＥＰ４〜ＳＴＥＰ５とＳＴＥＰ１０は、歩行者検出手段２３と歩行者判定手段２２による処理である。歩行者検出手段２３は、ＳＴＥＰ４で、歩行者候補抽出手段２１により抽出された歩行者候補物体があるか否かを判断する。そして、歩行者抽出候補物体があるときはＳＴＥＰ５に進み、赤外線カメラ２による撮像画像に含まれる画像部分について、歩行者抽出候補物体の画像部分を優先して、歩行者判定手段２２による歩行者判定処理を実行する。

一方、歩行者候補抽出手段２１により抽出された歩行者候補物体がなかったときにはＳＴＥＰ１０に分岐する。そして、歩行者検出手段２３は、優先順位をつけずに、赤外線カメラ２による撮像画像に含まれる画像部分について、歩行者判定手段２２による歩行者判定処理を実行する。

ここで、図４は赤外線カメラ２による撮像画像を例示したものであり、図４の撮像画像ＩＭには、Ｐ1〜Ｐ6の６個の画像部分が含まれている。そして、Ｐ1〜Ｐ6の画像部分のうち、歩行者候補抽出手段２１により歩行者候補物体として抽出されたものの画像部分がＰ1，Ｐ3，Ｐ5であったときには、歩行者検出手段２３は、先にＰ1，Ｐ3，Ｐ5について歩行者判定手段２２による歩行者判定処理を実行する。そして、次に、歩行者検出手段２３は、他の画像部分Ｐ2，Ｐ4，Ｐ6について歩行者判定手段２２による歩行者判定処理を実行する。

このように、歩行者候補物体の画像部分について、歩行者候補物体として抽出されなかった他の物体よりも優先して、歩行者判定手段２２による歩行者判定処理を実行することにより、歩行者の検出に要する時間が短縮されることを期待することができる。また、歩行者候補物体として抽出されなかった物体の画像部分についても、歩行者判定手段２２による歩行者判定処理を行うことにより、歩行者の見落としが生じることを抑制することができる。

なお、歩行者判定手段２２は、歩行者判定処理として、赤外線カメラ２による撮像画像（多値画像）を歩行者の輝度を想定して設定した閾値により２値化し、２値画像に含まれる各画像部分に対してエッジ抽出による輪郭線抽出を行う。そして、歩行者判定手段２２は、抽出した輪郭線の形状やサイズに基づいて、各画像部分が歩行者の画像であるか否かを判定する。

歩行者検出手段２３は、歩行者判定手段２２により歩行者の画像であると判定された画像部分に対応する実空間上の物体（歩行者）と、自車両１０との距離を、測距データの距離データから検知し、自車両１０との距離が所定値以下である歩行者が存在するときに、スピーカ６からの音声出力及びＨＵＤ７への表示により、運転者に対する注意喚起を行う。

続くＳＴＥＰ６は測距データ保持手段２４による処理である。測距データ保持手段２４は、歩行者候補抽出手段２１により歩行者候補物体として抽出された物体の測距データのうち、その物体の画像部分について、歩行者判定手段２２により歩行者の画像であると判定されたもの（以下、歩行者測距データという）を、順次メモリに保持する処理を行う。

具体的には、図５に示したように、測距データ保持手段２４は、歩行者候補物体の測距データであって、その歩行者候補物体の画像部分について、歩行者判定手段２２により歩行者の画像あると判定された最新の歩行者測距データ３０を、測距データ１００個分（アドレスＤm00〜Ｄm99）の容量を持つメモリ３１の先頭（アドレスＤm00）に書き込む。

また、その際に、メモリ３１に書き込まれていた直近の１００個分の測距データを、順次シフトして、最終アドレス（Ｄm99）に保持されていた測距データを廃棄する（Ｒs98/Ｌs98→Ｒs99/Ｌs99、Ｒs97/Ｌs97→Ｒs98/Ｌs98、…、Ｒs00/Ｌs00→Ｒs01/Ｌs01）。これにより、メモリ３１には、直近に受信した１００個分の歩行者測距データが保持された状態となっている。

続くＳＴＥＰ７とＳＴＥＰ２０は、抽出範囲変更手段２０による処理である。抽出範囲変更手段２０は、歩行者判定手段２２により、赤外線カメラ２の撮像画像に含まれる画像部分について歩行者の画像であると判定されたものの個数をカウントする。そして、カウント値が１０になる毎にカウント値をクリアすると共に、測距データメモリ３１に保持された測距データ（Ｒs00/Ｌs00〜Ｒs99/Ｌs99）に基づいて、歩行者候補物体を抽出するための反射強度の抽出範囲を変更する。

図６及び図７は、抽出範囲変更手段２０による抽出範囲の変更態様を例示したものである。図６（ａ），図６（ｂ），図７（ａ），図７（ｂ）は、縦軸を物体の反射強度に設定し、横軸を車両１０と物体との距離に設定して、測距データメモリ３１に保持された各歩行者測距データを、距離と反射強度の値によりプロット（図中Ｓd）したものである。

なお、実際には、測距データメモリ３１に保持された１００個分の歩行者測距データがプロットされるが、図６（ａ）では、模式的に少ない個数のプロット点を示している。後述する図６（ｂ）、図７（ａ）、図７（ｂ）についても同様である。そして、直線ＷＨ1〜直線ＷＬ1の範囲が、歩行者候補物体の抽出範囲として設定されている。

図６（ａ）の例では、プロット点が、直線ＷＨ1〜直線ＷＬ1の抽出範囲の中央付近を中心としたＩＨ1〜ＩＬ1の範囲内に分布しており、歩行者測距データの分布に対して、歩行者候補物体の抽出範囲が適切に設定されている。そのため、この場合は、図６（ｂ）に示したように、抽出範囲を直線ＷＨ1〜ＷＬ1の範囲に維持し、抽出範囲の変更は行わない。

次に、図７（ａ）の例では、プロット点が、直線ＷＨ1〜直線ＷＬ1の抽出範囲の下側のＩＨ2〜ＷＬ1の範囲内に分布しており、実際の歩行者測距データの分布に対して、歩行者候補物体の抽出範囲の設定が上側にずれている。そのため、この場合には、抽出範囲変更手段２０は、図７（ｂ）に示したように、抽出範囲を直線ＷＨ1〜直線ＷＬ1から直線ＷＨ2〜直線ＷＬ2の範囲に変更する。

この変更により、歩行者測距データの分布に対して、歩行者候補物体の抽出範囲をより適切なものとすることができる。これにより、歩行者が歩行者候補抽出手段２１により、歩行者候補物体として抽出される可能性を高めることができるため、歩行者検出手段２３により、歩行者候補物体の画像部分を優先して、迅速に歩行者を検出することができる。

なお、本実施の形態では、図５に示したように、直近に受信した所定個数（１００個）の測距データを測距データメモリ３１に保持するようにしたが、現在から所定時間前までの間に設定したデータ保持期間内で受信した測距データを測距データメモリ３１に保持するようにしてもよい。これによれば、直近に受信した歩行者測距データに限定して、抽出範囲を変更することができる。

また、抽出範囲変更手段２０により歩行者候補物体を抽出するための反射強度の抽出範囲を変更するタイミングとして、歩行者候補物体として抽出されなかった物体の画像部分であって、歩行者判定手段２２により歩行者であると判定されたものの個数をカウントし、このカウント値が所定値（例えば１０）になる毎に、カウント値をクリアすると共に、測距データメモリ３１に保持された測距データ（Ｒs00/Ｌs00〜Ｒs99/Ｌs99）に基づいて、歩行者候補物体を抽出するための反射強度の抽出範囲を変更するようにしてもよい。

また、本実施の形態においては、車両前方を撮像する構成を示したが、車両の後方や側方等、他の方向を撮像して車両の周辺を監視する構成としてもよい。

また、本実施の形態においては、本発明のカメラとして赤外線カメラを用いたが、可視画像を撮像する可視カメラを用いてもよい。

また、本実施の形態においては、本発明のレーダ装置としてミリ波レーダ装置を用いたが、レーザーレーダ等の他の種類のレーダ装置を用いてもよい。

本発明の車両周辺監視装置が搭載された車両の構成図。 図１に示した車両周辺監視装置の構成図。 図１に示した車両周辺監視装置における歩行者検出処理のフローチャート。 赤外線カメラの撮像画像に含まれる歩行者候補物体の画像部分の説明図。 測距データの保持態様の説明図。 歩行者候補物体を抽出するための反射強度の抽出範囲を変更する処理の説明図。 歩行者候補物体を抽出するための反射強度の抽出範囲を変更する処理の説明図。

符号の説明

１…車両周辺監視装置、２…赤外線カメラ（カメラ）、３…ミリ波レーダ装置、５…スピーカ、６…ＨＵＤ、２０…抽出範囲変更手段、２１…歩行者候補抽出手段、２２…歩行者判定手段、２３…歩行者検出手段、２４…測距データ保持手段、３１…測距データメモリ

Claims (3)

1. 車両に搭載されたレーダ装置により検出される車両周囲の物体の反射強度と車両からの距離とに基づいて、反射強度が車両との距離に応じて設定された抽出範囲内である物体を、歩行者である可能性がある歩行者候補物体として抽出する歩行者候補抽出手段と、
   車両に搭載された撮像手段による車両周囲の撮像画像に含まれる画像部分に対して、該画像部分が歩行者の画像であるか否かを判定する歩行者判定手段と、
   前記撮像画像に含まれる画像部分のうち、前記歩行者候補抽出手段により抽出された前記歩行者候補物体の画像部分について、他の画像部分よりも優先して、前記歩行者判定手段により歩行者であるか否かの判定をして、車両周辺の歩行者を検出する歩行者検出手段とを備えたことを特徴とする車両周辺監視装置。
2. 請求項１記載の車両周辺監視装置において、
   前記歩行者候補抽出手段により抽出された歩行者候補物体の画像が、前記歩行者判定手段により歩行者の画像であると判定されたときに、該歩行者候補物体について前記レーダ装置により検出された車両からの距離と反射強度を含む測距データを保持する測距データ保持手段と、
   前記測距データ保持手段により保持された直近の所定個数の前記測距データ、または前記測距データ保持手段により直近の所定期間内で保持された前記測距データの分布に応じて、前記抽出範囲を変更する抽出範囲変更手段とを備えたことを特徴とする車両周辺監視装置。
3. 請求項２記載の車両周辺監視装置において、
   前記抽出範囲変更手段は、前回の前記抽出範囲の変更後に、前記歩行者候補抽出手段により前記歩行者候補物体として抽出されなかった物体の画像部分であって、前記歩行者判定手段により歩行者の画像であると判定されたものの個数が所定個数以上となったときに、前記抽出範囲を変更することを特徴とする車両周辺監視装置。

Images