JP2010127717A - 対象物検出装置及び対象物検出システム - Google Patents

Abstract

【課題】ミリ波レーダで対象物を検出するに際し、ミリ波の反射波が微弱である人物を、車両又は道路上の他の物体と区別して有効に検出することができる対象物検出装置、及び対象物検出システムを提供する。
【解決手段】ミリ波レーダから、対象物候補の方向（Ａ，Ｂ，Ｃ）、距離及び反射波強度を取得し、遠赤外線カメラから、画像データを取得して人物候補領域の方向（Ｄ，Ｅ）を特定し、人物候補領域にて特定した人物候補への方向（Ｅ）に反射波強度が所定値よりも低い対象物候補が有るか否かを判断し、対象物候補が有る（Ｂの方向の対象物候補）と判断した場合、当該対象物候補を人物候補として検出する。
【選択図】図７

Description

本発明は、ミリ波レーダから得られる情報を用い、車両、人物、又は他の障害物などの対象物を検出する対象物検出装置に関する。特に、ミリ波の反射波が微弱である人物を、車両又は道路上の他の物体と区別して有効に検出することができる対象物検出装置及び対象物検出システムに関する。

道路上の車両、人物、又は車両の走行の障害となり得る他の物体を含む種々の対象物を検出する方法として、ミリ波レーダ、可視光カメラを用いる方法が利用されている（特許文献１、２、３参照）。

特許文献１に開示されているように、２つの可視光カメラをステレオカメラとして用いて人物を検出し、更にカメラから人物までの距離を検出することができる。ところが、可視光画像からの人物検出には高度な処理が必要であり、検出精度には限界がある。例えば、夜間における検出も困難であり、雨天時における路面からの反射、晴天時の影などの影響を除去して精度よく検出することが困難である。

これに対しミリ波レーダは、昼夜を問わず、耐環境性が高いのみならず、エアバッグ装置などのために既に標準的に車両に搭載されているので、対象物の検出目的のみで別途装置を別途設けるよりも簡易な構成で安価に実現できるなどの利点がある。
特開２００３−３２０８６６号公報 特開２００４−０９０７９５号公報 特開２００５−０２４４６３号公報

しかしながら、ミリ波レーダで人物を高精度に検出することは、人物からの反射波が極めて微弱であるために困難である。人物からの微弱な反射波を検出するために反射波強度に対する閾値を低下させると、他の物体又は路面の凹凸による反射波などを誤って人物からの反射波とし、誤検出を招く可能性が高くなる。例えば、路上に段ボール、木材又は植物などの物体が置かれている場合、これらの物体からは人物からの反射波同様に微弱な反射波が返るために、段ボール、木材又は植物などの物体を人物と誤って検出する虞がある。

ミリ波レーダによって人物を検出することができるように、ミリ波レーダ自体の分解能を向上させるなどの技術開発が試行されているが、既存のミリ波レーダを用いても実現可能な構成で、歩行者又は自転車で走行中の人物などを高精度に検出することが望まれる。

本発明は斯かる事情に鑑みてなされたものであり、ミリ波レーダで対象物を検出するに際し、ミリ波の反射波が微弱である人物を、車両又は道路上の他の物体と区別して有効に検出することができる対象物検出装置及び対象物検出システムを提供することを目的とする。

第１発明に係る対象物検出装置は、ミリ波レーダからの情報を用い、対象物が人物であるか否かを区別して対象物を検出する対象物検出装置において、前記ミリ波レーダから、対象物候補への方向、対象物候補までの距離、及び対象物候補からの反射波強度を含むレーダ情報を取得するレーダ情報取得手段と、遠赤外線波長帯にて撮像する撮像装置から、前記ミリ波レーダの検出範囲を撮像した撮像画像を取得する画像取得手段と、該画像取得手段が取得した撮像画像から人物候補が撮像された領域を抽出する抽出手段と、前記候補の撮像画像内の位置によって人物候補への方向を特定する特定手段と、前記レーダ情報取得手段により取得したレーダ情報に基づき、前記特定手段が特定した方向における反射波強度が所定値以下の対象物候補の有無を判断する判断手段と、該判断手段が有と判断した場合、対象物候補を人物候補として検出する手段とを備えることを特徴とする。

第２発明に係る対象物検出装置は、前記抽出手段は、所定の温度範囲に対応する領域を抽出するようにしてあることを特徴とする。

第３発明に係る対象物検出装置は、前記判断手段が有と判断した場合、人物候補として検出した前記対象物候補までの距離が所定距離以下であるか否かを判断する手段と、該手段が所定距離以下であると判断した場合、前記抽出手段が抽出した領域の形状又は撮像画像中における大きさに基づき、前記対象物候補が人物であるか否かを判断する手段とを備えることを特徴とする。

第４発明に係る対象物検出システムは、ミリ波レーダと、該ミリ波レーダから取得する情報に基づき対象物が人物であるか否かを区別して対象物を検出する対象物検出装置とを含む対象物検出システムにおいて、前記ミリ波レーダの検出範囲を遠赤外線波長帯にて撮像する撮像装置を備え、前記対象物検出装置は、前記ミリ波レーダから、対象物候補への方向、対象物候補までの距離、及び対象物候補からの反射波強度を含むレーダ情報を取得するレーダ情報取得手段と、前記撮像装置から撮像画像を取得する手段と、該手段が取得した撮像画像から人物候補が撮像された領域を抽出する抽出手段と、前記領域の撮像画像内の位置によって人物候補への方向を特定する特定手段と、前記レーダ情報取得手段により取得したレーダ情報に基づき、前記特定手段が特定した方向における反射強度が所定値以下の対象物候補の有無を判断する判断手段と、該判断手段が有と判断した場合、対象物候補を人物候補として検出する手段とを備えることを特徴とする。

第１発明及び第４発明では、ミリ波レーダを用いて車両、人物又は道路上の他の物体などの対象物を検出するに際し、特に人物を区別して検出するため、対象物候補への方向及び距離に加え、対象物からのミリ波の反射波強度を取得し、更に、ミリ波レーダの検出範囲を遠赤外線波長帯にて撮像する撮像装置から撮像画像を取得する。そして、人物からの反射波強度が微弱であること、及び、人物が遠赤外線波長帯により比較的高輝度で撮像されることを利用して、反射波強度が所定値以下であり、且つ、撮像画像にて人物が写っている可能性がある領域として抽出される対象物候補を人物候補として検出する。反射波強度が所定値以下であるかのみでは、反射波強度が比較的高い車両と区別ができる一方で、路面の凹凸などをも誤って人物として検出する可能性があるが、表面の温度がある程度高いか否かを遠赤外線波長帯による撮像画像で高輝度に写るか否かで判断して、人物の表面温度と温度が異なる路面の凹凸などをノイズとして除去することが可能である。

第２発明では、遠赤外線波長帯にて撮像される撮像画像における所定の温度範囲に対応する領域が抽出される。所定の温度範囲を、人物の表面温度に対応する範囲とすることにより、人物に対応する温度よりも低温の物体、又は高温の物体を誤って人物として検出することを回避することが可能となる。これにより、人物を他の物体と区別して精度よく検出することが可能となる。

第３発明では、更に、遠赤外線波長帯により撮像した撮像画像から高輝度領域として抽出される領域の、形状又は画像における大きさに基づいて人物領域か否かを改めて判断することにより、人物以外の物体と区別して精度よく検出することが可能となる。

本発明による場合、人物からのミリ波の反射波強度が微弱であることを利用して、車両又は道路上の他の物体と区別して有効に検出することができる。

以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。なお、以下に示す実施の形態１及び２では、車両に搭載される衝突回避システムに本発明の対象物検出装置を含めた構成を例に挙げて説明する。

（実施の形態１）
図１は、実施の形態１における衝突回避システムが含む各装置の車両内での配置を模式的に示す斜視図であり、図２は、実施の形態１における衝突回避システムの構成を示すブロック図である。衝突回避システムは、ミリ波レーダ１と、遠赤外線波長帯にて車両前方を撮像する遠赤外線カメラ２と、ミリ波レーダ１及び遠赤外線カメラ２からの情報を用いて車両前方の対象物を検出する対象物検出装置３と、ブレーキを制御するブレーキ制御装置４，４，…と、エアバッグの作動を制御するエアバッグ制御装置５と、車速センサ６と、運転者へ警告を出力するためのディスプレイ７と、スピーカ８とを含んで構成される。

ミリ波レーダ１及び遠赤外線カメラ２は、車両前部に配置されている。ミリ波レーダ１は通信線Ｌ１を介して対象物検出装置３に、遠赤外線カメラ２は画像信号用の信号線Ｌ２を介して対象物検出装置３に接続されている。

ブレーキ制御装置４，４，…は各車輪の近傍に夫々配置されており、通信線Ｌ４に接続されている。エアバッグ制御装置５は、ボンネット内側に配置されており、通信線Ｌ５に接続されている。車速センサ６は通信線Ｌ５に接続されている。

ディスプレイ７及びスピーカ８は、インストルメント・パネル（ダッシュボード）に設置されており、いずれも通信線Ｌ７に接続されている。

対象物検出装置３、ブレーキ制御装置４，４，…、及びエアバッグ制御装置５はＥＣＵ（Electronic Controller Unit）を用い、通信線Ｌ４，Ｌ５を介してデータを送受信する機能を有する。ディスプレイ７及びスピーカ８も通信線Ｌ７を介して画像データ又は音声データを受信する機能を有する。

通信線Ｌ４，Ｌ５，Ｌ７はいずれも、ゲートウェイ９に接続されている。ゲートウェイ９はゲートウェイ機能を有し、異なる通信線Ｌ４，Ｌ５，Ｌ７間でデータの中継の要否を判断し、必要な場合にデータを中継する。通信線Ｌ４，Ｌ５，Ｌ７を介した通信は夫々、通信プロトコル又は通信速度が異なる構成でもよい。

このように、各装置が接続されて、通信線Ｌ４，Ｌ５，Ｌ７又はゲートウェイ９を介して相互にデータを送受信し、各装置が他の装置から受信するデータを用いて処理を連携して実行することにより、衝突回避が実現される。以下、各装置の動作について説明する。

対象物検出装置３は、ミリ波レーダ１から得られる車両前方の対象物の方向、対象物までの距離、及び対象物からの反射波強度を含むレーダ情報と、遠赤外線カメラ２から得られる画像データとに基づき、対象物を車両、人物などに区別して検出する。そして、対象物検出装置３は、検出結果に基づきブレーキ制御装置４，４，…による制動制御、及びエアバッグ制御装置５におけるエアバッグの作動制御を指示する。対象物検出装置３については更に詳細を後述にて説明する。

ブレーキ制御装置４，４，…は、通信線Ｌ４を介して受信される制御データに基づき、制動処理を実施する。制御データは、対象物検出装置３が後述する処理によって送信するもののほか、通常運転中は運転者のブレーキング動作に基づき図示しない他のブレーキＥＣＵから送信される。

エアバッグ制御装置５は、運転者への衝撃を緩和するエアバッグの作動、並びに車両前部バンパー及びボンネット上部で膨張させることによって衝突する歩行者への衝撃を緩和する歩行者エアバッグの作動を制御する。このように実施の形態１における衝突回避システムでは、衝突を回避するために自動的に制動処理が行なわれるのみならず、衝突回避が困難な場合に歩行者への衝撃を緩和することができる。なお、エアバッグ制御装置５は、通信線Ｌ５を介して対象物検出装置３から送信される制御データと車速センサ６から得られる車速データに基づき、エアバッグ及び歩行者エアバッグの作動を制御する。

車速センサ６は、定期的に車速を測定して車速データとして通信線Ｌ５へ送信する。車速データは、エアバッグ制御装置５が受信して、対象物検出装置３から送信される制御データと共に参照して制御に用いられるほか、ゲートウェイ９を介して対象物検出装置３でも受信され、ブレーキ制御及びエアバッグ制御のために参照される。

ディスプレイ７は通信線Ｌ７を介して受信される画像データを受信し、受信した画像データに基づき、警告を含む各種情報を示す画像、又は文字を表示させる。スピーカ８は通信線Ｌ７を介して受信される音声データを受信し、受信した音声データに基づき、警告を含む各種情報を運転者に知らせるための音声を出力する。ディスプレイ７及びスピーカ８は、他のシステム、例えばナビゲーションシステムなどで兼用される。

次に、対象物検出装置３の構成及び実行される処理について詳細を説明する。図３は、実施の形態１における対象物検出装置３の内部構成を示すブロック図である。対象物検出装置３は、各構成部を制御する制御部３０と、記憶部３１と、画像メモリ３２と、通信線Ｌ４に接続してデータを送受信する通信部３３と、ミリ波レーダ１からレーダ情報を受信して取得するレーダ情報通信部３４と、遠赤外線カメラ２から画像を取得する画像取得部３５とを備える。

制御部３０は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等を利用する。制御部３０は、内蔵するＲＯＭ（Read Only Memory）又は記憶部３１に記憶されている制御プログラムを読み出して実行することにより各構成部を制御し、後述にて説明する処理を実行するようにしてある。

記憶部３１は、フラッシュメモリ等の不揮発性メモリを利用する。記憶部３１には、上述のように制御プログラムが記憶されるほか、後述の所定の温度（人物の表面温度）についての温度情報、反射波強度に対する所定値など、処理に用いる情報が記憶される。

画像メモリ３２は、ＤＲＡＭ（Dynamic Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）等のメモリを利用する。画像メモリ３２は、画像取得部３５により取得される画像を記憶する。画像は、遠赤外線カメラ２からデジタル画像データとして出力される。制御部３０は、画像取得部３５にて画像データを取得した場合、画像取得部３５へ画像メモリ３２への画像データの書き込みを指示する。また、後述にて説明する各処理は、画像メモリ３２に記憶されている画像データ、又はその複製に対して行なう。なお、画像メモリ３２は、画像メモリとして別途設けられる構成でなく、制御部３０が内蔵するＲＡＭ内の一部の記憶領域でもよい。

通信部３３は、ネットワークコントローラ機能を有し、通信線Ｌ４を介したデータの送受信を実現する。実施の形態１における衝突回避システムでは、対象物検出装置３、ブレーキ制御装置４，４，…、エアバッグ制御装置５、及びゲートウェイ９は夫々、車載ＥＣＵであり、ＣＡＮ（Controller Area Network）プロトコルに準じてＣＡＮメッセージによりデータの送受信を行なう。したがって通信部３３は、ＣＡＮコントローラ、ＣＡＮトランシーバを含んで構成される。

なお、制御部３０、記憶部３１及び通信部３３のＣＡＮコントローラは合わせて、ＣＡＮ対応のマイクロコンピュータとして構成されてもよい。

レーダ情報通信部３４は、通信線Ｌ１を介して接続されるミリ波レーダ１から送信されるレーダ情報を受信した場合、制御部３０へ通知する。また、レーダ情報通信部３４は制御部３０からの指示により、ミリ波レーダ１からのミリ波出力及び反射波の測定を指示する制御データをミリ波レーダ１へ送信する。

画像取得部３５は、信号線Ｌ２を介して接続される遠赤外線カメラ２から出力される画像データを受け付け、受け付けた画像データをフレーム単位で画像メモリ３２に記憶する。遠赤外線カメラ２は、後述するように所定のフレームレートで画像データを出力し続けており、画像取得部３５は、制御部３０からの指示に基づき任意のタイミングで画像データを取得する。遠赤外線カメラ２がアナログ画像信号を出力する場合、画像取得部３５が信号から画像データを取り出してデジタルデータに変換する構成としてもよい。

図４は、実施の形態１における衝突回避システムに含まれるミリ波レーダ１の内部構成を示すブロック図である。実施の形態１におけるミリ波レーダ１は、ＦＭ−ＣＷ（Frequency-Modulated Continuous Waves）レーダ方式を用いるが、既存のものを用いるためである。他の方式のミリ波レーダを用いてもよいし、他の電磁波を用いたレーダを用いる構成としてもよい。

ミリ波レーダ１は、アンテナ部１１と、ミリ波送受信部１２と、アナログ処理部１３と、デジタル信号処理部１４と、外部インタフェース１５とを備える。

アンテナ部１１は平面アンテナであり、アンテナ部１１にはミリ波送受信部１２が導波管接続されている。ミリ波送受信部１２は、周波数逓倍器、ミクサ、増幅器等が集約されたＭＭＩＣ（Monolithic Microwave IC）、ＶＯＣ（Voltage Controlled Oscillator）から構成されている。アンテナ部１１及びミリ波送受信部１２は７６ＧＨｚ〜７７ＧＨｚのミリ波、特に７６ＧＨｚのミリ波をレーダ波として出力し、そして反射波を受信する。アンテナ部１１及びミリ波送受信部１２は、左右にスキャニングするように回転駆動が可能に構成されている。具体的には、アンテナ部１１で出力、反射波を受信する方向を、±４度〜１０度の水平方向検出範囲において０．５度ずつ水平方向に変化させて水平方向に走査し、車両、人物などの対象物からの反射波を受信する。

アナログ処理部１３は、ミリ波送受信部１２が受信した反射波を示す信号に対して所定のアナログ信号処理を行ない、デジタル信号処理部１４へ信号処理後の信号を与える。デジタル信号処理部１４は、入力された信号をＡ／Ｄ変換し、ＤＳＰ回路にて周波数分析を行ない、車両の位置を基準とした対象物への方向及び距離を算出し、算出して得た方向及び距離と、前記対象物から受信した反射波の強度とを含むレーダ情報とする。

より具体的には、デジタル信号処理部１４は、ミリ波の反射波強度に微弱な閾値を設定しておき、反射波強度が閾値以上であった角度に対象物が存在する可能性があるとし、前記角度を対象物候補への方向として特定し、当該方向から反射波が返ってくるまでに要した所要時間から距離を算出する。算出して得た距離及び反射波強度を、特定した方向に対応させておく。走査中に、反射波強度が閾値以上であった角度が複数存在する場合は、複数の対象物が存在する可能性があるので、夫々を対象物候補への方向として特定する。そして複数の対象物候補への方向夫々に対して算出した距離と、反射波の強度とを対応させる。デジタル信号処理部１４は、存在する可能性がある対象物候補毎の対象物候補への方向、距離及び反射波強度の組をレーダ情報とする。

デジタル信号処理部１４は、レーダ情報を外部インタフェース１５を介して対象物検出装置３へ送信する。

図３に戻り説明を続ける。遠赤外線カメラ２は、撮像範囲がミリ波レーダ１の検出範囲と略一致又は検出範囲を含むように設置されており、遠赤外線カメラ２の撮像タイミングはミリ波レーダ１の検出タイミングと略一致するように制御される。

遠赤外線カメラ２は、赤外線レンズ及び遠赤外線撮像素子を備え、遠赤外線波長帯にて撮像を行ない、遠赤外線撮像素子が出力する画像をデジタル画像データとして出力する。赤外線レンズは硫化亜鉛、カルコゲンガラス、ゲルマニウム、ジンクセレン等を原料として作製されている。遠赤外線撮像素子は、酸化バナジウム（ＶＯｘ）、アモルファスシリコン、ＳＯＩ（Silicon on Insulator）ダイオード、サーモパイル等を用いた非冷却型のものを用いる。遠赤外線撮像素子が検出可能な波長帯は例えば、８μｍ〜１２μｍである。フィルタを備えて他の波長の光を遮断するようにしてもよい。遠赤外線カメラ２は、アナログ画像信号を出力する構成としてもよい。

遠赤外線カメラ２の遠赤外線撮像素子は、温度差を輝度差に変換して出力する。これにより、歩行者、自転車で走行中の人物などの顔、手足の露出部を検出することが可能である。

実施の形態１における遠赤外線カメラ２の遠赤外線撮像素子の画素数は例えば、水平方向１２０、垂直方向９０の約１万画素である。遠赤外線カメラ２は、ミリ波レーダ１の補助的に用いられるため、画素数が少なく廉価なものでよい。遠赤外線カメラ２は、１秒間に約３０フレームのレートで遠赤外線撮像素子から出力される画像を画像データとして出力する。

このように構成される対象物検出装置３が、ミリ波レーダ１及び遠赤外線カメラ２から得られるレーダ情報及び遠赤外線画像データを用いて対象物を、車両、歩行者若しくは自転車で走行中の歩行者などの人物、又はその他の障害物に区別して検出する処理を行なう。そして検出結果に基づき、ブレーキ制御装置４，４，…による制動処理、エアバッグ制御装置５によるエアバッグの作動処理を制御する。

図５は、実施の形態１における対象物検出装置３の制御部３０により実行される衝突回避・衝撃緩和処理手順の一例を示すフローチャートである。制御部３０は、以下に説明する処理手順を例えば１０ミリ秒毎など周期的に繰り返し実行する。

制御部３０は、ミリ波レーダ１から受信して取得するレーダ情報及び遠赤外線カメラ２から得られる画像データに基づき、車両前方の対象物を検出する対象物検出処理を実行し（ステップＳ１）、対象物検出処理によって対象物を検出したか否かを判断する（ステップＳ２）。

制御部３０は、対象物を検出しなかったと判断した場合（Ｓ２：ＮＯ）、処理を終了する。

制御部３０は、対象物を検出したと判断した場合（Ｓ２：ＹＥＳ）、対象物検出処理で得られる対象物までの距離及び通信部３３により得られる車速データに基づき、現時点から数秒以内に接触する可能性が高いか否かを判断する（ステップＳ３）。

制御部３０は、数秒以内に接触する可能性は低いと判断した場合（Ｓ３：ＮＯ）、処理を終了する。

制御部３０は、数秒以内に接触する可能性が高いと判断した場合（Ｓ３：ＹＥＳ）、警告を出力すべく、警告を示す画像の画像データ及び警告音声の音声データ、又は、所定の警告画像及び警告音声の出力を指示する指示データを通信部３３から送信する（ステップＳ４）。

制御部３０は、対象物までの距離及び方向に基づき、運転者の運転により接触を回避することが困難か否かを判断する（ステップＳ５）。詳細には、制御部３０は、車速センサ６から定期的に送信され、通信部３３にて受信してある車速データと、対象物検出処理により得られる対象物までの距離に基づき、対象物までの距離と車速の関係が所定の関係を満たすか否かで判断する。例えば対象物までの距離が所定距離以下で、且つ車速が所定速度以上である場合には接触回避が困難であると判断する。所定の関係は、対象物までの距離に応じて所定速度が異なるように設定されていてもよい。

制御部３０は、接触を回避することが困難でないと判断した場合（Ｓ５：ＮＯ）、処理を終了する。

制御部３０は、接触を回避することが困難であると判断した場合（Ｓ５：ＹＥＳ）、通信部３３により制動処理を指示する制御データを通信線Ｌ４を介してブレーキ制御装置４，４，…へ送信することにより、ブレーキ制御装置４，４，…にて自動制動処理を実施させる（ステップＳ６）。

制御部３０は、通信部３３により運転席のエアバッグを作動させるための制御データを通信線Ｌ４、ゲートウェイ９を介して送信することにより、エアバッグ制御装置５にてエアバッグを作動させる（ステップＳ７）。

制御部３０は、ステップＳ１の対象物検出処理で検出した対象物は人物であるか否かを判断し（ステップＳ８）、人物でないと判断した場合（Ｓ８：ＮＯ）、処理を終了する。この場合、それまでに実行された自動制動及びエアバッグ作動により、車両など人物以外の対象物との衝突ができ得る限り回避され、また運転者への衝突の衝撃が緩和されることが期待できる。

制御部３０は、対象物は人物であると判断した場合（Ｓ８：ＹＥＳ）、車両は対象物と接触寸前であるか否かを判断する（ステップＳ９）。

詳細には制御部３０は、対象物検出処理で得られる対象物までの距離と車速センサ６から受信してある車速データとに基づき、ステップＳ５で判断した条件よりも更に厳しい条件を満たすか否かで判断する。例えば、対象物までの距離が３メートル以下であるか否かなどにより判断する。

制御部３０は、ステップＳ９にて接触寸前でないと判断した場合（Ｓ９：ＮＯ）、処理を終了する。制御部３０は、ステップＳ９にて接触寸前であると判断した場合（Ｓ９：ＹＥＳ）、通信部３３により歩行者エアバッグを作動させるための制御データを通信線Ｌ４、ゲートウェイ９を介してエアバッグ制御装置５へ送信することにより、エアバッグ制御装置５にて歩行者エアバッグを作動させ（ステップＳ１０）、処理を終了する。

なお、実施の形態１の衝突回避システムで実施される衝突回避・衝撃緩和処理手順は、上述のように全て対象物検出装置３にて実行されずともよい。また、対象物は人物か否かの判断処理（Ｓ８）の手順は、上述のステップＳ８に限らず、ステップＳ２、Ｓ５などで遂次判断してもよく、対象物検出処理（Ｓ１）についてもステップＳ３、Ｓ５、Ｓ９などの判断処理の手前で逐次実行してもよく、処理手順は図５に示した手順に限らない。

図６は、実施の形態１における対象物検出装置３の制御部３０により実行される対象物検出処理手順の一例を示すフローチャートである。以下に示す処理手順は、図５のフローチャートに示したステップＳ１の詳細に対応する。

制御部３０は、レーダ情報通信部３４によりミリ波レーダ１へ制御データを送信することにより、ミリ波レーダ１を動作させる（ステップＳ１０１）。

ステップＳ１０１の処理により、制御データを外部インタフェース１５から受信したミリ波レーダ１は、アンテナ部１１によるミリ波の出力、及び反射波の受信を水平方向検出範囲において実行する。そしてミリ波レーダ１は、アナログ処理部１３及びデジタル信号処理部１４の処理により、対象物候補への方向、対象物候補までの距離、及び対象物候補からの反射波強度の組を対象物候補毎に含むレーダ情報を特定し、対象物検出装置３へ送信する。

制御部３０は、ミリ波レーダ１によって送信されるレーダ情報をレーダ情報通信部３４により受信する（ステップＳ１０２）。

制御部３０は、ミリ波レーダ１が動作したタイミングに遠赤外線カメラ２にて撮像された画像の画像データを、遠赤外線カメラ２から画像取得部３５により取得する（ステップＳ１０３）。画像取得部３５により取得された画像データは画像メモリ３２に書き込まれる。

制御部３０は、画像メモリ３２に記憶された画像データの画像の各画素について、人物の表面温度に対応するか否かにより２値化（ステップＳ１０４）、人物の表面温度に対応する画素を連続して含む領域を、人物が撮像された可能性が高い領域であるとして人物候補領域として抽出する（ステップＳ１０５）。

ステップＳ１０４において制御部３０は具体的に、各画素の輝度値に基づき、人物の表面温度として適切な所定の温度範囲内に対応するものを写した画素であるか否かを判断する。輝度値は遠赤外線カメラ２の撮像範囲における相対的な温度の高低を示し、輝度補正などによって補正される場合がある。したがって、制御部３０は記憶部３１に記憶してある温度情報を参照して、画像データ毎に人物の表面温度に対応する輝度値範囲を決定し、各画素について輝度値が人物の表面温度に対応する輝度値範囲であるか否かを判断すればよい。

ステップＳ１０５において、制御部３０は、人物の表面温度に対応する輝度値の画素が水平方向（横方向）に６画素以上、且つ垂直方向（縦方向）に１８画素以上連続する領域が画像中に存在する場合に、当該画素群を人物候補領域として抽出する。輝度値が所定値以上である画素が連続する領域が、水平方向に６画素未満又は垂直方向に１８画素未満である場合は、当該領域はノイズとして扱う。

制御部３０は、ステップＳ１０５にて抽出した人物候補領域の画像における位置によって、車両の前部から人物候補への方向を特定する（ステップＳ１０６）。遠赤外線カメラ２によって撮像される画像における各画素の位置は、遠赤外線カメラ２への光の入射角に対応するから、遠赤外線カメラ２の画角と人物候補領域の画像における位置とによって、遠赤外線カメラ２からの方向が特定可能である。

次に制御部３０は、ステップＳ１０２で受信したレーダ情報に、対象物候補からの反射波強度が所定値以下の対象物候補が有るか否かを判断する（ステップＳ１０７）。

制御部３０は、反射波強度が所定値以下の対象物候補が有ると判断した場合（Ｓ１０７：ＹＥＳ）、人物が検出された可能性があるとして、ステップＳ１０６にて特定した人物候補への方向を対象物候補への方向とし、且つ反射波強度が所定値以下の対象物候補が有るか否かを判断する（ステップＳ１０８）。より具体的には、制御部３０は、ステップＳ１０６で特定した方向と、ミリ波レーダ１から受信したレーダ情報に含まれる対象物候補への方向とが一致するか否かを判断する。

制御部３０は、ステップＳ１０８にて、特定した人物候補への方向を対象物候補への方向とし、且つ反射波強度が所定値以下の対象物候補が有ると判断した場合（Ｓ１０８：ＹＥＳ）、ミリ波レーダ１により検出された対象物候補は人物であると判定し（ステップＳ１０９）、対象物検出処理を終了して図５のフローチャートにおけるステップＳ２へ処理を戻す。

制御部３０は、ステップＳ１０７において、反射波強度が所定値以下の対象物候補が無いと判断した場合（Ｓ１０７：ＮＯ）、反射波強度が比較的強いから、対象物候補は、人物以外の車両などの構造物であると判定し（ステップＳ１１１）、対象物検出処理を終了して図５のフローチャートにおけるステップＳ２へ処理を戻す。

制御部３０は、ステップＳ１０７において、反射波強度が所定値以下の対象物候補が有ると判断したが（Ｓ１０７：ＹＥＳ）、特定した人物候補への方向を対象物候補への方向とし、且つ反射波強度が所定値以下の対象物候補が無いと判断した場合（Ｓ１０８：ＮＯ）、当該対象物候補をノイズと判定し（ステップＳ１１０）、対象物検出処理を終了して図５のフローチャートにおけるステップＳ２へ処理を戻す。

つまり、ステップＳ１０８にて、当該対象物候補への方向がステップＳ１０６にて特定した人物候補領域への方向と一致しない場合、当該微弱な強度の反射波が返ってきた方向にある物体は人物でなく、車両等の構造物でもないからノイズであるとする。

このように、対象物検出装置３による処理では、人物からの反射波強度が微弱であること、及び、人物が遠赤外線波長帯により人物の表面温度に対応した輝度で撮像されることを利用する。制御部３０は、遠赤外線画像データ内において、強度が所定値以下の反射波が返ってくる方向に対応する領域に、人物の表面温度に対応する領域として抽出される領域が存在する場合、当該対象物候補は人物であると判定し、車両等の反射波強度が強い構造物と区別して人物を検出することが可能となる。

図７は、実施の形態１における対象物検出装置３の制御部３０による処理の具体例を示す説明図である。図６のフローチャートに示した処理手順の内のステップＳ１０８における処理を具体的に示す。

図７（ａ）は、ミリ波レーダ１の検出範囲及び遠赤外線カメラ２の撮像範囲の一致範囲を模式的に示している。図７（ａ）に示す例では、検出範囲（撮像範囲）の左側に図の奥へ向かって走行中の車両、中央右側には図の手前側を向いている人物が存在している。図７（ａ）に示す状況で、ミリ波レーダ１を動作させ、同時的に遠赤外線カメラ２が撮像した場合、ミリ波レーダ１では車両の存在する方向から強い反射波を受信し、人物の存在する方向から微弱な反射波を受信し、遠赤外線カメラ２で撮像される画像データには車両及び人物が写り、表面温度が高い部分が高い輝度値で撮像される。

図７（ｂ）はレーダ情報の一部として、図７（ａ）に示す状況で、ミリ波レーダ１にて受信される反射波の検出範囲に対する強度分布を示している。図７（ｂ）では、横軸に走査方向を示し、縦軸に反射波強度を示している。一点鎖線は、反射波強度に対する閾値を示し、二点鎖線は制御部３０がステップＳ１０７で判断する際に基準となる反射波強度に対する所定値を示す。図７（ｂ）に示すような分布でミリ波レーダ１で反射波が受信された場合、ミリ波レーダ１は、反射波強度が閾値以上であるＡの範囲の方向、Ｂの範囲の方向、及びＣの範囲の方向に対象物が存在する可能性があるとし、夫々に対応する距離と反射波強度とをレーダ情報として送信する。

図７（ｃ）は、図７（ａ）に示す状況で遠赤外線カメラ２にて撮像され、２値化された後の遠赤外線画像の画像データを示している。図７（ｃ）では、ハッチング部分が人物の表面温度に対応するとして抽出された領域を示している。そして画像の水平方向をｘ軸とし、画像の垂直方向をｙ軸として２次元座標にて画像中の領域の位置を示している。図７（ｃ）に示す画像データでは、撮像範囲の左側に写る車両のリアウィンドウ付近及びマフラ周辺などの車両の下部、そして中央右側に写る人物の顔部分、手部分及び脚部分が高輝度領域である人物候補領域として抽出される。このとき、人物の顔部分、手部分及び脚部分は、破線に示すように対応付けされ、全体で同一人物に係る人物候補領域とされている。

ここで、対応付けの方法は種々の方法が考えられるが、いずれの方法を採用してもよい。一の例として以下の方法がある。実施の形態１におけるミリ波レーダ１は、水平方向のみ走査して対象物を検出するので、画像データにおいても人物の表面温度に対応する領域の水平方向成分のみを抽出すればよい。図７（ｃ）の例の場合、顔部分、手部分及び脚部分は、ｘ座標の範囲が重複するから、一連の人物候補領域として抽出される。

より厳密な他の例としては以下の方法がある。顔部分、手部分及び脚部分が夫々、一次的に人物候補領域として抽出される。各人物候補領域の下端のｙ座標から、遠赤外線カメラ２から人物候補までの距離を求める。人物の身長及び身幅は概ね範囲が決まっているから、求めた距離にいる人物が写った場合に画像中に占めるべき領域の画像中における高さ及び幅が特定できる。下端のｙ座標を基準とした高さ及び幅の中に入る他の人物候補領域を対応付ける。

対象物検出装置３の制御部３０は、画像データから抽出した人物候補領域の位置によって人物候補への方向を特定する（図６、Ｓ１０６）。実施の形態１ではミリ波レーダ１は水平方向のみを特定する。したがって制御部３０も、画像データから水平方向を特定する。図７（ｃ）の例の場合、車両の表面の内の人物の表面温度に対応する部分から抽出された人物候補領域のｘ座標（水平方向）によってＤの範囲の方向が特定され、人物の顔部分、手部分及び脚部分から抽出された人物候補領域のｘ座標（水平方向）によって、Ｅの範囲の方向が特定されている。

このように、対象物検出装置３の制御部３０は、レーダ情報として図７（ｂ）に示したＡの範囲、Ｂの範囲及びＣの範囲の方向を夫々ミリ波レーダ１から受信し（図６、Ｓ１０２）、遠赤外線カメラ２から得られる図７（ｃ）の画像データから、人物候補への方向としてＤの範囲の方向、Ｅの範囲の方向を特定する（図６、Ｓ１０６）。

制御部３０は、レーダ情報に基づき、Ｂの範囲及びＣの範囲の方向について、反射波強度が所定値以下の対象物候補が有ると判断する（図６、Ｓ１０７：ＹＥＳ）。更に、制御部３０は、画像データから特定したＤの範囲及びＥの範囲の方向の内、Ｅの範囲の方向にＢの範囲の方向が対応し、且つＢの範囲の方向の対象物候補からの反射波強度は所定値以下であるから、人物候補領域から特定した方向（Ｅ）に反射波強度が所定値以下である対象物候補があると判断する（図６、Ｓ１０８：ＹＥＳ）。したがって制御部３０はＥの範囲の方向にある対象物候補を人物と判定して（図６、Ｓ１０９）、人物を検出する。

制御部３０は、画像データから特定したＤの範囲の方向には、レーダ情報のＡの範囲の方向が対応するが、Ａの範囲の方向の対象物候補からの反射波強度は所定値を超えるから、対象物候補は人物以外、即ち車両など構造物であると判定する（図６、Ｓ１１１）。

また制御部３０は、レーダ情報に基づき、ミリ波レーダ１にてＣの範囲の方向に対象物候補を検出しているが、画像データから抽出した人物候補領域の方向に対応しないので、対象物候補はノイズであったと判定する（図６、Ｓ１１０）。

このように、すでに搭載されているミリ波レーダ１から得られる情報に、廉価な遠赤外線カメラ２で撮像した画像データから得られる情報を加えて参照することにより、人物からのミリ波の反射波強度が微弱であることを利用して、人物か否かを区別して対象物を検出することができる。

遠赤外線カメラ２にて撮像した画像データから、温度が人物の表面温度として適切な温度範囲にあるものであるか否かを遠赤外線波長帯による撮像画像にて判断することにより、人物と同様に微弱な反射波を返す路面の凹凸などの比較的低温な物体からの反射波をノイズとして除去することが可能である。また、車両の後部のマフラー部分、タイヤ付近などの人物の表面温度としては不適切な温度（例えば８０℃以上）となる物体を写した領域も人物候補領域として抽出されない。したがって、遠赤外線カメラ２を利用するとしても、人物の表面温度に対応する温度よりも高温の物体を誤って人物として検出することを回避することが可能となる。

また、表面温度として適切な範囲よりも高温の物体、及び低温の物体は人物候補領域として抽出されないので、当該高温の物体が存在する方向は、人物候補への方向として特定されない。したがって、図６のフローチャートのステップＳ１０８の処理で反射波強度が所定値以下の対象物候補の有無の判断をする処理において、判断対象となる領域が減るので処理負荷も軽減される。

一方、車両の表面の内の人物の温度範囲内に対応する部分を写した領域が人物候補領域として抽出されても、ミリ波レーダ１における反射波強度が高いので、これを車両などの構造物と区別して検出することができる。

人物と他の対象物とを区別して検出することができることにより、図５のフローチャートに示したように、接触が予想される対象物が人物か否かによって、歩行者エアバッグを作動させるか否か、又は歩行者との接触を警告するのか、他の車両との接触を警告するのかなどの判断を詳細に行なうことができる。したがって、適切な衝突回避・衝撃緩和処理を実現することが可能となる。

（実施の形態２）
実施の形態２では、より厳密に人物か否かを区別して対象物を検出するために、対象物検出処理において、遠赤外線カメラ２から得られる画像データに基づき、人物であるか否かを再確認する処理を実行する構成とする。

実施の形態２における衝突回避システムの構成は、実施の形態１における構成とほぼ同様であるので、同一の符号を付し、各構成部についての詳細な説明を省略する。

以下、実施の形態１との相違点である対象物検出装置３の制御部３０による対象物検出処理について説明する。

図８は、実施の形態２における対象物検出装置３の制御部３０により実行される対象物検出処理手順の一例を示すフローチャートである。以下に示す処理手順は、実施の形態１の図５のフローチャートに示したステップＳ１の詳細に対応する。そして、実施の形態１における図６のフローチャートに示した処理手順と同一の処理については同一のステップ番号を付して詳細な説明を省略する。

制御部３０は、レーダ情報に基づき、反射波強度が所定値以下である対象物候補があると判断し（Ｓ１０７：ＹＥＳ）、ステップＳ１０６にて特定した人物候補への方向を対象物候補への方向とし、且つ反射波強度が所定値以下の対象物候補が有ると判断した場合（Ｓ１０８：ＹＥＳ）、当該対象物候補は人物である可能性が高いので人物候補であると判定する（ステップＳ３１）。ここで、実施の形態２では、人物である可能性が高い候補として扱う。

制御部３０は、人物である可能性が高い候補であると判断したので、再度、対象物候補が人物であるか否かを再確認する処理を実行する（ステップＳ３２）。当該再確認処理において、対象物が人物であるか否かをより厳密に判定し、制御部３０は対象物検出処理を終了し、図５のフローチャートにおけるステップＳ２へ処理を戻す。

図９は、実施の形態２における対象物検出装置３の制御部３０により実行される再確認処理の一例を示すフローチャートである。以下に示す処理手順は、図８のフローチャートに示したステップＳ３２の詳細に対応する。

制御部３０は、図８のフローチャートに示したステップＳ３１にて、人物候補と判定した対象物候補についてのレーダ情報に基づき、当該人物候補までの距離が所定距離以下であるか否かを判断する（ステップＳ２０１）。

なお、ステップＳ２０１における処理距離は、例えば１５ｍとする。根拠は以下である。実施の形態２における遠赤外線カメラ２の遠赤外線撮像素子の画素数は１２０×９０の１万画素であり、カメラの画角は３０度であるとする。また制御部３０は、人物候補領域を抽出する際に、輝度値が所定値以上又は所定の範囲内である画素が、水平方向に６画素以上、垂直方向に１８画素以上連続する場合に、人物候補領域として抽出する（図６、Ｓ１０５）。水平方向の画素数１２０に対して人物候補領域として抽出する限界が水平方向に６画素であるから、遠赤外線カメラ２の画角３０度に対して人物を検出する限界角度は１．５度となる。人物の身幅（肩幅）を概ね４０ｃｍとした場合、４０ｃｍをｔａｎ（１．５度）で除算すると、１５．２ｍとなる。したがって、遠赤外線カメラ２から約１５ｍの距離以内に存在する人物を遠赤外線カメラ２で撮像した場合、水平方向に６画素分以上の高輝度領域として写る可能性が高く、後述する人物候補領域の画像中における形状又は大きさに対する判断処理が可能である。

制御部３０は、ステップＳ２０１において人物候補までの距離が所定距離よりも長いと判断した場合（Ｓ２０１：ＮＯ）、距離が長くて判断できないので再確認処理を終了し、人物候補であると判定したまま図８のフローチャートへ処理を戻す。この場合、処理は更に図５のフローチャートにおけるステップＳ２以降へ戻されるが、それ以降の処理で人物を検出したとして扱うことが安全上好ましい。

制御部３０は、ステップＳ２０１において人物候補までの距離が所定距離以下であると判断した場合（Ｓ２０１：ＹＥＳ）、画像データにおいて人物候補領域として抽出された際の領域の画像内における形状又は大きさが妥当であるか否かを判断する（ステップＳ２０２）。

ステップＳ２０２の処理は例えば、人物であるべき形状についてパターンマッチングを行なう。また、レーダ情報の距離と遠赤外線カメラ２の画角とに基づいて、抽出された人物候補領域の大きさが大き過ぎないか否かを判断することによって妥当か否かを判断する。人物の身長及び身幅はある程度限界があるので、レーダ情報に含まれる距離にいる人物が遠赤外線カメラ２に撮像された場合に、人物が写っている領域の画像データ内で占めるべき大きさは、距離によって特定されるはずであることを利用する。例えば、上述の所定距離を１５ｍとする根拠の例であれば、１５ｍの距離にある人物が身幅が４０ｃｍ、身長が１６０ｃｍであるとき、画像データには水平方向に６画素、垂直方向には２４画素程度である。したがってこのとき、人物候補領域として抽出された領域の水平方向が１８画素以上ある場合などは、人物候補領域の形状又は大きさが妥当でないと判断される。

制御部３０は、ステップＳ２０２において人物候補領域の画像内における形状又は大きさが妥当であると判断した場合（Ｓ２０２：ＹＥＳ）、対象物は人物であると判定し（ステップＳ２０３）、図８のフローチャートに示した処理手順へ処理を戻す。以降、人物を検出したとして処理が実行される。

制御部３０は、ステップＳ２０２において人物候補領域の画像内における形状又は大きさが妥当でないと判断した場合（Ｓ２０２：ＮＯ）、対象物は人物でないと判定し（ステップＳ２０４）、図８のフローチャートに示した処理手順へ処理を戻す。以降、人物以外の対象物を検出したとして処理が実行される。

このように、距離が所定距離以下である場合には、遠赤外線カメラ２から得られる２次元データである画像データを用いて、人物候補領域の形状又は大きさとして妥当か否かが判断され、人物か否かをより厳密に判定することができる。

これにより、人物以外の物体と区別して精度よく検出することが可能となる。仮に、ミリ波の反射波強度が微弱であり、且つ人物の体温程度に温かい物体が車両の前方に存在していたとしても、遠赤外線画像データに写る形状又は大きさにより、人物以外であると判定することが可能となる。

実施の形態１及び２における衝突回避システムでは、ＣＡＮに準じた通信線Ｌ４，Ｌ５，Ｌ７を介してＣＡＮメッセージを送受信する構成とした。本発明はこれに限らず、ブレーキ制御装置４，４，…、エアバッグ制御装置５、車速センサ６、ディスプレイ７及びスピーカ８が夫々、対象物検出装置３に信号線又は通信線により直接接続され、対象物検出装置３が制動、エアバッグの膨張を直接的に制御する構成としてもよい。

なお、実施の形態１及び２では、対象物検出システムを車両に搭載されるシステムとして構成される例を挙げて説明した。しかしながら、本発明は車載に限らず、ミリ波レーダ及び遠赤外線カメラを交差点を俯瞰するように路側に所定の高さで設置し、ミリ波レーダ及び遠赤外線カメラと通信線又は無線により通信する対象物検出装置を路側機に設置して、対象物検出装置にて上述と同様な処理を実行する構成としてもよい。この場合、対象物検出装置で検出した人物までの方向及び距離に基づき、路側機で、検出した人物の交差点の実空間における位置を、例えば交差点の中心地点を基準に特定し、交差点へ進入しようとする車両へ通知するなどが可能である。

なお、開示された実施の形態は、全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上述の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。

実施の形態１における衝突回避システムが含む各装置の車両内での配置を模式的に示す斜視図である。 実施の形態１における衝突回避システムの構成を示すブロック図である。 実施の形態１における対象物検出装置の内部構成を示すブロック図である。 実施の形態１における衝突回避システムに含まれるミリ波レーダの内部構成を示すブロック図である。 実施の形態１における対象物検出装置の制御部により実行される衝突回避・衝撃緩和処理手順の一例を示すフローチャートである。 実施の形態１における対象物検出装置の制御部により実行される対象物検出処理手順の一例を示すフローチャートである。 実施の形態１における対象物検出装置の制御部による処理の具体例を示す説明図である。 実施の形態２における対象物検出装置の制御部により実行される対象物検出処理手順の一例を示すフローチャートである。 実施の形態２における対象物検出装置の制御部により実行される再確認処理の一例を示すフローチャートである。

符号の説明

１ ミリ波レーダ
２ 遠赤外線カメラ
３ 対象物検出装置
３０ 制御部
３４ レーダ情報通信部（レーダ情報取得部）
３５ 画像取得部

Claims (4)

1. ミリ波レーダからの情報を用い、対象物が人物であるか否かを区別して対象物を検出する対象物検出装置において、
   前記ミリ波レーダから、対象物候補への方向、対象物候補までの距離、及び対象物候補からの反射波強度を含むレーダ情報を取得するレーダ情報取得手段と、
   遠赤外線波長帯にて撮像する撮像装置から、前記ミリ波レーダの検出範囲を撮像した撮像画像を取得する画像取得手段と、
   該画像取得手段が取得した撮像画像から人物候補が撮像された領域を抽出する抽出手段と、
   前記候補の撮像画像内の位置によって人物候補への方向を特定する特定手段と、
   前記レーダ情報取得手段により取得したレーダ情報に基づき、前記特定手段が特定した方向における反射波強度が所定値以下の対象物候補の有無を判断する判断手段と、
   該判断手段が有と判断した場合、対象物候補を人物候補として検出する手段と
   を備えることを特徴とする対象物検出装置。
2. 前記抽出手段は、所定の温度範囲に対応する領域を抽出するようにしてあること
   を特徴とする請求項１に記載の対象物検出装置。
3. 前記判断手段が有と判断した場合、人物候補として検出した前記対象物候補までの距離が所定距離以下であるか否かを判断する手段と、
   該手段が所定距離以下であると判断した場合、前記抽出手段が抽出した領域の形状又は撮像画像中における大きさに基づき、前記対象物候補が人物であるか否かを判断する手段と
   を備えることを特徴とする請求項１又は２に記載の対象物検出装置。
4. ミリ波レーダと、該ミリ波レーダから取得する情報に基づき対象物が人物であるか否かを区別して対象物を検出する対象物検出装置とを含む対象物検出システムにおいて、
   前記ミリ波レーダの検出範囲を遠赤外線波長帯にて撮像する撮像装置を備え、
   前記対象物検出装置は、
   前記ミリ波レーダから、対象物候補への方向、対象物候補までの距離、及び対象物候補からの反射波強度を含むレーダ情報を取得するレーダ情報取得手段と、
   前記撮像装置から撮像画像を取得する手段と、
   該手段が取得した撮像画像から人物候補が撮像された領域を抽出する抽出手段と、
   前記領域の撮像画像内の位置によって人物候補への方向を特定する特定手段と、
   前記レーダ情報取得手段により取得したレーダ情報に基づき、前記特定手段が特定した方向における反射強度が所定値以下の対象物候補の有無を判断する判断手段と、
   該判断手段が有と判断した場合、対象物候補を人物候補として検出する手段と
   を備えることを特徴とする対象物検出システム。

Images