JP2007264732A - 車両用方向者検出装置 - Google Patents

Abstract

【課題】昼間であっても、遠赤外線による歩行者の検出精度の向上を図ることができる車両用歩行者検出装置の提供。
【解決手段】車両に搭載された車両用歩行者検出装置であって、車外の遠赤外線画像を撮像する遠赤外線カメラ１と、撮像された遠赤外線画像から歩行者像を含むの可能性がある候補領域を抽出する候補領域抽出部６１と、遠赤外線画像に影響を与える車外環境を検出する車外環境検出手段３と、遠赤外線画像の歩行者モデルを車外環境状況と対応付けて記憶したＲＯＭ４と、車外環境検出手段３によって検出された車外環境に対応する歩行者モデルを、ＲＯＭ４から抽出する歩行者モデル抽出部６２と、候補領域抽出部６１によって抽出された候補領域と、歩行者モデル抽出部６２によって抽出された歩行者モデルとを対比して、候補領域が歩行者像を含むか否かを判定することにより、歩行者を検出する歩行者判定部６３とを備える。
【選択図】図１

Description

本発明は、車両用歩行者検出装置に係り、より詳細には、遠赤外線画像を撮像して歩行者を検出する車両用歩行者検出装置に関する。

近年、車両の運転支援制御等のために、車両の周囲、特に、車両前方の歩行者を検出する技術が提案されている。例えば、特許文献１には、遠赤外線カメラにより歩行者を検出技術が開示されている。また、特許文献２には、ステレオカメラと遠赤外線カメラにより歩行者を検出する技術が開示されている。

特開２００４−２６６７６７公報 特開２００５−２３４６９４号公報

遠赤外線カメラによる歩行者を検出は、歩行者と周囲構造物との温度差を検出することにより行う。このため、周囲構造物の表面温度が低い夜間においては、歩行者の検出を精度良く行うことができる。

しかしながら、日中、特に、日照下では、周囲構造物や路面等の温度が高くなり、歩行者との温度差が小さくなる。このため、昼間に、歩行者の検出を精度良く行うことが困難となる場合がある。

また、歩行者の服装は、一般に、季節等よって異なる。そして、歩行者の服装によって、遠赤外線画像における歩行者像が異なる場合がある。例えば、歩行者が着用している衣服が長袖の場合と半袖の場合とでは、通常、遠赤外線による歩行者像が異なる。

そこで、本発明は、昼間であっても、遠赤外線による歩行者の検出精度の向上を図ることができる車両用歩行者検出装置の提供を目的としている。

上記の目的を達成するため、本発明の車両用歩行者検出装置は、車両に搭載された車両用歩行者検出装置であって、車外の遠赤外線画像を撮像する撮像手段と、撮像手段によって撮像された遠赤外線画像から歩行者像を含むの可能性がある候補領域を抽出する候補領域抽出手段と、遠赤外線画像に影響を与える車外環境を検出する車外環境検出手段と、遠赤外線画像の歩行者モデルを車外環境状況と対応付けて記憶した歩行者モデル記憶手段と、車外環境検出手段によって検出された車外環境に対応する歩行者モデルを歩行者モデル記憶手段から抽出する歩行者モデル抽出手段と、候補領域抽出手段によって抽出された候補領域と、歩行者モデル抽出手段によって抽出された歩行者モデルとを対比して、候補領域が歩行者像を含むか否かを判定することにより、歩行者を検出する歩行者判定手段とを備えることを特徴としている。

このように構成された本発明の車両用歩行者検出装置によれば、車外環境に応じた歩行者モデルとのマッチングにより、歩行者か否かの判定を行って、歩行者を検出するので、昼間であっても、遠赤外線による歩行者の検出精度の向上を図ることができる。

また、本発明において好ましくは、車外環境検出手段は、車外環境として、季節、外気温、日照度、及び時間帯の少なくとも一つを検出する。
これらの車外環境の条件により、通常、歩行者の服装や、皮膚温度が異なるので、これらの条件を検出することにより、歩行者の検出精度の向上に寄与することができる。

また、本発明において好ましくは、歩行者モデル記憶手段に記憶された歩行者モデルは、歩行者の部位毎の部位モデルにより構成され、各部位モデルは、相対的な位置関係が設定され、歩行者判定手段は、部位モデルに設定された相対的な位置関係に応じて、候補領域から各部位に対応する部位別候補領域を抽出し、部位別候補領域ごとに、対応する部位モデルとの一致度を判定する。

このように、歩行者モデルの部位毎に相対的な位置関係を設定してマッチングをとれば、歩行者の検出精度のより一層の向上に寄与することができる。

また、本発明において好ましくは、歩行者モデル記憶手段は、歩行者モデルの部位モデルごとに、遠赤外線平均強度を記憶し、歩行者判定手段は、部位別候補領域ごとに、遠赤外線平均強度を求め、部位モデルとの一致度を判定する。
このように、部位ごとの平均強度を比較することにより、容易にマッチングを行うことができる。

また、本発明において好ましくは、歩行者モデル記憶手段は、歩行者モデルの部位モデルごとに、遠赤外線強度分布を記憶し、歩行者判定手段は、部位別候補領域ごとに、遠赤外線強度分布を求め、部位モデルとの一致度を判定する。
このように、部位毎の強度分布を比較することにより、容易にマッチングを行うことができる。

また、本発明において好ましくは、車外環境検出手段は、車外環境として、歩行者の衣服に付けられたＩＣタグの発する信号を検出し、歩行者モデル記憶手段は、遠赤外線画像の歩行者モデルをＩＣタグの信号と対応付けて記憶し、歩行者モデル抽出手段は、車外環境検出手段によって検出されたＩＣタグの信号に対応する歩行者モデルを、上記歩行者モデル記憶手段から抽出する。
これにより、ＩＣタグの信号の示す衣服を着用した歩行者モデルを用いてマッチングを行うことができ、歩行者検出精度の向上に寄与することができる。

また、本発明において好ましくは、車両に搭載され、車外の可視画像を撮像する可視画像撮像手段を更に備え、歩行者判定手段は、候補領域について、可視画像による歩行者検出を更に行う。
これにより、歩行者検出精度の向上に寄与することができる。

このように、本発明の車両用歩行者検出装置もよれば、昼間であっても、遠赤外線による歩行者の検出精度の向上を図ることができる。

以下、添付の図面を参照して、本発明の車両用歩行者検出装置（以下、「本装置」とも称する。）の実施形態を説明する。

（第１実施形態）
図１のブロック図に、実施形態の車両用歩行者検出装置の構成を示す。図１に示すように、本装置は、車外の遠赤外線画像を撮像する撮像手段としての遠赤外線カメラ１と、車両に搭載され、車外の可視画像を撮像する可視画像撮像手段としての可視カメラ２と、遠赤外線画像に影響を与える車外環境を検出する車外環境検出手段３と、遠赤外線画像の歩行者モデルを車外環境状況と対応付けて記憶した歩行者モデル記憶手段としてのＲＯＭ４と、出力手段５と、ＣＰＵ（central processing unit：中央処理装置）６とから構成されている。

遠赤外線カメラ１、可視カメラ２及び車外環境検出手段３は、図２に示すように、車両７上の任意好適な位置に配置されている。本実施形態では、遠赤外線カメラ１及び可視カメラ２は、車両前方の物体を撮像するように配置されている。遠赤外線カメラ１は、例えば、波長８〜１２μｍの遠赤外線波長帯域における物体の熱放射の強度分布を画像として撮像する。

車外環境検出手段３として、季節を検出するカレンダー３４、外気温を検出する外気温センサ３１、日照度を検出する日照度センサ３２、及び時間帯を検出する時計３３を備え、さらに、歩行者の衣服に付けたＩＣタグ（図示せず）の発する信号を検出するＩＣタグ受信装置を備える。カレンダー３４及び時計３３は、例えば、カーナビゲーションシステムに組み込まれた電子時計及び電子カレンダーを利用するとよい。また、外気温センサ３１及び日照度センサ３２には、任意好適なものを使用することができる。
なお、図２では、ＩＣタグ受信装置３５を構成するＩＣタグ受信用アンテナの配置を示している。

歩行者モデル記憶手段としてのＲＯＭ４には、図３に示すように、車外環境の条件としての季節（Ａ１〜Ａｎ）、外気温（Ｂ１〜Ｂｎ）、日照度（Ｃ１〜Ｃｎ）、及び時間帯（Ｄ１〜Ｄｎ）の種々の組合せと、歩行者モデルの頭部、腕部、胴部、脚部等の各部位モデルごとの、遠赤外線平均強度、及び遠赤外線強度分布とを対応づけて記憶している。図３では、便宜的に、遠赤外線強度を、強度が高いほど白く、低いほど黒く表した濃度として示す。

各部位モデルの濃度平均は、各部位モデルの範囲内の濃度を平均したものであり、濃度分布は、各部位モデルの範囲内における濃度の位置による変化を示したものである。歩行者モデルの濃度、即ち、表面温度に対応する熱放射の遠赤外線強度は、一般に、皮膚が露出しているか、衣服で覆われているかによっても大きく異なる。図３に示す例では、肌が露出している顔面を含む頭部の濃度平均は高く（白く）、一方、衣服に覆われている胴部等の濃度平均は低く（黒く）なっている。

また、図３に示す例では、各部位モデルにおける濃度分布は、各部位の中央部、即ち、遠赤外線カメラから見て正面を向いている領域で濃度が高く、一方、各部位の周辺部、即ち、側方を向いている領域で濃度が低くなっている。

各部位モデルは、相対的な位置関係が設定されている。例えば、頭部は、胴部の上方に位置するものとして設定されており、また、脚部は、胴部の下方に位置するものとして設定されている。さらに、例えば、腕部は、胴部の側方等に位置するものとして設定されている。

なお、車外環境条件のある組合せに対して、歩行者モデルは、一通りである必要はなく、複数の歩行者モデルを対応づけて記憶してもよい。また、部位モデル相互の位置関係は、ある歩行者モデルを構成する一組の部位モデルについて、一通りである必要はなく、様々な場合の位置関係を設定してもよい。

また、各部位モデルは、あらかじめ、様々な車外環境の想定した条件全てに対して、確定したものを記憶しておいてもよいし、幾つかの基本モデルを記憶しておき、検出された車外環境に合わせて、所定の演算方式等により、その基本モデルを修正した部位モデルを生成して用いてもよい。

出力手段５には、警報装置５１、自動ブレーキ装置５２、ステアリング装置５３、及び、歩行者保護装置５４が含まれる。これらの装置により、本実施形態では、歩行者を検出した場合において、その歩行者との衝突が予測されるときに運転支援を行う。例えば、警報装置５１は警報音等を発し、自動ブレーキ装置５２は急ブレーキをかけて歩行者との衝突の回避を図る。また、例えば、ステアリング装置５３は、歩行者との衝突回避運動を自動的に行う。また、歩行者保護装置５４は、例えば、歩行者との衝突が予測された場合に、車両のフロントフードやフロントガラス上にエアバッグを展開し、歩行者の受けるダメージの軽減を図る。

ＣＰＵ６では、遠赤外線カメラ１によって撮像された遠赤外線画像から歩行者像を含むの可能性がある候補領域を抽出する候補領域抽出処理と、車外環境検出手段３によって検出された車外環境に対応する歩行者モデルを、ＲＯＭ４から抽出する歩行者モデル抽出処理と、抽出された候補領域と歩行者モデルとを対比して、候補領域が歩行者像を含むか否かを判定することにより、歩行者を検出する歩行者判定処理とを行う。図１では、便宜的に、これらの処理を、それぞれ、ＣＰＵ６内の候補領域抽出部６１、歩行者モデル抽出処理部６２及び歩行者判定処理部６３の三つの機能ブロックとして示す。

次に、図４のフローチャートを参照して、本実施形態の車両用歩行者検出装置の動作を説明する。
なお、図４に示したフローチャートは、処理の一例に過ぎず、遠赤外線画像撮像処理（Ｓ１）及び候補領域抽出処理（Ｓ２）と、車外環境検出処理（Ｓ３）及び歩行者モデル抽出処理（Ｓ４）とは、順序を入れ替えて実行してもよいし、並列に実行してもよい。また、遠赤外線画像撮像処理（Ｓ１）を連続的に実行する一方、車外環境検出処理（Ｓ３）は、定期的に、或いは、任意の条件下で実行するようにしてもよい。

本実施形態では、まず、遠赤外線カメラ１によって、車外の遠赤外線画像を撮像する（Ｓ１）。図５（ａ）に撮像された遠赤外線画像１０を示す。なお、図５（ａ）では、便宜的に、遠赤外線画像１０中の、歩行者以外の背景画像を省略している。

続いて、ＣＰＵ６の候補領域抽出部６１によって、撮像された遠赤外線画像から歩行者像を含むの可能性がある候補領域を抽出する（Ｓ２）。ここでは、図５（ｂ）に示すように、まず、遠赤外線画像１０を二値化し、白い高温領域１１を抽出する。通常は、高温領域として、例えば、日向の郵便ポストなど、歩行者以外の様々な物体像も検出される。

そこで、本実施形態では、図５（ｃ）に示すように、抽出された様々高温領域１１のうち、縦横比や抽出領域のサイズ等により、歩行者像が含まれている可能性の高い領域を更に絞り込み、候補領域１００として抽出する。

また、種々の車外環境検出手段５によって、遠赤外線画像に影響を与える車外環境を検出する（Ｓ３）。ここでは、カーナビゲーションシステム（図示せず）に内蔵の電子カレンダー３４により季節を検出し、外気温センサ３１により外気温を検出し、日照度センサ３２により日照度を検出し、かつ、時計３３により時間帯を検出する。

そして、ＣＰＵ６の歩行者モデル抽出部６２により、車外環境検出手段３（３１〜３４）によって検出された車外環境に対応する歩行者モデルを、歩行者モデルを記憶したＲＯＭ４から抽出する（Ｓ４）。ここでは、検出車外環境、例えば、季節Ａ１、外気温Ｂ１、日照度Ｃ１及び時間帯Ｄ１に対応する各部位の濃度分布及び濃度平均として各部位モデルを抽出し、これらの選択された部位モデルからなる歩行者モデルを構築する。図６（ａ）に、頭部モデルＡ、胴体モデルＣ、腕モデルＨ、手モデルＬ、脚部モデルＪ及び足モデルＲを組み合わせた歩行者モデル２００を模式的に示す。

次いで、ＣＰＵ６の歩行者判定処理部６３により、候補領域抽出部６１によって抽出された候補領域１００と、歩行者モデル抽出部６２によって抽出された歩行者モデル２００とを対比して、候補領域１００が歩行者像を含むか否かを判定することにより、歩行者を検出する（Ｓ５）。

ここでは、図６（ｂ）に示すように、部位モデルに設定された相対的な位置関係に応じて、候補領域１００から各部位に対応する部位別候補領域を更に抽出する。図６（ｂ）に示す例では、候補領域１００から、頭部候補領域１００Ａ、胴体候補領域１００Ｃ、腕候補領域１００Ｈ、手候補領域１００Ｌ、脚部候補領域１００Ｊ及び足候補領域１００Ｒを更に抽出している。

そして、歩行者判定処理部６３により、部位別候補領域ごとに、対応する部位モデルとの一致度を判定する。具体的には、頭部モデルＡと頭部領域１００Ａとのマッチング、胴体モデルＣと胴体候補領域１００Ｃとのマッチング、腕モデルＨと腕候補領域１００Ｈとのマッチング、手モデルＬと手候補領域１００Ｌとのマッチング、脚部モデルＪと脚部候補領域１００Ｊとのマッチング、及び足モデルＲと足候補領域１００Ｒとのマッチングをそれぞれとる。

マッチングを行うにあたり、歩行者判定部６３は、部位別候補領域ごとに、遠赤外線平均強度及び強度部分を求め、それぞれの部位モデルとの一致度をそれぞれ判定する。そして、個々の部位毎のマッチング結果に基づいて、歩行者像か否かを総合的に判断する。

そして、歩行者像と判定した場合、特に、歩行者との衝突が予想される場合、出力手段５を作動させて運転支援を行う（Ｓ６）。

（第２実施形態）
次に、本発明の第２実施形態について説明する。
近年、製品管理の観点から、衣服にＩＣタグを縫いつけておくことが提案されている。そこで、第２実施形態では、衣服に付けられたＩＣタグの発信する信号を歩行者検出に利用する。衣服に付けられたＩＣタグの発する信号は、例えば、その衣服の素材や形状を特定するコードを含んでいる。このため、その信号を受信することにより、歩行者の着用している衣服の素材等を特定することができる。そして、物体の熱放射のエネルギー及びスペクトル分布は、物体の温度だけでなく、物体の種類によっても定まるので、ＩＣタグの信号により衣服の素材を特定すれば、遠赤外線画像による歩行者検出の精度向上を図ることができる。

第２実施形態の車両用歩行者検出装置の構成は、図１に示したものと同じであり、歩行者検出処理は、図４のフローチャートに示したものと基本的に同じである。
ただし、第２実施形態では、歩行者モデル記憶手段としてのＲＯＭ４に、図７に示すように、遠赤外線画像の歩行者モデルが、ＩＣタグの信号と対応付けて記憶されている。

図７に示す例では、受信したＩＣタグの信号のコードが示す衣服が、帽子の衣服ｂ、上着の衣服ａ、及びズボンの衣服ｃである場合において、これらの衣服を着用したときの歩行者モデルの頭部、腕部、胴部、脚部等の各部位モデルごとの、遠赤外線平均強度、及び遠赤外線強度分布が対応づけられて記憶されている。

そして、ＩＣタグ受信装置３５が、例えば、車両前方に向けてＩＣタグの励起信号を発信し、車外環境として、歩行者の衣服に付けたＩＣタグの発する信号を検出する（図４のＳ３）。
歩行者モデル抽出部６２は、検出された各ＩＣタグの信号に対応する衣服を着用した部位モデルをＲＯＭ４から抽出し、第１実施形態と同様に遠赤外画像の歩行者モデルを生成する（Ｓ４）。そして、上述の第１実施形態と同様にして歩行者を検出する。

なお、ＩＣタグの信号を受信するだけでも、歩行者の存在は検出できるが、赤外線画像からも歩行者を検出すれば、歩行者のより正確な位置を検出することができる。また、ＩＣタグの信号と、季節や日照度等の他の車外環境条件とを組み合わせることによって、歩行者検出の精度の向上を図ることができる。

さらに、本実施形態では、赤外線画像に加えて、可視カメラ２によって車外の可視画像を撮像し、歩行者判定部６３により、候補領域について、赤外線画像に加えて可視画像を利用して歩行者検出を行えば、検出精度の一層の向上を図ることができる。

上述した各実施形態においては、本発明を特定の条件で構成した例について説明したが、本発明は種々の変更及び組み合わせを行うことができ、これに限定されるものではない。

実施形態の歩行者検出装置の構成を示すブロック図である。 実施形態の歩行者検出装置の車両上の配置を示す模式図である。 車外環境と歩行者モデルとの対応例である。 実施形態の歩行者検出装置の動作例を示すブロック図である。 （ａ）は、遠赤外線画像の一例であり、（ｂ）は、高温領域抽出の一例であり、（ｃ）は、候補領域抽出の一例である。 （ａ）は、歩行者モデルの一例であり、（ｂ）は、候補領域の部位別候補領域の一例である 第二実施形態のＩＣタグの信号と歩行者モデルとの対応例である。

符号の説明

１ 遠赤外線カメラ
２ 可視カメラ
３ 車外環境検出手段
４ 歩行者モデル記憶手段（ＲＯＭ）
５ 出力手段
６ ＣＰＵ
７ 車両
１０ 遠赤外線画像
１１ 高温領域
３１ 外気温センサ
３２ 日照度センサ
３３ 時計
３４ カレンダー
３５ ＩＣタグ受信装置
５１ 警報装置
５２ 自動ブレーキ装置
５３ ステアリング装置
５４ 歩行者保護装置（エアバッグ）
６１ 候補領域抽出部
６２ 歩行者モデル抽出部
６３ 歩行者判定部
１００Ａ 頭部候補領域
１００Ｃ 胴体候補領域
１００Ｈ 腕候補領域
１００Ｌ 手候補領域
１００Ｊ 脚部候補領域
１００Ｒ 足候補領域
Ａ 頭部モデル
Ｃ 胴体モデル
Ｈ 腕モデル
Ｌ 手モデル
Ｊ 脚部モデル
Ｒ 足モデル

Claims (7)

1. 車両に搭載された車両用歩行者検出装置であって、
   車外の遠赤外線画像を撮像する撮像手段と、
   上記撮像手段によって撮像された遠赤外線画像から歩行者像を含むの可能性がある候補領域を抽出する候補領域抽出手段と、
   上記遠赤外線画像に影響を与える車外環境を検出する車外環境検出手段と、
   遠赤外線画像の歩行者モデルを車外環境状況と対応付けて記憶した歩行者モデル記憶手段と、
   上記車外環境検出手段によって検出された車外環境に対応する歩行者モデルを、上記歩行者モデル記憶手段から抽出する歩行者モデル抽出手段と、
   上記候補領域抽出手段によって抽出された候補領域と、歩行者モデル抽出手段によって抽出された歩行者モデルとを対比して、候補領域が歩行者像を含むか否かを判定することにより、歩行者を検出する歩行者判定手段と、
   を備えることを特徴とする車両用歩行者検出装置。
2. 上記車外環境検出手段は、車外環境として、季節、外気温、日照度、及び時間帯の少なくとも一つを検出する
   ことを特徴とする請求項１記載の車両用歩行者検出装置。
3. 上記歩行者モデル記憶手段に記憶された歩行者モデルは、歩行者の部位毎の部位モデルにより構成され、各部位モデルは、相対的な位置関係が設定され、
   上記歩行者判定手段は、部位モデルに設定された相対的な位置関係に応じて、候補領域から各部位に対応する部位別候補領域を抽出し、部位別候補領域ごとに、対応する部位モデルとの一致度を判定する
   ことを特徴とする請求項１又は２記載の車両用歩行者検出装置。
4. 上記歩行者モデル記憶手段は、歩行者モデルの部位モデルごとに、遠赤外線平均強度を記憶し、
   上記歩行者判定手段は、部位別候補領域ごとに、遠赤外線平均強度を求め、部位モデルとの一致度を判定する
   ことを特徴とする請求項１乃至３のいずれか一項に記載の車両用歩行者検出装置。
5. 上記歩行者モデル記憶手段は、歩行者モデルの部位モデルごとに、遠赤外線強度分布を記憶し、
   上記歩行者判定手段は、上記部位別候補領域ごとに、遠赤外線強度分布を求め、部位モデルとの一致度を判定する
   ことを特徴とする請求項１乃至４のいずれか一項に記載の車両用歩行者検出装置。
6. 上記車外環境検出手段は、車外環境として、歩行者の衣服に付けたＩＣタグの発する信号を検出し、
   上記歩行者モデル記憶手段は、遠赤外線画像の歩行者モデルをＩＣタグの信号と対応付けて記憶し、
   上記歩行者モデル抽出手段は、上記車外環境検出手段によって検出されたＩＣタグの信号に対応する歩行者モデルを、上記歩行者モデル記憶手段から抽出する
   ことを特徴とする請求項１乃至５のいずれか一項に記載の車両用歩行者検出装置。
7. 車両に搭載され、車外の可視画像を撮像する可視画像撮像手段を更に備え、
   上記歩行者判定手段は、上記候補領域について、可視画像による歩行者検出を行う
   ことを特徴とする請求項１乃至６のいずれか一項に記載の車両用歩行者検出装置。

Images