JP2003216937A - ナイトビジョンシステム - Google Patents

Abstract

(57)【要約】 【課題】 カメラにより撮影された画像から抽出される
不定形な２値化対象物の大きさや位置を的確に判定し、
安定した歩行者の抽出を行うナイトビジョンシステムを
提供する。 【解決手段】 ２値化対象物の上下にマスク領域を設定
し、マスク領域内の輝度変化を確認するために、マスク
領域ＭＡＳＫの輝度分散が閾値ＴＨ１より大きいか否か
を判定する（Ｓ４６）。次にマスク領域の左右画像の相
関度Ｅｒｒｏｒが閾値ＴＨ２より小さいか否かを判定す
る（Ｓ４８）。次に２値化対象物の視差とマスク領域の
視差との差分の絶対値が閾値ＴＨ３より小さいか否かを
判定する（Ｓ４９）。いずれの条件も満たすマスク領域
の全てと２値化対象物とを含む領域を対象物領域として
抽出し、この対象物の高さや路面からの高さ重心位置が
歩行者として適当な値であるか否かを判定することで、
対象物が歩行者か否かを判定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、赤外線カメラに
より撮影された画像の２値化処理により、対象物抽出を
行うナイトビジョンシステムに関する。

【０００２】

【従来の技術】従来、赤外線カメラにより捉えられた車
両周辺の画像から、車両との衝突の可能性がある歩行者
等の対象物を抽出し、その情報を車両の運転者に提供す
るナイトビジョンシステムが提案されている。このシス
テムでは、歩行者等の対象物における車両との衝突の可
能性は、車両と対象物との相対距離や相対速度に基づい
て判定される。

【０００３】また、例えばこのように赤外線カメラによ
り捉えられた車両周辺の画像から、車両との衝突の可能
性がある歩行者等の対象物を抽出するナイトビジョンシ
ステムには、特開平１１−３２８３６４号公報に記載の
ものがある。同公報によると、この装置は赤外線画像を
２値化処理して明部が集中している領域を探し、この領
域の縦横比や充足率、更には実面積と画面上の重心位置
を用いて距離を算出することで、この領域が歩行者の頭
部であるか否かを判定する。そして、歩行者の頭部の領
域を決定することができたら、決定した頭部領域のカメ
ラからの距離と成人の平均身長とから、画像上の歩行者
の身長を計算して歩行者の身体を包含する領域を設定
し、これらの領域を他の領域と区分して表示する。これ
により、赤外線画像上の歩行者の身体全体の位置を特定
し、この情報を車両の運転者に対して表示することで、
より効果的な視覚補助を行うことができる。

【０００４】

【発明が解決しようとする課題】しかし、赤外線画像上
での歩行者は、着帽、着衣の影響や、歩行者自身の存在
環境によって、２値化処理により頭部のみ、頭部の一部
のみ、上半身のみ、下半身のみ、更には身体全体が抽出
されるなど、その２値化形状は不定形である。また、一
般的に車両走行時には、前方路面の形状の変化や、車両
のピッチングの影響があり、歩行者も子供から大人（成
人）まで本来とは異なる身長で検出される。従って、対
象物の画面での重心座標が距離に対して固定化できない
ため、上述の従来の装置のように、形状判定のみで歩行
者の抽出を行った場合、歩行者として適当でない対象物
高さ（対象物の大きさ）や対象物高さ位置（対象物の重
心座標）に基づいた物体を歩行者として抽出してしまう
可能性があった。

【０００５】本発明は、上記課題に鑑みてなされたもの
で、カメラにより撮影された画像から抽出される不定形
な２値化対象物の大きさや位置を的確に判定し、安定し
た歩行者の抽出を行うナイトビジョンシステムを提供す
ることを目的とする。

【０００６】

【課題を解決するための手段】上記課題を解決するため
に、請求項１の発明に係わるナイトビジョンシステム
は、２つの赤外線カメラにより捉えられた画像を利用し
て、歩行者を認識するナイトビジョンシステムであっ
て、前記画像のグレースケール画像を２値化処理するこ
とにより、前記グレースケール画像から２値化対象物を
抽出する２値化対象物抽出手段（例えば実施の形態のス
テップＳ１〜ステップＳ１３）と、前記グレースケール
画像上の前記２値化対象物の上下方向に、人間の幅を基
準とした探索領域を前記２値化対象物に連続して複数個
設定すると共に、前記探索領域と前記２値化対象物との
距離をそれぞれ比較して、前記２値化対象物と同一距離
の前記探索領域を抽出する同一距離領域抽出手段（例え
ば第１の実施の形態のステップＳ４１〜ステップＳ５
３、第２の実施の形態のステップＳ６１〜ステップＳ６
７）と、前記２値化対象物の画像の高さに、前記２値化
対象物と同一距離の前記探索領域の画像の高さを加え
て、目的の対象物の高さを求めると共に、前記対象物の
高さに基づいて前記グレースケール画像中の歩行者を認
識する歩行者判別手段（例えば第１の実施の形態のステ
ップＳ５４〜ステップＳ５９、第２の実施の形態のステ
ップＳ６８〜ステップＳ７３）とを備えたことを特徴と
する。

【０００７】以上の構成を備えたナイトビジョンシステ
ムは、まず２値化対象物抽出手段により２値化対象物の
位置をグレースケール画像上に認識する。次に、同一距
離領域抽出手段により、２値化対象物の上下方向に人間
の幅を基準とした探索領域を２値化対象物に連続して複
数個設定し、該探索領域の中から２値化対象物と同一距
離の物体を含む探索領域を抽出する。そして、歩行者判
別手段により、２値化対象物に２値化対象物と同一距離
の物体を含む探索領域を加えた範囲の画像の高さを基に
目的の対象物の高さを求めることで、この対象物の高さ
から目的の対象物が歩行者か否かを判断することができ
る。

【０００８】請求項２の発明に係わるナイトビジョンシ
ステムは、請求項１に記載のナイトビジョンシステムに
おいて、前記歩行者判別手段が、前記対象物の高さと人
間の高さを基準に設定された閾値との比較により、前記
対象物から人間以外の物体を除去することを特徴とす
る。以上の構成を備えたナイトビジョンシステムは、人
間の高さとして適当ではない物体を予め対象物の中から
除去することで、歩行者の検出を行いやすくすることが
できる。

【０００９】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態について説明する。 （第１の実施の形態）図１は、本発明の第１の実施の形
態のナイトビジョンシステムの構成を示すブロック図で
ある。図１において、符号１は、本実施の形態のナイト
ビジョンシステムを制御するＣＰＵ（中央演算装置）を
備えた画像処理ユニットであって、遠赤外線を検出可能
な２つの赤外線カメラ２Ｒ、２Ｌと当該車両のヨーレー
トを検出するヨーレートセンサ３、更に、当該車両の走
行速度（車速）を検出する車速センサ４とブレーキの操
作を検出するためのブレーキセンサ５が接続される。こ
れにより、画像処理ユニット１は、車両の周辺の赤外線
画像と車両の走行状態を示す信号から、車両前方の歩行
者や動物等の動く物体を検出し、衝突の可能性が高いと
判断したときに警報を発する。

【００１０】また、画像処理ユニット１には、音声で警
報を発するためのスピーカ６と、赤外線カメラ２Ｒ、２
Ｌにより撮影された画像を表示し、衝突の危険性が高い
対象物を車両の運転者に認識させるための、例えば自車
両の走行状態を数字で表すメータと一体化されたメータ
一体Ｄｉｓｐｌａｙや自車両のコンソールに設置される
ＮＡＶＩＤｉｓｐｌａｙ、更にフロントウィンドウの運
転者の前方視界を妨げない位置に情報を表示するＨＵＤ
（Head Up Display ）７ａ等を含む画像表示装置７が接
続されている。

【００１１】また、画像処理ユニット１は、入力アナロ
グ信号をディジタル信号に変換するＡ／Ｄ変換回路、デ
ィジタル化した画像信号を記憶する画像メモリ、各種演
算処理を行うＣＰＵ（中央演算装置）、ＣＰＵが演算途
中のデータを記憶するために使用するＲＡＭ（Random A
ccess Memory）、ＣＰＵが実行するプログラムやテーブ
ル、マップなどを記憶するＲＯＭ（Read Only Memor
y）、スピーカ６の駆動信号、ＨＵＤ７ａ等の表示信号
などを出力する出力回路を備えており、赤外線カメラ２
Ｒ、２Ｌ及びヨーレートセンサ３、車速センサ４、ブレ
ーキセンサ５の各出力信号は、ディジタル信号に変換さ
れてＣＰＵに入力されるように構成されている。

【００１２】また、図２に示すように、赤外線カメラ２
Ｒ、２Ｌは、自車両１０の前部に、自車両１０の車幅方
向中心部に対してほぼ対象な位置に配置されており、２
つの赤外線カメラ２Ｒ、２Ｌの光軸が互いに平行であっ
て、かつ両者の路面からの高さが等しくなるように固定
されている。なお、赤外線カメラ２Ｒ、２Ｌは、対象物
の温度が高いほど、その出力信号レベルが高くなる（輝
度が増加する）特性を有している。また、ＨＵＤ７ａ
は、自車両１０のフロントウインドウの運転者の前方視
界を妨げない位置に表示画面が表示されるように設けら
れている。

【００１３】次に、本実施の形態の動作について図面を
参照して説明する。図３は、本実施の形態のナイトビジ
ョンシステムの画像処理ユニット１における歩行者等の
対象物検出・警報動作を示すフローチャートである。ま
ず、画像処理ユニット１は、赤外線カメラ２Ｒ、２Ｌの
出力信号である赤外線画像を取得して（ステップＳ
１）、Ａ／Ｄ変換し（ステップＳ２）、グレースケール
画像を画像メモリに格納する（ステップＳ３）。なお、
ここでは赤外線カメラ２Ｒにより右画像が得られ、赤外
線カメラ２Ｌにより左画像が得られる。また、右画像と
左画像では、同一の対象物の表示画面上の水平位置がず
れて表示されるので、このずれ（視差）によりその対象
物までの距離を算出することができる。

【００１４】ステップＳ３においてグレースケール画像
が得られたら、次に、赤外線カメラ２Ｒにより得られた
右画像を基準画像とし、その画像信号の２値化処理、す
なわち、輝度閾値ＩＴＨより明るい領域を「１」（白）
とし、暗い領域を「０」（黒）とする処理を行う（ステ
ップＳ４）。図４（ａ）は、赤外線カメラ２Ｒにより得
られたグレースケール画像を示し、これに２値化処理を
行うことにより、図４（ｂ）に示すような画像を得る。
なお、図４（ｂ）において、例えばＰ１からＰ４の枠で
囲った物体を、表示画面上に白色として表示される対象
物（以下「高輝度領域」という）とする。赤外線画像か
ら２値化された画像データを取得したら、２値化した画
像データをランレングスデータに変換する処理を行う
（ステップＳ５）。ランレングスデータにより表される
ラインは、２値化により白となった領域を画素レベルで
示したもので、いずれもｙ方向には１画素の幅を有して
おり、またｘ方向にはそれぞれランレングスデータを構
成する画素の長さを有している。

【００１５】次に、ランレングスデータに変換された画
像データから、対象物のラベリングをする（ステップＳ
６）ことにより、対象物を抽出する処理を行う（ステッ
プＳ７）。すなわち、ランレングスデータ化したライン
のうち、ｙ方向に重なる部分のあるラインを１つの対象
物とみなすことにより、例えば図４（ｂ）に示す高輝度
領域が、それぞれ対象物（２値化対象物）１から４とし
て把握されることになる。対象物の抽出が完了したら、
次に、抽出した対象物の重心Ｇ、面積Ｓ及び外接四角形
の縦横比ＡＳＰＥＣＴを算出する（ステップＳ８）。

【００１６】ここで、面積Ｓは、ラベルＡの対象物のラ
ンレングスデータを（ｘ［ｉ］、ｙ［ｉ］、ｒｕｎ
［ｉ］、Ａ）（ｉ＝０，１，２，・・・Ｎ−１）とする
と、ランレングスデータの長さ（ｒｕｎ［ｉ］−１）を
同一対象物（Ｎ個のランレングスデータ）について積算
することにより算出する。また、対象物Ａの重心Ｇの座
標（ｘｃ、ｙｃ）は、各ランレングスデータの長さ（ｒ
ｕｎ［ｉ］−１）と各ランレングスデータの座標ｘ
［ｉ］、またはｙ［ｉ］とをそれぞれ掛け合わせ、更に
これを同一対象物について積算したものを、面積Ｓで割
ることにより算出する。更に、縦横比ＡＳＰＥＣＴは、
対象物の外接四角形の縦方向の長さＤｙと横方向の長さ
Ｄｘとの比Ｄｙ／Ｄｘとして算出する。なお、ランレン
グスデータは画素数（座標数）（＝ｒｕｎ［ｉ］）で示
されているので、実際の長さは「−１」する必要がある
（＝ｒｕｎ［ｉ］−１）。また、重心Ｇの位置は、外接
四角形の重心位置で代用してもよい。

【００１７】対象物の重心、面積、外接四角形の縦横比
が算出できたら、次に、対象物の時刻間追跡、すなわち
サンプリング周期毎の同一対象物の認識を行う（ステッ
プＳ９）。時刻間追跡は、アナログ量としての時刻ｔを
サンプリング周期で離散化した時刻をｋとし、例えば時
刻ｋで対象物Ａ、Ｂを抽出したら、時刻（ｋ＋１）で抽
出した対象物Ｃ、Ｄと対象物Ａ、Ｂとの同一性判定を行
う。そして、対象物Ａ、Ｂと対象物Ｃ、Ｄとが同一であ
ると判定されたら、対象物Ｃ、Ｄをそれぞれ対象物Ａ、
Ｂというラベルに変更することにより、時刻間追跡が行
われる。また、このようにして認識された各対象物の
（重心の）位置座標は、時系列位置データとしてメモリ
に格納され、後の演算処理に使用される。

【００１８】なお、以上説明したステップＳ４〜Ｓ９の
処理は、２値化した基準画像（本実施の形態では、右画
像）について実行する。次に、車速センサ４により検出
される車速ＶＣＡＲ及びヨーレートセンサ３より検出さ
れるヨーレートＹＲを読み込み、ヨーレートＹＲを時間
積分することより、自車両１０の回頭角θｒを算出する
（ステップＳ１０）。

【００１９】一方、ステップＳ９とステップＳ１０の処
理に平行して、ステップＳ１１〜Ｓ１３では、対象物と
自車両１０との距離ｚを算出する処理を行う。この演算
はステップＳ９、及びステップＳ１０より長い時間を要
するため、ステップＳ９、Ｓ１１より長い周期（例えば
ステップＳ１〜Ｓ１０の実行周期の３倍程度の周期）で
実行される。まず、基準画像（右画像）の２値化画像に
よって追跡される対象物の中の１つを選択することによ
り、右画像から探索画像Ｒ１（ここでは、外接四角形で
囲まれる領域全体を探索画像とする）を抽出する（ステ
ップＳ１１）。

【００２０】次に、左画像中から探索画像Ｒ１に対応す
る画像（以下「対応画像」という）を探索する探索領域
を設定し、相関演算を実行して対応画像を抽出する（ス
テップＳ１２）。具体的には、探索画像Ｒ１の各頂点座
標に応じて、左画像中に探索領域Ｒ２を設定し、探索領
域Ｒ２内で探索画像Ｒ１との相関の高さを示す輝度差分
総和値Ｃ（ａ，ｂ）を算出し、この総和値Ｃ（ａ，ｂ）
が最小となる領域を対応画像として抽出する。なお、こ
の相関演算は、２値化画像ではなくグレースケール画像
を用いて行う。また同一対象物についての過去の位置デ
ータがあるときは、その位置データに基づいて探索領域
Ｒ２より狭い領域Ｒ２ａを探索領域として設定する。

【００２１】ステップＳ１２の処理により、基準画像
（右画像）中に探索画像Ｒ１と、左画像中にこの対象物
に対応する対応画像Ｒ４とが抽出されるので、次に、探
索画像Ｒ１の重心位置と対応画像Ｒ４の重心位置と視差
Δｄ（画素数）を求め、これから自車両１０と対象物と
の距離ｚを算出する（ステップＳ１３）。距離ｚを求め
る式は後述する。次に、ステップＳ１０における回頭角
θｒの算出と、ステップＳ１３における対象物との距離
算出が完了したら、画像内の座標（ｘ，ｙ）及び距離ｚ
を実空間座標（Ｘ，Ｙ，Ｚ）に変換する（ステップＳ１
４）。ここで、実空間座標（Ｘ，Ｙ，Ｚ）は、図２に示
すように、赤外線カメラ２Ｒ、２Ｌの取り付け位置の中
点の位置（自車両１０に固定された位置）を原点Ｏとし
て、図示のように定め、画像内の座標は、画像の中心を
原点として水平方向をｘ、垂直方向をｙと定めている。

【００２２】また、実空間座標が求められたら、自車両
１０が回頭することによる画像上の位置ずれを補正する
ための回頭角補正を行う（ステップＳ１５）。回頭角補
正は、時刻ｋから（ｋ＋１）までの期間中に自車両１０
が例えば左方向に回頭角θｒだけ回頭すると、カメラに
よって得られる画像上では、画像の範囲がΔｘだけｘ方
向にずれるので、これを補正する処理である。なお、以
下の説明では、回頭角補正後の座標を（Ｘ，Ｙ，Ｚ）と
表示する。

【００２３】実空間座標に対する回頭角補正が完了した
ら、次に、同一対象物について、ΔＴのモニタ期間内に
得られた、回頭角補正後のＮ個（例えばＮ＝１０程度）
の実空間位置データ、すなわち時系列データから、対象
物と自車両１０との相対移動ベクトルに対応する近似直
線ＬＭＶを求める（ステップＳ１６）。次いで、最新の
位置座標Ｐ（０）＝（Ｘ（０），Ｙ（０），Ｚ（０））
と、（Ｎ−１）サンプル前（時間ΔＴ前）の位置座標Ｐ
（Ｎー１）＝（Ｘ（Ｎ−１），Ｙ（Ｎ−１），Ｚ（Ｎ−
１））を近似直線ＬＭＶ上の位置に補正し、補正後の位
置座標Ｐｖ（０）＝（Ｘｖ（０），Ｙｖ（０），Ｚｖ
（０））及びＰｖ（Ｎ−１）＝（Ｘｖ（Ｎ−１），Ｙｖ
（Ｎ−１），Ｚｖ（Ｎ−１））を求める。

【００２４】これにより、位置座標Ｐｖ（Ｎ−１）から
Ｐｖ（０）に向かうベクトルとして、相対移動ベクトル
が得られる。このようにモニタ期間ΔＴ内の複数（Ｎ
個）のデータから対象物の自車両１０に対する相対移動
軌跡を近似する近似直線を算出して相対移動ベクトルを
求めることにより、位置検出誤差の影響を軽減して対象
物との衝突の可能性をより正確に予測することが可能と
なる。

【００２５】また、ステップＳ１６において、相対移動
ベクトルが求められたら、次に、検出した対象物との衝
突の可能性を判定する警報判定処理を行う（ステップＳ
１７）。なお、警報判定処理については、詳細を後述す
る。ステップＳ１７において、自車両１０と検出した対
象物との衝突の可能性がないと判定された場合（ステッ
プＳ１７のＮＯ）、ステップＳ１へ戻り、上述の処理を
繰り返す。また、ステップＳ１７において、自車両１０
と検出した対象物との衝突の可能性があると判定された
場合（ステップＳ１７のＹＥＳ）、ステップＳ１８の警
報出力判定処理へ進む。

【００２６】ステップＳ１８では、ブレーキセンサ５の
出力ＢＲから自車両１０の運転者がブレーキ操作を行っ
ているか否かを判別することにより、警報出力判定処
理、すなわち警報出力を行うか否かの判定を行う（ステ
ップＳ１８）。もし、自車両１０の運転者がブレーキ操
作を行っている場合には、それによって発生する加速度
Ｇｓ（減速方向を正とする）を算出し、この加速度Ｇｓ
が所定閾値ＧＴＨより大きいときは、ブレーキ操作によ
り衝突が回避されると判定して警報出力判定処理を終了
し（ステップＳ１８のＮＯ）、ステップＳ１へ戻り、上
述の処理を繰り返す。これにより、適切なブレーキ操作
が行われているときは、警報を発しないようにして、運
転者に余計な煩わしさを与えないようにすることができ
る。

【００２７】また、加速度Ｇｓが所定閾値ＧＴＨ以下で
あるとき、または自車両１０の運転者がブレーキ操作を
行っていなければ、直ちにステップＳ１９の処理へ進み
（ステップＳ１８のＹＥＳ）、対象物と接触する可能性
が高いので、スピーカ３を介して音声による警報を発す
る（ステップＳ１９）とともに、画像表示装置７に対し
て、例えば赤外線カメラ２Ｒにより得られる画像を出力
し、接近してくる対象物を自車両１０の運転者に対する
強調映像として表示する（ステップＳ２０）。なお、所
定閾値ＧＴＨは、ブレーキ操作中の加速度Ｇｓがそのま
ま維持された場合に、対象物と自車両１０との距離Ｚｖ
（０）以下の走行距離で自車両１０が停止する条件に対
応する値である。

【００２８】以上が、本実施の形態のナイトビジョンシ
ステムの画像処理ユニット１における対象物検出・警報
動作であるが、次に、図５に示すフローチャートを参照
して、図３に示したフローチャートのステップＳ１７に
おける警報判定処理について更に詳しく説明する。図５
は、本実施の形態の警報判定処理動作を示すフローチャ
ートである。警報判定処理は、以下に示す衝突判定処
理、接近判定領域内か否かの判定処理、進入衝突判定処
理、歩行者判定処理、及び人工構造物判定処理により、
自車両１０と検出した対象物との衝突の可能性を判定す
る処理である。以下、図６に示すように、自車両１０の
進行方向に対してほぼ９０°の方向から、速度Ｖｐで進
行してくる対象物２０がいる場合を例に取って説明す
る。

【００２９】図５において、まず、画像処理ユニット１
は衝突判定処理を行う（ステップＳ３１）。衝突判定処
理は、図６において、対象物２０が時間ΔＴの間に距離
Ｚｖ（Ｎ−１）から距離Ｚｖ（０）に接近した場合に、
自車両１０とのＺ方向の相対速度Ｖｓを求め、両者が高
さＨ以内で相対速度Ｖｓを維持して移動すると仮定し
て、余裕時間Ｔ以内に両者が衝突するか否かを判定する
処理である。ここで、余裕時間Ｔは、衝突の可能性を予
測衝突時刻より時間Ｔだけ前に判定することを意図した
ものである。従って、余裕時間Ｔは例えば２〜５秒程度
に設定される。またＨは、高さ方向の範囲を規定する所
定高さであり、例えば自車両１０の車高の２倍程度に設
定される。

【００３０】次に、ステップＳ３１において、余裕時間
Ｔ以内に自車両１０と対象物とが衝突する可能性がある
場合（ステップＳ３１のＹＥＳ）、更に判定の信頼性を
上げるために、画像処理ユニット１は対象物が接近判定
領域内に存在するか否かの判定処理を行う（ステップＳ
３２）。接近判定領域内か否かの判定処理は、図７に示
すように、赤外線カメラ２Ｒ、２Ｌで監視可能な領域を
太い実線で示す外側の三角形の領域ＡＲ０とすると、領
域ＡＲ０内の、Ｚ１＝Ｖｓ×Ｔより自車両１０に近い領
域であって、対象物が自車両１０の車幅αの両側に余裕
β（例えば５０〜１００ｃｍ程度とする）を加えた範囲
に対応する領域ＡＲ１、すなわち対象物がそのまま存在
し続ければ自車両１０との衝突の可能性がきわめて高い
接近判定領域ＡＲ１内に存在するか否かを判定する処理
である。なお、接近判定領域ＡＲ１も所定高さＨを有す
る。

【００３１】更に、ステップＳ３２において、対象物が
接近判定領域内に存在しない場合（ステップＳ３２のＮ
Ｏ）、画像処理ユニット１は対象物が接近判定領域内へ
進入して自車両１０と衝突する可能性があるか否かを判
定する進入衝突判定処理を行う（ステップＳ３３）。進
入衝突判定処理は、上述の接近判定領域ＡＲ１よりＸ座
標の絶対値が大きい（接近判定領域の横方向外側の）領
域ＡＲ２、ＡＲ３を進入判定領域と呼び、この領域内に
ある対象物が、移動することにより接近判定領域ＡＲ１
に進入すると共に自車両１０と衝突するか否かを判定す
る処理である。なお、進入判定領域ＡＲ２、ＡＲ３も所
定高さＨを有する。

【００３２】一方、ステップＳ３２において、対象物が
接近判定領域内に存在している場合（ステップＳ３２の
ＹＥＳ）、画像処理ユニット１は対象物が歩行者の可能
性があるか否かを判定する歩行者判定処理を行う（ステ
ップＳ３４）。なお、歩行者判定処理については、詳細
を後述する。また、ステップＳ３４において、対象物は
歩行者の可能性があると判定された場合（ステップＳ３
４のＹＥＳ）、更に判定の信頼性を上げるために、対象
物が人工構造物であるか否かを判定する人工構造物判定
処理を行う（ステップＳ３５）。人工構造物判定処理
は、対象物画像に、例えば以下に示すような歩行者には
あり得ない特徴が検出された場合、該対象物を人工構造
物と判定し、警報の対象から除外する処理である。 （１）対象物の画像に直線エッジを示す部分が含まれる
場合。 （２）対象物の画像の角が直角である場合。 （３）対象物の画像に同じ形状のものが複数含まれてい
る場合。 （４）対象物の画像が予め登録された人口構造物の形状
と一致する場合。

【００３３】従って、上述のステップＳ３３において、
対象物が接近判定領域内へ進入して自車両１０と衝突す
る可能性がある場合（ステップＳ３３のＹＥＳ）、及び
ステップＳ３５において、歩行者の可能性があると判定
された対象物が人工構造物でなかった場合（ステップＳ
３５のＮＯ）、画像処理ユニット１は、自車両１０と検
出した対象物との衝突の可能性がある（警報の対象であ
る）と判定し（ステップＳ３６）、図３に示すステップ
Ｓ１７のＹＥＳとしてステップＳ１８へ進み、警報出力
判定処理（ステップＳ１８）を行う。

【００３４】一方、上述のステップＳ３１において、余
裕時間Ｔ以内に自車両１０と対象物とが衝突する可能性
がない場合（ステップＳ３１のＮＯ）、あるいはステッ
プＳ３３において、対象物が接近判定領域内へ進入して
自車両１０と衝突する可能性がない場合（ステップＳ３
３のＮＯ）、あるいはステップＳ３４において、対象物
は歩行者の可能性がないと判定された場合（ステップＳ
３４のＮＯ）、更にはステップＳ３５において、歩行者
の可能性があると判定された対象物が人工構造物であっ
た場合（ステップＳ３５のＹＥＳ）のいずれかであった
場合は、画像処理ユニット１は、自車両１０と検出した
対象物との衝突の可能性がない（警報の対象ではない）
と判定し（ステップＳ３７）、図３に示すステップＳ１
７のＮＯとしてステップＳ１へ戻り、歩行者等の対象物
検出・警報動作を繰り返す。

【００３５】次に、図８と図９に示すフローチャートを
参照して、図５に示したフローチャートのステップＳ３
４における歩行者判定処理について更に詳しく説明す
る。図８と図９は、本実施の形態の歩行者判定処理動作
を示すフローチャートである。図８において、まず、画
像処理ユニット１は、図３に示したフローチャートのス
テップＳ７において抽出された２値化対象物を取得する
（ステップＳ４１）。更に、図３に示したフローチャー
トのステップＳ８において算出された２値化対象物（図
１０に示す２値化対象物１００）の重心Ｇ（ｘｃ、ｙ
ｃ）（図１０に示す２値化対象物の重心Ｇ１０１）とス
テップＳ１３において算出された自車両１０と対象物と
の視差Δｄ（距離ｚ）を取得する（ステップＳ４２）。

【００３６】次に、グレースケール画像上で、対象物の
存在領域を抽出し、対象物の高さと対象物の路面を基準
とした高さ位置とを算出する。そのために、まず図１０
に示すような実空間での大きさがＷ［ｍ］×Ｈ［ｍ］で
ある長方形領域のマスク領域（それぞれをＭＡＳＫ
［Ｉ］とする）を、対象物の領域を探索するために、２
値化対象物に連続して複数個設定する（ステップＳ４
３）。但し、Ｗ［ｍ］は歩行者を対象とする場合、歩行
者の肩幅以上とし、（２）式により、２値化対象物まで
の距離ｚ［ｍ］を用いて、画面上のマスク領域サイズＷ
ｐ［ｐｉｘｅｌ］×Ｈｐ［ｐｉｘｅｌ］に変換する。な
お、図１０はカメラで捉えられた歩行者を模式的に表し
たもので、斜線の領域が２値化処理で捉えられた対象物
の部位であり、点線で囲まれた領域が２値化処理では捉
えられていないが、グレースケール画像で背景に対して
物体の存在が確認できる対象物の部位を表す。

【００３７】具体的には、前述の対象物距離ｚ［ｍ］
は、カメラの基線長Ｄ［ｍ］、カメラ焦点距離ｆ
［ｍ］、画素ピッチｐ［ｍ／ｐｉｘｅｌ］と、映像から
相関演算によって算出される視差Δｄ［ｐｉｘｅｌ］に
よって、（１）式のように求められるので、 ｚ＝（ｆ×Ｄ）／（Δｄ×ｐ） ・・・（１） ＷｐとＨｐが、それぞれ２値化対象物までの距離ｚ
［ｍ］を用いて Ｗｐ＝（ｆ×Ｗ）／（ｚ×ｐ） Ｈｐ＝（ｆ×Ｈ）／（ｚ×ｐ） ・・・（２） とするＭＡＳＫ［Ｉ］を、基準となるグレースケール映
像の２値化対象物の上下端に接する位置からＮ個配置す
る（但しＩ＝０，１，・・・，Ｎ−１）。

【００３８】そして、グレースケール画像上にマスク領
域が設定できたら、マスク領域を識別する変数Ｉに”
０”を代入し、Ｉをリセットする（ステップＳ４４）。
次に、マスク領域ＭＡＳＫ［Ｉ］の輝度分散Ｖａｒ
［Ｉ］を算出する（ステップＳ４５）。そして、マスク
領域ＭＡＳＫ［Ｉ］について、マスク領域内の輝度変化
を確認するために、（３）式を満たしてマスク領域ＭＡ
ＳＫ［Ｉ］の輝度分散Ｖａｒ［Ｉ］が閾値ＴＨ１より大
きく、マスク領域にグレースケール画像に基づき背景と
は異なる熱特性を持つ物体が存在するか否かを判断する
（ステップＳ４６）。 Ｖａｒ［Ｉ］＞ＴＨ１ ・・・（３）

【００３９】もし、ステップＳ４６において、マスク領
域ＭＡＳＫ［Ｉ］の輝度分散Ｖａｒ［Ｉ］が閾値ＴＨ１
より大きかった場合（ステップＳ４６のＹＥＳ）、次に
マスク領域ＭＡＳＫ［Ｉ］について、左右のカメラで同
じ物体を捉えているかを確認する。具体的には、まずマ
スク領域ＭＡＳＫ［Ｉ］の距離（視差ｄｎ［Ｉ］）を左
右の画像の相関演算（ＳＡＤ：Sum of Absolute differ
ence）によって算出する（ステップＳ４７）。そして、
ＳＡＤの相関度はＥｒｒｏｒとして算出され、ＳＡＤで
は相関度が高いほど小さな値を示すため、（４）式を満
たしてマスク領域ＭＡＳＫ［Ｉ］の左右画像の相関度Ｅ
ｒｒｏｒが閾値ＴＨ２より小さいか否かを判定する（ス
テップＳ４８）。 Ｅｒｒｏｒ＜ＴＨ２ ・・・（４）

【００４０】もし、ステップＳ４８において、マスク領
域ＭＡＳＫ［Ｉ］の相関度Ｅｒｒｏｒが閾値ＴＨ２より
小さかった場合（ステップＳ４８のＹＥＳ）、次にマス
ク領域ＭＡＳＫ［Ｉ］について、２値化対象物と同じ物
体を捉えているか確認するために、（５）式を満たして
２値化対象物の視差Δｄとマスク領域ＭＡＳＫ［Ｉ］の
視差ｄｎ［Ｉ］との差分の絶対値が閾値ＴＨ３より小さ
いか否かを判定する（ステップＳ４９）。 ｜Δｄ−ｄｎ［Ｉ］｜＜ＴＨ３ ・・・（５） そして、ステップＳ４９において、２値化対象物の視差
Δｄとマスク領域ＭＡＳＫ［Ｉ］の視差ｄｎ［Ｉ］との
差分の絶対値が閾値ＴＨ３より小さかった場合（ステッ
プＳ４９のＹＥＳ）、マスク領域ＭＡＳＫ［Ｉ］に含ま
れている対象物は、２値化対象物と同一の物体と判定
し、マスク領域ＭＡＳＫ［Ｉ］に”ＴＲＵＥ”を設定す
る（ステップＳ５０）。

【００４１】一方、ステップＳ４６において、マスク領
域ＭＡＳＫ［Ｉ］の輝度分散Ｖａｒ［Ｉ］が閾値ＴＨ１
以下であった場合（ステップＳ４６のＮＯ）、あるいは
ステップＳ４８において、マスク領域ＭＡＳＫ［Ｉ］の
相関度Ｅｒｒｏｒが閾値ＴＨ２以上であった場合（ステ
ップＳ４８のＮＯ）、あるいはステップＳ４９におい
て、２値化対象物の視差Δｄとマスク領域ＭＡＳＫ
［Ｉ］の視差ｄｎ［Ｉ］との差分の絶対値が閾値ＴＨ３
以上であった場合（ステップＳ４９のＮＯ）のいずれか
であった場合には、マスク領域ＭＡＳＫ［Ｉ］に含まれ
ている対象物は、２値化対象物と別の物体と判定し、マ
スク領域ＭＡＳＫ［Ｉ］に”ＦＡＬＳＥ”を設定する
（ステップＳ５１）。

【００４２】ステップＳ５０、あるいはステップＳ５１
において、マスク領域ＭＡＳＫ［Ｉ］に含まれる物体の
判定を行ったら、マスク領域を識別する変数Ｉを１つカ
ウントアップし（ステップＳ５２）、更に変数Ｉがマス
ク領域の個数Ｎより大きいか否かを判定する（ステップ
Ｓ５３）。ステップＳ５３において、変数Ｉがマスク領
域の個数Ｎ以下であった場合（ステップＳ５３のＮ
Ｏ）、ステップＳ４５へ戻り、上述の動作を繰り返し、
１つカウントアップされた変数Ｉで指定されるマスク領
域ＭＡＳＫ［Ｉ］に含まれる物体の判定を行う。

【００４３】また、ステップＳ５３において、変数Ｉが
マスク領域の個数Ｎより大きかった場合（ステップＳ５
３のＹＥＳ）、図９のステップＳ５４へ進む。そして図
１１に示すように、ステップＳ５０において”ＴＲＵ
Ｅ”と判定されたマスク領域ＭＡＳＫ［Ｉ］の全てと２
値化対象物１００とを含む領域を、対象物領域１０２と
して抽出し、この対象物領域の画面上の高さＨｅｉｇｈ
ｔ［ｐｉｘｅｌ］と対象物領域左下端位置１０３の座標
（ｘｒ、ｙｒ）［ｐｉｘｅｌ］を算出する（ステップＳ
５４）。

【００４４】次に、画面上の対象物領域の高さＨｅｉｇ
ｈｔ［ｐｉｘｅｌ］が求められたら、（６）式により対
象物の実空間での高さΔＨ［ｍ］を算出する（ステップ
Ｓ５５）。 ΔＨ＝ｚ×Ｈｅｉｇｈｔ×ｐ／ｆ ・・・（６） また、対象物領域の左下端位置を路面交点とすること
で、路面を基準とした２値化対象物の高さ重心位置Ｙｃ
［ｍ］を（７）式により算出する（ステップＳ５６）。 Ｙｃ＝ｚ×（ｙｃ−ｙｒ）×ｐ／ｆ ・・・（７） なお図１１では、マスク領域ＭＡＳＫ［４］において、
背景との輝度分散の差が局所的にない場合を例にしてい
るが、”ＴＲＵＥ”と判定されたマスク領域ＭＡＳＫ
［Ｉ］の全てと２値化対象物１００とを含む領域を、対
象物領域１０２として抽出することで、対象物領域の抽
出は局所的な領域の欠落によって影響を受けることがな
い。

【００４５】そして、求められた対象物の実空間での高
さΔＨ［ｍ］と、路面を基準とした２値化対象物の高さ
重心位置Ｙｃ［ｍ］とが、歩行者として適当な数値であ
るか否かを判定する（ステップＳ５７）。もし、ステッ
プＳ５７において、対象物の実空間での高さΔＨ［ｍ］
と、路面を基準とした２値化対象物の高さ重心位置Ｙｃ
［ｍ］とが、歩行者として適当な数値であった場合（ス
テップＳ５７のＹＥＳ）、対象物領域１０２に捉えられ
た対象物は歩行者であると判定して（ステップＳ５８）
歩行者判定処理を終了し、図５に示すステップＳ３４の
ＹＥＳとして図５のステップＳ３５へ進み、人工構造物
判定を行う。

【００４６】また、ステップＳ５７において、対象物の
実空間での高さΔＨ［ｍ］と、路面を基準とした２値化
対象物の高さ重心位置Ｙｃ［ｍ］とが、歩行者として適
当な数値でなかった場合（ステップＳ５７のＮＯ）、対
象物領域１０２に捉えられた対象物は歩行者ではないと
判定して（ステップＳ５９）歩行者判定処理を終了し、
図５に示すステップＳ３４のＮＯとして図５のステップ
Ｓ３７へ進み、対象物は警報対象ではないと判定する。

【００４７】なお、本実施の形態では、画像処理ユニッ
ト１が、２値化対象物抽出手段と、同一距離領域抽出手
段と、歩行者判別手段とを含んでいる。より具体的に
は、図３のＳ１〜Ｓ１３が２値化対象物抽出手段に相当
し、図８のＳ４１〜Ｓ５３が同一距離領域抽出手段に相
当する。また、図９のＳ５４〜Ｓ５９が歩行者判別手段
に相当する。

【００４８】以上説明したように、本実施の形態のナイ
トビジョンシステムは、赤外線カメラにより撮影された
画像のグレースケール画像から歩行者等の対象物を２値
化処理によって抽出した後、グレースケール画像上の２
値化対象物の上下に、マスク領域を２値化対象物に連続
して複数個設定し、このマスク領域の輝度分散、左右画
像の相関度、更には２値化対象物の視差とマスク領域の
視差との差分を、マスク領域それぞれについて判定し、
２値化対象物と同一距離の対象物を含むマスク領域を抽
出する。そして、このマスク領域と２値化対象物を含む
領域を対象物領域とし、この対象物領域に対応する実空
間における対象物の高さや路面からの高さ位置が歩行者
として適当か否かを判定する。

【００４９】これにより、着帽、着衣の影響や、歩行者
自身の存在環境によって、赤外線画像上で２値化処理に
より頭部のみ、頭部の一部のみ、上半身のみ、下半身の
み、更には身体全体が抽出されるなど、不定形な２値化
形状で抽出される歩行者を、その形状の高さや路面から
の高さ位置により的確に判断することができるという効
果が得られる。従って、例えば図１２に示すカーブミラ
ーのような道路構造物は、ミラー部位１０４が２値化対
象物１００として歩行者の頭部のように抽出されても、
マスク領域に対して面積比率が小さい支柱部位１０５に
相当するマスク領域ＭＡＳＫ［３］からＭＡＳＫ［６］
では、背景の影響が大きく輝度分散が小さくなるため
に、歩行者の部位として認められずにマスク領域は”Ｆ
ＡＬＳＥ”となって、対象物領域がミラー部位（頭部の
み）と判定されるため、最終的に対象物領域の高さが歩
行者として不適当である、すなわち歩行者ではないと判
断される。

【００５０】（第２の実施の形態）次に、図面を参照し
て本発明の第２の実施の形態について説明する。本発明
の第２の実施の形態のナイトビジョンシステムが、第１
の実施の形態のナイトビジョンシステムと比較して異な
る部分は、第１の実施の形態で図８と図９のフローチャ
ートを用いて説明したナイトビジョンシステムの画像処
理ユニット１における歩行者判定処理動作が、図１３に
フローチャートを示す歩行者判定処理動作に変更される
ことである。なお、第２の実施の形態のナイトビジョン
システムの構成や、歩行者判定処理動作以外の動作につ
いては、第１の実施の形態のナイトビジョンシステムと
同一であるので、ここでは説明を省略する。

【００５１】次に、図１３のフローチャートを用いて、
第２の実施の形態のナイトビジョンシステムの画像処理
ユニット１における歩行者判定処理動作を具体的に説明
する。第２の実施の形態の歩行者判定処理動作では、第
１の実施の形態の歩行者判定処理動作と同様に、ステッ
プＳ６１からステップＳ６３に示す処理を行う。すなわ
ち、まず画像処理ユニット１は、図３に示したフローチ
ャートのステップＳ７において抽出された２値化対象物
を取得する（ステップＳ６１）。更に、図３に示したフ
ローチャートのステップＳ８において算出した２値化対
象物の重心Ｇ（ｘｃ、ｙｃ）とステップＳ１３において
算出した自車両１０と対象物との視差Δｄ（距離ｚ）を
取得する（ステップＳ６２）。

【００５２】次に、グレースケール画像上で、対象物の
存在領域を抽出し、対象物の路面を基準とした高さ位置
と高さを算出するために、まず図１４に示すような実空
間での大きさがＷ［ｍ］×Ｈ［ｍ］である長方形領域の
マスク領域（それぞれをＭＡＳＫ＿ＡからＭＡＳＫ＿Ｍ
とする）を、対象物の領域を探索するために、２値化対
象物に連続して複数個設定する（ステップＳ６３）。な
お、画面上のマスク領域サイズは、第１の実施の形態と
同様に求める。

【００５３】マスク領域の設定が終了したら、次に下端
ＭＡＸ＿Ｈ判定処理を行う（ステップＳ６４）。具体的
には、まず本実施の形態のナイトビジョンシステムが検
出すべき最大対象物高さをＭＡＸ＿Ｈとして設定する。
次に、２値化対象物１００の下端位置方向で、２値化対
象物１００の上端位置からＭＡＸ＿Ｈ以上で最初のマス
ク領域（例えば図１４ではＭＡＳＫ＿Ｈ）を選択する。
そして、第１の実施の形態と同様に、 （ａ）マスク領域の輝度分散Ｖａｒ［Ｉ］が閾値ＴＨ１
より大きいか否か。 （ｂ）マスク領域の左右画像の相関度Ｅｒｒｏｒが閾値
ＴＨ２より小さいか否か。 （ｃ）２値化対象物の視差Δｄとマスク領域の視差との
差分の絶対値が閾値ＴＨ３より小さいか否か。 の３点についてマスク領域を判定し、判定結果が”ＴＲ
ＵＥ”か”ＦＡＬＳＥ”かを決定する。

【００５４】ステップＳ６４において、マスク領域ＭＡ
ＳＫ＿Ｈの判定結果が”ＴＲＵＥ”の場合（ステップＳ
６４のＹＥＳ）、この対象物は、本実施の形態のナイト
ビジョンシステムが検出すべき最大対象物高さＭＡＸ＿
Ｈを越えた大きさの対象物であるので、捉えられた対象
物は歩行者ではないと判定して（ステップＳ６５）歩行
者判定処理を終了し、図５に示すステップＳ３４のＮＯ
として図５のステップＳ３７へ進み、対象物は警報対象
ではないと判定する。

【００５５】また、ステップＳ６４において、マスク領
域ＭＡＳＫ＿Ｈの判定結果が”ＦＡＬＳＥ”の場合（ス
テップＳ６４のＮＯ）、対象物の最下端マスク領域の特
定処理を行う（ステップＳ６６）。具体的には、マスク
領域ＭＡＳＫ＿ＡからＭＡＳＫ＿Ｇの探索範囲内で、上
述の判定結果が”ＴＲＵＥ”となるマスク領域を選択す
るために、まず、例えば探索範囲内の中間のマスク領域
ＭＡＳＫ＿Ｄを選択し、上述の（ａ）から（ｃ）の３つ
の条件を満たすか否かを判定する。このとき、例えば図
１４に示した例では、マスク領域ＭＡＳＫ＿Ｄの判定結
果は”ＦＡＬＳＥ”となるため、マスク領域ＭＡＳＫ＿
Ｄの上方向の領域（図１４の例ではマスク領域ＭＡＳＫ
＿Ａ〜ＭＡＳＫ＿Ｃ）を探索領域とし、探索領域の中間
のマスク領域ＭＡＳＫ＿Ｂについて、上述の（ａ）から
（ｃ）の３つの条件を満たすか否かを判定する。

【００５６】また、仮にマスク領域ＭＡＳＫ＿Ｄの判定
結果が”ＴＲＵＥ”の場合は、マスク領域ＭＡＳＫ＿Ｄ
の下方向の領域（図１４の例ではマスク領域ＭＡＳＫ＿
Ｅ〜ＭＡＳＫ＿Ｇ）を探索領域として判定結果が”ＴＲ
ＵＥ”になるマスク領域を探索する。そして、同様の処
理を探索領域内のマスク数が１つになるまで繰り返し、
対象物最下端のマスク領域を抽出する。なお、図１４に
示す例では、マスク領域ＭＡＳＫ＿Ｃが対象物の最下端
マスク領域であって、これを対象物の最下端とする。

【００５７】一方、対象物の最下端マスク領域が求めら
れたら、対象物の上端方向について判定するために、上
端ＭＡＸ＿Ｈ判定処理を行う（ステップＳ６７）。具体
的には、２値化対象物１００の上部において、マスク領
域ＭＡＳＫ＿Ｃの下端から、上方向にＭＡＸ＿Ｈ以上で
最初のマスク領域（例えば図１４ではＭＡＳＫ＿Ｍ）を
選択する。そして、下端ＭＡＸ＿Ｈ判定処理と同様に、
上述の（ａ）から（ｃ）の３つの条件を満たすか否かを
判定する。ステップＳ６７において、マスク領域ＭＡＳ
Ｋ＿Ｍの判定結果が”ＴＲＵＥ”の場合（ステップＳ６
７のＹＥＳ）、この対象物は、本実施の形態のナイトビ
ジョンシステムが検出すべき最大対象物高さＭＡＸ＿Ｈ
を越えた大きさの対象物であるので、捉えられた対象物
は歩行者ではないと判定して（ステップＳ６５）歩行者
判定処理を終了し、図５に示すステップＳ３４のＮＯと
して図５のステップＳ３７へ進み、対象物は警報対象で
はないと判定する。

【００５８】また、ステップＳ６７において、マスク領
域ＭＡＳＫ＿Ｍの判定結果が”ＦＡＬＳＥ”の場合（ス
テップＳ６７のＮＯ）、対象物の最上端マスク領域の特
定処理を行う（ステップＳ６８）。具体的には、マスク
領域ＭＡＳＫ＿ＩからＭＡＳＫ＿Ｌの探索範囲内で、上
述の判定結果が”ＴＲＵＥ”となるマスク領域を選択す
るために、まず、例えば探索範囲内の中間のマスク領域
ＭＡＳＫ＿Ｋを選択し、上述の（ａ）から（ｃ）の３つ
の条件を満たすか否かを判定する。このとき、例えば図
１４に示した例では、マスク領域ＭＡＳＫ＿Ｋの判定結
果は”ＦＡＬＳＥ”となるため、マスク領域ＭＡＳＫ＿
Ｋの下方向の領域（図１４の例ではマスク領域ＭＡＳＫ
＿Ｉ〜ＭＡＳＫ＿Ｊ）を探索領域とし、上述の（ａ）か
ら（ｃ）の３つの条件を満たすか否かを判定する。

【００５９】また、仮にマスク領域ＭＡＳＫ＿Ｋの判定
結果が”ＴＲＵＥ”の場合は、マスク領域ＭＡＳＫ＿Ｋ
の上方向の領域（図１４の例ではマスク領域ＭＡＳＫ＿
Ｌ）を探索領域として判定結果が”ＴＲＵＥ”になるマ
スク領域を探索する。そして、同様の処理を探索領域内
のマスク数が１つになるまで繰り返し、対象物最上端の
マスク領域を抽出する。なお、図１４に示す例では、全
てのマスク領域が条件を満たさないため、２値化対象物
の上端位置が対象物の最上端とする。

【００６０】上述のように、対象物の最下端、最上端位
置が求められたら、最下端、最上端位置を含む領域を対
象物領域１０２として抽出し、第１の実施の形態と同様
に、この対象物領域の画面上の高さＨｅｉｇｈｔ［ｐｉ
ｘｅｌ］と対象物領域左下端位置の座標（ｘｒ、ｙｒ）
［ｐｉｘｅｌ］を算出する（ステップＳ６９）。次に、
画面上の対象物領域の高さＨｅｉｇｈｔ［ｐｉｘｅｌ］
が求められたら、対象物の実空間での高さΔＨ［ｍ］を
算出する（ステップＳ７０）。更に、対象物領域の左下
端位置を路面交点とすることで、路面を基準とした２値
化対象物の高さ重心位置Ｙｃ［ｍ］を算出する（ステッ
プＳ７１）。

【００６１】そして、求められた対象物の実空間での高
さΔＨ［ｍ］と、路面を基準とした２値化対象物の高さ
重心位置Ｙｃ［ｍ］とが、歩行者として適当な数値であ
るか否かを判定する（ステップＳ７２）。もし、ステッ
プＳ７２において、対象物の実空間での高さΔＨ［ｍ］
と、路面を基準とした２値化対象物の高さ重心位置Ｙｃ
［ｍ］とが、歩行者として適当な数値であった場合（ス
テップＳ７２のＹＥＳ）、対象物領域１０２に捉えられ
た対象物は歩行者であると判定して（ステップＳ７３）
歩行者判定処理を終了し、図５に示すステップＳ３４の
ＹＥＳとして図５のステップＳ３５へ進み、人工構造物
判定を行う。

【００６２】また、ステップＳ７２において、対象物の
実空間での高さΔＨ［ｍ］と、路面を基準とした２値化
対象物の高さ重心位置Ｙｃ［ｍ］とが、歩行者として適
当な数値でなかった場合（ステップＳ７２のＮＯ）、対
象物領域１０２に捉えられた対象物は歩行者ではないと
判定して（ステップＳ６５）歩行者判定処理を終了し、
図５に示すステップＳ３４のＮＯとして図５のステップ
Ｓ３７へ進み、対象物は警報対象ではないと判定する。

【００６３】なお、本実施の形態では、第１の実施の形
態と同様に、画像処理ユニット１が、２値化対象物抽出
手段と、同一距離領域抽出手段と、歩行者判別手段とを
含んでいる。より具体的には、図３のＳ１〜Ｓ１３が２
値化対象物抽出手段に相当し、図１３のＳ６１〜Ｓ６７
が同一距離領域抽出手段に相当する。また、図１３のＳ
６８〜Ｓ７３が歩行者判別手段に相当する。

【００６４】以上説明したように、本実施の形態のナイ
トビジョンシステムは、第１の実施の形態と同様に、赤
外線カメラにより撮影された画像のグレースケール画像
から歩行者等の対象物を２値化処理によって抽出した
後、グレースケール画像上の２値化対象物の上下に設定
されたマスク領域を判定することで、２値化処理により
抽出された対象物が歩行者か否かを、歩行者の着帽、着
衣の影響や、歩行者自身の存在環境の影響を排除して的
確に判定することができると共に、更にマスク領域の判
定時に、マスク領域を間引いて探索（判定）すること
で、演算量を大幅に削減することができる。

【００６５】

【発明の効果】以上の如く、請求項１に記載のナイトビ
ジョンシステムによれば、まず２値化対象物抽出手段に
より２値化対象物の位置をグレースケール画像上に認識
した後、同一距離領域抽出手段により、２値化対象物の
上下方向に人間の幅を基準とした探索領域を２値化対象
物に連続して複数個設定し、該探索領域の中から２値化
対象物と同一距離の物体を含む探索領域を抽出する。そ
して、歩行者判別手段により、２値化対象物に２値化対
象物と同一距離の物体を含む探索領域を加えた範囲の画
像の高さを基に目的の対象物の高さを求め、この対象物
の高さから目的の対象物が歩行者か否かを判断する。従
って、赤外線カメラにより捉えられた画像中の対象物の
大きさや位置を的確に判定し、安定した歩行者の検出を
行うことができるという効果が得られる。

【００６６】請求項２に記載のナイトビジョンシステム
によれば、人間の高さとして適当ではない物体を予め対
象物の中から除去することで、歩行者の検出を行いやす
くすることができる。従って、赤外線カメラにより捉え
られた画像中の歩行者の検出精度を向上させることがで
きるという効果が得られる。

【図面の簡単な説明】

【図１】 本発明の第１の実施の形態のナイトビジョン
システムの構成を示すブロック図である。

【図２】 車両における赤外線カメラやセンサ、ディス
プレイ等の取り付け位置を示す図である。

【図３】 同実施の形態のナイトビジョンシステムの対
象物検出・警報動作を示すフローチャートである。

【図４】 赤外線カメラにより得られるグレースケール
画像とその２値化画像を示す図である。

【図５】 同実施の形態の警報判定処理動作を示すフロ
ーチャートである。

【図６】 衝突が発生しやすい場合を示す図である。

【図７】 車両前方の領域区分を示す図である。

【図８】 同実施の形態の歩行者判定処理動作を示すフ
ローチャートである。

【図９】 同実施の形態の歩行者判定処理動作を示すフ
ローチャートである。

【図１０】 同実施の形態のグレースケール画像上のマ
スク領域設定について示す図である。

【図１１】 同実施の形態の歩行者判定処理により抽出
された対象物領域について示す図である。

【図１２】 同実施の形態の歩行者判定処理により対象
物から除去された歩行者以外の物体について示す図であ
る。

【図１３】 本発明の第２の実施の形態の歩行者判定処
理動作を示すフローチャートである。

【図１４】 同実施の形態のマスク領域探索手順につい
て示す図である。

【符号の説明】

１ 画像処理ユニット ２Ｒ、２Ｌ 赤外線カメラ ３ ヨーレートセンサ ４ 車速センサ ５ ブレーキセンサ ６ スピーカ ７ 画像表示装置 １０ 自車両 Ｓ１〜Ｓ１３ ２値化対象物抽出手段 Ｓ４１〜Ｓ５３ 同一距離領域抽出手段（第１の実施
の形態） Ｓ５４〜Ｓ５９ 歩行者判別手段（第１の実施の形
態） Ｓ６１〜Ｓ６７ 同一距離領域抽出手段（第２の実施
の形態） Ｓ６８〜Ｓ７３ 歩行者判別手段（第２の実施の形
態）

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０８Ｂ 21/00 Ｇ０８Ｂ 21/00 Ｅ Ｕ Ｈ０４Ｎ 1/403 Ｈ０４Ｎ 1/40 １０３Ａ (72)発明者 渡辺 正人 埼玉県和光市中央１丁目４番１号 株式会 社本田技術研究所内 (72)発明者 服部 弘 埼玉県和光市中央１丁目４番１号 株式会 社本田技術研究所内 Ｆターム(参考） 5B057 BA02 CA02 CA08 CA13 CA16 CB18 CC01 CE12 CH08 DA06 DB02 DB05 DB09 DC03 5C077 LL20 MP01 RR02 5C086 AA54 BA22 CA12 CA28 CB36 DA01 DA33 EA45 FA01 5L096 AA06 BA02 EA43 FA66 JA11

Claims (2)

【特許請求の範囲】
1. 【請求項１】 ２つの赤外線カメラにより捉えられた画
   像を利用して、歩行者を認識するナイトビジョンシステ
   ムであって、 前記画像のグレースケール画像を２値化処理することに
   より、前記グレースケール画像から２値化対象物を抽出
   する２値化対象物抽出手段と、 前記グレースケール画像上の前記２値化対象物の上下方
   向に、人間の幅を基準とした探索領域を前記２値化対象
   物に連続して複数個設定すると共に、前記探索領域と前
   記２値化対象物との距離をそれぞれ比較して、前記２値
   化対象物と同一距離の前記探索領域を抽出する同一距離
   領域抽出手段と、 前記２値化対象物の画像の高さに、前記２値化対象物と
   同一距離の前記探索領域の画像の高さを加えて、目的の
   対象物の高さを求めると共に、前記対象物の高さに基づ
   いて前記グレースケール画像中の歩行者を認識する歩行
   者判別手段とを備えたことを特徴とするナイトビジョン
   システム。
2. 【請求項２】 前記歩行者判別手段が、前記対象物の高
   さと人間の高さを基準に設定された閾値との比較によ
   り、前記対象物から人間以外の物体を除去することを特
   徴とする請求項１に記載のナイトビジョンシステム。