JP2002099997A

JP2002099997A - 動体物検出装置

Info

Publication number: JP2002099997A
Application number: JP2000291549A
Authority: JP
Inventors: Yoshiaki Miichi; 善紀見市; Susumu Masuda; 奨増田
Original assignee: Mitsubishi Motors Corp
Current assignee: Mitsubishi Motors Corp
Priority date: 2000-09-26
Filing date: 2000-09-26
Publication date: 2002-04-05

Abstract

(57)【要約】【課題】必要最小限の検索範囲で画面中の歩行者を検
出して歩行者の特定処理速度を向上させる。【解決手段】ＣＣＤカメラ２からの画像情報に基づい
て道路領域を特定し、道路領域情報及び赤外線カメラ３
からの赤外線画像情報を合成して道路領域内の歩行者を
テンプレートマッチングにより検索して特定し、必要最
小限の検索範囲で画面中の歩行者を検出して歩行者の特
定処理速度を向上させる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、道路領域内の動体
物、例えば、歩行者や動物等の存在を検出する動体物検
出装置に関する。

【０００２】

【従来の技術】従来から、車両に搭載されたＣＣＤカメ
ラ等を用いて道路状況を撮影し、撮影された画像情報
（例えば輝度情報）により画面内における歩行者を走行
中に検出することが行われている。そして、歩行者の検
出の信頼性を向上させるために、ＣＣＤカメラとは別に
車両に赤外線カメラ搭載し、赤外線カメラを用いて道路
状況を撮影し、撮影された赤外線強度に応じた画像情報
（例えば濃淡情報）とＣＣＤカメラの画像情報（輝度情
報）とを比較することで歩行者を特定することが行われ
ている（例えば、特開平11-215487 号公報参照）。

【０００３】

【発明が解決しようとする課題】しかし、車両の走行中
は、道路状況が刻々と変化し、道路領域の範囲も種々変
化していく。このため、道路状況の変化に対して処理の
追従が遅れ、正確に歩行者を特定できない虞があった。

【０００４】本発明は上記状況に鑑みてなされたもの
で、必要最小限の検索範囲で画面中の動体物を検出して
動体物の特定処理速度を向上させることができる動体物
検出装置を提供することを目的とする。

【０００５】

【課題を解決するための手段】上記目的を達成するため
請求項１の本発明では、車両周辺の道路状況を可視光を
用いて撮像する可視光撮像手段と、車両周辺の道路状況
を赤外線を用いて撮像する赤外線撮像手段と、可視光撮
像手段からの画像情報及び赤外線撮像手段からの赤外線
画像情報を処理する画像処理手段とを備え、画像処理手
段で、道路特定機能により可視光撮像手段からの画像情
報に基づいて道路領域を特定し、動体物特定機能により
赤外線撮像手段からの赤外線画像情報に基づいて道路領
域内の動体物を検索して特定して判断機能により道路領
域内の動体物を判断し、特定された道路領域を集中して
検索して動体物を特定することで特定処理速度を向上さ
せるようにしたものである。

【０００６】そして、請求項２の本発明では、請求項１
の発明において、距離導出機能により特定された道路領
域の画面内での距離分布を導出し、距離導出機能で導出
された距離分布に応じて動体物特定機能で検索する動体
物の大きさの範囲を補正機能により補正し、距離に応じ
た検索範囲により検索を行って動体物を特定すること
で、距離に起因する誤差を排除して特定処理速度を向上
させるようにしたものである。

【０００７】そして、具体的には、可視光撮像手段はＣ
ＣＤカメラであり、赤外線撮像手段は赤外線カメラであ
り、ＣＣＤカメラの画像における輝度情報により道路領
域を特定し、赤外線カメラの画像の中で道路領域の範囲
を赤外線強度分布の形状に基づいて検索して動体物とし
て主に歩行者を特定する。また、ＣＣＤカメラの画像に
基づいて画面中の距離分布を求め、赤外線カメラの画像
中の道路領域の中で、距離分布に応じた大きさの形状の
テンプレートマッチングにより歩行者の形状に相当する
赤外線強度分布の形状を検索する。

【０００８】

【発明の実施の形態】図１には本発明の一実施形態例に
係る動体物検出装置を備えた車両の概略構成、図２には
画像処理装置のブロック構成、図３、図４には歩行者検
出の処理フローチャート、図５乃至図７には直線路にお
ける歩行者特定状況の説明、図８乃至図１０には旋回路
における歩行者特定状況の説明を示してある。

【０００９】図１に示すように、車両１のフロントグリ
ルの奥部には可視光撮像手段としてのＣＣＤカメラ２及
び赤外線撮像手段としての赤外線カメラ３が設けられ、
ＣＣＤカメラ２及び赤外線カメラ３により車両前方が撮
影可能となっている。ＣＣＤカメラ２及び赤外線カメラ
３の撮影情報は画像処理手段としての画像処理装置４に
入力されて画像処理されるようになっている。

【００１０】即ち、夜間等運転者の視界を補助するため
に、ＣＣＤカメラ２及び赤外線カメラ３により撮影され
た車両前方の映像情報が画像処理装置４に入力され、画
像処理装置４では、道路領域（例えば車両通行帯及びそ
の周辺）の動体物である歩行者の有無を検出し、必要に
応じて警報等を発する。

【００１１】尚、ＣＣＤカメラ２及び赤外線カメラ３を
設ける場所は、ルームミラーに内蔵させたり、フロント
バンパに設ける等フロントグリルの奥部以外に設けるこ
とも可能である。また、ＣＣＤカメラ２及び赤外線カメ
ラ３を車両１の前方以外に設け、後方や側方等の周囲を
撮影することも可能である。また、動体物としては、車
両１の走行に支障をきたす小動物等を検出することも可
能である。

【００１２】画像処理装置４では、ＣＣＤカメラ２の画
像情報に基づき、白線の輝度分布により道路の状態、即
ち、直進路や旋回路、車線数等の道路状況を判断し、画
像中の道路領域を特定する。赤外線カメラ３の映像は、
赤外線強度により温度が高い部位が白くなるので、赤外
線カメラ３の画像に基づき、白くなった部位の形状に応
じて歩行者（人間）を特定する（動体物特定機能）。

【００１３】ＣＣＤカメラ２の画像情報により道路領域
をその状態と共に特定し、道路領域の範囲内で、赤外線
カメラ３の画像情報によりテンプレートマッチング（歩
行者の形状に相当する赤外線強度分布の形状検索）によ
り歩行者を特定する（判断機能）。ＣＣＤカメラ２の画
像情報により道路の状態が特定されるため、道路の状態
に応じて（画像中の距離分布に応じて）テンプレートの
大きさを変更する（補正機能）。

【００１４】図２に基づいて画像処理装置の制御ブロッ
クの構成を説明する。

【００１５】ＣＣＤカメラ２の画像は道路特定部１１に
入力され、直進路や旋回路、車線数等の情報を含む道路
領域が特定される。道路特定部１１で特定された道路領
域の情報は距離導出部１２に入力され、距離導出部１２
では画面内での道路領域の距離分布が導出される。一
方、赤外線カメラ３の画像は歩行者特定部１３に入力さ
れ、歩行者特定部１３には距離導出部１２からの道路領
域の情報が入力される。

【００１６】歩行者特定部１３では、道路領域の範囲内
で赤外線カメラ３の画像情報のテンプレートマッチング
が実施される。この時、画面内での道路領域の距離分布
情報に基づき、テンプレートマッチングを実施する際の
歩行者の大きさの検索範囲（テンプレートの大きさ）が
変更される。テンプレートマッチングの結果が判断部１
４に入力され、判断部１４では道路領域の歩行者の有無
を判断し、必要に応じてその旨を表示（警報）する指令
を出力する。

【００１７】上記構成の動体物検出装置における歩行者
の検出状況を、図３、図４のフローチャート及び図５乃
至図１０の画像イメージに基づいて説明する。

【００１８】図３に示すように、ステップＳ１でＣＣＤ
カメラ２及び赤外線カメラ３の画像が読み込まれ、ステ
ップＳ２で道路領域の歩行者の有無を検出する処理が実
行される。ステップＳ３で歩行者の有無が判断され、ス
テップＳ３で歩行者が有りと判断された場合、ステップ
Ｓ４で危険度合いＡが導出される。危険度合いＡは、例
えば、歩行者までの距離や車速、道路領域の歩行者の場
所等を加味して設定される。ステップＳ５で危険度合い
Ａが高いか否か、つまり、危険度合いＡが、所定の度合
いＸ（例えば、歩行者までの距離や車速、道路領域の歩
行者の場所等を加味して設定された値）を越えているか
否かが判断される。

【００１９】ステップＳ５で危険度合いＡが度合いＸを
越えていると判断された場合、即ち、危険度合いが高い
と判断された場合、ステップＳ６でその旨を表示（警
報）する指令が出される。ステップＳ３で歩行者がいな
いと判断された場合、及びステップＳ５で危険度合いが
低いと判断された場合、リターンとなり新たに画像を読
み込んで判断を繰り返す。

【００２０】図４乃至図７に基づいて歩行者の有無を検
出する処理を説明する。

【００２１】図４に示すように、ステップＳ２１で画像
データの前処理、例えば、読み込みや二値化処理が実行
され、ステップＳ２２でＣＣＤカメラ２の画像により直
進路や旋回路、車線数等の情報を含む道路領域の検出が
行われる。この時、道路領域の距離分布も同時に導出さ
れる。道路領域を検出した後、ステップＳ２３で赤外線
カメラ３の画像を合成して道路領域内の歩行者をテンプ
レートマッチングにより検出する。

【００２２】つまり、直線路の場合、ＣＣＤカメラ２の
画像が図５に示すようになり、輝度分布処理等の白線認
識により道路状況を含む道路領域４２が特定される。道
路領域４２が特定されることにより、図６に示すよう
に、画面中で歩行者４１（図５参照）を検索する１つの
台形状態の検索領域３１と歩行者４１（図５参照）の検
索を行わない２つの三角形状態の領域３２とが特定され
る。

【００２３】また、距離分布が導出されているため、歩
行者４１（図５参照）の大きさの検索範囲（テンプレー
ト３３の大きさ）が領域毎に設定される。図示例では、
画面上側の検索領域３１ａでは最小の縦長矩形状のテン
プレート３３ａを用い、画面中央の検索領域３１ｂでは
少し大きな縦長矩形状のテンプレート３３ｂを用い、画
面下側の検索領域３１ｃでは大きな縦長矩形状のテンプ
レート３３ｃを用いる。つまり、遠い部位では小さなテ
ンプレートを用い、近い部位では大きなテンプレートを
用い、距離に応じた大きさのテンプレートを用いること
で、的確に歩行者４１（図５参照）の検索が行えるよう
になっている。

【００２４】図７に示すように、赤外線カメラ３の画像
の道路領域をテンプレート３３ａ，３３ｂ，３３ｃで検
索し、歩行者４１（図５参照）に応じた白い画像の形状
４３がテンプレート３３に合致した場合（図示例ではテ
ンプレート３３ｂに合致している状態を示してある）
に、道路領域内に歩行者４１（図５参照）が存在してい
ることが検出される。検出された歩行者４１（図５参
照）の場所や移動方向、車両１の車速等によりこのまま
の走行では危険であると判断された場合、その旨が表示
される。

【００２５】また、右旋回路の場合、ＣＣＤカメラ２の
画像が図８に示すようになり、輝度分布処理等の白線認
識により道路状況を含む道路領域５２が特定される。道
路領域５２が特定されることにより、図９に示すよう
に、画面中で歩行者５１（図８参照）を検索する右下側
の三角形の検索領域６１と歩行者５１（図８参照）の検
索を行わない左上側の三角形の領域６２とが特定され
る。

【００２６】また、距離分布が導出されているため、歩
行者の大きさの検索範囲（テンプレート７３の大きさ）
が領域毎に設定される。図示例では、画面右上側の検索
領域６１ａでは小さな縦長矩形状のテンプレート７３ａ
を用い、画面左下側の検索領域６１ｂでは大きな縦長矩
形状のテンプレート７３ｂを用いる。つまり、直線路と
同様に、遠い部位では小さなテンプレートを用い、近い
部位では大きなテンプレートを用い、距離に応じた大き
さのテンプレートを用いることで、的確に歩行者５１
（図８参照）の検索が行えるようになっている。

【００２７】図１０に示すように、赤外線カメラ３の画
像の道路領域をテンプレート７３ａ，７３ｂで検索し、
歩行者５１（図８参照）に応じた白い画像の形状５３が
テンプレート７３に合致した場合（図示例ではテンプレ
ート７３ｂに合致している状態を示してある）に、道路
領域内に歩行者５１（図８参照）が存在していることが
検出される。検出された歩行者５１（図８参照）の場所
や移動方向、車両１の車速等によりこのままの走行では
危険であると判断された場合、その旨が表示される。

【００２８】従って、上述した実施形態例のように、Ｃ
ＣＤカメラ２の画像により道路範囲を特定し、特定した
道路範囲を赤外線カメラ３の画像に合成してテンプレー
ト検索の範囲を特定して歩行者４１，５１を検索するこ
とで、直線路の場合であっても旋回路の場合であって
も、また、それ以外の状況の道路であっても、道路領域
内だけで歩行者の検索を行うことができる。このため、
必要最小限の検索範囲により画面中の歩行者４１，５１
を検索することができ、歩行者４１，５１の特定が効率
よく行え、処理速度を向上させることができる。

【００２９】また、距離分布に応じてテンプレートの大
きさを適宜に設定してテンプレートマッチングを行うよ
うにしたので、距離に起因する誤差が排除され、無駄な
検索を行うことなく歩行者４１，５１の検出を的確に行
うことができる。

【００３０】尚、上述した実施形態例では、テンプレー
ト３３，７３の形状を縦長の矩形状としたが、歩行者の
形状により近い任意の形状にすることができ、また、赤
外線強度の判定がやりやすい、即ち、衣服を着ていない
頭部や手の先等の形状が強調された形とすることも可能
である。また、テンプレート３３，７３の大きさの区分
けは、画面中の距離分布に応じて任意の大きさに連続的
に変更することも可能であり、上記実施形態例に限定さ
れるものではない。

【００３１】

【発明の効果】請求項１に係る本発明の動体物検出装置
は、可視光撮像手段からの画像情報に基づいて道路領域
を特定し、可視光撮像手段からの画像情報と赤外線撮像
手段からの赤外線画像情報とを合成し、赤外線撮像手段
からの赤外線画像情報に基づいて道路領域内の動体物を
検索して特定するようにしたので、特定された道路領域
を集中して検索して動体物を特定することができる。こ
の結果、必要最小限の検索範囲で画面中の動体物が検出
でき動体物の特定処理速度を向上させることが可能にな
る。

【００３２】また、請求項２の本発明の動体物検出装置
は、特定された道路領域の画面内での距離分布を導出
し、距離分布に応じて動体物を検索する大きさの範囲を
補正し、距離に応じた検索範囲により検索を行って動体
物を特定するようにしたので、距離に起因する誤差を排
除して特定処理速度を向上させることができる。この結
果、的確な動体物の検索が短時間で可能となる。

【図面の簡単な説明】

【図１】本発明の一実施形態例に係る動体物検出装置を
備えた車両の概略構成図。

【図２】画像処理装置のブロック構成図。

【図３】歩行者検出の処理フローチャート。

【図４】歩行者検出の処理フローチャート。

【図５】直線路における歩行者特定状況の説明図。

【図６】直線路における歩行者特定状況の説明図。

【図７】直線路における歩行者特定状況の説明図。

【図８】旋回路における歩行者特定状況の説明図。

【図９】旋回路における歩行者特定状況の説明図。

【図１０】旋回路における歩行者特定状況の説明図。

【符号の説明】

１車両２ＣＣＤカメラ３赤外線カメラ１１道路特定部１２距離導出部１３歩行者特定部１４判断部４１，５１歩行者４２，５２道路領域３３，７３テンプレート３１，６１検索領域

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｂ６０Ｒ 21/00 ６２２Ｂ６０Ｒ 21/00 ６２２Ｆ６２４６２４Ｃ６２４Ｄ６２８６２８ＦＧ０６Ｔ 1/00 ３３０Ｇ０６Ｔ 1/00 ３３０ＢＨ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 ＪＦターム(参考） 3D020 BA20 BB01 BC17 BC24 BD02 BD05 5B057 AA16 BA02 BA08 CA08 CA12 CB08 CB12 CE08 DA07 DA08 DB02 DB09 5C054 AA02 CA04 CA05 CC02 CH02 FC12 FC13 FF05 FF06 HA30 5H180 AA01 AA21 CC02 CC04 CC24 LL01 LL08

Claims

【特許請求の範囲】

【請求項１】車両周辺の道路状況を可視光を用いて撮
像する可視光撮像手段と、車両周辺の道路状況を赤外線
を用いて撮像する赤外線撮像手段と、前記可視光撮像手
段からの画像情報及び前記赤外線撮像手段からの赤外線
画像情報を処理する画像処理手段とからなり、前記画像処理手段には、前記可視光撮像手段からの画像
情報に基づいて道路領域を特定する道路特定機能と、前
記赤外線撮像手段からの赤外線画像情報に基づいて動体
物を検索して特定する動体物特定機能と、前記道路特定
機能で特定された道路領域情報及び前記動体物特定機能
で特定された動体物情報を合成して道路領域内の動体物
を判断する判断機能とが備えられていることを特徴とす
る動体物検出装置。
【請求項２】請求項１において、前記画像処理手段に
は、前記道路特定機能により道路領域を特定して画面内での
距離分布を導出する距離導出機能と、前記距離導出機能
で導出された距離分布に応じて前記動体物特定機能で検
索する動体物の大きさの範囲を補正する補正機能とが備
えられていることを特徴とする動体物検出装置。