JP2005267030A - 歩行者輪郭抽出方法及び歩行者輪郭抽出装置 - Google Patents

Abstract

【課題】車両の自車前方の撮影画像を含む種々の道路の撮影画像に基き、動的輪郭モデルの画像処理によって歩行者の輪郭を自動的に精度よく抽出するようにし、歩行者認識システムの認識精度を向上する。
【解決手段】撮影手段（単眼カメラ３）が撮影した道路の撮影画像につき、垂直濃度投影、水平濃度投影のヒストグラムを算出し、垂直濃度投影のヒストグラムのピーク位置から、撮影画像の歩行者候補領域の水平方向の位置を決定し、動的輪郭モデルの初期状態を、水平濃度投影のヒストグラムのしきい値以上の部分の長さの垂直線分の状態に決定し、動的輪郭モデルの画像処理により、輪郭抽出線を、前記垂直線分の初期状態から歩行者候補領域の輪郭部分までほぼ縦長の楕円形に膨らませて歩行者候補領域の輪郭を検出し、所定の歩行者画像条件に合致する検出輪郭を、撮影画像の歩行者の輪郭として自動的に抽出する。
【選択図】図１

Description

本発明は、画像処理によって歩行者を認識する歩行者認識システムの歩行者輪郭抽出方法及び歩行者輪郭抽出装置に関し、詳しくは、動的輪郭モデルの画像処理により撮影画像の歩行者の輪郭を抽出する歩行者輪郭抽出方法及び歩行者輪郭抽出装置に関するものである。

近年、安全で快適な交通システムを実現するため、ＩＴＳ（Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｒａｎｓｐｏｒｔ Ｓｙｓｔｅｍｓ）と呼ばれる高度道路交通システムの研究開発が推進されており、このＩＴＳの研究開発の一つとして、コンピュータ構成の歩行者認識システムにより、カメラの撮影画像から歩行者を自動的に認識し、夜間等の運転支援の性能向上を図ることが試みられている。

この場合、スネークス（Ｓｎａｋｅｓ）の動的輪郭モデルの画像処理により、撮影画像中の歩行者の輪郭を自動的に抽出することが考えられるが、この動的輪郭モデルの画像処理においては、初期状態のモデル（初期値モデル）をどのように自動設定するかが、認識精度等から重要である。

そして、従来の車両認識における動的輪郭モデルの画像処理を用いた車両の輪郭抽出においては、まず、画像のエッジ検出等により、撮影画像の車両が存在すると予測される領域（候補領域）をその外側から閉曲線で囲み、この状態を初期状態のモデルに設定し、つぎに、設定したモデル評価のエネルギ関数が最小になるように、前記閉曲線を収縮して閉曲線を車両候補領域の輪郭に近づけ、そのときの閉曲線から車両候補領域の輪郭を検出し、検出した輪郭から車両の輪郭を抽出することが提案されている（例えば、特許文献１参照。）。

特開平６−３３１３３５号公報（段落［００１７］、［００１８］、［［００１９］−［００２３］、図７、図１５）

この種の歩行者認識システムにおいて、例えば図８の撮影画像Ｐの歩行者Ｗの輪郭を抽出する場合、前記従来の車両認識の車両の輪郭抽出と同様に、歩行者Ｗの領域をその外側から閉曲線で囲んだ状態を初期状態のモデルに設定し、設定したモデル評価のエネルギ関数が最小になるように、前記閉曲線を収縮して閉曲線を歩行者Ｗの輪郭に近づけ、そのときの閉曲線から歩行者Ｗの輪郭を抽出すると、実際には、撮影画像に種々の物体等が存在するため、前記閉曲線が抽出対象の歩行者Ｗ以外の物体も囲むように初期設定され易く、このように初期設定されると、収縮したときの閉曲線が歩行者Ｗの輪郭から大きくずれ、歩行者Ｗの輪郭の抽出精度が著しく低下して認識精度が低くなる問題がある。

そして、車両の歩行者認識システムだけでなく、種々の用途の歩行者認識システムについても、前記の車両認識の画像処理と同様の動的輪郭モデルの画像処理によって歩行者の輪郭を抽出して歩行者を認識しようとすると、同様の問題が生じる。

なお、動的輪郭モデルの画像処理を行う場合、撮影画像の歩行者と周囲の背景等とを鮮明に識別するため、撮影画像は、温度の高い歩行者等が白っぽく写る赤外光の画像であることが好ましい。

本発明は、上記の諸点に留意してなされたものであり、車両の自車前方の撮影画像等の種々の道路の撮影画像に基き、動的輪郭モデルの画像処理によって歩行者の輪郭を自動的に精度よく抽出するようにし、歩行者認識システムの認識精度を向上することを目的とする。

上記した目的を達成するために、本発明の歩行者輪郭抽出方法は、撮影手段が撮影した道路の撮影画像につき、水平方向の各位置で垂直方向の画像濃度を加算して得られる垂直濃度投影のヒストグラム、垂直方向の各位置で水平方向の画像濃度を加算して得られる水平濃度投影のヒストグラムを算出し、前記垂直濃度投影のヒストグラムのピーク位置から、前記撮影画像の歩行者候補領域の水平方向の位置を決定し、動的輪郭モデルの初期状態を、前記水平濃度投影のヒストグラムのしきい値以上の部分の長さの垂直線分の状態に決定し、
前記動的輪郭モデルの画像処理により、輪郭抽出線を、水平方向の決定位置に位置した前記歩行者候補領域内の前記垂直線分の初期状態から、画像濃度が変化する前記歩行者候補領域の輪郭部分までほぼ縦長の楕円形に膨らませ、膨らんだ前記輪郭抽出線から前記歩行者候補領域の輪郭を検出し、所定の歩行者条件を満たす検出輪郭を、前記撮影画像の歩行者の輪郭として抽出することを特徴としている（請求項１）。

また、本発明の歩行者輪郭抽出方法は、撮影手段が撮影した道路の撮影画像につき、水平方向の各位置で垂直方向の画像濃度を加算して得られる垂直濃度投影のヒストグラム、垂直方向の各位置で水平方向の画像濃度を加算して得られる水平濃度投影のヒストグラムを算出し、前記垂直濃度投影のヒストグラムのピーク位置から、前記撮影画像の歩行者候補領域の水平方向の位置を決定し、動的輪郭モデルの初期状態を、前記水平濃度投影のヒストグラムのしきい値以上の部分の長さ、かつ、設定された横幅の垂直ストライプの状態に決定し、前記動的輪郭モデルの画像処理により、輪郭抽出線を、水平方向の決定位置に位置した前記歩行者候補領域内の前記垂直ストライプの枠線の初期状態から、前記歩行者候補領域の画像濃度が変化する輪郭部分までほぼ縦長の楕円形に膨らませ、膨らんだ前記輪郭抽出線から前記歩行者候補領域の輪郭を検出し、
所定の歩行者画像条件に合致する検出輪郭を、前記撮影画像の歩行者の輪郭として抽出することを特徴としている（請求項２）。

さらに、本発明の歩行者輪郭抽出方法は、前記の水平濃度投影、垂直濃度投影のヒストグラムを、道路の撮影画像の二値画像から算出することを特徴としている（請求項３）。

また、本発明の歩行者輪郭抽出方法は、前記の撮影手段が自車に搭載され、道路の撮影画像が自車前方の撮影画像であることを特徴としている（請求項４）。

そして、本発明の歩行者輪郭抽出方法は、道路の撮影画像が、赤外光領域の撮影画像であることが好ましく（請求項５）、前記の撮影手段が赤外線カメラからなり、道路の撮影画像が前記赤外線カメラの撮影画像であってもよい（請求項６）。

さらに、本発明の歩行者輪郭抽出方法は、所定の歩行者条件が、検出輪郭の大きさ、縦横の比、撮影画像上の位置であることが好ましい（請求項７）。

つぎに、本発明の歩行者輪郭抽出装置は、撮影手段が撮影した道路の撮影画像につき、水平方向の各位置で垂直方向の画像濃度を加算して得られる垂直濃度投影のヒストグラム、垂直方向の各位置で水平方向の画像濃度を加算して得られる水平濃度投影のヒストグラムを算出するヒストグラム演算手段と、前記垂直濃度投影のヒストグラムのピーク位置から、前記撮影画像の歩行者候補領域の水平方向の位置を決定する水平位置決定手段と、動的輪郭モデルの初期状態を、前記水平濃度投影のヒストグラムのしきい値以上の部分の長さの垂直線分の状態に決定する初期状態決定手段と、前記動的輪郭モデルの画像処理により、輪郭抽出線を、水平方向の決定位置に位置した前記歩行者候補領域内の前記垂直線分の初期状態から、画像濃度が変化する前記歩行者候補領域の輪郭部分までほぼ縦長の楕円形に膨らませ、膨らんだ前記輪郭抽出線から前記歩行者候補領域の輪郭を検出する輪郭検出手段と、所定の歩行者条件を満たす前記輪郭検出手段の検出輪郭を、前記撮影画像の歩行者の輪郭として抽出する輪郭抽出手段とを備えたことを特徴としている（請求項８）。

また、本発明の歩行者輪郭抽出装置は、撮影手段が撮影した道路の撮影画像につき、水平方向の各位置で垂直方向の画像濃度を加算して得られる垂直濃度投影のヒストグラム、垂直方向の各位置で水平方向の画像濃度を加算して得られる水平濃度投影のヒストグラムを算出するヒストグラム演算手段と、前記垂直濃度投影のヒストグラムのピーク位置から、前記撮影画像の歩行者候補領域の水平方向の位置を決定する水平位置決定手段と、動的輪郭モデルの初期状態を、前記水平濃度投影のヒストグラムのしきい値以上の部分の長さ、かつ、設定された横幅の垂直ストライプの状態に決定する初期状態決定手段と、前記動的輪郭モデルの画像処理により、輪郭抽出線を、水平方向の決定位置に位置した前記歩行者候補領域内の前記垂直ストライプの枠線の初期状態から、画像濃度が変化する前記歩行者候補領域の輪郭部分までほぼ縦長の楕円形に膨らませ、膨らんだ前記輪郭抽出線から前記歩行者候補領域の輪郭を検出する輪郭検出手段と、所定の歩行者条件を満たす前記候補輪郭検出手段の検出輪郭を、前記撮影画像の歩行者の輪郭として抽出する輪郭抽出手段とを備えたことを特徴としている（請求項９）。

さらに、本発明の歩行者輪郭抽出装置は、前記のヒストグラム演算手段が、水平濃度投影、垂直濃度投影のヒストグラムを、道路の撮影画像の二値画像から算出することを特徴としている（請求項１０）。

また、本発明の歩行者輪郭抽出装置は、前記の撮影手段が自車に搭載され、道路の撮影画像が自車前方の撮影画像であることを特徴としている（請求項１１）。

そして、本発明の歩行者輪郭抽出装置は、道路の撮影画像が、赤外光領域の撮影画像であることが好ましく（請求項１２）、前記の撮影手段が赤外線カメラからなり、道路の撮影画像が前記赤外線カメラの撮影画像であってもよい（請求項１３）。

さらに、本発明の歩行者輪郭抽出装置は、所定の歩行者条件が、検出輪郭の大きさ、縦横の比、撮影画像上の位置であることが好ましい（請求項１４）。

まず、請求項１、８の構成によれば、撮影手段が撮影した道路の撮影画像につき、垂直濃度投影のヒストグラムのピーク位置から、撮影画像の歩行者候補領域の水平方向の位置を決定し、前記水平濃度投影のヒストグラムのしきい値以上の部分の長さから、動的輪郭モデルの初期状態を、歩行者の特徴を表した縦長の身長相当の垂直線分の状態に決定し、この垂直線分の縦長の輪郭抽出線を歩行者候補領域内に設定することができる。

そして、動的輪郭モデルの画像処理により、輪郭抽出線を、従来のように収縮するのでなく、前記の垂直線分から膨らませると、輪郭抽出線は、歩行者の縦長の特徴に基き、前記の垂直線分からほぼ縦長の楕円に膨らむ。

この場合、初期状態の輪郭抽出線は、歩行者候補領域内に設定されて歩行者候補領域以外のものを囲んだりせず、しかも、歩行者候補領域の特徴に応じたほぼ縦長の楕円形状に膨らむため、歩行者候補領域の輪郭部分まで膨らんだ輪郭抽出線は、歩行者候補領域の輪郭に極めて近い形状になる。

そして、歩行者条件を満たす輪郭抽出線を歩行者の輪郭として抽出するため、撮影画像の歩行者以外のものを歩行者と誤認識したりすることなく、歩行者の輪郭を、該当する輪郭抽出線から精度よく自動的に抽出し、この抽出に基いて歩行者を正確に認識することができ、歩行者認識システムの認識精度を向上することができる。

また、請求項２、９の構成によれば、動的輪郭モデルの初期状態を、水平濃度投影のヒストグラムのしきい値以上の部分の長さ、かつ、設定された横幅の垂直ストライプの状態に決定し、歩行者候補領域内に設定した輪郭抽出線をその垂直ストライプの枠線の状態から膨らませるため、動的輪郭モデルの初期状態を前記の垂直線分の状態から膨らませる場合より、動的輪郭モデルの画像処理が少なくなり、少ない画像処理負担で歩行者の輪郭を迅速に抽出することができる利点もある。

さらに、請求項３、１０の構成によれば、前記の水平濃度投影、垂直濃度投影のヒストグラムを、道路の撮影画像の二値画像から算出するため、多諧調の撮影画像そのものから両ヒストグラムを算出する場合に比して、画像処理の演算負担が極めて少なくなり、少ない画像処理負担で歩行者の輪郭を精度よく迅速に抽出することができる利点がある。

つぎに、請求項４、１１の構成によれば、撮影手段が自車に搭載され、道路の撮影画像が自車前方の撮影画像であるため、撮影画像から歩行者を自動的に認識し、車両のＴＩＳの精度のよい歩行者認識を実現することができる。

さらに、請求項５、１２の構成によれば、撮影手段の道路の撮影画像が赤外光領域の撮影画像になり、この撮影画像において、温度が高い歩行者の部分が白っぽく（高濃度）になり、壁や標識等の温度が低い周囲画像は黒っぽく（低濃度）になることから、歩行者と周囲画像とを鮮明に区別することができ、撮影画像の垂直濃度投影、水平濃度投影のヒストグラムが、撮影画像の水平方向、垂直方向の歩行者の位置で大きな値になる。

そのため、垂直濃度投影のヒストグラムのピーク位置から、撮影画像の歩行者候補領域の水平方向の位置を精度よく決定することができ、前記水平濃度投影のヒストグラムのしきい値以上の部分の長さから、動的輪郭モデルの初期状態を、極めて正確に、歩行者の特徴を表した縦長の身長相当の垂直線分の状態又は垂直ストライプの状態に決定することができ、この決定に基き、輪郭抽出線を歩行者候補領域内に精度よく設定し、歩行者の輪郭を、該当する輪郭抽出線から極めて精度よく自動的に抽出し、この抽出に基いて歩行者を正確に認識することができ、歩行者認識システムの認識精度を著しく向上することができる。

また、請求項６、１３の構成によれば、撮影手段に赤外線カメラを用いることにより、道路の赤外光領域の撮影画像を容易に得て請求項５、１２と同様の効果を得ることができる。

そして、請求項７、１４の構成によれば、検出輪郭の大きさ、縦横の比、撮影画像上の位置を所定の歩行者条件としたため、歩行者候補領域の輪郭の大きさや、形状の特徴（縦長）及び存在位置から、歩行者に該当するものを精度よく選択し、選択した候補領域の輪郭抽出線から、歩行者の輪郭を精度よく抽出する具体的な構成を提供することができる。

つぎに、本発明をより詳細に説明するため、その一実施形態について、図１〜図７にしたがって詳述する。

図１は車両１に搭載された歩行者認識システム２のブロック図、図２は図１の動作説明用のフローチャート、図３は図２の一部の詳細なフローチャート、図４は図１の撮影画像の１例の説明図、図５は図１の動的輪郭線モデルの画像処理の説明図、図６は比較のための動的輪郭線モデルの画像処理の説明図、図７は画像処理の初期状態の他の例の説明図である。

（構成）
図１の車両１の歩行者認識システム２は、撮影手段としての単眼カメラ３、マイクロコンピュータ構成のＥＣＵ４が形成する歩行者輪郭抽出装置５に、例えばインストルメントパネルに取り付けられたＣＲＴ、液晶ディスプレイ等の走行モニタ６、警報用のスピーカ７を接続して形成されている。

つぎに、単眼カメラ３は、赤外光領域の撮影を行なって、温度が高い歩行者を白っぽく写し、温度が低いその周辺の壁や標識等を黒っぽく写すため、例えばＬＥＤの赤外光投光器内臓の赤外線カメラからなり、例えばダッシュボード上に設けられて車両１の自車前方を連続的に又は間歇的に撮影し、道路の赤外光領域の撮影画像をＥＣＵ４に出力する。

なお、単眼カメラ３により、視認性が悪い夜間等の歩行者を、ヘッドライトの及ばない範囲まで撮影して認識するため、単眼カメラ３の赤外光の投光範囲及び撮影範囲は、車両１のヘッドライトの照射範囲より、走行方向及び車幅方向に広いことが望ましい。

また、赤外線カメラは高価であるため、車両１に、追従走行制御等に用いる車載センサとして、安価な可視光撮影用の単眼ＣＣＤカメラを搭載する場合、そのＣＣＤカメラとして、近赤外線カット用の光学フィルタを省て撮影感度領域が赤外光領域に及ぶようにしたカメラを使用し、このカメラを単眼カメラ３に共用し、その撮影出力のフイルタ分離等により、自車前方の赤外光領域の撮影画像画像を得るようにしてもよく、この場合は、ＬＥＤ投光等の赤外光の投光器が必要になる。

なお、単眼カメラ３として、赤外線カメラに代えて前記の近赤外線カット用の光学フィルターを省いて撮影感度領域が赤外光領域に及ぶようにした専用のＣＣＤカメラを設けてもよく、また、撮影手段として、単眼カメラ３に代えて、道路の赤外光領域の撮影画像が得られるステレオカメラ等を使用してもよい。

つぎに、ＥＣＵ４は、例えばイグニッションキーのオンにより、予め設定された歩行者認識のプログラムを実行し、図２のステップＳ１〜Ｓ５、図３のステップＳ３１〜Ｓ３４のフローチャートに示すソフトウエア処理によって形成されるつぎの各手段を備える。

（１）二値化処理手段
この手段は、取り込んだモノクロ多諧調の撮影画像を、予め設定されたしきい値レベルで二値化して二値画像に変換し、歩行者とその他の物体とを鮮明に区別するとともに、情報量を少なくして画像処理の演算負担を極めて少なくする。

（２）ヒストグラム演算手段
この手段は、撮影手段である単眼カメラ３が撮影した例えば図４の自車前方の撮影画像（道路の赤外光領域の撮影画像）Ｐにつき、前記の二値画像から、水平方向の各位置で垂直方向の画像濃度を加算して得られる垂直濃度投影のヒストグラムＸ（ｖ）、垂直方向の各位置で水平方向の画像濃度を加算して得られる水平濃度投影のヒストグラムＹ（ｈ）を算出する。

なお、撮影画像Ｐは多階調の画像であり、そのままヒストグラムＸ（ｖ）、Ｙ（ｈ）を求めてもよいが、撮影画像Ｐの歩行者以外の白っぽい物体による誤認識を極力避けるため、実際には、撮影画像Ｐを適当なしきい値で二値化処理して二値画像に加工し、この二値画像についてヒストグラムＸ（ｖ）、Ｙ（ｈ）を算出する。

（３）水平位置決定手段
この手段は、垂直濃度投影のヒストグラムＸ（ｖ）のピーク位置から、撮影画像Ｐの歩行者候補領域Ｗの水平方向の位置ｘｐを決定する。なお、位置ｘｐは領域Ｗのほぼ横幅の半分の位置である。

（４）初期状態決定手段
この手段は、動的輪郭モデルの初期状態を、水平濃度投影のヒストグラムＹ（ｈ）のしきい値以上の部分の長さＬの垂直線分の状態に決定する。この状態は、例えば図５の初期状態α（０）であって、同図のｒａが初期設定された輪郭抽出線である。

（５）輪郭検出手段
この手段は、動的輪郭モデルの画像処理により、輪郭抽出線ｒａを、水平方向の決定位置に位置した歩行者候補領域Ｗ内の前記垂直線分の初期状態α（０）から、図５の状態α（１）、α（２）、…、α（ｎ）の処理過程に示すように、画像濃度が変化する歩行者候補領域Ｗの輪郭部分までほぼ縦長の楕円形に膨らませ、状態α（ｎ）の膨らんだ輪郭抽出線ｒａから歩行者候補領域Ｗの輪郭を検出する。

（６）輪郭抽出手段
この手段は、所定の歩行者条件を満たす輪郭検出手段の検出輪郭、例えば図５の状態α（ｎ）の輪郭線ｒａの検出輪郭を、撮影画像Ｐの歩行者の輪郭として抽出する。

そして、所定の歩行者条件は、検出輪郭の大きさ、縦横の比が、実験等によって予め設定された歩行者の特徴的な範囲内にあり、かつ、検出輪郭が撮影画像上の路面に対して予め設定された妥当な位置にあることである。

（７）認識処理手段
この手段は、輪郭抽出手段によって抽出された輪郭により、図４の撮影画像Ｐの例えば候補領域Ｗを歩行者として自動的に認識する手段である。

（８）認識報知手段
この手段は、認識処理手段の歩行者の認識に基づき、例えば走行モニタ６に表示中の例えば図４の撮影画面Ｐの候補領域Ｗを、目立つ色の輪郭線で囲んだり、その輪郭線を点滅させたりして、歩行者の存在を視覚的にドライバに警告し、また、スピーカ７から、認識結果の音声メッセージ、警報音を発生して歩行者の存在を聴覚的にドライバに警告し、認識結果をドライバに報知して運転支援を行なう。

なお、撮影画像を二値化しない場合は二値化処理手段を省くことができ、また、ヒストグラム演算手段、水平位置決定手段、初期状態決定手段、輪郭検出手段、輪郭抽出手段が、歩行者輪郭線抽出の処理手段である。

（動作）
上記のように構成された歩行者認識システム２は、つぎに説明するように動作する。

まず、車両１のイグニッションキーのオンによりカメラ３が撮影を開始すると、このカメラ３の自車前方の赤外光領域の撮影画像、例えば図４の撮影画像Ｐの信号が、ＥＣＵ４に取り込まれる。

そして、ＥＣＵ４は、図２のステップＳ１により前記の二値化処理手段の処理を実行し、取り込んだ撮影画像Ｐを二値化処理し、つぎに、二値化された撮影画像につき、ステップＳ２により前記のヒストグラム演算手段の演算を実行し、図４のヒストグラムＸ（ｖ）、Ｙ（ｈ）を算出する。

さらに、ステップＳ３により、水平位置決定手段、初期状態決定手段、輪郭検出手段が動作し、ヒストグラムＸ（ｖ）、Ｙ（ｈ）の算出結果に基いて動的輪郭モデルの画像処理を施す。

このステップＳ３の画像処理は図３のステップＳ３１〜Ｓ３４からなり、まず、ステップＳ３１により、ヒストグラムＸ（ｖ）、Ｙ（ｈ）の算出結果に基き、水平位置決定手段
が図４の歩行者候補領域Ｗの水平方向の位置を決定し、初期状態決定手段が動的輪郭モデルの長さＬの垂直線分の初期状態を決定する。

なお、図４の撮影画像Ｐには白っぽく写った１個の歩行者候補領域Ｗが存在するが、撮影画像によっては、歩行者が複数人存在したり、温度の高い部分が露出したオートバイ等の物体が存在したりするため、白っぽく写った画像領域が複数個存在し、歩行者候補領域が複数個になることがあり、この場合は、ヒストグラムＸ（ｖ）、Ｙ（ｈ）の算出結果に基き、歩行者候補領域毎に、水平方向の位置を決定して動的輪郭モデルの長さＬの垂直線分の初期状態を決定する。

つぎに、前記の初期状態の決定に基き、輪郭検出手段によって動的輪郭モデルの画像処理を実行し、図５の初期状態α（０）に示すように、候補領域Ｗ内に垂直線分の輪郭抽出線ｒａを初期設定する。

なお、歩行者候補領域が複数個あるときは、各歩行者候補領域について、初期状態の輪郭抽出線を設定する。このとき、輪郭抽出線ｒａからも明らかなように、各歩行者候補領域の初期状態の輪郭抽出線は、各候補領域の特徴（例えば歩行者であれば縦長の線分）を反映したものとなる。

つぎに、図３のステップＳ３２、Ｓ３３のループ処理により、例えば歩行者候補領域Ｗにつき、輪郭抽出線ｒａの滑らかさ等を反映するように設定された所定のエネルギー関数が最小になるように、輪郭抽出線ｒａを、画像濃度が変化する歩行者候補領域Ｗの輪郭部分までほぼ縦長の楕円形に膨らませる。

なお、歩行者候補領域が複数個存在する場合は、各歩行者候補領域について前記のループ処理を施し、それぞれの輪郭抽出線を初期状態から輪郭部分まで膨らませる。

この場合、初期状態の各輪郭抽出線は各候補領域の歩行者等の特徴を反映した形状であり、例えば歩行者候補領域Ｗの初期状態の輪郭抽出線ｒａは歩行者の特徴である縦長の垂直線分の形状になり、しかも、初期状態の各輪郭抽出線は歩行者候補領域内に設定されるため、例えば例えば歩行者候補領域Ｗの輪郭抽出線ｒａが他の物体を囲むように初期設定されることもない。

そして、歩行者の領域である歩行者候補領域Ｗの輪郭抽出線ｒａは、図５に示したように、垂直線分の初期状態α（０）から、状態α（１）、α（２）、…、α（ｎ）に膨らむことにより、歩行者候補領域Ｗの輪郭部分に達した状態α（ｎ）において、領域Ｗの縦長の歩行者の輪郭に極めて近い形状になる。

なお、歩行者候補領域Ｗにおいて、歩行者の特徴を反映することなく輪郭抽出線を初期設定して同様の動的輪郭モデルの画像処理を行うと、図６の結果が得られた。

この図６は、輪郭抽出線ｒｂを、初期状態β（０）のときに歩行者候補領域Ｗの重心等に点に設定し、この点の初期状態β（０）から、動的輪郭モデルの画像処理によって、状態β（１）、β（２）、…、β（ｎ）に膨らませたときの画像処理工程を示し、この場合、輪郭抽出線ｒｂがほぼ円形に膨らむことから、輪郭抽出線ｒｂの一部が歩行者候補領域Ｗの輪郭部分に達した状態β（ｎ）において、輪郭抽出線ｒｂの形状は、歩行者候補領域Ｗの輪郭から大きくずれ、図５の状態α（ｎ）の輪郭抽出線ｒａのように、歩行者の輪郭に極めて近い形状にはならない。

そして、動的輪郭モデルの画像処理によって図５の状態α（ｎ）に達すると、図３のステップＳ３４に移行して画像処理を終了し、図２のステプＳ３からステップＳ４に移行する。

そして、ステップＳ４における輪郭検出手段、輪郭抽出手段の動作により、前記の状態α（ｎ）に膨らんだ輪郭抽出線ｒａの形状を歩行者候補領域Ｗの輪郭として検出し、検出輪郭の大きさ、縦横の比が、実験等によって予め設定された歩行者の特徴的な範囲内にあり、かつ、検出輪郭が撮影画像上の路面に対して予め設定された妥当な位置にあれば、その輪郭抽出線ｒａを歩行者の輪郭として抽出する。

なお、他の歩行者候補領域についても、前記の歩行者候補領域Ｗと同様にして、輪郭抽出線ｒａを膨らませてその領域の輪郭を検出し、検出輪郭が前記の歩行者画像条件に合致すれば、そのときの輪郭抽出線を歩行者の輪郭として抽出する。

つぎに、図２のステップＳ５に移行し、認識処理手段により、例えば輪郭抽出線ｒａから撮影画像Ｐの候補領域Ｗを歩行者として自動的に認識し、この認識に基づき、認識報知手段により、認識した歩行者を、走行モニタ６の撮影画面Ｐ上に、目立つ色の輪郭線で囲んだり、その輪郭線を点滅させたりして、視覚的にドライバに警告し、同時に、スピーカ７から音声メッセジや警報音でドライバに報知し、前方の歩行者の存在を、分かり易く、しかも、極めて正確にドライバに報知して、夜間等の運転支援を実現する。

（初期状態の他の例）
ところで、初期状態決定手段により、動的輪郭モデルの初期状態α（０）を、前記の垂直線分の状態とする代わりに、図７に示すように、ヒストグラムＹ（ｈ）のしきい値以上の部分の長さＬ、かつ、実験等に基いて予め設定された横幅ωの垂直ストライプの状態に決定し、初期状態α（０）の輪郭抽出線ｒａを、その垂直ストライプを囲む枠線状とし、動的輪郭線モデルの画像処理により、この状態から状態α（ｎ）に膨らませてもよく、この場合、初期状態α（０）の垂直線分から膨らませる場合より、画像処理の負担が軽減されて短時間で状態α（ｎ）に達する利点がある。

そして、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、前記実施形態では、車両１に搭載された歩行者認識システム２の歩行者の輪郭抽出に適用したが、単眼カメラ３を交差点等の近傍に設置し、その道路の赤外光領域の撮影画像から、前記実施形態と同様にして歩行者の輪郭を抽出して歩行者を認識し、その結果に基いて交通量調査等を行なう場合等にも、この発明を同様に適用することができる。

また、抽出結果を歩行者の認識・報知に利用するだけでなく、走行制御等に利用するようにしても良いのは勿論である。

そして、道路の撮影画像は、赤外光領域の撮影画像でなくてもよいが、歩行者が周囲画像より白っぽく（明るく）写る画像であることが好ましい。

ところで、図１の車両１に搭載された歩行者認識システム２の歩行者の輪郭抽出に適用する場合、自車７の装備部品数を少なくするため、単眼カメラ３は、追従走行制御等の撮像センサ等と共用されることが好ましい。

一実施形態のブロック図である。 図１の動作説明用のフローチャートである。 図２の一部の詳細なフローチャートである。 図１のヒストグラムの演算説明図である。 図１の動的輪郭モデルの画像処理の説明図である。 比較のための動的輪郭モデルの画像処理の他の例の説明図である。 図５の初期状態の他の例の説明図である。 撮影画像の一例の説明図である。

符号の説明

３ 単眼カメラ
４ ＥＣＵ
Ｐ 撮影画像
Ｗ 歩行者候補領域
Ｘ（ｖ）、Ｙ（ｈ） ヒストグラム
ｒａ、ｒｂ 輪郭抽出線

Claims (14)

1. 画像処理によって歩行者を認識する歩行者認識システムの歩行者輪郭抽出方法において、
   撮影手段が撮影した道路の撮影画像につき、水平方向の各位置で垂直方向の画像濃度を加算して得られる垂直濃度投影のヒストグラム、垂直方向の各位置で水平方向の画像濃度を加算して得られる水平濃度投影のヒストグラムを算出し、
   前記垂直濃度投影のヒストグラムのピーク位置から、前記撮影画像の歩行者候補領域の水平方向の位置を決定し、
   動的輪郭モデルの初期状態を、前記水平濃度投影のヒストグラムのしきい値以上の部分の長さの垂直線分の状態に決定し、
   前記動的輪郭モデルの画像処理により、輪郭抽出線を、水平方向の決定位置に位置した前記歩行者候補領域内の前記垂直線分の初期状態から、画像濃度が変化する前記歩行者候補領域の輪郭部分までほぼ縦長の楕円形に膨らませ、膨らんだ前記輪郭抽出線から前記歩行者候補領域の輪郭を検出し、
   所定の歩行者条件を満たす検出輪郭を、前記撮影画像の歩行者の輪郭として抽出することを特徴とする歩行者輪郭抽出方法。
2. 画像処理によって歩行者を認識する歩行者認識システムの歩行者輪郭抽出方法において、
   撮影手段が撮影した道路の撮影画像につき、水平方向の各位置で垂直方向の画像濃度を加算して得られる垂直濃度投影のヒストグラム、垂直方向の各位置で水平方向の画像濃度を加算して得られる水平濃度投影のヒストグラムを算出し、
   前記垂直濃度投影のヒストグラムのピーク位置から、前記撮影画像の歩行者候補領域の水平方向の位置を決定し、
   動的輪郭モデルの初期状態を、前記水平濃度投影のヒストグラムのしきい値以上の部分の長さ、かつ、設定された横幅の垂直ストライプの状態に決定し、
   前記動的輪郭モデルの画像処理により、輪郭抽出線を、水平方向の決定位置に位置した前記歩行者候補領域内の前記垂直ストライプの枠線の初期状態から、前記歩行者候補領域の画像濃度が変化する輪郭部分までほぼ縦長の楕円形に膨らませ、膨らんだ前記輪郭抽出線から前記歩行者候補領域の輪郭を検出し、
   所定の歩行者画像条件に合致する検出輪郭を、前記撮影画像の歩行者の輪郭として抽出することを特徴とする歩行者輪郭抽出方法。
3. 請求項１または２に記載の歩行者輪郭抽出方法において、
   水平濃度投影、垂直濃度投影のヒストグラムを、道路の撮影画像の二値画像から算出することを特徴とする歩行者輪郭抽出方法。
4. 請求項１〜３のいずれかに記載の歩行者輪郭抽出方法において、
   撮影手段が自車に搭載され、道路の撮影画像が自車前方の撮影画像であることを特徴とする歩行者輪郭抽出方法。
5. 請求項１〜４のいずれかに記載の歩行者輪郭抽出方法において、
   道路の撮影画像が、赤外光領域の撮影画像であることを特徴とする歩行者輪郭抽出方法。
6. 請求項１〜４のいずれかに記載の歩行者輪郭抽出方法において、
   撮影手段が赤外線カメラからなり、道路の撮影画像が前記赤外線カメラの撮影画像であることを特徴とする歩行者輪郭抽出方法。
7. 請求項１〜６のいずれかに記載の歩行者輪郭抽出方法において、
   所定の歩行者条件が、検出輪郭の大きさ、縦横の比、撮影画像上の位置であることを特徴とする歩行者輪郭抽出方法。
8. 画像処理によって歩行者を認識する歩行者認識システムの歩行者輪郭抽出装置において、
   撮影手段が撮影した道路の撮影画像につき、水平方向の各位置で垂直方向の画像濃度を加算して得られる垂直濃度投影のヒストグラム、垂直方向の各位置で水平方向の画像濃度を加算して得られる水平濃度投影のヒストグラムを算出するヒストグラム演算手段と、
   前記垂直濃度投影のヒストグラムのピーク位置から、前記撮影画像の歩行者候補領域の水平方向の位置を決定する水平位置決定手段と、
   動的輪郭モデルの初期状態を、前記水平濃度投影のヒストグラムのしきい値以上の部分の長さの垂直線分の状態に決定する初期状態決定手段と、
   前記動的輪郭モデルの画像処理により、輪郭抽出線を、水平方向の決定位置に位置した前記歩行者候補領域内の前記垂直線分の初期状態から、画像濃度が変化する前記歩行者候補領域の輪郭部分までほぼ縦長の楕円形に膨らませ、膨らんだ前記輪郭抽出線から前記歩行者候補領域の輪郭を検出する輪郭検出手段と、
   所定の歩行者条件を満たす前記輪郭検出手段の検出輪郭を、前記撮影画像の歩行者の輪郭として抽出する輪郭抽出手段とを備えたことを特徴とする歩行者輪郭抽出装置。
9. 画像処理によって歩行者を認識する歩行者認識システムの歩行者輪郭抽出装置において、
   撮影手段が撮影した道路の撮影画像につき、水平方向の各位置で垂直方向の画像濃度を加算して得られる垂直濃度投影のヒストグラム、垂直方向の各位置で水平方向の画像濃度を加算して得られる水平濃度投影のヒストグラムを算出するヒストグラム演算手段と、
   前記垂直濃度投影のヒストグラムのピーク位置から、前記撮影画像の歩行者候補領域の水平方向の位置を決定する水平位置決定手段と、
   動的輪郭モデルの初期状態を、前記水平濃度投影のヒストグラムのしきい値以上の部分の長さ、かつ、設定された横幅の垂直ストライプの状態に決定する初期状態決定手段と、
   前記動的輪郭モデルの画像処理により、輪郭抽出線を、水平方向の決定位置に位置した前記歩行者候補領域内の前記垂直ストライプの枠線の初期状態から、画像濃度が変化する前記歩行者候補領域の輪郭部分までほぼ縦長の楕円形に膨らませ、膨らんだ前記輪郭抽出線から前記歩行者候補領域の輪郭を検出する輪郭検出手段と、
   所定の歩行者条件を満たす前記候補輪郭検出手段の検出輪郭を、前記撮影画像の歩行者の輪郭として抽出する輪郭抽出手段とを備えたことを特徴とする歩行者輪郭抽出装置。
10. 請求項８または９に記載の歩行者輪郭抽出装置において、
    ヒストグラム演算手段が、水平濃度投影、垂直濃度投影のヒストグラムを、道路の撮影画像の二値画像から算出することを特徴とする歩行者輪郭抽出装置。
11. 請求項８〜１０のいずれかに記載の歩行者輪郭抽出装置において、
    撮影手段が自車に搭載され、道路の撮影画像が自車前方の撮影画像であることを特徴とする歩行者輪郭抽出装置。
12. 請求項８〜１１のいずれかに記載の歩行者輪郭抽出装置において、
    道路の撮影画像が、赤外光領域の撮影画像であることを特徴とする歩行者輪郭抽出装置。
13. 請求項８〜１１のいずれかに記載の歩行者輪郭抽出装置において、
    撮影手段が赤外線カメラからなり、道路の撮影画像が前記赤外線カメラの撮影画像であることを特徴とする歩行者輪郭抽出装置。
14. 請求項８〜１３のいずれかに記載の歩行者輪郭抽出装置において、
    輪郭抽出手段の所定の歩行者条件が、検出輪郭の大きさ、縦横の比、撮影画像上の位置であることを特徴とする歩行者輪郭抽出装置。

Images