JP2003288600A - 歩行者認識装置及び認識方法 - Google Patents
歩行者認識装置及び認識方法Info
- Publication number
- JP2003288600A JP2003288600A JP2002091792A JP2002091792A JP2003288600A JP 2003288600 A JP2003288600 A JP 2003288600A JP 2002091792 A JP2002091792 A JP 2002091792A JP 2002091792 A JP2002091792 A JP 2002091792A JP 2003288600 A JP2003288600 A JP 2003288600A
- Authority
- JP
- Japan
- Prior art keywords
- pedestrian
- image
- unit
- reference curve
- eigenspace
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
(57)【要約】
【課題】メモリ容量の増大を招くことなく、精度よく歩
行者を認識することが可能な歩行者認識装置及び方法を
提供する。 【解決手段】ＣＣＤカメラにより歩行者などの対象物を
含む自車の前側方或いは後側方を撮像し、ＣＰＵによ
り、実際に得られた撮像画像を処理して対象物の各点の
動きベクトルを抽出し（Ｓ１）、抽出した各点の動きベ
クトルの水平方向ベクトルに対してパラメトリック固有
空間法を適用して固有空間上に投影し（Ｓ２）、固有空
間上に投影される対象投影点と、メモリに記憶されてい
る参照曲線とを比較し、この対象投影点が参照曲線に近
似するかどうかを判断する（Ｓ３）。
行者を認識することが可能な歩行者認識装置及び方法を
提供する。 【解決手段】ＣＣＤカメラにより歩行者などの対象物を
含む自車の前側方或いは後側方を撮像し、ＣＰＵによ
り、実際に得られた撮像画像を処理して対象物の各点の
動きベクトルを抽出し（Ｓ１）、抽出した各点の動きベ
クトルの水平方向ベクトルに対してパラメトリック固有
空間法を適用して固有空間上に投影し（Ｓ２）、固有空
間上に投影される対象投影点と、メモリに記憶されてい
る参照曲線とを比較し、この対象投影点が参照曲線に近
似するかどうかを判断する（Ｓ３）。
Description
【０００１】
【発明の属する技術分野】この発明は、撮像手段により
撮像された歩行者を含む画像を処理して歩行者を認識す
る歩行者認識装置及び認識方法に関する。
撮像された歩行者を含む画像を処理して歩行者を認識す
る歩行者認識装置及び認識方法に関する。
【０００２】
【従来の技術】従来、自動車の安全走行や歩行者の安全
確保の観点から、自動車に搭載或いは交差点に設置され
たＣＣＤカメラ等の撮像手段により、歩行者を含む画像
を撮像し、撮像された画像を処理して歩行者を認識する
ことが行われている。
確保の観点から、自動車に搭載或いは交差点に設置され
たＣＣＤカメラ等の撮像手段により、歩行者を含む画像
を撮像し、撮像された画像を処理して歩行者を認識する
ことが行われている。
【０００３】このとき、例えば撮像画像から歩行者の候
補領域を抽出し、抽出した候補領域と、予め求めていた
歩行者の代表的なパターン画像とを比較、照合すること
で、その候補領域が歩行者に該当するかどうか判断する
手法が、従来、主として採用されている。
補領域を抽出し、抽出した候補領域と、予め求めていた
歩行者の代表的なパターン画像とを比較、照合すること
で、その候補領域が歩行者に該当するかどうか判断する
手法が、従来、主として採用されている。
【０００４】
【発明が解決しようとする課題】しかし、従来の従来手
法では、歩行者のパターン画像を基準としているため、
多種多様なパターン画像を多数準備する必要がある。具
体的には、男性、女性の性別ごとに身長や体型の異なる
パターン画像を準備したり、同一人物であっても服装に
よってパターンが違うことから、服装ごとのパターン画
像を準備してメモリに蓄積しておかなければならず、パ
ターン画像の種類が非常に多くなってその準備に手間を
要し、これらのパターン画像データを蓄積しておくメモ
リとして非常に容量の大きなものが必要になってコスト
の上昇を招くという問題点があった。
法では、歩行者のパターン画像を基準としているため、
多種多様なパターン画像を多数準備する必要がある。具
体的には、男性、女性の性別ごとに身長や体型の異なる
パターン画像を準備したり、同一人物であっても服装に
よってパターンが違うことから、服装ごとのパターン画
像を準備してメモリに蓄積しておかなければならず、パ
ターン画像の種類が非常に多くなってその準備に手間を
要し、これらのパターン画像データを蓄積しておくメモ
リとして非常に容量の大きなものが必要になってコスト
の上昇を招くという問題点があった。
【０００５】一方、メモリの容量を少なくしてパターン
画像を低減すると、照合の基準データが少ないために、
歩行者の認識精度が低下することになる。
画像を低減すると、照合の基準データが少ないために、
歩行者の認識精度が低下することになる。
【０００６】そこで、本発明は、メモリ容量の増大を招
くことなく、精度よく歩行者を認識することが可能な歩
行者認識装置及び方法を提供することを目的とする。
くことなく、精度よく歩行者を認識することが可能な歩
行者認識装置及び方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】上記した目的を達成する
ために、本発明にかかる歩行者認識装置は、撮像手段に
より撮像された歩行者を含む画像を処理して歩行者を認
識する歩行者認識装置において、前記撮像画像から対象
物の動きベクトルを抽出し、前記動きベクトルに対して
パラメトリック固有空間法を適用して固有空間上に投影
して得られる参照曲線との照合により歩行者かどうかを
判断する処理手段を備えていることを特徴としている
（請求項１）。
ために、本発明にかかる歩行者認識装置は、撮像手段に
より撮像された歩行者を含む画像を処理して歩行者を認
識する歩行者認識装置において、前記撮像画像から対象
物の動きベクトルを抽出し、前記動きベクトルに対して
パラメトリック固有空間法を適用して固有空間上に投影
して得られる参照曲線との照合により歩行者かどうかを
判断する処理手段を備えていることを特徴としている
（請求項１）。
【０００８】このような構成によれば、歩行者の場合、
その動きは性別や体型等に関係なく類似していることか
ら、撮像画像を処理して得られる動きベクトルに対して
パラメトリック固有空間法を適用することにより、従来
のように多数のパターン画像を準備する必要がなく、メ
モリも固有空間を保有できる程度の少ない容量で済むこ
とから、従来のパターン画像との比較による手法に比
べ、メモリは小容量でよく、安価な構成により簡単にか
つ精度よく歩行者を認識することができる。
その動きは性別や体型等に関係なく類似していることか
ら、撮像画像を処理して得られる動きベクトルに対して
パラメトリック固有空間法を適用することにより、従来
のように多数のパターン画像を準備する必要がなく、メ
モリも固有空間を保有できる程度の少ない容量で済むこ
とから、従来のパターン画像との比較による手法に比
べ、メモリは小容量でよく、安価な構成により簡単にか
つ精度よく歩行者を認識することができる。
【０００９】また、本発明にかかる歩行者認識装置は、
前記処理手段が、前記撮像手段による撮像画像を処理し
て対象物の各点の動きベクトルを抽出する抽出部と、前
記抽出部により抽出された前記各点の動きベクトルの所
定の一方向への１次元ベクトルに対してパラメトリック
固有空間法を適用して固有空間上に投影する投影部と、
前記撮像手段により予め歩行者を撮像して得られたサン
プル画像について前記抽出部により抽出される前記各点
の動きベクトルの前記１次元ベクトルに対して前記投影
部により前記固有空間上に投影される複数個の投影点を
結ぶ参照曲線を形成する形成部と、前記形成部よる前記
参照曲線のデータを記憶する記憶部と、前記記憶部の前
記参照曲線と、前記撮像手段により撮像される対象物の
画像について前記抽出部により抽出される前記各点の動
きベクトルの前記１次元ベクトルに対して前記投影部に
より前記固有空間上に投影される対象投影点とを比較
し、この対象投影点が前記参照曲線に近似するかどうか
により前記対象物が歩行者に該当するかどうかを判断す
る判断部とを備えていることを特徴としている（請求項
２）。
前記処理手段が、前記撮像手段による撮像画像を処理し
て対象物の各点の動きベクトルを抽出する抽出部と、前
記抽出部により抽出された前記各点の動きベクトルの所
定の一方向への１次元ベクトルに対してパラメトリック
固有空間法を適用して固有空間上に投影する投影部と、
前記撮像手段により予め歩行者を撮像して得られたサン
プル画像について前記抽出部により抽出される前記各点
の動きベクトルの前記１次元ベクトルに対して前記投影
部により前記固有空間上に投影される複数個の投影点を
結ぶ参照曲線を形成する形成部と、前記形成部よる前記
参照曲線のデータを記憶する記憶部と、前記記憶部の前
記参照曲線と、前記撮像手段により撮像される対象物の
画像について前記抽出部により抽出される前記各点の動
きベクトルの前記１次元ベクトルに対して前記投影部に
より前記固有空間上に投影される対象投影点とを比較
し、この対象投影点が前記参照曲線に近似するかどうか
により前記対象物が歩行者に該当するかどうかを判断す
る判断部とを備えていることを特徴としている（請求項
２）。
【００１０】このような構成によれば、歩行者のサンプ
ル画像について抽出部により抽出される各点の動きベク
トルの１次元ベクトルに対して、投影部により固有空間
上に投影して得られる参照曲線を基準として、実際の対
象物の撮像画像における各点の動きベクトルの１次元ベ
クトルに対して、投影部により固有空間上に投影して得
られる対象投影点が参照曲線に近似するかどうか判断さ
れ、近似するときにその対象物が歩行者であると判断さ
れる。
ル画像について抽出部により抽出される各点の動きベク
トルの１次元ベクトルに対して、投影部により固有空間
上に投影して得られる参照曲線を基準として、実際の対
象物の撮像画像における各点の動きベクトルの１次元ベ
クトルに対して、投影部により固有空間上に投影して得
られる対象投影点が参照曲線に近似するかどうか判断さ
れ、近似するときにその対象物が歩行者であると判断さ
れる。
【００１１】そのため、従来のように多数のパターン画
像を準備する必要もなく、メモリも小容量で済み、安価
な構成により簡単にかつ精度よく歩行者を認識できる歩
行者認識装置を提供することができる。
像を準備する必要もなく、メモリも小容量で済み、安価
な構成により簡単にかつ精度よく歩行者を認識できる歩
行者認識装置を提供することができる。
【００１２】また、本発明にかかる歩行者認識装置は、
前記判断部が、前記参照曲線と前記対象投影点との距離
が予め設定された距離より小さいかどうかにより近似す
るかどうかを判断することを特徴としている（請求項
３）。
前記判断部が、前記参照曲線と前記対象投影点との距離
が予め設定された距離より小さいかどうかにより近似す
るかどうかを判断することを特徴としている（請求項
３）。
【００１３】このような構成によれば、対象投影点に相
当する対象物が歩行者である場合には、その動き自体は
参照曲線を構成するサンプル画像中の歩行者と極めて類
似していることから、参照曲線と対象投影点との距離を
比較して両者が所定距離にＲかどうかを判断することに
より、対象投影点が前記参照曲線に近似するかどうか簡
単かつ精度よく見極めることができる。
当する対象物が歩行者である場合には、その動き自体は
参照曲線を構成するサンプル画像中の歩行者と極めて類
似していることから、参照曲線と対象投影点との距離を
比較して両者が所定距離にＲかどうかを判断することに
より、対象投影点が前記参照曲線に近似するかどうか簡
単かつ精度よく見極めることができる。
【００１４】また、本発明にかかる歩行者認識装置は、
前記撮像手段が、車両に搭載されて当該車両の周辺の画
像を撮像するものであることを特徴としている（請求項
４）。このような構成によれば、車両に搭載した撮像手
段による撮像画像を処理して歩行者を認識するため、ド
ライバの死角になる位置での歩行者の状況を的確に把握
することができ、歩行者事故を未然に防止することがで
きる。
前記撮像手段が、車両に搭載されて当該車両の周辺の画
像を撮像するものであることを特徴としている（請求項
４）。このような構成によれば、車両に搭載した撮像手
段による撮像画像を処理して歩行者を認識するため、ド
ライバの死角になる位置での歩行者の状況を的確に把握
することができ、歩行者事故を未然に防止することがで
きる。
【００１５】また、本発明にかかる歩行者認識方法は、
前記撮像手段による撮像画像を処理して対象物体の各点
の動きベクトルを抽出し、予め歩行者を撮像して得られ
たサンプル画像を処理して抽出した前記各点の動きベク
トルの前記１次元ベクトルに対しパラメトリック固有空
間法を適用して固有空間上に投影して得られる複数個の
投影点を結ぶ参照曲線を形成しておき、前記撮像手段に
より撮像される対象物の画像を処理して抽出した前記各
点の動きベクトルの所定の一方向への１次元ベクトルに
対し前記固有空間上に投影し、得られた対象投影点と前
記参照曲線とを比較し前記対象投影点が前記参照曲線に
近似するかどうかにより前記対象物が歩行者に該当する
かどうかを判断することを特徴としている（請求項
５）。
前記撮像手段による撮像画像を処理して対象物体の各点
の動きベクトルを抽出し、予め歩行者を撮像して得られ
たサンプル画像を処理して抽出した前記各点の動きベク
トルの前記１次元ベクトルに対しパラメトリック固有空
間法を適用して固有空間上に投影して得られる複数個の
投影点を結ぶ参照曲線を形成しておき、前記撮像手段に
より撮像される対象物の画像を処理して抽出した前記各
点の動きベクトルの所定の一方向への１次元ベクトルに
対し前記固有空間上に投影し、得られた対象投影点と前
記参照曲線とを比較し前記対象投影点が前記参照曲線に
近似するかどうかにより前記対象物が歩行者に該当する
かどうかを判断することを特徴としている（請求項
５）。
【００１６】このような構成によれば、歩行者のサンプ
ル画像について抽出した各点の動きベクトルの１次元ベ
クトルに対して、固有空間上に投影して得られる参照曲
線を基準として、実際の対象物の撮像画像における各点
の動きベクトルの１次元ベクトルに対して、固有空間上
に投影して得られる対象投影点が参照曲線に近似するか
どうかを判断し、近似するときにその対象物が歩行者で
あると判断するため、従来のように多数のパターン画像
を準備する必要もなく、メモリも小容量で済み、安価な
構成により簡単にかつ精度よく歩行者を認識できる歩行
者認識方法を提供することができる。
ル画像について抽出した各点の動きベクトルの１次元ベ
クトルに対して、固有空間上に投影して得られる参照曲
線を基準として、実際の対象物の撮像画像における各点
の動きベクトルの１次元ベクトルに対して、固有空間上
に投影して得られる対象投影点が参照曲線に近似するか
どうかを判断し、近似するときにその対象物が歩行者で
あると判断するため、従来のように多数のパターン画像
を準備する必要もなく、メモリも小容量で済み、安価な
構成により簡単にかつ精度よく歩行者を認識できる歩行
者認識方法を提供することができる。
【００１７】また、本発明にかかる歩行者認識方法は、
前記参照曲線と前記対象投影点との距離が予め設定され
た距離より小さいかどうかにより近似するかどうかを判
断することを特徴としている（請求項６）。
前記参照曲線と前記対象投影点との距離が予め設定され
た距離より小さいかどうかにより近似するかどうかを判
断することを特徴としている（請求項６）。
【００１８】このような構成によれば、対象投影点に相
当する対象物が歩行者である場合には、その動き自体は
参照曲線を構成するサンプル画像中の歩行者と極めて類
似していることから、参照曲線と対象投影点との距離を
比較して両者が所定距離にＲかどうかを判断することに
より、対象投影点が前記参照曲線に近似するかどうか簡
単かつ精度よく見極めることができる。
当する対象物が歩行者である場合には、その動き自体は
参照曲線を構成するサンプル画像中の歩行者と極めて類
似していることから、参照曲線と対象投影点との距離を
比較して両者が所定距離にＲかどうかを判断することに
より、対象投影点が前記参照曲線に近似するかどうか簡
単かつ精度よく見極めることができる。
【００１９】
【発明の実施の形態】この発明を車載用に適用した場合
における一実施形態について図１ないし図４を参照して
説明する。但し、図１はブロック図、図２及び図３は動
作説明図、図４は動作説明用フローチャートである。
における一実施形態について図１ないし図４を参照して
説明する。但し、図１はブロック図、図２及び図３は動
作説明図、図４は動作説明用フローチャートである。
【００２０】図１に示すように、自車に撮像手段として
の単眼ＣＣＤカメラ１が搭載され、このＣＣＤカメラ１
により自車の前側方或いは後側方が撮像され、得られた
各時刻毎のフレーム画像がＣＰＵ２によりＶＲＡＭ等か
ら成るメモリ３に保存される。そして、ＣＰＵ２は各フ
レーム画像を処理して画像中の対象物のオプティカルフ
ローを計算してその移動量を求める。尚、図１に示すよ
うに、例えばＬＣＤ（液晶ディスプレイ）から成りＣＰ
Ｕ２の制御により各種の表示を行う表示手段４が設けら
れている。
の単眼ＣＣＤカメラ１が搭載され、このＣＣＤカメラ１
により自車の前側方或いは後側方が撮像され、得られた
各時刻毎のフレーム画像がＣＰＵ２によりＶＲＡＭ等か
ら成るメモリ３に保存される。そして、ＣＰＵ２は各フ
レーム画像を処理して画像中の対象物のオプティカルフ
ローを計算してその移動量を求める。尚、図１に示すよ
うに、例えばＬＣＤ（液晶ディスプレイ）から成りＣＰ
Ｕ２の制御により各種の表示を行う表示手段４が設けら
れている。
【００２１】ＣＰＵ２は、例えばフレーム画像をｍ×ｎ
個のマトリクス状の複数ユニットに分割する。このユニ
ットはそれぞれ、複数画素から構成される。更に、ＣＰ
Ｕ２は、例えば勾配法により動きベクトルであるオプテ
ィカルフローを抽出する。つまり、時刻ｔにおけるフレ
ーム画像の各ユニットにおける各画素の輝度値分布を次
のフレーム画像でも保持していると仮定し、連立拘束式
を解いてオプティカルフローを算出する。より詳細に
は、各画素の輝度値の空間的微分値Ｅｘ，Ｅｙ及び時間
的微分値Ｅｔにより、Ｅｘ・ｕ＋Ｅｙ・ｖ＋Ｅｔ＝０と
表わされる拘束式を用い、時間的に異なる２つのフレー
ム画像における局所近傍領域ではオプティカルフローが
同一であるとの仮定のもとに、オプティカルフローの連
立拘束式を立て、これを解いてオプティカルフローを抽
出するというものである。
個のマトリクス状の複数ユニットに分割する。このユニ
ットはそれぞれ、複数画素から構成される。更に、ＣＰ
Ｕ２は、例えば勾配法により動きベクトルであるオプテ
ィカルフローを抽出する。つまり、時刻ｔにおけるフレ
ーム画像の各ユニットにおける各画素の輝度値分布を次
のフレーム画像でも保持していると仮定し、連立拘束式
を解いてオプティカルフローを算出する。より詳細に
は、各画素の輝度値の空間的微分値Ｅｘ，Ｅｙ及び時間
的微分値Ｅｔにより、Ｅｘ・ｕ＋Ｅｙ・ｖ＋Ｅｔ＝０と
表わされる拘束式を用い、時間的に異なる２つのフレー
ム画像における局所近傍領域ではオプティカルフローが
同一であるとの仮定のもとに、オプティカルフローの連
立拘束式を立て、これを解いてオプティカルフローを抽
出するというものである。
【００２２】ここで、フレーム画像の水平方向をＸ軸、
これに直交する方向をＹ軸として、Ｅｘはフレーム画像
におけるある画素の明るさのＸ軸方向の微分値、Ｅｙは
Ｙ軸方向の微分値、Ｅｔは時間方向の微分値であり、
ｕ，ｖはそれぞれＸ軸、Ｙ軸方向の動き量であり、
（ｕ，ｖ）がオプティカルフローつまり対象物のある点
の動きベクトルである。このＣＰＵ２によるオプティカ
ルフローの抽出処理が、本発明における抽出部に相当す
る。
これに直交する方向をＹ軸として、Ｅｘはフレーム画像
におけるある画素の明るさのＸ軸方向の微分値、Ｅｙは
Ｙ軸方向の微分値、Ｅｔは時間方向の微分値であり、
ｕ，ｖはそれぞれＸ軸、Ｙ軸方向の動き量であり、
（ｕ，ｖ）がオプティカルフローつまり対象物のある点
の動きベクトルである。このＣＰＵ２によるオプティカ
ルフローの抽出処理が、本発明における抽出部に相当す
る。
【００２３】ところで、ＣＰＵ２は、ＣＣＤカメラ１に
よる撮像画像から、上記したようにして対象物の動きベ
クトル（オプティカルフロー）を抽出し、抽出した動き
ベクトルに対して画像認識の分野では周知となっている
パラメトリック固有空間法を適用して固有空間上に投影
して得られる参照曲線との照合により歩行者かどうかを
判断する。ここで、パラメトリック固有空間法による動
画像認識について簡単に説明する。
よる撮像画像から、上記したようにして対象物の動きベ
クトル（オプティカルフロー）を抽出し、抽出した動き
ベクトルに対して画像認識の分野では周知となっている
パラメトリック固有空間法を適用して固有空間上に投影
して得られる参照曲線との照合により歩行者かどうかを
判断する。ここで、パラメトリック固有空間法による動
画像認識について簡単に説明する。
【００２４】パラメトリック固有空間法による動画像認
識の手法は、例えば「電子情報通信学会論文誌 Ｄ−Ｉ
Ｉ Ｖｏｌ．Ｊ７７−Ｄ−ＩＩ Ｎｏ．１１ ｐｐ２１
７９−２１８７ １９９４年１１月／“２次元照合によ
る３次元物体認識−パラメトリック空間法−村瀬 洋
シュリー・ナイヤー”」等に記載されており、人間の歩
行動作には一定の規則性があり、しかも性別や体型等に
関係なく類似性がある。例えば、図２に示すように、人
間の歩行の動画像から背景差分により人物領域を抽出
し、歩行のシルエット動画像を形成する。図２は左から
順に毎秒３０フレームで取り込んだ時系列パターンを示
している。図中のｔは時刻を表わす。
識の手法は、例えば「電子情報通信学会論文誌 Ｄ−Ｉ
Ｉ Ｖｏｌ．Ｊ７７−Ｄ−ＩＩ Ｎｏ．１１ ｐｐ２１
７９−２１８７ １９９４年１１月／“２次元照合によ
る３次元物体認識−パラメトリック空間法−村瀬 洋
シュリー・ナイヤー”」等に記載されており、人間の歩
行動作には一定の規則性があり、しかも性別や体型等に
関係なく類似性がある。例えば、図２に示すように、人
間の歩行の動画像から背景差分により人物領域を抽出
し、歩行のシルエット動画像を形成する。図２は左から
順に毎秒３０フレームで取り込んだ時系列パターンを示
している。図中のｔは時刻を表わす。
【００２５】更に、このシルエット動画像に対して大き
さと位置の正規化を行い、固有空間上に投影すると、図
３に示すような点の時系列が得られ、これらの離散点を
結ぶことにより閉曲線状の参照曲線が得られ、この参照
曲線を基準にして、対象物の固有空間上への投影点と参
照曲線との距離が所定値より大きいかどうかでその対象
物が歩行者かどうか判定できるというものである。尚、
図３中のｅ1 ，ｅ2 ，ｅ3 は固有ベクトル、ｔ＝１，ｔ
＝２は連続する時刻を表わす。
さと位置の正規化を行い、固有空間上に投影すると、図
３に示すような点の時系列が得られ、これらの離散点を
結ぶことにより閉曲線状の参照曲線が得られ、この参照
曲線を基準にして、対象物の固有空間上への投影点と参
照曲線との距離が所定値より大きいかどうかでその対象
物が歩行者かどうか判定できるというものである。尚、
図３中のｅ1 ，ｅ2 ，ｅ3 は固有ベクトル、ｔ＝１，ｔ
＝２は連続する時刻を表わす。
【００２６】そこで、本発明では、処理を更に簡素化す
るために、フレーム画像そのものを用いるのではなく、
上記したようにフレーム画像を処理して対象物の動きベ
クトル（オプティカルフロー）を抽出し、抽出した動き
ベクトルの１次元ベクトル、つまり歩行者の動きの特徴
が最もよく表われる水平方向ベクトルに対してパラメト
リック固有空間法を適用する。
るために、フレーム画像そのものを用いるのではなく、
上記したようにフレーム画像を処理して対象物の動きベ
クトル（オプティカルフロー）を抽出し、抽出した動き
ベクトルの１次元ベクトル、つまり歩行者の動きの特徴
が最もよく表われる水平方向ベクトルに対してパラメト
リック固有空間法を適用する。
【００２７】そのために、ＣＣＤカメラ１により予め歩
行者を撮像しておき、ＣＰＵ２により、得られた歩行者
のサンプル画像を処理して各点の動きベクトルを抽出
し、抽出した各点の動きベクトルの水平方向（１次元）
ベクトルに対してパラメトリック固有空間法を適用して
固有空間上に投影し、投影した複数個の投影点を結ぶ図
３に示すような参照曲線を形成し、この参照曲線をメモ
リ３に予め記憶しておく。尚、参照曲線は、図１には示
されていない他のメモリに記憶するようにしても構わな
い。
行者を撮像しておき、ＣＰＵ２により、得られた歩行者
のサンプル画像を処理して各点の動きベクトルを抽出
し、抽出した各点の動きベクトルの水平方向（１次元）
ベクトルに対してパラメトリック固有空間法を適用して
固有空間上に投影し、投影した複数個の投影点を結ぶ図
３に示すような参照曲線を形成し、この参照曲線をメモ
リ３に予め記憶しておく。尚、参照曲線は、図１には示
されていない他のメモリに記憶するようにしても構わな
い。
【００２８】ここで、ＣＰＵ２による各点の動きベクト
ルの固有空間上への投影処理が、本発明における投影部
に相当し、ＣＰＵ２による参照曲線の形成処理が本発明
における形成部に相当し、参照曲線を記憶するメモリ３
等が記憶部に相当する。
ルの固有空間上への投影処理が、本発明における投影部
に相当し、ＣＰＵ２による参照曲線の形成処理が本発明
における形成部に相当し、参照曲線を記憶するメモリ３
等が記憶部に相当する。
【００２９】そして、図４のフローチャートに示すよう
に、ＣＣＤカメラ１により歩行者などの対象物を含む自
車の前側方或いは後側方を撮像し、ＣＰＵ２により、実
際に得られた撮像画像を処理して対象物の各点の動きベ
クトルを抽出し（Ｓ１）、抽出した各点の動きベクトル
の水平方向ベクトルに対してパラメトリック固有空間法
を適用して固有空間上に投影し（Ｓ２）、固有空間上に
投影される対象投影点と、メモリ３等に記憶されている
参照曲線とを比較し、この対象投影点が参照曲線に近似
するかどうかを判断する（Ｓ３）。
に、ＣＣＤカメラ１により歩行者などの対象物を含む自
車の前側方或いは後側方を撮像し、ＣＰＵ２により、実
際に得られた撮像画像を処理して対象物の各点の動きベ
クトルを抽出し（Ｓ１）、抽出した各点の動きベクトル
の水平方向ベクトルに対してパラメトリック固有空間法
を適用して固有空間上に投影し（Ｓ２）、固有空間上に
投影される対象投影点と、メモリ３等に記憶されている
参照曲線とを比較し、この対象投影点が参照曲線に近似
するかどうかを判断する（Ｓ３）。
【００３０】このとき、参照曲線と対象投影点との距離
が、予め設定された距離より小さいかどうかにより、そ
の対象物が歩行者に近似するかどうかを判断する。つま
り、対象物が歩行者であれば、その動きは性別や体型等
に関係なく類似していることから、固有空間上で距離が
近いほどその類似性は高いと判断することができるた
め、参照曲線と対象投影点との距離が、予め設定された
距離より小さいかどうかにより、撮像した対象物が歩行
者に該当するかどうかを判断するのである。このような
ＣＰＵ２による判断処理が本発明における判断部に相当
し、ＣＰＵ２及びメモリ３により処理手段が構成されて
いる。
が、予め設定された距離より小さいかどうかにより、そ
の対象物が歩行者に近似するかどうかを判断する。つま
り、対象物が歩行者であれば、その動きは性別や体型等
に関係なく類似していることから、固有空間上で距離が
近いほどその類似性は高いと判断することができるた
め、参照曲線と対象投影点との距離が、予め設定された
距離より小さいかどうかにより、撮像した対象物が歩行
者に該当するかどうかを判断するのである。このような
ＣＰＵ２による判断処理が本発明における判断部に相当
し、ＣＰＵ２及びメモリ３により処理手段が構成されて
いる。
【００３１】ここで、基準となる固有空間上における参
照曲線とある投影点との距離は、予め実験により、複数
の歩行者の画像を処理することで最適値を求め、この基
準距離をＣＰＵ２の内蔵ＲＯＭなどに格納しておき、参
照曲線と対象投影点との距離を判断する際にＲＯＭから
読み出して対比すればよい。
照曲線とある投影点との距離は、予め実験により、複数
の歩行者の画像を処理することで最適値を求め、この基
準距離をＣＰＵ２の内蔵ＲＯＭなどに格納しておき、参
照曲線と対象投影点との距離を判断する際にＲＯＭから
読み出して対比すればよい。
【００３２】このように、歩行者のサンプル画像につい
て、ＣＰＵ２により抽出される各点の動きベクトル（オ
プティカルフロー）の水平方向（１次元）ベクトルに対
して固有空間上に投影して得られる参照曲線を基準とし
て、実際の対象物の撮像画像における各点の動きベクト
ルの１次元ベクトルに対して固有空間上に投影して得ら
れる対象投影点が、参照曲線に近似するかどうか判断さ
れ、近似するときにその対象物が歩行者であると判断さ
れる。
て、ＣＰＵ２により抽出される各点の動きベクトル（オ
プティカルフロー）の水平方向（１次元）ベクトルに対
して固有空間上に投影して得られる参照曲線を基準とし
て、実際の対象物の撮像画像における各点の動きベクト
ルの１次元ベクトルに対して固有空間上に投影して得ら
れる対象投影点が、参照曲線に近似するかどうか判断さ
れ、近似するときにその対象物が歩行者であると判断さ
れる。
【００３３】従って、上記した実施形態によれば、歩行
者の場合、その動きは性別や体型等に関係なく類似して
いることから、撮像画像を処理して得られる動きベクト
ル（オプティカルフロー）に対してパラメトリック固有
空間法を適用することにより、従来のように多数のパタ
ーン画像を準備する必要もなく、メモリ３も小容量で済
み、安価な構成により簡単にかつ精度よく歩行者を認識
することができる。
者の場合、その動きは性別や体型等に関係なく類似して
いることから、撮像画像を処理して得られる動きベクト
ル（オプティカルフロー）に対してパラメトリック固有
空間法を適用することにより、従来のように多数のパタ
ーン画像を準備する必要もなく、メモリ３も小容量で済
み、安価な構成により簡単にかつ精度よく歩行者を認識
することができる。
【００３４】また、車両に搭載したＣＣＤカメラ１によ
る撮像画像を処理して歩行者を認識するため、特にドラ
イバの死角になる位置での歩行者の状況を的確に把握す
ることが可能になり、歩行者事故を未然に防止すること
ができる。
る撮像画像を処理して歩行者を認識するため、特にドラ
イバの死角になる位置での歩行者の状況を的確に把握す
ることが可能になり、歩行者事故を未然に防止すること
ができる。
【００３５】なお、上記した実施形態では、撮像手段と
してＣＣＤカメラ１を使用した場合について説明した
が、撮像手段はＣＣＤカメラ１に限定されるものでない
のは勿論である。
してＣＣＤカメラ１を使用した場合について説明した
が、撮像手段はＣＣＤカメラ１に限定されるものでない
のは勿論である。
【００３６】更に、上記した実施形態では、車載用に本
発明を適用した場合について説明したが、本発明の適用
範囲は車載用に限定されるものではなく、例えば交差点
に設置されたＣＣＤカメラ等の撮像手段による撮像画像
を処理することで、交差点における歩行者の動向監視に
も適用することができ、上記した実施形態と同等の効果
を得ることができる。
発明を適用した場合について説明したが、本発明の適用
範囲は車載用に限定されるものではなく、例えば交差点
に設置されたＣＣＤカメラ等の撮像手段による撮像画像
を処理することで、交差点における歩行者の動向監視に
も適用することができ、上記した実施形態と同等の効果
を得ることができる。
【００３７】また、本発明は上記した実施形態に限定さ
れるものではなく、その趣旨を逸脱しない限りにおいて
上述したもの以外に種々の変更を行うことが可能であ
る。
れるものではなく、その趣旨を逸脱しない限りにおいて
上述したもの以外に種々の変更を行うことが可能であ
る。
【００３８】
【発明の効果】以上のように、請求項１に記載の発明に
よれば、歩行者の場合、その動きは性別や体型等に関係
なく類似していることから、撮像画像を処理して得られ
る動きベクトルに対してパラメトリック固有空間法を適
用することにより、従来のように多数のパターン画像を
準備する必要がなく、メモリも固有空間を保有できる程
度の少ない容量で済むことから、従来のパターン画像と
の比較による手法に比べ、小容量のメモリでよく、安価
な構成により簡単にかつ精度よく歩行者を認識すること
が可能になる。
よれば、歩行者の場合、その動きは性別や体型等に関係
なく類似していることから、撮像画像を処理して得られ
る動きベクトルに対してパラメトリック固有空間法を適
用することにより、従来のように多数のパターン画像を
準備する必要がなく、メモリも固有空間を保有できる程
度の少ない容量で済むことから、従来のパターン画像と
の比較による手法に比べ、小容量のメモリでよく、安価
な構成により簡単にかつ精度よく歩行者を認識すること
が可能になる。
【００３９】また、請求項２、５に記載の発明によれ
ば、歩行者のサンプル画像について抽出した各点の動き
ベクトルの１次元ベクトルに対して、固有空間上に投影
して得られる参照曲線を基準として、実際の対象物の撮
像画像における各点の動きベクトルの１次元ベクトルに
対して、固有空間上に投影して得られる対象投影点が参
照曲線に近似するかどうかを判断し、近似するときにそ
の対象物が歩行者であると判断するため、従来のように
多数のパターン画像を準備する必要もなく、メモリも小
容量で済み、安価な構成により簡単にかつ精度よく歩行
者を認識できる歩行者認識装置及び方法を提供すること
が可能になる。
ば、歩行者のサンプル画像について抽出した各点の動き
ベクトルの１次元ベクトルに対して、固有空間上に投影
して得られる参照曲線を基準として、実際の対象物の撮
像画像における各点の動きベクトルの１次元ベクトルに
対して、固有空間上に投影して得られる対象投影点が参
照曲線に近似するかどうかを判断し、近似するときにそ
の対象物が歩行者であると判断するため、従来のように
多数のパターン画像を準備する必要もなく、メモリも小
容量で済み、安価な構成により簡単にかつ精度よく歩行
者を認識できる歩行者認識装置及び方法を提供すること
が可能になる。
【００４０】また、請求項３、６に記載の発明によれ
ば、対象投影点に相当する対象物が歩行者である場合に
は、その動き自体は参照曲線を構成するサンプル画像中
の歩行者と極めて類似していることから、参照曲線と対
象投影点との距離を比較して両者が所定距離にＲかどう
かを判断することにより、対象投影点が前記参照曲線に
近似するかどうか簡単かつ精度よく見極めることが可能
になる。
ば、対象投影点に相当する対象物が歩行者である場合に
は、その動き自体は参照曲線を構成するサンプル画像中
の歩行者と極めて類似していることから、参照曲線と対
象投影点との距離を比較して両者が所定距離にＲかどう
かを判断することにより、対象投影点が前記参照曲線に
近似するかどうか簡単かつ精度よく見極めることが可能
になる。
【００４１】また、請求項４に記載の発明によれば、車
両に搭載した撮像手段による撮像画像を処理して歩行者
を認識するため、ドライバの死角になる位置での歩行者
の状況を的確に把握することができ、歩行者事故を未然
に防止することが可能になり、車両の安全走行の補助と
して有効である。
両に搭載した撮像手段による撮像画像を処理して歩行者
を認識するため、ドライバの死角になる位置での歩行者
の状況を的確に把握することができ、歩行者事故を未然
に防止することが可能になり、車両の安全走行の補助と
して有効である。
【図１】この発明の一実施形態のブロック図である。
【図２】この発明の一実施形態の動作説明図である。
【図３】この発明の一実施形態の動作説明図である。
【図４】この発明の一実施形態の動作説明用フローチャ
ートである。
ートである。
【符号の説明】
１ ＣＣＤカメラ（撮像手段）
２ ＣＰＵ（処理手段、抽出部、投影部、形成部、判
断部） ３ メモリ（処理手段、記憶部）
断部） ３ メモリ（処理手段、記憶部）
─────────────────────────────────────────────────────
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考）
Ｇ０６Ｔ 1/00 ３４０ Ｇ０６Ｔ 1/00 ３４０Ｂ
Ｇ０８Ｇ 1/01 Ｇ０８Ｇ 1/01 Ｆ
// Ｇ０８Ｇ 1/04 1/04 Ｄ
1/16 1/16 Ｃ
Ｆターム(参考） 5B057 AA16 BA02 DA07 DA12 DB02
DC05 DC34 DC36
5H180 AA21 BB15 CC04 EE15 FF33
LL01
5L096 BA02 BA04 CA04 CA14 DA03
FA34 GA04 HA04 JA11
Claims (6)
- 【請求項１】 撮像手段により撮像された歩行者を含む
画像を処理して歩行者を認識する歩行者認識装置におい
て、 前記撮像画像から対象物の動きベクトルを抽出し、前記
動きベクトルに対してパラメトリック固有空間法を適用
して固有空間上に投影して得られる参照曲線との照合に
より歩行者かどうかを判断する処理手段を備えているこ
とを特徴とする歩行者認識装置。 - 【請求項２】 前記処理手段が、 前記撮像手段による撮像画像を処理して対象物の各点の
動きベクトルを抽出する抽出部と、 前記抽出部により抽出された前記各点の動きベクトルの
所定の一方向への１次元ベクトルに対してパラメトリッ
ク固有空間法を適用して固有空間上に投影する投影部
と、 前記撮像手段により予め歩行者を撮像して得られたサン
プル画像について前記抽出部により抽出される前記各点
の動きベクトルの前記１次元ベクトルに対して前記投影
部により前記固有空間上に投影される複数個の投影点を
結ぶ参照曲線を形成する形成部と、 前記形成部よる前記参照曲線のデータを記憶する記憶部
と、 前記記憶部の前記参照曲線と、前記撮像手段により撮像
される対象物の画像について前記抽出部により抽出され
る前記各点の動きベクトルの前記１次元ベクトルに対し
て前記投影部により前記固有空間上に投影される対象投
影点とを比較し、この対象投影点が前記参照曲線に近似
するかどうかにより前記対象物が歩行者に該当するかど
うかを判断する判断部とを備えていることを特徴とする
請求項１に記載の歩行者認識装置。 - 【請求項３】 前記判断部が、前記参照曲線と前記対象
投影点との距離が予め設定された距離より小さいかどう
かにより近似するかどうかを判断することを特徴とする
請求項２に記載の歩行者認識装置。 - 【請求項４】 前記撮像手段が、車両に搭載されて当該
車両の周辺の画像を撮像するものであることを特徴とす
る請求項１または２に記載の歩行者認識装置。 - 【請求項５】 撮像手段により撮像された歩行者を含む
画像を処理して歩行者を認識する歩行者認識方法におい
て、 前記撮像手段による撮像画像を処理して対象物体の各点
の動きベクトルを抽出し、 予め歩行者を撮像して得られたサンプル画像を処理して
抽出した前記各点の動きベクトルの前記１次元ベクトル
に対しパラメトリック固有空間法を適用して固有空間上
に投影して得られる複数個の投影点を結ぶ参照曲線を形
成しておき、 前記撮像手段により撮像される対象物の画像を処理して
抽出した前記各点の動きベクトルの所定の一方向への１
次元ベクトルに対し前記固有空間上に投影し、 得られた対象投影点と前記参照曲線とを比較し前記対象
投影点が前記参照曲線に近似するかどうかにより前記対
象物が歩行者に該当するかどうかを判断することを特徴
とする歩行者認識方法。 - 【請求項６】 前記参照曲線と前記対象投影点との距離
が予め設定された距離より小さいかどうかにより近似す
るかどうかを判断することを特徴とする請求項５に記載
の歩行者認識方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002091792A JP2003288600A (ja) | 2002-03-28 | 2002-03-28 | 歩行者認識装置及び認識方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002091792A JP2003288600A (ja) | 2002-03-28 | 2002-03-28 | 歩行者認識装置及び認識方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003288600A true JP2003288600A (ja) | 2003-10-10 |
Family
ID=29236792
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002091792A Pending JP2003288600A (ja) | 2002-03-28 | 2002-03-28 | 歩行者認識装置及び認識方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003288600A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005234694A (ja) * | 2004-02-17 | 2005-09-02 | Fuji Heavy Ind Ltd | 車外監視装置 |
| JP2009271758A (ja) * | 2008-05-08 | 2009-11-19 | Denso Corp | 画像認識装置 |
| US8582815B2 (en) | 2011-02-23 | 2013-11-12 | Denso Corporation | Moving object detection apparatus |
| JP2013257656A (ja) * | 2012-06-11 | 2013-12-26 | Kddi Corp | 動き類似度算出装置、動き類似度算出方法およびコンピュータプログラム |
| US11314971B2 (en) | 2017-09-27 | 2022-04-26 | 3M Innovative Properties Company | Personal protective equipment management system using optical patterns for equipment and safety monitoring |
| US11373076B2 (en) | 2017-02-20 | 2022-06-28 | 3M Innovative Properties Company | Optical articles and systems interacting with the same |
-
2002
- 2002-03-28 JP JP2002091792A patent/JP2003288600A/ja active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005234694A (ja) * | 2004-02-17 | 2005-09-02 | Fuji Heavy Ind Ltd | 車外監視装置 |
| US7567687B2 (en) | 2004-02-17 | 2009-07-28 | Fuji Jukogyo Kabushiki Kaisha | Outside-vehicle monitoring system |
| JP2009271758A (ja) * | 2008-05-08 | 2009-11-19 | Denso Corp | 画像認識装置 |
| JP4623135B2 (ja) * | 2008-05-08 | 2011-02-02 | 株式会社デンソー | 画像認識装置 |
| US8238606B2 (en) | 2008-05-08 | 2012-08-07 | Denso Corporation | Apparatus for image recognition |
| US8582815B2 (en) | 2011-02-23 | 2013-11-12 | Denso Corporation | Moving object detection apparatus |
| JP2013257656A (ja) * | 2012-06-11 | 2013-12-26 | Kddi Corp | 動き類似度算出装置、動き類似度算出方法およびコンピュータプログラム |
| US11373076B2 (en) | 2017-02-20 | 2022-06-28 | 3M Innovative Properties Company | Optical articles and systems interacting with the same |
| US11651179B2 (en) | 2017-02-20 | 2023-05-16 | 3M Innovative Properties Company | Optical articles and systems interacting with the same |
| US11314971B2 (en) | 2017-09-27 | 2022-04-26 | 3M Innovative Properties Company | Personal protective equipment management system using optical patterns for equipment and safety monitoring |
| US11682185B2 (en) | 2017-09-27 | 2023-06-20 | 3M Innovative Properties Company | Personal protective equipment management system using optical patterns for equipment and safety monitoring |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4692371B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体、ならびに移動物体検出システム | |
| Remagnino et al. | An Integrated Traffic and Pedestrian Model-Based Vision System. | |
| US10600207B2 (en) | Posture state estimation apparatus and posture state estimation method | |
| EP1426898B1 (en) | Human detection through face detection and motion detection | |
| JP4612635B2 (ja) | 低照度の深度に適応可能なコンピュータ視覚を用いた移動物体検出 | |
| US9811742B2 (en) | Vehicle-surroundings recognition device | |
| US20130142390A1 (en) | Monocular 3d pose estimation and tracking by detection | |
| US20100158387A1 (en) | System and method for real-time face detection using stereo vision | |
| WO2008065729A1 (fr) | Système et procédé de détection d'objet | |
| JPH0528273A (ja) | 画像処理方法および装置 | |
| CN111753782B (zh) | 一种基于双流网络的假脸检测方法、装置及电子设备 | |
| KR101903127B1 (ko) | 시선방향 예측 방법 및 장치 | |
| JP2003178303A (ja) | 物体認識装置 | |
| Wong et al. | A smart moving vehicle detection system using motion vectors and generic line features | |
| JP2007025900A (ja) | 画像処理装置、画像処理方法 | |
| CN112261390A (zh) | 车载摄像设备及其图像优化装置和优化方法 | |
| JP2011210087A (ja) | 車両周囲監視装置および車両周囲監視方法 | |
| JP2003288600A (ja) | 歩行者認識装置及び認識方法 | |
| JP4882577B2 (ja) | 物体追跡装置およびその制御方法、物体追跡システム、物体追跡プログラム、ならびに該プログラムを記録した記録媒体 | |
| JP2007241477A (ja) | 画像処理装置 | |
| Yang | Estimation of vehicle's lateral position via the Lucas-Kanade optical flow method | |
| JP2013218605A (ja) | 画像認識装置、画像認識方法及びプログラム | |
| JP4063556B2 (ja) | 顔画像認識装置および方法 | |
| JP5020920B2 (ja) | 歩行者検出装置及びプログラム | |
| Van Beeck et al. | A warping window approach to real-time vision-based pedestrian detection in a truck’s blind spot zone |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041201 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070720 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070731 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071127 |