JP2005250692A - 物体の同定方法、移動体同定方法、物体同定プログラム、移動体同定プログラム、物体同定プログラム記録媒体、移動体同定プログラム記録媒体 - Google Patents

Abstract

【課題】画像処理により人物追跡や人物再検出等を行う際に、撮像手段としてのカメラの位置や物体（例えば人物等の移動体）の見え方に影響されることなく、安定して物体の同定を行うことができるとともに、高速な処理を実現することができる。
【解決手段】所定の区域内を移動する移動体を多視点から撮像する撮像ステップと、該撮像ステップで撮像された複数の画像から移動体領域を検出する移動体領域検出ステップと、該移動体領域検出ステップで検出された移動体領域全体を高さ毎の領域に分割する領域分割ステップと、該領域分割ステップで分割された高さ毎の各領域の色を抽出して平均化し、平均化された高さ毎の領域の色に基づいて前記移動体全体の高さ毎の色特徴分布を作成する色特徴分布作成ステップとを有し、該色特徴分布作成ステップで作成された色特徴分布の比較に基づいて前記区域内における異なる時刻での前記移動体の同定を行う。
【選択図】 図３

Description

本発明は、画像中の移動体の特徴を抽出して同定を行う同定方法に関するものであって、特に店舗や公共施設内等において得られる複数の人物が撮像された画像から、人物特徴によって各人物を検出し、軌跡追跡等を行うことができる同定方法、移動体同定方法、同定プログラム、移動体同定プログラム、同定プログラム記録媒体、移動体同定プログラム記録媒体に関する。

例えば、店舗に訪れる顧客の要望や興味を分析するマーケティング調査や、店舗内の顧客の状況を把握する監視システム等として活用される画像処理技術において、ある特定区域内の人物を検出しその人物の追跡を行う技術が知られている（特許文献１参照）。これらの画像処理における人物追跡や人物再検出の処理では、人物を同定するための情報として顔領域画像や身体全体領域画像、服の色等の情報（以下、「人物特徴」という。）が用いられている。

これら人物特徴のうち、最も広く使用されているのが、顔領域画像（以下、単に「顔画像」ともいう。）を特徴とする手法である。１枚若しくは複数枚の顔画像をテンプレートとして保持し、大きさや回転パターンにバリエーションを持たせ、入力画像に対して正規化相関等を用いてパターンマッチングを行う。相関値の最も高い位置の領域が同一人物となる。

その他、身体全体の領域の画像を用いる手法や、身体の各部位（頭部、胴体、手、足等）の領域の画像それぞれをテンプレートとし、これと位置関係とを用いる手法がある。また、肌色検出による人物特徴の抽出もある。これは、肌色領域を手がかりに顔や顔部品、手足等の形状を特徴として利用するものである。

さらに、上記の各手法に人物の色情報（主に服装の色情報）を加えた手法も存在する。例えば、単一画像内で上半身領域と下半身領域とを切り出し、各領域の色情報を用いる手法である。
特開２００２−２１８４４９（請求項１、図１）

しかしながら、上記の各手法では、撮像手段としてのカメラ位置と対象となる人物の見え方によってテンプレートとのパターンが異なる。また、人物が立ったり座ったりした時の縦横サイズの変動、ポーズの相違等によっても対象人物の形態は種々変化する。このため、例えば顔画像を用いた手法において、精度を向上させるためにはバリエーションを持った複数の画像を事前に撮影する必要があった。さらに、精度を落とさないためには、この顔画像を撮像した環境の照射条件や顔の微妙な傾き等の要素が実際に利用される環境や要素となるべく一致していることが必要であった。このようなバリエーションのテンプレートを増やせば、同定の精度は高くすることができるが、計算コストが増大し、実時間で処理できなくなるという問題があった。

これは、その他の手法についても同様であり、高精度の同定を行うためにはより多くのテンプレートデータが必要となり、処理コストがかかるとともに高速な処理が困難であるという問題を抱えていた。

また、色情報を付加する手法においても、単一画像内での色情報に留まっており、人物が着用している服が前開きの服であって中の衣装が見えたり、バックプリントが施してある服の場合等は、前面と後面とで色の違いがあるために安定した同定を行うことができなかった。

さらに、特定領域内に複数の人物が存在し、その複数の人物の軌跡追跡調査を同時に行う場合では、画像中での複数の人物の重なり合いによって混同が生じ、特にテンプレートとのパターンの相違が生じ易い上記手法では、各人物を個別に検出することが非常に困難であった。

そこで、本発明は、画像処理により人物追跡や人物再検出等を行う際に、撮像手段としてのカメラの位置や物体（例えば人物等の移動体）の見え方に影響されることなく、安定して物体の同定を行うことができるとともに、高速な処理を実現することができる同定方法を提供することを目的とする。併せて、移動体同定方法、同定プログラム、移動体同定プログラム、同定プログラム記録媒体、移動体同定プログラム記録媒体を提供することを目的とする。

上記目的を達成するため、請求項１に係る物体の同定方法は、物体の領域全体を高さ毎の領域に分割する領域分割ステップと、分割された高さ毎の各領域の色を抽出して平均化し、平均化された高さ毎の領域の色に基づいて前記物体全体の高さ毎の色特徴分布を作成する色特徴分布作成ステップとを有し、物体と、該物体と比較すべき物体との同定を、前記各物体の色特徴分布と前記比較すべき物体の色特徴分布との比較に基づいて行うことを要旨とする。

請求項２に係る移動体同定方法は、所定の区域内を移動する移動体を多視点から撮像する撮像ステップと、該撮像ステップで撮像された複数の画像から移動体領域を検出する移動体領域検出ステップと、該移動体領域検出ステップで検出された移動体領域全体を高さ毎の領域に分割する領域分割ステップと、該領域分割ステップで分割された高さ毎の各領域の色を抽出して平均化し、平均化された高さ毎の領域の色に基づいて前記移動体全体の高さ毎の色特徴分布を作成する色特徴分布作成ステップとを有し、該色特徴分布作成ステップで作成された色特徴分布の比較に基づいて前記区域内における異なる時刻での前記移動体の同定を行うことを要旨とする。

請求項３に係る移動体同定方法は、請求項２に記載の移動体同定方法において、前記移動体領域検出ステップでは、視体積交差法を用いて前記移動体領域の検出を行い、前記色特徴分布作成ステップでは、前記視体積交差法において移動体領域をボクセルとして検出し、当該各ボクセルの色を抽出して平均化することを要旨とする。

請求項４に係る移動体同定方法は、請求項３に記載の移動体同定方法において、前記ボクセルは、その一辺が３ｃｍ〜１０ｃｍの範囲の立方体であることを要旨とする。
請求項５に係る移動体同定方法は、請求項２乃至請求項４のいずれか１項に記載の移動体同定方法において、前記色特徴分布作成ステップでは、検出された前記移動体領域の全体の高さを１００パーセントとして前記移動体の色特徴分布を作成することを要旨とする。

請求項６に係る移動体同定方法は、請求項２乃至請求項５のいずれか１項に記載の移動体同定方法において、前記移動体同定方法は、同定を行う対象画像における対象移動体の色特徴分布と、基準画像における基準移動体の色特徴分布との相関を正規化して類似度を算出する類似度算出ステップをさらに有することを要旨とする。

請求項７に係る移動体同定方法は、請求項６に記載の移動体同定方法において、前記領域内に複数の移動体が存在する場合であって、前記色特徴分布作成ステップは、複数の移動体の色特徴分布を作成し、前記類似度算出ステップは、複数の前記対象移動体の色特徴分布と複数の前記基準移動体の色特徴分布との類似度をそれぞれ算出し、前記移動体同定方法は、算出された当該類似度に基づいて各対象移動体に各基準移動体を割り当てる割り当てステップをさらに有することを要旨とする。

請求項８に係る移動体同定方法は、請求項２乃至請求項７のいずれか１項に記載の移動体同定方法において、前記領域内に複数の移動体が存在する場合であって、前記移動体領域検出ステップにおいて検出される複数の移動体領域が重なって合体した場合に、その合体後に再び分離した時に、前記対象移動体に対して前記色特徴分布に基づいた同定を行うことを要旨とする。

請求項９に係る移動体同定方法は、請求項２乃至請求項８のいずれか１項に記載の移動体同定方法において、前記移動体同定方法は、基準画像における基準移動体の位置情報から同定を行う対象画像における対象移動体の存在確率を算出する存在確率算出ステップをさらに有し、前記移動体領域検出ステップにおいて、視体積交差法で前記存在確率に基づいて前記移動体の検出を行うことを要旨とする。

請求項１０に係る移動体同定方法は、請求項２乃至請求項９のいずれか１項に記載の移動体同定方法において、前記撮像ステップは、固定された撮像手段によって実行されることを要旨とする。

請求項１１に係る物体同定プログラムは、請求項１に記載の同定方法をコンピュータに実行させることを要旨とする。
請求項１２に係る移動体同定プログラムは、ある区域内を移動する移動体を多視点から撮像する撮像手段によって撮像された複数の画像から移動体領域を検出する移動体領域検出ステップと、該移動体領域検出ステップで検出された移動体領域を高さ毎の領域に分割する領域分割ステップと、該領域分割ステップで分割された高さ毎の各領域の色を平均化して抽出し、抽出された色に基づいて前記移動体の高さ毎の色特徴分布を作成する色特徴分布作成ステップとを有し、該色特徴分布作成ステップで作成された色特徴分布に基づいて前記区域内における異なる時刻での前記移動体の同定をコンピュータに実行させることを要旨とする。

請求項１３に係る物体同定プログラム記録媒体は、請求項１１に記載の同定プログラムが記録されていることを要旨とする。
請求項１４に係る移動体同定プログラム記録媒体は、請求項１２に記載の移動体同定プログラムが記録されていることを要旨とする。

本発明によれば、画像処理により人物追跡や人物再検出等を行う際に、撮像手段としてのカメラの位置や物体（例えば人物等の移動体）の見え方に影響されることなく、安定して物体の同定を行うことができるとともに、高速な処理を実現することができる。

以下、本発明を人物追跡システムに具体化した一実施形態を図１〜図８にしたがって説明する。なお、本実施形態の人物追跡システムは、百貨店内の洋服売り場やコンビニエンスストア等の小規模な区域を想定した室内において、顧客等の人物（移動体）の移動状況を把握するシステムである。

図１は、本実施形態の人物追跡システムのシステム構成を示す概略図である。図１に示すように、人物追跡システム１は、所定の区域２内における人物３を撮像する撮像手段としてのビデオカメラ４ａ，４ｂ，４ｃ，４ｄ（なお、これらのカメラを総称して単に「カメラ４」ともいう。）と、それらのカメラ４ａ，４ｂ，４ｃ，４ｄが接続されたコンピュータ５とを備えている。カメラ４ａ，４ｂ，４ｃ，４ｄは、領域内の上方（高さ約２５０ｃｍ）４角に下方４５度を向くように配置され、複数（本実施形態では４台）のカメラで領域内の人物を同時に撮像できるようになっている。このビデオカメラは、一般のコンビニエンスストア等に監視カメラとして用いられているものと同等のもので良いが、本実施形態では水平画角１１０度、垂直画角８１．５７度の魚眼レンズを装着している。一方、コンピュータ５は、４ポート入力可能なキャプチャボードを通じて各カメラが撮像したカラー画像を取得できるようになっている。上記４台のカメラ４ａ，４ｂ，４ｃ，４ｄとコンピュータ５とで本実施形態における人物追跡装置６が構成されている。

なお、本実施形態では、コンビニエンスストア等の小売規模の店舗を想定しており、区域２のサイズは、床面は一辺４６０ｃｍの正方形状であって、高さは２５０ｃｍとなっている。また、室内の照明条件は一定に保たれている。

図２は、主にコンピュータ５の機能を示す人物追跡装置６のブロック図である。図２に示すように、撮像手段としてのビデオカメラ４ａ，４ｂ，４ｃ，４ｄは、区域２内の人物３（移動体）を撮像する（図１参照）。画像取得手段７は、撮像手段としてのカメラ４ａ，４ｂ，４ｃ，４ｄにより撮像された画像を取得する。人物領域検出手段（移動体領域検出手段）８は、視体積交差法により区域２内に存在する人物の人物領域を検出する。色特徴分布作成手段９は、視体積交差法において既にボクセル分割された人物領域の高さ毎の色を抽出し（詳しくは後にフローチャートを用いて説明する。）、抽出された色に基づいて人物特徴としての色特徴分布を作成する。類似度算出手段１０は、同定を行う対象画像における対象人物（対象移動体）の色特徴分布と基準画像（前フレームにおける画像）における基準人物（基準移動体）の色特徴分布との相関を正規化して類似度を算出する。割り当て手段１１は、類似度算出手段１０により算出された類似度に基づいて、対象人物に基準人物を割り当てる。動線情報記憶手段１２は、基準人物と対象人物とを関連付けて連続的に追跡を行うためにその動線情報を記憶する。表示手段１３は、検出された人物およびその追跡状況を目視できるように表示装置としてのモニタに出力する。本実施形態の人物追跡システム１では、モニタを通して人物追跡の模様をリアルタイムで目視することができるようになっている。

なお、人物領域検出手段８は、領域分割手段１４と存在確率算出手段１５を備えている。本実施形態の人物領域検出手段８はボクセル分割を前提とした視体積交差法を用いているため、色特徴分布作成において必要となる人物領域を高さ毎に分割する領域分割手段１４を兼ねている。また、存在確率算出手段１５は、前フレームにおける基準人物の位置情報から対象画像における存在確率を求め、視体積交差法において対象人物位置の推定信頼度を向上させるためのものである。

図３は、人物追跡装置６によって遂行される人物追跡プログラム（物体同定プログラム、移動体同定プログラム）を表すフローチャートである。以下、このフローチャートを参照して人物追跡装置６による人物追跡処理について、上記各手段の処理と共に詳しく説明する。

まず、４台のカメラ４ａ，４ｂ，４ｃ，４ｄにて撮像された画像を取得する時刻であるか否かが判定される（ステップ１、以下「ステップ」を「Ｓ」と略す。）。本実施形態では、カメラ４からの画像の取得は、所定の時間間隔ｔ（例えばｔ＝０．２秒）毎に行われるようになっており、画像を取得する時刻であると判断された場合には（Ｓ１：ＹＥＳ）、画像取得手段７（図２参照）はカメラ４ａ，４ｂ，４ｃ，４ｄからの画像を取得する（Ｓ２）。一方、画像を取得する時刻ではないと判断された場合には（Ｓ１：ＮＯ）、画像を取得する時刻であるか否かの判断を繰り返し行う。

次に、人物領域検出手段８（図２参照）は、取得した画像から視体積交差法によって区域２内の人物検出を行う（Ｓ３）。ここで用いる視体積交差法とは、主に２次元画像を３次元形状に復元する際に用いられる手法である。同一時刻に複数の異なる視点に配置されたカメラで撮影した画像を利用して、物体の位置及び周囲形状を求めることができる。事前に取得した背景画像との差分により、それぞれの視線方向から見た物体の形状を反映する物体存在領域を３次元画像空間内のボクセルの集合として投票する。そして、すべての方向から見た物体存在領域内のボクセルの集合を抽出することで、３次元空間内の物体として形状を復元する。本実施形態では、この視体積交差法を適用し人物検出に用いることで、人物の床面上の位置だけでなく投票空間中の人物ボクセルから身体各部位の像を検出することができる。それにより、人物移動の動線の検出はもちろん、人物の姿勢や体格の推定、ジェスチャ認識、行動把握等が可能となっている。なお、視体積交差法による形状復元では、精度を高めるため、空間分解能を高める必要がある。しかし、本実施形態では、人物の精巧な形状復元が目的ではなく、人物領域の検出及び処理速度が重要となる。そのため、投票空間（区域２）の分解能は、低く（粗く）設定してある。後に詳しく述べる人物特徴としての色特徴分布を作成するのに最低限の精度を持った人物領域（人物形状）の検出が、なるべく早い処理速度でなされれば十分なためである。

なお、本システムでは魚眼カメラを用いているため、視体積交差法の際に歪曲を補正して投票を行う必要がある。歪曲率Ｄは、

とする。ここで、Ｙは実像高、Ｈは理想像高である。人物検出が目的であり、ミリ単位の精度が必要な形状復元を目的としないことから、一般的なモデルであるｆθを用いる。通常のカメラのｆｔａｎθに対する歪曲率Ｄは、

となる。それゆえ、原画像Ｆ(ｉ，ｊ)は、光軸と画像中心座標（ｈｉ,ｈｊ）が一致していると仮定すると、

のように補正できる。

さらに、本実施形態では視体積公差法における雑音除去と人物同士の分離の信頼度を向上させるために、存在確率を用いる。
各ボクセルにおける平面位置の存在確率は、サンプリング間隔が人物の移動に対して充分短ければ前フレームの位置に近いほど高く、離れるに従い低くなると仮定できる。さらに、人物同士が近接する場合、他の人物の存在確率が高い位置では、自分の存在できる確率はその分抑制される。そのため、ここでは相手の存在によって各自の存在確率は減少すると仮定する。このような仮定から、ある人物ｉが位置（ｘ，ｙ）で存在する存在確率Ｐｉ(ｘ，ｙ)を、

のように定義する．ここで、Ｒは存在確率を適用する半径、すなわち人物が１フレーム間に移動可能な範囲である。また、前フレームでの人物位置（ｆｘ，ｆｙ）は半径Ｒの円の中心（Ｒｘ，Ｒｙ）に等しい。存在確率の分布には正規分布等を用いたモデルを適用することで、人物位置の推定信頼度を向上させることができる。しかし、本実施形態では、実時間での人物追跡と人物領域検出を目指しているため、分解能を粗く設定し、計算量を考慮した単純な分布モデルが好ましい。そのため、本実施形態では、前フレームの人物位置を基準に単調減少に設計した。

さらに、存在確率に移動方向を考慮した変形を行う。人物の推定位置を基準にして、確率分布の適用範囲をスライドするように設計した場合、人物の急激な移動方向の変更に対応できなくなる。また、推定位置や推定方向に存在する雑音や他の人物に強く影響をうける可能性がある。そのため、存在確率分布の適用範囲を、現在の位置から1フレーム以内に人物が移動可能な距離を充分に含むように設定し、存在確率のみを推定位置を基準に変形する。すなわち、現在の位置から移動可能な存在確率の適用範囲に相当する円錐の底辺は移動速度に関わらず一定とし、存在確率の最高位置である頂点を次フレームの推定位置(ｄｘ，ｄｙ)になるよう移動速度・加速度を反映させた変形を行う。以上により、分解能の低いボクセル空間においても複数人物の分離が有効となる。人物位置の推定では、ボクセル空間の分解能を粗くした場合、瞬間速度と加速度を用いると１フレームでの移動ボクセル数が1ボクセルに満たないことがある。安定した推定を行うため、過去５フレームの平均速度(ｖ_ｘ，ｖ_ｙ)と平均加速度(ａ_ｘ，ａ_ｙ)を算出し、推定位置(ｄｘ，ｄｙ)を求める。存在確率Ｐｉ(ｘ，ｙ)は、位置（ｘ，ｙ）とｔ＝５フレーム後の予測人物位置

を結ぶ直線と、存在範囲（半径Ｒ）の円の交点から求まる。交点が存在しない場合、

となる。交点数が２：（ｘ１，ｙ１），（ｘ２，ｙ２）、又は１：（（ｘ１，ｙ１）＝（ｘ２，ｙ２））の場合、推定位置（ｄｘ，ｄｙ）から位置（ｘ，ｙ）までの距離を

（ｘ１，ｙ１）までの距離を

（ｘ２，ｙ２）までの距離を

としたとき、

より、推定位置（ｄｘ、ｄｙ）から円の中心までの距離を

位置（ｘ、ｙ）から（ｘ１，ｙ１）までの距離を

（ｘ２，ｙ２）までの距離を

とすると、

となる。ある人物の存在する地点において、他の人物の存在できる確率は抑制されると仮定する。それにより、人物ｉの存在確率を、

とする。室内に存在する全ての人物によって求められる存在確率の分布

を存在確率マップと呼ぶ。存在確率が０となる場所は、視体積交差により投票されたとしても、ノイズもしくは人物以外のボクセルであり削除される。そのため、人物位置をグローバルな空間座標で保持し、投票空間を個人毎にローカルに持つことで、投票時のロスを無くすことができる。

図３に戻り、人物検出（Ｓ３）の後には、色特徴分布作成手段９（図２参照）は、対象人物の人物領域に該当するボクセルの色を抽出して平均化し、人物領域の高さを１００パーセントとした高さ毎の色特徴分布を作成する（Ｓ４）。なお、この色特徴分布作成ステップ（Ｓ４）に関しては、後にさらに詳しく述べることとする。

次に、類似度算出手段１０（図２参照）は、作成された色特徴分布に基づいて、対象人物の色特徴分布と基準人物の色特徴分布との相関を正規化して類似度を算出する（Ｓ５）。ここで正規化とは、得られた各色特徴分布を比較可能とするために、比較対象となる各色特徴分布相互の整合をとることを意味する。次に、算出された類似度に基づいて、割り当て手段１１（図２参照）は対象人物に基準人物を割り当てる（Ｓ６）。図４は、この割り当てステップ（Ｓ６）をさらに詳しく示すフローチャートである。以下、この割り当てステップでは、過去のフレームにおいて追跡されてきた基準人物（既に人物同定されてきた人物を示す。）をＢ_ｋ（ｋ＝１〜ｎ）で表し、現フレームにおける対象人物をＯ_ｋ（ｋ＝１〜ｎ）で表し説明する。図４に示すように、まず各対象人物Ｏ_１〜Ｏ_ｎに対し、類似度算出手段１０によって算出された類似度の高い順に候補となる基準人物Ｂ_ｋを複数取得する（Ｓ６１）。ここで、短時間のフレーム間において、遠い位置に急に移動することはありえないため、対象人物から半径約１ｍの範囲に存在する基準人物に限定して候補を取得する。なお、この範囲は、人物の標準移動速度や人物の厚み等を考慮して設定される移動可能範囲であって、人物の移動形態等により適宜変更することができるものである。基準人物Ｂ_ｋを複数取得した後には、各対象人物Ｏ_１〜Ｏ_ｎに基準人物Ｂ_１〜Ｂ_ｎを割り当てる（Ｓ６２）。例えば、１番目の対象人物Ｏ_１から順に、その第１候補の基準人物Ｂ_ｋを取得する。ｉ番目の対象人物Ｏ_ｉにおいてその第１候補Ｂ_ｊが既に別の対象人物Ｏ_ｊに取得されている場合には、類似度を比較し、より類似度の高い方の対象人物Ｏ_ｉ又はＯ_ｊが第１候補Ｂ_ｊを取得する。この場合、他方の対象人物Ｏ_ｉ又はＯ_ｊは第２候補の基準人物Ｂ_ｋを取得する、こうした処理を随時行うことで、各対象人物Ｏ_１〜Ｏ_ｎはそれぞれ最適の基準人物Ｂ_１〜Ｂ_ｎを取得することになる。

なお、前フレームと現フレームにおいて新たに人物が区域２に入室した場合は、対象人物数が基準人物数よりも多くなるため、必然的にどの基準人物も取得しない対象人物が存在する。この対象人物については新たに入出した新規の人物として認識する。また、逆に区域２内から人物が退室した場合には、対象人物数が基準人物数よりも少なくなるため、どの対象人物にも取得されない基準人物が存在する。この基準人物については既に退出したものとして認識する。

上記説明した通り、対象人物に基準人物を割り当てた後には、動線情報記憶手段１２（図２参照）は基準人物が割り当てられた対象人物毎の動線情報を記憶し（図３、Ｓ７）、最初の処理（図３、Ｓ１）へ戻る。以上で、人物追跡処理の一連の流れは終了である。なお、本実施形態では、画像を取得する最初の処理で、画像を取得する時刻か否かの判断（Ｓ１）を行っているが、その後の各処理（Ｓ２〜Ｓ７）にかかる時間が画像取得を行う所定の時間間隔ｔ以上である場合、リターンからスタートへ戻り再び一連の処理を開始して画像取得の処理（Ｓ２）を行う際に待ち時間が発生する可能性がある。この場合は、画像を取得するか否かの判断（Ｓ１）を行わずに、直接画像取得の処理（Ｓ２）に入るように構成することができる。

次に、本発明の要部である色特徴分布作成（Ｓ４）について詳しく説明する。
図５は、検出された人物領域から色を抽出して高さ毎の色特徴分布を作成するまでを説明する模式図であり、図６は、色特徴分布を作成する処理をさらに詳しく説明するフローチャートである。まず、図６に示すように、色特徴分布作成手段９（図２参照）は、人物領域検出手段８（図２参照）が検出した人物領域１６（図５参照）の各ボクセル１７の色を抽出する（Ｓ４１）。本実施形態では、ボクセル１７は、人物サイズに対して適切な大きさとなるよう一辺５ｃｍ程度の立方体に設定してある。一辺１０ｃｍ程度でも人物特徴の特徴量としての色抽出には問題のない程度であるが、それより大きくなるとより厳密な色抽出ができないため若干精度の面で問題がある。さらに、一辺３ｃｍ以下となると、データ数が増加し処理時間がかかるため実時間での処理が難しくなるという問題がある。よって、一辺３ｃｍ〜１０ｃｍ程度の範囲が好適である。

各ボクセルから色を抽出した後は、高さ毎に色を平均化する（Ｓ４２）。図５に模式的に示すように、人物の頭からつま先までの人物領域の色を、各ボクセル１７の段毎に、つまり均等に分割された高さ毎に平均化する。なお、図５では簡単のため、頭部、胴部（手を含む）、足部についてのみ模式化して表しているが、高さ毎に人物領域１６の全てについて同様に行うものである。そして、それら高さ毎に平均化された色を、人物領域の高さを１００パーセントとして分布させた色特徴分布を作成する（図６、Ｓ４３）。この色特徴分布のデータは、３色（赤、緑、青）×ボクセルの段数（高さ方向に何分割したか、に相当する。）のデータで表すことができる。例えば、身長１６０ｃｍの人物の場合、ボクセルの一辺を５ｃｍとした場合、３色×高さ３２分割の９６個のデータ（ｃｈａｒ型であれば９６バイト）程度の少ない情報量で、人物の特徴を保持することができる。よって、色特徴分布自体のデータが軽く、その後の類似度算出及び割り当ての処理時間も少なくてすみ、装置全体として処理速度を向上させ、実時間での人物追跡が可能となっている。

この色特徴分布は、図５に示すように立体的な人物領域の高さ毎に色を平均化した情報量であるため、画像に移る人物の向きや位置に影響されることがない。つまり、高さ毎に平均化された色特徴分布は、人物領域の高さを１００パーセントとした時の高さ毎における各色が占めるいわば割合である。よって、例えば、身体の前後で色彩や模様が異なる服を着用している人物追跡の際でも、その人物の前後の向きが変化しても全体としての色の割合はさほど変化しないため、安定した人物特徴として利用することができる。位置に対しても、常に人物領域の全体の高さを基準としていることにより、カメラから距離が近い場合に像が大きく、遠い場合に小さくなるという画像上の像の大小変化に対しても常にその人物の相対的な特徴として抽出することができる。また、立ったりしゃがんだりといった人物の動作に対しても、人物特徴としての平均化された色が上下で入れ替わったり極端に変動したりすることはまずないので、そういった人物の姿勢の変化に対しても安定して対応することができる。

図７は、上記説明した人物追跡システム１によって複数の人物（人物Ａ、人物Ｂ、人物Ｃの３人）検出を行った結果を示す図である。図７に示すように、各人物のおおよその体型や位置を検出することができる。本実施形態では視体積交差法を用いたため、人物の床面上の位置だけでなく、人物の三次元的な像を検出することができ大まかな動作をも監視することができる。

図８は、人物追跡システム１によって、複数の人物（人物Ｅ、人物Ｇ、人物Ｉ、人物Ｊの４人）の追跡を行った結果を平面的に示す図である。図８（ａ）はフレームｎにおける追跡結果を示し、図８（ｂ）は図８（ａ）から２３フレーム経過したフレーム（ｎ＋２３）、図８（ｃ）は図８（ｂ）からさらに１５フレーム経過したフレーム（ｎ＋３８）における追跡結果を示している。図８で、実線で示されているのが人物Ｅの動線、点線で示されているのが人物Ｇの動線、一点鎖線で示されているのが人物Ｉの動線、二点鎖線で示されているのが人物Ｊの動線である。図８（ａ）のフレームｎから図８（ｃ）のフレーム（ｎ＋３８）への時間経過に従い、人物Ｅは区域２の入り口（図８の下部中央に位置する。）から入って来て区域２内を真っ直ぐに進む。人物Ｇは区域２のほぼ中心から入り口へ向う。人物Ｉは区域２の隅（図面左上角）を僅かに動く。人物Ｊは一点（図面右上近傍）に留まり動かない。

図８（ａ）〜図８（ｃ）に示すように、それぞれのフレームにおいて人物の動線が交差した後にも、正確に人物同定が行われているのがわかる。動線が交差しているということは、複数の人物がかなり近くに接近した状態ですれ違ったことを示すが、その後においても良好な追跡が確認できた。さらに、図８（ｂ）のフレーム（ｎ＋２３）において、カメラ４ｂの視点から人物Ｇによって遮られている人物Ｅや人物Ｊを検出することができた。すなわち特定のカメラで別の人物によってその像が遮られている場合であっても、良好に人物の検出をすることができた。また、位置を動かなかったＪについては、座ったり立ったりする動作を行ったが、これらの動作に対しても影響されることなく人物同定及び追跡が確認できた。

上記実施形態によれば、以下のような効果を得ることができる。
（１）上記実施形態では、人物同定における人物特徴として、人物領域の全体の高さを基準（１００パーセント）として高さ毎に色を平均化した色特徴分布を採用している。この色特徴分布は、３次元で検出された人物領域においてどのような色が人物の高さ（身長）に対して比率としてどの位置にあるのかという情報を持っているため、この情報量は人物の向きやカメラの見え方によってほとんど変化しない。また、本実施形態では照明条件の変化がほとんどない店舗等の室内を想定しているため、環境の変化に人物領域の色が影響されることはありえない。よって、人物のポーズの変化等によって多少影響を受けた場合であっても、類似度算出や最終的な同定に際して許容される程度の誤差の範囲である。よって、カメラ４ａ，４ｂ，４ｃ，４ｄに映る人物の向きや位置に左右されない安定した人物特徴であって、正確な人物同定を行うことができる。

（２）また、その他の周知の同定方法等と比較して、システム構成を簡単にできる。特に顔画像を人物特徴としたパターンマッチングでは、高精度を維持するために様々な角度からの顔画像データが必要となることから、カメラの台数も多くなり、システム全体としての構成が複雑となる。その点、本実施形態によれば４台のカメラによって効率的に人物同定を行うことができる。

（３）さらに、この色特徴分布のデータは、３色（赤、青、緑）×ボクセルの段数、という非常に小数のデータで表すことができる。このため、人物特徴獲得の処理が軽く、その後の類似度算出ステップ（Ｓ５）や割り当てステップ（Ｓ６）における処理時間も少なくてすむため、装置全体として処理速度を向上させることができ、実時間での良好な人物追跡を行うことができる。また、処理コストも削減できる。さらに、汎用のコンピュータで手軽に本システムを実施することができる。

（４）さらに、視体積公差法では存在確率を用いて人物追跡が可能であるが、一端人物同士が重なってしまうとその後の人物の判別は困難であり、何らかの人物特徴を用いて同定を行う必要がある。本実施形態では、これらを組み合わせて実施することにより、人物同士が重なった後でも混同することなく良好な人物追跡を行うことができる。

（５）本実施形態では、表示手段１３を有し、区域２内の人物の動向を実時間でモニタにて目視できるようになっている。上記実施形態の人物追跡システム１を店舗等の監視システムとして使用することができ、同じ人物が何度も同じ所を通る等の不審な動きをするようであれば、すぐに察知することができる。

（６）さらに、本実施形態の人物領域検出ステップ（Ｓ３）では視体積交差法を用いているため、人物検出において床面上の位置だけでなく人物の外形形状の復元が可能であって、人物の２次元的な移動のみならず人物の姿勢やジェスチャ等３次元的な動作をも把握することができる。監視システムとして利用する場合、実時間で不審な行動を効率的に発見することができる。

（７）上記実施形態は動線情報記憶手段１２を有しており、動線情報記憶手段１２に記憶された動線情報を集計すれば、店舗内でどの箇所が最も顧客の注意を引いているかといった顧客のニーズや市場動向を探る手がかりとして利用することができる。

（８）上記実施形態の人物領域検出ステップ（Ｓ３）における視体積公差法では、存在確率算出手段１５によって基準人物の位置情報から対象人物の存在確率を算出する。よって、視体積公差法における雑音除去と人物同士の分離の信頼度を向上させることができ、システム全体としての精度向上を図ることができる。

（９）上記実施形態では、カメラ４ａ，４ｂ，４ｃ，４ｄは区域２の上方約２５０ｃｍの位置の４角に下方４５度を向くように配置されているため、区域２内をそれぞれのカメラ４ａ，４ｂ，４ｃ，４ｄによって隅々まで効率良く撮像することができる。

なお、上記実施形態は以下のような別の実施形態（別例）に変更してもよい。
・区域２内で複数の人物がすれ違った時に、検出される各人物領域が合体してその合体後に再び分離した時に、色特徴分布による同定を行う構成としても良い。人物追跡において視体積交差法のみでは補えない時にのみはじめて色特徴分布を使用することで、人物同士が重なった後でも混同することなく良好な人物追跡を行うことができる。

・人物領域の全体の高さ（人物の高さ）を基準とした高さ毎の色特徴分布を人物特徴とした部分の同定手法は、人物同定を行う際に最も一般的な顔画像のパターンマッチングによる手法と併せて実施することもできる。人物同定における種々の手法に対して補佐的な手法として用いることができる。これによれば、通常の手法に色特徴分布に基づいた比較をさらに加えることで、より正確で精度の高い人物の同定を行うことができる。

・また、一方の主の手法（顔画像によるパターンマッチング等）では同定が行えない場合にのみ、色特徴分布を用いて比較するように構成することもできる。
・上記実施形態では、色特徴分布による人物同定の手法を人物追跡装置６に具体化して説明したが、その他、種々の人物再検出の場面で実施することもできる。例えば、上記と同様な設定の区域を有する室内に一人の人物が入室した場合に、その人物が以前に入室した過去の履歴中のどの人物に該当するかを調べたりすることができる。また、過去の履歴中のどの人物の色特徴分布とも類似度が著しく異なり、予め定めた閾値を満たさない場合には、その入室人物は、はじめてその区域に入室する人物であることを認識する等の種々の実施態様が可能である。

・上記実施形態の人物領域検出ステップ（Ｓ３）における視体積公差法において、存在確率算出ステップを省略しても良い。
・上記実施形態では、４台のカメラ４ａ，４ｂ，４ｃ，４ｄを設置したが、設置位置及び台数はなんら限定されるものではない。視体積公差法を採用するに当たって、少なくとも２台のカメラは必要であるが、区域２の形状や面積によって３台もしくは４台以上の複数のカメラを種々の位置に設置することができる。

・上記実施形態では、対象人物に基準人物を割り当てる際に（図３のＳ６、図４）、フレーム内に存在する対象人物と全ての基準人物との類似度対応の比較を行う構成としたが、まず対象人物から一番近い基準人物を優先して類似度を比較する構成としても良い。この場合、人物が１フレームで極端に大きく移動することは考えにくいことから、まず対象人物から一番近い基準人物との類似度を算出し、この類似度が予め定めた閾値を超える場合には同一人物と同定することができる。

本実施形態の人物追跡システムの構成を示す概念図。 人物追跡装置のブロック図。 人物追跡プログラムを説明するフローチャート。 割り当てステップを説明するフローチャート。 色特徴分布作成の流れを説明する模式図。 色特徴分布作成ステップを説明するフローチャート。 人物検出結果を示す図。 人物追跡結果を示す図であり、（ａ）はフレームｎにおける人物追跡結果であり、（ｂ）はフレーム（ｎ＋２３）における人物追跡結果であり、（ｃ）はフレーム（ｎ＋３８）における人物追跡結果を示す。

符号の説明

Ｂ_ｋ…基準人物（基準移動体）、Ｏ_ｋ…対象人物（対象移動体）、Ｐｉ…存在確率、１…人物追跡システム、２…区域、３…人物（物体、移動体）、４，４ａ，４ｂ，４ｃ，４ｄ…ビデオカメラ（カメラ、撮像手段）、５…コンピュータ、６…人物追跡装置、７…画像取得手段、８…人物領域検出手段、９…色特徴分布作成手段、１０…類似度算出手段、１１…割り当て手段、１２…動線情報記憶手段、１３…表示手段、１６…人物領域（物体領域、移動体領域）、１７…ボクセル。

Claims (14)

1. 物体の領域全体を高さ毎の領域に分割する領域分割ステップと、
   分割された高さ毎の各領域の色を抽出して平均化し、平均化された高さ毎の領域の色に基づいて前記物体全体の高さ毎の色特徴分布を作成する色特徴分布作成ステップと
   を有し、物体と、該物体と比較すべき物体との同定を、前記各物体の色特徴分布と前記比較すべき物体の色特徴分布との比較に基づいて行うことを特徴とする物体の同定方法。
2. 所定の区域内を移動する移動体を多視点から撮像する撮像ステップと、
   該撮像ステップで撮像された複数の画像から移動体領域を検出する移動体領域検出ステップと、
   該移動体領域検出ステップで検出された移動体領域全体を高さ毎の領域に分割する領域分割ステップと、
   該領域分割ステップで分割された高さ毎の各領域の色を抽出して平均化し、平均化された高さ毎の領域の色に基づいて前記移動体全体の高さ毎の色特徴分布を作成する色特徴分布作成ステップと
   を有し、該色特徴分布作成ステップで作成された色特徴分布の比較に基づいて前記区域内における異なる時刻での前記移動体の同定を行うことを特徴とする移動体同定方法。
3. 前記移動体領域検出ステップでは、視体積交差法を用いて前記移動体領域の検出を行い、
   前記色特徴分布作成ステップでは、前記視体積交差法において移動体領域をボクセルとして検出し、当該各ボクセルの色を抽出して平均化することを特徴とする請求項２に記載の移動体同定方法。
4. 前記ボクセルは、その一辺が３ｃｍ〜１０ｃｍの範囲の立方体であることを特徴とする請求項３に記載の移動体同定方法。
5. 前記色特徴分布作成ステップでは、検出された前記移動体領域の全体の高さを１００パーセントとして前記移動体の色特徴分布を作成することを特徴とする請求項２乃至請求項４のいずれか１項に記載の移動体同定方法。
6. 前記移動体同定方法は、
   同定を行う対象画像における対象移動体の色特徴分布と、基準画像における基準移動体の色特徴分布との相関を正規化して類似度を算出する類似度算出ステップ
   をさらに有することを特徴とする請求項２乃至請求項５のいずれか１項に記載の移動体同定方法。
7. 前記領域内に複数の移動体が存在する場合であって、
   前記色特徴分布作成ステップは、複数の移動体の色特徴分布を作成し、前記類似度算出ステップは、複数の前記対象移動体の色特徴分布と複数の前記基準移動体の色特徴分布との類似度をそれぞれ算出し、
   前記移動体同定方法は、算出された当該類似度に基づいて各対象移動体に各基準移動体を割り当てる割り当てステップ
   をさらに有することを特徴とする請求項６に記載の移動体同定方法。
8. 前記領域内に複数の移動体が存在する場合であって、前記移動体領域検出ステップにおいて検出される複数の移動体領域が重なって合体した場合に、その合体後に再び分離した時に、前記対象移動体に対して前記色特徴分布に基づいた同定を行うことを特徴とする請求項２乃至請求項７のいずれか１項に記載の移動体同定方法。
9. 前記移動体同定方法は、基準画像における基準移動体の位置情報から同定を行う対象画像における対象移動体の存在確率を算出する存在確率算出ステップをさらに有し、前記移動体領域検出ステップにおいて、視体積交差法で前記存在確率に基づいて前記移動体の検出を行うことを特徴とする請求項２乃至請求項８のいずれか１項に記載の移動体同定方法。
10. 前記撮像ステップは、固定された撮像手段によって実行されることを特徴とする請求項２乃至請求項９のいずれか１項に記載の移動体同定方法。
11. 請求項１に記載の同定方法をコンピュータに実行させる物体同定プログラム。
12. ある区域内を移動する移動体を多視点から撮像する撮像手段によって撮像された複数の画像から移動体領域を検出する移動体領域検出ステップと、
    該移動体領域検出ステップで検出された移動体領域を高さ毎の領域に分割する領域分割ステップと、
    該領域分割ステップで分割された高さ毎の各領域の色を平均化して抽出し、抽出された色に基づいて前記移動体の高さ毎の色特徴分布を作成する色特徴分布作成ステップと
    を有し、該色特徴分布作成ステップで作成された色特徴分布に基づいて前記区域内における異なる時刻での前記移動体の同定をコンピュータに実行させる移動体同定プログラム。
13. 請求項１１に記載の同定プログラムが記録されている物体同定プログラム記録媒体。
14. 請求項１２に記載の移動体同定プログラムが記録されている移動体同定プログラム記録媒体。

Images