JP2016001447A - 画像認識システム、画像認識装置、画像認識方法、およびコンピュータプログラム - Google Patents

Abstract

【課題】リアルタイム性に優れ、頑健に個人同定を行うことができる画像認識装置等を提供する。【解決手段】特定の人物を異なる方位から撮像して得られた第１と第２の入力領域画像間の相対的な方位関係を取得する画像間相対方位取得手段１０４と、特定の人物又はその他の人物を少なくとも３つの方位から撮像して得られた登録領域画像群に含まれる第１の登録領域画像の特徴と第１の入力領域画像の特徴とを比較し、登録領域画像群に含まれる同じ人物の第２の登録領域画像の特徴と第２の入力領域画像の特徴とを比較して、第１および第２の入力領域画像に写っている人物と第１および第２の登録領域画像に写っている人物とが同一人物か否か判定する人物同定手段１０６と、を備える。第１と第２の登録領域画像間の相対的な方位関係が、第１と第２の入力領域画像間の相対的な方位関係に近づくように、第１と第２の登録領域画像が選ばれる。【選択図】図１

Description

本発明は、画像中の人物のトラッキングに関する技術、特にスポーツシーンやセキュリティカメラにおいて、複数のカメラの画像を用いて移動する人物を追跡する画像認識システム等に関する。

従来、サッカーやラグビーのような集団競技の様子を撮影し、複数の人物を自動的に検出・追跡して位置の履歴を記録するシステムがある。このようなシステムでは、競技者が密集したり、画面の外へ移動したり、あるいはその他さまざまな原因で追跡が失敗することがある。その際、過去の画像と現在の画像を比較して人物の対応付けをしなおすか、人間のオペレーターが手作業で対応付けを修正する必要がある。

上記のような人物の同定を機械により行う方法としては、例えば特許文献１がある。特許文献１の方法は廊下のような場所に複数台のカメラを設置し、歩行者が通過する様子を正面に近い角度からそれぞれのカメラで撮影する。各画像から人物の顔領域を検出し、正面顔に近くなるように各顔画像を補正して特徴量を抽出する。この特徴量のセットを部分空間法で識別して個人の同定を行う。本方法は複数の画像を使うため、単一のカメラを用いる方法より頑健である。

米国特許第８１１６５３４号明細書 米国特許第７４２１０９７号明細書 米国特許出願公開第２００３／０１２３７１３号明細書

Ａｄｒｉａｎ Ｈｉｌｔｏｎ，ｅｔ ａｌ．， "３Ｄ−ＴＶ Ｐｒｏｄｕｃｔｉｏｎ ｆｒｏｍ Ｃｏｎｖｅｎｔｉｏｎａｌ Ｃａｍｅｒａｓ ｆｏｒ Ｓｐｏｒｔｓ Ｂｒｏａｄｃａｓｔ″， ＩＥＥＥ ＴＲＡＮＳ． ＢＲＯＡＤＣＡＳＴＩＮＧ： ＳＰＥＣＩＡＬ ＩＳＳＵＥ ３Ｄ−ＴＶ ＨＯＲＩＺＯＮ， ２０１１ Ｐ． Ｆｅｌｚｅｎｓｚｗａｌｂ，ｅｔ ａｌ．， "Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｗｉｔｈ Ｄｉｓｃｒｉｍｉｎａｔｉｖｅｌｙ Ｔｒａｉｎｅｄ Ｐａｒｔ Ｂａｓｅｄ Ｍｏｄｅｌｓ″， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， Ｖｏｌ． ３２， Ｎｏ． ９， Ｓｅｐ． ２０１０ Ｓ． Ｍ． Ｋｈａｎ， ｅｔ ａｌ．， "Ａ ｍｕｌｔｉｖｉｅｗ ａｐｐｒｏａｃｈ ｔｏ ｔｒａｃｋｉｎｇ ｐｅｏｐｌｅ ｉｎ ｃｒｏｗｄｅｄ ｓｃｅｎｅｓ ｕｓｉｎｇ ａ ｐｌａｎａｒ ｈｏｍｏｇｒａｐｈｙ ｃｏｎｓｔｒａｉｎｔ″． Ｉｎ Ｐｒｏｃ． Ｅｕｒｏｐｅａｎ Ｃｏｎｆ． ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， ２００６． Ａｎｔｈｏｎｙ Ｄｅａｒｄｅｎａ，ｅｔ ａｌ．， "Ｔｒａｃｋｉｎｇ Ｆｏｏｔｂａｌｌ Ｐｌａｙｅｒ Ｍｏｖｅｍｅｎｔ Ｆｒｏｍ ａ Ｓｉｎｇｌｅ Ｍｏｖｉｎｇ Ｃａｍｅｒａ Ｕｓｉｎｇ Ｐａｒｔｉｃｌｅ Ｆｉｌｔｅｒｓ″， ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＣＶＭＰ−２００６， ｐｐ． ２９−３７， ＩＥＴ Ｐｒｅｓｓ， ２００６． Ｂｒｅｉｍａｎ Ｌｅｏ， ｅｔ ａｌ． "Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ ｒｅｇｒｅｓｓｉｏｎ ｔｒｅｅｓ″． Ｍｏｎｔｅｒｅｙ， ＣＡ： Ｗａｄｓｗｏｒｔｈ ＆ Ｂｒｏｏｋｓ／Ｃｏｌｅ Ａｄｖａｎｃｅｄ Ｂｏｏｋｓ ＆ Ｓｏｆｔｗａｒｅ，１９８４

しかしながら、上記方法は、正面に近い顔が撮影されることを前提としている。一方でスポーツシーンにおいては、対象人物が人物の密集の中に隠れていたり、各カメラがパンやズーム操作によって別の領域を撮影していたりする等の理由で、どのカメラからも対象人物の正面画像が撮影されていないことが有り得る。このような時には、正面の画像が撮影されるまで待つ必要があり、リアルタイム性に欠ける。

一方で、正面以外を含む複数の角度から人物を撮像し、各画像の顔の特徴を登録画像と比較して個人を同定する特許文献２のような方法もある。しかし、このような方法は、各画像の顔向きの方向が既知か常に固定でないと正確な比較を行うことができない。スタジアムのような広い領域を自由に移動する人物の、各カメラに写る顔向きの推定を正確に行うことは難しい。そのため、特許文献２のような方法は適用しにくい問題があった。

本発明は、こうした従来技術における課題に鑑みてなされたものであり、リアルタイム性に優れ、自由に移動している人物についてより頑健に個人同定を行うことができる画像認識システム等を提供することを目的とする。

上記の課題を解決するために、本発明の画像認識装置は、以下のように構成される。
特定の人物を異なる方位から撮像して得られた第１の入力領域画像と第２の入力領域画像との間の相対的な方位関係を取得する画像間相対方位取得手段と、
前記特定の人物又はその他の人物を少なくとも３つの方位から撮像して得られた登録領域画像からなる登録領域画像群に含まれる第１の登録領域画像の特徴と前記第１の入力領域画像の特徴とを比較し、前記登録領域画像群に含まれる前記第１の登録領域画像と同じ人物の第２の登録領域画像の特徴と前記第２の入力領域画像の特徴とを比較して、前記第１および第２の入力領域画像に写っている人物と前記第１および第２の登録領域画像に写っている人物とが同一人物か否か判定する人物同定手段と、を備え、
前記第１の登録領域画像と前記第２の登録領域画像との間の相対的な方位関係が、前記第１の入力領域画像と前記第２の入力領域画像との間の相対的な方位関係に近づくように、前記第１の登録領域画像と前記第２の登録領域画像とが選ばれる。

本発明を応用して得られる画像認識システムの一形態によれば、複数の方向から撮像した人物の画像を用いて個人の同定を行う。正面画像に限定せずに同定を行うため、同定のリアルタイム性に優れる。また、画像間の相対的な方位の関係に基づいて複数の画像を登録画像と比較するため、自由に移動している人物について、より頑健に個人同定を行うことができる。

本発明の実施形態に係る画像認識システムの基本機能の構成を示す図である。 実施形態１の処理のフローを示す図である。 位置により各カメラに写る人物の相対的な方位が変化する様子を示す図である。 人物トラッキング部１０１の詳細な機能を示す図である。 人物の同定の方法を示す模式図である。 人物の顔と胴体のモデルの模式図である。 実施形態２の処理のフローを示す図である。 ハッシングにより候補領域と人物のモデルとを比較する方法を示す図である。 実施形態３の処理のフローを示す図である。 実施形態３の顔向きの推定と人物の同定の方法の例を示す図である。 実施形態４の撮像装置と人物のモデルを示す図である。

以下、図面を参照して、本発明に係る画像認識システム、画像認識装置、画像認識方法およびコンピュータプログラムの実施形態を詳細に説明する。

［実施形態１］
本実施形態では、競技場のフィールド上で複数の競技者が運動している様子を複数のカメラで撮影し、各競技者を区別してそれぞれの位置を常時出力する画像認識システム等について説明する。以下の説明では、リアルタイムに競技者の位置を出力する形態を想定しているが、オフラインで認識処理を行う形態にも適用可能である。

なお、本実施形態では競技場での競技者の追跡と同定の実施形態について説明を行うが、本発明を適用して得られる画像認識システム等は、競技場における人物同定にのみ限るものではない。例えば、公共空間での監視や、オフィスや工場といった空間における労務管理等、様々な目的に供することが可能である。

以下、図面を参照して本発明の画像認識システム等を実施するための形態の例を説明する。図１に本実施形態の画像認識システムの基本構成を示す。
この画像認識システムは、２つ以上の撮像装置を有する撮像装置群１００と、画像認識装置１１０とを備えている。画像認識装置１１０は、画像間相対方位算出部１０４と、人物同定部１０６とを備えている。画像認識装置１１０は、人物トラッキング部１０１と、人物位置推定部１０２と、人物領域抽出部１０３と、特徴抽出部１０５と、人物領域特徴記憶部１０７と、人物同定制御部１０８と、人物情報出力部１０９とをさらに備えている。

撮像装置群１００は、画像データを撮像する２つ以上のカメラである撮像装置１〜ｎで構成されている。撮像装置の数（ｎ）は任意である。以降では、画像データとして主にカラーの動画像を撮像することを想定して説明を行うが、撮像装置群１００での画像データは、赤外画像や奥行き画像といった様々な形式であってよい。撮像装置群１００を構成する各撮像装置は、それぞれの所定の位置から競技場のフィールド内の撮影を行う。本実施形態の撮像装置群１００は、撮像範囲が変化しない固定カメラおよび撮影者の操作によってパン・チルト・ズーム動作を行うパン・チルト・ズームカメラから構成することができる。本実施形態では個々のカメラの位置は動かないものとする。また、説明の簡単のためパン・チルト・ズームの動作によるレンズの主点の変位量は無視できる量とする。なお、本実施形態では撮像装置１が競技場のフィールド全体を映す固定カメラとし、その他撮像装置２〜ｎをパン・チルト・ズームカメラとする。
各撮像装置を用いてある人物を異なる方位から撮像した画像（入力画像）の集まりを入力画像群とも表記し、入力画像の一部の領域を切り出して得られた画像を入力領域画像とも表記する。

人物トラッキング部１０１は、固定カメラである撮像装置１で撮像された画像（入力画像）から複数の人物を検出し、追跡を行う。ここで、追跡とは時間的に近接する２枚の画像間において人物がどこからどこへ移動したかの対応付けを行う処理を意味する。すなわち、この人物トラッキング部１０１は、２枚の画像における人物の位置座標情報（人物座標情報）を推定し、２枚の画像間における人物の移動を追跡するものである。また、人物トラッキング部１０１は追跡の結果（人物追跡結果）と共に、その信頼度も併せて出力するものとする。一般に、複数の人物が同時に移動する状況において人物の追跡の処理を完全に行うことは難しい。このため、追跡の失敗時には、後述する人物の再同定と位置の修正を行うこととする。

人物位置推定部１０２は、人物トラッキング部１０１によって推定された人物座標情報に基づいて撮像装置２〜ｎによって撮像された各画像データ上（各画像中）のどの位置（人物の位置）と範囲に当該人物が存在するかを推定する。
人物領域抽出部１０３は、人物位置推定部１０２が推定した人物の画像上の位置（人物画像位置情報）に基づいて各画像から人物の領域（領域画像）を切り出す。
画像間相対方位算出部１０４は、人物トラッキング部１０１が推定した人物座標情報を受け取り、撮像装置１〜ｎが写した前記人物の画像（領域画像）間の相対的な方位の角度差（相対的な方位関係）を算出する。

特徴抽出部１０５は、人物の領域画像群（各領域画像）から人物を同定するための手掛かりとなる特徴量（各領域画像の特徴）を抽出する。
人物同定部１０６は、特徴抽出部１０５から受け取った特徴量群（入力領域画像の特徴）を、人物領域特徴記憶部１０７に記憶されている特徴量群（登録領域画像の特徴）と比較し、人物の個人同定を行う。その際、人物同定部１０６は、画像間相対方位算出部１０４から先述の画像間の相対的な方位関係の情報（相対方位情報）を受け取り、これを考慮した上で特徴量群の比較を行う。人物の個人同定とは、同一人物か否かの判定を含む。
人物領域特徴記憶部１０７に記憶されている画像（登録画像）の集まりを登録画像群とも表記し、登録画像の一部の領域を切り出して得られた画像を登録領域画像とも表記し、登録領域画像の集まりを登録領域画像群とも表記する。

人物同定制御部１０８は、人物トラッキング部１０１から人物の追跡結果とその信頼度の情報を受け取り、必要に応じて人物同定部１０６に個人同定の処理を要求するトリガーを送る。そして、人物同定制御部１０８は、人物同定部１０６から同定の結果を受け取り、対応づけの修正(人物の位置座標情報の修正）を行う。人物情報出力部手段１０９は、このようにして得られた各人物の位置座標を出力する。

以下、図２のフロー図を用いて本画像認識システムの処理の流れを説明する。
まず、ステップＳ１において撮像装置１〜ｎの初期化を行う。これは、各カメラが写した画像中のフィールド上の物体の位置が、世界座標（ワールド座標）上のどの位置にあたるかの位置合わせを可能にするための校正処理である。この校正処理では、例えば、まず、複数のマーカー間の距離が既知であるような校正プレートを撮影する。撮影したマーカーの位置に基づいて光学系に起因する像の歪みを補正する変換パラメータを求め、画像の変換テーブルを作成する。この変換テーブルで画像を変換することで、歪みのない撮影画像が得られるようになる。なお、もしカメラのズーム動作によって像の歪みのパラメータが変化するような場合は、焦点距離を複数回変えて校正プレートを撮影し、複数の変換テーブルを作成しておく。そして焦点距離に応じて、適した変換テーブルを用いればよい。次に、歪み補正後の校正プレートの画像を用いて、主点位置等のカメラの内部パラメータ行列を推定する。

次に、非特許文献１等に示された校正処理で行われているように、予め定められた目標物として、フィールド上の白線やそれらの交点を撮影して画像中のそれらの位置を検出し、フィールドが平面であるという拘束条件の下で、カメラの外部パラメータ行列を求める。このような校正処理を行うと、競技場のフィールドを中心とする世界座標上のどこにカメラが位置するかが推定できるようになる。さらに、各カメラがパン動作を行って撮影範囲を変化させたときも、その都度上記の白線およびその交点の位置検出をして外部パラメータ行列を推定することにより、常に撮影画像中のフィールド上の一点が、世界座標上のどこに対応するかが求められるようにする。

上述の非特許文献１にあるようなカメラの校正と位置合わせの技術は、スポーツ中継画像へのＣＧの重畳処理技術としてすでに確立された既存技術であるので、内容についての詳細な説明は省略する。

なお、競技の撮影中、望遠ズーム動作を行ったために白線等の目標物の一部しか撮影できない、もしくは全く撮影できないような場合がありうる。このような場合には、画像座標と世界座標との対応付けを行うことができないので、後述の認識処理時に、このカメラからの画像を用いないようにする。そして、撮影者がズーム動作を広角側に行って位置合わせが可能になったら、その時点で、再び該当のカメラの画像を認識処理に用いるようにする。

もしくは、カメラのパン・チルト・ズーム動作の移動量を出力するエンコーダーやジャイロのようなセンサーを備えるカメラを用いて位置決めを行うようにしてもよい。あるいは、これらのセンサーの値が、画像認識による位置決めを補完するようにしてもよい。

また、このステップＳ１において、人物を追跡するフィールド上の領域範囲を設定して追跡処理の限定を行う。これによって競技者と無関係な観客を競技者として誤検出することを防ぐ。

次に、ステップＳ２では、各カメラから見えるフィールド上の人物の相対的な方位角の関係を算出できるように、画像間相対方位算出部１０４の初期化を行う。この処理の意味を図３（Ａ）および同図（Ｂ）に示す。この図は、人物のフィールド上の位置によって、各カメラから見える人物の角度が変わることを示している。例えば、図３（Ａ）でカメラ１が世界座標上の位置（ｘ，ｙ）にいる人物を写している時に、カメラ２はカメラ１の反対側の面を写している。すなわち位置（ｘ，ｙ）にいる人物をカメラ１と２で写した時の画像間の相対角度差θ_１，２（ｘ，ｙ）は１８０°となる。また、例えば、図３（Ｂ）で人物が位置（ｘ’，ｙ’）に移動すると、相対角度差θ_１，２（ｘ’，ｙ’）は、変化して相対角度差は９０°になる。本ステップで行われるのは、このように人物の場所による各カメラ間の相対的な角度差の値を全て求めて保存し、後段の認識処理で利用できるようにすることである。この処理の形態は複数ある。例えばフィールドを一定の格子に分割し、格子ごとに上記の値を算出してテーブルに保存すればよい。

また、別の形態としては、例えば以下の余弦定理の変形式を記憶しておき、人物の位置ｘ，ｙを式に代入して、その都度相対角度差θ（ｘ，ｙ）を求める形態でもよい。
［数式１］
θ（ｘ，ｙ）＝ａｃｏｓ（（ｂ^２＋ｃ^２−ａ^２）／２ｂｃ），
ａ＝ｓｑｒｔ（（ｘ１−ｘ２）^２＋（ｙ１−ｙ２）^２），
ｂ＝ｓｑｒｔ（（ｘ１−ｘ）^２ ＋（ｙ１−ｙ）^２），
ｃ＝ｓｑｒｔ（（ｘ２−ｘ）^２ ＋（ｙ２−ｙ）^２）．
ここで、ａｃｏｓ（）はアークコサイン関数であり、ｓｑｒｔ（）は引数の平方根を返す関数である。また、（ｘ１，ｙ１）、（ｘ２，ｙ２）はカメラ１およびカメラ２の世界座標上の位置である。

なお、ここでは、カメラが二つの場合のみの例を示しているが、複数のカメラ間の角度差を保存する場合は、例えばカメラ１を基準として、各カメラとの角度差θ_１，２，θ_１，３，…θ_１，ｎ を記憶すればよい。そして、任意の二つのカメラｉとカメラｊ間の相対角度差を求める時は、下式のように和を取ればよい。
［数式２］
θ_ｉ，ｊ＝θ_１，ｉ＋θ_１，ｊ

次に、ステップＳ３では、画像認識結果あるいはユーザーの教示に基づいて人物トラッキング部１０１の初期化を行う。このステップでは、本画像認識システムに要求されている認識の精度およびユーザーが払ってもよい労力の度合いにより、複数の教示の形態が考えられる。ここでは、ユーザーが人物トラッキング部１０１に、例えば下記の情報を与えることで初期化を行うものとする。
（１）両チームの競技者および審判員の人数の入力
（２）人物検出結果の誤りの修正の指示

ここで、人物トラッキング部１０１の初期化の処理動作の詳細を説明する。
図４は、人物トラッキング部１０１の詳細な機能を示す図である。
人物トラッキング部１０１は、例えば制御部１０１ａと、人物検出部１０１ｂと、フレーム間人物対応付け部１０１ｃと、ユーザ−インターフェース部１０１ｄと、画像入力部１０１ｅと、結果出力部１０１ｆとを備えている。

人物検出部１０１ｂは、撮像装置１が撮像した画像に基づいて人物の検出を行う。これは、上述の非特許文献２のような一般的な人物検出の方法によって人物を検出するものであるが、人物検出は特定の検出手法に限定されない。

また、さらに本実施形態では撮像装置群中の固定カメラである撮像装置１の画像にのみ基づいて人物検出を行うが、別の派生の形態として非特許文献２のように複数のカメラで複数の方位から人物の検出を行うことで、より失敗の少ない人物検出を行ってもよい。

次に、もし全ての競技者および審判が検出されていなければ、人物トラッキング部１０１は、その旨をユーザーに報知する。ユーザーは、ユーザーインターフェース部１０１ｄによって正しく各人物の位置を指示しなおす。全ての人物が正しく検出されたら、人物トラッキング部１０１は各人物に固有の識別ＩＤを割り当てる。この識別ＩＤが、各人物の位置と個人のＩＤの初期値となる。

なお、ここでは他の想定できる形態として、ユーザーの介在の度合いが大きい以下のような情報を与える形態も考えられる。
（３）競技者および審判員の顔を予め複数の方位から撮像した領域画像のセット
このような情報を与えることにより、後述の人物の同定処理の精度を高めることが可能である。
以上が人物トラッキング部１０１の初期化動作になる。

次に、ステップＳ４に進み、競技を記録している期間中、以下のステップＳ４からステップＳ２０までを１サイクルとする処理を行って、人物の動きを追跡する。そして、競技終了等の終了状態に達するまでの間、人物情報出力部１０９が、各人物の位置をその識別ＩＤとともに出力し続ける。
まず、ステップＳ４は、画像取得のステップであり、各撮像装置１〜ｎそれぞれが現在カメラの向いている範囲を撮影する。

次に、ステップＳ５では、人物トラッキング部１０１が備えるフレーム間人物対応付け部１０１ｃが、一つ前のフレームで検出された人物が現在のフレームでどこに移動したかを示す移動ベクトルを推定する。このような処理としては広く公知な技術としてテンプレートマッチやパーティクルフィルタ等を用いるものがあり、例えば非特許文献４等に開示されているため、詳細な説明は省略する。

フレーム間人物対応付け部１０１ｃは、上記追跡の結果の確からしさのスコアを出力する。このスコアは、テンプレートマッチ手法に類するものであれば、正規化相関値や輝度値の差の二乗和等であり、パーティクルフィルタ手法に基づくものであれば、パーティクルの平均尤度等である。人物を取り違えたり、人物が遮蔽されたりする等の理由で、前後フレーム間で人物の見えの類似度が著しく下がったときには、低いスコアが出力される。また、選手の交代等によって画面の外や人物検出の設定範囲外へ人物が移動した場合については、フレーム間人物対応付け部１０１ｃは、スコアとは別にそのことを示す状態値を出力する。

次に、ステップＳ６では、人物同定制御部１０８が、先のステップで行われた人物の追跡結果と信頼度とを受け取り、各人物の前後フレーム間の対応付けが、閾値以上の信頼度で行われたかどうかを判定する。もし、対応付けの信頼度の低い人物が存在していれば、追跡に失敗したとして、人物トラッキング部１０１に、該当人物を検出する要求トリガー信号を送る。

ステップＳ７は、人物トラッキング部１０１が、上記のような人物検出の要求トリガー信号を受けた時の動作である。人物トラッキング部１０１は撮像装置１の画像に対してステップＳ３で行った処理と同様に、人物検出処理を行う。そして、人物候補として検出された複数の領域のうち、所定以上の尤度スコアが得られた領域を抽出する。さらに、これらのうち現在人物として追跡中の領域に所定以上重なる領域は除き、残った領域を人物候補の領域として出力する。

続くステップＳ８からステップＳ１２までの処理は、画像中の各人物の複数方位からの顔画像とその特徴を抽出する処理である。
まず、ステップＳ８で、人物トラッキング部１０１が撮像装置１の画像中の追跡中の人物（および人物の候補）の画像上の位置から、世界座標上の位置を算出する。これは、先にステップＳ１で行った校正で得た撮像装置１のカメラの外部パラメータを使って変換することで可能である。

次に、ステップＳ９では、人物位置推定部１０２が各人物の世界座標上の位置およびその大きさが、撮像装置２〜ｎによって撮像された画像上のどの位置と範囲に対応するかを算出する。これも、ステップＳ８と同様に、推定カメラパラメータを使った座標変換によって行われる。

なお、ステップＳ１の動作中で説明した通り、画像中に目標マーカーが写っていないためにカメラパラメータを推定できない場合は、この撮像装置については、対応位置は不明としておき、以降の処理に用いない。

次に、ステップＳ１０では、画像間相対方位算出部１０４が人物の位置（ｘ，ｙ）の情報に基づいて、各カメラから見える人物の相対的な方位の角度差の値を算出する。方法は、ステップＳ２の動作中で説明した通りである。これにより、各撮像装置から見える人物の相対的な角度差 θ_１，２，θ_１，３，…θ_１，ｎ が与えられる。ただし、この時点で人物が向いている絶対的な方向は不明である。

次に、ステップＳ１１では、人物領域抽出部１０３が各撮像装置から見える各人物の頭部の領域の切り出しを行う。これは、例えば非特許文献２に記載されているような方法で、各画像中の当該人物の位置の周辺から人物を検出することにより位置合わせを行い、その領域中から平均的に頭部にあたる位置を切り出すことによって行う。

次に、ステップＳ１２では、特徴抽出部１０５が、このようにして得られた各人物の頭部の画像群から個人を識別するために適切な特徴量を抽出する。ここでは、例えば照明変動に頑健に個人識別が行えるよう、各画像をＬｏＧ（Ｌａｐｌａｃｉａｎ ｏｆ Ｇａｕｓｓｉａｎ）画像に変換して、これを画像の特徴量とする。ただし、特徴量は、この例に限定されるものではない。ＬＢＰ（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）特徴や、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔ）特徴等、人物の照合の目的に一般的に使われるどのような特徴量でもよい。

ここまでの処理により、各追跡中の人物の領域（および人物の候補領域）を複数の方向から撮像した画像およびその特徴量が抽出される。

次に、ステップＳ１３では、人物同定制御部１０８が、人物トラッキング部１０１による追跡処理の時に、信頼度が所定の値よりも低い人物がいたかどうかによって処理を変える。もし、追跡信頼度の低い人物がいた場合は、人物同定部１０６に、その人物のＩＤと、人物の同定をしなおす要求トリガーの信号とを送り、ステップＳ１４に進んで、人物の再同定を行う。一方、全ての人物が信頼度高く追跡できていれば、この処理は行わずにステップＳ１９に進む。また、ここで、別の形態として、信頼度とは別に、一定期間が経過したら、機械的に人物同定要求のトリガー信号を人物同定部１０６に送って人物の同定をしなおすような処理の形態としてもよい。

ステップＳ１４からステップＳ１８までは、追跡に失敗した人物の再同定を行う処理である。
ステップＳ１４では、人物同定部１０６が再同定の要求のあった人物のＩＤを受け取り、そのＩＤの人物のモデルを人物領域特徴記憶部１０７から読みだす。ここで、人物モデルとは、図５（Ａ）に示すように、人物の顔領域の全周画像の特徴を記憶したものである。人物領域特徴記憶部１０７に記憶（登録）されている顔領域の画像を登録領域画像とも表記する。この全周画像は人物の追跡開始直後から逐次撮像して登録した画像セットからなる。

次に、ステップＳ１５では、同定対象の人物のモデルと比較する候補領域の優先度順を決定する。ここでは、先のステップＳ７で人体の候補領域を検出していれば、まず、それらのうち人体としての尤度が高い領域を順に候補領域とする。次に、追跡処理では人物間の入れ替わりによる誤対応が起こることも考慮し、さらに、現在追跡中の人物の全領域も候補領域とする。この領域については、追跡の信頼度の低い領域から順に候補領域とする。

次に、ステップＳ１６では、人物同定部１０６が、このようにして決定した候補領域の一つ一つについて、人物モデルの画像（登録領域画像）の特徴と一致するかどうか順に判定していく。まず、図５（Ａ）に示すように、候補領域の画像１を基準画像として、これを顔向き０度と仮定する。さらに、画像１と画像２との相対方位がθ_１，２、画像１と画像３との相対方位がθ_１，３になるように、画像２と画像３の顔向きを仮定する。なお、同図中では、撮像装置によって３方向の画像が得られているとして図示している。次に、全周囲モデルの画像（登録領域画像）のうちから各候補領域画像の仮定した顔向きそれぞれについて、最も角度の近い画像を選び、画像特徴が一致するかどうか比較する。ここでは、最も一般的な比較の方法として、正規化相関で比較する。なお、候補領域および人物モデルの画像は、切り出しの際に理想的な位置から多少の位置ずれが含まれると考えられる。このため、正規化相関の際には、所定の範囲で画像をｘｙ方向にオフセットさせながら複数回の比較を行い、そのうちの最大の相関値をマッチスコアとして採用する。

図５（Ｃ）には、このようにして各画像を比較した結果のマッチスコアの合計値の例を示す。図５（Ａ）での比較の結果は、記号Ａが付された矢印で示された値となる。このような比較を、候補領域の各画像の相対的な間隔θを保ったまま、方位を全周３６０度にずらして複数回行う。このときのマッチスコアの最大の合計値は、図５（Ｂ）に示す方位で比較を行ったときに得られる。このスコアを、候補領域と当該ＩＤの人物モデルとの一致度とする。この時のスコアを、図５（Ｃ）に記号Ｂを付した矢印で示す。

合計マッチスコアが所定の値を上回ったら、その候補領域は、当該ＩＤの人物と一致するとして、人物同定制御部１０８に同定結果を返す。上回らなければ、次の優先順位の候補領域に移って、人物モデルとの比較を行う。

なお、人物の全周囲モデルの画像は、本画像認識システムの動作開始直後は、画像の登録数が少ないことが考えられる。そのため、対応する画像が少ない方位に関しては、平均的な顔モデルの画像で一部代替しておくようにしてもよい。もしくは、先にステップＳ３で述べたように、予めユーザーが、ある程度の量の全周囲画像データを用意しておくようにしてもよい。

また、ここで、候補領域と人物モデルを比較する際に、人物が他の無関係な人物で一部遮蔽されている等の理由で、一部の画像について正規化相関の値が低くなることがある。この影響を抑えるための工夫として、所定の下限値よりも低い相関値はアウトライヤーとして、そのまま使わずに下限の値に置き換えるようなことが考えられる。また、他の工夫として、候補領域から顔領域の画像を抽出する際に、他の人物の位置を考慮すると遮蔽が起こっていると考えられる場合は、その画像を用いないようにしてもよい。

また、カメラから遠い位置にいる人物を広角で写した場合や、性能の劣るカメラで撮像した画像は、画質が悪いことがある。このような画像が人物モデルの画像とマッチしたとしても、結果の信頼度は低いと考えられる。そこで、画像の解像度が高いほど、もしくは、近距離で人物を写している画像ほど、大きな値をとるような重み付けの値ｗ_ｒを定義し、複数の比較結果のマッチスコアを合計する際にｗ_ｒで重み付けしてから合計してもよい。これにより、複数方向から撮像した画像のうち、画質の良い画像をより重視したマッチングを行うことができる。

また、先に説明したように、各候補領域画像の仮定した顔向きそれぞれについて、最も角度の近いモデルの画像を選んで比較するのではなく、ある程度角度の近いモデルの画像を全て選んで比較を行ってもよい。その場合、全比較結果のうちの最大のマッチスコアや、平均のマッチスコアを比較結果とすればよい。あるいは、先述の重みの値ｗ_ｒを用いて複数のマッチスコアを重み付けして合計してもよい。

次に、ステップＳ１７では、人物同定制御部１０８が、人物同定部１０６が同定した結果に従って人物の位置情報を訂正する。また、このとき、例えば人物Ａとして追跡中だった人物の位置が、実際には人物Ｂに対応する人物の位置であることが判った場合も訂正し、人物Ａを新たに追跡に失敗した人物として、人物同定部１０６に再同定の要求トリガーを送る。このようにして、必要なだけ人物の再同定処理を繰り返す。

次に、ステップＳ１８では、人物同定制御部１０８が、全ての再同定対象の人物について候補領域との比較を行ったら、人物同定処理を終了する。最後まで対応する候補領域がなかった人物については、このフレームについては位置不明とする。また、人物検出の尤度スコアが所定値以上で、人物としての可能性が高い候補領域にも関わらず、どの人物のモデルとも一致しなかった領域は、選手交代等で新たに出現した人物と考えられるため、新規の人物として新たなＩＤを割り当てて追跡を開始する。

次に、ステップＳ１９では、人物同定制御部１０８が、これまでの処理ステップで対応付けられた各人物の位置とＩＤを人物情報出力部１０９に出力し、その画像フレームの位置情報として記録を行う。

次に、ステップＳ２０では、人物同定部１０６が、人物の向きを推定する。これは、ステップＳ１６で行われた候補領域と人物モデルとの比較処理と同じ処理である。複数の方位で比較を行い、最大の合計マッチスコアの時の向きに基づいて、人物の向いている方向を求める。

次に、ステップＳ２１では、顔向きの推定値の信頼度を求める。ここでは、先に求めた最大の合計マッチスコアが信頼度になる。信頼度が高い場合はステップＳ２２に進む。

次に、ステップＳ２２とステップＳ２３では、新たに人物の画像特徴を人物モデルに追加・更新する処理を実行する。この処理を行うことで、競技中に人物の画像の情報が次第に蓄積され、同定処理の信頼性が増すことになる。また、競技中に付着した汚れ等の変化に追随することも可能になる。

ステップＳ２２では、人物の画像を新たに人物のモデルの全周囲画像に加える。具体的には、ステップＳ２０で推定された顔向きの値と、顔画像の特徴量とを登録する。このとき、登録されたタイミングが古い画像から先入れ先出しで徐々に入れ替えていく。この入れ替え処理において、解像度が高い画像は優先して入れ替えないようにしてもよい。また、人物同定の頑健性を高める目的で、一つの方位に対して最大ｎ個までの複数の画像を登録するようにしてもよい。この場合は、一つの候補領域画像とモデルとを比べる際に、毎回最大ｎ個の画像との比較を行い、そのうちの最大値をマッチスコアとすればよい。

次に、ステップＳ２４では、競技が終了した等を知らせるユーザーからの入力があるかどうか調べ、終了条件が満たされるまで、ステップＳ４に戻って以上の処理を繰り返す。
以上が本実施形態の全体の処理の流れになる。

このように、本実施形態では、複数の方位の画像を用いて競技場等における人物の追跡と同定を行うことができる。この実施形態では、正面の画像が撮影されていなかったり、全体のうちの一部の撮像装置からしか人物が撮影できていない状況においても、画像間の相対関係を手掛かりにして画像群と人物モデルとを比較して頑健に且つリアルタイム性に優れた人物同定ができる。

なお、上述の人物の同定の方法は、上述の顔の領域を用いた方法だけでなく、例えば胴体の領域についても人物モデルとして用いて同定を行うようにしてもよい。例えば、スポーツ競技においては、胴体の背番号等が個人同定に有用であるため、胴体の領域についても用いることにより、顔の領域のみを用いて同定するのに比較してより精度を高めることができる。

具体的には、例えば図６（Ａ）に示すように、顔と胴体の領域を別々に抽出し、それぞれ別の特徴群のモデルとして格納し、テンプレートマッチングを行う。このように、顔と胴体の領域を別々に抽出するのは、顔の方向と胴体の方向が一致しない場合があるためである。テンプレートマッチングの結果例を、例えば図６（Ｂ），（Ｃ）中に太い黒枠線で示す。このような場合には、例えば二つの領域の人物同定の結果を所定の重みで重み付けして加算した結果を、同定の最終結果とする。

［実施形態２］
実施形態２の画像認識システムは、図１に示す実施形態１の画像と同様に構成されている。この実施形態では、実施形態１とは異なる方法により、人物同定を行っている。なお、この実施形態においても、対象となる人物の画像領域間の相対方位は既知であり、人物の顔向きは不明であるとする。実施形態１では正規化相関を用いて、候補領域の顔画像特徴と人物モデルの一つ一つの顔画像特徴とを比較したが、この実施形態では、ハッシングを用いて、より高速に候補領域とモデルとの比較を行うようにしている。また、候補領域を高速に全ての人物モデルと比較することができるので、本実施形態では毎フレームごとに人物の同定を行うものとする。

図７は、本実施形態において特徴的な人物同定の処理フローの部分を示す。
まず、ステップＳ１００では、実施形態１と同様に、人物検出や前フレームまでの人物トラッキングの結果から人物らしいと見なされた複数の候補領域が取得される。この各候補領域について、複数方向の画像から顔領域にあたる領域を抽出し、顔の候補領域とする。さらに画像間の相対的な方向（相対的な方位関係）の値を得る。

次に、ステップＳ１０１では、候補領域をＬｏＧ画像に変換する等個人同定に好適な前処理を行う。

次に、ステップＳ１０２からステップＳ１０５までの処理で候補領域が、どの人物モデルと類似しているかの比較処理を行う。この実施形態では、高速な比較の方法としてハッシングを用いる。まず、ステップＳ１０２では、図８（Ａ）に示すように、各候補領域の、所定の相対位置に離れた２点のペアの画素の輝度値の比較を行う。２点のペアは、ランダムなセットをｎ個用意してｎ回の比較を行い、長さｎのビット列の特徴を得る。すなわち、１枚の候補領域画像が長さｎのビット列に変換される（図８（Ｂ））。

次に、ステップＳ１０３では、上記で得られたｎビット列特徴ｂを、下式のようにｍ×ｎのランダム射影行列Ｒで変換する。ここでＲは要素の値がランダムな行列である。さらに、変換後にその符号に応じて０か１の二値に変換する。これにより、長さｍのビット列であるハッシュ値ｈを得る（図８（Ｃ））。
［数式３］
ｈ＝（ｓｉｇｎ［Ｒｂ］＋１）／２
ここで、ｓｉｇｎ［・］はベクトルの各要素をその正負の符号に変換する関数である。

次に、ステップＳ１０４では、このようにして得られたハッシュ値をインデックスとし、対応するハッシュ表のインデックスを調べ、そこに登録されている人物のデータがあるかどうか調べる。ハッシュ表には予め一人以上の登録人物とその顔向きごとにハッシュ値を求め、その結果が記憶されている。登録されている人物のＩＤと顔の向き（ここでは変数θで表わす）を、候補領域とマッチした人物モデルのデータとして取得する（図８（Ｄ））。同図に示すように、各インデックスには二つ以上のモデルのデータが登録されていることがあるが、このような場合は全てのデータを取得する。もしくは、各データのうち最も解像度の高い画像（人物を近い距離から撮像した画像）に関するデータを優先的に一つだけ取得するようにしてもよい。一方、インデックスに登録されたデータがない場合は、候補領域はいずれにもマッチしなかったとして、次の候補領域の比較を行う。

次に、ステップＳ１０５では、ステップＳ１０４でマッチした人物モデルの情報を用いて投票を行う。具体的には、まず基準のカメラ（ここでは撮像装置１とする）と候補領域画像との相対的な方位の差と、候補領域画像がマッチした人物モデルデータの顔向きの方向に基づいて、以下のように基準のカメラ１から見た人物の顔向きの方向θ_１を求める。
［数式４］
θ_１＝θ_１，ｊ−θ_ｊ
ただし、ここでθ_１，ｊはカメラ１とカメラｊの候補領域画像の相対的な方位の差、θ_ｊはハッシングによってカメラｊの候補領域画像とマッチしたデータの顔向きの方向である。

このようにしてカメラ１から見たときの人物の顔向きの方向の値θを推定したら、顔向きの方向θと人物のＩＤの２次元の投票空間への投票を行う。このとき、顔向き方向θの投票空間は、適当なビンニングを行って離散化しておく。

次に、ステップＳ１０６で全投票を集計して最大の投票数が得られたビンの投票数が所定の値を超えていたら、候補領域は該当するＩＤと顔向きの人物であるとして同定する。

次に、ステップＳ１０７では、同定が成功した場合のみ、同定された人物のデータをハッシュテーブルに追加登録する。ステップＳ１０３で、先ほど求めたハッシュ値をインデックスとして各候補領域画像が該当するテーブルそれぞれにＩＤと顔向きの値を記録する。ここで、実施形態１と同様に、古い登録データはハッシュテーブルから順次取り除いていってもよい。これにより、人物モデルのデータを更新し、且つデータの処理量を一定以内に収めることができる。
以上が、ハッシングを用いて高速に人物を同定する処理の流れになる。

なお、ステップＳ１０１の前処理として本形態ではＬｏＧ画像への変換を行ったが、ここでは、識別力を高めるために、顔の識別手法としてよく用いられる固有顔の基底等にデータを変換するようにしてもよい。

また、ステップＳ１０２では、２点ペアの位置はランダムではなく、学習用の画像データを用いて、情報量基準等を用いてより識別的な位置を探索して決定するようにしてもよい。

また、ステップＳ１０３では、ランダム射影行列Ｒを用いていたが、射影後のデータの偏りを防ぐために、ランダム射影行列の変換の前に主成分分析を行ってデータを無相関化してもよい。具体的には、例えば学習用の顔画像データをｎ次元のハッシュ値に変換し、このｎ次元のデータについて主成分分析を行う。上位ｋ個の主成分を選んでｋ×ｎの次元削減行列Ｐを求める。次に、ｍ×ｋのランダム射影行列Ｒを作成し、ＰとＲを合成した行列Ｒ’＝ＲＰをｍ×ｎの変換行列として用いて実現すればよい。なお、ここでは、ｍ≦ｋ＜ｎである状態を想定している。

また、ステップＳ１０5では、実施形態１と同様に画像の解像度が高い場合には大きな値をとるような重みｗ_ｒを定義し、投票時に１の値ではなくｗ_ｒの値を投票してもよい。これにより、解像度の高い画像のマッチ結果がより投票で重視されるようになる。

また、ステップＳ１０５では、同様にしてデータの登録されたタイミングが古いほど小さい値をとるような重みｗ_ｔを定義し、ｗ_ｔの値を投票してもよい。これにより、新しい登録データが古い登録データよりも重視されるようになる。

また、本実施形態では各人物の全方向の顔画像が予めハッシュ表に登録されているとしたが、このような網羅的な人物モデルを必要としない形態も考えられる。例えば、全人物のモデルの代わりに、平均的な人物の複数の顔画像のデータをハッシュ表に登録しておいてもよい。そして、システムの動作が開始されたら、所定の期間は、この平均的な人物のモデルを用いて追跡中の人物の顔向きを推定する。具体的には、ハッシングによる比較の後に、人物のＩＤに対しては投票を行わず、顔向きのみに投票すればよい。そして、顔向きの推定に成功したら、追跡中の人物のＩＤと顔向きの情報とをハッシュ表に追加する。このようにして人物のモデルのデータを順次追加していくことで、全人物の顔画像を予め用意せずにシステムを動作させることが可能である。

また、人物の顔領域は切り出しの際に位置ずれを伴うことを考慮して、一つの候補領域画像をｘｙ方向に微小な量ずらしてｎ個のパターンの画像を作成し、それぞれについて、ハッシングと投票を行うようにしてもよい。この場合、処理量はｎ倍に増えるが、投票の量もｎ倍に増えるためより安定した人物同定が可能となる。

以上のように、本実施形態では、ハッシングを用いて高速に人物の同定を行うことができる。なお、ハッシング手法は多岐に渡っており、本発明に適用可能なハッシングは、ここで説明した方法にのみ限定されるものではない。

［実施形態３］
実施形態３では、上述の実施形態１の人物の同定処理を拡張している。
本実施形態では人物の顔の絶対的な向き（顔向きの方向）を推定し、顔向きの方向に基づいて異なる特徴の抽出を行い、人物を同定する。

例えば、特許文献２に述べられているように、人物の顔の向き（顔向きの方向）が既知である場合には、顔向きに応じて顔の識別に有用な特徴を指定して抽出することが可能である。例えば、横向きの顔であれば耳や鼻といった顔の器官を検出し、器官の間の距離や角度を特徴とすることが、人物の同定処理において有効であることが知られている。顔の向きが既知であれば、上記の器官の検出処理はテンプレートマッチのような比較的簡素な処理でも安定した検出ができる。また、器官の間の長さや角度は、顔の向きによって変位するが、顔向き角度が既知であれば、この変位量を補正して安定した特徴量とすることが可能である。

また、顔向きが既知であれば、特許文献１に記載の方法で行っているように画像変換を加えて所定の顔向きに近づくよう補正し、その後に目や鼻を中心とした所定の一定の範囲の領域からＬＢＰのような領域の見えの特徴量を抽出するといったことも可能になる。
このように、人物の顔向きの角度が既知であることは、人物の同定処理の精度を高めるのに有用である。以下、実施形態１との差異を中心に説明を行う。

図９にフロー図を示す。これは全体フロー図のうちから特に実施形態１との差異となる部分を抽出したものである。具体的には、画像中の各人物について人物の同定に用いる特徴量を抽出するまでの処理を抜き出したものである。この処理では、ステップＳ２０８からステップＳ２１１までは、上述の図２に示す実施形態１のステップＳ８からステップＳ１１までの処理と同じ動作を行う。

次に、ステップＳ２１２では人物の顔向きを推定するための顔の特徴量を抽出する。さらに、ステップＳ２１３では、人物の顔の向きを推定する。具体的には、先に実施形態１のステップＳ２０で説明したように、相対的な顔向きを保ちながら、全周囲の顔のモデルとの正規化相関によるマッチングを行う。ただし、この時点で候補領域がどの人物かは分からないので、平均的な顔の全周囲データ画像を別途用意しておき、この平均人物モデルと比較する。

次に、このマッチングの結果から、ステップＳ２１４で個々の画像の人物の顔の向きを求める。次に、ステップＳ２１５では、顔向きごとに人物の同定のための特徴を抽出する。具体的には、先に説明したように目、耳、鼻等の人物の顔の器官を検出する。なお、検出対象とする器官は顔向きごとに予め決めておく。

次に、ステップＳ２１６では、顔の正面方向を０度とし、全周を８等分に割った８方向の顔向きを定義し、８方向のうちもっとも近い方向に各画像を近づける正規化を行う。具体的には顔の形状を円筒と仮定し、ｘ方向に部分的な圧縮および拡大を行う関数によって奥行き回転の画像変換を近似する。このような関数で、各器官がおおよそ正しい位置に移動するように奥行き回転を行う。

なお、このステップＳ２１6における処理で、仰角方向についての顔画像の補正を行うようにしてもよい。各方位のカメラの設置高がまちまちな場合、人物の見えの仰角方向の角度が揃っていない。そこで、奥行き回転方向（奥行き回転角度）を揃える先の正規化の方法と同様に、検出した器官の位置に基づいて所定の仰角に近似的に見えが一致するように顔画像を変換するようにしてもよい。

次に、ステップＳ２１７では、このようにして変換された画像から、各顔の器官の位置に基づいた特徴量を抽出する。ここでは、顔向きの方向に応じて異なる特徴（顔向きの方向に応じて最適な特徴量）を抽出する。具体的には、例えば正面方向の画像であれば、両目・鼻・口周辺の領域のＬＢＰ特徴、横方向の顔向き画像であれば耳と鼻の間の距離等である。

次に、ステップＳ２１８では、各画像の特徴と、８方向別に記憶されている顔のモデルに対して、対応する顔向きの特徴と比較する。具体的には、二つの特徴量ベクトルの差分を入力とし、サポートベクトルマシン等の識別器を用いて二つの画像の特徴が一致しているか否かの学習と識別をする。なお、この学習は予め様々な人物の、照明変動等のある顔画像を用いて、８方向の顔向き別に行っておく。

次に、ステップＳ２１９では、このようにして比較した結果を総和して、候補領域が当該人物かどうかの同定結果とする。図１０（Ａ）に、ここまでに説明した候補領域画像の顔向きの正規化、特徴抽出、および顔モデルとの比較、の処理の流れについての模式図を示す。

また、ステップＳ２１４の人物の向きの推定の処理は、例えば図１０（Ｂ）に示すように行うこともできる。これは、予め各顔向きの画像を入力パターンとし、回帰分析の手法で顔向きの値を推定できるように学習しておくものである。

具体的には、一般的な回帰分析の手法の一つの例として、非特許文献５等で公知なＣＡＲＴ（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ Ａｎｄ Ｒｅｇｒｅｓｓｉｏｎ Ｔｒｅｅ）と呼ばれる回帰木手法を用いる。回帰木に、様々な人物の顔画像とその時の顔向きの値を学習データとして入力して学習させると、学習終了後には、入力された顔画像に対して、顔向き方向の尤度の分布が出力できるようになる。そこで、この尤度分布を用いて、図１０（Ｂ）のように正面の顔向き方向へと投票を行う。投票した値を合計して（同図中では合計した値を破線の曲線で表している）、その最大の方位を顔の正面向きとする。なお、同図中では最大の方位を太い縦線で表わしている。

また、人物の顔向きを推定するために、人物の移動方向を用いることもできる。一つの例として、人物の追跡結果を用い、その移動方向を顔向きの方向としてもよい。この場合、人物が横を見ながら移動する際は同定に失敗することになる。このため、例えば、図１０（Ｂ）に示した投票による顔向き推定に、移動方向も加味して投票してもよい。具体的には、例えば、ｗ×ｃｏｓ（θ−ｖ）の値を投票空間θに加算する等の処理によって行う。なお、ｖは移動方向、ｗは所定の重み定数である。

以上のように、本実施形態では、人物の顔向きの方向を推定し、推定した顔向きの方向に応じて決められた特徴を抽出し、抽出された特徴に基づいて人物の同定を行うことにより、安定して人物の同定を行うことができる。

［実施形態４］
次に、実施形態４では、撮像装置群１００が、三次元空間上を自由に移動可能な画像認識システムについて説明する。これは、例えば図１１（Ａ）に示すように、ヘリコプターや気球等に撮像装置が搭載され、無線で制御することで、それらが空中を行き来するような状況を想定している。あるいは、天井から複数のワイヤーで撮像装置を吊り、ワイヤーの巻き取り量を制御して空中の任意位置へ移動するようにしてもよい。このような自由に移動する撮像装置群１００を用いて人物の追跡と同定を行う場合にも、本発明を適用することができる。以下、簡単に説明する。

まず、各撮像装置は、人物を撮影した時に、人物の画像上の位置と世界座標上の位置を対応させるための位置合わせを行う必要がある。これは、上述の実施形態１と同様に、予め登録しておいた地上の白線およびその交点といった目標物の位置に基づいて行う。

しかし、各撮像装置の自由な運動が可能である本実施形態の場合、競技場の白線のような回転対称な目標物を撮像すると、いずれの方角から撮像しているのか一意に同定できない場合がある。このような状態を避けるため、各撮像装置は大体の方角を得るための電子コンパス等のセンサーを備え、センサーによって検出した方角の値を用い、撮像している方角の曖昧性をなくす。このような処理により、カメラ（撮像装置）の、現時点での世界座標上の三次元の自己位置（ｘ，ｙ，ｚ）を算出できるようになる。なお、撮影範囲が狭いような場合に、自己位置が算出できない場合があることは、上述の実施形態と同様であり、このような場合は、当該撮像装置で撮影した画像は人物の同定処理に用いない。

次に、カメラ間の相対的な方位を求める。具体的には、例えば図１１（Ａ）に示すように、フィールドを高さが０のｘｙ平面と仮定し、カメラｉの位置（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）からフィールドへ垂線を下ろした地点（ｘ_ｉ，ｙ_ｉ，０）と、カメラｊの同様の位置（ｘ_ｊ，ｙ_ｊ，０）を考える。この２地点と地上の人物の位置（ｘ，ｙ，０）とがなす角度θ_ｉ，ｊを、カメラｉとｊの相対方位の偏角として記憶する。さらに、カメラの高さは既知のため、人物の位置（ｘ，ｙ，０）からカメラｉおよびカメラｊを見上げた時の仰角φ_ｉとφ_ｊも算出して併せて記憶する。この三つの変数を、人物の位置とカメラの位置に応じて変化するカメラ間の相対的な角度とする。

この相対的な角度の値を考慮することで、人物の絶対的な顔向きの方向を求めることなく、複数の画像を同時に用いたテンプレートマッチングを行う。具体的には、例えば図１１（Ｂ）に示すように、方位角のみならず仰角方向の変化も加えた顔の全半球状の画像のモデルを用いて、候補領域の画像と人物モデルとを比較する。ここでは、比較の計算量が先の実施例で示した方位角のみのモデルよりも多数になるため、実施形態で説明したハッシングによる高速な方法で複数の顔領域画像を複数の人物モデルと比較する処理を行うようにしてもよい。このようにして比較した結果を、実施形態２と同様に、人物のＩＤとカメラ１の画像の顔向きの方向θ、および仰角φ、の３次元の投票空間へ投票を行う。そして、投票を集計して人物と顔向きを同定する。なお、この時、仰角φへの投票を行わず、人物のＩＤと方位θの空間にのみ投票するようにしてもよい。

以上のように、本実施形態では、撮像装置の世界座標上の三次元の自己位置を算出し、算出した自己位置を用いて、撮像装置間の相対的な角度とすることにより、撮像装置が三次元空間上を自由に移動する場合にも、人物の追跡を行うことができる。

［産業上の利用可能性］
本発明は、スポーツシーンにおける競技者の行動履歴の自動作成、行動の可視化によるエンターティメント性の向上、監視カメラを用いるセキュリティシステムや本人確認システムのロバスト性や精度向上等に寄与する。

［その他の実施例形態］
本発明の目的は、以下の処理を実行することによっても達成される。すなわち、上述した各実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置が備えるコンピュータ（又はＣＰＵやＭＰＵ等）が記憶媒体等からを読み出して実行する処理である。この場合、記憶媒体等から読み出されたプログラム自体が上述した実施形態の機能を実現することになり、そのプログラムも本発明を構成することになる。

１〜ｎ…撮像装置
１００…撮像装置群
１０１…人物トラッキング部
１０２…人物位置推定部
１０３…人物領域抽出部
１０４…画像間相対方位算出部
１０５…特徴抽出部
１０６…人物同定部
１０７…人物領域特徴記憶部
１０８…人物同定制御部
１０９…人物情報出力部
１１０…画像認識装置

Claims (16)

1. 特定の人物を異なる方位から撮像して得られた第１の入力領域画像と第２の入力領域画像との間の相対的な方位関係を取得する画像間相対方位取得手段と、
   前記特定の人物又はその他の人物を少なくとも３つの方位から撮像して得られた登録領域画像からなる登録領域画像群に含まれる第１の登録領域画像の特徴と前記第１の入力領域画像の特徴とを比較し、前記登録領域画像群に含まれる前記第１の登録領域画像と同じ人物の第２の登録領域画像の特徴と前記第２の入力領域画像の特徴とを比較して、前記第１および第２の入力領域画像に写っている人物と前記第１および第２の登録領域画像に写っている人物とが同一人物か否か判定する人物同定手段と、
   を備え、
   前記第１の登録領域画像と前記第２の登録領域画像との間の相対的な方位関係が、前記第１の入力領域画像と前記第２の入力領域画像との間の相対的な方位関係に近づくように、前記第１の登録領域画像と前記第２の登録領域画像とが選ばれる
   ことを特徴とする画像認識装置。
2. 入力画像の中の前記特定の人物を追跡して前記特定の人物の前記位置座標情報を推定する人物トラッキング手段と、
   前記入力画像の中の前記特定の人物の位置を推定する人物位置推定手段と、
   前記特定の人物を異なる方位から撮像して得られた第１の入力画像と第２の入力画像とが入力され、前記人物位置推定手段によって推定された人物の位置に基づいて、前記第１の入力画像から前記第１の入力領域画像を抽出し、かつ前記第２の入力画像から前記第２の入力領域画像を抽出する人物領域抽出手段と、
   前記第１の入力領域画像から特徴を抽出し、かつ前記第２の入力領域画像から特徴を抽出する特徴抽出手段と、
   前記登録領域画像群の中の各登録領域画像の特徴が記憶された人物領域特徴記憶手段と、
   をさらに備え、
   前記画像間相対方位算出手段は、
   前記第１の入力画像を撮像した第１の撮像装置の位置座標情報、
   前記第２の入力画像を撮像した第２の撮像装置の位置座標情報、および
   前記人物トラッキング手段によって推定された前記特定の人物の前記位置座標情報
   に基づいて、前記第１の入力領域画像と前記第２の入力領域画像との間の相対的な方位関係を算出し、
   前記人物同定手段は、
   前記特徴抽出手段から前記第１の入力領域画像の特徴および前記第２の入力領域画像の特徴を受け取り、
   前記人物領域特徴記憶手段から前記第１の登録領域画像の特徴および前記第２の登録領域画像の特徴を受け取る
   ことを特徴とする請求項１に記載の画像認識装置。
3. 前記人物領域特徴記憶手段は、前記人物同定手段の結果を用いて前記登録領域画像の特徴の更新を行うことを特徴とする請求項２に記載の画像認識装置。
4. 前記人物領域特徴記憶手段は、前記登録領域画像から算出されたハッシュ値と前記登録領域画像とが対応付けられたハッシュ表を予め記憶し、
   前記人物同定手段は、前記入力領域画像からハッシュ値を算出し、算出された当該ハッシュ値と前記ハッシュ表とを用いて人物の同定を行うことを特徴とする請求項２又は３に記載の画像認識装置。
5. 前記人物同定手段は、前記特徴の比較を行う際に、解像度の高い画像をより重視して比較することを特徴とする請求項１乃至４のいずれか１項に記載の画像認識装置。
6. 前記人物同定手段は、前記特徴の比較を行う際に、近距離で前記人物を写した画像をより重視して比較することを特徴とする請求項１乃至５のいずれか１項に記載の画像認識装置。
7. 前記入力領域画像および前記登録領域画像の特徴は、顔の領域から得られることを特徴とする請求項１乃至６のいずれか１項に記載の画像認識装置。
8. 前記入力領域画像および前記登録領域画像の特徴は、顔の領域と胴体の領域から得られることを特徴とする請求項１乃至６のいずれか１項に記載の画像認識装置。
9. 前記画像間の相対的な方位関係は、奥行き回転角度および仰角の相対的な関係であることを特徴とする請求項１乃至８のいずれか１項に記載の画像認識装置。
10. 前記人物同定手段は、顔向きの方向を推定することを特徴とする請求項１乃至９のいずれか１項に記載の画像認識装置。
11. 前記人物同定手段は、推定した顔向きの方向に応じて異なる特徴を用いて同定することを特徴とする請求項１０に記載の画像認識装置。
12. 前記人物同定手段は、人物の移動方向に基づいて前記顔向きの方向を推定することを特徴とする請求項１０又は１１に記載の画像認識装置。
13. 特定の人物を異なる方位から撮像して得られた第１の入力領域画像と第２の入力領域画像との間の相対的な方位関係を取得する画像間相対方位取得手段 と、
    前記特定の人物又はその他の人物を少なくとも３つの方位から撮像して得られた登録領域画像からなる登録領域画像群に含まれる第１の登録領域画像の特徴と前記第１の入力領域画像の特徴とを比較し、前記登録領域画像群に含まれる前記第１の登録領域画像と同じ人物の第２の登録領域画像の特徴と前記第２の入力領域画像の特徴とを比較して、前記第１および第２の入力領域画像に写っている顔の向きと前記第１および第２の登録領域画像に写っている顔の向きとが同じであるか否か判定する人物同定手段と、
    を備え、
    前記第１の登録領域画像と前記第２の登録領域画像との間の相対的な方位関係が、前記第１の入力領域画像と前記第２の入力領域画像との間の相対的な方位関係に近づくように、前記第１の登録領域画像と前記第２の登録領域画像とが選ばれる
    ことを特徴とする画像認識装置。
14. 請求項２に記載の画像認識装置と、
    前記特定の人物を異なる方位から撮像する複数の撮像装置と
    を備えることを特徴とする画像認識システム。
15. 特定の人物を異なる方位から撮像して得られた第１の入力領域画像と第２の入力領域画像との間の相対的な方位関係を算出する画像間相対方位算出工程と、
    前記特定の人物又はその他の人物を少なくとも３つの方位から撮像して得られた登録領域画像からなる登録領域画像群に含まれる第１の登録領域画像の特徴と前記第１の入力領域画像の特徴とを比較し、前記登録領域画像群に含まれる前記第１の登録領域画像と同じ人物の第２の登録領域画像の特徴と前記第２の入力領域画像の特徴とを比較して、前記第１および第２の入力領域画像に写っている人物と前記第１および第２の登録領域画像に写っている人物とが同一人物か否か判定する人物同定工程と、
    を含み、
    前記第１の登録領域画像と前記第２の登録領域画像との間の相対的な方位関係が、前記第１の入力領域画像と前記第２の入力領域画像との間の相対的な方位関係に近づくように、前記第１の登録領域画像と前記第２の登録領域画像とが選ばれる
    ことを特徴とする画像認識方法。
16. コンピュータを、請求項１乃至１２のいずれか１項に記載の画像認識装置が有する各手段として機能させるためのコンピュータプログラム。

Images