JP2016174252A - 画像処理装置、画像処理システム、画像処理方法及びコンピュータプログラム - Google Patents

Abstract

【課題】複数のカメラを用いて各カメラ画像に対して物体追尾を行う画像処理装置において、各カメラ画像の物体が同一か否かをより正確に識別することを目的とする。
【解決手段】画像処理装置は、複数の撮像手段が撮像する複数の映像について、当該複数の映像のそれぞれから検出された追尾すべき物体について、映像の画像フレーム中の物体の位置と物体を識別する追尾ラベルとを含む追尾結果を取得する取得手段と、取得された複数の追尾結果に基づいて、複数の映像の間で、画像フレーム中に検出された物体を対応付ける対応付け手段３１１と、当該対応付け結果に基づいて、複数の映像の間で同一の物体であると推定される物体を一意に識別する物体ラベルを生成する物体ラベル生成手段３０７と、物体ラベルに基づいて、複数の追尾結果を統合して、物体の３次元空間における位置を算出する算出手段３１１と、を備える。
【選択図】図３

Description

本発明は画像処理装置、画像処理システム、画像処理方法及びコンピュータプログラムに関し、特に、撮像された物体を撮像映像内で検出および追尾する技術に関する。

例えばカメラ等の撮像手段により所定領域を監視する監視カメラシステムが公知である。例えば特許文献１は、視野が重複する複数のカメラを用いて物体を撮像することで、複数のカメラの視野間で撮像された物体を追尾する技術を開示する。
具体的には、特許文献１において、まず各カメラ映像に対して物体を検出して追尾する。そして、複数のカメラ映像からそれぞれ得られる各画像フレーム上の物体の２次元座標の移動軌跡を求め、これから物体の３次元座標を推定することで、複数のカメラの視野間で物体を追尾する。

一方、特許文献２は、監視カメラシステムにおいて、カメラ映像から異常なイベントを自動検出する技術を開示する。具体的には、特許文献２において、特定の場所における人物の滞留時間から、当該人物が不審人物であるか否かを判定し、不審人物を通知する通報を発する。
複数カメラが連携する画像処理について、非特許文献１は、所定の平面パターンをカメラに撮像させることによって、カメラのキャリブレーションを行う技術を開示する。非特許文献２は、複数のカメラを用いて３次元位置を推定するアルゴリズムであって、所定のモデル推定手法を用いて、動きに適応した３次元構造を求める手法を開示する。また、非特許文献３は、複数の人物を検出し追尾するアルゴリズムを開示する。特に、非特許文献３には、歩行者を検出する検出器の連続的な信頼度を利用することによって、複数の歩行者を検出、追尾する手法（アルゴリズム）が開示されている。

特開２０１０−０６３００１号公報 特開平６−１１９５６４号公報

Ｚｈｅｎｇｙｏｕ Ｚｈａｎｇ，"Ａ Ｆｌｅｘｉｂｌｅ Ｎｅｗ Ｔｅｃｈｎｉｑｕｅ ｆｏｒ Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ"，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， ２２（１１）：１３３０−１３３４， ２０００ Ｐｉｅｒｒｅ Ｍｏｕｌｏｎ， Ｐａｓｃａｌ Ｍｏｎａｓｓｅ， ａｎｄ Ｒｅｎａｕｄ Ｍａｒｌｅｔ，"Ａｄａｐｔｉｖｅｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ｍｏｔｉｏｎ ｗｉｔｈ ａｃｏｎｔｒａｒｉｏ ｍｏｄｅｌ ｅｓｔｉｍａｔｉｏｎ"，ＡＣＣＶ２０１２ Ｍ．Ｄ．Ｂｒｅｉｔｅｎｓｔｅｉｎ ｅｔ ａｌ．，"Ｒｏｂｕｓｔ ｔｒａｃｋｉｎｇ−ｂｙ−ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ ｄｅｔｅｃｔｏｒ ｃｏｎｆｉｄｅｎｃｅ ｐａｒｔｉｃｌｅ ｆｉｌｔｅｒ"，ＩＣＣＶ２００９

ところで、あるカメラにより撮像されたカメラ映像に複数の物体が映っており、これら複数の物体に対してそれぞれ物体追尾を行う場合を考える。この場合、当該カメラ映像に含まれる異なる時刻の各画像フレームに存在する物体が同一であるか否かを判別するために、それぞれの物体を識別する固有の符号が付与される。この符号を「追尾ラベル」と呼ぶ。
例えば、特許文献１では、複数のカメラ映像のうち、それぞれのカメラ映像に映っている物体に対して画像フレーム中での追尾を個別に行い追尾結果を得る。そして複数のカメラの複数の追尾結果をそれぞれ得た後、これら複数のカメラ映像の追尾結果を統合する。しかしながら、従来は、同一物体であっても、追尾ラベルが時刻によって異なることがあった。

図１７（ａ）は、３台のカメラの雑像範囲と、その範囲中を移動していく人物の動きを示す。図１７（ａ）中、Ｔ１〜Ｔ９は各時刻における人物の位置をそれぞれ示す。図１７（ｂ）は、図１７（ａ）の各時刻Ｔ１〜Ｔ９におけるタイムチャートである。図１７（ｂ）は、第１カメラ、第２カメラ、第３カメラが視野内にある人物を撮像して追尾ラベルを付しているか、それとも当該人物が第１カメラ、第２カメラ、第３カメラの視野外にあるのかを示す。例えば移動体である追尾対象物体（図１７（ａ）においては人物）が第１〜第３カメラの各カメラの視野に対して図１７（ａ）のような経路を通過したものとする。この場合、図１７（ｂ）のタイムチャートに示されるように、第１カメラに着目すると、追尾対象物体が時刻Ｔ１で最初に第１カメラの視野内に入り、追尾ラベル１−１が付与される。次に、この追尾対象物体は時刻Ｔ４で第１カメラの視野外に退出するため、一旦追尾処理が中断する。その後、時刻Ｔ６で、追尾対象物体が再度第１カメラの視野内に入った際に再び追尾処理が開始され、同一の追尾対象物体にもかかわらず新たな追尾ラベル１−２が付与されてしまう。

特に、広域を監視対象領域として移動体である追尾対象物体を追尾する場合には、追尾対象物体が各カメラの視野から頻繁に出入するため、物体追尾処理の精度が損なわれていた。
上記のような従来の追尾結果を、例えば特許文献２に開示されるような異常なイベントの自動検出に応用しようとすると、同一人物であるにもかかわらず異なる人物として認識されてしまうおそれがあった。すなわち、特許文献２のように滞留時間からその人物が不審であるか否かを判定しようとする場合、図１７（ａ）に示すように、第１カメラの視野から人物が時刻Ｔ４で一時的に退出または遮蔽（オクルージョン）により追尾不能になる。その後、時刻Ｔ６で再び第１カメラの視野内に侵入した場合には、同一カメラの映像であっても上記のように同一であるべき人物に異なる追尾ラベルが付与されることで、異なる人物として認識されてしまうため、当該人物の正しい滞留時間が測定できない。

また、そもそも従来は、各カメラ映像について独立に追尾ラベルを付与するため、同一物体であっても、異なるカメラ映像の物体は異なる追尾ラベルが付与されることで、異なる物体であると認識されてしまうという問題があった。例えば、図１７（ｂ）の例においては、同一の人物について、第１カメラのカメラ映像に関する物体追跡処理ではラベル１−１（時刻Ｔ１）が付与される。また、第２カメラのカメラ映像に関する物体追跡処理ではラベル２−１（時刻Ｔ２）が、第３カメラのカメラ映像に関する物体追跡処理ではラベル３−１（時刻Ｔ３）が、それぞれ付与される。その結果、同一の物体が別の物体として認識されてしまい、複数カメラが連携する物体追尾処理の精度が損なわれていた。
本発明は、上記課題に鑑みなされたものであり、複数のカメラが連携して行うカメラ映像中の物体追尾において、複数のカメラ映像間で追尾される物体が同一であるか否かをより正確に識別可能とすることを目的とする。

本発明の目的を達成するために、本発明のある態様に係る画像処理装置によれば、この画像処理装置は、複数の撮像手段により撮像された複数の映像に関して、当該複数の映像のそれぞれから検出された追尾すべき物体について、前記映像の画像フレーム中の前記物体の位置と前記物体を識別する追尾ラベルとを含む追尾結果を取得する取得手段と、前記取得手段により取得された複数の追尾結果に基づいて、前記複数の映像の間で、画像フレーム中に検出された物体を対応付ける対応付け手段と、前記対応付け手段による対応付け結果に基づいて、前記複数の映像の間で同一の物体であると推定される物体を一意に識別する物体ラベルを生成する物体ラベル生成手段と、前記物体ラベルに基づいて、前記取得手段により取得された複数の追尾結果を統合して、前記物体の３次元空間における位置を算出する算出手段と、を備える。

本発明の他の態様に係る画像処理装置によれば、この画像処理装置は、撮像手段により撮像された映像から検出された追尾すべき物体の、前記映像の画像フレーム中の位置を算出すると共に、前記物体を識別する追尾ラベルを前記物体に付与して、前記物体の前記位置および前記追尾ラベルを含む追尾結果を生成する生成手段と、前記生成手段により生成された前記追尾結果を、ネットワークを介して接続される他の装置へ送信する送信手段と、前記生成手段により前記物体に付与された前記追尾ラベルと、複数の撮像手段によりそれぞれ撮像される複数の映像の間で同一の物体であると推定される物体を一意に識別する物体ラベルとの対を含むラベル変換辞書を入力する入力手段と、前記入力手段に入力された前記ラベル変換辞書に基づいて、前記物体に付与された前記追尾ラベルを、前記他の物体ラベルで置き換える置換手段と、前記置換手段により置き換えられた前記物体ラベルを用いて、前記映像中の連続するフレームにわたり前記物体を追尾する追尾手段と、を備える。

また、本発明の他の態様に係る画像処理装置によれば、この画像処理装置は、複数の撮像手段により撮像された複数の映像とともに、複数の映像内で検出された追尾すべき物体について、該物体の前記映像の画像フレーム中の前記物体の位置と、前記複数の映像の間で前記物体を一意に識別する物体ラベルとを含む追尾結果を取得する取得手段と、前記物体ラベルに基づいて、前記取得手段により取得された複数の追尾結果を統合して算出された前記物体の３次元空間における位置を入力する入力手段と、表示装置に、前記複数の映像の画像と、前記３次元空間の３次元マップとを表示させる際に、同一の前記物体ラベルが付与された物体について、前記画像と前記３次元マップとの間で、前記物体の画像内領域に同一の物体であることを示すシンボルを表示させる表示制御手段と、を備える。

本発明によれば、複数のカメラが連携して行うカメラ映像中の物体追尾において、各複数のカメラ映像間で追尾される物体が同一であるか否かをより正確に識別することが可能になる。

本発明の一実施形態に係る画像処理システムのシステム構成の一例を示す図である。 本発明の一実施形態に係る画像処理装置を構成する装置のハードウェア構成例を示す図である。 本発明の一実施形態に係る画像処理システムにおける装置の機能構成を示す図である。 本発明の一実施形態に係る画像処理システムの処理の流れを示すフローチャートである。 異なるカメラ映像中の画像フレーム間における物体の対応付け処理の原理を説明する図である。 物体の３次元位置の推定原理の一例を説明する図である。 虚像の生じる例を説明する図である。 本発明の一実施形態におけるラベル置換辞書の構成の一例を説明する図である。 ラベル置換辞書の作成と物体ラベル情報更新の処理詳細の流れを示すフローチャートである。 本発明の一実施形態における物体ラベル情報の構成の一例を説明する図である。 本発明の一実施形態における追尾結果の表示のための表示画面の構成の一例を説明する図である。 本発明の他の実施形態に係る画像処理システムのシステム構成の一例を示す図である。 本発明の他の実施形態に係る画像処理システムのシステム構成の一例を示す図である。 本発明の他の実施形態に係る画像処理システムの詳細な機能構成の一例を示す図である。 本発明の他の実施形態に係る画像処理システムのシステム構成の一例を示す図である。 本発明の他の実施形態に係る画像処理システムの詳細な機能構成の一例を示す図である。 複数カメラによる物体の検出動作と追尾ラベルを説明する図である。

以下、添付図面を参照して、本発明の実施形態を詳細に説明する。
なお、以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
また、以下では、検出対象物体として人体を例に説明するが、本実施形態は、他のあらゆる検出対象物体に適用することができる。
また、以下に述べる本実施形態において、物体追尾によって生成される各物体の軌跡を物体ごとに区別するために、それぞれの物体の軌跡には追尾対象物体を識別するための符号がカメラごとに付与される。以降、この符号を「追尾ラベル」と呼ぶ。一方、本実施形態においては、カメラが異なる場合であっても、また時刻が異なる場合であっても不変な、物体固有の識別符号が物体に付与される。以降、この符号を「物体ラベル」と呼ぶ。

（画像処理システムの構成）
図１は、本実施形態の画像処理システム１０００のシステム構成を示す。本実施形態に係る画像処理システム１０００は、複数の物体追尾装置１０１ａ、１０１ｂ、・・・、１０１ｎ、ラベル割り当て装置（ラベル処理装置）１０２、モニタリング装置１０３で構成されている。図１において、ｎ個（ｎは２以上の整数）の、第１物体追尾装置１０１ａ、第２物体追尾装置１０１ｂ、・・・第Ｎ物体追尾装置１０１ｎ、が示されている。複数の物体追尾装置１０１ａ、１０１ｂ、・・・、１０１ｎ、ラベル割り当て装置１０２、モニタリング装置１０３は、ネットワークやバス等の通信リンクで接続されている。なお、図１のシステム構成は一例であり、複数の物体追尾装置１０１ａ、１０１ｂ、・・・、１０１ｎ、ラベル割り当て装置１０２、モニタリング装置１０３は、一体として画像処理システム１０００を構成してもよい。

図２は、複数の物体追尾装置１０１ａ、１０１ｂ、・・・、１０１ｎ、ラベル割り当て装置１０２、モニタリング装置１０３のそれぞれの装置２２０のハードウェア構成の一例を示す。図２の装置２２０は、バス２１０で相互に接続される、信号処理回路２０２、ＣＰＵ２０３、ＲＯＭ２０４、ＲＡＭ２０５、ディスプレイ２０６、通信手段２０７、外部メモリ２０８、および入力部２０９を備えてよい。信号処理回路２０２に電気信号を入力する撮像素子２０１は、被写体像を光から電気信号に変換するための撮像手段である。ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等で構成してよい。信号処理回路２０２は、撮像素子２０１から得られる電気信号、例えば、被写体像に関する時系列信号、を処理し、デジタル信号に変換する信号処理回路である。

ＣＰＵ２０３は、ＲＯＭ２０４に格納されている制御プログラムを実行することにより、各装置、例えば複数の物体追尾装置１０１ａ、１０１ｂ、・・・、１０１ｎ、ラベル割り当て装置１０２、モニタリング装置１０３等、の全体の制御を行う。ＲＯＭ（Read Only Memory）２０４は、ＣＰＵ２０３が実行する制御プログラムや各種パラメータデータ等を格納する。この制御プログラムは、ＣＰＵ２０３で実行されることにより、後述するフローチャートに示す各処理を実行するための各種手段として、各装置を機能させる。
ＲＡＭ（Random Access Memory）２０５は、カメラにより撮像される、動画像等の映像、その他の画像や各種情報を記憶する。また、ＲＡＭ２０５は、ＣＰＵ２０３のワークエリアやデータの一時待避領域としても機能する。また、各装置は、ディスプレイ２０６を備えてよく、例えばモニタリング装置１０３は、このディスプレイ２０６に後述する監視画像（追尾画像）等表示する表示制御を行うことができる。

また、各装置はさらに、ハードディスクや光学ディスク等である外部メモリ２０８と、キーボードやマウス等により操作者の操作入力やその他のデータを入力する入力部２０９と、を備えてもよい。
なお、本実施形態においては、後述するフローチャートの各ステップに対応する処理を、ＣＰＵ２０３を用いてソフトウェアで実現してよいが、これに替えて、その処理の一部または全部を電子回路などのハードウェアで実現するようにしてもよい。

また、本実施形態に係る各装置は、撮像素子２０１や信号処理回路２０２を省いて、汎用パーソナルコンピュータに実装されてもよいし、専用装置として実現するようにしてもよい。また、各装置は、ネットワークまたは各種記憶媒体を介して取得したソフトウェア（プログラム）をＣＰＵ２０３により実行してもよい。
また、本実施形態に係る画像処理システム１０００の各コンポーネントは、様々な形態をとることができる。例えば、ビデオカメラや、スチルカメラ、パーソナルコンピュータ、スマートフォン、等の機能として実装することができる。また、ネットワークカメラ、ＷＥＢカメラ、ＵＳＢカメラ、ウェアラブルカメラに組み込んで、これら各種機器を実現することもできる。例えば、ネットワークカメラとして機能させる場合は、ネットワークインターフェースを用いて所定のネットワークに接続するように構成してよい。ネットワークインターフェースは、図２に示されている通信手段２０７を用いてよい。

図３は、本実施形態の画像処理システム１０００の詳細な機能構成を示す。画像処理システム１０００は、図１と同様に、複数の物体追尾装置１０１（１０１ａ、１０１ｂ、・・・、１０１ｎ）、ラベル割り当て装置１０２、モニタリング装置１０３で構成される。この画像処理システム１００は、動画像等の映像中の各画像フレーム中に映っている物体の検出及び追尾を行う物体検出装置としての機能を備えている。
物体追尾装置１０１（１０１ａ、１０１ｂ、・・・、１０１ｎ）は、追尾結果取得部３０４、ラベル置換辞書記憶部３０５、ラベル置換部３０６を備える。
追尾結果取得部３０４は、外部の撮像素子２０１（図２）から入力されるカメラ映像の連続するフレームに対して物体追尾を行う。これによって、カメラ画像の画像フレーム上の検出対象である物体の位置を表す座標、幅、高さ、そして追尾ラベルを含む追尾結果生成を行い、追尾結果を取得する。

ラベル置換辞書記憶部３０５は、各物体追尾装置１０１で追尾対象の物体に付与された追尾ラベルを、複数の物体追尾装置１０１間で一意に追尾対象物体を識別する物体ラベルへ置き換えるための、ラベル置換辞書を記憶している。このラベル置換辞書は、例えば、カメラ番号と、追尾ラベルと、物体ラベルとを含むレコードを並べたテーブルで構成されてよいが、その詳細構成は後述する。ラベル置換部３０６は、ラベル置換辞書記憶部３０５に記憶されたラベル置換辞書を用いて、追尾ラベルを物体ラベルに置換する。

ラベル割り当て装置１０２は、物体ラベル情報更新部３０７、物体ラベル情報記憶部３０８、ラベル置換辞書生成部３０９、カメラ情報記憶部３１０、物体対応算出部３１１、３次元位置記憶部３１２で構成される。
物体ラベル情報更新部３０７は、追尾結果取得部３０４で取得した物体の座標、幅、高さ、追尾ラベルと、物体対応算出部３１１が算出した、複数のカメラで撮像したカメラ映像間の物体の対応付け情報とを受け取る。物体ラベル情報更新部３０７は、受け取った情報を用いて、物体ラベル生成を行い、物体ラベル情報記憶部３０８に記憶された、追尾ラベルと物体ラベルとの対の候補である、物体ラベル情報を更新する。この物体ラベル情報更新部３０７は、物体ラベル情報を入力される画像フレームごとに更新してよい。

物体ラベル情報記憶部３０８は、追尾ラベルと物体ラベルを対応付けるための情報が物体ラベル情報として記憶されている。具体的には、物体ラベル情報は、複数の物体追尾装置１０１（１０１ａ、１０１ｂ、・・・、１０１ｎ）でそれぞれ付与された追尾ラベルの組と、対応する物体ラベルとの情報を含むがその詳細構成は後述する。
ラベル置換辞書生成部３０９は、物体ラベル情報記憶部３０８に記憶された物体ラベル情報をもとに、追尾ラベルを物体ラベルに置換する際の対応関係の情報を含むラベル置換辞書（ラベル変換辞書）を生成する辞書生成を行う。ラベル置換辞書生成部３０９は、生成されたラベル置換辞書をラベル置換辞書記憶部３０５に格納する。

カメラ情報記憶部３１０は、カメラキャリブレーションを行うことによって取得された、各カメラの内部パラメータ、位置、姿勢に関する情報を、カメラ情報として保持する。位置とは、例えば３次元空間上の位置ベクトルであってよく、姿勢とは、例えばカメラの撮像方向が向いている向き（方向ベクトル）であってよい。カメラキャリブレーションは、自動的にカメラ情報記憶部３１０が行ってもよく、他の装置が行った結果を取得してもよい。また、利用者が手動でカメラキャリブレーションを行ってもよい。

物体対応算出部３１１は、追尾結果取得部３０４で取得された異なる複数のカメラの追尾結果間の対応付けを取得する。具体的には、画像フレーム上の物体の座標と、カメラ情報記憶部１１０に記憶されたカメラ情報とに基づき、複数の追尾結果を統合して検出対象である物体の３次元位置座標を算出する。それとともに、複数カメラ間で追尾される、当該物体の追尾結果の間の対応付け情報を取得する。物体対応算出部３１１は、このような対応付け情報を、カメラ情報記憶部３１０が記憶するカメラの内部パラメータや、カメラの位置や姿勢に基づき、算出することができる。

３次元位置記憶部３１２は、物体対応算出部３１１が算出した物体の３次元空間における位置（例えば３次元位置座標）を記憶する。
モニタリング装置１０３は、複数のカメラ映像中の追尾結果を表示出力する。具体的には、モニタリング装置１０３は、複数の物体追尾装置１０１（１０１ａ、１０１ｂ、・・・、１０１ｎ）からそれぞれ、カメラ映像と当該映像中の物体追尾結果を取得し、ラベル割り当て装置１０２から当該物体の３次元位置座標を取得する。モニタリング装置１０３を用いて、複数の物体追尾装置１０１（１０１ａ、１０１ｂ、・・・、１０１ｎ）が取得する追尾結果の表示、当該追尾結果に基づく所定のイベントの検出、等の各種処理を実行することができる。モニタリング装置１０３の処理の詳細は後述する。

（画像処理システムの行う画像処理動作）
本実施形態に係る画像処理システム１０００の動作を図４のフローチャートを参照して説明する。図４に示されるフローチャートにおいては、複数の物体追尾装置１０１（１０１ａ、１０１ｂ、・・・、１０１ｎ）、ラベル割り当て装置１０２、モニタリング装置１０３が協調して処理を実行する。例えば、ステップＳ４０１、ステップＳ４０４〜ステップＳ４０９をラベル割り当て装置１０２により実行することができる。また、ステップＳ４０２、ステップＳ４０３およびステップＳ４１０を物体追尾装置１０１（１０１ａ、１０１ｂ、・・・、１０１ｎ）により実行することができる。更に、ステップＳ４１１をモニタリング装置１０３により実行することができる。

本実施形態では、視野が重複するように設置された３台のカメラを要する場合を例として説明するが、カメラの台数はこれに限らず、２台以上の任意の数でよい。
まず、ステップＳ４０１では、カメラキャリブレーションを行うことによって、各カメラの内部パラメータ、位置、姿勢を推定する。例えば、キャリブレーションボードを検出対象である物体が存在する環境中に設置し、例えば非特許文献１に記載されている手法により各カメラの内部パラメータを求めることができる。非特許文献１に記載されている手法によれば、カメラに所定の平面パターンを撮像させることによって、カメラキャリブレーションが行われる。さらに、環境に設置した別のキャリブレーションマーカーによって各カメラの位置、姿勢を推定することができる。これらの手法は、単独で又は組み合わせて利用してよい。このようにして得られたカメラの例えば内部パラメータ、位置、姿勢などの情報は図３の例に示されたカメラ情報記憶部３１０にカメラ情報として保持される。

なお、本実施形態では、上記の方法でカメラキャリブレーションを行うが、これに替えて他の手法でカメラキャリブレーションを行ってもよい。例えば、カメラ映像中のコーナーやＳＩＦＴ特徴（Scale-Invariant Feature transform）等の特徴点を抽出し、これらの特徴点群を異なるカメラの画像フレーム間で対応付ける。その後、その画像フレーム間の動きに基づき、カメラ位置、姿勢、当該特徴点群等の推定を行ってもよい。例えば、非特許文献２に記載されている手法（アルゴリズム）を用いて、カメラの位置、姿勢、等を推定することができる。また、カメラの内部パラメータと位置、姿勢を同時に求めてもよい。
ステップＳ４０２においては、物体追尾装置１０１（１０１ａ、１０１ｂ、・・・、１０１ｎ）の追尾結果取得部３０４が、各カメラの出力するカメラ映像から、画像フレームを取得する。本実施形態では、カメラの台数が例えば３台であるため、３つの物体追尾装置１０１により３枚の画像フレームが取得される。

次に、ステップＳ４０３においては、ステップＳ４０２で取得した各画像フレームに対し、物体追尾装置１０１（１０１ａ、１０１ｂ、・・・、１０１ｎ）の追尾結果取得部３０４が物体追尾を行い、画像フレーム内の人体領域および追尾ラベルを抽出する。本実施形態では、検出対象である物体の例として人物を説明し、人物が位置する領域を人体領域と呼ぶが、人物以外の他の物体の領域でもよい。また、物体追尾アルゴリズムとしては、非特許文献３に記載されている手法を利用可能であるが、他のアルゴリズムを利用してもよい。
この人体領域の抽出処理の結果、追尾結果取得部３０４は、人体領域を示す例えば矩形領域の代表点座標（ｘ，ｙ）、および高さｈ、幅ｗを得、また、抽出された人体の領域を他の物体や領域と識別する追尾ラベルを得る。

追尾結果取得部３０４の出力する追尾結果は、物体追尾装置１０１に備えられているＲＡＭ（図２のＲＡＭ２０５等）等の一時記憶装置に記憶され、また、所定の通信リンクを介してラベル割り当て装置１０２の物体ラベル情報更新部３０７に送信される。
ステップＳ４０４においては、ラベル割り当て装置１０２の物体対応算出部３１１により、ステップＳ４０３で検出された人物を２つのカメラの画像フレーム間で対応付ける処理が実行される。すなわち、あるカメラの画像フレームで検出された人物が、他のカメラの画像フレームのどの人物に対応するかを探索する。
ここで、人物（人体）の画像フレーム間の対応付けは、人物の人体領域の代表点をエピポーラ幾何（Epipolar Geometry）の原理によって対応付けることによって行うことができる。図５を参照してこのエピポーラ幾何を用いた対応付けの例を説明する。

図５に例として示されるように、第１カメラの投影面上（画像フレーム中）では、人体Ａの代表点は黒星マークで示される。それが、第２カメラやその他のカメラの投影面上（画像フレーム中）では、図５（ａ）右側第２カメラの画像フレーム中に示されるエピポーラ線（Epipolar Line）と呼ばれる直線で表される。換言すれば、このエピポーラ線は、第２カメラの画像フレーム中で、第１カメラのカメラ視点中心と、人物Ａの人体領域の代表点とを結ぶ直線とも言える。
ここで、第１カメラの画像フレームと第２カメラの画像フレームとの間の位置関係の情報を含む行列である基礎行列であるＦは、カメラの位置、姿勢、内部パラメータ等から計算することができる。さらに、人物Ａの人体領域の代表点の２次元座標を表わすベクトルをｘとすると、エピポーラ線ｌは次式で表わすことができる。

当該代表点とエピポーラ線との間の距離が一定値以下である人体領域に対応する人物を選ぶことによって、２個のカメラの画像フレーム間の対応をとることができる。例えば、図５（ａ）において、第１カメラの画像フレームの人物Ａに対応するものは、第２カメラの画像フレーム上では人物Ｂと人物Ｃが候補となる。しかし、第１カメラの画像フレーム中のある人物（例えばＡ）に対応する他のカメラ（例えば第２カメラ）の画像フレーム中の人物は、原理的には、１つのカメラにつき１人でなければならない。
そのため、当該条件を満たすように、対応付けが可能な人物の組の組み合わせを求める。例えば、図５（ａ）は、現在の画像フレームを示しており、この図５（ａ）の例で示される第１カメラの画像フレーム中の人物Ａに対応付けられる、第２カメラの画像フレーム中の人物は、人物Ｂと人物Ｃとが対応する。したがって、可能性のある組（組み合わせ）として、例えば｛Ａ，Ｂ｝と｛Ａ，Ｃ｝と、が生成される。

図４に戻り、ステップＳ４０５では、ステップＳ４０４で対応付けられた人物の組に基づき、物体ラベルを用いて人物の３次元位置を推定する。図６は、この３次元位置を推定する原理を示す図である。
図６の例に示すように、第１カメラの画像フレーム６０１に対し、第１カメラ中心６０１ａと、人体領域の代表点６０１ｂとを通る３次元空間中の直線を求める。同様に、第２カメラの画像フレーム６０２に対し、第２カメラ中心６０２ａと、人体領域の代表点６０２ｂを通る３次元空間中の直線を求める。このような直線は、各カメラの位置、姿勢、内部パラメータおよび代表点６０１ｂ、６０２ｂの画像上の座標より求めることができる。

次に、各カメラに関して求めた直線の交点を求め、これを人物の３次元位置とする。なお、直線を求める際の推定誤差によって、実際にはこれらの直線が１点で交わらない場合があるが、この場合には、各直線からの距離の和が最小になる点を交点の替わりに人物の３次元位置として採用すればよい。
図４に戻り、ステップＳ４０６では、ステップＳ４０５で求めた３次元位置から虚像を排除してよい。虚像とは、図７のように、カメラと物体を結ぶ直線の交点に、本来ならば存在しない人物の３次元位置が虚像７１０として推定される現象をいう。図７に示す例では、第１カメラ１の視野７０１中では、人物Ｂ一人が映っており、一方、第２カメラの視野７０２中では、人物Ａと人物Ｂのｌ二人が映っている。もし、第１カメラの視野７０１中に映っている人物が、第２カメラの視野７０２中の人物Ａに対応すると判断してしまうと、虚像７１０の位置を人物の３次元位置と誤って求めてしまう可能性がある。

本実施形態では、この虚像を追尾の過去のフレームを用いることによって排除している。具体的には、過去の人物の画像フレーム間の対応付けから、人物が対応付いていないフレームを探索することによって、虚像の排除を行ってよい。
例えば、図５（ａ）で示される例の場合は、第１カメラの画像フレーム中の人物体Ａに対応付く人物の組として、｛Ａ，Ｂ｝と｛Ａ，Ｃ｝が生成されているが、いずれか一方の組から推定される３次元位置は虚像である。例えば、人物の組｛Ａ，Ｂ｝が正しかった場合、人物の組｛Ａ，Ｃ｝から求められる三次元位置は、図７に示す例のように、虚像の位置となる。

ここで、過去のフレーム図５（ｂ）を参照すれば、人体Ａが人体Ｃとは対応付いていないことを知ることができる。したがって、人物の組｛Ａ，Ｃ｝から生成される３次元位置は虚像であることが分かり、人物の組｛Ａ，Ｃ｝から求められる３次元位置を排除することができる。
図４に戻り、ステップＳ４０７においては、３次元位置から多カメラの画像フレームに映った物体間の対応を求める。このステップＳ４０７の処理は、３つ以上のカメラ映像から物体を追尾する場合に実行される。すなわち、ステップＳ４０４で求めた対応付けは２個のカメラの画像フレームに映った物体間の対応であるため、ステップＳ４０７では、ステップＳ４０４の結果を利用して、さらに３台以上のカメラの映像に映った物体間の対応を求める。

この対応を求めるためには、まず、３次元位置同士の距離が互いにしきい値以下であるグループを探索する。そして、これらのグループに属する、２カメラ間で対応付けられた物体の組（例えば、これまで述べた人物の組）を集合し、それらに含まれる物体を、多カメラ間で対応付けられる物体であるとする。言い換えれば、２台のカメラの画像フレーム間で対応付けを求めて、得られた３次元位置が近い物体は、同一の物体（例えば人物）であると推定して、対応付けを行うものである。

多カメラの画像フレーム間において物体の対応付けを行った結果は、例えば、各カメラの追尾ラベルをカメラ番号順に複数並べた組であってよい。
ここで、一部のカメラの画像フレーム中で物体が映っていない場合や、追尾に失敗した場合には、その一部のカメラの画像フレーム中で当該物体の追尾ラベルが欠落することがある。本実施形態においては、このような追尾ラベルの欠落に対応するため、追尾ラベルが欠落していることを明示的に示す無効ラベルＸを付与する。

具体的には、多カメラ間でのカメラ映像の画像フレームに映っている物体の対応付けの結果を作成する際に、追尾ラベルが欠落している場合には、追尾ラベルとして無効ラベルＸを格納する。例えば、第１カメラの画像フレーム中の物体に対して追尾ラベルとして３が付与され、第２カメラでの画像フレームにおいては追尾が失敗し、第３カメラの画像フレーム中の物体に対しては追尾ラベルとして５が付与されている場合を考える。この場合、多カメラ間でのカメラ映像の画像フレーム中の物体の対応付けの結果は、例えば（３、Ｘ、５）となる。この無効ラベルＸが付与されたカメラについての追尾結果は、物体の対応付け、後述する物体ラベル情報（テーブル）の更新や物体の３次元位置の推定において除外されてよい。
このステップＳ４０７においては、より多くのカメラのカメラ画像に映っている（と推定される）物体から優先的に対応付けを決めてよい。これは、多視点幾何の特性から、多くのカメラで検出されるほど、カメラ間の人体対応付けの信頼性が高いと考えられるからである。

なお、本実施形態においては、ステップＳ４０５における物体の３次元位置の推定を、カメラ台数に応じた処理で実行することができる。より多くのカメラ映像の画像フレームの間で物体の対応付けを行えば、当該物体の３次元位置をより精度よく推定できる。例えば、カメラ２台以上の映像から検出された物体は上述したエピポーラ幾何に基づくいわゆるステレオ視によってその３次元位置を求めることができる。他方、カメラ１台でのみ撮像されている場合は、例えば、物体の高さ（例えば、人物の身長等）や幅（例えば自動車の車長等）をある値で仮定して、仮想的な３次元位置を推定してもよいし、距離に関する情報を外部から提供を受けてもよい。なお、高さや幅は、物体の大きさの例である。なお、ステップＳ４０４からステップＳ４０７の物体の対応付けの処理は、ラベル割り当て装置１０２の物体対応算出部３１１が実行してよい。

ステップＳ４０８では、ステップＳ４０７で求めた複数カメラ間での物体の対応付けと、物体ラベル情報記憶部３０８に記憶された物体ラベル情報とから、追尾ラベルと物体ラベルの置換関係が記述されたラベル置換辞書８００を作成する。ここで、複数カメラ間での物体の対応付けは、複数で付与された追尾ラベルの組を含む。また物体ラベル情報については、図１０を参照して後述する。このステップＳ４０８の処理は、ラベル置換辞書生成部３０９が実行してよい。

さらに、ステップＳ４０８では、物体ラベル情報記憶部３０８に記憶された物体ラベル情報の更新が行われる。
図８は、ラベル置換辞書８００の構成例を示す。図８において、ラベル置換辞書８００は、複数のカラム（縦の「項目」）を格納するテーブルとして構成されている。具体的には、カメラ番号８０１、当該カメラ番号のカメラで撮像された映像中で検出された物体に付与された追尾ラベル８０２、当該物体について生成された物体ラベル８０３を含む。このラベル置換辞書８００を参照することで、画像処理システム１００の各装置は、カメラ番号８０１と追尾ラベル８０２とに基づき、物体ラベル８０３を取得することができる。本実施形態における、このステップＳ４０８におけるラベル置換辞書の生成及び物体ラベル情報の処理内容の詳細は後述する。

ステップＳ４０９では、ステップＳ４０８で作成されたラベル置換辞書８００を所定の通信リンクを介して各物体追尾装置１０１（第１物体追尾装置１０１ａ、第２物体追尾装置１０１ｂ、・・・、第Ｎ物体追尾装置１０１ｎ）に送信する。各物体追尾装置１０１（１０１ａ、１０１ｂ、・・・、１０１ｎ）は、この送信されたラベル置換辞書８００を受信し、物体追尾装置１０１が備えるラベル置換辞書記憶部３０５に置換辞書８００を記憶することができる。各物体追尾装置１０１が受信するラベル置換辞書８００は、ラベル割り当て装置１０２のラベル置換辞書生成部３０９により生成されるラベル置換辞書８００の一部が抽出されたものであってよい。例えば、各物体追尾装置１０１に入力されるカメラ映像のカメラ番号と、このカメラ番号のカメラ映像中の物体に付与された追尾ラベル、および、当該追尾ラベルに対応し、複数カメラ映像間で一意に当該物体を識別する物体ラベル、の対を含むものであればよい。
このステップＳ４０９の処理は、ラベル割り当て装置１０２のラベル置換辞書生成部３０９と物体追尾装置１０１のラベル置換辞書記憶部３０５とが協調して、通信手段２０７を介して実行してよい。

次に、ステップＳ４１０においては、各物体追尾装置１０１が、ステップＳ４０３において取得した追尾結果に含まれる追尾ラベルとカメラ番号とを、ラベル置換辞書８００と照合する。これによって、物体ラベルを取得し、追尾結果の追尾ラベルを物体ラベルに置換する。ステップＳ４１０の処理は、図３の例で示したラベル置換部３０６が実行してよい。ラベル置換部３０６により、追尾ラベルから物体ラベルに置き換えられた追尾結果は、例えば物体ラベルと物体の２次元座標、幅、大きさ等の情報を含む。これに替えて、ラベル置換部３０６は、追尾結果中の追尾ラベルに物体ラベルを付加してもよい。この置換え後の追尾結果は、ラベル置換部３０６から所定の通信リンクを介して図３の例で示すモニタリング装置１０３に送信される。

ステップＳ４１１においては、モニタリング装置１０３が、各物体追尾装置１０１から、追尾ラベルが物体ラベルに置き換えられた後の追尾結果を受け取り、モニタリング処理を行う。モニタリング処理では、追尾結果の表示やイベント検出を適宜行うことができるが、その詳細は後述する。
ステップＳ４１２においては、ステップＳ４０１〜ステップＳ４１１までの処理を継続するか否かを判定する。例えば、追尾結果取得部３０４が、カメラからさらなる画像フレームを取得可能である場合は、ステップＳ４０２に処理が戻り、取得することが不可能である場合は、処理を終了する

（ラベル割り当て装置１０２におけるラベル置換辞書の作成処理・物体ラベル情報更新処理の詳細）
次に、本実施形態における、ラベル割り当て装置１０２が実行するラベル置換辞書の作成処理および物体ラベル情報更新処理（図４の例で示したステップＳ４０８の詳細）を、図９のフローチャートを用いて説明する。
図９に例として示す処理は、ラベル割り当て装置１０２の物体ラベル情報更新部３０７及びラベル置換辞書生成部３０９とが協調して実行することができる。
図４のステップＳ４０８では、ステップＳ４０７で得られた多カメラ間での物体の対応付け（対応付け情報）の集合と、物体ラベル情報記憶部３０８に記憶された物体ラベル情報とを用いて、ラベル置換辞書８００の生成と物体ラベル情報１０１０の更新を行う。

上述のように、この対応付け情報は、ある物体について各カメラのカメラ映像ごと追尾ラベルの組を、例えば、カメラ番号順にならべたものである。
図１０は、物体ラベル情報１０１０の構成の一例を示す。図１０の例に示されるように、物体ラベル情報１０１０は、各カメラの追尾ラベル１００１、１００３、１００４と物体ラベル１００２とを各カラムとしたテーブルで構成されてよい。この物体ラベル情報１０１０においても、ラベル情報が欠落していることを示す無効ラベルＸを付与することができる。例えば、図１０の左から２番目のカラムの第２カメラの追尾ラベル１００３中に、第２カメラでは物体が追尾できなかった旨を示す無効ラベルＸが示されている。ラベル置換辞書８００は、この物体ラベル情報１０１０を参照することにより生成することができ、図８に例として示したように、カメラ番号８０１、追尾ラベル８０２、物体ラベル８０３をカラムとするテーブルで構成されてよい。

図９に戻り、ステップＳ９０１においては、多カメラ（複数カメラ）間での物体の対応付け（対応付け情報）の集合と、物体ラベル情報記憶部３０８に記憶された物体ラベル情報１０１０とを入力する。
図９のステップＳ９０２においては、ラベル置換辞書８００を初期化する。この初期化は、例えば、ラベル置換辞書８００のエントリー（ラベル置換辞書８００のテーブルの各行）の内容を全て削除することによって行ってよい。この初期化は、ラベル置換辞書生成部３０９が行うことができる。

次に、ステップＳ９０３においては、ステップＳ９０１で入力された対応付け情報の集合から任意の１つを処理対象として選ぶ。この選択は、物体ラベル情報更新部３０７が行ってよい。なお、このステップＳ９０３から、ステップＳ９０７までに示される処理は、物体ラベル情報１０１０に対する更新処理等であり、物体ラベル情報更新部３０７が行ってよい。
ステップＳ９０４では、ステップＳ９０３で選択した対応付け情報との類似度が最も大きいエントリー（以降、最大エントリーと呼ぶ）を、対応付けの尤度が高いエントリーとして、物体ラベル情報１０１０から探索する。
本実施形態では、この類似度として、追尾ラベルが一致しているカメラの個数を利用する例を説明する。例えば、選択された対応付け情報と各エントリーとの類似度Ｓは、対応付け情報ｍとエントリー中の追尾ラベル情報ｔの類似度として次式で計算することができる。

ここで、ｃはカメラ番号である。ｍ＝｛ｍ１，ｍ２，．．．，ｍｃ，．．．｝は対応付け情報で、追尾ラベルｍｃがカメラ番号ｃの順に並べられたベクトルである。また、ｔ＝｛ｔ１，ｔ２，．．．，ｔｃ，．．．｝は物体ラベル情報１０１０の各エントリー中の追尾ラベル情報で、各カメラの追尾ラベルｔ１がカメラ番号ｃ順に並べられたベクトルである。また、δ（ｉ，ｊ）はｉとｊが一致、すなわち追尾ラベルが一致したら１を返す関数である。
ただし、本実施形態では、無効ラベルＸを考慮してδ（ｉ，ｊ）は次式で表わされる。

追尾対象物体が移動体である場合等、ある物体を映像中で検出し追尾しているカメラの個数は時系列上変化する。例えば、ある画像フレーム時点では２台で撮像し、他の画像フレーム時点では３台で撮像してカメラ映像を出力する。そこで、本実施形態では、無効ラベルＸを導入して、あるカメラが撮影していない場合はそのカメラの追尾ラベルを除外して、類似度を算出している。

図９のステップＳ９０５においては、ステップＳ９０４で得た最大エントリーの類似度が１以上であったか否かを判定する。ここで、最大エントリーない場合や、類似度が１より小さい場合においては、その対応付け情報に含まれる追尾ラベルに対して物体ラベルが未だに割り当てられていないことを示す（ステップＳ９０５ＮＯ）。そのため、追尾すべき新たな物体が出現したものと判断し、当該あらたな物体に新たな物体ラベルを割り当てるために、ステップＳ９０６に進む。他方、類似度が１以上の最大エントリーがある場合には、すでに該当する物体ラベルが存在するものと判断し、選択された対応付け情報で最大エントリーを更新するためにステップＳ９０７に進む（ステップＳ９０５ＹＥＳ）。

ステップＳ９０６においては、入力された対応付け情報に対して新しい物体ラベルを割り当て、割り当てられた物体ラベルと入力された対応付け情報との対を、物体ラベル情報１０１０に追加する。具体的には、対応付け情報の各カメラの追尾ラベルの組と新たな物体ラベルとを並べたエントリー（以降、新規エントリーと呼ぶ）を、図１０の物体ラベル情報１０１０のテーブルに追加する。
ステップＳ９０６において、例えば、対応付け情報が第１カメラの画像フレーム中の物体に対して追尾ラベルとして３が付与され、第２カメラの画像フレーム中の物体に追尾ラベルとして無効ラベルＸが付与されているものとする。更に、第３カメラの画像フレーム中の物体に対して追尾ラベルとして５が付与されている場合、新たな物体ラベルがＡだとすると、（３、Ｘ、５、Ａ）という新規エントリーを物体ラベル情報１０１０のテーブルに追加する。

一方、図９のステップＳ９０７においては、入力された対応付け情報を用いて、ステップＳ９０４で得られた物体ラベル情報１０１０中の最大エントリーを更新する。具体的には、対応付け情報に含まれる追尾ラベルで最大エントリーに含まれる追尾ラベルを上書きしてよい。
例えば、あるカメラにおいて、対応付け情報の追尾ラベルが３であり、最大エントリーの追尾ラベルが５の場合であれば、この最大エントリーの追尾ラベルを３で置き換える。ただし、あるカメラにおいて、対応付け情報の追尾ラベルが無効ラベルＸを示す場合、この最大エントリー中の当該追尾ラベルは更新しない。
図９のステップＳ９０６で新規エントリーが追加、または、ステップＳ９０７において更新された物体ラベル情報１０１０は、物体ラベル情報記憶部３０８に記憶される。ステップＳ９０４、ステップＳ９０５、ステップＳ９０６、ステップＳ９０７の処理は、図３の例で示される物体ラベル情報更新部３０７が実行することができる。

次に、図９のステップＳ９０８においては、ステップＳ９０６で追加された新規エントリー、またはステップＳ９０で更新された最大エントリーを用いて、ラベル置換辞書８００を更新する。具体的には、新規または最大エントリーに記述されているカメラ番号８０１、追尾ラベル８０２、物体ラベル８０３の関係をラベル置換辞書８００に追加する。例えば、新規または最大エントリーにおいて、第１カメラの画像フレーム中の物体に付与された追尾ラベルが３であり、第２カメラの画像フレーム中の物体に無効ラベルＸが付与されているものとする。更に、第３カメラの画像フレーム中の物体に付与された追尾ラベルが５であり、物体ラベルがＡの場合は、ラベル置換辞書８００のテーブルに（１、３、Ａ）、（３、５、Ａ）の２つのエントリーを追加する。なお、ステップＳ９０８の処理は、ラベル置換辞書生成部３０９が実行してよい。

図９のステップＳ９０８におけるラベル置換辞書の更新処理を、別の観点から説明する。ステップＳ９０４において説明したように、ステップＳ９０４においては、物体ラベル情報１０１０から、入力された対応付け情報と、最も類似度の高いエントリーを探索し、選択している。
類似度が高いということは、対応付け情報に含まれる追尾ラベルの組と物体ラベル情報に含まれる物体ラベルの組とが対応付く尤もらしさ（尤度）が高いことを意味する。言い換えると、尤度の高い追尾ラベルの組と物体ラベルとの対応関係（対）を、物体ラベル情報１０１０から探索し、その尤度の高い対応関係をラベル置換辞書８００に記憶させていることになる。

また、類似度が高いことは、上記数式（式２）（式３）でも説明したように、追尾対象物体を撮像したカメラの個数が多いであろうことを示唆する。したがって、撮影したカメラの個数の多い方が追尾処理における信頼性が高いという観点から、本実施形態においては、物体ラベル情報１０１０から、類似度の高いエントリーを選択して優先的に取り出している。そして、ステップＳ９０８において、これを反映してラベル置換辞書を生成している。
なお、図４のステップＳ４０７で求められる複数カメラ間での物体の対応付けは、誤っている可能性があり、その結果、ステップＳ４０８で更新される物体ラベル情報１０１０には誤った情報が含まれている可能性がある。このため、本実施形態においては、より尤度の高いものを選択することによって、このように誤った対応付け情報を排除または低減することができる。

ステップＳ９０９においては、図９フローチャートのステップＳ９０３からステップＳ９０８までの処理を継続するか否かの判定が行われる。ステップＳ９０１で入力された対応付け情報について、ステップＳ９０３において、全て選択され処理されていれば、図９のステップＳ９１０に処理が移行する。そして、ステップＳ９１０においては、ステップＳ９０９までの処理の結果として、更新された物体ラベル情報１０１０とラベル置換辞書８００とを出力する。すなわち、更新された物体ラベル情報１０１０のテーブルが得られる。他方、ステップＳ９０３において、対応付け情報が全て選択されていなければ、ステップＳ９０９からステップＳ９０３に処理が戻り、未処理の対応付け情報に対する処理が継続される。

（モニタリング装置１０３における画像表示処理の詳細）
図４に戻り、図４のステップＳ４１１におけるモニタリング装置１０３での画像表示処理の詳細を説明する。ステップＳ４１１においては、モニタリング装置１０３は各物体追尾装置１０１から、追尾ラベルを物体ラベルに置き換えた追尾結果を受信する。モニタリング装置１０３は、受信された追尾結果の表示を実行するとともに、さらに、イベント検出のモニタリング処理を行うことができる。

まず、モニタリング装置１０３が実行する追尾結果の表示について説明する。図１１は、追尾結果の表示のための表示画面構成例を示す。表示画面１１１０の構成例は、１つ以上のカメラ画像１１０１ａ、１１０１ｂ、１１０１ｃ、１１０１ｄと、３次元マップ１１０４と、で構成してよい。なお、図１１の例においては、カメラ画像として、第１カメラ画像１１０１ａ、第２カメラ画像１１０１ｂ、第３カメラ画像１１０１ｃ、第４カメラ画像１１０１ｄ、の４画面が示されているが、カメラの台数に応じて任意の画面数を採用してよい。

ステップＳ４０３において、図１１に示すように、カメラ画像１１０１ａ〜１１０１ｄの画像内には、追尾された人体領域を示すシンボル（例えば、枠（フレーム））１１０５ａ、１１０５ｂが人体領域に重畳表示等で識別可能に表示されてよい。異なるカメラの間で検出された人物が同一の人物であるか否かをユーザが容易に識別できるように、異なるカメラ間で同一の人物の枠は同じ色で着色してよい。例えば、１１０５ａを人物Ａ、１１０５ｂを人物Ｂとすると、１１０５ａと１１０５ｂとの間で異なる色の枠とする等としてよい。

一方、３次元マップ１１０４には、検索対象である物体（例えば、人物）の３次元位置や大きさを示すシンボル１１０３ａ、１１０３ｂと、カメラの位置や向きを示すシンボル１１０２ａ〜１１０２ｄが、床面とともに３次元画像として表示されてよい。図１１の例では、物体の３次元位置や大きさを示すシンボル１１０３として、シンボル１１０３ａ、シンボル１１０３ｂ、が示されている。また、図１１の例では、また、カメラの位置や向きを表すシンボル１１０２として、シンボル１１０２ａ、シンボル１１０２ｂ、シンボル１１０２ｃ、シンボル１１０２ｄ、が示されている。カメラ画像１１０１ａ、１１０１ｂ、１１０１ｃ、１１０１ｄの人物と、３次元マップ１１０４の人物とが、同一人物であるか否かを、ユーザが容易に識別できるように、それぞれを同じ色で着色してよい。例えば、１１０５ｂと１１０３ｂとが同じ人物であるとすると、１１０５ｂと１１０３ｂとで同じ色の枠とする等としてよい。
このような表示を実現するため、モニタリング装置１０３は、物体の３次元位置とその物体ラベルとを、ラベル割り当て装置１０２から取得する。

また、モニタリング装置１０３は、各物体追尾装置１０１から、各カメラでの追尾結果とこれらに付随する物体ラベルを取得するとともに、さらに、カメラ画像も取得する。モニタリング装置１０３は、この取得したカメラ画像を利用して、図１１に例として示されているカメラ画像１１０１ａ、１１０１ｂ、１１０１ｃ、１１０１ｄを表示することができる。
モニタリング装置１０３は、表示画面１１１０中の各カメラ画像１１０１ａ、１１０１ｂ、１１０１ｃ、１１０１ｄ中に、人体領域を示すシンボル１１０５ａ、１１０５ｂを表示する。そして、３次元マップ１１０４中の人体の３次元位置や大きさを示すシンボル１１０３ａ、１１０３ｂと対応させて表示することができる。

追尾結果の物体ラベルと３次元位置の物体ラベルの一致を調べることによって、人体領域を示すシンボル１１０５ａ、１１０５ｂと、人体の３次元位置や大きさを示すシンボル１１０３ａ、１１０３ｂとの対応関係が判明する。この関係に基づき、カメラ画像間１１０１ａ〜１１０１ｄ、およびカメラ画像１１０１ａ〜１１０１ｄと３次元マップ１１０４との間で、同一人物と判断された追尾対象人物を、同じ色で着色して表示することができる。
なお、本実施形態では、図６等で説明したように、多視点幾何を利用した三角測量の手法で物体の３次元位置を推定する例を示した。

本実施形態においては、例えば上記のように複数カメラの映像の画像フレーム検出対象である物体の３次元位置を推定する。そして、この推定された３次元位置に基づき、あるカメラ映像に検出漏れがあった場合に、当該検出漏れが生じたカメラ画像上へ検出対象の物体を射影することで、当該検出対象物体が映る位置を推定することが可能である。すなわち、障害物（建築物、霧等）や、撮影環境（逆光等）、その他の障害によってあるカメラ（例えば、第３カメラ）の撮像映像から当該検出対象物体を検出できない場合も考えられる。この場合は、第１カメラ及び第２カメラで撮像した画像フレームから推定した３次元位置を、逆に第３カメラの画像フレーム上で映るであろう位置に射影して検出漏れを補完することが可能である。例えば、モニタリング装置１０３は、その表示画面１１１０中の第３カメラ画像１１０１ｃ上に、３次元位置を推定された検出漏れの生じた人体領域に、検出できなかった検出枠であることを示すシンボルを表示することができる。この場合、この検出枠を示すシンボル１１０５は、推定された位置であることを示すために、通常のシンボル１１０５とは色彩や輝度を変えて表示してよい。

次に、モニタリング装置１０３が実行するイベント検出について説明する。このイベント検出の処理は、例えば、モニタリング装置１０３が物体追尾装置１０１から追尾結果とそれに含まれる物体ラベルとに基づき、所定のイベントを検出し、当該イベントを通知する通報を発する処理等である。
一例として、本実施形態では、所定の監視カメラ、例えば、第１カメラと、第２カメラと、に映る監視領域に事前に定めた時間以上存在する人物を検出する。
具体的には、モニタリング装置１０３は、各カメラ映像の画像フレームごとに追尾結果とこれに付随する物体ラベルとを例えばＲＡＭ２０５等の記憶領域に記憶しておく。

そして、モニタリング装置１０３は、所定の物体ラベルが含まれている追尾結果が、第１カメラの画像フレームと、第２カメラの画像フレームと、のいずれかにおいて予め事前に定められた時間より前に存在しているか否かを探索する。もし、存在している場合は、この人物は定められた時間以上監視領域中に存在し続けたとみなし、不審人物を報知する通報を発してよい。
本実施形態によれば、異なるカメラ間あるいは異なる時刻の間に現れる同一物体に同一のラベルを付与することができる。すなわち、本実施形態によれば、異なるカメラが撮像したカメラ映像の間に表れる物体、又は、同一のカメラが撮像したカメラ映像中の異なる時刻の画像フレーム間に現れる物体、が同一であるか否かを、物体ラベルを用いてより正確に判別することができる。

これによって、同一物体であっても時刻によって異なる追尾ラベルが付与されてしまうことが有効に防止される。また、同一物体であっても、撮像するカメラ映像によって、異なる追尾ラベルが付与されてしまうことが有効に防止される。さらに、異なるカメラで撮影されたカメラ映像中の画像フレームに映っている物体間、又は、異なる時刻で撮影された画像フレーム中に映っている物体間において、現れる物体が同一であるか否かを、より正確に判別することができる。
なお、本実施形態では、各カメラの追尾ラベルと物体ラベルとを対応付けるための情報を記憶するための構成として、物体ラベル情報記憶部３０８を備えている。この物体ラベル情報記憶部３０８が、これらの情報を保持することによって、あるカメラ映像で、検出対象である物体の追尾が中断しても、他のカメラ映像において、当該物体の追尾が継続していれば、同一の物体ラベルの付与を続行することができる。

具体的には、図１７（ｂ）に示されているタイムチャートを例にすると、第１カメラのラベル１−１の追尾が中断しても、第２カメラや、第３カメラの追尾が続行している。このため、第１カメラのカメラ映像による追尾が中断している間でも、同一の物体ラベルを付与し続けることができる。上記のとおり、物体ラベル情報更新部３０７は、カメラ間の物体対応付けを用いて物体ラベル情報１０１０を更新する。これによって、あるカメラ映像中である物体の追尾ラベルが変更されても、他のカメラ映像で追尾が続行されている限り、同一の物体ラベルの付与を続行できる。

例えば、図１７（ｂ）に示されているタイムチャートにおいて、第１カメラのカメラ映像に映っている物体に付与されたラベル１−１が、時刻Ｔ６においてラベル１−２に変更されたとする。この場合でも、第３カメラが当該物体の追尾を続行しているため、同一の物体ラベルを付与し続けることができる。
従って、例えば広域を多数のカメラで監視して、移動体等の物体を検出して追尾する場合であっても、精度の高い物体追尾が実現できる。

（本実施形態の変形例）
本実施形態に係る画像処理システム１０００は、図１のように、物体追尾装置１０１、ラベル割り当て装置１０２、モニタリング装置１０３により構成される例を説明したが、図１の構成に限定されず、ある装置が他の装置の機能を兼備していてもよい。例えば、物体追尾装置１０１が、ラベル割り当て装置１０２の機能を兼備することで、ラベル割り当て装置１０２を省略する構成になっていてもよい。
また、モニタリング装置１０３が、ラベル割り当て装置１０２の機能を兼備することで、ラベル割り当て装置１０２を省略する構成になっていてもよい。さらに、物体追尾装置１０１がラベル割り当て装置１０２やモニタリング装置１０３の機能を兼備していてもよいし、複数の物体追尾装置１０１ａ、１０１ｂ、・・・、１０１ｎの機能を１つの物体追尾装置１０１にまとめてもよい。複数の装置の機能を１つの装置に兼備させることで、装置の数が減少し、装置の構成が簡単になる。

上記のように複数の装置の機能を１つの装置に兼備させる場合は、通信リンクを介してモジュール間のデータのやり取りを行うのではなく、ＲＡＭ等の一時記憶装置にデータを記憶しておき、複数の機能を同一のＣＰＵで実行することにより実現しても構わない。また、複数の機能をひとつのプログラムで実現しても構わない。
図１２は、図１に例として示された第１物体追尾装置１０１ａ〜第Ｎ物体追尾装置１０１ｎの少なくともいずれか１つがラベル割り当て装置１０２の機能を兼備している構成を採用する画像処理システム２０００のシステム構成の例を示す。

図１２に示されている第１物体追尾装置１２０１ａ、第２物体追尾装置１２０１ｂがラベル割り当て部１２０２ａ、１２０２ｂをそれぞれ備えることによって、装置の数が減少し、装置の構成が簡単になる。さらに、複数の物体追尾装置１２０１ａ、１２０１ｂが、他の装置を利用することなく、自律して追尾ラベルから物体ラベルへのラベル割り当てを行うことができる。例えば、物体追尾装置１２０１ａ、１２０１ｂ、１２０１ｃ、１２０１ｎを物体追尾機能を備えたネットワークカメラ等のカメラで構成すれば、カメラ同士が直接に通信できる。これにより、異なるカメラ間や異なる時刻間に現れる追尾対象物体が同一であるか否かの判別が、カメラの集合のみで実現できる。従って、システム構成がより簡単となり、カメラの使用者やカメラを利用する装置により簡便性を提供できる。

図１２に例として示す画像処理システム２０００では、ラベル割り当て部１２０２ａ、１２０２ｂを備える物体追尾装置１２０１ａ、１２０１ｂが２つ示されている。更に、ラベル割り当て部１２０２ａ、１２０２ｂを備えていない物体追尾装置１２０１ｃ、１２０１ｎが２つ、示されているが、これらは図示される数に限られるものではない。
また、本実施形態では、図１に示すように、ラベル割り当て装置１０２とモニタリング装置１０３との間に通信リンクが存在する例を示したが、この通信リンクは存在しなくてよい。

図１３は、ラベル割り当て装置１３０２とモニタリング装置１３０３との間に通信リンクが存在しない画像処理システム３０００の構成の例を示す。このような構成によれば、装置の構成が簡単になると。この場合、本実施形態において、表示画面に３次元位置を表示することを省略してもよい。また、本実施形態ではラベル割り当て装置１３０２が、物体の３次元位置を計算していた。しかしながら、物体追尾装置１３０１から得られる追尾結果から、図４に示されたステップＳ４０５の処理と同様の手順を用いて、検出対象である物体の３次元位置をモニタリング装置１３０３で再計算を行ってもよい。

さらに、図１２に示した画像処理システム２０００と同様の効果を、図１３に示した画像処理システム３０００でも得るために、物体追尾装置１３０１ａ、１３０１ｂ、１３０１ｎが、ラベル割り当て装置１３０２の機能の全部または一部を備えてもよい。
本実施形態では、図３（システム構成は図１）に示したように、物体追尾装置１０１と、モニタリング装置１０３との間に通信リンクが存在する例を示したが、この通信リンクは存在しなくてもよい。
図１４は、物体追尾装置１４０１と、モニタリング装置１４０３との間に通信リンクが存在しない構成を採用した画像処理システム４０００の機能構成の例を示す。図１５は、図１４に例として示す画像処理システム４０００のシステム構成の例を示す。
このような構成を採用する場合は、図１４に示すように、ラベル置換部１４０６やラベル置換辞書記憶部１４０５を、ラベル割り当て装置１４０２に備える構成にしてもよい。図１５に示される物体追尾装置１５０１ａ、１５０１ｂ、１５０１ｎの追尾結果は、ラベル割り当て装置１５０２を介して、モニタリング装置１５０３に対して送出されればよい。

この場合、モニタリング装置１５０３は、各物体追尾装置１５０１ａ、１５０１ｂ、１５０１ｎが独自に割り当てた追尾ラベルの替わりに物体固有の物体ラベルを含む追尾結果を取得することができる。したがって、異なるカメラ間あるいは異なる時刻間に現れる物体が同一の物体であるか否かをより正確に判別することができる。さらに、モニタリング装置１５０３と、物体追尾装置１５０１との間に、追尾結果情報を通信するための通信リンクを設けなくてよいので、構成がより簡単になる。

本実施形態では、図３に示すように、物体追尾装置１０１が、ラベル置換部３０６と、ラベル置換辞書記憶部３０５とを備える例を示した。これに替えて、モニタリング装置１０３が、ラベル置換部３０６と、ラベル置換辞書記憶部３０５とを備えてもよい。
図１６は、モニタリング装置１６０３が、ラベル置換部１６０６と、ラベル置換辞書記憶部１６０５とを備えている画像処理システム５０００の機能構成を示す図である。このような構成を採用する場合は、物体の追尾ラベルが物体追尾装置１６０１からモニタリング装置１６０３に送信される。また、ラベル置換辞書がラベル割り当て装置１６０２からモニタリング装置１６０３に送信される。

これらを受信したモニタリング装置１６０３のラベル置換部１６０６は、物体追尾装置１６０１から受信した追尾結果中に含まれる追尾ラベルを、ラベル置換辞書記憶部１６０５に記憶されるラベル置換辞書を参照して、物体ラベルに置き換えることができる。このような構成を採用することによって、物体追尾装置１６０１が、追尾ラベルを物体ラベルに置換する処理を行う必要がなくなり、物体追尾装置１６０１の計算負荷がより削減される。例えば、物体追尾装置１６０１の演算性能が限られている場合は、モニタリング装置１６０３として機能する演算性能が優れたサーバ等のコンピュータ装置において、ラベル置換部１６０６がその追尾ラベルを物体ラベルに置換する処理を行えばよい。
以上、種々の構成の画像処理装置を説明したが、本実施形態の装置構成、ネットワーク構成、機能構成は任意であって、適宜変更組み合わせて採用されてよい。

以上、本発明の実施形態を詳細に説明したが、本実施形態に係る画像処理装置１０００、２０００、３０００、４０００、５０００の全部又はその一部のコンポーネントを図２に例として示したコンピュータ２２０で構成してよい。例えば、物体追尾装置１０１や、ラベル割り当て装置１０２、モニタリング装置１０３、のそれぞれを図２で示したコンピュータ２２０で構成してよい。
コンピュータ２２０中のＣＰＵ２０３が、ＲＯＭ２０４や外部メモリ（ハードディスク等）２０８から読み出したプログラムコードを実行することにより、上記実施形態の画像処理装置の各機能が実現されるようにしてもよい。更に、そのプログラムコードの指示に基づき、コンピュータ２２０上で稼働するオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も、本発明の範囲に含まれる。

また、上述の実施形態は、これらの１以上の機能を実現するコンピュータプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置における１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本発明は、上述した１つ乃至複数のうちのいくつかの効果を有する。

１０１…物体追尾装置、１０２…ラベル割り当て装置、１０３…モニタリング装置、３０４…追尾結果取得部、３０５…ラベル置換辞書記憶部、３０６…ラベル置換部、３０７…物体ラベル情報更新部、３０８…物体ラベル情報記憶部、３０９…ラベル置換辞書生成部、３１０…カメラ情報記憶部、３１１…物体対応算出部、３１２…３次元位置記憶部、１０００…画像処理システム

Claims (24)

1. 複数の撮像手段により撮像された複数の映像に関して、当該複数の映像のそれぞれから検出された追尾すべき物体について、前記映像の画像フレーム中の前記物体の位置と前記物体を識別する追尾ラベルとを含む追尾結果を取得する取得手段と、
   前記取得手段により取得された複数の追尾結果に基づいて、前記複数の映像の間で、画像フレーム中に検出された物体を対応付ける対応付け手段と、
   前記対応付け手段による対応付け結果に基づいて、前記複数の映像の間で同一の物体であると推定される物体を一意に識別する物体ラベルを生成する物体ラベル生成手段と、
   前記物体ラベルに基づいて、前記取得手段により取得された複数の追尾結果を統合して、前記物体の３次元空間における位置を算出する算出手段と、
   を備えることを特徴とする画像処理装置。
2. 前記対応付け手段により対応付けられた物体のそれぞれに対する前記追尾ラベルの組と、前記物体ラベルとの対応付けの候補を物体ラベル情報として記憶する記憶手段と、
   前記記憶手段に記憶される前記物体ラベル情報から、少なくとも１つの追尾ラベルと前記物体ラベルとの対を含むラベル変換辞書を生成する辞書生成手段と、をさらに備える
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記辞書生成手段は、前記物体ラベル情報から、前記追尾ラベルと前記物体ラベルとが対応付けられる尤度が高い候補を選択することで、前記ラベル変換辞書を生成する、ことを特徴とする請求項２に記載の画像処理装置。
4. 前記辞書生成手段は、前記物体ラベル情報と、前記追尾ラベルの組との間の類似度を算出することで、前記ラベル変換辞書を生成する、ことを特徴とする請求項２または３に記載の画像処理装置。
5. 前記類似度は、前記物体ラベル情報の中の追尾ラベルが前記追尾ラベルの組の中の追尾ラベルと一致する個数である、ことを特徴とする請求項４に記載の画像処理装置。
6. 前記辞書生成手段は、前記第１の生成手段により生成された前記追尾ラベルの組の中で、画像フレーム中に前記物体が検出されない旨を示す追尾ラベルを、前記類似度の算出から除外する、ことを特徴とする請求項４または５に記載の画像処理装置。
7. 前記辞書生成手段により生成された前記ラベル変換辞書を出力して、ネットワークを介して接続される他の装置に、前記ラベル変換辞書に基づいて、前記追尾ラベルを前記物体ラベルに置換えさせる出力手段、をさらに備える
   ことを特徴とする請求項２から５のいずれか１項に記載の画像処理装置。
8. 前記対応付け手段により対応付けられた前記追尾ラベルの組により、前記記憶手段に記憶される前記物体ラベル情報を更新する更新手段、をさらに備える
   ことを特徴とする請求項２から６のいずれか１項に記載の画像処理装置。
9. 前記更新手段は、前記物体ラベル情報を画像フレームごとに更新する、ことを特徴とする請求項８に記載の画像処理装置。
10. 前記更新手段は、前記物体ラベル情報と、前記追尾ラベルの組との間の類似度を算出し、算出された前記類似度のより高い候補を前記物体ラベル情報から選択し、選択された候補に含まれる追尾ラベルを、前記追尾ラベルの組で更新する、ことを特徴とする請求項９に記載の画像処理装置。
11. 前記類似度は、前記物体ラベル情報の中の追尾ラベルが前記追尾ラベルの組の中の追尾ラベルと一致する個数である、ことを特徴とする請求項１０に記載の画像処理装置。
12. 前記更新手段は、前記第１の生成手段により生成された前記追尾ラベルの組の中で、画像フレーム中に前記物体が検出されない旨を示す追尾ラベルを、前記類似度の算出から除外する、ことを特徴とする請求項１０または１１に記載の画像処理装置。
13. 前記第１の生成手段は、前記複数の撮像手段のそれぞれの位置および姿勢、並びに前記複数の映像の画像フレーム中の前記物体の位置を用いて、前記複数の追尾結果から、前記物体の前記追尾ラベルの組を生成する、ことを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。
14. 映像を撮像する撮像手段と、
    撮像された前記映像を他の装置にネットワークを介して通信する通信手段と、をさらに備えることを特徴とする請求項１から１３のいずれか１項に記載の画像処理装置。
15. 前記対応付け手段は、より多くの撮像手段により検出された物体の追尾結果を優先して、当該物体を対応付ける、ことを特徴とする請求項１から１４のいずれか１項に記載の画像処理装置。
16. 前記対応付け手段は、前記画像フレーム中の前記物体の領域の代表点をエピポーラ幾何によるステレオ視を用いて対応付けることで、複数の物体を対応付ける、ことを特徴とする請求項１から１５のいずれか１項に記載の画像処理装置。
17. 撮像手段により撮像された映像から検出された追尾すべき物体の、前記映像の画像フレーム中の位置を算出すると共に、前記物体を識別する追尾ラベルを前記物体に付与して、前記物体の前記位置および前記追尾ラベルを含む追尾結果を生成する生成手段と、
    前記生成手段により前記物体に付与された前記追尾ラベルと、複数の撮像手段によりそれぞれ撮像される複数の映像の間で同一の物体であると推定される物体を一意に識別する物体ラベルとの対を含むラベル変換辞書を入力する入力手段と、
    前記入力手段に入力された前記ラベル変換辞書に基づいて、前記物体に付与された前記追尾ラベルを、前記他の物体ラベルで置き換える置換手段と、
    前記置換手段により置き換えられた前記物体ラベルを用いて、前記映像中の連続する画像フレームにわたり前記物体を追尾する追尾手段と、
    前記追尾ラベルが前記物体ラベルで置き換えられた追尾結果を、ネットワークを介して接続される他の装置へ送信する送信手段と、
    を備えることを特徴とする画像処理装置。
18. 映像を撮像する撮像手段と、
    撮像された前記映像を他の装置にネットワークを介して通信する通信手段と、をさらに備えることを特徴とする請求項１７に記載の画像処理装置。
19. 複数の撮像手段により撮像された複数の映像とともに、複数の映像から検出された追尾すべき物体について、該物体の前記映像の画像フレーム中の前記物体の位置と、前記複数の映像の間で前記物体を一意に識別する物体ラベルとを含む追尾結果を取得する取得手段と、
    前記物体ラベルに基づいて、前記取得手段により取得された複数の追尾結果を統合して算出された前記物体の３次元空間における位置を入力する入力手段と、
    表示装置に、前記複数の映像の画像と、前記３次元空間の３次元マップとを表示させる際に、同一の前記物体ラベルが付与された物体について、前記画像と前記３次元マップとの間で、前記物体の画像内の領域に同一の物体であることを示すシンボルを表示させる表示制御手段と、を備える
    ことを特徴とする画像処理装置。
20. ラベル処理装置と、物体追尾装置と、画像表示装置とをネットワークを介して接続して構成される画像処理システムであって、
    前記ラベル処理装置は、
    複数の撮像手段により撮像された複数の映像に関して、当該複数の映像から検出された追尾すべき物体について、該物体の前記映像の画像フレーム中の前記物体の位置と前記物体を識別する追尾ラベルとを含む追尾結果を取得する取得手段と、
    前記取得手段により取得された複数の追尾結果に基づいて、前記複数の映像の間で、画像フレーム中に検出された物体を対応付ける対応付け手段と、
    前記対応付け手段による対応付け結果に基づいて、前記複数の映像の間で同一の物体であると推定される物体を一意に識別する物体ラベルを生成する物体ラベル生成手段と、
    前記対応付け手段により対応付けられた物体のそれぞれに対する前記追尾ラベルの組と、前記物体ラベルとの対応付けの候補を物体ラベル情報として記憶する記憶手段と、
    前記記憶手段に記憶される前記物体ラベル情報から、少なくとも１つの追尾ラベルと前記物体ラベルとの対を含むラベル変換辞書を生成する辞書生成手段と、
    前記物体ラベルに基づいて、前記取得手段により取得された複数の追尾結果を統合して、前記物体の３次元空間における位置を算出する算出手段と、
    前記ラベル変換辞書を前記物体追尾装置に送信する送信手段と、を備え、
    前記物体追尾装置は、
    前記追尾結果を生成する追尾結果生成手段と、
    前記ラベル変換辞書を入力する入力手段と、
    前記入力手段に入力された前記ラベル変換辞書に基づいて、前記物体に付与された前記追尾ラベルを、前記物体ラベルで置き換える置換手段と、
    前記置換手段により置き換えられた前記物体ラベルを用いて、前記映像中の連続するフレームにわたり前記物体を追尾する追尾手段と、
    前記追尾ラベルが前記物体ラベルで置き換えられた追尾結果を、ネットワークを介して接続される他の装置へ送信する送信手段と、を備え、
    前記画像表示装置は、
    前記送信手段により送信される追尾結果を、複数の撮像手段によりそれぞれ撮像された複数の映像とともにそれぞれ取得する取得手段と、
    前記物体の前記３次元空間における位置を入力する入力手段と、
    表示装置に、前記複数の映像の画像と、前記３次元空間の３次元マップとを表示させる際に、同一の前記物体ラベルが付与された物体について、前記画像と前記３次元マップとの間で、前記物体の画像内の領域に同一の物体であることを示すシンボルを表示させる表示制御手段と、を備える
    ことを特徴とする画像処理システム。
21. 複数の撮像手段により撮像された複数の映像に関して、当該複数の映像のそれぞれから検出された追尾すべき物体について、前記映像の画像フレーム中の前記物体の座標と前記物体を識別する追尾ラベルとを含む追尾結果を取得するステップと、
    取得された複数の追尾結果に基づいて、前記複数の映像の間で、画像フレーム中に検出された物体を対応付けるステップと、
    対応付け結果に基づいて、前記複数の映像の間で同一の物体であると推定される物体を一意に識別する物体ラベルを生成するステップと、
    生成された前記物体ラベルに基づいて、取得された複数の追尾結果を統合して、前記物体の３次元空間における位置を算出するステップと、
    を含むことを特徴とする画像処理方法。
22. 撮像手段により撮像された映像から検出された追尾すべき物体の、前記映像の画像フレーム中の位置を算出すると共に、前記物体を識別する追尾ラベルを前記物体に付与して、前記物体の前記位置および前記追尾ラベルを含む追尾結果を生成するステップと、
    前記物体に付与された前記追尾ラベルと、複数の撮像手段によりそれぞれ撮像される複数の映像の間で同一の物体であると推定される物体を一意に識別する物体ラベルとの対を含むラベル変換辞書を入力するステップと、
    入力された前記ラベル変換辞書に基づいて、前記物体に付与された前記追尾ラベルを、前記他の物体ラベルで置き換えるステップと、
    置き換えられた前記物体ラベルを用いて、前記映像中の連続するフレームにわたり前記物体を追尾するステップと、
    前記追尾ラベルが前記物体ラベルで置き換えられた追尾結果を、ネットワークを介して接続される他の装置へ送信するステップと、
    を含むことを特徴とする画像処理方法。
23. 複数の撮像手段により撮像された複数の映像とともに、複数の映像から検出された追尾すべき物体について、該物体の前記映像の画像フレーム中の前記物体の位置と、前記複数の映像の間で前記物体を一意に識別する物体ラベルとを含む追尾結果を取得するステップと、
    前記物体ラベルに基づいて、取得された複数の前記追尾結果を統合して算出された前記物体の３次元空間における位置を入力するステップと、
    表示装置に、前記複数の映像の画像と、前記３次元空間の３次元マップとを表示させる際に、同一の前記物体ラベルが付与された物体について、前記画像と前記３次元マップとの間で、前記物体の画像内の領域に同一の物体であることを示すシンボルを表示させるステップと、を含む
    ことを特徴とする画像処理方法。
24. コンピュータが読み込み実行することで、前記コンピュータを請求項１から１９のいずれか１項に記載の画像処理装置の各手段として機能させるコンピュータプログラム。

Images