JP2022045755A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】混雑時の空間における特定物体の追跡処理速度を向上させる。【解決手段】１以上の検出対象が存在する空間の撮像画像を取得する。検出対象が有する無線端末の位置情報を取得する。撮像画像から検出対象を検出する。無線端末の位置情報と、撮像画像からの検出対象の検出位置と、の双方に基づいて、１以上の検出対象の経時的な位置を追跡する。【選択図】図１

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

近年、混雑解消、災害時の避難誘導及び市場調査に活用するために、混雑状況の検知、混雑時の人の動向及びイベント会場の各ブースにおける人の滞留時間を把握することについてニーズがある。このニーズにこたえるために、例えば無線端末を所持する人の検出に基づき混雑度を判定する方法が開示されている（特許文献１）。一方、無線端末を所持しない人の検出は、一般的に画像解析によって行われている。

特願２０１５－１５８３７０号公報

しかしながら、一般的な画像解析による人物追跡では、追跡対象の人物数に比例して画像処理時間が増大する。とりわけ、混雑時の空間において画像解析により特定物体の追跡を行う場合には、処理時間が長くなりやすいという課題があった。

本発明は、混雑時の空間における特定物体の追跡処理速度を向上させることを目的とする。

本発明の目的を達成するために、本発明の一実施形態に係る画像処理装置は以下の構成を備える。すなわち、
１以上の検出対象が存在する空間の撮像画像を取得する画像取得手段と、
前記検出対象が有する無線端末の位置情報を取得する位置取得手段と、
前記撮像画像から前記検出対象を検出する検出手段と、
前記無線端末の位置情報と、前記撮像画像からの前記検出対象の検出位置と、の双方に基づいて、前記１以上の検出対象の経時的な位置を追跡する追跡手段と、
を備える。

本発明によれば、混雑時の空間における特定物体の追跡処理速度を向上させることができる。

システム構成の一例を示す図。 情報処理装置のハードウェア構成を示す図。 情報処理装置の機能を示す図。 撮像装置１１０及び無線検出装置１４０を配置した平面図。 平面図４００上の座標を画像５００上の座標に変換する様子を示した図。 座標変換の処理を示すフローチャート。 無線端末１５０の座標を推定する様子を示した図。 無線端末１５０の座標推定処理を示すフローチャート。 特定物体の追跡処理の流れを示すフローチャート。 特定物体の追跡の様子を示した図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

以下に説明する実施形態においては、撮像装置としてネットワークカメラが用いられているがこれに限定されず、他の撮像機器（例えばビデオカメラ、スチルカメラ、携帯電話、携帯情報端末等）の利用を排除するものではない。また、以下では撮像装置及び他の装置を含む画像処理システムが説明され、ここで情報処理装置１００は検出対象の追跡を行う画像処理装置として用いられる。

また、後述する実施形態に係る情報処理装置１００の１以上の機能を他の装置が有していてもよい。例えば、各実施形態に係る情報処理装置１００の１以上の機能を撮像装置１１０が有していてもよい。例えば、ネットワークカメラのような撮像装置１１０が、検出対象の追跡を行う情報処理装置１００の機能を有していてもよい。また、本発明の一実施形態に係る画像処理装置は、例えばネットワークを介して接続された複数の情報処理装置によって構成されていてもよい。

以下、実施形態の一例を図１から図１０に示し、図面を参照しつつ、画像処理装置について説明する。

図１は、本実施形態におけるシステム構成の一例を示す図である。本実施形態の画像処理システム１０は、情報処理装置１００、撮像装置１１０、記録装置１２０、ディスプレイ１３０、無線検出装置１４０、及び無線端末１５０を含むように構成され、ネットワーク１６０と接続する。

情報処理装置１００、撮像装置１１０、記録装置１２０及び無線検出装置１４０はそれぞれネットワーク１６０と接続する。ネットワーク１６０は、画像処理システム１０の構成装置を接続するための構成要素であり、例えばインターネット、有線ＬＡＮ、無線ＬＡＮ及びＷＡＮ等である。ネットワーク１６０は、例えばＥｔｈｅｒｎｅｔ（登録商標）等の通信規格に準拠する複数のルータ、スイッチ及びケーブル等を含むように構成される。

情報処理装置１００は、画像処理を実施するための装置であり、例えば画像処理の機能を実行するためのプログラムがインストールされたＰＣ等である。撮像装置１１０は、静止画像又は動画像を撮像するための装置であり、例えばネットワークカメラ、ビデオカメラ、スチルカメラ、スマートフォン、携帯電話及び携帯情報端末（ＰＤＡ）等である。撮像装置１１０は、撮像した画像データ、撮像時刻の情報、及び撮像装置１１０を識別するための識別情報、の全てが関連付けられた関連付け情報を生成する。次に、撮像装置１１０はネットワーク１６０を介し、情報処理装置１００及び記録装置１２０へ関連付け情報を送信する。なお、本実施形態では、撮像装置１１０が１つの場合を例示するが、これに限定されることはなく、撮像装置１１０は１つ以上あってもよい。

記録装置１２０は、画像処理システム１０の様々な情報を記録するための装置であり、例えばＨＤＤ、ＳＳＤ及びｅＭＭＣ等の記憶装置である。記録装置１２０は、撮像装置１１０が送信した関連付け情報を受け取り、この情報を記録する。次に、情報処理装置１００の要求に基づき、記録装置１２０は、記録した関連付け情報を情報処理装置１００へ送信する。

ディスプレイ１３０は、各種設定情報及び画像処理結果を表示するための装置であり、例えばＬＣＤ等である。情報処理装置１００の画像処理結果及び撮像装置１１０が撮像した画像等を表示する。ディスプレイ１３０は、ＨＤＭＩ（登録商標）等の通信規格に準拠したディスプレイケーブルを介して情報処理装置１００と接続されている。なお、ディスプレイ１３０、情報処理装置１００及び記録装置１２０の少なくともいずれか２つ又は全ては、単一に構成されてもよい。また、情報処理装置１００及び撮像装置１１０は単一の構成であってもよい。さらに、撮像装置１１０が情報処理装置１００の機能を有していてもよい。

なお、情報処理装置１００による画像処理結果及び撮像装置１１０により撮像された画像等は、ディスプレイ１３０に表示されるだけでなく、例えば本画像処理システム１０に含まれない他の外部装置が有するディスプレイに表示されてもよい。例えば、上記の画像処理結果又は画像は、ネットワーク１６０を介して接続された携帯電話、スマートフォン及びタブレット端末等の携帯情報端末が有するディスプレイに表示されてもよい。

本実施形態において、無線検出装置１４０は、無線ＬＡＮに接続された無線端末１５０の位置情報を取得するために、Ｗｉ－Ｆｉ（登録商標）規格に準拠した無線ＬＡＮの電波を検出することができる。検出された電波の電波強度等に基づき、無線検出装置１４０は、自身から無線端末１５０までの距離を算出することができる。複数の無線検出装置１４０は、無線端末１５０の位置を特定するために、電波強度又は電波の到達時間を使用した測位を行うことができる。無線端末１５０の正確な位置を測位するための方法である３点測位を行うために、無線検出装置１４０は少なくとも３台以上あればよい。ただし、高精度の測位が要求されない場合、無線検出装置１４０の台数は３台に限定されるものではない。無線検出装置１４０は、無線端末１５０の位置を特定するために、無線ＬＡＮの電波に限定されず、例えばＧＰＳ、ＩＭＥＳ、ＲＦＩＤ、ＢＬＥ及び超音波等の様々な周波数帯の電波を使用することができる。

図２は、各実施形態の機能を実現するための情報処理装置１００のハードウェア構成の一例を示す。なお、撮像装置１１０、記録装置１２０及び無線検出装置１４０は、情報処理装置１００と同様のハードウェア構成を有する。

情報処理装置１００は、中央処理演算装置（ＣＰＵ）２００、ＲＡＭ２１０、ＲＯＭ２２０、ＨＤＤ２３０及びインターフェース（Ｉ／Ｆ）２４０を含むように構成される。

ＣＰＵ２００は、各装置を全般的に制御するための装置である。ＲＡＭ２１０は、ＣＰＵ２００が実行するコンピュータプログラムを一時的に記憶するためのメモリであり、例えばＳＲＡＭ及びＤＲＡＭ等の揮発性メモリである。ＲＡＭ２１０は、ＣＰＵ２００に実行処理するためのワークエリアを提供する。また、ＲＡＭ２１０は、例えばフレームメモリ又はバッファメモリとして機能する。

ＲＯＭ２２０は、ＣＰＵ２００が各装置を制御するためのプログラム等が記憶された装置である。例えば、ＲＯＭ２２０はＥＥＰＲＯＭやフラッシュメモリ等の不揮発性メモリである。ＨＤＤ２３０は、画像データ等を記録するための記憶装置であり、例えばＳＳＤ及びｅＭＭＣ等である。

Ｉ／Ｆ２４０は、ネットワーク１６０を介して、例えばＴＣＰ／ＩＰ及びＨＴＴＰ等のネットワークプロトコルに基づき、外部装置と通信を行うための装置である。

上記の実施形態において、ＣＰＵ２００がプログラム等を実行する一例について説明したが、ＣＰＵ２００が実行する処理の一部は専用のハードウェアによって行われてもよい。例えば、ディスプレイ１３０にグラフィカルユーザインターフェース（ＧＵＩ）及び画像データ等を表示するための処理は、グラフィックスプロセシングユニット（ＧＰＵ）によって実行されてもよい。また、ＲＯＭ２２０からプログラムを読み出して、ＲＡＭ２１０にプログラムを展開する処理は、転送装置として機能するＤＭＡによって実行されてもよい。

図３は、本実施形態の情報処理装置１００の機能を示す。なお、図３に示す各機能は、ＣＰＵ２００がＲＯＭ２２０に格納されたコンピュータプログラムを実行することによって実現される。

通信部３００は、Ｉ／Ｆ２４０及びネットワーク１６０を介して、撮像装置１１０及び記録装置１２０と通信を行うことができる。通信部３００は、撮像装置１１０によって撮像された、１以上の検出対象が存在する空間の撮像画像を取得するように、画像取得を行うことができる。例えば、通信部３００は、撮像装置１１０が撮像した画像データを受信し、撮像装置１１０を制御するための制御コマンドを撮像装置１１０へ送信する機能を有する。制御コマンドは、例えば情報処理装置１００が撮像装置１１０に画像を撮像させるようなコマンド等である。

記憶部３０１は、情報処理装置１００による画像処理結果及び画像処理関連のデータをＲＡＭ２１０及びＨＤＤ２３０に保存する機能を有する。また、記憶部３０１は、Ｉ／Ｆ２４０を介して、記録装置１２０の記憶媒体にデータを保存することができる。

出力制御部３０２は、撮像装置１１０が撮像した画像及び画像処理結果を示す情報等を他の装置又はディスプレイ１３０にそれぞれ出力又は表示することができる。なお、情報の出力先である他の装置は、本画像処理装置の構成に含まれない、例えば他の情報処理装置（不図示）であってもよい。

操作受付部３０３は、キーボード及びマウス等の入力装置を介して、ユーザが行った操作を受け付ける。

物体検出部３０４は、撮像画像から検出対象を検出することができる。物体検出部３０４は、例えば、パターンマッチングに基づき、画像内の特定物体を検出する機能を有する。本実施形態において、検出対象となる特定物体が人である場合のパターンマッチングについて説明する。画像内の人を検出する場合、例えば人が正面又は横を向いているような複数の照合パターンを使用することによって、人が検出される。また、複数の照合パターンは、物体検出部３０４が有する人の検出精度を向上させることができる。人の照合パターンの例として、斜め方向又は上方向等の視点から人が見られた場合の照合パターンが用意されてもよい。また、照合パターンは人の全身の特徴を示す照合パターンでなくてもよく、むしろ人の特徴の一部（例えば上半身、下半身、頭部、顔及び足等）を示す照合パターンであってよい。

本実施形態において物体検出部３０４は、別の特定物体検出法として、回帰ベース推定法を使用することができる。回帰ベース推定法は、ある固定サイズの小画像を回帰器（学習済み認識モデル）に入力し、出力として小画像内に存在する特定物体の検出結果を得る方法である。例えば、人の検出結果が回帰器から出力される場合、回帰器は人である確からしさを示す確率を出力することができる。ユーザが回帰器を学習させる際、ユーザは特定物体の位置が既知である固定サイズＳの小画像を大量に用意し、次に機械学習法に基づき、ユーザは回帰器に学習データとして小画像を与える。このとき、特定物体の数の推定精度を向上させるために、回帰器の学習データである小画像のサイズ（固定サイズＳ）及び小画像内の特定物体のサイズ比は略一定となっていてもよい。画像内に複数の検出領域がある場合、物体検出部３０４は複数の検出領域の画像を固定サイズＳにそれぞれ変更する。それぞれ変更された小画像を回帰器に入力することによって、出力として複数の検出領域内における特定物体の検出結果が得られる。

設定部３０５は、操作受付部３０３を介して、ユーザの設定変更を受け付け、記憶部３０１に設定データとして保存する機能を有する。設定部３０５は、所定の空間における無線検出装置１４０、無線端末１５０及び撮像装置１１０の配置を設定する。設定部３０５は、撮像装置１１０及び無線検出装置１４０の設置情報を設定することができる。撮像装置１１０の設置情報は、撮像装置１１０の設置位置、設置角度、及び被写体に対する焦点距離を示していてもよい。また、無線検出装置１４０の設置情報は、無線検出装置１４０の設置位置を示していてもよい。

無線端末検出部３０６は、検出対象が有する無線端末の位置情報を取得する（位置取得）。また、無線端末検出部３０６は、無線端末１５０の識別情報も取得することができる。本実施形態において、無線端末検出部３０６は、無線端末１５０からの信号を受信する無線検出装置１４０のそれぞれと、無線端末１５０との間の距離を算出することができる。そして、無線端末検出部３０６は、この距離に基づいて、無線端末１５０の位置情報を取得することができる。ここで、座標変換部３０７は、空間中の無線端末１５０の位置を撮像画像上の位置に変換することにより、撮像画像上における無線端末の位置を判定することができる。例えば、設定部３０５の設定情報及び撮像装置１１０の設置情報に基づき、座標変換部３０７は、既知の座標変換関数を選定し、その係数を決定することができる。

物体追跡部３０８は、無線端末の位置情報と、撮像画像からの検出対象の検出位置と、の双方に基づいて、１以上の検出対象の経時的な位置を追跡する。本実施形態においては、物体検出部３０４が検出した画像内の特定物体及び無線端末検出部３０６が検出した無線端末１５０の位置情報に基づき、物体追跡部３０８は無線端末１５０の追跡を行うことができる。

図４は、任意の空間である平面図４００を示す。任意の空間は、例えばイベント会場及び部屋等である。平面図４００において、平面図４００の中央より上に１台の撮像装置１１０が配置され、平面図４００の四隅に無線検出装置１４０がそれぞれ配置されている。

図５は、平面図４００上の座標と撮像装置１１０が撮像した画像５００上の座標が関連付けられる様子を示す。設定部３０５は、座標５０１を座標５１１に、座標５０２を座標５１２に、座標５０３を座標５１３に、座標５０４を座標５１４にそれぞれ座標関連付けを行う。なお、平面図４００と画像５００との間の座標の関連付けは、ユーザの手動入力による方法又は、無線検出装置１４０又は特定物体の位置の統計情報算出による方法のいずれか１つ以上の方法によって行われてよい。

図６は、座標変換のための設定処理の流れを示すフローチャートである。図６を参照して、ユーザからの入力に基づいて、空間中の無線端末の位置を撮像画像上の位置に変換する関数を取得する方法について説明する。座標変換のための設定処理は、ＲＯＭ２２０に格納されたコンピュータプログラムをＣＰＵ２００が実行することによって実現される。したがって、後述する座標変換部３０７は、座標変換のための設定値を適切に設定することができる。

設定部３０５は、出力制御部３０２を介して、平面図４００の領域及び画像５００の領域をディスプレイ１３０に表示する（Ｓ６０１）。設定部３０５は、操作受付部３０３を介して、撮像装置１１０及び無線検出装置１４０の設置情報を受け取り、それらの情報を記憶部３０１に保存する（Ｓ６０２）。設定部３０５は、操作受付部３０３から平面図４００上の座標と画像５００上の座標を受け取り、平面図４００上の座標とそれに対応する画像５００上の座標を関連付ける。例えば、設定部３０５は、平面図４００上の点と、この点にある物体が写っている画像５００上の対応する点と、の組み合わせを示すユーザによる手動入力を受け取り、２つの点の座標の関連付けを示す情報を保存することができる（Ｓ６０３）。このように、設定部３０５は、空間の平面図における特定物体の位置の座標入力と、この特定物体が写っている撮像画像上の点の座標入力と、を示すユーザ入力を取得することができる。画像５００上の点を平面図４００上の点に変換するために十分な数の点を関連付けた場合、設定部３０５による設定は完了する（Ｓ６０４；ＹＥＳ）。例えば、ユーザが入力した２つの点の組の数が閾値以上となった場合に、設定部３０５による設定を完了させることができる。関連付けた点が不足している場合、処理はＳ６０３に戻る（Ｓ６０４；ＮＯ）。

平面図４００と画像５００との間の座標の関連付けは、ユーザの手動入力による方法の代わりに、無線検出装置１４０と特定物体の検出位置についての統計情報に基づいて行われてもよい。例えば、無線検出装置１４０を持っている人が部屋の４隅のいずれかに立っている際に、無線端末検出部３０６が検出した平面図４００上の無線端末１５０の座標と、撮像装置１１０が撮像した画像５００から検出された人の座標と、を関連付けてもよい。なお、本実施形態では、このような平面図４００と画像５００との間の座標の関連付けに基づいて、画像５００上の点を平面図４００上の点に変換するための座標変換関数が、座標変換部３０７によって導出される。一方で、撮像装置１１０の設置情報に基づいて、及び必要に応じて撮像装置１１０が設けられる空間の形状情報に基づいて、このような座標変換関数が導出されてもよい。

図７（Ａ）から図７（Ｂ）は、平面図４００上において無線端末１５０の位置を推定する様子を示した模式図を示す。無線検出装置は無線検出装置１４０、無線検出装置１４２、無線検出装置１４４及び無線検出装置１４６にそれぞれ識別される。個別の無線検出装置から無線端末１５０までのそれぞれの距離に基づき、無線端末検出部３０６は３点測位を行い、平面図４００上の無線端末１５０の座標を算出する。以下、無線端末１５０の座標を算出するための方法を説明する。図７（Ａ）において無線端末検出部３０６は、個別の無線検出装置から無線端末１５０までのそれぞれの距離を取得する。図７（Ａ）において距離７０１は、無線端末１５０から無線検出装置１４０までの距離である。また、距離７０２は、無線端末１５０から無線検出装置１４２までの距離であり、距離７０３は、無線端末１５０から無線検出装置１４４までの距離であり、距離７０４は、無線端末１５０から無線検出装置１４６までの距離である。

図７（Ｂ）において、円７１１は中心（無線検出装置１４０の位置）及び距離７０１の半径を有し、円７１２は中心（無線検出装置１４２の位置）及び距離７０２の半径を有し、円７１３は中心（無線検出装置１４４の位置）及び距離７０３の半径を有する。また、円７１４は中心（無線検出装置１４６の位置）及び距離７０４の半径を有する。図７（Ｂ）において、無線端末検出部３０６は、４種類の円が交わる点である座標７２０を算出する。無線端末検出部３０６は、平面図４００における座標７２０が図７（Ａ）に示す無線端末１５０の位置である、と推定することができる。したがって、座標変換部３０７は、座標変換関数により平面図４００上の無線端末１５０の推定位置である座標７２０を、画像５００上の座標７３０に変換することができる。

座標変換部３０７は、無線端末の位置情報に基づいて、撮像画像上における無線端末の位置を判定することができる。すなわち、座標変換部３０７は、座標変換関数により平面図４００上に存在する任意の無線端末１５０の位置を、画像５００上の座標に変換することができる。したがって、座標変換部３０７は、無線端末検出部３０６が検出した平面図４００上での無線端末１５０の位置情報に基づいて、座標変換関数を用いて、画像５００上の対応する座標７３０を算出する。

図８は、本実施形態における無線端末検出部３０６の無線端末検出処理及び座標変換部３０７の座標変換処理についてのフローを示す。なお、図８に示す処理は、ＲＯＭ２２０に格納されたコンピュータプログラムをＣＰＵ２００が実行することによって、実現される。

無線端末検出部３０６は、図７（Ａ）の平面図４００で各無線検出装置によって検出された個別の無線検出装置から無線端末１５０までのそれぞれの距離を取得する（Ｓ８０１）。なお、本実施形態において無線端末が１台の場合を例として説明するが、無線端末は１台に限定されることはない。全ての無線検出装置が個別の無線検出装置から無線端末１５０までのそれぞれの距離を取得した場合、処理はＳ８０３に移行し（Ｓ８０２；ＹＥＳ）、そうでない場合、処理はＳ８０１に戻る（Ｓ８０２；ＮＯ）。

無線端末検出部３０６は、Ｓ８０１で取得した距離情報に基づき、各中心（個別の無線検出装置の位置）及び各半径（個別の無線検出装置から無線端末１５０までのそれぞれの距離）を有する円を描く。無線端末検出部３０６は、それぞれの円が全て交わる点を平面図４００上の無線端末１５０の位置である座標７２０として算出する（Ｓ８０３）。無線端末検出部３０６は、座標７２０を記憶部３０１に保存する（Ｓ８０４）。座標変換部３０７は、設定部３０５が記憶部３０１に保存した座標関連付け情報を取得する（Ｓ８０５）。座標変換部３０７は、平面図４００上の座標７２０を画像５００上の座標へ変換するための座標変換関数を選定し、その係数を決定する（Ｓ８０６）。座標変換関数としては、例えばアフィン変換を用いることができる。座標変換部３０７は、座標７２０を座標変換関数に入力し、画像５００上の座標７３０を取得する。座標変換部３０７は、座標７３０を記憶部３０１に保存する（Ｓ８０７）。

図９及び図１０を参照しながら、本実施形態における物体追跡部３０８の追跡処理について説明する。図９に示す処理に基づき、物体追跡部３０８は、無線端末１５０を所持する特定物体を無線による位置検出で追跡し、一方無線端末１５０を所持しない特定物体を画像解析で追跡することができる。なお、本実施形態で示す特定物体は人を指す。図９の処理は、ＣＰＵ２００がＲＯＭ２２０に格納されたコンピュータプログラムを実行することによって実現される。

図１０は、本実施形態において物体追跡部３０８が特定物体を追跡する様子を示す。図１０の平面図４００上に無線端末１５０を所持する人（座標７２０）及び無線端末１５０を所持しない人（座標７４０）が存在する。座標変換部３０７によって、座標７２０及び座標７４０は、画像５００上の座標７３０及び座標１０１０としてそれぞれ座標変換される。画像５００上の座標７３０に描かれた小円は、処理除外領域１０００を示す。処理除外領域１０００は、画像解析に基づく特定物体の追跡を行わない領域である。すなわち、本実施形態において、物体追跡部３０８は、無線端末の位置情報と、撮像画像のうち処理除外領域１０００を除く部分から検出された検出対象の検出位置と、に基づいて、１以上の検出対象の経時的な位置を追跡することができる。この場合、処理除外領域１０００における検出対象の検出位置は、１以上の検出対象の経時的な位置の追跡のためには用いられない。

処理除外領域１０００は、例えば、画像５００上の無線端末１５０の位置を中心として設定されても良い。処理除外領域１０００の数は、無線端末１５０を所持する人に対応する数であってよい。また、処理除外領域１０００の形状は、円に限定されることはなく、例えば三角及び四角等であってよい。処理除外領域１０００のサイズは、画像５００上の人体（座標７３０）が覆われるサイズである。本実施形態においては、画像５００に写る検出対象の大きさに応じて、処理除外領域１０００の大きさを設定することができる。とりわけ、画像５００上の無線端末１５０の位置に写る検出対象の大きさに応じて、処理除外領域１０００の大きさを設定することができる。具体例として、設定部３０５が事前に画像５００上の４隅に写る人の標準人体サイズを設定しておくことによって、物体追跡部３０８は画像５００上の座標７３０にいる人のサイズを補間計算により算出することができる。あるいは、他の実施形態では、撮像装置１１０の画角等から画像５００上の人のサイズを算出してもよい。上で画像５００上の人のサイズの算出方法について述べたが、他の方法により人のサイズを求めることができれば、これらの方法に限定されることはない。

図９の処理を参照しながら、以下、無線端末１５０を所持する特定物体を追跡するための処理を説明する。通信部３００は、撮像装置１１０が撮像した画像５００及び撮像時刻を記憶部３０１に保存する（Ｓ９０１）。無線端末検出部３０６は、Ｓ９０１で取得した撮像時刻における平面図４００上の無線端末１５０の座標７２０を算出し、座標７２０を記憶部３０１に保存する（Ｓ９０２）。物体追跡部３０８は、Ｓ９０３以前の時刻における無線端末１５０の座標７２０を記憶部３０１から取得し、それをＳ９０２で得られた座標７２０と関連付けすることにより、無線端末１５０を追跡する（Ｓ９０３）。Ｓ９０３において、物体追跡部３０８は、無線端末１５０の固有識別情報に基づいて同一であると判定された無線端末１５０の位置を追跡することができる。このように、物体追跡部３０８は、同一の識別情報を有する無線端末についての位置情報に基づいて、無線端末を有する検出対象の経時的な位置を追跡することができる。

次に、座標変換部３０７は、Ｓ９０２で取得した座標７２０を座標変換関数に入力し、画像５００上の座標７３０を取得する。座標変換部３０７は取得した座標７３０を記憶部３０１に保存する（Ｓ９０４）。物体追跡部３０８は、Ｓ９０４で取得した座標７３０に処理除外領域１０００を設定し、その設定情報を記憶部３０１に保存する（Ｓ９０５）。このように、物体追跡部３０８は、撮像画像上の無線端末の位置に対応する位置に、処理除外領域１０００を設定することができる。物体追跡部３０８が全ての無線端末１５０の追跡を完了した場合、処理はＳ９０７に進み（Ｓ９０６；ＹＥＳ）、そうでない場合、処理はＳ９０２に戻る（Ｓ９０６；ＮＯ）。

以下、無線端末１５０を所持しない特定物体を追跡するための処理を説明する。物体検出部３０４は、Ｓ９０１で撮像した画像５００内において無線端末１５０を所持しない特定物体の座標１０１０を算出し、座標１０１０を記憶部３０１に保存する（Ｓ９０７）。

物体追跡部３０８は、特定物体を追跡する必要があるかどうかを判断するために、Ｓ９０７で取得した座標１０１０が処理除外領域１０００内に含まれるか否かを判定する。座標１０１０が処理除外領域１０００内に含まれる場合、処理はＳ９１０に進み（Ｓ９０８；ＹＥＳ）、そうでない場合、処理はＳ９０９に進む（Ｓ９０８；ＮＯ）。

物体追跡部３０８は、記憶部３０１を介して、Ｓ９０１以前における座標１０１０を記憶部３０１から取得し、Ｓ９０７で取得した座標１０１０と関連づけることにより、特定物体を追跡する（Ｓ９０９）。このように、物体追跡部３０８は、画像５００（第１の撮像画像）から検出された検出対象と、画像５００より前に撮像された画像（第２の撮像画像）から検出された検出対象と、を対応付けることにより、１以上の検出対象の経時的な位置を追跡している。上述のように、物体追跡部３０８は、画像５００のうち処理除外領域１０００を除く部分から検出された検出対象と、画像５００より前に撮像された画像から検出された検出対象と、を対応付けることことができる。一方で、この例では、画像５００の処理除外領域１０００から検出された検出対象と、画像５００より前に撮像された画像から検出された検出対象と、の対応付けは行われない。

ここで、物体追跡部３０８は、検出対象の画像情報と移動情報との少なくとも一方に基づいて、画像５００より前に撮像された画像から検出された検出対象の中から、画像５００から検出された検出対象に対応する検出対象を選択することができる。例えば、物体追跡部３０８は、例えば特定物体の色、輝度及び形状のような特徴及び特定物体の移動ベクトル等のような経時変化情報に基づいて、特定物体の同一性を判定することができる。

物体追跡部３０８が全ての特定物体の追跡を完了した場合、処理はＳ９１１に進み（Ｓ９１０；ＹＥＳ）そうでない場合、処理はＳ９０７に戻る（Ｓ９１０；ＮＯ）。それでもなお、物体追跡部３０８が特定物体の追跡を完了しない場合、処理はＳ９０１に戻る（Ｓ９１１；ＮＯ）。特定物体の追跡情報に基づき、物体追跡部３０８が特定物体の画像解析を完了した場合、処理は終了する（Ｓ９１１；ＹＥＳ）。

本実施形態は、無線検出に基づき無線端末を所持する特定物体を追跡でき、画像解析に基づき無線端末を所持しない特定物体のみを追跡することができる。このような構成によれば、情報処理装置の画像解析の処理負荷が軽減するため、特定物体の追跡速度を向上させることができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０：画像処理システム、１００：情報処理装置、１１０：撮像装置、１４０：無線検出装置、１５０：無線端末、３０４：物体検出部、３０６：無線端末検出部、３０７：座標変換部、３０８：物体追跡部

Claims (18)

1. １以上の検出対象が存在する空間の撮像画像を取得する画像取得手段と、
   前記検出対象が有する無線端末の位置情報を取得する位置取得手段と、
   前記撮像画像から前記検出対象を検出する検出手段と、
   前記無線端末の位置情報と、前記撮像画像からの前記検出対象の検出位置と、の双方に基づいて、前記１以上の検出対象の経時的な位置を追跡する追跡手段と、
   を備えることを特徴とする画像処理装置。
2. 前記追跡手段は、第１の撮像画像から検出された前記検出対象と、第１の撮像画像より前に撮像された第２の撮像画像から検出された前記検出対象と、を対応付けることにより、前記１以上の検出対象の経時的な位置を追跡することを特徴とする、請求項１に記載の画像処理装置。
3. 前記追跡手段は、前記検出対象の画像情報と移動情報との少なくとも一方に基づいて、前記第２の撮像画像から検出された前記検出対象の中から、前記第１の撮像画像から検出された前記検出対象に対応する検出対象を選択することを特徴とする、請求項２に記載の画像処理装置。
4. 前記無線端末の位置情報に基づいて、前記撮像画像上における前記無線端末の位置を判定する判定手段と、
   前記撮像画像上の前記無線端末の位置に対応する位置に、処理除外領域を設定する設定手段と、をさらに備え、
   前記追跡手段は、前記無線端末の位置情報と、前記撮像画像のうち前記処理除外領域を除く部分から検出された前記検出対象の検出位置と、に基づいて、前記１以上の検出対象の経時的な位置を追跡することを特徴とする、請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記追跡手段は、前記処理除外領域における前記検出対象の検出位置を、前記１以上の検出対象の経時的な位置を追跡するために用いないことを特徴とする、請求項４に記載の画像処理装置。
6. 前記追跡手段は、第１の撮像画像のうち前記処理除外領域を除く部分から検出された前記検出対象と、前記第１の撮像画像より前に撮像された第２の撮像画像から検出された前記検出対象と、を対応付けることにより、前記１以上の検出対象の経時的な位置を追跡することを特徴とする、請求項４又は５に記載の画像処理装置。
7. 前記追跡手段は、前記第１の撮像画像の前記処理除外領域から検出された前記検出対象と、前記第２の撮像画像から検出された前記検出対象と、の対応付けを行わないことを特徴とする、請求項６に記載の画像処理装置。
8. 前記設定手段は、前記撮像画像上の前記無線端末の位置を中心とする前記処理除外領域を設定することを特徴とする、請求項４から７のいずれか１項に記載の画像処理装置。
9. 前記設定手段は、前記撮像画像に写る前記検出対象の大きさに応じて、前記処理除外領域の大きさを設定することを特徴とする、請求項４から８のいずれか１項に記載の画像処理装置。
10. 前記設定手段は、前記撮像画像上の前記無線端末の位置に写る前記検出対象の大きさに応じて、前記処理除外領域の大きさを設定することを特徴とする、請求項４から９のいずれか１項に記載の画像処理装置。
11. 前記判定手段は、前記空間中の前記無線端末の位置を前記撮像画像上の位置に変換することにより、前記撮像画像上における前記無線端末の位置を判定することを特徴とする、請求項４から１０のいずれか１項に記載の画像処理装置。
12. 前記判定手段は、ユーザからの入力に基づいて、前記空間中の前記無線端末の位置を前記撮像画像上の位置に変換する関数を取得することを特徴とする、請求項１１に記載の画像処理装置。
13. 前記ユーザからの入力は、前記空間の平面図における特定物体の位置の座標入力と、前記特定物体が写っている前記撮像画像上の点の座標入力と、を含むことを特徴とする、請求項１２に記載の画像処理装置。
14. 前記位置取得手段は、前記無線端末の識別情報をさらに取得し、
    前記追跡手段は、同一の前記識別情報を有する前記無線端末についての前記位置情報に基づいて、前記無線端末を有する前記検出対象の経時的な位置を追跡することを特徴とす
    る、請求項１から１３のいずれか１項に記載の画像処理装置。
15. 前記位置取得手段は、前記無線端末からの信号を受信する複数の無線検出装置のそれぞれと、前記無線端末との間の距離に基づいて、前記無線端末の位置情報を取得することを特徴とする、請求項１から１４のいずれか１項に記載の画像処理装置。
16. 前記検出対象は人体であることを特徴とする、請求項１から１５のいずれか１項に記載の画像処理装置。
17. 画像処理装置が行う画像処理方法であって、
    １以上の検出対象が存在する空間の撮像画像を取得する工程と、
    前記検出対象が有する無線端末の位置情報を取得する工程と、
    前記撮像画像から前記検出対象を検出する工程と、
    前記無線端末の位置情報と、前記撮像画像からの前記検出対象の検出位置と、の双方に基づいて、前記１以上の検出対象の経時的な位置を追跡する工程と、
    を備えることを特徴とする画像処理方法。
18. コンピュータを、請求項１から１６のいずれか１項に記載の画像処理装置として機能させるためのプログラム。

Images