JP2010199701A - 画像処理装置、画像処理方法、及び、画像処理プログラム - Google Patents

Abstract

【課題】画像の計算処理量を軽減する装置を提供する。
【解決手段】監視範囲を撮影するカメラ群中の第１カメラで撮影された第１画像と、前記第１カメラと撮影位置の異なる前記カメラ群中の第２カメラで時間差を設けて撮影された第２画像とから監視対象の物体の位置情報を検出する検出部と、前記位置情報に基づいて前記第１画像から検出された前記物体と前記第２画像から検出された前記物体とのうち同一と認められる前記物体を統合し、前記第２画像の撮影時刻に前記監視範囲に存在する前記物体の数を算出する算出部と、を含む画像処理装置である。
【選択図】図１

Description

本発明は、画像から物体を検出する画像処理装置、画像処理方法、及び、画像処理プログラムに関する。

近年、監視システムに対する関心が、高まっている。サーバルームやデータセンタにおいて人の動きを把握する監視システムは、監視範囲に存在する人を漏れなく検出し、追跡することが、望まれる。

監視システムは、人が密集している場合でも、人の重なりによる隠れによる検出漏れが生ないようにすることが望ましい。よって、監視システムにおいて、天井等にカメラを密に設置することにより、死角が少ない映像を得るようにすることができる。また、監視システムは、人の動きが速い場合でも検出漏れが生じないようにすることが望ましい。よって、監視システムにおいて、速いフレームレートで撮影した画像を処理することにより、検出漏れが生じないようにすることができる。しかし、このような監視システムの処理方法で人物を追跡すると、処理する画像が多くなり、画像の計算処理量が膨大になる。

計算処理量の多い３次元認識手段を使用して画像認識を行うか、計算処理量の少ない２次元認識手段を使用して画像認識を行うかを、所定の条件に従って選択することで、計算処理量を少なくする物体追跡方法がある。また、特徴点の３次元座標から人物をモデル化した円筒領域を設定することで、計算処理量を少なくして、人物抽出及び追跡を行う方法がある。

特開２００２−３４４９５０号公報 特開２００３−３０９８４３号公報 特開２００３−０６１０７５号公報 特開２００６−２８５５６９号公報

早坂光晴、富永英義、小宮一三、"逆投影法とカルマンフィルタを用いた複数移動物体位置認識とその追跡"、電子情報通信学会技術研究報告、社団法人電子情報通信学会、２００１年１１月、Vol.101、No.421、pp.133-138、PRMU2001-132

本件開示の装置は、画像の計算処理量を軽減することを目的とする。

また本件開示の装置は、多数カメラを用いて人を追跡する監視システムにおいて、処理する画像を減らして追跡性能を維持することを目的とする。

開示の一態様は、
監視範囲を撮影するカメラ群中の第１カメラで撮影された第１画像と、前記第１カメラと撮影位置の異なる前記カメラ群中の第２カメラで時間差を設けて撮影された第２画像とから監視対象の物体の位置情報を検出する検出部と、
前記位置情報に基づいて前記第１画像から検出された前記物体と前記第２画像から検出された前記物体とのうち同一と認められる前記物体を統合し、前記第２画像の撮影時刻に前記監視範囲に存在する前記物体の数を算出する算出部と、
を含む画像処理装置である。

開示の一態様によれば、画像の計算処理量を軽減することができる。

また、開示の一態様によれば、処理する画像を減らして、追跡性能を維持することができる。

図１は、監視システムの構成例を示す図である。 図２は、第１カメラセット及び第２カメラセットのカメラの配置の例の配置の例を示す図である。 図３は、カメラと監視対象の人物の例を示す図である。 図４は、画像処理装置の構成例を示す図である。 図５は、画像処理装置で使用される３次元座標の例を示す図である。 図６は、情報処理装置のハードウェア構成例を示す図である。 図７は、入力切替装置に入力される画像、および、入力切替装置が選択する画像の例を示す図である。 図８は、画像処理装置の動作フローを示す図である。 図９は、画像処理装置の前処理部の動作フローの例を示す図である。 図１０は、今回の３次元位置情報テーブルの例を示す図である。 図１１は、画像処理装置の人物検出統合処理部の動作フローの例を示す図である。 図１２は、前回の３次元位置情報テーブルの例を示す図である。 図１３は、統合処理後の３次元位置情報テーブルの例を示す図である。 図１４は、人数履歴テーブルの例を示す図である。 図１５は、人物追跡部の動作フローの例を示す図である。 図１６は、３次元位置情報履歴テーブルの例を示す図である。 図１７は、第１カメラセット及び第２カメラセットのカメラの配置の別の例を示す図である。 図１８は、画像処理装置の他の構成例を示す図である。

以下、図面を参照して実施形態について説明する。実施形態の構成は例示であり、開示の実施形態の構成に限定されない。

ここでは、人物の動きを検出する監視システムについて説明するが、実施形態の監視システムは、監視対象が動物や自動車などの他の動く物体であっても適用可能である。

〔実施形態〕
図１は、本実施形態の監視システムの構成例を示す図である。本実施形態の監視システムＸは、例えば、セキュリティルームなどの部屋の一部または全部の範囲を、監視範囲Ｍとして設定する。監視システムＸの監視対象は監視範囲に存在する人物５００であり、人物５００の動きが監視される。

監視システムＸは、第１カメラセット２１０、第２カメラセット２２０、入力切替装置３００、画像処理装置４００を含む。

第１カメラセット２１０は、監視範囲Ｍを撮影する。第１カメラセット２１０は、カメラ２１１乃至カメラ２１６を含む。ここでは、第１カメラセットが６台のカメラを含むとしたが、監視システムＸは、これに限定されるものではない。第２カメラセット２２０は、第１カメラセット２１０と同様である。第２カメラセット２２０は、カメラ２２１乃至カメラ２２６を含む。以下、カメラセットを特定しない場合は、カメラセット２００として説明する。また、カメラを特定しない場合は、カメラ２０１として、説明する。

カメラ２０１は、１／３０秒毎に、監視範囲を撮影し、１／３０秒毎に静止画像を取得できる。カメラ２０１は、静止画像を撮影するスチルカメラであっても良く、動画（ビデオ）撮影を行うビデオカメラであっても良い。カメラ２０１は、例えば、監視範囲Ｍの部屋の天井に設置される。カメラ２０１による撮影で得られた所定の画像形式の画像は、１／３０秒毎に、入力切替装置３００に入力される。

図２は、第１カメラセット２１０及び第２カメラセット２２０のカメラ２０１の配置の例を示す図である。図２は、監視範囲Ｍの部屋の天井に設置されたカメラ２０１の配置の例を示す図である。

図２の例では、第１カメラセット２１０のカメラ列と第２カメラセット２２０のカメラ列とが交互になる状態で、正三角形による三角格子の格子点の位置にカメラ２０１が設置される。正三角形による三角格子の格子点の位置にカメラが設置されることで、同一のカメラセットの隣接するカメラ同士の距離は、第１カメラセット２１０のカメラとこのカメラに隣接する第２カメラセット２２０のカメラとの距離と、等しくなる。例えば、第１カメラセット２１０のカメラ２１１とカメラ２１２との間の距離Ｌ１は、カメラ２１１と第２カメラセット２２０のカメラ２２１との間の距離Ｌ２と等しい。

第１カメラセット２１０のカメラ２１１乃至２１６は、監視範囲全体を撮影できるように、配置される。同様に、第２カメラセット２２０のカメラ２２１乃至２２６も、監視範囲全体を撮影できるように、配置される。従って、一方のカメラセット２００の各カメラ２０１で、監視範囲全体が、撮影される。

第１カメラセット２１０のカメラは、１つの監視対象を、第２カメラセット２２０のカメラと異なる方向から撮影できるように配置される。カメラ２０１がこのように配置されることで、第１カメラセット２１０から撮影した場合に重なって撮影される２人の人物が、第２カメラセット２２０から撮影した場合、重ならずに撮影されるようにされる。

図３は、第１カメラセット２１０におけるカメラ２１１及びカメラ２１４と監視対象の人物５００の例を示す図である。図３は、カメラ２０１が設置される部屋等の床面及び天井面と直交する面を示す図である。

カメラセット２００において、１人の人物５００の頭部（または、頭頂部）の位置が少なくとも２台のカメラ２０１で撮影されるように、カメラ２０１が設置される。図３の例では、少なくとも人物５００の頭部は、第１カメラセットのカメラ２１１及びカメラ２１４が撮影できる画角内に存在する。少なくとも２台のカメラで１人の人物５００の頭部を撮影することで、人物５００の頭部の３次元位置が特定される。

第１カメラセット２１０及び第２カメラセット２２０のカメラ２０１は、あらかじめ、監視対象の人物５００がいない状態の監視範囲全体を撮影する。監視対象の人物５００がいない状態の画像は、画像処理装置４００に、背景画像として、あらかじめ出力される。

入力切替装置３００は、第１カメラセット２１０のカメラ２１１乃至２１６及び第２カメラセット２２０のカメラ２２１乃至２２６に、接続される。また、入力切替装置３００は、画像処理装置４００に接続される。

入力切替装置３００には、第１カメラセット２１０のカメラ２１１乃至２１６で撮影された画像群、及び、第２カメラセット２２０のカメラ２２１乃至２２６で撮影された画像群が、入力される。入力切替装置３００は、第１カメラセット２１０から入力された画像群、及び、第２カメラセット２２０から入力された画像群を、１／３０秒毎に、交互に、出力する画像群として、選択する。入力切替装置３００は、選択された画像群を、画像処理装置４００に出力する。

画像処理装置４００は、１／３０秒毎に、入力切替装置３００から入力される画像群から、監視範囲Ｍの人物の動きを検出する。

図４は、画像処理装置の構成例を示す図である。画像処理装置４００は、前処理部４１０、人物検出統合処理部４２０、人物追跡部４３０、３次元位置格納部４４０、画像格納部４５０を含む。

前処理部４１０は、入力切替装置３００から入力された画像群から、監視対象である人物５００の３次元位置を検出する。前処理部４１０は、画像群から検出され得るすべての人物５００の頭部の３次元位置を検出する。人物５００の頭部の３次元位置が、当該人物を代表する３次元位置である。前処理部４１０は、検出結果を、３次元位置格納部４４０に格納する。

図５は、画像処理装置４００で使用される３次元座標の例を示す図である。図５のように、画像処理装置４００で使用される３次元の座標は、監視範囲Ｍの床面をｘ方向及びｙ方向とし、床面からの高さをｚ方向とする座標とすることができる。

人物検出統合処理部４２０は、今回入力された画像群における人物５００の３次元位置と、前回入力された画像群における人物５００の３次元位置とから、現在、監視範囲Ｍに存在する人物５００の人数を算出する。また、人物検出統合処理部４２０は、現在、監視範囲Ｍに存在する人物の３次元位置を検出する。人物検出統合処理部４２０は、検出結果を、３次元位置格納部４４０に格納する。

人物追跡部４３０は、人物検出統合処理部４２０が検出した人物５００の３次元位置情報から、同一人物の３次元位置の時系列情報を作成する。

３次元位置格納部４４０は、前処理部４１０による検出結果、人物検出統合処理部４２０による検出結果、人物追跡部４３０によって作成された３次元位置の時系列情報等を、格納する。

図６は、情報処理装置１００のハードウェア構成例を示す図である。画像処理装置４００は、例えば、図６に示すような情報処理装置１００によって、実現される。情報処理装置１００は、ＣＰＵ（Central Processing Unit）１０Ａ、メモリ１０Ｂ、記憶部１０Ｃ
、入力部１０Ｄ、出力部１０Ｅ、通信部１０Ｆを含む。

ＣＰＵ１０Ａは、記憶部１０Ｃに格納されるプログラムに従って処理を行う。メモリ１０Ｂは、ＣＰＵ１０Ａがプログラムやデータをキャッシュしたり作業領域を展開したりする。

記憶部１０Ｃは、各種のプログラム及び各種のデータを読み書き自在に記録媒体に格納する。記憶部１０Ｃとしては、ソリッドステートドライブ装置、ハードディスクドライブ装置、ＣＤ（Compact Disc）ドライブ装置、ＤＶＤ（Digital Versatile Disk）ドライブ装置、＋Ｒ／＋ＲＷドライブ装置、ＨＤ ＤＶＤ（High-Definition Digital Versatile Disk）ドライブ装置、または、ＢＤ（Blu-ray Disk）ドライブ装置がある。また、記録媒体としては、不揮発性半導体メモリ（フラッシュメモリ）を含むシリコンディスク、ハードディスク、ＣＤ、ＤＶＤ、＋Ｒ／＋ＲＷ、ＨＤ ＤＶＤ、または、ＢＤがある。ＣＤとしては、ＣＤ−Ｒ（Recordable）、ＣＤ−ＲＷ（Rewritable）、ＣＤ−ＲＯＭがある。ＤＶＤとしては、ＤＶＤ−Ｒ、ＤＶＤ−ＲＡＭ（Random Access Memory）がある。ＢＤとしては、ＢＤ−Ｒ、ＢＤ−ＲＥ（Rewritable）、ＢＤ−ＲＯＭがある。

入力部１０Ｄは、ユーザ等からの操作指示等を受け付ける。入力部１０Ｄは、キーボード、マウス、タッチパッド、ワイヤレスリモコン等の入力デバイスである。入力部１０Ｄから入力された情報は、ＣＰＵ１０Ａに通知される。

出力部１０Ｅは、ＣＰＵ１０Ａで処理されるデータやメモリ１０Ｂに記憶されるデータを出力する。出力部１０Ｅは、ＣＲＴ（Cathode Ray Tube）ディスプレイ、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、ＥＬ（Electroluminescence
）パネル、プリンタ、スピーカ等の出力デバイスである。

通信部１０Ｆは、外部装置とデータの送受信を行う。通信部１０Ｆは、信号線を介して、入力切替装置３００などの外部装置と接続される。

情報処理装置１００は、記憶部１０Ｃに、オペレーティングシステム、各種プログラム、各種テーブル、を記憶している。記憶部１０Ｃは、今回の３次元位置情報テーブルＴ１００、前回の３次元位置情報テーブルＴ２００、統合処理後の３次元位置情報テーブルＴ３００、人数履歴テーブルＴ３５０、３次元位置情報履歴テーブルＴ４００を記憶している。

オペレーティングシステムは、ソフトウェアとハードウェアとの仲介、メモリ空間の管理、ファイル管理、プロセスやタスクの管理等を行うソフトウェアである。オペレーティングシステムは、通信インタフェースを含む。通信インタフェースは、通信部１０Ｆを介して接続される他の外部装置等とデータのやり取りを行うプログラムである。

画像処理装置４００の前処理部４１０、人物検出統合処理部４２０、人物追跡部４３０の機能は、例えば、ＣＰＵ１０Ａ、メモリ１０Ｂ、記憶部１０Ｃ、通信部１０Ｆ等を使用して実現される。また、画像処理装置４００の前処理部４１０、人物検出統合処理部４２０、人物追跡部４３０の機能は、ＣＰＵ１０Ａで実行されるプログラムによって実現される機能であってもよい。画像処理装置４００の前処理部４１０、人物検出統合処理部４２０、人物追跡部４３０は、ソフトウェア要素とハードウェア要素とを含んでもよい。

前処理部４１０の機能は、例えば、次のように実現される。ＣＰＵ１０Ａが、ユーザによる入力部１０Ｄへの操作等を契機として、通信部１０Ｆに、入力切替装置３００から画像群２１または画像群２２を受信させ、当該画像群を、メモリ１０Ｂ若しくは記憶部１０Ｃに格納する。ＣＰＵ１０Ａが、メモリ１０Ｂ等に格納した画像群から、人物の３次元位置を算出する。ＣＰＵ１０Ａが、算出した人物の３次元位置を記憶部１０Ｃに格納する。

人物検出統合処理部４２０の機能は、例えば、次のように実現される。ＣＰＵ１０Ａが、記憶部１０Ｃに格納される人物の位置をメモリ１０Ｂに展開し、現在、監視範囲に存在する人物の人数及び当該人物の位置を算出し、当該人物の位置と、当該人数を、記憶部１
０Ｃに格納する。

人物追跡部４３０の機能は、例えば、次のように実現される。ＣＰＵ１０Ａが、記憶部１０Ｃに格納される、現在、監視範囲に存在する人物の位置情報、及び、記憶部１０Ｃに格納される監視範囲に存在する人物の位置の履歴をメモリ１０Ｂに展開する。ＣＰＵ１０Ａが、現在、監視範囲に存在する人物の位置情報と、監視範囲に存在する人物の位置の履歴とを比較し、当該履歴を更新し、記憶部１０Ｃに格納する。また、ＣＰＵ１０Ａが、記憶部１０Ｃに格納される監視範囲に存在する人物の位置の履歴を出力部１０Ｅに出力させる。

画像処理装置４００の３次元位置格納部４４０は、例えば、メモリ１０Ｂまたは記憶部１０Ｃを使用して実現される。画像処理装置４００の画像格納部４５０は、例えば、メモリ１０Ｂまたは記憶部１０Ｃを使用して実現される。

（動作例）
〈カメラ及び入力切替装置の動作例〉
図７は、入力切替装置に入力される画像、および、入力切替装置が選択する画像の例を示す図である。図７の座標平面の横軸は時間を示し、縦軸は第１カメラセット２１０による画像群２１または第２カメラセット２２０による画像群２２を示す。図７の座標平面の第１カメラセット２１０による画像群２１及び第２カメラセット２２０による画像群２２は、各時刻に入力切替装置３００に入力される画像群である。

第１カメラセット２１０及び第２カメラセット２２０の各カメラは、１／３０秒毎に、監視範囲Ｍ（図１）を撮影する。

入力切替装置３００には、第１カメラセット２１０及び第２カメラセット２２０から、それぞれ、１／３０秒毎に撮影した画像群２１及び画像群２２が、１／３０秒毎に、入力される。ある時刻に入力切替装置３００に入力される画像群２１は、第１カメラセット２１０の各カメラが同時刻に撮影した画像を含む。同様に、ある時刻に入力切替装置３００に入力される画像群２２は、第２カメラセット２２０の各カメラが同時刻に撮影した画像を含む。入力切替装置３００は、１／３０秒毎に、交互に、第１カメラセット２１０による画像群２１または第２カメラセット２２０による画像群２２を選択する。入力切替装置３００は、選択した画像群２１または画像群２２を、１／３０秒毎に、画像処理装置４００に出力する。

〈画像処理装置の動作例〉
図８は、画像処理装置の動作フローを示す図である。

画像処理装置４００は、ユーザによる指示等により、監視を開始する。

画像処理装置４００は、入力切替装置３００から、画像群２１または画像群２２を、受け取る。画像処理装置４００は、入力された画像群２１または画像群２２の画像と、あらかじめ撮影されている背景画像との差分から、差分画像を算出する。画像処理装置４００は、当該差分画像から、監視範囲Ｍに存在する、監視対象である人物５００の頭部の３次元位置を算出する。算出された各人物５００の頭部の３次元位置は、個別のＩＤと対応付けられて、３次元位置格納部４４０に格納される（Ｓ１２）。このステップＳ１２は、前処理部４１０によって実現される。前処理部４１０の動作フローの例は、後に詳述する。

画像処理装置４００は、今回入力された画像群（例えば画像群２１）による各人物の３次元位置と、前回入力された画像群（例えば画像群２２）による各人物の３次元位置とを
比較し、現在、監視範囲Ｍに存在する人物５００を算出する。画像処理装置４００は、現在、監視範囲Ｍに存在する人物５００の３次元位置を、３次元位置格納部４４０に格納する（Ｓ１４）。このステップＳ１４は、人物検出統合処理部４２０によって実現される。人物検出統合処理部４２０の動作フローの例は、後に詳述する。

画像処理装置４００は、現在、監視範囲Ｍに存在する人物５００の３次元位置を、過去に監視範囲Ｍに存在した人物５００の３次元位置と対応付けて、３次元位置格納部４４０に格納する（Ｓ１６）。画像処理装置４００は、現在、監視範囲Ｍに存在する人物５００の３次元位置と１／３０秒前（前回入力された画像群が撮影された時刻）に監視範囲Ｍに存在した人物５００の３次元位置とが、所定の距離未満である場合、この両方の人物５００を、同一の人物５００であると判断する。このステップＳ１６は、人物追跡部４３０によって実現される。人物追跡部４３０の動作フローの例は、後に詳述する。

画像処理装置４００は、監視を終了しない場合（Ｓ１８；ＮＯ）、次の画像群（例えば、画像群２１）の入力を待機し、ステップＳ１２以降の処理を行う。また、画像処理装置４００は、ユーザによる指示等により、監視を終了する場合（Ｓ１８；ＹＥＳ）、処理を終了する。

《前処理部の動作例》
図９は、画像処理装置の前処理部の動作フローの例を示す図である。

画像処理装置４００の前処理部４１０は、入力切替装置３００から、画像群２１または画像群２２を、受け取る（Ｓ１０２）。前処理部４１０は、受け取った画像群２１または画像群２２を、画像格納部４５０に格納する。画像格納部４５０には、あらかじめ、第１カメラセット２１０及び第２カメラセット２２０のカメラ２０１によって撮影された背景画像が、格納されている。前処理部４１０は、入力された画像群（例えば、画像群２１）の画像と、入力された画像群に対応する背景画像（例えば、第１カメラセット２１０のカメラ２１１によって撮影された背景画像）との差分から、差分画像を算出する（Ｓ１０４）。前処理部４１０は、当該差分画像から、監視範囲Ｍに存在する、監視対象である人物５００の頭部の３次元位置を算出する（Ｓ１０６）。監視範囲Ｍに存在する人物５００の頭部は、少なくとも２台のカメラから撮影されている。よって、２台のカメラによる画像における人物５００の頭部の方向から、その人物５００の頭部の３次元位置が算出され得る。例えば、当該人物５００の頭部の３次元位置は、非特許文献１等の公知の方法により、算出される。前処理部４１０は、算出された人物５００の頭部の３次元位置毎に、ＩＤを付与し、当該３次元位置と当該ＩＤとを対応付けて、今回の３次元位置情報テーブルＴ１００として、３次元位置格納部４４０に格納する（Ｓ１０８）。

図１０は、今回の３次元位置情報テーブルＴ１００の例を示す図である。今回の３次元位置情報テーブルＴ１００では、ＩＤ（識別情報）と、前処理部４１０で算出された、今回入力された画像群による人物５００の頭部の３次元位置と、今回入力された画像群の画像が撮影された時刻とが、対応付けられて格納される。

《人物検出統合処理部の動作例》
図１１は、画像処理装置４００の人物検出統合処理部４２０の動作フローの例を示す図である。

３次元位置格納部４４０には、今回入力された画像群（例えば、画像群２１）による今回の３次元位置情報テーブルＴ１００と、前回入力された画像群（例えば、画像群２２）による前回の３次元位置情報テーブルＴ２００とが、既に前処理部４１０によって、生成され格納されているとする。前回入力された画像群は、今回入力された画像群の１／３０
秒前に撮影されて画像処理装置４００に入力された画像群である。

図１２は、前回の３次元位置情報テーブルＴ２００の例を示す図である。前回の３次元位置情報テーブルＴ２００では、ＩＤと、前処理部４１０で算出された、前回入力された画像群による人物の頭部の３次元位置と、前回入力された画像群の画像が撮影された時刻とが、対応付けられて格納される。テーブルＴ１００とテーブルＴ２００とでは、異なるＩＤが付与される。

前回の３次元位置情報テーブルＴ２００が存在しない場合、人物検出統合処理部４２０は、今回の３次元位置情報テーブルＴ３００を前回の３次元位置情報テーブルＴ２００として、以下に説明する動作フローを実行する。即ち、人物検出統合処理部４２０は、今回の３次元位置情報テーブルＴ３００と前回の３次元位置情報テーブルＴ２００とが同一であるとして、以下に説明する動作フローを実行する。

画像処理装置４００の人物検出統合処理部４２０は、使用する変数の初期化を行う（図１１：Ｓ２０２）。ここでは、人物検出統合処理部４２０は、監視範囲に存在する人数を、変数Ｎとして使用する。人物検出統合処理部４２０は、変数Ｎに、値０を代入する。

人物検出統合処理部４２０は、今回の３次元位置情報テーブルＴ１００のＩＤのうち、すべてのＩＤ（図１０の例では、「01」、「02」、及び、「03」）について、処理したかを確認する（Ｓ２０４）。人物検出統合処理部４２０は、まだ、すべてのＩＤについて処理していない場合（Ｓ２０４；ＮＯ）、未処理のＩＤ（例えば、「01」）を選択し、今回の３次元位置情報テーブルＴ１００の当該ＩＤの３次元位置を取得する（Ｓ２０６）。

人物検出統合処理部４２０は、取得した当該ＩＤの３次元位置（例えば、「(25,45,160)」）と、前回の３次元位置情報テーブルＴ２００のすべてのＩＤの３次元位置との距離
を算出する。このとき、人物検出統合処理部４２０は、３次元位置のｚの値を０として、計算することができる。この場合、人物検出統合処理部４２０は、足元の位置同士の距離を計算していることになる。人物検出統合処理部４２０は、ｚの値を０とすることにより、距離算出の計算処理量を削減することができる。人物検出統合処理部４２０は、算出した距離のうち最小の距離を距離Ｗ１とし、距離Ｗ１に対応する前回の３次元位置情報テーブルＴ２００のＩＤ（例えば、「aa」）を抽出する（Ｓ２０８）。

人物検出統合処理部４２０は、算出した距離Ｗ１が所定の距離Ｗ２未満であるか否かを確認する（Ｓ２１０）。人物検出統合処理部４２０は、距離Ｗ１が所定の距離Ｗ２未満である場合（Ｓ２１０；ＹＥＳ）、ステップＳ２０６で取得したＩＤと、ステップＳ２０８で抽出したＩＤとが、同一人物であると判断する。距離Ｗ２は、人物５００が１／３０秒間に移動し得る距離に基づいて設定される。ここで、１／３０秒間は、今回入力された画像群と前回入力された画像群との撮影間隔に相当する。人物検出統合処理部４２０は、ステップＳ２０８で抽出したＩＤ（例えば、「aa」）を、前回の３次元位置情報テーブルＴ２００から、削除する（Ｓ２１２）。

人物検出統合処理部４２０は、距離Ｗ１が所定の距離Ｗ２以上である場合（Ｓ２１０；ＮＯ）、ステップＳ２０６で取得したＩＤと、同一人物であるＩＤは、前回の３次元位置情報テーブルＴ２００のＩＤには存在しないと判断する。

人物検出統合処理部４２０は、ステップＳ２０６で取得したＩＤ（例えば、「01」）に対応する３次元位置（例えば、「(25,45,160)」）と、今回入力された画像群の画像が撮
影された時刻（例えば、「13:32:03」）とを対応付けて、統合処理後の３次元位置情報テーブルＴ３００に、格納する。人物検出統合処理部４２０は、監視範囲に存在する人数を
示す変数Ｎに、値１を加算する（Ｓ２１４）。

図１３は、統合処理後の３次元位置情報テーブルＴ３００の例を示す図である。統合処理後の３次元位置情報テーブルＴ３００では、人物５００の頭部の３次元位置と、今回入力された画像群の画像が撮影された時刻とが、対応付けられて格納される。

図１１に戻って、人物検出統合処理部４２０は、再び、今回の３次元位置情報テーブルＴ１００のＩＤのうち、すべてのＩＤについて、処理したかを確認する（Ｓ２０４）。人物検出統合処理部４２０は、すべてのＩＤについて処理した場合（Ｓ２０４；ＹＥＳ）、ステップＳ２１２で削除されていない、前回の３次元位置情報テーブルＴ２００のＩＤがあるか否か確認する（Ｓ２２２）。

人物検出統合処理部４２０は、ステップＳ２１２で削除されていない前回の３次元位置情報テーブルＴ２００のＩＤがある場合（Ｓ２２２；ＹＥＳ）、そのＩＤのうち、１つのＩＤ（例えば、「bb」）を抽出する。人物検出統合処理部４２０は、前回の３次元位置情報テーブルＴ２００から、抽出したＩＤに対応する３次元位置（例えば、「(38,180,150)」）を取得する。ここでは、当該ＩＤに対応する人物は、今回入力された画像群の画像からは検出されなかったが、まだ監視範囲に存在しているとみなされる。人物検出統合処理部４２０は、取得した３次元位置（例えば、「(38,180,150)」）と、今回入力された画像群の画像が撮影された時刻（例えば、「13:32:03」）とを対応付けて、統合処理後の３次元位置情報テーブルＴ３００に、格納する。人物検出統合処理部４２０は、抽出したＩＤを、前回の３次元位置情報テーブルＴ２００から、削除する（Ｓ２２４）。

人物検出統合処理部４２０は、変数Ｎに、値１を加算し、ステップＳ２２２に戻る（Ｓ２２６）。

ステップＳ２２２において、人物検出統合処理部４２０は、削除されていない前回の３次元位置情報テーブルＴ２００のＩＤがない場合（Ｓ２２２；ＮＯ）、監視範囲に存在する人数（即ち、変数Ｎの値）を３次元位置格納部４４０に格納し（Ｓ２３０）、処理を終了する。人物検出統合処理部４２０は、監視範囲に存在する人数である変数Ｎの値を、今回入力された画像群の画像が撮影された時刻とともに、３次元位置格納部４４０の人数履歴テーブルＴ３５０（図１４）に格納してもよい。

図１４は、人数履歴テーブルＴ３５０の例を示す図である。人数履歴テーブルＴ３５０には、画像群の画像が撮影された時刻と、その時刻に監視範囲に存在する人数と、が、対応付けられて、格納される。人数履歴テーブル３５０は、３次元位置格納部４４０に格納される。

人物検出統合処理部４２０は、前回の画像群と今回の画像群とにおける同一の人物５００、今回の画像群において新たに出現した人物５００、および、今回の画像群では検出されなかった人物５００を、現在、監視範囲Ｍに存在する人物５００であるとする。現在、監視範囲Ｍに存在する人物５００の人数が、変数Ｎに入れられている。ここで、前回の画像群と今回の画像群とにおける同一の人物５００は、ステップＳ２１０でＹＥＳと判断されたＩＤに対応する人物５００である。今回の画像群において新たに出現した人物５００は、ステップＳ２１０でＮＯと判断されたＩＤに対応する人物５００である。今回の画像群では検出されなかった人物５００は、ステップＳ２２４で削除されたＩＤに対応する人物５００である。

人物検出統合処理部４２０による処理により、前回の画像群と今回の画像群とにおける同一の人物５００は統合される。人物検出統合処理部４２０は、前回の画像群と今回の画
像群とから、監視範囲に存在する人物５００を漏れなく検出できる。

なお、上記処理では、検出される人数が実際の人数より多くなることがあるが、これは検出漏れを防ぐとの観点から容認される。

《人物追跡部の動作例》
図１５は、人物追跡部の動作フローの例を示す図である。

人物検出統合処理部４２０の処理が終了すると、画像処理装置４００の人物追跡部４３０は、３次元位置情報履歴テーブルＴ４００（図１６）が、３次元位置格納部４４０に存在するか否か確認する（Ｓ３０２）。

人物追跡部４３０は、３次元位置情報履歴テーブルＴ４００が３次元位置格納部４４０に存在しない場合（Ｓ３０２；ＮＯ）、人物検出統合処理部４２０が生成した統合処理後の３次元位置情報テーブルＴ３００の３次元位置情報毎に個別のＩＤを割り当てる。人物追跡部４３０は、割り当てた個別のＩＤ毎に、３次元位置情報履歴テーブルＴ４００を生成する。人物追跡部４３０は、ＩＤ毎に、３次元位置情報テーブルＴ３００の３次元位置情報と、今回入力された画像群の画像が撮影された時刻とを対応付けて、３次元位置情報履歴テーブルＴ４００に入力する（Ｓ３２２）。３次元位置情報テーブルＴ３００の３次元位置情報は、現在の３次元位置となる。人物追跡部４３０は、統合処理後の３次元位置情報テーブルＴ３００を削除し、処理を終了する。

人物追跡部４３０は、３次元位置情報履歴テーブルＴ４００が３次元位置格納部４４０に存在する場合（Ｓ３０２；ＹＥＳ）、統合処理後の３次元位置情報テーブルＴ３００の３次元位置のうち、すべての３次元位置について、処理したかを確認する（Ｓ３０４）。人物追跡部４３０は、まだ、テーブルＴ３００のすべての３次元位置について処理していない場合（Ｓ３０４；ＮＯ）、統合処理後の３次元位置情報テーブルＴ３００から、未処理の、１つの、３次元位置の情報と時刻情報とを、抽出する（Ｓ３０６）。人物追跡部４３０は、抽出された時刻情報から１／３０秒前の、３次元位置情報履歴テーブルＴ４００に格納される、各ＩＤの３次元位置を抽出する（Ｓ３０８）。テーブルＴ３００から抽出された３次元位置と、テーブルＴ４００から抽出された各ＩＤの３次元位置との距離を算出する。人物追跡部４３０は、算出した距離のうち最小の距離を距離Ｗ３とし、距離Ｗ３に対応するテーブルＴ４００のＩＤを抽出する。このとき、人物追跡部４３０は、各３次元位置のｚの値を０として、計算することができる。この場合、人物追跡部４２０は、足元の位置同士の距離を計算していることになる。人物追跡部４２０は、ｚの値を０とすることにより、距離算出の計算処理量を削減することができる。人物追跡部４３０は、距離Ｗ３が所定の距離Ｗ４未満であるか否かを確認する（Ｓ３１０）。ここで、所定の距離Ｗ４は、上記の所定の距離Ｗ２と同一の値とすることができる。

人物追跡部４３０は、距離Ｗ３が所定の距離Ｗ４未満である場合（Ｓ３１０；ＹＥＳ）、Ｔ３００から抽出した３次元位置が、距離Ｗ３に対応するテーブルＴ４００のＩＤに対応する人物のものであると判断する。人物追跡部４３０は、距離Ｗ３に対応するＩＤのテーブルＴ４００に、ステップＳ３０６で抽出した３次元位置の情報と、時刻情報とを、書き込む（Ｓ３１２）。人物追跡部４３０は、ステップＳ３０４に戻る。

人物追跡部４３０は、距離Ｗ３が所定の距離Ｗ４以上である場合（Ｓ３１０；ＹＥＳ）、ステップＳ３０６で抽出した３次元位置に、新たなＩＤを割り当て、３次元位置情報履歴テーブルＴ４００を生成する。人物追跡部４３０は、当該ＩＤの３次元位置情報履歴テーブルＴ４００に、ステップＳ３０６で抽出した３次元位置の情報と時刻情報とを書き込む（Ｓ３１４）。人物追跡部４３０は、ステップＳ３０４に戻る。

人物追跡部４３０は、テーブルＴ３００のすべての３次元位置について処理した場合（Ｓ３０４；ＹＥＳ）、統合処理後の３次元位置情報テーブルＴ３００を削除し、処理を終了する。

図１６は、３次元位置情報履歴テーブルＴ４００の例を示す図である。図１６のように、３次元位置情報履歴テーブルＴ４００は、監視対象の人物に対応するＩＤ毎に、生成される。３次元位置情報履歴テーブルＴ４００には、画像が撮影された時刻と、その時刻における３次元位置と、前回の位置とが対応付けられて格納される。前回の位置は、省略されてもよい。

各ＩＤの３次元位置情報履歴テーブルＴ４００は、各ＩＤに対応する人物の３次元位置の履歴である。時刻毎に複数レコードが格納される。ユーザ等は、３次元位置格納部４４０に格納される３次元位置情報履歴テーブルＴ４００により、各人物５００がそれぞれどのように移動したかを把握することができる。

（変形例）
図１７は、第１カメラセット２１０及び第２カメラセット２２０のカメラ２０１の配置の別の例を示す図である。図１７は、監視範囲の部屋の天井に設置されたカメラの配置の例を示す図である。図１７の例のように、正方格子の格子点の位置にカメラが設置されてもよい。図１７の例では、第１カメラセット２１０のカメラ列と第２カメラセット２２０のカメラ列とが交互になる状態で、正方格子の格子点の位置にカメラ２０１が設置される。図１７の例では、同一のカメラセットの隣接するカメラ同士の距離は、第１カメラセット２１０のカメラとこのカメラに隣接する第２カメラセット２２０のカメラとの距離の２^0.5倍になる。例えば、第１カメラセット２１０のカメラ２１１とカメラ２１２との間の
距離Ｌ３は、カメラ２１１と第２カメラセット２２０のカメラ２２１との間の距離Ｌ４の２^0.5倍になる。

カメラ２０１は、入力切替装置３００によって画像処理装置４００に入力される画像のみを、撮影するようにしてもよい。つまり、カメラ２０１は、画像処理装置４００に入力される２／３０秒毎に、画像を撮影してもよい。

上記では、カメラ２０１は、１／３０秒毎に、監視範囲を撮影し、１／３０秒毎に静止画像を取得できるとしたが、１／３０秒より、長い時間であっても、短い時間であってもよい。

上記では、入力切替装置３００は、１／３０秒毎に第１カメラセット２１０及び第２カメラセット２２０から画像群（画像群２１及び画像群２２）を受け取り、１／３０秒毎に画像群（画像群２１または画像群２２）を選択して、画像処理装置４００に出力する。ここで、人物５００の動きが遅い場合などには、入力切替装置３００は、例えば、１０／３０秒毎に、交互に画像群（画像群２１または画像群２２）を選択して、画像処理装置４００に出力してもよい。

図１８は、画像処理装置４００の他の構成例を示す図である。図１８の画像処理装置４００は、入力切替部４０５、前処理部４１０、人物検出統合処理部４２０、人物追跡部４３０、３次元位置格納部４４０、画像格納部４５０を有する。画像処理装置４００は、第１カメラセット２１０及び第２カメラセット２２０と接続される。前処理部４１０、人物検出統合処理部４２０、人物追跡部４３０、３次元位置格納部４４０、画像格納部４５０は、図４の画像処理装置４００の対応する部分と同様の機能を有する。

入力切替部４０５は、図４の入力切替装置３００と同様の機能を有する。入力切替部４０５には、第１カメラセット２１０のカメラ２１１乃至２１６で撮影された画像群、及び、第２カメラセット２２０のカメラ２２１乃至２２６で撮影された画像群が、入力される。入力切替装置３００は、第１カメラセット２１０から入力された画像群２１、及び、第２カメラセット２２０から入力された画像群２２を、１／３０秒毎に、交互に、出力する画像群として、選択する。入力切替装置３００は、選択された画像群を、前処理部４１０に出力する。

入力切替部４０５の機能は、例えば、図６に示すような情報処理装置１００のＣＰＵ１０Ａ、メモリ１０Ｂ、記憶部１０Ｃ、通信部１０Ｆ等によって、実現される。また、入力切替部４０５の機能は、ＣＰＵ１０Ａで実行されるプログラムとして実現される機能であってもよい。

入力切替部４０５の機能は、例えば、次のように実現される。ＣＰＵ１０Ａが、通信部１０Ｆに、第１カメラセット２１０及び第２カメラセット２２０から画像群２１及び画像群２２を受信させ、当該画像群を、メモリ１０Ｂ若しくは記憶部１０Ｃに格納する。ＣＰＵ１０Ａが、所定時間毎に、画像群２１または画像群２２を交互に選択し、前処理部４１０で利用できるようにする。ＣＰＵ１０Ａは、選択されなかった画像群を破棄してもよい。

（本実施形態の作用効果）
本実施形態の監視システムＸは、第１カメラセット２１０及び１つの監視対象が第１カメラセット２１０と異なる方向から撮影されるように設置される第２カメラセット２２０による画像を、交互に画像処理装置４００の前処理部４１０に入力する。本実施形態によれば、異なる位置に設置される第１カメラセット２１０及び第２カメラセット２２０から交互に画像を取得することで同時に処理する画像の枚数を減らし、画像処理装置による画像の処理量を減少させることができる。

本実施形態の監視システムＸは、第１カメラセット及び第２カメラセットをそれぞれ異なる位置に設置する。本実施形態によれば、異なる位置に設置される第１カメラセット及び第２カメラセットよる画像を利用して、監視範囲に存在する人物を漏れなく検出することができる。

本実施形態の監視システムＸは、第１カメラセット２１０による画像群２１と第２カメラセット２２０による画像群２２との視差を利用して、監視範囲に存在する人数を確認し、人数を含む統合結果を格納する。これによって、監視システムＸは、画像の処理量を減少させることができる。

《コンピュータ可読媒体に関する説明》
以上に説明した本実施形態における何れかの機能は、コード化されてコンピュータ可読媒体の記憶領域に格納されていてもよい。この場合、その機能を実現するためのプログラムが、このコンピュータ可読媒体を介して、コンピュータ、又は、機械若しくは装置に組み込まれたコンピュータに、提供され得る。コンピュータ、又は、機械若しくは装置に組み込まれたコンピュータは、コンピュータ可読媒体の記憶領域からプログラムを読み出してそのプログラムを実行することによって、その機能を実現することができる。

ここで、コンピュータ可読媒体とは、電気的、磁気的、光学的、化学的、物理的又は機械的な作用によって、プログラム及びデータ等の情報を蓄積するとともに、コンピュータに読み取られ得る状態でその情報を保持する記録媒体をいう。

また、コンピュータ可読媒体の中には、コンピュータ、又は、機械若しくは装置に組み込まれたコンピュータに着脱自在に装着できるものがある。着脱自在なコンピュータ可読媒体としては、ＤＶＤ（ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭを含む）、＋Ｒ／＋ＲＷ、ＢＤ（ＢＤ−Ｒ、ＢＤ−ＲＥ、ＢＤ−ＲＯＭを含む）、ＣＤ［Compact Disk］（ＣＤ−Ｒ、ＣＤ−ＲＷ、ＣＤ−ＲＯＭを含む）、ＭＯ［Magneto Optical
］ディスク、その他の光ディスク媒体、フレキシブルディスク（フロッピーディスク（フロッピーは日立製作所社の商標）を含む）、その他の磁気ディスク媒体、メモリーカード（コンパクトフラッシュ（米国サンディスク社の商標）、スマートメディア（東芝社の商標）、ＳＤカード（米国サンディスク社、松下電器産業社、東芝社の商標）、メモリースティック（ソニー社の商標）、ＭＭＣ（米国ジーメンス社、米国サンディスク社の商標）など）、磁気テープ、及び、その他のテープ媒体、並びに、これらのうちの何れかを内蔵した記憶装置が、例示できる。記憶装置には、ＤＲＡＭ［Dynamic Random Access Memory］又はＳＲＡＭ［Static Random Access Memory］がさらに内蔵されたものもある。

また、コンピュータ可読媒体の中には、コンピュータ、又は、機械若しくは装置に組み込まれたコンピュータに固定的に装着されたものがある。この種のコンピュータ可読媒体としては、ハードディスク、ＤＲＡＭ、ＳＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ［Electronically Erasable and Programmable Read Only Memory］、フラッシュメモリなどが、例示で
きる。

１００ 情報処理装置
１０Ａ ＣＰＵ
１０Ｂ メモリ
１０Ｃ 記憶部
１０Ｄ 入力部
１０Ｅ 出力部
１０Ｆ 通信部
２００ カメラセット
２０１ カメラ
２１０ 第１カメラセット
２１１−２１６ 第１カメラセットのカメラ
２１ 第１カメラセットのカメラによる画像群
２２０ 第２カメラセット
２２１−２２６ 第２カメラセットのカメラ
２２ 第２カメラセットのカメラによる画像群
３０ 入力切替装置が選択する画像群
３００ 入力切替装置
４００ 画像処理装置
４１０ 前処理部
４２０ 人物検出統合処理部
４３０ 人物追跡部
４４０ ３次元位置格納部
４５０ 画像格納部
５００ 人物（監視対象）
Ｍ 監視範囲
Ｘ 監視システム

Claims (6)

1. 監視範囲を撮影するカメラ群中の第１カメラで撮影された第１画像と、前記第１カメラと撮影位置の異なる前記カメラ群中の第２カメラで時間差を設けて撮影された第２画像とから監視対象の物体の位置情報を検出する検出部と、
   前記位置情報に基づいて前記第１画像から検出された前記物体と前記第２画像から検出された前記物体とのうち同一と認められる前記物体を統合し、前記第２画像の撮影時刻に前記監視範囲に存在する前記物体の数を算出する算出部と、
   を含む画像処理装置。
2. 前記算出部は、
   前記第１画像から検出される１つの物体と前記第２画像から検出される１つの物体との間の距離が、同一の物体であることを示す所定距離未満である場合、当該第１画像から検出される１つの物体と当該第２画像から検出される１つの物体とは同一の物体であると判断し、かつ、当該物体は前記第２画像の撮影時刻に前記監視範囲に存在する物体であると判断し、
   前記第１画像から検出されるすべての物体と前記第２画像から検出される１つの物体との間の距離がすべて前記所定距離以上である場合、当該第２画像から検出される１つの物体は、前記第２画像の撮影時刻に前記監視範囲に存在する物体であると判断し、
   前記第１画像から検出される１つの物体と前記第２画像から検出されるすべての物体との間の距離がすべて前記所定距離以上である場合、当該第１画像から検出される１つの物体は、前記第２画像の撮影時刻に前記監視範囲に存在する物体であると判断する、
   請求項１に記載の画像処理装置。
3. コンピュータが、
   監視範囲を撮影するカメラ群中の第１カメラで撮影された第１画像と、前記第１カメラと撮影位置の異なる前記カメラ群中の第２カメラで時間差を設けて撮影された第２画像とから監視対象の物体の位置情報を検出し、
   前記位置情報に基づいて前記第１画像から検出された前記物体と前記第２画像から検出された前記物体とのうち同一と認められる前記物体を統合し、前記第２画像の撮影時刻に前記監視範囲に存在する前記物体の数を算出する、
   ことを実行する画像処理方法。
4. コンピュータが、さらに、
   前記第１画像から検出される１つの物体と前記第２画像から検出される１つの物体との間の距離が、同一の物体であることを示す所定距離未満である場合、当該第１画像から検出される１つの物体と当該第２画像から検出される１つの物体とは同一の物体であると判断し、かつ、当該物体は前記第２画像の撮影時刻に前記監視範囲に存在する物体であると判断し、
   前記第１画像から検出されるすべての物体と前記第２画像から検出される１つの物体との間の距離がすべて前記所定距離以上である場合、当該第２画像から検出される１つの物体は、前記第２画像の撮影時刻に前記監視範囲に存在する物体であると判断し、
   前記第１画像から検出される１つの物体と前記第２画像から検出されるすべての物体との間の距離がすべて前記所定距離以上である場合、当該第１画像から検出される１つの物体は、前記第２画像の撮影時刻に前記監視範囲に存在する物体であると判断する、
   ことを実行する請求項３に記載の画像処理方法。
5. コンピュータが、
   監視範囲を撮影するカメラ群中の第１カメラで撮影された第１画像と、前記第１カメラと撮影位置の異なる前記カメラ群中の第２カメラで時間差を設けて撮影された第２画像と
   から監視対象の物体の位置情報を検出し、
   前記位置情報に基づいて前記第１画像から検出された前記物体と前記第２画像から検出された前記物体とのうち同一と認められる前記物体を統合し、前記第２画像の撮影時刻に前記監視範囲に存在する前記物体の数を算出する、
   ことを実行するための画像処理プログラム。
6. コンピュータが、さらに、
   前記第１画像から検出される１つの物体と前記第２画像から検出される１つの物体との間の距離が、同一の物体であることを示す所定距離未満である場合、当該第１画像から検出される１つの物体と当該第２画像から検出される１つの物体とは同一の物体であると判断し、かつ、当該物体は前記第２画像の撮影時刻に前記監視範囲に存在する物体であると判断し、
   前記第１画像から検出されるすべての物体と前記第２画像から検出される１つの物体との間の距離がすべて前記所定距離以上である場合、当該第２画像から検出される１つの物体は、前記第２画像の撮影時刻に前記監視範囲に存在する物体であると判断し、
   前記第１画像から検出される１つの物体と前記第２画像から検出されるすべての物体との間の距離がすべて前記所定距離以上である場合、当該第１画像から検出される１つの物体は、前記第２画像の撮影時刻に前記監視範囲に存在する物体であると判断する、
   ことを実行するための請求項５に記載の画像処理プログラム。

Images