JP2005218014A - 監視システム - Google Patents

Abstract

【課題】 監視システムにおいて撮影画像から動物体情報を検出して、映像と共に蓄積をする。過去映像の検索の際に、その情報を元にマップ上から動物体座標などを元に過去映像の閲覧をしやすくするＧＵＩを提供する。
【解決手段】 従来のネットワークカメラを用いた監視システムに加え映像を蓄積する手段と動画像から動物体を検出する検出手段を追加し、その映像蓄積をする手段を操作するクライアント手段を追加する。そのクライアント手段に動物体を基本とする過去映像の検索方法を追加しＧＵＩを提供する。
【選択図】 図１

Description

発明は監視システムにおけるカメラの動き検知情報を利用した蓄積画像の検索の方法とそのユーザーインターフェイスに関するものである。

従来、アナログ線を前提とした監視カメラシステムが、銀行やコンビニエンスストア、スーパー、宝石店、消費者金融等のあらゆる業種の店内などに強盗や窃盗、万引き防止のために設置されている。そして、これらの映像はテープなどで逐次記録されて来た。しかし、近年、このようなアナログ線を前提とした監視カメラシステムと違い画像情報の伝播にＴＣＰ／ＩＰなどデジタル信号を前提とした遠隔カメラシステムが実用化されてきている。このようなカメラシステムは、ＴＣＰ／ＩＰというグローバルなプロトコルを使用する為、遠隔地からの閲覧が可能であると同時に、デジタル画像データを扱う為、データの蓄積にハードディスクやＭＯなどのデジタル情報記憶機器に記録出来るというメリットがある。更に、上記のデジタル監視カメラシステムのカメラに、Ｐａｎ，Ｔｉｌｔ，Ｚｏｏｍ可能なカメラを用いる事によって、広範囲に映像を取得する事が可能になると同時に、映像の情報以外に、そのときのカメラのパラメータ情報やセンサーの異常警報情報なども合わせて記録が可能である。
特開２０００−２２４４５７号公報

このような監視カメラシステムによって蓄積された画像データを閲覧する際には、非常に大きな労力を使う必要がある場合が多い。

アナログ画像システムに関しては、テープ媒体に残っている情報は、映像と時間情報のみである場合が多く、目的の映像を検索する場合には、閲覧者がテープの早送りや巻き戻しを行う事が前提となる。その為、目的画像の検索はほとんど人間の手と人間の目を用いる必要があるし、時間と労力を必要とする。

デジタル画像システムに関しては、記憶装置がランダムアクセスが可能である事が多い為、目的の時間を瞬時に映し出す事が可能である。また、センサー連動データを残している場合は、センサー系の出力を蓄積画像の時間と関連付ける事で、監視的に意味の高い映像の検索が非常に高速化に行う事が可能となった。

しかし、これらの検索の基本は、記録された時刻に対しての付加情報であり、基本は時刻での検索となる。本来、蓄積映像を閲覧する第一目的は、映像内に写っている監視対象物の変化を見ることである。

少なくとも、時刻による検索というのは、監視の対象となる映像内の動物体を基準とした検索方法ではないと言う事が出来る。

本発明では、蓄積された画像の検索を、その映像内に写った移動物体の位置座標表と時刻を基準に、検索を行う事で、従来の時刻のみに頼る検索方法ではなく、実際に監視対象内部の動物体の状態を指定する事で、膨大な蓄積された画像データの検索を効率良く行う事が可能にする。

このようなシステムを実現するために、本システムには、Ｐａｎ，Ｔｉｌｔ，Ｚｏｏｍ可能なカメラを用いて監視対象となる場所全域を映像に捕らえ、取得するデジタル画像データを処理し、画像内のどの位置に動物体をいるかを認識する。この動物体の情報を元に、全カメラをＰａｎ，Ｔｉｌｔ，Ｚｏｏｍを行い、映像に捕らえカメラの位置情報と画像の映っている場所等から、最終的に動物体の座標を計算し、記録を行う。

そして、このような検索を行う場合の効率の良いＧＵＩを提供する事で、従来よりも、簡単かつ高速に監視画像の検索を可能とする事が可能になる。

この発明は下記の構成を備えることにより上記課題を解決できるものである。

（１）カメラによって撮影された画像を蓄積する蓄積手段と、その撮影した動画像から動物体を検出する検出手段と、検出された動物体を示すアイコンをマップ上に表示する表示手段と、前記表示手段によって表示されたアイコンの指示に応じて、前記動物体が検出された映像を再生する再生手段とを有することを特徴とする監視システム。

（２）前記（１）において、マップ上である範囲を指定にともなって、動物体を監視空間内の座標によって検索を行う検索手段を有し、前記表示手段は、検索された動物体をアイコンとして表示することを特徴とする監視システム。

第一の請求項によって、監視空間内で撮影している動画像によって動物体を認識し、それを監視空間を示すマップ情報に表示を行い、それをクリックする事で、過去の蓄積された動画像を表示する事が可能になる。

また、第二の請求項によって、マウスでドラッグして範囲を指定する事で、監視動物体の座標によって過去の映像の検索を行う事が可能になり、過去の蓄積映像を検出された動物体の座標によって、簡単に検索を行う事が可能になる。

以下本発明を実施するための最良の形態を、実施例により詳しく説明する。

（第一の実施例）
第一の発明は、蓄積映像の検索に動物体画像検出を用いて蓄積映像の簡易かつ高速な検索をする方法である。

特に検出した動物体の表示等のＧＵＩを提供する事を特徴とする。

本実施例は、図面を基に説明を行う。

図１は、システム構成を示したものである。

００１−００８はネットワークを示している。このネットワークは、本発明ではＴＣＰ／ＩＰネットワークを用いている。その為、インターネットやイントラネットなど何れも用いる事が可能である。また、プロトコルはＴＣＰ／ＩＰに依存する必要はなく、ＩＰＸ／ＩＳＸやＡｐｐｌｅＴａｌｋと言った同様の機能を果たすプロトコルを用いても良い。回線に関しても、これらのプロトコルを使用出来るのであれば、どのような回線や無線を用いても構わない。

００１−００１，００１−００３はネットワークカメラサーバを示し、００１−００６は、映像サーバ及びカメラ制御サーバを示している。これらのサーバは構成要素に若干の違い（カメラ部分が一体化しているかどうかなど）はあるが、ほぼ同一構成と目的を持っている。これらのカメラサーバの目的は、撮影する画像をデジタル化を行い、デジタル化した画像データを映像蓄積サーバに対して送信する役目を持っている。

００１−００６は映像撮影用のカメラを外部に持っており００１−００５に示されるように別筐体として持っている。しかし機能的にはほぼ同等である。

これらのカメラサーバには、それぞれ００１−００２，００１−００４，００１−００７に示されるようにセンサーを接続する事が可能である。

センサーは補助的な役割をするもので、撮影範囲外の動物体などの検知に用いられる。これらのセンサー情報も映像蓄積サーバ（検知サーバ）に対してセンサーの検出情報を送信する。

このような機能によって、撮影している映像外の場所での変化や、いち早い反応を行う場合に効果を発揮する。しかし、必須構成要素ではない。

００１−００９は、映像蓄積サーバ（動き検知サーバ）を示している。

映像蓄積サーバでは、これらのカメラサーバから送られてくる動画像を蓄積すると同時に、動物体検出を行っている。動物体検出機能によって、映像蓄積サーバは、蓄積している画像のどの部分でどのくらいの範囲で、画像の変化があるかどうかを判定する事が可能である。

この動き検出処理部分は、映像蓄積サーバと同じ部分にある必要はなく、それぞれのネットワークカメラサーバにあっても良い。

動物体部分のアルゴリズムは、図５、図６、図７で触れるが、基本的に公知例を用いる事が可能である。本発明では特に、特開２０００−２２８７６６号公報（監視システム及びその制御方法及びその動作処理プログラムを記憶した記憶媒体）に示されるアルゴリズムを用いている。この提案書では、位置が移動可能なＰａｎ，Ｔｉｌｔ，Ｚｏｏｍカメラを複数用いる事で、動物体検出を行っている。しかし、本発明では、カメラ位置が移動可能である事は必須ではない。

動物体の位置検出自体は、位置固定Ｐａｎ，Ｔｉｌｔ，Ｚｏｏｍカメラとして計算する事で本発明の目的を果たす事が可能である。

図２は、各サーバ装置内部構成図を示している。

００２−００１，００２−００２，００２−００３，００２−００４，００２−００５はそれぞれカメラサーバ装置に接続される外部装置を示している。（ただし、ネットワークカメラサーバに関しては、カメラ装置及び雲台装置に関しては一体化をしている）これらの外部装置は、００２−００１は、サーバ情報の表示用装置として画像等が出力される。００２−００２は、監視対象となる画像情報を取り込むカメラ装置である。００２−００３は、カメラ装置を様々なＰａｎ，Ｔｉｌｔ方向に向けるための装置である。００２−００４は、センサー装置であり、赤外線センサーや圧力センサーなど様々なセンサー装置を接続する事が出来る。このセンサーは、カメラ装置で撮影される範囲外で、動物体が存在する場合などに、いち早くカメラを監視対象物体の方向に向けるために、映像監視の為の補助的な役割を果たしている。その為、このセンサーで動物体が検出された場合にネットワークカメラサーバは、自動的にセンサーの示す方向にＰａｎ，Ｔｉｌｔ，Ｚｏｏｍを行ったりする事が出来る。００２−００５は、ネットワーク網を示しており、図１で説明されているように、デジタル信号を交換する事が可能ならば、どのようなネットワーク及びプロトコル用いても良い（本提案ではＴＣＰ／ＩＰネットワーク網を使用している）。

００２−００６〜００２−０１４は、サーバ構成要素を示している。この構成に関しては一般的なコンピュータシステムとほぼ同等であり、映像蓄積サーバや動き検知サーバ、映像蓄積クライアントなどもほぼ同じ構成によって動作をしている。

構成要素は、それぞれ、画像出力装置００２−００６、入力装置００２−００８、中央演算処理装置００２−００９、主記憶装置００２−０１０、外部記憶装置００２−０１１、画像入力装置００２−０１２、外部機器信号送信受信装置００２−０１３、ネットワークインターフェース００２−０１４で接続がなされている。更にこれらの装置は全てバスライン００２−００７で接続がされており、連帯している。

本発明のシステムは、このような構成要素によって動作をしている。

図３は、ネットワークカメラサーバの設置状態を示している。

ネットワークカメラサーバ００３−００２，００３−００３，００３−００４は、ネットワークカメラサーバの設置状態とネットワークカメラの概要詳細を示している。

ネットワークカメラサーバは、カメラ部００３−００２と雲台部００３−００３の２つの部分に分かれている。カメラ部は、映像の撮影とズーム機能を搭載しており、これらをＴＣＰ／ＩＰで画像の取得とズームの制御が可能である。カメラサーバ機能がなくても、映像はＮＴＳＣ信号を用いて外部機器で映像を受け取る事が出来、シリアルケーブル経由で、ズームのコントロールが可能である。

実際には、ズーム以外に、利得補正や絞り制御、シャッタースピード制御など様々なカメラパラメータの制御可能である。

このカメラ部００３−００２は、雲台００３−００３に接続されており、雲台によって、カメラのパン、チルトの動作を行う事が可能である。この雲台の制御に関しても、ネットワークカメラサーバであれば、ＴＣＰ／ＩＰ経由で制御を行う事が可能であるし、シリアルケーブル経由で制御する事も可能である。

これらのカメラは、壁００３−００１に示されるように固定される。この設置された座標は、動き検出サーバに登録をされ、実際の動き検知及び、動物体座標の決定の際に用いられるパラメータの一つとして使われる。

図４は、映像蓄積サーバで保持されるデータを示している。

００４−００１〜００４−００５は、映像蓄積サーバのストレージ内に記録されるものである。映像蓄積サーバは、動き検知サーバと連帯し、撮影画像のどの部分に動物体が撮影され、それが監視している場所全体のどの部分にあたるのかを計算し記録する。

画像蓄積情報００４−００２は、画像データ（実際の映像のデジタル画像データ）、時刻（撮影時刻）、カメラ番号（設置されているカメラにユニークに割り当てられた番号）、Ｐａｎ，Ｔｉｌｔ，Ｚｏｏｍ情報（どの方向を撮影しているかという情報）、フォーカス情報（フォーカスを用いて被写体との距離を測定する事が可能な場合があるので記録）、センサー情報（連動センサーの情報）などが記録される。

動き検知情報００４−００３は、動物体の動き検知情報が記録される。この情報は、動き検知サーバによって画像データの解析がされ、その撮影している画像のどの範囲に動物体があるかどうかを判定した結果が蓄積される。動物体の検知には、公知の様々な方法が取る事が可能である（例：輪郭検知、動きベクトル検知、画像の変化量検知など）。

動き範囲情報は、実際に画像のどの範囲で動物体が検出されたかを示す。時刻は、その情報の発生時刻を示す。カメラ番号は、どのカメラの映像であるかを示す。このカメラ番号は、画像蓄積情報００４−００２のカメラ番号と一致する。そして、その画像を撮影した方向（Ｐａｎ，Ｔｉｌｔ，Ｚｏｏｍ）を示す情報で構成されている。

カメラ情報００４−００４は、監視対象となっている空間内におけるカメラの設置位置を記録したテーブルである。カメラ情報００４−００４は、グローバル座標（監視対象空間内のある地点を基点とした場合の横と縦と高さの座標を示した座標）と、視野角−ズーム相対表（視野角が実際のものの長さとの対応をズーム倍率に応じて測定したテーブル）と、設置方向ベクトル（カメラのＰａｎ，Ｔｉｌｔがそれぞれ０のときのカメラの向いている方向の基準ベクトル）で構成されている。

これらの情報は、動き検知サーバ及び映像蓄積サーバが、監視対象空間内の動物体の座標を計算する場合に必要になるパラメータである。

センサー情報００４−００５は、センサーの稼動情報を記録したデータである。

センサー情報００４−００５は、発生センサー（どのセンサーで発生したか）と発生時刻で構成される。

検出物体情報００４−００１は、映像蓄積サーバ及び動き検出サーバが、実際の監視対象空間内における動物体の座標及びその範囲と、時刻を記録したデータである。

検出物体情報００４−００１は、グローバル座標（監視対象空間内のある地点を基点にした場合の座標であり、カメラ情報００４−００４のグローバル座標と一致する）と、範囲（動き検知情報が発生した座標からどの範囲内であるかが記録される。本件では、グローバル座標を中心にどの半径の範囲内であるかが記録される。）とその時点での時刻が記録される。

このように、映像蓄積サーバには、映像及びその撮影をされたカメラのパラメータ情報と動き検知情報と、その動き検知物体の座標と大きさが記録される。

図５は、カメラ装置撮影図を示している。

実際に取得された画像を示しているものである。動き検知サーバによって、過去の画像との対比から動く範囲を判定する。このアルゴリズムに関しては上述の通り、輪郭検知、動きベクトル検知、画像の変化量検知などの何れの方法を用いる事が可能である。

動き検出サーバは、動物体の範囲を特定し、その中心となる動き検出部中心（ｔｘ，ｔｙ）を計算する。

この点と範囲を画像上における動物体の座標と大きさとして映像蓄積サーバに蓄積される。

また、実際に写っている画像上の座標から、監視対象空間の座標上に変換するために、カメラの向向いている方向（Ｐａｎ，Ｔｉｌｔ）やカメラの設置している方向である設置方向ベクトル（ｖｘ，ｖｙ，ｖｚ）を用いて、監視対象空間のグローバル座標上での、視線方向線であるｙ＝ａ１＊ｘ＋ｂ１，ｚ＝ａ２＊ｘ＋ｂ２のそれぞれ、ａ１，ｂ１，ａ２，ｂ２のパラメータが決定される。（この計算方法に関しては、特開２０００−２２８７６６号公報に詳細が記載されている）この２つの式を用いる事で、監視対象空間であるグローバル座標上における監視用カメラからの方向ベクトルが決定する事が可能になる。

図６は、基本的な物体位置決定方法に関してものである。

同様に、図７も、基本的な物体位置決定方法に関してのものである。

図６は、監視対象空間であるグローバル座標をｘ−ｙ空間（監視対象空間を上から見た図）で見た場合の図であり、図７は、監視対象空間であるフローバル座標をｘ−ｚ空間（監視対象空間を横から見た図）でみた場合の図である。

監視対象物は、それぞれ、最低２つのカメラの視線方向線で監視対象物が特定される。

図５によって、撮影映像から、監視対象空間であるグローバル座標上における監視用カメラからの方向ベクトルが決定し、２台分のカメラの視線方向線を解く事で、実際の監視対象物のグローバル座標である（ｘ，ｙ）（ｘ，ｚ）が決定出来る。つまり、グローバル座標上での動物体の座標（ｘ，ｙ，ｚ）が決定出来る。

この際範囲も同様に導かれ、最終的には、グローバル座標上での動物体の座標（ｘ，ｙ，ｚ）と範囲ｒが決定される（この計算方法などの詳細に関しては、特開２０００−２２８７６６に詳細が記載されている）。

このように図５、図６、図７で示されるように、映像蓄積サーバ及び動き検出サーバによって、監視対象空間内の動物体の座標と範囲大きさを決定し、データとして蓄積される。

図８は、蓄積サーバクライアントのソフトのＧＵＩ概観を示している。

００８−００９は、監視対象空間を示している。この部分はマップが表示されており、監視対象空間を上から見た図として表示されている。この部分は完全に正確なマップを表示する必要はなく、図に示されるように比較的分かりやすいイラストマップを用いている。しかし、ほぼ実際の対象物と座標上は重なっている。座標としては、図６で示されるｘ−ｙ図を表示しているのに等しい。

００８−０１０，００８−００２，００８−００１は、ネットワークカメラサーバ及びカメラ装置の位置を示している。これらのアイコンには、その時点でカメラの方向と視野範囲と視線方向線が表示される。００８−００３は、映像蓄積サーバの過去の映像を表示しており、時間の経過に合わせて動画が表示される。この画像には、その時点での時刻とどのカメラ装置の映像であるかを示す情報等が表示される。００８−００４は、時刻ゲージを示している。蓄積された映像データの長さを示している。また、このゲージには、矢印がチェックされている。この矢印は、指定した動物体が動き検知サーバによって捕らえられているという情報を示す。この情報によって、具体的に指定した動物体がどの時間に監視空間内にいたのかが、一目で分かる。００８−００５は、動画の再生、停止、一時停止を制御する。００８−００６は、今現在参照している時刻の動物体で、その前後どの程度の時間の動物体をマップ００８−００９上に表示するか範囲を指定するＧＵＩである。００８−００７は、監視空間内に設置されているカメラのリストを示している。

００８−００８は、動き検出され、その場所が特定された動物体を示しているＧＵＩである、このような表示は、００８−００９のマップ上に検出された座標上に検出された大きさで表示される。それぞれの円は、動物体の位置と大きさと検出時間を示している。００８−００６で時間を範囲を指定する事で、その動物体の前後の動きを表示する事も可能である。また、００８−００４を操作する事で、その時刻に検出された動物体をマップ００８−００９上に表示する事が可能になる。

図９は、本件の特徴の１つとなるＧＵＩ操作に関する図である。

図８のＧＵＩ上では、図に示すように、マップ上にある動物体をマウスカーソルでクリックすると、その動物体が検出されたときの動画像が、００９−００３に表示される。

このような操作は、従来の時刻指定型のＧＵＩでは実現出来なかったものであり、本件による発明のポイントとなるＧＵＩ操作である。

図１０は、更に図９の操作を拡張する操作方法である。

マップ上で、マウスのボタンをクリックし、そのままドラッグをする事で、０１０−０１１に示されるように範囲を示すレクタングルが表示される。この操作は、マップ情報のある一定区域内での動物体検出されたものを検索する場合に用いる検索方法の実例である。この操作は、本件の特徴の１つとなっている。

こうして、選ばれたマップ上の領域０１０−０１１が、表示され、ドラッグが終わった時点で、その範囲が選択され、その範囲内に過去に動物体検出されたものがないかサーチが行われる。

その結果、図１１の状態になる。指定されたレクタングル０１１−０１１内に、０１１−００８で示されるように検出された動物体が表示される。また、このときに時刻ゲージである０１１−００３上には、０１１−００４で示されるように、どの時刻で、動物体が検出されたのかを、一目見て判断出来るようになっている。

こうして検索された動物体を図９で示す操作と同等の操作を行う事で、動物体げ検出されたときの動画像を即座に表示する事が可能になる。

このように、図８〜図１０に示すように従来、時刻の指定が中心となる監視映像の閲覧作業が、検出された動物体の監視空間内の座標によって、簡単に検索を行い、その動画像を閲覧する事が可能となる。

図１２、図１３、図１４は、蓄積サーバクライアントのフローチャートを示した図である。図８〜図１０に示されるＧＵＩは、このフローチャートによって実現されている。

蓄積サーバクライアントは、０１２−００１から処理が開始される。

０１２−００２によって初期化が行われる。変数の初期化や通信経路の初期化が行われ、この時点で、映像蓄積サーバとの通信経路の確保が終了する。０１２−００３にて、画像の初期化を経てＧＵＩの表示が行われる。このＧＵＩの表示が行われる事で映像蓄積サーバクライアントの画像表示装置上に、ＧＵＩを始めとする各種情報が表示される。次に、０１２−００４にて、動画表示スレッドが開始される。

動画表示スレッドは、図１４の示されるスレッドである。このスレッドは動画像の表示の為に、指定された時刻からの蓄積映像を映像蓄積サーバからダウンロードしながら、ＧＵＩ上に表示をし、参照時間を進め、動画像再生を実現するものである。

０１２−００５にてイベント待ち＆イベント処理に入る。このクライアントソフトウェアは基本的に、イベントドリブン型の設計がされている。

０１２−００８のイベント処理で、映像蓄積サーバクライアントが終了が選択されると、まず、映像表示スレッドを停止させ（０１２−００６）、終了処理を０１２−００７で行い、映像蓄積サーバクライアント自体の終了となる。終了処理０１２−００７では、映像蓄積サーバとの通信経路を切断するなどの後処理が行われる。

０１２−００５でイベントの処理が行われるが、その詳細は、０１２−００８から実施される。

０１２−００８からイベント処理フローに入ると、０１２−００９にてイベント待ち状態になる。ここでイベントが発生すると、それぞれのイベント処理に入る。

イベントの中心は、クライアントＧＵＩソフトであるため、ユーザの処理の終了、マウスの移動、マウスのドラッグ、マウスのクリックなどが中心になる。

ユーザの処理の終了イベントが発生した場合ｈ、０１２−０１０からの処理の流れのように、イベント処理は終了し、呼び出し元に処理を返す。

マウスの移動イベントに関しては、０１２−０１２からの処理が行われる。まずマウスの座標の更新が行われ（０１２−０１５）、それに合わせてマウスカーソルを表示する事になる（０１２−０１６）。この処理の後、ＧＵＩ全体の再作画が行われ、再び、イベント待ち（０１２−００）になる。

マウスのドラッグイベントに関しては、０１２−０１３からの処理となる。

マウスの移動と同様に、０１２−０１７で、まず、マウスカーソルの座標の更新が行われ、その座標に合わせてレクタングルの表示を行う（０１２−０１８）。このレクタングルは図１０の０１０−０１１に示されるものである。ドラッグによってＧＵＩ上にマップ上の座標の範囲を指定する事が可能になる。そして、０１２−０１９によってドラッグの終了判定が行われる。正常にドラッグが終了した場合は、範囲指定がされたと判定し、０１２−０３０の動物体検索の呼び出しが行われる。そして、その結果を０１２−０２１によってＧＵＩの再作画が実行される。

マウスのクリックに関しては、０１２−０１４からの処理となる。

ここでは、ＧＵＩで提供する様々なＧＵＩオブジェクトのどれをクリックされたのかを判定する処理を行う。

カメラアイコンであれば、０１２−０２２で判定され、クリックされたのであれば、カメラアイコン処理部（０１２−０２４）が呼ばれる。

マップ上の動物体であれば、０１２−０２３で判定され、クリックされたのであれば、動物体処理部（０１２−０２５）が呼ばれる。

タイムゲージ上であれば、０１２−０１１で判定され、クリックされたのであれば、タイムゲージ呼び出し処理（０１２−０２６）が呼ばれる。

カメラリスト上であれば、０１２−０３１で判定され、クリックされたのであれば、カメラリスト呼び出し処理（０１２−０２７）が呼び出される。

時間間隔設定ＧＵＩ上であれば、０１２−０３２で判定され、クリックされたのであれば、カメラリスト処理（１２３−０２７）が呼び出される。

再生・停止・一時停止ボタン上であれば、０１２−０３３で判定され、クリックされたのであれば、再生・停止・一時停止呼び出し処理（０１２−０２９）が呼び出される。

このように、イベントドリブン型処理であるため、マウスの挙動とどのオブジェクトに対してのイベントであるのかが判定され、それぞれのイベントの処理に応じて処理が振り分けられる。

次に図１３では、主にそのイベントを処理する為にフローが示されている。

０１３−００１〜０１３−０１３は、ＧＵＩの作画ルーチンを示している。

０１３−００２によって、画像のクリアを行う。０１３−００４にて、マップ表示を行う。そして０１３−００５で、映像蓄積サーバと通信を行いカメラ情報を読み込み、０１３−０１４にて、カメラリストの表示を行う。そして、０１３−００７にて、現在ポイントしている時刻の画像蓄積情報を読み込みを行う。これは、以降の作画時の表示情報の基準となる。０１３−００８にてカメラアイコンの表示を行う。０１３−００９にて、そのカメラアイコンそれぞれのカメラのポイントしている時刻におけるカメラの状態や視野範囲の表示を行う。０１３−０１０にて、ポイントしている時刻の指定された時間範囲内の検出物体情報を映像蓄積サーバから読み込み表示を行う。そして、０１３−０１１にてその検出物体をマップ上に作画を行う。

更に、０１３−０１２にてカメラの向いている方向の作画、０１３−０１３にて、タイムゲージ上に周辺時刻内で検知されている動物体があることをタイムゲージにチェックを作画して、ユーザに動物体の時間的な分布を示す。

このように、この処理によって、ＧＵＩで示される様々なオブジェクトの作画処理が行われる。この処理は、全てのイベント処理の後に、行われる事によって、常に最新の状態が画面上に表示されるようになっている。

０１３−０１４〜０１３−０２０は、カメラアイコンがクリックされた場合の処理のフローが示されている。

０１３−０１５にて、現在ポイントしている時刻の取得を行い、選択されたカメラ及び現在ポイントしている時刻の画像データを映像蓄積サーバから読み込みを行う。０１３−０１４にて、読んだデータの作画がされる。これ以降の動画再生に関しては、動画表示スレッドによって行われる。０１３−０１７にてタイムゲージの表示の更新が行われる。０１３−０１８にて、現在ポイントされている時刻の設定された前後の検知物体情報を映像蓄積サーバから検索し（０１３−０１８）、０１３−０１９にてタイムゲージにその検出された動物体の検出時刻に対してチェックを表示する（０１３−０１９）。そして、マップ上に、動物体検出された検出情報をマップ情報、その座標とその範囲を示すアイコンとして表示を行う（０１３−０２０）。

０１３−０２１〜０１３−０２３は、動物体検出されたものをクリックされた場合の処理のフローが示されている。

０１３−０２２によってその選択された動物体の時刻を取得し、その時刻の選択されたカメラの動画像を映像蓄積サーバから取得（０１３−０２２）し、動画像の表示（０１３−０２３）をする。

この後の動画表示に関しては、動画表示スレッドによって行われる。

このようにして、本願の特徴である、検出された動物体をマップ上に示し、そのマップ上の動物体を示すアイコンをクリックする事で、その動物体の過去の映像を簡単に見ることが出来る。

０１３−０２４〜０１３−０３１は、タイムゲージをクリックされた場合の処理を示している。０１３−０２５にてクリックされた時刻の取得を行う。ここで取得した時間を０１３−０２６にて、現在ポイントしている時刻として設定をする。そして、０１３−０２７にて、ポイントしている時刻の動画情報を映像蓄積サーバから読み取り、０１３−０２８でその動画の表示を行う。更に、０１３−０４２９にてポイントしている時間の周辺動物体情報を映像蓄積サーバから読み込み（０１３−０２９）、タイムゲージに時間的な動物体の分布を表示（０１３−０３０）し、座標的な分布をマップ上に表示を行う（０１３−０３１）。このようにして、時刻を自由に選んで、その周辺の監視対象内の動物体の分布の様子などを閲覧する事も可能である。

０１３−０３２〜０１３−０３８は、カメラリストがクリックされた場合の処理を示している。０１３−０３３では、現在ポイントしている時刻の動画情報を動画蓄積サーバから読み取る。そして、その動画の表示を行う（０１３−０３４）。０１３−０３４にて動画像の表示を行う。更に、０１３−０３５にてタイムゲージ情報の更新を行う。０１３−０３４にてポイントしている時間の周辺動物体情報を映像蓄積サーバから読み込み（０１３−０３４）、タイムゲージに時間的な動物体の分布を表示（０１３−０３７）し、座標的な分布をマップ上に表示を行う（０１３−０３８）。

０１３−０３９〜０１３−０４４は、時間間隔ＧＵＩが変更された場合のフロー処理を示している。

０１４−０４０にて、ユーザが指定した時間間隔を読み取る。

この時間間隔は、現在ポイントしている時刻前後、どの程度までの動物体をマップ上に表示させるかといった事を決定する為に、設定を行う。そして、０１３−０４２にてポイントしている時間の周辺動物体情報を映像蓄積サーバから読み込み（０１３−０４２）、タイムゲージに時間的な動物体の分布を表示（０１３−０４３）し、座標的な分布をマップ上に表示を行う（０１３−０４４）。

０１３−０４５〜０１３−０４７は、再生・停止・一時停止ボタンイベントに関して処理をするフローである。

０１３−０４６にて、押されているボタンの種類を判別し、０１３−０４７にて、押されているボタンに応じて、動画表示スレッドの起動、停止を制御する。

このような処理によって、動画の再生と停止を自由にユーザが変更する事が可能になる。

０１３−０４８〜０１３−０５３は、動物体の検索範囲指定が行われた場合のフローを示している。

０１３−０４９にて、マウスのドラッグエリアを読み取り、０１３−０５０にて、マップ上の座標範囲を、蓄積映像サーバに対して検索と読み取りを行う。こうして、０１３−０５１にて映像蓄積サーバクライアントは、ドラッグされた座標範囲内にある動物体の情報を得ることが可能である。そして、タイムゲージに時間的な動物体の分布を表示（０１３−０５３）し、座標的な分布をマップ上に表示を行う（０１３−０５２）。

図１４は、蓄積サーバクライアントの動画表示スレッドのフローを示している。

この動画表示スレッドは、メインのスレッドと平行して処理が行われる。

フローは、０１４−００１〜０１４−００６までである。

まず最初に、現在ポイントされている時間の取得を行う（０１４−００２）。その後、そのポイントされている時刻の動画情報を映像蓄積サーバから読み取り（０１４−００３）、０１４−００４にて動画表示を行う。更に、０１４−００５にてタイムゲージの更新を行い、０１４−００６で少し時間を進行させる。以降、この処理を繰り返す。

このようにして、動画の表示を行う。

このスレッドは、その後、ずっとループを行う。スレッドの起動、停止、一時停止などは、メインスレッド側から制御される。これによって動画の再生、停止、一時停止などが可能になる。

以上、説明したように実施する事によって、蓄積画像の検出動物体の座標を基本とした検索機能を実行する事が出来る。

システム構成図 各サーバ装置内部構成図 ネットワークカメラサーバ設置状態を示す図 映像蓄積サーバ保持情報を示す図 カメラ装置撮影図 基本的な物体位置決定方法１を示す図 基本的な物体位置決定方法２を示す図 蓄積サーバクライアントＧＵＩ概観を示す図 操作１を示す図 操作２−ａを示す図 操作２−ｂを示す図 蓄積サーバクライアントのフローチャート１ 蓄積サーバクライアントのフローチャート２ 蓄積サーバクライアントのフローチャート３

符号の説明

００１−００１，００１−００３ ネットワークカメラサーバ
００１−００２，００１−００４，００１−００７ センサー
００１−００８ ネットワーク
００１−００９ 映像蓄積サーバ
００２−００１ 表示装置
００２−００２ カメラ装置
００２−００３ 雲台装置
００２−００４ センサー装置
００２−００５ ネットワーク網
００２−００６ 画像出力装置
００２−００７ バスライン
００２−００８ 入力装置
００２−００９ 中央演算処理装置
００２−０１０ 主記憶装置
００２−０１１ 外部記憶装置
００２−０１２ 画像入力装置
００２−０１３ 外部機器信号送信受信装置
００２−０１４ ネットワークインターフェース
００３−００１ 壁
００３−００２ カメラ部
００３−００３ 雲台
００４−００１ 検出物体情報
００４−００２ 画像蓄積情報
００４−００３ 動き検知情報
００４−００４ カメラ情報
００４−００５ センサー情報

Claims (2)

1. カメラによって撮影された画像を蓄積する蓄積手段と、
   その撮影した動画像から動物体を検出する検出手段と、
   検出された動物体を示すアイコンをマップ上に表示する表示手段と、
   前記表示手段によって表示されたアイコンの指示に応じて、
   前記動物体が検出された映像を再生する再生手段と
   を有することを特徴とする監視システム。
2. 請求項１において
   マップ上である範囲を指定にともなって、
   動物体を監視空間内の座標によって検索を行う検索手段を有し、
   前記表示手段は、検索された動物体をアイコンとして表示する
   ことを特徴とする監視システム。

Images