JP2005347952A - 監視装置、監視システム及び監視方法 - Google Patents

Abstract

【課題】 遠隔地にある監視対象物の状態変化を容易に検出できるようにして、遠隔地にある監視対象物を効率的に閲覧できるようにする。
【解決手段】 ネットワークを介して接続されたサーバ装置から送信されるデジタル映像を閲覧可能な監視装置であって、上記ネットワークに接続して上記デジタル映像を直ちに閲覧可能な使用状態と、上記ネットワークへの接続を待機する接続待機状態の２つを設け、接続待機状態から使用状態へ切り換えた際に、監視対象物の変化を容易に取得することができるようにして、デジタル映像を閲覧する際の操作性を向上できるようにする。
【選択図】 図１

Description

本発明は監視装置、監視システム及び監視方法に関し、特に、遠隔地の監視対象物を、携帯電話のような携帯端末装置を用いて監視するために好適なものである。

従来、映像の転送にアナログ線を用いることを前提とした監視カメラシステムが、銀行、コンビニエンスストア、スーパー、宝石店、消費者金融等のあらゆる業種の店内などに配設されており、強盗、窃盗、万引き等を防止するために用いられている。そして、これらの映像は、ビデオテープなどを用いて逐次記録されてきた。

しかし、近年、このようなアナログ線を前提とした監視カメラシステムと違い、画像情報の伝播に、TCP/IPなどのデジタル信号を用いることを前提とした遠隔カメラサーバシステムが実用化されてきている。

上記のような遠隔カメラサーバシステムは、デジタル情報として画像データを扱うため、画像データの蓄積にハードディスクやMO、DVDなどのデジタル情報記憶機器に記録が可能であり、高速録画、高速検索、自動画像削除などを行うことができるというメリットがある。

さらに、デジタル情報となった映像を、TCP/IPというグローバルなプロトコルを用いて、遠隔地から監視対象の画像を閲覧することが可能になってきている。また、携帯電話の高機能化・高画質化に伴い、遠隔で画像を閲覧することが可能なクライアント機器として、ネットワーク接続が可能な携帯電話を用いて遠隔カメラサーバシステムを構成する例も多くなってきている。

このような遠隔カメラサーバシステムを用いて携帯電話で遠隔画像を閲覧する場合において、重要な機能の１つとしてカメラサーバに接続されたセンサーの変化などを携帯電話に通知する機能がある。

この通知機能によって監視対象となる監視物の状態の変化を遠隔地から把握することが可能になってきている。このような仕組みは、携帯電話の電子メール送信受信機能を用いている例が多くなってきている。このような遠隔カメラ制御システムとして、例えば、特許文献１に記載の「遠隔カメラ制御システム」がある。

特開２００１―３３９７１３号公報

このような遠隔閲覧可能なネットワークカメラシステムでは、接続されたセンサーなどによって監視対象物の状態変化を電子メールによって通知する場合、検出された状態の変化を、ユーザーが電子メールをまず見ることでユーザーの目で確認をするという仕組みを採用していた。

このような仕組みは、遠隔地で監視対象物の変化を知ることができるものの、ユーザーが電子メールの確認を行うという作業や、さらに、状態の変化発生時の画像を取得し閲覧するという作業をユーザー自身が手動で行う必要があった。

このような作業は、緊急性を有する監視対象物の変化などを見る場合に、閲覧までの時間がかかることや、電子メールの確認作業のための時間など、実用上で問題になる場合があった。
本発明は上述の問題点にかんがみ、遠隔地にある監視対象物の状態変化を容易に検出できるようにして、遠隔地にある監視対象物を効率的に閲覧できるようにすることを目的とする。

本発明の監視装置は、ネットワークを介して接続されたサーバ装置から送信されるデジタル映像を閲覧可能な監視装置であって、上記ネットワークに接続して上記デジタル映像を直ちに閲覧可能な使用状態と、上記ネットワークへの接続を待機する接続待機状態の２つを有することを特徴としている。
また、本発明の他の特徴とするところは、上記接続待機状態時に上記サーバ装置から監視物体の状態遷移発生情報を受信する状態遷移発生情報受信手段と、上記状態遷移発生情報受信手段によって上記状態遷移発生情報を受信した場合には、上記接続待機状態から上記使用状態に変化した際に、上記ネットワークを介して上記サーバ装置に接続するサーバ通信手段と、上記サーバ通信手段により接続されたサーバ装置からデジタル映像を取得するデジタル映像取得手段と、上記デジタル映像取得手段により取得されたデジタル映像をディスプレー装置に表示するデジタル映像表示手段とを有することを特徴としている。

本発明の監視システムは、接続されたカメラから送られる映像をデジタル化してデジタル映像を生成するデジタル映像生成手段と、上記デジタル映像生成手段により生成されたデジタル映像を、ネットワークを介して接続された監視装置へ送信するデジタル映像送信手段とを有するサーバ装置と、上記の何れかに記載の監視装置とを有することを特徴としている。

本発明の監視方法は、ネットワークを介して接続されたサーバ装置から送信されるデジタル映像を閲覧可能に構成され、上記ネットワークに接続して上記デジタル映像を直ちに閲覧可能な使用状態と、上記ネットワークへの接続を待機する接続待機状態の２つを有する監視装置を用いた監視方法であって、上記接続待機状態時に上記サーバ装置から監視物体の状態遷移発生情報を受信する状態遷移発生情報受信工程と、上記状態遷移発生情報受信工程によって上記状態遷移発生情報を受信した場合には、上記接続待機状態から上記使用状態に変化した際に、上記ネットワークを介して上記サーバ装置に接続するサーバ通信工程と、上記サーバ通信工程により接続されたサーバ装置からデジタル映像を取得するデジタル映像取得工程と、上記デジタル映像取得工程により取得されたデジタル映像をディスプレー装置に表示するデジタル映像表示工程とを有することを特徴としている。

本発明のコンピュータプログラムは、ネットワークを介して接続されたサーバ装置から送信されるデジタル映像を閲覧可能に構成され、上記ネットワークに接続して上記デジタル映像を直ちに閲覧可能な使用状態と、上記ネットワークへの接続を待機する接続待機状態の２つを有する監視装置を用いた監視方法をコンピュータに実行させるプログラムであって、上記接続待機状態時に上記サーバ装置から監視物体の状態遷移発生情報を受信する状態遷移発生情報受信工程と、上記状態遷移発生情報受信工程によって上記状態遷移発生情報を受信した場合には、上記接続待機状態から上記使用状態に変化した際に、上記ネットワークを介して上記サーバ装置に接続するサーバ通信工程と、上記サーバ通信工程により接続されたサーバ装置からデジタル映像を取得するデジタル映像取得工程と、上記デジタル映像取得工程により取得されたデジタル映像をディスプレー装置に表示するデジタル映像表示工程とをコンピュータに実行させることを特徴としている。

本発明の記録媒体は、上記に記載のコンピュータプログラムを記録したことを特徴としている。

本発明によれば、ネットワークを介して接続されたサーバ装置から送信されるデジタル映像を閲覧可能な監視装置に、上記ネットワークに接続して上記デジタル映像を直ちに閲覧可能な使用状態と、上記ネットワークへの接続を待機する接続待機状態の２つを設けたので、遠隔地にある監視対象物の状態変化を容易に検出することが可能となり、遠隔地にある監視対象物を効率的に閲覧することができる。
また、本発明の他の特徴によれば、複数のサーバ装置から送信されるデジタル映像を上記監視装置へ転送する中継装置を設けたので、監視装置にインストールしなければならないソフトウェアを少なくすることができる。これにより、資源の負担を軽減することを可能として、資源が少ない携帯電話クライアントのような持ち運び自在な端末装置を用いて、遠隔地にある監視対象物の映像を閲覧することが可能になる。
また、本発明の他の特徴によれば、接続待機状態時にサーバ装置から受信した複数の監視物体の状態遷移発生情報に対応するデジタル映像を、上記接続待機状態から使用状態に変化した際に、時間系列もしくは優先度に応じて上記サーバ装置から取得するようにしたので、複数の状態遷移発生情報が発生した場合においても、デジタル映像を効率的に閲覧することができる。

（第１の実施の形態）
以下、本発明の第１の実施の形態を説明する。
第１の実施の形態においては、遠隔閲覧が可能なネットワークカメラの携帯電話を用いて行う閲覧方法を、より効率的に行うことができるようにしたものである。特に、ネットワークカメラサーバに接続されたセンサーなどの監視対象物の状態変化を監視する場合に、二つ折り携帯電話を使用して画像を閲覧する操作をシンプルに行うことができるようにした点に大きな特徴を有している。

図１は、システム全体の構成を示した図である。図１において、１３はネットワークカメラサーバを示している。このネットワークカメラサーバ１３は、ネットワーク１６に接続する機能を備えている。これにより、本実施の形態の遠隔監視システムは、撮影した画像をデジタル化し、データ圧縮を行い、送信することが可能である。また、撮影した画像データを内部にある補助記憶装置に保存することが可能である。

１１はセンサーを示している。センサー１１は監視対象物１２などを監視しているときに、赤外線を利用して動きを検出したり、音声検出をしたりして、監視対象物１２の状態変化を確認するものである。そのセンサー１１は、様々な変化を検知するセンサー１１を用いることが可能である。

また、ネットワークカメラサーバ１３は、画像をデジタル処理することにより、画像変化を検知する機能などを備えている。したがって、この機能を用いることにより、センサー１１の代わりとして用いることが可能である。この場合は、特にセンサー１１は必要ではなく、ネットワークカメラサーバ１３を用いるだけで監視対象物１２の変化を検出することが可能である。

このようにして検知された検出結果は、電子メール１４というデジタル情報に変換され、状態遷移発生情報として記録され携帯電話クライアントに送信される。なお、検出結果は、特に電子メールであることが必須ではなく、検出結果を伝えるデジタル信号であれば、どのような手段を用いても構わない。

また、ネットワークカメラサーバ１３は、撮影された画像データ１８を送信することも可能である。この画像データ１８は、現在撮影しているライブ画像も送信可能であると同時に、ネットワークカメラサーバ１３に内蔵されている補助記憶装置（図示せず）に記録された蓄積画像を送信することも可能である。上記画像データ１８はデジタル情報であり、静止画でも動画でも構わない。また、画像データ１８は、既知の方法として、JPEGやJPEG200、MPEG2、MPEG4、その他画像を示す情報であればどのようなデータ形式を用いても構わない。

１５及び１７は携帯電話クライアントを示している。本実施の形態では、携帯電話クライアント１５，１７は、定常状態（使用状態）とサスペンド状態(省電力状態もしくは待機状態)を有し、画像が閲覧可能で、かつ、デジタル通信が可能な機器として定義している。

その代表例として、二つ折り携帯電話を携帯電話クライアント１５、１７として用いた場合について説明を行う。この携帯電話クライアント１５、１７は、定常状態とサスペンド状態の２つを備えている。二つ折り携帯電話の場合、定常状態は符号１７を付している状態であり、サスペンド状態は符号１５を付している状態である。

ネットワーク１６は、既存のTCP/IPに代表されるインターネットやイントラネットなどを用いることが可能である。最終的にネットワークカメラサーバ１３と携帯電話クライアント１５、１７の間でデジタル信号の交換ができるのであれば、その間にどのようなネットワークやネットワークプロトコル及びシステムを用いてもかまわない。例えば、イーサーネットや無線LAN、CDMA方式、PAD方式、HTTPプロトコル、SMTPプロトコルなど多くのネットワーク及びネットワークプロトコルを用いることが可能である。

図２（ａ）、（ｂ）は、携帯電話クライアント１５、１７の構成例を示している。携帯電話クライアントは、２つの状態を保持できる。定常状態（使用状態）とサスペンド状態（省電力状態もしくは待機状態）である。

定常状態とは、図２（ａ）で符号２１及び２２に示されるように、携帯電話クライアント１７を直ぐに使用可能な状態を示している。この状態は、ユーザーがすぐに操作を行える状態である。そのため、携帯電話クライアント１７も多数のプロセスを起動動作させ、ユーザーの利便性を最優先に動作する状態である。

一方、サスペンド状態とは、図２（ｂ）で符号２３及び２４に示されるように、携帯電話クライアント１５が使用されないで待機をしている状態を示している。この状態は、ユーザーがすぐには操作を行わない状態である。そのため、携帯電話クライアント１５は、必要最低限のプロセスのみを起動させ、電力消費を最低限度に抑えている状態になる。

サスペンド状態では、主に最低限度の通信機能と時計表示機能やデータ保持機能程度が動作するのみで、他のプロセスは極力停止することになる。昨今の携帯電話では、JAVA（登録商標）やBrewなどによるアプリケーション機能の追加が行うことが可能となっている。

このJAVA（登録商標）などのアプリケーションは、比較的システム内では、常時動作する必要のあるプロセスではないことが多いため、携帯電話クライアントがサスペンド状態になると停止する場合が多い。また、このサスペンド状態からの復帰をJAVA（登録商標）などのアプリケーションがイベントとして知ることが可能である仕組みが既に実用化されている。

図３は、ネットワークカメラサーバ１３の内部構造を示している図である。
図３において、３８は、ネットワークを示している。このネットワーク３８は、図１のネットワーク１６と同一のものである。３９は、センサーを示している。このセンサー３９は、図１のセンサー１１と同一のものである。ネットワークカメラサーバ１３は、入力装置３１〜補助記憶装置３１０で示されるような内部構造を備えている。

この内部構造は、ハードウェア的構成を示している。
入力装置３１は、RESETなどのキーの入力部分を示している。中央演算処理装置３２は、各ハードウェア装置の情報を計算し、その結果を出力する装置である。主記憶装置３３は、メモリを示している。中央演算処理装置の演算結果やプログラムなどを記録している装置である。

雲台制御装置３４は、ネットワークカメラサーバに内蔵されているカメラの方向を変える装置を示している。この雲台制御装置３４を駆動させることで、パン、チルトを行うことが可能になる。

カメラ装置３５は、ネットワークカメラサーバに内蔵されているカメラである。このカメラ装置３５で、ズームなどの動作が可能である。また、撮影した画像をデジタル情報として取り込むことを可能にしている装置である。

ネットワーク通信装置３６は、ネットワークと接続するための装置である。イーサーネットや無線LAN(IEEE802.11b)など用いることが可能である。センサー信号入力装置３７は、センサー装置の出力を読み取る装置である。

補助記憶装置３１０は、ハードディスクやメモリを示している。撮影された画像データを保持するための装置である。全てのネットワークカメラサーバに内蔵されている装置は、バスラインと呼ばれるもので接続がされている。

バスラインの接続によって全ての装置が関連をもって動作することが可能になる。これらの装置の構成は、カメラ撮影用装置以外、全て一般のパーソナルコンピュータとほぼ同一である。

この装置を用いて、映像を撮影し、ネットワーク３８に通信する機能を使って携帯電話クライアント１５、１７に対して監視対象物１２の変化などを検出し、その結果を報告すると同時に、画像を遠隔監視することが可能となる。

図４は、携帯電話クライアントの内部構造の一例を示している図である。図４において、４１は、ネットワークを示している。このネットワーク４１は、図１のネットワーク１６と同一のものである。携帯電話クライアントは、４２〜４１０に示されるような内部構造を備えている。この内部構造は、ハードウェア的構成を示している。

４２は、画像出力装置を示している。この画像出力装置４２によって携帯電話クライアントにネットワークカメラサーバの画像表示することが可能になる。４３は、入力装置を示している。この入力装置４３は、ユーザーからのキー入力を識別する装置であり、この入力装置４３によってネットワークカメラサーバを動作させるUIを提供することが可能になる。

４４は、中央演算処理装置を示している。この中央演算処理装置４４は、各ハードウェア装置の情報を入力し計算し、その結果の出力を行う装置である。４５は、主記憶装置を示している。この主記憶装置４５はメモリで構成されており、中央演算処理装置４４の演算結果やプログラムなどを記録している装置である。

４６は、開閉検出装置を示している。開閉検出装置４６は、二つ折り携帯電話の開いている状態と、閉じている状態を判定するためのハードウェア装置である。この開閉検出装置４６は、二つ折り携帯電話に特に特化したハードウェア装置であり、携帯電話クライアント１５、１７の形状などによって装置の形などが変更される。

４１１は、呼び出し音発生装置を示している。携帯電話には必須である呼び出し音を発生させる装置である。４７は、ネットワーク及び音声通信装置を示している。この音声通信装置４７によってネットワークに接続が可能である。携帯電話の場合は、無線である場合が多くCDMA方式など既知の方法を用いることが可能である。音声通信やデータ通信が可能であれば、どのような通信インフラを用いてもよい。

４８は、音声入力装置を示している。また、４９は音声出力装置を示している。この２つの装置を用いて電話としての機能を提供することが可能になる。４１０は振動装置示している。昨今の携帯電話のほとんど全てのものには、振動装置が接続されている。この装置を使って、無音でもなんらかの状態の変化をユーザーに伝えることが可能となる。これらの装置の全ては、バスラインで接続されている。バスラインの接続によって全ての装置が関連をもって動作することが可能になる。

図５は、ネットワークカメラサーバのソフトウェア構成を示している。
図５において、５２はネットワークカメラサーバを示している。その内部に各ソフトウェアプロセスが存在している。

また、ネットワークカメラサーバ５２には、５１で示されるセンサーも接続されている。このセンサー５１は、図１で示したセンサー１１と同一のものである。さらに、ネットワークへの接続例として、ネットワーク５１１が接続されている。このネットワーク５１１は、図１のネットワーク１６と同一のものである。

本実施の形態のネットワークカメラサーバ５２は、カメラ制御プロセス５４、映像取得プロセス５５、映像圧縮プロセス５６、映像蓄積プロセス５７、クライアント通信プロセス５８、外部信号入力監視プロセス５９、メール送信プロセス５１０とを有している。

カメラ制御プロセス５４は、ネットワークカメラサーバ５３に内蔵されている雲台制御装置を動作させるプロセスである。このプロセスによってカメラのパン・チルト・ズームなどの制御が可能になる。

映像取得プロセス５５は、ネットワークカメラサーバ５３のカメラ装置を管理するプロセスである。このプロセス５５によって現在の撮影映像をデジタル情報に変換することが可能になる。

ここで入力された画像データ５１２は、映像圧縮プロセスによってデータの圧縮が行われる。圧縮画像データは、JPEGやMPEG2、MPEG4などのアルゴリズムを用いて圧縮されている。この圧縮された画像データは、映像蓄積プロセスによって映像の蓄積データベース５１５に保存される。この映像蓄積データベース５１５は、補助記憶装置などに記録される。

これらの撮影されたライブの画像データや蓄積された画像データは、携帯電話クライアント１５、１７のリクエストによって随時参照され、クライアント通信プロセスによって携帯電話クライアント１５、１７に対して送信される。

また、クライアント通信プロセスからカメラ制御情報を受信した場合は、カメラ制御データ５１３としてカメラ制御プロセスに伝わることで、ネットワークカメラサーバの雲台制御装置によって、パン・チルトなどの動作が可能になる。

センサーの信号の入力に対しては、外部信号入力監視プロセスが、状態遷移発生情報５１６として検出を行う。この結果を電子メールという形で送信情報を作り、メール送信プロセスによって電子メールとして出力される。

このメールデータ５１７もクライアント通信プロセスに伝わることで、携帯電話クライアントに送信される。このようなソフトウェア構成によってネットワークカメラサーバが動作することが可能になる。

図６は、携帯電話クライアントのソフトウェア構成を示している図である。
図６において、６１１は携帯電話クライアントを示している。その内部に各ソフトウェアプロセスが存在している。携帯電話クライアント６１１には、ネットワーク６１が接続されている。このネットワーク６１は、図１のネットワーク１６と同一のものである。

携帯電話クライアント６１１は、キー入力プロセス６２、カメラ操作プロセス６３、画像表示プロセス６４、カメラ映像取得プロセス６６、開閉監視プロセス６５、カメラ閲覧待機プロセス６７、メール受信プロセス６９、メール確認プロセス６１０から構成されている。

携帯電話クライアント６１１からのキー入力があるとキー入力プロセス６２が、その入力されたキー情報をカメラ操作プロセス６３に通知を行う。カメラ操作プロセス６３では、現在写っている画像からのパン・チルト・ズームの必要な動作情報を作り、サーバ通信プロセス６８に、そのカメラ操作情報を伝える。

サーバ通信プロセス６８は、カメラ操作情報をネットワークカメラサーバ５２に送信することで、ネットワークカメラサーバ５２の機器制御が可能になる。サーバ通信プロセス６８は、ネットワークカメラサーバ５２からの監視対象物１２の状態変化を電子メールとして受信を行い、メール受信プロセス６９にその通知を行う。メール受信プロセス６９では、受信されたメールを保持し続けることが可能である。

このようにして、携帯電話クライアント６１１は、遠隔地にあるネットワークカメラサーバ５２の監視対象物１２の状態変化を常にメールとして受信することが可能になる。携帯電話クライアント６１１の定常状態とサスペンド状態の判別は、開閉監視プロセスによって監視される。携帯電話クライアントが定常状態になった場合、開閉監視プロセスが、その状況をイベントとしてカメラ閲覧待機プロセスに対して通知を行う。

カメラ閲覧待機プロセス６７は、このイベントの発生によって動作を開始し、メール確認プロセス６１０を呼び出し、サスペンド状態のときに受信した電子メールの中なか、ネットワークカメラサーバ５２の監視物体の状態変移を伝える内容を検索する。

その情報があった場合、カメラ閲覧待機プロセス６７がその情報に従って、ネットワークカメラサーバ５２に対して監視物体の状態変移発生時の画像を、サーバ通信プロセス６８に対して要求を行い、画像データを取得する。

ネットワークカメラサーバ５２の監視物体の状態変移を伝える内容の電子メールには、状態変移発生情報が記録されており、異常発生時刻、異常検出した内容（センサー入力信号原因、画像解析による動物体検出原因など）、異常発生時のPAN,TILT,ZOOMなどのカメラ制御パラメータ、異常発生を検出したネットワークカメラサーバのアドレスなどが含まれる。

このような状態変移発生情報の内容に従って、カメラ閲覧待機プロセス６７は、画像データの取得を行い、受信した画像表示プロセスに、画像データを表示する。このようなソフトウェア呼応製によって携帯電話クライアントは動作し、遠隔地の監視物体の変移による通知を受信し、自動で閲覧することが可能となる。

図７−１、図７−２は、ネットワークカメラサーバ５２の処理手順の一例を説明するフローチャートである。
ネットワークカメラサーバ５２は、電源がONになるとステップＳ７０１から動作を開始する。

動作を開始すると、最初にステップＳ７２にて、内部で動作する全てのソフトウェアプロセスを起動し、動作が即可能な状態に初期化を行う。
次に、ステップＳ７３にて、外部からの終了要因があるか否か判定をする。例えば、RESETなどが押されて、終了が指示されると、ステップＳ７４に進み、全てのプロセスの動作を停止させて、ネットワークカメラサーバの動作を停止させる。

上記ステップＳ７２にて起動されたクライアント通信プロセスは、ステップＳ７５にて動作を開始して、次のステップＳ７６で接続しているクライアントがいるかどうか判定を行う。

この判定の結果、接続していなければ、携帯電話クライアント６１１が接続されるのを待ち続ける。携帯電話クライアント６１１が接続されると、ステップＳ７３４に進み、携帯電話クライアント６１１からの指示情報を待つ。

携帯電話クライアント６１１からの情報を受信すると、ステップＳ７０８でその内容を解析する。この解析の結果、カメラ制御情報が受信されれば、ステップＳ７９に進み、その内容をカメラ制御プロセスに送り、カメラ制御を行う。

また、ステップＳ７０８の解析の結果、映像取得要求情報が受信されれば、ステップＳ７１０に進み、その内容を映像取得プロセスに送り、映像の取得を行い、その内容を携帯電話クライアント６１１へ送信を行う。

また、ステップＳ７０８の解析の結果が、他プロセス用データも同様に、携帯電話クライアント６１１からの情報があれば、ステップＳ７３５に進み、それを解釈し実行ができるプロセスが呼び出される。

次に、ステップＳ７１１に進み、他プロセスでの送信イベントが発生しているかどうかを判定する。この判定の結果、例えば、外部信号入力監視プロセスなどで、電子メールの送信が指示された場合、ステップＳ７１２に進み、メール送信プロセスを呼び出し、電子メールの送信を行う。また、電子メールばかりでなく、なんかしらの通信要求がある場合が、ステップＳ７０７に進み、クライアントへの要求情報が送信される。

このようにして、ネットワークカメラサーバ５２と携帯電話クライアント６１１は、データの送受信を行うことができる。

上記ステップＳ７２にて起動された外部信号入力監視プロセスは、ステップＳ７１３にて動作を開始して、次のステップＳ７１４にて接続されたセンサーの入力の判定を行い、異常検知する。

この判定の結果、何か監視物体の状態変移を検出した場合、ステップＳ７１５に進み、クライアント送信プロセスに対して、監視対象物１２の状態に変化があるという状態変移発生情報を通知する電子メールを作成して送り込む。このようにして、異常物体検収の判定を行い、遠隔地でも、監視対象物１２の状態の変化を確認することができるようになる。

カメラ制御プロセスは、ステップＳ７１６から動作を開始して、次のステップＳ７１７にて、携帯電話クライアント６１１からのカメラ制御情報を解析する。次に、ステップＳ７１８にて、その制御内容のとおりにPAN,TILTなどの制御を雲台装置などの制御をして行うことでカメラ制御を行うことが可能になる。

映像取得プロセスは、ステップＳ７１９から動作が開始される。そして、ステップＳ７２０にて、携帯電話クライアント６１１からの映像取得要求をして解析を行う。
次に、ステップＳ７２１にて、ライブ映像の取得要求でか否かを判定する。この判定の結果、そうであれば、ステップＳ７２２に進み、カメラからの映像を取得し、次に、ステップＳ７２３にて映像圧縮プロセスで映像データを圧縮し、ステップＳ７２４にて映像蓄積プロセスを呼び出して映像を蓄積し、ステップＳ７２５にて映像データを携帯電話クライアント６１１に対して送信を行う。

一方、ステップＳ７２１の判断の結果、蓄積映像の取得でなければ、ステップＳ７２６に進み、映像蓄積プロセスの過去映像データベースから、要求のあった時刻の映像データを検索して過去の映像を取得する。次に、ステップＳ７２７に進み、その映像データを携帯電話クライアント６１１に対して送信を行う。

映像圧縮プロセス５６は、ステップＳ７２８から動作が開始される。このプロセスでは、ステップＳ７３１にて映像データの圧縮作業を行う。映像データは、JPEG、JPEG2ステップＳ、MPEG2、MPEG4などの静止画や動画のデータに圧縮される。

映像蓄積プロセス５７は、ステップＳ７２９から動作が開始される。このプロセス５７では、ステップＳ７３２にて映像データの蓄積を行う。この処理では、映像蓄積データベースに対して映像の蓄積を行う。このようにして、過去映像を常に携帯電話クライアント６１１が参照できるように映像データの蓄積を行う。

メール送信プロセス５１０は、ステップＳ７３０から動作が開始される。このプロセス５１０では、ステップＳ７３３にて、携帯電話クライアント６１１に対して、電子メールの送信を行う。

監視物体の状態変移を伝える内容の電子メールには、状態変移発生情報が記録されており、異常発生時刻、異常検出した内容（センサー入力信号原因、画像解析による動物体検出原因など）、異常発生時のPAN,TILT,ZOOMなどのカメラ制御パラメータ、異常発生を検出したネットワークカメラサーバのアドレスなどが含まれる。上述のように、フローチャートで説明した手順によって、本実施の形態のネットワークカメラサーバ５２は動作する。

図８−１、図８−２は、携帯電話クライアント６１１の動作手順の一例を示すフローチャートである。
携帯電話クライアント６１１は、電源がONになると動作を開始し、ステップＳ８０１から動作を開始する。

次に、ステップＳ８０２にて、内部で動作する全てのソフトウェアプロセスを起動し、動作が即可能な状態に初期化を行う。
次に、ステップＳ８０３にて、外部からの終了要因があるか否か判定をする。この判定の結果、例えば、電源OFFキーなどが押されて、終了が指示されると、ステップＳ８０４に進み、全てのプロセスの動作を停止させて、携帯電話クライアント６１１の動作を停止させる。

カメラ閲覧待機プロセス６７は、ステップＳ８０２にて起動され、ステップＳ８０５にて、携帯電話が、サスペンド状態から定常状態になったか否かを判定している。この開閉のイベントは、開閉監視プロセス６５からのイベント通知で判定される。この判定の結果、携帯電話クライアント６１１が、定常状態になった場合は、ステップＳ８０６に進み、メール確認プロセス６１０を呼び出す。

メール確認プロセス６１０は、ステップＳ８２５から動作が開始され、次のステップＳ８２６にて、携帯電話クライアント６１１が、サスペンド状態だったときに受信した電子メールを検索し、その中に状態遷移発生情報が記録されているかどうかの判定を行い、その結果を返す。この状態遷移発生情報を持ったメールを確認する場合、時系列に検索を行い、最初に検索されたメールを、メール確認プロセス６１０を呼び出したプロセスに返す。

次に、ステップＳ８０７にて、メール確認プロセスにて状態遷移発生情報が届いていたか否かの判定を行い、もし受信されているのであれば、ステップＳ８０８にてカメラ映像取得プロセス６６を呼び出す。

映像取得プロセス６６は、ステップＳ８１９から動作が開始され、次のステップＳ８２０にて映像取得情報を作成して、送信キューにその情報を置く。このようにしてネットワークカメラサーバ５２に対して映像の取得要求を行う。次に、ステップＳ８２１にて、その返答結果として、映像データを取得することが可能になる。

このカメラ映像取得プロセス６６を呼び出すときに、状態遷移発生情報に記録された異常発生時刻の映像を、異常発生を検出したネットワークカメラサーバ５２の映像を取得するように指示を行う。そして、ステップＳ８０９にて取得された映像データを、画像表示プロセス６４を呼び出すことで、その映像を携帯電話クライアント６１１に表示を行う。

映像表示プロセス６４は、ステップＳ８１７にて開始され、ステップＳ８１８において、取得された映像データを携帯電話クライアント６１１の表示装置に対して映像の画面表示を行う。

サーバ通信プロセス６８は、ステップＳ８０２にて起動され、送信するデータが、送信キュー内にある場合に、ステップＳ８１１にて、その送信キューの内容をネットワークカメラサーバに対して送信を行う。そして、その返答結果をステップＳ８１２にて受信し、送信キューに送信データをおいたプロセスに対して返答結果を返す。

キー入力プロセス６２は、ステップＳ８０２にて起動され、ステップＳ８１３にて動作が開始される。このキー入力プロセス６２は、携帯電話クライアント６１１のキー入力装置を常に監視し、キー入力情報を、カメラ操作プロセス６３に送る。

カメラ操作プロセス６３は、ステップＳ８１５で開始され、入力されたキー操作から、ステップＳ８１６にて、カメラ制御情報を作成して、送信キューにそのカメラ送信情報を、ネットワークカメラサーバ５２に送信をする。このようにして、カメラ制御が可能になる。

また、メール受信プロセス６９は、ステップＳ８０２にて起動され、ステップＳ８２３にて動作が開始される。メール受信プロセス６９は、ネットワークカメラサーバ５２からのメールを常に受信を監視し、メールの受信があると、ステップＳ８２４にて電子メールを受信しメールボックスに蓄積をする。このような処理手順によって、本実施の形態の携帯電話クライアント６１１は動作を開始する。

図１２は、状態変異情報を示している。
図１２に示すように、状態変異情報は、監視対象物１２がどのように変化を行ったかを示すデータであり、ネットワークカメラサーバから電子メールの形で送信をされる。必ず電子メールで送信するということは条件ではなく、他の類似手段を使うことができる。

状態遷移発生情報には、異常発生時刻１２１、異常発生した内容１２２、異常発生したカメラパラメータ１２３、異常発生したネットワークカメラサーバのアドレス１２４、重要度状態１２５、異常発生持続状態１２６などが含まれる。それぞれ、状態の変異に関しての情報が含まれる。

図１３は、各種データの内容を示している。
カメラ制御情報は、カメラの操作を携帯電話クライアント６１１が行う場合に送信するデータである。主に雲台の制御を行うデータデータが記述されており、１３３は、PAN,TILT,ZOOMを示すデータを示している。

映像取得要求は、携帯電話クライアント６１１が、映像を要求する場合にネットワークカメラサーバ５２に送信するデータである。この映像取得要求によって、最新の画像や、過去に蓄積された映像データを取得することが可能になる。

１３４は最新の画像の要求を行うかどうかのフラグである。このフラグが有効な場合、ライブ画像の画像の要求を行うことを意味する。１３５は、蓄積画像の時刻を示すデータである。過去の画像を取得する際に、その時刻を指定することで、過去の画像の要求を行うことを意味する。

映像データは、現在及び過去の画像を示すデータである。
１３６は画像データそのものであり、JPEG,JPEG200,MPEG2,MPEG4など様々な画像フォーマットによって映像をデータで表現している。１３７は画像を取得した時刻を示している。１３１は画像データの形式を示している。

以上、説明したようにして、本実施の形態においては、二つ折り携帯電話を開くだけで、障害発生時の監視対象物１２の映像を自動で取得して閲覧することが可能になる。

（第２の実施の形態）
第２の実施の形態は、上述した第１の実施の形態のシステムをさらに拡張し、複数のネットワークカメラサーバに対応することを可能にするものである。
第２の実施の形態においては、中継サーバをシステムに追加することで複数のネットワークカメラサーバに対応できるようにしたことを特徴とする。

本実施の形態の概略構成を図９に示す。図９において、図１と同一な構成については同一の符号を付して詳細な説明を省略する。
図１との大きな差は、複数のネットワークカメラサーバを追加した点にある。ネットワークカメラサーバは、１３に加えて９４及び９９が追加されて３台のネットワークカメラサーバが配置されている。本実施の形態では、３台のネットワークカメラサーバ明記しているが、この台数は任意の数を設置することが可能である。さらに、９１０に示される中継サーバを追加している。

図１では、ネットワークカメラサーバ１３から、状態遷移発生情報が記録されている電子メールのデータや、映像データなどは、ネットワークカメラサーバから直接、携帯電話クライアントに対して送信されていたが、本実施の形態では、これを必ず、中継サーバ９１０を仲介して送信されるように変更されている。他のネットワークカメラサーバ９４及び９９も同様に動作をする。

このようにしたシステム形態とすることにより、１５及び１７で示される携帯電話クライアントと直接通信を行うのは、中継サーバ９１０のみにすることができる。現在、携帯電話のアプリケーションを動作させるプラットフォームとしてJAVA（登録商標）環境が存在する。この環境では、対応したソフトウェアをダウンロードしてインストールしたサーバとのみ通信を行うことが可能となっている。

したがって、多くのネットワークカメラサーバを携帯電話クライアントで扱うようにすると、それぞれ対応した複数種類のソフトウェアをダウンロードしてインストールする必要があるので、資源の負担が多くなっていた。しかし、図９に示したような中継サーバ９１０を用いることで、このような問題を解決することが可能となる。これ以外の動作は、第１の実施の形態と同一である。

図１０は、中継サーバ９１０の内部構造を示している構成図である。
図１０は、中継サーバのハードウェア的構成を示している。図１０において、１０６はネットワークを示しており、上述した９０６及び１６と同一のものである。

中継サーバ９１０は、入力装置１０１、中央演算装置１０２、主記憶装置１０３、補助記憶装置１０４、ネットワーク送信装置１０５などから構成されている。上記中継サーバ９１０の動作に関しては、ネットワークカメラサーバや、携帯電話クライアントと同じように動作を開始する。これらの構成は、ネットワーク接続が可能なコンピュータシステムと全く同一である。

図１１は、中継サーバ９１０のソフトウェア構成を示した図である。
中継サーバ１１１５は、ネットワークカメラ１１１とネットワーク１１３を介して、カメラサーバ通信プロセス１１４と接続を行っている。

同様に、携帯電話クライアント１１２とネットワーク１１３を介して、携帯電話クライアント通信プロセス１１５と接続を行っている。この２つの通信プロセスは、それぞれ、ネットワークカメラサーバ、及び携帯電話クライアントとのデータの送受信を行うプロセスである。

映像データ１１１２が、ネットワークカメラサーバから携帯電話クライアントへ送られたとすると、映像受信プロセス１１８から映像送信プロセス１１９を通して、映像データの送信が中継される。携帯電話クライアントの画像要求に関しても、この映像送信プロセス１１９と、映像受信プロセス１１８を通して、携帯電話クライアントからネットワークカメラサーバへ要求が中継される。

カメラ制御データ１１１３に関しては、カメラ制御情報受信プロセス１１１０及びカメラ制御送信プロセス１１７を通して、携帯電話クライアントからネットワークカメラサーバに対して送信される。

メールデータ１１１４に関しては、メール受信プロセス１１６及びメール送信プロセス１１１１を通して、ネットワークカメラサーバから携帯電話クライアントへ送信される。このように構成することで、中継サーバ９１０は複数の携帯電話クライアントの通信内容をまとめて携帯電話クライアントに送信をすることが可能になる。

以上のように実施することで、携帯電話クライアントに複数のアプリケーションをインストールすることなく、複数台のネットワークカメラサーバから送られる遠隔映像を閲覧と、上記監視対象物１２の状態の遷移を監視することが可能になる。

（第３の実施の形態）
第３の実施の形態は、上述した第１の実施の形態で示したシステムにおいて閲覧する画像の優先度を考慮することで、監視対象物１２の状態変化の中で、重要性の高い映像から順次閲覧できるようにして、効率的に閲覧することを可能にするものである。

すなわち、本実施の形態においては上述した第１の実施の形態に加えて、図８のメール確認プロセス（ステップＳ８２５）の状態遷移発生情報を有する電子メールの選定の方法を、第１の実施の形態とは異ならせたことを特徴としている。

第１の実施の形態では、監視対象物１２の状態遷移発生情報を、時系列を基準にして電子メールを検索していた。この場合、複数の状態遷移発生情報の電子メールを受信している場合に、重要性のある状態遷移発生情報の電子メールが埋もれてしまう場合がある。

この第３の実施の形態では、このような不都合が発生するのを解消できるようにしている。すなわち、上記時系列で検索をするアルゴリズムを、以下のような方法により可能にしている。
（１）ネットワークカメラサーバにおいてセンサーの強さなどを元にして、図１２の重要度状態１２５を設定することで状態遷移発生情報の重要度を判別することを可能にする。
（２）携帯電話クライアントに、参照タイムアウト時間を設定することで、ある一定時間以上経過をしてしまった状態遷移発生情報に関しては無視をするようにする。このような順位付けをすることで、状態遷移発生情報の優先度を決定することが可能になり、携帯電話クライアント１５、１７は、最も優先度の高い状態遷移発生情報の映像を取得することができる。

また、１枚の画像だけを表示することが必須ではなく、この順位付けをした静止画像または動画像を、優先度順に一定時間毎に順次取得して表示することも可能である。さらに、図２において符号２５で示したように、二つ折り携帯電話では、サスペンド状態のときに、サブディスプレー装置を持つ場合があり、このサブディスプレー装置２５を用いて、順次複数の状態遷移発生情報を表示することも可能である。

さらに、順次表示している状態遷移発生情報に応じて、携帯電話クライアントを開く状態のタイミングで、開いた瞬間に上記サブディスプレー装置２５に表示していた状態遷移発生情報に応じた映像を表示することが可能である。

以上のように実施することで、複数の状態遷移発生情報が携帯電話クライアントに送信された場合にも効率的に、障害発生時の画像を能率良く閲覧することが可能になる。

（本発明の他の実施の形態）
上述した実施の形態の機能を実現するべく各種のデバイスを動作させるように、上記各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、上記実施の形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って上記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。

また、この場合、上記ソフトウェアのプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えば、かかるプログラムコードを格納した記録媒体は本発明を構成する。かかるプログラムコードを記録する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施の形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して上述の実施の形態の機能が実現される場合にもかかるプログラムコードは本発明の実施の形態に含まれる。

さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合にも本発明に含まれる。

第１の実施の形態を示し、システムの全体構成を示すブロック図である。 携帯電話クライアントの一例を示し、携帯電話の概観を説明する図である。 ネットワークカメラの構造例を示す図である。 携帯電話クライアントの構造例を示す図である。 ネットワークカメラのソフトウェア構成例を示す図である。 携帯電話クライアントのソフトウェア構成構成例を示す図である。 ネットワークカメラの手順を説明するフローチャートである。 ネットワークカメラの手順を説明するフローチャートである。 ネットワークカメラの手順を説明するフローチャートである。 ネットワークカメラの手順を説明するフローチャートである。 第２の実施の形態を示し、中継サーバを使用した全体構成を示す図である。 第２の実施の形態にて使用する中継サーバの構造例を示すブロック図である。 第２の実施の形態にて使用する中継サーバのソフトウェア構成例を示す図である。 状態遷移発生情報例を示す図である。 各種データの内容を示す図である。

符号の説明

１１ センサー
１２ 監視対象物
１３ ネットワークサーバー
１４ 電子メール
１５ 携帯電話
１６ ネットワーク
１７ 携帯電話
１８ 画像データ

Claims (13)

1. ネットワークを介して接続されたサーバ装置から送信されるデジタル映像を閲覧可能な監視装置であって、
   上記ネットワークに接続して上記デジタル映像を直ちに閲覧可能な使用状態と、上記ネットワークへの接続を待機する接続待機状態の２つを有することを特徴とする監視装置。
2. 上記接続待機状態時に上記サーバ装置から監視物体の状態遷移発生情報を受信する状態遷移発生情報受信手段と、
   上記状態遷移発生情報受信手段によって上記状態遷移発生情報を受信した場合には、上記接続待機状態から上記使用状態に変化した際に、上記ネットワークを介して上記サーバ装置に接続するサーバ通信手段と、
   上記サーバ通信手段により接続されたサーバ装置からデジタル映像を取得するデジタル映像取得手段と、
   上記デジタル映像取得手段により取得されたデジタル映像をディスプレー装置に表示するデジタル映像表示手段とを有することを特徴とする請求項１に記載の監視装置。
3. 上記サーバ装置から送られる状態変異情報を、上記接続待機状態時に表示するサブディスプレー装置を有することを特徴とする請求項１または２に記載の監視装置。
4. 上記デジタル映像取得手段は、上記接続待機状態時に上記サーバ装置から受信した複数の監視物体の状態遷移発生情報に対応するデジタル映像を、上記接続待機状態から上記使用状態に変化した際に、時間系列もしくは優先度に応じて上記サーバ装置から取得し、
   上記デジタル映像表示手段は、上記デジタル映像取得手段が取得したデジタル映像をディスプレー装置に順次表示することを特徴とする請求項２または３に記載の監視装置。
5. 上記デジタル映像取得手段は、上記サブディスプレー装置に表示されていた状態遷移発生情報に対応するデジタル映像を、上記接続待機状態から上記使用状態に変更された際に上記サーバ装置から取得し、
   上記デジタル映像表示手段は、上記デジタル映像取得手段が取得した上記デジタル映像をメインディスプレー装置に表示することを特徴とする請求項２〜４の何れか１項に記載の監視装置。
6. 接続されたカメラから送られる映像をデジタル化してデジタル映像を生成するデジタル映像生成手段と、上記デジタル映像生成手段により生成されたデジタル映像を、ネットワークを介して接続された監視装置へ送信するデジタル映像送信手段とを有するサーバ装置と、
   上記請求項１〜５の何れか１項に記載の監視装置とを有することを特徴とする監視システム。
7. 複数のサーバ装置から送信されるデジタル映像を上記監視装置へ転送する中継装置を有することことを特徴とする請求項６に記載の監視システム。
8. 上記サーバ装置は、サーバ装置で監視する監視対象物の状態変化の中で、重要性の高い映像から順次閲覧できるように設定する優先度設定手段を有することを特徴とする請求項６または７に記載の監視システム。
9. ネットワークを介して接続されたサーバ装置から送信されるデジタル映像を閲覧可能に構成され、上記ネットワークに接続して上記デジタル映像を直ちに閲覧可能な使用状態と、上記ネットワークへの接続を待機する接続待機状態の２つを有する監視装置を用いた監視方法であって、
   上記接続待機状態時に上記サーバ装置から監視物体の状態遷移発生情報を受信する状態遷移発生情報受信工程と、
   上記状態遷移発生情報受信工程によって上記状態遷移発生情報を受信した場合には、上記接続待機状態から上記使用状態に変化した際に、上記ネットワークを介して上記サーバ装置に接続するサーバ通信工程と、
   上記サーバ通信工程により接続されたサーバ装置からデジタル映像を取得するデジタル映像取得工程と、
   上記デジタル映像取得工程により取得されたデジタル映像をディスプレー装置に表示するデジタル映像表示工程とを有することを特徴とする監視方法。
10. 上記デジタル映像取得工程は、上記接続待機状態時に上記サーバ装置から受信した複数の監視物体の状態遷移発生情報に対応するデジタル映像を、上記接続待機状態から上記使用状態に変化した際に、時間系列もしくは優先度に応じて上記サーバ装置から取得し、
    上記デジタル映像表示工程は、上記デジタル映像取得工程が取得したデジタル映像をディスプレー装置に順次表示することを特徴とする請求項９に記載の監視方法。
11. 上記デジタル映像取得工程は、サブディスプレー装置に表示されていた状態遷移発生情報に対応するデジタル映像を、上記接続待機状態から上記使用状態に変更された際に上記サーバ装置から取得し、
    上記デジタル映像表示工程は、上記デジタル映像取得工程において取得した上記デジタル映像をメインディスプレー装置に表示することを特徴とする請求項１０に記載の監視方法。
12. ネットワークを介して接続されたサーバ装置から送信されるデジタル映像を閲覧可能に構成され、上記ネットワークに接続して上記デジタル映像を直ちに閲覧可能な使用状態と、上記ネットワークへの接続を待機する接続待機状態の２つを有する監視装置を用いた監視方法をコンピュータに実行させるプログラムであって、
    上記接続待機状態時に上記サーバ装置から監視物体の状態遷移発生情報を受信する状態遷移発生情報受信工程と、
    上記状態遷移発生情報受信工程によって上記状態遷移発生情報を受信した場合には、上記接続待機状態から上記使用状態に変化した際に、上記ネットワークを介して上記サーバ装置に接続するサーバ通信工程と、
    上記サーバ通信工程により接続されたサーバ装置からデジタル映像を取得するデジタル映像取得工程と、
    上記デジタル映像取得工程により取得されたデジタル映像をディスプレー装置に表示するデジタル映像表示工程とをコンピュータに実行させることを特徴とするコンピュータプログラム。
13. 上記請求項１２に記載のコンピュータプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。

Images