[第1の実施形態]
以下、図面を参照して、本発明の第1の実施形態について詳細に説明する。
図1は、本発明の実施形態におけるネットワークカメラシステムの概略構成を示す構成図である。
ネットワークカメラシステム100は、監視対象を撮影するためのネットワークカメラ102、異なるネットワーク間を接続するためのルータ104を備えており、ネットワーク106を介して、各々通信可能なように接続されている。
これらのネットワークカメラ102は、単独で構成を取る形態であっても、複数の構成を取る形態であっても良く、更に、ネットワークカメラ102及びルータ104からなるこれらのネットワークカメラ群は、ネットワークカメラシステム100において、単独で構成を取る形態であっても、複数の構成を取る形態であっても良い。
ネットワークカメラシステム100は、ネットワークカメラ102において撮影された画像データを記憶管理する画像処理サーバ108、画像処理サーバ108において記憶管理された画像データを参照、あるいは画像処理サーバ108を介さずに、ネットワークカメラ102において撮影された画像データを直接参照するための携帯端末110を備えている。
ネットワークカメラ102は、ルータ104及びネットワーク114を介して画像処理サーバ108と接続されており、ネットワークカメラ102において撮影された画像データが、HTTP、FTP、SMTP、あるいはRTP等のプロトコルを用いて、ルータ104及びネットワーク114を介して、画像処理サーバ108へ送信され、画像処理サーバ108は、当該画像データを記憶する。
本発明におけるネットワークカメラシステムでは、TCP/IPプロトコルで通信を行っており、各ネットワークカメラ102には、固定のIPアドレスが独自に割り当てられると共に、ネットワーク群毎に割り当てられた外部ポート番号が割り当てられている。
従って、画像処理サーバ108では、受信した画像データが何れのネットワークカメラ102から送信されたものなのかを識別することが可能であり、受信した画像データと何れのネットワークカメラ102から送信されたものなのかを対応づけて記憶管理することが可能である。
携帯端末110は、無線通信回線であるネットワーク116、インターネット、及びネットワーク114を介して、ネットワークカメラ102及び画像処理サーバ108と接続されており、携帯端末110は、Webブラウザを用いて、画像処理サーバ108に記憶管理された画像データの参照を行う保存画像再生表示、あるいは画像処理サーバ108を介さず、ネットワークカメラ102において撮影された画像データを直接参照するLIVE画像表示の何れかの表示方法を選択することが可能である。
次に図2を用いて、画像処理サーバ108のハードウェアの概略構成を説明する。
CPU201は、システムバス204に接続される各デバイスやコントローラを統括的に制御する。
また、ROM202あるいは外部メモリ211には、CPU201の制御プログラムであるBIOS(Basic Input / Output System)やオペレーティングシステムプログラム(以下、OS)や、画像処理サーバ108の実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。RAM203は、CPU201の主メモリ、ワークエリア等として機能する。
CPU201は、処理の実行に際して必要なプログラム等をRAM203にロードして、プログラムを実行することで各種動作を実現するものである。
また、入力コントローラ(入力C)205は、入力部209としてのキーボードや不図示のマウス等のポインティングデバイスからの入力を制御する。
ビデオコントローラ(VC)206は、表示部210としてのCRTディスプレイ(CRT)等の表示器への表示を制御する。表示器はCRTだけでなく、液晶ディスプレイでも構わない。これらは必要に応じて管理者が使用するものである。本発明には直接関係があるものではない。
メモリコントローラ(MC)207は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスク(HD)やフロッピーディスク(登録商標 FD)或いはPCMCIAカードスロットにアダプタを介して接続されるコンパクトフラッシュ(登録商標)メモリ等の外部メモリ211へのアクセスを制御する。
通信I/Fコントローラ(通信I/FC)208は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、TCP/IPを用いたインターネット通信等が可能である。
なお、CPU201は、例えばRAM203内の表示情報用領域へアウトラインフォントの展開(ラスタライズ)処理を実行することにより、表示部210上での表示を可能としている。また、CPU201は、表示部210上の不図示のマウスカーソル等でのユーザ指示を可能とする。
本発明を実現するためのプログラムは、外部メモリ211に記録されており、必要に応じてRAM203にロードされることによりCPU201によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイル及び各種情報テーブルは、外部メモリ211に格納されており、これらについての詳細な説明は後述する。
尚、携帯端末110のハードウェアの構成は、画像処理サーバ108のハードウェア構成と、ほぼ同様であるため、説明は省略し、以降、同一の符号を用いて本願発明の説明を行うが、表示部210は、タッチスクリーンで形成されており、ユーザが表示部210に触れる(フリック操作を行う)ことで、携帯端末110に対して指示入力を行うことが可能である。
図3は、ネットワークカメラ102のハードウェアの構成を示す構成図である。
CPU301は、システムバス304に接続される各デバイスやコントローラを統括的に制御する。
また、ROM302あるいは外部メモリ305には、CPU301の制御プログラムであるBIOS(Basic Input / Output System)やオペレーティングシステムプログラム(以下、OS)や、画像処理サーバ108の実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。RAM303は、CPU301の主メモリ、ワークエリア等として機能する。
CPU301は、処理の実行に際して必要なプログラム等をRAM303にロードして、プログラムを実行することで各種動作を実現するものである。
メモリコントローラ(MC)306は、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ、画像データ等を記憶するハードディスク(HD)やPCMCIAカードスロットにアダプタを介して接続されるコンパクトフラッシュメモリやスマートメディア(登録商標)等の外部メモリ305へのアクセスを制御する。
カメラ部307は、画像処理部308と接続されており、監視対象に対して向けられたレンズを透過して得られた光をCCDやCMOS等の受光セルによって光電変換を行った後、RGB信号や補色信号を画像処理部308に対して出力する。
画像処理部308は、RGB信号や捕色信号に基づいて、ホワイトバランス調整、ガンマ処理、シャープネス処理を行い、更に、YC信号処理を施して輝度信号Yとクロマ信号(以下、YC信号)を生成し、YC信号を所定の圧縮形式(例えばJPEGフォーマット、あるいはMotionJPEGフォーマット等)で圧縮し、この圧縮されたデータは、画像データとして外部メモリ305へ一時保管される。
通信I/Fコントローラ(通信I/FC)309は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行しており、外部メモリ305に記憶された画像データは、通信I/Fコントローラ309によって外部機器へ送信される。
図4には、ネットワークカメラシステムを利用する際に、ログイン情報を入力するためのログイン画面の構成を示す構成図であり、携帯端末の表示部210に表示される。
ログイン画面400は、ユーザを一意に識別するためのユーザIDを入力するための欄を示すログインID欄402、ログイン時の認証に要するパスワードを入力するための欄を示すパスワード欄404、ユーザがログインを行う際に押下されるためのログインボタン406を備えている。
ユーザは、ログイン画面400を用いて、自身のユーザID及びパスワードをログインID欄402及びパスワード欄404に対して入力部209を用いて入力した後、ログインボタン406を表示部210を介して押下することで、ユーザID及びパスワードを用いて、画像処理サーバ108に対して、ネットワークカメラシステム100の利用許可について認証を行う。
図5には、ネットワークカメラにおいて撮影されて得られた画像データを携帯端末でLIVE画像表示を行うか、あるいは、当該画像データを、一度、画像処理サーバへ記憶した後、携帯端末で、保存画像再生表示を行うか、を選択することが可能なメニュー画面の構成を示しており、携帯端末の表示部210に表示される。
メニュー画面500は、ユーザがLIVE画像表示を行う際に押下するためのLIVE画像表示ボタン502、保存画像再生表示を行う際に押下するための保存画像再生表示ボタン504、ネットワークカメラシステム100を終了させるために押下するためのログアウトボタン506を備えている。
ユーザが、LIVE画像表示ボタン502を、表示部210を介して押下すると、LIVE画像を表示するためのLIVE表示画面600が表示され、画像処理サーバ108において、表示対象となるネットワークカメラ102を特定した後、特定されたネットワークカメラ102と直接通信を行い、撮影された画像データの表示を開始する。
また、ユーザが保存画像再生表示ボタン504を表示部210を介して押下すると、保存画像を表示するために、まず、画像処理サーバ108に予め登録されているネットワークカメラ102から、表示を行いたいネットワークカメラ102を特定し、特定したネットワークカメラ102で撮影された画像データを表示する。
図6には、LIVE画像表示を行うためのLIVE画像表示画面の構成が示されており、携帯端末の表示部210に表示される。
LIVE画像表示画面600は、画像処理サーバ108を介さずに、ネットワークカメラ102において撮影された画像データを表示する領域を備えており、1度に複数のネットワークカメラ102で撮影された画像データを表示することも可能である。
本発明の実施形態では、4つのネットワークカメラ102にて撮影された画像データを一度に参照する形態を取っており、LIVE画像表示画面600が、4分割表示され、其々、LIVE画像表示画面600の左中央に位置するセンター画面602、LIVE画像表示画面600の右下に位置するサイド1画面604、サイド2画面606、及びサイド3画面608が備えられている。
これら4つの分割画面の各位置については、ユーザがログインして、LIVE画像表示画面600を起動すると、当該ユーザ毎に分割画面の何れの位置に何れのネットワークカメラ102で撮影された画像データを表示するか、に関する情報が画像処理サーバ108に予め登録されているので、当情報を用いて、各分割画面にネットワークカメラ102で撮影された画像データを表示する。
例えば、画像処理サーバ108には、参照対象とするネットワークカメラ102のIPアドレスと何れの分割画面に表示するのか、といったLIVE画像表示画面600における分割画面の位置情報を対応づけて記憶させておき、携帯端末110から画像処理サーバ108へIPアドレス及び位置情報を含む情報を要求した後、携帯端末110がこの情報を受け取ると、IPアドレスから特定されるネットワークカメラ102と通信を開始する。
そして、ネットワークカメラ102において撮影された画像データを受信して、画像処理サーバ108より取得したLIVE画像表示画面600における各分割画面に関する位置情報を基に、当該IPアドレスを用いて受信がなされた画像データを何れかの分割画面に表示する。
LIVE画像表示画面600には、分割画面の位置を入れ替えるためのボタンが備えられており、反時計回りに表示位置を入れ替えるボタン610、及び時計回りに表示位置を入れ替えるボタン612を備えている。
ユーザが、ボタン610を1度押下すると、センター画面602に表示されていたネットワークカメラ102の画像データが、サイド3画面608へ表示され、サイド3画面608に表示されていたネットワークカメラ102の画像データが、サイド2画面606に表示され、サイド2画面606に表示されていたネットワークカメラ102の画像データが、サイド1画面604へ表示され、サイド1画面604に表示されていたネットワークカメラ102の画像データが、センター画面602に表示される。
ユーザが、ボタン612を1度押下すると、ボタン610を押下した場合とは、反時計回りに、ネットワークカメラ102で撮影された画像データの表示位置を移動させる。
また、表示部210に対するフリック操作等によって、センター画面602と各サイド画面であるサイド1画面604、サイド2画面606、及びサイド3画面608とを入れ替えることが可能であり、入れ替え対象となるサイド画面からセンター画面602に向けて、ドラック&ドロップ機能を適用させて、入れ替えを行うことも可能であり、逆に、センター画面602から何れかのサイド画面に向けて、ドラック&ドロップ機能を適用させて、入れ替えを行うことも可能である。
また、LIVE画像表示画面600は、メニュー画面500へ画面遷移を行うためのメニューボタン614を備えており、ユーザが、メニューボタン614を、表示部210を介して押下すると、LIVE画像表示画面600を閉じて、メニュー画面500を起動する。
更に、LIVE画像表示画面600は、センター画面602に新たなネットワークカメラ102にて撮影された画像データを表示した場合、つまり、LIVE画像表示画面600を起動した場合、あるいは、センター画面602と各サイド画面とを入れ替えた場合、何れのネットワークカメラ102に関しての画像データであるのかを識別表示するために名称情報616を表示することが可能である。
名称情報616としては、ネットワークカメラ102が撮影している対象物の名称や位置でも良く、ネットワークカメラ102の名称でも良く、特にこれらに限定されるものではない。
名称情報616は、ネットワークカメラ102を識別する情報(拠点ID)に対応して画像処理サーバ108に記憶されており、LIVE画像表示画面600を起動した際に、IPアドレスや分割画面への表示位置情報と対応させて、携帯端末110が取得して、一時的にRAM203等の記憶領域へ記憶しておく。
名称情報616は、透過性のPNG(Portable Network Graphics)や透過性のGIF(Graphic Interchange Format)等の画像形式で生成された画像データであり、センター画面602に表示されるJPEG形式の画像データに対して重ねあわせて表示することで、LIVE画像表示された画像データが何れのネットワークカメラ102で撮影されたのかを、ユーザは、容易に識別することが可能となる。
通常であれば、JPEG形式で生成された画像データに名称情報616を組込んで、携帯端末110へ表示することが考えられる。例えば、ネットワークカメラ102で撮影された画像データに対して余白の領域を設定し、この領域へ名称情報を組込んだり、あるいは、当該画像データの左上や右上等の端に直接組込む形態も取ることが可能である。
しかしながら、携帯端末110の表示部210は、表示領域が狭いため、ユーザの視認性を考慮すると、極力、ネットワークカメラ102で撮影された画像データを大きく表示する必要があり、余白を設定することは極力回避し、更に。撮影された画像データに直接組込むことを行うと、当該撮影された画像データの可視領域が狭くなり、ユーザにとっては、視認性が劣るという問題が生じてしまう。
そこで、本発明では、名称情報616を所定時間表示した後、センター画面602から消去することで、ユーザへの視認性を高める形態を取っている。更に、このような形態を取ることによって、ネットワークカメラ102で画像データを生成する際に、名称情報616を画像データへ組込む処理を、各ネットワークカメラ102に実装する必要がなくなるため、開発コストを抑えることが可能となるという効果も奏する。
図7には、保存画像再生表示を行う際に、何れのネットワークカメラにて撮影された画像データであるのかを特定するために、まず、グループを選択するが、その際に利用するグループ選択画面の構成を示している。尚、グループ選択画面は、携帯端末の表示部210に表示される。
ここでいうグループとは、ユーザにとって関連性のある撮影対象をグループ化しておくことで、後程、撮影した画像データが必要となった時に特定しやすくなるため、関連性のある監視対象を撮影するネットワークカメラ102をグループ化している。
例えば、駅等のように、撮影対象が1地点であっても、その周辺の交差点、ビル、公園前、会社の入り口等を監視対象としたい場合、其々に対して、ネットワークカメラ102を設置する必要性があるような場合、AAA駅周辺というグループ名に対して、AAA交差点、○○ビル、○○公園前、○○入口等に設置されたネットワークカメラ102が所属するように名称情報を、ユーザ情報に対応して登録しておくことが可能である。尚、AAA交差点、○○ビル、○○公園前、及び○○入口は、名称情報616と同様である。
これらのグループ名、及び名称情報は、画像処理サーバ108へ予め記憶しており、携帯端末110において、グループ選択画面700が起動されると、ログインしたユーザ情報を用いて、グループ名を画像処理サーバ108から取得し、グループ名702へ表示する。
ユーザは、グループ名702に表示されたグループから、再生表示を所望するグループを選択するため、表示部210に対するフリック操作によって、グループ名702を選択すると、選択されたグループに所属するネットワークカメラ102に対応する名称情報を画像処理サーバ108から取得すると共に、図8に示すカメラ選択画面800が表示される。
また、グループ選択画面700は、メニュー画面500へ画面遷移を行うためのメニューボタン704を備えており、ユーザが、表示部210に対するフリック操作によって、メニューボタン704を押下すると、グループ選択画面700を閉じて、メニュー画面500を起動する。
図8に示すカメラ選択画面は、再生表示を所望するネットワークカメラを選択するための画面であり、携帯端末の表示部に表示される。
カメラ選択画面800は、グループ選択画面700において選択されたグループに所属するネットワークカメラ102の名称情報を表示するためのカメラ名802を備えており、ユーザは、再生表示を所望するネットワークカメラ102を、表示部210に対するフリック操作によって、カメラ名802に表示されたネットワークカメラ102を選択する。
ユーザは、カメラ名802に表示されたネットワークカメラ102を選択すると、当該ネットワークカメラ102で撮影した画像データの一覧を画像処理サーバ108より取得すると共に、図9に示す保存画像選択画面900を表示する。
また、カメラ選択画面800は、メニュー画面500へ画面遷移を行うためのメニューボタン804を備えており、ユーザが、表示部210に対するフリック操作によって、メニューボタン804を押下すると、カメラ選択画面800を閉じて、メニュー画面500を起動する。
更に、カメラ選択画面800は、グループ選択画面700へ画面遷移を行うための戻るボタン806を備えており、ユーザが、表示部210に対するフリック操作によって、戻るボタン806を押下すると、カメラ選択画面800を閉じて、グループ選択画面700を起動する。
図9に示す保存画像選択画面は、再生表示を所望する画像データを選択するための画面であり、携帯端末の表示部210に表示される。
保存履歴選択画面900は、カメラ選択画面800において選択されたネットワークカメラ102において撮影された画像データの保存履歴の一覧を表示する画像一覧902を備えており、画像一覧902には、撮影を行った日付/時間、撮影を行った回数等が表示されている。
本発明では、所定の時間に於いて、ネットワークカメラ102の監視対象にイベントが発生した際に、撮影を行っている。例えば、・・・・9時、11時、12時、・・・・等のように所定の時間を定めておき、9時から11時の間、11時から12時の間・・・・等のように、これらの時間において発生したイベントの数だけ、所定時間(例えば、5分間等)、撮影を行って得られた画像データを画像処理サーバ108へ記憶している。
例えば、図9の画像一覧902の最上段から2レコード目で言えば、所定の時間を・・・・9時、11時、12時としておき、11時から12時の間に、4回イベントが発生し、各イベントが発生してから5分間、4回撮影を行ったことを示している。
ユーザは、画像一覧902に表示された保存履歴のなかから、マウス等のユーザインタフェースを用いて、再生表示を所望する保存履歴を選択すると、選択した保存履歴に対応する画像データを画像処理サーバ108より取得すると共に、図10に示す画像データ選択画面1000を表示する。
また、保存履歴選択画面900は、メニュー画面500へ画面遷移を行うためのメニューボタン904を備えており、ユーザが、表示部210に対するフリック操作によって、メニューボタン904を押下すると、保存履歴選択画面900を閉じて、メニュー画面500を起動する。
更に、保存履歴選択画面900は、カメラ選択画面800へ画面遷移を行うための戻るボタン906を備えており、ユーザが、表示部210に対するフリック操作によって、戻るボタン906を押下すると、保存履歴選択画面900を閉じて、カメラ選択画面800を起動する。
図10に示す画像データ選択画面1000は、イベント発生毎に撮影された画像データが一覧表示され、ユーザは、その一覧から、再生表示を所望する画像データを選択するための画面であり、携帯端末の表示部210に表示される。
画像データ選択画面1000は、保存履歴選択画面900において選択された保存履歴に該当する画像データを表示する画像データ一覧1002を備えており、画像データ一覧1002は、選択された保存履歴に該当する画像データが、イベント発生毎に、当該イベント発生日時とイベント発生時の画像データとを表示している。
ユーザは、画像データ一覧1002に表示された画像データのうち再生表示を所望する画像データに対して、表示部210に対するフリック操作によって、選択を行うと、選択を行った画像データに該当する画像データを画像処理サーバ108より取得し、図11に示す画像再生画面1100を起動する。
また、画像データ選択画面1000は、メニュー画面500へ画面遷移を行うためのメニューボタン1004を備えており、ユーザが、表示部210に対するフリック操作によって、メニューボタン1004を押下すると、画像データ選択画面1000を閉じて、メニュー画面500を起動する。
更に、画像データ選択画面1000は、保存履歴選択画面900へ画面遷移を行うための戻るボタン1006を備えており、ユーザが、表示部210に対するフリック操作によって、戻るボタン1006を押下すると、画像データ選択画面1000を閉じて、保存履歴選択画面900を起動する。
図11に示す画像再生画面1100は、ユーザが再生表示を所望する画像データを選択するための画面であり、携帯端末の表示部210に表示される。
画像再生画面1100は、画像データ選択画面1000に於いて選択された画像データに該当する画像データを表示する再生表示部1102を備えており、ユーザが選択した画像データに該当する画像データを画像処理サーバ108から取得し、再生表示部1102へ表示を行うことで、再生を可能としている。
この再生表示部1102は、LIVE画像表示画面600と同様に、画像データを表示する際に、当該画像―データを撮影した対象が明示されるように、ネットワークカメラ102が撮影している監視の対象物の名称や位置、ネットワークカメラ102の名称等の名称情報が示される透過性のPNGやGIF等の画像形式の名称画像データを、再生対象とする画像データ(JPEGやMotionJPEG等の画像形式)に対して重ねて表示を行う。
JPEGやMotionJPEG等の画像形式から形成される画像データに対して名称情報を組込まずに、透過性のPNGやGIF等の画像形式を用いている理由は、前述した通りである。
画像再生画面1100においても、LIVE画像表示画面600と同様に、名称情報1104を所定時間表示した後、再生表示部1102から消去することで、ユーザへの視認性を高める形態を取っている。更に、このような形態を取ることによって、ネットワークカメラ102で画像データを生成する際に、名称情報1104を組込む処理を、各ネットワークカメラ102に実装する必要がなくなるため、開発コストを抑えることが可能となるという効果も奏する。
画像再生画面1100では、画像データの再生を指示するための再生ボタン1106、再生の早送りを指示するための早送りボタン1108、再生や早送りを停止するための停止ボタン1110、画像データ選択画面1000へ戻り、次の画像データを選択することが煩わしいため、再生表示部1102に表示された画像データの前の画像データを選択する前ボタン1112、後の画像データを選択するための後ボタン1114を備えている。
また、画像再生画面1100は、メニュー画面500へ画面遷移を行うためのメニューボタン1016を備えており、ユーザが、表示部210に対するフリック操作によって、メニューボタン1016を押下すると、画像再生画面1100を閉じて、メニュー画面500を起動する。
更に、画像再生画面1100は、画像データ選択画面1000へ画面遷移を行うための戻るボタン1018を備えており、ユーザが、表示部210に対するフリック操作によって、戻るボタン1018を押下すると、画像再生画面1100を閉じて、画像データ選択画面1000を起動する。
図12は、画像処理サーバに記憶管理された各テーブルの構成を示す構成図である。各テーブルは、外部メモリ211に備えられており、何れのテーブルも不図示の画面から入力を行って、本テーブルへ各データを登録することが可能である。
ユーザグループマスタは、前述したように、ユーザにとって関連性のある撮影対象となるネットワークカメラ102をグループ化した際に、登録される情報を記憶するテーブルであり、ユーザを一意に識別するためのユーザID、ユーザが指定したグループを一意に識別するためのグループID、グループIDに対応するグループ名から構成されている。
グループ拠点マスタは、前述したように、グループに所属するネットワークカメラ102に関する情報を記憶するテーブルであり、グループID、グループに所属するネットワークカメラ102を一意に識別するための拠点ID、拠点IDに対応する名称(名称情報)から構成されている。
拠点情報マスタは、前述したように、本発明では、ネットワークカメラ102と携帯端末110とが通信を行う際にIPアドレスを用いて通信を行うため、通信時に利用する各ネットワークカメラ102に対するIPアドレスの情報を記憶するテーブルであり、拠点IDとIPアドレス(ポート番号を含む)とから構成されている。
表示位置マスタは、前述したよう、LIVE画像表示画面600が、複数のネットワークカメラ102にて撮影された画像データを一度に参照する形態を取る場合、LIVE画像表示画面600の起動時、当該ユーザ毎に分割画面の何れの位置に何れのネットワークカメラ102で撮影された画像データを表示するのかを示す表示位置情報を記憶するテーブルである。
表示位置マスタは、ユーザID、携帯端末110についての画像データの表示位置情報、及び表示位置に対して何れのネットワークカメラ102で撮影した画像データを表示するのかを特定するための拠点IDから構成されている。
拠点名画像マスタは、ネットワークカメラ102をユーザにとって識別し易いように名付けられた名称情報を含む透過性のPNGやGIF等の画像形式の画像データ(名称画像データ)を記憶するテーブルであり、拠点IDと名称画像データとから構成される。
画像保存マスタは、ネットワークカメラ102で撮影された画像データを記憶管理するためのテーブルであり、拠点IDと画像データの保管先を示す画像保存情報とから構成されている。
保管先としては、ネットワークカメラ102にて撮影を行う時間毎にフォルダを生成しており、この時間内に於いて発生したイベントの数だけ、撮影して得られた画像データを当該フォルダに記憶しており、画像保存情報は、フォルダ配下に記憶された、撮影して得られた画像データに対するパス情報を示している。
次に、図13は、本発明の実施形態に係るネットワークカメラシステムにおける画像データを携帯端末で監視する処理を示すフローチャートである。ステップS100からステップS104、ステップS112からステップS122における各処理は、携帯端末のCPU201の制御の下、処理が実行され、ステップS106からステップS110における各処理は、画像処理サーバのCPU201の制御の下、処理が実行される。
ステップS100では、ユーザがネットワークカメラシステム100にログインするために、携帯端末110を用いて、ログイン画面400を起動し、次のステップS102では、ログインボタン406が押下されたことを検知した場合、ログイン画面400に入力されたログインID及びパスワードを含むユーザ情報を取得する。
ステップS104では、ステップS102において取得したユーザ情報を、ネットワーク112を介して、インターネット及びネットワーク114を経由して、画像処理サーバ108へ送信し、ステップS106では、ステップS104において送信されたユーザ情報を受信する。
ステップS108では、ステップS106において受信したユーザ情報を用いて、ログインしたユーザが、ネットワークカメラシステム100を、利用可能か否かを判定する。判定の一例として、外部メモリ211にネットワークカメラシステム100が利用可能なユーザのユーザIDとパスワードを不図示のテーブルへ予め記憶させておき、携帯端末110で入力されたユーザ情報と当該テーブルに記憶したユーザIDとパスワードとが、存在する場合は、認証OKとし、存在しない場合は、認証NGとする。
ステップS110では、ステップS108における認証結果を携帯端末110へ送信し、ステップS112では、ステップS110において送信された認証結果を受信し、ステップS114では、ステップS112において受信した認証結果を用いて、認証がOK、あるいは、認証がNGであるのか否かを判定する。
認証がOKであれば、ステップS116に処理を進め、認証がNGであれば、ステップS100へ処理を進める。
ステップS116では、メニュー画面500を起動し、ステップS118では、LIVE画像表示を行うのか、あるいは保存画像を再生表示するのかを判定するため、LIVE画像表示ボタン502が押下されたことを検知した場合、ステップS120へ処理を進め、保存画像再生表示ボタン504が押下されたと検知した場合、ステップS122へ処理を進める。
ステップS120では、LIVE画像表示に関する処理を行うが、詳細は、図14を用いて説明する。
ステップS122では、保存画像再生表示に関する処理を行うが、詳細は、図15及び図16を用いて説明する。
次に図14は、本発明の実施形態に係るネットワークカメラシステムに於いて。LIVE画像表示に関する処理の内容を示すフローチャートである。ステップS200、ステップS212からステップS234における各処理は、携帯端末110のCPU201の制御の下、処理が実行され、ステップS202からステップS210における各処理は、画像処理サーバ108のCPU201の制御の下、処理が実行される。
ステップS200では、携帯端末110のセンター画面602、サイド1画面604、サイド2画面606、及びサイド3画面608の何れかの分割画面にネットワークカメラ102にて撮影した画像データを表示するための表示位置情報の要求を、画像処理サーバ108へ行う。尚、ユーザ毎に表示位置を予め設定しておくことが可能であるため、本ステップでは、ステップS102で取得したユーザ情報のユーザIDを含めて要求を行う。
ステップS202では、ステップS200においてなされた表示位置情報の要求を受付、ステップS204では、携帯端末110のセンター画面602、サイド1画面604、サイド2画面606、及びサイド3画面608の何れかの分割画面にネットワークカメラ102にて撮影した画像データを表示するための表示位置情報を取得するため、ステップS202で受付けたユーザIDに該当する表示位置情報と拠点IDとを表示位置マスタから取得する。
そして、ステップS206では、携帯端末110が、各ネットワークカメラ102と通信を行う際に利用するIPアドレスを、ステップS204において表示位置マスタから取得した拠点IDに対応するIPアドレスを拠点情報マスタから取得する。
ステップS208では、LIVE画像表示画面600に何れのネットワークカメラ102で撮影されたのかを識別表示するための名称情報616を取得するため、ステップS202で取得した拠点IDに対応する名称画像データを拠点名画像マスタより取得する。
ステップS210では、ステップS204、ステップS206、及びステップS208で取得した表示位置情報、IPアドレス、及び名称画像データを携帯端末110へ送信し、ステップS212では、ステップS210において送信された表示位置情報、IPアドレス、及び名称画像データを受信する。
ステップS214では、LIVE画像表示画面600を表示し、ステップS216では、ステップS212において受信した表示位置情報を用いて、LIVE画像表示画面600の各分割画面に対して何れのネットワークカメラ102から得られた画像データを表示するのかを設定する。
ステップS218では、ステップS212で受信したIPアドレスを用いて、通信対象となるネットワークカメラ102を特定し、ステップS220では、ステップS218で特定したネットワークカメラ102と通信を行い、撮影された画像データを受信したか否かを判定し、画像データを受信したと判定した場合は、ステップS222へ進める。
尚、本ステップでは、複数のネットワークカメラ102から画像データを受信する必要がある場合は、全てのネットワークカメラ102から画像データを受信した際に、ステップS222へ処理を進めても良いし、一部のネットワークカメラ102から画像データを受信した際に、ステップS222へ処理を進めても良い。
但し、一部のネットワークカメラ102から画像データを受信した際に、ステップS22へ処理を進める場合は、少なくともセンター画面602に対する画像データを受信した場合、ステップS222へ処理を進め、センター画面602に対する画像データを受信せず他のサイド画面に対する画像データを受信した場合、ステップS228へ処理を進める。
ステップS222では、ステップS220で受信した画像データを、ステップS216で設定された表示位置を用いて、LIVE画像表示画面600へ表示する。以降、各分割画面と拠点IDとを対応付けて記憶しておくことで、各分割画面に対して何れかのネットワークカメラ102において撮影された画像データの表示を行い続ける。
以降、ステップS228において入れ替えが発生した場合も同様に、ネットワークカメラ102において撮影された画像データを表示し続ける。
この際、LIVE画像表示画面600のセンター画面602には、受信した画像データ(JPEGやMotionJPEG等の画像形式)とステップS212で受信した名称画像データ(透過性のPNGやGIF等の画像形式)とを重ねて表示する。
ステップS224では、所定時間(例えば、3秒等)経過したか否かを判定し、所定時間経過したと判定した場合、ステップS226へ処理を進め、ステップS226では、センター画面602に表示された名称画像データを削除する。所定時間経過後、名称画像データを削除する理由としては、前述した通り、撮影された画像データに対するユーザの視認性を高めるためである。
ステップS228では、LIVE画像表示画面600の各分割画面が入れ替えられたか否かを判定する。この判定は、前述した通り、ボタン610及びボタン612が押下された場合、あるいは、ドラック&ドロップ機能を用いて分割画面の入れ替えを検知した場合、入れ替えが発生したと判定し、ステップS230へ処理を進め、入れ替えが発生したと判定しない場合、ステップS232へ処理を進める。
ステップS230では、ステップS212で設定した分割画面の表示位置を、入れ替え先の表示位置に置き換えることで、ネットワークカメラ102にて撮影された画像データの表示位置を入れ替えて、ステップS232へ処理を進める。
ステップS232では、入れ替えが発生したのがセンター画面602であるのか否かを判定する。この判定例としては、入れ替え先の表示位置がセンター画面602に該当するか否かで判定が行われ、入れ替えが発生したのがセンター画面602であると判定した場合は、ステップS222へ処理を進め、入れ替えが発生したのがセンター画面602であると判定しない場合は、ステップS228へ処理を進める。
ステップS232では、ネットワークカメラシステム100に対してログアウトの指示がなされたか否かを判定する。当判定は、例えば、ユーザがLIVE画像表示画面600のメニューボタン614を押下してメニュー画面500を表示した後、メニュー画面500のログアウトボタン506が押下されたか否かを判定する形態でも良いし、LIVE画像表示画面600を閉じる指示がなされたことを検知したか否かを判定する形態でも良い。
ログアウトの指示がなされたと判定した場合は、処理を終了し、ログアウトの指示がなされたと判定しない場合は、ステップS228へ処理を進める。
次に、図15及び図16には、本発明の実施形態に係る保存画像を再生表示する処理を示すフローチャートであり、ステップS300、ステップS308からステップS318、ステップS326からステップS336、ステップS344からステップS354、ステップS364からステップS384における各処理は、携帯端末110のCPU201の制御の下、処理が実行され、ステップS302からステップS306、ステップS320からステップS324、ステップS338からステップS342、ステップS356からステップS362における各処理は、画像処理サーバ108のCPU201の制御の下、処理が実行される。
ステップS300では、ユーザが予め登録していた自身のグループ情報の要求を画像処理サーバ108へ要求する。その際には、ステップS102で取得したユーザIDを含めて要求を行う。
ステップS302では、ステップS300で要求されたグループ情報の要求を受付、次のステップS304では、ステップS302で受付けたグループ情報の要求に含まれるユーザIDに対応するグループ名をユーザグループマスタから、グループID及びグループ名を含むグループ情報として全て取得する。
ステップS306では、ステップS304において取得したグループ情報を携帯端末110へ送信し、ステップS308では、ステップS306において送信されたグループ情報を受信する。
ステップS310では、グループ選択画面700を表示し、ステップS312では、ステップS308において受信したグループ情報のグループ名をグループ選択画面700のグループ名702へ表示する。
ステップS314では、グループ選択画面700のグループ名702に表示されたグループ名のうち、何れか1つのグループ名が選択されたか否かを判定し、選択されたと判定した場合は、ステップS316へ処理を進める。
ステップS316では、選択されたグループ名及びグループIDを含むグループ情報を取得し、ステップS318では、ステップS316で取得したグループに所属するネットワークカメラ102に関するカメラ情報を画像処理サーバ108へ要求する。この際、当該グループ情報を画像処理サーバ108へ送信する。
ステップS320では、ステップS318においてなされたカメラ情報の要求を受付、ステップS322では、ステップS320において受付けたカメラ情報の要求、つまりグループ情報のグループIDに対応する拠点ID及び拠点名をグループ拠点マスタから取得することで、グループに所属するネットワークカメラ102を特定することが可能である。
ステップS324では、ステップS322で取得した拠点ID及び拠点名をカメラ情報として携帯端末110へ送信し、ステップS326では、ステップS324において送信されたカメラ情報を受信する。
ステップS328では、カメラ選択画面800を表示し、ステップS330では、カメラ選択画面800のカメラ名802にステップS326において受信したカメラ情報のうち名称情報(拠点名)をカメラ名802に表示する。
ステップS332では、カメラ名802に表示された名称情報のうち何れか1つの名称情報が選択されたか否かを判定し、選択されたと判定した場合は、ステップS334へ処理を進める。
ステップS334では、ステップS332において選択された拠点ID及び名称情報をカメラ情報として取得し、ステップS336では、ステップS332において選択されたネットワークカメラ102で撮影された画像データの保存履歴を要求する。この際、当該カメラ情報を画像処理サーバ108へ送信する。
ステップS338では、ステップS336において送信された画像データの保存履歴の要求を受付、ステップS340では、ステップS338で受付けた画像データの保存履歴、つまりカメラ情報の拠点IDに対応する画像保存情報を画像保存マスタから取得する。
ステップS342では、ステップS340において取得した画像保存情報を送信し、ステップS344では、ステップS342において送信された画像保存情報を受信する。
ステップS346では、保存履歴選択画面900を表示し、ステップS348では、ステップS344で受信した画像保存情報から、画像保存情報の数及び画像保存情報のパス情報から何時の時間帯に撮影を行ったのかについての情報を抽出して、保存履歴選択画面900の画像一覧902に当該情報を表示する。
ステップS350では、画像一覧902から保存履歴が選択されたか否かを判定し、選択されたと判定した場合は、ステップS352へ処理を進め、ステップS352では、ステップS350において選択された保存履歴の画像保存情報を取得し、ステップS354では、保存された画像データのうち、再生を所望する画像データの要求を行う。この際、当該画像保存情報、及びステップS334で取得したカメラ情報の拠点IDを画像処理サーバ108へ送信する。
ステップS356では、ステップS354において行われた保存画像データの要求を受付、ステップS358では、ステップS356において受付けた保存画像データの要求、つまり画像保存情報から特定される保存画像データ(JPEGやMotionJPEG等の画像形式)を取得し、ステップS360では、ステップS356において受付けた保存画像データの要求、つまり拠点IDに対応する名称画像データ(透過性のPNGやGIF等の画像形式)を拠点名画像マスタから取得する。
ステップS362では、ステップS358及びステップS360で取得した保存画像データ及び名称画像データを携帯端末110へ送信し、ステップS364では、ステップS362において送信された保存画像データ及び名称画像データを受信する。
ステップS366では、画像データ選択画面1000を表示し、ステップS368では、画像データ選択画面1000の画像データ一覧1002にステップS364において受信した保存画像データを受信した数分、表示する。
ステップS370では、画像データ一覧1002に表示された保存画像データが選択されたか否かを判定し、選択されたと判定した場合は、ステップS372へ処理を進め、ステップS372では、画像再生画面1100を表示する。
ステップS374では、ステップS370において選択された保存画像データに対してステップS362で受信した名称画像データ(名称情報1104)を重ねて画像再生画面1100の再生表示部1102に表示する。
ステップS376では、保存画像データの再生を開始し、ステップS378では、再生が開始してから所定時間経過(例えば、3秒)したか否かを判定し、経過したと判定した場合、ステップS380へ処理を進め、ステップS380では、名称画像データ(名称情報1104)を削除し、ステップS382では、再生が終了したか否か、つまり前ボタン1112や後ボタン1114が押下されずに、停止ボタン1110や再生時間が終了したと判定した場合、ステップS384へ処理を進め、前ボタン1112や後ボタン1114が押下された場合は、ステップS374へ処理を進める。
ステップS384では、戻るボタン1116が押下されたか否かを判定し、押下されたと判定した場合は、ステップS350へ処理を進め、押下されたと判定しない場合は、処理を終了する。
[第2の実施形態]
本発明の第2の実施形態では、基本的に第1の実施形態と同一の構成を有するため、第1の実施形態と異なる部分のみを説明し、第1の実施形態と同一の構成等については、同一の符号を用いて説明する。
本発明の第2の実施形態では、第1の実施形態では、所定時間(例えば、3秒)経過後、LIVE画像表示画面600のセンター画面602、及び画像再生画面1100の再生表示部1102に表示された名称画像データ(名称情報616、1104)を削除していたが、ユーザによっては、ネットワークカメラ102によって撮影された画像に注視している際に、何れのネットワークカメラ102によって撮影されたのかを忘れてしまうといった問題が存在する。
このような問題に対処するために、名称画像データ(名称情報616、1104)が、LIVE画像表示画面600のセンター画面602、及び画像再生画面1100の再生表示部1102に表示されている際に、ユーザがセンター画面602及び再生表示部1102に対して操作を行うことで、名称画像データ(名称情報616、1104)を残すことが可能である。
従って、図14のステップS222の後のステップ、あるいは図16のステップS376の後のステップに、センター画面602、あるいは再生表示部1102に対して、ユーザからの指示入力があった場合は、図14のステップS226、あるいはステップS380における名称画像データの削除処理を行わないように制御することが可能である。
尚、ユーザからの指示入力の例としては、センター画面602、あるいは再生表示部1102に対して、名称画像データが表示された状態で、1回、フリック操作を検知した場合、名称画像データを残すものとして処理を行うことが可能である。
名称画像データを残す際に、名称画像データは、センター画面602、あるいは再生表示部1102に表示された位置にそのまま残すことも可能であるが、図17の名称情報618に示すように左上端に移動させることで、ユーザにとって、画像データに対する視認性を高めることが可能であり、更に、名称画像データの大きさを圧縮して表示することでも、更に、視認性を上げることが可能である。
この場合、名称画像データの移動先の位置は、プログラムへ予め定められた所定の位置を定義しておき、移動させる形態が考えられ、更に、圧縮比についてもセンター画面602、あるいは再生表示部1102の大きさに応じて、プログラムへ予め定義しておく形態が考えられる。
また、この場合、名称画像データが表示された状態で、指示入力として、1回、フリック操作を検知して、名称画像データの圧縮も兼ねて移動させることも可能であるが、元々、表示された位置に残す、圧縮も兼ねて移動させる、両ケースを、1回、フリック操作を検知した後、不図示のリストから選択する形態も取ることが可能である。
更に、LIVE画像表示画面600においては、センター画面602からサイド1画面604、サイド2画面606、及びサイド3画面608と入れ替えが可能であるが、各サイド画面に表示された画像データが何れのネットワークカメラ102で表示された画面であるのかを判断しにくいため、一度、センター画面602から各サイド画面に入れ替えた後、入れ替えたサイド画面をセンター画面602に戻して参照したい場合には、ユーザは、各サイド画面から選出することに難色を示す問題が生じる。
例えば、似たようなレイアウトを示す監視対象が複数存在する場合、Aという場所からBという場所へ人や物等が進行する際に、Aという場所とBという場所を交互に監視する必要性が生じるため、4分割した画面から、Aについて撮影された画像データが表示された分割画面とBについて撮影された画像データが表示された分割画面とが識別可能なようにすることが必要である。
そこで、センター画面602において名称画像データを残すように指示入力を行った場合で、センター画面602から各サイド画面へ入れ替えを行う場合は、センター画面602の大きさに対する名称画像データの大きさの比を、そのままの比率で、画像データ及び名称画像データを圧縮することで、図18に示す名称情報620に示すように入れ替え先のサイド画面に表示しても良い。
この場合、図14に示すステップS232の後で、名称画像データを残すように指示入力が行われたか否かを検知し、指示入力が行われた場合は、入れ替え先のサイド画面には、センター画面602の大きさに対する名称画像データの大きさの比を、そのままの比率で、画像データ及び名称画像データを圧縮して、表示する。尚、指示入力が行われたか否かを判定するには、入力が行われたことを示すフラグをRAM203へ記憶することによって判定が可能である。
また、各サイド画面において名称画像データの大きさが小さくなることで、ユーザの視認性が悪くなる場合は、センター画面602とサイド画面を入れ替える際に、センター画面602の大きさに対する名称画像データの大きさの比を、大きな比率とすることによって、画像データ及び名称画像データを圧縮することで、図18の名称情報622に示すように名称画像データを大きく表示し、ユーザの画像データに対する視認性を高めることも可能である。この場合、圧縮する際の比率については、大きさの比については、予めプログラムへ定義しておく対応を取ることが可能である。
また、この場合、指示入力として、名称画像データが表示された状態で、1回、フリック操作を検知して、圧縮する比率を大きな比率に置き換えて、画像データ及び名称画像データを圧縮させて表示することも可能であるが、圧縮する比率を、そのままの比率とするのか、あるいは大きな比率とするのか、両ケースを、1回、フリック操作を検知した後、不図示のリストから選択する形態も取ることが可能である。
この場合も、図14に示すステップS232の後で、名称画像データを残すように指示入力が行われたか否かを検知し、指示入力が行われた場合は、入れ替え先のサイド画面には、センター画面602の大きさに対する名称画像データの大きさの比を、大きな比率で置き換え、画像データ及び名称画像データを圧縮して、表示する。尚、指示入力が行われたか否かを判定するには、入力が行われたことを示すフラグをRAM203へ記憶することによって判定が可能である。
また、サイド画面において画像データを参照しながら名称情報を確認したい場合は、名称情報を左端上に表示することが可能であり、図18の名称情報624へ名称画像データを表示することも可能であり、センター画面602に対する名称画像データの大きさの比を、そのままの比率で、画像データ及び名称画像データを圧縮することも可能であるし、センター画面602に対する名称画像データの大きさの比を、小さい比率とすることで、画像データ及び名称画像データを圧縮することも可能である。この場合も、名称画像データの移動先の位置及び圧縮する際の比率については、予めプログラムへ定義しておく対応を取ることが可能である。
また、この場合、指示入力として、名称画像データを表示した状態で、1回、フリック操作を検知して、そのままの比率で、あるいは小さい比率で、名称画像データの圧縮も兼ねて移動させることも可能であるが、元々、表示された位置に残す、圧縮も兼ねて移動させる、両ケースを、1回、フリック操作を検知した後、不図示のリストから選択する形態も取ることが可能である。
また、1回フリック操作を検知した後、圧縮率をそのままの比率で、あるいは小さい比率で行うのかを選択する形態も取ることが可能である。
この場合も、図14に示すステップS232の後で、名称画像データを残すように指示入力が行われたか否かを検知し、指示入力が行われた場合は、入れ替え先のサイド画面には、センター画面602の大きさに対する名称画像データの大きさの比を、そのままの比率、あるいは小さい比率で置き換え、画像データ及び名称画像データを圧縮して、移動表示する。尚、指示入力が行われたか否かを判定するには、入力が行われたことを示すフラグをRAM203へ記憶することによって判定が可能である。
尚、センター画面602からサイド画面に入れ替えるタイミングで、センター画面602において名称画像データを残すように指示入力を行った場合、名称画像データを削除する形態も取ることが可能であるし、センター画面602に名称画像データが残された状態で、フリック操作を検知すると、名称画像データを削除する形態も取ることが可能である。
更に、LIVE画像表示画面600の初期起動時に、ステップS222では、全ての分割画面に名称画像データを表示することも可能であり、その場合、フリック操作によって全ての各分割画面に表示された名称画像データを削除することも可能であるし、フリック操作を検知後、名称画像データを残すことを所望する分割画面を不図示のリストから選択し、それ以外の分割画面の名称画像データを削除する形態も取ることが可能である。
以上、本発明に依れば、ネットワークカメラから撮影された画像データを携帯端末等で参照する場合、監視対象を画像データへ識別表示することが可能となるので、ユーザは、何れの監視対象を参照しているかを、容易に識別することが可能である。
また、本発明におけるプログラムは、各処理方法をコンピュータが実行可能(読取可能)なプログラムであり、本発明の記憶媒体は、各処理方法をコンピュータが実行可能なプログラムが記憶されている。
なお、本発明におけるプログラムは、各装置の処理方法ごとのプログラムであってもよい。
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムを読取り実行することによっても、本発明の目的が達成されることは言うまでもない。
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク,ハードディスク,光ディスク,光磁気ディスク,CD−ROM,CD−R,DVD−ROM,磁気テープ,不揮発性のメモリカード,ROM,EEPROM,シリコンディスク等を用いることができる。
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータで稼働しているOS等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
また、本発明は、携帯端末を備えたシステムに関して説明をしたが、携帯端末に限らずパーソナルコンピュータ等の情報処理装置に適用しても良く、この場合、携帯端末よりも表示領域が大きくなるが、1つの画面を数多くの画面に分割した場合、ユーザにとっての画像データの視認性が悪くなることが想定されるための、そのような状況にも好適な効果を得ることが可能となる。
この場合、携帯端末の場合、フリック操作によって、指示入力の検知を行っていたが、マウス等のユーザインタフェースを用いて、表示されている名称画像データにカーソルを当てて特定することで、特定された名称画像データに対して、残す、削除、移動、圧縮等の処理を行うことが可能である。
また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ,データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステム、あるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。