JP2010288032A - 監視拠点装置及びこれを備えている監視システム - Google Patents

Abstract

【課題】記憶した監視拠点の画像データと音声データとのうち、一方のデータのみを容易に外部に提供することができると共に、一旦、記憶した画像データと音声データとを同期させて再生できるようにする。
【解決手段】監視拠点の画像データ及び音声データをリアルタイムに再生しながら、以下の処理を行う。最初の画像データの取得時刻ｔ1から、その後の各画像データの取得時刻ｔ2，ｔ3，…までの各時間を受信時間Ｔ2，Ｔ3，…として把握しつつ、各画像データを画像ファイル１１１に順次格納する。また、画像ファイル１１１中の各画像データの先頭アドレスと各受信時間Ｔ2，Ｔ3，…とを関連付けて、時間ファイル１１２に順次格納する。さらに、時刻ｔ1以降に取得した音声データを順次音声ファイル１１３に格納する。
【選択図】図３

Description

本発明は、監視拠点で撮像された画像及び集音された音声のデータを再生しつつ記憶する監視局装置、及びこれを備えている監視システムに関する。

通常、監視システムでは、監視拠点を撮像すると共に監視拠点の音を集音している。また、監視システムでは、監視拠点で異常が発生した場合、これを後から検証するために、さらに、警察等から異常時の状況を示すデータ提出が求められたときのために、撮像で得た画像データ及び集音で得た音声データを記憶している。

従来、このような監視システムとしては、以下の特許文献１に記載されているシステムがある。この監視システムでは、カメラで得た画像データ及びマイクで得た音声データをミキシングした後、ミキシングデータを監視局に送り、監視局で、このミキシングデータを再生しつつ記憶している。

特開２００４−４８６３６号公報

上記特許文献１に記載の技術では、警察等から異常時の状況を示すデータ提供が求められた場合、画像データと音声データとがミキシングされたミキシングデータを警察等へ提供することになる。

ところで、警察等へ提供するデータは、画像データのみでよい場合や、音声データのみでよい場合がある。また、プライバシーの観点から、画像データ又は音声データの提供を避けたい場合もある。このような場合、特許文献１に記載の技術では、仮に、ミキシングデータから画像データと音声データとのうちの一方のみを取り出す場合には、ミキシングデータ中から一方のデータを識別してから、この一方のデータを取り出すという処理が必要なり、一方のデータのみを取り出すことは、面倒で且つ困難である。さらに、警察等へ提供するデータは、事件等の証拠として採用される可能性があるため、上述のように、記憶したデータを加工してから警察等へ提出することは、その証拠能力を失うおそれがあるため、好ましくない。すなわち、上記特許文献１に記載の技術では、記憶した画像データと音声データとのうち、一方のデータを外部に提供することが極めて困難であるという問題点がある。

そこで、上記特許文献１に記載の技術において、カメラで得た画像データ及びマイクで得た音声データをミキシングせずに、監視局に送り、監視局で、各データを別々に記憶する方法が考えられる。この方法を採用すれば、容易に、画像データと音声データとのうち、一方のデータのみを外部に出力することができるものの、一旦、記憶した画像データと音声データとを同期させて再生することができないという問題点がある。

そこで、本発明は、このような問題点に着目し、記憶した画像データと音声データとのうち、一方のデータのみを容易に外部に提供することができると共に、一旦、記憶した画像データと音声データとを同期させて再生させることができる技術を提供することを目的とする。

前記問題点を解決するための監視局装置に係る発明は、
１以上の監視拠点装置からリアルタイムに順次送信される、１画面分の画像データを含む画像データパケット、及び音声データを含む音声データパケットを受信し、該画像データ及び該音声データを再生しつつ記憶する監視局装置において、
前記監視拠点装置からの前記画像データパケット及び前記音声データパケットを順次受信し、各パケットからデータを取り出す通信手段と、
前記通信手段により、前記画像データパケットから取り出された１画面分の前記画像データを順次取得し、該通信手段が順次受信した画像データパケットのうち最初の画像データパケット中の画像データを取得した時刻から、その後に順次取得した各画像データの取得時刻までの各時間を受信時間として把握する受信時間把握手段と、
前記通信手段が受信した前記画像データパケット中の画像データが格納される画像データ記憶手段と、
前記通信手段が受信した前記音声データパケット中の音声データが格納される音声データ記憶手段と、
前記受信時間把握手段に把握された前記受信時間が格納される時間記憶手段と、
前記通信手段により、順次、前記画像データパケットから取り出された１画面分の前記画像データを、前記画像データ記憶手段に順次格納すると共に、該画像データ記憶手段に格納した該１画面分の画像データの前記受信時間と、該画像データ記憶手段中における該１画面分の画像データの先頭アドレスとを関連付けて、前記時間記憶手段を格納し、該通信手段により、順次、前記音声データパケットから取り出された音声データを前記音声データ記憶手段に順次格納する記憶制御手段と、
前記通信手段により、前記画像データパケットから取り出された前記画像データを復号化する画像復号化手段と、
前記画像復号化手段により復号化された前記画像データを表示する表示手段と、
前記通信手段により、前記音声データパケットから取り出された前記音声データを復号化する音声復号化手段と、
前記音声復号化手段により復号化された音声データを出力する音声出力手段と、
を有することを特徴とする。

ここで、前記監視局装置は、
前記画像復号化手段により復号化された前記画像データの、前記表示手段により表示タイミングを制御する表示制御手段と、
前記画像データ記憶手段に格納されている前記画像データ及び前記音声データ記憶手段に格納されている前記音声データの再生を指示する画像・音声再生指示手段と、
を有し、
前記画像・音声再生指示手段により、前記時間記憶手段に記憶されている複数の受信時間のうちの一の受信時間である指定時間に対応する画像データ以降の画像データ、及び該指定時間に対応する音声データ以降の音声データの再生が指示されると、前記記憶制御手段は、該時間記憶手段から該指定時間に関連付けられている前記先頭アドレス、該指定時間以降の前記受信時間及び該受信時間に関連付けられている前記先頭アドレスを順次読み出し、順次読み出された該先頭アドレスが示す前記画像データ記憶手段中の前記１画面分の画像データを順次読み出して、前記画像復号化手段に該画像データを復号化させると共に、前記音声データ記憶手段に最初に格納された音声データの先頭から該指定時間分の音声データ量分の位置を先頭として、該指定時間と次の受信時間との差時間分の音声データを読み出し、さらに、該次の受信時間と該次の時間のさらに次の受信時間との差時間分の音声データを順次読み出して、前記音声復号化手段に該音声データを復号化させ、
前記表示制御手段は、前記画像復号化手段により復号化された前記画像データを、画像・音声再生指示手段により再生指示された時点から前記指定時間と該画像データに関する受信時間との差時間分経過した時点で、該画像データを前記表示手段に表示させる、
ことが好ましい。

また、以上の監視局装置は、
データを外部に提供するデータ提供手段と、
前記画像データ記憶手段に記憶されている画像データと、前記音声データ記憶手段に記憶されている音声データとのうちの任意の一方の提供、及び両方の提供を指定する出力指定手段と、
を有し、
前記記憶制御手段は、前記出力指定手段により、前記画像データのみの提供が指定されると、前記画像データ記憶手段及び前記時間記憶手段に記憶されているデータを読み出して、該データを前記データ提供手段に渡し、前記出力指定手段により、前記画像データ及び前記音声データの提供が指定されると、前記画像データ記憶手段、前記時間記憶手段及び前記音声データ記憶手段に記憶されているデータを読み出して、該データを前記データ提供手段に渡し、前記出力指定手段により、前記音声データのみの提供が指定されると、前記音声データ記憶手段に記憶されているデータを読み出して、該データを前記データ提供手段に渡す、
ことが好ましい。

また、前記問題点を解決するための監視システムに係る発明は、
以上のいずれかの監視局装置と、
前記１以上の監視拠点装置と、
を備え、
前記１以上の監視拠点装置は、それぞれ、
所定周期で監視拠点を順次撮像する撮像手段と、
前記撮像手段により、所定周期で順次撮像された１画面分の画像データを順次符号化する画像符号化手段と、
監視拠点の音を集音する集音手段と、
前記集音手段により集音された音声データを、順次、所定のデータ量分ずつ符号化する音声符号化手段と、
前記画像符号化手段で順次符号化された画像データをパケット化して、前記監視局装置へ送信すると共に、前記音声符号化手段で順次符号化された音声データをパケット化して、該監視局装置へ送信する通信手段と、
を有する、
ことを特徴とする。

本発明では、監視拠点で撮像された画像及び集音された音声のデータを再生しつつ、画像データと音声データとを別々に記憶するので、一旦記憶した画像データと音声データとのうち、一方のみでも、容易に外部に提供することができる。また、本発明では、最初の画像データを取得した時刻から、その後に順次取得した各画像データの取得時刻までの各時間を受信時間として、各画像データと関連付けて時間記憶手段に記憶するので、一旦記憶した画像データ及び音声データを外部に提供する場合には、この受信時間も併せて外部に提供することで、提供先では、この受信時間により、画像データと音声データとを同期させて再生することができる。しかも、各画像データの再生タイミングを各画像データの受信時間で管理することで、画像データ中に動画用の画像データと静止画用の画像データとが混在している場合でも、各画像データを支障なく再生することができる。

本発明に係る一実施形態における監視システムの構成図である。 本発明に係る一実施形態における画像データパケット及び音声データパケットのデータ構成を示す説明図である。 本発明に係る一実施形態における画像データ及び音声データの記憶方法を示す説明図である。 本発明に係る一実施形態における画像データ及び音声データの再生方法を示す説明図である。 本発明に係る一実施形態における画像データ及び音声データの再生タイミングを示す説明図である。

以下、本発明に係る監視システム実施形態について、図面を用いて説明する。

本実施形態の監視システムは、図１に示すように、監視拠点に設置される監視拠点装置２００と、監視局に設置される監視局装置１００と、を備えている。

監視拠点装置２００は、監視局装置１００とＩＰ網Ｎを介して通信する通信部２０１と、監視拠点の音を集音するマイク２３３と、監視拠点を撮像するカメラ２３４と、音声を出力するスピーカー２３５と、マイク２３３で得られた音声データを符号化する音声符号化部２０３と、カメラ２３４で得られた画像データを符号化する画像符号化部２０４と、監視局装置１００から送られたきた音声データを復号化してスピーカ２３５に出力する音声復号化部２０５と、これらの動作を制御する制御部２２０と、を備えている。

通信部２０１は、画像データ及び音声データをパケット化して監視局装置１００へ送信すると共に、監視局装置１００からの音声データパケット及び制御メッセージパケットを受信して、これらのパケット内からデータを取り出す。この通信部２０１は、ＩＰ網Ｎでのゆらぎを吸収するための受信バッファと、監視局装置１００へ音声データパケットを送信するためのポートと、監視局装置１００へ画像データパケットを送信するポートと、監視局装置１００からの音声データパケットを受信するためのポートと、監視局装置１００からの制御メッセージパケットを受信するためのポートと、を有している。

なお、この監視拠点装置２００の音声符号化部２０３、画像符号化部２０４、音声復号化部２０５、制御部２２０は、プロセッサと、このプロセッサが実行するプログラムが格納されているメモリとを有して構成されている。また、通信部２０１は、通信インタフェース回路と、プロセッサと、このプロセッサが実行するプログラムが格納されているメモリとを有して構成されている。

監視局装置１００は、監視拠点装置２００とＩＰ網Ｎを介して通信する通信部１０１と、通信部１０１で受信したパケット内のデータを解析する解析部１０２と、音声を出力するスピーカ１３３と、画像データを表示するディスプレイ１３４と、音声を集音するマイク１３５と、音声データを復号化してスピーカ１３３に出力する音声復号化部１０３と、画像データを復号化する画像復号化部１０４と、マイク１３５で得られた音声データを符号化する音声符号化部１０５と、各種データを記憶する記憶装置１１０と、記憶装置１１０へのデータ記憶及び記憶装置１１０からのデータ読出しの制御を行う記憶制御部１２１と、画像データの表示タイミング等を制御する表示制御部１２２と、以上の各部を統合的に制御する主制御部１２０と、可搬記憶媒体Ｄへのデータ記憶及び可搬記憶媒体Ｄからのデータ読出しを行う記憶/再生装置１４０と、各種操作指示を行うための制御スイッチ１４５と、を有している。

通信部１０１は、監視拠点装置２００からの音声データパケット及び画像データパケットを受信して、こららのパケット内からデータを取り出すと共に、音声データ及び制御メッセージをパケット化して監視拠点装置２００へ送信する。この通信部１０１は、ＩＰ網Ｎでのゆらぎを吸収するための受信バッファと、監視局拠点装置２００からの音声データパケットを受信するためのポートと、監視拠点装置２００からの画像データパケットを受信するためのポートと、監視拠点装置２００へ音声データパケットを送信するためのポートと、監視拠点装置２００へ制御メッセージパケットを送信するためのポートと、を有している。

解析部（受信時間把握手段）１０２は、通信部１０１により、画像データパケットから取り出された１画面分の画像データを順次取得し、通信部１０１が順次受信した画像データパケットのうち最初の画像データパケット中の画像データを取得した時刻から、その後に順次取得した各画像データの取得時刻までの各時間を受信時間として把握する。

記憶装置１１０は、画像データを格納する画像ファイル１１１と、画像データの受信時間を格納する時間ファイル１１２と、音声データを格納する音声ファイル１１３と、を有している。

制御スイッチ１４５としては、監視拠点装置２００の起動・停止を指示する起動指示スイッチ、監視拠点装置２００で動画用の画像データ取得中に静止画用の画像データの取得を指示する静止画取得スイッチ、記憶装置１１０に記憶されている音声データのみの再生を指示する音声再生スイッチ、記憶装置１１０に記憶されている画像データのみの再生を指示する画像再生スイッチ、記憶装置１１０に記憶されている画像データ及び音声データの再生を指示する画像・音声再生スイッチ（画像・音声再生指示手段）、記憶装置１１０に記憶されているデータを記憶/再生装置１４０に装着された可搬記憶媒体Ｄに記憶させる記憶スイッチ等がある。

この監視局装置１００の解析部１０２、音声復号化部１０３、画像復号化部１０４、音声復号化部１０５、主制御部１２０、記憶制御部１２１、表示制御部１２２は、いずれも、プロセッサと、このプロセッサが実行するプログラムが格納されているハードディスクドライブ装置等の記憶装置とを有して構成されている。また、通信部１０１は、通信インタフェース回路と、プロセッサと、このプロセッサが実行するプログラムが格納されているハードディスクドライブ装置等の記憶装置とを有して構成されている。

次に、本実施形態の監視システムの動作について説明する。

監視局装置１００の制御スイッチ１４５の起動指示スイッチが操作されると、主制御部１２０は、起動指示メッセージを作成し、これを通信部１０１に渡す。通信部１０１は、この起動指示メッセージをパケット化して、監視拠点装置２００へ送る。

監視拠点装置２００の通信部２０１が監視局装置１００からの起動指示メッセージを受信すると、制御部２２０は、マイク２３３、カメラ２３４、スピーカ２３５、音声符号化部２０３、画像符号化部２０４、音声復号化部２０５を起動させる。これにより、監視拠点装置２００による監視拠点の監視が開始される。

なお、ここで、監視局装置１００の制御スイッチ１４５の操作により、監視拠点装置２００による監視拠点の監視を開始させているが、例えば、監視局装置１００に起動停止タイマを設けて、このタイマが所定の時刻になると、起動指示メッセージを監視拠点装置２００へ送信して、監視拠点の監視を開始させるようにしてもよいし、監視拠点装置２００に起動停止タイマを設けて、このタイマが所定の時刻になると、監視拠点の監視を開始させるようにしてもよい。

カメラ２３４は、起動すると、例えば、100ms毎の画像データを取得し、これを画像符号化部２０４に渡す。画像符号化部２０４は、この画像データに対して、例えば、Ｈ.２６１等に準拠した動画用の画像符号化処理を施し、これを通信部２０１に渡す。通信部２０１は、符号化された画像データをＩＰパケットに収めて、監視局装置１００へ送信する。

また、マイク２３３は、起動すると、音声データを取得し、これを音声符号化部２０３に渡す。音声符号化部２０３は、マイク２３３から送られてくる音声データを、例えば、２０ms毎の音声データに分割して、分割後の音声データを符号化し、これを通信部２０１に渡す。通信部２０１は、符号化された音声データをＩＰパケットに収めて、監視局装置１００へ送信する。

ここで、図２を用いて、監視局装置１００へ送られる画像データのＩＰパケット、及び音声データのＩＰパケットのデータ構成について説明する。

画像データのＩＰパケット１０は、送信先等が格納されているＩＰヘッダ１１と、ペイロードとを有している。このペイロードに、１画面分の画像データ１２が格納されている。この画像データ１２は、前述したように、Ｈ.２６１等に準拠した動画用の画像符号化処理が施されたもので、画像開始を示す符号であるＰＳＣ（Picture Start Code）１３と、画面のフレーム番号であるＴＲ（Temporal Reference）１４と、画像タイプを示すＰＴＹＰＥ（Picture Type Information）１５と、画像データ本体１６と、を有している。

音声データのＩＰパケット２０も、送信先等が格納されているＩＰヘッダ２１と、ペイロードとを有している。このペイロードに、ＲＴＰ（Real-time Transport Protocol）パケット２２が格納されている。このＲＴＰパケット２２は、ＲＴＰヘッダ２３と、ＲＴＰペイロード２４とを有している。ＲＴＰペイロード２４には、符号化された２０ms分の音声データが格納されている。

監視拠点装置２００から送信された画像データのＩＰパケット及び音声データのＩＰパケットは、監視局装置１００の通信部１０１で受信され、ここで、各パケットから画像データ、音声データが取り出される。

通信部１０１で取り出された２０ms分の音声データは、解析部１０２を介して、音声復号化部１０３に送られて、ここで復号化され、スピーカから出力させると共に、解析部１０２を介して、記憶制御部１２１に送られて、記憶装置１１０の音声ファイル１１３に格納される。

また、通信部１０１で取り出された１画面分の画像データは、解析部１０２を介して、画像復号化部１０４に送られて、ここで、Ｈ.２６１等に準拠した動画用の画像復号化処理が施されて、ディスプレイ１３４に表示されると共に、解析部１０２を介して、記憶制御部１２１に送られて、記憶装置１１０の画像ファイル１１１に格納される。

解析部１０２は、通信部１０１から１画面分の画像データが順次送られてくると、これを解析して、この画像データに、図２に示す、ＰＳＣ１３、ＴＲ１４、ＰＴＹＰＥ１５、画像データ本体１６等が含まれている否かを判断し、最初に、これらが全て含まれていると判断した画像データの取得時刻を受信開始時刻ｔ1として把握する。このため、図３に示す画像データ１０ａのように、ＰＳＣ１３等を含まない画像データを取得しても、この画像データ１０ａは正当な画像データでないため、この取得時刻を受信開始時刻ｔ1としない。なお、図３に示す画像データ中で、黒塗り部分がＰＳＣ１３で、斜線部分がＴＲ１４で、白地部分が画像データ本体１６である。

次に、解析部１０２は、図３に示すように、受信開始時刻ｔ1から、受信開始時刻ｔ1以降に取得した画像データの取得時刻ｔ1，ｔ2，ｔ3，…までの時間を受信時間Ｔ1，Ｔ2，Ｔ3，…として把握する。そして、解析部１０２は、受信開始時刻ｔ1以降の各画像データと各画像データの受信時間とを関連付けて記憶制御部１２１に送ると共に、受信開始時刻ｔ1以降に取得した音声データを記憶制御部１２１に送る。なお、受信時間Ｔ1は、0（＝受信開始時刻ｔ1−取得時刻ｔ1）である。

記憶制御部１２１は、解析部１０２から画像データを受け取ると、これを画像ファイル１１１に格納すると共に、画像ファイル１１１中のこの画像データの先頭アドレス１１２ａと、この画像データに関連付けられている受信時間１１２ｂとを関連付けて、時間ファイル１１２に格納する。

この結果、時間ファイル１１２には、例えば、第一画像データに対して、先頭アドレス「ａｂｃｄ」、受信時間「０(０)」、第二画像データに対して、先頭アドレス「ａｂｃｅ」、受信時間「１９５(１９５)」、第三画像データに対して、先頭アドレス「ａｂｃｆ」、受信時間「２９４(９９)」、第四画像データに対して、先頭アドレス「ａｂｃ１」、受信時間「２９９（５）」、第五画像データに対して、先頭アドレス「ａｂｃ２」、受信時間「４９７（１９８）」、第六画像データに対して、先頭アドレス「ａｂｃ３」、受信時間「５９４（９７）」、第七画像データに対して、先頭アドレス「ａｂｃ４」、受信時間「６００（６）」、第八画像データに対して、先頭アドレス「ａｂｃ５」、受信時間「１６１２（１０１２）」、…が格納される。なお、時間の単位は、「ｍｓ」で、（ ）内の数値は、該当受信時間と先の受信時間との差時間（＝該当取得時刻と先の取得時刻との差）を示す。

ここで、第一画像データから第六画像データ、及び第八画像データ以降の画像データは、動画用の画像データであり、第七画像データは、静止画用の画像データである。

この静止画用の第七画像データは、監視局装置１００の制御スイッチ１４５のうちで、静止画取得スイッチを操作することで、得られる。この静止画取得スイッチが操作されると、主制御部１２０は、静止画取得メッセージを作成し、これを通信部１０１に渡す。通信部１０１は、この静止画取得メッセージをパケット化して、監視拠点装置２００へ送る。監視拠点装置２００の通信部２０１が監視局装置１００からの静止画取得示メッセージを受信すると、制御部２２０は、カメラ２３４及び画像符号化部２０４に、静止画モードの信号を送り、これらを静止画モードにする。

カメラ２３４は、動画モードのときには、例えば、ピクチャタイプとして、ＣＩＦ（Common Intermediate Format）に対応した解像度（352×288）で撮像するが、静止画モードのときには、例えば、動画モードのときより高い解像度（704×480）で撮像する。また、画像符号化部２０４は、静止画モードのときには、静止画用の符号化処理を行い、例えば、ＪＰＥＧ（Joint Photographic Experts Group）に準拠した処理を行う。

該当受信時間と先の受信時間との差時間（＝該当取得時刻と先の取得時刻との差）は、基本的に、画像データのデータ量に依存する。このため、図３に示すように、データ量の多い第七画像データ（静止画）の取得時刻から、次の第八画像データ（動画）の取得時刻までの差時間「1012ms」（＝第八画像データの受信時間（1612）−第七画像データの受信時間（600））は、他の差時間よりも長くなる。

また、動画の場合、該当画面の画像と前画面の画像との差分データが、該当画面の画像データになるため、画像データ相互の差時間は、該当画面の画像と前画面の画像との差分データ量に応じて変わる。但し、第一画像データの取得時刻ｔ1から第四画像データの取得時刻ｔ4までの時間（299ms）と、第四画像データの取得時刻ｔ4から第七画像データの取得時刻ｔ7までの時間（301ms＝600−299）は、いずれも、ほぼ300msである。言い換えると、三つの画面分の画像データの取得開始から取得完了までの時間は、ほぼ300msである。この時間は、監視拠点装置２００のカメラ２３４が三つの画面分の画像データの取得開始から取得完了までの時間と、ほぼ一致する。

このように、監視拠点装置２００のカメラ２３４による所定数の画面分の画像データの取得開始から取得完了までの時間と、監視局装置１００の解析部１０２による所定数の画面分の画像データの取得開始から取得完了までの時間とが、ほぼ一致するのは、監視拠点装置２００で画像データを圧縮して、効率よく、この画像データを送ったとしても、カメラ２３４が所定の周期（100ms）で、画像データを取得している以上、監視局装置１００の解析部１０２での各画像データの取得時刻の間隔が、カメラ２３４による画像取得周期（100ms）に制限されるからである。

監視者が監視局装置１００のディスプレイ１３４を見ている最中に、例えば、監視拠点に不審者が進入してきた場合には、制御スイッチ１４５を操作して、マイク１３５を起動し、マイク１３５に、不審者に対して警告等のメッセージを入力する。このメッセージは、通信部１０１から監視拠点装置２００へ送られ、監視拠点装置２００のスピーカ２３５から出力させる。

監視者が監視拠点装置２００による監視拠点の監視を終了させるため、監視局装置１００の制御スイッチ１４５の起動指示スイッチを再度操作すると、監視局装置１００の主制御部１２０は、終了指示メッセージを作成し、これを通信部１０１に渡す。通信部１０１は、この終了指示メッセージをパケット化して、監視拠点装置２００へ送る。監視拠点装置２００の通信部２０１が監視局装置１００からの終了指示メッセージを受信すると、制御部２２０は、マイク２３３、カメラ２３４、スピーカ２３５、音声符号化部２０３、画像符号化部２０４、音声復号化部２０５を停止させる。これにより、監視拠点装置２００による監視拠点の監視が終了する。なお、拠点監視の終了も、拠点監視の開始と同様、タイマ等を用いて、監視を終了させるようにしてもよい。

以上が、監視システムにおける監視拠点の監視時の主要動作である。

次に、監視局装置１００の記憶装置１１０に記憶されたデータの再生時の動作について説明する。

まず、監視局装置１００の記憶装置１１０に記憶された画像データ及び音声データの再生時の動作について説明する。

監視者が、制御スイッチ１４５を操作して、時間ファイル１１２に格納されている受信時間のうち、いずれか一の受信時間（以下、指定時間）を指定し、これ以降の画像データ及び音声データの再生を指示すると、主制御部１２０がこの指示を受け付けて、この指示を記憶制御部１２１に伝える。

記憶制御部１２１は、図４に示すように、まず、時間ファイル１１２に格納されている指定時間と同じ受信時間及びこの受信時間に関連付けられている先頭アドレスを読み込む（Ｓ１０）。ここで、指定時間を第四画像データの受信時間「299」とすると、記憶制御部１２１は、この受信時間に関連付けられている先頭アドレス「ａｂｄ１」を読み込む。

次に、記憶制御部１２１は、ステップ１０で読み込んだ先頭アドレスが示す画像ファイル１１１中の位置に格納されている１画面分の画像データを読み込み（Ｓ１１）、この画像データを画像復号化部１０４に復号化させる（Ｓ１２）。具体的には、ステップ１０で読み込んだ先頭アドレスが「ａｂｄ１」の場合、画像ファイル１１１中でアドレスが「ａｂｄ１」の位置に格納されている第四画像データを読み込み、これを画像復号化部１０４に復号化させる。

続いて、表示制御部１２２は、最初に再生される画像データの再生開始時点から、指定時間と該当画像データの受信時間との差時間分経過するまで待ち（Ｓ１３）、差時間経過した時点で、画像復号化部１０４により復号化された画像データをディスプレイ１３４に表示させる（Ｓ１４）。具体的に、この場合、指定時間「299」と第四画像データの受信時間「299」とは同じであるから、両差の差時間は「0」である。また、この場合、最初に再生される画像データがこの第四画像データである。このため、表示制御部１２２は、画像復号化部１０４から復号化された第四画像データを受け取ると、この第四画像データを直ちにディスプレイ１３４に表示させる。

次に、記憶制御部１２１は、時間ファイル１１２に格納されている指定時間の次の受信時間「497」及びこの受信時間「497」に関連付けられている先頭アドレス「ａｂｃ２」を読み込む（Ｓ１５）。続いて、記憶制御部１２１は、画像ファイル１１１中でアドレスが「ａｂｄ２」の位置に格納されている第五画像データを読み込み（Ｓ１１）、これを画像復号化部１０４に復号化させる（Ｓ１２）。そして、表示制御部１２２は、最初に再生した画像データ（第四画像データ）の再生開始時点から、指定時間「299」と第五画像データの受信時間「497」との差時間分「198」経過するまで待ち（Ｓ１３）、差時間経過した時点で、画像復号化部１０４により復号化された第五画像データをディスプレイ１３４に表示させる（Ｓ１５）。

以降、動画の第六画像データ、静止画の第七画像データ、静止画の第八画像データも、以上のステップ１１〜１５の処理を繰り返すことで、ディスプレイ１３４に表示される。

また、記憶制御部１２１は、前述のステップ１０の処理と並行して、時間ファイル１１２から指定時間及び指定時間の次の受信時間を読み込む（Ｓ２０）。具体的に、指定時間を第四画像データの受信時間「299」とすると、記憶制御部１２１は、この指定時間「299」と次の受信時間「497」を読み込む。

次に。記憶制御部１２１は、音声ファイル１１３に最初に格納した音声データの先頭アドレスから、指定時間に対応する再生データ量分ズレたアドレスを読込先頭アドレスとする。具体的に、記憶制御部１２１は、音声ファイル１１３に最初に格納した音声データの先頭アドレスから、指定時間「299」に対応する再生データ量分ズレたアドレスを読込先頭アドレス１１３ａとする。これにより、最初に再生される画像データと同期した音声データの先頭アドレスを特定することができる。

そして、記憶制御部１２１は、音声ファイル１１３中の読込先頭アドレスから、指定時間と次の受信時間との差時間に対応する再生データ量分の音声データを読み込み（Ｓ２２）、この音声データを音声復号化部１０３で復号化させ（Ｓ２３）、復号化した音声データを直ちにスピーカー１３３で再生させる（Ｓ２４）。具体的に、音声ファイル１１３中の読込先頭アドレス１１３ａから、指定時間「299」と次の受信時間「497」との差時間「198」に対応する再生データ量分の音声データを読み込みで、この音声データを音声復号化部１０３で復号化させ、復号化した音声データを直ちにスピーカー１３３で再生させる。

次に、記憶制御部１２１は、時間ファイル１１２から次の受信時間を読み込み（Ｓ２５）、音声ファイル１１３中の読み込んだ位置の最後から、該当受信時間と次の受信時間との差時間に対応する再生データ量分の音声データを読み込み（Ｓ２６）、この音声データを音声復号化部１０３で復号化させ（Ｓ２３）、復号化した音声データを直ちにスピーカー１３３で再生させる（Ｓ２４）。

以降、ステップ２３〜２６の処理を繰り返すことで、以降の音声データがスピーカ１３３で再生される。

なお、以上では、画像データの再生でも、音声データの再生でも、該当データの再生が終了した後に、次のデータの読み込みを行うように記載したが、これは、処理手順を明確にするためであり、該当データの読み込みが終了すれば、この該当データの再生が終了する前に、次のデータの読み込みを行い、データ再生の連続性を確保するようにすることが好ましい。

次に、図５を用いて、画像データ及び音声データの再生が指示されたときの画像データ及び音声データの再生タイミングについて説明する。なお、以下では、指定時間「0」、つまり、最初に記憶装置１１０に格納された画像データ及び音声データを再生するときの再生タイミングについて説明する。

まず、画像データの再生タイミングについて説明する。

画像データ及び音声データの再生が指示さると、指示された画像データ、図５の場合、第一画像データが直ちに再生される。次に、第二画像データの受信時間「195」経過した時点で、第二画像データが再生される。以降、同様に、該当画像データの受信時間が経過した時点で、該当画像データが再生される。このため、静止画の第七画像データであっても、この第七画像データの受信時間が経過した時点で再生され、次の第八画像データ以降の動画の画像データも、該当画像データの受信時間が経過した時点で、該当画像データが再生される。

ところで、前述したように、監視拠点装置２００のカメラ２３４は、動画モードの際、100ms毎に１画面の画像データを取得する。一方、監視局装置１００では、一旦、記憶した画像データを再生する場合、各画像データの受信時間に応じたタイミングで各画像データが再生される。各画像データの受信時間は、基本的に各画像データのデータ量に依存するため、1画面の画像データの再生周期は、一定でなく、記憶した画像データは、正確なタイミングで再生されているとは言い難い。しかしながら、前述したように、監視局装置１００の解析部１０２は、監視拠点装置２００のカメラ２３４による、連続した３つの画像データの取得周期（300ms周期）と同じ周期で、連続した３つの画像データを取得する。このため、監視局装置１００のディスプレイ１３４は、動画の画像データを再生する際、監視拠点装置２００のカメラ２３４による、連続した３つの画像データの取得周期（300ms周期）と同じ周期で、連続した３つの画像データを再生する。

したがって、本実施形態では、記憶した画像データを正確なタイミングで再生しているとは言い難いものの、画像データの再生タイミングのズレは実質的に問題のない範囲内であり、監視者等が再生動画像を見ても、画像データの再生タイミングのズレを気付くことはない。また、本実施形態では、画像データを、その受信時間が経過した時点で再生しているので、上記のように、動画の画像データを正確なタイミングで再生できないものの、動画の画像データ中に静止画の画像データが混在している場合でも、この静止画を適切に再生できる上に、この静止画の前後の動画も何ら支障なく再生することができる。

次に、音声データの再生タイミングについて説明する。

画像データ及び音声データの再生が指示さると、再生指示された画像データに対応し、この画像データの再生開始から次の画像データの再生開始までの時間分の音声データが音声ファイル１１３から抽出されて、直ちに、再生される。図５の場合、第一画像データに対応し、この第一画像データの再生開始から次の第二画像データの再生開始までの時間分「195ms」（＝第二画像データの受信時間（195）−第一画像データの受信時間（0））の音声データが抽出されて、再生される。次に、第二画像データの再生開始から次の第三画像データの再生開始までの時間分「99ms」（＝第三画像データの受信時間（294）−第二画像データの受信時間（195））の音声データが抽出されて、先に抽出した音声データの再生に連続して、この音声データが再生される。以下、同様に、音声データが抽出されて再生される。

このため、本実施形態では、画像データと音声データとは、同期再生される。特に、本実施形態では、ある画像データの再生時には、この画像データの再生開始から次の画像データの再生開始までの時間分の音声データが再生されるため、動画の画像データ中に静止画の画像データが混在している場合でも、静止画中の音声を適切に再生できる上に、この静止画の前後の動画に対しても同期させて音声を再生することができる。

次に、監視局装置１００の記憶装置１１０に記憶された画像データのみの再生時の動作について説明する。

監視者が、制御スイッチ１４５を操作して、時間ファイル１１２に格納されている受信時間のうち、いずれか一の受信時間（以下、指定時間）を指定し、これ以降の画像データのみの再生を指示すると、監視局装置１００は、前述した図４中のステップ１０〜１５の処理を実行して、指定時間に対応する画像データ及びこれ以降の画像データを再生する。

次に、監視局装置１００の記憶装置１１０に記憶された音声データのみの再生時の動作について説明する。

監視者が、制御スイッチ１４５を操作して、時間ファイル１１２に格納されている受信時間のうち、いずれか一の受信時間（以下、指定時間）を指定し、これ以降の音声データのみの再生を指示すると、監視局装置１００は、前述した図４中のステップ２０〜２６の処理を実行して、指定時間対応する音声データ及びこれ以降の音声データを再生する。

なお、音声データの再生にあたって、指定時間が指定されると、記憶制御部１２１が、音声ファイル１１３に最初に格納した音声データの先頭アドレスから、指定時間に対応する再生データ量分ズレたアドレスを音声ファイル１１３の読込先頭アドレスとし、以降、一定のデータ量分ずつ、音声ファイル１１３から音声データを読み込み、こららの音声データを順次再生するようにしてもよい。

次に、本実施形態において、警察等から監視データの提供が求められた場合の処理について説明する。

受信時間が指定されて、画像データ及び音声データの提供が求められた場合、記憶制御部１２１は、時間ファイル１１２からこの受信時間以降のデータを読み出すと共に、画像ファイル１１１からこの受信時間以降の画像データ、音声ファイル１１３からこの受付時間以降の音声データを読み出し、これらを記憶/再生装置１４０に送って、この記憶/再生装置１４０に装着された可搬型記憶媒体Ｄに、これらのデータを記憶させる。

また、受信時間が指定されて、画像データのみの提供が求められた場合、記憶制御部１２１は、時間ファイル１１２からこの受信時間以降のデータを読み出すと共に、画像ファイル１１１からこの受信時間以降の画像データを読み出し、これらを記憶/再生装置１４０に送って、この記憶/再生装置１４０に装着された可搬型記憶媒体Ｄに、これらのデータを記憶させる。

以上のように、可搬型記憶媒体Ｄにコピーされた画像データ及び音声データを再生する場合、監視局装置１００の記憶制御部１２１の再生時の動作と同じ動作をする記憶制御部を備えた再生装置が必要である。このため、画像データ及び音声データの提出が求められた場合、及び画像データのみの提出が求められた場合、監視局装置１００により、画像データ（及び音声データを）を再生させ、このときに、ディスプレイ１３４やスピーカ１３３に送られるデータを記憶/再生装置１４０に送って、可搬型記憶媒体Ｄに記憶するようにしてもよい。このように、データを可搬型記憶媒体Ｄに記憶することで、汎用の再生装置でも、可搬型記憶媒体Ｄに記憶されたデータを再生することができる。

また、受信時間が指定されて、音声データのみの提供が求められた場合、記憶制御部１２１は、音声ファイル１１３からこの受付時間以降の音声データを読み出し、これらを記憶/再生装置１４０に送って、この記憶/再生装置１４０に装着された可搬型記憶媒体Ｄに、音声データを記憶させる。この可搬型記憶媒体Ｄに記憶された音声データを再生する場合には、監視局装置１００の記憶制御部１２１の再生時の動作と同じ動作をする記憶制御部を備えた再生装置を用いる必要はなく、汎用の再生装置で再生することができる。

以上のように、本実施形態では、画像データと音声データとを別々のファイル１１１，１１３に格納しているので、画像データと音声データとのうち、両方のデータ、又はいずれか一方のデータを簡単に外部に提供することができる。しかも、画像データと音声データと外部に提供する場合でも、時間データを併せて外部に提供することで、画像データと音声データとの同期を取ることができる。

なお、本実施形態では、監視データの外部への提供手段として、記憶/再生装置１４０を例示したが、この替わりに、通信装置を用いてもよい。

また、以上の実施形態は、監視拠点が一つの例であるが、これは以上の説明を簡単にするためであり、実際には、複数の監視拠点が存在する。この場合、監視局装置１００の通信部１０１には、各監視拠点毎の通信ポートを設け、記憶装置１１０の画像ファイル１１１、時間ファイル１１２、音声ファイル１１３も、各監視拠点毎に存在させる。また、ディスプレイ１３４等も各監視拠点毎に設ける。

１００：監視局装置、１０１：通信部、１０２：解析部、１０３：音声復号化部、１０４：画像復号化部、１０５：音声符号化部、１１０：記憶装置、１１１：画像ファイル、１１２：時間ファイル、１１３：音声ファイル、１２０：主制御部、１２１；記憶制御部、１２２：表示制御部、１３３，２３５：スピーカ、１３４：ディスプレイ、１３５，２３３；マイク、１４０：記憶：再生装置、１４５：制御スイッチ、２００：監視拠点装置、２０１：通信部、２０３：音声符号化部、２０４：画像符号化部、２０５：音声復号化部、２２０：制御部、２３４：カメラ

Claims (5)

1. １以上の監視拠点装置からリアルタイムに順次送信される、１画面分の画像データを含む画像データパケット、及び音声データを含む音声データパケットを受信し、該画像データ及び該音声データを再生しつつ記憶する監視局装置において、
   前記監視拠点装置からの前記画像データパケット及び前記音声データパケットを順次受信し、各パケットからデータを取り出す通信手段と、
   前記通信手段により、前記画像データパケットから取り出された１画面分の前記画像データを順次取得し、該通信手段が順次受信した画像データパケットのうち最初の画像データパケット中の画像データを取得した時刻から、その後に順次取得した各画像データの取得時刻までの各時間を受信時間として把握する受信時間把握手段と、
   前記通信手段が受信した前記画像データパケット中の画像データが格納される画像データ記憶手段と、
   前記通信手段が受信した前記音声データパケット中の音声データが格納される音声データ記憶手段と、
   前記受信時間把握手段に把握された前記受信時間が格納される時間記憶手段と、
   前記通信手段により、順次、前記画像データパケットから取り出された１画面分の前記画像データを、前記画像データ記憶手段に順次格納すると共に、該画像データ記憶手段に格納した該１画面分の画像データの前記受信時間と、該画像データ記憶手段中における該１画面分の画像データの先頭アドレスとを関連付けて、前記時間記憶手段を格納し、該通信手段により、順次、前記音声データパケットから取り出された音声データを前記音声データ記憶手段に順次格納する記憶制御手段と、
   前記通信手段により、前記画像データパケットから取り出された前記画像データを復号化する画像復号化手段と、
   前記画像復号化手段により復号化された前記画像データを表示する表示手段と、
   前記通信手段により、前記音声データパケットから取り出された前記音声データを復号化する音声復号化手段と、
   前記音声復号化手段により復号化された音声データを出力する音声出力手段と、
   を有することを特徴とする監視局装置。
2. 請求項１に記載の監視局装置において、
   前記画像復号化手段により復号化された前記画像データの、前記表示手段により表示タイミングを制御する表示制御手段と、
   前記画像データ記憶手段に格納されている前記画像データ及び前記音声データ記憶手段に格納されている前記音声データの再生を指示する画像・音声再生指示手段と、
   を有し、
   前記画像・音声再生指示手段により、前記時間記憶手段に記憶されている複数の受信時間のうちの一の受信時間である指定時間に対応する画像データ以降の画像データ、及び該指定時間に対応する音声データ以降の音声データの再生が指示されると、前記記憶制御手段は、該時間記憶手段から該指定時間に関連付けられている前記先頭アドレス、該指定時間以降の前記受信時間及び該受信時間に関連付けられている前記先頭アドレスを順次読み出し、順次読み出された該先頭アドレスが示す前記画像データ記憶手段中の前記１画面分の画像データを順次読み出して、前記画像復号化手段に該画像データを復号化させると共に、前記音声データ記憶手段に最初に格納された音声データの先頭から該指定時間分の音声データ量分の位置を先頭として、該指定時間と次の受信時間との差時間分の音声データを読み出し、さらに、該次の受信時間と該次の時間のさらに次の受信時間との差時間分の音声データを順次読み出して、前記音声復号化手段に該音声データを復号化させ、
   前記表示制御手段は、前記画像復号化手段により復号化された前記画像データを、画像・音声再生指示手段により再生指示された時点から前記指定時間と該画像データに関する受信時間との差時間分経過した時点で、該画像データを前記表示手段に表示させる、
   ことを特徴とする監視局装置。
3. 請求項１及び２のいずれか一項に記載の監視局装置において、
   データを外部に提供するデータ提供手段と、
   前記画像データ記憶手段に記憶されている画像データと、前記音声データ記憶手段に記憶されている音声データとのうちの任意の一方の提供、及び両方の提供を指定する出力指定手段と、
   を有し、
   前記記憶制御手段は、前記出力指定手段により、前記画像データのみの提供が指定されると、前記画像データ記憶手段及び前記時間記憶手段に記憶されているデータを読み出して、該データを前記データ提供手段に渡し、前記出力指定手段により、前記画像データ及び前記音声データの提供が指定されると、前記画像データ記憶手段、前記時間記憶手段及び前記音声データ記憶手段に記憶されているデータを読み出して、該データを前記データ提供手段に渡し、前記出力指定手段により、前記音声データのみの提供が指定されると、前記音声データ記憶手段に記憶されているデータを読み出して、該データを前記データ提供手段に渡す、
   ことを特徴とする監視局装置。
4. 請求項１から３のいずれか一項に記載の監視局装置と、
   前記１以上の監視拠点装置と、
   を備え、
   前記１以上の監視拠点装置は、それぞれ、
   所定周期で監視拠点を順次撮像する撮像手段と、
   前記撮像手段により、所定周期で順次撮像された１画面分の画像データを順次符号化する画像符号化手段と、
   監視拠点の音を集音する集音手段と、
   前記集音手段により集音された音声データを、順次、所定のデータ量分ずつ符号化する音声符号化手段と、
   前記画像符号化手段で順次符号化された画像データをパケット化して、前記監視局装置へ送信すると共に、前記音声符号化手段で順次符号化された音声データをパケット化して、該監視局装置へ送信する通信手段と、
   を有する、
   ことを特徴とする監視システム。
5. 請求項４に記載の監視システムにおいて、
   前記監視局装置は、静止画像の取得を指示する静止画指示手段を有し、
   前記監視局装置の前記通信手段は、前記静止画指示手段により静止画の取得が指示されると、当該指示を示すメッセージを前記監視拠点装置へ送信し、
   前記監視拠点装置は、前記画像符号化手段を少なくとも制御する制御手段を有し、
   前記監視拠点装置の前記通信手段は、前記メッセージを受信し、
   前記監視拠点装置の前記制御手段は、前記監視拠点装置の前記通信手段が前記メッセージを受信してない場合、前記画像符号化手段に動画符号化手順を実行させ、該通信手段が該メッセージを受信すると、該メッセージを受信してから所定期間又は該メッセージを受信している期間、前記画像符号化手段に静止画符号化手順を実行させる、
   ことを特徴とする監視システム。

Images