JP2009044353A - 監視装置、監視方法及び監視システム - Google Patents

Abstract

【課題】再生した映像に対する音声の音飛びを抑えること。
【解決手段】監視場所の映像フレームを生成する撮像部から、映像フレームを取得する時刻を映像フレーム用タイムスタンプとして、映像フレームに付与する映像バッファ部１２と、監視場所の音声フレームを生成する集音部から、音声フレームを取得する時刻を音声フレーム用タイムスタンプとして、音声フレームに付与する音声バッファ部１１と、音声バッファ部１１より取得する音声フレームと、映像バッファ部１２より取得する映像フレームに対して、音声フレーム用タイムスタンプを基準として映像フレーム用タイムスタンプを同期させる音声基準の同期処理を行うとともに、同期させた音声フレームを組み立てた出力用フレームセットを、放音部１４に出力し、同期させた映像フレームを組み立てた表示用フレームセットを、表示部１９に出力する再生部１５と、を備える。
【選択図】図１

Description

本発明は、監視カメラから取得する映像フレームと音声フレームを同期させて、映像を表示し、音声を出力する場合に適用して好適な監視装置、監視方法及び監視システムに関する。

従来、監視カメラと制御装置とをネットワークを介して接続した監視システムが用いられている。このような監視システムにおいて、監視カメラは、撮像した映像データを、ネットワークを介して制御装置に送信する。制御装置は、受信した映像データを保存するとともに、映像データを解析することで異常の発生を検出し、アラームを出力する。監視員は、モニタに表示される監視映像及び制御装置が出力したアラームの内容を確認しながら監視を行うことができる。

また、監視カメラは、音声を集音する機能を有しており、撮像した映像と集音した音声を同時に制御装置に送信することも可能である。このような監視カメラは、映像と音声の取得を個別に行っている。このため、制御装置は、受信した映像フレームと音声フレームに付与された取得時間（以降タイムスタンプと称する。）を用いて同期をとることによって、記録や再生を行っている。

特許文献１には、不審者を検知し、監視者へ警報を出すと共に監視区域外へ逃走した不審者を自動的に追跡する技術について記載されている。

特許文献２には、住人が外出先から家の内外部の詳細な情報を得て、訪問者の識別や要件の確認をすることができる技術について記載されている。
特開２００５−２５０６３４号公報 特開２００１−７６２７３号公報

ところで、従来の監視システムでは映像フレームに付与されたタイムスタンプを基準として同期処理を行っているため、ネットワークの不調などにより映像の欠落が起こった場合、欠落箇所の映像フレームに対して、音声フレームを同期することができず、音声フレームが飛んでしまう現象が発生していた。このような場合、映像と音声の時間ずれが大きくなり、次の映像と音声の同期時に大きく音声フレームが大きく飛んでしまう可能性がある。このため、監視システムでは音声フレームを取得しているにもかかわらず、いわゆる音飛び状態となってしまう問題がある。

一般的に、映像は音声に比べ単位時間当たりのフレーム数が、音声よりも多いため、映像の連続性が重要となる。しかしながら、従来の監視システムでは音声が副次的に利用されていただけであった。このため、例えば映像の情報量が落ちる夜間監視、相対的に音声の重要性が高まる環境、会話内容が重要な状況下にあっても、音とびが発生する危険があった。

本発明はこのような状況に鑑みて成されたものであり、再生した映像に対する音声の音飛びを抑えることを目的とする。

本発明は、監視カメラで撮像した監視映像による監視を行う場合において、監視場所の映像による映像フレームを生成する撮像部から、映像フレームを取得する時刻を映像フレーム用タイムスタンプとして、映像フレームに付与し、映像フレームで示される監視場所の音声による音声フレームを生成する集音部から、音声フレームを取得する時刻を音声フレーム用タイムスタンプとして、音声フレームに付与し、音声フレームと映像フレームに対して、音声フレーム用タイムスタンプを基準として映像フレーム用タイムスタンプを同期させる音声基準の同期処理を行うとともに、同期させた映像フレームを組み立てた表示用フレームセットを、映像を表示する表示部に出力し、同期させた音声フレームを組み立てた出力用フレームセットを、音声を放音する放音部に出力する。

このようにしたことで、音声フレーム用タイムスタンプを基準として映像フレーム用タイムスタンプを同期させる同期処理を行って、音声フレームと映像フレームを同期させて、音声出力し、映像表示することが可能となった。

本発明によれば、音声フレーム用タイムスタンプを基準として映像フレーム用タイムスタンプを同期させる同期処理を行って、音声フレームと映像フレームを同期させるため、音声が重視される環境下であっても、音声が途切れることなく出力できるという効果がある。

以下、本発明の第１の実施形態例について、図１〜図１１を参照して説明する。本実施の形態例では、監視場所の映像による映像フレームを生成する撮像部と、映像フレームで示される監視場所の音声による音声フレームを生成する集音部を備えるカメラより、取得した音声フレームと映像フレームの同期をとり、映像を表示し、音声を出力する監視システム１０に適用した例としてある。

＜本発明のベースとなる環境＞
図１は、監視システム１０のシステム構成例を示す図である。監視システム１０は、監視対象物を撮像し、映像フレームを生成するとともに、監視対象物の音声を集音し、音声フレームを生成する映像・音声フレーム生成ネットワークカメラ１ａ〜１ｎと、取得した映像フレームと音声フレームを保存すると共に、映像と音声を同時に再生可能な監視装置として機能する管理クライアント３と、映像・音声フレーム生成ネットワークカメラ１ａ〜１ｎと管理クライアント３とを接続するネットワーク２とで構成される。

監視システム１０は、１台、もしくは複数台の映像・音声フレーム生成ネットワークカメラ１ａ〜１ｎを管理する。また、監視システム１０は、図示しないアナログ監視カメラから取得したアナログ映像データをデジタル映像データに変換するとともに、アナログ音声データをデジタル音声データ（音声フレーム）に変換し、ネットワーク２を介して管理クライアント３に供給する映像・音声フレーム生成ネットワークデバイス４を管理する。

映像・音声フレーム生成ネットワークカメラ１ａ〜１ｎと、映像・音声フレーム生成ネットワークデバイス４（以下、単にカメラ群と称する。）が生成した音声フレームは、ネットワーク２を介して伝送される。同様に、カメラ群が生成した映像フレームは、ネットワーク２を介して伝送される。管理クライアント３は、ネットワーク２を介して音声フレームと映像フレームを取得し、保存する。音声フレームと映像フレームを再生する場合には、音声フレームに付与された音声フレーム用タイムスタンプに、映像フレームに付与された映像フレーム用タイムスタンプを同期させる。このようにして、管理クライアント３は、映像と音声の同期をとった状態で再生することができる。

一般的に映像は音声に対し、単位時間当たりのフレーム取得数が少ない。このため、音声フレーム用タイムスタンプと同じ値の映像フレーム用タイムスタンプが付与された映像フレームが存在しない場合、最もタイムスタンプが近い映像フレームとの同期を行う。
以下の説明では、音声フレームに付与された音声フレーム用タイムスタンプを基準として、映像フレームに付与された映像フレーム用タイムスタンプを同期させることを、「音声基準」又は「音声基準の同期処理」と称する。
一方、映像フレームに付与された映像フレーム用タイムスタンプを基準として、音声フレームに付与された音声フレーム用タイムスタンプを同期させることを、「映像基準」又は「映像基準の同期処理」と称する。
また、音声基準と映像基準のうち、再生部１５と同期部１６で有効になっている同期処理を「同期ルール」とも称する。

映像基準と音声基準のうち、どちらを用いるかは設定に応じて変更可能である。この場合、設定変更の日時が定められている設定変更スケジュールが参照される。そして、設定された日時に、同期ルールが映像基準と音声基準のいずれかに切替えられる。その他、一つの音声フレームを基準として複数の同じタイムスタンプを持つ映像フレームを再生することも可能である。

管理クライアント３は、取得した音声フレームに音声フレーム用タイムスタンプを付与する音声バッファ部１１と、音声フレームを保存する音声記録部３１と、取得した映像フレームに映像フレーム用タイムスタンプを付与する映像バッファ部１２と、映像フレームを保存する映像記録部３２と、音声基準と映像基準のいずれかの基準による同期処理（同期ルール）に切替える同期ルール切替え部１７と、切替えられた同期ルールで音声フレームと映像フレームを同期する同期部１６と、同期部１６から同期された音声フレームと映像フレームを取得し、同期ルールで同期処理を行う再生部１５と、再生部１５から取得した表示用フレームセットに基づいて映像を表示する表示部１９と、再生部１５から取得した出力用フレームセットに基づいて音声を放音する放音部１４と、同期ルールを切替えるスケジュールを設定するスケジュール設定部１８と、設定したスケジュールを保存するスケジュール記録部３３と、を備える。

［音声バッファ部］
カメラ群が集音した音声データは、可変長又は固定長の音声フレームに分割され、ネットワーク２を介して管理クライアント３に伝送される。音声バッファ部１１は、管理クライアント３が取得する音声フレームに取得時刻を音声フレーム用タイムスタンプとして付与する。そして、音声バッファ部１１は、音声フレーム用タイムスタンプが付与された音声フレームを、大容量のハードディスクドライブ等で構成された音声記録部３１に保存する。
また、音声バッファ部１１は、音声記録部３１から読み出した音声フレームを、後述の再生部１５と同期部１６に供給する。このとき、音声バッファ部１１は、内蔵するＲＡＭ等のメモリに所定数の音声フレームを保存した後、再生部１５と同期部１６に音声フレームを供給する。

［映像バッファ部］
カメラ群が撮像した映像データは、可変長又は固定長の映像フレームに分割され、ネットワーク２を介して管理クライアント３に伝送される。映像バッファ部１２は、管理クライアント３が取得する映像フレームに取得時刻を映像フレーム用タイムスタンプとして付与する。そして、映像バッファ部１２は、映像フレーム用タイムスタンプが付与された映像フレームを、大容量のハードディスクドライブ等で構成された映像記録部３２に保存する。
また、映像バッファ部１２は、映像記録部３２から読み出した映像フレームを、再生部１５と同期部１６に供給する。このとき、映像バッファ部１２は、内蔵するＲＡＭ等のメモリに所定数の映像フレームを保存した後、再生部１５と同期部１６に映像フレームを供給する。

［音声記録部］
音声記録部３１は、カメラ群から受信した音声フレームを保存するデータベースである。音声記録部３１が保存する音声フレームの構成例は以下のとおりである。
・フレーム番号：音声フレームを一意に識別するために必要となる。
・フレームレート：カメラ群が管理クライアント３に送信する音声フレームの送信間隔を示す。フレームレートは、再生部１５が音声フレームを取得し、放音する間隔を得るために必要となる。
・音声フレーム用タイムスタンプ：音声バッファ部１１が音声フレームを取得した時間。映像フレームとの同期処理に必要となる。
・フレーム本体：音声フレームの本体である。

［映像記録部］
映像記録部３２は、カメラ群から受信した映像フレームを保存するデータベースである。映像記録部３２が保存する映像フレームの構成例は以下のとおりである。
・フレーム番号：映像フレームを一意に識別するために必要となる。
・フレームレート：カメラ群が管理クライアント３に送信する映像フレームの送信間隔を示す。フレームレートは、再生部１５が映像フレームを取得し、表示する間隔を得るために必要となる。
・映像フレーム用タイムスタンプ：映像バッファ部１２が映像フレームを取得した時間。音声フレームとの同期処理に必要となる。
・フレーム本体：映像フレームの本体である。

［同期部］
同期部１６は、同期ルールが音声基準である場合、映像バッファ１３を介して基準とされていない映像フレームを取得し、再生部１５に送り出す。一方、同期ルールが映像基準である場合、音声バッファ部１１を介して基準とされていない音声フレームを取得し、再生部１５に送り出す。
再生部１５から同期処理を指示された場合、同期部１６は、音声基準である場合、音声フレーム用タイムスタンプに最も近い映像フレーム用タイムスタンプが付与された映像フレームを、新たな対となるフレームセットとして再生部１５に送信する。一方、映像基準である場合、映像フレーム用タイムスタンプに最も近い音声フレーム用タイムスタンプが付与された音声フレームを、新たな対となるフレームセットとして再生部１５に送信する。

［同期ルール切替え部］
同期ルール切替え部１７は、音声基準と映像基準のうち、いずれかに切替えた同期処理を同期ルールとして有効にする処理を行う。同期ルール切替え部１７によって切替えられた同期ルールに従って、再生部１５と同期部１６が取得するフレームが変更される。

［再生部］
再生部１５は、同期ルール切替え部１７によって定められた同期ルールに従って、基準とするフレームを取得する。音声基準の場合、音声バッファ部１１を介して音声フレームを取得する。一方、映像基準の場合、映像バッファ部１２を介して映像フレームを取得する。そして、再生部１５は、同期部１６から取得した同期されて対となる音声フレームから出力用フレームセットを作成し、放音部１４に送る。同様に、再生部１５は、同期部１６から取得した同期されて対となる映像フレームから表示用フレームセットを作成し、表示部１９に送る。
音声フレーム用タイムスタンプと映像フレーム用タイムスタンプのズレが所定の時間を超えた場合、同期部１６に同期指示を出し、同期処理を行う。

［表示部］
表示部１９は、再生部１５から供給される表示用フレームセットを元にして、映像を表示する。表示部１９は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等で構成される。

［放音部］
放音部１４は、再生部１５から供給される出力用フレームセットを元にして、音声を放音する。放音部１４は、アンプ、スピーカ等で構成される。放音部１４は、表示部１９に組み込まれて構成される。

［スケジュール設定部］
スケジュール設定部１８は、時系列的に同期ルールを変更する時間帯を設定する。例えば、監視システム１０を書店に設置した場合、９時〜２０時までの営業時間内は映像基準の同期を行い、２０時〜翌９時までの閉店後は音声基準の同期を行う等の設定が考えられる。

［スケジュール記録部］
スケジュール記録部３３は、スケジュール設定部１８が設定したスケジュールを保存する。スケジュール記録部３３が持つべき情報例は以下になる。
・スケジュール番号（又はスケジュール名）：スケジュール情報を一意に識別するために必要となる。
・開始時間：スケジュールを開始する年月日時分秒が定められる。
・終了時間：スケジュールを終了する年月日時分秒が定められる。
・同期ルール：音声基準か映像基準であるかが設定される。

次に、各部の処理例について、図２〜図８のフローチャートを参照して説明する。

図２は、音声バッファ部１１の音声再生処理の例を示す。
初めに、音声バッファ部１１は、カメラ群から音声フレームを取得する（ステップＳ１）。そして、取得した音声フレームの保存が必要か否かを判断する（ステップＳ２）。

取得した音声フレームの保存が必要でない場合、ステップＳ６に処理を移す。一方、取得した音声フレームの保存が必要である場合、音声記録部３１に音声フレームを保存する（ステップＳ３）。その後、保存した音声フレームを取得する必要があるか否かを判断する（ステップＳ４）。

保存した音声フレームを音声記録部３１から取得しない場合、ステップＳ６に処理を移す。一方、保存した音声フレームを音声記録部３１から取得する場合、音声記録部３１から音声フレームを取得する（ステップＳ５）。そして、取得した音声フレームを、音声バッファ部１１が備えるメモリ上に格納する（ステップＳ６）。

その後、カメラ群からの音声フレームの送信を待つか否かを判断する（ステップＳ７）。カメラ群からの音声フレームの送信を待つ場合、ステップＳ１の処理に戻って、カメラ群から音声フレームを継続して取得する。カメラ群からの音声フレームの送信を待たない場合、音声再生処理の終了要求があるか否かを判断する（ステップＳ８）。

音声再生処理の終了要求がない場合、ステップＳ５の処理に戻って、音声記録部３１から音声フレームを取得する。一方、音声再生処理の終了要求がある場合、音声バッファ部の処理を終了する。

図３は、映像バッファ部１２の映像再生処理の例を示す。
初めに、映像バッファ部１２は、カメラ群から映像フレームを取得する（ステップＳ１１）。そして、取得した映像フレームの保存が必要か否かを判断する（ステップＳ１２）。

取得した映像フレームの保存が必要でない場合、ステップＳ１６に処理を移す。一方、取得した映像フレームの保存が必要である場合、映像記録部３２に映像フレームを保存する（ステップＳ１３）。その後、保存した映像フレームを取得する必要があるか否かを判断する（ステップＳ１４）。

保存した映像フレームを映像記録部３２から取得しない場合、ステップＳ１６に処理を移す。一方、保存した映像フレームを映像記録部３２から取得する場合、映像記録部３２から映像フレームを取得する（ステップＳ１５）。そして、取得した映像フレームを、映像バッファ部１２が備えるメモリ上に格納する（ステップＳ１６）。

その後、カメラ群からの映像フレームの送信を待つか否かを判断する（ステップＳ１７）。カメラ群からの映像フレームの送信を待つ場合、ステップＳ１１の処理に戻って、カメラ群から映像フレームを継続して取得する。カメラ群からの映像フレームの送信を待たない場合、映像再生処理の終了要求があるか否かを判断する（ステップＳ１８）。

映像再生処理の終了要求がない場合、ステップＳ１５の処理に戻って、映像記録部３２から映像フレームを継続して取得する。一方、映像再生処理の終了要求がある場合、映像バッファ部の処理を終了する。

図４は、同期ルール切替え部１７の同期ルール切替え処理の例を示す。
初めに、同期ルール切替え部１７は、スケジュール設定部１８から同期ルール切替え指示を取得する（ステップＳ２１）。そして、同期ルール切替え部１７は、同期ルールの変更が必要か否かを判断する（ステップＳ２２）。

取得した同期ルール切替え指示の変更が必要でない場合、ステップＳ２６に処理を移す。一方、取得した同期ルール切替え指示の変更が必要である場合、再生部１５と同期部１６に通知する同期ルールを作成する（ステップＳ２３）。

そして、同期ルール切替え部１７は、作成した同期ルールを再生部１５に通知する（ステップＳ２４）。また、作成した同期ルールを同期部１６に通知する（ステップＳ２５）。

その後、同期ルール切替え部１７は、同期ルール切替え処理の終了要求があるか否かを判断する（ステップＳ２６）。終了要求がない場合、ステップＳ２１に処理を移す。一方、終了要求がある場合、同期ルール切替え処理を終了する。

図５は、スケジュール設定部１８のスケジュール設定処理の例を示す。
初めに、スケジュール設定部１８は、スケジュール記録部３３に保存されたスケジュールを読み出すことで、各スケジュールを処理する（ステップＳ３１）。そして、現在時刻がスケジュール内であるか否かを判断する（ステップＳ３２）。

スケジュール内でない場合、ステップＳ３１に処理を移す。スケジュール内である場合、同期ルールを作成する（ステップＳ３３）。そして、作成した同期ルールを同期ルール切替え部１７に通知する（ステップＳ３４）。

次に、スケジュールの設定変更要求があるか否かを判断する（ステップＳ３５）。スケジュールの設定変更要求がない場合、ステップＳ３１に処理を移す。スケジュールの設定変更要求がある場合、スケジュールの設定を変更する（ステップＳ３６）。

その後、スケジュール設定部１８は、スケジュール設定処理の終了要求があるか否かを判断する（ステップＳ３７）。終了要求がない場合、ステップＳ３１に処理を移す。一方、終了要求がある場合、スケジュール設定処理を終了する。

図６は、再生部１５が行う再生処理の例を示す。
初めに、再生部１５は、同期ルールを解析する（ステップＳ４１）。そして、同期ルールが音声基準であるか否かを判断する（ステップＳ４２）。

同期ルールが音声基準でない場合（つまり、映像基準である場合）、映像バッファ部１２から映像フレームを取得する（ステップＳ４３）。そして、同期部１６から音声フレームを取得する（ステップＳ４４）。再生部１５は、取得した映像フレームに付与された映像フレーム用タイムスタンプと、音声フレームに付与された音声フレーム用タイムスタンプを比較する（ステップＳ４５）。

そして、再生部１５は、比較したタイムスタンプの値が所定間隔以上離れているか否かを判断する（ステップＳ４６）。タイムスタンプの値が所定間隔以上離れていると、同期がズレるため、音声ズレが発生する可能性がある。

タイムスタンプの値が所定間隔以上離れている場合、再生部１５は、同期指示を作成する（ステップＳ４７）。そして、同期部１６に同期指示を通知し（ステップＳ４８）、ステップＳ４４に処理を移す。
一方、ステップＳ４６の処理で、タイムスタンプの値が所定間隔以上離れていない場合、ステップＳ６１に処理を移す。

一方、同期ルールが音声基準である場合、音声バッファ部１１から音声フレームを取得する（ステップＳ５１）。そして、同期部１６から映像フレームを取得する（ステップＳ５２）。再生部１５は、取得した映像フレームに付与された映像フレーム用タイムスタンプと、音声フレームに付与された音声フレーム用タイムスタンプを比較する（ステップＳ５３）。

そして、再生部１５は、比較したタイムスタンプの値が所定間隔以上離れているか否かを判断する（ステップＳ５４）。タイムスタンプの値が所定間隔以上離れている場合、再生部１５は、同期指示を作成する（ステップＳ５５）。そして、同期部１６に同期指示を通知し（ステップＳ５６）、ステップＳ５２に処理を移す。
一方、ステップＳ５４の処理で、タイムスタンプの値が所定間隔以上離れていない場合、ステップＳ６１に処理を移す。

再生部１５は、再生要求があるか否かを判断する（ステップＳ６１）。再生要求がない場合、ステップＳ６３に処理を移す。再生要求がある場合、音声フレームを組み立てた出力用フレームセットと、映像フレームを組み立てた表示用フレームセットを作成する（ステップＳ６２）。表示用フレームセットと出力用フレームセットは、「表示・出力用フレームセット」として組み合わされる。

その後、再生部１５は、再生処理の終了要求があるか否かを判断する（ステップＳ６３）。終了要求がない場合、ステップＳ４１に処理を移す。一方、終了要求がある場合、再生処理を終了する。

図７は、同期部１６が行う同期処理の例を示す。
初めに、同期部１６は、同期ルールを解析する（ステップＳ７１）。そして、同期ルールが音声基準であるか否かを判断する（ステップＳ７２）。

同期ルールが音声基準でない場合（つまり、映像基準である場合）、音声バッファ部１１から音声フレームを取得する（ステップＳ７３）。そして、再生部１５から同期指示を受けたか否かを判断する（ステップＳ７４）。同期指示を受けた場合、ステップＳ７３に処理を移す。

一方、同期指示を受けていない場合、再生用音声フレームを作成する（ステップＳ７５）。再生用音声フレームは、映像基準で映像フレームに音声フレームを同期させた状態とした音声フレームである。そして、同期部１６は、再生部１５に再生用音声フレームを送信し（ステップＳ７６）、ステップＳ８１に処理を移す。

一方、同期ルールが音声基準である場合、映像バッファ部１２から映像フレームを取得する（ステップＳ７７）。そして、再生部１５から同期指示を受けたか否かを判断する（ステップＳ７８）。同期指示を受けた場合、ステップＳ７７に処理を移す。

一方、同期指示を受けていない場合、再生用映像フレームを作成する（ステップＳ７９）。再生用映像フレームは、音声基準で音声フレームに映像フレームを同期させた状態とした映像フレームである。そして、同期部１６は、再生部１５に再生用映像フレームを送信し（ステップＳ８０）、ステップＳ８１に処理を移す。

その後、同期部１６は、同期処理の終了要求があるか否かを判断する（ステップＳ８１）。終了要求がない場合、ステップＳ７１に処理を移す。一方、終了要求がある場合、同期処理を終了する。

図８は、表示部１９が行う映像の表示処理と、放音部１４が行う音声の出力処理の例を示す。
初めに、表示部１９は、再生部１５に、映像の再生指示を通知する（ステップＳ９１）。そして、再生部１５から表示・出力用フレームセットを取得する（ステップＳ９２）。そして、表示部１９は、映像を表示するとともに、放音部１４に音声を出力する処理を行う（ステップＳ９３）。

その後、表示部１９は、映像の表示処理と音声の出力処理の終了要求があるか否かを判断する（ステップＳ９４）。終了要求がない場合、ステップＳ９２に処理を移す。一方、終了要求がある場合、映像の表示処理と音声の出力処理を終了する。

次に、各部を組み合わせた処理例について、図９〜図１１のシーケンス図を参照して説明する。

図９は、カメラ群から取得した音声フレームと映像フレームを、音声基準で表示・出力する処理の例を示す。
初めに、音声バッファ部１１は、カメラ群から音声フレームを取得する（ステップＳ１１１）。同時に、映像バッファ部１２は、カメラ群から映像フレームを取得する（ステップＳ１１２）。

再生部１５と同期部１６は、同期ルール切替え部１７から音声基準とした同期ルールを受取り、内部メモリに保存する（ステップＳ１１３，Ｓ１１４）。
そして、再生部１５は、音声バッファ部１１から音声フレームを取得する（ステップＳ１１５）。

同期部１６は、映像バッファ部１２から映像フレームを取得する（ステップＳ１１６）。そして、再生部１５は、同期部１６から映像フレームを取得する（ステップＳ１１７）。
再生部１５は、取得した音声フレームに付与されている音声フレーム用タイムスタンプと、映像フレームに付与されている映像フレーム用タイムスタンプを比較する（ステップＳ１１８）。

再生部１５は、タイムスタンプの比較結果（音声フレーム用タイムスタンプと映像フレーム用タイムスタンプとの時間差）と、事前に定められている所定の時間間隔との比較を行なう（ステップＳ１１９）。

比較結果が所定の時間間隔以上である場合、同期部１６は、再生部１５からフレームの同期指示を取得する（ステップＳ１２０）。
同期部１６は、同期指示を受け取ると、音声フレームのタイムスタンプと最も近いタイムスタンプを持つ映像フレームを映像バッファ部１２から再取得し、再生部１５に送信する。このようにして、生部１５と同期部１６は、比較結果が所定の間隔より小さくなるまでステップＳ１１６〜Ｓ１２０の処理を繰り返す。

一方、ステップＳ１１９の判断の結果、比較結果が所定の間隔より小さい場合、表示部１９は、再生部１５が作成する表示用フレームセットと出力用フレームセットを取得する（ステップＳ１２１）。
表示部１９は、取得した表示用フレームセットより映像を表示する。そして、放音部１４は、取得した出力用フレームセットより音声を出力する（ステップＳ１２２）。
このようにして、カメラ群から取得した音声フレームと映像フレームを同期させて、リアルタイムで映像の表示と、音声の出力を行うことが可能となる。

図１０は、音声記録部３１に保存された音声フレームと、映像記録部３２に保存された映像フレームを用いて、音声基準で表示・出力する処理の例を示す。
初めに、音声バッファ部１１は、カメラ群から音声フレームを取得し（ステップＳ１３１）、音声フレームを音声記録部３１に保存する（ステップＳ１３２）。そして、音声バッファ部１１は、音声記録部３１から音声フレームを読み出す（ステップＳ１３３）。

同様に、映像バッファ部１２は、カメラ群から映像フレームを取得し（ステップＳ１３４）、映像フレームを映像記録部３２に保存する（ステップＳ１３５）。そして、映像バッファ部１２は、映像記録部３２から映像フレームを読み出す（ステップＳ１３６）。

再生部１５と同期部１６は、同期ルール切替え部１７から音声基準とした同期ルールを受取り、内部メモリに保存する（ステップＳ１３７，Ｓ１３８）。
そして、再生部１５は、音声バッファ部１１から音声フレームを取得する（ステップＳ１４０）。

同期部１６は、映像バッファ部１２から映像フレームを取得する（ステップＳ１４１）。そして、再生部１５は、同期部１６から映像フレームを取得する（ステップＳ１４２）。再生部１５は、取得した音声フレームに付与されている音声フレーム用タイムスタンプと、映像フレームに付与されている映像フレーム用タイムスタンプを比較する（ステップＳ１４３）。

再生部１５は、タイムスタンプの比較結果（音声フレーム用タイムスタンプと映像フレーム用タイムスタンプとの時間差）と、事前に定められている所定の時間間隔との比較を行なう（ステップＳ１４４）。

比較結果が所定の時間間隔以上である場合、同期部１６は、再生部１５からフレームの同期指示を取得する（ステップＳ１４５）。
同期部１６は、同期指示を受けると、音声フレームのタイムスタンプと最も近いタイムスタンプを持つ映像フレームを映像バッファ部１２から再取得し、再生部１５に送信する。このようにして、生部１５と同期部１６は、比較結果が所定の間隔より小さくなるまでステップＳ１４１〜Ｓ１４５の処理を繰り返す。

一方、ステップＳ１２０の判断の結果、比較結果が所定の間隔より小さい場合、表示部１９は、再生部１５が作成する表示用フレームセットと出力用フレームセットを取得する（ステップＳ１４６）。
表示部１９は、取得した表示用フレームセットより映像を表示する。そして、放音部１４は、取得した出力用フレームセットより音声を出力する（ステップＳ１４７）。
このようにして、音声記録部３１に保存した音声フレームと、映像記録部３２に保存した映像フレームを同期させて、映像の表示と、音声の出力を行うことが可能となる。

図１１は、スケジュールごとに同期ルールを切替える処理の例を示す。
初めに、スケジュール設定部１８は、スケジュール記録部２０から、“開始時間”や“終了時間”、“同期ルール”等の内容を含むスケジュール設定情報を取得する（ステップＳ１５１）。

そして、スケジュール設定部１８は、設定されたスケジュール（開始時間）になると、同期ルール切替え部１７に同期ルールの変更を指示する。同期ルール切替え部１７は、スケジュール設定部から同期ルールの変更指示を受け取る（ステップＳ１５２）。

そして、再生部１５と同期部１６は、同期ルール切替え部１７より、変更された同期ルールを通知される（ステップＳ１５３、Ｓ１５４）。
このようにして、予め定めたスケジュールに沿って、同期ルールを、音声基準と映像基準とのうち、いずれかに切替えることが可能となる。

以上説明した第１の実施形態例に係る監視システム１０では、同期ルールを音声基準とした場合に、音声フレームに付与された音声フレーム用タイムスタンプ、映像フレームに付与された映像フレーム用タイムスタンプとを同期させた状態で、音声を出力し、映像を表示することができる。このため、音声フレームの連続性が維持された状態で、音声を出力することができるため、映像に対して音声ズレが生じないという効果がある。

また、再生部１５は、音声基準の同期処理に加えて、映像基準の同期処理を行うことができる。このため、従来通り映像の連続性を重視して映像を表示することが可能であり、音声を重視しない環境下で撮像処理を行うのに適しているという効果がある。

また、同期部１６は、音声基準の同期処理の場合、映像バッファ部１２から映像フレームを取得し、作成した再生用映像フレームを再生部１５に供給するとともに、映像基準の同期処理の場合、音声バッファ部１１から音声フレームを取得し、作成した再生用音声フレームを再生部１５に供給するようにしている。このように同期部１６は、同期状態を常に監視し、適切な数の音声フレームと映像フレームを再生部１５に供給するため、再生部１５は同期ズレが生じる可能性が少なくなるという効果がある。

また、再生部１５は、音声フレームと映像フレームが同期できない場合であって、音声基準の同期処理の場合、映像フレームの取得を指示する音声基準の同期指示を出力し、映像基準の同期処理の場合、音声フレームの取得を指示する映像基準の同期指示を同期部１６に出力し、同期部１６は、音声基準の同期指示を受け取った場合、音声バッファ部１１より音声フレームを取得するとともに、映像基準の同期指示を受け取った場合、映像バッファ部１２より映像フレームを取得するようにしている。このため、同期ズレが発生した場合であっても、同期ルールとなっていない音声フレーム又は映像フレームを取得し、速やかに同期させることによって、音声基準とした場合、音声の連続性を保って出力することができ、映像基準とした場合、映像の連続性を保って表示することができるという効果がある。

また、同期ルール切替え部１７は、音声基準の同期処理と、映像基準の同期処理のうち、いずれかの同期処理に切替えて、切替えた同期処理を再生部１５及び同期部１６に通知するようにしている。このように１つの監視システムで音声基準と映像基準を容易に切替えることができるため、監視システムを設置する時間帯等によって同期ルールを柔軟に切替えることが可能であるという効果がある。

また、音声記録部３１と映像記録部３２と、を備えるため、多くの音声フレームと映像フレームとを保存できる。このように、監視者が長時間監視することが困難な時間帯（例えば、夜間監視）において、映像と音声を長時間保存し、後にまとめて表示・出力することができるという効果がある。

また、同期ルール切替え部１７が切替える同期処理のスケジュールを所定日時で設定するスケジュール設定部１８と、スケジュール設定部１８が設定したスケジュールを保存するスケジュール記録部３３と、を備えて、任意のスケジュールで同期ルールを切替えることを可能としている。このため、時間帯によって同期ルールを音声基準又は映像基準に容易に切替えることができ、必要とされる音声又は映像の連続性を確保できるという効果がある。

次に、本発明の第２の実施形態例について、図１２と図１３を参照して説明する。本実施の形態例においても、監視場所の映像による映像フレームを生成する撮像部と、映像フレームで示される監視場所の音声による音声フレームを生成する集音部を備えるカメラより、取得した音声フレームと映像フレームの同期をとり、映像を表示し、音声を出力する監視システム４０に適用した例としてある。なお、図１２において、既に第１の実施の形態で説明した図１に対応する部分には同一符号を付し、詳細な説明を省略する。

図１２は、監視システム４０の構成例を示す説明図である。
監視システム４０は、映像・音声フレーム生成ネットワークカメラ１ａ〜１ｎから映像フレームと音声フレームを取得する管理サーバ５と、管理サーバ５を介して音声フレームと映像フレームを取得し、所定の処理を施して映像表示と音声出力を行う閲覧クライアント６とで構成される。管理サーバ５は、複数のコンピュータ装置５ａ〜５ｎを備える。管理サーバ５と閲覧クライアント６は、組み合わせることで監視装置として機能する。

映像・音声フレーム生成ネットワークカメラ１ａ〜１ｃは、コンピュータ装置５ａに映像フレームと音声フレームを供給する。同様に、映像・音声フレーム生成ネットワークカメラ１ｄ〜１ｆは、コンピュータ装置５ｂに映像フレームと音声フレームを供給し、映像・音声フレーム生成ネットワークカメラ１ｌ〜１ｎは、コンピュータ装置５ｎに映像フレームと音声フレームを供給する。

映像フレームと音声フレームは、コンピュータ装置５ａ〜５ｎに分散配置される。そして、管理サーバ５の制御機能により、分散配置された映像フレームと音声フレームが取り出され、閲覧クライアント６が所定の処理を施す。こうして、閲覧クライアント６は、映像を表示し、音声を出力することができる。

図１３は、監視システム４０の内部構成例を示すブロック図である。
監視システム４０は、サーバ機能とクライアント機能を分割した管理サーバ５と閲覧用クライアント６で構成されたいわゆるクライアント／サーバシステムとしている。
管理サーバ５は、カメラ群から取得した音声フレームと映像フレームを保存する。
閲覧クライアント６は、管理サーバ５を介して音声フレームと映像フレームを取得し、所定の処理を施して映像表示と音声出力を行う。

管理サーバ５は、音声バッファ部１１と、音声記録部３１と、映像バッファ部１２と、映像記録部３２と、を備えている。
閲覧クライアント６は、放音部１４と、再生部１５と、同期部１６と、同期ルール切替え部１７と、スケジュール設定部１８と、表示部１９と、スケジュール記録部３３と、を備えている。各部の処理は、既に説明した第１の実施の形態に係る監視システム１０で行われる処理と同様である。
管理サーバ５は、カメラ群からネットワーク２ａを介して音声フレームと映像フレームを取得し、保存する。そして、閲覧クライアント６は、管理サーバ５からネットワーク２ｂを介して音声フレームと映像フレームを取得し、所定の処理を施す。

監視システム４０においても、閲覧クライアント６は管理サーバ５から映像フレームと音声フレームを個別に取得できる。そして、閲覧クライアント６で音声フレームに付与された音声フレーム用タイムスタンプを基準として映像フレームとの同期処理を行い、映像表示と音声出力を行うことができる。また、閲覧クライアント６のみで、映像基準・音声基準の同期ルールの変更や、スケジュールの設定変更も行うことができる。

以上説明した第２の実施の形態に係る監視システム４０の内部構成は、音声フレームと映像フレームを保存する管理サーバ５と、読み出した音声フレームと映像フレームに同期させて表示・出力可能な閲覧クライアント６に分けている。このように、監視システム４０を構成する管理サーバ５と閲覧クライアント６は、分散配置することが可能である。ネットワーク２ｂに接続できる環境であれば、閲覧クライアント６は、管理サーバ５から離して設置することができる。このため、閲覧クライアント６は、大容量の記録部を備える必要がなく、例えばノート型の軽量なコンピュータ装置で機能を実現できるという効果がある。また、監視システム４０の機能分散を図ることができるため、障害対応の強化を図ることができるという効果がある。

次に、本発明の第３の実施形態例について、図１４を参照して説明する。本実施の形態例においても、監視場所の映像による映像フレームを生成する撮像部と、映像フレームで示される監視場所の音声による音声フレームを生成する集音部とを備えるカメラより、取得した音声フレームと映像フレームの同期をとり、映像を表示し、音声を出力する監視システム５０に適用した例としてある。なお、図１４において、既に第１の実施の形態で説明した図１に対応する部分には同一符号を付し、詳細な説明を省略する。

監視システム５０は、カメラ群と、サーバ機能とクライアント機能を分割した管理クライアント７と閲覧用クライアント８で構成している。管理クライアント７と閲覧クライアント８は、組み合わせることで監視装置として機能する。
管理クライアント７は、カメラ群から取得した音声フレームと映像フレームを保存し、所定の処理を施して映像表示と音声出力を行う。
閲覧クライアント８は、管理クライアント７を介して音声フレームと映像フレームを取得し、所定の処理を施して映像表示と音声出力を行う。

管理クライアント７は、音声バッファ部１１と、音声記録部３１と、映像バッファ部１２と、映像記録部３２と、放音部１４と、再生部１５と、同期部１６と、同期ルール切替え部１７と、スケジュール設定部１８と、表示部１９と、スケジュール記録部３３と、を備えている。
閲覧クライアント８は、放音部１４と、再生部１５と、同期部１６と、同期ルール切替え部１７と、スケジュール設定部１８と、表示部１９と、スケジュール記録部３３と、を備えている。各部の処理は、既に説明した第１の実施の形態に係る監視システム１０で行われる処理と同様である。

管理クライアント７は、カメラ群からネットワーク２ａを介して音声フレームと映像フレームを取得し、保存する。そして、管理クライアント７は、音声フレームと映像フレームに所定の処理を施して、管理クライアント７が備える放音部１４で音声出力し、表示部１９で映像を表示する。
同様に、閲覧クライアント８は、管理クライアント７から取得する音声フレームと映像フレームに所定の処理を施して、閲覧クライアント８が備える放音部１４で音声出力し、表示部１９で映像を表示する。

監視システム５０においても、閲覧クライアント８は管理クライアント７から映像フレームと音声フレームを個別に取得できる。そして、管理クライアント７と閲覧クライアント８は、音声フレームに付与された音声フレーム用タイムスタンプを基準として映像フレームとの同期処理を行い、映像表示と音声出力を行うことができる。また、映像基準・音声基準の同期ルールの変更や、スケジュールの設定変更も行うことができる。

以上説明した第３の実施の形態に係る監視システム５０の内部構成は、音声フレームと映像フレームを保存し、読み出した音声フレームと映像フレームに所定の処理を施して、映像と音声を表示・出力可能な管理クライアント７と、管理クライアント７から取得した音声フレームと映像フレームに所定の処理を施して、映像と音声を表示・出力可能な閲覧クライアント８に分けている。このように、監視システム５０を構成する管理クライアント７と閲覧クライアント８は、分散配置することが可能である。このため、閲覧クライアント８は、大容量の記録部を備える必要がなく、例えばノート型の軽量なコンピュータ装置で機能を実現できるという効果がある。また、監視システム５０の機能分散を図ることができるため、障害対応の強化を図ることができるという効果がある。

以上説明した第１〜第３の実施の形態に係る監視システムでは、音声基準で映像を表示することが可能である。このため、出力する音声の連続性を保った状態で、映像を同期させて表示することが可能となり、音声の音飛びの発生を抑えることができるという効果がある。また、ネットワークの帯域負荷が高い場合、音声よりも情報量が多い映像のほうが欠落を生じやすい。既存の映像のタイムスタンプを基準とする同期システムでは、このような環境では映像の欠落に加えて、音声があるにもかかわらず再生音が飛んでしまうため、意味を成さない音声になってしまう可能性が高いが、音声基準の同期処理を行うため、再生した音声の音飛びが生じないという効果がある。また、監視システムをサーバ・クライアント構成とした場合、サーバとクライアント間の帯域は十分に確保されているが、サーバとカメラ間の帯域は不十分なことがよくある。しかし、このような環境下であっても、映像の欠落に対して、音声の連続性を保てるという効果がある。

ここで、時間帯によって異なる同期ルールとする場合の例について、図１５を参照して説明する。
図１５は、上述した第１〜第３の実施の形態例で説明した監視システムを設置する際に好適な環境の例を示す。
図１５（ａ）は、映像・音声フレーム生成ネットワークカメラ１ａで撮像した昼間の映像の例を示す。
図１５（ｂ）は、映像・音声フレーム生成ネットワークカメラ１ａで撮像した夜間の映像の例を示す。
図１５（ｂ）に示すように、夜間や屋内などの光量が不足している環境下では、画像のフレームによる情報量が低下するため、相対的に音声の重要度が増す。このような環境下の場合、映像だけでは事象の判別ができず、音声が事象の判別に必要となる可能性が高い。このため、本例の監視システム１０を用いることで、同期ルールが音声基準である場合に、音声を連続して得ることができ、事象の判別が容易になる。また、スケジュールに応じて同期ルールを、音声基準と映像基準のいずれかに切替えることが可能である。このため、昼間などの光量が十分で映像の重要度が高い場合は映像基準とし、夜間などの光量が不足し、映像の重要度が低い場合は音声基準とするといった同期ルールの切替え運用が可能になる。

図１５（ｃ）は、映像・音声フレーム生成ネットワークカメラ１ａで撮像した教室内での授業風景の例を示す。
教室内での授業は、視野内の物体の動作は少ないが、会話量が多い環境であるといえる。このため、映像よりも音声（会話）内容が重要な局面では、音声を途切れることなく再生できることが求められる。そこで、本例の監視システム１０を用いて、同期ルールを音声基準とした状態で授業風景を監視することによって、音声を途切れることなく再生できるため、会話内容の判別が確実に行えるという効果がある。

なお、一般的に映像フレームよりも音声フレームのほうが単位時間当たりのフレーム数が多い。このため、複数のカメラから取得した映像の同期を取りたい場合、音声基準にして複数の映像フレームを同期させることができる。この結果、表示した複数の映像の時間ズレが少なくなるという効果が期待できる。

本発明の第１の実施の形態における監視システムの内部構成例を示すブロック図である。 本発明の第１の実施の形態における音声バッファ部の音声再生処理の例を示すフローチャートである。 本発明の第１の実施の形態における映像バッファ部の映像再生処理の例を示すフローチャートである。 本発明の第１の実施の形態における同期ルール切替え部の同期ルール切替え処理の例を示すフローチャートである。 本発明の第１の実施の形態におけるスケジュール設定部のスケジュール設定処理の例を示すフローチャートである。 本発明の第１の実施の形態における再生部が行う再生処理の例を示すフローチャートである。 本発明の第１の実施の形態における同期部が行う同期処理の例を示すフローチャートである。 本発明の第１の実施の形態における表示部が行う映像の表示処理と、放音部が行う音声の出力処理の例を示すフローチャートである。 本発明の第１の実施の形態におけるカメラ群から取得した音声フレームと映像フレームを、音声基準で表示・出力する処理の例を示すシーケンス図である。 本発明の第１の実施の形態における音声記録部に保存された音声フレームと、映像記録部に保存された映像フレームを用いて、音声基準で表示・出力する処理の例を示すシーケンス図である。 本発明の第１の実施の形態におけるスケジュールごとに同期ルールを切替える処理の例を示すシーケンス図である。 本発明の第２の実施の形態における監視システムの内部構成例を示すブロック図である。 本発明の第２の実施の形態における監視システムの外部構成例を示す説明図である。 本発明の第３の実施の形態における監視システムの内部構成例を示すブロック図である。 本発明の第１〜第３の実施の形態における監視システムを設置するために好適な環境の例を示す説明図である。

符号の説明

１ａ〜１ｎ…映像・音声フレーム生成カメラ、２…ネットワーク、３…管理サーバ、４…映像・音声フレーム生成ネットワークデバイス、１０…監視システム、１１…音声バッファ部、１２…映像バッファ部、１４…放音部、１５…再生部、１６…同期部、１７…同期ルール切替え部、１８…スケジュール設定部、１９…表示部、３１…音声記録部、３２…映像記録部、３３…スケジュール記録部、４０，５０…監視システム

Claims (10)

1. 監視カメラで撮像した監視映像による監視を行う監視装置において、
   監視場所の映像による映像フレームを生成する撮像部から、前記映像フレームを取得する時刻を映像フレーム用タイムスタンプとして、前記映像フレームに付与する映像バッファ部と、
   前記映像フレームで示される監視場所の音声による音声フレームを生成する集音部から、前記音声フレームを取得する時刻を音声フレーム用タイムスタンプとして、前記音声フレームに付与する音声バッファ部と、
   前記音声バッファ部より取得する前記音声フレームと前記映像バッファ部より取得する前記映像フレームに対して、前記音声フレーム用タイムスタンプを基準として前記映像フレーム用タイムスタンプを同期させる音声基準の同期処理を行うとともに、同期させた前記映像フレームを組み立てた表示用フレームセットを、映像を表示する表示部に出力し、同期させた前記音声フレームを組み立てた出力用フレームセットを、音声を放音する放音部に出力する再生部と、
   を備えたことを特徴とする
   監視装置。
2. 請求項１記載の監視装置において、
   前記再生部は、前記映像フレーム用タイムスタンプを基準として前記音声フレーム用タイムスタンプを同期させる映像基準の同期処理を行うことを特徴とする
   監視装置。
3. 請求項２記載の監視装置において、
   前記音声基準の同期処理の場合、前記映像バッファ部から前記映像フレームを取得し、作成した再生用映像フレームを前記再生部に供給するとともに、前記映像基準の同期処理の場合、前記音声バッファ部から前記音声フレームを取得し、作成した再生用音声フレームを前記再生部に供給する同期部を備えたことを特徴とする
   監視装置。
4. 請求項３記載の監視装置において、
   前記再生部は、前記音声フレームと前記映像フレームが同期できない場合であって、前記音声基準の同期処理の場合、前記映像フレームの取得を指示する音声基準の同期指示を出力し、前記映像基準の同期処理の場合、前記音声フレームの取得を指示する映像基準の同期指示を前記同期部に出力し、
   前記同期部は、前記音声基準の同期指示を受け取った場合、前記音声バッファ部より前記音声フレームを取得するとともに、前記映像基準の同期指示を受け取った場合、前記映像バッファ部より前記映像フレームを取得することを特徴とする
   監視装置。
5. 請求項４記載の監視装置において、
   前記音声基準の同期処理と、前記映像基準の同期処理のうち、いずれかの同期処理に切替えて、切替えた同期処理を前記再生部及び同期部に通知する同期処理切替え部を備えたことを特徴とする
   監視装置。
6. 請求項５記載の監視装置において、
   前記音声バッファ部によって前記音声フレームが保存され、保存された前記音声フレームが前記音声バッファ部によって読み出される音声記録部と、
   前記映像バッファ部によって前記映像フレームが保存され、保存された前記映像フレームが前記映像バッファ部によって読み出される映像記録部と、を備えたことを特徴とする
   監視装置。
7. 請求項６記載の監視装置において、
   前記同期処理切替え部が切替える同期処理のスケジュールを所定日時で設定するスケジュール設定部と、
   前記スケジュール設定部が設定した前記スケジュールを保存するスケジュール記録部と、を備えたことを特徴とする
   監視装置。
8. 請求項７記載の監視装置において、
   前記再生部は、前記音声基準の同期処理の場合、単一の前記音声フレームに対して、複数の前記映像フレームを同期させることを特徴とする
   監視装置。
9. 監視カメラで撮像した監視映像による監視を行う監視方法において、
   監視場所の映像による映像フレームを生成する撮像部から、前記映像フレームを取得する時刻を映像フレーム用タイムスタンプとして、前記映像フレームに付与し、
   前記映像フレームで示される監視場所の音声による音声フレームを生成する集音部から、前記音声フレームを取得する時刻を音声フレーム用タイムスタンプとして、前記音声フレームに付与し、
   前記前記音声フレームと前記映像フレームに対して、前記音声フレーム用タイムスタンプを基準として前記映像フレーム用タイムスタンプを同期させる音声基準の同期処理を行うとともに、同期させた前記映像フレームを組み立てた表示用フレームセットを、映像を表示する表示部に出力し、同期させた前記音声フレームを組み立てた出力用フレームセットを、音声を放音する放音部に出力することを特徴とする
   監視方法。
10. 監視カメラで撮像した監視映像による監視を行う監視システムにおいて、
    監視場所の映像による映像フレームを生成する撮像部と、
    前記映像フレームで示される監視場所の音声による音声フレームを生成する集音部と、
    前記音声フレームを取得する時刻を音声フレーム用タイムスタンプとして、前記音声フレームに付与する音声バッファ部と、
    前記映像フレームを取得する時刻を映像フレーム用タイムスタンプとして、前記映像フレームに付与する映像バッファ部と、
    前記音声バッファ部より取得する前記音声フレームと、前記映像バッファ部より取得する前記映像フレームに対して、前記音声フレーム用タイムスタンプを基準として前記映像フレーム用タイムスタンプを同期させる音声基準の同期処理を行うとともに、同期させた前記音声フレームを組み立てた出力用フレームセットを、音声を放音する放音部に出力し、同期させた前記映像フレームを組み立てた表示用フレームセットを、映像を表示する表示部に出力する再生部と、
    を備えたことを特徴とする
    監視システム。