JP4315827B2 - 画像表示方法及び画像表示装置並びに画像表示プログラム - Google Patents

画像表示方法及び画像表示装置並びに画像表示プログラム Download PDF

Info

Publication number
JP4315827B2
JP4315827B2 JP2004022106A JP2004022106A JP4315827B2 JP 4315827 B2 JP4315827 B2 JP 4315827B2 JP 2004022106 A JP2004022106 A JP 2004022106A JP 2004022106 A JP2004022106 A JP 2004022106A JP 4315827 B2 JP4315827 B2 JP 4315827B2
Authority
JP
Japan
Prior art keywords
image
alarm
image data
recording
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004022106A
Other languages
English (en)
Other versions
JP2005217791A5 (ja
JP2005217791A (ja
Inventor
誠一 平井
慎矢 小倉
崇 三戸
茂幸 村田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Kokusai Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc filed Critical Hitachi Kokusai Electric Inc
Priority to JP2004022106A priority Critical patent/JP4315827B2/ja
Priority to US10/587,454 priority patent/US8015586B2/en
Priority to GB0614541A priority patent/GB2427521B/en
Priority to PCT/JP2005/001113 priority patent/WO2005074274A1/ja
Publication of JP2005217791A publication Critical patent/JP2005217791A/ja
Publication of JP2005217791A5 publication Critical patent/JP2005217791A5/ja
Application granted granted Critical
Publication of JP4315827B2 publication Critical patent/JP4315827B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/93Regeneration of the television signal or of selected parts thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Description

本発明は、例えば、画像再生方法に関し、特に、例えば、多様な形態で記録されている画像データを効果的に再生する画像再生方法に関する。
ネットワーク通信の普及により、カメラで撮影された画像(動画像、静止画像、静止画像が時系列に連続した間欠的な準動画像等)を、遠隔地のユーザがパーソナルコンピュータやモバイルツール等のクライアント装置で画面表示することができるシステムが実施されている。
このようなシステムは、種々な用途に利用されており、例えば、画像により侵入者や管理対象物の異常を監視する監視システムとして利用されている(例えば、特許文献1)。
特開2003−274383号公報
ところで、クライアント装置への画像データの配信は、カメラで撮影した画像データをサーバに蓄積し、当該サーバからクライアント装置へ配信する形態が一般的であるが、上記のようなシステムの普及に伴い、今後、ユーザの利便性向上のために、サーバへ蓄積する画像データの記録形態についても多様化することが想定される。例えば、ネットワークの通信負荷やサーバの記憶容量等を考慮し、同一のカメラの映像であっても、時間帯や、特定の異常が発生した場合等に応じて、画像データの品質(解像度、圧縮率、フレームレート(fps:frame per second)等)を変えたりする場合もありえる。しかしながら、従来のシステムは、多用な形態で記録されている画像データを効果的に再生するに十分なシステムではなかった。
本発明は、このような従来の事情に鑑み為されたもので、例えば、多用な形態で記録されている画像データを効果的に再生することができる画像再生方法を提供することを目的とする。
本発明の画像再生方法は、1つの撮像装置により得られる動画像を異なるフレームレートにより複数系統で記録し、該記録された動画像を再生する画像再生方法であって、前記記録された動画像は、複数の静止画像データから構成され、前記記録された動画像の再生の基準となる時間軸に従い、前記複数系統のうちのいずれか1つの系統の動画像を構成する前記静止画像データを再生することように構成される。
ここで、「複数系統で記録」とは、例えば、1つの撮像装置により得られた映像を異なる映像条件により1つの記録装置の複数チャネル或いは異なる記録装置にそれぞれ記録することや、それに準じた状況による記録等のことをいう。ここで、映像条件とは、例えば、上記したフレームレートの他、解像度や、圧縮率等のことをいう。
なお、本明細書では、「画像」という語を用いて説明を行うが、例えば、「映像」といった語についても、同様な用語であり、本発明に包含される。また、本明細書では、「再生」という語を用いて説明を行うが、例えば、「表示」や「閲覧」といった語についても、同様な用語であり、本発明に包含される。また、本明細書では、「記録」という語を用いて説明を行うが、例えば、「記憶」や「録画」といった語についても、同様な用語であり、本発明に包含される。
また、本発明の画像再生方法において、前記複数系統のうち少なくとも2つの系統の動画像を構成する前記静止画像データがそれぞれ同時刻に生成された画像データである場合は、前記フレームレートの高い系統の動画像を構成する前記静止画像データを再生するように構成される。
ここで、「同時刻」であるか否かは、例えば、画像データに時刻情報を付与する際の態様により発生する誤差分の時間等を考慮して判断されても良い。
また、本発明の画像再生方法において、前記フレームレートの高い系統の動画像を構成する前記静止画像データが連続して存在する期間においては、前記フレームレートの高い系統の動画像を構成する前記静止画像データを再生するように構成される。
また、本発明の画像再生方法は、1つの撮像装置により得られる動画像を異なるフレームレート或いは異なる圧縮率或いは異なる解像度の少なくともいずれか1つにより複数系統で記録し、該記録された動画像を再生する画像再生方法であって、前記記録された動画像は、複数の静止画像データから構成され、前記記録された動画像の再生の基準となる時間軸に従い、前記複数系統のうちのいずれか1つの系統の動画像を構成する前記静止画像データを再生することように構成される。
また、本発明の画像再生方法において、前記複数系統のうち少なくとも2つの系統の動画像を構成する前記静止画像データがそれぞれ同時刻に生成された画像データである場合は、前記フレームレートの高い或いは前記圧縮率の低い或いは前記解像度の高い系統の動画像を構成する前記静止画像データを再生するように構成される。
また、本発明の画像再生方法において、前記フレームレートの高い系統或いは前記圧縮率の低い或いは前記解像度の高い系統の動画像を構成する前記静止画像データが連続して存在する期間においては、前記フレームレートの高い系統或いは前記圧縮率の低い或いは前記解像度の高い系統の動画像を構成する前記静止画像データを再生するように構成される。
以上説明したように、本発明に係る画像再生方法によると、例えば、多用な形態で記録されている画像データを効果的に再生することができる。
本発明に係る一実施例を図面を参照して説明する。
以下、本発明の実施例について、図面を参照して説明する。
図1は、本発明による画像再生方法が適用される画像蓄積配信システムの全体構成の1例を示す。
ここに示した画像蓄積配信システムは、画像(音声を含む場合もある)データを蓄積するための記録装置(以下、ディスク装置と言う)3を備えた画像蓄積配信サーバ1と、ネットワーク4を介して上記画像蓄積配信サーバ1に接続された複数のWebカメラ5(5−1〜5−n)および複数のクライアント端末6(6−1〜6−m)からなる。本発明の画像蓄積配信システムにおいては、1のWebカメラ5の画像データを、例えば、記録モードに応じて複数のチャネル(本実施例では2つのチャネル)に分けて記録する構成としているため、Webカメラ5−1〜5−nは、それぞれ固有のチャネル番号を複数有している。例えば、5−1はチャネル1(ch1)用、及び、チャネル2(ch2)用、‥‥‥、5−nはチャネルp−1(chp−1)用、及び、チャネルp(chp)のWebカメラとする。ここで、n、m、pは自然数であり、n=m=pである必要はなく、その組み合わせは任意に選択できる。
Webカメラ5−1〜5−nによる撮影映像の各フレームの画像データは、例えば、JPEG等の画像圧縮方式で圧縮され、IPパケット形式で画像蓄積配信サーバ1に送信される。この場合、圧縮された画像データは、フレーム毎にデータ量の異なる可変長データとなる。画像蓄積配信サーバ1は、Webカメラ5−1〜5−nからネットワークを介して受信した各パケットから圧縮画像データ(以下、単に画像データと言う)を抽出し、ディスク装置3に予め確保されたチャネル別の記録領域30(30−1〜30−p)に記録する。したがって、各記憶領域30には1台のWebカメラ5の画像が時系列に格納されることとなる。また、記録の際、各画像データには制御のためにフレーム毎にフレーム番号が割り振られる。なお、上記画像蓄積配信システムにおいては、画像蓄積配信サーバ1とディスク装置3等の機能が一体化された装置を用いることも可能である。
各クライアント端末6は、画像蓄積配信サーバ1に対して、チャネル番号とフレーム番号を指定して画像データの配信を要求する。画像蓄積配信サーバ1は、クライアント端末からの要求に応じて、ディスク装置3から読み出した指定チャネル番号/フレーム番号の画像データをIPパケット形式で要求元のクライアント端末6に配信サービスする。これにより、各クライアント端末6は、ディスク装置3に記録されている画像データの再生を行うことができる。本発明の画像再生方法は、クライアント端末6が画像蓄積配信サーバ1に対して画像データの配信要求を行い、クライアント端末6のモニタに画像データを再生する際に適用される。
ここで、上記画像蓄積配信システムに実装されている記録モードとしては、そのトリガ要因の違いから、スケジュール録画、手動録画、アラーム録画の3種類がある。スケジュール録画とは、あらかじめユーザにより設定された記録のタイムテーブルに従ってWebカメラ5から画像データの記録を行うもの、手動録画とは、クライアント端末6のモニタにて画像監視を行っているユーザがクライアント端末6のGUI操作(録画ボタン押下等)により任意のタイミングでWebカメラ5から画像データの記録を行うもの、アラーム録画とは、Webカメラ5へのアラーム信号の入力(外部センサからの接点入力、画像認識処理による侵入者検知等)によりWebカメラ5から画像データの記録を行うものである。なお、これら3つの記録モード以外の記録モードが用いられてもよいことは言うまでもない。また、以下では、スケジュール録画と手動録画とを通常録画と称し、通常録画により記録が行われるディスク装置3の記録領域30のことを通常チャネル(通常ch)と称する。また、アラーム録画により記録が行われるディスク装置3の記録領域30のことをアラームチャネル(アラームch)と称する。
図2は、本発明の一実施例に係るディスク装置の記録内容を説明するための図である。
図2に示すように、例えば、ディスク装置3の記録容量のコスト制約から、通常録画を行う場合には低フレームレートで通常chへ画像データの記録を行い、アラーム録画を行う場合にはアラームが発生した時のみ高フレームレートでアラームchへ画像データの記録を行うような態様が用いられる。なお、図2のアラームchに示したように、アラーム録画については、アラーム発生から時系列を遡ってアラーム発生時刻前の所定時間の画像(プリアラーム画像)の記録も行うようにしている。なお、ここでは、通常録画とアラーム録画とでは、記録される画像データのフレームレートのみが異なる場合を例に説明するが、更に画像の圧縮率や解像度を変える等、各記録モードの記録内容は実際のシステムの設定状況に応じて任意に設定することが可能である。一例として、アラーム録画は、通常録画に比べて、高フレームレート、低圧縮率、高解像度で画像データの記録を行うようにすることが可能である。
図3は、本発明の一実施例に係るディスク装置への記録動作を説明するための図である。
図3を用いて、Webカメラ5の画像データを通常録画、及び、アラーム録画によりディスク装置3の記憶領域30−1(ch1)、30−2(ch2)に記録する際の、Webカメラ5及び画像蓄積配信サーバ1の構成を説明する。なお、ここでは、簡単化のため、Webカメラ5のうちの1台のWebカメラ5−1を用いて説明を行う。
Webカメラ5−1は、撮影部50、エンコーダ部51、送信映像メモリ52、送信映像メモリ(リングバッファ)53、ネットワークインタフェース(I/F)54から構成されている。
画像蓄積配信サーバ1は、ネットワークインタフェース(I/F)10、受信映像メモリ11(11−1〜11−2)、ディスクインタフェース(I/F)12から構成されている。ここで、Webカメラ5−1と画像蓄積配信サーバ1とはネットワークI/F54、10を介して接続され、画像蓄積配信サーバ1とディスク装置3とはディスクI/F12を介して接続されている。
Webカメラ5−1の撮影部50は、所定の視野範囲を撮像する。撮像された映像信号は、例えば、30fpsというフレームレート、即ち、1秒間に30フレームという時間間隔でエンコーダ部51に入力される。エンコーダ部51においては、映像信号を、例えば、JPEG形式等で圧縮符号化し、画像データを生成する。
エンコーダ部51で符号化された画像データは、例えば、30fpsで送信映像メモリ52に入力され、送信映像メモリ52において一時的に記憶される。送信映像メモリ52は、エンコーダ部51より新たな1フレームの画像データが入力されると、それまで記憶していた画像データを破棄し、新たな画像データを記憶するような構成が用いられる。画像蓄積配信サーバ1のCPU(不図示)は、通常録画を行う際は、予め画像蓄積配信サーバ1内のデータメモリ(不図示)に設定されている通常録画用レート(フレームレート)に従い、Webカメラ5−1に対して画像データの配信要求を送信する。Webカメラ5−1は、画像データの配信要求を受信すると、その時点において送信映像メモリ52に記憶されている1フレームの画像データを画像蓄積配信サーバ1へ送信する。通常録画の場合、画像蓄積配信サーバ1は、クライアント端末6−1等のユーザにより設定された録画開始から録画終了に至るまで、Webカメラ5−1に対して画像データの配信要求を繰り返す。画像蓄積配信サーバ1は、受信した画像データを受信映像メモリ11−1に一時的に記憶し、その後、画像データをディスクI/F12を介してWebカメラ5−1の通常chとして使用されるディスク装置3の記憶領域30−1(ch1)に記録する。なお、本実施形態では、要求がある毎に画像データを1フレームずつネットワーク4を介して通信する方法を採用しているが、要求がある毎に画像データを複数フレーム分(あるいは1ファイル分)通信するようにしてもよい。また、本実施形態では、Webカメラ5から出力される画像データは間欠的に時系列に連続した準動画像であるが、他の形式が用いられてもよい。また、本実施形態のように、画像蓄積配信サーバ1側からのアクセス(配信要求)を受けて、Webカメラ5が画像データの配信を行うpull型のシステム構成の他、サーバ1側からのアクセスなしに、例えば、所定のタイミングでWebカメラ5が画像データの配信を行うpush型のシステム構成が用いられても良い。
また、エンコーダ部51で符号化された画像データは、予めWebカメラ5−1内のデータメモリ(不図示)に設定されているアラーム録画用レート(フレームレート)に従って、送信映像メモリ53に入力され、送信映像メモリ53において一時的に記憶される。送信映像メモリ53は、送信映像メモリ52の構成とは異なり、例えば、100フレーム分といった複数フレームの画像データを保持できるような構成となっている。これは、上述した通り、アラーム録画においては、アラームが発生する前の所定期間における画像データ(プリアラーム画像)の記録を行う必要があるためである。Webカメラ5−1に接続されている外部センサ(不図示)が作動しWebカメラ5−1に対してアラーム信号が入力されると、Webカメラ5−1から画像蓄積配信サーバ1に対してアラーム発生通知が送信される。アラーム発生通知を受信した画像蓄積配信サーバ1のCPUは、アラーム録画を開始する。アラーム録画を行う際は、アラーム発生の所定時間前の時刻を指定してWebカメラ5−1に対して画像データの配信要求を送信する。Webカメラ5−1は、送信映像メモリ53から当該指定時刻からの画像データを画像蓄積配信サーバ1へ送信する。画像蓄積配信サーバ1は、受信した画像データを受信映像メモリ11−2に一時的に記憶し、その後、画像データをディスクI/F12を介してWebカメラ5−1のアラームchとして使用されるディスク装置3の記憶領域30−2(ch2)に記録する。
なお、Webカメラ5−1から画像蓄積配信サーバ1への画像データの送信は、発生したアラームが終了するまで継続する。すなわち、外部センサの作動が停止しWebカメラ5−1から画像蓄積配信サーバ1に対してアラーム終了通知が送信されると、アラーム終了通知を受信した画像蓄積配信サーバ1のCPUは、画像データの配信要求を停止する。ここで、送信映像メモリ53に記憶されている画像データは、Webカメラ5−1のCPU(不図示)がアラーム録画用レートに従いエンコーダ部51より読み出して送信映像メモリ53に記憶したものであるため、通常録画の場合とは異なり、アラーム録画の場合は、画像蓄積配信サーバ1のCPUはWebカメラ5−1に対して画像データの配信要求を行う際にフレームレートに関する制御は行わず、アラーム発生からアラーム終了まで(プリアラーム画像も含む)の時間帯における送信映像メモリ53内の画像データすべてについて配信要求を行う。なお、上述したように、画像蓄積配信サーバ1に対してアラーム終了通知が送信され画像データの配信要求を停止するという態様の他、例えば、画像蓄積配信サーバ1がアラーム発生通知を受信した時点から予め設定された所定期間後に画像データの配信要求を停止する(ポストアラーム録画)といった態様が用いられてもよい。
ここで、ディスク装置3の記憶領域30に記録される画像データには、例えば、当該フレームの時刻情報(以下、タイムスタンプと称する。)、各chにおける撮影順序を示すフレーム番号、フレームレート情報(通常録画用レート或いはアラーム録画用レート)等が付加情報として付されている。ここで、タイムスタンプは、Webカメラ5のエンコ−ダ部51により画像データが生成される時刻や、画像蓄積配信サーバ1がWebカメラ5より画像データを受信した時刻等を用いて生成することができる。例えば、画像蓄積配信サーバ1がWebカメラ5より画像データを受信した時刻を用いてタイムスタンプを生成する場合、一例として、通常録画の場合は、画像データの受信時刻を当該画像データのタイムスタンプとする。一方、アラーム録画の場合は、送信映像メモリ53に所定期間画像データが保持される時間があるため、一例として、Webカメラ5がネットワークI/F54より画像データを配信する時刻とエンコ−ダ部51により画像データが生成された時刻との差分を求め、求めた差分を画像蓄積配信サ―バ1における画像データの受信時刻から減算した時刻を当該画像データのタイムスタンプとする。
なお、本実施形態では、通常録画用レートは画像蓄積配信サーバ1側に設定し、アラーム録画用レートはWebカメラ5側に設定しているが、これらの情報の設定先は実際のシステムの構成に応じて任意に選定することが可能である。例えば、図3の送信映像メモリ53のような複数フレーム分の画像データを一時的に保持するようなメモリをWebカメラ5側に設けるのではなく、画像蓄積配信サーバ1側に設けるような構成が用いられる場合であれば、アラーム録画用レートについても画像認識サーバ1側に設定すればよい。
次に、本発明の画像再生方法について説明する。
ディスク装置3に記録されている所定のWebカメラ5の画像データをクライアント端末6のモニタに再生する際の画像再生方法としては、「通常chのみ再生」、「アラームchのみ再生」、「シームレス再生(詳しくは、後述する)」の3つの画像再生方法が存在する。例えば、クライアント端末6のモニタの表示画面上にこれらの画像再生方法のいずれかを選択するためのGUIが表示され、ユーザはマウス等の入力機器のボタンを押下することで、いずれかの画像再生方法を選択できる。以下、これら3つの画像再生方法について詳細に説明する。
図4は、「通常chのみ再生」の動作を説明するための図である。図4において、水平方向は時間方向を表し、各chの録画期間が長方形で表されている。また、太線の矢印で示される再生される部分となる。なお、後述する図5、図6についても同様である。ここで、図4に示す通り、「通常chのみ再生」を行う場合は、所定の通常ch、例えば、ディスク装置3の記憶領域30−1(Webカメラ5−1の通常ch)に記録されている画像データのみが時系列順に読み出されてクライアント端末6のモニタに再生される。
図5は、「アラームchのみ再生」の動作を説明するための図である。図5に示す通り、「アラームchのみ再生」を行う場合は、所定のアラームch、例えば、ディスク装置3の記憶領域30−2(Webカメラ5−1のアラームch)に記録されている画像データのみが時系列順に読み出されてクライアント端末6のモニタに再生される。なお、図5の点線の矢印で示したように、例えば、画像データが存在しない期間については再生がスキップされ、次の期間における映像の再生が続けられる。例えば、Webカメラ5により生成された画像データをディスク装置3の記憶領域30に記録する際等に、各画像データに対して撮影順序を示すフレーム番号を付すような構成を用いる場合は、クライアント端末6は画像蓄積配信サーバ1に対してフレーム番号順に画像データの配信要求を行うことで、図4、及び、図5で示した画像再生方法を実現することが可能である。
図6は、本発明の一実施例に係る「シームレス再生」の動作を説明するための図である。ここで、「シームレス再生」とは、図6に示すように、時系列に沿って映像の再生を行う際、例えば、ある時刻において、アラームchに画像データが存在する場合には、通常chの画像データの有無に関わらずアラームchの画像データを再生し、アラームchに画像データが存在せず、通常chにのみ記画像データが存在する場合には、通常chの画像データを再生するといったアルゴリズムによって実施される画像再生方法のことをいう。両chとも画像データが存在しない場合には、例えば、次にどちらかのchに画像データが存在する時刻までスキップして画像データの再生を続ける。ここで、アラームchの画像データの再生を優先する理由は、上述したように、アラーム録画においては高フレームレートで画像データを記録するようにしたため、図6に示したように、アラームchと通常chとのどちらも画像データが存在する区間については、アラームchの画像データを再生した方がより詳細に内容の確認を行うことができるためである。なお、実際のシステムにおいては、アラーム録画、及び、通常録画を行う際のフレームレート、画像の解像度や圧縮率などは任意に設定することができるため、同時刻にどちらのchにも画像データが存在する区間について、どのchの画像データの再生を優先するかは、実際のシステムの設定状況に応じて任意に設定することが可能である。なお、後述するように各時刻において各chに画像データが存在するかの判定は、例えば、画像データの再生開始時に生成する再生基準時刻と、各chから取出した画像データに付与されたタイムスタンプの比較により行う。ここで、再生基準時刻とは、例えば、再生の基準となる時間軸を意味する。
図7は本発明の一実施例に係る画像再生処理(シームレス再生)700の基本的な動作を説明するフローチャートである。
図7を用いて、クライアント端末6が実行する画像再生処理(シームレス再生)の流れの一例を説明する。
画像再生処理700では、まず、現在のシステム時刻(現在時刻)を制御時刻として、クライアント端末1が備えるデータメモリ(不図示)に記憶する(ステップ701)。
次に、現在クライアント端末6のモニタに表示している画像データのタイムスタンプを再生基準時刻としてデータメモリに記憶する(ステップ702)。このステップ702の処理は、画像データの再生開始時刻を設定するための処理であるため、現在クライアント端末6のモニタに表示されている画像データのタイムスタンプを再生開始時刻とする他、例えば、クライアント端末6のユーザに再生開始時刻を指定させる等、種々な態様を用いることができる。
次に、クライアント端末6が現在、画像蓄積配信サーバ1を介してディスク装置3のアラームch或いは通常chの画像データを取得している最中であるか否かが判定される(ステップ703)。後述するステップ709において、クライアント端末6は画像蓄積配信サーバ1に対して所定の画像データの配信要求を行うが、クライアント端末6がその画像データの取得を終えるまでは、次のステップへは分岐しない(ステップ703でYesと判定される)。クライアント端末6が現在、画像データの取得中ではない場合は、次のステップ704へ分岐する(ステップ703でNoと判定される)。
次に、データメモリに記憶されている制御時刻と現在のシステム時刻の差分を算出し、算出された時間を「ディレイ時間」としてデータメモリに記憶する(ステップ704)。なお、ディレイ時間を求めた後、現在のシステム時刻を新たな制御時刻としてデータメモリに記憶し、制御時刻の更新を行う。従って、このディレイ時間とは、図7のステップ704の処理を終えた後、次にステップ704の処理に戻ってくるまでに要した時間を表わすこととなる。
次に、データメモリに記憶されている再生基準時刻にステップ704で算出したディレイ時間を加算し、再生基準時刻の更新を行う(ステップ705)。ディレイ時間を用いて再生基準時刻を更新するこのステップ705の処理と、後述するステップ708の処理とにより、クライアント端末6における画像データの再生タイミングを実際の時間経過に合わせることができる。
次に、クライアント端末6が備えるアラームch用の再生画像メモリと、通常ch用の再生画像メモリから最新取得画像のフレーム番号及びタイムスタンプを取得する(ステップ706)。ここで、再生画像メモリについて説明する。図8は、クライアント端末6が備える再生画像メモリの一構成例を示す図である。再生画像メモリは、通常ch用の再生画像メモリ81と、アラームch用の再生画像メモリ82とからなり、それぞれのメモリは、前回取得画像記憶領域と、最新取得画像記憶領域という2フレーム分の画像データを一時的に保持する領域を有している。図7に示す画像再生処理を行う際、画像蓄積配信サーバ1を介してディスク装置3のアラームchに記録されている画像データを受信したクライアント端末6は、当該画像データをアラームch用の再生画像メモリ82の最新取得画像記憶領域に記憶する。通常chについても同様である。なお、クライアント端末6は、後述するステップ709において、再生画像メモリの更新を行うため、1つ前に取得した画像データについては、前回取得画像記憶領域に記憶されることとなる。
次に、ステップ706で取得したアラームch用の再生画像メモリ82の最新取得画像のタイムスタンプと、通常ch用の再生画像メモリ81の最新取得画像のタイムスタンプをそれぞれ再生基準時刻と比較する(ステップ707)。アラームch或いは通常chの最新取得画像のタイムスタンプの少なくともいずれか一方が再生基準時刻以前(以下)の時刻を示している場合は、ステップ708に分岐する。一方、どちらの最新取得画像のタイムスタンプも再生基準時刻より新しい(大きい)時刻を示している場合は、ステップ711に分岐する。
ステップ707でYesと判定された場合、ステップ707において最新取得画像が再生基準時刻以下のタイムスタンプを有していると判定されたchについて、次に取得すべき画像データのフレーム番号を算出する(ステップ708)。なお、アラームchと通常chのどちらのchについても最新取得画像のタイムスタンプが再生基準時刻以下であると判定される場合には、両方のchについて、次に取得すべき画像データのフレーム番号の算出を行う。
ここで、フレーム番号の算出は、例えば、ステップ704で得られたディレイ時間を用いて行われる。ディスク装置3の各chに記録されている画像データにはそれぞれ時系列順にフレーム番号が付されているような構成であれば、例えば、ディレイ時間が小さい場合には、次に取得する画像データは現在、クライアント端末6が保持している最新取得画像データの次フレームの画像データとする、即ち、次に取得する画像データのフレーム番号は、ステップ706で取得したフレーム番号に1を加えた番号とする。一方、例えば、ディレイ時間が大きい場合には、次に取得する画像データは現在、クライアント端末6が保持している最新取得画像データの3フレーム後の画像データとする、即ち、次に取得する画像データのフレーム番号は、ステップ706で取得したフレーム番号に3を加えた番号とする。より具体的には、例えば、ディスク装置3のあるchに記録されている画像データが30fpsである場合、33msec間隔でフレーム番号が1増えることになるため、ステップ704で得られたディレイ時間が100msecである場合には、ディレイ時間(100msec)をフレーム間隔(33msec)で割り、その商である3という値を現在、クライアント端末6が保持している最新取得画像データのフレーム番号に加えて、その番号を次にクライアント端末6が画像蓄積配信サーバ1に対して配信要求を行う画像データのフレーム番号とする。ここで、上記のように、フレーム番号の算出のためのフレームレート情報(上記の例ではフレーム間隔33msec)には、例えば、再生画像メモリの最新取得画像データが付加情報として保持しているフレームレート情報を用いることができる。
次に、クライアント端末6は画像蓄積配信サーバ1に対して、ステップ708で算出したフレーム番号の画像データの配信要求を行う(ステップ709)。ここで、ステップ707で再生基準時刻以下と判定された最新取得画像データがアラームchのものであれば、このステップ709ではクライアント端末6はアラームchの画像データの配信要求を行い、再生基準時刻以下と判定された最新取得画像データが通常chのものであれば、このステップ709ではクライアント端末6はアラームchの画像データの配信要求を行うことになる。また、再生基準時刻以下と判定された最新取得画像データがその両者である場合には、このステップ709ではクライアント端末6はアラームch及び通常chの両方に対して、それぞれステップ708で算出したフレーム番号の画像データの配信要求を行う。なお、クライアント端末6は、画像蓄積配信サーバ1に対して新たな画像データの配信要求を行う際、当該配信要求を行うchについて再生画像メモリの更新を行う。例えば、ステップ709でアラームchの新たな画像データの配信要求を行う場合には、その前にアラームch用の再生画像メモリ82の最新取得画像記憶領域に記憶されていた画像データを前回取得画像記憶領域に記憶する。そして、ステップ709で新たに配信要求を行った画像データについては、画像蓄積配信サーバ1より受信した後、アラームch用の再生画像メモリ82の最新取得画像記憶領域に記憶する。
次に、クライアント端末6は、再生画像メモリ81、82よりモニタに再生する画像データを選択し、当該画像データをモニタに出力する(ステップ710)。なお、ステップ710の詳細については、図9を用いて後述する。また、本例においては、ステップ710の再生画像選択処理を図7に示したフローチャートの中の1つの処理として記載しているが、例えば、画像データをモニタに描画する処理に要する時間を考慮して再生画像選択処理を独立に実行するようにしてもよい。
次に、ステップ707でクライアント端末6のいずれのchの最新取得画像のタイムスタンプも再生基準時刻より新しいと判定される場合、新たな画像データの配信要求等(ステップ708等の処理)は行わず、アラームch用及び通常ch用の再生画像メモリ81、82の最新取得画像の内、古い(過去の)時刻を示すタイムスタンプをスキップ判定時刻としてデータメモリに記憶する(ステップ711)。
次に、ステップ711で設定したスキップ判定時刻と再生基準時刻との差分が3秒以上あるかないかを判定する(ステップ712)。差分が3秒以上ある場合には、ステップ713に分岐し、差分が3秒以上ない場合には、ステップ713の処理は行わず、ステップ714に分岐する。
ステップ712でYesと判定された場合、スキップ判定時刻を新たな再生基準時刻としてデータメモリに記憶する(ステップ713)。なお、上記3秒は再生基準時刻と、次に再生されるべき画像データのタイムスタンプとの差分から再生基準時刻を所定時刻先へスキップさせるか否かを見定める基準値の一例であり、当該基準値は、実際のシステムの設定状況に応じて任意に設定すればよい。この基準値を適切な値に設定することで、例えば、ディスク装置3のchに画像データが存在しない時間帯をスキップして画像データの再生を行うことができる。なお、スキップ判定時刻を用いて再生基準時刻を更新した後、現在のシステム時刻を新たな制御時刻としてデータメモリに記憶し、制御時刻の更新を行うようにしてもよい。
次に、例えば、クライアント端末6のユーザより画像データの再生停止指示があったか否かを判定し、再生停止指示があった場合には画像再生処理を終了し、再生停止指示がない場合にはステップ703に分岐する(ステップ714)。
ここで、図7に示したステップ710の処理の一例を図9を用いて詳細に説明する。
再生画像選択処理(ステップ710)では、まず、通常ch用の再生画像メモリ81の前回取得画像のタイムスタンプと、アラームch用の再生画像メモリ82の前回取得画像のタイムスタンプとの比較を行う(ステップ901)。比較の結果、アラームch用の再生画像メモリ82の前回取得画像のタイムスタンプの方が新しいと判定される場合は、ステップ902に分岐する。同様に、アラームch用の再生画像メモリ82の前回取得画像のタイムスタンプと、通常ch用の再生画像メモリ81の前回取得画像のタイムスタンプとが同時刻であると判定される場合も、ステップ902に分岐する。一方、比較の結果、通常ch用の再生画像メモリ81の前回取得画像のタイムスタンプの方が新しいと判定される場合は、ステップ903に分岐する。
ステップ901でYesと判定された場合は、アラームch用の再生画像メモリ82より前回取得画像を読み出し、モニタへ出力し画像データの再生を行う(ステップ902)。本例では、ステップ710を行う際に再生画像メモリ81、82の前回取得画像記憶領域に記憶されている画像データのタイムスタンプは、再生基準時刻よりも古い(過去の)時刻となるように構成されるため、アラームchと通常chの前回取得画像の内、タイムスタンプが新しい方の画像データは、再生基準時刻により近い時刻の画像データということになる。また、アラームch用の再生画像メモリ82の前回取得画像のタイムスタンプと、通常ch用の再生画像メモリ81の前回取得画像のタイムスタンプとが同時刻であると判定される場合にもステップ902に分岐するようにしたのは、図6を用いて上述したように、アラームchと通常chに同時刻の画像データが存在する場合には、アラームchの画像データの再生を行うようにしたためである。
ステップ901でNoと判定された場合は、アラームch用の再生画像メモリ82の最新取得画像と前回取得画像とのタイムスタンプの差分を算出する(ステップ903)。
次に、アラームch用の再生画像メモリ82の前回取得画像に付加情報として与えられているフレームレート情報を読み出し、アラーム継続判定値を算出する(ステップ904)。例えば、アラームch用の再生画像メモリ82の前回取得画像に付加されていたフレームレート情報が15fpsであった場合、フレーム間隔は66msecと算出され、その値に、例えば20msecという余裕値を加えた86msecという値をアラーム継続判定値として設定する。
次に、ステップ903で算出した差分と、ステップ904で算出したアラーム継続判定値とを比較する(ステップ905)。比較の結果、差分がアラーム継続値以下の場合はステップ902へ分岐する。その理由は、フレームレート情報に基づき算出したアラーム継続判定値とステップ903で算出した差分を比較することで、現在クライアント端末6のアラームch用の再生画像メモリ82の前回取得画像記憶領域に保持されている画像データが、ディスク装置3のアラームchに画像データが所定のフレームレートで連続して記録されている期間の画像データであるか否かが判断できるためである。つまり、ある時刻に発生したアラームにより開始した1のアラーム録画が継続している期間における画像データであるか、ある時刻に発生したアラームにより開始した1のアラーム録画と、その後の別の時刻に発生したアラームにより開始した他のアラーム録画との境い目となる地点の画像データであるかを判断し、1のアラーム録画が継続している期間は、途中で通常chの画像データの再生は行わず、アラームchの画像データの再生を優先するようにする。従って、例え、ステップ901において、通常chの前回取得画像の方がアラームchの前回取得画像よりも再生基準時刻により近い時刻の画像データであると判定される場合であっても、1のアラーム録画が継続している期間である場合にはステップ902に分岐し、アラームchの前回取得画像の再生を行う。なお、図9で示した処理の具体例については、図10(A)及び図11を用いて後述する。一方、ステップ905による比較の結果、タイムスタンプの差分がアラーム継続値よりも大きい場合は、ステップ906へ分岐する。
ステップ905でYesと判定された場合、通常ch用の再生画像メモリ81より前回取得画像を読み出し、モニタへ出力し画像データの再生を行う(ステップ906)。
次に、図10(A)、図10(B)、図10(C)、図11を用いて上記図7、図9を用いて説明した画像再生処理の具体例について説明する。
図10(A)は、ディスク装置3の通常ch及びアラームchの記録内容の一例を説明するための図である。図10(A)においては、通常chには1のWebカメラ5の画像データが4fpsで記録されており、アラームchには当該Webカメラ5の画像データが18fpsで記録されている。なお、アラームchは、フレーム番号1〜7、及び、フレーム番号8〜12の計2回のアラーム録画が行われた場合を示している。また、図10(A)においては、各画像データを示した正方形の図形の左辺の位置が示す時刻が当該画像データが有するタイムスタンプとする。ここで、4fps、18fpsという値は、説明の便宜上用いた値であって、上述した通り、通常録画用レート、アラーム録画用レートは、実際のシステムの設定状況に応じて任意に設定することが可能である。例えば、30fps(33msec間隔)で画像データの取得を行うカメラを用いた場合には、通常録画用レート、又は、アラーム録画用レートとしては、33msecの倍数となる30fps、15fps、10fps、6fps、5fps、3fps、2fps、1fps等を設定するのが好適である。
図11は、ディスク装置3の通常ch及びアラームchの記録内容が図10(A)に示した場合において、クライアント端末6が図7、図9で示した画像再生処理を行った場合の通常ch用の再生画像メモリ81と、アラームch用の再生画像メモリ82の記録内容及び再生される画像データを示したものである。なお、再生基準時刻がt1の位置にある場合を図11(A)、再生基準時刻がt2の位置にある場合を図11(B)、再生基準時刻がt3の位置にある場合を図11(C)、再生基準時刻がt4の位置にある場合を図11(D)にそれぞれ示している。なお、図11(A)〜(D)は、図7のステップ710の再生画像選択処理が行われた直後の状態を表わすものである。
まず、再生基準時刻がt1の位置にある場合について説明する。図7のステップ707では、その時点におけるアラームchと通常chの最新取得画像(図10(A)では共にフレーム番号2)のタイムスタンプは、再生基準時刻t1と一致するため、ステップ708に分岐する。なお、ステップ708では、アラームchと通常ch共に次に取得すべき画像データとしてフレーム番号3が算出されるものとする。次に、ステップ709では、クライアント端末6は画像蓄積配信サーバ1に対してアラームch、通常chのフレーム番号3の画像データの配信要求を行い、図11(A)に示す通り、再生画像メモリ81、82を更新し、それぞれフレーム番号2の画像データを前回取得画像記憶領域に記憶する。最新取得画像記憶領域には、ステップ709において配信要求を行い、現在、画像蓄積配信サーバ1を介して取得中であるフレーム番号3の画像データがそれぞれ記憶されることになる。次に、ステップ710の再生画像選択処理では、その時点におけるアラームchと通常chの前回取得画像(図10(A)では共にフレーム番号2)のタイムスタンプは一致するため、図9のステップ901においてYesと判定され、ステップ902ではアラームchの前回取得画像(図10(A)ではフレーム番号2)が選択され、モニタに出力される。
次に、再生基準時刻がt2の位置にある場合について説明する。図7のステップ707では、その時点におけるアラームchの最新取得画像(図10(A)ではフレーム番号3)のタイムスタンプは、再生基準時刻t2と一致するため、ステップ708に分岐する。なお、ステップ708では、次に取得すべきアラームchの画像データとしてフレーム番号4が算出されるものとする。次に、ステップ709では、クライアント端末6は画像蓄積配信サーバ1に対してアラームchのフレーム番号4の画像データの配信要求を行い、図11(B)に示す通り、再生画像メモリ82を更新し、フレーム番号3の画像データを前回取得画像記憶領域に記憶する。最新取得画像記憶領域には、ステップ709において配信要求を行い、現在、画像蓄積配信サーバ1を介して取得中であるフレーム番号4の画像データが記憶されることになる。次に、ステップ710の再生画像選択処理では、その時点におけるアラームchの前回取得画像(図10(A)ではフレーム番号3)のタイムスタンプの方が通常chの前回取得画像(図10(A)ではフレーム番号2)のタイムスタンプより新しいため、図9のステップ901においてYesと判定され、ステップ902ではアラームchの前回取得画像(図10(A)ではフレーム番号3)が選択され、モニタに出力される。
次に、再生基準時刻がt3の位置にある場合について説明する。図7のステップ707では、その時点における通常chの最新取得画像(図10(A)ではフレーム番号3)のタイムスタンプは、再生基準時刻t3と一致するため、ステップ708に分岐する。ここでは、ステップ708では、次に取得すべき通常chの画像データとしてフレーム番号4が算出されるものとする。次に、ステップ709では、クライアント端末6は画像蓄積配信サーバ1に対して通常chのフレーム番号4の画像データの配信要求を行い、図11(C)に示す通り、再生画像メモリ81を更新し、フレーム番号3の画像データを前回取得画像記憶領域に記憶する。最新取得画像記憶領域には、ステップ709において配信要求を行い、現在、画像蓄積配信サーバ1を介して取得中であるフレーム番号4の画像データが記憶されることになる。次に、ステップ710の再生画像選択処理では、その時点における通常chの前回取得画像(図10(A)ではフレーム番号3)のタイムスタンプの方がアラームchの前回取得画像(図10(A)ではフレーム番号6)のタイムスタンプより新しいため、図9のステップ901においてNoと判定され、ステップ903に分岐する。t3の時点では、フレーム番号1〜7よりなる1のアラーム録画が継続している状態であるため、ステップ903、904の後のステップ905では、アラームchの最新取得画像と前回取得画像のタイムスタンプの差分はアラーム継続判定値より小さくなるので、ステップ905ではNoと判定され、ステップ902によりアラームchの前回取得画像(図10(A)ではフレーム番号6)が選択され、モニタに出力される。
次に、再生基準時刻がt4の位置にある場合について説明する。図7のステップ707では、その時点における通常chの最新取得画像(図10(A)ではフレーム番号4)のタイムスタンプは、再生基準時刻t4と一致するため、ステップ708に分岐する。なお、ステップ708では、次に取得すべき通常chの画像データとしてフレーム番号5が算出されるものとする。次に、ステップ709では、クライアント端末6は画像蓄積配信サーバ1に対して通常chのフレーム番号5の画像データの配信要求を行い、図11(D)に示す通り、再生画像メモリ81を更新し、フレーム番号4の画像データを前回取得画像記憶領域に記憶する。最新取得画像記憶領域には、ステップ709において配信要求を行い、現在、画像蓄積配信サーバ1を介して取得中であるフレーム番号5の画像データが記憶されることになる。次に、ステップ710の再生画像選択処理では、その時点における通常chの前回取得画像(図10(A)ではフレーム番号4)のタイムスタンプの方がアラームchの前回取得画像(図10(A)ではフレーム番号7)のタイムスタンプより新しいため、図9のステップ901においてNoと判定され、ステップ903に分岐する。t4の時点では、フレーム番号1〜7よりなる1のアラーム録画は終了している状態であるため、ステップ903、904の後のステップ905では、アラームchの最新取得画像と前回取得画像のタイムスタンプの差分はアラーム継続判定値より大きくなるので、ステップ905ではYesと判定され、ステップ906により通常chの前回取得画像(図10(A)ではフレーム番号4)が選択され、モニタに出力される。
図10(B)は、ディスク装置3の通常ch及びアラームchの記録内容が図10(A)に示した場合において、クライアント端末6が図7、図9で示した画像再生処理を行った場合に再生される画像データについて説明するための図である。図10(B)に示すように、同じ時刻に通常ch、アラームch共に画像データが存在する場合は、アラームchの画像データの再生が優先される。例えば、通常ch及びアラームchのフレーム番号2の画像データはそれぞれ同じタイムスタンプを有するため、アラームchのフレーム番号2の画像データの再生が行われ、通常chのフレーム番号2の画像データの再生は行われない。また、アラーム録画が継続している期間、即ち、アラームchの画像データが所定のフレームレートで連続して存在する期間であるため、通常chのフレーム番号3、6の画像データの再生は行われない。
図10(C)は、ディスク装置3の通常ch及びアラームchの記録内容が図10(A)に示した場合において、クライアント端末6が図7、図9で示した画像再生処理の一部を変更した他の画像再生処理を行った場合に再生される画像データについて説明するための図である。図10(C)においては、図9で示したステップ903〜905の処理は行わず、ステップ901でNoと判定された場合は、ステップ906に分岐するようにした。つまり、アラーム録画が継続している期間はアラームchの画像データの再生を優先するという処理を行わないため、画像データの再生はアラームch、通常chに関わらず時系列順に行われる。従って、図10(C)に示す通り、通常chのフレーム番号3、6の画像データの再生も行われる。なお、図10(C)においても、アラームchのフレーム番号2の画像データと同じタイムスタンプを有する通常chのフレーム番号2の画像データについては再生されない。
なお、本発明の画像再生方法の他の実現手段として、ディスク装置3にアラーム録画を行う際に、各Webカメラ5毎に図14に示すようなアラーム録画の内容を管理するためのテーブルを生成するようにして、クライアント端末6がシームレス再生を行う際に画像蓄積配信サーバ1内に記憶されている当該テーブル参照するようにしてもよい。このようなテーブルを参照することで、予めディスク装置3のアラームchに画像データが記録されている時間帯(アラーム録画開始時刻〜アラーム録画終了時刻)や、その時間帯における画像データのフレーム番号(アラーム録画開始フレーム番号〜アラーム録画終了フレーム番号)が把握できるので、例えば、アラーム録画による画像データが存在しない時間帯においては通常録画による画像データの再生を行うといったアルゴリズムにより、クライアント端末6におけるシームレス再生を実現することが可能である。このようなアルゴリズムを用いた場合であれば、例えば、図9のステップ901の処理のように、アラームchと通常chの画像データのタイムスタンプを比較するといった処理等を、1フレーム分の画像データを再生する度に毎回行う必要はなくなる。
また、上記の実施形態では、画像データを順方向に再生する場合を例に説明したが、例えば、再生基準時刻にディレイ時間を加算するのか減算するのか等といった処理の違いはあるものの、逆方向(新しい時刻から古い時刻へ)の再生についても、同様の処理によりシームレス再生を実現することが可能である。
また、順方向に再生する際に、例えば、1/2倍速再生や、2倍速再生や、4倍速再生といった倍速再生を行う場合には、例えば、図7のステップ705において、再生基準時刻にステップ704で算出したディレイ時間に倍速係数(例えば、2倍速であれば2)を乗算した結果を加算し、再生基準時刻の更新を行うようにすればよい。
また、上記の例では、図10(A)に示すように、通常chと、アラームchの画像データのタイムスタンプにずれ量が発生する場合を例に説明したが(例えば、通常chのフレーム番号3の画像データと、アラームchのフレーム番号6の画像データ等)、通常録画用レートとアラーム録画用レートを所定のフレームレートに設定するようにして、上述したずれ量が発生しないような構成を用いることも可能である。
また、上記の例では、アラームchの画像データを優先して再生することで、高フレームレートの画像データが再生されるような態様としていたが、例えば、各chにフレームレート、圧縮率、解像度等が異なる画像データが記録されているような場合には、例えば、低圧縮率の画像データや、高解像度の画像データ等が優先して再生されるような態様を用いることも可能である。
また、上記の実施形態では、1つのディスク装置の異なる記憶領域にアラームchと通常chとを構成する態様としていたが、アラームchと通常chとをそれぞれ異なるディスク装置に構成するような態様を用いることも可能である。
以下で、本発明に関する技術の背景を示す。なお、ここで記載する事項は、必ずしも全てが従来の技術であるとは限定しない。
上記の例では、1のWebカメラ5に対して通常録画とアラーム録画を行う場合は、それぞれ通常chとアラームchという異なるchを用いて画像データの記録を行う構成としていたが、以下では、通常録画とアラーム録画を行う場合に1つのchに対して画像データの記録を行う構成について、図12、図13を用いて説明する。
図12は、通常録画とアラーム録画による画像データの記録を1つのchに対して行う場合の処理の一例を説明するための図である。図12に示すように、時刻t0〜t2の期間においては、画像蓄積配信サーバ1はWebカメラ5の映像を指定のフレームレートで録画する。時刻t2において外部センサからのアラーム信号の入力によりアラームの発生が検知されると、画像蓄積配信サーバ1は時刻t2より一定時間前の時刻t1からの映像をWebカメラ5から取得して映像の記録を開始する。ここで、時刻t1からの映像を記録するのは、プリアラーム画像も記録するためである。この映像はWebカメラのアラーム映像用バッファ(例えば、図3の送信映像メモリ53に相当するもの)にバッファリングされていたもので、画像蓄積配信サーバ1はこれを既に記録済みのt1〜t2の映像に上書きし、更にt2〜t3の映像を時差記録(通常録画と異なり時系列を遡ってアラーム発生時刻前の映像、即ちプリアラーム画像の記録も行うため、ここでは時差記録と称する)することになる。なお、ここでは時刻t3において外部センサからのアラーム信号の入力が完了し、アラームの終了が検知されるものとする。従って、時刻t1〜t3のWebカメラ5の映像に対するアラーム録画が終了するのは、時刻t4=t3+(t2−t1)である。つまり、アラーム録画として、時刻t2〜t4の期間に時刻t1〜t3の映像を記録する。そして、時刻t4以降、画像蓄積配信サーバ1は通常録画による映像の記録を再開する。
ここで、図12に示した処理を行うと、時刻t3〜t4が未録画区間(記録欠損)になってしまうという問題がある。図13は、図12に示した記録欠損を解決するための処理の一例を説明するための図である。図13に示す処理では、時刻t2〜t3の期間に時刻t1〜t3の映像を記録する、すなわち記録間隔を通常より短くして、高速に録画を実施する。しかし、この高速録画には、例えば、(1)発生したアラームがいつ終了するかはわからないため、1のアラーム録画が継続する期間は事前には予測がつかず適切な記録間隔の短縮量が算出できない、という問題がある。このような問題はアラーム録画継続期間の最低値を決めることで回避することが可能であるが、システム構築上の制約につながる。また、例えば、(2)高速録画中は、画像蓄積配信サーバ1の処理負荷が通常より大きくなる、といった問題がある。すなわち、画像蓄積配信サーバ1の録画性能に高速録画のための負荷増分をマージンとして織り込んでおく必要が生じる。さらに、アラームの発生は複数台のWebカメラ5から非同期に入ってくる、すなわち同時に多数のアラームが発生する可能性があるので、それぞれに対して負荷増分のマージンを加算して画像蓄積配信サーバ1の性能仕様を算定しなくてはならず、性能仕様上得策ではない。従って、時差録画区間における録画は、高速録画(図13)をするより、その時差を守ったまま通常の記録間隔での録画(図12)を行うほうがよい。1chで常時、時差を守って通常録画及びアラーム録画を続ける方法もあるが、突然の電源断等による映像の損失等が考えられ、UPS(Uninterruptible Power Supply)を設置する等の対策が必要になり、例えば、システムの高コスト化という問題も発生する。
これに対して本発明の実施例に関わる構成では、通常録画とアラーム録画とでchを分けて記録を行うようにしたため、例えば、図12及び図13を用いて説明した上記のような問題を解決することができる。なお、同じ時間帯の映像が、例えば、通常chとアラームchの2chに冗長に録画されるため、図12及び図13の構成に比べると余計な記録容量を必要となるが、例えば、通常録画とアラーム録画による画像データの記録を同時に実施する場合は、通常録画は低フレームレート(例えば、1fps等)で実施することが多いので、図12及び図13を用いて説明した方式において発生する問題に比べると、大きな問題とはならない。
また、アラーム録画は時系列を遡ってアラーム発生時刻前の映像(プリアラーム画像)の記録を行う必要があるため、通常録画とアラーム録画による画像データを同一ch上には共存させにくい。従って、例えば、1つのchには1つのWebカメラの映像を時系列に格納し、かつ、例えば、通常chとアラームchといったように1つのWebカメラの映像を2つのchに分けて格納するような構成とすると、記録システムの構成を簡略化することができる。なお、1つのWebカメラの映像を3つ以上のchに分けて格納するような構成を用いることも可能であることは言うまでもない。
また、上述したように、本発明の画像再生方法(シームレス再生)は、例えば、1つのカメラから生成した2種類の録画映像を、1つの再生画面であたかも1つの映像ストリームとしてユーザに対して再生を行うことができる。
ここで、本発明に係る画像再生方法の構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。なお、本発明は、例えば本発明に係る処理を実行する方法或いは方式や、このような方法や方式を実現するためのプログラムなどとして提供することも可能であり、また、例えば画像再生装置などの種々な装置やシステムとして提供することも可能である。また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。例えば、上記の実施形態においては、監視システムのカメラによって発生した映像を例に説明を行ったが、本発明の適用分野としては、これに限られるものではない。例えば、映画やテレビ番組に関する映像を取り扱うといったことも可能である。
また、本発明に係る画像再生方法などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等を備えたハードウエア資源においてプロセッサがROM(Read Only Memory)に格納された制御プログラムを実行することにより制御される構成が用いられてもよく、また、例えば当該処理を実行するための各機能手段が独立したハードウエア回路として構成されてもよい。
また、本発明は上記の制御プログラムを格納したフロッピー(登録商標)ディスクやCD(Compact Disc)−ROM等のコンピュータにより読み取り可能な記録媒体や当該プログラム(自体)として把握することもでき、当該制御プログラムを当該記録媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。
本発明の一実施例に係る画像蓄積配信システムの全体構成を示す図である。 本発明の一実施例に係るディスク装置の記録内容を説明するための図である。 本発明の一実施例に係るディスク装置への記録動作を説明するための図である。 本発明の一実施例に係る画像再生処理を説明するための図である。 本発明の一実施例に係る画像再生処理を説明するための図である。 本発明の一実施例に係る画像再生処理を説明するための図である。 本発明の一実施例に係る画像再生処理を説明するためのフローチャートである。 本発明の一実施例に係るメモリ領域の構成を示す図である。 本発明の一実施例に係る画像再生処理を説明するためのフローチャートである。 本発明の一実施例に係る記録内容や再生内容の一例を説明するための図である。 本発明の一実施例に係る記録内容及び再生内容の一例を説明するための図である。 1つのchに対して異なる記録モードによる記録を行う場合の処理の一例を説明するための図である。 1つのchに対して異なる記録モードによる記録を行う場合の処理の一例を説明するための図である。 本発明の一実施例に係る記録内容を管理するためのテーブルの一例を示す図である。
符号の説明
1:画像蓄積配信サーバ、3:ディスク装置、4:ネットワーク、5:Webカメラ、6:クライアント端末、30:記憶領域

Claims (7)

  1. Webカメラとネットワークを介して接続され、アラームが発生したときに前記Webカメラの画像を所定の画質で記録する画像蓄積配信サーバにおいて、
    前記Webカメラから受信した画像を第1の画質で通常録画すると共に、外部センサの作動によるアラーム発生通知を受信したときには前記Webカメラにアラーム発生より前の時刻の画像データの配信要求をして、前記通常録画を続けながら第2の画質でプリアラーム録画及びアラーム録画を前記通常録画と重複的に行い、
    クライアントからシームレス再生の指示を受けたときには、通常録画とアラーム録画が重複している期間において画質が高い一方を優先させて時系列に沿って該クライアントで再生されるように、録画された画像を読み出して配信することを特徴とする画像蓄積配信サーバ。
  2. 請求項1に記載の画像蓄積配信サーバにおいて、
    前記Webカメラに前記第1の画質で送信させて受信した画像を一時的に記憶する第1メモリと、
    前記アラームの発生に応じて前記Webカメラに前記第2の画質で送信させて受信した画像を一時的に記憶する第2メモリと、
    第1記憶領域と第2記憶領域とを有し、前記第1及び第2メモリの画像を、タイムスタンプと共に前記第1及び第2記憶領域にそれぞれ記憶するディスク装置と、を備え、
    時系列に沿った前記再生は、前記タイムスタンプに基づいて行われることを特徴とする画像蓄積配信サーバ。
  3. 請求項2に記載の画像蓄積配信サーバにおいて、前記第2の画質は、前記Webカメラがプリアラーム録画のために前記所定期間記憶している画像の画質であることを特徴とする画像蓄積配信サーバ。
  4. 請求項3に記載の画像蓄積配信サーバにおいて、
    前記画質とは、少なくともフレームレート又は圧縮率又は解像度のいずれか1つのことであり、
    前記画質が高いとは、少なくともフレームレートが高いこと又は圧縮率が低いこと又は解像度が高いことのいずれか1つのことである、ことを特徴とする画像蓄積配信サーバ。
  5. 前記画像蓄積配信サーバは、前記Webカメラで圧縮された画像をIPパケット形式で受信することを特徴とする請求項4に記載の画像蓄積配信サーバ。
  6. 前記画像蓄積配信サーバは、前記WebカメラからJPEG相当の画像圧縮形式で圧縮された静止画像として画像を受信し、前記通常録画及びプリアラーム録画は、当該静止画像が時系列に連続した間欠的な準動画像として録画するものであることを特徴とする請求項5に記載の画像蓄積配信サーバ。
  7. Webカメラと、前記Webカメラとネットワークを介して接続される画像蓄積配信サーバと、を備え、外部センサにおいてアラームが発生したときに少なくとも該アラームが発生する前の所定時間におけるWebカメラの画像を所定のフレームレートで記録しプリアラーム録画を行う画像蓄積配信システムであって、
    前記Webカメラは、撮像された映像信号を一定のフレームレートで圧縮符号化して画像データとして出力するエンコーダ部と、前記画像データのうち最新の1フレームあるいは間欠的に時系列に連続した複数フレームを記憶する第1のメモリと、画像データのうち前記所定時間における画像データを所定のアラーム録画レートで記録する第2のメモリと、を有して、前記画像蓄積配信サーバから画像データの配信要求を受けたとき或いは所定のタイミングで、当該画像蓄積配信サーバに前記第1のメモリの画像データを送信するとともに、前記画像蓄積配信サーバから時刻を指定された画像データの配信要求を受けたときに、前記第2のメモリの画像データを当該画像蓄積配信サーバに前記アラーム録画レートで送信し、
    前記画像蓄積配信サーバは、前記Webカメラに配信要求をして通常録画を行うと共に、前記外部センサの作動によるアラーム発生通知を受信したときには前記Webカメラにアラーム発生の所定時間前の時刻の画像データの配信要求をして、前記通常録画を続けながら前記アラーム録画レートでプリアラーム録画を行い、クライアントからシームレス再生の指示を受けたときには通常録画とプリアラーム録画のうち画質が高い方を優先させて、記録された映像を時系列に沿って再生することを特徴とする画像蓄積配信システム。
JP2004022106A 2004-01-29 2004-01-29 画像表示方法及び画像表示装置並びに画像表示プログラム Expired - Fee Related JP4315827B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2004022106A JP4315827B2 (ja) 2004-01-29 2004-01-29 画像表示方法及び画像表示装置並びに画像表示プログラム
US10/587,454 US8015586B2 (en) 2004-01-29 2005-01-27 Image display method, image display device, and image display program
GB0614541A GB2427521B (en) 2004-01-29 2005-01-27 Image display method,image display device,and image display program
PCT/JP2005/001113 WO2005074274A1 (ja) 2004-01-29 2005-01-27 画像表示方法及び画像表示装置並びに画像表示プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004022106A JP4315827B2 (ja) 2004-01-29 2004-01-29 画像表示方法及び画像表示装置並びに画像表示プログラム

Publications (3)

Publication Number Publication Date
JP2005217791A JP2005217791A (ja) 2005-08-11
JP2005217791A5 JP2005217791A5 (ja) 2007-03-22
JP4315827B2 true JP4315827B2 (ja) 2009-08-19

Family

ID=34823819

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004022106A Expired - Fee Related JP4315827B2 (ja) 2004-01-29 2004-01-29 画像表示方法及び画像表示装置並びに画像表示プログラム

Country Status (4)

Country Link
US (1) US8015586B2 (ja)
JP (1) JP4315827B2 (ja)
GB (1) GB2427521B (ja)
WO (1) WO2005074274A1 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2883692A1 (fr) * 2005-03-25 2006-09-29 Thomson Licensing Sa Procede d'envoi de commande a un serveur de flux de donnees numeriques et appareil implementant le procede
JP4796367B2 (ja) * 2005-09-28 2011-10-19 株式会社フェイス 動画配信システム
US7570250B2 (en) * 2006-05-04 2009-08-04 Yi-Ming Tseng Control device including a ball that stores data
WO2009158365A2 (en) * 2008-06-27 2009-12-30 Honeywell International Inc. Systems and methods for managing video data
US8444292B2 (en) * 2008-10-24 2013-05-21 Ilumisys, Inc. End cap substitute for LED-based tube replacement light
US8675066B2 (en) * 2009-10-02 2014-03-18 Alarm.Com Incorporated Image surveillance and reporting technology
US8937658B2 (en) 2009-10-15 2015-01-20 At&T Intellectual Property I, L.P. Methods, systems, and products for security services
US20110169631A1 (en) * 2010-01-11 2011-07-14 Ming-Hwa Sheu Real-time alarm system
JP5574719B2 (ja) * 2010-01-15 2014-08-20 キヤノン株式会社 表示装置、表示方法及びプログラム
JP5827813B2 (ja) * 2011-03-29 2015-12-02 セコム株式会社 監視装置、画像監視システムおよびプログラム
US20130084053A1 (en) * 2011-10-04 2013-04-04 Utc Fire & Security Corporation System to merge multiple recorded video timelines
US9379915B2 (en) 2011-11-10 2016-06-28 At&T Intellectual Property I, L.P. Methods, systems, and products for security services
US9396634B2 (en) 2011-11-10 2016-07-19 At&T Intellectual Property I, L.P. Methods, systems, and products for security services
US8692665B2 (en) 2011-11-10 2014-04-08 At&T Intellectual Property I, L.P. Methods, systems, and products for security services
US8902740B2 (en) 2011-11-10 2014-12-02 At&T Intellectual Property I, L.P. Methods, systems, and products for security services
US9066275B2 (en) * 2012-12-27 2015-06-23 Cellco Partnership Method and system to improve device pinging
JP6128329B2 (ja) * 2013-03-21 2017-05-17 パナソニックIpマネジメント株式会社 映像記録装置およびカメラデコーダ
US9565462B1 (en) * 2013-04-26 2017-02-07 SportXast, LLC System, apparatus and method for creating, storing and transmitting sensory data triggered by an event
EP2849437B1 (en) 2013-09-11 2015-11-18 Axis AB Method and apparatus for selecting motion videos
US20150124109A1 (en) * 2013-11-05 2015-05-07 Arben Kryeziu Apparatus and method for hosting a live camera at a given geographical location
US9224213B2 (en) * 2013-12-31 2015-12-29 Facebook, Inc. Systems and methods for context based image compression
US9489387B2 (en) * 2014-01-15 2016-11-08 Avigilon Corporation Storage management of data streamed from a video source device
US10373453B2 (en) 2015-09-15 2019-08-06 At&T Intellectual Property I, L.P. Methods, systems, and products for security services
US10565840B2 (en) 2015-11-12 2020-02-18 At&T Intellectual Property I, L.P. Alarm reporting
JP6423023B2 (ja) * 2017-01-12 2018-11-14 三菱電機インフォメーションシステムズ株式会社 映像ストリーム処理装置、映像ストリーム処理プログラムおよび映像監視システム
FR3073653B1 (fr) * 2017-11-14 2021-04-09 Asweshare Dispositifs et procedes de partage et d'affichage d'image

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6618074B1 (en) * 1997-08-01 2003-09-09 Wells Fargo Alarm Systems, Inc. Central alarm computer for video security system
JP3729660B2 (ja) * 1998-09-04 2005-12-21 松下電器産業株式会社 ネットワークカメラ監視システム
JP2001339686A (ja) * 2000-05-29 2001-12-07 Toa Corp 映像データ記録装置
JP3917363B2 (ja) * 2000-12-12 2007-05-23 株式会社東芝 画像復号化装置及び画像復号化方法
JP4020626B2 (ja) * 2001-11-14 2007-12-12 三洋電機株式会社 監視記録再生装置
JP4188615B2 (ja) 2002-03-18 2008-11-26 株式会社日立国際電気 映像配信サーバおよび映像配信システム
JP2003319378A (ja) * 2002-04-26 2003-11-07 Hitachi Kokusai Electric Inc 監視カメラシステムおよび映像信号の伝送方法
JP4000029B2 (ja) * 2002-08-29 2007-10-31 三洋電機株式会社 データ送信装置
JP3880495B2 (ja) * 2002-09-25 2007-02-14 キヤノン株式会社 撮像装置の制御方法及び画像配信装置

Also Published As

Publication number Publication date
US20070124782A1 (en) 2007-05-31
GB2427521B (en) 2009-05-20
GB0614541D0 (en) 2006-08-30
WO2005074274A1 (ja) 2005-08-11
GB2427521A (en) 2006-12-27
JP2005217791A (ja) 2005-08-11
US8015586B2 (en) 2011-09-06

Similar Documents

Publication Publication Date Title
JP4315827B2 (ja) 画像表示方法及び画像表示装置並びに画像表示プログラム
JP4510005B2 (ja) メディア配信装置及びメディア受信装置
US20020089587A1 (en) Intelligent buffering and reporting in a multiple camera data streaming video system
US20050071881A1 (en) Systems and methods for playlist creation and playback
US8886765B2 (en) System and method for predicitive trick play using adaptive video streaming
JP2007529121A (ja) ストリーミングメディアの疎(sparse)キャッシング
JP6238255B2 (ja) 監視カメラシステムによる監視方法及び動画分割装置
JP2004140488A (ja) マルチメディアコンテンツ編集装置およびマルチメディアコンテンツ再生装置
JP2008311795A (ja) コンテンツ配信システム、配信サーバ、受信端末及びコンピュータプログラム
JP5006659B2 (ja) 映像送信装置、映像送信方法、プログラム及び記憶媒体
JP4576133B2 (ja) ネットワーク会議システム、会議端末および会議サーバ
JP2003333488A (ja) ストリーミングデータ再生方式及びストリーミングデータ再生方法
KR100766985B1 (ko) 동화상 시청 시스템, 동화상 시청 장치, 그 제어 방법 및 프로그램을 기록한 기록매체
JP4222253B2 (ja) クライアント端末、ストリーミングサーバ及びストリーミング切り替え配信システム
US20090297130A1 (en) Recording/reproducing method and apparatus
JP2007266685A (ja) 画像記録システムおよびプログラム
JP4629330B2 (ja) 映像蓄積配信装置および映像配信システム
JP4373229B2 (ja) 映像閲覧方法及び映像閲覧システム
US20170070755A1 (en) Information device and distribution device
JP2006339980A (ja) 映像再生装置
US20160173551A1 (en) System and method for session mobility for adaptive bitrate streaming
JP4174296B2 (ja) 映像再生装置及びそのプログラム
EP1777959A1 (en) System and method for capturing audio/video material
JP2016021778A (ja) ストリーミングメディア再生装置、ストリーミングメディア再生方法、及びプログラム
JP4828354B2 (ja) 複数チャンネル画像転送装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090519

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090519

R150 Certificate of patent or registration of utility model

Ref document number: 4315827

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120529

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130529

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140529

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees