JP2008022556A - 改良アラーム前映像バッファ - Google Patents

Abstract

【課題】映像シーケンスをバッファする方法を提供する。
【解決手段】本方法は、全画像フレーム及び差分画像フレームを含む入力映像ストリームから入力画像フレームを受信するステップと、受信された入力画像フレームを保存するステップと、入力画像フレームの少なくとも１つの全画像フレームに基づいて少なくとも１つの第１の全画像フレームを決定するステップとを含み、生成された第１の全画像フレームは、仮の出力映像シーケンス内の第１の画像フレームとして配置される。
【選択図】図４

Description

本発明は、映像シーケンスのバッファに関する。より具体的には、本発明は、全画像フレーム及び差分画像フレームを含む映像シーケンスをバッファする方法に関する。本発明は、また、アラーム前バッファ、映像サーバ、監視カメラ及びコンピュータ・プログラムに関する。

近頃の保安システムは、複数の監視カメラをしばしば備える。監視カメラによって、警備員はオフィス・ビルの複数の階など、広い領域を監視することが可能になる。また、監視カメラは、警備員にとって、何らかの次の行動をとる前に、アラームが本当のアラームであるかを確認するよい手段となる。

いくつかの保安システムは、検出（たとえば、アラーム）の前に始まり、その検出の時点に終わる期間、映像シーケンスを記録するように構成されている。このタイプの映像シーケンスは、アラーム前映像シーケンスと称される。もちろん、このような保安システムは、検出の時点に始まり、任意の時間に終わる映像シーケンスを記録することもある。このタイプの映像シーケンスは、アラーム後映像シーケンスと称される。この記録されたアラーム前映像シーケンスによって、検出が本当のアラーム事象によるものかどうかの確認が容易になり、その検出に先立つ出来事の映像を提供できる。映像シーケンスは、一般に、圧縮規格（たとえば、ＭＰＥＧ−４）に従って圧縮されるので、特定の圧縮方式の特性が考慮されなければならない。

たとえば、映像圧縮の一般的な基本原理は、いくつかの全画像フレームを差分画像フレームによって置き換えることであり、その際、差分画像フレームは、前の全画像フレームと、置き換えられた全画像フレームとの差を含み、全画像フレームは、完全な画像データを含む。このようにして、それぞれの全画像フレームを描写する全ての情報が保存又は送信される必要はないが、現在のフレームと前のフレームとの差のみが保存又は送信されなければならない、すなわち、より少ないデータが保存又は送信されなければならないことを意味する。

したがって、圧縮済みの映像ストリームを解凍する際には、差分画像フレームが現在の画像と組み合わされて、差分画像によって表される画像を再形成する。

一般に、このような圧縮済みの映像シーケンス、又はこのような圧縮済みの映像ストリームは、複数の全画像フレームを備え、その全画像フレームの間に複数の差分画像フレームが配置される。２つの隣接する全画像フレームの間の差分画像フレームの数は、所望の圧縮率及び／又は品質に依存する。

たとえば、第１のフレームが全画像フレームで、第２、第３及び第４のフレームが差分画像フレームであり、第５のフレームが全画像フレームで、第６、第７及び第８のフレームが差分画像フレームであるといった具合である。第１のフレームは、完全な画像の情報を含み、完全な画像を表すために別のフレームからの画像情報と組み合わされる必要はない。しかしながら、次の完全な画像を達成するために、全画像データを含む第１のフレームと、第１の画像と第２の画像との間の差を含む第２の差分画像データとが組み合わされて、第２の完全な画像を表す第２の画像フレームになる。第３の全画像フレームを達成するためには、第２の完全画像と第３の差分画像フレームとが組み合わされて第３の完全画像になるという具合に、全画像フレームである第５のフレームまで行われ、この手順が繰り返される。

上述の一般的原理に基づくいくつかの圧縮方式では、当業者に既知の規格であるＭＰＥＧ規格におけるＰフレーム及びＢフレームのように、異なるタイプの差分画像フレームが用いられる。

したがって、アラーム前バッファ（たとえば、ＦＩＦＯバッファ）からアラーム前映像シーケンスを取り出す際には、バッファ内の映像シーケンスは、複数の差分画像フレームで始まることがあり、映像シーケンスの最初のフレームが完全な画像を表すのに十分な情報を含まないことを意味する。

１つの代替方法は、第１の差分フレームを含む、アラーム前バッファ内の全てのフレームをオペレータに提示することである。これらの差分画像に基づく全画像フレームは、存在しないので、アラーム前映像シーケンスの第１のフレームは、正しい画像情報を提示しないことになる。

別の解決法は、アラーム前映像シーケンスの第１の全画像フレームを探し出す電気装置を導入することである。このようにすることで、メモリの使用がより効率的になり、正しい画像情報を含むフレームが失われることはない。

これの１つの欠点は、アラーム前映像シーケンスの長さがその時ごとに異なることであり、たとえば、１０秒のアラーム前シーケンスが選択され、映像シーケンスが適度に多数の差分フレームを含む場合、アラーム前映像シーケンスの最初に４分間の使用できない差分映像フレームが存在する。

この問題を解決する１つの方法は、バッファを拡張することである。このようにすることで、複数の追加フレームが保存され、すなわち、アラーム前映像シーケンスの開始が時間内に戻される。次に、選択されたアラーム前の時間間隔を表す全ての画像フレームが解凍されるように、追加フレームの数を選択することができる。

この解決法は、いくつかの欠点がある。第１に、アラーム前映像シーケンスの長さがその時ごとに異なることである。第２に、圧縮率が高いということは、差分画像フレームがより多く、全画像フレームがより少ないということをしばしば意味するので、必要な追加余分フレームの数は、圧縮率に依存することである。したがって、高圧縮率を有する映像シーケンスをサポートするためには、追加余分フレームの数が多くなければならない。

上記に鑑みて、本発明の目的は、上述の問題を解決し、又は少なくとも軽減することである。別の目的は、アラーム前映像シーケンスのための改善されたバッファを提供することである。

これらの目的は、請求項１に記載の映像シーケンスをバッファする方法、請求項１２に記載のアラーム前バッファ、請求項１８に記載の映像サーバ、請求項１９に記載のカメラ、請求項２０に記載のコンピュータ・プログラム、請求項２１に記載のアラーム前映像シーケンスの生成方法及び請求項２５に記載のコンピュータ・プログラムによって達成される。本発明の実施例は、従属請求項に開示される。

本発明の第１の態様に従って、
全画像フレーム及び差分画像フレームを含む入力映像ストリームから入力画像フレームを受信するステップと、各フレームの受信に応答して、受信された各入力画像フレームを映像シーケンスＦＩＦＯバッファに保存するステップと、映像シーケンスＦＩＦＯバッファに保存された映像シーケンスと関連付けられた、少なくとも１つの全画像フレームを全画像ＦＩＦＯバッファに保存するステップと、全画像フレームＦＩＦＯバッファからの保存された少なくとも１つの全画像フレームのうちの少なくとも１つを映像シーケンスＦＩＦＯバッファの画像フレームと組み合わせることによって、出力映像シーケンスを生成するステップとを含む映像シーケンスをバッファする方法が提供される。

受信された入力画像フレームを映像シーケンスＦＩＦＯバッファに、また、映像シーケンスＦＩＦＯバッファに記憶された映像シーケンスと関連付けられた少なくとも１つの全画像フレームを全画像ＦＩＦＯバッファに保存することの利点は、出力映像シーケンスにおいて映像シーケンス・バッファの最初のフレームが差分フレームであることのマイナスの影響を最小限にするために、映像シーケンス・バッファの映像シーケンスを全画像フレームと組み合わせることが可能になることである。言い換えると、見ることのできる映像シーケンスを生成する映像シーケンスＦＩＦＯバッファの実質的に全ての映像フレームを使用することを困難にし、又は不可能にさえもする差分画像フレームが全画像フレームによって置換え可能なのである。これによって、映像シーケンスＦＩＦＯバッファに保存された画像情報を効率的に使用することが可能になる。

本発明の第１の態様の別の実施例では、全画像フレームＦＩＦＯバッファに保存された少なくとも１つの全画像フレームが映像シーケンスＦＩＦＯバッファに保存された画像フレームの全画像表示である。

このように、特定の映像シーケンスに関連した画像情報を使用することによって、映像シーケンス・バッファの初めに差分画像フレームがあり得ることのマイナスの影響をさらに減少させることが可能になる。したがって、このような全画像フレームを映像シーケンス・バッファの映像シーケンスと組み合わせることで、アラーム前映像シーケンスのより真実の表示を生成するために、映像シーケンス・バッファの画像フレーム内の情報を利用することが可能なのである。

さらに別の実施例では、全画像フレームＦＩＦＯバッファに保存された少なくとも１つの全画像フレームは、映像シーケンスＦＩＦＯバッファに保存された映像シーケンスの最も古い画像フレームに対して短い時間的距離を有する画像フレームの全画像表示である。

この構成によって、全画像フレームは、映像シーケンス・バッファ内で最も古い画像フレームの全画像表示であるか、又は映像シーケンス・バッファ内で最も古い画像に時間的に近い画像の全画像表示であることができる。この利点は、上述の利点と同じである。

本発明の一実施例では、アラーム前映像シーケンスを生成するステップは、全画像フレーム及び差分画像フレームを含む映像シーケンスＦＩＦＯバッファから出力された映像シーケンスの第１のフレームとして、全画像ＦＩＦＯバッファからの全画像フレームを挿入するステップを含む。

映像シーケンス・バッファの映像シーケンスに全画像フレームを最初に挿入することの利点は、最初の差分画像フレームの画像情報が解釈可能となるため、映像ストリームの最初の差分画像フレームが見ることのできる映像シーケンスの一部とされることが可能であることである。これによって、より効率的にバッファが使用可能であり、アラーム前映像シーケンスの長さが、より正確に予測でき、アラーム前映像シーケンスの第１の画像フレームの時間の点がより精密に判定可能である。さらなる利点が一実施例で達成され、この一実施例では、出力映像シーケンスに最初に挿入される全画像フレームが映像シーケンス内の差分フレームの全画像フレームであり、また、差分フレームと出力映像シーケンスの最初の差分フレームとの間の時間的距離が短いか、又は存在しない。そのような場合、全画像フレームで始まる圧縮映像シーケンスの一部として、映像シーケンスＦＩＦＯバッファの全ての画像フレームを見ることができるため、その画像フレームが効率的に使用される。

さらに別の実施例では、出力映像シーケンスを生成するステップは、検出信号の受信の際に自動的に行われる。

この利点は、ユーザ対話が必要なく、検出の直前に何が起こったかを示す映像シーケンスが自動的に送信されることである。

本発明のさらなる実施例に従って、本方法は、入力画像フレームを含む映像ストリームを出力する映像シーケンス符号化手段から全画像フレームを頻繁に受信するステップであって、それぞれの全画像フレームが入力画像フレームの画像フレームの全画像バージョンを表すステップをさらに含み、少なくとも１つの全画像フレームを保存するステップがそれぞれの全画像フレームの受信に応答して、受信された全画像フレームのそれぞれを全画像ＦＩＦＯバッファに保存するステップを含む。

映像シーケンス符号化手段から全画像ＦＩＦＯバッファに直接バッファされる全画像フレームを受信することによって、アラーム前バッファ手順に要する処理能力が少なくて済む。これは、アラーム前バッファが映像シーケンスの符号化と同じ装置で行われる実施例において、特に有利である。この理由は、エンコーダがそのような全画像フレームに対して既にアクセスを有しているからである。

別の実施例に従って、少なくとも１つの全画像フレームを全画像ＦＩＦＯバッファに保存するステップは、受信された入力画像フレームのうちの少なくとも１つの画像フレームを少なくとも１つの全画像フレームと組み合わせるステップであって、受信された入力画像フレームのうちの少なくとも１つの画像フレームが差分画像であり、少なくとも１つの全画像フレームが表しているよりも、映像シーケンス内においてより新しい画像フレームを表すステップと、組み合わされた画像フレームを全画像ＦＩＦＯバッファに保存するステップとを含む。

映像シーケンスＦＩＦＯバッファに保存される映像入力から、全画像ＦＩＦＯバッファのための全画像フレームを生成することの利点は、映像シーケンスＦＩＦＯバッファに保存される圧縮映像シーケンスのみにアクセスを有する装置において、本発明を使用することが可能になることである。

本発明の別の態様に従って、映像シーケンスをバッファするアラーム前バッファが提供される。

アラーム前バッファは、入力映像ストリームからの入力画像フレームをバッファするように構成された映像シーケンスＦＩＦＯバッファと、少なくとも１つの全画像フレームをバッファするように構成され、映像シーケンスＦＩＦＯバッファに関連付けられた全画像ＦＩＦＯバッファと、全画像ＦＩＦＯバッファからの画像フレームを第１のＦＩＦＯバッファの画像フレームと組み合わせ、アラーム前映像シーケンスを生成するように構成されたコンバイナとを備える。

一実施例では、全画像フレームＦＩＦＯバッファに保存された少なくとも１つの全画像フレームが映像シーケンスＦＩＦＯバッファに保存された画像フレームの全画像表示である。

別の実施例では、全画像フレームＦＩＦＯバッファ内に保存された少なくとも１つの全画像フレームが映像シーケンスＦＩＦＯバッファ内に保存された映像シーケンスの最も古い画像フレームに対して短い時間的距離を有する画像フレームの全画像表示である。

さらに別の実施例では、全画像フレーム及び差分画像フレームを含む映像シーケンスＦＩＦＯバッファから出力された映像シーケンスの第１のフレームとして、全画像ＦＩＦＯバッファからの全画像フレームを挿入するように、コンバイナが構成される。

さらに別の実施例では、アラーム前バッファが全フレーム及び差分フレームを含む映像シーケンスを受信するように構成された圧縮映像入力部をさらに備える。

別の実施例では、アラーム前バッファが全フレームのみを含む映像シーケンスを受信するように構成された全フレーム映像入力部をさらに備える。

本発明のこの態様の実施例の利点は、本発明の第１の態様の対応する実施例に関連して提示された利点と同様である。

第３の態様に従って、本発明は、上述のようなアラーム前バッファを備える映像サーバによって与えられる。

第４の態様に従って、本発明は、上述のようなアラーム前バッファを備えるカメラによって与えられる。

第５の態様に従って、本発明は、上述のような方法のステップを実行するコンピュータ・プログラム符号を含むコンピュータ・プログラムによって与えられる。

本発明の上記並びに追加の目的、特徴、及び利点は、同じ参照符号が同様の要素に用いられる添付図面を参照して、本発明の好ましい実施例の以下の説明的及び非限定的な詳細な説明から、よりよく理解される。

本書全体を通して、「全画像フレーム」及び「差分画像フレーム」という用語が用いられる。「全画像フレーム」は、他の画像とは独立した画像と解釈され、「差分画像フレーム」は、２つの連続する画像の間の差を含むだけの（すなわち、他の画像に依存した）画像と解釈されるものである。

さらに、「圧縮映像ストリーム／シーケンス」という用語は、集合的に圧縮された複数の画像フレームを含む映像ストリーム／シーケンスと解釈されるものである。このような集合的な圧縮は、たとえば、いくつかの画像フレームを差分画像フレームで置き換えることによって、連続する画像フレームの間の類似性を考慮に入れるためである。

さらに、「圧縮画像」という用語は、画像内の圧縮可能な情報が考慮に入れられ個々に圧縮された画像と解釈されるものであり、このような圧縮フォーマットは、たとえば、ＪＰＥＧである。

さらに、「圧縮映像ストリーム／シーケンス」は「圧縮画像」を含んでよく、すなわち、連続する画像の間の類似性を考慮に入れること、並びに各画像内の圧縮可能な情報を考慮に入れることの両方によって情報が縮小される。このような圧縮フォーマットは、ＭＰＥＧ−４規格である。

図１は、映像シーケンスを形成する複数の画像フレーム１００ａ〜１００ｆを図示している。各画像フレームには、人１０１ａ〜１０１ｆ及び検出器（図示せず）に接続された検出線１０２ａ〜１０２ｆがある。

第４の画像フレーム１００ｄでは、人１０１ｄが検出線１０２ｄを越えつつあり、ここで検出信号が検出器から伝達される。検出信号がカメラによって受信されると、アラーム映像シーケンスが生成される。生成された映像シーケンスは、アラームと関連付けられ、オペレータに送信される。これは、たとえば、検出の前の出来事並びに検出後の出来事が興味深い実験において有用である。

これらのタイプのアラーム前及びアラーム後映像シーケンスが有用であり得る別の実施例は、製造業においてである。たとえば、組立ラインの中断信号がアラーム前映像シーケンスのオプションを備えたカメラと関連付けられる場合、中断信号の原因が調査され、同様の中断信号のリスクを軽減するために適切な行動をとることができる。

さらに別の実施例は、上述のように、保安においてである。監視カメラの検出に関連付けられたアラーム前及びアラーム後映像シーケンスを有することにより、検出の取扱い並びに検出の分析が容易になる。

アラーム映像シーケンスは、検出前の出来事を示すアラーム前映像シーケンスと、検出後の出来事を示すアラーム後映像シーケンスとの２つの部分を備える。これら２つのシーケンスの長さは、ユーザによって調節可能であることが好ましい。

さらに、アラーム後映像シーケンスの長さは、アラーム前に特定される必要はない。たとえば、オペレータがアラームを停止するまで記録してよい。

図１に示された実施例では、アラーム前映像シーケンス及びアラーム後映像シーケンスの両方が２つのフレームを含むように設定される。しかしながら、実際の場合、フレームの数は、たとえば、１０フレーム／秒（ｆｐｓ）のフレーム速度で１〜３０秒に対応する１０〜３００フレームにずっと多くなり得る。フレームの数及びフレーム速度は、様々な用途において異なってよい。

また、アラーム前及びアラーム後映像シーケンスの取扱いは、映像サーバ又は映像シーケンスの取扱いに適する他の装置によって行われ得ることも理解される。

代替として、検出が行われる画像フレーム１００ｄは、アラーム後映像シーケンスの一部となる代わりに、アラーム前映像シーケンスの一部となることもできる。

図１では、画像フレーム１００ａ〜１００ｆが独立した画像として示され、又は言い換えると、全画像フレーム、すなわち、他の画像フレームからの画像情報を要さずに、それぞれの画像フレームが見られることができる。しかしながら、デジタル表示された映像シーケンスは、保存及び送信される情報量を軽減するために圧縮されることが好ましい。

デジタル・ビデオ・シーケンスを圧縮するには、複数の方法がある。しかしながら、未処理の映像シーケンス、すなわち、未圧縮の映像シーケンスを圧縮する一般的な方法は、下記に説明されるように、未処理の映像シーケンスのフレームを全画像フレーム及び差分画像フレームに変換することである。本願においては、このタイプの圧縮が考慮に入れられる。

画像フレーム内の情報を軽減するために、ＭＰＥＧ−４などの隣接する画像と間の類似性から恩恵を受けるデジタル映像フォーマットが開発されている。

図２は、Ｏ_１〜Ｏ_１２と表示された元の全画像フレームを含む元の映像シーケンス２００を、Ｆ_１〜Ｆ_３と表示された全画像フレームを含む圧縮映像シーケンス２０２と、Ｄ_１１〜Ｄ_１３、Ｄ_２１〜Ｄ_２３及びＤ_３１〜Ｄ_３３と表示された差分画像フレームとに圧縮する概略的な原理を示す。

この圧縮原理では、映像シーケンスの画像フレームのいくつかが完全な画像情報の代わりに、前の画像との差のみを含むように圧縮される。これらのフレームは、本明細書においては差分画像フレームと称され、いくらか簡略化した雛形では、図２に示されるように減算によって決定されることができる。

図３は、圧縮映像シーケンス３００をＲ_１〜Ｒ_１２と表示された再形成済みの全画像フレームを含む解凍映像シーケンス３０２に解凍する概略的な原理を示す。

この解凍原理によると、差分画像フレームは、いくらか簡略化した雛形では、図３に示されるように加算によって全画像フレームに変換されることができる。

この概略的な原理は、ＭＰＥＧ−４規格のＢ及びＰフレームなど、異なるタイプの差分画像フレームを有することによって改善されることができ、また、ＭＰＥＧ−４規格のＩフレームのように、全画像フレームも処理（たとえば、圧縮）されることができる。

上述の例示的な実施例から理解されるように、アラーム前映像バッファに保存された全てのシーケンスを見るためには、第１の画像フレームが全画像フレームでなければならないが、固定された数の圧縮映像シーケンスのフレームがＦＩＦＯアラーム前映像シーケンス・バッファに保存されている場合、必ずしもそうなるとは限らない。

図４に、本発明の第１の実施例の概略的な原理が示される。圧縮映像信号、すなわち全画像フレーム及び差分画像フレームが、圧縮映像をバッファするバッファ４０２（バッファ４０２又はそれに相当するバッファは、本願において、時折、映像シーケンスＦＩＦＯバッファと称される）と、全画像フレームのみをバッファするバッファ４０４（バッファ４０４又はそれに相当するバッファは、本出願において、時折、全フレームＦＩＦＯバッファと称される）とを備えるアラーム前映像シーケンス・バッファ４００に連続的に入力される。

映像信号からのそれぞれの入力フレームがバッファ４０２に保存される。バッファが満杯になったら、ＦＩＦＯ原理であるＦＩＦＯ（ｆｉｒｓｔ−ｉｎ−ｆｉｒｓｔ−ｏｕｔ）に従って最も古いフレームが除去される。

新しい全画像フレームが受信されると、バッファ４０４内の全画像フレームが更新される。新しい全画像フレームがいつ受信されるかを追跡するために、カウンタ４０６が使用可能である。

検出信号がアラーム前映像シーケンス・バッファに達すると、バッファ４０４内の最も古い全画像フレームと、バッファ４０２内の圧縮映像シーケンスとが、コンバイナ４０８に出力される。コンバイナ４０８は、バッファ４０２内の映像シーケンスの第１の画像フレームをバッファ４０４内の第１の画像フレームで置き換えることによって、新しい映像シーケンスを生成する。したがって、バッファ４０４の第１の画像フレームが差分画像フレームである場合、バッファ４０４の第１の画像フレームは、常に、バッファ４０２の第１の差分画像フレームが基づく全画像フレームである。

この解決法は、圧縮映像信号に少ない数の中間差分フレームを有するとき、すなわち、全画像フレームの間の差分画像フレームが少ないときに好適である。

たとえば、２つの連続する全画像フレームの間に７５の差分画像フレームがある場合、７４の差分画像フレームが失われるという最悪の筋書きでは、アラーム前映像バッファ内の第１の画像フレームと第２の画像フレームとの間のスキップが相当大きくなり得る。しかしながら、２つの連続する全画像フレームの間に４つの差分画像フレームがある場合は、この場合の最悪の筋書きでは、３つの差分画像フレームが失われるのみであるので、スキップは、そこまで大きくない。

代替として、圧縮映像バッファの最も古いフレームが全画像フレームかどうかの確認が行われてよい。最も古いフレームが全画像フレームである場合、圧縮映像シーケンス・バッファ４０２内の圧縮映像シーケンスが調節なしで出力され、また、最も古いフレームが全画像フレームでない場合、上述のように、これが全画像フレーム・バッファ４０４から取り出された全画像フレームに置き換えられる。

全画像映像バッファ内に最も新しい全画像フレームを有することによって、コンバイナの手順は、常に同じとなり、計算時間が短くなり、その結果、処理能率も改善されることを意味する。

図５に、本発明の第２実施例が示されている。簡単に言えば、圧縮映像信号が、圧縮映像をバッファするバッファ５０２と、全画像フレームをバッファするバッファ５０４と、画像アップデータ５０６とを備えるアラーム前映像シーケンス・バッファ５００に連続的に入力される。検出信号が受信されると、アラーム前映像シーケンスがコンバイナ５０８によって生成される。

第１の実施例と第２の実施例との概略的な違いは、第１の実施例では、バッファ４０４がバッファ４０２のフレーム毎に最も新しい全画像フレームを有するが、第２の実施例では、バッファ５０４は、バッファ５０２のフレーム毎に対応する全画像フレームを有する。これは、入力される画像フレーム毎に対応する全画像を決定する画像アップ・データ５０６によって達成される。

圧縮映像信号の入力フレームが受信されると、入力フレームがバッファ５０２でバッファされ、画像アップ・データ５０６へ送信される。画像アップ・データ５０６は、入力画像フレームが差分画像フレームである場合、受信された差分画像をバッファ５０４内の最新の全画像フレームと組み合わせることによって、入力画像フレームに対応する全画像フレームを生成し、また、入力画像フレームが全画像である場合には、入力画像フレームが既に全画像フレームであるゆえに、それ自体の対応する全画像フレームでもあるため、組合せは必要ない。その後、この対応する全画像フレームでバッファ５０４が更新される。

検出信号を受信すると、圧縮映像バッファ５０２の第１のフレームを対応する全画像フレームで置き換えることで、コンバイナ５０６によってアラーム前映像シーケンスが生成される。

代替として、圧縮映像バッファの最も古いフレームが全画像フレームかどうか、確認が行われてよい。最も古いフレームが全画像フレームである場合、バッファ５０２内の圧縮映像シーケンスが調整なしで出力され、また、最も古いフレームが全画像フレームでない場合、そのフレームが上述のようにバッファ５０４から取り出された全画像フレームによって置き換えられる。

図６には、本発明の第３の実施例が示される。第２の実施例と同様に、圧縮映像信号が、圧縮映像をバッファするバッファ６０２と、全画像フレームをバッファするバッファ６０４と、画像アップ・データ６０６とを備えるアラーム前映像シーケンス・バッファ６００に連続的に入力される。検出信号が受信されると、アラーム前映像シーケンスがコンバイナ６０８によって発生される。

第２の実施例と同様に、圧縮映像信号の入力フレーム毎に、対応する全画像フレームが決定される。ゆえに、バッファ６０４は、第２の実施例と同じ外観を有する。

しかしながら、第２の実施例とは異なり、バッファ６０２内の２つ以上の差分フレームがバッファ６０４からの全画像フレームによって置き換えられることができる。

たとえば、バッファ６０２の最初の２フレームが差分画像フレームである場合、これら２つがバッファ６０４からの対応する全画像フレームによって置き換えられることができる。

代替として、置き換えられるフレームの数を追跡するために、置き換えられるフレームの数を表示するカウンタが使用可能である。

この実施例の利点は、連続する差分画像フレームの数が一定であることであり、アラーム前映像バッファの効率の改善が可能になる。

図７には、本発明の第４の実施例が示される。上述の実施例とは異なり、圧縮映像信号及び圧縮全画像フレーム映像信号（本明細書ではＦフレーム映像信号とも称される）が、アラーム前映像シーケンス・バッファ７００に入力される。圧縮映像信号は、圧縮全画像フレーム（本明細書ではＦフレームと称される）と、圧縮差分画像フレームとを含む。この圧縮映像信号は、たとえば、ＭＰＥＧ−４映像シーケンスである。Ｆフレーム及びＦフレーム映像信号は、いくつかの圧縮方法においてはＩフレーム及びＩフレーム映像信号と呼ばれることがある。

Ｆフレーム映像信号は、圧縮映像信号と同じ映像シーケンスを表す。違いは、Ｆフレーム映像信号は、Ｆフレームのみを含むことである。したがって、圧縮映像信号の画像フレーム毎に、対応する圧縮全画像フレームがＦフレーム映像信号に存在する。

圧縮映像信号は、圧縮映像をバッファするバッファ７０２に入力され、Ｆフレーム映像信号は、Ｆフレームをバッファするバッファ７０４に入力される。バッファ７０２及びバッファ７０４の両方が、ＦＩＦＯ原理に従って機能する。

アラーム前映像シーケンス・バッファ７００によって検出信号が受信されると、アラーム前映像シーケンスがコンバイナ７０６に生成される。コンバイナでは、バッファ７０２の第１のフレームがバッファ７０４の第１のフレームと置き換えられる。

図８には、本発明の第５の実施例が示される。この実施例では、圧縮映像信号がアラーム前映像シーケンス・バッファ８００内の圧縮映像をバッファするバッファ８０２に入力される。アラーム前映像シーケンス・バッファ８００は、また、Ｆフレーム映像をバッファするバッファ８０４を備える。バッファ８０４は、１つのフレームのみを有する。このフレームは、Ｆフレーム・アップ・データ８０６によって更新され、Ｆフレーム・アップ・データ８０６は、最も古いフレームが差分画像フレームである場合、圧縮映像シーケンス・バッファの最も古いフレームを現在のＦフレームと組み合わせ、最も古いフレームがＦフレームである場合、現在のＦフレームをこのＦフレームで置き換える。これは、圧縮映像信号のフレームがアラーム前映像シーケンス・バッファ８００に入ってきたときに毎回行われる。

アラーム前映像シーケンス・バッファ８００によって検出信号が受信されると、コンバイナ８０８にアラーム前映像シーケンスが生成される。コンバイナ８０８では、バッファ８０２の第１のフレームがバッファ８０４からのフレームによって置き換えられる。

上述の実施例では、入力全画像フレームと差分画像フレームとがそれぞれ同じように扱われる。しかしながら、アラーム前映像シーケンスの第１の画像フレームと第２の画像フレームの間に小さいスキップが許容される場合、入力フレームを１つおきにのみ処理することが可能であり、いくらか大きいスキップが許容される場合は、フレームを２つおきにのみ処理することが可能という具合である。しかしながら、全ての全画像フレームが処理される場合、最高の品質が達成される。

図９には、図４に示されるようなアラーム前映像シーケンス・バッファ９０２を備えるカメラ９００が示されている。カメラ９００は、レンズ９０４と、画像センサ９０６と、映像制御装置９０８と、圧縮エンジン９１０と、ＬＡＮ（ローカル・エリア・ネットワーク）又はインタネット９１４に接続されたデータ・ネットワーク・インタフェース９１２と、コンバイナ９１６と、プロセッサ９１８と、メモリ９２０と、場合によって外部検出器９２２とをさらに含む。

簡単に言えば、ストリーミング映像をＬＡＮ又はインタネット９１４に送信するには、光がレンズ９０４を介して画像センサ９０６に伝達される。ＣＣＤセンサ又はＣＭＯＳセンサであってよい画像センサ９０６では、光がデジタル信号に変換される。その後、デジタル信号が映像制御装置９０８に伝達され、映像制御装置９０８は、デジタル信号を画像フレームに変換する。その後、これらの画像フレームは、圧縮エンジン９１０でＭＰＥＧのような映像フォーマットに圧縮され、最終的にデータ・ネットワーク・インタフェース９１２を介してＬＡＮ又はインタネット９１４に伝達される。

アラーム映像シーケンスが検出に際して自動的に送信される場合、両出力画像フレーム、すなわち、映像制御装置９０８からの全画像フレームと、圧縮エンジン９１０からの出力圧縮画像フレームとがアラーム前映像シーケンス・バッファ９０２に入力される。検出がカメラによって受信されると、図４に示すようにコンバイナ９１６とアラーム前映像シーケンス・バッファ９０２とによって、アラーム前映像シーケンスが生成される。アラーム前映像シーケンスが、データ・ネットワーク・インタフェース９１２に伝達され、その後、ＬＡＮ又はインタネット９１４に伝達される。

アラーム前映像シーケンスの伝達中には、アラーム後映像シーケンスがメモリ又はバッファ（図示せず）に保存され、アラーム前映像シーケンスが送信されてしまうと、このアラーム後映像シーケンスが送信される。アラーム後映像シーケンスは、アラーム前映像シーケンスの直後に来るので、アラーム前映像シーケンスの場合のように特別な注意を払わなくてよい。

アラーム前映像シーケンスの送信を起こす検出は、外部検出器９２２からカメラ９００へ入力されることができる。この検出器は、ＰＩＲ（受動赤外線）検出器、光ビーム検出器、音検出器、圧力検出器又は検出に際して信号を出力する任意の他の検出器であってよい。信号は、プロセッサ９１８によって受信され、アラーム前映像シーケンス・バッファ９０２に送られる。

検出信号は、入力画像の特定状況を検出するようにプログラムされた画像分析ソフトウエアによって達成されてもよい。このソフトウエアは、プロセッサ９１８によって実行され、メモリ９２０に保存されてよい。

アラーム前映像シーケンスがＬＡＮ又はインタネット９１４に送信された後、アラーム後映像シーケンスがＬＡＮ又はインタネット９１４に伝達される。

図１０には、図５、図６、図７又は図８に示されるようなアラーム前映像シーケンス・バッファ１００２を備えるカメラ１０００が示されている。カメラ１０００は、レンズ１００４と、画像センサ１００６と、映像制御装置１００８と、圧縮エンジン１０１０と、ＬＡＮ（ローカル・エリア・ネットワーク）又はインタネット１０１４に接続されたデータ・ネットワーク・インタフェース１０１２と、コンバイナ１０１６と、プロセッサ１０１８と、メモリ１０２０と、場合によっては外部検出器１０２２とをさらに備える。

カメラ１０００とカメラ９００との違いは、アラーム前バッファ１００２、及びアラーム前バッファ１００２と、映像制御装置１００８と、圧縮エンジン１０１０との間の通信である。

カメラ１０００では、アラーム映像シーケンスが検出に際して自動的に送信される場合、検出信号が受信されるまで、圧縮エンジン１０１０からの出力圧縮画像フレームがアラーム前映像シーケンス・バッファ１００２に連続的に入力される。

図５、図６及び図８に示された実施例では、出力圧縮画像フレームは、実線で示されるように１つの映像信号、すなわち、圧縮映像信号である。しかしながら、図７に示される実施例では、出力圧縮画像フレームは、実線及び破線でそれぞれ示されるように、２つの映像信号、すなわち、圧縮映像信号及びＦフレーム映像信号である。

図１１には、図４に示されるようなアラーム前映像シーケンス・バッファ１１０２を備える映像サーバ１１００と、アナログ・カメラ１１０４とを備える監視システムが示される。映像サーバ１１００は、ＡＤ変換器１１０６と、映像制御装置１１０８と、圧縮エンジン１１１０と、ＬＡＮ（ローカル・エリア・ネットワーク）又はインタネット１１１４に接続されたデータ・ネットワーク・インタフェース１１１２と、コンバイナ１１１６と、プロセッサ１１１８と、メモリ１１２０と、場合によっては外部検出器１１２２とを備える。

映像サーバ１１００とカメラ９００との違いは、レンズ９０４と画像センサ９０６とがアナログ・カメラ１１０４とＡＤ変換器１１０６とによって置き換えられていることである。

図１２には、図５、図６、図７又は図８に示されるようなアラーム前映像シーケンス・バッファ１２０２を備える映像サーバ１２００と、アナログ・カメラ１２０４とを備える監視システムが示されている。映像サーバ１２００は、ＡＤ変換器１２０６と、映像制御装置１２０８と、圧縮エンジン１２１０と、ＬＡＮ（ローカル・エリア・ネットワーク）又はインタネット１２１４に接続されたデータ・ネットワーク・インタフェース１２１２と、コンバイナ１２１６と、プロセッサ１２１８と、メモリ１２２０と、場合によっては外部検出器１２２２とを備える。

映像サーバ１２００とカメラ１０００との違いは、レンズ１００４と画像センサ１００６とが、アナログ・カメラ１２０４とＡＤ変換器１２０６とによって置き換えられていることである。

図１３を参照すると、アラーム前映像シーケンスをバッファ及び生成する方法が示されている。

ステップ１３００では、画像キャプチャ装置（たとえば、カメラ）との外部直接接続部、画像キャプチャ装置へのネットワーク接続又は圧縮エンジン及び現在のプロセスを実行する手段の両方を含む、画像キャプチャ装置（たとえば、カメラ）の映像圧縮エンジンから、入力画像フレームが受信される。入力画像フレームは、圧縮映像シーケンス、すなわち、全画像フレームを含む全画像によって時折、中断される一連の差分画像であってよい。入力画像フレームは、上述のような圧縮映像シーケンス及び圧縮映像シーケンスの画像フレームを表す全画像フレームの追加の入力であってよい。

ステップ１３０２では、圧縮映像シーケンスの受信された入力画像フレームが映像シーケンスＦＩＦＯバッファに保存される。

ステップ１３０４では、少なくとも１つの第１の全画像フレームが全画像ＦＩＦＯバッファに保存される。この少なくとも１つの全画像フレームは、入力画像フレームの圧縮映像シーケンスから計算された全画像フレームであるか、又は入力画像フレームが圧縮映像シーケンスの画像フレームを表す全画像フレームを含む場合、入力画像フレームの一部として受信される全画像フレームであってよい。

その後、ステップ１３０８で、興味深い出来事を示す検出信号が受信される。

ステップ１３１０では、検出信号に応答して、全画像ＦＩＦＯバッファの最も古い全画像フレームを映像シーケンスＦＩＦＯバッファ内に保存された映像シーケンスと組み合わせることによって、出力映像シーケンスが生成される。一実施例では、全画像ＦＩＦＯバッファ内の最も古い全画像フレームは、映像シーケンスＦＩＦＯバッファの最も古い画像フレームの全画像バージョンである。別の実施例では、映像シーケンス・バッファからの映像シーケンスに、全画像フレームの間のいくらかの時間的距離が挿入されてもよい。

出力映像シーケンスの生成は、検出信号の受信に際して自動的に行われてよい。

本発明は、主にいくつかの実施例を参照して上述されてきた。しかしながら、当業者によって容易に理解されるように、上記に開示された実施例以外の他の実施例も、添付の特許請求の範囲に規定される本発明の範囲内において等しく可能である。

アラーム映像シーケンスの図である。 通常の映像圧縮アルゴリズムの概略図である。 通常の映像解凍アルゴリズムの概略図である。 アラーム前映像シーケンス・バッファの機能の第１の実施例の概略図である。 アラーム前映像シーケンス・バッファの機能の第２の実施例の概略図である。 アラーム前映像シーケンス・バッファの機能の第３の実施例の概略図である。 アラーム前映像シーケンス・バッファの機能の第４の実施例の概略図である。 アラーム前映像シーケンス・バッファの機能の第５の実施例の概略図である。 第１の実施例に従ったアラーム前映像シーケンス・バッファを備える監視カメラの概略図である。 第２、第３、第４又は第５の実施例に従ったアラーム前映像シーケンス・バッファを備える監視カメラの概略図である。 映像サーバが第１の実施例に従ったアラーム前映像シーケンス・バッファを備えアナログ・カメラに接続された映像サーバを備える映像監視システムの概略図である。 映像サーバが第２、第３、第４又は第５の実施例に従ったアラーム前映像シーケンス・バッファを備えアナログ・カメラに接続された映像サーバを備える映像監視システムの概略図である。 映像シーケンスをバッファする方法を図示するフローチャートである。

Claims (26)

1. 映像シーケンスをバッファする方法であって、
   全画像フレーム及び差分画像フレームを含む入力映像ストリームから入力画像フレームを受信するステップと、
   各フレームの受信に応答して受信された各入力画像フレームを映像シーケンスＦＩＦＯバッファに保存するステップと、
   映像シーケンスＦＩＦＯバッファに保存された映像シーケンスと関連付けられ、少なくとも１つの全画像フレームを全画像ＦＩＦＯバッファに保存するステップと、
   全画像フレームＦＩＦＯバッファからの保存された少なくとも１つの全画像フレームのうちの少なくとも１つを映像シーケンスＦＩＦＯバッファの画像フレームと組み合わせることによって、出力映像シーケンスを生成するステップとを含む前記方法。
2. 請求項１記載の方法であって、全画像フレームＦＩＦＯバッファに保存された少なくとも１つの全画像フレームは、映像シーケンスＦＩＦＯバッファに保存された画像フレームの全画像表示である前記方法。
3. 請求項１記載の方法であって、全画像フレームＦＩＦＯバッファに保存された少なくとも１つの全画像フレームは、映像シーケンスＦＩＦＯバッファに保存された映像シーケンスのうちの最も古い画像フレームに対して短い時間的距離を有する画像フレームの全画像表示である前記方法。
4. 請求項１記載の方法であって、出力映像シーケンスを生成するステップは、全画像フレーム及び差分画像フレームを含む映像シーケンスＦＩＦＯバッファから出力された映像シーケンスの第１のフレームとして、全画像ＦＩＦＯバッファからの全画像フレームを挿入するステップを含む前記方法。
5. 請求項１から４のいずれかに記載の方法であって、出力映像シーケンスを生成するステップは、検出信号の受信の際に自動的に行われる前記方法。
6. 請求項１から５のいずれかに記載の方法であって、入力画像フレームを含む映像ストリームを出力する映像シーケンス符号化手段から全画像フレームを頻繁に受信するステップは、それぞれの全画像フレームが入力画像フレームの画像フレームの全画像バージョンを表すステップをさらに含み、少なくとも１つの全画像フレームを保存するステップは、それぞれの全画像フレームの受信に応答して、受信された全画像フレームのそれぞれを全画像ＦＩＦＯバッファに保存するステップを含む前記方法。
7. 請求項１から５のいずれかに記載の方法であって、少なくとも１つの全画像フレームを全画像ＦＩＦＯバッファに保存するステップは、
   受信された入力画像フレームのうちの少なくとも１つの画像フレームを少なくとも１つの全画像フレームと組み合わせるステップであって、受信された入力画像フレームのうちの少なくとも１つの画像フレームが差分画像であり、少なくとも１つの全画像フレームが表しているよりも、映像シーケンス内においてより新しい画像フレームを表すステップと、
   組み合わされた画像フレームを全画像ＦＩＦＯバッファに保存するステップとをさらに含む前記方法。
8. 請求項１から５のいずれかに記載の方法であって、少なくとも１つの全画像フレームを保存するステップは、全画像ＦＩＦＯバッファ内の受信された入力画像フレームの全画像フレームを保存するステップを含む前記方法。
9. 請求項７および８のいずれかに記載の方法であって、全画像ＦＩＦＯバッファ及び映像シーケンスＦＩＦＯバッファは、等しい数の画像フレームを保存する前記方法。
10. 請求項７および８のいずれかに記載の方法であって、全画像ＦＩＦＯバッファは、１つの画像フレームを保存する前記方法。
11. 請求項１０記載の方法であって、前記受信された入力画像フレームのうちの前記少なくとも１つの画像フレーム又は前記受信された入力画像フレームの前記全画像フレームは、前記映像シーケンスＦＩＦＯバッファ内で最も古い画像フレームである前記方法。
12. 映像シーケンスをバッファリングするアラーム前バッファであって、入力映像ストリームからの入力画像フレームをバッファリングするように構成された映像シーケンスＦＩＦＯバッファと、
    少なくとも１つの全画像フレームをバッファリングするように構成され、前記映像シーケンスＦＩＦＯバッファに関連付けられた全画像ＦＩＦＯバッファと、
    前記全画像ＦＩＦＯバッファからの画像フレームを第１ＦＩＦＯバッファの画像フレームと組み合わせ、アラーム前映像シーケンスを生成するように構成されたコンバイナとを備えるアラーム前バッファ。
13. 請求項１２記載のアラーム前バッファであって、前記全画像フレームＦＩＦＯバッファに保存された前記少なくとも１つの全画像フレームは、前記映像シーケンスＦＩＦＯバッファに保存された画像フレームの全画像表示であるアラーム前バッファ。
14. 請求項１２記載のアラーム前バッファであって、前記全画像フレームＦＩＦＯバッファに保存された前記少なくとも１つの全画像フレームは、前記映像シーケンスＦＩＦＯバッファ内に保存された前記映像シーケンスの最も古い画像フレームに対して短い時間的距離を有する画像フレームの全画像表示であるアラーム前バッファ。
15. 請求項１２から１４のいずれかに記載のアラーム前バッファであって、前記コンバイナは、全画像フレーム及び差分画像フレームを含む映像シーケンスＦＩＦＯバッファから出力された映像シーケンスの第１フレームとして、全画像ＦＩＦＯバッファからの全画像フレームを挿入するように構成されるアラーム前バッファ。
16. 請求項１２から１５のいずれかに記載のアラーム前バッファであって、全フレーム及び差分フレームを含む映像シーケンスを受信するように構成された圧縮映像入力部をさらに含むアラーム前バッファ。
17. 請求項１２から１６のいずれかに記載のアラーム前バッファであって、全フレームのみを含む映像シーケンスを受信するように構成された全フレーム映像入力部をさらに含むアラーム前バッファ。
18. 請求項１２から１７のいずれかに記載のアラーム前バッファを含む映像サーバ。
19. 請求項１２から１７のいずれかに記載のアラーム前バッファを含むカメラ。
20. 請求項１から１１のいずれかに記載の方法のステップを実行するコンピュータ・プログラム符号を含むコンピュータ・プログラム。
21. 全画像フレーム及び差分画像フレームを含む映像シーケンスＦＩＦＯバッファから出力される映像シーケンスの第１フレームとして、全画像ＦＩＦＯバッファからの全画像フレームを挿入するステップを含むアラーム前映像シーケンスを生成する方法。
22. 請求項２１記載の方法であって、前記全画像ＦＩＦＯバッファからの前記全画像フレームは、前記映像シーケンスＦＩＦＯバッファから出力される第１画像を置き換える前記方法。
23. 請求項２１記載の方法であって、前記全画像ＦＩＦＯバッファからの前記全画像フレームは、前記映像シーケンスＦＩＦＯバッファからの前記映像シーケンスの第１フレームとして配置され、前記映像シーケンスから出力される前記第１フレームを結果として生じる映像シーケンスの第２映像フレームにする前記方法。
24. 全画像フレーム及び差分画像フレームを含む映像シーケンスＦＩＦＯバッファから出力される映像シーケンスの第１フレームとして、全画像ＦＩＦＯバッファからの全画像フレームを挿入するステップを実行することによって、アラーム前映像シーケンスを生成するコンピュータ・プログラム符号を含むコンピュータ・プログラム。
25. 請求項２４記載のコンピュータ・プログラムであって、前記全画像ＦＩＦＯバッファからの前記全画像フレームは、前記映像シーケンスＦＩＦＯバッファから出力される第１画像を置き換えるコンピュータ・プログラム。
26. 請求項２４に記載のコンピュータ・プログラムであって、前記全画像ＦＩＦＯバッファからの前記全画像フレームは、前記映像シーケンスＦＩＦＯバッファからの前記映像シーケンスの前記第１フレームとして配置され、前記映像シーケンスから出力される前記第１フレームを、結果として生じる映像シーケンスの第２映像フレームにするコンピュータ・プログラム。