JP2019033494A - ビデオソースデバイスからストリーム配信されるデータの格納管理 - Google Patents

Abstract

【課題】ビデオソースデバイスから受信されるデータを管理するコンピュータ実装方法を提供する。【解決手段】ビデオソースデバイスから受信されるデータを管理する方法において、格納媒体上の少なくとも第１の格納層と第２の格納層が、データの様々なカテゴリを個々に格納するために特定される。データストリームがビデオソースから受信されると、データストリームは、少なくとも第１の格納層若しくは第２の格納層と関連付けられ、受信されたストリームからのデータは、関連付けられる格納層内に格納される。格納媒体がフルである、若しくは、或る他の特定の最大限容量閾値を満たすと、一つ若しくはそれ以上の特定の最大限の保持期間を超える期間を有するデータを発端に、データが削除され、第１と第２の格納層の一つ若しくは両方からの最も古い期間のデータが続いて削除される。【選択図】図９

Description

関連出願のクロスリファレンス
本願は、２０１４年１２月１１日提出の米国非仮特許出願第１４／５６８０７７号の米国特許法１１９条（ｅ）の優先権の利益を主張するものであり、更に該出願は、２０１４年１月１５日提出の米国仮特許出願第６１／９２７９２３号の米国特許法１１９条（ｅ）の優先権の利益を主張するものであり、それらの開示は参照の上全体として本明細書に組み込まれる。

技術分野
本開示は、概略、ビデオソースデバイスからストリーミング配信されるデータの格納を管理することに関する。

背景技術
通常のビデオ監視システムでは、一つ若しくはそれ以上のカメラがサーバシステムに通信自在に結合し得る。ビデオデータはカメラにより記録されると、サーバシステムに転送され、そこで後続の検索のために格納される。クライアントシステムは、サーバシステムと通信自在に結合し、記録されたビデオデータのストリームを要求して受信するのに用いられ得る。

ビデオ監視システムは、１日に２４時間、及び１週間に７日間、動作していることを要求されることが多い。結果として、大量のデータがそれらシステムにて記録されて格納され得る。記録されたデータを格納するのに利用可能である計算メモリの量にも物理的限度があることも多い。監視システムで記録され得る大量のデータは、システムの格納容量限度の範囲内で動作しつつも所望のデータに迅速にアクセスし得るべくデータをどのように管理するのか、という実際的問題を提起する。

概要
出願人は、ビデオソースデバイスから受信するデータを管理するシステム及びコンピュータ実装方法を本明細書に開示する。例示の実施形態では、格納管理システムは、第１のカテゴリのデータを格納するための、格納層と称され得る、第１の格納エリアと、第１のカテゴリのデータを格納するための第２の格納エリア若しくは層を、少なくとも管理する。エンコードされたデータストリームは、格納管理システムにて受信され、システムは一つ若しくはそれ以上のデータストリームを第１の格納エリアと関連付け、一つ若しくはそれ以上のデータストリームを第２の格納エリアと関連付ける。データストリームは関連付けられた格納エリア内に格納される。格納管理システムは、格納されるデータをモニタして、格納エリア及び／又は格納媒体がフルであるかどうか、若しくは、或る他の特定の最大限容量閾値を満たすかどうかを判別する。もしそうであるならば、格納管理システムは、閾値を超えるデータを削除する。例示の実施形態では、格納管理システムは、一つ若しくはそれ以上の特定の最大限の保持期間を超える期間を有するデータを削除する。格納されるデータが更に閾値を超えれば、第１と第２の格納層の一方若しくは両方から最も古い期間を伴うデータが削除されてもよい。

開示される実施形態の別の形態によると、格納管理システムは、第１と第２の格納層内に格納されるデータの相対的量を特定する比率を特定し得る。比率を維持する必要があるときは、特定された格納の比率が維持されるように、最も古い期間を伴うデータが、第１と第２の格納層の一方若しくは両方から削除され得る。例示の実施形態では、第１の格納層は、長期間の最大限の保持期間を有する長期間格納層であってもよく、第２の格納層は、前記長期間の最大限の保持期間より短い短期間の最大限の保持期間を有する短期間格納層であってもよい。

開示される実施形態の別の形態によると、データストリームは、様々な解像度の少なくとも二つのバーチャルストリームを含み得る。格納管理システムは、より低い解像度のバーチャルストリームを短期間格納層と関連付け、より高い解像度のバーチャルストリームを長期間格納層と関連付ける。例示のシナリオでは、バーチャルストリームは、多重バーチャルストリームを含み、各々は視野内に様々な関心領域をキャプチャする。そのようなシナリオでは、格納管理システムは、第１の関心領域を短期間格納エリアと関連付け、第２の関心領域を長期間格納エリアと関連付け得る。様々な関心領域は、視野の様々な部分を含み得、その場合、視野の中心部分のバーチャルストリームは、長期間格納層と関連付けられ、視野の非中心部分のバーチャルストリームは、短期間格納層と関連付けられる。

この概要は、以下、例示の実施形態の詳細な説明にて更に記載する、簡素な形式での概念の選択を導入するべく提示する。この概要は、特許請求の範囲の主題の肝要な特徴若しくは本質的な特徴を特定することを意図するものでは無く、該主題の範囲を限定することを意図するものでも無い。他の特徴を以下に記載する。

前述の概要、及び実施形態についての以下の更なる説明は、添付の図面と併せて読むことでより良く理解され得る。当然ながら、開示のシステム及び方法の潜在的な実施形態は、描写するものに限定されない。
図１は、多重解像度エンコーディングを生成して格納するように調整された例示の監視システムを示す。 図２は、多重解像度エンコーディングを表示するように適応された例示のディスプレイモニタを示す。 図３は、多重解像度エンコーディングを生成し受信するように適応された例示のビデオソースデバイス及びコントロールサーバを示す。 図４は、ビデオソースデバイス及びコントロールサーバにより提供される例示の機能特徴を示す。 図５は、多重化されたコンテナフレームを含むビデオストリームの例示の処理を示す。 図６は、多重解像度エンコーディングに含まれる個別のバーチャルストリームを記述する例示のビデオソースデバイスレスポンスを示す。 図７は、異なる解像度での関心領域の例示のエンコーディングの図を示す。 図８は、ビデオソースデバイスからデータをストリーミングする例示の方法のフロー図を示す。 図９は、データ格納媒体の異なる位置でビデオソースデバイスから受信したデータストリームを格納する例示の方法のフロー図を示す。 図１０は、データストリームを格納する例示の方法のフロー図を示す。 図１１は、データ格納媒体上にデータストリームを格納する例示の方法を示す。 図１２は、データ格納媒体からデータを削除する例示の方法のフロー図を示す。

要旨
概略、デジタル監視システムは、モニタリングステーションに接続する複数のカメラを含む。モニタリングステーションは、多数のカメラから受信されるビデオを格納する。モニタリングステーションにより、受信されたビデオは、モニタリングのための一つ若しくはそれ以上の接続されたクライアントに、ストリーム配信され得る。カメラは、特定の解像度でのビデオのエンコーディングをモニタリングステーションにストリーム配信するエンコーダに接続する、アナログカメラでもデジタルカメラでもよい。カメラは、特定の解像度でのビデオのエンコーディングを、ＩＰネットワークに亘ってモニタリングステーションにストリーム配信するエンコーダを含む、インターネットプロトコル（ＩＰ）カメラを、更に含んでもよい。

カメラの中に組み込まれていてもカメラから分離していても、エンコーダは、エンコードされたビデオをストリーム配信するための、要求されるストレージサイズ及びネットワーク帯域幅を減少させるために、ビデオをエンコードする際に様々なできる限りの符号化／圧縮フォーマットを用いてもよい。サーベイランス産業で共通に用いられるフォーマットは、ＪＰＥＧ、ＭＰＥＧ−２、ＭＰＥＧ−４及びＨ．２６４を含む。モニタリングクライアントは、ある環境では、多数のカメラからのビデオを一斉にディスプレイする。従って、モニタリングクライアントは、多数のビデオエンコーディングを受信してデコードしなければならない。ビデオがファイルサイズを減少させるようにエンコードされても、多数の最大解像度のストリームをワイドエリアネットワーク（ＷＡＮ）に亘ってモニタリングステーションにストリーム配信することは、困難であることがある。圧縮技術は、特定の解像度のためのエンコーディングの質を大きく減少させること無く、エンコーディングのファイルサイズを更に減少し得る。しかしながら、そのような圧縮技術のデコーディングは、より計算的に複雑である。従って、モニタリングクライアントは、タイミング良く多数のエンコーディングを表示のためにデコードするということができない。

モニタリングクライアントにてデコードされディスプレイされ得る複数のエンコーディングを提供するために、帯域幅を減少するようにビデオに重い圧縮を用いることが、可能である。しかしながら、多数のビデオエンコーディングが、モニタリングクライアントにてタイミング良くデコードされディスプレイされ得るようにする圧縮技術は、ビデオの質を大きく減じ得る。ビデオの質がディスプレイ解像度にて見るには十分であるが、エンコードされたビデオの一部を詳細に眺め得るのに十分な質を提供し得ない。

ビデオの詳細の実質的一部を保つビデオと共に、モニタリングロケーションにリアルタイムでストリーム配信され得るビデオを提供するために、ビデオは、例えば、解像度、フレームレート、及び種々の他の質のセッティングを含む、種々のエンコーディングパラメータに従って、エンコードされてもよい。例示のシナリオでは、低解像度エンコーディングはビデオをモニタリングクライアントにストリーム配信するのに用いられ得、高解像度エンコーディングは中央のモニタリングステーションにて格納されてビデオの一部のより詳細な調査が要求されるときにモニタリングロケーションに提供され得る。しかしながら、最大解像度エンコーディングを見る際には、高解像度エンコーディングは更にモニタリングクライアントに転送されねばならず、最大解像度エンコーディングの大きいサイズを考慮すると、その転送は遅くてもよい。

ＪＰＥＧ２０００などの、エンコーディング技術は、単独の画像で多数の解像度をエンコードすることができるが、多数の独立のエンコーディングを、ビデオソースデバイスからモニタリングステーションにストリーム配信することが、望ましい。多数の独立のエンコーディングは、後続の検索のために格納され得る。更に、ＪＰＥＧ２０００の場合のような単独のエンコーディングとは対照的に、複数のエンコーディングが独立であるとき、更なる格納を提供するために、最早関連が無ければ高解像度エンコーディングは格納から削除され得る。低解像度エンコーディングは、より長期間、保持され得る。

本明細書に記載の実施形態は、有限のストレージ容量を有するデータ格納媒体上で、ビデオソースデバイスからのデータストリームの格納を管理するシステム及び方法に、概略関する。開示された格納管理システムは、プロセッサによって実行可能である、プログラムコードを含み、該プログラムコードは、カメラにより記録されるデータストリームがいつ格納されるべきか、及び、データストリームがデータ格納媒体上のどこに格納されるべきかを判別する。開示されたシステムは更に、予め格納されたどのデータが削除されるべきか、格納媒体がいつフルになるか、又は、例えば、格納閾値などの他の基準がいつ満足されたか、を判別する。

本明細書に記載の、一つの特定の一連の実施形態では、ビデオソースデバイスは、多数の独立の解像度エンコーディングを含むデータストリームを提供し、それらは、コントロールサーバに対して「モザイクストリーム」を集合的に形成するものと考えられ得る。エンコーディングのより多くのもののうちの一つは、カメラの全体視野の特定の解像度にて記録されたバーチャルストリームであってもよい。他のエンコーディングのうちの一つ若しくはそれ以上は、異なる関心領域の、個別にエンコードされたバーチャルストリームのモザイクを、含み得る。異なる関心領域の各々は、タイルのモザイクがアセンブルされて全体の視野を表し得るように、カメラの視野内の、「タイル」と称されることがある、特定エリアのバーチャルストリームでもよい。例えば、最大解像度エンコーディングは、エンコードされたビデオのタイルの２×２モザイクにより、提供され得る。従って、ビデオクライアントが、フルフレームの一部の詳細な表示を見ることを望むときは、モザイクタイルのサブセットのみ提供されることを必要とし、そのことにより、要求される帯域幅及び処理は減少する。

異なるデータストリームの各々は、独立してエンコードされ更に独立してデコードされ得るので、データ格納管理プログラムは、異なるデータストリームが格納媒体の異なる格納エリア／ロケーション、即ち「層」に格納されるように仕向けるべく、実行され得る。ある実施形態では、データ格納管理システムは、異なる格納層内に、解像度エンコーディングの一つの、異なるタイルを格納し得る。例えば、システムは、格納エリア即ち層を長期間格納層として識別して、その長期間格納層内にフルフレームのより低い解像度エンコーディングのバーチャルストリームを格納してもよい。システムは、別の層を、短期間格納層に向けられるものとして指定し、その短期間格納層内に最大解像度エンコーディングタイルの、一部若しくは全部を格納してもよい。例示の実施形態では、動きを伴う、若しくは、ドアをキャプチャする、フレーム内の領域などの、最大解像度エンコーディングのうちの特に関連するタイルが、長期間格納層内に格納され、あまり関連しないタイルが短期間格納層内に格納されてもよい。

データ格納管理プログラムは、規定された基準に従って、格納媒体から或るビデオデータを選択的に除去し得る。例えば、長期間格納層上に格納されたエンコーディングが除去される前に、より高い解像度エンコーディングが短期間格納層から除去されてもよい。データを除去する若しくは削除するための、規定された基準は、例えば、格納容量限度や、データが格納された時間の長さを含む、任意の適切なパラメータを含み得る。

本明細書に記載のシステム及び方法は、多数の、独立にデコード可能なバーチャルストリームを含むモザイクストリームの格納管理のために採用され得、ここで最大解像度のストリームは関心領域の多数のバーチャルストリームで構成され、各々の関心領域は、カメラの視野の別々のエリアをカバーするタイルにより表される。そのような実施形態では、関心領域の全てはグリッド内にアセンブルされ、全体の視野を表し得る。

開示のデータ格納管理システム及び方法の幾つかの形態を、モザイクストリームの文脈で説明しているが、当然ながら、開示のシステム及び方法は他のタイプのデータストリームを管理するのに用いられてもよい。例えば、二つのカメラ（若しくは、別のタイプのビデオソースデバイス）は、夫々、統合されたＨ．２６４リアルタイムトランスポートプロトコル（ＲＴＰ）ストリームを送信し得、ここで一つのデータストリームは高解像度のストリームであり、もう一つのデータストリームは、低解像度のデータストリームである。そのような実施形態では、高解像度のストリームは、短期間格納層内に格納され、低解像度のストリームは、長期間格納層内に格納され得る。別の例によると、カメラは、最初のデータストリームとして機能する一つのＪＰＥＧストリームを送信し得る。そのような実施形態では、一つの格納媒体層は、ストリームの偶数フレームを格納し、別の格納媒体層は、ストリームの奇数フレームを格納し得る。一つのカメラが一つのＨ．２４６ＲＴＰストリームを送信する更に別の例では、ストリームのキーフレームを格納するのに一つの格納媒体層が採用され、ストリームの、Ｐフレーム、即ち予測ピクチャフレームを格納するのに別の格納媒体層が用いられる。

例示のエンコーディング及び格納管理システム
図１は、ビデオをエンコードし、エンコードされたデータストリームを格納する例示のシステムを表す。例示の実施形態では、システムは、ビデオの多重解像度エンコーディングを提供できる監視システムであってもよい。システム１００は、複数のビデオソースデバイスからビデオを受信すること、受信したビデオの格納を管理すること、及びビデオを一つ若しくはそれ以上のクライアントにストリーム配信することを含む、種々の機能を提供するコントロールサーバ１０２を含む。コントロールサーバ１０２は、一つ若しくはそれ以上の物理コンピュータにより、及び／又は、一つ若しくはそれ以上の仮想コンピュータにより、提供され得る。一つの別途の実施形態（図示せず）では、コントロールサーバ１０２の機能は、ビデオソースデバイス１１０、１１４自身の一つ若しくはそれ以上により実装され得、それらは多数のエンコーディングをクライアントに直接送信し得る。コントロールサーバは、（ＩＰカメラ１１０と総称する）複数のデジタルＩＰカメラ１１０ａ、１１０ｂ、１１０ｃ、１１０ｄと接続し得、更に、（エンコーダ１１４と総称する）複数のストリミングエンコーダ１１４ａ、１１４ｂと接続し得、該エンコーダ１１４は（カメラ１１２と総称する）一つ若しくはそれ以上のデジタル若しくはアナログカメラ１１２ａ、１１２ｂ、１１２ｃと結合し得る。ＩＰカメラ１１０及びエンコーダ１１４は、ビデオソースデバイスと総称され得る。ビデオソースデバイスは、ネットワーク１１６に亘って、コントロールサーバにビデオをストリーム配信し得る。ネットワーク１１６は、任意の適切な技術を含み得、有線ローカルネットワーク（ＬＡＮＧ）、無線ローカルネットワーク（ＷＬＡＮ）、更にワイドエリアネットワーク（ＷＡＮ）を含む、一つ若しくはそれ以上の個別のネットワークにより、提供され得る。

コントロールサーバ１０２は、バーチャルストリームマネジャ機能部を提供する。例示の実施形態では、「サーバ−デバイスバーチャルストリームマネジャ」や「サーバ−デバイスＶＳマネジャ」と称され得る、バーチャルストリームマネジャレジデントは、コントロールサーバ１０２が記録デバイスから受信するバーチャルストリームを管理する。サーバ−デバイスＶＳマネジャ１０４は、独立の多重解像度エンコーディングをストリーム配信するために、ビデオソースデバイス１１０、１１４を構成するために機能部を提供する。サーバ−デバイスＶＳマネジャ１０４は、ビデオソースデバイス１１０、１１４からストリームを受信し、受信したストリームを個別のバーチャルストリームに逆多重化する機能も、含み得る。逆多重化されたバーチャルストリームは、組み合わされ、例えば、バーチャルストリームの一つ若しくはそれ以上を除去することを含む、様々なやり方で再多重化され得る。ビデオソースデバイス１１０、１１４からのストリームの個別のバーチャルストリームは、格納のために格納管理機能部に提供され得る。

個別のバーチャルストリームの一つ若しくはそれ以上は、更なるバーチャルストリームマネジャ機能部に提供され得る。例えば、本明細書にて「サーバ−クライアントバーチャルストリームマネジャ」や「サーバ−クライアントＶＳマネジャ」と称され得る、バーチャルストリームマネジャ１０６は、コントロールサーバ１０２がクライアント１４２に送信するバーチャルストリームを管理する。個別のバーチャルストリームは、格納管理機能部１０８と、サーバ−デバイスＶＳマネジャ１０４との、いずれかから、サーバ−クライアントＶＳマネジャ１０６に提供され得る。サーバ−クライアントＶＳマネジャ１０６は、ネットワーク１４４に亘って、モニタリングクライアントに一つ若しくはそれ以上のバーチャルストリームをストリーム配信する。

ビデオソースデバイス１１０、１１４の各々は、個別のビデオソースデバイス１１０、１１４の容量と、ネットワーク１１６の帯域幅、ネットワーク１４４の帯域幅、利用可能な格納空間などの他のコンポーネントの容量と、及び、監視システムの条件とに依存して、種々のバーチャルストリームエンコーディングを提供するように構成され得る。ビデオソースデバイス１１０、１１４は、単独の解像度エンコーディングを提供してもよく、複数の個別の解像度エンコーディングを提供してもよい。更に、個々の解像度エンコーディングは、複数のバーチャルストリームにより提供され得る。ネットワーク１１６に亘ってＩＰカメラ１１０からコントロールサーバ１０２へストリーム配信されるものとして、ストリーム１１８は図１にて示されている。

図視するように、ストリーム１１８は、複数の個別の解像度エンコーディング１２０、１２２、１２４を含む。個別の解像度エンコーディング１２０、１２２、１２４は、ソースビデオの同じ部位をエンコードするものとして示され、それは、カメラ１１０ａのセンサの関心領域の実質的に全てであると考えられる。個別の解像度エンコーディング１２０、１２２、１２４の各々は、夫々の圧縮アルゴリズムを用いてソースコードをエンコードし、解像度、フレームレート、及び／又はビデオの質を、減じ得る。例えば、解像度エンコーディング１２０は、ソースの最大解像度にエンコードされ得、解像度エンコーディング１２２は、ソースの解像度の半分にエンコードされ得、及び、解像度エンコーディング１２４は、ソースの解像度の４分の１にエンコードされ得る。

個別の解像度エンコーディング１２０、１２２、１２４の各々は、ストリーム１１８の範囲内の一つ若しくはそれ以上のバーチャルストリーム１２６、１２８、１３０により、提供され得る。各々のバーチャルストリーム１２６、１２８、１３０は、夫々の解像度エンコーディング１２０、１２２、１２４の圧縮レベルにてエンコードされたビデオソースの少なくとも一部を含む。図示されるように、最大解像度エンコーディング１２０は、バーチャルストリームの３×４のタイル表示により、提供される。１２のバーチャルストリーム１２６の各々は、同じ圧縮技術によりエンコードされ、１２のバーチャルストリームが組み合わされると、それらは、ソースビデオの最大解像度を提供する。解像度エンコーディング１２２は、単独のバーチャルストリームにより提供されるべく図示されている。従って、バーチャルストリーム１２８は、ビデオソースの１／２の解像度を有し得る。同様に、バーチャルストリーム１２８は、ビデオソースの１／４の解像度を有し得る。より大きい領域のタイル表示を提供するものとして記載しているが、バーチャルストリームは、タイル表示を形成する必要は無い。むしろ、各々のバーチャルストリームが、特定の関心領域をエンコードするものでもよく、その場合特定の関心領域は全体のソースビデオを含んでもよく、一部を含んでもよい。種々のバーチャルストリームは、同じ関心領域をオーバラップしてもよく、ソースビデオの非オーバラップ部位をエンコードしてもよい。

サーバ−デバイスＶＳマネジャ１０４は、ビデオソースデバイス１１０から、ストリーム１１８などのストリーム配信を受信し得る。サーバ−デバイスＶＳマネジャ１０４は、受信したストリーム１１８から、個別の解像度エンコーディング１２０、１２２、１２４のバーチャルストリームを逆多重化し得、逆多重化されたバーチャルストリームは、格納及び格納管理のために格納管理機能部１０８に通され得る。更に、バーチャルストリームの一つ若しくはそれ以上は、クライアントにストリーム配信するために、サーバ−クライアントＶＳマネジャ１０６に通され得る。

格納管理機能部１０８は、コントロールサーバ１０２内のプロセッサにより実行可能であり、且つ、図１０〜図１２に関連して含む本明細書に記載のデータ格納媒体１３２内の解像度エンコーディングの格納を管理するように適応された、データ管理プログラムを含む。データ管理プログラムは、データ格納媒体１３２へ、各々の、若しくは選択された数の、解像度エンコーディングを通し得る。データ管理プログラムは、データ格納媒体１３２内の、例えば、格納セクション若しくは層と称され得る様々な格納領域内に様々なビデオデータを格納することにより、格納されるデータを構造化する。例示の実施形態では、格納層は短期間格納層１３６、中間期間格納層１３８、及び長期間格納層１４０を、含み得る。短期間格納層１３６は、解像度エンコーディングの各々を格納するのに用いられ得る。データ管理プログラムは、一連の基準に基づいて各々の格納層からビデオデータを消去するように適応される。データ格納媒体１３２は、コントロールサーバ１０２と同じコンピュータシステム内に、含まれ得る。更に、若しくは、別途、データ格納媒体１３２は、独立のコンピュータデバイス（図示せず）により提供されてもよい。また更に、コントロールサーバ１０２に直接に接続するように図示しているが、データ格納媒体１３２はネットワークによりコントロールサーバ１０２に結合し得ることも想定される。データ格納媒体１３２は、一つ若しくはそれ以上のローカルハードドライブのような、持続性データ格納のための一つ若しくはそれ以上の不揮発性コンピュータ読み取り可能媒体を含んでもよい。一方で、持続性格納媒体は、クラウド格納内やネットワーク格納内のリモートハードドライブでもよい。

前述のように、サーバ−クライアントＶＳマネジャ１０６は、ネットワーク１４４に亘ってストリーム配信するために、サーバ−デバイスＶＳマネジャ１０４か、格納管理機能部１０８かのいずれかから、解像度エンコーディングを受信し得る。解像度エンコーディングは、異なるビデオソースデバイスからでもよい。図示するように、各々の解像度エンコーディング１４６ａ、１４６ｂ、１４６ｃ、及び１４６ｄは、個別にストリーム配信されてもよく、解像度エンコーディングの一つ若しくはそれ以上が単独のストリーム内に共に組み合わされてもよい。図１に示す例示のシナリオでは、異なるビデオソースデバイスからの低い解像度エンコーディングに対応する、複数のバーチャルストリーム１４８ａ、１４８ｂ、１４８ｃ、及び１４８ｄは、モニタリングデバイス１４２にストリーム配信される。モニタリングデバイス１４２は、バーチャルストリーム１４８ａ、１４８ｂ、１４８ｃ、及び１４８ｄを受信してデコードし、デコードされたビデオ１５０をディスプレイする。

多重解像度エンコーディングをストリーム配信する。
図２は、ビデオの様々な解像度エンコーディングをディスプレイするモニタを示す。図２は、三つの異なるビュー２００、２１２、及び２１８を示す。例示の実施形態では、モニタリングクライアントは、ビュー２００を最初にディスプレイし得、該ビュー２００は、四つのバーチャルストリームの最も低い解像度エンコーディング２０２、２０４、２０６、２０８を含む。例えば、四つの異なるカメラからのバーチャルストリームが、同時にディスプレイされ得る。低解像度エンコーディングの一つ２０２は、例えば、マウス若しくは他のポインタ２１０でその上にクリックすることにより、ズームインのために選択され得る。解像度エンコーディング２０２がフルスクリーンでディスプレイされると、エンコーディングの質は、所望のものより低くなり得る。従って、選択されたカメラからの中間解像度エンコーディング２１４がストリーム配信され得、ビュー２１２に示すようにディスプレイされ得る。ユーザは、ディスプレイされる解像度エンコーディング２１４の一部を更に見るために、ズームインすることを望んでもよい。更に、解像度エンコーディング２１４の質は、所望の画像の質を提供すべくズームインする際には十分ではないことがある。従って、ビュー２１８に示すようなズームインされる部分２２０をディスプレイする際に最大解像度エンコーディングが用いられてもよい。前述のように、最大解像度エンコーディングは、複数のバーチャルストリームを含んでもよい。従って、選択されたズームインされる領域をカバーする最大解像度エンコーディングのバーチャルストリームのみが、モニタリングクライアントにストリーム配信される必要がある。例えば、最大解像度エンコーディングが、バーチャルストリームの４×３グリッドとして提供されるならば、最上の行と第３及び第４の列のバーチャルストリームは、所望の領域を覆い得る。

多数のカメラからのビデオがディスプレイされているかどうかにかかわらずモニタリングロケーションにビデオをストリーム配信すると、又は、単独のカメラの小部分のみがディスプレイのためにズームインされれば、多重バーチャルストリームを提供することで十分な帯域幅の使用が可能になる。図３は、ビデオソースデバイス３１６と機能部、加えて、コントロールサーバ１０２と、多重解像度エンコーディングをストリーム配信できる機能部を、示す。図示するように、コントロールサーバ３０２は、命令を処理するための中央処理装置（ＣＰＵ）３０４を含む。対応する命令は、メモリ３０６内に格納され得る。コントロールサーバ３０２は更に、データ及び命令の持続性格納のための不揮発性格納部３０８を含み得る。コントロールサーバ３０２は更に、一つ若しくはそれ以上のインプット／アウトプット（Ｉ／Ｏ）インタフェース３１０を含み得る。Ｉ／Ｏインタフェースにより、インプット及び／又はアウトプットコンポーネントは、コントロールサーバに接続できる。例えば、コントロールサーバ３０２を通信ネットワークに接続するために、ネットワークインタフェースカード（ＮＩＣ）がコントロールサーバ３０２に接続してもよい。ＣＰＵ３０４は、メモリ内に格納された命令を実行し得る。３１２として示す命令は、実行時には、本明細書に記載の他の機能部と共に、サーバ−デバイスＶＳマネジャ３１４を提供するようにコントロールサーバ３０２を構成し得る。

ビデオソースデバイス３１６は、例えば、カメラデバイスやシステムであってもよいが、命令を処理するための中央処理装置３１８を含む。命令はメモリ３２０内に格納され得る。ビデオソースデバイス３１６は更に、データ及び命令の持続性格納のための不揮発性格納部３２２を含み得る。ビデオソースデバイス３１６は更に、一つ若しくはそれ以上のインプット／アウトプット（Ｉ／Ｏ）インタフェース３２４を含み得る。Ｉ／Ｏインタフェースにより、インプット及び／又はアウトプットコンポーネントは、ビデオキャプチャに接続できる。例えば、ビデオソースデバイス３１６を通信ネットワークに接続するために、ネットワークインタフェースカード（ＮＩＣ）がインプット／アウトプットインタフェース３２４に接続してもよい。更に、ビデオソースデバイス３１６が、ＩＰであってもアナログであっても、カメラであれば、Ｉ／Ｏインタフェースは更に、画像データをキャプチャするためにセンサをＣＰＵに接続し得る。ＣＰＵ３１８は、メモリ内に格納される命令を実行し得る。３２６として示す命令は、実行時には、エンコーダ機能部３３０と共に、デバイスバーチャルストリーム（ＶＳ）マネジャ３２８を提供するようにビデオソースデバイス３１６を構成し得る。

コントロールサーバ３０２のサーバ−デバイスバーチャルストリーム（ＶＳ）マネジャ３０４と、ビデオソースデバイス３１６のデバイスＶＳマネジャ３２８とは、所望のように若しくは要求されるように、例えば、カメラを含み得るビデオソースデバイス３１６を構成する３３２ために、協働する。エンコーダ機能部３３０は、複数の行及び列の個別のエンコードされたタイル表示を含み得る、ビデオ及び特定のセッティングを、各々エンコードし得る多重エンコードコンポーネントを提供するように、構成され得る。エンコーディングコンポーネントにより提供されるエンコーディングは、データストリーム３３４により示すようにコントロールサーバ３０２にストリーム配信され得る。

本明細書の図面及び記載はビデオソースデバイス３１６とサーバ１０２とに別々に言及しているが、当然ながら、ある実施形態では、記載の両方のシステムからの機能部が単独とシステム内に存在してもよい。例えば、ビデオソースデバイス３１６は、コントロールサーバ１０２に関する本明細書に記載の機能部に加えて、カメラ及び画像収集に関する本明細書に記載の機能部の全てを提供する、カメラシステムであってもよい。そのような実施形態では、カメラシステムは、他のカメラシステムをコントロールし且つ他のカメラシステムと通信できるサーバとして、動作し得る。

図４は更に、多重解像度エンコーディングをストリーム配信できる、ビデオソースデバイス機能部及びコントロールサーバ機能部を、示す。機能部は、例えば、メモリに格納される命令により前述のコントロールサーバ３０２内に設けられてもよい。コントロールサーバのＣＰＵにより実行されると、命令は、ネットワークレイヤプロトコル機能部４０２、アプリケーションレイヤプロトコル機能部４０４、及びコンフィギュレーション機能部４０８を提供し得る。当然ながら、他の機能部がコントロールサーバ内に設けられてもよい。

同様に、ビデオソースデバイス機能部は、プロセッサで命令を実行することにより前述のビデオソースデバイス３１６などのビデオソースデバイス内に設けられ得る。ビデオソースデバイス機能部は、ネットワークレイヤプロトコル機能部４１０、エンコーダ機能部４１２、及びアプリケーションレイヤプロトコル機能部４１４を、含み得る。ビデオソースデバイスは、図４に示されない更なる機能部を提供してもよい。

所望のようにビデオソースデバイスを構成するために、コントロールサーバ４０２とビデオソースデバイス３１６との、ネットワークレイヤプロトコル機能部４０２、４１０は協働する。ネットワークレイヤプロトコル機能部は、ビデオデバイスに対して標準的ネットワークインタフェースを提供し、準拠デバイスの、発見、構成、管理、及びコントロールを可能にする。ネットワークレイヤプロトコル機能部は、ビデオソースデバイス３１６及びその能力の発見を、加えて、デバイスの構成を可能にする、コントロールサーバ１０２とビデオソースデバイス３１６との間の共通のインタフェースを提供する。後で更に説明するが、ネットワークレイヤプロトコル機能部は、デバイスをセットアップして、前述のようなタイル表示のエンコーディングを含む多重の独立の解像度エンコーディングをストリーム配信するために、エンコーダ機能部４１６を構成するように、用いられ得る。所望のように構成されると、ビデオソースデバイスは、構成された解像度エンコーディングのデータストリームを提供するために、構成されたエンコーダ機能部を用いてソースビデオをエンコードし得る。エンコーダからのデータストリームは、データストリーム４１８のリアルタイムのコントロール及びトランスポートを提供するアプリケーションレイヤプロトコル機能部４０４／４１４を用いて、ビデオソースデバイスからコントロールサーバへ送信され得る。

データストリームがコントロールサーバ１０２にて受信されると、共に同じ解像度エンコーディングに属するバーチャルストリームをグループ化するために、処理され得る。前述のように、単独の解像度エンコーディングは、一つ若しくはそれ以上の、独立してエンコードされたタイル表示で構成され得る。解像度エンコーディングは、更に、例えば、格納のために、又は、モニタリングクライアントにストリーム配信するために、所望のように処理され得る。

コントロールサーバは、コンフィギュレーション機能部４０８も含み得る。コンフィギュレーション機能部４０８により、ユーザは、監視システムのコンポーネントのコンフィギュレーションパラメータをセットすること、見ること、及び／又は、変更することができる。例えば、コンフィギュレーション機能部により、ビデオソースデバイスのための所望のエンコーダ構成が可能になる。

図５に示すビデオストリーム１１８の一部は、ネットワーク１１６に亘ってのコントロールサーバ１０２への送信の前に、ビデオソースデバイスにより準備される第１と第２のコンテナフレーム５０６ａ−ｃ（「コンテナフレーム５０６」と総称する）を含む。コンテナフレーム５０６ａ−ｃの各々は、夫々、そのコンテナフレーム５０６ａ−ｃの全てのバーチャルフレーム５０８に共通するタイムスタンプ５１０ａ−ｃを含む。バーチャルフレームヘッダの各々は、バーチャルフレーム５０８の各々を相互に区切るフレームデリミッタを含む。例示の実施形態では、フレームデリミッタはｖストリームｉｄを含む。図５のコンテナフレーム５０６は、夫々、Ｈ．２４６コード化ビデオのための、一つのバーチャルフレーム５０８ａ、ｃ、ｅと、ＪＰＥＧコード化ビデオのための、別のバーチャルフレーム５０８ｂ、ｄ、ｆを含む。Ｈ．２６４及びＪＰＥＧビデオを、各々それ自身のタイムスタンプを伴って、別々のストリームに亘ってコントロールサーバに送信することとは反対に、図示する実施形態では、Ｈ．２４６及びＪＰＥＧビデオをコンテナフレーム５０６内に配置し続いてコンテナフレーム５０６を送信することで、Ｈ．２４６及びＪＰＥＧビデオをコントロールサーバ１０２へ実質的に時分割多重化することとなる。

バーチャルフレーム５０８のグループを、単独のソースフレームタイムスタンプと関連付けることで、バーチャルフレーム５０８と、結果として、クライアント１４２上にディスプレイされる様々なバーチャルストリームからのビデオとの間の、同期化が促進される。同期化されたバーチャルストリームは、待ち時間を減少することにもなる。サーバ−デバイスＶＳマネジャ３１４がストリーム１１８を受信すると、（サーバ−デバイスＶＳマネジャ３１４は）個々のフレーム５０６のタイムスタンプ５１０に基づいてコンテナフレーム５０６の各々を逆多重化することができ、続いて、相互にコンテナフレーム５０６を逆多重化し、コンテナフレーム５０６の範囲内のどの他のバーチャルフレーム５０８からのバーチャルフレーム５０８の各々を逆多重化することができる。コントロールサーバ３０２は、データ格納媒体１３２内にコンテナフレーム５０６を格納することなどにより、コンテナフレーム５０６及びバーチャルフレーム５０４の、一つ若しくはそれ以上の、任意のものを所望のように処理し得る。

図６は、多重解像度エンコーディングを提供する個別のバーチャルストリームを記述するビデオソースデバイスからのレスポンスを示す。記述情報若しくは記述ファイルと称し得る、レスポンス６００は、ビデオソースデバイスから提供されるストリームを記述する。レスポンス６００は、ビデオストリーム内のバーチャルストリームの各々を記述する。ビデオストリームは、複数の個別のバーチャルストリーム６１０ａ、６１０ｂ、６１０ｃ、６１２、及び６１４を有し得る。個々のバーチャルストリームのエンコーディングパラメータは、レスポンス６００内に提供される。例えば、各々のバーチャルストリームは、バーチャルストリームの一意識別子６０２、バーチャルストリームによりエンコードされるビデオソースの関心エリア若しくは領域６０４、エンコードされたバーチャルストリームの結果の解像度６０６、及びエンコードされたバーチャルストリームの質の表示６０８を、含み得る。概略示すように、バーチャルストリームは、同じエンコーダセッティングにて、異なる関心領域をエンコードし得る。例えば、バーチャルストリーム６１０ａ、６１０ｂ、６１０ｃは、同じエンコーダセッティングにて、ソースビデオの異なる関心領域をエンコードする。更に、バーチャルストリームは、異なるパラメータセッティングにて、同じ関心領域をエンコードし得る。例えば、バーチャルストリーム６１２と６１４は、同じ関心領域をエンコードするが、異なる解像度となる。ストリームの記述６００は種々のフォーマットで提供可能であり、コントロールサーバなどの、ストリームを受信するコンポーネントがコンポーネントバーチャルストリームを適切に逆多重化して識別できるように、十分な情報を提供する。

図７は、異なる解像度におけるタイル表示のエンコーディングを示す。バーチャルストリームは、ビデオソースの特定エリアを特定サイズにエンコードし得る。例えば、ソースビデオは、４９４４×３２８０のエリア７０２を有し得る。第１のバーチャルストリームは、ソースビデオの左上であるｘ＝０、ｙ＝０に位置し、１２３２×１０８０の寸法を有する全体エリアの一部７０４をエンコードし得る。第１のバーチャルストリームは、エリア７０４の最大解像度エンコーディングを提供でき、１２３２×１０８０の寸法を有する第１のバーチャルストリームエンコーディング７０６となる。第２のバーチャルストリームは、同じエリア７０４をエンコードし得るが、エンコーディングは、ソースの解像度の１／４を提供するべく、解像度をダウンサンプルし得る。よって、同じソースビデオエリア７０４をエンコードする第２のバーチャルストリーム７０８は、３０８×２７０の寸法を有することになる。

図８は、ビデオソースデバイス３１６からコントロールサーバ３０２へデータをストリーム配信する方法を示す。ブロック８０２にて、ビデオソースデバイスのエンコーディングコンポーネントが構成される。構成する動作は、例えば、コントロールサーバ３０２から、エンコーダ１１４を含み得る一つ若しくはそれ以上のビデオソースデバイス３１６へ、一つ若しくはそれ以上の構成コマンドを送信するステップを、含み得る。ビデオソースデバイス３１６のエンコーディングコンポーネントは、ビデオソースデバイス３１６から送信されるストリームの範囲内で複数のバーチャルストリームを提供するべく、構成される。エンコーディングコンポーネントは、ソースビデオの少なくとも一部の、独立の解像度エンコーディングを提供するべく、構成され得る。独立の解像度エンコーディングのうち、少なくとも一つは、解像度エンコーディングのモザイクのタイル表示を各々が含む、複数のバーチャルストリームにより提供される。ビデオソースデバイス３１６内に含まれるエンコーディングコンポーネントは、各々のバーチャルストリームを提供するように構成され得る。

ストリームのためのエンコーディングコンポーネントが構成されると、ブロック８０４にて、図６に関連して記述したような、ストリームの記述が、ビデオソースデバイス３１６からコントロールサーバ１０２へ伝えられる。例示の実施形態では、コントロールサーバ３０２により送信される記述リクエストに応じて、ストリーム記述は、ビデオソースデバイス３１６によりコントロールサーバ３０２へ提供され得る。受信される記述は、ビデオソースデバイスが提供するように構成されている、複数の個別のストリームを記述する。所望の解像度エンコーディングの各々は、記述内に記述される一つ若しくはそれ以上のバーチャルストリームにより、提供され得る。各々のバーチャルストリームの記述は、バーチャルストリームの識別子、更に加えて、バーチャルストリームのエンコーディング情報、及び、バーチャルストリームによりエンコードされるソースビデオのエリアの表示を、含み得る。

ブロック８０６では、データストリーム自身が、ビデオソースデバイス３１６から伝えられてコントロールサーバ３０２にて受信される。ブロック８０８では、コントロールサーバ３０２は、各々のバーチャルストリームを、個々の解像度エンコーディングと関連付ける。バーチャルストリームのいずれが個々の解像度エンコーディングと関連付けられるかを識別することは、ストリーム記述内の情報を用いて為され得る。更に、多重バーチャルストリームがソースビデオの同じエリアをエンコードするならば、バーチャルストリームがどの解像度エンコーディングと関連付けられるかを決定するために、バーチャルストリーム内でエンコードされる更なる情報を利用することが必要となり得る。個々の解像度エンコーディングが各々のバーチャルストリームと関連付けられると、同じ解像度エンコーディングのバーチャルストリームは、更に処理され得る。例えば、ブロック８１０にて、各々の解像度エンコーディングのバーチャルストリームは、格納のために提供され得る。バーチャルストリームとストリーム記述５０９は、相互に関連して格納され得る。更に、若しくは、一方で、ブロック８１２では、ある解像度エンコーディングのバーチャルストリームの一つ若しくはそれ以上は、一つ若しくはそれ以上のモニタリングクライアントにストリーム配信され得る。前述では、個別のバーチャルストリームが格納される及び／又はクライアントに送信される前に、複数のバーチャルストリームが処理されることが暗示されているが、当然ながら、バーチャルストリームの各々は、独立してデコード可能であり、即座に、格納され得る、及び／又はクライアントに送信され得る。

ストリーム配信するデータのデータ格納管理。
図１に関連して前述したが、格納管理機能部１０８は、コントロールサーバ１０２内のプロセッサにより実行可能であるデータ格納管理プログラムを含む。データ格納管理プログラムは、データストリーム１１８の格納を管理し、データストリーム１１８は、例えば、データ格納媒体１３２の様々なエリア、セクション、若しくは層における、ビデオ、オーディオ、及びメタデータを含み得る。図９は、データストリーム１１８がいつ格納されるべきか、及び、データストリーム内のあるデータがデータ格納媒体１３２上のどこに格納されるべきか、を決定するデータ格納管理プログラムにより実行される方法を示す。図９を参照して、コントロールサーバ１０２内のプロセッサ９０１は、トリガソースイベント９０２の発生が検出されるときはいつも、デバイスからのデータストリーム１１８を記録させる一連のトリガレコードイベント９０２のいずれも検出するステップを含む、方法を実施するデータ格納管理プログラムを実行する。トリガイベントは、ストリーム配信されるデータを記録させるに適したどんな情報でもよい。例えば、トリガレコードイベント９０２は、以下のようなものを含み得る。
（１．）スケジュールされたレコーディング９０４：ビデオソースデバイスからのデータストリーム１１８のレコーディングは、ユーザ定義のスケジュールに基づいて引き起こされる。スケジュールは、各々のビデオソースデバイス３１６に対して定義され得る。
（２．）分析エンジン９０６：ある分析基準がビデオソースデバイスの視野で検出されるときレコーディングが引き起こされる。検出可能な分析基準の例は、視野内のモーションである。更なる例では、分析基準が満たされたことを検出することは、ビデオストリームと関連するメタデータの分析によりイベントが発生したかどうか判別することを、含み得る。例えば、ビデオストリームと関連するメタデータメタデータは、ビデオストリームの経過中の特定の時間にて発生する種々のイベントを、示し得る。例示のシナリオでは、メタデータは、ビデオの経過中の特定の時間にて、モーションが発生したこと、又は、顔や物体が認識されたことを、示し得る。例示の実施形態では、ビデオストリームは、予め分析されていてもよく、分析の結果はビデオストリームと関連するメタデータ内に格納される。例示のシナリオでは、ビデオストリームは、モーションや、人若しくは物体の存在などの、種々のイベントに対して、レコーディングデバイス、例えば、カメラにて分析さていてもよく、その分析の結果がメタデータに格納される。
（３．）マニュアルレコーディング９０８：レコーディングがユーザにより手動で引き起こされる。例えば、ビデオソースデバイスからライブのビデオストリームを眺めつつ、クライアント上のユーザインタフェースデバイスを介して人のオペレータにより、レコーディングが引き起こされ得る。
（４．）ルールエンジン９１０：一つ若しくはそれ以上のユーザ定義のルールに合うとき、レコーディングが引き起こされる。ルールインプットは、例えば、パンチルトズーム（ＰＴＺ）コマンドの検出、例えば、特定のナンバープレート若しくは人の顔の存在などの記録されたストリーム内のイベントの検出、又は、デジタル監視システムの別の部分から受信された任意の他の特定のデジタルインプットの検出などの、システム内の任意のイベントソースであればよい。

例示の実施形態では、データ格納管理プログラムは、レコーディング前及びレコーディング後のバッファ構成を判別する、トリガ毎の最小限記録時間を採用し得る。言い換えれば、システムが自動トリガイベントを採用すると、システムは、トリガイベントの前の所定の期間、及び、トリガイベントの後の所定の期間、関連するビデオストリームを格納し得る。例えば、５秒のデフォルト値が、レコーディングバッファとして用いられ得る。当然ながら、バッファサイズはどの適切な長さでもよく、ユーザによりカスタマイズされてもよい。

データ格納媒体１３２内の独立の格納スペース若しくはエリア９１２は、「ビン」と称されることもあり、各々のビデオソースデバイスに割り当てられ得る。例示の実施形態では、各々のビン９１２は、層９１４に細分され得、各々の格納エリア若しくは層は異なるカテゴリのデータと関連付けられる。図９の例示の実施形態では、格納媒体１３２は、二つのビン（ビンＡとビンＢ）に分割されるように示され、一つは二つのビデオ格納デバイスＡ、Ｂの各々に対するものであり、各々のビン９１２は、二つの層９１４（層０、層１）に細分される。一つの層９１４は、長期間格納（例えば、層１）として指定され、他方の層９１４は短期間格納（例えば、層０）として指定されてもよい。

データ格納管理プログラムは、データストリーム１１８内のデータの各々のセグメントが格納媒体１３２内のどこに格納されるべきかを判別するルールエンジンも含む。特に、ルールエンジンは、複数の格納エリアのどこに特定のビデオセグメントが格納されるべきかを判別し得る。例示の実施形態では、ルールエンジンは、ルールエンジンのためのインプットとして、データストリーム１１８の一部であるメタデータを用い得る。例示のシナリオでは、メタデータは、データストリーム１１８内のビデオの各々のフレームに対する解像度及びタイムスタンプを含み得る。そのシナリオでは、ルールエンジンは、最小の解像度を有するバーチャルストリームを含むデータセグメントを、長期間格納層９１４と関連付けるルールを、含み得る。他のメタデータは、最大解像度フレーム内のバーチャルストリームのタイル表示の位置を含み得る。ルールエンジンは、フレームの特定の部分（例えば、センター）に位置するバーチャルストリームを長期間格納層９１４と関連付ける、このメタデータを採用し得る。他のメタデータは、バーチャルストリームが内部に記録されたモーションを有するかどうかを示し得る。ルールエンジンは、モーションを包含するバーチャルストリームを長期間格納層９１４と関連付ける、このメタデータを採用し得る。更に別の例示のシナリオでは、メタデータは、バーチャルストリームがモーションマスクによりカバーされるかどうかを示し得る。ルールエンジンは、対応するバーチャルストリームを長期間格納層９１４と関連付ける、この情報を採用し得る。

図１０は、データストリーム１１８が記録されるべきかどうかを判別し、記録されるべきであれば、データストリーム内のデータセグメントを格納媒体１３２内の対応する格納エリア若しくは層９１４と関連付ける、データ管理プログラムにより実行される方法９００を示す。コントロールサーバ３０２内のプロセッサにより実行すると、データ管理プログラムは、ブロック９２０にて、前述のもののようなトリガイベントに対するインプットをモニタする。ブロック９２２にて、データ管理プログラムが、トリガイベントを示すインプットが発生したと判別すると、データ管理プログラムは、ブロック９２４にて、データストリーム１１８を分析し、ルールエンジン内のデータストリーム内にメタデータをインプットして、データストリーム１１８内のデータセグメントを特定の格納エリア若しくは層９１４と関連付ける。データセグメントが特定の格納エリアと関連付けられると、ブロック９２６にて、データセグメントは、関連付けられた格納層９１４に保存される。

図１１は、例示のデータストリームと関連付けられた処理を示す。図１１の例示のシナリオでは、データストリーム１１８は、三つの独立の解像度エンコーディングを含む、モザイクストリームを含む。図１１に示す例では、データストリームは、最大解像度エンコーディング“Ａ”、中間解像度エンコーディング“Ｂ”、及び低解像度エンコーディング“Ｃ”を含む。最大解像度エンコーディング“Ａ”は、３×４グリッドの１２のバーチャルストリーム（タイル表示）を含み、各々のタイル表示は、最大解像度フレームの１．３メガピクセル（ＭＰ）部分を表す。ストリームＢ及びＣの各々は、２ＭＰで記録された最大限の関心領域（ＲＯＩ）の単独のバーチャルストリームと、クオータビデオグラフィックアレイ（ＱＶＧＡ）を、夫々含む。トリガイベント９０２が検出されると、データ格納管理プログラムは、モザイクストリーム１１８内のメタデータを用いて、各々のバーチャルストリームの解像度を特定（し、最大解像度のバーチャルストリームの場合には、最大解像度のフレーム内のそのバーチャルストリームの位置を特定）する。例示のシナリオでは、プログラムは、低解像度のバーチャルストリームＣと、最大解像度のストリームＡの二つのセンタータイル表示とを、長期間格納エリア若しくは層９１４と関連付ける。プログラムは、中間解像度のバーチャルストリームＢと、二つのセンタータイル表示以外の最大解像度のバーチャルストリームＡの各々のタイル表示とを、短期間格納層１４０と関連付ける。

図１１は、二つの層１３６、１４０が個々のビデオソースデバイスのモザイクストリーム１１８内のバーチャルストリームと関連付けられるシナリオを示しているが、どんな個数の格納エリアが採用されてもよい。例えば、三つの格納層１３６、１３８、１４０は、図１に示すように指定され、中間解像度のバーチャルストリームＢは、上記の例に記載する短期間格納層１３８の代わりに（図１１に示さない）中間期間格納層１３８と関連づけされ得る。モザイクストリーム１１８内の種々のバーチャルストリームが短期間、中間期間、及び長期間格納層１３６、１３８、１４０に格納され得る、別途の実施形態が提示され得る。例えば、最大解像度のバーチャルストリームが長期間格納層に格納され、より低解像度のバーチャルストリームが短期間格納層に格納され得る。

図１２は、格納媒体１３２がフルであるときに、又は、或る他の特定の最大限容量閾値を満たすときに、データ格納媒体１３２内のスペースを確保する、データ格納管理プログラムにより実行されるプロセス９５０を示す。図１２を参照して、ブロック９５２にて、データ格納管理プログラムは、データ格納媒体１３２がフルであるか、若しくは、或る他の特定の閾値を有するか、を判別する。フルで無い若しくは有さないならば、ブロック９５２にて処理が継続し、データストリームは前述のように関連付けられた格納層内に保存される。しかしながら、ブロック９５２にて、データ格納管理プログラムが、特定の格納エリア（若しくは複数の特定の格納エリア）内に格納されるデータに対する閾値が到達された若しくは超えられた、と判別すれば、ブロック９５４にて、プログラムは、特定の最大限の保持期間を超えたビデオソースデバイスの任意のものからの任意のデータを、格納媒体１３２から削除する。ブロック９５６にて、プログラムは、データ格納媒体１３２がフルであるか、若しくは、或る他の特定の最大限容量閾値を満たすか、を再び判別する。フルで無い若しくは有さないならば、ブロック９５２にて処理が継続し、データストリームは格納媒体１３２上の関連付けられた格納層内に保存される。ブロック９５６にて格納エリア内のデータが閾値を超えれば、ブロック９５８にて処理が継続し、データが削除される。削除されるデータは、例えば、格納媒体１３２上の層１３６、１４０のうちの一つ内の、二番目に最も古いデータでよい。

例示の実施形態では、格納管理プログラムは、二つの層間の（又は、二つより多い層が特定されていれば、三つ若しくはそれ以上の層間の）特定の格納比率（層比率）を与えられ得る。比率は、二つ若しくはそれ以上の格納エリアの各々で格納されるデータの、相対的な量を定義する。比率を採用する例示の実施形態では、図１２のブロック９６０にて、データ格納管理プログラムは、特定の比率を維持するように、他の格納層１３６、１４０からデータを削除する。例えば、最大限の保持期間を超えるデータの全てを削除した後に格納閾値が続いて超えていれば、プログラムは、例えば、層１にたまたま格納されている二番目に最も古いデータを削除してもよい。データを削除した結果、層比率がアンバランスとなるシナリオでは、プログラムは、特定の層比率が再び確立されるまで層２内に格納される最も古いデータの一部を削除する。

開示の実施形態の別の形態によると、最大限の保持期間は、長期間層及び短期間層１３６、１４０の各々に対して、特定され得る。例示のシナリオでは、長期間格納層の最大限の保持期間は、短期間格納層のものよりも、長くてもよい。データ格納管理プログラムは、各々の層の個別の最大限の保持期間よりも古いどのデータも削除するように構成されてもよい。全ての残余データが最大限の保持期間よりも新しく、且つ、格納媒体１３２がフルとなれば（若しくは、或る他の最大限容量閾値を超えれば）、データ格納管理プログラムは、層比率が再び均衡するまで、短期間格納層及び長期間格納層１３６、１４０の一つから最も古いコンテンツを削除し、短期間格納層及び長期間格納層１３６、１４０の他の一つから最も古いデータを削除するように、構成される。

以上のように、出願人は、ビデオソースからストリーム配信されるデータの格納を管理するシステム及び方法を開示した。開示の実施形態では、多重のエンコードされたビデオストリームを含むデータストリームが受信される。開示のシステムは、トリガイベントに応答して、データを分析し、複数の格納エリア若しくは層のどれに独立のエンコードされたビデオストリームの夫々が格納されるべきか判別する。格納エリアの夫々が指定されて、特定の特徴を有するデータを格納する。システムは、ビデオストリームの特徴に基づいて、エンコードされたビデオストリームの各々に対して、特定の格納エリアを選択する。システムは、所定の閾値に到達したときに格納エリア若しくは層からデータを削除するように適応される。閾値に到達すると、任意の適宜の計測基準を用いて削除のためのデータが選択される。例えば、最長期間格納されていたデータなどである。

前述にて、幾つかあるコンポーネントの中で、特にハードウエア上で実行されるソフトウエアを含む例示の方法及びシステムを開示しているが、それら方法及びシステムは例示に過ぎず、限定するものと考えるべきでは無い、ということに留意すべきである。例えば、これらのハードウエア及びソフトウエアコンポーネントの任意のもの若しくはすべては、もっぱらハードウエアで、もっぱらソフトウエアで、もっぱらファームウエアで、又は、ハードウエア、ソフトウエア、及び／若しくはファームウエアの任意の組み合わせで、具現化され得ると考えられる。例えば、ネットワークサーバコンポーネントは、もっぱらビデオソースデバイスで提供され得る。その場合、クライアントは、デバイスと調節的に相互作用し得、ビデオソースデバイスは、その搭載格納をこのように管理する。従って、以下にて例示の方法及び装置を記載するが、示される例はそれら方法及び装置を実装する唯一のものではない、ということを当業者であれば即座に理解するであろう。例えば、プロセッサ及びマイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、又は他のハードウエアコンポーネントを含む、コンピュータハードウエアの一つ若しくはそれ以上の部品で、方法は実装され得る。

一つ若しくはそれ以上の実施形態に関して、本開示は種々のシステム及び方法を記載した。しかしながら、多数の変更及び修正が本開示の教示内容から乖離すること無く為され得る、ということが当業者には明白であろう。例えば、図面及び本明細書はカメラ１１８／ビデオソースデバイス３１６及びコントロールサーバ１０２に別々に言及するが、ある実施形態では、両方に記載するシステムからの機能部は単独のシステムに存在し得る。例えば、ビデオソースデバイス３１６は、カメラ及び画像収集に関連して本明細書に記載した機能部の全てを、加えて、コントロールサーバ１０２に関連して本明細書に記載した機能部を、提供するカメラシステムであってもよい。そのような実施形態では、カメラシステムは、他のカメラシステムをコントロールして他のカメラシステムと通信し得るサーバとして、動作し得る。

構造上の特性及び／又は方法上の行為に特有の表現で本発明を記載したが、当然ながら、添付の特許請求の範囲に規定される本発明は前述の特定の特性若しくは行為に必ずしも限定されない。寧ろ、前述の特定の特性若しくは行為は、特許請求の範囲を実装する例示の形式として開示されている。

１００・・・システム、１０２・・・コントロールサーバ、１０４・・・サーバ−デバイスＶＳマネジャ、１０６・・・バーチャルストリームマネジャ、１０８・・・格納管理機能部、１１０・・・ＩＰカメラ、１１２・・・カメラ、１１４・・・エンコーダ、１１６・・・ネットワーク、１３２・・・データ格納媒体、１４４・・・ネットワーク。

Claims (34)

1. データを管理するコンピュータ実装方法であって、
   コンピュータシステムが、第１のカテゴリのデータを格納する第１の格納エリアと第２のカテゴリのデータを格納する第２の格納エリアとを、少なくとも特定するステップと、
   コンピュータシステムが、複数のデータストリームを受信するステップと、
   コンピュータシステムが、受信した複数のデータストリームからの一つ若しくはそれ以上のデータストリームを第１の格納エリアと関連付け、受信した複数のデータストリームからの一つ若しくはそれ以上のデータストリームを第２の格納エリアと関連付けるステップと、
   コンピュータシステムが、第１の格納エリアと関連付けされた一つ若しくはそれ以上のデータストリームに対するデータを第１の格納エリア内に格納し、第２の格納エリアと関連付けされた一つ若しくはそれ以上のデータストリームに対するデータを第２の格納エリア内に格納するステップと、
   コンピュータシステムが、第１の格納エリアと第２の格納エリアとの、少なくとも一つの内に格納されるデータが閾値を超えるか判別するステップと、及び、
   閾値を超えればデータを削除するステップと
   を含む、コンピュータ実装方法。
2. 閾値を超えればデータを削除するステップが、一つ若しくはそれ以上の特定の最大限の保持期間を超える期間を有するデータを削除するステップを、含む、請求項１に記載のコンピュータ実装方法。
3. 更に、第１の格納エリア内と第２の格納エリア内とに格納されるデータの相対的量を特定する比率を特定するステップを含み、
   閾値を超えればデータを削除するステップが、前記比率が維持されるように、第１の格納エリアと第２の格納エリアの、一方若しくは両方からデータを削除するステップを含む、
   請求項１に記載のコンピュータ実装方法。
4. 第１の格納エリアは、長期間の最大限の保持期間を有する長期間格納エリアであり、第２の格納エリアは、前記長期間の最大限の保持期間より短い短期間の最大限の保持期間を有する短期間格納エリアである、請求項３に記載のコンピュータ実装方法。
5. 複数のデータストリームを受信するステップが、第１の関心領域をキャプチャする第１のバーチャルストリームを受信し第２の関心領域をキャプチャする第２のバーチャルストリームを受信するステップを含み、
   一つ若しくはそれ以上のデータストリームを第１の格納エリアと関連付け、一つ若しくはそれ以上のデータストリームを第２の格納エリアと関連付けるステップが、第１のバーチャルストリームを第１の格納エリアと関連付け、第２のバーチャルストリームを第２の格納エリアと関連付けるステップを含む、
   請求項４に記載のコンピュータ実装方法。
6. 第１の関心領域をキャプチャする第１のバーチャルストリームを受信することが、第１の視野をキャプチャする第１のバーチャルストリームを受信することを含み、
   第２の関心領域をキャプチャする第２のバーチャルストリームを受信することが、第２の視野をキャプチャする第２のバーチャルストリームを受信することを含み、
   第２の視野は、第１の視野とは異なる、
   請求項５に記載のコンピュータ実装方法。
7. 第１の視野が、より大きい視野の中央部分を含み、
   第２の視野が、前記より大きい視野の中央で無い部分を含む、
   請求項６に記載のコンピュータ実装方法。
8. データを管理するシステムにおいて、
   コンピュータプロセッサと、
   前記コンピュータプロセッサと通信上結合するコンピュータメモリであって、実行時に前記システムに動作を実行させるコンピュータ実行可能命令を内部に格納する、コンピュータメモリと
   を含み、
   前記動作は、
   複数のデータストリームを受信するステップと、
   記録のために前記複数のデータストリーム内の第１のデータストリームと第２のデータストリームを特定するステップと、
   第１のデータストリームを第１の格納部に関連付けて第２のデータストリームを第２の格納部に関連付けるステップであって、第１の格納部と第２の格納部は異なるカテゴリのデータを格納するために割り当てられている、関連付けるステップと、
   第１のデータストリームからのデータを第１の格納部内に格納するステップと、及び、
   第２のデータストリームからのデータを第２の格納部内に格納するステップと
   を含む、システム。
9. 前記複数のデータストリーム内の第１のデータストリームと第２のデータストリームを特定するステップが、トリガイベントを検出するステップを含む、請求項８に記載のシステム。
10. トリガイベントを検出するステップが、あるデータストリームが記録されるべきであることを示すユーザ定義スケジュールを検出するステップを含む、請求項９に記載のシステム。
11. トリガイベントを検出するステップが、分析基準が満たされたことを検出するステップを含む、請求項９に記載のシステム。
12. 分析基準が満たされたことを検出するステップが、ビデオストリームの分析によりイベントが発生したことを判別するステップを含む、請求項１１に記載のシステム。
13. ビデオストリームの分析によりイベントが発生したことを判別するステップが、ビデオストリームの分析によりモーションが視野内に生じたことを判別するステップを含む、請求項１２に記載のシステム。
14. 分析基準が満たされたことを検出するステップが、ビデオストリームと関連付けられるメタデータの分析によりイベントが発生したことを判別するステップを含む、請求項１１に記載のシステム。
15. ビデオストリームと関連付けられるメタデータの分析によりイベントが発生したことを判別するステップが、ビデオストリームの従前の分析からの結果を記録したメタデータをレビューするステップを含む、請求項１４に記載のシステム。
16. トリガイベントを検出するステップが、ユーザ定義ルールが満たされたことを検出するステップを含む、請求項９に記載のシステム。
17. 第１のデータストリームを第１の格納部に関連付けて第２のデータストリームを第２の格納部に関連付けるステップであって、第１の格納部と第２の格納部は異なるカテゴリのデータを格納するために割り当てられている、関連付けるステップが、短期間格納のために指定された第１の格納部に第１のデータストリームを割り当て、長期間格納のために指定された第２の格納部に第２のデータストリームを割り当てるステップを含む、請求項８に記載のシステム。
18. 前記コンピュータメモリは、実行時に前記システムに更に、
    第１の格納部と第２の格納部の少なくとも一つと関連付けられる閾値が満たされたかどうか判別するステップと、
    第１の格納部と第２の格納部の少なくとも一つからデータを削除するステップと
    を含む動作を、実行させるコンピュータ実行可能命令を内部に格納する、請求項８に記載のシステム。
19. データを管理するコンピュータ実装方法において、
    コンピュータシステムが、データストリームを受信するステップであって、データストリームは、ソースストリームの第１のエンコーディング、ソースストリームの第２のエンコーディング、及びソースストリームの第３のエンコーディングを含む、データストリームを受信するステップと、
    コンピュータシステムが、データストリームを記録することを示すトリガイベントを検出するステップと、
    コンピュータシステムが、データストリームから第１のエンコーディング、第２のエンコーディング、及び第３のエンコーディングを特定するステップと、並びに、
    コンピュータシステムが、第１のエンコーディング、第２のエンコーディング、及び第３のエンコーディングの各々を、少なくとも第１の格納部と第２の格納部との少なくとも一つと関連付けるステップであって、第１の格納部と第２の格納部は異なるカテゴリのデータを受信するように指定されている、関連付けるステップと
    を含む、コンピュータ実装方法。
20. 第１のエンコーディングが複数のバーチャルストリームを含み、第２のエンコーディングが単独のバーチャルストリームを含み、及び、第３のエンコーディングが第２の単独のバーチャルストリームを含み、並びに、
    第１のエンコーディング、第２のエンコーディング、及び第３のエンコーディングの各々を、少なくとも第１の格納部と第２の格納部との少なくとも一つと関連付けるステップが、
    第１のエンコーディング内に含まれる複数のバーチャルストリームのサブセットを第１の格納部と関連付け、該サブセット以外の複数のバーチャルストリームを第２の格納部と関連付けるステップと、
    第２のエンコーディング内に含まれるバーチャルストリームを第２の格納部と関連付けるステップと、及び、
    第３のエンコーディング内に含まれる第２のバーチャルストリームを第３の格納部と関連付けるステップとを含む、
    請求項１９に記載のコンピュータ実装方法。
21. 前記第１のエンコーディングに含まれる前記複数のバーチャルストリームが、グリッドを形成する複数のバーチャルストリームを含み、
    前記複数のバーチャルストリームのサブセットを第１の格納部と関連付けるステップが、グリッド内の中央に位置する複数のバーチャルストリームの一つ若しくはそれ以上を第１の格納部と関連付けるステップを含む、
    請求項２０に記載のコンピュータ実装方法。
22. 第１のエンコーディングは、第２のエンコーディング及び第３のエンコーディングの解像度と対比して、高解像度エンコーディングであり、
    第２のエンコーディングは、第１のエンコーディング及び第３のエンコーディングの解像度と対比して、低解像度エンコーディングである、
    請求項２１に記載のコンピュータ実装方法。
23. 第１のエンコーディング、第２のエンコーディング、及び第３のエンコーディングの各々を、少なくとも第１の格納部と第２の格納部との少なくとも一つと関連付けるステップが、第１のエンコーディングを第１の格納部と、第２のエンコーディングを第２の格納部と、及び第３のエンコーディングを第３の格納部と、関連付けるステップを含む、
    請求項１９に記載のコンピュータ実装方法。
24. 第１のエンコーディングを第１の格納部と関連付けることが、第１のエンコーディングを長期間格納部と関連付けることを含み、
    第２のエンコーディングを第２の格納部と関連付けることが、第２のエンコーディングを中間期間格納部と関連付けることを含み、
    第３のエンコーディングを第３の格納部と関連付けることが、第３のエンコーディングを短期間格納部と関連付けることを含む、
    請求項２３に記載のコンピュータ実装方法。
25. 更に、
    第１の格納部内のデータが閾値を超えることを検出するステップと、
    削除のための、第１の格納部内のデータを特定するステップであって、特定されるデータは、定義された保持期間よりも長く第１の格納部内に格納されたデータである、請求項１９に記載に記載のコンピュータ実装方法。
26. データを管理するコンピュータ実装方法において、
    コンピュータシステムが、データストリームを受信するステップと、
    コンピュータシステムが、データストリームを格納するための第１の格納部を特定するステップと、
    コンピュータシステムが、特定された第１の格納部内で閾値が超えられたかどうかを判別するステップと、
    コンピュータシステムが、閾値が超えられていないと判別すると、受信されたデータストリームと関連付けられたデータを第１の格納部内に格納するステップと、
    コンピュータシステムが、特定された第１の格納部内で閾値が超えられたと判別すると、
    第１の格納部から削除のための第１のデータを特定するステップと、
    特定された削除のための第１のデータを削除するステップと、
    特定された第１のデータを削除した後に、閾値が超えられているかどうか特定するステップと、
    特定された第１のデータを削除した後に閾値が超えられていないと判別すると、受信されたデータストリームと関連付けられたデータを第１の格納部内に格納するステップと、
    特定された第１のデータを削除した後に閾値が超えられたと判別すると、第１の格納部から削除のための第２のデータを特定するステップと、
    を含む、コンピュータ実装方法。
27. 更に、
    コンピュータシステムが、第１の格納部と第２の格納部とに格納されるデータのターゲット比率が満たされているかどうかを判別するステップと、
    コンピュータシステムが、ターゲット比率が満たされていないと判別すると、ターゲット比率を満たすのに十分なように、第２の格納部からデータを削除するステップと
    を含む、請求項２６に記載に記載のコンピュータ実装方法。
28. ターゲット比率を満たすのに十分なように、第２の格納部からデータを削除するステップが、長期間第２の格納部内に格納されたデータを第２の格納部から削除するステップと含む、請求項２７に記載に記載のコンピュータ実装方法。
29. 長期間第２の格納部内に格納されたデータを第２の格納部から削除するステップが、ターゲット比率が満たされるまで長期間格納されたデータを削除し続けるステップを含む、請求項２８に記載に記載のコンピュータ実装方法。
30. ターゲット比率を満たすのに十分なように、第２の格納部からデータを削除するステップが、定義された保持期間を超える期間第２の格納部内に格納されたデータを第２の格納部から削除するステップを含む、請求項２８に記載に記載のコンピュータ実装方法。
31. コントロールシステムにおいて、
    ネットワークに亘って複数のコンテナフレームを受信するように適応されたレシーバであって、個々のコンテナフレームは、複数のバーチャルフレームと、前記複数のバーチャルフレームの各々に適用可能であるコンテナタイムスタンプとを含み、前記複数のバーチャルフレームの各々は少なくとも一つの異なるエンコーディングパラメータを用いてソースフレームからエンコードされる、レシーバと、
    個々のコンテナフレーム内部の受信された複数のバーチャルフレームの各々をエンコーディングと関連付け、関連付けられたバーチャルフレームのバーチャルストリームをコンテナタイムスタンプに従って再構成するように適応されたプロセッサと、
    ネットワークに亘ってバーチャルストリームを送信するように適応されたトランスミッタと
    を含む、コントロールシステム。
32. 個々のコンテナフレームは、前記複数のバーチャルフレームを記述する記述子を含み、
    プロセッサは更に、記述子をバーチャルストリームと関連付けるように適応されている、
    請求項３１に記載のコントロールシステム。
33. 記述子は、エンコードされているソースビデオのエリアの表示を含む、
    請求項３２に記載のコントロールシステム。
34. トランスミッタは更に、バーチャルストリームに対するリクエストを受信すると、バーチャルストリームを送信するように適応されており、該リクエストは記述子を含む、請求項３３に記載のコントロールシステム。

Images