JP2019517174A - 複数のビデオセグメントから合成ビデオストリームを生成するための方法及び装置 - Google Patents

Abstract

合成ビデオを生成する方法及び装置を提供する。その方法は、イントラ符号化されたＩフレームと予測Ｐフレームのシーケンスを持つ、プライマリ及びセカンダリビデオセグメントを得ること、ここでプライマリ及びセカンダリビデオセグメントは第１及び第２の優先度レベルを持ち、第１及び第２のキャプチャ時間インターバルを有する、ここで第２の優先度レベルは第１の優先度レベルよりも高く、第２のキャプチャ時間インターバルは、第１のキャプチャ時間インターバルとオーバーラップしている。方法は、プライマリ及びセカンダリビデオセグメントの時間整列を行うことと、セカンダリビデオセグメントの第１のアンカーＩフレームの、プライマリビデオセグメント内の開始マージ時間を識別することと、合成ビデオを生成するため、プライマリ及びセカンダリビデオセグメントのフレームを、トランスコード無しにマージすることとを有する。ここで、合成ビデオは、開始マージ時間までのプライマリビデオのフレームと、第１のアンカーＩフレーム及び当該第１のアンカーＩフレームに後続するセカンダリビデオのフレームを含む。【選択図】 図１

Description

本発明はビデオ編集に関し、より詳細には、時間的にオーバーラップする複数の圧縮されたビデオセグメントから、トランスコード無しに、合成ビデオストリームを生成することに関する。

マージされたセグメントのタイミングを尊重しつつ、同じキャプチャ時間を共有するビデオセグメントを単一のビデオにマージしたいとの要望のためのアプリケーションがある。これは、例えば、シーンの所与のビューのビデオセグメントが異なる品質で符号化されている場合、またはセグメントが同じシーンの異なるビューに関係しており、これらの異なるセグメントの全てを単一のビデオストリームとしてシームレスに処理したい場合である。

マージの前にビデオセグメントを復号（伸長）することはリソースの点でコストがかかり、ビデオセグメントが同じキャプチャ時間を共有するために生じるタイミング問題を解決しない。

したがって、必要とされるのは、複数の圧縮ビデオから、リソースの観点での費用対効果があり、複数のビデオのタイミングを尊重する合成ビデオを生成する方法である。

本発明の第１の態様は、請求項１に記載の合成ビデオストリームを生成する方法を提供することである。

本発明の第２の態様は、請求項１０に記載の合成ビデオストリームを生成する装置を提供することである。

本発明の他の態様は、サーベイランス及び／又はモニタリングシステムにおけるデバイスのプロセッシングユニットによって実行されたとき、そのデバイスに上記の定義された方法を実行させるためのプログラムを格納した、非一過性のコンピュータ可読媒体に関する。

上記で定義した非一過性のコンピュータ可読媒体およびデバイスは、上記で定義した方法に関して述べたものと類似の特徴および利点を有する。

本発明のおける方法の少なくとも一部は、コンピュータに実施することができる。したがって、本発明は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、または、一般に“回路”、“モジュール”または“システム”として参照される、ソフトウェアおよびハードウェアの態様の組み合わせの実施形態を取り得る。さらに、本発明は、媒体に具体化されたコンピュータ使用可能プログラムコードを有する表現の、任意の有形の媒体に具体化されたコンピュータプログラム製品の形態を取ることができる。

本発明はソフトウェアに実装できるので、本発明は任意の適切なキャリア媒体上のプログラマブル装置に提供するためのコンピュータ可読コードとして実施することができる。有形のキャリア媒体は、ハードディスクドライブ、磁気テープデバイスまたはソリッドステートメモリデバイスなどのような記憶媒体を含むことができる。 一過性キャリア媒体は、電気信号、電子信号、光信号、音響信号、磁気信号、または、例えばマイクロ波またはＲＦ信号の電磁信号を含むことができる。

以下、例として、本発明の実施形態を添付図面とともに説明する。
サーベイランスシステムの例を示す図である。 発明の実施形態を具現化するように適応されれたコンピュータデバイスのハードウェア構成を示す図である。 例示する実施形態における、プライマリビデオとセカンダリビデオのフレームをマージすることによる合成ビデオの生成を表す図である。 発明の実施形態における、合成ビデオの生成方法を表すフローチャートである。 複数のビデオセグメントの場合の合成ビデオの生成の実行の例を示す図である。

図１は、本発明の実施形態が実装される、サーベイランス／モニタリング(surveillance/monitoring)システム１００の例を示している。システム１００は、管理サーバ１３０、２つの記録サーバ１５１、１５２、アーカイブサーバ１５３、および、周辺デバイス１６１〜１６３を有する。

周辺デバイス１６１〜１６３は、システムにデータストリームを転送可能なソースデバイスを表す。典型的には、周辺デバイスはビデオカメラ（例えば、ＩＰカメラ、ＰＴＺカメラ、ビデオエンコーダに接続されるアナログカメラ）である。周辺デバイスはオーディオデバイス、検出装置等のような他のタイプであっても良い。

記録サーバは、ビデオカメラによってキャプチャされたビデオストリームのような、周辺デバイスによって生成（記録）されたデータストリームを格納するために提供されている。記録サーバは、ストレージ部と、その記録サーバに付随されるデータベースとを有する。記録サーバに付随するデータベースは、記録サーバというよりも同じコンピュータデバイスに配置されるローカルデータベース、或いは、記録サーバにアクセス可能なリモートデバイスに配置されるデータベースであっても良い。

ストレージ部１６５は、ローカルストレージまたはエッジストレージとも呼ばれるものであって、周辺デバイスで生成されたビデオ等のデータストリームのローカルに格納する周辺デバイス１６１と関連付けられても良い。エッジストレージは、一般に、記録サーバが持つストレージ部よりその容量は小さいが、低品位バージョンが記録サーバを転送されている間における、最後にキャプチャされたデータシーケンスにおける高品位バージョンを記憶する役割を果たす。

データストリームは、記録サーバのストレージ部に格納するため、または、そこから読み出すために、そのデータストリームのデータセグメントに分割されても良い。セグメントは如何なるサイズであっても構わない。セグメントは時間インターバル［ｔｓ１、ｔｓ２］によって識別される。ここで、ｔｓ１はそのセグメントの開始のタイムスタンプに対応し、ｔｓ２はそのセグメントの終了のタイムスタンプに対応する。タイムスタンプは、周辺デバイスによるキャプチャ時間に対応しても良く、第１の記録サーバ内の記録時間に対応しても良い。セグメントはまた、シーケンス番号、トラック番号、或いは、ファイル名などの他の適切なセグメント識別子によって識別されても良い。

管理サーバ１３０は、警戒条件、周辺機器（ハードウェア）の詳細、記録サーバに記録されているデータストリーム等のサーベイランス／監視システム１００の構成に関する情報を記憶する。

管理クライアント１１０は、サーベイランス／モニタリングシステム１００を構成するために管理者によって使用されるために提供されるものである。管理クライアント１００は、例えば、新規の周辺デバイス（ハードウェア）を追加したり、ある録画サーバーから別の録画サーバーへの周辺デバイスの移動等のための、システムの構成するため、管理サーバ上の管理ソフトウェアと対話するためのインタフェースを表示する。管理クライアント１１０に表示されるインタフェースは、ゲートウェイ１７０を介した、外部ネットワーク１８０にどのデータを入出力すべきかを制御するため、管理サーバ１３０と相互に作用することを許容する。

ユーザクライアント１１１は、周辺デバイス１６１−１６３の出力を監視またはレビューするために、セキュリティガードまたは他のユーザによる使用のために提供される。ユーザクライアント１１１は、周辺デバイス１６１−１６３からの画像／録画を見たり、或いは、記録サーバ１５１−１５２に格納されたビデオ映像を視聴するために、管理サーバ上の管理ソフトウェアと対話するためのインターフェースを表示する。

アーカイブサーバ１５３は、記録サーバ１５１−１５２から直にアクセスされる必要はないが、削除することは永久に望ましくない、記録サーバ１５１−１５２に記憶された、より古いデータをアーカイブするために使用される。

他のサーバも、システム１００内に存在してもよい。例えば、主記録サーバが故障した場合のフェイルオーバ記録サーバ（図示せず）が設けられてもよい。また、ウェブクライアントを使用してブラウザからシステムにアクセスするモバイルクライアントまたはラップトップをホスティングする携帯電話など、モバイルデバイスからサーベイランス／モニタリングシステムにアクセスすることを可能にするモバイルサーバ（図示せず）を提供されてもよい。

管理クライアント１１０およびユーザクライアント１１１は、ネットワーク／バス１２１を介して管理サーバ１３０、アクティブディレクトリサーバ１４０、複数の記録およびアーカイブサーバ１５１−１５３、および複数の周辺デバイス１６１−１６３と通信するように構成される。記録及びアーカイブサーバ１５１−１５３は、ネットワーク／バス１２２を介して周辺デバイス１６１−１６３と通信する。サーベイランス／モニタリングシステム１００は、ゲートウェイ１７０を介し、外部ネットワーク１８０とデータを入出力ができる。

アクティブディレクトリサーバ１４０は、例えば管理クライアント１１０またはユーザクライアント１１１からサーベイランス／モニタリングシステム１００へのユーザのログインおよびアクセスを制御する認証サーバである。

図２は、本発明の少なくとも１つの実施形態を実施するように構成されたデバイス２００の典型的な構成を示す。デバイス２００は、通信バス２２０を備え、この通信バス２２０には、好ましくは、
ＣＰＵとして示され、マイクロプロセッサ等のセントラルプロセッシングユニット２３１と、
ＲＡＭとして示され、本発明の実施形態による方法の実行可能コードと、本発明の実施形態による方法を実施するために必要な変数およびパラメータを記録するように適合されたレジスタと同様のランダムアクセスメモリ２１０と、
デバイス２００が他のデバイスと通信可能となるために構成される入出力インターフェース２５０とが接続される。

デバイス２００は、オプションとして、データを記憶するためのハードディスク等のデータストレージ手段２３２やディスプレイ２４０を含むことができる。

ＲＡＭ２１０にロードされ、ＣＰＵ２３１によって実行される実行可能なコードは、読取専用メモリ（不図示）、ハードディスク２３２、リムーバブルデジタル媒体（不図示）のいずれかに格納されても良い。

ディスプレイ２４０は、一般に、ユーザインタフェースを介してユーザに情報を伝えるために用いられる。入出力ポート２５０は、ユーザにマウス、キーボードを用いてデバイス２００に命令を与えることを許容し、他のデバイスからデータを受信したり、ネットワークを介したデータの送信を行う。

クライアント１１０−１１１、管理サーバ１３０、アクティブディレクトリ１４０、記録サーバ１５１−１５２およびアーカイブサーバ１５３は、図２に示すデバイス２００に一致するシステムアーキテクチャを有する。図２の記述は大幅に簡略化されたものであり、任意の適切なコンピュータまたは処理装置のアーキテクチャを使用できる。

図３は、例示的な一実施形態における、所与のデバイスにて、プライマリビデオ３０１とセカンダリビデオ３０２のフレームのマージングによる、合成ビデオ３０３の生成を示している。

説明のために、我々は、図１のサーベイランス／モニタリングシステム１００を検討する。ここで、周辺装置１６１は、ビデオをキャプチャするように構成されたカメラであるものとする。カメラは、例えば、ビデオの時間的冗長性を有効利用する、動き補償を実装するビデオエンコーダ手段によってキャプチャされたビデオをエンコードし、異なる圧縮レベルを有する２つの圧縮ビデオ、例えば 高圧縮（低品質）および低圧縮（高品質）のビデオを配送する。

なお、本発明の実施形態は、異なる圧縮レベル（異なる符号化率）、又は、同じ圧縮レベルであるものの異なる符号化パラメータ（フレームレート、フレームの空間解像度など）を用いて３つ以上の圧縮されたビデオがエンコーダによって配信される場合にも同様に適用されることに留意されたい。本発明の実施形態は、異なるエンコーダによってエンコードされた、および/または異なるシーンまたはビューをカバーする複数の圧縮されたビデオの場合にも適用できる。

動き補償を用いるビデオエンコーダは、ＭＰＥＧ規格（ＭＰＥＧ−１、Ｈ．２６２／ＭＰＥＧ−２、Ｈ．２６３、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ、又は、Ｈ．２６５／ＡＶＣ）の１つを実装できる。したがって、圧縮されたビデオは、イントラ符号化されたＩフレーム（他のすべてのピクチャとは独立して符号化されたピクチャ）、および、予測されたＰフレーム（以前に復号されたピクチャに対する動き補償された差分情報を含むピクチャ）のシーケンスを含む。フレームはＧＯＰ（グループオブピクチャ）３０３にグループ化される。ＩフレームはＧＯＰの開始を示すことになる。

一つの実施における、生成方法を実装するデバイス（所与のデバイス）は、管理サーバ１３０などのサーベイランス／モニタリングシステム１００内にあり、コンピュータデバイス２００のアーキテクチャを有する。

好適な実施形態に従えば、カメラ１６１は、更なる処理のために記録サーバ１５１にて格納するため、高圧縮ビデオをサーベイランス／モニタリングシステム１００にストリーミングし、必要に応じて後の復旧のためにその圧縮されていないビデオをそのローカルストレージ１６５に格納する。プライマリビデオ３０１は高圧縮ビデオに対応し、よって、記録サーバ１５から得ることができる。セカンダリビデオ３０２は低圧縮ビデオもしくは、その一部に対応し、カメラ１６１のエッジストレージ１６５から得ることができる。

一般に、プライマリビデオ３０１はカメラ１６１から、ＲＴＰ／ＲＴＳＰストリームとして受信される。このプロトコルは、送信された第１のフレームと共にタイムスタンプを送り、後続フレームに対してデルタ（オフセット）時間を送る。これは、参照符号３１１による、図に示されるプライマリビデオのタイムラインの定義を可能にする。プライマリビデオ３０１のタイムラインをセカンダリビデオ３０２のタイムライン３１２に関連付けるために、サーベイランス／モニタリングシステムのローカルタイムが共通の時間基準（絶対タイムライン３１３）として選択される。この関連付けを容易にするため、オンザフライでビデオフレームが受信されている間、プライマリビデオ３０１のタイムラインは絶対タイムラインに変換される。例えば、プライマリビデオ３０１の第１のフレームが受信されると、それはサーベイランス／モニタリングシステムのローカルタイムでタイムスタンプされ、次にフレームが受信されるとデルタ値が追加される。フレームは、記録サーバ１５１のストレージ部に、所要期間[ｔ０、ｔ４]のセグメント（記録）に格納され、記録サーバ１５１に付随するデータベースに、算出したタイムスタンプを含むメタデータが格納される。この時間ｔ０およびｔ４は、絶対タイムライン３１３に従って与えられる。受信されたプライマリビデオから抽出されたタイムライン３１１に従った対応時間ｔ’０およびＴ’４が、図３に示されている。

セカンダリビデオ３０２は、例えば、所与のデバイスの要求に応じて受信される。 一実施では、カメラ１６１での時間は、サーベイランス／モニタリングシステムにおけるローカル時間と同期される（例えば、ＯＮＶＩＦコマンドを使用する）。

これにより、既に表現したエッジストレージに記憶されたビデオのタイムラインが絶対タイムライン３１３に従うこと、すなわち、タイムライン３１２および３１３が同期されることになる。このように、所与のデバイスは時間間隔[ｔ１、ｔ２]、すなわち[ｔ''１、ｔ''３]と同じ要求をカメラ１６１に単に送信するだけで、 その時間インターバルのセカンダリビデオ３０２のフレームシーケンスを得る。

これに代る実装で、プライマリおよびセカンダリビデオを整列させ、したがってそれらの対応するタイムラインを関連付けることも可能である。例えば、プライマリビデオの第１のタイムスタンプｔ’ａに対して、セカンダリビデオの第２のタイムスタンプｔ''ａ（タイムシフト決定）の位置合わせを行うことができる。次に、任意の時間ｂ＞ａに対して、セカンダリビデオのタイムライン３１２は、ｔ''ｂ = ｔ'ｂ +（ｔ''ａ−ｔ'ａ）として、プライマリビデオから補間することができる。このようにタイムスケールの適切な変更が、ダイレクト比較の前に、各タイムスタンプ値に適用する必要がある。

低圧縮のビデオから特定の時間インターバル[ｔ１、ｔ３]を検索する１つの動機は、例えば、オペレータによるビデオのより完全な分析のための、イベントの発生を中心とする高品質ビデオを得ることである。残りのビデオの残りの部分を低品質に保つことができる。検索されたセカンダリビデオセグメント３０２とプライマリビデオ３０１とのマージングは、両方のビデオが共通のキャプチャ時間間隔を共有していれば、ビデオデコーダは単一のストリームのみを復号するだけで、シームレスなデコードおよび表示が可能になる。

発明は上記シナリオに限定されず、２つ以上のビデオシーケンスをマージして、単一のストリームを生成してシームレスに復号し、表示する他の動機に従っても良い。例えば、２つのビデオが、同じ時間で或るシーンの異なるビューをカバーしている場合、トランスコーディングなしに異なるビューが埋め込まれた単一のストリームを生成することが便利な場合がある。この場合、各埋め込まれたビデオシーケンスは、与えられた時間にて最も関連している又は重要なビューにフォーカシングされる。

１つのビデオストリームに、他のビデオストリームに対する優先度を割り当てることができる。この場合、より高い優先度のビデオが利用可能であるときはいつでも、優先度の低いビデオよりも合成ビデオへ含められることが優先される。優先度は、何かが発生中のビデオセグメントを含む可能性を高い合成ビデオを作成する際のビデオ内で、例えば動き検出等の活発さの測定に基づき、そのビデオに割り当てることができる。

図４は、本発明の実施形態における、合成ビデオの生成方法を示すフローチャートである。このフローチャートは、図３との関係で上述したステップのいくつかを要約している。この方法は、典型的には、所与のデバイスのＣＰＵ２３１によって実行されるソフトウェアコードによって実行される。

ステップ４０１、４０２において、プライマリビデオ３０１及びセカンダリビデオ３０２それぞれが、デバイスよって得られる。プライマリビデオ３０１及びセカンダリビデオ３０２は、任意の適切なビデオ符号化フォーマットを実装する動き補償エンコーダによって生成された、イントラ符号化されたＩフレームと予測Ｐフレームのシーケンスを含む。

上述したように、一実施形態によれば、プライマリビデオ３０１の取得は、記録サーバ１５１（タイムセグメント［ｔ’０，ｔ’４］）からビデオを読み出すことで実行され、セカンダリビデオ３０２の取得は、要求に従って、カメラ１６１のエッジストレージ１６５（タイムセグメント［ｔ''１，ｔ''３］）からのビデオを受信することで実行される。他の実施形態では、プライマリ及びセカンダリビデオの両方が同じストレージユニット、もしくは、１つのカメラからそれらを直接受信することで得ることもできる。

図３の例では、セカンダリビデオ３０２はプライマリビデオ３０１より短いことを示している。そして、合成ビデオは、プライマリビデオのフレームからセカンダリビデオのフレームへの切換えと、そしてセカンダリビデオのフレームからプライマリビデオのフレームへの復帰が行わることを示している。もちろん、一方のビデオのサイズが他方のビデオのサイズに対して任意とすることができる。

ステップ４０３にて、プライマリ及びセカンダリビデオは、その２つのビデオのタイムラインを関連付けることで時間の整列が行われる。様々な実装が、図３の関係で説明されてきた。整列の結果は、タイムライン３１１および３１２を比較することができることである。一実装では、例えば、時間インターバル［ｔ'０、ｔ'４］と［ｔ''１，ｔ''３］が、ともに、［ｔ０、ｔ４］および［ｔ１、ｔ３］として、共通な時間基準３１３で表現でき、したがって、変換の必要がない。

ステップ４０４にて、セカンダリビデオの第１のアンカーＩフレームの、プライマリビデオ内の開始マージ時間ｔ１が、関連付けられたライムラインを用いて識別される。

最後に、ステップ４０５にて、プライムビデオ３０１のフレームとセカンダリビデオ３０２のフレームが、トランスコード無しにマージされ、合成ビデオ３０３が生成される。この合成ビデオ３０３は、開始マージ時間ｔ１までのプライマリビデオのフレームと、第１のアンカーフＩレーム３０４及び当該第１のアンカーＩフレーム３０４に後続するセカンダリビデオのフレーム３０５、３０６等を有する。後続フレーム３０５，３０６等は、後者がプライマリビデオに先立って終了する場合には、セカンダリビデオに残っている全てのフレームを含むことができ、又は、プライマリビデオまたは別のビデオにスイッチバックする時まで、セカンダリビデオ内のフレームのみを含むことができる。図３に示される例では、セカンダリビデオ３０２の第１のアンカーＩフレーム３０４はセカンダリビデオシーケンス（の最初のＧＯＰ）の最初のＩフレームである。

これとは別の実装（図示せず）では、第１のアンカーＩフレームが第ｎ番目のＧＯＰのＩフレームとする。ここでｎ≧１である。例えば、プライマリビデオのＧＯＰのサイズがセカンダリビデオのＧＯＰサイズよりもはるかに大きい場合、第ｎ番目のＧＯＰが、プライマリビデオのＧＯＰの先頭とオーバーラップするものとして選択されても良い。セカンダリビデオの（ｎ−１）番目以前のＧＯＰはスキップ、つまり、合成ビデオには含まれない。

一実施では、プライマリビデオの第２のアンカーＩフレーム３１４の、セカンダリビデオ３０２内の終了マージン時間が、関連付けられたタイムラインを用いて識別される。この場合、合成ビデオは、終了マージン時間ｔ２までの第１のアンカーＩフレーム３０４に後続するセカンダリビデオシーケンスのフレームと、第２のアンカーＩフレーム３１４及び当該第２のアンカーＩフレーム３１４に後続するプライマリビデオ３０１のフレーム３１５，３１６等とを有する。後続フレーム３１５，３１６等は、プライマリビデオの終了までの、プライマリビデオに残っている全振フレームを含むことができる、或いは、他のビデオにスイッチする時間までのプライマリビデオ内のこれらフレームを含むことができる。

図３に示す例では、第２のアンカーＩフレームは、セカンダリビデオシーケンス３０２の最後のフレーム３０９の時間ｔ３より前の、プライマリビデオシーケンス３０１における最後のＩフレームである。代替の実装（不図示）では、第２のアンカーＩフレームは、プライマリビデオにおける、より早いＧＯＰのＩフレームとすることができる。

図５は、異なる優先度に従ってソートされた複数のビデオセグメントの場合の、合成ビデオの生成の実装例を示している。

図示の例では、４つのビデオセグメント５０１，５０２，５０３及び５０４は時間に対しオーバーラップ（共通のキャプチャ時間を共有している）し、異なる優先度を持っている。簡略化のため、ビデオセグメントのＧＯＰ構造は示していない。ビデオセグメント５０１及び５０２は、最も高く、同じ優先度を持つ。ビデオセグメント５０３は、それより低い優先度を有し、ビデオセグメント５０４は最も低い優先度を有する。生成される合成ビデオは、参照符号５０５で表される。

或るビデオセグメントの、他のビデオセグメントへの遷移する（切換）時間は、説明を簡単にするため、各セグメントの５１１、５１２、５１３、５１４、５１５、および５１６の先端部でに示される。図３の説明から理解できるように、或るビデオの１つのフレームから他のビデオの後続するフレームへの切換に対応する遷移時間は、ビデオセグメントの開始より遅く発生し、および／又は、ビデオセグメントの終了よりも早く発生する。

合成ビデオ５０５は、開始から遷移時間５１１までのビデオセグメント５０５のフレームと、そして、より高い優先度のビデオセグメント５０３のフレームとを有する。ここで、図３、４との関係で説明すれば、ビデオセグメント５０４はプライマリビデオ３０１に対応し、ビデオセグメント５０３はセカンダリビデオ３０２に対応する。

次に、合成ビデオ５０５は、ビデオセグメント５０１（より高い優先度を持つ）のフレームにより後続することになる遷移時間５１２までのビデオセグメント５０３のフレームを有する。

そして、合成ビデオ５０５は、遷移時間５１３以降では、セグメント５０３の終了までのビデオセグメント５０３の残りのフレームを有する。ここで、図３、４との関係で説明すれば、ビデオセグメント５０１はセカンダリビデオ３０２に対応し、ビデオセグメント５０３はプライマリビデオ３０１に対応する。

合成ビデオ５０５の残りの構造は、ビデオセグメント５０４の終了までの既に説明したのと同様である。

Claims (15)

1. 時間に対してオーバーラップする複数ビデオセグメントから合成ビデオストリームを生成する方法であって、ここで各セグメントはキャプチャ時間インターバルによって識別されており、各セグメントは優先度レベルを有する、
   イントラ符号化されたＩフレームと予測Ｐフレームのシーケンスを有するプライマリビデオセグメントを取得し、
   ここでプライマリビデオセグメントは第１の優先度レベルと第１のキャプチャ時間インターバルを有する、
   前記第１の優先度レベルよりも高い第２の優先度レベルを有し、前記第１のキャプチャ時間インターバルとオーバーラップする第２のキャプチャ時間インターバルを有するセカンダリビデオセグメントを識別し、
   ここで、前記セカンダリビデオセグメントはイントラ符号化されたＩフレームと予測Ｐフレームのシーケンスを有する、
   前記プライマリ及びセカンダリビデオセグメントを、これら２つのビデオセグメントのタイムラインを関連付けることで時間整列し、
   前記関連付けられたタイムラインを用いて、前記セカンダリビデオセグメントの第１のアンカーＩフレームの、前記プライマリビデオセグメント内の開始マージ時間を識別し、
   合成ビデオを生成するため、前記プライマリビデオセグメントのフレームと、前記セカンダリビデオセグメントのフレームとをトランスコード無しにマージする、
   ここで、前記合成ビデオは、前記開始マージ時間までの前記プライマリビデオセグメントのフレームと、前記第１のアンカーＩフレーム及び当該第１のアンカーＩフレームに後続する前記セカンダリビデオセグメントのフレームとを有する
   ことを特徴とする方法。
2. 前記ビデオセグメントは異なる品質で符号化されており、より高い優先度レベルはより高い品質を示していることを特徴とする請求項１に記載の方法。
3. より高い品質のビデオセグメントは、より低い品質のビデオセグメントよりも低い圧縮レベルを有することを特徴とする請求項２に記載の方法。
4. 前記ビデオセグメントはストレージ媒体に格納されており、
   前記方法は、
   前記ストレージ媒体上の複数のビデオセグメントが時間に対してオーバーラップしている時を判定し、前記合成ビデオストリームを形成するために、当該オーバーラップする期間では、最も高い優先度レベルを持つビデオセグメントを選択する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の方法。
5. 前記ストレージ媒体は記録サーバであって、
   前記ビデオセグメントはビデオサーベイランスカメラによってキャプチャされ、前記記録サーバに転送される
   ことを特徴とする請求項１乃至４のいずれか１項に記載の方法。
6. 更に、前記関連付けられたライムラインを用いて、前記プライマリビデオの第２のアンカーＩフレームの、前記セカンダリビデオ内の終了マージ時間を識別し、
   前記合成ビデオは、前記終了マージ時間までの前記第１のアンカーＩフレームに後続する前記セカンダリビデオのシーケンスのフレームと、前記第２のアンカーＩフレームと当該第２のアンカーＩフレームに後続する前記プライマリビデオのフレームとを含む
   ことを特徴とする請求項１乃至５のいずれか１項に記載の方法。
7. 前記セカンダリビデオの前記第１のアンカーＩフレームは、前記セカンダリビデオのシーケンスの第１のＩフレームであることを特徴とする請求項１乃至６のいずれか１項に記載の方法。
8. 前記第２のアンカーＩフレームは、前記セカンダリビデオのシーケンスの最後のフレームの時間より前の、前記プライマリビデオのシーケンスの最後のＩフレームであることを特徴とする請求項６又は７に記載の方法。
9. 前記セカンダリビデオは前記プライマリビデオよりも高い空間解像度を有することを特徴とする請求項１乃至８のいずれか１項に記載の方法。
10. 時間に対してオーバーラップする複数ビデオセグメントから合成ビデオストリームを生成する装置であって、ここで各セグメントはキャプチャ時間インターバルによって識別されており、各セグメントは優先度レベルを有する、
    イントラ符号化されたＩフレームと予測Ｐフレームのシーケンスを有するプライマリビデオセグメントを取得する手段と、
    ここでプライマリビデオセグメントは第１の優先度レベルと第１のキャプチャ時間インターバルを有する、
    前記第１の優先度レベルよりも高い第２の優先度レベルを有し、前記第１のキャプチャ時間インターバルとオーバーラップする第２のキャプチャ時間インターバルを有するセカンダリビデオセグメントを識別する手段と、
    ここで、前記セカンダリビデオセグメントはイントラ符号化されたＩフレームと予測Ｐフレームのシーケンスを有する、
    前記プライマリ及びセカンダリビデオセグメントを、これら２つのビデオセグメントのタイムラインを関連付けることで時間整列する手段と、
    前記関連付けられたタイムラインを用いて、前記セカンダリビデオの第１のアンカーＩフレームの、前記プライマリビデオセグメント内の開始マージ時間を識別する手段と、
    合成ビデオを生成するため、前記プライマリビデオセグメントのフレームと前記セカンダリビデオセグメントのフレームとをトランスコード無しにマージする手段と、
    ここで、合成ビデオは、前記開始マージ時間までの前記プライマリビデオセグメントのフレームと、前記第１のアンカーＩフレーム及び当該第１のアンカーＩフレームに後続する前記セカンダリビデオセグメントのフレームとを有する
    を有することを特徴とする装置。
11. 前記ビデオセグメントは異なる品質で符号化されており、より高い優先度レベルはより高い品質を示していることを特徴とする請求項１０に記載の装置。
12. より高い品質のビデオセグメントは、より低い品質のビデオセグメントよりも低い圧縮レベルを有することを特徴とする請求項１０に記載の装置。
13. 前記ビデオセグメントはストレージ媒体に格納されており、
    前記装置は、
    前記ストレージ媒体上の複数のビデオセグメントが時間に対してオーバーラップしている時を判定し、前記合成ビデオストリームを生成するために、当該オーバーラップする期間では、最も高い優先度レベルを持つビデオセグメントを選択する手段
    を有することを特徴とする請求項１０乃至１２のいずれか１項に記載の装置。
14. 前記ストレージ媒体は記録サーバであって、
    前記ビデオセグメントはビデオサーベイランスカメラによってキャプチャされ、前記記録サーバに転送される
    ことを特徴とする請求項１０乃至１３のいずれか１項に記載の方法。
15. プログラマブル装置によって実行されたとき、前記装置を、請求項１乃至９のいずれか１項に記載の方法を実行させるためのコンピュータプログラム。

Images