JP2019097157A - 補助フレームをサポートするビデオコーディングフォーマットでビデオストリームを符号化するための方法およびエンコーダ - Google Patents

Abstract

【課題】補助フレームをサポートするビデオコーディングフォーマットでビデオストリームを符号化するための方法およびエンコーダを提供する。【解決手段】符号化するための方法およびエンコーダ３０６は、ビデオ捕捉デバイス１０４によって捕捉された第１の画像データ３０４ａを受信するステップと、第１の画像データ３０４ａを第１の補助フレーム３０８ａの画像データとして使用するステップと、第１の補助フレーム３０８ａをイントラフレームとして符号化するステップと、第１のフレーム３１０ａを第１の補助フレーム３０８ａを参照するインターフレームとして符号化するステップとを備える。第１のフレーム３１０ａの動きベクトルが、第１の画像データ３０４ａ〜ｄに適用されることになる第１の画像変換を表す。【選択図】図３

Description

本発明は、ビデオ符号化の分野に関する。詳細には、本発明は、補助フレームをサポートするビデオコーディングフォーマットでビデオストリームを符号化するための方法およびエンコーダに関する。

ビデオ捕捉デバイス、またはビデオカメラは、示されるためにディスプレイに転送される前に、または、たとえば、ソフトウェアによってさらに処理されるように、符号化および復号される、デジタル画像のストリーム、またはフレームを捕捉するために使用される。ビデオ捕捉デバイスの光学システムの欠陥または限界により、復号されたデジタル画像は、幾何学的な歪みを示す場合がある。望まれない歪みの別の例は、ビデオ捕捉デバイスの振動によって生じる場合がある。これらのタイプの歪みは、オペレータの作業またはビデオ分析ソフトウェアからの出力の品質が符号化されたビデオストリームの品質に左右される可能性がある監視状況において不利であり得る。

今日、多くの監視システムは、ビデオストリームを符号化する前に、捕捉されたビデオストリーム内のデジタル画像の複雑な変換を可能にする。そのような複雑な変換の例は、スティッチング（stitching）、歪み除去（dewarping）、デジタルパンティルトズーム（ＤＰＴＺ：Digital Pan Tilt Zoom）、電気画像安定化（ＥＩＳ：electrical image stabilization）、樽形歪曲補正（ＢＤＣ：barrel distortion correction）などを含む。これらの変換は、特殊なハードウェアを必要とし、メモリ帯域幅など、調査システムリソース上の重い負荷である。副作用として、これらの変換は、捕捉されたデジタル画像の元に視野の部分を除去する場合、ならびにデジタル画像の部分を歪める場合がある。

したがって、この文脈内で改善の必要性が存在する。

上記に照らして、したがって、上記で論じた問題を克服するかまたは少なくとも緩和することが本発明の目的である。具体的には、ビデオストリームの捕捉されたフレームの複雑な変換が必要とされるとき、ビデオ捕捉システムのリソース上の負荷を低減し、最初に捕捉された画像データの検索を円滑にする符号化方法およびエンコーダを提供することが目的である。

本発明の第１の態様によれば、上記の目的は、ビデオストリームをビデオコーティングフォーマットで符号化するための方法であって、ビデオコーティングフォーマットが、補助フレームを符号化されたビデオストリーム内に含めることをサポートし、補助フレームが、符号化されたビデオストリーム内の別のフレームによって参照され、前記別のフレームを補完する画像データを備え、補助フレームの画像データが、符号化されたビデオストリームを復号するときに示されることは意図されず、代わりに、画像データが示されることを達成するために、前記別のフレームとともに使用されることが意図され、前記方法が、
ビデオ捕捉デバイスによって捕捉された第１の画像データを受信するステップと、
第１の画像データを第１の補助フレームの画像データとして使用するステップと、
第１の補助フレームをイントラフレームとして符号化するステップと、
第１のフレームを第１の補助フレームを参照するインターフレームとして符号化するステップであって、第１のフレームの動きベクトルが、第１の画像データに適用されることになる第１の画像変換を表す、符号化するステップと
を備える、方法によって達成される。

補助フレームは、一般に、符号化されたビデオストリーム内の（マスタ画像としても知られている）別のフレームを補完する画像データのストレージを意味する。言い換えれば、前記別のフレームは補助フレームを参照する。補助フレームは、その補助フレームが補完するフレームの表示を助けるために様々な形態で使用され得るが、一般に、そのようなものとして表示されない。補助フレームは、補助画像、補助画像項目、非表示フレーム、補助ピクチャなどと呼ばれることもある。補助フレームの知られているアプリケーションは、補助フレームをアルファプレーンまたは深度マップ用に使用することを含む。

第１のフレーム（および、第２のフレーム、第３のフレームの下のフレーム）も、したがって、マスタ画像またはマスタフレームと呼ばれることがある。

「第１のフレームの動きベクトルが、第１の画像データに適用されることになる第１の画像変換を表す」（および、第２のフレーム、第３のフレームの同様の表現など）は、一般に、動きベクトルが、一般に連続的な画像変換において一定の座標に対して画像変換をサンプリングすることを意味する。サンプリング座標は、一般に、下記でさらに説明するように、第１のフレームに関して使用されるマクロブロックサイズによって判定される。

たとえば、Ｈ．２６５符号化規格（および、ＧｏｏｇｌｅのＶＰ１０など、他のさらに新しい符号化規格）内では、フレームは、フレームがユーザに表示されないことを意味する「非表示」としてタグ付けされ得る。Ｈ．２６５では、たとえば、タグ付けは、スライスヘッダ内のｐｉｃ＿ｏｕｔｐｕｔ＿ｆｌａｇを偽にセットするか、またはＳＥＩヘッダ内のｎｏ＿ｄｉｓｐｌａｙ＿ｆｌａｇを真にセットすることによって行うことができる。

本発明者らは、そのような補助フレームが、補助フレームを参照するフレームとともに、（ビデオ捕捉デバイスによって捕捉された）生の画像データに関する複雑な画像変換が必要とされる、ビデオストリームの効率的な符号化を提供するために、通常の符号化／圧縮データに加えて、複雑な画像変換に関するデータを記憶するために使用され得ることを実現した。本発明により、符号化プロセスが開始する前に、生の画像データは（たとえば、樽形歪曲補正または同様の補正のために）前処理されなくてよく、これは、たとえば、ビデオ捕捉デバイスのリソース上の負荷を低減し、ハードウェアまたはソフトウェアがそのような前処理ステップを実行する必要を除去する。

上記の方法は、エンコーダによって使用されるビデオコーディングフォーマットの規格に従うため、本実施形態は、符号化されたビデオストリームがそのようなビデオコーディングフォーマットをサポートする標準的なビデオストリームデコーダによって復号され得るという点でさらに有利であり得る。さらなる利点は、補助フレームの画像データは、ビデオ捕捉デバイスによって捕捉された生の画像データであるため、このデータは、符号化されたビデオストリーム内に含まれ、後で、必要に応じて、カスタムデコーダによって検索され得ることであり得る。

いくつかの実施形態によれば、この方法は、ビデオ捕捉デバイスによって捕捉された第２の画像データを受信するステップと、第２の補助フレームを第１の補助フレームを参照するインターフレームとして符号化するステップであって、第２の画像データと第１の画像データとの間の比較に基づいて行われる、符号化するステップと、第２のフレームを第２の補助フレームを参照するインターフレームとして符号化するステップであって、第２のフレームの動きベクトルが、第２の画像データに適用されることになる第２の画像変換を表す、符号化するステップとをさらに備える。

本明細書で説明するビデオ符号化フォーマットなど、いくつかのビデオ圧縮規格は、イントラフレーム、たとえば、Ｉフレーム、およびインターフレーム、たとえば、ＰフレームまたはＢフレームの観点から実装される時間的ビデオ圧縮を規定する。イントラフレームは、基本的に、符号化されることになる画像フレーム内の情報のみを使用して符号化される画像フレームである。さらに、イントラフレームは、符号化されることになる画像フレームに関して捕捉されたすべての画像データから算出される。したがって、イントラフレームは、時々、フルフレームと呼ばれる。予測フレームまたは差分フレームとも呼ばれるインターフレームは、前に（かつ、オプションで、後に）符号化されたフレームからの情報ならびに現在符号化されているフレームからの情報に基づき、すなわち、インターフレームは、前の（かつ、オプションで、後の）画像フレーム内の時間的に冗長な情報を利用するとして説明され得る。このタイプのコーデック（圧縮規格）を実装するエンコーダは、一般に、イントラフレームを、その後に、所定の数のインターフレームを、次いで、新しいイントラフレームを、その後に、同じ数のインターフレームを生成する。イントラフレームの後にいくつかのインターフレームが続くこのシーケンスの長さは、グループオブピクチャ長（ＧＯＰ−ｌｅｎｇｔｈ）と呼ばれることが多い。いくつかの圧縮規格、たとえば、Ｈ．２６５の場合、ＧＯＰ長は、符号化の間に調整され得る。

本実施形態に関して、第２の補助フレームの符号化は、時間的ビデオ圧縮を利用する。第２の補助フレームの符号化は、したがって、前の、第１の補助フレーム内の時間的に冗長な情報を利用する。符号化された第２の補助フレームは、したがって、第１の補助フレームの画像データ（すなわち、第１の画像データ）および第１の補助フレーム内に存在しない画像コンテンツを記述する画像データの関係で第２の画像データの動きベクトル変位と（残差値とも呼ばれる）予測誤差の両方を包含し得る。

上記の開示された実施形態は、反復的な様式で実行され得ることに留意されたい、これは、この実施形態が、定義されたＧＯＰ長に応じて、ビデオ捕捉デバイスによって捕捉された第３の画像データ、第４の画像データなどに対して繰り返されてよいことを意味する。この後で、当業者が理解するように、イントラフレームの後にいくつかのインターフレームが続く新しいシーケンスが開始され得る。

いくつかの実施形態によれば、第２の画像変換は第１の画像変換に等しい。この実施形態は、前記第２のフレームの動きベクトルは、第１のフレームの動きベクトルに等しい可能性があり、したがって、再度判定／算出されなくてよいという点で、第２のフレームを符号化するときに有利であり得る。結果として、符号化プロセスの複雑性が低減され得る。たとえば、いくつかの実施形態では、第２のフレームを符号化するステップは、第１のフレームを複写し、第１のフレームの複写の参照先を第２の補助フレームとする（ｒｅｆｅｒｅｎｃｅ〜ｔｏ）ことを備える。他の実施形態では、第１のフレームの動きベクトルは、複写され、第２のフレームの動きベクトルとして使用される。第１のフレームおよび第２のフレームの動きベクトルが事前に算出される、さらに別の実施形態では、第１のフレームおよび第２のフレームをそれぞれ符号化するステップは、事前に算出された動きベクトルを（たとえば、エンコーダのメモリ、またはエンコーダに接続されたデバイスのメモリから）検索することを備える。第１の画像変換および第２の画像変換は等しいため、（たとえば、ビデオ記録デバイスの一定のレンズ歪みによる）特定のビデオ記録デバイスに関する動きベクトルは、事前に算出され、そのビデオ記録デバイスによって記録されたすべての画像データに関して使用され得る。

いくつかの実施形態によれば、第１の画像変換および第２の画像変換は、ビデオ記録デバイスのレンズによって生じる第１の画像データおよび第２の画像データの歪みを少なくとも部分的に中和する。そのような歪みの例は、樽形歪曲（barrel distortion）、糸巻き型歪曲（pincushion distortion）、陣笠型歪曲（mustache distortion）、およびビデオ記録デバイスの広角レンズによって生じる歪みで得あり得る。この実施形態では、第１の画像変換および第２の画像変換は、一般に等しいが、たとえば、ビデオ捕捉デバイスの画像センサーの機能性の不整により、小さな差異が生じる場合がある。いくつかの実施形態では、そのような不整は無視され、第１の画像変換および第２の画像変換は等しいと仮定される。

いくつかの実施形態によれば、第２の画像変換は、第１の画像変換とは異なる。これは、符号化方法の柔軟性を高める。

いくつかの実施形態によれば、第１の画像変換および第２の画像変換は、電気画像安定化（ＥＩＳ）、およびデジタルパンティルトズーム（ＤＰＴＺ）のうちの１つに関する。

いくつかの実施形態によれば、第１のフレームを符号化するステップは、第１の画像データに適用されることになる第１の画像変換を判定するステップと、第１のフレームの動きベクトルに関して判定されたマクロブロックサイズに従って第１の画像変換をサンプリングすることによって、第１の画像変換を表す動きベクトルを算出するステップとを備える。この実施形態は、当然、第２のフレーム、第３のフレームなどにも適用され得る。この実施形態では、画像変換は、画像エリア全体にわたって均一な方法でサンプリングされ、これは、サンプリングプロセスの複雑性を低減し得る。

いくつかの実施形態によれば、第１のフレームを符号化するステップは、第１の画像データに適用されることになる第１の画像変換を判定するステップと、第１のフレームの動きベクトルに関して判定された複数のマクロブロックサイズに従って第１の画像変換をサンプリングすることによって、第１の画像変化を表す動きベクトルを算出するステップとを備える。この実施形態は、第２のフレーム、第３のフレームなどにも適用され得る。この実施形態では、画像変換は、画像エリア全体にわたって不均一な方法でサンプリングされ、これは、サンプリングプロセスの（たとえば、画像変換の性質に基づく）柔軟性および適応性を増大し得る。

いくつかの実施形態によれば、ビデオコーディングフォーマットは、高効率画像ファイルフォーマット、アドバンストビデオコーディング、Ｈ．２６４、高効率ビデオコーディング、Ｈ．２６５、Ｈ．２６６、ＶＰ９、ＶＰ１０およびＡＶ１のうちの１つである。しかしながら、本明細書で説明するように、補助フレームをサポートする任意のビデオコーディングフォーマットが本発明によって網羅されることに留意されたい。

本発明の第２の態様によれば、上記の目的は、処理能力を有するデバイスによって実行されると、第１の態様の方法を実行するように適合されたコンピュータコード命令を備えたコンピュータ可読媒体を備えるコンピュータプログラム製品によって達成される。

第３の態様によれば、上記の目的は、ビデオ捕捉デバイスによって捕捉されたビットストリームをビデオコーティングフォーマットで符号化するように適用されたエンコーダであって、ビデオコーティングフォーマットが、補助フレームを符号化されたビデオストリーム内に含めることをサポートし、補助フレームが、符号化されたビデオストリーム内の別のフレームによって参照され、前記別のフレームを補完する画像データを備え、補助フレームの画像データが、符号化されたビデオストリームを復号するときに示されることは意図されず、代わりに、画像データが示されることを達成するために前記別のフレームのデータとともに使用されることが意図され、前記エンコーダが、
ビデオ捕捉デバイスによって捕捉された第１の画像データを受信することと、
第１の画像データを第１の補助フレームの画像データとして使用することと、
第１の補助フレームをイントラフレームとして符号化することと、
第１のフレームを第１の補助フレームを参照するインターフレームとして符号化することであって、第１のフレームの動きベクトルが、第１の画像データに適用されることになる第１の画像変換を表す、符号化することと
を行うようにさらに適合される、エンコーダによって達成される。

第２のおよび第３の態様は、一般に、第１の態様と同じ特徴および利点を有する。本発明は、別段に明記されていない限り、特徴のすべての可能な組合せに関することにさらに留意されよう。

本発明の上記の、ならびに追加の目的、特徴、および利点は、同様の要素に関して同じ参照番号が使用される添付の図面を参照して、以下の本発明の好ましい実施形態の例示的かつ非限定的な詳細な説明を通してよりよく理解されよう。

ビデオ捕捉デバイスのレンズによって生じる画像データの歪みの一例を概略的に示す図である。 図１の画像データの歪みを中和するように算出された動きベクトルを概略的に示す図である。 補助フレームをサポートするビデオコーディングフォーマットでビデオストリームを符号化するための方法の第１の実施形態を概略的に示す図である。 補助フレームをサポートするビデオコーティングフォーマットでビデオストリームを符号化するための方法の第２の実施形態を概略的に示す図である。 補助フレームをサポートするビデオコーティングフォーマットでビデオストリームを符号化するための方法の第３の実施形態を概略的に示す図である。 補助フレームをサポートするビデオコーティングフォーマットでビデオストリームを符号化するための方法の第４の実施形態を概略的に示す図である。

本発明は、次に、本発明の実施形態が示される添付の図面を参照して以下でより十分に説明される。本明細書で開示するシステムおよびデバイスは、動作の間に説明される。

本発明は、補助フレームを符号化されたビデオストリーム内に含めることをサポートするビデオコーティングフォーマットに対して、エンコーダ内の画像データの複雑な変換を処理する新しい方法を提供することを目的とする。そのような複雑な変換の例は、画像データを捕捉するビデオ捕捉デバイスのレンズによって生じる画像データの歪みを（少なくとも部分的に）中和するための変換を含む。幾何光学において、歪みは、シーン内の直線が画像内で直線状態にとどまる直線投影からの偏差である。樽形歪曲と呼ばれるタイプの歪みが示される図１では、そのような歪みは簡素化されている。シーン１０２は、直線のグリッドに簡素化されている。カメラ１０４がシーンを捕捉するとき、出力、または画像データ１０６は、グリッドが球体（または、たる）の周囲にマッピングされているように見える。ビデオ捕捉デバイス１０４のレンズによって生じる他のタイプの同様の歪みは、ピンクション歪み、陣笠型歪曲、およびビデオ捕捉デバイスの広角レンズ（魚眼レンズ）によって生じる歪みを含む。これらのタイプの歪みは、静的であることが多く、これは、第１の捕捉されたフレーム（または、画像）が後で捕捉されるフレームと同じように歪むことになることを意味する。しかしながら、歪みのいくつかの小さな差異は、たとえば、ビデオ捕捉デバイス１０４の画像センサーの機能性の不整により起こる場合がある。

先行技術では、レンズ歪み、または下記で詳細に述べる他のタイプの歪みは、符号化プロセスが開始する前に、歪んだ画像データ１０６を捕捉されたシーンと同様のものに変換し戻す特殊なハードウェアによって軽減されることが多い。この方法は、リソース集約型ではないが、捕捉されたシーンの部分を失わせることもある。

図２は、例として、歪んだ画像データ１０６と元のシーン１０２との間のマッピング方式２０２を示す。マッピング方式２０２の矢印の長さおよび方向は、ビデオ捕捉デバイス１０４のレンズによって生じる歪みを中和するために、矢印の起点における画素／マクロブロックがどのように移動されるべきかを表す。図２のマッピング方式２０２は完全ではないことに留意されたい。

図３〜図４は、図１の例、すなわち、樽形歪曲に従って捕捉されたシーンを歪めるカメラシステムに関する、補助フレームを符号化されたビデオストリーム内に含めることをサポートするビデオコーティングフォーマットでビデオストリームを符号化するための方法の実施形態を簡素化する。この例は、他のタイプのレンズ歪みに容易に移行され得る。

図３は、ビデオストリーム３０４ａ〜ｄの捕捉された画像データがビデオ捕捉デバイスのレンズによる樽形歪曲を受けている、ビデオストリーム３０４ａ〜ｄをもたらすビデオ捕捉デバイス１０４によって捕捉されたシーン３０２を示す。図３の下の部分は、本発明による樽形歪曲補正（ＢＤＣ）が行われる、ビデオ捕捉デバイス１０４によって捕捉された第１の画像データ（または、フレーム、画像など）３０４ａの符号化を示す。

エンコーダ３０６は、第１の画像データ３０４ａを受信する。第１の画像データ３０４ａは、次いでイントラフレームとして符号化される、第１の補助フレーム３０８ａの画像データとして使用される。エンコーダは、第１の補助フレーム３０８ａを参照する第１のフレーム３１０ａも符号化する。上記で説明したように、第１の補助フレーム３０８ａの画像データ（すなわち、第１の画像データ３０４ａ）は、第１のフレーム３１０ａが後で復号されるとき、第１のフレーム３１０ａのデータを補完することになる。第１のフレーム３１０ａは、補助フレーム３０８ａを参照するインターフレームとして符号化される。第１のフレーム３１０ａの（図３の第１のフレーム３１０ａ内に矢印によって概略的に示される）動きベクトルは、第１の画像データ３０４ａを望まれるように出現させるために、第１の画像データ３０４ａに適用されるべき画像変換（ｔｒａｎｓｆｏｒｍａｔｉｏｎ）（画像変換（ｔｒａｎｓｆｏｒｍ）、画像変換方程式など）（この場合、樽形歪曲補正）に関する情報を使用することによって判定され、動きベクトル３１０は画像変換を表している。

第１のフレーム３１０ａ（第２のフレーム、第３のフレームなど）の動きベクトルは、多くの方法で判定され得る。いくつかの実施形態によれば、動きベクトルは、第１の画像データに適用されることになる第１の画像変換（この場合、逆樽形歪曲（ｉｎｖｅｒｔｅｄ ｂａｒｒｅｌ ｄｉｓｔｏｒｔｉｏｎ））を判定し、第１のフレームの動きベクトルに関して判定されたマクロブロックサイズに従って第１の画像変換をサンプリングすることによって、第１の画像変換を表す動きベクトルを算出することによって判定される。たとえば、画像変換が、ある画素が５個の画素を右に移動し、３個の画素を下に移動すべきであるという結果を出す場合、この画素の実際の移動は、サンプリングサイズ（マクロブロックサイズ）および近傍の画素に対する変換に基づいて判定される。他の実施形態によれば、サンプリングのために複数のマクロブロックサイズが使用され、マッピング方式の特定のエリアに使用されるマクロブロックサイズは、画像変換がその対応するエリアに対してどのようになりそうかに左右される。たとえば、マクロブロックサイズは、１６×１６から４×４まで変化し得る。この実施形態は、動きベクトルに関するビットレートのコストを低減することになり、効率的な方法で、非常に不整である画像変換のローカルエリアに対して最も多くのビットを使用し、変換がより均一であるローカルエリアに対してより少ないビットを使用することができる。

動きベクトルに関するビットレートのコストをさらに低減するために、サンプリングは、補助フレーム内の画像データのより平滑な変換を達成する目的で、より小さなサイズのマクロブロックに関する動きベクトルを算出するために受信された動きベクトル間の補間をデコーダに任せるように、よりスパースに行われ（マクロブロックのサイズを増大し）てよい。これは、符号化されたビットストリーム内に補間パラメータを含めること、またはインターフレームのヘッダ内にフラグをセットすることなどによって達成され得る。

他の実施形態によれば、動きベクトルを達成するための画像変換のサンプリングは、補助フレーム内の画像データの対応するエリア内の詳細のレベルに基づいて行われる。たとえば、（任意の適切なエッジ検出アルゴリズムを使用して判定され得る）高度な直線を備えた画像データ内のローカルエリアの場合、画像変換の対応するエリアに対してより密度の高いサンプリング（より小さなマクロブロックサイズ）が必要とされ得る。より低度な線を有するエリアの場合、よりスパースなサンプリングが採用され得る。

サンプリングは、たとえば、近傍サンプリング（ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｕｒ ｓａｍｐｌｉｎｇ）、バイリニアサンプリング（ｂｉｌｉｎｅａｒ ｓａｍｐｌｉｎｇ）、またはバイキュービックサンプリング（ｂｉｃｕｂｉｃ ｓａｍｐｌｉｎｇ）によって行われ得る。これらの２つの実施形態は、ビデオ捕捉デバイス１０４によって捕捉された画像データの歪みが時間の間に変更し得る場合に有利であり得、動きベクトルの柔軟な算出方法を提供する。

いくつかの実施形態によれば、第１のフレーム３１０ａの動きベクトルは事前に算出される。図３の例では、ビデオ記録デバイス１０４のレンズによって生じる樽形歪曲は事前に知られ得る。この場合、樽形歪曲を中和する（したがって、ＢＤＣを提供する）動きベクトルは、事前に算出され、たとえば、エンコーダによってアクセス可能なメモリ内に記憶され得る。この場合、第１のフレーム３１０ａを符号化するステップは、事前に算出された動きベクトルを検索することと、これらの動きベクトルを第１のフレーム３１０ａの動きベクトルとして使用することとを備える。この実施形態は、複雑性がより少ない符号化プロセスを提供し、これはやはり時間効率もよい可能性がある。

上記で説明したように、本発明の利点は、エンコーダによって使用されるビデオコーディングフォーマット（たとえば、Ｈ．２６５）をサポートする標準的なデコーダが、図３に従ってビデオストリームを復号することである。デコーダは、第１の補助フレーム３０８ａの画像データのＢＤＣを達成し、したがって、捕捉されたシーン３０２と同様のものにするために、第１のフレーム３１０ａの動きベクトルを第１の補助フレーム３０８ａの歪んだ画像データに適用することになる。さらに、第１の補助フレーム３０８ａの画像データはビデオ捕捉デバイス１０４によって捕捉された生の画像データであるため、このデータは、必要に応じて、後でカスタムデコーダによって検索され得る。これは、たとえば、ビデオ捕捉デバイス１０４によって捕捉された生データの部分がＢＤＣの間に除去されるが、これらの除去された部分は、潜在的に、関心ある情報を含み得る監視状況において有利であり得る。

図４は、図３で説明した方法の拡張を示し、ここで、ビデオストリーム３０４ａ〜ｄのすべての４つの捕捉された画像フレーム（画像データ）がエンコーダ３０６によって符号化される。図４では、第１の画像データ３０４ａは、符号化された第１のフレーム３１０ａおよび符号化された第１の補助フレーム３０８ａを達成するために、図３で説明したように符号化される。第１の画像データ３０４ａを符号化した後で、エンコーダ３０６は、ビデオ捕捉デバイス１０４によって捕捉された第２の画像データ３０４ｂを受信する。第２の補助フレーム３０８ｂは、前の画像フレーム、この場合、第１の補助フレーム３０８ａ内の時間的に冗長な情報を利用するために、第１の補助フレーム３０８ａを参照するインターフレーム（たとえば、Ｐフレーム）として有利に符号化される。第２の補助フレームの符号化は、したがって、いくつかの実施形態によれば、第２の画像データ３０４ｂと第１の画像データ３０４ａとの間の比較に基づいて行われる。図４では、符号化された第２の補助フレーム３０８ｂは、動きベクトルによって概略的に表されているが、第１の補助フレームの画像データ３０４ａ内に存在しないが、第２の画像データ３０４ｂ内に存在する画像コンテンツを表す画像データおよび／または予測誤差（残差値とも呼ばれる）は、当然、符号化された第２の補助フレーム３０８ｂ内に含まれてもよい。

他の実施形態によれば、やはり第２の補助フレーム３０８ｂがＩフレームとして符号化される。

エンコーダ３０６は、第２のフレーム３１０ｂを第２の補助フレーム３０８ｂを参照するインターフレームとして継続的に符号化し、第２のフレーム３１０ｂの動きベクトルは、第２の画像データ３０４ｂに適用されることになる第２の画像変換を表す。上記で説明したように、第２の画像データ３０４ｂに適用されることになる画像変換は、第１の画像データ３０４ａに適用されることになる画像変換と同じ、たとえば、ＢＤＣであり得る。この場合、第２のフレーム３１０ｂを符号化するステップは、第１のフレーム３１０ａを複写し、第１のフレームの複写の参照先を第２の補助フレーム３０８ｂとすることを備える。これは、効率的で複雑性の低い符号化プロセスを提供し得る。他の実施形態によれば、第２のフレーム３１０ｂの動きベクトルは、上記で説明したように、事前に算出され、第２のフレーム３１０ｂを符号化するステップは、事前に算出された動きベクトルを検索することを備える。動きベクトルは、当然、第２のフレーム３１０ｂに関しても（上記で説明したように）個別に算出され得、これは、図６とともに下記でさらに説明される。

図３では、第２の画像データ３０４ｂに関する上記の符号化プロセスは、第３の画像データ３０４ｃに関して反復される。上記で説明したように、イントラ符号化された補助フレームの後にいくつかのインターフレーム符号化された補助フレームが続くことは、エンコーダ３０６に関するグループオブピクチャ長（ＧＯＰ−ｌｅｎｇｔｈ）をセットすることによって判定され得る。この場合、ＧＯＰ長は、２つのフル画像（Ｉフレーム、イントラフレーム）の間の距離は２であると定義する。

第４の画像データ３０４ｄに関して、図３とともに上記で説明した符号化プロセスがさらに再び採用され、このようにして、イントラフレーム符号化された第４の補助フレーム３０８ｄをもたらす。

図４では、括弧内の数字は、符号化された補助フレーム３０８（ＡＦ）および「正規の」フレーム３１０（ＲＦ）が符号化されたビデオストリーム内に含まれる順序を記述する。図４の例では、この順序は、ＡＦ１ ３０８ａ、ＲＦ１ ３１０ａ、ＡＦ２ ３０８ｂ、ＲＦ２ ３１０ｂ、ＡＦ３ ３０８ｃ、ＲＦ３ ３１０ｃ、ＡＦ４ ３０８ｄ、ＲＦ４ ３１０ｄである。

図５〜図６は、ビデオ捕捉デバイス１０４によって捕捉された画像データ５０４ａ〜ｄに適用される必要があり得る別のタイプの画像変換について説明する。図５〜図６の例では、電気画像安定化（ＥＩＳ）が適用されている。これは、たとえば、高い柱または交通量が多い道路付近の道路標識の上など、露出したロケーション内に取り付けられた監視カメラに必要な場合がある。この場合、カメラは、風または往来によってぶれる場合がある。図５の上の部分に示すように、シーン５０２内の（垂直方向に移動しない）被写体は、第１の捕捉された画像データ５０４ａと第２の捕捉された画像データ５０４ｂとの間で垂直方向に移動しており、これは、ＥＩＳが適用されない場合、ビデオをぼやけさせる可能性がある。

図５の下の部分には、第１の画像データ５０４ａの符号化プロセスを示す。符号化プロセスは、この場合、動きベクトルが符号化の間に算出される必要があることを除いて、図３の第１の画像データ３０４ａに関して説明した符号化プロセスと変わらない。ＥＩＳを達成するために適用される必要がある画像変換は、Ａｘｉｓ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓによって開発されたＥＩＳアルゴリズムまたは当業者に知られている他の適切なアルゴリズムを使用して算出され得る。次いで、上記で説明したように、画像変換をサンプリングすることによって、動きベクトルが判定され得る。

図６は、両方の捕捉された画像データ５０４ａ〜ｂに関してエンコーダ３０６によって実行される符号化プロセスを示す。図６に示すように、第１の画像フレーム６０２ａに関する動きベクトルは、第２の画像フレーム６０２ｂに関する動きベクトルとは異なる。言い換えれば、第１の画像変換および第２の画像変換は異なる。第１の画像変換および第２の画像変換は、この場合、ＥＩＳに関するが、デジタルパンティルトズーム（ＤＰＴＺ）など、他の画像変換が等しく可能である。これ以外に、符号化プロセスは、図４とともに説明した符号化プロセスと同様である。

エンコーダ３０６は、したがって、上記で説明したように、ビデオストリーム３０４ａ〜ｄ、５０４ａ〜ｂを符号化するように適合される。エンコーダ３０６は、ビデオストリーム３０４ａ〜ｄ、５０４ａ〜ｂの画像データを受信するために、ビデオ捕捉デバイス１０４内に直接的に提供されてよく、またはビデオ捕捉デバイス１０４にワイヤでまたはワイヤレスに接続されてもよい。エンコーダ３０６は、事前に算出された動きベクトルを検索するためのメモリを備えてよいか、またはメモリに接続されてよい。エンコーダ３０６は、画像変換および／または画像変換からのサンプル動きベクトルを算出するための処理ユニットを備え得る。代替として、または追加で、エンコーダは、画像変換および／または動きベクトルを算出／判定するように適合された個別の算出ユニットからそのような画像変換および／または動きベクトルを受信するように適合され得る。エンコーダは、一般に、上記で説明したように、受信された画像データを符号化するための１つまたはいくつかの処理ユニット（たとえば、ＣＰＵ）を備える。ＣＰＵは、たとえば、ＣＰＵによって実行されると、上記で説明した実施形態のうちのいずれかの符号化方法を実行するように適合された命令で、コンピュータ可読記憶媒体からインストールされたソフトウェアを実行するように適合され得る。エンコーダは、符号化されたビデオストリームを復号するように適合されたデコーダに符号化されたビデオストリームをワイヤレスにまたはワイヤで送信するようにさらに適合され得る。

上記で開示したシステム（たとえば、エンコーダ３０６）および方法は、ソフトウェア、ファームウェア、ハードウェア、またはそれらの組合せとして実装され得る。ハードウェア実装形態では、上記の説明で言及した機能ユニットまたは構成要素間のタスクの分割は、必ずしも物理的なユニットへの分割に対応せず、反対に、１つの物理的構成要素は、複数の機能を有する場合があり、１つのタスクは、いくつかの物理的構成要素によって協働して実行され得る。いくつかの構成要素またはすべての構成要素は、デジタル信号プロセッサまたはマイクロプロセッサによって実行されるソフトウェアとして実装され得るか、またはハードウェアとして、もしくは特定用途向け集積回路として実装され得る。そのようなソフトウェアは、コンピュータ記憶媒体（または、非一時的媒体）および通信媒体（または、一時的媒体）を備え得るコンピュータ可読媒体上に分散されてよい。当業者によく知られているように、コンピュータ記憶媒体という用語は、コンピュータ可読命令、データ命令、プログラムモジュール、または他のデータなど、情報を記憶するための任意の方法または技術で実装される、揮発性および不揮発性、取り外し可能および取り外し不可能な媒体の両方を含む。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリもしくは他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）もしくは他の光ディスクストレージ、磁気かセット、磁気テープ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、または所望の情報を記憶するために使用され得、コンピュータによってアクセスされ得る任意の他の媒体を含むが、これらに限定されない。

当業者は、上述の実施形態を多くの方法で修正し、上記の実施形態で示したような本発明の利点を依然として使用することができることを諒解されよう。たとえば、補助フレームおよび補助フレームを補完するフレームを符号化する順序は、任意の適切な方法で変更されてよい。たとえば、ＧＯＰ内のすべての補助フレームは、符号化されたビデオストリーム内の符号化された補助フレームとインターレースする補助フレームを参照するインター符号化されたフレームを含める前にまず符号化され得る。また、ビデオ記録デバイスのレンズによって生じる画像データの歪みを少なくとも部分的に中和する画像変換（たとえば、ＢＤＣ）ならびに他の画像変換（たとえば、ＥＩＳ）の両方が特定の画像データに適用される必要があり得る。したがって、本発明は、示した実施形態に限定されるべきではなく、添付の請求項によってのみ定義されるべきである。さらに、当業者が理解するように、示した実施形態は組み合わせられてよい。

Claims (14)

1. ビデオストリームをビデオコーティングフォーマットで符号化するための方法であって、前記ビデオコーティングフォーマットが、補助フレームを符号化された前記ビデオストリーム内に含めることをサポートし、前記補助フレームが、符号化された前記ビデオストリーム内の別のフレームによって参照され、前記別のフレームを補完する画像データを備え、前記補助フレームの前記画像データが、符号化された前記ビデオストリームを復号するときに示されることは意図されず、代わりに、画像データが示されることを達成するために、前記別のフレームのデータとともに使用されることが意図される方法において、
   ビデオ捕捉デバイスによって捕捉された生画像データである第１の画像データを受信するステップと、
   前記第１の画像データを第１の補助フレームの画像データとして使用するステップと、
   前記第１の補助フレームをイントラフレームとして符号化するステップと、
   第１のフレームを前記第１の補助フレームを参照するインターフレームとして符号化するステップであって、前記第１のフレームの動きベクトルが、前記第１の画像データに適用されることになる第１の画像変換を表す、符号化するステップと
   を備える、方法。
2. 前記ビデオ捕捉デバイスによって捕捉された生の画像データである第２の画像データを受信するステップと、
   第２の補助フレームを前記第１の補助フレームを参照するインターフレームとして符号化するステップであって、前記第２の画像データと前記第１の画像データとの間の比較に基づいて行われる、符号化するステップと、
   第２のフレームを前記第２の補助フレームを参照するインターフレームとして符号化するステップであって、前記第２のフレームの動きベクトルが、前記第２の画像データに適用されることになる第２の画像変換を表す、符号化するステップと
   をさらに備える、請求項１に記載の方法。
3. 前記第２の画像変換が前記第１の画像変換に等しい、請求項２に記載の方法。
4. 前記第１の画像変換と前記第２の画像変換とが異なる、請求項２に記載の方法。
5. 前記第１の画像変換および前記第２の画像変換が、前記ビデオ記録デバイスのレンズによって生じる前記第１の画像データおよび前記第２の画像データの歪みを少なくとも部分的に中和する、請求項３または４に記載の方法。
6. 前記歪みが、樽形歪曲、糸巻き型歪曲、陣笠型歪曲、および前記ビデオ記録デバイスの広角レンズによって生じる歪みのうちの１つである、請求項５に記載の方法。
7. 前記第２のフレームを前記符号化するステップが、前記第１のフレームを複写し、前記第１のフレームの前記複写の参照先を前記第２の補助フレームとすることを備える、請求項３に記載の方法。
8. 前記第１の画像変換および前記第２の画像変換が、電気画像安定化、デジタルパンティルトズーム（ＤＰＴＺ）のうちの１つに関する、請求項３または４に記載の方法。
9. 前記第１のフレームを前記符号化するステップが、
   前記第１の画像データに適用されることになる第１の画像変換を判定するステップと、
   前記第１のフレームの前記動きベクトルに関して判定されたマクロブロックサイズに従って前記第１の画像変換をサンプリングすることによって、前記第１の画像変換を表す動きベクトルを算出するステップと
   を備える、請求項１から８のいずれか一項に記載の方法。
10. 前記第１のフレームを前記符号化するステップが、
    前記第１の画像データに適用されることになる第１の画像変換を判定するステップと、
    前記第１のフレームの前記動きベクトルに関して判定された複数のマクロブロックサイズに従って前記第１の画像変換をサンプリングすることによって、前記第１の画像変換を表す動きベクトルを算出するステップと
    を備える、請求項１から８のいずれか一項に記載の方法。
11. 前記第１のフレームおよび前記第２のフレームの前記動きベクトルが事前に算出され、前記第１のフレームおよび前記第２のフレームをそれぞれ前記符号化するステップが、前記事前に算出された動きベクトルを検索することを備える、請求項３に記載の方法。
12. 前記ビデオコーティングフォーマットが、高効率画像ファイルフォーマット、アドバンストビデオコーディング、Ｈ．２６４、高効率画像ビデオコーディング、Ｈ．２６５、Ｈ．２６６、ＶＰ９、ＶＰ１０、およびＡＶ１のうちの１つである、請求項１から１１のいずれか一項に記載の方法。
13. 処理能力を有するデバイスによって実行されると、請求項１から１２のいずれか一項に記載の方法を実行するように適合された命令を備えたコンピュータ可読記憶媒体を備えるコンピュータプログラム製品。
14. ビデオ捕捉デバイスによって捕捉されたビデオストリームをビデオコーティングフォーマットで符号化するように適合されたエンコーダであって、前記ビデオコーティングフォーマットが、補助フレームを符号化された前記ビデオストリーム内に含めることをサポートし、前記補助フレームが、符号化された前記ビデオストリーム内の別のフレームによって参照され、前記別のフレームを補完する画像データを備え、前記補助フレームの前記画像データが、符号化された前記ビデオストリームを復号するときに示されることが意図されず、代わりに、画像データが示されることを達成するために前記別のフレームのデータとともに使用されることが意図されるエンコーダにおいて、
    前記ビデオ捕捉デバイスによって捕捉された生の画像データである第１の画像データを受信することと、
    前記第１の画像データを第１の補助フレームの画像データとして使用することと、
    前記第１の補助フレームをイントラフレームとして符号化することと、
    第１のフレームを前記第１の補助フレームを参照するインターフレームとして符号化することであって、前記第１のフレームの動きベクトルが、前記第１の画像データに適用されることになる第１の画像変換を表す、符号化することと
    を行うように適合される、エンコーダ。

Images