JP2022507027A - スケーラブルビデオ符号化及び伝送のための方法、装置、コンピュータプログラム、及びコンピュータ可読媒体 - Google Patents

Abstract

残留データは、第１のレベルの品質の画像の第１の表現及び第２の表現に基づいて取得される。第２の表現は、より低い第２のレベルの品質の画像の表現に基づく。残留データは、第２の表現を用いて第１の表現を再構築するために復号器によって使用可能である。ヘッダ部（３１０）及びペイロード部（３２０）を含む構成メッセージ（３００）は、復号器による処理のために生成され出力される。ペイロード部（３２０）は、残留データの処理に関する取得された構成データ（３５０）を含む。ヘッダ部（３１０）は、（ｉ）構成メッセージタイプを指定し、ペイロード部（３２０）の所与のペイロードフォーマットを示す、メッセージタイプパラメータ（３１２）であって、上記ペイロードフォーマットを有するペイロード部（３２０）のフォーマットサイズがペイロード部のコンテンツから事前判断されるか、または判断され得る、メッセージタイプパラメータ（３１２）と、（ｉｉ）ペイロード部（３２０）の実サイズを指定するペイロードサイズパラメータ（３１４）と、を含む。【選択図】図３

Description

本発明は、方法、装置、コンピュータプログラム、及びコンピュータ可読媒体に関する。特に、ただし排他的にではなく、本発明は、画像の表現を相対的に高レベルの品質で再構築するために使用可能な残留データに関する構成情報の処理に使用するための、方法、装置、コンピュータプログラム、及びコンピュータ可読媒体に関する。

信号の圧縮及び復元は、多くの既知のシステムにおける考慮事項である。多くの種類の信号、例えばビデオは、例えばデータ通信ネットワーク上の伝送のために圧縮及び符号化され得る。そのような信号が復号されるとき、信号の品質レベルが向上すること、及び／または元の信号に含まれる情報を可能な限り同程度に回復することが望ましい場合がある。

いくつかの既知のシステムは、スケーラブル符号化技術を活用している。スケーラブル符号化は、例えば復号器のケイパビリティ及び利用可能帯域幅に依存して、１つまたは複数の異なる品質レベルにおいて信号の再構築を可能にする情報と共に、信号を符号化することを伴う。

スケーラブル符号化システムにおける信号の再構築に関していくつかの考慮事項が存在する。そのような考慮事項の１つは、記憶され、使用され、及び／または伝送される情報の量である。情報の量は、例えば、再構築される信号の所望の品質レベル、再構築において使用される情報の性質、及び／またはそのような情報がどのように構成されるかに依存して変化し得る。別の考慮事項は、受信した情報を確実に処理するための復号器の能力である。復号器の信頼性に影響を及ぼし得る１つの要因は、エラーをハンドリングする、及び／または復号器によって予期しない、修正済みの、及び／または認識されない受信情報をハンドリングする復号器の能力である。

本発明の様々な態様が、添付の特許請求の範囲において提示されている。

さらなる特徴及び利点が、単なる実施例として与えられる以下の好適な実施形態の説明から明らかとなる。好適な実施形態の説明は、添付図面を参照して行われる。

本発明の実施形態による、信号処理システムの実施例の概略ブロック図を示す。 本発明の実施形態による、信号処理システムの別の実施例の概略ブロック図を示す。 本発明の実施形態による、信号処理システムの別の実施例の概略ブロック図を示す。 本発明の実施形態による、構成メッセージの実施例の概略図を示す。 本出願の実施形態による、方法の実施例を示すフロー図である。 本発明の実施形態による、構成メッセージの別の実施例の概略図を示す。 本発明の実施形態による、方法の別の実施例を示すフロー図である。 本発明の実施形態による、装置の実施例の概略ブロック図を示す。

図１を参照すると、信号処理システム１００の実施例が示されている。信号処理システム１００は、信号を処理するために使用される。信号の種類の実施例は、ビデオ信号、画像信号、音声信号、医療、科学、もしくはホログラフィー撮像において用いられるような体積信号、または他の多次元信号を含むが、これらに限定されない。

信号処理システム１００は、第１の装置１０２及び第２の装置１０４を含む。第１の装置１０２及び第２の装置１０４は、クライアント－サーバ関係を有してもよく、第１の装置１０２がサーバデバイスの機能を実行してもよく、第２の装置１０４がクライアントデバイスの機能を実行してもよい。信号処理システム１００は、少なくとも１つの追加装置（図示せず）を含み得る。第１の装置１０２及び／または第２の装置１０４は、１つまたは複数のコンポーネントを含み得る。１つまたは複数のコンポーネントは、ハードウェア及び／またはソフトウェアにおいて実施され得る。１つまたは複数のコンポーネントは、同一場所に設置されてもよく、または信号処理システム１００において互いから遠隔に位置してもよい。装置の種類の実施例は、コンピュータ化デバイス、手持ちまたはラップトップコンピュータ、タブレット、モバイルデバイス、ゲームコンソール、スマートテレビ、セットトップボックス、拡張現実及び／または仮想現実ヘッドセットなどを含むが、これらに限定されない。

第１の装置１０２は、データ通信ネットワーク１０６を介して第２の装置１０４に通信可能に連結される。データ通信ネットワーク１０６の実施例は、インターネット、ローカルエリアネットワーク（ＬＡＮ）、及びワイドエリアネットワーク（ＷＡＮ）を含むが、これらに限定されない。第１の装置１０２及び／または第２の装置１０４は、データ通信ネットワーク１０６に対する有線接続及び／または無線接続を有し得る。

第１の装置１０２は、符号化器１０８を含む。符号化器１０８は、信号に含まれるデータを符号化するように構成される。信号に含まれるデータは、以下「信号データ」と呼ばれる。例えば、信号がビデオ信号である場合、符号化器１０８は、ビデオデータを符号化するように構成される。ビデオデータは、複数の画像またはフレームのシーケンスを含む。符号化器１０８は、信号データを符号化することに加えて、１つまたは複数のさらなる機能を実行し得る。符号化器１０８は、様々な異なるやり方で具現化され得る。例えば、符号化器１０８は、ハードウェア及び／またはソフトウェアで具現化されてもよい。

この実施例では、第１の装置１０２が符号化器１０８を含むが、他の実施例では、第１の装置１０２は、符号化器１０８とは別個である。そのような実施例では、第１の装置１０２は、符号化器１０８に通信可能に連結される。第１の装置１０２は、１つまたは複数のソフトウェア機能及び／またはハードウェアモジュールとして具現化されてもよい。

第２の装置１０４は、復号器１１０を含む。復号器１１０は、信号データを復号するように構成される。復号器１１０は、信号データを復号することに加えて、１つまたは複数のさらなる機能を実行し得る。復号器１１０は、様々な異なるやり方で具現化され得る。例えば、復号器１１０は、ハードウェア及び／またはソフトウェアで具現化されてもよい。

この実施例では、第２の装置１０４が復号器１１０を含むが、他の実施例では、第２の装置１０４は、復号器１１０とは別個である。そのような実施例では、第２の装置１０４は、復号器１１０に通信可能に連結される。第２の装置１０４は、１つまたは複数のソフトウェア機能及び／またはハードウェアモジュールとして具現化されてもよい。

符号化器１０８は、信号データを符号化し、符号化された信号データをデータ通信ネットワーク１０６により復号器１１０に送信する。復号器１１０は、受信した符号化信号データを復号し、復号信号データを生成する。復号器１１０は、復号信号データ、または復号信号データを用いて導出されるデータを出力し得る。例えば、復号器１１０は、第２の装置１０４に関連付けられた１つまたは複数のディスプレイデバイス上に表示するためにそのようなデータを出力してもよい。

本明細書で説明されるいくつかの実施例において、符号化器１０８は、所与のレベルの品質の信号の表現、及び１つまたは複数のより高レベルの品質で信号の表現を再構築するために復号器１１０が使用し得る情報を、復号器１１０に送信する。そのような情報は、「再構築データ」と呼ばれ得る。いくつかの実施例において、表現の「再構築」は、元の表現の正確な複製ではない表現を取得することを伴う。表現が元の表現と同一である程度は、量子化レベルを含むがこれに限定されない様々な要因に依存し得る。所与のレベルの品質の信号の表現は、所与のレベルの品質の信号に含まれるデータの演出、バージョン、または描写であると考えられ得る。いくつかの実施例では、再構築データは、符号化器１０８によって符号化され、復号器１１０に送信される信号データに含まれる。例えば、再構築データは、メタデータの形式であってもよい。いくつかの実施例では、再構築データは、信号データとは別個に符号化され、送信される。

１つまたは複数のより高レベルの品質で信号の表現を再構築するために復号器１１０が使用する情報は、以下でより詳細に説明される、残留データを含み得る。残留データは、再構築データの一例である。１つまたは複数のより高レベルの品質で信号の表現を再構築するために復号器１１０が使用する情報は、残留データの処理に関する構成データも含み得る。構成データは、残留データが符号化器１０８によってどのように処理されているか、及び／または残留データが復号器１１０によってどのように処理されるべきかを示し得る。構成データは、例えばメタデータの形式で、復号器１１０にシグナリングされ得る。

図２Ａ及び図２Ｂを参照すると、信号処理システム２００の実施例が概略的に示されている。信号処理システム２００は、符号化器を含む第１の装置２０２及び復号器を含む第２の装置２０４を含む。第１の装置２０２及び第２の装置２０４のそれぞれにおいて、アイテムが、２つの論理レベル上に示されている。２つのレベルは、破線で分離されている。第１の最も高レベル上のアイテムは、相対的高レベルの品質のデータに関係する。第２の最も低いレベル上のアイテムは、相対的低レベルの品質のデータに関係する。相対的高レベル及び相対的低レベルの品質は、複数レベルの品質を有する段階的階層に関係する。いくつかの実施例では、段階的階層は、２つより多くのレベルの品質を含む。そのような実施例では、第１の装置２０２及び第２の装置２０４は、２つより多くの異なるレベルを含み得る。図２Ａ及び図２Ｂに示されるものより上及び／または下の１つまたは複数の他のレベルが存在し得る。

まず図２Ａを参照すると、第１の装置２０２は、相対的高レベルの品質の画像の第１の表現２０６を取得する。所与の画像の表現は、画像に含まれるデータの表現である。画像は、ビデオの所与のフレームであってもよい。相対的高レベルの品質の画像の第１の表現２０６は、この実施例では、第１の装置２０２内の符号化器に対する入力として提供されるデータであるため、以下「入力データ」と呼ばれる。第１の装置２０２は、入力データ２０６を受信し得る。例えば、第１の装置２０２は、入力データ２０６を少なくとも１つの他の装置から受信し得る。第１の装置２０２は、入力データ２０６の連続部分、例えば、ビデオの連続フレームを受信し、各連続フレームに対して本明細書で説明される動作を実行するように構成され得る。例えば、ビデオは、フレームＦ_１、Ｆ_２、．．．Ｆ_Ｔを含んでもよく、第１の装置２０２は、これらのそれぞれを順番に処理し得る。

第１の装置２０２は、入力データ２０６に基づいてデータ２１２を導出する。この実施例では、入力データ２０６に基づくデータ２１２は、相対的低レベルの品質の画像の表現２１２である。この実施例では、データ２１２は、入力データ２０６に対してダウンサンプリング動作を実行することによって導出され、したがって、以下「ダウンサンプリングデータ」と呼ばれる。他の実施例では、データ２１２は、入力データ２０６に対してダウンサンプリング動作以外の動作を実行することによって導出される。

この実施例では、ダウンサンプリングデータ２１２は、相対的低レベルの品質で処理済みデータ２１３を生成するように処理される。他の実施例では、ダウンサンプリングデータ２１２は、相対的低レベルの品質で処理されない。したがって、第１の装置２０２は、相対的低レベルの品質でデータを生成してもよく、その場合、相対的低レベルの品質のデータが、ダウンサンプリングデータ２１２または処理済みデータ２１３を含む。

いくつかの実施例では、処理済みデータ２１３を生成することは、ダウンサンプリングデータ２１２を符号化することを伴う。ダウンサンプリングデータ２１２を符号化することによって、相対的低レベルの品質の符号化画像が作成される。第１の装置２０２は、例えば第２の装置２０４へ送信するために、符号化画像を出力し得る。第２の装置２０４への送信用の出力として、例えば符号化ビデオを形成する一連の符号化画像は、「ベース」ストリームと呼ばれ得る。第１の装置２０２において作成される代わりに、符号化画像は、第１の装置２０２とは別個の符号化デバイスによって作成され得る。符号化画像は、Ｈ．２６４符号化ビデオの一部であってもよい。処理済みデータ２１３を生成することは、例えば、Ｈ．２６４ビデオ符号化器などの別個の符号化デバイスによる出力としてビデオの連続フレームを生成することを含み得る。処理済みデータ２１３の生成のためのデータの中間セットは、別個の符号化デバイスによって生成される任意の中間データとは対照的に、そのような符号化器の出力を含み得る。

相対的低レベルの品質の処理済みデータ２１３を生成することは、相対的低レベルの品質で符号化画像を復号することをさらに伴い得る。復号動作は、以下で明らかとなるように、第２の装置２０４における復号動作をエミュレートするために実行され得る。符号化画像を復号することによって、相対的低レベルの品質の復号画像が作成される。いくつかの実施例において、第１の装置２０２は、相対的低レベルの品質で符号化画像を復号して、相対的低レベルの品質の復号画像を作成する。他の実施例では、第１の装置２０２は、相対的低レベルの品質の復号画像を、例えば、第１の装置２０２とは別個の符号化デバイス及び／または復号デバイスから受信する。符号化画像は、Ｈ．２６４復号器を用いて復号され得る。別個の復号デバイスによって復号することは、リモート復号デバイスへの送信用に構成された符号化データストリームなどの符号化ビデオを、第１の装置２０２と共に実施される別個のブラックボックス復号器に入力して、ビデオの連続復号フレームを生成することを含み得る。処理済みデータ２１３は、したがって、複雑な非線形符号化及び復号プロセスによって生成されるビデオデータのフレームを含み得る。その場合、符号化及び復号プロセスは、Ｈ．２６４などの特定の符号化規格により、時空間補正をモデリングすることを伴い得る。しかしながら、任意の符号化器の出力が、対応する復号器に供給されるため、この複雑性は、第１の装置２０２から効果的に隠されている。

実施例では、相対的低レベルの品質で処理済みデータ２１３を生成することは、例えば、ダウンサンプリングデータ２１２と復号画像との差に基づいて、ダウンサンプリングデータ２１２と第１の装置２０２によって取得された復号画像との比較に基づく補正データを取得することをさらに伴う。補正データは、ダウンサンプリングデータ２１２を符号化及び復号する際にもたらされるエラーを補正するために使用され得る。いくつかの実施例では、第１の装置２０２は、例えば第２の装置２０４への送信用に、符号化信号と同様に、補正データを出力する。これによって、受信者が、ダウンサンプリングデータ２１２を符号化及び復号する際にもたらされるエラーを補正することが可能となる。この補正データは、「第１の拡張」ストリームとも呼ばれ得る。補正データが、ダウンサンプリングデータ２１２と復号画像との差に基づき得るとき、それは、（例えば、以下で後述される残留データの他のセットとは異なる）残留データの形式と見られ得る。

いくつかの実施例では、相対的低レベルの品質の処理済みデータ２１３を生成することは、補正データを用いて復号画像を補正することをさらに伴う。例えば、送信用の出力としての補正データは、復号画像との組み合わせに適した形式に入れられ、次いで、復号画像に追加され得る。これは、フレーム単位で実行され得る。他の実施例では、補正データを用いて復号画像を補正するのではなく、第１の装置２０２は、ダウンサンプリングデータ２１２を使用する。例えば、ある場合には、単に符号化され次いで復号されたデータが用いられてもよく、他の場合には、符号化及び復号することが他の処理で置換されてもよい。

いくつかの実施例では、処理済みデータ２１３を生成することは、符号化すること、復号すること、取得すること、及び上述した動作を補正すること以外の１つまたは複数の動作を実行することを伴う。

第１の装置２０２は、相対的低レベルの品質のデータに基づいてデータ２１４を取得する。上記で示されたように、相対的低レベルの品質のデータは、処理済みデータ２１３、またはダウンサンプリングデータ２１２がより低レベルで処理されない場合のダウンサンプリングデータ２１２を含み得る。上述の通り、ある場合に、処理済みデータ２１３は、補正データを用いて補正される、（例えば符号化－復号動作から）再構築されたビデオストリームを含み得る。図２Ａ及び図２Ｂの実施例において、データ２１４は、相対的高レベルの品質の画像の第２の表現であり、相対的高レベルの品質の画像の第１の表現が、入力データ２０６である。相対的高レベルの品質の第２の表現が、相対的高レベルの品質の画像の予備的表現または予測される表現であると考えられ得る。この実施例では、第１の装置２０２は、相対的低レベルの品質のデータに対してアップサンプリング動作を実行することによって、データ２１４を導出する。データ２１４は、以下「アップサンプリングデータ」と呼ばれる。しかしながら、他の実施例では、例えば、入力データ２０６をダウンサンプリングすることによってデータ２１２が導出されない場合に、１つまたは複数の他の動作が、データ２１４を導出するために使用され得る。相対的高レベル及び相対的低レベルの品質に対する言及は、第２のレベルの品質が第１のレベルの品質より高い場合に、第１のレベル及び第２のレベルの品質に対する言及に対応し得ることに留意すべきである。本明細書で説明されるように、ある場合において、品質のレベルは、異なる空間解像度に対応し得る。

入力データ２０６及びアップサンプリングデータ２１４は、残留データ２１６を取得するために使用される。残留データ２１６は、画像に関連付けられている。残留データ２１６は、残留要素のセットの形式であってもよい。残留要素２１６のセット内の残留要素は、入力データ２０６内のそれぞれの画像要素に関連付けられてもよい。画像要素の一例は、画素である。

この実施例では、所与の残留要素は、アップサンプリングデータ２１４内の画像要素の値を入力データ２０６内の対応する画像要素の値から減算することによって取得される。このようにして、残留データ２１６は、入力データ２０６を再構築するためにアップサンプリングデータ２１４と組み合わせて使用可能である。残留データ２１６は、また、「再構築データ」または「拡張データ」とも呼ばれ得る。ある場合において、残留データ２１６は、「第２の拡張」ストリームの一部を形成し得る。

第１の装置２０２は、残留データ２１６の処理に関する構成データを取得する。構成データは、残留データ２１６が第１の装置２０２によってどのように処理されているか、及び／または生成されているか、及び／または残留データ２１６が第２の装置２０４によってどのように処理されるべきかを示す。構成データは、構成パラメータのセットを含み得る。構成データは、第２の装置２０４が、どのようにデータを処理し、及び／または残留データ２１６を用いて入力データ２０６を再構築するかを制御するために使用可能であってもよい。構成データは、残留データ２１６の１つまたは複数の特性に関連し得る。異なる構成データは、残留データ２１６に対して異なる処理が実行されること、及び／または残留データ２１６を使用することをもたらし得る。したがって、構成データは、残留データ２１６を用いて入力データ２０６を再構築するために使用可能である。

この実施例では、第１の装置２０２は、ダウンサンプリングデータ２１２に基づくデータ、残留データ２１６に基づくデータ、及び構成データを第２の装置２０４に送信して、第２の装置２０４が入力データ２０６を再構築することを可能にする。

ここで、図２Ｂを参照すると、第２の装置２０４が、ダウンサンプリングデータ２１２に基づく（例えば、ダウンサンプリングデータ２１２から導出される）データ２２０を受信する。第２の装置２０４もまた、残留データ２１６に基づくデータを受信する。例えば、第２の装置２０４は、「ベース」ストリーム（データ２２０）、「第１の拡張ストリーム」（任意の補正データ）、及び「第２の拡張ストリーム」（残留データ２１６）を受信し得る。第２の装置２０４もまた、残留データ２１６の処理に関する構成データを受信する。ダウンサンプリングデータ２１２に基づくデータ２２０は、ダウンサンプリングデータ２１２自体、処理済みデータ２１３、またはダウンサンプリングデータ２１２もしくは処理済みデータ２１３から導出されるデータであってもよい。残留データ２１６に基づくデータは、残留データ２１６自体、または残留データ２１６から導出されるデータであってもよい。

いくつかの実施例では、受信したデータ２２０は、処理済みデータ２１３を含み、処理済みデータ２１３は、相対的低レベルの品質の符号化画像及び／または補正データを含み得る。いくつかの実施例では、例えば、第１の装置２０２がダウンサンプリングデータ２１２を処理して処理済みデータ２１３を生成している場合に、第２の装置２０４は、受信したデータ２２０を処理して処理済みデータ２２２を生成する。第２の装置２０４によるそのような処理は、（例えば、「ベース」符号化ビデオストリームの一部を形成する）符号化画像を復号して、相対的低レベルの品質の復号画像を作成することを含み得る。いくつかの実施例では、第２の装置２０４による処理は、取得した補正データを用いて復号画像を補正することを含む。したがって、処理済みデータ２２２は、第１のレベルまたは相対的低レベルの品質の補正されたデータのフレームを含み得る。いくつかの実施例では、相対的低レベルの品質の符号化画像は、第２の装置２０４とは別個の復号デバイスによって復号される。相対的低レベルの品質の符号化画像は、Ｈ．２６４復号器を用いて復号され得る。

他の実施例では、受信したデータ２２０は、ダウンサンプリングデータ２１２を含み、処理済みデータ２１３を含まない。いくつかのそのような実施例では、第２の装置２０４は、処理済みデータ２２２を生成するために、受信したデータ２２０を処理しない。

第２の装置２０４は、相対的低レベルの品質のデータを用いて、アップサンプリングデータ２１４を導出する。上記で示されたように、相対的低レベルの品質のデータは、処理済みデータ２２２、または第２の装置２０４が受信したデータ２２０を相対的低レベルの品質で処理しない場合の受信データ２２０を含み得る。アップサンプリングデータ２１４は、相対的高レベルの品質の画像の予備的表現である。アップサンプリングデータ２１４は、相対的低レベルの品質のデータに対してアップサンプリング動作を実行することによって導出され得る。

第２の装置２０４は、残留データ２１６を取得する。残留データ２１６は、入力データ２０６を再構築するためにアップサンプリングデータ２１４とともに使用可能である。残留データ２１６は、入力データ２０６とアップサンプリングデータ２１４との間の比較を示す。

第２の装置２０４もまた、残留データ２１６の処理に関する構成データを取得する。構成データは、入力データ２０６を再構築するために第２の装置２０４によって使用可能である。例えば、構成データは、残留データ２１６がどのように使用されるべきか、及び／または処理されるべきか、または残留データ２１６が少しでも使用されるべきかどうかに影響を及ぼす、残留データ２１６に関する特性またはプロパティを示し得る。いくつかの実施例では、構成データは、残留データ２１６を含む。

そのような構成データの使用に関するいくつかの考慮事項が存在する。そのような考慮事項の１つは、生成され、記憶され、送信され、及び／または処理される情報の量である。使用される情報が多いほど、そのような情報をハンドリングすることに関与し得るリソースの量が多くなる。そのようなリソースの実施例は、伝送リソース、記憶リソース、及び処理リソースを含む。いくつかの既知の技術と比較して、本明細書で説明される実施例は、相対的に少ない量の情報が使用されることを可能にする。これによって、データ通信ネットワーク１０６を介して送信されるデータ量が減少され得る。節約は、データが高品質ビデオデータに関する場合に特に関係があり得る。この場合、既知のシステムにおいて送信される情報量が特に多いことがある。

そのような構成データの使用に関する別の考慮事項は、異なる種類の復号デバイスに適合される能力である。例えば、所与の符号化器は、処理及び／または記憶ケイパビリティなどの、異なる特性をそれぞれが有する複数の復号器に情報を送信し得る。画像再構築における構成データの使用は、再構築を実行するために使用される復号器デバイスの種類及び／またはケイパビリティに非依存であることが望ましい。いくつかの既知の技術と比較して、本明細書で説明される実施例は、異なる動作特性を有する異なる種類の復号器が構成データを確実に処理することを可能にする。

そのような構成データの使用に関するさらなる考慮事項は、構成データを処理するために復号器において関与する処理の量及び／または複雑性である。いくつかの既知の技術と比較して、本明細書で説明される実施例は、構成データを取得するため及び／または処理するために復号器によって実行される処理の量を減少させる。

エラーハンドリングもまた、考慮事項である。例えば、構成データの処理における潜在的エラーをハンドリングするための復号器の能力は、復号器の信頼性の要因であり得る。いくつかの既知の技術と比較して、本明細書で説明される実施例は、復号器が、潜在的エラーと同様に、予期しない、または認識されないデータの受信をハンドリングすることを可能にする。これによって、復号器の信頼性が効果的に向上し得る。

図３を参照すると、構成メッセージ３００の実施例が概略的に示されている。装置、例えば符号化器１０８を含む第１の装置１０２は、構成メッセージ３００を生成し、さらなる装置、例えば復号器１１０を含む第２の装置１０４による処理のために構成メッセージ３００を出力する。

構成メッセージ３００は、ヘッダ部３１０及びペイロード部３２０を含む。ペイロード部３２０は、構成データ３５０を含む。構成データ３５０は、残留データ、例えば上述のような残留データ２１６の処理に関する。いくつかの実施例では、構成メッセージ３００は、整数バイト長である。

ヘッダ部３１０は、メッセージタイプパラメータ３１２を含む。メッセージタイプパラメータ３１２は、構成メッセージ３００のメッセージタイプを指定する。メッセージタイプパラメータ３１２によって指定されるメッセージタイプは、構成メッセージ３００がどのように処理されるべきかを示し得る。例としてのメッセージタイプは、画像セット構成メッセージである。画像セット構成メッセージは、画像のセット内の複数の画像に対応し得る。別の例としてのメッセージタイプは、画像構成メッセージである。画像構成メッセージは、画像のセット内の所与の画像のみに対応し得る。別の例としてのメッセージタイプは、符号化データメッセージである。符号化データメッセージは、所与の画像についての符号化残留データを含むように構成され得る。別の例としてのメッセージタイプは、符号化器メタデータメッセージである。符号化器メタデータメッセージは、１つまたは複数の符号化器特性に関するメタデータを含み得る。別の例としてのメッセージタイプは、復号器制御メッセージである。復号器制御メッセージは、復号器を制御するための命令を含み得る。

メッセージタイプパラメータ３１２は、所与のペイロードフォーマットを有するペイロード部３２０を示す。ペイロード部３２０のペイロードフォーマットは、構成メッセージ３００のメッセージタイプに基づいて判断され得る。ペイロードフォーマットは、ペイロード部３２０に含まれる構成データ３５０の構成パラメータのセットを定義し得る。いくつかの実施例では、ペイロード部３２０のペイロードフォーマットは、ペイロード部３２０のコンテンツがどのように処理されるべきかを指定する特定の処理ロジックを定義する。ペイロード部３２０は、フォーマットサイズを有する。ペイロード部３２０のフォーマットサイズは、ペイロード部３２０のペイロードフォーマットに対応する。所与のペイロードフォーマットを有するペイロード部のフォーマットサイズは、ペイロード部のコンテンツから事前判断されるか、または判断され得る。例えば、フォーマットサイズは、ペイロードフォーマットによって定義される個々の構成パラメータの結合されたサイズに基づいて判断され得る。フォーマットサイズは、ペイロード部３２０の可能なサイズまたは提案されたサイズであるように考えられ得る。

ヘッダ部３１０はまた、ペイロードサイズパラメータ３１４を含む。ペイロードサイズパラメータ３１４は、ペイロード部３２０の実サイズを指定する。ペイロード部３２０の実サイズは、整数バイトであり得る。

いくつかの実施例では、ペイロードサイズパラメータ３１４の値は、固定長要素に記憶される。ペイロードサイズパラメータ３１４の値を記憶する固定長要素は、ヘッダ部３１０の所与のバイトに所定の数のビットを含み得る。例えば、ペイロードサイズパラメータ３１４の値は、１バイトのヘッダ部内の３ビットを含む固定長要素に記憶され得る。

いくつかの実施例では、ペイロードサイズパラメータ３１４は、ペイロード部３２０の実サイズの可能な値を記憶するペイロードサイズルックアップテーブルに対する参照を含む。例えば、ペイロードサイズパラメータ３１４は、ペイロードサイズルックアップテーブルからペイロード部３２０の実サイズを取得するために使用可能である値を含み得る。

いくつかの実施例では、ペイロードサイズパラメータ３１４の値は、可変長要素に記憶される。これは、例えば、ペイロード部３１０の実サイズが、ペイロードサイズルックアップテーブルに指定される値のうちの１つではない場合であってもよい。ペイロードサイズパラメータ３１４によって指定されるペイロード部３１０の実サイズは、可変ビット長を有し得る。可変長要素は、整数バイトを含む。いくつかの実施例では、可変長要素の少なくとも１バイトは、可変長要素が少なくとも１つの所与のバイトに対する１つまたは複数の追加バイトを含むか否かを示すように構成される、１つまたは複数の所定のビットを有する。例えば、所与のバイトの可変長要素は、ペイロードサイズパラメータ３１４を記憶するように構成される７ビットと、可変長要素内の所与のバイトに続くさらなるバイトがあるか否かを示すために使用される１ビットと、を含み得る。したがって、ペイロードサイズパラメータ３１４は、ペイロードサイズパラメータ３１４のビット長に関わらず、可変長要素を用いて表され得る。可変長要素は、ペイロードサイズパラメータ３１４の値を記憶するために使用可能な最小数のバイトを含む。

いくつかの実施例では、ペイロードサイズパラメータ３１４の値が可変長要素に記憶されることを示すデータが、固定長要素に記憶される。例えば、ペイロードサイズパラメータ３１４の値が、値の所定のセットのうちの１つであると判断される場合、値は、固定長要素に記憶されてもよく、及び／または固定長要素が、ペイロードサイズルックアップテーブルへの参照を含んでもよい。一方、ペイロードサイズパラメータ３１４の値が、値の所定のセットのうちの１つではないと判断される場合、可変長要素が、値を記憶するために使用されてもよく、固定長要素は、例えば、固定長要素に含まれるフラグを介して、可変長要素が値を記憶するために使用されていることを示すように構成され得る。

この実施例では、ヘッダ部３１０は、メッセージタイプパラメータ３１２及びペイロードサイズパラメータ３１４のみを含む。他の実施例では、ヘッダ部３１０は、１つまたは複数のさらなるパラメータを含む。いくつかの実施例では、ヘッダ部３１０は、１バイト長である。例えば、メッセージタイプパラメータ３１２は、５ビットで表されてもよく、ペイロードサイズパラメータ３１４は、１バイトのヘッダ部３１０の残りの３ビットによって表されてもよい。他の実施例では、例えば可変長要素がペイロード部３２０の実サイズを表すために使用される場合、ヘッダ部３１０は、１より多くのバイトを含む。

ペイロード部３２０の実サイズは、ペイロード部３２０のフォーマットサイズと同一であってもよく、または異なってもよい。実サイズとフォーマットサイズとが同一であるか否かに関わらず、実サイズを指定するペイロードサイズパラメータ３１４は、構成メッセージ３００のヘッダ部３１０に含まれる。

ペイロード部３２０の可能なサイズ、いわゆるフォーマットサイズがメッセージタイプパラメータ３１２から推察され得るときに、ペイロード部３２０の実サイズを指定するペイロードサイズパラメータ３１４を含むことは、特にフォーマットサイズと実サイズとが同一であるときには、非効率的であること、及び／または情報の二重化であることが明らかであり得る。構成メッセージ３００にペイロードサイズパラメータ３１４を含むことは、そのようなパラメータが含まれない場合と比較して、構成メッセージ３００に使用されるデータの量がより大きいことを伴う。しかしながら、構成メッセージ３００にペイロードサイズパラメータ３１４を含むことは、以下でより詳細に説明されるように、そのようなパラメータが使用されない場合と比較して、より効率的かつ信頼性の高い復号器１１０の処理、及び／または改善されたエラーハンドリングを容易にする。

図４を参照すると、構成データを処理する方法４００の実施例が示されている。方法４００は、上述の第２の装置１０４などの復号器を含む装置によって実行され得る。

いくつかの実施例では、残留データが受信される。この実施例では、受信した残留データは、上述の残留データ２１６である。残留データ２１６は、符号化器１０８などの符号化器から受信され得る。残留データ２１６は、段階的階層内の相対的高レベルの品質の画像の第１の表現２０６を、相対的高レベルの品質の画像の第２の表現２１４を用いて再構築するために使用可能である。第２の表現２１４は、段階的階層内の相対的低レベルの品質の画像の表現２２２に基づく。いくつかの実施例では、相対的低レベルの品質の表現２２２を導出するために使用可能なデータが、符号化器１０８から受信される。

アイテム４１０において、構成メッセージが受信される。この実施例では、受信した構成メッセージは、上述の構成メッセージ３００である。構成メッセージ３００は、符号化器１０８から受信され得る。

アイテム４２０において、受信した構成メッセージ３００は、メッセージタイプパラメータ３１２及びペイロードサイズパラメータ３１４を用いて処理される。構成メッセージ３００は、構成メッセージ３００のペイロード部３２０に記憶された構成データ３５０を取得するために処理される。

いくつかの実施例では、構成メッセージ３００を処理することは、構成メッセージ３００のヘッダ部３１０を構文解析して、メッセージタイプパラメータ３１２及びペイロードサイズパラメータ３１２を取得することを含む。ペイロードサイズパラメータ３１４に基づいて、ペイロード部３２０の実サイズが判断される。メッセージタイプパラメータ３１２に基づいて、構成メッセージ３００のメッセージタイプが判断される。構成メッセージ３００は、判断されたメッセージタイプ及び判断されたペイロード部３２０の実サイズに従って処理され得る。

構成メッセージ３００を処理することは、ペイロード部３２０を構文解析して構成データ３５０を取得することを含み得る。いくつかの実施例では、構成メッセージ３００を処理することは、ペイロード部３２０が構文解析されるときに読まれている構成メッセージ３００のバイト数を追跡することを含む。ペイロード部３２０を構文解析するときに読まれたバイト数と、ペイロードサイズパラメータ３１４によって指定されるペイロード部３２０の実サイズとの間で判断される不一致がある場合に、復号器１１０は、読み取り不足の発生を検出し得る。読み取り不足は、構成メッセージを処理する際の潜在的なエラー源であり得る。

いくつかの実施例では、ペイロードサイズパラメータ３１４は、次の構成メッセージの先頭を判断するために使用される。次の構成メッセージは、復号器１１０によって受信される構成メッセージのシーケンスにおける構成メッセージ３００の次の連続する構成メッセージであってもよい。構成メッセージのシーケンスは、構成データの一部を形成し得る。構成メッセージ３００及び次の構成メッセージは、同一画像または異なる画像に対応し得る。例えば、構成メッセージ３００は、画像シーケンス内の第１の画像に対応してもよく、次の構成メッセージは、画像シーケンス内の異なる第２の画像に対応してもよい。

いくつかの実施例では、構成メッセージ３００を処理することは、ペイロード部３２０のコンテンツの少なくとも一部を破棄することを含む。ペイロード部３２０のコンテンツの少なくとも一部が、ペイロードサイズパラメータ３１４を用いて破棄され得る。例えば、復号器１１０は、次の構成メッセージまでスキップしてもよく、ペイロード部３２０のコンテンツの少なくとも一部を処理することなく、次の構成メッセージの先頭がペイロードサイズパラメータ３１４を用いて判断されている。

したがって、ペイロードサイズパラメータ３１４を用いることによって、復号器１１０は、起こり得る読み取り不足を効率的な方式でハンドリングすることが可能となる。ペイロードサイズパラメータ３１４を用いて次のメッセージの先頭位置を特定することによって、復号器１１０は、複数の構成メッセージを含むバイトストリームとの正しいアライメントまたは同期を維持することも可能となる。例えば、所与の構成メッセージのコンテンツ及び／またはフォーマットが認識されず、予期されず、及び／または、復号器１１０の知識なしに更新されている場合であっても、復号器１１０は、依然として、次の構成メッセージの先頭位置を特定し、それによってバイトストリームとの同期を維持することが可能である。さらに、バイトストリームが異常になっている場合、復号器１１０は、読み取り過剰が発生しそうであるときを検出し、それに応じて応答することが可能である。例えば、復号器１１０は、現在の構成メッセージの処理を中断し、次の構成メッセージの判断された先頭位置にバイトストリームをリセットしてもよい。したがって、ペイロードサイズパラメータ３１４を用いて構成メッセージ３００を処理することは、復号器１１０が、修正済みの、及び／または認識されていない及び／または予期しない構成メッセージをハンドリングすることが可能であるという点において、そのようなパラメータが使用されない場合と比較して復号器１１０の信頼性及び／または適合性を改善する。復号器１１０は、また、バイトストリームとの同期を失うことなく、潜在的な読み取り不足及び読み取り過剰をハンドリングすることができ、それによって、潜在エラーをハンドリングする復号器１１０の能力を改善する。

いくつかの実施例では、構成メッセージ３００を処理することは、ペイロード部３２０の第１のコンテンツを構文解析することを含む。第１のコンテンツは、ペイロード部３２０のフォーマットサイズに対応する。第１のコンテンツは、構成データ３５０を含み得る。第１のコンテンツは、構成パラメータの第１のセットを含み得る。構成メッセージ３００を処理することは、ペイロードサイズパラメータ３１４を用いてペイロード部３２０の残りのコンテンツを破棄することをさらに含み得る。ペイロード部３２０の残りのコンテンツは、第１のコンテンツに含まれないペイロード部３２０のコンテンツを含む。残りのコンテンツは、さらなる構成データを含む。残りのコンテンツは、構成パラメータのさらなるセットを含み得る。残りのコンテンツの存在は、ペイロード部３２０のフォーマットサイズと実サイズとの間の不一致を検出することによって判断され得る。言い換えると、実サイズがフォーマットサイズより大きいと判断される場合、フォーマットサイズに基づいて予期されるコンテンツの他に、追加コンテンツがペイロード部３２０内に存在すると判断される。

アイテム４３０において、第１の表現２０６は、取得した構成データ３５０を用いて再構築される。第１の表現２０６は、取得した構成データ３５０に従って残留データ２１６を用いることにより再構築され得る。

図５を参照すると、構成メッセージ５００の実施例が概略的に示されている。装置、例えば符号化器１０８を含む第１の装置１０２は、構成メッセージ５００を生成し、さらなる装置、例えば復号器１１０を含む第２の装置１０４による処理のために構成メッセージ５００を出力し得る。図５に示されるいくつかのアイテムは、図３に示されるアイテムに類似である。したがって、２００ずつ増分された対応する参照符号が、類似のアイテムに使用されている。

構成メッセージ５００は、ヘッダ部５１０及びペイロード部５２０を含む。ヘッダ部５１０は、メッセージタイプパラメータ５１２を含む。メッセージタイプパラメータ５１２は、構成メッセージ５００のメッセージタイプを指定する。メッセージタイプは、構成メッセージ５００がどのように処理されるべきかを示す。ヘッダ部５１０は、また、ペイロードサイズパラメータ５１４を含む。ペイロードサイズパラメータ５１４は、ペイロード部５２０の実サイズを指定する。

この実施例では、ペイロード部５２０は、第１のペイロード部５２２を含む。第１のペイロード部５２２は、残留データ２１６の処理に関する第１の構成データ５５２を含む。ペイロード部５２０は、また、第２のペイロード部５２４を含む。この実施例では、第２のペイロード部５２４は、ペイロード部５２０において第１のペイロード部５２２の後に続いて配列されている。第１のペイロード部５２２の後に続いて第２のペイロード部５２４を配列することによって、第２のペイロード部５２４が受信され、処理され、及び／または構文解析される前に、第１のペイロード部５２２が、復号器１１０によって受信され、処理され、及び／または構文解析されることが可能となり得る。第２のペイロード部５２４は、残留データ２１６の処理に関する第２の構成データ５５４を含む。

第１のペイロード部５２２及び第２のペイロード部５２４は、共に構成メッセージ５００のペイロード部５２０を形成する。したがって、ペイロードサイズパラメータ５１４は、第１のペイロード部５２２及び第２のペイロード部５２４の合計サイズを示す。

いくつかの実施例では、第１のペイロード部５２２は、第１の構成データ５５２の全てを含む。いくつかの実施例では、第２のペイロード部５２４は、第２の構成データ５５４の全てを含む。したがって、第１の構成データ５５２及び第２の構成データ５５４は、構成メッセージ５００のペイロード部５２０の別個の部分に記憶され得る。第２の構成データ５５４に対してペイロード部５２０の別個の部分に第１の構成データ５５２を記憶することは、特に、第１の構成データ５５２及び第２の構成データ５５４のうちの１つを使用及び／または処理しないように構成される復号器について、復号器によるペイロード部５２０のコンテンツの効率的なハンドリングを容易にする。

いくつかの実施例では、ヘッダ部５１０は、第１のペイロード部５５２のサイズ及び／または第２のペイロード部５２４のサイズを指定しない。いくつかの実施例では、第１のペイロード部５２２のサイズは、メッセージタイプパラメータ５１２によって示されるフォーマットサイズに基づいて判断され得る。したがって、メッセージタイプパラメータ５１２によって示されるフォーマットサイズは、第２のペイロード部５２４のコンテンツを除く第１のペイロード部５２２のコンテンツを反映し得る。

第１の構成データ５５２及び第２の構成データ５５４のうちの１つまたは両方が、残留データ２１６を用いて入力データ２０６を再構築するために使用可能であってもよい。いくつかの実施例では、第２の構成データ５５４は、補助構成データを含む。補助構成データは、第１の構成データ５５２を補助するように構成される。

第１の構成データ５５２は、１つまたは複数の復号器の第１のセットに関する。１つまたは複数の復号器の第１のセットは、第１の動作特性を有する。動作特性の実施例は、処理ケイパビリティである。第２の構成データ５５４は、１つまたは複数の復号器の第２のセットに関する。１つまたは複数の復号器の第２のセットは、第２の動作特性を有する。構成メッセージ５００が送信される復号器１１０は、第１のセットまたは第２のセットに含まれ得る。構成メッセージ５００を生成する符号化器１０８は、復号器１１０がどの復号器のセットに含まれるかを認識していなくてもよい。符号化器１０８は、構成メッセージ５００を復号器の両方のセットにわたる複数の復号器に送信し得る。

いくつかの実施例では、第１の動作特性が、１つまたは複数の復号器の第１のセットがそれに従って動作するように構成される第１のバージョンに対応し、第２の動作特性が、１つまたは複数の復号器の第２のセットがそれに従って動作するように構成される、異なる第２のバージョンに対応する。第２のバージョンは、第１のバージョンに対して後のバージョンであってもよい。第１のバージョン及び第２のバージョンは、構成メッセージがどのように処理されるべきかを定義し、及び／またはそのような構成メッセージのコンテンツを定義する、構文フレームワークの異なるバージョンであってもよい。したがって、構文が第１のバージョンから第２のバージョンへ更新されるとき、第２の構成データ５５４は、第１のバージョンから第１の構成データ５５２を含む構成メッセージに追加される。第２の構成データ５５４は、例えば、第１の構成データ５５２に付加され得る。

第２の構成データ５５４を収容する新たなメッセージタイプを生成する代わりに、第２の構成データ５５４を既存のメッセージタイプの構成メッセージに追加することによって、新たなメッセージタイプが生成される場合と比較して、記憶され、送信され、及び／または処理されるデータ量が減少される。新たなメッセージタイプを定義する代わりに、既存のメッセージタイプの構成を修正することによって、全ての関連する構成データを伝達するために使用される構成メッセージの合計数が減少され得る。各構成メッセージは、例えば、少なくとも１バイト長であり得る対応ヘッダを有する。したがって、構成メッセージの合計数を減少させることによって、記憶され、送信され、及び／または処理されるデータの量が、減少され得る。

いくつかの実施例では、復号器１１０は、第１のペイロード部５２２及び第２のペイロード部５２４の両方を処理することができない。ある場合において、符号化器１０８は、第２の構成データ５５４がそれに従って構成メッセージ５００に含まれる更新を経ている場合があるが、復号器１１０は、そのような更新を経ていないことがある。言い換えると、符号化器１０８及び復号器１１０は、異なるバージョンの構文に従って動作することがある。そのような実施例では、符号化器１０８によって解釈されるペイロード部５２０のフォーマットサイズと、復号器１１０によって解釈されるペイロード部５２０のフォーマットサイズとに不一致が存在し得る。例えば、復号器１１０が、追加コンテンツ及び更新済みペイロードフォーマットを認識しておらず、前のバージョンに従って動作しているため、ペイロード部５２０の追加コンテンツ及びバージョン更新後の更新済みペイロードフォーマットを認識している符号化器１０８によるフォーマットサイズは、復号器１１０によるフォーマットサイズとは異なる。符号化器１０８については、フォーマットサイズは、更新済みペイロード部５２０の実サイズに等しいが、復号器１１０についてはそうではない。したがって、フォーマットサイズのみが、ペイロード部５２０の実サイズの信頼性のない標識であり得る。したがって、ペイロード部５２０の実サイズを指定するペイロードサイズパラメータ５１４を含むことは、以下でより詳細に説明されるように、復号器１１０のより信頼性の高い処理を容易にする。

図６を参照すると、構成データを処理する方法６００の実施例が示されている。方法６００は、上述の第２の装置１０４などの復号器を含む装置によって実行され得る。

アイテム６１０において、構成メッセージ５００が受信される。

アイテム６２０において、構成メッセージ５００は、第１の構成データ５５２及び第２の構成データ５５４のうちの１つまたは両方を取得するために処理される。

いくつかの実施例では、例えば復号器１１０が復号器の第１のセット内にある場合、第１のペイロード部５２２は、復号器１１０によって構文解析され、第２のペイロード部５２４は、復号器１１０によって構文解析されない。第２のペイロード部５２４を除く第１のペイロード部５２２を構文解析することによって、復号器１１０が、第２の構成データ５５４を除く第１の構成データ５５２を取得することが可能となる。いくつかの実施例では、例えば復号器１１０が復号器の第２のセット内にある場合、第２のペイロード部５２４は、復号器１１０によって構文解析され、第１のペイロード部５２２は、復号器１１０によって構文解析されない。第１のペイロード部５２２を除く第２のペイロード部５２４を構文解析することによって、復号器１１０が、第１の構成データ５５２を除く第２の構成データ５５４を取得することが可能となる。いくつかの実施例では、例えば復号器１１０が復号器の第２のセット内にある場合、第１のペイロード部５２２及び第２のペイロード部５２４の両方が、第１の構成データ５５２及び第２の構成データ５５４の両方を取得するために構文解析される。

ペイロードサイズパラメータ５１４は、次の構成メッセージの先頭を判断するために使用され得る。いくつかの実施例では、例えば復号器１１０が復号器の第１のセット内にある場合、第２のペイロード部５２４のコンテンツが破棄される。第２のペイロード部５２４のコンテンツは、第２の構成データ５５４を含む。第２のペイロード部５２４のコンテンツは、ペイロードサイズパラメータ５１４に指定されるペイロード部５２０の合計サイズを用いることによって破棄され得る。例えば、復号器１１０は、第１のペイロード部５２２のコンテンツを読み出し、次いで、次の構成メッセージまで前方へスキップし得る。次の構成メッセージの先頭は、第２のペイロード部５２４のコンテンツを読み出さなくても、ペイロードサイズパラメータ５１４を用いて位置特定されている。

ペイロードサイズパラメータ５１４を用いて次のメッセージの先頭位置を特定することによって、復号器１１０は、複数の構成メッセージを含むバイトストリームとの同期を維持することが可能となる。したがって、復号器１１０は、構成メッセージ５００を処理し、復号器１１０が復号器の第１のセットまたは復号器の第２のセットのいずれにあるかに関わらず、次の構成メッセージの先頭位置を特定し得る。

アイテム６３０において、相対的高レベルの品質の画像の第１の表現２０６が、再構築される。第１の表現２０６は、アイテム６２０において取得される第１の構成データ５５２及び第２の構成データ５５４のうちの１つまたは両方を用いて再構築される。復号器１１０が第１の構成データ５５２及び第２の構成データ５５４の両方を取得する場合に、画像の第１の表現２０６が、第１の構成データ５５２及び第２の構成データ５５４の両方を用いて再構築される。復号器１１０が、第１のペイロード部５２２及び第２のペイロード部５２４のうちの１つを第１のペイロード部５２２及び第２のペイロード部５２４のうちのそれ以外を除いて処理する場合に、画像の第１の表現２０６は、第１の構成データ５５２及び第２の構成データ５５４のうちの取得した１つを用いて再構築され得る。したがって、第１の表現２０６を再構築するための構成メッセージ５００の使用は、復号器の種類、及び／または復号器１１０がそれに従って動作するように構成されるバージョン数に非依存であり得る。

いくつかの実施例では、バイト単位処理が、構成メッセージ５００に対して実行される。バイト単位処理では、データはバイト単位で処理される。構成データをバイト単位方式で処理することは、構成データをビット単位方式で処理することよりも効率的であり得る。ビット単位処理は、所与のバイト内のどのビットが、読み出し、または書き込み対象の次のビットであるかを追跡することを伴い得る。所与のパラメータを表すビットのグループがバイト境界をまたぐとき、ビットのグループを読み出し、所与のパラメータを取得するために、追加の処理が実行され得る。バイト単位処理が実行される場合、そのような処理は減少され得る。いくつかの実施例では、ビット単位方式と比較してバイト単位方式でデータを処理するときに、実行サイクル数が減少され得る。

いくつかの実施例では、構成データがメモリに書き込まれる。構成データがビット単位でハンドリングされる場合と比較して、構成データがバイト単位でハンドリングされる場合に、より少ない処理が、構成データをメモリに記憶すること、及び／または構成データをメモリから取り出すことに関与し得る。アドレス可能なメモリの最小単位は、１バイトを含み得る。したがって、情報は、バイト単位方式でメモリに記憶され得る。したがって、構成データがバイトのシーケンスにパッケージされる場合に、より少ないステップが、構成データをメモリに記憶すること、及び／または構成データをメモリから取り出すことに関与し得る。構成データをアドレス可能なメモリ単位にパッケージするために使用されるパディングの量もまた、構成データをバイト単位形式でメモリに提供することによって減少され得る。

さらに、インターネットなどのネットワークを介した構成データの送信が、構成データがバイトのシーケンス内に配列される場合に、より効率的に実行され得る。データは、伝送制御プロトコル（ＴＣＰ）を介してインターネットを経て送信され得る。ＴＣＰは、プロトコルスタックのトランスポート層において動作する。ＴＣＰは、ストリームからデータを取得し、データをＴＣＰセグメントにパッケージし、インターネットモジュール、例えばインターネットプロトコル（ＩＰ）を使用してインターネットを介して各ＴＣＰセグメントを受信者に送信する。データストリームは、メモリから取得され得る。ＴＣＰセグメントは、整数バイトを含み得る。したがって、ＴＣＰがＴＣＰセグメントにパッケージされるべきデータをバイト単位ストリームから取得する場合、ビット単位ストリームからよりも少ない処理が関与し得る。データをＴＣＰセグメントにパッケージするために用いられるパディングの量もまた、データをバイト単位形式でＴＣＰに提供することによって減少され得る。

図７を参照すると、装置７００の実施例の概略ブロック図が示されている。

実施例では、装置７００は、符号化器を含む。別の実施例では、装置７００は、復号器を含む。

装置７００の実施例は、モバイルコンピュータ、パーソナルコンピュータシステム、無線デバイス、ベースステーション、電話デバイス、デスクトップコンピュータ、ラップトップ、ノートブック、ネットブックコンピュータ、メインフレームコンピュータシステム、手持ちコンピュータ、ワークステーション、ネットワークコンピュータ、アプリケーションサーバ、記憶デバイス、カメラ、カムコーダ、モバイルデバイス、ビデオゲームコンソール、手持ちビデオゲームデバイスなどの民生用電子デバイス、または概して任意の種類のコンピューティングデバイスもしくは電子デバイスを含むが、これらに限定されない。

この実施例では、装置７００は、情報及び／または命令を処理するように構成される１つまたは複数のプロセッサ７０１を含む。１つまたは複数のプロセッサ７０１は、中央処理装置（ＣＰＵ）を含み得る。１つまたは複数のプロセッサ７０１は、バス７０２に連結される。１つまたは複数のプロセッサ７０１によって実行される動作は、ハードウェア及び／またはソフトウェアによって実行され得る。１つまたは複数のプロセッサ７０１は、複数の同一場所のプロセッサまたは複数の異なる位置のプロセッサを含み得る。

この実施例では、装置７００は、１つまたは複数のプロセッサ７０１のための情報及び／または命令を記憶するように構成されるコンピュータ使用可能揮発性メモリ７０３を含む。コンピュータ使用可能揮発性メモリ７０３は、バス７０２に連結される。コンピュータ使用可能揮発性メモリ７０３は、ランダムアクセスメモリ（ＲＡＭ）を含み得る。

この実施例では、装置７００は、１つまたは複数のプロセッサ７０１のための情報及び／または命令を記憶するように構成されるコンピュータ使用可能不揮発性メモリ７０４を含む。コンピュータ使用可能不揮発性メモリ７０４は、バス７０２に連結される。コンピュータ使用可能不揮発性メモリ７０４は、読み出し専用メモリ（ＲＯＭ）を含み得る。

この実施例では、装置７００は、情報及び／または命令を記憶するように構成される１つまたは複数のデータ記憶ユニット７０５を含む。１つまたは複数のデータ記憶ユニット７０５は、バス７０２に連結される。１つまたは複数のデータ記憶ユニット７０５は、例えば、磁気ディスクまたは光学ディスク、及びディスクドライブまたはソリッドステートドライブ（ＳＳＤ）を含み得る。

この実施例では、装置７００は、１つまたは複数のプロセッサ７０１へ、及び／または１つまたは複数のプロセッサ７０１から情報を通信するように構成される１つまたは複数の入力／出力（Ｉ／Ｏ）デバイス７０６を含む。１つまたは複数のＩ／Ｏデバイス７０６は、バス７０２に連結される。１つまたは複数のＩ／Ｏデバイス７０６は、少なくとも１つのネットワークインタフェースを含み得る。少なくとも１つのネットワークインタフェースは、装置７００が１つまたは複数のデータ通信ネットワークを介して通信することを可能にし得る。データ通信ネットワークの実施例は、インターネット及びローカルエリアネットワーク（ＬＡＮ）を含むが、これらに限定されない。１つまたは複数のＩ／Ｏデバイス７０６は、ユーザが１つまたは複数の入力デバイス（図示せず）を介して装置７００に入力を提供することを可能にし得る。１つまたは複数の入力デバイスは、例えば、リモコン、１つまたは複数の物理ボタンなどを含み得る。１つまたは複数のＩ／Ｏデバイス７０６は、情報が１つまたは複数の出力デバイス（図示せず）を介してユーザに提供されることを可能にし得る。１つまたは複数の出力デバイスは、例えば、ディスプレイスクリーンを含み得る。

様々な他のエンティティが、装置７００に対して示されている。例えば、存在するとき、オペレーティングシステム７０７、データ信号処理モジュール７０８、１つまたは複数のさらなるモジュール７０９、及びデータ７１０は、コンピュータ使用可能揮発性メモリ７０３、コンピュータ使用可能不揮発性メモリ７０４、及び１つまたは複数のデータ記憶ユニット７０５のうちの１つまたは組み合わせにおいて存在しているとして示されている。データ信号処理モジュール７０８は、コンピュータ使用可能不揮発性メモリ７０４内のメモリ位置、１つもしくは複数のデータ記憶ユニット７０５内のコンピュータ可読記憶媒体、及び／または他の有形コンピュータ可読記憶媒体に記憶されたコンピュータプログラムコードとして実施され得る。有形コンピュータ可読記憶媒体の実施例は、光学媒体（例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、またはＢｌｕ－ｒａｙ（登録商標））、フラッシュメモリカード、フロッピーまたはハードディスク、あるいは少なくとも１つのＲＯＭもしくはＲＡＭもしくはプログラマブルＲＯＭ（ＰＲＯＭ）チップ内の、または特定用途向け集積回路（ＡＳＩＣ）としてのファームウェアまたはマイクロコードなどの、コンピュータ可読命令を記憶可能な任意の他の媒体を含むが、これらに限定されない。

したがって、装置７００は、１つまたは複数のプロセッサ７０１によって実行され得るデータ信号処理モジュール７０８を含み得る。データ信号処理モジュール７０８は、本明細書で説明される動作のうちの少なくともいくつかを実施するための命令を含むように構成され得る。動作中に、１つまたは複数のプロセッサ７０１は、起動し、稼働し、実行し、解釈し、または信号処理モジュール７０８内の命令を実行する。

図面を参照して本明細書で説明される実施例の少なくともいくつかの態様は、処理システムまたはプロセッサにおいて実行されるコンピュータプロセスを含むが、本明細書で説明される実施例は、また、実施例を実施するように適合されたコンピュータプログラム、例えば、搬送波上または搬送波内のコンピュータプログラムに拡大する。搬送波は、プログラムを実行可能な任意のエンティティまたはデバイスであってもよい。

装置７００は、図７に示されるものより多くの、より少ない、及び／または異なるコンポーネントを含み得ると理解されたい。

装置７００は、単一の場所に位置してもよく、または複数の場所に分散されてもよい。そのような場所は、ローカルまたはリモートであってもよい。

本明細書で説明される技術は、ソフトウェアもしくはハードウェアにおいて実施されてもよく、またはソフトウェア及びハードウェアの組み合わせを用いて実施されてもよい。それらは、本明細書で説明される技術のいずれかまたは全てを実行及び／またはサポートするための装置を構成することを含み得る。

任意の１つの実施形態に関連して説明される任意の特徴は、単独で、または説明された他の特徴と組み合わせて使用されてもよく、また、任意のそれ以外の実施形態の１つまたは複数の特徴もしくは任意のそれ以外の実施形態の任意の組み合わせと組み合わせて使用されてもよいと理解されたい。さらに、上述していない等価物及び修正物もまた、本発明の範囲から逸脱することなく利用されてもよく、本発明の範囲は、添付の特許請求の範囲において定義される。

Claims (39)

1. 構成データを処理する方法であって、
   複数レベルの品質を有する段階的階層における第１のレベルの品質の画像の第１の表現、及び前記第１のレベルの品質の前記画像の第２の表現に基づいて残留データを取得することであって、前記第２の表現が、前記段階的階層においてより低い第２のレベルの品質の前記画像の表現に基づき、前記残留データが、前記第２の表現を用いて前記第１の表現を再構築するために復号器によって使用可能である、前記取得することと、
   前記残留データの処理に関する構成データを取得することであって、前記構成データが、前記画像の前記第１の表現を再構築するために前記復号器によって使用可能である、前記取得することと、
   ヘッダ部及びペイロード部を含む構成メッセージを生成することであって、前記ペイロード部が、前記構成データを含み、前記ヘッダ部が、
   前記構成メッセージのメッセージタイプを指定し、所与のペイロードフォーマットを有するペイロード部のフォーマットサイズが前記ペイロード部のコンテンツから事前判断されるかまたは判断され得る前記所与のペイロードフォーマットを有する前記ペイロード部を示す、メッセージタイプパラメータ、及び
   前記ペイロード部の実サイズを指定するペイロードサイズパラメータ、
   を含む、前記生成することと、
   前記復号器が前記構成データを用いて前記第１の表現を再構成することを可能にするために、前記復号器による処理のための前記構成メッセージを出力することと、
   を含む、前記方法。
2. 前記フォーマットサイズと前記実サイズとが同一である、請求項１に記載の方法。
3. 前記フォーマットサイズと前記実サイズとが異なる、請求項１に記載の方法。
4. 前記メッセージタイプパラメータによって指定される前記メッセージタイプが、前記構成メッセージがどのように処理されるべきかを示す、請求項１～３のいずれかに記載の方法。
5. 前記構成メッセージが、整数バイト長である、請求項１～４のいずれかに記載の方法。
6. 前記ペイロード部の前記実サイズが、整数バイトである、請求項１～５のいずれかに記載の方法。
7. 前記ペイロードサイズパラメータの値が、固定長要素に記憶される、請求項１～６のいずれかに記載の方法。
8. 前記ペイロードサイズパラメータの前記値が、１バイトのヘッダ部内の３ビットを含む固定長要素に記憶される、請求項７に記載の方法。
9. 前記ペイロードサイズパラメータが、前記ペイロード部の前記実サイズの可能な値を記憶するペイロードサイズルックアップテーブルに対する参照を含む、請求項７または８に記載の方法。
10. 前記値が、前記ペイロードサイズルックアップテーブルから前記ペイロード部の前記実サイズを取得するために使用可能である、請求項９に記載の方法。
11. 前記ペイロードサイズパラメータの値が、可変ビット長を有し、
    前記ペイロードサイズパラメータの前記値が、整数バイトを含む可変長要素に記憶される、請求項１～６のいずれかに記載の方法。
12. 前記可変長要素が、前記可変長要素が少なくとも１つの所与のバイトに対する１つまたは複数の追加バイトを含むか否かを示すように構成される１つまたは複数の所定のビットを有する前記少なくとも１つの所与のバイトを含む、請求項１１に記載の方法。
13. 前記値が、ペイロードサイズルックアップテーブルに指定される複数の値のうちの１つではない、請求項１１または１２に記載の方法。
14. 前記ヘッダ部が、前記メッセージタイプパラメータ及び前記ペイロードサイズパラメータのみを含む、請求項１～１３のいずれかに記載の方法。
15. 構成データを処理する方法であって、
    ヘッダ部及びペイロード部を含む構成メッセージを受信することであって、前記ペイロード部が、複数レベルの品質を有する段階的階層における第１のレベルの品質の画像の第１の表現を、前記第１のレベルの品質の前記画像の第２の表現を用いて再構築するために使用可能な残留データの処理に関する構成データを含み、前記第２の表現が、前記段階的階層においてより低い第２のレベルの品質の前記画像の表現に基づき、前記ヘッダ部が、
    前記構成メッセージのメッセージタイプを指定し、所与のペイロードフォーマットを有するペイロード部のフォーマットサイズが前記ペイロード部のコンテンツから事前判断されるかまたは判断され得る前記所与のペイロードフォーマットを有する前記ペイロード部を示す、メッセージタイプパラメータ、及び
    前記ペイロード部の実サイズを指定するペイロードサイズパラメータ、
    を含む、前記受信することと、
    前記構成データを取得するために前記メッセージタイプパラメータ及び前記ペイロードサイズパラメータを用いて前記構成メッセージを処理することと、
    取得した前記構成データを用いて前記第１の表現を再構築することと、
    を含む、前記方法。
16. 前記構成メッセージを前記処理することが、
    前記ペイロード部の前記実サイズを前記ペイロードサイズパラメータに基づいて判断することと、
    前記メッセージの前記メッセージタイプを前記メッセージタイプパラメータに基づいて判断することと、
    判断された前記メッセージタイプ及び判断された前記ペイロード部の前記実サイズに従って、前記構成メッセージを処理することと、
    を含む、請求項１５に記載の方法。
17. 前記フォーマットサイズと前記実サイズとが同一である、請求項１５または１６に記載の方法。
18. 前記フォーマットサイズと前記実サイズとが異なる、請求項１５または１６に記載の方法。
19. 前記方法が、
    前記残留データを受信することと、
    前記構成データに従って前記残留データを用いて前記第１の表現を再構築することと、
    を含む、請求項１５～１８のいずれかに記載の方法。
20. 構成データを処理する方法であって、
    複数レベルの品質を有する段階的階層における第１のレベルの品質の画像の第１の表現、及び前記第１のレベルの品質の前記画像の第２の表現に基づいて残留データを取得することであって、前記第２の表現が、前記段階的階層においてより低い第２のレベルの品質の前記画像の表現に基づき、前記残留データが、前記第２の表現を用いて前記第１の表現を再構築するために復号器によって使用可能である、前記取得することと、
    前記残留データの処理に関する第１の構成データ及び第２の構成データを取得することであって、前記第１の構成データが、第１の動作特性を有する１つまたは複数の復号器の第１のセットに関し、前記第２の構成データが、第２の動作特性を有する１つまたは複数の復号器の第２のセットに関する、前記取得することと、
    ヘッダ部及びペイロード部を含む構成メッセージを生成することであって、前記ペイロード部が、第１のペイロード部及び後続の第２のペイロード部を含み、前記第１のペイロード部が、第１の構成データを含み、前記第２のペイロード部が、前記第２の構成データを含み、前記ヘッダ部が、前記第１のペイロード部及び前記第２のペイロード部の合計サイズを示すペイロードサイズパラメータを含む、前記生成することと、
    前記復号器が前記第１の構成データ及び前記第２の構成データのうちの１つまたは両方を用いて前記第１の表現を再構築することを可能にするために、前記復号器による処理のための前記構成メッセージを出力することと、
    を含む、前記方法。
21. 前記ヘッダ部が、前記第１のペイロード部の前記サイズを指定しない、請求項２０に記載の方法。
22. 前記第１のペイロード部が、前記第１の構成データの全てを含み、前記第２のペイロード部が、前記第２の構成データの全てを含む、請求項２０または２１に記載の方法。
23. 前記第２の構成データが、前記第１の構成データを補助するように構成される補助構成データである、請求項２０～２２のいずれかに記載の方法。
24. 前記第１の動作特性が、前記１つまたは複数の復号器の第１のセットがそれに従って動作するように構成される第１のバージョンに対応し、前記第２の動作特性が、前記１つまたは複数の復号器の第２のセットがそれに従って動作するように構成される、異なる第２のバージョンに対応する、請求項２０～２３のいずれかに記載の方法。
25. 前記第２のバージョンが、前記第１のバージョンに対して後のバージョンである、請求項２４に記載の方法。
26. 前記第１の動作特性が、前記１つまたは複数の復号器の第１のセットの処理ケイパビリティに関し、前記第２の動作特性が、前記１つまたは複数の復号器の第２のセットの処理ケイパビリティに関する、請求項２０～２５のいずれかに記載の方法。
27. 前記ヘッダ部が、前記構成メッセージのメッセージタイプを指定するメッセージタイプパラメータを含み、前記メッセージタイプが、前記構成メッセージがどのように処理されるべきかを示す、請求項２０～２６のいずれかに記載の方法。
28. 前記メッセージタイプパラメータが、所与のペイロードフォーマットを有するペイロード部のフォーマットサイズが前記ペイロード部のコンテンツから事前判断されるかまたは判断され得る前記所与のペイロードフォーマットを有する前記ペイロード部を示す、請求項２７に記載の方法。
29. 前記フォーマットサイズが、前記第１のペイロード部及び前記第２のペイロード部の前記合計サイズと同一である、請求項２８に記載の方法。
30. 前記方法が、前記構成データに対してバイト単位処理を実行することを含む、請求項２０～２９のいずれかに記載の方法。
31. 構成データを処理する方法であって、
    ヘッダ部及びペイロード部を含む構成メッセージを受信することであって、前記ペイロード部が、第１のペイロード部及び後続の第２のペイロード部を含み、前記第１のペイロード部が、第１の構成データを含み、前記第２のペイロード部が、第２の構成データを含み、前記第１の構成データ及び前記第２の構成データが、複数レベルの品質を有する段階的階層における第１のレベルの品質の画像の第１の表現を、前記第１のレベルの品質の前記画像の第２の表現を用いて再構築するために使用可能な残留データの処理に関し、前記第２の表現が、前記段階的階層においてより低い第２のレベルの品質の前記画像の表現に基づき、前記第１の構成データが、第１の動作特性を有する復号器の第１のセットに関し、前記第２の構成データが、第２の動作特性を有する復号器の第２のセットに関し、前記ヘッダ部が、前記第１のペイロード部及び前記第２のペイロード部の合計サイズを示すペイロードサイズパラメータを含む、前記受信することと、
    前記構成メッセージを処理して、前記第１の構成データ及び前記第２の構成データのうちの１つまたは両方を取得することと、
    前記第１の構成データ及び前記第２の構成データのうちの前記１つまたは両方を用いて前記第１の表現を再構築することと、
    を含む、前記方法。
32. 前記方法が、
    前記第１のペイロード部及び前記第２のペイロード部を処理して、前記第１の構成データ及び前記第２の構成データをそれぞれ取得することと、
    前記第１の構成データ及び前記第２の構成データを用いて前記第１の表現を再構築することと、
    を含む、請求項３１に記載の方法。
33. 前記方法が、
    前記第２のペイロード部を除く前記第１のペイロード部を処理して、前記第２の構成データを除く前記第１の構成データを取得することと、
    前記第２の構成データを除く前記第１の構成データを用いて前記第１の表現を再構築することと、
    を含む、請求項３１に記載の方法。
34. 前記方法が、前記第２のペイロード部の前記コンテンツを破棄することを含む、請求項３３に記載の方法。
35. 前記方法が、前記ペイロードサイズパラメータを用いて、次の構成メッセージの先頭を判断することを含む、請求項３１～３４のいずれかに記載の方法。
36. 前記ヘッダ部が、前記構成メッセージのメッセージタイプを指定し、所与のペイロードフォーマットを有するペイロード部のフォーマットサイズが前記ペイロード部の前記コンテンツから事前判断されるかまたは判断され得る前記所与のペイロードフォーマットを有する前記ペイロード部を示す、メッセージタイプパラメータを含む、請求項３１～３５のいずれかに記載の方法。
37. 請求項１～３６のいずれかに記載の方法を実行するように構成される、装置。
38. 実行時に、装置に請求項１～３６のいずれかに記載の方法を実行させる命令を含む、コンピュータプログラム。
39. 請求項３８に記載のコンピュータプログラムを含む、コンピュータ可読媒体。

Images