JP2010515306A - ビデオデータをエンコードする装置及びデコードするシステム - Google Patents

Abstract

本発明は、ビデオデータをエンコードする装置、ビデオデータをデコードする装置及びビデオデータのディジタルストリームに関連する。本発明によれば、エンコード装置は、スケーラブルモデルの或るレイヤに従って、ビデオデータに関するカラー情報をエンコードする手段と、変換データをエンコードする手段とを有し、変換データは、スケーラブルモデルのどのレベルのカラー情報でも、上記の或るレイヤから取得できるようにする。

Description

本発明は、ビデオデータをエンコードする装置及び方法、ビデオデータをデコードする装置及びディジタルデータストリームに関連する。より具体的には、本発明は、スケーラブルな方法でカラー情報をエンコード及びデコードすることに関連する。

近年、ディジタル捕捉装置、画素表示装置及びディジタルインターフェース規格等を含むディジタル画像処理パイプラインのどの分野においても、８ビットを超えるカラー情報の処理を、多くの製造業者が目指している。最先端のビデオ符号化技術は、高いビット深度の符号化も推進しつつある。ＪＶＣは高いビット深度のエンコーディングを規格化し、それは、Ｈ．２６４フィデリティレンジエクステンション（ＦＲＥｘｔ： Ｆｉｄｅｌｉｔｙ Ｒａｎｇｅ Ｅｘｔｅｎｓｉｏｎｓ）にて規定されており、現在、サンプル当たり１４ビットまでのビット深度（１４−ビット）をサポートしている。

しかしながら、カラーのスケーラブルなビット深度をもたらす方法をサポートする既存の高ビットエンコード法は無い。かなり長期的に将来を見た場合、現在の８ビット深度及びより多くのビット深度の画像処理システムが、消費者市場に同時に並存することになるという事実を考えれば、カラービットスケーラビリティ（Ｃｏｌｏｒ ｂｉｔ ｓｃａｌａｂｉｌｉｔｙ）は潜在的に有用である。例えば、異なるビット深度をサポートする表示装置があった場合、以下のアプリケーションの問題が通常のことになる。８ビット表示装置及び１２ビット表示装置を未処理ビデオ（ｒａｗ ｖｉｄｅｏ）用にそれぞれ有する２人のクライアントを仮定する。端末ディスプレイのパフォーマンスに最適に合わせるため、８ビット及び１２ビットの２つのバージョンがしかるべく提供される。スケーラブルな方法でなかった場合、２つのバージョンをエンコードし、２つのビットストリームを別々に生成する必要がある。コンテンツ配信の場合、ネットワーク又は通信チャネルで同時放送しなければならない、或いは２つのビットストリームを１枚のディスク内に用意しなければならない。何れの方法も、圧縮率や処理の複雑さの双方の観点から、効率性に乏しい。可能な別の方法は、Ｈ．２６４ＦＲＥｘｔのプロファイルにより１２ビットバージョンのみをエンコードすることである。クライアント側では、デコードされた１２ビットビデオから８ビットビデオが抽出可能である。しかしながら、この方法には２つの欠点がある：第１に、８ビット又は１２ビットビデオの何れが望まれるかによらず、双方のクライアントは、ビデオをデコード及び表示するＨ．２６４高性能デコーダを持たなければならない；第２に、８ビット及び１２ビットビデオ間の関係が、むしろ１２ビットから下位４ビットを打ち切ったものであった場合、デコードされた１２ビットビデオから８ビットビデオを取り出すことは、帯状効果（ｂａｎｄｉｎｇ ｅｆｆｅｃｔ）として知られているようなビデオの品質劣化を引き起こしてしまう。カラービット深度のスケーラブルコーディングは、符号化効率、処理の複雑さ及び柔軟性の間のバランスをとることができる。

上記の問題点の少なくとも１つに対処するため、本発明は、ビデオデータをエンコードする装置を提案する。本発明による装置は、
スケーラブルモデルの或るレイヤに従って、前記ビデオデータに関するカラー情報をエンコードする手段と、
変換データをエンコードする手段と
を有し、前記変換データは、前記スケーラブルモデルのどのレベルのカラー情報でも、前記或るレイヤから取得できるようにする、装置である。

好適実施例の場合、前記変換データが、少なくとも１つの数学モデルに関連付けられてもよい。

好ましくは、前記のエンコードが、ＪＶＴ−Ｕ２０１規格にしたがって行われる。

好適実施例では、前記変換データが、補助的拡張情報（ＳＥＩ）メッセージ内に含まれる。

好適実施例では、前記メッセージが、データストリームに規則的に又は不規則的に挿入され、前記メッセージに含まれる前記変換データは、次のメッセージの挿入まで、挿入されたメッセージに続く画像の予測に使用される。

好ましくは、前記或るレイヤが低レベルレイヤに対応し、前記スケーラブルモデルのレイヤ各々が、前記カラー情報をエンコードするのに使用されるビット深度に対応する。

好ましくは、
＿低ビット深度レイヤ及び高ビット深度レイヤを対応付ける直線、
＿低ビット深度レイヤ及び高ビット深度レイヤを多項式関数、及び
＿低ビット深度のデータ範囲内の値各々を高ビット深度のデータ範囲内に対応付けるルックアップテーブル
の中から前記数学モデルが選択される。

本発明は、ビデオデータのビットストリームをデコードするシステムにも関連する。本発明のこの形態によるシステムは、
ある基準レイヤに従ってエンコードされたカラーエンコードデータを、前記ビットストリームから抽出する手段と、
前記ある基準レイヤのエンコードデータをデコードする手段と、
前記基準レイヤに従ってエンコードされたカラーエンコードデータにより、及び前記ビットストリームに含まれている或るメッセージにより、別のレイヤに従ってエンコードされたカラーエンコードデータをデコードする手段と
を有するシステムである。

好適実施例におけるシステムは、前記データストリームのカラービット深度エンコードに関連する少なくとも１つの補助的拡張情報メッセージを、前記ビットストリームからデコードする手段をさらに有する。

別の形態によれば、本発明はディジタルデータのストリームにも関連する。本発明のこの形態によれば、ディジタルデータストリームは、
複数のレイヤを有するカラーモデル中の或るレイヤに応じて符号化された一群のエンコードビデオデータと、
前記カラーモデルの少なくとも別のレベルに応じて符号化された一群のデータを取得可能にするコード情報と
を有するディジタルデータストリームである。

本発明の好適実施例による符号化及び復号化装置を有するシステム例を示す図。 ２階層カラービット深度のスケーラブルモデルで使用される数学モデルを示す図。 ２階層カラービット深度のスケーラブルモデルで使用される数学モデルを示す図。 ２階層カラービット深度のスケーラブルモデルで使用される数学モデルを示す図。

本発明に関する他の特徴及び利点は、本発明の非限定的な実施例の説明から明らかになり、その説明は添付図面と共になされる。

図１は、エンコード装置１及びデコード装置３の双方を有するシステムを示し、そのシステムは本発明の好適実施例を実現する。

図１と共に説明される好適実施例では、ＪＶＴ−Ｕ２０１規格に従う符号化方法が想定されている。ＪＶＴ−Ｕ２０１は、Ｈ．２６４／ＡＶＣスケーラブル拡張（ＳＶＣ）に対応する。

本発明の目的は、複数のビデオデータを送ることなく、様々なハイエンド装置で表示されるように意図された或るビデオをエンコードできるようにすることであり、そのハイエンド装置でサポートされるカラービット深度は装置毎に異なる。

好適実施例では、カラースケーラビリティ情報を送信するために、新たな補助的拡張情報（ＳＥＩ： Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージが規定される。

このメッセージは変換データを含み、変換データは、スケーラビリティモデルの如何なるレベルも、エンコードされたレベルから取得できるようにする。この目的のため、ＳＥＩメッセージは１つ以上の数学モデルを含み、その数学モデルは、或るレイヤ（階層）を別のレイヤから如何にして予測するかを規定する。概して、低レイヤは、より少ない情報を符号化に必要とするレイヤであり、それ故に少ない帯域幅しか必要とせず、低レベルデータがエンコードされ、ＳＥＩメッセージは、その低レベルレイヤから上位レイヤを得るための数学的モデルを含む。

図２ａ、２ｂ及び２ｃを参照しながら数学モデルが説明される。これらの図は、低ビット深度及び高ビット深度を表現し、何れも［０，１］の範囲内で表現されている。これは概略的な表現に過ぎず、（後に）実際のスケールに変換される必要がある。例えば、低ビット深度が８ビットであった場合（８ビットは通常のケースである）、Ｈ２６４が考察されるならば、高ビット深度は、９ビット深度ないし１４ビット深度にわたり、主に、例えば１０、１２又は１４ビット深度のような偶数になる。

図２ａは、想定可能な最も簡易なモデルである線分を表す。

図２ｂは、勾配（傾斜）が異なる３つの区域を有する別の形の折れ線を表す。

図２ｃは、低ビット深度データ及び高ビット深度データ間の多項式関数に基づく別の数学モデルを表す。

以下の表はＳＥＩメッセージ例を示し、そのＳＥＩメッセージは、スケーラブルな色情報の数学モデルを包含するのに使用される。

ｂｉｔ＿ｄｅｐｔｈ＿ｐｒｅｄ＿ｉｄ は、関連する高ビット深度レイヤを指定し、ＳＥＩメッセージはその高ビット深度レイヤに適用する。ｂｉｔ＿ｄｅｐｔｈ＿ｐｒｅｄ＿ｉｄの値は、関連する高ビット深度レイヤの識別子から導出される。関連する低ビット深度レイヤは、関連する高ビット深度レイヤのｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｃａｌａｂｌｅ＿ｅｘｔｅｎｓｉｏｎ（）によるものである。

ｌｏｗ＿ｂｉｔ＿ｄｅｐｔｈ は、低ビット深度画像のビット深度を指定し、その画像から、高ビット深度画像の予測バージョンが生成される。

ｈｉｇｈ＿ｂｉｔ＿ｄｅｐｔｈ は、高ビット深度画像のビット深度を指定する。

ｃａｓｅ＿ｉｄ は数学モデルを指定し、その数学モデルは、低ビット深度画像から高ビット深度画像を予測するのに使用される。

− ｃａｓｅ＿ｉｄが０の場合、それはルックアップテーブルに対応し、ルックアップテーブルは、低ビット深度データの或る範囲内の値各々を、高ビット深度データの或る範囲内の値に対応付ける。

− ｃａｓｅ＿ｉｄが１の場合、それは、低ビット深度データ及び高ビット深度データを線（又は折れ線）で対応付ける。

− ｃａｓｅ＿ｉｄが２の場合、それは、低ビット深度データ及び高ビット深度データを多項式関数で対応付ける。

次に規定されているフィールドは、低ビット深度及び高ビット深度間のルックアップテーブルの対応関係を規定し、ｃａｓｅ＿ｉｄが「０」に等しい場合にしか使用されない。

ｈｉｇｈ＿ｍａｐｐｅｄ＿ｖａｌｕｅ［ｉ］ は、高ビット深度のデータ範囲内の値を指定し、その値は、低ビット深度のデータ範囲内の値ｉに対応付けられる。ｈｉｇｈ＿ｍａｐｐｅｄ＿ｖａｌｕｅを表現するのに使用されるビット数は、ｈｉｇｈ＿ｂｉｔ＿ｄｅｐｔｈである。

次に規定されているフィールドは、低ビット深度及び高ビット深度間を線で対応付ける場合に関連し、ｃａｓｅ＿ｉｄが「１」に等しい場合にしか使用されない。

ｎｕｍ＿ｊｏｉｎｔｓ は、線分の接続数（ジョイント数）を指定する。

ｌｏｗ＿ｊｏｉｎｔ＿ｖａｌｕｅ［ｉ］ は、ｉ番目のジョイントに対応する低ビット深度データの値を指定する。ｌｏｗ＿ｊｏｉｎｔ＿ｖａｌｕｅを表現するのに使用されるビット数は、ｌｏｗ＿ｂｉｔ＿ｄｅｐｔｈである。

ｈｉｇｈ＿ｊｏｉｎｔ＿ｖａｌｕｅ［ｉ］ は、ｉ番目のジョイントに対応する高ビット深度データの値を指定する。ｈｉｇｈ＿ｊｏｉｎｔ＿ｖａｌｕｅを表現するのに使用されるビット数は、ｈｉｇｈ＿ｂｉｔ＿ｄｅｐｔｈである。

次に規定されているフィールドは、低ビット深度及び高ビット深度間を多項式関数で対応付ける場合に関連し、ｃａｓｅ＿ｉｄが「２」に等しい場合にしか使用されない。

ｎｕｍ＿ｉｔｅｍｓ は、多項式関数中の項数を指定する。

ｉｔｅｍ＿ｐｏｗｅｒ［ｉ］ は、多項式関数中のｉ番目の項の指数を指定する。

ｉｔｅｍ＿ｃｏｅｆｆｉｃｉｅｎｔ［ｉ］ は、多項式関数中のｉ番目の項の係数の分子を指定する。

ｉｔｅｍ＿ｃｏｅｆｆｉｃｉｅｎｔ＿ｂａｓｅ［ｉ］ は、多項式関数中のｉ番目の項の係数を導出するのに使用されるベース（ｂａｓｅ）を指定する。多項式関数中のｉ番目の項の係数は、
ｉｔｅｍ＿ｃｏｅｆｆｉｃｉｅｎｔ［ｉ］／２^{ｉｔｅｍ＿ｃｏｅｆｆｉｃｉｅｎｔ＿ｂａｓｅ［ｉ］}
により求められる。

この多項式の各項の指数及び係数は、指数の降順に伝送される。

このＳＥＩメッセージは、エンコーダによりデータストリームに挿入される。あるアクセスユニットは、マルチビット深度予測ＳＥＩメッセージを含み、そのメッセージは様々なビット深度レイヤに適用する。あるビット深度予測ＳＥＩメッセージの意味（ｓｅｍａｎｔｉｃｓ）は、同じｂｉｔ＿ｄｅｐｔｈ＿ｐｒｅｄ＿ｉｄの次のビット深度予測ＳＥＩメッセージが存在する限り有効である。

あるＳＥＩメッセージは、このメッセージに続くネットワーク適応レイヤ（ＮＡＬ： Ｎｅｔｗｏｒｋ Ａｄａｐｔａｔｉｏｎ Ｌａｙｅｒ）ユニットに、ある新たなＳＥＩメッセージが検出されるまで関連し、その新たなＳＥＩメッセージは後に到来するＮＡＬに関連するものである。ｂｉｔ＿ｄｅｐｔｈ予測はＳＥＩメッセージ内で規定されるので、様々なＮＡＬユニットについて、様々なｂｉｔ＿ｄｅｐｔｈ予測を指定することができる。

規定されているＨ．２６４／ＡＶＣスケーラブル拡張（ＳＶＣ）規格では、各レイヤは一群の識別子で特定される。また、各レイヤについて、基本画像（ｂａｓｅ ｐｉｃｔｕｒｅ）も識別子で特定される。したがって、デコーダの側では、デコードされたスライスは、構文要素ｂｉｔ＿ｄｅｐｔｈ＿ｐｒｅｄ＿ｉｄに従って、対応するビット深度予測ＳＥＩメッセージを適切に発見することができる。

図１を再び参照するに、８ビット深度のカラーレイヤに応じてビデオデータをエンコードし、別のビット深度のカラーレイヤに応じて符号化されたビデオデータを取得するのに使用される数学モデルを含める（カプセル化する）ように、ビット深度スケーラブルエンコーダが使用される。

ビット深度エンコーダは、スケーラブルなエンコードされたビットストリームを提供する。デコードされ使用されるように一旦受信されると、スケーラブルなエンコードされたビットストリームは、ビットストリーム抽出部２により受信される。ビットストリーム抽出部２は、選択可能なビットストリームの中から低レイヤビットストリームを分離する。抽出された低レイヤビットストリームは、Ｈ．２６４に従うデコーダ４によりデコードされ、８ビットのカラーのエンコードされたビットストリームを取得する。

ｎビット深度のカラーのエンコードされたビットストリームは、ビット深度スケーラブルデコーダ３に送られる。

Claims (10)

1. ビデオデータをエンコードする装置であって、
   スケーラブルモデルの或るレイヤに従って、前記ビデオデータに関するカラー情報をエンコードする手段と、
   変換データをエンコードする手段と
   を有し、前記変換データは、前記スケーラブルモデルのどのレベルのカラー情報でも、前記或るレイヤから取得できるようにする、装置。
2. 前記変換データが、少なくとも１つの数学モデルに関連付けられる、請求項１記載の装置。
3. 前記のエンコードが、ＪＶＴ−Ｕ２０１規格にしたがって行われる、請求項１記載の装置。
4. 前記変換データが、補助的拡張情報（ＳＥＩ）メッセージ内に含まれる、請求項１記載の装置。
5. 前記メッセージが、データストリームに規則的に又は不規則的に挿入され、前記メッセージに含まれる前記変換データは、次のメッセージの挿入まで、挿入されたメッセージに続く画像の予測に使用される、請求項４記載の装置。
6. 前記或るレイヤが低レベルレイヤに対応し、前記スケーラブルモデルのレイヤ各々が、前記カラー情報をエンコードするのに使用されるビット深度に対応する、請求項１記載の装置。
7. 低ビット深度レイヤ及び高ビット深度レイヤを対応付ける直線、
   低ビット深度レイヤ及び高ビット深度レイヤを多項式関数、及び
   低ビット深度のデータ範囲内の値各々を高ビット深度のデータ範囲内に対応付けるルックアップテーブル
   の中から前記数学モデルが選択される、請求項２又は５に記載の装置。
8. ビデオデータのビットストリームをデコードするシステムであって、
   ある基準レイヤに従ってエンコードされたカラーエンコードデータを、前記ビットストリームから抽出する手段と、
   前記ある基準レイヤのエンコードデータをデコードする手段と、
   前記基準レイヤに従ってエンコードされたカラーエンコードデータにより、及び前記ビットストリームに含まれている或るメッセージにより、別のレイヤに従ってエンコードされたカラーエンコードデータをデコードする手段と
   を有するシステム。
9. 前記データストリームのカラービット深度エンコードに関連する少なくとも１つの補助的拡張情報メッセージを、前記ビットストリームからデコードする手段をさらに有する、請求項８記載のシステム。
10. 複数のレイヤを有するカラーモデル中の或るレイヤに応じて符号化された一群のエンコードビデオデータと、
    前記カラーモデルの少なくとも別のレベルに応じて符号化された一群のデータを取得可能にするコード情報と
    を有するディジタルデータストリーム。

Images