JP2010506440A - ビデオのカラーエンハンスメント層をエンコード及びデコードする方法及び装置 - Google Patents

Abstract

エンハンスド・ダイナミックレンジは、画素の単一色成分に関して８よりも多いビット表現を要求する。このために、標準の色分解能の画像及び高い色分解能の画像が適用可能である。下位互換性は、カラーエンハンスメント層、及びカラーベース層としての従来の画像を用いる階層化アプローチによって達成され得る。いずれの層も同じ空間的及び時間的な分解能を有する。カラーエンハンスメント層のエンコードは、予測及び残余を用いる。最適化されたカラーエンハンスメント予測のための方法が開示される。色ビット深さの予測は、ブロックの１つの色成分の全ての画素についてカラーベース層からカラーエンハンスメント層を近似する多項式を組み立てることによって行われる。高色分解能画像の予測されたバージョン、及び残余が生成され、残余によって更新される。係数は、データストリームへメタデータとして圧縮及び付加される。

Description

本発明は、デジタル画像処理及びビデオ圧縮の分野に関する。具体的に、色ビット深さを拡張可能な符号化において重大な問題である色ビット深さの予測のための解決法が提供される。

デジタル処理の利点は、従来のフィルムを用いたイメージング技術に取って代わるために、高いダイナミックレンジを可能とするデジタルイメージングシステムでの取り組みの動機付けとなっている。最も幅広く用いられているビデオ符号化標準規格は、色情報を特定するために３つの色成分（赤、緑、青）を利用する。画像における一画素の単一色成分のための従来の８ビット表現と比べて、エンハンスド・ダイナミックレンジは、１つの画素の１つの色成分を表すために８よりも多いビットを必要とする。高ビット深さ色技術の発展に伴って、既存の８ビット深さへの下位互換性の問題が持ち上がっている。８ビット深さ及び高ビット深さのための新しい圧縮及び記憶の技術、送信方法、再生装置、及び表示装置が必要とされているために、この問題に対する解決法が極めて望まれている。

更に、単一ビットストリーム内で単一ビデオコンテンツの様々な色ビット深さを与える能力は、マルチメディアコンテンツの伝送中に様々な端末表示機能にとって特に重要である。８ビット深さへの下位互換性に関する１つの解決法は、色ビット深さの拡張性（scalability）である。色ビット深さを拡張可能なビデオ符号化のための可能なフレームワークが図１に示されている。２つの入力ビデオシーケンスは同じ場面を表すが、異なる色ビット深さを有する。すなわち、通常はＭ＝８であり、一方、Ｎ＝１０、１２又は１６である。Ｍビット入力はベース層としてエンコードされる。端末で、標準的な表示装置（標準ディスプレイ）は、表示のために、デコードされたベース層を使用することができる。

Ｎビット入力のより視覚的な情報は、エンハンスメント層でエンコードされる。端末が高品位表示装置（ＨＱディスプレイ）を有する場合は、デコードされたエンハンスメント層は、デコードされたベース層と共に、Ｎビットビデオシーケンスを表示するよう完全な情報を提供する。この場合に、図１に示されるような層間予測は符号化効率に有意に影響を与える。

本発明は、この場合に色ビット深さ予測、すなわち、色ビット深さの拡張のための層間予測を行う方法及び装置を提供する。

本発明の１つの様相に従って、多項式近似による色ビット深さ予測のための空間的に局部的なアプローチが用いられる。２つのビデオシーケンスが考えられる。これらは同じ場面を表し且つ同数のフレームを有する。夫々２つのシーケンスから生じ且つ同じピクチャ・オーダー・カウント（ＰＯＣ）、すなわち同じタイムスタンプを有する２つのフレームは、ここでは同期フレーム対と呼ばれる。各同期フレーム対について、対応する画素（夫々２つのフレームに属するが、画像座標系で同じ座標を有する２つの画素を意味する。）同じ場面ロケーション又は現実世界のロケーションを表す。この対応する画素の間の差は、色分解能に対応する色ビット深さである。図１での表記に従って、一方のシーケンスはＭビットの色深さを有し、一方、他方のシーケンスはＮビットの色深さを有する。なおＭ＜Ｎである。色ビット深さ予測のタスクは、予測されるＮビットシーケンスと元のＮビットシーケンスとの間の差が最小限とされる規準に従って、ＭビットシーケンスからＮビットシーケンスの予測されるバージョンを生成することである。

一実施形態で、ＰＳＮＲは差分測定として使用される。これには２つの利点がある。第１に、ＰＳＮＲはビデオ圧縮分野で幅広く受け入れられて使用されている。第２に、この場合に、どのように予測画像がその後の残余データ圧縮に有効であるかが、どのように予測画像が見えるかよりも重要であると考えられる。

本発明の１つの様相に従って、ビデオ画像の第１カラー層（ＩＮ_ｉ）をエンコードする方法であって、該第１カラー層は所与の色の画素を有し、該画素の夫々は第１の深さ（Ｎ）の色値を有し、当該方法は、
前記第１の深さ（Ｎ）よりも小さい第２の深さ（Ｍ）の色値を夫々が有する前記所与の色の画素を有する前記ビデオ画像の第２カラー層（ＩＭ_ｉ）を生成し又は受け取るステップと、
前記第１カラー層を第１のブロック（ＢＮ_ｉ，ｌ）に及び前記第２カラー層を第２のブロック（ＢＭ_ｉ，ｌ）に分けるステップであって、前記第１のブロックは前記第２のブロックと同数の画素及びそれらの各自の画像（ＩＭ_ｉ，ＩＮ_ｉ）内の同じ位置を有するステップと、
前記第１カラー層（ＩＮ_ｉ）の第１のブロック（ＢＮ_ｉ，ｌ）に関して、前記第２カラー層（ＩＭ_ｉ）の対応する第２のブロック（ＢＭ_ｉ，ｌ）を決定するステップと、
前記第１のブロック（ＢＮ_ｉ，ｌ）と予測される第３のブロック（ＢＮ^ｐ _ｉ，ｌ）との間の差を最小限とする線形変換関数を用いて、前記第２のブロック（ＢＭ_ｉ，ｌ）の画素の値を前記第３のブロック（ＢＮ^ｐ _ｉ，ｌ）の画素の値に変換するステップと、
前記予測される第３のブロック（ＢＮ^ｐ _ｉ，ｌ）と前記第１のブロック（ＢＮ_ｉ，ｌ）との間の前記差を計算するステップと、
前記第２のブロック（ＢＭ_ｉ，ｌ）、前記線形変換関数（ＬＰＡ）の係数（Ｃｏｅｆ_ｉ（ｌ））、及び前記差をエンコードするステップと
を有する。

一実施形態で、ブロックの全ての画素は同じ変換を用い、該変換は、第１のブロック及びその対応する第２のブロックの各対について個別である。

一実施形態で、前記第１のブロックにおける位置ｕ，ｖでの画素は、ｃ_ｎ，ｃ_ｎ−１，．．．，ｃ_０である係数を有する

に従って、前記第２のブロックにおける同じ位置での対応する画素から取得される。

一実施形態で、前記線形変換関数は、最小二乗法によって決定される。

一実施形態で、当該方法は、前記係数をメタデータとしてフォーマットするステップと、前記エンコードされた第２のブロック及び前記差に添付して前記メタデータを送信するステップとを更に有する。

本発明の１つの様相に従って、ビデオ画像の第１カラー層（ＩＮ_ｉ）をデコードする方法であって、該第１カラー層は所与の色の画素を有し、該画素の夫々は第１の深さ（Ｎ）の色値を有し、当該方法は、
前記第１の深さ（Ｎ）よりも小さい第２の深さ（Ｍ）の色値を夫々が有する前記所与の色の画素を有する前記ビデオ画像の第２カラー層（ＩＭ_ｉ）をデコードするステップと、
線形変換関数（ＬＰＡ）の係数（Ｃｏｅｆ_ｉ（ｌ））をデコードするステップと、
残余ブロック又は画像（ＩＮ^ＲＥＳ _ｉ，ｌ）をデコードするステップと、
前記デコードされた係数（Ｃｏｅｆ_ｉ（ｌ））を有する前記変換関数（ＬＰＡ）を前記ビデオ画像の前記デコードされた第２カラー層（ＩＭ_ｉ）に適用するステップであって、前記ビデオ画像の予測される第１カラー層（ＩＮ´_ｉ）が取得されるステップと、
前記ビデオ画像の前記予測される第１カラー層（ＩＮ´_ｉ）を前記残余ブロック又は画像（ＩＮ^ＲＥＳ _ｉ，ｌ）により更新するステップと
を有する。

本発明の１つの様相に従って、ビデオ画像の第１カラー層（ＩＮ_ｉ）をエンコードする装置であって、該第１カラー層は所与の色の画素を有し、該画素の夫々は第１の深さ（Ｎ）の色値を有し、当該装置は、
前記第１の深さ（Ｎ）よりも小さい第２の深さ（Ｍ）の色値を夫々が有する前記所与の色の画素を有する前記ビデオ画像の第２カラー層（ＩＭ_ｉ）を生成し又は受け取る手段と、
前記第１カラー層を第１のブロック（ＢＮ_ｉ，ｌ）に及び前記第２カラー層を第２のブロック（ＢＭ_ｉ，ｌ）に分けるステップであって、前記第１のブロックは前記第２のブロックと同数の画素及びそれらの各自の画像（ＩＭ_ｉ，ＩＮ_ｉ）の同じ位置を有する手段と、
前記第１カラー層（ＩＮ_ｉ）の第１のブロック（ＢＮ_ｉ，ｌ）に関して、前記第２カラー層（ＩＭ_ｉ）の対応する第２のブロック（ＢＭ_ｉ，ｌ）を決定する手段と、
前記第１のブロック（ＢＮ_ｉ，ｌ）と予測される第３のブロック（ＢＮ^ｐ _ｉ，ｌ）との間の差を最小限とする線形変換関数を用いて、前記第２のブロック（ＢＭ_ｉ，ｌ）の画素の値を前記第３のブロック（ＢＮ^ｐ _ｉ，ｌ）の画素の値に変換する手段と、
前記予測される第３のブロック（ＢＮ^ｐ _ｉ，ｌ）と前記第１のブロック（ＢＮ_ｉ，ｌ）との間の前記差を計算する手段と、
前記第２のブロック（ＢＭ_ｉ，ｌ）、前記線形変換関数（ＬＰＡ）の係数（Ｃｏｅｆ_ｉ（ｌ））、及び前記差をエンコードする手段と
を有する。

本発明の１つの様相に従って、ビデオ画像の第１カラー層（ＩＮ_ｉ）をデコードする装置であって、該第１カラー層は所与の色の画素を有し、該画素の夫々は第１の深さ（Ｎ）の色値を有し、当該装置は、
前記第１の深さ（Ｎ）よりも小さい第２の深さ（Ｍ）の色値を夫々が有する前記所与の色の画素を有する前記ビデオ画像の第２カラー層（ＩＭ_ｉ）をデコードする手段と、
線形変換関数（ＬＰＡ）の係数（Ｃｏｅｆ_ｉ（ｌ））をデコードする手段と、
残余ブロック又は画像（ＩＮ^ＲＥＳ _ｉ，ｌ）をデコードする手段と、
前記デコードされた係数（Ｃｏｅｆ_ｉ（ｌ））を有する前記変換関数（ＬＰＡ）を前記ビデオ画像の前記デコードされた第２カラー層（ＩＭ_ｉ）に適用するステップであって、前記ビデオ画像の予測される第１カラー層（ＩＮ´_ｉ）が取得される手段と、
前記ビデオ画像の前記予測される第１カラー層（ＩＮ´_ｉ）を前記残余ブロック又は画像（ＩＮ^ＲＥＳ _ｉ，ｌ）により更新する手段と
を有する。

本発明の有利な実施形態は、従属請求項、以下の記載及び図面において開示される。

色ビット深さを拡張可能なビデオ符号化のためのフレームワーク 多項式近似を用いる局部的な色ビット深さ予測のためのブロック図 ブロックレベルの多項式近似のブロック図 メタデータのエンコード及びデコードのブロック図

本発明の例となる実施形態について、添付の図面を参照して記載する。

以下の例では、一般性を喪失することなく、各フレームが３つの色成分Ｃ１、Ｃ２及びＣ３を有するとする。これらの色成分は、実際の実施では、例えば、赤、緑及び青として特定される。本発明に従って、以下で記載される処理は、夫々の個々の色成分Ｃ１、Ｃ２及びＣ３で用いられる。

以下注釈は、本明細書の残りの部分で用いられる：
Ｋ − ２つの入力ビデオシーケンスの総フレーム数；
Ｗ − 各フレームの画像幅；
Ｈ − 各フレームの画像高さ；
ＩＭ_ｉ（ｕ，ｖ） − ＰＯＣ（ｉ＝１，２，・・・Ｋ）を表す下付き文字ｉ、及び画素座標（ｕ＝０，１，・・・Ｗ−１、ｖ＝ｕ＝０，１，・・・Ｈ−１）を表す（ｕ，ｖ）を有するＭビットシーケンスの１つの色成分（Ｃ１、Ｃ２又はＣ３）。強調されるべきは、実際のエンコード／デコード処理で、ＩＭ_ｉ（ｕ，ｖ）はエンコーダでＭビットシーケンスの再構成されたバージョンであるべき点である。以下で、語「ＩＭ_ｉ（ｕ，ｖ）」は、Ｍビットの再構成バージョンを表すために使用される；及び
ＩＮ_ｉ（ｕ，ｖ） − ＰＯＣ（ｉ＝１，２，・・・Ｋ）を表す下付き文字ｉ、及び画素座標（ｕ＝０，１，・・・Ｗ−１、ｖ＝ｕ＝０，１，・・・Ｈ−１）を表す（ｕ，ｖ）を有するＮビットシーケンスの１つの色成分（Ｃ１、Ｃ２又はＣ３）。

図２は、同期フレーム対の各色成分について色ビット深さの予測のための空間的に局部的な多項式近似を実行するエンコーダを示す。入力される同期フレーム対ＩＭ_ｉ、ＩＮ_ｉは、局部多項式近似（ＬＰＡ）モジュールに供給される。ＬＰＡモジュールについては、以下でより詳細に記載する。ＬＰＡモジュールは局部近似多項式を決定し、この決定された局部近似多項式の係数を有するメタデータＣｏｅｆ_ｉを出力する。更に、ＬＰＡモジュールは、Ｎビット入力フレームＩＮ_ｉの予測されるバージョンＩＮ_ｉ ^ｐを出力する。これは、予測される高ビット深さ画像と実際の高ビット深さ画像との間の差を定める残余ＩＮ^ＲＥＳ _ｉを生成するために層間予測によって使用される。残余データは、エンハンスメント層データストリームにおいて送信される。

メタデータのデータサイズを低減するよう、メタデータＣｏｅｆ_ｉは圧縮される。圧縮されたメタデータは、サイド情報として多重ビットストリーム（ベース層ビットストリーム及びエンハンスメント層ビットストリーム）とともに送信され得る。

デコーダで、ベース層画像ＩＭ_ｉ´は通常デコードされ、圧縮されたメタデータは、局部近似多項式の係数を再構成すべく解凍される。次いで、予測された高ビット深さ画像ＩＮ_ｉ ^ｐは、デコードされたベース層画像ＩＭ_ｉ´で近似多項式を適用することによって生成される。デコードされた高ビット深さエンハンスメント層画像ＩＮ_ｉは、最終的に、層間予測を予測画像ＩＮ_ｉ ^ｐへ適用し且つその結果をデコードされたエンハンスメント層データのデコードされた残余により更新することによって、再構成される。

以下、局部多項式近似モジュール及びメタデータ圧縮モジュールについて詳細に記載する。

局部多項式近似モジュールでは、同期フレーム対の画像は、空間的に多数のブロックに分割される。そのブロックサイズは一定又は可変である。多項式近似は、夫々２つのフレームから取り出され且つ同じブロックインデックス番号を有する各２つの対応するブロックの間で行われる。以下注釈は、この項の残りの部分で用いられる：
ｂＳｉｚｅは、ブロックサイズに関するパラメータである。各ブロックは、ｂＳｉｚｅ×ｂＳｉｚｅの画素を有することができる。実際のエンコード／デコード処理のために、ｂＳｉｚｅは８の倍数であり、マクロブロックレベルの層間予測にとって都合がよい。画像サイズは、ｂＳｉｚｅ×ｂＳｉｚｅの倍数であっても良い。これより、言い換えると、Ｗ及びＨはいずれもｂＳｉｚｅの倍数である。また、Ｗ及びＨをｂＳｉｚｅの倍数とするようパディング（padding）を用いて前処理を行うことも可能である。
ＢＭ_ｉ，ｌは、ｉ番目のフレームＩＭ_ｉの１つのブロックである。ｌはブロックインデックス番号を表す。
ＢＮ_ｉ，ｌは、ｉ番目のフレームＩＮ_ｉの１つのブロックである。ｌはブロックインデックス番号を表す。

図３は、図２に対応する、同期フレーム対の画像の間のブロックレベルの多項式近似を示す。異なる色ビット深さを有する対応する画像ＩＭ_ｉ、ＩＮ_ｉの中の同じ場所からの２つのブロックＢＭ_ｉ，ｌ、ＢＮ_ｉ，ｌは多項式近似へ供給され、出力される係数Ｃｏｅｆ_ｉ（ｌ）の組は、図３にベクトルで表されているように生成され、上述されるようにメタデータとしてフォーマットされ得る。出力されるメタデータＣｏｅｆ_ｉ（ｌ）は、ＢＮ_ｉ，ｌに関して決定された近似多項式の係数を含む。出力ＢＮ_ｉ，ｌ ^ｐは、図２に示される予測画像ＩＮ_ｉ ^ｐに対応するＢＮ_ｉ，ｌの予測されるバージョンである。

近似多項式の各項の順序及び累乗は、本発明では決定されない。一般に、それらは、実際の実施に従って特定されるべきである。しかし、分数乗の項を含む多項式の任意のフォームに関して、多項式係数Ｃｏｅｆ_ｉ（ｌ）を得る一般的な解決法は、以下で記載されるように、一次方程式の系を解くことによって提供される。

フォーム

の一般多項式を鑑みて、式（１）

は、ＢＭ_ｉ，ｌをＢＮ_ｉ，ｌに関連付ける一次方程式である。

式（１）は、ブロックＢＭ_ｉ，ｌ及びＢＮ_ｉ，ｌのあらゆる画素に適用され得る。全部で、各対応するブロック対ＢＭ_ｉ，ｌ及びＢＮ_ｉ，ｌについてｂＳｉｚｅ×ｂＳｉｚｅ個の一次方程式が存在する。各式は、高ビット深さブロックにおける画素と低ビット深さブロックにおける対応する画素との間の関係を表す。これより、高ビット深さブロックにおける画素の値は、低ビット深さブロックにおける対応する画素の値の多項式関数に等しい。画素位置（ｕ，ｖ）について、式（１）は、

として理解され得る。

変換係数ｃ_ｎ，ｃ_ｎ−１，・・・，ｃ_１，ｃ_１／２，・・・，ｃ_１／ｍ，ｃ_０は、例えば最小二乗法等のいずれかの標準的な方法によって取得され得る。係数に対する一意の解を得るよう、前提条件ｂＳｉｚｅ×ｂＳｉｚｅ≧ｎ＋ｍが満たされるべきである。しかし、実際には、この制約は通常満足される。デコーダで、ブロックの予測されるバージョンＢＮ_ｉ，ｌ ^ｐは、次いで、

に従って、デコードされるベース層画素ＢＭ_ｉ，ｌから得られる。

実際には、ＩＮをＩＭに関連付ける切り捨て又は対数のような変換が存在する可能性が極めて高い。切り捨ては、低ビット深さバージョンを生成するよう高ビット深さバージョンの右ビットシフトを意味する。すなわち、１０ビットビデオシーケンスを有するとすると、８ビットビデオシーケンスへの切り捨ては、１０ビットバージョンの各サンプル値が右ビットシフトをされて、少なくとも２つのビットが無視されることを意味する。このような切り捨て又は対数のような変換が存在する場合に、近似多項式の以下のフォーム

は、近似精度、計算複雑性及び多項式係数のオーバーヘッドの間の良好なトレードオフである。

実際の用途のために、ＢＭ_ｉ，ｌ及びＢＮ_ｉ，ｌは、式（２）の生成より前に範囲［０，１］の中にある値に正規化され得る。正規化の利点は、第１に、数値解析の観点から、より正確な近似結果が正規化によって達成され得ること、第２に、多項式係数が実際のエンコード／デコード処理において更に圧縮されること、である。ＢＭ_ｉ，ｌ及びＢＮ_ｉ，ｌの正規化は、通常、Ｃｏｅｆ_ｉ（ｌ）のダイナミックレンジを低減する。これより、それに続く量子化はより正確である。言い換えると、ＢＮ_ｉ，ｌ（ｕ，ｖ）は、位置ｕ，ｖにある単一画素を表し、浮動小数点値（すなわち、［０，１］に正規化された画素のＮビット整数値）である。ＢＭ_ｉ，ｌ（ｕ，ｖ）も浮動小数点値（すなわち、［０，１］に正規化された画素のＭビット整数値）である。有利に、本発明は、ＢＭ_ｉ，ｌ（ｕ，ｖ）からＢＮ_ｉ，ｌ（ｕ，ｖ）を予測する方法について記載する。

係数Ｃｏｅｆ_ｉ（ｌ）はブロックレベルを表す。それは、各ブロックについて唯ひと組の係数が存在することを意味する。これより、ブロック内の全ての画素は同じ係数を共有する。

本発明の１つの様相は、インターコーディング（inter-coding）の同じ考えを使用する方法でメタデータ（少なくとも係数）を符号化することである。すなわち、時間的に連続するブロックの間の残余は量子化されて、エントロピ符号化される。実際のエンコード／デコード処理では、（ここでは多項式係数を意味する）メタデータのオーバーヘッドは相当である。式（４）が用いられる場合に、各同期フレーム対ＩＭ_ｉ、ＩＮ_ｉのメタデータのデータサイズは、４×［Ｗ／ｂＳｉｚｅ］×［Ｈ／ｂＳｉｚｅ］個の浮動小数点値である。加えて、かかる値の量子化は、極めて高い予測を有するべきである。このようにして、メタデータの圧縮スキームは符号化効率全体を改善するのに有利である。

シーケンスの連続するフレームの間には高い相関関係があるので、連続するフレームのメタデータの間にも高い相関関係が存在する。従って、直接にＣｏｅｆ_ｉをエンコードすることに代えて連続するＣｏｅｆ_ｉの間の差をエンコードすることは、符号化効率を著しく改善しうる。メタデータをエンコード／デコードする一般的な方法が図４に示されている。

図４の上側は、係数Ｃｏｅｆ_ｉについての符号化処理を示す。最初に、ビデオ符号化の分野で残余（residual）と通常呼ばれる、Ｃｏｅｆ_ｉとＣｏｅｆ´_ｉ−１（再構成されたＣｏｅｆ_ｉ−１）との間の差が量子化される。量子化された残余はエントロピ符号化を受ける。第１のフレーム対の係数の組は、独立して量子化され、エントロピ符号化を受ける。

デコーダでは、逆の処理が行われる。すなわち、最初に、圧縮されたメタデータは、Ｃｏｅｆ_ｉの残余を生成するよう、エントロピ復号化を受け、次いで逆量子化される。第２に、Ｃｏｅｆ_ｉの残余は、Ｃｏｅｆ_ｉを得るよう、予めデコードされているＣｏｅｆ_ｉ−１に加えられる。第１のフレーム対の係数の組は、独立して逆量子化され、エントロピ復号化を受ける。この例では係数がメタデータとしてフォーマット及び送信をなされるが、これは、単なる例示としての可能性である。

メタデータの中から係数を利用する他の方法も、メタデータ圧縮のために用いられ得る。

本発明の１つの様相は、高ビット深さビデオシーケンスと同じビジュアルコンテンツを有する低ビット深さビデオシーケンスから高ビット深さビデオシーケンスを予測する方法であって、
高ビット深さフレームと同じ時間スタンプを表す低ビット深さフレームで多項式の関数を適用することによる前記高ビット深さフレームの局部近似のためのモジュールであって、該局部近似は２つの考えられているビデオシーケンスの各色成分で用いられるモジュールと、
全体の符号化効率を改善するようメタデータをエンコード／デコードするモジュールであって、メタデータのエンコード／デコードは各色成分のメタデータについて用いられるべきであるモジュールと
を有する方法である。

一実施形態で、前記局部近似モジュールは、色ビット深さを拡張可能な符号化の層間予測のために高ビット深さビデオシーケンスの予測されるバージョンをもたらし、前記多項式係数はメタデータとして送信される。

一実施形態で、各色成分についての局部的な多項式近似のための方法は、
前記２つの考えられているフレームを多数の一定サイズのブロックに分割するステップと、
一般的に整数乗項、分数乗項及び定数項を含んでいる近似多項式のフォームを選択するステップと、
以下の２つのステップで前記多項式近似のより正確な評価結果を達成し且つメタデータ圧縮モジュールでより効率的な量子化を達成するよう、前記２つの考えられているフレームの値をレンジ［０，１］へ正規化するステップと、
各対応するブロック対について一次方程式の系を確立する（これは、２つの連続するブロックが高ビット深さフレーム及び低ビット深さフレームから夫々選択されることを意味する。）ステップであって、各方程式は、高ビット深さブロックの中の画素の値が低ビット深さブロックの中の対応する画素の値の多項式関数に等しいところの、高ビット深さブロック内の画素と低ビット深さブロック内の対応する画素との間の関係を表すステップと、
最上二乗法によって前記確立された一次方程式の系を解くステップと
を有する。

Claims (10)

1. ビデオ画像の第１カラー層をエンコードする方法であって、該第１カラー層は所与の色の画素を有し、該画素の夫々は第１の深さの色値を有し、当該方法は、
   前記第１の深さよりも小さい第２の深さの色値を夫々が有する前記所与の色の画素を有する前記ビデオ画像の第２カラー層を生成し又は受け取るステップと、
   前記第１カラー層を第１のブロックに及び前記第２カラー層を第２のブロックに分けるステップであって、前記第１のブロックは前記第２のブロックと同数の画素及びそれらの各自の画像内の同じ位置を有するステップと、
   前記第１カラー層の第１のブロックに関して、前記第２カラー層の対応する第２のブロックを決定するステップと、
   前記第１のブロックと予測される第３のブロックとの間の差を最小限とする線形変換関数を用いて、前記第２のブロックの画素の値を前記第３のブロックの画素の値に変換するステップと、
   前記予測される第３のブロックと前記第１のブロックとの間の前記差を計算するステップと、
   前記第２のブロック、前記線形変換関数の係数、及び前記差をエンコードするステップと
   を有する方法。
2. ブロックの全ての画素は同じ変換を用い、該変換は、第１のブロック及びその対応する第２のブロックの各対について個別である、請求項１記載の方法。
3. 前記第１のブロックにおける位置ｕ，ｖでの画素は、ｃ_ｎ，ｃ_ｎ−１，．．．，ｃ_０である係数を有する
   

   

   に従って、前記第２のブロックにおける同じ位置での対応する画素から取得される、請求項１又は２記載の方法。
4. 前記線形変換関数は、最小二乗法によって決定される、請求項１乃至３のうちいずれか一項記載の方法。
5. 前記係数をメタデータとしてフォーマットするステップと、
   前記エンコードされた第２のブロック及び前記差に添付して前記メタデータを送信するステップと
   を更に有する、請求項１乃至４のうちいずれか一項記載の方法。
6. 前記メタデータはフレーム間符号化をなされる、請求項５記載の方法。
7. ビデオ画像の第１カラー層をデコードする方法であって、該第１カラー層は所与の色の画素を有し、該画素の夫々は第１の深さの色値を有し、当該方法は、
   前記第１の深さよりも小さい第２の深さの色値を夫々が有する前記所与の色の画素を有する前記ビデオ画像の第２カラー層をデコードするステップと、
   線形変換関数の係数をデコードするステップと、
   残余ブロック又は画像をデコードするステップと、
   前記デコードされた係数を有する前記変換関数を前記ビデオ画像の前記デコードされた第２カラー層に適用するステップであって、前記ビデオ画像の予測される第１カラー層が取得されるステップと、
   前記ビデオ画像の前記予測される第１カラー層を前記残余ブロック又は画像により更新するステップと
   を有する方法。
8. 残余ブロック又は画像をデコードする前記ステップは、フレーム間デコードを有する、請求項７記載の方法。
9. ビデオ画像の第１カラー層をエンコードする装置であって、該第１カラー層は所与の色の画素を有し、該画素の夫々は第１の深さの色値を有し、当該装置は、
   前記第１の深さよりも小さい第２の深さの色値を夫々が有する前記所与の色の画素を有する前記ビデオ画像の第２カラー層を生成し又は受け取る手段と、
   前記第１カラー層を第１のブロックに及び前記第２カラー層を第２のブロックに分けるステップであって、前記第１のブロックは前記第２のブロックと同数の画素及びそれらの各自の画像内の同じ位置を有する手段と、
   前記第１カラー層の第１のブロックに関して、前記第２カラー層の対応する第２のブロックを決定する手段と、
   前記第１のブロックと予測される第３のブロックとの間の差を最小限とする線形変換関数を用いて、前記第２のブロックの画素の値を前記第３のブロックの画素の値に変換する手段と、
   前記予測される第３のブロックと前記第１のブロックとの間の前記差を計算する手段と、
   前記第２のブロック、前記線形変換関数の係数、及び前記差をエンコードする手段と
   を有する装置。
10. ビデオ画像の第１カラー層をデコードする装置であって、該第１カラー層は所与の色の画素を有し、該画素の夫々は第１の深さの色値を有し、当該装置は、
    前記第１の深さよりも小さい第２の深さの色値を夫々が有する前記所与の色の画素を有する前記ビデオ画像の第２カラー層をデコードする手段と、
    線形変換関数の係数をデコードする手段と、
    残余ブロック又は画像をデコードする手段と、
    前記デコードされた係数を有する前記変換関数を前記ビデオ画像の前記デコードされた第２カラー層に適用するステップであって、前記ビデオ画像の予測される第１カラー層が取得される手段と、
    前記ビデオ画像の前記予測される第１カラー層を前記残余ブロック又は画像により更新する手段と
    を有する装置。

Images