JP2020092455A - ルックアップ・テーブルを符号化する方法および復号する方法、並びに対応する装置 - Google Patents

ルックアップ・テーブルを符号化する方法および復号する方法、並びに対応する装置 Download PDF

Info

Publication number
JP2020092455A
JP2020092455A JP2020031455A JP2020031455A JP2020092455A JP 2020092455 A JP2020092455 A JP 2020092455A JP 2020031455 A JP2020031455 A JP 2020031455A JP 2020031455 A JP2020031455 A JP 2020031455A JP 2020092455 A JP2020092455 A JP 2020092455A
Authority
JP
Japan
Prior art keywords
value
color
vertex
data
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020031455A
Other languages
English (en)
Other versions
JP6957664B2 (ja
Inventor
ボルデ,フイリツプ
Bordes Philippe
アンドリボン,ピエール
Andrivon Pierre
ジヨリー,エマニユエル
Jolly Emmanuel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby International AB
Original Assignee
Dolby International AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby International AB filed Critical Dolby International AB
Publication of JP2020092455A publication Critical patent/JP2020092455A/ja
Priority to JP2021164377A priority Critical patent/JP7233501B2/ja
Application granted granted Critical
Publication of JP6957664B2 publication Critical patent/JP6957664B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6016Conversion to subtractive colour signals
    • H04N1/6019Conversion to subtractive colour signals using look-up tables
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Color Image Communication Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Analysis (AREA)
  • Color Television Systems (AREA)

Abstract

【課題】頂点の格子として規定されるLUTを符号化する方法を提供する。【解決手段】符号化する方法は、少なくとも1つの値が格子の各頂点に関連付けられ、現在の頂点に対し、この現在の頂点に関連付けられた少なくとも1つの値を、例えば、近傍の頂点に関連付けられた再構築された値から得られる別の値から予測するステップと、現在の頂点の少なくとも1つの値とその予測値との間で算出された少なくとも1つの残差をビットストリーム内に符号化するステップと、を含む。【選択図】図4

Description

少なくとも1つの値が格子の各頂点に関連付けられる、頂点の格子として規定されるルックアップ・テーブルを符号化する方法が開示される。例示的には、値は、色値である。対応する復号方法、符号化方法、および復号装置が開示される。
図1に描かれているように、スケーラブルなビデオ復号は、ベースレイヤ(BL)のビットストリームおよび少なくとも1つの拡張レイヤ(EL)のビットストリームを復号する(符号化する)ことからなる。通常は、EPピクチャは、(アップサンプリングされることがある)復号されたBLピクチャから予測される。しかしながら、ELピクチャおよびBLピクチャは、相異なる色空間を用いて表現され、且つ/または、異なる色の階調が付けられている場合、予測の効率性が低下する。予測を改善するために、復号されたBLピクチャに対して色変換を適用することが知られている。より正確には、色変換は、色情報を使用して、BL色空間(第1の色空間)の色をEL色空間(第2の色空間)の色にマッピングする。
図2に描かれているように、ビデオ・コンテンツ分布では、色変換は、通常、復号されたピクチャに対して適用され、変換された復号されたピクチャがエンド装置のレンダリング能力に適応するようになっている。
この色変換もまた、色マッピング関数(CMF)として知られている。例えば、CMFは、3×3の利得行列にオフセットを加えたもの(利得−オフセット・モデル)によって近似化される。この場合には、CMFは、12個のパラメータによって規定される。しかしながら、CMFのこのような近似化は、線形変換モデルを想定しているため、あまり正確ではない。結果として、CMFモデルについての先験的な情報無しに、このようなCMFを記述するために、3Dルックアップ・テーブル(3D LUTとしても知られる)が使用される。3D LUTは、そのサイズが必要な精度に依存して増加するため、より正確である。しかしながら、このために、3D LUTは、大量のデータ・セットを表現することがある。したがって、3D LUTを受信機に送信するには、このLUTの符号化が必要である。
CMFを近似化するLUTは、第1の色空間における少なくとも1つの色値を第2の色空間における別の色値と関連付ける。LUTは、LUTの頂点によって範囲が定められる1組の領域に第1の色空間をパーティションすることを考慮に入れる。例示的には、3D LUTは、第1の色空間における色空間のトリプレットを1組の色値に関連付ける。色値の組は、第2の色空間における色値のトリプレットであってもよく、第1の色空間における色値を第2の色空間における色値に変換するために使用される色変換(例えば、ローカルに規定されたCMFパラメータ)を表現する1組の色値であってもよい。図3において、スクエア3D LUTがN×N×Nの頂点の格子によって表現されている。3D LUTの各頂点V(c1,c2,c3)に対し、色値(Vc1,Vc2,Vc3)の対応するトリプレットが記憶される必要がある。3D LUTに関連付けられたデータの量は、N×N×N×Kである。ここで、Kは、1つのLUTトリプレット値を記憶するために使用されるビットの量である。例えば、トリプレット値は、(R,G,B)トリプレット、(Y,U,V)トリプレットまたは(Y,Cb,Cr)トリプレットなどである。全ての頂点値を符号化することは、そのデータが大量であることから、効率的ではない。
本発明の目的は、従来技術の欠点の少なくとも1つを克服することにある。頂点の格子として規定されるLUTを符号化する方法が開示される。少なくとも1つの値が格子の各頂点に関連付けられる。この符号化方法は、現在の頂点に対し、
現在の頂点に関連付けられた少なくとも1つの値を別の値から予測するステップと、
現在の頂点の少なくとも1つの値とその予測値との間で算出された少なくとも1つの残差をビットストリーム内に符号化するステップと、を含む。
有益には、上記別の値は、近傍の頂点に関連付けられた再構築された値から得られる。
本発明の特定の特徴によれば、値は、色値である。特定の実施形態によれば、色値は、色変換を表現する。本発明の特定の特徴によれば、色値は、利得パラメータまたはオフセットである。
特定の実施形態によれば、LUTは、八分木を使用して符号化された3D LUTであり、3個の値が格子の各頂点に関連付けられている。この場合、予測に使用される近傍の頂点は、現在の頂点が属する現在の八分空間(octant)の親八分空間に属する。
本発明の特定の特徴によれば、現在の頂点に関連付けられた少なくとも1つの値を近傍の頂点に関連付けられた再構築された値から予測するステップは、近傍の頂点の対応する再構築された値から少なくとも1つの値を補間するステップを含む。
特定の特徴によれば、この方法は、補間のタイプを示すインデックスをビットストリーム内に符号化するステップをさらに含む。
特定の実施形態によれば、少なくとも1つの残差を符号化するステップは、“quantizer”を用いて上記少なくとも1つの残差を量子化された残差にするステップと、量子化された残差をビットストリーム内にエントロピー符号化するステップとを含み、この方法は、さらに、“quantizer”をビットストリーム内に符号化するステップを含む。
本発明の特定の特徴によれば、現在の頂点に対し、この頂点のために少なくとも1つの残差が符号化されているかどうかを示すフラグが符号化される。
変形例によれば、現在頂点の各値に対し、この値のために残差が符号化されているか、或いは、残差が符号化されておらず、零であると推定されるかを示すフラグが符号化される。
有益には、現在の八分空間に対し、直接の子が再帰的に符号化されているか、或いは、全ての現在の八分空間の子の頂点の全ての残差がまだ符号化されておらず、零であると推定されるかを示すスプリット・フラグが符号化される。
頂点の格子として規定されるLUTを復号する方法がさらに開示される。
少なくとも1つの値が格子の各頂点に関連付けられる。この復号方法は、現在の頂点に対し、
ビットストリームから少なくとも1つの残差を復号するステップと
現在の頂点に関連付けられた少なくとも1つの値を別の値から予測するステップと、
現在の頂点の少なくとも1つの値をその予測値と復号された少なくとも1つの残差とから再構築するステップと、を含む。
有益には、上記別の値は、近傍の頂点に関連付けられた再構築された値から得られる。
本発明の特定の特徴によれば、値は、色値である。特定の実施形態によれば、色値は、色変換を表現する。本発明の特定の特徴によれば、色値は、利得パラメータまたはオフセットである。
特定の実施形態によれば、LUTは、八分木を使用して復号された3D LUTであり、3個の値が格子の各頂点に関連付けられ、近傍の頂点は、現在の頂点が属する現在の八分空間の親八分空間に属する。
本発明の特定の特徴によれば、現在の頂点に関連付けられた少なくとも1つの値を近傍の頂点に関連付けられた再構築された値から予測するステップは、近傍の頂点の対応する再構築された値から少なくとも1つの値を補間するステップを含む。
特定の実施態様によれば、この方法は、補間のタイプを示すインデックスをビットストリームから復号するステップをさらに含む。
特定の実施形態によれば、少なくとも1つの残差を復号するステップは、ビットストリームから量子化された残差をエントロピー復号するステップと、“quantizer”を用いて量子化された残差を逆量子化して復号された残差にするステップと、を含み、この方法は、ビットストリームから“quantizer”を復号するステップをさらに含む。
本発明の特定の特徴によれば、各頂点に対し、この頂点のために少なくとも1つの残差が符号化されているかどうかを示すフラグが復号される。
変形例によれば、現在の頂点の各値に対し、この値のために残差が復号されているか、或いは、残差が零であると推定されるかを示すフラグが復号される。
有益には、現在の八分空間に対し、直接の子が再帰的に復号されているか、或いは、まだ復号されていないその全ての子の頂点の全ての残差が零であると推定されるかを示すスプリット・フラグが復号される。
符号化器は、頂点の格子として規定されるLUTを符号化する。少なくとも1つの値が格子の各頂点に関連付けられる。この符号化器は、現在の頂点に対し、
現在の頂点に関連付けられた少なくとも1つの値を別の値から予測する手段と、
現在の頂点の少なくとも1つの値とその予測値との間で算出された少なくとも1つの残差をビットストリーム内に符号化する手段と、を含む。
有益には、上記別の値は、近傍の頂点に関連付けられた再構築された値から得られる。
符号化器は、符号化する方法のステップを実行するように構成される。
復号器は、頂点の格子として規定されるLUTを復号する。少なくとも1つの値が前記格子の各頂点に関連付けられる。この復号器は、現在の頂点に対し、
現在の頂点に関連付けられた少なくとも1つの残差をビットストリームから復号する手段と、
現在の頂点に関連付けられた少なくとも1つの値を別の値から予測する手段と、
現在の頂点の少なくとも1つの値をその予測値と復号された少なくとも1つの残差とから再構築する手段と、を含む。
有益には、上記別の値は、近傍の頂点に関連付けられた再構築された値から得られる。
復号器は、復号する方法のステップを実行するように構成される。
頂点の格子として規定される少なくともLUTを符号化したビットストリームが開示される。少なくとも1つの値が格子の各頂点に関連付けられ、このビットストリームには、現在の頂点の少なくとも1つの値とその予測値との間で算出された少なくとも1つの残差が符号化されている。
本発明の他の特徴および利点は、その実施形態のうちの幾らかについての以下の説明から明らかになるであろう。この説明は、図面を参照して行われる。
従来技術に係る色域スケーラビィリティを使用するスケーラブル・ビデオ復号器のアーキテクチャを示す図である。 従来技術に係るレンダリング表示特性に適応する色変換を行うビデオ復号器のアーキテクチャを示す図である。 従来技術に係るN×N×Nの頂点の格子として表現されるスクエア3D LUTを図式的に示す図である。 本発明の例示的な実施形態に係る符号化方法のフローチャートを描いた図である。 2D LUTを図式的に示す図である。 本発明の別の例示的な実施形態に係る符号化方法のフローチャートを表現する図である。 左側にキューブの再帰的な細分割を、右側に対応する八分木を図式的に示した図である。 左側にキューブの再帰的な細分割を、右側に対応する八分木を図式的に示した図である。 本発明に係る頂点の色値の補間を示す図である。 非均一格子として表現された3D LUTを図式的に示す図である。 特定の非限定的な実施形態に係る頂点に関連付けられた値の予測を示す図である。 8個の頂点のうちの4個のみが符号化されている八分空間を示す図である。 頂点を共有する八分空間を表現する図である。 本発明の例示的な実施形態に係る復号方法のフローチャートを表現する図である。 本発明の別の例示的な実施形態に係る復号方法のフローチャートを表現する図である。 本発明に係るLUTを符号化する符号化器を図式的に示す図である。 本発明に係るLUTを復号する復号器を図式的に示す図である。 八分空間の8個の頂点の位置を描いた図である。
図4は、本発明の例示的な実施形態に係る符号化方法のフローチャートを表現している。この方法は、複数の頂点の格子として規定されるLUTを符号化するためのものであり、少なくとも1つの値、例えば、色値が格子の各頂点に関連付けられている。復号に関して述べると、用語「再構築」および「復号」は同意語として使用されることが非常に多い。以下の説明において、用語「色値」は、RGB,YUV、またはY、Cb、Cr値などの所与の色空間の色値を含み、さらに、CMFパラメータ、すなわち、行列パラメータおよびオフセット値などの色変換を表現する値を含む。
ステップ40において、現在の頂点の少なくとも1つの色値が近傍の頂点に関連付けられた再構築された色値から予測される。
例として、頂点V0(c1,c2)を対応する一対の値(V0c1,V0c2)、例えば、色値に関連付けている2D LUTが図5に描かれている。頂点V0に関連付けられている値は、例えば、空間的に近傍の頂点V1(c1,c2)、V2(c1,c2)、
V3(c1,c2)、およびV4(c1,c2)と共に、対応する一対の値(Vic1,Vic2i=1,..4から予測される。予測値P(Pc1,Pc2)は、例えば、以下のように補間を用いて算出される。
Pc1=0.25(V1c1+V2c1+V3c1+V4c1
Pc2=0.25(V1c2+V2c2+V3c2+V4c2
変形例によれば、2D LUTは、頂点V0(c1,c2)を、一対の値(V0c1,V0c2)の代わりに一組のパラメータ(m11,m12,m21,m22,o1,o2)に関連付ける。このパラメータの組は、以下のようにV0の値(c1,c2)から値(V0C1,V0C2)を再構築するために使用することができる。
V0c1=m11c1+m12c2+o1
V0c2=m21c1+m22c2+o2
頂点V0に関連付けられたパラメータは、例えば、空間的に近傍の頂点V1(c1,c2)、V2(c1,c2)、V3(c1,c2)およびV4(c1,c2)に関連付けられた再構築されたパラメータから予測される。例えば、予測値は、現在の頂点のパラメータに対し、補間を使用して算出される。ステップ42において、現在の頂点の少なくとも1つの色値とその予測値との間の少なくとも1つの残差が求められ、さらに、ビットストリームF内に符号化される。残差は、現在の頂点の少なくとも1つの色値からその予測値を差し引くことによって求められる。通常、符号化は、エントロピー符号化を含む。変形例によれば、符号化は、“quantizer”qを用いて残差を量子化し、量子化された残差をエントロピー符号化することを含む。
例として、2D LUTの場合は、第1の残差および第2の残差は頂点V0から算出される。第1の残差は、(V0c1−Pc1)であり、第2の残差は、(V0c2−Pc2)である。量子化された残差(V0c1−Pc1)/qおよび(V0c2−Pc2)/qは、次に、ビットストリームF内にエントロピー符号化される。エントロピー符号化には、指数ゴロム、ハフマン、CABAC(コンテクスト適応型バイナリ算術符号化(Context Adaptive Binary Arithmetic Coding)の英語の頭文字をとったもの)のような従来のバイナリ符号化技術を利用することができる。
ステップ40および42が反復され、LUTの全ての頂点が符号化されるまでLUTの別の頂点が符号化される。
必要に応じて、符号化方法は、ビットストリームF内で“quantizer”値qを符号化することを含む。現在の頂点の少なくとも1つの色値が、他の頂点の予測に使用されるようにさらに再構築される。各々が再構築された少なくとも1つの色値は、“quantizer”が使用されていない場合には、対応する当初の色値となる、すなわちq=1である。そうでない場合には、少なくとも1つの再構築された色値は、残差を逆量子化し、逆量子化された残差を予測値に加えることによって求められる。
変形例によれば、符号化方法は、頂点の少なくとも1つの色値を予測するために使用される補間タイプをビットストリームF内に符号化することをさらに含む。より正確には、補間タイプを識別するインデックスがビットストリームから復号される。例として、インデックス0は、バイリニア補間を識別し、インデックス1は、最近傍補間を識別し、インデックス2は、2個の近傍点を用いたリニア補間を識別する。
変形例によれば、LUTの必ずしも全ての頂点がビットストリームF内に符号化されるものではない。例えば、頂点の全ての残差の絶対値または全ての量子化された残差の絶対値が閾値TH未満である場合には、その頂点に対して符号化される残差は存在しない。例えば、TH=0またはTH=1である。したがって、各頂点に対し、その頂点に対して少なくとも1つの残差が符号化されているか、或いは、残差のいずれも符号化されておらず、零であると推定されるかを示すバイナリ・フラグがビットストリーム内に符号化される。
変形例によれば、各頂点の各色値に対し、その色値に対して残差が符号化されているか、或いは、残差が符号化されておらず、零であると推定されるかを示すバイナリ・フラグが符号化される。LUTのサイズもまた、必要に応じて、ビットストリーム内に符号化される。
図6は、本発明の別の例示的な実施形態に係る符号化方法のフローチャートを表現している。この方法は、八分木を使用した頂点の格子として規定される3D LUTを符号化するためのものであり、色値のトリプレットなど、n個の色値の組は、格子の各頂点に関連付けられる。ここで、nは1以上の整数(n≧1)である。八分木は、3D色空間を、図7Aおよび図7Bに描かれているように、8個の八分空間に再帰的に細分割することによって、パーティション化するためのものである。図7Aにおいて、パーティション化は、対称的であり、その一方で、図7Bにおいて、パーティション化は、非対称的である。レベルNの八分空間は、その親八分空間をレベルN−1に有する。八分木は、四分木の3D類似物である。開示されるこの符号化方法は、現在の八分空間に属する格子の現在の頂点Vを符号化するものである。以下において、n=3である。
ステップ50において、座標(r,g,b)の現在の頂点Vに関連付けられた3つの色値(V,V,V)の各々が近傍の頂点、すなわち、現在の八分空間の親八分空間に属する頂点に関連付けられた再構築された色値から予測される。表記を簡略化するために、(c1,c2,c3)の代わりに(r,g,b)が使用される。しかしながら、本発明は、(R,G,B)の色空間に限定されるものではない。本発明は、(Y,U,V)や(Y,Cb,Cr)などの色空間表現に適用することができる。
したがって、各色値に対し、例えば、図8に示されているようなトリリニア補間を使用して予測値が求められる。
Figure 2020092455
ここで、i=0、1であり、j=0であり、k=0、1である(ri,gj,bk)は、3D色空間内の親八分空間の頂点の座標であり、(r,g,b)は、現在の頂点の座標であり、
Figure 2020092455
は、頂点(ri,gj,bk)に関連付けられた最初の色値であり、
Figure 2020092455
であり、s(t)=t−tであり、s(t)=t−tであり、t=r、g、またはbである。
gおよびbに対し、これと同じ式が使用される。プリズム、三角錐、四面体などの他の補間タイプを使用することができる。
格子は、必ずしも、図9Aに描かれているように均一ではない。
ステップ50の変形例において、インデックスjの現在の八分空間の座標(r,g,b)の現在の頂点Vに関連付けられた3つの色値(V,V,V)の各々は、座標(r,g,b)の1つの近傍の頂点Vp、すなわち、インデックス(j−1)の近傍の八分空間に属する頂点に関連付けられた少なくとも1つの再構築された色値から予測される。近傍の八分空間は、現在の八分空間と少なくとも1つの頂点を共有する八分空間であり、且つ/または、符号化八分空間リスト内で現在の八分空間に先行する八分空間である。符号化八分空間リストは、八分空間の符号化順序を特定するリストである。特定の実施形態においては、全ての八分空間は、全く同一のレベルに属する。したがって、図9Bに示されているように、成分rについて、各色に対して予測値が求められる。
Figure 2020092455
であり、ここでPredAは、3D LUT内の頂点の位置に依存した値であり、PredBは、近傍の頂点Vpに関連付けられた再構築された色値に依存する値である。例えば、PredAは、rである。例示的には、PredB=V’r−PredA’である。ここで、V’rは、近傍の八分空間の頂点Vpの再構築された色値であり、PredA’は、3D LUT内の頂点Vpの位置に依存する値である。例えば、PredA’は、rである。これと同じ式がgおよびbに対しても使用される。
ステップ52において、現在の頂点に対し、各色成分毎に1つ、3つの残差が算出される。
Figure 2020092455

Figure 2020092455
、および
Figure 2020092455
である。
量子化された残差は次に、ビットストリーム内に符号化されるか、エントロピー符号化される前に量子化される。エントロピー符号化には、指数ゴロム、ハフマン、CABAC(コンテクスト適応型バイナリ算術符号化(Context Adaptive Binary Arithmetic Coding)の英語の頭文字をとったもの)のような従来のバイナリ符号化技術を利用することができる。
レベル0の八分空間は、親八分空間を有していない。同様に、符号化八分空間リストにおける最初の八分空間は、先行する八分空間を有していない。結果として、この八分空間の現在の頂点Vに関連付けられた3つの色値(V,V,V)の各々は、既知の色値、例えば、値128から予測される。変形例によれば、相異なる既知の値がレベル0の八分空間の相異なる頂点のために使用される。別の変形例によれば、既知の色値からの予測は、レベル0の八分空間とは異なる他の八分空間に対しても行われる。変形例によれば、この八分空間の現在の頂点Vに関連付けられた3つの色値(V,V,V)の各々は、同一の八分空間に属する近傍の頂点に関連付けられた既に再構築済の色値から予測される。
必要に応じて、符号化方法は、 “quantizer”値qをビットストリーム内に符号化することを含む。現在の頂点の3つの色値は、さらに再構築され、他の頂点の予測のために使用することができる。各再構築された色値は、“quantizer”が使用されない場合には当初の色値となる(q=1)。そうでない場合には、各再構築された色値は、対応する残差を逆量子化し、逆量子化された残差を対応する予測値に加えることによって求められる。
変形例によれば、符号化方法は、頂点の少なくとも1つの色値の予測に使用される補間タイプをビットストリーム内に符号化することをさらに含む。より正確には、ビットストリーム内で補間タイプを識別するインデックスが符号化される。例として、インデックス0は、トリリニア補間を識別し、インデックス1は、プリズム補間を識別し、インデックス2は、三角錐補間を識別し、インデックス3は、四面体補間を識別する。
変形例によれば、LUTの必ずしも全ての頂点がビットストリーム内に符号化されるものではない。例えば、頂点の全ての残差の絶対値または全ての量子化された残差の絶対値が閾値TH未満である場合には、その頂点に対して符号化される残差は存在しない。例えば、TH=0またはTH1である。したがって、各頂点に対し、その頂点に対して少なくとも1つの残差が符号化されているかどうかを示すバイナリ・フラグがビットストリーム内に符号化される。変形例によれば、各頂点の各色値に対し、その色値に対して残差が符号化されているか、或いは、残差が符号化されておらず、零であると推定されるかを示すバイナリ・フラグが符号化される。別の変形例においては、図9Cに描かれている特定の頂点のみが符号化される。この図面において、八分空間毎に、8個の頂点のうち、4つの頂点のみが符号化される。
通常、LUTは、レンダリング表示色順応または色域スケーラビリティなどのアプリケーションにおけるビデオのピクチャの変換に使用するために、ビットストリーム内に符号化される。LUTは符号化され、ビデオと共に送信されることがある。符号化方法で3D LUTの何らかの部分がアプリケーションによって使用されないことが分かっている場合には、3D LUTのこの部分に属する頂点は符号化されない。同様に、符号化方法で、ビデオの最終的なレンダリングに対する3D LUTの何らかの部分による影響が小さいことが分かっている場合には、3D LUTのこの部分に属する頂点は符号化されない。
この方法は、3D LUT全体の符号化のために再帰的に適用される。この場合、八分木の全ての八分空間が符号化される。現在の八分空間の全ての頂点が符号化されると、現在の八分空間の子八分空間の頂点が符号化される。
当業者は、「八分空間の頂点を符号化する」ことが「八分空間を符号化する」と称されることがあることを理解するであろう。当業者はまた、「頂点についての値を符号化する」ことが「頂点を符号化する」と称されることがあることを理解するであろう。
変形例においては、3D LUTは、符号化される前に、前処理される。この場合、スプリット・フラグが八分木における各八分空間に関連付けられ、当初、“false”に設定される。前処理ステップの間、各八分空間に対し、スプリット・フラグ値が求められる。現在の八分空間の符号化されるべき少なくとも1つの頂点が、量子化されている可能性のある、THを超える少なくとも1つの残差を有する場合には、その親八分空間のスプリット・フラグは、“true”に設定される。レベルNの現在の八分空間のスプリット・フラグは、したがって、その直接の子(すなわち、レベルN+1の子)が再帰的に符号化されるか、依然として符号化されていないその全ての子(すなわち、レベルN+k(k>0)の子)の頂点の全ての残差が零であると推定されるかを示す。
符号化ステップの間、スプリット・フラグおよび残差がビットストリーム内に符号化される。現在の八分空間の全ての頂点が符号化されると、現在の八分空間のスプリット・フラグが“true”〔真〕であれば、現在の八分空間の子八分空間の頂点が符号化される。好ましくは、2つの八分空間に属する頂点は、一度のみ符号化される。変形例においては、幾つかの八分空間の間で共有される頂点は、2回以上符号化される。具体的には、頂点は、相異なる値で、すなわち、この頂点が属する各八分空間毎に1つの値で、数回符号化される。図9Dを参照すると、頂点V1が八分空間(j)と八分空間(j−1)との間で共有されている。したがって、V1は、八分空間(j)に対して一方の値で、八分空間(j−1)に対してもう一方の値で、2度符号化される。一方の値およびもう一方の値は異なることがある。同様に、4個の八分空間の間で共有される頂点V2は、4回符号化されることがある。
3D LUTは、例えば、AVC、HEVC、SVC、または、SHVCビデオ符号化規格で規定されるVPS(ビデオ・パラメータ・セット(Video Parameter Set))、SPS(シーケンス・パラメータ・セット(Sequence Parameter Set))、PPS(ピクチャ・パラメータ・セット(Picture Parameter Set))または1つのSEIメッセージ(付加拡張情報(Supplemental Enhancement Information))で符号化される。例えば、3D LUTは、以下に規定されているもののような、SEIメッセージ内に符号化される。LUTのサイズSもまた、ビットストリーム内に必要に応じて符号化される。Sは、一方向の頂点の数である。
変形例によれば、n個の関連する色値を有する頂点から構成される1つの3D LUTを符号化する代わりに、1つの色値を有する頂点から構成されるn個の3D LUTが符号化される。例えば、上述したように、n=3である。
変形例によれば、3D LUTのサイズがS=2である場合、3×3の利得行列に復号された3D LUTからのオフセットを加えたものを算出し、それを3D LUTの代わりにCMFとして使用することを復号器に示すフラグが符号化される。
別の変形例によれば、n個の関連付けられた色値を有する頂点から構成される1つの3D LUTを使用してローカルで規定された色変換のパラメータを符号化する。例示的には、3D LUTの各頂点は、色変換を表現する12個の色値に関連付けられる。3個の色値(V,V,V)を現在の頂点Vに関連付ける代わりに色変換を表現する12個の色値が頂点V(r,g,b)に関連付けられる。ここで、i=0、1、または、2である12個の色値[ai,bi,ci,oi]が規定され、以下の式が証明される。
Figure 2020092455
変形例によれば、i=0、1、または、2であるパラメータ[ai,bi,ci]のみが頂点に関連付けられる。
実際、サイズ2の3D LUT(8個の頂点を有する単一の八分空間)の場合には、頂点の3つの色値を選択して、3D LUTが以下の式によって規定される利得−オフセット・モデルに相当するものとなるようにすることができる。
Figure 2020092455
このようにするため、8個の頂点A〜H―の3つの色値(y,u,v)X=A,・・・Hを以下の値に設定する必要がある。
Figure 2020092455
Kは、各色値を表現するために使用されるビットの数に依存する定数である。これは、色値が8ビット上で表現される場合には、K=255となり、色値が10ビット上で表現される場合には、K=1023となる、などである。そして、トリリニア補間は、利得−オフセット・モデルに相当する。
図10は、本発明の例示的な実施形態に係る復号方法のフローチャートを表現している。
ステップ140において、ビットストリームFから少なくとも1つの残差が復号される。復号は、通常、エントロピー復号を含む。変形例によれば、復号は、量子化された残差をエントロピー復号し、“quantizer”qを用いて量子化された残差を逆量子化することを含む。エントロピー復号には、指数ゴロム、ハフマン、CABAC(コンテクスト適応型バイナリ算術符号化(Context Adaptive Binary Arithmetic Coding)の英語の頭文字をとったもの)のような従来のバイナリ復号技術を利用することができる。
必要に応じて、復号方法は、ビットストリームFから“quantizer”値qを復号することを含む。
変形例によれば、LUTの必ずしも全ての頂点がビットストリームF内に符号化されるものではない。必要に応じて、各頂点に対し、その頂点のために少なくとも1つの残差が符号化されているかどうかを示すバイナリ・フラグがビットストリームから復号される。符号化される残差が存在しない場合には、この頂点の残差は零であると仮定される。
ステップ142において、現在の頂点の少なくとも1つの色値が、近傍の頂点に関連付けられた再構築された色値から予測される。頂点V0(c1,c2)を色値の対応する組(V0C1,V0C2)に関連付ける2D LUTの例が図5に描かれている。頂点V0に関連付けられた色値が空間的に近傍の頂点V1、V2、V3、およびV4から予測される。例として、予測子P(Pc1,Pc2)が補間を用いて以下のように算出される。
Pc1=0.25(V1c1+V2c1+V3c1+V4c1
Pc2=0.25(V1c2+V2c2+V3c2+V4c2
変形例によれば、2D LUTは、頂点V0(c1,c2)を、一対の値(V0c1,V0c2)の代わりに一組のパラメータ(m11,m12,m21,m22,o1,o2)に関連付ける。このパラメータの組は、以下のようにV0の値(c1,c2)から値(V0C1,V0C2)を再構築するために使用することができる。
V0c1=m11c1+m12c2+o1
V0c2=m21c1+m22c2+o2
頂点V0に関連付けられたパラメータは、例えば、空間的に近傍の頂点V1(c1,c2)、V2(c1,c2)、V3(c1,c2)およびV4(c1,c2)に関連付けられた再構築されたパラメータから予測される。例えば、予測値は、現在の頂点のパラメータに対し、補間を使用して計算される。ステップ144において、頂点が再構築される。より正確には、現在の頂点の少なくとも1つの色値がその予測値および復号された少なくとも1つの残差から再構築される。
例として、2D LUTの場合には、現在の頂点V0に対し、2つの残差RC1およびRC2が復号される。現在の頂点は、したがって、その2つの色値を算出することによって、以下のように再構築される。(Rc1+Pc1)および(Rc2+Pc2)
変形例によれば、復号方法は、ビットストリームFから、頂点の少なくとも1つの色値を予測するために使用される補間タイプを復号することをさらに含む。より正確には、ビットストリームから補間タイプを識別するインデックスが復号される。例として、インデックス0は、バイリニア補間を識別し、インデックス1は、最近傍頂点値補間を識別する。
LUTのサイズもまた、必要に応じてビットストリームから復号される。
図11は、本発明の別の例示的な実施形態に係る復号方法のフローチャートを表現している。この方法は、八分空間を使用して、頂点の格子として規定される3D LUTを復号するためのものであり、色値のトリプレットは、格子の各頂点に関連付けられる。開示されるこの復号方法は、現在の八分空間に属する格子の現在の頂点Vを復号するものである。
ステップ150において、3つの残差res、res、resがビットストリームFから復号される。通常、復号は、エントロピー復号を含む。変形例によれば、復号は、量子化された残差をエントロピー復号し、“quantizer”qを用いて量子化された残差を逆量子化することを含む。エントロピー復号には、指数ゴロム、ハフマン、CABAC(コンテクスト適応型バイナリ算術符号化(Context Adaptive Binary Arithmetic Coding)の英語の頭文字をとったもの)のような従来のバイナリ復号技術を利用することができる。
必要に応じて、復号方法は、ビットストリームFから“quantizer”値qを復号することを含む。
変形例によれば、LUTの必ずしも全ての頂点がビットストリームF内に符号化されるものではない。必要に応じて、各頂点に対し、少なくとも1つの残差がその頂点のために符号化されているかどうかを示すバイナリ・フラグがビットストリームから復号される。符号化されている残差が存在しない場合には、この頂点の残差は零であると仮定される。
別の変形例においては、図9Cに描かれているように、特定の頂点のみが復号される。この図において、八分空間毎に8個の頂点のうち4個のみが復号される。
ステップ152において、座標(r,g,b)の現在の頂点Vに関連付けられた3つの色値(V,V,V)の各々は、近傍の頂点、すなわち、現在の八分空間の親八分空間に属する頂点に関連付けられた再構築された色値から予測される。表記を簡略化するために、(c1,c2,c3)の代わりに(r,g,b)が使用される。しかしながら、本発明は、(R,G,B)の色空間に限定されるものではない。本発明は、(Y,U,V)や(Y,Cb,Cr)などの色空間表現に適用することができる。
したがって、各色値に対し、例えば、図8に示されているようなトリリニア補間を使用して予測値が求められる。
Figure 2020092455
ここで、i=0、1であり、j=0であり、k=0、1である(ri,gj,bk)は、3D色空間内の親八分空間の頂点の座標であり、(r,g,b)は、現在の頂点の座標であり、
Figure 2020092455
は、頂点(ri,gj,bk)に関連付けられた最初の色値であり、
Figure 2020092455
であり、
(t)=t−t、およびs(t)=t−tであり、t=r、g、またはbである。
gおよびbに対し、これと同じ式が使用される。プリズム、三角錐、四面体などの他の補間タイプを使用することができる。格子は、必ずしも、図9Aに描かれているように均一ではない。
ステップ152の変形例において、インデックスjの現在の八分空間の座標(r,g,b)の現在の頂点Vに関連付けられた3つの色値(V,V,V)の各々は、座標(r,g,b)の1つの近傍の頂点Vp、すなわち、インデックス(j−1)の近傍の八分空間に属する頂点に関連付けられた少なくとも1つの再構築された色値から予測される。近傍の八分空間は、現在の八分空間と少なくとも1つの頂点を共有する八分空間であり、且つ/または、符号化八分空間リスト内で現在の八分空間に先行する八分空間である。符号化八分空間リストは、八分空間の符号化順序を特定するリストである。特定の実施形態においては、全ての八分空間は、全く同一のレベルに属する。したがって、図9Bに示されているように、成分rについて、各色に対して予測値が求められる。
Figure 2020092455
ここでPredAは、3D LUT内の頂点の位置に依存した値であり、PredBは、近傍の頂点Vpに関連付けられた再構築された色値に依存する値である。例えば、PredAは、rである。例示的には、PredB=V’r−PredA’である。ここで、V’rは、近傍の八分空間の頂点Vpの再構築された色値であり、PredA’は、3D LUT内の頂点Vpの位置に依存する値である。例えば、PredA’は、rである。これと同じ式がgおよびbに対しても使用される。
ステップ154において、現在の頂点に対し、3つの色値が算出され、したがって、その予測値および対応する復号された残差(res,res,res)から再構築される。現在の頂点は、したがって、3つの色値を算出することによって、以下のように再構築される。
Figure 2020092455

Figure 2020092455
、および
Figure 2020092455
レベル0の八分空間は、親八分空間を有していない。同様に、符号化八分空間における最初の八分空間は、先行する八分空間を有していない。結果として、この八分空間の現在の頂点Vに関連付けられた3つの色値(V,V,V)の各々は、既知の色値、例えば、値128から予測される。変形例によれば、この八分空間の現在の頂点Vに関連付けられた3つの色値(V,V,V)の各々は、同一の八分空間に属する近傍の頂点に関連付けられた既に再構築済の色値から予測される。
この方法は、3D LUT全体の復号のために再帰的に適用される。好ましくは、2つの八分空間に属する頂点は、一度のみ復号される。変形例においては、幾つかの八分空間の間で共有される頂点は、2回以上復号される。具体的には、頂点は、相異なる値で、すなわち、この頂点が属する各八分空間毎に1つの値で、数回復号される。図9Dを参照すると、頂点V1が八分空間(j)および八分空間(j−1)との間で共有されている。したがって、V1は、八分空間(j)に対して一方の値で、八分空間(j−1)に対してもう一方の値で、2度復号される。一方の値およびもう一方の値は異なることがある。同様に、4個の八分空間の間で共有される頂点V2は、4回復号されることがある。
現在の八分空間(レベルN)の全ての頂点が復号されると、現在の八分空間の子(レベルN+1)八分空間の頂点が復号される。
変形例によれば、レベルNの現在の八分空間に対し、その直接の子(すなわち、レベルN+1の子)が再帰的に復号されるか、依然として復号されていないその全ての子(すなわち、レベルN+kの子(k>0)))の頂点の全ての残差が零であると推定されるかを示すスプリット・フラグが復号される。
変形例によれば、復号方法は、頂点の少なくとも1つの色値を予測するために使用される補間タイプをビットストリームFから復号することをさらに含む。より正確には、補間タイプを識別するインデックスがビットストリームから復号される。例として、インデックス0は、トリリニア補間を識別し、インデックス1は、プリズム補間を識別し、インデックス2は、三角錐補間を識別し、インデックス3は、四面体補間を識別する。
3D LUTは、例えば、AVC、HEVC、SVC、または、SHVCビデオ符号化規格で規定されるVPS、SPS、PPS、または1つのSEIメッセージから復号される。LUTのサイズもまた、必要に応じて、ビットストリームから復号される。例えば、3D LUTは、以下に規定されたもののような、SEIメッセージにおいて復号される。
変形例によれば、n個の色値を有する頂点から構成される1つの3D LUTを復号する代わりに、1つの色値を有する頂点から構成されるn個の3D LUTが復号される。例えば、n=3である。
変形例によれば、3D LUTサイズがS=2である場合、3×3の利得行列に復号された3D LUTからのオフセットを加えたものを算出し、それを3D LUTの代わりにCMFとして使用することを復号器に示すフラグが復号される。
図4および図6に係る符号化方法に関して開示される同一の変形例が復号器側にも適用される。
図4、図6、図10、および図11において、表現されているボックスは、純粋に、機能的なものであり、物理的に別個のものに必ずしも対応するものではない。
当業者であれば理解できるであろうが、本願の原理の態様は、システム、方法、または、コンピュータ読み取り可能な媒体として実施することができる。したがって、本願の原理の態様は、完全にハードウェアの実施形態をとることも、(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)完全にソフトウェアの実施形態をとることも、「回路」、「モジュール」、または、「システム」として本明細書中で全てが一般的に参照されるソフトウェアの態様およびハードウェアの態様を組み合わせた実施形態をとることもできる。さらに、本願の原理の態様は、コンピュータ読み取り可能な記憶媒体の形態をとることもできる。1つ以上のコンピュータ読み取り可能な媒体を任意に組み合わせて使用することができる。
図面内のフローチャートおよび/またはブロック図は、本発明の様々な実施形態に係るシステム、方法、およびコンピュータ・プログラムの製品の想定される実施態様の構成、動作、機能を示している。この点に関し、フローチャートまたはブロック図内の各ブロックは、モジュール、セグメント、または、コードの部分を表現し、これは、特定の論理機能を実施するための1つ以上の実行可能な命令を含む。なお、幾つかの代替的な実施態様においては、ブロック内に示された機能の順序が図面に示された順序ではないことがある。例えば、連続して示されている2つのブロックは、実際には、概ね同時に実行されることもある。または、ブロックは、時折は、逆の順序で実施されることもあれば、ブロックは、関連する機能に依存して、代替的な順序で実行されることもある。なお、例示したブロック図および/またはフローチャートの各ブロック、例示したブロック図および/またはフローチャートのブロックの組み合わせは、特定の機能または動作を実行する特定目的ハードウェア・ベースのシステム、または、特定目的ハードウェアおよびコンピュータの命令の組み合わせによって実施することができる。明示的に記載されていないが、本願の実施形態を任意に組み合わせることも、部分的に組み合わせることもできる。
さらに、3D LUTなどのLUTを符号化したビットストリームが開示される。図示した符号化方法によって生成されるビットストリームは、頂点の格子として規定される少なくともLUTを符号化したものである。少なくとも1つの色値は、格子の各頂点に関連付けられ、上記ビットストリームには、現在の頂点の少なくとも1つの色値とその予測値との間で算出された少なくとも1つの残差が符号化されている。
例示的な実施形態は、文書ITU−T SG16 WP3とISO/IEC JTC1/SC29/WG11とのビデオ符号化(JCT−VC)についての共同チームの文書JCTVC−L1003に規定されているHEVC符号化規格のフレームワーク内で、または、ITU−T SG16 WP3とISO/IEC JTC1/SC29/WG11とのビデオ符号化(JCT−VC)についての共同チームの文書JCTVC−L1008に規定されているHEVC符号化規格のスケーラブル拡張であるSHVC符号化規格のフレームワーク内で提案される。この規格は、符号化されたデータのどのようなストリームもこの規格に対応するように準拠しなければならないというシンタックスを規定している。特に、このシンタックスは、様々な情報がどのように符号化されるかを規定する(例えば、シーケンスに含まれるピクチャに関連するデータ、動きベクトルなど)。SHVC符号化規格の観点から、LUTは、PPSまたはVPSに符号化できる。シンタックス要素であるuse_color_predictionは、表1に示されているように、現在のピクチャにおける色予測値の使用を示すために使用される。
Figure 2020092455
use_color_predictionフラグが「1」である場合には、3D_LUT_color_data関数が呼び出され、表2に示された3D LUTデータを信号で伝達する。
Figure 2020092455
nbpCodeは、nbpCodeの所与の値に対し、表4に列挙されている3D LUTのサイズを示す。“quantizer”値は、3D_LUT_color_data()関数によって符号化することができる。
変形例によれば、3D_LUT_color_data()は、以下のように、表3に規定される。
Figure 2020092455
nbpCodeは、nbpCodeの所与の値に対し、表4に列挙されている3D LUTのサイズを示す。量子化値は、3D_LUT_color_data()関数によって符号化することができる。
NbitsPerSampleは、色値を表現するために使用されるビットの数を示す。
Figure 2020092455
八分空間(レイヤ,y,u,v)の復号は、表4に示されているように再帰関数である。各八分空間は、残差色値が符号化されているか、全てが零であると推定されるかを示すフラグ(encoded_flag[i])に関連付けられた8個の頂点から構成される。色値は、残差を色値の予測値に加えることによって再構築される。色値の予測値は、例えば、layer_id−1の8個の近傍の頂点のトリリニア補間を使用して算出される。
Figure 2020092455
別の有益な実施形態によれば、LUTは、SEIメッセージ内に符号化される(SEIは、「補助拡張情報(Supplemental Enhancement Information)を表す」)。HEVC規格は、その附属書Dにおいて、SEIと呼ばれる追加的な情報が符号化される方法を規定している。この追加的な情報は、payloadTypeと呼ばれるフィールドによってシンタックス内で参照される。SEIメッセージは、例えば、表示に関連する処理における支援を行う。なお、復号装置がその使用に必要な機能を有していない場合には、この情報は考慮されない。本発明の特定の実施形態によれば、SEIメッセージの新たなタイプが規定されて3D LUTに関連する追加的な情報を符号化できるようにする。この目的のため、まだ使用されていない値の中から、フィールドpayloadTypeのための新たな値が規定される(例えば、payloadTypeは24である)。
SEIデータのシンタックス(すなわち、sei_payload)は、以下のように拡張される。
Figure 2020092455
変形例によれば、SEIメッセージは、さらに、例えば、color_description_present_flagの後に、インジケータcolor_interpolator_idを含む。このインジケータcolor_interpolator_idの値は、表7に規定されているように、補間のタイプを示す。
Figure 2020092455
このSEIメッセージは、特定の表示環境に合わせるようにカスタマイズするための出力された復号済のピクチャの色サンプルの再マッピングを可能にする情報を提供する。再マッピング処理は、RGB色空間における符号化されたサンプル値を対象のサンプル値にマッピングする。マッピングは、輝度またはRGBの色空間領域内のいずれかで表現され、したがって、輝度成分または復号されたピクチャの色空間変換によって生成された各RGB成分に適用されるとよい。
3D_LUT_color_data()は、表2または表3に規定されている。
復号された3D LUTは、例えば、NALユニット・ヘッダのインデックスnuh_layer_idによって識別されるレイヤに属する復号されたピクチャに適用される(SEIメッセージのITU−T SG16 WP3とISO/IEC JTC1/SC29/WG11とのビデオ符号化(JCT−VC)についての共同チームの文書JCTVC−L1003に規定されている文書HEVC符号化規格のセクション7.3.1.2参照)。
color_map_idは、色マッピング・モデルの目的を識別するために使用されることがある識別番号を含む。color_map_idの値は、アプリケーションが定めるように使用することができる。color_map_idは、相異なる表示シナリオに適した色マッピング動作をサポートするように使用することができる。例えば、color_map_idの相異なる値は、相異なる表示ビット深度に対応することがある。
color_map_cancel_flagが1である場合、これは、色マッピング情報SEIメッセージが、出力順で前にある任意の色マッピング情報SEIメッセージの持続性を解消することを示す。color_map_cancel_flagが0である場合、これは、色マッピング情報が続くことを示す。
color_map_repetition_periodは、色マッピング情報SEIメッセージの持続性を規定し、color_map_idの同一の値を有する別の色マッピング情報SEIメッセージが存在するピクチャ・オーダ・カウント間隔を規定するか、または、符号化されたビデオ・シーケンスの最後がビットストリーム内に存在していなければならないことを規定することがある。color_map_repetition_periodが0である場合、これは、現在の復号済のピクチャのみに色マップ情報が適用されることを規定する。
color_map_repetition_periodが1である場合、これは、以下の条件のいずれかが当てはまるまで出力順で色マップ情報が持続することを規定する。
・新たに符号化されたビデオ・シーケンスが開始する。
・color_map_idの同じ値を有する色マッピング情報SEIメッセージを含むアクセス単位のピクチャが、PicOrderCnt(CurrPic)で示される現在復号済のピクチャのピクチャ・オーダ・カウント(POCとして知られる)を超えるPOCを有して出力される。
color_map_repetition_periodが0である、または1である場合、これは、color_map_idの同一の値を有する別の色マッピング情報SEIメッセージが存在する、または、存在しないことを示す。
color_map_repetition_periodが1を超える場合、これは、以下の条件のいずれかが当てはまるまで色マップ情報が持続することを規定する。
・新たな符号化されたビデオ・シーケンスが開始する。
・color_map_idの同じ値を有する色マッピング情報SEIメッセージを含むアクセス単位のピクチャが、PicOrderCnt(CurrPic)を超え、PicOrderCnt(CurrPic)+color_map_repetition_period以下であるPOCを有して出力される。
color_map_repetition_periodが1を超える場合、これは、color_map_idの同じ値を有する別の色マッピング情報SEIメッセージが、PicOrderCnt(CurrPic)を超え、PicOrderCnt(CurrPic)+color_map_repetition_period以下であるPOCを有して出力されるアクセス単位のピクチャのために存在することを示す。これは、ビットストリームが終了するか、このようなピクチャの出力無しに新たな符号化されたビデオ・シーケンスが開始する場合を除く。
color_description_present_flagが1である場合、これは、colour_primaries_input_idおよびcolour_primaries_output_idが存在することを規定する。
color_description_present_flagが0である場合、これは、colour_primaries_input_idおよびcolour_primaries_output_idが存在しないことを規定する。
color_primaries_input_idは、ISO11664−1によって規定されるxおよびyのCIE1931定義の観点から、表8に規定されているようなソース・プライマリ(原色)の色度座標を示す。
color_primaries_input_idは、3D色LUTが適用されたときの、ISO11664−1によって規定されるxおよびyのCIE1931定義の観点から、表8に規定されているような色マッピングされた原色の色度座標を示す。
color_output_rgbが1である場合、これは、出力色サンプルが輝度信号および彩度信号であることを示す。color_output_rgbが0である場合、これは、出力色サンプルが緑値、赤値、青値であることを示す。
lut_bit_depth_minus8は、3D LUTサンプルのビット深度を規定する。
nbp_codeは、このnbp_codeの所与の値に対し、3D LUTサイズnbpを表4に列挙されているように示す。
3D LUT復号の出力は、nbp×nbp×nbpのサイズの3次元アレイLUTである。各LUTアレイ要素は、頂点とよばれ、(lut_bit_depth_minus8+8)であるビット深度の3つの再構築されたサンプル値(recSamplesY,recSamplesU,recSamplesV)に関連付けられている。i%(nbp>>layer_id)、j%(nbp>>layer_id)、およびk%(nbp>>layer_id)の値が零である場合には、頂点lut[i][j][k]は、レイヤlayer_idに属しているといえる。1つの頂点が複数のレイヤに属することがある。レイヤlayer_idの八分空間は、layer_idに属する8個の近傍の頂点から構成される(図14)。
八分空間(layer_id,y,u,v)の復号は、再帰関数である。各八分空間は、残差成分の値(resY[i],resU[i],resV[i])が符号化されているか、全て零であると推定されているかを示すフラグ(encoded_flag[i])に関連付けられた8個の頂点(i=0,・・・7)から構成される。成分値は、この成分値の予測値に対して残差を加えることによって再構築される。成分値の予測値は、layer_id−1の8個の近傍の頂点のトリリニア補間を使用して算出される。再構築されると、頂点は、再構築済であるとマークされる。
ここで、(y+dy[i])、(u+du[i])、および(v+dv[i])は、(最初の頂点(i=0)座標として(y,u,v)を有する)現在の八分空間の8個の子八分空間の座標(最初の3D色頂点の座標)である。所与のレイヤに対する値dy[i]、du[i]、およびdv[i]が表9に描かれている。
Figure 2020092455
Figure 2020092455
表9:レイヤ=layer_idに属する頂点に対する、インデックスiの関数における値dy[i]、du[i]およびdv[i]
レイヤ=layer_idの八分空間に属する頂点((y+dy[i])、(u+du[i])、(v+dv[i]))に対する再構築された3D色LUTサンプル(recSamplesY[i],recSamplesU[i],recSamplesV[i])は、以下のように与えられる。
recSamplesY[i] = resY[i]+predSamplesY[i]
ここで、predSampleY[i]の値は、現在の八分空間を含むレイヤ=layer_id−1の八分空間の頂点でトリリニア補間を使用して導出される。
図12は、符号化器1の例示的なアーキテクチャを表現している。符号化器は、符号化方法のステップを実行するように構成される。符号化器1は、データおよびアドレス・バス64によって互いにリンクされた要素として、
例えば、DSP(すなわち、ディジタル信号プロセッサ(Digital Signal Processor))であるマイクロプロセッサ61(またはCPU)と、
ROM(すなわち、読み出し専用メモリ(Read Only Memory))62と、
RAM(すなわち、ランダム・アクセス・メモリ(Random Access Memory))63と、
例えば、キーボード、マウス、ウェブカムなどの、1つまたは幾つかのI/O(入出力(Input/Output))装置65と、
電源66と、を含む。
変形例によれば、電源66は、符号化器の外部に存在する。図12のこれらの要素の各々は、当業者にとって良く知られており、さらなる開示は行わない。明細書中で使用されている単語<<レジスタ>>は、上述したメモリの各々において、(何らかのバイナリ・データ用の)低容量の記憶領域と共に、(プログラム全体の記憶を可能にする、または、計算されるデータを表現するデータの全て或いは一部を表示可能にする)大容量の記憶領域の双方を示す。ROM62は、プログラムおよび符号化パラメータ(閾値THなど)を含む。本発明に係る符号化方法のアルゴリズムは、ROM62に記憶される。スイッチがオンになると、CPU61は、RAM内のプログラム620をアップロードして、対応する命令を実行する。
RAM63は、レジスタ内で、符号化器1のスイッチがオンになった後にCPU61によって実行され、アップロードされるプログラムと、レジスタ内の入力データと、レジスタ内に符号化方法の異なる状態で符号化されたデータと、レジスタ内での符号化のために使用される他の変数と、を含む。
図13は、復号器2の例示的なアーキテクチャを表現している。復号器は、復号方法のステップを実行するように構成される。復号器2は、データおよびアドレス・バス74によって互いにリンクされた要素として、
例えば、DSP(すなわち、ディジタル信号プロセッサ(Digital Signal Processor))であるマイクロプロセッサ71(またはCPU)と、
ROM(すなわち、読み出し専用メモリ(Read Only Memory))72と、
RAM(すなわち、ランダム・アクセス・メモリ(Random Access Memory))73と、
送信するデータをアプリケーションから受信するためのI/Oインタフェース75と、
バッテリ76と、を含む。
変形例によれば、バッテリ76は、符号化器の外部に存在する。図13のこれらの要素の各々は、当業者にとって良く知られており、さらなる開示は行わない。上述したメモリの各々において、明細書中で使用されている単語<<レジスタ>>は、小容量の記憶領域(何らかのビット)と共に、極めて大きな領域(例えば、プログラム全体、或いは、大量の受信または復号されるデータ)に対応することがある。ROM72は、少なくともプログラムおよび復号器パラメータを含む。本発明に係る復号方法のアルゴリズムは、ROM72に記憶される。スイッチがオンになると、CPU71は、RAM内のプログラム720をアップロードして、対応する命令を実行する。
RAM73は、レジスタ内に、復号器2のスイッチがオンになった後にCPU71によって実行され、アップロードされるプログラムと、レジスタ内の入力データと、レジスタ内に復号方法の異なる状態で復号されたデータと、レジスタ内での復号のために使用される他の変数と、を含む。
本明細書中に記載された実施態様は、例えば、方法またはプロセス、装置、ソフトウェア・プログラム、データストリーム、または信号において実施されることがある。単一の形態の実施態様として説明されている場合であっても(例えば、方法または装置としてのみ説明されている場合であっても)、説明された特徴事項の実施態様が他の形態で実施されることがある(例えば、プログラム)。装置は、例えば、適切なハードウェア、ソフトウェア、およびファームウェアで実施されることがある。この方法は、例えば、装置で実施されることがある。この装置としては、例えば、プロセッサが挙げられ、このプロセッサは、一般的には、例えば、コンピュータ、マイクロプロセッサ、集積回路、または、プログラマブル・ロジック装置を含む処理装置を指す。プロセッサは、さらに、例えば、コンピュータ、携帯電話、携帯/個人情報端末(PDA)などの通信装置、およびエンドユーザ間の情報の通信を容易にするその他の装置を含む。
本明細書中に記載した様々な処理および特徴事項の実施態様は、様々な機器またはアプリケーションで実施されることがある。このような機器の例としては、符号化器、復号器、復号器からの出力を処理するポストプロセッサ、符号化器に入力を提供するプリプロセッサ、ビデオ符号化器、ビデオ復号器、ビデオ・コーデック、ウェブ・サーバ、セットトップ・ボックス、ラップトップ、パーソナル・コンピュータ、携帯電話、PDA、および他の通信装置が挙げられる。機器は、モバイルのものでもよく、モバイル車両に備え付けられたものであってもよいことは明らかであろう。
さらに、方法は、プロセッサによって実行される命令よって実施してもよく、このような命令(および/または実施態様によって生成された値)は、例えば、集積回路、ソフトウェア・キャリア、または、例えば、他の記憶装置のようなプロセッサ読み取り可能媒体に記憶することができる。他の記憶装置としては、例えば、ハードディスク・コンパクト・ディスク(CD)、光学ディスク(例えば、ディジタル多用途ディスクまたはディジタル・ビデオ・ディスクと称することが多いDVD)、ランダム・アクセス・メモリ(RAM)、または読み取り専用メモリ(ROM)が挙げられる。命令は、プロセッサ読み取り可能媒体上に現実的に実装されるアプリケーション・プログラムを形成することがある。例えば、命令は、ハードウェアにあってもよく、ファームウェアにあってもよく、ソフトウェアにあってもよく、これらを組み合わせたものにあってもよい。例えば、命令は、オペレーティング・システム、別個のアプリケーション、またはこれらの2つを組み合わせたものに存在する。したがって、プロセッサは、例えば、プロセスを実行するように構成された装置とプロセスを実行するための命令を有する(記憶装置などの)プロセッサ読み取り可能媒体を含む装置との両方として特徴付けられる。さらに、プロセッサ読み取り可能媒体は、命令に加えて、または、命令の代わりに、実施態様によって生成されたデータ値を記憶することがある。
当業者であれば明らかであろうが、実施態様により、例えば、情報の記憶または送信を含み、情報を搬送するようにフォーマットされた様々な信号を生成することができる。情報は、例えば、方法を実行する命令、または、上述した実施態様のうちの1つによって生成されたデータを含むことがある。例えば、信号は、上述した実施形態のシンタックスの記述および読み取りのためのルールをデータとして搬送するようにフォーマットされてもよく、上述した実施形態によって記述された実際のシンタックス値をデータとして搬送するようにフォーマットされてもよい。このような信号は、例えば、(例えば、スペクトラムの無線周波数部分を使用して)電磁波として、または、ベースバンド信号としてフォーマットされてもよい。フォーマット処理には、例えば、データストリームを符号化し、符号化されたデータストリームでキャリアを変調することを含めることができる。信号を搬送する情報は、例えば、アナログ情報またはディジタル情報である。信号は、公知である様々な異なる有線または無線のリンクを介して送信されることがある。信号は、プロセッサ読み取り可能媒体上に記憶されることがある。
幾つかの実施態様について記載した。しかしながら、様々な改変を施すことができることが理解されよう。例えば、複数の異なる実施態様の要素の組み合わせ、追補、改変、または除去により他の実施態様を生み出すこともできる。さらに、開示されているものを他の構造および処理と置換して、結果として得られる実施態様が少なくとも概ね同様の方法で、少なくとも概ね同一の機能を実行し、開示されている実施態様と少なくとも概ね同一の効果を得られるようにできることを当業者であれば理解できよう。したがって、これらの実施態様およびその他の実施態様が本出願によって想定される。具体的には、本発明に係るLUTを符号化する方法は、各頂点に関連付けられている値のタイプがどのようなものであれ、どのような種類のLUTの符号化に使用することもできる。
いくつかの態様を記載しておく。
〔態様1〕
頂点の格子として規定されるLUTを符号化する方法であって、
少なくとも1つの値が前記格子の各頂点に関連付けられ、現在の頂点に対し、
前記現在の頂点に関連付けられた前記少なくとも1つの値を別の値から予測するステップ(40、50)と、
前記現在の頂点の前記少なくとも1つの値と前記現在の頂点の予測値との間で算出された少なくとも1つの残差をビットストリーム内に符号化するステップ(42、52)と、を含む、前記符号化する方法。
〔態様2〕
前記別の値は、近傍の頂点に関連付けられた再構築された値から得られる、態様1に記載の符号化する方法。
〔態様3〕
前記値は、色値である、態様1または2に記載の符号化する方法。
〔態様4〕
前記色値は、色変換を表現する、態様3に記載の符号化する方法。
〔態様5〕
前記現在の頂点に関連付けられた前記少なくとも1つの値を近傍の頂点に関連付けられた再構築された値から予測するステップは、前記近傍の頂点の対応する再構築された値から前記少なくとも1つの値を補間するステップを含む、態様2〜4のいずれか1項に記載の符号化する方法。
〔態様6〕
前記LUTは、八分木を使用して符号化された3D LUTであり、n個の値が前記格子の各頂点に関連付けられ、予測に使用される前記近傍の頂点は、前記現在の頂点が属する現在の八分空間の親八分空間に属する、態様2〜5のいずれか1項に記載の符号化する方法。
〔態様7〕
頂点の格子として規定されるLUTを復号する方法であって、
少なくとも1つの値が前記格子の各頂点に関連付けられ、現在の頂点に対し、
ビットストリームから少なくとも1つの残差を復号するステップ(140、150)と、
前記現在の頂点に関連付けられた前記少なくとも1つの値を別の値から予測するステップ(142、152)と、
前記現在の頂点の前記少なくとも1つの値を前記現在の頂点の予測値と前記復号された少なくとも1つの残差とから再構築するステップ(144、154)と、を含む、前記復号する方法。
〔態様8〕
前記別の値は、近傍の頂点に関連付けられた再構築された値から得られる、態様7に記載の復号する方法。
〔態様9〕
前記値は、色値である、態様7または8に記載の復号する方法。
〔態様10〕
前記色値は、色変換を表現する、態様9に記載の復号する方法。
〔態様11〕
前記現在の頂点に関連付けられた前記少なくとも1つの値を近傍の頂点に関連付けられた再構築された値から予測するステップは、前記近傍の頂点の対応する再構築された値から前記少なくとも1つの値を補間するステップを含む、態様8〜10のいずれか1項に記載の復号する方法。
〔態様12〕
前記LUTは、八分木を使用して復号された3D LUTであり、n個の値が前記格子の各頂点に関連付けられ、前記近傍の頂点は、前記現在の頂点が属する現在の八分空間の親八分空間に属する、態様8〜11のいずれか1項に記載の復号する方法。
〔態様13〕
頂点の格子として規定されるLUTを符号化する符号化器であって、
少なくとも1つの値が前記格子の各頂点に関連付けられ、現在の頂点に対し、
前記現在の頂点に関連付けられた前記少なくとも1つの値を別の値から予測する手段と、
前記現在の頂点の前記少なくとも1つの値と前記現在の頂点の予測値との間で算出された少なくとも1つの残差をビットストリーム内に符号化する手段と、を含む、前記符号化器。
〔態様14〕
前記別の値は、近傍の頂点に関連付けられた再構築された値から得られる、態様13に記載の符号化器。
〔態様15〕
頂点の格子として規定されるLUTを復号する復号器であって、
少なくとも1つの値が前記格子の各頂点に関連付けられ、
ビットストリームから現在の頂点に関連付けられた少なくとも1つの残差を復号する手段と、
前記現在の頂点に関連付けられた前記少なくとも1つの値を別の値から予測する手段と、
前記現在の頂点の前記少なくとも1つの値を前記現在の頂点の予測値と前記復号された少なくとも1つの残差とから再構築する手段と、を含む、前記復号器。
〔態様16〕
前記別の値は、近傍の頂点に関連付けられた再構築された値から得られる、態様15に記載の復号器。

Claims (19)

  1. データをエンコードする方法であって:
    フラグを、データ・ペイロードが原色入力データを含むことを示す値に設定するかどうかを決定する段階であって、前記データ・ペイロードは装置における使用のためのものであり、前記装置は前記データ・ペイロードおよび前記装置によって表示されるべき画像のストリームを受領するものである、段階と;
    前記フラグが前記値に設定されているとき、前記原色入力データを前記データ・ペイロードにエンコードする段階とを含む、
    方法。
  2. 前記データ・ペイロードは、表示装置上で前記画像を表示するのに前記装置によって使用される該表示装置へのカスタマイズのために前記画像の色値をマッピングするために、前記装置が使用するための付加拡張情報である、請求項1記載の方法。
  3. 前記エンコードすることが:前記原色入力データを前記データ・ペイロード中に格納することを含む、請求項2記載の方法。
  4. 前記データ・ペイロードはさらに、色マッピング関数を実行するのに使うための3次元(3D)ルックアップ・テーブルをさらに含み、前記3Dルックアップ・テーブルは頂点の格子を有しており、各頂点が色値に関連付けられている、請求項3記載の方法。
  5. 前記原色入力データが、色空間におけるソース原色の色度座標を指定する、請求項3記載の方法。
  6. 前記3Dルックアップ・テーブルは、現在の八分空間を、前記現在の八分空間における頂点の少なくとも1つの値を別の値から予測して予測値を得て、前記頂点の前記少なくとも1つの値と前記予測値との間で計算される残差をエンコードすることによってエンコードされる、請求項4記載の方法。
  7. データ処理システムによって実行されると該データ処理システムにデータをエンコードする方法を実行させる実行可能命令を記憶している非一時的な機械可読媒体であって、前記方法は:
    フラグを、データ・ペイロードが原色入力データを含むことを示す値に設定するかどうかを決定する段階であって、前記データ・ペイロードは装置における使用のためのものであり、前記装置は前記データ・ペイロードおよび前記装置によって表示されるべき画像のストリームを受領するものである、段階と;
    前記フラグが前記値に設定されているとき、前記原色入力データを前記データ・ペイロードにエンコードする段階とを含む、
    媒体。
  8. 前記データ・ペイロードは、表示装置上で画像を表示するのに前記装置によって使用される該表示装置へのカスタマイズのために前記画像の色値をマッピングするために、前記装置が使用するための付加拡張情報である、請求項7記載の媒体。
  9. 前記エンコードすることが:前記原色入力データを前記データ・ペイロード中に格納することを含む、請求項8記載の媒体。
  10. 前記データ・ペイロードはさらに、色マッピング関数を実行するのに使うための3次元(3D)ルックアップ・テーブルをさらに含み、前記3Dルックアップ・テーブルは頂点の格子を有しており、各頂点が色値に関連付けられている、請求項9記載の媒体。
  11. 前記原色入力データが、色空間におけるソース原色の色度座標を指定する、請求項9記載の媒体。
  12. 前記3Dルックアップ・テーブルは、現在の八分空間を、前記現在の八分空間における頂点の少なくとも1つの値を別の値から予測して予測値を得て、前記頂点の前記少なくとも1つの値と前記予測値との間で計算される残差をエンコードすることによってエンコードされる、請求項10記載の媒体。
  13. データをデコードする方法であって:
    装置によって、該装置によって受領された画像のストリームを記述するデータ構造を受領する段階と;
    前記データ構造が、原色入力データを含むデータ・ペイロードを含んでいるかどうかを判定する段階であって、前記原色入力データは、前記装置に結合された表示装置で前記画像を表示するために前記画像を処理するために前記装置において使うためのものである、段階と;
    前記データ構造をデコードして、前記画像を表示するために前記原色入力データを使用する段階とを含む、
    方法。
  14. 前記データ構造によって記述されている画像の前記ストリームを受領する段階をさらに含み、
    前記装置は、前記データ・ペイロード中のフラグの値に基づいて、前記データ構造が前記原色入力データを含んでいることを判別する、
    請求項13記載の方法。
  15. 前記データ・ペイロードは、前記装置上で前記画像を表示するのに前記装置によって使用される表示装置へのカスタマイズのために前記画像の色値をマッピングするために、前記装置が使用するための付加拡張情報である、請求項14記載の方法。
  16. 前記データ・ペイロードはさらに、色マッピング関数を実行するのに使うための3次元(3D)ルックアップ・テーブルをさらに含み、前記3Dルックアップ・テーブルは頂点の格子を有しており、各頂点が色値に関連付けられている、請求項15記載の方法。
  17. 前記原色入力データが、色空間におけるソース原色の色度座標を指定する、請求項15記載の方法。
  18. 前記3Dルックアップ・テーブルは、現在の八分空間を、前記現在の八分空間における頂点の少なくとも1つの値を別の値から予測して予測値を得て、前記頂点の前記少なくとも1つの値と前記予測値との間で計算される残差をエンコードすることによってエンコードされる、請求項16記載の方法。
  19. 前記原色入力データが、色空間におけるソース原色の色度座標を指定する、請求項18記載の方法。
JP2020031455A 2013-04-08 2020-02-27 ルックアップ・テーブルを符号化する方法および復号する方法、並びに対応する装置 Active JP6957664B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021164377A JP7233501B2 (ja) 2013-04-08 2021-10-06 ルックアップ・テーブルを符号化する方法および復号する方法、並びに対応する装置

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
EP13305453.6 2013-04-08
EP13305453 2013-04-08
EP13306010.3 2013-07-15
EP13306010 2013-07-15
EP14305109 2014-01-27
EP14305109.2 2014-01-27
JP2018111122A JP2018157595A (ja) 2013-04-08 2018-06-11 ルックアップ・テーブルを符号化する方法および復号する方法、並びに対応する装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018111122A Division JP2018157595A (ja) 2013-04-08 2018-06-11 ルックアップ・テーブルを符号化する方法および復号する方法、並びに対応する装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021164377A Division JP7233501B2 (ja) 2013-04-08 2021-10-06 ルックアップ・テーブルを符号化する方法および復号する方法、並びに対応する装置

Publications (2)

Publication Number Publication Date
JP2020092455A true JP2020092455A (ja) 2020-06-11
JP6957664B2 JP6957664B2 (ja) 2021-11-02

Family

ID=50349595

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2016506828A Active JP6353896B2 (ja) 2013-04-08 2014-03-17 ルックアップ・テーブルを符号化する方法および復号する方法、並びに対応する装置
JP2018111122A Pending JP2018157595A (ja) 2013-04-08 2018-06-11 ルックアップ・テーブルを符号化する方法および復号する方法、並びに対応する装置
JP2020031455A Active JP6957664B2 (ja) 2013-04-08 2020-02-27 ルックアップ・テーブルを符号化する方法および復号する方法、並びに対応する装置
JP2021164377A Active JP7233501B2 (ja) 2013-04-08 2021-10-06 ルックアップ・テーブルを符号化する方法および復号する方法、並びに対応する装置

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2016506828A Active JP6353896B2 (ja) 2013-04-08 2014-03-17 ルックアップ・テーブルを符号化する方法および復号する方法、並びに対応する装置
JP2018111122A Pending JP2018157595A (ja) 2013-04-08 2018-06-11 ルックアップ・テーブルを符号化する方法および復号する方法、並びに対応する装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021164377A Active JP7233501B2 (ja) 2013-04-08 2021-10-06 ルックアップ・テーブルを符号化する方法および復号する方法、並びに対応する装置

Country Status (21)

Country Link
US (4) US10097857B2 (ja)
EP (2) EP4254954A3 (ja)
JP (4) JP6353896B2 (ja)
KR (5) KR102607327B1 (ja)
CN (4) CN109951714B (ja)
AU (4) AU2014253414B2 (ja)
BR (2) BR112015025623B1 (ja)
CA (1) CA2909006C (ja)
DK (1) DK2984836T3 (ja)
FI (1) FI2984836T3 (ja)
HK (2) HK1219826A1 (ja)
IL (3) IL272813B (ja)
LT (1) LT2984836T (ja)
MX (2) MX359650B (ja)
PH (1) PH12015502212A1 (ja)
PL (1) PL2984836T3 (ja)
RS (1) RS65827B1 (ja)
RU (1) RU2667723C2 (ja)
SG (2) SG11201507826TA (ja)
WO (1) WO2014166705A1 (ja)
ZA (4) ZA201507365B (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6353896B2 (ja) 2013-04-08 2018-07-04 ドルビー・インターナショナル・アーベー ルックアップ・テーブルを符号化する方法および復号する方法、並びに対応する装置
TWI676389B (zh) 2013-07-15 2019-11-01 美商內數位Vc專利控股股份有限公司 至少一種色彩轉換之編碼方法和編碼器、解碼器、顯示裝置、編碼視訊訊號、電腦程式製品及處理器可讀式媒體
JP6449892B2 (ja) * 2013-09-20 2019-01-09 ヴィド スケール インコーポレイテッド 3dルックアップテーブル符号化に色域スケーラビリティを提供するシステムおよび方法
KR20170113713A (ko) 2013-12-13 2017-10-12 브이아이디 스케일, 인크. 보간을 이용하는 루마 및 크로마의 위상 정렬을 위한 컬러 색역 스케일러블 비디오 코딩 디바이스 및 방법
US11363281B2 (en) * 2014-03-19 2022-06-14 Arris Enterprises Llc Scalable coding of video sequences using tone mapping and different color gamuts
US10448029B2 (en) 2014-04-17 2019-10-15 Qualcomm Incorporated Signaling bit depth values for 3D color prediction for color gamut scalability
BR112016029843A8 (pt) * 2014-06-19 2021-07-06 Vid Scale Inc método para decodificar parâmetros de tabela de consulta tridimensional para uso na decodificação de vídeo e unidade de transmissão / recepção sem fio
EP3010231A1 (en) 2014-10-17 2016-04-20 Thomson Licensing Method for color mapping a video signal based on color mapping data and method of encoding a video signal and color mapping data and corresponding devices
EP3131296A1 (en) * 2015-08-13 2017-02-15 Thomson Licensing Color remapping information payload size compression
EP3357227A1 (en) * 2015-10-02 2018-08-08 VID SCALE, Inc. Color correction with a lookup table
US10424269B2 (en) 2016-12-22 2019-09-24 Ati Technologies Ulc Flexible addressing for a three dimensional (3-D) look up table (LUT) used for gamut mapping
US10395423B2 (en) * 2016-12-29 2019-08-27 Intel Corporation Apparatus and method for rendering adaptive mesh refinement (AMR) data
US10242647B2 (en) * 2017-02-24 2019-03-26 Ati Technologies Ulc Three dimensional (3-D) look up table (LUT) used for gamut mapping in floating point format
US10453171B2 (en) 2017-03-24 2019-10-22 Ati Technologies Ulc Multiple stage memory loading for a three-dimensional look up table used for gamut mapping
US11252401B2 (en) 2017-08-07 2022-02-15 Dolby Laboratories Licensing Corporation Optically communicating display metadata
CN111373758B (zh) * 2019-01-15 2023-05-12 深圳市大疆创新科技有限公司 三维数据点的编解码方法和装置
CN112384955A (zh) * 2019-06-11 2021-02-19 深圳市大疆创新科技有限公司 三维数据点的编解码方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007116551A1 (ja) * 2006-03-30 2007-10-18 Kabushiki Kaisha Toshiba 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法
JP2008278464A (ja) * 2007-04-06 2008-11-13 Canon Inc 多次元データの符号化装置及び復号装置並びにその制御方法
WO2012035476A1 (en) * 2010-09-16 2012-03-22 Koninklijke Philips Electronics N.V. Apparatuses and methods for improved encoding of images

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58160082A (ja) 1982-03-17 1983-09-22 アイダエンジニアリング株式会社 プレス加工素材の搬送装置
US4694404A (en) * 1984-01-12 1987-09-15 Key Bank N.A. High-speed image generation of complex solid objects using octree encoding
JPH0326069Y2 (ja) 1986-09-29 1991-06-05
JPH087553B2 (ja) 1988-10-27 1996-01-29 インターナショナル・ビジネス・マシーンズ・コーポレーション 色画像量子化方法及び装置
US5031050A (en) 1990-02-26 1991-07-09 Hewlett-Packard Company Method and system for reproducing monochromatic and color images using ordered dither and error diffusion
JP2582999B2 (ja) * 1992-07-22 1997-02-19 インターナショナル・ビジネス・マシーンズ・コーポレイション カラーパレット発生方法、装置及びデータ処理システム並びにルックアップテーブル入力発生方法
US6002795A (en) * 1993-10-14 1999-12-14 Electronics For Imaging, Inc. Method and apparatus for transforming a source image to an output image
US5748176A (en) * 1995-07-20 1998-05-05 Hewlett-Packard Company Multi-variable colorimetric data access by iterative interpolation and subdivision
US5717507A (en) * 1996-08-02 1998-02-10 Hewlett-Packard Company Apparatus for generating interpolator input data
US5953506A (en) * 1996-12-17 1999-09-14 Adaptive Media Technologies Method and apparatus that provides a scalable media delivery system
US6281903B1 (en) * 1998-12-04 2001-08-28 International Business Machines Corporation Methods and apparatus for embedding 2D image content into 3D models
US6483518B1 (en) * 1999-08-06 2002-11-19 Mitsubishi Electric Research Laboratories, Inc. Representing a color gamut with a hierarchical distance field
US6567081B1 (en) 2000-01-21 2003-05-20 Microsoft Corporation Methods and arrangements for compressing image-based rendering (IBR) data using alignment and 3D wavelet transform techniques
JP2003018602A (ja) 2001-04-24 2003-01-17 Monolith Co Ltd 画像データ符号化および復号のための方法および装置
US7265870B2 (en) * 2001-11-26 2007-09-04 Agfa Graphics Nv Colour separation method
CN1261912C (zh) * 2001-11-27 2006-06-28 三星电子株式会社 基于深度图像表示三维物体的装置和方法
KR100450823B1 (ko) * 2001-11-27 2004-10-01 삼성전자주식회사 깊이 이미지 기반 3차원 물체의 표현을 위한 노드 구조
JP2004005373A (ja) 2001-11-27 2004-01-08 Samsung Electronics Co Ltd 深さイメージに基づく3次元物体を表現するためのノード構造
US7002571B2 (en) 2002-06-04 2006-02-21 Intel Corporation Grid-based loose octree for spatial partitioning
EP1431919B1 (en) 2002-12-05 2010-03-03 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding three-dimensional object data by using octrees
JP2004208128A (ja) * 2002-12-26 2004-07-22 Fuji Xerox Co Ltd データ変換方法およびデータ変換装置
US7719563B2 (en) * 2003-12-11 2010-05-18 Angus Richards VTV system
KR100695142B1 (ko) 2004-03-08 2007-03-14 삼성전자주식회사 적응적 2의 n 제곱 진트리 생성방법 및 이를 이용한 3차원 체적 데이터 부호화/복호화 방법 및 장치
EP1574996A3 (en) * 2004-03-08 2007-03-21 Samsung Electronics Co., Ltd. Adaptive 2n-ary tree generating method, and method and apparatus for encoding and decoding 3D volume data using it
KR100868716B1 (ko) * 2004-04-21 2008-11-13 슬립스트림 데이터 인크. 컬러 이미지 인코딩을 위한 방법, 시스템 및 소프트웨어제품
US20060017720A1 (en) * 2004-07-15 2006-01-26 Li You F System and method for 3D measurement and surface reconstruction
DE102004049156B4 (de) * 2004-10-08 2006-07-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Codierschema für einen ein zeitlich veränderliches Graphikmodell darstellenden Datenstrom
US20060268297A1 (en) 2005-05-25 2006-11-30 Lexmark International, Inc. Method for constructing a lookup table for converting data from a first color space to a second color space
US7599439B2 (en) * 2005-06-24 2009-10-06 Silicon Image, Inc. Method and system for transmitting N-bit video data over a serial link
KR100763196B1 (ko) 2005-10-19 2007-10-04 삼성전자주식회사 어떤 계층의 플래그를 계층간의 연관성을 이용하여부호화하는 방법, 상기 부호화된 플래그를 복호화하는방법, 및 장치
WO2007099318A1 (en) * 2006-03-01 2007-09-07 The University Of Lancaster Method and apparatus for signal presentation
US20070247647A1 (en) * 2006-04-21 2007-10-25 Daniel Pettigrew 3D lut techniques for color correcting images
DE102006061325B4 (de) 2006-12-22 2008-11-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur computergestützten Identifikation der von einem Richtstrahl durchschnittenen Kinderoktanten eines Elternoktants in einer Octree-Datenstruktur mittels Look-up-Tabellen
KR100927601B1 (ko) * 2007-04-19 2009-11-23 한국전자통신연구원 3차원 메쉬 정보의 부호화/복호화 방법 및 장치
EP2051527A1 (en) * 2007-10-15 2009-04-22 Thomson Licensing Enhancement layer residual prediction for bit depth scalability using hierarchical LUTs
KR100940283B1 (ko) 2008-01-31 2010-02-05 성균관대학교산학협력단 동일해상도의 옥트리 구조에서의 인접한 이웃셀의 주소검색방법
US8169434B2 (en) * 2008-09-29 2012-05-01 Microsoft Corporation Octree construction on graphics processing units
EP2395772A3 (en) * 2008-09-30 2013-09-18 Panasonic Corporation Glasses and display device
US8233705B2 (en) * 2008-10-03 2012-07-31 Eastman Kodak Company Potential field-based gamut mapping
GB0823701D0 (en) * 2008-12-31 2009-02-04 Symbian Software Ltd Fast data entry
JP2010251940A (ja) * 2009-04-14 2010-11-04 Seiko Epson Corp 画像処理装置、画像処理方法、およびプログラム
RU2447607C1 (ru) 2009-10-19 2012-04-10 Кэнон Кабусики Кайся Устройство обработки изображения, способ регулировки и машиночитаемый носитель
WO2011125211A1 (ja) * 2010-04-08 2011-10-13 株式会社 東芝 画像符号化方法及び画像復号化方法
JP5505154B2 (ja) * 2010-07-16 2014-05-28 ソニー株式会社 画像処理装置と画像処理方法
US9131033B2 (en) * 2010-07-20 2015-09-08 Qualcomm Incoporated Providing sequence data sets for streaming video data
WO2012011859A1 (en) * 2010-07-21 2012-01-26 Telefonaktiebolaget L M Ericsson (Publ) Picture coding and decoding
US8467629B2 (en) * 2010-08-12 2013-06-18 High Technology Video, Inc. Methods and systems for automatic coloring of digital images
US9008175B2 (en) 2010-10-01 2015-04-14 Qualcomm Incorporated Intra smoothing filter for video coding
CN102592293A (zh) 2011-01-07 2012-07-18 北京四维图新科技股份有限公司 一种真彩色图像的降色方法及装置
US9154799B2 (en) * 2011-04-07 2015-10-06 Google Inc. Encoding and decoding motion via image segmentation
KR20140018919A (ko) * 2011-04-12 2014-02-13 톰슨 라이센싱 메시 모델을 인코딩하는 방법, 인코딩된 메시 모델 및 메시 모델을 디코딩하는 방법
US8804816B2 (en) * 2011-08-30 2014-08-12 Microsoft Corporation Video encoding enhancements
EP2793468A4 (en) * 2011-12-15 2015-09-02 Tagivan Ii Llc PICTURE CODING METHOD, PICTURE DECODING METHOD, PICTURE CODING DEVICE, IMAGE DECODING DEVICE, AND PICTURE CODING / DECODING DEVICE
JP6353896B2 (ja) * 2013-04-08 2018-07-04 ドルビー・インターナショナル・アーベー ルックアップ・テーブルを符号化する方法および復号する方法、並びに対応する装置
US9367807B2 (en) * 2013-04-29 2016-06-14 Vulcan, Inc. Method and system that provides efficient index-based retrieval of rules
US10003805B2 (en) * 2013-07-01 2018-06-19 Samsung Electronics Co., Ltd. Video encoding and decoding method accompanied with filtering, and device thereof
JP6449892B2 (ja) * 2013-09-20 2019-01-09 ヴィド スケール インコーポレイテッド 3dルックアップテーブル符号化に色域スケーラビリティを提供するシステムおよび方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007116551A1 (ja) * 2006-03-30 2007-10-18 Kabushiki Kaisha Toshiba 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法
JP2008278464A (ja) * 2007-04-06 2008-11-13 Canon Inc 多次元データの符号化装置及び復号装置並びにその制御方法
WO2012035476A1 (en) * 2010-09-16 2012-03-22 Koninklijke Philips Electronics N.V. Apparatuses and methods for improved encoding of images

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BENJAMIN BROSS, GARY J. SULLIVAN AND YE-KUI WANG: "Proposed editorial improvements for High Efficiency Video Coding (HEVC) text specification draft 9 (", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-L0030v3, JPN6021007422, January 2013 (2013-01-01), pages 276 - 296, ISSN: 0004457503 *
PHILIPPE BORDES, PIERRE ANDRIVON AND ROSHANAK ZAKIZADEH: "AHG14: Color Gamut Scalable Video Coding using 3D LUT", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-M0197-r2, JPN6019027316, April 2013 (2013-04-01), pages 1 - 10, ISSN: 0004457504 *
PHILIPPE BORDES, PIERRE ANDRIVON, PATRICK LOPEZ AND FRANCK HIRON: "AHG14: Color Gamut Scalable Video Coding using 3D LUT: New Results", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-N0168-r1, JPN6019027317, July 2013 (2013-07-01), pages 1 - 11, ISSN: 0004457505 *

Also Published As

Publication number Publication date
EP4254954A2 (en) 2023-10-04
US20200177917A1 (en) 2020-06-04
JP2016519512A (ja) 2016-06-30
AU2021200241B2 (en) 2022-11-24
CN109951714B (zh) 2022-11-11
AU2014253414A1 (en) 2015-11-26
JP2018157595A (ja) 2018-10-04
US20220007054A1 (en) 2022-01-06
KR20150139586A (ko) 2015-12-11
AU2021200241A1 (en) 2021-03-18
KR102366842B1 (ko) 2022-02-24
HK1219826A1 (zh) 2017-04-13
MX2018012138A (es) 2020-11-06
US10097857B2 (en) 2018-10-09
RU2018131947A3 (ja) 2022-01-18
IL272813B (en) 2022-07-01
CA2909006C (en) 2022-07-26
CN109922345B (zh) 2022-11-01
IL241789B (en) 2019-07-31
KR20230165873A (ko) 2023-12-05
WO2014166705A1 (en) 2014-10-16
IL272813A (en) 2020-04-30
CN109951712A (zh) 2019-06-28
JP6353896B2 (ja) 2018-07-04
ZA201806464B (en) 2020-12-23
BR112015025623B1 (pt) 2023-02-07
RU2018131947A (ru) 2018-10-02
HK1220840A1 (zh) 2017-05-12
IL267963B (en) 2020-03-31
KR20210064395A (ko) 2021-06-02
US11153605B2 (en) 2021-10-19
ZA202109771B (en) 2024-06-26
EP2984836B1 (en) 2024-06-12
CN109951712B (zh) 2022-11-11
AU2018247264A1 (en) 2018-11-01
SG10201803221XA (en) 2018-06-28
DK2984836T3 (da) 2024-07-22
PL2984836T3 (pl) 2024-08-19
MX359650B (es) 2018-10-05
JP7233501B2 (ja) 2023-03-06
MX2015014074A (es) 2015-12-11
BR122020017670B1 (pt) 2023-01-24
KR20230006598A (ko) 2023-01-10
CN109922345A (zh) 2019-06-21
BR112015025623A2 (pt) 2017-07-18
CN105230019B (zh) 2019-04-09
SG11201507826TA (en) 2015-10-29
ZA202106976B (en) 2024-01-31
AU2023201060A1 (en) 2023-03-23
RU2015147556A (ru) 2017-05-16
US20190007703A1 (en) 2019-01-03
IL267963A (en) 2019-09-26
KR102481406B1 (ko) 2022-12-27
AU2018247264B2 (en) 2020-10-15
CN109951714A (zh) 2019-06-28
RS65827B1 (sr) 2024-09-30
LT2984836T (lt) 2024-09-25
KR102257783B1 (ko) 2021-05-28
EP2984836A1 (en) 2016-02-17
CA2909006A1 (en) 2014-10-16
RU2667723C2 (ru) 2018-09-24
US10694209B2 (en) 2020-06-23
JP6957664B2 (ja) 2021-11-02
US20160057454A1 (en) 2016-02-25
PH12015502212A1 (en) 2016-02-01
AU2014253414B2 (en) 2018-07-19
CN105230019A (zh) 2016-01-06
FI2984836T3 (fi) 2024-07-30
ZA201507365B (en) 2018-12-19
EP4254954A3 (en) 2023-10-18
KR20220027279A (ko) 2022-03-07
JP2022003824A (ja) 2022-01-11
KR102607327B1 (ko) 2023-11-29
US12034971B2 (en) 2024-07-09

Similar Documents

Publication Publication Date Title
JP7233501B2 (ja) ルックアップ・テーブルを符号化する方法および復号する方法、並びに対応する装置
KR102332904B1 (ko) 컬러 변환을 인코딩하는 방법 및 디코딩하는 방법 및 대응하는 디바이스들
RU2772897C2 (ru) Способ кодирования и способ декодирования lut и соответствующие устройства

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210309

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211006

R150 Certificate of patent or registration of utility model

Ref document number: 6957664

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250