JP2019534611A - イントラベースのローカル中間層予測方法 - Google Patents

イントラベースのローカル中間層予測方法 Download PDF

Info

Publication number
JP2019534611A
JP2019534611A JP2019515848A JP2019515848A JP2019534611A JP 2019534611 A JP2019534611 A JP 2019534611A JP 2019515848 A JP2019515848 A JP 2019515848A JP 2019515848 A JP2019515848 A JP 2019515848A JP 2019534611 A JP2019534611 A JP 2019534611A
Authority
JP
Japan
Prior art keywords
block
base layer
layer
enhancement layer
reconstructed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019515848A
Other languages
English (en)
Inventor
ソロウ,ドミニク
アラン,マーティン
ペンドゥ,ミカエル ル
ペンドゥ,ミカエル ル
Original Assignee
インターデジタル ヴイシー ホールディングス, インコーポレイテッド
インターデジタル ヴイシー ホールディングス, インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インターデジタル ヴイシー ホールディングス, インコーポレイテッド, インターデジタル ヴイシー ホールディングス, インコーポレイテッド filed Critical インターデジタル ヴイシー ホールディングス, インコーポレイテッド
Publication of JP2019534611A publication Critical patent/JP2019534611A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98Adaptive-dynamic-range coding [ADRC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

中間層予測を行うとき、本方法および本装置は、イントラLDRモードを使用して、LDRブロックのイントラ予測用にLDR層で使用される画素に基づき、さらに同じイントラLDRモードを使用して、中間イントラ予測ブロック用のHDR層内の相同画素に基づき、LDR層からHDR層までなどの予測的中間層決定を行う。これらのベースを使用することにより、中間層HDR予測ブロックを決定するために、逆トーンマッピング関数を推定し、次いでこの推定された関数をLDRブロックに適用することができる。【選択図】図5A−5B

Description

[0001] この発明は、デジタル映像圧縮に関する。より詳細には、本発明は、イントラベースのローカル中間層予測を利用することにより、ベース層の予測ブロックを介したエンハンスメント層ブロックの改善された予測方法に関する。
[0002] ハイダイナミックレンジ(HDR:High Dynamic Range)スケーラブル映像符号化および復号化は、通常トーンマッピングされたベース層、エンハンスメント層と共にローダイナミックレンジ映像(LDR:Low Dynamic Range video)符号化専用のl、HDR符号化専用のle’を必要とする。LDR画像フレームは、HDR画像のダイナミックレンジより低いダイナミックレンジを有する。
[0003] 一般に、映像符号化装置で使用されるときに、トーンマッピングオペレータ(TMO:Tone Mapping Operator)は、LDR画像信号を得るために、HDR画像信号に直接適用される。トーンマッピングオペレータは、LDRディスプレイ上で表示されるHDR画像で利用可能な広範囲な値を再生することができる。LDR画像は、次いで、標準LDRディスプレイ上で表示可能になる。
[0004] この分野では、使用可能である広範囲なトーンマッピングオペレータが存在する。2種類のこうしたオペレータが、グローバルオペレータおよびローカルオペレータとして知られている。こうしたオペレータのほとんどではないにしても多くは、非線形である。トーンマッピングオペレータのこうした種類の例は、技術的によく知られており、以下の例示的参考文献で提供されている。Z.Mai他、「On−the−fly tone mapping for backward−compatible high dynamic range image/video compression」、Proceedings of 2010 IEEE International Symposium on Circuits and Systems(ISCAS)(2010年5月〜6月);M.Grundland他、「Nonlinear multiresolution blending」、 Machine Graphics & Vision International Journal、15巻、3号、381〜390ページ(2006年2月);Z.Wang他、「Interactive tone mapping for high dynamic range video」、 ICASSP 2010;P.Burt他、「The Laplacian Pyramid as a compact image code」、 IEEE Transactions on Communications、31巻、4号、532〜540ページ(1983年4月);P. Burt、「The Pyramid as Structure for Efficient Computation」、 Multiresolution Image Processing and Analysis、the Springer Series in Information Sciences の12巻、6〜35ページ(1984年);WIPO International Publication No.WO2011/002505、タイトル「Zone−based tone mapping」、Z.Jiedu他;およびWIPO International Publication No.WO2010/018137、タイトル「Method for modifying a reference block of a reference image, method for encoding or decoding a block of an image by help of a reference block and device therefore and storage medium or signal carrying a block encoded by help of a modified reference B」、D.Thoreau他。
[0005] グローバルオペレータは、全画像に関する単調に増加するトーンマップ曲線を計算するのに、HDRフレームの特性を使用する。結果として、これらのオペレータは、空間輝度コヒーレンシを確実にすることができる。しかし、これらのトーンマッピングオペレータは、通常、HDR画像フレームの中に含有されるより微細な詳細を再生することができない。逆トーンマッピングを行うために、復号器が、符号化の間、適用されるグローバルトーンマッピング曲線を「知っている」ように、或るパラメータは、復号器に伝送されなければならない。
[0006] グローバルトーンマッピングオペレータとは対照的に、ローカルオペレータは、近隣空間に基づきフレーム内の各画素をトーンマッピングする。これらのローカルトーンマッピング技術は、ローカル空間コントラストを高め、それによって、より詳細なフレームを提供する。
[0007] これらのオペレータの適用は、時間的コヒーレンスの減少に関する或る種の問題を引き起こすことが知られているが、それが、中間層予測等などの或る種類の予測のために逆トーンマッピング(すなわち、iTMO)を行うことにおいて、重大な非能率性および潜在能力問題を発生させる、トーンマッピングオペレータのこの非線形性質である。中間層予測の一例は、ベース層予測ブロックが、空間スケーラビリティ環境においてアップサンプリングされていても、SNRスケーラビリティ環境においてアップサンプリングされてなくても、ベース層lからの予測ブロック
Figure 2019534611

からの、エンハンスメント層lのブロックbの予測を伴う。
[0008] 中間層予測を行うときの、従来技術の画像符号化および復号化システムの問題および非能率性は、イントラLDRモードを使用して、LDRブロックのイントラ予測用のLDR層で使用される画素に基づき、さらに同じイントラLDRモードを使用して、中間イントラ予測ブロック用のHDR層内の相同画素に基づいて、LDR層からHDR層までなどの、予測的中間層決定を行うことによって、本明細書に開示される題目の方法および装置によって解決される。これらのベースを使用することにより、逆トーンマッピング関数を推定すること、次いで、中間層HDR予測ブロックを決定するために、この推定された関数をLDRブロックに適用することが可能である。このことにより、画像符号化および復号化オペレーションが、より効率的に進行することが可能になる。
[0009] 本発明の教示は、添付の図面に関連させながら以下の詳細説明を考察することによって、容易に理解されることができる。
[0010]空間予測を図示する。 [0011]イントラ4×4予測を図示する。 [0012]イントラ8×8予測を図示する。 [0013]HEVC規格によるイントラ予測モードを図示する。 [0014]それぞれ本発明の原理による、ベース層およびエンハンスメント層の斜視図から、概念上のオペレーション、画像ブロック、および他のパラメータを示す。 [0014]それぞれ本発明の原理による、ベース層およびエンハンスメント層の斜視図から、概念上のオペレーション、画像ブロック、および他のパラメータを示す。 [0015]本発明の原理よって実現される符号器のブロック線図表示を示す。 [0016]本発明の原理よって実現される復号器のブロック線図表示を示す。 [0017]本明細書の実施形態による方法の1つの実施形態を示す。 [0018]本明細書の実施形態による方法の別の実施形態を示す。 [0019]本明細書の実施形態の方法を行う装置の1つの実施形態を示す。
[0020] 図面は、発明の概念を説明するためのものであるが、必ずしも、発明を説明するための唯一の可能な構成ではないことを理解されたい。理解を促進するために、同一参照番号が、可能であれば、図に共通な同一要素を指示するために使用されている。
[0021] 本方法および本装置は、LDR−HDRスケーラブル映像符号化のコンテクストにおいて中間層予測の処理を改善することに着眼したものである。スケーラビリティは、両方ともよく知られた技術であるSNRスケーラビリティおよび空間スケーラビリティを含むことができる。以下の記述は、主にSNRスケーラブル適用に重点を置いている場合があるが、本方法および本装置は、ブロックアップサンプリングが行われる空間スケーラビリティ環境においても同等に適用可能であることを理解されよう。
[0022] 本明細書に記載される或る概念を理解するために、デジタル映像圧縮技術で使用されるさまざまな規格の内の2つの規格の中の空間予測の原理に関する以下の背景情報を提供することが有益であると考えられる。2つの規格は、高効率映像符号化(HEVC:High Efficiency Video Coding)および高度映像符号化(AVC:Advanced Video Coding)として知られている。これらのよく知られている規格についての情報は、以下の通りである。
・H.265およびMPEG−Hパート2としても知られており、ITU−T、高効率映像符号化方式(HEVC)、勧告ITU−TH.265|国際規格ISO/IEC23008−2として2014年に発表された高効率映像符号化(HEVC)、および
・H.264またはMPEG−4パート10としても知られており、ITU−T、Rec.H264|ISO/IEC14496−10AVC(MPEG−4)として2002年に発表された高度映像符号化方式(AVC)。
[0023] H.264規格では、イントラ4×4およびイントラ8×8予測は、隣接する再構築された画素に基づき符号化される現行ブロックの画素の空間推定に対応する。符号化される現行ブロックは、「blc」として図1に示される。
[0024] H.264のイントラ4×4モード予測では、図1を用いて説明されるように、予測は、再構築された隣接する画素によって決まる。理解すべきであるその図1では、「blc」は、符号化する現行ブロックを表し、blcより上、およびblcの左までの斜線ゾーンは、再構築された画素または因果的ゾーンに対応し、画像(像)の残りの陰影がない部分は、まだ符号化されてなく、因果的部分(blcに隣接した黒ドットとして示される)の内側の左列およびトップラインの画素は、blcに関する空間予測を実行するために使用される。
[0025] イントラ4×4予測に関して、異なるモードが、図2に図示される。H.264規格は、画素予測を精密にするために、異なる方向的予測モードを指定する。モード0〜8として示される9つのイントラ予測モードは、マクロブロック(MB)の4×4および8×8ブロックサイズで定義される。図2に関連して記載されるように、これらの方向的モードの8つは、予測する現行ブロックを取り囲んでいる画素(左列およびトップライン)に基づいた1D方向的外挿法で構成される。イントラ予測モード2(DCモード)は、予測されたブロック画素を、利用可能な周囲の画素の平均として定義する。
[0026] 例示的4×4予測は、以下の通りに実行される。
・モード1(水平)では、画素「e」、「f」、「g」、および「h」は、再構築された画素「J」(左列)で予測される。
・モード5では、例えば、「a」は、(Q+A+1)/2により予測され、「g」および「p」は、(A+2B+C+2)/4により予測される。
[0027] 図3は、イントラ8×8予測の原理を例示する。これらの8×8予測は、例えば以下の通りに実行される。
・ブロック内の第1の画素が、現行ブロック内の左端の列の最上行上にあり、それが、インデックス(0,0)によって表されるように、「prd(i,j)」に、現行ブロックを予測する画素を表示させており、座標(i,j)に、ブロック内の線(行)および列を表示させている。
・モード1(水平)では、例えば、画素prd(0,0)、prd(0,1)〜prd(0,7)は、再構築された「Q」画素で予測される。
・モード5では、例えば、prd(0,0)は、(M+A+1)/2により予測され、prd(1,2)およびprd(3,3)は共に、(A+2B+C+2)/4により予測される。
[0028] マクロブロックのクロマ試料は、イントラ16×16マクロブロック内のルマ構成要素に関しては類似の予測技術を使用して、予測される。4つの予測モードが、対応している。予測モード0は、垂直予測モードであり、モード1は、水平予測モードであり、そしてモード2は、DC予測モードである。これらの予測モードは、イントラ4×4のモードと類似した仕様である。
[0029] 次いで、イントラ予測は、異なる予測方向を使用して行われる。現行ブロックと予測ブロックとの間の違いである残留の後、周波数は、離散コサイン変換などの技術を使用して変換される。次いで、それは、最終的に送り出される前に量子化されて、エントロピー符号化される。
[0030] 符号化の前に、最善の予測モードが、利用可能な9つの予測モードから選択される。方向予測では、例えば、絶対差測定の和(SAD:sum of absolute difference measure)が、使用され得る。この測定は、符号化する現行ブロックと予測されたブロックとの間で計算される。予測モードは、サブパーティションごとに符号化される。
[0031] HEVCイントラ予測は、ブロックサイズによって作動する。空間的に隣接するブロックから前もって復号化された限度見本が、予測信号を形成するために使用される。33の異なる方向的方位、または方向的モードを用いる方向的予測は、4×4から32×32までのブロックサイズに定義される。可能な予測方向が、図4に示される。あるいは、平面予測およびDC予測も、使用され得る。平面予測は、境界から導出された水平および垂直の傾斜を備えた振幅表面を仮定し、他方で、DC予測は、限度見本の平均値に一致する値を備えた平面を仮定する。
[0032] クロマに関して、水平、垂直、平面、およびDCの予測モードは、明示的に信号を送られ得る。あるいは、クロマ予測モードは、ルマ予測モードと同じであると示されることができる。
[0033] 本明細書において上述されたように示される方向的な予測モードおよびモードインデックスの概念は、発明の対象物の説明を進行するために、読者のために十分に提示されてきたと考えられる。
[0034] イントラ予測は、画像および映像圧縮方法の重要構成要素である。観測、または空間的に近隣にある周知の試料を与えられて、イントラ予測の目的は、予測されるブロックの未知の画素を推定することである。
[0035] スケーラブルHDR映像符号化のコンテクストにおいて、専用のベース層lから現行のHDRエンハンスメント層lまでのHDR予測を改善することが、本明細書に開示されている実施形態の目的である。画像は、ベース層の中にトーンマッピングされるので、ベース層からの予測は、逆トーンマッピングされる必要がある。本明細書において開示される方法および装置は、中間層HDR予測ブロックを生成するために、逆トーンマッピング関数で推定して、次いで、LDRブロックにこの関数を適用するために、LDRブロックのイントラ予測用のLDR層で使用される画素、およびHDR層の相同画素を局所的に考慮することによって、従来技術を上回って、LDRからHDRへの中間層予測を改善することを目的とする。すなわち、LDR層からHDR層までなどの、予測的中間層の決定は、イントラLDRモードを使用して、LDRブロックのイントラ予測用のLDR層で使用される画素に基づくことになり、さらに同じイントラLDRモードを使用して、中間イントラ予測ブロック用のHDR層内の相同画素に基づくことになる。本システム及び方法は、考察中のLDRおよびHDRブロック周辺における画素の所定のテンプレート(すなわち形状)の使用を回避している。
[0036] 本明細書に記載される技術は、HDR SNRスケーラブル映像符号化に適用可能であり、特殊なトーンマッピングオペレータによって導出されるトーンマッピングされたベース層lb’は、LDR映像符号化専用であり、一方で、対応するエンハンスメント層lは、HDR映像符号化専用である。このシナリオでは、エンハンスメント層の所与の構成要素be,i(符号化する)の現行ブロックを符号化するために、構成要素lは、例えば、R、G、またはBであり、ベース層、bb>iの中の一緒に配列された(すなわち相同的)ブロックから抽出される予測ブロックを見い出すことが、必要である。このベース層ブロックは、中間層予測ブロックを生成するのに推定された関数を使用して、逆トーンマッピングされる。LDR層からHDR層までのこの中間層予測は、逆トーンマッピング関数で推定して、次いで、LDRブロックにこの推定された関数を適用するために、以下を局所的に考慮することによって実現される。
・LDRブロックのイントラ予測ブロック用のLDR層で使用される画素、および
・同じイントラLDRモードを用いて、中間イントラ予測ブロック用のHDR層の中の相同的に一緒に配列された画素。
[0037] 符号化方法および同等の符号器装置は、以下の説明的な概要から理解されることができる。画素の所与のHDR画像ブロックの何らかの構成要素(例えば、R、G、B)を符号化するためには、一緒に配列された(およびしたがって相同的な)再構築されたLDRブロックを考察することは、欠かせない。LDRブロックが、イントラ符号化される場合、方法は、LDRイントラモードnribを使用して計算されるLDRイントラ予測ブロックを保持するまたは構築することによって進行する。次いで、中間HDRイントラ予測ブロックが、同じLDRイントラモードnribを使用して構築される。伝達関数F()は、LDRイントラ予測ブロックと中間イントラHDR予測ブロックとの間で推定される。次いで、推定された伝達関数F()は、中間層予測ブロックを生成するために、所与の構成要素のLDRブロックに適用される。現行ブロックと中間層予測ブロックとの間で計算された予測誤差は、次いで、量子化され、伝達するために符号化される。
[0038] 同様のやり方で、復号化方法および同等の復号器装置は、以下の説明的な概要から理解されることができる。画素の所与のHDRブロックは、復号化するために受信される。LDR一緒に配列されたブロック(すなわち相同ブロック)が、イントラ符号化される場合には、画素の所与のHDR画像ブロックの何らかの構成要素(例えば、R、G、B)に関して、中間HDRイントラ予測ブロックは、LDRイントラモードnribを使用して構築される。伝達関数F()は、LDRイントラ予測ブロックと中間イントラHDR予測ブロックとの間で推定される。次いで、推定された伝達関数F()は、中間層予測ブロックを生成するために、所与の構成要素のLDRブロックに適用される。予測誤差ブロックは、現行ブロックと中間層予測ブロックとの間で計算される。復号化および非量子化は、予測誤差ブロック上で行われる。最終的に、HDR復号化されたブロックは、予測誤差ブロックを中間層予測ブロックに追加することによって再構築される。
[0039] 上述した符号化および復号化のためのクリティカルオペレーションは、図5(a)および図5(b)に例示される。図5(a)は、ベース層における再構築中の画像ブロックに関するものであり、他方、図5(b)は、エンハンスメント層における再構築中の画像ブロックに関するものである。画像ブロックの陰影部は、ブロックの再構築された部分を表し、他方で、陰影がない部分は、まだ再構築されない部分を表す。
[0040] エンハンスメント層画像lの所与のl構成要素の現行ブロックに関して図5(b)に示される表記は、以下の通りである。
・未知であり、陰影がない箱として示される、エンハンスメント層に関して予測する現行ブロックは、3/4であり、そして、
・現行ブロックに隣接している周知の再構築された(または復号化された)画素は、3/4であり、小さい隣接するドットとして示される。
[0041] 下付きのインデックス、およびは、「知っている」、「未知である」、および構成要素インデックス(例えば、i=r、または)をそれぞれ示す。したがって、符号化用現行ブロックは、
Figure 2019534611

として表される。
[0042] ベース層lの画像に関連して図5(b)に示される表記は、以下の通りである。
・周知である、ベース層の一緒に配列されたブロックは、3/4である−当然のことながら、このブロックは、そのブロックをエンハンスメント層の中で予測するために、現行ブロックと一緒に配列されている、または相同的である。および
・現行ブロックと一緒に配列されている、または相同的であるブロックに隣接している周知の再構築された(または復号化された)画素は、X^である。
[0043] ブロックが相同的である、または一緒に配列されていると言及されている事実は、それらが、エンハンスメント層の中、およびベース層の中のブロックの実質的に同一の部分から充てられていることを意味する。
目的は、構成要素lごとに一緒に配列されたベース層ブロック
Figure 2019534611

から、現行のエンハンスメント層ブロック3/4用の予測のブロックを決定することである。中間層予測は、図5(a)および図5(b)上に示されるように、ベース層イントラ予測ブロックおよびエンハンスメント層イントラ予測ブロック
Figure 2019534611

および
Figure 2019534611

から推定される関数変換式F()に基づく。
[0044] この変換式F()は、オフセットoおよびスケールファクタsに基づく。イントラ予測ブロック
Figure 2019534611

および
Figure 2019534611

を用いた中間層予測の場合、変換式F()は、以下の通りに与えられる。
Figure 2019534611
[0045] スケールファクタsは、エンハンスメント層予測ブロックおよびベース層予測ブロックの画素yおよびxから直線回帰によって得られる。各ブロックは、n画素で構成され、小文字の場合の表記は、大文字の表記で示されるブロックの中の画素を示す。スケールファクタsは、以下の通りに決定される。
Figure 2019534611

上式では、
Figure 2019534611

そして、
jは、ブロック内部の画素のインデックスである。オフセット値oは、以下の通りに決定される。
Figure 2019534611
F(X)が
Figure 2019534611

および
Figure 2019534611

から推定されるとき、エンハンスメント層の現行ブロック3/4の予測3/4は、ベース層のブロック
Figure 2019534611

から、
Figure 2019534611

のように計算され、上式で、
Figure 2019534611

および
Figure 2019534611

である。
残留予測
Figure 2019534611


のブロックは、現行ブロックおよび現行ブロックの予測を使用して以下の通り計算される。
Figure 2019534611
[0046] 次いで、離散コサイン変換(DCT:Discrete Cosine Transform)などの変換が、残留予測のブロック
Figure 2019534611

に適用され、結果として以下の変換係数になる。
Figure 2019534611
[0047] 最終的に、変換係数rは、エントロピー符号化されて、ビット列に送信される前に、reqとして量子化されることができる。中間画像、イントラ画像、および中間層予測で再利用されるために、ブロックは、逆量子化された予測誤差redqから局所的に再構築され、予測3/4に追加されて、再構築された(または復号化された)ブロック
Figure 2019534611

を生成し、上式で、上付き添字「’」は、「再構築された」または「復号化された」ことを意味するように意図されており、下付き添字「K」は、ブロック
Figure 2019534611

は現在、符号器または復号器側で周知であることを示す。
[0048] 題目方法の技術を使用することで、イントラ予測用のLDR層で使用される画素、およびHDR層および予測の全てのブロック、すなわちLDR予測ブロックおよび中間HDR予測ブロックの中の相同画素に基づく、伝達関数F()のパラメータを推定することから得られる利点は、従来技術によって定められたような隣接する画素だけではなく、例えばH.264およびHEVCの空間的なイントラ外挿法予測モードによって与えられた外挿された画素の使用、およびF()関数のパラメータ(数式1、2、および3参照)の推定における予測ブロック内部の「優れた」外挿された画素の影響から生まれることは明らかである。
[0049] 図6は、本開示の原理によって実現される符号器の例示的実施形態を説明する概略ブロック図である。スケーラブル符号化プロセスの一例は、図6を参照しながら記載される。
[0050] 図6に示されるように、符号器200は、一般的には2つの部分を備え、一方は、ベース層を符号化するための第1の符号器要素205〜245であり、他方は、エンハンスメント層を符号化するための第2の符号器要素250〜295である。
[0051] 符号器は、HDR画像ブロックbのシーケンスを、ベース層およびエンハンスメント層のそれぞれの中の画素のブロックのシーケンスに符号化する。HDRエンハンスメント層(el)の元の画像ブロックbは、トーンマッピングオペレータ205(TMO:Tone Mapping Operator)によってトーンマッピングされて、LDRベース層(bl)の元のトーンマッピングされた画像ブロックbbcを生成する。HDRエンハンスメント層の元の画像ブロックbは、バッファまたは装置の記憶デバイスの中に記憶されることもできる。
[0052] 後述するように、第1の符号器要素205〜245は、複数のモードインデックスの中に含まれるモードインデックスmによって識別されるイントラ画像予測モードにある間、ベース層において、HDR画像ブロックbbcのトーンマッピングされた表示を、ベース層用ブロックのシーケンスの中に含まれるベース層残留誤差ブロックrに符号化する第1の符号化を行い、この第1の符号化は、少なくとも再構築されたベース層ブロック
Figure 2019534611

および
Figure 2019534611

としても示されるベース層イントラ予測ブロック
Figure 2019534611

を生成するために構成される。
[0053] LDRベース層の元の画像ブロックbbcおよび参照フレームバッファ210の中に記憶された前もって復号化された画像を用いて、運動推定器215は、モードインデックスmで最良画像予測画像ブロック
Figure 2019534611

を決定する。
[0054] モード決定プロセス用要素220が、空間的な予測値225から画像予測画像ブロックを選択するとき、残留予測誤差rは、元の画像ブロックbbcとイントラ予測画像ブロック
Figure 2019534611

との間の差を用いて、コンバイナ230によって計算される。
[0055] 残留予測誤差rは、変成器/量子化器235によって、離散コサイン変換を介して変換されて、量子化され、次いで、要素235からの出力rbqは、エントロピー符号器240によってエントロピー符号化されて、ベース層ビットストリーム内での伝達に送信される。さらに、復号化されたブロックbは、逆変成器/逆量子化器242によって生成された逆変換されて量子化された予測誤差rを、コンバイナ245の中の予測画像ブロック
Figure 2019534611

に追加することによって、局所的に再構築される。再構築された(または復号化された)フレームは、ベース層参照フレームバッファ210の中に記憶される。
[0056] 本実施形態によれば、エンハンスメント層の中の第2の符号器要素250〜295の構造は、要素255〜260を除いて、ベース層の中の第1の符号器要素210〜245と作業的に同じであることを留意されたい。第2の符号器要素は、エンハンスメント層において、HDR画像ブロックbをエンハンスメント層用ブロックのシーケンスの中に含まれるエンハンスメント層残留誤差ブロックrに符号化する、第2の符号化を行い、この第2の符号化は、ベース層符号化と同じモードインデックスmを用いて行われ、この第2の符号化は、少なくとも、前記ベース層イントラ予測ブロックと相同的な中間エンハンスメント層イントラ予測ブロック
Figure 2019534611

を生成するために構成される。第2の符号化は、中間エンハンスメント層イントラ予測ブロック
Figure 2019534611


Figure 2019534611

としても示されるベース層イントラ予測ブロック
Figure 2019534611

との間の伝達関数F()を推定することと、推定された伝達関数を再構築されたベース層ブロック
Figure 2019534611

に適用することによって中間層予測ブロック3/4を計算することと、エンハンスメント層残留誤差ブロックrをHDR画像ブロックbと中間層予測ブロック
Figure 2019534611

との間の差とし決定することとをさらに含む。
[0057] LDRベース層lのブロックbは、この例ではイントラ画像モードで符号化される。LDRベース層の一緒に配列されたブロックbで使用されたモードインデックスmは、HDRエンハンスメント層の現行ブロックで利用される。このモードインデックスmを用いて、運動補償器250は、HDRエンハンスメント層水準の予測ブロック
Figure 2019534611

を決定し、運動補償器215は、LDRベース層水準の予測ブロック
Figure 2019534611

を決定する。
伝達関数F()推定器255は、中間エンハンスメント層イントラ予測ブロック
Figure 2019534611


Figure 2019534611

としても示されるベース層イントラ予測ブロック
Figure 2019534611

との間の伝達関数F()を推定する。中間層予測要素260は、推定された伝達関数を再構築されたベース層ブロック
Figure 2019534611

に適用することによって、中間層予測ブロック3/4を計算する。
HDRエンハンスメント層残留(残留予測誤差)rは、元のエンハンスメント層画像ブロックbと、
Figure 2019534611

としても示される、HDRエンハンスメント層(中間層)予測ブロック3/4との間の差を用いてコンバイナ275によって計算される。HDRエンハンスメント層残留(残留予測誤差)rは、変成器/量子化器280によってreqに変換されて量子化される。次いで、量子化されたHDRエンハンスメント層残留(残留予測誤差)reqは、エントロピー符号器285によってエントロピー符号化されて、エンハンスメント層ビットストリームで送信される。
[0058] 最終的に、復号化されたブロックbは、コンバイナ290によって、逆変成器/逆量子化器287(redq)から逆変換および逆量子化された予測誤差rをHDRエンハンスメント層(中間層)予測ブロック
Figure 2019534611

に追加するによって局所的に作り直される。再構築された(または復号化された)画像は、エンハンスメント層参照フレームバッファ295の中に記憶される。
[0059] 図7は、本開示の実施形態による復号器の一例を説明する概略ブロック図である。スケーラブル復号化プロセスの一例は、図7を参照しながら説明される。
[0060] 図7に示されるように、復号器400は、一般的には2つの部分を備え、一方は、ベース層を復号化するための第1の復号器要素405〜430であり、他方は、エンハンスメント層を復号化するための第2の復号器要素440〜475である。復号器は、少なくとも、画像のエンハンスメント層ビットストリームを、エンハンスメント層画像ブロックのシーケンスに復号化する。復号器は、さらに、画像のベース層ビットストリームをベース層画像ブロックのシーケンスに復号化することができる。復号器は、エンハンスメント層ビットストリームおよび対応するベース層ビットストリームを受信するように構成される。
[0061] 第1の復号器要素405〜430は、少なくとも再構築されたベース層ブロック
Figure 2019534611

および
Figure 2019534611

としても示されるベース層イントラ予測ブロック
Figure 2019534611

を生成するために、複数のモードインデックスの中に含まれるモードインデックスmによって識別されるイントラ画像予測モードにある間、ベース層において、ベース層ビットストリームの第1の復号化を行う。
[0062] ベース層(bl)上での復号化では、ベース層(bl)ビットストリームは、エントロピー復号器405に入力される。ベース層ビットストリームから、所与のブロックでは、エントロピー復号器405は、変換されて量子化された予測誤差rbqおよび関連付けられるモードインデックスmを復号化する。ベース層(bl)ビットストリームは、それが保存されてきた外部源から通信もしくは伝達を通して、またはそれが記録されてきたコンピュータ可読媒体から復号器400に提供されることができる、または復号器400によって受信されることができる。
[0063] 復号化された残留予測誤差rt>qは、逆変成器/逆量子化器410によって逆変換されて逆量子化される。ベース層参照フレームバッファ415に記憶され、そこから提供される参照画像と、エントロピー復号器405から提供されるモードインデックスmとを用いて、運動補償器420は、イントラ画像予測ブロック
Figure 2019534611

を決定する。
[0064] 再構築された(または復号化された)ベース層画像ブロックは、逆変換されて、逆量子化された予測誤差rbdqをコンバイナ430によってイントラ画像予測ブロック
Figure 2019534611

に追加することによって、局所的に作り直される。再構築された(または復号化された)フレームは、ベース層参照フレームバッファ415の中に記憶され、この再構築された(または復号化された)フレームは、次のベース層中間画像予測で使用される。
[0065] 第2の符号器要素440〜475は、少なくとも、
Figure 2019534611

としても示されるベース層イントラ予測ブロック
Figure 2019534611

と相同的な中間エンハンスメント層イントラ予測ブロック
Figure 2019534611

を生成するために前記モードインデックスmに基づき、エンハンスメント層において、エンハンスメント層ビットストリーム上で第2の復号化を行う。第2の復号化は、推定された伝達関数F()を再構築されたベース層ブロック
Figure 2019534611

に適用することによって、中間エンハンスメント層イントラ予測ブロック
Figure 2019534611

と中間層予測ブロック
Figure 2019534611

Yを計算しているベース層イントラ予測ブロック
Figure 2019534611

との間の伝達関数F()を推定することと、中間層予測ブロック
Figure 2019534611

を、受信されたエンハンスメント層ビットストリーム(elビットストリーム)に基づき再構築されたエンハンスメント層予測誤差ブロックredqに追加することによって、再構築されたエンハンスメント層画像ブロックを決定することとをさらに含む。
[0066] 本実施形態による、エンハンスメント層用の第2の符号器要素440〜75の構造は、要素455〜460を除いて、ベース層用の第1の符号器要素405〜430と同じであることを留意されたい。
[0067] エンハンスメント層(el)ビットストリームは、エントロピー復号器440に入力される。エンハンスメントビットストリームから、所与のブロックでは、エントロピー復号器440は、変換されて、量子化された予測誤差(req)を復号化する。エンハンスメント層(el)ビットストリームは、それが保存されてきた外部源から通信もしくは伝達を通して、またはそれが記録されてきたコンピュータ可読媒体から復号器440に提供されることができる、または復号器440によって受信されることができる。
[0068] 残留予測誤差reqは、逆変成器/逆量子化器445によって逆変換されて逆量子化される(redq)。
[0069] 復号化するブロックbの符号化モードがイントラモードに対応する場合、次いで、LDRベース層の一緒に配列されたブロックbのモードインデックスmは、HDRエンハンスメント層のブロックbを復号化することが検討され得る。
[0070] このモードインデックスmt>を用いて、運動補償器450は、HDRエンハンスメント層水準の予測ブロック
Figure 2019534611

を決定し、運動補償器420は、LDRベース層水準の予測ブロック
Figure 2019534611

を決定する。
[0071] 伝達関数F()推定器455は、中間エンハンスメント層イントラ予測ブロック
Figure 2019534611


Figure 2019534611

としても示されるベース層イントラ予測ブロック
Figure 2019534611

との間の伝達関数F()を推定する。中間層予測要素460は、推定された伝達関数F()を再構築されたベース層ブロック
Figure 2019534611

に適用することによって、中間層予測ブロック3/4を計算する。
[0072] 再構築された(または復号化された)エンハンスメント層ブロックは、逆変換されて、逆量子化された予測誤差ブロックredqをコンバイナ470によって
Figure 2019534611

としても示されるベース層イントラ予測ブロック
Figure 2019534611

に追加することによって、作られる。再構築された(または復号化された)フレームは、エンハンスメント層参照フレームバッファ475の中に記憶され、この再構築された(または復号化された)フレームは、次のエンハンスメント層中間画像予測で使用される。
[0073] 空間的なスケーラビリティ−所与のスケールファクタScの空間的な中間層−の場合、1つの解決策は、Scスケールファクタを用いて、アップサンプリングされた予測ブロック
Figure 2019534611

を与えられたベース層イントラ予測ブロック
Figure 2019534611

を補間することと、数式1、2、および3を使用して、中間イントラHDR予測ブロック
Figure 2019534611

とアップサンプリングされたブロック
Figure 2019534611

との間で伝達関数F()を計算することとで構成される。最終的な予測は、伝達関数F()を、再構築されて、アップサンプリングされたベース層ブロック
Figure 2019534611

に適用することによって作られる。
[0074] HDR画像ブロックのシーケンスを、ベース層およびエンハンスメント層のそれぞれにおける画素のブロックのシーケンスに符号化する方法800の1つの実施形態が、図8に示される。方法は、ベース層において、HDR画像ブロックのトーンマッピングされた表示を、ベース層用のブロックのシーケンスに含まれるベース層残留誤差ブロックに符号化する、第1の符号化を含み、複数のモードインデックスの中に含まれるモードインデックスによって識別されるイントラ画像予測モードにある間、第1の符号化は、少なくとも、再構築されたベース層ブロックおよびベース層イントラ予測ブロックを生成するために構成される。方法は、エンハンスメント層において、HDR画像ブロックをエンハンスメント層用のブロックのシーケンスの中に含まれるエンハンスメント層残留誤差ブロックに符号化する、第2の符号化をさらに含み、第2の符号化は、モードインデックスを用いて行われ、第2の符号化は、少なくとも、ベース層イントラ予測ブロックと相同的な中間エンハンスメント層イントラ予測ブロックを生成するために構成される。第2の符号化は、中間エンハンスメント層イントラ予測ブロックとベース層イントラ予測ブロックとの間の伝達関数を推定することと、推定された伝達関数を再構築されたベース層ブロックに適用することによって中間層予測ブロックを計算することと、エンハンスメント層残留誤差ブロックをHDR画像ブロックと中間層予測ブロックとの間の差として決定することとをさらに含む。
[0075] 図9は、少なくとも、画像のエンハンスメント層ビットストリームをエンハンスメント層画像ブロックのシーケンスに復号化する方法の1つの実施形態を示し、方法は、エンハンスメント層ビットストリームおよび対応するベース層ビットストリームを受信することと、少なくとも、再構築されたベース層ブロックおよびベース層イントラ予測ブロックを生成するために、複数のモードインデックスの中に含まれるモードインデックスによって識別されるイントラ画像予測モードにある間、ベース層において、ベース層ビットストリームを復号化する、第1の復号化を含む。方法は、少なくとも、ベース層イントラ予測ブロックと相同的な中間エンハンスメント層イントラ予測ブロックを生成するためにモードインデックスに基づき、エンハンスメント層において、エンハンスメント層ビットストリームの第2の復号化をさらに含み、第2の復号化は、中間エンハンスメント層イントラ予測ブロックとベース層イントラ予測ブロックとの間の伝達関数を推定することと、推定された伝達関数を再構築されたベース層ブロックに適用することによって中間層予測ブロックを計算することと、および中間層予測ブロックを、受信されたエンハンスメント層ビットストリームに基づき再構築されたエンハンスメント層予測誤差ブロックに追加することによって、再構築されたエンハンスメント層ブロックを決定することとをさらに含む。
[0076] 図10は、少なくとも図8または図9の実施形態を行うための装置の1つの実施形態を示す。装置は、図8または図9の段階を行うように構成されたプロセッサと通信するメモリを備える。
[0077] 図に示されるさまざまな要素の機能は、専用のハードウェアならびに適切なソフトウェアに関連付けられた、ソフトウェアを実行することができるハードウェアを使用することで提供され得る。プロセッサを用いて提供されるとき、機能は、単一の専用のプロセッサを用いて、単一の共用プロセッサを用いて、またはそのいくつかを共有することができる複数の個別的なプロセッサを用いて提供され得る。そのうえ、「プロセッサ」または「制御装置」という用語を明示的に使用する場合、ソフトウェアを実行することができるハードウェアだけを指すものと解釈されるべきではなく、デジタル信号プロセッサ(「DSP:digital signal processor」)ハードウェア、ソフトウェアを記憶するための読取り専用メモリ(「ROM:read−only memory」)、ランダムアクセスメモリ(「RAM:random access memory」)、および不揮発性記憶域を、これらに限定するわけではなく、暗に含むことができる。そのうえ、本明細書において発明の原理、態様、および実施形態、ならびにその具体例を詳述している全ての記述は、その構造的等価物および機能的等価物の両方を包含するように意図されている。さらに、そのような等価物は、現在知られている等価物ならびに将来開発される等価物の両方(すなわち、構造に関係なく、同じ機能を行うように開発されればどのようなものでも)を含むように意図されている。
[0078] したがって、例えば、当業者には理解されるように、本明細書に提示されたブロック図は、本発明の原理を具現化する例示的なシステム構成要素および/または回路構成の概念ビューを表している。同様に、フローチャート、フローダイヤグラム、状態遷移図、擬似コード等はどれもが、コンピュータ読み取り可能媒体で実質的に表示されることができ、したがって、コンピュータまたはプロセッサによって実行され得るさまざまなプロセスを、そのようなコンピュータまたはプロセッサが明示的に示されているかどうかに関わらず、表していることを理解されたい。
[0079] 参照試料が欠損している、または利用できないときに、デジタル映像圧縮におけるイントラフレーム予測を改善する方法に関するさまざまな実施形態を記載してきたが、当業者であれば、上記の教示を考慮して、方法の修正および変更を行うことができることに留意されたい。したがって、発明の範囲内である変更は、開示された本発明の特定の実施形態に加えられ得ることを理解されよう。前述した内容は、本発明のさまざまな実施形態を対象としているが、本発明の他の実施形態およびさらに別の実施形態を、本発明の基本的な範囲を逸脱しない範囲で考案することもできる。

Claims (16)

  1. HDR画像ブロックのシーケンスを、ベース層およびエンハンスメント層のそれぞれにおける画素のブロックのシーケンスに符号化する方法であって、
    複数のモードインデックスの中に含まれるモードインデックスによって識別されるイントラ画像予測モードにある間、前記ベース層において、HDR画像ブロックのトーンマッピングされた表示を、前記ベース層用のブロックの前記シーケンスに含まれるベース層残留誤差ブロックに符号化する、第1の符号化(810)であって、前記第1の符号化は、少なくとも、再構築されたベース層ブロックおよびベース層イントラ予測ブロックを生成するために構成される、第1の符号化(810)と、
    前記エンハンスメント層において、前記HDR画像ブロックを、前記エンハンスメント層用のブロックの前記シーケンスの中に含まれるエンハンスメント層残留誤差ブロックに符号化する、第2の符号化(820)であって、前記第2の符号化は、前記モードインデックスを用いて行われ、前記第2の符号化は、少なくとも、前記ベース層イントラ予測ブロックと相同的な中間エンハンスメント層イントラ予測ブロックを生成するために構成され、前記第2の符号化は、
    前記中間エンハンスメント層イントラ予測ブロックと前記ベース層イントラ予測ブロックとの間の伝達関数を推定すること(830)と、
    前記推定された伝達関数を前記再構築されたベース層ブロックに適用することによって中間層予測ブロックを計算すること(840)と、
    前記エンハンスメント層残留誤差ブロックを前記HDR画像ブロックと前記中間層予測ブロックとの間の差として決定すること(850)と
    をさらに含む、第2の符号化(820)と
    を含む、方法。
  2. 離散コサイン変換を前記ベース層残留誤差に適用することと、
    前記変換されたベース層残留誤差を量子化することと、
    ベース層出力ビットストリームを生成するために、前記変換されて量子化されたベース層残留誤差をエントロピー符号化することと
    によって、伝達に関する前記ベース層残留誤差の前記ベース層出力ビットストリームを形成することを含む方法であって、前記方法が、
    離散コサイン変換を前記エンハンスメント層残留誤差に適用することと、
    前記変換されたエンハンスメント層残留誤差を量子化することと、
    エンハンスメント層出力ビットストリームを生成するために、前記変換されて量子化されたエンハンスメント層残留誤差をエントロピー符号化することと
    によって、伝達に関する前記エンハンスメント層残留誤差の前記エンハンスメント層出力ビットストリームを形成することをさらに含む、請求項1に記載の方法。
  3. 前記第1の符号化で使用される前記HDR画像ブロックの前記トーンマッピングされた表示を生成するために、前記HDR画像ブロックを、定められたトーンマッピングオペレータによってトーンマッピングすることをさらに含む、請求項1に記載の方法。
  4. 前記変換されて量子化されたエンハンスメント層残留誤差を、逆変換して逆量子化し、第1の出力を生成することと、
    前記中間層予測ブロックを前記第1の出力に追加して、再構築されたエンハンスメント層画像ブロックを形成することと、
    前記再構築されたエンハンスメント層ブロックをエンハンスメント層バッファの中に記憶することと
    をさらに含む、請求項2に記載の方法。
  5. HDR画像ブロックのシーケンスを、ベース層およびエンハンスメント層のそれぞれにおける画素のブロックのシーケンスに符号化するための装置であって、
    複数のモードインデックスの中に含まれるモードインデックスによって識別されるイントラ画像予測モードにある間、前記ベース層において、HDR画像ブロックのトーンマッピングされた表示を、前記ベース層用のブロックの前記シーケンスに含まれるベース層残留誤差ブロックに符号化するために構成されるベース層符号器であって、前記ベース層符号器は、少なくとも、再構築されたベース層ブロックおよびベース層イントラ予測ブロックを生成するためにさらに構成される、ベース層符号器と、
    前記エンハンスメント層において、前記HDR画像ブロックを、前記エンハンスメント層用のブロックの前記シーケンスの中に含まれるエンハンスメント層残留誤差ブロックに符号化するために構成されるエンハンスメント層符号器であって、前記第2の符号化は、前記モードインデックスを用いて行われ、前記エンハンスメント層符号器は、少なくとも、前記ベース層イントラ予測ブロックと相同的な中間エンハンスメント層イントラ予測ブロックを生成するために構成され、前記エンハンスメント層符号器は、
    前記中間エンハンスメント層イントラ予測ブロックと前記ベース層イントラ予測ブロックとの間の伝達関数を推定することと、
    前記推定された伝達関数を前記再構築されたベース層ブロックに適用することによって中間層予測ブロックを計算することと、
    前記エンハンスメント層残留誤差ブロックを前記HDR画像ブロックと前記中間層予測ブロックとの間の差として決定することと
    のためにさらに構成される、エンハンスメント層符号器と
    を備える、装置。
  6. 請求項1から4のいずれか1項に記載の前記方法を行うように構成される、請求項5に記載の装置。
  7. 少なくとも、画像のエンハンスメント層ビットストリームを、エンハンスメント層画像ブロックのシーケンスに復号化するための方法であって、
    前記エンハンスメント層ビットストリームおよび対応するベース層ビットストリームを受信すること(905)と、
    少なくとも、再構築されたベース層ブロックおよびベース層イントラ予測ブロックを生成するために、複数のモードインデックスの中に含まれるモードインデックスによって識別されるイントラ画像予測モードにある間、前記ベース層において、前記ベース層ビットストリームを復号化する第1の復号化(910)と、
    少なくとも、前記ベース層イントラ予測ブロックと相同的な中間エンハンスメント層イントラ予測ブロックを生成するために前記モードインデックスに基づき、前記エンハンスメント層において、前記エンハンスメント層ビットストリームを復号化する第2の復号化(920)であって、前記第2の復号化は、
    前記中間エンハンスメント層イントラ予測ブロックと前記ベース層イントラ予測ブロックとの間の伝達関数を推定すること(930)と、
    前記推定された伝達関数を前記再構築されたベース層ブロックに適用することによって中間層予測ブロックを計算すること(940)と、
    前記中間層予測ブロックを、前記受信されたエンハンスメント層ビットストリームに基づき、再構築されたエンハンスメント層予測誤差ブロックに追加することによって、前記再構築されたエンハンスメント層ブロックを決定すること(950)と
    をさらに含む、第2の復号化(920)と
    を含む方法。
  8. 前記受信されたエンハンスメント層ビットストリームをエントロピー復号化することと、
    前記受信されてエントロピー復号化されたエンハンスメント層ビットストリームを逆量子化して逆離散コサイン変換し、前記再構築されたエンハンスメント層予測誤差ブロックを生成することと
    を含む、請求項7に記載の方法。
  9. 前記受信されたベース層ビットストリームをエントロピー復号化することと、
    前記受信されてエントロピー復号化されたベース層ビットストリームを逆量子化して逆離散コサイン変換し、前記再構築されたベース層予測誤差ブロックを生成することと、
    前記ベース層予測ブロックを、前記再構築されたベース層予測誤差ブロックに追加することによって、前記再構築されたベース層ブロックを決定することと
    を含む、請求項7に記載の方法。
  10. 前記再構築されたベース層ブロックをベース層バッファの中に記憶することをさらに含む、請求項1、7、または9に記載の方法。
  11. 前記再構築されたエンハンスメント層ブロックをエンハンスメント層バッファの中に記憶すること
    をさらに含む、請求項7または10に記載の方法。
  12. 少なくとも、画像のエンハンスメント層ビットストリームを、エンハンスメント層画像ブロックのシーケンスに復号化するための装置であって、
    前記エンハンスメント層ビットストリームおよび対応するベース層ビットストリームを受信するために構成される入力要素と、
    少なくとも、再構築されたベース層ブロックおよびベース層イントラ予測ブロックを生成するために、複数のモードインデックスの中に含まれるモードインデックスによって識別されるイントラ画像予測モードにある間、前記ベース層において前記ベース層ビットストリームを復号化するために構成されるベース層復号器と、
    少なくとも、前記ベース層イントラ予測ブロックと相同的な中間エンハンスメント層イントラ予測ブロックを生成するために前記モードインデックスに基づき、前記エンハンスメント層において、前記エンハンスメント層ビットストリームを復号化するために構成されるエンハラスメント層復号器であって、前記エンハンスメント層復号器は、
    前記中間エンハンスメント層イントラ予測ブロックと前記ベース層イントラ予測ブロックとの間の伝達関数を推定することと、
    前記推定された伝達関数を前記再構築されたベース層ブロックに適用することによって中間層予測ブロックを計算することと、
    前記中間層予測ブロックを、前記受信されたエンハンスメント層ビットストリームに基づき、再構築されたエンハンスメント層予測誤差ブロックに追加することによって、前記再構築されたエンハンスメント層ブロックを決定することと
    のためにさらに構成される、エンハラスメント層復号器と
    を備える装置。
  13. 前記受信されたエンハンスメント層ビットストリームをエントロピー復号化するためのエントロピー復号器と、
    前記再構築されたエンハンスメント層予測誤差ブロックを生成するために、前記受信されてエントロピー復号化されたエンハンスメント層ビットストリームを、逆量子化して逆変換するための逆量子化器および逆離散コサインユニットと
    を備える、請求項12に記載の装置。
  14. 前記受信されたベース層ビットストリームをエントロピー復号化するためのエントロピー復号器と、
    前記再構築されたベース層予測誤差ブロックを生成するために、前記受信されてエントロピー復号化されたベース層ビットストリームを、逆量子化して逆離散コサイン変換するための逆量子化器および逆離散コサインユニットと、
    前記ベース層予測ブロックを前記再構築されたベース層予測誤差ブロックに追加することによって、前記再構築されたベース層ブロックを決定するためのプロセッサと
    を備える、請求項12に記載の装置。
  15. プロセッサによって実行されるとき、前記プロセッサに、請求項1〜4または7〜10のいずれか1項による方法を実行させる1つまたは複数の実行可能命令をその上に記憶して有している非一時的コンピュータ可読媒体。
  16. 請求項1〜4または7〜11のいずれか1項による前記方法を行うことによって生成される信号。
JP2019515848A 2016-09-30 2017-09-21 イントラベースのローカル中間層予測方法 Pending JP2019534611A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16306277.1A EP3301925A1 (en) 2016-09-30 2016-09-30 Method for local inter-layer prediction intra based
EP16306277.1 2016-09-30
PCT/EP2017/073913 WO2018060051A1 (en) 2016-09-30 2017-09-21 Method for local inter-layer prediction intra based

Publications (1)

Publication Number Publication Date
JP2019534611A true JP2019534611A (ja) 2019-11-28

Family

ID=57138010

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019515848A Pending JP2019534611A (ja) 2016-09-30 2017-09-21 イントラベースのローカル中間層予測方法

Country Status (6)

Country Link
US (1) US20190238895A1 (ja)
EP (2) EP3301925A1 (ja)
JP (1) JP2019534611A (ja)
KR (1) KR20190052022A (ja)
CN (1) CN109891888A (ja)
WO (1) WO2018060051A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6822123B2 (ja) * 2016-12-19 2021-01-27 ソニー株式会社 画像処理装置、画像処理方法及びプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100888963B1 (ko) * 2004-12-06 2009-03-17 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
US8432968B2 (en) * 2007-10-15 2013-04-30 Qualcomm Incorporated Scalable video coding techniques for scalable bitdepths
EP2051527A1 (en) * 2007-10-15 2009-04-22 Thomson Licensing Enhancement layer residual prediction for bit depth scalability using hierarchical LUTs
EP2154893A1 (en) 2008-08-13 2010-02-17 Thomson Licensing Method for modifying a reference block of a reference image, method for encoding or decoding a block of an image by help of a reference block and device therefor and storage medium or signal carrying a block encoded by help of a modified reference block
CN102388611B (zh) * 2009-02-11 2015-08-19 汤姆森特许公司 使用色调映射和反色调映射的比特深度可分级视频编码和解码的方法和装置
WO2011002505A1 (en) 2009-06-29 2011-01-06 Thomson Licensing Zone-based tone mapping
US9686543B2 (en) * 2011-06-15 2017-06-20 Electronics And Telecommunications Research Institute Method for coding and decoding scalable video and apparatus using same
CN104185991B (zh) * 2011-11-09 2018-07-06 弗劳恩霍夫应用研究促进协会 不同动态采样值范围的层之间的层间预测
CA2807404C (en) * 2012-09-04 2017-04-04 Research In Motion Limited Methods and devices for inter-layer prediction in scalable video compression
WO2014053517A1 (en) * 2012-10-01 2014-04-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scalable video coding using derivation of subblock subdivision for prediction from base layer
KR102550743B1 (ko) * 2012-12-04 2023-07-04 돌비 레버러토리즈 라이쎈싱 코오포레이션 비디오 부호화 및 복호화 방법, 그를 이용한 장치
US20160277767A1 (en) * 2015-03-16 2016-09-22 Thomson Licensing Methods, systems and apparatus for determining prediction adjustment factors
EP3113492A1 (en) * 2015-06-30 2017-01-04 Thomson Licensing Method and apparatus for determining prediction of current block of enhancement layer

Also Published As

Publication number Publication date
EP3301925A1 (en) 2018-04-04
EP3520409A1 (en) 2019-08-07
CN109891888A (zh) 2019-06-14
KR20190052022A (ko) 2019-05-15
WO2018060051A1 (en) 2018-04-05
US20190238895A1 (en) 2019-08-01

Similar Documents

Publication Publication Date Title
CN111819852B (zh) 用于变换域中残差符号预测的方法及装置
KR101403341B1 (ko) 영상의 부호화, 복호화 방법 및 장치
JP5128443B2 (ja) 映像の符号化、復号化の方法及びその装置
JP5537681B2 (ja) 変換ユニット内の複数サインビット秘匿
US20150010081A1 (en) Apparatus and method for encoding/decoding images for intra-prediction
US20140254661A1 (en) Method and apparatus for applying secondary transforms on enhancement-layer residuals
JP7420982B2 (ja) 選択的変換に基づいた映像コーディング方法およびその装置
CN107623857B (zh) 视频编码/解码方法、设备以及生成和存储比特流的方法
KR20090058954A (ko) 사이드 매칭을 이용한 영상의 부호화 방법 및 장치, 그복호화 방법 및 장치
KR20120043661A (ko) 적응적 화면내 예측 부호화 및 복호화 방법
JP2011514095A (ja) 映像イントラ予測方法及び装置
KR20080064355A (ko) 영상의 예측 부호화 방법 및 장치, 그 복호화 방법 및 장치
JP6042899B2 (ja) 映像符号化方法および装置、映像復号方法および装置、それらのプログラム及び記録媒体
KR20080069069A (ko) 인트라/인터 예측 방법 및 장치
CN111801941B (zh) 用于利用自适应乘数系数进行图像滤波的方法及装置
KR20060119736A (ko) 영상 신호의 인코딩 방법
JP2024020330A (ja) エンコードされた画像データ
KR20170114598A (ko) 적응적 색상 순서에 따른 색상 성분 간 예측을 이용한 동영상 부호화 및 복호화 방법 및 장치
JP2020526116A (ja) 画像をエンコーディング及びデコーディングする方法、エンコーディング及びデコーディング装置、並びに、対応するコンピュータプログラム
KR20110090841A (ko) 가중치 예측을 이용한 영상 부호화/복호화 장치 및 방법
KR20180021733A (ko) 강화 계층의 현재 블록의 예측을 결정하기 위한 방법 및 장치
JP2019534611A (ja) イントラベースのローカル中間層予測方法
JP2017073598A (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
JP7096263B2 (ja) 画像をエンコーディング及びデコーディングする方法、エンコーディング及びデコーディング装置、並びに、対応するコンピュータプログラム
WO2021100450A1 (ja) イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム