JP2020526942A - 統合された画像再構成及び映像符号化 - Google Patents
統合された画像再構成及び映像符号化 Download PDFInfo
- Publication number
- JP2020526942A JP2020526942A JP2019543897A JP2019543897A JP2020526942A JP 2020526942 A JP2020526942 A JP 2020526942A JP 2019543897 A JP2019543897 A JP 2019543897A JP 2019543897 A JP2019543897 A JP 2019543897A JP 2020526942 A JP2020526942 A JP 2020526942A
- Authority
- JP
- Japan
- Prior art keywords
- reconstruction
- region
- generate
- loop
- coded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 119
- 230000011664 signaling Effects 0.000 claims abstract description 11
- 238000007906 compression Methods 0.000 claims abstract description 9
- 230000006835 compression Effects 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 121
- 230000002441 reversible effect Effects 0.000 claims description 59
- 238000005457 optimization Methods 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 15
- 230000003044 adaptive effect Effects 0.000 claims description 14
- 230000014509 gene expression Effects 0.000 claims description 14
- 239000000872 buffer Substances 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 230000008929 regeneration Effects 0.000 claims 1
- 238000011069 regeneration method Methods 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 38
- 238000010586 diagram Methods 0.000 abstract 1
- 238000013139 quantization Methods 0.000 description 25
- 238000013507 mapping Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 16
- 230000000875 corresponding effect Effects 0.000 description 13
- 238000009826 distribution Methods 0.000 description 12
- 238000004519 manufacturing process Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 6
- 238000010276 construction Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 230000006978 adaptation Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 238000009795 derivation Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 101100242909 Streptococcus pneumoniae (strain ATCC BAA-255 / R6) pbpA gene Proteins 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 101000712600 Homo sapiens Thyroid hormone receptor beta Proteins 0.000 description 1
- 101150049692 THR4 gene Proteins 0.000 description 1
- 102100033451 Thyroid hormone receptor beta Human genes 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011143 downstream manufacturing Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012812 general test Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
- H04N19/45—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder performing compensation of the inverse transform mismatch, e.g. Inverse Discrete Cosine Transform [IDCT] mismatch
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/98—Adaptive-dynamic-range coding [ADRC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【選択図】図2G
Description
本願は、2018年6月19日に出願された米国仮特許出願第62/686,738号、2018年6月5日に出願された米国仮特許出願第62/680,710号、2018年2月12日に出願された米国仮特許出願第62/629,313号、2017年9月21日に出願された米国仮特許出願第62/561,561号、及び2017年6月29日に出願された米国仮特許出願第62/526,577号の優先権を主張する。これらの出願のそれぞれは、その全内容が本明細書に援用される。
本明細書において説明される例示の実施形態は、映像の統合された信号再構成及び符号化に関する。エンコーダでは、プロセッサが、入力ビット深度N及び入力符号語マッピング(例えば、ガンマ、PQ等)によって表された第1の符号語表現の入力画像を受信する。プロセッサは、第1の符号語表現よりも効率的な圧縮を可能にする第2の符号語表現を用いて入力画像を圧縮する2つ以上の候補のエンコーダアーキテクチャの中から1つのエンコーダアーキテクチャ(エンコーダの構成部分であるリシェーパを有する)を選択する。これらの2つ以上の候補のエンコーダアーキテクチャは、ループ外再構成アーキテクチャ、イントラピクチャ用のみのループ内再構成アーキテクチャ、又は予測残差用のループ内アーキテクチャを含む。また、プロセッサは、選択されたエンコーダアーキテクチャに従って入力画像を圧縮する。
基準フレームバッファ又は事前に符号化された近傍空間内のピクセルデータに基づいて、少なくとも1つの予測領域を計算し、
上記入力ピクセル領域、上記予測領域、及び上記順方向再構成関数に基づいて、再構成された残差領域を生成し、
上記再構成された残差領域に基づいて、符号化された(変換及び量子化された)残差領域を生成し、
上記符号化された残差領域に基づいて、復号化された(逆量子化及び変換された)残差領域を生成し、
上記復号化された残差領域、上記予測領域、上記順方向再構成関数、及び上記逆方向再構成関数に基づいて、復元されたピクセル領域を生成し、
上記復元されたピクセル領域に基づいて、上記基準フレームバッファに記憶される基準ピクセル領域を生成する。
上記符号化された画像に基づいて、復号化された再構成残差領域を生成し、
基準ピクセルバッファ又は事前に復号化された近傍空間内のピクセルに基づいて予測領域を生成し、
上記復号化された再構成された残差領域、上記予測領域、上記順方向再構成関数、及び上記逆方向再構成関数に基づいて、復元されたピクセル領域を生成し、
上記復元されたピクセル領域に基づいて、出力ピクセル領域を生成し、
上記出力ピクセル領域を上記基準ピクセルバッファに記憶する。
図1Aは、映像のキャプチャから映像コンテンツの表示までの様々な段階を示す従来の映像配信パイプライン100の例示の処理を示している。映像フレーム102のシーケンスが、画像生成ブロック105を用いてキャプチャされるか、又は生成される。映像フレーム102は、デジタル方式で(例えば、デジタルカメラによって)キャプチャされ、又は、コンピュータによって(例えば、コンピュータアニメーションを用いて)生成され、映像データ107を提供することができる。或いは、映像フレーム102は、フィルムカメラによってフィルム上にキャプチャされてもよい。このフィルムは、デジタルフォーマットに変換されて、映像データ107を提供する。プロダクションフェーズ110では、映像データ107が編集され、映像プロダクションストリーム112を提供する。
図1Bは、従来技術の引用文献[1]による信号再構成の例示の処理を示している。入力フレーム117が与えられると、順方向再構成ブロック150は、入力及び符号化制約を解析し、入力フレーム117を再量子化された出力フレーム152にマッピングする符号語マッピング関数を生成する。例えば、ある電−光伝達関数(EOTF)(例えば、ガンマ)に従って入力117を符号化することができる。幾つかの実施形態では、再構成処理についての情報を、メタデータを用いて下流側デバイス(デコーダ等)に伝えることができる。本明細書において、「メタデータ」という用語は、符号化ビットストリームの一部として送信され、デコーダが復号化画像をレンダリングすることを補助する任意の付加情報に関する。そのようなメタデータは、本明細書において説明されるような色空間情報又は色域情報、リファレンスディスプレイパラメータ、及び付加信号パラメータを含み得るが、これらに限定されるものではない。
図2A及び図2Bは、「ノーマティブ」ループ外リシェーパを有する映像エンコーダ200A_E及び対応する映像デコーダ200A_Dのアーキテクチャを示している。「ノーマティブ」という用語は、これまでの設計では、再構成が前処理ステップと考えられていたために、AVC、HEVC等の符号化規格のノーマティブな(normative)記述の範囲外であったのと異なり、本実施形態においては、順方向再構成及び逆方向再構成がノーマティブな要件の一部であることを表す。規格に従ったビットストリーム適応性が復号化130の後に検査される図1Bのアーキテクチャと異なり、図2Bでは、適応性は、逆方向再構成ブロック265の後に(例えば、図1Bにおける出力162において)検査される。
図2Cは、本発明の一実施形態によるノーマティブイントラオンリーループ内再構成を用いたエンコーダ200B_Eの例示のアーキテクチャを示している。この設計は、引用文献[1]において提案されている設計とかなり類似しているが、特にDPBメモリ215及び260の使用に関わる複雑度を低減するために、イントラピクチャのみがこのアーキテクチャを用いて符号化される。
符号化において、「残差」という用語は、サンプルすなわちデータ要素の予測値とその元の値又は復号化値との間の差を意味する。例えば、Orig_sampleとして表記される入力映像117からの原サンプルが与えられると、イントラ予測又はインター予測225は、Pred_sampleとして表記される対応する予測サンプル227を生成することができる。再構成が行われていない場合、未再構成残差Res_uは、以下の式として定義することができる。
Res_u = Orig_sample - Pred_sample. (1)
Res_r = Fwd(Orig_sample) - Fwd(Pred_sample). (2)
Reco_sample= Inv(Res_d + Fwd(Pred_sample)), (3)
ここで、Res_dは、200C_Eにおけるループ内符号化及び復号化の後のRes_rの密接近似値である残差234を表す。
Res_r = a(Pred_sample)*(Orig_sample -Pred_sample), (4)
ここで、a(Pred_sample)は、Pred_sampleの値に基づくスケーリングファクターを表す。式(3)及び(4)から、式(3)は、以下のように近似することができる。
Reco_sample= Pred_sample + (1/a(Pred_sample))*Res_r, (5)
したがって、一実施形態では、区分的線形モデルのスケーリングファクターa(Pred_sample)のみをデコーダに伝える必要がある。
図2Gは、ハイブリッドループ内再構成アーキテクチャを用いたエンコーダの例示のアーキテクチャ200D_Eを示している。このアーキテクチャは、前述のイントラオンリーループ内再構成アーキテクチャ200B_E及びループ内残差アーキテクチャ200C_Eの双方からの要素を組み合わせたものである。このアーキテクチャの下では、イントラスライスは、1つの相違点を除いて、ループ内イントラ再構成符号化アーキテクチャ(例えば、図2Cにおける200B_E)に従って符号化される。1つの相違点とは、イントラスライスについて、逆方向ピクチャ再構成265−1がループフィルタリング270−1の後に実行されることである。別の実施形態では、イントラスライスのループ内フィルタリングが逆方向再構成の後に実行され得る。しかし、実験結果は、そのような構成が、逆方向再構成がループフィルタリングの後に実行されたときよりも符号化効率の悪化をもたらし得ることを示している。残りの動作は、前述したものと同じである。
本発明の実施形態は、様々なスライスレベルの適応調整を可能にする。例えば、計算量を削減するために、再構成は、イントラスライスについてのみ、又はインタースライスについてのみ有効にすることができる。別の実施形態では、再構成は、時間ID(例えば、HEVCの変数TemporalId(引用文献[11])であり、TemporalId=nuh_temporal_id_plus1−1である)の値に基づいて可能にすることができる。例えば、現在のスライスのTemporalIdが既定値以下である場合には、現在のスライスのslice_reshaper_enable_flagを1に設定することができ、そうでない場合には、slice_reshaper_enable_flagは0になる。スライスごとにslice_reshaper_enable_flagパラメータを送信することを回避するために、SPSレベルにおいてsps_reshaper_temporal_idパラメータを指定することができ、したがって、その値を推定することができる。
順方向再構成及び/又は逆方向再構成に関連する情報は、種々の情報レイヤー、例えば、映像パラメータセット(VPS)、シーケンスパラメータセット(SPS)、映像パラメータセット(PPS)、スライスヘッダー、補足情報(SEI)、又は他の任意の高レベルシンタックスに存在することができる。限定ではなく一例として、表2は、再構成が可能にされているか否か、再構成が適応できるか否か、及び3つのアーキテクチャのいずれが用いられているのかに関するシグナリングのSPSにおける高レベルのシンタックスの一例を提供している。
1に等しいsps_reshaper_enable_flagは、リシェーパが、符号化映像シーケンス(CVS)に用いられることを指定する。0に等しいsps_reshaper_enabled_flagは、リシェーパがCVSに用いられないことを指定する。
1に等しいslice_reshaper_enable_flagは、リシェーパが現在のスライスについて有効にされていることを指定する。0に等しいslice_reshaper_enable_flagは、リシェーパが現在のスライスについて有効にされていないことを指定する。
sps_reshaper_signal_typeは、元の符号語の分布又は表現を示す。限定ではなく一例として、0に等しいsps_reshaper_signal_typeはSDR(ガンマ)を指定し、1に等しいsps_reshaper_signal_typeはPQを指定し、2に等しいsps_reshaper_signal_typeはHLGを指定する。
1に等しいreshaper_CTU_control_flagは、リシェーパを各CTUに適応させることが可能であることを示す。0に等しいreshaper_CTU_control_flagは、リシェーパを各CTUに適応させることが可能でないことを示す。reshaper_CUT_control_flagが存在しないとき、その値は0であると推定されるものとする。
1に等しいreshaper_CTU_flagは、リシェーパが現在のCTUに用いられることを指定する。0に等しいreshaper_CUT_flagは、リシェーパが現在のCTUに用いられないことを指定する。reshaper_CTU_flagが存在しないとき、その値はslice_reshaper_enabled_flagに等しいと推定されるものとする。
1に等しいsps_reshaper_model_present_flagは、sps_reshaper_model()がspsに存在することを示す。0に等しいsps_reshaper_model_present_flagは、sps_reshaper_model()がSPSに存在しないことを示す。
1に等しいslice_reshaper_model_present_flagは、slice_reshaper_model()がスライスヘッダーに存在することを示す。0に等しいslice_reshaper_model_present_flagは、slice_reshaper_model()がSPSに存在しないことを示す。
1に等しいsps_reshaper_chromaAdjは、彩度QP調整がchromaDQPを用いて行われることを示す。2に等しいsps_reshaper_chromaAdjは、彩度QP調整が彩度スケーリングを用いて行われることを示す。
sps_reshaper_ILF_optは、ループ内フィルターが、イントラスライス及びインタースライスについて元の領域において適用されるべきか又は再構成領域において適用されるべきかを示す。例えば、最下位ビットがイントラスライスに関係する2ビットシンタックスを用いると、以下の表のとおりとなる。
sps_reshaper_chromaAdj_Tidは、彩度調整が再構成されたスライスについて適用される最も高いTemporalIDを指定する。
sps_reshaper_signal_type=1(PQ);
sps_reshaper_model_present_flag=1;
//注:slice_reshaper_enable_flagを操作して、インタースライスについてリシェーパを有効及び無効にすることができる。
slice_reshaper_enable_flag=1;
if(CTUAdp)
{
if(I_slice)
slice_reshaper_model_present_flag=0;
reshaper_CTU_control_flag=0;
else
slice_reshaper_model_present_flag=0;
reshaper_CTU_control_flag=1;
}
else
{
slice_reshaper_model_present_flag=0;
reshaper_CTU_control_flag=0;
}
sps_reshaper_signal_type=0(SDR);
sps_reshaper_model_present_flag=0;
slice_reshaper_enable_flag=1;
if(I_slice)
{
slice_reshaper_model_present_flag=1;
reshaper_CTU_control_flag=0;
}
else
{
slice_reshaper_model_present_flag=0;
if(CTUAdp)
reshape_CTU_control_flag=1;
else
reshaper_CTU_control_flag=0;
}
CTU_avg_lum_value<THR1である場合、又は
CTU_avg_lum_value>THR2である場合、又は
THR3<CTU_avg_lum_value<THR4である場合、
このCTUについて、reshaper_CTU_Flag=1である。
一実施形態では、平均輝度を用いる代わりに、最小輝度、最大輝度、又は平均輝度、分散等のCTUの他のある輝度特性を用いることができる。CTUの彩度ベースの特性を適用することもできるし、輝度特性及び彩度特性並びに閾値を組み合わせることもできる。
coeff_log2_offset_minus2は、輝度成分の再構成関連係数の計算の小数ビットの数を指定する。coeff_log2_offset_minus2の値は、0以上3以下の範囲にあるものとする。
reshape_num_ranges_minus1に1を加えたものは、区分的再構成関数における範囲の数を指定する。存在しないとき、reshape_num_ranges_minus1の値は、0であると推定される。reshape_num_ranges_minuslは、輝度成分の場合、0以上7以下の範囲にあるものとする。
1に等しいreshape_equal_ranges_flagは、区分的再構成関数が、ほぼ等しい長さを有するNumberRanges個の部分に分割され、各範囲の長さが明示的にシグナリングされないことを指定する。0に等しいreshape_equal_ranges_flagは、各範囲の長さが明示的にシグナリングされることを指定する。
reshape_global_offset_valは、第0の範囲の開始点を指定するために用いられるオフセット値を得るために用いられる。
reshape_range_val[i]は、輝度成分の第iの範囲の長さを得るために用いられる。
reshape_continuity_flagは、輝度成分の再構成関数の連続性特性を指定する。reshape_continuity_flagが0に等しい場合、0次連続性が、連続したピボット点の間の区分的線形逆方向再構成関数に適用される。reshape_continuity_flagが1に等しい場合、1次平滑を用いて、連続したピボット点の間の完全2次多項式逆方向再構成関数が導出される。
reshape_poly_coeff_order0_int[i]は、輝度成分の第iの部分の0次多項式係数の整数値を指定する。
reshape_poly_coeff_order0_frac[i]は、輝度成分の第iの部分の0次多項式係数の小数値を指定する。
reshape_poly_coeff_orderl_intは、輝度成分の1次多項式係数の整数値を指定する。
reshape_poly_coeff_orderl_fracは、輝度成分の1次多項式係数の小数値を指定する。
reshape_model_profile_typeは、リシェーパ構築処理において用いられるプロファイルタイプを指定する。
reshape_model_scale_idxは、リシェーパ構築処理において用いられるスケール係数(ScaleFactorとして表される)のインデックス値を指定する。ScaleFactorの値によって、全体的な符号化効率を改善する再構成関数の制御の改善が可能になる。このScaleFactorの使用に関する更に詳細な内容は、再構成関数復元処理(例えば、図5A及び図5Bに示す)に関する議論と関連して提供される。限定ではなく一例として、reshape_model_scale_idxの値は、0以上3以下の範囲にあるものとする。一実施形態では、以下の表に示すようなscale_idxとScaleFactorとの間のマッピング関係は、
ScaleFactor = 1.0 - 0.05* reshape_model_scale_idx.
によって与えられる。
ScaleFactor = 1 - 1/16* reshape_model_scale_idx
によって与えられる。
reshape_model_max_bin_idxは、リシェーパ構築処理において用いられる最大ビンインデックスを指定する。reshape_model_max_bin_idxの値は、0以上31以下の範囲にあるものとする。
reshape_model_num_bandは、リシェーパ構築処理において用いられる帯域の数を指定する。reshape_model_num_bandの値は、0以上15以下の範囲にあるものとする。
reshape_model_band_profile_delta[i]は、リシェーパ構築処理において第iの帯域のプロファイルを調整するために用いられるデルタ値を指定する。reshape_model_band_profile_delta[i]の値は、0以上1以下の範囲にあるものとする。
dQP = clip3(min, max, scale*X+offset)
となる。ここで、min及びmaxは、dQPの境界を表し、scale及びoffsetは、モデルの2つのパラメータであり、Xは、信号輝度(例えば、ピクセルの輝度値、又は、ブロックの場合、ブロック輝度のメトリック、例えば、その最小、最大、平均、分散、標準偏差等)に基づいて導出されるパラメータを表す。例えば、これに限定されないが、
dQP = clip3(-3, 6, 0.015*X - 7.5)
である。
full_range_input_flagは、入力映像信号の範囲を指定する。0のfull_range_input_flagは、標準ダイナミックレンジの入力映像信号に対応する。1のfull_range_input_flagは、フルレンジの入力映像信号に対応する。存在しない場合、full_range_input_flagは0であると推定される。
[0 1]における正規化された輝度値Ey’がBDビット(例えば、BD=10、12等)で符号化する場合、以下となる。
フルレンジ:Y=clip3(0,(1≪BD)−1,Ey’*((1≪BD)−1)))
標準レンジ:Y=clip3(0,(1≪BD)−1,round(l≪(BD−8)*(219*Ey’+16)))
dQP_model_scale_int_precは、dQP_model_scale_intを表すために用いられるビット数を指定する。0に等しいdQP_model_scale_int_precは、dQP_model_scale_intがシグナリングされず、0であると推定されることを示す。
dQP_model_scale_intは、dQPモデルスケールの整数値を指定する。
dQP_model_scale_frac_prec_minus16に16を加えたものは、dQP_model_scale_fracを表すために用いられるビット数を指定する。
dQP_model_scale_fracは、dQPモデルスケールの小数値を指定する。
dQPModelScaleAbs = dQP_model_scale_int << (dQP_model_scale_frac_prec_minus16 + 16) + dQP_model_scale_frac
dQP_model_scale_signは、dQPモデルスケールの正負符号を指定する。dQPModelScaleAbsが0に等しいとき、dQP_model_scale_signはシグナリングされず、0であると推定される。
dQP_model_offset_int_prec_minus3に3を加えたものは、dQP_model_offset_intを表すために用いられるビット数を指定する。
dQP_model_offset_intは、dQPモデルオフセットの整数値を指定する。
dQP_model_offset_frac_prec_minuslに1を加えたものは、dQP_model_offset_fracを表すために用いられるビット数を指定する。
dQP_model_offset_fracは、dQPモデルオフセットの小数値を指定する。
dQPModelOffsetAbs = dQP_model_offset_int << (dQP_model_offset_frac_prec_minus1 + 1) + dQP_model_offset_frac
dQP_model_offset_signは、dQPモデルオフセットの正負符号を指定する。dQPModelOffsetAbsが0に等しいとき、dQP_model_offset_signはシグナリングされず、0に等しいと推定される。
dQP_model_abs_prec_minus3に3を加えたものは、dQP_model_max_abs及びdQP_model_min_absを表すために用いられるビット数を指定する。
dQP_model_max_absは、dQPモデルmaxの整数値を指定する。
dQP_model_max_signは、dQPモデルmaxの正負符号を指定する。dQP_model_max_absが0に等しいとき、dQP_model_max_signはシグナリングされず、0に等しいと推定される。
dQP_model_min_absは、dQPモデルminの整数値を指定する。
dQP_model_min_signは、dQPモデルminの正負符号を指定する。dQP_model_min_absが0に等しいとき、dQP_model_min_signはシグナリングされず、0に等しいと推定される。
表9のシンタックス要素が与えられると、再構成LUTは、以下のように導出することができる。
変数dQPModelScaleFPは、以下のように導出される。
dQPModelScaleFP = ((1- 2*dQP_model_scale_sign) * dQPModelScaleAbs ) << (dQP_ model_offset_frac_prec_minus1 + 1).
変数dQPModelOffsetFPは、以下のように導出される。
dQPModelOffsetFP = ((1-2* dQP_model_offset_sign) * dQPModelOffsetAbs ) << (d QP_model_scale_frac_prec_minus16 + 16).
変数dQPModelShiftは、以下のように導出される。
dQPModelShift = (dQP_model_offset_frac_prec_minus1 + 1) + (dQP_model_scale_f rac_prec_minus16 + 16).
変数dQPModelMaxFPは、以下のように導出される。
dQPModelMaxFP = ((1- 2*dQP_model_max_sign) * dQP_model_max_abs) << dQPModelS hift.
変数dQPModelMinFPは、以下のように導出される。
dQPModelMinFP = ((1- 2*dQP_model_min_sign) * dQP_model_min_abs) << dQPModelS hift.
for Y=0:maxY //例えば、10ビット映像の場合、maxY=1023
{
dQP[Y]=clip3(dQPModelMinFP, dQPModelMaxFP, dQPModelScaleFP*Y+dQPModelOffsetFP);
slope[Y]=exp2((dQP[Y]+3)/6); //固定小数点のexp2を実施。ここで、exp2(x)=2^(x)である;
}
If(full_range_input_flag==0) //入力が標準レンジ映像である場合
標準レンジ外のY(すなわち、Y=[0:63]及び[940:1023])について、slope[Y]=0を設定する;
CDF[0]=slope[0];
for Y=0:maxY-1
{
CDF[Y+1]=CDF[Y]+slope[Y];//CDF[Y]は、slope[Y]の積分である
}
for Y=0:maxY
{
FwdLUT[Y]=round(CDF[Y]*maxY/CDF[maxY]); //丸め及び正規化を行ってFwdLUTを得る
}
full_range_input_flagは、入力映像信号の範囲を指定する。0のfull_range_input_flagは、標準レンジ入力映像信号に対応する。1のfull_range_input_flagは、フルレンジ入力映像信号に対応する。存在しないとき、full_range_input_flagは0であると推定される。
bin_pivot_startは、最初の等長ビンのピボット値(710)を指定する。full_range_input_flagが0に等しいとき、bin_pivot_startは、最小の標準レンジ入力以上であるものとし、最大の標準レンジ入力よりも小さいものとする。(例えば、10ビットSDR入力の場合、bin_pivot_start(710)は、64〜940であるものとする)。
bin_cw_startは、bin_pivot_start(710)のマッピングされた値(715)を指定する(例えば、bin_cw_start=FwdLUT[bin_pivot_start])。
log2_num_equal_bins_minus3に3を加えたものは、開始ピボット(710)に続く等長ビンの数を指定する。変数NumEqualBins及びNumTotalBinsは、以下の式によって定義される。
NumEqualBins = 1<<(log2_num_equal_bins_minus3+3)
if(full_range_input_flag==0)
NumTotalBins=NumEqualBins+4
else
NumTotalBins=NumEqualBins+2
注:実験結果では、ほとんどの順方向再構成関数は、8つの等長セグメントを用いて表すことができるが、複雑な再構成関数は、それよりも多くのセグメント(例えば、16個以上)を必要とし得ることが示されている。
equal_bin_pivot_deltaは、等長ビン(例えば、720−1、720−N)の長さを指定する。NumEqualBins*equal_bin_pivot_deltaは、有効入力範囲以下であるものとする。(例えば、full_range_input_flagが0である場合、10ビット入力の有効入力範囲は、940−64=876である。full_range_input_flagが1である場合、10ビット入力の有効入力範囲は、0〜1023である。)
bin_cw_in_first_equal_binは、最初の等長ビン(720−1)におけるマッピングされる符号語(725)の数を指定する。
bin_cw_delta_abs_prec_minus4に4を加えたものは、後続の各等長ビンのbin_cw_delta_abs[i]を表すために用いられるビット数を指定する。
bin_cw_delta_abs[i]は、後続の各等長ビンのbin_cw_delta_abs[i]の値を指定する。bin_cw_delta[i](例えば、735)は、直前の等長ビンi−1における符号語(例えば、730)と比較した現在の等長ビンi(例えば、720−N)における符号語(例えば、740)の相違である。
bin_cw_delta_sign[i]は、bin_cw_delta_abs[i]の正負符号を指定する。bin_cw_delta_abs[i]が0に等しいとき、bin_cw_delta_sign[i]はシグナリングされず、0であると推定される。変数bin_cw_delta[i]=(1−2*bin_cw_delta_sign[i])*bin_cw_delta_abs[i]である。
表10のシンタックス要素が与えられると、再構成LUTは、10ビット入力について以下のように導出することができる。
定数定義:
minIN=minOUT=0;
maxIN=maxOUT=2^BD-1=1023 10ビットの場合 //BD=ビット深度
minStdIN=64 10ビットの場合
maxStdIN=940 10ビットの場合
ステップ1:j=0について、ピボット値In_Y[j]を導出する:NumTotalBins
In_Y[0]=0;
In_Y[NumTotalBins]=maxIN;
if(full_range_input_flag==0)
{
In_Y[1]=minStdIN;
In_Y[2]=bin_pivot_start;
for(j=3:NumTotalBins-2)
In_Y[j]=In_Y[j-1]+equal_bin_pivot_delta;
In_Y[NumTotalBins-1]=maxStdIN;
}
else
{
In_Y[1]=bin_pivot_start;
for j=2:NumTotalBins-1
In_Y[j]=In_Y[j-1]+equal_bin_pivot_delta;
}
ステップ2:j=0についてマッピングされた値Out_Y[j]を導出する:NumTotalBins
Out_Y[0]=0;
Out_Y[NumTotalBins]=maxOUT;
if(full_range_input_flag==0)
{
Out_Y[1]=0;
Out_Y[2]=bin_cw_start;
Out_Y[3]=bin_cw_start+bin_cw_in_first_equal_bin;
bin_cw[3]=bin_cw_in_first_equal_bin;
for j=(4:NumTotalBins-2)
bin_cw[j]=bin_cw[j-1]+bin_cw_delta[j-4];//bin_cw_delta[i]はidx 0から開始する
for j=(4:NumTotalBins-2)
Out_Y[j]=Out_Y[j-1]+bin_cw[j];
Out_Y[NumTotalBins-1]=maxOUT;
}
else
{
Out_Y[1]=bin_cw_start;
Out_Y[2]=bin_cw_start+bin_cw_in_first_equal_bin;
bin_cw[2]=bin_cw_in_first_equal_bin;
for j=(3:NumTotalBins-1)
bin_cw[j]=bin_cw[j-1]+bin_cw_delta[j-3];//bin_cw_delta[i]はidx 0から開始する
for j=3:NumTotalBins-1
Out_Y[j]=Out_Y[j-1]+bin_cw[j];
}
ステップ3:全てのLUTエントリーを得る線形補間
Init:FwdLUT[]
for(j=0:NumTotalBins-1)
{
InS=In_Y[j];
InE=In_Y[j+1];
OutS=Out_Y[j];
OutE=Out_Y[j+1];
for(i=In_Y[j]:In_Y[j+1]-1)
{
FwdLUT[i]=OutS+round((OutE-OutS)*(i-InS)/(InE-InS));
}
}
FwdLUT[In_Y[NumTotalBins]]=Out_Y[NumTotalBins];
if(reshape_model_profile_type==0)R[bi]=Rbright[bi];
elseif(reshape_model_profile_type==1)R[bi]=Rdark[bi];
else R[bi]=Rmid[bi].
for(i=0:reshape_model_num_band-l)
{R[bi]=R[bi]+reshape_model_band_profile_delta[bi]}.
bin[j]が帯域biに属する場合、R_bin[j]=R[bi]である。
if(j>reshape_model_max_bin_idx) or (j<reshape_model_min_bin_idx)
{R_bin[j]=0}.
ScaleFactor=1.0-0.05*reshape_model_scale_idx
CW_dft[j]=デフォルト再構成を用いる場合には、ビンにおける符号語
CW_PQ[j]=TotalCW/TotalNumBins.
If(R_bin[j]==0) CW[j]=0
If(R_bin[j]==1) CW[j]=CW_dft[j]/2;
If(R_bin[j]==2) CW[j]=min(CW_PQ[j], CW_dft[j]);
If(R_bin[j]==3) CW[j]=(CW_PQ[j]+CW_dft[j])/2;
If(R_bin[j]>=4) CW[j]=max(CW_PQ[j], CW_dft[j]);
CWused=Sum(CW[j]):
if(CWused>TotalCW) CW[j]=CW[j]/(CWused/TotalCW)をリバランスする;
else
{
CW_remain=TotalCW-CWused;
CW_remainは最大のR_bin[j]を有するビンに割り当てられる;
}
ScaleFactor = (1<< SF_PREC) - reshape_model_scale_idx
FFwdLUT = (FwdLUT * ScaleFactor + (1 << (FP_PREC + SF_PREC - 1))) >> (FP_PREC + SF_PREC),
ここで、SF_PREC及びFP_PRECは、既定の精度に関する変数であり(例えば、SF_PREC=4、及びFP_PREC=14)、「c=a≪n」は、aをnビットだけ2進左シフトする演算を表し(又はc=a*(2n))、「c=a≫n」は、aをnビットだけ2進右シフトする演算を表す(又はc=a/(2n))。
彩度符号化性能は、輝度符号化性能に密接に関係している。例えば、AVC及びHEVCでは、輝度成分及び彩度成分の量子化パラメータ(QP)の間又は輝度及びクロミナンスの間の関係を指定する表が定められている。これらの指定によって、輝度及び彩度の間のQP関係を規定する際に更なる柔軟性を与える1つ以上の彩度QPオフセットを用いることも可能になる。再構成が用いられると、輝度値が変更され、したがって、ルミナンスとクロミナンスとの間の関係も同様に変更され得る。再構成中の符号化効率を維持し、更に改善するために、一実施形態では、符号化ユニット(CU)レベルにおいて、彩度QPオフセットが再構成曲線に基づいて導出される。この動作は、デコーダ及びエンコーダの双方において行う必要がある。
1)再構成曲線に基づいて、等価輝度dQPマッピングdQPLUTを導出する:
for CW=0:MAX_CW_VALUE-1
dQPLUT[CW]=-6*log2(slope[CW]);
ここで、slope[CW]は、各CW(符号語)点における順方向再構成曲線の勾配を表し、MAX_CW_VALUEは、所与のビット深度の最大符号語値であり、例えば、10ビット信号の場合、MAX_CW_VALUE=1024(210)である。
次に、各符号化ユニット(CU)について:
2)AvgYとして表記される符号化ユニットの平均輝度を計算する:
3)以下の表11に示すように、dQPLUT[]、AvgY、再構成アーキテクチャ、逆方向再構成関数Inv()、及びスライスタイプに基づいてchromaDQP値を計算する。
chromaQP = QP_luma + chromaQPOffset + chromaDQP;
ここで、chromaQPOffsetは、符号化ユニットの彩度QPオフセットを表し、QP_lumaは、符号化ユニットの輝度QPを表す。彩度QPオフセットの値は、彩度成分(例えば、Cb及びCr)ごとに異なる場合があり、彩度QPオフセット値は、符号化ビットストリームの一部としてデコーダに伝えられることに留意されたい。
for i=l:2*M
slope[i]=i/M;
dQPLUT[i]=-6*log2(slope[i]);
end
・順方向スケーリング:彩度残差が生成された後であって、変換及び量子化の前:
− C_Res = C_orig − C_pred
− C_Res_scaled = C_Res * S + (1 << (CSCALE_FP_PREC - 1))) >> CSCALE_FP_PREC
・逆スケーリング:彩度逆量子化及び逆変換後であるが、復元の前:
− C_Res_inv = (C_Res_scaled << CSCALE_FP_PREC) / S
− C_Reco = C_Pred + C_Res_inv;
ここで、SはS_cu又はS_pxのいずれかである。
注:表12において、Scuの計算において、ブロックの平均輝度(AvgY)は、逆方向再構成を適用する前に計算される。或いは、平均輝度、例えば、Scu=SlopeLUT[Avg(Inv[Y])]を形算する前に逆方向再構成を適用することができる。この代替の計算順序は、表11内の値を計算することにも適用される。すなわち、Inv(AvgY)を計算することは、Avg(Inv[Y])値を計算することに置き換えることができる。後者の手法は、より正確であると考えることができるが、計算複雑度が増加する。
この節では、再構成がノーマティブ復号化処理(3つの候補のアーキテクチャのうちの1つにおいて説明される)の一部であるとき、再構成及びエンコーダパラメータを併せて最適化することによって、エンコーダにおける符号化効率を改善する幾つかの技術を議論する。一般に、エンコーダ最適化及び再構成は、それぞれ制限を有する種々の場所で符号化問題に取り組んでいる。従来の画像化及び符号化システムでは、2つのタイプの量子化、すなわち、a)ベースバンド信号におけるサンプル量子化(例えば、ガンマ又はPQ符号化)と、b)変換関連量子化(圧縮の一部)とがある。再構成は中間に位置する。映像ベースの再構成は、一般に、映像ごとに更新され、空間情報を考慮することなく、その輝度レベルに基づくサンプル値マッピングのみを可能にする。ブロックベースのコーデック(HEVC等)では、変換量子化(例えば、輝度の変換量子化)が、空間ブロック内で適用され、空間的に調整することができ、したがって、エンコーダ最適化方法は、異なる輝度値を有するサンプルを含むブロック全体について、同じパラメータのセットを適用しなければならない。本発明者らによって認識され、本明細書において説明されるように、再構成及びエンコーダ最適化を結合することによって、符号化効率を更に改善することができる。
従来の符号化では、インター/イントラモード決定は、元のサンプルと予測サンプルとの間の歪み関数(dfunc())を計算することに基づいている。そのような関数の例には、2乗誤差和(SSE)、差分絶対値和(SAD)等が含まれる。一実施形態では、そのような歪みメトリックは、再構成されたピクセル値を用いて使用することができる。例えば、再構成が適用されるとき、元のdfunct()がOrig_sample(i)及びPred_sample(i)を用いる場合、dfunct()は、それらの対応する再構成された値Fwd(Orig_sample(i))及びFwd(Pred_sample(i))を用いることができる。この手法は、より正確なインター/イントラ決定を可能にし、したがって、符号化効率を改善する。
JCTVC HDR共通検査条件(CTC)文書(引用文献[6])では、lumaDQP及びchromaQPオフセットは、輝度成分及び彩度成分の量子化(QP)パラメータを変更してHDR符号化効率を改善するために用いられる2つのエンコーダ設定値である。本発明において、当初の提案を更に改善する幾つかの新たなエンコーダアルゴリズムが提案される。各lumaDQP適応ユニット(例えば、64×64CTU)について、(引用文献[6]の表3のように)そのユニットの平均入力輝度値に基づいてdQP値が計算される。このlumaDQP適応ユニット内の各符号化ユニットに用いられる最終的な量子化パラメータQPは、このdQPを減算することによって調整されるべきである。dQPマッピング表は、エンコーダ入力構成において構成可能である。この入力構成は、dQPinpとして表記される。
Slope(x) = Fwd'(x) = (Fwd(x+dx)- Fwd(x-dx))/(2dx), (6)
として表すことにすると、その場合、一実施形態では、この式は、自動的に導出されるdQPauto(x)値を以下のように計算することができることを表している。
If Slope(x) = 0, then dQPauto(x) = 0, otherwise
dQPauto(x) = 6log2(Slope(x)), (7)
ここで、dQPauto(x)は、妥当な範囲、例えば、[−6 6]にクリッピングすることができる。
(1)イントラピクチャ及びインターピクチャについて(映像符号化タイプに基づいて)独立に輝度dQPマッピング表を設定することができる。
(2)符号化ループ内の映像が、再構成領域にある場合(例えば、ループ内イントラ再構成アーキテクチャにおけるイントラピクチャ又はループ外再構成アーキテクチャにおける全ての映像)、デルタQPマッピングへの入力輝度dQPinpも同様に、再構成領域dQPrspに変換する必要がある。すなわち、
dQPrsp(x) = dQPinp[Inv(x)] (8)
である。
(3)符号化ループ内の映像が、非再構成領域にある場合(例えば、逆方向再構成された又は再構成されていない、例えば、ループ内イントラ再構成アーキテクチャにおけるインターピクチャ又はループ内残差再構成アーキテクチャにおける全ての映像)、デルタQPマッピングへの入力輝度を変換する必要はなく、直接用いることができる。
(4)自動的なインターデルタQPの導出は、ループ内イントラ再構成アーキテクチャについてのみ有効である。そのような場合にインターピクチャに用いられる実際のデルタQPは、自動導出された入力の合計値、すなわち、
dQPfinal[x] = dQPinp[x] + dQPauto[x] (9)
であり、dQPfinal[x]は、妥当な範囲、例えば[−12 12]にクリッピングすることができる。
(5)dQPマッピング表への輝度は、あらゆる映像において、又は、再構成LUTの変更があるときに更新することができる。実際のdQP適応(ブロックの平均輝度値から、このブロックの量子化の対応するdQPを得る)は、CUレベル(エンコーダ構成可能)において行うことができる。
JEM6.0ソフトウェア(引用文献[8])では、lumaDQPが有効にされているとき、RDO(レート歪み最適化)ピクセルベース重み付き歪みが用いられる。重み表は、輝度値に基づいて固定されている。一実施形態では、重み表は、lumaDQP設定値に基づいて適応的に調整され、前節において提案されたように計算されるべきである。2乗誤差和(SSE)及び差分絶対値和(SAD)の2つの重みは、以下のように提案される。
再構成が有効にされているとき、この節は、他の符号化ツールにおいて必要とされる提案された変更の幾つかの例を提供する。相互作用は、考えられる任意の既存の符号化ツール又は次世代映像符号化規格に含まれることになる将来の符号化ツールについて存在し得る。以下に示す例は限定ではない。一般に、符号化ステップ中の映像信号領域(再構成されたもの、非再構成のもの、逆方向再構成されたもの)は、特定される必要があり、各ステップにおいて映像信号を取り扱う動作は、再構成効果を考慮に入れる必要がある。
CCLM(クロスコンポーネント線形モデル予測)(引用文献[8])では、予測される彩度サンプルpredC(i,j)は、輝度復元信号recL’(i,j)を用いて導出することができる。
HEVCレンジ拡張プロファイルには、残差予測ツールが含まれる。彩度残差信号は、エンコーダ側において、以下のように輝度残差信号から予測される。
適応的クリッピング(引用文献[8])は、コンテンツダイナミクスに関する元のデータ範囲をシグナリングし、クリッピングが行われる圧縮ワークフロー(例えば、変換/量子化、ループフィルタリング、出力)における各ステップで(内部ビット深度情報に基づいて)固定クリッピングの代わりに適応的クリッピングを行うために導入された新たなツールである。
・minCは、現在のスライスにおいて成分ID Cに用いられる下側クリッピング境界である。
・maxCは、現在のスライスにおいて成分ID Cに用いられる上側クリッピング境界である。
HEVC及びJEM6.0ソフトウェアでは、ALF及びSAO等のループフィルターは、復元された輝度サンプル及び未圧縮の「元の」輝度サンプルを用いて最適なフィルターパラメータを推定する必要がある。再構成が有効にされているとき、一実施形態では、フィルター最適化を行いたい領域を(明示的に又は暗黙的に)指定することができる。1つの実施形態では、(復元が再構成領域にあるとき、再構成された元の領域に対して)再構成領域上でフィルターパラメータを推定することができる。他の実施形態では、(復元が非再構成領域又は逆方向再構成領域にあるとき、元の領域に対して)非再構成領域上でフィルターパラメータを推定することができる。例えば、ループ内再構成アーキテクチャに応じて、ループ内フィルター最適化(ILFOPT)の選択肢及び動作は、表14及び表15によって記述することができる。
画像に関して、本明細書において、「関心領域」(ROI)という用語は、特に関心があると考えられる画像の領域を意味する。この節では、関心領域のみのループ内再構成をサポートする新規な実施形態が提示される。すなわち、一実施形態では、再構成は、ROIの内部のみで適用され得る一方、外部では適用されない。別の実施形態では、関心領域内と関心領域外とで異なる再構成曲線を適用することができる。
今日、ほとんどのコーデック(例えば、AVC、HEVC等)は、ブロックベースのものである。実装を単純にするために、領域をブロック単位で指定することができる。限定ではなく一例としてHEVCを用いると、領域は、符号化ユニット(CU)又は符号化ツリーユニット(CTU)の倍数として定義することができる。1つのROI又はROIの倍数を指定することができる。複数のROIは、別々のものとすることもできるし、重複することもできる。ROIは、矩形でなくてもよい。ROIのシンタックスは、スライスレベル、映像レベル、映像ストリームレベル等の任意の関心レベルにおいて提供することができる。一実施形態では、ROIは、まず、シーケンスパラメータセット(SPS)において指定される。その場合、スライスヘッダーにおいて、ROIの僅かな変更を可能にすることができる。表16は、1つのROIが矩形領域における複数のCTUとして指定されるシンタックスの一例を示している。表17は、スライスレベルにおける変更されたROIのシンタックスを記載している。
reshaper_active_ROI_in_CTUsize_left、reshaper_active_ROI_in_CTUsize_right、reshaper_active_ROI_in_CTUsize_top及びreshaper_active_ROI_in_CTUsize_bottomはそれぞれ、映像座標で指定された矩形領域によってROI内の映像のサンプルを指定する。座標は、左部及び上部についてはoffset*CTUsizeに等しく、右部及び下部についてはoffset*CTUsize−1に等しい。
1に等しいreshape_model_ROI_modification_flagは、ROIが現在のスライスにおいて変更されていることを指定する。0に等しいreshape_model_ROI_modification_flagは、ROIが現在のスライスにおいて変更されていないことを指定する。
reshaper_ROI_mod_offset_left、reshaper_ROI_mod_offset_right、reshaper_ROI_mod_offset_top、及びreshaper_ROI_mod_offset_bottomは、それぞれreshaper_active_ROI_in_CTUsize_left、reshaper_active_ROI_in_CTUsize_right、reshaper_active_ROI_in_CTUsize_top及びreshaper_active_ROI_in_CTUsize_bottomからの左部/右部/上部/下部のオフセット値を指定する。
イントラオンリー再構成の場合、映像のROI部分がまず再構成され、その後、符号化が適用される。再構成はROIにしか適用されていないので、映像のROI部分と非ROI部分との間の境界が見える場合がある。ループフィルター(例えば、図2C又は図2Dにおける270)は境界を横断することができるので、ループフィルター最適化(ILFOPT)の場合には、ROIに特別な注意を払わなければならない。一実施形態では、復号化映像全体が同じ領域にある場合にのみループフィルターが適用されることが提案される。すなわち、映像全体が、全て再構成領域にあるか、又は、全て非再構成領域にある。1つの実施形態では、デコーダ側において、ループフィルタリングが非再構成領域に対して適用される場合、まず復号化映像のROIセクションに逆方向再構成を適用し、その後にループフィルターを適用するべきである。次に、復号化映像はDPBに記憶される。別の実施形態では、ループフィルターが再構成領域に対して適用される場合、まず復号化映像の非ROI部分に再構成を適用し、その後にループフィルターを適用し、更にその後に映像全体を逆方向再構成するべきである。次に、復号化映像はDPBに記憶される。更に別の実施形態では、ループフィルタリングが再構成領域に対して適用される場合、まず復号化映像のROI部分を逆方向再構成し、その後に映像全体を再構成し、その後にループフィルターを適用し、その後に映像全体を逆方向再構成することができる。次に、復号化映像はDPBに記憶される。これらの3つの手法は、表18に要約されている。計算の観点からすると、方法「A」がより単純である。一実施形態では、ROIの有効化は、ループフィルタリング(LF)に対する逆方向再構成の実行順序を指定するために用いることができる。例えば、ROIが積極的に用いられる場合(例えば、SPSシンタックスフラグ=真)、LF(図2C及び図2Dにおけるブロック270)は、逆方向再構成(図2C及び図2Dにおけるブロック265)の後に実行される。ROIが積極的に用いられない場合、LFは逆方向再構成の前に実行される。
ループ内(予測)残差再構成アーキテクチャ(例えば、図2Fにおける200C_D参照)の場合、デコーダにおいて、式(3)を用いると、処理は、以下のように表すことができる。
If(currentCTUがROIに属する)
Reco_sample=lnv(Res_d+Fwd(Pred_sample)),(式(3)参照)
else
Reco_sample=Res_d+Pred_sample
end
エンコーダでは、CTUごとに、そのCTUがROIに属するか否かをチェックする必要がある。例えば、ループ内予測残差再構成の場合、式(3)に基づく簡単なチェックを以下のように行うことができる。
If(currentCTUがROIに属する)
輝度のRDOにおいて重み付き歪みを適用する。重みは、式(10)に基づいて導出される
else
輝度のRDOにおいて重みなし歪みを適用する
end
−イントラピクチャの場合:
−原映像のROIエリアに順方向再構成を適用する
−イントラフレームを符号化する
−ループフィルター(LF)の前に、復元された映像のROIエリアに逆方向再構成を適用する
−以下のように、未再構成領域においてループフィルタリングを実行する(例えば、表18における方法「C」参照)。以下のステップが含まれる。
・原映像の非ROIエリアに順方向再構成を適用する(ループフィルター基準を得るために原映像全体の再構成を行うため)
・復元された映像の映像エリア全体に順方向再構成を適用する
・ループフィルターパラメータを導出し、ループフィルタリングを適用する
・復元された映像の映像エリア全体に逆方向再構成を適用し、DPBに記憶する
−インターフレームを符号化するとき、ROI内の各CUについては、輝度に対して予測残差再構成及び重み付き歪みを適用する;ROI外の各CUについては、再構成を適用しない
−ループフィルタリング最適化(選択肢1)が従来どおりに(ROIが用いられていない場合のように)実行される:
・原映像の映像エリア全体を順方向再構成する
・復元された映像の映像エリア全体を順方向再構成する
・ループフィルターパラメータを導出し、ループフィルタリングを適用する
・復元された映像の映像エリア全体に逆方向再構成を適用し、DPBに記憶する
HybridLog−Gamma又はHLGという用語は、ハイダイナミックレンジ信号をマッピングするRec.BT.2100において定義された別の伝達関数を表す。HLGは、従来のガンマ関数を用いて符号化された従来の標準ダイナミックレンジ信号との逆方向互換性を維持するために開発されたものである。PQ符号化コンテンツとHLG符号化コンテンツとの間で符号語分布を比較すると、PQマッピングは、暗いエリア及び明るいエリアに、より多くの符号語を配分する傾向がある一方、HLGコンテンツ符号語の大部分は、中間のレンジに配分される傾向がある。2つの手法をHLG輝度再構成に用いることができる。1つの実施形態では、単に、HLGコンテンツをPQコンテンツに変換し、その後、前述したPQに関連する全ての再構成技術を適用することができる。例えば、以下のステップを適用することができる。
1)HLGルミナンス(例えば、Y)をPQルミナンスにマッピングする。この変換の関数又はLUTをHLG2PQLUT(Y)として表記することにする。
2)PQルミナンス値を解析し、PQベースの順方向再構成関数又はLUTを導出する。これをPQAdpFLUT(Y)として表すことにする。
3)これらの2つの関数又はLUTを単一の関数又はLUTに結合する。すなわち、HLGAdpFLUT[i]=PQAdpFLUT[HLG2PQLUT[i]]。
g_DftHLGCWBin0 = [ 8, 14, 17, 19, 21, 23, 24, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 36, 37, 38, 39, 39, 40, 41, 41, 42, 43, 43, 44, 44, 30 ].
である。中間調(又は中間レンジ)を保持することが好まれるとき、
g_DftHLGCWBin1= [ 12, 16, 16, 20, 24, 28, 32, 32, 32, 32, 36, 36, 40, 44, 48, 52, 56, 52, 48, 44, 40, 36, 36, 32, 32, 32, 26, 26, 20, 16, 16, 12 ].
である。肌の色合いを保持することが好まれるとき、
g_DftHLGCWBin2= [12, 16, 16, 24, 28, 32, 56, 64, 64, 64, 64, 56, 48, 40, 32, 32, 32, 32, 32, 32, 28, 28, 24, 24, 20, 20, 20, 20, 20, 16, 16, 12];
である。
0に等しいsps_in_loop_filter_opt_flagは、CVSにおける非再構成領域内で実行されるループ内フィルター最適化を指定する。
1に等しいsps_luma_based_chroma_qp_offset_flagは、輝度ベースの彩度QPオフセットが(例えば、表11又は12に従って)導出され、符号化映像シーケンス(CVS)における各CUの彩度符号化に適用されることを指定する。0に等しいsps_luma_based_chroma_qp_offset_flagは、輝度ベースの彩度QPオフセットがCVSにおいて有効にされていないことを指定する。
HLGベースの符号化の提案者は、この符号化がSDRシグナリングとのより良好な逆方向互換性を提供すると主張している。したがって、理論的には、HLGベースの信号は、レガシーSDR信号と同じ符号化設定値を用いることができる。しかし、HDRモードにおいてHLG符号化信号を見たとき、特に無色の領域(白色及び灰色等)において幾つかの色のアーティファクトを依然として観察され得る。一実施形態では、そのようなアーティファクトは、符号化中にchromaQPOffset値を調整することによって削減することができる。HLGコンテンツについて、PQ信号を符号化するときに用いられるものに比べ、より消極的なchromaQP調整を適用することが提案される。例えば、引用文献[10]には、輝度QPと、キャプチャ原色及び表示原色に基づくファクターとに基づいてCb及びCrのQPオフセットを割り当てるモデルが以下のように記載されている。
本明細書に列挙された引用文献のそれぞれは、その全内容が本明細書に援用される。
[1]G-M. Suによって2016年3月30日に出願された国際出願PCT/US2016/025082号「In-Loop Block-Based Image Reshaping in High Dynamic Range Video Coding」(また、国際公開第2016/164235号として公開されている)
[2]D. Baylon、Z. Gu、A. Luthra、K. Minoo、P. Yin、F. Pu、T. Lu、T. Chen、W. Husak、Y. He、L. Kerofsky、Y. Ye、B. Yi「Response to Call for Evidence for HDR and WCG Video Coding: Arris, Dolby and InterDigital」Doc. m36264, July(2015), Warsaw, Poland
[3]T. Lu他によって2017年1月19日に出願された米国特許出願第15/410,563号「Content-Adaptive Reshaping for High Codeword representation Images」
[4]P. Yin他によって2016年7月14日に出願された国際出願PCT/US2016/042229号「Signal Reshaping and Coding for HDR and Wide Color Gamut Signals」(また、国際公開第2017/011636号として公開されている)
[5]K. Minoo他「Exploratory Test Model for HDR extension of HEVC」MPEG output document, JCTVC-W0092 (m37732), 2016, San Diego, USA
[6]E. Francois、J. Sole、J. Stroem、P. Yin「Common Test Conditions for HDR/WCG video coding experiments」JCTVC doc. Z1020, Geneva, Jan. 2017
[7]A. Segall、E. Francois、及びD. Rusanovskyy「JVET common test conditions and evaluation procedures for HDR/WCG Video」(JVET-E1020, ITU-T meeting, Geneva, January 2017)
[8]JEM6.0ソフトウェア:https://jvet.hhi.fraunhofer.de/svn/svn HMJEMSoftware/tags/HM-16.6-JEM-6.0
[9]T. Lu他によって2016年10月11日に出願された米国仮特許出願第62/406,483号「Adaptive Chroma Quantization in Video Coding for Multiple Color Imaging Formats」(米国特許出願第15/728,939号としても出願され、米国特許出願公開第2018/0103253号として公開されている)
[10]J. Samuelsson他(Eds)「Conversion and coding practices for HDR/WCG Y'CbCr 4:2:0 Video with PQ Transfer Characteristics」JCTVC-Y1017, ITU-T/ISO meeting, Chengdu, Oct. 2016
[11]ITU-T H.265「High efficiency video coding」ITU, version 4.0, (12/2016)
本発明の実施形態は、コンピュータシステム、電子回路機構及び構成要素で構成されたシステム、マイクロコントローラー、フィールドプログラマブルゲートアレイ(FPGA)、若しくは別の構成可能ロジックデバイス若しくはプログラマブルロジックデバイス(PLD)等の集積回路(IC)デバイス、離散時間若しくはデジタル信号プロセッサ(DSP)、特定用途向けIC(ASIC)、及び/又はそのようなシステム、デバイス若しくは構成要素の1つ以上を備える装置を用いて実施することができる。これらのコンピュータ及び/又はICは、本明細書において説明したような統合された画像の信号再構成及び符号化に関連する命令を遂行、制御、又は実行することができる。これらのコンピュータ及び/又はICは、本明細書において説明した信号再構成及び符号化の処理に関する様々なパラメータ又は値の任意のものを計算することができる。画像及び映像の実施形態は、ハードウェア、ソフトウェア、ファームウェア及びそれらの様々な組み合わせで実施することができる。
統合された効率的な画像の信号再構成および符号化に関する例示の実施形態が上記のように説明されている。上記明細書では、本発明の実施形態が、実施態様ごとに異なり得る非常に多くの具体的な詳細事項に関して説明された。したがって、本発明であるもの及び出願人によって本発明であると意図されているものを示す唯一かつ排他的な表示は、本出願から得られるその特定の形態による一組の請求項である特許請求の範囲である。これらの請求項には、今後のあらゆる補正が含まれる。そのような請求項に含まれる用語について本明細書に明示的に示されたいずれの定義も、請求項において用いられる用語の意味を決定するものとする。したがって、請求項に明示的に記載されていない限定、要素、性質、特徴、利点又は属性は、そのような請求項の範囲を全く限定すべきものではない。明細書及び図面は、したがって、限定の意味ではなく例示の意味に認識されるべきである。
Claims (30)
- プロセッサを用いて、第1の符号語表現の入力画像にアクセスすることと、
前記第1の符号語表現よりも効率的な圧縮を可能にする第2の符号語表現に、前記入力画像のピクセルをマッピングする順方向再構成関数を生成することと、
前記第2の符号語表現から前記第1の符号語表現にピクセルをマッピングする逆方向再構成関数を前記順方向再構成関数に基づいて生成することと、
前記入力画像における入力ピクセル領域について、
基準フレームバッファ又は事前に符号化された近傍空間内のピクセルデータに基づいて、予測領域を計算することと、
前記入力ピクセル領域、前記予測領域、及び前記順方向再構成関数に基づいて、再構成された残差領域を生成することと、
前記再構成された残差領域に基づいて、量子化された残差領域を生成することと、
符号化された前記残差領域に基づいて、量子化解除された残差領域を生成することと、
前記量子化解除された残差領域、前記予測領域、前記順方向再構成関数、及び前記逆方向再構成関数に基づいて、復元されたピクセル領域を生成することと、
前記復元されたピクセル領域に基づいて、前記基準フレームバッファに記憶される基準ピクセル領域を生成することと、
を含む、プロセッサを用いて画像を符号化する方法。 - 前記順方向再構成関数及び/又は前記逆方向再構成関数を特徴付けるリシェーパシグナリングビットストリームを生成することと、
前記リシェーパビットストリームを、前記入力画像に基づいて生成される符号化ビットストリームと多重化して、出力ビットストリームを生成することと、
を更に含む、請求項1に記載の方法。 - 前記量子化された残差領域を生成することは、
前記再構成された残差領域に順方向符号化変換を適用して、変換されたデータを生成することと、
前記変換されたデータに順方向符号化量子化器を適用して、量子化されたデータを生成することと、
を含む、請求項1に記載の方法。 - 前記量子化解除された残差領域を生成することは、
前記量子化されたデータに逆符号化量子化器を適用して、逆量子化されたデータを生成することと、
前記逆量子化されたデータに逆符号化変換を適用して、前記量子化解除された残差領域を生成することと、
を含む、請求項3に記載の方法。 - 前記基準フレームバッファに記憶される前記基準ピクセル領域を生成することは、前記復元されたピクセル領域にループフィルターを適用することを含む、請求項1に記載の方法。
- 前記再構成された残差領域を生成することは、
Res_r(i) = Fwd(Orig_sample(i)) - Fwd(Pred_sample(i))
を計算することを含み、
ここで、Inv()は、前記逆方向再構成関数を表し、Fwd()は、前記順方向再構成関数を表し、Res_r(i)は、前記再構成された残差領域のピクセルを表し、Orig_sample(i)は、前記入力画像領域のピクセルを表し、Pred_sample(i)は、前記予測領域のピクセルを表す、請求項1に記載の方法。 - 前記復元されたピクセル領域を生成することは、
Reco_sample (i) = Inv(Res_d(i) + Fwd(Pred_sample(i)))
を計算することを含み、
ここで、Recon_sample(i)は、前記復元されたピクセル領域のピクセルを表し、Res_d(i)は、前記Res_r(i)ピクセルの密接近似値を表す前記量子化解除された残差領域のピクセルを表す、請求項6に記載の方法。 - 前記再構成された残差領域を生成することは、
Res_r(i) = a(Pred_sample(i))*(Orig_sample(i) - Pred_sample(i))
を計算することを含み、
ここで、a(Pred_sample(i))は、Pred_sample(i)の前記値に基づくスケーリングファクターを表す、請求項6に記載の方法。 - 前記復元されたピクセル領域を生成することは、
を計算することを含む、請求項8に記載の方法。 - プロセッサを用いて、符号化ビットストリームを復号化し、第1の符号語表現の出力画像を生成する方法であって、
前記第1の符号語表現よりも効率的な圧縮を可能にする第2の符号語表現で部分的に符号化された符号化画像を受信することと、
前記符号化画像の再構成情報を受信することと、
前記第1の符号語表現から前記第2の符号語表現にピクセルをマッピングする順方向再構成関数を前記再構成情報に基づいて生成することと、
前記第2の符号語表現から前記第1の符号語表現にピクセルをマッピングする逆方向再構成関数を前記再構成情報に基づいて生成することと、
前記符号化画像の領域について、
復号化された再構成残差領域を生成することと、
基準ピクセルバッファ又は事前に復号化された近傍空間内のピクセルに基づいて、予測領域を生成することと、
前記復号化された再構成残差領域、前記予測領域、前記順方向再構成関数、及び前記逆方向再構成関数に基づいて、復元されたピクセル領域を生成することと、
前記復元されたピクセル領域に基づいて、前記出力画像の出力ピクセル領域を生成することと、
前記出力ピクセル領域を前記基準ピクセルバッファに記憶することと、
を含む、方法。 - 前記復元されたピクセル領域を生成することは、
Reco_sample (i) = Inv(Res_d(i) + Fwd(Pred_sample(i)))
を計算することを含み、
ここで、Reco_sample(i)は、前記復元されたピクセル領域のピクセルを表し、Res_d(i)は、前記復号化された再構成残差領域のピクセルを表し、Inv()は、前記逆方向再構成関数を表し、Fwd()は、前記順方向再構成関数を表し、Pred_sample(i)は、前記予測領域のピクセルを表す、請求項10に記載の方法。 - 順方向再構成関数及び逆方向再構成関数を生成する代わりに、前記方法は、
前記再構成情報に基づいて再構成スケーリング関数を生成することと、
前記符号化画像の前記領域について、
前記復号化された再構成残差領域、前記予測領域、及び前記再構成スケーリング関数に基づいて、前記復元されたピクセル領域を生成することと、
を含む、請求項10に記載の方法。 - 前記復元されたピクセル領域を生成することは、
Reco_sample (i) = Pred_sample(i) + (1/a(Pred_sample(i))) * Res_d(i)
を計算することを含み、ここで、Reco_sample(i)は、復元されたピクセル領域のピクセルを表し、Res_d(i)は、前記復号化された再構成残差領域のピクセルを表し、a()は、前記逆方向再構成スケーリング関数を表し、Pred_sample(i)は、前記予測領域のピクセルを表す、請求項12に記載の方法。 - プロセッサを用いて第1の符号語表現の入力画像(117)にアクセスすることと、
前記第1の符号語表現よりも効率的な圧縮を可能にする第2の符号語表現で前記入力画像を圧縮する2つ以上の候補の符号化アーキテクチャから再構成アーキテクチャを選択することであって、前記2つ以上の候補の符号化アーキテクチャは、ループ外再構成アーキテクチャ、イントラピクチャオンリーループ内再構成アーキテクチャ、及び予測残差用のループ内アーキテクチャを含むことと、
前記選択された再構成アーキテクチャに従って前記入力画像を圧縮することと、
を含む、プロセッサを用いて画像を符号化する方法。 - 前記ループ外再構成アーキテクチャに従って前記入力画像を圧縮することは、
前記入力画像のピクセルを前記第2の符号語表現にマッピングする順方向再構成関数を生成することと、
前記第2の符号語表現から前記第1の符号語表現にピクセルをマッピングする逆方向再構成関数を前記順方向再構成関数に基づいて生成することと、
前記入力画像及び前記順方向再構成関数に基づいて、再構成された入力画像を生成することと、
前記再構成された入力画像を圧縮して出力ビットストリームを生成することと、
を含む、請求項14に記載の方法。 - 前記イントラオンリーループ内再構成アーキテクチャに従って前記入力画像を圧縮することは、
前記入力画像のピクセルを前記第2の符号語表現にマッピングする順方向再構成関数を生成することと、
前記第2の符号語表現から前記第1の符号語表現にピクセルをマッピングする逆方向再構成関数を前記順方向再構成関数に基づいて生成することと、
イントラモードにおいて符号化される前記入力画像内の入力ピクセル領域について、
前記入力ピクセル領域及び前記順方向再構成関数に基づいて、再構成領域を生成することと、
事前に符号化された近傍空間におけるピクセルデータに基づいて予測領域を計算することと、
前記再構成された入力ピクセル領域と前記予測領域との間の残差に基づいて、符号化された残差領域を生成することと、
前記符号化領域に基づいて復号化された残差領域を生成することと、
前記復号化された残差領域、前記予測領域、及び前記逆方向再構成関数に基づいて、復元されたピクセル領域を生成することと、
前記復元されたピクセル領域に基づいて、基準フレームバッファに記憶される基準ピクセル領域を生成することと、
を含む、請求項14に記載の方法。 - 前記予測残差用のループ内アーキテクチャに従って前記入力画像を圧縮することは、請求項1に記載の方法を実行することを含む、請求項14に記載の方法。
- 前記2つ以上の候補の符号化アーキテクチャは、ハイブリッドループ内アーキテクチャを含み、前記入力画像におけるイントラスライスは、前記イントラオンリーループ内再構成アーキテクチャに従って符号化され、前記入力画像におけるインタースライスは、前記予測残差用のループ内アーキテクチャに従って符号化される、請求項14に記載の方法。
- プロセッサを用いて、符号化ビットストリームを復号化し、第1の符号語表現の出力画像を生成する方法であって、
1つ以上の符号化画像を含む符号化ビットストリームを受信することであって、符号化画像の少なくとも一部分は、前記第1の符号語表現よりも効率的な圧縮を可能にする第2の符号語表現であることと、
ループ外再構成アーキテクチャ、イントラピクチャオンリーループ内再構成アーキテクチャ、又は予測残差用のループ内アーキテクチャのうちの1つを含む再構成デコーダアーキテクチャを前記符号化ビットストリーム内のメタデータに基づいて決定することと、
前記符号化ビットストリーム内の符号化画像の再構成情報を受信することと、
前記再構成デコーダアーキテクチャに従って前記符号化画像を伸張して前記出力画像を生成することと、
を含む、方法。 - 前記ループ外再構成アーキテクチャに従って前記符号化画像を伸張することは、
前記第2の符号語表現から前記第1の符号語表現にピクセルをマッピングする逆方向再構成関数を前記再構成情報に基づいて生成することと、
前記符号化画像を伸張して、復号化された再構成画像を生成することと、
前記復号化された再構成画像に前記逆方向再構成関数を適用して前記出力画像を生成することと、
を含む、請求項19に記載の方法。 - 前記イントラオンリーループ内再構成アーキテクチャに従って前記符号化画像を伸張することは、
前記第2の符号語表現から前記第1の符号語表現にピクセルをマッピングする逆方向再構成関数を前記再構成情報に基づいて生成することと、
イントラ符号化画像の領域について、
イントラ予測を用いて復号化領域を生成することと、
前記逆方向再構成関数及び前記復号化領域に基づいて逆方向再構成領域を生成することと、
前記逆方向再構成領域に基づいて前記出力画像の出力ピクセル領域を生成することと、
前記出力ピクセル領域を基準ピクセルバッファに記憶することと、
を含む、請求項19に記載の方法。 - 前記予測残差用のループ内アーキテクチャに従って前記符号化ビットストリームを伸張することは、請求項10に記載の方法を実行することを含む、請求項19に記載の方法。
- 前記再構成デコーダアーキテクチャは、ハイブリッドループ内アーキテクチャを含み、前記符号化ビットストリームにおけるイントラスライスは、前記イントラオンリーループ内再構成アーキテクチャに従って復号化され、前記符号化ビットストリームにおけるインタースライスは、前記予測残差用のループ内アーキテクチャに従って復号化される、請求項19に記載の方法。
- 前記順方向再構成関数に基づいて、符号化に関連する決定を最適化する方法を更に含み、該符号化に関連する決定は、インター/イントラモード決定、dQP最適化、レート歪み最適化、クロスコンポーネント線形モデル予測、残差予測、適応的クリッピング、又はループフィルタリングのうちの1つ以上を含む、請求項1から9及び15から18のいずれかに記載の方法。
- 前記符号化画像の再構成情報は、
再構成が前記符号化画像において有効にされているか否かを示すフラグ、
再構成が適応的であるのか若しくは「デフォルト」(既定)であるのかを示すフラグ、
前記符号化画像を復号化する際に用いられる前記再構成アーキテクチャを示すフラグ、
逆方向再構成関数若しくは順方向再構成関数を表すモデルタイプを示すフラグ、又は、
前記再構成関数を表すシンタックス要素のセット、
のうちの1つ以上を含む、請求項19に記載の方法。 - 前記符号化画像の再構成情報は、
再構成が前記符号化画像内の関心領域においてのみ有効にされているか否かを示すフラグと、
ループ内フィルタリングが前記再構成領域において実行されるか又は前記元の領域若しくは逆方向再構成領域において実行されるのかを示すフラグと、
のうちの1つ以上を含む、請求項25に記載の方法。 - 前記入力ピクセル領域は関心領域画像を含む、請求項1に記載の方法。
- 前記符号化画像の前記領域は関心領域画像を含む、請求項10に記載の方法。
- プロセッサを備え、請求項1から28のいずれかに記載の方法を実行するように構成される装置。
- 請求項1から28のいずれかに記載の方法を実行するコンピュータ実行可能命令を記憶する非一時的コンピュータ可読記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022168510A JP2023015093A (ja) | 2017-06-29 | 2022-10-20 | 統合された画像再構成及び映像符号化 |
Applications Claiming Priority (11)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762526577P | 2017-06-29 | 2017-06-29 | |
US62/526,577 | 2017-06-29 | ||
US201762561561P | 2017-09-21 | 2017-09-21 | |
US62/561,561 | 2017-09-21 | ||
US201862629313P | 2018-02-12 | 2018-02-12 | |
US62/629,313 | 2018-02-12 | ||
US201862680710P | 2018-06-05 | 2018-06-05 | |
US62/680,710 | 2018-06-05 | ||
US201862686738P | 2018-06-19 | 2018-06-19 | |
US62/686,738 | 2018-06-19 | ||
PCT/US2018/040287 WO2019006300A1 (en) | 2017-06-29 | 2018-06-29 | INTEGRATED IMAGE REMODELING AND VIDEO CODING |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022168510A Division JP2023015093A (ja) | 2017-06-29 | 2022-10-20 | 統合された画像再構成及び映像符号化 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020526942A true JP2020526942A (ja) | 2020-08-31 |
JP2020526942A5 JP2020526942A5 (ja) | 2021-08-12 |
JP7164535B2 JP7164535B2 (ja) | 2022-11-01 |
Family
ID=62976335
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019543897A Active JP7164535B2 (ja) | 2017-06-29 | 2018-06-29 | 統合された画像再構成及び映像符号化 |
JP2022168510A Pending JP2023015093A (ja) | 2017-06-29 | 2022-10-20 | 統合された画像再構成及び映像符号化 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022168510A Pending JP2023015093A (ja) | 2017-06-29 | 2022-10-20 | 統合された画像再構成及び映像符号化 |
Country Status (8)
Country | Link |
---|---|
US (3) | US10992941B2 (ja) |
EP (2) | EP4064701A1 (ja) |
JP (2) | JP7164535B2 (ja) |
KR (2) | KR102580314B1 (ja) |
CN (8) | CN117793380A (ja) |
BR (1) | BR112019016885A2 (ja) |
RU (2) | RU2727100C1 (ja) |
WO (1) | WO2019006300A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022521793A (ja) * | 2019-02-27 | 2022-04-12 | 華為技術有限公司 | 符号化器、復号器及び対応する方法 |
Families Citing this family (56)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10728549B2 (en) | 2017-11-06 | 2020-07-28 | Dolby Laboratories Licensing Corporation | Adaptive loop filtering for high-dynamic range video |
MX2020008499A (es) * | 2018-02-14 | 2020-09-25 | Dolby Laboratories Licensing Corp | Reconfiguracion de imagenes en codificacion de video usando la optimizacion de tasa-distorsion. |
EP3861729A1 (en) * | 2018-10-03 | 2021-08-11 | Dolby Laboratories Licensing Corporation | Reducing banding artifacts in backward-compatible hdr imaging |
WO2020094067A1 (en) | 2018-11-06 | 2020-05-14 | Beijing Bytedance Network Technology Co., Ltd. | Simplified parameter derivation for intra prediction |
CN113170122B (zh) | 2018-12-01 | 2023-06-27 | 北京字节跳动网络技术有限公司 | 帧内预测的参数推导 |
SG11202105759QA (en) | 2018-12-07 | 2021-06-29 | Beijing Bytedance Network Technology Co Ltd | Context-based intra prediction |
EP3700217A1 (en) * | 2019-02-22 | 2020-08-26 | InterDigital VC Holdings, Inc. | Inverse mapping simplification |
US11647188B2 (en) * | 2019-01-04 | 2023-05-09 | Interdigital Vc Holdings, Inc. | Inverse mapping simplification |
JP7199550B2 (ja) * | 2019-02-01 | 2023-01-05 | 北京字節跳動網絡技術有限公司 | パラメータセットを使用したインループ再成形情報のシグナリング |
WO2020156533A1 (en) * | 2019-02-01 | 2020-08-06 | Beijing Bytedance Network Technology Co., Ltd. | Interactions between in-loop reshaping and palette mode |
WO2020156549A1 (en) | 2019-02-02 | 2020-08-06 | Beijing Bytedance Network Technology Co., Ltd. | Buffer access methods for intra block copy in video coding |
US11956475B2 (en) * | 2019-02-06 | 2024-04-09 | Qualcomm Incorporated | Harmonization of prediction-domain filters with interpolation filtering |
WO2020169101A1 (en) * | 2019-02-22 | 2020-08-27 | Beijing Bytedance Network Technology Co., Ltd. | Neighbouring sample selection for intra prediction |
BR112021015017B1 (pt) | 2019-02-24 | 2022-07-26 | Bytedance Inc. | Método e aparelho para codificar dados de vídeo, e, mídia de armazenamento |
WO2020175893A1 (ko) * | 2019-02-28 | 2020-09-03 | 엘지전자 주식회사 | Aps 시그널링 기반 비디오 또는 영상 코딩 |
CN117395439A (zh) | 2019-03-01 | 2024-01-12 | 北京字节跳动网络技术有限公司 | 用于视频编解码中的帧内块复制的基于方向的预测 |
KR20210125506A (ko) | 2019-03-04 | 2021-10-18 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 비디오 코딩에서 인트라 블록 복사를 위한 버퍼 관리 |
WO2020177702A1 (en) | 2019-03-04 | 2020-09-10 | Beijing Bytedance Network Technology Co., Ltd. | Two-level signaling of filtering information in video processing |
WO2020180120A1 (ko) * | 2019-03-05 | 2020-09-10 | 엘지전자 주식회사 | Lmcs에 기반한 영상 코딩 방법 및 그 장치 |
KR20230004921A (ko) * | 2019-03-07 | 2023-01-06 | 엘지전자 주식회사 | 루마 맵핑 및 크로마 스케일링 기반 비디오 또는 영상 코딩 |
WO2020182092A1 (en) * | 2019-03-08 | 2020-09-17 | Beijing Bytedance Network Technology Co., Ltd. | Constraints on model-based reshaping in video processing |
KR20230016712A (ko) * | 2019-03-11 | 2023-02-02 | 엘지전자 주식회사 | 루마 맵핑 및 크로마 스케일링 기반 비디오 또는 영상 코딩 |
KR20210135247A (ko) * | 2019-03-13 | 2021-11-12 | 인터디지털 브이씨 홀딩스 인코포레이티드 | 인 루프 재성형 적응적 재성형기 방향 |
CN117499644A (zh) * | 2019-03-14 | 2024-02-02 | 北京字节跳动网络技术有限公司 | 环路整形信息的信令和语法 |
WO2020192613A1 (en) | 2019-03-23 | 2020-10-01 | Beijing Bytedance Network Technology Co., Ltd. | Restrictions on in-loop reshaping parameter sets |
MX2021011247A (es) * | 2019-03-24 | 2021-10-01 | Beijing Bytedance Network Tech Co Ltd | Filtrado de bucle adaptativo no lineal en procesamiento de video. |
CN113767631B (zh) | 2019-03-24 | 2023-12-15 | 北京字节跳动网络技术有限公司 | 用于帧内预测的参数推导中的条件 |
CA3135968C (en) * | 2019-04-18 | 2024-05-14 | Beijing Bytedance Network Technology Co., Ltd. | Restriction on applicability of cross component mode |
CN117579841A (zh) | 2019-04-23 | 2024-02-20 | 北京字节跳动网络技术有限公司 | 降低跨分量依赖性的方法 |
EP3963886A1 (en) * | 2019-05-03 | 2022-03-09 | InterDigital VC Holdings, Inc. | Chroma processing for video encoding and decoding |
CN117221558A (zh) | 2019-05-08 | 2023-12-12 | 北京字节跳动网络技术有限公司 | 跨分量编解码的适用性条件 |
WO2020231139A1 (ko) * | 2019-05-16 | 2020-11-19 | 엘지전자 주식회사 | 루마 맵핑 및 크로마 스케일링 기반 비디오 또는 영상 코딩 |
JP7425810B2 (ja) * | 2019-06-17 | 2024-01-31 | エルジー エレクトロニクス インコーポレイティド | ルママッピングベースのビデオまたは映像コーディング |
KR20200145773A (ko) * | 2019-06-21 | 2020-12-30 | 현대자동차주식회사 | 코딩 툴들을 제어하는 방법 및 장치 |
CN114009024B (zh) * | 2019-06-21 | 2024-04-02 | 北京字节跳动网络技术有限公司 | 视频编解码中自适应环内颜色空间变换的选择性启用 |
EP3987793A4 (en) * | 2019-06-21 | 2023-07-19 | Beijing Dajia Internet Information Technology Co., Ltd. | PREDICTION DEPENDENT RESIDUAL SCALING METHODS AND DEVICES FOR VIDEO CODING |
WO2020256510A1 (ko) * | 2019-06-21 | 2020-12-24 | 현대자동차주식회사 | 코딩 툴들을 제어하는 방법 및 장치 |
US20220256202A1 (en) * | 2019-06-21 | 2022-08-11 | Interdigital Vc Holdings France, Sas | Luma mapping with chroma scaling (lmcs) lut extension and clipping |
CN113994697A (zh) | 2019-06-22 | 2022-01-28 | 北京字节跳动网络技术有限公司 | 色度残差缩放的语法元素 |
WO2020262915A1 (ko) * | 2019-06-24 | 2020-12-30 | 엘지전자 주식회사 | Alf 또는 lmcs를 사용하는 비디오 또는 영상 코딩 |
CN114128280B (zh) | 2019-07-07 | 2023-11-14 | 北京字节跳动网络技术有限公司 | 色度残差缩放的信令通知 |
BR112022000358A2 (pt) * | 2019-07-10 | 2022-05-10 | Beijing Bytedance Network Tech Co Ltd | Método e aparelho para processar dados de vídeo e meios de armazenamento e gravação não transitórios legíveis por computador |
EP4000269A4 (en) | 2019-08-15 | 2022-09-07 | ByteDance Inc. | PALLET MODE WITH DIFFERENT DIVISION STRUCTURES |
CN114930822A (zh) | 2019-08-15 | 2022-08-19 | 字节跳动有限公司 | 用于调色板逸出符号的熵编解码 |
US11172237B2 (en) | 2019-09-11 | 2021-11-09 | Dolby Laboratories Licensing Corporation | Inter-layer dynamic range scalability for HDR video |
JP2022548737A (ja) * | 2019-09-19 | 2022-11-21 | バイトダンス インコーポレイテッド | パレット・モードのための量子化パラメータ導出 |
CN115152219A (zh) | 2019-11-07 | 2022-10-04 | 抖音视界有限公司 | 视频编解码的自适应环内颜色空间变换的量化特性 |
WO2021195569A1 (en) * | 2020-03-27 | 2021-09-30 | Beijing Dajia Internet Information Technology Co., Ltd. | Methods and devices for prediction dependent residual scaling for video coding |
CN115462076A (zh) * | 2020-04-30 | 2022-12-09 | 北京达佳互联信息技术有限公司 | 用于针对视频编解码的预测相关残差缩放的方法和设备 |
US20210409683A1 (en) * | 2020-06-24 | 2021-12-30 | Qualcomm Incorporated | Model parameter derivation of local illumination compensation in the luma mapping with chroma scaling-mapped domain in video coding |
KR20240066299A (ko) * | 2020-06-24 | 2024-05-14 | 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 | 비디오 코딩을 위한 예측 종속 잔차 스케일링을 위한 방법 및 장치 |
KR20230034427A (ko) * | 2020-12-17 | 2023-03-09 | 닛폰 호소 교카이 | 복호 장치, 프로그램, 및 복호 방법 |
US12022098B2 (en) * | 2021-03-04 | 2024-06-25 | Lemon Inc. | Neural network-based in-loop filter with residual scaling for video coding |
WO2022217474A1 (zh) * | 2021-04-13 | 2022-10-20 | 深圳市大疆创新科技有限公司 | 视频编、解码方法、装置、系统及存储介质 |
CN115225900A (zh) * | 2021-04-19 | 2022-10-21 | 中兴通讯股份有限公司 | 图像编码、解码方法、装置、电子设备和存储介质 |
WO2023150482A1 (en) * | 2022-02-01 | 2023-08-10 | Dolby Laboratories Licensing Corporation | Volumetric immersive experience with multiple views |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010038587A1 (ja) * | 2008-10-01 | 2010-04-08 | 株式会社エヌ・ティ・ティ・ドコモ | 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム、及び動画像符号化・復号システム |
WO2016164235A1 (en) * | 2015-04-06 | 2016-10-13 | Dolby Laboratories Licensing Corporation | In-loop block-based image reshaping in high dynamic range video coding |
WO2017201066A1 (en) * | 2016-05-16 | 2017-11-23 | Qualcomm Incorporated | In loop sample processing for high dynamic range and wide color gamut video coding |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100261253B1 (ko) | 1997-04-02 | 2000-07-01 | 윤종용 | 비트율 조절이 가능한 오디오 부호화/복호화 방법및 장치 |
FI117845B (fi) * | 2004-08-12 | 2007-03-15 | Gurulogic Microsystems Oy | Videokuvan prosessointi |
US7876833B2 (en) * | 2005-04-11 | 2011-01-25 | Sharp Laboratories Of America, Inc. | Method and apparatus for adaptive up-scaling for spatially scalable coding |
US8437053B2 (en) * | 2010-04-15 | 2013-05-07 | Eastman Kodak Company | Gamut mapping using hue-preserving color space |
US9161041B2 (en) * | 2011-01-09 | 2015-10-13 | Mediatek Inc. | Apparatus and method of efficient sample adaptive offset |
US20140003527A1 (en) * | 2011-03-10 | 2014-01-02 | Dolby Laboratories Licensing Corporation | Bitdepth and Color Scalable Video Coding |
US8334911B2 (en) * | 2011-04-15 | 2012-12-18 | Dolby Laboratories Licensing Corporation | Encoding, decoding, and representing high dynamic range images |
US9036042B2 (en) * | 2011-04-15 | 2015-05-19 | Dolby Laboratories Licensing Corporation | Encoding, decoding, and representing high dynamic range images |
JP5601333B2 (ja) * | 2012-02-09 | 2014-10-08 | コニカミノルタ株式会社 | 画像処理装置、閾値マトリクスの整形方法及びプログラム |
CN105324997B (zh) * | 2013-06-17 | 2018-06-29 | 杜比实验室特许公司 | 用于增强动态范围信号的分层编码的自适应整形 |
US9936199B2 (en) * | 2014-09-26 | 2018-04-03 | Dolby Laboratories Licensing Corporation | Encoding and decoding perceptually-quantized video content |
US10136133B2 (en) | 2014-11-11 | 2018-11-20 | Dolby Laboratories Licensing Corporation | Rate control adaptation for high-dynamic range images |
WO2016154336A1 (en) * | 2015-03-25 | 2016-09-29 | Dolby Laboratories Licensing Corporation | Chroma subsampling and gamut reshaping |
WO2016172091A1 (en) * | 2015-04-22 | 2016-10-27 | Dolby Laboratories Licensing Corporation | Signal reshaping and coding in the ipt-pq color space |
EP3323243B1 (en) | 2015-07-16 | 2022-01-19 | Dolby Laboratories Licensing Corporation | Signal reshaping and decoding for hdr signals |
WO2017053432A1 (en) | 2015-09-21 | 2017-03-30 | Vid Scale, Inc. | Inverse reshaping for high dynamic range video coding |
US10165275B2 (en) | 2016-01-26 | 2018-12-25 | Dolby Laboratories Licensing Corporation | Content-adaptive reshaping for high dynamic range images |
US10477212B2 (en) | 2016-10-11 | 2019-11-12 | Dolby Laboratories Licensing Corporation | Adaptive chroma quantization in video coding for multiple color imaging formats |
US10757428B2 (en) * | 2018-10-10 | 2020-08-25 | Apple Inc. | Luma and chroma reshaping of HDR video encoding |
-
2018
- 2018-06-29 KR KR1020197024092A patent/KR102580314B1/ko active IP Right Grant
- 2018-06-29 WO PCT/US2018/040287 patent/WO2019006300A1/en active Search and Examination
- 2018-06-29 EP EP22169193.4A patent/EP4064701A1/en active Pending
- 2018-06-29 CN CN202410015264.8A patent/CN117793380A/zh active Pending
- 2018-06-29 RU RU2019125713A patent/RU2727100C1/ru active
- 2018-06-29 CN CN202410005772.8A patent/CN117793377A/zh active Pending
- 2018-06-29 KR KR1020237031495A patent/KR20230135182A/ko not_active Application Discontinuation
- 2018-06-29 CN CN202410006213.9A patent/CN117793379A/zh active Pending
- 2018-06-29 BR BR112019016885A patent/BR112019016885A2/pt unknown
- 2018-06-29 CN CN202310078790.4A patent/CN116095314A/zh active Pending
- 2018-06-29 CN CN202310078791.9A patent/CN116095315A/zh active Pending
- 2018-06-29 JP JP2019543897A patent/JP7164535B2/ja active Active
- 2018-06-29 US US16/619,074 patent/US10992941B2/en active Active
- 2018-06-29 EP EP18743332.1A patent/EP3571838B1/en active Active
- 2018-06-29 CN CN202410005914.0A patent/CN117793378A/zh active Pending
- 2018-06-29 CN CN202310078787.2A patent/CN116095313A/zh active Pending
- 2018-06-29 RU RU2020122372A patent/RU2746981C2/ru active
- 2018-06-29 CN CN201880012069.2A patent/CN110301134B/zh active Active
-
2021
- 2021-04-26 US US17/240,866 patent/US11490095B1/en active Active
-
2022
- 2022-09-08 US US17/940,819 patent/US12015786B2/en active Active
- 2022-10-20 JP JP2022168510A patent/JP2023015093A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010038587A1 (ja) * | 2008-10-01 | 2010-04-08 | 株式会社エヌ・ティ・ティ・ドコモ | 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム、及び動画像符号化・復号システム |
WO2016164235A1 (en) * | 2015-04-06 | 2016-10-13 | Dolby Laboratories Licensing Corporation | In-loop block-based image reshaping in high dynamic range video coding |
WO2017201066A1 (en) * | 2016-05-16 | 2017-11-23 | Qualcomm Incorporated | In loop sample processing for high dynamic range and wide color gamut video coding |
Non-Patent Citations (1)
Title |
---|
XIU, XIAOYU ET AL.: "Description of SDR, HDR, and 360° video coding technology proposal by InterDigital Communications a", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 10TH MEETING: SAN, vol. JVET-J0015 (version 2), JPN6021040862, 11 April 2018 (2018-04-11), ISSN: 0004748337 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022521793A (ja) * | 2019-02-27 | 2022-04-12 | 華為技術有限公司 | 符号化器、復号器及び対応する方法 |
JP2022523218A (ja) * | 2019-02-27 | 2022-04-21 | 華為技術有限公司 | 符号化器、復号器及び対応する方法 |
JP2022523219A (ja) * | 2019-02-27 | 2022-04-21 | 華為技術有限公司 | 符号化器、復号器及び対応する方法 |
JP7418459B2 (ja) | 2019-02-27 | 2024-01-19 | 華為技術有限公司 | 符号化器、復号器及び対応する方法 |
JP7418458B2 (ja) | 2019-02-27 | 2024-01-19 | 華為技術有限公司 | 符号化器、復号器及び対応する方法 |
JP7422159B2 (ja) | 2019-02-27 | 2024-01-25 | 華為技術有限公司 | 符号化器、復号器及び対応する方法 |
US11889030B2 (en) | 2019-02-27 | 2024-01-30 | Huawei Technologies Co., Ltd. | Adaptation parameter set types in video coding |
Also Published As
Publication number | Publication date |
---|---|
EP3571838A1 (en) | 2019-11-27 |
KR102580314B1 (ko) | 2023-09-19 |
KR20230135182A (ko) | 2023-09-22 |
CN116095313A (zh) | 2023-05-09 |
CN116095315A (zh) | 2023-05-09 |
CN117793378A (zh) | 2024-03-29 |
CN110301134A (zh) | 2019-10-01 |
CN117793377A (zh) | 2024-03-29 |
BR112019016885A2 (pt) | 2020-04-14 |
CN110301134B (zh) | 2024-02-06 |
JP7164535B2 (ja) | 2022-11-01 |
KR20200021913A (ko) | 2020-03-02 |
RU2727100C1 (ru) | 2020-07-17 |
RU2020122372A3 (ja) | 2021-02-17 |
US20200267392A1 (en) | 2020-08-20 |
US20230021624A1 (en) | 2023-01-26 |
CN117793380A (zh) | 2024-03-29 |
RU2020122372A (ru) | 2020-09-24 |
US11490095B1 (en) | 2022-11-01 |
US10992941B2 (en) | 2021-04-27 |
CN116095314A (zh) | 2023-05-09 |
WO2019006300A1 (en) | 2019-01-03 |
CN117793379A (zh) | 2024-03-29 |
EP4064701A1 (en) | 2022-09-28 |
EP3571838B1 (en) | 2022-04-27 |
US12015786B2 (en) | 2024-06-18 |
RU2746981C2 (ru) | 2021-04-22 |
JP2023015093A (ja) | 2023-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7164535B2 (ja) | 統合された画像再構成及び映像符号化 | |
US11395009B2 (en) | Image reshaping in video coding using rate distortion optimization | |
US11363264B2 (en) | Sample adaptive offset control | |
CN108028936B9 (zh) | 分量用于使用固定点计算实施动态范围调整的方法和设备 | |
TW201924336A (zh) | 利用內容適應性空間變化量化之視訊寫碼 | |
JP2018533867A (ja) | Qp値の決定 | |
BR122023026439A2 (pt) | Método para decodificação com um processador de um fluxo de bits codificado para gerar uma imagem de saída em uma primeira representação de palavra-código |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210629 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210629 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210629 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211020 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211102 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220202 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220412 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220711 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220927 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221020 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7164535 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |