JP2023015093A - 統合された画像再構成及び映像符号化 - Google Patents

Abstract

【課題】第１の符号語表現の画像のシーケンスを所与として、画像を符号化及び復号化する次世代映像コーデック内に再構成を統合する方法、処理及びシステムを提供する。【解決手段】ループ外再構成アーキテクチャ２００Ａ＿Ｅを用いて映像を符号化する処理３００Ａ＿Ｅは、再構成が有効にされていない場合（経路３０５）、符号化を、通常のエンコーダ（例えばＨＥＶＣ）において知られているように進行する。再構成が有効にされている場合（経路３１０）、エンコーダは、デフォルトの再構成関数を適用するという選択肢３１５又はピクチャ解析３２０に基づいて新たな再構成関数３２５を適応的に求めるという選択肢を持つ。順方向再構成３３０に続いて、符号化の残りの部分は、通常の符号化パイプラインに従う（３３５）。適応的再構成３１２が用いられる場合、逆方向再構成関数に関連するメタデータが、符号化リシェーパステップ３２７の一部として生成される。【選択図】図３Ａ

Description

［関連出願の相互参照］
本願は、２０１８年６月１９日に出願された米国仮特許出願第６２／６８６，７３８号、２０１８年６月５日に出願された米国仮特許出願第６２／６８０，７１０号、２０１８年２月１２日に出願された米国仮特許出願第６２／６２９，３１３号、２０１７年９月２１日に出願された米国仮特許出願第６２／５６１，５６１号、及び２０１７年６月２９日に出願された米国仮特許出願第６２／５２６，５７７号の優先権を主張する。これらの出願のそれぞれは、その全内容が本明細書に援用される。

本発明は、包括的には、画像及び映像の符号化に関する。より具体的には、本発明の一実施形態は、統合された画像再構成（image reshaping）及び映像符号化に関する。

２０１３年に、国際標準化機構（ＩＳＯ）内のＭＰＥＧグループは、国際電気通信連合（ＩＴＵ）と共同で、ＨＥＶＣ（Ｈ．２６５としても知られている）映像符号化規格の最初の案を公開した。更に最近では、同グループは、既存の映像符号化技術を上回る改善された符号化性能を提供する次世代符号化規格の開発をサポートする技術公募（call for evidence）を行った。

本明細書において、「ビット深度（bit depth）」という用語は、画像の色成分の１つ
を表すために用いられるピクセル数を意味する。従来、画像は、１ピクセルあたり１つの色成分につき８ビット（例えば、１ピクセルあたり２４ビット）で符号化されていた。しかし、最近のアーキテクチャは、現在のところ、１０ビット、１２ビット、又はそれ以上といったより高いビット深度をサポートすることができる。

従来の画像パイプラインでは、キャプチャされた画像は、線形のシーン光を非線形の映像信号（例えば、ガンマ符号化されたＲＧＢ又はＹＣｂＣｒ）に変換する非線形の光－電伝達関数（ＯＥＴＦ）を用いて量子化される。その後、受信機では、この信号は、ディスプレイに表示される前に、映像信号値を出力画面の色の値に変換する電－光伝達関数（ＥＯＴＦ）によって処理される。そのような非線形関数は、ＩＴＵ－Ｒ Ｒｅｃ．ＢＴ．７０９及びＢＴ．２０２０に規定されている伝統的な「ガンマ」曲線と、ＳＭＰＴＥ ＳＴ
２０８４及びＲｅｃ．ＩＴＵ－Ｒ ＢＴ．２１００に記載されている「ＰＱ」（perceptual quantization）曲線とを含む。

本明細書において、「順方向再構成（forward reshaping）」という用語は、デジタル
画像の元のビット深度及び元の符号語分布又は符号語表現（例えば、ガンマ又はＰＱ等）から、それと同じ又は異なるビット深度及び異なる符号語分布又は符号語表現の画像への、デジタル画像のサンプルからサンプルへのマッピング、又は符号語から符号語へのマッピングの処理を意味する。再構成によって、固定のビットレートにおいて圧縮率の改善又は画質の改善が可能になる。例えば、この例に限定されないが、１０ビットの映像符号化アーキテクチャにおいて、再構成を１０ビット又は１２ビットのＰＱ符号化ＨＤＲ映像に適用して、符号化効率を改善することができる。受信機では、再構成された信号を伸張した後、受信機は、「逆方向再構成関数（inverse reshaping function）」を適用して、信号を元の符号語分布に復元することができる。本発明者らの認識では、次世代の映像符号化規格の開発が始まる中で、画像の統合された再構成及び符号化のための改良技術が求められている。本発明の方法は、様々な映像コンテンツに適用可能である。そのような映像
コンテンツには、標準ダイナミックレンジ（ＳＤＲ）及び／又はハイダイナミックレンジ（ＨＤＲ）におけるコンテンツが含まれるが、これらに限定されるものではない。

本節において説明されるアプローチは、追求され得たものではあるが、必ずしもこれまでに着想又は追求されたアプローチではない。したがって、別段の指定がない限り、本節において説明されるアプローチのいずれも、本節に含まれるというだけの理由で従来技術として認められると想定されるべきでない。同様に、１つ以上のアプローチに関して特定される課題は、別段の指定がない限り、本節に基づいて、何らかの従来技術において認識されていたものと想定されるべきでない。

本発明の一実施形態は、添付図面における図において、限定ではなく例として示されている。図において、同様の参照符号は同様の要素を表す。

映像配信パイプラインについての例示の処理を示す図である。 従来技術による信号再構成を用いたデータ圧縮の例示の処理を示す図である。 本発明の一実施形態によるノーマティブループ外（normative out-of-loop）再構成を用いたエンコーダの例示のアーキテクチャを示す図である。 本発明の一実施形態によるノーマティブループ外再構成を用いたデコーダーの例示のアーキテクチャを示す図である。 本発明の一実施形態によるノーマティブイントラオンリーループ内（normative intra-only in-loop）再構成を用いたエンコーダの例示のアーキテクチャを示す図である。 本発明の一実施形態によるノーマティブイントラオンリーループ内再構成を用いたデコーダの例示のアーキテクチャを示す図である。 本発明の一実施形態による予測残差のループ内再構成を用いたエンコーダの例示のアーキテクチャを示す図である。 本発明の一実施形態による予測残差のループ内再構成を用いたデコーダの例示のアーキテクチャを示す図である。 本発明の一実施形態によるハイブリッドループ内再構成を用いたエンコーダの例示のアーキテクチャを示す図である。 本発明の一実施形態によるハイブリッドループ内再構成を用いたデコーダの例示のアーキテクチャを示す図である。 本発明の一実施形態によるループ外再構成アーキテクチャを用いて映像を符号化する例示の処理を示す図である。 本発明の一実施形態によるループ外再構成アーキテクチャを用いて映像を復号化する例示の処理を示す図である。 本発明の一実施形態によるイントラオンリーループ内再構成アーキテクチャを用いて映像を符号化する例示の処理を示す図である。 本発明の一実施形態によるイントラオンリーループ内再構成アーキテクチャを用いて映像を復号化する例示の処理を示す図である。 本発明の一実施形態による予測残差のループ内再構成アーキテクチャを用いて映像を符号化する例示の処理を示す図である。 本発明の一実施形態による予測残差のループ内再構成アーキテクチャを用いて映像を復号化する例示の処理を示す図である。 本発明の一実施形態による、３つの再構成ベースのアーキテクチャのうちの任意の１つ又は組み合わせを用いて映像を符号化する例示の処理を示す図である。 本発明の一実施形態による、３つの再構成ベースアーキテクチャのうちの任意の１つ又は組み合わせを用いて映像を復号化する例示の処理を示す図である。 本発明の一実施形態による映像デコーダにおける再構成関数復元処理を示す図である。 本発明の一実施形態による映像デコーダにおける再構成関数復元処理を示す図である。 本発明の一実施形態による、彩度ＱＰオフセット値がＰＱ符号化信号及びＨＬＧ符号化信号の輝度量子化パラメータ（ＱＰ）に従ってどのように変化するかについての例を示す図である。 本発明の一実施形態による、彩度ＱＰオフセット値がＰＱ符号化信号及びＨＬＧ符号化信号の輝度量子化パラメータ（ＱＰ）に従ってどのように変化するかについての例を示す図である。 本発明の一実施形態による、再構成関数のピボットベースの表現の一例を示す図である。

画像を圧縮するためのノーマティブループ外及びループ内統合型信号再構成符号化の技術が本明細書において説明される。以下の記載では、説明のために、非常に多くの具体的な詳細が、本発明の十分な理解を提供するために述べられている。しかしながら、本発明は、これらの具体的な詳細がなくても実施することができることは明らかである。他の例では、本発明を不必要に不鮮明、不明瞭、又は難読化することがないように、周知の構造及びデバイスは、網羅するほど詳細には記載されていない。

［概要］
本明細書において説明される例示の実施形態は、映像の統合された信号再構成及び符号化に関する。エンコーダでは、プロセッサが、入力ビット深度Ｎ及び入力符号語マッピング（例えば、ガンマ、ＰＱ等）によって表された第１の符号語表現の入力画像を受信する。プロセッサは、第１の符号語表現よりも効率的な圧縮を可能にする第２の符号語表現を用いて入力画像を圧縮する２つ以上の候補のエンコーダアーキテクチャの中から１つのエンコーダアーキテクチャ（エンコーダの構成部分であるリシェーパを有する）を選択する。これらの２つ以上の候補のエンコーダアーキテクチャは、ループ外再構成アーキテクチャ、イントラピクチャ用のみのループ内再構成アーキテクチャ、又は予測残差用のループ内アーキテクチャを含む。また、プロセッサは、選択されたエンコーダアーキテクチャに従って入力画像を圧縮する。

別の実施形態では、第１の符号語表現の出力画像を生成するデコーダが、符号化画像の少なくとも一部分が第２の符号語表現で圧縮された符号化ビットストリームを受信する。このデコーダは、関連する再構成情報も受信する。プロセッサは、入力符号化ビットストリームを伸張する２つ以上の候補のデコーダアーキテクチャの中からデコーダアーキテクチャを示すシグナリングを受信する。これらの２つ以上の候補のデコーダアーキテクチャは、ループ外再構成アーキテクチャ、イントラピクチャ用のみのループ内再構成アーキテクチャ、又は予測残差用のループ内アーキテクチャを含む。また、プロセッサは、受信された再構成アーキテクチャに従って、符号化画像を伸張し、出力画像を生成する。

別の実施形態では、予測残差用のループ内アーキテクチャに従って画像を圧縮するエンコーダにおいて、プロセッサは、第１の符号語表現の入力画像にアクセスし、入力画像のピクセルを上記第１の符号語表現から第２の符号語表現にマッピングする順方向再構成関数を生成する。上記プロセッサは、ピクセルを上記第２の符号語表現から上記第１の符号語表現にマッピングする逆方向再構成関数を上記順方向再構成関数に基づいて生成する。次に、上記入力画像における入力ピクセル領域について、上記プロセッサは、
基準フレームバッファ又は事前に符号化された近傍空間内のピクセルデータに基づいて、少なくとも１つの予測領域を計算し、
上記入力ピクセル領域、上記予測領域、及び上記順方向再構成関数に基づいて、再構成された残差領域を生成し、
上記再構成された残差領域に基づいて、符号化された（変換及び量子化された）残差領域を生成し、
上記符号化された残差領域に基づいて、復号化された（逆量子化及び変換された）残差領域を生成し、
上記復号化された残差領域、上記予測領域、上記順方向再構成関数、及び上記逆方向再構成関数に基づいて、復元されたピクセル領域を生成し、
上記復元されたピクセル領域に基づいて、上記基準フレームバッファに記憶される基準ピクセル領域を生成する。

別の実施形態では、予測残差用のループ内アーキテクチャに従って第１の符号語表現で出力画像を生成するデコーダにおいて、上記プロセッサは、第２の符号語表現で部分的に符号化された符号化ビットストリームを受信する。上記プロセッサは、関連する再構成情報も受信する。上記プロセッサは、上記再構成情報に基づいて、上記第１の符号語表現から上記第２の符号語表現にピクセルをマッピングする順方向再構成関数と、上記第２の符号語表現から上記第１の符号語表現にピクセルをマッピングする逆方向再構成関数とを生成する。上記符号化画像の領域について、上記プロセッサは、
上記符号化された画像に基づいて、復号化された再構成残差領域を生成し、
基準ピクセルバッファ又は事前に復号化された近傍空間内のピクセルに基づいて予測領域を生成し、
上記復号化された再構成された残差領域、上記予測領域、上記順方向再構成関数、及び上記逆方向再構成関数に基づいて、復元されたピクセル領域を生成し、
上記復元されたピクセル領域に基づいて、出力ピクセル領域を生成し、
上記出力ピクセル領域を上記基準ピクセルバッファに記憶する。

［例示の映像配信処理パイプライン］
図１Ａは、映像のキャプチャから映像コンテンツの表示までの様々な段階を示す従来の映像配信パイプライン１００の例示の処理を示している。映像フレーム１０２のシーケンスが、画像生成ブロック１０５を用いてキャプチャされるか、又は生成される。映像フレーム１０２は、デジタル方式で（例えば、デジタルカメラによって）キャプチャされ、又は、コンピュータによって（例えば、コンピュータアニメーションを用いて）生成され、映像データ１０７を提供することができる。或いは、映像フレーム１０２は、フィルムカメラによってフィルム上にキャプチャされてもよい。このフィルムは、デジタルフォーマットに変換されて、映像データ１０７を提供する。プロダクションフェーズ１１０では、映像データ１０７が編集され、映像プロダクションストリーム１１２を提供する。

プロダクションストリーム１１２の映像データは、次に、ポストプロダクション用のブロック１１５においてプロセッサに提供される。ブロック１１５のポストプロダクションは、映像クリエーターの創作意図に従って、画像の特定のエリア内の色又は明度を調整又は変更して、画質を向上し又は画像の特定の外観を実現することを含み得る。これは、「カラータイミング（color timing）」又は「カラーグレーディング（color grading）」
と呼ばれることがある。他の編集（例えば、シーン選択及びシーケーシング、画像クロッピング、コンピュータ生成された視覚特殊効果の追加等）をブロック１１５において行い、配信用のプロダクションの最終バージョン１１７を得ることができる。ポストプロダクション１１５において、映像イメージは、リファレンスディスプレイ１２５上で視聴される。

ポストプロダクション１１５に続いて、最終プロダクションの映像データ１１７は、テレビ受像機、セットトップボックス、映画館等の下流側の復号化デバイス及び再生デバイ
スに配信する符号化ブロック１２０に配信することができる。幾つかの実施形態では、符号化ブロック１２０は、ＡＴＳＣフォーマット、ＤＶＢフォーマット、ＤＶＤフォーマット、Ｂｌｕ－Ｒａｙフォーマット、及び他の配信フォーマットによって規定されるような、符号化されたビットストリーム１２２を生成するオーディオエンコーダ及び映像エンコーダを備えていてもよい。受信機では、符号化されたビットストリーム１２２は、復号化ユニット１３０によって復号化され、信号１１７と同一又はこれに近い近似を表す復号化された信号１３２が生成される。受信機は、リファレンスディスプレイ１２５と全く異なる特性を有し得るターゲットディスプレイ１４０に取り付けることができる。その場合、ディスプレイマネジメントブロック１３５を用いることにより、ディスプレイマッピングされた信号１３７を生成して、復号化された信号１３２のダイナミックレンジをターゲットディスプレイ１４０の特性にマッピングすることができる。

信号再構成
図１Ｂは、従来技術の引用文献［１］による信号再構成の例示の処理を示している。入力フレーム１１７が与えられると、順方向再構成ブロック１５０は、入力及び符号化制約を解析し、入力フレーム１１７を再量子化された出力フレーム１５２にマッピングする符号語マッピング関数を生成する。例えば、ある電－光伝達関数（ＥＯＴＦ）（例えば、ガンマ）に従って入力１１７を符号化することができる。幾つかの実施形態では、再構成処理についての情報を、メタデータを用いて下流側デバイス（デコーダ等）に伝えることができる。本明細書において、「メタデータ」という用語は、符号化ビットストリームの一部として送信され、デコーダが復号化画像をレンダリングすることを補助する任意の付加情報に関する。そのようなメタデータは、本明細書において説明されるような色空間情報又は色域情報、リファレンスディスプレイパラメータ、及び付加信号パラメータを含み得るが、これらに限定されるものではない。

符号化１２０及び復号化１３０に続いて、復号化されたフレーム１３２は、逆方向（backward）（又は逆）再構成関数１６０によって処理され得る。この関数は、再量子化されたフレーム１３２を、前述したディスプレイマネジメント処理１３５といった更に下流の処理のためにＥＯＴＦ領域（例えば、ガンマ）に再び変換する。幾つかの実施形態では、逆方向再構成関数１６０は、例えば、ＡＶＣ映像デコーダ又はＨＥＶＣ映像デコーダにおける量子化解除器の一部として、デコーダ１３０における量子化解除器と統合することができる。

本明細書において、「リシェーパ」という用語は、デジタル画像を符号化及び／又は復号化するときに用いられる順方向再構成関数又は逆方向再構成関数を意味し得る。再構成関数の例は、引用文献［１］及び［２］で議論されている。本発明において、当業者は、入力映像信号の特性と、符号化アーキテクチャ及び復号化アーキテクチャの利用可能なビット深度とに従って、適当な順方向再構成関数及び逆方向再構成関数を導出することができるものと仮定している。

引用文献［１］では、ハイダイナミックレンジ映像符号化用のループ内ブロックベースの画像再構成方法が提案されている。その設計は、符号化ループの内部でブロックベースの再構成を可能にしているが、複雑さが増してしまうというコストを伴う。具体的には、この設計では、復号化画像バッファを２セット保持することが必要となる。一方のセットは、逆方向再構成された（又は非再構成の）復号化ピクチャ用であり、再構成を伴わない予測用とディスプレイへの出力用との双方に用いることができる。他方のセットは、順方向再構成された復号化ピクチャ用であり、再構成を伴う予測用にのみ用いられる。順方向再構成された復号化映像は、動作中に計算することができるが、特にインター予測（サブピクセル補間を含む動き補償）の場合に複雑さのコストが非常に高い。一般に、ディスプレイピクチャバッファ（ＤＰＢ）のマネジメントは複雑であり、細心の注意を必要とする
。このため、本発明者らの認識によれば、映像を符号化する単純化された方法が望まれている。

本明細書において提示される再構成ベースのコーデックアーキテクチャの実施形態は、次のように分けることができる。すなわち、外部のループ外リシェーパを有するアーキテクチャと、イントラオンリーループ内リシェーパを有するアーキテクチャと、略して「ループ内残差リシェーパ」とも呼ばれる予測残差用のループ内リシェーパを有するアーキテクチャとに分けることができる。映像エンコーダ又は映像デコーダは、これらのアーキテクチャのうちの任意の１つ又はそれらの組み合わせをサポートすることができる。これらのアーキテクチャのそれぞれは、そのままで適用することもできるし、他の任意の１つと組み合わせて適用することもできる。各アーキテクチャは、輝度成分、彩度成分、又は輝度成分及び１つ以上の彩度成分の組み合わせについて適用することができる。

これらの３つのアーキテクチャに加えて、追加の実施形態は、再構成に関連するメタデータの効率的なシグナリング方法と、再構成が適用されるときに符号化効率を改善する幾つかのエンコーダベースの最適化ツールとを記載している。

ノーマティブループ外リシェーパ
図２Ａ及び図２Ｂは、「ノーマティブ」ループ外リシェーパを有する映像エンコーダ２００Ａ＿Ｅ及び対応する映像デコーダ２００Ａ＿Ｄのアーキテクチャを示している。「ノーマティブ」という用語は、これまでの設計では、再構成が前処理ステップと考えられていたために、ＡＶＣ、ＨＥＶＣ等の符号化規格のノーマティブな（normative）記述の範
囲外であったのと異なり、本実施形態においては、順方向再構成及び逆方向再構成がノーマティブな要件の一部であることを表す。規格に従ったビットストリーム適応性が復号化１３０の後に検査される図１Ｂのアーキテクチャと異なり、図２Ｂでは、適応性は、逆方向再構成ブロック２６５の後に（例えば、図１Ｂにおける出力１６２において）検査される。

エンコーダ２００Ａ＿Ｅでは、２つの新たなブロック、すなわち、順方向再構成関数を推定するブロック２０５と、入力映像１１７の１つ以上の色成分に順方向再構成を適用する順方向ピクチャ再構成ブロック２１０とが、従来のブロックベースのエンコーダ（例えば、ＨＥＶＣ）に追加される。幾つかの実施形態では、これらの２つの動作は、単一の画像再構成ブロックの一部として実行され得る。デコーダにおいて逆方向再構成関数を求めることに関連するパラメータ２０７を、映像エンコーダ（例えば、ＣＡＢＡＣ２２０）の可逆エンコーダブロックに渡すことにより、符号化ビットストリーム１２２に埋め込むことができる。イントラ予測又はインター予測２２５、変換及び量子化（Ｔ＆Ｑ）、逆変換及び量子化（Ｑ^-1＆Ｔ^-1）並びにループフィルタリングに関連する全ての動作は、ＤＰＢ２１５に記憶された、再構成されたピクチャを用いて行われる。

デコーダ２００Ａ＿Ｄでは、２つの新たなノーマティブブロック、すなわち、符号化再構成関数パラメータ２０７に基づいて逆方向再構成関数を復元するブロック２５０と、復号化データ２６２に逆方向再構成関数を適用して復号化映像信号１６２を生成するブロック２６５とが、従来のブロックベースのデコーダに追加される。幾つかの実施形態では、ブロック２５０及び２６５に関連する動作を、単一の処理ブロックに組み合わせることができる。

図３Ａは、本発明の一実施形態によるループ外再構成アーキテクチャ２００Ａ＿Ｅを用いて映像を符号化する例示の処理３００Ａ＿Ｅを示している。再構成が有効にされていない場合（経路３０５）、符号化は、従来技術のエンコーダ（例えば、ＨＥＶＣ）において知られているように進行する。再構成が有効にされている場合（経路３１０）、エンコー
ダは、所定（デフォルト）の再構成関数を適用するという選択肢３１５、又は、ピクチャ解析３２０に基づいて新たな再構成関数３２５を適応的に求めるという選択肢（例えば、引用文献［１］～［３］に記載）を持つことができる。順方向再構成３３０に続いて、符号化の残りの部分は、従来の符号化パイプラインに従う（３３５）。適応的再構成３１２が用いられる場合、逆方向再構成関数に関連するメタデータが、「符号化リシェーパ（Encode Reshaper）」ステップ３２７の一部として生成される。

図３Ｂは、本発明の一実施形態によるループ外再構成アーキテクチャ２００Ａ＿Ｄを用いて映像を復号化する例示の処理３００Ａ＿Ｄを示している。再構成が有効にされていない場合（経路３５５）、従来の復号化パイプラインと同様に、ピクチャを復号化した（３５０）後、出力フレームが生成される（３９０）。再構成が有効にされている場合（経路３６０）、ステップ３７０において、デコーダは、所定（デフォルト）の再構成関数を適用する（３７５）のか、又は、受信パラメータ（例えば、２０７）に基づいて逆方向再構成関数を適応的に求める（３８０）のかを決定する。逆方向再構成３８５に続いて、復号化の残りの部分は従来の復号化パイプラインに従う。

ノーマティブイントラオンリーループ内リシェーパ
図２Ｃは、本発明の一実施形態によるノーマティブイントラオンリーループ内再構成を用いたエンコーダ２００Ｂ＿Ｅの例示のアーキテクチャを示している。この設計は、引用文献［１］において提案されている設計とかなり類似しているが、特にＤＰＢメモリ２１５及び２６０の使用に関わる複雑度を低減するために、イントラピクチャのみがこのアーキテクチャを用いて符号化される。

ループ外再構成２００Ａ＿Ｅと比較すると、エンコーダ２００Ｂ＿Ｅにおける主な相違は、ＤＰＢ２１５が、再構成されたピクチャではなく逆方向再構成されたピクチャを記憶することである。換言すれば、復号化イントラピクチャを、ＤＰＢに記憶する前に（逆方向再構成ユニット２６５によって）逆方向再構成する必要がある。このアプローチの背後にある理由は、イントラピクチャが再構成を伴って符号化された場合、イントラピクチャの改善された符号化性能が伝播し、インターピクチャが再構成を伴わずに符号化されていても、インターピクチャの符号化も同様に（暗に）改善されるということである。このように、インターピクチャのループ内再構成の複雑度を取り扱うことなく再構成を利用することができる。逆方向再構成２６５は、内部ループの一部であるので、ループ内フィルター２７０の前に実施することができる。ループ内フィルターの前に逆方向再構成を追加する利点は、この場合、順方向再構成されたピクチャではなく原ピクチャの特性に基づいてループ内フィルターの設計を最適化することができるということである。

図２Ｄは、本発明の一実施形態によるノーマティブイントラオンリーループ内再構成を用いたデコーダ２００Ｂ＿Ｄの例示のアーキテクチャを示している。図２Ｄに示すように、ここで、ループ内フィルタリング２７０の前に、逆方向再構成関数を求めること（２５０）と、逆方向再構成を適用すること（２６５）とが実行される。

図３Ｃは、本発明の一実施形態によるイントラオンリーループ内再構成アーキテクチャを用いて映像を符号化する例示の処理３００Ｂ＿Ｅを示している。図示されるように、図３Ｃにおける動作のフローは、図３Ａにおける動作のフローと多くの要素を共有する。この例では、デフォルトで、インター符号化には再構成が適用されない。イントラ符号化ピクチャについては、再構成が有効にされている場合、エンコーダは、この場合も、デフォルト再構成曲線を用いるか、又は、適応的再構成を適用するかの選択肢を有する（３１２）。ピクチャが再構成される場合、逆方向再構成３８５が処理に含まれ、ステップ３２７において関連するパラメータが符号化される。対応する復号化処理３００Ｂ＿Ｄが、図３Ｄに示されている。

図３Ｄに示すように、再構成に関連する動作は、イントラ再構成がエンコーダにおいて適用された場合にのみ、受信されたイントラピクチャに対してのみ有効にされる。

予測残差のループ内リシェーパ
符号化において、「残差」という用語は、サンプルすなわちデータ要素の予測値とその元の値又は復号化値との間の差を意味する。例えば、Ｏｒｉｇ＿ｓａｍｐｌｅとして表記される入力映像１１７からの原サンプルが与えられると、イントラ予測又はインター予測２２５は、Ｐｒｅｄ＿ｓａｍｐｌｅとして表記される対応する予測サンプル２２７を生成することができる。再構成が行われていない場合、未再構成残差Ｒｅｓ＿ｕは、以下の式として定義することができる。
Res_u = Orig_sample - Pred_sample. (1)

幾つかの実施形態では、残差領域内に再構成を適用することが有益であり得る。図２Ｅは、本発明の一実施形態による、予測残差にループ内再構成を用いたエンコーダ２００Ｃ＿Ｅの例示のアーキテクチャを示している。順方向再構成関数をＦｗｄ（）と表記し、対応する逆方向再構成関数をＩｎｖ（）と表記することにする。一実施形態では、再構成された残差２３２は、以下の式として定義することができる。
Res_r = Fwd(Orig_sample) - Fwd(Pred_sample). (2)

これに対応して、逆方向リシェーパ２６５の出力２６７において、Ｒｅｃｏ＿ｓａｍｐｌｅ２６７として表記される復元されたサンプルは、以下のように表すことができる。
Reco_sample= Inv(Res_d + Fwd(Pred_sample)), (3)
ここで、Ｒｅｓ＿ｄは、２００Ｃ＿Ｅにおけるループ内符号化及び復号化の後のＲｅｓ＿ｒの密接近似値である残差２３４を表す。

なお、再構成は残差に適用されるが、実際の入力映像ピクセルは再構成されない。図２Ｆは、対応するデコーダ２００Ｃ＿Ｄを示している。図２Ｆに示すように、式（３）に基づくと、デコーダは、受信されたメタデータ２０７及び「リシェーパ復号化」ブロック２５０を用いて抽出することができる順方向再構成関数及び逆方向再構成関数の双方へのアクセスを必要とすることに留意されたい。

一実施形態では、複雑度を低減するために、式（２）及び（３）を簡略化することができる。例えば、順方向再構成関数を区分的線形関数によって近似することができるとともに、Ｐｒｅｄ＿ｓａｍｐｌｅとＯｒｉｇ＿ｓａｍｐｌｅとの間の絶対差が相対的に小さいと仮定すると、式（２）は、以下のように近似することができる。
Res_r = a(Pred_sample)_*(Orig_sample -Pred_sample), (4)
ここで、ａ（Ｐｒｅｄ＿ｓａｍｐｌｅ）は、Ｐｒｅｄ＿ｓａｍｐｌｅの値に基づくスケーリングファクターを表す。式（３）及び（４）から、式（３）は、以下のように近似することができる。
Reco_sample= Pred_sample + (1/a(Pred_sample))*Res_r, (5)
したがって、一実施形態では、区分的線形モデルのスケーリングファクターａ（Ｐｒｅｄ＿ｓａｍｐｌｅ）のみをデコーダに伝える必要がある。

図３Ｅ及び図３Ｆは、予測残差のループ内再構成を用いて映像を符号化する例示の処理フロー３００Ｃ＿Ｅ及び映像を復号化する例示の処理フロー３００Ｃ＿Ｄを示している。これらの処理は、図３Ａ及び図３Ｂに示されている処理とかなり類似している。このため、説明を要しない。

表１は、３つの提案アーキテクチャの重要な特徴を要約したものである。

図４Ａ及び図４Ｂは、３つの提案アーキテクチャの組み合わせを用いて符号化する例示の符号化処理フロー及び復号化する例示の復号化処理フローを示している。図４Ａに示すように、再構成が有効にされていない場合、入力映像は、再構成を用いることなく既知の映像符号化技術（例えば、ＨＥＶＣ等）に従って符号化される。再構成が有効にされている場合、エンコーダは、ターゲットの受信機の能力及び／又は入力特性に応じて、３つの
主な提案方法のうちのいずれか１つを選択することができる。例えば、一実施形態では、エンコーダは、シーンレベルにおいてこれらの方法を切り替えることができる。ここで、「シーン」は、同様の輝度特性を有する連続フレームからなるシーケンスを表す。別の実施形態では、高レベルパラメータが、シーケンスパラメータセット（ＳＰＳ）レベルにおいて定義される。

図４Ｂに示すように、デコーダは、再構成情報の受信した信号に応じて、対応する復号化処理のうちのいずれかを呼び出して、送られてくる符号化されたビットストリームを復号化することができる。

ハイブリッドループ内再構成
図２Ｇは、ハイブリッドループ内再構成アーキテクチャを用いたエンコーダの例示のアーキテクチャ２００Ｄ＿Ｅを示している。このアーキテクチャは、前述のイントラオンリーループ内再構成アーキテクチャ２００Ｂ＿Ｅ及びループ内残差アーキテクチャ２００Ｃ＿Ｅの双方からの要素を組み合わせたものである。このアーキテクチャの下では、イントラスライスは、１つの相違点を除いて、ループ内イントラ再構成符号化アーキテクチャ（例えば、図２Ｃにおける２００Ｂ＿Ｅ）に従って符号化される。１つの相違点とは、イントラスライスについて、逆方向ピクチャ再構成２６５－１がループフィルタリング２７０－１の後に実行されることである。別の実施形態では、イントラスライスのループ内フィルタリングが逆方向再構成の後に実行され得る。しかし、実験結果は、そのような構成が、逆方向再構成がループフィルタリングの後に実行されたときよりも符号化効率の悪化をもたらし得ることを示している。残りの動作は、前述したものと同じである。

インタースライスは、前述のように、ループ内残差符号化アーキテクチャ（例えば、図２Ｅにおける２００Ｃ＿Ｅ）に従って符号化される。図２Ｇに示すように、イントラ／インタースライススイッチにより、符号化されるスライスタイプに応じた２つのアーキテクチャ間の切り替えが可能である。

図２Ｈは、ハイブリッドループ内再構成を用いたデコーダの例示のアーキテクチャ２００Ｄ＿Ｄを示している。この場合も、イントラスライスは、ループ内イントラ再構成デコーダアーキテクチャ（例えば、図２Ｄにおける２００Ｂ＿Ｄ）に従って復号化される。この場合も、イントラスライスについて、ループフィルタリング２７０－１は、逆方向ピクチャ再構成２６５－１よりも前に行われる。インタースライスは、ループ内残差復号化アーキテクチャ（例えば、図２Ｆにおける２００Ｃ＿Ｄ）に従って復号化される。図２Ｈに示すように、イントラ／インタースライススイッチにより、符号化映像のピクチャにおけるスライスタイプに応じた２つのアーキテクチャ間の切り替えが可能である。

図４Ａは、図２Ｇに示す符号化処理３００Ｄ－Ｅを呼び出すことによってハイブリッドループ内再構成符号化の方法も含むように容易に拡張することができる。同様に、図４Ｂは、図２Ｈに示す復号化処理３００Ｄ－Ｄを呼び出すことによってハイブリッドループ内再構成復号化の方法も含むように容易に拡張することができる。

スライスレベルでの再構成
本発明の実施形態は、様々なスライスレベルの適応調整を可能にする。例えば、計算量を削減するために、再構成は、イントラスライスについてのみ、又はインタースライスについてのみ有効にすることができる。別の実施形態では、再構成は、時間ＩＤ（例えば、ＨＥＶＣの変数ＴｅｍｐｏｒａｌＩｄ（引用文献［１１］）であり、ＴｅｍｐｏｒａｌＩｄ＝ｎｕｈ＿ｔｅｍｐｏｒａｌ＿ｉｄ＿ｐｌｕｓ１－１である）の値に基づいて可能にすることができる。例えば、現在のスライスのＴｅｍｐｏｒａｌＩｄが既定値以下である場合には、現在のスライスのｓｌｉｃｅ＿ｒｅｓｈａｐｅｒ＿ｅｎａｂｌｅ＿ｆｌａｇを１
に設定することができ、そうでない場合には、ｓｌｉｃｅ＿ｒｅｓｈａｐｅｒ＿ｅｎａｂｌｅ＿ｆｌａｇは０になる。スライスごとにｓｌｉｃｅ＿ｒｅｓｈａｐｅｒ＿ｅｎａｂｌｅ＿ｆｌａｇパラメータを送信することを回避するために、ＳＰＳレベルにおいてｓｐｓ＿ｒｅｓｈａｐｅｒ＿ｔｅｍｐｏｒａｌ＿ｉｄパラメータを指定することができ、したがって、その値を推定することができる。

再構成が有効にされているスライスについて、デコーダは、どの再構成モデルを用いるのかを知る必要がある。ある実施形態では、デコーダは、ＳＰＳレベルにおいて定められた再構成モデルを常に用いることができる。別の実施形態では、デコーダは、スライスヘッダーにおいて定められた再構成モデルを常に用いることができる。再構成モデルが現在のスライスにおいて定められていない場合、デコーダは、再構成を用いた、直近に復号化されたスライスにおいて用いられた再構成モデルを適用することができる。別の実施形態では、再構成がイントラスライスに用いられるか否かを問わず、再構成モデルをイントラスライスにおいて常に指定することができる。そのような実施態様では、パラメータｓｌｉｃｅ＿ｒｅｓｈａｐｅｒ＿ｅｎａｂｌｅ＿ｆｌａｇ及びｓｌｉｃｅ＿ｒｅｓｈａｐｅｒ＿ｍｏｄｅｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを分離する必要がある。そのようなスライスシンタックスの一例は表５に示されている。

再構成情報のシグナリング
順方向再構成及び／又は逆方向再構成に関連する情報は、種々の情報レイヤー、例えば、映像パラメータセット（ＶＰＳ）、シーケンスパラメータセット（ＳＰＳ）、映像パラメータセット（ＰＰＳ）、スライスヘッダー、補足情報（ＳＥＩ）、又は他の任意の高レベルシンタックスに存在することができる。限定ではなく一例として、表２は、再構成が可能にされているか否か、再構成が適応できるか否か、及び３つのアーキテクチャのいずれが用いられているのかに関するシグナリングのＳＰＳにおける高レベルのシンタックスの一例を提供している。

追加の情報も、他のあるレイヤー、例えば、スライスヘッダーに保持することができる。再構成関数は、ルックアップテーブル（ＬＵＴ）、区分的多項式、又は他の種類のパラメトリックモデルによって記述することができる。再構成関数を伝えるために用いられている再構成モデルのタイプは、追加のシンタックス要素、例えば、ｒｅｓｈａｐｉｎｇ＿ｍｏｄｅｌ＿ｔｙｐｅフラグによってシグナリングすることができる。例えば、２つの異なる表現を用いるシステムを考えることにする。すなわち、ｍｏｄｅｌ＿Ａ（例えば、ｒｅｓｈａｐｉｎｇ＿ｍｏｄｅｌ＿ｔｙｐｅ＝０）は、再構成関数を区分的多項式の集合として表す（例えば、引用文献［４］参照）一方、ｍｏｄｅｌ＿Ｂ（例えば、ｒｅｓｈａｐｉｎｇ＿ｍｏｄｅｌ＿ｔｙｐｅ＝１）では、再構成関数は、映像輝度特性及び視覚的重要度に基づいて符号語を異なる輝度帯域に割り当てることによって適応的に導出される（例
えば、引用文献［３］参照）。表３は、用いられる適切な再構成モデルをデコーダが決定することを補助する、映像のスライスヘッダーにおけるシンタックス要素の一例を提供している。

以下の３つの表は、シーケンスレイヤー、スライスレイヤー、又は符号化ツリーユニット（ＣＴＵ）レイヤーにおける信号再構成のビットストリームシンタックスの代替例を記載している。

表４～表６について、例示のセマンティクスは、以下のように表すことができる。
１に等しいｓｐｓ＿ｒｅｓｈａｐｅｒ＿ｅｎａｂｌｅ＿ｆｌａｇは、リシェーパが、符号化映像シーケンス（ＣＶＳ）に用いられることを指定する。０に等しいｓｐｓ＿ｒｅｓｈａｐｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、リシェーパがＣＶＳに用いられないことを指定する。
１に等しいｓｌｉｃｅ＿ｒｅｓｈａｐｅｒ＿ｅｎａｂｌｅ＿ｆｌａｇは、リシェーパが現在のスライスについて有効にされていることを指定する。０に等しいｓｌｉｃｅ＿ｒｅｓｈａｐｅｒ＿ｅｎａｂｌｅ＿ｆｌａｇは、リシェーパが現在のスライスについて有効にされていないことを指定する。
ｓｐｓ＿ｒｅｓｈａｐｅｒ＿ｓｉｇｎａｌ＿ｔｙｐｅは、元の符号語の分布又は表現を示す。限定ではなく一例として、０に等しいｓｐｓ＿ｒｅｓｈａｐｅｒ＿ｓｉｇｎａｌ＿ｔｙｐｅはＳＤＲ（ガンマ）を指定し、１に等しいｓｐｓ＿ｒｅｓｈａｐｅｒ＿ｓｉｇｎａｌ＿ｔｙｐｅはＰＱを指定し、２に等しいｓｐｓ＿ｒｅｓｈａｐｅｒ＿ｓｉｇｎａｌ＿ｔｙｐｅはＨＬＧを指定する。
１に等しいｒｅｓｈａｐｅｒ＿ＣＴＵ＿ｃｏｎｔｒｏｌ＿ｆｌａｇは、リシェーパを各ＣＴＵに適応させることが可能であることを示す。０に等しいｒｅｓｈａｐｅｒ＿ＣＴＵ＿ｃｏｎｔｒｏｌ＿ｆｌａｇは、リシェーパを各ＣＴＵに適応させることが可能でないことを示す。ｒｅｓｈａｐｅｒ＿ＣＵＴ＿ｃｏｎｔｒｏｌ＿ｆｌａｇが存在しないとき、その値は０であると推定されるものとする。
１に等しいｒｅｓｈａｐｅｒ＿ＣＴＵ＿ｆｌａｇは、リシェーパが現在のＣＴＵに用いられることを指定する。０に等しいrｅｓｈａｐｅｒ＿ＣＵＴ＿ｆｌａｇは、リシェーパ
が現在のＣＴＵに用いられないことを指定する。ｒｅｓｈａｐｅｒ＿ＣＴＵ＿ｆｌａｇが存在しないとき、その値はｓｌｉｃｅ＿ｒｅｓｈａｐｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇに等しいと推定されるものとする。
１に等しいｓｐｓ＿ｒｅｓｈａｐｅｒ＿ｍｏｄｅｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ｓｐｓ＿ｒｅｓｈａｐｅｒ＿ｍｏｄｅｌ（）がＳＰＳに存在することを示す。０に等しいｓｐｓ＿ｒｅｓｈａｐｅｒ＿ｍｏｄｅｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ｓｐｓ＿ｒｅｓｈａｐｅｒ＿ｍｏｄｅｌ（）がＳＰＳに存在しないことを示す。
１に等しいｓｌｉｃｅ＿ｒｅｓｈａｐｅｒ＿ｍｏｄｅｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ｓｌｉｃｅ＿ｒｅｓｈａｐｅｒ＿ｍｏｄｅｌ（）がスライスヘッダーに存在することを示す。０に等しいｓｌｉｃｅ＿ｒｅｓｈａｐｅｒ＿ｍｏｄｅｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ｓｌｉｃｅ＿ｒｅｓｈａｐｅｒ＿ｍｏｄｅｌ（）がスライスヘッダーに存在しないことを示す。
１に等しいｓｐｓ＿ｒｅｓｈａｐｅｒ＿ｃｈｒｏｍａＡｄｊは、彩度ＱＰ調整がｃｈｒｏｍａＤＱＰを用いて行われることを示す。２に等しいｓｐｓ＿ｒｅｓｈａｐｅｒ＿ｃｈｒｏｍａＡｄｊは、彩度ＱＰ調整が彩度スケーリングを用いて行われることを示す。
ｓｐｓ＿ｒｅｓｈａｐｅｒ＿ＩＬＦ＿ｏｐｔは、ループ内フィルターが、イントラスライス及びインタースライスについて元の領域において適用されるべきか又は再構成領域において適用されるべきかを示す。例えば、最下位ビットがイントラスライスに関係する２
ビットシンタックスを用いると、以下の表のとおりとなる。

幾つかの実施形態では、このパラメータは、スライスレベルにおいて調整することができる。例えば、一実施形態では、スライスは、ｓｌｉｃｅ＿ｒｅｓｈａｐｅｒ＿ｅｎａｂｌｅ＿ｆｌａｇが１に設定されているとき、ｓｌｉｃｅ＿ｒｅｓｈａｐｅ＿ＩＬＦＯＰＴ＿ｆｌａｇを含み得る。別の実施形態では、ＳＰＳには、ｓｐｓ＿ｒｅｓｈａｐｅｒ＿ＩＬＦ＿ｏｐｔが有効にされている場合、ｓｐｓ＿ｒｅｓｈａｐｅｒ＿ＩＬＦ＿Ｔｉｄパラメータを含めることができる。現在のスライスのＴｅｍｐｏｒａｌＩＤ≦ｓｐｓ＿ｒｅｓｈａｐｅｒ＿ＩＬＦ＿Ｔｉｄであり、かつ、ｓｌｉｃｅ＿ｒｅｓｈａｐｅｒ＿ｅｎａｂｌｅ＿ｆｌａｇが１に設定されている場合、ループ内フィルターは、再構成領域において適用される。そうでない場合、ループ内フィルターは、非再構成領域において適用される。

表４では、彩度ＱＰ調整は、ＳＰＳレベルにおいて制御される。一実施形態では、彩度ＱＰ調整は、スライスレベルにおいても制御することができる。例えば、各スライスにおいて、ｓｌｉｃｅ＿ｒｅｓｈａｐｅｒ＿ｅｎａｂｌｅ＿ｆｌａｇが１に設定されているとき、シンタックス要素ｓｌｉｃｅ＿ｒｅｓｈａｐｅ＿ｃｈｒｏｍａＡｄｊ＿ｆｌａｇを追加することができる。別の実施形態では、ＳＰＳにおいて、ｓｐｓ＿ｒｅｓｈａｐｅｒ＿ｃｈｒｏｍａＡｄｊが有効にされているとき、シンタックス要素ｓｐｓ＿ｒｅｓｈａｐｅｒ＿ＣｈｒｏｍａＡｄｊ＿Ｔｉｄを追加することができる。現在のスライスのＴｅｍｐｏｒａｌＩＤ≦ｓｐｓ＿ｒｅｓｈａｐｅｒ＿ＣｈｒｏｍａＡｄｊ＿Ｔｉｄであり、かつ、ｓｌｉｃｅ＿ｒｅｓｈａｐｅｒ＿ｅｎａｂｌｅ＿ｆｌａｇが１に設定されている場合、彩度調整が適用される。そうでない場合、彩度調整は適用されない。表４Ｂは、前述したシンタックスを用いた表４の例示の変形形態を示している。

ｓｐｓ＿ｒｅｓｈａｐｅｒ＿ＩＬＦ＿Ｔｉｄは、ループ内フィルターが再構成領域において再構成されたスライスについて適用される最も高いＴｅｍｐｏｒａｌＩＤを指定する。
ｓｐｓ＿ｒｅｓｈａｐｅｒ＿ｃｈｒｏｍａＡｄｊ＿Ｔｉｄは、彩度調整が再構成されたスライスについて適用される最も高いＴｅｍｐｏｒａｌＩＤを指定する。

別の実施形態では、再構成モデルは、例えばｓｌｉｃｅ＿ｒｅｓｈａｐｅ＿ｍｏｄｅｌ（）関数の一部として、再構成モデルＩＤ、例えばｒｅｓｈａｐｅ＿ｍｏｄｅｌ＿ｉｄを用いて定義することができる。再構成モデルは、ＳＰＳレベル、ＰＰＳレベル、又はスライスヘッダーレベルにおいてシグナリングすることができる。ＳＰＳ又はＰＰＳにおいてシグナリングされる場合、ｒｅｓｈａｐｅ＿ｍｏｄｅｌ＿ｉｄの値は、ｓｐｓ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ又はｐｐｓ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄから推定することもできる。ｓｌｉｃｅ＿ｒｅｓｈａｐｅ＿ｍｏｄｅｌ（）を保持していない（例えば、ｓｌｉｃｅ＿ｒｅｓｈａｐｅｒ＿ｍｏｄｅｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０に等しい）スライスにｒｅｓｈａｐｅ＿ｍｏｄｅｌ＿ｉｄをどのように用いるのかの一例が、表５の変形形態である以下の表５Ｂに示されている。

例示のシンタックスでは、パラメータｒｅｓｈａｐｅ＿ｍｏｄｅｌ＿ｉｄは、用いられているｒｅｓｈａｐｅ＿ｍｏｄｅｌの値を指定する。ｒｅｓｈａｐｅ＿ｍｏｄｅｌ＿ｉｄのこの値は、０～１５の範囲にあるものとする。

提案されたシンタックスの一使用例として、再構成がＳＰＳレベルにおいて用いられ、特定の再構成がスライスレベルにおいて用いられず（再構成は全てのスライスに用いられる）、ＣＴＵ適応がインタースライスについてのみ可能にされる場合にＰＱ ＥＯＴＦを用いて符号化されるＨＤＲ信号を考えることにする。その場合、以下となる。
sps_reshaper_signal_type＝１（ＰＱ）；
sps_reshaper_model_present_flag＝１；
//注：ｓｌｉｃｅ＿ｒｅｓｈａｐｅｒ＿ｅｎａｂｌｅ＿ｆｌａｇを操作して、インタースライスについてリシェーパを有効及び無効にすることができる。
slice_reshaper_enable_flag＝１；
if(CTUAdp）
{
if(I_slice）
slice_reshaper_model_present_flag＝０；
reshaper_CTU_control_flag＝０；
else
slice_reshaper_model_present_flag＝０；
reshaper_CTU_control_flag＝１；
}
else
{
slice_reshaper_model_present_flag＝０；
reshaper_CTU_control_flag＝０；
}

別の例として、再構成がスライスレベルのみにおいて、イントラスライスのみについて適用される場合のＳＤＲ信号を考えることにする。ＣＴＵ再構成適応は、インタースライスのみについて可能にされる。その場合、以下となる。
sps_reshaper_signal_type＝0（ＳＤＲ）；
sps_reshaper_model_present_flag＝0；
slice_reshaper_enable_flag＝1；
if(I_slice)
{
slice_reshaper_model_present_flag＝1；
reshaper_CTU_control_flag＝0；
}
else
{
slice_reshaper_model_present_flag＝0；
if(CTUAdp)
reshape_CTU_control_flag＝1；
else
reshaper_CTU_control_flag＝0；
}

ＣＴＵレベルにおいて、一実施形態では、ＣＴＵレベル再構成は、ＣＴＵの輝度特性に基づいて有効にすることができる。例えば、各ＣＴＵについて、平均輝度（例えば、ＣＴＵ＿ａｖｇ＿ｌｕｍ＿ｖａｌｕｅ）を計算し、この平均輝度を１つ以上の閾値と比較し、それらの比較の結果に基づいて再構成をオンにするのか又はオフにするのかを決定することができる。例えば、
ＣＴＵ＿ａｖｇ＿ｌｕｍ＿ｖａｌｕｅ＜ＴＨＲ１である場合、又は
ＣＴＵ＿ａｖｇ＿ｌｕｍ＿ｖａｌｕｅ＞ＴＨＲ２である場合、又は
ＴＨＲ３＜ＣＴＵ＿ａｖｇ＿ｌｕｍ＿ｖａｌｕｅ＜ＴＨＲ４である場合、
このＣＴＵについて、ｒｅｓｈａｐｅｒ＿ＣＴＵ＿Ｆｌａｇ＝１である。
一実施形態では、平均輝度を用いる代わりに、最小輝度、最大輝度、又は平均輝度、分散等のＣＴＵの他のある輝度特性を用いることができる。ＣＴＵの彩度ベースの特性を適用することもできるし、輝度特性及び彩度特性並びに閾値を組み合わせることもできる。

上述（例えば、図３Ａ、図３Ｂ、及び図３Ｃにおけるステップについて上述）したように、実施形態は、デフォルト再構成関数若しくは静的再構成関数、又は適応的再構成の双方をサポートすることができる。「デフォルトリシェーパ」は、既定の再構成関数を実行するために用いることができ、したがって、再構成曲線を導出する際に各映像又は各シーンを解析する複雑度を低減することができる。この場合、シーンレベルにおいても、映像レベルにおいても、スライスレベルにおいても逆方向再構成関数をシグナリングする必要はない。デフォルトリシェーパは、シグナリングを回避するためにデコーダに記憶された固定マッピング曲線を用いることによって実施することもできるし、シーケンスレベルパラメータセットの一部として１回シグナリングすることもできる。別の実施形態では、事前に復号化された適応的再構成関数を符号化順において後の映像に再利用することができる。別の実施形態では、再構成曲線は、以前に復号化されたものとの差分としてシグナリングすることができる。他の実施形態では、（例えば、Ｉｎｖ（）関数及びＦｗｄ（）関数の双方が逆方向再構成を行うために必要とされているループ内残差再構成について）、Ｉｎｖ（）関数又はＦｗｄ（）関数のうちの一方のみをビットストリームでシグナリングすることもできるし、代替的に、デコーダの複雑度を低減するために、双方をシグナリングすることもできる。表７及び表８は、再構成情報をシグナリングする２つの例を提供している。

表７では、再構成関数は、２次多項式のセットとして伝えられる。再構成関数は、探査実験モデル（ＥＴＭ）の単純化されたシンタックスである（引用文献［５］）。これまでの変形形態は引用文献［４］にも見ることができる。

ｒｅｓｈａｐｅ＿ｉｎｐｕｔ＿ｌｕｍａ＿ｂｉｔ＿ｄｅｐｔｈ＿ｍｉｎｕｓ８は、再構成処理の入力輝度成分のサンプルビット深度を指定する。
ｃｏｅｆｆ＿ｌｏｇ２＿ｏｆｆｓｅｔ＿ｍｉｎｕｓ２は、輝度成分の再構成関連係数の計算の小数ビットの数を指定する。ｃｏｅｆｆ＿ｌｏｇ２＿ｏｆｆｓｅｔ＿ｍｉｎｕｓ２の値は、０以上３以下の範囲にあるものとする。
ｒｅｓｈａｐｅ＿ｎｕｍ＿ｒａｎｇｅｓ＿ｍｉｎｕｓ１に１を加えたものは、区分的再構成関数における範囲の数を指定する。存在しないとき、ｒｅｓｈａｐｅ＿ｎｕｍ＿ｒａｎｇｅｓ＿ｍｉｎｕｓ１の値は、０であると推定される。ｒｅｓｈａｐｅ＿ｎｕｍ＿ｒａｎｇｅｓ＿ｍｉｎｕｓｌは、輝度成分の場合、０以上７以下の範囲にあるものとする。
１に等しいｒｅｓｈａｐｅ＿ｅｑｕａｌ＿ｒａｎｇｅｓ＿ｆｌａｇは、区分的再構成関数が、ほぼ等しい長さを有するＮｕｍｂｅｒＲａｎｇｅｓ個の部分に分割され、各範囲の長さが明示的にシグナリングされないことを指定する。０に等しいｒｅｓｈａｐｅ＿ｅｑｕａｌ＿ｒａｎｇｅｓ＿ｆｌａｇは、各範囲の長さが明示的にシグナリングされることを指定する。
ｒｅｓｈａｐｅ＿ｇｌｏｂａｌ＿ｏｆｆｓｅｔ＿ｖａｌは、第０の範囲の開始点を指定するために用いられるオフセット値を得るために用いられる。
ｒｅｓｈａｐｅ＿ｒａｎｇｅ＿ｖａｌ［ｉ］は、輝度成分の第ｉの範囲の長さを得るために用いられる。
ｒｅｓｈａｐｅ＿ｃｏｎｔｉｎｕｉｔｙ＿ｆｌａｇは、輝度成分の再構成関数の連続性特性を指定する。ｒｅｓｈａｐｅ＿ｃｏｎｔｉｎｕｉｔｙ＿ｆｌａｇが０に等しい場合、０次連続性が、連続したピボット点の間の区分的線形逆方向再構成関数に適用される。ｒｅｓｈａｐｅ＿ｃｏｎｔｉｎｕｉｔｙ＿ｆｌａｇが１に等しい場合、１次平滑を用いて、連続したピボット点の間の完全２次多項式逆方向再構成関数が導出される。
ｒｅｓｈａｐｅ＿ｐｏｌｙ＿ｃｏｅｆｆ＿ｏｒｄｅｒ０＿ｉｎｔ［ｉ］は、輝度成分の第ｉの部分の０次多項式係数の整数値を指定する。
ｒｅｓｈａｐｅ＿ｐｏｌｙ＿ｃｏｅｆｆ＿ｏｒｄｅｒ０＿ｆｒａｃ［ｉ］は、輝度成分の第ｉの部分の０次多項式係数の小数値を指定する。
ｒｅｓｈａｐｅ＿ｐｏｌｙ＿ｃｏｅｆｆ＿ｏｒｄｅｒｌ＿ｉｎｔは、輝度成分の１次多
項式係数の整数値を指定する。
ｒｅｓｈａｐｅ＿ｐｏｌｙ＿ｃｏｅｆｆ＿ｏｒｄｅｒｌ＿ｆｒａｃは、輝度成分の１次多項式係数の小数値を指定する。

表８は、前述したｍｏｄｅｌ＿Ｂ（引用文献［３］）による代替のパラメトリック表現の例示の実施形態を記載している。

表８において、一実施形態では、シンタックスパラメータは、以下のように定義することができる。
ｒｅｓｈａｐｅ＿ｍｏｄｅｌ＿ｐｒｏｆｉｌｅ＿ｔｙｐｅは、リシェーパ構築処理において用いられるプロファイルタイプを指定する。
ｒｅｓｈａｐｅ＿ｍｏｄｅｌ＿ｓｃａｌｅ＿ｉｄｘは、リシェーパ構築処理において用いられるスケール係数（ＳｃａｌｅＦａｃｔｏｒとして表される）のインデックス値を指定する。ＳｃａｌｅＦａｃｔｏｒの値によって、全体的な符号化効率を改善する再構成関数の制御の改善が可能になる。このＳｃａｌｅＦａｃｔｏｒの使用に関する更に詳細な内容は、再構成関数復元処理（例えば、図５Ａ及び図５Ｂに示す）に関する議論と関連して提供される。限定ではなく一例として、ｒｅｓｈａｐｅ＿ｍｏｄｅｌ＿ｓｃａｌｅ＿ｉｄｘの値は、０以上３以下の範囲にあるものとする。一実施形態では、以下の表に示すようなｓｃａｌｅ＿ｉｄｘとＳｃａｌｅＦａｃｔｏｒとの間のマッピング関係は、
ScaleFactor = 1.0 - 0.05* reshape_model_scale_idx.
によって与えられる。

別の実施形態では、より効率的な固定小数点の実施態様の場合、マッピング関係は、
ScaleFactor = 1 - 1/16* reshape_model_scale_idx
によって与えられる。

ｒｅｓｈａｐｅ＿ｍｏｄｅｌ＿ｍｉｎ＿ｂｉｎ＿ｉｄｘは、リシェーパ構築処理において用いられる最小ビンインデックスを指定する。ｒｅｓｈａｐｅ＿ｍｏｄｅｌ＿ｍｉｎ＿ｂｉｎ＿ｉｄｘの値は、０以上３１以下の範囲にあるものとする。
ｒｅｓｈａｐｅ＿ｍｏｄｅｌ＿ｍａｘ＿ｂｉｎ＿ｉｄｘは、リシェーパ構築処理において用いられる最大ビンインデックスを指定する。ｒｅｓｈａｐｅ＿ｍｏｄｅｌ＿ｍａｘ＿ｂｉｎ＿ｉｄｘの値は、０以上３１以下の範囲にあるものとする。
ｒｅｓｈａｐｅ＿ｍｏｄｅｌ＿ｎｕｍ＿ｂａｎｄは、リシェーパ構築処理において用いられる帯域の数を指定する。ｒｅｓｈａｐｅ＿ｍｏｄｅｌ＿ｎｕｍ＿ｂａｎｄの値は、０以上１５以下の範囲にあるものとする。
ｒｅｓｈａｐｅ＿ｍｏｄｅｌ＿ｂａｎｄ＿ｐｒｏｆｉｌｅ＿ｄｅｌｔａ［ｉ］は、リシェーパ構築処理において第ｉの帯域のプロファイルを調整するために用いられるデルタ値を指定する。ｒｅｓｈａｐｅ＿ｍｏｄｅｌ＿ｂａｎｄ＿ｐｒｏｆｉｌｅ＿ｄｅｌｔａ［ｉ］の値は、０以上１以下の範囲にあるものとする。

引用文献［３］と比較すると、表８におけるシンタックスは、「デフォルトプロファイルタイプ」のセット、例えば、ハイライト、中間調及び暗色を定義することによってはるかに効率的である。一実施形態では、各タイプは、既定の視覚帯域重要度プロファイルを有する。既定の帯域及び対応するプロファイルは、固定値としてデコーダに実装することができるし、高レベルシンタックス（シーケンスパラメータセット等）を用いてシグナリングすることもできる。エンコーダにおいて、各画像は、最初に解析され、プロファイル化タイプのうちの１つにカテゴリー化される。プロファイルタイプは、シンタックス要素「ｒｅｓｈａｐｅ＿ｍｏｄｅｌ＿ｐｒｏｆｉｌｅ＿ｔｙｐｅ」によってシグナリングされる。適応的再構成では、画像ダイナミクスの全範囲をキャプチャするために、デフォルトプロファイリングが、輝度帯域のそれぞれ又はサブセットのデルタによって更に調整される。デルタ値は、輝度帯域の視覚的重要度に基づいて導出され、シンタックス要素「ｒｅｓｈａｐｅ＿ｍｏｄｅｌ＿ｂａｎｄ＿ｐｒｏｆｉｌｅ＿ｄｅｌｔａ」によってシグナリングされる。

１つの実施形態では、デルタ値は、０又は１の値のみを取ることができる。エンコーダにおいて、視覚的重要度は、全体画像における帯域ピクセルのパーセンテージを「支配的帯域」内の帯域ピクセルのパーセンテージと比較することによって求められる。ここで、支配的帯域は、局所的なヒストグラムを用いて検出することができる。帯域内のピクセルが小さな局所ブロックに集中している場合、その帯域は、そのブロックにおいて視覚的に重要である可能性が最も高い。支配的帯域のカウントは、各帯域のデルタ値を得る意味のある比較をなすために合計され、正規化される。

デコーダでは、リシェーパ関数復元処理を呼び出して、引用文献［３］に記載された方法に基づいて再構成ＬＵＴを導出しなければならない。したがって、ＬＵＴを計算するために区分的多項式関数の値のみを求めることが必要であるより単純な区分近似モデルと比較すると、複雑度はより高い。パラメトリックモデルシンタックスを用いることの利点は
、リシェーパを用いるビットレートを大幅に削減することができることである。例えば、一般的なテストコンテンツに基づくと、表７に示すモデルは、リシェーパをシグナリングするために２００ビット～３００ビットを必要とする一方、パラメトリックモデル（表８にあるような）は約４０ビットしか用いない。

別の実施形態では、表９に示すように、ｄＱＰ値のパラメトリックモデルに従って順方向再構成ルックアップテーブルを導出することができる。例えば、一実施形態では、
dQP = clip3(min, max, scale*X+offset)
となる。ここで、ｍｉｎ及びｍａｘは、ｄＱＰの境界を表し、ｓｃａｌｅ及びｏｆｆｓｅｔは、モデルの２つのパラメータであり、Ｘは、信号輝度（例えば、ピクセルの輝度値、又は、ブロックの場合、ブロック輝度のメトリック、例えば、その最小、最大、平均、分散、標準偏差等）に基づいて導出されるパラメータを表す。例えば、これに限定されないが、
dQP = clip3(-3, 6, 0.015*X - 7.5)
である。

一実施形態では、表９におけるパラメータは、以下のように定義することができる。
ｆｕｌｌ＿ｒａｎｇｅ＿ｉｎｐｕｔ＿ｆｌａｇは、入力映像信号の範囲を指定する。０のｆｕｌｌ＿ｒａｎｇｅ＿ｉｎｐｕｔ＿ｆｌａｇは、標準ダイナミックレンジの入力映像信号に対応する。１のｆｕｌｌ＿ｒａｎｇｅ＿ｉｎｐｕｔ＿ｆｌａｇは、フルレンジの入
力映像信号に対応する。存在しない場合、ｆｕｌｌ＿ｒａｎｇｅ＿ｉｎｐｕｔ＿ｆｌａｇは０であると推定される。

注：本明細書において、「フルレンジ映像」という用語は、映像における有効な符号語が「制限」されていないことを意味する。例えば、１０ビットフルレンジ映像の場合、有効な符号語は、０～１０２３であり、０は最低輝度レベルにマッピングされる。対照的に、１０ビット「標準レンジ映像」の場合、有効な符号語は６４～９４０であり、６４は最低輝度レベルにマッピングされる。

例えば、「フルレンジ」及び「標準レンジ」の計算は、以下のように行うことができる。
［０ １］における正規化された輝度値Ｅｙ’がＢＤビット（例えば、ＢＤ＝１０、１２等）で符号化する場合、以下となる。
フルレンジ：Ｙ＝ｃｌｉｐ３（０，（１≪ＢＤ）－１，Ｅｙ’＊（（１≪ＢＤ）－１）））
標準レンジ：Ｙ＝ｃｌｉｐ３（０，（１≪ＢＤ）－１，ｒｏｕｎｄ（ｌ≪（ＢＤ－８）＊（２１９＊Ｅｙ’＋１６）））

このシンタックスは、ＨＥＶＣ（Ｈ．２６５）仕様書（引用文献［１１］）のセクションＥ．２．１に記載されているＨＥＶＣ ＶＵIパラメータにおける「ｖｉｄｅｏ＿ｆｕ
ｌｌ＿ｒａｎｇｅ＿ｆｌａｇ」シンタックスと同様である。
ｄＱＰ＿ｍｏｄｅｌ＿ｓｃａｌｅ＿ｉｎｔ＿ｐｒｅｃは、ｄＱＰ＿ｍｏｄｅｌ＿ｓｃａｌｅ＿ｉｎｔを表すために用いられるビット数を指定する。０に等しいｄＱＰ＿ｍｏｄｅｌ＿ｓｃａｌｅ＿ｉｎｔ＿ｐｒｅｃは、ｄＱＰ＿ｍｏｄｅｌ＿ｓｃａｌｅ＿ｉｎｔがシグナリングされず、０であると推定されることを示す。
ｄＱＰ＿ｍｏｄｅｌ＿ｓｃａｌｅ＿ｉｎｔは、ｄＱＰモデルスケールの整数値を指定する。
ｄＱＰ＿ｍｏｄｅｌ＿ｓｃａｌｅ＿ｆｒａｃ＿ｐｒｅｃ＿ｍｉｎｕｓ１６に１６を加えたものは、ｄＱＰ＿ｍｏｄｅｌ＿ｓｃａｌｅ＿ｆｒａｃを表すために用いられるビット数を指定する。
ｄＱＰ＿ｍｏｄｅｌ＿ｓｃａｌｅ＿ｆｒａｃは、ｄＱＰモデルスケールの小数値を指定する。

変数ｄＱＰＭｏｄｅｌＳｃａｌｅＡｂｓは、以下のように導出される。
dQPModelScaleAbs = dQP_model_scale_int << (dQP_model_scale_frac_prec_minus16 + 16) + dQP_model_scale_frac
ｄＱＰ＿ｍｏｄｅｌ＿ｓｃａｌｅ＿ｓｉｇｎは、ｄＱＰモデルスケールの正負符号を指定する。ｄＱＰＭｏｄｅｌＳｃａｌｅＡｂｓが０に等しいとき、ｄＱＰ＿ｍｏｄｅｌ＿ｓｃａｌｅ＿ｓｉｇｎはシグナリングされず、０であると推定される。
ｄＱＰ＿ｍｏｄｅｌ＿ｏｆｆｓｅｔ＿ｉｎｔ＿ｐｒｅｃ＿ｍｉｎｕｓ３に３を加えたものは、ｄＱＰ＿ｍｏｄｅｌ＿ｏｆｆｓｅｔ＿ｉｎｔを表すために用いられるビット数を指定する。
ｄＱＰ＿ｍｏｄｅｌ＿ｏｆｆｓｅｔ＿ｉｎｔは、ｄＱＰモデルオフセットの整数値を指定する。
ｄＱＰ＿ｍｏｄｅｌ＿ｏｆｆｓｅｔ＿ｆｒａｃ＿ｐｒｅｃ＿ｍｉｎｕｓｌに１を加えたものは、ｄＱＰ＿ｍｏｄｅｌ＿ｏｆｆｓｅｔ＿ｆｒａｃを表すために用いられるビット数を指定する。
ｄＱＰ＿ｍｏｄｅｌ＿ｏｆｆｓｅｔ＿ｆｒａｃは、ｄＱＰモデルオフセットの小数値を指定する。

変数ｄＱＰＭｏｄｅｌＯｆｆｓｅｔＡｂｓは、以下のように導出される。
dQPModelOffsetAbs = dQP_model_offset_int << (dQP_model_offset_frac_prec_minus1 +
1) + dQP_model_offset_frac
ｄＱＰ＿ｍｏｄｅｌ＿ｏｆｆｓｅｔ＿ｓｉｇｎは、ｄＱＰモデルオフセットの正負符号を指定する。ｄＱＰＭｏｄｅｌＯｆｆｓｅｔＡｂｓが０に等しいとき、ｄＱＰ＿ｍｏｄｅｌ＿ｏｆｆｓｅｔ＿ｓｉｇｎはシグナリングされず、０に等しいと推定される。
ｄＱＰ＿ｍｏｄｅｌ＿ａｂｓ＿ｐｒｅｃ＿ｍｉｎｕｓ３に３を加えたものは、ｄＱＰ＿ｍｏｄｅｌ＿ｍａｘ＿ａｂｓ及びｄＱＰ＿ｍｏｄｅｌ＿ｍｉｎ＿ａｂｓを表すために用いられるビット数を指定する。
ｄＱＰ＿ｍｏｄｅｌ＿ｍａｘ＿ａｂｓは、ｄＱＰモデルｍａｘの整数値を指定する。
ｄＱＰ＿ｍｏｄｅｌ＿ｍａｘ＿ｓｉｇｎは、ｄＱＰモデルｍａｘの正負符号を指定する。ｄＱＰ＿ｍｏｄｅｌ＿ｍａｘ＿ａｂｓが０に等しいとき、ｄＱＰ＿ｍｏｄｅｌ＿ｍａｘ＿ｓｉｇｎはシグナリングされず、０に等しいと推定される。
ｄＱＰ＿ｍｏｄｅｌ＿ｍｉｎ＿ａｂｓは、ｄＱＰモデルｍｉｎの整数値を指定する。
ｄＱＰ＿ｍｏｄｅｌ＿ｍｉｎ＿ｓｉｇｎは、ｄＱＰモデルｍｉｎの正負符号を指定する。ｄＱＰ＿ｍｏｄｅｌ＿ｍｉｎ＿ａｂｓが０に等しいとき、ｄＱＰ＿ｍｏｄｅｌ＿ｍｉｎ＿ｓｉｇｎはシグナリングされず、０に等しいと推定される。

モデルＣの復号化処理
表９のシンタックス要素が与えられると、再構成ＬＵＴは、以下のように導出することができる。
変数ｄＱＰＭｏｄｅｌＳｃａｌｅＦＰは、以下のように導出される。
dQPModelScaleFP = ((1- 2*dQP_model_scale_sign) * dQPModelScaleAbs ) << (dQP_ model_offset_frac_prec_minus1 + 1).

変数ｄＱＰＭｏｄｅｌＯｆｆｓｅｔＦＰは、以下のように導出される。
dQPModelOffsetFP = ((1-2* dQP_model_offset_sign) * dQPModelOffsetAbs ) << (d QP_model_scale_frac_prec_minus16 + 16).

変数ｄＱＰＭｏｄｅｌＳｈｉｆｔは、以下のように導出される。
dQPModelShift = (dQP_model_offset_frac_prec_minus1 + 1) + (dQP_model_scale_f rac_prec_minus16 + 16).

変数ｄＱＰＭｏｄｅｌＭａｘＦＰは、以下のように導出される。
dQPModelMaxFP = ((1- 2*dQP_model_max_sign) * dQP_model_max_abs) << dQPModelS hift.

変数ｄＱＰＭｏｄｅｌＭｉｎＦＰは、以下のように導出される。
dQPModelMinFP = ((1- 2*dQP_model_min_sign) * dQP_model_min_abs) << dQPModelS hift.

for Y＝０：maxY //例えば、１０ビット映像の場合、ｍａｘＹ＝１０２３
{
dQP[Y]＝clip3(dQPModelMinFP, dQPModelMaxFP, dQPModelScaleFP*Y+dQPModelOffsetFP)；
slope[Y]＝exp2((dQP[Y]+3)/6)； //固定小数点のｅｘｐ２を実施。ここで、ｅｘｐ２（ｘ）＝２^（ｘ）である；
}
If(full_range_input_flag==0) //入力が標準レンジ映像である場合
標準レンジ外のＹ（すなわち、Ｙ＝［０：６３］及び［９４０：１０２３］）について
、ｓｌｏｐｅ［Ｙ］＝０を設定する；
CDF[0]＝slope[0]；
for Y＝0：maxY-1
{
CDF[Y+1]＝CDF[Y]+slope[Y]；//ＣＤＦ［Ｙ］は、ｓｌｏｐｅ［Ｙ］の積分である
}
for Y＝0：maxY
{
FwdLUT[Y]＝round(CDF[Y]*maxY/CDF[maxY])； //丸め及び正規化を行ってＦｗｄＬＵ
Ｔを得る
}

別の実施形態では、表１０に示すように、順方向再構成関数は、輝度ピボット点（Ｉｎ＿Ｙ）及びそれらの対応する符号語（Ｏｕｔ＿Ｙ）の集合体として表すことができる。符号化を簡略化するために、入力輝度範囲は、線形区分表現を用いた開始ピボット及びその後に続く等間隔のピボットのシーケンスによって記述される。１０ビット入力データの順方向再構成関数を表した一例が図７に示されている。

一実施形態では、表１０におけるパラメータは、以下のように定義することができる。
ｆｕｌｌ＿ｒａｎｇｅ＿ｉｎｐｕｔ＿ｆｌａｇは、入力映像信号の範囲を指定する。０のｆｕｌｌ＿ｒａｎｇｅ＿ｉｎｐｕｔ＿ｆｌａｇは、標準レンジ入力映像信号に対応する。１のｆｕｌｌ＿ｒａｎｇｅ＿ｉｎｐｕｔ＿ｆｌａｇは、フルレンジ入力映像信号に対応する。存在しないとき、ｆｕｌｌ＿ｒａｎｇｅ＿ｉｎｐｕｔ＿ｆｌａｇは０であると推定される。
ｂｉｎ＿ｐｉｖｏｔ＿ｓｔａｒｔは、最初の等長ビンのピボット値（７１０）を指定する。ｆｕｌｌ＿ｒａｎｇｅ＿ｉｎｐｕｔ＿ｆｌａｇが０に等しいとき、ｂｉｎ＿ｐｉｖｏｔ＿ｓｔａｒｔは、最小の標準レンジ入力以上であるものとし、最大の標準レンジ入力よりも小さいものとする。（例えば、１０ビットＳＤＲ入力の場合、ｂｉｎ＿ｐｉｖｏｔ＿ｓｔａｒｔ（７１０）は、６４～９４０であるものとする）。
ｂｉｎ＿ｃｗ＿ｓｔａｒｔは、ｂｉｎ＿ｐｉｖｏｔ＿ｓｔａｒｔ（７１０）のマッピングされた値（７１５）を指定する（例えば、ｂｉｎ＿ｃｗ＿ｓｔａｒｔ＝ＦｗｄＬＵＴ［ｂｉｎ＿ｐｉｖｏｔ＿ｓｔａｒｔ］）。
ｌｏｇ２＿ｎｕｍ＿ｅｑｕａｌ＿ｂｉｎｓ＿ｍｉｎｕｓ３に３を加えたものは、開始ピボット（７１０）に続く等長ビンの数を指定する。変数ＮｕｍＥｑｕａｌＢｉｎｓ及びＮｕｍＴｏｔａｌＢｉｎｓは、以下の式によって定義される。
NumEqualBins = 1<<(log2_num_equal_bins_minus3+3)
if(full_range_input_flag==0)
NumTotalBins＝NumEqualBins＋4
else
NumTotalBins＝NumEqualBins＋２
注：実験結果では、ほとんどの順方向再構成関数は、８つの等長セグメントを用いて表すことができるが、複雑な再構成関数は、それよりも多くのセグメント（例えば、１６個以上）を必要とし得ることが示されている。
ｅｑｕａｌ＿ｂｉｎ＿ｐｉｖｏｔ＿ｄｅｌｔａは、等長ビン（例えば、７２０－１、７２０－Ｎ）の長さを指定する。ＮｕｍＥｑｕａｌＢｉｎｓ＊ｅｑｕａｌ＿ｂｉｎ＿ｐｉｖｏｔ＿ｄｅｌｔａは、有効入力範囲以下であるものとする。（例えば、ｆｕｌｌ＿ｒａｎｇｅ＿ｉｎｐｕｔ＿ｆｌａｇが０である場合、１０ビット入力の有効入力範囲は、９４０－６４＝８７６である。ｆｕｌｌ＿ｒａｎｇｅ＿ｉｎｐｕｔ＿ｆｌａｇが１である場合、１０ビット入力の有効入力範囲は、０～１０２３である。）
ｂｉｎ＿ｃｗ＿ｉｎ＿ｆｉｒｓｔ＿ｅｑｕａｌ＿ｂｉｎは、最初の等長ビン（７２０－１）におけるマッピングされる符号語（７２５）の数を指定する。
ｂｉｎ＿ｃｗ＿ｄｅｌｔａ＿ａｂｓ＿ｐｒｅｃ＿ｍｉｎｕｓ４に４を加えたものは、後続の各等長ビンのｂｉｎ＿ｃｗ＿ｄｅｌｔａ＿ａｂｓ［ｉ］を表すために用いられるビット数を指定する。
ｂｉｎ＿ｃｗ＿ｄｅｌｔａ＿ａｂｓ［ｉ］は、後続の各等長ビンのｂｉｎ＿ｃｗ＿ｄｅｌｔａ＿ａｂｓ［ｉ］の値を指定する。ｂｉｎ＿ｃｗ＿ｄｅｌｔａ［ｉ］（例えば、７３５）は、直前の等長ビンｉ－１における符号語（例えば、７３０）と比較した現在の等長ビンｉ（例えば、７２０－Ｎ）における符号語（例えば、７４０）の相違である。
ｂｉｎ＿ｃｗ＿ｄｅｌｔａ＿ｓｉｇｎ［ｉ］は、ｂｉｎ＿ｃｗ＿ｄｅｌｔａ＿ａｂｓ［ｉ］の正負符号を指定する。ｂｉｎ＿ｃｗ＿ｄｅｌｔａ＿ａｂｓ［ｉ］が０に等しいとき、ｂｉｎ＿ｃｗ＿ｄｅｌｔａ＿ｓｉｇｎ［ｉ］はシグナリングされず、０であると推定される。変数ｂｉｎ＿ｃｗ＿ｄｅｌｔａ［ｉ］＝（１－２＊ｂｉｎ＿ｃｗ＿ｄｅｌｔａ＿ｓｉｇｎ［ｉ］）＊ｂｉｎ＿ｃｗ＿ｄｅｌｔａ＿ａｂｓ［ｉ］である。

モデルＤの復号化処理
表１０のシンタックス要素が与えられると、再構成ＬＵＴは、１０ビット入力について以下のように導出することができる。
定数定義：
minIN＝minOUT＝0；
maxIN＝maxOUT＝2^BD-1＝1023 １０ビットの場合 //ＢＤ＝ビット深度
minStdIN＝64 １０ビットの場合
maxStdIN＝940 １０ビットの場合
ステップ１：ｊ＝０について、ピボット値Ｉｎ＿Ｙ［ｊ］を導出する：ＮｕｍＴｏｔａｌＢｉｎｓ
In_Y[0]＝0；
In_Y[NumTotalBins]＝maxIN；
if(full_range_input_flag==0）
{
In_Y[1]＝minStdIN；
In_Y[2]＝bin_pivot_start；
for(j＝3：NumTotalBins-2）
In_Y[j]＝In_Y[j-1]+equal_bin_pivot_delta；
In_Y[NumTotalBins-1]＝maxStdIN；
}
else
{
In_Y[1]＝bin_pivot_start；
for j＝2：NumTotalBins-1
In_Y[j]＝In_Y[j-1]+equal_bin_pivot_delta；
}
ステップ２：ｊ＝０についてマッピングされた値Ｏｕｔ＿Ｙ［ｊ］を導出する：ＮｕｍＴｏｔａｌＢｉｎｓ
Out_Y[0]＝０；
Out_Y[NumTotalBins]＝maxOUT；

if(full_range_input_flag==0)
{
Out_Y[1]＝０；
Out_Y[2]＝bin_cw_start；
Out_Y[3]＝bin_cw_start+bin_cw_in_first_equal_bin；
bin_cw[3]＝bin_cw_in_first_equal_bin；
for j＝(4：NumTotalBins-2）
bin_cw[j]＝bin_cw[j-1]+bin_cw_delta[j-4]；//ｂｉｎ＿ｃｗ＿ｄｅｌｔａ［ｉ］はｉｄｘ ０から開始する
for j＝(4：NumTotalBins-2）
Out_Y[j]＝Out_Y[j-1]+bin_cw[j]；
Out_Y[NumTotalBins-1]=maxOUT；
}
else
{
Out_Y[1]＝bin_cw_start；
Out_Y[2]＝bin_cw_start+bin_cw_in_first_equal_bin；
bin_cw[2]＝bin_cw_in_first_equal_bin；
for j＝(3：NumTotalBins-1）
bin_cw[j]＝bin_cw[j-1]+bin_cw_delta[j-3］；//ｂｉｎ＿ｃｗ＿ｄｅｌｔａ［ｉ
］はｉｄｘ ０から開始する
for j=3：NumTotalBins-1
Out_Y[j]＝Out_Y[j-1]+bin_cw[j]；
}
ステップ３：全てのＬＵＴエントリーを得る線形補間
Init：FwdLUT[]

for(j=0：NumTotalBins-1）
{
InS＝In_Y[j]；
InE＝In_Y[j+1]；
OutS＝Out_Y[j]；
OutE＝Out_Y[j+1]；

for(i＝In_Y[j]：In_Y[j+1]-1)
{
FwdLUT[i]＝OutS+round((OutE-OutS)*(i-InS)/(InE-InS))；
}
}
FwdLUT[In_Y[NumTotalBins]]＝Out_Y[NumTotalBins］；

一般に、スライスごとに再構成をオン又はオフに切り替えることができる。例えば、イントラスライスの再構成のみを有効にし、インタースライスの再構成を無効にすることができる。別の例では、最も高い時間的レベルを有するインタースライスの再構成を無効にすることができる。（注：一例として、本明細書において、時間的サブレイヤーは、ＨＥＶＣにおける時間的サブレイヤーの定義と一致するものとしてもよい。）リシェーパモデルにおいて、１つの例では、ＳＰＳにおけるリシェーパモデルのみをシグナリングしてもよいが、別の例では、イントラスライスにおけるスライスリシェーパモデルをシグナリングしてもよい。或いは、ＳＰＳにおけるリシェーパモデルをシグナリングし、スライスリシェーパモデルが全てのスライスについてＳＰＳリシェーパモデルを更新することを可能にしてもよいし、スライスリシェーパモデルがイントラスライスについてのみＳＰＳリシェーパモデルを更新することを可能にしてもよい。イントラスライスに続くインタースライスについて、ＳＰＳリシェーパモデル又はイントラスライスリシェーパモデルのいずれかを適用することができる。

別の例として、図５Ａ及び図５Ｂは、一実施形態によるデコーダにおける再構成関数復元処理を示している。この処理は、［０ ５］における視覚等級範囲（visual rating range）を用いた本明細書及び引用文献［３］に記載されている方法を用いる。

図５Ａに示すように、最初に（ステップ５１０）、デコーダは、ｒｅｓｈａｐｅ＿ｍｏｄｅｌ＿ｐｒｏｆｉｌｅ＿ｔｙｐｅ変数を抽出し、各ビンについて、適切な初期帯域プロファイルを設定する（ステップ５１５、５２０、及び５２５）。例えば、擬似コードでは、以下となる。
if(reshape_model_profile_type==0)R[b_i]＝R_bright[b_i]；
elseif(reshape_model_profile_type==1)R[b_i]＝R_dark[b_i]；
else R[b_i]＝R_mid[b_i].

ステップ５３０において、デコーダは、以下のように、受信されたｒｅｓｈａｐｅ＿ｍｏｄｅｌ＿ｂａｎｄ＿ｐｒｏｆｉｌｅ＿ｄｅｌｔａ［ｂ_i］値を用いて各帯域プロファイ
ルを調整する。
for(i=0：reshape_model_num_band-l)
{R[b_i]＝R[b_i]+reshape_model_band_profile_delta[b_i]}.

ステップ５３５において、デコーダは、以下のように、調整された値を各ビンプロファイルに反映させる。
bin[j]が帯域b_iに属する場合、R_bin[j]=R[b_i］である。

ステップ５４０において、ビンプロファイルは、以下のように変更される。
if(j>reshape_model_max_bin_idx) or (j<reshape_model_min_bin_idx)
{R_bin[j]=0}.

並行して、ステップ５４５及び５５０において、デコーダは、パラメータを抽出して、以下のように、各ｂｉｎ［ｊ］のスケール係数値及び候補の符号語を計算することができる。
ScaleFactor＝1.0-0.05*reshape_model_scale_idx
CW_dft[j]＝デフォルト再構成を用いる場合には、ビンにおける符号語
CW_PQ[j]＝TotalCW/TotalNumBins.

固定小数点の実施態様についてＳｃａｌｅＦａｃｔｏｒ値を計算する際に、スケーラー０．０５を用いる代わりに、１／１６＝０．０６２５を用いることができる。

図５Ｂに進んで、ステップ５６０において、デコーダは、以下のように、ビンプロファイルに基づいて各ビンについて符号語（ＣＷ）事前割り当てを開始する。
If(R_bin[j]==0) CW[j]＝０
If(R_bin[j]==1) CW[j]＝CW_dft[j]/2；
If(R_bin[j]==2) CW[j]＝min(CW_PQ[j], CW_dft[j]）；
If(R_bin[j]==3) CW[j]＝(CW_PQ[j]+CW_dft[j])/2；
If(R_bin[j]>=4) CW[j]＝max(CW_PQ[j], CW_dft[j])；

ステップ５６５において、デコーダは、以下のように、用いられる全符号語を計算し、符号語（ＣＷ）割り当てを精緻化／完了する。
CW_used＝Sum(CW[j])：
if(CW_used>TotalCW) CW[j]＝CW[j]/(CW_used/TotalCW)をリバランスする；
else
{
CW_remain＝TotalCW-CW_used；
CW_remainは最大のR_bin[j]を有するビンに割り当てられる；
}

最後に、ステップ５６５において、デコーダは、ａ）CW[j]値を累算することによって
順方向再構成関数（例えば、ＦｗｄＬＵＴ）を生成し、ｂ）ＳｃａｌｅＦａｃｔｏｒ値にＦｗｄＬＵＴ値を乗算して、最終的なＦｗｄＬＵＴ（ＦＦｗｄＬＵＴ）を形成し、ｃ）ＦＦｗｄＬＵＴに基づいて逆方向再構成関数ＩｎｖＬＵＴを生成する。

固定小数点の実施態様では、ＳｃａｌｅＦａｃｔｏｒ及びＦＦｗｄＬＵＴの計算は、以下のように表すことができる。
ScaleFactor = (1<< SF_PREC) - reshape_model_scale_idx
FFwdLUT = (FwdLUT * ScaleFactor + (1 << (FP_PREC + SF_PREC - 1))) >> (FP_PREC + SF_PREC),
ここで、ＳＦ＿ＰＲＥＣ及びＦＰ＿ＰＲＥＣは、既定の精度に関する変数であり（例えば、ＳＦ＿ＰＲＥＣ＝４、及びＦＰ＿ＰＲＥＣ＝１４）、「ｃ＝ａ≪ｎ」は、ａをｎビットだけ２進左シフトする演算を表し（又はｃ＝ａ＊（２ⁿ））、「ｃ＝ａ≫ｎ」は、ａをｎ
ビットだけ２進右シフトする演算を表す（又はｃ＝ａ／（２ⁿ））。

彩度ＱＰの導出
彩度符号化性能は、輝度符号化性能に密接に関係している。例えば、ＡＶＣ及びＨＥＶＣでは、輝度成分及び彩度成分の量子化パラメータ（ＱＰ）の間又は輝度及びクロミナンスの間の関係を指定する表が定められている。これらの指定によって、輝度及び彩度の間のＱＰ関係を規定する際に更なる柔軟性を与える１つ以上の彩度ＱＰオフセットを用いることも可能になる。再構成が用いられると、輝度値が変更され、したがって、ルミナンスとクロミナンスとの間の関係も同様に変更され得る。再構成中の符号化効率を維持し、更に改善するために、一実施形態では、符号化ユニット（ＣＵ）レベルにおいて、彩度ＱＰオフセットが再構成曲線に基づいて導出される。この動作は、デコーダ及びエンコーダの双方において行う必要がある。

本明細書において、「符号化ユニット」（ＣＵ）という用語は、符号化ブロック（例えば、マクロブロック等）を意味する。限定ではなく例として、ＨＥＶＣでは、ＣＵは、「
３つのサンプルアレイを有する映像の輝度サンプルの１つの符号化ブロック、彩度サンプルの２つの対応する符号化ブロック、又は、モノクロ映像若しくはサンプルを符号化するために用いられる３つの個別の色平面及びシンタックス構造を用いて符号化される映像のサンプルの符号化ブロック」と定義される。

一実施形態では、彩度量子化パラメータ（ＱＰ）（ｃｈｒｏｍａＱＰ）値は、以下のように導出することができる。
１）再構成曲線に基づいて、等価輝度ｄＱＰマッピングｄＱＰＬＵＴを導出する：
for CW=0：MAX_CW_VALUE-1
dQPLUT[CW]=-6*log2(slope[CW])；
ここで、ｓｌｏｐｅ［ＣＷ］は、各ＣＷ（符号語）点における順方向再構成曲線の勾配を表し、ＭＡＸ＿ＣＷ＿ＶＡＬＵＥは、所与のビット深度の最大符号語値であり、例えば、１０ビット信号の場合、ＭＡＸ＿ＣＷ＿ＶＡＬＵＥ＝１０２４（２¹⁰）である。
次に、各符号化ユニット（ＣＵ）について：
２）ＡｖｇＹとして表記される符号化ユニットの平均輝度を計算する：
３）以下の表１１に示すように、ｄＱＰＬＵＴ［］、ＡｖｇＹ、再構成アーキテクチャ、逆方向再構成関数Ｉｎｖ（）、及びスライスタイプに基づいてｃｈｒｏｍａＤＱＰ値を計算する。

４）以下のようにｃｈｒｏｍａＱＰを計算する：
chromaQP = QP_luma + chromaQPOffset + chromaDQP;
ここで、ｃｈｒｏｍａＱＰＯｆｆｓｅｔは、符号化ユニットの彩度ＱＰオフセットを表し、ＱＰ＿ｌｕｍａは、符号化ユニットの輝度ＱＰを表す。彩度ＱＰオフセットの値は、彩度成分（例えば、Ｃｂ及びＣｒ）ごとに異なる場合があり、彩度ＱＰオフセット値は、符号化ビットストリームの一部としてデコーダに伝えられることに留意されたい。

一実施形態では、ｄＱＰＬＵＴ［］は、既定のＬＵＴとして実装することができる。全ての符号語をＮ（例えば、Ｎ＝３２）個のビンに分割し、各ビンがＭ＝ＭＡＸ＿ＣＷ＿ＶＡＬＵＥ／Ｎ（例えば、Ｍ＝１０２４／３２＝３２）個の符号語を含むと仮定する。各ビンに新たな符号語を割り当てるとき、符号語の数を１～２＊Ｍになるように制限することができ、そのため、ｄＱＰＬＵＴ［１．．．２＊Ｍ］を事前に計算し、これをＬＵＴとして保存することができる。この手法は、浮動小数点計算又は固定小数点計算の近似を回避することができる。この手法は、符号化／復号化時間を節約することもできる。ビンごとに、１つの定まったｃｈｒｏｍａＱＰＯｆｆｓｅｔがこのビン内の全ての符号語に用いられる。ＤＱＰ値は、ｄＱＰＬＵＴ［Ｌ］に等しく設定される。ここで、Ｌは、このビンの符号語の数であり、１≦Ｌ≦２＊Ｍである。

ｄＱＰＬＵＴ値は、以下のように事前計算することができる。
for i=l：2*M
slope[i]＝i/M；
dQPLUT[i]＝-6*log2(slope[i])；
end

ｄＱＰＬＵＴ［ｘ］を計算するとき、ｒｏｕｎｄ（）、ｃｅｉｌ（）、ｆｌｏｏｒ（）又はそれらを混合したもの等の種々の量子化方式を用いて、整数ＱＰ値を得ることができる。例えば、閾値ＴＨを設定し、Ｙ＜ＴＨである場合、ｆｌｏｏｒ（）を用いてｄＱＰ値を量子化し、Ｙ≧ＴＨであるとき、ｃｅｉｌ（）を用いてｄＱＰ値を量子化することができる。そのような量子化方式及び対応するパラメータの使用法は、コーデックに事前に定めておくこともできるし、ビットストリームでシグナリングして適応させることもできる。前述のような量子化方式と１つの閾値との混合を可能にする例示のシンタックスが以下のように示されている。

ｑｕａｎｔ＿ｓｃｈｅｍｅ＿ｓｉｇｎａｌ＿ｔａｂｌｅ（）関数は、適応の必要性に応じて、再構成シンタックスの種々のレベル（例えば、シーケンスレベル、スライスレベル等）において定義することができる。

別の実施形態では、ｃｈｒｏｍａＤＱＰ値は、各符号化ユニット（より具体的には、変換ユニット）において残余信号にスケーリングファクターを適用することによって計算することができる。このスケーリングファクターは、輝度依存値とすることができ、ａ）例えば、順方向再構成ＬＵＴの１次導関数（勾配）として（例えば、次節の式（６）参照）又はｂ）

として数値的に計算することができる。ｄＱＰ（ｘ）を用いてＳｌｏｐｅ（ｘ）を計算するとき、ｄＱＰは、整数量子化を伴わず、浮動小数点精度に維持することができる。或いは、様々な異なる量子化方式を用いて、量子化された整数ｄＱＰ値を計算することもできる。幾つかの実施形態では、そのようなスケーリングは、ブロックレベルではなくピクセルレベルにおいて行うことができ、各彩度残余を、その彩度サンプルの同じ場所に配置された輝度予測値を用いて導出された異なるスケール係数によってスケーリングすることができる。したがって、以下のとおりである。

例えば、ＣＳＣＡＬＥ＿ＦＰ＿ＰＲＥＣ＝１６である場合、
・順方向スケーリング：彩度残差が生成された後であって、変換及び量子化の前：
－ C_Res = C_orig － C_pred
－ C_Res_scaled = C_Res * S + (1 << (CSCALE_FP_PREC - 1))) >> CSCALE_FP_PREC
・逆スケーリング：彩度逆量子化及び逆変換後であるが、復元の前：
－ C_Res_inv = (C_Res_scaled << CSCALE_FP_PREC) / S
－ C_Reco = C_Pred + C_Res_inv;
ここで、ＳはＳ＿ｃｕ又はＳ＿ｐｘのいずれかである。
注：表１２において、Ｓｃｕの計算において、ブロックの平均輝度（ＡｖｇＹ）は、逆方向再構成を適用する前に計算される。或いは、平均輝度、例えば、Ｓｃｕ＝ＳｌｏｐｅＬＵＴ［Ａｖｇ（Ｉｎｖ［Ｙ］）］を形算する前に逆方向再構成を適用することができる。この代替の計算順序は、表１１内の値を計算することにも適用される。すなわち、Ｉｎｖ（ＡｖｇＹ）を計算することは、Ａｖｇ（Ｉｎｖ［Ｙ］）値を計算することに置き換えることができる。後者の手法は、より正確であると考えることができるが、計算複雑度が増加する。

再構成に関するエンコーダ最適化
この節では、再構成がノーマティブ復号化処理（３つの候補のアーキテクチャのうちの１つにおいて説明される）の一部であるとき、再構成及びエンコーダパラメータを併せて最適化することによって、エンコーダにおける符号化効率を改善する幾つかの技術を議論する。一般に、エンコーダ最適化及び再構成は、それぞれ制限を有する種々の場所で符号化問題に取り組んでいる。従来の画像化及び符号化システムでは、２つのタイプの量子化、すなわち、ａ）ベースバンド信号におけるサンプル量子化（例えば、ガンマ又はＰＱ符号化）と、ｂ）変換関連量子化（圧縮の一部）とがある。再構成は中間に位置する。映像ベースの再構成は、一般に、映像ごとに更新され、空間情報を考慮することなく、その輝度レベルに基づくサンプル値マッピングのみを可能にする。ブロックベースのコーデック（ＨＥＶＣ等）では、変換量子化（例えば、輝度の変換量子化）が、空間ブロック内で適用され、空間的に調整することができ、したがって、エンコーダ最適化方法は、異なる輝度値を有するサンプルを含むブロック全体について、同じパラメータのセットを適用しなければならない。本発明者らによって認識され、本明細書において説明されるように、再構成及びエンコーダ最適化を結合することによって、符号化効率を更に改善することができる。

インター／イントラモード決定
従来の符号化では、インター／イントラモード決定は、元のサンプルと予測サンプルとの間の歪み関数（ｄｆｕｎｃ（））を計算することに基づいている。そのような関数の例には、２乗誤差和（ＳＳＥ）、差分絶対値和（ＳＡＤ）等が含まれる。一実施形態では、
そのような歪みメトリックは、再構成されたピクセル値を用いて使用することができる。例えば、再構成が適用されるとき、元のｄｆｕｎｃｔ（）がＯｒｉｇ＿ｓａｍｐｌｅ（ｉ）及びＰｒｅｄ＿ｓａｍｐｌｅ（ｉ）を用いる場合、ｄｆｕｎｃｔ（）は、それらの対応する再構成された値Ｆｗｄ（Ｏｒｉｇ＿ｓａｍｐｌｅ（ｉ））及びＦｗｄ（Ｐｒｅｄ＿ｓａｍｐｌｅ（ｉ））を用いることができる。この手法は、より正確なインター／イントラ決定を可能にし、したがって、符号化効率を改善する。

再構成を用いたＬｕｍａＤＱＰ
ＪＣＴＶＣ ＨＤＲ共通検査条件（ＣＴＣ）文書（引用文献［６］）では、ｌｕｍａＤＱＰ及びｃｈｒｏｍａＱＰオフセットは、輝度成分及び彩度成分の量子化（ＱＰ）パラメータを変更してＨＤＲ符号化効率を改善するために用いられる２つのエンコーダ設定値である。本発明において、当初の提案を更に改善する幾つかの新たなエンコーダアルゴリズムが提案される。各ｌｕｍａＤＱＰ適応ユニット（例えば、６４×６４ＣＴＵ）について、（引用文献［６］の表３のように）そのユニットの平均入力輝度値に基づいてｄＱＰ値が計算される。このｌｕｍａＤＱＰ適応ユニット内の各符号化ユニットに用いられる最終的な量子化パラメータＱＰは、このｄＱＰを減算することによって調整されるべきである。ｄＱＰマッピング表は、エンコーダ入力構成において構成可能である。この入力構成は、ｄＱＰ_inpとして表記される。

引用文献［６］及び［７］において議論されているように、既存の符号化方式では、イントラピクチャ及びインターピクチャの双方に、同じｌｕｍａＤＱＰ ＬＵＴのｄＱＰ_inpが用いられる。イントラピクチャ及びインターピクチャは、異なる性質及び品質特性を
有する場合がある。本発明では、映像符号化タイプに基づいてｌｕｍａＤＱＰ設定値を適応させることが提案される。したがって、２つのｄＱＰマッピング表は、エンコーダ入力構成において構成可能であり、ｄＱＰ_inpIntra及びｄＱＰ_inpInterとして表記される。

前述したように、ループ内イントラ再構成方法を用いるとき、再構成はインターピクチャに対して行われないので、あるｌｕｍａＤＱＰ設定値が、インター符号化映像に適用されて、インターピクチャがイントラピクチャに用いられる同じリシェーパによって再構成されたように同様の品質を実現することが重要である。１つの実施形態では、インターピクチャ用のｌｕｍａＤＱＰ設定値は、イントラピクチャにおいて用いられる再構成曲線の特性と一致すべきである。順方向再構成関数の１次導関数を
Slope(x) = Fwd'(x) = (Fwd(x+dx)- Fwd(x-dx))/(2dx), (6)
として表すことにすると、その場合、一実施形態では、この式は、自動的に導出されるｄＱＰ_auto（ｘ）値を以下のように計算することができることを表している。
If Slope(x) = 0, then dQP_auto(x) = 0, otherwise
dQP_auto(x) = 6log2(Slope(x)), (7)
ここで、ｄＱＰ_auto（ｘ）は、妥当な範囲、例えば、［－６ ６］にクリッピングすることができる。

ｌｕｍａＤＱＰが、再構成を用いてイントラピクチャについて有効にされている（すなわち、外部のｄＱＰ_inpIntraが設定されている）場合、インターピクチャのｌｕｍａＤＱＰは、それを考慮に入れるべきである。一実施形態では、最終的なインターｄＱＰ_final
は、リシェーパから導出されたｄＱＰ_auto（式（７））及びイントラピクチャ用のｄＱＰ_inpIntra設定値を加算することによって計算することができる。別の実施形態では、イントラ品質の伝播を利用するために、インターピクチャのｄＱＰ_finalを、ｄＱＰ_autoに設
定することもできるし、（ｄＱＰ_inpInterを設定することによって）僅かな増分でｄＱＰ_autoに加算することもできる。

一実施形態では、再構成が有効にされているとき、輝度ｄＱＰ値を設定する以下の一般
的ルールを適用することができる。
（１）イントラピクチャ及びインターピクチャについて（映像符号化タイプに基づいて）独立に輝度ｄＱＰマッピング表を設定することができる。
（２）符号化ループ内の映像が、再構成領域にある場合（例えば、ループ内イントラ再構成アーキテクチャにおけるイントラピクチャ又はループ外再構成アーキテクチャにおける全ての映像）、デルタＱＰマッピングへの入力輝度ｄＱＰ_inpも同様に、再構成領域ｄ
ＱＰ_rspに変換する必要がある。すなわち、
dQP_rsp(x) = dQP_inp[Inv(x)] (8)
である。
（３）符号化ループ内の映像が、非再構成領域にある場合（例えば、逆方向再構成された又は再構成されていない、例えば、ループ内イントラ再構成アーキテクチャにおけるインターピクチャ又はループ内残差再構成アーキテクチャにおける全ての映像）、デルタＱＰマッピングへの入力輝度を変換する必要はなく、直接用いることができる。
（４）自動的なインターデルタＱＰの導出は、ループ内イントラ再構成アーキテクチャについてのみ有効である。そのような場合にインターピクチャに用いられる実際のデルタＱＰは、自動導出された入力の合計値、すなわち、
dQP_final[x] = dQP_inp[x] + dQP_auto[x] (9)
であり、ｄＱＰ_final［ｘ］は、妥当な範囲、例えば［－１２ １２］にクリッピングす
ることができる。
（５）ｄＱＰマッピング表への輝度は、あらゆる映像において、又は、再構成ＬＵＴの変更があるときに更新することができる。実際のｄＱＰ適応（ブロックの平均輝度値から、このブロックの量子化の対応するｄＱＰを得る）は、ＣＵレベル（エンコーダ構成可能）において行うことができる。

表１３は、３つの提案アーキテクチャのそれぞれのｄＱＰ設定値を要約したものである。

レート歪み最適化（ＲＤＯ）
ＪＥＭ６．０ソフトウェア（引用文献［８］）では、ｌｕｍａＤＱＰが有効にされているとき、ＲＤＯ（レート歪み最適化）ピクセルベース重み付き歪みが用いられる。重み表は、輝度値に基づいて固定されている。一実施形態では、重み表は、ｌｕｍａＤＱＰ設定値に基づいて適応的に調整され、前節において提案されたように計算されるべきである。２乗誤差和（ＳＳＥ）及び差分絶対値和（ＳＡＤ）の２つの重みは、以下のように提案される。

式（１０ａ）又は式（１０ｂ）によって計算されるこれらの重みは、入力されたｌｕｍａＤＱＰ及び順方向再構成関数から導出されたｄＱＰの双方を含む、最終的なｄＱＰに基づく総重みである。例えば、式（９）に基づくと、式（１０ａ）は、以下のように記述することができる。

総重みは、入力されたｌｕｍａＤＱＰによって計算された重み

と、再構成からの重み

とによって分離することができる。総重みは、最初に再構成からの重みを計算することによって総ｄＱＰを用いて計算されると、整数ｄＱＰ_autoを得るクリッピング操作によって精度を失う。代わりに、勾配関数を直接用いて再構成からの重みを計算することによって、重みのより高い精度を維持することができ、したがって、より好ましい。

入力されたｌｕｍａＤＱＰから導出された重みをＷ_dQPと表すことにする。ｆ’（ｘ）
が、順方向再構成曲線の１次導関数（又は勾配）を表すものとする。一実施形態では、総重みは、ｄＱＰ値及び再構成曲線の形状の双方を考慮に入れ、したがって、総重み値は、以下のように表すことができる。

同様の手法は、彩度成分にも同様に適用することができる。例えば、一実施形態では、彩度の場合、ｄＱＰ［ｘ］は、表１３に従って定義することができる。

他の符号化ツールとの相互作用
再構成が有効にされているとき、この節は、他の符号化ツールにおいて必要とされる提案された変更の幾つかの例を提供する。相互作用は、考えられる任意の既存の符号化ツール又は次世代映像符号化規格に含まれることになる将来の符号化ツールについて存在し得る。以下に示す例は限定ではない。一般に、符号化ステップ中の映像信号領域（再構成されたもの、非再構成のもの、逆方向再構成されたもの）は、特定される必要があり、各ステップにおいて映像信号を取り扱う動作は、再構成効果を考慮に入れる必要がある。

クロスコンポーネント線形モデル予測
ＣＣＬＭ（クロスコンポーネント線形モデル予測）（引用文献［８］）では、予測される彩度サンプルｐｒｅｄ_C（ｉ，ｊ）は、輝度復元信号ｒｅｃ_L’（ｉ，ｊ）を用いて導出することができる。

再構成が有効にされているとき、一実施形態では、輝度が復元された信号が、再構成領域（例えば、ループ外リシェーパ又はループ内イントラリシェーパ）にあるのか、又は、非再構成領域（例えば、ループ内残差リシェーパ）にあるのかを区別することが必要な場合がある。１つの実施形態では、輝度が復元された信号を、シグナリング又は動作を追加することなくそのままで暗黙的に用いることができる。他の実施形態では、復元された信号が非再構成領域にある場合、輝度が復元された信号を以下のように非再構成領域になるように変換することもできる。

他の実施形態では、ＲＤＯ処理によって決定することができる、どの領域（再構成領域又は非再構成領域）が所望されているのかをシグナリングするビットストリームシンタックス要素を追加することもできるし、復号化された情報に基づいて決定を導出することもでき、したがって、明示的なシグナリングによって必要とされるオーバーヘッドを省くこともできる。この決定に基づいて、復元された信号に対して対応する動作を実行することができる。

残差予測ツールを有するリシェーパ
ＨＥＶＣレンジ拡張プロファイルには、残差予測ツールが含まれる。彩度残差信号は、エンコーダ側において、以下のように輝度残差信号から予測される。

彩度残差信号は、デコーダ側において、以下のように補償される。

ここで、ｒ_Cは、位置（ｘ，ｙ）における彩度残差サンプルを表し、ｒ_L’は、輝度成分の復元された残差サンプルを表し、Δｒ_Cは、インター色予測（inter-color prediction：
色信号間予測）を用いた予測信号を表し、Δｒ_C’は、Δｒ_Cを符号化及び復号化した後の復元された信号を表し、ｒ_C’は、復元された彩度残差を表す。

再構成が有効にされているとき、どの輝度残差を彩度残差予測に用いるのかを検討することが必要な場合がある。１つの実施形態では、「残差」をそのまま用いることができる（リシェーパアーキテクチャに基づいて再構成される場合もあるし、再構成されない場合もある）。別の実施形態では、輝度残差を一方の領域（非再構成領域等）に強制的に置き、適切なマッピングを行うことができる。別の実施形態では、適切なハンドリングをデコーダによって導出することもできるし、上述したように明示的にシグナリングすることもできる。

適応的クリッピングを有するリシェーパ
適応的クリッピング（引用文献［８］）は、コンテンツダイナミクスに関する元のデータ範囲をシグナリングし、クリッピングが行われる圧縮ワークフロー（例えば、変換／量子化、ループフィルタリング、出力）における各ステップで（内部ビット深度情報に基づいて）固定クリッピングの代わりに適応的クリッピングを行うために導入された新たなツ
ールである。

とする。ここで、ｘ＝Ｃｌｉｐ３（ｍｉｎ，ｍａｘ，ｃ）は、

・Ｃは、成分ＩＤ（通常はＹ、Ｃｂ、又はＣｒ）である。
・ｍｉｎ_Cは、現在のスライスにおいて成分ＩＤ Ｃに用いられる下側クリッピング境
界である。
・ｍａｘ_Cは、現在のスライスにおいて成分ＩＤ Ｃに用いられる上側クリッピング境
界である。

再構成が有効にされているとき、一実施形態では、データフローが現在存在する領域を突き止め、クリッピングを正確に行うことが必要な場合がある。例えば、再構成領域データにおいてクリッピングを処理する場合、元のクリッピング境界を再構成領域に変換する必要がある。

一般に、再構成アーキテクチャに対して各クリッピングステップを適切に処理する必要がある。

リシェーパ及びループフィルタリング
ＨＥＶＣ及びＪＥＭ６．０ソフトウェアでは、ＡＬＦ及びＳＡＯ等のループフィルターは、復元された輝度サンプル及び未圧縮の「元の」輝度サンプルを用いて最適なフィルターパラメータを推定する必要がある。再構成が有効にされているとき、一実施形態では、フィルター最適化を行いたい領域を（明示的に又は暗黙的に）指定することができる。１つの実施形態では、（復元が再構成領域にあるとき、再構成された元の領域に対して）再構成領域上でフィルターパラメータを推定することができる。他の実施形態では、（復元が非再構成領域又は逆方向再構成領域にあるとき、元の領域に対して）非再構成領域上でフィルターパラメータを推定することができる。例えば、ループ内再構成アーキテクチャに応じて、ループ内フィルター最適化（ＩＬＦＯＰＴ）の選択肢及び動作は、表１４及び表１５によって記述することができる。

表１４．ループ内イントラオンリー再構成アーキテクチャ及びループ内ハイブリッド再構成におけるループ内フィルタリング最適化

本明細書における詳細な議論のほとんどは、輝度成分に対して実行される方法に言及しているが、当業者には、同様の方法を、彩度色成分及びｃｈｏｍａＱＰＯｆｆｓｅｔ等の彩度関連パラメータにも実行することができることが理解されるであろう（例えば、引用文献［９］参照）。

ループ内再構成及び関心領域（ＲＯＩ）
画像に関して、本明細書において、「関心領域」（ＲＯＩ）という用語は、特に関心があると考えられる画像の領域を意味する。この節では、関心領域のみのループ内再構成をサポートする新規な実施形態が提示される。すなわち、一実施形態では、再構成は、ＲＯＩの内部のみで適用され得る一方、外部では適用されない。別の実施形態では、関心領域内と関心領域外とで異なる再構成曲線を適用することができる。

ＲＯＩの使用は、ビットレートと画質とのバランスをとる必要性がその動機となる。例えば、日没の映像シーケンスを考える。画像の上半分には、相対的に一様な色の空の上に太陽があるかもしれない（したがって、空の背景のピクセルは、非常に低い分散を有し得る）。対照的に、画像の下半分は、動いている波を描写しているかもしれない。視聴者の視点からすると、下部よりも上部の方がはるかに重要であると考えられ得る。他方、動く波は、それらのピクセルの分散がより高いことに起因して、圧縮することがより困難であり、ピクセルあたりについてより多くのビットを必要とする。しかしながら、波の部分よりも太陽の部分により多くのビットを配分したい場合がある。この場合、上半分を関心領域として表すことができる。

ＲＯＩ記述
今日、ほとんどのコーデック（例えば、ＡＶＣ、ＨＥＶＣ等）は、ブロックベースのものである。実装を単純にするために、領域をブロック単位で指定することができる。限定ではなく一例としてＨＥＶＣを用いると、領域は、符号化ユニット（ＣＵ）又は符号化ツリーユニット（ＣＴＵ）の倍数として定義することができる。１つのＲＯＩ又はＲＯＩの倍数を指定することができる。複数のＲＯＩは、別々のものとすることもできるし、重複することもできる。ＲＯＩは、矩形でなくてもよい。ＲＯＩのシンタックスは、スライス
レベル、映像レベル、映像ストリームレベル等の任意の関心レベルにおいて提供することができる。一実施形態では、ＲＯＩは、まず、シーケンスパラメータセット（ＳＰＳ）において指定される。その場合、スライスヘッダーにおいて、ＲＯＩの僅かな変更を可能にすることができる。表１６は、１つのＲＯＩが矩形領域における複数のＣＴＵとして指定されるシンタックスの一例を示している。表１７は、スライスレベルにおける変更されたＲＯＩのシンタックスを記載している。

１に等しいｓｐｓ＿ｒｅｓｈａｐｅｒ＿ａｃｔｉｖｅ＿ＲＯＩ＿ｆｌａｇは、ＲＯＩが、符号化映像シーケンス（ＣＶＳ）に存在することを指定する。０に等しいｓｐｓ＿ｒｅｓｈａｐｅｒ＿ａｃｔｉｖｅ＿ＲＯＩ＿ｆｌａｇは、ＲＯＩがＣＶＳに存在しないことを指定する。
ｒｅｓｈａｐｅｒ＿ａｃｔｉｖｅ＿ＲＯＩ＿ｉｎ＿ＣＴＵｓｉｚｅ＿ｌｅｆｔ、ｒｅｓｈａｐｅｒ＿ａｃｔｉｖｅ＿ＲＯＩ＿ｉｎ＿ＣＴＵｓｉｚｅ＿ｒｉｇｈｔ、ｒｅｓｈａｐｅｒ＿ａｃｔｉｖｅ＿ＲＯＩ＿ｉｎ＿ＣＴＵｓｉｚｅ＿ｔｏｐ及びｒｅｓｈａｐｅｒ＿ａｃｔｉｖｅ＿ＲＯＩ＿ｉｎ＿ＣＴＵｓｉｚｅ＿ｂｏｔｔｏｍはそれぞれ、映像座標で指定された矩形領域によってＲＯＩ内の映像のサンプルを指定する。座標は、左部及び上部に
ついてはｏｆｆｓｅｔ＊ＣＴＵｓｉｚｅに等しく、右部及び下部についてはｏｆｆｓｅｔ＊ＣＴＵｓｉｚｅ－１に等しい。
１に等しいｒｅｓｈａｐｅ＿ｍｏｄｅｌ＿ＲＯＩ＿ｍｏｄｉｆｉｃａｔｉｏｎ＿ｆｌａｇは、ＲＯＩが現在のスライスにおいて変更されていることを指定する。０に等しいｒｅｓｈａｐｅ＿ｍｏｄｅｌ＿ＲＯＩ＿ｍｏｄｉｆｉｃａｔｉｏｎ＿ｆｌａｇは、ＲＯＩが現在のスライスにおいて変更されていないことを指定する。
ｒｅｓｈａｐｅｒ＿ＲＯＩ＿ｍｏｄ＿ｏｆｆｓｅｔ＿ｌｅｆｔ、ｒｅｓｈａｐｅｒ＿ＲＯＩ＿ｍｏｄ＿ｏｆｆｓｅｔ＿ｒｉｇｈｔ、ｒｅｓｈａｐｅｒ＿ＲＯＩ＿ｍｏｄ＿ｏｆｆｓｅｔ＿ｔｏｐ、及びｒｅｓｈａｐｅｒ＿ＲＯＩ＿ｍｏｄ＿ｏｆｆｓｅｔ＿ｂｏｔｔｏｍは、それぞれｒｅｓｈａｐｅｒ＿ａｃｔｉｖｅ＿ＲＯＩ＿ｉｎ＿ＣＴＵｓｉｚｅ＿ｌｅｆｔ、ｒｅｓｈａｐｅｒ＿ａｃｔｉｖｅ＿ＲＯＩ＿ｉｎ＿ＣＴＵｓｉｚｅ＿ｒｉｇｈｔ、ｒｅｓｈａｐｅｒ＿ａｃｔｉｖｅ＿ＲＯＩ＿ｉｎ＿ＣＴＵｓｉｚｅ＿ｔｏｐ及びｒｅｓｈａｐｅｒ＿ａｃｔｉｖｅ＿ＲＯＩ＿ｉｎ＿ＣＴＵｓｉｚｅ＿ｂｏｔｔｏｍからの左部／右部／上部／下部のオフセット値を指定する。

複数のＲＯＩの場合、複数のパンスキャン矩形をＳＥＩメッセージングを用いて定義するためにＨＥＶＣにおいて用いられる方式（ＨＥＶＣ仕様、引用文献［１１］、節Ｄ．２．４参照）と同様に、各ＲＯＩのインデックス（又はＩＤ）を用いて、単一のＲＯＩについての表１６及び表１７の例示のシンタックスを拡張することができる。

イントラオンリーループ内再構成におけるＲＯＩの処理
イントラオンリー再構成の場合、映像のＲＯＩ部分がまず再構成され、その後、符号化が適用される。再構成はＲＯＩにしか適用されていないので、映像のＲＯＩ部分と非ＲＯＩ部分との間の境界が見える場合がある。ループフィルター（例えば、図２Ｃ又は図２Ｄにおける２７０）は境界を横断することができるので、ループフィルター最適化（ＩＬＦＯＰＴ）の場合には、ＲＯＩに特別な注意を払わなければならない。一実施形態では、復号化映像全体が同じ領域にある場合にのみループフィルターが適用されることが提案される。すなわち、映像全体が、全て再構成領域にあるか、又は、全て非再構成領域にある。１つの実施形態では、デコーダ側において、ループフィルタリングが非再構成領域に対して適用される場合、まず復号化映像のＲＯＩセクションに逆方向再構成を適用し、その後にループフィルターを適用するべきである。次に、復号化映像はＤＰＢに記憶される。別の実施形態では、ループフィルターが再構成領域に対して適用される場合、まず復号化映像の非ＲＯＩ部分に再構成を適用し、その後にループフィルターを適用し、更にその後に映像全体を逆方向再構成するべきである。次に、復号化映像はＤＰＢに記憶される。更に別の実施形態では、ループフィルタリングが再構成領域に対して適用される場合、まず復号化映像のＲＯＩ部分を逆方向再構成し、その後に映像全体を再構成し、その後にループフィルターを適用し、その後に映像全体を逆方向再構成することができる。次に、復号化映像はＤＰＢに記憶される。これらの３つの手法は、表１８に要約されている。計算の観点からすると、方法「Ａ」がより単純である。一実施形態では、ＲＯＩの有効化は、ループフィルタリング（ＬＦ）に対する逆方向再構成の実行順序を指定するために用いることができる。例えば、ＲＯＩが積極的に用いられる場合（例えば、ＳＰＳシンタックスフラグ＝真）、ＬＦ（図２Ｃ及び図２Ｄにおけるブロック２７０）は、逆方向再構成（図２Ｃ及び図２Ｄにおけるブロック２６５）の後に実行される。ＲＯＩが積極的に用いられない場合、ＬＦは逆方向再構成の前に実行される。

ループ内予測残差再構成におけるＲＯＩの処理
ループ内（予測）残差再構成アーキテクチャ（例えば、図２Ｆにおける２００Ｃ＿Ｄ参照）の場合、デコーダにおいて、式（３）を用いると、処理は、以下のように表すことができる。
If(ｃｕｒｒｅｎｔＣＴＵがＲＯＩに属する)
Reco_sample＝lnv(Res_d+Fwd(Pred_sample)),（式（３）参照）
else
Reco_sample＝Res_d+Pred_sample
end

ＲＯＩ及びエンコーダの考慮
エンコーダでは、ＣＴＵごとに、そのＣＴＵがＲＯＩに属するか否かをチェックする必要がある。例えば、ループ内予測残差再構成の場合、式（３）に基づく簡単なチェックを以下のように行うことができる。
If(ｃｕｒｒｅｎｔＣＴＵがＲＯＩに属する)
輝度のＲＤＯにおいて重み付き歪みを適用する。重みは、式（１０）に基づいて導出される
else
輝度のＲＤＯにおいて重みなし歪みを適用する
end

再構成中にＲＯＩを考慮に入れる例示の符号化ワークフローは、以下のステップを含み得る。
－イントラピクチャの場合：
－原映像のＲＯＩエリアに順方向再構成を適用する
－イントラフレームを符号化する
－ループフィルター（ＬＦ）の前に、復元された映像のＲＯＩエリアに逆方向再構成を適用する
－以下のように、未再構成領域においてループフィルタリングを実行する（例えば、表１８における方法「Ｃ」参照）。以下のステップが含まれる。
・原映像の非ＲＯＩエリアに順方向再構成を適用する（ループフィルター基準を得るために原映像全体の再構成を行うため）
・復元された映像の映像エリア全体に順方向再構成を適用する
・ループフィルターパラメータを導出し、ループフィルタリングを適用する
・復元された映像の映像エリア全体に逆方向再構成を適用し、ＤＰＢに記憶する

エンコーダ側では、ＬＦは、フィルターパラメータ推定用の非圧縮基準画像を有する必
要があるので、各方法のＬＦ基準の取り扱いは、表１９のとおりである。

－インターピクチャの場合：
－インターフレームを符号化するとき、ＲＯＩ内の各ＣＵについては、輝度に対して予測残差再構成及び重み付き歪みを適用する；ＲＯＩ外の各ＣＵについては、再構成を適用しない
－ループフィルタリング最適化（選択肢１）が従来どおりに（ＲＯＩが用いられていない場合のように）実行される：
・原映像の映像エリア全体を順方向再構成する
・復元された映像の映像エリア全体を順方向再構成する
・ループフィルターパラメータを導出し、ループフィルタリングを適用する
・復元された映像の映像エリア全体に逆方向再構成を適用し、ＤＰＢに記憶する

ＨＬＧ符号化コンテンツの再構成
ＨｙｂｒｉｄＬｏｇ－Ｇａｍｍａ又はＨＬＧという用語は、ハイダイナミックレンジ信号をマッピングするＲｅｃ．ＢＴ．２１００において定義された別の伝達関数を表す。ＨＬＧは、従来のガンマ関数を用いて符号化された従来の標準ダイナミックレンジ信号との逆方向互換性を維持するために開発されたものである。ＰＱ符号化コンテンツとＨＬＧ符号化コンテンツとの間で符号語分布を比較すると、ＰＱマッピングは、暗いエリア及び明るいエリアに、より多くの符号語を配分する傾向がある一方、ＨＬＧコンテンツ符号語の大部分は、中間のレンジに配分される傾向がある。２つの手法をＨＬＧ輝度再構成に用いることができる。１つの実施形態では、単に、ＨＬＧコンテンツをＰＱコンテンツに変換し、その後、前述したＰＱに関連する全ての再構成技術を適用することができる。例えば、以下のステップを適用することができる。
１）ＨＬＧルミナンス（例えば、Ｙ）をＰＱルミナンスにマッピングする。この変換の関数又はＬＵＴをＨＬＧ２ＰＱＬＵＴ（Ｙ）として表記することにする。
２）ＰＱルミナンス値を解析し、ＰＱベースの順方向再構成関数又はＬＵＴを導出する。これをＰＱＡｄｐＦＬＵＴ（Ｙ）として表すことにする。
３）これらの２つの関数又はＬＵＴを単一の関数又はＬＵＴに結合する。すなわち、ＨＬＧＡｄｐＦＬＵＴ［ｉ］＝ＰＱＡｄｐＦＬＵＴ［ＨＬＧ２ＰＱＬＵＴ［ｉ］］。

ＨＬＧ符号語分布は、ＰＱ符号語分布とかなり異なるので、そのような手法は、準最適な再構成結果を生み出す場合がある。別の実施形態では、ＨＬＧ再構成関数は、ＨＬＧサンプルから直接導出される。ＰＱ信号に用いられるものと同じフレームワークを適用することができるが、ＨＬＧ信号の特性を反映するようにＣＷ＿Ｂｉｎｓ＿Ｄｆｔ表を変更する場合がある。一実施形態では、ＨＬＧ信号に中間調プロファイルを用いて、幾つかのＣＷ＿Ｂｉｎｓ＿Ｄｆｔ表がユーザーの好みに従って設計される。例えば、ハイライトを保持することが好まれるとき、アルファ＝１．４について、
g_DftHLGCWBin0 = [ 8, 14, 17, 19, 21, 23, 24, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 36, 37, 38, 39, 39, 40, 41, 41, 42, 43, 43, 44, 44, 30 ].
である。中間調（又は中間レンジ）を保持することが好まれるとき、
g_DftHLGCWBin1= [ 12, 16, 16, 20, 24, 28, 32, 32, 32, 32, 36, 36, 40, 44, 48, 52, 56, 52, 48, 44, 40, 36, 36, 32, 32, 32, 26, 26, 20, 16, 16, 12 ].
である。肌の色合いを保持することが好まれるとき、
g_DftHLGCWBin2= [12, 16, 16, 24, 28, 32, 56, 64, 64, 64, 64, 56, 48, 40, 32, 32,
32, 32, 32, 32, 28, 28, 24, 24, 20, 20, 20, 20, 20, 16, 16, 12];
である。

ビットストリームシンタックスの観点からすると、ＰＱベースの再構成とＨＬＧベースの再構成とを区別するために、ｓｐｓ＿ｒｅｓｈａｐｅｒ＿ｓｉｇｎａｌ＿ｔｙｐｅとして表記される新たなパラメータが追加される。このｓｐｓ＿ｒｅｓｈａｐｅｒ＿ｓｉｇｎａｌ＿ｔｙｐｅ値は、再構成された信号タイプを示す（例えば、０はガンマベースのＳＤＲ信号であり、１はＰＱ符号化信号であり、２はＨＬＧ符号化信号である）。

前述した全ての特徴（例えば、ＲＯＩ、ループ内フィルター最適化（ＩＬＦＯＰＴ）、及びＣｈｒｏｍａＤＱＰＡｄｊｕｓｔｍｅｎｔ）を有するＰＱ及びＨＬＧの双方についてのＳＰＳ及びスライスヘッダーにおけるＨＤＲ再構成のシンタックス表の例は、表２０及び表２１に示されている。

１に等しいｓｐｓ＿ｉｎ＿ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｏｐｔ＿ｆｌａｇは、符号化映像シーケンス（ＣＶＳ）における再構成領域内で実行されるループ内フィルター最適化を指定する。
０に等しいｓｐｓ＿ｉｎ＿ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｏｐｔ＿ｆｌａｇは、ＣＶＳにおける非再構成領域内で実行されるループ内フィルター最適化を指定する。
１に等しいｓｐｓ＿ｌｕｍａ＿ｂａｓｅｄ＿ｃｈｒｏｍａ＿ｑｐ＿ｏｆｆｓｅｔ＿ｆｌａｇは、輝度ベースの彩度ＱＰオフセットが（例えば、表１１又は１２に従って）導出され、符号化映像シーケンス（ＣＶＳ）における各ＣＵの彩度符号化に適用されることを指定する。０に等しいｓｐｓ＿ｌｕｍａ＿ｂａｓｅｄ＿ｃｈｒｏｍａ＿ｑｐ＿ｏｆｆｓｅｔ＿ｆｌａｇは、輝度ベースの彩度ＱＰオフセットがＣＶＳにおいて有効にされていないこ
とを指定する。

彩度品質の改善
ＨＬＧベースの符号化の提案者は、この符号化がＳＤＲシグナリングとのより良好な逆方向互換性を提供すると主張している。したがって、理論的には、ＨＬＧベースの信号は、レガシーＳＤＲ信号と同じ符号化設定値を用いることができる。しかし、ＨＤＲモードにおいてＨＬＧ符号化信号を見たとき、特に無色の領域（白色及び灰色等）において幾つかの色のアーティファクトを依然として観察され得る。一実施形態では、そのようなアーティファクトは、符号化中にｃｈｒｏｍａＱＰＯｆｆｓｅｔ値を調整することによって削減することができる。ＨＬＧコンテンツについて、ＰＱ信号を符号化するときに用いられるものに比べ、より消極的なｃｈｒｏｍａＱＰ調整を適用することが提案される。例えば、引用文献［１０］には、輝度ＱＰと、キャプチャ原色及び表示原色に基づくファクターとに基づいてＣｂ及びＣｒのＱＰオフセットを割り当てるモデルが以下のように記載されている。

ここで、キャプチャ原色が表示原色と同じである場合には、ｃ_cb＝１であり、キャプチャ原色がＰ３Ｄ６５原色に等しく、かつ、表示原色がＲｅｃ．ＩＴＵ－Ｒ ＢＴ．２０２０原色に等しい場合には、ｃ_cb＝１．０４であり、キャプチャ原色がＲｅｃ．ＩＴＵ－Ｒ ＢＴ．７０９原色に等しく、かつ、表示原色がＲｅｃ．ＩＴＵ－Ｒ ＢＴ．２０２０原色に等しい場合には、ｃ_cb＝１．１４である。同様に、キャプチャ原色が表示原色と同じである場合には、ｃ_cr＝１であり、キャプチャ原色がＰ３Ｄ６５原色に等しく、かつ、表示原色がＲｅｃ．ＩＴＵ－Ｒ ＢＴ．２０２０原色に等しい場合には、ｃ_cr＝１．３９であり、キャプチャ原色がＲｅｃ．ＩＴＵ－Ｒ ＢＴ．７０９原色に等しく、かつ、表示原色
がＲｅｃ．ＩＴＵ－Ｒ ＢＴ．２０２０原色に等しい場合には、ｃ_cr＝１．７８である。最後に、ｋ＝－０．４６及びｌ＝０．２６である。

一実施形態では、同じモデルであるが、ｃｈｒｏｍａＱＰＯｆｆｓｅｔを積極的に変更しない異なるパラメータを有するモデルを用いることが提案される。限定ではなく例として、一実施形態では、式（１８ａ）におけるＣｂについて、ｃ_cb＝１、ｋ＝－０．２、及びｌ＝７であり、式（１８ｂ）におけるＣｒについて、ｃ_cr＝１、ｋ＝－０．２、及びｌ＝７である。図６Ａ及び図６Ｂは、ｃｈｒｏｍａＱＰＯｆｆｓｅｔ値が、ＰＱ（Ｒｅｃ．７０９）の輝度量子化パラメータ（ＱＰ）に従ってどのように変化するのか、及び、ＨＬＧ．ＰＱ関連値がＨＬＧ関連値よりも劇的に変化することの例を示している。図６Ａは、Ｃｂ（式（１８ａ））に対応する一方、図６Ｂは、Ｃｒ（式（１８ｂ））に対応する。

引用文献
本明細書に列挙された引用文献のそれぞれは、その全内容が本明細書に援用される。
［１］G-M. Suによって２０１６年３月３０日に出願された国際出願ＰＣＴ／ＵＳ２０１
６／０２５０８２号「In-Loop Block-Based Image Reshaping in High Dynamic Range Video Coding」（また、国際公開第２０１６／１６４２３５号として公開されている）
［２］D. Baylon、Z. Gu、A. Luthra、K. Minoo、P. Yin、F. Pu、T. Lu、T. Chen、W. Husak、Y. He、L. Kerofsky、Y. Ye、B. Yi「Response to Call for Evidence for HDR and WCG Video Coding: Arris, Dolby and InterDigital」Doc. m36264, July(2015), Warsaw, Poland
［３］T. Lu他によって２０１７年１月１９日に出願された米国特許出願第１５／４１０
，５６３号「Content-Adaptive Reshaping for High Codeword representation Images」［４］P. Yin他によって２０１６年７月１４日に出願された国際出願ＰＣＴ／ＵＳ２０１６／０４２２２９号「Signal Reshaping and Coding for HDR and Wide Color Gamut Signals」（また、国際公開第２０１７／０１１６３６号として公開されている）
［５］K. Minoo他「Exploratory Test Model for HDR extension of HEVC」MPEG output document, JCTVC-W0092 (m37732), 2016, San Diego, USA
［６］E. Francois、J. Sole、J. Stroem、P. Yin「Common Test Conditions for HDR/WCG video coding experiments」JCTVC doc. Z1020, Geneva, Jan. 2017
［７］A. Segall、E. Francois、及びD. Rusanovskyy「JVET common test conditions and evaluation procedures for HDR/WCG Video」（JVET-E1020, ITU-T meeting, Geneva, January 2017）
［８］ＪＥＭ６．０ソフトウェア：https://jvet.hhi.fraunhofer.de/svn/svn HMJEMSoftware/tags/HM-16.6-JEM-6.0
［９］T. Lu他によって２０１６年１０月１１日に出願された米国仮特許出願第６２／４
０６，４８３号「Adaptive Chroma Quantization in Video Coding for Multiple Color Imaging Formats」（米国特許出願第１５／７２８，９３９号としても出願され、米国特
許出願公開第２０１８／０１０３２５３号として公開されている）
［１０］J. Samuelsson他（Eds）「Conversion and coding practices for HDR/WCG Y'CbCr 4:2:0 Video with PQ Transfer Characteristics」JCTVC-Y1017, ITU-T/ISO meeting,
Chengdu, Oct. 2016
［１１］ITU-T H.265「High efficiency video coding」ITU, version 4.0, (12/2016)

［例示のコンピュータシステムの実施態様］
本発明の実施形態は、コンピュータシステム、電子回路機構及び構成要素で構成されたシステム、マイクロコントローラー、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、若しくは別の構成可能ロジックデバイス若しくはプログラマブルロジックデバイス（ＰＬＤ）等の集積回路（ＩＣ）デバイス、離散時間若しくはデジタル信号プロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）、及び／又はそのようなシステム、デバイス若し
くは構成要素の１つ以上を備える装置を用いて実施することができる。これらのコンピュータ及び／又はＩＣは、本明細書において説明したような統合された画像の信号再構成及び符号化に関連する命令を遂行、制御、又は実行することができる。これらのコンピュータ及び／又はＩＣは、本明細書において説明した信号再構成及び符号化の処理に関する様々なパラメータ又は値の任意のものを計算することができる。画像及び映像の実施形態は、ハードウェア、ソフトウェア、ファームウェア及びそれらの様々な組み合わせで実施することができる。

本発明の幾つかの実施態様は、プロセッサに本発明の方法を実行させるソフトウェア命令を実行するコンピュータプロセッサを備える。例えば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダー等における１つ以上のプロセッサは、これらのプロセッサがアクセス可能なプログラムメモリ内のソフトウェア命令を実行することによって、上述した統合された画像の信号再構成及び符号化に関連する方法を実施することができる。本発明は、プログラム製品の形態で提供することもできる。このプログラム製品は、データプロセッサによって実行されると、このデータプロセッサに本発明の方法を実行させる命令を含む一組のコンピュータ可読信号を担持する任意の非一時的媒体を含み得る。本発明によるプログラム製品は、多種多様な形態のうちの任意の形態にすることができる。プログラム製品は、例えば、フロッピーディスケット、ハードディスクドライブを含む磁気データ記憶媒体、ＣＤ ＲＯＭ、ＤＶＤを含む光データ記憶媒体、ＲＯＭ、フラッシュＲＡＭを含む電子データ記憶媒体等の物理媒体を含み得る。プログラム製品上のコンピュータ可読信号は、任意選択で圧縮又は暗号化されてもよい。

上記において、ある構成要素（例えば、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路等）に言及している場合、別段の指示がない限り、その構成要素への言及（「手段」への言及を含む）は、本発明の図示された例示の実施形態における機能を実行する開示された構造とは構造的に均等でない構成要素を含む、説明された構成要素の機能を実行する任意の構成要素（すなわち、機能的な均等な構成要素）をその構成要素の均等物として含むものと解釈される。

［均等形態、拡張形態、代替形態及びその他］
統合された効率的な画像の信号再構成および符号化に関する例示の実施形態が上記のように説明されている。上記明細書では、本発明の実施形態が、実施態様ごとに異なり得る非常に多くの具体的な詳細事項に関して説明された。したがって、本発明であるもの及び出願人によって本発明であると意図されているものを示す唯一かつ排他的な表示は、本出願から得られるその特定の形態による一組の請求項である特許請求の範囲である。これらの請求項には、今後のあらゆる補正が含まれる。そのような請求項に含まれる用語について本明細書に明示的に示されたいずれの定義も、請求項において用いられる用語の意味を決定するものとする。したがって、請求項に明示的に記載されていない限定、要素、性質、特徴、利点又は属性は、そのような請求項の範囲を全く限定すべきものではない。明細書及び図面は、したがって、限定の意味ではなく例示の意味に認識されるべきである。

Claims (16)

1. 画像を符号化する装置であって、
   第１の符号語表現の入力画像にアクセスする入力部と、プロセッサと、を備え、
   前記プロセッサは、
   前記入力画像のピクセルを第２の符号語表現にマッピングする順方向再構成関数を生成し、
   前記第２の符号語表現から前記第１の符号語表現にピクセルをマッピングする逆方向再構成関数を前記順方向再構成関数に基づいて生成し、
   前記入力画像における入力ピクセル領域、前記順方向再構成関数、および前記逆方向再構成関数に基づいて、前記入力画像の符号化ピクセル領域を生成し、
   区分線形表現に基づく前記順方向再構成関数を特徴付ける再構成メタデータを生成し、
   前記入力画像の前記符号化ピクセル領域および前記再構成メタデータに基づいて出力ビットストリームを生成する、
   装置。
2. 前記プロセッサは、ループ内再構成を適用して、前記入力画像の前記符号化ピクセル領域を生成する、請求項１に記載の装置。
3. 前記入力画像における入力ピクセル領域について、符号化ピクセル領域を生成するために、前記プロセッサは、
   基準フレームバッファ又は事前に符号化された近傍空間内のピクセルデータに基づいて、予測領域を計算することと、
   前記入力ピクセル領域、前記予測領域、及び前記順方向再構成関数に基づいて、再構成された残差領域を生成することであって、前記再構成された残差領域における再構成された残差サンプルは、少なくとも部分的に、前記予測領域におけるそれぞれの予測サンプルを順方向再構成することに基づいて得られる、再構成された残差領域を生成することと、
   前記再構成された残差領域に基づいて、量子化された残差領域を生成することと、
   量子化された前記残差領域に基づいて、量子化解除された残差領域を生成することと、
   前記量子化解除された残差領域、前記予測領域、前記順方向再構成関数、及び前記逆方向再構成関数に基づいて、復元されたピクセル領域を生成することと、
   前記復元されたピクセル領域に基づいて、前記基準フレームバッファに記憶される基準ピクセル領域を生成することと、
   を実行する、請求項１に記載の装置。
4. 前記量子化された残差領域を生成することは、
   前記再構成された残差領域に順方向符号化変換を適用して、変換されたデータを生成することと、
   前記変換されたデータに順方向符号化量子化器を適用して、量子化されたデータを生成することと、
   を含む、請求項３に記載の装置。
5. 前記量子化解除された残差領域を生成することは、
   前記量子化されたデータに逆符号化量子化器を適用して、逆量子化されたデータを生成することと、
   前記逆量子化されたデータに逆符号化変換を適用して、前記量子化解除された残差領域を生成することと、
   を含む、請求項４に記載の装置。
6. 前記基準フレームバッファに記憶される前記基準ピクセル領域を生成することは、前記復元されたピクセル領域にループフィルターを適用することを含む、請求項３に記載の装置。
7. 前記再構成された残差領域を生成することは、
   Res_r(i) = Fwd(Orig_sample(i)) - Fwd(Pred_sample(i))
   を計算することを含み、
   ここで、Fwd()は、前記順方向再構成関数を表し、Res_r(i)は、前記再構成された残差領域のピクセルを表し、Orig_sample(i)は、前記入力ピクセル領域のピクセルを表し、Pred_sample(i)は、前記予測領域のピクセルを表す、
   請求項３に記載の装置。
8. 前記復元されたピクセル領域を生成することは、
   Reco_sample (i) = Inv(Res_d(i) + Fwd(Pred_sample(i)))
   を計算することを含み、
   ここで、Inv()は、前記逆方向再構成関数を表し、Reco_sample(i)は、前記復元されたピクセル領域のピクセルを表し、Res_d(i)は、前記Res_r(i)ピクセルの密接近似値を表す前記量子化解除された残差領域のピクセルを表す、請求項６に記載の装置。
9. 前記順方向再構成関数の区分線形表現の各セグメントについて、前記再構成メタデータは、デルタ絶対値と前記デルタ絶対値の正負符号とを含む、請求項１に記載の装置。
10. セグメントｉについての前記デルタ絶対値を表すbin_cw_delta_abs[i]について、その値は、セグメントｉ－１に割り当てられた符号語（bin_cw_delta_abs[i-1]）に対するセグメントｉに割り当てられた符号語の差を表す、請求項９に記載の装置。
11. 符号化ビットストリームを復号して第１の符号語表現の出力画像を生成する装置であって、
    第２の符号語表現で部分的に符号化された符号化画像を受信する入力部と、プロセッサと、を備え、
    前記プロセッサは、
    前記符号化画像についての再構成メタデータを受け取り、
    前記再構成メタデータに基づいて、前記第１の符号語表現から前記第２の符号語表現にピクセルをマッピングする順方向再構成関数を生成し、
    前記再構成メタデータに基づいて、前記第２の符号語表現から前記第１の符号語表現にピクセルをマッピングする逆方向再構成関数を生成し、
    前記符号化画像の符号化領域を、前記順方向再構成関数および前記逆方向再構成関数に基づいて復号して出力ピクセル領域を生成する、
    装置。
12. 前記プロセッサは、ループ内再構成に基づいて、前記符号化画像の前記符号化領域を復号する、請求項１１に記載の装置。
13. 符号化領域を復号するために、前記プロセッサは、
    復号された再構成残差領域を生成することと、
    基準ピクセルバッファ又は事前に復号された近傍空間内のピクセルに基づいて、予測領域を生成することと、
    前記復号された再構成残差領域、前記予測領域、前記順方向再構成関数、及び前記逆方向再構成関数に基づいて、復元されたピクセル領域を生成することであって、前記復元されたピクセル領域における復元されたサンプルは、少なくとも部分的に、前記予測領域におけるそれぞれの予測サンプルを順方向再構成することに基づいて得られる、復元されたピクセル領域を生成することと、
    前記復元されたピクセル領域に基づいて、前記出力画像の出力ピクセル領域を生成することと、
    前記出力ピクセル領域を前記基準ピクセルバッファに記憶することと、
    を実行する、請求項１１に記載の装置。
14. 前記復元されたピクセル領域を生成することは、
    Reco_sample (i) = Inv(Res_d(i) + Fwd(Pred_sample(i)))
    を計算することを含み、
    ここで、Reco_sample(i)は、前記復元されたピクセル領域のピクセルを表し、Res_d(i)は、前記復号された再構成残差領域のピクセルを表し、Inv()は、前記逆方向再構成関数を表し、Fwd()は、前記順方向再構成関数を表し、Pred_sample(i)は、前記予測領域のピクセルを表す、請求項１２に記載の装置。
15. 前記再構成メタデータは、区分線形表現に基づく前記順方向再構成関数を特徴付け、
    前記順方向再構成関数の前記区分線形表現の各セグメントについて、前記再構成メタデータは、デルタ絶対値と、前記デルタ絶対値の正負符号とを含む、
    請求項１１に記載の装置。
16. セグメントｉについての前記デルタ絶対値を表すbin_cw_delta_abs[i]について、その値は、セグメントｉ－１に割り当てられた符号語（bin_cw_delta_abs[i-1]）に対するセグメントｉに割り当てられた符号語の差を表す、請求項１５に記載の装置。

Images