JP2018524931A - Ｈｄｒおよび広色域の信号のための信号整形および符号化 - Google Patents

Abstract

高ダイナミックレンジ（HDR）画像の符号化効率を改善する方法において、デコーダが、入力符号化ビットストリームからシーケンス処理セット（SPS）データをパースして、パースされたSPSデータにおいてHDR拡張シンタックス構造が存在していることを検出する。デコーダは、HDR拡張シンタックス構造から、色空間有効フラグ、色向上有効フラグ、適応整形有効フラグ、ダイナミックレンジ変換フラグ、色補正有効フラグまたはSDR閲覧可能フラグの一つまたは複数を含む後処理情報を抽出する。デコーダは、入力ビットストリームをデコードして、予備的な出力デコード信号を生成し、該予備的な出力信号および前記後処理情報に基づいて第二の出力信号を生成する。

Description

関連出願への相互参照
本願は2015年7月16日に出願された米国仮特許出願第62/193,508号および2015年10月6日に出願された同62/347,852号の優先権の利益を主張するものである。両出願の内容はここに参照によってその全体において組み込まれる。

技術
本発明は概括的には画像に関する。より詳細には、本発明のある実施形態は、高ダイナミックレンジ（HDR: high dynamic range）および広色域（WCG: wide color gamut）の信号再整形および符号化に関する。

MPEG-2、MPEG-4、H.264、そしてより最近ではH.265（HEVCとしても知られる）のような国際的なオーディオおよびビデオの符号化標準の開発および採択は、DVDプレーヤー、ブルーレイ・プレーヤーのような標準ベースの装置および通信標準ならびにデジタル・テレビジョン放送のためのATSCおよびDVB標準の、急速な開発、採択および普及の手助けとなった。

ドルビー・ラボラトリーズ社らによって開発されているディスプレイ技術は、高ダイナミックレンジ（HDR）および広色域をもつ画像を再生できる。そのようなディスプレイは、標準ダイナミックレンジ（SDR）の通常のディスプレイよりも忠実に、現実世界のシーンを表現する画像を再現できる。

本稿での用法では、用語「ダイナミックレンジ」（DR）は、たとえば最も暗い黒（暗部）から最も明るい白（ハイライト）までの、画像におけるある範囲の強度（たとえばルミナンス、ルーマ）を知覚する人間の視覚系（HVS: human visual system）の能力に関係しうる。この意味では、DRは「シーン基準の（scene-referred）」強度に関係している。DRは、特定の幅の強度範囲を十分にまたは適切にレンダリングするディスプレイ装置の能力にも関係しうる。この意味では、DRは「ディスプレイ基準の（display-referred）」強度に関係している。特定の意味が本稿の記述のいずれかの時点で格別な意義をもつと指定されているのでない限り、この用語はどちらの意味でも、たとえば交換可能に使用されうると推定するべきである。

本稿での用法では、高ダイナミックレンジ（HDR）という用語は、人間の視覚系（HVS）の約14〜15桁にまたがるDR幅に関する。実際上は、人間が強度範囲において同時に十分に幅を知覚しうるDRは、HDRに比していくらか限定される。本稿での用法では、向上ダイナミックレンジ（EDR: enhanced dynamic range）または視覚的ダイナミックレンジ（VDR: visual dynamic range）という用語は、個別にまたは交換可能に、シーンまたは画像を横断したいくらかの光順応変化をも斟酌して、目の動きを含む人間の視覚系（HVS）によってシーンまたは画像内で知覚できるDRに関しうる。本稿での用法では、EDRは5ないし6桁にまたがるDRに関しうる。このように、真のシーン基準のHDRに比べればいくらか狭いが、それでもEDRは広いDR幅を表わし、やはりHDRと称されうる。

実際上は、画像は一つまたは複数の色成分（たとえばルーマYおよびクロマCbおよびCr）をもつ。各色成分はピクセル当たりnビットの精度で表現される（たとえばn＝8）。線形のルミナンス符号化を使うと、n≦8である画像（たとえばカラー24ビットJPEG画像）は標準ダイナミックレンジの画像と考えられ、n＞8である画像が向上ダイナミックレンジの画像と考えられうる。EDRおよびHDR画像は、高精度（たとえば16ビット）浮動小数点フォーマット、たとえばインダストリアル・ライト・アンド・マジックによって開発されたOpenEXRファイル・フォーマットを使って記憶および頒布されてもよい。

所与のディスプレイについての参照電気光伝達関数（EOTF: electro-optical transfer function）は、入力ビデオ信号の色値（たとえばルミナンス）とディスプレイによって生成される出力画面色値（たとえば画面ルミナンス）との間の関係を特徴付ける。たとえば、ここに参照によってその全体において組み込まれるITU Rec.ITU-R BT.1886「Reference electro-optical transfer function for flat panel displays used in HDTV studio production」〔HDTVスタジオ制作において使用されるフラット・パネル・ディスプレイのための参照電気光伝達関数〕（2011年3月）は、陰極線管（CRT）の測定された特性に基づいて、フラット・パネル・ディスプレイについての参照EOTFを定義している。ビデオ・ストリームが与えられるとき、該ビデオ・ストリームのEOTFについての情報は典型的にはメタデータとして該ビットストリームに埋め込まれる。本稿での用法では、用語「メタデータ」は、符号化されたビットストリームの一部として伝送され、デコードされた画像をレンダリングするためにデコーダを支援する任意の補助情報に関する。そのようなメタデータは、本稿で記述するような色空間または色域情報、参照ディスプレイ・パラメータおよび補助信号パラメータを含んでいてもよいが、それに限定されない。

たいていの消費者デスクトップ・ディスプレイは現在のところ、200ないし300cd/m²またはニトのルミナンスをサポートしている。たいていの消費者HDTVは300ないし500ニトの範囲であり、新しいモデルは1000ニト（cd/m²）に達する。よって、そのような通常のディスプレイは、HDRまたはEDRに対し、標準ダイナミックレンジ（SDR）とも称される低ダイナミックレンジ（LDR）の典型である。捕捉設備（たとえばカメラ）およびHDRディスプレイ（たとえばドルビー・ラボラトリーズからのPRM-4200業務用参照モニター）の両方における進展のためHDRコンテンツの利用可能性が高まるにつれて、HDRコンテンツが、カラーグレーディングされ、より高いダイナミックレンジ（たとえば1000ニトから5000ニト以上）をサポートするHDRディスプレイで表示されることがありうる。そのようなディスプレイは、高ルミナンス機能（たとえば0ないし10000ニト）をサポートする代替的なEOTFを使って定義される。そのようなEOTFの例は、ここに参照によってその全体において組み込まれるSMPTE ST 2084-2014「High Dynamic Range EOTF of Mastering Reference Displays」において定義されている。限定なしに一般に、本開示の方法は、SDRより高い任意のダイナミックレンジに関する。

国際公開第2014/130343号（2014年2月13日に出願されたPCT出願第PCT/US2014/016304号） 米国特許第9,077,994号（J. S. Millerら；名称「Perceptual luminance nonlinearity-based image data exchange across different display capabilities」） 国際公開第2014/204865号（PCT出願第PCT/US2014/042583号、「Adaptive reshaping for layered coding of enhanced dynamic range signals」）

F. Ebner and M.D. Fairchild、"Development and testing of a color space (ipt) with improved hue uniformity", Proc. 6th Color Imaging Conference: Color Science, Systems, and Applications, IS&T, Scottsdale, Arizona, Nov. 1998, pp. 8-13

ここで発明者によって認識されたように、高ダイナミックレンジ画像の符号化のための改善された技法が、HEVCのような既存の符号化標準の枠組み内で望まれている。

上記のセクションで記述されたアプローチは、追求されることができたが必ずしも以前に着想または追求されたアプローチではない。したがって、特に断りのない限り、該セクションにおいて記述されるアプローチはいずれも、該セクションに含まれているというだけのために従来技術の資格をもつと想定されるべきではない。同様に、特に断りのない限り、一つまたは複数のアプローチに関して特定されている問題は、該セクションに基づいて何らかの従来技術において認識されていたと想定されるべきではない。

本発明のある実施形態は、限定ではなく例として、付属の図面の図において例示される。図面において、同様の参照符号は同様の要素を指す。
ビデオ送達パイプラインのための例示的なプロセスを描く図である。 本発明のある実施形態に基づくIPT-PQ色空間への例示的なプロセス色変換を描く図である。 本発明のある実施形態に基づく信号整形および符号化のための例示的なプロセスを描く図である。 本発明のある実施形態に基づくHDRビットストリーム・デコードのための例示的なプロセスを描く図である。 本発明のある実施形態に基づく、N個のセグメントをもつ区分的な多項式の例を描く図である。 本発明のある実施形態に基づく、区分的な多項式として表現される整形関数のセグメントのためのパラメータを再構成する例を描く図である。

高ダイナミックレンジ（HDR）画像の信号整形および符号化のためのメッセージ伝達が本稿で記述される。以下の記述では、説明の目的で、本発明の十全な理解を与えるために、数多くの個別的詳細が記載されるが、本発明はそうした個別的詳細なしでも実施されうることは明白であろう。他方、よく知られた構造および装置は、本発明を無用に隠蔽したり、埋没させたり、曖昧にしたりするのを避けるために、網羅的な詳細さでは記述されていない。

〈概観〉
本稿に記載される例示的実施形態は、高ダイナミックレンジ画像の整形および符号化のためのメッセージ伝達に関する。高ダイナミックレンジ（HDR）画像の符号化効率を改善する方法において、デコーダが、入力符号化ビットストリームからシーケンス処理セット（SPS: sequence processing set）データをパースして、パースされたSPSデータにおいてHDR拡張シンタックス構造が存在していることを検出する。デコーダは、HDR拡張シンタックス構造から、色空間有効フラグ、色向上有効フラグ、適応整形有効フラグ、ダイナミックレンジ変換フラグ、色補正有効フラグまたはSDR閲覧可能フラグの一つまたは複数を含む後処理情報を抽出する。デコーダは、入力ビットストリームをデコードして、予備的な出力デコード信号を生成し、該予備的な出力信号および前記後処理情報に基づいて第二の出力信号を生成する。

〈例示的なビデオ送達処理パイプライン〉
図１は、ビデオ捕捉からビデオ・コンテンツ表示までのさまざまな段階を示す通常のビデオ送達パイプライン（１００）の例示的なプロセスを描いている。ビデオ・フレーム（１０２）のシーケンスが画像生成ブロック（１０５）を使って捕捉または生成される。ビデオ・フレーム（１０２）は（たとえばデジタル・カメラによって）デジタル的に捕捉されても、あるいは（たとえばコンピュータ・アニメーションを使って）コンピュータによって生成されてもよいが、ビデオ・データ（１０７）を与える。あるいはまた、ビデオ・フレーム（１０２）はフィルム・カメラによってフィルム上で捕捉されてもよい。そのフィルムがデジタル・フォーマットに変換されてビデオ・データ（１０７）を与える。制作フェーズ（１１０）では、ビデオ・データ（１０７）は編集されて、ビデオ制作ストリーム（１１２）を与える。

制作ストリーム（１１２）のビデオ・データは次いでブロック（１１５）でポストプロダクション編集のためにプロセッサに与えられる。ポストプロダクション編集（１１５）は、画質を高めるためまたはビデオ・クリエーターの創造的な意図に従って画像の特定の見え方を達成するために画像の特定の領域における色または明るさを調整または修正することを含んでいてもよい。これは時に「カラータイミング（color timing）」または「カラーグレーディング（color grading）」と呼ばれる。頒布のための制作物の最終版（１１７）を与えるために、他の編集（たとえばシーン選択およびつなぎ、画像クロッピング、コンピュータ生成された視覚特殊効果の付加など）がブロック（１１５）で実行されてもよい。ポストプロダクション編集（１１５）の間は、ビデオ画像は参照ディスプレイ（１２５）で閲覧される。

ポストプロダクション（１１５）後、最終制作物（１１７）のビデオ・データがエンコード・ブロック（１２０）に送達されてもよい。テレビジョンセット、セットトップボックス、映画シアターなどといったデコードおよび再生装置に向けて下流に送達するためである。いくつかの実施形態では、符号化ブロック（１２０）は、符号化されたビットストリーム（１２２）を生成するために、ATSC、DVB、DVD、ブルーレイおよび他の送達フォーマットによって定義されるようなオーディオおよびビデオ・エンコーダを含んでいてもよい。レシーバーでは、符号化ビットストリーム（１２２）はデコード・ユニット（１３０）によってデコードされて、信号（１１７）と同一のまたは近い近似を表現するデコードされた信号（１３２）を生成する。レシーバーは、参照ディスプレイ（１２５）とは完全に異なる特性をもつことがあるターゲット・ディスプレイ（１４０）に取り付けられていてもよい。その場合、ディスプレイ・マッピングされた信号（１３７）を生成することによって、デコードされた信号（１３２）のダイナミックレンジをターゲット・ディスプレイ（１４０）の特性にマッピングするために、ディスプレイ管理ブロック（１３５）が使用されてもよい。

〈IPT-PQ色空間〉
伝統的に、ビデオ処理はガンマ符号化されたルミナンス／クロマ色空間、たとえばYCbCr、YUVなどにおいて実行される。ある実施形態では、処理パイプラインの一部、たとえば符号化（１２０）、デコード（１３０）およびディスプレイ管理（１３５）は、これからIPT-PQ色空間と称されるものにおいて実行されてもよい。IPT-PQ色空間は、ディスプレイ管理アプリケーションについての特許文献１で最初に導入された。ここで参照によってその全体において組み込まれる非特許文献１（エブナー論文と称する）に記載されるIPTは、人間の視覚系における錐体の間の色差のモデルである。この意味で、これはYCbCrまたはCIE-Lab色空間に似ているが、いくつかの科学的研究で、これらの空間よりも人間の視覚処理をよりよく模倣することが示されている。CIE-Labと同様に、IPTは何らかの参照ルミナンスに対して規格化された空間である。ある実施形態では、規格化は、ターゲット・ディスプレイの最大ルミナンス（たとえば5000ニト）に基づく。

用語「PQ」は本稿では知覚的量子化（perceptual quantization）を指すために使われる。人間の視覚系は、光レベルの増大に対して、非常に非線形な仕方で応答する。人間が刺激を見る能力は、その刺激のルミナンス、刺激のサイズ、刺激をなす空間周波数（単数または複数）および刺激を見ているその特定の時点において目が順応〔適応〕しているルミナンス・レベルに影響される。ある好ましい実施形態では、知覚的量子化器関数は、入力グレーレベルを、人間の視覚系におけるコントラスト感度閾値によりよくマッチする出力グレーレベルにマッピングする。PQマッピング関数の例は、ここに参照によってその全体において組み込まれる特許文献２（'994特許と称する）に記載されており、その一部はSMPTE ST 2084規格によって採用されている。それによれば、固定した刺激サイズのもとで、すべてのルミナンス・レベル（すなわち刺激レベル）について、そのルミナンス・レベルにおける最小の可視コントラストきざみが、（HVSモデルに応じて）最も敏感な適応レベルおよび最も敏感な空間周波数に従って選択される。物理的な陰極線管（CRT）装置の応答曲線を表わし、たまたま人間の視覚系が応答する仕方と非常に大まかな類似性をもちうる伝統的なガンマ曲線に比べ、'994特許によって決定されたPQ曲線は、比較的単純な関数モデルを使って人間の視覚系の真の視覚的応答を模倣する。

図２は、ある実施形態に基づく、IPT-PQ色空間への色変換のための例示的プロセス（２００）をより詳細に描いている。図２に描かれるように、第一の色空間（たとえばRGB）にある入力信号（２０２）を与えられるとき、知覚的に補正されたIPT色空間（IPT-PQ）への色空間変換は以下の段階を含んでいてもよい：
ａ）任意的な段階（２１０）が、入力信号（２０２）のピクセル値（たとえば0ないし4095）を0から1までの間のダイナミックレンジをもつピクセル値に規格化してもよい。

ｂ）入力信号（２０２）が（たとえばBT.1866またはSMPTE ST 2084により）ガンマ符号化またはPQ符号化されていたら、任意的な段階（２１５）が、（信号メタデータによって与えられる）信号のEOTFを使って、符号値からルミナンスへの、ソース・ディスプレイの変換を反転させるまたは取り消してもよい。たとえば、入力信号がガンマ符号化されていたら、この段階は逆ガンマ関数を適用する。入力信号が'SMPTE ST 2084に従ってPQエンコードされていたら、この段階は逆PQ関数を適用する。実際上は、規格化段階（２１０）および逆非線形エンコード（２１５）は、あらかじめ計算された1Dのルックアップテーブル（LUT）を使って実行されて、線形信号２１７を生成してもよい。

ｃ）段階（２２０）では、線形信号２１７がそのもとの色空間（たとえばRGB、XYZなど）からLMS色空間に変換される。たとえば、もとの信号がRGBであれば、この段階は二つの段階を含んでいてもよい：RGBからXYZの色変換と、XYZからLMSの色変換である。ある実施形態では、限定なしに、XYZからLMSの色変換は次式によって与えられてもよい。

ここに参照によってその全体において組み込まれる、2015年9月24日に出願された「Encoding and decoding perceptually-quantized video content」と題するPCT特許出願第PCT/US2015/051964号に記載されている別の実施形態では、IPT-PQ色空間における全体的な符号化効率は、XYZからLMSの変換後にクロストーク行列

を組み込めば、さらに向上されうる。たとえば、c＝0.02については、式(1a)は次式を与える。

ｄ）エブナー論文によれば、伝統的なLMSからIPTへの色空間変換は、LMSデータにまず非線形冪関数を適用し、次いで線形変換行列を適用することを含む。データをLMSからIPTに変換してからPQ関数を適用してIPT-PQドメインにすることもできるが、ある好ましい実施形態では、段階（２２５）において、LMSのIPTへの非線形エンコードのための伝統的な冪関数は、L、M、Sの各成分のPQ非線形エンコードによって置き換えられる。

ｅ）LMSからIPTへの線形変換（たとえばエブナー論文で定義されるもの）を使って、段階（２３０）は信号２２２のIPT-PQ色空間への変換を完了する。たとえば、ある実施形態では、L'M'S'からIPT-PQへの変換は次式によって与えられてもよい。

〈前方整形〉
MPEG-1、MPEG-2、AVC、HEVCなどのような既存のビデオ圧縮標準の大半はYCbCr色空間におけるガンマ符号化されたSDR画像について試験され、評価され、最適化されてきたが、実験結果は、追加的な前処理がHDRおよびWCG信号を効率的に符号化することに益することがあることを示している。

図３は、ある実施形態に基づく、HDRおよびWCG信号のための信号整形および符号化のための例示的プロセスを描いている。図３に描かれるように、HDR入力（３０２）を与えられると、前方整形ブロック（３０５）は必要に応じて色変換およびまたは整形関数を適用して、整形された信号（３０７）を生成する。整形に関係したメタデータ（３０９）も生成されて、エンコーダ（３１０）、デコーダ（３１５）、後方整形（３２０）のような符号化パイプラインのその後のブロックに伝えられてもよい。

図３において、エンコード（３１０）の前に、整形された信号（３０７）は、エンコーダ（３１０）の前処理要求に従って前処理（図示せず）されてもよい。そのような前処理は、クロマ・サブサンプリング、スケーリング、クロッピング、追加的量子化および当業者に既知の他の画像処理動作を含んでいてもよい。いくつかの実施形態では、整形は、ある種の前処理動作（たとえばクロマ・サブサンプリング）後に実行されてもよい。レシーバーでは、符号化されたビットストリーム（３１２）はデコーダ（３１５）およびメタデータ（３０９）を使ってデコードされ、デコード信号（３１７）を生成する。デコード後、ブロック（３２０）は後方整形を、また必要な色変換があればそれも実行して、デコード信号（３１７）を、記憶および／または表示管理といったさらなる処理のために、整形されていない信号に変換し戻す。

整形関数の例は、ここに参照によってその全体において組み込まれる特許文献３に記載されている。たとえば、PQ符号化された信号について、ある実施形態では、（３０５）における信号整形関数は次のように表わされてもよい。

ここで、v_Lおよびv_Hは入力HDR信号（３０２）の考えている色チャネルにおける最小値および最大値を表わし、c_Lおよびc_Hは対応する最小および最大出力値を表わす。αの値は一定だが、フレーム毎、シーン毎または他の好適な基準で、適応され変化させられてもよい。

特に入力IPT-PQ信号のPおよびTクロマ成分を対象とするもう一つの整形関数が、それぞれここに参照によってその全体において組み込まれる、2015年4月22日に出願されたT.Luらによる「Signal reshaping and coding in the IPT-PQ color space」と題する米国仮特許出願第62/150,910号および対応するPCT出願第PCT/US2016/028261号において記載されている。

整形に関係した情報がエンコーダからパイプラインの残りの部分に信号伝達されるのは、いくつもの代替的な実施形態がありうる。たとえば、符号化（３１０）がHEVCメイン10プロファイルを使うある実施形態では、前方（forward）整形関数（たとえば後方（backward）または逆（reverse）整形（３２０）の区分的な線形もしくは非線形近似）および使用される色空間（たとえばYCbCr、XYZまたはIPT-PQ）に関係した情報をデコーダに信号伝達するために、シーケンス・パラメータ・セット（SPS: sequence parameter set）および／またはピクチャー・シーケンス・セット（SPS: picture sequence set）のための既存のシンタックスを修正してもよい。

〈高レベルのシンタックス〉
一般性を失うことなく、ここに参照によってその全体において組み込まれる最新のHEVC草案規格「HEVC Screen Coding Draft Text 3」、JCTVC-T1005、2015年2月、ジュネーヴ、を使う符号化システム（たとえば３１０、３１５）を、HDR信号（３０２）の符号化（３１０）および復号（３１５）のために考える。ある実施形態では、スライス・レベルより下位のHEVC仕様に変更がないとすると、表１が、ある実施形態に基づくHDRおよびWCGビデオ・エンコードをサポートするための、シーケンス・パラメータ・セット（SPS）における、例示的な向上された信号伝達を描いている。ボールド体にされたテキストは、HEVC仕様に呈示されているシンタックスの追加または修正である。

sps_hdrwcg_extension_flag〔SPS HDR WCG拡張フラグ〕が1に等しいことは、SPS RBSPシンタックス構造においてsps_hdrwcg_extension()シンタックス構造が存在していることを指定する。sps_hdrwcg_extension_flagが0に等しいことはこのシンタックス構造が存在しないことを指定する。存在しないとき、sps_hdrwcg_extension_flagの値は0に等しいと推定される。

sps_extension_4bits〔SPS拡張4ビット〕が0に等しいことは、SBS RBSPシンタックス構造においてsps_extension_data_flagシンタックス要素が存在しないことを指定する。存在するときは、sps_extension_4bitsは、この仕様のこのバージョンに準拠するビットストリームにおいて0に等しいものとする。0に等しくないsps_extension_4bitsの値は、ITU-TやISO/IECによる将来の使用のためにリザーブされる。デコーダはsps_extension_4bitsの値が0に等しくないことを許容し、SPS NAL単位におけるすべてのsps_extension_data_flagシンタックス要素を無視するものとする。存在しないとき、sps_extension_4bitsの値は0に等しいと推定される。

ある実施形態では、関数sps_hdrwcg_extension()は、HDRおよびWCGプロファイルに含まれている基本ツール・セットを指示する。たとえば、基本ツール・セットは、使用される色空間（たとえばYCbCrまたはIPT-PQ）に関する情報、色向上技法、適応整形情報およびHDR再マッピングおよび色補正情報を含んでいてもよい。いくつかの実施形態では、エンコーダによって使われるHDRからSDRへのマッピングに関係した情報も含んでいてもよい。そうすると、デコーダはそれを使って、SDR対応ディスプレイのためのSDRバージョンを生成することができる。基本ツール・セットは、デコードされたビットストリームがSDR閲覧可能であるかどうかをも指示することができる。よって、提案されるシンタックスは、単一層HDRストリームと、SDRディスプレイおよびHDRディスプレイのいずれによってもデコードできる単一もしくは複数層ストリームとの両方をサポートできる。表２は、ある実施形態に基づく例示的なシンタックスを与えている。

colour_space_enabled_flag〔色空間有効フラグ〕が1に等しいことは、色空間情報が存在することを指定する。colour_space_enabled_flagが0に等しいことは、色空間情報が存在しないことを指定する。存在するとき、このフラグはビデオ使用可能性情報（VUI: video usability information）における色記述（colour_primaries〔色原色〕、transfer_characteristics〔伝達特性〕、matrix_coeffs〔行列係数〕）の値をオーバーライドしうる。存在しないとき、colour_space_enabled_flagの値は0に等しいと推定される。

colour_enhancement_enabled_flag〔色向上有効フラグ〕が1に等しいことは、デコードされたピクチャーについての色向上プロセスが符号化されたビデオ・シーケンス（CVS: coded video sequence）において使用されることがありうることを指定する。colour_enhancement_enabled_flagが0に等しいことは、デコードされたピクチャーについての色向上プロセスがCVSにおいて使われないことを指定する。存在しないとき、colour_enhancement_enabled_flagの値は0に等しいと推定される。

ある実施形態では、colour_enhancement_enabled_flag＝1のとき、ビットストリーム（たとえばsps_hdrwcg_extension()構造またはpps_hdrwcg_extension()構造）は、クロマ成分についての量子化およびダウンサンプリング誤差を減らして色パフォーマンスを改善する後処理のための追加的な情報（たとえばフィルタ係数）を含んでいてもよい。

adaptive_reshaping_enabled_flag〔適応整形有効フラグ〕が1に等しいことは、デコードされたピクチャーについての適応整形プロセスがCVSにおいて使用されうることを指定する。adaptive_reshaping_enabled_flagが0に等しいことは、デコードされたピクチャーについての適応整形プロセスがCVSにおいて使用されないことを指定する。存在しないとき、adaptive_reshaping_enabled_flagの値は0に等しいと推定される。

dynamic_range_conversion_enabled_flag〔ダイナミックレンジ変換有効フラグ〕が1に等しいことは、デコードされたピクチャーについてのダイナミックレンジ変換プロセスがCVSにおいて使用されうることを指定する。dynamic_range_conversion_enabled_flagが0に等しいことは、デコードされたピクチャーについてのダイナミックレンジ変換プロセスがCVSにおいて使用されないことを指定する。存在しないとき、dynamic_range_conversion_enabled_flagの値は0に等しいと推定される。

ある実施形態では、dynamic_range_conversion_enabled_flag＝1のとき、ビットストリーム（たとえばsps_hdrwcg_extension()構造またはpps_hdrwcg_extension()構造）はSMPTE ST 2094からのパラメータを含んでいてもよい。

colour_correction_enabled_flag〔色補正有効フラグ〕が1に等しいことは、デコードされたピクチャーについて色補正プロセスがCVSにおいて使用されうることを指定する。colour_correction_enabled_flagが0に等しいことは、デコードされたピクチャーについての色補正プロセスがCVSにおいて使われないことを指定する。存在しないとき、colour_correction_enabled_flagの値は0に等しいと推定される。

ある実施形態では、colour_correction_enabled_flag＝1のとき、ビットストリーム（たとえばsps_hdrwcg_extension()構造またはpps_hdrwcg_extension()構造）はSMPTE ST 2094からのパラメータを含んでいてもよい。

SDR_viewable_flag〔SDR閲覧可能フラグ〕が1に等しいことは、デコードされたピクチャーがSDRディスプレイ上で直接閲覧可能であることを指定する。SDR_viewable_flagが0に等しいことは、デコードされたピクチャーがSDRディスプレイ上で直接閲覧可能ではないことを指定する。存在しないとき、SDR_viewable_flagの値は0に等しいと推定される。

典型的には、色空間はシーケンス・レベルにおいて示される。いくつかの実施形態では、色空間がVUIにおいて示されることができるので、SPS拡張において信号伝達される必要はないことがある。SPS拡張において信号伝達される場合、信号伝達シンタックス要素は使われる色空間を示してもよい。例として、表２において、colour_space_enabled_flagをcolour_space_idcフラグで置き換えてもよい。colour_space_idcが0に等しいことは、色空間がVUIにおいて示されていることを指定する。colour_space_idcが1に等しいことは、色空間がIPT-PQであることを指定する。colour_space_idcが2に等しいことは、色空間がY"u"v"であることを指定する、など。存在しないとき、colour_space_idcの値は0に等しいと推定される。そのような実装の例が表３に示されている。

いくつかの実施形態では、追加的なフラグおよびパラメータが、色空間変換に関係した明示的な情報を提供してもよい。たとえば、表４は、IPT-PQ色空間変換に関係した例を描いている。

XYZtoLMS_matrix_present_flag〔XYZからLMSへの行列存在フラグ〕が1に等しいことは、両端を含めて0から2までのの範囲のcおよびiについてシンタックス要素XYZtoLMS_coeffs[c][i]が存在することを示す。XYZtoLMS_matrix_present_flagが0に等しいことは、両端を含めて0から2までのの範囲のcおよびiについてシンタックス要素XYZtoLMS_coeffs[c][i]が存在しないことを示す。

XYZtoLMS_coeffs[c][i]は、3かける3の、原色XYZから原色LMSへの行列の係数の値を指定する。XYZtoLMS_coeffs[c][i]の値は両端を含めて−2¹⁵ないし2¹⁵−1であるものとする。XYZtoLMS_coeffs[c][i]が存在しないときは、デフォルトのXYZからLMSへの行列が使われる。

XYZtoLMS_matrix_present_flagが0に等しいとき、デフォルトのXYZからLMSの行列は浮動小数点で次のように指定される。

XYZtoLMS_matrix_present_flagが1に等しいとき、XYZからLMSの行列は浮動小数点で次のように変換される。

MatrixInputが両端を含めて[0,1]の範囲内の規格化されたXYZ入力データを表わすとすると、c＝0,1,2についてのLMS matrixOutput[c]は次のように導出される。

LMStoIPT_matrix_present_flag〔LMSからIPTへの行列存在フラグ〕が1に等しいことは、両端を含めて0から2までのの範囲のcおよびiについてシンタックス要素LMStoIPT_coeffs[c][i]が存在することを示す。LMStoIPT_matrix_present_flagが0に等しいことは、両端を含めて0から2までのの範囲のcおよびiについてシンタックス要素LMStoIPT_coeffs[c][i]が存在しないことを示す。

LMStoIPT_coeffs[c][i]は、3かける3の、LMSからIPTへの行列の係数の値を指定する。LMStoIPT_coeffs[c][i]の値は両端を含めて−2¹⁵ないし2¹⁵−1であるものとする。LMStoIPT_coeffs[c][i]が存在しないときは、デフォルトのLMSからIPTへの行列が使われる。

LMStoIPT_matrix_present_flagが0に等しいとき、デフォルトのLMSからIPTへの行列は浮動小数点で次のように指定される。

LMStoIPT_matrix_present_flagが1に等しいとき、LMSからIPTの行列は浮動小数点で次のように変換される。

MatrixInputが両端を含めて[0,1]の範囲内の規格化されたLMS入力データを表わすとすると、c＝0,1,2についてのIPT matrixOutput[c]は次のように導出される。

HDRデコードされた信号の適正な表示を保証するとともにCVS上だけでなく信号を適応させる（たとえばシーン／ピクチャー／スライス・レベルの適応を許容する）ために、表５の例によって示されるピクチャー・レベルでの追加的な信号伝達が提案される。

pps_hdrwcg_extension_flag〔PPS HDR WCG拡張フラグ〕が1に等しいことは、pps_hdrwcg_extension()シンタックス構造がPPS RBSPシンタックス構造において存在していることを指定する。pps_hdrwcg_extension_flagが0に等しいことは、このシンタックス構造が存在しないことを指定する。存在しないとき、pps_hdrwcg_extension_flagの値は0に等しいと推定される。

pps_extension_4bits〔PPS拡張4ビット〕が0に等しいことは、PPS RBSPシンタックス構造においてpps_extension_data_flagシンタックス要素が存在しないことを指定する。存在するとき、pps_extension_4bitsはこの仕様のこのバージョンに準拠するビットストリームにおいて0に等しいものとする。0に等しくないpps_extension_4bitsの値は、ITU-TやISO/IECによる将来の使用のためにリザーブされる。デコーダはpps_extension_4bitsの値が0に等しくないことを許容し、PPS NAL単位におけるすべてのpps_extension_data_flagシンタックス要素を無視するものとする。存在しないとき、pps_extension_4bitsの値は0に等しいと推定される。

各ツール・セットがさまざまなオプションを組み込んでいてもよい。表６は、adaptive_reshaping_enabled_flagが有効にされるとき（表２参照）の適応整形を記述するadaptive_reshaping_idcモードについての例示的なシンタックスを与えている。他のツールについても同様のシンタックス要素を開発することができる。

信号adaptive_reshaping_idc〔適応整形idc〕は種々の整形技法を示す。例として、表７は上記の'910出願において提案されたシンタックスを示している。HDRおよびSDR変換が可逆であれば、下記の整形シンタックスは、SDRからHDRまたはHDRからSDRの変換のどちらのマッピングを信号伝達することもできるはずである。ある実施形態では、マッピングは、一つまたは複数のルックアップテーブル（LUT）または複数区分の多項式を使って表わされてもよい。このアプローチは、ダイナミックレンジ変換および色補正に関係したシンタックスを含む必要をなくしうる。

signal_reshape_input_bit_depth_minus8〔信号整形入力ビット深さ引く8〕は、信号整形情報SEIメッセージの解釈のための、関連するピクチャーの色成分のビット深さを指定する。何らかの信号整形情報SEIメッセージが存在してsignal_reshape_input_bit_depthの値が符号化された色成分のビット深さに等しくない場合、そのSEIメッセージは、符号化されたビデオをsignal_reshape_input_bit_depthに等しいビット深さをもつ変換済みビデオに変換するために実行されたトランスコード動作の仮想的な結果を参照する。signal_reshape_input_bit_depth_minus8の値は両端を含めて0から8までの範囲内であるとする。

signal_reshape_bit_depth〔信号整形ビット深さ〕は上記信号整形情報SEIメッセージによって記述される信号整形関数の出力のビット深さを指定する。

signal_reshape_full_range_flag〔信号整形フルレンジ・フラグ〕はHEVC仕様書のE.3.1節においてvideo_full_range_flag〔ビデオ・フルレンジ・フラグ〕シンタックス要素について指定されているのと同じ意味内容をもつが、signal_reshape_full_range_flagはCLVSのために使われる色空間ではなく、整形された再構成されたピクチャーの色空間を指定する。

signal_reshape_model_present_flag〔信号整形モデル存在フラグ〕が1に等しいことは、シンタックス要素coef_log2_denom_minus14、signal_reshape_model_id、signal_reshape_num_pivots_minus2、signal_reshape_coded_pivot_value、poly_order_minus1、poly_coef_int、poly_coef_frac、pow_coef_int、pow_coef_fracおよびsignal_reshape_target_pivot_valueが存在することを指定する。
signal_reshape_model_present_flagが0に等しいことは、シンタックス要素coef_log2_denom_minus14、signal_reshape_model_id、signal_reshape_num_pivots_minus2、signal_reshape_coded_pivot_value、poly_order_minus1、poly_coef_int、poly_coef_frac、pow_coef_int、pow_coef_fracおよびsignal_reshape_target_pivot_valueが存在しないことを指定する。

coeff_log2_denom_minus14に14を加えたものは、信号整形に関係した係数についての半端なビットの数を指定する。coeff_log2_denom_minus14の値は両端を含めて0から9までの範囲内とする。存在しないとき、coeff_log2_denom_minus14の値は0に等しいと推定される。

signal_reshape_model_id[c]〔信号整形モデルid[c]〕はc番目の成分について、符号化されたデータをターゲット値に整形するために利用されるモデルを指定する。3より大きい値は将来の使用のためにリザーブされ、この仕様のこのバージョンに準拠するビットストリームには存在しないものとする。デコーダは3より大きいsignal_reshape_model_id[c]の値を含むすべての信号整形SEIメッセージを無視する必要があり、ビットストリームはそのような値を含んではならない。存在しないとき、signal_reshape_model_id[c]の値は0であると推定される。

signal_reshape_model_idの0は多項式整形に対応し；signal_reshape_model_idの1は冪関数整形に対応し；signal_reshape_model_idの2はユーザー定義されるテーブル・マッピングに対応する。signal_reshape_model_present_flagが0に等しいときは、整形モデルは、三つすべての成分について一つの区分をもつ恒等線形モデルに設定される。

signal_reshape_num_pivots_minus2[c]〔信号整形ピボット数引く2[c]〕は、二つのデフォルトの端点0および2^{signal_reshape_input_bit_depth}−1を数えずに区分ごとの信号整形関数におけるピボット点の数を指定する。存在しないとき、signal_reshape_num_pivots_minus2[c]の値は0であると推定される。

signal_reshape_coded_pivot_value[c][i]〔信号整形符号化ピボット値[c][i]〕はc番目の成分についてのi番目のピボット点の値を指定する。signal_reshape_coded_pivot_valueの表現のために使われるビット数は((signal_reshape_input_bit_depth_minus8＋15)>>3)<<3である。デフォルトの二つの端点については、signal_reshape_coded_pivot_value[c][0]は0に設定され、signal_reshape_coded_pivot_value[c][signal_reshape_num_pivots_minus2[c]＋1]は2signal_reshape_input_bit_depth−1に設定される。

poly_order_minus1[c][i]〔多項式次数引く１[c][i]〕に1を加えたものは、c番目の成分におけるi番目の区分についての多項式関数の次数を指定する。poly_order_minus1[c][i]の値は両端を含めて0から1までの範囲内であるとする。存在しないときは、poly_order_minus1[c][i]の値は0であると推定される。

poly_coef_int[c][i][j]〔多項式係数 整数[c][i][j]〕はfp_poly_coef[c][i][j]の整数部分を指定する。存在しないときは、poly_coef_int[c][0][0]の値は0であると推定され、poly_coef_int[c][0][1]の値は1であると推定される。

poly_coef_frac[c][i][j]〔多項式係数 端数[c][i][j]〕はfp_poly_coef[c][i][j]の端数部分を指定する。存在しないときは、poly_coef_frac[c][0][0]の値は0であると推定され、poly_coef_frac[c][0][1]は0であると推定される。
fp_poly_coef[c][i][j]〔浮動小数点多項式係数[c][i][j]〕はc番目の成分におけるi番目の区分についてのj番目の次数の多項式係数の浮動小数点値を指定する。

ここで、s_inはc番目の色成分におけるi番目の区分についての入力サンプル値であり、s_outは整形後の、c番目の色成分におけるi番目の区分についての出力サンプル値である。

pow_coef_int[c][i][j]はfp_pow_coef[c][i][j]の整数部分を指定する。

pow_coef_frac[c][i][j]はfp_pow_coef[c][i][j]の端数部分を指定する。
fp_pow_coef[c][i][j]はc番目の成分におけるi番目の区分についてのj番目の係数の値を指定する。

ここで、s_inはc番目の色成分におけるi番目の区分についての入力サンプル値であり、s_outは整形後の、c番目の色成分におけるi番目の区分についての出力サンプル値である。

signal_reshape_target_pivot_value][c][i]〔信号整形目標ピボット値[c][i]〕は、c番目の成分についてのi番目のピボット点の整形された値を指定する。signal_reshape_target_pivot_valueの表現のために使われるビット数は((signal_reshape_bit_depth_minus8＋15)>>3)<<3である。

例として、エンコーダがデフォルトのXYZからLMSおよびLMSからIPTの行列を使って単にPおよびT成分に2.0を乗算したことをデコーダに伝えるためには、表７の以下のパラメータが次のように定義されてもよい：
signal_reshape_video_signal_type_present_flag＝0 //デフォルト行列を使用
signal_reshape_model_present_flag＝1
signal_reshape_model_id[c]＝0（c＝0,1,2について） //多項式ベースの整形
signal_reshape_num_pivots_minus2[c]＝0（c＝0,1,2について） //一つの区分
poly_order_minus[c][i]＝0（i＝0、c＝0,1,2について） //一次多項式(ax＋b)
poly_coef_int[c][i][j]＝1 （c＝0、i＝0、j＝0について） //Iについてのスケーリングなし(a＝1)
poly_coef_int[c][i][j]＝2 （c＝1,2、i＝0、j＝0について） //PおよびTを因子2でスケーリング(a=2)
poly_coef_int[c][i][j]＝0 （c＝0,1,2、i＝0,1,2、j＝1について） //I,P,Tについてのオフセット（b）は0
poly_coef_frac[c][i][j]＝0 （c＝0,1,2、i＝0,1、j＝0,1について） //スケーリング因子およびオフセットに端数なし。

上記のシンタックスにおいて、係数の符号は係数の整数部分の一部として宣言されている。別の実施形態では、符号を明示的に信号伝達して、符号化をse(v)からue(v)に変えることができる。ここで、HEVCによって定義されるように、se(v)は符号付き整数0次Exp-Golomb-codedシンタックス要素（左ビットが先）を表わし、ue(v)は符号なし整数0次Exp-Golomb-codedシンタックス要素（左ビットが先）を表わす。

同じツール・セットがシーケンス全体について使われる場合、インジケーターをsps_hdrwcg_extension()に移すことができる。例は下記の表８に示されている。

いくつかの実施形態では、HDR関係の拡張は、ピクチャー・スライス層でも許容されうる。その場合、各HDRツールのシンタックス情報を、たとえばスライス・ヘッダにおいて、HEVCのslice_segment_header()構造において信号伝達してもよい。

別の実施形態では、HDRおよびWCG再構成プロセスを指示するために、新しいネットワーク抽象化層（NAL: Network Arbitration Layer）ユニットを使ってもよい。たとえば、VCL NALリザーブ番号（22〜31）または非VCL NALリザーブ番号（41〜47）からの一つのリザーブされている番号を使ってもよい。HEVC仕様への変更を最小限に保つため、非VCL NALを使うほうがいいかもしれない。新しいNALユニットは、その動作が必須であるべきだというほかは、PREFIX_SEI_NUTと同じ手順に従うことができる。それぞれの符号化ツールについての新しいNALユニットの伝送は、sps_hdrwcg_extension()内のフラグによって制御されてもよい。あるいはまた、補足向上情報（SEI: supplemental enhancement information）の仕方に従って、SPS層ではいかなる信号伝達も必要とせず、デコーダに新しいNALユニットをパースさせてどのツールが有効にされているかを判断させることができる。該新しいNALユニットはHRI（High Dynamic Range Reconstruction Information［高ダイナミックレンジ再構成情報］）NALユニットと名付けられることができる。例として、NALユニットおよび符号化されたピクチャーの順序ならびにそれらの、HEVCの節7.4.2.4.4で定義されているアクセス・ユニットへの関連付けは、下記のように修正されてもよい。提案される変更を下線で示している。
・0に等しいnuh_layer_idをもつアクセス・ユニット・デリミタNALユニット（存在するとき）
・0に等しいnuh_layer_idをもつVPS NALユニット（存在するとき）
・0に等しいnuh_layer_idをもつSPS NALユニット（存在するとき）
・0に等しいnuh_layer_idをもつPPS NALユニット（存在するとき）
・0に等しいnuh_layer_idをもつHRI NALユニット（存在するとき）
・0に等しいnuh_layer_idをもつプレフィックスSEI NALユニット（存在するとき）
・0に等しいnuh_layer_idをもつ、RSV_NVCL41..RSV_NVCL44の範囲内のnal_unit_typeをもつNALユニット（存在するとき）
・0に等しいnuh_layer_idをもつ、UNSPEC48..UNSPEC55の範囲内のnal_unit_typeをもつNALユニット（存在するとき）。

上記の諸オプションを与えられると、pps_hdrwcg_extension()の使用が、仕様における最小の変更をもつものと思われる。

好ましくは、HDRデコードおよび再構成プロセスを記述するためにHEVC仕様書に新たな付属書が追加されるべきである。プロセスは、前記ツールのフルセットまたはサブセットを記述することができるべきである。固定小数点記述が好ましい。

HEVCプロファイル定義の点では、HDR WCGプロファイルは、メイン10プロファイル内のすべてのツールおよびHDR再構成プロセスを含むべきである。レベル定義のためには、HDR再構成されたピクチャーをどのように記憶するかに依存して、MaxDpbSizeが影響されうる。

HEVC仕様によれば、準拠ポイントはビットストリーム準拠およびデコーダ準拠を含む。ビットストリーム準拠はI型およびII型を含む。I型はVCL NALユニットおよび埋め草〔フィラー〕データNALユニットを含むだけである。II型はすべての種類のNALユニット型を含む。ビットストリーム準拠はいかなる修正も必要ないかもしれない。デコーダ準拠のためには、デコードされたピクチャーおよびHDR再構成されたピクチャーの両方を、出力するまで保持することが提案される。ある実施形態では、両方のバージョンをデコード・ピクチャー・バッファ（DPB: decoded picture buffer）に記憶することができる。別の実施形態では、デコードされたピクチャーのみをDPBに記憶し、デコードされたピクチャーがDPBから押し出された後に、対応するHDR再構成されたピクチャーを生成してもよい。

考えるべきもう一つのポイントは、HDR再構成が符号化ループの外にあるということである。処理はおそらくは固定小数点またはLUT実装でなされることができる。プロセスを単純化するために異なる実装が使われる場合、準拠ポイントにおいて何らかの公差を許容することを考えてもよい。

図４は、本発明のある実施形態に基づく、HDRビットストリーム・デコードのための例示的プロセスを描いている。図４に描かれるように、段階（４０５）において、デコーダはまず、はいってくるビットストリーム（３１２）の特別なHDR扱いを示す、シーケンス・パラメータ・セット（SPS）レベルでの信号（たとえばsps_hdrwcg_extension_flag＝1のフラグ）をビットストリームが含むかどうかを検出しようと探索してもよい。そのような信号がみつからない場合には、デコーダは通常のビデオ・デコード（４２５）およびデコード後ブロック（４３０）で進行する。なぜなら、後方整形のようなHDR関係の動作はスキップされるからである。そのような信号が検出される場合には、段階（４１０）において、デコーダは適切なツールおよびパラメータを抽出する（たとえばsps_hdrwcg_extension()のデコード）。HDR関係のパラメータ（３０９）は、HDR関係の後処理ブロック４３０によって使用されるために、必要に応じて、記憶され、更新される。

いくつかの実施形態では、デコーダは、ピクチャー・パラメータ・セット（PPS）レベルでのHDR関係の扱い信号（たとえば、pps_hdrwcg_extension_flag＝1のフラグ）を識別するよう探索してもよい（４１５）。そのような信号がみつからない場合には、デコーダは通常のデコード（４２５）に進み、それ以外の場合には段階（４２０）においてデコーダは適切なツールおよびパラメータ（３０９）を抽出する（たとえば、pps_hdrwcg_extension()のデコード）。

（たとえばHEVCのメイン10プロファイルなどを使った）ビデオ・デコードの後、デコーダは抽出されたHDR関係のメタデータ（３０９）を使って、何らかのHDR関係の後処理（４３０）を実行する。

〈整形関数の効率的な信号伝達〉
先に論じたように、ある実施形態では、整形関数がエンコーダからデコーダに区分的多項式として信号伝達されてもよい。整形関数および多項式パラメータは、シーン、フレーム、スライス、タイルなどの間隔ごとに変更されることがある。よって、符号化されたビットストリーム内での区分的な多項式の効率的な符号化は、ビデオ符号化において非常に重要である。

図５は、N＋1個のピボット点x₀,x₁,…,x_Nによって決定されるN＝4個のセグメントをもつ区分的多項式の例を描いている。各ピボット点x_i（i＝0,…,N−1）について、対応する多項式セグメントはp_iと記され、M_i次多項式

としてモデル化されうる。ここで、M_iは多項式セグメントp_iの次数であり、S_k ⁽ⁱ⁾（k＝0,1,2,…,M_i）はi番目のセグメントについての多項式係数を表わす。

一般性を失うことなく、M_i＝2とする。すると式(4)は次のように表わせる。

本稿に開示される方法は式(5)の表現のどちらにも適用されうる。

先述したように、ある実施形態では、すべての多項式係数（たとえばa_i、b_i、c_i）がエンコーダからデコーダに明示的に送られてもよいが、整形関数（５０５）の特性に対していくつかの簡単な制約条件を加えることによって、デコーダはその部分的な集合だけを受け取るだけで、多項式パラメータを再構成できることがありうる。

ある実施形態では、なめらかな整形曲線のために、二つの追加的制約条件が課されてもよい：
（１）0次の連続性：曲線はピボット点において連続である、すなわち、y_i-1(x_i)＝y_i(x_i)；
（２）一次の連続性：各ピボットx_iについて、p_i-1およびp_iの両方が二次の多項式であれば、一階微分はx_iにおいてなめらかでなければならない、すなわちy'_i-1(x_i)＝y'_i(x_i)
これらの制約条件に基づくと、x＝x_iにおいて、式(5)から、第一の制約条件については
a_i-1＋b_i-1x_i＋c_i-1x_i ²＝a_i＋b_ix_i＋c_ix_i ² (6a)
となり、第二の制約条件については、
b_i-1＋2c_i-1x_i＝b_i＋2c_ix_i (6b)
となる。式(6a)および(6b)から、
a_i＝a_i-1＋(b_i-1−b_i)x_i＋(c_i-1−c_i)x_i ² (7a)
b_i＝b_i-1＋2(c_i-1−c_i)x_i (7b)
となる。

式(7a)および(7b)から、次のことが観察できる。
・a_iは常にa_i-1,b_i-1,b_i,c_i-1,c_i,x_iに基づいて再構成できる
・c_iはそのセグメントが二次多項式である（すなわちM_i＝2）である場合にのみ信号伝達される必要がある
・b_iは一次連続性が満たされない、すなわちM_i＝2だがM_i-1≠2であるときまたはM_i＝1であるときにのみ信号伝達される必要がある。.
例として、八個の二次多項式を使って定義される整形関数を考える。典型的な慣行のもとでは、それぞれの多項式について三つの係数、合計24個の係数を送信しなければならないであろう。提案される方法を使えば、八つの多項式のどれも一次または零次多項式でない場合、10個の係数が送信される必要があるだけである（第零セグメントについて3個、残りの七個のセグメントについて一つの係数）。

よって、整形に関係したパラメータを伝送するための、より効率的な仕方は、次の諸段階を含む：

図６は、ある実施形態に基づく整形関数の多項式係数を再構成するためのデコーダにおける例示的なプロセスを描いている。M_i≠2である場合には、c_i＝0であることが含意される（６１２）。M_i＝1である場合には、一次連続性を満たすことはできず、デコーダはb_iを受け取る必要があり（６０８）、そうでない場合には、M_i＝0がb_i＝0であることを含意する（６１６）。c_iおよびb_iを与えられると、零次連続性に基づき、a_iは式(7)のように計算できる（６１８）。

M_i＝2の場合には、デコーダはc_iを読む（６０４）。M_i-1≠2かつM_i＝2であれば、一次連続性を満たすことはできず、デコーダはb_iを受け取る必要があり（６０８）、そうでない場合には、b_iは式(7)を使って推定できる（６１０）。いずれの場合にも、a_iは式(7)のように計算できる（６１８）。

表９は、ある実施形態に基づいて、整形関数をN個のセグメントとして信号伝達するための例示的なHEVCシンタックスを描いている。

reshape_present_flag〔整形存在フラグ〕が1に等しいことは、シンタックス要素reshape_input_luma_bit_depth_minus8、reshape_input_chroma_bit_depth_minus8、reshape_output_luma_bit_depth_minus8、reshape_output_chroma_bit_depth_minus8、coef_log2_denom_minus14、reshape_num_pivots_minus2、reshape_coded_pivot_value、poly_order、poly_coef_int、poly_coef_fracおよびreshape_pps_idが存在することを指定する。reshape_present_flagが0に等しいことは、シンタックス要素reshape_input_luma_bit_depth_minus8、reshape_input_chroma_bit_depth_minus8、reshape_output_luma_bit_depth_minus8、reshape_output_chroma_bit_depth_minus8、coef_log2_denom_minus14、reshape_num_pivots_minus2、reshape_coded_pivot_value、poly_order、poly_coef_int、poly_coef_fracおよびreshape_pps_idが存在しないことを指定する。

reshape_input_luma_bit_depth_minus8〔整形入力ルーマ・ビット深さ引く8〕は、HDR整形プロセスの入力ルーマ成分のサンプル・ビット深さを指定する。

reshape_input_chroma_bit_depth_minus8〔整形入力クロマ・ビット深さ引く8〕は、HDR整形プロセスの入力クロマ成分のサンプル・ビット深さを指定する。
変数BitDepthReshapeInput[c]〔ビット深さ 整形入力[c]〕は次のように導出される：
BitDepthReshapeInput[c]＝8＋(c==0) ? reshape_input_luma_bit_depth_minus8 : reshape_input_chroma_bit_depth_minus8
。

reshape_output_luma_bit_depth_minus8〔整形出力ルーマ・ビット深さ引く8〕は、HDR整形プロセスの出力ルーマ成分のサンプル・ビット深さを指定する。

reshape_output_chroma_bit_depth_minus8〔整形出力クロマ・ビット深さ引く8〕は、HDR整形プロセスの出力クロマ成分のサンプル・ビット深さを指定する。
変数BitDepthReshapeOutput[c]〔ビット深さ 整形出力[c]〕は次のように導出される：
BitDepthReshapeOutput[c]＝8＋(c==0) ? reshape_output_luma_bit_depth_minus8 : reshape_output_chroma_bit_depth_minus8
。

coef_log2_denom_minus14に14を加えたものは、色成分cについてHDR整形に関係した係数計算のための端数ビットの数を指定する。coef_log2_denom_minus14の値は両端を含めて0から9までの範囲内とする。変数ReshapeLog2Denomは次のように導出される：
ReshapeLog2Denom＝14＋coef_log2_denom_minus14
。

reshape_num_pivots_minus2[c]〔整形ピボット数引く2[c]〕に2を加えたものは、二つの端点を含めた、区分的な整形関数におけるピボット点の数を指定する。存在しないとき、reshape_num_pivots_minus2[c]の値は0であると推定される。reshape_num_pivots_minus2[c]はルーマ成分については両端を含めて0ないし7の範囲内、クロマ成分については両端を含めて0ないし3の範囲内とする。

reshape_coded_pivot_value[c][i]〔整形符号化ピボット値[c][i]〕は、c番目の成分についてのi番目のピボット点の値を指定する。reshape_coded_pivot_valueの表現のために使われるビット数は、ルーマ成分についてはBitDepthReshapeInputL〔ビット深さ 整形入力L〕であり、クロマ成分についてはBitDepthReshapeInputC〔ビット深さ 整形入力C〕である。存在しないとき、reshape_coded_pivots_value[c][0]およびreshape_coded_pivots_value[c][1]の値は、video_full_range_flagに基づいて推定される。両端を含めて0ないし2の範囲内のcおよび両端を含めて0ないしreshape_num_pivots_minus2[c]＋1の範囲内のiについて、次式が成り立つことが、ビットストリーム準拠の要件である：
reshape_coded_pivots_value[c][i＋1]＞reshape_coded_pivots_value[c][i]
。

reshape_poly_order_minus1[c][i]〔整形多項式次数引く1〕に1を加えたものは、c番目の成分についてのi番目の区分の最大次数を指定する。reshape_poly_order_minus1の値は両端を含めて−1ないし1の範囲内とする。

poly_coef_int[c][i][j]〔多項式係数整数[c][i][j]〕は成分cについてのi番目の区分のj番目の次数の多項式係数の整数値を指定する。poly_coef_int[c][i][j]の値は両端を含めて−64ないし63の範囲内とする。

poly_coef_frac[c][i][j]〔多項式係数端数[c][i][j]〕は成分cについてのi番目の区分のj番目の次数の多項式係数の端数値を指定する。
cは両端を含めて0ないし2の範囲内、jは両端を含めて0ないし2の範囲内として、変数PolyCoef[c][0][j]〔多項式係数[c][0][j]〕は次のように導出される：

cは0ないし2の範囲内、iは0ないしreshape_num_pivots_minus2[c]の範囲内、jは0ないし2の範囲内（両端含む）として、変数PolyCoef[c][i][j]は次のように導出される。

reshape_pps_id〔整形PPS ID〕は、整形情報を含む参照されたpps_pic_parameter_set_idの値を指定する。存在しないとき、reshape_pps_idの値は0であると推定される。reshape_pps_idをもつPPSは、1に等しいreshape_present_flagをもつことが必要である（注意：このシンタックスの目的は、すでに整形情報を含んでいるpps_idを再利用することである。これは、PPSが非常に頻繁に変わる何らかの機能を含んでいて、一方、整形はシーン変化の間に更新されるだけである場合に特に有用）。

区分的関数のインデックスの同定
このプロセスへの入力はサンプル値Sおよび成分インデックスcである。
このプロセスの出力は、サンプルSが属するセグメントを同定するインデックスidxSである。
変数idxSは次のように導出される。

ルーマ・サンプル値のHDR整形プロセス
このプロセスへの入力は、現在のピクチャーの左上のルーマ・サンプルに対するルーマ・サンプル位置を指定するルーマ位置(xP,yP)である。
このプロセスの出力は、hdr整形されたルーマ・サンプル値reshapeLumaSampleである。
reshapeLumaSampleの値は次の順序付けされた段階を適用することによって導出される：
１．変数idxLが、成分0についてサンプル値recPicture_L[xP][yP]の入力を用いて上記の区分的関数のインデックスの同定を呼び出すことによって、導出される。
２．reshapeLumaSampleの値が次のように導出される。

クロマ・サンプル値のHDR整形プロセス
このプロセスへの入力は、現在のピクチャーの左上のクロマ・サンプルに対するクロマ・サンプル位置を指定するルーマ位置(xP_C,yP_C)およびクロマ成分インデックスを指定する変数cIdxである。
このプロセスの出力は、hdr整形されたクロマ・サンプル値reshapeChromaSampleである。
recPicture_Cは、cIdxが0に等しい場合にはrecPictureC0に等しく、それ以外の場合にはrecPictureC0に等しく設定される。
reshapeChromaSampleの値は次のように導出される。
１．変数idxCが、成分cIdx＋1についてサンプル値recPicture_C[xP_C][yP_C]の入力を用いて上記の区分的関数のインデックスの同定を呼び出すことによって、導出される。
２．reshapeChromaSampleの値が次のように導出される。

〈例示的なコンピュータ・システム実装〉
本発明の実施形態は、コンピュータ・システム、電気回路およびコンポーネントにおいて構成されたシステム、集積回路（IC）デバイス、たとえばマイクロコントローラ、フィールドプログラマブルゲートアレイ（FPGA）または他の構成可能もしくはプログラム可能な論理デバイス（PLD）、離散時間もしくはデジタル信号プロセッサ（DSP）、特定用途向けIC（ASIC）および／またはそのようなシステム、デバイスまたはコンポーネントの一つまたは複数を含む装置を用いて実装されうる。コンピュータおよび／またはICは、本稿に記載されるような、向上ダイナミックレンジをもつ画像の信号整形および符号化に関係する命令を実行、制御または執行してもよい。コンピュータおよび／またはICは、本稿に記載される信号整形および符号化プロセスに関係する多様なパラメータまたは値の任意のものを計算しうる。画像およびビデオ実施形態はハードウェア、ソフトウェア、ファームウェアおよびそのさまざまな組み合わせにおいて実装されうる。

本発明のある種の実施形態は、プロセッサに本発明の方法を実行させるソフトウェア命令を実行するコンピュータ・プロセッサを有する。たとえば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダなどにおける一つまたは複数のプロセッサは、プロセッサにとってアクセス可能なプログラム・メモリ内のソフトウェア命令を実行することによって上記のようなHDR画像の信号整形および符号化に関係する方法を実装してもよい。本発明は、プログラム・プロダクトの形で提供されてもよい。プログラム・プロダクトは、データ・プロセッサによって実行されたときに、データ・プロセッサに本発明の方法を実行させる命令を有する一組のコンピュータ可読信号を担持するいかなる非一時的な媒体を含んでいてもよい。本発明に基づくプログラム・プロダクトは、幅広い多様な形のいずれであってもよい。プログラム・プロダクトはたとえば物理的な媒体を含んでいてもよい。物理的な媒体とは、フロッピーディスケット、ハードディスクドライブを含む磁気データ記憶媒体、CD-ROM、DVDを含む光学式データ記憶媒体、ROM、フラッシュRAMを含む電子的データ記憶媒体などといったものである。プログラム・プロダクト上のコンピュータ可読信号は、任意的に、圧縮または暗号化されていてもよい。

あるコンポーネント（たとえばソフトウェア・モジュール、プロセッサ、アセンブリー、デバイス、回路など）が上記で言及される場合、特に断わりのない限り、そのコンポーネントへの言及（「手段」への言及を含む）は、そのコンポーネントの等価物として、記載されるコンポーネントの機能を実行する任意のコンポーネントを含むものとして解釈されるべきである。それには、開示される構造と構造的に等価ではないが、本発明の例解されている例示的実施形態における機能を実行するコンポーネントが含まれる。

〈等価物、拡張、代替その他〉
HDR画像の効率的な信号整形および符号化に関係する例示的実施形態についてこのように記載されている。以上の明細書では、本発明の実施形態について、実装によって変わりうる数多くの個別的詳細に言及しつつ述べてきた。このように、何が本発明であり、出願人によって本発明であると意図されているかの唯一にして排他的な指標は、この出願に対して付与される特許の請求項の、その後の訂正があればそれも含めてかかる請求項が特許された特定の形のものである。かかる請求項に含まれる用語について本稿で明示的に記載される定義があったとすればそれは請求項において使用される当該用語の意味を支配する。よって、請求項に明示的に記載されていない限定、要素、属性、特徴、利点もしくは特性は、いかなる仕方であれかかる請求項の範囲を限定すべきではない。よって、明細書および図面は制約する意味ではなく例示的な意味で見なされるべきものである。

Claims (18)

1. 高ダイナミックレンジ・ビデオ・データを生成するためのデコーダであって、当該デコーダは一つまたは複数のプロセッサおよび非一時的メモリを有しており、当該デコーダにより出力画像を生成することは：
   シーケンス処理セット（SPS）データを含む入力ビットストリームを受け取り、前記SPSデータの少なくとも一部を前記非一時的メモリに記憶し；
   前記SPSデータをパースし；パースされたSPSデータにおいてHDR拡張シンタックス構造が存在していることを検出すると：
   前記HDR拡張シンタックス構造から、色空間有効フラグ、色向上有効フラグ、適応整形有効フラグ、ダイナミックレンジ変換フラグ、色補正有効フラグまたはSDR閲覧可能フラグの一つまたは複数を含む後処理情報を抽出し；
   前記入力ビットストリームをデコードして、予備的な出力デコード信号を生成し；
   前記予備的な出力信号および前記後処理情報に基づいて第二の出力信号を生成することを含む、
   デコーダ。
2. 前記色空間有効フラグは、色空間情報が存在することを示す、請求項１記載のデコーダ。
3. 前記色空間情報は、色変換行列に関係した情報を含む、請求項２記載のデコーダ。
4. 前記HDR拡張シンタックス構造は色空間IDフラグを含む、請求項１記載のデコーダ。
5. 0に等しい前記色空間IDフラグの値は、処理色空間が前記入力ビットストリームの別の部分において定義されていることを示し、前記色空間IDフラグの0でない値は前記処理色空間を示す、請求項４記載のデコーダ。
6. 前記適応整形有効フラグは、適応的な整形に関係した情報が存在することを示す、請求項１記載のデコーダ。
7. 前記適応的な整形に関係した情報は、一つまたは複数の多項式関数に基づいて整形関数を決定するための整形関数パラメータを含む、請求項６記載のデコーダ。
8. 前記整形関数パラメータが：
   前記整形関数を定義するために使われる多項式関数の総数に基づく第一のパラメータを含み、前記整形関数におけるそれぞれの（p_i）多項式関数について、さらに：
   その多項式関数についての開始ピボット点と；
   その多項式関数の次数に基づく第二のパラメータであって、その多項式関数の次数は値2を超えることができない、第二のパラメータと；
   その多項式関数についての一つまたは複数の0でない係数とを含む、
   請求項７記載のデコーダ。
9. 第二の隣接する多項式関数に後続する、前記整形関数における第一の多項式関数について、前記第一の多項式関数についての係数は：
   その多項式の次数が2である場合、二次の係数（c_i）と；
   前記第一の多項式の次数が2であり、前記第二の多項式の次数が2でない場合または前記第一の多項式の次数が1である場合、一次の係数（b_i）とを含む、
   請求項８記載のデコーダ。
10. 前記第一の多項式関数についての係数が一次の係数（b_i）を含まない場合、その多項式の次数が2であれば、一次の係数は前記第二の多項式関数の一次と二次の係数、前記第一の多項式関数の第三の次数係数および前記第一の多項式関数についての開始ピボット点に基づいて計算される、請求項９記載のデコーダ。
11. 前記第一の多項式関数についての零次の係数（a_i）が前記第二の多項式関数の係数、前記第一の多項式関数の二次の係数および第三の次数係数および前記第一の多項式関数についての開始ピボット点に基づいて計算される、請求項９記載のデコーダ。
12. 前記SDR閲覧可能フラグは、前記入力ビットストリームのデコードされたバージョンが標準ダイナミックレンジ（SDR）ディスプレイで直接閲覧可能であるかどうかを示す、請求項１記載のデコーダ。
13. 前記入力ビットストリームにおけるピクチャー処理セット（PPS）データをパースし；パースされたPPSデータにおいてピクチャーHDR拡張シンタックス構造が存在していることを検出すると、
    前記ピクチャーHDR拡張シンタックス構造から前記入力ビットストリームにおける一つまたは複数のピクチャーについての後処理情報を抽出することをさらに含む、
    請求項１記載のデコーダ。
14. 前記入力ビットストリームにおけるスライス・ヘッダ・データをパースし；パースされたスライス・ヘッダ・データにおいてスライスHDR拡張シンタックス構造が存在していることを検出すると、
    前記スライスHDR拡張シンタックス構造から前記入力ビットストリームにおける一つまたは複数のピクチャーについての後処理情報を抽出することをさらに含む、
    請求項１記載のデコーダ。
15. 前記入力ビットストリームのデコードがHEVC標準の仕様に基づいて実行される、請求項１記載のデコーダ。
16. 準拠デコーダについてのデコーダ準拠ポイントが、前記第二の出力信号を生成した後のところに定義される、請求項１記載のデコーダ。
17. デコーダで高ダイナミックレンジ・ビデオ・データを生成するための方法であって：
    シーケンス処理セット（SPS）データを含む入力ビットストリームを受け取り、前記SPSデータの少なくとも一部を非一時的メモリに記憶し；
    前記SPSデータをパースし；パースされたSPSデータにおいてHDR拡張シンタックス構造が存在していることを検出すると：
    前記HDR拡張シンタックス構造から、色空間有効フラグ、色向上有効フラグ、適応整形有効フラグ、ダイナミックレンジ変換フラグ、色補正有効フラグまたはSDR閲覧可能フラグの一つまたは複数を含む後処理情報を抽出し；
    前記入力ビットストリームをデコードして、予備的な出力デコード信号を生成し；
    前記予備的な出力信号および前記後処理情報に基づいて第二の出力信号を生成することを含む、
    方法。
18. 一つまたは複数のプロセッサで請求項１７記載の方法を実行するためのコンピュータ実行可能命令を記憶した非一時的なコンピュータ可読記憶媒体。

Images