JP2017534194A - 知覚的量子化されたビデオコンテンツの符号化および復号化 - Google Patents

Abstract

従来のガンマ符号化ビデオと比べると、知覚的量子化ビデオによって、ハイダイナミックレンジビデオの送信およびディスプレイマネジメントをより柔軟におこなえるが、既存の標準的コーデックを用いての圧縮は同様に効率的にはならない。ＲＧＢ／ＸＹＺからＬＭＳへの変換後に色クロストーク変換を適用することによる、知覚的符号化ビデオの符号化効率を改善するための技術を記載する。このような変換によって、色の見えモデルにおけるルマとクロマとの間の相関性は増大するものの、広色域のＨＤＲ信号についての知覚的均質性および総合的な符号化効率が向上する。

Description

関連出願への相互参照
本願は、２０１４年９月２６日付け出願の米国仮特許出願第６２／０５６，０９３号に基づく優先権を主張するものであり、この出願の開示内容を全て本願に援用する。

本発明は、広く画像に関する。より詳細には、本発明のある実施形態は、知覚的量子化された（ｐｅｒｃｅｐｔｕａｌｌｙ−ｑｕａｎｔｉｚｅｄ）ビデオについての符号化、復号化、およびディスプレイマネジメントに関する。

ビデオ信号は、ビット深度、色空間、色域、および解像度などの複数のパラメータによって特徴付けることができる。ビデオ信号が有する特徴のひとつの重要な側面は、そのダイナミックレンジである。ダイナミックレンジ（ＤＲ）とは、画像における強度（例えば、輝度、ルマ）の範囲（例えば最暗部から最明部まで）である。本明細書で用いるとき、「ダイナミックレンジ」（ＤＲ）という用語は、画像においてある範囲（例えば最暗部から最明部まで）の強度（例えば、輝度、ルマ）を知覚する人間の心理視覚システム（ＨＶＳ）の能力に関し得る。この意味で、ＤＲは、「シーン−リファード」（ｓｃｅｎｅ−ｒｅｆｅｒｒｅｄ）の強度に関する。ＤＲはまた、ディスプレイデバイスがある特定の幅の強度範囲を妥当にまたは近似的に描画する能力にも関し得る。この意味で、ＤＲは、「ディスプレイ−リファード」（ｄｉｓｐｌａｙ−ｒｅｆｅｒｒｅｄ）の強度に関する。本明細書中の任意の箇所において、ある特定の意味が特に重要であると明示的に指定しない限り、この用語をどちらの意味でも（例えば区別なく）用い得ると理解されたい。

本明細書で用いるとき、ハイダイナミックレンジ（ＨＤＲ）という用語は、人間の視覚システム（ＨＶＳ）が有するおよそ１４〜１５桁にわたるＤＲ幅（例えば、１：１０，０００）に関する。実際には、画像は１つ以上の色成分（例えば、輝度Ｙならびに色差ＣｂとＣｒ）を含んでおり、各色成分は、ｎビット／ピクセルの精度（例えば、ｎ＝８）で表現される。例えば、線形または古典的ガンマ方式の輝度符号化（例えば、ＩＴＵ Ｒｅｃ．７０９による）を用いると、ｎ≦８の画像（例えば、カラー２４ビットＪＰＥＧ画像）で１：１００から１：１０００ぐらいまでのダイナミックレンジならば標準ダイナミックレンジの画像と考えられる一方で、ｎ＞８の画像でより高いダイナミックレンジならばハイダイナミックレンジの画像と考えてよい。また、低ビット深度で非線形の輝度符号化（例えば、１０ビット対数輝度符号化）や、あるいはＩｎｄｕｓｔｒｉａｌ Ｌｉｇｈｔ ａｎｄ Ｍａｇｉｃ社が開発したＯｐｅｎＥＸＲファイルフォーマットのような高精度（例えば１６ビット）の浮動小数点フォーマットを用いても、ＨＤＲ画像を格納および配信し得る。

ＨＤＲ画像を、そのダイナミックレンジを完全にはサポートしないエンコーダを用いて符号化および送信しなければならないことがある。例えば、ビデオコーデックが８ビットまたは１０ビットのビデオデータしかサポートしていない可能性があるが、これはＨＤＲビデオのための典型的なビット深度である１２〜１６ビットよりもはるかに低いビット深度である。本願にその開示内容が全て援用されるＳＭＰＴＥ Ｓｔａｎｄａｒｄ ＳＴ ２０８４（２０１４）「Ｐｅｒｃｅｐｔｕａｌｌｙ−ｂａｓｅｄ ＥＯＴＦ」に記載のような、ＨＤＲビデオに知覚的量子化を使用した前処理または後処理をおこなうことにより、ビット深度要件を低減し得る。しかし、これは符号化効率に影響を及ぼし得る。というのは、典型的には、符号化規格は、ガンマ符号化されたＹＣｂＣｒビデオ信号に向けて最適化されているからである。本願の発明者らの理解によれば、知覚的量子化されたビデオを符号化および復号化するための改善技術が望まれる。

本節に記載されている手法は、探求し得る手法ではあるが、必ずしもこれまでに着想または探求されてきた手法ではない。従って、別途示唆のない限り、本節に記載された手法のいずれも、本節に記載されているという理由だけで従来技術としての適格性を有すると考えるべきではない。同様に、別途示唆のない限り、１以上の手法に関して特定される問題が、本節に基づいて、いずれかの先行技術において認識されたことがあると考えるべきではない。

本発明の一実施形態を、限定のためではなく例示を目的として、添付図面の各図により示す。これらの図において、類似の要素には同種の参照符号を付している。
図１Ａは、知覚的量子化されていない色空間においてＨＤＲビデオを符号化および復号化するための処理パイプラインの一態様例を示す。 図１Ｂは、本発明の実施形態による、知覚的量子化された色空間においてＨＤＲビデオを符号化および復号化するための処理パイプラインの態様例を示す。 図１Ｃは、本発明の実施形態による、知覚的量子化された色空間においてＨＤＲビデオを符号化および復号化するための処理パイプラインの態様例を示す。 図１Ｄは、本発明の実施形態による、知覚的量子化された色空間においてＨＤＲビデオを符号化および復号化するための処理パイプラインの態様例を示す。 図２Ａは、ガンマ符号化またはＰＱ符号化されたＲＧＢ信号を、ＩＰＴ−ＰＱ色空間へと変換するためのデータフロー例を示す。 図２Ｂは、本発明のある実施形態による、ガンマ符号化またはＰＱ符号化されたＲＧＢ信号を、変形ＩＰＴ−ＰＱ色空間へと変換するためのデータフロー例を示す。 図２Ｃは、本発明のある実施形態による、ＩＰＴ−ＰＱ信号を、ガンマ符号化またはＰＱ符号化されたＲＧＢ信号へと変換するためのデータフロー例を示す。

知覚的量子化されたビデオ信号のための、符号化および復号化技術を本明細書に記載する。

以下の説明においては、便宜上、本発明を完全に理解できるように、多数の詳細事項を説明する。ただし、これらの詳細事項抜きでも本発明を実施可能であることは明白であろう。他方、本発明の説明を不必要に不明瞭にしないように、周知の構造およびデバイスの細かな詳細までは説明しない。

概要
本明細書に記載の実施形態例は、知覚的量子化されたビデオ信号のための符号化および復号化技術に関する。第１の色空間（例えば、ＲＧＢ−ＰＱまたはＲＧＢガンマ）において、第１のＨＤＲビデオ信号にアクセスする。第１のビデオ信号に１つ以上の色変換を適用して、知覚的量子化された反対色空間（ｏｐｐｏｎｅｎｔ ｃｏｌｏｒ ｓｐａｃｅ）（例えば、ＩＰＴ−ＰＱ）において出力ビデオ信号を生成する。出力ビデオ信号をビデオエンコーダで圧縮して、符号化ビットストリームを生成する。第１のビデオ信号に１つ以上の色変換を適用して出力ビデオ信号を生成することはさらに、第１のビデオ信号に第１の色変換を適用して、線形原色空間（ｐｒｉｍａｒｙ ｃｏｌｏｒ ｓｐａｃｅ）（例えば線形ＬＭＳ）において第２のビデオ信号を生成することと、第２のビデオ信号に色クロストーク変換行列（Ｃ）を適用して、線形原色空間において第３のビデオ信号を生成することと、第３のビデオ信号に知覚的量子化器を適用して、知覚的量子化された原色空間（例えば、ＬＭＳ−ＰＱ）において第４のビデオ信号を生成することと、第４のビデオ信号に第２の色変換を適用して、知覚的量子化された反対色空間（例えば、ＩＰＴ−ＰＱｃ）において出力ビデオ信号を生成すること、を含む。

ある別の実施形態では、デコーダにおいて、符号化ビットストリームを復号化することにより、知覚的量子化された反対色空間（例えば、ＩＰＴ−ＰＱ）において第１のＨＤＲ信号を生成する。第１のＨＤＲ信号に１つ以上の色変換を適用して、第１の線形原色空間（例えば、線形ＬＭＳ）において第２のビデオ信号を生成する。次に、第２のビデオ信号に色クロストーク変換行列の逆行列を適用して、線形原色空間において第３のビデオ信号を生成する。そして最後に、第３のビデオ信号に第２組の色変換を適用して、所望の色空間（例えば、ＲＧＢ−ガンマまたはＲＧＢ−ＰＱ）において第４のビデオ信号を生成する。

ある実施形態において、ビデオ符号化および復号化は、ビデオ復号化に続いて実行されるディスプレイマネジメントと同じ知覚的量子化色空間（例えば、ＩＰＴ−ＰＱ）で実行される。このような実施形態において、デコーダにおける演算処理数を低減するために、逆方向再構成およびトーンマッピングに関するルックアップテーブルを結合してもよい。

ある実施形態において、知覚的量子化された色空間で符号化および復号化をおこなう際、符号化の前に、ルマおよびクロマチャネル間のダイナミックレンジ比を維持するように、ルマ成分を非線形関数で再構成しそしてクロマ成分を線形のクロマ再構成関数で再構成してもよい。これらの再構成関数はデコーダにおいて逆転され、それから任意のディスプレイマネジメント処理を適用する。

ＨＤＲ信号の符号化および復号化
図１Ａは、ＨＤＲビデオ信号を符号化および復号化するパイプラインの一態様例を示す。入力（１０２）は、ＨＤＲカメラによって撮影されたＨＤＲビデオ信号であってもよいし、ビデオ編集、カラーグレーディングなど、さまざまな画像およびビデオ処理工程を含むビデオ後処理プロセスの出力を表していてもよい。また、ビデオエンコーダ（１１０）で圧縮を受ける前に、ビデオ信号（１０２）を色変換ユニット（１０５）で処理することにより、ビデオエンコーダ（１１０）入力における色形式を、エンコーダの最適化されている、サポートされた色形式に整合させることも可能である。例えば、もし入力（１０２）がＲＧＢ４：４：４色形式であり、かつビデオエンコーダ（１１０）がＹＣｂＣｒ４：２：０形式で演算処理をおこなうならば、ユニット（１０５）は、ＲＧＢからＹＣｂＣｒへの色変換およびカラーサブサンプリングを実行し得る。

ビデオエンコーダ（１１０）は、ＭＰＥＧ−２、ＭＰＥＧ−４（ｐａｒｔ ４）、Ｈ．２６４、Ｈ．２６５（ＨＥＶＣ）、ＶＰ８などの当該分野で知られたビデオ圧縮方式のいずれかを用いた、シングルレイヤエンコーダまたはマルチレイヤエンコーダであり得る。ビデオエンコーダ（１１０）の出力は、記憶媒体（例えば、ハードドライブまたは光学的媒体）に格納してもよいし、あるいは下流側へ送信し、セットトップボックス、メディアプレイヤなどの受信デバイスにおいて復号化してもよい。受信器において、ビデオデコーダ（１１５）が、ビデオエンコーダ（１１０）により実行された工程を逆転させ、ターゲットディスプレイ（１３５）上に表示すべき解凍ビデオ信号（１１７）を生成する。ディスプレイ（１３５）は、ビデオ信号（１０２）を生成するために使用したリファレンスディスプレイの特性と一致していてもよいし、そうでなくともよい。例えば、ビデオ信号（１０２）は２，０００ニトのディスプレイを使用してカラーグレーディングされるかもしれず、その一方でターゲットディスプレイ（１３５）は１，０００ニト以下であるかもしれない。ターゲットディスプレイ（１３５）の特性に整合させるために、いくつかの実施形態では、受信器（または当該ディスプレイ自身）において、色変換およびトーンマッピングなどのさまざまなビデオ信号処理工程を実行し得る。これらの処理工程は、一般に「ディスプレイマネジメント」と呼ばれる。ディスプレイマネジメント処理の例が、２０１４年２月１３日付け出願のＰＣＴ出願シリアル番号第ＰＣＴ／ＵＳ２０１４／０１６３０４号（以下、「‘３０４出願」と呼ぶ）および２０１４年７月３日付け出願の米国仮特許出願シリアル番号第６２／０２０，６２２号（以下、「‘６２２出願」と呼ぶ）（米国特許出願シリアル番号第１４／７５５，７５５号としても出願済み）に記載されており、両出願の開示内容を全て本願に援用する。

図１Ａに示すように、また‘３０４出願に記載のように、いくつかの実施形態において、ＨＤＲビデオ信号のディスプレイマネジメント処理（例えば、工程１２５および１３０）は、ＩＰＴ−ＰＱなどの知覚的補正または知覚的量子化された色空間を使用しておこなえば、恩恵を受けられる。本願にその全文が援用される、Ｆ．ＥｂｎｅｒおよびＭ．Ｄ．Ｆａｉｒｃｈｉｌｄによる「Ｄｅｖｅｌｏｐｍｅｎｔ ａｎｄ ｔｅｓｔｉｎｇ ｏｆ ａ ｃｏｌｏｒ ｓｐａｃｅ （ｉｐｔ） ｗｉｔｈ ｉｍｐｒｏｖｅｄ ｈｕｅ ｕｎｉｆｏｒｍｉｔｙ」、Ｐｒｏｃ．６ｔｈ Ｃｏｌｏｒ Ｉｍａｇｉｎｇ Ｃｏｎｆｅｒｅｎｃｅ： Ｃｏｌｏｒ Ｓｃｉｅｎｃｅ， Ｓｙｓｔｅｍｓ， ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ， ＩＳ＆Ｔ， Ｓｃｏｔｔｓｄａｌｅ， Ａｒｉｚｏｎａ、１９９８年１１月、８〜１３ページ（以下、「Ｅｂｎｅｒ論文」と呼ぶ）に記載のＩＰＴ色空間は、人間の視覚システムにおける錐体間の色差のモデルである。その意味ではＹＣｂＣｒまたはＣＩＥ−Ｌａｂ色空間のようであるが、いくつかの科学的研究において、これらの空間よりも人間の視覚処理をより良く模擬することが分かっている。ＣＩＥ−Ｌａｂと同様に、ＩＰＴは、何らかの参照輝度に対する正規化された空間である。ある実施形態において、正規化は、ターゲットディスプレイの最大輝度に基づく。

ＹＣｂＣｒ、ＹＵＶ、ＩＰＴ、Ｌａｂなどの色空間は、ルマ成分（例えば、ＹまたはＩ）ならびに２つのクロマまたはクロマ差成分（例えば、ＣｂＣｒまたはＰＴ）を用いて信号を表現するため、一般に反対色空間と呼ばれる。これに対し、ＲＧＢ、ＬＭＳ、ＸＹＺなどの色空間は、一般に原色空間と呼ばれる。画像およびビデオを圧縮する際、原色空間よりも、反対色空間において演算処理をおこなうほうが好ましい。というのも、反対色空間においては、色成分のあいだの相関性がより少なく、何らの知覚的損失も被ることなくクロマ成分を圧縮の前にサブサンプリングできるため、総合的な圧縮率が向上し得るからである。

本明細書において、用語「ＰＱ」は知覚的量子化を指す。人間の視覚システムは、光レベルの増大に対して非常に非線形的に反応する。人間が刺激を視る能力は、その刺激の輝度、その刺激の大きさ、その刺激を構成する空間周波数、および、その刺激を見ている瞬間までに目が適応した輝度レベルに影響される。好適な実施形態において、知覚的量子化器関数は、線形入力グレイレベルを、人間の視覚システムにおけるコントラスト感度閾値によりマッチした出力グレイレベルにマッピングする。ＰＱマッピング関数の一例は、ＳＭＰＴＥ ＳＴ ２０８４：２０１４ ｓｐｅｃｉｆｉｃａｔｉｏｎに、および、Ｊ．Ｓ．Ｍｉｌｌｅｒらによる２０１２年１２月０６日出願の「Ｐｅｒｃｅｐｔｕａｌ ｌｕｍｉｎａｎｃｅ ｎｏｎｌｉｎｅａｒｉｔｙ−ｂａｓｅｄ ｉｍａｇｅ ｄａｔａ ｅｘｃｈａｎｇｅ ａｃｒｏｓｓ ｄｉｆｆｅｒｅｎｔ ｄｉｓｐｌａｙ ｃａｐａｂｉｌｉｔｉｅｓ」という表題のＰＣＴ出願シリアル番号第ＰＣＴ／ＵＳ２０１２／０６８２１２号（以下、「‘２１２出願」と呼ぶ）に記載されており、この出願の開示内容を全て本願に援用する。ある固定刺激サイズに対し、それぞれの輝度レベル（即ち、刺激レベル）について、最高感度の適応レベルおよび最高感度の空間周波数（ＨＶＳモデルによる）に応じて、その輝度レベルにおける最小可視コントラストステップを選択する。物理的な陰極線管（ＣＲＴ）装置の応答曲線を表しており、人間の視覚システムの応答の仕方に対して非常に大まかな意味での類似性を偶然有し得る従来のガンマ曲線と比較すると、‘２１２出願において決定されているＰＱ曲線は、比較的シンプルな関数モデルを用いながら人間の視覚システムの真の視覚応答を模擬している。本明細書において、ＲＧＢ−ＰＱ、ＩＰＴ−ＰＱ、ＹＣｂＣｒ−ＰＱなどの用語は、知覚的量子化関数を使用して少なくとも１つのカラーチャネルが再マッピングまたは量子化されている色空間を指す。

表１は、表示時点においてデジタルビデオ符号値を絶対線形輝度レベルに変換するための知覚的曲線電気−光学伝達関数（ＥＯＴＦ）の計算を示している。絶対線形輝度をデジタル符号値に変換するための逆関数ＯＥＴＦの計算も含まれている。

備考：
１．演算子ＩＮＴは、０〜０．４９９９．．．の範囲の小数部に対しては値０を返し、０．５〜０．９９９９．．．の範囲の小数部に対しては＋１を返す（即ち、０．５以上の小数部は切り上げ）。
２．丸めの問題を回避するために、定数は全て１２ビット有理数の正確な倍数として定義する。
３．Ｒ、ＧまたはＢ信号成分は、上記のＹ信号成分と同じ方法で算出する。

図１Ａに示すように、知覚的補正または知覚的量子化された色空間（ＩＰＴ−ＰＱなど）で演算処理するためには、クロマアップサンプリングおよび第１の線形色変換（例えば、ＹＣｂＣｒ４：２：０からＲＧＢ４：４：４への）や、それに続く第２の非線形色変換（例えば、ＲＧＢからＩＰＴ−ＰＱへの）などの、いくつかの処理工程（１２０）が必要となり得る。一例として、図２Ａおよびこれに対応する本明細書の後述部分が、ＲＧＢからＩＰＴ−ＰＱへの色変換のための処理パイプラインをさらに詳細に示す。

ＩＰＴ−ＰＱ空間において演算処理をおこなえばトーンマッピング（１２５）および色域調節（１３０）演算処理の出力が向上し得る一方で、そのような色空間へ入力信号（１１７）を変換するために必要な色変換（１２０）は、携帯型計算タブレットまたはスマートフォンなどの、いくつかのデバイスの能力を超えているかも知れない。ゆえに、いくつかの実施形態において、演算処理のいくつかをエンコーダへと移すことによって、デコーダの複雑性を低減することが望ましい。例えば、ある実施形態において、色変換（１２０）をデコーダから低減または完全に除去できるように、知覚的に補正された色空間（例えば、ＩＰＴ−ＰＱ）で符号化処理の全体を実行するのが望ましいであろう。残念ながら既存のビデオ符号化方式は、典型的にはＹＣｂＣｒ色空間に符号化された、ガンマ符号化標準ダイナミックレンジビデオ信号のために最適化されている。本発明者らの理解によれば、既存のビデオコーデックを知覚的補正色空間のＨＤＲ信号に使用するためには、本明細書に記載のような、いくつかの追加的な工程が必要となる。

順方向および逆方向の信号再構成
図１Ｂは、知覚的補正色空間（例えば、ＩＰＴ−ＰＱ）に符号化されたＨＤＲビデオの符号化および復号化についての一実施形態例を表す。ある実施形態において、入力（１０２）は、知覚的符号化された色空間（例えば、ＲＧＢ−ＰＱ）に既にあってもよい。色変換工程（１０５）は、入力信号（１０２）の色空間を入力色空間（例えば、ＲＧＢ−ＰＱ４：４：４）から、ビデオエンコーダ（１１０）を使用しての符号化に適した知覚的補正色形式（例えば、ＩＰＴ−ＰＱ４：２：０）へと変換する。既存のビデオ圧縮方式を利用するために、符号化（１１０）の前に、ある実施形態では、知覚的符号化された入力を順方向の再構成処理（１０７）によって再構成する。順方向再構成処理の一例が、２０１４年３月２５日付け出願の「Ｅｎｃｏｄｉｎｇ ｐｅｒｃｅｐｔｕａｌｌｙ−ｑｕａｎｔｉｚｅｄ ｖｉｄｅｏ ｃｏｎｔｅｎｔ ｉｎ ｍｕｌｔｉ−ｌａｙｅｒ ＶＤＲ ｃｏｄｉｎｇ」という表題のＰＣＴ出願第ＰＣＴ／ＵＳ２０１４／０３１７１６号（以下、「‘７１６出願」と呼ぶ）に記載されており、この出願の開示内容を全て本願に援用する。再構成関数は、ルマチャネルのみに適用されてもよく、または全チャネルに適用されてもよい。いくつかの実施形態において、ルマおよびクロマチャネルには異なる再構成関数を使用してもよい。

‘７１６出願に記載のように、ＰＱ符号化された信号について、ある実施形態においては、信号再構成関数（１０７）は、

と表し得る。但し、ｖ_Lおよびｖ_Hは、入力ＨＤＲ信号（１０２）の注目しているカラーチャネルにおける最小値および最大値を表し、ｃ_Lおよびｃ_Hは、対応する最小および最大出力値を表し、ｖ_iはｉ番目の入力画素を表し、ｓ_iは対応する出力を表す。例えば、ある実施形態において、（０，１）内の正規化された色値に対し、シングルレイヤシステムでは、ｃ_L＝０かつｃ_H＝１である。αの値は一定であるが、フレーム毎、シーン毎、その他の適切な基準に従って、適応および変更してもよい。ある実施形態において、再構成関数に対する入力がＰＱ符号化されているならば、α＞１であり、あるいはガンマ符号化されているならば、α＜１である。

デコーダにおいて、ある実施形態では、逆構成すなわち逆方向再構成の演算処理（１２２）は、

と表し得る。但し、復号化された入力画素＾付ｓ_iにつき、＾付ｖ_iは対応する出力を表す。実際には、ルックアップテーブル（ＬＵＴ）を用いて、順方向および逆方向の再構成演算処理をおこなってもよい。

復号化信号（１１７）は知覚的符号化された色空間に既にあるものとすると、ディスプレイマネジメント演算処理（例えば、１２５および１３０）に要求されるのは、はるかに簡素なクロマアップサンプリング（例えば、４：２：０から４：４：４への）だけである。いくつかの実施形態において、クロマアップサンプリング演算処理を、逆方向再構成演算処理（１２２）の前にビデオデコーダ（１１５）の一部としておこなってもよい。ビデオデコーダはこのような演算処理をハードウェアで直接にサポートし得るからである。

図１Ｃは、逆方向再構成演算処理とトーンマッピング演算処理とを結合して単一ユニット（１２２Ｂ）（典型的には一組のＬＵＴ）にすることによる、図１Ｂに示したシステム（１００Ｂ）の改変を表している。先に説明したように、ビデオ符号化（１１０）およびビデオ復号化（１１５）を実行するにあたって、シングルレイヤ符号化システム（例えば、ビデオエンコーダ（１１０）として、単一の１０ビットＨ．２６４またはＨ．２６５ビデオエンコーダを利用し得る）もしくはデュアルレイヤ符号化システム（例えば、ビデオエンコーダ（１１０）として、２０１４年７月１６日付け出願のＰＣＴ出願シリアル番号第ＰＣＴ／ＵＳ２０１４／０４２５８３号に記載のある、２つ以上の８ビットＨ．２６４またはＨ．２６５ビデオエンコーダを適用し得る。この出願の開示内容を全て本願に援用する）のいずれかを使用し得る。トーンマッピングは各カラーチャネル毎に独立しておこなうものとすれば、２関数を、以下のように統合することができる。

あるシングルレイヤのコーデックについて、
y=S(x) （３）
は、復号化信号ｘに対して再構成関数の出力ｙを生成するルックアップテーブルを表すものとする。また、
z=T(y) （４）
は、入力ｙに対してトーンマッピング関数の出力ｚを生成するルックアップテーブルを表すものとする。すると、これら２つのＬＵＴを、
z=T(S(x))=K(x) （５）
として併合できる。例えば、１０ビットの入力ｘに対し、Ｋ（ｘ）は１０２４個のエントリを有し得る。

ある１つのデュアルレイヤコーデックは、典型的には１つの８ビットベースレイヤ（ＢＬ）および１つの８ビットエンハンスメントレイヤ（ＥＬ）を有し、それぞれが各自の再構成ユニットを備える。Ｓ_B（ｘ_B）およびＳ_E（ｘ_E）は、最終ＨＤＲ信号を生成するために使用される、ベースおよびエンハンスメントレイヤの逆方向再構成関数を表すものとする。仮に、
Y=S_B(x_B)+S_E(x_E) （６）
であるものとすると、２ＤのＬＵＴ
U(x_B,x_E)=T(S_B(x_B)+S_E(x_E))) （７）
を使用することにより、これら２つの演算処理を結合できる。８ビット入力データおよび１０ビット出力データに対し、このようなＬＵＴは各カラーチャネル毎に、約２５６＊２５６＊２＝１３１キロバイトを必要とし得る。

受信器において利用可能なハードウェアアクセラレータがあればそれを利用するために、クロマアップサンプリングモジュール（１２４）をビデオデコーダ（１１５）の演算処理と統合してもよいことに留意されたい。

いくつかの実施形態において、符号化、復号化、およびディスプレイマネジメントは全てひとつの知覚的色空間（例えば、ＩＰＴ−ＰＱ）で実行されるが、複数のこのような色空間を用いてもよい。例えば、符号化および復号化を反対色空間（例えば、ＩＰＴ−ＰＱまたはＹＣｂＣｒ−ＰＱ）でおこないつつも、ディスプレイマネジメントを原色空間（例えば、ＲＧＢ−ＰＱ）でおこなってよい。このような一態様例を、符号化および復号化をＩＰＴ−ＰＱ色空間でおこないつつもディスプレイマネジメントをＬＭＳ−ＰＱ色空間でおこなう別の実施形態として、図１Ｄに示す。ＬＭＳ−ＰＱ空間におけるディスプレイマネジメント処理の一例が、‘６２２出願に記載されている。‘６２２出願に記載のように、また図２Ａに部分的に示すように、ビデオデータをＬＭＳ−ＰＱ色空間へと変換することは、以下の工程を含み得る。
ａ）必要ならば（不図示）、クロマアップサンプリングやその他の色変換（例えば、ＩＰＴ−ＰＱからＲＧＢへの）をおこない、復号化信号をガンマ符号化ＲＧＢまたはＲＧＢ−ＰＱ符号化信号（２０５）へと変換すること。
ｂ）ＲＧＢ信号を線形化すること（工程２１０）。復号化ＨＤＲ信号（１２３）はガンマ符号化またはＰＱ符号化されている可能性があり、そのいずれであるかは、符号化ビットストリームに埋め込まれるＥＯＴＦフィールドなどのメタデータを用いて典型的には示され（ｓｉｇｎａｌｅｄ）、ソースディスプレイによる符号値から輝度への変換を逆転あるいは解除するためにこれが用いられる。例えば、入力信号がガンマ符号化されているならば、本工程は逆ガンマ関数を適用する。もしも入力信号が“２１２ＰＣＴ出願に従ってＰＱ符号化されているのならば、本工程は逆ＰＱ関数を適用する。実際には、３つの予め算出された１−Ｄルックアップテーブル（ＬＵＴ）を用いて、この線形化工程を実行し得る。
ｃ）線形ＲＧＢからＬＭＳへの変換をおこなうこと（工程２１５および２２０）。本工程において、工程ｂ）の出力信号（２１２）を、ＬＭＳ色空間へと変換する。典型的には、入力メタデータで制御された３×３行列を適用することによって、本工程をおこなう。
ｄ）ＰＱ符号化（２３０）をＬ、Ｍ、およびＳ色成分のそれぞれに適用して、ＬＭＳ−ＰＱ色空間において出力（２３２）を生成すること。本工程もまた、３つの１−ＤのＬＵＴを用いておこなえる。いくつかの実施形態において、完全な色変換パイプライン（例えば、ＩＰＴ−ＰＱからＬＭＳ−ＰＱへの）を、１つの３ＤのＬＵＴを使用して算出し得る。もしもディスプレイマネジメントをＬＭＳ−ＰＱではなくＩＰＴ−ＰＱ空間でおこなうのならば、追加的なＬＭＳからＩＰＴへの色変換（２３５）をＬＭＳ−ＰＱ信号（２３２）に適用して、ＩＰＴ−ＰＱ信号（２３７）を生成する。

いくつかの実施形態において、ＬＭＳ−ＰＱ空間でディスプレイマネジメントをおこなうほうが演算的負荷がより少ない。しかし、ＬＭＳ−ＰＱ色空間におけるカラーチャネル間の相関性は高いので、この空間でビデオエンコーダ（１１０）およびデコーダ（１１５）に演算処理させるのは効率的ではない。よって、エンコーダ−デコーダの対は、ある他の色空間（典型的には、ＹＣｂＣｒまたはＩＰＴなどの反対色空間）において演算処理をおこなう必要がある。

いくつかの実施形態において、ビデオエンコーダ（１１０）およびデコーダ（１１５）への総合的なビット深度要件を低減するために、知覚的反対色空間（ＹＣｂＣｒ−ＰＱまたはＩＰＴ−ＰＱなどの）を用いてＨＤＲビデオ信号を符号化するほうが好ましいことがある。次節において、ＩＰＴ−ＰＱ色空間に符号化する際に符号化効率を改善する方法を記載する。

向上した知覚的均質性
色彩科学（ｃｏｌｏｒ ｓｃｉｅｎｃｅ）において、また、本明細書で用いるとき、「色の見えモデル（ｃｏｌｏｒ ａｐｐｅａｒａｎｃｅ ｍｏｄｅｌ）」という用語は、「少なくとも明度、彩度、および色相という相対的な色の見え属性についての予測因子を含んだ、任意のモデル」（Ｍ．Ｄ．Ｆａｉｒｃｈｉｌｄ， “Ｃｏｌｏｒ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌｓ，” Ｓｅｃｏｎｄ Ｅｄｉｔｉｏｎ， Ｊｏｈｎ Ｗｉｌｅｙ ａｎｄ Ｓｏｎｓ， ２００５）を指す。このようなモデルの例には、ＣＩＥ Ｌ＊ａ＊ｂ＊（ＣＩＥＬＡＢ）、ＩＰＴ、およびＣＩＥＣＡＭ０２が含まれる。図２Ａに示すように、また、より詳細に後程説明するように、あるＲＧＢ信号を与えられると、これを上記のような色空間へと、以下のような工程を用いて変換できる。
ａ）ＣＩＥ ＸＹＸその他任意のＲＧＢ符号化を、ＬＭＳ錐体基本空間に近い線形三刺激値空間へと変換する（工程２１５、２２０）
ｂ）場合によっては色適応変換を、典型的には線形スケーリングを介して適用する（不図示）
ｃ）ＰＱ符号化（２３０）などの非線形変換を適用する
ｄ）いくつかの追加的な処理（例えば、２３５）を適用して、カラーチャネル間の相関性をさらに低減する。

このアプローチにより、ＩＴＵ Ｒｅｃ．７０９など、広くない色域の色空間については、良好な知覚的均質性および色相線形性が結果として得られる。しかし、ＨＤＲイメージングに典型的に使用されるＲｅｃ．２０２０などの広い色域の色については、色の見えを正確に予測できない。ＣＩＥＣＡＭ０２が有する数値的問題を乗り越えるための数々の提言が現存するが、これらの提言によっても、「あるＲＧＢチャネルの低振幅の色寄与における色差を、他のカラーチャネルの高振幅の色刺激が存在する場合に誇張しすぎる」という問題は解決されない。よって、本発明者の知る限り、広い色刺激に対する正確な色の見えモデルは存在しない。ある実施形態において、ＸＹＺからＬＭＳへの工程の後で、新たな色クロストーク変換工程によって、色の見えモデルにおける飽和色の知覚的均質性、色相線形性、および符号化効率が大きく向上する。このような向上した色モデルを、画像やビデオの符号化ならびにディスプレイマネジメントの両方において使用できる。一例として、次節において、ＩＰＴ−ＰＱ色空間についてクロストーク変換行列を導出するが、同様なアプローチを、他の色の見えモデルに適用することが可能である。

ＩＰＴ−ＰＱ色空間における知覚的均質性および符号語使用率の改善
前述のように、また図２Ａに示すように、ＲＧＢからＩＰＴ−ＰＱへの色変換は、以下の工程を用いておこなうことができる。
ａ）入力信号（１０２）の画素値（例えば、０から４０９５まで）を正規化し、０および１間のダイナミックレンジを有する画素値にすること。
ｂ）（工程２１０）ＥＯＴＦ（入力メタデータが提供し得る）を用いて、入力信号を線形化すること。例えば、入力信号（２０５）がガンマ符号化されているならば、本工程は逆ガンマ関数を適用する。もしも入力信号が“２１２ＰＣＴ出願に従ってＰＱ符号化されているならば、本工程は逆ＰＱ関数を適用する。
ｃ）（工程２１５および２２０）工程ｂ）の出力（例えば、信号２１２）をＬＭＳ色空間へと変換すること。本工程は、典型的には、ＲＧＢからＸＹＺへの変換（工程２１５）を含み、その後にＸＹＺからＬＭＳへの変換（工程２２０）が続く。
ｄ）Ｅｂｎｅｒ論文によると、従来のＬＭＳからＩＰＴへの色空間変換は、ＬＭＳデータに対し先ず非線形べき関数を適用することと、その後に線形変換行列を適用することとを含む。データをＬＭＳからＩＰＴへと変換し、その後にＰＱ関数を適用してＩＰＴ−ＰＱ領域に置いてもよいのだが、ある好適な実施形態では、本工程（２３０）において、ＬＭＳからＩＰＴへの非線形符号化用の従来のべき関数を、ＰＱ非線形符号化で代替する。例えば、非線形のＬ、Ｍ、およびＳ値は、等式（ｔ２）におけるＶ信号と同様に算出される。但し、Ｙ信号は、線形のＬ、Ｍ、またはＳ成分値で置き換える。いくつかの実施形態において、ＰＱ符号化の正規化バージョンを用いてもよく、このとき等式（ｔ３）の工程を省略でき、出力ＰＱ値の範囲は０と１の間である。
ｅ）標準的なＬＭＳからＩＰＴへの線形変換を用いて、本工程（２３５）が、工程ｄ）の出力（例えば、信号２３２）に対するＩＰＴ−ＰＱ色空間への変換を完成する。

簡単のために、任意の色空間は、［０ １］の値域内に正規化された３−Ｄキューブ上で定義されているものとする。但し、１はある所定のビット深度に対する最大可能画素値を表す。符号化効率を改善するために、ある好適な実施形態において、知覚的符号化された色空間への各変換の後で、別の色変換を適用してクロマ成分を適切にずらすことができる。

ＰＱ符号化ＲＧＢ値（２０５）からＩＰＴ−ＰＱ色空間へのマッピングについて考える。このマッピングは高度に非線形であって、ＲＧＢ−ＰＱキューブをキューブではない形状へと変換する。一例として、図３Ａは、約１０，０００個のＲＧＢ−ＰＱ点をＩＰＴ−ＰＱ空間へとマッピングした後の、Ｐ対Ｔの相関関係を表している。もとのＲＧＢ−ＰＱキューブは、もはやキューブではないことが見て取れる。ＩＰＴ−ＰＱ空間には、２つの尾がある。すなわち、領域Ｐ［−０．３，−０．１］×Ｔ［−０．４，−０．２］（３０５）における１つの短い尾と、領域Ｐ［０．１，０．２］×Ｔ［０．６，１］（３１０）におけるもう１つの長い尾である。尾の周囲に未使用のまま残された空っぽの空間のせいで、ＩＰＴ−ＰＱ空間の長い尾は、符号語の非効率な割り当てを招く。これらの尾はまた、知覚的な重要性を有していないようである。

さて、図２Ｂに表わされた、ＲＧＢからＩＰＴ−ＰＱへの色変換パイプラインについて考える。図２Ｂに示すように、線形ＬＭＳデータ（２２２）に対し、非線形ＰＱ符号化（２３０）を適用する前に、チャネルクロストークを調節する追加的な工程（２２５）を適用する。いま、限定することなく、

は、入力ＬＭＳデータから変換ＬＭＳ（ＬＭＳ_c）データへのカラーチャネルクロストーク調節（２２５）の一例を表すものとする。但し、Ｃは３×３の色クロストーク変換行列を表しており、ｃは３色成分間のクロストークレベルを制御する定数（例えば、ｃ＝０．０２またはｃ＝０．０４）である。いくつかの実施形態において、複数の変数パラメータによって、Ｃを定義し得る。いくつかの実施形態において、クロストーク変換を追加しても色処理パイプラインにさらなる演算が追加されることのないように、ＲＧＢからＬＭＳへの工程（２１５、２２０）と、ＬＭＳからＬＭＳｃへの工程（２２５）とを結合し、単一の工程にしてもよい。

ＩＰＴ−ＰＱｃは、色クロストーク変換（２２５）を適用したときの変換後の色空間を指すものとすると、図３Ｂは、約１０，０００個のＲＧＢ−ＰＱ点をＩＰＴ−ＰＱｃ空間へとマッピングした後の、Ｐ対Ｔの相関関係を表している。図３Ｂに示されるように、ＩＰＴ−ＰＱｃ色空間によって、符号語使用率を改善することができ、従ってより効率的に圧縮をおこなうことが可能となる。いくつかの実施形態において、等式（８）のパラメータｃをフレーム毎、シーン毎に調節することにより、符号語使用率を最適に調節できる。その後、符号化ビットストリームにおけるメタデータの一部として、この値をデコーダへと送信できる。

図２Ｃは、信号（２３８）を、ＩＰＴ−ＰＱまたはＩＰＴ−ＰＱｃ色空間からＲＧＢガンマ符号化またはＲＧＢ−ＰＱ符号化色空間の信号（２０５）へと変換するための、色処理パイプラインを表す。もしも入力（２３７）がＩＰＴ−ＰＱ色空間に符号化されている（すなわち、クロマクロストーク調節されていない）ならば、等式（８）の逆色クロストーク（例えば、Ｃ^-1）を適用する工程（２５０）を削除できる。残りの工程は、以下を含む。
ａ）（工程２４０）ＩＰＴ−ＰＱ入力（２３８）に逆ＩＰＴ変換を適用して、ＰＱ符号化ＬＭＳデータ（２４２）を生成すること。
ｂ）（工程２４５）ＰＱ符号化ＬＭＳデータ（２４２）からＰＱ符号化を除去して、線形ＬＭＳデータ（２４７）を生成すること。
ｃ）符号化（例えば、２２５）中に適用された色クロストークを逆転させる、オプションとしておこなわれ得る工程（２５０）の後で、線形ＬＭＳデータ（２５２）または（２４７）を線形ＲＧＢデータ（２６２）へと変換すること（工程２５５および２６０）。
ｄ）（工程２６５）必要に応じて、線形ＲＧＢ信号（２６２）をガンマ符号化ＲＧＢデータまたはＰＱ符号化ＲＧＢデータのいずれかへと変換すること。
先と同様に、逆クロストーク行列を適用すること（２５０）は、ＬＭＳからＲＧＢへの色変換工程（２５５、２６０）と結合してもよい。

色クロストーク変換行列の決定
等式（８）から、色クロストーク変換行列を、変数ｃによって完全に決定できる。ｃを増加すれば、Ｐ／Ｔの符号語効率が増加するが、ＩとＰ／Ｔ成分との間の相関性が増加するので、総合的な圧縮効率は減少する。ある所定のｃ値に対し、Ｐｍａｘ（ｃ）およびＰｍｉｎ（ｃ）はＰチャネルにおける最大値および最小値を表し、Ｔｍａｘ（ｃ）およびＴｍｉｎ（ｃ）はＴチャネルにおける最大値および最小値を表すものとする。ある実施形態において、クロマ（Ｐ／Ｔ）の定義域を、ＡＲ（ｃ）＝Ｍ（ｃ）×Ｎ（ｃ）個の領域（ｒｅｇｉｏｎｓ）に細分できる。但し、各領域はＤ×Ｄ（例えば、Ｄ＝０．０１）であり、

である。

ＵＲ（ｃ）は、ＡＲ（ｃ）域における符号語使用率を表すものとする。ある実施形態において、表２は、ＵＲ（ｃ）を決定する方法についての一例を疑似コードで示している。

本明細書で用いるとき、「１組の可能なＲＧＢ（ｘ，ｙ）値」という用語は、限定することなく、出力ＩＰＴ−ＰＱｃ値を導出するために使用される可能な入力ＲＧＢ値の１集合または１部分集合を指しており、例えば入力ビデオの１フレームまたは１シーンで検出される値たち、あるいは可能なＲＧＢ空間全体などのことである。一般に、このようなサンプルの数が多いほうが、クロストーク変換行列について、より正確な見積もりを得るために役立つ。

いま、

は、正規化された符号語使用率を表すものとすると、図４は、ｃに対するＥ（ｃ）値のプロット例を表している。図４に示すように、約ｃ＝０．０２のところに「ニー」ポイント（“ｋｎｅｅ” ｐｏｉｎｔ）（４１０）がある。実験結果によって、ある実施形態において、このニーポイントは符号語使用率と圧縮効率とのあいだの非常に良い妥協点であることが実証された。ゆえに、ある実施形態において、ｃ値は、Ｅ（ｃ）データ曲線の１階導関数に最大値を与える値として選択できる。要約すれば、ｃを導出することは以下の工程を含み得る。
ａ）各ｃに対し、ある範囲のＲＧＢ値について、対応するＩＰＴ−ＰＱｃ値を算出すること。このＲＧＢ値の範囲は、全ての可能なＲＧＢ値を含んでいてもよいし、あるフレームまたはフレーム群内に実測されたＲＧＢ値の範囲だけを含んでいてもよい。
ｂ）ＩＰＴ−ＰＱｃ空間における有効なクロマ符号語の数を確認すること。例えばＰ／Ｔ空間をＭ（ｃ）＊Ｎ（ｃ）の格子に分割し、この格子において有効符号語を数えることによる。
ｄ）経験的または客観的な基準を用いて、最良のｃを決定すること。例えば、一実施形態において、さまざまなｃ値を用いてフレームシーケンスを圧縮し、最良の圧縮率を与える値を最良のｃだとして選択できる。あるいは、ある実施形態において、ｃに対する有効符号語についての関数（例えば、ＵＲ（ｃ）またはＥ（ｃ））を所与のものとすると、このような関数の１階導関数（例えば、

）に最大値を与える値として、最良のｃを決定できる。

いくつかの実施形態において、別のカラーチャネルマッピングを用いて、符号語効率および色クロストーク行列を決定し得る。輝度（Ｉ）のみまたはルマ対クロマ（例えば、Ｉ対ＰまたはＩ対Ｔ）などのマッピングを用いてもよいし、あるいは、ルマおよびクロマの完全な３Ｄ体積表現を用いることさえ可能である。

クロマ再構成
ビデオデータがＩＰＴ−ＰＱまたはＩＰＴ−ＰＱｃ色空間にあるならば、ＰおよびＴカラーチャネルは多くのエネルギーを含むことが観察された。圧縮ビットストリームのビットレートが制限されているとすれば、これらのチャネルを直接に符号化することは、かえって非効率であり得る。というのは、これらのチャネルにどのようにビットを割り当てても、その分だけ、Ｉチャネルに対するビット割り当てが低下するからである。ある実施形態において、簡素な線形量子化器を適用して、総合的な画質に影響することなく、ＰおよびＴチャネルのダイナミックレンジを低減できる。例えば、

は、Ｐチャネル用の量子化器関数を表す。但し、ある所定のビット深度ＢＬ（例えば、ＢＬ＝１０ビット）に対し、ｍｉｄはある中域の値（例えば、ｍｉｄ＝２^BL-1）を表し、ｍａｘは最大可能値（例えば、ｍａｘ＝２^BL−１）を表し、

はＰチャネルへのある入力画素値を表し、

は量子化値を表し、ｗ^pは典型的には１より小さい（例えば、ｗ^p＝０．８）ある重み定数を表し、

は、ＩおよびＰチャネルにおいて予測（または実測）される入力値下限および上限であり、

は量子化Ｉチャネル値の限界（例えば、

）である。実質上、等式（１１）は、ルマ（Ｉ）およびクロマ（Ｐ／Ｔ）間のダイナミックレンジ比を維持するように、Ｐ／Ｔチャネルを量子化する。

Ｔチャネルについてもまた、同様な量子化器を使用し得る。等式（１１）における量子化パラメータが所与ならば、エンコーダにおけるＰおよびＴ成分の量子化を、デコーダにより逆転できる。ある実施形態において、ＩＰＴ−ＰＱｃデータに対し、Ｐ／Ｔデータの典型的な範囲は［−０．２５ ０．３］以内に収まる。出力範囲は、［−０．５ ０．５］以内に収まるように選択される。

コンピュータシステム実装例
本発明の実施形態は、コンピュータシステム、電子回路およびコンポーネントで構成されたシステム、マイクロコントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または他のコンフィギュラブルまたはプログラマブルロジックデバイス（ＰＬＤ）、離散時間またはデジタル信号プロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）などの集積回路（ＩＣ）デバイス、および／または、このようなシステム、デバイスまたはコンポーネントを１つ以上含む装置、を用いて実施し得る。このコンピュータおよび／またはＩＣは、本明細書に記載の知覚的量子化ＨＤＲビデオの符号化および復号化に関する命令を実施し、制御し、または実行し得る。コンピュータおよび／またはＩＣは、本明細書に記載の知覚的量子化ＨＤＲビデオの符号化および復号化プロセスに関係する様々なパラメータや値の内のいずれを演算してもよい。画像およびビデオ実施形態は、ハードウェア、ソフトウェア、ファームウェア、および、その様々な組み合わせで実施され得る。

本発明の特定の態様は、本発明の方法をプロセッサに行わせるためのソフトウェア命令を実行するコンピュータプロセッサを含む。例えば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダなどの中の１つ以上のプロセッサは、そのプロセッサがアクセス可能なプログラムメモリ内にあるソフトウェア命令を実行することによって、上記のような知覚的量子化ＨＤＲビデオの符号化および復号化に関する方法を実施し得る。本発明は、プログラム製品形態で提供されてもよい。このプログラム製品は、データプロセッサによって実行された時に本発明の方法をデータプロセッサに実行させるための命令を含む１セットのコンピュータ可読信号を格納する任意の非一時的媒体を含み得る。本発明によるプログラム製品は、様々な形態をとり得る。例えば、このプログラム製品は、フロッピーディスケット、ハードディスクドライブを含む磁気データ記憶媒体、ＣＤ ＲＯＭ、ＤＶＤを含む光学データ記憶媒体、ＲＯＭ、フラッシュＲＡＭなどを含む電子データ記憶媒体、などの物理的媒体を含み得る。このプログラム製品上のコンピュータ可読信号は、任意に、圧縮または暗号化されていてもよい。

上記においてあるコンポーネント（例えば、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路など）に言及している場合、そのコンポーネントへの言及（「手段」への言及を含む）は、別途示唆のない限り、当該コンポーネントの機能を果たす（例えば、機能的に均等である）あらゆるコンポーネント（上記した本発明の実施形態例に出てくる機能を果たす開示された構造に対して構造的に均等ではないコンポーネントも含む）を、当該コンポーネントの均等物として、含むものと解釈されるべきである。

均等物、拡張物、代替物、その他
知覚的量子化ＨＤＲビデオの符号化および復号化に関する実施形態例を上述した。この明細書中において、態様毎に異なり得る多数の詳細事項に言及しながら本発明の実施形態を説明した。従って、本発明が何たるか、また、本出願人が本発明であると意図するものを示す唯一且つ排他的な指標は、本願が特許になった際の請求の範囲（今後出されるあらゆる訂正を含む、特許となった特定請求項）である。当該請求項に含まれる用語に対して本明細書中に明示したあらゆる定義が、請求項内で使用される当該用語の意味を決定するものとする。よって、請求項において明示されていない限定事項、要素、性質、特徴、利点または属性は、その請求項の範囲をいかなる意味においても限定すべきではない。従って、本明細書および図面は、限定的ではなく、例示的であるとみなされるものである。

本発明の一実施形態を、限定のためではなく例示を目的として、添付図面の各図により示す。これらの図において、類似の要素には同種の参照符号を付している。
図１Ａは、知覚的量子化されていない色空間においてＨＤＲビデオを符号化および復号化するための処理パイプラインの一態様例を示す。 図１Ｂは、本発明の実施形態による、知覚的量子化された色空間においてＨＤＲビデオを符号化および復号化するための処理パイプラインの態様例を示す。 図１Ｃは、本発明の実施形態による、知覚的量子化された色空間においてＨＤＲビデオを符号化および復号化するための処理パイプラインの態様例を示す。 図１Ｄは、本発明の実施形態による、知覚的量子化された色空間においてＨＤＲビデオを符号化および復号化するための処理パイプラインの態様例を示す。 図２Ａは、ガンマ符号化またはＰＱ符号化されたＲＧＢ信号を、ＩＰＴ−ＰＱ色空間へと変換するためのデータフロー例を示す。 図２Ｂは、本発明のある実施形態による、ガンマ符号化またはＰＱ符号化されたＲＧＢ信号を、変形ＩＰＴ−ＰＱ色空間へと変換するためのデータフロー例を示す。 図２Ｃは、本発明のある実施形態による、ＩＰＴ−ＰＱ信号を、ガンマ符号化またはＰＱ符号化されたＲＧＢ信号へと変換するためのデータフロー例を示す。 図３Ａは、約１０，０００個のＲＧＢ−ＰＱ点をＩＰＴ−ＰＱ空間へとマッピ ングした後の、Ｐ対Ｔの相関関係を示す。 図３Ｂは、約１０，０００個のＲＧＢ−ＰＱ点をＩＰＴ−ＰＱｃ空間へとマッ ピングした後の、Ｐ対Ｔの相関関係を示す。 図４は、ｃに対するＥ（ｃ）値のプロット例を示す。

Claims (22)

1. ハイダイナミックレンジ（ＨＤＲ）ビデオについて符号化効率および知覚的均質性を改善するための方法であって、
   第１の色空間において第１のビデオ信号（１０２）にアクセスする工程と、
   前記第１のビデオ信号に１つ以上の色変換を適用して、知覚的量子化反対色空間において出力ビデオ信号を生成する工程と、
   を包含し、
   前記第１のビデオ信号に１つ以上の色変換を適用して前記出力ビデオ信号を生成する工程はさらに、
   前記第１のビデオ信号に第１の色変換を適用して、線形原色空間において第２のビデオ信号（２２２）を生成する工程と、
   前記第２のビデオ信号に色クロストーク変換行列を適用して、前記線形原色空間において第３のビデオ信号（２２７）を生成する工程と、
   前記第３のビデオ信号（２２７）に知覚的量子化器を適用して、知覚的量子化原色空間において第４のビデオ信号（２３２）を生成する工程と、
   前記第４のビデオ信号（２３２）に第２の色変換を適用して、前記知覚的量子化反対色空間において前記出力ビデオ信号を生成する工程と、
   を含む、方法。
2. 前記第１の色空間は、ガンマ符号化ＲＧＢ（ＲＧＢガンマ）または知覚的量子化ＲＧＢ（ＲＧＢ−ＰＱ）である、請求項１に記載の方法。
3. さらに、
   前記第１のビデオ信号に線形化関数を適用して、線形化された第１のビデオ信号を生成する工程と、
   前記線形化された第１のビデオ信号に前記第１の色変換を適用する工程と、
   を包含する請求項１に記載の方法。
4. 前記知覚的量子化色空間は、ＳＭＰＴＥ ｓｐｅｃｉｆｉｃａｔｉｏｎ ＳＴ １０８４に従って生成される、請求項１に記載の方法。
5. 前記線形原色空間はＬＭＳ色空間である、請求項１に記載の方法。
6. ６．前記知覚的量子化反対色空間は、知覚的量子化ＩＰＴ色空間（ＩＰＴ−ＰＱ）である、請求項１に記載の方法。
7. 前記色クロストーク変換行列は
   

   

   を含み、ここでｃは定数である、請求項１に記載の方法。
8. ｃの値は、前記知覚的量子化反対色空間のクロマ成分における有効符号語の量の関数として決定される、請求項７に記載の方法。
9. ｃの値はＥ（ｃ）の１階導関数に最大値を与える値として決定され、ここでＥ（ｃ）は、ｃの関数であって前記知覚的量子化反対色空間のクロマ成分における有効符号語についての関数を表している、請求項８に記載の方法。
10. 前記知覚的量子化反対色空間はＩＰＴ−ＰＱ色空間を含み、ここでＰおよびＴはクロマ成分である、請求項９に記載の方法。
11. 前記出力ビデオ信号に再構成関数を適用して再構成出力関数を生成する工程と、前記再構成出力関数をビデオエンコーダで圧縮して符号化ビットストリームを生成する工程と、をさらに包含する請求項１に記載の方法。
12. 前記再構成関数は、前記出力ビデオ信号のルマ成分については非線形であって、かつ前記出力ビデオ信号の１つ以上のクロマ成分については線形である、請求項１１に記載の方法。
13. 前記出力ビデオ信号のクロマチャネル（Ｐ）についての前記再構成関数は、
    

    

    によって与えられる入力−出力関数を含み、ここで、ｍｉｄおよびｍａｘは前記再構成関数への入力における中域の値および最大値を表し、
    

    

    は前記再構成関数への入力画素値を表し、
    

    

    は対応する出力値を表し、w^pは重み定数であり、
    

    

    はルマ（Ｉ）およびクロマ（Ｐ）チャネルについての前記出力ビデオ信号の下限および上限であり、
    

    

    は前記再構成出力関数のルマチャネル値についての下限および上限である、請求項１２に記載の方法。
14. 前記出力ビデオ信号をビデオエンコーダで圧縮して符号化ビットストリームを生成する工程をさらに包含する、請求項１に記載の方法。
15. デコーダにおいて解凍ＨＤＲビデオ信号を生成する方法であって、
    符号化ビットストリームをデコーダ（１１５）で復号化して、知覚的量子化反対色空間において第１のＨＤＲ信号（１１７）を生成する工程と、
    前記第１のＨＤＲ信号に第１組の１つ以上の色変換を適用して、第１の線形原色空間において第２のビデオ信号（２４７）を生成する工程と、
    前記第２のビデオ信号に色クロストーク変換行列の逆行列を適用して、前記線形原色空間において第３のビデオ信号を生成する工程と、
    前記第３のビデオ信号に第２組の１つ以上の色変換を適用して、第２の線形原色空間において第４のビデオ信号を生成する工程と、
    を包含する方法。
16. 前記知覚的量子化反対色空間はＩＰＴ−ＰＱ色空間を含む、請求項１５に記載の方法。
17. 前記第１の線形原色空間は線形ＬＭＳ色空間を含み、かつ前記第２の線形原色空間は線形ＲＧＢ色空間を含む、請求項１５に記載の方法。
18. 前記色クロストーク変換行列の逆行列は、
    

    

    の逆行列を含み、ここでｃは定数である、請求項１５に記載の方法。
19. ｃの値はエンコーダから前記デコーダへと送信される、請求項１８に記載の方法。
20. 前記第１のＨＤＲ信号に逆方向再構成関数を適用して、再構成された第１のＨＤＲ信号を生成する工程と、前記再構成された第１のＨＤＲ信号に前記第１組の１つ以上の色変換を適用して、前記第２のビデオ信号を生成する工程と、をさらに包含する請求項１５に記載の方法。
21. プロセッサを備えており、かつ、請求項１〜２０のいずれかに記載の方法を実行するように構成された装置。
22. 請求項１〜２０のいずれかに記載の方法をプロセッサで実行するためのコンピュータ実行可能命令を格納した、非一時的なコンピュータ可読記憶媒体。

Images