本願明細書では、エンドツーエンド単一レイヤの下位互換性のある符号化パイプラインにおける、高忠実度の完全な参照(High-fidelity full reference (HFFR))、及び高効率の低減された参照符号化(high-efficiency reduced reference (HERR))が説明される。以下の詳細な説明を通じて、説明を目的として、本発明の完全な理解を提供するために、多数の特定の詳細が説明される。しかしながら、本発明がこれらの特定の詳細のうちの一部を有しないで実行されてよいことが明らかである。他の例では、よく知られた構造及び装置は、本発明を抑止し(occluding)、曖昧にし、又は不明瞭にすることを避けるために、徹底的に詳細に記載されない。
<概要>
本願明細書に記載される例示的な実施形態は、画像データの符号化に関連する。3Dマッピング統計は、第1ダイナミックレンジの第1画像及び第1画像に対応する第2画像について生成される。第2画像は、第1ダイナミックレンジと異なる第2ダイナミックレンジのものである。多変量多重回帰(Multivariate multiple regression (MMR))係数は、レターボックス制約無しで、3Dマッピング統計により少なくとも部分的に構築されたMMR行列を使用して定式化される最適化問題を解くことにより生成される。MMR係数は、第2画像のクロマコードワード値を予測するためのクロママッピングを生成するために使用される。第1画像又は第2画像のうちの少なくとも1つの中にレターボックスが存在するか否かが決定される。第1画像又は第2画像のうちの少なくとも1つの中にレターボックスが存在すると決定することに応答して、制約無し最適化問題を解くことにより生成されたクロママッピングが第2画像の中のクロマコードワード値を正確に予測するか否かが決定される。第1画像、又は第2画像を近似する第3画像、のうちの1つは、受信側装置に提供されて、第1画像、又は第2画像を近似する第3画像、のうちの1つを少なくとも後方成形することにより生成された再構成画像を、受信側装置と関連して動作するディスプレイ装置によりレンダリングさせる。
本願明細書に記載される例示的な実施形態は、画像データの符号化に関連する。ルマ前方再成形マッピングに少なくとも部分的に基づき前方再成形により1つ以上のソースHDR画像から生成された1つ以上のSDR画像の中の前方再成形標準ダイナミックレンジ(SDR)ルマコードワード値へのルマ前方再成形マッピングによりマッピングされた1つ以上のHDRルマコードワード値のセットは、1つ以上のソースHDR画像の中で識別される。1つ以上のHDRルマコードワード値のセットは、加重HDRルマコードワード値を決定するために使用される。後方再成形マッピングは、前方再成形SDRルマコードワード値を加重HDRルマコードワード値にマッピングする後方再成形ルママッピングを少なくとも含むよう構成される。後方再成形マッピングは、1つ以上のソースHDR画像を近似するために、1つ以上の再成形SDR画像を1つ以上の再構成HDR画像に後方再成形するために使用される。後方再成形画像メタデータは、1つ以上の再構成HDR画像をレンダリングするために、1つ以上の前方再成形画像と共に受信側装置に提供される後方再成形マッピングから少なくとも部分的に生成される。
本願明細書に記載される例示的な実施形態は、画像データの復号に関連する。第1ダイナミックレンジの再構成画像を生成するための後方再成形画像メタデータを含むビデオ信号が受信される。再構成画像は、第1ダイナミックレンジの第1画像を近似するためのものである。再構成画像は、後方再成形画像メタデータに基づき、第1ダイナミックレンジと異なる第2ダイナミックレンジの第2画像を後方再成形により生成される。第2画像は第1画像に対応する。後方再成形画像メタデータは、MMR係数から生成されたクロママッピングを含む。MMR係数は、第1画像及び第1画像に対応する第2画像について生成される3次元(3D)マッピング統計から少なくとも部分的に構築されるMMR行列を使用して定式化される最適化問題を解くことにより生成される。第2画像は、ビデオ信号から復号される。第2ダイナミックレンジの第2画像は、後方再成形画像メタデータに基づき後方再成形されて、第1ダイナミックレンジの再構成画像を生成する。再構成画像は、ディスプレイ装置によりレンダリングされる。
本願明細書に記載される例示的な実施形態は、画像データの復号に関連する。1つ以上の再構成高ダイナミックレンジ(HDR)画像を生成するための後方再成形画像メタデータを含むビデオ信号が受信される。1つ以上の再構成HDR画像は、1つ以上のソースHDR画像を近似する。1つ以上の再構成HDR画像は、後方再成形画像メタデータに基づき、1つ以上のソースHDR画像に対応する1つ以上の前方再成形SDR画像を後方再成形することにより生成される。後方再成形画像メタデータは、1つ以上の前方再成形SDR画像の中の前方再成形SDRルマコードワード値を加重HDRルマコードワード値にマッピングする少なくとも後方再成形ルママッピングを含む後方再成形マッピングから少なくとも部分的に生成される。1つ以上のHDRルマコードワード値のセットは、加重HDRルマコードワード値を決定するために使用される。1つ以上のHDRルマコードワード値のセットは、1つ以上のHDR画像の中で識別される。1つ以上のソースHDR画像の中の1つ以上のHDRルマコードワード値のセットの中の各HDRルマコードワード値は、ルマ前方再成形マッピングにより、1つ以上の前方再成形SDR画像の中の前方再成形SDRルマコードワード値にマッピングされる。1つ以上の前方再成形SDR画像は、ルマ前方再成形マッピングに少なくとも部分的に基づき、前方再成形により、1つ以上のソースHDR画像から生成される。1つ以上の前方再成形SDR画像は、ビデオ信号から復号される。1つ以上の前方再成形画像は、1つ以上の再構成HDR画像を生成するために、後方再成形画像メタデータに基づき、後方再成形される。1つ以上の再構成HDR画像は、ディスプレイ装置によりレンダリングされる。
<例示的なビデオ配信処理パイプライン>
図1は、ビデオキャプチャからビデオコンテンツ表示までの種々の段階を示すビデオ配信パイプライン100の例示的な処理を示す。ビデオフレーム102のシーケンスは、画像生成ブロック105を用いてキャプチャ又は生成される。ビデオフレーム102は、デジタル方式で(例えば、デジタルカメラにより)キャプチャされ、又はコンピュータにより(例えば、コンピュータアニメーションを用いて)生成されてよく、ビデオデータ107を提供する。代替として、ビデオフレーム102は、フィルムカメラによりフィルム上にキャプチャされてよい。フィルムは、デジタルフォーマットに変換されて、ビデオデータ107を提供する。製作(production)段階110において、ビデオデータ107は、ビデオ製作ストリーム112を提供するために編集される。
製作ストリーム112のビデオデータは、次に、製作後編集115のためにプロセッサに提供される。製作後編集115は、ビデオ制作者の製作意図に従い画像品質を向上するため又は特定の外観を達成するために、画像の特定領域の色又は明るさの調整又は変更を含んでよい。これは、時に、「色タイミング」又は「色グレーディング」と呼ばれる。他の編集(例えば、シーン選択、順序付け、手動及び/又は自動シーンカット情報生成、画像クロッピング、コンピュータの生成した視覚空間効果の追加、等)が、HDR画像117−1又はSDR(又は相対的に狭いダイナミックレンジ)画像117(例えば、SDR、等)のリリースバージョンを生成するために、製作後編集115において実行されてよい。幾つかの実施形態では、製作後編集115の間に、HDR画像117−1は、高ダイナミックレンジをサポートする参照HDRディスプレイで、HDR画像117−1に対して製作後編集を実行しているカラーリストにより閲覧される。更に任意で又は代替として、製作後編集115の間に、SDR画像117は、標準ダイナミックレンジ(又は相対的に狭いダイナミックレンジ)をサポートする参照ディスプレイ125で、SDR画像117に対して製作後編集を実行しているカラーリストにより閲覧される。追加で、任意で、又は代替として、SDR画像117は、HDR画像117−1からマッピングされたコンテンツであってよい。
幾つかの実施形態では、符号化ブロック120は、図2A〜図2Cに示すようなエンドツーエンドの単一レイヤの下位互換性のある符号化パイプラインにおいて、高忠実度の完全な参照及び高効率の低減された参照符号化を実装してよい。符号化ブロック120は、製作後編集115からHDR画像117−1を受信し、HDR画像117−1を(前方)再成形SDR画像へと前方再成形する。
再成形画像は、符号化ブロック120により、例えば単一レイヤで、符号化ビットストリーム122へと圧縮/符号化され得る。幾つかの実施形態では、符号化ブロック120は、符号化ビットストリーム122を生成するために、ATSC、DVB、DVD、Blu-ray(登録商標)、及び他の配信フォーマットにより定義されるような、オーディオ及びビデオエンコーダを含んでよい。
再成形SDR画像は、広範な種類のSDRディスプレイ装置(例えば、SDRディスプレイ、等)との下位互換性のあるビデオ信号(例えば、8ビットSDRビデオ信号、10ビットSDRビデオ信号、等)の中のビデオデータへと符号化されてよい。非限定的な例では、再成形SDR画像と共に符号化されたビデオ信号は、単一レイヤの下位互換性のあるビデオ信号であってよい。ここで、「単一レイヤの下位互換性のあるビデオ信号」は、単一の信号レイヤのSDRディスプレイのために特に最適化された又はカラーグレーディングされたSDR画像を運ぶビデオ信号を表してよい。
幾つかの実施形態では、符号化ブロック120により出力された符号化ビットストリーム122は、限定ではないが符号化ブロック120により生成されるようなコンポーザメタデータを含む画像メタデータを有する出力8ビットSDR YCbCrビデオ信号を表してよい。コンポーザメタデータ(又は後方再成形マッピング)は、下流デコーダにより、HDR参照ディスプレイ上でレンダリングするために最適化され得る後方再成形画像を生成するために、再成形SDR画像に対して後方再成形(例えば、逆トーンマッピング、等)を実行するために使用できる。幾つかの実施形態では、後方再成形画像は、コンポーザメタデータに少なくとも部分的に基づき逆トーンマッピングを実施する1つ以上のSDR−HDR変換ツールを用いて、再成形SDR画像(又はその復号バージョン)から生成されてよい。本願明細書で使用される、後方再成形は、ディスプレイ管理のような更なる下流処理のために、再量子化画像を元のEOTFドメイン(例えば、ガンマ、PQ、ハイブリッドログガンマ、又はHLG、等)に変換して戻す画像処理動作を表す。例示的な後方再成形動作は、参照により本願明細書に全体が記載されたように本願明細書に組み込まれる2015年3月20日出願の米国仮特許出願番号第62/136,402号(米国特許出願公開番号第2018/0020224号として2018年1月18日に公開された)に記載されている。
追加で、任意で、又は代替として、符号化ビットストリーム122は、限定ではないが、HDR参照ディスプレイのために後方再成形画像に対してディスプレイ管理動作を実行するために下流デコーダにより使用可能なディスプレイ管理(display management (DM))メタデータを含む画像メタデータと共に更に符号化されて、非参照HDRディスプレイ等のような他のディスプレイ上でのレンダリングのために最適化されたディスプレイ画像を生成する。
符号化ビットストリーム122は、次に、復号及び再生装置、メディアソース装置、メディアストリーミングクライアント装置、テレビジョンセット(例えば、スマートTV、等)、セットトップボックス、映画劇場、等のような受信機へと下流へ配信される。受信機(又は下流装置)では、符号化ビットストリーム122は、復号ブロック130により復号されて、符号化ブロック120において実行された圧縮及び復号ブロック130により実行された伸張で生成された量子化誤差の影響を受けている、再成形SDR画像と同じであってよい復号画像182を生成する。
受信機が、標準ダイナミックレンジ又は標準ダイナミックレンジに匹敵する又はそれより狭い相対的に狭いダイナミックレンジをサポートする目標ディスプレイ140と共に(又はそれに取り付けられて)動作する動作シナリオでは、復号ブロック130は、符号化ビットストリーム122(例えば、その中の単一レイヤ)から再成形SDR画像を復号し、目標ディスプレイ140上でレンダリングするために復号再成形SDR画像を直接又は間接的に使用できる。目標ディスプレイ140がSDR参照ディスプレイ125と同様の特性である実施形態では、再成形SDR画像は、目標ディスプレイ140上で直接見ることができる。
幾つかの実施形態では、高ダイナミックレンジ(例えば、400ニト、1000ニト、4000ニト10000ニト又はそれ以上、等)をサポートするHDR目標ディスプレイ140と共に動作する(又はそれに取り付けられる)受信機は、コンポーザメタデータを符号化ビットストリーム122(例えば、その中のメタデータコンテナ)から抽出し、コンポーザメタデータを用いて、コンポーザメタデータに基づき再成形SDR画像を後方再成形することにより、再成形SDR画像から後方再成形画像132−1を構成し、HDR目標ディスプレイ140−1上でレンダリングするために後方再成形画像132−1を直接又は間接的に使用できる。
後方成形画像132−1は、HDR目標ディスプレイ140−1と同じではないが匹敵する、例えばHDR目標ディスプレイより大きい最大又はピーク輝度値をサポートするHDR参照ディスプレイ上で閲覧するために最適化されてよい。ディスプレイ管理ブロック(例えば、135−1等)は、受信機内、HDR目標ディスプレイ140−1内、又は別個の装置内にあってよく、HDR目標ディスプレイ140−1の特性に適応されたディスプレイマップド信号137−1を生成することにより、HDR目標ディスプレイ140−1の特性に後方再成形画像132−1を更に調整する。
<コーデックアーキテクチャ>
エンドツーエンドSLBC符号化パイプラインのためのHFFR符号化アーキテクチャを実装する目標は、入力参照画像に対する比較的高い(例えば、最高の、等)忠実度を達成することである。幾つかの動作シナリオでは、HFFR符号化アーキテクチャは、スタジオのワークフローの部分として組み込む又は実装されることができ、トリムパスを多用する画像コンテンツを処理し、画像コンテンツ内に表現されたアーティストの意図を維持する(例えば、カラーリストの意図に適合する又はそれに比較的近く近似する、等)。
更に、HERR符号化アーキテクチャも本願明細書に記載される。HERR符号化アーキテクチャは、場合によってはHFFR符号化アーキテクチャにより提供される幾つかの機能の削減されたサポートを有する、HFFRアーキテクチャにおける符号化ツールのサブセットを用いることにより、少なくとも部分的に実装されてよい。HERR符号化アーキテクチャは、比較的少ない量の品質劣化と比較的少ない(例えば、最低の、等)計算コスト/時間とを相殺するために使用されてよい。HERR符号化アーキテクチャは、モバイル装置、軽量ブロードキャスト、遅延の影響を受けやすいメディア消費アプリケーション、等のような限られた計算プラットフォームに適用されてよい。
図2Aは、例示的なエンドツーエンドSLBC符号化パイプラインの全体図を示し、(例えば、HERR動作で使用される等)HDR−SDRマッピング情報を生成するマッピング情報段(又はモジュール202)、可能な限り参照SDR画像と近く見える復帰可能(revertible)SDR画像(又は前方再成形SDR画像240)を生成する前方再成形段(又はモジュール)204、参照HDR画像に可能な限り近く見える(例えば、復帰可能SDR画像に対応する等)HDR画像を再構成する(例えば、復帰可能SDRから後方再成形する等)ために受信側装置により使用され得る(「RPU」又は「rpu」として示される)画像メタデータを生成する後方再成形段(又はモジュール)206を含む。
本願明細書に記載されるエンドツーエンドSLBC符号化パイプラインは、より多くの又は少ない可能なブロックにより実装されてよい。説明のために限定ではなく、図2B及び図2Cに示された点線でマークされた一部又は全部のブロックは、符号化アーキテクチャがHFFR又はHERRかによって任意的であってよい。
マッピング情報段202により提供される情報に依存して、前方/後方再成形を実行するための2つの異なる方法があってよい。
図2Bは、HFFRモードで動作する例示的なエンドツーエンドSLBC符号化パイプラインを示す。このモードでは(例えば、完全な等)参照HDR画像及び(例えば、完全な等)参照SDR画像は、マッピング情報段202により前方再成形段204に提供されてよい。従って、最終再構成SDR及びHDR画像がどのように見えるか又は近く近似するかに関する(例えば、最も包括的な、最もリッチな、等)情報は、これらの参照HDR及び参照SDR画像により利用可能である。情報は、再成形SDR画像及び比較的高い(例えば、最高の等)ビデオ品質を有するSDR及びHDR画像を再構成するために受信側装置により使用可能な付随する画像メタデータを生成するために、符号化パイプライン、又はその中の前方再成形段204及び後方再成形段206により使用できる。
HFFRモードにおける画像処理動作は、参照SDR画像及び/又は参照SDR画像に対応する参照HDR画像の各々の中の比較的多数のピクセル(例えば、全部のピクセル、目立つ部分の全部のピクセル、等)の中の各ピクセルを利用し又はそれに適用されてよい。例えば、参照HDRから参照SDRを生成するコンテンツマッピング(content mapping (CM))212は、参照SDR及び/又は参照HDRの1つずつのピクセルに対して動作するためにコンテンツマッピングを生じ得るサンプリングストラテジ210により動作してよく、従って、比較的大量の計算コストを生じ得る。従って、CM212は、参照SDR画像244を生成するために、HDR画像208の全てのピクセルに適用できる。
マッピング情報段202と前方成形段204との間の比較的大容量の帯域幅リソースは、マッピング情報段202から前方再成形段204へ、(例えば、全体の等)参照SDR画像を送信することに対応するために準備されてよい。
前方再成形段204は、参照SDR画像を画像メタデータに圧縮又は抜き出す(distill)ために使用されてよい。参照SDR画像から引き出された画像メタデータは、参照SDR画像のピクセル情報の代わりに、直接、再成形関数を実現するために使用できる。
前方再成形段204は、ルマ前方再成形部214及びクロマ前方再成形部222を含んでよい。ルマ前方再成形部214は、ヒストグラム構成ブロック216、累積密度関数(cumulative density function (CDF))照合部218、ルマトリムパス処理ブロック220、等を含む。クロマ前方再成形部222は、動的3Dマッピングテーブル(d3DMT)構成ブロック224、クロマトリムパス処理ブロック226、レターボックス処理ブロック228、等を含む。
ルマ前方再成形部214では、参照HDR画像208及び参照SDR画像244の両方の1Dルマヒストグラムが、それぞれ、これらの画像から、ヒストグラム構成ブロック216により構成される。FLUTは、参照HDR画像208の中の(HDR)ルマコードワードを再成形SDR画像240の中の再成形(SDR)ルマコードワードへと前方再成形するCDF照合ブロック218により構築されてよい(これは、符号化ビットストリームの中で、受信側装置又は受信側装置と共に動作する受信機に提供されてよい)。例示的なCDF照合動作は、参照により本願明細書に全体が記載されたように本願明細書に組み込まれる2017年9月11日出願のPCT出願番号PCT/US2017/50980;2016年10月5日出願の米国仮特許出願番号第62/404,307号(米国特許出願公開番号第2018/0098094号として2018年4月5日に公開された)に記載されている。
幾つかの動作シナリオでは、参照HDR画像208から参照SDR画像244へのコンテンツマッピング(例えば、CM212、等)の一部として実行されるトリムパス動作は、参照SDR画像244に、再構成HDR画像の中の正しい輝度(又は画像の詳細)を生成するために使用できる画像情報を損失させ得る。ルマトリムパス処理ブロック220は、受信側装置により再成形SDR画像240から構成される再構成HDR画像の中の画像の詳細の損失を回避する方法で、FLUTを構築するのを助けるために使用されてよい。ルマの例示的なトリムパス検出及び訂正は、参照により本願明細書に全体が記載されたように組み込まれる2018年1月4日に公開された米国特許出願公開番号第2018/0007356号に記載されている。
クロマ前方再成形部222では、知覚される色の比較的高い(例えば、最高の等)忠実度を達成するために、d3DMT構成ブロック224により、参照HDR画像208及び参照SDR画像244から、参照HDR画像208の中のクロマコードワードを再成形SDR画像240の中の再成形クロマコードワードへと前方再成形するために、d3DMTが構築される。幾つかの動作シナリオでは、参照HDR画像208から参照SDR画像244へのコンテンツマッピング(例えば、CM212、等)の一部として実行されるトリムパス動作は、参照SDR画像244に、再構成HDR画像の中の正確な色を生成するために使用できる画像情報を損失させ得る。クロマトリムパス処理ブロック226は、再成形SDR画像240及び/又は再構成HDR画像の色損失(又は色精度の損失)を回避する方法で、d3DMTを構築するのを助けるために使用されてよい。レターボックス処理ブロック228は、参照HDR画像208内に存在し得る任意のレターボックスを処理するために使用でき、d3DMTが再成形SDR画像240及び/又は再構成HDR画像内で正しい色を生成するのを助ける。
後方再成形段206は、ルマ後方再成形部230及びクロマ後方再成形部234を含んでよい。ルマ後方再成形部230は、ヒストグラム加重BLUT構成ブロック232、等を含む。クロマ後方再成形部234は、動的3Dマッピングテーブル(d3DMT)構成ブロック236、レターボックス処理ブロック238、等を含む。
ルマ後方再成形部230内で、ヒストグラム加重BLUT構成ブロック232は、ヒストグラム加重方法を適用して、再成形SDR画像240内の(SDR)ルマコードワードを再構成HDR画像内の再構成(HDR)画像ルマコードワードへと後方再成形するためのBLUTを構成してよい。従って、コードワード間のマッピングの確率を累積するCDF伝達関数を構築する際に、加重コードワードが使用される。例示的なCDF伝達関数は、先に言及した米国仮特許出願番号第62/404,307号に記載されている。
クロマ後方再成形部234では、知覚される色の比較的高い(例えば、最高の等)忠実度を達成するために、再成形SDR画像240の中の後方再成形クロマコードワードを再構成HDR画像の中の再構成クロマコードワードへと後方再成形するために、d3DMT構成ブロック236により、再成形SDR画像240及び参照HDR画像208から、別のd3DMTが構成される。レターボックス処理ブロック238は、再形成SDR画像240内に存在し得る任意のレターボックスを処理するために使用でき、d3DMTが再構成HDR画像内で正しい色を生成するのを助ける。
BLUT及びd3DMTを含む(又は指定する)後方再成形画像メタデータは、再成形SDR画像240に付随する画像メタデータ(例えば、RPU242、等)の一部として、符号化ビットストリームの中で出力されてよい。
図2Cは、HFFRモードで動作する例示的なエンドツーエンドSLBC符号化パイプラインを示す。このモードでは、参照SDR画像はなく、(例えば、完全な等)参照HDR画像のみが、マッピング情報段202により前方再成形段204に提供されてよい。参照SDR画像を提供する代わりに、参照HDR画像をコンテンツマッピングすることにより生成されたSDR画像の圧縮/抽出/導出されたマッピングサイド情報が、マッピング情報段202により前方再成形段204に提供される。幾つかの実施形態では、マッピングサイド情報は、3D−LUT、フラットマッピングテーブル、ヒストグラム、等を含んでよい。再成形SDR画像(例えば、240等)及び/又は再成形SDR画像240を後方再成形することにより生成された再構成HDR画像のビデオ品質は、前方再成形段204及び/又は後方再成形段206によりマッピング情報段202から受信される不完全な情報により影響を受け得る。
マッピング情報段202では、サンプリングストラテジ210に少なくとも部分的に基づき、3Dサンプリンググリッド(例えば、直線3Dグリッド、粗3Dグリッド、均一又は不均一な頂点分布/密度を有する3Dグリッド、等)が構成される。種々の実施形態では、サンプリング点は、3Dマッピンググリッドに基づき選択されてよく、又はそうでなくてよい。幾つかの実施形態では、サンプリング点は、密度分布に基づき選択されてよい。例えば、サンプリング点は、ピクチャ内の色が密度分布の中で示されたように存在するか否かに従い選択される。CM212は、HDRサンプリング点からSDRサンプリング点へのサンプルドコンテンツマッピング(例えば、それだけ、等)を生成するために使用されてよい。サンプルドコンテンツマッピングは、全部のHDRピクセル(例えば、1920×1080空間解像度の画像について2百万個以上のピクセル、等)から対応するSDRピクセルへの、比較的少数のサンプリング点(例えば、10000個のサンプリング点、等)における、コンテンツマッピングの小さな(適正な)部分集合を表してよい。
マッピング情報段202と前方成形段204との間の比較的少ない量の帯域幅リソースは、マッピング情報段202から前方再成形段204へ、選択されたサンプリング点のコンテンツマッピングから生成された情報を含むマッピングサイド情報246を送信することに対応するために準備されてよい。
HERRモードでは、HDRとSDRとの間のマッピングサイド情報(例えば、コンテンツマッピング情報、等)が、選択されたサンプリング点においてマッピング情報段202によりキャプチャされているので、前方再成形段204では、ピクセルドメインでコンテンツマッピング情報を構成する又は導出するために、計算が実行されない。結果として、このモードでは画像処理動作におけるCPU及びメモリ使用率が低減できる。
クロマ後方再成形関数(例えば、MMR係数、等)は、クロマ前方再成形関数の構成と並列に構成できる。これは、マッピング情報段202により提供されるのと同じマッピングサイド情報246が、前方再成形段204及び後方再成形段206の両方により(例えば、同時に、任意の順序で、等)使用され得るからである。
ルマトリムパス処理ブロック220、クロマトリムパス処理ブロック226、d3DMT構成ブロック224及び246、等のようなHFFRモードで使用される幾つかの処理ブロックは、オフにできる(又はHFFRモードがサポートされる必要のない幾つかの動作シナリオでは、除去できる)。HERRモードの符号化アーキテクチャでは、コンテンツマッピングは、参照HDR画像208の全てのピクセルに適用されない。幾つかの実施形態では、サンプリング点を選択するために、3Dサンプリンググリッドが使用される。コンテンツマッピングは、サンプリング点に関して実行されてよい。HDRサンプル(又はHDRサンプリング点におけるピクセル値)及びHDRサンプルをコンテンツマッピングすることにより生成されたようなマップドSDRサンプル(又はSDRサンプリング点におけるピクセル値)は、マッピング情報段202により前方再成形段204及び/又は後方再成形段206へ送信できる。HDRサンプル及びそれらの対応するコンテンツマップドSDRサンプルは、複数のHDR−SDRマッピング対として表され、マッピングサイド情報246内にキャプチャできる。後の前方及び後方再成形段204及び206における計算だけでなく、マッピング情報段202における計算も節約され又は削減できる。
前方再成形段204では、HDR及びSDRのルマヒストグラムは、ヒストグラム構成ブロック216により粗サンプルドマッピングサイド情報246から構成できる(又は復元できる)。前方再成形ルックアップテーブル(forward reshaping look-up table (FLUT))は、参照HDR画像208の中の(HDR)ルマコードワードを再成形SDR画像240の中の再成形(SDR)ルマコードワードへと前方再成形するCDF照合ブロック218により構築されてよい(これは、符号化ビットストリームの中で、受信側装置又は受信側装置と共に動作する受信機に提供されてよい)。ルマトリムパス処理は、HERRモードで実行されなくてよい。
クロマ前方再成形部222で、クロマ再成形MMR係数は、マッピング情報段202から受信したマッピングサイド情報246から直接生成できる。該マッピングサイド情報246は、クロマ再成形MMR係数を生成するために直接使用される。例示的なMMR係数生成動作は、先に言及した米国仮特許出願番号第62/404,307号に記載されている。
FLUT及びMMR係数は、次に、前方再成形段204において提供でき、参照HDR画像208内のルマ及びクロマコードワードを、再成形SDR画像内の前方再成形ルマ及びクロマコードワードへと前方再成形する。
後方再成形段206で、ヒストグラム加重BLUT構成ブロック232により、ヒストグラム加重方法を用いて、ルマ後方再成形のためのBLUTが構成される。マッピングサイド情報246は、クロマ後方再成形のための後方再成形MMR係数を生成するために使用される。後方再成形MMR係数及びBLUTを指定する後方再成形画像メタデータ(RPU242と示される)は、前方再成形SDR画像240と共に符号化された符号化ビットストリームに書き込まれる又はそれに含まれ得る。
HERRモードでは、d3DMTは、前方再成形段204でも後方再成形段206でも構成されない。これは、マッピングサイド情報246が、HDR(ルマ及びクロマ)コードワードとSDR(ルマ及びクロマ)コードワードとの間のマッピングを既に含んでいるからである。クロマ前方再成形MMR係数の生成は、クロマ後方再成形MMR係数の生成と並列に又は任意の順序で、マッピング情報段202からのマッピングサイド情報246に基づき、処理できる。これは、これら2つの生成動作の間には依存関係が存在しないからである。
纏めると、本願明細書に記載の技術は、多数の高忠実度符号化ツールと共に、高忠実度の完全参照モードにおいて、エンドツーエンド符号化パイプライン動作をサポートするために使用されてよい。ルマ再成形動作は、レターボックスの明るさ及びブロック消失問題を除去又は回避する方法で実装されてよい。クロマ再成形動作は、重度のトリムパス動作等により引き起こされる色アーチファクト、レターボックス色問題、及び色損失のような問題を除去又は回避する方法で、実装されてよい。
追加で、任意で、又は代替として、本願明細書に記載されるような技術は、再成形SDR画像及び後方再成形画像メタデータを生成するために生じる計算リソースの観点で比較的低コストの符号化ツールにより高効率の低減参照モードで動作するエンドツーエンド符号化パイプラインをサポートするために使用されてよい。FLUTは、マッピング情報段202からの粗サンプルドd3DMTにより効率的に構成されてよい。前方再成形及び後方再成形の両方のためのクロマ再成形MMR係数は、エンドツーエンド符号化パイプラインにおける待ち時間又は遅延を低減するために並列に実行できる。
図2Dは、下流ビデオデコーダ(例えば、受信機、等)における1つ以上のコンピューティングプロセッサによっても実施され得る、SLBCデコーダ側コーデックアーキテクチャの一例を示す。
幾つかの実施形態では、図2Dに示すように、単一レイヤ144における(前方)再成形SDR画像と、後方再成形画像メタデータ142を含むが必ずしもそれだけに限定されない画像メタデータ152と共に符号化されたビデオ信号は、ビデオデコーダに入力される。
伸長ブロック154(例えば、図1の復号ブロック130の一部、等)は、ビデオ信号の単一レイヤ144における圧縮ビデオデータを、復号SDR画像182へと伸長し/復号する。復号SDR画像182は、再成形SDR画像と同じであってよく、符号化ブロック120及び伸長ブロック154における量子化誤差の影響を受けており、SDRディスプレイ装置のために最適化されていてよい。復号SDR画像182は、出力ビデオ信号156の中でSDRディスプレイ装置へと(例えば、HDMI(登録商標)インタフェースを介して、ビデオリンクを介して、等)出力され、SDRディスプレイ装置上でレンダリングされてよい。
更に、後方再成形ブロック158は、後方再成形画像メタデータ142を入力ビデオ信号から抽出し、画像メタデータ152内の抽出した後方再成形画像メタデータ142に基づき、最適な後方再成形関数を構成し、最適な後方再成形関数に基づき再成形SDR画像に対して後方再成形動作を実行して、後方再成形画像132−1(又は再構成HDR画像)を生成する。
幾つかの実施形態では、後方再成形画像は、HDR目標/参照ディスプレイ装置のために最適化された製作品質の又は製作品質に近いHDR画像を表す。後方再成形画像132は、出力HDRビデオ信号160の中でHDRディスプレイ装置へと(例えば、HDMI(登録商標)インタフェースを介して、ビデオリンクを介して、等)出力され、HDRディスプレイ装置上でレンダリングされてよい。幾つかの実施形態では、DM機能は、装置動作を簡略化するため及び装置コストを削減するために、受信機により実装されなくてよい。
追加で、任意で、又は代替として、幾つかの実施形態では、DMメタデータは、画像メタデータ152及び再成形SDR画像の中で受信機へ送信されてよい。HDRディスプレイ装置に特有のディスプレイ管理動作は、画像メタデータ152の中のDMメタデータに少なくとも部分的に基づき、後方再成形画像132に対して実行されてよく、例えばHDRディスプレイ装置上でレンダリングされるべきディスプレイ画像を生成する。
説明の目的で、単一レイヤのコーデックアーキテクチャが説明された。留意すべきことに、本願明細書に記載された技術は、図2A〜2Dに示された以外の異なる単一レイヤコーデックアーキテクチャで使用できる。追加で、任意で、又は代替として、これらの技術はマルチレイヤのコーデックアーキテクチャで使用できる。従って、単一レイヤ又はマルチレイヤのコーデックアーキテクチャのこれら及び他の変形は、本願明細書に記載の技術の一部又は全部と共に動作し得る。
<ヒストグラム加重ルマ後方再成形>
ルマ再成形では、前方LUT(又はFLUT)は、参照HDR画像の(ソース)HDRルマコードワードを(前方)再成形SDRルマコードワードへとマッピングするために使用される前方マッピング関数を表す。この前方マッピング関数は、多対1であってよく、従って、数学的に可逆でなくてよい。これは、FLUTにより単一のSDRルマコードワードにマッピングされた複数のHDRコードワードエントリがFLUT内に存在し得るからである。FLUTは、CDF照合ブロック218によるCDF照合を通じて構築されてよい。
他方で、後方LUT(又はBLUT)は、再成形SDR画像の再成形SDRルマコードワードを対応する再構成HDRルマコードワードにマッピングするために使用される逆(又は後方)マッピング関数を表す。BLUT構をFLUTから構成することは、FLUTの数学的反転を通じなくてよく、BLUT推定処理を通じて達成されてよい。
幾つかのアプローチの下では、BLUTを構築するために、所与の再成形SDRコードワードに対応する(又はそれに前方マッピングされた)全部のソースHDRコードワードの平均は、所与の再成形SDRコードワードがBLUT内で後方マッピングされる再構成HDRコードワードに設定される。これらのアプローチの下では、再構成HDR画像内に存在するレターボックスは、幾つかの動作シナリオでは、対応する参照HDR画像に存在する対応するレターボックスよりも明るく見えることがある。この平均法は、暗い及び明るい画像領域におけるBLUTを抑制し、それにより、幾つかの再構成HDR画像においてブロック消失アーチファクト/問題を導入し得る。
本願明細書に記載した技術の下では、レターボックス問題のような他のアプローチに存在し得る欠点を克服するために、ヒストグラム加重BLUT推定処理が使用されてよい。追加で、任意で、又は代替として、幾つかの実施形態では、BLUT抑制動作(suppression operation)は、ブロック消失問題に対する解決策としては無効にされてよい。
数学的に、FLUTはf(w)→cと表すことができ、これは、ソースHDRコードワードwのHDRエントリに対して、対応する再成形SDRコードワードcを指定する。BLUT推定タスクは、参照HDR画像を厳密に近似する再構成HDR画像を生成する目的で、再成形SDRコードワードを再構成HDRコードワードにマッピングするために使用できる逆LUT(又は対応するBLUT)fb(c)→wを構成することである。
上述のように、FLUTf(w)→cは、多対1マッピング、又はマッピングの各々が幾つかのソースHDRコードワードを同じ再成形SDRコードワードにマッピングし得るマッピングを有する場合がある。
wi及びwjがこのようなHDRコードワードを表し、ckが、このような多対1マッピングにおける同じ再成形SDRコードワードを表すとする。
例として、限定ではなく、16ビットのソースHDRビデオ信号は、全部で65536個の利用可能なHDRコードワードを含むソースHDRコードワード空間をサポートしてよく、一方で、10ビットの再成形SDRビデオ信号は、全部で1024個の利用可能なSDRコードワードを含む再成形SDRコードワード空間をサポートしてよい。従って、本例では、wi,wj∈[0,216−1]、ck∈[0,210−1]である。範囲[wi,wj]にあるソースHDRコードワードが、FLUT内の再成形SDRコードワードckに全部マッピングされるとする。BLUTfb(c)→wでは、SDR値ckは、wkと示される単一の再構成HDRコードワードを有する1つのHDRエントリだけを有し得る。これは、本質的に、再構成(又は出力)HDR画像が、16ビットのソースHDRビデオ信号の中で表現可能な65536個のユニークなコードワードの代わりに、範囲[0,216−1]に渡り広がる1024個のユニークな再構成HDRコードワードを有することを意味する。課題は、再構成HDR画像がソース(又は参照)HDR画像と知覚的に依然として同様に見えるように、BLUTの中で、これらの1024個のHDRコードワードを選択することである。
上述のように、幾つかのアプローチの下では、BLUT推定のための平均法は、範囲[w
i,w
j]の中のHDRコードワードの平均を、BLUTf
b(c)→w内のSDRコードワードc
kのマップド(又は再構成)値として選択し、以下の通りである。
この平均法は、幾つかの動作シナリオでは、再構成HDR画像内の知覚可能な品質損失を伴わず、良好に動作し得る。エントリ[wi,wj]がFLUT内のckにマッピングするとき問題が生じるが、ソースHDR画像は範囲[wi,wj]内のこれらのコードワードの多く(例えば、殆ど、等)を有しない。
図3Aは、(a)レターボックスを含む例示的なソースHDR画像、及び(b)レターボックス問題の生じる例示的な再構成HDR画像を示す。
説明のために、ソースHDR画像(a)内のレターボックスは、4096の(例えば、比較的均一な、比較的一定の、等)ソースHDRコードワードを有し、一方で、再構成HDR画像(b)は、ソースHDRコードワードと比べて大きくジャンプする値を表す8608の再構成HDRコードワードを有する。再構成HDR画像のレターボックスにおける再構成HDRコードワードのこの値のジャンプは、図3A(b)から分かるように、レターボックスを通常より明るくする。この依存関係又はジャンプの理由は、以下のように説明できる。ソースHDR画像は、レターボックスについて4096の値を有し、13121より上の次に高い値のHDRコードワードを有する。幾つかのアプローチの下では、4096から13120までの範囲にある(次に高い値のHDRコードワードより下の)全部のHDRコードワードは、同じ再成形SDRコードワード、例えば67の値、にマッピングする。後方再成形のためのBLUTでは、67の再成形SDRコードワードは、4096から13120までの数値の平均にマッピングされ、これは約8608である(又はそれに丸め込まれる)。これは、再構成HDR画像内のレターボックスを、ソースHDR画像内のレターボックスと比べてより明るくする。この問題は、再構成HDR画像内の輝度忠実性を良好に維持するヒストグラム加重アプローチにより効率的に解決できる。
幾つかの他のアプローチの下で生じる別の問題は、ブロック消失問題である。図3Bは、黒色背景上の白色ブロックを含む例示的ソースHDR画像、及び黒色背景上の白色ブロックが消失し全体がグレーになる例示的な再構成HDR画像を示す。
再構成HDR画像の中でグレーになるソースHDR画像内の黒色背景は、上述の平均法(又は非ヒストグラムベースの平均法)に起因し得る。ソースHDR画像は、2つのコードワードのみ、例えば白色(55350)及び黒色(7600)のみを有する。FLUTでは、7600から55349までの全部のソースHDRコードワードが、81の同じ再成形SDRコードワードにマッピングされる。BLUTでは、81の再成形SDRコードワードは、7600から55349までの数値の平均又は31475にマッピングされる。結果として、再構成HDR画像内の背景はグレーになる。
BLUT抑制動作(suppression operation)により、再構成HDR画像では白色ブロックは消失する。
図3Cは、抑制のない、FLUTから構成された第1BLUTを表す例示的なグラフを示す。図示のように、抑制無しに生成された第1BLUTは、グラフの端にある高い強度領域(高HDRコードワード値領域)で比較的鋭い遷移を含む。
図3Dは、抑制の有る、同じFLUTから構成された第2BLUTを表す例示的なグラフを示す。図示のように、抑制を伴い生成された第2BLUTは、グラフの端において、抑制動作により除去された高い強度領域(高HDRコードワード値領域)で比較的鋭い遷移を含む。幾つかのアプローチの下では、抑制動作は、多項式適合/近似を助ける第2BLUTを表す曲線(又はグラフ)を生成する傾向がある。例示的な多項式適合/近似動作は、参照により本願明細書に全体が記載されたように組み込まれる2017年10月26日こに公開された米国特許出願公開番号第2018/0308996号に記載されている。
幾つかの動作シナリオでは、抑制を伴わず平均法を用いてFLUTから計算されたBLUTは、ステップ関数のように見えてよい。つまり、BLUTを表す曲線は、SDRにおける白色のような比較的高い輝度レベルをHDRにマッピングする高強度領域で鋭い(又は比較的急峻な)遷移を有する暗い及び中程度のトーン領域で平坦であってよい。抑制動作がBLUTに適用されて、別のBLUTを生成する場合、前者のBLUTの高強度領域における鋭い遷移は、後者のBLUTにおいて除去されてよい。結果として、後者のBLUTでは、全部のSDRコードワードが、同じ再構成HDRコードワードにマッピングされてよい。このれは、黒色及び白色ボックスの両方を、同じ再構成HDRコードワード値にマッピングさせ、それにより、ボックスを消失させる。その上、平均法は、上述のように全てをグレーにする。
平均法に関連する問題を克服するために、本願明細書に記載されたヒストグラム加重BLUT生成技術は、BLUTを生成するために使用できる。HDRヒストグラムは、CDF照合により(例えば、直ちに、等)導出でき、BLUT生成/予測を向上するために使用され又は利用できる。
I(p)が、所与の(例えば、各々の、等)ソースHDR画像I内のpに位置するピクセルのルマコードワード(例えば、強度、等)を表す。HDRヒストグラムは、(例えば、各々の、等)ソースHDR画像Iについて、以下のように計算されてよい。
ここで、nは、HDRヒストグラム
の中のビンインデックスとして使用されるHDRルマコードワードを示し、
は識別関数を表す。幾つかの実施形態では、ソースHDR画像Iについて計算されたHDRヒストグラム
は、シーン全体に渡り又はスライディングウインドウの中の多数のフレームに渡り集約できる。集約されたHDRヒストグラム(h(・)と示される)は、CDF照合で又はFLUT生成のために使用できる。集約されたHDRヒストグラムh(・)の中のビンの数は、HDRドメイン(又はHDRコードワード空間)の中のコードワードの可能な最大数に等しい。
複数の(異なる)ソースHDRコードワード[w
i,w
j]がFLUTにおいて同じ再成形SDRコードワードc
kにマッピングされるシナリオを考える。再成形SDRコードワードc
kがBLUTf
b(c)→wでマッピングされる、マッピングされた(後方再成形された)HDRコードワードw
kは、以下の通りである。
このヒストグラムに基づくBLUT推定方法(又は処理)により、図3Aに示すレターボックス問題を考える。図3AのソースHDR画像では、4096から13120までのソースHDRコードワードは、再成形SDRコードワード67にマッピングされる。しかしながら、4097から13120までのHDRコードワードを有するピクセルがソースHDR画像内に存在しないので、上述の式(3)は以下の式に変換される。
式(4)から分かるように、ヒストグラムに基づくBLUT推定方法は、正しいBLUTマッピングfb(67)→4096を提供する。従って、再構成HDR画像では、レターボックスは、適正な再構成HDRコードワードにより表現される。
ブロック消失問題を解決するために、BLUT構成において抑制動作を(suppression operation)無効にできる。一例として、ブロック消失問題が生じる可能性のある画像において、抑制動作を無効にできる。別の例では、BLUTを表すグラフ内に生じ得る鋭い遷移を処理するために多項式適合/近似処理が装備されるシナリオで、抑制動作を無効にできる。
抑制が無い場合、ソースHDR画像内に見える図3B(a)に示すような白色長方形ブロックは、再構成HDR画像内で維持され得る。更に、ソースHDR画像内に見える図3B(a)に示すような黒色背景も、再構成HDR画像内で維持され得る。
<高忠実度の完全参照SLBCクロマ再成形>
図4Aは、本願明細書に記載した技術の下で、高忠実度の完全参照SLBCクロマ前方再成形の例示的な処理フローを示す。この処理フローにより生成されたMMR係数は、ソース(又は参照)HDRビデオ信号の中のクロマコードワードを再成形SDRビデオ信号の中の再成形クロマコードワードへと前方再成形するために使用でき、再成形SDRビデオ信号の中の再成形SDR画像において、ソースHDRビデオ信号の中のソース(又は参照)HDR画像に対する色の忠実度を保存できる。幾つかの実施形態では、1つ以上のコンピューティング装置又はコンポーネント(例えば、符号化装置/モジュール、トランスコーディング装置/モジュール、復号装置/モジュール、逆トーンマッピング装置/モジュール、トーンマッピング装置/モジュール、メディア装置/モジュール、等)は、この処理フローを実行してよい。例えば、エンドツーエンド符号化パイプラインの前方再成形段(例えば、図2A又は図2Bの204)におけるクロマ前方再成形部(例えば、図2A又は図2Bの222)は、この処理フローの一部又は全部の動作を実行するために使用されてよい。
他のアプローチと対称的に、本願明細書に記載した技術では、d3DMT構成ブロック(例えば、224等)は、動的3Dマッピングテーブル(d3DMT)をソース(又は参照)HDR画像(例えば、208等)及び参照SDR画像(例えば、244等)から再構成するために使用できる。
参照SDR画像244、又はその中のルマ及び/又はクロマコードワードの分布は、トリムパス検出ブロック402において分析できる。ブロック404で、トリムパスが参照SDR画像244内に存在するか否かが決定される。このようなトリムパスは、ソースHDRビデオ信号から参照SDR画像244を含む参照SDRビデオ信号へのコンテンツマッピング(例えば、芸術的又はカラーリストの意図に基づき実行される操作/動作、カラーグレーディング操作、等)において導入されてよい。
参照SDR画像244内にトリムパスが存在すると決定することに応答して、このようなトリムパスは、クロマトリムパス訂正(例えば、226等)により、d3DMT構成ブロック244により生成されたような参照SDR画像244のd3DMTを、トリムされた色についてトレーニングされた参照3DMTとマージしてマージd3DMTにすることにより、訂正されてよい。
図4A〜図4Cでは、ブロックへの入力は別のブロックで行われた決定に依存してよい。例えば、図4Aに示すように、d3DMT構成ブロック224の出力(又はd3DMT)又はクロマトリムパス訂正ブロック226の出力(又はマージd3DMT)は、制約無しMMR行列構成412に入力される。2つのブロック224及び226のうちのどちらの出力が、制約無しMMR行列構成412への実際の入力となるかは、参照SDR画像244内にトリムパスが存在するか否かに関するブロック404における決定に依存する。存在する場合、クロマトリムパス訂正ブロック226により出力されるマージd3DMTが、制約無しMMR行列構成412への(実際の)入力として使用される。存在しない場合、d3DMT構成ブロックにより出力されたd3DMT(トレーニングされた3DMTとマージされない)が、制約無しMMR行列構成412への(実際の)入力として使用される。ブロック414で、制約無し最小二乗問題は、MMR係数について解くために定式化される。MMR係数は、ソースHDR画像208内のレターボックスのクロマコードワードを、再成形SDR画像240内の対応するレターボックスの再成形クロマコードワードへと前方再成形するために使用される。
参照SDR画像244、又はその中のルマ及び/又はクロマコードワードの分布は、レターボックス検出ブロック406において分析できる。ブロック408で、レターボックス(例えば、単一のレターボックス、複数のレターボックス、等)が参照SDR画像244内に存在するか否かが決定される。
参照SDR画像244内にレターボックスが存在しないと決定することに応答して、ブロック418で、制約無しMMR行列構成ブロック412により、制約無し最小二乗問題を解くことにより生成されたMMR係数は、ソースHDR画像208内のクロマコードワードを、再成形SDR画像(例えば240等)内の再成形クロマコードワードへと前方再成形するために適用され、これは、符号化ビットストリーム(例えば、図1のSLBCビデオ信号112等)の中で受信側装置へと出力できる。再成形SDR画像240内の再成形ルマコードワードは、ソースHDR画像208内のルマコードワードを前方再成形することにより、ルマ前方再成形部(例えば図2A又は図2Bの214等)により取得されてよい。
他方で、参照SDR画像244内にレターボックスが存在しないと決定することに応答して、レターボックスの色を保証するために(又は色忠実度を維持するために、等)、ブロック416で、制約無しMMR行列構成ブロック412により、制約無し最小二乗問題を解くことにより生成されたMMR係数は、ソースHDR画像208内のレターボックスのクロマコードワードを、再成形SDR画像240内の対応するレターボックスの再成形クロマコードワードへと前方再成形するために適用される。
ブロック410で、制約無し最小二乗問題を解くことにより生成されたMMR係数により予測された、再成形SDR画像240内の対応するレターボックスの再成形クロマコードワードが、十分に正確か否かが(例えば、1つ以上の精度/範囲閾値等に基づき)決定される。
制約無し最小二乗問題を解くことにより生成されたMMR係数により予測された、再成形SDR画像240内の対応するレターボックスの再成形クロマコードワードが十分に正確であると決定することに応答して、処理フローはブロック418へ進み、制約無しMMR行列構成ブロック412により、制約無しMMR行列構成ブロック412により、制約無し最小二乗問題を解くことにより生成されたMMR係数は、ソースHDR画像208内のクロマコードワードを、再成形SDR画像(例えば240等)内の再成形クロマコードワードへと前方再成形するために適用され、これは、符号化ビットストリーム(例えば、図1のSLBCビデオ信号112等)の中で受信側装置へと出力できる。再成形SDR画像240内の再成形ルマコードワードは、ルマ前方再成形部(例えば図2A又は図2Bの214等)により、ソースHDR画像208内のルマコードワードを前方再成形することにより取得されてよい。
他方で、制約無し最小二乗問題を解くことにより生成されたMMR係数により予測された、再成形SDR画像240内の対応するレターボックスの再成形クロマコードワードが、十分に正確ではないと決定することに応答して、制約有りMMR行列構成ブロック420により、制約有りMMR行列が構成される。ブロック422で、ソースHDR画像208内のレターボックスのクロマコードワードを、再成形SDR画像240内の対応するレターボックスの再成形クロマコードワードに前方再成形するために使用されるMMR係数は、制約有りMMR行列を用いて最適化問題(例えば、最小化問題、等)を解くことにより生成される。次に処理はブロック418に進み、制約有りMMR行列構成ブロック420により、制約有り最小二乗問題を解くことにより生成されたMMR係数は、ソースHDR画像208内のクロマコードワードを、再成形SDR画像(例えば240等)内の再成形クロマコードワードへと前方再成形するために適用され、これは、符号化ビットストリーム(例えば、図1のSLBCビデオ信号112等)の中で受信側装置へと出力できる。再成形SDR画像240内の再成形ルマコードワードは、ルマ前方再成形部(例えば図2A又は図2Bの214等)により、ソースHDR画像208内のルマコードワードを前方再成形することにより取得されてよい。
図4Bは、本願明細書に記載した技術の下で、高忠実度の完全参照SLBCクロマ後方再成形の例示的な処理フローを示す。この処理フローにより生成されたMMR係数は、後方再成形画像メタデータとして受信側装置に提供でき、受信側装置により、再成形SDR画像(例えば240等)内のクロマコードワードを、再構成HDR画像内の再構成クロマコードワードへと後方再成形するために使用でき、再構成HDR画像において、再成形SDR画像240を生成するために使用されるソース(又は参照)HDR画像(例えば208等)に対する色忠実度を保存できる。幾つかの実施形態では、1つ以上のコンピューティング装置又はコンポーネント(例えば、符号化装置/モジュール、トランスコーディング装置/モジュール、復号装置/モジュール、逆トーンマッピング装置/モジュール、トーンマッピング装置/モジュール、メディア装置/モジュール、等)は、この処理フローを実行してよい。例えば、エンドツーエンド符号化パイプラインの後方再成形段(例えば、図2A又は図2Bの206)におけるクロマ後方再成形部(例えば、図2A又は図2Bの234)は、この処理フローの一部又は全部の動作を実行するために使用されてよい。
d3DMT構成ブロック(例えば230等)は、再形成SDR画像(例えば、図2A又は2Bの204のような従来の前方再成形段により生成されるような240等)及びソース(又は参照)HDR画像(例えば208等)から、動的3Dマッピングテーブル(d3DMT)を構成するために使用できる。
d3DMT構成ブロック230により構成されたd3DMTは、制約無しMMR行列を構成するために、制約無しMMR行列構成432へと入力される。ブロック436で、制約無し最小二乗問題は、MMR係数について解くために定式化される。MMR係数は、再成形SDR画像240のクロマコードワードを、再構成HDR画像内の再構成クロマコードワードへと後方再成形するために使用される。
再成形SDR画像240、ソースHDR画像208、又は参照SDR画像244のいずれかの中のルマ及び/又はクロマコードワードの分布は、レターボックス検出ブロック430において分析できる。幾つかの実施形態では、レターボックスが存在するか否かに関する決定は、ブロック430及び434において、レターボックスがこれらの画像のうちのいずれかに存在するか否かを決定するために使用されてよい。
レターボックスが存在しないと決定することに応答して、ブロック440で、制約無しMMR行列構成ブロック436により、制約無し最小二乗問題を解くことにより生成されたMMR係数は、再成形SDR画像(例えば240等)と共に下流受信側装置へ送信されるべき後方再成形画像メタデータとして、符号化ビットストリーム(例えば、図1のSLBCビデオ信号112等)の中に含まれる。
他方で、レターボックスが存在すると決定することに応答して、レターボックスの色を保証するために(又は色忠実度を維持するために、等)、ブロック438で、制約無しMMR行列構成ブロック436により、制約無し最小二乗問題を解くことにより生成されたMMR係数は、再成形SDR画像240内のレターボックスのクロマコードワードを、再構成HDR画像内の対応するレターボックスの再構成クロマコードワードへと後方再成形するために適用される。
ブロック442で、制約無し最小二乗問題を解くことにより生成されたMMR係数により予測された、再構成HDR画像内の対応するレターボックスの再構成クロマコードワードが、十分に正確か否かが(例えば、1つ以上の精度/範囲閾値等に基づき)決定される。
制約無し最小二乗問題を解くことにより生成されたMMR係数により予測された、再構成HDR画像内の対応するレターボックスの再構成クロマコードワードが十分に正確であると決定することに応答して、処理フローはブロック440へ進み、制約無しMMR行列構成ブロック436により、制約無し最小二乗問題を解くことにより生成されたMMR係数は、再成形SDR画像(例えば240等)と共に下流受信側装置へ送信されるべき後方再成形画像メタデータとして、符号化ビットストリーム(例えば、図1のSLBCビデオ信号112等)に含まれる。
他方で、制約無し最小二乗問題を解くことにより生成されたMMR係数により予測された、再構成HDR画像内の対応するレターボックスの再構成クロマコードワードが、十分に正確ではないと決定することに応答して、制約有りMMR行列構成ブロック444により、制約有りMMR行列が構成される。ブロック446で、再成形SDR画像240内のレターボックスのクロマコードワードを、再構成HDR画像内の対応するレターボックスの再構成クロマコードワードに後方再成形するために使用されるMMR係数は、制約有りMMR行列を用いて最適化問題(例えば、最小化問題、等)を解くことにより生成される。処理フローは次にブロック440へ進み、再成形SDR画像(例えば240等)と共に下流受信側装置へ送信されるべき後方再成形画像メタデータとして、符号化ビットストリーム(例えば、図1のSLBCビデオ信号112等)に含まれる。
<3dDMT構成>
3Dマッピングテーブル(3DMT)は、必ずしも限定されないがトレーニングされた3DMT又は動的3DMT(又はd3DMT)たけを含み、色空間(例えば、RGB、YCbCr、等)の各色チャネル(例えば、赤又はR、緑又はG、青又はB、Y、Cb、Cr、等)と共に、例えばd3DMT構成ブロック(例えば、図2A又は2Bの226又は236、図4Aの226、図4Bの226等)により、構築できる。例示的な3DMT(又は3D平坦化マッピングテーブル)構成は、参照により本願明細書に全体が記載されたように組み込まれる2018年2月28日こ出願された米国仮特許出願公開番号第62/636,388号に記載されている。
色チャネルの利用可能な成分ピクセル値(又は利用可能な成分コードワード)の全範囲は、画像内で実際に見付かった各色チャネルの最小及び最大成分ピクセル値(又は成分コードワード)に依存して、多数の固定サイズのビンに統計的に区分でき、又は多数の非固定サイズのビンに動的に区分できる。これは以下に更に詳細に説明される。
エンドツーエンドSLBC符号化パイプラインは前方再成形段(例えば204等)及び後方再成形段(例えば206等)の両方を含み、下位互換性をサポートするので、本願明細書に記載したのと同じd3DMT構成技術が、前方再成形段204及び後方再成形段206の両方により、それらそれぞれのd3DMTを構築するために使用できる。前方再成形段204では、第1d3DMTは、ソース(又は参照)HDR画像208を参照SDR画像244へとマッピングするために構成される。後方再成形段206では、第2d3DMTが、ソースHDR画像208を前方再成形することにより生成された再成形SDR画像を、ソースHDR画像208にマッピングするために構成される。
説明のみを目的として、d3DMTは、ソース信号から目標信号への、又はソース画像から目標画像へのマッピングを表すと考えられる。従って、前方再成形段204における第1d3DMTは、ソース(又は参照)HDRビデオ信号のようなソース信号から参照SDRビデオ信号のような目標信号への、又はHDR画像208のようなソース画像から参照SDR画像244のような目標画像への、マッピングを表す。同様に、後方再成形段206における第2d3DMTは、再成形SDRビデオ信号のようなソース信号からソースHDRビデオ信号のような目標信号への、又は再成形SDR画像240のようなソース画像からソース(又は参照)HDR画像208のような目標画像への、マッピングを表す。
ソース信号のクロマチャネルの解像度が、ルマチャネルの解像度と異なる(例えば、小さい等)場合、ソース信号のルマチャネルは、ルマチャネルがクロマチャネルと同じ解像度を有するように、先ずダウンサンプリングされ得る。
sch t,iが、ソース信号の中のフレームt(又はt番目のソース画像)内の(色)チャネルchのピクセルiの非正規化値を表し、dh={Y,C0,C1}であるとする。rch t,iが、目標信号の中の対応する目標画像内の対応する(色)チャネルchの対応するピクセルiの非正規化値を表すとする。説明の目的で、ソース信号のビット深さはbsであり、目標信号のビット深さはbrであるとする。
先ず、ソースフレームtのチャネル毎に、非正規化最小(L
ch t,iと表す)が見付かり、以下の通りである。
次に、各チャネルは、非正規化最小及び最大に基づき、Q個のビンに不均一に量子化又は区分されてよい。ビンjの範囲は、以下の通りである。
ここで、
区分されたビン(各色チャネルの中にQ個のビン)は、ソース信号の中のソースフレームtの(Q×Q×Q)又は3Dヒストグラム(Ω
Q,s t)を計算するために使用できる。3DヒストグラムΩ
Q,s tはQ
3個のビンを含み、その中の各3Dビンは、ビンインデックスq=(q
Y,q
C0,q
C1)により指定でき、このような3Dビンの各々により表される色チャネルのそれぞれの値範囲に含まれる3チャネル量子化値を有するピクセルの合計数(又はカウント)を表す。ビンインデックスは以下のように決定される。
3DヒストグラムΩ
Q,s tの各3Dビンの中のソースピクセル値の和は、ルマ又はクロマチャネル毎に計算されてよい。以下がそれぞれ(例えば、YCbCr色空間、等における)3つのチャネル内の上記のような和を表すとする。
更に、3DヒストグラムΩ
Q,s tの各3Dビンの中のソースピクセル値からマッピングされた目標ピクセル値の和は、クロマチャネル毎に計算されてよい。以下がそれぞれ、ソース画像tに対応する目標画像の(例えば、YCbCr色空間、等における)2つのクロマチャネル内の上記のようなクロマの和を表すとする。
ソースビデオ信号(又はソース画像t)から目標ビデオ信号(又は対応する目標画像)へのマッピングを記述するd3DMTを表す3D(ソース)ヒストグラムの中の3Dビンの前述の統計(及び対応する目標ピクセル値統計)を収集する例示的な手順は、以下の表1に示される。
幾つかの実施形態では、t(これはフレームインデックスのような論理的時間を表す)における(現在)ソースフレームについて、ピクセルのゼロでない合計数(Ω
Q,s t,q≠0)を有する3Dヒストグラム内のビンが識別され、保持される。いかなるピクセルも有しないこれらの全部のビンは、3Dヒストグラムから破棄される。{q
0,q
1,...q
kt−1}が、Ω
Q,s t,q≠0であるK
t個のこのようなビンを表すとする。
の平均又は重心値(centroid)がこれらのビンについて、それぞれ計算されてよい。このような計算の例示的な手順は以下の表2に示される。
表2
例えば表2の例示的な手順により計算された重心値
を有するd3DMTは、(例えば、比較的高速、低遅延、等)メモリ空間、バッファ、データストアなどに格納されてよい。d3DMTは、以下に更に詳細に説明されるように、MMR係数を計算するために使用できる。
上述のように、幾つかの実施形態では、各チャネルは、0〜2bs−1まで区分されなくてよいが、むしろ、このような各チャネルにおいて実際の最小値Ls,ch tから実際の最大値Ls,ch t+2bs/gch tまで区分されてよい。これは、幾つかのフレーム(又は画像)内のピクセルが非常に小さな値範囲の中に存在するからである。これらのフレームでは、固定区分(0〜2bs−1)は、d3DMTの中で非常に少ないゼロでないビンを生じる。結果として、固定区分された3DMTから構築されるMMR行列は、特異(singular)である可能性が非常に高い。これは、MMR計算が失敗し得る又は収束しない可能性があることを意味する。その場合、多くの場合にMMRよりもあまり正確な予測を提供しない多項式予測が、MMRに基づく予測の代わりに使用できる。
他方で、各チャネルの中の実際の最小値Ls,ch tから実際の最大値Ls,ch t+2bs/gch tまでの動的区分は、依然としてより精細な(例えば、サイズの、範囲の、等)区分を提供できる。これは、ピクセルが、依然として、d3DMT内の比較的多数の異なるビンに分類され入力され得ることを意味する。ゼロでないビンの数が増大するにつれ、d3DMTから構築されるMMR行列は、完全なランク(例えば、特異でない、あまり特異ではない、等)である可能性がより高くなる。これは、MMR行列を解いて、クロマチャネル内の予測のためのMMR係数を生成できることを意味する。
追加、任意で、又は代替として、各(ソース)ビンの重心値(又は質量中心)が、中間点の代わりに、決定され、MMR係数を計算するために使用できる。これにより、クロマチャネルに関連する予測において比較的高い精度を提供する。
<トリムパス訂正>
ルマトリムパス処理ブロック(例えば、図2A又は2Bの222等)、クロマトリムパス処理ブロック(例えば、図2A又は2B又は図4Aの226等)、等のうちの1つ以上により実行されるトリムパス訂正は、前方再成形段(例えば、図2A又は2Bの204等)に実装されてよい。
本願明細書に記載されたような参照SDR画像(例えば244等)は、1つ以上の(例えばプログラムで実行される、自動的に実行される、最小限のユーザ介入による、等)CMアルゴリズムにより、ソース(又は参照)HDR画像(例えば208等)から、必ずしも限定されないがSOPパラメータ(例えば、シフト、オフセット、パワー、等)のみを含み得るコンテンツマッピングメタデータに基づき、生成されてよい。時に、生成された参照SDR画像は、カラーリスト(例えば、ビデオ専門家、ディレクタ、等)により(例えば、手動入力により、ユーザ相互作用により、等)、カラーグレーディングツールで利用可能なトリムパスパラメータ(例えば、リフト、ゲイン、ガンマ、等)を調整して所望の外観を達成するために(例えば、手動で、GUI制御による相互作用を通じて、等)操作されてよい。カラーリストにより実行されるトリムパス動作は、参照SDR画像において所望の外観を達成する処理において、カラーリストの意図を表す。
トリムパス動作はソース(又は参照)HDR画像の芸術的意図を参照SDR画像の中で表現する又は維持するために使用され得るが、1つ以上の輝度範囲において参照SDR画像内にクリッピングアーチファクトが導入されることがある。正しく修正されない場合、これらのクリッピングアーチファクトは、トリムパス動作により参照SDR画像から生成される後方再成形HDR画像の中で視覚的アーチファクトを生じ、従って後方再成形HDRに伝搬し得る。ルマでは、視覚的アーチファクトは、テクスチャの詳細の損失として現れる。クロマでは、視覚的アーチファクトは、色の損失として現れる。例えば、参照HDR画像又は参照SDR画像内の少女の唇の赤いバラ色が、後方再成形HDR画像において殆ど黒に見えることがある。
後方再成形HDR画像において比較的正確なHDRコードワードを生成するために、再成形SDR画像の中のSDRコードワードの可逆性を維持するために、トリムパス訂正が前方再成形段204において適用されてよい。トリムパス訂正は、SDRドメインで表現された又は表された芸術的意図に対するトリムパス動作の影響を取り消さない。むしろ、本願明細書に記載のトリムパス訂正は、トリムパス動作から生じるクリッピング(又は輝度又は色度情報の非可逆性損失)を回避/低減し、カラーリストの介入において表現された又は表された芸術的意図を再成形SDR画像の中で依然として維持する。
更に、本願明細書に記載の技術の下で参照HDR画像の中の詳細は、再成形SDR画像内の可逆性(又はクリッピングのない)SDRコードワードへと再成形できるので、再成形SDR画像を後方再成形することにより生成された再構成HDR画像は、参照HDR画像と比べて比較的正確な輝度及び色度情報を含むことができる。それにより、再構成HDR画像の中で、参照HDR画像の中で表現された/表されたのと同じ又は同様の芸術的意図を維持する。
前述のように、ルマの例示的なトリムパス検出及び訂正は、米国特許出願公開番号第2018/0007356号に記載されている。クロマのトリムパス訂正は、以下に詳細に記載される。
先ず、低い強度領域(又は低い輝度サブ範囲)におけるルマコードワードに対するトリムパス動作の影響は、深刻になり得る。これらの領域の色は、比較的重度にクリッピングされ得る。例えば、顔(例えば、少女の顔、等)における大量の画像の詳細が消失する。後方再成形の間、同じピクセル値を有する再成形SDRピクセルは、同じHDR値にマッピング又は後方再成形される。結果として、これらの領域におけるクリッピングは、再構成HDR画像へと伝搬し、画像の詳細及び色の損失の非可逆性をもたらす。
第2に、この問題を扱うために、再構成HDR内の色の損失が参照SDR画像におけるクリッピングにより生じるとき、本願明細書に記載の技術では、色は、再成形SDR画像の中で復元できる。その結果、参照SDR画像におけるクリッピングの影響は、再成形SDR画像において回避され又は低減される。後者は、参照SDR画像の代わりに再構成HDR画像を再構成するために使用されてよい。
幾つかの実施形態では、色の修復は、トレーニングされた(例えば、クリッピングの無い又は殆ど無い)参照3DMT及び(例えば、クリッピングを有する、等)参照SDR画像から構築されたd3DMTをマージすることにより達成される。トレーニングされた参照3DMTは、トレーニングデータセットの中のトレーニングHDR−SDR画像対(これらのうちの一部又は全部はクリッピングを有しない又は殆ど有しなくてよい)の入力から構築されてよい。例えば、トレーニングされた参照3DMTは、ビデオ画像シーケンスの中の最大数(例えば50+等)のトレーニングHDR−SDR画像ペアのうちの(例えば、一様にサンプリングされた、ランダムにサンプリングされた、等)トレーニングデータセットの中の3000+HDR−SDR画像(又はフレーム)の平均3DMTとして構築されてよい。
3DMTは、画像内のピクセル値の範囲に関わらず、0〜2bs−1の固定区分を用いて各トレーニングHDR−SDR画像ペア(又はフレームペア)から構築されてよい。言い換えると、3DMTは、表1及び2と同じ手順を用いて計算できる。ここで、Ls,ch tは0に設定され、gch tは1に設定される。各色チャネルは、Q^個のビン(例えば、32個のビン、64個のビン、128個のビン、等)に分割されてよい。個々のトレーニングHDR−SDR画像(又はフレーム)ペアから構築された全部の個々の3DMTは、次に、平均3DMTへと平均化され得る。この平均3DMTの中に空のビン(例えば、ゼロのヒストグラムカウントを有するビン、等)が存在する場合、近隣の又は隣接する空ではないビンのゼロではないヒストグラムカウントが、前の空のビンに入力するために例えば線形補間又は他の補間方法を用いて補間(interpolated)ヒストグラムカウントを導出するために使用されてよい。境界にある空のビンは、必要ならば、それらの利用可能な最も近い近隣(例えば、空のビンの片側にある複数の隣接する空ではないビン、等)から補完できる。
幾つかの実施形態では、色空間毎に、及びEOTFの種類(例えば、PQに基づく、ガンマに基づく、HLGに基づく、等)毎に、それぞれのトレーニングされた参照3DMTが、例えばオフライン処理を通じて構築できる。
例として限定ではなく、トレーニングされた参照3DMT内のマップドSDRクロマ値は、C
0及びC
1についてそれぞれ以下のように表す。
ここで、以下の通りである。
再成形SDRクロマコードワードを予測するSLBC動作の間、トレーニングされた参照3DMTは、初期化で(例えば、比較的高速な、低待ち時間の、等)メモリにロードされ得る。再成形SDR画像毎に、個々のd3DMTは、再成形SDR画像へと前方再成形されるソース(又は参照)HDR画像、及びソースHDR画像に対応する(例えば、可能なカラーリストの介入によりコンテンツマッピングされた、等)参照SDR画像を用いて、例えば、表1及び2に示した手順を用いて構築できる。このd3DMTは、フレーム固有3DMTと呼ばれてよく、ソースHDR値
及び対応する参照SDR値
を有する空ではない(又はゼロではないヒストグラムカウントを有する)ビンを含む3Dヒストグラムにより表現されてよい。フレーム固有d3DMTを表す3Dヒストグラムで使用されるビンインデックスは、以下の通りであってよい。
(例えば各々の、等)参照SDR画像の中のトリムパス(又はトリムパス動作の影響)は、ルマチャネルの中の参照SDR画像の画像情報を用いて、例えば、ルマチャネルに対するトリムパス検出及び訂正技術を実装する図2A又は2Bの220のようなルマトリムパス処理ブロックにより、検出できる。
参照SDR画像(例えば、フレームt,等)内の高又は低SDR強度領域(又はSDR輝度サブレンジ)又は高及び低SDR強度領域の両方にクリッピング(又はトリムパス)が存在すると決定することに応答して、クリップされたSDR強度領域(又はSDR輝度サブレンジ)に対応するHDR強度領域(又はHDR輝度サブレンジ)を有するフレーム固有3DMT内のビンである。低強度領域におけるクリッピング点は、フレームtについてρlow cdf,tと示されてよい。高強度領域におけるクリッピング点は、ρhigh cdf,tと示されてよい。これはビンインデックスの代わりに、ルマコードワード値(又は輝度値)を表し得る。
トリムパス訂正動作の例示的な手順は以下の表3に示される。この例示的な手順では、ルマ値がクリッピング範囲
の中にあるフレーム3DMTの中のビンについて、マップドSDR(コードワード)値は、フレーム固有3DMTのマップドSDR(コードワード)値とトレーニングされた参照3DMTのマップドSDR(コードワード)値との平均により置き換えられる。クリッピング範囲内にない他のビンのSDR値は置換されなくてよい。
表3
更新されたSDRコードワード値
は、色損失無しに又は僅かしか有しないで参照HDR画像を再成形SDR画像へと前方再成形するために使用される最適MMR係数を決定するためにMMR行列を生成するために、不変のSDRコードワード値
と共に使用されてよい。
<レターボックス制約>
レターボックス処理ブロック(例えば、図2A又は2Bの228又は238等)により実行されるレターボックス処理は、前方再成形段(例えば、図2A又は2Bの204等)及び後方再成形段(例えば、図2A又は2Bの206等)内に実装されてよい。
前述のように、本願明細書に記載されるd3DMTは、ソース信号から目標信号への、又はソース画像から目標画像へのマッピングを表すと考えられてよい。従って、前方再成形段204では、フレーム固有d3DMT(これはトリムパス訂正されていてよい)は、ソース(又は参照)HDRビデオ信号のようなソース信号から参照SDRビデオ信号のような目標信号への、又はHDR画像208のようなソース画像から参照SDR画像244のような目標画像への、マッピングを表す。同様に、後方再成形段206では、フレーム固有d3DMTは、再成形SDRビデオ信号のようなソース信号からソースHDRビデオ信号のような目標信号への、又は再成形SDR画像240のようなソース画像からソース(又は参照)HDR画像208のような目標画像への、マッピングを表す。以下のように、フレーム固有d3DMT内のゼロではないビンの平均参照クロマ値を用いて、フレーム固有d3DMTから、2つのベクトルが構成できる。
更に、以下のように、フレーム固有d3DMT内のゼロではないビンの平均ソース値を用いて、行列が構成できる。
ここで、
これは、全部のサポートされるMMRを含む又は表すために使用されてよい。例示的なMMR関連行列及び/又はベクトル構成は、先に言及した米国仮特許出願番号第62/404,307号に記載されている。
MMR係数は、以下のように最適化問題を解くことにより計算又は生成できる。
ここで、x
C0 t及びx
C1 tは、それぞれC
0及びC
1のMMR係数を示す。
本願明細書で使用されるとき、レターボックスは、画像、スクリーン、等の上部、下部、左、又は右にある黒色の帯を表してよく、(例えば、2つの向かい合う柱を含む、2つの向かい合う帯を含む、等)ピラーボックスを含んでよい。レターボックスを示す(又は表現する)ために使用されるピクセルは、同じピクセル値を有してよく、従って対応するフレーム固有d3DMTの中の単一のビンにマッピングされてよい。レターボックスのサイズに関わらず、レターボックスは、フレーム固有d3DMTに入力されるコードワード値を1つだけ提供してよい。レターボックスからコードワード値の分布への貢献が、単一のビンに比較的限られるので、レターボックスの存在は、MMR適合/最適化処理に対して比較的小さな影響又は比較的少ない影響しか有しない。従って、この処理により生成されたMMR係数は、レターボックスのために特に最適化されなくてよく、より具体的には、レターボックスのピクセルが属す/貢献するビンに特に良好に適合しなくてよい。結果として、前方再成形段204における再成形SDR画像又は後方再成形段206における再構成HDR画像のような生成された画像(又は目標画像)内のレターボックスは、前方再成形段204におけるソース(又は参照)HDR画像のようなソース(又は参照画像)又は後方再成形段206における再成形SDR画像が黒色で現れるときでさえ、時に、黒色以外で現れる。
この問題を解決するために、上述の式(14)から得られたMMR係数は、前方再成形段204におけるSDR画像のような目標画像及び後方再成形段206におけるソース(又は参照)HDR画像の中のレターボックスクロマ値を予測するために、レターボックス制約として適用されてよい。
ソース画像(前方再成形段204におけるソースHDR画像又は後方再成形段206における再成形SDR画像)内のレターボックスのコードワード値は、3つのチャネルについてそれぞれ、以下の通り示される。
説明の目的で、ソース画像が表現されるYCbCr色空間を考える。レターボックスは黒色なので、s
C0 LB及びs
C1 LBは、YCbCr色空間のクロマチャネルの中の中央点に非常に近くなければならず、又は2
bs/2の非正規化値に非常に近くなければならない。ソース画像内のレターボックスの対応する正規化値は、3つのチャネルについてそれぞれ、以下の通り示される。
目標画像(前方再成形段204における再成形SDR画像、又は後方再成形段206における再構成HDR画像)の予測(又は目標)クロマ値は、(上述の式(14)の中の)MMR係数及び(上述の式(15)の中の)ベクトルを用いて、以下の通り取得できる。
正規化された予測クロマ値は、ソース画像の中の正規化されたクロマ値と比較されてよく、それらの全部は、[0,1]の正規化値範囲の中の1/2に近いことが期待される。
正規化された(目標画像内のレターボックスの)予測(又は目標)クロマ値が、正規化された(ソース画像内のレターボックスの)参照クロマ値と大きく異なると決定することに応答して、MMR計算に制約が適用されてよい。その結果、再成形SDR画像内のレターボックスの目標クロマ値の予測は比較的正確になる。
対応する参照画像内のレターボックスのクロマ値は、以下のように表され、2
br/2に非常に近い。
これらのクロマ値の正規化された値はそれぞれ以下のように示される。
レターボックス制約を有するMMRの最適化問題は、以下の通り定式化されてよい。
等式制約問題は、ラグランジュ乗数λ
C0及びλ
C1によりラグラジアン関数を形成することにより、以下のように解くことができる。
上述の式(19)の解は、以下のように書き換えられ又は表現できる。
前述のレターボックス処理動作を実行する例示的な手順は以下の表4に示される。
表4
<HFFRにおける時間的安定性>
幾つかの実施形態では、時間的安定性を提供するために、クロマ再成形が、例えば同じシーンを示す全部の画像のうちの、シーンのような画像のサブセットに渡り実行されてよい。シーン毎に、シーンの中の全部の画像のうちの個々の統計が収集され、次に、ルマ及び/又はクロマコードワード前方及び後方再成形のために再成形パラメータの単一のセットを生成するために、集約される。前方再成形クロマコードワードについて、(例えば、同じシーンを表す、等)複数の画像の再成形パラメータの単一のセットを取得する例示的な手順は、以下の表5に示される。
表5
更に、任意で、又は代替として、後方再成形クロマコードワード、前方再成形ルマコードワード、後方再成形ルマコードワード、等の各々について、再成形パラメータの単一のセットが、(例えば、同じシーンを表す、等)複数の画像について取得されてよい。
幾つかの実施形態では、線形及びセグメントに基づくSLBC前方及び/又は後方再成形動作は、3つのレベルのスライディングウインドウに基づくスライディングウインドウ動作により生成された統計を用いてビデオ符号化動作の部分として実行される例示的なスライディングウインドウ動作は、先に言及した米国仮特許出願番号第62/636,388号に記載されている。
画像のシーケンス全体は、画像の複数の重なり合うセグメントを定義するために使用されてよい。画像の複数の重なり合うセグメントのうちの各々の重なり合うセグメントは、画像の個々のシーケンスを表してよい。
現在の(又は現在処理中の)入力画像(又は時間tにおけるフレーム)毎に、FLUT、BLUT、MMR係数を計算/導出するために使用されるスカラ、ベクトル、及び/又は行列、等のうちの一部又は全部のような、フレームレベルの統計は、レベル3(又はL3)スライディングウインドウにおいて計算され格納され得る。フレームレベルの統計の一部又は全部は、ソースHDRコードワード、参照SDRコードワード、再成形SDRコードワード、等のうちの一部又は全部を用いて計算できる。新たな入力フレームについての統計は、リングバッファのようなメモリ構造に、メモリ構造の中の最も古い入力フレームについての統計を置換する最新L3データとして挿入されてよい。新たな出力データ(又は統計)は、比較的単純な平均演算、加重線形/非線形結合演算、等のうちのいずれかのような、スライディングウインドウ動作を用いて計算できる。新たな出力データは、時間t−τa 3における代表的統計として機能してよく、ここでτa 3はL3スライディングウインドウにおける遅延を表す。
L3スライディングウインドウからの新たな出力データは、第2メモリ構造の中の最も古いL2データを置換する最新L2データとして、レベル2(L2)スライディングウインドウに挿入できる。各々の新たな統計の挿入において(又はL3スライディングウインドウからの新たな出力データの各々の挿入において)、L2スライディングウインドウに基づく新たな統計が計算され出力される。L2スライディングウインドウに基づき計算されたこれらの新たな統計は、時間t−τa 3−τa 2における代表的統計として機能してよく、ここでτa 3+τa 2はL2スライディングウインドウにおける遅延を表す。
L2ウインドウからの新たな出力データは、第3メモリ構造の中の最も古いL1データを置換する最新L1データとして、レベル1(L1)スライディングウインドウに挿入できる。各々のこのような挿入において、統計の新しいセットが、L1スライディングウインドウに基づき計算され、時間t−τa 3−τa 2−τa 1の最終出力データ(又は統計)として使用される。ここで、(τa 3+τa 2+τa 1)は、各スライディングウインドウ動作からの全部の遅延を加算し、出力における合計遅延(待ち時間)を表す。
<高効率な低減された参照SLBCコーデック>
図4Cは、本願明細書に記載した技術の下で、高効率の低減された参照SLBCクロマ前方及び後方再成形の例示的な処理フローを示す。幾つかの実施形態では、1つ以上のコンピューティング装置又はコンポーネント(例えば、符号化装置/モジュール、トランスコーディング装置/モジュール、復号装置/モジュール、逆トーンマッピング装置/モジュール、トーンマッピング装置/モジュール、メディア装置/モジュール、等)は、この処理フローを実行してよい。例えば、エンドツーエンド符号化パイプラインの前方再成形段(例えば、図2A又は2Cの204等)は、前方再成形に関連するこの処理フローにおける一部又は全部の動作を実行するために使用されてよい。一方で、エンドツーエンド符号化パイプラインの後方再成形段(例えば、図2A又は2Cの206等)は、後方再成形に関連するこの処理フローにおける一部又は全部の動作を実行するために使用されてよい。
この処理フローにより生成された前方再成形MMR係数は、ソース(又は参照)HDRビデオ信号の中のクロマコードワードを再成形SDRビデオ信号の中の再成形クロマコードワードへと前方再成形するために使用でき、再成形SDRビデオ信号の中の再成形SDR画像において、ソースHDRビデオ信号の中のソース(又は参照)HDR画像に対する色の忠実度を保存できる。
この処理フローにより生成された後方再成形MMR係数は、後方再成形画像メタデータとして受信側装置に提供でき、受信側装置により、再成形SDR画像(例えば240等)内のクロマコードワードを、再構成HDR画像内の再構成クロマコードワードへと後方再成形するために使用でき、再構成HDR画像において、再成形SDR画像240を生成するために使用されるソース(又は参照)HDR画像(例えば208等)に対する色忠実度を保存できる。
ビデオエンコーダは、計算の複雑さを低減するために、本願明細書に記載の高効率の低減された参照コーデックアーキテクチャを実装してよい。図4Cに示すように、マッピングサイド情報(例えば246等)は、(例えば、全部実質的に全部、等)の個々のピクセルのうちの(例えば、全部実質的に全部、等)のピクセル値を含む参照SDR画像(例えば、図4A又は4Bの244等)の代わりに、マッピング情報段(例えば202等)から、ビデオエンコーダの前方再成形段(例えば204等)、後方再成形段(例えば206等)、等のような後の処理段へと送信できる。図2C及び4Cに示されるHERR符号化動作では、ソース(又は参照)HDR画像(例えば、208等)及びソース(又は参照)HDR画像208に関連付けられたマッピングサイド情報246は、後の処理段により、前方再成形関数(例えば、FLUT、MMR係数、等)を構成するため、前方再成形関数に基づきソースHDR画像208を前方再成形することにより(前方)再成形SDR画像(例えば204等)を生成するため、受信側装置(又は受信側ビデオデコーダ)により、ソースHDR画像208を厳密に近似する再構成HDR画像を生成するために使用される後方再成形画像メタデータ(例えば242等)を生成するため、SLBCビデオ信号の中の画像メタデータ242を後方再成形することにより再成形SDR画像240を符号化するため、等に使用される。幾つかの動作シナリオでは、マッピングサイド情報246は、完全な参照SDR画像の中で表現されるものと比べて、削減された数の色を含んでよい。
HFFRコードでは、参照SDR画像(例えば図4Aの244等)は、クロマ前方再成形のためにd3DMTを構築するために使用された、ソースHDR画像208の各ピクセルにコンテンツマッピングを適用することにより生成される。HFFRモードでは、参照SDR画像244は、SLBCビデオ信号に符号化されず、むしろ、クロマ前方再成形のためのd3DMTを構築するための近似参照として機能する。従って、HFFRモードでは、各々の個々のピクセルレベルで(例えば、画像内の数百万個のピクセルの各々について)実行される多数の符号化関連動作がある。
これに対して、HERRモードでは、ブロックにおいて、d3DMTが、削減された数(例えば、数百万より遙かに少ない10000等)のサンプリング点におけるコンテンツマッピング情報のようなマッピングサイド情報246から生成でき、各々の個々のピクセルレベルで完全な参照SDR画像を用いて生成し又は動作しない。結果として、大量の計算又は符号化関連動作が節約され又は回避できる。
完全参照モードにおけるように、低減参照モードでマッピング情報段202でマッピングサイド情報246を生成するために、ソースHDR画像208(フレームtと示される)内のコードワードは、各色チャネルの中の最小及び最大コードワード値に基づき、色チャネル毎にQ個のビンに区分できる。全部で、Q×Q×Q個の3Dビンがある。非正規化最小コードワード値をL
EDR,ch tと表し,非正規化最大コードワード値をH
EDR,ch tと表す。ここで、チャネルch={Y,Cb,Cr}である。ビンjの範囲は、以下の通り与えられる。
HDRピクセル値(又はコードワード値)の3Dヒストグラム(Ω
Q,EDR t)は、以下のビンインデックスにより指定される3Dヒストグラム内の各3Dビンにより収集される。
各3Dビンの中のHDRピクセル値のチャネル固有和(以下のように示される)が、それぞれ計算される。
ゼロでない数のピクセルを有する、(3DヒストグラムΩ
Q,EDR tの)空ではないビンについて、チャネル固有平均HDRピクセル値(又はコードワード値)は、以下のように示され
全部の色チャネルについてそれぞれ計算でき、空ではないビンで表されるHDRピクセル値のマップドSDRピクセル値も、全部の色チャネルについてそれぞれ、平均HDRピクセル値におけるコンテンツマッピングを用いて決定され又は計算されてよい。Kt個のビンを以下のように示す。
マップドSDRピクセル値を以下のように示す。
チャネル固有平均HDRピクセル値
及びマップドSDRピクセル値
のようなマッピング統計を収集する例示的な手順は、以下の表6に示される。
表6
上述の表6から分かるように、完全参照モードと異なり、低減参照モードのマップドSDRピクセル値は、参照SDR画像内の個々のSDRピクセル値を平均する代わりに、サンプリング点におけるHDRピクセル値にコンテンツマッピングを適用することにより取得される。このようなコンテンツマッピングは、d3DMTを表す3DヒストグラムΩ
Q,EDR tのゼロでないビットにのみ適用されてよい。HDR及びSDRコードワード統計
を含む3DヒストグラムΩ
Q,EDR tにより表されるd3DMTは、ヒストグラム
と一緒に、マッピングサイド情報246として、マッピングサイド情報段(例えば図2Cの202等)から前方再成形段(例えば図2Cの204等)及び/又は後方再成形段(例えば図2Cの206等)へ送信され、前方再成形段(例えば図2Cの204等)及び後方再成形段(例えば図2Cの206等)で前方及び後方再成形関数を構成するために使用されてよい。
本願明細書で使用されるとき、マッピング情報段(例えば図2Cの202等)から前方再成形段(例えば図2Cの204等)及び/又は後方再成形段(例えば図2Cの206等)へ各々のソースHDR画像と共に送信される例示的なマッピングサイド情報は、必ずしもそれだけに限定されないが、以下のいずれかを含んでよい。以下のような3DMT情報:
次のようなレターボックス情報:
レターボックス指示子(「letter_box_flag」と示される)、存在する場合にはレターボックスのソースHDRピクセル(又はコードワード)値
SDRドメインにおけるレターボックスのマップドSDRピクセル(又はコードワード)値
等。
<クロマ前方再成形>
マッピング情報段(図2Cの202)からのd3DMTは、前方再成形段(図2Cの204)内の制約無しMMR行列構成460により受信される。ブロック468で、制約無し最小二乗問題は、MMR係数について解くために定式化される。MMR係数は、ソースHDR画像208内の(適切な場合には任意のレターボックスソースHDRクロマコードワードを含む)クロマコードワードを、再成形SDR画像(例えば240等)内の(適切な場合には任意のレターボックス再成形SDRクロマコードワードを含む)再成形クロマコードワードへと前方再成形するために使用される。
マッピングサイド情報246の中で提供されたd3DMTから、d3DMTを表す3Dヒストグラムのゼロでないビン(又は空ではないビン)のSDRクロマ値を用いて2つのベクトルが以下のように構成できる。
さらに、ゼロでないビンの平均HDRピクセル値を用いて、以下のように行列が構成できる。
これは、全部のサポートされるMMR項を含む。
制約無しMMR係数は、制約無しMMR行列を用いて制約無し最小二乗問題を解くことにより、以下のように閉形式で得られる。
ソースHDR画像208、又はその中のルマ及び/又はクロマコードワードの分布は、ソースHDR画像208内のレターボックスの存在を検出するために、マッピング情報段(図2Cの202)において分析できる。マッピングサイド情報246は、マッピング情報段(図2Cの202)から、前方再成形段(図2Cの204)及び後方再成形段(図2Cの206)のような後の処理段へのレターボックス指示子を含んでよい。ブロック466で、例えば、前方再成形段(図2Cの204)において、マッピング情報段(図2Cの202)から受信したマッピングサイド情報246内のレターボックス指示子に基づき、レターボックス(例えば、単一のレターボックス、複数のレターボックス、等)がソースHDR画像208内に存在するか否かが決定される。
ソースHDR画像208内にレターボックスが存在しないと決定することに応答して、ブロック464で、制約無しMMR行列構成ブロック462により、制約無し最小二乗問題を解くことにより生成されたMMR係数は、ソースHDR画像208内のクロマコードワードを、再成形SDR画像(例えば240等)内の再成形クロマコードワードへと前方再成形するために適用され、これは、符号化ビットストリーム(例えば、図1のSLBCビデオ信号112等)の中で受信側装置へと出力できる。再成形SDR画像240内の再成形ルマコードワードは、ルマ前方再成形部(例えば図2A又は図2Bの214等)により、ソースHDR画像208内のルマコードワードを前方再成形することにより取得されてよい。
他方で、ソースHDR画像208内にレターボックスが存在すると決定することに応答して、再成形SDR画像240内でレターボックスの色を保証するために(又は色忠実度を維持するために、等)、ブロック468で、制約無しMMR行列構成ブロック462により、制約無し最小二乗問題を解くことにより生成されたMMR係数は、ソースHDR画像208内のレターボックスのクロマコードワードを、再成形SDR画像240内の対応するレターボックスの再成形クロマコードワードへと前方再成形するために適用される。
幾つかの実施形態では、マッピング情報段(図2Cの202)においてソースHDR画像内でレターボックスが検出されると、レターボックスの正規化HDRピクセル値が、以下のように決定される。
正規化HDRピクセル値
に対して、コンテンツマッピングが適用されて、SDRドメインでレターボックスの対応するマップドSDRピクセル値
を取得できる。必ずしもそれだけに限定されないが、正規化HDRピクセル値
及び対応するマップドSDRピクセル値
のうちのいずれか、一部又は全部を含むレターボックス情報は、マッピングサイド情報246の一部として、マッピング情報段(図2Cの202)から前方再成形段(図2Cの204)及び/又は後方再成形段(図2Cの206)へと送信できる。
ブロック470で、ベクトルが以下のように構成できる。
予測レターボックス値は、制約無しMMR係数を用いて以下のように計算されてよい。
ブロック470で、上述の式(30)の制約無し最小二乗問題を解くことにより生成されたMMR係数により予測された、再成形SDR画像240内の対応するレターボックスの再成形クロマコードワードが、十分に正確か否かが(例えば、Δのような1つ以上の精度/範囲閾値等に基づき)決定される。
制約無し最小二乗問題を解くことにより生成されたMMR係数により予測された、再成形SDR画像240内の対応するレターボックスの再成形クロマコードワードが十分に正確であると決定することに応答して、処理フローはブロック464へ進み、制約無しMMR行列構成ブロック462により、制約無しMMR行列構成ブロック412により、制約無し最小二乗問題を解くことにより生成されたMMR係数は、ソースHDR画像208内のクロマコードワードを、再成形SDR画像(例えば240等)内の再成形クロマコードワードへと前方再成形するために適用され、これは、符号化ビットストリーム(例えば、図1のSLBCビデオ信号112等)の中で受信側装置へと出力できる。再成形SDR画像240内の再成形ルマコードワードは、ルマ前方再成形部(例えば図2A又は図2Cの214等)により、ソースHDR画像208内のルマコードワードを前方再成形することにより取得されてよい。
他方で、制約無し最小二乗問題を解くことにより生成されたMMR係数により予測された、再成形SDR画像240内の対応するレターボックスの再成形クロマコードワードが、十分に正確ではないと決定することに応答して、制約有りMMR行列構成ブロック490により、制約有りMMR行列が構成される。
例えば、再成形SDR画像240の対応するレターボックスの再成形クロマコードワードは、レターボックスの再成形クロマコードワードについてレターボックスの予測したピクセル値のいずれかが、マッピングサイド情報246の中で受信したレターボックスのマップドSDRピクセル値と大きく異なる場合、例えば以下:
十分に正確ではないと考えられる。その他の場合、再成形SDR画像240内の対応するレターボックスの再成形クロマコードワードは、十分に正確であると考えられる。
ブロック486で、ソースHDR画像208内のレターボックスのクロマコードワードを、再成形SDR画像240内の対応するレターボックスの再成形クロマコードワードに前方再成形するために使用されるMMR係数は、制約有りMMR行列を用いて最適化問題(例えば、最小化問題、等)を解くことにより生成される。
例えば、MMR係数は、制約有りMMR行列を用いて以下のように取得できる。
次に処理はブロック464に進み、制約有りMMR行列構成ブロック420により、制約有り最小二乗問題を解くことにより生成されたMMR係数は、ソースHDR画像208内のクロマコードワードを、再成形SDR画像(例えば240等)内の再成形クロマコードワードへと前方再成形するために適用され、これは、符号化ビットストリーム(例えば、図1のSLBCビデオ信号112等)の中で受信側装置へと出力できる。再成形SDR画像240内の再成形ルマコードワードは、ルマ前方再成形部(例えば図2A又は図2Cの214等)により、ソースHDR画像208内のルマコードワードを前方再成形することにより取得されてよい。
<クロマ後方再成形>
完全参照モードでは、第1d3DMTは、ソースHDR画像(例えば208等)及び参照SDR画像に基づき前方再成形するために構成され、第2の異なるd3DMTは、ソースHDR画像及びソースHDR画像208を前方再成形することにより生成された再成形SDR画像(例えば240等)に基づき後方再成形するために構成される。低減参照モードでは、マッピング情報段(図2Cの202)により構成されたのと同じd3DMTが、前方及び後方再成形の両方のために使用でき、計算の複雑さを低減する。
マッピング情報段(図2Cの202)からのd3DMTは、後方再成形段(図2Cの206)内の制約無しMMR行列構成472により受信される。ブロック480で、制約無し最小二乗問題は、MMR係数について解くために定式化される。MMR係数は、再成形SDR画像240内の(適切な場合には任意のレターボックス再成形クロマコードワードを含む)クロマコードワードを、再構成HDR画像内の(適切な場合には任意のレターボックス再構成HDRクロマコードワードを含む)再構成クロマコードワードへと後方再成形するために使用される。
マッピングサイド情報246の中で提供されたd3DMTから、d3DMTを表す3Dヒストグラムのゼロでないビン(又は空ではないビン)の平均HDRクロマ値を用いて2つのベクトルが以下のように構成できる。
さらに、ゼロでないビンのSDRピクセル値を用いて、以下のように行列が構成できる。
これは、全部のサポートされるMMR項を含む。
制約無しMMR係数は、制約無しMMR行列を用いて制約無し最小二乗問題を解くことにより、以下のように閉形式で得られる。
ブロック474で、例えば、後方再成形段(図2Cの206)において、マッピング情報段(図2Cの202)から受信したマッピングサイド情報246内のレターボックス指示子に基づき、レターボックス(例えば、単一のレターボックス、複数のレターボックス、等)がソースHDR画像208内に存在するか否かが決定される。
レターボックスがソースHDR画像208内に存在しないと決定することに応答して、ブロック488で、制約無しMMR行列構成ブロック480により、制約無し最小二乗問題を解くことにより生成されたMMR係数は、再成形SDR画像(例えば240等)と共に後方再成形画像メタデータとして、符号化ビットストリームに書き込まれる。
他方で、ソースHDR画像208内にレターボックスが存在すると決定することに応答して、再成形SDR画像240内でレターボックスの色を保証するために(又は色忠実度を維持するために、等)、ブロック476で、制約無しMMR行列構成ブロック480により、制約無し最小二乗問題を解くことにより生成されたMMR係数は、再成形SDR画像240内のレターボックスのクロマコードワードを、再構成HDR画像内の対応するレターボックスの再構成クロマコードワードへと後方再成形するために適用される。
幾つかの実施形態では、マッピング情報段(図2Cの202)においてソースHDR画像内でレターボックスが検出されると、ベクトルが、以下のように構成される。
予測レターボックス値は、制約無しMMR係数を用いて以下のように計算されてよい。
ブロック478で、上述の式(41)の制約無し最小二乗問題を解くことにより生成されたMMR係数により予測された、再構成HDR画像内の対応するレターボックスの再構成クロマコードワードが、十分に正確か否かが(例えば、Δのような1つ以上の精度/範囲閾値等に基づき)決定される。
制約無し最小二乗問題を解くことにより生成されたMMR係数により予測された、再構成HDR画像内の対応するレターボックスの再構成クロマコードワードが十分に正確であると決定することに応答して、処理フローはブロック488へ進み、制約無しMMR行列構成ブロック480により、制約無し最小二乗問題を解くことにより生成されたMMR係数は、再成形SDR画像240と共に後方再成形画像メタデータとして、符号化ビットストリームに書き込まれる。
他方で、制約無し最小二乗問題を解くことにより生成されたMMR係数により予測された、再構成HDR画像内の対応するレターボックスの再構成クロマコードワードが、十分に正確ではないと決定することに応答して、制約有りMMR行列構成ブロック482により、制約有りMMR行列が構成される。
例えば、再成形SDR画像240内の対応するレターボックスの再成形クロマコードワードは、予測ベクトルのいずれかが大きく異なる場合、例えば以下:
十分に正確ではないと考えられる。その他の場合、再構成HDR画像内の対応するレターボックスの再構成クロマコードワードは、十分に正確であると考えられる。
ブロック484で、再成形SDR画像240内のレターボックスのクロマコードワードを、再構成HDR画像内の対応するレターボックスの再構成クロマコードワードに後方再成形するために使用されるMMR係数は、制約有りMMR行列を用いて最適化問題(例えば、最小化問題、等)を解くことにより生成される。
例えば、MMR係数は、制約有りMMR行列を用いて以下のように取得できる。
処理フローはブロック488に進み、制約有りMMR行列構成ブロック484により、制約有り最小二乗問題を解くことにより生成されたMMR係数は、再成形SDR画像240と共に後方再成形画像メタデータとして、符号化ビットストリームに書き込まれる。
<ルマ前方及び後方再成形>
幾つかの実施形態では、前方再成形ルックアップテーブル(forward reshaping look-up table (FLUT))を構築するために、CDF照合が利用できる。ブロック450で、各々のサンプリングされないピクセルのレベルのソースHDR画像208及び参照SDR画像からではなく、サンプリング点(例えば、HDR及びSDR画像フレームの各々の中のサンプリンググリッド、等)におけるソースHDRコードワード値及びSDRコードワード値から生成されたd3DMTを用いて、1Dルマヒストグラムが構成される。マッピング情報段(図2Cの202)からのマッピングサイド情報246の中でd3DMTを表す3Dヒストグラムが既に利用可能なので、前方再成形段(図2Cの204)は、3Dヒストグラムの中で、ルマ値が1Dルマヒストグラムの中の同じルマビンに対応する全部の3Dビンを加算することにより、1Dルマヒストグラムを構築できる。
1Dルマヒストグラムに基づき補間FLUT452を生成するために、CDF照合ブロック(例えば218等)により、CDF照合が実行されてよい。補間FLUTは、平滑化されたFLUTを生成するために平滑化されてよい。更に、後方再成形LUT(BLUT)は、BLUT構成ブロック456により、平滑化FLUTの中で示されるコードワードマッピング又は曲線(例えば、8ピースの2次多項式、等)を用いて、構成されてよい。
異なる計算コストで1Dルマヒストグラムを構築する2つの例示的な方法又は手順は、以下の表7及び8に示される。表7に示される第1の方法では、各ビンの重心(centroid)が計算される。重心を用いて、CDF照合が実行される。これは、比較的高いコストの計算を必要とするが、比較的高い精度のマッピングを生成する。表8に示す第2の方法では、各ビンは、比較的低コストの計算で容易に決定できる、その中心点(mid-point)により表される。2つの方法は以下に提示される。
表7
表8
<HERRにおける時間的安定性>
幾つかの実施形態では、HFFRモードにおけるように、HERRモードで、時間的安定性を提供するために、ルマ及びクロマ再成形が、例えば同じシーンを示す全部の画像のうちの、シーンのような画像のサブセットに渡り実行されてよい。シーン毎に、シーンの中の全部の画像のうちの個々の統計が収集され、次に、ルマ及び/又はクロマコードワード前方及び後方再成形のために再成形パラメータの単一のセットを生成するために、集約される。前方及び/又は後方再成形ルマ及び/又はクロマコードワードについて、(例えば、同じシーンを表す、等)複数の画像の再成形パラメータの単一のセットを取得する例示的な手順は、以下の表9に示される。
表9
幾つかの実施形態では、HFFRモードにおけるように、HERRモードでは、線形及びセグメントに基づくSLBC前方及び/又は後方再成形動作は、3つのレベルのスライディングウインドウに基づくスライディングウインドウ動作により生成された統計を用いてビデオ符号化動作の部分として実行される
<例示的な処理フロー>
図4Dは、本発明の一実施形態による例示的な処理フローを示す。幾つかの実施形態では、1つ以上のコンピューティング装置又はコンポーネント(例えば、符号化装置/モジュール、トランスコーディング装置/モジュール、復号装置/モジュール、逆トーンマッピング装置/モジュール、トーンマッピング装置/モジュール、メディア装置/モジュール、等)は、この処理フローを実行してよい。ブロック4002で、画像処理装置(例えば、符号化ブロック120等)は、第1ダイナミックレンジの第1画像及び第1画像に対応する第2画像について、3次元(3D)マッピング統計を生成する。第2画像は、第1ダイナミックレンジと異なる第2ダイナミックレンジのものである。
ブロック4004で、画像処理装置は、多変量多重回帰(Multivariate multiple regression (MMR))係数を、レターボックス制約無しで、3Dマッピング統計により少なくとも部分的に構築されたMMR行列を使用して定式化される最適化問題を解くことにより、生成する。MMR係数は、第2画像のクロマコードワード値を予測するためのクロママッピングを生成するために使用される。
ブロック4006で、画像処理装置は、第1画像又は第2画像のうちの少なくとも1つの中にレターボックスが存在するか否かを決定する。
ブロック4008で、第1画像又は第2画像のうちの少なくとも1つの中にレターボックスが存在すると決定することに応答して、画像処理装置は、制約無し最適化問題を解くことにより生成されたクロママッピングが第2画像の中のクロマコードワード値を正確に予測するか否かを決定する。
ブロック4010で、画像処理装置は、第1画像、又は第2画像を近似する第3画像、のうちの1つを提供して、受信側装置により第1画像、又は第2画像を近似する第3画像、のうちの1つを少なくとも後方成形することにより生成された再構成画像を、受信側装置と関連して動作するディスプレイ装置によりレンダリングさせる。
一実施形態では、3Dマッピング統計は、第1画像及び第2画像のうちの一方又は両方が表される色空間の各色チャネルの中の最小及び最大コードワード値に従い生成される複数のビンパーティション動態を有するヒストグラムにより表される。
一実施形態では、3Dマッピング統計は、複数のビンパーティションを有するヒストグラムにより表され、画像処理装置は、複数のビンパーティションのうちの各ビンパーティションに属するコードワードに基づき、重心のセットを計算するよう更に構成される。
一実施形態では、第3画像は、前方再成形された標準ダイナミックレンジ(SDR)画像であり、第1画像は、ソース高ダイナミックレンジ(HDR)画像を表し、第2画像は、ソースHDR画像からコンテンツマッピングを通じて生成される参照SDR画像を表す。
一実施形態では、第2画像はソース高ダイナミックレンジ(HDR)画像であり、第1画像は、ソースHDR画像から生成される前方再成形された標準ダイナミックレンジ(SDR)画像を表し、第3画像は、ソースHDR画像を近似する再構成HDR画像を表し、再構成HDR画像は、受信側装置にビットストリームの中で提供される後方再成形画像メタデータに基づき、前方再成形されたSDR画像から後方再成形を通じて生成される。
一実施形態では、画像処理装置は、ディスプレイ装置と共に動作するビデオデコーダに、符号化ビットストリームの中で前方再成形SDR画像と共に後方再成形画像メタデータを提供することを実行するよう更に構成される。後方再成形画像メタデータは、前方再成形SDR画像内のクロマコードワード値を再構成HDR画像内の再構成コードワード値へと後方再成形するクロママッピングを生成するために、ビデオデコーダにより使用される画像メタデータを含む。
一実施形態では、画像処理装置は、第1画像又は第2画像のうちの少なくとも1つの中にレターボックスが存在しないと決定することに応答して、制約無し最適化問題を解くことにより生成されたクロママッピングを使用して、第2画像の中のクロマコードワード値を生成することを実行するよう更に構成される。
一実施形態では、画像処理装置は、制約無し最適化問題を解くことにより生成されたクロママッピングが第2画像の中のクロマコードワード値を正確に予測しないと決定したことに応答して、制約有り最適化問題を解くことにより生成された新しいMMR係数からのクロママッピングの再生成を実行してMMR係数セットを取得し、制約有り最適化問題は、(a)制約無しMMR行列と、(b)第1ダイナミックレンジの特定のレターボックスクロマコードワード値を第2ダイナミックレンジの特定のレターボックスクロマコードワード値に関連付ける特定のレターボックス制約と、により定式化され、
新しいMMR係数から再生成されたクロママッピングを使用して、第3画像のクロマコードワード値を生成することを実行するよう更に構成される。
一実施形態では、3Dマッピング統計は、(a)第1ダイナミックレンジのソース画像を表す第1画像及び(b)第2ダイナミックレンジの参照画像の個々のピクセル値を使用して、ピクセルレベルで生成され、
第2ダイナミックレンジの参照画像は、第1ダイナミックレンジのソース画像からマッピングされたコンテンツであり、
画像処理装置は、
第2ダイナミックレンジの参照画像の中にクリッピングが存在するか否かを決定し、
第2ダイナミックレンジの参照画像の中にクリッピングが存在すると決定したことに応答して、3Dマッピング統計をトレーニングされた3Dマッピング統計とマージすることにより、3Dマッピング統計を変更することを実行するよう更に構成される。
一実施形態では、トレーニングされた3Dマッピング統計は、第1ダイナミックレンジの第1トレーニング画像と第2ダイナミックレンジの第2トレーニング画像とのペアを含むトレーニングデータセットから生成される。
一実施形態では、トレーニングされた3Dマッピング統計は、色空間種類及び電気光伝達関数種類に基づき、3Dマッピング統計の複数のセットから選択された3Dマッピング統計のセットで構成される。
一実施形態では、3Dマッピング統計は、(a)第1ダイナミックレンジのソース画像を表す第1画像のサンプリング点ピクセル値と(b)第2ダイナミックレンジの対応するサンプリング点ピクセル値とを使用してサンプリング点レベルで生成され、
第2ダイナミックレンジの対応するサンプリング点ピクセル値は、第1ダイナミックレンジのソース画像のサンプリング点ピクセル値からマッピングされたコンテンツである。
一実施形態では、サンプリング点ピクセル値は、3Dグリッド又は密度分布のうちの1つ以上を使用して選択されたサンプリング点のものである。
一実施形態では、第1画像は、ソース高ダイナミックレンジ(HDR)画像を表し、第3画像は、前方再成形を通じてソースHDR画像から生成される前方再成形標準ダイナミックレンジ(SDR)画像を表し、
クロママッピングは、クロマ前方再成形マッピングを表し、
画像処理装置は、レターボックス制約の無い3Dマッピング統計により少なくとも部分的に構築された第2MMR行列を使用して定式化される第2最適化問題を解くことにより、第2MMR係数を生成し、第2MMR係数は、ソースHDR画像を近似する再構成HDR画像の再構成HDRクロマコードワード値を予測する第2クロママッピングを生成するために使用され、
再構成HDR画像をディスプレイ装置によりレンダリングさせることを実行するよう更に構成される。
一実施形態では、制約無し最適化問題を解くことにより生成されるクロママッピングが第2画像の中のクロマコードワード値を生成するために使用されるか否かを決定することは、クロママッピングが、1つ以上の範囲閾値により指定される特定の許容範囲で、第2ダイナミックレンジのレターボックスクロマ値を予測するか否かを決定することを含む。
一実施形態では、3Dマッピング統計は、第1画像のフレーム固有3Dマッピング統計のセットを表す。
一実施形態では、第1画像は、シーンを表す第1ダイナミックレンジの複数の画像の中のものであり、MMR行列は、シーンを表す第1ダイナミックレンジの複数の画像のフレーム固有3Dマッピング統計の複数のセットから生成されたシーン固有3Dマッピング統計により構築される。
一実施形態では、MMR行列は、第1ダイナミックレンジの複数の画像のフレーム固有3Dマッピング統計の複数セットから1つ以上のスライディングウインドウにより構築される。
一実施形態では、第3画像は、前方再成形画像を表し、第2ダイナミックレンジの第3画像は、単一レイヤ下位互換性のある符号化ビットストリームの中で、ディスプレイ装置と共に動作するビデオデコーダに提供される。
一実施形態では、第1又は第2画像のうちの少なくとも1つは、IPT PQ(ICtCp)色空間、YCBCr色空間、RGB色空間、Rec.2020色空間、Rec.709色空間、拡張ダイナミックレンジ(EDR)色空間、ガンマ/HLG/PQ色空間、又は標準ダイナミックレンジ(SDR)色空間、等のうちの1つで表される。
一実施形態では、第1画像又は第2画像のうちの少なくとも1つは、8、9、10、11、12、13、14、又は15+ビットのうちの1つのビット深さのビデオ信号の中の同じダイナミックレンジの画像のシーケンスの中に符号化される。
図4Eは、本発明の一実施形態による例示的な処理フローを示す。幾つかの実施形態では、1つ以上のコンピューティング装置又はコンポーネント(例えば、符号化装置/モジュール、トランスコーディング装置/モジュール、復号装置/モジュール、逆トーンマッピング装置/モジュール、トーンマッピング装置/モジュール、メディア装置/モジュール、等)は、この処理フローを実行してよい。ブロック4022で、画像処理装置(例えば符号化ブロック120等)は、1つ以上のソースHDR画像の中で、ルマ前方再成形マッピングに少なくとも部分的に基づき前方再成形により1つ以上のソースHDR画像から生成された1つ以上のSDR画像の中の前方再成形標準ダイナミックレンジ(SDR)ルマコードワード値へのルマ前方再成形マッピングによりマッピングされた1つ以上の高ダイナミックレンジ(HDR)ルマコードワード値のセットを識別する。
ブロック4024で、画像処理装置は、1つ以上のHDRルマコードワード値のセットを用いて、加重HDRルマコードワード値を決定する。
ブロック4026で、画像処理装置は、前方再成形SDRルマコードワード値を加重HDRルマコードワード値にマッピングする後方再成形ルママッピングを少なくとも含む後方再成形マッピングを構成する。後方再成形マッピングは、1つ以上のソースHDR画像を近似するために、1つ以上の再成形SDR画像を1つ以上の再構成HDR画像に後方再成形するために使用される。
ブロック4028で、画像処理装置は、1つ以上の再構成HDR画像をレンダリングするために、後方再成形マッピングから少なくとも部分的に生成された後方再成形画像メタデータを、1つ以上の前方再成形画像と共に受信側装置に提供させる。
一実施形態では、ルマ前方再成形マッピングは、コンテンツマップドSDRコードワード値の分布から生成されるSDRヒストグラムから構成されるSDR累積密度関数(CDF)を、コンテンツマッピング動作を通じてコンテンツマップドSDRコードワード値を生成するために使用されるソースHDRコードワード値の分布から生成されるHDRヒストグラムから構成されるHDR CDFと照合することにより構築される。
図4Fは、本発明の一実施形態による例示的な処理フローを示す。幾つかの実施形態では、1つ以上のコンピューティング装置又はコンポーネント(例えば、符号化装置/モジュール、トランスコーディング装置/モジュール、復号装置/モジュール、逆トーンマッピング装置/モジュール、トーンマッピング装置/モジュール、メディア装置/モジュール、等)は、この処理フローを実行してよい。ブロック4042で、画像処理装置(例えば復号ブロック130等)は、第1ダイナミックレンジの再構成画像を生成するために、後方再成形画像メタデータを含むビデオ信号を受信する。再構成画像は、第1ダイナミックレンジの第1画像を近似するためのものである。再構成画像は、後方再成形画像メタデータに基づき、第1ダイナミックレンジと異なる第2ダイナミックレンジの第2画像を後方再成形により生成される。第2画像は第1画像に対応する。
後方再成形画像メタデータは、多変量多重回帰(multivariate multiple regression (MMR))係数から生成されたクロママッピングを含む。MMR係数は、第1画像及び第1画像に対応する第2画像について生成される3次元(3D)マッピング統計から少なくとも部分的に構築されるMMR行列を使用して定式化される最適化問題を解くことにより生成される。
ブロック4044で、画像処理装置は、ビデオ信号から第2画像を復号する。
ブロック4046で、画像処理装置は、後方再成形画像メタデータに基づき、第2ダイナミックレンジの第2画像を後方再成形して、第1ダイナミックレンジの再構成画像を生成する。
ブロック4048で、画像処理装置は、再構成画像をディスプレイ装置によりレンダリングさせる。
図4Gは、本発明の一実施形態による例示的な処理フローを示す。幾つかの実施形態では、1つ以上のコンピューティング装置又はコンポーネント(例えば、符号化装置/モジュール、トランスコーディング装置/モジュール、復号装置/モジュール、逆トーンマッピング装置/モジュール、トーンマッピング装置/モジュール、メディア装置/モジュール、等)は、この処理フローを実行してよい。ブロック4062で、画像処理装置(例えば復号ブロック130等)は、1つ以上の再構成高ダイナミックレンジ(HDR)画像を生成するために、後方再成形画像メタデータを含むビデオ信号を受信する。1つ以上の再構成HDR画像は、1つ以上のソースHDR画像を近似する。1つ以上の再構成HDR画像は、後方再成形画像メタデータに基づき、1つ以上のソースHDR画像に対応する1つ以上の前方再成形SDR画像を後方再成形することにより生成される。
後方再成形画像メタデータは、1つ以上の前方再成形SDR画像の中の前方再成形SDRルマコードワード値を加重HDRルマコードワード値にマッピングする少なくとも後方再成形ルママッピングを含む後方再成形マッピングから少なくとも部分的に生成される。1つ以上のHDRルマコードワード値のセットは、加重HDRルマコードワード値を決定するために使用される。1つ以上のHDRルマコードワード値のセットは、1つ以上のHDR画像の中で識別される。1つ以上のソースHDR画像の中の1つ以上のHDRルマコードワード値のセットの中の各HDRルマコードワード値は、ルマ前方再成形マッピングにより、1つ以上の前方再成形SDR画像の中の前方再成形SDRルマコードワード値にマッピングされる。1つ以上の前方再成形SDR画像は、ルマ前方再成形マッピングに少なくとも部分的に基づき、前方再成形により、1つ以上のソースHDR画像から生成される。
ブロック4064で、画像処理装置は、ビデオ信号から1つ以上の前方再成形SDR画像を復号する。
ブロック4066で、画像処理装置は、後方再成形画像メタデータに基づき、1つ以上の前方再成形画像を後方再成形して、1つ以上の再構成HDR画像を生成する。
ブロック4068で、画像処理装置は、1つ以上の再構成HDR画像をディスプレイ装置によりレンダリングさせる。
一実施形態では、ディスプレイ装置、モバイル装置、セットトップボックス、マルチメディア装置、等のようなコンピューティング装置は、前述の方法のうちのいずれかを実行するよう構成される。一実施形態では、機器は、プロセッサを含み、前述の方法のうちのいずれかを実行するよう構成される。一実施形態では、非一時的コンピュータ可読記憶媒体は、1つ以上のプロセッサにより実行されると、前述の方法のうちのいずれかの実行を生じるソフトウェア命令を格納している。
一実施形態では、コンピューティング装置は、1つ以上のプロセッサと1つ以上の記憶媒体とを含み、該記憶媒体は、1つ以上のプロセッサにより実行されると、前述の方法のうちの何れかの実行を生じる命令のセットを格納している。
別個の実施形態が本願明細書に記載されたが、本願明細書で議論した実施形態及び/又は部分的実施形態の任意の組み合わせは、更なる実施形態を形成するために結合されてよい。
<例示的なコンピュータシステムの実装>
本発明の実施形態は、コンピュータシステム、電子回路及びコンポーネント内に構成されるシステム、マイクロコントローラのような集積回路(IC)装置、FPGA(field programmable gate array)、又は別の構成可能な又はプログラム可能な論理装置(PLD)、個別時間又はデジタル信号プロセッサ(DSP)、特定用途向けIC(ASIC)、及び/又はこのようなシステム、装置、又はコンポーネントのうちの1つ以上を含む機器により実装されてよい。コンピュータ及び/又はICは、本願明細書に記載したような拡張ダイナミックレンジを有する画像の適応型知覚量子化に関連する命令を実行し、制御し、又は実行してよい。コンピュータ及び/又はICは、本願明細書に記載した適応型知覚量子化処理に関連する種々のパラメータ又は値のうちのいずれかを計算してよい。画像及びビデオの実施形態は、ハードウェア、ソフトウェア、ファームウェア、及びそれらの種々の組み合わせで実施されてよい。
本発明の特定の実装は、プロセッサに本発明の方法を実行させるソフトウェア命令を実行するコンピュータプロセッサを含む。例えば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダ、等の中の1つ以上のプロセッサは、プロセッサのアクセス可能なプログラムメモリ内のソフトウェア命令を実行することにより、上述のHDR画像の適応型知覚量子化に関連する方法を実施してよい。本発明は、プログラムプロダクトの形式で提供されてもよい。プログラムプロダクトは、データプロセッサにより実行されるとデータプロセッサに本発明の方法を実行させる命令を含むコンピュータ可読信号のセットを運ぶ任意の非一時的媒体を含んでよい。本発明によるプログラムプロダクトは、種々の形式のうちの任意のものであってよい。プログラムプロダクトは、例えば、フロッピーディスクを含む磁気データ記憶媒体、ハードディスクドライブ、CDROM、DVDを含む光学データ記憶媒体、ROM、フラッシュRAMを含む電子データ記憶媒体、等のような物理媒体を含んでよい。プログラムプロダクト上のコンピュータ可読信号は、光学的に圧縮又は暗号化されてよい。
コンポーネント(例えば、ソフトウェアモジュール、プロセッサ、部品、装置、回路、等)が以上で言及されたが、特に断りのない限り、それらのコンポーネントの言及(「手段」の言及を含む)は、それらのコンポーネントの均等物、記載したコンポーネントの機能を実行する(例えば、機能的に均等な)任意のコンポーネント、本発明の図示の例示的な実施形態における機能を実行する開示の構造と構造的に等しくないコンポーネントを含むと解釈されるべきである。
一実施形態によると、本願明細書に記載の木j通は、1つ以上の専用コンピューティング装置により実装される。専用コンピューティング装置は、技術を実行するためにハード結線されてよく、又は技術を実行するために永久的にプログラムされた1つ以上の特定用途向け集積回路(ASIC)又はフィールドプログラマブルゲートアレイ(FPGA)のようなデジタル電子装置を含んでよく、又はファームウェア、メモリ、他の記憶装置又はそれらの組み合わせの中のプログラム命令に従い技術を実行するためにプログラムされた1つ以上の汎用ハードウェアプロセッサを含んでよい。このような専用コンピューティング装置は、技術を達成するために、カスタムハードワイヤドロジック、ASIC、又はFPGAをカスタムプログラミングと結合してもよい。専用コンピューティング装置は、デスクトップコンピュータシステム、ポータブルコンピュータシステム、ハンドヘルド装置、ネットワーク装置、又は技術を実装するためにハードワイヤド及び/又はプログラムロジックを組み込む任意の他の装置であってよい。
例えば、図5は、本発明の一実施形態が実装され得るコンピュータシステム500を示すブロック図である。コンピュータシステム500は、情報を通信するためのバス502又は他の通信メカニズム、及び情報を処理するためにバス502に結合されたハードウェアプロセッサ504を含む。ハードウェアプロセッサ504は、例えば、汎用マイクロプロセッサであってよい。
コンピュータシステム500は、バス502に結合され、プロセッサ504により実行されるべき情報及び命令を格納するRAM(random access memory)又は他の動的記憶装置のようなメインメモリ506も含む。メインメモリ506は、プロセッサ504により実行されるべき命令の実行中に、時間変数又は他の中間情報を格納するためにも使用されてよい。このような命令は、プロセッサ504によりアクセス可能な非一時的記憶媒体に格納されるとき、コンピュータシステム500を、命令で指定された動作を実行するようカスタマイズされた専用マシンにする。
コンピュータシステム500は、バス502に結合され、プロセッサ504のための静的情報及び命令を格納する、読み出し専用メモリ(ROM)508又は他の静的記憶装置を更に含む。情報及び命令を格納するために、磁気ディスク又は光ディスクのような記憶装置510が設けられ、バス502に結合される。
コンピュータシステム500は、バス502を介して、コンピュータユーザに情報を表示する液晶ディスプレイのようなディスプレイ512に結合されてよい。英数字及び他のキーを含む入力装置514は、プロセッサ504に情報及びコマンド選択を通信するために、バス502に結合される。別の種類のユーザ入力装置は、プロセッサ504に方向情報及びコマンド選択を通信するための、及びディスプレイ512上のカーソルの動きを制御するための、マウス、トラックボール、又はカーソル方向キーのようなカーソル制御516である。この入力装置は、標準的に、第1軸(例えばx)及び第2軸(例えばy)の2軸の2つの自由度を有し、装置が平面内で位置を指定することを可能にする。
コンピュータシステム500は、コンピュータシステムと結合してコンピュータシステム500を専用マシンにする又はプログラムする、カスタマイズされたハードワイヤドロジック、1つ以上のASIC又はFPGA、ファームウェア及び/又はプログラムロジックを用いて、本願明細書に記載の技術を実装してよい。一実施形態によると、本願明細書に記載の技術は、プロセッサ504がメインメモリ506に含まれる1つ以上の命令の1つ以上のシーケンスを実行することに応答して、コンピュータシステム500により実行される。このような命令は、記憶装置510のような別の記憶媒体からメインメモリ506に読み込まれてよい。メインメモリ506に含まれる命令のシーケンスの実行は、プロセッサ504に本願明細書に記載の処理ステップを実行させる。代替の実施形態では、ハードワイヤド回路は、ソフトウェア命令の代わりに又はそれと結合して使用されてよい。
本願明細書で使用される用語「記憶媒体」は、機械を特定の方法で動作させるデータ及び/又は命令を格納する任意の非一時的媒体を表す。このような記憶媒体は、不揮発性媒体及び/又は揮発性媒体を含んでよい。不揮発性媒体は、例えば、記憶装置510のような光学又は磁気ディスクを含む。揮発性媒体は、メインメモリ506のような動的メモリを含む。記憶媒体の一般的形式は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、固体ドライブ、磁気テープ、又は任意の他の磁気データ記憶媒体、CD−ROM、任意の他の光学データ記憶媒体、ホールのパターンを有する任意の物理媒体、RAM、PROM、EPROM、FLASH(登録商標)−EPROM、NVRAM、任意の他のメモリチップ又はカートリッジを含む。
記憶媒体は、伝送媒体と異なるが、それと関連して使用されてよい。伝送媒体は、記憶媒体の間で情報を転送する際に関連する。例えば、伝送媒体は、バス502を含むワイヤを含む、同軸ケーブル、銅線、光ファイバを含む。伝送媒体は、無線波及び赤外線データ通信の間に生成されるような、音響又は光波の形式も取りうる。
種々の形式の媒体は、実行のためにプロセッサ504に1つ以上の命令の1つ以上のシーケンスを運ぶ際に関連してよい。例えば、命令は、最初に、リモートコンピュータの磁気ディスク又は固体ドライブにより運ばれてよい。リモートコンピュータは、その動的メモリに命令をロードし、該命令をモデムを用いて電話線を介して送信できる。コンピュータシステム500のローカルにあるモデムは、電話線でデータを受信し、赤外線送信機を用いてデータを赤外線信号に変換できる。赤外線検出器は、赤外線信号の中で運ばれたデータを受信し、適切な回路が該データをバス502に配置できる。バス502は、データをメインメモリ506に運び、そこからプロセッサ504が命令を読み出し実行する。メインメモリ506により受信された命令は、任意で、プロセッサ504による実行の前又は後に記憶装置510に格納されてよい。
コンピュータシステム500は、バス502に結合された通信インタフェース518も含む。通信インタフェース518は、ローカルネットワーク522に接続されるネットワークリンク520との2方向データ通信結合を提供する。例えば、通信インタフェース518は、ISDN(integrated services digital network)カード、ケーブルモデム、衛星モデム、又は対応する種類の電話線にデータ通信接続を提供するモデムであってよい。別の例として、通信インタフェース518は、互換LANにデータ通信接続を提供するLAN(local area network)カードであってよい。無線リンクも実装されてよい。任意のこのような実装では、通信インタフェース518は、種々の種類の情報を表すデジタルデータストリームを運ぶ電気、電磁気、又は光信号を送受信する。
ネットワークリンク520は、標準的に、1つ以上のネットワークを通じて他のデータ装置にデータ通信を提供する。例えば、ネットワークリンク520は、ローカルネットワーク522を通じてホストコンピュータ524に又はISP(Internet Service Provider)526により運用されるデータ機器に接続を提供してよい。ISP526は、また、現在一般に「インターネット」528と呼ばれるワールドワイドパケットデータ通信ネットワークを通じて、データ通信サービスを提供する。ローカルネットワーク522及びインターネット528は、デジタルデータストリームを運ぶ電気、電磁気、又は光信号の両方を使用する。コンピュータシステム500へ及びそれからのデジタルデータを運ぶ種々のネットワークを通じる信号及びネットワークリンク520上の信号および通信インタフェース518を通じる信号は、伝送媒体の例示的な形式である。
コンピュータシステム500は、ネットワーク、ネットワークリンク520、及び通信インタフェース518を通じて、プログラムコードを含むメッセージを送信しデータを受信できる。インターネットでは、例えば、サーバ530は、インターネット528、ISP526、ローカルネットワーク522、及び通信インタフェース518を通じて、適切なプログラムのための要求されたコードを送信してよい。
受信したコードは、プロセッサ504により受信されるとプロセッサ504により実行され、及び/又は後の実行のために記憶装置510若しくは他の不揮発性記憶装置に格納される。
<均等物、拡張機能、代替按、等(Equivalents, Extensions, Alternatives and Miscellaneous)>
以上の明細書において、本発明の実施形態は、実装毎に変化し得る多数の特定の詳細を参照して説明された。従って、本発明が何であるかの単独及び排他的な指示、及び出願人が本発明であることを意図するものは、本願により、いかなる後の補正を含む、特定の形式で発行される請求の範囲に記載される。このような請求の範囲に含まれる用語について本願明細書に明示的に記載された任意の定義は、請求の範囲において使用されるこのような用語の意味を支配するべきである。従って、請求の範囲に明示的に記載されないいかなる限定、要素、特徴、利点、又は属性は、いかなる方法でも、請求の範囲の範囲を限定すべきではない。明細書及び図面は、従って、限定的意味では無く、説明であると考えられるべきである。
本発明の種々の態様は、以下に列挙する例示的な実施形態(enumerated example embodiment:EEE)から明らかであり得る。
EEE1. 画像データを符号化する方法であって、
第1ダイナミックレンジの第1画像及び前記第1画像に対応する第2画像の3次元(3D)マッピング統計を生成するステップであって、前記第2画像は前記第1ダイナミックレンジと異なる第2ダイナミックレンジのものである、ステップと、
レターボックス制約を有しないで前記3Dマッピング統計により少なくとも部分的に構築された多変量多重回帰(multivariate multiple regression (MMR))行列を用いて定式化された最適化問題を解くことにより、係数を生成するステップであって、前記MMR係数は、前記第2画像のクロマコードワード値を予測するクロママッピングを生成するために使用される、ステップと、
前記第1画像又は前記第2画像のうちの少なくとも1つにレターボックスが存在するか否かを決定するステップと、
前記制約無し最適化問題を解くことにより生成された前記クロママッピングが前記第2画像の中のクロマコードワード値を正確に予測するか否かを決定するステップと、
前記第1画像又は前記第2画像のうちの少なくとも1つにレターボックスが存在しないと決定したことに応答して、前記制約無し最小二乗問題を解くことにより生成された前記クロママッピングを使用して、前記第2画像の中のクロマコードワード値を生成するステップと、
ディスプレイ装置によりレンダリングされるべき前記第1画像又は前記第2画像を近似する第3画像のうちの1つを少なくとも後方再成形することにより、受信側装置により再構成画像を生成させるために、前記第1画像、又は前記第2画像を近似する第3画像のうちの前記1つを前記受信側装置に提供するステップと、を含む方法。
EEE2. 前記第3画像は、前方再成形された標準ダイナミックレンジ(SDR)画像であり、前記第1画像は、ソース高ダイナミックレンジ(HDR)画像を表し、前記第2画像は、前記ソースHDR画像からコンテンツマッピングを通じて生成される参照SDR画像を表す、EEE1に記載の方法。
EEE3. 前記第2画像はソース高ダイナミックレンジ(HDR)画像であり、前記第1画像は、前記ソースHDR画像から生成される前方再成形された標準ダイナミックレンジ(SDR)画像を表し、前記第3画像は、前記ソースHDR画像を近似する再構成HDR画像を表し、前記再構成HDR画像は、前記受信側装置にビットストリームの中で提供される後方再成形画像メタデータに基づき、前記前方再成形されたSDR画像から後方再成形を通じて生成される、EEE1に記載の方法。
EEE4. 後方再成形画像メタデータを前記前方再成形SDR画像と共に符号化ビットストリームの中で、前記ディスプレイ装置と共に動作するビデオデコーダに提供するステップ、を更に含み、
前記後方再成形画像メタデータは、前記クロママッピングを生成して前記前方再成形SDR画像の中のクロマコードワード値を前記再構成HDR画像の中の再構成コードワード値に後方再成形するために前記ビデオデコーダにより使用される画像メタデータを含む、EEE3に記載の方法。
EEE5. 前記第1画像又は前記第2画像のうちの少なくとも1つの中にレターボックスが存在しないと決定することに応答して、制約無し最適化問題を解くことにより生成された前記クロママッピングを使用して、前記第2画像の中のクロマコードワード値を生成するステップを更に含むEEE1乃至4のいずれか一項に記載の方法。
EEE6. 前記制約無し最適化問題を解くことにより生成された前記クロママッピングが前記第2画像の中のクロマコードワード値を正確に予測しないと決定したことに応答して、制約有り最適化問題を解くことにより生成された新しいMMR係数からの前記クロママッピングの再生成を実行してMMR係数セットを取得するステップであって、前記制約有り最適化問題は、(a)前記制約無しMMR行列と、(b)前記第1ダイナミックレンジの特定のレターボックスクロマコードワード値を前記第2ダイナミックレンジの特定のレターボックスクロマコードワード値に関連付ける特定のレターボックス制約と、により定式化される、ステップと、
前記新しいMMR係数から再生成された前記クロママッピングを使用して、前記第3画像のクロマコードワード値を生成するステップと、を更に含むEEE1乃至5のいずれか一項に記載の方法。
EEE7. 前記3Dマッピング統計は、(a)前記第1ダイナミックレンジのソース画像を表す前記第1画像及び(b)前記第2ダイナミックレンジの参照画像の個々のピクセル値を使用して、ピクセルレベルで生成され、
前記第2ダイナミックレンジの前記参照画像は、前記第1ダイナミックレンジの前記ソース画像からマッピングされたコンテンツであり、
前記方法は、
前記第2ダイナミックレンジの前記参照画像の中にクリッピングが存在するか否かを決定するステップと、
前記第2ダイナミックレンジの前記参照画像の中にクリッピングが存在すると決定したことに応答して、前記3Dマッピング統計をトレーニングされた3Dマッピング統計とマージすることにより、前記3Dマッピング統計を変更するステップと、
を更に含むEEE1乃至6のいずれか一項に記載の方法。
EEE8. 前記トレーニングされた3Dマッピング統計は、前記第1ダイナミックレンジの第1トレーニング画像と前記第2ダイナミックレンジの第2トレーニング画像とを含むトレーニングデータセットから生成される、EEE7に記載の方法。
EEE9. 前記トレーニングされた3Dマッピング統計は、色空間種類及び電気光伝達関数種類に基づき、3Dマッピング統計の複数のセットから選択された3Dマッピング統計のセットで構成される、EEE7に記載の方法。
EEE10. 前記3Dマッピング統計は、(a)前記第1ダイナミックレンジのソース画像を表す前記第1画像のサンプリング点ピクセル値と(b)前記第2ダイナミックレンジの対応するサンプリング点ピクセル値とを使用してサンプリング点レベルで生成され、
前記第2ダイナミックレンジの前記対応するサンプリング点ピクセル値は、前記第1ダイナミックレンジの前記ソース画像のサンプリング点ピクセル値からマッピングされたコンテンツである、EEE1乃至6のいずれか一項に記載の方法。
EEE11. 前記サンプリング点ピクセル値は、3Dグリッド又は密度分布のうちの1つ以上を使用して選択するサンプリング点のものである、EEE10に記載の方法。
EEE12. 前記第1画像は、ソース高ダイナミックレンジ(HDR)画像を表し、前記第3画像は、前方再成形を通じて前記ソースHDR画像から生成される前方再成形標準ダイナミックレンジ(SDR)画像を表し、
前記クロママッピングは、クロマ前方再成形マッピングを表し、
前記方法は、レターボックス制約の無い前記3Dマッピング統計により少なくとも部分的に構築された第2MMR行列を使用して定式化される第2最適化問題を解くことにより、第2MMR係数を生成するステップであって、前記第2MMR係数は、前記ソースHDR画像を近似する再構成HDR画像の再構成HDRクロマコードワード値を予測する第2クロママッピングを生成するために使用される、ステップと、
前記再構成HDR画像をディスプレイ装置によりレンダリングさせるステップと、
を更に含むEEE10又は11に記載の方法。
EEE13. 前記制約無し最適化問題を解くことにより生成される前記クロママッピングが前記第2画像の中のクロマコードワード値を生成するために使用されるか否かを決定する前記ステップは、前記クロママッピングが、1つ以上のレンジ閾値により指定される特定の許容範囲で、前記第2ダイナミックレンジのレターボックスクロマ値を予測するか否かを決定するステップを含む、EEE1乃至12のいずれか一項に記載の方法。
EEE14. 前記3Dマッピング統計は、前記第1画像のフレーム固有3Dマッピング統計のセットを表す、EEE1乃至13のいずれか一項に記載の方法。
EEE15. 前記第1画像は、シーンを表す前記第1ダイナミックレンジの複数の画像の中のものであり、前記MMR行列は、前記シーンを表す前記第1ダイナミックレンジの前記複数の画像のフレーム固有3Dマッピング統計の複数のセットから生成されたシーン固有3Dマッピング統計により構築される、EEE1乃至14のいずれか一項に記載の方法。
EEE16. 前記MMR行列は、前記第1ダイナミックレンジの複数の画像のフレーム固有3Dマッピング統計の複数セットからの1つ以上のスライディングウインドウにより構築される、請求項1乃至15のいずれか一項に記載の方法。
EEE17. 前記第3画像は、前方再成形画像を表し、前記第2ダイナミックレンジの前記第3画像は、単一レイヤ後方互換符号化ビットストリームの中で、前記ディスプレイ装置と共に動作するビデオデコーダに提供される、請求項1乃至16のいずれか一項に記載の方法。
EEE18. 前記第1又は前記第2画像のうちの少なくとも1つは、IPT PQ(ICtCp)色空間、YCBCr色空間、RGB色空間、Rec.709色空間、拡張ダイナミックレンジ(EDR)色空間、ガンマ/HLG/PQ色空間、又は標準ダイナミックレンジ(SDR)色空間、のうちの1つで表される、EEE1乃至17のいずれか一項に記載の方法。
EEE19. 前記第1画像又は前記第2画像のうちの少なくとも1つは、8、9、10、11、12、13、14、又は15+ビットのうちの1つのビット深さのビデオ信号の中の同じダイナミックレンジの画像のシーケンスの中に符号化される、EEE1乃至18のいずれか一項に記載の方法。
EEE20. 前記3Dマッピング統計は、前記第1画像及び前記第2画像のうちの一方又は両方が表される色空間の各色チャネルの中の最小及び最大コードワード値に従い生成される複数のビンパーティション動態を有するヒストグラムにより表される、EEE1乃至19のいずれか一項に記載の方法。
EEE21. 前記3Dマッピング統計は、複数のビンパーティションを有するヒストグラムにより表され、前記方法は、前記複数のビンパーティションのうちの各ビンパーティションに属するコードワードに基づき、重心のセットを計算するステップ、を更に含むEEE1乃至20のいずれか一項に記載の方法。
EEE22. 画像データを符号化する方法であって、
1つ以上のソース高ダイナミックレンジ(HDR)画像の中で、前記1つ以上のHDR画像から前方再成形によりルマ前方再成形マッピングに少なくとも部分的に基づき生成された1つ以上の標準ダイナミックレンジ(SDR)画像内の前方再成形SDRルマコードワード値に、前記ルマ前方再成形マッピングによりマッピングされた1つ以上のHDRルマコードワード値のセットを識別するステップと、
前記1つ以上のHDRルマコードワード値のセットを用いて、加重HDRルマコードワード値を決定するステップと、
前記前方再成形SDRルマコードワード値を前記加重HDRルマコードワード値にマッピングする後方再成形ルママッピングを少なくとも含む後方再成形マッピングを構成するステップであって、前記後方再成形マッピングは、前記1つ以上のHDR画像を近似するために前記1つ以上の再成形SDR画像を1つ以上の再構成HDR画像へと後方再成形するために使用される、ステップと、
前記1つ以上の再構成HDR画像をレンダリングするために、前記後方再成形マッピングから少なくとも部分的に生成された後方再成形画像メタデータを、前記1つ以上の前方再成形画像と共に受信側装置に提供させるステップと、を含む方法。
EEE23. 前記ルマ前方再成形マッピングは、コンテンツマップSDRコードワード値の分布から生成されるSDRヒストグラムから構成されるSDR累積密度関数(CDF)を、コンテンツマッピング動作を通じて前記コンテンツマップSDRコードワード値を生成するために使用されるソースHDRコードワード値の分布から生成されるHDRヒストグラムから構成されるHDR CDFと照合することにより構築される、EEE22に記載の方法。
EEE24. 画像データを復号する方法であって、
後方再成形画像メタデータを含むビデオ信号を受信して、ダイナミックレンジの再構成画像を生成するステップであって、前記再構成画像は前記第1ダイナミックレンジの第1画像を近似するものであり、前記再構成画像は、前記後方再成形画像メタデータに基づき、前記第1ダイナミックレンジと異なる第2ダイナミックレンジの第2画像を後方再成形することにより生成され、前記第2画像は前記第1画像に対応し、前記後方成形画像メタデータは、多変量多重回帰(multivariate multiple regression (MMR))係数から生成されるクロママッピングを含み、前記MMR係数は、前記第1画像及び前記第1画像に対応する前記第2画像について生成された3次元(3D)マッピング統計から少なくとも部分的に構築されたMMR行列を使用して定式化される最適化問題を解くことにより生成される、ステップと、
前記ビデオ信号から前記第2画像を復号するステップと、
前記後方再成形画像メタデータに基づき、前記第2ダイナミックレンジの前記第2画像を後方再成形して、前記第1ダイナミックレンジの前記再構成画像を生成するステップと、
前記再構成画像をディスプレイ装置によりレンダリングさせるステップと、
を含む方法。
EEE25. 画像データを復号する方法であって、
後方再成形画像メタデータを含むビデオ信号を受信して、1つ以上の再構成高ダイナミックレンジ(HDR)画像を生成するステップであって、前記1つ以上の再構成HDR画像は、1つ以上のソースHDR画像を近似し、前記1つ以上の再構成HDR画像は、前記後方再成形画像メタデータに基づき、前記1つ以上のソースHDR画像に対応する1つ以上の前方再成形SDR画像を後方再成形することにより生成され、前記後方再成形画像メタデータは、前記1つ以上の前方再成形SDR画像の中の前方再成形SDRルマコードワード値を加重HDRルマコードワード値にマッピングする後方再成形ルママッピングを少なくとも含む後方再成形マッピングから少なくとも部分的に生成され、1つ以上のHDRルマコードワード値のセットは、前記加重HDRルマコードワード値を決定するために使用され、1つ以上のHDRルマコードワード値の前記セットは、前記1つ以上のソースHDR画像の中で識別され、1つ以上のHDRルマコードワード値の前記セットの中の各HDRルマコードワード値は、前記1つ以上の前方再成形SDR画像の中の前記前方再成形SDRルマコードワード値へのルマ前方再成形マッピングによりマッピングされ、前記1つ以上の前方再成形SDR画像は、前記1つ以上のソースHDR画像から、前記ルマ前方再成形マッピングに少なくとも部分的に基づく前方再成形により、生成される、ステップと、
前記ビデオ信号から前記1つ以上の前方再成形SDR画像を復号するステップと、
前記後方再成形画像メタデータに基づき、前記1つ以上の前方再成形画像を後方再成形して、前記1つ以上の再構成HDR画像を生成するステップと、
前記1つ以上の再構成HDR画像をディスプレイ装置によりレンダリングさせるステップと、
を含む方法。
EEE26. EEE1乃至25のいずれか一項に記載の方法を実行するよう構成されるコンピュータシステム。
EEE27. プロセッサを含み、EEE1乃至25のいずれか一項に記載の方法を実行するよう構成される機器。
EEE28. EEE1乃至25のいずれか一項に記載の方法を実行するためのコンピュータ実行可能命令を格納している非一時的コンピュータ可読記憶媒体。
EEE29. コンピューティング装置又はシステムにより実行されると、該コンピューティング装置又はシステムにEEE1乃至25のいずれか一項に記載の方法を実行させる命令を有するコンピュータプログラム。