JP2019513323A - 高ダイナミックレンジピクチャを符号化する方法及び装置、対応する符号化方法及並びに符号化装置 - Google Patents

高ダイナミックレンジピクチャを符号化する方法及び装置、対応する符号化方法及並びに符号化装置 Download PDF

Info

Publication number
JP2019513323A
JP2019513323A JP2018548816A JP2018548816A JP2019513323A JP 2019513323 A JP2019513323 A JP 2019513323A JP 2018548816 A JP2018548816 A JP 2018548816A JP 2018548816 A JP2018548816 A JP 2018548816A JP 2019513323 A JP2019513323 A JP 2019513323A
Authority
JP
Japan
Prior art keywords
dynamic range
color
picture
range picture
mastering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018548816A
Other languages
English (en)
Other versions
JP6946325B2 (ja
JP2019513323A5 (ja
Inventor
アンドリヴォン,ピエール
ラセール,セバスティアン
トウゼ,ダビド
フランソワ,エドゥアル
Original Assignee
インターデジタル ヴイシー ホールディングス, インコーポレイテッド
インターデジタル ヴイシー ホールディングス, インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インターデジタル ヴイシー ホールディングス, インコーポレイテッド, インターデジタル ヴイシー ホールディングス, インコーポレイテッド filed Critical インターデジタル ヴイシー ホールディングス, インコーポレイテッド
Publication of JP2019513323A publication Critical patent/JP2019513323A/ja
Publication of JP2019513323A5 publication Critical patent/JP2019513323A5/ja
Application granted granted Critical
Publication of JP6946325B2 publication Critical patent/JP6946325B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98Adaptive-dynamic-range coding [ADRC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

復号方法であって、復号された標準ダイナミックレンジピクチャと、標準ダイナミックレンジピクチャに関連する色メタデータとを取得するためにストリームを復号することであって、色メタデータは、少なくとも標準ダイナミックレンジピクチャに関連する高ダイナミックレンジピクチャの特性のものを表す、復号することと(S120)、復号された標準ダイナミックレンジピクチャ及び色メタデータから高ダイナミックレンジピクチャを再構成すること(S130)とを含む復号方法が開示される。

Description

以下では、高ダイナミックレンジピクチャを符号化する方法及び装置が開示される。対応する符号化方法及び符号化装置がさらに開示される。
以下では、カラーピクチャは、幾つかの配列のサンプル(ピクセル値)を特定のピクチャ/ビデオフォーマットで含み、この特定のピクチャ/ビデオフォーマットは、ピクチャ(又はビデオ)のピクセル値に関するすべての情報と、ディスプレイ及び/又は他の何れかのデバイスが例えばピクチャ(又はビデオ)を視覚化及び/又は復号するために使用できるすべての情報とを明示する。カラーピクチャは、サンプルの第一の配列の形状の少なくとも1つの成分、通常、ルマ(又は輝度)成分と、サンプルの少なくとも1つの他の配列の形状の少なくとも1つの他の成分とを含む。又は、均等に、例えば従来の三色RGB表現のように、同じ情報がカラーサンプル(カラー要素)の配列の集合によって表され得る。
ピクセル値は、n値のベクトルで表され、ここで、nは、成分の数である。ベクトルの各値は、ピクセル値の最大ダイナミックレンジを規定するビット数で表される。
標準ダイナミックレンジピクチャ(SDRピクチャ)は、その輝度の値が、通常、2ストップ又はfストップのパワーで測定される限定的なダイナミックで表されるカラーピクチャである。SDRピクチャのダイナミックは、リニアドメインで約10fストップであり、すなわち最も明るいピクセルと最も暗いピクセルとの比が1000であり、ノンリニアドメインのHDTV(高精細テレビシステム)及びUHDTV(超高精細テレビシステム)では、ダイナミックを下げるために、例えばITU−R BT.709 OEFT(光−電気変換関数)(Rec. ITU-R BT.709-5, April 2002)又はITU−R BT.2020 OETF(Rec. ITU-R BT. 2020-1, June 2014)を用いて限定的な数のビット(8又は10であることが最も多い)でコード化される。この限定的なノンリニア表現では、特に低輝度域及び高輝度域において小さい信号の変化を正しくレンダリングできない。高ダイナミックレンジピクチャ(HDRピクチャ)では、信号のダイナミックがはるかに高く(最大で20fストップ、最も明るいピクセルと最も暗いピクセルとの比が100万)、レンジ全体にわたって信号の高い精度を持続させるために新しいノンリニア表現が必要である。HDRピクチャにおいて、通常、生データは、浮動小数点フォーマット(各要素について32ビット又は16ビット、すなわち単精度浮動小数点又は半精度浮動小数点の何れか)において、最も普及している形式のopenEXRでは半精度浮動小数点フォーマット(各RGB要素について16ビット、すなわち48ビット/ピクセル)又は典型的には少なくとも16ビットの長い表現の整数で表される。
色域は、特定の完全な色集合である。最も一般的な利用は、所定の状況、例えば所定の色空間内又は所定の出力デバイスにより正確に表現できる色集合を指す。色域は、CIE1931色空間色度図及び白色点で定義されるRGB原色によって定義されることがある。
例えば、色域は、UHDTVのためのRGB ITU−R勧告BT.2020色空間により定義される。それより前の標準であるITU−R勧告BT.709は、HDTVのためのより狭い色域を定義している。SDRの場合、ダイナミックレンジは、公式には、データが符号化されるカラーボリュームについて100nit(カンデラ/平方メートル)まで定義されているが、幾つかの表示技術は、より明るいピクセルを示し得る。
高ダイナミックレンジピクチャ(HDRピクチャ)は、その輝度値がSDRピクチャのダイナミックより高いHDRダイナミックで表現されるカラーピクチャである。
HDRダイナミックは、依然として標準によって定義されていないが、数千nitまでのダイナミックレンジが予想され得る。例えば、HDRカラーボリュームは、RGB BT.2020色空間により定義され、前記RGB色空間中で表現される値は、0〜4000nitのダイナミックレンジに含まれる。HDRカラーボリュームの他の例は、RGB BT.2020色空間により定義され、前記RGB色空間中で表現される値は、0〜1000nitのダイナミックレンジに含まれる。
ピクチャ(又はビデオ)のカラーグレーディングは、そのピクチャ(又はそのビデオ)の色を変更/改善するプロセスである。通常、ピクチャのカラーグレーディングには、このピクチャに関するカラーボリューム(色空間及び/又はダイナミックレンジ)の変更又は色域の変更が含まれる。したがって、同じピクチャの2つの異なるカラーグレーディングバージョンは、このピクチャの、その値が異なるカラーボリューム(又は色域)内で表現されたバージョン、又はその色の少なくとも1つが異なるカラーグレードによって変更/改善されているバージョンである。これは、ユーザとの対話を伴い得る。
例えば、映画制作において、ピクチャ及びビデオは、トリクロマティックカメラを用いて3つの要素(赤、緑及び青)からなるRGB色値に撮影される。RGB色値は、センサのトリクロマティック特性(原色(color primaries))に依存する。次に、撮影されたピクチャの第一のカラーグレーディングバージョンが取得されて、(特定の劇場グレードを用いて)劇場用表示を得る。典型的に、撮影されたピクチャの第一のカラーグレーディングバージョンの値は、UHDTVのためのパラメータ値を定義するBT.2020等の標準化されたYUVフォーマットにより表現される。
したがって、カラリストは、通常、撮影監督と共に、幾つかの色値を微調整/微調節することによって撮影されたピクチャの第一のカラーグレーディングバージョンの色値に対する制御を行い、芸術的な意図を注入する。
解決すべき課題は、同時に前記HDRピクチャ(又はビデオ)のカラーグレーディングバージョンを表す関連のSDRピクチャ(又はビデオ)を配信しながら圧縮HDRピクチャ(又はビデオ)を配信することである。
通常の解決策は、SDR及びHDRピクチャ(又はビデオ)の両方を配信インフラストラクチャ上で同時放送することであるが、欠点は、HEVC Main10プロファイル等のSDRピクチャ(又はビデオ)を放送するようになされたレガシーインフラストラクチャによる配信と比較して必要なバンド幅が事実上2倍になることである(“High Efficiency Video Coding”, SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS, Recommendation ITU-T H.265, Telecommunication Standardization Sector of ITU, April 2013)。
レガシー配信インフラストラクチャの使用は、HDRピクチャ(又はビデオ)の配信の出現を加速するための要件である。また、ビットレートを最小にしながら、ピクチャ(又はビデオ)のSDR及びHDRバージョンの両方の品質を確実に高くしなければならない。
さらに、下位互換性も確保され得、すなわち、SDRピクチャ(又はビデオ)は、レガシーデコーダ及びディスプレイを有するユーザが見ることができなければならず、すなわち、特に認識される全体的な明度(すなわち暗いシーン対明るいシーン)と認識される色(例えば、色相の保持)とが保持されるべきである。
他の直接的な解決は、適当な非線形関数により、HDRピクチャ(又はビデオ)のダイナミックレンジを限定的なビット数(例えば、10ビット)に且つHEVC main10プロファイルによって直接圧縮されて減らすことである。このような非線形関数(曲線)は、すでに存在しており、例えば、DolbyによってSMPTE(SMPTE標準:High Dynamic Range Electro-Optical Transfer Function of Mastering Reference Displays, SMPTE ST 2084:2014)で提案されるいわゆるPQ EOTFである。
この解決策の欠点は、下位互換性の欠如であり、すなわち、取得されたピクチャ(又はビデオ)の縮小バージョンが、SDRピクチャ(又はビデオ)として見ることができると考えるのに十分な視覚的品質を有さず、圧縮性能が幾分劣ることである。
復号方法であって、
復号された標準ダイナミックレンジピクチャと、標準ダイナミックレンジピクチャに関連する色メタデータとを取得するためにストリームを復号することであって、色メタデータは、少なくとも標準ダイナミックレンジピクチャに関連する高ダイナミックレンジピクチャの特性のものを表す、復号すること、
復号された標準ダイナミックレンジピクチャ及び色メタデータから高ダイナミックレンジピクチャを再構成すること
を含む復号方法が開示される。
コード化方法であって、
標準ダイナミックレンジピクチャを高ダイナミックレンジピクチャから特定すること、
高ダイナミックレンジピクチャの特性を表す色メタデータを取得すること、
ストリーム中で標準ダイナミックレンジピクチャと色メタデータとを符号化すること
を含むコード化方法が開示される。
標準ダイナミックレンジピクチャを表すコード化されたデータと、標準ダイナミックレンジピクチャに関連する色メタデータを表すコード化されたデータとを含むストリームであって、色メタデータは、少なくとも標準ダイナミックレンジピクチャに関連する高ダイナミックレンジピクチャの特性のものを表す、ストリームが開示される。
復号デバイスであって、
復号された標準ダイナミックレンジピクチャと、その標準ダイナミックレンジピクチャに関連する色メタデータとを取得するためにストリームを復号する手段であって、色メタデータは、少なくとも標準ダイナミックレンジピクチャに関連する高ダイナミックレンジピクチャの特性のものを表す、手段、
復号された標準ダイナミックレンジピクチャ及び色メタデータから高ダイナミックレンジピクチャを再構成する手段
を含む復号デバイスも開示される。
コード化デバイスであって、
標準ダイナミックレンジピクチャを高ダイナミックレンジピクチャから特定する手段、
高ダイナミックレンジピクチャの特性を表す色メタデータを取得する手段、
ストリーム中で標準ダイナミックレンジピクチャと色メタデータとを符号化する手段
を含むコード化デバイスも開示される。
復号デバイスであって、少なくともストリームにアクセスするように構成された通信インタフェースと、少なくとも1つのプロセッサであって、
復号された標準ダイナミックレンジピクチャと、標準ダイナミックレンジピクチャに関連する色メタデータとを取得するために、アクセスしたストリームを復号することであって、色メタデータは、少なくとも標準ダイナミックレンジピクチャに関連する高ダイナミックレンジピクチャの特性のものを表す、復号すること、
復号された標準ダイナミックレンジピクチャ及び色メタデータから高ダイナミックレンジピクチャを再構成すること
を行うように構成された少なくとも1つのプロセッサとを含む復号デバイスが開示される。
コード化デバイスであって、少なくとも高ダイナミックレンジピクチャにアクセスするように構成された通信インタフェースと、少なくとも1つのプロセッサであって、
アクセスした高ダイナミックレンジピクチャから標準ダイナミックレンジピクチャを特定すること、
高ダイナミックレンジピクチャの特性を表す色メタデータを取得すること、
ストリーム中で標準ダイナミックレンジピクチャと色メタデータとをコード化すること
を行うように構成された少なくとも1つのプロセッサとを含むコード化デバイスが開示される。
特定の特性によれば、色メタデータは、少なくとも標準ダイナミックレンジピクチャに関連する高ダイナミックレンジピクチャのマスタリングに使用されたマスタリングディスプレイの特性のものを表す。
有利には、色メタデータは、標準ダイナミックレンジピクチャに関連するマスタリングディスプレイカラーボリュームSEIメッセージ中にカプセル化される。
特定の特性によれば、マスタリングディスプレイの特性は、マスタリングディスプレイのカラーボリュームを識別する。
有利には、マスタリングディスプレイの特性は、少なくとも原色、白色点及び輝度範囲を含む。
変形形態において、色メタデータは、少なくとも高ダイナミックレンジピクチャのコンテンツ光レベルの特性のものを表す。
有利には、色メタデータは、標準ダイナミックレンジピクチャに関連するコンテンツ光レベル情報SEIメッセージ中にカプセル化される。
非限定的な実施形態による、HDR画像を取得するためにストリームを復号するように構成された受信機の例示的アーキテクチャを表す。 非限定的な実施形態による、ストリームを復号してHDR画像を再構成する方法のフローチャートを表す。 非限定的な実施形態による、ストリーム中のHDR画像を符号化するように構成された送信機100の例示的なアーキテクチャを表す。 具体的で非限定的な実施形態による、ストリーム中のHDR画像を符号化する方法のフローチャートを表す。 他の具体的で非限定的な実施形態による、ストリームを復号してHDR画像を再構成する方法のフローチャートを表す。 図5のステップを詳細に表す。 図5のステップを詳細に表す。 他の具体的で非限定的な実施形態による、ストリームを復号してHDR画像を再構成する方法のフローチャートを表す。 他の具体的で非限定的な実施形態による、ストリームを復号してHDR画像を再構成する方法のフローチャートを表す。 図9のステップを詳細に表す。 図9のステップを詳細に表す。 他の具体的で非限定的な実施形態による、ストリーム中のHDRピクチャを符号化する方法のフローチャートを表す。
図面及び説明は、本願の原理を明確に理解するために関係のある要素を例示するように簡素化されている一方、明瞭さを期して典型的な符号化及び/又は復号デバイスに見られる他の多くの要素が省略されていることを理解すべきである。本明細書において、各種の要素を説明するために第一及び第二という用語が使用され得るが、これらの要素は、これらの用語により限定されるべきではないことがわかるであろう。これらの用語は、1つの要素を他の要素と区別するために使用されているにすぎない。以下の項では、画像ブロックは、サンプル値に関連するサンプル、例えばルマサンプル又は飽和度サンプル等からなる。
以下において、「再構成される」及び「復号される」という用語は、互換的に使用できる。
図1は、非限定的な実施形態による、HDR画像を取得するためにストリームを復号するように構成された受信機100の例示的なアーキテクチャを表す。
受信機100は、例えば、CPU、GPU及び/又はDSP(デジタル信号プロセッサの英語の略語)を含むことができる1つ又は複数のプロセッサ1000と共に内部メモリ1030(例えば、RAM、ROM及び/又はEPROM)を含む。受信機100は、それぞれ出力情報を表示し、且つ/又はユーザがコマンド及び/若しくはデータ(例えば、HDR画像)を入力できるようになされた1つ又は複数の通信インタフェース1010(例えば、キーボード、マウス、タッチパッド、ウェブカメラ)と、受信機100の外にあり得る電源1020とを含む。受信機100は、1つ又は複数のネットワークインタフェース(図示せず)も含み得る。デコーダモジュール1040は、復号機能を実行するためにデバイスに含まれ得るモジュールを表す。加えて、デコーダモジュール1040は、受信機100の別の要素として実装され得るか、又は当業者に知られるように、ハードウェアとソフトウェアとの組合せとしてプロセッサ1000に組み込まれ得る。
ストリームは、ソースから取得することができる。様々な実施形態によれば、ソースは、
− 例えば、ビデオメモリ、RAM、フラッシュメモリ、ハードディスク等のローカルメモリ、
− 例えば、マスストレージ、ROM、光ディスク又は磁気サポートとのインタフェース等のストレージインタフェース、
− 例えば、ワイヤラインインタフェース(例えば、バスインタフェース、ワイドエリアネットワークインタフェース、ローカルエリアネットワークインタフェース)又はワイヤレスインタフェース(IEEE 802.11インタフェース若しくはBluetoothインタフェース等)等の通信インタフェース、及び
−ピクチャ撮影回路(例えば、例としてCCD(すなわち電荷結合デバイス)又はCMOS(すなわち相補型金属酸化膜半導体)等のセンサ)
であり得るが、これらに限定されない。
様々な実施形態によれば、HDR画像は、送信先、例えば表示デバイスに送信され得る。一例として、HDR画像は、リモート又はローカルメモリ、例えばビデオメモリ又はRAM、ハードディスクに記憶される。変形形態において、HDR画像は、ストレージインタフェース、例えばマスストレージ、ROM、フラッシュメモリ、光ディスク又は磁気サポートとのインタフェースに送信され、且つ/又は通信インタフェース、例えばポイントトゥポイントリンク、通信バス、ポイントトゥマルチポイントリンク又は放送ネットワークとのインタフェースを通じて伝送される。
具体的で非限定的な実施形態によれば、受信機100は、メモリ1030に記憶されたコンピュータプログラムをさらに含む。コンピュータプログラムは、受信機100により、特にプロセッサ1000により実行されると、受信機が図2又は図6に関して説明された復号方法を実行できるようにする命令を含む。変形形態によれば、コンピュータプログラムは、受信機100の外部の非一時的デジタルデータサポート上、例えばHDD、CD−ROM、DVD、リードオンリ及び/若しくはDVDドライブ並びに/又はDVDリード/ライトドライブ等の外部ストレージ媒体上に記憶され、これらは、すべて当技術分野で知られている。受信機100は、したがって、コンピュータプログラムを読み取る機構を含む。さらに、受信機100は、1つ又は複数のユニバーサルシリアルバス(USB)タイプのストレージデバイス(例えば、「メモリスティック」)に、対応するUSBポート(図示せず)を通じてアクセスすることもできる。
例示的で非限定的な実施形態によれば、受信機100は、
− モバイルデバイス、
− 通信デバイス、
− ゲーム機、
− セットトップボックス、
− TVセット、
− タブレット(又はタブレットコンピュータ)、
− ラップトップ、
− ビデオプレイヤ、例えばBlu-rayプレイヤ、DVDプレイヤ、
− ディスプレイ、及び
− 復号チップ又は復号デバイス
であり得るが、これらに限定されない。
図2は、具体的で非限定的な実施形態による、ストリームを復号してHDR画像を再構成する方法のフローチャートを表す。
方法は、ステップS100から始まる。ステップS110では、受信機は、ストリーム、例えばHEVC適合ストリームにアクセスする。ステップS120では、受信機は、ストリームからSDRピクチャと色メタデータとを復号する。色メタデータは、少なくとも標準ダイナミックレンジピクチャに関連する高ダイナミックレンジピクチャの特性のものを表す。
第一の具体的な実施形態において、色メタデータは、SDRピクチャに関連するHDRピクチャのマスタリングに使用されたマスタリングディススプレイの特性を表す。一例として、色メタデータは、SDRピクチャに関連するマスタリングディスプレイカラーボリュームSEIメッセージ中にカプセル化される。このようなSEIメッセージは、例えば“High Efficiency Video Coding (HEVC) Screen Content Coding: Draft 5”という名称の文献JCTVC-V1005-v1のD2.28項及びD3.28項において開示されている。
Figure 2019513323
このSEIメッセージは、関連するビデオコンテンツのためのマスタリングディスプレイと考えられるディスプレイのカラーボリューム(原色、白色点及び輝度範囲 − すなわち最大及び最小輝度値)、例えばビデオコンテンツの作成中に見るために使用されたディスプレイのカラーボリュームを識別する。説明されたマスタリングディスプレイは、示されたマスタリングカラーボリュームを使用するように構成された3原色付加ディスプレイシステム(additive display system)である。このような場合、SDRピクチャは、関連するビデオコンテンツである。実際、SDRピクチャは、CLVS(符号化レイヤワイズビデオシーケンス)中にあると考えられる。CLVSは、CVS(符号化ビデオシーケンス)のベースレイヤのピクチャ及び関連する非VCL NALユニットのシーケンスである。しかしながら、本願の原理によれば、SEIメッセージは、別の方法で使用されて、ストリーム中の符号化されたものではない、したがってCLVS中にないHDRピクチャのためのマスタリングディスプレイであると考えられるディスプレイのカラーボリューム(原色、白色点及び輝度範囲)を伝送する。これにより、既存のシンタックス要素を用いて、HDR再構成に関係のあるデータを伝送することが可能となる。
変形形態において、色メタデータは、ユーザデータ中、例えばユーザデータSEIメッセージ又は既存のSEIの登録ユーザデータ中にカプセル化される。
第二の具体的な実施形態において、色メタデータは、高ダイナミックレンジピクチャのコンテンツ光レベルを表す。
一例として、色メタデータは、SDRピクチャに関連するコンテンツ光レベル情報SEIメッセージ中にカプセル化される。このようなメッセージは、例えば“High Efficiency Video Coding (HEVC) Screen Content Coding: Draft 5”という名称の文献JCTVC-V1005-v1のD2.35項及びD3.35項において開示されている。
Figure 2019513323
このSEIメッセージは、CLVSのピクチャの名目ターゲット明度レベルの上界を識別する。
第一及び第二の実施形態は、組み合わされ得、すなわち、色メタデータは、2つの部分を含み得、第一の部分は、SDRピクチャに関連するHDRピクチャのマスタリングに使用されたマスタリングディスプレイの特性を表し(場合によりMDCV SEIメッセージ中にカプセル化される)、第二の部分は、SDRピクチャに関連する高ダイナミックレンジピクチャのコンテンツ輝度を表す(場合によりCLL SEIメッセージ中にカプセル化される)。
ステップS130では、受信機は、復号されたSDRピクチャ及び色メタデータからHDRピクチャを再構成する。HDRピクチャ再構成ステップの様々な実施形態が図5〜8に関して開示される。例示的な実施形態において、復号されたSDRピクチャ及び色メタデータからHDRピクチャを構成することは、
− 少なくともHDRピクチャのマスタリングに使用されたマスタリングディスプレイの最大輝度及び/又はHDRピクチャの最大コンテンツ光レベルに応答して、HDR輝度信号を取得するために復号SDRピクチャのルマ信号を逆マッピングする(図6のステップ222、図7のステップ220、図8のステップ1231及び1210)、こと、
− 少なくともHDRピクチャのマスタリングに使用されたマスタリングディスプレイの最大輝度及び/若しくはHDRピクチャの最大コンテンツ光レベル、並びに/又はHDRピクチャのマスタリングに使用されたマスタリングディスプレイの原色及び白色点に応答した復号SDRピクチャのクロマ信号の色補正(図6のステップ221、図8のステップ1221)、
− 取得されたHDR輝度信号及び補正されたクロマ信号からHDRピクチャを再構成すること(図7のステップ230、図8のステップ1222、1223、1224)
を含む。
他の例示的な実施形態において、復号SDRピクチャ及び色メタデータからHDRピクチャを再構成することは、高ダイナミックレンジ輝度信号を取得するために少なくとも前記マスタリングディスプレイの最大表示輝度に応答して標準ダイナミックレンジピクチャの復号バージョンのルマ信号を逆マッピング(図6の23)することと、さらに、前記マスタリングディスプレイの前記最大表示輝度と、前記マスタリングディスプレイの原色及び白色点との少なくとも一方に応答した標準ダイナミックレンジピクチャの復号バージョンの逆カラーマッピング(図6の22)とを含む。方法は、ステップS180で終了する。
図3は、非限定的な実施形態による、ストリーム中のHDR画像を符号化するように構成された送信機100の例示的なアーキテクチャを表す。
送信機200は、例えば、CPU、GPU及び/又はDSP(デジタル信号プロセッサの英語の略語)を含むことができる1つ又は複数のプロセッサ2000と共に、内部メモリ2030(例えば、RAM、ROM及び/又はEPROM)を含む。送信機200は、それぞれ出力情報を表示し、且つ/又はユーザがコマンド及び/若しくはデータ(例えば、ストリーム)を入力できるようになされた1つ又は複数の通信インタフェース2010(例えば、キーボード、マウス、タッチパッド、ウェブカメラ)と、送信機200の外にあり得る電源2020とを含む。送信機200は、1つ又は複数のネットワークインタフェース(図示せず)も含み得る。エンコーダモジュール2040は、コード化機能を実行するためにデバイスに含まれ得るモジュールを表す。加えて、エンコーダモジュール2040は、送信機200の別の要素として実装され得るか、又は当業者に知られるように、ハードウェアとソフトウェアとの組合せとしてプロセッサ2000に組み込まれ得る。
HDR画像は、ソースから取得することができる。様々な実施形態によれば、ソースは、
− 例えば、ビデオメモリ、RAM、フラッシュメモリ、ハードディスク等のローカルメモリ、
− 例えば、マスストレージ、ROM、光ディスク又は磁気サポートとのインタフェース等のストレージインタフェース、
− 例えば、ワイヤラインインタフェース(例えば、バスインタフェース、ワイドエリアネットワークインタフェース、ローカルエリアネットワークインタフェース)又はワイヤレスインタフェース(IEEE 802.11インタフェース若しくはBluetoothインタフェース等)等の通信インタフェース、及び
− 画像撮影回路(例えば、例としてCCD(すなわち電荷結合デバイス)又はCMOS(すなわち相補型金属酸化膜半導体)等のセンサ)
であり得るが、これらに限定されない。
様々な実施形態によれば、ストリームは、送信先に送信され得る。一例として、ストリームは、リモート又はローカルメモリ、例えばビデオメモリ又はRAM、ハードディスクに記憶される。変形形態において、ストリームは、ストレージインタフェース、例えばマスストレージ、ROM、フラッシュメモリ、光ディスク又は磁気サポートとのインタフェースに送信され、且つ/又は通信インタフェース、例えばポイントトゥポイントリンク、通信バス、ポイントトゥマルチポイントリンク又は放送ネットワークとのインタフェースを通じて伝送される。
例示的で非限定的な実施形態によれば、送信機200は、メモリ2030に記憶されたコンピュータプログラムをさらに含む。コンピュータプログラムは、送信機200により、特にプロセッサ2000により実行されると、送信機200が図8又は図9に関して説明される符号化方法を実行できるようにする命令を含む。変形形態によれば、コンピュータプログラムは、送信機200の外部の非一時的デジタルデータサポート上、例えばHDD、CD−ROM、DVD、リードオンリ及び/若しくはDVDドライブ並びに/又はDVDリード/ライトドライブ等の外部ストレージ媒体上に記憶され、これらは、すべて当技術分野で知られている。送信機200は、したがって、コンピュータプログラムを読み取る機構を含む。さらに、送信機200は、1つ又は複数のUSB(ユニバーサルシリアルバス)タイプのストレージデバイス(例えば、「メモリスティック」)に、対応するUSBポート(図示せず)を通じてアクセスすることもできる。
例示的で非限定的な実施形態によれば、送信機200は、
− モバイルデバイス、
− 通信デバイス、
− ゲーム機、
− タブレット(又はタブレットコンピュータ)、
− ラップトップ、
− 静止画カメラ、
− ビデオカメラ、
− 復号チップ又は復号デバイス、
− 静止画サーバ、及び
− ビデオサーバ(例えば、放送サーバ、ビデオオンデマンドサーバ又はウェブサーバ)
であり得るが、これらに限定されない。
図4は、具体的で非限定的な実施形態による、ストリーム中のHDR画像を符号化する方法のフローチャートを表す。この方法は、復号方法の逆である。復号方法に関して開示されたすべての実施形態が符号化方法に当てはまる。
方法は、ステップS200から始まる。ステップS210では、送信機は、HDR画像にアクセスする。ステップS220では、送信機は、HDRピクチャにアクセスする。ステップS220では、送信機は、HDRピクチャからSDRピクチャを特定する。各種の実施形態が図9〜12に関して開示される。例示的な実施形態において、アクセスしたHDRピクチャからSDRピクチャを特定することは、
− 少なくともHDRピクチャのマスタリングに使用されたマスタリングディスプレイの最大輝度及び/又はHDRピクチャの最大コンテンツ光レベルに応答して、アクセスしたHDRピクチャの輝度信号をSDRピクチャのルマ信号にマッピングすること(図12のステップ1111、1113)と、
− 少なくともHDRピクチャのマスタリングに使用されたマスタリングディスプレイの最大輝度及び/又はHDRピクチャの最大コンテンツ光レベル、並びにHDRピクチャのマスタリングに使用されたマスタリングディスプレイの原色及び白色点に応答したSDRピクチャのルマ信号からの色補正係数β’’の導出(図12のステップ1131)と、
− 少なくともHDRピクチャのマスタリングに使用されたマスタリングディスプレイの原色及び白色点に応答したHDRピクチャの色信号のSDRピクチャのクロマ信号へのマッピング(図12のステップ1121、1122、1123)と、
− 少なくともHDRピクチャのマスタリングに使用されたマスタリングディスプレイの原色及び白色点に応答したSDRピクチャのクロマ信号でのSDRピクチャのルマ信号の調整(図12のステップ1133)と
を含む。
他の例示的な実施形態において、アクセスしたHDRピクチャからSDRピクチャを特定することは、少なくともHDRピクチャのマスタリングに使用されたマスタリングディスプレイの最大輝度に応答して、アクセスしたHDRピクチャの輝度信号をSDRピクチャのルマ信号(図9の11)にマッピングすること(図6の23)と、さらに、マスタリングディスプレイの最大表示輝度と、マスタリングディスプレイの原色及び白色点との少なくとも一方に応答したHDRピクチャの色信号のSDRピクチャのクロマ信号へのカラーマッピング(図9の12)とを含む。
ステップS220では、送信機は、少なくとも標準ダイナミックレンジピクチャに関連する高ダイナミックレンジピクチャの特性のものを表す色メタデータを取得する。デコーダの場合と同様に、色メタデータは、SDRピクチャに関連するHDRピクチャをマスタリングする際に使用されたマスタリングディスプレイ及び/又はSDRピクチャに関連する高ダイナミックレンジピクチャのコンテンツ光レベルを表し得る。
ステップS230では、送信機は、ストリーム中、例えばHEVC適合ストリーム中の特定されたSDRピクチャと、取得された色メタデータとを符号化する。色メタデータは、復号方法のための、図2に関して述べたSEIメッセージ中にカプセル化され得る。
方法は、ステップS280で終了する。
図5は、他の具体的で非限定的な実施形態による、ストリームを復号してHDR画像を再構成する方法のフローチャートを表す。
ステップ21では、デコーダDECは、ローカル又はリモートメモリから、又は少なくとも部分的にストリームFを復号することによるかの何れかで輝度成分L’’と2つのクロミナンス成分C’’1、C’’2とを取得する。ストリームFは、SDRピクチャ及び色メタデータ(例えば、MDVC及び/又はCLL SEIメッセージ)を表す。
ステップ22では、モジュールIGMは、輝度L’’とクロミナンスC’’1、C’’2成分とから取得された色に逆マッピングを適用することにより、輝度L’’とクロミナンスC’’1、C’’2成分とから最終的な輝度成分Lと2つの最終的なクロミナンス成分C1、C2とを取得する。図6は、ステップ22を詳細に示している。モジュールILCCは、輝度成分L’’と2つのクロミナンス成分C’’1、C’’2とを線形に結合することによって最終的な輝度成分Lを取得し(ステップ222)、2つの最終的なクロミナンス成分C1、C2は、2つのクロミナンス成分C’’1、C’’2の各々を、最終的な輝度成分Lの各ピクセルiの値に応じた係数β(L(i))でスケーリングすることにより取得される(ステップ221)。
Figure 2019513323

式中、m及びnは、係数(実値)である。係数m及びnは、式(G)におけるマトリクスΦBa(L)の因数分解により取得されるものであり、すなわち、m及びnは、Φで取得されたものである。したがって、これらは、HDRピクチャIの色域(例えば、BT.709又はBT.2020色域)に依存する。m及びnの典型的な値は、区間[0.1,0.5]でm≒nである。
変形形態によれば、係数は、変調値Baにさらに依存する。
式(J)は、輝度L’’とクロミナンスC’’1、C’’2成分から取得された色に適用される逆マッピングであると考えられる。式(J)は、カラーマッピングであると考えられる、エンコーダ側で適用される式(A)から直接取得される。
モジュールILCCの変形形態によれば、最終的な輝度成分Lの値は、輝度成分L’’の値より常に高い。
Figure 2019513323
この実施形態は、それによって最終的な輝度成分Lが、デコーダが輝度ピークを規定するために通常使用する潜在的なクリッピング値を超えないことが確実になるために有利である。デコーダが輝度ピークを必要とし(例えば、MDCV SEIメッセージのmax_display_mastering_luminanceシンタックス要素により求められる)、最終的な輝度成分Lが式(J)により求められる場合、最終的な輝度成分Lがクリップされ、幾つかのアーチファクトが生じる。
実施形態によれば、変調値Ba並びに/又は係数m及びnは、ルックアップテーブル等のリモート又はローカルメモリから又はストリームBFから取得される。
実施形態によれば、係数β−1(L(i))は、最終的な輝度成分Lの特定の値L(i)に関するルックアップテーブル(LUT)から、且つ任意選択により、さらには特定の変調値Baから取得される。したがって、複数の輝度ピーク値(例えば、マスタリングディスプレイの最大輝度)、例えば1000、1500及び4000nitの場合、特定の係数β−1(L(i))は、各々の特定の変調値BaのLUTに記憶される。
変形形態によれば、特定の変調値Baに関する係数β−1(L(i))は、LUTが記憶されている複数の輝度ピーク間で輝度ピークを補間することにより、最終的な輝度成分Lのピクセルの値について取得される。
ステップ23では、モジュールINVCは、最終的な輝度L成分と2つの最終的なクロミナンスC1、C2成分とから、復号されることになるカラーピクチャの少なくとも1つの色成分Ecを取得する。HDRピクチャは、少なくとも1つの色成分Ecで形成される。図7は、ステップ23を詳細に示す。
ステップ220では、モジュールIFMは、最終的な輝度成分Lに非線形関数f−1を適用することによって第一の成分Yを取得し、第一の成分Yのダイナミックが最終的な輝度成分Lのダイナミックと比較して大きくなるようにする。
Y=f−1(Ba,L) (A3)
非線形関数f−1は、送信側に適用される非線形関数fの逆関数である。
したがって、関数f−1の実施形態は、関数fの実施形態によって規定される。
実施形態によれば、非線形関数f−1のパラメータ(a、b、c又はγ等)及び/又は情報データInfは、ローカル又はリモートメモリ(例えば、非線形関数は、マスタリングディスプレイの最大輝度をインデックスとするルックアップテーブルから、且つ/又はHDRピクチャの最大輝度から、且つ/又はHDRピクチャのマスタリングに使用されたマスタリングディスプレイの原色及び白色点から構築される)から且つ/又はストリームBFから取得される。
実施形態によれば、輝度成分Lには、非線形関数f−1を適用した後に変調値Baが乗じられる。
Y=Ba*f−1(L) (A4)
実施形態によれば、非線形関数f−1は、ガンマ関数の逆関数である。
したがって、成分Yは、次式により求められる。
Figure 2019513323

式中、Yは、式(A3)又は(A4)の実施形態によるY又はY/Baと等しく、Bは、一定の値であり、γは、パラメータ(確実に1より小さい実値)である。
実施形態によれば、非線形関数f−1は、S-Log関数の逆関数である。したがって、成分Yは、次式により求められる。
Figure 2019513323
実施形態によれば、非線形関数fは、成分Yのピクセル値に応じたガンマ補正又はS-Log補正の何れかの逆関数である。これは、情報データInfにより示される。
ステップ230では、モジュールILCは、第一の成分Y、2つの最終的なクロミナンス成分C1、C2、及び最終的な輝度成分Lに依存する係数r(L)から少なくとも1つの色成分Ecを取得する。したがって、復号されたカラーピクチャは、少なくとも1つの色成分Ecを結合することによって取得される。係数r(L)は、ステップ240でモジュールRMにより特定される。
図8は、他の具体的で非限定的な実施形態による、ストリームを復号してHDR画像を再構成する方法のフローチャートを表す。この復号方法は、色及びテクスチャがSDR画像/ビデオ中で元のHDR画像/ビデオと比較して保持されるように輝度及びクロミナンスをSDRからHDRにマッピングするために使用される2変数関数B’(Ba,L)及びg−1(Ba,L)と、2つの定数パラメータa及びbとの集合に依存する。g(Ba,L)は、好ましくは、変数LのSlog関数であるが、三重項(a,b,β)は、ピーク輝度、入力/出力色域及びバックライト値Baに応じて最善のSDR/HDRカラーマッチング(色相及び知覚飽和度)に導くように最適化される。
符号化は、関数β’’(Ba,L)を含み、復号は、関数β’(Ba,L)を含む。関数β’’は、通常、エンコーダ側で最適化される。デコーダ側では、関数β’は、通常、ピーク輝度、入力/出力色域及び場合によりバックライト値Baをインデックスとするルックアップテーブルとして記憶される。
ステップ1230では、補正された輝度及びクロミナンス成分L’、U’、V’がストリームFから取得される。サブステップにおいて、輝度成分Lは、補正を逆転することにより、すなわち次式により取得される。
L=L’+aU’+bV’
(a及びbは、それぞれ図6に示されるパラメータ3及びnである。)
逆補正の変形形態によれば、輝度成分Lの値は、常に、補正された輝度成分L’の値より高い。
L=L’+max(0,aU’+bV’)
この実施形態は、それによって輝度成分Lが、デコーダが輝度ピークを規定するために通常使用する潜在的クリッピング値を超えないことが確実になるために有利である。
ステップ1210では、非線形ダイナミック拡張関数が輝度Lに適用されて第一の成分が生成され、これは、拡張された範囲の輝度であり、カラーピクチャを符号化する際に取得された当初の輝度成分に適用されたダイナミック縮小関数の逆関数、例えばYHDR=f−1(LSDR)、より正確にはg−1(Ba,L)である。
ステップ1220では、復号されることになるHDRピクチャの(図の例RGBHDRにおける)少なくとも1つの色成分Ecは、補正されたクロミナンス成分U’、V’及び第一の成分Y’(又はsqrt(Y))から復元される。サブステップ1221では、補正されたクロミナンス成分U’、V’の共通の乗算係数β’による乗算を行って中間クロミナンス成分を取得し、これは、別のサブステップ1222において、第二の成分
Figure 2019513323

を取得するために使用される。別のサブステップ223では、RがSUrVrから復元される:[R;G;B]=Mat3×3[S;Ur;Vr]。復号されたカラーピクチャRGBHDRの色成分は、次のサブステップ1224でRの二乗として特定される。
換言すれば、この方法により、例えば、SDRルマ成分Lと、2つのSDRクロマ成分UVとから、RGB HDR成分を表すR#G#B#を復元するSDRからHDRへのデマッピングが可能となり、HDR輝度成分Yは、Lから推定され、値Tは、U,V及びUVの線形結合として計算され、Sは、Y−Tの平方根として計算され、したがって、Rは、入力SDRピクチャの各ピクセルに適用された3×3の行列とSUVの積として特定される。3×3の行列は、例えば、ITU−R BT709/2020で定義されるRGB−>YUV行列の逆、すなわちC=A−1である。
説明した復号手順では、圧縮されたHDRピクチャを配信しながら、同時にHDRピクチャのカラーグレーディングバージョンを表す関連するSDRピクチャを配信できる。解釈上、エンコーダの全く逆となるデコーダを得るためにβ’=1/β’’である。その結果、所定の対(a,b)に関して、β’’の特定は、エンコーダとデコーダとの両方を規定するのに十分である。
解決すべき問題は、SDRのL’U’’V’’色が入力HDRの色に最もよく対応し、プロセスが復号可能になるように、すなわちβ’’でのスケーリングがU’’V’’のクリッビングをできるだけ回避するようにβ’’を見つけることである。特定の実装形態では、β’’は、エンコーダ側において、マスタリングディスプレイの公称最大表示輝度又はHDRピクチャの全個別サンプル間の最大光レベルの上界の異なる値に関して、及びHDRピクチャの異なる色域(原色及び白色点)に関して特定される。したがって、デコーダ側では、β’値のLUTは、その計算を回避するためにデコーダ内に優先的に記憶される。したがって、β’の適切な値は、復号された色メタデータ(例えば、MDCV、CLL)から導出される。
図9は、他の具体的で非限定的な実施形態による、ストリームF中のHDRピクチャIを符号化する方法のフローチャートを表す。
ステップ11では、モジュールCは、符号化されるべきHDRピクチャIから輝度成分Lと2つのクロミナンス成分C1及びC2とを取得する。例えば、成分(L,C1,C2)は、OETFをHDRピクチャIに適用した後に取得されるYUV色空間に属し得、色成分Ecは、線形RGB又はXYZ色空間の何れかに属し得る。ステップ11は、図10に詳細に示されている。
ステップ110では、モジュールICは、3つの成分Ecを線形に結合することにより、HDRピクチャIの輝度を表す成分Yを取得する。
Figure 2019513323

式中、A1は、(E1,E2,E3)色空間から色空間(Y,C1,C2)への色空間変換を規定する3×3の行列Aの第一の行である。
ステップ130では、モジュールFMは、成分Yに非線形関数fを適用することにより、輝度成分Lを取得する。
L=f(Ba,Y) (1)
式中、Baは、モジュールBaMにより成分Yから取得された(ステップ120)変調値である。
成分Yに非線形関数fを適用することにより、そのダイナミックレンジが縮小する。換言すれば、輝度成分Lのダイナミックは、成分Yのダイナミックと比較して縮小される。
基本的に、成分Yのダイナミックレンジは、成分Lの輝度値が10ビットを用いて表されるようにするために縮小される。
実施形態によれば、成分Yを変調値Baで割ってから非線形関数fを適用する。
L=f(Y/Ba) (2)
実施形態によれば、非線形関数fは、ガンマ関数である。
Figure 2019513323

式中、Yは、式(1)又は(2)の実施形態によるY又はY/Baの何れかと等しく、Bは、一定の値であり、γは、パラメータ(確実に1より低い実値)である。
実施形態によれば、非線形関数fは、S-Log関数である。
L=a.ln(Y+b)+c
式中、a、b及びcは、f(0)及びf(1)が不変となるように特定されたSLog曲線のパラメータ(実値)であり、SLog曲線の微分は、1未満でガンマ曲線により延長されたときに1で継続する。したがって、a、b及びcは、パラメータγの関数である。
典型的な値を表1に示す。
Figure 2019513323
有利な実施形態において、1/2.5に近いγの値は、HDR圧縮性能及び取得されたSDRルマの良好な可視性の点で効率的である。したがって、これら3つのパラメータは、有利な態様として、以下の値をとることができる:a=0.44955114、b=0.12123691、c=0.94855684。
実施形態によれば、非線形関数fは、成分Yのピクセル値に応じてガンマ補正又はSLog補正の何れかである。
成分Yにガンマ補正を適用すると、暗い領域を引き上げるが、明るいピクセルの焼けを回避するために十分な高さの光を低下させない。
したがって、実施形態によれば、モジュールFMは、成分Yのピクセル値に応じてそのガンマ補正又はそのSLog補正の何れかを適用する。情報データInfは、ガンマ補正又はSlog補正の何れを適用するかを示し得る。
例えば、成分Yのピクセル値が閾値より低ければ(1と等しければ)、ガンマ補正が適用され、そうでなければSLog補正が適用される。
ステップ120の実施形態によれば、変調値Baは、成分Yのピクセル値の平均値、中央値、最小値又は最大値である。これらの演算は、線形HDR輝度ドメインYlin又はln(Y)若しくはYγ(式中、γ<1である)の非線形ドメインで実行され得る。
実施形態によれば、この方法がピクチャの連続に属する幾つかのカラーピクチャの符号化に使用される場合、変調値Baは、各カラーピクチャ、GOP(グループオブピクチャーズ)又はカラーピクチャの一部、例えば、限定ではないが、スライス又はHEVCで定義される伝送単位について特定される。
実施形態によれば、値Ba、及び/又は非線形関数fのパラメータ(例えば、a、b、c又はγ)、及び/又は情報データInfは、ローカル又はリモートメモリの何れかに記憶され、且つ/又は図9及び10に示されているようにストリームBFに追加される。
ステップ140では、モジュールCCは、HDRピクチャIから少なくとも1つの色成分EC(c=1、2、3)を取得する。色成分Ecは、ローカル又はリモートメモリから直接又はHDRピクチャIに色変換を適用することによって取得され得る。
ステップ150では、中間色成分E’c(c=1、2、又は3)は、輝度成分Lに依存する係数r(L)により各色成分Ecをスケーリングすることによって取得される。
Figure 2019513323

式中、r(L(i))は、モジュールRMにより特定され(ステップ160)、成分Lのピクセルiの値に依存する係数(実値)であり、
Figure 2019513323

は、中間色成分E’cのピクセルiの値であり、Ec(i)は、色成分Ecのピクセルiの値である。
係数によりスケーリングすることは、係数を乗じること又は係数の逆数で割ることを意味する。
各色成分Ecを、輝度成分Lに依存する係数r(L)でスケーリングすることにより、HDRピクチャIの色の色相が保持される。
ステップ160の実施形態によれば、係数r(L)は、成分Yに対する輝度成分Lの比である。
Figure 2019513323

式中、r(i)は、成分Yのピクセルiの値である。実際に、成分Yのピクセルの値Y(i)は、輝度成分Lのピクセルの値L(i)に明白に依存し、そのため、この比は、L(i)のみの関数として記述することができる。
この実施形態は、さらに成分Yに依存する係数r(L)で各色成分Ecをスケーリングすることにより、HDRピクチャIの色の色相が保持され、したがって復号されたカラーピクチャの視覚的品質が改善されるために有利である。
より正確には、比色分析及び色彩理論において、カラフルネス、クロマ及び飽和度は、特定の色の知覚強度を指す。カラフルネスは、色とグレイとの間の差の度合いである。クロマは、同様の観察条件下で白く見える他の色の明度に関するカラフルネスである。飽和度は、ある色の、それ自体の明度に関するカラフルネスである。
カラフルネスの高い刺激は、鮮明で明るく、カラフルネスの低い刺激は、より抑えられて見え、グレイにより近い。カラフルネスがまったくないと、色は、「ニュートラル」グレイである(その色の何れにおいてもカラフルネスがないピクチャは、グレイスケールと呼ばれる)。何れの色もそのカラフルネス(又はクロマ又は飽和度)、ライトネス(又は明度)及び色相から説明できる。
色の色相及び飽和度の定義は、その色を表すために使用される色空間に依存する。
例えば、CIELUV色空間が使用される場合、飽和度suvは、輝度Lに対するクロマ
Figure 2019513323

の比と定義される。
Figure 2019513323
したがって、色相は、次式により求められる。
Figure 2019513323
他の例によれば、CIELAB色空間が使用される場合、飽和度は、輝度に対するクロマの比として定義される。
Figure 2019513323
したがって、色相は、次式により求められる。
Figure 2019513323
これらの式は、飽和度及び色相を合理的に予測するものであり、これは、人による飽和度の知覚と一致し、CIELAB(又はCIELUV)色空間で明度を調整しながら角度a/b(又はu/v)を一定に保つことは、色相、したがって同じ色の知覚に影響を与えることを証明している。ステップ150では、色成分Ecを同じ係数でスケーリングすることにより、この角度、したがって色相が保持される。
ここで、HDRピクチャIがCIELUV色空間で表現されていることと、HDRピクチャIの輝度のダイナミックレンジと比較して縮小された(ステップ130)ダイナミックレンジを有する輝度成分L及びCIELUV色空間の2つのクロミナンス成分U(=C1)及びV(=C2)を結合することによって形成されるピクチャI2を考える。ピクチャI2の色は、したがって、その色の飽和度及び色相が変化しているため、人から異なって知覚される。方法(ステップ150)は、ピクチャI2の色の色相がHDRピクチャIの色の色相と最もよくマッチするようにピクチャI2のクロミナンス成分C1及びC2を特定する。
ステップ160の実施形態によれば、係数r(L)は、次式により求められる。
Figure 2019513323
この最後の実施形態は、それによって係数が非常に暗いピクセルについてゼロにならないようになり、すなわち比がピクセルの値に関係なく不可逆的となるために有利である。
ステップ170では、2つのクロミナンス成分C1、C2が少なくとも1つの中間色成分E’cから取得される。
特定の実施形態において、中間成分は、E’cから以下のように取得される。
Figure 2019513323
したがって、2つのクロミナンス成分C1及びC2は、3つの中間成分Dc(式中、c∈{1,2,3}である)を線形に結合することよって取得される。
Figure 2019513323

式中、A2及びA3は、(E1,E2,E3)色空間から色空間(Y,C1,C2)への色空間変換を規定する3×3の行列Aの第二及び第三の行である。
ステップ12では、モジュールGMは、輝度LとクロミナンスC1、C2成分とを最終的な輝度成分L’’及び2つの最終的なクロミナンス成分C’’1、C’’2にマッピングし、それによって最終的な輝度(L’’)及びクロミナンス(C’’1、C’’2)成分から取得された色の色域G2が符号化されるHDRピクチャIの色の色域G1にマッピングされる。ステップ12は、図11に詳細に示されている。2つの最終的なクロミナンス成分C’’1、C’’2は、2つのクロミナンス成分C1、C2を、輝度成分Lの各ピクセルiの値に依存する係数β−1(L(i))でスケーリングすることによって取得され(ステップ121)、モジュールLCC(ステップ122)は、輝度成分Lと2つの最終的なクロミナンス成分C’’1、C’’2とを線形に結合することによって最終的な輝度成分L’’を取得する。
Figure 2019513323

式中、m及びnは、最も高い輝度ピークを補正することによって色飽和を回避する係数(実値)である。
変形形態によれば、係数β−1(L(i))は、変調値Baにさらに依存する。
実施形態によれば、係数m及びnは、ローカル又はリモートメモリの何れかに記憶され、且つ/又は図11に示されるようにストリームBFに追加される。
モジュールLCC(式A)の変形形態によれば、最終的な輝度成分L’’の値は、常に輝度成分Lの値より低い。
Figure 2019513323
これにより、最終的な輝度成分L’’が輝度成分Lの値を超えないことが確実となり、したがって色飽和が起こらないことが確実となる。
実施形態によれば、係数β−1(L(i))は、特定の輝度の値L(i)から、且つ任意選択により、さらに特定の変調値Baに関するルックアップテーブル(LUT)から取得される。したがって、複数の輝度ピーク値(例えば、マスタリングディスプレイの最大輝度)、例えば1000、1500及び4000nitについて、特定の係数β−1(L(i))が特定の変調値Baの各々に関するLUTに記憶される。
変形形態によれば、係数β−1(L(i))は、輝度成分Lのピクセルの値について、輝度ピークをそれに関するLUTが記憶されている複数の輝度ピーク間で補間することによって取得される。
変形形態によれば、特定の変調値Baのための係数β−1(L(i))は、輝度成分Lのピクセルの値について、輝度ピークをそれに関するLUTが記憶されている複数の輝度ピーク間で補間することによって取得される。
実施形態によれば、係数β−1(L(i))と式(A)の係数m及びnとは、以下のように取得される。
最終的な輝度(L’’)及びクロミナンス(C’’1,C’’2)成分から取得された色の色域G2の、HDRピクチャIの色の色域G1(成分L、C1及びC2から取得される)へのマッピングは、次式で求められる。
Figure 2019513323

式中、ΦBa(Y)は、HDRピクチャIの線形輝度Yに依存するマッピング関数である。典型的に、線形輝度Yは、HDRピクチャIの成分Ecの線形結合として取得される。輝度成分Lは、線形輝度Y及びバックライト値Baに明白に関係し、そのため、
ΦBa(Y)=ΦBa(f(Ba,Y))=ΦBa(L)
のように記述することができ、マッピング関数は、輝度成分Lの関数として見られる。
ここで、変調値Ba及び特定の線形輝度レベルYを一定とする。色成分Ecは、線形RGB色空間で表現されると仮定する。色域G2の関連する3原色
Figure 2019513323

は、以下により求められる。
Figure 2019513323

式中、A1は、線形RGBから線形輝度Yを規定する1行の行列であり、すなわち:
Figure 2019513323

である。
Sを、これらの3原色の、モジュールCの適用(ステップ11)に対応する画像μ(.)からなる3×3の行列として示す。
Figure 2019513323
マッピング関数ΦBa(L)の目的は、
Figure 2019513323

を色域G2の3原色にマッピングすることである。換言すれば、行列
Figure 2019513323

は。以下の形態:
Figure 2019513323

とすべきであり、式中、r、g、bは、未知のパラメータであり、Aは、非線形色空間R’G’B’をLC1C2の色空間に変換する3×3の行列である。すべてをまとめると、以下が得られる。
Figure 2019513323
また、座標がLC1C2の色空間中で[1 0 0]である白色点の保持によって他の条件が導かれる。
Figure 2019513323

式中、ηは、他の未知のパラメータである。その結果、行列Dは、次式により一意的に特定される。
Figure 2019513323

式中、除法は、A−1の第一の列の
Figure 2019513323

の第一の列による係数除法であると理解する。その結果、マッピング行列は、スケーリング係数ηまで特定される。
復号側で必要となるマッピング関数ΦBa(L)の逆関数は、Lにおける潜在的な非線形の問題を解かなければならないため、容易に取得されず、これは、輝度成分Lの関数としての逆行列ΦBa −1(L)が容易に得られるが、それに対応する最終的な輝度成分L’’の関数としてのΦBa −1(L’’)が容易に得られないからである。単純な逆関数ΦBa −1(L’’)を取得するために、ΦBa(L)の公式をさらに単純化できることを示す。
実際に、マッピング関数は、以下により表現され得る。
Figure 2019513323

式中、m及びnは、輝度レベルYに依存する係数(実値)である。マッピング関数ΦBa(L)の逆関数
Figure 2019513323

は、
Figure 2019513323

により求められ、その第一の列は、以下により求められる。
Figure 2019513323
幾つかの代数操作の後、式(F)は、
Figure 2019513323

となり、次のマッピング関数が得られることがわかる。
Figure 2019513323

式中、m及びnは、変調値Ba及び輝度成分Lに依存しない実値(係数)であり、β=β(Ba,L(i))であり、一定の行列を規定した。
Figure 2019513323
式(B)及び(G)は、マッピング関数が2つの効果を有することを示しており、1つ目は、輝度成分Lのダイナミックがスケーリング係数ηによりスケーリングされることであり、2つ目は、クロミナンス成分C1及びC2もスケーリング係数ηβ−1によりスケーリングされることである。
LとL’’との間の全体的な輝度マッピングを保持するために、パラメータηは、1に設定される。式(G)は、以下のようになる。
Figure 2019513323

式中、βは、変調値Ba及び輝度成分に依存する。この公式を逆転させて、逆マッピング関数を得る。
Figure 2019513323
ここで、輝度成分Lは、行列
Figure 2019513323

を適用することによってL’’、C’’1、C’’2から戻され、その後、Lがわかったため、最終的なクロミナンス成分C’’1、C’’2に適用してクロミナンス成分C1、C2を再び取得するための係数β(Ba,L(i))が見つかる。
したがって、マッピング関数ΦBa(L)は、式(H)により提供され、定数行列Φがカラー画像Iの輝度ピークPまでのすべての輝度レベルについて使用され、βは、輝度ピークPまでの輝度範囲全体について規定される。
式(H)を式(B)に含めると、式(A)が得られる。
他の実施形態によれば、係数β−1(Ba,L(i),m,n)は、前述の実施形態において説明したように求められる係数m及びnに依存すると考えられる。
したがって、係数β−1は、ステップ12における1つの未知の値である。
係数β−1は、色域G1及びG2間で計算される色域歪みが最小化されるように取得される。換言すれば、係数β−1は、色域保持の条件下での最適な係数である。
数学的に言えば、係数β−1は、次式により取得される。
Figure 2019513323

式中、Yは、所定の輝度値であり、そこから輝度値Lが得られ、Baは、与えられる所定の変調値であり、色域歪みGD(βtest −1)は、次式:
Figure 2019513323

により求められ、色域歪みは、色域G1の要素(xj,yj)と色域G2の関連する要素(x’j,y’j)との間の二乗誤差の合計と定義される。
輝度値Y0を固定する。その集合の各要素の対応するXYZ値は、
=Y/y,Y=Y、及びZ=Y(1−x−y)/y
により取得され、したがって対応する色値Ec(c=1,2,又は3)が取得される。ステップ121では、β−1(Ba,L,m,n)に使用される変調値Ba0及びテスト係数βtest −1を固定し、適用する。
最終値L’’j,C’’1j及びC’’2jは、ステップ11及び12で作られたコード化チェーンを色成分に適用することによって取得される。これらの最終値から、CEI 1931色度図における関連する要素(x’j,y’j)関連する色域集合が推定される。
ステップ13では、エンコーダENCは、ストリームF、例えばHEVC適合ストリーム中の最終的な輝度L’’成分及び2つの最終的なクロミナンス成分C’’1、C’’2を符号化する。
実施形態によれば、符号化された成分L’’及びクロミナンス成分C’’1、C’’2は、ローカル又はリモートメモリに記憶され、且つ/又はストリームFに追加される。
図12は、他の具体的で非限定的な実施形態による、ストリーム中のHDRピクチャを符号化する方法のフローチャートを表す。この符号化方法は、2変数関数β’’(Ba,L)及びg(Ba,L)と2つの定数パラメータa及びbとの集合に依存し、これらは、色及びテクスチャがSDR画像/ビデオにおいて元のHDR画像/ビデオと比較して保持されるように、輝度及びクロミナンスをSDRからHDRへとマッピングするのに使用される。g(Ba,L)は、好ましくは、変数LのSlog関数であるが、三重項(a,b,β’’)は、ビーク輝度、入力/出力色域及びバックライト値Baに応じて最善のSDR/HDRカラーマッチング(色相及び知覚飽和度)を導くように最適化される。
符号化は、関数β’’(Ba,L)を含み、復号は、関数β’(Ba,L)を含む。関数β’’は、通常、エンコーダ側で最適化される。デコーダ側では、関数β’は、通常、ピーク輝度、入力/出力色域及び場合によりバックライト値Baをインデックスとするルックアップテーブルとして記憶される。
符号化方法は、輝度ダイナミック縮小ステップ1110を含む。ステップ1110は、HDRピクチャの色成分Ec(c=1,2,3)の少なくとも1つから元の輝度Yを取得するサブステップ1111と、符号化されるピクチャのための変調値Ba(バックライト値とも呼ばれる)を特定するためのヒストグラム分析のサブステップ1112とを含む。変調値の計算には様々な方法を使用でき、例えば、限定ではないが、HDRF輝度の平均値、中央値、最小値又は最大値を使用する。これらの演算は、線形HDR輝度ドメインYHDR,lin又はIn(YHDR,lin)若しくはYHDR,lin γ(式中、γ<1である)の非線形ドメインで実行され得る。
カラーピクチャは、そのカラーピクチャのピクセル値が表現される3つの色成分を有すると考えられる。本開示は、少なくとも部分的に具体的な例によって説明されているが、3つの成分が表現される何れの色空間にも限定されず、RGB、CIELUV、XYZ、CIELab等のあらゆる色空間に拡張される。一例として、Ecは、図中においてRGBHDRを指す。サブステップ1113では、元の輝度Yダイナミックのダイナミックを縮小して、元の輝度Y及び変調値Baから、元の輝度Y及び変調値Baに依存する非線形関数を適用することによって輝度成分Lを取得する。輝度成分Lは、SDRピクチャの輝度成分である。したがって、これは、Y成分、より正確にはYUV BT709又はYUV BT2020標準色空間のYSDN成分と呼ぶこともできる。
ステップ1120では、2つのクロミナンス成分C1及びC2がカラーピクチャの色成分RGBHDRから特定される。サブステップ1121では、中間成分Rが、色成分RGBHDRの平方根をとることによって取得される。次のサブステップ1122では、中間成分Rに共通の乗算係数β’’を乗じることよって縮小成分
Figure 2019513323

が取得される。係数β’’(Ba,L)は、輝度成分L及び変調値Baに依存する。次のサブステップ1123では、3つの縮小成分Fcに行列を乗じることにより、クロミナンス成分U’及びV’が取得され、すなわち:
Figure 2019513323

であり、式中、Mは、そのカラーピクチャの色域に依存する2×3の行列である。
ステップ1130では、輝度成分Lとクロミナンス成分C1、C2との補正が行われ、補正された輝度成分L’と補正されたクロミナンス成分U’及びV’とが取得される。この補正は、補正された成分L’、U’、V’の色域G1の知覚された色がHDRピクチャの成分の色域G2の知覚された色に対応するような色域マッピングによって取得される。
より正確には、比色分析及び色彩理論において、カラフルネス、クロマ及び飽和度は、特定の色の知覚強度を指す。カラフルネスは、色とグレイとの間の差の度合いである。クロマは、同様の観察条件下で白く見える他の色の明度に関するカラフルネスである。強度は、ある色の、それ自体の明度に関するカラフルネスである。
カラフルネスの高い刺激は、鮮明で明るく、カラフルネスの低い刺激は、より抑えられて見え、グレイにより近い。カラフルネスがまったくないと、色は、「ニュートラル」グレイである(その色の何れにおいてもカラフルネスがないピクチャは、グレイスケールと呼ばれる)。何れの色もそのカラフルネス(又はクロマ又は飽和度)、ライトネス(又は明度)及び色相から説明できる。
色の色相及び飽和度の定義は、その色を表すために使用される色空間に依存する。
例えば、CIELUV色空間が使用される場合、飽和度suvは、輝度Lに対するクロマ
Figure 2019513323

の比と定義される。
Figure 2019513323
したがって、色相は、次式により求められる。
Figure 2019513323
他の例によれば、CIELAB色空間が使用される場合、飽和度は、輝度に対するクロマの比として定義される。
Figure 2019513323
したがって、色相は、次式により求められる。
Figure 2019513323
これらの式は、飽和度及び色相を合理的に予測するものであり、これは、人による飽和度の知覚と一致し、CIELAB(又はCIELUV)色空間で明度を調整しながら角度a/b(又はu/v)を一定に保つことは、色相、したがって同じ色の知覚に影響を与えることを証明している。
ここで、HDRカラーピクチャがCIELUV色空間で表現されていることと、HDRピクチャIの輝度のダイナミックレンジと比較して縮小されたダイナミックレンジを有する輝度成分L及びCIELUV色空間の2つのクロミナンス成分U(=C1)及びV(=C2)を結合することによって形成されるピクチャI2を考える。ピクチャI2の色は、したがって、その色の飽和度と色相が変化しているため、人から異なって知覚される。方法(ステップ1130)は、補正されたピクチャI3の色の色相がHDRカラーピクチャの色の色相と最もよくマッチするように、補正されたピクチャI3のクロミナンス成分C’1及びC’2を特定する。
サブステップ1131、1132では、第二のステップ1120で使用された共通の乗算係数β’’が特定される。次のサブステップ1133では、L’がLから生成される。
補正された成分L’、C’1、C’2は、輝度成分Lとクロミナンス成分C1、C2とから次式により取得される。
・C’1=C1
・C’2=C2
・L’=L−mC’1−nC’2
式中、m及びnは、2つの実際の係数であり、図のa及びbを指す。実際の係数は、HDR Rec BT.709及びBt.2020の色域に依存する。m及びnの典型的な値は、区間[0.1,0.5]においてm≒nである。
補正の変形形態によれば、補正された輝度成分L’の値は、常に輝度成分Lの値より低い。
Figure 2019513323
これにより、補正された輝度成分L’の値が輝度成分Lの値を超えないことが確実となり、したがって色飽和が生じないことが確実となる。変調値Baは、ビットストリームF及びSDRピクチャL’C’1C’2、すなわち図1のL’U’V’で符号化される。
本明細書に記載されている実装形態は、例えば、方法又はプロセス、装置、ソフトウェアプログラム、データストリーム又は信号において実装され得る。1つの形態の実装形態に関してのみ論じられている(例えば、方法又はデバイスとしてのみ論じられている)としても、論じられている特徴の実装形態は、他の形態(例えば、プログラム)で実装され得る。装置は、例えば、適当なハードウェア、ソフトウェア及びファームウェアで実装され得る。方法は、例えば、処理デバイス全般を指すプロセッサ等の装置で実装され得、これには、例えば、コンピュータ、マイクロプロセッサ、集積回路又はプログラマブルロジックデバイスが含まれる。プロセッサは、例えば、コンピュータ、セルフォン、ポータブル/携帯型情報端末(PDA)及びエンドユーザ間の情報通信を容易にする他のデバイス等の通信デバイスも含む。
本明細書に記載されている各種のプロセス及び特徴の実装形態は、多くの異なる機器又はアプリケーション、特に例えば機器又はアプリケーションで具現化され得る。このような機器の例には、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、エンコーダへ入力を供給するプリプロセッサ、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、セルフォン、PDA及び他の通信デバイスが含まれる。明らかであるはずのとおり、機器は、モバイル型であり得るか、又はさらには移動車両内に取り付けられ得る。
加えて、方法は、プロセッサにより実行される命令によって実装され得、このような命令(及び/又は実装形態により生成されるデータ値)は、プロセッサ可読媒体、例えば集積回路、ソフトウェアキャリア、又は例えばハードディスク、コンパクトディスケット(CD)、光ディスク(例えば、デジタルバーサタイルディスク又はデジタルビデオディスクと呼ばれることの多いDVD)、ランダムアクセスメモリ(RAM)又はリードオンリメモリ(ROM)等の他のストレージデバイス等に記憶され得る。命令は、プロセッサ可読媒体上に有形の状態で具現化されるアプリケーションプログラムを形成し得る。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア又はそれらの組合せにおけるものであり得る。命令は、例えば、オペレーティングシステム、別のアプリケーション又はこれらの2つの組合せに見られ得る。したがって、プロセッサは、例えば、プロセスを実行するように構成されたデバイスと、プロセスを実行するための命令を有するプロセッサ可読媒体(ストレージデバイス等)を含むデバイスとの両方として特徴付けられ得る。さらに、プロセッサ可読媒体は、命令に加えて又は命令の代わりに、実装形態により生成されたデータ値を記憶し得る。
当業者にとって明らかであるように、実装形態により、情報を搬送するようにフォーマットされた各種の信号が生成され得、これらは、例えば、記憶又は送信され得る。情報には、例えば、方法を実行するための命令又は説明された実装形態の1つにより生成されるデータが含まれ得る。例えば、信号は、説明された実施形態のシンタックスを読み書きするためのルールをデータとして搬送し、又は説明されている実施形態により記述された実際のシンタックス値をデータとして搬送するようにフォーマットされ得る。このような信号は、例えば、電磁波として(例えば、スペクトルの無線周波数部分を用いて)又はベースバンド信号としてフォーマットされ得る。フォーマッティングには、例えば、データストリームを符号化することと、キャリアを符号化されたデータストリームで変調することとを含み得る。信号が搬送する情報は、例えば、アナログ又はデジタル情報であり得る。信号は、既知のように、様々な異なる有線又は無線リンクを通じて送信され得る。信号は、プロセッサ可読媒体上に記憶され得る。
多数の実装形態が説明された。しかしながら、様々な改変形態がなされ得ることが理解されるであろう。例えば、異なる実装形態の要素を組み合わせるか、補足するか、改変するか、又は取り除いて他の実装形態を創出し得る。加えて、当業者であればわかるように、開示されているものにとって他の構造及びプロセスが適当であり得、その結果として得られた実装形態は、開示された実装形態と少なくとも実質的に同じ機能を少なくとも実質的に同じ方法で実行し、少なくとも実質的に同じ結果を達成する。したがって、これら及び他の実装形態も本願において想定される。

Claims (15)

  1. 標準ダイナミックレンジピクチャをコード化するストリームを復号する方法であって、
    前記標準ダイナミックレンジピクチャの復号バージョンと、前記ストリーム中における前記コード化された標準ダイナミックレンジピクチャに関連する色メタデータとを取得するために前記ストリームを復号することであって、前記色メタデータは、少なくとも高ダイナミックレンジピクチャのマスタリングに使用されたマスタリングディスプレイの特性のものを表す、復号すること、
    前記標準ダイナミックレンジピクチャの前記復号バージョン及び前記色メタデータから前記高ダイナミックレンジピクチャのバージョンを再構成すること
    を含む方法。
  2. 前記色メタデータは、前記マスタリングディスプレイの最大表示輝度、原色及び白色点の少なくとも1つを含む、請求項1に記載の方法。
  3. 前記高ダイナミックレンジピクチャのバージョンを再構成することは、高ダイナミックレンジ輝度信号を取得するために少なくとも前記マスタリングディスプレイの最大表示輝度に応答して前記標準ダイナミックレンジピクチャの前記復号バージョンのルマ信号を逆マッピングすることを含む、請求項1又は2に記載の方法。
  4. 前記高ダイナミックレンジピクチャのバージョンを再構成することは、前記マスタリングディスプレイの前記最大表示輝度と前記マスタリングディスプレイの原色及び白色点との少なくとも一方に応答した前記標準ダイナミックレンジピクチャの前記復号バージョンの逆カラーマッピングをさらに含む、請求項3に記載の方法。
  5. 前記色メタデータは、前記標準ダイナミックレンジピクチャに関連するマスタリングディスプレイカラーボリュームSEIメッセージ中にカプセル化される、請求項1〜4の何れか一項に記載の方法。
  6. 前記マスタリングディスプレイの前記特性は、前記マスタリングディスプレイのカラーボリュームを識別する、請求項1〜5の何れか一項に記載の方法。
  7. コード化方法であって、
    標準ダイナミックレンジピクチャを高ダイナミックレンジピクチャから特定すること、
    前記高ダイナミックレンジピクチャのマスタリングに使用されたマスタリングディスプレイの特性を表す色メタデータを取得すること、
    ストリーム中で前記標準ダイナミックレンジピクチャと前記色メタデータとを符号化すること
    を含むコード化方法。
  8. 前記色メタデータは、少なくとも前記マスタリングディスプレイの最大表示輝度、原色及び白色点のものを含む、請求項7に記載の方法。
  9. 高ダイナミックレンジピクチャから標準ダイナミックレンジピクチャを特定することは、少なくとも前記最大表示輝度に応答して前記高ダイナミックレンジピクチャの輝度信号を前記標準ダイナミックレンジピクチャのルマ信号にマッピングすることを含む、請求項7又は8に記載の方法。
  10. 高ダイナミックレンジピクチャから標準ダイナミックレンジピクチャを特定することは、前記マスタリングディスプレイの前記最大表示輝度と、前記マスタリングディスプレイの原色及び白色点との少なくとも一方に応答した前記高ダイナミックレンジピクチャの色信号の前記標準ダイナミックレンジピクチャのクロマ信号へのカラーマッピングをさらに含む、請求項9に記載の方法。
  11. 前記色メタデータは、前記標準ダイナミックレンジピクチャに関連するマスタリングディスプレイカラーボリュームSEIメッセージ中にカプセル化される、請求項7〜10の何れか一項に記載の方法。
  12. 前記マスタリングディスプレイの前記特性は、前記マスタリングディスプレイのカラーボリュームを識別する、請求項7〜11の何れか一項に記載の方法。
  13. 標準ダイナミックレンジピクチャを表すコード化されたデータと、前記標準ダイナミックレンジピクチャに関連する色メタデータを表すコード化されたデータとを含むストリームであって、前記色メタデータは、少なくとも高ダイナミックレンジピクチャのマスタリングに使用されたマスタリングディスプレイの特性のものを表す、ストリーム。
  14. 標準ダイナミックレンジピクチャをコード化するストリームを復号する復号デバイスであって、
    前記標準ダイナミックレンジピクチャの復号バージョンと、前記ストリーム中における前記コード化された標準ダイナミックレンジピクチャに関連する色メタデータとを取得するために前記ストリームを復号する手段であって、前記色メタデータは、少なくとも高ダイナミックレンジピクチャのマスタリングに使用されたマスタリングディスプレイの特性のものを表す、手段、
    前記標準ダイナミックレンジピクチャの前記復号バージョン及び前記色メタデータから前記高ダイナミックレンジピクチャのバージョンを再構成する手段
    を含む復号デバイス。
  15. コード化デバイスであって、
    標準ダイナミックレンジピクチャを高ダイナミックレンジピクチャから特定する手段、
    前記高ダイナミックレンジピクチャのマスタリングに使用されたマスタリングディスプレイの特性を表す色メタデータを取得する手段、
    ストリーム中で前記標準ダイナミックレンジピクチャと前記色メタデータとを符号化する手段
    を含むコード化デバイス。
JP2018548816A 2016-03-18 2017-03-13 高ダイナミックレンジピクチャを符号化する方法及び装置、対応する符号化方法及並びに符号化装置 Active JP6946325B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16305303.6A EP3220645A1 (en) 2016-03-18 2016-03-18 A method and a device for encoding a high dynamic range picture, corresponding decoding method and decoding device
EP16305303.6 2016-03-18
PCT/EP2017/055829 WO2017157845A1 (en) 2016-03-18 2017-03-13 A method and a device for encoding a high dynamic range picture, corresponding decoding method and decoding device

Publications (3)

Publication Number Publication Date
JP2019513323A true JP2019513323A (ja) 2019-05-23
JP2019513323A5 JP2019513323A5 (ja) 2020-04-16
JP6946325B2 JP6946325B2 (ja) 2021-10-06

Family

ID=55589786

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018548816A Active JP6946325B2 (ja) 2016-03-18 2017-03-13 高ダイナミックレンジピクチャを符号化する方法及び装置、対応する符号化方法及並びに符号化装置

Country Status (10)

Country Link
US (1) US11032579B2 (ja)
EP (2) EP3220645A1 (ja)
JP (1) JP6946325B2 (ja)
KR (1) KR102358368B1 (ja)
CN (1) CN109076231B (ja)
BR (1) BR112018068873A2 (ja)
CA (1) CA3017994A1 (ja)
MX (1) MX2018011255A (ja)
RU (1) RU2737507C2 (ja)
WO (1) WO2017157845A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10257394B2 (en) 2016-02-12 2019-04-09 Contrast, Inc. Combined HDR/LDR video streaming
US10264196B2 (en) 2016-02-12 2019-04-16 Contrast, Inc. Systems and methods for HDR video capture with a mobile device
WO2018031441A1 (en) 2016-08-09 2018-02-15 Contrast, Inc. Real-time hdr video for vehicle control
EP3367658A1 (en) * 2017-02-24 2018-08-29 Thomson Licensing Method and device for reconstructing an hdr image
WO2019014057A1 (en) 2017-07-10 2019-01-17 Contrast, Inc. STEREOSCOPIC CAMERA
JP7074461B2 (ja) * 2017-11-22 2022-05-24 インターデジタル ヴイシー ホールディングス, インコーポレイテッド ディスプレイ適合hdr画像を再構成する方法およびデバイス
US10951888B2 (en) 2018-06-04 2021-03-16 Contrast, Inc. Compressed high dynamic range video
WO2020018331A1 (en) * 2018-07-20 2020-01-23 Interdigital Vc Holdings, Inc. Method and apparatus for processing a medium dynamic range video signal in sl-hdr2 format
KR20200095651A (ko) * 2019-02-01 2020-08-11 삼성전자주식회사 고 동적 범위 콘텐트를 재생하는 전자 장치 및 그 방법
US11330196B2 (en) * 2020-10-12 2022-05-10 Microsoft Technology Licensing, Llc Estimating illumination in an environment based on an image of a reference object
CN115797152A (zh) * 2021-09-10 2023-03-14 北京字跳网络技术有限公司 一种颜色映射色卡生成方法及装置
WO2024023008A1 (en) * 2022-07-27 2024-02-01 Interdigital Ce Patent Holdings, Sas Method for preventing clipping in sl-hdrx systems

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013046095A1 (en) * 2011-09-27 2013-04-04 Koninklijke Philips Electronics N.V. Apparatus and method for dynamic range transforming of images
WO2014178286A1 (ja) * 2013-04-30 2014-11-06 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2015189350A1 (en) * 2014-06-12 2015-12-17 Thomson Licensing Method of mapping source colors of a source content
WO2017157977A1 (en) * 2016-03-18 2017-09-21 Koninklijke Philips N.V. Encoding and decoding hdr videos

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2360926A1 (en) 2010-01-19 2011-08-24 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Image encoder and image decoder
US8606009B2 (en) * 2010-02-04 2013-12-10 Microsoft Corporation High dynamic range image generation and rendering
TWI559779B (zh) 2010-08-25 2016-11-21 杜比實驗室特許公司 擴展影像動態範圍
WO2012158504A1 (en) 2011-05-16 2012-11-22 Dolby Laboratories Licensing Corporation Efficient architecture for layered vdr coding
US8891863B2 (en) * 2011-06-13 2014-11-18 Dolby Laboratories Licensing Corporation High dynamic range, backwards-compatible, digital cinema
KR101579831B1 (ko) * 2011-10-20 2015-12-23 돌비 레버러토리즈 라이쎈싱 코오포레이션 비디오 등화를 위한 방법 및 시스템
JP6202330B2 (ja) * 2013-10-15 2017-09-27 ソニー株式会社 復号装置および復号方法、並びに符号化装置および符号化方法
JP2016541140A (ja) * 2013-11-13 2016-12-28 エルジー エレクトロニクス インコーポレイティド Hdr放送サービスの提供のための放送信号送受信方法及び装置
EP2958328A1 (en) 2014-06-20 2015-12-23 Thomson Licensing Method and device for signaling in a bitstream a picture/video format of an LDR picture and a picture/video format of a decoded HDR picture obtained from said LDR picture and an illumination picture
JP2016058848A (ja) * 2014-09-08 2016-04-21 ソニー株式会社 画像処理装置及び画像処理方法
US9652870B2 (en) * 2015-01-09 2017-05-16 Vixs Systems, Inc. Tone mapper with filtering for dynamic range conversion and methods for use therewith
WO2016120085A1 (en) * 2015-01-29 2016-08-04 Koninklijke Philips N.V. Local dynamic range adjustment color processing
WO2016129891A1 (ko) * 2015-02-11 2016-08-18 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
US10616617B2 (en) * 2015-04-23 2020-04-07 Lg Electronics Inc. Method and apparatus for transmitting or receiving broadcast signal
US10687080B2 (en) * 2015-08-28 2020-06-16 Arris Enterprises Llc Color volume transforms in coding of high dynamic range and wide color gamut sequences
US10043251B2 (en) * 2015-10-09 2018-08-07 Stmicroelectronics Asia Pacific Pte Ltd Enhanced tone mapper for high dynamic range images and video
US9984446B2 (en) * 2015-12-26 2018-05-29 Intel Corporation Video tone mapping for converting high dynamic range (HDR) content to standard dynamic range (SDR) content
AU2017235369B2 (en) * 2016-03-18 2022-02-03 Koninklijke Philips N.V. Encoding and decoding HDR videos

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013046095A1 (en) * 2011-09-27 2013-04-04 Koninklijke Philips Electronics N.V. Apparatus and method for dynamic range transforming of images
WO2014178286A1 (ja) * 2013-04-30 2014-11-06 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2015189350A1 (en) * 2014-06-12 2015-12-17 Thomson Licensing Method of mapping source colors of a source content
WO2017157977A1 (en) * 2016-03-18 2017-09-21 Koninklijke Philips N.V. Encoding and decoding hdr videos

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHAD FOGG AND JIM HELMAN: "Indication of SMPTE 2084 and 2085 and carriage of 2086 metadata in HEVC", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-P0084r1, JPN6021010784, January 2014 (2014-01-01), pages 1 - 5, ISSN: 0004472750 *
S. LASSERRE ET AL.: "Modulation-based HDR video coding with SDR backward compatibility", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-U0085r1, JPN6021010782, June 2015 (2015-06-01), pages 1 - 16, ISSN: 0004472749 *
WIEBE DE HAAN ET AL.: "HDR CE6: Core Experiments 4.3 and 4.6a: description of the Philips system in 4:2:0 and with automati", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-W0063, JPN6021010785, February 2016 (2016-02-01), pages 1 - 13, ISSN: 0004576245 *

Also Published As

Publication number Publication date
KR102358368B1 (ko) 2022-02-03
EP3220645A1 (en) 2017-09-20
CA3017994A1 (en) 2017-09-21
CN109076231B (zh) 2021-06-08
RU2018136432A (ru) 2020-04-20
US11032579B2 (en) 2021-06-08
RU2737507C2 (ru) 2020-12-01
EP3430807A1 (en) 2019-01-23
JP6946325B2 (ja) 2021-10-06
KR20180123046A (ko) 2018-11-14
US20200296428A1 (en) 2020-09-17
WO2017157845A1 (en) 2017-09-21
MX2018011255A (es) 2019-08-16
BR112018068873A2 (pt) 2019-01-22
RU2018136432A3 (ja) 2020-05-25
CN109076231A (zh) 2018-12-21
EP3430807B1 (en) 2021-09-29

Similar Documents

Publication Publication Date Title
JP7356478B2 (ja) カラー・ピクチャを符号化および復号する方法および装置
JP6946325B2 (ja) 高ダイナミックレンジピクチャを符号化する方法及び装置、対応する符号化方法及並びに符号化装置
US11006151B2 (en) Method and device for encoding both a HDR picture and a SDR picture obtained from said HDR picture using color mapping functions
US20180352257A1 (en) Methods and devices for encoding and decoding a color picture
KR102523233B1 (ko) 컬러 픽처를 디코딩하는 방법 및 디바이스
JP2018530942A (ja) コード化および復号方法ならびに対応するデバイス
KR102385726B1 (ko) 하이 다이내믹 레인지 화상을 코딩된 비트스트림으로 인코딩/디코딩하기 위한 방법 및 장치
EP3051489A1 (en) A method and apparatus of encoding and decoding a color picture

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181001

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181114

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20181115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200306

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200306

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210325

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210326

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210512

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210817

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210915

R150 Certificate of patent or registration of utility model

Ref document number: 6946325

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150