JP2018525883A - カラー・ピクチャを符号化および復号する方法およびデバイス - Google Patents

カラー・ピクチャを符号化および復号する方法およびデバイス Download PDF

Info

Publication number
JP2018525883A
JP2018525883A JP2017567637A JP2017567637A JP2018525883A JP 2018525883 A JP2018525883 A JP 2018525883A JP 2017567637 A JP2017567637 A JP 2017567637A JP 2017567637 A JP2017567637 A JP 2017567637A JP 2018525883 A JP2018525883 A JP 2018525883A
Authority
JP
Japan
Prior art keywords
color
sdr
dynamic range
color picture
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017567637A
Other languages
English (en)
Other versions
JP2018525883A5 (ja
Inventor
ルローネ,フアブリス
ラセール,セバスチアン
アンドリボン,ピエール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2018525883A publication Critical patent/JP2018525883A/ja
Publication of JP2018525883A5 publication Critical patent/JP2018525883A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/10Image enhancement or restoration using non-spatial domain filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/77Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/643Hue control means, e.g. flesh tone control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)

Abstract

本開示は、概ね、高ダイナミック・レンジ(HDR)カラー・ピクチャおよび少なくとも1つの第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャを符号化する方法およびデバイスに関し、この方法は、HDRカラー・ピクチャから得られる第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャを符号化すること(101)を含む。本開示によれば、この方法は、第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャから上記の少なくとも1つの第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャへの少なくとも1つのカラー・リマッピング情報を規定すること(102)をさらに含み、上記の少なくとも1つのカラー・リマッピング情報は、第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャから上記の少なくとも1つの第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャの近似を得るために使用される。

Description

本開示は、一般に、ピクチャ/ビデオの符号化および復号に関する。特に、ただしこれに限定されるわけではないが、本開示の技術分野は、画素値が高ダイナミック・レンジ(HDR)に属するカラー・ピクチャ、および、画素値が標準ダイナミック・レンジ(SDR)に属し、カラー・グレーディング・ポスト・プロダクション作業を高ダイナミック・レンジ(HDR)カラー・ピクチャに適用することによって得られる、少なくとも1つのカラー・ピクチャの両方の符号化/復号に関する。
本節は、以下に説明し、且つ/または主張する本開示の様々な特徴に関係する可能性がある様々な技術特徴を読者に紹介するための項である。以下の説明は、本開示の様々な特徴をよりよく理解することを容易にするための背景情報を読者に提供する助けになるものと考えられる。従って、これらの記述は、これに照らして読まれるべきものであり、従来技術として認めるものとして読まれるべきものではないことを理解されたい。
以下では、カラー・ピクチャは、サンプル(画素値)のいくつかのアレイを、ピクチャ(もしくはビデオ)の画素値に関する全ての情報、ならびに例えばディスプレイおよび/またはその他の任意のピクチャ(もしくはビデオ)を視覚化および/または復号するデバイスによって使用される可能性がある全ての情報を指定する特定のピクチャ/ビデオ・フォーマットで含んでいる。カラー・ピクチャは、第1のサンプルのアレイの形状をした少なくとも1つの成分、通常はルマ(または輝度)成分と、少なくとも1つの他のサンプルのアレイの形状をした少なくとも1つの別の成分とを含む。すなわち、同等に、同じ情報が、従来の3色RGB表現など、カラー・サンプル(カラー成分)のアレイのセットによって表されることもある。
画素値は、c個の値のベクトルによって表される。ここで、cは、成分の数である。ベクトルの各値は、それらの画素値の最大ダイナミック・レンジを規定するいくつかのビットで表される。
スタンダード・ダイナミック・レンジ・ピクチャ(SDRピクチャ)は、その輝度値が、通常は2またはfストップの累乗で測定される制限されたダイナミックで表される、カラー・ピクチャである。SDRピクチャは、約10fストップのダイナミックを有する、すなわち、線形領域中の最も明るい画素と最も暗い画素の間の比が1000であり、例えばITU−R BT.709 OETF(光電伝達関数)(ITU−R勧告BT.709−5、2002年4月)またはITU−R BT.2020 OETF(ITU−R勧告BT.2020−1、2014年6月)を使用して、非線形領域で限られたビット数(最も多いのはHDTV(高精細度テレビジョン・システム)およびUHDTV(超高精細度テレビジョン・システム)における8または10)でコード化されて、ダイナミックを低下させる。この制限された非線形表現では、特に暗い輝度範囲および明るい輝度範囲では、小さな信号変動を正しくレンダリングすることができない。ハイ・ダイナミック・レンジ・ピクチャ(HDRピクチャ)では、信号ダイナミックは、はるかに高くなり(最大で20fストップ、最も明るい画素と最も暗い画素の間の比が100万)、信号の全範囲にわたって信号の高い精度を維持するためには、新たな非線形表現が必要となる。HDRピクチャでは、生データは、通常は、浮動小数点フォーマット(各成分について32ビットまたは16ビット、すなわち単精度または半精度)(最も一般的なフォーマットは、openEXR半精度フォーマット(RGB成分につき16ビット、すなわち画素ごとに48ビット))で表されるか、あるいは通常は少なくとも16ビットの長い表現の整数で表される。
色域は、色の特定の完全なセットである。最も一般的な用法では、所与の色空間内または特定の出力デバイスによるなど、所与の状況で正確に表すことができる色のセットを指す。
色域は、図1に示すように、CIE1931色空間色度図に与えられるRGB原色と白色点とによって規定されることもある。
いわゆるCIE1931色空間色度図で原色を規定することは一般的である。これは、輝度成分から独立して色を規定する2次元図(x,y)である。この場合、任意の色XYZは、以下の変換によってこの図に投影される。
Figure 2018525883
z=1−x−y成分も規定されるが、これはこれ以上の情報を担持していない。
この図では、色域は、その頂点が3原色RGBの(x,y)座標の集合である3角形によって定義される。白色点Wは、この3角形に属する、通常は3角形の中心に近い、別の所与の(x,y)点である。
カラー・ボリュームは、色空間と、この色空間内に表される値のダイナミック・レンジとによって定義される。
例えば、色域は、UHDTVについてのRGB ITU−R勧告BT.2020色空間によって規定される。さらに古い標準であるITU−R勧告BT.709は、HDTVについてのより小さな色域を規定する。SDRでは、ダイナミック・レンジは、公式にはデータがコード化されるカラー・ボリュームについて最大で100nit(カンデラ毎平方メートル)まで規定されるが、表示技術によっては、それより明るい画素を示すこともある。
Danny Pascaleによる「A Review of RGB Color Spaces」に広範に説明されているように、色域の変更、すなわち3原色および白色点をある色域から別の色域にマッピングする変換は、線形RGB色空間内で3×3行列を使用することによって実行することができる。また、XYZからRGBへの空間の変更も、3×3行列によって実行される。その結果として、色空間がRGBであってもXYZであっても、色域の変更は、3×3行列によって実行することができる。例えば、BT.2020の線形RGBからBT.709のXYZへの色域の変更は、3×3行列によって実行することができる。
ハイ・ダイナミック・レンジ・ピクチャ(HDRピクチャ)は、その輝度値がSDRピクチャのダイナミックより高いHDRダイナミックで表されるカラー・ピクチャである。
HDRダイナミックは、まだ標準で規定されていないが、最大で数千nitのダイナミック・レンジが予想され得る。例えば、HDRカラー・ボリュームは、RGB BT.2020色空間で規定され、このRGB色空間内に表される値は、0から4000nitのダイナミック・レンジに属する。HDRカラー・ボリュームの別の例は、RGB BT.2020色空間で規定され、このRGB色空間内に表される値は、0から1000nitのダイナミック・レンジに属する。
ピクチャ(またはビデオ)のカラー・グレーディングは、ピクチャ(またはビデオ)の色を変更/増強するプロセスである。通常は、ピクチャのカラー・グレーディングは、このピクチャに関するカラー・ボリューム(色空間および/またはダイナミック・レンジ)の変更あるいは色域の変更を伴う。従って、同じピクチャの2つの異なるカラー・グレーディング・バージョンは、異なるカラー・ボリューム(または色域)に表される値を有するこのピクチャのバージョン、またはその色のうちの少なくとも1つが異なるカラー・グレードに従って変更/増強されているこのピクチャのバージョンである。これは、ユーザとの対話を伴うこともある。
例えば、映画製作では、3色カメラを使用して、ピクチャおよびビデオを取り込んで、3つの成分(赤、緑、および青)で構成されたRGB色値にする。RGB色値は、センサの3色特性(原色)に依存する。
次いで、(個々の劇場グレードを使用して)劇場でのレンダリングを得るように、取り込んだピクチャのHDRカラー・グレーディング・バージョンを得る。通常は、取り込んだピクチャの第1のカラー・グレーディング・バージョンの値は、UHDTVのパラメータ値を規定するBT.2020などの標準化されたYUVフォーマットに従って表される。
YUVフォーマットは、通常は、線形RGB成分に、非線形関数、いわゆる光電伝達関数(OETF)を適用して、非線形成分R’G’B’を得、次いで得られた非線形R’G’B’成分に色変換(通常は3×3行列)を適用して3つの成分YUVを得ることによって、実行される。第1の成分Yは、輝度成分であり、残りの2つの成分U、Vは、クロミナンス成分である。
次いで、カラリスト(colorist)が、通常は撮影監督と協働して、芸術的意図を盛り込むために一部の色値を微調整/ツイーク(tweak)することによって、取り込んだピクチャの第1のカラー・グレーディング・バージョンの色値に対して制御を実行する。
通常は、(特定のグレーディングを使用して)特定のレンダリングを得るために、取り込まれたピクチャ(またはビデオ)のカラー・グレーディングSDRバージョンも得る。通常は、カラー・グレーディングSDRピクチャ(またはビデオ)の値は、HDTVのパラメータ値を定義するBT.709、またはUHDTVのパラメータ値を定義するBT.2020などの標準化されたYUVフォーマットに従って表される。例えば、BT.709勧告によれば、100nitグレーディングを動画に適用して、放送およびBlu−ray(登録商標)ディスクのような形態での消費市場への配布を行う。
次いで、カラリストが、芸術的意図を盛り込むために一部の色値を微調整/ツイーク(tweak)することによって、カラー・グレーディングSDRピクチャの色値に対して制御を実行する。
解決すべき問題は、取り込んだピクチャ(またはビデオ)のHDRおよびSDRの両方のカラー・グレーディング・バージョンの配信、すなわち取り込んだピクチャ(またはビデオ)のカラー・グレーディング・バージョンを表す圧縮HDRピクチャ(またはビデオ)を配信しながら、同時に、取り込んだピクチャ(またはビデオ)のカラー・グレーディングSDRバージョンを表す関連するSDRピクチャ(またはビデオ)も配信することである。
よくある解決策は、これらHDRカラー・グレーディング・ピクチャ(またはビデオ)およびSDRカラー・グレーディング・ピクチャ(またはビデオ)の両方を配信インフラストラクチャで同時放送することであるが、その欠点は、HEVC main 10 profile(「High Efficiency Video Coding」、SERIES H:AUDIOVISUAL AND MULTIMEDIA SYSTEMS、ITU−T勧告H.265、Telecommunication Standardization Sector of ITU、2014年10月)などのSDRピクチャ(またはビデオ)を同報通信するように適応された旧来のインフラストラクチャの配信と比較して必要な帯域幅が実質的に2倍になることである。
旧来の配信インフラストラクチャを使用することは、HDRピクチャ(またはビデオ)の配信の出現を促すための要件である。また、SDRピクチャ(またはビデオ)およびHDRピクチャ(またはビデオ)の良好な品質を保証しながら、ビット・レートを最小限に抑えるものとする。
さらに、完全な後方互換性を保証することができる。すなわち、旧来のデコーダおよびディスプレイを有するユーザが、芸術家の意図に近い体験をする。すなわち、SDRピクチャのカラー・グレード(カラリストに修正されていることもある)が保存される。
別の単純な解決策は、適当な非線形関数によってHDRピクチャ(またはビデオ)のダイナミック・レンジを通常は限られた数のビット数(例えば10ビット)まで低下させ、HDRピクチャのこの低下させたダイナミック・バージョンをHEVC main 10 profileによって圧縮することである。このような非線形関数(曲線)は、SMPTEで提案されるいわゆるPQ EOTFなど、既に存在している(SMPTE標準:High Dynamic Range Electro−Optical Transfer Function of Mastering Reference Displays、SMPTE ST 2084:2014)。
この解決策の欠点は、ピクチャ(ビデオ)の得られるダイナミック低下バージョンが、カラリストが望む通りのSDRピクチャのカラー・グレードを保存しないので、完全な後方互換性がないことである。
本開示は、上記のことを念頭に考案されたものである。
以下、本開示のいくつかの態様の基本的な理解を与えるために、本開示の簡潔な概要を示す。この概要は、本開示の排他的な概観ではない。この概要は、本開示の重要または不可欠な要素を特定することを意図したものではない。以下の概要は、単に、後述するさらに詳細な説明の前置きとして、本開示のいくつかの態様を簡潔な形態で提示するものである。
本開示は、高ダイナミック・レンジ(HDR)カラー・ピクチャおよび少なくとも1つの第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャを符号化する方法であり、
HDRカラー・ピクチャから得られる第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャを符号化することを含む方法によって、従来技術の欠点のうちの少なくとも1つを解消しようとするものである。
この方法は、第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャから少なくとも1つの第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャへの少なくとも1つのカラー・リマッピング情報を規定することをさらに含み、少なくとも1つのカラー・リマッピング情報を使用して、第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャから少なくとも1つの第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャの近似を得る。
HDRカラー・ピクチャから得られる標準ダイナミック・レンジ(SDR)カラー・ピクチャの従来の符号化のみによって得られる色は、カラリストの意図に合致するカラー・グレーディングを保存しないように見えることがある。
2つのピクチャの間の数学的歪みに関して、カラー・リマッピング情報は、第1のSDRカラー・ピクチャに視覚的に近いSDRピクチャの生成する助けにはなるが、いかなる距離目標も保証しないので、「近似」という用語を用いねばならないことに留意されたい。
換言すれば、HDRピクチャから従来の符号化によって自動的に得られるこのような第2のSDRカラー・ピクチャは、復号後に可視であることもあるが、第2のSDRピクチャがカラリストの芸術的意図を考慮していない場合には、その表示は、カラリストまたは撮影監督の視点からは許容できないものとなる。
カラー・リマッピング情報を規定することにより、カラリストまたは撮影監督が必要とする考慮するピクチャの真のグレーディングをデコーダに通知することが可能になる。「カラー・リマッピング情報」の定義は、標準ITU−T H.265(10/2014)Series H:Audiovisual and Multimedia Systemsの「Colour remapping information SEI message semantics」と題するセクションD.3.32に開示されている。
本開示では、少なくとも1つの第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャは、高ダイナミック・レンジ(HDR)カラー・ピクチャのカラー・グレーディング・バージョンから得られる。
符号化した第2のSDRカラー・ピクチャに関連するカラー・リマッピング情報により、復号時に、HDRカラー・ピクチャのカラー・グレーディング・バージョンから得られる第1の課されるSDRカラー・ピクチャの色の色相および知覚飽和度を、カラリストが望む通りに保存することができる。
従って、この方法は、HDRカラー・ピクチャから得られる第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャの間の残りのデータのコード化を暗に示す、いかなる追加の符号化動作(および対応する帯域幅の増加)もない、専用のSDRグレードが課される、SDRレンダリングとの完全な後方互換性を保証する。
一態様によれば、高ダイナミック・レンジ(HDR)カラー・ピクチャから得られる第2のSDRカラー・ピクチャを符号化することは、
第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャから輝度成分(L)および2つのクロミナンス成分(C1、C2)を得ることと、
最終輝度成分(L”)および最終クロミナンス成分(C”1、C”2)から得られる色の色域が高ダイナミック・レンジ・カラー・ピクチャの色の色域にマッピングされるように、輝度成分(L)およびクロミナンス成分(C1、C2)を、最終輝度成分(L”)および2つの最終クロミナンス成分(C”1、C”2)にマッピングすることとを含み、最終輝度成分(L”)の値は、輝度成分(L)の値より常に小さい。
従来は、HDRカラー・ピクチャのSDRバージョンを表す輝度成分および2つのクロミナンス成分を結合することによって得られる色は、HDRカラー・ピクチャの色の色相および知覚飽和度を保存しない。
これは、例えばPQ EOTFを使用する場合である。
このような第2のSDRピクチャの色の色域を、符号化対象のHDRカラー・ピクチャの色の色相にマッピングすることにより、色相および知覚飽和度をHDRピクチャに合わせて相対的に補正する。
従って、HDRピクチャの色の色相および知覚飽和度が保存され、元のHDRにより良好に合致する知覚色を有する復号SDRピクチャの視覚的品質を高める。
従って、このマッピング方法の利点は、知覚される色相および色飽和度に関して、最初のHDRカラー・ピクチャに近い第2のSDRピクチャを生成することである。従って、従来のマッピング方法(PQ−EOTF)と比較して、これは、HDRカラー・ピクチャから開始されるカラー・グレーディング・プロセスから得られる第1のSDRピクチャとの相関性がより高い第2のSDRピクチャを生成する。従って、復号時には、それにより、復号デバイスのプロセッサによって制御されるカラー・リマッピング情報適合モジュールが第2のSDRピクチャから第1のSDRピクチャの良好な近似を導出することがより容易になる。
一態様によれば、この方法は、少なくとも1つのカラー・リマッピング情報を伝送することをさらに含む。
従って、少なくとも1つのカラー・リマッピング情報は、第2のSDRピクチャに関連するメタデータとして配信される。
さらに、変形態様によれば、第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャは、マッピングによって生成される。換言すれば、第2のSDRピクチャは、HDRカラー・ピクチャのダイナミック低下バージョンを表し、対応するカラー・リマッピング情報は、2つのSDRカラー・ピクチャ、すなわちカラリストによって課される、HDRカラー・ピクチャのカラー・グレーディング・バージョンに対応するSDRカラー・ピクチャと、HDRカラー・ピクチャのマッピングによって生成されるもう1つのSDRカラー・ピクチャとから得られる。
従って、本開示は、符号化SDRカラー・ピクチャを元のHDRカラー・ピクチャのダイナミック低下バージョンとして伝送することを開示し、このSDRカラー・ピクチャも、デコーダに伝送される少なくとも1つのカラー・リマッピング情報と関連する。
受信時には、デコーダは、元のHDRカラー・ピクチャのダイナミック低下バージョンとしての符号化SDRカラー・ピクチャと、その少なくとも1つの関連するカラー・リマッピング情報とを受信することになる。
これら2つの受信入力から始めて、デコーダは、
可視であることもあるがカラリストの意図に合致しない復号SDRカラー・ピクチャ、
符号化時に処理されるHDRカラー・ピクチャに対応する復号HDRカラー・ピクチャ、および
HDRカラー・ピクチャのSDRカラー・グレーディング・バージョンとして与えられる第1のSDRカラー・ピクチャの少なくとも1つの近似、
の少なくとも3つの項目を再構築することができることになる。
従って、帯域幅を増加させることなく、また同時に複雑さの低いビデオ符号化システムを維持しながら、このような符号化方法は、復号時に、単一のHDRカラー・ピクチャから開始して異なるタイプのカラー・ピクチャを生成する。
なお、これら2つの入力、すなわち符号化SDRカラー・ピクチャおよびそれに関連するカラー・リマッピング情報の伝送では、所要帯域幅を2倍にする必要はなく、単一の符号化SDRピクチャを伝送するのに必要な帯域幅と同様の帯域幅の大きさがあればよい。
一態様によれば、少なくとも2つの異なる第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャは、それぞれ異なる色域を使用することによって、高ダイナミック・レンジ(HDR)カラー・ピクチャの少なくとも2つの異なるカラー・グレーディング・バージョンからそれぞれ得られ、少なくとも2つの異なる第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャのそれぞれの考慮する第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャについて、1つのカラー・リマッピング情報を、考慮する第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャへのマッピングによって生成される第2の標準ダイナミック・レンジ(SDR)からそれぞれ定める。
換言すれば、この特定の態様では、受信時に、デコーダは、元のHDRカラー・ピクチャのコンテナとしての符号化SDRカラー・ピクチャと、その少なくとも2つの関連するカラー・リマッピング情報とを受信することになる。
これら3つの受信入力から始めて、デコーダは、
可視であることもあるがカラリストの意図に合致しない復号SDRカラー・ピクチャ、
符号化時に処理されるHDRカラー・ピクチャに対応する復号HDRカラー・ピクチャ、
少なくとも2つの関連するカラー・リマッピング情報のうちの一方のカラー・リマッピング情報を使用して、HDRカラー・ピクチャの第1のSDRカラー・グレーディング・バージョンとしてのSDRカラー・ピクチャの近似、および
少なくとも2つの関連するカラー・リマッピング情報のうちの他方のカラー・リマッピング情報を使用して、HDRカラー・ピクチャの第2のSDRカラー・グレーディング・バージョンとしての別のSDRカラー・ピクチャの別の近似、
の少なくとも4つの項目を再構築することができることになり、第1および第2のSDRカラー・グレーディング・バージョンは、2つの異なる色域に対応している。
上述の態様の代替として、別の態様によれば、少なくとも2つの異なる第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャは、それぞれ異なる色域を使用することによって、高ダイナミック・レンジ(HDR)カラー・ピクチャの少なくとも2つの異なるカラー・グレーディング・バージョンからそれぞれ得られ、第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャは、異なる色域間の可逆色域マッピングによって生成され、可逆色域マッピングは、マッピングの後、符号化の前に実行され、異なる色域のうちの一方を他方にマッピングするものであり、
少なくとも2つの異なる第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャのうちの考慮する第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャについて、第2の標準ダイナミック・レンジ(SDR)から他方の第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャへの対応するカラー・リマッピング情報を規定し、
少なくとも2つの異なる第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャのうちの他方の第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャについて、可逆色域マッピングの後に実行される逆マッピング動作によって生成される第3の標準ダイナミック・レンジ(SDR)カラー・ピクチャから他方の第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャへの対応するカラー・リマッピング情報を規定する。
上記の他の態様では、復号時に、対応するHDRカラー・ピクチャと高ダイナミック・レンジ(HDR)カラー・ピクチャの2つのカラー・グレーディング・バージョンそれぞれの少なくとも2つの異なる近似とを再構築することを可能にしながら、符号化され伝送された符号化SDRピクチャの色域を変化させることが可能になる。
特定の変形態様によれば、少なくとも1つのカラー・リマッピング情報は、第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャを含むビットストリームを伝送するために使用されるチャネルとは異なる専用伝送チャネルで伝送される。
従って、符号化SDRカラー・ピクチャから別個にカラー・リマッピング情報を伝送することができる。このような態様により、柔軟な伝送が可能になり、カラー・リマッピング情報を、符号化SDRカラー・ピクチャの伝送と同時に伝送することも、またはそれより遅らせて伝送することもできる。
本開示の態様のうちの別の態様によれば、本開示は、受信したビットストリームの第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャから高ダイナミック・レンジ(HDR)カラー・ピクチャおよび少なくとも1つの第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャを復号する方法であって、第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャを復号することを含む方法に関する。
この方法は、第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャに関連する少なくとも1つのカラー・リマッピング情報を得ることと、少なくとも1つのカラー・リマッピング情報を第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャに適用して、少なくとも1つの第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャの近似を生成することとをさらに含む。
本開示の他の態様によれば、本開示は、上記の方法を実施するように構成されたプロセッサを含むデバイス、コンピュータ上で実行されたときに上記の方法のステップを実行するプログラム・コード命令を含むコンピュータ・プログラム製品、少なくとも上記の方法のステップをプロセッサに実行させる命令を記憶したプロセッサ可読媒体、そのプログラムがコンピューティング・デバイス上で実行されたときに上記の方法のステップを実行するプログラム・コードの命令を担持する非一時的記憶媒体に関する。
本開示の特定の性質ならびに本開示のその他の目的、利点、特徴、および用途は、以下の実施形態の説明を添付の図面と関連付けて読めば明らかになるであろう。
図面には、本開示の実施形態が示してある。図面は以下の通りである。
色度図の例を示す図である。 本開示の実施形態によるカラー・ピクチャを符号化する方法のステップを示す概略図である。 本開示による色域マッピングの原理を示す図である。 本開示の実施形態によるステップ12のサブステップを示す概略図である。 本開示の実施形態によるステップ11のサブステップを示す概略図である。 本開示の2つの異なる実施形態のうちの1つによるステップ170のサブステップを示す概略図である。 本開示の2つの異なる実施形態のうちの1つによるステップ170のサブステップを示す概略図である。 図2の方法に関連する2つの他の異なる実施形態のうちの1つによるカラー・ピクチャを符号化する方法のステップを示す概略図である。 図2の方法に関連する2つの他の異なる実施形態のうちの1つによるカラー・ピクチャを符号化する方法のステップを示す概略図である。 本開示の3つの異なる実施形態のうちの1つによる少なくとも1つのビットストリームからカラー・ピクチャを復号する方法のステップを示す概略図である。 本開示の3つの異なる実施形態のうちの1つによる少なくとも1つのビットストリームからカラー・ピクチャを復号する方法のステップを示す概略図である。 本開示の3つの異なる実施形態のうちの1つによる少なくとも1つのビットストリームからカラー・ピクチャを復号する方法のステップを示す概略図である。 本開示の実施形態によるステップ22のサブステップを示す概略図である。 本開示の実施形態によるステップ23のサブステップを示す概略図である。 本開示の実施形態によるステップ230のサブステップを示す概略図である。 本開示の実施形態によるステップ230のサブステップを示す概略図である。 本開示の実施形態によるステップ231のサブステップを示す概略図である。 本開示の実施形態によるデバイスのアーキテクチャの例を示す図である。 本開示の実施形態による通信ネットワークを介して通信する2つの遠隔デバイスを示す図である。 色域のCIE1931図の要素のセットの例を示す図である。
同様または同じ要素は、同じ参照番号で示してある。
以下、本開示について、本開示の実施形態を示す添付の図面を参照して、より完全に説明する。ただし、本開示は、多くの代替の形態で実施することができ、本明細書に記載する実施形態に限定されるものと解釈すべきではない。従って、本開示には、様々な修正および代替形態の余地があるが、本開示の具体的な実施形態を、例示を目的として図面に示し、本明細書において詳細に説明する。ただし、本開示を開示する特定の形態に限定する意図はなく、むしろ、本開示は、特許請求の範囲によって規定される本開示の趣旨および範囲内に含まれる全ての修正形態、均等物、および代替形態をカバーするものと理解されたい。
本明細書で使用する用語は、特定の実施形態を説明するためのものに過ぎず、本開示を制限するように意図されたものではない。本明細書で使用する単数形「a」、「an」、および「the」は、文脈から明らかに複数形を含まないことが分かる場合を除き、複数形も含むものとして意図されている。さらに、本明細書で使用する「備える」、「備えている」、「含む」、および/または「含んでいる」という用語は、記載される特徴、整数、ステップ、動作、要素、および/または成分が存在することを示すものであり、1つまたは複数のその他の特徴、整数、ステップ、動作、要素、成分、および/またはそれらのグループが存在すること、または追加されることを排除するものではない。さらに、ある要素が別の要素に「応答する」または「接続される」と述べられるとき、その要素がその別の要素に直接応答する、または接続されていることもあれば、介在する要素が存在することもある。これに対して、ある要素が別の要素に「直接応答する」または「直接接続される」と述べられるときには、介在する要素は存在しない。本明細書で使用する「および/または」という用語は、関連する列挙した品目のうちの1つまたは複数の任意の全ての組合せを含み、「/」と略記されることもある。
本明細書では、第1、第2などの用語を使用して様々な要素について述べているが、これらの要素は、これらの用語によって限定されないことは理解されるであろう。これらの用語は、単に1つの要素を別の要素と区別するために使用しているものである。例えば、第1の要素は、第2の要素と称してもよく、同様に、第2の要素を第1の要素と称しても、本開示の教示から逸脱することはない。
図面の一部は、通信の主要な方向を示すために通信経路上に矢印を含んでいるが、通信は、図示した矢印とは反対の方向に起こることもあることを理解されたい。
いくつかの実施形態は、各ブロックが回路要素、モジュール、あるいは1つまたは複数の特定の論理機能を実施するための1つまたは複数の実行可能な命令を含むコードの一部分を表す、ブロック図および動作流れ図に関連して説明する。また、実施態様が異なれば、ブロック中に記された1つまたは複数の機能が、記された以外の順序で起こることもあることに留意されたい。例えば、連続して示される2つのブロックが、関連する機能に応じて、実際には実質的に同時に実行されることもあり、あるいは、それらのブロックが逆の順序で実行されることもある。
本明細書で「一実施形態」または「実施形態」と述べている場合、それは、その実施形態に関連して述べられる特定の機能、構造、または特徴が、本開示の少なくとも1つの実施態様に含まれる可能性があるという意味である。本明細書の様々な箇所で「一実施形態では」または「実施形態によれば」という文言が見られるが、それら全てが必ずしも同じ実施形態を指しているわけではなく、また、別個のまたは代替の実施形態は、必ずしも相互に他の実施形態を排除するわけではない。
特許請求の範囲に見られる参照番号は、例示のみを目的としたものであり、特許請求の範囲を限定する効果を有するものではない。
明示的には述べていないが、本開示の実施形態および変形形態は、任意の組合せまたは部分的組合せで利用することができる。
実施形態では、因子は、変調値Baに依存する。変調(またはバックライト)値は、通常はHDRピクチャに関連し、HDRピクチャの明るさを表す。ここで、(変調)バックライトという用語は、例えばLCDパネルなどのカラー・パネルと例えばLEDアレイなどの後方照明装置とで構成されたTVセットの類推で使用したものである。通常は白色光を生成する後方装置は、カラー・パネルを照明してTVにさらなる明るさを提供するために使用される。その結果として、TVの輝度は、後方照明器の輝度とカラー・パネルの輝度の積となる。この後方照明器は、しばしば「変調」または「バックライト」と呼ばれ、その強度は全体のシーンの明るさをある程度表している。
本開示は、カラー・ピクチャの符号化/復号について説明するが、ピクチャのシーケンス(ビデオ)の符号化/復号にも拡張される。これは、そのシーケンスの各カラー・ピクチャが、以下で述べるように連続して符号化/復号されるからである。
以下では、HDRカラー・ピクチャIHDRは、カラーHDRピクチャIHDRの画素値が表される3つのカラー成分Ec(c=1、2、または3)を有するものとみなす。
本開示は、3つの成分Ecが表されるいかなる色空間にも限定されず、RGB、CIELUV、XYZ、CIELabなど、任意の色空間に拡張される。
図2は、本開示の実施形態によるHDRカラー・ピクチャIHDRおよび少なくとも1つの第1のSDRピクチャを符号化する方法のステップを示す概略図である。
HDRカラー・ピクチャIHDRから、符号化モジュール101によって、第2のSDRカラー・ピクチャI2nd_SDRを得、符号化する。
さらに、HDRカラー・ピクチャIHDRのカラー・グレーディング・バージョンから得られる第1のSDRカラー・ピクチャI1st_SDRを考えると、第2のSDRカラー・ピクチャI2nd_SDRから第1の標準ダイナミック・レンジSDRカラー・ピクチャへのカラー・リマッピング情報(CRi)を規定し(102)、このカラー・リマッピング情報を復号時に使用して、第2のSDRカラー・ピクチャから第1のSDRカラー・ピクチャI1st_SDRの近似を得る。
「カラー・リマッピング情報」の定義は、標準ITU−T H.265(10/2014)Series H:Audiovisual and Multimedia Systemsの「Colour remapping information SEI message semantics」と題するセクションD.3.32に開示されている。
さらに詳細には、グレーディング(10)(点線で示す)と呼ばれるポスト・プロダクション作業時に、HDRカラー・ピクチャIHDRの取り込みに関しては、カラリストが、通常は撮影監督と協働して、芸術的意図を盛り込むために一部の色値を微調整/ツイーク(tweak)することによって、取り込んだピクチャの第1のカラー・グレーディング・バージョンの色値に対して制御を実行する。従って、第1のSDRカラー・ピクチャI1st_SDRは、HDRカラー・ピクチャIHDRのカラー・グレーディング・バージョンから得られる。
従って、カラー・リマッピング情報(CRi)は、可視であることもあるがカラリストの芸術的意図と一致しないこともあり得る第2のSDRカラー・ピクチャI2nd_SDRと、カラリストの意図に従って課されるSDRカラー・ピクチャI1st_SDRとから規定される(102)。
さらに、次いで、カラー・リマッピング情報を、第2のSDRカラー・ピクチャI2nd_SDRに関連するメタデータとして伝送する(1020)。このカラー・リマッピング情報の伝送1020は、HEVC main 10 profileなどのSDRピクチャ(またはビデオ)を同報通信するように適応された旧来のインフラストラクチャによって実行されるマッピング(12)によって生成される第2のSDRカラー・ピクチャI2nd_SDRを伝送するステップ1010と同時に実施してもよいし、または同時に実施しなくてもよい。
特定の変形形態によれば、カラー・リマッピング情報は、第2のSDRカラー・ピクチャI2nd_SDRを伝送する(1010)ために使用されるチャネルとは異なる指定された伝送チャネルで伝送される(1020)。
さらに詳細には、符号化モジュール101は、符号化対象のHDRカラー・ピクチャIHDRから輝度成分Lと2つのクロミナンス成分C1およびC2とを得る(11)モジュールCを備える。例えば、これらの成分(L、C1、C2)は、HDRカラー・ピクチャIHDRにOETFを適用した後に得られるYUV色空間に属することがあり、カラー成分Ecは、線形のRGBまたはXYZ色空間の何れかに属することがある。
符号化モジュール101は、また、輝度LならびにクロミナンスC1およびC2の成分を、最終輝度成分(L”)および最終クロミナンス成分(C”1、C”2)から得られる色の色域G2が符号化対象のHDRカラー・ピクチャIHDRの色の色域G1上にマッピングされるように、最終輝度成分L”および2つの最終クロミナンス成分C”1、C”2にマッピングする(12)モジュールGMも備える。
このマッピング(12)は、「HDR/SDRマッピング」に対応する。
従って、本開示によれば、カラー・リマッピング情報は、具体的には2つのSDRカラー・ピクチャから得られ、そのうちの1つは、HDRカラー・ピクチャのカラー・グレーディング・バージョンに対応する、カラリストによって課されるSDRカラー・ピクチャI1st_SDRであり、もう1つは、HDRカラー・ピクチャのマッピング(12)によって生成されるSDRカラー・ピクチャI2nd_SDRである。
図3は、このような色域マッピングを示している。破線内に、成分Lおよび2つのクロミナンス成分C1およびC2から得られる色の色域(R、G、B、W)が表され、実線内に、符号化対象のHDRカラー・ピクチャIHDRの色の色域(R’、G’、B’、W’)が表されている。
色域(R、G、B、W)を色域(R’、G’、B’、W’)にマッピングするということは、原色R、G、Bを原色R’、G’、B’にそれぞれマッピングし、白色点Wを白色点W’にマッピングすることを意味する。このマッピングの目的は、L”成分、C”1成分、C”2成分から得られる知覚される色が、(L、C1、C2)よりも良好にHDRカラー・ピクチャIHDRの色と一致するように、(L、C1、C2)を(L”、C”1、C”2)に変換することである。
符号化モジュール101は、また、マッピング(12)によって生成される第2のSDRカラー・ピクチャI2nd_SDRを符号化する(13)エンコーダENCも備え、このエンコーダENCは、対応する符号化した第2のSDRカラー・ピクチャI2nd_SDRを生成する。
実施形態によれば、エンコーダENCは、最終輝度成分L”および2つの最終クロミナンス成分C”1、C”2も符号化する。
実施形態によれば、符号化された成分L”およびクロミナンス成分C”1、C”2は、ローカルまたは遠隔のメモリに記憶され、且つ/あるいはビットストリームFに追加される。
図4に示すステップ12の実施形態によれば、2つの最終クロミナンス成分C”1、C”2は、2つのクロミナンス成分C1、C2のそれぞれを、輝度成分Lから得られる変調値Baおよび輝度成分Lの各画素iの値の両方に依存する因子β−1(Ba、L(i))によってスケーリングする(ステップ121)ことによって得られ、モジュールLCC(ステップ122)は、以下のように、輝度成分Lと2つの最終クロミナンス成分C”1、C”2とを線形結合することによって最終輝度成分L”を得る。
Figure 2018525883
ここで、mおよびnは、最高の輝度ピークを補正することによって色飽和を回避する係数(実数値)である。
実施形態によれば、係数mおよびnは、ローカルまたは遠隔のメモリに記憶され、且つ/あるいは図4に示すようにビットストリームBFに追加される。
(数式Aの)モジュールLCCの変形形態によれば、最終輝度成分L”の値は、以下のように、常に輝度成分Lの値より小さい。
L”=L−max(mC’+nC’
これにより、輝度成分L”の値が輝度成分Lの値を超えないことが保証され、従って、色飽和が起きないことが保証される。
実施形態によれば、因子β−1(Ba、L(i))は、特定の変調値Baおよび特定の輝度値L(i)についての参照テーブル(LUT)から得られる。従って、例えば1000nit、1500nit、および4000nitなどの複数の輝度ピーク値について、特定の因子β−1(Ba、L(i))が、各特定の変調値BaについてのLUTに記憶される。
変形形態によれば、LUTが記憶される複数の輝度ピークの間の輝度ピークを補間することによって、輝度成分Lの画素の値について、特定の変調値Baについての因子β−1(Ba、L(i))を得る。
実施形態によれば、方程式(A)における因子(β−1(Ba、L(i)))ならびに係数mおよびnは、以下のように得られる。
最終輝度成分(L”)およびクロミナンス成分(C”1、C”2)から得られる色の色域G2の、(成分L、C1、C2から得られる)HDRカラー・ピクチャIHDRの色の色域G1へのマッピングは、以下で与えられる。
Figure 2018525883
ここで、ΦBa(Y)は、カラー・ピクチャIの線形輝度Yに依存するマッピング関数である。通常は、線形輝度Yは、カラー・ピクチャIの成分Ecの線形結合として得られる。輝度成分Lは、線形輝度Yおよびバックライト値Baと明快に関係しており、
ΦBa(Y)=ΦBa(f(Ba,Y))=ΦBa(L)
と書くことができるようになっており、マッピング関数は、輝度成分Lの関数と見られる。
次に、変調値Baおよび特定の線形輝度レベルYを固定する。色成分Ecは、線形RGB色空間で表されるものと仮定する。色域G2の関連する3原色
Figure 2018525883
は、
Figure 2018525883
で与えられる。ここで、A1は、線形RGBから線形輝度Yを規定する行ベクトルである、すなわち、
Figure 2018525883
である。
Sが、以下のように、これら3原色の、モジュールCの適用(ステップ11)に対応する画像μ(.)で構成された3×3行列を表すものとする。
Figure 2018525883
マッピング関数ΦBa(L)の目的は、
Figure 2018525883
を色域G2の3原色に逆にマッピングすることである。換言すれば、行列
Figure 2018525883
は、以下の形態でなければならない。
Figure 2018525883
ここで、r、g、bは、未知のパラメータであり、Aは、非線形色空間R’G’B’をLC1C2の色空間に変換する3×3行列である。全てを勘案すると、以下が得られる。
Figure 2018525883
また、LC1C2の色空間内の座標が[1 0 0]である白色点の保存により、以下のように別の条件が得られる。
Figure 2018525883
ここで、ηは、別の未知のパラメータである。その結果として、行列Dは、以下のように一意的に定められる。
Figure 2018525883
ここで、除算は、A−1の第1列の
Figure 2018525883
の第1列による係数除算として理解される。その結果として、このマッピング行列は、スケーリング因子ηまで定められる。
復号側で必要とされるマッピング関数ΦBa(L)の逆数は、Lの陰的非線形問題を解く必要があるので、容易には得られない。これは、逆行列ΦBa −1(L)は輝度成分Lの関数として容易に得られるが、それに対応するΦBa −1(L”)は最終輝度成分L”の関数として容易に得られないからである。発明者等は、単純な逆数ΦBa −1(L”)を得るためにΦBa(L)の定式化をさらに容易にすることができることを示す。
実際には、マッピング関数は、以下のように表現することができる。
Figure 2018525883
ここで、mおよびnは、輝度レベルYに依存する係数(実数値)である。マッピング関数ΦBa(L)の逆数
Figure 2018525883
は、以下で与えられる。
Figure 2018525883
ここで、第1列は、以下で与えられる。
Figure 2018525883
いくつかの代数処理を経て、方程式(F)が
Figure 2018525883
となり、これより、マッピング関数
Figure 2018525883
が得られることが分かる。ここで、mおよびnは、変調値Baおよび輝度成分Lに依存しない実数値(係数)であり、β=β(Ba、L(i))であり、以下の固定行列が定義されている。
Figure 2018525883
方程式(B)および(G)は、このマッピング関数が2つの効果を有することを示している。第1に、輝度成分Lのダイナミックが、スケーリング因子ηでスケーリングされることと、第2に、クロミナンス成分C1およびC2も、スケーリング因子ηβ−1でスケーリングされることである。
LとL”の間の大域輝度マッピングを保存するために、パラメータηは、1に設定する。方程式(G)は、以下のようになる。
Figure 2018525883
ここで、βは、変調値Baおよび輝度成分に依存する。この数式を判定すると、以下の逆マッピング関数が得られる。
Figure 2018525883
ここで、輝度成分Lは、行列
Figure 2018525883
を適用することによって、L”、C”1、C”2から得られ、次いで、Lが既知であることから、因子β(Ba、L(i))を求めて、最終クロミナンス成分C”1、C”2に適用して、クロミナンス成分C1、C2を得る。
次いで、方程式(H)によって、マッピング関数ΦBa(L)が与えられる。ここで、カラー画像Iの輝度ピークPまでの全ての輝度レベルについて定数行列Φを使用し、βは、輝度ピークPまでの全範囲の輝度について規定されている。
方程式(H)を方程式(B)に含めると、方程式(A)が得られる。
別の実施形態によれば、因子β−1(Ba,L(i),m,n)は、上記の実施形態で説明したように与えられる係数mおよびnによっても決まると考えられる。
従って、因子β−1は、ステップ12の単一の未知の値である。
因子β−1は、色域G1とG2の間で計算される色域歪みが最小限に抑えられるように得る。換言すれば、因子β−1は、色域保存の条件下の最適の因子である。
数学的には、因子β−1は、以下で得られる。
Figure 2018525883
ここで、Yは、そこから輝度値Lを推定する所与の輝度値であり、Ba0は、与えられる所与の変調値であり、色域歪みGD(βtest −1)は、以下で与えられる。
Figure 2018525883
ここで、色域歪みは、色域G1の要素(xj、yj)と色域G2の関連する要素(x’j、y’j)の間の二乗誤差の和で定義される。関連する要素(x’j、y’j)は、符号化プロセスによって得られる要素(xj、yj)の像である。
図15は、色域のCIE1931図中の要素(xj、yj)のセットの例を示す図である。なお、各要素(xj、yj)のXYZ座標は、
=Y/y、Y=Y、およびZ=Y(1−x−y)/y
で与えられることに留意されたい。
変調値Baおよび輝度成分Lを変化させ、関連する色域歪みGD(.)を最小限に抑えることにより、固定係数mおよびnについての、変調値Baおよび輝度成分Lに依存する全ての因子β−1(Ba,L,m,n)が得られる。
図5に示すステップ11の実施形態によれば、ステップ110で、モジュールICは、以下のように3つの成分Ecを線形結合することによって、HDRカラー・ピクチャIHDRの輝度を表す成分Yを得る。
Figure 2018525883
ここで、A1は、(E1、E2、E3)色空間から色空間(Y、C1、C2)への色空間変換を定義する3×3行列Aの第1行である。
ステップ130で、モジュールFMは、以下のように、非線形関数fを成分Yに適用することによって、輝度成分Lを得る。
L=f(Ba,Y) (1)
ここで、Baは、モジュールBaM(ステップ120)によって成分Yから得られる変調値である。
成分Yに非線形関数fを適用することにより、そのダイナミック・レンジが低下する。換言すれば、輝度成分Lのダイナミックは、成分Yのダイナミックと比較して低下する。
基本的には、成分Lの輝度値が10ビットを使用して表されるように、成分Yのダイナミック・レンジを低下させる。
実施形態によれば、以下のように、成分Yを変調値Baで割った後に、非線形関数fを適用する。
L=f(Y/Ba) (2)
実施形態によれば、非線形関数fは、以下のようにガンマ関数である。
Figure 2018525883
ここで、Yは、方程式(1)または(2)の実施形態に応じてYまたはY/Baの何れかと等しく、Bは定数値であり、γは、パラメータ(厳密に1未満の実数値)である。
実施形態によれば、非線形関数fは、以下のようにS−Log関数である。
L=a.ln(Y+b)+c
ここで、a、b、およびcは、f(0)およびf(1)が不変量となるように定められたSLog曲線のパラメータ(実数値)であり、SLog曲線の導関数は、1未満でガンマ曲線によって延長されたときに1で連続的である。従って、a、b、およびcは、パラメータγの関数である。
代表的な値を、表1に示す。
Figure 2018525883
有利な実施形態では、1/2.5に近いγの値が、HDR圧縮性能、および得られるSDRルマの良好な視認性の点で効率的である。従って、この3つのパラメータは、a=0.44955114、b=0.12123691、c=0.94855684の値をとると有利であることがある。
実施形態によれば、非線形関数fは、成分Yの画素値に応じて、ガンマ補正またはSLog補正の何れかである。
成分Yにガンマ補正を適用して、暗領域を引き上げるが、明るい画素の焼き込みを回避するのに十分なハイライトを低下させることはない。
次いで、実施形態によれば、モジュールFMは、成分Yの画素値に応じて、ガンマ補正またはSLog補正の何れかを適用する。情報データinfは、ガンマ補正またはSLog補正の何れが適用されるかを示すことができる。
例えば、成分Yの画素値がしきい値(1に等しい)未満であるときには、ガンマ補正が適用され、そうでないときには、SLog補正が適用される。
ステップ120の実施形態によれば、変調値Baは、成分Yの画素値の平均値、中央値、最小値、または最大値である。これらの演算は、線形HDR輝度領域Ylinで、あるいはln(Y)またはYγ(γ<1)などの非線形領域で実行することができる。
実施形態によれば、この方法を使用して、ピクチャのシーケンスに属するいくつかのカラー・ピクチャを符号化するときには、各カラー・ピクチャについて、グループ・オブ・ピクチャ(GOP)について、あるいはこれらに限定されるわけではないが、スライスまたはHEVCで定義される転送単位などのカラー・ピクチャの一部について、変調値Baを定める。
実施形態によれば、値Ba、および/または非線形関数fのパラメータ(a、b、c、もしくはγなど)、および/または情報データinfは、ローカルまたは遠隔のメモリに記憶され、且つ/あるいは図2および図5に示すようにビットストリームBFに追加される。
ステップ140で、モジュールCCは、カラー・ピクチャIから少なくとも1つの色成分Ec(c=1、2、3)を得る。色成分Ecは、ローカルまたは遠隔のメモリから直接得ることもあれば、あるいはカラー・ピクチャIに色変換を適用することによって得ることもある。
ステップ150で、以下のように各色成分Ecを輝度成分Lに依存する因子r(L)によってスケーリングすることによって、中間色成分E’c(c=1、2、または3)を得る。
Figure 2018525883
ここで、r(L(i))は、モジュールRM(ステップ160)によって定められる、成分Lの画素iの値に依存する因子(実数値)であり、E’(i)は、中間色成分E’cの画素iの値であり、E(i)は、色成分Ecの画素iの値である。
因子によるスケーリングとは、その因子を掛ける、またはその因子の逆数で割ることを意味する。
各色成分Ecを輝度成分Lに依存する因子r(L)でスケーリングすることにより、カラー・ピクチャIの色の色相が保存される。
ステップ160の実施形態によれば、因子r(L)は、以下のように、成分Yに対する輝度成分Lの比である。
Figure 2018525883
ここで、Y(i)は、成分Yの画素iの値である。実際には、成分Yの画素の値Y(i)は、輝度成分Lの画素の値L(i)に明瞭に依存して、その比をL(i)のみの関数として書くことができるようになっている。
この実施形態は、各色成分Ecをさらに成分Yにも依存する因子r(L)でスケーリングすることによって、HDRカラー・ピクチャIHDRの色の色相が保存され、それにより復号されたカラー・ピクチャの視覚的品質が改善されるので有利である。
さらに厳密には、測色法および色彩理論では、彩度、クロマ、および飽和度は、特定の色の知覚強度を指す。彩度は、色と灰色の間の差の程度である。クロマは、同様の視認条件下で白く見える別の色の明るさに対する彩度である。飽和度は、色の、それ自体の明るさに対する彩度である。
非常に彩度の高い刺激は鮮やかで強いが、それほど彩度の高くない刺激は、よりぼけて見え、より灰色に近く見える。彩度が全くないと、色は「天然の」灰色である(何れの色でも彩度がないピクチャは、グレースケールと呼ばれる)。任意の色は、その彩度(またはクロマもしくは飽和度)、明度(または明るさ)、および色相から記述することができる。
色の色相および飽和度の定義は、その色を表すために使用される色空間に依存する。
例えば、CIELUV色空間を使用するときには、飽和度Suvは、以下のようにクロマ
Figure 2018525883
と輝度Lの間の比として定義される。
この場合、色相は、以下で与えられる。
Figure 2018525883
別の例によれば、CIELAB色空間を使用するときには、飽和度は、以下のように輝度に対するクロマの比として定義される。
Figure 2018525883
この場合、色相は、以下で与えられる。
Figure 2018525883
これらの方程式は、飽和度の人間の知覚と一致する飽和度および色相の妥当な予測子であり、角度a/b(またはu/v)を固定して保持しながらCIELAB(またはCIELUV)色空間内で明るさを調節すると、色相が影響を受け、従って同色の知覚が影響を受けることを実証している。ステップ150で、色成分Ecを同じ因子でスケーリングして、この角度を保存し、従って色相を保存する。
ここで、HDRカラー・ピクチャIHDRがCIELUV色空間内に表され、ピクチャI2が、HDRカラー・ピクチャIHDRの輝度のダイナミック・レンジと比較して低下した(ステップ130)ダイナミック・レンジを有する輝度成分Lと、CIELUV色空間の2つのクロミナンス成分U(=C1)およびV(=C2)とを結合することによって形成されるものと考える。従って、ピクチャI2の色は、それらの色の飽和度および色相が変化したために、人の目に違う色として知覚される。この方法(ステップ150)は、ピクチャI2の色の色相がカラー・ピクチャIの色の色相と最もよく一致するように、ピクチャI2のクロミナンス成分C1およびC2を定める。
ステップ160の実施形態によれば、因子r(L)は、以下で与えられる。
Figure 2018525883
この最後の実施形態は、この因子が非常に暗い画素でゼロになることを防止する、すなわちその比を画素値に関わらず反転可能になるようにすることができるので、有利である。
ステップ170で、上記の少なくとも1つの中間色成分E’cから、2つのクロミナンス成分C1、C2を得る。
図6aに示すステップ170の実施形態によれば、以下のようにOETFを各中間色成分(E’c)に適用する(ステップ171)によって、少なくとも1つの中間成分Dc(c=1、2、または3)を得る。
Figure 2018525883
例えば、OETFは、ITU−R勧告BT.709またはBT.2020によって規定され、以下のように表される。
Figure 2018525883
この実施形態により、個々のOETFに応じてダイナミック・レンジを低下させることが可能になるが、以下で述べるように複雑な復号プロセスとなる。
図6bに示すこの実施形態の変形形態によれば、OETFを平方根で近似する、すなわち、以下のように各中間色成分(E’c)の平方根をとる(ステップ171)ことによって、少なくとも1つの中間成分Dc(c=1、2、または3)を得る。
Figure 2018525883
この実施形態は、ITU−R勧告BT.709またはBT.2020によって規定されるOETFの良好な近似を生成し、複雑さの低いデコーダが得られるので、有利である。
この実施形態の別の変形形態によれば、OETFを立方根で近似する、すなわち、以下のように各中間色成分(E’c)の立方根をとる(ステップ171)ことによって、少なくとも1つの中間成分Dc(c=1、2、または3)を得る。
Figure 2018525883
この実施形態は、ITU−R勧告BT.709またはBT.2020によって規定されるOETFの良好な近似を生成するので有利であるが、OETFを平方根で近似したときに得られるデコーダよりは多少複雑なデコーダとなる。
ステップ172で、モジュールLC1は、以下のように3つの中間成分Dcを線形結合することによって、2つのクロミナンス成分C1およびC2を得る。
Figure 2018525883
ここで、A2およびA3は、3×3行列Aの第2行および第3行である。
図7aから図7bは、図2の方法に関連する2つの特定の異なる実施形態によるカラー・ピクチャを符号化する方法のステップを示す概略図である。
図7aに示す本開示による符号化方法の実施形態によれば、少なくとも2つの異なる第1のSDRカラー・ピクチャI1st_SDR1およびI1st_SDR2を、例えばBT.2020色域またはBT.709色域などそれぞれ異なる色域を使用することによって、HDRカラー・ピクチャIHDRの少なくとも2つの異なるカラー・グレーディング・バージョンからそれぞれ得る。ここで、色域BT.2020は、UHDTV用の色空間を定義し、BT.709は、HDTV用のより小さい色域を定義する。
例えば、HDRカラー・ピクチャIHDRは、BT.2020色域で表現される。グレーディング(121、122)のポスト・プロダクション作業中に、2つの第1のSDRカラー・ピクチャI1st_SDR1およびI1st_SDR2を、それぞれ異なる色域を使用することによってHDRカラー・ピクチャIHDRの2つの異なるカラー・グレーディング・バージョンからそれぞれ得る。
さらに詳細には、第1のグレーディング(121)はHDRカラー・ピクチャIHDRに対して実行され、BT.2020色域と一致して、BT.2020に一致した第1のSDRカラー・ピクチャI1st_SDR1を生成する。
第2のグレーディング(122)はHDRカラー・ピクチャIHDRに対して実行され、BT.709色域と一致して、BT.709に一致した第1のSDRカラー・ピクチャI1st_SDR1を生成する。
2つのカラー・リマッピング情報をそれぞれ規定し(111、112)、次いで伝送する(1020、1030)が、ここで、一方で、1つのカラー・リマッピング情報CRiは、第2のSDRカラー・ピクチャI2nd_SDR(上述のようにHDRカラー・ピクチャのマッピング(12)によって生成される)からBT.2020色域に一致する第1のSDRカラー・ピクチャI1st_SDR1へのリマッピングであり、他方で、もう1つのカラー・リマッピング情報CRiは、第2のSDRカラー・ピクチャI2nd_SDRからBT.709色域に一致する第1のSDRカラー・ピクチャI1st_SDR2へのリマッピングである。
換言すれば、カラー・リマッピング情報CRiは、第2のSRカラー・ピクチャI2nd_SDRを第1のカラー・ピクチャI1st_SDR1にリンクし、ここで、これらのピクチャは両方ともBT.2020色域に一致する。もう1つのカラー・リマッピング情報CRiは、第2のSDRカラー・ピクチャI2nd_SDRを第1のSDRカラー・ピクチャI1st_SDR2にリンクし、ここで、第2のSDRカラー・ピクチャI2nd_SDRはBT.2020色域に一致するが、第1のSDRカラー・ピクチャI1st_SDR2はBT.709色域に一致する。
このような実施形態では、BT2020のHDRビデオがBT2020/BT709SDRビデオと共存するシナリオを扱うことが可能になる。実際に、今日、現行のインフラストラクチャはBT709色域にしか対応していないが、UHDTVが大きなBT2020色域に移行しようとしている。
このような実施形態の別の応用を、映画業界で使用されるP3色域および以前のBT709色域に関連して使用することもできる。
P3色域は、BT709色域より大きいが、BT2020色域よりは小さい。例えば、P3色域によれば、劇場の映画投影には48nitグレーディングが使用される。
特定の変形形態によれば、上記の2つのカラー・リマッピング情報は、第2のSDRカラー・ピクチャI2nd_SDRを伝送する(1010)ために使用されるチャネルとは異なる同じ専用伝送チャネルでそれぞれ伝送される(1020、1030)か、または、別の変形形態によれば、第2のSDRカラー・ピクチャI2nd_SDRを伝送する(1010)ために使用されるチャネルとは異なる2つの分離した専用伝送チャネルでそれぞれ伝送される(1020、1030)。
図7bに示す本開示による符号化方法の別の実施形態は、第2のSDRカラー・ピクチャI2nd_SDRが異なる色域間の可逆色域マッピング(1200)によって生成され、この可逆色域マッピング(1200)がマッピング(12)の後、符号化(13)の前に実行され、上記の異なる色域の一方(BT.2020)を他方(BT.709)にマッピングするものである点が、図7aの実施形態と異なる。
従って、例えば、第2のSDRカラー・ピクチャI2nd_SDRは、BT.709色域に一致し、HDRカラー・ピクチャIHDRは、BT.2020色域に一致し、上記の可逆色域マッピングBT_GM(1200)は、BT.2020色域をBT.709色域にマッピングして(図1に示すようにBT2020の飽和度(2020)をBT709の飽和度(709)に向かって圧縮する)、BT.709に一致する第2のSDRカラー・ピクチャI2nd_SDRを生成するために実行される。
次いで、2つのカラー・リマッピング情報をそれぞれ規定し(1110、1120)、次いで伝送する(1020、1030)が、ここで、一方で、1つのカラー・リマッピング情報CRiは、可逆色域マッピング(1200)の後に実行される逆色域マッピング動作I_BT_GM(逆色域逆マッピング)(103)によって生成される、BT.2020色域に一致する第3のSDRカラー・ピクチャI3rd_SDRから、BT.2020色域に一致する第1のSDRカラー・ピクチャI1st_SDR1へのリマッピングであり、他方で、もう1つのカラー・リマッピング情報CRiは、BT.709色域に一致する第2のSDRカラー・ピクチャI2nd_SDRからBT.709色域に一致する第1のSDRカラー・ピクチャI1st_SDR2へのリマッピングである。
換言すれば、カラー・リマッピング情報CRiは、第3のSRカラー・ピクチャI3rd_SDRを第1のカラー・ピクチャI1st_SDR1にリンクし、ここで、これらのピクチャは両方ともBT.2020色域に一致する。もう1つのカラー・リマッピング情報CRiは、第2のSDRカラー・ピクチャI2nd_SDRを第1のSDRカラー・ピクチャI1st_SDR2にリンクし、ここで、これらのピクチャは両方ともBT.709色域に一致する。
第1の実施形態によれば、図8aは、本開示の実施形態による受信したビットストリームBの第2のSDRカラー・ピクチャからHDRカラー・ピクチャIHDR_dおよび少なくとも1つの第1のSDRカラー・ピクチャI1st_SDR_dを復号する方法のステップを示す概略図である。
特に、ビットストリームBは、図2から図7に関連して上述した符号化方法を使用して、高ダイナミック・レンジ(HDR)カラー・ピクチャおよび少なくとも1つの第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャから得る。ここで、ビットストリームBは、少なくとも1つの符号化された第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャI2nd_SDR_Cと、この少なくとも1つの符号化された第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャI2nd_SDR_Cに関連する少なくとも1つのカラー・リマッピング情報CRiとを含み、この少なくとも1つのカラー・リマッピング情報を使用して、上記の符号化された第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャI2nd_SDR_Cから上記の少なくとも1つの第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャの近似を得る。
従って、一方では、アンテナ20で受信する受信ビットストリームBから、第2の符号化されたSDRカラー・ピクチャI2nd_SDR_Cを得、次いで、これを復号モジュール201で復号して、第2の復号されたSDRカラー・ピクチャI2nd_SDR_dを生成する。
他方では、受信ビットストリームBから、符号化された第2のSDRカラー・ピクチャI2nd_SDR_Cに関連する少なくとも1つのカラー・リマッピング情報CRiを得(202)、次いでこれを第2のSDRカラー・ピクチャI2nd_SDR_dに適用して(203)、少なくとも1つの第1のSDRカラー・ピクチャI1st_SDR_dの近似I’1st_SDR_dを生成する。
図8aの復号時に実施されるステップは、従って、図2の実施形態で示される符号化方法中に実施されるプロセスのステップの逆である。
符号化された第2のSDRカラー・ピクチャI2nd_SDR_Cに関連する少なくとも1つのカラー・リマッピング情報CRiは、例えば、受信ビットストリームBのSEIメッセージに挿入され、復号時に、復号された第2のSDRカラー・ピクチャI2nd_SDR_dの再構築されたカラー・サンプル(すなわちCRi適合)のリマッピングを可能にして、符号化時に使用するソースHDRカラー・ピクチャIHDRのカラー・グレーディング・バージョンから符号化(図8aに示す)時に得た少なくとも1つの第1のSDRカラー・ピクチャI1st_SDR_dの近似I’1st_SDR_dを得るための情報を提供する。
従って、例えばHEVCビットストリームBなど、ネットワークを介して伝送される1つの受信ビットストリームBから、例えば1つのHDRディスプレイ、CRi適合の実行に適したセット・トップ・ボックスを備えたUHDTVまたはその他の既存のUHDTV、および既存の機器でいかなる追加の処理も行わないSTBなど、複数種類の機器上で、同じビデオ・コンテンツを提供することができる。
実際に、これら2つの受信入力から始めて、デコーダは、
符号化時に処理されるHDRカラー・ピクチャの近似、
可視であるがカラリストの意図に合致しない復号SDRカラー・ピクチャ、および
HDRカラー・ピクチャのカラー・グレーディング・バージョンから得られるSDRカラー・ピクチャの少なくとも1つの近似、
の少なくとも3つの項目を再構築することができることになる。
さらに詳細には、上記のカラー・リマッピング情報は、復号した第2のSDRカラー・ピクチャI2nd_SDR_dの復号サンプル値に対して、それらがルマおよびクロマ領域にあるか、またはRGB領域にあるかに関わらず、直接適用することができる。例えば、カラー・リマッピング情報のSEIメッセージ中で用いられるカラー・リマッピング・モデルは、(本明細書では構文要素の「プリ」セットによって指定される)各色成分に適用される第1の区分的線形関数、3つの色成分に適用される3×3行列、および(標準ITU−T H.265(10/2014)Series H:Audiovisual and Multimedia Systemsの「Colour remapping information SEI message semantics」と題するセクションD.3.32に指定される構文要素の「ポスト」セットによって指定される)各色成分に適用される第2の区分的線形関数で構成される。
特定の変形形態によれば、図8aに示すように、受信ビットストリームBは、少なくとも第2の符号化SDRカラー・ピクチャI2nd_SDR_C、およびこの第2の符号化SDRカラー・ピクチャI2nd_SDR_Cに関連するカラー・リマッピング情報を含む。
別の特定の変形形態(図示せず)によれば、カラー・リマッピング情報CRiは、受信アンテナ20を使用して、第2のSDRカラー・ピクチャI2nd_SDR_Cを伝送する(1010)ために使用されるチャネルとは異なる専用伝送チャネルから得る(202)。
さらに詳細には、復号モジュール201は、ローカルもしくは遠隔のメモリから、またはビットストリームFを少なくとも部分的に復号することによって、輝度成分L”および2つのクロミナンス成分C”1、C”2を得る(21)デコーダDECを備える。
さらに、復号モジュール201は、上記の輝度成分L”およびクロミナンス成分C”1、C”2から得られる色に逆マッピングを適用することによって、上記の輝度成分L”およびクロミナンス成分C”1、C”2から最終輝度成分Lおよび2つの最終クロミナンス成分C1、C2を得る(22)モジュールIGMを備える。
換言すれば、モジュールIGMは、SDRカラー・ピクチャを対応するHDRピクチャに変換することを可能にし、図2から図7に示す符号化時に実行されるHDR/SDRマッピング(12)の逆動作である。
ステップ23で、モジュールINVCは、上記の最終輝度成分Lおよび上記の2つの最終クロミナンス成分C1、C2から、復号対象のHDRカラー・ピクチャIHDR_dの少なくとも1つの色成分Ecを得る。復号されたピクチャは、上記の少なくとも1つの色成分Ecを結合することによって得られる。
図8bから図8cは、図8aの方法に関連する2つの他の異なる実施形態によるカラー・ピクチャを復号する方法のステップを示す概略図である。
さらに詳細には、図8bから図8cの復号時に実施されるステップは、それぞれ図7aから図7bに示す符号化方法中に実施されるプロセスのステップと逆である。
図8bに示す本開示による復号方法の実施形態によれば、第2の符号化SDRカラー・ピクチャI2nd_SDR_Cに関連する少なくとも2つの異なるカラー・リマッピング情報CRiおよびCRiを、受信ビットストリームBから得(2021、2022)、次いで、これを復号モジュール201によって生成される第2の復号SDRカラー・ピクチャI2nd_SDR_dに適用して(204、205)、図7aに示す符号化時に例えばBT.2020またはBT.709などそれぞれ異なる色域を使用することによってHDRカラー・ピクチャIHDRの少なくとも2つの異なるカラー・グレーディング・バージョンから得られる少なくとも2つの異なる第1のSDRカラー・ピクチャの2つの異なる近似I’1st_SDR1_dおよびI’1st_SDR2_dを生成する。ここで、色域BT.2020は、UHDTV用の色空間を定義し、BT.709は、HDTV用のより小さい色域を定義する。
2つのピクチャの間の数学的歪みに関して、カラー・リマッピング情報は、第1のSDRカラー・ピクチャに視覚的に近いSDRピクチャの生成する助けにはなるが、いかなる距離目標も保証しないので、「近似」という用語を用いねばならないことに留意されたい。
例えば、復号SDRカラー・ピクチャI2nd_SDR_dは、BT.2020色域に一致し、図8aに関連して上記に示したモジュールIGMおよびINVCによってもたらされるBT.2020色域に一致する復号HDRカラー・ピクチャIHDR_dを得ることを可能にする。
BT.2020色域に一致するこの復号SDRカラー・ピクチャI2nd_SDR_dは、可視であるが、その表示は、カラリストまたは撮影監督の視点からは許容できないものとなる。
第1のカラー・リマッピング情報CRiを使用して、この復号SDRカラー・ピクチャI2nd_SDR_dの第1の色適合を実行して(204)、BT.2020色域に一致し、BT.2020色域を考慮したときにカラリストの意図に合致する上記の近似I’1st_SDR1_dを生成する。
第2のカラー・リマッピング情報CRiを使用して、この復号SDRカラー・ピクチャI2nd_SDR_dの第2の色適合を実行して(205)、BT.709色域に一致する上記の近似I’1st_SDR2_dを生成する。
従って、3つの受信入力、すなわち第2の符号化SDRカラー・ピクチャI2nd_SDR_Cと2つの関連する異なるカラー・リマッピング情報CRiおよびCRiとから始めて、デコーダは、
例えば符号化時に処理される色域BT2020に一致するHDRカラー・ピクチャの近似IHDR_d
可視であるがカラリストの意図に合致しない、色域2020に一致する、同じ例を用いた復号SDRカラー・ピクチャI2nd_SDR_d
上記の少なくとも2つの関連するカラー・リマッピング情報のうちの一方のカラー・リマッピング情報CRiを使用して、BT.2020色域に一致する近似SDRカラー・ピクチャI’1st_SDR1_d、ならびに
上記の少なくとも2つの関連するカラー・リマッピング情報のうちの他方のカラー・リマッピング情報CRiを使用して、BT.709色域に一致する別の近似SDRカラー・ピクチャI’1st_SDR1_d
の少なくとも4つの項目を再構築することができることになる。
別の特定の変形形態(図示せず)によれば、上記の2つのカラー・リマッピング情報CRiおよびCRiは、受信アンテナ20を使用して、第2のSDRカラー・ピクチャI2nd_SDR_Cを伝送する(1010)ために使用されるチャネルとは異なる専用伝送チャネルから得る(202)。
図8cに示す本開示による復号方法の実施形態の別の実施形態は、復号SDRカラー・ピクチャI2nd_SDR_dが、例えばユーザのHDRディスプレイ・デバイスに適合した色域とは異なる色域に一致する点で、図8bの実施形態と異なる。
例えば、復号SDRカラー・ピクチャI2nd_SDR_dは、BT.709に一致するが、HDRディスプレイ・デバイスは、BT.2020色域にしか適合しない。
BT.709色域に一致する復号SDRカラー・ピクチャI2nd_SDR_dは、可視ではあるが、その表示は、カラリストまたは撮影監督の視点からは許容できないものとなる。
BT.2020色域に一致する復号HDRカラー・ピクチャIHDR_dを得るために、可逆色域マッピングの補足逆動作I_BT_GM(色域デマッピング)(206)を、図8aに関連して既に示したモジュールIGMおよびINVCによってもたらされる結果に対して適用する。
上記の逆動作I_BT_GM(色域デマッピング)(206)は、図7bに示す符号化中に実行される可逆色域マッピング(1200)の逆動作である。
第1のカラー・リマッピング情報CRiを使用して、BT.709に一致するこの復号SDRカラー・ピクチャI2nd_SDR_dの第1の色適合を実行して(2040)、BT.709色域に一致し、BT.709色域を考慮したときにカラリストの意図に合致する上記の近似I’1st_SDR1_dを生成する。
第2のカラー・リマッピング情報CRiを使用して、復号SDRカラー・ピクチャI2nd_SDR_dの可逆色域マッピングの逆動作I_BT_GM(色域デマッピング)(206)によって生成される、BT.2020色域に一致する別の復号SDRカラー・ピクチャI3rd_SDR_dの第2の色適合を実行して(2050)、BT.2020色域に一致し、色域BT.2020を考慮したときにカラリストの意図に合致する上記の近似I’1st_SDR2_dを生成する。
さらに詳細には、図8aから図8cに関連して上述した3つの復号の実施形態のうちの何れに適用することもできる特定の態様によれば、図9に示すステップ22で、モジュールILCCは、輝度成分L”と2つのクロミナンス成分C”1、C”2とを線形結合することによって最終輝度成分Lを得(ステップ222)、2つの最終クロミナンス成分C1、C2は、2つのクロミナンス成分C”1、C”2のそれぞれを、変調値Baおよび最終輝度成分Lの各画素iの値の両方に依存する因子β(Ba、L(i))でスケーリングする(ステップ221)ことによって得られる。以下の通りである。
Figure 2018525883
ここで、mおよびnは、係数(実数値)である。係数mおよびnは、方程式(G)中の行列ΦBa(L)の因数分解によって得られる係数とすることができる、すなわち、mおよびnは、Φで得られる係数である。その結果として、これらの係数は、HDRカラー・ピクチャIHDRの色域(例えばBT.709またはBT.2020の色域)に依存する。mおよびnの代表的な値は、間隔[0.1,0.5]でm≒nである。
方程式(J)は、輝度成分L”およびクロミナンス成分C”1、C”2から得られる色に適用される逆マッピングであると考えられる。方程式(J)は、色マッピングであると考えられる方程式(A)から直接得られる。
モジュールILCCの変形形態によれば、以下のように、最終輝度成分Lの値は、常に輝度成分L”の値より大きい。
L=L”+max(mC’+nC’
この実施形態は、輝度成分Lがデコーダが輝度ピークを規定するために通常使用する潜在的クリッピング値を超えないことを保証するので、有利である。デコーダが輝度ピークを必要とするとき、および方程式(J)によって輝度成分Lが与えられるときには、輝度成分Lがクリッピングされて、ある程度のアーチファクトが生じる。
実施形態によれば、変調値Baならびに/または係数mおよびnは、参照テーブルなどの遠隔またはローカルなメモリから、あるいは図9に示すようにビットストリームBFから得られる。
実施形態によれば、因子β−1(Ba、L(i))は、特定の変調値Baおよび最終輝度成分Lの特定の値L(i)についての参照テーブル(LUT)から得られる。従って、例えば1000nit、1500nit、および4000nitなどの複数の輝度ピーク値について、特定の因子β−1(Ba、L(i))が、各特定の変調値BaについてのLUTに記憶される。
変形形態によれば、LUTが記憶される複数の輝度ピークの間の輝度ピークを補間することによって、最終輝度成分Lの画素の値について、特定の変調値Baについての因子β−1(Ba、L(i))を得る。
別の特定の態様によれば、図8aから図8cに示す3つの復号の実施形態では、図10に示すステップ23において、ステップ220で、モジュールIFMは、以下のように、第1の成分Yのダイナミックが輝度成分Lのダイナミックと比較して大きくなるように輝度成分Lに非線形関数f−1を適用することによって、第1の成分Yを得る。
Y=f−1(Ba,L) (A3)
この非線形関数f−1は、非線形関数f(ステップ130)の逆関数である。
従って、関数f−1の実施形態は、関数fの実施形態に従って規定される。
実施形態によれば、非線形関数f−1のパラメータ(a、b、c、もしくはγなど)および/または情報データinfは、ローカルまたは遠隔のメモリ(例えば参照テーブル)から、且つ/あるいは図10に示すようにビットストリームBFから得られる。
実施形態によれば、以下のように、輝度成分Lに、非線形関数f−1を適用した後で変調値Baを掛ける。
Y=Ba*f−1(L) (A4)
実施形態によれば、非線形関数f−1は、ガンマ関数の逆関数である。
この場合、成分Yは、以下で与えられる。
Figure 2018525883
ここで、Yは、方程式(A3)または(A4)の実施形態に応じてYまたはY/Baと等しく、Bは定数値であり、γは、パラメータ(厳密に1未満の実数値)である。
実施形態によれば、非線形関数f−1は、S−Log関数の逆関数である。この場合、成分Yは、以下で与えられる。
Figure 2018525883
実施形態によれば、非線形関数fは、成分Yの画素値に応じて、ガンマ補正またはSLog補正の何れかの逆関数である。これは、情報データinfによって示される。
ステップ230で、モジュールILCは、第1の成分Y、2つのクロミナンス成分C1、C2、および輝度成分Lに依存する因子r(L)から、少なくとも1つの色成分Ecを得る。次いで、上記の少なくとも1つの色成分Ecを結合することによって、復号されたカラー・ピクチャが得られる。
一般的なOETFを各中間色成分E’cに適用する(図6のステップ171)と、以下のように、中間成分Dcは、成分Y、2つのクロミナンス成分C1、C2、および因子r(L)に関係する。
Figure 2018525883
且つ
Figure 2018525883
ここで、EOTF(電気光学伝達関数)は、ステップ171で適用するOETFの逆関数である。
方程式(A5b)より、以下が得られる。
Figure 2018525883
ここで、OETF(Ec)=Dcであり、
Figure 2018525883
は、行列Aに依存する定数であり、Liは、やはり行列Aに依存する線形関数である。この場合、方程式A5aは、
r(L)*Y=A11EOTF(D)+A12EOTF(D)+A13EOTF(D) (A7)
となり、さらに、
Figure 2018525883
となる。
方程式(A8)は、Dのみについての陰方程式である。EOTFの表現によるが、方程式(A8)は、ある程度簡単に解くことができる。解けばDが得られ、方程式(A6)によりDからD、Dが推定される。次いで、この3つの得られた中間成分DcにEOTFを適用することにより、中間色成分E’cを得る。すなわち、E’c=EOTF(Dc)である。
この一般的な場合には、すなわち一般的なOETF(いかなる特定の性質も有していない)を各中間色成分(E’c)に適用するときには、方程式(8)の解析的解は存在しない。例えば、OETFがITU−R BT.709/2020のOETFであるときには、方程式(A8)は、いわゆるニュートン法またはその他の任意の数値法を使用して正則関数の根を求めることによって、数値的に解くことができる。ただし、これにより非常に複雑なデコーダとなる。
この一般的な場合には、図11aに示すステップ230の第1の実施形態によれば、ステップ231で、モジュールILECは、上記で説明したように、第1の成分Y、2つのクロミナンス成分C1、C2、および因子r(L)から3つの中間色成分E’cを得る。ステップ232で、以下のように各中間色成分E’cを因子r(L)でスケーリングすることによって、3つの色成分Ecを得る。
Ec(i)=E’c(i)/r(L(i))
ここで、r(L(i))は、輝度成分Lの画素iの値に依存するステップ160で与えられる因子であり、E’c(i)は、中間色成分E’cの画素iの値であり、Ec(i)は、色成分Ecの画素iの値である。
実際には、ステップ232の前にステップ231を行うこの順序は、符号化方法のステップ150の後にステップ170を行う順序を逆にしたものである。
この第1の実施形態の変形形態によれば、OETFは、平方根関数であり、EOTFは2次関数である。
この第1の実施形態の別の変形形態によれば、OETFは、立方根関数であり、EOTFは、3次関数である。
ステップ171で使用するOETFが交換条件を満たす、すなわち
OETF(x*y)=OETF(x)*OETF(y)
であるときには、成分Yおよび色成分Ecは、以下のような関係になる。
Figure 2018525883
ここで、Fcは、OETF(Ec)に等しい成分であり、
Figure 2018525883
であり、交換条件が、
Figure 2018525883
を与えるようになっている。
方程式(10)は、
Figure 2018525883
を与え、ここで、
Figure 2018525883
は、行列Aに依存する定数であり、Liは、やはり行列Aに依存する線形関数である。
この場合、方程式(A9)は、
Y=A11EOTF(F)+A12EOTF(F)+A13EOTF(F) (A11)
となり、さらに、
Figure 2018525883
となる。
OETFが交換条件を満たすときには、図11bに示すステップ230の第2の実施形態によれば、ステップ232で、以下のように2つのクロミナンス成分C1およびC2を因子OETF(r(L(i)))でスケーリングすることによって、2つの中間成分C’1およびC’2を得る。ここで、OETFは、図6のステップ171で使用した関数である。
Figure 2018525883
ここで、r(L(i))は、最終輝度成分Lの画素iの値に依存するステップ160で与えられる因子であり、C’(i)、C’(i)は、それぞれ成分C’1およびC’2の画素iの値であり、C(i)、C(i)は、それぞれ成分C1およびC2の画素iの値である。
ステップ231で、モジュールILECは、上記で説明したように、第1の成分Yおよび2つの中間クロミナンス成分C’1、C’2から3つの色成分Ecを得る。
この第2の実施形態の変形形態によれば、OETFは、平方根関数であり、EOTFは、2次関数である。次いで、図11bのステップ232で、以下のように2つのクロミナンス成分C1およびC2を因子
Figure 2018525883
でスケーリングすることによって、2つの中間成分C’1およびC’2を得る。
Figure 2018525883
方程式(9)は、
Figure 2018525883
および
Figure 2018525883
となり、交換により、
Figure 2018525883
が得られるようになっている。
方程式(11)は、
Figure 2018525883
および
Figure 2018525883
となる。
方程式(A14)は、解析的に解くことができる2次方程式である。この解析的解から、図12に示すようにステップ231の特定の実施形態が得られる。この実施形態は、EOTF(OETFの逆関数)の解析的表現を可能にし、それによりピクチャの復号された成分の解析的表現を可能にするので、有利である。さらに、この場合には、EOTFは、復号側における複雑さの低いプロセスである2次関数である。ステップ2310で、モジュールSMは、以下のように2つの中間クロミナンス成分C’1、C’2と第1の成分Yとを結合することによって、第2の成分Sを得る。
Figure 2018525883
ここで、k、k、およびkは、パラメータ値であり、C’ は、成分C’(c=1または2)の2乗を意味する。
ステップ2311で、モジュールLC2は、以下のように、中間クロミナンス成分C’1、C’2と第2の成分Sとを線形結合することによって、3つのソルバ(solver)成分Fcを得る。
Figure 2018525883
ここで、Cは、行列Aの逆行列として定義される3×3行列である。
ステップ2312で、以下のように、各中間色成分(Dc)の2乗をとることによって、3つの色成分Ecを得る。
Figure 2018525883
行列Aは、符号化対象のピクチャの画素値が表現されている色空間(E1、E2、E3)から色空間(Y、C1、C2)への符号化対象のHDRピクチャIHDRの変換を規定する。
このような行列は、符号化対象のカラー・ピクチャの色域に依存する。
例えば、符号化対象のピクチャがITU−R勧告709に規定されるBT709色域に表されるときには、行列Aは、
Figure 2018525883
で与えられ、行列Cは、
Figure 2018525883
で与えられる。
この第2の実施形態の変形形態によれば、OETFは、立方根関数であり、EOTFは、3次関数である。この場合、図11bのステップ232で、以下のように、2つのクロミナンス成分C1およびC2を因子
Figure 2018525883
でスケーリングすることによって、2つの中間成分C’1およびC’2を得ることができる。
Figure 2018525883
この場合、EOTFは、3次関数であり、従って、Fについての方程式(14)は、いわゆるカルダノ法で解析的に解くことができるより複雑な3次方程式となる。
4次方程式についても非常に複雑な解析的解法が存在する(フェラーリの方法)が、アーベル・ルフィニの定理によって述べられるように5次以上については解法は存在しない。
デコーダDECは、符号化器ENCによって符号化されているデータを復号するように構成される。
符号化器ENC(およびデコーダDEC)は、特定の符号化器(デコーダ)に限定されず、エントロピ符号化器(デコーダ)が必要であるときには、ハフマン・コーダ、算術コーダ、あるいはH.264/AVCまたはHEVCで使用されるCabacなどのコンテキスト適合型コーダなどのエントロピ符号化器が有利である。
符号化器ENC(およびデコーダDEC)は、例えばJPEG、JPEG2000、MPEG2、H.264/AVC、またはHEVCなど損失のあるフレーム/ビデオ・レガシー・コーダであることがある特定の符号化器に限定されない。
図1から図12では、モジュールは、区別することができる物理的ユニットに関係することも関係しないこともある機能ユニットである。例えば、これらのモジュールまたはそのうちのいくつかを、1つの構成要素または回路にまとめることもできるし、あるいはこれらのモジュールまたはそのうちのいくつかが、ソフトウェアの機能の一助となることもできる。一方、いくつかのモジュールは、潜在的に別個の物理的エンティティで構成されることもある。本開示に適合した装置は、例えばASIC(特定用途向け集積回路)またはFPGA(フィールド・プログラマブル・ゲート・アレイ)またはVLSI(超大規模集積回路)などの専用ハードウェアを使用するなど、ハードウェアのみを使用して、あるいはデバイスに埋め込まれたいくつかの集積電子構成要素から、あるいはハードウェア構成要素とソフトウェア構成要素の混成から、実装される。
図13は、図1から図7に関連して説明した符号化方法、または図8から図12に関連して説明した復号方法を実施するように構成することができるデバイス1300の例示的なアーキテクチャを示す図である。
デバイス1300は、データおよびアドレス・バス1301によってリンクされた以下の要素を含む。
例えばDSP(すなわちディジタル信号プロセッサ)であるマイクロプロセッサ1302(またはCPU)。
ROM(すなわち読取り専用メモリ)1303。
RAM(すなわちランダム・アクセス・メモリ)1304。
アプリケーションとの間のデータの伝送および/または受信のためのI/Oインタフェース1305。
バッテリ1306。
変形形態によれば、バッテリ1306は、デバイスの外付けである。図13のこれらの要素はそれぞれ、当業者には周知であり、これ以上は開示しない。上記のメモリのそれぞれにおいて、本明細書で使用する「レジスタ」という言葉は、小容量(数ビット)の領域に対応することも、非常に大きな領域(例えばプログラム全体、または大量の受信もしくは復号したデータ)に対応することもある。ROM1303は、少なくともプログラムおよびパラメータを含む。本開示による方法のアルゴリズムは、ROM1303に記憶される。CPU1302は、オンになると、プログラムをRAMにアップロードし、対応する命令を実行する。
RAM304は、CPU1302によって実行される、デバイス1300のスイッチ・オン後にアップロードされるプログラムと、入力データと、この方法の様々な状態の中間データと、この方法の実行に使用されるその他の変数とをレジスタに含む。
本明細書に記載する実施態様は、例えば、方法またはプロセス、装置、ソフトウェア・プログラム、データ・ストリーム、あるいは信号で実施することができる。単一の実施態様の形態の文脈でしか説明していない場合でも(例えば方法またはデバイスとしてしか説明していない場合でも)、その説明した特徴の実施態様を、その他の形態(例えばプログラム)で実施することもできる。装置は、例えば、適当なハードウェア、ソフトウェア、およびファームウェアで実装することができる。これらの方法は、例えばコンピュータ、マイクロプロセッサ、集積回路、プログラマブル論理デバイスなど、処理デバイス一般を指すものとしてのプロセッサなどの装置で実施することができる。プロセッサは、例えばコンピュータ、携帯電話、携帯情報端末(PDA)、およびエンドユーザ間での情報の通信を容易にするその他のデバイスなどの通信デバイスも含む。
符号化または符号化器の特定の実施形態によれば、HDRカラー・ピクチャIHDRは、ソースから得られる。例えば、ソースは、
例えばビデオ・メモリまたはRAM(すなわちランダム・アクセス・メモリ)、フラッシュ・メモリ、ROM(すなわち読取り専用メモリ)、ハード・ディスクなどのローカル・メモリ(1303または1304)と、
例えば大容量記憶装置、RAM、フラッシュ・メモリ、ROM、光ディスク、または磁気サポート(magnetic support)などの記憶インタフェースと、
例えばワイヤライン・インタフェース(例えばバス・インタフェース、広域ネットワーク・インタフェース、ローカル・エリア・ネットワーク・インタフェース)またはワイヤレス・インタフェース(IEEE802.11インタフェースもしくはBluetooth(登録商標)インタフェースなど)などの通信インタフェース(1305)と、
ピクチャ取り込み回路(例えばCCD(すなわち電荷結合素子)またはCMOS(すなわち相補型金属酸化物半導体)などのセンサ)と
を含むセットに属する。
復号またはデコーダの様々な実施形態によれば、復号されたピクチャは宛先に送信される。詳細には、この宛先は、
例えばビデオ・メモリまたはRAM(すなわちランダム・アクセス・メモリ)、フラッシュ・メモリ、ROM(すなわち読取り専用メモリ)、ハード・ディスクなどのローカル・メモリ(1303または1304)と、
例えば大容量記憶装置、RAM、フラッシュ・メモリ、ROM、光ディスク、または磁気サポートなどの記憶インタフェースと、
例えばワイヤライン・インタフェース(例えばバス・インタフェース、広域ネットワーク・インタフェース、ローカル・エリア・ネットワーク・インタフェース)またはワイヤレス・インタフェース(IEEE802.11インタフェースもしくはBluetooth(登録商標)インタフェースなど)などの通信インタフェース(1305)と、
ディスプレイと
を含むセットに属する。
符号化または符号化器の様々な実施形態によれば、ビットストリームBFおよび/またはFは、宛先に送信される。一例としては、ビットストリームFおよびBFの一方または両方が、例えばビデオ・メモリ(1304)またはRAM(1304)、ハード・ディスク(1303)などのローカルまたは遠隔のメモリに記憶される。変形形態では、一方または両方のビットストリームが、例えば大容量記憶装置を備えたインタフェース、フラッシュ・メモリ、ROM、光ディスク、または磁気サポートなどの記憶インタフェースに送信され、且つ/あるいは例えばポイント・ツー・ポイント・リンク、通信バス、ポイント・ツー・マルチポイント・リンク、または同報通信ネットワークとのインタフェースなどの通信インタフェース(1305)を介して伝送される。
復号またはデコーダの様々な実施形態によれば、ビットストリームBFおよび/またはFは、ソースから得られる。例示的には、ビットストリームは、例えばビデオ・メモリ(1304)、RAM(1304)、ROM(1303)、フラッシュ・メモリ(1303)、またはハード・ディスク(1303)などのローカルなメモリから読み取られる。変形形態では、ビットストリームは、例えば大容量記憶装置を備えたインタフェース、RAM、ROM、フラッシュ・メモリ、光ディスク、または磁気サポートなどの記憶インタフェースから受信され、且つ/あるいは例えばポイント・ツー・ポイント・リンク、通信バス、ポイント・ツー・マルチポイント・リンク、または同報通信ネットワークとのインタフェースなどの通信インタフェース(1305)から受信される。
様々な実施形態によれば、図2から図7に関連して説明した符号化方法を実施するように構成されたデバイス1300は、
モバイル・デバイス、
通信デバイス、
ゲーム・デバイス、
タブレット(またはタブレット・コンピュータ)、
ラップトップ、
静止画カメラ、
ビデオ・カメラ、
符号化チップ、
静止画サーバ、および
ビデオ・サーバ(例えば放送サーバ、ビデオ・オン・デマンド・サーバ、またはウェブ・サーバ)
を含むセットに属する。
様々な実施形態によれば、図8から図12に関連して説明した復号方法を実施するように構成されたデバイス1300は、
モバイル・デバイス、
通信デバイス、
ゲーム・デバイス、
セット・トップ・ボックス、
TVセット、
タブレット(またはタブレット・コンピュータ)、
ラップトップ、
ディスプレイ、および
復号チップ
を含むセットに属する。
図14に示す実施形態によれば、通信ネットワークNETを介した2つの遠隔デバイスAとBの間の伝送の状況では、デバイスAは、図2から図7に関連して説明したようにピクチャを符号化する方法を実施するように構成された手段を含み、デバイスBは、図8から図12に関連して説明したように復号する方法を実施するように構成された手段を含み、第1の実施形態では、図2のデバイスAが、図8aのデバイスBと通信しており、第2および第3の実施形態では、それぞれ図7aおよび図7bのデバイスAが、図8bおよび図8cのデバイスBと通信している。
本開示の変形形態によれば、ネットワークは、デバイスAからデバイスBを含む復号デバイスに静止画またはビデオ・ピクチャを同報通信するように適応された放送ネットワークである。
本明細書に記載する様々なプロセスおよび特徴の実施態様は、様々な異なる機器またはアプリケーションで実施することができる。このような機器の例は、符号化器、デコーダ、デコーダからの出力を処理するポスト・プロセッサ、符号化器に入力を提供するプリプロセッサ、ビデオ・コーダ、ビデオ・デコーダ、ビデオ・コーデック、ウェブ・サーバ、セット・トップ・ボックス、ラップトップ、パーソナル・コンピュータ、携帯電話、PDA、およびピクチャまたはビデオを処理するその他の任意のデバイスあるいはその他の通信デバイスを含む。この機器は、モバイルであってもよく、また移動車両に設置することもできることは明らかであろう。
さらに、これらの方法は、プロセッサが命令を実行することによって実施することもでき、このような命令(および/または実施によって生成されるデータ値)は、コンピュータ可読記憶媒体に記憶することができる。コンピュータ可読記憶媒体は、1つまたは複数のコンピュータ可読媒体に実装される、コンピュータによって実行可能なコンピュータ可読プログラム・コードが実装されているコンピュータ可読プログラム製品の形態をとることができる。本明細書で使用されるコンピュータ可読記憶媒体は、情報を記憶するための固有の容量と、そこからの情報の取出しを実現する固有の容量とが与えられた非一時的記憶媒体と考えられる。コンピュータ可読記憶媒体は、これらに限定されるわけではないが、例えば、電子的、磁気的、光学的、電磁気的、赤外線、または半導体システム、装置、またはデバイス、あるいはそれらの任意の適当な組合せとすることができる。以下に、本原理を適用することができるコンピュータ可読記憶媒体のさらに具体的な例を与えるが、単なる例示的なリストであって排他的なリストではないことは、当業者なら理解されたい。さらに具体的な例としては、携帯型コンピュータ・ディスケット、ハード・ディスク、読取り専用メモリ(ROM)、消去可能プログラマブル読取り専用メモリ(EPROMまたはフラッシュ・メモリ)、携帯型コンパクト・ディスク読取り専用メモリ(CD−ROM)、光学記憶デバイス、磁気記憶デバイス、またはそれらの任意の適当な組合せがある。
命令は、プロセッサ可読媒体に有形に実装されるアプリケーション・プログラムを構成することができる。
命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、またはそれらの組合せとすることができる。命令は、例えば、オペレーティング・システム、別個のアプリケーション、またはその両者の組合せに見ることができる。従って、プロセッサは、例えば、プロセスを実行するように構成されたデバイス、およびプロセスを実行するための命令を有するプロセッサ可読媒体(記憶デバイスなど)を含むデバイスの両方の特徴を有することができる。さらに、プロセッサ可読媒体は、命令に加えて、または命令の代わりに、実施によって生成されるデータ値を記憶することもできる。
実施により、例えば記憶または伝送することができる情報を搬送するようにフォーマット化された様々な信号が生成される可能性があることは、当業者には明らかであろう。この情報は、例えば、方法を実行するための命令、または記載した実施態様のうちの1つによって生成されたデータを含む可能性がある。例えば、信号を、記載した実施形態の構文を書き込む、または読み取る規則をデータとして搬送する、あるいは記載した実施形態によって書き込まれた実際の構文値をデータとして搬送するようにフォーマット化することができる。このような信号は、例えば、電磁波(例えば無線周波スペクトル部分を使用する)またはベースバンド信号としてフォーマット化することができる。フォーマット化は、例えば、データ・ストリームを符号化すること、および搬送波を符号化データ・ストリームで変調することを含む可能性がある。信号が搬送する情報は、例えば、アナログ情報であっても、ディジタル情報であってもよい。信号は、既知のように、様々な異なる有線リンクまたはワイヤレス・リンクを介して伝送することができる。信号は、プロセッサ可読媒体に記憶することができる。
いくつかの実施態様について説明した。しかしながら、様々な修正を施すことが可能であることは理解されるであろう。例えば、様々な実施態様の要素を組み合わせたり、補足したり、修正したり、または除去したりして、他の実施態様を生み出すこともできる。さらに、当業者なら、開示した構造およびプロセスの代わりに他の構造およびプロセスを使用することができ、その結果得られる実施態様も、開示した実施態様と少なくとも実質的には同じである1つまたは複数の機能を、少なくとも実質的には同じである1つまたは複数の方法で実行して、少なくとも実質的には同じである1つまたは複数の結果を実現することになることを理解するであろう。従って、上記の実施態様およびその他の実施態様は、本願によって企図されている。

Claims (19)

  1. 高ダイナミック・レンジ(HDR)カラー・ピクチャおよび少なくとも1つの第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャを符号化する方法であって、
    前記方法は、高ダイナミック・レンジ(HDR)カラー・ピクチャから得られる第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャを符号化すること(101)を含み、
    前記方法は、前記第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャから前記少なくとも1つの第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャへの少なくとも1つのカラー・リマッピング情報を規定すること(102)をさらに含み、前記少なくとも1つのカラー・リマッピング情報は、前記第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャから前記少なくとも1つの第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャの近似を得るために使用されることを特徴とする、前記方法。
  2. 前記少なくとも1つの第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャは、前記高ダイナミック・レンジ(HDR)カラー・ピクチャのカラー・グレーディング・バージョンから得られる、請求項1に記載の方法。
  3. 前記高ダイナミック・レンジ(HDR)カラー・ピクチャから得られる第2のSDRカラー・ピクチャを符号化すること(101)は、
    前記第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャから輝度成分(L)および2つのクロミナンス成分(C1、C2)を得ること(11)と、
    最終輝度成分(L”)および2つの最終クロミナンス成分(C”1、C”2)から得られる色の色域が前記高ダイナミック・レンジ・カラー・ピクチャの色の色域にマッピングされるように、前記輝度成分(L)および前記クロミナンス成分(C1、C2)を、前記最終輝度成分(L”)および前記2つの最終クロミナンス成分(C”1、C”2)にマッピングすること(12)とを含み、前記最終輝度成分(L”)の値が前記輝度成分(L)の値より常に小さい、請求項1または2に記載の方法。
  4. 前記少なくとも1つのカラー・リマッピング情報を伝送すること(1020)をさらに含む、請求項1から3の何れか1項に記載の方法。
  5. 前記第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャが、前記マッピング(12)によって生成される、請求項3または4に記載の方法。
  6. 少なくとも2つの異なる第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャが、それぞれ異なる色域を使用することによって、前記高ダイナミック・レンジ(HDR)カラー・ピクチャの少なくとも2つの異なるカラー・グレーディング・バージョンからそれぞれ得られ、
    前記少なくとも2つの異なる第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャのそれぞれの考慮する第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャについて、1つのカラー・リマッピング情報が、前記考慮する第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャへの前記マッピングによって生成される前記第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャからそれぞれ規定され(111、112)、請求項3または4に記載の方法。
  7. 少なくとも2つの異なる第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャが、それぞれ異なる色域を使用することによって、前記高ダイナミック・レンジ(HDR)カラー・ピクチャの少なくとも2つの異なるカラー・グレーディング・バージョンからそれぞれ得られ、
    前記第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャが、前記異なる色域間の可逆色域マッピングによって生成され、前記可逆色域マッピング(1200)が、前記マッピング(12)の後、前記符号化(13)の前に実行され、前記異なる色域のうちの一方を他方にマッピングするものであり、
    前記少なくとも2つの異なる第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャのうちの考慮する第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャについて、前記第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャから前記他方の第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャへの前記対応するカラー・リマッピング情報が規定され(1120)、
    前記少なくとも2つの異なる第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャのうちの他方の第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャについて、前記可逆色域マッピングの後に実行される逆マッピング動作I_BT_GM(103)によって生成される第3の標準ダイナミック・レンジ(SDR)カラー・ピクチャから前記他方の第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャへの前記対応するカラー・リマッピング情報が規定される(1110)、請求項3または4に記載の方法。
  8. 前記少なくとも1つのカラー・リマッピング情報が、前記第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャを含むビットストリームを伝送するために使用されるチャネルとは異なる専用伝送チャネルで伝送される、請求項1から7の何れか1項に記載の方法。
  9. 高ダイナミック・レンジ(HDR)カラー・ピクチャおよび少なくとも1つの第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャから得られ、少なくとも1つの符号化された第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャを含むビットストリーム(B)において、前記少なくとも1つの符号化された第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャに関連する少なくとも1つのカラー・リマッピング情報も含み、前記少なくとも1つのカラー・リマッピング情報は、前記少なくとも1つの符号化された第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャから前記少なくとも1つの第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャの近似を得るために使用されることを特徴とする、前記ビットストリーム。
  10. 受信したビットストリームの第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャから高ダイナミック・レンジ(HDR)カラー・ピクチャおよび少なくとも1つの第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャを復号する方法であって、
    前記方法は、前記第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャを復号すること(201)を含み、
    前記方法は、前記第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャに関連する少なくとも1つのカラー・リマッピング情報を得ること(202)と、
    前記少なくとも1つのカラー・リマッピング情報を前記第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャに適用して(203)、前記少なくとも1つの第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャの近似を生成することとをさらに含むことを特徴とする、方法。
  11. 前記少なくとも1つの第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャは、符号化時に前記高ダイナミック・レンジ(HDR)カラー・ピクチャのカラー・グレーディング・バージョンから得られる、請求項10に記載の方法。
  12. 前記第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャを復号すること(201)は、
    前記ビットストリームから得られる輝度成分(L”)および2つのクロミナンス成分(C”1、C”2)から得られる色に逆マッピングを適用することによって、最終輝度成分(L)および2つの最終クロミナンス成分(C1、C2)を得ること(22)と、
    前記最終輝度成分(L)および前記2つの最終クロミナンス成分(C1、C2)から前記第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャの少なくとも1つの色成分(Ec)を得ること(23)とをさらに含み、前記最終輝度成分(L)の値が前記輝度成分(L”)の値より常に大きい、請求項10または11に記載の方法。
  13. 前記第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャに関連する少なくとも2つの異なるカラー・リマッピング情報を得、次いで前記第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャに適用して、符号化時にそれぞれ異なる色域を使用することによって前記高ダイナミック・レンジ(HDR)カラー・ピクチャの少なくとも2つの異なるカラー・グレーディング・バージョンから得られる少なくとも2つの異なる第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャの少なくとも2つの異なる近似を生成する、請求項10または11に記載の方法。
  14. 前記第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャに関連する少なくとも2つの異なるカラー・リマッピング情報を得、
    前記少なくとも2つのカラー・リマッピング情報のうちの第1のカラー・リマッピング情報を前記第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャに適用して、1つの第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャの近似を生成し、
    前記少なくとも2つのカラー・リマッピング情報のうちの第2のカラー・リマッピング情報を前記第2の標準ダイナミック・レンジ(SDR)カラー・リマッピングの可逆色域マッピングの逆動作によって生成される第3の標準ダイナミック・レンジ(SDR)カラー・ピクチャに適用して、別の第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャの近似を生成し、前記第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャが、符号化時に、それぞれ異なる色域を使用することによって前記高ダイナミック・レンジ(HDR)カラー・ピクチャの少なくとも2つの異なるカラー・グレーディング・バージョンから得られ、前記可逆色域マッピングが、前記異なる色域のうちの一方を他方にマッピングするものである、請求項10または11に記載の方法。
  15. 前記少なくとも1つのカラー・リマッピング情報が、前記第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャを含む前記ビットストリームを伝送するために使用されるチャネルとは異なる専用伝送チャネルから得られる、請求項10から14の何れか1項に記載の方法。
  16. 高ダイナミック・レンジ(HDR)カラー・ピクチャおよび少なくとも1つの第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャを符号化するデバイスであって、
    前記デバイスは、前記HDRカラー・ピクチャから得られる第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャを符号化するように構成されたプロセッサを含み、
    前記プロセッサが、
    前記第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャから前記少なくとも1つの第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャへの少なくとも1つのカラー・リマッピング情報を規定するようにさらに構成され、前記少なくとも1つのカラー・リマッピング情報を使用して、前記第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャから前記少なくとも1つの第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャの近似を得ることを特徴とする、デバイス。
  17. 受信したビットストリームの第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャから高ダイナミック・レンジ(HDR)カラー・ピクチャおよび少なくとも1つの第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャを復号するデバイスであって、
    前記デバイスは、前記第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャを復号するように構成されたプロセッサを含み、
    前記プロセッサが、
    前記第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャに関連する少なくとも1つのカラー・リマッピング情報を得、
    前記少なくとも1つのカラー・リマッピング情報を前記第2の標準ダイナミック・レンジ(SDR)カラー・ピクチャに適用して、前記少なくとも1つの第1の標準ダイナミック・レンジ(SDR)カラー・ピクチャの近似を生成するようにさらに構成されることを特徴とする、デバイス。
  18. コンピュータ上で実行されたときに請求項1に記載の符号化方法のステップを実行するプログラム・コード命令を含む、コンピュータ・プログラム製品。
  19. コンピュータ上で実行されたときに請求項10に記載の復号方法のステップを実行するプログラム・コード命令を含む、コンピュータ・プログラム製品。
JP2017567637A 2015-06-30 2016-06-27 カラー・ピクチャを符号化および復号する方法およびデバイス Pending JP2018525883A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15306042.1 2015-06-30
EP15306042.1A EP3113495A1 (en) 2015-06-30 2015-06-30 Methods and devices for encoding and decoding a hdr color picture
PCT/EP2016/064839 WO2017001331A1 (en) 2015-06-30 2016-06-27 Methods and devices for encoding and decoding a hdr color picture

Publications (2)

Publication Number Publication Date
JP2018525883A true JP2018525883A (ja) 2018-09-06
JP2018525883A5 JP2018525883A5 (ja) 2019-08-08

Family

ID=53724152

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017567637A Pending JP2018525883A (ja) 2015-06-30 2016-06-27 カラー・ピクチャを符号化および復号する方法およびデバイス

Country Status (12)

Country Link
US (1) US20180352257A1 (ja)
EP (2) EP3113495A1 (ja)
JP (1) JP2018525883A (ja)
KR (1) KR20180021869A (ja)
CN (1) CN107852503A (ja)
BR (1) BR112017028459A2 (ja)
CA (1) CA2990988A1 (ja)
MX (1) MX2017016832A (ja)
RU (1) RU2710291C2 (ja)
TW (1) TW201701665A (ja)
WO (1) WO2017001331A1 (ja)
ZA (1) ZA201708433B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020065220A (ja) * 2018-10-19 2020-04-23 株式会社朋栄 Hdr映像をsdr映像に変換するhdr広色域映像変換装置及びhdr広色域映像変換方法

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10609395B2 (en) * 2015-07-28 2020-03-31 Vid Scale, Inc. High dynamic range video coding architectures with multiple operating modes
US10687080B2 (en) * 2015-08-28 2020-06-16 Arris Enterprises Llc Color volume transforms in coding of high dynamic range and wide color gamut sequences
US10720091B2 (en) * 2017-02-16 2020-07-21 Microsoft Technology Licensing, Llc Content mastering with an energy-preserving bloom operator during playback of high dynamic range video
EP3367659A1 (en) * 2017-02-28 2018-08-29 Thomson Licensing Hue changing color gamut mapping
EP3383017A1 (en) * 2017-03-31 2018-10-03 Thomson Licensing Method and device for color gamut mapping
US10574959B2 (en) * 2017-07-05 2020-02-25 Qualcomm Incorporated Color remapping for non-4:4:4 format video content
US10778978B2 (en) * 2017-08-21 2020-09-15 Qualcomm Incorporated System and method of cross-component dynamic range adjustment (CC-DRA) in video coding
EP3493542A1 (en) * 2017-11-30 2019-06-05 Thomson Licensing Saturation control for high-dynamic range reconstruction
US10546554B2 (en) * 2018-03-26 2020-01-28 Dell Products, Lp System and method for adaptive tone mapping for high dynamic ratio digital images
US10630867B2 (en) * 2018-09-17 2020-04-21 Samsung Electronics Co., Ltd. Perceptual hue preserved color-gamut transferring in non-uniform CIE-1931 color space
US11348553B2 (en) 2019-02-11 2022-05-31 Samsung Electronics Co., Ltd. Color gamut mapping in the CIE 1931 color space
KR20210096281A (ko) 2019-06-17 2021-08-04 엘지전자 주식회사 루마 맵핑 기반 비디오 또는 영상 코딩
EP4014486A4 (en) * 2019-09-20 2023-03-01 Beijing Bytedance Network Technology Co., Ltd. LUMA MAPPING WITH CHROMA SCALING
EP3839876A1 (en) * 2019-12-20 2021-06-23 Fondation B-COM Method for converting an image and corresponding device
CN115797152A (zh) * 2021-09-10 2023-03-14 北京字跳网络技术有限公司 一种颜色映射色卡生成方法及装置
US11587213B1 (en) 2021-11-05 2023-02-21 GM Cruise Holdings LLC. Preserving dynamic range in images
CN115174881B (zh) * 2022-07-15 2024-02-13 深圳市火乐科技发展有限公司 色域映射方法、装置、投影设备及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101346008B1 (ko) * 2009-03-13 2013-12-31 돌비 레버러토리즈 라이쎈싱 코오포레이션 고 동적 범위, 가시 동적 범위, 및 광색역 비디오의 층상 압축
US20130107956A1 (en) * 2010-07-06 2013-05-02 Koninklijke Philips Electronics N.V. Generation of high dynamic range images from low dynamic range images
TWI580275B (zh) * 2011-04-15 2017-04-21 杜比實驗室特許公司 高動態範圍影像的編碼、解碼及表示
RU2616158C2 (ru) * 2011-04-28 2017-04-12 Конинклейке Филипс Н.В. Устройства и способы для кодирования и декодирования hdr-изображений
EP2745507A1 (en) * 2011-09-27 2014-06-25 Koninklijke Philips N.V. Apparatus and method for dynamic range transforming of images
CN103024300B (zh) * 2012-12-25 2015-11-25 华为技术有限公司 一种高动态范围图像显示方法及装置
US9584811B2 (en) * 2013-06-17 2017-02-28 Dolby Laboratories Licensing Corporation Adaptive reshaping for layered coding of enhanced dynamic range signals
CN103391435A (zh) * 2013-07-02 2013-11-13 广东工业大学 一种兼容ldr的hdr图像编码方法及其解码方法
JP6202330B2 (ja) * 2013-10-15 2017-09-27 ソニー株式会社 復号装置および復号方法、並びに符号化装置および符号化方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020065220A (ja) * 2018-10-19 2020-04-23 株式会社朋栄 Hdr映像をsdr映像に変換するhdr広色域映像変換装置及びhdr広色域映像変換方法
JP7138935B2 (ja) 2018-10-19 2022-09-20 株式会社朋栄 Hdr映像をsdr映像に変換するhdr広色域映像変換装置及びhdr広色域映像変換方法

Also Published As

Publication number Publication date
MX2017016832A (es) 2018-09-06
TW201701665A (zh) 2017-01-01
CN107852503A (zh) 2018-03-27
EP3113495A1 (en) 2017-01-04
RU2018102703A3 (ja) 2019-07-31
RU2710291C2 (ru) 2019-12-25
KR20180021869A (ko) 2018-03-05
EP3329677A1 (en) 2018-06-06
RU2018102703A (ru) 2019-07-31
ZA201708433B (en) 2019-04-24
WO2017001331A1 (en) 2017-01-05
CA2990988A1 (en) 2017-01-05
BR112017028459A2 (pt) 2018-08-28
US20180352257A1 (en) 2018-12-06

Similar Documents

Publication Publication Date Title
JP7356478B2 (ja) カラー・ピクチャを符号化および復号する方法および装置
JP2018525883A (ja) カラー・ピクチャを符号化および復号する方法およびデバイス
JP6946325B2 (ja) 高ダイナミックレンジピクチャを符号化する方法及び装置、対応する符号化方法及並びに符号化装置
TWI763629B (zh) 將高動態範圍圖像與使用色映射函數從該高動態範圍圖像得到之標準動態範圍圖像兩者編碼之方法及裝置
JP2018530942A (ja) コード化および復号方法ならびに対応するデバイス
EP3051489A1 (en) A method and apparatus of encoding and decoding a color picture
JP2018507618A (ja) カラー・ピクチャを符号化および復号する方法および装置

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20180223

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181220

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20181227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190625

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190625

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20191106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200608

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200907

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210302