JP2021506001A - 改良された高ダイナミックレンジビデオ色再マッピング - Google Patents

改良された高ダイナミックレンジビデオ色再マッピング Download PDF

Info

Publication number
JP2021506001A
JP2021506001A JP2020530505A JP2020530505A JP2021506001A JP 2021506001 A JP2021506001 A JP 2021506001A JP 2020530505 A JP2020530505 A JP 2020530505A JP 2020530505 A JP2020530505 A JP 2020530505A JP 2021506001 A JP2021506001 A JP 2021506001A
Authority
JP
Japan
Prior art keywords
brightness
color
luminance
image
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020530505A
Other languages
English (en)
Other versions
JP2021506001A5 (ja
JP7381463B2 (ja
Inventor
イゼブラント ティヘラール,ヨーハネス
イゼブラント ティヘラール,ヨーハネス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2021506001A publication Critical patent/JP2021506001A/ja
Publication of JP2021506001A5 publication Critical patent/JP2021506001A5/ja
Application granted granted Critical
Publication of JP7381463B2 publication Critical patent/JP7381463B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/643Hue control means, e.g. flesh tone control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/77Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)

Abstract

入力画像と異なる輝度ダイナミックレンジの(特に、ピーク明度として知られる異なる最大輝度により特徴付けられる)画像の良好な決定を可能にするために、本願は、輝度プロセッサ(501)の幾つかの変形を教示する。当該輝度プロセッサは、第1ピーク明度(PB_HDR)により特徴付けられる第1輝度ダイナミックレンジを有する入力画像(MAST_HDR)の空間的に配置されたピクセルの入力輝度から、第2ピーク明度(PB_LDR;PB_MDR)により特徴付けられる第2輝度ダイナミックレンジを有する出力画像(Im_LDR;Im3000ニト)のピクセルの出力輝度を計算し、当該輝度プロセッサは、入力輝度の関数である乗算係数(gL)及び輝度マッピング関数(FLM)を計算するよう構成される利得計算ユニット(514)と、前記入力画像の前記ピクセルの前記色の3つの赤、緑、及び青色成分のうちの最大の1つである強度値(V)を計算するよう構成される最大計算ユニット(601)であって、これらの成分は線形赤、緑、及び青色成分又は該線形赤、緑、及び青色成分の累乗である、最大計算ユニット(601)と、前記出力輝度が全範囲上限境界にどれくらい近いかを示すオーバーフロー指標(T)を計算するよう構成されるオーバーフロー計算機(602)と、前記オーバーフロー指標が閾(G)より大きい場合に代替利得係数(F1(gL))を決定するよう構成され、その他の場合に元の利得係数を保持するよう構成され、最終利得係数(gF)としてこれらのうちの1つを出力するよう構成される利得係数変更ユニット(603)と、前記最終利得係数(gF)により前記入力色(R’G’B’_nrm)を乗算して、前記出力輝度を有する出力色(R’G’B’_HDR)を取得する乗算器(530)と、を含む。

Description

本発明は、高ダイナミックレンジ画像を符号化する方法及び機器に関し、特に、画像を異なる輝度ダイナミックレンジに変換するための画像ピクセル輝度の変更に関する。
約5年前、高ダイナミックレンジビデオ符号化の新規な技術が紹介された。
これは、レガシービデオ符号化と対照的である。レガシービデオ符号化によると、それまで全てのビデオが符号化された。これは、現在、SDR(Standard Dynamic Range)ビデオ符号化と呼ばれる(低ダイナミックレンジビデオ符号化、low dynamic range video coding; LDRとも呼ばれる)。Rec.709のSDRのルマ符号定義は、ほぼ平方根の形状(ルマ:Y=sqrt(輝度L))により、約1000:1の輝度ダイナミック(Opto-electrical transfer function OETFとも呼ばれる)レンジのみを符号化できる(8又は10ビットルマによる)。これは、当時の全てのディスプレイの標準的なレンダリング能力、約0.1〜100ニト(nit)の間の輝度のために符号化され、後者は所謂ピーク明度(PB)である。
最初のHDRコーデックが市場に導入され、例えば新しいブラックリボンHDRブルーレイを生成するために使用されるHDR10は、単にOETFをSMPTE2084で標準化されたより対数的形状の知覚量子化関数に変更し、これは、1/10000ニト〜10000ニトの間の輝度についてルマを定めることを可能にした。これは実用的なHDRビデオ制作には十分である。ルマの計算の後に、1つは10ビットピクセル平面(又は、2つの色度平面Cb及びCrの3ビット平面)を有し、これは、それらが数学的に、例えばMPEG圧縮されたSDR画像であるかのように、古典的に更に完全に扱うことができる。もちろん、受信側は、SDR画像ではなくHDR画像を得るべきであり、又は不正なレンダリングが生じない。単に線形にマッピングした場合(符号化画像最大白色、符号化ピーク明度PC_C〜SDRディスプレイピーク明度PB_Dとしても知られる)、PB_C=1000ニトを有する画像は10倍暗く見えるだろう。これは、夜景を見ることができないことを意味する。PQ OETFの対数的特性により、HDR10画像は見ることができるが、見苦しい質の悪いコントラストを有し、それらを特に白っぽくし、不正確な明度に見せる。
このような単なるHDRビデオ画像(HDRグレーディングとしても知られ、用語「グレーディング(grading)」は、HDRシーンを表現において最適に見せるために、種々のシーンオブジェクトが例えば1000ニト(又はそれより高い)PB_Cを有する画像表現において有するべき輝度を示す)の問題は、理想的なPB_D=1000ニトのディスプレイでのみ正しく表示し、及び同様の周囲照明条件下では、それゆえ、このようなブルーレイディスクが常に完全に表示しないことがすぐに分かり、この状況では、夜景が見ることができないことである。
さらに、より高度なHDRビデオコーダは、HDRシーンの2つの異なるグレーディングを符号化する。例えばPB_C=5000ニトのより高いダイナミックレンジの画像、及びPB_C=100ニトを有する、このためレガシーLDRディスプレイ上で直ちに表示可能である標準的にSDR画像であるより低いダイナミックレンジの画像である。
現実のシーン(しかし、不均一な照明のシーンは、100:1のオブジェクト反射比により、このような低いダイナミックレンジしか有しない)は、有意に高いダイナミックレンジを有し得る。例えば、外部の日光に対して小さな開口を有する洞窟は、家庭用テレビでの視聴に適した該シーンのHDRグレーディングを含む10000ニトPB_C参照表現で、洞窟のピクセルに対して1ニトより遙かに低い輝度、及び外部のピクセルに対して最大10000ニトの輝度を含み得る。このような困難なHDR画像は、特に、コンテンツ生成側が依然として妥当な同様のHDR外観をSDRレンダリングにも伝えたいと望むが、図1により示されるように原理的に行うことができる場合に、有意に低いダイナミックレンジ(例えば、SDRに行くとき少なくとも100x)に普通に変換されない。
ここでよく理解されるべきことは、私たちはHDR画像の符号化及び対応する低ダイナミックレンジ画像に関して議論するが、制約が存在し得ることである。2つの別個にグレーディングされた画像(元のシーンのHDR及び100ニトPB_C SDRグレーディング画像)を実際に通信する代わりに、(図2に更に示されるように)標準的に、極端なエンドポイントの異なる方法でグレーディングされた異なるPB_C画像のペアのうちの1つのグレーディング画像のみを、色及び特にそれらの受信画像のピクセルの輝度を他のグレーディング画像の色にマッピングするメタデータ関数として通信する。
理解されるべきことに、画像コーダの2つのクラスが存在する。第1のクラス(モード1)は、HDR10と同様に、HDR画像を受信機に通信し、例えばそれらの画像の符号化のためにPQ_OETFを再利用できるが、該HDR画像をより低いダイナミックレンジにどのように輝度ダウングレードさせるか(例えば、受信したHDR画像からSDR100ニトのPB_C画像を計算するか)を指定するメタデータを追加する。第2のクラス(モード2)は、ペアのうちのSDR画像、及びHDR画像へとアップグレードする逆形状(inverse-shaped)関数を通信する。これは、レガシーテレビの大きなインストールされた基礎を提供するのに役立つ(これは、後のいかなる追加技術に対しても更なる技術的制約を含む)。
中間ダイナミックレンジ(MDR)と呼ばれる中間PB画像へと再グレーディングする技術的メカニズムが存在する。受信したSDR画像を元の、作成又は送信側でコンテンツ生成側により生成された例えば500ニトのPB_C画像に変換する代わりに、受信機(例えば、セットトップボックス、TV、コンピュータ、映画設備、等)は、例えば700ニトのPB_C画像を計算できる。この所謂ディスプレイ適応は、必ずしも皆が正確に5000ニトのPB_Dの、つまり(受信側におけるいかなる実際のディスプレイと区別するために、所謂、基準ディスプレイ)コンテンツに自然に適合するディスプレイを持っていないので、重要である。それゆえ、例えば700ニトのディスプレイに適する(5000ニトのDRグレーディングで作成された芸術的意図を最も最適に変換することを意味する、生成側の輝度又は一般に色再グレーディング機能)画像が計算されなければならない。そうでな場合、レンダリングの振る舞いは定まらず、標準的にコンテンツのより明るい部分が示されず又は少なくとも粗悪に示される(これは、例えば明るい霧の中に消える低コントラストの人物をもたらし得る、一部の人々が全く異なる動画ストーリーを見ることを意味し、これは非常に望ましくない)。
私たちは、HDRとSDR画像グレーディングが人間の色グレーダ(grader)により生成される(例えば、先ずDHRグレーディング、及びそれからSDRグレーディング)ことを非限定的に仮定する。しかしながら、幾つかの適用では、自動システムが、グレーディングされた画像及び色マッピング関数を決定する(これは、例えば、リアルタイムブロードキャストで現在好まれており、既存システムの再利用が人間のグレーディングと互換性がない)。
読者の便宜のために、及び関連する態様のうちの幾つかを読者に素早く理解させるために、図1は、多くの可能なHDRシーンのうちの幾つかの典型的な説明のための例を示す。将来のHDRシステム(例えば、1000ニトのPB_DHRグレーディングディスプレイに接続される)は、画像内の全てのオブジェクト/ピクセルの適切な輝度を、例えばレンダリングすることにより正確に処理できる必要がある。例えば、ImSCN1は、西部映画(これは、大部分が明るい地域を有し、理想的には100ニトより明るいディスプレイでレンダリングされて、例えば500ニトの平均輝度で、雨の日の眺めより天気のよい眺めをより多く提供するべきである)からの晴れた屋外の画像である。一方で、ImSCN2は夜間の画像である。
このような画像を晴れたものにし、他方を暗くするものは何か?少なくともSDRの枠組みでは、必ずしも相対的な輝度は必要ない。HDR画像のレンダリングを数年前に終了したばかりのSDR時代では常であったものと異なるものにするのは、SDRがこのような限られたダイナミックレンジ(約PB=100ニト、約0.1〜1ニトの黒色レベル)を有し、主にオブジェクトの固有反射率のみがSDRで示され得ることである(これは、良好な白色での90%〜良好な黒色での1%の間に含まれる)。これは、均一な技術的に制御される照度の下で、(そられの反射から、及び勿論、それらの色度から特定量の明度を有する)オブジェクトを認識するのには良いだろう。しかし、自然のシーンに与えることのできる照度自体の美しい変化、及び視聴者に与えることのできる影響は、それほど多くない。ディスプレイがそれを可能にし、したがって、画像符号化及び処理技術がそうする場合、森の中を歩いている人は、実際に木漏れ日を見るだろう、つまり、SDRディスプレイ上のようなより黄色い印象のものだけではなく、人が陰から日の当たる場所へ歩くとき、人は明るく色鮮やかな日光に照らされた服を見ることを好む。また、炎及び爆発は、少なくともPB_Dが可能にするほどに、最適な視覚的影響を有するべきである。
SDRでは、夜間の画像を、ルマヒストグラムでいくから暗いものにできるが、あまり多くない場合、又は画像が暗すぎて粗悪にレンダリングする場合がある。また、100ニトTVで又は100ニト符号化では、いかなる過度に明るいものに利用可能ないかなる余地もない。したがって、オブジェクトをそれらの照度と独立に示さなければならず、同時に公正に全ての時には非常にコントラストのある生じ得るシーンの照明を示すことができない。実際には、これは、非常に明るい晴れたシーンが、どんよりした雨の日のシーンとほぼ同じディスプレイ輝度(0〜100ニト)でレンダリングされなければならないことを意味する。夜間シーンでさえ、暗すぎでレンダリングできない、又は視聴者が画像の最も暗い部分を良く区別できない。したがって、ここでも、これらの夜間の明度は、0〜100ニトの間の範囲にわたりレンダリングされるだろう。これに対する従来のソリューションは、夜のシーンを青色に着色することであった。その結果、視聴者は、彼が日中のシーンを見ていないことを理解するだろう。ここで、勿論、現実の人間の視覚は、利用可能な光の量に適応し得るが、あまり多くはない(現実の多くの人々は、暗くなりつつあること、又は彼らがもっと暗がりにいること、又は非常に明るい環境にいることを認識する)。したがって、人は、画像内に芸術的にデザインできる全ての壮観なローカルの及び一時的な照明効果により画像をレンダリングして、少なくとも利用可能なHDRディスプレイを有する場合に非常に現実的なレンダリングされた画像を得たいと望む。暗い部屋でライトサーベルを使用する場合の適切な輝度を正確に決定することは、マスタグレーディングを作成するカラーグレーダに任せられる。本願は、このような画像を生成し処理するために必要な技術的可能性に焦点を当てる。
図1の左側の軸には、5000ニトのPB_Dディスプレイの場合に、5000ニトのPBマスタHDRグレーディングで見るときのオブジェクト輝度がある(つまり、グレーダは、家庭にある標準的な高解像度HDR TVが5000ニトのPB_Dを有し、彼が実際にこのような家庭用視聴室の表現の中に実際に座っていることを想定して、画像を生成し、このようなグレーディングディスプレイ上でグレーディングする)。錯覚だけでなく、カウボーイが明るい太陽で照らされた環境にいる現実のシーンを伝えたいと望む場合、例えば約500ニトの、これらの十分に明るいピクセル輝度を指定しレンダリングしなければならない(しかしながら、明るすぎて煩わしくなく、これは、HDR画像生成及び処理の標準的な落とし穴である)。夜のシーンでは、大部分が暗い輝度を望むが、オートバイに乗っている主要なキャラクタは良好に認識可能である、つまり暗すぎない(例えば、約5ニト)べきであり、同時に、非常に高い輝度の、例えば5000ニトのディスプレイ上に約3000ニトの、又はいかなるHDRディスプレイ上にピーク明度に近い(例えば1000ニト)ピクセルが存在し得る。第3の例示的なImSCN3は、HDRディスプレイ上で現在可能なものを示す。つまり、非常に明るいピクセルと非常に暗いピクセルの両方を同時にレンダリングできる。これは、日の当たる外を見ることのできる小さな開口を有する暗い洞窟を示す。このシーンでは、木のような太陽の照らすオブジェクトを、明るく晴れた景色の印象をレンダリングしたいと望むシーン内より、いくらか少ない明るさにしたいと望む。例えば、400ニトであり、これは、洞窟の内部の基本的に暗いキャラクタと更に調整されるべきである。色グレーダは、(既にPB_HDR=5000ニトのマスタHDR画像内にある)全てのオブジェクトの輝度を最適に調整したいと望み得る。その結果、不適切に暗く又は明るく見えるものがなく、コントラストは良好であり、例えばこの洞窟内の暗がりに立っている人物は約0.05ニトのマスタHDRグレーディングされた画像内に符号化されてよい(HDRレンダリングは明るいハイライトだけでなく、暗い領域もレンダリングできると仮定する)。
したがって、再グレーディングの種々の標準的な振る舞いが存在し得ることが分かる。例えば、時には、全ての輝度範囲で実質的に等しい輝度を保ちたい、時にはそれらがスケーリングされる(例えば、低減するPB_Cにより線形にスケーリングされる)。或いは、太陽のような幾つかのオブジェクトを常にPB_Cにマッピングした場合がある。
符号化の枠組みでは、幾つかの制限があることを理解しなければならない。例えば、モード1システムでは、好きなことを何でも寛大にできるのではなく、むしろ、標準的には、マッピングは限られたセットの標準化輝度マッピング関数に従い生じなければならない(デコーダが、生成側で行われたことを理解する必要があり、デコーダが、複雑で高コストではないような実用的な市場の要件を満たす必要があるためである)。したがって、正しく且つシステムのユーザ及びコンテンツ生成側が特に望むことに十分に従って振る舞う機能セットをエンジニアリングしなければならない。これが、出願人がここ何年かのうちに発明したものである。モード2システムでは、また、機能が可逆であること、特にSDR画像で失われる情報が多すぎないことを保証しなければならい。これは、元の生成側のHDR画像に近い再構成を取得しようとする受信機において再グレーディングすることにより数学的に復元できない。
咲いてkに再グレーディングする機能は、標準的に、コンテンツ依存である。したがって、それらは、標準的に、同じ、同様に見える、及び同様の輝度分布のシーンの画像の少なくともショット毎に通信される。
良好に理解するために重要な幾つかのコンポーネントの説明のために、幾つかの技術的ビデオ符号化の可能性を単に説明するために、私たちは、出願人がHDR画像のために、及び特にHDRビデオ符号化のために設計した例示的なHDRビデオ符号化システムを説明する(これにより、読者は、本発明の原理が説明のための例示的なシステム以外の他のシステムにも適用可能であることを理解すべきである)。
このビデオ符号化システムは、当分野で標準的な単一種類のディスプレイで、単に単一の標準化HDRビデオ(例えば、符号化のためにEOTFを定めるルマ符号として使用される10ビットの知覚量子化器)(例えば、全ての末端視聴者が1000ニトのPB_Dディスプレイを有すると仮定して、PB_C=1000ニトにより定められる画像)の通信(符号化)を処理できるだけでなく、当分野の種々の他のピーク明度を有する種々の可能な他のディスプレイ種類で最適な外観/グレーディングを有するビデオ、特に、100ニトのPB_D SDRディスプレイでのSDR画像、を同時に通信し処理できる。
つまり、このようなHDRビデオ通信システムでは、1種類のみのグレーディングされた画像を送信されるピクセル化された画像として実際に通信するが、標準的には本例のSDR画像(又は代替としてHDR画像)において排他的ではないが、HDR画像ピクセル色及び特にこれらのSDR画像からの輝度を定める1つ以上の関数もメタデータに追加するので、シーンに対しても同時に通信されたHDR画像の外観を有する(実際に、二重画像通信又は少なくともピクセル化されたHDR画像データの第2レイヤのように、HDR画像を通信する必要がない)。
そのうえ、図2で説明されるように、適切な可逆色変換関数F_ctのセットが定められる。図2は、基本概念を説明する目的で、SDR通信種類(つまりモード2)の標準的なシステムを非限定的に示す。これらの関数は、HDRマスタ画像MAST_HDRに対応する妥当に見えるSDR画像(Im_LDR)を得るために、人間の色グレーダにより定められてよい。一方で、同時に、逆関数IF_ctを用いることにより、元のマスタHDR(MAST_HDR)画像が、再構成HDR画像(Im_RHDR)のような十分な精度で再構成できることを保証する。IF_ct関数は、通信されるように、順方向HDR−SDRマッピングF_ct関数から決定できる。又は、システムは、IF_ct関数を直接通信してもよい。
色変換部202は、最大輝度が1.0になるように正規化されていると仮定される標準的にマスタHDR画像(MAST_HDR)ピクセルの相対輝度のF_ct輝度マッピングを適用する。本発明の概念を単純な方法で理解するために、簡単のために、100ニトのPB_C SDR出力画像Im_LDR(つまり図1の右側)のピクセルの正規化SDR出力輝度を導出するために、4乗輝度マッピング関数(L_out_SDR=ぽうぇR(l_IN_hdr;1/4))を使用すると仮定し得る。つまり、このよな関数は、SDRグレーディングされた対応する画像の妥当な外観を、シーンのマスタHDR画像に与える(「妥当な」は、SDR画像でも、陰の領域の大部分が暗く見えない、ランプ及び他の照明オブジェクトが、それらが依然として暗い画像領域に対して妥当な内部領域コントラストを有するので、望むように飛び出る、等のような態様の特定のシーンを意味する;他の画像では、他の因子が貢献してよいが、そのような詳細は本発明の技術的コンポーネントを教示するのに基本的でも限定的でもない)。
受信機は、受信した対応するSDR画像からマスタHDR画像の再構成又はいくらかの圧縮関連アーチファクトを有するが少なくとも近い再構成が可能でなければならないので、実際のピクセル化画像と別に、色マッピング関数もビデオエンコーダ203に入力しなければならない。限定無しに、私たちは、ビデオがMPEG HEVCビデオ圧縮機により圧縮されること、及び例えばSEIメカニズムまたは同様の技術を用いて関数がメタデータに格納されること、を仮定する。
したがって、コンテンツ生成機器221の動作の後に、画像通信技術の観点から、ビデオエンコーダ203は、入力として正規のSDR画像を得たように装い、更に重要なことにRec.709標準SDRルマ仕様に従い、技術的にSDR画像であるもの(符号化画像Im_COD)を出力する。したがって、次に、更なる技術、例えば、全ての必要な変換を適用して何らかの伝送媒体205を介して出て行くデータをフォーマットする(例えば、BDディスクに格納するための符号化、又はケーブル送信のための周波数符号化、等)送信変換器204は、SDR符号化の枠組みの中で実行するために自身の使用した単に全ての標準的なステップを適用できるたけである。
したがって、画像データは、伝送媒体205、例えば衛星またはケーブルまたはインターネット伝送を介して、例えばATSC3.0又はDVB、又はいかなるビデオ信号通信原理に従い、1つ以上の受信側に伝わる。
いかなる消費者又は専門家側において、例えばセットトップボックス、テレビジョン、又はコンピュータのような種々の物理機器に内蔵されてよい受信機フォーマット解除器206は、フォーマット解除及びチャネル復号を適用することにより、チャネル符号化を解除する。次に、ビデオデコーダ207は、例えばHEVC復号を適用して、復号SDR画像Im_RLDR、及び色変換関数メタデータF_ctを生成する。次に、色変換器208は、SDR画像をいかなる非SDRダイナミックレンジの(つまり、標準的に少なくとも6x高い、100ニトより高いPB_Cの)画像に変換するよう構成される。例えば、5000ニトの元のマスタ画像Im_RHDRは、MAST_HDRからIm_LDRを生成するために符号化側で使用された色変換F_ctの逆色変換IF_ctを適用することにより、再構成されてよい。或いは、SDR画像Im_RLDRを異なるダイナミックレンジに変換する、例えば、ディスプレイ210が3000ニトのPBディスプレイである、又は1500ニト若しくは1000ニトのPB画像、等である場合にIm3000ニトが最適にグレーディングされるディスプレイ適応ユニット209が含まれてよい。私たちは、ビデオデコーダ及び色変換器が単一のビデオ再決定機器220の中にあることを非限定的に仮定した。当業者は、例えばPB_C=10000ニトを有するHDR画像を通信するトポロジを同様に設計できること、及び色変換器が対応するTV又はモニタのために例えばPB_C=25000ニトを有する出力HDR画像を生成することを理解できる。
図3は、理論的色空間で、(特に輝度マッピングを含む)HDR−SDR色マッピングがどのように見えるかを教示する。
色空間は、円筒形の部分であり、その底面に色度面を有する。2次元色度は、色の輝度又は明度と無関係に、色の「それ自体の特性」、例えばあるものは何らかの飽和(saturated、純粋な)オレンジ色を有し、又は非飽和(unsaturated、純粋ではない)赤(つまりピンク)を有するか否か、を表す。明度指標として、私たちは、第3の、空間の垂直次元である輝度を使用する(実際には、最大として1.0で停止すると想定される相対輝度が使用される)。私たちが色度(chromaticity:Chrom)座標を使用するとき、彩度(saturation:Sat)は中心にある無色の輝度軸からの距離及び色相角(hue angle:H)であるが、CIE(u,v)座標も使用でき、又はr=R/(R+G+B)及びg=G/(R+G+B)であり、R、G、及びBは、赤、緑、青それぞれの色に対する線形貢献量(赤の量、等、簡単に光子(photon)とも呼ばれる)である、等。
SDR色(Col_out)は、HDR色(Col_in)から計算される。読者は、私たちが正規化色空間(PB_C=1.0)の中の両方のピクセル色を表すことを理解すべきである。したがって、標準的に、SDR色は、依然として可視でありながら、より明るいべきである(これは、相対輝度Lが、HDRディスプレイではSDRディスプレイより遙かに明るいバックライトのLCD伝達割合に対応し、したがってディスプレイの前で見える同じ最終的な色を有し、HDRディスプレイが少ない光を伝達しなければならない、逆も同様である技術を想定することにより理解できる)。直ちに留意すべきことに、HDR及びSDR画像輝度の両方を同じ正規化された全範囲で示すことは、幾つかの側面に関して幾らか誤解させ得る。なぜなら、最も明るいHDR色は、SDRで不可能な色であるからである。その結果、芸術家又は自動装置は、該色のために妥当な近似を選択しなければならない。しかし、この単純な説明は、受信したマスタHDR画像からより低いダイナミックレンジ画像を生成する方法のようなHDR画像又はビデオ処理チェーンの中で生じる技術的計算に関する本願にとって十分である。
相対的に明るくすることは実際に色の色度(クロム、Chrom)の変化を含まないことが分かるので、色変換は、希望通り極めて良好に振る舞う(特に、直交性であり、これは輝度変化が色度に影響しないことを意味し、逆も同様である)。
これは、最初からそれほど簡単ではない。3つの付加的な色チャネルに別個に関数を適用することにより、最も標準的なレガシー変換は画像を明るくする(例えば、べき乗(L:1/3)関数は、最も暗い色を良好に明るくし、一方で出力がいかなるオーバーフローも生じないので1.0を1.0にマッピングする)。これは、それゆえに色調誤りを導入する。付加的混色におけるR、G、及びB色成分の相対量の間の非線形に変化した関係のために、ピクセル色を単に明るくする代わりに、それらは、可能な色の色全範囲の全域に渡り、自身の色調も変更する。
理論的色空間の中でも、依然として、色度、特に彩度を変化させる別の可能性がある。
本来、実際に選択された非飽和黄色は超新星の光で照らされるので、全色の空間は円筒形である。
しかしながら、ディスプレイは、限界、及びいかなる実際の色符号化を有する(この理由から、私たちは正規化された色全範囲を導入し、PB_C=1.0が、10000ニトのような非常に高い実際の絶対PB_Cにニトの単位で対応したとしても、依然としてこのような制限がある)。本来の構成により、最も明るい色は白であり、明るい黄色のようないかなる有彩色もより小さい輝度を有しなければならない。
したがって、この理論的色空間でさえ、例えば標準的に比較的暗い(例えば白の輝度の10%)青の近くで、単純な明るさマッピングが実現可能な色の全範囲(GAMU)より上にマッピングすることが、生じ得る。これは、実際には、特定の色成分(本例では、青)がその最大値にクリッピングされなければならず、標準的には過度に彩度低下された正しくない色調(例えば、水色)である全範囲上限境界にある色を生じることを意味する。
しかしながら、出願人は、理想的に望まれるより幾らか低減された輝度という代償を払って、特に全範囲から外れない問題、全ての色について正しい色度をもたらす、全ての切実な要求に従い振る舞う単純なシステムを構成した。WO2014056679に記載されたこのDHR符号化技術の原理(つまり、F_ct輝度マッピングメタデータ関数の決定、通信、及び使用)は、(本発明の教示との相違を後に理解するために)以下の通り手短に反復される。
図5に示すように、明るくする(又は暗くする)輝度変換は、実際には、決定した利得係数gにより3つの色成分を等しく乗算することにより適用される(輝度は、線形色成分R、G、及びBの線形付加的結合であることに留意する、つまり、L=a*R+b*G+c*Bであり、係数a、b、及びcは例えばRec.709のビデオ解像度で使用されるRGB原色の色度に依存し、それらはおおよそa=0.3、b=0.6、c=0.1である)。これは、それらの相対的比率が変化しないこと、つまり、輝度処理の前後で色の色調及び彩度を同じに保つことを保証する。
本教示は、更に、利得係数が各々の可能な色について決定されることを記載する。これに基づき、3つのRGB成分のうちの1つが最大になり、これは、マッピングがローカルLmax(クロム)により正しくスケーリングされる、つまり全範囲の外に出る問題を与えないことを保証する。それゆえ、このような色計算の実現は、理想的な線形の且つ別個の色/明るさ処理動作を実現し、一方で、全範囲、特にディスプレイの全範囲の制限も考慮する。
しかしながら、様々な理由から、他の色表現、つまり他の色空間でも動作可能な色処理が望ましい。
既にアナログビデオ(PAL、NTSC)の時代から、YCbCr(又は対応するYIQ)色空間が定義されている。これは、ビデオ通信では非常に有用であることが分かっているが、人々はその中で色処理を行うことも望む(例えば、Yチャネルで調整する、又はCb及びCrチャネルで同様に変化することにより彩度を調整することにより明度を変更するアナログTV回路)。
図4は、どのように見えるか、及びどんな特性があるかを示す。始めに、(0〜1.0の)RGBの立方体は、その頂点で回転され、R=G=Bである対角軸が無色、つまり色の無い明度軸になるようにする。
しかしながら、新しい明度指標はルマである。
輝度と同じ係数a、b、dにより定められるが、ここでは、Rec.709に従い近似的にR=sqrt(R_linear)、等である(ガンマ補正された)RGB係数からである(HDR時代には、R_nonlin=OETF_HDRcodec(R_lin)等により、更に非線形RGB成分が定められていたことに留意する)。
Power(Lima;2)が輝度に等しいと考える傾向があり、これは、無色軸上実際にそうである(なぜなら、R=G=Bであり、power((a+b+c=1)*sqrt(R);2)=power(Y;2)=Lであるため)。しかしながら、有彩色では、ルマは輝度に単に1次元的に関連するのではなく、色度(又はクロミナンス)にも関連する。これは、非定常輝度ピークと呼ばれる。
これは、幾つかの結果をもたらす。関数、例えばY_out=power(Y_in;1/3)を適用することにより、画像の色を明るくしたい場合、入力ルマY_inは色度に依存し、したがって、(理解のために単に選択された)1/3乗関数のY依存動作に起因して明るくする強度もそうである。いかなるこのようなマッピング関数も(単純な例示的な累乗関数か、シーン無いの特定の関心オブジェクトの輝度に対応する幾つかの注意深く選択されたローカルなより高い又は低い勾配を有するより複雑な興味深い関数化にかかわらず)、私たちの上述した従来のシステムでは、ルマ依存利得g(Y)に対応する。このルマ依存利得g(Y)により、(それぞれの可能な実施形態において線形又は非線形の)RGB成分が増倍される(なぜなら、例えばYCbCrのような線形RGBのべき乗関数の再定義においても、成分乗算を実施できるからである)。したがって、「誤った」輝度が(明るくされる必要のある何らかの無色グレイと理論的に同じ輝度を有する)色について異なるルマとして推定された場合、このような色は、「誤って」ブーストされることがあり、赤色のような飽和色の蛍光の外観をもたらす。
図3の理論的色空間との第3の主な違いは、色成分CbCrが色度ではないことであるこれは、この色空間が円筒形ではなく円錐形であるという事実により理解できる(上半分の頂点における全範囲限度から離れている)。
彩度は、Cbの増大と共に変化しないが、むしろ、無色ルマ軸からの角度により変化する。これは、青の原色(ColBlue)、つまりこのディスプレイに依存する色体型で再生可能な最大彩度、を考慮することにより、及びその輝度を最も明るい可能な青(Blu)に向けて増大することにより理解できる。これは、同じ種類の青の原色であり、その色度、及びしたがってその彩度は、変化しないが、そのCb値はルマと共に(したがって、輝度と共に)増大する。この輝度依存性が、Cb及びCr成分をChrom−inanceと呼ぶ理由である。第1部分は、色特徴(色の明るさ)を符号化することを示すが、第2部分は、これが非線形ルマと共に線形に変化することを示す。次式を通じて一定彩度乗算器(Sm)により等しく色度を乗算することにより、このようなYCbCr表現における彩度を変化することができる:
Cb_out=Sm*Cb_in;Cr_out=Sm*Cr_in。ルマは、したがって、この処理により影響されないので、変化しない。しかしながら、色の輝度は、ルマの非定常輝度特性により、変化する(多くの状況で、これは、色処理システムのユーザにより問題として認識されないが、幾つかのより厳格なシナリオでは認識される)。しかしながら、ルマ部分のみが変化することは、しかしながら、一定の色の色度の振る舞いをもたらさない。これは、CbCr成分が、誤った輝度、したがって異なる彩度の色に対応するからである。しかし、これは、ルマ(又は輝度に基づく処理では輝度、例えば線形YCbCr空間、又は後述する非線形トポロジに組み込まれた線形バージョン、等)における同様の差だけCbCr係数を反対に操作することにより比較的容易に修正できる。
最大の白色に向かい狭くなるために、全範囲の上にある彩度問題は、依然としていかなるシステムにも存在し(色調誤りを生じ得る)、これが、本願の新規な実施形態及び教示が扱うことである。
以下の種々の教示の完全な理解のための背景情報として興味深い最後の事項は、図5により教示される。
図5は、出願人の共同開発したTechnicolor−Philips(それぞれSLHDR1、SLHDR2としても知られる)の基本HDRデコーダハードウェア(エンコーダはミラー処理である)の要約である。これは、2つの種類で同様に駆動できる。つまり、モード1では、PQに基づくYCbCrが入力され、つまりこれはSMPTE2084知覚量子化器機能であるOETFにより線形なものから計算された非線形R’G’B’座標に基づき計算される。私たちがここで教示するモード2バージョンでは、通常の(つまり、Rec.709復号可能な、又はsqrt−OETFに基づくとして近似された)SDR YCbCr画像色が入力される。
本例と同様に、私たちの実施形態は、線形(つまり線形RGBに基づく)YCbCr色空間計算、及び私たちがここで説明するR’=sqrt(R)に基づく例のような、べき法則(power-law)に基づく非線形なものの両方で実装できる。
これは、線形空間での計算がべき乗に基づく計算、特にsqrtに基づく計算と等価にできるからである。例えば、k*power(a*sqrt(R)+b*sqrt(G);2)=power(a*sqrt(k*R)+b*sqrt(k*G);2)である。
したがって、これは、共通利得係数gNLを非線形正規化RGB成分R’G’B_nrmに適用して、適正に暗くされたHDRピクセル色を得る場合でも、私たちは、実際に線形な完全に別個の輝度に基づく処理を実行することができる(つまり、非定常輝度ルマに基づく明度処理に起因する蛍光色明度誤りを回避する)。
これは、輝度プロセッサ501による全体のSDR−HDR色マッピングの輝度処理部分(図3の例示的な色の上方向の移動)が、入力として、現在処理中のピクセルの輝度Lを得ることから分かる。
色空間変換器502は、非定常輝度ルマYを輝度に変換するよう構成されることにより、これを処理できる。これは、種々の方法で行うことができる(例えば、適切な逆OETF、所謂EOTFを適用することにより、非線形R’G’B’値がそれらの線形の値に変換され、次に、上述のようなRGBトリプレット値に基づき適切な線形定義式により輝度Lが計算される)。
3つの色成分のための必要な線形乗算係数gLは、正規化された出力輝度L_outを正規化された入力輝度Lにより除算することにより得られる。
しかし、非常に興味深いことに、輝度に対して線形処理を行うが、実際には輝度の非線形バージョンにおいて処理を指定できる(及び行うことができる)(これは、分離された輝度のみの情報チャネルのためであり、これは等価に定式化できる)。
本例では、私たちは、知覚的に不均一なドメインにおける処理を示した。これは、人間のグレーダ(又は自動装置)にとって、切実な要求を再グレーディングする彼のダイナミックレンジを指定するのに、より自然であり得る。そのうえ、ドメイン変換器511は、線形輝度を知覚的により均一な知覚的ルマPYに変換する(例えば、PQ OETF、又はPhilipsによるWO2015007505において特許された機能を適用することによる。該特許文献の教示は本願の可能な実施形態の教示としてここに組み込まれる)。輝度マッパー512は、SDR知覚的ルマPYのHDR出力知覚的ルマPY_Oへのマッピングを実行する。HDR画像の適正な知覚的ルマが単純な3乗法則を適用することにより得られる上述の単純な教示を続けるとすると、PU_O=power(PY;3)。しかし、通常、コンテンツ生成側は、いかなる複雑な最も最適な曲線形状を定義できる。これは、共に津sinされたメタデータSEI(F_ct)から読み出され、例えばLUT又は同様のものにロードされる。より高いダイナミックレンジ(例えば、PB_C=1000ニト)の適正な対応する外観の画像を取得するために、装置亜輝度の大部分を調整する必要があることが分かる(少ないダイナミックレンジの画像について及び特に入力画像よりも符号化ピーク明度PB_Cにおいて、対応するオブジェクトピクセル輝度をどのように生成するかに関して図3により説明したもの(実際にここでは、それらの対応するルマとして計算された)とは逆である)。
以下では、第2ドメイン変換器513は、知覚的ルマを再線形化し、つまり適正なHDR輝度L_outを取得する。
したがって、本技術は、希望通りに種々の方法で色度を保存する純粋な輝度変化を実現するための強力な方法である(少なくとも、共通乗算係数が、R’G’B’値のうちのいかなる値もそれらの最大より高く上昇させない限り。これは、上述の全範囲より上のクリッピングである1.0を想定する制限を有しない)。回路の残りは、私たちの本発明の以下の態様を理解するのにあまり重要ではない実施形態である。
別のColor LUT B(Y)は、(色度処理導出器520により)メタデータからロードでき、(乗算器521により)受信されたCbCr値を乗算して、より適切な出力値CbCr_CORを得るために、各ピクセルルマYについてB係数を与える。これは、単純な方針であり、又は色のV値も考慮に入れるより複雑な方法である。ここで、V=max(R’G’B’)、又は線形シナリオでV=max(R,G,B)である。最後に、マトリクスは、正規化R’G’B’値R’G’B’_nrmを導出する。これらは、図3及び4に示した正規化カンマの中にあるが、それらは依然として入力画像色(Y_SDR,Cb,Cr)の非線形ドメインにあるので、平方根分布される(square root-distributed)。実際に、これらは、それらのSDR位置に位置する色である(図3を」参照すると、Col_out(SDR)、なぜなら本例ではSDR色が出力色ではなく入力色であるからである)。それらは、対応するgNL係数により各ピクセルについて適切にマッピングされる必要がある。したがって、乗算器530は、該係数により3つの成分を同様に乗算でき、非線形の正規化HDR色R’G’B’_HDRを取得する。
したがって、乗算器530は以下を実行する;R’_HDR=gNL*R’_nrm;G’_HDR=gNL*G’_nrm;B’_HDR=gNL*B’_nrm [式1]
同じ輝度変化は、代替として、他のべき乗関数に基づく導出色表現、例えばY’_HDR=gNL*Y’_nrm;Cb_HDR=gNL*Cb_nrm;Cr_HDR=gNL*Cr_nrmでも実装できる。これにより、Cb及びCrは、R’G’B’に基づくそれらの通常の式に従い定義される。つまり、このような例では、SDR色度であるが1に正規化される。このテキストでは、「’」は、私たちがべき乗1/2に基づく量(つまり、非線形ルマの典型的なRec.709定義)を有することを示し、「’」が無いことは、標準的に通常の線形の色成分を示し、「’’」は、色成分のまた別の可能なHDR定義を示し、R’’は標準的にR’’=OETF_PQ(R)を示す。熟練した読者は、定義されたシステムにおいて、対応するCb及びCrが定義されることを理解できる。
最後に、ディスプレイ調整器540は、汎用基準(例えば記憶装置の場合)又は特定の接続されたディスプレイの色を調整できる。前者の例では、処理は、単純であり、ガンマ1/(2.0)で定められたR’G’B’値をPQ OETFで定められたR’’G’’B’’_PQに変換してよい。後者の例では、いかなる特定のディスプレイ適応アルゴリズムが、ディスプレイ調整器540により適用されてよく、例えば5000ニトのPB_Cで定められたR’G’B’_HDRの代わりに、例えば800ニトのPB_D最適化R’’G’’B’’値を取得する(他の実施形態で、このディスプレイ適応が既に処理自体の中で、特に輝度プロセッサ501において、生じていてよいことが誤解されるべきではない)。実際に、ディスプレイ調整器は、接続されたディスプレイにより望まれるいかなる信号フォーマットも生成でき、所望の出力色を形成する前に、これに関する情報及びそれらを符号化する信号をディスプレイから受信するために(例えば、HDMI(登録商標)ケーブル、又は無線、等を介して)通信してよい。
読者は、このトポロジが幾つかの従来の相互排他的な色処理ビジョンの幾つかの利点:YCbCr構造を有すること、特に通常のYCbCr入力色を受け入れ、更に線形色処理の全ての素晴らしい特性も示し、例えば通常の色の色調シフトがない(つまり、HDR画像で、大部分の色が全範囲の一番上より下に良好に存在する、なぜならこれらの色は、標準的に、時には無色白色であるランプの色のような非常に明るい色を符号化するからである、又は、少なくともそれらが彩度低下されている場合に煩わしくない)ことが分かる。しかしながら、上述の全範囲の色マッピングの問題が依然として存在し、したがって、(円錐の底面か円筒の底面かに関わらず)いかなる円錐の頂点の色空間と共に存在する。これは、別個のチャネルの非線形RGBマッピングのような色立方体処理では生じないと考えられる。少なくともこのような表現では、オーバーフローを回避することが容易である。しかしながら、このような表現では、色成分の比例関係が変化するので、色誤りが再発する可能性がある。
いかなる輝度マッピング関数(例えば、人間のグレーダにより望まれ生成された関数形状)又はアルゴリズムが利得計算ユニット514により単一の乗算利得係数にどのように変換できるかは、以下の通りである。入力輝度が例えば0.2であり、ユニット501(これは通常、ドメイン変換を行う2つのエンドポイントボックスの間で、最終結果をもたらすいかなる数の処理を有する)における全ての関数の適用が0.4の出力輝度を生じると仮定する。次に、利得計算ユニット514は、(線形ドメイン)gL係数をL_out/Lとして生成する単純な除算器になり得る。
入力輝度Lは、入力色成分、例えば線形R,G,Bに対応する。これらを、本例では2.0に等しいgL係数で乗算すると、適正な出力色を生成する。これは、適正な所望の出力輝度も有する。計算(つまり、ICトポロジ、又はソフトウェア)が線形ドメインで生じない場合、利得係数ドメイン変換器515が必要であってよい。本例では処理が典型的なガンマ2.0SDRドメインで生じる利得係数ドメイン変換器515は、二乗根関数を適用して、最終的な必要な非線形利得係数gNL=sqrt(gL)を取得するべきである。輝度マッピングが輝度を入力として生じることが定式化された場合、ルマを入力として有する対応する式が同様に具現化され、これについて、標準的に典型的なガンマ2.0ルマを使用し得る。(ユニット520の色処理のV依存性は、以前に教示されていないが、本発明との組み合わせにおいて有用であることに留意する)。CbCr_CORから正規化R’G’B’_nrm座標を導出するために色マトリクス部523により適用される色計算は、色技術の当業者が理解するのに難しすぎてはならなず、また、本発明の教示は種々の色計算の実施形態において動作するので、つまり該部分が存在するか否かにかかわらず、色処理の部分が十分に存在する共通g係数により輝度調整可能な3つの色成分を導出できる限り、真に重要ではない。つまり、私たちは完全なHDRデコーダ色処理トポロジを示すが、本発明の教示ではこれは多関心のある501の上部にある。
WO2017/157977は、HDRビデオ輝度再グレーディングに対する本発明の出願人の好ましいアプローチの態様も教示する。特に幾つかは、非常に深い黒色をどのように扱うかを指定する。しかし、本発明の議論と同じように、上記出願は、ピクセル(線形又は非線形)の3つの色成分、例えば標準的にYCbCrによる対応するg係数の共通の乗算として適用可能な輝度マッピング関数をどのように有利に定義するかを教示している。上記特許出願の教示することは、実際には不愉快ないかなる概念的に全範囲より上の振る舞いに対する素晴らしいソリューションではない(HDR画像は、時には、SDRでは過度にブーストされないときには問題を生じないことのある比較的暗い色、及び、時には、クリッピングされた場合に心理視覚的問題を提示しない幾つかの無色ハイライトを含むことがありに留意する)。したがって、専門家が行うことは、標準的に僅かに少ない「アグレッシブ」(つまり、HDRからSDRへの輝度ブーストの少ない)曲線を選択すること、例えば、WO’977の図12のダイナミックレンジ調整部(DRA)により適用される輝度マッピング関数の最も明るい画像輝度に対して、より適切な勾配を選択することである。十分に関心のあるいかなる問題も、したがって、標準的に十分に軽減されるが、幾つかの他の心理視覚的効果が標準的に出現する(例えば、上述の上側線形区間勾配の変化は、標準的に、密接に関連する要求であるので、連続的な関数の下側の形状にも影響を与える)。
したがって、発明者は、幾つかの既存の色空間計算の良好な特性のうちの幾つかを保ちながら、特に後述(及び上述)のように実際のダイナミックレンジの変化するハードウェア又はソフトウェアトポロジ及び同様のトポロジのうちの幾つかに適合可能な、ダイナミックレンジの変化する色処理の新しい技術的ソリューションを提供することを考えた。
上述のように、(排他的ではないが標準的にディスプレイの)色全範囲(color gamut)の一番上に近い色マッピング問題は、不快な問題であり、例えば色調誤り(例えば、色が緑っぽくなる)を容易に導入することがある。これのために、本願は、高ダイナミックレンジ画像処理及び対応する異なるダイナミックレンジの画像の導出(これは、簡単に言うと、ピーク明度PB_Cにより主に決定されると想定されてよい)の新しく出現する分野に適する、このような色処理の新しい方法を教示する。これは、特に、第1ピーク明度(PB_HDR)により特徴付けられる第1輝度ダイナミックレンジを有する入力画像(MAST_HDR)の空間的に同一位置にあるピクセルの入力輝度(L)から、第2ピーク明度(PB_LDR;PB_MDR)により特徴付けられる第2輝度ダイナミックレンジを有する出力画像(Im_LDR;Im3000ニト)のピクセルの出力輝度を計算するよう構成される輝度プロセッサ501を含む。輝度プロセッサは、
前記入力輝度の輝度マッピング関数(FLM)の出力を該入力輝度により除算した分割として乗算係数(gL)を計算することにより:gL=FLM(L)/L、前記乗算係数を計算するよう構成される利得計算ユニット(514)であって、前記乗算係数は、対応する中間出力輝度になるように前記入力輝度をどのように調整するかを示す前記輝度マッピング関数に基づき、前記入力画像の画像ピクセルのいかなる入力色の前記入力輝度について定められる、利得計算ユニット(514)と、
前記中間出力輝度が前記入力色の色度において全範囲上限境界のどれだけ上であるかを示すオーバーフロー指標(T)を計算するよう構成されるオーバーフロー計算機(612)であって、前記中間出力輝度は、前記乗算係数(gL)を前記入力色に適用することにより得られる、オーバーフロー計算機(612)と、
前記オーバーフロー指標が閾(G)より大きい場合に、より低い代替利得係数(Fl(gL))を決定するよう構成され、その他の場合に、元の利得係数を保つよう構成され、これらのうちの1つを最終利得係数(gF)として出力するよう構成される利得係数変更ユニット(603)と、
前記入力色(R’G’B’_nrm)を前記最終利得係数(gF)により乗算して、前記出力輝度を有する出力色(R’G’B’_HDR)を取得する乗算器(530)と、
を含む、ことを特徴とする。
出力画像は、標準的に、より小さいダイナミックレンジ(つまり、より低いPB_C値)のものであってよいが、排他的ではない。なぜなら、全範囲の上部の問題(したがって、その解像度)がダイナミックレンジのアップグレードにも存在するシナリオがあるからである。いかなる場合にも、両方の状況に処理(例えば同じIC)を適用できる。なぜなら、保護方針として、必要ないならば貢献(kick in)しないからである(問題のない色は、コンテンツ生成側の導出した色マッピング関数F_ct又は例えば受信機自体により画像分析に基づきいかなる方法で導出された一般的に色マッピング関数により指定されたように単に処理されるだけである)。
標準的に動作するメカニズムは、3つの色成分(これらは、通常、テレビのような追加的色再生システムでは、線形赤、緑、及び青色成分である;又は、例えばレガシーRec.709ビデオOETFの非常に良好な近似である線形RGB成分の平方根に基づき計算できるY'CbCrのようなその累乗関数)を輝度スケーリングすることにより同様に動作するので、利得計算ユニットは、乗算利得係数(例えば、gL又はそれに関連する係数)を決定する。
(一方で、色は、例えばHDR−SDR画像計算のために、それらが既に明るい場合には、色全範囲境界より上にマッピングする可能性が高いが、それらが常に低い輝度を有する青のような特定種類の色である場合、したがって、ピクセル色の入力輝度に基づくいかなる輝度マッピングも、このような青色について危険性を有するので、)状況の可能な危険性は、発明者の洞察により、入力色のV=max(R,G,B)(又は数値とは多少異なるが本アプローチの原理に従い同様に振る舞うmax(R’,G’,B’))を計算することにより開始して良好に判定でき、次に、これに基づきオーバーフロー指標を定める。本発明の同じ技術的原理を適用するために種々のオーバーフロー指標を定義できるが(必要な場合及び必要な程度まで補正する)、これらの幾つかは、(例えば、各色度の全範囲上限輝度を含むテーブルにより及び距離の式を計算する)Vを使用する必要がなく、特に、2つを乗算することによりgLをV値に適用することは、オーバーフロー指標を具現化するための簡潔な方法である。これは、WO2014056679で教示されているようなこの強度値Vに基づき常に輝度マッピングを適用するメカニズム、つまりV_out=F_Lt(V_in)として、読者により誤解されるべきではない。常に自動的に連続的に処理されるピクセル色の輝度LではなくVに対して動作する再グレーディング仕様に従い例えばRGB成分の乗算利得係数を計算することは、全範囲の内側にマッピングし、したがって、本発明のソリューションの扱う問題を有しないが、望まれるよりも暗い、より暗いSDR画像を生成するという欠点を生じる。もちろん、本発明のシステムの実施形態では、伝統的なより暗い輝度に基づくマッピング関数F_ct(/FLMの逆数)を生成することもできるが、実施形態は、より明るい関数を生成する可能性も有し、他の方法で全範囲上限領域の輝度マッピング問題を解決する。最も基本的な変形は、最も明るい色のうちの一部を、全範囲上限境界にある色にまでクリッピングしたい場合もあるが、標準的には、入力色と同じ色度(又は少なくとも色調)を保証される。これは、単に異なる方法で明度の上昇を行い、これは、画像の色のうちの一部にのみ適用し、一部の画像では(及び特に入力画像のダイナミックレンジとあまり異ならない、標準的には低いダイナミックレンジに行くとき)、クリッピングされる少数のピクセルが存在し得る。実際に、図6の右下にある破線の四角形の中には、何らかの保護メカニズムが見える。それが実際に保護メカニズムか否かに関わらず、実施形態の種類に依存して、補正されたg係数を初期g係数から生成するという意味である。第1種類の実施形態では、コンテンツ生成側にある自動装置又は人間のグレーダは、何からのHDR−SDR輝度マッピング関数(これは、画像色の大部分に対して適切に振る舞い、例えば、現在のシーンの画像のより暗い色の及び無色の軸の近くの彩度低下された色にも良好な適切な明るさの外観を与える)をゆっくりと決定し、(幾つかの)問題のある色について、例えば幾らか明るい赤みがかったオレンジがかった夕焼けの空の色について、メカニズムが十分に問題を解決することに依存する。これは、これらの幾つかの重要な夕焼けの空の色に対して色マッピングで正確に何が生じるかを詳細に指定する必要があるというより、むしろ、このようなメカニズムがこの関数を「手っ取り早く」決定する、及び例えばリアルタイムコンテンツ符号化に有用であり得るという利点を有する。このようなメカニズムは、2つの更なるサブカテゴリに分かれる。つまり、1つ目は、エンコーダがコンテンツ自体の妥当な値(又は無に対応するクリッピング誤りの厳格さを軽減するという意味で、通常、最も重要な色シナリオに対して良好に動作する予め固定された値を有する)を決定するものである。2つ目のサブカテゴリでは、コンテンツ生成側自体が最適な方針を決定する。したがって、簡易な実施形態は、例えば固定G閾値、例えば0.75を有する非常に単純な変数を使用でき、及び代替として、より低い利得割り当ては、例えばG(標準的に1より低い)と例えば1.5(例えば、その色度の又は全色度に渡る最大中間出力色)との間に輝度を、[G,1]に線形に、又は可変の生成側により最適化可能なG閾と同じく分布させる。例えば、図11では、私たちは、第2の補正パスとして、最初に指定された再グレーディング関数にどのように渡すかを説明する。これは、おおよそ、つまり画像ピクセルの大部分及び画像の外観について良好である。例えば、人間のグレーダは、色全範囲の上側領域におけるマッピングを定義するより多くのパラメータのうちの幾つかを指定できる(切実な要求は、通常、出力全範囲の下側部分における再グレーディングだけを残すこと、つまりFILM関数のコンテンツ生成側により指定されたままにすることである)。G閾は、元の再グレーディングに対する調整動作が最適に行われるべきである場合に、実際に、少なくとも出力全範囲の上側領域内の点に対して、最適化可能な又は妥当な決定を提供する。
しかし、rho等のようなパラメータが最初に決定されたg係数(つまり、例えばFLM及び予め送信された色の輝度に基づくgL)の再計算を決定する「調整」の実施形態に対する代替として、少なくとも、全範囲の一番上の境界より上に(かなり)マッピングし得る問題のある色では、エンコーダは、受信側で適用するために、その全部を、最終的な色処理関数のセット(又はそれに対応するg係数)に変換することもできる。これは、特に、全範囲上側領域にある色を(標準的に、通常の非調整動作に基づき「異なる方法で」)マッピングするために、コンテンツ生成側が関数を共同通信する場合に行うことができる。この場合、利得係数変更ユニットが、「標準的な」粗い輝度マッピングを適用すべきか、又はより高度な輝度マッピングを適用するかに関して、コンテンツ生成側により関数FADAPの中で指定した通りにテストを行う(そして、読者は、受信側、例えばTVが、本明細書においてそれ自体の何らかの僅かな変更を行い得ることを理解するが、教示を簡単にするために、私たちは、種々の全範囲上側領域の輝度又は通常の色マッピングパラメータの中で通信された通りに、それが生成側の再グレーディングの知恵に単に従うと想定する)。
オーバーフロー計算機602は、オーバーフロー指標Tを計算する。Tは、状況がどれだけ重要か、つまりマッピングされた色(つまり、g係数として輝度マッピングを適用した後)が全範囲境界、したがってオーバーフローにどれくらい近いか、又は特に関心があるか、マッピングされた色が全範囲の一番上のどれだけ上にあるか、それゆえ、(上述のように、調整は単に暗くすることを含み得るが、特に大幅な明度低下が必要な場合には、全ての異なる種類のHDR画像に対して最良の選択ではないことがあるので、また、後述するように、実施形態は異なるより高度な方法で、例えば何らかの、より少ない量の明度低下に加えて、彩度低下の最適量を決定することにより、調整を行うことを決定することもできる)どれだけ深刻に調整が必要かを示す。特に、実際のオーバーフローより低い(例えば90%)オーバーフロー指標は、それら自体は実際にはオーバーフローしていない何からの隣接する色も再グレーディングすることにより、オーバーフローした色に対する余地を必要とする実施形態において有用である。これは、HDR画像を実際に対応する再グレーディングされたSDR画像Im_RLDR画像に符号化するモード2符号化のような可逆色処理を必要とするシナリオで、特に興味深い(それゆえ、両方の画像は、それら自体が良好でなければならない関数により十分な品質のHDR画像にマッピング可能であるために、十分な詳細を含まなければならない)。
輝度プロセッサ501が、ネットワーク690を介してコンテンツの生成側から閾Gを受信するよう構成されたデータ受信手段689を有する場合には有利である。輝度プロセッサの他の実施形態は、それら自体により、例えばHDR画像受信機で、例えば画像の特性の分析により(例えば、どんな種類のHDR効果があるか、例えばどれだけ多くのピクセル、例えばテクスチャ特徴付け器によりその中の構造の種類、等を見ることにより)、閾を決定できる。さらに単純なバージョンは、固定された又は少なくとも標準的な初期値、例えばG=0.9、によっても動作してよい。しかしながら、映画全体、同じシーンのN個の連続画像のショット、又は単一の時点の画像毎にでも、コンテンツ生成側がGの最適値を規定するならば、非常に有利であり得る。したがって、より複雑な画像分析だけが、生成側で利用できるのではなく、人間のグレーダも、彼自身の最良に動作するG値を、例えば図11に示すようなUIにより指定できる。単一のG値に基づき、図10により例示されたような線形関数セグメントにより、g係数再決定の方針を設計できる。
輝度プロセッサ501が、ネットワーク690を介してコンテンツの生成側から代替の利得係数を決定するための関数FADAPを受信するよう構成されたデータ受信手段689を有する場合には有利である。このような方法では、コンテンツ生成側において、コンテンツの特定の必要を考慮する非常に複雑なg係数再決定関数を生成できる。これは、全範囲上側領域に非常に特別な非常に重要なコンテンツが存在する場合に有用であり得る(例えば、青色商用TL管上に描画されるソフトコントラストのパターン、したがって、再決定関数は、少なくともこれらのテキスト文字の輝度の周辺でより高い輝度コントラスト勾配を保とうとするよう形状を定められ得る)。人間のグレーダ(又は自動装置)は、例えば、最終出力色への調整マッピングの後に十分なコントラストを必要とする、画像の最も明るい部分における重要な領域を識別し、FADAP関数の形状を調整できる。これは、最終g係数がどれくらい全範囲の上に意図したように分布するかを調整することと同等であるが、実現不可能な色が全範囲上側領域を超えて分布する。雲の部分が穏やかに見え始めると、そのようなFADAP関数の形状を修正できる(又は調整の一部が彩度処理にシフトされ得る)。
私たちは、このようなFADAP関数の決定、通信、及び最終的な適用を可能にする枠組みの態様をここで教示する。当業者又は教示は、特定の画像(連続画像のセット)又は画像のクラス等について特定のFADAP関数の形状をどのように設計するかに関して多くの詳細な態様が存在し得ることを創造できる(例えば、幾つかの場合には、コンテンツ生成側は、最も明るい輝度の何らかのサブセットの輝度コントラストに対して重要な強調を設定して、これを、出力全範囲の一番上の領域を超える入力色の割り当てを決定するFADAP関数の形状に反映してよく、ここで、何らかの特定のシーンオブジェクト又は画像領域色は、何からの亜他の色の精度を犠牲にして、利用可能な全範囲ボリュームをより多く取り入れる)。太陽に照らされた黄色い夕方の空の単純な説明のための例によると、読者は、局所的なコントラスト(これは、それらを構成するグレイ値から雲の形状を定める)のうちの一部を、場合によっては可視より低く又は少なくとも低減した視覚的印象を与えるよう低減する必要がある場合、及びグレイ値の第1のセットを変更することが(簡単のためそれらを単一の値にマッピングすることを想定する)、輝度の別のサブセットに影響を与えるより、雲の形状に異なる影響を有し得ることを想像できる(例えば、第1輝度が明るく照らされた幾つかの重要な雲の境界の周囲で生じ、第2の輝度が幾つかの補助的な雲の内部の外観を決定するため)。FADAの実施形態が、FLMと同様に除算によりg係数に変換され得る通常の輝度関数の少なくともより高い部分を記述するか、又はg係数に基づき定められるか(g_out=FDAP(g_in))否かは、本発明の新しい枠文の特性の範囲ないの良好な代替を設定することを可能にする原理にとって重要ではない詳細事項である。
関数が通信された場合、幾つかの実施形態では(例えば、所定の再決定メカニズムを受信機において変更可能にする、又は関数の部分的特性の実施形態では)、これは、依然としてG係数を通信するために依然として有用であり得る。
輝度プロセッサ501が、ネットワーク690を介してコンテンツ生成側から、クリッピングパラメータVmxであって、その上では色調保存色クリッピングが許可されることを指定するクリッピングパラメータVmxを受信するよう構成されるデータ受信手段689を有する場合には、有利である。クリッピングパラメータは、赤、緑、及び青色成文の最大として定められる。この場合、色の幾つかが、最終的に出力画像の中の同じ色になることを可能にする。これは、不可逆シナリオでは良好な最適であり得、つまり、単一の色になったものから元の色を再決定する必要がない。これは、クリッピングされた色のサブセットより下で、他の方針(例えば、彩度低下とバランスの取られた輝度調整)と共に動作できる。理想的には(もちろん、幾つかの適用では)、全くクリッピングを行わなくてよいが、それが時には最適画像再グレーディングの良好なコンポーネントである。なぜなら、それは、例えば幾つかの他の画像色に対して少ない明度低下又は彩度低下を可能にできるからである。これは、特に、平均以上の注意を必要とする幾つかの重要な領域、それゆえ、出力全範囲上側領域の大きなサブボリュームが、例えば雲の中に、存在する場合に有用であり得る。
どのようにパラメータを構成するかに依存して、多数の原形に基づく同様の動作が画像上で生じることができ、この重要度はHDRシーンの種類に依存する。したがって、選択肢の間で最適に選択することを望む。
最も単純な場合には、全範囲の一番上の値(G=1.0)に等しいGを設定し得る。これは、単に、色調及び彩度保存方法においても依然として全範囲の一番上より上にマッピングしてしまう全ての色のハードクリッピングを意味し得る。もちろん、これは、入力画像(標準的にHDR画像)内の最初の色と異なる幾つかの色が、低いダイナミックレンジ(標準的に)の出力画像内の同じ色にマッピングされることを意味する。全範囲内条件に違反するオブジェクトのみが、例えば有色TL管である場合に極めて許容可能であり得る。なぜなら、輝度の相違は、映画又はビデオのストーリーを辿るためには意味的に有意義ではない可能性が高いからである(特に、これが背景にある装飾灯であり、動作がどこか別の場所で起きている場合)。完全な飽和した赤及び非常に明るいTL管をSDR内に生成することができないので(これは、HDR画像がメリットを有する理由である)、このようなシーンでは、例えば光管領域の内部で有意に彩度低下して幾らかの輝度差を残したままにする(管を酷くピンクがかった色にする)より、最大輝度の赤の原色としてSDR内で完全なTL管を表すことが遙かに最適である。赤灰色がかった雲の構造が多く存在する素晴らしい赤い夕日の場合、最適な決定がかなり異なる場合がある。このような場合には、美しい雲の構造の多くを破壊してしまう可能性のある過度のハードクリッピングを行いたいとは望まない。これは、低いG値を生じ得るが全ての雲のピクセル色を一層均一に明度低下することにより、又は僅かな彩度低下を(も)導入することにより、処理され得る。しかし、Vmxパラメータは、低いダイナミックレンジの画像内の雲の構造の大部分を「保護する」ときでさえ、僅かなクリッピングも依然として存在することを指定することを可能にする。HDR画像が受信したSDR画像からいかなる受信側において再構成される必要のあるモード2符号化に基づく通信システムのような可逆画像処理方法を用いる場合には、Vmx値は標準的に、幾つかのピクセルのみがクリッピングされて、区別可能性を失うものであるべきである(例えば、ランプの内側は、SDR画像内で全ての同じ値1023を与え得る。これは、依然としてHDR再構成を可能にし得が、計算上は生成側におけるマスタHDR画像と正確に同一ではなく、視覚的に十分に近い近似を与える)。
これは、請求項のうちの1つで定められたような輝度プロセッサ501が、gLにより乗算する調整のための第1部分を決定するよう構成され及び彩度計算を行う彩度乗算器Sを決定するための調整の第2部分を決定するよう構成される部分マッピング計算機903を含むならば、非常に有用である。教示される私たちの新規なアプローチから、当業者は、距離が全範囲より上の元の再グレーディングされた色から、全範囲境界に向かって理想的に意図されたように変換されなければならないことを理解できる。l図8を見ると、当業者は、このような距離の部分(例えばその半分)を定めることができること、及びこのような距離の半分にマッピングする代替のg係数を設計できる、つまり下方向に正確に入力色度((色相、色度)又は(u,v))の全範囲上限境界に到達する必要のある完全な明度低下を行わないことを理解する。したがって、何からの方法でカバーされるべき距離(又はより正確にはオーバーフロー)Aremが残りる。そうでなければ、色度を維持するクリッピングがデフォルトのフォールバックとして作動する可能性があるが、この画像で影響を受けるオブジェクトに対して最良の視覚結果が得られない場合がある。したがって、全範囲上限境界の色に向かう残りの距離は、直交方向で、つまり対応する彩度低下処理を行うことにより、カバーできる。
発明者は、必要な減衰A(つまり、全範囲の内側にまで又はその境界に十分に低下させるためのgL*Vの対応する乗算係数)は、第1部分のArho、及び残りの部分Aremで非常に有用に構成され得る。これらはパラメータrhoにより以下のように定められる。Arho=power(A;rho);Arem=power(A;1−rho) (式2)
このような仕様は、何らかの最悪の場合の色に基づき決定でき、他の色が次に同様に扱われる。
これは、輝度ダウンマッピング、つまり、低いダイナミックレンジの画像の上側の範囲にある重要なHDR効果色の多くを得るために、最終的なg係数fGを再決定する関数、の複雑性を有意に緩和できる。特にモード2HDR符号化のような関数の可逆性を必要とする状況では、更に明度低下するのではなく彩度低下動作、又は別の再決定関数FADAP形状を使用するときにより極端なコントラスト低減により、中間色が依然として全範囲境界の上にあるという残りの問題を処理できるからである。これは、ここでも、問題のある全範囲の一番上近くの色のうち最も暗いものの何らかのより多くの明るさ低下を行うこと又はこれらの領域内のテクスチャのコントラストのより多くの低減を行うこと、又は何らかのより多くの彩度低減を行うことが良いか否かに関わらず、日没近くの明るく照らされた雲、又は明るい霧の中に僅かに見える人物(影の人物)、又は窓越しに見える太陽に照らされた屋外、又はディスコ若しくは小間物市のランプ、等のような、それぞれの特別なHDR効果について選択するより多くの自由を許容する。任意で、このアルゴリズムの単純な全体的な動作の代わりに(これは、人間のグレーダにより実現するのに比較的単純であり、過度の高価なグレーディング時間を費やすこと又は自動装置の必要がない)、非常に扱いにくい場合には、多数の処理パラメータセット及びそれらに適用すべき色空間の領域の仕様(例えば、赤色の日没に対して、前景にある逆光の家の正面にある青色のTL管領域と異なる方法)を送信できる。
ここでも、輝度プロセッサ501が、ネットワーク690を介してコンテンツ生成側から上述の式の分数値(rho)を受信するよう構成されるデータ受信手段689を有する場合には、非常に有利であり得る。ここで、受信機は、最適なrho値自体を決定しなければならないのではない。なぜなら、画像に対する技術的処理の最適値は、本来芸術的である場合が多いからである。つまり、第1の美しい日没について、その人間の生成者が第2のものより多くのクリッピングを許容するか否かは、好みの問題である(一部のグレーダはそれらの外観の迫力のある色を望み、他の者はより柔らかく細かなパターンを望む)。
より低いダイナミックレンジ画像色を得るために、受信側の輝度プロセッサが最終的に行うことのできる又は行うべきことを技術的に反映した請求項は、アルゴリズムパラメータが生成側から受信される場合には、これらのパラメータ、例えばG閾及びFADAP関数、等を生成するシステムである。このようなパラメータのうちのいかなるもの又は全部は、人間により又は自動装置によr設定され得る(例えば、自動装置は、必要な場合には人間により改良されるべき良好な設定を提案し、又は、画像分析自動装置が存在する必要がなく人間がいかんる値も単に指定する、等)。自動装置は、このような特性を領域のコヒーレンスとして識別し(例えば、遠くに見える花壇のように、詳細なテクスチャのような多くの値が存在する場合、等)、幾つかの領域で幾つかの方向で何らかの実行中のコントラストを計算し(例えば、視覚的により重要であり得る画像の中心において)、何からの認識可能なアルゴリズムを実行できる。例えば、ファジーな適合により多くのグレイ値を有する滑らかに囲む境界が任意にポスタライズされてギザギザの境界を生じる場合に、良好な楕円を取得することが困難であることに対して、該境界上に楕円が容易に適合可能である、等。
例えば、HDRビデオを表す画像と一緒に送信されるべき又は取得可能な標準的に必要なパラメータをメタデータ内に符号化する高いダイナミックレンジのビデオエンコーダは、
画像ソース1202から入力画像を受信する入力と、
入力画像を出力画像として符号化し及び少なくとも1つの輝度マッピング関数F_Ltを符号化するエンコーダと、
を含み、エンコーダは、ビデオの画像の色特性を分析して、請求項1に記載の輝度プロセッサにより適用されるべき閾Gを決定するよう構成される画像評価プロセッサを含み、エンコーダは、閾Gをメタデータとして出力するよう構成されることを特徴とする。上述(及び後述)した種類の輝度プロセッサは、例えば、人間が彼の選択肢がデコーダ側においてどのように見えるかを知ることを助けるために含まれてよいが、必ずしも自動エンコーダに含まれる必要はなくてよい(自動画像分析はパラメータの1つ以上の候補選択肢、例えば最適G閾から生じる1つ以上の画像に対して、例えば入力のコントラスト、テクスチャメトリック、等のような幾つかの画像品質メトリックとテストされた候補出力画像と比較することにより、実行されることがある場合)。
通常、高ダイナミックレンジのビデオエンコーダ1201は、
画像ソース1202から入力画像を受信する入力と、
入力画像を出力画像として及び少なくとも1つの輝度マッピング関数(F_Lt)を符号化するエンコーダと、 を含んでよく、エンコーダは、ビデオの画像の色特性を分析し、パラメータ:(a)最適閾の使用について与えられた例(ここでは、色をそのままにする、及び対応する色の非理想性による軽減アルゴリズムを最適に適用し始める)に従う閾G、関数FADAP、クリッピングパラメータVmx、及び彩度低下に対して調整することにより処理されるべき分割及び調整量を示す分数値rho、のうちの少なくとも1つを決定する画像評価プロセッサ1210を含み、エンコーダは、少なくとも1つのパラメータのようなメタデータを出力するよう構成されることを特徴とする。したがって、受信機の輝度プロセッサは、対応する再グレーディングを適用できる。
ここでも、実施形態に依存して、おそらく、例えばVmxのような1つのパラメータのみが、実際に決定され通信される。この場合、受信側は、強度値V<=Vmxに対応する色について、全範囲の一番上に近い輝度の範囲内の色の再割り当てを行うマッピングを決定できるだけである。しかし、3つ以上のパラメータが通信される場合、より多くの複雑なバランスをとる式が受信側において使用できる。パラメータの数を最も重要なもパラメータの幾つかに限定すると、もちろん、スライダ又はトラックボールの幾らかのスライドにより、人間のグレーダは、最終的な結果の品質に最も影響を与えるこのような状況の値を設定できる。より単純なシステムは、少なくとも1つのパラメータを決定するために、しかしながら、幾つかのシナリオでは、これを行うマンパワーを有しないので、又は少なくとも制作クルーを煩わせたくないので、自動装置を有する。このような自動装置は、画像分析を行い、例えば最も明るい色の領域(高いL及び特に高いVチェック)が有意な空間的輝度変動構造を有するか否かを、例えばテクスチャ分石器を利用することにより検出できる。また、幾つかの実際的な実施形態は、画像劣化品質評価と共に動作し得る。これは、幾つかのシナリオにおいてクリッピングされたピクセルの量又は空間的分布を計数する、又は例えば調整再決定されたg係数処理の前後で雲の輝度変化についての実行中コントラスト測定のような測定値を計算するように単純であり得る。
もちろん、特に興味深いのは、この生成側が、人間の色グレーダ1204がパラメータ(G、rho、又は使用すべきより複雑なg係数再決定関数を指定するパラメータ、等)のうちの少なくとも1つを画像評価プロセッサ1210の出力として指定できるようにするユーザインタフェース手段1203に接続される上述の高いダイナミックレンジビデオエンコーダを含む高いダイナミックレンジビデオ符号化システムを有する場合であり、ここで、高ダイナミックレンジビデオエンコーダは、接続されたディスプレイ1220上で検査可能な出力画像(Im_LDR;Im300ニト)を計算するよう構成された輝度プロセッサ501を有する。当業者は、これが種々の方法で実現できることを理解する。半自動的決定では、画像評価プロセッサがrho、G、等の提案を既に与えられているが、人間がそれらを微調整可能である場合に有利である。又は一部の動作では、彼が評価を完全にバイパスし、彼自身が出力チャネルに値を設定したいと望む、等である輝度プロセッサは、これらの場合に、エンコーダ内部にあり、人間が、動作が実際に受信側で何を行うかが分かり、これあの動作が現在のシーンで良好に動作する場合に他のパラメータを調整するようにする。ディスプレイ1220は、高いPB_D、例えば10000ニトの基準ディスプレイであってよい。その結果、それは、結果として生じたSDR画像、及び多くの可能な結果として生じたMDR画像を、表示できる。例えばPB_MDR=3000ニトの場合に、ディスプレイは最大3000ニトまでのピクセル輝度を表示可能である。
更に有利な実施形態は特に以下である。
高ダイナミックレンジビデオデコーダ1300であって、
入力画像及び輝度マッピング関数FLMを受信する入力と、
閾Gの値を受信するよう構成される第2入力と、
請求項1乃至7のいずれか一項に記載の輝度プロセッサ501であって、輝度マッピング関数FLM及び閾Gを用いて出力画像を計算し、入力画像の輝度を変更して出力画像を生成するよう構成される、輝度プロセッサ501と、
出力画像を出力する出力と、
を含む高ダイナミックレンジビデオデコーダ。
教示された輝度プロセッサの実施形態のいかなるものに従う輝度プロセッサ501を有する高ダイナミックレンジビデオデコーダ1300。
輝度処理方法であって、第1ピーク明度PB_HDRにより特徴付けられる第1輝度ダイナミックレンジを有する入力画像MAST_HDRの空間的に配置されたピクセルの入力輝度から、第2ピーク明度PB_LDR;PB_MDRにより特徴付けられる第2輝度ダイナミックレンジを有する出力画像Im_LDR;Im3000ニトのピクセルの出力輝度を計算し、当該方法は、
入力輝度の関数である乗算係数gL及び輝度マッピング関数FLMを計算するステップと、
入力画像の前記ピクセルの色の3つの赤、緑、及び青色成分のうちの最大の1つである強度値Vを計算するステップであって、これらの成分は線形赤、緑、及び青色成分又は該線形赤、緑、及び青色成分の累乗である、ステップと、
出力輝度が全範囲上限境界にどれくらい近いかを示すオーバーフロー指標Tを計算するよう構成されるステップと、
オーバーフロー指標が閾Gより大きい場合に代替利得係数F1(gL)を決定するよう構成され、その他の場合に元の利得係数を保持するよう構成され、最終利得係数gFとしてこれらのうちの1つを出力するよう構成されるステップと、
最終利得係数gFにより前記入力色(R’G’B’_nrm)を乗算して、出力輝度を有する出力色(R’G’B’_HDR)を取得するステップと、を含む。
輝度処理方法であって、第1ピーク明度(PB_HDR)により特徴付けられる第1輝度ダイナミックレンジを有する入力画像(MAST_HDR)の空間的に配置されたピクセルの入力輝度から、第2ピーク明度(PB_LDR;PB_MDR)により特徴付けられる第2輝度ダイナミックレンジを有する出力画像(Im_LDR;Im3000ニト)のピクセルの出力輝度を計算し、
前記入力輝度の輝度マッピング関数(FLM)の出力を該入力輝度により除算した分割として乗算係数(gL)を計算することにより:gL=FLM(L)/L、前記乗算係数を計算するステップであって、前記乗算係数は、中間出力輝度になるように前記入力輝度をどのように調整するかを示す前記輝度マッピング関数に基づき、前記入力画像の画像ピクセルのいかなる入力色の前記入力輝度について定められる、ステップと、
前記中間出力輝度が前記入力色の色度において全範囲上限境界のどれだけ上であるかを示すオーバーフロー指標(T)を計算するステップであって、前記中間出力輝度は、前記乗算係数(gL)を前記入力色に適用することにより得られる、ステップと、
前記オーバーフロー指標が閾(G)より大きい場合に、より低い代替利得係数(Fl(gL))を決定し、その他の場合に、元の利得係数を保ち、これらのうちの1つを最終利得係数(gF)として出力するステップと、
前記入力色(R’G’B’_nrm)を前記最終利得係数(gF)により乗算して、前記出力輝度を有する出力色(R’G’B’_HDR)を取得するステップと、
を含む輝度処理方法。
輝度処理方法であって、
コンテンツ生成側からいかなる接続されたネットワークを介して、教示されたパラメータ:(a)閾Gであって、閾Gより上では再決定処理が開始し、再決定された色は出力全範囲の中に押し込められ(squeeze)なければならない、閾G、(b)g係数決定を行うために望ましい特定関数FADAPの形状のパラメータ符号化(又はそのいかなる等価なもの、例えば強度値Vの関数)、(c)クリッピングパラメータVmxであって、クリッピングパラメータVmxは最も違反している色、つまり全範囲の一番上より遙かに上に含まれる、したがって、全範囲の範囲内に再マッピングすることが最も困難な色のクリッピング量を依然として可能にする、クリッピングパラメータVmx、(d)2つの部分的再マッピング方針への分割の使用を可能にする分数値rhoであって、該方針の一方はピクセル輝度を再計算し、他方はピクセル彩度を再計算する、分数値rho、のうちの少なくとも1つを受信するステップと、
該少なくとも1つのパラメータを輝度計算において適用するステップと、を含む方法。
HDR画像信号であって、
画像高さにより乗算された画像幅のピクセル色を有するセットと、
ピクセル色の輝度から出力輝度をどのように計算するかを定める少なくとも1つの輝度マッピング関数と、
パラメータ:(a)閾G、(b)クリッピングパラメータVmx、(c)分数値rho、のうちの少なくとも1つと、を含む信号。
HDR画像信号であって、
画像高さにより乗算された画像幅のピクセル色を有するセットと、
ピクセル色の輝度から出力輝度をどのように計算するかを定める少なくとも1つの輝度マッピング関数と、を含み、関数FADAPを更に含む、信号。
これらの信号は、本発明を具現化することが明らかである。このような実施形態では、例えばGの値は生じ得る特定の輝度再マッピングにおいて主要な役割を果たす。当業者は、全体チェーンの正しい動作(単に生成及び消費機器又は方法の間を接続する信号)が、例えばETSIのような標準化団体により合意されたプレースホルダーにより標準的に適切にメタデータを標準化すること、及び例えば信号がETSI SL_HDRxyzフォーマットとして通信されることをヘッダ内で通信することにより受信機器がフォーマットを理解することを保証する生成側機器により実現されること、等を直ちに理解するので、このようなメタデータの意味、フォーマット、ユニークな識別可能性は、本願の説明にあまり関係のない詳細事項である。
本発明による方法及び機器の上述及び他の態様は、より一般的な概念を例示し単に非限定的な特定の説明として機能する、以下に記載する実装及び実施形態及び添付の図面から明らかであり、それらを参照して教示される。図中の破線はコンポーネントが任意であることを示すために使用され、破線ではないコンポーネントは必ずしも必須ではない。破線は、要素が必須であると説明されたがオブジェクトの内部に隠されていることを示すため、又は例えばオブジェクト/領域の選択のような無形の事柄(それらがディスプレイ上にどのように示され得るか)のためにも使用され得る。
以下の図がある。
高ダイナミックレンジ画像を対応する最適な色グレーディングされた同様の外観の(それぞれ第1及び第2ダイナミックレンジDR1及びDR2における所望の妥当な所与の差と同様に)より低いダイナミックレンジ画像、例えば100ニトのピーク明度の標準的ダイナミックレンジ画像に最適にマッピングするときに生じる多数の標準的な色変換を概略的に示す。可逆性(モード2)の場合に、HDRシーンを実際に符号化した受信されたSDR画像の、該シーンの再構成HDR画像へのマッピングにも対応し得る。 高ダイナミックレンジ画像、つまり少なくとも700ニト(つまり少なくともSDR画像の7xPB_C)又は標準的にそれより高い(標準的に1000ニト以上)の輝度を有することの可能な画像を符号化する、出願人が最近開発した技術の付属組織図(satellite-view)の例を概略的に示す。当該技術は、HDR画像を、SDR画像、及びピクセル色について少なくとも適切な決定された輝度変換を含むメタデータ符号化色変換関数として実際に通信可能である。これらは、受信したSDR画像をHDR画像に変換するためにデコーダにより使用される。このHDR画像は、画像生成側で生成された元のマスタHDR画像の忠実な再構成である。 このようなHDR復号(又は符号化)及び処理において生じるダイナミックレンジ変換の単なる輝度変化が標準的に、例えば入力画像より低いダイナミックレンジの画像を決定するとき、色度平面及び直交する輝度L軸を有する理論的色空間において示されるとき、どのように生じるかを示す。 別の種類の色空間(別の形状を有する)において、色及び色処理がどのように振る舞うかを概略的に教示する。該空間は、ビデオの標準的な色符号化空間:YCbCrである(ここで、Yは基本的に線形輝度L、又は非線形ガンマ2.0ルマY’、又はPQに基づくルマY’’のような別のOETFにより定められた何らかの他のルマであり得る)。 図2のユニット202又は208の色変換を出願人が標準的にどのように実行したいかを、より詳細な例を示す(限定であることを意図しない)。 本発明が例えば図2及び5に示したようなシステムの輝度処理に追加する主な態様の一般的な上位レベルの教示を示す。 上述のシステムの振る舞いの部分、特に、図6の調整要素を有しないで図5が色度−輝度色空間で行い得ることを示す。 彩度低下動作を部分的に用いて出力色空間の色全範囲の一番上の近くの調整マッピングの問題を解決する高度な実施形態の振る舞いを示す。 彩度プロセッサを有する色プロセッサの部分である輝度プロセッサの一例を一般的及び概略的に示す。 色全範囲の上側部分にある色について調整色マッピング方針を決定する幾つかの例、及び強度値Vが色の赤、緑、及び青成分のうちの最大のものとして定められることに基づく対応する関数を概略的に示す。該関数は、対応する利得係数gFとして本発明の教示に従い定式化できる。該利得係数gFは、全範囲の上部近くの色のみについての初期利得係数の偏差である特に結果として生じる利得係数であってよい。 コンテンツ生成側における人間のグレーダが、輝度を近似的に誘導し又は正確に指定する幾つかの単純であるが強力なパラメータを指定することを可能にするユーザインタフェース、及び本発明の教示に従う変形のうちのいかなるものの受信側輝度プロセッサによる全範囲の上部近くの明るい色の一般的な色処理、を示す。 復号側輝度プロセッサの教示される実施形態に従う変形のため必要なパラメータを生成する可能な自動的、半自動的、又は手動のエンコーダの一例を概略的に示す。 図9のエンコーダに対応する本発明の原理に従うモード2デコーダを教示する。
私たちの種々の実施形態の教示は、ここで、図5の輝度プロセッサ501に焦点を当てる。図5は、図6の本発明の新たな原理を教示するために一層精巧な構成で描かれている。
先ず、私たちは処理が線形輝度で生じる、つまり輝度Lが入出力する(L_out)と仮定して教示するが、このブランチの内部でも、処理は、PQのような別のルマドメインに変換してよい。同じことが、例えば標準的に典型的なRec.709ルマ、つまりsqrt(L)ルマY’を有する他のルマドメインでも行うことができる(つまり、輝度マッパー512によるダイナミックレンジ変換の輝度マッピングは、このようなシナリオでは、Y’_out=FLM*(Y_in)として直接指定されてよい)。
しかしながら、このような状況では、非定常輝度ルマの代わりに、対応する一定輝度ルマを計算することに留意しなければならない(二乗根ドメインで実施される場合でも、輝度処理が線形輝度処理のように正確に振る舞うこと、及び蛍光赤色コート等のような不正確な非定常輝度ルマにおける輝度の誤った推定に起因する誤りが生じないことを保証するためである)。
ルマの標準的定義はY’=a*sqrt(R)+b*sqrt(G)+c*sqrt(B)であったが、一方で、一定輝度ルマの定義はY’_CL=sqrt(L)、L=a*R+b*G+c*Bである。
標準的に、ビデオデコーダの輝度プロセッサは、YCbCr入力を得る。それゆえ、これから自然に導出される色成分は非線形R’G’B’である。一定輝度ルマを導出する1つの方法は、色空間変換器502に、先ず、適切なEOTF(つまりR=EOTF_rec709(R’)=power(R’;2)、等)を適用することにより線形RGB成分を計算させることであり、したがって、Y’_CL=sqrt(L)である。
ハードウェア領域または処理コスト(/能力)が無限ではないので、ショートカットが存在し得る。例えば、
sqrt(power(K;2)+power(L;2)
=approximately max(K,L):max(K,L)>4*min(K,L)の場合
=approximately(7/8)*max(K,L)+(1/2)*max(K,L)):その他の場合。
いかなる数K及びLについて。
それゆえ、これを使用して、Y_CLをR’G’B’値から直接計算できる。
Vは輝度Lと共に(又はルマY’による平方根表現で)増大する量であり、これは些細なことに関連しないが、全範囲上限境界への近さの指標であるという、特に全範囲上限境界にある全ての色が最大強度値V=1.0を有するという有用な特性を有する(色成分のうちの最大のものを明るくすると、この境界の上になる、例えば青はその正規化された最大値を超える必要があり得る、例えばB=1.1であり、これは計算上可能であるが物理的に不可能である)。500番台で番号付けされたコンポーネントは図5と同様である。つまり、特に、それらは、「通常の」明度増大(color brightening)を、つまり、輝度処理機能FLMで指定されたように、未だ行われていないg係数決定のメカニズムを扱う上側全範囲領域により、行う。
図6の輝度処理が、YCbCrピクセル色を入力として符号化されるHDR符号化された5000ニトのPB_Cを得て(それらがPQに基づき符号化される場合、変換器は、輝度、及び本例では線形RGBに変換するために適正な計算を行う)、例えば900ニトのMDR画像及びその輝度を導出するHDRデコーダで行われると仮定する。強度値Vも計算され、線形色成分が使用され、それゆえV=max(R,G,B)である例により説明する。
ここで、興味深いことに、発明者は、生成側で決定されたマッピングFLMがピクセル色の輝度Lに適用されると想定されるが(又は等価な自然の色処理が実際に実行されて、線形RGB成分を同じ輝度変化g係数gLにより乗算する)、各色の色度により、全範囲境界より上にマッピングされるか否かが分かるので、これを強度値Vに適用することは興味深い。
これは図7で分かる。輝度マッピングは、色をそれらの輝度に基づき、色度に関係なく、マッピングすると想定される。したがって、私たちは、輝度軸上の無色の色についてチェックできる。私たちは、HDR入力画像の平均輝度Col_inの特定の色を有すると仮定する。全ての色が明るくされる必要があるので、特に、より低いダイナミックレンジのレンダリングで映画中で何が起きているかが分かるように、より暗い色が依然として妥当である必要があるので、平均輝度Col_inは、(例えば、SDR又はMDR画像を生成するために)Col_outにまで明るくなる。しかしながら、2つのグレーディング、つまり出力画像と入力画像における輝度関係を保つ必要があるために、これらの明るくされた色は、全てのより高い輝度の色も上へと押し上げる。
この明度増大は、無色灰色では、Col_outが色全範囲の内側に良好に存在するように依然として見えるので、非常に簡単である。しかしながら、私たちが等しい輝度の水平線を描く場合、私たちはグレイHDR色Col_inと同じ輝度の青色ColBlueHを、そのLDR等価ColBlueLにマッピングすることが分かる。私たちは色全範囲の上をマッピングし、したがって、私たちの処理で何かが生じる必要がある。又は、クリッパは、少なくとも1つの色成分を1.0に自動的にクリッピングする。これは、標準的に、不快な色調誤りを含む可能性のある有意な色度誤りを含み得る。
しかしながら、等価V線を(太い破線で)描くことにより、この状況が分かる。入力青色ColBlueHは、全範囲で依然として良好であるが(例えばV=8.0)、出力色ColBluLは例えばV=1.2を有し、それゆえ1.0より高い。
ここで興味深いことに、線形V測定は、Lのように同様に比例的に振る舞うので、同じg係数により変換されることが分かる:
R_out=gL*R_in;G_out=gL*G_in;B_out=gL*B_inの場合、max(R_out,G_out,B_out)=gl*V_in
したがって、これは、実際には、VのgL*(入力)値の値である。Vは、図6の502により計算され、監視のための基準であり、乗算器602による例示的な実施形態で計算され、結果はTest値Tと呼ばれる。
その後、利得係数変更ユニット603は、テストでこの値を使用して、受信機によりローカルに決定された又は何らかの画像メタデータ符号化形式に従いコンテンツ生成側から標準的に実際に受信画像と一緒に受信されたグレーディング関数FLMから導出された初期利得値を変更する。
最も単純な実施形態では、閾Gは1.0に等しい(例えば、輝度プロセッサにおいてハード的に固定される)。
次に、色がT=gL(色)*V(色)<=1.0にマッピングする場合、それらは、実際には全範囲内でマッピングし、問題がない。それゆえ、マッピングは従来通り良好であり、初期利得gLは、RGB成分に実際のHDR−MDR色変更を行うために、変更されずに最終利得gFとして渡される。私たちは(色)を追加して、計算されたgL係数、及びV値の両方が、現在ピクセル色の色成分値に依存することを強調することに留意する。
しかしながら、T>G=1.0である場合、私たちは、例えばgL*Vが1.8に等しいとき、全範囲オーバーフロー問題を有する。
この場合、少なくとも大部分の色について、マッピングされた色(及び同時にそのV値)が全範囲内でマッピングすることを保証するために、関数F1(gL)が適用されなければならない(場合によっては、Vmx値が決定された場合、依然としてクリッピング可能なこれらの少数の色を除く)。
デコーダにより決定できる単純な関数(例えば、その輝度プロセッサソフトウェア又は回路の中で固定される)は、全範囲マッピングの各々の可能な出力gL(色)*V(色)について以下の通りであってよい。
T>G=1.0の場合、gF=gL*(1/T) (式3)
この場合、特定の色について、出力色の元のgL係数によりマッピングするとき、T値が例えば1.3である場合、gL/1.3である異なるgFによる同じ入力色(及びそのV値)のマッピングは、1に正確にマッピングすることが実際に分かる(1.8にマッピングする別の色についてgF/1.8を適用することは、同じである、等)。
もちろん、色度保存であるが、これは、むしろ粗野な方針であり(しかし、説明を始めるのが容易である)、更に幾つかの状況に適するが、より重要な種類のHDR画像ではあまり最適に動作しない。
そのうえ、(少なくとも)閾値Gを導入することにより、最初に全範囲境界より上にマッピングされた全ての色について、元の輝度の差の区別可能性を依然として保つより複雑なマッピング方針を使用することが有利であることがある。この閾値は、ここでも、受信側輝度プロセッサにより決定され、又は有利なことに、ネットワーク690を介してコンテンツの生成者から閾Gを受信するよう構成されるデータ受信手段689により受信され利得係数変更ユニット603に通信され得る。ここで、当業者は、ネットワークが、いかなる現在の又は将来の画像またはデータ配信システム、例えば衛星TVチャネル、インターネットであること、又は予め固定されたパッケージ化記憶装置では連続ビデオ画像のG値が例えばブルーレイディスクに格納されBDレンダリング器等によりアクセスされことを理解できる。
図10により、種々のgL再決定方針/関数がどのように実現されるかが説明される。図10Aに、私たちは、閾Gが0.9に設定される、Vmxまでの線形マッピングの一例を示す。実際に、Vmxより高く画像又は連続画像の進行VmaxSCBN内の最高までになるgL*V値を有する幾つかの色(数10個のピクセルのみ)があってよい。しかし、これらは、HDR入力色と同じ色度により全範囲上限境界にある色にハード的にクリッピングされ得る。
T_inは、初期gL係数によりマッピングされた色のV値であり、私たちは、全範囲境界に対応する1.0までのT_out値を生成するgFによる最終マッピングを有しなければならない。0.9より下では、利得係数は不変である。したがって、T_out値もT_in値(SEGPSS)と同一である。G及びVmxの間の再マッピングは、多くの方法で定式化でき、線形区間(SEGADPT)のように単純であり得る。減衰係数Aは、この軸体系での表現から簡単に計算できる。例えば、色2.5が1.0にマッピングされなければならない場合、私たちはgLを2.5で除算する必要がある、等である。
減衰Aの例示的な計算式は以下の通りである(輝度方向単独で全部の減衰):
A(T)=(T>G?)1/{1+[(Vmx−1)/(Vmx−G)]*(T−G)}:1 (式4)
T=Vmxである場合、A(T)は1/Vmxになる、等が分かる。
興味深いことに、図10Bは、全範囲の上の問題一部が彩度低下により解決される状況を示す。この場合、最初にVmxにマッピングする色は、y.x>1.0、例えば1.9にマッピングできる(おそらく、大幅な彩度低下を必要としない全範囲境界より遙かに上ではない)。なぜなら、オーバーフローの残りは、彩度方向に示されるからである。
これは、図8の色全範囲プロットに示される。総減衰Aは、マッピングされた色を全範囲境界へと持ってくる。しかしながら、上述のようにロー(rho)パラメータを定めることにより、間の一にマッピングでき、したがって彩度低下によりColOutへと水平方向にシフトできる。
ローパラメータは、例えば人間のグレーダがスライダ1101を0〜1の間の彼の好みの位置に位置決めすることにより、暗くすることの悪影響と彩度低下の悪影響との間の最適量になるよう重み付けできる。あるいは、幾つかの実施形態は、固定設定、例えばrho=1/2等を有してよい。
彩度低下における乗算パラメータは、以下のように計算できる。
S=(Vinterm*Arem−Y)/(Vinterm−Y)=(1−Y)(Vinterm−Y) (式5)ここで、Vintermは輝度調整部を行った後の全範囲境界より依然として上にある高さであり、Yは例えば線形の例で中間輝度である(つまり図9のLi)。もちろん、望ましい場合には、特にそれらが受信側に通信される場合(少なくとも、モード2HDR−as−SDR通信のような可逆システムは再構成のための全てを知っているべきである)、より複雑な彩度低下方針(非定常Sによる、つまり色空間に渡り変化し得る彩度低下)が使用できる。
図9に、エンコーダ側でこのような補正方針を実施可能な処理アーキテクチャの一例(及び彩度ユニットに接続された高度な輝度プロセッサの実施形態)が示される基本的に、望ましい場合には反対の順序で、再度処理及び輝度処理を行うことを選択できる。しかし、選択した順序では、デコーダは、順序を反転させなければならな(したがって、エンコーダが先ず輝度マッピングを行い、次に彩度低下を行った場合、受信側のデコーダは、先ず対応する彩度低下を行い、次に輝度マッピングを行う)。Vinterm及びYが分かる場合、例えば生成側からrhoパラメータを用いて通信されるAremが分かれば、(彩度低下か彩度補充(resaturation))かに関わらず)Sが分かることに留意する。
デコーダ側における減衰A(T)は、以下のように計算できる。
A(T)=(T>G)? {1−[(Vmx−1)/(Vmx−G)]*G}/{1−[(Vmx−1)/(Vmx−G)]*T}:1 (式6)
部分マッピング計算機903は、ここで、減衰係数Arhoを決定し、乗算器902においてgLにより乗算して、部分輝度調整のための適切な最終gFを取得する。部分輝度調整は、乗算器910により、彩度低下器911による後の彩度低下ステップで中間輝度Liにならなければならに輝度と一緒にRGBの3色に対して実行される。彩度係数決定ユニット901は、彩度プロセッサ911のために、例えば式5に従い必要な彩度係数S(V,Y,Arem)を決定でき、それを輝度保存彩度低下において式7に従い適用する。
Ro=Li+S*(Ri−Li); Go=Li+S*(Gi−Li);Bo=Li+S*(Bi−Li)
これらの出力色成分は、したがって、例えばHDR入力画像色から導出されたSDR色(又はMDR色)に対して適正な色成分である。
読者は、エンコーダ及びデコーダの両方においてダウングレードするとき(つまり、標準的にPQ−OETFされた非線形R’’G’’B’’値と一緒に実際にHDR画像自体が受信機に通信されるモードi彩度、又は、標準的にビデオ符号化が標準的な例えばHEVC圧縮を通じるために、対応するYCbCr色成分)、エンコーダ及びデコーダの両方が、同じダウングレード方向に色を変換することを理解しなければならないことに留意する。したがって、デコーダにおける色処理の順序の反転は存在しない(エンコーダは、この場合には、選択したパラメータ選択肢によって、後のデコーダの振る舞いをチェックするために変換を行うだけであると想像できる)。
しかしながら、可逆HDR画像又はビデオ符号化、つまりSDR画像のような画像のモード2符号化では、エンコーダはこれらをダウングレードにより生成し、デコーダは、アップグレードにより、つまり反対方向に、マスタHDR画像の近い近似を再生する。
したがって、図13で説明するように、デコーダは何らか変更される。
彩度911及び明度(乗算器910)の反対の順序は、1/gFにより生じるが、初期の全範囲より上の色ColBlueLを、同じ係数により再び輝度ブーストすべき中間結果になる、最終色ColOutの中間輝度にまで低下させる同じ部分g係数である。私たちは、このシナリオで、入力色RsGsBs及び輝度LsがSDR色であることを示すために添え字sを使用している。出力色RoH、GoH、BoHは、(全範囲一番上近くの重要な色の新規な最適処理に従う)再構成HDR画像の色である。輝度の中間位置が初期位置ではないので、追加乗算器1301があり、g係数決定パスで使用されることにも留意する。
図11は、人間のグレーダがパラメータを生成するために使用可能なユーザインタフェースの一例を示す。該パラメータは、簡単に3つの値G、rho、及びVmxだけであり得る。
Rhoは、例えばスライダにより設定できる。例えば、半自動的方法の自動装置は、設定0.25が最適であると決定したが、ユーザは0.2又は0.3をより好む。
彼は、例えば色全範囲プロット上でVmx及びG値をそれぞれ設定するための、2つの他のシフタ1102及び103も有する。処理中の画像、例えば連続ビデオ画像のショットの中で画像化されたHDRシーンの代表画像、のビュー1110もあってよく、その上に、グレーダの注意を素早く捉えるために、自動的に生成されたインジケータ111があってよい。例えば、自動装置は、この領域(太陽に照らされた雲)内で、テクスチャの有意なコントラスト低下が生じていることを計算し(ハードクリッピングであってもよい)、ユーザインタフェースは、例えば当該領域の周囲に点滅する赤色境界を示すことができる。
図12は、エンコーダ1201(これは、いかなる前述のモードに従いHDR画像を符号化できるが、出力である本発明の新規なパラメータrho、G、Vmxを決定することもできる、又は受信側でg係数を再決定する機能)を有する符号化システムの一例を示す。該システム上で、コンテンツを生成する色グレーダ1204は、彼のグレーディング作業、少なくとも本発明に従い1つのパラメータ、例えばG又はrhoの決定を行うことができる。彼は、ディスプレイ1220乗で、何が生じているかをチェックできる。なぜなら、輝度プロセッサ501は、例えば標準的にグレーディングパネルであってよいユーザインタフェース手段1203を介してグレーダのrhoの選択結果、及び例えばトラックボールへのrhoの変化のソフトウェア割り当てを示すために、処理を適用するからである(つまり、モード1で直接ダウングレードし、標準的に、符号化+復号チェーン全体がモード2のアップグレードの逆を有する)。画像は、いかなる画像記憶装置1202、例えばサーバ上のハードディスク等、又は幾つかの場合にはリアルタイムストリーミングからも生じる。画像評価プロセッサ1210は、rho、G等の提案をもたらす全ての種類の画像分析を行ってよい。自動的な実施形態では、これは、該パラメータを決定するユニットのみであってよい。
高ダイナミックレンジビデオエンコーダ1201は、人間の色グレーダが彼の輝度変更アルゴリズムのいかなる実施形態を制御する種々のパラメータについて適切な値を決定するのを助けるために、輝度プロセッサを使用できる(例えば、制御パラメータとしてメタデータの中で何らかのデータ又はビデオ接続を介して、該パラメータを受信するデコーダに含まれるとき)。いかなるこのような制御パラメータを通信するために、HDRビデオエンコーダは、
・画像ソース12020から入力画像を受信する入力と、
・入力画像を出力画像及び少なくとも1つの輝度マッピング関数(F_Lt)として符号化するエンコーダと、
・ビデオの画像の色特性を分析して、パラメータ:(a)閾Gであって、閾Gより上では何らかの代替の最終利得gFが使用されるべきであると示し、閾Gの下では、オブジェクト又はピクセル輝度分布が特定である場合に、現在画像のダイナミックレンジ再グレーディングのために輝度マッピング関数FILMに対応する元の利得が適することを示す、閾G、(b)画像のより明るい色が処理されるべき代替の利得を決定するために使用可能な関数FADAP、(c)クリッピングパラメータであって、該クリッピングパラメータから(輝度再グレーディング後の)入力輝度クリッピングが許可されることを示すが、色度保存クリッピングである(そのような効果が望ましい場合)、クリッピングパラメータ、及び(d)分数値rhoであって、暗くすることにより処理されるべき全範囲に向かう補正間隔の再度低下に対する分離を決定する、例えば輝度距離の40%が最終gFの適用後に残っており、少なくともピクセルの入力色の色調の保存を保証するために彩度低下により処理されるべきである、分数値rho、のうちの少なくとも1つを決定するよう構成される画像評価プロセッサ1210を含み、エンコーダは、この少なくとも1つのパラメータをメタデータとして出力するよう構成される。
当業者は、私たちの本発明の教示全部から、例えば適切なG値をどのように決定するかを理解できる。該G値より上では、元のFLMに基づくg係数の決定した輝度変化に何らかの補正が適用されなければならない(完全に色調保存するか又は何からの残りの色調誤りをクリッピングするかに関わらず、しかし標準的に本発明の上述の全範囲補正の原理を適用しないときよりも小さく且つ遙かに少ない)。例えば雲のある太陽に照らされた夕方の空が設定された方法でどれくらい劣化するかを人間が見ることにより(例えば、復号側がより良いFADAPが通信されない場合に適用することを符号化側が知っている、予め合意された単純な方針で)、他のパラメータが決定できる。例えば、人間の色グレーダは、UIを使用して、FADAP関数の上側部分の形状を描き、最も明るい色のgF値を決定するために使用できる。その結果、彼らは、例えば、少なくとも幾つかの画像色を暗くしすぎない、又は雲の幾つかの部分の幾つかのピクセルの有する少なくとも幾つかの輝度を、このような雲の可視テクスチャを劣化させすぎる方法で、低減しない、等である。また、自動装置は、例えば関心のある又は重要な領域になると推定された接続されたピクセルの種々のセット、例えば上述の雲、に渡りコントラストを計算することに基づき、何らかのクリッピングを適用することを判断してよい(これは、例えば、空の滑らかな傾斜が、遠くから見た花壇等のような高周波数マルチカラーテクスチャ領域よりも容易にアーチファクトを示し得ることを示す、低い商業的指標のような他のテクスチャ測定に基づき識別されてよい)。しかし、エンコーダが自動画像分析アルゴリズムを使用するだけの場合、ビデオコンテンツを生成する人間にいかなる選択結果を実際に示すための輝度プロセッサを含む必要は無い。
同様に、輝度処理の方法は、特定の輝度変更の実施形態の必要に依存して、コンテンツの生成者からいかなる接続されたネットワーク(ネットワークは、明らかに、広義の意味で使用される)を介して、パラメータ:(a)閾G、関数FADAP、クリッピングパラメータVmx、及び分数値rho、のうちの少なくとも1つを、個別に又はパラメータのいかなる組み合わせで、受信することを含み、このような少なくとも1つのパラメータを該方法の輝度計算に適用してよい。
本明細書で開示されたアルゴリズムのコンポーネントは、(全体的に又は部分的に)実際にハードウェアとして(例えば特定用途向けICの部分)、又は専用デジタル信号プロセッサ又は汎用プロセッサ等で実行するソフトウェアとして実現されてよい。
私たちの提示から、どのコンポーネントが任意の改良であってよく、他のコンポーネントと組み合わせて実現可能であり、及び方法のどんな(任意の)ステップが機器のそれぞれの手段に対応するか、及びその逆が、当業者に理解されるべきである。本願における用語「機器」は、その広義の意味で使用される。つまり、特定の目的の実現を可能にする手段のグループであり、したがって、例えばICの(小回路部分)、又は専用機器(例えば、ディスプレイを備える機器)、又はネットワーク接続されたシステムの部分、等である。「構成」も広義の意味で使用されることを意図している。したがって、これは、特に、単一の機器、機器の部分、協働する機器の(部分の)集合、等を含んでよい。
コンピュータプログラムプロダクトの表記は、汎用又は専用プロセッサを、コマンドをプロセッサに入力するための一連のロードステップ(これは、中間言語及び最終プロセッサ言語への変換のような中間変換ステップを含んでよい)の後に、いかなる発明の特徴的機能を実行可能にするコマンドの集合のいかなる物理的実現も包含すると理解されるべきである。特に、コンピュータプログラムプロダクトは、例えばディスクまたはテープのような担体上のデータ、ネットワーク接続(有線又は無線)を介して伝搬するデータ、又は紙上のプログラムコードとして実現されてよい。プログラムコードとは別に、プログラムのために必要な特性データも、コンピュータプログラムプロダクトとして具現化されてよい。
方法の動作のために必要なステップのうちの幾つかは、データ入力及び出力ステップのようにコンピュータプログラムプロダクトに記載される代わりに、既にプロセッサの機能に存在してよい。
理解されるべきことに、上述の実施形態は本発明を限定するのではなく説明する。当業者が特許請求の範囲の他の領域への提示の例のマッピングを容易に実現できる場合、私たちは、簡潔さのために、全てのこれらの選択肢を深く言及しない。特許請求の範囲の中で結合されたような本発明の要素の組み合わせとは別に、要素の他の組み合わせが可能である。要素のいかなる組み合わせも、単一の専用要素で実現できる。
特許請求の範囲の中の括弧内のいかなる参照符号も、請求項を限定することを意図しない。用語「有する」又は「含む」は、請求項に列挙されない要素又は態様の存在を排除しない。要素の前の用語「1つの」は、該要素の複数の存在を排除しない。

Claims (14)

  1. 輝度プロセッサであって、第1ピーク明度(PB_HDR)により特徴付けられる第1輝度ダイナミックレンジを有する入力画像(MAST_HDR)の空間的に配置されたピクセルの入力輝度(L)から、第2ピーク明度(PB_LDR;PB_MDR)により特徴付けられる第2輝度ダイナミックレンジを有する出力画像(Im_LDR;Im3000ニト)のピクセルの出力輝度を計算するよう構成され、前記輝度プロセッサは、
    前記入力輝度の輝度マッピング関数(FLM)の出力を該入力輝度により除算した分割として乗算係数(gL)を計算することにより:gL=FLM(L)/L、前記乗算係数を計算するよう構成される利得計算ユニットであって、前記乗算係数は、対応する中間出力輝度になるように前記入力輝度をどのように調整するかを示す前記輝度マッピング関数に基づき、前記入力画像の画像ピクセルのいかなる入力色の前記入力輝度について定められる、利得計算ユニットと、
    前記中間出力輝度が前記入力色の色度において全範囲上限境界のどれだけ上であるかを示すオーバーフロー指標(T)を計算するよう構成されるオーバーフロー計算機であって、前記中間出力輝度は、前記乗算係数(gL)を前記入力色に適用することにより得られる、オーバーフロー計算機と、
    前記オーバーフロー指標が閾(G)より大きい場合に、より低い代替利得係数(Fl(gL))を決定するよう構成され、その他の場合に、元の利得係数を保つよう構成され、これらのうちの1つを最終利得係数(gF)として出力するよう構成される利得係数変更ユニットと、
    前記入力色(R’G’B’_nrm)を前記最終利得係数(gF)により乗算して、前記出力輝度を有する出力色(R’G’B’_HDR)を取得する乗算器と、
    を含む輝度プロセッサ。
  2. コンテンツの生成側からネットワークを介して前記閾(G)を受信するよう構成されるデータ受信手段、を含む請求項1に記載の輝度プロセッサ。
  3. コンテンツの生成側からネットワークを介して、前記代替利得係数を決定するための関数(FADAP)を受信するよう構成されるデータ受信手段、を含む請求項1又は2に記載の輝度プロセッサ。
  4. コンテンツの生成側からネットワークを介して、クリッピングパラメータ(Vmx)を受信するよう構成されるデータ受信手段を含み、前記クリッピングパラメータは、色が全範囲上限境界のどれだけ上であるかを示し、前記クリッピングパラメータは前記色の赤、緑、及び青色成分のうちの最大のものとして定められ、該クリッピングパラメータより上にある色輝度について、色調保存色クリッピングが可能であることを指定する、請求項1乃至3のいずれかいっこうに記載の輝度プロセッサ。
  5. 部分マッピング計算機であって、実現可能な全範囲内の色に到達する必要のある、前記全範囲境界に向かう前記入力色の補正の第1小部分を決定するよう構成され、前記補正の第1小部分は、最終的な乗算係数(gF)による乗算により処理され、彩度計算を駆動する彩度乗数(S)を決定する補正の残りの第2小部分を決定するよう構成される、部分マッピング計算機、を含む請求項1乃至4のいずれか一項に記載の輝度プロセッサ。
  6. コンテンツの生成側からネットワークを介して、補正の前記第1及び第2小部分を決定する小部分値(rho)を受信するよう構成されるデータ受信手段、を含む請求項5に記載の輝度プロセッサ。
  7. 前記オーバーフロー指標(T)は、前記乗算係数(gL)により乗算されたピクセル色の赤、緑、及び青色成分のうちの最高値として計算される、請求項1乃至6のいずれか一項に記載の輝度プロセッサ。
  8. 高ダイナミックレンジビデオエンコーダであって、
    画像ソースから入力画像を受信する入力と、
    前記入力画像を出力画像として符号化し、少なくとも1つの輝度マッピング関数(F_Lt)を符号化するよう構成されるエンコーダと、
    を含み、
    前記エンコーダは、前記ビデオの画像の色特性を分析して、請求項1に記載の輝度プロセッサにより適用されるべき閾(G)を決定するよう構成される画像評価プロセッサを含み、前記エンコーダは、該閾(G)をメタデータとして出力するよう構成される、高ダイナミックレンジビデオエンコーダ。
  9. 高ダイナミックレンジビデオ符号化システムであって、
    人間の色クレーダーが請求項1に記載の前記閾(G)の値を指定することを可能にするユーザインタフェースと、
    請求項1に記載の輝度プロセッサであって、前記人間の色グレーダにより指定された前記閾(G)の値を受信し及びい使用するよう更に構成され、前記輝度プロセッサの前記出力画像を表示するためにディスプレイに接続される、輝度プロセッサと、
    を含み、前記高ダイナミックレンジビデオ符号化システムは、前記閾(G)を符号化し及び出力するよう構成されるエンコーダを更に含む、高ダイナミックレンジビデオ符号化システム。
  10. 高ダイナミックレンジビデオデコーダであって、
    入力画像及び輝度マッピング関数(FLM)を受信する入力と、
    閾(G)の値を受信するよう構成される第2入力と、
    請求項1乃至7のいずれか一項に記載の輝度プロセッサであって、前記輝度マッピング関数(FLM)及び前記閾(G)を用いて出力画像を計算し、前記入力画像の輝度を変更して出力画像を生成するよう構成される、輝度プロセッサと、
    前記出力画像を出力する出力と、
    を含む高ダイナミックレンジビデオデコーダ。
  11. 輝度処理方法であって、第1ピーク明度(PB_HDR)により特徴付けられる第1輝度ダイナミックレンジを有する入力画像(MAST_HDR)の空間的に配置されたピクセルの入力輝度から、第2ピーク明度(PB_LDR;PB_MDR)により特徴付けられる第2輝度ダイナミックレンジを有する出力画像(Im_LDR;Im3000ニト)のピクセルの出力輝度を計算し、前記方法は、
    前記入力輝度の輝度マッピング関数(FLM)の出力を該入力輝度により除算した分割として乗算係数(gL)を計算することにより:gL=FLM(L)/L、前記乗算係数を計算するステップであって、前記乗算係数は、中間出力輝度になるように前記入力輝度をどのように調整するかを示す前記輝度マッピング関数に基づき、前記入力画像の画像ピクセルのいかなる入力色の前記入力輝度について定められる、ステップと、
    前記中間出力輝度が前記入力色の色度において全範囲上限境界のどれだけ上であるかを示すオーバーフロー指標(T)を計算するステップであって、前記中間出力輝度は、前記乗算係数(gL)を前記入力色に適用することにより得られる、ステップと、
    前記オーバーフロー指標が閾(G)より大きい場合に、より低い代替利得係数(Fl(gL))を決定し、その他の場合に、元の利得係数を保ち、これらのうちの1つを最終利得係数(gF)として出力するステップと、
    前記入力色(R’G’B’_nrm)を前記最終利得係数(gF)により乗算して、前記出力輝度を有する出力色(R’G’B’_HDR)を取得するステップと、
    を含む輝度処理方法。
  12. コンテンツの生成側からいかなる接続されたネットワークを介して、前記出力色にの計算に適用すべき前記閾(G)を受信するステップ、を含む請求項11に記載の輝度処理方法。
  13. コンテンツの生成側からいかなる接続されたネットワークを介して、前記代替利得係数を決定するための関数(FADAP)を受信するステップ、を含む請求項11又は12に記載の輝度処理方法。
  14. HDR画像信号であって、
    ピクセル色を含む画像と、
    ピクセル色の輝度から出力輝度をどのように計算するかを定める少なくとも1つの輝度マッピング関数(FLM)と、
    請求項1に記載の輝度プロセッサがその出力色の計算において使用すべき閾(G)と、
    を含む信号。
JP2020530505A 2017-12-08 2018-12-06 改良された高ダイナミックレンジビデオ色再マッピング Active JP7381463B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17206169.9A EP3496028A1 (en) 2017-12-08 2017-12-08 Improved high dynamic range video color remapping
EP17206169.9 2017-12-08
PCT/EP2018/083856 WO2019110752A1 (en) 2017-12-08 2018-12-06 Improved high dynamic range video color remapping

Publications (3)

Publication Number Publication Date
JP2021506001A true JP2021506001A (ja) 2021-02-18
JP2021506001A5 JP2021506001A5 (ja) 2021-04-01
JP7381463B2 JP7381463B2 (ja) 2023-11-15

Family

ID=60629574

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020530505A Active JP7381463B2 (ja) 2017-12-08 2018-12-06 改良された高ダイナミックレンジビデオ色再マッピング

Country Status (8)

Country Link
US (2) US11170478B2 (ja)
EP (2) EP3496028A1 (ja)
JP (1) JP7381463B2 (ja)
KR (1) KR102614452B1 (ja)
CN (1) CN111699507B (ja)
BR (1) BR112020011172A2 (ja)
MX (1) MX2020005813A (ja)
WO (1) WO2019110752A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10645358B2 (en) * 2018-02-20 2020-05-05 Gopro, Inc. Saturation management for luminance gains in image processing
US10970828B2 (en) * 2018-12-21 2021-04-06 Ricoh Company, Ltd. Image processing apparatus, image processing system, image processing method, and recording medium
US11232607B2 (en) * 2020-01-24 2022-01-25 Adobe Inc. Adding color to digital images
EP3873096A1 (en) 2020-02-25 2021-09-01 Koninklijke Philips N.V. Improved hdr color processing for saturated colors
US11651472B2 (en) 2020-10-16 2023-05-16 Electronics And Telecommunications Research Institute Method for processing immersive video and method for producing immersive video
CN113271449B (zh) * 2021-07-21 2021-09-28 北京小鸟科技股份有限公司 多种hdr视频的转换系统、方法、设备
CN116029914B (zh) * 2022-07-27 2023-10-20 荣耀终端有限公司 图像处理方法与电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017102606A1 (en) * 2015-12-17 2017-06-22 Koninklijke Philips N.V. Dynamic range coding for images and video
WO2017157977A1 (en) * 2016-03-18 2017-09-21 Koninklijke Philips N.V. Encoding and decoding hdr videos

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7009627B2 (en) * 2001-11-21 2006-03-07 Canon Kabushiki Kaisha Display apparatus, and image signal processing apparatus and drive control apparatus for the same
US7773158B2 (en) * 2005-10-12 2010-08-10 Panasonic Corporation Visual processing device, display device, and integrated circuit
TWI314424B (en) * 2006-06-23 2009-09-01 Marketech Int Corp System and method for image signal contrast adjustment and overflow compensation
US9417479B2 (en) * 2011-05-13 2016-08-16 Samsung Display Co., Ltd. Method for reducing simultaneous contrast error
US8896641B2 (en) * 2011-06-01 2014-11-25 Lg Display Co., Ltd. Organic light emitting diode display device and method of driving the same
JP5966658B2 (ja) * 2012-06-22 2016-08-10 ソニー株式会社 表示装置、画像処理装置、および表示方法
US10075728B2 (en) * 2012-10-01 2018-09-11 Inria Institut National De Recherche En Informatique Et En Automatique Method and device for motion information prediction refinement
KR102105645B1 (ko) 2012-10-08 2020-05-04 코닌클리케 필립스 엔.브이. 색상 제한들을 통한 루미넌스 변화 이미지 처리
US10194162B2 (en) 2013-07-18 2019-01-29 Koninklijke Philips N.V. Methods and apparatuses for creating code mapping functions for encoding an HDR image, and methods and apparatuses for use of such encoded images
CN106464892B (zh) * 2014-05-28 2019-07-02 皇家飞利浦有限公司 用于对hdr图像进行编码的方法和装置以及用于使用这样的编码图像的方法和装置
TR201808347T4 (tr) * 2014-10-10 2018-07-23 Koninklijke Philips Nv Dinamik erim eşleştirmelerine yönelik doyma işleminin belirtimi.
JP6619813B2 (ja) 2014-12-11 2019-12-11 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 特定のディスプレイに対する高ダイナミックレンジ画像の最適化
WO2017019818A1 (en) * 2015-07-28 2017-02-02 Vid Scale, Inc. High dynamic range video coding architectures with multiple operating modes
EP3220349A1 (en) * 2016-03-16 2017-09-20 Thomson Licensing Methods, apparatus, and systems for extended high dynamic range ("hdr") hdr to hdr tone mapping
JP6637396B2 (ja) * 2016-08-31 2020-01-29 株式会社ジャパンディスプレイ 表示装置、電子機器及び表示装置の駆動方法
EP3493150A1 (en) * 2017-11-30 2019-06-05 InterDigital VC Holdings, Inc. Tone mapping adaptation for saturation control

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017102606A1 (en) * 2015-12-17 2017-06-22 Koninklijke Philips N.V. Dynamic range coding for images and video
WO2017157977A1 (en) * 2016-03-18 2017-09-21 Koninklijke Philips N.V. Encoding and decoding hdr videos

Also Published As

Publication number Publication date
MX2020005813A (es) 2020-08-20
CN111699507A (zh) 2020-09-22
EP3721405C0 (en) 2024-03-06
US20220124293A1 (en) 2022-04-21
EP3721405A1 (en) 2020-10-14
US11170478B2 (en) 2021-11-09
BR112020011172A2 (pt) 2020-11-17
KR102614452B1 (ko) 2023-12-14
KR20200097307A (ko) 2020-08-18
RU2020122004A (ru) 2022-01-10
US20200357100A1 (en) 2020-11-12
CN111699507B (zh) 2024-06-18
WO2019110752A1 (en) 2019-06-13
EP3721405B1 (en) 2024-03-06
JP7381463B2 (ja) 2023-11-15
EP3496028A1 (en) 2019-06-12

Similar Documents

Publication Publication Date Title
US11533516B2 (en) Methods and apparatuses for encoding an HDR images, and methods and apparatuses for use of such encoded images
US10182247B2 (en) HDR image encoding and decoding methods and devices
JP7381463B2 (ja) 改良された高ダイナミックレンジビデオ色再マッピング
RU2642335C2 (ru) Обработка изображений с изменением яркости при цветовых ограничениях
JP6495552B2 (ja) 画像及びビデオのためのダイナミックレンジ符号化
CN109219961B (zh) 对hdr视频进行编码和解码的方法和装置
RU2640750C2 (ru) Устройство и способ для преобразования динамического диапазона изображений
US11741873B2 (en) Adjustment of display optimization behaviour for HDR images
RU2782432C2 (ru) Улучшенное повторное отображение цвета видео с высоким динамическим диапазоном

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200610

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230608

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230908

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230919

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231010

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231102

R150 Certificate of patent or registration of utility model

Ref document number: 7381463

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150