JP2020523873A - Hdrコード化(復号)のための色域マッピング - Google Patents

Hdrコード化(復号)のための色域マッピング Download PDF

Info

Publication number
JP2020523873A
JP2020523873A JP2019568706A JP2019568706A JP2020523873A JP 2020523873 A JP2020523873 A JP 2020523873A JP 2019568706 A JP2019568706 A JP 2019568706A JP 2019568706 A JP2019568706 A JP 2019568706A JP 2020523873 A JP2020523873 A JP 2020523873A
Authority
JP
Japan
Prior art keywords
color
dynamic range
range image
rgb
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019568706A
Other languages
English (en)
Other versions
JP7203048B2 (ja
Inventor
ジェローン フーベルト クリストッフェル ヤコブス ステッセン
ジェローン フーベルト クリストッフェル ヤコブス ステッセン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2020523873A publication Critical patent/JP2020523873A/ja
Application granted granted Critical
Publication of JP7203048B2 publication Critical patent/JP7203048B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/603Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/64Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/67Circuits for processing colour signals for matrixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/77Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

典型的にはより狭いRec.709色域において規定される、対応するSDR画像としての、良質なHDR画像復号を可能にするために、発明者は、第1の彩度を有する第1の色C_inを有するピクセルを含む高ダイナミックレンジ画像HDR_2020を、100ニットのピーク輝度を有する標準ダイナミックレンジ画像SDR_709であり、そのピクセルは、第1の彩度よりも低い第2の彩度を有する第2の色C_outを有する、標準ダイナミックレンジ画像に変換する実用的な方法を見出しており、変換は、第1の赤、緑、及び青の原色に従って規定される第1の色の第1のRGB表現を、第2のRGB原色に従ってそのピクセルの第2のRGB表現RGB_secにマッピングする色行列を適用することを含む色空間変換601を実施して、中間画像HDR_IMを得るステップと、第2のRGB表現に可逆的色域マッピングを適用して、マッピングされた色C_mapを得るステップと、マッピングされた色の輝度とは異なる輝度L_outを有するピクセルを有する低ダイナミックレンジ画像SDR_709を得るために、マッピングされた色の輝度に対する輝度マッピングTOMを適用し、標準ダイナミックレンジ画像SDR_709を出力するステップとを有し、可逆的色域マッピングは、マッピングされた色を規定する出力R、G、及びB色成分Ro、Go、Boをそれぞれ得るために、第2のRGB表現の3つのR、G、及びB色成分の各々にそれぞれのマッピング関数F1、F2、F3を適用することを含み、それぞれの3つのマッピング関数は2つの線形セグメント501、502を含み、セグメントの一方501は、セグメントが、それぞれ第2のRGB表現の入力赤、緑又は青色成分の閾値TPにおいて開始する恒等変換に対応し、第2の線形セグメントは、閾値TPから、第2のRGB表現のそれぞれの成分の最も大きい負の値に接続し、閾値TPは、閾値TPがそれぞれの定数kRG、kRBによって計算される色成分以外の、第2のRGB表現の2つの成分の値を乗算し、それら2つの乗算された寄与を加算することによって計算されることを特徴とする。

Description

本発明は、より大きい色域を用いてより高いダイナミックレンジ画像を表している低ダイナミックレンジ画像の通信において使用されるより小さい色域の域外にある色を処理するための方法及び装置に関する。
数年前まで、すべてのビデオ及びほとんどの静止画像は、標準ダイナミックレンジ(SDR)とも呼ばれる、いわゆる低ダイナミックレンジ(LDR)の原理に従って符号化されていた。これは、キャプチャされる元のシーンがどんなものであっても、コードの最大値(典型的には、8ビットのルマY’=255、また同様に非線形の近似的な平方根のR’G’B’色成分、又は、アナログディスプレイ駆動についての100%の電圧、より高い色精度のために後で10ビットにアップグレードされる)が、標準化された規定によって、標準合意によって100ニットであるディスプレイピーク明るさPB_D(すなわち、ディスプレイがレンダリングすることができる最も明るい白色)を有するディスプレイに対応し、すなわち、このディスプレイ上でレンダリングされるべきことを意味する。これは、すべてのディスプレイが、実際には、それらの測色能力に関してほぼ同一であり、すなわち、それらが0.1ニットと100ニットとの間の輝度(のみ)をレンダリングすることができるために行われており、それは、所望される任意の画像の色を生成するのに間に合わせるためにしなければならないことであった。しかしまた、洞窟のような元々HDRのシーンでさえあるような任意のシーンについて、洞窟内部を明るくし、典型的には、外側世界のピクセルをクリッピングして白色又は明るいパステルカラーにすることによって、満足のいく程度に見える画像及びそれらの色を規定することができる、明確な単一の色域を有することができるため、それは物事を単純にしていた。そのようなディスプレイは、非常に微細な画像をレンダリングすることができ、特に、自然物体の反射率はおおよそ95%と0.5%との間に及び、そのため、コンテンツ生成中にのみ、シーンの照明を妥当に均一にすることによってシーンの照明に気を配れば、最終的な観察者は実際に、すべての物体を自然な色で、相対的に明るく、良好に見ることになるため、消費者が不満を訴えることはない。しかしながら、光が眩しい領域又は暗く陰になった領域のいずれかを含むシーンが自然にレンダリングされなければない場合は、そうではない。
PB_D=100ニットの理論的最適値よりもわずかに暗い又は明るい実際のディスプレイを購入した場合、観察者の視覚系は、例えば、(例えば、暗く見えるべきであるホラー映画の夜のシーンを映す場合に)煩わしいほどに明るすぎるのではなく、画像が依然として適切に見え、さらには基準100ニットディスプレイ上と同じに見えるように、適合すると仮定される。
そのようなSDRディスプレイの黒色は、典型的には良好な状況においては0.1ニットであり、最悪の状況ではなお1ニット又はさらには数ニットであり、そのため、SDRディスプレイのダイナミックレンジ(最も明るい白色を、視認可能な最も暗い黒色で除算したもの)はせいぜい1000:1である。
これは、ほぼ均一に照明されたシーン(また、均一に照明されているかのようにレンダリングされており、これは、偶発的に、より高い輝度ダイナミックレンジの不均一に照明されているシーンの微分画像を生成するのを困難にし得る)、及び、約2.0のガンマを有するか、又は、0.5の逆ガンマを符号化する、ピクセル濃淡値又は輝度をレンダリングされるのに必要なすべてに対する8ビットコード化に良好に対応する。Rec.709は、一般に使用されるSDRビデオコード化規格であったものであり、現在でもそうである。Rec.709は、理論的には、この必要とされる1000:1の相対又は正規化輝度ダイナミックレンジを正確にカバーすることが示され得る、OETFとしても知られている非線形R’G’B’コード配分関数を有する。典型的には、カメラにも、非常に明るい領域と相当に暗い領域の両方を同時にキャプチャするという問題があった。すなわち、窓又は車の窓の外側に見られるようなシーンは、典型的には、光電子蓄積ピクセルウェル内ですでに、白色にクリッピングされている(赤色、緑色、及び青色の加法的な色成分R=G=B=max.を所与とし、これは、それらの平方根コード化非線形R’G’B’値R’=G’=B’=255に対応する)。本出願において、ダイナミックレンジが最初にピーク明るさ(すなわち、最も明るくレンダリングされるか又はレンダリング可能な輝度)のみによって指定される場合、最低輝度値は実際的にはゼロである(一方、実際にはこれは、例えば0.1ニットなど、ディスプレイ前面板又は映写幕の光反射のような、観察条件に依存する)と仮定されること、及び、それらのさらなる詳細は、特定の説明とは無関係であることに留意されたい。
また、HDR研究中に明らかになったが、誰にとっても容易に明らかになるとは限らないことが、誰もがそれを理解できるようにここで言及されることに留意されたい。それは、コード体系(10ビット数のみ)は、それ自体では、基準ディスプレイをそれに関連付けるのでない限り、例えば、R’=G’=B’=Y’=1023などの最大コード値が100ニットのコード化ピーク明るさPB_Cと対応し(また、実際のPB_Dにかかわらずそのような100ニットにマッピングされる)、又は代替的に、別のHDR画像については1000ニットのコード化などに対応するべきであることを提示するダイナミックレンジを生来的に有しないことである。
特に、通常は予め仮定される事柄とは反対に、色成分のルマのような、ピクセルの色成分に使用されるビット数は、ダイナミックレンジの良好なインジケータではない。これは、例えば、10ビットコード化システムが、HDRビデオ(PB_C=1000ニットの場合)、又は、SDRビデオ(それらの同じコードのPB_Cが100ニットである場合)のいずれかを符号化するためである。
また、HDR画像処理、及び、特に、色処理を困難にしているものは、コード化と関連付けられる基準ディスプレイの電気光学伝達関数EOTF、すなわち、それらがディスプレイ上でレンダリングされる必要があるときの、いくつかのルマコード[0,1023]と、ピクセルの対応する輝度との間の関係の規定でもあり、SDR画像コード化のRec.709EOTFのみとは対照的に、HDR画像をコード化するためのいくつかの異なるEOTF関数の形状があり得る。
本明細書において、HDR画像又はビデオが言及されるとき、これは、100ニットのSDR値よりも高く、典型的には少なくとも6倍高い、対応するピーク明るさPB_C又は最高のルマコードの最大輝度(又は均等に、例えば、YCbCr符号化ではなくRBGコード化の場合の最高のR’、G’、B’値)を有すると仮定される。HDR画像がより深い符号化された黒色をも有し得る一方、多くの場合、主な差異は、それらが、より明るいピクセルを表示することが可能なディスプレイ上でレンダリングされることになる、SDR画像よりもはるかに明るいピクセルを含むことである(HDRとSDRの両方の画像の場合の、例えばDB_C=0.1ニットなど、固定された最も暗い黒色について、ダイナミックレンジ比はこのとき単純にピーク明るさPB_C比として表現可能であることに留意されたい)。対応して、HDR画像が最適に見えるようにするためにレンダリングされるべき最大ディスプレイ輝度は、例えば、1000ニット、5000ニット、又は10000ニットである。これは、下記に詳述する一見複雑な概念と混同されるべきではないこと、そのようなHDR画像又はビデオを実際には、受信機に通信されることになる何らかのSDR画像又はビデオとして符号化することができることに留意されたい。この場合、画像は、100ニットディスプレイ上に直接的にレンダリング可能であるが、重要なことには、HDR画像を復元するための色変換を符号化する対応する関連メタデータを有するとき、例えば1000ニットのPB_Cを有するHDR画像を作成するためのすべての情報をも含む。また、典型的には、HDR画像は、実際には例えば5000ニットの輝度を達成する多くのピクセルを含まないために、認識することができることにも留意されたい。むしろ、大きい割合のピクセルは、実際には、SDR画像と同じ輝度を多少有するが、例えば、金属上の鏡面反射、のみならず照明、又はまた暗褐色のパブの扉越しに見える晴れた屋外の小さい領域のいくつかのピクセルは、例えば、例として約1000ニット以上のより高い輝度を有する。言い換えれば、SDR画像は、典型的には、凝縮された概ね均一な輝度ヒストグラムを有し、HDR画像は、通常の色のピクセルのモードから遠く離れた明るいピクセルの小さいスパイクを有する。レンダリングシステムは、例えば、100ニットPB_Dディスプレイ上に5000ニットPB_C HDR画像をレンダリングしないように、これを考慮に入れる必要がある。それは、これが典型的には「通常の物体」画像色、すなわち、動画ストーリーの意味的に重要な部分を含むより暗い画像領域がほぼ黒色で区別不能になることを意味するためである。受信HDR画像の表示最適化の後者の態様は、符号化されているが、純粋な符号化の態様と混同されるべきではない。この複雑性は、画像色処理の態様の多くに浸透しており、したがって、過去数年の間及び今日まで、様々な画像処理方法の再考及び再研究を必要とし続けてきており、結果、それらは新規のHDR画像処理エコシステムにおいても妥当に又は最適に機能する。手短に言えば、HDR画像処理は、最近数年でほぼすべてを打ち砕いており、そのことからも下記の解決策が必要とされる。ここで時間をかけて、HDR技術の初心者に事情が分かるように、本出願の導入において最も重要な、必要とされる新規の背景概念のいくつかを説明する。
そのため、高ダイナミックレンジマスタ画像の高ダイナミックレンジコード化は、例えば、周囲のレンダリングされるシーンと比較して明るい爆発、又は、本当に日当たりよく見える休日の写真などを有する良好な品質のHDRを表示、レンダリングすることが可能であるように、例えば、最大1000ニット(又は他のHDR画像コード化においてはそれ以上)のレンダリングされるべき輝度を有する画像を符号化することが可能である。
実際には、輝度計を用いて測定可能であるものとして非常に高いダイナミックレンジを有し得るシーンが世界には存在する(例えば、同時に、10000ニットを上回る輝度を有する、屋外の太陽に照らされた物体を窓越しに見ながら、1ニット以下程度の暗い物体を屋内でキャプチャすることであり、これによって10000:1のダイナミックレンジが与えられ、これは1000:1のダイナミックレンジ(DR)よりも10倍大きく、100:1のダイナミックレンジよりもさらに100倍大きく、例えば、TV視聴は、例えば、日中の視聴など、いくつかの典型的な状況では30:1未満のDRを有する)。
ディスプレイはさらにより良好になってきているため(約1年前から、テレビとして、さらには今年からモニタとして、100ニットよりも数倍明るい、1000ニットが現在購入可能であるPB_D、数千ニットのPB_Dが想定されており、すでに出現している)、目標は、種々の観察条件のような要因のために元々と正確に同一とまでは言わないが、少なくとも非常に自然に、又は少なくとも満足のいく程度に、これらの画像を美しくレンダリングすることを可能にすることである。また、これは、SDRビデオコード化の時期においては欠けていたもの、すなわち、それらの画像をどのようにレンダリングするかを符号化するための良好な実用的HDRビデオコード化技術を必要とする。コード化はまた、ケーブルTVプロバイダ、IC製造元、コンテンツ作成者などのような、市場の様々なプレーヤの多くの実際的な需要を可能な限り満たすべきである。
読者は典型的にはコンテンツを異なる状況において見ているため(例えば、夜間に照明の弱い居間に座っている、又は、暗い家屋若しくは映画館内にいるなど、キャプチャされている明るいアフリカの風景の中に実際に立っているのではなく、そのため、明るい物体は、より暗い観察状況においては直ちに明るすぎるように見える場合がある)、シーン及び最終的にTV(又は他のディスプレイ)上でレンダリングされるものの輝度の間に同一性はないことも、読者は理解すべきである。さらに、相対又は正規化輝度、すなわち、同じく0〜1のスケールにおける、ディスプレイ上にレンダリングされる輝度をPB_Dによって除算した値に対する、すべてのシーン輝度を何らかの最大シーン輝度によって除算した値の間に同一性はない。これはとりわけ、例えば、シーン内の太陽が5000ニット(その実際の10億ニットではなく)において画像内でレンダリングされるべきであることを規定することによって、色格付けを行う者に、利用可能な、すなわち関連付けられる基準ディスプレイのコード化ダイナミックレンジC_DR上で最適な色に関して手作業で判断させることによって処理することができる。これは、コンテンツのHDRマスタ格付けと呼ばれ、明らかに、これが実際にどのように実施されるかは、ここでも、例えば、コンテンツが出来事からのライブストリーミングとして作成されるか否かのような、様々な実際的要因に依存する。例えば、人間の介入の代替形態として、また、本出願の態様の関係する限りにおいて、自動アルゴリズムが、例えば、ローカメラキャプチャリングから(一般的に)本明細書において(マスタ)HDR格付けと呼ばれるものへのそのような変換を行う。これは、このとき、このマスタ格付けを例えば5000ニットPB_D HDRディスプレイ上で、利用可能である場所においてレンダリングすることができることを意味する。
しかしながら、同時に、今後数年間は、大きい設置型の100ニットPB_DのレガシーSDRディスプレイ、又は、例えば携帯型である(例えば、例としてディスプレイピーク明るさPB_D=500ニットを有するダイナミックレンジを有する)ために5000ニット白色を生成することができない少なくとも何らかのディスプレイを有する人が存在することになり、それらの人々は、どうにかしてHDR動画も、理想的には可能な限り最適に見ることが可能である必要がある。そのため、5000ニットPB_C HDR画像から、同じシーンの100ニットSDRの見かけの画像に変換する何らかのメカニズムがある必要がある。
読者に好都合なように、また、関与する態様のいくつかの事情がすぐに分かるように、図1は、将来のHDRシステム(例えば、1000ニットPB_Dディスプレイに接続されている)が正確に、すなわち、画像内のすべての物体/ピクセルについて適切な輝度をレンダリングすることによって処理することが可能である必要がある、多くの可能なHDRシーンの、いくつかの典型的な図解例を示す。例えば、ImSCN1は、西部劇映画からの日当たりのよい屋外の画像であり(理想的には、雨の日の見かけよりも日当たりのよい見かけを提供するために、100ニットディスプレイ上でいくらかより明るくレンダリングされるべきである、主に明るい領域を有する)、一方、ImSCN2は夜間の画像である。
そのような画像を日当たりよくし、対して他方を暗くするものは何か?それは、少なくともSDRパラダイムにおいては、必ずしも相対的な輝度ではない。過去数年のみのうちに終わったSDRの時期において常にそうであったものからHDR画像レンダリングを異なるものにするものは、SDRには、そのような制限されたダイナミックレンジ(約PB=100ニット、及び、約0.1〜1ニットの黒色レベル)があったこと、主に物体の内在する反射性がSDRにおいては示され得る(良好な白色についての90%と良好な黒色についての1%との間に入る)ことである。それは、均一な技術的に制御された照明下では物体を認識するのに良好である(それらの反射から一定量の明るさ、及び、無論、色度を有する)が、自然なシーンにおいて有することができる照明自体の美しい変化、及び、観察者に対して有し得る影響については、それほどではない。夜間の画像は、ルマヒストグラムにおいてはいくらかより暗くすることができるが、過度にはできず、又は、画像を暗く見づらくレンダリングするに留まり、100ニットTV又は100ニット符号化では、単に過度に明るいものに利用可能な余地がない。そのため、物体をそれらの照明とは無関係に示す必要があり、同時に、発生し得るシーンのコントラストが高い場合がある照明を忠実に示すことはできなかった。実際には、これは、非常に明るい日当たりのよいシーンは、どんよりした雨の日のシーンとほぼ同じディスプレイ輝度(0〜100ニット)でレンダリングされる必要があったことを意味する。またさらに、夜間のシーンは過度に暗くレンダリングされ得ず、又は、観察者は、画像の最も暗い部分を良好に区別することができず、そのため、ここでも、0ニットと100ニットとの間の範囲に及ぶ夜間の明るさがレンダリングされた。これに対する従来の解決策は、観察者が日中のシーンを見ているのではないことを理解するように、夜のシーンを青く色付けすることであった。無論、ここで、実生活において人間の視覚はまた、得られる光量に適合するが、過度にではない(実生活においてほとんどの人は、暗くなってきていること、又は、自身がより暗い若しくは非常に明るい環境にいることを認識する)。そのため、その中で芸術的に設計することができる、すべての注目に値する局所的でかつ一時的な照明効果を有する画像をレンダリングして、少なくともHDRディスプレイが利用可能である場合に、はるかにより現実的なレンダリング画像を得ることが所望される。例えば、暗い室内のライトセイバーの適切な輝度が正確にはどのようなものであるかは、マスタ格付けの判断を行う色格付けを行う者に委ねられ、本出願は、そのような画像を生成及び処理するための必要な技術的可能性に焦点を当てる。
図1の左軸には、5000ニットPB_Dディスプレイについて、5000ニットPBマスタHDR格付けにおいて見たいと思われる物体輝度が示されている(すなわち、格付けを行う者は、家庭において典型的な高品質HDR TVが5000ニットPB_Dを有すると仮定して画像を生成し、実際に、ある種のそのような家庭視聴室内で座って、そのような格付けディスプレイ上で格付けする)。単なる錯覚ではなく、カウボーイが明るい日当たりのよい環境にいる現実的な感覚を伝達することを所望する場合、それらのピクセル輝度を、例えば、約500ニットなど、十分に明るく指定し、レンダリングしなければならない(ただし、同時に煩わしいほど過度に明るくしてはならない。これはHDR画像生成及び処理の典型的な落とし穴である)。夜のシーンについては、主に暗い輝度が所望されるが、オートバイに乗った主人公は良好に認識可能であるべきであり、すなわち暗すぎてはならず(例えば、約5ニット)、同時に、例えば、5000ニットディスプレイ上で約3000ニット、又は、任意のHDRディスプレイ上でほぼピーク明るさ(例えば、1000ニット)など、例えば街灯の非常に高輝度のピクセルもあり得る。第3の例ImSCN3は、現在同じくHDRディスプレイ上で可能である画像を示し、非常に明るいピクセルと非常に暗いピクセルの両方を同時にレンダリングすることができる。これは、暗い洞窟を示しており、日当たりのよい屋外を見ることができる小さい開口がある。このシーンについて、木のような日に照らされた物体を、例えば約400ニットなど、明るい日当たりのよい眺望の印象をレンダリングすることが所望されるシーン内よりもいくらかより暗くすることが所望され、これは、洞窟の中にいる本質的に暗い人物とより調和されるべきである。色格付けを行う者は、不適切に暗く又は明るく見えるものがなく、コントラストが良好であり、例えば、この洞窟の暗がりに立っている人が、(HDRレンダリングが明るいハイライトだけでなく、暗い領域もレンダリングすることが可能であると仮定して)約0.05ニットのマスタHDR格付け画像においてコード化されるように、すべての物体の輝度を(すでにPB_HDR=5000ニットのマスタHDR画像において)最適に調和させることを所望する。
ここで次に、HDR画像をSDRで再格付けすることがしばしば必要とされ、これは単純化すると、以下のように要約され得る。すなわち、その機能を有するHDRディスプレイ(又は、それゆえ、例えばPB_C=5000ニットのHDR画像としてコード化される画像)上で、物体輝度がすべて、大きい輝度範囲に沿って、最適に見える輝度位置まで遠く離れて拡散され得る一方で、SDR輝度範囲上では、より小さい輝度範囲に沿って適合するように、それらの輝度をともに絞り込む必要がある。依然として、これは、好ましくはSDR画像が依然として可能な限りHDRの見かけを伝達するように行われ、このため、現在のところ、HDRマスタ格付けから導出される二次格付けも、依然として色格付けを行う者によって行われるマスタ格付け、すなわちSDRマスタ格付けである。すなわち、現在、動的メタデータとしても説明される、コンテンツ依存の最適な輝度マッピング機能を適用する必要がある。すべての対応するSDR画像ピクセル/物体輝度が、図1の右のSDR輝度範囲上に示されている。2つの格付けされている画像の間で、中ダイナミックレンジ(MDR)画像(例えば、800ニット)とも呼ばれる、異なるコード化ピーク明るさPB_Cを有する他のHDR画像を計算することもできることに留意されたい。
これらすべての非常に異なるタイプのHDRシーンのすべての物体輝度を、図1の右側に示す、はるかにより小さいSDRダイナミックレンジ(DR_1)において利用可能な最適な輝度にマッピングすることは常に些細なタスクではなく、このため、好ましくは色格付けを行う者は、色変換(少なくとも、輝度変換、又は、ルマコードについて均等に実施されるときのルマ変換を含む。輝度変換は実際には、技術的に関心事である部分戦略を定式化するいくつかの関数から構成されるが、本出願について、読者はこれを、理解を単純にするために単一の関数L_out_SDR=F_L(L_in_HDR)であるものとして考える)の決定に関与することが理解され得る。しかしながら、例えば、その輝度ヒストグラムのような画像コンテンツの色特性の分析に基づく、自動的に決定される変換を使用することを常に選択することができ、これは、例えば、より単純な種類のHDRビデオ、又は、例えばリアルタイムコンテンツ生成における、人間の格付けがあまり好まれない用途について好ましい選択肢になる(本特許出願においては、限定ではなく、格付けが例えば、キャプチャの開始の直前の全体的な生成のための、いくつかの色変換関数パラメータの迅速な設定をも含み得ると仮定される)。
さらに、本出願人は、当該技術分野において典型的な単一の種類のディスプレイ(例えば、すべての最終的な観察者が1000ニットPB_Dディスプレイを有するという仮定の下で、画像はPB_C=1000ニットで規定される)について、単一の標準化HDRビデオのみの通信(符号化)を処理することができる(例えば、EOTF符号化されているものとしての10ビットの知覚量子化器)だけでなく、特に100ニットPB_D SDRディスプレイのSDR画像など、当該技術分野における様々な他のピーク明るさを有する様々な可能な他のディスプレイタイプについて最適な見かけ/格付けを有するビデオを同時に通信及び処理することができる、HDR画像及び特にHDRビデオのコード化システムを設計した。すなわち、そのようなHDRビデオ通信システムにおいて、送信されるピクセル化画像として、典型的には排他的にではないが、本出願においてSDR画像として1つのタイプの格付け画像のみが実際には通信されるが、それらのSDR画像からHDR画像ピクセル色を規定する関数がメタデータに加わるため、同時に、そのシーンのHDR画像の見かけも通信される(実際には、二重画像通信又は少なくともピクセル化HDR画像データの第2の層のように、実際にそれらを通信する必要はない)。
例えば、10ビットのレガシーMPEG HEVC又は同様のビデオコード化技術において、HDR画像のセットのみを符号化すること、すなわち、正確な見かけ、すなわち画像物体輝度を、例えば1000ニットのHDRモニタ上でのレンダリングのために符号化することはそれほど困難ではない。相当により大きいダイナミックレンジを有する新たなタイプの画像、すなわち、白色の相対的に暗い領域と比較して大部分においてバンディングを示さない画像について、OETF(光電子伝達関数)としても知られる最適なルマコード配分関数を確立し、その後、すべてのピクセル/物体輝度についてルマコードを計算するだけでよい。
しかしながら、出願人は、HDR画像を実際には、その後、レガシー100ニットPB_D SDRディスプレイ上で正確に見えるSDRの見かけをレンダリングするために直ちに使用することができるSDR画像(本明細書においては、標準ダイナミックレンジは、100ニットPB基準ディスプレイに対して参照され、多くの場合、そのような基準ディスプレイ上で最適に色格付けされているレガシーRec.709OETFベースの符号化を意味する)として通信することが可能であるシステムを設計した。
これは、a)すべての物体の相対輝度が、100ニットPB_Dディスプレイ上で正確に又は少なくとも妥当に見えるように決定されること、及び、b)受信手段が、そのような輝度を生成するためのルマが適切な平方根関数であるRec.709OETFによって規定されていると仮定することができることを意味する。
それに加えて、適切な可逆的色変換関数F_ctのセットが、図2に示すように規定される。図2は、基本概念を説明することを目的として、SDR通信タイプの典型的なシステムを非限定的に示す。これらの関数は、色格付けを行う者によって、逆関数IF_ctを使用することによって、元々のマスタHDR(MAST_HDR)画像を再構築HDR画像(Im_RHDR)として十分に正確に再構築することができることを同時に保証しながら、HDRマスタ画像MAST_HDRに対応する、妥当に見えるSDR画像(Im_LDR)を得るように規定され、又は、適切なそのような色変換関数F_ctを決定するために、コンテンツ作成側において自動分析アルゴリズムが使用される。IF_ct関数は、通信されるように順方向のHDR−SDRマッピングF_ct関数から決定することができ、又は、システムは、IF_ct関数を直接的に通信することさえする。
色変換手段202は、典型的には、マスタHDR画像(MAST_HDR)ピクセルの相対輝度のF_ct輝度マッピングを適用する、すなわち、最大輝度が1.0であるように正規化される。本発明の概念を理解するために、単純にするために、100ニットPB_C SDR出力画像Im_LDRのピクセル(すなわち、図1の右側)の正規化SDR出力輝度を導出するために4乗輝度マッピング関数を使用する、すなわち、そのような関数は、シーンのマスタHDR画像に対応するSDR格付けの対応する画像の妥当な見かけを与えると仮定する(妥当とは、特定のシーンについて、陰になった領域の大きい割合が暗く見えず、ランプ及び他の光を出す物体が、SDR輝度ダイナミックレンジが許容する限り、たとえSDR画像においても、それらがより暗い画像領域と妥当な領域内コントラストを依然として有することによって所望に応じて浮き上がるような態様を意味する。他の画像については他の要因が寄与するが、そのような詳細は、本発明の技術的概念を説明するのに必須ではなく、限定でもない)。受信手段は、受信される対応するSDR画像からマスタHDR画像を再構築することが可能でなければならないため、又は、何らかの圧縮関連アーティファクトを別にすれば少なくとも近似して再構築することが可能でなければならないため、実際のピクセル化画像は別として、色マッピング関数もビデオ符号化手段203に入力しなければならない。限定ではなく、ビデオはMPEG HEVCビデオ圧縮手段を用いて圧縮され、関数は、例えば、SEIメカニズム又は同様の技法によってメタデータ内に格納されると仮定する。
そのため、コンテンツ作成装置221の動作の後、画像通信技術の観点から、ビデオ符号化手段203は、通常のSDR画像を入力として得、より重要なことには、技術的にはSDR画像であるものを出力するように振る舞う。そのため、例えば、送信フォーマッタ204のようなさらなる技術が、何らかの変換媒体205へ行くためにデータをフォーマットするために必要なすべての変換を適用し、変換媒体205は、SDRコード化パラダイムにおいて実施するために使用されるすべての典型的なステップを単に適用することができる。例えば、ネットワーク又は放送波通信のためのより高い周波数における波要素のコード化への変換が実施され、又は、データが、BDディスクなどのピットに変換される。
その後、画像データは、例えば、ATSC3.0、又はDVB、又は何らかのビデオ信号通信原理に従って、例えば衛星又はケーブル又はインターネット送信など、何らかの送信媒体205を介して1つ又は複数の受信側へと進行する。
任意の消費者又は専門家側において、例えば、セットトップボックス、テレビ又はコンピュータのような様々な物理的装置に組み込むことができる受信手段206が、復元及びチャネル復号を適用することによって、チャネル符号化を解く。その後、ビデオ復号手段207が、復号SDR画像Im_RLDR、及び色変換関数メタデータF_ctを得るために、例えば、HEVC復号を適用する。その後、色変換手段208が、SDR画像を、任意の非SDRダイナミックレンジの画像に変換するように構成される。例えば、MAST_HDRからIm_LDRを作成するために、符号化側において使用される色変換F_ctの逆色変換IF_ctを適用することによって、5000ニットの元々のマスタ画像Im_RHDRを再構築する。又は、SDR画像Im_RLDRを異なるダイナミックレンジ、例えば、ディスプレイ210が3000ニットPBディスプレイである場合に最適に格付けされるIm3000ニット、又は、1500ニット又は1000ニットPB画像などに変換するディスプレイ調整ユニット209が含まれる。非限定的に、ビデオ復号手段及び色変換手段は、単一のビデオ再決定装置220内にあると仮定される。
このシステムは、HDRの、SDRへの及びSDRからの色変換を行う、すなわち、受信手段において再格付け画像を自動的に決定する必要がある場合に完璧に機能し、これらの画像は同じ原色を有する同じ色空間内で生じ、例えば、マスタHDR画像とSDR画像の両方が、レガシーSDRテレビのRec.709 EBU RGB原色に従って規定される。HDR対SDRの輝度態様が、その後処理される。しかしながら、色は三次元量である。これは、より明るいピクセル色(すなわち、より高い絶対ピクセル輝度)に加えて、別の色特性、すなわち、いわゆる広色域画像のより高い彩度が存在し、これは原則として、HDR自体とは無関係である(広色域は、SDR TVの可能な品質向上とは無関係に開発された)が、より高い輝度及びダイナミックレンジを求めて技術を向上させようとした場合に、注目に値する飽和した色をも有するシステムを作成しようともし得ると、決定主体が推測したために、これは混同されていることを意味する。しかしながら、事業的要求は別として、それは、色域が複雑な形状を有し、有彩色方向処理を異なるものにし、輝度処理と複雑に、均等におり混ざったものにするため、これが技術的に容易に行われることを意味しない。そのため、解決策が見出される必要がある。
図3は、これらの問題を概略的に示す。マスタHDR画像は、特に色彩豊かにされたものであり、すなわち、飽和RGB原色を有するHDR色域GAM_Hにある。例えば、Rec.2020は、そのような飽和色域であり、HDR動画をマスタリングするのに好ましい色域である。しかしながら、通信される画像がRec.709測色によってより小さいSDR色域GAM_Sにおいて符号化されることが所望される。これは、レガシーTV(絶対的にHDRを意識しない、すなわち、それらは、さらなる測色処理をせずに、HEVC展開SDR画像をそのまま使用する)がそのような色を予期するためである。すなわち、明らかに、より大きいGAM_Hはより小さいGAM_S色域外の色を含み得るが、通信されるものはすべて、より小さいGAM_S内の色でなければならない。色度(下部)平面において、それぞれSDR赤、緑、及び青の原色(Rs、Gs、Bs)及びより飽和したHDR原色(Rw、Gw、Bw)によって区切られる色域三角形が見られ、それゆえ、より飽和した色を作成することができる。また、3Dでは形状が複雑であるため、特にいくつかのシーンについて関係は複雑になり得る。明るすぎる色(色Col1)の問題があるだけでなく、典型的なHDR−SDR輝度マッピングも必要であることが分かる。しかし、さらにグランド面には、そのような輝度マッピングによって対処することができない、暗い色があり得る。Col2のような色は暗いままであるべきであるが、それらは飽和されることになる(彩度は、この例ではその軸に入る同じHDR白色(WH)及びSDR白色(WS)色度を有すると仮定される、中立の軸からの距離である)。そのため、それ以外の何かが行われる必要がある。
いくつかの従来技術の色域マッピング技法が存在するが、それらはすべて、エンドポイントの観点から設計されており、すなわち、ここで受信手段は、広色域画像(及び、通常はSDR画像、多くの場合、色域マッピング問題をHDR−SDRマッピング問題と混同することを回避する傾向にあるため)を有し、より小さい色域に一方向にマッピングされ、すなわち、GAM_S内の色を伝達する。しかし、これらの方法は、可逆性を考慮に入れる必要がない。これは、受信手段側においてHDR画像に再格付け(/再構成)されるべきSDR画像が通信されないためである(すなわち、より明るい色を有するだけでなく、その元々の広色域飽和有彩色が復元されてもいる)。すなわち、SDR画像を通信するHDRビデオコード化技術に統合することができる単純な実用的色域マッピングが必要とされている。
米国特許出願公開第20170064334号は、受信手段が、受信SDR画像色域内の色を対応するHDR色域色にマッピングするための技法である、色ボリューム変換を適用することによって、受信SDR画像からのHDR画像再構築を計算することを可能にする情報を付加して、HDR画像をSDR画像として通信するために使用することができる技法の一例である。この従来技術の特許出願は、HDR色域が彩色的にSDR色域よりも広いものでもあり得ることに言及しているが、この教示は主に、必要な輝度再マッピングに焦点を当てている。技術的な差異が完全に理解されるように明瞭にするために、図9を用いて状況を説明する。本発明においては、より小さいSDR色域901(元々は線形RGB色成分輝度として表現される色であるが、同様の技法が、少なくとも原則的に、他の色表現において指定され得る)と、指定可能な色902のより大きいHDR色域との間で対応する色を決定するという一般的な問題があると仮定する。この作業は、入来するSDR色(Rs、Gs、Bs)について、対応するHDR色を決定することである。例えば、目標が、すべてのSDR色を、SDRディスプレイ上で見えるようにHDRディスプレイ上で正確にレンダリングすることである場合、HDR色域はより大きい色域であるため、そのような作業は、数学的に容易に実行可能である。最初に、Rh=Rs、Gh=Gs、Bh=Bsと等しくすることによって、SDR色をHDR色として解釈する。そのような大きいHDR色成分は表示することによって、無論、SDR色よりもはるかに明るい色が示される。これは例えば、SDRディスプレイの10倍明るい表示をその最大値(Rhルマコード=例えば1023)まで駆動することによって、SDRディスプレイ上よりも明るい赤色部分色成分がもたらされるためである。したがって、正確なRGBディスプレイ駆動値、及びマッピングされた色CLHを得るために、中間色C1imH、及び、したがってそれらの3つのRGB成分に色ボリューム変換を適用する必要がある。HDRディスプレイが、シミュレートされる必要があるSDR色よりも10倍明るい場合、マッピングはRh_CLH=Rh_C1imH/10=Rs/10;Gh_CLH=Gs/10;Bh_CLH=Bs/10でなければならないことが、容易に理解され得る。これは、[0030]において言及されているスケーリング係数手法である。一般に、単純な線形ボリューム変換は、3×3行列を使用する。最も一般的で強力な色ボリューム変換は、[0036]において言及されている3D−LUTである。その原理は、本発明の図9において正方形の色を用いて示されている。HDR色CLinHを対応するSDR色LUT[CLinH]にマッピングするという複雑なことが所望される。各可能な入力色RGBトリプレットに対するトリプレットのリストである3D LUTによって、以下のように、所望されるワイルド色ボリューム変換挙動をどのようなものでも規定することができ、
(Ro,Go,Bo)=F_RiGiBi[Ri,G,Bi]、ここで、いずれの所望の出力値(Ro,Go,Bo)に対しても指示するF_RiGiBiの変動は、LUTがちょうどこれらの関係の大きい記憶手段であるため、各入力トリプレットと関連付けることができる。
そのような強力な色ボリューム変換を有するとき、これは、1つのステップにおいて「すべての色マッピング問題を解決する」ことができ、従来技術に基づいて選択される色ボリューム変換手法が何であれ、典型的には、HDR画像とSDR画像との間の輝度再マッピングを行うのと共に、色の彩度に関する任意の問題が解決されると理解することが重要である。輝度処理を彩色的処理から分離するシステムを有するとき、物事は非常に異なるものになり、典型的には、より複雑になる。またさらに、(例えば、図4の前処理ユニット403及び後処理ユニット425のように)既存の、少なくとも輝度の処理と容易に組み合わせることができる可逆的色域マッピングを設計することが所望されている。
HDR復号手段による高品質HDRビデオ再構築と高品質SDRビデオ通信との両方を、それらの画像のうちの一方、特にSDR画像を実際に通信することによってHDRシーンのそのような格付け画像の対を通信するシステムについて可能にするために、本特許出願は、第1の彩度を有する第1の色(C_in)を有するピクセルを含む高ダイナミックレンジ画像(HDR_2020)を、100ニットのピーク輝度を有する標準ダイナミックレンジ画像(SDR_709)であって、そのピクセルは、第1の彩度よりも低い第2の彩度を有する第2の色(C_out)を有する、標準ダイナミックレンジ画像に変換する方法を教示し、変換は、
第1の赤、緑、及び青の原色に従って規定される第1の色の第1のRGB表現を、第2の赤、緑、及び青の原色に従ってそのピクセル色の第2のRGB表現(RGB_sec)にマッピングする色行列を適用することを含む色空間変換(601)を実施するステップであって、第2の赤、緑、及び青の原色は、第1の赤、緑、及び青の原色よりも小さい色三角を包含し、中間画像(HDR_IM)を得る、ステップと、
第2のRGB表現(RGB_sec)に可逆的色域マッピングを適用して、マッピングされた色(C_map)を得るステップと、
マッピングされた色の輝度とは異なる輝度(L_out)の出力色(C_out)を有するピクセルを有する低ダイナミックレンジ画像(SDR_709)を得るために、マッピングされた色の輝度に対する輝度マッピング(TOM)を適用し、標準ダイナミックレンジ画像(SDR_709)を出力するステップと
を有し、
可逆的色域マッピングは、マッピングされた色を規定する出力R、G、及びB色成分(Ro、Go、Bo)をそれぞれ得るために、第2のRGB表現の3つのR、G、及びB色成分の各々にそれぞれのマッピング関数(F1、F2、F3)を適用することを含み、それぞれの3つのマッピング関数は2つの線形セグメント(501、502)を含み、セグメントの一方(501)は、セグメントが、それぞれ第2のRGB表現の入力赤、緑又は青色成分のそれぞれの閾値(TP_red、TP_green、TP_blue)において開始する恒等変換に対応し、第2の線形セグメントは、それぞれの閾値(TP_red、TP_green、TP_blue)から、第2のRGB表現のそれぞれの成分の中間画像(HDR_IM)内で発生する最も大きい負の値であるそれぞれの最小値(minP_red、minP_green、minP_blue)に向かい、それぞれの閾値は、
TP_red=kRG*max(0,G_in)+kRB*max(0,B_in);TP_green=kGR*max(0,R_in)+kGB*max(0,B_in);TP_blue=kBR*max(0,R_in)+kBG*max(0,G_in)
のように、それぞれの閾値がそれぞれの定数(kRG、kRB)によって計算される色成分以外の第2のRGB表現の2つの成分の値がゼロよりも大きい場合に、2つの成分のそのような値を乗算し、それら2つの乗算された寄与を加算することによって計算されることを特徴とする。特に、実際に通信される画像が、その底部において、典型的には、通常のビデオ原色であり、SDRビデオコード化が最近まで使用されていたビデオコード化であった、SDRビデオの時期においてビデオ符号化に使用されていたビデオ原色であるような、Rec.709原色によって規定される、より小さい色度三角形を有するより狭い色域内で規定される、標準ダイナミックレンジ画像である必要がある場合に(すなわち、最大100ニットの輝度、すなわち、いわゆるコード化ピーク明るさPB_Cを有するようにすべての色を定義し、すべてのより低いピクセル輝度が、SDR画像上に表示されるときに可能な限り、SDR画像内の物体輝度が依然としてHDR画像物体輝度と妥当に同様に見えるように規定される、すなわち、実際には適切に成形された輝度マッピング関数TOMを用いてHDR輝度から計算される、標準的な様式において)、これは、ダイナミックレンジ変換の需要に特に良好に調和する可逆的色域マッピングを行う、単純であり、すなわち、容易に可逆性でありながら、なお強力な良好に機能する様式を提供する(それゆえ、符号化手段において、より大きいHDR色三角から、ダイナミックレンジ処理及び画像通信が行われるより小さいSDR色三角へのマッピングが行われ、復号手段において、より小さい色三角によって規定される色から元々のより彩度の高い再構築HDR色への可逆的マッピングを行うことができ、輝度マッピングは無彩色方向において機能する)。本発明の可逆的色域マッピングの中核的要素は、TP閾値の確立であり、少なくともいくつかの実施形態は、負のRGB値を補正する必要がある双一次マッピング曲線のより低いセグメントの角度cPのうちの少なくとも一方の妥当に機能する値を確立し、又は、いくつかの受信手段が、例えば、それらの側で3つのRGB成分の少なくとも1つの最も低い負の値minPを確立する(しかしながら、他の実施形態は、それらの側で最適な関数規定パラメータ値を確立し、それらを復号手段において直接的に使用されるメタデータとして通信する)。また特に、TP値は、異なる色、及び、復号手段によって通信又は確立されるk係数に基づくそれらの色成分の大きさについて計算することができる。
そのため、この技術をすべて適所にて用いることによって、すなわち、マスタHDR画像に対応する符号化部位において生成されているSDR画像に加えて、すべての必要なマッピング関数データを通信することによって(例えば、輝度マッピングはLUTとして通信し、それだけでなく関数の形状を規定するいくつかのパラメータも通信し、下記から読み取ることができるように、3つの関数の色域マッピングは、3×2パラメータ(6C)、及び、典型的にはまた、RGB色成分の各々の双一次マッピング曲線のより低いセグメントが、ゼロ出力成分又は図5Aのy軸値を配分されている、例えばminP_redなどの、入力色のそれぞれの色成分のこの画像内のそれぞれの最小値から開始して、例えばTP_redなどのそれぞれの閾値点に上がる速さを規定する少なくとも1つの角度cPを用いて容易に通信される)、任意の受信手段が、受信SDR画像からHDR画像を正確に再構築することができる。
第1に、恒等セグメントを使用することによって、画像内で典型的に発生する色のほとんど(両方の色域、すなわち、HDR画像のより広い色域、及びまた、実際に通信されるSDR画像の色域において忠実に表現することができる、いくらか彩度の低い色)は変更されず、いくつかの彩度の高い色についてのみ、より傾斜の小さいセグメントによってSDR色域に絞り込まれる色のコード化の量子化に起因して、わずかな変化が生じ得る。しかし、主要な要因は、概ね、より広い色域のHDR色がそれらの飽和色位置に再構築されることであるため、それはほとんど重要ではなく、又はさらには注目すべき問題でもない。
これら3つの関数の形状を最適化することができる、すなわち、それらの3×2規定kパラメータを、例えば、現在の画像又は連続する画像のショットの色特性について符号化側において最適に決定することができ、メタデータとして受信手段に通信することができることも重要である。色成分の最適な閾値(例えば、TP_red)は、本発明によれば、TP_red=kRG*max(0,G_in)+kRB*max(0,B_in)のように、2つの他の色成分の2つの重み付き寄与を加算することによって最良に決定され、ここで、G_in及びB_inは、入力色、すなわち、第2のRGB表現(典型的には、排他的にではなく線形赤、緑、及び青成分を有する)のそれぞれ緑及び青の成分である。max演算子は、2つの他の色成分の2つの部分的寄与が負でないことを保証する。例えば、kRGは、下記で分かるように、緑方向における赤のシフトの寄与を与える。それゆえ、これは、RGB色がどのようなものになるかにかかわらず、それに対して単一のマッピング関数を有する(この色域マッピングとは無関係に輝度の望ましい特性を与える)のではなく、色の実際の総RGB値への色域マッピングの双一次R、G、及びB成分マッピング関数を調整する、単純であるがなお強力な様式を与える。符号化手段が6つのkパラメータの最適な値、したがって、最適な色域マッピング関数形状をそのように決定及び通信することができることが重要である。これは、これらの形状が、必ずしも最悪の事例について決定される必要はなく、実際にはその状況、すなわち、画像又は画像の時間系列内に存在する実際の色に対して調整することができるためである。例えば、Rec.2020からRec.709への色空間変換は、相当に低い負の値(又は、言い換えれば、そのような負の数の高い絶対値、最も高いものが最も大きい負の値として規定される)をもたらし得るが、これは、Rec.2020境界に近い、これらの非常に彩度の高い色が実際に画像内に存在する場合に限る。また、多くの場合、そのような彩度の高い色は、自然な画像には存在しないか、又は、おそらく数ピクセルにわたってしか存在しない。より小さいRec.709色域のほんのわずか外部にある、画像内の存在する色しかない場合、色空間変換後には小さい負の数しか発生せず、低い値のTPを有する(その色成分の)マッピング関数を使用することができる(その色成分の負の値を正の値にマッピングするために多くの余地が自由にされる必要がないため)。
本明細書において、Rec.2020によって規定されるHDR画像をRec.709SDR画像にマッピングする単一の例によって原理を説明する場合、明らかに、HDRコーデックに最適化された同じ可逆的色域マッピングを、例えば、HDR画像のDCP−P3原色など、いずれかの画像の他の色域に適用することができる。
発明者は、本発明の実験研究から、kRG、kRBなどの固定原色系について、測色方程式から係数を決定することもできるが、特定の画像又は画像シーケンス内の利用可能な色の実際の色域は、例えば、Rec.2020コンテナが可能にする色の合計よりも(はるかに)小さくなり得るため(すなわち、Rec.2020の色表現色域全体と一致するより大きい色域において表現され得る最も彩度の高い色の、より小さい色域へのマッピングの可能な「より悪い」事例)、(少なくとも)6つのkXX値の通信は、受信側HDR画像復号装置の可変最適色域マッピングの仕様を良好に実現することを実際に認識した。
3つのマッピング関数(F1、F2、F3)が、上記それぞれの関数を規定する2つの線形セグメント(502)のうちの第2のセグメントの水平軸(すなわち、中間色表現のその入力色成分値からの、それぞれの出力赤、緑又は青色成分を規定するグラフの入力軸)から測定される方向のそれらの角度(cP)の異なる値を有するように、本方法が規定されることが有利である。図5Aにおいては、TPを通る水平の破線から下向きの角度が指定されているが、三角法から、これはminPにおけるx軸からの第2のセグメント502の上向きの角度に等しいことに留意されたい。そのため、赤曲線はTP_red及びcP_redによって規定され、緑曲線はTP_green及びcP_greenによって規定され、青曲線はTP_blue及びcP_blueによって規定される。(上記のより一般的な原理にあるように)下記に説明するように実際に6つのkXX値を通信することによって、3つの可変画像最適化TP値のみを規定し、マッピングのより低い線形セグメント(502)の角度が固定される(受信手段によって知られる)と仮定する場合、それはすでに非常に良好に機能し、例えば、0.25が、復号手段においてHDR再構築画像のより広い色域において彩度の高い色の良質な再構築可能性をもたらす。それゆえ、3つの曲線に単一の値cPを使用するか、又は、少なくとも3つではない異なる値(例えば、常に機能するように大きくされるか、又は、受信手段によって確立されるために、それらの値のいくつかは最適化され得、他は固定され得る)を使用する様々な実施形態を設計することができる。しかしながら、最終的な精度について、符号化手段(結果的に復号手段)が可変のより低いセグメントを使用することができることが有用であり、可変角度cPは、場合によって大きい負の色成分値をすべての正の色成分値にマッピングする(これを受けて、その後、可逆的輝度マッピングを適用することができる)。より一般的な事例において、9つの係数すなわち、6つのkXX値並びに3つの角度値cP_red、cP_green及びcP_blueを通信する。又は、予め合意されているデフォルト値(典型的には0.25)とは異なり、なお3つの色成分に対して同じであるが、現在の画像コンテンツ状況に対しては0.25よりも良好である、単一のcP値を通信し、これによって、9つの代わりに、7つのみのパラメータが通信される。例えば、いくつかの画像は、視覚的に問題のある結果を与えることなく、SDR画像においていくらかより強い色圧縮を受け、これによって、例えば、cP=1/8の符号化手段が決定する選択がもたらされる。これはすべて、画像内の存在する彩度の高い色の種類(及び、典型的にはどの画像オブジェクトの中にあるか。例えば、重要な彩度の高い物体に対して、画像化されているシーンの背景の小さい領域内の重要でないTLチューブ)に依存し、また、実際にコンテンツ作成者がHDR画像再構築エラーとして許容可能であると判断するものに依存する。オフライン符号化において、これは、人間によって検証され、リアルタイム符号化手段においては、例えば、彩度の高い色の量、それらが他の色と成すコントラストの程度(例えば、それらが画像又は平均画像内の他の色よりもどれだけ明るい及び/又は彩度が高いかなど)、又は、それらが、Rec.709色域の問題のある彩度の高い色域外の色を空間的に取り巻く色と成すコントラストの程度などを考慮に入れる関数によって、cP値をより小さくする何らかのペナルティを計算する画像分析方法を使用する。そのような関数は、典型的なHDR画像の集合に対して最適化し、その後、それらが画像色組成状況をどのように判断するか、及び、典型的には少なくともHDR画像再構築品質に対する、ただし、いくつかのHDR画像通信システム構成についてはまたSDR画像の視覚的品質に対する、cP決定の結果としての視覚的影響に応じて、例えば、cP=1/3、1/4、又は1/6又は1/8の間で選択する。
両方の状況において、数学は、より低いセグメントが、実際に処理されている画像又は画像の時間的セットのピクセル色のデータセット、すなわち、実際の画像色域内で発生するその成分の、典型的には最も大きい負の(すなわち、最高の絶対値を有する)値である、その色成分(例えば、P=Red)のminP値であるx座標(一般的に同じ原理の下で、符号化手段は、例えば、SDR及びHDR画像内の同じ色に対する、まさに最も彩度の高い色の少量のクリッピングをもたらすことになる、実際の最も大きい負の値よりもわずかに高い[すなわち、絶対値がより小さい、又は、よりゼロに近い]minPの、任意の実用的に良好に機能する値を使用することを決定することに留意されたい)、及び、ゼロのy座標又はその最も大きい負の値のそれぞれの色成分の出力において終端することを保証する。符号化手段は、様々な様式において画像を分析することによって、これを検出することができ、例えば、現在の色をすべて検査する代わりに、現在の色をサブサンプリングし、飽和シアンなどのような、何らかの典型的な試験色を使用又は検証することができ、これは、コード化(復号)装置/方法の基本原理を超えた実施形態である。より小さい色域(典型的にはRec.709 SDR)の原色原理への色空間変換画像においてminP値を見出すことは、固定行列関係のために、元々のHDR画像色を分析することと等価であるが、中間色空間変換画像において、より狭い三角形の外部で負の色成分値が発生するため、分析は実用的に最も容易であることに留意されたい。そのため、最適化された色域マッピングが適用される、本発明の1つ又は複数の画像内で発生するそれぞれのminP_red、minP_green及びminP_blueの最小値は通信する必要がないが、受信側において、第2の線形セグメント502を、例えばcP_redなどの適切な角度で、例えばTP_redなどのそれぞれの閾値点における恒等変換から下向きに拡張し始めることによって、一意に決定することができ、通信及び受信されるものとしてのパラメータの良好な値は、処理されるべき画像内で発生するすべての色を、最小の、例えば、赤色成分のminP_redを有する色まで正確に色域マッピングすることができることを保証する。
有利には、低ダイナミックレンジ画像は、その色を、Rec.709原色に従って規定される。
有利には、高ダイナミックレンジ画像は、その色を、例えば、映画原色(例えば、DCI−P3)、又はRec.2020原色(Rec.2020規格の完全な規定は、Recommendation ITU−R BT.2020 Parameter values for ultra−high definition television systems for production and international programme exchange 08/2012;p. 3 table 3 system colorimetryである)のような、広い色域原色に従って規定される。
原色は、x_red=0.708;y_red=0.292;x_green=0.170;y_green=0.797;x_blue=0.131;y_blue=0.046である。しかし、広い色域三角形は必ずしも、実際の理論的色空間(例えば、Rec.2020)原色三角形である必要はなく、画像内に存在する実際の色の周囲の三角形であってもよく、これは実際に決定される必要はなく(すなわち、例えば、それらの包絡形状の数学的パラメータ化として通信される必要はない)、下記の色域マッピングアルゴリズムによって、すなわち、最適なkXX値を決定及び通信することによって、直ちに実現される。
これから、原色線形測色を適用することによって、任意の色を、Rec.709 RGB原色系において表されるときのその色に変換するための3×3行列の係数を計算することができる。
入力高ダイナミックレンジ画像を、色マッピング関数データ(TOM、6C)と共に標準ダイナミックレンジ画像(SDR_comm)として符号化するように構成されている高ダイナミックレンジ画像符号化手段(401)が有利であり、符号化手段(401)は、
第1の赤、緑、及び青原色に従って規定されている第1のRGB表現として規定されている高ダイナミックレンジ画像のピクセルの色から、第1の原色の対応する原色よりも彩度の低い少なくとも1つの原色を有し、結果としてより小さい色度三角形を規定する第2の赤、緑、及び青原色に従ってそのピクセルの色の第2のRGB表現(RGB_sec)への行列変換を適用するように構成されており、その結果得られるピクセルの色の第2のRGB表現を中間高ダイナミックレンジ画像(HDR_IM)において出力するように構成されている色空間変換手段(402)と、
ピクセルの色に可逆的色域マッピングを適用し、ピクセルがより彩度の低い色を有する色マッピングされている高ダイナミックレンジ画像(HDR_709)を出力するように構成されている色域マッピング手段(403)と、
色マッピングされている高ダイナミックレンジ画像(HDR_709)内のピクセルの色の輝度に輝度マッピング関数(TOM)を適用して、上記輝度とは異なるそのピクセルの出力輝度(L_out)を有する出力色(C_out)を得るように構成されており、100ニットのピーク明るさを有する、標準ダイナミックレンジ出力画像(SDR_709)内で出力色(C_out)を出力するように構成されている輝度マッピング手段(603)と
を備え、
色域マッピング手段は、出力RGB色成分(Ro、Go、Bo)を得るために、第2のRGB表現(RGB_sec)の3つのそれぞれの赤、緑、及び青色成分に、3つのそれぞれのマッピング曲線(F1、F2、F3)を適用することを含む色域マッピングアルゴリズムを適用するように構成されており、それぞれの3つのマッピング関数は、2つの線形セグメント(501、502)を含み、セグメントのうちの一方(501)は、セグメントが、それぞれ第2のRGB表現の入力赤、緑又は青色成分のそれぞれの閾値(TP_red、TP_green、TP_blue)において開始する恒等変換に対応し、第2の線形セグメント(502)は、それぞれの閾値(TP_red、TP_green、TP_blue)と、第2のRGB表現のそれぞれの成分の中間画像(HDR_IM)内で発生する最も大きい負の値であるそれぞれの最小値(minP_red、minP_green、minP_blue)との間でマッピングし、それぞれの閾値(TP_red、TP_green、TP_blue)は、
TP_red=kRG*max(0,G_in)+kRB*max(0,B_in);TP_green=kGR*max(0,R_in)+kGB*max(0,B_in);TP_blue=kBR*max(0,R_in)+kBG*max(0,G_in)
のように、閾値がそれぞれの定数(kRG、kRB)によって計算される色成分以外の第2のRGB表現の2つの成分のうちのそれぞれの成分の値がゼロよりも大きい場合に、2つの成分の各々を乗算し、それらの2つの乗算された寄与を加算することによって計算されることを特徴とする。ここでも、可逆的色域マッピングの3つの関数は、同じcP値又は異なるcP値を使用する。
その色空間変換手段(402)及び色域マッピング手段(403)が、Rec.2020原色によって規定される色空間内で規定される入力高ダイナミックレンジ画像を、そのピクセル色がRec.709原色によって規定される色空間内で規定される標準ダイナミックレンジ画像として符号化するように構成されている、上記請求項のうちの1つにおいて特許請求されているものとしての高ダイナミックレンジ画像符号化手段(401)が有利である。
HDR画像符号化のこの特定の様式に対応して、受信側において(例えば、セットトップボックス、TV、コンピュータ、専門映画システムなどにおいて)、RGB原色のうちの少なくとも1つが、高ダイナミックレンジ画像が復号される対応する原色よりも彩度が低い色空間内で符号化されている、標準ダイナミックレンジ画像(SDR_comm、SDR_709)として符号化された状態で入力される高ダイナミックレンジ画像(RCHDR_2020)を復号するミラーリング方法であって、
受信されている輝度マッピング関数(TOM)として規定される輝度マッピングを、標準ダイナミックレンジ画像のピクセルの色の輝度に適用して、上記輝度とは異なる輝度(L_H)を有するピクセルのHDR色(C_H)を得、ピクセル色は、第1の中間高ダイナミックレンジ画像(IM_FH)内に格納される、ステップと、
高ダイナミックレンジ画像(HDR_2020)から標準ダイナミックレンジ画像を導出している符号化手段によって適用されており、関数(6C)の形状を規定するデータが受信されている色域マッピングの逆である関数を用いて色域マッピングを適用して、色域再マッピング画像(IM_GRM)を得るステップと、
色域再マッピング画像(IM_GRM)のピクセルの色に色空間変換を適用するステップであって、赤、緑、及び青原色の第1のセットによって規定される標準ダイナミックレンジ画像の第1のRGB色表現として表される色を、赤、緑、及び青原色の第2のセットであって、うち少なくとも1つの原色は、RGB原色の第1のセット内の対応する原色よりも彩度が高い、第2のセットによって規定される、高ダイナミックレンジ画像(RCHDR_2020)の第2のRGB色表現に変換するための行列を適用することを含む、ステップと、
高ダイナミックレンジ画像(RCHDR_2020)を出力するステップと
を有し、
色域マッピングが、マッピングされた色(C_M)のマッピングされているRGB色成分を得るために、HDR色(C_H)のそれぞれのRGB色成分に対して3つのそれぞれのマッピング関数(IF1)を適用することを含み、マッピング関数は2つの線形セグメントを含み、セグメントのうちの一方(504)は、セグメントがそれぞれ第2のRGB表現の入力赤、緑又は青色成分のそれぞれの閾値(TP_red、TP_green、TP_blue)において開始する恒等変換に対応し、第2の線形セグメント(503)は、HDR色(C_H)のRGB色成分のそれぞれの入力色成分がゼロである場合にマッピングされているRGB色成分のそれぞれの色成分のそれぞれの最も大きい負の値(minP_red、minP_green、minP_blue)にマッピングし、最も大きい負の値は、標準ダイナミックレンジ画像が符号化である元々の高ダイナミックレンジ画像(HDR_2020)のRGB色表現内のその色成分の最も大きい負の値に実質的に等しく、それぞれの閾値は、
TP_red=kRG*max(0,G_in)+kRB*max(0,B_in);TP_green=kGR*max(0,R_in)+kGB*max(0,B_in);TP_blue=kBR*max(0,R_in)+kBG*max(0,G_in)
のように、閾値(TP)がそれぞれの定数(kRG、kRB)によって計算される色成分以外の第2のRGB色表現の2つの成分の値がゼロよりも大きい場合に、そのような値を乗算し、それら2つの乗算された寄与を加算することによって計算されることを特徴とする、ミラーリング方法が存在し得る。
その差異は、ここで、色域マッピング関数の3つのそれぞれの色成分マッピング関数が、逆の形状を有することである(すなわち、負であり得るRGB成分値をすべて正の値にマッピングする代わりに、それらの関数は、符号化側において依然として広い色HDR画像が変換されているRGB色成分に過ぎないときに、すなわち、色域マッピングの前に発生している、元々の負の値をほぼ完璧に再構築する)。色域マッピングを介して特定の負の値は、色度平面内の特定の彩度、すなわち、例えば、Rec.709三角形の境界からの距離に対応する。
また、第2に、受信されているものとしてのSDR画像内のピクセル色から元々の彩度の高いHDRピクセル色を再構築することを可能にするために、復号手段は、(図5Bにおいて説明されているように)正確に成形されている2セグメント色成分再マッピング関数を決定することを可能にするために、符号化手段によっていずれの可逆的色域マッピング関数が適用されているかを正確に知る必要がある。
それゆえ、復号手段は、典型的には、それらの関数を記述する6つのパラメータ(6C)であるデータを受信する必要がある。それらのパラメータは、受信側において3つのTP値を決定することを可能にするための少なくとも6つのkXX値であるが、また、特により狭い色域への色圧縮挙動を実現する線形セグメントの角度を特性化する、さらなるパラメータとすることもできる。またRGB成分マッピング関数の第2のセグメントの角度の1つ(cP)又は複数(典型的にはcP_red、cP_green、及びcP_blue)の値も、画像と関連付けられるか又は関連可能な任意のメタデータメカニズムを介して、画像の符号化手段と受信手段との間で通信し、復号手段は、彩度がより大きい色表現に逆色域マッピングを適用する前に読み取ることができる。
有利には、高ダイナミックレンジ画像を復号する方法は、異なっている、3つのRGB色成分のうちのそれぞれの成分の色成分マッピング関数の非恒等線形セグメント(503)のそれぞれの3つの角度(cP_red、cP_green、cP_blue)を有する。
有利には、復号手段(又は復号方法)はまた、良好に機能するk値を独力で確立し、符号化手段は、色域マッピングタイプインジケータを介して、自身がそのようなメカニズムの適用に依拠することを示すことができ、例えば、高ダイナミックレンジ画像を復号する方法の一実施形態は、kRG=(cRG/cRR)*cP_red/(1.0−cP_red)、kRB=(cRB/cRR)*cP_red/(1.0−cP_red)、kGR=(cGR/cGG)*cP_green/(1.0−cP_green)、kGB=(cGB/cGG)*cP_green/(1.0−cP_green)、kBR=(cBR/cBB)*cP_blue/(1.0−cP_blue)、kBG=(cBG/cBB)*cP_blue/(1.0−cP_blue)に従って、標準ダイナミックレンジ画像の第1のRGB色表現内で表されるときの任意の色のRGB値と、高ダイナミックレンジ画像の第2のRGB色表現として表されるときの上記任意の色のRGB値との間の関係を規定する行列係数に基づいて、乗算のためのそれぞれの定数を計算し、ここで、cXX係数が、上記行列係数であり、それぞれのcP_X値は、3つのRGB色成分について同じであるか又は異なる、角度である。通信され、(再構築されることを)必要とされる画像の原色が分かると、cRGのような係数が分かる。これは、それらが、両方の色表現を規定する、使用される原色の色度によって固定されるためである。典型的には、この情報は、何らかのインジケータ値によって、受信画像がレガシーSDR(すなわち、標準化Rec.709原色を使用する)であること、及び、受信関数が、通信及び受信されているSDR画像から、対応する、例えばRec.2020 HDR画像を再構築するために使用されることになることを指定する、メタデータによって静的に通信される。1つ又は複数のcP値は、様々な実施形態において、復号手段において予め固定されてもよく、例えば画像分析によって確立されるか、又は、画像符号化手段によって通信されるメタデータとして受信される。
有利には、高ダイナミックレンジ画像を復号する方法は、Rec.709 RGB原色によって規定される色空間内で規定される標準ダイナミックレンジ画像(SDR_comm、SDR_709)を有する。HDR画像は、有利には、例えば、Rec.2020 RGB原色に従って規定される。
有利には、高ダイナミックレンジ画像ビデオ復号手段は、
高ダイナミックレンジ画像(RCHDR)を符号化しており、RGB原色のうちの少なくとも1つが、高ダイナミックレンジ画像が復号される、対応する原色よりも彩度が低い色空間内で符号化されている入力標準ダイナミックレンジ画像(SDR_comm、SDR_709)から高ダイナミックレンジ画像を復号するように構成されており、
受信されている輝度マッピング関数(TOM)を得て、当該関数を標準ダイナミックレンジ画像のピクセルの色の輝度に適用して、上記輝度とは異なる輝度(L_H)を有するピクセルのHDR色(C_H)を得るように構成されている輝度マッピング手段であって、HDR色は、第1の中間高ダイナミックレンジ画像(IM_FH)内に格納される、輝度マッピング手段と、
高ダイナミックレンジ画像(HDR_2020)から標準ダイナミックレンジ画像が導出されている符号化部位において適用されており、色マッピング関数(6C)の形状を規定するデータが受信されている色域マッピングの逆を実施する色マッピング関数を用いて適用するように構成されている色域マッピング手段であって、色域再マッピング画像(IM_GRM)を得る、色域マッピング手段と、
色域再マッピング画像(IM_GRM)のピクセルの色に、RGB原色の第1のセットによって規定される標準ダイナミックレンジ画像の第1のRGB色表現として表される色を、RGB原色の第2のセットであって、うち少なくとも1つの原色は、RGB原色の第1のセット内の対応する原色よりも彩度が高い、第2のセットによって規定される、高ダイナミックレンジ画像(RCHDR_2020)の第2のRGB色表現に変換するための行列を適用することを含む色変換を適用するように構成されている色空間変換手段と、
高ダイナミックレンジ画像(RCHDR_2020)を出力するステップと
を備え、
色域マッピング手段が、マッピングされた色(C_M)のマッピングされているRGB色成分を得るために、HDR色(L_H)のそれぞれのRGB色成分に対して3つのそれぞれのマッピング関数(IF1)を適用するように構成されており、マッピング関数は2つの線形セグメントを含み、セグメントのうちの一方(504)は、セグメントがそれぞれ第2のRGB表現の入力赤、緑又は青色成分のそれぞれの閾値(TP_red、TP_green、TP_blue)において開始する恒等変換に対応し、第2の線形セグメント(503)は、ゼロ入力値を、標準ダイナミックレンジ画像が符号化である元々の高ダイナミックレンジ画像内で発生するそのRGB色表現内のその色成分の最も大きい負の値に実質的に等しいマッピングRGB色成分のそれぞれの色成分の負の値にマッピングする垂直方向から開始して規定されるそれぞれの角度(cP_red、cP_green、cP_blue)を有し、それぞれの閾値(TP_red、TP_green、TP_blue)は、
TP_red=kRG*max(0,G_in)+kRB*max(0,B_in);TP_green=kGR*max(0,R_in)+kGB*max(0,B_in);TP_blue=kBR*max(0,R_in)+kBG*max(0,G_in)
のように、上記色成分がゼロよりも大きい値を有する場合に、それぞれの閾値がそれぞれの定数(kRG、kRB)によって計算される色成分以外の第2のRGB色表現の2つの成分の値を乗算し、それら2つの乗算された寄与を加算することによって計算されることを特徴とする。
復号手段は、復号手段において確立され、又は好ましくは画像とともに通信されるメタデータから読み出される1つ又は複数のcP値を使用する。
色域マッピング手段が、3つのRGB色成分のそれぞれの色成分に対して3つの色マッピング関数を適用するように構成されており、それぞれの関数が、恒等変換を実施していない線形セグメントのそれらのそれぞれの角度(cP)について異なる値を有する、高ダイナミックレンジ画像ビデオ復号手段も有利である。
色域マッピング手段及び色空間変換手段が、Rec.709RGB原色に従って規定される標準ダイナミックレンジ画像から高ダイナミックレンジ画像を復号するように構成されている高ダイナミックレンジ画像ビデオ復号手段も有利である。
本発明の新規の技術的着想は、接続されているシステム、汎用又は専用ネットワークを介して通信する遠隔ロケーションに対する部分サービス、プロセッサ上で実行されると、プロセッサが、上記の方法請求項のうちの一項のすべての方法ステップを実施することを可能にするコードを含むコンピュータプログラム製品、符号化手段/送信手段と復号手段/受信手段との間で協調的に通信される必要がある様々な必要なメタデータを含むビデオ信号コード化などのような、様々な形態において具現化する。
本発明による方法及び装置のこれらの及び他の態様は、添付の図面を参照しながら、本明細書において以下に説明される実施態様及び実施形態から明らかになり、それらを参照しながら説明され、添付の図面は、より一般的な概念を例示する非限定的な特定の図解としてのみの役割を果たし、図面において、破線は、構成要素が任意選択であることを示すために使用され、破線でない構成要素は、必ずしも必須であるとは限らない。破線はまた、必須であるとして説明されているが、物体の内部に隠れている要素を示すために、又は、例えば、物体/領域の選択(及びそれらがディスプレイ上でどのように示され得るか)のような無形物体に対しても使用され得る。
可逆的である場合に、HDRシーンのSDR画像コード化の、そのシーンの再構築HDR画像へのマッピングにも対応する、高ダイナミックレンジ画像を、対応する最適に色格付けされた、同様に見える(所望され、第1のダイナミックレンジDR_1と第2のダイナミックレンジ画像DR_2との差を所与として実現可能な程度に類似している)低、又はより正確には標準ダイナミックレンジ画像に最適にマッピングするときに発生するいくつかの典型的な色変換を示す概略図である。 出願人が最近開発した、高ダイナミックレンジ画像、すなわち、典型的には少なくとも700ニット(すなわち、SDR画像のPB_Cの少なくとも7倍)以上(典型的には1000ニット以上)の輝度を有することが可能な画像を符号化するための技術の一例を示す概略図であり、この技術は、実際には、SDR画像、及び、それに加えて、少なくとも、復号手段によって受信SDR画像を画像作成側において作成された元々のマスタHDR画像の忠実な再構築であるHDR画像に変換するために使用される、ピクセル色の適切な決定されている輝度変換を含む色変換関数を符号化するメタデータとして、HDR画像を通信する、概略図である。 例えば、Rec.709 RGB原色を有するSDR画像のより小さい色域と比較して、より広くもある(すなわち、より飽和した色を含むことが可能な)より大きい輝度ダイナミックレンジの色域を示す概略図である。 本発明の原理のすべての実施形態において存在する必要はない、いくつかの有用な構成要素を備える、本発明の原理を実現する有用でより特定的な実施形態を示す概略図である。 SDR画像としてのHDR画像の生成及び通信に使用され得る3つの双一次色成分マッピング関数(F1、F2、F3)のいくつかの例を示し、及びまた、そのような関数の1つの逆であるが、特に暗い色に対しては非理想的な挙動であるために実際には使用されない関数をも示す概略図である。 新たに発明された原理を説明する符号化方法に対応するフローチャートを示す概略図である。 実際に単純な様式で輝度最適マッピング挙動を実現する、HDR画像コード化のための新たに発明された色域マッピング戦略によって実際に使用される双一次マッピング関数を示す図である。 そのような新規の色域マッピングの一例を実施するときに得られる(x、y)色度平面においていくつかの実際の結果を示す図である。 従来技術によって行うことができるいくつかの態様を示す、第1の3Dボリューム内の色を第2の3Dボリュームにマッピングする、いくつかの可能な大域的色ボリュームマッピングを示す図である。
図4の典型的な例示的コード化チェーンに見られるように、HDR画像又はビデオ符号化手段(401)において入力されるHDR画像(HDR_2020)は最初に、色変換手段402による空間色変換を受けることになる。画像又はビデオピクセル色データ及びメタデータの物理的な入力は、例えば、HDMI(登録商標)入力、アンテナへの接続、インターネット接続などのような、任意の典型的なビデオ接続入力であり、メタデータ(例えば、本発明の画像の下記の6つのk係数の最適な値)は、例えば、ビデオパケットとともに散在するSEIパケット、専用メタデータチャネルなどの、メタデータ通信を可能にする任意のメカニズムに従ってともに供給される。
この色空間変換は、行列乗算によって、(R_out,G_out,B_out)=(c11,c12,c13;c21,c22,c23;c31,c32,c33)*(R_in,G_in,B_in)として規定される。c係数の選択を所与として、入力色RGB成分の特定の値について、出力RGB成分のうちの少なくとも1つ(例えば、B_out)は負になり得ることが理解され得る。後者は、例えば、飽和した黄色について発生する。これは、低輝度に対してさえ発生し得る(色域の上限では、色域問題の範囲外で他の原理が作用する)。問題は、負の値をSDR Rec.709ディスプレイ上でレンダリングすることができず、そのため、何か他の手段を講じる必要があることである。高度に複雑な数学が適用され得るが、単純であるが十分に良好な何かが適用されることが理想的である。それに加えて、これらの中間色成分(R_out,G_out,B_out)はその後、図5に示すようなタイプの戦略を適用する、色域マッピング手段403によって処理される。
最初に、図5において、行われ得ること、すなわち、計算の出力色及びより小さい典型的にはRec.709の色域内の対応する、より彩度の低い色域のマッピングされた色の正の成分値を生成することができる3つの双一次色成分マッピング関数を作成する良好な方法の最初の規定を示し、一方で、後には、依然としてそれに伴う色問題を示し、色域マッピング手段が本発明によるRGB色表現のその最適な双一次マッピングを実際にはどのように行うかを示す。これは、それがより良好に作用するためである。
図5Aは、例えば赤原色に適用されるべきである、第1の色成分マッピング関数(F1)を(実線として)示す。この画像、又は、複数の時間的に連続している画像のシーンについて、彩度の高いシアン色が存在し、これによって、負の赤(minP)の絶対値が大きくなる。これは、正の象限においていくらかより高い、赤成分マッピング曲線の閾値TPを置く関数を規定することによって処理することができる(501部分において関数の対角性が色成分の恒等変換であるため、図5Bに示す復号関数においてそうなるように、出力軸上で、開始点のP_out値もTPになる)。他のセグメント502は、x軸上でminPの値になる。典型的には、これは、発生する最も大きい負の値であるか、又は、何らかの小さい色誤差が許容される場合には、少なくともそれに近い値になる(さらにより大きい負の色成分値もゼロにクリッピングする場合は、不可逆的である)。他の2つの関数(緑及び青チャネルのF2及びF3)も示されており、図示されているように、例えば、画像内の黄色はそれほど高度に飽和されないため、それらは典型的には、両方とも、それらの最小点minP及びそれらの閾値TPに対して異なる値を有する。復号手段側において、関数は、通信されている6つのパラメータ(6C)から決定することができる逆の形状を有し、それは出力として、ここでも、より狭い色域(Rec.709)ではなく、より広い色域(例えばRec.2020)内で代表的である、最も飽和した画像色に対応する、最も大きい負の数までの負の数を与える。最初に、例えば、3つのTP(TP_red、Tp_green、TP_blue)及び3つのminP値(minR、minG、minB)を通信することが、3つの色成分マッピング関数を指定する理想的な方式であると考えられる。さらには、より低い線形セグメント(502)の固定角度を有する場合、最適に選択され得るTP値が、minPの位置を規定する。
しかしながら、すべての色に対して固定された3つの関数を使用するときに非理想性が存在し、すなわち、それらはすべての色に対して良好にスケーリングしない。負の色成分(例えば、R=−0.2)からゼロへのマッピングは、輝度が大幅に増大し、特に暗色について、暗い入力色の低い色成分に対するそのような追加の色の寄与が問題になり得(図7参照)、蛍光色をもたらすことを意味する。
図7において、例えば赤成分をマッピングするための固定曲線(F_fix)、すなわち、単一の固定TP値TP_fixによって規定される曲線を使用することになった場合、暗色R_bl(R、G、及びBの小さい成分を有する)は、大きい出力赤色成分Roblを有するようにマッピングされ、見づらく不正確で典型的には明るすぎる色をもたらす(例えば、HDRイメージングに所望されることの1つは、SDR画像及びHDR画像において、暗闇に隠れている怪物又は犯罪者を、辛うじて見え、過度に明るく赤みがかった人目を引く怪物としてレンダリングされないように、レンダリングすることが所望されることである)ことが説明される。そのため、発明者は、色の輝度に応じて(又はより正確には、輝度の寄与を無効にするように)それぞれの成分マッピング曲線を最適に規定する、可変閾値(TPV)を有する戦略を着想した。輝度依存曲線のファミリのその曲線の出力Rovは、入力にはるかに近くなる。
発明者は、好ましくはそのTP値を、以下のように規定する。
TP_red=kRG*max(0,G_in)+kRB*max(0,B_in)
そのため、他の2つのRGB色成分の各々は、例えば、それらが正である場合に、(それぞれのk係数によって決定される強度によって)例えば赤色成分の閾値の位置に寄与し、その他の場合、式はその成分に対してゼロの寄与を与える。
その後、そこから、成分マッピング曲線及び特により低いセグメント502を決定することができる。
R_out=max(TP_red+(R_in−TP_red)*cP_red,R_in)
R_out及びR_inはそれぞれ、出力及び入力色成分であり、赤チャネルが、汎用色成分表記P_out及びP_inに対して選択されており、cP_redは、より低い線形セグメントがminPになる水平と比較した角度である。
max演算子は、より低い線形セグメントの角度が常に圧縮して、すなわち、45度よりも小さくなるように選択されるため、TPよりも大きい色成分について恒等変換が発生することを保証する。
同様に、以下のようになる。
TP_green=kGR*max(0,R_in)+kGB*max(0,B_in)
G_out=max(TP_green+(G_in−TP_green)*cP_green,G_in)
TP_blue=kBR*max(0,R_in)+kBG*max(0,G_in)
B_out=max(TP_blue+(B_in−TP_blue)*cP_blue,B_in)
復号手段内の逆色域マッピング関数は、同様の式を使用する。
TP_red=kRG*max(0,G_in)+kRB*max(0,B_in)
R_out=min(TP_red+(R_in−TP_red)*(1/cP_red),R_in)
TP_green=kGR*max(0,R_in)+kGB*max(0,B_in)
G_out=min(TP_green+(G_in−TP_green)*(1/cP_green),G_in)
TP_blue=kBR*max(0,R_in)+kBG*max(0,G_in)
B_out=min(TP_blue+(B_in−TP_blue)*(1/cP_blue),B_in)
読者が気付くように、TP式は同じである。
述べたように、ほとんどの実施形態において、3つの成分の角度は固定され(また、復号手段において、異なる必要があるように通信されない限り、例えば、0.25(通常は決して致命的ではない色域境界色付近でめったに発生しないように、過剰に測色精度が低減しないように何らかの手段を講じる)であることが分かる)、すなわち、cP_red=cP_green=cP_blue=0.25になるが、式及び原理はまた、3つの最適化された角度によっても機能する。これら6つのkXX値(kRG、kRB、kGR、kGB、kBR及びkBG)は、典型的には画像又はビデオ作成側によって通信される、必要な色成分マッピング曲線を記述する6つのパラメータ(すなわち、6C)であり、述べたように、所望に応じて、いくつかの実施形態において、可変角度cP_red、cP_green、及びcP_blueの場合のさらなる3つのパラメータに、又は、同じ3つのRGB成分についての1つの調整されているcP値によって補完することができる。
発明者は、一実施形態において、kXX値は、SDR及びHDR画像の2つの色空間の間のマッピング行列から計算することができる(実際の色とのより厳密な一致、したがって、SDR画像又は再構築HDRにおけるより少ない色誤差を有するように改善することができる少なくともいくつかの値)ことを見出した。
kRG=(cRG/cRR)*cP/(1.0−cP)
kRB=(cRB/cRR)*cP/(1.0−cP)
kGR=(cGR/cGG)*cP/(1.0−cP)
kGB=(cGB/cGG)*cP/(1.0−cP)
kBR=(cBR/cBB)*cP/(1.0−cP)
kBG=(cBG/cBB)*cP/(1.0−cP)
3つの可変cP値の場合、式は、それらのそれぞれのcP値を得る。
例えば、Rec.709とRec.2020との間のマッピングのための色空間変換行列を利用する場合、以下のようになる。
[cRR,cRG cRB [0.6274 0.3293 0.0433
cGR cGG cGB = 0.0691 0.9195 0.0114
cBR cBG cBB] 0.0164 0.0880 0.8956]
kRG=(0.3293/0.6274)*(0.25/0.75)=0.5249/3=0.175;kRB=0.023;kGR=0.025;kGB=0.004;kBR=0.006及びkBG=0.033が得られる。
最も高いTP値はこのとき典型的には約1/6(すなわち、0.175)になるが、白に近い明るい色について、色成分はTPよりも高くなり、すなわち、色は変化しないままであり、これは、色が、恒等変換セグメント501に行き当たるためである。
図4を引き続き参照すると、色域マッピング手段403によって可逆的色域マッピングを実施した後、それぞれの処理済みピクセルについてマッピングされた色(RmGmBm)が存在する。結果もたらされる画像は、依然として実質的に同じピクセル輝度を有するため、依然としてHDR画像であるが、狭い色域、Rec.709によって規定されるHDR画像である。任意選択的に、いくつかの有用な実施形態において、画像はその後、RGB色Y’CbCr色として表す色記述変換手段404によって処理される。これは、このとき、Y’成分に対して輝度マッピングを行うのが容易であるためである(しかし、他の実施形態においては、同じ原理に従って、輝度変換は実際にはRGB色表現に対して行われ、このとき、そのユニットは存在しなくてもよく、そのため、点線で描かれている)。その後、輝度マッピング手段405が、SDRに変換するために、典型的にはガンマ<1を有する図示されているガンマ関数形状を有するが、明らかに、より複雑なHDRシーン画像については、はるかにより複雑である、輝度マッピング曲線TOMを適用する(ただし、本出願において、読者を混乱させる有用な態様ではない)。その後、空間ダウンサンプラが、有利には存在することが多いが、明らかに、本発明のすべての実施形態にとって必須の構成要素ではない。このとき、脱飽和ユニット407が存在する。典型的には相対輝度を上昇させる輝度マッピング関数を適用するとき(ただし、本発明では一般的に、HDR及びSDR輝度間のマッピングを異なる輝度を与えるものとして定式化している、これは、絶対的な又は1に正規化されている輝度表現について起こるか否かにも応じて、及び、すべての輝度の範囲に沿った輝度の位置に応じて、方向が原則的にいずれかであり得るためである)、高度に飽和した色が色域の上側部分において、すなわち、PB_Cを輝度として有する白色点付近で色域外に出ることが起こり得る。特に色度保存(理想的にはそうであるべきであるため)輝度マッピングについて、これは、典型的には、輝度マッピング後のより飽和した結果の色に対応しない。しかし、ゼロ輝度のグランド面上の可能な色の三角形と比較して、色域の先端において、それらの輝度が高くなるほど、ますます彩度の低くなる色のみが作成され得るため、輝度変換によって、依然として、再現可能な色の色域の外部にマッピングする。これを解決するために、脱飽和ユニットは、典型的には処理されている色のMax(R’,G’,B’)−Y’値に依存し得る乗算手段を用いて、典型的には、3つのR、G、B成分に対して、それらがより類似するようにする乗法脱飽和を適用する(プライム’は、これらがRec.709 OETFを介して線形のものから計算される非線形RGB座標であることを示す)。結果もたらされる画像SDR_commは、SDR画像であり(すなわち、SDRディスプレイ上でHDRシーンの妥当なSDRバージョンをレンダリングするための正確な物体輝度を有する)、正確な測色によって、すなわち、Rec.709原色に従って規定されて、その色は、すべてRec.709 SDR色域内に存在するだけでなく、Rec.2020 HDR色を忠実に再構築することも可能であり、事実、元々のマスタHDR画像HDR_2020の忠実な再構築を可能にする。例えば、HEVCビデオ圧縮などの、フォーマッタ408によってデータが適切にフォーマットされた後、その画像は、ケーブル、インターネット、及び光ディスクなどのような、何らかの通信チャネル410を介して通信される。任意の受信側において、受信手段は最初に、アンフォーマッタ420を使用して処理に適した画像を作成し、すなわち、本発明では例えば、Y’CbCrピクセル色を有するピクセル化画像を仮定し、その後、符号化手段の逆の演算を適用する。すなわち、再飽和ユニット421による再飽和、空間アップコンバータ422による空間アップコンバージョン、TOMの少なくともおおよそ逆の関数形状を適用する、輝度マッピング手段423によるSDR−HDR輝度マッピングが、ここで中間HDR画像IM_FHをもたらす。色規定変換手段424が、Y’CbCr色をRGB色(すなわち、同じであるが、別様に規定される色)に変換する。その後、逆色域マッピング手段425が、3つの関数の逆色域マッピングを適用し(図5Bを参照されたい)、最後に、符号化に使用されるものの逆行列が、色空間変換手段426によって使用されて、すでに色域再マッピングされているRGB色(依然としてRec.709であるときは負の値を有する)が、Rec.2020規定に再び規定される(結果、すべてのRGB成分が再び正になる)。それによって、RGB出力色成分(Ro,Go,Bo)を有するピクセルを有するHDR飽和色画像(RCHDR_2020)の忠実な規定がもたらされる。
図6は、基本的な符号化方法を説明するためのブロック図を示す。
符号化されるべき入力HDR画像HDR_2020(例えば、動画画像として格付けされているか、又は、カメラからのストレートの、若しくは、ライブテレビ生成において最小限に処理されているなどの色)が、最初に色空間変換され(方法ステップ601)、これによって、第2のRGB色表現(RGB_sec)において規定される色を有する中間HDR画像HDR_IMがもたらされる。これらの色はその後、ステップ602において、図5において説明されている方法によって、可逆的に色域マッピングされて、飽和度の低い静止HDR画像(HDR_709)の、より狭い色域の色成分Ro,Go,Boを表す、出力色C_MAP(ここで、数学的に別様に表されるだけでなく、負の色成分値の正の値への変換のために、少なくとも1つの色の飽和度が低くなっているという点において、いくつかの色も異なる)が得られる。最後に、これを、輝度マッピングの前後でなお依然として同じRec.709色空間内にある、すなわち、実質的に同一の又は同一の彩度を有する、ピクセル輝度が変更されたSDR画像にするために、輝度マッピング関数TOMによる輝度マッピングステップ603が適用される。これによって、輝度L_outを含むピクセル色C_outを有する、通信されるべき最終的なSDR画像SDR_709がもたらされる(場合によって何らかのさらなる処理、及び、少なくとも選択される通信様式に適したフォーマット化の後)。
発明者は、すべての式(TP値及びマッピング関数の)は、輝度の増大とともにスケーリングすることが分かるため、マッピングは、実際には、輝度とは無関係に等価に行われ、したがって、例えば、よく知られているCIE(x,y)など、輝度のない色度図において表され得ることを見出した。
図8は、いくつかの例示的な実際の結果を示す。図8Aにおいて、いずれの色シフトが行われるかが説明される(より狭いRec.709色域は飽和度の低い色を必要とするため、必然的に)。Rec.2020色域(801)からRec.709色域(802)へとマッピングするとき、高度に飽和したRec.2020色をRec.709色域内で絞り込むために、Rec.709色域の内部にいくらかの余地が作成されるべきであるため、明らかに、色域外だけでない色が変化する。しかしながら、破線の三角形803内のすべての色が影響されず、これは非常に良好である。すなわち、その三角形内の色は、恒等変換を実現する線形セグメント501によって処理され、点線の三角形801と破線の三角形803との間のマッピングは、曲線の502の線形セグメントによって実現される。図8Bにおいて、何らかの典型的な極度に飽和した色、特に、Rec.2020三角形の境界上に位置する色のマッピング結果が示されている。領域810内で特に明瞭であるが、実際に本方法を非常に満足のいくものにする、そのような極端な色が実際に発生する場合のみの、本方法のいくつかの色相シフトが示される。
本明細書において開示されているアルゴリズム的構成要素は、(全体的に又は部分的に)実践において、ハードウェア(例えば、特定用途向けICの部分)として、又は、専用デジタル信号プロセッサ若しくは汎用プロセッサなどの上で作動するソフトウェアとして実現される。
当業者には、いずれの構成要素が任意選択の改善であり、他の構成要素と組み合わせて実現することができるか、並びに、方法の(任意選択の)ステップが装置のそれぞれの手段にどのように対応するか、及び、逆の対応になるかが、本発明の提示から理解可能であるはずである。本出願における「装置」という単語は、その最も広い意味、すなわち、特定の目的の実現を可能にする意味のグループにおいて使用されており、したがって、例えば、IC(の小さい回路部分)、又は専用機器(ディスプレイを有する機器など)、又は、ネットワーク化システムの一部などであり得る。「構成」も、最も広い意味において使用されるように意図されており、そのため、とりわけ、単一の装置、装置の一部、協働する装置(の部分)の集合などを含む。
コンピュータプログラム製品という表示は、汎用又は専用プロセッサが、一連の読み込みステップ(中間言語及び最終プロセッサ言語への翻訳のような、中間変換ステップを含む)の後に、コマンドをプロセッサに入力し、発明の特徴的な機能のいずれかを実行することを可能にするコマンドの集合の任意の物理的な具現化を包含するように理解されるべきである。特に、コンピュータプログラム製品は、例えば、ディスク若しくはテープのようなキャリア上のデータ、メモリ内に存在するデータ、有線若しくは無線のネットワーク接続を介して伝わるデータ、又は紙上のプログラムコードとして実現される。プログラムコードとは別に、プログラムに必要な特性データもまた、コンピュータプログラム製品として具現化される。
データ入力及び出力ステップのような、方法の実施に必要なステップのいくつかは、コンピュータプログラム製品に記載される代わりに、プロセッサの機能のうちにすでに存在してもよい。
上述した実施形態は、本発明を、限定するのではなく、例示することに留意されたい。当業者が、提示されている例の、特許請求の範囲の他の領域へのマッピングを容易に認識することができる場合、これらのオプションすべてに逐一詳細には言及していない。特許請求の範囲において組み合わされているような本発明の要素の組み合わせとは別に、要素の他の組み合わせも可能である。要素の任意の組み合わせは、単一の専用の要素において実現することができる。
特許請求項内の括弧の間の任意の参照符号は、特許請求項を限定するようには意図されていない。「備える」という単語は、特許請求項内に列挙されていない要素又は態様が存在することを除外するものではない。単数形の要素は、そのような要素が複数存在することを除外するものではない。

Claims (20)

  1. 第1の彩度を有する第1の色を有するピクセルを含む高ダイナミックレンジ画像を、100ニットのピーク輝度を有する標準ダイナミックレンジ画像であって、ピクセルが、前記第1の彩度よりも低い第2の彩度を有する第2の色を有する、標準ダイナミックレンジ画像に変換する方法であって、前記変換は、
    第1の赤、緑、及び青の原色に従って規定される前記第1の色の第1のRGB表現を、第2の赤、緑、及び青の原色に従ってそのピクセル色の第2のRGB表現にマッピングする色行列を適用することを含む色空間変換を実施して、中間画像を得るステップであって、前記第2の赤、緑、及び青の原色は、前記第1の赤、緑、及び青の原色よりも小さい色三角を包含する、ステップと、
    前記第2のRGB表現に可逆的色域マッピングを適用して、マッピングされた色を得るステップと、
    前記マッピングされた色の輝度とは異なる輝度の出力色を有するピクセルを有する低ダイナミックレンジ画像を得るために、前記マッピングされた色の前記輝度に輝度マッピングを適用し、前記標準ダイナミックレンジ画像を出力するステップと
    を有する方法において、
    前記可逆的色域マッピングは、前記マッピングされた色を規定する出力R、G、及びB色成分をそれぞれ得るために、前記第2のRGB表現の3つのR、G、及びB色成分の各々にそれぞれのマッピング関数を適用することを含み、それぞれの3つのマッピング関数は2つの線形セグメントを含み、前記線形セグメントの一方は、セグメントが、それぞれ前記第2のRGB表現の入力赤、緑、又は青色成分のそれぞれの閾値(TP_red、TP_green、TP_blue)において開始する恒等変換に対応し、第2の線形セグメントは、それぞれの前記閾値(TP_red、TP_green、TP_blue)から、前記第2のRGB表現のそれぞれの成分の中間画像内で発生する最も大きい負の値であるそれぞれの最小値に向かい、それぞれの前記閾値は、
    TP_red=kRG*max(0,G_in)+kRB*max(0,B_in);
    TP_green=kGR*max(0,R_in)+kGB*max(0,B_in);
    TP_blue=kBR*max(0,R_in)+kBG*max(0,G_in)
    のように、それぞれの前記閾値がそれぞれの定数(kRG、kRB)によって計算される色成分以外の前記第2のRGB表現の2つの成分の値がゼロよりも大きい場合に、前記2つの成分の前記値を乗算し、それら2つの乗算された寄与を加算することによって計算されることを特徴とする、高ダイナミックレンジ画像を変換する方法。
  2. 前記3つのマッピング関数は、水平方向から開始して規定され、前記2つの線形セグメントのうちの第2の線形セグメントの方向を規定する角度と同じ値を有し、前記角度は、前記方法によって予め規定され、分かっているか、又は、前記高ダイナミックレンジ画像内の色の分布に基づいて前記方法によって決定されるかのいずれかである、請求項1に記載の方法。
  3. 前記3つのマッピング関数は、水平方向から開始して規定され、前記3つのマッピング関数のそれぞれの前記2つのセグメントのうちの第2のセグメントの方向を規定する角度の異なるそれぞれの値を有し、それぞれの前記角度は、前記高ダイナミックレンジ画像内の色の分布に基づいて前記方法によって決定される、請求項1に記載の方法。
  4. 前記低ダイナミックレンジ画像は、Rec.709原色に従って色が規定される、請求項1から3のいずれか一項に記載の方法。
  5. 前記高ダイナミックレンジ画像は、映画原色などの広色域原色、又は、Rec.2020原色に従って色が規定される、請求項1から4のいずれか一項に記載の方法。
  6. 入力高ダイナミックレンジ画像を、色マッピング関数データと共に標準ダイナミックレンジ画像として符号化する高ダイナミックレンジ画像符号化手段であって、前記高ダイナミックレンジ画像符号化手段は、
    第1の赤、緑、及び青原色に従って規定されている第1のRGB表現として規定されている高ダイナミックレンジ画像のピクセルの色から、第1の原色の対応する原色よりも彩度の低い少なくとも1つの原色を有し、結果としてより小さい色度三角形を規定する第2の赤、緑、及び青原色に従ってそのピクセルの色の第2のRGB表現への行列変換を適用し、その結果得られる前記ピクセルの色の前記第2のRGB表現を中間高ダイナミックレンジ画像において出力する、色空間変換手段と、
    前記ピクセルの色に可逆的色域マッピングを適用し、前記ピクセルがより彩度の低い色を有する色マッピングされている高ダイナミックレンジ画像を出力する、色域マッピング手段と、
    前記色マッピングされている高ダイナミックレンジ画像内の前記ピクセルの色の輝度に輝度マッピング関数を適用して、前記輝度とは異なる前記ピクセルの出力輝度を有する出力色を得、100ニットのピーク明るさを有する、標準ダイナミックレンジ出力画像に前記出力色を出力する、輝度マッピング手段と
    を備える高ダイナミックレンジ画像符号化手段において、
    前記色域マッピング手段は、出力RGB色成分を得るために、前記第2のRGB表現の前記3つのそれぞれの赤、緑、及び青色成分に、3つのそれぞれのマッピング曲線を適用することを含む色域マッピングアルゴリズムを適用し、前記それぞれの3つのマッピング関数は、2つの線形セグメントを含み、前記線形セグメントのうちの一方は、線形セグメントがそれぞれ前記第2のRGB表現の前記入力赤、緑、又は青色成分のそれぞれの閾値(TP_red、TP_green、TP_blue)において開始する、恒等変換に対応し、第2の線形セグメントは、それぞれの前記閾値(TP_red、TP_green、TP_blue)と、前記第2のRGB表現のそれぞれの成分の中間画像内で発生する最も大きい負の値であるそれぞれの最小値との間でマッピングし、それぞれの前記閾値(TP_red、TP_green、TP_blue)は、
    TP_red=kRG*max(0,G_in)+kRB*max(0,B_in);TP_green=kGR*max(0,R_in)+kGB*max(0,B_in);TP_blue=kBR*max(0,R_in)+kBG*max(0,G_in)
    のように、前記閾値がそれぞれの定数によって計算される色成分以外の前記第2のRGB表現の2つの成分のうちのそれぞれの成分の値がゼロよりも大きい場合に、前記2つの前記成分の各々を乗算し、それら2つの乗算された寄与を加算することによって計算されることを特徴とする、高ダイナミックレンジ画像符号化手段。
  7. 前記色域マッピング手段は、前記3つのそれぞれの曲線の前記2つの線形セグメントのうちの第2の線形セグメントの水平方向から開始して規定される角度と同じ値を有する、前記3つのマッピング曲線を適用する、請求項6に記載の高ダイナミックレンジ画像符号化手段。
  8. 前記色域マッピング手段は、前記3つのそれぞれの曲線の前記2つの線形セグメントのうちの第2の線形セグメントの水平方向から開始して規定される角度の異なる値を有する、前記3つのマッピング曲線を適用する、請求項6に記載の高ダイナミックレンジ画像符号化手段。
  9. 色空間変換手段及び色域マッピング手段が、Rec.2020原色によって規定される色空間内で規定される入力高ダイナミックレンジ画像を、ピクセル色がRec.709原色によって規定される色空間内で規定される標準ダイナミックレンジ画像として符号化する、請求項6から8のいずれか一項に記載の高ダイナミックレンジ画像符号化手段。
  10. 高ダイナミックレンジ画像を復号する方法であって、前記高ダイナミックレンジ画像は、RGB原色のうちの少なくとも1つが、高ダイナミックレンジ画像が復号される、対応する原色よりも彩度が低い色空間内で符号化されている標準ダイナミックレンジ画像として符号化された状態で受信され、前記方法は、
    受信されている輝度マッピング関数として規定される輝度マッピングを、前記標準ダイナミックレンジ画像のピクセルの色の輝度に適用して、前記輝度とは異なる輝度を有する前記ピクセルのHDR色を得るステップであって、前記ピクセル色は、第1の中間高ダイナミックレンジ画像内に格納される、ステップと、
    高ダイナミックレンジ画像から前記標準ダイナミックレンジ画像を導出した符号化手段によって適用されており、関数の形状を規定するデータが受信されている色域マッピングの逆である関数を用いて色域マッピングを適用して、色域再マッピング画像を得るステップと、
    前記色域再マッピング画像の前記ピクセルの色に色空間変換を適用するステップであって、赤、緑、及び青原色の第1のセットによって規定される前記標準ダイナミックレンジ画像の第1のRGB色表現として表される色を、赤、緑、及び青原色の第2のセットであって、それらのうち少なくとも1つの原色は、前記RGB原色の前記第1のセット内の対応する原色よりも彩度が高い、第2のセットによって規定される、前記高ダイナミックレンジ画像の第2のRGB色表現に変換するための行列を適用することを含む、ステップと、
    前記高ダイナミックレンジ画像を出力するステップと
    を有する方法において、
    前記色域マッピングが、マッピングされた色のマッピングされているRGB色成分を得るために、HDR色のそれぞれのRGB色成分に対して3つのそれぞれのマッピング関数を適用することを含み、マッピング関数は2つの線形セグメントを含み、前記線形セグメントのうちの一方は、線形セグメントがそれぞれ前記第2のRGB表現の入力赤、緑又は青色成分のそれぞれの閾値(TP_red、TP_green、TP_blue)において開始する、恒等変換に対応し、第2の線形セグメントは、前記HDR色の前記RGB色成分のそれぞれの入力色成分がゼロである場合に前記マッピングされているRGB色成分のそれぞれの色成分のそれぞれの最も大きい負の値にマッピングし、最も大きい負の値は、標準ダイナミックレンジ画像が符号化である元々の高ダイナミックレンジ画像のRGB色表現内のその色成分の最も大きい負の値に実質的に等しく、それぞれの前記閾値は、
    TP_red=kRG*max(0,G_in)+kRB*max(0,B_in);TP_green=kGR*max(0,R_in)+kGB*max(0,B_in);TP_blue=kBR*max(0,R_in)+kBG*max(0,G_in)
    のように、閾値(TP)がそれぞれの定数によって計算される色成分以外の第2のRGB色表現の2つの成分の値がゼロよりも大きい場合に、そのような値を乗算し、それら2つの乗算された寄与を加算することによって計算されることを特徴とする、高ダイナミックレンジ画像を復号する方法。
  11. 前記3つのRGB色成分のうちのそれぞれの成分の前記色成分マッピング関数の非恒等線形セグメントの垂直方向から開始して規定される前記それぞれの3つの角度は異なり、前記画像の符号化手段からメタデータとして受信される、請求項10に記載の高ダイナミックレンジ画像を復号する方法。
  12. 前記3つのRGB色成分のうちのそれぞれの成分の前記色成分マッピング関数の非恒等線形セグメントの垂直方向から開始して規定される同じ角度を使用し、前記角度は固定され、前記方法によって分かっているか、又は、前記画像の符号化手段からメタデータとして受信されるかのいずれかである、請求項10に記載の高ダイナミックレンジ画像を復号する方法。
  13. kRG=(cRG/cRR)*cP_red/(1.0−cP_red)、kRB=(cRB/cRR)*cP_red/(1.0−cP_red)、kGR=(cGR/cGG)*cP_green/(1.0−cP_green)、kGB=(cGB/cGG)*cP_green/(1.0−cP_green)、kBR=(cBR/cBB)*cP_blue/(1.0−cP_blue)、kBG=(cBG/cBB)*cP_blue/(1.0−cP_blue)に従って、前記標準ダイナミックレンジ画像の前記第1のRGB色表現内で表されるときの任意の色のRGB値と、前記高ダイナミックレンジ画像の前記第2のRGB色表現として表されるときの前記任意の色の前記RGB値との間の関係を規定する行列係数に基づいて、乗算のためのそれぞれの定数が計算され、ここで、cXX係数が、前記行列係数であり、それぞれのcP_X値は、前記3つのRGB色成分について同じであるか又は異なる角度である、請求項10から12のいずれか一項に記載の高ダイナミックレンジ画像を復号する方法。
  14. 前記標準ダイナミックレンジ画像は、Rec.709 RGB原色によって規定される色空間内で規定される、請求項10から13のいずれか一項に記載の高ダイナミックレンジ画像を復号する方法。
  15. 高ダイナミックレンジ画像を符号化している入力標準ダイナミックレンジ画像であって、RGB原色のうちの少なくとも1つが、前記高ダイナミックレンジ画像が復号される対応する原色よりも彩度が低い色空間内で符号化されている、当該入力標準ダイナミックレンジ画像から、前記高ダイナミックレンジ画像を復号する高ダイナミックレンジ画像ビデオ復号手段であって、前記高ダイナミックレンジ画像ビデオ復号手段は、
    受信されている輝度マッピング関数を得て、前記輝度マッピング関数を前記標準ダイナミックレンジ画像のピクセルの色の輝度に適用して、前記輝度とは異なる輝度を有する前記ピクセルのHDR色を得る輝度マッピング手段であって、前記HDR色は、第1の中間高ダイナミックレンジ画像内に格納される、輝度マッピング手段と、
    高ダイナミックレンジ画像から前記標準ダイナミックレンジ画像が導出された符号化部位において適用されており、色マッピング関数の形状を規定するデータが受信されている色域マッピングの逆を実施する前記色マッピング関数を用いて適用する色域マッピング手段であって、色域再マッピング画像を得る、色域マッピング手段と、
    前記色域再マッピング画像の前記ピクセルの色に、RGB原色の第1のセットによって規定される前記標準ダイナミックレンジ画像の第1のRGB色表現として表される色を、RGB原色の第2のセットであって、うち少なくとも1つの原色は、前記RGB原色の第1のセット内の対応する原色よりも彩度が高い、第2のセットによって規定される、前記高ダイナミックレンジ画像の第2のRGB色表現に変換するための行列を適用することを含む色変換を適用する色空間変換手段と、
    前記高ダイナミックレンジ画像を出力する手段と
    を備える高ダイナミックレンジ画像ビデオ復号手段において、
    前記色域マッピング手段が、マッピングされた色のマッピングされているRGB色成分を得るために、前記HDR色のそれぞれのRGB色成分に対して3つのそれぞれのマッピング関数を適用し、前記マッピング関数は2つの線形セグメントを含み、前記線形セグメントのうちの一方は、線形セグメントがそれぞれ前記第2のRGB表現の入力赤、緑又は青色成分のそれぞれの閾値(TP_red、TP_green、TP_blue)において開始する、恒等変換に対応し、第2の線形セグメントは、ゼロ入力値を、標準ダイナミックレンジ画像が符号化である元々の高ダイナミックレンジ画像内で発生するそのRGB色表現内のその色成分の最も大きい負の値に実質的に等しいマッピングRGB色成分のそれぞれの色成分の負の値にマッピングする垂直方向から開始して規定されるそれぞれの角度を有し、それぞれの前記閾値(TP_red、TP_green、TP_blue)は、
    TP_red=kRG*max(0,G_in)+kRB*max(0,B_in);TP_green=kGR*max(0,R_in)+kGB*max(0,B_in);TP_blue=kBR*max(0,R_in)+kBG*max(0,G_in)
    のように、前記色成分がゼロよりも大きい値を有する場合に、それぞれの閾値がそれぞれの定数(kRG、kRB)によって計算される色成分以外の第2のRGB色表現の2つの成分の値を乗算し、それら2つの乗算された寄与を加算することによって計算されることを特徴とする、高ダイナミックレンジ画像ビデオ復号手段。
  16. 前記色域マッピング手段が、前記3つのRGB色成分のそれぞれの前記色成分に対して前記3つの色マッピング関数を適用し、それぞれの前記関数が、恒等変換ではない前記線形セグメントの角度の同じ値を有する、請求項15に記載の高ダイナミックレンジ画像ビデオ復号手段。
  17. それぞれ3つの異なる角度又は同じ角度が、前記画像の符号化手段によって作成されたメタデータとして受信される、請求項15又は16に記載の高ダイナミックレンジ画像ビデオ復号手段。
  18. 前記閾値の決定における乗算のための前記定数(kRG、kRB、kGR、kGB、kBR、kBG)は、メタデータ入力を介して受信される、請求項15から17のいずれか一項に記載の高ダイナミックレンジ画像ビデオ復号手段。
  19. 前記閾値の決定における乗算のための前記定数(kRG、kRB、kGR、kGB、kBR、kBG)は、前記復号手段によって、kRG=(cRG/cRR)*cP_red/(1.0−cP_red)、kRB=(cRB/cRR)*cP_red/(1.0−cP_red)、kGR=(cGR/cGG)*cP_green/(1.0−cP_green)、kGB=(cGB/cGG)*cP_green/(1.0−cP_green)、kBR=(cBR/cBB)*cP_blue/(1.0−cP_blue)、kBG=(cBG/cBB)*cP_blue/(1.0−cP_blue)に従って、前記第1のRGB表現で表されるときと前記第2のRGB色表現で表されるときとの色を規定する行列係数に基づいて計算され、ここで、cXX係数が、前記行列係数であり、それぞれのcP_X値は、前記3つのRGB色成分について同じであるか又は異なる、角度である、請求項15から18のいずれか一項に記載の高ダイナミックレンジ画像ビデオ復号手段。
  20. 前記色域マッピング手段及び前記色空間変換手段が、Rec.709RGB原色に従って規定される標準ダイナミックレンジ画像から前記高ダイナミックレンジ画像を復号する、請求項15から19のいずれか一項に記載の高ダイナミックレンジ画像ビデオ復号手段。
JP2019568706A 2017-06-13 2018-06-13 Hdrコード化(復号)のための色域マッピング Active JP7203048B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17175689.3 2017-06-13
EP17175689.3A EP3416363A1 (en) 2017-06-13 2017-06-13 Gamut mapping for hdr (de)coding
PCT/EP2018/065691 WO2018229145A1 (en) 2017-06-13 2018-06-13 Gamut mapping for hdr (de)coding

Publications (2)

Publication Number Publication Date
JP2020523873A true JP2020523873A (ja) 2020-08-06
JP7203048B2 JP7203048B2 (ja) 2023-01-12

Family

ID=59061861

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019568706A Active JP7203048B2 (ja) 2017-06-13 2018-06-13 Hdrコード化(復号)のための色域マッピング

Country Status (5)

Country Link
US (1) US11451756B2 (ja)
EP (2) EP3416363A1 (ja)
JP (1) JP7203048B2 (ja)
CN (1) CN110741624B (ja)
WO (1) WO2018229145A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102293193B1 (ko) * 2014-01-24 2021-08-25 소니그룹주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
EP3873096A1 (en) * 2020-02-25 2021-09-01 Koninklijke Philips N.V. Improved hdr color processing for saturated colors
CN114640834B (zh) * 2020-12-15 2024-03-19 华为技术有限公司 一种图像处理的方法以及相关装置
CN113271449B (zh) * 2021-07-21 2021-09-28 北京小鸟科技股份有限公司 多种hdr视频的转换系统、方法、设备
CN113676773B (zh) * 2021-08-16 2023-11-14 广州虎牙信息科技有限公司 一种视频播放方法、系统、装置、计算机设备和存储介质
CN115797151A (zh) * 2021-09-10 2023-03-14 北京字跳网络技术有限公司 一种颜色映射色卡生成方法及装置
CN114363702B (zh) * 2021-12-28 2023-09-08 上海网达软件股份有限公司 Sdr视频转换为hdr视频的方法、装置、设备及存储介质
CN114529490B (zh) * 2022-04-24 2022-07-15 腾讯科技(深圳)有限公司 一种数据处理方法、装置、设备以及可读存储介质
CN115174881B (zh) * 2022-07-15 2024-02-13 深圳市火乐科技发展有限公司 色域映射方法、装置、投影设备及存储介质
CN115063327B (zh) * 2022-08-19 2022-11-08 摩尔线程智能科技(北京)有限责任公司 图像处理方法和装置、以及视频处理方法和装置
CN116017171B (zh) * 2023-02-01 2023-06-20 北京小米移动软件有限公司 一种图像处理方法、装置、电子设备、芯片及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160203618A1 (en) * 2015-01-09 2016-07-14 Vixs Systems, Inc. Tone mapper with filtering for dynamic range conversion and methods for use therewith
WO2016120420A1 (en) * 2015-01-30 2016-08-04 Thomson Licensing Method and apparatus for encoding and decoding high dynamic range (hdr) videos
WO2017040237A1 (en) * 2015-08-28 2017-03-09 Arris Enterprises Llc Color volume transforms in coding of high dynamic range and wide color gamut sequences
JP2018142947A (ja) * 2017-02-28 2018-09-13 日本放送協会 信号処理回路及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5249784B2 (ja) * 2006-01-23 2013-07-31 マックス−プランク−ゲゼルシャフト・ツア・フェルデルング・デア・ヴィッセンシャフテン・エー・ファオ 高ダイナミックレンジコーデック
JP4241902B2 (ja) 2006-05-15 2009-03-18 シャープ株式会社 カラー画像表示装置及び色変換装置
WO2014009844A1 (en) * 2012-07-13 2014-01-16 Koninklijke Philips N.V. Improved hdr image encoding and decoding methods and devices
US10652588B2 (en) * 2015-09-21 2020-05-12 Vid Scale, Inc. Inverse reshaping for high dynamic range video coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160203618A1 (en) * 2015-01-09 2016-07-14 Vixs Systems, Inc. Tone mapper with filtering for dynamic range conversion and methods for use therewith
WO2016120420A1 (en) * 2015-01-30 2016-08-04 Thomson Licensing Method and apparatus for encoding and decoding high dynamic range (hdr) videos
WO2017040237A1 (en) * 2015-08-28 2017-03-09 Arris Enterprises Llc Color volume transforms in coding of high dynamic range and wide color gamut sequences
JP2018142947A (ja) * 2017-02-28 2018-09-13 日本放送協会 信号処理回路及びプログラム

Also Published As

Publication number Publication date
EP3639509A1 (en) 2020-04-22
WO2018229145A1 (en) 2018-12-20
CN110741624B (zh) 2021-11-09
EP3639509B1 (en) 2020-12-02
CN110741624A (zh) 2020-01-31
US11451756B2 (en) 2022-09-20
US20200099908A1 (en) 2020-03-26
JP7203048B2 (ja) 2023-01-12
EP3416363A1 (en) 2018-12-19

Similar Documents

Publication Publication Date Title
JP7203048B2 (ja) Hdrコード化(復号)のための色域マッピング
US10902567B2 (en) Handling multiple HDR image sources
EP3235236B1 (en) Dynamic range coding for images and video
JP6619888B2 (ja) Hdrビデオの符号化及び復号化
US9230509B2 (en) Luminance changing image processing with color constraints
JP2017512393A (ja) 高解像度及び高ダイナミックレンジを可能とするビデオデコーダ
JP2017512405A (ja) ビデオのための新たな色空間及びデコーダ
US20220124293A1 (en) High dynamic range video color remapping
WO2021004839A1 (en) Adjustment of display optimization behaviour for hdr images
EP4086841A1 (en) Display-optimized ambient light hdr video adaptation
EP4086843A1 (en) Display-optimized hdr video contrast adaptation
EP4086844A1 (en) Display-optimized hdr video contrast adaptation

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20200313

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200319

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210610

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221226

R150 Certificate of patent or registration of utility model

Ref document number: 7203048

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150