JP2017512393A - 高解像度及び高ダイナミックレンジを可能とするビデオデコーダ - Google Patents

高解像度及び高ダイナミックレンジを可能とするビデオデコーダ Download PDF

Info

Publication number
JP2017512393A
JP2017512393A JP2016549063A JP2016549063A JP2017512393A JP 2017512393 A JP2017512393 A JP 2017512393A JP 2016549063 A JP2016549063 A JP 2016549063A JP 2016549063 A JP2016549063 A JP 2016549063A JP 2017512393 A JP2017512393 A JP 2017512393A
Authority
JP
Japan
Prior art keywords
luma
color
chromaticity
luminance
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016549063A
Other languages
English (en)
Inventor
イェロエン ヒュベルト クリルトフェル ヤコブス ステッセン
イェロエン ヒュベルト クリルトフェル ヤコブス ステッセン
デル ヴルーテン レナトゥス ヨセフス ファン
デル ヴルーテン レナトゥス ヨセフス ファン
ヨハネス ジェラルドゥス ライク ファン モウリック
ヨハネス ジェラルドゥス ライク ファン モウリック
ルトガー ナイランド
ルトガー ナイランド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2017512393A publication Critical patent/JP2017512393A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98Adaptive-dynamic-range coding [ADRC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/64Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/64Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H04N1/646Transmitting or storing colour television type signals, e.g. PAL, Lab; Their conversion into additive or subtractive colour signals or vice versa therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/67Circuits for processing colour signals for matrixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/77Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

我々は、SIM2ディスプレイのような、出現しているHDRディスプレイ上での良質なレンダリングのために、現在出現している高ダイナミックレンジビデオを忠実にエンコードすることができる新たな改良された及び極めて異なる色エンコーディング空間を必要としたので、我々は、その新たな色空間周辺で、簡略化された処理、とりわけ、色彩処理から離れた全ての無彩色方向(即ちルミナンス)最適化の処理及び復元されたHDR画像の増大された品質を可能にする種々の新たなデコーダを示す。これは、ビデオ送信システムを介して送信され、又は、ビデオストレージ製品上で受信されたビデオ信号S_imを受信するための入力部358を有するビデオデコーダ350により実現され、画素色は、無彩色luma(Y´)座標及び2つの色度座標(u´´,v´´)によってエンコードされ、ビデオデコーダは、無彩色lumaによるスケーリングにより、色度色をルミナンス依存のクロミナンス色表現に変換するように構成されるスケーリングユニット356を有する。

Description

本発明は、高精細(高い鮮明さ)及び高ダイナミックレンジ(高輝度及び低輝度)が潜在的に扱われるべき将来の要件のためのビデオ(即ち、静止画像のセット)をデコードするための方法及び装置に関する。とりわけ、デコーダ動作は、新たな色空間定義に基づく。
19世紀以来、加法的な色の再現は、赤、緑及び青のプライマリ光出力を生成するための駆動座標のRGB空間において表されている。これらの異なるプライマリに異なる強度(線形ルミナンス)を与えることは、いわゆる全域(例えば255のコードR´maxに関してディスプレイ上でレンダリングされる例えば30nitであり得る考えられる最大の駆動(例えばRmax)により規定される3つのベクトルにより取得されるダイヤモンド形状)の範囲内の全ての色を作るための手段であり、これは、XYZのような一部の一般的な色空間における特定のディスプレイ又はコーデックのRGBプライマリに対応する。又は、同様に、プライマリから導出される他の線形空間(例えばXYZ又はUVW)において斯様な色を規定することができる。これは、ベクトルの線形組み合わせにより行われる。即ち、変換行列によって乗算することにより他の色空間定義における古いものを乗算することにより新たな色座標を計算することができる。
シーンにおける任意の色の良好な比色分析の定義を有すること、とりわけ色生成表示(RGB)を即時にモデル化することから離れて、第2の興味深い問題は、どのように色定義又は空間を開発するかということである。これは、いくらかの予想された使用(とりわけコンテンツ生産側からコンテンツの消費側(例えばTV又はコンピュータ等)への色画像の伝送、及び、これらの色の(計算を行うために必要なハードウェアの複雑性等のような)処理)に応じた実際的なものである。これはまさに有益であり、ルミナンスYのみをエンコードする無彩色の方向を有するために、白黒テレビのために歴史的に必要なものであった。視覚系は、これに対して分離した処理チャンネルを有する(加えて、より低い解像度の色経路を有する)ためである。これは、全域をその先端上に置くことにより取得され、これは、黒い点により図1aにおいて表された黒色である。色表現空間の全域は、基準モニタ(又は、基準が未定義である場合に信号が送信される任意のモニタ)に関係するとき、全域101である。この同じ視点において、円錐形状102をもたらす、無限に明るくなり得る理論的なプライマリを想像することができる。幾つかの色空間は、この原理(とりわけ白に対して上側で再び縮小する閉じられたもの)に従って規定される。これらは、例えば絵画に対して有益であるためである。ここで、純色を白及び黒と混合しなければならない、及び、ペーパーホワイトよりも高くなり得ない(例えば、Munsell color tree、NCS及びColoroidは、斯様な(bi)conal色空間の例であり、CIELUV及びCIELABは開口円錐である)。
テレビ界及びそのビデオエンコーディングにおいて、この視点のまわりの色空間の特定のセットが出現する。CRTは、おおよそ入力駆動電圧の平方である出力されたルミナンスに達したガンマを有する(及び、実際には非線形性がもともと電子銃物理学に由来するので、分離した色チャネルの間で同じである)ので、これを事前補償し、テレビ受信機に信号を送信することが決定され、これは、線形カメラ信号のおおよそ平方根として規定される(符号化された信号量は、ダッシュで示され、例えばR´はRの平方根であり、Rはカメラにより取り込まれたシーンにおける赤の量であり、例えば範囲[0,0.7Volt]の範囲内にある)。既存の白黒の伝送システム(NTSC又はPAL)の上で構築される必要があるので、無彩色("白黒")座標を用いるというこの方針が使用され、2つの色情報は、信号R−Y,B−Y(これらからG−Yが後に導出され得る)を送る。色情報信号は、色彩情報のみを理想的に伝達すべきであるが、ルミナンス情報をもたらす非線形量の近似の組み合わせに起因して、全ての数学的方程式が再び反転される場合にそこに問題があるべきではないが、実際には問題になり得る。R−Yのような信号は、ルミナンスによって線形に成長する(R´−Y´の場合においては非線形であるが、これらは依然としてY´によって成長する)ことに留意されたい。これは、複合用語chrominancesによってこれらを示す理由である。線形システムにおけるYは、a*R+b*G+c*Bとして計算可能であるだろう。a,b及びcは、プライマリの正確な色位置(又は実際にはこれらのスペクトル発光形状)に依存する定数である。
しかしながら、導出された座標R´,G´,B´の非線形空間において無彩色成分を取得するためにこれらの単純なマトリクス計算を行う(即ち平方根化された信号)。全域のダイヤモンド形状(即ち、外側境界)は、斯様な数値演算によって変化しないが、その範囲内の全ての色の位置/定義は変化する(これらは、非線形関数による圧縮及び伸長により移される)。これは、とりわけ、Y´=a*R´+b*G´+c*B´がもはや全ての色の正確なルミナンスを伝達する現実のルミナンス信号ではないことを意味する。これはlumaと呼ばれる理由である(一般に、lumaを線形ルミナンスの任意の非線形エンコーディング又はルミナンスの任意の線形エンコーディングと呼ぶことができる)。
これは、最近まで(従来技術の文書に本発明の実施形態を置くためのバードアイレベルで)全て存在しており、MPEGのような幾つかのビデオ符号化規格の基礎を形成している。我々は、LDR規格と言うだろう。これらは、反射に類似する範囲におけるコーディングルミナンスにおいて良好である。典型的にはおおよそ100%から0.5%の範囲内になければならない紙に印刷されたインクのようなオブジェクト、及び、おそらく、少し明るく及びより暗い画素色を生成することができる幾つかのディスプレイから得ることができる。
しかしながら、最近、いわゆるHDR(high dynamic range)ビデオ材料をエンコードし始めるという要求が生じている。これらは、レガシーディスプレイと比較して増大されたルミナンスコントラスト性能(例えば1−100nit CRT TV又は0.1−500nitLCD TV)を伴う、典型的には少なくとも1000nitの白色ピークを伴う、及び、多くの場合より暗い黒色をも伴う、好ましくはディスプレイ上でレンダリングされるためにエンコードされたビデオイメージである。現実世界のシーンは、はるかに多い対照的平均ルミナンス領域(例えば明るい照明及び濃い影において、又は、画像におけるそれ自身のように見える光源の非常に高いルミナンス)を含むので、高品質ディスプレイ上にこのシーンの詳細の全てをレンダリングするために有益な符号化された画像は、十分に高い精度によってこの情報を全て含むべきである。例えば、屋内及び日が照っている屋外の双方のオブジェクトを含むシーンは、1000:1より高く及び最大10,000の内部画像ルミナンスコントラスト比を有してもよい。これは、黒は、典型的には、完全に反映させる白の5%及び0.5%を反映し、及び、屋内の形状(例えば、大部分は屋外照明から遮断され、それ故に間接的にしか照射されない長い通路)に依存して、屋内照度は、典型的には、屋外の照度のk*1/100であるためである。
この研究は、ビデオの比色分析における所与の事実がHDRのために再考及び再定義されなければならなかった(及び、良い用語が存在しないときに名前変更されたかもしれない)ずっと前にいくらか理解をもたらした。とりわけ、ルマ(luma)コードに対する、世界中のオブジェクトのルミナンスに関連する関数、又は、赤のようなこれらの色の色成分はもはや必要ではないか、又は、平方根であり得るが、他の関数でなければならない。おそらくシーンの種類の詳細に依存して、我々は、コード及びレンダリングハードウェアの技術的制約等を要求するだろう。それ故、我々は、このテキストにおいて、どのマッピング関数がルミナンスをlumaにマッピングするために用いられるかに関わらず、無彩色軸に沿った全ての計算された(輝度を決定する)信号に対してルマ(luma)という用語を用いるだろう。そして、我々は、Yを、色の物理的なルミナンスYを表す技術的エンコーディングとして理解するだろう。これは、我々がルミナンス自体をそれ自体の信号エンコーディングとして用いることさえできたことを意味し、及び、実施形態の退屈な言語学的公式化を回避するために、我々がlumaと言うときにはこれをカバーするものをみなすだろう(その実施形態における選ばれたルミナンスであるluma Y´の特別な状況を示すために我々がYを用いる場合であっても、これは、より明瞭な及び扱いにくい二重公式化であるべきである)。
しかしながら、これらの単純すぎる線形導出に加えての色成分の任意の非線形定義は、いわゆる一定のルミナンス問題をもたらす。一部のルミナンス情報は、Y´におけるものではなく、むしろ、色彩座標Cr,Cbにおけるものであるためである。これらは、Cr=m*(R´−Y´)及びCb=n*(B´−Y´)として規定され、このテキストにおいて、我々は、これらをクロミナンスと呼ぶだろう。これらは、色のルミナンスの増加と共により大きくなるためである(クロマ(chroma、彩度)という用語も一部で用いられる)。従って、これらの座標は、これらに対していくらかの色彩の態様を有するが、これは、輝度の態様と混合される(精神視覚的にそれ自体悪くない。彩度は、輝度とともに成長する外観ファクタであるためである)。この問題は、同じ逆デコーディングを正確に行う場合にはそれほど悪くならないが、(現在のMPEG規格の基礎を形成する)斯様なシステムにおいてエンコードされた色に対する任意の変換は、例えばルミナンス及び色のエラーのような問題を生成する。とりわけ、これは、例えばより低い解像度に対してクロミナンスをサブサンプリングするときに生じる。この場合、無くなった任意の情報はなくなる(及び、単純に戻るように推定され得ない)。この問題は、HDRのために必要とされるより高度な非線形ルミナンス−lumaマッピング又は光電気伝達関数OETFを悪化させる(注記;実際には、その逆、基準EOTFから色定義システムを開始することが利点であると考える)。しかし、LDRビデオエンコーディングでさえ、YCrCbは、全ての要求に従って色を表すための最良の考えられる色空間ではないが、我々が受け入れることができる実際的なものである。
他の問題は、とりわけ、線形システムに関して、非線形色エンコーディングにおける色度でさえも、座標は、例えばRmaxが大きい場合に非常に大きくなり、エンコーディング又はプロセッシングICのために多くのビットを必要とすることである。言い換えると、クロミナンス空間は、HDR信号のように、極めて小さなクロミナンス値に対して依然として十分な精度を有することができるように多くのビットを必要とするが、RからR´を規定する強い非線形luma曲線を規定することにより部分的に軽減され得る。
色空間トポロジの第2のタイプ(図1b)が理論的比色分析において存在する。しかしながら、より少ない変形がある。単位面105(又は図6における602)に線形色を投射する場合、そのタイプの透視変換を得る;x=X/(X+Y+Z)及びy=Y/(X+Y+Z)(及び、例えばCIELUV:u=U/(U+V+W)等に対しても同じ)。そしてz=1−x−yのため、2つの斯様な色度座標だけを必要とする。斯様な空間の利点は、円錐を有限幅円柱に変換することである。即ち、単一の色度(x,y)又は(u,v)を、一部の光により照射された特定のスペクトル反射曲線のオブジェクトと関連付けることができ、そして、この値は、ルミナンスYから独立している。即ち、どれくらいの光がそこに入るかに関わらずオブジェクトの色を規定する。同じスペクトル特性のより多くの光による照明に起因した輝度は、円柱の無彩色軸と平行な色の上方へのシフトである。そして、斯様な色度は、より容易な人間の理解のために、支配的な波長及び純度の量、又は、より人間の精神視覚的な色相及び彩度の量によって一般に述べられる。任意の考えられる色相のための最大彩度は、蹄鉄境界103を形成する単色により取得され、特定の加法的ディスプレイ(又は色空間)の各色相のための最大彩度は、RGB三角形により決定される。実際には3D視野が必要とされる。加法的再現又は色空間の全域104はテント状であるためである。白色ピークWは、全ての色のチャネル(即ち、RGBローカルディスプレイサブピクセルの三つ組みにおけるローカル画素)が最大限に駆動される条件である。
我々の研究は、以下で述べられるように、追加の色の量を考慮することをもたらしている。通常、誰も斯様な技術を用いないだろう。認識された専門的な名前さえない(従って、我々の実施形態の以下の教示を簡潔に述べることができるようここで幾つかの用語を規定する必要がある)。一般的にこれらを色度の幾つかの変形と呼ぶことができるが、混乱が生じ得るときには、我々はこれらをlumaスケールされた色彩座標と名付けるだろう(前記lumaは、潜在的には特定の技術的なエンコーディングにおけるルミナンスである)。又は、これらをluma非依存性色彩座標若しくはダイナミックレンジ非依存性色彩座標と理解し且つ呼ぶこともできる。これは、とりわけ他のダイナミックレンジが扱われるのを必要とするときに、例えばHDR等級づけをLDR等級づけに変換するときに、画素ルミナンスのうちの少なくとも1つの高ダイナミックレンジを扱うことができるために必要とされるシステムにとって重要である(lumaマッピング関数によって決定された見た目について鮮明な差分があるにも関わらず、これらは、同じ相対的な数値的表現の双方の等級づけを有することにより表され得る)。
図6で理解されるように、これらは、色度に対して類似の特性を有し、[0,1]間隔においてではなく、例えば実用的なシステムに関して[0,75]間隔において、境界付けられる。実際には、これらのための例えば12ビットコード定義を設計することができる。その詳細は本発明の説明には関連しない。これらはlumaスケールされる。これらはluma Y´(又はY)により分割されるためである。例えば、(如何なるOETFであっても)非線形の赤色成分は、R´/Y´をもたらすためにスケールされるか、又は、CIE X座標はX/Yになるようにスケールされる等である。これは、[1、1、1]対角線の色面602に対してではなく、Y=1を通る色面に対する投射に対応する。換言すれば、新たな座標X_C/Y−C、Y_C/Y−C及びZ_C/Y−Cにより色の色ベクトルC=(X_C,Y_C,Z−C)を特定することができる。第2の成分が常に1であるので、2つの座標だけが実際に色面601を横切るのに必要であると理解することができるが、(R/Y,G/Y,B/Y)のような冗長な三つ組みの色定義を特定することができる。
スケーリング又は透視変換は、起点を介して面602に達するのではなく、面601に達する。それにもかかわらず、同じ数理が当てはまる。スケールされたxx座標を、1/Y_CによるX_Cの乗算として、又は、換言すると、xx/1=X_C/Y_Cとして、理解することができる。従って、前と同じように、元の3D色ベクトルは、luma Y´で乗算することにより取得され得る。
我々が以下で用いる極めて重要な特性は、これらのlumaスケールされた座標がluma又はルミナンス非依存であるということである。これは、我々が可変ルミナンス特性を伴う全ての種類のHDR技術に対して進行するのを望むときに、非常に重要であり、これらの洞察は、我々が(LDR技術がHDR技術に単純にマッピング可能ではなかったためであるため、必要とされる)新たな技術的システムを構築するのを可能にする。従って、これらは、いくらかの「色のみの」次元に存在する。実際に、面601における色Cの色座標ccの位置は、その色をより明るくするベクトルCを長くすることによっては変化しないことが理解できる。色面601における実際の位置は依然としてルミナンス値Yに依存するが、X/Yの比率にのみ依存する。従って、スペクトルに基づく割合は、まさに周知の及び通常用いられる(x,y)色度のような純粋な色彩特性であるXYZ感度関数によって重み付けすることにより取得される。従って、例えば新たなプライマリ座標系における再成文化(re-codification)のような色変換が601面において行われ得る。例えばRmaxのような全てのプライマリは面601におけるこれらの等価な投射(rr)を有するためである。
簡素化のために、我々は、ルミナンスYの場合のみを取り出すが、我々の研究の間、我々は、必要な変更を加えて、例えばloggamma関数のような、無彩色軸(Y軸)に沿って幾らか異なるように規定されたluma関数を用いることにより、lumaスケールされた色彩座標により色を特定し得ることを実現した。これは、一部の他のY´=1面に投射することを意味するが、我々が色Cに対して再び投射する方法を知る限り、原理は同様のままである。我々は、色面がY=1を通るため、これらの色表現を一体的表現と呼ぶことができるが、より適切な名付けである"lumaスケールされた"を使用するだろう。以下の実際の実施形態の詳細を参照するように、これは、非常に有益な新たな色処理システムを設計するために非常に強力なものである。
歴史的に、良い理由のために、テレビエンジニアは、シリンダ−空間表現を考慮しなかったか、又は、明示的に拒絶していた。これらのためにあまり有益ではないためである。更に、例えばNTSCの直系又はBT.709であるテレビ/ビデオのための、クロミナンスに基づく色空間、例えば種々のMPEG及び他のデジタル圧縮規格のY´CrCbは、幾つかの既知の問題(とりわけ、不適当な非線形性に起因した種々の色チャネルの混合)はあったが、実際には十分に良好であった(例えば、いくらかの演算が色成分上で行われる場合にルミナンスが変化するか、又は、彩度のみ(又は好ましくは彩度)を変えたいときに色相が変化する等である)。Yxy又はLu´v´のような色度に基づく色空間は、画像伝送に対してこれまで用いられなかったか、又は、しっかり考察及び開発されなかった。開発されなかった。科学的画像解析に対してのみであった。
最近、しかしながら、高ダインミックレンジ(HDR)ビデオ材料を符号化する必要性のため、実験及び期待は、技術的原理に対する新たな問題及び洞察をもたらさないが、非通常手段においてその原理の考えを開始し、その原理に近づくために推測的な未知の(不適当であると推測的に想定される)手段を考察するようフィリップスの研究者を案内する。
我々は、最終的にレンダリング画像を可能にする従来の研究の1つの更なる系統について述べることを必要とする。ここで、太陽は、実際に屋外のオブジェクトに対してその光線を投げるようであるか、又は、ランプは実際に光るようである。これは、第一に、良好なカメラ取り込みを含み、そして、最適な色等級づけ及び格納又は伝送のためのエンコーディングのような中間技術の良好な処理を含む。最終的に、良好なディスプレイレンダリングを含む。静止画像に関して、線形色座標(例えば、シーン色のXYZ座標を高い精度でエンコードする大きなビット語)をエンコードするコーデックが開発された。しかしながら、これは、単一静止画に対して行われ得る。ビデオに関して、速度及び幾つかのハードウェア考察(例えば処理ICのコスト又はBDディスク上の空間)は、斯様なエンコーディングを可能にしないか又は少なくとも用いるのをやめさせる。即ち、実用的な視点から、産業は、HDRビデオのための異なるコーデックを必要とする。
新規なHDRエンコーディング(及びデコーディング)ストラテジを研究しており、この出願において、我々は、とりわけ鮮明さの態様を処理するための新たな要求及び解決策にフォーカスし、最適な画像処理チェインに至る。前後に変換RGB、XYZ及び例えばYuvのようなルミナンス−クロマティック色表現への及びからの変換は、全体解像度において行われたとき、例えばDCT係数の量子化及びDCT変換のような更なる処理を伴うことなく全てが良くなるかもしれない。実際には、我々は、本発明の典型的な実施形態が、レガシーのMPEGのような符号化構造における(容器における)データをエンコードすることを望む。これらは、色成分に対してサブサンプリングを適用する。即ち、レガシーエンコーダからのあまり修正されないICトポロジにおいて、これらの成分においてどのスマート最適規定信号が置かれても、これらの成分は(例えば4:2:0に対して)サブサンプリングされるだろう。それ故、これを考慮する技術とともに進まなければなければならない、及び、これらの状況下で最適に機能しなければならない。とりわけ、良好なシャープネス、及び、無彩色のルミナンスと色彩情報との間のクロストークに起因したいくらかのルミナンスアーチファクトを与える。
G.W. Larson "LogLuv Encoding for Full-gamut, High dynamic range images", Journal of Graphics Tools, association for computing machinery, vol. 3, no. 1, 22 Jan. 1999, pp. 15-31は、例えばコンピュータ生成から又はフォトスキャンからのような、HDR静止画像のためのエンコーディングの概念を取り込む。ルミナンスからlumaを決定するために純粋な対数関数的マッピングを使用する。これは、ルミナンスの38桁のエンコーディングを可能にするだろう。しかし、実用的なディスプレイシステムに対して多少過剰である。これは、典型的には、おおよそ0.001nitと10000nitとの間で機能するだろう(即ち、純粋なログ関数は、最適な関数でない。とりわけ、データがluma Lチャネルのための8又は10ビットのように数ビットでエンコードされなければならない場合、画像の重要な部分上でバンディング(banding )を示し得る。)。これらは、CIE 1976uv座標を用いることにより色彩情報をエンコードする。これらは、隣り合う画素のlumasのセット上のランレングス圧縮により、TIFFフォーマットにおいてこのデータをエンコードする。また、これらは、共通のlumaスケールファクタは、ディスプレイガンマパワー関数に変換されたR´,G´,B´座標のための3つから得ることができることを考慮する。それ故、正規化されたR´G´B´座標の空間において機能し得る。これは、3つの第1のルックアップテーブルによりu,v座標から決定され、ディスプレイガンマ表現における共通のスケールファクタを適用することにより、ルミナンスに依存するR´G´B´駆動値(Rd,Gd,Bd)にスケールする。そして、任意の所望の色調マッピング関数は、第4のルックアップテーブルLt(Le)において実装され得る。しかしながら、これは、RGB又はXYZ空間に対する全体解像度Luvにおける必要とされるマッピングを教示するが、シャープネス及び非線形色成分クロストークに対する影響が最小化されるような手法でダウンサンプリングしたい場合に何が行われる必要があるかについて何も教示されていない。
R. Mantiuk et al: "Perception-motivated high dynamic range video encoding", ACM transactions on graphics, vol. 23, no. 3, 1 Aug. 2004, pp. 733-744は、HDRビデオエンコーディングにも適した、他のHDR符号化技術を教示する。ルミナンスをエンコードするようこれらのlumasを規定するために他の対数のような曲線を取り込み、色度座標としてuvを用いる。これらは、規格のMPEG−4エンコーディングトポロジにおいてこれを全てエンコードし、量子化がHDRのためにどのように最適化され得るかを教示する。このYCrCbに感化された符号化は、色成分上での倍速空間サブサンプリングを用いるが、Mantiukは、特定のHDRエンコーディング技術、とりわけコード割り当て関数を規定する対数のようなlumaのために、最良の視覚的品質を得たい場合に、どのように最適にダウンサンプリング及びアップサンプリングすべきかについて如何なる詳細も教示していない。
US2013/0156311(Choi)は、(MPEGエンコーディングにおいて取り込まれる)古典的なPALのようなYCrCb色定義のための色クロストークの問題に対処しているが、LDRに対してのみである。
これらは、luma Y´を有し、これは、或る白色ポイントのための線形一次重みによって計算されるが、非線形R´,G´,B´値上に適用される。そして、黄色−青みがかった色の成分は、適切にスケールされたB´−Y´として計算され、緑がかった色−赤みがかった色は、R´−Y´としてその色に寄与する。全ての座標は、線形よりもむしろ非線形のガンマ2.2表現において計算されるので、ルミナンス情報の一部は、色成分にリークする(クロストーク)。これは、理想的な再現が逆に行われる場合、問題にはならないが、例えばクロミナンス係数のサブサンプリングに起因して一部の情報が失われる場合に問題になり得る。そして、これは、高周波ルミナンス情報の一部を捨てることに対応する。これは、シャープネスの損失をもたらし得るが、縞模様タイプのパターン上で色のエラー又は類似の高周波数画像コンテンツをもたらし得る。LDRビデオ符号化において、これは、典型的には、大きな問題として理解されなかった。PALにおける最悪の問題に対する解決策のうちの1つは、製作者が役者に非縞模様の衣服を持ってくるよう求めることであった。しかしながら、HDRの任意の及び強い非線形関数により、問題が時々激しく悪化し得ることが研究され得る。また、何を行うべきかについて一見したところでは明瞭でない。Choiは、LDRシナリオのために、幾つかの代替YCrCbエンコーディングを提示する。彼のシステムの技術的な制約下で、強い赤、マゼンタ又は紫の色のためのほとんどの問題を見つける。これらを検出する場合、線形XYZ空間から他のエンコーディングを導出し得る。その成分は、より適切に脱相関され、あまりクロストークの問題をもたらさない。例えば、彼は他のCrgチャネルを提案し、これは、古典的なR´−Y´ではなく、その代わりにG´−Y´である。或る状況において、これは、良好な代替手段として用いられ得るが、どの定義が用いられるかを示すために適切なフラグを必要とする非標準エンコーダをもたらす。また、彼は、X,Y,Z係数上に同じ古典的2.2のガンマを適用し、非線形X´Y´Zに基づくクロミナンスを規定し、これらをYCrCbエンコーダのクロマティック色成分に置くことを提案した。しかしながら、ここではどれくらい正確か、又は、どの位相的順序で色彩のサブサンプリングを行うことを必要とするかについて何も詳細に教示されていない。
WO2010/104624は、対数関数的lumaの更に他の定義を伴う、更に他のLuv HDRエンコーディングシステムであり、サブサンプリングに関する特定の教示ではない。
新たなHDR画像エンコーディングに移動するとき、全てが深刻に変化する。要求されるコーデックの比色分析を再定義した後に全てがレガシー"LDR"MPEGコンテナに置かれ得るという制約に追加的に従いたいとき、あまり深刻に考えさえしない。符号化について新たな態様及び問題を継続的に発見し、これは、検討並びに更なる発明及び最適化を必要とする。とりわけ、これは些細なものではない。レガシーLDRサブサンプリングからの教示は、厳しい非線形性下で用いられるべきである。これは、とりわけ4倍の解像度又はUHDをもたらす約束された高解像度を実現したい場合に慎重に検討及び最適化されなければならない。4倍より多くの画素を容易に規定することができるが、これらは、適切な画素値によって常に満たされるべきである。古典的動作に対する如何なる類似物も新たなシステムにおいて行われる。従って、これらの鮮明なコンテナにおける不当にぼかされた画像を偶然に生成しない。実際にはHDより大幅に良好なシステムを依然として有しないためである。
これを実現するために、我々は、以下の実施形態を発明し、以下に示す。
HDRエンコーディングにおいてより複雑な制約が与えられる場合、先に述べた通りの従来の技術のYCbCr色空間は、幾つかの変形例でさえもはや最適ではない。とりわけ、画像のより暗い部分の挙動は最適ではない(HDRにおいて、普及しているシーンは、例えば明るい光を有する暗い地階であるが、如何なる場合でも、LDR対してよりもルミナンス範囲のより低い部分において重大な画素のより大きな量が統計学的に存在するだろう。古典的低ダイナミックレンジ画像)。また、HDRに関して、我々は、lumaコード割り当て関数を介して自由に制御することを望む(これは、状況毎の必要とするもの又は欲するものに依存して、取り込まれた又は段階的なルミナンスYの、これらを表わすコードY´へのマッピングを規定する(例えばWO2012/147022参照))。Y´CrCbの平方根と比較されるOETF又はEOTFのより激しい非線形特性は、図1aの例示的なもののような、典型的なテレビエンコーディングluma−クロミナンス空間の誤った挙動を非常に不適切な挙動にするだろう。とりわけ、これは、4:4:4〜4:2:0の色信号を空間的にサブサンプリングするときに生じるが、多くの他の理由のために色座標を変えることに関係がある。多くの研究者は、最適な比色変換を見つけること、即ち、できるだけ効率的にコードを用いる良好なlumaコード割当て関数を規定するかどうかにフォーカスしている。例えば、符号化されたルミナンスである高ダイナミックレンジに沿って、人間の視覚系の応答を模倣する。あるいは、LDRディスプレイ又はフォトプリントの制限されたダイナミックレンジ容量においてHDRをシミュレートするために要求されるトーンマッピングに関して、静止画像に関してではないがテレビ/ビデオ処理システムの典型的な詳細に関してHDRチェインを最適化するために実用的に退屈な詳細、とりわけずっと以前に選択された色彩成分のサブサンプリングを伴う新たな問題についてこれまでにほとんど調査されなかった。1950年代のテレビディスプレイの要件に対する人間の視覚系の後のマッピングされた詳細、及び、品質結果をもたらす良好な画像処理トポロジの決定のためである。
我々がHDRエンコーディングについて話すとき、当業者は、これらの提案された実施形態がもちろんLDR画像をエンコードすることもできることを理解すべきである(例えば、HDRエンコーディングに含まれること、HDR画像等級づけから導出可能であること等)。しかしながら、システムは、レガシーシステムと比較してそのように技術的に修正されるべきである。これらは、実際に高ダイナミックレンジ(例えば、20000nit以上のオブジェクトを有する元のシーンは、最も明るいオブジェクトをその範囲に等級分けすることにより、例えば言わば5000又は10000nitの最大のルミナンスを伴う、実用的芸術的マスタールミナンスの範囲に変換されてもよく、そして、ルミナンスからlumaを決定するために、例えば1000nitの最大値を有する対応するルミナンス範囲及び対応する最適化されたコード割当て関数を有するコーデックにより実際にエンコードされてもよい)、全てがluma範囲に沿った精確に等級分けされたオブジェクトカラー、好ましくは低バンディング(及び、好ましくは低い複雑性の回路及びビット割当て及び高速計算)等を伴う、最も扱いにくい実用的なHDR画像を扱うこともできる。
我々の以下で述べられる実施形態は、DVB放送を介するような消費者向け通信又は映画館への伝送のような専門的ビデオ通信に関して、とりわけ、ビデオ送信システムを介して送信されるか又はビデオ格納製品で受信される画像のビデオ信号(S_im)を受信するための入力部(358)を有する高ダイナミックレンジビデオデコーダ(350)による、とりわけHDRビデオのためのテレビエンコーディング(又は処理)のほとんどの問題を解決する。画素色は、無彩色luma(Y´)座標及び2つの色度座標(u´´,v´´)によって符合化され、ビデオデコーダは、以下の処理順序を有する。第1に、色度座標(u´´,v´´)を伴う画像成分の解像度を増大させるように構成される空間アップサンプリングユニット(913)。第2に、増大された解像度の色度成分画像の画素に関して、色度座標を3つのルミナンス非依存の赤、緑及び青の色成分に変換するように構成される色変換ユニット(909)。これは、斯様な色の最大として考えられるlumaが1.0になるように規定される。第3に、無彩色luma(Y´)座標に基づいて計算された共通のlumaファクタによりスケーリングすることにより、3つのルミナンス非依存の赤、緑及び青の色成分をルミナンス依存の赤、緑及び青の色表現に変換するように構成されるルミナンススケーリングユニット(930)。
アップサンプリングは、色度表現において行われて最良になるよう行われ、これは依然として最もニュートラル且つダイナミックレンジ依存である。しかしながら、これは、対応する最適な処理トポロジにより、有益な色度定義の幾つかの変形において行われ得る。
当業者は、高ダイナミックレンジビデオが何を意味するかを理解するだろう。即ち、レガシーLDRビデオと対比される少なくとも1000nitのオブジェクトルミナンスを成文化する。これは、100nitの最大(白色)オブジェクト輝度のために等級分けされた。また、トポロジにおいて望ましいものと見出されるどの(無彩色)lumaによってでもスケールすることができることが当業者にとって明らかであるべきである。例えば、エンコードされたluma非依存の色度からXYZのようなデバイス非依存の空間にのみ進む必要がある場合、無彩色lumaはこれにスケールするものになり得る。あるいは、我々がディスプレイ駆動座標に直接進む必要がある場合、我々は、例えばニュートラルシーンが等級づけに目を向けるものと想定することができ、そして、最終的に使用される無彩色lumaは、入力画像に関して選ばれたコード割当てストラテジ、及び、ディスプレイのためのものの双方に含まれるものになるだろう(これは、ガンマ2.4になり得るが、その他に、例えば視聴環境詳細を考慮してもよい)。しかし、我々は、グレーダ(grader)からの特定の階級付けられた観察欲求を考慮することができ、そして、最終的なlumaスケーリング関数(930)を決定するユニットにおいて、例えばWO2014/056679の原理に従う、グレーダからのカスタムトーンマッピング曲線を得る。重要なことは、一部のluma曲線が存在することであり、これは、この画素のために、用いられるべき一部のスケールファクタを決定するだろう。しかしながら、このトポロジは、そのピーク輝度又は新たな等級づけ観察又は例えば観察者が遠隔制御を介して異なる輝度優先度をセットすることのようなその詳細に従って、例えばサービス提供されるために接続される新たな(おそらく第2の)ディスプレイに急激に変化するのを可能にする。これは、例えば、より暗い画素とは異なるより明るい画素に影響するだろう。
有益な実施形態は、ビデオデコーダ(350)であり、入力画像の色度座標(u´´,v´´)は、閾値luma(E´)より低いluma(Y´)をもつ画素に関して、画素luma(Y´)の量が閾値luma(E´)より低くなるように単調に減少する最大の彩度を有するように規定される。
これは、対数のようなluma−色度タイプの実用的なHDRエンコーディングであるが、とりわけMPEGのようなエンコーディング/デコーディングトポロジにおいて用いるのにより適している。極めて暗い領域に対する高ビットレート要件の問題を軽減するためである。これは、コード割当て関数の高い非線形性に起因して、比較的高いlumaで終わってもよく、依然としてむしろノイズが多くてもよい。HDRコンテンツを生成するために使用される(製造者によりHDRであると述べられる)全てのカメラが、その最も低いluma部分、即ち最も暗い色における高い品質のものがかなりのノイズを含み得るというわけではないためである。種々の伝送メディア(例えば、BDディスクのようなメモリ製品、衛星チャネル、又は低ビットレートインターネット接続等)上で不十分なビットバジェットを不必要に消費する必要はない。そして、空間アップスケーリングは、特別な新規な色度をレガシーの色度に変換した後に生じ得る。これは、概して、単純で安価なトポロジ、又は、新規な色度画像周辺で機能するより高品質な変形、又は、その更なる変形例をもたらし、これらの色度画像をアップサンプリングする。当業者は、彩度が(u,v)面においてどのように常に規定されるかについて十分に理解すべきである。即ち、これは、予め決められた白色ポイント(uw,vw)からの距離であり(例えばD65)、その距離は、典型的には、成分の差分u−uw及びv−vwの2乗の平方根である。
処理順序における更なる有益なビデオデコーダ(350)の実施形態は、以下のユニットを有する。第一に、サブサンプリングファクタによりluma(Y´)の入力成分画像を空間的にサブサンプリングするように構成されたダウンスケーラ(910)。そして、このサブサンプリングされた画像における画素毎のluma(Y´´2k)に基づいて第1のゲイン(g1)を決定するように構成されるゲイン決定部(911)。そして、中間色度(u´´,v´´)をもたらすように色度座標を第1のゲインで乗算するように構成される乗法的スケーラ(912)。並行して、処理分岐は、同じサブサンプリングファクタによりluma(Y´´2k)のサブサンプリングされた画像を再びアップスケールするように構成されるアップスケーラ(916)と、再アップサンプリングされたluma画像のluma(Y´´4k)に基づいて第2のゲイン(g2)を計算するように構成される第2のゲイン決定部(915)とを有する。そして、第1の処理分岐は、中間色度(u´´´,v´´´)をluma(Y´)の入力成分画像の解像度にアップサンプリングするように構成されるアップサンプラ(913)と、アップスケールされた色度成分画像の色度を第2のゲイン(g2)により乗算するように構成される第2のゲイン乗算部(914)とを更に有する。
更なる有益なビデオデコーダの実施形態は、色が閾値E´´より低いluma Y´´を有する場合にu´v´座標を減衰関数により減衰させることにより、及び、色が閾値E´´より高いluma Y´´を有する場合にu´v´座標をブースティング関数によりブーストすることにより、CIE 1976のu´,v´座標から規定される中間色度(u´´´,v´´´)に対して機能する。
高ダイナミックレンジビデオデコーディングの方法は、以下を含む。ビデオ送信システムを介して送信されるか又はビデオ記憶装置製品上で受信された画像のビデオ信号(S_im)を受信すること。画素色は、無彩色luma(Y´)座標及び2つの色度座標(u´´,v´´)によってエンコードされ、本方法は、処理順序において以下のものを更に有する。色度座標(u´´,v´´)により画像成分の解像度を増大させるために空間的アップスケーリングを行うこと。第二に、増大された解像度の色度成分画像の画素に関して、色度座標を3つのルミナンス非依存の赤、緑及び青の色成分に変換する。これらは、斯様な色の最大の考えられるlumaが1.0になるように規定される。第三に、無彩色luma(Y´)座標に基づいて計算された共通のlumaファクタによってスケールすることにより、3つのルミナンス非依存の赤、緑及び青の色成分をルミナンスに依存する赤、緑及び青の色表現に変換する。
ビデオデコーディングの方法は、閾値luma(E´)より低いluma(Y´)を有する画素に関して、その量によって単調に減少する最大の彩度を有するように規定されるフォーマットにおいて2つの色度座標(u´´,v´´)を受信することを更に有する。画素luma(Y´)は、閾値luma(E´)より低い。本方法は、空間的アップサンプリングを実行する前にこれらの色度座標(u´´,v´´)を規格CIE 1976のuv色度に変換することを有する。
コンテンツ分配側のものに対応して、ビデオエンコーダ(300)は、入力ビデオをエンコードするように構成される。画素色は、任意の入力色表現(X,Y,Z)においてビデオ信号(S_im)にエンコードされる。ビデオ信号(S_im)は、画素色が無彩色luma(Y´)座標及び2つのルミナンス非依存の色度座標(u´´,v´´)により規定される色エンコーディングにおいてエンコードされる画像を有する。ビデオエンコーダは、伝送ネットワークを介したビデオ伝送又は(例えばAVC(H264)、HEVC(H265)又は同様のもののようなMPEG規格により規定されるフォーマットのような、ブルーレイディスクのような)ビデオストレージメモリ製品上のストレージのために更に適切な信号S_imをフォーマットするように構成されるフォーマッタを更に有する。
厳密に必要ではないが、我々の実施形態の核心要素は、伝送のためのいかなるビデオエンコーディングにおいてもYuvカラーエンコーディング技術を用いるので、我々は、レガシーのエンコーディングフレームワークに容易に合わせることができるように我々の技術及び実施形態を設計した。とりわけ、フォーマッタは、例えば古典的HEVCエンコーディングのようなものであってもよい(Y及びuv画像が通常のYCrCb画像であると装う。これは、直接表示される場合、勿論奇妙に見えるだろう。しかしながら、これらは、後に正しい画像にカラーマッピングすることにより変換されるようこれらの既存の技術にパックされ、少なくとも短期間で配置されたシステムの効率的なリユーザビリティをもたらす)。これは、フォーマッタが、一方では、例えばDCTエンコーディング及び算術的エンコーディングのようなデータ削減処理を行い、他方では、全ての種類のヘッダ及び他のメタデータを満たすことを意味する。典型的には斯様なHEVCエンコーディングの任意の実用的な変形を生成するためである。その詳細は、本実施形態のうちいずれかを明らかに解明するために必要ではない。我々が追加したいものは、我々のHDRフレームワークにおいて、更なる色等級づけ(又は、所与のレンダリング状況のための適切な見た目、例えば、現在のYuvエンコーディングに応じた2000nitの基準ルミナンス範囲でエンコードされた画像から始まる700nitディスプレイ)を導出する可能性を発明したということである。これは、典型的には、メタデータエンコーディングカラーマッピング関数により生じるだろう。幾つかの変形例において、フォーマッタがS_imにおいてエンコードしてもよい(又は、同様にS_imと関連付け可能である。これは、遅くとも処理のために必要とされるときに、メタデータデータが一部のメタデータソースから取得され得ることを意味する)。
Yuvエンコーディングは、非常に優れたエンコーディングである。とりわけ、多数のシーンをエンコードすることができるためである。独立したチャネル上でさえ、広い色域エンコード性能、及び、更に重要なことに、自由に割り当て可能な無彩色チャネルを双方有するためである。これは、YCrCbとは対照的に、特定のHDRシナリオが要求し得るものは何でも容易に調整され得る(動画からの単一のシーンのみに対するものであっても、lumaからのレンダリング可能なルミナンスであるように規定するための専用のEOTFが選択され得る)。
Yuv空間は、任意のYCrCb空間よりも非線形であってもよいが、色彩及び無彩色のチャネルの良好なデカップリングのため、問題はより適切に対処され得る(加法的なYCrCbシステムと対照をなすこの乗法的システムは、自然における色形成により合っている。オブジェクトスペクトルは、入力光スペクトル及び量をモデル化する)。
しかしながら、我々は、このシステムを動作させるために多数の問題を解決しなければならなかった(とりわけより暗い色に対するノイズ問題のような問題。これは、実用的なビデオコーデックにおけるこのYuvの任意の良好な使用を期待するのをやめさせるYuvの深刻な問題として理解される)。しかしながら、これは、更なる利点をもたらした。
幾つかの以下の実施形態において理解するように、例えばダイナミックレンジ変換のためのそれぞれの無彩色チャネル、又は視、覚的訴求又は色域マッピング等のための彩度変化のような単純な色度演算のための色度チャネルに対して、他のシステムへの変換のような技術的性質であるか、又は、色等級づけのような芸術的性質であるか(例えばIC)に関わらず、任意の色操作が、物理的な装置の別個のユニット及び部分において行われる、システムを設計することができる(例えば、少なくともその最も暗い部分のためのHDRで等級分けされた画像を輝かせることによりLDRの見た目を取得する)。
シーンの画像における色彩及び無彩色の情報の有意の脱相関に起因して、我々は、良好な圧縮動作を見出した。我々の実施形態は、(ドルビーのシステムのように)極最近出現した、HDRをエンコードするための他のシステムと比較して、同様のビットレートで高い視覚的品質を実現したためであり、我々は、色クロストークのようなこれらのシステムの問題を緩和するのを成し遂げたためである。これは、例えば暗い青色線及び明るいグレーのものの縞パターンにおいて、暗い青色をもたらし、サブサンプリングの影響下で、最終的なサブサンプリングされた色に必要以上に影響し、誤った色をもたらす。
幾つかの実施形態において、我々は、処理パイプラインを構成することもできた。その結果として、演算は、例えばYCrCb又は線形色のもののような他のシステムよりも、例えば追加又は乗算されるべき値をエンコードするための小さなワード長を必要とする色空間において行われ得る。
従って、主要な利点は、Yuv成文化(codification)が送信されること、とりわけ、ルミナンス情報が失われないようにこの信号を規定することができることであり、従って、少なくとも、レシーバ側において、例えば無彩色のチャネルにおけるどの情報が正確に失われたかを知らないという問題が存在する。これは、元の画像を最良の品質(とりわけ最高のシャープネス)及び少なくとも色変化(例えば少なくとも小さな領域の間違った色相又は彩度)又はかぶりで復元しようとする最もスマートな将来のアルゴリズムさえ影響を受けるだろう。
デコーダの有益な実施形態は、lumaスケールされた二次元又は三次元色表現において新たな色表現への変換を行うように構成される色度ベース変換ユニット(352)を有する。新たな色表現は、好ましくは、lumaスケールされたもの(R,G,B)である。これは、単純な空間において全ての色処理を行い続けることができるという利点を有し、これは、より小さなビットワード、より単純な処理(例えば3Dの代わりに2D LUT等)を必要とし得る。二次元のlumaスケールされた表現によれば、2つの座標(例えばR´/Y´及びG´/Y´)のみを有することを意味する(また、u,vは、対角線の色平面に対して斜めである、lumaスケールされた表現として理解され得る)。三次元のものは、例えば(R−Y)/Y,(G−Y)/Y,(B−Y)/Yである(即ち、実際には、全てが2D空間内にあるが、我々は、第3の冗長な座標を取り込む。3D色空間に進むときにそれを必要とするためである。)。我々は、それとともに、最終的に必要とされるデバイスに依存する色表現にマッピングすることができる。Yuvは、原理上、人間が見ることができる全ての色を扱うことができ、自然なオブジェクトは、例えばレーザによって理論的に作られ得るが、実用的な色セットは、例えば、RGB、又は追加の黄の(ディスプレイ駆動するか又はカメラ測定される)座標等を有するRGBYelのような、複数のプライマリシステムによって典型的に規定される。従って、我々の(入力)色は、実際には全てが例えばRec.2020全域に入り得る。これは必ずしも重要であるというわけではないが、より重要なことは、色を用いるために、これらをデバイスに依存する表現(典型的にはRGB(又は典型的には適切なディスプレイEOTFを考慮するR´G´B´))にマッピングしなければならないことである。従って、デコーダ(いかなる実際の技術的構成又は装置又は複数の装置のシステムにおいても実際にそれ自体を表す)は、言わばOLEDディスプレイ又はLCDプロジェクタの特定のRGBプライマリへのいくらかの色ベース変換を行う必要がある。
現在の追加の技術的解決策を単に表しているだけであるか又は前の原理のいずれかと組み合わせられるかに関わらず、他の有益な実施形態は、空間アップサンプリングユニット(353)を有し、これは、入力画像に対して画素値中間体を取得するための挿入関数を適用することにより、色度座標(u´´)により画素の入力画像の解像度を増大させるように構成される。空間アップサンプリングユニット(353)は、スケーリングユニット(356)の前の色処理パイプラインに位置している。典型的には現在の及びおそらく多くの将来のビデオエンコーディングにおいて、色チャネルはサブサンプリングされる。従って、CrCb色成分画像を現在扱うための利用可能な構造は、現在、例えば4:2:0でサブサンプリングされるので、AVC又はHEVCのようなレガシーシステムにおいて利用可能なシステムにおいてこれらを処理及び格納したい場合、我々のuv成分が必要とされるだろう。しかしながら、これは、我々が色彩情報におけるいくつかの解像度を失うことを意味する。しかしながら、無彩色輝度決定高解像度画像によって後に乗法的にスケーリングすることの長所は、YCrCbシステムとは対照的に、ほとんど全ての元のシャープネスを取り出すことにある。我々は符号化された解像度として4K ultra−HDの一例を用いて解明したが、本発明は、例えば、LDR又はHDRルミナンスダイナミックレンジによるかどうかに関わらず、この特別なYuv色処理により通常のHD(2k)信号の最終的なシャープネスを向上させるために、より高い又はより低い解像度でも機能することに留意されたい。従って、これらはHDRエンコーディングのために主に発明及び設計されたが、LDRシステムを向上させることを望むときに、Yuvエンコーディングも、エンコーダ又はデコーダでの信号処理のための特定の実施形態も、適切に機能することを教示した。
デコーダの有利な実施形態は、ダイナミックレンジスケーリングユニット(356)を有し、lumaスケールされた色表現((R−Y)/Y)をluma依存の色表現((R−Y))に変換することを可能にする。従って、"ダイナミックレンジブラインド"lumaスケールされた表現において全ての所望の処理を行った後、我々は、最終的に、所望のダイナミックレンジを変換し得る。これは固定される必要はない(例えば、5000nitの基準ルミナンス空間、又は、それに関する線形RGB駆動、又は、この基準空間における色のディスプレイ上へのレンダリングを可能にするR´G´B´駆動座標表現)が、例えば1000nitの中間ダイナミックレンジディスプレイを駆動させるように最適に決定される空間であってもよい。従って、斯様なディスプレイ上での最適な観察のために必要とされる全ての輝度処理は、例えば最適に選ばれたEOTF 354を介して、所望のluma値を乗算356に適用することにより行われ得る。
幾つかの実施形態は、線形RGB色表現に進んでもよい(幾つかのディスプレイは、我々のデコーダが例えばセットトップボックス内にある場合のような入力を好んでもよい)が、例えば図9に示された他の実施形態は、ディスプレイ−ガンマ空間Y´に直接向かうバイパスにおいて必要とされる計算をグループ化することができる(典型的には最適な知覚的luma空間を符号化するためのものであるY´´から識別される。即ち、我々は、ガンマ2.2よりむしろ例えばloggamma EOTFを用いた)。これは、R/Y成分のための12ビット(例えば、R´/Y´成分のための12−14ビット(これは、例えば純粋な線形色空間計算と比較して効率的な表現であり、これは、Rのような成分のための24ビットワードを必要とし得る))、並びに、Y´_4kの計算された値のための12ビット、及び、R´ディスプレイくどう色座標のための12−14ビットのようなワード長を用いることを可能にする。Y´値に対応する我々のY´´値は、典型的には、10又は12ビットのみにおいて忠実にエンコードされ得る。また、u´v´表現から例えばR´/Y´等に進む種々の演算は、幾つかの実施形態において、(異なる状況のための幾つかの間から選択可能な)2D−3D LUTを介して実現され得るのに対し、他の実施形態は、関数計算を行ってもよく、関数は、fly parametrizableであってもよい。
混乱するべきでないu,vの幾つかの変形を有する点にも留意されたい。単一のダッシュu´は、1976年にCIEにより規格化されたu´v´表記法に与えられた。二重ダッシュu´´によって我々のバージョンを示し、これは、Crayon空間で再定義されたuv空間である。即ち、先端がより暗い色に対して段階的に小さくなる。
三重ダッシュu´´´,v´´´によって示されるものは、完全に異なる色空間である。これは、実際にはもはやu,vに基づく(円筒状の)空間ではないが、特定の蹄鉄形状のような幾つかの態様を依然として保持する。しかしながら、我々は、これを再び円錐にする。我々は、アップサンプリングにおいていくらかのルミナンス依存状態を再び有することを望むためである(内部的には、アップサンプリングのみを行うとき、例えば放送による、信号伝送にはない)。これは、理想的には線形空間において生じるべきである。
このY´´u´´v´´空間又はその対応するu´´´,v´´´面は、現在の色技術におけるものとは異なる。これらは、我々が無彩色Y´´軸になるように規定するものは何でも依存する(原理上これは連続的である必要はない。我々は例えば太陽をコード1020になるように規定することができる。コード1019は、10000xのより暗いルミナンスを表している)。従って、コード最大(Y´´最大)は、何でもあり得る。これより低いコードは、任意のルミナンス分配サンプリングを表し得る。従って、円錐は、高度に非線形なものであってもよい(luma Y´´によって単純に線形に変化するが、これは、第3の軸上にルミナンスを伴う空間に引き込まれたときに激しく曲げられていてもよい)が、u´´及びv´´値がこれらが属している画素のlumaによって増大するという特性を依然として保持する。我々は、例えば高周波数構造においてより暗い色の最終的な色における寄与のより少ない支配をもたらす良好なアップサンプリングを取得するために図9によって極めて有益な特性を説明するだろう。
他の興味深い実施形態は、例えば以下のとおりである。ビデオデコーディングの方法であって、以下のものを有する。
− ビデオストレージ製品上での受信又はビデオ送信システムを介した伝送に適したフォーマットでエンコードされ、斯様な伝送又はストレージ製品接続を介して受信されるビデオ信号(S_im)を受信すること。画素色は、無彩色luma(Y´)座標及び2つの色度座標(u´´,v´´)によってエンコードされる。
− 無彩色lumaによるスケーリングにより、luma依存の色表現において色度に基づく色を変換すること。
ビデオデコーディングの方法は、luma依存の色表現へのスケーリングの前に、入力色度座標を、例えば(R/Y,G/Y,B/Y)のような他のlumaスケールされた色表現に変換することを有する。
当業者は、幾つかの考えられる興味深い色表現への幾つかのマッピングが考えられるが、我々はRGBファミリーのうちの有益な一つを説明したことを理解すべきである。受信デバイスが汎用(例えばXYZ)色エンコーディングを直接的に望む場合、デコーダはRGBを介して進まなくてもよいが、幾つかの変形において、例えばUVWに進むことができる。
ビデオデコーディングの方法は、他のlumaスケールされた表現(R´/Y´,G´/Y´,B´/Y)を取得するために、例えばべき関数のような非線形マッピング関数を、加法的再現色チャネルのlumaスケールされた表現(R/Y,G/Y,B/Y)に適用することを有する。このように、我々は、例えばレンダリングシステムの所望の非線形特性に事前変換することができる。我々は、一体的色平面601における等価な非線形マッピングとして考えられるものを事前計算する。これは、前に考慮しなかったが、よりコストが低い計算のような幾つかの利点を有する。
ビデオデコーディングの方法は、処理シーケンスの連続において、第一にlumaスケールされた色表現に空間アップスケーリングすることを行い、第二に、luma依存の色表現にスケーリングすることを行うことを有する。これは、色彩の部分において単純なアップスケーリング、無彩色エンコーディング(Y´´_4k)からのほぼ完全な解像度の回復を与える。
ビデオエンコーダ(300)は、線形色空間(X、Y、Z)においてエンコードされる入力及び出力信号によって機能する空間ダウンサンプラ(302)を有する。これは、ダウンサンプリングが正しい線形空間(例えば非線形YCrCbではない)において行われることを保証する。即ち、これらのXYZ信号は最適にサンプリングされるので、表現u´,v´は、ここから導出されるだろう。
しかしながら、デコーダ側では、我々は、(例えば幾つかの実施形態におけるu,vのような)高度な非線形色彩信号に対してアップサンプリングを行うために最適な実施形態を故意に設計したが、我々がこれを適切に行うように我々の技術を設計したことを以下に説明する。
ビデオエンコーディングの方法は以下のものを有する。
− 画素色が任意の入力色表現(X,Y,Z)においてエンコードされるビデオを入力として受信すること。
− 入力ビデオを画像を有するビデオ信号(S_im)にエンコードすること。画素色は、無彩色luma(Y´)座標及び2つのルミナンス非依存の色度座標(u´´,v´´)により規定される色エンコーディングにおいてエンコードされる。ビデオ信号S_imは、伝送ネットワークを介したビデオ伝送又は例えばブルーレイディスクのようなビデオストレージメモリ製品上の格納のために更に適切にフォーマットされる。
コンピュータプログラム製品は、我々がこのテキストの教示において教示又は提案する任意の実施形態を実現する任意の方法をプロセッサが実行するのを可能にするコードを有する。
これらの実施形態の全ては、多くの他の変形、方法、信号(ネットワーク接続を介して送信されるか又は格納されるかに関わらず)、コンピュータプログラムとして実現され得る。当業者は、我々の教示を理解した後に、これら要素は種々の実施形態において組み合わせられてもよいことを理解するだろう。
本発明による方法及び装置のこれらの及び他の態様は、以下で述べられる実装及び実施形態から明らかになり、これらから解明されるだろう。添付の図面を参照して、これは、単に一般的な概念を例証する非限定的な図を与える。破線は成分がオプショナルであることを示すために用いられ、非破線の成分は、必ずしも必須であるというわけではない。破線は、必須であるように説明される要素がオブジェクトの内部に隠れていることを示すために用いられてもよく、又は、例えばオブジェクト/領域の選択のような無形のもの(及び、これらがどのようにディスプレイ上に示され得るか)を示すために用いられてもよい。
従来の色空間、円錐及び円柱のための2つの異なるトポロジを概略的に示す。 従来の色空間、円錐及び円柱のための2つの異なるトポロジを概略的に示す。 例えばケーブルテレビシステムを介したビデオのための例示的な通信システム、並びに、我々のエンコーダの一実施形態及び我々のデコーダの一実施形態を概略的に示す。 とりわけDCTエンコーディングと同一又は類似のデータ圧縮が含まれるときに、色をエンコードするのに役立つ、我々が取り込んだ新たなクレヨン状の色空間を概略的に示す。 とりわけDCTエンコーディングと同一又は類似のデータ圧縮が含まれるときに、色をエンコードするのに役立つ、我々が取り込んだ新たなクレヨン状の色空間を概略的に示す。 オプショナルな破線の成分を接続されたシステム内又は外に切替えることにより形成され得る我々のデコーダの他の実施形態を概略的に示す。 ユニット410の動作に対応する、クレヨン状の色空間のより低い部分において色を最適化するために適用される修正数学を概略的に示す。 我々がビデオ又は画像エンコーディングにおいて用いる新たな比色分析の概念の幾つかのいくらかの幾何学的解明を与える。 我々がこれらの先端の種々のシャープネス又は輝度(及び、黒の幅)によりY´´u´´v´´のCrayon色空間の有益な変形を規定することができる幾つかの追加の手段を概略的に示す。 我々がこれらの先端の種々のシャープネス又は輝度(及び、黒の幅)によりY´´u´´v´´のCrayon色空間の有益な変形を規定することができる幾つかの追加の手段を概略的に示す。 我々がこれらの先端の種々のシャープネス又は輝度(及び、黒の幅)によりY´´u´´v´´のCrayon色空間の有益な変形を規定することができる幾つかの追加の手段を概略的に示す。 イプシロン位置を典型的にどのように決定することができるかの解明する例を概略的に示しており、我々の円柱形のクレヨンの上側部分は、小さな彩度の(u´´、v´´)色に向かって縮小する、即ち幾つかの白色ポイント又はより正確には幾つかの黒色ポイントに向かって縮小するその先端で開始する。 (エンコーダを有するシステムにおける)他の考えられるデコーダを概略的に示しており、これは、とりわけ、例えばYよりもむしろY´´に依存して減衰により先端をスケールし、及び、(u´´、v´´)色彩座標をもたらす円錐形空間へのCrayonの再構築を取り込む。 斯様なエンコーダにおいて典型的に用いられる2つのゲイン関数を概略的に示す。 より単純なデコーダ方式を概略的に示す。 とりわけ線形R,G,B出力をもたらすデコーダを概略的に示す。 三重ダッシュu´´´,v´´´に基づく空間及び面を概略的に示しており、これは、既存の用語が無いために、我々が"Conon空間"(円錐形のCrayonの先端のuv空間の縮小)と名付けることを読み取ることしか必要とされない簡単なものである。 色度座標u´v´又は例えばYのような他の色座標を解像度スケールするために標準的に用いる好ましい実施形態を概略的に示す。 色度座標u´v´又は例えばYのような他の色座標を解像度スケールするために標準的に用いる好ましい実施形態を概略的に示す。
図2は、ビデオエンコーダ300及び特定のデコーダ305を伴う、新しく発明された原理による、及び、新たなCrayon状のY´´u´´v´´色空間定義に適合するエンコーディングシステム(エンコーダであるが付随のデコーダも考えられる)の第1の例示的な実施形態を示している。我々は、エンコーダがCIE XYZフォーマットにおけるビデオイメージを供給するビデオソース301から入力接続部308を介してビデオ入力を得るとみなす。CIE XYZフォーマットは、デバイス非依存の線形色エンコーディングである。もちろん、デコーダは、更なるユニットを有してもよく、又は、これらに接続されてもよい。これらは、例えばOpenEXRフォーマットからマッピングするような典型的なビデオ変換又はいくらかのRAWカメラフォーマット等を行う。我々がビデオと言うとき、我々は、例えば逆DCT変換のようなビデオデコーディングの態様、及び、画像のセットをもたらすのに必要なものが含まれ得ることを当業者が理解するものとみなす。画素は、(X,Y,Z)としてエンコードされた色を有し、これは、我々の発明された実施形態の詳細を説明するために必要とされる部分である。もちろん、(X,Y,Z)から始まる我々が以下で示す式は、例えば規格のRGBプライマリを伴う(R,G,B)のような、他の線形色空間から始めるために導出され得るが、我々は、一般に知られたCIE XYZ空間から始まる実施形態を説明するだろう。芸術的な部分に対するものとして、我々は、ソース301がマスターHDRグレーディングを供給するものと想定するだろう。これは、例えば、正しい芸術的な見た目を得るために少なくとも1つの色グレーダにより再着色された動画であるだろう(例えば、穏やかな青い空を良好な紫がかったものに変換する)。しかしながら、入力は、もちろん、例えばカメラRAW出力、又は、改良が加えられるべきレガシーLDR(低ダイナミックレンジ)動画等のような、時間的に連続した関連画像の任意のセットであってもよい。我々は、入力が例えば4Kのような高品質解像度のものであるとみなすだろう。しかしながら、当業者は、他の解像度が考えられること、とりわけ我々の実施形態が異なる色成分のための種々の解像度に対処するのに特に適していることを理解するだろう。
典型的には、オプションとして、空間サブサンプリングユニット302は、色度における色情報の決定が実行される前に信号をダウンコンバート変換するだろう。目は色情報に対してあまり重大ではないためである。それ故、色度のための解像度上に画像を保存することができ、例えば、エンコードされた画像になるように単一における2つの色度成分画像をインターリーブすることができる(我々はこの更なるエンコーディングが例えば(即ち、DCTを行うことによる)AVCエンコーダのようなMPEGのような符号器等のようなレガシー符号器によって行われ得るように我々のシステムを開発した)。例えば、空間サブサンプリングユニット(302)は、4:4:4から4:2:0に進むために、双方方向においてサブサンプリングファクタss=2を用いてもよい。
ここで、この元の又は低減された解像度(X,Y,Z)_xK信号は、色度決定ユニット310のために入力される(ここで、xは、色彩情報を決定するための、例えば8Kオリジナルから2K入力までの任意の解像度を示す)。我々の実施形態において、我々は、クロミナンスタイプの色空間を用いないが、色度に基づくものを用いる。これは、幾つかの極めて有利な特性を有するためである。しかしながら、規格の色度空間(即ち、色度平面+幾つかのルミナンス又はluma又は明るさの軸)は、とりわけHDRビデオエンコーディングのためには、適切に用いられ得ない。
原理上、他の色度平面定義が用いられ得るが、我々は、この説明において、我々がCIEの1976 Y´u´v´空間上に、又は、より正確に言うとその色度平面上に、我々の定義の基礎を形成するものとみなすだろう。しかしながら、我々は、色度座標の新たな定義により再形成になるだろう。それ故、我々は、二重素数(u´´,v´´)を示すだろう。
(有用に再公式化される)古典的CIELUV 1976定義を用い場合、
Figure 2017512393
生ずる色空間及びそれに関してエンコードされた色は、幾つかの良好な特性を有するだろう。第1に、1つの非常に強力な及び使用可能な特性は、色の純粋な色彩特性からの、デカップリングされたluma(即ち、ルミナンスをエンコードする座標又は精神視覚的に再び述べられる輝度)を有することである(即ち、クロミナンスと対照的に、これは、一部のルミナンス情報を依然として含む)。しかしながら、最後の数年に渡って更に考え及び実験することで、発明者及び彼らの同僚は、このデカップリングがとりわけHDRビデオエンコーディングのために重要である特性を有するというより深い洞察を得た。(カメラ又はそのグレーディングにより取り込まれたものであるか、ビデオを受信するディスプレイにより出力されるものであるかに関わらず)必要とされるルミナンス(例えば極めて高いガンマのもの、又は、S形状のように曲がっているもの、又は、不連続なもの)をエンコードするために、任意のコード割当て関数又は光電子変換関数EOCFを用いることができる(lumaはクロミナンスに関連付けられるいくらかの"疑似ルミナンス"であるものと想像することができる)。また、この"特性を気にしない"ということは、luma軸に沿ってルミナンスを曲げるものは何であれ(エンコーディングであるか、他の見た目を得るための再グレーディングのような例えば色処理であるかに関わらず)我々が色彩"単位ルミナンス"平面のみにおいて所望の処理の幾つかをデカップリングすることができることを意味する。また、これは、HDRエンコーディング及び他の見た目のエンコーディングが(例えば中間ダイナミックレンジディスプレイのための必要とされる駆動グレーディングへの調和、これは、異なるダイナミックレンジのいくらかのHDR画像を最適にレンダリングする必要がある)比較的単純になるという洞察をもたらすだろう。空間オブジェクトテクスチャ構造をエンコードするために1つの画像を必要とするためである。これは、(u´´,v´´)及びいくらかの基準シェーディング(Y´´)により行われ得る。最初にY´の支配的な再定義を行うことにより他の照明状況に変換することができ(例えば迅速な第1のガンママッピング)、その後、(u´´,v´´)方向において最適な見た目を実現するために更に必要とされる処理を行う。
従って、我々は、光電子変換ユニット304は、任意の予め選択された興味深い色割当て関数を適用するものとみなすだろう。これは、古典的ガンマ2.2関数であり得るが、HDRのためにより高いガンマが好ましい。あるいは、我々は、ドルビーのPQ関数を用いることができる。あるいは、我々は、
Figure 2017512393
を用いてもよい。m及びガンマは定数であり、vは(Y−Y_black)/(Y_white−Y_black)として規定される。
無彩色軸の恣意性は、原理上、我々は、線形ルミナンスを用いることもでき、lumaの代わりにルミナンス閾値定義を用いることにより例えば我々のエンコーダクレームを再公式化することができることを意味することに留意されたい。従って、図2のデコーダにおいて、入力Y´は、典型的には、(例えば8.0のような極めて高いガンマに概略的に対応する)いくらかの最適なHDR EOTFによるものであり、二重ダッシュは、例えばガンマ2.2ディスプレイ領域における赤又はY´´値を示す。我々の原理は、デコーダ入力上のY´のEOTFのためのガンマ2.2(rec.709,BT 1886)定義及び他の変形を用いることにより、LDRルミナンス範囲材料をエンコードするために同等に機能し得ることに留意されたい。
このエンコーディングの他の利点は、ルミナンスが何であれ色度が同じ幅寸法の範囲内にとどまることである。これは、クロミナンスに基づく色空間と対照的に、我々は、色度をエンコードするために同じ量のビットを常に用いることができ、色空間の縦軸に沿って良好な精度を有することができることを意味する。色彩の成分のために10を超えるビット、好ましくは12ビットを必要とするY´DzDx色エンコーディングと対照的に、我々は、10ビットのみによって高品質を得ることができ、8ビットによって手頃な品質を得ることができる。我々は、例えば、考えられる色度の最大範囲(u=[0,0.7],v=[0.0.6]又は少しより厳しい境界、例えば[0,0.623],[0.016,0.587])に渡ってビットを均一に割り当てることができる(我々は、幾つかの滅多に生じない非常に飽和した色削り取ることさえできたが、ワイド全域エンコーディングに関して、これは、全ての考えられる物理的な色が含まれる場合に有益になり得る)。
デカップリングの他の利点は、これがHDR(即ち、明るいルミナンス及び/又は大きなルミナンスコントラスト比)エンコーディングの欲求だけでなく、ワイド全域色エンコーディングの欲求をエレガントに実現するということである。(u´´,v´´)は、自然において実現可能な任意の色度をエンコードすることができるためである。我々の新たなクレヨン状の色空間定義において、RGBディスプレイは、図1bのようなテント形状を有するが、底部先端において適合される(搾られる)底部分を伴う場合、我々は、例えば非常に飽和した及び明るい色をレンダリングし得る赤、黄、黄色がかった緑、緑、シアン、青及び青紫のレーザで作られるマルチプライマリディスプレイを駆動させるために我々のエンコードされた色を用いることもできる。
実際に色度における色彩情報のみを有するので、解決される他の大きな問題は、例えばサブサンプリングが含まれるとき、とりわけ古典的クロミナンスに基づくテレビエンコーディング(例えば1ピクセル幅の暗い赤及び明るいグレーラインのストライプパターン、又は補色)において、色境界で生じる大きなカラークロストークの問題を回避することができることである。Y´DzDx空間を用いることは、大きな色誤差を取り込み得る(例えば、交互配置する暗い赤/明るいグレーの線は、変わった明るいオレンジ色に変換する)。最初に線形XYZ領域におけるサブサンプリングを行い、その後(u´´,v´´)を用いるという我々の実装は、色彩情報の4:2:0エンコーディングにもかかわらず通常の色を生成する。
しかしながら、斯様な円筒状Y´u´v´エンコーディングの欠点は、Y(又は実際には(X+15Y+3Z))による除算のため、暗い色は非常にノイズが多くなることである。これは、変換に基づくエンコーダにより必要とされるビットレートを増大させる。それ故、我々は、色空間定義及びそれ故に(X,Y,Z)から(u´´,v´´)へのマッピングを規定する対応する透視変換を再定義した。従って、エンコーダは、新たなビデオエンコーディングに関するこの問題をエレガントに(即ち例えばノイズ除去等のように更なるトリックの全ての種類を用いることなく)処理することができる。
我々の新たな透視変換は、図3aに示すようなクレヨン状の色空間をもたらす。底部分は、これを描くことができるようなサイズにおいて強調されるよう示されている。先細になっている先端は、底部分LLに落ちる、最も暗いエンコード可能な色に対してのみ生じるだろう。この部分は、予め決められた閾値luma E´に対応する。ルミナンス方向及びその任意の選択可能なOETFの分離からみて、任意の選択E´は、閾値ルミナンスEの固有の値に対応する。これは、OECF関数の逆、即ちEOCF(電気光学変換関数)をE´に適用することにより決定され得る。E又はE´は、例えばエンコーダ及びデコーダのハードウェアにおいて固定されてもよい(普遍的に使用可能な値)。あるいは、場合毎に選択されてもよく、例えば信号とともに共同伝達されてもよく、例えばビデオを格納するBDディスク上に格納されてもよい。Eの値は、典型的には、色空間の白ピークにより除算を経て一体的表現に変換される、範囲[0.01,10]又はより好ましくは[0.01,5]nitの範囲内であってもよい。従って、特定の入力色のための色エンコーディングが(u_xx,v_xx)より大きい色度によって生じないという事実は、クレヨン先端における全域の境界が固定された値に向かって縮小することを述べることにより、より正確に述べられ得る。これは、彩度sqrt(du´´^2+dv´´^2)を用いることにより数学的に規定され得る。ここで、du´´=u´´−u´´_w,dv´´=v´´−v´´_w及び(u´´_w,v´´_w)は、基準ホワイトの色度である。全域の馬蹄形の外側境界は、(その支配的な波長又は"色相"の単色のための)最大の考えられる彩度を各色相(角度)に対して決定する。我々が理解するように、これらの外側境界は、E´より高いluma Y´を有する色に対して同じのままであるが、E´より低いlumaを有する色に対してより小さくなる。我々は、紫色のための最大彩度がどのようにE´より高い同じS_bHのままになるかについて示した。これは、このクレヨン色空間の例示的な実施形態において、E´より低い、(S_bLとして名前を変えられる)Y´とともに減少する。これは、いかにノイズが多くても、暗い色のためのこの再定義された小さな色度は、あまり多くのビットを消費し得ないという利点を有する。一方で、E´より高い場合、我々は、色度の良い特性、即ちこれらの完全な及びうまくスケールされたデカップリングをルミナンス情報から見つける。
従って、エンコーダは、この動作を実現するu´´,v´´を取得するために投影マッピングを適用しなければならない(これを実現する式の任意の定義は、我々の新たなエンコーディング技術の所望の特性を満たすだろう)。これを実現する1つの手段が図3bに示され、エンコーダに非単一ゲインg(Y´)をEより低いlumaを有する色の彩度に適用させる。そして、好ましくは、デコーダは、復元された色のための元の色彩度を取得するために、逆ゲインを適用する(即ち、g_encoderが0.5である場合、g_decoderは2.0である)。
我々は線形の例を示したが、例えば、y<0の場合にg(y)=0,0<=y<eの場合にg(y)=y*(2−y),y>=eの場合にg(y)=1のような他の関数が用いられてもよい。yは、luma Y´の任意の適切な表現である。あるいは、ルックアップテーブルがゲイン(Y´)のために用いられてもよい。
従って、色度空間公式化は、(u´´,v´´)=(u´_w,v´_w)+g(y)*[(u´,v´)−(u´_w,v´_w)]のように行われ得る。(u´_w,v´_w)は、予め決められた白色ポイントのための色度である。
クレヨン状の色空間を実現する有利な実施形態は、色度を規定する透視変換におけるより低いルミナンスの定義を再符号化するだろう。
Figure 2017512393
我々が適切なG(Y)関数、即ちより低いY領域における適切な形状を規定する場合、我々は、欲求に従って色度値、即ちクレヨン先端の幅プロファイルを調整することができる。従って、我々は、色度が線形色アンバランス(X−Y),(Z−Y)、及びスケーリングに影響するこのG−ファクタから導出されることを理解する。ニュートラル色(X=Y=Z)に関して、先端は、(X,Y,Z)=(0,0,0)のためのその最も低い白色ポイント(u´´,v´´)=(4/19,9/19)まで彩度を縮小するだろう。
クレヨン先端のG(Y)リアリゼーションは、これを実現するためのたった1つの容易な手段である。エンコーディング空間全域の幾何学的形状動作が同様である限り、例えばY又はY´に類似する他の相関関数を用いることによりこれを行うための他の手段が存在し得るためである。
極めて単純な考えられる(オプションの)実施形態は、我々が図2において示したものである。即ち、Max(Y,E)をG(Y)のための種関数として用いる。
我々のエンコーダの有利に単純な実施形態は、第一に、例えば2K解像度画像において、X−Y及びZ−Y値を決定するためにマトリキシングユニット303によりマトリキシングを行う。そして、透視変換ユニット306により適用された透視変換は、上記の変換であるが、図2の実施形態において、外側で及び最大計算ユニット305により実行されるmax関数によりクレヨンテーパリングを分割する。その結果は、透視方程式の最後の条件で満たされる。最終的に、エンコーダは、フォーマッタ307における任意の既存のストラテジ(又は、ビデオ伝送(例えばMPEG規格)のために用いられ得る将来のビデオエンコーディング規格)に従ってデータY´及び(u´´,v´´)を含む画像をエンコード及びフォーマットし、これをビデオ信号S_imにおいて(場合により、例えば、エンコードされたグレーディングが行われた基準ディスプレイの白色ピーク、及び、場合によりE又は類似のE´のための選ばれた値のようなメタデータMETと一緒に)エンコードする。即ち、フォーマッタは、MPEGのように成分がRec.709ガンマY´及びCr,Cbインターリーブされた(副)画像であると偽る。実際には、我々が用いたいと思う如何なるEOTFに従う如何なるY´´luma無彩色値であっても、我々の発明の実施形態の原理に従って、これらは色度のいくらかのu´´,v´´変形を含むだろう(例えば、予定日前に出版されたものではないUS61/990138において述べられたloggamma。この教示は、これを許容するそれらの管轄区域のためにこれと共に含まれる。あるいは、HDR画像エンコーディング又はLDR画像エンコーディングのための任意の他の適切なEOTF。あるいは、現在のYuvエンコーディングから利益を与え得る任意の他の画像エンコーディング)。もちろん、イプシロン(E又はE´´)のような値は、LDR又はHDRに対して異なってもよい。
そして、このビデオ信号S_imは、出力部309を介してビデオ送信システム320上の任意の受信装置に送信され得る。これは、非限定的に、例えば、BDディスクのような、ビデオを含むメモリ製品、又はソリッドステートメモリカード、又は例えば衛星TV放送接続のような任意のネットワーク接続、又はインターネットネットワーク接続等であり得る。任意のネットワークを介する代わりに、ビデオは、ストレージデバイス399上に予め格納されてもよく、これは、例えばインターネットを介したビデオオンデマンドのための、任意の時間におけるビデオソースとして機能してもよい。
この信号を受信する、図2においてビデオデコーダ360の第1の考えられる実施形態を示す。これは、例えば評点者が特定のレンダリング状況においてレンダリングされるときに彼のグレーディングがどのように見えるかをチェックしたいときに、同じ全体システム内に取り込まれ得る(例えば薄暗い周囲での5000nitのHDRディスプレイ、又は暗い周囲での1200nitのディスプレイ等)。あるいは、この受信部は、他の位置にあってもよく、他の実体又は人により所有されてもよい。非限定的に、このデコーダ360は、例えばテレビ又はディスプレイ、セットトップボックス、コンピュータ、映画館におけるデジタル映画処理ユニット等の部分を形成してもよい。
デコーダは、元の色に戻すために、エンコーダで行われる処理を理想的にほとんど(必ずしもではないが)正確に反転させるだろう。これは、XYZにおいてそれ自体表される必要はないが、ディスプレイ370により必要とされるディスプレイ依存の色空間における駆動色座標(典型的にはRGB)に直接変換されてもよい。しかしながら、これは、マルチプライマリ座標であってもよい。従って、入力358から、第1の信号経路は、画素のための元のルミナンスYに戻すために、OECFの逆であるEOCFを適用する電気光学変換ユニット354にluma Y´画像を送る。前と同じようにクレヨン色空間のMax(Y,E)定義を用いた場合、最大計算ユニット355がオプションとして含まれてもよく、そうでなければ、減少する彩度が、逆透視変換ユニット351により適用される数学的関数において処理される。
このユニットは、例えば以下のものを計算するだろう。
Figure 2017512393
即ち、これらは、画素の色がどんなルミナンスを有するかに関わらず、色彩のみの多量である(注記;これらをX−Y/Max(Y,E)とみなしてもよいが、これは重要でない。これらは、(u´´,v´´)色度から単に導出可能である無彩色の量であるためである。)。これらは、フルカラーを取得するために、後に正しいルミナンスにより乗算されることを依然として必要とする。
これの分子は、線形X,Y,Z座標の線形結合である。従って、尺度ファクタとして適切なルミナンスにより依然として参照される、線形R,G,B座標を取得するために、これに対してマトリキシングを行うことができる。これは、マトリキシングユニット352により実現され、(R−Y)/Y、(G−Y)/Y、及び、(B−Y)/Yを出力としてもたらす。当業者に知られるように、マッピングマトリクスの係数は、色空間の定義のために、使用される実際のプライマリ、例えばEBUプライマリに依存する(ディスプレイの実際のプライマリへの変換は、全域マッピングユニット360により後に行われ得る。これは、実際の駆動値(R´´,G´´,B´´)を事前補正するためにディスプレイのOETFを適用する(例えば、これはディスプレイ370であってもよく、これは、Rec.709エンコーディングを期待する。あるいは、例えばSIM2に対するような複雑な駆動方式であってもよいが、これは、我々の発明の教示を越えている。)。)。我々は、これが色空間の(ディスプレイの)コード割当て関数の非線形性ではなく、OETF_dが特定の接続されたディスプレイの必要とされる非線形光電子伝達関数であることを明らかに強調するためにダブルプライムを用いた。エンコーダにおいて空間サブサンプリングを行う場合、アップサンプリングユニット353は、信号を例えば4K解像度に変換するだろう。このアップサンプリングは、良好なカラークロストーク性能を有するように、処理チェインにおけるこの位置において故意に配置されることに留意されたい。ここで、線形差分値(クロミナンス)R−Y等は、適切なルミナンス(例えばMax(Y,E))により乗算することにより取得される。最終的に、これらのクロミナンスに対して画素毎の線形ルミナンスを追加することにより(加算部357)、線形(R,G,B)色座標を得る。これは、出力359に出力される。
HDRビデオのための線形空間において前記計算を行う欠点は、20(又はそれより多くの)ビットワードが、100万:1(又は10000:0.01nit)の画素ルミナンスのコントラスト比を表すために必要であることである。
また、発明者は、必要とされる計算がディスプレイのガンマ変換されたluma領域において行われ得ることに気付いた。これは、低減された最大lumaコントラスト比を有する。これは、図4の例示的なデコーダで示される。従って、ここで、Y´は、前と同じようにHDR−EOTFによって規定されるが、Crayon先端はここで規定され、ディスプレイガンマ領域における実際に必要とされるluma依存の色表現(ディスプレイガンマ2.2領域におけるR´´等)への再スケーリングにおいて用いられる。即ち、その無彩色軸が曲げられ、例えば10ビットガンマ2.2コード割当てに従って再サンプリングされる。
これらのデコーダは、新たなクレヨン状の色空間においてエンコードされた双方の信号とともに機能し得る。また、任意の他のY´ab空間においてエンコードされた信号とともに機能し得る。唯一の要件は、Y´軸をデカップリングすることであるためである。
図2によるものとの図4のデコーダの差は、(例えばMax(Y,E)を有する)ルミナンススケーリングがディスプレイの非線形領域において行われることである。即ち、特定の予想又は接続されたディスプレイとともに使用するために適切にスケールされた無彩色方向を有する。対応するE´´を計算することを必要とする。lumaは、異なる表現において、ダブルプライムにより示されるだろう。これは、伝送及びその後のディスプレイ依存の光電式変換ユニット402のためにビデオコーデックに従ってエンコードされるlumaにEOCFを最初に適用することにより(ストレージを介して又は直接的に)取得され(注記;これは、べき関数を実装するだろう。これは、OECFの代わりにOETFという用語を用いた理由でもある。)、予想されたディスプレイのために正しいluma Y´´をもたらす(即ち、接続されたディスプレイが白黒ディスプレイであり、これらのY´´により駆動される場合に、画像は正しく見えるだろう)。実際には、ユニット354及び402は、もちろん1つに組み合わせられてもよく、例えば1つのパラメトリック方程式又はLUT等を適用する。実際には、我々は、これらのデコーダの実施形態において、乗算は、その新たな(最終的な)Y´´luma領域における乗算部405により行われることを理解する。これは、色彩パイプラインへの対応する変更を必要とする(即ち、図2と同じである第1の部分)。スケールされた3つの色座標(R/Y,G/Y,B/Y)を取得するために(1,1,1)を追加するために、加算部403を最初に取り込む。これらは、ディスプレイ非線形領域に変換されなければならない。これは、適切なもの(例えば、2.2ガンマ(即ち、(R/Y)´´=(R´´/Y´´)=(R/Y)^1/2.2等))を適用する場合に正しくなる。必要であれば、この結果として生じる画像の空間アップスケーリングがあってもよい。
単純なデコーダは、Max(Y,E)を無視し、Y´´によりスケールするだろう。最も暗い色のためだけの幾つかの小さな色誤差をもたらし、これは、Eが小さな値、例えば0.05nitとして選択される場合に許容可能である。より高度なデコーダは、前と同じように、乗算を行う前に最大関数を適用するだろう。ここで、好ましくは、更により高度なデコーダは、線形領域におけるよりもむしろガンマ領域において機能する非線形性のため、E´´より低いlumaを伴う色をほとんど完全に正確にもたらすために、色オフセット決定ユニット410により最終的な色補正を行う。
色オフセット決定ユニット410は、好ましくは以下のものを決定する。
dr=Max(0,1−cR*Y´´)*Min(Y´´−D´´,0)
cRは定数(例えば2.0)である。D´´は一定の閾値(好ましくはE´´に等しい)である。同様に、これらのそれぞれのcg,cbを伴う、緑及び青の色画像のためのdg及びdBに関して、
dg=Max(0,1−cG*Y´´)*Min(Y´´−D´´,0)
db=Max(0,1−cB*Y´´)*Min(Y´´−D´´,0)
最終的な色座標R´´,resp. G´´, B´´ を取得する。これは、より低いY´´値に対しても良好である。この補正の一例は、不正確な値(曲線502)から始まる、曲線501をもたらす図5に示される。これは、追加の補正を行わない簡略化されたデコーダから生じるだろう。点線503は理論的な目標であり、補正の結果とともに配置するように見られる。入力は、乗算部から生じる中間体(R´´,G´´,B´´)_Im値であり、グラフの出力は、加算部406の後の、出力のための最終的な値である。グラフは、色座標のうちの1つ(例えば赤)のための動作を示す。
任意のデコーダは、ディスプレイを駆動させるための画素毎の必要とされるR´´,G´´及びB´´を最終的にもたらすだろう。我々のクレヨン状の色空間は、例えば高ダイナミックレンジの、通信するか又は格納するビデオにとって主に関心があるが(ハードウェアブロック又はソフトウェアは、レシーバ/デコーディングデバイスのような各種デバイスに既に存在する)、これは、例えばレガシーLDRビデオをHDRレンダリングにより適しているものにグレーディングする処理を行うために用いられてもよい。
図3に概念的に示されるCrayonのバージョンは一実施形態として機能するが、異なる、及び、より適切なY´´u´´v´´Crayon空間を規定することができる。(ほぼ)ゼロに対してY/ε又はY´´/ε´´により減衰すること又は乗算することに関する問題は、レシーバにおいて無限のゲインによって増幅しなければならないことである。任意の誤差を伴わない最終的に正確なシステムにおいて、これは問題にならないだろう。レシーバ側では、(CIE 1976に従う)元のu´v´が再取得され得るためである。しかしながら、実際には、典型的な技術的制約を考慮しなければならない。一方では、uv座標上の誤差du及びdvがあるだろう。これらはとりわけ主に暗い領域におけるカメラノイズから生ずる。しかしながら、これらは、減衰により大幅に低減された。しかしながら、使用されるエンコーディング技術に起因して、色度誤差が更に存在し得る。幸運にも、これらは、典型的に大きくないだろう、及び、あまり目立たないだろう。これらは、典型的に既に暗い色であるものの軽微な変色に過ぎないためである。従って、目は、多少緑がかった黒と多少青みがかった黒との間の差に気がつかない。しかしながら、より深刻な関心事は、レシーバでもY´´チャネル上に誤差が存在し得ることである。これらは、乗法的スケーリングのため、数学的に既により深刻なものである。戻されたu´v´における深刻な彩度誤差、及び無効な非物理的な値を有し得る。従って、より鈍いクレヨン先端を用いてそれを考慮することを必要とする。図7aにおいて、我々は、1/128でクリップするものに対する(lumaコードY´−Tのより低い値のための)線形減衰ファクタを参照する。Tは、例えば16の黒レベルである(1になるように128によりグラフをスケールしている)。
そして、我々がこれのために用いる減衰のための数式は、
Atten=clip(1,Y´´/E´´,1/K)
である。Kは、例えば128であり得る。
これにおいて、我々は、Y´´がE´´より小さいCrayon先端領域に関して、この除算による乗算は、線形減衰を実現することを理解する。これは、これらが等しく、及び、Crayonの縦シリンダ境界が続く場合にもちろん1になる。しかしながら、我々は、1による乗算により、最小限に減衰がなくなるよう減衰を明示的に境界付けることができる。より関心のある態様は、128への制限である。正しいu´,v´値を再取得するために減衰を元に戻すために増幅ゲインを取得するために線形関数(701)を反転させる。我々は、もちろんその乗法的ゲインのために双曲線を取得し、これは、曲線703であり、我々は、無限距離に進行するよりはむしろ最大にクリップされことを理解する。しかしながら、クリップされるか又はクリップされないかに関わらず、我々は減衰を規定する。実際に重要であることは、レシーバでの再ブースティングのゲインをクリップすることである(例えば、gain(Y´´)=CLIP(1,E´´/Y´´,K=128))。u´´,v´´値が何であれ、例えば(0,0)又は小さな誤差で摂動されるかに関わらず(即ち、(0,0)の代わりに(du,dv)をもたらす)、我々は、とりわけdu又はdvが大きい場合に、あまりに多くのレシーバにおいてそのu´´,v´´復元を決してブーストすべきではない。そして、更に良好なストラテジは、曲線702のようにソフトクリッピングを行うことである。曲線704のように、及び、好ましくは比較的小さな傾斜によって、ゲイン曲線の最も低い部分に線形経路に従わせることにより容易に設計することができる。あまり小さくはない。我々は、u´v´値を十分に減衰させないため、及び、あまりに多くのカメラノイズを符号化しないためである。これは、我々の必要とされるエンコーディングビットバジェットを増大させるか、又は、画像の他の部分における圧縮アーチファクトを生成する。しかしながら、あまり大きな傾斜ではない。レシーバがそのY´´値において誤差dY´´をもたらす場合、これは、正しいu´,v´画素色を取得するために必要なものとは極めて異なるゲインブースト(g+dg)をもたらし得るためである。即ち、過度に飽和した復元された色をもたらす。あるいは、一般的な大きな色誤差においてdu´がdv´に等しくなることを要しないためである。従って、この傾斜した部分は、システム毎にバランスをとられるべきである。あるいは、多数の典型的な将来のシステムのために平均的に調整すべきである。種々の傾斜を選択することができることが図7cにおいて示される(256に関するE´´を伴う10ビットのY´´の例)。ゲイン関数は、線形軸系よりはむしろ対数関数的軸系においてここで示される(従って、双曲線の形状が変化した)。705は線形曲線であり、752はソフトクリッピングゲイン曲線であり、753はよりソフトなクリッピング曲線である。これは、送信される我々のu´v´色の定義であるので、レシーバは、どのCrayon先端関数が用いられたかについて知らなければならない。即ち、この情報は、送信されなければならない。これを行うために種々の手段が存在する。例えば、S_imにおけるメタデータは、例えばレシーバが使用しなければならなない特定のゲイン関数を特定するLUTを含んでもよい(選択された減衰関数に対応する。コンテンツ作成部は例えば1又はそれ以上のディスプレイ上の典型的な復元品質を見ることにより使用される)。あるいは、代わりに、関数のパラメトリック機能的記述が送信されてもよい。例えば、クレヨン先端の上側領域が線形のままであることを知っている場合、先端の最下部の部分しかエンコードすることを必要としない。例えばソフトクリッピングのずれが始まるポイント(例えばP´又はP)及び機能的記述(例えば、線形セグメントの傾斜)等を送り得る。これらの単純な及び有利な変形に加えて、当業者は、Crayon先端を規定するための種々の他の手段が存在し得ることを理解すべきである。
図8は、E´´のための良好な位置を決定する方法に関する例を与える。ここでは、我々のHDR−EOTFで規定されたlumaであるY´´により先端定義を行うと想定する(それ故にE´´である)。我々は、例えば5000nit基準モニタのためのHDRエンコーディングを有すると想定する。10ビットレベル周辺のノイズを伴う典型的なカメラ材料を想定すると、これは、白ピークの約1/1000になるだろう。即ち、我々は、5000nitディスプレイ上でレンダリングされる5nitより低いところで、多くのノイズを見るものと想定するだろう。これは、MPEG DCT符号化の前にu´v´の減衰を必要とするだろう。我々は、例えば12ビットのluma(最大コード4096)に関して、イプシロンE´が1024になるように、既に計算することができた。これは、コード軸の25%になるだろう。これは高いように見えるが、HDR lumaコード割当てのEOTFが非常に非線形であることに気付く。従って、25%のlumaコードは実際に非常に暗くなる。実際には約5nit又は0.1%のlumaである。これは、図8において理解され得る。我々は、この例において、HDR EOTF 803と一緒に、好ましいデコーダゲイン関数801及びエンコーダ減衰関数802をプロットした。イプシロンポイントE´´は、水平ラインが傾斜したラインに変化するところである。EOTFから、我々は、約1000のlumaコード(又は25%)又は5nitルミナンスに入るものと読むことができる。同様のストラテジは、非常にきれいなマスター信号を有する場合に、例えば良好な将来のカメラ又はコンピュータグラフィックス生成部から計算され得る。同様のクレヨン先端減衰ストラテジは、より厳しいデジタル(DCT又は他のもの(例えば小波))エンコーディング及びこれらの予想されたノイズ等のために設計され得る。
図9は、とりわけu´´´,v´´´の概念を取り込む、他の関心のあるデコーダの実施形態902を示している。これは、他の問題(即ち、u,vアップコンバージョンにおけるより暗いY´´,u´v´(又はu´´,v´´)色)を解決する。エンコーダ901は、既に前述されたものと同じであり、例えば、1つの固定された又は任意の可変のソフトクリップされた(soft-clip-tipped)Crayon空間定義及び減衰ファクタ計算部(903)におけるその対応する減衰ストラテジを用いる。
デコーダは、幾つかの差を有する。第一に、もちろん、HDR−EOTFに基づくlumaであるY´´によりCrayon先端を規定した(これは、試験的研究の後、例えばルミナンスより良好に機能することが発見された。これは、実際にY´´u´v´又はY´´u´´v´´色を規定するものであるためである。)単一のダッシュは、ディスプレイガンマluma空間を示すためにこの図において用いられる。第二に、我々は、u,v定義において(実際にはここではu´´´v´´´三重ダッシuv平面において)都合よく機能するように空間アップスケーラを移動させた。
他のデコーダの実施形態と同様に、ダウンスケーラは、最大解像度(例えば4K)である、送信された色エンコーディングにおいて受信されたluma Y´´を、受信してエンコードされたu´´及びv´´画像のダウンスケールされた解像度にダウンスケールしなければならない。ゲイン決定部911は、図2におけるもの(355)と同様であるが、より一般的な関数を扱うことができる。入力Y_xk値に依存して、ゲインg(Y_xk)は、乗法的スケーラ912のために出力される。好ましくは、この実施形態において、以下のゲイン関数を有する。実験的に、我々は、先端におけるY´´の線形関数によってのみスケールし、斯様なスケールされた色のu´´,v´´値を他の色の他のu´´,v´´値と混合する場合、暗い色は結果として生じる色において際立って見えることを見出した。これは誤差を取り込む。最初は、(u,v)画像が任意の他の画像のようにアップサンプリングされ得ることを考える傾向があってもよい。シーンオブジェクトの材料のスペクトルフィルタリング動作を表すためである。及び、オブジェクト空間テクスチャが単純に挿入可能であることを考える傾向があってもよい。しかしながら、厄介なことは非線形性の中にある。これは、乗算の中にある(オブジェクトスペクトルがイルミネーションを計時するかどうか、又は、これらの技術的表現において、lumaスケールされた色度が実際の画素lumaにより乗算される)。従って、幾何学的解像度のアップスケーリング及びダウンスケーリングのような線形関数は、実際に線形空間において行われるべきである。(高ダイナミックルミナンス範囲までの画像を扱う能力に関する幾つかの理由のため前記のように)我々の技術的実施形態がu,v色彩の色エンコーディングの次元で機能することを条件付けたが、我々は、(少なくとも内部的に、斯様な線形動作が必要とされる場所での処理チェインにおいて)前記システムを線形なもののように動作させるストラテジを見つけることを必要とする。我々は、(図8のように)E´´より高いY´´のためのものと同等のままではないゲイン関数を用いることによりこれを行うが、ゲイン傾斜は、イプシロンを越えてY´´/E´´乗算を続ける(デコーダのゲイン傾斜のみ。エンコーダは、不変のままであり、例えば802のような形状を保つ。これは、より高いY´´に対して1になる。あるいは、換言すれば、伝送色空間は、先端及びそして縦シリンダ壁によってCrayon状にされたままである。)。これは、(例えば、Y´´をもたらすEOTFの非線形性の特性に反対に作用するように)これらのより高いY´´値に対して他の形状になってもよいが、研究において、我々は、Y´´_maxまでの単純な線形継続がうまく機能することを見つけた。好ましいゲインのためのこの継続した形状の関数は、図10における1001として示される。
実際に、トランスミッタは、減衰であるY´´<E´´のためのゲインストラテジの部分を既に適用したので、我々は、E´´より高い画素lumasのための色度をブーストすることのみを必要とする。これは、Y´´<=E´´に対して1をもたらす第1のゲイン関数1002を伴うゲイン決定部911において実装される(これらのu´´,v´´値は、トランスミッタにより既に正しいものにされている。我々は、これらの値を再利用するだろう。即ち、Conon空間の定義に対してE´´より低いCrayon空間の先端形状を保つだろう。)。しかしながら、同じ傾斜(即ち、Y´´/E´´)によって、E´´より高い線形ゲインブーストを規定する。
図13におけるCrayon空間として見たときに、これらのゲインにより乗算することは、Y´´u´´v´´の色空間を生成するだろう。我々は、Conon空間と言うだろう。Y´´>E´´を伴う色のための色度は、CIE u´v´の通常の範囲を超えてブーストされる(即ち、先端を形成するE´´より低くなるよう定義を修正する。その上では、円錐境界を形成する)。従って、(E´´より高い領域における)より高いY´´の色は、同じu´v´又はu´´,v´´座標を有する場合であっても、より低いY´´色と比較してConon空間において斜めにシフトされる(それを我々は、色1301に色1302のu´´_2及びv´´_2を与えることにより、図13において示す)。
実際には、我々の技術において実際に用いられるものは、[u´´´,v´´´]色平面(とりわけゼロであるY´´_x存在に対するもの)である。従って、これは、同じ色度(u´v´)を有する第2の色(u´´´_2,v´´´_2)が外方へ横たわること、即ち(u´´´_1,v´´´_1)より高い値を有することを意味する。従って、任意の明るい色は、暗い色と比較して挿入においてより大きい重みを得る(ここで、問題は、線形光において、暗い色は混合において如何なる変化もほとんどもたらさないことであった。しかしながら、Y´´混合から独立したとき、これらの色度は、混合において非常に大きな重要性を与える)。理論的にそうなるべきであるものに近いアップサンプリング結果を得る。従って、アップサンプラ913は、Conon面1310において機能する([u´´´,v´´´]_0)。もちろん、正しいu´v´色度に戻すために、好ましくは、全ての実施形態である必要はないが、Y´´>E´´のためにこれらのブーストを元に戻す。これは、補償ゲイン乗算部914により行われ得る。これは、ゲイン決定部915から、1001のような関数からのゲインを得る。これは、Crayon先端におけるトランスミッタ減衰に対して、及び、Y´´>E´´のための中間ブースティングに対して、同時に修正する。しかしながら、このゲインは、(u´,v´)_4kの増大された解像度上で機能しなければならないので、我々は4k解像度Y´´画像を必要とする。
他の変形が実装され得るが、我々は、アップスケーラ916がダウンスケーラ910からのダウンスケールされたY´´_xk画像をアップスケールする場合に品質は最高になることを見出した。エンコーダがダウンスケーラ999及びY´´_4kのためのデコーダダウンスケーラ910、を有し、好ましくはこれらは規格化された同じアルゴリズムを用いることに留意されたい。信号におけるメタデータは、1又は複数の索引付け可能なダウンスケーリングアルゴリズムを規定することができるが、これは我々のCrayon空間定義の中心にあるので、好ましくはたった1つの変形だけが規格化される。例えば、メタデータは、UV_DOWN=[1,1,1,1]及びUV_UP={1,3,9}を特定する。一般に、これは、関数の固有の識別子、及び重みのセットであるだろう。
我々は、図14における好ましいアルゴリズムを示した。ダウンサンプリングに関して、我々は、1/4に等しい全ての4タップを伴うフィルタを用いて、ダウンサンプリングされたu´v´を中央に配置することができる。アップサンプリングに関して、我々は、各アップサンプリングされたポイントがダウンサンプリングされたグリッド上の最も近い隣までどれくらい近いか(例えば最も遠いものに対する最も近いものに関して比例して1対9等)に依存してタップを用いることができる(図14b参照)。
アップスケーリングの背後で、戻されたY´´u´v´空間において、多数の興味深いことが行われ得る。我々は、一般に、第一に、任意のlumaをスケールされた色表現における全ての所望の色彩の変換を行うことができる。そして、その対応するluma依存の線形又は非線形の三色色空間を伴う一般的な又は特定(例えば1500nit MDRディスプレイへのマッピング)の状況に対して、ダイナミックレンジ変換のような、任意の輝度に影響する変換を行う。デコーダの実施形態902において、我々は、ディスプレイのガンマ−領域ディスプレイ駆動座標R´G´B´への直接的にマッピングするための安価な手段を示す。例示的に、これは、色変換部920(この例において、X/Yにマッピングするように構成される。即ち、lumaスケールされたXYZに基づく3D色平面定義又は他の変換にuvを戻す。)、色変換部921(この例では、色表現R/Y等に投射する)、非線形色マッパー922を含み得る(この例では、R/YからR´/Y´へのlumaスケールされた色平面の間に非線形マッピングを適用するように構成される。これは、実際には、この表現において、ディスプレイOETFの変換(又は、実際には、逆EOTFにおいて、即ち、逆ガンマ、即ち、例えば、平方根)を実装する。)。我々のY´´u´´v´´システムの美しいデカップリングのため、全ての必要とされる無彩色処理は、トーンマッパー930により実装される1つの最終的なマッピング(例えばLUT)としてグループ化されてもよい。この場合、我々は、概念上のサブユニット931によりこれをロードした。これは、我々のHDR−EOTFで定義されたlumaコードY´´とルミナンスYとの間でリマッピングする。マッピング932は、ルミナンス上のディスプレイのためにOETFを適用することによりディスプレイ空間Y´に向かう。しかしながら、(連続的計算として実際に同じ又は異なるマッピングハードウェア内にあるか、又は、単一の連結されたマッピングであるかに関わらず)多くのトーンマッピングユニットがここで実装され得る。例えば、グレーダは、微調整を実装してもよい。これは、例えばY´´u´´v´´画像を移動させるときに彼の嗜好をエンコードする。これは、実際の例えば250nitディスプレイに対して、例えば3000nit基準ディスプレイ上にグレーディングされる。この関数は、([0,1]であると想定することができる)luma軸の重要な小領域においてコントラストを例えば強調してもよい。即ち、例えば0.2周辺に強い傾斜がある。また、我々は、異なる周囲観察環境のために必要とされる効果を近似させるために例えばガンマを追加することができる。例えばTDRタイプのエンコーディングを補正するために、lumaの更なる調整の全ての種類が行われ得る。我々は、これによって取り込まれた事前に発行されていないPCT/IB2014/058848等において開示した。例えばRGB又はXYZのようなデバイス非依存の表現、又は、特定のディスプレイを駆動させるためのR´G´B´のような最適なデバイスに依存したものにおいて、レンダリングされるべき最終的な色を導出するために、所望のY´ lumaに最終的に到達する。
図11は、他の実施形態を示す。これは、HDR画像復元品質においてあまり正確ではないが、より安価なハードウェアである。u,v(戻されたu´v´座標)上のアップサンプリングを伴う、図9のような類似の成分を有する。Crayon先端は、HDR−EOTFで決定されたluma Y´´によって減衰及びブーストされる。Y´´>E´´による色度の変化はない。従って、ゲイン決定部1101のゲイン2関数は、単純に、トランスミッタ減衰決定ユニット1102により使用される関数の逆形状(1/attenuation)である。
図12は、他のデコーダの実施形態である。これは、類似の教示を実装する。しかしながら、線形RGB座標を出力する。従って、lumaスケールされた色平面の実施形態は、色マッパー1205及び色マッパー1206を伴う、ルミナンススケールされた実施形態である。アップスケーラ1204は、図11のようにu´v´上で機能する。ゲイン決定ユニット1202は、図9と同様に機能する。クリップされた線形ゲイン、又はソフトクリッピングの変形である。しかしながら、ここでは、我々は、イプシロンE´´は、デコーダがLDR又はHDR画像を処理しているかどうか(又は潜在的にその間の何かでさえ)によって変化してもよいことを示した。従って、入力されたY´´u´´v´´値は、双方の場合のためのYCrCb MPEG値の通常の範囲内の値である。しかしながら、実際に画素色にあるものは異なる(これは、HDR画像エンコーディングのときには、例えば暗い地階の非常に暗い画像として示すだろう。即ち、例えばルミナンス1%又はluma(例えば1200)より低いヒストグラムの重大な割合)。デコーダは、LDR又はHDR画像を処理しているかどうかを知る。この例において、( (LDR)対 (HDR)として示される図12における)E´´の異なる値は、(例えばS_imにおけるメタデータから)デコーダに入力される。これは、必要とされるゲイン関数形状をパラメータ的に復元するために用いることができる。同じものが、トーンマッパー1208において示される。これは、HDRシナリオ対LDRシナリオのために異なる関数を用いることができる。もちろん、例えば800nitディスプレイを駆動させる必要がある場合、最適な見た目を取得するための処理は、言わば暗い地階シーンの暗いHDRバージョンを得るかどうかに関わらず、異なるだろう(この場合において、トーンマッピングは、画像のより暗い領域を少し明るくしなければならない。800nitモニタは、例えば5000nit基準のものよりも明るくないためである。5000nit基準のために、HDRグレーディングされた画像が最適である。)。これに対し、デコーダが100nit基準のLDR入力Y´´u´´v´´画像を得たとき、これは明るくされる(この場合、おそらく、暗い部分の黒化が、800nitディスプレイ上でより現実的な暗さをもたらすために必要とされる。そのシーン中のランプは、それ故、比較的明るくなる)。ダウンサンプラ1201及び乗法的スケーラ1203は、既に述べられたものと同じであり得る。
このテキストにおいて開示されたアルゴリズム成分は、実際には、ハードウェア(例えば、アプリケーション専用のICの部分)として、又は、特別なデジタル信号プロセッサ若しくは一般的なプロセッサ等で実行するソフトウェアとして(全体的又は部分的に)実現されてもよい。
成分はオプショナルな改良であってもよいこと、他の成分と組み合わせて実現されてもよいこと、方法の(オプションの)ステップが装置のそれぞれの手段にどのように対応するか(及び逆の場合も同じである)は、我々の提示から当業者によって理解可能であるべきである。この出願における"装置"という用語は、最も広義に用いられる(即ち、特定の目的の実現を可能にする一群の手段)。それ故、例えばIC(の小さな回路部分)、又は(ディスプレイを有する電気機器のような)専用の電気機器、又はネットワーク化されたシステムの部分等であってもよい。"装置"は、最も広義に用いられることを意図される。従って、とりわけ単一の装置、装置の一部、協働する装置(の部分)の寄せ集め等を含んでもよい。
コンピュータプログラム製品という表示は、プロセッサにコマンドを入力するために、及び、発明の特定の機能のいずれかを実行するために、一連のロードするステップ(これは、中間言語への、及び、最終的な処理言語への変換のような、中間変換ステップを含んでもよい)の後に、一般的又は特別な目的プロセッサを可能にするコマンドの寄せ集めの任意の物理的な実現を含むように理解されるべきである。とりわけ、コンピュータプログラム製品は、例えばディスク又はテープ、メモリ内に存在するデータ、有線若しくは無線のネットワーク接続を介して伝送するデータ、又は刊行物上のプログラムコードのような担体上のデータとして実現されてもよい。プログラムコードから離れて、プログラムのために必要とされる特性データは、コンピュータプログラム製品として具現化されてもよい。
方法の動作のために必要とされるステップの幾つかは、データ入力及び出力ステップのような、コンピュータプログラム製品において述べられたものの代わりに、プロセッサの機能において既に存在していてもよい。
上述の実施形態は、本発明を限定するよりはむしろ例示であることに留意すべきである。示された例の請求項の他の領域へのマッピングを当業者が容易に実現することができる一方で、我々は簡潔さのためにこれらのオプションを詳細に述べていない。請求項において組み合わせられる本発明の要素の組み合わせから離れて、前記要素の他の組み合わせが可能である。要素の任意の組み合わせは、単一の専用の要素において実現されてもよい。
請求項における括弧内の任意の参照符号は、請求項を限定することを意図するものではない。

Claims (7)

  1. ビデオ送信システムを介して送信され、又は、ビデオストレージ製品上で受信された画像の高ダイナミックレンジビデオ信号を受信するための入力部を有するビデオデコーダであって、
    画素色は、無彩色luma座標及び2つの色度座標によってエンコードされ、
    当該ビデオデコーダは、処理順序において、
    第一に、色度座標を有する画像成分の解像度を増大させるように構成される空間アップサンプリングユニットと、
    第二に、増大された解像度色度成分画像の画素に対して、前記色度座標を、3つのルミナンス非依存の赤、緑及び青の色成分に変換するように構成される色変換ユニットであって、これらの色成分は、斯様な色の最大の考えられるlumaが1.0になるように規定される、色変換ユニットと、
    第三に、前記無彩色luma座標に基づいて計算された共通のlumaファクタによるスケーリングにより、前記3つのルミナンス非依存の赤、緑及び青の色成分をルミナンス依存の赤、緑及び青の色表現に変換するように構成されるルミナンススケーリングユニットとを有する、ビデオデコーダ。
  2. 入力された画像の前記色度座標は、閾値lumaより低いlumaを有する画素に対して、画素lumaが前記閾値lumaより低くなる量によって単調に減少する最大彩度を有するように規定される、請求項1に記載のビデオデコーダ。
  3. 処理順序において、
    第一に、サブサンプリングファクタを有するlumaの入力成分画像を空間的にサブサンプリングするように構成されるダウンスケーラと、
    そして、このサブサンプリングされた画像における画素毎のlumaに基づいて第1のゲインを決定するように構成されるゲイン決定部と、
    そして、中間色度をもたらすために前記第1のゲインにより前記色度座標を乗算するように構成される乗法的スケーラとを有し、
    並列処理分岐において、
    同じサブサンプリングファクタを有するlumaのサブサンプリングされた画像を再びアップスケールするように構成されるアップスケーラと、
    再アップサンプリングされたluma画像のlumaに基づいて第2のゲインを計算するように構成される第2のゲイン決定部とを有し、
    そして、前記の最初の処理分岐は、
    前記中間色度をlumaの前記入力成分画像の解像度にアップサンプリングするように構成されるアップサンプラと、
    そして、アップスケールされた色度成分画像の色度を前記第2のゲインにより乗算するように構成される第2のゲイン乗算部とを有する、請求項2に記載のビデオデコーダ。
  4. 前記中間色度は、色が閾値より低いlumaを有する場合には減衰関数によりu´,v´座標を減衰させ、色が閾値より高いlumaを有する場合にはブースト関数によりu´,v´座標をブーストすることにより、CIE 1976 u´,v´座標から規定される、請求項3に記載のビデオデコーダ。
  5. 高ダイナミックレンジビデオデコーディングの方法であって、
    当該方法は、ビデオ送信システムを介して送信され、又は、ビデオストレージ製品上で受信された画像のビデオ信号を受信するステップであって、画素色は、無彩色luma座標及び2つの色度座標によってエンコードされる、ステップを有し、
    当該方法は、処理順序において、
    前記色度座標を有する画像成分の解像度を増大させる空間アップサンプリングと、
    第二に、増大された解像度色度成分画像の画素に対して、前記色度座標を3つのルミナンス非依存の赤、緑及び青の色成分に変換するステップであって、これらの色成分は、斯様な色の最大の考えられるlumaが1.0になるように規定される、ステップと、
    第三に、前記無彩色luma座標に基づいて計算された共通のlumaファクタによるスケーリングにより、前記3つのルミナンス非依存の赤、緑及び青の色成分をルミナンス依存の赤、緑及び青の色表現に変換するステップとを更に有する、方法。
  6. 閾値lumaより低いlumaを有する画素に対して、画素lumaが前記閾値lumaより低い量によって単調に減少する最大彩度を有するように規定されるフォーマットにおいて前記2つの色度座標を受信するステップと、
    前記空間アップサンプリングを実行する前にこれらの色度座標を規格CIE 1976uv色度に変換するステップとを有する、請求項5に記載の方法。
  7. プロセッサ上で実行されたときに請求項5又は請求項6の全ての方法ステップを実行するコードを有する、コンピュータプログラム製品。
JP2016549063A 2014-02-21 2015-02-21 高解像度及び高ダイナミックレンジを可能とするビデオデコーダ Pending JP2017512393A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP14156211 2014-02-21
EP14156211.6 2014-02-21
US201462022298P 2014-07-09 2014-07-09
US62/022,298 2014-07-09
PCT/EP2015/053669 WO2015124754A1 (en) 2014-02-21 2015-02-21 High definition and high dynamic range capable video decoder

Publications (1)

Publication Number Publication Date
JP2017512393A true JP2017512393A (ja) 2017-05-18

Family

ID=50151173

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016549063A Pending JP2017512393A (ja) 2014-02-21 2015-02-21 高解像度及び高ダイナミックレンジを可能とするビデオデコーダ

Country Status (5)

Country Link
US (1) US20160366449A1 (ja)
EP (1) EP3108650A1 (ja)
JP (1) JP2017512393A (ja)
CN (1) CN105981361A (ja)
WO (1) WO2015124754A1 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10419767B2 (en) 2014-02-21 2019-09-17 Koninklijke Philips N.V. Encoding video with the luminances of the pixel colors converted into lumas with a predetermined code allocation and decoding the video
US20170064156A1 (en) * 2014-02-25 2017-03-02 Thomson Licensing Method for generating a bitstream relative to image/video signal, bitstream carrying specific information data and method for obtaining such specific information
WO2015198560A1 (ja) 2014-06-27 2015-12-30 パナソニックIpマネジメント株式会社 データ出力装置、データ出力方法及びデータ生成方法
EP3051818A1 (en) * 2015-01-30 2016-08-03 Thomson Licensing Method and device for decoding a color picture
JP6516851B2 (ja) * 2015-02-13 2019-05-22 テレフオンアクチーボラゲット エルエム エリクソン(パブル) 画素の前処理および符号化
CN112929670B (zh) * 2015-03-10 2024-09-10 苹果公司 自适应色度下采样和色彩空间转换技术
WO2016172394A1 (en) * 2015-04-21 2016-10-27 Arris Enterprises Llc Adaptive perceptual mapping and signaling for video coding
US10257526B2 (en) * 2015-05-01 2019-04-09 Disney Enterprises, Inc. Perceptual color transformations for wide color gamut video coding
US10880557B2 (en) * 2015-06-05 2020-12-29 Fastvdo Llc High dynamic range image/video coding
US10909949B2 (en) * 2015-06-12 2021-02-02 Avago Technologies International Sales Pte. Limited System and method to provide high-quality blending of video and graphics
AU2015275320A1 (en) * 2015-12-23 2017-07-13 Canon Kabushiki Kaisha Method, apparatus and system for determining a luma value
EP3409015B1 (en) * 2016-01-28 2019-09-25 Koninklijke Philips N.V. Encoding and decoding hdr videos
EP3427478B1 (en) * 2016-03-07 2023-08-23 Koninklijke Philips N.V. Encoding and decoding hdr videos
AU2017235369B2 (en) * 2016-03-18 2022-02-03 Koninklijke Philips N.V. Encoding and decoding HDR videos
US10834400B1 (en) 2016-08-19 2020-11-10 Fastvdo Llc Enhancements of the AV1 video codec
US10070098B2 (en) * 2016-10-06 2018-09-04 Intel Corporation Method and system of adjusting video quality based on viewer distance to a display
US11202050B2 (en) * 2016-10-14 2021-12-14 Lg Electronics Inc. Data processing method and device for adaptive image playing
CN107995497B (zh) * 2016-10-26 2021-05-28 杜比实验室特许公司 高动态范围视频的屏幕自适应解码
JP6755811B2 (ja) * 2017-02-07 2020-09-16 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
GB2562041B (en) * 2017-04-28 2020-11-25 Imagination Tech Ltd Multi-output decoder for texture decompression
EP3399497A1 (en) 2017-05-05 2018-11-07 Koninklijke Philips N.V. Optimizing decoded high dynamic range image saturation
CN110999300B (zh) * 2017-07-24 2023-03-28 杜比实验室特许公司 用于图像/视频处理的单通道逆映射
EP4415366A2 (en) * 2017-08-03 2024-08-14 Sharp Kabushiki Kaisha Systems and methods for partitioning video blocks in an inter prediction slice of video data
CN107590780B (zh) * 2017-08-09 2023-01-20 深圳Tcl新技术有限公司 图像显示方法、终端及计算机可读存储介质
US10778978B2 (en) * 2017-08-21 2020-09-15 Qualcomm Incorporated System and method of cross-component dynamic range adjustment (CC-DRA) in video coding
GB2573486B (en) * 2017-12-06 2022-12-21 V Nova Int Ltd Processing signal data using an upsampling adjuster
US10447895B1 (en) * 2018-03-27 2019-10-15 Tfi Digital Media Limited Method and system for expanding and enhancing color gamut of a digital image
US11388447B2 (en) * 2018-07-20 2022-07-12 Interdigital Vc Holdings, Inc. Method and apparatus for processing a medium dynamic range video signal in SL-HDR2 format
CN113168669B (zh) * 2018-09-18 2024-03-29 浙江宇视科技有限公司 图像处理方法、装置、电子设备及可读存储介质
US11503310B2 (en) * 2018-10-31 2022-11-15 Ati Technologies Ulc Method and apparatus for an HDR hardware processor inline to hardware encoder and decoder
BR112021018089A2 (pt) * 2019-03-12 2021-11-23 Fraunhofer Ges Forschung Transformada de intercomponente seletiva (ict) para conversão de imagem e vídeo em código
CN110166798B (zh) * 2019-05-31 2021-08-10 成都东方盛行电子有限责任公司 一种基于4k hdr编辑的下变换方法及装置
DE112019007869T5 (de) * 2019-11-01 2022-09-15 LG Electronics Inc. Signalverarbeitungsvorrichtung und Bilderzeugungsvorrichtung damit
CN114466244B (zh) * 2022-01-26 2024-06-18 新奥特(北京)视频技术有限公司 一种超高清高动态范围成像渲染方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010104624A2 (en) * 2009-03-10 2010-09-16 Dolby Laboratories Licensing Corporation Extended dynamic range and extended dimensionality image signal conversion
EP2804378A1 (en) * 2013-05-14 2014-11-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Chroma subsampling

Also Published As

Publication number Publication date
EP3108650A1 (en) 2016-12-28
US20160366449A1 (en) 2016-12-15
WO2015124754A1 (en) 2015-08-27
CN105981361A (zh) 2016-09-28

Similar Documents

Publication Publication Date Title
JP2017512393A (ja) 高解像度及び高ダイナミックレンジを可能とするビデオデコーダ
EP3108649B1 (en) Color space in devices, signal and methods for video encoding, transmission, and decoding
US10419689B2 (en) Mapping between linear luminance values and luma codes
JP7203048B2 (ja) Hdrコード化(復号)のための色域マッピング
EP3409015B1 (en) Encoding and decoding hdr videos
EP3430806B1 (en) Encoding and decoding hdr videos
US12125183B2 (en) High dynamic range video color remapping
AU2017235369A1 (en) Encoding and decoding HDR videos
JP2018525883A (ja) カラー・ピクチャを符号化および復号する方法およびデバイス
AU2016373020A1 (en) Method of processing a digital image, device, terminal equipment and computer program associated therewith
KR20220143932A (ko) 포화된 색들에 대한 개선된 hdr 색 처리
RU2782432C2 (ru) Улучшенное повторное отображение цвета видео с высоким динамическим диапазоном
WO2024165359A1 (en) Hdr out of gamut adjusted tone mapping