JP2017536735A - ダイナミックレンジマッピングのための彩度処理仕様 - Google Patents

ダイナミックレンジマッピングのための彩度処理仕様 Download PDF

Info

Publication number
JP2017536735A
JP2017536735A JP2017518827A JP2017518827A JP2017536735A JP 2017536735 A JP2017536735 A JP 2017536735A JP 2017518827 A JP2017518827 A JP 2017518827A JP 2017518827 A JP2017518827 A JP 2017518827A JP 2017536735 A JP2017536735 A JP 2017536735A
Authority
JP
Japan
Prior art keywords
color
image
saturation
function
dynamic range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017518827A
Other languages
English (en)
Other versions
JP6356349B2 (ja
JP2017536735A5 (ja
Inventor
ヒューベルト クリストッフェル ヤコビュス ステッセン,イェルーン
ヒューベルト クリストッフェル ヤコビュス ステッセン,イェルーン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=51690893&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2017536735(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2017536735A publication Critical patent/JP2017536735A/ja
Publication of JP2017536735A5 publication Critical patent/JP2017536735A5/ja
Application granted granted Critical
Publication of JP6356349B2 publication Critical patent/JP6356349B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6027Correction or control of colour gradation or colour contrast
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98Adaptive-dynamic-range coding [ADRC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/86Camera processing pipelines; Components thereof for processing colour signals for controlling the colour saturation of colour signals, e.g. automatic chroma control circuits
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

最近導入された高ダイナミックレンジ画像符号化を扱うのに必要なダイナミックレンジ変換に合わせて新しい彩度処理が必要とされていることから、入力色(R,G,B)及び該入力色の輝度(Y)に基づき線形色差(R−Y,G−Y,B−Y)を決定し、線形色差(R−Y,G−Y,B−Y)と利得(g)との乗算を行うよう構成される彩度変更装置(101)であって、線形色差(R−Y,G−Y,B−Y)のうちの最も高いものの値として定義される差値(V_in−Y)の関数として利得を決定するよう構成される彩度変更装置について記載する。

Description

本発明は、旧来の画像/ビデオ符号化技術と比較して増大された輝度ダイナミックレンジを扱うことができる画像又はビデオ(静止画像の組)を符号化する方法及び装置に関し、特に、第1のダイナミックレンジ画像から導出される第2のダイナミックレンジ画像(これらの2つは、輝度ダイナミックレンジにおいて少なくとも2倍異なっている)の色の彩度が、その第2のダイナミックレンジを有する第2の画像を導出するときに、彩度処理によってどのように逸れるべきであるかを規定する新規の手法に関する。本発明はまた、相当に異なる輝度ダイナミックレンジの画像(少なくとも2倍だが、10000nit画像から100nit画像へと100倍ダイナミックレンジを低減させること又はその逆を必要とすることも同様にあり得る)のマッピングを伴う画像処理チェーンにうまく合わせられる彩度処理に関する。
彩度(サチュレーション)は、ほんの一部のことしか知らない素人はそう見えるよりも難しい技術的量である。心理視覚的に、それは、3つの異なる錐体視細胞タイプを有する眼を脳が持つことによって導出され得る(オブジェクトの)色の意味のある特性のうちの1つである。測光的/比色分析的に、それは、色が同じ色相の単色スペクトルにどれくらい近いか、すなわち、言い換えれば、それが白色からどれくらい離れているかの指標であり、その場合に、それは通常、純度と呼ばれる。そこで、それは、例えば、オブジェクトの外層における着色剤の量のような、物理特性と関連する。数学的に、画像色処理技術に関して、それは、何らかの白色に近付くように又はそれから遠ざかるように動くことによって、何らかの色空間における何らかの放射軸処理に関係がある。そして、この処理は、自然がどのようにして純度を生成するか、より具体的には、人がどのようにしてそれらを知覚するかをモデル化しなければならない。更には、色彩の豊かさ(カラフルネス)は輝度に依存するので、脳は、カラフルネス、クロマ、及びサチュレーションとそれぞれ呼ばれる3種類の“彩度”を導出することができるが、本明細書では簡単のために、我々が意味するところは当業者には明らかであろうから、彩度(サチュレーション)という語を使用することとする。
“複雑さ”の他の原因は、彩度処理(及び定義)が、一部の空間は、ガマット範囲に本質的にスケーリングされるが、光の線形な性質と比較して変形した関係を有するものであり、他の一部の空間は、単純であり得るが、特に、3(又は複数)原色加法ディスプレイの非線形なテント形状により、クリッピングに繋がり得るものである、全ての種類の空間(円筒又は円すい若しくは双円すい形状を有する)において行われ得ることにある。
従来技術は、通常は画像の美化である画像処理に必然的に最も関係したものである多数の一般的な彩度教示をもたらしてきた。画像についての人の好みをモデル化する場合に、一般的に際だつ1つのことは、人はしばしば高彩度の画像を好むということである。当然に、彩度を減じられたパステル画像も美しいことがあり、従って、色技術はそれらの色も作ることができる必要がある。そして、技術のこれら事項に鑑み、我々はここでは(非限定的に、説明の単純さのために)それを加法ディスプレイ(additive display)のものであると仮定してそのようにする。
カメラが画像をキャプチャし、キャプチャされた画像を、例えばPALのような標準画像フォーマットの有限なガマットにおいてフォーマットする分野においても、具体的な従来技術が存在してきた。なお、全ての彩度関連の従来技術は、少なくともいくつかの類似性を有することになる。留意すべきことには、彩度は、(零飽和)輝度軸から外に向かう方向に沿ってガマット内で作用するので、全ての式が、何らかの形でcolor_component(色成分)からunsaturated_luma_component(非飽和輝度成分)を差し引いた形式を有し得る。しかしながら、例えば2つの特定の色次元を有する何らかの座標系と数学の何らかの3次元記述との間、特に、線形色表現と非線形色表現との間の差、及びそれらそれぞれの空間における色変換の取り扱いは、非常に異なった比色分析挙動を有することがあり、すなわち、用心して考えられる必要があり、従って、互いに自明には変換されない。これまた理解されるべきことには、適用される数学変換は、例えば色マトリクス化など、線形であり得るが、それが非線形空間において適用される場合には、最終的な比色分析挙動は依然として非線形である(その二次的な色空間への変換の追加の非線形性により、光の物理及び比色分析は、例えば、錐体視細胞における主コーンオプシン(primary conopsin)反応を刺激するために使用され得る何らかの線形RGB表現において表現可能であるように、最終的に線形である)。
EP0647069(特許文献1)は、例えば顔の変色が起こらないか又は減少するように、高めの輝度の領域においてカメラ出力を正しくフォーマットするためのシステムを扱っている。これらのカメラは、luma成分についての所謂ソフトクリッパまたは折点(ニー)回路(図1、図2)を有し、ハイライトのわずかな部分をなおも保持しながら減少させる。これまた気付くはずであることには、走査に基づく旧型のカメラは、幾分大きな非線形オーバーフロー挙動を有していたが、CCDカメラは典型的に、既にフルウェル限界を持つが、依然として、このような折点動作が、役者がいる主要部分を過度に暗くしないで画像内の少ないハイライトを保持する助けとなり得る。そして、この折点システム動作に対して、この特許文献は、彩度に影響を及ぼす回路部分を追加している。第1に、言及しておきたいことには、これらのシステムは、そのカメラが露光した主な明るさ領域よりも10倍又は更には50倍も明るい明るさ領域を有し得るHDRシーンを最適に取り扱うことを実際に意図したものではない。1つは、ソフトなニーを保持したが、その回路では、真に明るい領域のほとんどをとにかく白色にクリップした。第2に、このようなカメラは、非線形R’G’B’色成分と非線形輝度成分Y’(これを我々は明瞭化のためにlumaと呼ぶこととする(PALのYUVがそうしているからである))を使用していることを理解することが重要である。これが意味することは、比色分析挙動が、エンコーディング可能なガマットの上部においてであろうが、それ以外のどこかにおいてであろうが、異なるものとなり、回路は幾分似ているとして同じになり得ないということである。最後に、そして、最も重要なことには、このシステムは、コンポーネント7から出るどのようなKファクタをも取得し(これは確かに単なるV−Yの関数ではない)、評価者によって望まれるような仕様、すなわち、現行の例えばHDRショットの具体的な性質が望み得るような特定の彩度修正挙動を設定する手段を疑いなく有していない。
DE19812526(特許文献2)は、当然ながら色差成分(やはり、正式名称PRおよびPBが表すものであるので、非線形成分)に作用する別の色彩度修正回路であるが、やはり上述の差異に加えて、この特許文献は、2つの色差のみに作用し、我々の後述する技術に向かう有用な教示から更に排除される。このような“UV”タイプの彩度回路が従来から存在することはよく知られていた。何故なら、それは、YUVビデオを既に、すなわち、ディスプレイを制御するのに必要なRGBへの変換前に、入力として取るテレビジョンにおいて何らかの彩度処理を行うための非常に安価で都合の良い手法であったからである。
EP1333684(特許文献3)は、可能な限り大きな彩度ブーストがクリップしないことを保証するものであるディスプレイの特定の彩度処理方法に過ぎない。よく知られていたことには、ブーストすることによってでは、0を下回って色成分を低下させ得る、又はYmaxを上回る輝度を作り出し得る、又は取り得る全ての定義可能な色のRGBガマットの外側にある(むしろ、電子回路がそれを不正確な値にクリップすることになるため、そうあるべきである)望ましくない色を作り出し得る色成分は、テレビジョン上に実際にレンダリングされることはできない。表示可能であるが間違った色へのクリッピングの結果は、その色の輝度又は更には色相に影響を与えることになり、すなわち、それを想定されるものとは異なる色相として示すことになる。これは、特に(小さい)色彩低減(デサチュレーション)と比較して、不快なエラーとなり得る。これらの種類のシステムは典型的に、小さいエラー用のものであり、例えば、ノイズ又はフィルタの挙動に対処するが[0007]、潜在的に大きな、例えば、ダイナミックレンジ変換に必要な彩度低減には関与しない。これは幾つかの違いにつながり、例えば、それらは最大のYmaxをモニタするが、我々の以下の方法はそうせず、原理的に、以下の方法を用いて、かなりの量の画像色に関して、処理されているこの画像に適していると人の色評価が判断するものにすべて応じて、ガマット外に出る(すなわちクリップする)彩度ストラテジ(方策)を設計することができる。これら全てに加えて、当然ながら、最初に言及した特許文献でのような同じ違いが存在し、特に、人が特定の(V−Y)ベースの彩度ストラテジを決定することを可能にするように教示された手段も、漠然とでも動機付けられた手段も存在せず、言うまでもなく、HDRシーンの最適に評価される画像でサポート可能であるべき表示ピーク輝度の範囲における、かなり異なるダイナミックレンジの2つの画像容貌(ルックス)の最適な符号化は存在しない。
EP0677972(特許文献4)は、(やはり、90年代の日本におけるテレビジョン色空間であったNTSCなる非線形色空間における)特定の設定基準値sの上での比色分析挙動を扱うことに関するものである。図3Cにて見て取れるように、その回路は彩度部を含むが、どこででもとは言わないまでも、少なくとも色ガマットのかなりの部分で彩度挙動を調節することに関するものではなく、RGBガマットの最も高い先端部のみに関する。当然ながら、異なる設計根拠を持つなど、非常に異なる技術システム及び教示が出てくる。例えば、1つの回路の実施形態では、最大値検出器が存在するが、R−Y、G−Y、B−YではなくR’G’B’のものであり、それにより、非常に異なる数値が与えられ、さらには、様々な理由で全体的に非常に異なる比色分析挙動が与えられる。
US7734114(特許文献5)は、それは、深刻な比色分析誤差を与えるガマット外問題を許容しない彩度ストラテジを作り出すための、本発明の目的とは無関係の、更なる他の特定の一手法である。図3に示されるように、それは、YCrCb(これは、YUVの非線形デジタル等価物である)において彩度処理数学を適用する場合に、[0,255]YCrCbキューブ内になおも存在するが、すなわち、表現可能であるが、やはり、表現できないRGBに相当する色を得ることがあるという事実を扱っている(検証できることには、同じ寸法の立方体を僅かに回転させることでさえ、既に、1つの立方体内の符号化可能な領域が回転されたものの外となることにつながる)。故に、過度に飽和しないように注意しなければならない。(我々が後述するものとは数学的に非常に異なるものであり、やはり、所望のg(V−Y)関数の明記可能性などの特徴を欠くものである)線に対応する2つの条件をチェックすることによって、適切なmaxsatを使用することを保証することが偶然に起こる。更に別の言い方をすれば、非常に単純な想像可能なg(V−Y)仕様の場合であっても、上述の回路のうちの何れを用いても、我々が例えば図5にて有するような比色分析挙動の何れをも実現することができない。
以下の発明実施形態は、特に、新たに出現している高ダイナミックレンジ画像ハンドリング(処理、及び特に、有線又は無線ビデオ通信ネットワーク上で、他の長距離又は近距離の位置の受信器(例えば、家庭用コンピュータ、コンシューマTV、セットトップボックスなどであるが、それだけでなく、専門的な映画館のビデオ受像装置など)に送信するための特定の符号化)の枠組みにおいて得られたものである。
US8218625(特許文献6)は、LDR画像及びHDR画像の双方を受信器に通信する方法を記載している。しかしながら、その方法は、色調すなわち輝度の再マッピングの要件のみを開示していると思われ、色で為されるべきことを開示しておらず、ましてや、本出願においてのように色の彩度を取り扱う特定の方法の必要性を開示していない。さらに、この特許文献の方法は、HDR画像を、LDR画像に比の画像(L_HDR/L_LDR)を加えたものとして通信していると思われ、すなわち、我々の新たな再度処理に関して有用なHDR符号化アプリケーションとして我々が想定しているものとは少なくとも一見して適合しないアプローチであると思われ、つまり、一見して、それがどのように我々の以下の実施形態のうちの何れかに関係するのか又はつながるのか明らかでない。
このHDRビデオ技術の分野に関する要求は、既存の彩度の知識が満足することができるものとは異なる。特に、我々は、様々なダイナミックレンジ能力(特に、例えば5000nit、1200nit、及び200nitのピーク輝度)のディスプレイを意図した多数の画像を(プレゼンテーションの1つの瞬間のために)符号化することができるHDRビデオ符号化フレームワークを開発しており、画像バンドルの符号化は、実際には、例えば1500又は1000又は100nitである基準ダイナミックレンジに関する唯一画像(時間瞬間ごとに)と、例えばセットボックス内の受信器側で、接続された例えば700nitのディスプレイ用の少なくとも1つの第2の画像を計算するために使用される、メタデータとしての、或る数の関数とを送信する必要がある(WO2011/107905(特許文献7)、WO2014/041471(特許文献8)、WO2014/056679(特許文献9)を参照)。例えば、5000nitの高ダイナミックレンジ(HDR)基準ディスプレイ上でのプレゼンテーション用の、作成者によって最適色評価された画像であって、低ダイナミックレンジ(LDR)ディスプレイ上でのレンダリング用に100nitの画像を導出するためのメタデータカラーマッピング関数で補足された画像を、送信すること又は後の使用のために格納することを考える。受信側の、例えば100nitピーク輝度のテレビジョンは、そのカラーマッピング関数を5000nit HDR画像に適用して、その適切な100nit LDR画像を得ることになる。そのLDR画像、というよりむしろ、それを関数的に符号化するメタデータ関数は典型的に、これまた作成者によって、LDRディスプレイ上で妥当に見える画像として色評価されたものである(例えば、当然ながらLDRディスプレイの限界を所与とした、HDRディスプレイ上でのHDR画像レンダリングの近い近似)。我々は、異なるダイナミックレンジの2つの画像内のピクセルの輝度をマッピングするための多数の輝度マッピング関数を作り上げてきた。というのは、主に、ダイナミックレンジマッピングは、例えばHDR画像内のオブジェクトの元々の輝度に、取り得るLDR輝度の範囲内の対応する輝度を与える最適化であるからである(当然ながら、逆にLDRをHDRにマッピングすることも、異なるマッピング関数を用いて同様に可能である)。ダイナミックレンジマッピングは、単に輝度色成分の変換を伴うだけでなく、一般的な色マッピング問題であり、例えば、上述のように、オブジェクトの色彩豊かさはその輝度に依存し、故に、ガマット/ダイナミックレンジの技術的制限又は芸術的選択のために、第1の画像内のオブジェクトの輝度を第2の画像内のより暗い輝度にマッピングする必要がある場合、作成者は、これを、そのオブジェクトの彩度のブーストと組み合わせることを望み得る。また、(例えば)3原色加法ディスプレイのテント形状のガマットはかなり複雑であり、輝度の関数として指し示されるので、それは、その最適化色制御が可能である場合にも有用であり得る。
しかしながら、特にメタデータが共に符号化されて伝送される必要があるとき、多かれ少なかれ実用的であるソリューションにつながる技術的制限がある。故に、色処理方法又は装置が、色処理の潜在的な遠隔通信仕様と一致しなければならない場合、それらは、これらの制限に従わなければならない。さらに、HDRビデオ符号化(例えば、HDMI(登録商標))を必要とする様々な異なる技術におけるビデオ通信モードのうち幾つかは、何らかのメタデータを送信するために、画像当たり限られた帯域幅又はデータワード数のみを含むことがあるので、なおさらそうである。故に、どの関数が送信されるかを巧みに選択しなければならない。何故なら、このフレームワークでは、それら送信される関数が、どの画像が符号化されることができるかを決定し、しかしまた、それらがカラーマッピングを行わなければならないので、受信する集積回路が常にあるべき複雑さがどれほど合理的であるか又は合理的でないかを決定するからである。さらに、これらの関数はまた、評価者が自身の画像コンテンツに関する新たなダイナミックレンジ容貌を符号化することを可能にする関数のツールボックスを形成し、故に、これらのツールは、過少でも過多でもなく、過度に複雑でもなくあるべきであり、且つ特に、画像の色変換に対して、特に、ダイナミックレンジ変換に大抵必要とされる観点に対して、良好な大量受注的な影響を有するべきである。
このような適応的な色処理ツールも、それらをどのように開発するかのひらめきを十分に与える知識も一般に手に入らないことが問題であったので、我々はそれらを開発しなければならなかった。WO2014128586(特許文献10)において、我々は、彩度処理の定義を、輝度のような明るさ変数の関数として導入したが、我々は、別の有用な彩度適応化定義を望んで、以下の実施形態を記述することとなる。
欧州特許出願公開第0647069号 独国特許出願公開第19812526号 欧州特許出願公開第1333684号 欧州特許出願公開第0677972号 米国特許第7734114号 米国特許第8218625号 国際公開第2011/107905号 国際公開第2014/041471号 国際公開第2014/056679号 国際公開第2014/128586号
以下に記載される実施形態は、十分に異なる及び/又は十分に大きいダイナミックレンジ画像(例えば、1000nit又は更にはそれ以上に至るオブジェクトピクセル輝度を有する)を取り扱うことができる輝度ダイナミックレンジ変換式の色処理のニーズに十分に合った単純な彩度仕様ストラテジをこれまで持っていなかったことの問題の多くを解決するものであり、特に、入力色(R,G,B)の線形加法原色成分から入力色の輝度(Y)を差し引いたものとして定義される3つの線形色差(R−Y,G−Y,B−Y)を決定し、線形色差(R−Y,G−Y,B−Y)と利得(g)との乗算を行うよう構成される彩度変更装置(101)であって、当該装置は、線形色差(R−Y,G−Y,B−Y)のうちの最も高いものの値として定義される差値(V_in−Y)に依存する関数から利得を決定するよう構成され、当該装置は、線形色差(R−Y,G−Y,B−Y)と利得(g)との乗算の結果に輝度(Y)を加算することで、出力色(R_out,G_out,B_out)を生じるよう構成される、ことを特徴とする彩度変更装置によって解決する。(2つの)色差のブーストを行うことによる彩度処理は、本出願の背景技術部で紹介した彩度の定義に密接に関連しているので、知られていたものであり、そこで我々は我々の方法で色差関連部分を見ているが、評価者にとって貴重な時間と、例えばタブレットディスプレイなどの高ダイナミックレンジ画像を使用する必要がある安価であり得る様々な装置における復号化ICにとっての計算の複雑さとの双方を節減するよう、迅速で強力な評価の必要性を満たす色ガマットに沿った彩度の単純な良い仕様を発見することは困難であった。指摘しておくべき1つの違いは、古典的な彩度処理方法では、第1の軸としての輝度又はlumaと、ピクセル色の有彩色成分を規定する2つの色差軸(色相及び彩度の実際の心理的印象に概ね対応する)とを有する円錐または円柱を画成するが、我々は3つの色成分に処理を適用する。当然ながら、主な違いは、我々の利得が、通常はluma軸規定に対して直交する又は通常は単なる一定のブーストであるものとは非常に異なるやり方で規定されることであり、それにより、非常に異なる比色分析挙動が与えられるが、それは、大抵の複雑さが全RGBガマットの狭まりゆく上部で起こるダイナミックレンジ変換の問題に対して、よりいっそう合ったものである。この新たな彩度処理方法は、それに従って適切に曲がる。飽和は常に無彩色の輝度軸に直交して大きく起こるはずであり、様々な実際のピクセル輝度について可変であるときもそうであると考えられているので、色技術の当業者にとって驚くべきV−Yインデックス又はFC(V−Y)関数の入力座標が導入されたことになる。無彩色軸に沿ってV−Yはどこでもゼロであるので、彩度戦略を規定するこの方法は、一見して、比色分析技術に対して非常に直観に反したものに見えたが、無彩色は何ら処理される必要がないことを考えると、この彩度規定法は実際には非常に良い特性を持つように見えた。故に、色評価者は、色ガマットの任意の色のV−Y値に基づいて変化する1次元の彩度変更仕様として(典型的に一定の色相について。当然ながら、特定の用途に関して、例えば色相依存変数も考慮に入れることで、基本方法をより洗練されたものに変更し得るが、大抵のアプリケーションで、我々の方法はV−Yパラメータの関数のみを必要とする)、自身の最適色処理ストラテジを規定することになる。従って、そのような関数F(V−Y)を規定することにより、評価者は、結果として得られる出力画像に見られるように、入力画像に対する特定の彩度変更挙動を規定することにもなる。興味深い実用的なF(V−Y)仕様は、少し(例えば2又は3)の、例えば、直線セグメント、例えば、その中で彩度がブーストされる部分とその中で彩度が低減される範囲の部分(及び色ガマットの対応する部分)しか持たないが、当然ながら、特に複雑なHDRシーンを再評価するために、もっと複雑な仕様を作成することもできる。一般に、関数を規定する機構が存在し、評価者は自身が作成したいと思う複雑さを選択して、この関数をエンコードすることができる。典型的なより大きなシステムでは、評価者は、自分が規定しているものを実際に視覚的に見ることができ(例えば、HDMI(登録商標)などの画像通信インタフェース288を介してLDRディスプレイ上で)、例えば、芸術的に望ましいものとして最終的な仕様を選択することができる。何故なら、それは、特定の種類のHDR入力(例えば、最大で10000nitまでの輝度を有するネイティブフォーマットで符号化された暗い地下のシーン)の状況下で適切なLDR画像の容貌を与えるからである。これは当業者には明らかであるはずだが、我々が強調しておきたいことは、この色処理は、例えば、第1のダイナミックレンジのディスプレイに関連付けられた入力画像を別のダイナミックレンジのディスプレイを駆動するのに適した画像に変換するためなどの、どのような実施形態構成においても、高めのダイナミックレンジから低めのダイナミックレンジへの変換、及びその逆に低めのダイナミックレンジから高めのダイナミックレンジへの変換(例えば、100nitから何らかのコーデック又はディスプレイのピーク輝度)の双方に使用されることができるということである。しかし、この方法は、(1つ以上の)より低いダイナミックレンジへの変換に特に有用である。また、彩度を増大又は低減させるように、そして場合により、その色がガマット内のどこにあるかに応じて異なるように増大又は低減させるように、関数を規定することができる。仕様に関するユニットと色計算ユニットとが異なる例えばIC内にある場合、これらのユニット間にF(V−Y)を通信するためのバス289が存在することができ、また、単一のプロセッサ又は同様のもの上のソフトウェアベースのバージョンでは、これは等価的にプロシージャコールなどによって実現され得る。
加法原色は、各原色の割合を混合することによって作成されることができる色のガマットにわたる原色であり、それにより、100%の各原色を混合することが、例えばD65といった所定の白色を与える。線形加法原色で規定される色の割合は、あたかも原色がその原色の(実際には、原色の特定のスペクトルからの)特定の色の光子数を示すかのように、線形ベクトル空間として振る舞う。これは、例えば混合したものにおける色相の不変性に関して、特定の特性を持つ。これは、非常に異なる色混合挙動を有するものである非線形表現と対比されるべきである。そのような非線形座標は、例えば、典型的には近似的に二乗平方根である関数すなわちR’=sqrt(R)(ここで、ダッシュは、線形加法の赤原色Rと区別するように非線形性を表すために従来から使用されているものである)又は実際には線形加法色成分のその他の非線形関数を適用することによって規定され得る。当然ながら、数学的には、例えばこのような非線形な色空間における線形混合のような任意の色処理を定めることもできるが、そのような非線形的な例えば彩度変更処理で処理された色の組の色空間における線形マトリクスであるが、このような非線形の方法で処理された任意の色の色的外観は、線形な色処理とは異なるものとなる。色の輝度は、定義により、選択されたRGB座標系、すなわち、選択された原色及び要求される白色点、に応じた重みを用いた、原色の線形結合である。対応した、同じ重みでの非線形原色成分の組み合わせも存在するが、これはluma Y’と呼ばれ、述べたように、その色表現及びそれにおける数学的色変換は、非常に異なる比色分析挙動を有し、特定の比色分析タスクについても同様に準用されることはできない。すなわち、どのようなケースでどのような数学的変換を使用すべきかを真剣に熟考する必要があり、また、非線形表現での何らかの色処理挙動を線形表現で模倣すること又はその逆を行うことのやり方については、よりいっそう入念に熟考する必要がある。一部の色変換は、以前のアナログテレビジョンの回路においてのように、今日の技術が必要とすることがあるものとは異なる、例えば色の精度よりも計算の単純さが好まれるなど、その他の重要な検討事項を用いて設計される。
更なる有用な実施形態は、とりわけ、彩度変更仕様を決定する装置から差値(V_in−Y)の関数として利得(g)の彩度変更仕様関数F(V−Y)を取得するためのデータ入力部(108)を有することを特徴とする彩度変更装置(101)である。様々な接続又は分離された装置が、このような関数を規定してそれを色処理ユニットへと通信することができる。特に、どちらも、例えば画像又はビデオ符号化装置の中など、色変換の走査を検証するための装置の中に含められ得る。典型的に、評価者は、少なくとも一度、場合によって彩度処理の色変換に満足するまで何度も、例えば制御点を用いて関数の形を整えることによって、特に(例えばLDR)出力画像の容貌を指定することになる。その後、最終的な関数FCが、近々のリアルタイム処理に使用され、例えば画像のバッチを処理するときに、後の処理のためにメモリに記憶され、例えば受信器が画像処理を行うことを可能にするよう、何らかの通信技術上で通信されるなどする。
当業者は、状況に応じてどのような等価な変形が使用され得るかを理解することになり、例えば、規格が、例えば、利得が様々である場合に平均とし得るものである単一の利得、例えば0で開始するときに第1のセグメントが終了するところであるV−Y入力軸上のデマーケータ(demarcator)を含んだ第1の係数、及びこれが線形セグメントである場合のスロープ数などのような、多数の関数指定パラメータを入れることができるよう、多数の整数または実数プレースホルダをリザーブすることができ、また、関数が複雑すぎて、あまりに多いパラメータを必要とする場合、規格は、代わりにLUTにFCデータを格納し得る。このような彩度処理装置(例えば、ICの一部、又はIC上で走るソフトウェア)は、それ自身で良好な彩度ストラテジを決定することができ、すなわち、テレビジョン内のデコーダであっても、例えば、到来画像の色をより良くするための自動変換ストラテジにて、それを決定して適用することができる。けれども、彩度変更が技術のコンポーネントとして特に関心あるものであるのは、その上でそれぞれの容貌がレンダリングされなければならない様々なダイナミックレンジのディスプレイのために、シーンの様々な容貌が、プレゼンテーションの瞬間ごとに少なくとも1つの受信画像の、彩度処理を含んだ比色分析変換によって、特定的に符号化される場合である。
それには、少なくとも1つの瞬間の少なくとも1つの高ダイナミックレンジ画像(HDR_ORIG)と、同じ瞬間についての、高ダイナミックレンジ画像と少なくとも2倍異なる第2のダイナミックレンジの少なくとも1つの画像(Im_LDR_out)と、を符号化する画像エンコーダ(201)を有することが輸液であり、当該エンコーダは、これら2つの画像のうちの少なくとも一方のピクセル色のマトリクスを符号化するよう構成され、当該エンコーダは、請求項1に記載の彩度変更装置(101)と、彩度変更仕様関数F(V−Y)を規定するよう構成された彩度仕様ユニット(204)と、を有する仕様ユニット(212)を有し、彩度変更仕様関数は、ピクセル色(R,G,B)の線形色差(R−Y,G−Y,B−Y)のうちの最も高いものの値として定義される線形色差値の関数として利得(g)を符号化し、線形色差は、それぞれの線形加法色成分からピクセル色の輝度を差し引いたものとして定義され、それにより、該関数が、色処理されるピクセルの最も高い線形色差について利得を計算するのに使用可能にされ、且つそれを用いて、ピクセルの彩度変更を計算するよう構成され、当該エンコーダは、ピクセル色の前記マトリクスを有する画像(Im_in_DCT)を符号化したものを画像信号(S_im)にて、及び関数F(V−Y)をデータとして出力するよう構成されたフォーマッタ(210)を更に有する。このエンコーダでは、利得ベースの彩度処理が、入力画像のものよりも高い又は低い異なるダイナミックレンジのディスプレイ用の容貌を得るために適用される必要がある比色分析変換の一部を形成する。典型的に、符号化を決定する装置が、それが人の評価者からの入力を利用する場合に、少なくとも1つの関数F(V−Y)をUIベースで規定し、その彩度仕様関数を色プロセッサに供給して色変換を行うとともに、結果の出力画像が評価者によって検査されることを可能にし、そして、結果が満足のいくものである場合に、例えば、ピクセル化された画像符号化に関連付けられて、低い方及び高い方のダイナミックレンジの画像の対(あるいは、彩度変換が同一のダイナミックレンジ内で行われる場合には、出力の例えばLDR画像)を得るために任意の受信器に同じ計算を行わせる画像信号として格納又は伝送された、メタデータフィールド内の関数の全ての記述データをフォーマットすることによって、評価ベースの符号化を終了させる。明らかであるはずのことには、符号化したものがどのように見えることになるかについて何らかの種類の検証を行う如何なるエンコーダも、本発明の基本的な彩度処理コアを有することになる。何れにしても、デコーダがそれを有しなければならない。何故なら、デコーダは、現実にはピクセル化された画像と共に符号化されずに、通信されたHDR画像に適用されるべき規定済み色変換としてのみ符号化された第2の画像、例えばLDR画像、を再決定することができるようにするために、画像の容貌を変化されるこの規定済みの方法を必要とするからである。斯くして、輝度ベースの色変換と共に、例えば、3x又は10x低いダイナミックレンジの典型的に低めのピーク輝度の画像が取得される。
上述のように、彩度処理は、HDR画像処理の状況において特に興味深い。特に、我々は以前に、必ずしも1つだけのHDR容貌(すなわち、例えば、5000nitディスプレイ上に提示される画像であり、これは、それがそのディスプレイ上で最適に見えることになることが意味するが、当然ながら、より高いピーク輝度の低い他のディスプレイ上に直接レンダリングされることもでき、しかし、それらのディスプレイは芸術的意図と一致しないので、画像はもはや最適には見えないことになり、例えば、一部があまりにも暗く見えることになる)を符号化するわけでなく、意図される様々なディスプレイ用(ディスプレイ調整可能性と呼び得る)にそのような容貌のバンドル(束)を符号化することができるHDR符号化フレームワークを発明している。そのような技術では、(ビデオの各瞬間Tに)レンジ/容貌画像のうちの1つ(例えば、1500nitのもの)のみが実際に符号化されて送信される必要があり、その他はその後に、受信側で関数を適用することによって計算される。例えば、第1の関数が、これを基準の100nitピーク輝度ダイナミックレンジにマッピングし、第2の関数セットが、それを5000nitにマッピングする。3000nitへのマッピングも、受信端で、受信した全ての情報を正しく補間することによって行われ得る。このような符号化ストラテジにおいて、例えば、1500nitから100nitへ、又は1500nitから5000nitへとする彩度変更を指定することを望むことがあり、それには、この彩度変更の実施形態は非常に有用である。故に、彩度処理は、1つの容貌(例えば、LDR Im_LDR_outなど)の関数規定の一部を、別の容貌(例えば、以前に作成されたマスターHDR容貌であるHDR_orig)の関数として形成し、受信器によって第2の容貌を導出することに使用されることができる。これら2つ(2組の)画像のうちの1つが実際に、色変換関数の規定を有するメタデータとともに受信側に送られる。彩度処理に加えて、輝度方向の色変換が存在し、それは、第2の画像の関数規定において、例えば、彩度処理の前または後に適用され得る。なお、HDR処理では、lumaコード値の規定に関して、ガンマ2.2よりも高い非直線性を必要とする。コード割り当て関数を兼ねる特定の良く見える評価画像を使用することを望む場合、そのような用途における非線形luma変換は、さらに高度に非線形の、例えばSカーブとし得る。例えば、線形HDRシーンのLDR非線形画像を通信し得る。送信側又は作成側で先に決定された情報の受信側で、この新たな技術が、少なくとも1つ瞬間についての少なくとも2倍異なる輝度ダイナミックレンジの少なくとも2つの画像(HDR_ORIG,Im_LDR_out)を復号することができるよう構成される画像デコーダ(301)であって、2つの画像のうちの少なくとも一方は高ダイナミックレンジ画像(HDR_ORIG)であり、当該デコーダは、2つの画像のうちの一方を、画像入力部を介して受け取った輝度変換関数(FT)及び彩度変更仕様関数(FC)を2つの画像のうちの他方に適用することによって、導き出すよう構成されるカラーマッパ(304)を有し、カラーマッパは、ピクセル色の差値(V_in−Y)の関数として彩度乗数を規定する受け取った仕様に基づき、且つ、2つの画像のうちの導き出された一方を求める色変換を適用することによって、彩度を変更するよう、我々の新たな彩度規定概念(請求項1又は実施形態)に従った彩度変更装置を有することを特徴とする画像デコーダにて使用され得る。このエンコーダは、このエンコーダは、この新たな彩度処理を行うことができるという点だけでなく、色のこのような比色分析的再定義に基づいて一意に定義される異なる容貌を得る唯一の方法であるという点(典型的に、R、G、B及びYが0と1との間にある正規化された座標系で行われ得るが、そのガマット内の正確な色位置が、特定のHDRシーンの任意の容貌又は評価の芸術的適切性を決定する)でも新しい。
故に、この特定の彩度処理は、画像処理として一般に有用であることは別として、HDRシーンについての、かなり異なるダイナミックレンジ(例えば、レガシー100nitピーク輝度と、5000nit又は1000nit)のディスプレイを意図した画像である少なくとも2つの容貌を符号化する必要がある技術を有するが、双方の画像のピクセルテクスチャを通信することを避けたい(あるいは少なくとも、一部のピクセルが第2の画像にて送られて、双方の画像が完全に受信側に通信される必要があることを避ける)場合に、画像を規定するのに特に有用であるように、本発明者によって認識されたものである。芸術的に評価される第2の容貌は、その後に、例えばJPEG又はMPEG変形又これらに類するもののようなDCTベースの符号化によってピクセルセットの色を符号化したものを有する画像として実際に通信される第1のものから数学的に導出される。特に、このフレームワークにおいては、コンテンツ作成者の芸術的要望が考慮に入れられる。何故なら、その者が第2の容貌を指定しているおり、それは、符号化側でコンテンツ作成者がFC(V−Y)にて体系化される最適な彩度変更ストラテジを選択しているので、通信のための色変換によって実際に符号化されると同時に規定もされているからである。そして、復号側で、この情報を使用することで、例えば非限定的に、通信されたHDR画像からのLDR画像といった、第2の容貌画像を一意に決定することができる。なお、また、最初に色の変換部すなわち彩度変更とし、その後に輝度変換部とすることが技術的に有利であり得る。例えば、この色変換が、輝度方向に何らかの設計されたヘッドルームを生成する場合、異なる種類の輝度変換を適用することができるが、それが、幾つかの重要な明るいオブジェクトがRGBガマットテントの頂部に詰め込まれなければならないときに、時にして、ダイナミックレンジ圧縮において(例えば、LDRへの変換において)クリティカルである場合がある。これは、例えばステンドグラスの窓を含むなどの、一部種類のシーンにとって特に興味深いこととなり得る。
興味深いことに、色プロセッサ、デコーダ、または更にはエンコーダのような様々なカラーハンドリング技術の実施形態は、テレビジョンまたは映画館プロジェクタなどの表示装置に含められてもよい。
有用な一実施形態は、入力色の3つの線形加法原色成分(R,G,B)それぞれからの入力色の輝度(Y)の減算として定義される線形色差(R−Y,G−Y,B−Y)を決定することと、線形色差(R−Y,G−Y,B−Y)と利得(g)の乗算を行うこととを有する彩度変更方法であって、当該方法は、線形色差(R−Y,G−Y,B−Y)のうちの最も高いものの値として定義される差値(V_in−Y)の関数として利得(g)を決定するよう構成され、当該方法は更に、線形色差(R−Y,G−Y,B−Y)と利得(g)との乗算の結果に輝度(Y)を加算して、出力色(R_out,G_out,B_out)を生じる、ことを特徴とする彩度変更方法である。
有用な他の一実施形態は、画像符号化方法であって、
第1の輝度ダイナミックレンジの入力画像(HDR_ORIG)を受け取ることと、
少なくも2倍だけ第1のダイナミックレンジと異なる第2の輝度ダイナミックレンジの画像(Im_LDR_out)を得るよう、入力画像に色変換を適用することと、
入力画像(HDR_ORIG)及び第2のダイナミックレンジの得られた画像(Im_LDR_out)のうちの一方と、色変換にて使用された関数を規定するメタデータ(FC,FT)とを有する画像信号(S_im)を出力することと
を有し、
色変換は、請求項6に記載の彩度変更方法を適用することを有し、
メタデータは、ピクセル色(R,G,B)の線形色差(R−Y,G−Y,B−Y)のうちの最も高いものの値として定義される差値(V_in−Y)の様々な値について利得値を規定する彩度変更仕様関数を有し、該関数は、色処理されるピクセルの色(R,G,B)に対応する利得値を決定するのに使用可能である、
ことを特徴とする画像符号化方法である。利得は、関数仕様F(V−Y)に規定されたものに従って決定されることになる。当業者には明らかなはずのことには、利得は彩度変更と同等であり、一部の実施形態では、規定の一部、換言して、別の画像に関する画像の符号化の一部であり得る。
これは、受信側において、画像復号化方法であって、
第1の輝度ダイナミックレンジの入力画像(HDR_ORIG)を受け取ることと、
請求項6に記載される差値(V_in−Y)の関数として定義される彩度処理の仕様を受け取ることと、
少なくとも2倍異なる第2の輝度ダイナミックレンジの画像(Im_LDR_out)を得るよう、入力画像に色変換を適用することと、
異なる第2の輝度ダイナミックレンジの画像(Im_LDR_out)を出力することと
を有し、
色変換は、請求項6に記載の彩度変更方法を行うことを有する、
ことを特徴とする画像復号化方法に対応する。
本発明はまた、異なるダイナミックレンジの少なくとも2つの画像を符号化する通信可能な画像信号(S_im)であって、画像のうちの少なくとも一方は高ダイナミックレンジ画像であり、当該画像信号は、少なくとも2つの画像のうちの一方のピクセルの組を符号化したものと、少なくとも2つの画像のうちの他方を導き出すために適用される色変換関数を規定する関数メタデータとを有し、関数メタデータは、ピクセル色(R,G,B)の3つの線形色差(R−Y,G−Y,B−Y)のうちの最も高いものの値として定義される差値(V_in−Y)の様々な値について利得を規定する彩度変更仕様関数を有し、線形色差は、ピクセル色の線形加法原色成分それぞれからピクセル色の輝度を差し引いたものの値として定義されることを特徴とする画像信号にて実現され得る。この信号は、記憶され、伝送され、使用され、等々され得る。この信号は、第1の画像から第2の容貌又は評価画像を復号化する(双方が典型的に、かなり異なる輝度ダイナミックレンジを有する)ことを可能にするための全てのデータを有しており、本発明者が気付いたことには、この新たな彩度マッピングは、実際に伝送される単一のピクセル化画像の符号化に基づいた少なくとも1つの他のダイナミックレンジ画像の規定すなわち符号化において、非常に良好に使用されることができる。
何らかの装置の内部の、又は脱着可能で別個の配給可能な、デジタルデータビットのためのメモリを有するメモリプロダクト(299)であって、メモリが、特定の単純な彩度変更ストラテジを体系化する新規の画像信号(S_im)で満たされていることを特徴とするメモリプロダクト。
当業者が理解するように、全ての実施形態は、数多くの他の変形、方法、信号、(ネットワーク接続上で伝送されるものであろうと格納されたものであろうと)コンピュータプログラム、等々として実現され得る。
本発明に従った方法及び装置のこれら及びその他の態様が、以下に記載される実装例及び実施形態を参照して、また、添付の図面を参照して、解説されて明らかになる。図面は、単に、より全般的である概念を体現する非限定的な具体的例示としての役割を果たし、図面中、コンポーネントがオプションであることを指し示すためにダッシュ記号が使用されるが、ダッシュ付きでないコンポーネントも必ずしも必要であるわけではない。ダッシュ記号はまた、必要であるとして説明される要素がオブジェクトの内部に隠れていることを指し示すために使用され、あるいは例えばオブジェクト/領域の選択(及びそれらがどのようにディスプレイ上に示され得るか)などの無形のものに関して使用され得る。
オプションで輝度処理ストラテジに接続される新たな彩度処理装置を模式的に例示している(これら2つの色変化は実質的に無相関である)。 新規な彩度処理装置の一実施形態を有するHDR画像エンコーダがどのようにして実現され得るかの可能な一実施形態を模式的に例示している。 例えば家庭環境内のディスプレイに接続されたSTB内のデコーダといった、例示的なHDR画像デコーダの可能な一実施形態を模式的に例示しており、当業者が当然に理解することには、これと同様に、他の使用状況は、例えば、医療システム、軍事システム、スーパーマーケットにおける広告システム、テーマパークにおける娯楽システムなどとし得る。 人の評価者がg(V−Y)彩度仕様を規定するための単純な方法の1つの可能性を模式的に例示している。 は、赤R、緑G、及び青Bの加法ディスプレイ原色を有する、RGB色ガマットにおいて、V−Y仕様がどのように見えるかを模式的に例示している。
図1は、本発明に従った基本的な彩度変更装置101を概略的に示している。この装置101は、例えば、色処理のためのICのプロセッシングユニットとすることができ、例えば、以下の例示的な説明において仮定するように、HDRビデオ符号化用のエンコーダ又はHDRビデオ復号化用のデコーダに含まれる。これは、例えばsRGBのような何らかの色空間に関して、線形の赤、緑及び青(RGB)色成分であると仮定する色を有するピクセル群の入力画像を得る。当業者は、変形例がどのように存在し得るかを理解することになり、例えば、MPEG符号化画像のガンマ空間YCrCbピクセル色が入ってくる場合、この線形なRGB色表現への色変換を行うための前処理ユニット(図示せず)が接続されていてもよい。輝度計算ユニット102が、使用される色空間の原色に応じて色の輝度を計算する。例えば、それが使用する式は、共にD65白色点に関して、Y=0.2126*R+0.7152*G+0.0722*B(Rec.709の場合)またはY=0.2290*R+0.6917*G+0.0793*B(DCI P3ワイドガマットの場合)とし得る。減算器103が、線形な色差を導出する(例えば、ピクセル輝度をその赤色成分から減算することによってR−Yが得られるなど)。最大値決定ユニット104が、現在処理中のピクセルについて、3つの色差R−Y、G−Y、B−Yのうちどの石色差が最も高いかを評価し、その値、例えばR−Y、を出力する。これら3のうちのどれであろうと、V_in−Yと呼ぶこととする。この値が必要であるのは、我々の彩度ストラテジが、どのくらいのサチュレーションまたはデサチュレーションが行われるべきかを、各画像ピクセルのV_in−Y値に基づいて定めるからである。(デ)サチュレーションの量は乗算の係数gとして示され、そして、それは関数Fによって決定される。この関数はオンザフライで計算され得るが、単にこの例に関して、それがルックアップテーブルから読み出されると仮定する。インデックスV−Y及び出力gを有するこのルックアップテーブルF(V−Y)(又は、一般に、関数の評価を可能にするのに必要なデータであれば何であれ)は典型的に、例えば(1つ以上の)入力画像Im_in(R、G、B)に付随するメタデータを介して、データ入力108を介して外部から受け取られ、該メタデータは、これら(1つ以上の)画像のコンテンツ作成者によって前もって生成されている。得られた利得が、乗算器106によって色差と乗算され、ピクセルの出力線形色差(R−Y、G−Y、B−Y)_outが生み出される。最後に、ピクセル輝度が加算器107によって再び加算されて、出力ピクセル色と、これらのピクセルに関して異なる彩度を有するこのようなピクセル色を有する画像Im_out(R、G、B)が生み出される。
これまた図1に示しているものであり、また、画像色変更機能として現在の彩度技術のみが使用されるときには一般に存在しないが、ビデオ符号化又は復号化処理チェーンにおいて典型的に存在するものは、色(又は換言してその彩度)の色度を一定に保つがピクセルの明るさ又は輝度を変化させる第2の処理である。具体的には、輝度マッピングユニット150は、入力R、G、B値(Vで表記される)の最大値(最大値決定ユニット151により計算される)の関数FTとして利得値決定ユニット152によって評価される利得値gtを、乗算器153で入力RGB値に乗算することによって、可能なグレー値の範囲に沿って様々なピクセルグレー値(又は実際にはmax(R、G、B)値)を有するピクセルに対して異なる明色化(又は暗色化)与えることができる。最終出力画像Im_out2(R、G、B)を与えるこのユニット150は、実際には、WO2014056679(特許文献9)にて我々が詳述したものを実装する。例えば、中間の1000nit符号化画像を2000nitディスプレイ上での表示用に2000nit画像にマッピングすること、又は100nitディスプレイ上で妥当に見えるが、良品質の5000nit画像においてそれを機能的に変換するのに十分なHDRテクスチャ情報をさらに含んだ特殊な100nit画像をアップグレードすることなど、このマッピング技術の様々な用途が考えられるが、ここでは、100nitピーク輝度又はその値近くのピーク輝度のLDRディスプレイを駆動するのに適した、5000nitマスター評価HDR(HDR_ORIG)を100nit LDRにマッピングする例を用いて処理を解説することとする。教会をHDRキャプチャしたものがあるとする。教会の内部は明る過ぎず、すなわち、僅かに薄暗いが、全てがよく見えている。ステンドグラスの窓を照らし出す晴れた外界は遥かに明るく、それらの色を、例えば内部の色の10倍以上に明るくしている。しかし、これは、HDR画像においては、それが十分なダイナミックレンジを持っているので、十分に表現可能である。(ディスプレイ上にレンダリングされるべき輝度に、どのような電気光学伝達関数を用いてlumaが割り当てられているかを無視して、それらの輝度のみに焦点を当てて)符号化の意図を定義することは、それらのレンダリングを基準ディスプレイ上で見ることによって行うことができる。故に、この教会に関しては、5000nitディスプレイ上で、内部の色が例えば0−200サブレンジの輝度にマッピングされ、ステンドグラスの窓が350−5000範囲の輝度でレンダリングされる場合に、良く色評価されており、すなわち、満足のいく容貌を有していると言い得る。HDRディスプレイ(及びその対応する符号化HDR画像)は、白色又はピーク輝度と同じ輝度の僅か7%のみを有する青についてさえ、このような高い値を表示することができる。すなわち、それは、同時に飽和して明るい色をレンダリングする可能性を有する(そして、故に、対応するHDR画像はそれらを符号化するはずである)。しかしながら、LDRディスプレイ上では、明るくて同時に飽和したものは可能でない。色の彩度を維持して色がくすむことになるか(例えば、青色の場合、最大で100nitの7%=70nit)、あるいは、ガマットの頂部まで上がるのは色の彩度低減によってのみ行われ得るので、それらの色をいっそう明るくするようにして色の彩度を我慢するか、の何れかである。我々は、これが、“少し色彩豊かでない窓の方が良いのは、それを明るいように装わせることができる場合のみである”という評価者の選択であったと仮定する。これは、先ず我々のユニット101を用いて色を(一定の輝度で)無彩色の輝度軸に向けて彩度低減させることによって行われ、この場合、ガマットの頂部に、彩度低減された色(すなわち、好ましくは、画像のうちステンドグラス部分すなわちそれらの色のみ又はそれを主として)をユニット150を用いてブーストする余地がある。仮に、元の彩度低減されていない色をユニット150で処理したとすると、ガマットの上部境界にすぐに衝突することになり、従って、窓に対して明るさ(輝度)を殆ど又は全く加えないことになる。故に、これは、輝度ダイナミックレンジを低下させるためのダイナミックレンジ変換に関連する典型的な興味深い色処理の変形であるが、LDR画像をHDR画像に変換するときには、同じ彩度処理が、例えば、画像の一部のオブジェクト又は領域をいっそう色彩豊かにするといった、その他の効果のために使用され得る。
当業者は、画像に関する様々な色マッピングが、例えばピクセルごとに単一の処理チェーンにて、あるいは中間結果画像上での異なる順次計算にて、実際にどのようにして実現され得るかを理解するであろう。
図2は、HDRビデオを生み出すために、我々の彩度ユニットがエンコーダにどのように含められ得るかを示している。これは、入力としてHDR評価画像(HDR_ORIG)を取得する。ここでも、評価者が対応するLDR画像を作成し、そして、我々の彩度技術を用いてそのLDR画像の彩度を決定するという例を用いて解説する。色マッピング部(カラーマッパ)202が、図1においてのような彩度マッピングを適用して、LDR出力画像Im_LDR_outを生み出すように構成されており、このLDR出力画像の容貌が、基準ディスプレイ220上で調査され得る。ここで、評価者は、所望の彩度ストラテジを、例えば、図4においてのようにV_in−YとV_out−Yとの間の関数マッピングを指定する多重線形曲線として、又はそれ以外で、指定することができる。例えば、評価者は、[0−1]、[0−1]座標系内の8つの制御点のx座標及びy座標を指定することによって関数を作成し得る。そのために、(画像またはビデオ)エンコーダ201は、ユーザインタフェースユニット203を有している。それは、例えば、様々なHDR画像グレー領域の、LDR画像内のグレー領域への輝度再割り当てを決定するために、様々なユーザインタフェース機能を実装することができ、例えば、画像の残りの部分とは異なる方法で処理されるべき画像の領域をユーザが指定することを可能にし得る。しかし、含められるユニットのうちの1つは彩度仕様ユニット204となる。ユーザは、色評価キーボード及び/又はウスなどのような既知の評価ツール入力デバイスを介して、ユーザ入力USRINPを指定し得る。例えば、ユーザは、図4aにおけるようなカーブを描き得る。そして、色マッピング部202は、指定された全ての色変換、特に彩度修正を適用することができる。評価者がLDRの容貌に満足した場合、その関数FC(V−Y)が、受信したHDR画像から適切なLDR容貌画像を再作成するために受信側で使用すべきものとなる。それ以外の場合、評価者は別のF(V−Y)仕様を試し得る。我々は、テクスチャが元のHDR_ORIGで符号化されていると仮定するが、我々はまた、例えばLDR画像Im_LDR_outを送信し得る。その場合、エンコーダは、フォーマット部(フォーマッタ)210を用いることによって、全ての情報を収集してフォーマットする必要がある。それは、HDR−ORIG画像をMPEG−HEVC画像として符号化し、すなわち、HDR EOTF関数に従ってlumaを計算し、CbCr又はuvのような幾つかの有彩色座標を計算し、コンポーネント画像上でDCT変換を行い、等々を行う。メタデータFCは、例えば、専用のSEI画像又は同様のメタデータ構造に保存され得る。結果として得られた、画像データIm_in_DCTと、異なるダイナミックレンジディスプレイ用の少なくとも1つの他の容貌画像を得るための関数の色マッピングメタデータFCとを有する画像信号S_imが、例えば、アンテナ211を用いてブロードキャストされるなど、何らかのネットワーク上で直接的に送信され、あるいは他の一実施形態において、例えばBluray(登録商標)ディスクといったメモリプロダクト299に格納され得る。図2はまた、Bluray(登録商標)ディスクが含む画像信号S_im/280を模式的に示しており、この信号は、少なくとも画像データ281と関数メタデータ282とで論理的に構成されている。
数多くの可能性のうちの1つとして、我々は、フォーマット部210が、例えばHDR lumaに10ビットワードを用いるMPEG−HEVCといったMPEGファミリのビデオ圧縮規格に従って、画像およびメタデータを符号化及びフォーマットする例を示している。
図3は、符号化された画像容貌がミラーリング的にどのようにして復号化されるかをしめしており、一般性を失うことなく、我々は、受信器が正に同じ彩度ストラテジFCを適用して、Im_in_DCTを符号化する例えば5000nit画像であるHDRを有する受信画像信号S_imと、それをLDR画像に変換するためのどちらもこの彩度処理実施形態の1つに関する色マッピング関数であるマッピング関数と、V=max(R,G,B)_inの関数として規定される輝度マッピング関数FTとに基づいて、有線または無線接続398を介して駆動される例えば100nitの被接続ディスプレイ302に適切な画像を取得する例を解説することができる。デコーダ301は、画像データがメタデータ画像信号と結合されたものを典型的に取得するとともに例えばDVB受信器、インターネット、BDリーダなどの様々なソースに接続され得るものである画像入力310を介して、その基本的な画像符号化と、色及び輝度の適応化のためのマッピング関数とを取得する。彩度処理が、(プレ)コンテンツ生成法としての例えば画像処理ソフトウェアなどのスタンドアロンアプリケーションで機能する場合、画像ソースはコンピュータのハードディスクなどにあるとし得る。デコーダ301は、MPEG復号化を元に戻すデフォーマット部(デフォーマッタ)303を有し、これは、最終的に、我々が仮定する色成分が計算の単純化のために1に正規化されたIm_in_DCTの線形RGB表現を生み出す。カラーマッピング部(カラーマッパ)304は、必要とされるLDR画像を計算するものであり、図1におけるような我々の彩度処理ユニット(SAT)305を有している。実際、この例において我々は、ディスプレイ220上で評価者がチェックしたのと同じダウングレードを行うために、エンコーダで指定されたのと正に同じ関数FCを行うが、FCを用いて作成されたが逆関数FC−1を用いてアップグレードされる必要があるLDR画像、又は、送信される画像のうちの1つと、送信される画像に適用されるときに適用関数が生み出す画像に対応する基準ディスプレイとの間のピーク輝度を有するディスプレイ用の部分的な彩度変化のみ、等々を送信する他の実施形態が存在し得る。なお、典型的に、色マッピングはまた、(それに関してLDR画像が評価された)LDRディスプレイのRGBガマットへのガマットマッピングを有することができ、彩度処理はその線形RGB空間で行われることになる。我々のデコーダ301を有する受信側復号化装置は、例えば受動的なTVのためにセットトップボックスであるなど、多種多様であり、又はその他の変換がTVそれ自体で実行されてもよく、また、復号化装置は、接続された異なるピーク輝度の複数のディスプレイに最適な画像を生成するなどしてもよい。当然ながら、デコーダおよびエンコーダはまた、例えば、衛星を介した送信の前に、又はケーブルシステムの一部にて、又はライブニュースフィードなどを送信するときに、第1のHDR画像若しくはビデオフォーマットを第2のものに変換するために、幾つかの中間装置内にあってもよい。人間の色評価者によって調節される色マッピングの例について説明したが、例えば、ヒストグラムを見て、又はその他の方法で、どの(幾つの、どれほどの大きさの)オブジェクトがトータル輝度レンジのうちの明るめ又は暗めのサブレンジ内にあるかを決定するなど、画像の特性を解析することによってFCを例えば数学的に決定するような自動変換式色マッピングユニットにて、同じ技術を行うこともできる。(1つ以上の)FC関数の生成を実際に行う仕様ユニット(212)は、これら2つの状況において異なり得る。ユーザ生成される彩度仕様の場合、典型的に、例えば、コントロールポイントをドラッグすることによってその上で関数の形状を描くことができるグラフなど、関数を指定するためのユーザインタフェース手段を含むことになり、評価者は、それらの関数を入力画像に適用した後に、結果を見ることができる。仕様ユニットが自動変換タイプであるとき、1つ以上の画像解析ユニット(図示せず)が存在し得るが、なおも、エンコーダが(例えば、単一又は複数の命題の)自動生成されたFC及び/又はFTを示すことで、ユーザが例えば承認ボタンをクリックすることによってそれらの芸術的品質に同意することができるようにすると有利であり得る。故に、利得(g)を符号化する関数F(V−Y)を指定するように構成されたユニットは、それ自体によって数学的仕様を行うように、又は人間のアーティストがそれを行うことを可能にするユニットを有するように、の何れかで構成され得る。あるいは、マルチセグメント彩度ストラテジを正確に指定することに代えて、色評価者が1つのダイアル(適切なHDRビデオ出力を生み出すようカメラの上に直にあってもよい)を回すだけであるようにしてもよく、それによって、彩度規定関数FC(V−Y)の形状が数学的に変化され得る。
図4に、評価者が2つのパラメータを変化させるだけでよい1つの例示的な単純な実施形態を示している。それをよりよく理解するために、(輝度uv−色度表現にて模式的に示される)RGBディスプレイ又はコーデックガマットの黄青色スライスにおける等V−Yラインを示すものである図5を見ることができる。輝度ベースの彩度を困難にするガマットの不都合な非対称性(最大に駆動される純青色の最大輝度7%に対して黄色は93%)が、V−Yラインに異なるように色を横切る走査させることによって対処されることが分かる。黄色は、より小さいV−Y値に対応し、青色は、最大青色(B=1、R=G=0)で0.93に至るいっそう大きいV−Y値に対応する。ここで、ステンドグラスの窓の例を再び用いる。それは青色及び黄色を含み得る。黄色の彩度を低減させ得るが、それは大きい追加の輝度を生み出さず(理論的には最大7%)それはなおも、醜く彩度を落とされた色につながってしまう。故に、明るい色彩豊かなオブジェクトのLDRにおける最適なレンダリングの、明るさという一方の側面で勝つことができず、彩度/色彩豊かさという他方の側面を既に深刻に失っている。しかしながら、青色の彩度をほんの50%だけ低減させることによって、無彩色輝度の百分率として見たときに、明るさ/輝度の約50%を獲得し得る。これを説明する別の方法は、現状で有する輝度と比較して(典型的には第2の輝度処理ブロック/フェイズにおいて)どのような輝度ブーストが依然として行われ得るかを見ることである。V=max(R,G,B)=1、及びY=0.07を有する最大の青(B=0、R=G=0)で始めるとする。この色の彩度を半分に落とすとき、B=0.536まで行く。この青色の色相象限では常に青色が最大の色成分であるので、(その彩度に関して、すなわち、例えばR及びGを同じに保って)青色を最大にB=1までブーストすることによって、なおも明るさ又は輝度を高めることができる。一般に、1/max(R,G,B)_desatだけ、すなわち、彩度低減後の最大色成分だけブーストすることができる。この例では、それは1/0.536=1.87となり、すなわち、85%でなおもブーストすることができる。故に、窓の中に有意量の青色ピクセルが存在する場合それは突然に遥かに明るく見えることになる。そして、青は強い色であり、ステンドグラスの窓はまた、彩度を落とされた青色であっても、依然として色彩豊かに見えることになる。故に、評価者は、これを、例えば0.6付近のV−Yの領域において1よりも小さい彩度利得gを定めることによって達成することができる。そこで、彩度がどのように振る舞うかの2〜3の例を示す。0.012のV−Y値を有する半分に彩度低減された明るい黄色について、例えばg=0.9を用いる彩度低減(デサチュレーション)ストラテジ501を指定する場合、同じV−Yライン上のいっそう暗めの黄色は同じストラテジ502を有することになり、すなわち、同じ量だけ彩度低減されることになる。さらに別の色は、異なるストラテジ503によって、すなわち異なる量g2(Y−V)だけ(デ)サチュレーションされることができる。そして、青色については、さらに別の彩度量g3(504)を定めることができる。記載した彩度ストラテジは、特にダイナミックレンジ変換にとってとても興味深いものである。何故なら、黄色のような明るい色の彩度を過度に落とすことになる従来ストラテジ(差信号R−Yなどに一定の利得を適用する)とは対照的に、大部分が、明るさ−色彩豊かさの最適化に最も大きい影響を与えるものである青、赤、及びマゼンタのような暗い色の彩度を落とすことができるためである。また、この方法は容易に逆にされることができ(過度に低い微分利得とならないように彩度関数を設計するのみである場合)、そのことが、これを必要とする状況において、エンコーダ(又は更にはデコーダ)側でのFCからのFC−1の計算を単純でロバストなものにする。
図4に戻るに、評価者は、一般的に彩度ブーストシナリオ(なお、V−Yも一般的に輝度とともに減少する)と、青のように自然に非発光であって彩度低減及びブーストされる必要がある色に関するデサチュレーションとを指定することができる。評価者は、前者を、Y−V_d1の選択された制御点までで例えば1.3であるように指定し、次いで、明るい青色(高いY−V値を有する)に対して例えば0.7の彩度低減値で終わる線形スロープを使用する。極端なHDRからLDRへの変換では、例えば0.1といった、それより遥かに低い最終値を得ることになる。このような素早い仕様でさえ、良い見た目のLDR画像を与えることになる。上のグラフである図4aは、色変換のV_in−Yに対するV_out−Yの関数を示しており、下のグラフである図4bは、対応する利得を示している。g(V−Y)のメタデータ仕様を用いた符号化画像信号を解説したが、当然ながら、図5aのV_out仕様を、変更すべきところは変更して使用してもよい。
本明細書で開示されるアルゴリズムコンポーネントは、実際には(完全にまたは部分的に)、ハードウェア(例えば、特定用途向けICの一部)として、又は特別なデジタル信号プロセッサ若しくは汎用プロセッサなどの上で走るソフトウェアとして実現され得る。メモリプロダクトは、メモリを有する何らかの物理的実現、特に、購入可能なものとして理解されるべきであり、例えば、光ディスク若しくはその他の着脱可能かつ持ち運び可能なメモリプロダクト、又はそこからメモリの特定の部分のコンテンツがダウンロードされることができるネットワーク接続されたサーバ上のメモリセグメントなどのような実施形態に非限定的に及ぶものである。
どのコンポーネントが、オプションの改善であり得るか、また、他のコンポーネントとの組み合わせで実現され得るかということ、並びに、方法の(オプション)ステップが装置のそれぞれの手段にどのように対応するかということ及びその逆のことは、我々の提示から当業者に理解可能であるはずである。この出願における単語“装置(apparatus)”は、その最も広い意味で、すなわち、特定の目的の実現を可能にする一群の手段で使用され、従って、例えば、IC(の小さい回路部分)、又は専用の機器(例えばディスプレイを備えた機器など)、又はネットワークシステムの一部などとし得る。“アレンジメント(arrangement)”もまた、最も広い意味で使用されることを意図したものであり、それはとりわけ、単一の装置、装置の一部、協働する装置の(部分の)集合などを有し得る。
コンピュータプログラムプロダクトなる表記は、一連のローディングステップ(これは、例えば中間言語及び最終的なプロセッサ言語への変換などの中間変換ステップを含み得る)の後に、汎用または専用プロセッサが、当該プロセッサにコマンドを入力し、そして本発明の特徴的な機能のうちの何れかを実行することを可能にするコマンドの集合の何らかの物理的実現を包含するように理解されるべきである。特に、コンピュータプログラムプロダクトは、例えばディスク若しくはテープなどのキャリア上のデータ、メモリ内に存在するデータ、ネットワーク接続(有線若しくは無線)を介して移動するデータ、又は書類上のプログラムコードとして実現され得る。プログラムコードとは別に、プログラムに必要な特性データもコンピュータプログラムプロダクトとして具体化され得る。
方法の動作に必要なステップのうちの一部は、例えばデータ入力及び出力ステップなど、コンピュータプログラムプロダクト内で記述されることに代えて、プロセッサの機能内に既に存在していてもよい。
なお、上述の実施形態は、本発明を限定するのではなく例示するものである。当業者が、提示された例の請求項のその他の領域へのマッピングを容易に実現することができる場合、簡潔さのために、それらの選択肢の全てを掘り下げて述べてはいない。請求項にて組み合わされている本発明の要素の組み合わせとは別に、その他の要素の組み合わせも可能である。要素の組み合わせが、単一の専用要素にて実現され得る。
請求項中の括弧内の如何なる参照記号も、請求項を限定するように意図したものではない。“有する”なる語は、請求項に列挙されていない要素又は側面の存在を排除するものではない。要素に先行する“a”又は“an”なる語は、複数のそのような要素の存在を排除するものではない。

Claims (10)

  1. 入力色の線形加法原色成分から前記入力色の輝度を差し引いたものとして定義される3つの線形色差を決定し、該線形色差と利得との乗算を行うよう構成される彩度変更装置であって、
    当該装置は、前記線形色差のうちの最も高いものの値として定義される差値に依存する関数から前記利得を決定するよう構成され、当該装置は、前記線形色差と前記利得との前記乗算の結果に前記輝度を加算することで、出力色を生じるよう構成される、
    ことを特徴とする彩度変更装置。
  2. 当該装置は、彩度変更仕様を決定する装置から前記差値の関数として前記利得の彩度変更仕様関数を取得するためのデータ入力部を有する、
    ことを特徴とする請求項1に記載の彩度変更装置。
  3. 少なくとも1つの瞬間の少なくとも1つの高ダイナミックレンジ画像と、同じ瞬間についての、前記高ダイナミックレンジ画像と少なくとも2倍異なる第2のダイナミックレンジの少なくとも1つの画像と、を符号化する画像エンコーダであって、当該エンコーダは、これら2つの画像のうちの少なくとも一方のピクセル色のマトリクスを符号化するよう構成され、
    当該エンコーダは、請求項1に記載の彩度変更装置と、彩度変更仕様関数を規定するよう構成された彩度仕様ユニットと、を有する仕様ユニットを有し、
    前記彩度変更仕様関数は、ピクセル色の線形色差のうちの最も高いものの値として定義される線形色差値の関数として利得を符号化し、前記線形色差は、それぞれの線形加法色成分から前記ピクセル色の輝度を差し引いたものとして定義され、前記彩度変更仕様関数は、色処理されるピクセルの最も高い線形色差について利得を計算するのに使用可能であり、
    前記彩度変更装置は、前記利得を用いて、前記ピクセルの変更された彩度の色を計算するよう構成され、
    当該エンコーダは、前記ピクセル色の前記マトリクスを有する画像を符号化したものを画像信号にて、及び前記関数をデータとして出力するよう構成されたフォーマッタを更に有する、
    画像エンコーダ。
  4. 少なくとも1つ瞬間についての少なくとも2倍異なる輝度ダイナミックレンジの少なくとも2つの画像を復号することができるよう構成される画像デコーダであって、前記2つの画像のうちの少なくとも一方は高ダイナミックレンジ画像であり、当該デコーダは、前記2つの画像のうちの一方を、画像入力部を介して受け取った輝度変換関数及び彩度変更仕様関数を前記2つの画像のうちの他方に適用することによって、導き出すよう構成されるカラーマッパを有し、
    前記カラーマッパは、ピクセル色の差値の関数として彩度乗数を規定する受け取った仕様に基づき、且つ、前記2つの画像のうちの前記導き出された一方を求める色変換を適用することによって、彩度を変更するよう、請求項1又は2に記載の彩度変更装置を有する、
    ことを特徴とする画像デコーダ。
  5. 請求項4に記載の画像デコーダを有する表示装置。
  6. 入力色の3つの線形加法原色成分それぞれからの前記入力色の輝度の減算として定義される線形色差を決定することと、該線形色差と利得の乗算を行うこととを有する彩度変更方法であって、
    当該方法は、前記線形色差のうちの最も高いものの値として定義される差値の関数から前記利得を決定するよう構成され、当該方法は更に、前記線形色差と前記利得との前記乗算の結果に前記輝度を加算して、出力色を生じる、
    ことを特徴とする彩度変更方法。
  7. 画像符号化方法であって、
    第1の輝度ダイナミックレンジの入力画像を受け取ることと、
    少なくも2倍だけ前記第1のダイナミックレンジと異なる第2の輝度ダイナミックレンジの画像を得るよう、前記入力画像に色変換を適用することと、
    前記入力画像及び前記第2のダイナミックレンジの前記得られた画像のうちの一方と、前記色変換にて使用された関数を規定するメタデータとを有する画像信号を出力することと
    を有し、
    前記色変換は、請求項6に記載の彩度変更方法を適用することを有し、
    前記メタデータは、ピクセル色の線形色差のうちの最も高いものの値として定義される差値の様々な値について利得値を規定する彩度変更仕様関数を有し、該関数は、色処理されるピクセルの色に対応する利得値を決定するのに使用可能である、
    ことを特徴とする画像符号化方法。
  8. 画像復号化方法であって、
    第1の輝度ダイナミックレンジの入力画像を受け取ることと、
    請求項6に記載される差値の関数として定義される彩度処理の仕様を受け取ることと、
    少なくとも2倍異なる第2の輝度ダイナミックレンジの画像を得るよう、前記入力画像に色変換を適用することと、
    異なる第2の輝度ダイナミックレンジの前記画像を出力することと
    を有し、
    前記色変換は、請求項6に記載の彩度変更方法を行うことを有する、
    ことを特徴とする画像復号化方法。
  9. 異なるダイナミックレンジの少なくとも2つの画像を符号化する画像信号であって、前記画像のうちの少なくとも一方は高ダイナミックレンジ画像であり、当該画像信号は、前記少なくとも2つの画像のうちの一方のピクセルの組を符号化したものと、前記少なくとも2つの画像のうちの他方を導き出すために適用される色変換関数を規定する関数メタデータとを有し、
    前記関数メタデータは、ピクセル色の3つの線形色差のうちの最も高いものの値として定義される差値の様々な値について利得を規定する彩度変更仕様関数を有し、前記線形色差は、前記ピクセル色の線形加法原色成分それぞれから前記ピクセル色の輝度を差し引いたものの値として定義される、
    ことを特徴とする画像信号。
  10. デジタルデータビットのためのメモリを有するメモリプロダクトであって、
    前記メモリは、請求項9に記載の画像信号で満たされている、
    ことを特徴とするメモリプロダクト。
JP2017518827A 2014-10-10 2015-07-16 ダイナミックレンジマッピングのための彩度処理仕様 Expired - Fee Related JP6356349B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14188425 2014-10-10
EP14188425.4 2014-10-10
PCT/EP2015/066294 WO2016055178A1 (en) 2014-10-10 2015-07-16 Saturation processing specification for dynamic range mappings

Publications (3)

Publication Number Publication Date
JP2017536735A true JP2017536735A (ja) 2017-12-07
JP2017536735A5 JP2017536735A5 (ja) 2018-01-25
JP6356349B2 JP6356349B2 (ja) 2018-07-11

Family

ID=51690893

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017518827A Expired - Fee Related JP6356349B2 (ja) 2014-10-10 2015-07-16 ダイナミックレンジマッピングのための彩度処理仕様

Country Status (6)

Country Link
US (1) US10313687B2 (ja)
EP (1) EP3205082B1 (ja)
JP (1) JP6356349B2 (ja)
CN (1) CN107005716B (ja)
TR (1) TR201808347T4 (ja)
WO (1) WO2016055178A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018528666A (ja) * 2015-08-28 2018-09-27 アリス エンタープライジズ エルエルシーArris Enterprises Llc 高ダイナミックレンジおよび広色域シーケンスのコーディングにおけるカラーボリューム変換

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015054032A1 (en) * 2013-10-10 2015-04-16 Dolby Laboratories Licensing Corporation Displaying dci and other content on an enhanced dynamic range projector
US12413731B2 (en) 2015-07-22 2025-09-09 Arris Enterprises Llc System for coding high dynamic range and wide color gamut sequences
WO2017015564A1 (en) * 2015-07-22 2017-01-26 Arris Enterprises Llc System for coding high dynamic range and wide color gamut sequences
US10122928B2 (en) * 2015-09-09 2018-11-06 Red.Com, Llc Motion video output for multiple displays
WO2017127445A1 (en) * 2016-01-21 2017-07-27 Astral Images Corporation Processing image content for enabling high dynamic range (hdr) output thereof and computer-readable program product having such hdr content
CN108781246B (zh) * 2016-03-14 2021-05-28 皇家飞利浦有限公司 用于动态范围映射的饱和度处理指定
DE102016003681A1 (de) * 2016-03-24 2017-09-28 Universität Stuttgart Datenkompression mittels adaptiven Unterabtastens
EP3523976A4 (en) 2016-10-05 2020-04-29 Telefonaktiebolaget LM Ericsson (publ) EFFICIENT IMPLEMENTATION OF LUMINANCE ADJUSTMENT LUT
JP6852411B2 (ja) * 2017-01-19 2021-03-31 ソニー株式会社 映像信号処理装置、映像信号処理方法およびプログラム
EP3367659A1 (en) * 2017-02-28 2018-08-29 Thomson Licensing Hue changing color gamut mapping
US10542187B2 (en) 2017-03-01 2020-01-21 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US11301972B2 (en) * 2017-03-03 2022-04-12 Dolby Laboratories Licensing Corporation Color saturation adjustment in non-uniform color space
US10614326B2 (en) * 2017-03-06 2020-04-07 Honda Motor Co., Ltd. System and method for vehicle control based on object and color detection
US10380438B2 (en) * 2017-03-06 2019-08-13 Honda Motor Co., Ltd. System and method for vehicle control based on red color and green color detection
EP3399497A1 (en) 2017-05-05 2018-11-07 Koninklijke Philips N.V. Optimizing decoded high dynamic range image saturation
US10699622B2 (en) 2017-06-04 2020-06-30 Apple Inc. Long-term history of display intensities
US10856040B2 (en) * 2017-10-31 2020-12-01 Avago Technologies International Sales Pte. Limited Video rendering system
EP3493542A1 (en) 2017-11-30 2019-06-05 Thomson Licensing Saturation control for high-dynamic range reconstruction
EP3493150A1 (en) 2017-11-30 2019-06-05 InterDigital VC Holdings, Inc. Tone mapping adaptation for saturation control
EP3496028A1 (en) 2017-12-08 2019-06-12 Koninklijke Philips N.V. Improved high dynamic range video color remapping
CN108933933B (zh) * 2018-07-05 2019-08-20 华为技术有限公司 一种视频信号处理方法及装置
JP7453214B2 (ja) * 2018-09-05 2024-03-19 コーニンクレッカ フィリップス エヌ ヴェ マルチレンジhdrビデオコード化
US11430095B2 (en) * 2018-09-19 2022-08-30 Dolby Laboratories Licensing Corporation Automatic display management metadata generation for gaming and/or SDR+ contents
CN111754412B (zh) * 2019-03-29 2024-04-19 Tcl科技集团股份有限公司 构建数据对的方法、装置及终端设备
US10735683B1 (en) * 2019-04-09 2020-08-04 Obsidian Sensors, Inc. Systems and methods for low-power image digitization

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07177530A (ja) * 1993-10-01 1995-07-14 Philips Electron Nv 適応ビデオ信号圧縮回路
WO2013046095A1 (en) * 2011-09-27 2013-04-04 Koninklijke Philips Electronics N.V. Apparatus and method for dynamic range transforming of images
WO2014041471A1 (en) * 2012-09-12 2014-03-20 Koninklijke Philips N.V. Making hdr viewing a content owner agreed process
WO2014056679A1 (en) * 2012-10-08 2014-04-17 Koninklijke Philips N.V. Luminance changing image processing with color constraints
WO2014128586A1 (en) * 2013-02-21 2014-08-28 Koninklijke Philips N.V. Improved hdr image encoding and decoding methods and devices

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0589513B1 (en) 1992-09-22 1998-12-02 Koninklijke Philips Electronics N.V. Picture signal processor
US5349390A (en) 1992-09-22 1994-09-20 U.S. Philips Corporation Picture signal processor for performing both large area and small area contrast reduction, and picture display apparatus incorporating such a picture signal processor
JP3134660B2 (ja) * 1994-04-14 2001-02-13 松下電器産業株式会社 色変換方法および色変換装置
JP3509448B2 (ja) 1996-04-12 2004-03-22 ソニー株式会社 ビデオカメラ装置、映像信号処理装置、カラー映像信号のレベル圧縮方法および階調変換方法
EP1763256A3 (en) 1996-04-12 2007-04-04 Sony Corporation Video camera, video signal processing, video signal compression and video signal conversion
WO1998051089A1 (fr) 1997-05-07 1998-11-12 Sony Corporation Processeur de signaux d'images, camera video couleur et procede de traitement de signaux d'images
DE19812526C2 (de) * 1998-03-21 2000-07-20 Philips Corp Intellectual Pty Anordnung zur Farbkorrektur von unerlaubten Farben
US7743114B1 (en) 2000-06-30 2010-06-22 Automated Business Companies Automated data delivery systems
EP1380177A1 (en) 2001-04-11 2004-01-14 Koninklijke Philips Electronics N.V. Picture signal contrast control
US7057671B2 (en) 2002-01-30 2006-06-06 At & T Corp Image and video processing with chrominance attenuation
US8218625B2 (en) * 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
US7734114B1 (en) * 2005-12-07 2010-06-08 Marvell International Ltd. Intelligent saturation of video data
JP5899120B2 (ja) 2010-03-03 2016-04-06 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. カラーレジームを定義する装置及び方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07177530A (ja) * 1993-10-01 1995-07-14 Philips Electron Nv 適応ビデオ信号圧縮回路
WO2013046095A1 (en) * 2011-09-27 2013-04-04 Koninklijke Philips Electronics N.V. Apparatus and method for dynamic range transforming of images
WO2014041471A1 (en) * 2012-09-12 2014-03-20 Koninklijke Philips N.V. Making hdr viewing a content owner agreed process
WO2014056679A1 (en) * 2012-10-08 2014-04-17 Koninklijke Philips N.V. Luminance changing image processing with color constraints
WO2014128586A1 (en) * 2013-02-21 2014-08-28 Koninklijke Philips N.V. Improved hdr image encoding and decoding methods and devices

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018528666A (ja) * 2015-08-28 2018-09-27 アリス エンタープライジズ エルエルシーArris Enterprises Llc 高ダイナミックレンジおよび広色域シーケンスのコーディングにおけるカラーボリューム変換

Also Published As

Publication number Publication date
WO2016055178A1 (en) 2016-04-14
TR201808347T4 (tr) 2018-07-23
EP3205082B1 (en) 2018-04-04
JP6356349B2 (ja) 2018-07-11
US20170223367A1 (en) 2017-08-03
CN107005716A (zh) 2017-08-01
US10313687B2 (en) 2019-06-04
EP3205082A1 (en) 2017-08-16
CN107005716B (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
JP6356349B2 (ja) ダイナミックレンジマッピングのための彩度処理仕様
US10937135B2 (en) Saturation processing specification for dynamic range mappings
CN110741624B (zh) 用于hdr(解码)编码的色域映射
JP6234920B2 (ja) ハイダイナミックレンジ画像信号生成及び処理
JP5911643B2 (ja) 色制約付きの輝度変更画像処理
JP6368365B2 (ja) Hdrイメージの符号化のためのコードマッピング関数を作成するための方法及び装置、並びに、かかる符号化イメージの使用のための方法及び装置
JP6396596B2 (ja) 色彩恒常性を有するルミナンス変更画像処理
US10645359B2 (en) Method for processing a digital image, device, terminal equipment and associated computer program
AU2016373020B2 (en) Method of processing a digital image, device, terminal equipment and computer program associated therewith
JP2011527851A (ja) 異なる規格を使用して符号化された画像の変換
EP4657423A1 (en) Visual asset state-dependent coordinated luminance processing
EP4568235A1 (en) Hdr range adaptation luminance processing on computers
EP4636683A1 (en) Improved luma and chroma mapping for images
EP4607918A1 (en) Improved encoding and decoding for images

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171204

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171204

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20171204

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180313

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180418

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180515

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180613

R150 Certificate of patent or registration of utility model

Ref document number: 6356349

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees