JP2020510913A - ハイダイナミックレンジ画像のためのトーン曲線マッピング - Google Patents

ハイダイナミックレンジ画像のためのトーン曲線マッピング Download PDF

Info

Publication number
JP2020510913A
JP2020510913A JP2019543902A JP2019543902A JP2020510913A JP 2020510913 A JP2020510913 A JP 2020510913A JP 2019543902 A JP2019543902 A JP 2019543902A JP 2019543902 A JP2019543902 A JP 2019543902A JP 2020510913 A JP2020510913 A JP 2020510913A
Authority
JP
Japan
Prior art keywords
output
dynamic range
input
value
smid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019543902A
Other languages
English (en)
Other versions
JP6738972B2 (ja
Inventor
アン ピトラルツ,ジャクリーン
アン ピトラルツ,ジャクリーン
アトキンス,ロビン
Original Assignee
ドルビー ラボラトリーズ ライセンシング コーポレイション
ドルビー ラボラトリーズ ライセンシング コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ドルビー ラボラトリーズ ライセンシング コーポレイション, ドルビー ラボラトリーズ ライセンシング コーポレイション filed Critical ドルビー ラボラトリーズ ライセンシング コーポレイション
Priority claimed from PCT/US2018/017830 external-priority patent/WO2018152063A1/en
Publication of JP2020510913A publication Critical patent/JP2020510913A/ja
Application granted granted Critical
Publication of JP6738972B2 publication Critical patent/JP6738972B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

第1のダイナミックレンジから第2のダイナミックレンジに画像をマッピングする方法が提示される。マッピングは、3つのアンカーポイントおよび3つの傾きを用いて決定された2つのスプライン多項式を含む関数に基づく。第1のアンカーポイントは、入力およびターゲット出力の黒色点レベルを用いて決定され、第2のアンカーポイントは、入力およびターゲット出力の白色点レベルを用いて決定され、第3のアンカーポイントは、入力およびターゲット出力の中間トーン情報データを用いて決定される。ターゲット出力の中間トーンレベルは、適切な1対1マッピングに基づいて、黒色点およびハイライトの双方において入力コントラストを保持することによって適応的に計算される。3次(キュービック)エルミートスプラインに基づく例示的なトーンマッピング伝達関数が提示される。【選択図】図3

Description

関連出願への参照
本願は、いずれも2017年2月15日に出願された米国仮特許出願第62/459,141号および欧州特許出願第17156284.6号、ならびに2017年3月1日に出願された米国仮特許出願第62/465,298号に基づく優先権を主張するものであり、これら各出願を本願に援用する。
技術分野
本発明は、画像全般に関する。より詳しくは、本発明の一実施形態は、第1のダイナミックレンジから第2のダイナミックレンジへとハイダイナミックレンジ(HDR)画像および映像信号をマッピングするための、トーン曲線のパラメータを決定することに関する。
背景技術
本明細書において、用語「ダイナミックレンジ」(DR)は、人間の視覚系(HVS)が画像においてある範囲の強度(例えば、輝度、ルマ)(例えば、最も暗いグレー(黒)から最も明るい白(ハイライト)まで)を知覚する能力に関し得る。この意味では、DRは、「シーン−リファード(scene−referred)」な強度に関する。DRはまた、ディスプレイデバイスが特定幅を有する強度範囲を十分にまたは近似的に描画する能力にも関し得る。この意味では、DRは、ディスプレイ−リファード(display−referred)な強度に関する。本明細書中の任意の箇所において、ある特定の意味が特に明示的に指定されている場合を除いて、この用語はどちらの意味としても(例えば、区別なく)使用できるものとする。
本明細書において、ハイダイナミックレンジ(HDR)という用語は、人間の視覚システム(HVS)において14〜15桁ほどにわたるDR幅に関する。実際において、人間が広範囲の強度範囲を同時に知覚し得るDRは、HDRに対して幾分端折られ得る。本明細書において、エンハンストダイナミックレンジ(EDR)または視覚ダイナミックレンジ(VDR)という用語は、個別にまたは区別なく、人間の視覚システム(HVS)(眼球運動を含み、シーンまたは画像にわたってある程度の明順応変化を可能にする)が、あるシーンまたは画像中において知覚可能なDRに関する。
実際において、画像は、1つ以上の色成分(例えば、ルマYならびにクロマCbおよびCr)を有しており、各色成分は、1画素あたりnビットの精度(例えば、n=8)で表される。線形輝度符号化(linear luminance coding)を使用する場合、n≦8の画像(例えば、カラー24ビットJPEG画像)は、スタンダードダイナミックレンジの画像とされ、n>8の画像は、エンハンストダイナミックレンジの画像とされる。EDRおよびHDR画像はまた、Industrial Light and Magicが開発したOpenEXRファイルフォーマットなどの高精度の(例えば、16ビット)浮動小数点フォーマットを使用して、記憶および配信され得る。
本明細書において、「メタデータ」の語は、符号化ビットストリームの一部として送信され、デコーダが復号化画像を描画することを助ける、任意の補助的情報に関する。そのようなメタデータは、本明細書において記載されるような、色空間または色域情報、リファレンスディスプレイパラメータ、および補助的な信号パラメータなどを含むが、これらに限定されない。
ほとんどのコンシューマー用デスクトップディスプレイは現在、200〜300cd/m2またはニトの輝度をサポートしている。ほとんどのコンシューマー用HDTVは300〜500ニトの範囲であるが、新しいモデルは1000ニト(cd/m2)に達する。このような従来のディスプレイはしたがって、HDRやEDRに対し、より低いダイナミックレンジ(LDR)(またはスタンダードダイナミックレンジ(SDR)とも呼ばれる)の典型例となる。キャプチャ機器(例えばカメラ)およびHDRディスプレイ(例えばDolby LaboratoriesのPRM−4200プロフェッショナルリファレンスモニター)両方の進化によって、HDRコンテンツの普及率が高まるにつれ、HDRコンテンツはカラーグレーディングされてより高いダイナミックレンジ(例えば1,000ニトから5,000ニト以上)をサポートするHDRディスプレイ上に表示されることがある。一般的に、限定しないが、本開示の方法はSDRよりも高い任意のダイナミックレンジに関連する。
ハイダイナミックレンジ(HDR)コンテンツのオーサリングは、それ以前のフォーマットよりもよりリアルで生き生きとした画像を与える技術であるため、現在広まりつつある。しかし、何億台ものコンシューマー用テレビディスプレイを含む多くのディスプレイシステムでは、HDR画像を再生することが出来ない。さらに、HDRディスプレイの幅広さ(例えば1,000ニトから5,000ニト以上)のため、ある1つのHDRディスプレイ上で最適化されたHDRコンテンツは、別のあるHDRディスプレイ上での直接の再生には適さないことがある。マーケット全体に対応するために用いられている1つのアプローチは、新しい映像コンテンツに対し複数のバージョンを作成することである。例えば、HDR画像を用いた1つと、SDR(スタンダードダイナミックレンジ)画像を用いた別の1つである。しかしこれは、コンテンツの制作者らがその映像コンテンツを複数のフォーマットで作成することを要求し、また、消費者らが、自身の特定のディスプレイに対してどのフォーマットを購入すべきかを知っておくことを必要とし得る。より良いアプローチの可能性としては、コンテンツ(HDR)のバージョンを1つ作成し、画像データ変換システム(例えばセットトップボックスの機能の一部として)を用いて、入力HDRコンテンツを適切な出力SDRまたはHDRコンテンツに自動的にダウンコンバート(またはアップコンバート)することである。既存のディスプレイ方式を改善するためには、本発明者らの理解によれば、HDR画像のディスプレイマッピングのためのトーン曲線を決定するための改善された方法が開発される。
本節に記載されているアプローチは、探求し得るアプローチではあるが、必ずしもこれまでに着想または探求されてきたアプローチではない。従って、別途示唆のない限り、本節に記載されたアプローチのいずれも、本節に記載されているという理由だけで従来技術としての適格性を有すると考えるべきではない。同様に、別途示唆のない限り、1以上のアプローチに関して特定される問題が、本節に基づいて、いずれかの先行技術において認識されたことがあると考えるべきではない。
添付図面の各図において、本発明の実施形態を限定する事なく例示する。同様の部材には同様の参照符号を付している。
映像配信パイプラインの例示的なプロセスを示す図である。 従来技術による、3つのアンカーポイントを用いて第1のダイナミックレンジから第2のダイナミックレンジに画像をマッピングする例示的なマッピング関数を示す図である。 本発明の実施形態による、第1のダイナミックレンジから第2のダイナミックレンジに画像をマッピングする例示的なマッピング関数を示す図である。 本発明の実施形態による、トーンマッピング関数を決定する例示的なプロセスを示す図である。 本発明の実施形態による、トーンマッピング関数を決定する例示的なプロセスを示す図である。 本発明の実施形態に従って決定された2つの例示的なマッピング関数を示す。 本発明の実施形態による、入力中間トーン値が出力中間トーン値にマッピングされ、トーン−曲線マッピング関数の中間トーンアンカーポイントが決定される様子を示す、例示的なプロットを示す。 本発明の実施形態による、入力中間トーン値が出力中間トーン値にマッピングされ、トーン−曲線マッピング関数の中間トーンアンカーポイントが決定される様子を示す、例示的なプロットを示す。
ハイダイナミックレンジ(HDR)画像のディスプレイマッピングのためのトーン曲線を決定する方法が本明細書に記載される。以下の記載において、説明の目的で、本発明を完全に理解できるように、多数の詳細事項を述べる。ただし、これらの詳細事項がなくても本発明が実施可能であることは明白であろう。他の例では、本発明の説明を不必要に煩雑にし、不明瞭にし、または難読化することのないように、既知の構造およびデバイスの細かな詳細までは説明しない。
概要
本明細書に記載の例示的な実施形態は、ハイダイナミックレンジ(HDR)画像のディスプレイマッピングのためのトーン曲線を決定する方法に関する。映像システムにおいて、1つの実施形態では、プロセッサは入力画像について、第1のダイナミックレンジにおける入力黒色点レベル(x1,SMin)、入力中間トーンレベル(x2,SMid)および入力白色点レベル(x3,SMax)を含む第1の情報データを受信する。プロセッサは、第2のダイナミックレンジにおける第1の出力黒色点レベル(TminPQ)および第1の出力白色点レベル(TmaxPQ)を含む、第2のダイナミックレンジにおける出力画像についての第2の情報データにもアクセスする。プロセッサは、第1の情報データおよび第2の情報データに基づいて、第2のダイナミックレンジにおける出力中間トーン値を決定する。プロセッサは、第2の情報データおよび出力中間トーン値に基づいて、第2のダイナミックレンジにおける第2の出力黒色点および第2の出力白色点を計算する。次に、プロセッサは、第1の情報データ、第2の情報データおよび出力中間トーン値に基づいて、テール傾き、ヘッド傾き、および中間トーン傾きを計算する。プロセッサは、第1のダイナミックレンジにおける入力画像の画素値を、第2のダイナミックレンジにおける出力画像の対応する画素値にマッピングする伝達関数(transfer function)を決定する。ここで、伝達関数は2つのセグメントを含み、第1のセグメントはテール傾き、中間トーン傾き、入力黒色点レベル、入力中間トーンレベル、第2の出力黒色点および出力中間トーン値に基づいて決定され、第2のセグメントは、中間トーン傾き、ヘッド傾き、入力中間トーンレベル、入力白色点レベル、出力中間トーン値および第2の出力白色点に基づいて決定される。プロセッサは、決定された伝達関数を用いて入力画像を出力画像にマッピングする。
一実施形態において、プロセッサは、第1の情報データ、第2の情報データおよび出力中間トーン値に基づいて、第2の出力黒色点および第2の出力白色点を計算する。
一実施形態において、プロセッサは、入力黒色点レベル、入力中間トーンレベル、第2の出力黒色点および出力中間トーン値に基づいてテール傾きを計算する。
一実施形態において、プロセッサは、入力白色点レベル、入力中間トーンレベル、第2の出力白色点および出力中間トーン値に基づいてヘッド傾きを計算する。
一実施形態において、プロセッサは、第1の情報データ、第2の出力黒色点、第2の出力白色点および出力中間トーン値に基づいて中間トーン傾きを計算する。
ダイナミックレンジ変換
HDR信号の映像符号化
図1は、映像の撮像から映像コンテンツ表示までの様々な段を示す従来の映像配信パイプライン100の例示的なプロセスを示す。一連の映像フレーム102が、画像生成ブロック105を用いて撮像または生成される。映像フレーム102を、(例えばデジタルカメラによって)デジタルで撮像するか、またはコンピュータによって(例えばコンピュータアニメーションを用いて)生成し、映像データ107を提供することができる。代替的に、映像フレーム102は、フィルムカメラによってフィルム上に撮像されてもよい。フィルムは、デジタルフォーマットに変換され、映像データ107が提供される。プロダクションフェーズ110において、映像データ107が編集され、映像プロダクションストリーム112が提供される。
次に、プロダクションストリーム112の映像データは、ブロック115においてポストプロダクション編集のためにプロセッサに提供される。ブロック115のポストプロダクション編集は、画像の特定のエリアにおける色または明るさを調整または修正して、画像品質を高めるか、または映像クリエイターの制作意図に従って画像の特定の外観を達成することを含むことができる。これは、場合によっては、「カラータイミング」または「カラーグレーディング」と呼ばれる。ブロック115において、他の編集(例えば、シーン選択およびシーケンシング、画像クロッピング、コンピュータにより生成される視覚特殊効果の追加等)を行い、配給用の最終プロダクションバージョン117を得てもよい。ポストプロダクション編集115の間、映像イメージがリファレンスディスプレイ125上で見られる。
ポストプロダクション115に続いて、最終プロダクション117の映像データを、テレビセット、セットトップボックス、映画館等の復号化および再生デバイスにダウンストリーム配信するために、符号化ブロック120に配信することができる。いくつかの実施形態では、符号化ブロック120は、符号化されたビットストリーム122を生成する、ATSC、DVB、DVD、Blu−Rayおよび他の配信フォーマットによって定義されるようなオーディオおよび映像エンコーダを含むことができる。受信機において、符号化されたビットストリーム122は、復号化ユニット130によって復号化され、信号117と同一の、またはこれに近い近似を表す復号化信号132が生成される。受信機は、リファレンスディスプレイ125と全く異なる特性を有し得るターゲットディスプレイ140に取り付けられてもよい。その場合、ディスプレイ管理ブロック135を用いて、ディスプレイマッピング信号137を生成することによって、復号化信号132のダイナミックレンジをターゲットディスプレイ140の特性にマッピングすることができる。
シグモイドマッピングを用いた画像変換
その全体を本願において援用し、本明細書において‘480特許として参照される、A. BallestadおよびA. Kostinによる米国特許第8,593,480号「Method and apparatus for image data transformation」によれば、当該発明者らは、3つのアンカーポイントおよび中間トーンの自由パラメータを用いて一意に決定することができるパラメータ化されたシグモイド関数を用いた画像変換マッピングを提案した。そのような関数の例が図2に示される。
図2に示されるように、マッピング関数220は、3つのアンカーポイント(205、210、215)、すなわち、黒色点(x1,y1),中間トーン点(x2,y2)および白色点(x3,y3)によって定義される。この変換は、以下の特性を有する。
・x1〜x3の値は、入力画像を構成する画素を記述する可能な値の範囲を表す。これらの値は、特定の原色(R、GまたはB)の明るさレベルとすることもできるし、画素の全体輝度レベルとすることもできる(例えば、YCbCr表現におけるY成分)。通常、これらの値は、コンテンツを作成するのに用いられるディスプレイ(「マスタリングディスプレイ」125)によってサポートされる最も暗いレベル(黒色点)および最も明るいレベル(白色点)に対応するが、いくつかの実施形態では、リファレンスディスプレイの特性が未知であるとき、これらの値は、受信機において画像メタデータを介して受信することができるかまたは計算することができる、入力画像における(例えば、R、GまたはB、輝度等における)最小値および最大値を表すことができる。
・y1〜y3の値は、出力画像を構成する画素を記述する可能な値の範囲を表す(ここでも、原色の明るさまたは全体輝度レベル)。通常、これらの値は、意図される出力ディスプレイ(「ターゲットディスプレイ」140)によってサポートされる最も暗いレベル(黒色点)および最も明るいレベル(白色点)に対応する。
・値x1を有する任意の入力画素は、値y1を有する出力画素にマッピングするように制約され、値x3を有する任意の入力画素は、値y3を有する出力画素にマッピングするように制約される。
・x2およびy2の値は、画像の何らかの「中間範囲」(または中間トーンレベル)要素のためのアンカーポイントとして用いられる、入力から出力への特定のマッピングを表す。x2およびy2の特定の選択において、かなりの許容範囲が許可され、‘480号特許は、これらのパラメータをどのように選択することができるかについての複数の代替形態を教示している。
3つのアンカーポイントが選択されると、伝達関数220は以下のように表すことができる。
Figure 2020510913
ここで、C1、C1およびC3は定数であり、xは、カラーチャネルまたは輝度の入力値を示し、yは対応する出力値を示し、nは、中間トーンコントラストを調整するのに用いることができる自由パラメータである。
‘480号特許に記載されているように、C1、C1およびC3の値は、以下を解くことによって決定することができる。
Figure 2020510913
式(1)のトーン曲線は、複数のディスプレイマッピングアプリケーションへの適用に成功してきたが、本発明者らによって理解されるように、これには以下を含む複数の潜在的な制限もある。
・ターゲットディスプレイの特定の範囲内で1対1のマッピングが存在するようにトーン−曲線パラメータを定義することが困難である。
・コントラストを制御するパラメータ(例えば、指数n)を決定することが困難である。
・中間アンカー(x2,y2)ポイントにおける小さな変化により、予期しない挙動が生じる場合がある。
・黒アンカーポイント205を下回る、および/または白アンカーポイント215を上回る線形マッピングを可能にしない。
図3は、一実施形態による新たなトーンマッピング曲線の例を示す。図3に示すように、トーンマッピング曲線320は、最大で4つのセグメントを含む。
・(x1,y1)より低い値についての任意選択の線形セグメントL1(x1は負にもなり得る)
・(x1,y1)から(x2,y2)までのスプラインS1
・(x2,y2)から(x3,y3)までのスプラインS2
・(x3,y3)より大きい値についての任意選択の線形セグメントL2(x1は1より大きくもなり得る)
一実施形態では、限定ではないが、セグメントS1およびS2は、3次(キュービック)エルミート多項式を用いて決定される。
後に論じられるように、線形セグメントL1およびL2を用いたマッピングは、例えば逆トーンマッピング中にトーン曲線の反転を計算するとき、例えば、スタンダードダイナミックレンジ画像からハイダイナミックレンジ画像を生成する必要があるときに特に有用であり得る。
式(1)におけるように、曲線320は、3つのアンカーポイント305、310、315、すなわち、黒色点(x1,y1)と、中間トーン値点(x2,y2)と、白色点(x3,y3)とによって制御される。加えて、スプラインセグメントの各々は、各端点において2つの傾きによって更に制約することができ、このため、曲線全体が、3つのアンカーポイントおよび3つの傾き、すなわち、(x1,y1)におけるテール傾きと、(x2,y2)における中間トーン傾きと、(x3,y3)におけるヘッド傾きとによって制御される。
例として、(x1,y1)における傾きs1と、(x2,y2)における傾きs2とを有する、点(x1,y1)および(x2,y2)間で決定されるスプラインを検討すると、入力xについて、そのキュービックエルミートスプラインの伝達関数は以下のように定義することができる。
Figure 2020510913
ここで、
Figure 2020510913
である。
一実施形態において、オーバーシュートまたはアンダーシュートがないことを確実にする(すなわち、曲線が単調であることを確実にする)ために、傾きs1およびs2に以下の規則も適用することができる。
Figure 2020510913
ここで、αは定数(例えば、α=3)を示す。
式(3)のエルミートスプラインを所与として、一実施形態では、限定ではないが、例えば知覚的量子化器(PQ:perceptual quantizer)(例えば、SMPTE ST 2084:2014, 「High Dynamic Range EOTF of Mastering Reference Displays」によるもの)を用いて符号化された映像入力について、曲線全体を以下のパラメータに基づいて定義することができる。
・SMin=x1は、ソースコンテンツの最小輝度を表す。所与でない場合、SMinは、一般的な黒を表す値(例えば、SMin=0.0151)に設定することができる。
・SMax=x3は、ソースコンテンツの最大輝度を表す。所与でない場合、SMaxは、「ハイライト」を表す大きな値(例えば、SMax=0.9026)に設定することができる。
・SMid=x2は、ソースコンテンツの平均(例えば、算術平均、中央値、幾何平均)輝度を表す。いくつかの実施形態では、SMid=x2は単純に、入力ピクチャにおける「重要な」輝度特徴を表すことができる。いくつかの他の実施形態では、SMid=x2は、選択された領域(例えば、顔)の平均または中央値も表すことができる。SMidは、手動でまたは自動で定義することができ、その値は、ハイライトまたはシャドー内の特定の見かけを保持することの選択(preference)に基づいてオフセットすることができる。所与でない場合、SMidは、一般的な平均値(例えば、肌のトーンを表すSMid=0.36)に設定することができる。
これらのデータは、画像またはソースメタデータを用いて受信することができるか、ディスプレイ管理ユニット(例えば、135)によって計算することができるか、またはマスタリングもしくはリファレンスディスプレイ環境に関する既知の仮定に基づくことができる。加えて、以下のデータは、ターゲットディスプレイについて既知であると仮定される(例えば、ディスプレイの拡張ディスプレイ識別データ(EDID:Extended Display Identification Data)を読み出すことによって受信される)。
・TminPQ=ターゲットディスプレイの最小輝度
・TmaxPQ=ターゲットディスプレイの最大輝度
用語「PQ」は、本明細書において用いられるとき、これらの値(通常、ニト単位で与えられる)がSMPTE ST 2084に従ってPQ値に変換されることを表す。
マッピング曲線を完全に決定するために、以下の点およびパラメータが計算される必要がある。
TMin=y1、
TMax=y3、
TMid=y2、
slopeMin=(x1,y1)における傾き、
slopeMid=(x2,y2)における傾き、および、
slopeMax=(x3,y3)における傾き。
図4Aは、一実施形態による、トーンマッピング曲線のアンカーポイントおよび傾きを決定する例示的なプロセスを示す。入力パラメータSMin、SMid、SMax、TminPQおよびTmaxPQを所与として(405)、ステップ412はy2(TMid)を計算する。例えば、1つの実施形態において、中間トーンアンカーポイント(SMid,TMid)は、1対1マッピングライン上にあるように選択することができ、すなわち、TMidが境界点TminPQおよびTmaxPQ並びに所定のバッファ内にある限り、TMid=SMidを強制する。TMid値がTminPQおよびTmaxPQに近い場合、TMidは、固定の距離(例えば、TMinPQ+cとTmaxPQ−dとの間、ここで、cおよびdは固定値である)またはこれらの値のパーセンテージとして計算される距離内に入るように選択することができる。例えば、TMidは、TminPQ+a*TminPQを下回ることもTmaxPQ−b*TMaxPQを上回ることも決してないように強制することができ、ここで、aおよびbは、[0,1]における定数であり、パーセンテージの値(例えば、a=b=5%=0.05)を表す。
TMidを所与として、ステップ425は、残りの未知のパラメータ(例えば、y1、y2および3つの傾き)を計算する。最後に、ステップ430は、2つのスプラインセグメントおよび2つの線形セグメントを計算する。
別の実施形態において、TMidを計算することは、入力「テールコントラスト」(すなわち、黒(SMin)と中間トーン(SMid)との間のコントラスト)と、入力「ヘッドコントラスト」(すなわち、中間トーン(SMid)とハイライト(SMax)との間のコントラスト)との間の元の比を保持するように試行することによって更に洗練(refined)することができる。一実施形態によるそのようなプロセスの例が図4Bに示され、表1において擬似コードでも示される。このプロセスの目的は、以下である。
・対角(1対1)マッピングに可能な限り近づくように出力中間トーンアンカーポイント(SMid,TMid)を決定する。すなわち、理想的には、TMidは、入力中間トーンを保持するために可能な限りSMidに近くなるべきである。
・1対1マッピングが可能でない場合、「テールコントラスト」および「ヘッドコントラスト」範囲の出力値が対応する入力範囲の所定の制限以内になるようにTMidを決定する。本明細書において用いられるとき、入力「ヘッドコントラスト」は、(SMax−SMid)の関数に基づき、入力「テールコントラスト」は、(SMid−SMin)の関数に基づく。
・中間アンカーポイント(x2,y2)すなわち(SMid,TMid)を所与として、トーン曲線全体を特徴付けることができるような3つの傾きを決定する。
Figure 2020510913
上記のステップ4において、ヘッドオフセットパラメータおよびテールオフセットパラメータを計算するために、「offsetScalar」として表される項が項に乗算される。この項は、一実施形態では以下のように表すことができる。
Figure 2020510913
この関数の目的は、最大可能オフセット(例えば、headroom*preservationHeadまたはtailroom*preservationTail)と対応するヘッド傾きまたはテール傾きとの間の平滑な遷移を与えることである。式(5)におけるs()関数は、|2*midLoc−1|の任意の適切な線形または非線形関数とすることができる。例えば、別の実施形態では、以下となる。
Figure 2020510913
上記のステップ8において、slopeMidは、1対1マッピングのために対角線に可能な限り近づくように計算される。対照的に、slopeMaxは、ハイライトをheadslopeh(例えば、h=4)、すなわち、(x2,y2)と(x3,y3)との間の傾きに比例させて保持するように計算されるのに対し、slopeMinは、黒をtailslopet(例えば、t=2)、すなわち(x1,y1)と(x2,y2)との間の傾きに比例させて保持するように計算される。指数hおよびtにより、ハイライトまたはグレイがどれだけ速く「クラッシュ(crash)」される必要があるかが決まる。hおよびtの一般的な値は、1、2または4を含む。一実施形態では、h=tである。
3つのアンカーポイントおよび3つの傾きを所与として、4つのセグメントを以下のように生成することができる。
Figure 2020510913
図4Bに戻ると、入力パラメータ(例えば、SMin、SMid、SMax、TminPQおよびTmaxPQ)を所与として(405)、ステップ410は、入力パラメータ(例えば、表1におけるステップ2を参照されたい)に基づいて、第1のターゲット中間トーン値並びに関連付けられたターゲットヘッドルームおよびテールルーム値を計算する。ヘッドおよびテールコントラスト保持パーセンテージ(例えば、約50%)、第1のターゲット中間トーン値、および関連付けられたターゲットヘッドルームおよびテールルームを所与として、ステップ415は、ヘッドオフセットおよびテールオフセットを計算する(例えば、表1におけるステップ4を参照されたい)。ステップ420は、ヘッドオフセットおよびテールオフセットを入力SMid値に適用して、ターゲットTMid値を計算する(例えば、表1におけるステップ5を参照されたい)。次に、ステップ425は、入力パラメータおよびTMidに基づいてTMaxおよびTMinを計算する(例えば、表1におけるステップ6を参照されたい)。ステップ425は、単調性を保持しようとしながら、2つのスプラインのための2つの端部傾きおよび中間傾きも計算する(例えば、表1におけるステップ8を参照されたい)。入力パラメータ、TMid、TMin、TMaxおよび3つの傾きを所与として、次に、ステップ430において、式(7)を適用してトーンマッピング曲線を計算する。
図5は、第1のダイナミックレンジから、第2のより低いダイナミックレンジにPQ符号化されたデータをマッピングする、提案されるトーン曲線の2つの異なる例を示す。例えば、より低いダイナミックレンジから、元のハイダイナミックレンジに戻すようにデータを変換するための逆マッピングに同じ曲線を用いることもできることに留意されたい。一実施形態において、逆マッピングは、以下のように計算することができる。
・上記で説明したように、例えばy=f(x)で表されるトーンマッピング曲線を導出する
・yi=f(xi)を用いて、入力xi値を出力yi値にマッピングする順方向ルックアップテーブルを生成する
・順方向LUT(すなわち、
Figure 2020510913
の場合、
Figure 2020510913
)からの値を用いて、入力低ダイナミックレンジ値
Figure 2020510913
を、より高い出力ダイナミックレンジ値
Figure 2020510913
にマッピングする逆方向ルックアップテーブルを生成する
・既存の値にわたって補間を行うことによって、逆方向LUTの追加の値を生成する。例えば、
Figure 2020510913
である場合、対応する出力
Figure 2020510913
は、xiとxi+1との間で補間を行うことによって生成することができる。
図6Aは、一実施形態による、入力中間トーン値(SMid)が出力中間トーン値(TMid)にマッピングされ、(例えば、表1のステップ1〜4を用いて)トーン−曲線マッピング関数の中間トーンアンカーポイントが決定される様子を示す、例示的なプロットを示す。SMin=0.01、SMax=0.92およびTminPQ=0.1を所与として、プロット605は、TmaxPQ=0.5であるときにSMidがTMidにどのようにマッピングされるかを示し、プロット610は、TmaxPQ=0.7であるときにSMidがTmidにどのようにマッピングされるかを示す。
図6Aから、SMid値の小さな範囲内で関数605が単調でなく、これにより、例えば、フェードインまたはフェードアウト中に予期しない結果が生じ得ることがわかるだろう。この問題に対処するために、表1のステップ4において、以下の擬似コードを代わりに用いてヘッドオフセットおよびテールオフセットを計算することができる。
Figure 2020510913
ここで、cutoffは、ヘッドオフセットおよびテールオフセットがクリッピングされるターゲットダイナミックレンジのパーセンテージを指定することによって、ハイライト対シャドーの維持に対して優先度を付ける変数である。例えば、0.5のcutoff値は、ハイライトおよびシャドーに対する等しい優先度を与えるのに対し、0.7のcutoff値は、シャドーよりもハイライトに高い優先度を与える。
この手法は、余弦関数も平方根関数も計算する必要がないとともに、図6Bに示すように、単調性を保持するためという双方の理由で、計算的により単純である。SMin=0.01、SMax=0.92およびTminPQ=0.1を所与として、図6Bにおいて、プロット615は、TmaxPQ=0.5であるときにSMidがTMidにどのようにマッピングされるかを示し、プロット620は、TmaxPQ=0.7であるときにSMidがどのようにTMidにマッピングされるかを示す。
式(1)と比較して、提案されるトーン曲線は、以下を含む複数の利点を呈する。
・slopeMidパラメータを用いて、ターゲットディスプレイの特定の範囲内のSMid値とTMid値との間の1対1マッピングを定義して、コントラストを保持することができる
・slopeMidおよびcontrastFactor変数を介して画像コントラストを明示的に制御することができる(表1のステップ8を参照されたい)。例えば、一実施形態では、contrastFactorの値は、限定ではないが、contrastFactor=1のデフォルト値を有して、0.5〜2.0の範囲をとることができる。
・曲線全体を2つのスプラインに分けることによって、中間トーンアンカー(x2,y2)の周りに予期しない挙動がもはや存在しない。
・SlopeMinおよびSlopMaxを用いることによって、黒アンカーの前、および白アンカーポイントの後のマッピング曲線の挙動を予め定めることができる。
・この曲線は、負の入力値(例えば、x<0)をマッピングすることができる。そのような条件は、雑音または他のシステム条件(例えば、空間フィルタリング)に起因して生じる場合がある。通常、負の値を0にクランピングするが、そのようなクランピングの結果として雑音が増大し、全体品質が低減する場合がある。負の入力値をマッピングすることが可能であることによって、そのようなクランピングに基づくアーチファクトを低減または除去することができる。
・トーンマッピング曲線は、x対yマッピングをy対xマッピングに単に切り替えることによって容易に反転することができる。
・非整数の指数関数または冪関数を用いるという要件がないため、非整数の指数が用いられないことから、計算がより高速かつより効率的である。
最後の点に関して、計算的観点から、非自明なコントラスト値(例えば、n≠1および/またはnが整数でないとき)について式(2)における関数パラメータを決定することは、(例えば、y=pow(x,n),y=xnについての)6つの冪関数を用いることを必要とする。対照的に、表1における計算は、非整数の冪関数を一切必要としない(2または4の冪の計算は単純な乗算を必要とする)。全体として、式(1)と比較して、式(7)は、入力サンプルあたりいくつかの更なる乗算/除算および加算/減算の演算を必要とするが、冪関数は必要としない。いくつかの実施形態では、式(7)は、テーブルルックアップを用いて実施することができる。より重要なことには、本発明者らによって行われたユーザー研究は、ユーザーが、新たなトーンマッピング関数320を用いて生成された画像の全体ピクチャ品質をより好むことを示しているようである。
コンピュータシステム実装例
本発明の実施形態は、コンピュータシステム、電子回路およびコンポーネントで構成されたシステム、マイクロコントローラ、フィールドプログラマブルゲートアレイ(FPGA)または他のコンフィギュラブルまたはプログラマブルロジックデバイス(PLD)、離散時間またはデジタル信号プロセッサ(DSP)、特定用途向けIC(ASIC)などの集積回路(IC)デバイス、および/または、このようなシステム、デバイスまたはコンポーネントを1つ以上含む装置、を用いて実施し得る。このコンピュータおよび/またはICは、本明細書に記載のようなハイダイナミックレンジを有する画像のための画像変換に関する命令を行い、制御し、または実行し得る。このコンピュータおよび/またはICは、本明細書に記載の画像変換プロセスに関する様々なパラメータまたは値のいずれを演算してもよい。画像およびビデオ実施形態は、ハードウェア、ソフトウェア、ファームウェア、および、その様々な組み合わせで実施され得る。
本発明の特定の態様は、本発明の方法をプロセッサに行わせるためのソフトウェア命令を実行するコンピュータプロセッサを含む。例えば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダなどの中の1つ以上のプロセッサは、そのプロセッサがアクセス可能なプログラムメモリ内にあるソフトウェア命令を実行することによって、上記のようなHDR画像のための画像変換に関する方法を実装し得る。本発明は、プログラム製品形態で提供されてもよい。このプログラム製品は、データプロセッサによって実行された時に本発明の方法をデータプロセッサに実行させるための命令を含む1セットの、コンピュータ読み取り可能な信号を格納する任意の非一時的媒体を含み得る。本発明によるプログラム製品は、様々な形態をとり得る。例えば、このプログラム製品は、フロッピーディスク、ハードディスクドライブを含む磁気データ記憶媒体、CD ROM、DVDを含む光学データ記憶媒体、ROM、フラッシュRAMなどを含む電子データ記憶媒体、などの物理的媒体を含み得る。このプログラム製品上のコンピュータ可読信号は、任意に、圧縮または暗号化されていてもよい。
上記においてあるコンポーネント(例えば、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路など)に言及している場合、そのコンポーネントへの言及(「手段」への言及を含む)は、そうでないと明記されている場合を除いて、当該コンポーネントの機能を果たす(例えば、機能的に均等である)あらゆるコンポーネント(上記した本発明の実施形態例に出てくる機能を果たす開示構造に対して構造的に均等ではないコンポーネントも含む)を、当該コンポーネントの均等物として、含むものと解釈されるべきである。
均等物、拡張物、代替物、その他
HDR映像のSDR映像への効率的な画像変換に関する実施形態例を上述した。この明細書中において、各実装毎に異なり得る多数の具体的な詳細に言及しながら本発明の実施形態を説明した。従って、本発明が如何なるものかおよび出願人は本発明が如何なるものであると意図しているかについての唯一且つ排他的な指標は、後の訂正を含む、これら請求項が生じる具体的な形態の、本願から生じる1組の請求項である。当該請求項に含まれる用語に対して本明細書中に明示したあらゆる定義が、請求項内で使用される当該用語の意味を決定するものとする。よって、請求項に明示的に記載されていない限定事項、構成要素、特性、特徴、利点または属性は、いかなる形であれ請求の範囲を限定するものではない。従って、本明細書および図面は、限定的ではなく、例示的であると認識されるべきものである。
本発明の様々な態様は、以下に列挙される例示的な実施形態(EEE)から理解することができる。
EEE1.
プロセッサを用いて、第1のダイナミックレンジから第2のダイナミックレンジに画像をマッピングする方法であって、
前記第1のダイナミックレンジにおける入力画像の第1の情報データにアクセスすることであって、前記第1の情報データは、前記第1のダイナミックレンジにおける入力黒色点レベル(x1,SMin)、入力中間トーンレベル(x2,SMid)および入力白色点レベル(x3,SMax)を含むことと、
前記第2のダイナミックレンジにおける出力画像の第2の情報データにアクセスすることであって、前記第2の情報データは、前記第2のダイナミックレンジにおける第1の出力黒色点レベル(TminPQ)および第1の出力白色点レベル(TmaxPQ)を含むことと、
前記第1の情報データおよび前記第2の情報データに基づいて、前記第2のダイナミックレンジにおける出力中間トーン値を決定することと、
前記第2の情報データおよび前記出力中間トーン値に基づいて、前記第2のダイナミックレンジにおける第2の出力黒色点および第2の出力白色点を計算することと、
前記第1の情報データ、前記第2の情報データおよび前記出力中間トーン値に基づいて、テール傾き、ヘッド傾きおよび中間トーン傾きを計算することと、
前記第1のダイナミックレンジにおける前記入力画像の画素値を、前記第2のダイナミックレンジにおける前記出力画像の対応する画素値にマッピングする伝達関数を決定することであって、前記伝達関数は2つのセグメントを含み、第1のセグメントは、前記テール傾き、前記中間トーン傾き、前記入力黒色点、前記入力中間トーンレベル、前記第2の出力黒色点および前記出力中間トーン値に基づいて決定され、第2のセグメントは、前記中間トーン傾き、前記ヘッド傾き、前記入力中間トーンレベル、前記入力白色点、前記出力中間トーンレベルおよび前記第2の出力白色点に基づいて決定されることと、
前記決定された伝達関数を用いて、前記入力画像を前記出力画像にマッピングすることと、
を含む、方法。

EEE2.
前記第1のダイナミックレンジはハイダイナミックレンジを含み、前記第2のダイナミックレンジはスタンダードダイナミックレンジを含む、EEE1に記載の方法。

EEE3.
前記伝達関数は、前記第1のダイナミックレンジにおける前記入力黒色点よりも低い入力値に対する第1の線形セグメントを更に含み、前記線形セグメントは、前記テール傾きに等しい傾きを有する、EEE1またはEEE2に記載の方法。

EEE4.
前記第1の線形セグメントの前記伝達関数は、
Figure 2020510913
を含み、ここで、xは入力画素値を表し、yは出力画素値を表し、slopeMinは前記テール傾きを表し、TMinは前記第2のダイナミックレンジにおける前記第2の出力黒色点を表し、SMinは前記第1のダイナミックレンジにおける前記入力黒色点を表す、EEE3に記載の方法。

EEE5.
前記伝達関数は、前記第1のダイナミックレンジにおける前記入力白色点レベルよりも大きい入力値に対する第2の線形セグメントを更に含み、前記線形セグメントは、前記ヘッド傾きに等しい傾きを有する、EEE1からから4のいずれか1つに記載の方法。

EEE6.
前記第2の線形セグメントの前記伝達関数は、
Figure 2020510913
を含み、ここで、xは入力画素値を表し、yは出力画素値を表し、slopeMaxは前記ヘッド傾きを表し、TMaxは前記第2のダイナミックレンジにおける前記第2の出力白色点を表し、SMaxは前記第1のダイナミックレンジにおける前記入力白色点を表す、EEE5に記載の方法。

EEE7.
前記第1のセグメントおよび/または前記第2のセグメントは、3次エルミートスプライン多項式に基づいて決定される、EEE1から6のいずれか1つに記載の方法。

EEE8.
前記第1のセグメントを決定することは、
Figure 2020510913
を計算することを含み、ここで、T=(x−SMin)/(SMid−SMin)であり、xは入力画素値を表し、yは出力画素値を表し、slopeMinは前記テール傾きを表し、slopeMidは前記中間トーン傾きを表し、TMinおよびTMidは前記第2の出力黒色点および前記出力中間トーンレベルを表し、SMinおよびSMidは、前記第1のダイナミックレンジにおける前記入力黒色点および前記入力中間トーンレベルを表す、EEE7に記載の方法。

EEE9.
前記第2のセグメントを決定することは、
Figure 2020510913
を計算することを含み、ここで、T=(x−SMid)/(SMax−SMid)であり、xは入力画素値を表し、yは出力画素値を表し、slopeMaxは前記ヘッド傾きを表し、slopeMidは前記中間トーン傾きを表し、TMidおよびTMaxは、前記第2のダイナミックレンジにおける前記出力中間トーンレベルおよび前記第2の出力白色点を表し、SMidおよびSMaxは、前記第1のダイナミックレンジにおける前記入力中間トーンレベルおよび前記入力白色点を表す、EEE7またはEEE8に記載の方法。

EEE10.
前記出力中間トーン値を計算することは、
Figure 2020510913
を計算することを含み、ここで、TMidは前記出力中間トーン値を表し、aおよびbは[0,1]におけるパーセンタイル値であり、SMidは前記入力中間トーンレベルを表し、TminPQおよびTmaxPQは前記第2の情報データにおける値を含む、EEE1から9のいずれか1つに記載の方法。

EEE11.
前記出力中間トーン値を計算することは、
前記第1の情報データおよび前記第1の出力黒色点に基づいて、前記第2のダイナミックレンジにおける仮の出力中間トーン値と、該仮の出力中間トーン値の第1の境界値および第2の境界値とを決定することと、
前記仮の出力中間トーン値、前記第1の境界値および第2の境界値、並びに1つ以上の入力コントラスト保持値に基づいて、前記第2のダイナミックレンジにおけるヘッドオフセットおよびテールオフセットを計算することと、
前記第1のダイナミックレンジにおける前記入力中間トーンレベル並びに前記ヘッドオフセットおよび前記テールオフセットに基づいて前記第2のダイナミックレンジにおける前記出力中間トーン値を計算することと、
を更に含む、EEE1から9のいずれか1つに記載の方法。

EEE12.
前記仮の出力中間トーン値と、前記第1の出力中間トーン値の前記第1の境界値および前記第2の境界値とを決定することは、
midLoc = (SMid-TminPQ)/TDR;
headroom = (SMax-SMid)/TDR;
tailroom = (SMid-SMin)/TDR;

を計算することを含み、ここで、
TDR = TmaxPQ-TminPQ
であり、midLocは前記仮の出力中間トーン値を表し、tailroomおよびheadroomは前記第1の出力中間トーン値の前記第1の境界値および前記第2の境界値を表し、SMin、SMidおよびSMaxは前記第1の情報データを表し、TminPQは前記第1の出力黒色点レベルを表す、EEE11に記載の方法。

EEE13.
少なくとも1つのコントラスト保持値は約50%である、EEE11またはEEE12に記載の方法。

EEE14.
前記出力中間トーン値(TMid)を計算することは、
TMid = SMid-offsetHead+offsetTail
を計算することを含み、ここで、SMidは前記第1のダイナミックレンジにおける前記入力中間トーンレベルを表し、offsetHeadおよびoffsetTailは、前記ヘッドオフセットおよび前記テールオフセットを表す、EEE11から13のいずれか1つに記載の方法。

EEE15.
前記第2のダイナミックレンジにおける前記第2の出力白色点および前記第2の出力黒色点を計算することは、
TMax = min(TMid+SMax-SMid,TmaxPQ),
TMin = max(TMid-SMid+SMin,TminPQ
を計算することを含み、ここで、TMinは前記第2の出力黒色点を表し、TMaxは前記第2の出力白色点を表し、SMinおよびSMaxは、前記第1のダイナミックレンジにおける前記入力黒色点および前記入力白色点を表し、TminPQおよびTmaxPQは、前記第2のダイナミックレンジにおける前記第1の出力黒色点および前記第1の出力白色点を表す、EEE14に記載の方法。

EEE16.
前記テール傾きの最大値(maxMinSlope)および/または前記ヘッド傾きの最大値(maxMaxSlope)を
maxMinSlope = 3*(TMid-TMin)/(SMid-SMin),
maxMaxSlope = 3*(TMax-TMid)/(SMax-SMid)
として計算することを更に含む、EEE10またはEEE15に記載の方法。

EEE17.
前記テール傾き(slopeMin)、前記中間トーン傾き(slopeMid)および前記ヘッド傾き(slopeMax)を計算することは、
slopeMin = min([maxMinSlope,(( TMid - TMin)/(SMid - SMin))2]);
slopeMax = min([maxMaxSlope,1,((TMax - TMid)/(SMax - SMid))4]);
slopeMid = min([maxMinSlope,maxMaxSlope,contrastFactor*(1-SMid+TMid)]);
を計算することを更に含み、ここで、contrastFactorはコントラストパラメータを表す、EEE16に記載の方法。

EEE18.
前記第2のダイナミックレンジから前記第1のダイナミックレンジに画像を戻してマッピングする逆方向ルックアップテーブルを決定することを更に含み、前記方法は、
前記決定された伝達関数に基づいて、前記第1のダイナミックレンジにおける複数のx(i)値を、前記第2のダイナミックレンジにおけるy(i)値にマッピングする順方向ルックアップテーブルを決定することと、
以下を設定することによって、前記第2のダイナミックレンジにおける複数のy’(k)値を前記第1のダイナミックレンジにおける対応するx’(k)値にマッピングする前記逆方向ルックアップテーブルを生成することと、
Figure 2020510913
を更に含む、EEE1から17のいずれか1つに記載の方法。

EEE19.
プロセッサを備える装置であって、EEE1から18に記載の方法のうちの任意の方法を実行するように構成される、装置。

EEE20.
EEE1から18のいずれか1つに従って、1つ以上のプロセッサを用いて、方法を実行するコンピュータ実行可能命令が記憶された非一時的コンピュータ可読ストレージ媒体。

Claims (19)

  1. プロセッサを用いて、第1のダイナミックレンジから第2のダイナミックレンジに画像をマッピングする方法であって、
    前記第1のダイナミックレンジにおける入力画像の第1の情報データにアクセスすることであって、前記第1の情報データは、前記第1のダイナミックレンジにおける入力黒色点レベル(x1,SMin)、入力中間トーンレベル(x2,SMid)および入力白色点レベル(x3,SMax)を含むことと、
    前記第2のダイナミックレンジにおける出力画像の第2の情報データにアクセスすることであって、前記第2の情報データは、前記第2のダイナミックレンジにおける第1の出力黒色点レベル(TminPQ)および第1の出力白色点レベル(TmaxPQ)を含むことと、
    前記第1の情報データおよび前記第2の情報データに基づいて、前記第2のダイナミックレンジにおける出力中間トーン値を決定することと、
    前記第2の情報データおよび前記出力中間トーン値に基づいて、前記第2のダイナミックレンジにおける第2の出力黒色点および第2の出力白色点を計算することと、
    前記第1の情報データ、前記第2の情報データおよび前記出力中間トーン値に基づいて、テール傾き、ヘッド傾きおよび中間トーン傾きを計算することと、
    前記第1のダイナミックレンジにおける前記入力画像の画素値を、前記第2のダイナミックレンジにおける前記出力画像の対応する画素値にマッピングする伝達関数を決定することであって、前記伝達関数は2つのセグメントを含み、第1のセグメントは、前記テール傾き、前記中間トーン傾き、前記入力黒色点レベル、前記入力中間トーンレベル、前記第2の出力黒色点および前記出力中間トーン値に基づいて決定され、第2のセグメントは、前記中間トーン傾き、前記ヘッド傾き、前記入力中間トーンレベル、前記入力白色点レベル、前記出力中間トーン値および前記第2の出力白色点に基づいて決定されることと、
    前記決定された伝達関数を用いて、前記入力画像を前記出力画像にマッピングすることと、
    を含む、方法。
  2. 前記第2のダイナミックレンジにおける前記第2の出力黒色点および前記第2の出力白色点を計算することは、前記第1の情報データに更に基づく、請求項1に記載の方法。
  3. 前記テール傾きを計算することは、前記入力黒色点レベル、前記入力中間トーンレベル、前記第2の出力黒色点および前記出力中間トーン値に基づき、
    前記ヘッド傾きを計算することは、前記入力白色点レベル、前記入力中間トーンレベル、前記第2の出力白色点および前記出力中間トーン値に基づき、
    前記中間トーン傾きは、前記第1の情報データ、前記第2の出力黒色点、前記第2の出力白色点および前記出力中間トーン値に基づく、請求項1または2に記載の方法。
  4. 前記第1のダイナミックレンジはハイダイナミックレンジを含み、前記第2のダイナミックレンジはスタンダードダイナミックレンジを含む、請求項1から3のいずれか一項に記載の方法。
  5. 前記伝達関数は、前記第1のダイナミックレンジにおける前記入力黒色点レベルよりも低い入力値に対する第1の線形セグメントを更に含み、前記線形セグメントは、前記テール傾きに等しい傾きを有し、任意選択により、前記第1の線形セグメントの前記伝達関数は、
    Figure 2020510913
    を含み、ここで、xは入力画素値を表し、yは出力画素値を表し、slopeMinは前記テール傾きを表し、TMinは前記第2のダイナミックレンジにおける前記第2の出力黒色点を表し、SMinは前記第1のダイナミックレンジにおける前記入力黒色点レベルを表す、請求項1から4のいずれか一項に記載の方法。
  6. 前記伝達関数は、前記第1のダイナミックレンジにおける前記入力白色点レベルよりも大きい入力値に対する第2の線形セグメントを更に含み、前記線形セグメントは、前記ヘッド傾きに等しい傾きを有し、任意選択により、前記第2の線形セグメントの前記伝達関数は、
    Figure 2020510913
    を含み、ここで、xは入力画素値を表し、yは出力画素値を表し、slopeMaxは前記ヘッド傾きを表し、TMaxは前記第2のダイナミックレンジにおける前記第2の出力白色点を表し、SMaxは前記第1のダイナミックレンジにおける前記入力白色点レベルを表す、請求項1から5のいずれか一項に記載の方法。
  7. 前記第1のセグメントおよび/または前記第2のセグメントは、3次エルミートスプライン多項式に基づいて決定される、請求項1から6のいずれか一項に記載の方法。
  8. 前記第1のセグメントを決定することは、
    Figure 2020510913
    を計算することを含み、ここで、T=(x−SMin)/(SMid−SMin)であり、xは入力画素値を表し、yは出力画素値を表し、slopeMinは前記テール傾きを表し、slopeMidは前記中間トーン傾きを表し、TMinおよびTMidは前記第2の出力黒色点および前記出力中間トーン値を表し、SMinおよびSMidは、前記第1のダイナミックレンジにおける前記入力黒色点レベルおよび前記入力中間トーンレベルを表す、請求項7に記載の方法。
  9. 前記第2のセグメントを決定することは、
    Figure 2020510913
    を計算することを含み、ここで、T=(x−SMid)/(SMax−SMid)であり、xは入力画素値を表し、yは出力画素値を表し、slopeMaxは前記ヘッド傾きを表し、slopeMidは前記中間トーン傾きを表し、TMidおよびTMaxは、前記第2のダイナミックレンジにおける前記出力中間トーン値および前記第2の出力白色点を表し、SMidおよびSMaxは、前記第1のダイナミックレンジにおける前記入力中間トーンレベルおよび前記入力白色点レベルを表す、請求項7または8に記載の方法。
  10. 前記出力中間トーン値を計算することは、
    Figure 2020510913
    を計算することを含み、ここで、TMidは前記出力中間トーン値を表し、aおよびbは[0,1]におけるパーセンタイル値であり、SMidは前記入力中間トーンレベルを表し、TminPQおよびTmaxPQは前記第2の情報データにおける値を含む、請求項1から9のいずれか一項に記載の方法。
  11. 前記出力中間トーン値を計算することは、
    前記第1の情報データおよび前記第1の出力黒色点に基づいて、前記第2のダイナミックレンジにおける仮の出力中間トーン値と、該仮の出力中間トーン値の第1の境界値および第2の境界値とを決定することと、
    前記仮の出力中間トーン値、前記第1の境界値および第2の境界値、並びに1つ以上の入力コントラスト保持値に基づいて、前記第2のダイナミックレンジにおけるヘッドオフセットおよびテールオフセットを計算することと、
    前記第1のダイナミックレンジにおける前記入力中間トーンレベル並びに前記ヘッドオフセットおよび前記テールオフセットに基づいて前記第2のダイナミックレンジにおける前記出力中間トーン値を計算することと、
    を更に含む、請求項1から10のいずれか一項に記載の方法。
  12. 前記仮の出力中間トーン値と、前記第1の出力中間トーン値の前記第1の境界値および前記第2の境界値とを決定することは、
    midLoc = (SMid-TminPQ)/TDR;
    headroom = (SMax-SMid)/TDR;
    tailroom = (SMid-SMin)/TDR;
    を計算することを含み、ここで、
    TDR = TmaxPQ-TminPQ
    であり、midLocは前記仮の出力中間トーン値を表し、tailroomおよびheadroomは前記第1の出力中間トーン値の前記第1の境界値および前記第2の境界値を表し、SMin、SMidおよびSMaxは前記第1の情報データを表し、TminPQは前記第1の出力黒色点レベルを表す、請求項11に記載の方法。
  13. 少なくとも1つのコントラスト保持値は約50%である、請求項11または12に記載の方法。
  14. 前記出力中間トーン値(TMid)を計算することは、
    TMid = SMid-offsetHead+offsetTail
    を計算することを含み、ここで、SMidは前記第1のダイナミックレンジにおける前記入力中間トーンレベルを表し、offsetHeadおよびoffsetTailは、前記ヘッドオフセットおよび前記テールオフセットを表す、請求項11から13のいずれか一項に記載の方法。
  15. 前記第2のダイナミックレンジにおける前記第2の出力白色点および前記第2の出力黒色点を計算することは、
    TMax = min(TMid+SMax-SMid,TmaxPQ),
    TMin = max(TMid-SMid+SMin,TminPQ
    を計算することを含み、ここで、TMinは前記第2の出力黒色点を表し、TMaxは前記第2の出力白色点を表し、SMinおよびSMaxは、前記第1のダイナミックレンジにおける前記入力黒色点レベルおよび前記入力白色点レベルを表し、TminPQおよびTmaxPQは、前記第2のダイナミックレンジにおける前記第1の出力黒色点および前記第1の出力白色点を表す、請求項14に記載の方法。
  16. 前記テール傾きの最大値(maxMinSlope)および/または前記ヘッド傾きの最大値(maxMaxSlope)を
    maxMinSlope = 3*(TMid-TMin)/(SMid-SMin),
    maxMaxSlope = 3*(TMax-TMid)/(SMax-SMid)
    として計算することを更に含み、
    ここで、任意選択により、
    前記テール傾き(slopeMin)、前記中間トーン傾き(slopeMid)および前記ヘッド傾き(slopeMax)を計算することは、
    slopeMin = min([maxMinSlope,(( TMid - TMin)/(SMid - SMin))2]);
    slopeMax = min([maxMaxSlope,1,((TMax - TMid)/(SMax - SMid))4]);
    slopeMid = min([maxMinSlope,maxMaxSlope,contrastFactor*(1-SMid+TMid)]);
    を計算することを更に含み、ここで、contrastFactorはコントラストパラメータを表す、請求項10または請求項15に記載の方法。
  17. 前記第2のダイナミックレンジから前記第1のダイナミックレンジに画像を戻してマッピングする逆方向ルックアップテーブルを決定することを更に含み、前記方法は、
    前記決定された伝達関数に基づいて、前記第1のダイナミックレンジにおける複数のx(i)値を、前記第2のダイナミックレンジにおけるy(i)値にマッピングする順方向ルックアップテーブルを決定することと、
    以下を設定することによって、前記第2のダイナミックレンジにおける複数のy’(k)値を前記第1のダイナミックレンジにおける対応するx’(k)値にマッピングする前記逆方向ルックアップテーブルを生成することと、
    Figure 2020510913
    を更に含む、請求項1から16のいずれか一項に記載の方法。
  18. プロセッサを備える装置であって、請求項1から17に記載のいずれか一項に記載の方法を実行するように構成される、装置。
  19. 1つ以上のプロセッサを用いて、請求項1から17のいずれか一項に記載の方法を実行するコンピュータ実行可能命令が記憶された非一時的コンピュータ可読ストレージ媒体。
JP2019543902A 2017-02-15 2018-02-12 ハイダイナミックレンジ画像のためのトーン曲線マッピング Active JP6738972B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201762459141P 2017-02-15 2017-02-15
EP17156284.6 2017-02-15
US62/459,141 2017-02-15
EP17156284 2017-02-15
US201762465298P 2017-03-01 2017-03-01
US62/465,298 2017-03-01
PCT/US2018/017830 WO2018152063A1 (en) 2017-02-15 2018-02-12 Tone curve mapping for high dynamic range images

Publications (2)

Publication Number Publication Date
JP2020510913A true JP2020510913A (ja) 2020-04-09
JP6738972B2 JP6738972B2 (ja) 2020-08-12

Family

ID=61244840

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019543902A Active JP6738972B2 (ja) 2017-02-15 2018-02-12 ハイダイナミックレンジ画像のためのトーン曲線マッピング

Country Status (11)

Country Link
US (1) US10600166B2 (ja)
EP (1) EP3559901B1 (ja)
JP (1) JP6738972B2 (ja)
KR (1) KR102122165B1 (ja)
CN (1) CN110337667B (ja)
BR (1) BR112019016825A2 (ja)
DK (1) DK3559901T3 (ja)
ES (1) ES2817852T3 (ja)
HU (1) HUE050807T2 (ja)
PL (1) PL3559901T3 (ja)
RU (1) RU2713869C1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7476354B2 (ja) 2020-05-08 2024-04-30 ホアウェイ・テクノロジーズ・カンパニー・リミテッド エンコーダ、デコーダ、システム、およびトーンマッピング曲線パラメータを決定するための方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3552178B1 (en) * 2016-12-12 2022-06-01 Dolby Laboratories Licensing Corporation Systems and methods for adjusting video processing curves for high dynamic range images
US10917583B2 (en) * 2018-04-27 2021-02-09 Apple Inc. Standard and high dynamic range display systems and methods for high dynamic range displays
US10863157B2 (en) * 2018-07-06 2020-12-08 Samsung Electronics Co., Ltd. Guided tone mapping of high dynamic range video based on a Bezier curve for presentation on a display device
EP3853809A1 (en) * 2018-09-17 2021-07-28 Dolby Laboratories Licensing Corporation Display mapping for high dynamic range images on power-limiting displays
US11127124B2 (en) * 2019-10-28 2021-09-21 Adobe Inc. Evenly spaced curve sampling technique for digital visual content transformation
EP4136634A1 (en) 2020-04-17 2023-02-22 Dolby Laboratories Licensing Corp. Chromatic ambient light correction
CN115552511A (zh) 2020-04-28 2022-12-30 杜比实验室特许公司 用于hdr显示器的图像相关对比度和亮度控制
US20230217067A1 (en) 2020-06-11 2023-07-06 Dolby Laboratories Licensing Corporation Producing and adapting video images for presentation displays with different aspect ratios
EP4172981A1 (en) 2020-06-30 2023-05-03 Dolby Laboratories Licensing Corporation Systems and methods for ambient light compensation using pq shift
JP2023551896A (ja) 2020-12-04 2023-12-13 ドルビー ラボラトリーズ ライセンシング コーポレイション 拡張次元ライトフィールド画像の処理
WO2022203826A1 (en) 2021-03-22 2022-09-29 Dolby Laboratories Licensing Corporation Luminance adjustment based on viewer adaptation state
WO2023009392A1 (en) 2021-07-29 2023-02-02 Dolby Laboratories Licensing Corporation Neural networks for dynamic range conversion and display management of images
WO2023028046A1 (en) 2021-08-24 2023-03-02 Dolby Laboratories Licensing Corporation Neural networks for precision rendering in display management
WO2023056267A1 (en) 2021-09-28 2023-04-06 Dolby Laboratories Licensing Corporation Multi-step display mapping and metadata reconstruction for hdr video
WO2023055612A1 (en) 2021-09-30 2023-04-06 Dolby Laboratories Licensing Corporation Dynamic spatial metadata for image and video processing
WO2023224917A1 (en) 2022-05-16 2023-11-23 Dolby Laboratories Licensing Corporation Trim pass metadata prediction in video sequences using neural networks

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004158006A (ja) * 2002-10-25 2004-06-03 Eastman Kodak Co デジタル画像の色調特性および空間特性を強調する方法
WO2017009182A1 (en) * 2015-07-16 2017-01-19 Thomson Licensing A method and device for tone-mapping a picture by using a parametric tone-adjustment function

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7298373B2 (en) 2003-06-11 2007-11-20 Agfa Healthcare Method and user interface for modifying at least one of contrast and density of pixels of a processed image
JP3949684B2 (ja) * 2004-04-30 2007-07-25 三菱電機株式会社 階調補正装置、階調補正用プログラム、携帯端末機器及びパーソナルコンピュータ
US7508550B2 (en) * 2004-06-17 2009-03-24 Fujifilm Corporation Image correcting apparatus and method, and image correcting program, and look-up table creating apparatus and method, and look-up table creating program
JP4277773B2 (ja) * 2004-09-21 2009-06-10 株式会社日立製作所 映像表示装置
JP4372747B2 (ja) * 2005-01-25 2009-11-25 シャープ株式会社 輝度レベル変換装置、輝度レベル変換方法、固体撮像装置、輝度レベル変換プログラム、および記録媒体
KR100707270B1 (ko) * 2005-08-17 2007-04-16 삼성전자주식회사 Rgb값을 이용한 영상 콘트라스트 개선 방법 및 장치
JP5299867B2 (ja) * 2009-06-30 2013-09-25 日立コンシューマエレクトロニクス株式会社 画像信号処理装置
JP2011228807A (ja) * 2010-04-15 2011-11-10 Nikon Corp 画像処理プログラム、画像処理装置、および画像処理方法
TWI538474B (zh) 2011-03-15 2016-06-11 杜比實驗室特許公司 影像資料轉換的方法與設備
US9036042B2 (en) * 2011-04-15 2015-05-19 Dolby Laboratories Licensing Corporation Encoding, decoding, and representing high dynamic range images
TWI521973B (zh) * 2011-04-15 2016-02-11 杜比實驗室特許公司 高動態範圍影像的編碼、解碼及表示
WO2013002146A1 (ja) * 2011-06-27 2013-01-03 シャープ株式会社 液晶表示装置
US9024961B2 (en) * 2011-12-19 2015-05-05 Dolby Laboratories Licensing Corporation Color grading apparatus and methods
CN105787909B (zh) * 2012-08-08 2018-07-20 杜比实验室特许公司 用于高动态范围图像的图像处理
EP2959682B1 (en) * 2013-02-21 2018-12-05 Dolby Laboratories Licensing Corporation Display management for high dynamic range video
EP2959672B1 (en) * 2013-02-21 2019-12-04 Koninklijke Philips N.V. Improved hdr image encoding and decoding methods and devices
PL3022902T3 (pl) * 2013-07-16 2020-06-29 Koninklijke Philips N.V. Sposób i urządzenie do tworzenia funkcji eotf dla uniwersalnego odwzorowywania kodu dla obrazu hdr
RU2670782C9 (ru) * 2013-07-18 2018-11-23 Конинклейке Филипс Н.В. Способы и устройства для создания функций отображения кода для кодирования изображения hdr и способы и устройства для использования таких кодированных изображений
JP6543442B2 (ja) * 2014-07-30 2019-07-10 ルネサスエレクトロニクス株式会社 画像処理装置および画像処理方法
DK3231174T3 (da) * 2014-12-11 2020-10-26 Koninklijke Philips Nv Optimering af billeder med højt dynamikområde til bestemte displays
CN107111980B (zh) * 2014-12-11 2021-03-09 皇家飞利浦有限公司 针对特定显示器优化高动态范围图像
KR102317035B1 (ko) * 2014-12-19 2021-10-25 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
WO2016192937A1 (en) * 2015-05-29 2016-12-08 Thomson Licensing Methods, apparatus, and systems for hdr tone mapping operator
EP3131284A1 (en) * 2015-08-13 2017-02-15 Thomson Licensing Methods, systems and aparatus for hdr to hdr inverse tone mapping
CN108521859B (zh) * 2015-11-24 2020-09-22 皇家飞利浦有限公司 用于处理多个hdr图像源的装置和方法
JP2017098845A (ja) * 2015-11-26 2017-06-01 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
ES2808177T3 (es) * 2015-12-21 2021-02-25 Koninklijke Philips Nv Optimización de imágenes de alto rango dinámico para pantallas particulares
EP3220349A1 (en) * 2016-03-16 2017-09-20 Thomson Licensing Methods, apparatus, and systems for extended high dynamic range ("hdr") hdr to hdr tone mapping
CN106023916B (zh) * 2016-06-08 2018-08-31 深圳市华星光电技术有限公司 伽马修正系统和方法
US10242435B2 (en) * 2016-09-07 2019-03-26 Gvbb Holdings S.A.R.L. High dynamic range processing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004158006A (ja) * 2002-10-25 2004-06-03 Eastman Kodak Co デジタル画像の色調特性および空間特性を強調する方法
WO2017009182A1 (en) * 2015-07-16 2017-01-19 Thomson Licensing A method and device for tone-mapping a picture by using a parametric tone-adjustment function

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7476354B2 (ja) 2020-05-08 2024-04-30 ホアウェイ・テクノロジーズ・カンパニー・リミテッド エンコーダ、デコーダ、システム、およびトーンマッピング曲線パラメータを決定するための方法

Also Published As

Publication number Publication date
KR102122165B1 (ko) 2020-06-11
ES2817852T3 (es) 2021-04-08
PL3559901T3 (pl) 2020-11-16
CN110337667A (zh) 2019-10-15
EP3559901B1 (en) 2020-08-05
DK3559901T3 (da) 2020-08-31
US20200005441A1 (en) 2020-01-02
US10600166B2 (en) 2020-03-24
HUE050807T2 (hu) 2021-01-28
RU2713869C1 (ru) 2020-02-07
BR112019016825A2 (pt) 2020-04-07
JP6738972B2 (ja) 2020-08-12
KR20190100416A (ko) 2019-08-28
CN110337667B (zh) 2023-09-08
EP3559901A1 (en) 2019-10-30

Similar Documents

Publication Publication Date Title
JP6738972B2 (ja) ハイダイナミックレンジ画像のためのトーン曲線マッピング
TWI671710B (zh) 用於高動態範圍影像之色調曲線映射
RU2762384C1 (ru) Переформирование сигналов для сигналов широкого динамического диапазона
US9613407B2 (en) Display management for high dynamic range video
JP6362793B2 (ja) ハイダイナミックレンジ映像のためのディスプレイマネジメント
TWI765253B (zh) 用於高動態範圍影像之顯示管理
CN110192223B (zh) 高动态范围图像的显示映射
WO2016172091A1 (en) Signal reshaping and coding in the ipt-pq color space
JP2020502707A (ja) ハイダイナミックレンジ画像のための映像処理曲線を調整するためのシステムおよび方法
KR102287095B1 (ko) 전력-제한 디스플레이 상에서의 하이 다이나믹 레인지 이미지를 위한 디스플레이 매핑
CN118020090A (zh) 用于hdr视频的多步骤显示映射和元数据重建
CA3233103A1 (en) Multi-step display mapping and metadata reconstruction for hdr video

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190814

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190814

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20191220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200303

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200605

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200623

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200720

R150 Certificate of patent or registration of utility model

Ref document number: 6738972

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250