JP2013543290A - 画像のダイナミックレンジの拡大 - Google Patents

画像のダイナミックレンジの拡大 Download PDF

Info

Publication number
JP2013543290A
JP2013543290A JP2013526106A JP2013526106A JP2013543290A JP 2013543290 A JP2013543290 A JP 2013543290A JP 2013526106 A JP2013526106 A JP 2013526106A JP 2013526106 A JP2013526106 A JP 2013526106A JP 2013543290 A JP2013543290 A JP 2013543290A
Authority
JP
Japan
Prior art keywords
mapping
sdr
dynamic range
content
video signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013526106A
Other languages
English (en)
Other versions
JP5723008B2 (ja
Inventor
ギッシュ,ウォルター
リ,ゼン
ピアン,ドナルド
ヴォート,クリストファー
キム,ヒュング−スック
ルホッフ,デイヴィッド
Original Assignee
ドルビー ラボラトリーズ ライセンシング コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ドルビー ラボラトリーズ ライセンシング コーポレイション filed Critical ドルビー ラボラトリーズ ライセンシング コーポレイション
Publication of JP2013543290A publication Critical patent/JP2013543290A/ja
Application granted granted Critical
Publication of JP5723008B2 publication Critical patent/JP5723008B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/67Circuits for processing colour signals for matrixing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0271Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0271Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G09G2320/0276Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping for the purpose of adaptation to the characteristics of a display device, i.e. gamma correction
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/06Colour space transformation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

画像のダイナミックレンジを拡大することが記載される。第一のダイナミックレンジに関連する第一のカラーギャマットをもつ第一の色空間で表現される入力ビデオ信号は、第二のカラーギャマットをもつ第二の色空間で表現されるビデオ信号に変換される。第二の色空間は、第二のダイナミックレンジに関連される。変換されたビデオ信号の少なくとも2色(例えば3色)に関連する成分は、第二のダイナミックレンジにマッピングされる。

Description

本発明は、画像に関するものである。より詳細には、本発明の実施の形態は、画像及び映像のダイナミックレンジを拡大することに関する。
本出願は、2010年8月25日に提出された米国特許仮出願第61/376,907号、及び2011年4月12日に提出された米国特許仮出願第61/474,644号に対する優先権を主張するものであり、両者は、あらゆる目的についてその完全な形で本明細書に盛り込まれる。
本明細書で使用されたとき、用語「ダイナミックレンジ(DR)」は、例えば最も暗い暗さから最も明るい明るさまでといった、画像における強度(例えば輝度、ルマ)の範囲を知覚する人間の心理視覚システム(HVS: Human Psychovisual System)の機能に関する。この意味で、DRは、“scene-referred”な強度に関連する。また、DRは、特定の幅の強度範囲を適切に又は近似的にレンダリングする表示装置の機能に関する。この意味で、DRは、“display-referred”な強度に関連する。本明細書の記載における何れかの位置で特定の意味を有するように特定の意味が明示的に指定されない場合、この用語は例えば相互交換可能に何れかの意味で使用される場合があることが推定される。
本明細書で使用されたとき、用語「ハイダイナミックレンジ(HDR)」は、HVSの14〜15のオーダの大きさに及ぶDRの幅(breadth)に関する。例えば、(例えば統計学的、生体測定又は眼科学的な意味の1以上において)本質的な正常さをもつ良好に適合された人間は、約15のオーダの大きさに及ぶ強度範囲を有する。適合された人間は、数えるぐらいに少ない光子の暗い光源を知覚する場合がある。さらに、これら同じ人間は、砂漠、海又は雪における非常に光り輝く真昼の太陽を知覚する(又はダメージを防止するためにちらりと太陽を見る)場合がある。このスパンは、にもかかわらず、例えばそのHVSがリセット及び調節する期間を有する「適合された」人間にとって利用可能である。
対照的に、強度の範囲において広範囲に及ぶ幅を人間が同時に知覚するDRは、HDRに関連して幾分切り詰められる。本明細書で使用されたとき、用語「ビジュアルダイナミックレンジ」又は「可変ダイナミックレンジ(VDR)」は、NVSにより同時に知覚可能なDRに個別に又は交換可能に関連する。本明細書で使用されるとき、VDRは、5〜6のオーダの大きさに及ぶDRに関する。従って、scene-referredなHDRに関連して恐らく幾分狭いが、VDRは、それにも係わらず広いDRの幅を表す。本明細書で使用されたとき、用語「同時のダイナミックレンジ」は、VDRに関連する。
かなり最近まで、ディスプレイは、HDR又はVDRよりも著しく狭いDRを有している。典型的に陰極線管(CRT)、及び不変の蛍光灯の白色バックライト又はプラズマスクリーン技術を液晶ディスプレイ(LCD)を使用するテレビジョン(TV)及びコンピュータモニタ装置は、それらのDRレンダリング機能において近似的に3のオーダの大きさに制約される。係る従来のディスプレイは、VDR及びHDRに関して、「ロウダイナミックレンジ」又は「LDR」と呼ばれることがある、標準的なダイナミックレンジ(SDR)を具現する。本明細書で使用されるとき、用語「スタンダードダイナミックレンジ」及び「ロウダイナミックレンジ」及び/又はそれら対応する略記「SDR」及び「LDR」は、同意語及び/又は交換可能に使用される。
それらの基礎となる技術における利点は、より現代的なディスプレイが現代的でないディスプレイでレンダリングされるときと、同じコンテンツを通して様々な品質の特性における大幅な改善により画像及び映像コンテンツをレンダリングすることを可能にする。例えば、より現代的なディスプレイ装置は、高精度(HD)コンテンツ及び/又はイメージスケーラのような様々な表示機能に従ってスケーリングされるコンテンツをレンダリング可能である。さらに、幾つかの現代的なディスプレイは、従来又は標準的なディスプレイのSDRよりも高いDRをもつコンテンツをレンダリング可能である。
例えば、幾つかの現代的なLCDディスプレイは、発光ダイオード(LED)アレイを有するバックライトユニット(BLU)を有する。BLUのLEDは、能動LEDエレメントの分極状態の変調から個別に変調される。この二重の変調アプローチは、BLUアレイとLCDスクリーンエレメントとの間の制御可能な介在層によるような、(たとえなNを2を超える整数としてN変調層に)拡大可能である。それらのLEDアレイに基づくBLU及び二重(又はN重)変調は、係る特徴を有するLCDモニタのdisplay-referred DRを効果的に増加する。
従来のSDRディスプレイに関して、しばしば呼ばれる係る「HDRディスプレイ」及びそれらが可能なDR拡大は、画像、映像コンテンツ及び他の視覚情報を表示する能力において大幅な進歩を表す。係るHDRディスプレイがレンダリングするカラーギャマットは、ワイドカラーギャマット(WCG)をレンダリング可能なポイントにまで、より従来のディスプレイのカラーギャマットを大幅に超える場合がある。「次世代」映画及びTVカメラにより生成されるような、シーンに関連するHDR又はVDR及びWCG画像コンテンツは、(以下、「HDRディスプレイ」と呼ばれる)「HDR」ディスプレイで正確且つ効果的に表示される。本明細書で使用されたとき、第一のカラーギャマットが第二のカラーギャマット「よりも大きい」旨の提示は、第二のカラーギャマットよりも広く、深く又は大きなビット深度を有する第一のカラーギャマットに関する。本明細書で使用されるとき、第二のカラーギャマットが第一のカラーギャマット「よりも小さい」旨の提示は、第一のカラーギャマットよりも狭く、浅く、低く又は少ないビット深度を有する第二のカラーギャマットに関する。
SVC及びHDTV技術のように、画像のDRを拡大することは、分岐したアプローチを典型的に含む。例えば、現代的なHDR対応カメラで捕捉されたscene-referredなHDRコンテンツは、従来のSDTディスプレイで表示されるコンテンツSDRバージョンを生成するために使用される。捕捉されたHDRバージョンからSDRバージョンを生成することは、グローバルトーンマッピング演算子(TMO)をHDRコンテンツにおける(例えば輝度、ルマといった)強度に関連した画素値に適用することを含む。帯域幅を節約するため又は他の考慮のため、実際に捕捉されたHDRコンテンツの送信は、最良のアプローチではない場合がある。
従って、オリジナルTMOに関して逆転された、グローバル逆トーンマッピング演算子(iTMO)は、生成されたSDRコンテンツに適用され、HDRコンテンツのバージョンが予測されるのを可能にする。予測されたHDRコンテンツバージョンは、オリジナルで捕捉されたHDRコンテンツに比較される。例えば、オリジナルHDRバージョンから予測されたHDRバージョンを引くことで、残差画像が生成される。エンコーダは、ベースレイヤ(BL)として生成されたSDRコンテンツを送出し、エンハンスメントレイヤ(EL)として生成されたSDRコンテンツバージョン、残差画像、及び他の予測子をパッケージングする。
ELを、そのSDRコンテンツ、残差及び予測子と共にビットストリームで送出することは、典型的に、ビットストリームでダイレクトにHDRコンテンツの送出において消費されるよりも少ない帯域幅を消費する。エンコーダにより送出されたビットストリームを受信する互換性のあるデコーダは、従来のディスプレイでSDRをデコード及びレンダリングする。しかし、互換性のあるデコーダは、残差画像及びiTMO予測子を使用して、より有能なディスプレイでHDRコンテンツの予測されたバージョンを計算する。それは、帯域幅の節約であり、2層のBL/ELアプローチを、(HDTV及びSDCと同様に)HDRからSDRへの変換、及びSDRからHDRへの変換を行うコーデックにおいて少なくとも部分的にユビキタスにする。
このセクションで記載されたアプローチは、追及されたアプローチであるが、必ずしも前に思いついた又は追及されたアプローチではない。従って、他に指定がない限り、このセクションで記載されたアプローチの何れかはこのセクションにおける包含の理由で単に従来技術として適格であると見なされるべきではない。同様に、1以上にアプローチに関して識別された問題は、特に指定がない限り、このセクションに基づいて従来技術において認識されているように見なされるべきではない。
本明細書では画像のダイナミックレンジを拡大することが記載される。以下の記載では、説明のために、本発明の完全な理解を提供するため、様々な特定の詳細が説明される。これらの特定の詳細なしに本発明が実施される場合があることは明らかである。他の例では、公知の構造及び装置は、本発明を不要に閉塞するか、不明瞭にするか又は曖昧にすることを回避するため、詳細に記載されない。
本明細書で記載される例示的な実施の形態は、画像のダイナミックレンジを拡大することに関する。実施の形態は、第一のダイナミックレンジに関連する第一のカラーギャマットをもつ第一の色空間で表現される入力ビデオ信号を、第二のカラーギャマットをもつ第二の色空間で表現されるビデオ信号に変換する。第二の色空間は、第二のダイナミックレンジと関連される。変換されたビデオ信号の少なくとも2色(例えば3色)に関連する成分は、第二のダイナミックレンジを通してマッピングされる。
本発明の実施の形態は、参照符号が類似のエレメントを示す添付図面において、限定されることなしに例示される。
本発明の実施の形態に係る例示的なプロセスのフローチャートを示す。 本発明の実施の形態に係るSDRコンテンツバージョンとVDRコンテンツバージョンとの間の例示的なマッピングを示す図である。 本発明の実施の形態に係る例示的なVDRアーキテクチャを示す図である。 本発明の実施の形態に係る例示的なVDRアーキテクチャを示す図である。 本発明の実施の形態に係る例示的なSDRフィルタリング及びマッピングフローを示す図である。 本発明の実施の形態に係る例示的な計算されたパラメータ化された多項式曲線を示す図である。 本発明の実施の形態に係る例示的な可逆的なマッピングを示す図である。 本発明の実施の形態に係る例示的なプロセスのフローチャートである。 本発明の実施の形態に係る例示的な正規化プロセスを示す図である。 本発明の実施の形態に係る正規化の例を示す図である。 本発明の実施の形態に係る正規化の例を示す図である。 本発明の実施の形態に係る例示的なコーデックを示す図である。 本発明の実施の形態に係る例示的なコーデックを示す図である。 本発明の実施の形態に係る例示的なシグナルフローを示す図である。 本発明の実施の形態に係る例示的なシグナルフローを示す図である。 本発明の実施の形態に係るマッチングされたエンコーダ/デコーダのペアを示す図である。 本発明の実施の形態に係る例示的な拡大を示す図である。 本発明の実施の形態に係る例示的なQP制御を示す図である。 本発明の実施の形態に係る例示的な画像データパケットを示す図である。 本発明の実施の形態に係る例示的な復号化されたシグナルアプリケーションを示す図である。 本発明の実施の形態に係る例示的なカラーギャマットを示す図である。 本発明の実施の形態が実施される例示的なコンピュータシステムプラットフォームを示す図である。 本発明の実施の形態が実施される例示的な装置を示す図である。
[例示的なプロセス]
本実施の形態は、画像のダイナミックレンジを拡大するプロセスに関する。図1は、本発明の実施の形態に係る、例示的なプロセス100のフローチャートである。実施の形態は、第一のダイナミックレンジに関連する第一のカラーギャマットをもつ第一の色空間で表現される入力ビデオ信号を、第二のカラーギャマットをもつ第二の色空間で表現されるビデオ信号に変換する(101)。第二の色空間は、第二のダイナミックレンジと関連される。変換されたビデオ信号の少なくとも2色に関連する成分は、第二のダイナミックレンジを通してマッピングされる(102)。
第二のダイナミックレンジは、第一のダイナミックレンジよりも広い(例えば幅が広い範囲、又は深い範囲に及ぶ)。ビデオ信号に関して、イントラフレームに基づいて、第二のダイナミックレンジは、通常の人間の視覚系(HVS)により同時に知覚可能な色及び/又は強度の範囲に及ぶか又は近似する。この意味で本明細書で使用されたとき、用語「通常“normal”」は、統計的、精神測定的、生体測定的又は眼科学的な意味、診断、評価、結論又は推論のうちの1以上に関連する。
第一のダイナミックレンジは、1以上の標準的(又は「ロウ“low”」)なダイナミックレンジ(SDR又は「LDR」)のモニタ又はディスプレイ、陰極線管(CRT)モニタ又はディスプレイ、又は例えば非変調固体白色BLUをもつ従来のLCDでレンダリング可能な色及び/又は強度の範囲に及ぶか又は近似する。(第二の色空間の)第二のカラーギャマットは、(第一の色空間の)第一のカラーギャマットよりも大きい。
変換及びマッピングに基づいて、1以上の入力ビデオ信号、入力ビデオ信号で表現されるか、送信されるか、記憶されるか又はレンダリングされるか画像又は複数の画像フレーム、又は第一のダイナミックレンジは、1以上の変換されたビデオ信号、第二のダイナミックレンジで表現されたか、送信されたか、記憶されたか又はレンダリングされた変換された画像又は複数の変換された画像フレームに変換される(103)。
第一の色空間及び/又は第二の色空間は、「赤/緑/青」(RGB)色空間を有する。RGB色空間は、3色に関連する成分を有する。色に関連する成分は、赤の成分、緑の成分及び青の成分を有する。マッピングステップは、変換されたビデオ信号の3色に関連する成分を第二のダイナミックレンジを通してマッピングすることを含む。第一の色空間は、ITU(International Telecommunication Union)のBT.709勧告の規格に関連するRGB色空間に実質的に準拠する。第二の色空間は、AMPAS(Academy of Motion Picture Arts and Sciences)のACES(Academy Color Encoding Specification)規格、DCI(Digital Cinema Initiative)の(例えばSMPTE(Society of Motion Picture and Television Engineers)リファレンス:Rp431-2-2007;Eg432-1-2007といった)P3色空間規格、又はRIMM/ROMM(Reference Input Medium Metric/Reference Output Medium Metric)規格に関連するRGB色空間の少なくとも1つに実質的に準拠する。
マッピングステップは、変換された入力ビデオ信号の少なくとも2色に関連する成分にグローバルトーンマッピング処理を施すことを含む。マッピングステップは、変換されたビデオ信号の3色に関連する成分にグローバルTMOを施すことを含む。
実施の形態は、変換された入力ビデオ信号の少なくとも2色(例えば3色)に関連する成分のそれぞれと関連する飽和レベル104を維持する。飽和レベルの維持は、第二のダイナミックレンジを通して入力ビデオ信号に関連する強度値をマッピングすることを含む。強度値は、変換されたビデオ信号のルマ又は輝度に関連した特性を含む。
強度値は、第一のゲイン設定に従ってスケーリングされる。第一のゲイン設定は、変換されたビデオ信号の少なくとも2色(例えば3色)に関連する成分の色、色度又はクロマに関連する特性に関連する値に関して、10%と20%の間の値を有する。実施の形態では、第一のゲイン設定の値は、変換されたビデオ信号の少なくとも2色(例えば3色)に関連する成分の色、クロマ又は色度の特性に関連する値に関して、15%に等しいか又は近似する。
実施の形態では、マッピングステップは、第一のダイナミックレンジ及び色空間、並びに第二のダイナミックレンジ及び色空間に関して可逆である。マッピングは、第一のダイナミックレンジをもつビデオ信号でシーンが符号化される第一の画像を、第二のダイナミックレンジでシーンがレンダリング及び表示可能である第二の画像で正規化することを含む。マッピングステップは、無損失に可逆である。変換ステップ及び/又はマッピングステップは、3×3アレイのような1以上の複数のマトリクスを連結するか、TMO(相補的又は補助的であるiTMOで無損失に可逆であるか、類似のやり方でTMOに対応する)のような複数の可逆的な非線形マッピングを連結することを含む。付加的又は代替的な実施の形態では、変換ステップ及び/又はマッピングステップは、非線形マッピングと同様に、又は非線形マッピングの代わりに、線形マッピングを連結することを含む。
変換されたビデオ信号は、高精度のVDRバージョンのコンテンツを含む。入力ビデオ信号は、低精度のSDRバージョンのコンテンツを含む。マッピングステップは、高精度のSDRバージョンのコンテンツを推定することを含む。推定するステップは、高精度のSDRバージョンのコンテンツの反復的な一連の推定を生成することを含む。生成するステップは、高精度のSDRバージョンのコンテンツ及び/又はマッピングを反復的に更新することを含む。マッピングは、高精度のVDRバージョンのコンテンツと低精度のVDRバージョンのコンテンツ又は高精度のSDRバージョンのコンテンツとの間のレイヤ間のマッピングを含む。
高精度のVDRコンテンツ及び/又は高精度のSDRコンテンツのバージョンは、第一のビットの精度の範囲を含む。第一のビットの精度の範囲は、少なくとも12ビット、12ビットと14ビットを含めて12ビットと14ビットとの間、又は14ビット以上のビット範囲を含む。低精度のSDRコンテンツのバージョンは、第二のビット精度の範囲を含む。第二のビット精度の範囲は、10ビット、10ビット未満、又は第一のビットの精度未満であるビット精度のビットの範囲を含む。
マッピングステップは、ブラインド計算及び/又はインフォームド計算で先行される。ブラインド計算は、SDRコンテンツバージョンをフィルタリングすることを含む。SDRコンテンツバージョンのフィルタリングは、ビデオコンテンツの画像の1以上の平滑な領域において知覚可能な1以上の輪郭のアーチファクトを除去することを含む。実施の形態は、SDRコンテンツバージョンに双方向フィルタを使用する。インフォームド計算は、高精度のSDRコンテンツのバージョンの推定を含む。高精度のSDRのコンテンツのバージョンを推定することは、繰返し計算を含む。繰返し計算は、高精度SDR及びマッピングを繰返し更新することを含み、マッピングは、レイヤ間のマッピングを含む。
本発明の実施の形態は、ベースレイヤ/エンハンスメントレイヤのアプローチの両者を除き、画像のダイナミックレンジの拡大における(画素の輝度又はルマのような)画像の強度値に基づくグローバルトーンマッピング演算子又は他の予測子の使用を除く。プロセス100は、SDRコンテンツのバージョンのVDRバージョンへのマッピングを含む。
[例示的なSDR-VDRマッピング]
図2は、本発明の実施の形態に係る、SDRコンテンツバージョンとVDRコンテンツバージョンとの間の例示的なマッピング200を示す。SDRコンテンツバージョンを含むビデオ信号は、コンバータ201に入力される。コンバータ201は、異なる色空間の間で入力のSDRコンテンツバージョンを変換する。例えば、入力色空間及び変換色空間は、RGB色空間を共に有しており、RGB色空間は、3色に関連する成分である赤成分、緑成分及び青成分を有する。入力色空間は、ITU BT.709と関連するRGB色空間に実質的に準拠する。変換色空間は、AMPAS‘ACES’色空間規格、DCI‘P3’色空間規格、又はRIMM/ROMM色空間規格に関連する少なくともRGB色空間に実質的に準拠する。
実施の形態では、SDR-VDRマッピングは、色関連成分のそれぞれに施される。従って、赤成分202、緑成分203及び青成分204は、VDRコンテンツバージョンにマッピングされる。
実施の形態は、変換された入力ビデオ信号の色に関連する成分と関連する飽和レベルを維持する。飽和レベルの維持は、入力ビデオ信号に関連する強度値を第二のダイナミックレンジにマッピングすることを含む(205)。強度値は、変換されたビデオ信号のルマ又は輝度に関連する特性を有する。強度値は、第一のゲイン設定208‘α’に従ってスケーリングされる。
第一のゲイン設定208は、変換されたビデオ信号の少なくとも2色(例えば3色)に関連する成分の色、色度又はクロマに関連する特性に関連する値に関して10%と20%との間の値を有する。実施の形態では、第一のゲイン設定208の値は、変換されたビデオ信号の少なくとも2色(例えば3色)に関連する成分の色、クロマ又は色度の特性に関連する値に関して、15%に等しいか又は近似する。ゲイン設定208は、変換されたビデオ信号の少なくとも2色(例えば3色)に関連する成分の色、色度又はクロマに関連する特性に関連する値に関して別の値(例えば1%から100%に及ぶ)を有する場合がある。
赤成分のマッピング202、緑成分のマッピング203及び青成分のマッピング204は、(1-α)のゲイン設定に従ってスケーリングされる。スケーリングされた色成分のマッピング及びスケーリングされた飽和維持の強度値は合計され(209)、高精度の色空間情報(例えばACES及び/又はP3)をもつVDRコンテンツバージョンを生成する。
[例示的なアーキテクチャ]
図3A及び図3Bは、本発明の実施の形態に係る、例示的なVDRアーキテクチャ300を示す。VDRアーキテクチャ300は、エンコーダ310及びデコーダ320を含む。エンコーダ310は、SDRフィルタリング及びマッピング分析311及びエンコーダモジュール312を含む。SDRフィルタリング及びマッピング分析311は、(例えばACES及び/又はP3といった)広いカラーギャマットの色空間情報と、例えば10ビット以下のビット深度をもつSDRコンテンツを含む入力を受信する。SDRコンテンツは、比較的小さいギャマットの色空間情報(例えばITU BT.709)を有する。SDRフィルタリング及びマッピング分析311は、中間出力をエンコーダモジュール312に供給する。
中間出力は、標準的な(「ロウ」)DR(SDR又は「LDR」)、拡大されたDR(VDR)、及び高精度(例えば14ビットのビット深度)のバージョンのSDRコンテンツの間のマッピングを含む。SDRフィルタリング及びマッピング分析311の中間出力から、エンコーダモジュール312は、エクスポートの出力を生成し、この出力は、(例えばMPEG-4/H.264/AVCと実質的に互換性がある)互換性のあるAVC(Advanced Video Codec)ビットストリーム、SDRフィルタリング及びマッピング分析311及びエンコーダモジュール312を通して実行されたマッピング及び/又は変更に関連するメタデータを含む。
デコーダ320は、デコーダモジュール321及びマッピング及び変換モジュール322を含む。デコーダモジュール321は、互換性があるAVCビットストリームと、(例えばエンコーダ310である)SDR-VDRエンコーダでAVCコンパチブルビットストリームのコンテンツに施されたマッピング及び/又は変更に関連するメタデータを含む入力を受信する。デコーダモジュール321は、AVCコンパチブルビットストリームコンテンツをデコードし、メタデータ入力と共に、マッピング及び変換モジュール322に中間出力を供給する。
中間出力は、SDRコンテンツとVDRコンテンツとの間のマッピング、及びSDRコンテンツの高精度(例えば14ビットのビット深度)バージョンを含む。マッピング及び変換モジュール322は、中間出力を処理し、‘LogLuv’(LogLu’v’のような)付加的又は代替的な色空間、又はVDR又はHDRコンテンツに関連される他の高精度色空間において高精度の色空間情報を有するVDRコンテンツバージョンを生成する。
[例示的なフィルタリング及びマッピングフロー]
階層化されたBL/ELアーキテクチャは、有意な関連するビットコストを有する、本質的に絶対の忠実度で、SDRコンテンツ及びVDRコンテンツの両者を符号化することを典型的に狙いとしている。対照的に、本発明の実施の形態は、ある意味で絶対的な忠実度を効果的になしで済ませる。しかし、実施の形態は、最新式且つ即座に予測できるVDR/HDR対応ディスプレイで知覚的に適切な忠実度を達成する。例えばある画像又は映像における(例えば仮説に基づいた)光特性が1平方メートル当たり1200カンデラ(Cd/m2又はnits)の絶対強度(例えば明るさ、輝度、ルマ、明度)を有する場合、実施の形態は、1100nitsでVDR/HDRディスプレイの光特性をレンダリングする。通常のビューアにとって、光特性は、非常に明るい光として見え。ディスプレイのHDR機能の影響が維持される。このように、実施の形態は、高精度のSDR画像への所定の変更の程度の許容範囲の釣り合いを取り、2つの間のグローバルマッピングを効果的に達成する、例えば逆マッピングからのVDRにおけるある種の欠陥を可能にする。
図4は、本発明の実施の形態に係る、例示的なSDRフィルタリング及びマッピングフロー400を示す。フィルタ情報モジュール401は、VDR入力を受信し、このVDR入力は、ワイドギャマット(例えばACES,P3)の色空間において(例えばSDRに関連するカラーギャマットに関して)比較的高い精度のRGB情報で符号化される。フィルタ情報モジュール401は、そのVDR/高精度のRGB入力で施されたフィルタリングプロセスに関する情報を除き、高精度のVDR’/RGB情報を逆マッピングモジュール405に供給する。
線形色空間変換モジュール402は、SDR入力(例えば10ビット)を受信し、このSDR入力は、標準ギャマット(例えばITU BT.709)色空間で表現される(例えばVDRに関連するカラーギャマットに関して)比較的低い精度のRGB情報で符号化される。線形色空間変換モジュール402は、SDRを処理し、標準ギャマットの色成分を、ACES又はP3色空間のような比較的ワイドなギャマットのRGB色空間に変換する。線形色空間変換モジュール402の出力は、情報加算モジュール403への入力を提供する。
情報加算モジュール403は、そのSDR入力を処理し、(例えばトーンに関連する)更なる情報を加算し、ワイドギャマットのRGB色空間において高精度(例えば14ビット)のSDR’を出力する。
逆マッピングモジュール405は、フィルタ情報モジュール401及び情報加算モジュール403からの入力を処理し、SDRコンテンツバージョンからVDRコンテンツバージョンへのマッピングを生成する。逆マッピングモジュール405は、生成されたSDR-VDRマッピングを出力する。ワイドギャマットRGB色空間における高精度(例えば14ビット)のSDR’は、線形色空間変換モジュール404に供給される。線形色空間変換モジュール404は、情報加算モジュール403の高精度のSDR’/ワイドギャマットRGB色空間出力を、(例えばITU BT.709といった)標準カラーギャマットをもつ高精度SDR’に変換する。変換の実行に応じて、線形色空間変換モジュール404は、AVCコンパチブルビットストリームの成分として、(例えばITU BT.709といった)標準カラーギャマットをもつ高精度SDR’を出力する。復号化されたとき、逆マッピングモジュール405で生成された出力SDR-VDRマッピングは、SDRコンテンツバージョンからVDRコンテンツバージョンへの変換をマッピングし、これにより何れか(又は両者)のコンテンツバージョンが表示されるのを可能にする。逆マッピングモジュール405で生成されたマッピングは、可逆的である。
図5Bは、本発明の実施の形態に係る、例示的な可逆的なマッピングを示す。可逆的なマッピングは、可逆的なマッピングモジュール405で生成されたマッピングを表す。VDRコンテンツバージョン511は、高精度のSDR’のコンテンツバージョン522にマッピングする。マッピングは、TMO515を有する。逆マッピング演算525により、高精度のSDR’のコンテンツバージョン522は、VDRコンテンツバージョン511にマッピングする。逆マッピングは、iTMO525を有し、このiTMOは、TMO515と相補的、補足的であるか、又はさもなければ逆転された対応関係である。高精度のSDR’522は、(例えば8ビットの)低精度のSDR535にフィルタリング(例えば生成)される。
従って、実施の形態は、高精度のSDRのコンテンツバージョンで機能するが、これらのコンテンツバージョンは、入力SDRの「単なる」高精度バージョンを超える。代わりに、高精度のSDRのコンテンツバージョンは、低精度度で復号化されたときに、入力の低精度度のSDRと同様のやり方で見られるか又は知覚される。さらに、実施の形態は、フィルタ情報モジュール401への入力VDR以外を含むVDRコンテンツバージョンを符号化する。代わりに、実施の形態は、フィルタ情報モジュール401に入力されるVDRの「概観“look”」を同時に保持するが、高精度SDR’との厳密に可逆の関係を維持するVDRコンテンツを符号化する。従って、この意味で、フィルタ情報モジュール401で生成されたVDR’は、モジュール401へのVDRコンテンツの入力を少なくとも厳密に近似する。情報加算モジュール403で生成された高精度のSDR’は、ある意味で、線形色空間変換器401に入力されるSDRコンテンツよりも高い品質のSDRのコンテンツバージョンである。これは、高精度のSDR’のコンテンツは、ある意味で、入力の10ビットSDRの最初の作成の間に不要に除去された情報を含むためである。
従って、実施の形態は、非線形マッピングによりダイナミックレンジを低減し、フィルムを本質的にエミュレートし、個々のR,G及びB成分(又は例えば3つの色成分のうちの2つ)をマッピングする。マッピングによって飽和及び/又は色相回転となる場合、実施の形態は、マッピングをスケーリングするか、及び/又は(例えば約15%のファクタにより)強度に関連する飽和を維持するマッピングをスケーリングする。この特徴は、AMPASのIIF(Image Interchange Framework)RRT(Reference Rendering Transform)で採用されるアプローチと一致する。従って、実施の形態は、フィルム、カメラの機能、人間の目の錐体及び/又はある程度一般的な色補正アプローチに類似した、物理的なDRの低減をエミュレートする。
実施の形態は、RGB色成分に対してパラメータ化された多項式曲線(例えばS曲線)のような非線形伝達関数を課す。図5Aは、本発明の実施の形態に係る、例示的な計算されたパラメータ化された多項式曲線500を示す。曲線500のボディは、垂直軸上の出力及び水平軸上の入力により、対数−対数プロット(例えば底10)において近似的に一定の傾きγをもつ実質的に直線である。曲線500の先端は、影又は暗い空間のような比較的低い値に対応する。曲線500の肩は、ライト及びハイライトのような比較的高い値に対応する。実施の形態は、強度に関連するスケーリングファクタのような飽和の補正を適用し、飽和、色相及び/又は色合いの1以上に関連するシフトする色空間がシフトするのを防止する。付加的又は代替的な実施の形態は、例えば非線形伝達関数の代わりに、線形伝達関数をRGB色成分に課す。
実施の形態におけるマッピングの複雑度に関する下限は、非線形の原色の補正の近似又は変換NLxと、マトリクスに基づく二次色補正の近似又は変換Mtxとの積により拘束される。実施の形態は、第一のマトリクスに基づく二次色の補正の近似又は変換Mtx、非線形の原色の補正の近似又は変換NLx、及び第二のマトリクスに基づく二次色の補正の近似又は変換Mtx’の積MNM=Mtx・NLx・Mtx’に対応するある程度一般的な‘MNM’マッピングを使用する。付加的な又は代替的な実施の形態では、マッピングの複雑度に関する下限は、例えば非線形の原色の補正の近似又は変換と同様に又は代わりに、線形の原色の補正の近似又は変換NLxと、マトリクスに基づく二次色の補正の近似又は変換NLxとの積により拘束される。
実施の形態は、同時に知覚可能なVDRの基本的な考えに一致する、順応レベルに正規化される知覚のメトリックに従って本質的に機能する。例えば、信号対雑音比(SNR)の知覚のメトリックは、ピーク信号対雑音比(PSNR)知覚のメトリックと共に又は代替的として使用される。実施の形態は、計算されたまさに知覚可能な差(JND: Just Noticeable Difference)のような実際に(例えばかろうじて)目に見えるものと、知覚可能な又は意義のあるものとを区別する。明るい画像又はフレーム領域に現れるエラーは、暗い画像又はフレーム領域に現れるエラーよりも知覚可能であるように見える。実施の形態は、符号化の間に3つのメトリクスのうちの1以上又は全部を使用する。(例えば2×104といった)制限されたDRに関するPSNR、自己正規化(self-normalizing)SNR、及び/又はトーンマッピングSSIM(TM-SSIM)のようなSSIM(Structural SIMilarity Index)に基づく測定。
SSIMは、(2つの信号間の平均平方誤差をのみを測定する)PSNRアプローチとは対照的に、(1)強度の比較、(2)コントラストの比較及び(3)構造の比較という3つの個別のコンポーネントを含む。3つの個別の成分は、HDR/VDR信号における視覚的な差を良好に考慮する。さらに、SSIMを計算することは、PSNRアプローチよりもある程度複雑であるが、VDP(Visual Difference Predictor)又はJNDのようなHVSに基づくメトリクスを超える効率を達成する。
実施の形態は、ある態様において入力VDRとは異なるが、高精度/WCG SDRコンテンツをもつ可逆の関係を同時に維持するとき、入力VDRの「概観」を保持するVDR’コンテンツをエンコードする。従って、VDR’は、前の例の意味で、VDRに「近い」。さらに、SDR’は、ある意味で、少なくとも、入力の10ビットSDRの最初の作成の間に不必要に除去された情報を搬送するという意味で、「良好な」SDRのバージョンである。
図5Cは、本発明の実施の形態に係る、例示的なプロセス50のフローチャートを示す。プロセス50は、変更されたVDRコンテンツに関して正規化された高精度SDR’を合成する。ステップ51で、(例えばACES又はP3のような拡大された色空間におけるRGBといった)VDR及び(例えばその最初のBT-709色空間から変換された拡大された色空間におけるRGB)SDRが入力される。ステップ52で、VDR’は、VDRと同じと考えられ、SDR’は、SDRと同じと考えられる。ステップ53で、可逆マッピングM[]が推定される。ステップ54で、推定された可逆マッピングM[]が十分であるかが判定される。十分であると判定された場合、ステップ55で、(例えば拡大された色空間におけるRGBといった)VDR’、(例えば拡大された色空間における高精度のRGBといった)SDR’、及び推定された可逆のマッピングM[]が出力される。十分であると判定されない場合、ステップ56で、1以上の推定された可逆マッピングM[]、VDR’及び/又はSDR’が変更される。推定された可逆マッピングM[]、VDR’及び/又はSDR’の変更に応じて、プロセス50は、ステップ51に反復的に進み、繰り返す。
図6は、本発明の実施の形態に係る、例示的な正規化処理600を示す。正規化モジュール605は、10ビットの低精度SDRの入力及び12ビットのVDRの入力を受信する。正規化モジュール605は、12ビットのVDR’を出力し、この出力は、可逆のマッピングM[]により高精度の12+bitsのSDR’バージョンにマッピングされる。実施の形態では、正規化は、入力のVDRの前処理技術を有し、この前処理技術は、少なくとも2つの機能のうちの1以上を実行する。はじめに、正規化は、可逆的なマッピングを提供する。実施の形態では、可逆的なトーンマッピングは、S形状の多項式712及び722(例えば及び/又は図5の曲線500)のようなパラメータ化された多項式曲線に実質的に準拠する。実施の形態では、可逆のトーンマッピングは、複数のパラメータ化された多項式曲線のセットの1以上に準拠する。
図7Aは、本発明の実施の形態に従って、フォワードマッピングにおいて実行されるクリッピングがなされていないマッピングの反転の例を示す。トーンマッピング711は、VDR信号のハードクリッピングを提供するマッピング予測子M[]で示される。図7A(及び例えば図7B)では、水平方向軸は、VDR値を表し、垂直方向軸は、SDR値を表す。フォワードマッピングM[]は、SDR’=M[VDR]であるようにVDRに作用する。トーンマッピング712は、VDR信号のソフトクリッピングで示される。ソフトクリッピングは、高精度SDR’に情報を加え、ある意味で、対応するVDRバージョンに幾分類似させるやり方でSDR’信号をレンダリングし、従って改善を表す。しかし、結果として得られるSDR’信号が高精度のビット深度(例えば14ビット)を有するが、SDR’信号は、低精度のビット深度(例えば8ビット)を有するSDRコンテンツに対してほとんど知覚できない改善を示す。
第二に、正規化は、SDRコンテンツバージョン及びVDRコンテンツバージョンをグローバルマッピングに一致させ、これにより局所的な変動が効果的に除去される。図7Bは、本発明の実施の形態に係る、グローバルトーンマッピング720の例を示す。実施の形態は、複数のトーンマップのセットの1以上を選択する。トーンマップ721は、複数のトーンマップを示し、1つのトーンマップは、ローカルトーンマッピングを例示する異なる領域にそれぞれ対応する。実施の形態では、選択は、SDRバージョンとSDR’バージョンとの間、又はVDR’バージョンとVDRバージョンとの間といった、可逆のトーンマップのどのマップが最小の変更につながるかに基づいている。最も適した可逆のトーンマップの選択に応じて、SDR’及び/又はVDR’のコンテンツバージョンが変更される。単一のトーンマップ722は、局所的な空間の変動を考慮して選択される。
第三に、正規化は、低精度のSDR入力信号の量子化を処理する。実施の形態では、VDRコンテンツバージョン及びSDRコンテンツバージョンは、正規化されたペアを有する。実施の形態の正規化されたペアリング及び/又はマッピングの可逆性は、AMPASのパイプラインに関連する、IIFのような仕様に実質的に準拠する。実施の形態では、VDR’のコンテンツバージョン及び高精度のSDR’のコンテンツバージョンは、マトリクスのマッピング及び非線形のマッピングにより正規化される。
図8A及び図8Bは、本発明の実施の形態に係る、例示的なコーデック800を示す。プロダクションモジュール810では、コーデックは、正規化モジュール605及びエンコーダ312を備える。正規化モジュール605は、ACES又はP3 RGB色空間を有するVDRのコンテンツバージョンと、BT-709 RGB色空間を有する10ビットのSDRのコンテンツバージョンを処理する。これらの入力の処理に応じて、正規化モジュール605は、BT-709 RGB色空間を有する14ビットのSDR’のコンテンツバージョン、及び可逆的なSDR-VDRマッピングに関する情報をエンコーダ312に提供する。エンコーダ312は、BT-709 RGB色空間をもつ14ビットのSDR’のコンテンツバージョン、可逆的なSDR-VDRマッピングに関連する情報を処理し、SDR及びVDRコンテンツバージョンに関するマッピング及び変更に関連するメタデータのような情報と共に、AVCコンパチブルビットストリーム出力を生成する。
消費モード820において、コーデックは、デコーダ321及びソースディスプレイ管理モジュール822を有する。デコーダ321は、例えばプロダクションモード810において実行されたSDR及びVDRに関するマッピング及び変更に関するメタデータのような情報と共に、AVCコンパチブルビットストリームの入力を受信する。デコーダ321は、入力信号を処理し、BT-709 RGB色空間を有する14ビットのSDR’のコンテンツバージョン、及び可逆的なSDR-VDRマッピングに関する情報をソースディスプレイ管理モジュール822に供給する。ソースディスプレイ管理モジュール822は、BT-709 RGB色空間をもつ14ビットSDR’のコンテンツバージョン、及び可逆的なSDR-VDRマッピングに関連する情報を処理し、あるディスプレイについて変更のマッピングに関連する情報と共にVDRコンテンツを含む出力信号を生成する。
図9A及び図9Bは、本発明の実施の形態に係る、例示的なシグナルフロー900を示す。図9Aは、実施の形態に係る、例示的なメディアモードのシグナルフロー910を示す。正規化モジュール605は、VDRのコンテンツバージョン及び低ビットのSDRのコンテンツバージョンを処理する。これらの入力の処理に応じて、正規化モジュール605は、高精度のSDR’のコンテンツバージョン、及び可逆的なSDR-VDRマッピングに関連する情報をエンコーダ312に供給する。エンコーダ312は、高精度のSDR’のコンテンツバージョン、及び(例えばSDR及びVDRコンテンツバージョンに関するマッピング及び変更に関連するメタデータのような情報と共に)AVCコンパチブルビットストリーム出力を生成する。
例示的なメディアモードのシグナルフロー910において、AVCコンパチブルビットストリームは、H.264/AVC MPEG-4デコーダ915のようなAVC準拠デコーダに供給され、このデコーダは、ビットストリームを処理して、典型的に低精度のSDRのコンテンツバージョンを出力する。さらに、例示的なメディアモードのシグナルフロー910では、AVCコンパチブルビットストリームは、デコーダ321に供給され、このデコーダは、ビットストリームを処理し、高精度のSDR’のコンテンツバージョン、及びSDR’のコンテンツバージョンとVDRコンテンツバージョンとの間のマッピングのセットをソースディスプレイ管理モジュール935に出力する。ソースディスプレイ管理モジュール935は、VDR対応ディスプレイでレンダリングされる、ディスプレイコンパチブルVDRコンテンツバージョンを出力する。
図9Bは、実施の形態に係る、例示的なリアルタイム(例えばブロードキャスト)モードのシグナルフロー920を示す。入力信号は、カラーマネージメントモジュール(例えば色補正ツール)925に入力する。カラーマネージメントモジュール925は、VDR入力を処理する。VDR入力の処理に応じて、カラーマネージメントモジュール925は、高精度のSDR’コンテンツバージョン、及び可逆的なSDR-VDRマッピングに関連する情報をエンコーダ312に供給する。エンコーダ312は、高精度のSDR’のコンテンツバージョン及び可逆的なSDR-VDRマッピングに関連する情報を処理し、(例えばSDR及びVDRコンテンツバージョンに関するマッピング及び変更に関連する、メタデータのような情報と共に)AVCコンパチブルビットストリームの出力を生成する。例示的なリアルタイム/ブロードキャストモードのシグナルフロー920において、AVCコンパチブルビットストリームは、H.264/AVC MPEG-4デコーダ915のようなAVC準拠デコーダに供給され、このデコーダは、ビットストリームを処理して、典型的に低精度のSDRのコンテンツバージョンを出力する。さらに、実施の形態は、メディアモードのシグナルフロー910がデコードされたのと実質的に同じやり方でブロードキャストメディアフロー920を復号化する。実施の形態では、メディアモードのシグナルフロー910及びリアルタイムのブロードキャストフロー920の復号化プロセスは同じである。AVCコンパチブルビットストリームは、デコーダ321に供給され、このデコーダは、ビットストリームを処理し、高精度のSDR’のコンテンツバージョン、及びSDR’のコンテンツバージョンとVDRのコンテンツバージョンとの間のマッピングのセットをソースディスプレイ管理モジュール935に出力する。ソースディスプレイ管理モジュール935は、VDR対応ディスプレイでレンダリングされる、ディスプレイコンパチブルVDRコンテンツバージョンを出力する。
図10は、本発明の実施の形態に係る、整合されたエンコーダ/デコーダのペア1000を示す。実施の形態では、エンコーダ312は、高精度符号化モジュール1011及びAVCコンパチブル(例えば8ビット、高精度のSDR’コンテンツに関してある程度低精度であると考えられる意味でのビット深度)符号化モジュール1012の両者について、高精彩のSDR’コンテンツを含む入力信号を受信する。高精度符号化モジュール1011は、高精度のSDR’のコンテンツを符号化し、高精度のビットストリームを重要な相違点の判定モジュール1013に供給する。コンパチブル符号化モジュール1012は、デコーダ321へのエクスポート及び重要な相違点の判定モジュール1013への入力のため、AVCコンパチブル(例えば8ビット、比較的低い精度)符号化ビットストリーム供給する。
重要な相違点の判定モジュール1013は、高精度符号化モジュール1011からの高精度で符号化されたビットストリームと、AVCコンパチブル(例えば8ビット)符号化モジュール1012からのAVCコンパチブル(例えば8ビット)符号化モジュール1012とを比較する。高精度の符号化ビットストリームとAVCコンパチブル(例えば8ビット、比較的低い精度)符号化ビットストリームとの比較に応じて、重要な相違点の判定モジュール1013は、高精度の符号化ビットストリームとコンパチブル(例えば8ビット、比較的低い精度)符号化されたビットストリームとの間の差に関連するメタデータのような情報をデコーダ321に供給する。
実施の形態では、デコーダ321は、高精度符号化モジュール1011で符号化された高精度のビットストリームと、コンパチブル(例えば8ビット、比較的低い精度)符号化されたビットストリームとの間の差に関連する情報(例えばメタデータ)と共に、AVCコンパチブル(例えば8ビット)符号化ビットストリームをエンコーダ312から受信する。情報(例えばメタデータ)マージモジュール1024は、高精度ビットストリーム間の差に関連する情報を使用して、高精度ビットストリームと同じ情報を本質的に含むビットストリームを効果的に回復(例えば再現、再設定、再構成、再生成、再生)する。回復された高精度ビットストリームから、高精度復号化モジュール1025は、高精度SDR’出力を生成する。例えば、デコーダ321の出力は、少なくとも4:2:0(強度及び色成分)サンプリングパターン又はサンプリングコンフィギュレーション及び少なくとも8ビットを超えるビット深度よりも大きいか又は等しい精度を有する。例示的な実施の形態は、デコーダ321の出力の強度/色のサンプリングパターン/コンフィギュレーションが、4:2:0,4:2:2又は4:4:4の精度を有するか、及び/又は10-14ビットのビット深度を有する。
実施の形態は、スケーラブルなビット深度で機能する。例えば、ビット深度は、8ビットと12ビットプラス(例えば12-14ビット)との間でスケーラブルであるとして実現される。従って、実施の形態は、1以上の確立されたスケーラブルビデオコーディング(SVC)又は関連する技術のアプローチを利用する。従って、ある意味では、実施の形態は、例えば様々なSVC及び関連又は類似のスケーラブルアプローチで効果的に機能するといった、「コーデックにとらわれない“codec agnostic”」として機能する傾向がある。本明細書で使用されたとき、用語「利用する“leverage”」は、係るアプローチの使用に関連する。
さらに、エンコーダ312は、コンパチブル8ビットストリーム及びメタデータを出力するとき、高精度の入力からのコンパチブルビットストリームの導出は、8ビットの量子化雑音を符号化するオーバヘッドを本質的に低減し、これは平滑な勾配を符号化することに特に役立つ。さらに、デコーダ321がメタデータをコンパチブル8ビット符号化ビットストリームとマージするとき、エンコーダ1011の高精度のビットストリームの出力に満足できる程度に近い、高精度のビットストリームを内部で回復する。実施の形態は、高精度のビットストリームを復号化して、高精度のSDR’を生成する。実施の形態は、逆マッピングM-1[]を使用して、SDR’をマッピングして、VDR対応ディスプレイでレンダリングされるVDR出力を生成する。
高精度符号化モジュール1011及び/又はエンコーダ312の他のコンポーネント又は高精度SDR’エンコーダ機能を制御するため、実施の形態は、関連する信号がある場合とない場合があるが、関連する逆マッピングされたVDR空間における(例えば上述されたTM-SSIM又は関連するアプローチにより)品質を評価する。実施の形態は、これらの関連するダイナミックレンジに関連して拡大された画像又はビデオのフレーム領域における計算された精度及び/又は正確さを増加する。例えば、逆マッピングは、精度/正確さを拡大させる。図11は、本発明の実施の形態に係る、例示的な拡大1100を示す。
実施の形態は、量子化パラメータ(QP)を制御する。例えば、QPは、ダイナミックレンジの拡大を受ける画像又はフレーム領域に関して値において減少される。これは、DRの拡大された領域における有意なQPの低減となるため、VDRに関連するビットストリームのオーバヘッドを減少させ、一般的な品質の改善から低い全体のQPを低減させる。図12は、本発明の実施の形態に係る、例示的なQP制御1200を示す。実施の形態は、逆マッピングの推定E=|∇M-1[]|の勾配又は発散に等しいとして拡大パラメータを計算する。実施の形態では、量子化パラメータは、拡大の逆数に比例する(QP∝1/<E>)。
実施の形態は、14ビットの深度に沿って前後にスライドする10ビット符号化の深度で制御を及ぼす。図13は、本発明の実施の形態に係る、例示的な画像データパケット1300を示す。8ビットのSDRセクションは、画像のハイライトのようなヘッドルームに関連する2ビットとシャドウのような詳細に関連する2ビットとの「間でスライドする」。
実施の形態は、ディスプレイマネージメントと統合する。例えば、ソースディスプレイ管理で使用される変換は、実施の形態のコーデック内でSDRとVDRとの間の逆マッピングを整合させ、SDRの逆マッピングは、フルVDRを本質的に備える。ソースディスプレイ管理変換は、従って、SDRを高精度SDR及びフルVDRに一致させる。このように、デュアルエンドのディスプレイ管理が簡略化される。
デコーダ321の出力は、多数のアプリケーションの何れかについて、ひとたびマスタリングされたデジタル画像又はビデオコンテンツとして使用される。図14は、本発明の実施の形態に係る、複数の復号化されたシグナルアプリケーション1400を示す。例えば、デコーダ321の出力を使用するアプリケーション1400は、Dolby Labs ProMonitorTM、デジタルプロジェクタ1402、現在及び将来のデジタルシネマ1403、フィルムトランスファ1404、現在及び将来の家電製品及びホームメディアアプリケーション1405、DCI(Digital Cinema Initiative)及び関連するP3色空間1406に関連するアプリケーション、及びBT-709色空間1407に関連するアプリケーションのようなプロフェッショナルモニタアプリケーション1401の1以上を含む。
図15は、本発明の実施の形態に係る、例示的なカラーギャマット1500を示す図である。カラーギャマット1500は、スペクトル軌跡1501を有する。スペクトル軌跡1501内には、BT-709色空間に関連するギャマット1502、DCI P3色空間に関連するギャマット1503、及びP4色空間に関連するギャマット1504がある。
[例示的なコンピュータシステムの実現]
本発明の実施の形態は、コンピュータシステム、電子回路及びコンポーネントで構成されるシステム、マイクロコントローラのような集積回路(IC)、フィールドプログラマブルゲートアレイ(FPGA)、又は別の構成可能又はプログラマブルロジックデバイス(PLD)、離散時間又はデジタルシグナルプロセッサ(DSP)、特定用途向けIC(ASIC)、及び係るシステム、デバイス又はコンポーネントの1以上を含む装置で実現される。コンピュータ及び/又はICは、本明細書で記載されたような画像及び/又はビデオのダイナミックレンジを拡大することに関連する指示を実行、制御又は実施する。コンピュータ及び/又はICは、例えば本明細書で記載された画像及び/又はビデオのダイナミックレンジを拡大することに関連する様々なパラメータ又は値の何れかを計算する。画像及びビデオのダイナミックレンジを拡大する実施の形態は、ハードウェア、ソフトウェア、ファームウェア及びこれらの様々な組み合わせで実現される。
図16は、本発明の実施の形態が実現される、例示的なコンピュータシステムプラットフォーム1600を示す。コンピュータシステム1600は、バス1602又は情報を伝達する他の通信メカニズム、及び情報を処理するためにバス1602に結合されるプロセッサ1604を含む。コンピュータシステム1600は、プロセッサ1604により実行される情報及び命令を記憶するためにバス1602に結合される、ランダムアクセスメモリ(RAM)又は他のダイナミックストレージデバイスのようなメインメモリ1606を含む。メインメモリ1606は、プロセッサ1604により実行される命令の実行の間に、一時的な変数又は他の中間情報を記憶するために使用される。
コンピュータシステム1600は、プロセッサ1604の静的な情報及び命令を記憶するためにバス1602に結合されるリードオンリメモリ(ROM)1608又は他の静的なストレージデバイスを更に含む。磁気ディスク又は光ディスクのようなストレージデバイス1610が設けられ、情報及び命令を記憶するためにバス1602に結合される。プロセッサ1604は、1以上のデジタルシグナルプロセッシング(DSP)機能を実行する。付加的に又は代替的に、DSP機能は、別のプロセッサ又は(プロセッサ1604で本明細書では表現される)エンティティにより実行される場合がある。
コンピュータシステム1600は、コンピュータユーザに情報を表示するため、液晶ディスプレイ(LCD)、陰極線管(CRT)、プラズマディスプレイ等のようなディスプレイ1612にバス1602を介して結合される。LCDは、発光ダイオードのアレイを含むデュアル又はN変調及び/又はバックライトユニットによる、HDR/VDR及び/又はWCG対応LCDを含む。英数及び他のキーを含む入力装置1614は、プロセッサ1604に情報及び命令の選択を伝達するため、バス1602に結合される。別のタイプのユーザ入力装置は、方向情報及びコマンド選択をプロセッサ1604に伝達し、カーソルの動きをディスプレイ1612で制御する触覚に基づく「タッチスクリーン」GUIディスプレイ又はマウス、トラックボール、又はカーソル方向キーのようなカーソルコントロール1616である。係る入力装置は、装置が平面における位置を特定するのを可能にする、第一の軸(例えばx)及び第二の軸(例えばy)である2つの軸で2つの自由度を典型的に有する。
本発明の実施の形態は、画像及び/又はビデオのダイナミックレンジを拡大するコンピュータシステム1600の使用に関する。本発明の実施の形態は、本明細書で記載された画像及び/又はビデオのダイナミックレンジを計算、拡大するコンピュータシステム1600の使用に関する。本発明の実施の形態によれば、第一のダイナミックレンジに関連する、第一のカラーギャマット及び/又はビット深度をもつ第一の色空間で表現される入力ビデオ信号は、第二のカラーギャマット及び/又はビット深度をもつ第二の色空間で表現されるビデオ信号に変換される。第二の色空間は、第二のダイナミックレンジと関連される。変換されたビデオ信号の少なくとも2色(例えば3色)に関連する成分は、第二のダイナミックレンジを通してマッピングされる。この特徴は、メインメモリ1606に含まれる1以上の命令の1以上の系列を実行するプロセッサ1604に応答して機能するコンピュータシステム1600により提供され、制御され、又は可能にされる。係る命令は、ストレージデバイス1610のような別のコンピュータ読み取り可能な記録媒体からメインメモリ1606に読み取られる。メインメモリ1606に含まれる命令の系列の実行は、プロセッサ1604に、本明細書で記載されたプロセスステップを実行させる。マルチプロセッシングアレンジメントにおける1以上のプロセッサは、メインメモリ1606に含まれる命令の系列を実行するために使用される。代替的な実施の形態では、本発明を実現するソフトウェア命令の代わりに、又はソフトウェア命令と組み合わせて、ハードワイヤド回路が使用される。従って、本発明の実施の形態は、ハードウェア、回路、ファームウェア及び/又はソフトウェアの特定の組み合わせに限定されない。
本明細書で使用されたとき、用語「コンピュータ読み取り可能な記録媒体」及び/又は「コンピュータ読み取り可能な記録媒体」は、実行のためにプロセッサ1604に命令を提供することに加わる何れかの記録媒体を示す。係る記録媒体は、限定されるものではないが、不揮発性媒体、揮発性媒体及び伝送媒体を含む多くの形式を取る。不揮発性媒体は、例えば記憶装置1610のような例えば光又は磁気ディスクを含む。揮発性媒体は、メインメモリ1606のようなダイナミックメモリを含む。伝送媒体は、バス1602を含むワイヤを有する、同軸ケーブル、銅線及び他の導体及び光ファイバを含む。伝送媒体は、無線波及び赤外線及び他の光データ通信の間に生成された、音響(例えば音)又は電磁(例えば光)波の形式を取ることもできる。
コンピュータ読み取り可能な記録媒体の共通の形式は、例えばフロプティカルディスク、フレキシブルディスク、ハードディスク、磁気テープ、又は他の磁気媒体、CD-ROM、他の光媒体、パンチカード、ペーパーテープ、ホールのパターンをもつ他の旧式又は他の物理的な媒体、RAM、PROM及びEPROM、FLASH-EPROM、他のメモリチップ又はカートリッジ、以下に記載される伝送波、又はコンピュータが読み取ることができる他の媒体を含む。
様々な形式のコンピュータ読み取り可能な記録媒体は、実行のためにプロセッサ1604に1以上の命令の1以上のシーケンスを担持することに係わる。例えば、命令は、リモートコンピュータの磁気ディスクではじめに担持される場合がある。リモートコンピュー多は、命令をそのダイナミックメモリにロードし、モデムを使用して電話回線を通して命令を送出する。コンピュータシステム1660に対してローカルにあるモデムは、電話回線でデータを受信し、赤外線送信機を使用してデータを赤外線信号に変換する。バス1602に結合される赤外線検出器は、赤外線信号で伝送されるデータを受信し、バス1602にデータを配置する。バス1602は、データをメインメモリ1606に伝送し、メインメモリから、プロセッサ1604は、命令を取得及び実行する。メインメモリ1606により受信される命令は、プロセッサ1604により実行の前又は後の何れかで、ストレージデバイス1610で記憶される。
コンピュータシステム1600は、バス1602に結合される通信インタフェース1618を含む。通信インタフェース1618は、ローカルネットワーク1622に接続されるネットワークリンク1620に結合する2方向データ通信を提供する。例えば、通信インタフェース1618は、統合サービスデジタルネットワーク(ISDN)カード又はデジタル加入者回線(DSL)、電話回線の対応するタイプへのデータ通信接続を提供するケーブル又は他のモデムである。別の例として、通信インタフェース1618は、互換性のあるLANへのデータ通信接続を提供するローカルエリアネットワーク(LAN)である。ワイヤレスリンクも実現される。何れかの係る実現では、通信インタフェース1618は、様々なタイプの情報を表すデジタルデータストリームを伝送する電気、電磁又は光信号を送出及び受信する。
ネットワークリンク1620は、他のデータ装置に1以上のネットワークを通してデータ通信を提供する。例えば、ネットワークリンク1620は、コストコンピュータ1624又はインターネットサービスプロバイダ(ISP)(又は電話交換会社)1626により動作されるデータ機器にローカルネットワーク1622を通して接続を提供する。実施の形態では、ローカルリンク1622は、エンコーダ及び/又はデコーダが機能する通信媒体を含む。ISP1626は、Interet1628と一般に呼ばれている世界規模のパケットデータ通信ネットワークを通してデータ通信サービスを提供する。ローカルネットワーク1622及びInternet1628の両者は、デジタルデータストリームを搬送する電気、電磁又は光信号を使用する。様々なネットワークを介した信号、及び、コンピュータシステム1600にデジタルデータを伝送し、コンピュータシステムからデジタルデータを伝送するネットワークリンク1620及び通信インタフェース1618を介した信号は、情報を伝送する伝送波の例示的な形式である。
コンピュータシステム1600は、ネットワーク、ネットワークリンク1620及び通信インタフェース1618を通して、プログラムコードを含めて、メッセージを送出し、データを受信する。
Internetの例では、サーバ1630は、Internet1628、ISP1626、ローカルネットワーク1622及び通信インタフェース1618を介して、アプリケーションプログラムの要求されたコードを送信する。本発明の実施の形態では、1つの係るダウンロードされたアプリケーション装置は、本明細書で記載された画像及び/又はビデオのダイナミックレンジを拡大することを提供する。
受信されたコードは、受信されたときにプロセッサ1604により実行され、及び/又はストレージデバイス1610又は後の実行のために他の不揮発性ストレージに記憶される。このように、コンピュータシステム1600は、伝送波の形式でアプリケーションコードを取得する。
[例示的なICデバイスプラットフォーム]
図17は、例えば本明細書で記載されたような、画像及び/又はビデオのダイナミックレンジを拡大するため、本発明の実施の形態が実現される、例示的なICデバイス1700を示す。ICデバイス1700は、本明細書で記載された改善に関してコンポーネントが機能するエンコーダ及び/又はデコーダ装置のコンポーネントを有する。付加的に又は代替的に、ICデバイス1700は、本明細書で記載された改善に関してコンポーネントが機能する、ディスプレイ管理、生産施設、Internet又は電話網、又はエンコーダ及び/又はデコーダが機能する別のネットワークに関連するエンティティ、装置又はシステムのコンポーネントを有する。
ICデバイス1700は、入力/出力(I/O)機能1701を有する。I/O機能1701は、入力信号を受信し、受信した入力信号を、ルーティングファブリック1710を介して、ストレージ1703と共に機能する中央処理装置(CPU)1702に送出する。また、I/O機能1701は、ICデバイス1700の他のコンポーネント機能からの出力信号を受信し、ルーティングファブリック1710を通してシグナルフローの一部を制御する。デジタルシグナルプロセッシング(DSP)機能は、離散時間のシグナルプロセッシングに関連する機能を少なくとも実行する。インタフェース1705は、外部信号にアクセスし、アクセスした外部信号をI/O機能1701に送出し、ICデバイス1700が信号をエクスポートするのを可能にする。ルーティングファブリック1710は、ICデバイス1700の様々なコンポーネント機能間で信号及び電力を送出する。
アクティブエレメント1711は、設定可能な及び/又はプログラマブルな処理エレメント(CPPE)1711を備え、係るロジックゲートのアレイは、実施の形態において画像及び/又はビデオのダイナミックレンジを拡大することに関連するICデバイス1700の専用機能を実行する。付加的に又は代替的に、アクティブエレメント1711は、例えばICデバイス1700がASICを有する、予めアレイ配列構造にされた(例えば特に設計された、アレイ配列にされた、レイアウトされた、フォトリソグラフィエッチングが施された、及び/又は電気的又は電子的に相互接続及びゲート制御された)電界効果トランジスタ(FET)又はバイポーラロジックデバイスを有する。ストレージ1712は、CPPE(又は他のアクティブエレメント)1711について十分なメモリセルが効果的に機能するように専用にされる。CPPE(又は他のアクティブエレメント)1711は、1以上の専用のDSP機能1714を含む。
[列挙された例示的な実施の形態の部分的なリスト]
本明細書で記載されたように、本発明の実施の形態は、以下に列挙されるように、例示的な実施の形態の1以上に関連する。従って、本発明は、限定されるものではないが、本発明の幾つかの部分の構造、特徴及び機能を記載した以下の列挙された例示的な実施の形態(EEE)を含む、本明細書に記載された形式の何れかで実施される。
EEE1)第一のダイナミックレンジに関連する第一のカラーギャマットをもつ第一の色空間で表現される入力ビデオ信号を、第二のカラーギャマットの第二の色空間で表現されるビデオ信号に変換する段階と、前記第二の色空間は、第二のダイナミックレンジと関連されており、
変換されたビデオ信号の少なくとも2つの色に関連する成分を前記第二のダイナミックレンジを通してマッピングする段階と、
を含む方法。
EEE2)前記第二のダイナミックレンジは、前記第一のダイナミックレンジよりも大きい、
EEE1記載の方法。
EEE3)前記第二のダイナミックレンジは、ビデオ信号に関してイントラフレームに基づいて、人間の視覚系により同時に知覚可能な強度又は色の範囲に及ぶか又は前記強度又は色の範囲を近似する、
EEE2記載の方法。
EEE4)前記第一のダイナミックレンジは、低い又は標準的なダイナミックレンジのモニタ又はディスプレイでレンダリング可能であるか、或いは陰極線管(CRT)モニタ又はディスプレイでレンダリング可能である強度又は色の範囲に及ぶか、又は前記強度又は色の範囲を近似する、
EEE2記載の方法。
EEE5)前記第二のカラーギャマットは、前記第一のカラーギャマットよりも大きいか、広いか又は深い、
EEE1記載の方法。
EEE6)前記入力ビデオ信号、前記入力ビデオ信号で表現、送信、記憶又はレンダリングされる画像又は複数の画像フレーム、又は前記第一の色空間の前記第一のカラーギャマットに関連する前記第一のダイナミックレンジは変換される、
EEE 1記載の方法。
EEE7)変換段階及びマッピング段階に基づいて、前記入力ビデオ信号、前記入力ビデオ信号で表現、送信、記憶又はレンダリングされる画像又は複数の画像フレーム、又は前記第一のダイナミックレンジを、前記第二のダイナミックレンジで表現、送信、記憶又はレンダリングされた1以上の変換されたビデオ信号、変換された画像又は複数の変換された画像の特性に変換する段階を含む、
EEE1記載の方法。
EEE8)前記第一の色空間又は前記第二の色空間の1以上は、3つの色に関連する成分を有するRGB色空間を有し、前記色に関連する成分は、赤色成分、緑色成分及び青色成分を含む、
EEE1記載の方法。
EEE9)前記マッピング段階は、前記第二のダイナミックレンジに前記変換されたビデオ信号の3色に関連する成分をマッピングする段階を含む、
EEE8記載の方法。
EEE10)前記第一の色空間は、ITU(International Telecommunication Union)のBT.709勧告の規格に関連するRGB色空間に実質的に準拠する、
EEE8記載の方法。
EEE11)前記第二の色空間は、AMPAS(Academy of Motion Picture Arts and Sciences)のACES(Academy Color Encoding Specification)規格、Digital Cinema InitiativeのP3色空間規格、又はRIMM/ROMM(Reference Input Medium Metric/Reference Output Medium Metric)規格に関連するRGB色空間の少なくとも1つに実質的に準拠する、
EEE8記載の方法。
EEE12)前記マッピング段階は、変換された入力ビデオ信号の少なくとも2色に関連する成分にグローバルトーンマッピング動作を施すステップを有する、
EEE1記載の方法。
EEE13)前記マッピング段階は、変換されたビデオ信号の3色に関連する成分にグローバルトーンマッピングを施す段階を含む、
EEE12記載の方法。
EEE14)変換された入力ビデオ信号の少なくとも2色に関連する成分のそれぞれに関連する飽和レベルを維持する段階を更に含む、
EEE1記載の方法。
EEE15)飽和レベルを維持する段階は、前記入力ビデオ信号に関連する強度値を第二のダイナミックレンジにマッピングする段階を含む、
EEE14記載の方法。
EEE16)前記強度値は、変換されたビデオ信号のルマに関連する特性又は輝度に関連する特性の1以上を含む、
EEE15記載の方法。
EEE17)前記強度値は、第一のゲイン設定に従ってスケーリングされる、
EEE15記載の方法。
EEE18)前記第一のゲイン設定は、変換されたビデオ信号の少なくとも2色に関連する成分の色度に関連する特性又はクロマに関連する特性に関連する値に関して、10%と20%との間の値を有する、
EEE17記載の方法。
EEE19)前記第一のゲイン設定の値は、変換されたビデオ信号の少なくとも2色に関連する成分の色度の特性に関連する値に関して、15%に等しいか又は15%に近似する、
EEE17記載の方法。
EEE20)前記マッピング段階は、第一のダイナミックレンジ及び色空間、並びに第二のダイナミックレンジ及び色空間に関して可逆的である、
EEE1記載の方法。
EEE21)前記マッピング段階は、あるシーンが前記第一のダイナミックレンジをもつ前記ビデオ信号で符号化される第一の画像を、前記シーンが前記第二のダイナミックレンジでレンダリング可能又は表示可能である第二の画像で正規化する段階を含み、
前記マッピング段階は無損失で可逆的である、
EEE1記載の方法。
EEE22)前記変換段階と前記マッピング段階の1以上は、
複数のマトリクス、
複数の可逆的な非線形マッピング、又は
複数の可逆的な線形マッピング
の1以上連結する段階を含む、
EEE21記載の方法。
EEE23)a)前記可逆的な非線形マッピング、又は前記可逆的な線形マッピングの1以上は、それぞれトーンマッピング演算を含み、
B)前記複数のマトリクスは、3×3アレイを有する、
EEE22記載の方法。
EEE24)前記可逆的な非線形マッピング又は前記線形マッピングの1以上は、これらの反転に応じて、逆トーンマッピング演算を含む、
EEE23記載の方法。
EEE25)前記変換されたビデオ信号は、広いカラーギャマットVDRバージョンのコンテンツを有し、
前記入力ビデオ信号は、VDRの高い精度又は高いビット深度又は広いカラーギャマットに関して、狭い又は浅いカラーギャマットを有するコンテンツのLDR又はSDRのバージョンを有し、
前記マッピング段階は、前記コンテンツの広いカラーギャマットのSDR又はLDRを推定する段階を含む、
EEE1記載の方法。
EEE26)前記推定する段階は、コンテンツの広いカラーギャマットのSDR又はLDRのバージョンの一連の繰返しの推定を生成する段階を含む、
EEE25記載の方法。
EEE27)前記生成する段階は、前記コンテンツ又は前記マッピングの広いカラーギャマットのSDR又はLDRのバージョンの1以上を繰返し更新する段階を含み、
前記マッピングは、VDRの広いカラーギャマットに関して狭いカラーギャマットを有する前記コンテンツの前記広いカラーギャマットのVDRバージョン又は前記コンテンツのSDR又はLDRバージョンの1以上と、前記コンテンツの広いカラーギャマットのSDR又はLDRバージョンとの間のレイヤ間のマッピングを含む、
EEE25記載の方法。
EEE28)前記広いカラーギャマットのVDRコンテンツのバージョン又は前記広いカラーギャマットのSDR又はLDRコンテンツのバージョンの1以上は、第一のビット精度の範囲を有する、
EEE25記載の方法。
EEE29)前記第一のビット精度の範囲は、
少なくとも12ビット、12ビット及び14ビットを含めて12ビットと14ビットとの間、少なくとも14ビット又は14ビット以上の1以上を含む、
EEE25記載の方法。
EEE30)前記VDRの広いカラーギャマットに関して低い又は狭い或いは浅いカラーギャマットを有するSDR又はLDRコンテンツのバージョンは、第二のビット精度の範囲を有する、
EEE25又は29記載の方法。
EEE31)前記第二のビット精度の範囲は、10ビット、10ビット未満のビット精度、又は前記第一のビット精度未満であるビット精度の1以上を含む、
EEE30記載の方法。
EEE32)
前記マッピング段階を実行する前に、当該方法は、ブラインド計算又はインフォームド計算の1以上の実行する段階を更に含む、
EEE25,29及び31の何れか記載の方法。
EEE33)前記ブラインド計算は、前記SDR又はLDRのコンテンツのバージョンをフィルタリングすることを含む、
EEE25,29,31及び32の何れか記載の方法。
EEE34)前記SDR又はLDRのコンテンツのバージョンをフィルタリングすることは、前記ビデオコンテンツの画像の1以上の平滑な領域において知覚可能な1以上の輪郭のアーチファクトを除去することを含む、
EEE29乃至33の何れか記載の方法。
EEE35)前記フィルタリングは、双方向フィルタで前記コンテンツをフィルタリングすることを含む、
EEE25,29,31乃至33の何れか記載の方法。
EEE36)前記インフォームド計算は、前記広いカラーギャマットのSDR又はLDRのコンテンツのバージョンを推定することを含む、
EEE25又は31記載の方法。
EEE37)前記広いカラーギャマットのSDR又はLDRのコンテンツのバージョンの推定は、繰返し計算を含む、
EEE36記載の方法。
EEE38)前記繰返し計算は、前記広いカラーギャマットのSDR又はLDR及び前記マッピングを繰返し更新することを含み、前記マッピングは、レイヤ間のマッピングを含む、
EEE36又は37記載の方法。
EEE39)第一のダイナミックレンジに関連する第一のカラーギャマットをもつ第一の色空間で表現される入力ビデオ信号を、第二のカラーギャマットの第二の色空間で表現されるビデオ信号に変換する手段と、前記第二の色空間は、第二のダイナミックレンジと関連されており、
変換されたビデオ信号の少なくとも2色に関連する成分を前記第二のダイナミックレンジにマッピングする手段と、
を備えるシステム。
EEE40)EEE1乃至38の何れか記載の方法の1以上の段階を実行する手段を備える、
EEE39記載のシステム。
EEE41)第一のダイナミックレンジに関連する第一のカラーギャマットをもつ第一の色空間で表現される入力ビデオ信号を、第二のカラーギャマットの第二の色空間で表現されるビデオ信号に変換する変換機能と、第二の色空間は、第二のダイナミックレンジと関連されており、
変換されたビデオ信号の少なくとも2色に関連する成分を前記第二のダイナミックレンジにマッピングするマッピング機能と、
備えるビデオエンコーダ。
EEE42)前記第二のダイナミックレンジは、前記第一のダイナミックレンジよりも大きい、
EEE41記載のビデオエンコーダ。
EEE43)前記第二のダイナミックレンジは、前記ビデオ信号に関してイントラフレームに基づいて、人間の視覚系により同時に知覚できる強度又は色の範囲に及ぶか又は前記強度又は色の範囲を近似する、
EEE41記載のビデオエンコーダ。
EEE44)前記第一のダイナミックレンジは、低い又は標準的なダイナミックレンジのモニタ又はディスプレイでレンダリング可能であるか、又は陰極線管(CRT)モニタ又はディスプレイによりレンダリング可能な強度又は色の範囲に及ぶか又は前記強度又は色の範囲を近似する、
EEE41記載のビデオエンコーダ。
EEE45)前記第二のカラーギャマットは、前記第一のカラーギャマットよりも広いか、深いか或いは大きい、
EEE41記載のビデオエンコーダ。
EEE46)前記入力ビデオ信号、前記入力ビデオ信号で表現、送信、記憶又はレンダリングされた画像又は複数の画像フレーム、或いは前記第一の色空間の第一の精度に関連する前記第一のダイナミックレンジの1以上は、1以上の変換されたビデオ信号、前記第二のダイナミックレンジで表現、送信、記憶又はレンダリングされた変換された画像又は複数の変換された画像フレームに変換される、
EEE41記載のビデオエンコーダ。
EEE47)前記第一の色空間又は前記第二の色空間の1以上は、3色に関連する成分を有するRGB色空間を備え、前記色に関連する成分は、赤色成分、緑色成分及び青色成分を含む、
EEE41記載のビデオエンコーダ。
EEE48)前記マッピングステップは、変換されたビデオ信号の3色に関連する成分を第二のダイナミックレンジにマッピングするステップを含む、
EEE47記載のビデオエンコーダ。
EEE49)前記第一の色空間は、ITU(International Telecommunication Union)のBT.709勧告の規格に関連するRGB色空間に実質的に準拠する、
EEE48記載のビデオエンコーダ。
EEE50)前記第二の色空間は、AMPAS(Academy of Motion Picture Arts and Sciences)のACES(Academy Color Encoding Specification)規格、Digital Cinema InitiativeのP3色空間規格、又はRIMM/ROMM(Reference Input Medium Metric/Reference Output Medium Metric)規格に関連するRGB色空間の少なくとも1つに実質的に準拠する、
EEE47記載のビデオエンコーダ。
EEE51)前記P3色空間は、Society of Motion Picture and Television Engineers: SMPTE Rp431-2-2007又はEg432-1-2007の少なくとも1つに実質的に準拠する、
EEE50記載のビデオエンコーダ。
EEE52)前記マッピング段階は、変換された入力ビデオ信号の少なくとも2色に関連する成分にグローバルトーンマッピング動作を施すステップを有する、
EEE48記載のビデオエンコーダ。
EEE53)前記マッピング段階は、変換されたビデオ信号の3色に関連する成分にグローバルトーンマッピングを施す段階を含む、
EEE52記載のビデオエンコーダ。
EEE54)変換された入力ビデオ信号の少なくとも2色に関連する成分のそれぞれに関連する飽和レベルを維持する段階を更に含む、
EEE48記載のビデオエンコーダ。
EEE55)飽和レベルを維持する段階は、第二のダイナミックレンジに前記入力ビデオ信号に関連する強度値をマッピングする段階を含む、
EEE54記載のビデオエンコーダ。
EEE56)前記強度値は、変換されたビデオ信号のルマに関連する特性又は輝度に関連する特性の1以上を含む、
EEE55記載のビデオエンコーダ。
EEE57)前記強度値は、第一のゲイン設定に従ってスケーリングされる、
EEE55記載のビデオエンコーダ。
EEE58)前記第一のゲイン設定は、変換されたビデオ信号の少なくとも2色に関連する成分の色度に関連する特性又はクロマに関連する特性に関連する値に関して、10%と20%との間の値を有する、
EEE57記載のビデオエンコーダ。
EEE59)前記第一のゲイン設定の値は、変換されたビデオ信号の少なくとも2色に関連する成分の色度の特性に関連する値に関して、15%に等しいか又は15%に近似する、
EEE57記載のビデオエンコーダ。
EEE60)前記マッピング段階は、第一のダイナミックレンジ及び色空間、並びに第二のダイナミックレンジ及び色空間に関して可逆的である、
EEE48記載のビデオエンコーダ。
EEE61)前記マッピング段階は、あるシーンが前記第一のダイナミックレンジをもつ前記ビデオ信号で符号化される第一の画像を、前記シーンが前記第二のダイナミックレンジでレンダリング可能又は表示可能である第二の画像で正規化する段階を含み、
前記マッピング段階は無損失で可逆的である、
EEE48記載のビデオエンコーダ。
EEE62)前記変換段階と前記マッピング段階の1以上は、
複数のマトリクス、
複数の可逆的な非線形マッピング、又は
複数の可逆的な線形マッピング
の1以上連結する段階を含む、
EEE61記載のビデオエンコーダ。
EEE63)a)前記可逆的な非線形マッピング、又は前記可逆的な線形マッピングの1以上は、それぞれトーンマッピング演算を含み、
B)前記複数のマトリクスは、3×3アレイを有する、
EEE62記載のビデオエンコーダ。
EEE64)前記可逆的な非線形マッピング又は前記線形マッピングの1以上は、これらの反転に応じて、逆トーンマッピング演算を含む、
EEE63記載のビデオエンコーダ。
EEE65)前記変換されたビデオ信号は、広いカラーギャマットのVDRバージョンのコンテンツを有し、
前記入力ビデオ信号は、VDRの広いカラーギャマットに関して、狭い又は浅い或いは小さいカラーギャマットを有するコンテンツのLDR又はSDRのバージョンを有し、
前記マッピング段階は、前記コンテンツの広いカラーギャマットのSDR又はLDRバージョンを推定する段階を含む、
EEE48記載のビデオエンコーダ。
EEE66)前記推定する段階は、前記コンテンツの広いカラーギャマットのSDR又はLDRのバージョンの一連の繰返しの推定を生成する段階を含む、
EEE65記載のビデオエンコーダ。
EEE67)前記生成する段階は、前記コンテンツ又は前記マッピングの広いカラーギャマットのSDR又はLDRのバージョンの1以上を繰返し更新する段階を含み、
前記マッピングは、VDRの広いカラーギャマットに関して狭い又は浅い或いは小さいカラーギャマットを有する前記コンテンツの前記広いカラーギャマットのVDRバージョン又は前記コンテンツのSDR又はLDRバージョンの1以上と、前記コンテンツの広いカラーギャマットのSDR又はLDRバージョンとの間のレイヤ間のマッピングを含む、
EEE65記載のビデオエンコーダ。
EEE68)前記広いカラーギャマットのVDRコンテンツのバージョン又は前記広いカラーギャマットのSDR又はLDRコンテンツのバージョンの1以上は、第一のビット精度の範囲を有する、
EEE65記載のビデオエンコーダ。
EEE69)前記第一のビット精度の範囲は、少なくとも12ビット、12ビット及び14ビットを含めて12ビットと14ビットとの間、少なくとも14ビット又は14ビット以上の1以上を含む、
EEE65記載のビデオエンコーダ。
EEE70)前記VDRの高い精度又は高いビット深度或いは広いカラーギャマットに関して、低い精度又は狭いカラーギャマット或いは浅いビット深度のカラーギャマットを有するSDR又はLDRコンテンツのバージョンは、第二のビット精度の範囲を有する、
EEE65又は69記載のビデオエンコーダ。
EEE71)前記第二のビット精度の範囲は、10ビット、10ビット未満のビット精度、又は前記第一のビット精度未満であるビット精度の1以上を含む、
EEE70記載のビデオエンコーダ。
EEE72)
前記マッピング段階を実行する前に、当該方法は、ブラインド計算又はインフォームド計算の1以上の実行する段階を更に含む、
EEE65,69及び71の何れか記載のビデオエンコーダ。
EEE73)前記ブラインド計算は、前記SDR又はLDRのコンテンツのバージョンをフィルタリングすることを含む、
EEE65,69,71及び72の何れか記載のビデオエンコーダ。
EEE74)前記SDR又はLDRのコンテンツのバージョンをフィルタリングすることは、前記ビデオコンテンツの画像の1以上の平滑な領域において知覚可能な1以上の輪郭のアーチファクトを除去することを含む、
EEE69乃至73の何れか記載のビデオエンコーダ。
EEE75)前記フィルタリングは、双方向フィルタで前記コンテンツをフィルタリングすることを含む、
EEE65,69,71乃至73の何れか記載のビデオエンコーダ。
EEE76)前記インフォームド計算は、前記広いカラーギャマットのSDR又はLDRのコンテンツのバージョンを推定することを含む、
EEE65又は71記載のビデオエンコーダ。
EEE77)前記広いカラーギャマットのSDR又はLDRのコンテンツのバージョンの推定は、繰返し計算を含む、
EEE76記載のビデオエンコーダ。
EEE78)前記繰返し計算は、前記広いカラーギャマットのSDR又はLDR及び前記マッピングを繰返し更新することを含み、前記マッピングは、レイヤ間のマッピングを含む、
EEE76又は77記載のビデオエンコーダ。
EEE79)1以上の色空間におけるAVC(Advanced Video Codec)信号に関連する仕様又は規格に実質的に準拠するビデオ信号をデコードするコンプライアントビットストリームデコーディングコンポーネントと、
デコードされたAVCビデオ信号を第二の色空間を少なくとも有する出力ビデオ信号にマッピングするカラーマッピングコンポーネントとを備え、前記少なくとも第二の色空間は、1以上の第一の色空間とは独立である、
ビデオデコーダ。
EEE80)前記少なくとも第二の色空間は、プロフェッショナルビデオモニタにより使用され、処理され又はレンダリングされるカラーギャマットに実質的に準拠する色空間を備え、
前記プロフェッショナルビデオモニタは、フィルム又はデジタルシネマ又はテレビ編集、制作、カラータイミング又は色調節に関連する1以上の機能について使用可能である、
EEE79記載のビデオデコーダ。
EEE81)前記ビデオデコーダは、EEE1乃至38の何れか記載の段階に従って、EEE39又は40の何れか記載のシステムにより、EEE41乃至78の1以上に記載のエンコーダにより符号化されたとき、ビデオ信号を復号化する、
EEE79記載のビデオデコーダ。
EEE82)EEE1乃至38の何れか記載の段階の1以上を実行するコンポーネントと、
EEE39乃至EEE40の何れか記載のシステムを構成し、EEE39乃至40の何れか記載のシステム手段の1以上を有するコンポーネントと、
EEE41乃至78の何れか記載のエンコーダを構成し、EEE41乃至78の何れか記載のエンコーダコンポーネントの1以上を備えるコンポーネントと、
EEE79乃至81の何れか記載のデコーダを構成し、EEE79乃至81の何れか記載のデコーダコンポーネントの1以上を備えるコンポーネントと、
EEE83)1以上のプロセッサと、
コンピュータ読み取り可能な記録媒体とを備えるコンピュータシステムであって、
前記コンピュータ読み取り可能な記録媒体は、前記1以上のプロセッサで実行されたとき、前記1以上のプロセッサに、
EEE1乃至38の何れか記載の段階を実行させ、
EEE39乃至40の何れか記載のシステム手段の1以上を制御させ、
EEE41乃至78の何れか記載のエンコーダコンポーネントの1以上を制御させ、
EEE79乃至81の何れか記載のデコーダコンポーネントの1以上を制御させ、
EEE82記載のビデオ装置のコンポーネントの1以上を制御させる、
命令を含む、コンピュータシステム。
EEE84)EEE1乃至38の何れか記載の1以上の段階を実行する段階と、
EEE39乃至40の何れか記載のシステム手段の1以上を制御する段階と、
EEE41乃至78の何れか記載のエンコーダコンポーネントの1以上を制御する段階と、
EEE79乃至81の何れか記載のデコーダコンポーネントの1以上を制御する段階と、
EEE82記載のビデオ装置のコンポーネントの1以上を制御する段階と、
を含む、コンピュータシステムの使用。
EEE85)ダイと、
前記ダイ上に設けられる能動素子のアレイであって、ロジック機能を実行するためにプログラムされる能動素子のアレイとを備える集積回路(IC)デバイスであって、
前記ロジック機能は、
EEE1乃至38の何れか記載の1以上の段階を実行し、
EEE39乃至40の何れか記載のシステム手段の1以上を制御し、
EEE41乃至78の何れか記載のエンコーダコンポーネントの1以上を制御し、
EEE79乃至81の何れか記載のデコーダコンポーネントの1以上を制御し、
EEE82記載のビデオ装置のコンポーネントの1以上を制御する、
ICデバイス。
EEE86)前記ICデバイスは、
EEE39乃至40の何れか記載のシステム手段の何れかのコンポーネントと、
EEE41乃至78の何れか記載のエンコーダコンポーネントの何れかのコンポーネントと、
EEE79乃至81の何れか記載のデコーダコンポーネントの何れかのコンポーネントと、
EEE82記載のビデオ装置のコンポーネントの何れかのコンポーネントと、
を備えるEEE85記載のICデバイス。
EEE87)前記ICデバイスは、
プロセッサと、
デジタルシグナルプロセッサ(DSP)と、
設定可能なロジックデバイス又はプログラマブルロジックデバイス(PLD)と、
特定用途向けIC(ASIC)との少なくとも1つを備える、
EEE85又は86記載のICデバイス。
EEE88)設定可能なロジックデバイス又はPLDは、フィールドプログラマブルゲートアレイ(FPGA)、マイクロコントローラ、又はDSPの少なくとも1つを備える、
EEE87記載のICデバイス。
EEE89)1以上のプロセッサにより実行されたとき、前記1以上のプロセッサに、
EEE1乃至38の何れか記載の段階の1以上を実行させ、
EEE83記載のコンピュータシステムを制御させ、
EEE84記載のコンピュータシステムの使用を制御させる、
命令を含むコンピュータ読み取り可能な記録媒体。
EEE90)1以上のプロセッサにより実行されたときに、前記1以上のプロセッサに、
EEE39又は40記載のシステム手段の1以上をプログラム、設定、制御又は備え、
EEE41乃至78の何れか記載のエンコーダコンポーネントの1以上をプログラム、設定、制御又は備え、
EEE79乃至81の何れか記載のデコーダコンポーネントの1以上をプログラム、設定、制御又は備え、
EEE82記載のビデオ装置のコンポーネントの1以上をプログラム、設定、制御又は備え、
EEE83記載のコンピュータシステムをプログラム、設定、制御又は備え、
EEE84記載のコンピュータシステムの使用をプログラム、設定、制御又は備え、
EEE85乃至88の何れか記載のICデバイスの1以上をプログラム、設定、又は制御する、命令を含むコンピュータ読み取り可能な記録媒体。
EEE91)前記コンテンツの広いカラーギャマットのVDRバージョン又は高い精度又は高いビット深度又は広いカラーギャマットのVDRの1以上は、
4:2:2の強度及び色のサンプリングパターン又はコンフィギュレーション、
4:4:4の強度及び色のサンプリングパターン又はコンフィギュレーション、又は
4:2:0の強度及び色のサンプリングパターン又はコンフィギュレーションと関連する精度に少なくとも適合するか又は前記精度を超える強度及び色のサンプリングパターン又はコンフィギュレーション、
の1以上を含む強度及び色のサンプリングパターン又はコンフィギュレーションと関連される、
EEE25記載の方法。
EEE92)前記コンテンツの広いカラーギャマット、又は、高い精度又は高いビット深度或いは広いカラーギャマットのVDRの1以上は、
4:2:2の強度及び色のサンプリングパターン又はコンフィギュレーション、
4:4:4の強度及び色のサンプリングパターン又はコンフィギュレーション、又は
4:2:0の強度及び色のサンプリングパターン又はコンフィギュレーションと関連する精度に少なくとも適合するか又は前記精度を超える強度及び色のサンプリングパターン又はコンフィギュレーション、
の1以上を含む強度及び色のサンプリングパターン又はコンフィギュレーションと関連される、
EEE39記載のシステム。
EEE93)前記コンテンツの広いカラーギャマットのVDRバージョン、又は、高い精度又は高いビット深度或いは広いカラーギャマットのVDRの1以上は、
4:2:2の強度及び色のサンプリングパターン又はコンフィギュレーション、
4:4:4の強度及び色のサンプリングパターン又はコンフィギュレーション、
4:2:0の強度及び色のサンプリングパターン又はコンフィギュレーションに関連する精度に少なくとも適合するか又は前記精度を超える強度及び色のサンプリングパターン又はコンフィギュレーション、
の1以上を含む強度及び色のサンプリングパターン又はコンフィギュレーションと関連される、
EEE41記載のビデオエンコーダ。
EEE94)前記コンテンツの広いカラーギャマットのVDRバージョン、又は、高い精度又は高いビット深度或いは広いカラーギャマットのVDRの1以上は、
4:2:2の強度及び色のサンプリングパターン又はコンフィギュレーション、
4:4:4の強度及び色のサンプリングパターン又はコンフィギュレーション、
4:2:0の強度及び色のサンプリングパターン又はコンフィギュレーションに関連する精度に少なくとも適合するか又は前記精度を超える強度及び色のサンプリングパターン又はコンフィギュレーション、
の1以上を含む強度及び色のサンプリングパターン又はコンフィギュレーションと関連される、
EEE79記載のビデオデコーダ。
EEE95)前記コンテンツの広いカラーギャマットのVDRバージョン、又は、高い精度又は高いビット深度或いは広いカラーギャマットのVDRの1以上は、
4:2:2の強度及び色のサンプリングパターン又はコンフィギュレーション、
4:4:4の強度及び色のサンプリングパターン又はコンフィギュレーション、
4:2:0の強度及び色のサンプリングパターン又はコンフィギュレーションに関連する精度に少なくとも適合するか又は前記精度を超える強度及び色のサンプリングパターン又はコンフィギュレーション、
の1以上を含む強度及び色のサンプリングパターン又はコンフィギュレーションと関連される、
EEE82記載のビデオ装置。
EEE96)前記コンテンツの広いカラーギャマットのVDRバージョン、又は、高い精度又は高いビット深度或いは広いカラーギャマットのVDRの1以上は、
4:2:2の強度及び色のサンプリングパターン又はコンフィギュレーション、
4:4:4の強度及び色のサンプリングパターン又はコンフィギュレーション、
4:2:0の強度及び色のサンプリングパターン又はコンフィギュレーションに関連する精度に少なくとも適合するか又は前記精度を超える強度及び色のサンプリングパターン又はコンフィギュレーション、
の1以上を含む強度及び色のサンプリングパターン又はコンフィギュレーションと関連される、
EEE83記載のコンピュータシステム。
EEE97)前記コンテンツの広いカラーギャマットのVDRバージョン、又は、高い精度又は高いビット深度或いは広いカラーギャマットのVDRの1以上は、
4:2:2の強度及び色のサンプリングパターン又はコンフィギュレーション、
4:4:4の強度及び色のサンプリングパターン又はコンフィギュレーション、
4:2:0の強度及び色のサンプリングパターン又はコンフィギュレーションに関連する精度に少なくとも適合するか又は前記精度を超える強度及び色のサンプリングパターン又はコンフィギュレーション、
の1以上を含む強度及び色のサンプリングパターン又はコンフィギュレーションと関連される、
EEE83,89及び90の何れか記載のビデオデコーダ。
EEE98)前記コンテンツの広いカラーギャマットのVDRバージョン、又は、高い精度又は高いビット深度或いは広いカラーギャマットのVDRの1以上は、
4:2:2の強度及び色のサンプリングパターン又はコンフィギュレーション、
4:4:4の強度及び色のサンプリングパターン又はコンフィギュレーション、
4:2:0の強度及び色のサンプリングパターン又はコンフィギュレーションに関連する精度に少なくとも適合するか又は前記精度を超える強度及び色のサンプリングパターン又はコンフィギュレーション、
の1以上を含む強度及び色のサンプリングパターン又はコンフィギュレーションと関連される、
EEE85乃至88の何れか記載のICデバイス。
EEE99)前記コンテンツの広いカラーギャマットのVDRバージョン、又は、高い精度又は高いビット深度或いは広いカラーギャマットのVDRの1以上は、
4:2:2の強度及び色のサンプリングパターン又はコンフィギュレーション、
4:4:4の強度及び色のサンプリングパターン又はコンフィギュレーション、
4:2:0の強度及び色のサンプリングパターン又はコンフィギュレーションに関連する精度に少なくとも適合するか又は前記精度を超える強度及び色のサンプリングパターン又はコンフィギュレーション、
の1以上を含む強度及び色のサンプリングパターン又はコンフィギュレーションと関連される、
EEE84記載のコンピュータシステムの使用。
[等価、拡大、代替及び雑則]
画像及びビデオのダイナミックレンジを拡大することに関する例示的な実施の形態が記載される。上述された明細書では、本発明の実施の形態は、実現毎に変化する場合がある様々な特定の詳細を参照して記載された。従って、何が本発明であるかに関する唯一且つ排他的な指標であって、本発明であるように本出願により意図される唯一且つ排他的な指標は、その後の補正を含めて、係る請求項が生じる特定の形式で、本出願から生じる請求項のセットである。係る請求項に含まれる項について本明細書で明示的に述べた定義は、請求項で使用される係る項の意味を支配する。従って、請求項で明示的に引用されない限定、エレメント、特性、特徴、利点又は属性がないことは、多少なりとも係る請求項の範囲を制限するべきではない。明細書及び図面は、限定的な意味ではなく例示的なものと見なされる。

Claims (30)

  1. 第一のダイナミックレンジに関連する第一のカラーギャマットをもつ第一の色空間で表現される入力ビデオ信号を、第二のカラーギャマットの第二の色空間で表現されるビデオ信号に変換する段階と、前記第二の色空間は、第二のダイナミックレンジと関連されており、
    変換されたビデオ信号の少なくとも2色に関連する成分を前記第二のダイナミックレンジにマッピングする段階と、
    を含む方法。
  2. 前記第二のダイナミックレンジは、前記第一のダイナミックレンジよりも大きい、
    請求項1記載の方法。
  3. 前記第二のダイナミックレンジは、ビデオ信号に関してイントラフレームに基づいて、人間の視覚系により同時に知覚可能な強度又は色の範囲に及ぶか又は前記強度又は色の範囲を近似する、
    請求項2記載の方法。
  4. 前記第一のダイナミックレンジは、低い又は標準的なダイナミックレンジのモニタ又はディスプレイでレンダリング可能であるか、或いは陰極線管(CRT)モニタ又はディスプレイでレンダリング可能である強度又は色の範囲に及ぶか、又は前記強度又は色の範囲を近似する、
    請求項2記載の方法。
  5. 前記第二のカラーギャマットは、前記第一のカラーギャマットよりも大きいか、広いか又は深い、
    請求項1記載の方法。
  6. 前記入力ビデオ信号、前記入力ビデオ信号で表現、送信、記憶又はレンダリングされる画像又は複数の画像フレーム、又は前記第一の色空間の前記第一のカラーギャマットに関連する前記第一のダイナミックレンジは変換される、
    請求項1記載の方法。
  7. 前記変換段階及びマッピング段階に基づいて、前記入力ビデオ信号、前記入力ビデオ信号で表現、送信、記憶又はレンダリングされる画像又は複数の画像フレーム、又は前記第一のダイナミックレンジを、前記第二のダイナミックレンジで表現、送信、記憶又はレンダリングされた1以上の変換されたビデオ信号、変換された画像又は複数の変換された画像フレームに変換する段階を更に含む、
    請求項1記載の方法。
  8. 前記第一の色空間又は前記第二の色空間の1以上は、3色に関連する成分を有するRGB色空間を有し、前記色に関連する成分は、赤色成分、緑色成分及び青色成分を含む、
    請求項1記載の方法。
  9. 前記マッピング段階は、前記変換されたビデオ信号の3色に関連する成分を前記第二のダイナミックレンジにマッピングする段階を含む、
    請求項8記載の方法。
  10. 前記マッピング段階は、変換された入力ビデオ信号の少なくとも2色に関連する成分にグローバルトーンマッピング処理を施すステップを含む、
    請求項1記載の方法。
  11. 変換された入力ビデオ信号の少なくとも2色に関連する成分のそれぞれに関連する飽和レベルを維持する段階を更に含む、
    請求項1記載の方法。
  12. 飽和レベルを維持する段階は、前記入力ビデオ信号に関連する強度値を前記第二のダイナミックレンジにマッピングする段階を含む、
    請求項11記載の方法。
  13. 前記強度値は、第一のゲイン設定に従ってスケーリングされる、
    請求項12記載の方法。
  14. 前記マッピング段階は、第一のダイナミックレンジ及び色空間、並びに第二のダイナミックレンジ及び色空間に関して可逆的である、
    請求項1記載の方法。
  15. 前記マッピング段階は、あるシーンが前記第一のダイナミックレンジをもつ前記ビデオ信号で符号化される第一の画像を、前記シーンが前記第二のダイナミックレンジでレンダリング可能又は表示可能である第二の画像で正規化する段階を含み、
    前記マッピング段階は無損失で可逆的である、
    請求項1記載の方法。
  16. 前記変換段階と前記マッピング段階の1以上は、
    複数のマトリクス、
    複数の可逆的な非線形マッピング、又は
    複数の可逆的な線形マッピング
    の1以上を連結する段階を含む、
    請求項15記載の方法。
  17. a)前記可逆的な非線形マッピング、又は前記可逆的な線形マッピングの1以上は、それぞれトーンマッピング演算を含み、
    b)前記複数のマトリクスは、3×3アレイを有する、
    請求項16記載の方法。
  18. 前記可逆的な非線形マッピング又は前記線形マッピングの1以上は、これらの反転に応じて、逆トーンマッピング演算を含む、
    請求項16記載の方法。
  19. 前記変換されたビデオ信号は、前記コンテンツの広いカラーギャマットのVDRバージョンのを有し、
    前記入力ビデオ信号は、VDRの高い精度又は高いビット深度又は広いカラーギャマットに関して、低い精度、狭いカラーギャマット又は浅いビット深度を有する前記コンテンツのLDR又はSDRのバージョンを有し、
    前記マッピング段階は、前記コンテンツの広いカラーギャマットのSDR又はLDRバージョンを推定する段階を含む、
    請求項1記載の方法。
  20. 前記推定する段階は、前記コンテンツの広いカラーギャマットのSDR又はLDRバージョンの一連の繰返しの推定を生成する段階を含む、
    請求項19記載の方法。
  21. 前記生成する段階は、前記コンテンツの広いカラーギャマットのSDR又はLDRバージョン又は前記マッピングの1以上を繰返し更新する段階を含み、
    前記マッピングは、VDRの広いカラーギャマットに関して狭いカラーギャマットを有する前記コンテンツの前記広いカラーギャマットのVDRバージョン又は前記コンテンツのSDR又はLDRバージョンの1以上と、前記コンテンツの広いカラーギャマットのSDR又はLDRバージョンとの間のレイヤ間のマッピングを含む、
    請求項19記載の方法。
  22. 前記マッピング段階を実行する前に、当該方法は、ブラインド計算又はインフォームド計算の1以上の実行する段階を更に含む、
    請求項18記載の方法。
  23. 前記ブラインド計算は、前記SDR又はLDRのコンテンツのバージョンの1以上をフィルタリングすることを含む、
    請求項22記載の方法。
  24. 前記SDR又はLDRのコンテンツのバージョンをフィルタリングすることは、前記ビデオコンテンツの画像の1以上の平滑な領域において知覚可能な1以上の輪郭のアーチファクトを除去することを含む、
    請求項23記載の方法。
  25. 前記インフォームド計算は、前記広いカラーギャマットのSDR又はLDRのコンテンツのバージョンを推定することを含む、
    請求項22記載の方法。
  26. 前記広いカラーギャマットのSDR又はLDRのコンテンツのバージョンの推定は、繰返し計算を含む、
    請求項25記載の方法。
  27. 前記繰返し計算は、前記広いカラーギャマットのSDR又はLDR及び前記マッピングを繰返し更新することを含み、前記マッピングは、レイヤ間のマッピングを含む、
    請求項26記載の方法。
  28. 請求項1乃至27の何れか記載の処理段階を実行又は制御する手段を備えるシステム。
  29. 少なくとも1つのプロセッサと、
    前記プロセッサにより実行されたときに、前記プロセッサに、請求項1乃至27の何れか記載の処理段階を実行又は制御させる命令を記憶したコンピュータ読み取り可能な記録媒体と、
    を備えるビデオ又はコンピューティング装置。
  30. コンピュータにより実行されたときに、前記コンピュータに、請求項1乃至27の何れか記載の処理段階を実行又は制御させる命令を記録したコンピュータ読み取り可能な記録媒体。
JP2013526106A 2010-08-25 2011-08-23 画像のダイナミックレンジの拡大 Active JP5723008B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US37690710P 2010-08-25 2010-08-25
US61/376,907 2010-08-25
US201161474644P 2011-04-12 2011-04-12
US61/474,644 2011-04-12
PCT/US2011/048861 WO2012027405A2 (en) 2010-08-25 2011-08-23 Extending image dynamic range

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015063942A Division JP6019157B2 (ja) 2010-08-25 2015-03-26 画像のダイナミックレンジの拡大

Publications (2)

Publication Number Publication Date
JP2013543290A true JP2013543290A (ja) 2013-11-28
JP5723008B2 JP5723008B2 (ja) 2015-05-27

Family

ID=44533231

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2013526106A Active JP5723008B2 (ja) 2010-08-25 2011-08-23 画像のダイナミックレンジの拡大
JP2015063942A Active JP6019157B2 (ja) 2010-08-25 2015-03-26 画像のダイナミックレンジの拡大

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2015063942A Active JP6019157B2 (ja) 2010-08-25 2015-03-26 画像のダイナミックレンジの拡大

Country Status (6)

Country Link
US (2) US9264681B2 (ja)
EP (1) EP2609746B1 (ja)
JP (2) JP5723008B2 (ja)
CN (1) CN103069809B (ja)
TW (2) TWI479898B (ja)
WO (1) WO2012027405A2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017511080A (ja) * 2014-01-06 2017-04-13 エルジー エレクトロニクス インコーポレイティド カラーガマットリサンプリングに基づく放送信号送受信方法及び装置
JPWO2016132976A1 (ja) * 2015-02-17 2017-11-24 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Families Citing this family (125)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012142285A2 (en) 2011-04-12 2012-10-18 Dolby Laboratories Licensing Corporation Quality assessment for images that have extended dynamic ranges or wide color gamuts
US8971408B2 (en) 2011-04-14 2015-03-03 Dolby Laboratories Licensing Corporation Piecewise cross color channel predictor
CN107105229B9 (zh) 2011-04-14 2020-03-31 杜比实验室特许公司 图像解码方法、视频解码器和非暂态计算机可读存储介质
WO2012142506A1 (en) 2011-04-14 2012-10-18 Dolby Laboratories Licensing Corporation Image prediction based on primary color grading model
EP2702764B1 (en) 2011-04-25 2016-08-31 Dolby Laboratories Licensing Corporation Non-linear vdr residual quantizer
CN103535038B (zh) 2011-05-16 2017-10-13 杜比实验室特许公司 用于分层vdr编码的有效架构
US9060180B2 (en) 2011-06-10 2015-06-16 Dolby Laboratories Licensing Corporation Drift-free, backwards compatible, layered VDR coding
US9374576B2 (en) 2011-06-13 2016-06-21 Dolby Laboratories Licensing Corporation Fused region-based VDR prediction
EP2557789B1 (en) 2011-08-09 2017-09-27 Dolby Laboratories Licensing Corporation Guided image up-sampling in video coding
RU2643485C2 (ru) 2011-09-27 2018-02-01 Конинклейке Филипс Н.В. Устройство и способ для преобразования динамического диапазона изображений
TWI575933B (zh) 2011-11-04 2017-03-21 杜比實驗室特許公司 階層式視覺動態範圍編碼中之層分解技術
EP2603000B1 (en) 2011-12-08 2017-11-01 Dolby Laboratories Licensing Corporation Guided prediction-filtering in layered vdr image coding
WO2013090120A1 (en) * 2011-12-15 2013-06-20 Dolby Laboratories Licensing Corporation Backwards-compatible delivery of digital cinema content with extended dynamic range
TWI556629B (zh) 2012-01-03 2016-11-01 杜比實驗室特許公司 規定視覺動態範圍編碼操作及參數
WO2013106190A1 (en) 2012-01-09 2013-07-18 Dolby Laboratories Licensing Corporation Hybrid reference picture reconstruction method for single and multiple layered video coding systems
US9420302B2 (en) 2012-01-24 2016-08-16 Dolby Laboratories Licensing Corporation Weighted multi-band cross color channel predictor
US9357197B2 (en) * 2012-05-24 2016-05-31 Dolby Laboratories Licensing Corporation Multi-layer backwards-compatible video delivery for enhanced dynamic range and enhanced resolution formats
US9219916B2 (en) 2012-06-12 2015-12-22 Dolby Laboratories Licensing Corporation Joint base layer and enhancement layer quantizer adaptation in EDR video coding
DE112013004068B4 (de) * 2012-08-16 2018-02-15 Fujifilm Corporation Bilddatei-Erzeugungsvorrichtung und Anzeigenvorrichtung
US9679365B2 (en) 2012-11-16 2017-06-13 Thomson Licensing Processing high dynamic range images
ES2702614T3 (es) 2013-01-02 2019-03-04 Dolby Laboratories Licensing Corp Codificación retrocompatible para señales de vídeo de ultra alta definición con dominio dinámico aumentado
WO2014163793A2 (en) 2013-03-11 2014-10-09 Dolby Laboratories Licensing Corporation Distribution of multi-format high dynamic range video using layered coding
RU2619886C2 (ru) 2013-03-26 2017-05-19 Долби Лабораторис Лайсэнзин Корпорейшн Кодирование перцепционно-квантованного видеоконтента в многоуровневом кодировании vdr
US8866975B1 (en) 2013-05-02 2014-10-21 Dolby Laboratories Licensing Corporation Backwards-compatible delivery of digital cinema content with higher dynamic range and related preprocessing and coding methods
EP2997732A1 (en) * 2013-05-15 2016-03-23 VID SCALE, Inc. Single loop decoding based inter layer prediction
US9584811B2 (en) 2013-06-17 2017-02-28 Dolby Laboratories Licensing Corporation Adaptive reshaping for layered coding of enhanced dynamic range signals
JP2015005878A (ja) 2013-06-20 2015-01-08 ソニー株式会社 再生装置、再生方法、および記録媒体
TWI513310B (zh) * 2013-07-12 2015-12-11 Univ Nat Yunlin Sci & Tech 攝影機動態範圍擴展裝置及方法
WO2015007510A1 (en) * 2013-07-16 2015-01-22 Koninklijke Philips N.V. Method and apparatus to create an eotf function for a universal code mapping for an hdr image, method and process to use these images
TWI632810B (zh) * 2013-07-19 2018-08-11 新力股份有限公司 Data generating device, data generating method, data reproducing device, and data reproducing method
TWI630821B (zh) * 2013-07-19 2018-07-21 新力股份有限公司 File generation device, file generation method, file reproduction device, and file reproduction method
TWI630820B (zh) * 2013-07-19 2018-07-21 新力股份有限公司 File generation device, file generation method, file reproduction device, and file reproduction method
JP6241683B2 (ja) * 2013-08-20 2017-12-06 ソニー株式会社 再生装置、再生方法、および記録媒体
EP3036890B1 (en) * 2013-08-22 2019-09-04 Dolby Laboratories Licensing Corporation Gamut mapping systems and methods
US9712834B2 (en) 2013-10-01 2017-07-18 Dolby Laboratories Licensing Corporation Hardware efficient sparse FIR filtering in video codec
ES2929313T3 (es) 2013-10-10 2022-11-28 Dolby Laboratories Licensing Corp Visualización de contenido DCI y otro en un proyector de rango dinámico mejorado
JP6202330B2 (ja) * 2013-10-15 2017-09-27 ソニー株式会社 復号装置および復号方法、並びに符号化装置および符号化方法
US9648351B2 (en) 2013-10-24 2017-05-09 Dolby Laboratories Licensing Corporation Error control in multi-stream EDR video codec
WO2015073373A1 (en) 2013-11-12 2015-05-21 Dolby Laboratories Licensing Corporation Pre-dithering in high dynamic range video coding
EP2989793B1 (en) * 2013-11-13 2017-04-05 Dolby Laboratories Licensing Corporation Workflow for content creation and guided display management of enhanced dynamic range video
CN105745914B (zh) 2013-11-22 2018-09-07 杜比实验室特许公司 用于逆色调映射的方法和系统
WO2015103124A1 (en) * 2014-01-02 2015-07-09 Vid Scale, Inc. Color space conversion
JP6512109B2 (ja) 2014-02-07 2019-05-15 ソニー株式会社 送信装置、送信方法、受信装置、受信方法、表示装置および表示方法
WO2015123067A1 (en) 2014-02-13 2015-08-20 Dolby International Ab Piecewise inter-layer prediction for signals with enhanced dynamic range
US9277196B2 (en) * 2014-02-19 2016-03-01 DDD IP Ventures, Ltd. Systems and methods for backward compatible high dynamic range/wide color gamut video coding and rendering
US9973723B2 (en) * 2014-02-24 2018-05-15 Apple Inc. User interface and graphics composition with high dynamic range video
CN116320394A (zh) 2014-02-25 2023-06-23 苹果公司 用于视频编码和解码的自适应传递函数
CN104954770A (zh) * 2014-03-31 2015-09-30 联咏科技股份有限公司 图像处理装置及其方法
WO2015163264A1 (ja) * 2014-04-22 2015-10-29 ソニー株式会社 符号化装置、符号化方法、送信装置、送信方法、受信装置、受信方法およびプログラム
CN106105177B (zh) * 2014-06-10 2019-09-27 松下知识产权经营株式会社 变换方法及变换装置
EP3157242B1 (en) 2014-06-10 2019-07-03 Panasonic Intellectual Property Management Co., Ltd. Display system, display method, and display device
US10136147B2 (en) 2014-06-11 2018-11-20 Dolby Laboratories Licensing Corporation Efficient transcoding for backward-compatible wide dynamic range codec
EP3155799A1 (en) * 2014-06-12 2017-04-19 Thomson Licensing Method of mapping source colors of a source content
CN106416261B (zh) * 2014-06-13 2020-06-26 索尼公司 传输设备、传输方法、接收设备以及接收方法
JP6330507B2 (ja) * 2014-06-19 2018-05-30 ソニー株式会社 画像処理装置及び画像処理方法
WO2016002154A1 (ja) * 2014-06-30 2016-01-07 パナソニックIpマネジメント株式会社 データ再生方法及び再生装置
US9866734B2 (en) 2014-08-26 2018-01-09 Dolby Laboratories Licensing Corporation Scene-change detection using video stream pairs
US10542265B2 (en) 2014-09-09 2020-01-21 Dolby Laboratories Licensing Corporation Self-adaptive prediction method for multi-layer codec
CN109151253B (zh) 2014-09-22 2020-12-18 松下知识产权经营株式会社 显示装置、显示方法以及再现显示系统
JP6302600B2 (ja) 2014-09-26 2018-03-28 ドルビー ラボラトリーズ ライセンシング コーポレイション 知覚的量子化されたビデオコンテンツの符号化および復号化
EP3010231A1 (en) * 2014-10-17 2016-04-20 Thomson Licensing Method for color mapping a video signal based on color mapping data and method of encoding a video signal and color mapping data and corresponding devices
EP3213291B1 (en) * 2014-10-27 2019-11-06 Dolby Laboratories Licensing Corporation Content mapping using extended color range
US9747673B2 (en) 2014-11-05 2017-08-29 Dolby Laboratories Licensing Corporation Systems and methods for rectifying image artifacts
WO2016072347A1 (ja) * 2014-11-07 2016-05-12 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US10136133B2 (en) 2014-11-11 2018-11-20 Dolby Laboratories Licensing Corporation Rate control adaptation for high-dynamic range images
JP2016100039A (ja) * 2014-11-17 2016-05-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 記録媒体、再生方法、および再生装置
CA2967245C (en) 2014-11-26 2022-08-30 Sony Corporation Transmission device, transmission method, reception device, and reception method
JP6601729B2 (ja) * 2014-12-03 2019-11-06 パナソニックIpマネジメント株式会社 データ生成方法、データ再生方法、データ生成装置及びデータ再生装置
DK3697097T3 (da) * 2014-12-03 2022-10-24 Panasonic Ip Man Co Ltd Datagenereringsenhed
US9860504B2 (en) 2015-01-09 2018-01-02 Vixs Systems, Inc. Color gamut mapper for dynamic range conversion and methods for use therewith
US9589313B2 (en) * 2015-01-09 2017-03-07 Vixs Systems, Inc. Dynamic range converter with pipelined architecture and methods for use therewith
EP3251351B1 (en) * 2015-01-27 2021-07-14 Dolby International AB Predictive image encoding and decoding with pixel group based quantization
AU2016212243B2 (en) * 2015-01-30 2020-11-26 Interdigital Vc Holdings, Inc. A method and apparatus of encoding and decoding a color picture
RU2661309C1 (ru) 2015-02-17 2018-07-13 Долби Лэборетериз Лайсенсинг Корпорейшн Межслойное предсказание для сигналов с улучшенным динамическим диапазоном
WO2016140293A1 (ja) * 2015-03-05 2016-09-09 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
EP3067882A1 (en) * 2015-03-10 2016-09-14 Thomson Licensing Adaptive color grade interpolation method and device
RU2666234C1 (ru) 2015-03-20 2018-09-06 Долби Лэборетериз Лайсенсинг Корпорейшн Аппроксимация восстановления формы сигнала
US10687080B2 (en) 2015-08-28 2020-06-16 Arris Enterprises Llc Color volume transforms in coding of high dynamic range and wide color gamut sequences
JP6803378B2 (ja) * 2015-08-31 2020-12-23 インターデジタル ヴイシー ホールディングス, インコーポレイテッド 逆トーンマッピングの方法及び装置
US10122928B2 (en) 2015-09-09 2018-11-06 Red.Com, Llc Motion video output for multiple displays
US10778983B2 (en) 2015-09-23 2020-09-15 Dolby Laboratories Licensing Corporation Preserving texture/noise consistency in video codecs
CN106878694B (zh) * 2015-12-10 2018-12-18 瑞昱半导体股份有限公司 高动态范围信号处理系统与方法
WO2017107114A1 (zh) * 2015-12-23 2017-06-29 华为技术有限公司 一种图像信号转换处理方法、装置及终端设备
CN106937121B (zh) * 2015-12-31 2021-12-10 中兴通讯股份有限公司 图像解码和编码方法、解码和编码装置、解码器及编码器
US10032262B2 (en) 2016-02-02 2018-07-24 Dolby Laboratories Licensing Corporation Block-based content-adaptive reshaping for high dynamic range images
US10223774B2 (en) 2016-02-02 2019-03-05 Dolby Laboratories Licensing Corporation Single-pass and multi-pass-based polynomial approximations for reshaping functions
EP3220645A1 (en) * 2016-03-18 2017-09-20 Thomson Licensing A method and a device for encoding a high dynamic range picture, corresponding decoding method and decoding device
EP3433833B1 (en) 2016-03-23 2021-07-07 Dolby Laboratories Licensing Corporation Encoding and decoding reversible production-quality single-layer video signals
US10397586B2 (en) 2016-03-30 2019-08-27 Dolby Laboratories Licensing Corporation Chroma reshaping
US10440401B2 (en) 2016-04-07 2019-10-08 Dolby Laboratories Licensing Corporation Backward-compatible HDR codecs with temporal scalability
US10699391B2 (en) 2016-04-29 2020-06-30 Disney Enterprises, Inc. Dynamic range expansion highlight information restoration
EP3456058A1 (en) * 2016-05-13 2019-03-20 VID SCALE, Inc. Bit depth remapping based on viewing parameters
CN109314772B (zh) * 2016-06-22 2021-10-29 杜比实验室特许公司 在具有三维(3d)功能的显示器上呈现宽色域、二维(2d)图像
GB201611253D0 (en) 2016-06-29 2016-08-10 Dolby Laboratories Licensing Corp Efficient Histogram-based luma look matching
EP3504875B1 (en) * 2016-08-26 2020-06-24 Dolby Laboratories Licensing Corporation Chroma reshaping based on just noticeable differences
TWI631505B (zh) * 2016-08-26 2018-08-01 晨星半導體股份有限公司 應用於播放裝置的影像處理方法及相關的電路
CN109891869B (zh) * 2016-09-20 2021-12-07 索尼公司 视频信号处理设备、视频信号处理方法和视频信号处理系统
US20180097527A1 (en) * 2016-10-03 2018-04-05 Microsoft Technology Licensing, Llc 32-bit hdr pixel format with optimum precision
US10264287B2 (en) * 2016-10-05 2019-04-16 Dolby Laboratories Licensing Corporation Inverse luma/chroma mappings with histogram transfer and approximation
US20180152686A1 (en) * 2016-11-28 2018-05-31 Microsoft Technology Licensing, Llc Tone mapping functions for rendering high dynamic range video on enhanced dynamic range display devices
US10218952B2 (en) 2016-11-28 2019-02-26 Microsoft Technology Licensing, Llc Architecture for rendering high dynamic range video on enhanced dynamic range display devices
US10176561B2 (en) 2017-01-27 2019-01-08 Microsoft Technology Licensing, Llc Content-adaptive adjustments to tone mapping operations for high dynamic range content
US10104334B2 (en) 2017-01-27 2018-10-16 Microsoft Technology Licensing, Llc Content-adaptive adjustment of display device brightness levels when rendering high dynamic range content
JP7086587B2 (ja) 2017-02-24 2022-06-20 インターデジタル ヴイシー ホールディングス, インコーポレイテッド 復号された画像データから画像データを再構成する方法および装置
CN106911903A (zh) * 2017-03-15 2017-06-30 四川长虹电器股份有限公司 一种sdr信号转hdr信号效果的画质数据处理方法
EP3383017A1 (en) * 2017-03-31 2018-10-03 Thomson Licensing Method and device for color gamut mapping
JP7037584B2 (ja) 2017-06-16 2022-03-16 ドルビー ラボラトリーズ ライセンシング コーポレイション 効率的なエンド・ツー・エンドシングルレイヤー逆ディスプレイマネジメント符号化
JP6584538B2 (ja) * 2018-01-16 2019-10-02 トムソン ライセンシングThomson Licensing 高ダイナミックレンジ画像の処理
WO2019169174A1 (en) 2018-02-28 2019-09-06 Dolby Laboratories Licensing Corporation Linear encoder for image/video processing
US10609424B2 (en) 2018-03-09 2020-03-31 Dolby Laboratories Licensing Corporation Single-layer progressive coding for supporting multi-capability HDR composition
US10445865B1 (en) * 2018-03-27 2019-10-15 Tfi Digital Media Limited Method and apparatus for converting low dynamic range video to high dynamic range video
US10917583B2 (en) * 2018-04-27 2021-02-09 Apple Inc. Standard and high dynamic range display systems and methods for high dynamic range displays
US10628929B2 (en) 2018-05-28 2020-04-21 Augentix Inc. Method and computer system of image enhancement
CN110691277B (zh) 2018-07-05 2024-03-05 华为技术有限公司 视频信号的处理方法及装置
JP7138935B2 (ja) * 2018-10-19 2022-09-20 株式会社朋栄 Hdr映像をsdr映像に変換するhdr広色域映像変換装置及びhdr広色域映像変換方法
US10957024B2 (en) 2018-10-30 2021-03-23 Microsoft Technology Licensing, Llc Real time tone mapping of high dynamic range image data at time of playback on a lower dynamic range display
EP3664017B1 (en) * 2018-12-06 2022-03-02 Robert Bosch GmbH Method and device for digital image or video data processing
US10832389B2 (en) 2018-12-13 2020-11-10 Ati Technologies Ulc Method and system for improved visibility in blended layers for high dynamic range displays
JP7249417B2 (ja) 2018-12-19 2023-03-30 ドルビー ラボラトリーズ ライセンシング コーポレイション 適応的スパースフィルタリングを用いた画像のデバンディング
ES2945657T3 (es) * 2019-04-25 2023-07-05 Dolby Laboratories Licensing Corp Analizador de rango de PQ con consciencia de contenido, y mapeo de tono en alimentaciones en vivo
CN110312136A (zh) * 2019-05-10 2019-10-08 同济大学 一种对多分量数据的编码和解码方法
WO2021030375A1 (en) * 2019-08-12 2021-02-18 Dolby Laboratories Licensing Corporation Adaptive image data linearization for hdr image sensors
TWI812874B (zh) 2019-10-01 2023-08-21 美商杜拜研究特許公司 張量乘積之b平滑曲線預測子
CN115797151A (zh) * 2021-09-10 2023-03-14 北京字跳网络技术有限公司 一种颜色映射色卡生成方法及装置
CN115293994B (zh) * 2022-09-30 2022-12-16 腾讯科技(深圳)有限公司 图像处理方法、装置、计算机设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050152597A1 (en) * 2004-01-14 2005-07-14 Eastman Kodak Company Constructing extended color gamut digital images from limited color gamut digital images
US20060104533A1 (en) * 2004-11-16 2006-05-18 Sharp Laboratories Of America, Inc. High dynamic range images from low dynamic range images
JP2007243942A (ja) * 2006-02-24 2007-09-20 Sharp Corp 画像データの符号化方法、復号化方法、およびコーデックシステム
JP2009524371A (ja) * 2006-01-23 2009-06-25 マックス−プランク−ゲゼルシャフト・ツア・フェルデルング・デア・ヴィッセンシャフテン・エー・ファオ 高ダイナミックレンジコーデック
WO2009087952A1 (en) * 2008-01-04 2009-07-16 Sharp Kabushiki Kaisha Methods and apparatus for inter-layer image prediction parameter determination
JP2010506440A (ja) * 2006-09-30 2010-02-25 トムソン ライセンシング ビデオのカラーエンハンスメント層をエンコード及びデコードする方法及び装置
WO2010105036A1 (en) * 2009-03-13 2010-09-16 Dolby Laboratories Licensing Corporation Layered compression of high dynamic range, visual dynamic range, and wide color gamut video

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5249784B2 (ja) 1973-09-14 1977-12-20
JP3509448B2 (ja) 1996-04-12 2004-03-22 ソニー株式会社 ビデオカメラ装置、映像信号処理装置、カラー映像信号のレベル圧縮方法および階調変換方法
JP3709566B2 (ja) 1997-05-07 2005-10-26 ソニー株式会社 映像信号処理装置、カラービデオカメラ及び映像信号の処理方法
US6282313B1 (en) * 1998-09-28 2001-08-28 Eastman Kodak Company Using a set of residual images to represent an extended color gamut digital image
US6282312B1 (en) * 1998-09-28 2001-08-28 Eastman Kodak Company System using one or more residual image(s) to represent an extended color gamut digital image
US8374237B2 (en) 2001-03-02 2013-02-12 Dolby Laboratories Licensing Corporation High precision encoding and decoding of video images
IL159233A0 (en) 2001-06-07 2004-06-01 Genoa Technologies Ltd Device, system and method of data conversion for wide gamut displays
EP1370070B1 (de) * 2002-06-06 2007-08-01 Imaging Solutions AG Farbmanagement mit Referenzgamut
US20040170319A1 (en) 2003-02-28 2004-09-02 Maurer Ron P. System and method of gamut mapping image data
US7181065B2 (en) 2004-01-07 2007-02-20 Texas Instruments Incorporated Enhanced color correction circuitry capable of employing negative RGB values
KR100601942B1 (ko) * 2004-02-26 2006-07-14 삼성전자주식회사 색 변환 방법 및 장치 및 이를 이용한 다색 디스플레이 장치
US8218625B2 (en) * 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
US7602537B2 (en) 2004-05-06 2009-10-13 Canon Kabushiki Kaisha Gamut mapping with primary color rotation
KR20060081536A (ko) 2005-01-10 2006-07-13 삼성전자주식회사 영상의 rgb 정보를 이용한 블랙/화이트 스트레칭 시스템
WO2006085274A2 (en) * 2005-02-10 2006-08-17 Koninklijke Philips Electronics N.V. Method of displaying an image and correspond image-display system
JP4687320B2 (ja) * 2005-08-11 2011-05-25 ソニー株式会社 画像処理装置および方法、記録媒体、並びに、プログラム
US7822270B2 (en) 2005-08-31 2010-10-26 Microsoft Corporation Multimedia color management system
US7414631B2 (en) 2005-09-08 2008-08-19 Canon Kabushiki Kaisha Perceptual gamut mapping with multiple gamut shells
CN101322416B (zh) * 2006-03-20 2010-10-13 索尼株式会社 图像信号处理装置及图像信号处理方法
WO2007125697A1 (ja) * 2006-04-26 2007-11-08 Panasonic Corporation 映像処理装置、記録媒体、映像信号処理方法、映像信号処理用プログラムおよび集積回路
CA2570090C (en) * 2006-12-06 2014-08-19 Brightside Technologies Inc. Representing and reconstructing high dynamic range images
US8237865B2 (en) 2006-12-18 2012-08-07 Emanuele Salvucci Multi-compatible low and high dynamic range and high bit-depth texture and video encoding system
US20100091840A1 (en) 2007-01-10 2010-04-15 Thomson Licensing Corporation Video encoding method and video decoding method for enabling bit depth scalability
US8503524B2 (en) 2007-01-23 2013-08-06 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction
US8665942B2 (en) 2007-01-23 2014-03-04 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction signaling
US8233536B2 (en) 2007-01-23 2012-07-31 Sharp Laboratories Of America, Inc. Methods and systems for multiplication-free inter-layer image prediction
US7826673B2 (en) 2007-01-23 2010-11-02 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction with color-conversion
CN101641949B (zh) 2007-04-03 2012-02-01 汤姆逊许可公司 用于色彩校正具有不同色域的显示器的方法和系统
TW200845723A (en) 2007-04-23 2008-11-16 Thomson Licensing Method and apparatus for encoding video data, method and apparatus for decoding encoded video data and encoded video signal
US20080266314A1 (en) 2007-04-26 2008-10-30 Mark Melvin Butterworth Nonlinearly extending a color gamut of an image
US8934542B2 (en) 2007-06-29 2015-01-13 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Scalable video coding supporting pixel value refinement scalability
US7983502B2 (en) * 2007-08-06 2011-07-19 Microsoft Corporation Viewing wide angle images using dynamic tone mapping
TWI489442B (zh) 2008-04-03 2015-06-21 Sunplus Technology Co Ltd Adaptive color space conversion system and method
EP2120448A1 (en) 2008-05-14 2009-11-18 Thomson Licensing Method of processing of a compressed image into a gamut mapped image using spatial frequency analysis
EP2144444B1 (en) * 2008-07-10 2012-06-27 The University Of Warwick HDR video data compression devices and methods
US9571856B2 (en) * 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
EP2441267A1 (en) 2008-10-17 2012-04-18 Trellis Management Co., Ltd. High dynamic range texture and video coding
KR101539379B1 (ko) 2008-12-31 2015-07-29 주식회사 동부하이텍 실시간 영상 발생기
WO2011133505A1 (en) 2010-04-19 2011-10-27 Dolby Laboratories Licensing Corporation Quality assessment of high dynamic range, visual dynamic range and wide color gamut image and video
US9589313B2 (en) * 2015-01-09 2017-03-07 Vixs Systems, Inc. Dynamic range converter with pipelined architecture and methods for use therewith

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050152597A1 (en) * 2004-01-14 2005-07-14 Eastman Kodak Company Constructing extended color gamut digital images from limited color gamut digital images
US20060104533A1 (en) * 2004-11-16 2006-05-18 Sharp Laboratories Of America, Inc. High dynamic range images from low dynamic range images
JP2009524371A (ja) * 2006-01-23 2009-06-25 マックス−プランク−ゲゼルシャフト・ツア・フェルデルング・デア・ヴィッセンシャフテン・エー・ファオ 高ダイナミックレンジコーデック
JP2007243942A (ja) * 2006-02-24 2007-09-20 Sharp Corp 画像データの符号化方法、復号化方法、およびコーデックシステム
JP2010506440A (ja) * 2006-09-30 2010-02-25 トムソン ライセンシング ビデオのカラーエンハンスメント層をエンコード及びデコードする方法及び装置
WO2009087952A1 (en) * 2008-01-04 2009-07-16 Sharp Kabushiki Kaisha Methods and apparatus for inter-layer image prediction parameter determination
WO2010105036A1 (en) * 2009-03-13 2010-09-16 Dolby Laboratories Licensing Corporation Layered compression of high dynamic range, visual dynamic range, and wide color gamut video

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017511080A (ja) * 2014-01-06 2017-04-13 エルジー エレクトロニクス インコーポレイティド カラーガマットリサンプリングに基づく放送信号送受信方法及び装置
US10027996B2 (en) 2014-01-06 2018-07-17 Lg Electronics Inc. Method and device for transmitting and receiving broadcast signal on basis of color gamut resampling
US10567811B2 (en) 2014-01-06 2020-02-18 Lg Electronics Inc. Method and device for transmitting and receiving broadcast signal on basis of color gamut resampling
US11006156B2 (en) 2014-01-06 2021-05-11 Lg Electronics Inc. Method and device for transmitting and receiving broadcast signal on basis of color gamut resampling
US11871053B2 (en) 2014-01-06 2024-01-09 Lg Electronics Inc. Method and device for transmitting and receiving broadcast signal on basis of color gamut resampling
JPWO2016132976A1 (ja) * 2015-02-17 2017-11-24 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US11178434B2 (en) 2015-02-17 2021-11-16 Sony Corporation Transmission apparatus, transmission method, reception apparatus, and reception method
US11838564B2 (en) 2015-02-17 2023-12-05 Sony Group Corporation Transmission apparatus, transmission method, reception apparatus, and reception method

Also Published As

Publication number Publication date
US20160134853A1 (en) 2016-05-12
CN103069809A (zh) 2013-04-24
TWI559779B (zh) 2016-11-21
JP6019157B2 (ja) 2016-11-02
US9264681B2 (en) 2016-02-16
WO2012027405A2 (en) 2012-03-01
TW201223293A (en) 2012-06-01
WO2012027405A3 (en) 2012-12-13
TW201440531A (zh) 2014-10-16
EP2609746A2 (en) 2013-07-03
EP2609746B1 (en) 2020-03-25
US10158835B2 (en) 2018-12-18
TWI479898B (zh) 2015-04-01
JP2015111959A (ja) 2015-06-18
US20130148029A1 (en) 2013-06-13
CN103069809B (zh) 2015-11-25
JP5723008B2 (ja) 2015-05-27

Similar Documents

Publication Publication Date Title
JP5723008B2 (ja) 画像のダイナミックレンジの拡大
JP6356190B2 (ja) グローバルなディスプレイ管理ベースの光変調
KR102121676B1 (ko) 지각 코드 공간에서 디스플레이를 동작시키기 위한 기술들
KR102385015B1 (ko) 상이한 디스플레이 능력들을 통한 지각적 휘도 비선형성―기반 이미지 데이터 교환을 향상시키는 방법
EP2697972B1 (en) Image prediction based on primary color grading model
WO2012142285A2 (en) Quality assessment for images that have extended dynamic ranges or wide color gamuts
KR20180123046A (ko) 하이 다이나믹 레인지 픽처를 인코딩하기 위한 방법 및 디바이스, 대응하는 디코딩 방법 및 디코딩 디바이스
KR20150002440A (ko) 영상처리장치 및 영상처리방법
Poynton et al. Deploying wide color gamut and high dynamic range in HD and UHD

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140415

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150310

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150326

R150 Certificate of patent or registration of utility model

Ref document number: 5723008

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250