JP2016533071A - Hdrイメージの符号化のためのコードマッピング関数を作成するための方法及び装置、並びに、かかる符号化イメージの使用のための方法及び装置 - Google Patents

Hdrイメージの符号化のためのコードマッピング関数を作成するための方法及び装置、並びに、かかる符号化イメージの使用のための方法及び装置 Download PDF

Info

Publication number
JP2016533071A
JP2016533071A JP2016526496A JP2016526496A JP2016533071A JP 2016533071 A JP2016533071 A JP 2016533071A JP 2016526496 A JP2016526496 A JP 2016526496A JP 2016526496 A JP2016526496 A JP 2016526496A JP 2016533071 A JP2016533071 A JP 2016533071A
Authority
JP
Japan
Prior art keywords
image
color
dynamic range
encoding
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016526496A
Other languages
English (en)
Other versions
JP6368365B2 (ja
JP2016533071A5 (ja
Inventor
デル フルーテン レナトス ヨセフュス ファン
デル フルーテン レナトス ヨセフュス ファン
イエルーン フベルト クリストフェル ヤコブス ステッセン
イエルーン フベルト クリストフェル ヤコブス ステッセン
マウリック ヨハネス ヘラルドス レイク ファン
マウリック ヨハネス ヘラルドス レイク ファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2016533071A publication Critical patent/JP2016533071A/ja
Publication of JP2016533071A5 publication Critical patent/JP2016533071A5/ja
Application granted granted Critical
Publication of JP6368365B2 publication Critical patent/JP6368365B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/64Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/67Circuits for processing colour signals for matrixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0271Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

現在出現し始めた、(HDRディスプレイ及びHDR映画のHDRグレーディングアプリケーションなどを含む)フルハイダイナミックレンジイメージ技術システムにおいて使用するためのハイダイナミックレンジイメージのより良い符号化を可能とするため、我々は、ハイダイナミックレンジイメージを符号化する方法であって、前記方法は、入力ハイダイナミックレンジイメージのピクセルカラーを入力するステップであって、前記ピクセルカラーは、輝度及び色度の情報を持つ前記ステップと、ピクセルカラーの前記輝度のルマコードを抽出するために、マッピング関数の逆関数を適用するステップであって、前記マッピング関数は、【数1】として定義される第1の部分関数と、【数2】として定義される第2の部分関数と、を有するものとして予め定められ、ここで、ρは、同調定数であり、vは、符号化される輝度に対応する前記ルマコードであり、Lmは、所定の基準ディスプレイのピーク輝度であり、γは、好ましくは2.4に等しい定数である、前記ステップと、前記ルマコードを有するカラー符号化を持つピクセルのマトリクスを出力するステップと、を有する、方法を発明した。

Description

本発明は、HDR輝度ルックイメージ(一般的に、5000ニットなどの高いピーク輝度を具備するとともに、多くの輝度に亘って、即ち濃い黒まで意味のあるオブジェクトを有するディスプレイ上で表示するための最適なイメージ)のための符号化のみを必要とする意味で、又は、HDRイメージルックに加えて、対応するLDRイメージルックを符号化するデュアルエンコーディングにおいて、1つのハイダイナミックレンジイメージ(即ち、静止画)、より好ましくは複数のハイダイナミックレンジイメージ(即ち、映像)の符号化に関する。さらに、符号化は、ブルーレイ(登録商標)ディスクストレージ、又は、HDMIケーブル接続、又は、他のイメージ送信、又は、ストレージシステムなどの、既存の技術の現在のイメージ又は映像符号化フレームワークに適合することができることが好ましい。HDR映像(又は静止画イメージでさえ)の符号化が、これまで困難なタスクであり、一般的に信じられていることは、シーンオブジェクトのLDRレンジより上の輝度を符号化(例えば、シーン輝度を直接的に符号化)するために、著しく多くのビットを使用する必要がある、あるいは、例えば、オブジェクト反射イメージに加えて輝度ブーストイメージを有する幾つかの2レイヤアプローチ又は同様の分解戦略を必要とするということである。フィリップス(登録商標)は、近年、より単純な単一イメージアプローチを提案している。これは、想像することが難しいだけでなく、実際に、多くの技術的問題を解決に向かわせる場合に、全く新しい傾向である。実際の動作では、特定のフレームワークにおいて、本願は、符号化技術などの構築の一部、並びに、様々な再生シナリオ(HDRディスプレイ及びLDRディスプレイのための、少なくとも現実的/最適な見え方のイメージ)のための芸術的なグレーディングなどの全体のフレームワークを教示する。
「ハイダイナミックレンジ」(HDR)に関し、我々は、キャプチャ側から取得されたイメージ(又は、複数のイメージ)が、レガシーなLDR符号化(即ち、コントラスト比10.000:1又はそれ以上がコーディングによって達成され、イメージ操作の全てのコンポーネントがレンダリングまで結び付き、キャプチャされるオブジェクト輝度が1000ニット以上であり得、又は、より具体的には、一般的に、照らされるランプ又は日の当たる外部の幾つかの所望の表現を生成する所与の生成環境に対し、1000ニット以上で再生され得る)に比して高い輝度コントラスト比を持ち、及び/又は、かかるイメージ(又は、複数のイメージ)のレンダリングが、HDRであり(即ち、イメージは、高品質なHDRレンダリングのための十分な情報を含み、好ましくは、技術的に扱いやすいという点で適切でなければならない)、イメージが、少なくとも2000ニットのピーク輝度を有するディスプレイ上でレンダリングされる又はレンダリングされることを意図されることを意味する(一般的に適切な色マッピングの後で、100ニットのピーク輝度などのLDRディスプレイ上でレンダリングされ得ないことを示してはいない)。
近年、ドルビーのデュアルレイヤ方法(国際公開第2005/1040035号)など、複数のHDRエンコーディング技術が提案されている。しかしながら、産業界は、現在、データ量だけでなく、計算の複雑性(ICの価格)、導入の容易さ、作りたいものを作成する芸術家のための多用途性などの極めて重要なファクタなどの全ての要件(のバランス)にフィットする実用的なHDR映像(/イメージ)符号化技術を模索している。特に、デュアルレイヤアプローチは、複雑であると分かっている。理想的には、例えば、DCTベースのMPEG HEVC符号化などのレガシーな符号化と適合する符号化を設計可能にしたい。問題は、直感的でない(特定のLDRイメージを含むために最適化された技術において、即ち、約100ニットのピーク輝度及びぼんやりとした周囲を有するディスプレイ上で視聴される場合に、定義上、LDRイメージとは異なる、一般的により多くの関心輝度/照度レンジを持つHDRイメージを符号化できる)ということである。これらのレガシーなLDRイメージ操作/符号化システムは、典型的なLDRイメージングシナリオで動作するように設計及び最適化されている。これは、約68:1(それぞれ170:1)の総コントラスト比のビューにおいて、(例えば、白色のための85%と黒色のための5%との間の反射率において変化可能な)オブジェクトのほとんどに関し、スタジオ照明比における4:1(又は、10:1など)で通常十分に照らされている。ピーク白色から始まる輝度の相対レンダリングを見る場合、ローカルディミングを具備しない典型的な昔のLCDモニタは、イメージコントラスト比とマッチするであろう100ニットの白色及び1ニットの黒色などを持つであろう。一般的に、日中の間にも見られ得る平均的なCRTシステムでは、例えば、40:1の能力を持つであろう。これらのシステムにおいて標準的な輝度コード割り当てガンマ2.2関数を持つことは、より高いシーンコントラストのほとんどのシナリオに関し、十分であるとみられている。許容可能なエラーとみなされる時間における幾つかが作られるが、LDRディスプレイは、それらを物理的に正確な方法でレンダリングできないため、まずく符号化された高輝度シーン領域(例えば、ハードクリッピング)のかかるレンダリングエラーも許容可能である。
しかしながら、例えば、屋内にいる人が日の当たる屋外を同時に見る屋内シーンなど、100:1又はそれ以上の輝度比であり得る、レンダリングの改善が所望されるシナリオがある。LDRでは、それらの領域は、(ソフト)クリッピングされたものとして示される(一般的に、既に、符号化イメージでは、それらのピクセルのためにおよそ最大255個の符号を区別することが困難である)が、HDRディスプレイ上では、それらを明るく且つ色鮮やかに表示したい。それは、かかるシーンに、また、より高い輝度コンテンツが大きな視覚的品質の改善を既に示す幾つかの反射のみからなるようなシーンにさえ、(まるで、本当にイタリアの休日にいるかのように)より自然且つ豪華なレンダリングを与えるであろう。例えば、5000ニット又は10000ニットのディスプレイ上で、既に、クリッピング又は量子化エラーなどのアーチファクトが煩わしく見える場合、少なくとも、我々は、適切な種類のイメージで、かかるディスプレイを駆動可能である。結果、レンダリングは、ディスプレイが可能な範囲で美しくなる。
しかしながら、追加的なオーバー輝度レンジを符号化するための古典的な知恵では、より多く(極めて多く)のビットが必要である。それは、本来、(サインビット、5ビットの指数部、及び、10ビットの仮数部を有するOpenEXR、あるいは、数学的に、緻密に、高精度である可能なオブジェクト輝度の全体像を取得しようとするWard's LogLuvエンコーディングなどの)単一のより大きなコードワードにおける符号化により、あるいは、標準的なLDRレンジ符号(例えば、HDRイメージの古典的なJPEG近似)を具備する第1のレイヤと、かかるピクセル輝度をより高い輝度(例えば、より高い輝度に対して必要である場合、各ピクセルをブーストするためのブーストイメージ、即ち、単一の線形16ビットコードと同等の2つの8ビットイメージの乗算)に改善するための第2のレイヤと、を用いることにより、起こり得る。
勿論、様々なHDRイメージの大きなレンジを扱うことができなければならないという事実に加え、実際のHDRコーディング技術を設計する場合に解決されるべき主な実施上の問題は、ハードウェア製造業者が、コードワード(チャネル)毎のビットがより少ない量であることを望むということであり、我々の提案する技術もより大きなビットワードで動作できるが、我々は、少なくとも輝度(又は、より正確にはルマ)チャネルのために10ビットという制限の下、うまく動作する解決法に至った。さらに、我々は、デュアルな方向で、機能する態様において、幾つかのレンダリングシナリオに関し、カラーピクセル符号化及び色表現変換の両方を行なうことができるフレームワークを開発した。これは、少なくとも第2の画像における各画像の代わりに関数のみが符号化される必要があることを意味する。また、この経路を調査及び展開することによって、我々は、何が、明らかに些細でないかを発見し、本出願において、我々が、ルマ軸上で適切な関数を選択することによって、良好な品質で、本当にシステムを動作させ、輝度に独立した色平面において他の2つのコンポーネントを符号化することさえできたことを開示した。これは、開発後、(例えば、広い色域のための)色平面の自由な選択、コーデック空間自体の内側の簡単な計算などの符号化の更なる利点をもたらす。
我々は、特に、現状、多くのレガシーなLDRシステムがこの分野においてなお存在しており、ある程度の互換性を必要とするという視点に端を発する、HDRイメージの改善された符号化を必要とする。一方、これは、我々が、(第1レベルの互換性を持つ)(I)DCTなどの機能を実装する既存のコーダ(デコーダ)ICを維持したいということを意味する。また、LDR(即ち、なお十分視聴可能な暗い領域などを有する、かかるディスプレイダイナミックレンジ能力の下での正確なLDRルック)のみをレンダリング可能であるため、LDRイメージを必要とするディスプレイとの第2レベルの互換性が必要である。これは、現在展開されているレガシーなTVに加え、将来において、消費者がHDR映画のレンダリングを所望する、ラップトップ又はパッド型コンピュータ又は携帯電話などの小さい携帯用ディスプレイの低輝度能力から、将来的には、例えば、10000ニットのピーク輝度を持つであろう最新のHDRディスプレイまで、さらに、それらの範囲の間にある全てのディスプレイにまでが対象となるためである。ディスプレイは、いまだレガシー且つ単純であるが、例えば、HDMI又は他の接続などを介して、我々が発明及び説明するオプションの任意の組み合わせを提供するセットトップボックス又はコンピュータが供給するHDRコンテンツにおいて、高い複雑性を有する新たなデコーディング及び色マッピングICによって機能し得る。我々は、このことを、理想的なシナリオにおいて、コンテンツ供給元からの同一の映画又は画像に関して、(少なくとも)2つのグレーディングを必要とするアプローチに変換した。これを、我々は、単純に、(約100ニットのピーク輝度を有するディスプレイなどのLDRディスプレイシナリオで使用される)LDRイメージ及び(より明るいディスプレイのための)HDRイメージと呼ぶ。しかし、たとえ(例えば、ブルーレイディスク上で、HDRディスプレイの特定の想定レンジのみで機能する、又は、独立した態様でレンジ外のディスプレイのためのマッピングを導出する)単一のHDRイメージのみが符号化される場合であっても、以下の実施形態も有用である。我々は、任意の想定される戦略において適合できるように上記教示を提案する。
このため、幾つかの実例的なシナリオに関し、我々は、マスターHDRグレーデッドイメージの入力(例えば、作成者の嗜好がどんな色処理ソフトウェアであろうと、それは、自由自在に、グレーディングされている、及び、OpenEXRなどの開始色エンコーディングにおいて符号化されている)として、新規のHDRエンコーディングのための開始点を持つ。様々な現在のイメージ/映像エンコーディング技術に広く適合する、新しいBD(登録商標)ディスク再生器、又は、インターネットストリーム映像を受信するテレビIC、又は、どんなイメージソースにも接続された任意の受信器のため、現在の映像又はイメージ技術のために(即ち、かかる符号化技術を使用する通常の方法からわずかにのみ修正するだけで、即ち、我々の方法は、12ビットのハードウェアで動作すべきであるが、コンポーネント毎に10ビットのみが利用可能である場合、又は、8ビットのシステム上である程度の低品質を許容する場合も、例えば、全てのバスを12ビットに変更する必要なく)、実際に使用可能である態様でこれを符号化する必要がある。
我々は、HDRイメージ及び幾つかの「LDR」イメージ(それが、LDRレンダリングのために直接的に使用されるグレーディングであろうと、更なる色処理の後、HDR技術上のHDRの方法でレンダリングされるのみのイメージを単に符号化するための、見られることがないただの「準イメージ」であろうと)が、ピクセルカラーの輝度を符号化する色成分上の関数変換(変更可能なこれらの関数がネットワーク通信経路を介して送信され、接続されたメモリ装置などに格納される場合、単一の関数、又は、有用且つ事前に合意された関数の典型的に限定されたセットの1つであり、映画の最初及び可能であれば映画を受信するテレビなどのための再生時間の数分などにおいて、前記事前合意は、コンテンツ作成側がコンテンツ受信側と機能的にリンク付けされる場合に、即ち、多くの映画を符号化する事に関し、準備及び合意していない場合、少なくとも起こるべきである)により、HDRイメージにリンク付けされ得るということの実現に至った。
本発明は、例えば、少なくとも以下の方法において実現されることができる。
ハイダイナミックレンジイメージを符号化するための方法であって、前記方法は、
入力ハイダイナミックレンジイメージのピクセルカラーを入力するステップであって、前記ピクセルカラーは、輝度及び色度の情報を持つ前記ステップと、
ピクセルカラーの前記輝度のルマコード(v)を抽出するために、マッピング関数の逆関数を適用するステップであって、前記マッピング関数は、
Figure 2016533071
として定義される第1の部分関数と、
Figure 2016533071
として定義される第2の部分関数と、を有するものとして予め定められ、ここで、ロー(ρ)は、同調定数であり、vは、符号化される輝度(L)に対応する前記ルマコードであり、Lは、所定の基準ディスプレイのピーク輝度であり、ガンマ(γ)は、好ましくは2.4に等しい定数である、前記ステップと、
前記ルマコード(v)を有するカラー符号化を持つピクセルのマトリクスを出力するステップと、を有する、方法。
この関数は、区間[0,1]においてシンボルvが与えられる[0−1023]符号などのNビットルマY´の正規化バージョンを持つ色を有する少なくともHDRマスタイメージを符号化するために使用されることができ、イメージ(人々が影にいるエジプトの青空市場や、屋根の穴を通じた強い日光の輝きによって照らされる別の人など多数であり得るが、映像は、天気図又はディスコにおけるレーザ又は人工的にシミュレートされたレーザなどのグラフィックを含んでいてもよい)における様々なオブジェクト全ての関心のある輝度レンジが十分な精度で符号化されることを保障する。このため、この関数は、均一量子化の前にルマへ輝度を再割り当てするように、素早く予め決定されていてもよいし、又は、オンザフライで決定されてもよい。この輝度マッピング関数を設計する場合(又は、より正確には、基準ディスプレイ上でレンダリング可能な輝度に対して[0,1]におけるルマコードをマッピングする対応する電気光学的等価関数EOTF(Electro-optical transfer function)を開始点として)、我々は、いくつかの技術的挙動基準を考慮した。第1に、多数の輝度を符号化可能とするために、(部分的な)対数的な挙動が良い特徴であるが、これは、確実に、幾つかの線形範囲の輝度の単純な対数表現ではない。(確実に、イメージ処理の理由を考慮して所望のイメージ処理ルックのみを得るためだけではなく、また、最適な符号化のために適応対数関数を切り取るだけでもない)。それどころか、この関数は、長い実験から生まれた幾つかの考慮後に設計された。これらを考慮し、それは、実際に起こるHDRシーンにおける全ての必要な表現を十分現実的に示すために定義されたユニバーサル線形基準輝度レンジ(例えば、0.0001ニット〜5000ニット)を定義することが可能となった後、全ての基準(少なくとも良好なHDR量子化精度)に関し最適な挙動をする関数であることが分かった。形式的には、我々の基準EOTFは、指数部を持つが、逆に、「対数的」挙動として理解及び説明することもできることに留意すべきである。。そのような基準レンジを持つことは、明るい輝度(又はルマ)のための幾つかの「対数的」挙動、及び、より暗い輝度のための幾つかのガンマ挙動を持つために最も有用である。実際、1+xとしての数学的な近似exp(x)では、暗い領域において主にガンマ挙動を有し、暗い領域において必要とされる精度をパラメータρで調整可能である(ディスプレイを操作する最大の符号は、最大の表示可能な輝度に対応するため、ガンマは、最大で1:1のマッピングの場合に更なる形状コントローラである)ため、これは、我々が、容易に制御可能な関数を有することを意味する。HDRイメージの異なるクラスを持つ場合、HDRのみのイメージエンコーディングのための単一のマスタEOTFを持つことだけでなく、ガンマも極めて有用である。事実、全てのシナリオのためにリーズナブルな単一の最適な関数を適用することを決定しない場合、EOTF(及び、対応する逆OETF)を調整することができる。例えば、当業者である読者は、(まずく照らされた様々な反射率を有する全てのそれらのオブジェクトが、全て暗い領域に溶け込んでしまうため)暗いベースのイメージは、特に暗い周囲で、より暗いグレー値を見るように視聴者の目を適合させる一方、他方で、おそらくより関連性のある暗いグレー値を持ち、明るさは、特に、それらがランプそのものである場合、極限精度を必要としないであろうことを想像することができる。逆に、極めて明るい輝度(例えば、1000ニット〜3000ニット)を有する日光のシーンを見ている場合、極限精度は、暗さに関して必要とされない。これは、視覚系が、一般的にほとんどを無視するためである。これは、全て、明るさに対する暗さにおける挙動、及び、丁度可知差異の量、対応するルマコードレンジの特定のサブ領域における各ルマステップ(符号化解像度又は精度とも称される)を制御する我々のガンマ及びロー形状のパラメータで容易に調整されることができる。固定された事前合意済みのパラメータ関数は、新たに発明された符号が実施に意味するものを復号化するために事前合意された関数を使用するため、受信側に伝達されるパラメータを持つ必要がない。しかしながら、より一般的な適応能力のケースでは、例えば、人間のグレーダ又は自動イメージ分析プログラムによって、受信端で選択された要求されるパラメータ(ピーク輝度Lm、ロー、及び、ガンマのうちの少なくとも1つ)は、BDディスクなどのメモリ上での符号化、イメージ信号におけるメタデータとしての伝送、他の信号通信経路を介した再生時間における検索などの任意の複数の可能なメカニズムにより、受信側に伝達される。
しかしながら、この技術について興味深いことが起こる。この関数は、HDRの符号化を作る際、より低いダイナミックレンジイメージを作る(より小さいビット数でより良く符号化可能であると言うこともできるが、より正確な技術的定式化が、少なくとも幾つかのより重要なシーンのサブ部分、又は、イメージヒストグラムのサブレンジが、オリジナルの入力マスタHDRイメージに比して中間のグレーにより近い輝度で符号化されることであろう)。ただ、一方で、好ましくは、少なくとも高い近似精度で、符号化されたLDRイメージが、なお、オリジナルマスタHDRルックを回復するための全ての情報を持つため、それは、HDRイメージの全ての重要なデータを含む。このため、EOTFパラメータがうまく選択される場合、最終的な符号化イメージは、尤もらしい良好な品質のLDRルックを生み出すLDRディスプレイ上でのレンダリングのための色処理の更なる最適化なしに、又は、少なくとも幾つかの更なる二次オーダの最適化変換(例えば、LDRディスプレイの異なるセットへのマッピングなど)後に、直接使用され得る。
単一のマスタEOTF関数で符号化する場合(我々は、利用可能な複数の関数から1つを選択するより、単一の関数を使用する場合)、即ち、少なくともHDRルックのイメージテクスチャの十分な符号化を考慮に入れるだけの最もシーンに関連する基準ディスプレイにより定義されるが、我々は、一般的に、レンダリング側の特性を考慮することなく、関数を定義することができる。しかし、好ましくは、我々は、正確なルマサブレンジにおけるルマ軸に沿ってキャプチャされた様々なシーンオブジェクトを既に配置しているLDRルックをも符号化したい。結果、LDRルックは、直接表示される場合、コンテンツ作成者によって好まれるように見える。しかし、我々は、マスタ関数としての更なる最適化されたルマ割り当て関数を生成する特定の視聴アプリケーションに関して既に符号化可能である。例えば、暗い又はぼんやりとした環境における視聴に関して最高品質を与えるルマコードが、15ルクスなどの基準輝度、又は、10ニットなどの周囲中間グレー(18%反射)の基準環境輝度で特徴付けられる。これは、幾つかの実施形態では、1.25である、拡張ガンマ関数を組み込むことによって達成され得る。最終的に、これは、我々が、全ての所望の部分的ガンマを最適な最終ガンマであるとモデル化する場合に、EOTFの主な実施形態においてガンマを変更することに対応する。全ての変形例は、特定の利用可能なビット数で、最高のイメージオブジェクトテクスチャ品質を実現する、又は、他の方法において、我々が、例えば、12ビットのみなどの比較的少ないビット数で良好な品質を得られることを保証する。一方、我々が、我々が好む選択で調整されるUCS 1976 CIE (u,v)などの色度方向においてより大きな色平面を使用する場合、広い色域能力を提示する。
また、我々は、この逆EOTFがどのようにして輝度からルマコードにマッピングする(いわゆる光電気伝達関数OETFがカメラ又は色処理ソフトウェアなどからの輝度の光測定を、結果として得られる一般的にディジタルである電気的コードにマッピングする、これは、単位区間[0,1]×2、(ここで、Nはビット量)として見られる)かについても発明した。また、対応するEOTFは、対応する最適化された(理論的な)HDR基準ディスプレイで((理論的な符号を直接レンダリングすることができる理論上のディスプレイと同一の特性を持つ実際のディスプレイで)最も良く機能することができる。映像がレンダリングされる必要がある最終的なディスプレイに関わらず、ルマコードを有する映像は、一意の明確な態様で定義される必要がある(原理上、コード作成側は、符号を割り当てるために任意の原理を使用することができるが、我々は、更なる明確化における単純化のために、EOTFの逆関数を有するカメラから直接得られる輝度の線形キャプチャ範囲を符号化することを想定している)。原理的には、我々が発明した任意の所望のLmピーク輝度、又は、ピーク白色とも称される、又は、より正確には、基準ディスプレイのピーク輝度(完全性に関して、ディスプレイのピーク輝度がディスプレイが作ることのできる、3つのRGBチャネルを最大(例えば、1023)で駆動する場合に発生する白色である最も明るい色であり、その周りにディスプレイ色域のための開始極を形成すると当業者は言う)を有する対数ガンマ関数を用いることができる。しかしながら、多くの分析の後、我々は、たった1つの値が使用されるべきである(映像イメージ(ピクセルカラーエンコーディング)とともに、符号化のために使用される特定の基準ピーク白色値を任意の受信器に送信する必要はなく、例えば、混乱は発生し得ない)場合、5000ニットが極めて良好な実際の値であることを発見した。かかるシナリオでは、例えば、0.0001ニット〜5000ニットの範囲で究極のディスプレイのために透過的な表現輝度を忠実にレンダリングするために、5000ニット以上の生の入力輝度をグレーディングできる。この場合、かかるデータが、例えば、20000ニットの実際のディスプレイ上で表示されることが望まれる場合、アップグレード関数が、基準ディスプレイより明るい実際のディスプレイについての全て情報が与えられるこのルック最適化のためのメタデータとして追加されることができる。例えば、我々の基準輝度ベースのマスタ色空間の外側にある25000ニットのシーンの色を前記マスタ色空間内の色に芸術的に再決定するための上記の第1の戦略を、既に特定のRGB空間(即ち、同一の原色を有するが異なるピーク白色を持つ2つの色域が、一旦[0,1]に再正規化されるように配列するよう、なお作られ、それらのうちの1つが、一般的に、我々のマスタ輝度軸によって定義される我々のマスタRGB空間、及び、他の任意の現行の対数ガンマ関数を具備する任意の符号化されたR´G´B´空間である)にある色をどのように再決定するかについての本開示と混同すべきではない。また、より低いダイナミックレンジディスプレイ(例えば、1200ニット又は100ニット)、又は、50ニットしかない暗い霧のシーンのためにグレーディングされたイメージは、このマスタ輝度レンジ[0−5000]において符号化されることができる。混同されるべきでないことは、我々のユニバーサルルマ符号化(即ち、ルマコードの割り当てが、固定又は可変のコード割り当てEOTFにより、起こるべきである)に変換されることである。我々は、色アスペクトからダイナミックレンジアスペクトを分離している、ルマ割り当て関数が使用されることに関して、両方向において、特にルマ軸に沿ってより多くの多目的性を可能とする、ルマ(u,v)色空間を教示し、例えば、この符号化色空間の範囲内にある他のピーク輝度のディスプレイのためにマッピングする場合、再割り当て関数についても教示する。
ガンマ2.4及びロー25の最適な値が、幾らかの考慮及び実験の後、全てのシナリオ(例えば、同時に幾つかの明るい領域、中間の明るい領域、及び、暗い領域を有するイメージ)に関して単一のルマ割り当て関数を使用したい場合、特に、HDRのみを符号化したい場合(即ち、我々は、HDRピクセルイメージエンコーディングから所望のLDRルック抽出するための他のマッピング関数をメタデータとして符号化することができるが、我々は、必ずしも、全ての実施形態において、この最適な単一の対数ガンマ関数の適用から生じるイメージを直接表示することにより、良好なLDRルックを得る必要はない)に発見された。
幾つかの色表現が、我々のルマ定義アプローチで使用され得るが、特に、(u,v)空間が良好に機能することを発見した。また、我々は、例えば、(u´,v´)=(u,v)−(u_D65,v_D65)などと、選択された白色に対する基準として定義された(u´,v´)を定義することができる。
我々が、入力色が輝度及び色度の情報を有することについて述べる場合、かかる色がかかる色表現において表現された色であることを示唆しないが、この情報は、数学的に導出され、例えば、入力イメージが、XYZ又は幾つかの一意に定義されたRGBなどにおいて表現される場合に満たされる。我々は、来るべきHDR符号化技術に関して有用なルマを定義するための根本的に新たな方法に至ったが、当業者である読者は、我々の教示から、どのようにして、例えば、Y=a1*R+a2*G+a3*B(a1,a2,a3は、所与の特定のRGB原色及び白色点の選択であり得る定数)として定義される所望の白色点バランスを与えるRGB座標についての第1の重み付けによって、RGB座標からルマを定義することができるかを理解するであろう。それらの輝度Yは、我々のEOTFで処理される。
また、当業者である読者は、どのようにして、我々が、Rec_HDR(所望のマスタHDR入力の近似再構成)と称する、最終的に出力されるイメージの情報を導出できるか、並びに、これが、例えば、XYZ出力(我々は、ルマが[0.0,1.0]で正規化される場合、輝度のために文字Y又はLを使用し、ルマのためにY´又はvを使用することに留意する)として、好適になされ得ることを理解するであろう。しかしながら、我々は、Rec_HDRを、特定のR´G´B´、又は、特定のディスプレイを駆動するための他の装置依存性の符号化などの他の色表現に変換することもできる。さらに、Rec_HDRは、例えば、我々が、直接的に、1200ニットのディスプレイ上で所望のルックをレンダリングするために必要な駆動RGBイメージにマッピングするか、又は、代替的に、1200ニットの実際のディスプレイを駆動するために、中間ステップを介して、第1のRec_HDR1(我々の5000ニットの基準ディスプレイなど)をRec_HDR2にマッピングすることができる他のHDRイメージであってもよい。
この新規なメタデータ(ロー、ガンマ、及び、必要であればLm)は、我々が、勿論、任意の以前の技術に関連しない、このメタデータを有する新規のイメージ信号を定義することもできることを意味する(それは、ピクセルマトリクス色成分のために使用されるレガシーな戦略が何であっても使用可能であるが、これにより、我々は、例えば、YCrCbを求めるMPEG−HEVC構造において、Yuv座標を実行する。しかし、我々が、本実施形態に従った変換を行なうIC又はソフトウェアの一部を有する限り、例えば、DCTを行なう残りのコーダ(又は、デコーダ)、あるいは、ランレングス符号化などは、ケアしない)。このため、上記「フォーマット」部分が、MPEG又はJPEG、あるいは、他のイメージ又は映像符号化と類似の任意のレガシーなイメージ技術であってもよいが、我々の新たな戦略に従ってピクセルコードを満たす場合の実際のイメージテクスチャは、既に、(検証可能な形で)根本的に異なっている(何が起こっているかについての適切な理解がない場合、技術的に全ての復号化ステップを行なうことができるものの、レガシーな符号化が、完全に間違ったイメージルックをレンダリングする点で、このイメージルックは、技術的に異なっている)。事実、この将来的なイメージ符号化プロジェクトに従事しているフィリップスの何名かの発明者の上記理解は、通信のOSIモデルに類似の何かである将来的な幾つかのシステムに必要とされるということである。技術が進歩する場合、多くの領域において、それは複雑になるので、より構造化された態様において定義される必要があるが、問題は、どのようにそれを行なうかである。イメージ操作技術において、外側コンテナにイメージを置くための解決法(例えば、どのオーディオ及び映像コンポーネントがどの符号化戦略を使用しているかの説明が含まれ、あるいは、IP転送又はブロードキャストカルーセリングなどのためのデータのチャンクにおける分割)が既にあった。これは、古典的なOSIの単純な相関性であるが、例えば、Rec.709(全てが、特に、RGB原色の単一の想定される完全に定義されたシステム、想定される一般的な視聴環境などのために定義されている)などの特定の直接符号化を用いて、あるレイヤは、なお完全に固定されている。パラメータメタデータ(又は、定義及び/又はピクセルカラーイメージと関連付けられた色変換関数のメタデータ)を「有する」信号により、我々は、任意の方法において、例えば、同時且つ同じ信号で、又は、第1の通信チャネルを介して第1の時間でピクセルカラーマトリクスを受信し、他の通信チャネルを介して後でメタデータを受信することで、最終的にはデコーダ側で全ての必要なデータが一緒になり、メタデータが、受信側に伝達されることを意味する。このため、我々は、信号(ピクセルカラー+関数メタデータ)を同一のBlu-rayディスク上に配置し、あるいは、幾つかの予め存在している又は将来的なイメージ又は映像通信技術などによる、ブロードキャスト又はインターネットなどのネットワーク上で、上記信号を通信することができる。
最適な関数が、Lm=5000、ρ=25、及び、γ=2.4を有するイメージ信号においてのみ(例えば、ディスク上のHDRルックのみであり、LDRピクセルマトリクスでなく、潜在的には、LDRルックイメージを抽出するための幾つかの色マッピング関数のみ)、HDRイメージのために決定されることができる。Lm=5000の代わりに、上記方法は、コンテンツ作成者が、より高いLm値(例えば、10000ニット)を望む場合、又は、より低いLm値(例えば、2000ニット又は1500ニットを望む場合にも、使用され得る。
また、例えば、Rec.709の等価ガンマ及びガンマ2.4に含まれる最終的なガンマを定義することにより、所望の環境的レンダリングが決定され得ることを部分的に考慮したガンマなどの他のガンマ値が設計され得る。等価ガンマに関し、当業者は、これは、線形部を有する式におけるガンマ値でないが、国力において線形部よりもむしろガンマとして開始する場合に、Rec.709符号化OETFを最も良く近似するガンマであることを理解するであろう。
パラメータρ及びγが、100ニットのディスプレイ上で人間のカラーグレーダに従って良好に見える符号化されたイメージを生み出すために更に最適化された、ハイダイナミックレンジイメージを符号化する方法により、パラメータρ及びγの少なくとも1つが、好ましくは、人間のグレーダによって最適化されている。幾つかの可変性が存在するが、シーンに依存するパラメータの範囲が明確にあり、HDRイメージのための尤もらしい見た目のLDR対応部分を与え、このため、これは、最終的に定義及び識別されることができる方法である。イメージの可変性及び複雑性のため、通常、処理中、人間のカラーグレーダは、最も良く見えるLDRイメージ、ひいては対応するρ及びγパラメータを決定する。しかしながら、少なくとも部分的な自動イメージ分析アルゴリズムは、良好に見える値を備え、例えば、一般的には、グレーダは、全てのデータ(イメージピクセル+1又は複数のルックに対して1又は複数の色変換を記述している関数メタデータ)がイメージ信号符号化に書き込まれる前に、単に、アクセプトボタンをクリックすることによって、生成されたLDRルックがユーザの嗜好に合うことを検証するだけでよい。撮影可能な暗いイメージ/シーン(例えば、光がないか、又は、暗闇の中の月のような僅かな小さい光しかない夜のシーン)をより好む曲線に関し、符号のより大きな部分が、一般的に、シーンにおけるより暗い色のために利用可能とされ、これは、例えば、約2.55などのγのより大きな値を選択する(さらに、これに最適なρが選択され得る)場合に起こり得る。比例的により大量のより明るいオブジェクトを持つイメージ(例えば、イメージ又はLmにおいて最大のオブジェクト輝度より極めて暗い輝度を有するより小さいパッチが数個のみあるような場合)に関し、2〜2.2(2.15が、良い例である)など、又は、1.2など、2より低く且つ1より大きい値などの、より小さい値のガンマが使用され得る。
上記方法に対応して、ハイダイナミックレンジイメージを符号化するためのイメージ符号化装置であって、
入力ハイダイナミックレンジイメージのピクセルカラーを得るための入力部であって、前記ピクセルカラーは、輝度及び色度の情報を持つ前記入力部と、
ピクセルカラーの前記輝度のルマコードvを抽出するためのマッピング関数の逆関数を適用するグレーディング管理ユニット202であって、前記マッピング関数は、
Figure 2016533071
として定義される第1の部分関数と、
Figure 2016533071
として定義される第2の部分関数と、を有するものとして予め定められ、ここで、ρは、同調定数であり、vは、符号化される輝度に対応する前記ルマコードであり、Lは、所定の基準ディスプレイのピーク輝度であり、γは、好ましくは2.4に等しい定数である、前記グレーディング管理ユニット202と、
映像メモリ又はネットワークに接続可能な映像送信接続部221に接続された符号化部210であって、前記ルマコードである1つの色成分で符号化されたピクセルカラーを具備するピクセルマトリクスイメージを有するイメージ信号S_imを符号化及び送信するとともに、前記ρ及びγパラメータのうちの少なくとも1つを有するメタデータと関連付けられている、前記符号化部210と、を有する、イメージ符号化装置の幾つかの変形例があり得る。ある典型的な変形例は、グレーディンググレーディングの組(グレーダが少なくともHDRイメージを決定するために適用するソフトウェアであるが、ここでは、符号化及び/又はグレーディングされた見た目を抽出するために組み込まれる我々の特定の技術)であり得るが、装置は、例えば、カメラの内側にあってもよく、この場合、ロー及びガンマは、ともに変更されるか、又は、1又は2つの調整つまみにより同時に変更され得る。これは、例えば、標準化された映像ケーブル出力、インターネットパケットなどにおいて映像をカプセル化するためのプロトコル、ブルーレイディスク上に書き込むためのプロトコル化されたハードウェアなどであり得るため、当業者は、どのようにして、映像送信接続部211が、一般的に実現され得るかを理解するであろう。
エンコーダに対応して、ほとんど同様に動作する様々なデコーダがあり得る。即ち、エンコーダ側及びデコーダ側の両方で幾つかの更なる変形例がなお存在するものの、ここで述べるような符号割り当てのコアは、一旦符号化される任意の受信側により一意に理解されるべきである。
ハイダイナミックレンジイメージ符号化S_imを復号化するためのイメージ復号化装置301であって、
前記ハイダイナミックレンジイメージ符号化S_imを受信するとともに、請求項1記載の符号化方法から生じる、ルマコードを有する前記ハイダイナミックレンジイメージ符号化からイメージ符号化(Im_1)を抽出する受信及びフォーマットユニットと、
前記イメージ符号化(Im_1)からハイダイナミックレンジイメージ(REC_HDR)を抽出するための色マッピング戦略を適用する色マッピングユニット305であって、
Figure 2016533071
として定義される第1の部分関数と、
Figure 2016533071
として定義される第2の部分関数と、を有する(ここで、ρは、同調定数であり、vは、符号化される輝度に対応する前記ルマコードであり、Lは、所定の基準ディスプレイのピーク輝度であり、γは、前記ハイダイナミックレンジイメージREC_HDRのピクセルの輝度Lを得るために、好ましくは2.4に等しい定数である)ものとして定義された所定のマッピング関数を、前記イメージ符号化におけるピクセルルマvを適用する前記色マッピングユニットと、を有する、イメージ復号化装置が提供される。
勿論、変形例として、基準輝度レンジ(0〜5000)及びそれから構築される色空間(XYZなど)の代わりに、又は、これらに加えて、様々なデコーダが、出力として他のイメージを復号化してもよい。例えば、HDRルックの再構成Rec_HDRを出力するための出力部に加えて、復号化装置は、LDRイメージのための第2の出力部(又は、ディスプレイなどの接続されたシステムが出力イメージとして何を所望しているかに依存する同じ出力部)を有していてもよい。
さらに、我々は、幾つかの興味深い実施形態を発明した。例えば、ハイダイナミックレンジを符号化する方法であって、
入力ハイダイナミックレンジイメージ(HDR_ORIG)からローダイナミックレンジイメージ(LDR_CONT)を導出するためのマッピング関数を決定するステップであって、ハイダイナミックレンジイメージ(HDR_ORIG)の輝度相関(L)が、
Figure 2016533071
として決定される関数を適用することにより、ローダイナミックレンジイメージ(LDR_CONT)のピクセルのルマ(Y)に変換され、ここで、上記式の係数は、前記関数が、区間[0,1]におけるL及びY値に関し、値L=0をY=0に割り当て、L=1をY=1に割り当てるように、標準化されるように規定され、Yレンジの中間におけるY値の近傍において前記関数の特定の挙動を実装する特定の更なる制限が存在し、結果、前記関数の形状が、単一のパラメータaにより制御可能である、前記ステップと、
ローダイナミックレンジイメージ(LDR_CONT)及びハイダイナミックレンジイメージ(HDR_ORIG)の1つ、並びに、前記少なくとも1つのパラメータaを、映像メモリ又はネットワークに接続された映像送信接続部221に送信するステップと、を有する方法である。
この良く選択された対数関数は、特に、ルマコンポーネントに関して10ビットのみ(例えば、色度u及びvに関して8ビット)が利用可能である場合、最小の可視的エラーで均一に量子化され得る最適なマッピングを生成することを可能にする。
最終的なイメージLDR_CONTは、LDRイメージと称され得る。それは、様々な輝度サブ領域において明るい効果を有する一種のHDRイメージのコントラストが滑らかにされたバージョンであるためである。正しい符号割り当て関数が選択された場合、LDRディスプレイ上で、プログラムの直接的なレンダリングのために、このLDR_CONTを使用することさえできる。しかし、そのことは、我々の発明の全ての実施形態に必要とはされない。幾つかは、単に、HDRのみの符号化のための中間的なダミーとして、LDR_CONTを使用し得るためである。
ハイダイナミックレンジイメージを符号化する方法において、更なる制限が、Yレンジの中間における、又は、その近傍のY値に関し、請求項1記載の関数の逆関数であるパワー関数L1/γを適用することによって得られる最終的なL値と、L^1/γ(Y=1/2)=K/a(ここで、Kは定数)などのパラメータaとの間の関数的関係を定義する。好適には、ほとんどの関心動作が発生するこれらの領域において、曲線の特定の滑らかさを定義する。
ハイダイナミックレンジイメージを符号化する方法において、上記パラメータaは、初期値を有し、この値は、信号を用いる一般的なディスプレイなどの基準ディスプレイのピーク輝度に依存してもよい。一般的に、グレーダは、このグレーディングが1又は数個の範囲のディスプレイのためのものである(例えば、HDR再構成されたイメージが5000ニットのピーク輝度ディスプレイ又はそれに準ずるディスプレイに関して最適である(即ち、バンディングなどのアーチファクトが最も少ない))とみなす。幾つかの実施形態では、関数的マッピングFH2Lも興味深い。なぜなら、LDR_CONTイメージは、約200ニットのディスプレイなどに関して適切なイメージを供給し、15000ニット又は50ニットのディスプレイなどでのレンダリングのために最適なイメージを得るために符号化されたシーン(又は、全体のプログラム)毎に他の関数が存在し得るためである。
ハイダイナミックレンジイメージを符号化する方法において、人間のカラーグレーダは、映像送信接続部221に送信される最適な値aを決定する。
好ましくは、作成者側での我々の技術は、重要な領域における最小のアーチファクトのために、又は、良好な全体のカラールックなどのために、最適なa値の選択を可能にする。受信側は、a値を符号化されるイメージ又は意図されたディスプレイの物理的特性と関連付けるための特定のアルゴリズムを知る必要がないが、適用する(逆)関数、即ち、a値が対応する関数的形状のみを知る必要がある。
ハイダイナミックレンジイメージを符号化する方法において、自動イメージ分析ユニット227が、例えば、それらの輝度の中央値、又は、発生する輝度の範囲のデリミタ輝度などの、ハイダイナミックレンジイメージ(HDR_ORIG)におけるピクセルの輝度を特徴付ける少なくとも1つのサマリ値に依存する値を決定する。また、人間のグレーダは、イメージのどこに関心値があるのかを特定することができる。例えば、彼は、イメージ上に走り書きできる。ユニット227は、95%が符号0.7より上にあるなど、これらが最も明るい色であることを確立することができる。
符号化ユニットにおいて、予め設計された幾つかの決定アルゴリズムがあってもよい。
ハイダイナミックレンジイメージを符号化する方法において、色符号化の色座標(u,v)が、以下のタイプの分数方程式により、ハイダイナミックレンジイメージ(HDR_ORIG)におけるピクセルの色のCIE XYZ座標から導出される。
Figure 2016533071
及び
Figure 2016533071
ここで、a〜lは、定数であり、好ましくは、a=4、b=c=0、d=1、e=15、f=3、h=9、g=i=0、j=1、k=15、l=3である。
ハイダイナミックレンジイメージを符号化するためのイメージ符号化装置であって、
入力ハイダイナミックレンジイメージHDR_ORIGからローダイナミックレンジイメージLDR_CONTを導出するためのマッピング関数を決定するように構成されたグレーディング管理ユニット202であって、前記ハイダイナミックレンジイメージHDR_ORIGのピクセルの輝度相関Lは、
Figure 2016533071
として定義される関数を適用することによって、ローダイナミックレンジイメージLDR_CONTのピクセルのルマYに変換され、ここで、上記式の係数は、前記関数が、区間[0,1]におけるL及びY値に関し、値L=0をY=0に割り当て、L=1をY=1に割り当てるように、標準化されるように規定され、Yレンジの中間におけるY値の近傍において前記関数の特定の挙動を実装する特定の更なる制限が存在し、結果、前記関数の形状が、単一のパラメータaにより制御可能である、前記グレーディング管理ユニット202と、
映像メモリ又はネットワークに接続可能な映像送信接続部221に接続されたエンコーダ210であって、ローダイナミックレンジイメージLDR_CONT及びハイダイナミックレンジイメージHDR_ORIGの1つ、並びに、前記少なくとも1つのパラメータaを有するイメージ信号S_imを符号化及び送信するように構成される前記エンコーダ210と、を有する符号化装置が提供される。
イメージ符号化装置は、人間のグレーダが特定のa値を選択可能にするユーザインタフェースユニット203と有する。
イメージ符号化装置は、例えば、符号化がなされるディスプレイのピーク輝度としてのかかるパラメータに基づいて、特定のa値及び/又はハイダイナミックレンジイメージHDR_ORIGの輝度統計を決定するように構成された自動イメージ分析ユニット227を有する。
イメージ符号化装置において、上記グレーディング管理ユニット202は、ルマ独立性が、
Figure 2016533071
及び
Figure 2016533071
(ここで、a〜lは、定数であり、好ましくは、a=4、b=c=0、d=1、e=15、f=3、h=9、g=i=0、j=1、k=15、l=3である)としての、オリジナルHDR入力のローダイナミックレンジイメージ符号化LDR_CONTの色度でもあるため、ハイダイナミックレンジイメージHDR_ORIGのピクセルの色成分を決定するように構成される。
HDRイメージ符号化信号は、ピクセル値のイメージの符号化、及び、少なくとも請求項1の関数のパラメータaの値を有する。
幾つかの実施形態は、完全な関数定義を転送してもよい(例えば、事前合意された関数知識を有さない受信器のために、又は、標準では1つのみの曲線しか許可されていないが、作成者側は、他の曲線を使用したい場合、任意の受信側に通知する必要がある)が、我々の実施形態の幾つかにおいて、関数は、単純である場合、関数形状を再作成するために、単に、1又は数個の係数を伝達するだけで十分である。
ブルーレイディスク又はメモリスティックなどのメモリ製品は、HDRイメージ符号化信号を有する。
ハイダイナミックレンジイメージ符号化S_imを復号化するためのイメージ復号化装置301は、
前記ハイダイナミックレンジイメージ符号化S_imを受信するとともに、処理されるイメージ符号化Im_1をを抽出する受信及びフォーマットユニット388と、
入力されたイメージIm_1からハイダイナミックレンジイメージREC_HDRを抽出するための色マッピング戦略を適用する色マッピングユニット305であって、前記色マッピングユニットは、ハイダイナミックレンジイメージREC_HDRのピクセルの輝度Lを得るため、イメージ符号化Im_1におけるピクセルルマYに対して、マッピング関数
Figure 2016533071
(ここで、a,b,c,d及びγは、イメージ復号化装置にとって既知の定数である)の逆関数を適用する、イメージ復号化装置が提供される。
少なくとも復号化装置(実際には、ICの小さな部分であり得、これは、例えば、テレビ、電話、映写機、プログラム作成の間の視聴ブートシステムなどの、任意のより大きな家庭用又は専門的装置に含まれ得る)は、最大で、それが通常のイメージであるかのようにスマートにパックされたイメージにおいて全ての情報を有する極めて高い輝度である潜在的に多くの輝度レンジを有するハイダイナミックレンジイメージを持つ、即ち、無彩色成分のための任意の我々の提案する標準符号割り当て関数の逆関数を適用可能でなければならない、即ち、HDRオブジェクトカラーの輝度又はルマが、HDRイメージ信号であるがLDRイメージ信号のように見え、標準的な符号化色域において可能なほど高い輝度を配置することができる輝度定義と適合可能な幾つかの色変換を実行する、我々の符号化原理に追従できるように構成されなければならない。このため、それは、実際に伝達される必要がなく、例えば、将来のMPEGタイプのX標準などの特定のシステムが、たった1つの標準ルマ割り当て曲線を用いる場合、任意の受信器は、既にそのパラメータを知っており、メモリに格納された、又は、IC回路において等価な処理アルゴリズムにおいて、メモリ内に格納していてもよい。しかしながら、曲線の幾つかが変化できる(例えば、映画における暗いシーンのために、映画の残りとは異なる他の曲線を使用する)実施形態では、受信端は、幾つかのアルゴリズムにより、符号化の間、どの符号割り当て曲線が使用されたのかを一意に決定できてもよいが、好ましくは、幾つかの情報が、受信端も、どのルマコードYの定義が、このイメージIm_1において使用されたかを確認するような任意の方法により、伝達される。次いで、最小のコアな復号化ユニット又は装置である。
請求項13に記載のハイダイナミックレンジイメージ符号化S_imを復号化するためのイメージ復号化装置301において、
前記受信及びフォーマットユニット388は、ハイダイナミックレンジイメージ符号化S_imから、aパラメータ値、可能であれば、マッピング関数の逆関数を導出するためのガンマ値γなどの、マッピング関数の形状を定義する少なくとも1つのパラメータを導出するように構成される。
生成側は、上記パラメータを送信し、我々の実施形態は、1つのみのパラメータが送信される場合、他のパラメータを決定することができるため、これは、符号空間の範囲に対するHDRイメージの輝度スパンの特定のサブ領域の割り当てに関する異なる挙動を有する曲線のファミリーから1つを送信するための極めて有用な態様である。例えば、ガンマが、固定及び事前合意されてもよく、イメージデータの中又はイメージデータに添付して、あるいは、別個の通信経路を介して、a値のみが送信されてもよい(例えば、テレビ局は、これから特定のa値を使用することを示し、定期的にこれを伝達するなど)。
請求項13又は14に記載のハイダイナミックレンジイメージ符号化S_imを復号化するためのイメージ復号化装置301において、色マッピングユニット305は、入力されたイメージIm_1のピクセルカラーのu及びv成分を、CIE XYZ空間などのようなユニバーサル色表現にマッピングするための変換を適用するように構成される。
ここで述べられるように、好ましくは、我々は、色方向において色のスマートな割り当てを有する輝度の直接的な割り当てを適用する。結果、量子化された色の総エラー(例えば、デルタE2000)は、イメージ、即ち、少なくとも再構成されたREC_HDRの任意の最終的な使用に影響せず、例えば、HDR信号が実際の10000ニットのディスプレイに符号化される基準ディスプレイの5000ニットの基準レベルからのブーストなど、更に処理されるバージョンであってもよい。次いで、デコーダは、この色空間マッピングの逆変換を行なう必要がある。これは、一般的に、Yuv色を、線形XYZのような幾つかのユニバーサル色空間にマッピングすることにより実装される。
上述のハイダイナミックレンジイメージ符号化S_imを復号化するためのイメージ復号化装置301において、色マッピングユニット305は、ハイダイナミックレンジイメージREC_HDRを導出するための第2の色マッピング戦略を、基準ダイナミックレンジよりも低い又は高い輝度ダイナミックレンジを有するイメージに適用するように更に構成される。符号化されたイメージを基準レンジ(0ニット〜5000ニット)に復号化することは、物理的に実現可能なイメージを我々が有するため、有用である。勿論、典型的な実際の接続されたディスプレイは、例えば、1200ニットのディスプレイなどであってもよい。このため、理想的には、ディスプレイを直接的に駆動することにより、1200ニットのピーク白色に[0ニット〜5000ニット]のディスプレイをスケーリングする代わりに、見た目の幾つかの更なる最適化が望まれる(これは、基準イメージRec_HDRから第2のステップとして実行される、又は、Yuv色符号化からのアルゴリズム的な色変換の1ステップとして既に実行されている)。一般的に、少なくとも1つの導出されるイメージが存在し、ダイナミックレンジがどの典型的なダイナミックレンジに依存しているかは、ピクセル化されたイメージにおける特定の符号化されたルックと最も良く関連付け可能であった。例えば、LDRが、信号S_imにおいて書き込まれた場合、通常、LDRルック(一般的に、100ニットのピーク白色)から、1500ニットのディスプレイのためのHDRで最終的に導出するイメージを導出するため、幾つかのアップグレードが実行される。勿論、ルックがHDRであった場合、LDRディスプレイのためのダウングレードが含まれてもよく、一般的に、幾つかの再グレーディングがなされてもよい。これらの新しいイメージを得るために、実際に、これらの様々な輝度/色マッピング関数(例えば、HDRからLDRへの、及び、中間ダイナミックレンジMDRルックにおいて)のための全てのデータ(色変換、ルックアップテーブルなどのパラメータ関数のための関数定数)が、実際に、様々なセットのメタデータとして符号化され得るが、勿論、受信器も、幾つかのマッピング自体を導出できる(例えば、HDRからLDRへの再グレーディングがメタデータとして符号化された場合、受信器は、MDRを導出するための良好な中間マッピングの自己推定を導出することができる)。
幾つかのより単純なシステムでは、我々の技術が、単一の種類の「閉じた」システムのために使用され、意図される最適な(基準)HDRディスプレイは、例えば、5000ニットであってもよい。しかしながら、例えば、2000ニットのディスプレイのための駆動イメージにどのようにマッピングするかについての更なる関数命令があってもよい。これは、一般的に、REC_HDRから開始して実行されるが、LDR_CONT/Im_1イメージにおける値を考慮することによって、異なって実行され得る。
上述のハイダイナミックレンジイメージ符号化S_imを復号化するためのイメージ復号化装置301において、受信及びフォーマットユニット388は、入力イメージIm_1、可能であれば、ガンマ値もが符号化された基準ディスプレイの少なくともピーク輝度を受信し、そこからマッピング関数の逆関数を導出するように構成される。
符号割り当て関数を一意に定義するための間接的な方法がある。1つは、例えば、意図された(基準)ディスプレイのピーク輝度のレンジのために使用される複数の関数を事前に決めておく方法である。他のピーク輝度を有する実際のディスプレイは、その特性に関して最適に見せるためにREC_HDRをマッピングしてもよいが、少なくとも、どの符号定義が使用されたかを知る必要がある。
上述の請求項13〜16のいずれかに記載のハイダイナミックレンジイメージ符号化S_imを復号化するためのイメージ復号化装置301において、受信及びフォーマットユニット388は、入力されたイメージIm_1からハイダイナミックレンジイメージREC_HDRを導出するために、色マッピングユニット305によって、複数の事前合意済みの逆マッピング関数のうちのどれが使用されるべきかを示す連続的な数などの符号を受信するように構成される。
実際の符号化及び送信は、様々な方法で実行されることができる。例えば、標準では、3つの異なる曲線のみが、このプログラム又はプログラムの一部のために、関数「2」が使用されることを送信することを可能とする。
ディスプレイは、上述のイメージ復号化装置を有する。
受信したローダイナミックレンジイメージLDR_CONTのイメージ復号化方法は、
ハイダイナミックレンジイメージ符号化S_imを受信するとともに、そこから処理されるイメージ符号化Im_1を導出するステップと、
入力されたイメージIm_1から、ハイダイナミックレンジイメージREC_HDRを導出するための色マッピング戦略を適用することによって色マッピングを行なうステップと、を有し、色マッピングユニットが、イメージ符号化Im_1におけるピクセルルマYに対して、マッピング関数
Figure 2016533071
(ここで、a,b,c,d及びγは、イメージ復号化方法において既知の定数である)の逆関数を適用するように構成される。
請求項20記載の受信したローダイナミックレンジイメージLDR_CONTのイメージ復号化方法において、前記受信するステップは、マッピング関数
Figure 2016533071
の逆関数を一意に定義する任意の情報を受信するステップを有する。
本発明は、信号において実現されるパラメータを定義するような様々な実施形態の主な技術的要件を含む中間体を具備するような多くの他の(部分的)方法において実現されることができ、その多くのアプリケーションは、消費者又は専門家向けのシステムにおいて、通信、使用、色処理などを行なう様々な方法のように、様々な可能な信号及び様々なハードウェアコンポーネントを組み込む又は様々な方法を使用するための様々な方法を生じ得る。
本発明に従った方法及び装置のこれらの態様及び他の態様が、以下に述べられる実装及び実施形態を参照して、及び、より一般的な概念を例示する非限定的な特定の単なる図示として機能する添付の図面を参照して、明確且つ明らかにされるであろう。
図1は、マスタHDRグレーディングに対応するLDRグレーディングを作るために、コンテンツ作成者によって使用必須の、表現されるオブジェクトの輝度を有する、ルマコードと呼ばれるものと関連付けている上記使用可能なルマコード割り当て曲線のファミリーの一例を概略的に示している(HDRグレーディングは、一般的に、セルロイド映画、又は、HDR、又は、REDカメラなどの一般的に向上されたLDR高品質カメラのいずれかを有するカメラキャプチャの後の人間のカラールック微調整を意味する。しかしながら、LDRカメラキャプチャからのグレーディング又は特別効果処理において、輝度改善された準HDRを生成してもよい。ここで、人間のカラリストは、例えば、減少された彩度などのカメラの物理的制約を取り除くために、色を改善するだけでなく、適切に暗い廊下などの好みに、色の芸術的なルックを改善し、このマスタグレーディングは、とても複雑且つ注意深くなされ得る)。 図2は、本発明に従ってHDRイメージをグレーディング及び符号化するための可能な装置の実施形態を概略的に示している。 図3は、本発明に従って符号化されたイメージを用いるための幾つかの可能な装置を概略的に示している。 図4は、イメージの輝度特性に依存するセットから、複数の(しばしば3つで十分である)異なる符号割り当て関数を、どのようにして選択できるかを概略的に示している。 図5は、任意の我々の可能なルマ符号化に属する色度成分符号化をどのようにして定義できるかを概略的に示している。 図6は、どのようにして、我々の関数が、一般的に平均の部屋周囲照度など、特定のレンダリングシステムの特定の要件を既に組み込むことができるかについての幾つかの他の例示的な実施形態を概略的に示している。 図7は、かかる関数のための幾つかの例示的な数学的定義を概略的に示している。 図8は、色量子化エラーの丁度可知差異(JND)に関する、符号ステップが実行される場合に、符号レンジに沿って発生するレンダリングされた輝度のステップDY/Yであり、この例では、ルマコードのために一般的な10ビットの値が使用される、図6の選択された曲線のための幾つかの等価物を概略的に示している。 図9は、我々の実施形態が、S_imにおいてピクセル化されたイメージがHDRイメージである態様で使用される場合、又は、より正確には、ほとんどHDRのようなルックが直接的に使用される場合の、エンコーダ及びデコーダを具備する可能な符号化システムを概略的に示している。 図10は、我々の実施形態が、S_imにおいてピクセル化されたイメージがよりLDRのようなルックを持つ場合、又は、より正確には、ほとんどLDRのようなルックである場合の、例えば、500ニットのピーク輝度などのおよそ100ニットのピーク輝度のLDRディスプレイ上での略直接的なレンダリングのために適切な、可能な符号化システムを概略的に示している。 図11は、HDRイメージのイメージ信号において、ただ1つの可能な符号化、並びに、HDRイメージからパラメータ的に導出可能な対応するLDRイメージを概略的に示している。
ハイダイナミックレンジ(HDR)イメージ/映像は、一般的に、現在使用されているイメージ/映像とは異なる輝度分布を持つ。特に、ハイダイナミックレンジイメージデータのピーク対平均輝度比は、しばしば、より高い。これは、例えば、部屋における反射的な物体の比較的暗い色が存在し、ランプ又は光効果のような極めて明るい数個のオブジェクトが存在するためである。一方、LDRイメージは、一般的に、オブジェクトに対する照射がそれほど変化しない(例えば、4:1)(少なくともシーンの重要な部分において)多かれ少なかれ単一の照明により構成される。HDRイメージ技術は、明るいスポットライトの下にある幾つかの物体及び暗い廊下の影にある他の物体を有する、高い可変性を持つ照明を有するシーンを持つ現実世界を操作する。しかしながら、レンダリング側では、これは、LDRシステムにとってより良く適するように、HDRイメージのルックを色マッピングすることにより再定義する必要性があることをも意味し、これは、我々がLDRグレーディング又はグレードと呼ぶものを特定することを意味する。また、単に、HDRイメージのみを符号化する場合、輝度の統計は、様々なLDR符号化技術から知られているガンマ2.2タイプの輝度符号割り当てとうまくマッチしない。
非限定的な図2の実施形態では、我々は、グレーダが、既に、HDR_ORIGのマスタグレーディング(想定では、例えば、3×16ビットのリニアなXYZイメージ)を準備していることを想定しているが、以下では、我々は、ピクセルカラー符号化(例えば、ルマコード、又は、輝度値)の輝度相関についてまず焦点を当てている。そして、我々は、この値が、浮動小数[0,1]であることを想定している(当業者は、どのようにして、例えば、0、・・・、1024符号化などにおける代替的な実施形態を作るかを理解する)。我々が想定しているのは、グレーディング及び符号化機能は、あるグレーディング装置201において実装されるが、勿論、それらは別個の装置であってもよいということである(核心的には、我々は、ICの一部のような、符号化ユニットを教示しているだけである)。ユーザインタフェースユニット203は、人間のグレーダによるグレーディング制御(ユーザ入力USRINP)を扱う(ここで説明される全てのユニットと同様に、これは、例えば、専用のICであってもよいし、又は、汎用プロセッサ上で実行されるソフトウェアなどであってもよい)。また、ユーザインタフェースユニット203は、値を変更するためのダイヤル又はボールを具備するキーボードなどに接続されてもよく、特に、以下の我々の曲線のa値において、又は、ロー値及びガンマ値、及び、Lm値が選択可能であってもよい。グレーディング管理ユニット202は、例えば、グレーダに従って、最適に見えるLDR出力LDR_CONTを得るために、以下で説明されるマッピング曲線を決定するとともに、入力HDRイメージHDR_ORIGに、そのマッピング曲線を適用するように構成されている。LDR出力LDR_CONTは、例えば、AVCなどのMPEGタイプの符号化、又は、VC1のような類似の符号化などで、従来的に符号化されていてもよい。グレーダは、一般的に、接続された校正済みのモニタ上の結果を見ることができる。例えば、グレーダが、S_imにおいてLDRルックとしてHDR符号化を決定している場合、グレーダは、LDRモニタ上で(符号化から復号化された、又は、DCT符号化の前の再色付けされたルックでさえある)LDRイメージを直接的に見ていてもよく、同時に、一般的な5000ニットの白色の基準HDRモニタ上で、LDRイメージLDR_CONTから回復され得るRec_HDRイメージを見ていてもよい。グレーダは、輝度相関マッピング関数(これは、原理的には、R_HDRとR_LDRとの間のマッピングなどであってもよい)FH2Lを決定する。これにより、HDRイメージの輝度(又は、ルマ)が、LDRイメージのルマ値に変換される(又は、逆に、この関数は、一般的にリバーシブルであり、逆関数FL2Hは、LDR_CONTからRec_HDRを再構成するために使用されることができ、一般的には、アップグレード関数FL2Hは、S_imに格納される)。我々のエンコーダの他の実施形態において、これは、例えば、単一の固定符号割り当て曲線(例えば、曲線のこのファミリーの一部は、現行の映画又は映像プログラムのために使用される)により、あるいは、イメージ又は複数の連続的なイメージ(例えば、ショット、シーン、又は、プログラム全体でさえ)を分析することによって、自動的に実行されてもよく、例えば、「X≦中央値≦Yである場合、Zに近い曲線を使用する」というルールのセットにより曲線を選択するため、ルマレンジの少なくとも1つのサブレンジにおける中央値又は加重平均輝度又はルマ発生回数を使用する。このマッピング関数は、一旦、受信側において、HDRイメージの符号化が利用可能となった場合、コンテンツ作成者が好むような最適な見た目のLDRイメージ、又は、逆に、符号化されたLDRイメージから最適なHDRイメージを導出することを可能にする。また、グレーディング装置201などの作成側において、又は、受信側において、に関わらず、逆マッピングが、容易に、決定され得る(我々の輝度マッピングは、一般的に、可逆的である)。また、この関数は、利用可能なLDR符号化LDR_CONTに基づいて、(量子化及びDCT近似効果の後で)オリジナルマスタグレーディングHDR_ORIGの近似の再作成を可能にする。ストレージのために、又は、受信端への送信のために、HDRからLDRへのマッピング関数FL2H、その逆関数FH2L、LDRイメージLDR_CONT、及び、対応するHDRイメージHDR_ORIG(及び、ビット節約的数学変換の後のこれらのイメージの任意の近似)の任意の組み合わせが符号化され得る。しかしながら、ビット予算の理由のため、これらのイメージの1つのみを格納/送信することがよいであろう。我々が想定するのは、エンコーダ210が、静止画又は映画オブジェクトのテクスチャを定義する第1の(セットの)イメージ(複数イメージ)Im_1DRを符号化及びフォーマット化する(即ち、DCT及びランレングス符号化などの古典的なMPEG符号化を行なう)ということである。なお、Im_1は、LDR_CONTである。また、エンコーダ210は、選択された特定のマッピング関数FR2R(例えば、映画のシーン毎に異なる1つの関数、又は、映画全体のために単一の関数)の予め決められたフォーマット、総イメージ信号S_imへFR2R=FL2Hを行なう(当業者は、ディスク上の別個のデータトラックとして、別個の取得可能なネットワーク伝達された信号として、幾つかの画像のヘッダにおいて、SEIメッセージなどを介して、イメージ中に又はイメージと関連付けられたメタデータを符号化するための様々な方法があり、関数を適用する時間である映画の中の瞬間などの同期化データがあってもよいことを理解すべきである)。次いで、エンコーダ210は、例えば、このIm_1及びメタデータをブルーレイディスク又はソリッドステートメモリ装置のようなメモリ製品などのメモリ299に格納し、又は、例えば、グレーディングが、テレビスタジオで起こる場合、(ほぼ)リアルタイムのストリーミングのためにDVB−Tテレビ信号など、幾つかのネットワーク技術211を介して信号を送信する。我々は、例えば、マスタBDディスクに向かうバス又はケーブル、あるいは、コンテンツ供給者が保有するサーバ上の一時メモリストレージなどであり得る1つの可能な映像送信接続部221を示すが、様々な技術システムを介してイメージ信号を出力するための幾つかのかかる接続部があってもよい。例えば、アンテナが、第2のS_im出力接続部(図示省略)などを持っていてもよい。
我々は、一般的な複数の標準化されたシナリオ(少なくとも単一のマッピングとしてでない場合、輝度の連続における第1のステップであり、一般的に彩度マッピングのような色マッピング)において好適に適用される、HDR輝度相関を「LDR」ルマへ方向付けるための符号割り当て関数OETF(又は、逆関数EOTF)の複数の変形例を発明した(単純化のため、我々は、輝度だけを想定するが、勿論、かかる輝度の任意の符号化であってもよい)。好適には、これらの関数は、例えば、以下要件を必ずしも必要とせず実現できる。
1.曲線を適用する効果が、輝度の変化として知覚され得ない(明るさは、物理的にレンダリングされた輝度の心理視覚的効果である)。
2.明るさの変更が、(より低い明るさ及びより高い明るさの)2つの方向において、可能であるべきであり、好ましくは、情報/詳細が全く又はほとんど失われないべきである(即ち、曲線は、少なくとも連続的な色空間において可逆的であるべきである)。
曲線の適用から生じるイメージは、知覚的に、満足させるべきである。即ち、人間のカラーグレーダは、それらにより、良好な又は比較的良好なイメージを作ることが可能であるべきである(特に、知覚的に関連する明るさのレンジにおけるコントラスト比が、もっともらしく、知覚的に保存されるべきである)。
しかし、少なくとも幾つかの実施形態では、我々は、関数が、重要な(我々は、一般的にHDRシーンからキャプチャされたイメージを指している)イメージにおける情報を最適に符号化するように、特に、関数が、符号化された輝度レンジのサブレンジのほとんど又は全てに亘って大き過ぎる量子化エラーを作らないように、関数を作ることを所望する。これにより、我々は、LDR符号化へマッピングする場合、また、オリジナルマスタグレーディングRec_HDRの近似を得るために逆マッピングする場合に、例えば、明るい領域が、明るさ伸長の後で、粗く量子化される、ひいては、明るい雲において(多過ぎる)バンディングが見えるようなマッピング関数を使用すべきではないことを意味する。これは、一般的に、複数の重要なテストイメージに関するデルタE2000などのエラー測定を計算することによって決定され、我々が復号化したHDRレンダリングRec_HDRの隣にオリジナルの符号化されていないマスタグレーディングを有するディスプレイを見た場合に(一般的に、復号化されたHDR映画を単に視聴するより重要である)、どれくらい多くの色の違いが人間により見えるのかを示している。
輝度符号割り当て関数のファミリーの良好な実施形態に関し、我々は、写真家又は写真監督は、関連するテクスチャの多過ぎる露出(明るい部分においてクリッピングにより詳細の損失を発生させる)又は露出不足(過度のノイズ、即ち、ノイズ対信号比のために詳細の損失を発生させる)のリスクを最小化するために、露出スケール又はルマ値軸の中間において、関連するイメージ/映像部分を維持しようとするため、我々は、HDR/LDR符号化技術を設計する際、これを上手く利用することができるという見通しを持った。従って、最も関連するイメージデータ上で所望の結果を最も良く供給するために、所望の明るさ(輝度)変更効果が、スケールの中間の周囲で作用する/発生するべきである。さらに、HDRイメージングに関し、少なくともより暗い領域の品質において、また、可能であれば幾つかのより明るい領域においても、重要なルックを持つことは、有用であろう。我々は、上述の要件が、スケールの中間において線形制御を持つ「対数的な」性質の曲線のファミリーによって満足され得ることを発見した。
トーンマッピングにおいてダイナミックレンジを減少させるためのLDR輝度相関とHDR輝度相関との関連付けを適用できる上記の対数的曲線は、一般的な第1の形態
Figure 2016533071
(ここで、xは、0、・・・、1の範囲に正規化された「線形の」入力値であり、vは、「対数的な」出力値であり、これも0、・・・、1の範囲に正規化されている)から開始されることができる。ダイナミックレンジを増加させるため、以下の式によって与えられる、上記曲線の逆関数が使用される。
Figure 2016533071
HDR輝度がx軸上にある場合、我々は、y軸上でLDR_CONTルマ値を得るために、暗い領域を明るくする、又は、圧縮する、即ち、対数的形態を使用することが明らかであろう。
曲線を更に特定するために、我々は、制限を課す。最初の2つの制限は、入力値0及び1が同一の出力値にマッピングされる、、即ち、vが0である場合、xも0であり、vが1である場合、xも1である正規化された0〜1範囲によって与えられる。
Figure 2016533071
これより、
Figure 2016533071
が導かれ、さらに、
Figure 2016533071
は、
Figure 2016533071
と書き換えられることができる。
最後に、我々は、対数スケールの中間であるv=1/2において、関数が、aと線形である(aが変化される場合に、この位置において、線形的な輝度変化を供給する)という制限を課す。これは、
Figure 2016533071
を示している。ここで、Kは、定数であり、上記式は、
Figure 2016533071
と書き換えられることができる。最後の2つの制限を結合することによって、我々は、
Figure 2016533071
の項を除去でき、
Figure 2016533071
を得る。ここで、
Figure 2016533071
を代入することにより、更に、
Figure 2016533071
を与えることによって、解
Figure 2016533071
を得る。
上記解は、
Figure 2016533071
に関し、妥当である。Kに関する値を選択することによって、上記曲線は、単一のパラメータaにより特定され、これは、光に敏感な、又は、フィルム速度のパラメータと同様に機能し、このため、我々は、aを、曲線のための露出インデックスパラメータと呼ぶ。Kに関して我々が選択した値は、
Figure 2016533071
である。このKの値は、実際に使用される露出インデックス値におよそ対応するaに関する値につながる。
表1において、対数曲線及びその逆関数のC符号実装が与えられる。ここで、変数名は、上記の式に使用される変数名に対応している。
Figure 2016533071
図1において、提案される対数曲線のファミリーの幾つかの例示的な曲線がプロットされている。a=32から開始し、1/3ストップ(21/3)のステップで、a=2048まで増加させている。ここで、このステップサイズは、対数スケールの中間位置(値0.5)において、容易に観察され得る。
このため、ここでは、我々は、1つのパラメータaによって制御可能な関数のセットを有する。グレーダは、例えば、画像のショット/ランに関し、つまみを調整するなどして、最適なa値を容易に導出することができ、また、自動イメージ分析アルゴリズムが、同様に、最適なa値を選択することができる。また、我々は、グレーダが選択したa値を格納するために、浮動小数又は整数などであるデータタイプを定義することによって、イメージ又は映像信号符号化S_imにおける上記関係を容易に符号化することができる(我々は、多くの値を必要としないため、異なるa値が8ビットコードワード値などに割り当てられるように、A*a+Bなどとして、a値を符号化することができる)。このため、例えば、LUTなどのような信号における完全な曲線の符号化の代わりに、我々の技術の実施形態は、(一度、又は、数回、データ破壊に対するセキュリティのために同一の値で又は選択的に異なるa値で)a値を符号化するだけでよく、使用される関数が、ランタイムにおいて事前合意済みでないが標準化されている場合、受信端は、実際の関数がa値と関連付けられていることを即座に知るであろう。受信端において、この値は、受信イメージIm_1DRを、特定のテレビ上でレンダリングされる最終的なイメージにマッピングするために使用されることができる。
対数ガンマ曲線のファミリーを提案するためのより良い方法は、
Figure 2016533071
である。ここで、Lは、cd/mにおける輝度であり、vは、0〜1の範囲に正規化された電気的な値であり、Lは、cd/mにおけるディスプレイのピーク輝度値である。ただ1つのマスタHDR符号割り当て曲線を定義する場合の最適な定数ρ及びγの提案値は、ρ=25且つγ=2.4である。
我々は、上記EOTFと逆関数OETFとを一致させることができる。これは、少なくともある範囲に亘って、高い精度でこの挙動を近似する(しかし、例えば、より低い輝度部分を線形にするなど、どのようにして古典的なOETFが定義されてきたかにより従わせるため、わずかに区別できる)。例えば、
Figure 2016533071
である。ここで、Eは、基準白色レベルにより正規化された電圧であり、基準カメラ色チャネルR,G,Bにより検出される絶対的な光輝度に比例する。即ち、これらが、RGBピクセルバイナリを光電子で満たすことから生じる線形電圧であると想定でき、E´は、最終的な非線形信号、即ち、ルマコードである。さらに、10ビットのシステムでは、ρ=25、a=1.099、β=0.018であり、12ビットのシステムでは、ρ=25、a=1.0993、β=0.0181である。
第1の変形例と比較した場合、我々は、以下の式のように、ρをaで識別することができる。
Figure 2016533071
上記の特定の最適なルマ割り当て関数OETFを導出するための幾つかの更なる原理が、以下に示される。
現在のテレビシステムは、エンドツーエンド(光から光へ)の非線形変換特性を有する。この変換特性は、典型的な調光サラウンドテレビ視聴環境のための正確なレンダリング意図を提供する。これについては、R.W.G. Hunt (Sixth ed., Wiley, 2006)による「The Reproduction of Colour」の11.9項、19.13項、及び、23.14項などを参照。
フィリップスは、高いピーク輝度のディスプレイ(特に、フィリップスの実験では、5000cd/mのピーク輝度を具備するディスプレイが適用された)を具備する、将来的なハイダイナミックレンジテレビシステムのために、エンドツーエンドテレビシステム変換特性を調査した。そして、現在のエンドツーエンド変換特性は、これらの将来的なシステムにおいても適用可能であることが発見された。この観察により、変換特性が、テレビ視聴環境によって、決定されることが説明される。ハイダイナミックレンジテレビのための視聴環境は、現在のテレビのための視聴環境と同じであろう。
現在のテレビシステムに関するエンドツーエンド変換特性は、推奨されるOETF(勧告ITU-R BT.709、勧告ITU-R BT.2020)とEOTF(勧告ITU-R BT.1886)とのコンカチネーションによって決定される。
例えば、勧告ITU-R BT.709のOETFは、1≧L≧0.018に関して、V=1.099L0.45−0.099、0.018>L≧0に関して、V=4.500Lによって与えられる。
ガンマ2.4を有するこのOETFを、勧告ITU-R BT.1886のEOTFと結合することにより、1≧L≧0.018に関して、(1.099L0.45−0.099)2.4、0.018>L≧0に関して、(4.500L)2.4である、エンドツーエンド変換特性が得られる。
フィリップスは、提案されるEOTFを用いて、ハイダイナミックレンジテレビシステムのためのエンドツーエンド変換特性を完全に保存することを提案する。このEOTFは、正規化された形式
Figure 2016533071
を有する。
それは、関数
Figure 2016533071
と、勧告ITU-R BT.1886に従ったガンマ2.4のEOTFとのコンカチネーションであることが分かる。従って、エンドツーエンドの特性を保存するため、提案されるEOTFとともに使用されるOETFは、現在勧告されているOETF(勧告ITU-R BT.709及び勧告ITU-R BT.2020)と
Figure 2016533071
の逆関数である
Figure 2016533071
とのコンカチネーションであるべきである。
このコンカチネーションは、(勧告ITU-R BT.709のOETFを例として)以下のOETFを生じる。
1≧L≧0.018に関して、V=
Figure 2016533071
であり、0.018>L≧0に関して、V=
Figure 2016533071
ρに関し、25の提案値で満たすと、OETFは、更に簡略化されることができる。即ち、1≧L≧0.018に関して、V=
Figure 2016533071
であり、0.018>L≧0に関して、V=
Figure 2016533071
となる。
等価的に、勧告ITU-R 2020に関して、提案されるOETFは、
Figure 2016533071
であり、ここで、Eは、基準白色レベルにより正規化された電圧であり、基準カメラ色チャネルR,G,Bにより検出される絶対的な光輝度に比例し、E´は、最終的な非線形信号である。ここで、10ビットのシステムでは、ρ=25、a=1.099、β=0.018であり、12ビットのシステムでは、ρ=25、a=1.0993、β=0.0181である。
最も簡単な方法は、補完的イメージを導出するためにマッピングを適用するだけである(例えば、HDR_ORIGが、ディスク上でNビットの色座標により符号化された場合、実質的により低いピーク輝度を有する任意のテレビを駆動するためのLDR_CONTイメージは、符号化されたa値を有する我々の選択された対数ガンマ関数を単に適用することにより使用され得る)が、例えば、国際公開第2012/127401号において教示されるように、最終的なレンダリングのために中間的なグレーディングを導出してもよい。
本発明は、幾つかの実施形態における幾つかの方法において使用され得る。例えば、グレーダが、手元にある特定のイメージ/映像のための最適な曲線を選択すること気にしない場合、a=1100などを有するデフォルトの曲線が選択される(また、信号におけるa値のデータタイプが空欄である場合、受信端は、デフォルトでこの値を使用する)。しかしながら、そうでない場合、グレーダは、例えば、a=550の曲線がより良い結果をもたらすことを発見し得る。そして、この値を、ディスク上で、a値データタイプの少なくとも1つのコピーとして書き込む。より多くのコピーがある場合、一般的には、プレゼンテーションタイムスタンプなどのような、イメージのセットのどの部分にこの曲線が属しているのかを示す基準データのような更なる特定データもあろう。
我々の方法は、イメージ(Im_1DR)テクスチャ符号化のフォーマットが何であれ、使用され得る。しかし、それは、例えば、10ビットのルマ符号化で良好に機能することができ、古典的に使用される8ビットのルマ符号化(イメージ符号化の幾つかのアプリケーションは、より低品質を必要とする)においても同様である。
一般的に、曲線の形状を定義している選択されたa値は、想定されるレンダリングディスプレイの特性(一般的には、そのピーク輝度)に依存する。例えば、グレーダは、映画の再生時間の最も良い部分の間、一般的に、約2000ニットのピーク輝度を有するHDRディスプレイ上で見られることを考慮し得る。グレーダは、かかるディスプレイ上で最適なルックを与えることができ(即ち、HDRが再構成される場合)、可能であれば、600ニットのテレビのような低いピーク輝度のディスプレイ上でもリーズナブルなルックを与える曲線を使用する。勿論、今から20年後、視聴者の大多数が、このHDR符号化された映画を15000ニットのディスプレイなどで視聴する場合、なおリーズナブルなレンダリングが発生し得るが、それは、上記曲線に対して最適でない可能性がある。コンテンツ作成者は、それらのディスプレイのために異なるa値を有する様々な曲線を具備する新たな符号化を作ることができる。また、そのために新たなLDRイメージLDR_CONTを作らないことも考えられるが、約15000ニットのカテゴリのディスプレイに最も適切なHDRイメージを再構成するために新たな曲線FL2Hを作るだけである。
また、グレーダ又は自動アルゴリズムは、符号化されるイメージの特性に基づいて符号化されるHDRイメージの特性(即ち、キャプチャされるシーンの種類)に基づいて、ファミリーから、特定のルマコード割り当て曲線をとることを決定することができる。例えば、それが、暗い領域のみ(又は、おそらく小さな明るいランプのみ)を含む場合、より暗い色に関する精度を増すために、明るい側における幾つかの量子化精度を犠牲にする曲線を使用することを考慮することができる。これは、イメージにおいて輝度の中間値を決定し、そこからどのa値がそれに対応しているかを決定するような最も単純なものから始まり、利用可能な(ピクセルが全く又はほとんどないことを越えて)輝度の範囲をチェックし、存在しているオブジェクト輝度の範囲のサイズ及び/又は位置に依存して曲線を決定するなど、様々なイメージ分析アルゴリズムによって実行されることができる(例えば、かかる範囲に亘る曲線の勾配測定を見る。これは、割り当てがアルゴリズムによってなされる場合に使用され得るが、一般的には、かかる知見は、ルールのセットにおいて人間の知識を定義することにより割り当てられる。例えば、デザイナーは、3つのカテゴリを作った。1つは、50ニットより低い全ての輝度を持つイメージであり、1つは、全ての輝度が500ニットより上にある「屋外」イメージであり、もう1つは、その中間的なカテゴリである。決定アルゴリズムが、マスタグレーディングにおいて、例えば、30ニット〜200ニットの利用可能な範囲を発見した場合、重複基準に基づき、中間レンジ符号割り当て曲線を選択するであろう)。
図4は、かかる実施形態の一例を示している。当該ルマ割り当て曲線は、好ましくは、ガンマが1.0に等しくない、対数関数とパワー関数との組み合わせである。
Figure 2016533071
ルマコード(E水平軸)は、[0,1]にスケーリングされており、対応する基準ディスプレイ上の対応する輝度は、ストップにおいて対数的に与えられる(y軸)。例えば、5000cd/mのピーク輝度のために単一の曲線を所望する場合、
Figure 2016533071
を使用し、そこから、例えば、a=67.8873、b=2.8284、c=0.7153、d=−0.3230、及び、ガンマ係数γ=2.35を導出することができる(異なるガンマ値に関し、a〜dの係数は、一般的に異なるであろう)。
我々は、この例において、基準ルマ割り当て曲線401によりHDRイメージを符号化できることを想定する。当該曲線は、同じイメージにおいて、日の当たる屋外と同時により暗い屋内などを有するような全ての可能なHDRイメージ上でうまく機能する。しかしながら、わずか数個の明るいランプを有する暗い地下において再生するプログラム又はシーンを持つ(明るくレンダリングされる必要のみがあり、正確である必要はない)場合、そのような暗い領域に関してより良い精度で振る舞う、即ち、HDR輝度/x軸の暗いサブレンジにおいてもっと利用可能な符号を持つ、他のわずかに異なる曲線を選択したい可能性がある。曲線403は、そのような場合に適している。多くの明るい日の当たる屋外のピクセル及び数個のより暗いピクセルが存在する他のシナリオが、生じることがある。これは、人間の視覚は、大きな明るいイメージに適合され、絶対的な精度で量子化される必要がないためである。かかるシナリオは、例えば、タイで屋外を撮影する場合に生じ、寺院の少し内側の小さい扉を通じて見ることができる(TVのレンダリングは、これらの暗い内部を少し明るくするように決定してもよく、このため、我々は、それでもなおもっともらしく符号化されることを好むことに留意する)。そのような場合、人間のグレーダは又は符号化装置/アルゴリズムは、曲線402が、それらのHDRイメージを符号化するLDR_CONTのために使用する、より良い曲線であると決定してもよい。
図6は、同じ総対数ガンマEOTF原理を示しているが、ここでは、意図された視聴環境を含む場合である。図7は、どのようにそれらの関数を定義するかについての2つの例を示している。「LDR」が量子化[0,1]ルマ(v)符号値である部分、即ち、HDRのみの再構成に関し、我々は、一般的に、請求項1記載の2つの指数関数(即ち、ロー部分及びガンマ部分)を適用するだけである。「ガンマ2.4部分」は、プレガンママッピング手続きに変更されるが、ここでは、調光サラウンド輝度を考慮したファクターを含んでいる。図7の底部は、2.4及び勧告709のOETF(ダウンマッピング又は輝度からのルマ決定)
Figure 2016533071
への上部側ガンマサブマッピングの等価的な要約である。LC(a)は、マッピングの第1の部分、即ち、2.4ガンマを有さないロー部分である。矢印は、上向き矢印により、アップグレードタイプの変換、即ち、より暗い領域及び中間のグレーから明るい領域を引き延ばす、及び、その逆の変換を示している。Qは、例えば、勧告709に従って、通常の10ビット量子化されたLDRイメージである。第2の勧告709ダウングレードは、請求項1記載のマスタEOTFが入力として期待するものに従って、正確に決定された入力を再フォーマット(ルマ軸に沿った正確な再分布)する。図7の上側又は下側の手続きの結果は、一般的に、基準モニタ、即ち、2.4のガンマに従って規定された実際のディスプレイへ送信される。
図8は、図6の関数がDY´/Y´への変換である場合、暗いオブジェクトカラーへの拡大を示している。
図3は、家庭又はディジタル映画館などの専門場所における可能な受信側システムの一例を示している。我々の復号化技術を使用できる多くのアプリケーション及び多くのタイプの装置があり、これらは、例えば、ICのような復号化ユニットを有することができるが、当業者は、我々の教示が、他のシナリオにそれをどのようにマッピングするかを理解できるので、我々は、その1つのみを明らかにする。アンフォーマッタ388は、それが記録/送信、及び、受信されたフォーマットが何であれ、信号S_imを解凍及び復号化する。我々は、この非限定的な例において、受信及び初期処理が、(セットトップボックス、ブルーレイ再生器、パーソナルコンピュータなどであり得る)幾つかのイメージ操作装置301によってなされることを想定している。当該装置は、ディスプレイ及び可能な環境の特性がそれを望めば、レンダリングされる正確に作成された最終的なイメージをディスプレイ302に送信する(この例では、色最適化能力を持たないディスプレイであるが、いくつかのハードウェア決定された色度特性を持つ)。しかし、勿論、このディスプレイがより賢く、例えばテレビなどであれば、イメージ操作装置301における上述の動作のほとんど又は全てを単体で実行することができる。簡単な説明のために、我々は、ディスプレイが、(例えば、5000ニットのピーク輝度を有する)HDRディスプレイであり、HDMIケーブルなどのイメージ伝達技術398を介してイメージをレンダリングすることを想定している。ディスプレイがより賢くないほど、ケーブルを介してより多くのイメージが、XYZにおいて完全に最適化されたような標準的なイメージのように見える。あるいは、RGBイメージの直接駆動のようにさえ見える。しかし、ディスプレイがより賢いほど、LDR_CONT符号化イメージが何であれ、イメージがより多くのパラメータを取得し、ディスプレイ自体によって所望の最適な駆動イメージのためのパラメータを取得する。ディスプレイ(及びS_imメタデータ)は、映画における様々なショットのために様々な色マッピング戦略を適用するように実現され得る。イメージ信号S_imは、BDディスクのような物理的な媒体メモリ、あるいは、有線又は無線ネットワーク接続された映像ストア購読などの様々な送信技術を介して受信される。
幾つかの実施形態では、イメージ操作装置301は、第2のディスプレイであるLDRディスプレイ330のためにLDRイメージも生成、又は、LDRイメージを単独で生成する(当該イメージは、例えば、直接的に、LDR_CONTイメージであってもよいし、又は、ダイナミックレンジ調整又は視聴環境調整なしで、RGBへの単なる色変換であってもよいが、符号化されたイメージLDR_CONTから導出される第2の最適なグレーダイメージであってもよい)。これは、例えば、アンテナ399により、無線イメージ/映像/データ接続を介してストリーミングされるが、我々の発明の核心部は、HDRイメージのみを作るために使用されてもよい。
色マッピングユニット305は、例えば、S_imからLDR_CONT符号化イメージを取得し、当該信号からFL2Hマッピング関数を読み出すことによって、又は、FH2Lマッピング関数を読み出して、それを内部で逆関数であるFL2Hマッピング関数に変換することによって、上記符号化イメージをRec_HDRに変換する。
多くの上記装置又はシステムが、我々の発明から製造され、専門用カメラ又は消費者向けカメラ、任意の種類のディスプレイ(例えば、携帯電話のような携帯装置に内蔵され得る)、カラーグレーディングソフトウェア、映像改善装置などのトランスコーダ、映像管理システム、スーパーマーケットなどにおけるパブリックディスプレイなどに内蔵され得ることが理解されるべきである。
これまで、色空間の輝度軸上で何を実行するかについてのみを議論してきたが、色は、3次元定義を必要とする。ルマY方向において我々が行なってきたことは、色割り当て関数による色座標の伸長及び圧縮である。結果、いずれの等価なステップも、視覚的に、ほぼ等しく重要である。これは、量子化を行なう場合、同様のコントラストで見える各輝度領域のために等しい数の符号をおよそ持つということを意味する。即ち、我々は、ほぼ同じ程度に、いかなる場所におけるバンディングも減少する。しかし、色空間は、高度に非線形であり、XYZ又はxyYのような典型的な色空間は、人間の視覚の性質に良好にマッピングされない。従って、我々は、色方向における同様のトリックを行なう必要がある。
本発明者は、符号化空間を色平面のY方向と色度方向とに分解できる(いずれの場合においても、この空間は、イメージカラー処理などを実行するために必ずしも使用されるわけではないが、中間的な「値保持部」としてのみ使用され、色座標が何であれ、逆マッピングによりマスタHDRのオリジナルのXYZ16ビットなどを抽出可能である場合にのみ十分であり得る)ことを、既に、以前から理解している(未公開公報EP12187572号参照)。これについては、図5において、概略的に見ることができる。全ての符号化可能なRGBカラーの色域502(我々は、xyYのような空間を使用したい。結果、色域上限、例えば、5000ニットの白色点の定義によって定義される全ての可能な物理的に発生する最大輝度までの色が符号化可能である)は、色三角形xyとルマY軸501とによって決定される。より具体的には、ルマY又は対応する輝度Lについて、このY軸は、使用される符号割り当て関数によって定義する。概念的に、符号割り当て関数に従って色域における全ての色を調和的に伸長するような様々な符号割り当て関数の使用が可能である。例えば、中間(Y=0.5)の周囲での精度が十分であると考える場合、そこでの値を伸長し、Y軸の他のサブレンジにおいて圧縮する他の対数関数を選択してもよい。また、例えば、各1/100番目の値を量子化する場合、例えば、500ニットと800ニットとの間の上記伸長された輝度の領域は、4個などの代わりに6個のルマ符号に伸長される。同じことが他の色度に関して起こる。例えば、EP12187572号は、[0,1]Yスパンを超えず、特定の色度(x,y)のための色域において、可能なYのスパンを超える、以下の選択された対数関数形状によって、どのようにこれを行なうかについての実施形態を定めている。我々は、色度方向においても同じトリックを実行したい。しかしながら、好ましくは、ユニバーサルxy色度は、青色領域(B)においてMacAdam楕円よりも小さく、緑色領域(G)において大きいことが知られている。これは、大きい符号誤りを作る(緑色領域において(x,y)_1を(x,y)_2に変更することは、かかる顕著な効果を有さない)が、青色領域における量子化は、より容易に発見されることを意味する。小さい誤りを有する箇所のどこでも符号化可能とするため、我々は、我々の究極的な量子化された符号化が、量子化エラーをより均一に分配することを確認したい。我々は、三角形(これは、グラフ503において、色経路における1つの寸法において概略的に示されている)に亘るエラー関数により、これを決定することができる。また、我々は、我々はの色度割り当て関数(新たな座標uvの関数として定義される経路Hが、x及びyの関数Gとしても定義可能であることが、504において概略的に示されている)を変更することによって、これを変更することができる。即ち、楕円が色空間の領域に関して長過ぎる場合、我々は、その領域においても同様に色空間を伸長することができ、これは、楕円の圧縮の逆等価である。この再定義は、高度に非線形な関数であり得るが、好ましくは、我々は、我々の符号化を単純なもので定義する。即ち、透視変換
Figure 2016533071
Figure 2016533071
により、上記楕円を変形することができる。これらの等式において、x,y及びu,vは、色三角形であり、a〜lは、定数である。
これが、線形変換マトリクスにより定義され得る、XYZベクトルにより定義される色空間からUVWベクトルにより定義される色空間への3Dにおける基本的変換に対応することが、数学的に証明されることができる。
我々は、リーズナブルな均一性を持つ従来技術から知られるマッピング(しかしながら、HDR符号化のための使用については調査されたことがない)により、色度を定義することが有用であることを発見した。
Figure 2016533071
Figure 2016533071
ここで、色度平面座標が、線形XYZ色空間座標から直接決定される。このため、我々は、当該空間においてグレーディングでき、色符号化へ向けて直接進むことが可能である。
従って、次に我々がすることは、上記の対数ルマ符号割り当て関数のいずれかを用いることであり、それを、Yuv色定義のY(非線形ルマ)の定義として用いることであり、色の色度成分のために上記定義を用いることである。それは、古典的なLDR色符号化スキームと反対のHDRカラーを定義することができる方法である。
しかしながら、全てのそれらの色は、通常、(特に、MPEG2などで使用されるようなY´uvPALタイプのYUV又はYCrCbと混同されない)LDRイメージのために期待する(例えば、u及びvと同様、Y´のために10ビット)数学的な範囲における値を持つため、通常のLDR符号化技術を有する他のイメージ符号化チェイン(量子化、DCTなど)を行なってもよい。受信側における逆マッピングの際、我々は、レガシーな技術により符号化されないリアルなHDRイメージを再取得する。
勿論、以下の同様の技術原理、同様の色空間が、受信端でのイメージがオリジナルマスタHDRを回復できるように標準的に定義する限り、色域テントが我々の新たなルマ軸の定義により定義されるよう、設計され得る。
図9は、HDRルックが支配的である、第1の可能な有用な符号化システムを概略的に示している。即ち、我々は、比較的大きいダイナミックレンジ(即ち、LDRディスプレイ上で直接示される場合、例えば、暗過ぎて十分に認識できない暗い領域を持っていてもよいが、接続された場合に5000ニットのHDRモニタ958などのHDRディスプレイのため、完全なHDRイメージが、受信側において取得され得る)の静止画であるLDR_CONTイメージを変換する。我々のEOTFは、このシナリオに特に適している。例えば、パラメータのρ=25且つγ=2.4が、パラメータ埋め込みユニット908によって、イメージ信号S_imに埋め込まれてもよい。
我々は、我々のマスタHDRグレーディングHDR_ORIG(ここで、参照番号901は、ハードウェアユニットではなく、イメージである)から開始する。色変換ユニット902は、例えば、オリジナルが、比較的広い色域(映画材料において幾つかの着色剤により発生し得る)において飽和した色度を含んでいる場合、色変換を実行することができる。ここで、典型的な勧告709原色の消費者向けディスプレイの機能のみが想定され、この色変換ユニット902は、勧告709色域へのプレ色域マッピングを既に実行し得る。ダイナミックレンジ変換器904は、一般的に、LDRルックイメージ905を取得するため、インタフェースユニット903を介してグレーダからの芸術的ガイドの下、幾つかの関数を適用する。このLDRイメージは、比較的単純な可逆的色マッピングにより取得されるが、より複雑且つ不可逆的な(データ破壊、即ち、そのイメージ単独からマスタHDRが完全に再構成され得ない)マッピングによって、取得されてもよい。HDRは、我々の実施形態に従って、即ち、請求項1記載のEOTFの逆関数を用いて、カラーエンコーダ906による我々のY´u´v´符号化へ、マッピングされる。次いで、通常の映像符号化が、HEVCエンコーダ又は任意の類似品であってもよい映像エンコーダ907により実行される。最後に、この例示的な実施形態では、我々の比色分析符号化関数のパラメータ(ロー、ガンマ、及び、Lmの少なくとも1つ)が、メタデータとして、例えばDVB又はATSCフォーマットされたHDRテレビ信号として送信されるS_imに埋め込まれる。受信側において、受信器が、デコーダ951により通常の映像復号化を行なう。しかしながら、XYZなどにおいてRec_HDRイメージ952を取得するため、このデコーダも我々の技術により向上されている。第2の色マッパー959による第2の色域適合の後、我々は、接続されたモニタが、例えば、広い色域能力を有することを考慮することができる。ディスプレイ調整ユニット957は、更なるディスプレイ調整を行なうことができる。例えば、2400ニットのディスプレイなどの接続されたディスプレイのための最適なルック輝度を導出するため、我々の第2の色マッピング関数を適用し、また、視聴環境又は視聴嗜好(視聴者の好ましい明るさ)が操作され得る。S_imにおける様々なパラメータは、パラメータ抽出器950によって抽出される。それらの幾つかは、良好なLDRルックを導出するために使用可能である。このため、このシステム実施形態では、最初に、色マッピングユニット953によって更なる色マッピングを行なう、次いで、輝度マッパー954によってダイナミックレンジ変換を行ない、任意の接続可能なLDRモニタ956のためにLDR映像を生成することによって、LDRが、HDR(正確にはオリジナルのHDRではないが、受信側におけるRec_HDRに極めて近い近似である)から導出される。勿論、回復されたRec_HDRからの上記LDRルックの再構成は、パラメータにより、送信側でLDRがどのように生成されたかを模倣する。実際、本発明に従った逆EOTFである我々のOETFによるマッピングが既に十分であることを考慮する場合、幾つかの実施形態が、使用され得る。勿論、特定のショット又はシーンのための最適化されたロー及びガンマパラメータを有するが、一般的に、HDRイメージにおける主なLDRレンジのコントラスト伸長や、当該レンジの外側のハードクリッピングなど、S_imに含まれ格納される他の関数が存在し得る。
図10は、どの種類のLDR_CONT/Im_1イメージが、実際に符号化されるべきかについての他の考え方であるが我々のEOTF技術に含まれる考え方に従ったシステム構築の特定の例を示している。
ダイナミックレンジ変換器1001及びY´u´v´色変換器1002などの送信側のコンポーネントは、図9におけるものと同様である。しかしながら、ここでは、ディスク上でLDRルックを有するIm_1を使用する。このため、LDR映像を取得するために1001において適用される対数ガンマ関数は、異なるロー及びガンマパラメータを用いることによって、図9のS_imシナリオにおけるHDRルックにおけるそれよりも高い等価ガンマ(我々の標準的なロー及びガンマパラメータの等価ガンマ、即ち、平面ガンマ関数L=v^ガンマだけを使用する場合は、約7である)を有していてもよいが、他のシーンに関しては、それらはより低くてもよい。いずれの場合においても、我々は、一般的に、可逆的な輝度マッピング関数のみを使用し、我々のEOTF及びその逆関数OETFは、この基準を満たす。LDRイメージ(一般的には、YCrCbの代わりに、まだY´u´v´である)は、通常の映像エンコーダにおいて開始される。しかしながら、受信側では、埋め込まれたパラメータは、LDRルックを作るためには使用されず、HDRルックを作るために使用され、LDRイメージは、LDRモニタに直接送られてもよい。従って、HDRを取得するために、S_imからのLDRは、ダイナミックレンジアップコンバータ1050、所望の色度ルックを得るための色変換器1051、及び、基準レンジなど(0〜5000)において再構成されるHDRから始まる特定のディスプレイのための正しいルックを得るためのディスプレイ調整ユニット1052によって、連続的に処理される。当業者である読者は、我々の教示から始まる他の実際の実施形態は、例えば、ほとんどが対数ガンマ形状を持つ(即ち、それは、一般的には、可能な入力値[0,1]のレンジに亘るほとんどの入力値のための我々のロー及びガンマファミリ曲線からの関数によって定義されるような出力値を有する)OETF及びEOTFを使用してもよいが、幾つかの入力値に関し、マッピングは、幾らか異なっていてもよい(例えば、異なる傾斜を局所的に実装し、EOTFの標準的な対数ガンマ部分が到達するまで除々に滑らかにするなど)ことを理解するべきである。かかる偏差は、自動イメージ分析アルゴリズムによって符号化装置、又は、曲線において局所的な変化を明示するグレーダ、又は、グレーダの幾つかのガイドを得て、部分的な修正に到達するための幾つかの計算を行なう任意の半自動的態様においてなされてもよい。これらの曲線は、パラメータ的に伝達されることもできるが、例えば、1又は複数の追加的パラメータ(ガウスバンプ修正など)により関数的に符号化された局所的な修正形状を有するLUTとして伝達されてもよい。
図11は、どのようにして本出願の教示を考慮したHDRイメージ信号1100を符号化できるかについての一例を示している。我々は、HDRシーンに見られるダイナミックレンジのセットを符号化することを想定している。例えば、0.005ニット〜5000ニットの基準輝度レンジの全てに亘って輝度の可能なオブジェクトを有する少なくともマスタハイダイナミックレンジイメージを受信側においてレンダリングされることができる必要がある。同時に、我々は、復号化側において、同じシーンの少なくともローダイナミックレンジイメージを再決定可能としたい。これは、符号化されたHDRイメージ1101及びマッピング関数に基づいて決定される。上述のように、符号化/復号化ブロックは、HEVCなどにおける機能と同様の標準である。このため、我々は、このフレームワークで可能なHDR符号化を作るための新たな色度教示に焦点を当てている。
このため、イメージ1101のイメージピクセルルママトリクスは、例えば0.005ニット〜5000ニットの基準輝度レンジにおける輝度にルマ符号がどのように関連するかを定義する、我々の主な教示の「対数ガンマ」関数によって、決定される。即ち、イメージ1101は、HDRイメージを符号化する。ルマ符号が正確であれば(しかしながら、それらは定義される)、復号化の間に、それらは、基準5000ニットピーク輝度のディスプレイ上でレンダリング可能なピーク輝度に変換される(又は、実際は、線形又はガンマドメインのRGBなどにおける(uv)ピクセルカラーである色度成分とともに変換される)ことができる。他の特性を有するディスプレイは、ディスプレイ依存の色変換最適化を行なう。これは、一般的に、信号1100におけるイメージ及びメタデータ色マッピング関数に基づいている。ルマ符号を定義するための事前合意済みのEOTFが(固定のLm、ロー、及び、ガンマとともに)使用される場合、イメージ信号1100においてそれについての情報を符号化する必要はない。デコーダは、どの関数が使用されるかを知っているためである。あるいは、数個の固定の関数が選択可能である場合、対応する曲線数1108(例えば、事前合意済みの曲線3)が符号化され得る。信号における上記データ保持部は、より正確にEOTFを特定するために補完的であり、後者のシナリオが満たされる必要はない。上記のケースでは、ロー値1102、乗数Lm1109及び/又はガンマ値1103を満たすことによって、(一般的に、シーンが変わる度に、即ち、2つの画像又は瞬間の間に)、イメージ1101においてルマを部分的又は完全に定義してもよい。幾つかのシナリオでは、他のゲイン要因1104が使用され得る。しばしば、これは、Lmにより符号化され得るが、映画全体に関して標準的な値5000でLmを満たしたいが、ゲイン要因1104により比較的暗いシーンを符号化したいというシナリオもあり得る。この場合、例えば、シーンにおける典型的な(基準ディスプレイ上でレンダリングされる)輝度は、1000となる数個の異常値とともに、100ニットより下に落ち込む場合、最大5000ニットの異なる信号であるかのように見せることを決定してもよい。この倍数的伸長は、量子化及びDCTの適用前に、エンコーダによって実行される。信号におけるメタデータのために保持部1104において満たされるゲイン要因5又は1/5は、デコーダが、どのように、復号化された信号が所望のルックとなるように各乗数を分割するかを特定している。
幾つかのより進化した符号化関数に関し、対数ガンマ関数の偏差が、偏差数セット1107において符号化され得る。これは、例えば、対数ガンマ関数の一部に沿った追加的又は倍数的変形の仕様、より大きい勾配からより小さい勾配までの部分の幾つかのサブ領域の作成、イメージの様々なオブジェクト領域に割り当てられるおおよその符号の生成などを含んでいてもよい。これらの数は、我々の対数ガンマ関数の関数的変形を符号化することもできる。例えば、2つのパラメータL1及びL2が、調整される輝度又はルマにおけるEOTFのサブレンジの境界を定め、幾つかのパラメータが、ax^2+bx+c(ここで、xは、サブレンジにおける走査座標であり、a,b,cは定数であり、様々な数の保持部D3,D4,・・・において符号化される)などの変形を定義する。エンコーダは、関数が意味することを知る。関数的変形に関する幾つかの事前合意済みの符号化メカニズムが存在するためである。
次いで、他のメタデータが、イメージ信号において符号化されるHDRイメージ1100に基づいて、どのようにして、LDRルックイメージを導出するかを定義する。このLDRイメージは、例えば、(他のガンマ関数を有するLDRにマッピングされるような)HDRイメージにおいて利用可能な全ての符号を示すより小さいコントラストのイメージ、又は、HDRシーンの重要なLDRサブレンジのための利用可能な多くのLDRルマ符号を予約し、当該領域の外側をクリップ又はソフトクリップするコントラストの強いLDRルックであってもよい。
一般的に、(ここでは、(u、v)成分を同じに保つ)ルマ上で任意のマッピングを行なうに関し、例えば、HDRイメージ1101のルマとパラメータ的に符号化されるLDRイメージの所望のルマとの間でルママッピング関数1110の形状を符号化する十分正確なLUTを含むためのメタデータ保持部1105が存在する。この関数は、任意の形状を有することができ、単調である必要さえない(勿論、輝度マッピング、RGB_maxマッピング、又は、任意の輝度相関マッピングとして定義されてもよい)。さらに、彩度マッピングなどの色処理があってもよく、これは、ルマ毎に(HDRイメージからトーンマッピング後のLDRイメージのためのルマ依存彩度修正1120を実現する)倍数的な彩度要因を定義する一次元LUT1106、又は、例えば、グレーダが、LDRにおいてより暗く、少なくともよりカラフルな幾つかのオブジェクトを作ることを可能にするようなより複雑な戦略、又は、他の彩度変更原理に従った戦略によって、実行され得る。信号の単純なバージョンは、1つの彩度数位置のみを持っていてもよく、又は、他の信号は、単一の彩度数を満たすためのメタデータにおける追加的な位置を持っていてもよい。結果、この単一の乗数は、輝度に関わらず、全てのピクセルカラーに適用され得る。これは、HDR+LDRイメージ信号において一般的に符号化され得るものの単なる例であり、例えば、イメージの局所的なセグメント化可能な領域を処理するなど様々な数のセットが存在し得る。しかし、我々の提示した技術に従って、実際、どのようにして、シーンのHDRイメージを符号化するだけでなく、5000ニットの基準ディスプレイとは異なるダイナミックレンジ能力を有するディスプレイシステムでレンダリングするのに適した、かかるシーンの符号化された様々な他のダイナミックレンジの再ルックをも符号化するかについても十分な理解を与えるべきである。
本開示において開示されたアルゴリズム的なコンポーネントは、実際は、ハードウェア(例えば、アプリケーション特有のICの一部)、又は、特別なディジタル信号プロセッサ、又は、汎用プロセッサなどで実行されるソフトウェアとして、(完全に、又は、部分的に)実現されてもよい。
我々の提示から当業者は、どのコンポーネントが、オプションの改善であり、他のコンポーネントとの組み合わせで実現可能か、さらに、方法の(オプションの)ステップが、各手段の装置に対応するか、及び、その逆について、理解可能であろう。本出願において「装置」なる用語は、最も広い意味で使用され、特定の目的の実現を可能とする手段のグループであり、従って、例えば、IC(の小さい部分)、又は、(ディスプレイを有する機器などの)専用機器、又は、ネットワークシステムの一部などであってもよい。「構成」も、最も広い意味で使用され、このため、それは、とりわけ、単一の装置、装置の一部、協働する装置(の一部)の集合などを有していてもよい。
本実施形態のコンピュータプログラム製品バージョンが示すものは、プロセッサにコマンドを入力し、本発明の任意の特徴的な関数を実行する、(中間言語、及び、最終的な言語への変換などの、中間的な変換ステップを含んでいてもよい)一連のローディングステップの後に、汎用又は専用のプロセッサを可能とするコマンドの集合の任意の物理的な実現を強調するために理解されるべきである。特に、コンピュータプログラム製品は、例えば、ディスク、又は、テープ、メモリにおいて提示されるデータ、有線又は無線ネットワーク接続を介して伝播するデータ、又は、紙上に記録されたプログラムコードなどのキャリア上のデータとして実現されてもよい。プログラムコードとは別に、プログラムのために必要な特徴的なデータが、コンピュータプログラム製品として実現されてもよい。コンピュータにより、我々は、データ計算を行なうことが可能な任意の装置を意味する、即ち、それは、携帯電話などであってもよいことが明らかである。また、装置クレームは、実施形態のコンピュータ実装されたバージョンをカバーし得る。
任意の提示された方法の動作のために必要な幾つかのステップは、前述のコンピュータプログラム製品、データ入出力ステップなどの代わりに、本発明のプロセッサの機能において既に提示されていてもよい。
上記実施形態は、例示のためであって、本発明を限定するものではないことに留意すべきである。当業者は、容易に、提示された例の請求項の他の領域に対するマッピングを理解することができ、我々は、簡潔性のために、全てのこれらのオプションについて詳細には説明していない。請求項中で組み合わせられるような本発明の要素の組み合わせとは別に、当該要素の他の組み合わせが可能である。要素の任意の組み合わせが、単一の専用要素において理解されることができる。
請求項中、括弧内の任意の参照符号は、請求項を限定するものとして解釈されるべきではない。「有する」なる用語は、請求項に記載されたもの以外の要素又は態様の存在を除外しない。要素の単数形は、かかる要素が複数存在することを除外しない。

Claims (21)

  1. ハイダイナミックレンジイメージを符号化するための方法であって、前記方法は、
    入力ハイダイナミックレンジイメージのピクセルカラーを入力するステップであって、前記ピクセルカラーは、輝度及び色度の情報を持つ前記ステップと、
    ピクセルカラーの前記輝度のルマコードを抽出するために、マッピング関数の逆関数を適用するステップであって、前記マッピング関数は、
    Figure 2016533071
    として定義される第1の部分関数と、
    Figure 2016533071
    として定義される第2の部分関数と、を有するものとして予め定められ、ここで、ρは、同調定数であり、vは、符号化される輝度に対応する前記ルマコードであり、Lは、所定の基準ディスプレイのピーク輝度であり、γは、好ましくは2.4に等しい定数である、前記ステップと、
    前記ルマコードを有するカラー符号化を持つピクセルのマトリクスを出力するステップと、
    を有する、方法。
  2. が、5000ニットに等しい、請求項1記載のハイダイナミックレンジイメージを符号化するための方法。
  3. ρが、25に等しい、請求項1又は2に記載のハイダイナミックレンジイメージを符号化するための方法。
  4. 前記γ関数が、Rec.709符号化γと同等のγと、γ2.4関数と、からなる、請求項1又は2に記載のハイダイナミックレンジイメージを符号化するための方法。
  5. ρ及びγのパラメータが、100ニットのディスプレイ上の人間のカラーグレーダに従って良好に見える符号化イメージを生み出すために更に最適化され、これにより、前記ρ及びγのパラメータの少なくとも1つが、好ましくは、人間のグレーダにより最適化される、請求項1乃至4のいずれか1項に記載のハイダイナミックレンジイメージを符号化するための方法。
  6. 前記カラー符号化の色座標(u,v)が、
    Figure 2016533071
    及び
    Figure 2016533071
    の形の分数方程式であって、a〜lは、好ましくは、a=4,b=c=0,d=1,e=15,f=3,h=9,g=i=0,j=1,k=15,l=3の定数である、前記分数方程式によって、前記ハイダイナミックレンジイメージにおけるピクセルの色のCIE XYZ表現から参照されるものと定義される、請求項1乃至5のいずれか1項に記載のハイダイナミックレンジイメージを符号化するための方法。
  7. 前記色座標(u,v)が、好ましくはD65などの所定の白色点に関連するものとして定義される、請求項1乃至6のいずれか1項に記載のハイダイナミックレンジイメージを符号化するための方法。
  8. イメージ信号が、前記ルマコードである1つの色成分で符号化されるピクセルカラーを具備するピクセルマトリクスイメージを有するように形成され、前記ρ及びγパラメータのうちの少なくとも1つを有するメタデータと関連付けられる、請求項1乃至7のいずれか1項に記載のハイダイナミックレンジイメージを符号化するための方法。
  9. マッピング関数の逆関数を用いることによって、輝度のために定義されたルマを有するピクセルカラーのマトリクスを有するイメージ信号であって、前記マッピング関数は、
    Figure 2016533071
    として定義される第1の部分関数と、
    Figure 2016533071
    として定義される第2の部分関数と、を有するものとして予め定められ、ここで、ρは、同調定数であり、vは、符号化される輝度に対応する前記ルマコードであり、Lは、所定の基準ディスプレイのピーク輝度であり、γは、好ましくは2.4に等しい定数である、イメージ信号。
  10. 前記マッピング関数を定義するメタデータを有し、前記メタデータが、ピーク輝度L,定数ρ及びγ値のうちの少なくとも1つである、請求項9記載のイメージ信号。
  11. 請求項9又は10に記載のイメージ信号を含む光ディスク又はソリッドステートメモリなどのストレージ製品。
  12. ハイダイナミックレンジイメージを符号化するためのイメージ符号化装置であって、
    入力ハイダイナミックレンジイメージのピクセルカラーを得るための入力部であって、前記ピクセルカラーは、輝度及び色度の情報を持つ前記入力部と、
    ピクセルカラーの前記輝度のルマコードを抽出するためのマッピング関数の逆関数を適用するグレーディング管理ユニットであって、前記マッピング関数は、
    Figure 2016533071
    として定義される第1の部分関数と、
    Figure 2016533071
    として定義される第2の部分関数と、を有するものとして予め定められ、ここで、ρは、同調定数であり、vは、符号化される輝度に対応する前記ルマコードであり、Lは、所定の基準ディスプレイのピーク輝度であり、γは、好ましくは2.4に等しい定数である、前記グレーディング管理ユニットと、
    映像メモリ又はネットワークに接続可能な映像送信接続部に接続された符号化部であって、前記ルマコードである1つの色成分で符号化されたピクセルカラーを具備するピクセルマトリクスイメージを有するイメージ信号S_imを符号化及び送信するとともに、前記ρ及びγパラメータのうちの少なくとも1つを有するメタデータと関連付けられている、前記符号化部と、
    を有する、イメージ符号化装置。
  13. 人間のグレーダが、ρ及び/又はγの特定の値を選択できるようにするユーザインタフェースユニットを有する、請求項10記載のイメージ符号化装置。
  14. 前記ハイダイナミックレンジイメージの少なくとも1つに存在する物体の前記輝度の静的分析に基づいて、ρ及び/又はγの特定の値を決定する自動イメージ分析ユニットを有する、請求項10記載のイメージ符号化装置。
  15. 前記グレーディング管理ユニットが、
    Figure 2016533071
    及び
    Figure 2016533071
    (a〜lは、好ましくは、a=4,b=c=0,d=1,e=15,f=3,h=9,g=i=0,j=1,k=15,l=3の定数)として、前記ハイダイナミックレンジイメージの前記ピクセルの色成分を決定する、請求項12乃至14のいずれか1項に記載のイメージ符号化装置。
  16. ハイダイナミックレンジイメージ符号化を復号化するためのイメージ復号化装置であって、
    前記ハイダイナミックレンジイメージ符号化を受信するとともに、請求項1記載の符号化方法から生じる、ルマコードを有する前記ハイダイナミックレンジイメージ符号化からイメージ符号化を抽出する受信及びフォーマットユニットと、
    前記イメージ符号化からハイダイナミックレンジイメージを抽出するための色マッピング戦略を適用する色マッピングユニットであって、
    Figure 2016533071
    として定義される第1の部分関数と、
    Figure 2016533071
    として定義される第2の部分関数と、を有する(ここで、ρは、同調定数であり、vは、符号化される輝度に対応する前記ルマコードであり、Lは、所定の基準ディスプレイのピーク輝度であり、γは、前記ハイダイナミックレンジイメージのピクセルの輝度Lを得るために、好ましくは2.4に等しい定数である)ものとして定義された所定のマッピング関数を、前記イメージ符号化におけるピクセルルマvを適用する前記色マッピングユニットと、
    を有する、イメージ復号化装置。
  17. 前記受信及びフォーマットユニットが、前記ハイダイナミックレンジイメージ符号化からパラメータρ,γ又はLのうちの少なくとも1つを抽出する、請求項16記載のハイダイナミックレンジイメージ符号化を復号化するためのイメージ復号化装置。
  18. 前記色マッピングユニットが、前記ピクセルカラーのための色座標(u,v)を受信し、前記輝度の情報、並びに、CIE XYZ色表現などのユニバーサル色表現又はRGBなどの色表現に依存した装置に対する前記イメージIm_1の前記ピクセルカラーの前記u及びv成分で、マップに変換を適用する、請求項16又は17に記載のハイダイナミックレンジイメージ符号化を復号化するためのイメージ復号化装置。
  19. 前記色マッピングユニットが、前記ハイダイナミックレンジイメージによって定義されるダイナミックレンジとは異なるダイナミックレンジを具備するイメージに対する色マッピングを特定するメタデータとして符号化された他の色マッピングパラメータを用いる第2の色マッピング戦略を適用する、請求項16乃至18のいずれか1項に記載のハイダイナミックレンジイメージ符号化を復号化するためのイメージ復号化装置。
  20. 請求項16乃至19のいずれか1項に記載の復号化装置としてのイメージ復号化装置をを有する、ディスプレイ。
  21. イメージ復号化方法であって、
    ハイダイナミックレンジイメージ符号化を受信し、処理されるイメージ符号化を抽出するステップと、
    前記イメージ符号化からハイダイナミックレンジイメージを抽出するために、色マッピング戦略を適用することによって、色マッピングを行なうステップであって、前記色マッピングは、
    Figure 2016533071
    として定義される第1の部分関数と、
    Figure 2016533071
    として定義される第2の部分関数と、を有する(ここで、ρは、同調定数であり、vは、符号化される輝度に対応する前記ルマコードであり、Lは、所定の基準ディスプレイのピーク輝度であり、γは、前記ハイダイナミックレンジイメージのピクセルの輝度Lを得るために、好ましくは2.4に等しい定数である)ものとして定義された所定のマッピング関数を、前記イメージ符号化におけるピクセルルマvを適用する、イメージ復号化方法。
JP2016526496A 2013-07-18 2014-06-30 Hdrイメージの符号化のためのコードマッピング関数を作成するための方法及び装置、並びに、かかる符号化イメージの使用のための方法及び装置 Expired - Fee Related JP6368365B2 (ja)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US201361847608P 2013-07-18 2013-07-18
US61/847,608 2013-07-18
EP13185742 2013-09-24
EP13185742.7 2013-09-24
EP14156184 2014-02-21
EP14156184.5 2014-02-21
US201461986255P 2014-04-30 2014-04-30
US61/986,255 2014-04-30
US201461990138P 2014-05-08 2014-05-08
US61/990,138 2014-05-08
PCT/EP2014/063815 WO2015007505A1 (en) 2013-07-18 2014-06-30 Methods and apparatuses for creating code mapping functions for encoding an hdr image, and methods and apparatuses for use of such encoded images

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018128649A Division JP6596125B2 (ja) 2013-07-18 2018-07-06 Hdrイメージの符号化のためのコードマッピング関数を作成するための方法及び装置、並びに、かかる符号化イメージの使用のための方法及び装置

Publications (3)

Publication Number Publication Date
JP2016533071A true JP2016533071A (ja) 2016-10-20
JP2016533071A5 JP2016533071A5 (ja) 2017-08-03
JP6368365B2 JP6368365B2 (ja) 2018-08-01

Family

ID=52345764

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016526496A Expired - Fee Related JP6368365B2 (ja) 2013-07-18 2014-06-30 Hdrイメージの符号化のためのコードマッピング関数を作成するための方法及び装置、並びに、かかる符号化イメージの使用のための方法及び装置
JP2018128649A Active JP6596125B2 (ja) 2013-07-18 2018-07-06 Hdrイメージの符号化のためのコードマッピング関数を作成するための方法及び装置、並びに、かかる符号化イメージの使用のための方法及び装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2018128649A Active JP6596125B2 (ja) 2013-07-18 2018-07-06 Hdrイメージの符号化のためのコードマッピング関数を作成するための方法及び装置、並びに、かかる符号化イメージの使用のための方法及び装置

Country Status (7)

Country Link
US (1) US10194162B2 (ja)
EP (1) EP3022895B1 (ja)
JP (2) JP6368365B2 (ja)
CN (1) CN105393525B (ja)
PL (1) PL3022895T3 (ja)
RU (1) RU2670782C9 (ja)
WO (1) WO2015007505A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018528666A (ja) * 2015-08-28 2018-09-27 アリス エンタープライジズ エルエルシーArris Enterprises Llc 高ダイナミックレンジおよび広色域シーケンスのコーディングにおけるカラーボリューム変換
JP2020507220A (ja) * 2016-09-07 2020-03-05 ジーブイビービー ホールディングス エス.エイ.アール.エル. 高ダイナミックレンジ処理

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111246050B (zh) 2014-02-25 2022-10-28 苹果公司 用于视频数据处理的系统、装置和方法
EP3111629A1 (en) * 2014-02-25 2017-01-04 Thomson Licensing Method for generating a bitstream relative to image/video signal, bitstream carrying specific information data and method for obtaining such specific information
PL3324629T3 (pl) 2014-05-28 2019-11-29 Koninklijke Philips Nv Sposoby i urządzenia do kodowania obrazów hdr oraz sposoby i urządzenia do wykorzystania tak zakodowanych obrazów
EP3157243B1 (en) * 2014-06-10 2024-07-03 Panasonic Intellectual Property Management Co., Ltd. Conversion method and conversion device
CN110460745B (zh) * 2014-06-10 2022-03-08 松下知识产权经营株式会社 显示装置
EP3163894B1 (en) * 2014-06-27 2020-08-19 Panasonic Intellectual Property Management Co., Ltd. Data output device, data output method, and data generation method
EP2977958A1 (en) * 2014-07-22 2016-01-27 Thomson Licensing Method and apparatus for processing image data
EP3242487B1 (en) * 2014-12-29 2021-10-13 Sony Group Corporation Transmitting device, transmitting method, receiving device and receiving method
US9558538B2 (en) * 2015-01-09 2017-01-31 Vixs Systems, Inc. Dynamic range converter with frame by frame adaptation and methods for use therewith
US9544560B2 (en) * 2015-01-09 2017-01-10 Vixs Systems, Inc. Dynamic range converter with generic architecture and methods for use therewith
US9860504B2 (en) 2015-01-09 2018-01-02 Vixs Systems, Inc. Color gamut mapper for dynamic range conversion and methods for use therewith
US9589313B2 (en) * 2015-01-09 2017-03-07 Vixs Systems, Inc. Dynamic range converter with pipelined architecture and methods for use therewith
US9560330B2 (en) * 2015-01-09 2017-01-31 Vixs Systems, Inc. Dynamic range converter with reconfigurable architecture and methods for use therewith
EP3051823A1 (en) * 2015-01-27 2016-08-03 Thomson Licensing Methods, systems and aparatus for electro-optical and opto-electrical conversion of images and video
CN107431825A (zh) * 2015-01-27 2017-12-01 汤姆逊许可公司 用于图像和视频的电光和光电转换的方法、系统和装置
GB2534929A (en) * 2015-02-06 2016-08-10 British Broadcasting Corp Method and apparatus for conversion of HDR signals
JP6834939B2 (ja) 2015-02-17 2021-02-24 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CA2977204C (en) * 2015-03-05 2023-04-04 Sony Corporation Photoelectric conversion of video data having a predetermined photoelectric conversion characteristic
CN112929670A (zh) * 2015-03-10 2021-06-08 苹果公司 自适应色度下采样和色彩空间转换技术
EP3281408A1 (en) * 2015-04-10 2018-02-14 Telefonaktiebolaget LM Ericsson (publ) Improved compression in high dynamic range video
AU2016270443B2 (en) 2015-06-05 2019-01-03 Apple Inc. Rendering and displaying high dynamic range content
US10244245B2 (en) * 2015-06-08 2019-03-26 Qualcomm Incorporated Content-adaptive application of fixed transfer function to high dynamic range (HDR) and/or wide color gamut (WCG) video data
GB2539917B (en) 2015-06-30 2021-04-07 British Broadcasting Corp Method and apparatus for conversion of HDR signals
EP3119086A1 (en) * 2015-07-17 2017-01-18 Thomson Licensing Methods and devices for encoding/decoding videos
US10116938B2 (en) * 2015-07-22 2018-10-30 Arris Enterprises Llc System for coding high dynamic range and wide color gamut sequences
AU2015207818A1 (en) * 2015-07-28 2017-02-16 Canon Kabushiki Kaisha Method, apparatus and system for encoding video data for selected viewing conditions
EP3131284A1 (en) * 2015-08-13 2017-02-15 Thomson Licensing Methods, systems and aparatus for hdr to hdr inverse tone mapping
US10122928B2 (en) 2015-09-09 2018-11-06 Red.Com, Llc Motion video output for multiple displays
US10244249B2 (en) 2015-09-21 2019-03-26 Qualcomm Incorporated Fixed point implementation of range adjustment of components in video coding
US10129558B2 (en) * 2015-09-21 2018-11-13 Qualcomm Incorporated Supplement enhancement information (SEI) messages for high dynamic range and wide color gamut video coding
US10200690B2 (en) * 2015-09-22 2019-02-05 Qualcomm Incorporated Video decoder conformance for high dynamic range (HDR) video coding using a core video standard
CN108028036B (zh) * 2015-09-25 2021-01-29 索尼公司 图像处理设备和图像处理方法
JP6990179B2 (ja) * 2015-10-28 2022-01-12 インターデジタル ヴイシー ホールディングス, インコーポレイテッド 共通の情報データセットによって駆動される候補プロセスセットから、ビデオデータに適用されるプロセスを選択するための方法及び装置
JP6624889B2 (ja) * 2015-10-30 2019-12-25 キヤノン株式会社 映像処理装置、映像処理方法、及び映像処理プログラム
EP3364654B1 (en) * 2015-12-15 2021-03-03 Huawei Technologies Co., Ltd. High dynamic range image processing method and apparatus
EP3182691B1 (en) * 2015-12-17 2018-10-31 Thomson Licensing Method of encoding raw color coordinates provided by a camera representing colors of a scene having two different illuminations
PT3394850T (pt) * 2015-12-21 2020-08-14 Koninklijke Philips Nv Otimização de imagens de alta gama dinâmica para monitores específicos
AU2015275320A1 (en) * 2015-12-23 2017-07-13 Canon Kabushiki Kaisha Method, apparatus and system for determining a luma value
US9754363B2 (en) * 2016-01-21 2017-09-05 Astral Images Corporation Method and system for processing image content for enabling high dynamic range (UHD) output thereof and computer-readable medium comprising UHD content created using same
US9741103B2 (en) * 2016-01-21 2017-08-22 Astral Images Corporation Method and system for processing image content for enabling high dynamic range (UHD) output thereof and computer-readable program product comprising UHD content created using same
US10728560B2 (en) 2016-01-28 2020-07-28 Koninklijke Philips N.V. Encoding and decoding HDR videos
US10536665B2 (en) * 2016-02-01 2020-01-14 Lg Electronics Inc. Device for transmitting broadcast signal, device for receiving broadcast signal, method for transmitting broadcast signal, and method for receiving broadcast signal
EP3214600B1 (en) * 2016-03-04 2019-02-06 Aptiv Technologies Limited Method for processing high dynamic range (hdr) data from a nonlinear camera
CN108781246B (zh) * 2016-03-14 2021-05-28 皇家飞利浦有限公司 用于动态范围映射的饱和度处理指定
BR112018068603A2 (pt) * 2016-03-18 2019-02-05 Koninklijke Philips Nv decodificador e codificador de vídeo e método de decodificação e de codificação vídeo
AU2017235369B2 (en) 2016-03-18 2022-02-03 Koninklijke Philips N.V. Encoding and decoding HDR videos
US10699391B2 (en) 2016-04-29 2020-06-30 Disney Enterprises, Inc. Dynamic range expansion highlight information restoration
EP3242482A1 (en) * 2016-05-04 2017-11-08 Thomson Licensing Method and apparatus for encoding/decoding a high dynamic range picture into a coded bitstream
WO2017190985A1 (en) * 2016-05-04 2017-11-09 Thomson Licensing Method and apparatus for encoding/decoding a high dynamic range picture into a coded bistream
CN107395950B (zh) 2016-05-16 2021-11-09 西安电子科技大学 媒体数据处理方法和装置及系统
KR102488954B1 (ko) 2016-05-16 2023-01-16 엘지전자 주식회사 영상 처리 장치 및 그의 영상 처리 방법
WO2018003667A1 (ja) * 2016-06-28 2018-01-04 シャープ株式会社 送信装置、受信装置、および表示装置
US11356633B2 (en) * 2016-09-20 2022-06-07 Sony Corporation Video signal processing apparatus, video signal processing method, and video signal processing system
US10244244B2 (en) * 2016-10-26 2019-03-26 Dolby Laboratories Licensing Corporation Screen-adaptive decoding of high dynamic range video
KR102554379B1 (ko) * 2016-10-31 2023-07-11 엘지디스플레이 주식회사 하이 다이나믹 레인지 영상 처리 방법 및 영상 처리 모듈과 그를 이용한 표시 장치
EP3559901B1 (en) * 2017-02-15 2020-08-05 Dolby Laboratories Licensing Corporation Tone curve mapping for high dynamic range images
EP3367658A1 (en) 2017-02-24 2018-08-29 Thomson Licensing Method and device for reconstructing an hdr image
CN107343203B (zh) * 2017-05-22 2020-01-17 上海大学 基于open-exr图像的jpeg无损压缩方法
CN107277399B (zh) * 2017-06-09 2020-10-20 深圳Tcl新技术有限公司 电视终端及hdr图像转为sdr的方法和计算机可读存储介质
CN107590780B (zh) * 2017-08-09 2023-01-20 深圳Tcl新技术有限公司 图像显示方法、终端及计算机可读存储介质
EP3451677A1 (en) * 2017-09-05 2019-03-06 Koninklijke Philips N.V. Graphics-safe hdr image luminance re-grading
US10609372B2 (en) * 2017-09-29 2020-03-31 Dolby Laboratories Licensing Corporation Up-conversion to content adaptive perceptual quantization video signals
KR102537993B1 (ko) * 2017-10-31 2023-06-01 삼성디스플레이 주식회사 표시 장치의 블랙 데이터 설정 방법 및 이를 채용한 표시 장치
US10972767B2 (en) * 2017-11-01 2021-04-06 Realtek Semiconductor Corp. Device and method of handling multiple formats of a video sequence
EP3496028A1 (en) 2017-12-08 2019-06-12 Koninklijke Philips N.V. Improved high dynamic range video color remapping
EP3525463A1 (en) * 2018-02-13 2019-08-14 Koninklijke Philips N.V. System for handling multiple hdr video formats
US11153579B2 (en) * 2018-03-23 2021-10-19 Qualcomm Incorporated Deriving dynamic range adjustment (DRA) parameters for video coding
US10917583B2 (en) * 2018-04-27 2021-02-09 Apple Inc. Standard and high dynamic range display systems and methods for high dynamic range displays
EP3588964A1 (en) * 2018-06-26 2020-01-01 InterDigital VC Holdings, Inc. Metadata translation in hdr distribution
WO2020018331A1 (en) 2018-07-20 2020-01-23 Interdigital Vc Holdings, Inc. Method and apparatus for processing a medium dynamic range video signal in sl-hdr2 format
US20200045341A1 (en) * 2018-07-31 2020-02-06 Ati Technologies Ulc Effective electro-optical transfer function encoding for limited luminance range displays
CN112640471B (zh) * 2018-09-05 2024-04-05 皇家飞利浦有限公司 一种高动态范围视频编码器、解码器、编码方法及解码方法
CN112714923B (zh) * 2018-09-19 2022-03-11 杜比实验室特许公司 用于图像元数据优化的方法
KR102575261B1 (ko) * 2019-05-16 2023-09-06 주식회사 엘엑스세미콘 주위조도에 따라 영상의 밝기를 조절하는 디스플레이 구동장치 및 구동방법
CN111970564B (zh) * 2020-08-26 2023-03-24 展讯通信(上海)有限公司 Hdr视频显示处理的优化方法及装置、存储介质、终端
EP4086844A1 (en) 2021-05-07 2022-11-09 Koninklijke Philips N.V. Display-optimized hdr video contrast adaptation
EP4086842A1 (en) 2021-05-07 2022-11-09 Koninklijke Philips N.V. Content-optimized ambient light hdr video adaptation
EP4086841A1 (en) 2021-05-07 2022-11-09 Koninklijke Philips N.V. Display-optimized ambient light hdr video adaptation
EP4086843A1 (en) 2021-05-07 2022-11-09 Koninklijke Philips N.V. Display-optimized hdr video contrast adaptation
CN113676773B (zh) * 2021-08-16 2023-11-14 广州虎牙信息科技有限公司 一种视频播放方法、系统、装置、计算机设备和存储介质
CN117523153B (zh) * 2024-01-08 2024-03-26 中国核动力研究设计院 一种堆芯数据的三维可视化方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012520050A (ja) * 2009-03-10 2012-08-30 ドルビー ラボラトリーズ ライセンシング コーポレイション 拡張ダイナミックレンジおよび拡張次元をもつ画像信号変換
WO2012147010A1 (en) * 2011-04-28 2012-11-01 Koninklijke Philips Electronics N.V. Method and apparatus for generating an image coding signal
WO2013046095A1 (en) * 2011-09-27 2013-04-04 Koninklijke Philips Electronics N.V. Apparatus and method for dynamic range transforming of images

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6335983B1 (en) 1998-09-28 2002-01-01 Eastman Kodak Company Representing an extended color gamut digital image in a limited color gamut color space
US6943831B2 (en) * 2001-01-24 2005-09-13 Eastman Kodak Company Method and apparatus to extend the effective dynamic range of an image sensing device and use residual images
US7308135B2 (en) 2004-01-14 2007-12-11 Eastman Kodak Company Constructing extended color gamut digital images from limited color gamut digital images
AU2005236799B2 (en) 2004-03-31 2008-12-18 Exxonmobil Upstream Research Company Method for constructing a geologic model of a subsurface reservoir
US8218625B2 (en) * 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
US20070076971A1 (en) * 2005-09-30 2007-04-05 Nokia Corporation Compression of images for computer graphics
JP5249784B2 (ja) * 2006-01-23 2013-07-31 マックス−プランク−ゲゼルシャフト・ツア・フェルデルング・デア・ヴィッセンシャフテン・エー・ファオ 高ダイナミックレンジコーデック
US8135230B2 (en) * 2007-07-30 2012-03-13 Dolby Laboratories Licensing Corporation Enhancing dynamic ranges of images
GB0816768D0 (en) 2008-09-12 2008-10-22 Pandora Int Ltd Colour editing
US8290295B2 (en) * 2009-03-03 2012-10-16 Microsoft Corporation Multi-modal tone-mapping of images
WO2012127401A1 (en) 2011-03-24 2012-09-27 Koninklijke Philips Electronics N.V. Apparatuses and methods for analyzing image gradings
RU2616158C2 (ru) * 2011-04-28 2017-04-12 Конинклейке Филипс Н.В. Устройства и способы для кодирования и декодирования hdr-изображений
CN104471939B (zh) * 2012-07-13 2018-04-24 皇家飞利浦有限公司 改进的hdr图像编码和解码方法和设备
PL2836983T3 (pl) 2012-10-08 2018-01-31 Koninklijke Philips Nv Przetwarzanie obrazu zmieniające luminancję z ograniczeniami barwy
US10218917B2 (en) 2013-07-16 2019-02-26 Koninklijke Philips N.V. Method and apparatus to create an EOTF function for a universal code mapping for an HDR image, method and process to use these images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012520050A (ja) * 2009-03-10 2012-08-30 ドルビー ラボラトリーズ ライセンシング コーポレイション 拡張ダイナミックレンジおよび拡張次元をもつ画像信号変換
WO2012147010A1 (en) * 2011-04-28 2012-11-01 Koninklijke Philips Electronics N.V. Method and apparatus for generating an image coding signal
WO2013046095A1 (en) * 2011-09-27 2013-04-04 Koninklijke Philips Electronics N.V. Apparatus and method for dynamic range transforming of images

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BILL MANDEL, CHAD FOGG AND JIM HELMAN: "High Dynamic Range video coding results", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-O0101r3, JPN6018017159, November 2013 (2013-11-01), pages 1 - 6, ISSN: 0003793947 *
SEBASTIEN LASSERRE ET AL.: "High Dynamic Range video coding", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-P0159r1, JPN6018017160, January 2014 (2014-01-01), pages 1 - 9, ISSN: 0003793948 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018528666A (ja) * 2015-08-28 2018-09-27 アリス エンタープライジズ エルエルシーArris Enterprises Llc 高ダイナミックレンジおよび広色域シーケンスのコーディングにおけるカラーボリューム変換
JP2020507220A (ja) * 2016-09-07 2020-03-05 ジーブイビービー ホールディングス エス.エイ.アール.エル. 高ダイナミックレンジ処理

Also Published As

Publication number Publication date
RU2670782C9 (ru) 2018-11-23
JP6596125B2 (ja) 2019-10-23
RU2016105156A3 (ja) 2018-05-18
RU2670782C2 (ru) 2018-10-25
US10194162B2 (en) 2019-01-29
WO2015007505A1 (en) 2015-01-22
US20160165256A1 (en) 2016-06-09
PL3022895T3 (pl) 2019-09-30
RU2016105156A (ru) 2017-08-23
CN105393525A (zh) 2016-03-09
EP3022895A1 (en) 2016-05-25
CN105393525B (zh) 2019-04-12
JP2018186545A (ja) 2018-11-22
EP3022895B1 (en) 2019-03-13
JP6368365B2 (ja) 2018-08-01

Similar Documents

Publication Publication Date Title
JP6596125B2 (ja) Hdrイメージの符号化のためのコードマッピング関数を作成するための方法及び装置、並びに、かかる符号化イメージの使用のための方法及び装置
JP7343629B2 (ja) Hdr画像をエンコードする方法及び装置
JP6700322B2 (ja) 改善されたhdrイメージ符号化及び復号化方法、装置
JP6615251B2 (ja) Hdr画像をエンコードするための方法及び装置、並びに、斯様なエンコードされた画像の使用のための方法及び装置
US10902567B2 (en) Handling multiple HDR image sources
JP6495552B2 (ja) 画像及びビデオのためのダイナミックレンジ符号化
RU2589871C2 (ru) Устройства и способы кодирования и декодирования изображения hdr
JP2019512954A (ja) Hdrビデオの符号化及び復号
JP2019506817A (ja) 複数のhdr画像ソースの処理
EP3764346A1 (en) Adjustment of display optimization behaviour for hdr images
KR102279842B1 (ko) Hdr 이미지 인코딩 방법 및 장치
JP2024517241A (ja) ディスプレイに最適化されたhdrビデオコントラスト適応
ES2728053T3 (es) Métodos y aparatos para crear funciones de mapeo de códigos para codificar una imagen HDR, y métodos y aparatos para el uso de tales imágenes codificadas
JP2024517242A (ja) ディスプレイに最適化された環境光hdrビデオ適応
JP2024519606A (ja) ディスプレイに最適化されたhdrビデオコントラスト適応
CN117321626A (zh) 内容优化的环境光hdr视频自适应

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170621

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170621

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180507

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180515

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180530

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180628

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180706

R150 Certificate of patent or registration of utility model

Ref document number: 6368365

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees