JP2019518359A - 画像の色を拡張する低コストの色拡張モジュール - Google Patents

画像の色を拡張する低コストの色拡張モジュール Download PDF

Info

Publication number
JP2019518359A
JP2019518359A JP2018553210A JP2018553210A JP2019518359A JP 2019518359 A JP2019518359 A JP 2019518359A JP 2018553210 A JP2018553210 A JP 2018553210A JP 2018553210 A JP2018553210 A JP 2018553210A JP 2019518359 A JP2019518359 A JP 2019518359A
Authority
JP
Japan
Prior art keywords
luminance component
low
function
color
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018553210A
Other languages
English (en)
Other versions
JP2019518359A5 (ja
JP6849696B2 (ja
Inventor
コレティス,マリー−ジャン
コーヴァン,ローラン
ポーリ,タニア
Original Assignee
インターデジタル ヴイシー ホールディングス, インコーポレイテッド
インターデジタル ヴイシー ホールディングス, インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=57868255&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2019518359(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by インターデジタル ヴイシー ホールディングス, インコーポレイテッド, インターデジタル ヴイシー ホールディングス, インコーポレイテッド filed Critical インターデジタル ヴイシー ホールディングス, インコーポレイテッド
Publication of JP2019518359A publication Critical patent/JP2019518359A/ja
Publication of JP2019518359A5 publication Critical patent/JP2019518359A5/ja
Application granted granted Critical
Publication of JP6849696B2 publication Critical patent/JP6849696B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T5/92
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration by the use of local operators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/06Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed using colour palettes, e.g. look-up tables
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20028Bilateral filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0666Adjustment of display parameters for control of colour parameters, e.g. colour temperature

Abstract

モジュール(700)は、画像の輝度成分にロー・パス・フィルタをかけるロー・パス・フィルタと、ロー・パス・フィルタをかけられた輝度値のみの第1展開関数の予め計算された値を記憶する第1ルック・アップ・テーブル(710)と、輝度値のみの第2展開関数の予め計算された値を記憶する第2ルック・アップ・テーブル(720)と、拡張する色の入力された輝度値に対応する第2ルック・アップ・テーブルの出力に、入力された輝度値に関連する入力されたロー・パス・フィルタをかけられた輝度値に対応する第1ルック・アップ・テーブルの出力を乗じるよう構成されたプロセッサ(740,760)とを有する。

Description

本原理は、特に高いピーク輝度を有している表示デバイスのために低ダイナミックレンジコンテンツを準備するための高ダイナミックレンジイメージング及び低ダイナミックレンジコンテンツのダイナミックレンジの拡張の分野に概して関係がある。
表示テクノロジにおける近年の進歩は、表示されるクロミナンス、輝度及びコントラストの拡張範囲を可能にし始めている。画像コンテンツにおける輝度又は明るさの範囲の拡張を可能にするテクノロジは、しばしばHDRと略される高ダイナミックレンジイメージング(high dynamic range imaging)として知られている。HDRテクノロジは、より広いダイナミックレンジのコンテンツを捕捉し、処理し、及び表示することに焦点を当てる。
多数のHDR表示デバイスが出現しており、増大したダイナミックレンジを有して画像を捕捉することが可能なカメラが開発されているが、利用可能なHDRコンテンツは依然として極めて限られている。近年の開発は、近い将来におけるHDRコンテンツの生来の捕捉を約束する一方で、それらは、既存のコンテンツに対処しない。
従来の(本願では低ダイナミックレンジ(low dynamic range)についてLDRと呼ばれる。)コンテンツをHDR表示デバイスのために準備するよう、反転若しくは逆トーンマッピング演算子(inverse tone mapping operator)(ITMO)又は色拡張演算子が用いられ得る。そのような方法は、元のシーンの見掛けを回復又は再現することを目的として、特に、画像コンテンツにおける着色領域の輝度情報を処理する。通常、ITMOは、従来の(LDR)画像を入力としてとり、その画像の着色領域の輝度範囲を大域的な方法で拡張し、その後にハイライト又は明領域を局所的に処理して画像内の色のHDR外観を強める。
いくつかのITMO解決法が存在するが、それらは、元のシーンの見掛けを知覚的に再生することに焦点を合わせており、コンテンツに関する厳しい条件に依存する。加えて、文献において提案されているほとんどの拡張方法は、ダイナミックレンジの極端な増大に向けて最適化されている。
通常、HDRイメージングは、量子化ステップの数の増加と組み合わされて、着色領域における輝度の暗値及び明値の間のダイナミックレンジの拡張によって定義される。ダイナミックレンジのより極端な増大を達成するよう、多くの方法は、画像のハイライト及び他の明領域の出現を強める局所処理ステップと大域的な拡張とを組み合わせる。文献において提案されている既知の大域的な拡張ステップは、逆シグモイドから線形又は区分線形まで様々である。
画像において明るい局所特徴を強めるよう、画像の各ピクセルがこのピクセルの輝度に適用すべき拡張値と関連付けられている輝度拡張マップを生成することが知られている。最も簡単な場合では、画像内のクリッピングされた領域が検出され、次いで、より急な拡張曲線を用いて拡張され得るが、そのような解決法は、画像の見掛けに対する十分な制御を提供しない。
先行技術のそれら及び他の決定及び不利点は、低ダイナミックレンジコンテンツのダイナミックレンジを拡張して、そのようなコンテンツを、特に高いピーク輝度を有している表示デバイスのために準備する方法及び装置を対象とする様々な記載されている実施形態によって対処される。
本発明の対象は、画像の色を拡張する色拡張モジュールであって、前記色は、輝度成分をクロミナンス成分から分離する色空間において表される、前記色拡張モジュールにおいて、
前記輝度成分にロー・パス・フィルタをかけるロー・パス・フィルタと、
ロー・パス・フィルタをかけられた輝度値のみの第1展開関数の予め計算された値を記憶する第1ルック・アップ・テーブルと、
輝度値のみの第2展開関数の予め計算された値を記憶する第2ルック・アップ・テーブルと、
拡張する色の入力された輝度値に対応する前記第2ルック・アップ・テーブルの出力に、前記入力された輝度値に関連する入力されたロー・パス・フィルタをかけられた輝度値に対応する前記第1ルック・アップ・テーブルの出力を乗じるよう構成されたプロセッサと
を有する色拡張モジュールである。
そのような色拡張モジュールは、それが小さいサイズの2つのルック・アップ・テーブルしか使用しないので、特に有利且つ安価である。
望ましくは、このモジュールは、テレビ受像機、モバイルデバイス、通信デバイス、ゲーム機、タブレット、スマートフォン、ラップトップ、カメラ、符号化チップ、サーバのような電子デバイスに組み込まれる。
1つの一般的な態様に従って、低ダイナミックレンジコンテンツのダイナミックレンジを拡張して、そのようなコンテンツを、特に高いピーク輝度を有している表示デバイスのために準備する方法も提供される。画像の色を拡張する色拡張方法は、前記色が輝度成分をクロミナンス成分から分離する色空間において表される前記色拡張方法であって、この輝度成分にロー・パス・フィルタをかけることと、指数マップを用いて指数関数的に前記ロー・パス・フィルタをかけられた輝度成分をスケーリングすることによって前記輝度成分の値範囲を拡張することとを有する。輝度の拡張された値は、次いで、新しいHDRバージョンにおいて画像の拡張された色を表すよう、求められる。そのような拡張された色は、特に、より高いピーク輝度を有している表示デバイス上で画像を再現するために使用されてよい。
望ましくは、方法は、
前記輝度成分にハイ・パス・フィルタをかけることと、
詳細マップを用いて指数関数的に前記ハイ・パス・フィルタをかけられた輝度成分をスケーリングすることと、
スケーリングされたハイ・パス・フィルタをかけられた輝度成分によって、前記スケーリングされたロー・パス・フィルタをかけられた輝度成分を重み付けすることと
を更に有する。
輝度の拡張された値は、次いで、輝度成分のロー・パス・フィルタリングに由来する詳細の喪失を補償するよう詳細が増強されている新しいHDRバージョンにおいて画像の拡張された色を表すよう、求められる。
望ましくは、前記ハイ・パス・フィルタをかけることは、前記輝度成分を前記ロー・パス・フィルタをかけられた輝度成分で除することによって得られる。
望ましくは、前記指数マップは、前記ロー・パス・フィルタをかけられた輝度成分の展開関数に従って計算され、前記重み付けされたロー・パス・フィルタをかけられた輝度成分は、
前記展開関数を用いて、且つ、更に、前記ロー・パス・フィルタをかけられた輝度成分のみの第1詳細関数を用いて指数関数的にスケーリングされた前記ロー・パス・フィルタをかけられた輝度成分の、及び
前記輝度成分のみの第2詳細関数を用いて指数関数的にスケーリングされた前記輝度成分の
積である。
この重み付けされたスケーリングされたロー・パス・フィルタをかけられた輝度成分のそのような定義は、以下の主たる実施形態における式(15)に対応する。
有利なことに、この積の第1の項は、ロー・パス・フィルタをかけられた輝度にしか関係がなく、輝度とは直接的には無関係であり、この積の第2の項は、次いで、輝度に関係があり、ロー・パス・フィルタをかけられた輝度とは直接的には無関係である。そのような利点は、2つの別個の1次元LUTしか用いずに、重み付けされたスケーリングされたロー・パス・フィルタをかけられた輝度成分(すなわち、拡張された輝度)を計算することを可能にする。
望ましくは、方法は、
クロミナンス拡張係数によって前記画像の少なくとも1つのクロミナンス成分の値範囲を拡張すること
を更に有する。
第1変形例において、前記クロミナンス拡張係数は、前記輝度成分によって正規化された前記拡張された輝度成分に対応する。以下の主たる実施形態における式(6)及び(7)を参照されたい。
第2変形例において、前記クロミナンス拡張係数は、前記輝度成分によって正規化された前記拡張された輝度成分によってスケーリングされた前記指数マップの関数である。以下の主たる実施形態における式(8)及び(9)を参照されたい。
第3の好適な変形例において、前記クロミナンス拡張係数は、前記指数マップの又は前記ロー・パス・フィルタをかけられた輝度成分の関数であり、該関数は、前記ロー・パス・フィルタをかけられた輝度成分によって正規化された前記拡張された輝度成分によってスケーリングされる。以下の主たる実施形態における式(10)及び(11)を参照されたい。
本発明の対象はまた、コンピューティング・デバイスで実行される場合に、上記の色拡張方法のステップを実行するプログラムコードの命令を担持する非一時的な記憶媒体である。
本発明の対象はまた、画像の色を拡張する色拡張方法であって、色が輝度成分をクロミナンス成分から分離する色空間において表される、前記色拡張方法において、
この輝度成分にロー・パス・フィルタをかけることと、
前記ロー・パス・フィルタをかけられた輝度成分のみの第1関数f(Ylow)と、前記輝度のみの第2関数g(Y)との積を計算することによって、前記輝度成分の拡張された値を得ることと
を有する色拡張方法である。
他の一般的な態様に従って、低ダイナミックレンジコンテンツのダイナミックレンジを拡張して、そのようなコンテンツを、特に高いピーク輝度を有している表示デバイスのために準備する装置が提供される。装置は、画像内の少なくとも1つの成分に対して作用するロー・パス・フィルタと、前記ロー・パス・フィルタリングの前に前記少なくとも1つの画像成分よりも高いピーク輝度値を有しており、それによって、より低いピーク輝度を有している前記画像内の前記少なくとも1つの成分の値範囲を拡張する表示デバイスとを有する。
他の一般的な態様に従って、より高いピーク輝度を有している表示デバイス上で画像を再現するために、該画像内の少なくとも1つの成分の値範囲を拡張する第2の方法が提供される。方法は、指数マップを用いて指数関数的に、ロー・パス・フィルタをかけられた輝度成分をスケーリングすることと、該スケーリングされたロー・パス・フィルタをかけられた輝度成分を、輝度成分の関数によって指数関数的にスケーリングされた画像の前記輝度成分によって重み付けすることととを有する。
他の一般的な態様に従って、より高いピーク輝度を有している表示デバイス上で画像を再現するために、該画像内の少なくとも1つの成分の値範囲を拡張する第3の方法が提供される。方法は、第1の方法の特徴を含み、更には、単一のピクセル毎に計算された指数マップを生成することと、拡張マップを計算することとを有し、該拡張マップは、前記輝度成分及び前記ロー・パス・フィルタをかけられた輝度成分の関数である。前述の拡張は、前記ロー・パス・フィルタをかけられた輝度成分に対して指数関数的に前記指数マップを適用することと、前記少なくとも1つの成分の拡張された値を前記拡張マップによりスケーリングすることとを有する。
他の一般的な態様に従って、より高いピーク輝度を有している表示デバイス上で画像を再現するために、該画像内の少なくとも1つの成分の値範囲を拡張する第2の装置が提供される。装置は、指数マップを用いて指数関数的にスケーリングされたロー・パス・フィルタをかけられた輝度成分の値を記憶する第1ルック・アップ・テーブルを有する。装置は、スケーリング・パラメータによって指数関数的にスケーリングされた輝度成分の値を記憶する第2ルック・アップ・テーブルを更に有する。装置は、前記第1ルック・アップ・テーブル及び前記第2ルック・アップ・テーブルの出力を結合する第1乗算器と、前記ロー・パス・フィルタをかけられた輝度成分に適用される指数マップを記憶する第3ルック・アップ・テーブルと、クロミナンス成分を前記第3ルック・アップ・テーブルの出力と結合する第2乗算器とを更に有する。装置は、拡張された輝度成分を生成するよう前記輝度成分を前記第1乗算器の出力と結合する第3乗算器を更に有する。装置は、前記クロミナンス成分の夫々に作用し、拡張されたクロミナンス成分を生成するよう前記第1乗算器の出力を前記第2乗算器の出力と結合する第4及び第5乗算器を更に有する。
他の一般的な態様に従って、より高いピーク輝度を有している表示デバイス上で画像を再現するために、該画像内の少なくとも1つの成分の値範囲を拡張する第3の装置が提供される。装置は、単一のピクセル毎に計算された指数マップを生成するよう構成された第1プロセッサを有する。装置は、前記輝度成分及び前記ロー・パス・フィルタをかけられた輝度成分の関数である拡張マップを計算するよう構成された第2プロセッサを更に有し、且つ、前記指数マップを用いて指数関数的に前記ロー・パス・フィルタをかけられた輝度成分を拡張し、結果を前記拡張マップによりスケーリングするよう構成された第3プロセッサを更に有する。
1つ以上の実施の詳細は、添付の図面及び以下の記載において説明される。たとえ1つの特定の様態で記載されているとしても、当然ながら、実施は様々な様態で構成又は具現化され得る。例えば、実施は、方法として実行されるか、あるいは、例えば、動作の組を実行するよう構成された装置又は動作の組を実行する命令を記憶する装置のような装置として具現化されるか、あるいは、信号において具現化され得る。他の態様及び特徴は、添付の図面及び特許請求の範囲と併せて検討される以下の詳細な説明から明らかになるだろう。
本原理は、以下の例となる図に従って、より良く理解され得る。
本原理の実施の一実施形態を示す。 輝度成分及び2つのクロミナンス成分の処理の実施の一実施形態を示す。 輝度成分及び2つのクロミナンス成分の処理の実施の他の実施形態を示す。 図2の実施形態の修正版である。 図2の実施形態の修正版である。 本原理の下での方法の実施形態を示す。 本原理の下での方法の第2実施形態を示す。 拡張された画像の表示を含め、本原理の下での色拡張装置を含むシステムの実施形態を示す。 LUT及び乗算器に焦点を当てて、本原理の下での色拡張装置の実施形態を示す。
述べられているように、画像において明るい局所特徴を強めるよう、画像の各ピクセルがこのピクセルの輝度に適用すべき拡張値と関連付けられている輝度拡張マップを生成することが知られている。最も簡単な場合では、画像内のクリッピングされた領域が検出され、次いで、より急な拡張曲線を用いて拡張され得るが、そのような解決法は、画像の見掛けに対する十分な制御を提供しない。
より制御可能な輝度拡張解決法は、国際公開第2015/096955号において与えられており、この特許文献は、画像輝度への指数の適用に基づく画像の輝度拡張を開示し、指数は、画像輝度のロー・パス・フィルタをかけられたバージョンから取得される。しかし、本件では、輝度の指数関数的な展開関数は、画像輝度そのものではなく、画像輝度のロー・パス・フィルタをかけられたバージョンに適用される。輝度に適用される指数は、画像輝度のロー・パス・フィルタをかけられたバージョンに依存するということで、拡張は、その場合に、2つの変数、すなわち、輝度自体Y及び輝度のロー・パス・フィルタをかけられたバージョンYlowではなく、ただ1つの変数(すなわち、Yexp=f(Ylow)であるように、画像輝度のロー・パス・フィルタをかけられたバージョン)の関数である。特に、この相違点のために、本発明は、有利なことに、小さいサイズのルック・アップ・テーブルを用いて実装され得、これは、それをハードウェア適用により適したものとする。
記載される実施形態は、低ダイナミックレンジコンテンツのダイナミックレンジを拡張し、特に、高ピーク輝度を有している表示デバイスのためにそのようなコンテンツを準備する方法及び装置を対象とする。
本拡張方法の目的は、画像Iの色について拡張された輝度Yexpを得るために、それらの色の輝度チャネルYを拡張することである。
拡張する(そして、重み付けする(以下参照。))輝度チャネルYは、画像の色を表すデータを、例えば、YUV色空間のような、クロミナンスを輝度から分離する色空間に変換することによって、それ自体知られている方法で取得され得る。
拡張された輝度Yexpを得るよう、輝度Yのロー・パス・フィルタをかけられたバージョンが最初に計算され、これはYlowと表される。ピクセル毎の指数マップEは、輝度Yのこのロー・パス・フィルタをかけられたバージョンの関数として計算され得る。その上、エンハンスメント・マップYenchanceは、輝度Yのハイ・パス・フィルタをかけられたバージョンの関数として求められ得る。このエンハンスメント・マップYenchanceは、中間の拡張された輝度に適用する重みとして使用される。輝度Yのそのようなハイ・パス・フィルタをかけられたバージョンは、望ましくは、この輝度Yとロー・パス・フィルタをかけられたバージョンYlowとを比較することによって、特に、この輝度Yをそのロー・パス・フィルタをかけられたバージョンYlowで除することによって、求められる。このエンハンスメント・マップYenchanceは、画像内のグレイン(grain)及び他の詳細を符号化し、そして、ロー・パス・フィルタリングによって失われた詳細を回復し、中間拡張後にそのような詳細の視認性を高めるために使用可能である。
最終的な拡張された輝度Yexpは、ピクセル毎の指数Eをロー・パス・フィルタをかけられたバージョンYlowに適用して中間の拡張された輝度を得て、最後に、Eが指数マップから取得されるとしてYexp=(Ylow×Yenchanceであるようにこの中間の拡張された輝度にYenchanceを乗じることによって、求められる。
拡張されたカラー画像Iexpの全ての色成分を再構成するよう、画像Iの色の色(chromatic)チャネル(例えば、U及びV)は、優先的に、YとYexpとの間の関係に従って、特に、比Yexp/Yに従って、スケーリングされ、然るべくUexp及びVexpを得る。
最終的な拡張された画像を得るよう、逆色空間変換が、輝度−クロミナンス表現Yexp、Uexp及びVexpから画像の元の色空間(例えば、RGB)に逆変換するよう適用される。
式(15)に関連して以下で説明されるように、特に、指数マップEがYlowの指数関数E(Ylow)として計算される場合に、及び、特に、詳細を強めるために使用される輝度Yのハイ・パス・フィルタをかけられたバージョンが輝度YをYlowで除することによって求められる場合に、拡張は、ハードウェア・アプリケーションにおける処理を簡単にするただ2つのLUTを通じて近似され得る。このことは、LUT1及びLUT2を参照しながら、以下で代替の実施形態として記載される。
これより、更なる詳細が、上記の輝度拡張方法に関して与えられる。
輝度Ylowのロー・パス・フィルタをかけられたバージョンを計算するよう、1つの実施形態において、2次元のガウス・フィルタが、Ylowと表される、輝度のロー・パス・フィルタをかけられたバージョンを計算するために使用される。ガウス・フィルタの標準偏差σは、例えば、2の値に設定可能であり、一方、カーネル・サイズは、小さい値、例えば、3×3、3×5、5×5、などに設定される。
他の実施形態において、輝度のロー・パス・フィルタをかけられたバージョンは、可分のガウス・フィルタを用いて計算されてよく、これによって、例えば、輝度Yの水平次元は、最初に1Dガウス・フィルタによりフィルタをかけられ、次いで、その出力は、他の1Dガウス・フィルタにより垂直次元においてフィルタをかけられる。あるいは、垂直フィルタリングが最初に行われ、その後に水平フィルタリングが続くように、順序が入れ替えられてよい。
指数マップEをYlowの指数関数として計算するよう、1つの具体的な、しかし制限されない実施形態において、次のプロセスが使用される。所与のピクセルpに対して、指数Eは、次の式によって与えられる:

E=a(Ylow+bYlow+c=E(Ylow) (1)

ここで、パラメータa、b及びcは、我々がLmaxによって表す、拡張された画像の最大の所望出力輝度値に応じて、計算される。例えば、Lmaxは、500nitsから2000nitsの間の値に設定可能である。
全てのピクセル拡張指数値E(Ylow)は、それらがロー・パス輝度値Ylowのピクセル毎マップと結合される場合に、ピクセル毎拡張指数マップE(p)から取得される。
エンハンスメント・マップYenchanceを計算するよう、次の式が使用される:

enchance=(Y/Ylow (2)

ここで、詳細パラメータdは、例えば、d=1.25に設定可能である。Yenchanceは、この場合に、画像輝度Y及びロー・パス・バージョンYlowの両方の関数である。比(Y/Ylow)は、輝度Yにハイ・パス・フィルタをかける1つの方法に対応し、ハイ・パス・フィルタリングは、輝度成分をロー・パス・フィルタをかけられた輝度成分で除することで取得される点に留意されたい。輝度Yにハイ・パス・フィルタをかける他の既知の方法が代わりに使用されてよい。
詳細パラメータdは、いわゆる詳細マップにピクセル・マッピング可能であり、従って、ハイ・パス・フィルタをかけられた輝度成分を指数関数的にスケーリングするために使用される点に留意されたい。
最後に、最終的な拡張された輝度Yexpは、次のように求められる:

exp=(YlowE(Ylow)×Yenchance (3)

上記の式中のYenchanceを式(2)の右側で置換することで、我々は、式(3)を:

exp=(YlowE(Ylow)×(Y/Ylow (4)

として再公式化することもできる。この式(4)で、スケーリングされたロー・パス・フィルタをかけられた輝度成分(YlowE(Ylow)は、指数関数的にスケーリングされたハイ・パス・フィルタをかけられた輝度成分(Y/Ylowによって重み付けされる。式(4)は、次のように記述され得る:

exp=(Ylow(E(Ylow)−d)×Y(d−1)×Y (5)

式(3)、(4)及び(5)は、数学的に等価である点に留意されたい。
図1は、本原理の実施の一実施形態を示す。
式(3−4−5)に従って最終的な拡張された輝度Yexpを取得した後、画像の色の色チャネルは、望ましくは、然るべく拡張される。色に対して使用される輝度−クロミナンス表現がYUV色空間であるところの1つの実施形態において、入力色チャネルは、U及びVによって与えられる。具体的な、非制限的な実施形態において、Uexp及びVexpで表されるそれらのスケーリングされた対応物は、次のように求められ得る:

exp=U(Yexp/Y) (6)
exp=V(Yexp/Y) (7)

式(6)及び(7)で、クロミナンス成分は、輝度成分によって正規化された拡張された輝度成分に対応するクロミナンス拡張係数を用いて拡張される。
画像の飽和を強めるために、色チャネルは、指数マップEに及び/又はYlowに応じてパラメータE′に従って更にスケーリングされ得る。この場合に、拡張された色チャネルUexp及びVexpは、式(6−7)を使用する代わりに、次のように計算される:

exp=U(Yexp/Y)E′(E)、又は
exp=U(Yexp/Y)E′(Ylow) (8)

exp=V(Vexp/Y)E′(E)、又は
exp=V(Yexp/Y)E′(Ylow) (9)

色チャネルUexp及びVexpは、最終的なHDR画像の色を形成するよう、最終的に、拡張された輝度チャネルYexpと再結合される。
図2(a)は、輝度成分及び2つのクロミナンス成分の上記の処理の実施の実施形態を示し、6つの乗算器が必要とされる。図2(b)は、単一の乗算器が(Yexp/Y)E′を形成するために使用され、次いで、(Yexp/Y)E′が2つの更なる乗算器により各色チャネルを乗じられるので、色チャネルにおける乗算器の順序を逆にすることが如何にして実際に1つの乗算器を確保することができるかを示す。
他の実施において、拡張された色チャネルUexp及びVexpは、式(8−9)を使用する代わりに、次のように計算される:

exp=U(Yexp/Ylow)E′(E)、又は
exp=U(Yexp/Ylow)E′(Ylow) (10)

exp=V(Vexp/Ylow)E′(E)、又は
exp=V(Yexp/Ylow)E′(Ylow) (11)
式(6)及び(7)において、クロミナンス成分は、輝度成分によって正規化された拡張された輝度成分によって正規化されたロー・パス・フィルタをかけられた輝度成分の又は指数マップの関数であるクロミナンス拡張係数を用いて拡張される。
図3(a)は、この実施に従うよう更新された図2(a)の逆にされたバージョンである。図2(b)と同様に、図3(b)は、単一の乗算器が(Yexp/Y)Eを形成するために使用され、次いで、(Yexp/Y)Eが2つの更なる乗算器により各色チャネルを乗じられるので、色チャネルにおける乗算器の順序を逆にすることが如何にして実際に1つの乗算器を確保することができるかを示す。
これより、具体的な実施形態が記載され、この実施形態は、有利なことには、特に、詳細パラメータが変化する場合に、拡張された輝度Yexpをただ2つのLUTから計算することを可能にする。
式(5)において、一方ではYlowを、他方ではYを指数関数的にスケーリングする詳細パラメータdは、定数、例えば、式(2)のように1.25、に設定可能であり、あるいは、Yに及び/又はYlowに従って変化し得る。
例えば、特に、Ylowを指数関数的にスケーリングする場合に、詳細パラメータは、Ylowの値に応じて第1詳細関数d1に従って次のように変化し得る:

d1=d1max−(d1max−d1min)×((255−Ylow)/255)
=d1(Ylow) (12)

ここで、第1の実施では、d1min=1.3及びd1max=1.5であり、第2の実施では、d1min=1.4及びd1max=1.8である。
関数d1がYlowのみの関数である他の実施が、本発明から逸脱することなしに想定可能である。
それは、式(5)において、特にYlowに対して適用される詳細がYlowに依存するということである。
式(5)において、特に、Yを指数関数的にスケーリングする場合に、詳細パラメータは、例えば、次のように、Yの値に応じて第2詳細関数d2に従って変化し得る:

d2=d2max−(d2max−d2min)×((255−Y)/255)
=d2(Y) (13)

ここで、1つの実施において、d2min=1.3及びd2max=1.7である。それは、式(4)において、特にYに対して適用される詳細がYに依存するということである。
d2がYのみの関数である他の実施が、本発明から逸脱することなしに想定可能である。
詳細関数d2がYを指数関数的にスケーリングする場合にYに依存する詳細関数d2、及び詳細関数d1がYlowを指数関数的にスケーリングする場合にYlowに依存する詳細関数d1を用いて、我々は、式(1)、(2)及び(3)を:

exp=(YlowE(Ylow)×Yd2(Y)×Ylow −d1(Ylow) (14)

と再公式化することもできる。これは:

exp=(Ylow(E(Ylow)−d1(Ylow))×Yd2(Y) (15)

又は

exp=(Ylow(E(Ylow)−d1(Ylow))×Y(d2(Y)−1)×Y (15′)

と同じである。ここで、関数d1()は、Ylowに適用される場合に式(12)に従うことができ、関数d2()は、Yに適用される場合に式(13)に従うことができる。それは、式(15)において、Ylowに対して適用される詳細がYlowにのみ依存し、Yに適用される詳細がYにのみ依存するということである。
全ての上記の式において、詳細関数d1及びd2は、式(12)及び(13)において先に与えられた具体例で見られるように線形に変化するのではなく、Y又はYlowの関数において非線形に変化し得る点に留意されたい。
以下で説明されるように、Ylowに作用する指数に適用される場合にYlowに依存する第1詳細関数d1()による、且つ、Yに作用する指数に適用される場合にYに依存する第2詳細関数d2()による(上記の式(15)及び(15′)を参照。)輝度拡張方法のそのような実施は、ハードウェアに必要とされるメモリサイズを最小限にするために特に有利である。図2(a)及び2(b)で表されているような実施において、一意的な変数の次の関数が使用される:
a)一意的にYlowに依存する第1展開関数f(Ylow)=(Ylow(E(Ylow)−d1(Ylow))
b)一意的にYに依存する第2展開関数g(Y)=Y(d2(Y)−1)
図3(a)及び3(b)で表されているような他の実施において、一意的な変数の次の関数が使用される:
a)一意的にYlowに依存する第1展開関数f′(Ylow)=(Ylow(E(Ylow)−d1(Ylow)−1)
b)一意的にYに依存する第2展開関数g′(Y)=Yd2(Y)
図5は、画像の輝度成分を拡張する方法500の一実施形態を示す。方法は、輝度成分Yを供給する開始ブロック501から始まり、輝度成分にロー・パス・フィルタをかけるブロック510へ進む。方法はまた、ブロック510によって供給されたロー・パス・フィルタをかけられた輝度値から、ピクセル毎に計算された指数マップを生成するブロック520へ進む。制御は、輝度を供給するブロック501及びロー・パス・フィルタをかけられた輝度を供給するブロック510から、エンハンスメント・マップを生成するブロック530へ進む。エンハンスメント・マップは、輝度成分及びロー・パス・フィルタをかけられた輝度成分の関数である(上記の式(2)を参照。)。制御はまた、ブロック520からの指数マップを、ブロック510からのロー・パス・フィルタをかけられた輝度成分に対して指数関数的に適用することによって、画像成分値範囲を拡張するためにブロック510及びブロック520から進む。ブロック540から、制御は、拡張された画像成分値範囲を、ブロック530から生成されたエンハンスメント・マップを用いて重み付けするブロック550へ進む。
我々は、これより、上記の輝度拡張方法のそのような実施がハードウェア要件において如何にして有利であり得るかを詳述することにする。
低コストのハードウェア・アプリケーションにおいて、(指数関数であるような)関数の複雑な計算は、ルック・アップ・テーブル(LUT)によってたびたび置き換えられる。ここで、式(15)又は(15′)に従う拡張された輝度Yexpの新しい公式化のおかげで、より簡単なLUTアーキテクチャが、有利なことには、Ylowにのみ依存する第1展開関数の予め計算された値に対応する出力値を有する第1LUTと、Yにのみ依存する第2展開関数の予め計算された値に対応する出力値を有する第2LUTとを用いて、拡張方法を実装するために使用可能である。
以下で詳述されるそのようなハードウェア実装において、第1LUTはYlowエントリによってアドレッシングされ、Ylowの各値(例えば、256個のデータのデプスサイズを有するLUTをもたらすようにYlowが8ビットで符号化される場合に、0から255)に対して、例えば、第1展開関数の計算結果を組み込む:

[0..255]範囲内のx整数により、f(x)=x(E(x)−d1(x))

一方、第2LUTは、Yエントリによってアドレッシングされ、Yの各値(例えば、256個のデータのデプスサイズを有するLUTをもたらすようにYが8ビットで符号化される場合に、0から255)に対して、例えば、第2展開関数の計算結果を組み込む:

[0..255]範囲内のx実数により、g(x)=x(d2(x)−1)

代替的に、両方のLUTは、8ビット(例えば、n=10ビット)よりも大きいデータを用いてアドレッシングされ得る点に留意されたい(その場合に、Y及びYlowは、[0..1023]範囲内の整数である。)。この場合に、入力データY及びYlowは、埋込関数で使用される[0..255]範囲に適合するようスケーリングされる:

x′=x×255/(2−1)
[0..1023]範囲内のx整数により、f(x)=x(E(x′)−d1(x′))
[0..1023]範囲内のx整数により、g(x)=x(d2(x)−1)
ハードウェアに専用の本発明の第1実施形態において、図2(a)及び2(b)において記載される、輝度拡張に専用の2つの関数ブロック(YlowE−d1、Yd2−1、及びクロミナンス拡張に専用の関数ブロックE′は、図7のルック・アップ・テーブルLUT1、LUT2及びLUT3によって置き換えられる(以下を参照。)。ハードウェアに専用の本発明の第2実施形態において、図3(a)又は3(b)で記載されるそれら3つの関数ブロック(YlowE−d1−1、Yd2及びE′は、同様に3つのルック・アップ・テーブルによって置き換えられる。メモリサイズもハードウェア・アーキテクチャの選択において重要な基準であるということで、先行技術における2つの変数Ylow及びYの1つの関数と比較して、ただ1つの変数(夫々、Ylow及びY)の2つの別個の関数f(Ylow)及びg(Y)を使用する上記の輝度拡張方法は、この関数がLUTによって置き換えられるハードウェア・アプリケーションに特にうまく適応される。特に、これは、それが、Ylowエントリ及びYエントリ(Ylow及びYが両方とも8ビットデータである場合にLUT内には64kエントリ)を有する1つのLUTと比較して、LUTの必要とされるメモリサイズを劇的に低減することができるからである(Ylowが8ビットである場合にLUT1内には256エントリ+Yが8ビットエントリである場合にLUT2内には256エントリ)。
図2(a)、2(b)、3(a)及び3(b)で及び特に図7で表されるように、ロー・パス・フィルタリングが行われた時点で色拡張及び詳細回復/エンハンスメントを実装するには、3つのLUT及び6又は7つの乗算器しか必要とされない。ロー・パス・フィルタリング・ステップ自体は、ハードウェア実装において知られているものであり、それ自体知られている様態で実装可能である。それらの図を参照すると、3つのLUTは、例えば、次の通りである:
a)第1LUT、すなわち、LUT1は、第1展開関数のための値に、1つの変数Ylowにのみ基づくエントリを供給する。
b)第2LUT、すなわち、LUT2は、第2展開関数のための値に、1つの変数Yにのみ基づくエントリを供給する。
c)第3LUT、すなわち、LUT3は、クロミナンス拡張のために使用され、Ylowによってアドレッシングされる場合にE′を供給する。
従前の方法に対する本アプローチの利点に共通して、この発明は、HWにおける実装を容易にするよう、且つ、3つの独立した小さいLUTを使用するよう最適化されている。それは、妥当なアパーチャを有する2D可分対称フィルタ、いくつか(図2及び3ではほんの3つ)のルック・アップ・テーブル、及びいくつか(図2(b)及び3(b)ではほんの5つ)の乗算器を使用することができる。
先と同じく、HW実装を容易にする主たる実現要因は、動的な拡張が、同じ拡張係数E及び同じロー・パス・フィルタをかけられた輝度信号Ylowを保ちながら、国際公開第2015/096955号で見られるように輝度自体に対してではなく、“フィルタをかけられた輝度”に対して適用される点である。よって、輝度の拡張のために2つの異なる変数(輝度及びフィルタをかけられた輝度)の関数を有する代わりに、本発明は、1つの変数エントリしか有さないことで小さいサイズを有する1つのLUTによって夫々実装される、ただ1つの変数の2つの関数を使用する。
拡張後に同じ品質を保つために、詳細の鮮鋭化も、拡張されたフィルタをかけられた輝度に対して詳細を回復するよう変更されている。この変更はまた、最終的な拡張された輝度を計算するための演算の数を減らすことを可能にした。
図4は、本原理を実装する方法400の一実施形態を示す。方法は、開始ブロック401から開始し、画像の輝度成分のロー・パス・フィルタリングのためのブロック410へ進む。制御は、ブロック410から、HDR画像の拡張された色を生じるようロー・パス・フィルタをかけられた輝度を使用することによって、より高いピーク輝度を有している表示デバイス上で画像を再現するために少なくとも1つの画像成分の色を拡張するブロック420へ進む。
図6は、画像よりも高いピーク輝度値を有しているディスプレイ上でその画像を再現するシステム600の実施形態を示す。システムは、画像輝度成分に対して作用するロー・パス・フィルタ610を有する。ロー・パス・フィルタ610の出力は、プロセッサ620の入力と信号接続されている。プロセッサ620は、画像の色を拡張する。プロセッサ620の出力は、ディスプレイ630の入力と信号接続されている。ディスプレイ630は、画像の拡張された色を表示する。
図7は、より高いピーク輝度を有している表示デバイス上で拡張された画像を再現するために画像の色を拡張する色拡張装置700の実施形態を示す。装置は、ロー・パス・フィルタ(図示されないが、図6の参照符号610と同様である。)と、上述されたように第1展開関数の予め計算された値を記憶している第1ルック・アップ・テーブル(LUT1)710と、上述されたように第2展開関数の予め計算された値を記憶している第2ルック・アップ・テーブル(LUT2)720と、ロー・パス・フィルタをかけられた輝度値の関数E′(Ylow)として定義されるクロミナンス拡張係数の予め計算された値を記憶している第3ルック・アップ・テーブル(LUT3)730と、特に以下で定義されるような乗算器740、750、760、770及び780を実装するよう構成されたプロセッサ(図示されないが、図6の参照符号620と同様である。)とを有する。
LUT710への入力は、ロー・パス・フィルタ(図示せず。)の出力からのロー・パス・フィルタをかけられた輝度成分である。LUT710は、関数f(Ylow)=(Ylow(E(Ylow)−d1(Ylow))の、すなわち、指数関数E(Ylow)と、ロー・パス・フィルタをかけられた輝度成分にのみ依存する第1詳細関数d1とを用いて指数関数的にスケーリングされたロー・パス・フィルタをかけられた輝度成分の、値を記憶する。LUT710の出力は、第1乗算器740の1つの入力と信号接続されている。乗算器740への他の入力は、第2ルック・アップ・テーブル(LUT2)720の出力から伝来する。LUT720への入力は、画像の輝度成分である。LUT720は、関数g(Y)=Y(d2(Y)−1)の、すなわち、輝度成分にのみ依存する第2詳細関数d2によって指数関数的にスケーリングされたこの輝度成分の、値を記憶する。乗算器740の出力は、他の乗算器760の第1入力へ送られる。乗算器760の第2入力は、画像の輝度成分である。乗算器760の出力は、画像の輝度成分の拡張された値Yexpである。
装置700が更に有する第3ルック・アップ・テーブル(LUT3)730は、その入力として、ロー・パス・フィルタをかけられた輝度成分をとる。LUT730はE′(E)値、すなわち、色の色成分(chromatic component)をスケーリングするよう適応された他の指数関数E′(E)に応じた値、を記憶する。LUT730の出力は、乗算器750の1つの入力へ送られる。乗算器750の第2入力は、乗算器740の出力である。乗算器750の出力は、次いで、乗算器770及び乗算器780へ送られる。夫々のクロミナンス成分U、Vが、乗算器770及び乗算器780へ夫々送られる。クロミナンス成分は、ただ1つの乗算器しか指数マップを両方のクロミナンス成分に適用するために必要とされないように、時間において多重化され得る。乗算器770及び780の出力は、例えば、拡張されたクロミナンス成分Uexp及びVexpである。
本明細書は、本原理を説明する。よって、明らかなように、当業者は、本明細書で明示的に記載又は図示されてないとしても、本原理を具現化し、それによって、本原理に含まれる様々な配置を考え出すことができるだろう。
当業者に明らかなように、本明細書で提示されるブロック図は、本原理を具現化する実例となる回路構成の概念図を表す。同様に、明らかなように、如何なるフローチャート、フロー図、状態遷移図、擬似コード、及び同様のものも、コンピュータ読出可能な媒体において実質的に表現され、それ故に、コンピュータ又はプロセッサによって、そのようなコンピュータ又はプロセッサが明示的に示されていようとなかろうと、実行され得る様々なプロセスを表す。
図に示されている様々な要素の機能は、専用のハードウェア及び適切なソフトウェアに関連してソフトウェアを実行可能なハードウェアの使用を通じて提供され得る。プロセッサによって提供される場合に、機能は、単一の専用プロセッサによって、単一の共有プロセッサによって、又は一部が共有され得る複数の個別プロセッサによって提供可能である。更に、語“プロセッサ”又は“コントローラ”の明示的な使用は、ソフトウェアを実行可能なハードウェアにもっぱら言及していると解されるべきではなく、制限なしに、デジタル信号プロセッサ(“DSP”)ハードウェア、ソフトウェアを記憶するリードオンリーメモリ(“ROM”)、ランダムアクセスメモリ(“RAM”)、及び不揮発性ストレージを暗に含むことができる。
従来及び/又はカスタムの他のハードウェアも含まれ得る。同様に、図に示されている如何なるスイッチも単に概念的である。それらの機能は、プログラムロジックの動作を通じて、専用のロジックを通じて、プログラム制御と専用のロジックとのインタラクションを通じて、又は手動により実行可能であり、特定の技術が、文脈からより具体的に理解されるように実施者によって選択可能である。
本願の特許請求の範囲において、特定の機能を実行するための手段として表されている如何なる要素も、例えば、a)その機能を実行する回路素子の組み合わせ、又はb)如何なる形もとり、従って、ファームウェア、マイクロコード若しくは同様のものを含むソフトウェアであり、機能を実行するようそのソフトウェアを実行する適切な回路構成と組み合わされる前記ソフトウェアを含め、その機能を実行する如何なる方法も包含するよう意図される。そのような特許請求の範囲によって定義される本原理は、様々な列挙されている手段によって提供される機能性が、特許請求の範囲が要求している様態で組み合わされて1つにされるという事実に存在する。よって、それらの機能性を提供することができる如何なる手段も、本明細書で示されているものと同等であると見なされる。
本原理の“1つの実施形態”又は“実施形態”及びそれらの他の変形への本明細書中の言及は、実施形態に関連して記載されている特定の特徴、構造、特性などが本原理の少なくとも1つの実施形態に含まれていることを意味する。よって、本明細書の全体にわたって様々な箇所に現れる“1つの実施形態において”又は“実施形態において”との語句及び何らかの他の変形の出現は、必ずしも全てが同じ実施形態に言及しているわけではない。
本原理のそれら及び他の特徴及び利点は、本明細書中の教示に基づき当業者によって容易に確かめられ得る。本原理の教示は、様々な形のハードウェア、ソフトウェア、ファームウェア、専用プロセッサ、又はそれらの組み合わせにおいて実装可能であることが理解されるべきである。
最も望ましくは、本原理の教示は、ハードウェアとソフトウェアとの組み合わせとして実装される。更に、ソフトウェアは、プログラム記憶ユニットにおいて有形に具現化されたアプリケーション・プログラムとして実装可能である。アプリケーション・プログラムは、如何なる適切なアーキテクチャも有するマシンにアップロードされ、それによって実行され得る。望ましくは、マシンは、1つ以上の中央演算処理装置(“CPU”)、ランダムアクセスメモリ(“RAM”)、及び入出力(“I/O”)インターフェイスのようなハードウェアを具備するコンピュータ・プラットフォームにおいて実装される。コンピュータ・プラットフォームは、オペレーティング・システム及びマイクロ命令コードを更に含むことができる。本明細書で記載される様々なプロセス及び機能は、マイクロ命令コードの部分若しくはアプリケーション・プログラムの部分、又はそれらのあらゆる組み合わせのいずれかであることができ、CPUによって実行可能である。その上、追加のデータ記憶装置及び印刷装置のような、様々な他の周辺装置が、コンピュータ・プラットフォームへ接続可能である。
添付の図面で表されている、構成要素であるシステム・コンポーネント及び方法の一部は、望ましくは、ソフトウェアにおいて実装されるので、システム・コンポーネント又はプロセス機能ブロック間の実際の接続は、本原理がプログラムされる様態に応じて様々であることができる点が更に理解されるべきである。本明細書中の教示を鑑みて、当業者は、本原理のそれら及び同様の実施又は構造を予期することができるだろう。
実例となる実施形態が添付の図面を参照して本明細書で記載されてきたが、本原理は、それらの厳密な実施形態に制限されず、様々な変更及び改良が、本原理の適用範囲から逸脱することなしに、当業者によってそれらにおいて達成され得る点が理解されるべきである。全てのそのような変更及び改良は、添付の特許請求の範囲において示されている本原理の適用範囲内に含まれるよう意図される。

Claims (14)

  1. 画像の色を拡張する色拡張モジュール(700)であって、前記色は、輝度成分をクロミナンス成分から分離する色空間において表される、前記色拡張モジュールにおいて、
    前記輝度成分にロー・パス・フィルタをかけるロー・パス・フィルタと、
    ロー・パス・フィルタをかけられた輝度値のみの第1展開関数の予め計算された値を記憶する第1ルック・アップ・テーブル(710)と、
    輝度値のみの第2展開関数の予め計算された値を記憶する第2ルック・アップ・テーブル(720)と、
    拡張する色の入力された輝度値に対応する前記第2ルック・アップ・テーブルの出力に、前記入力された輝度値に関連する入力されたロー・パス・フィルタをかけられた輝度値に対応する前記第1ルック・アップ・テーブルの出力を乗じるよう構成されたプロセッサ(740,760)と
    を有する色拡張モジュール。
  2. 前記第1展開関数は、指数関数及び第1詳細関数d1(Ylow)を用いて指数関数的にスケーリングされた前記ロー・パス・フィルタをかけられた輝度成分として定義され、前記指数関数及び前記第1詳細関数の両方がそれ自体、前記ロー・パス・フィルタをかけられた輝度成分のみの関数である、
    請求項1に記載の色拡張モジュール。
  3. 前記第2展開関数は、それ自体が前記輝度成分のみの関数である第2詳細関数d2(Y)を用いて指数関数的にスケーリングされた前記輝度成分として定義される、
    請求項1又は2に記載の色拡張モジュール。
  4. 請求項1乃至3のうちいずれか一項に記載の色拡張モジュールを組み込む電子デバイス。
  5. テレビ受像機、モバイルデバイス、通信デバイス、ゲーム機、タブレット、スマートフォン、ラップトップ、カメラ、符号化チップ、サーバから成るグループから選択される
    請求項4に記載の電子デバイス。
  6. 画像の色を拡張する色拡張方法であって、前記色は、輝度成分をクロミナンス成分から分離する色空間において表される、前記色拡張方法において、
    前記輝度成分にロー・パス・フィルタをかけることと、
    指数マップを用いて指数関数的に前記ロー・パス・フィルタをかけられた輝度成分をスケーリングすることによって、前記輝度成分の値範囲を拡張することと
    を有する色拡張方法。
  7. 前記輝度成分にハイ・パス・フィルタをかけることと、
    詳細マップを用いて指数関数的に前記ハイ・パス・フィルタをかけられた輝度成分をスケーリングすることと、
    スケーリングされたハイ・パス・フィルタをかけられた輝度成分によって、前記スケーリングされたロー・パス・フィルタをかけられた輝度成分を重み付けすることと
    を更に有する、
    請求項6に記載の色拡張方法。
  8. 前記ハイ・パス・フィルタをかけることは、前記輝度成分を前記ロー・パス・フィルタをかけられた輝度成分で除することによって得られる、
    請求項7に記載の色拡張方法。
  9. 前記指数マップは、前記ロー・パス・フィルタをかけられた輝度成分の展開関数に従って計算され、
    前記重み付けされたロー・パス・フィルタをかけられた輝度成分(Yexp)は、
    前記展開関数E(Ylow)を用いて、且つ、更に、前記ロー・パス・フィルタをかけられた輝度成分のみの第1詳細関数d1(Ylow)を用いて指数関数的にスケーリングされた前記ロー・パス・フィルタをかけられた輝度成分(Ylow (E(Ylow)−d(Ylow)))の、及び
    前記輝度成分のみの第2詳細関数d2(Y)を用いて指数関数的にスケーリングされた前記輝度成分(Yd(Y))の
    積である、
    請求項6乃至8のうちいずれか一項に記載の色拡張方法。
  10. クロミナンス拡張係数によって前記画像の少なくとも1つのクロミナンス成分の値範囲を拡張すること
    を更に有する
    請求項6乃至9のうちいずれか一項に記載の色拡張方法。
  11. 前記クロミナンス拡張係数は、前記輝度成分によって正規化された前記拡張された輝度成分に対応する、
    請求項10に記載の色拡張方法。
  12. 前記クロミナンス拡張係数は、前記輝度成分によって正規化された前記拡張された輝度成分によってスケーリングされた前記指数マップの関数である、
    請求項10に記載の色拡張方法。
  13. 前記クロミナンス拡張係数は、前記指数マップの又は前記ロー・パス・フィルタをかけられた輝度成分の関数であり、該関数は、前記ロー・パス・フィルタをかけられた輝度成分によって正規化された前記拡張された輝度成分によってスケーリングされる、
    請求項10に記載の色拡張方法。
  14. コンピューティング・デバイスで実行されるときに請求項6乃至13のうちいずれか一項に記載の色拡張方法のステップを実行するプログラムコードの命令を担持する非一時的な記憶媒体。
JP2018553210A 2016-05-04 2017-01-20 画像の色を拡張する低コストの色拡張モジュール Active JP6849696B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/EP2016/060081 WO2017190786A1 (en) 2016-05-04 2016-05-04 Optimized content-adaptive inverse tone mapping for low to high dynamic range conversion
EPPCT/EP2016/060081 2016-05-04
PCT/EP2017/051178 WO2017190850A1 (en) 2016-05-04 2017-01-20 Low cost color expansion module for expanding colors of an image

Publications (3)

Publication Number Publication Date
JP2019518359A true JP2019518359A (ja) 2019-06-27
JP2019518359A5 JP2019518359A5 (ja) 2020-02-06
JP6849696B2 JP6849696B2 (ja) 2021-03-24

Family

ID=57868255

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018553210A Active JP6849696B2 (ja) 2016-05-04 2017-01-20 画像の色を拡張する低コストの色拡張モジュール

Country Status (6)

Country Link
US (1) US10733712B2 (ja)
EP (1) EP3452979B1 (ja)
JP (1) JP6849696B2 (ja)
KR (2) KR20240001264A (ja)
CN (1) CN109416831B (ja)
WO (2) WO2017190786A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3249605A1 (en) * 2016-05-23 2017-11-29 Thomson Licensing Inverse tone mapping method and corresponding device
EP3418972A1 (en) 2017-06-23 2018-12-26 Thomson Licensing Method for tone adapting an image to a target peak luminance lt of a target display device
CN108305227A (zh) * 2018-01-23 2018-07-20 中国航空工业集团公司洛阳电光设备研究所 一种对比度不变的图像低亮度区域增强亮度的方法
EP3839876A1 (en) 2019-12-20 2021-06-23 Fondation B-COM Method for converting an image and corresponding device
US20230370646A1 (en) * 2020-10-02 2023-11-16 Dolby Laboratories Licensing Corporation Adaptive local reshaping for sdr-to-hdr up-conversion
EP4068197A1 (en) * 2021-03-30 2022-10-05 Beijing Xiaomi Mobile Software Co., Ltd. Method for image processing
KR102564447B1 (ko) * 2021-11-30 2023-08-08 엘지전자 주식회사 디스플레이 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002044679A (ja) * 2000-07-21 2002-02-08 Olympus Optical Co Ltd 映像信号処理回路
JP2009232468A (ja) * 2005-10-12 2009-10-08 Panasonic Corp 視覚処理装置、視覚処理方法、テレビジョン、携帯情報端末、カメラおよびプロセッサ
JP2010062672A (ja) * 2008-09-01 2010-03-18 Canon Inc 画像処理装置およびその方法
WO2015096955A1 (en) * 2013-12-27 2015-07-02 Thomson Licensing Method for inverse tone mapping of an image

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5005074A (en) * 1989-11-17 1991-04-02 Rca Licensing Corporation Adaptive multistandard video comb filter
US8285040B1 (en) * 2008-12-09 2012-10-09 Csr Technology Inc. Method and apparatus for adaptive contrast enhancement of image data
CN104463820A (zh) * 2014-10-29 2015-03-25 广东工业大学 一种基于频域的反色调映射算法
KR101749229B1 (ko) * 2014-12-22 2017-06-20 엘지디스플레이 주식회사 화상 표시 방법 및 화상 표시 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002044679A (ja) * 2000-07-21 2002-02-08 Olympus Optical Co Ltd 映像信号処理回路
JP2009232468A (ja) * 2005-10-12 2009-10-08 Panasonic Corp 視覚処理装置、視覚処理方法、テレビジョン、携帯情報端末、カメラおよびプロセッサ
JP2010062672A (ja) * 2008-09-01 2010-03-18 Canon Inc 画像処理装置およびその方法
WO2015096955A1 (en) * 2013-12-27 2015-07-02 Thomson Licensing Method for inverse tone mapping of an image

Also Published As

Publication number Publication date
US20190147572A1 (en) 2019-05-16
KR20190035602A (ko) 2019-04-03
CN109416831B (zh) 2023-07-25
WO2017190850A1 (en) 2017-11-09
JP6849696B2 (ja) 2021-03-24
KR20240001264A (ko) 2024-01-03
WO2017190786A1 (en) 2017-11-09
EP3452979A1 (en) 2019-03-13
EP3452979B1 (en) 2022-10-19
CN109416831A (zh) 2019-03-01
US10733712B2 (en) 2020-08-04

Similar Documents

Publication Publication Date Title
JP2019518359A (ja) 画像の色を拡張する低コストの色拡張モジュール
KR102234092B1 (ko) 이미지의 역 톤 매핑을 위한 방법
JPWO2005081187A1 (ja) 画像処理装置、画像処理システム、画像処理方法、画像処理プログラムおよび集積回路装置
JP6611576B2 (ja) 画像処理装置および画像処理方法
JP2011086976A (ja) 画像処理装置および画像処理方法
JP4375325B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2018014646A (ja) 画像処理装置および画像処理方法
JP2007180851A (ja) Raw画像の階調変換装置、プログラム、方法、および電子カメラ
JP2011015277A (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムが記録された記録媒体
JP6335614B2 (ja) 画像処理装置、その制御方法、及びプログラム
US20210297558A1 (en) Cubiform method
JP5365881B2 (ja) 画像処理装置、画像処理方法
CN110874816B (zh) 一种图像处理方法、装置、移动终端及存储介质
JP2022051097A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
KR20220011068A (ko) 이미지를 처리하기 위한 방법 및 장치
KR20160070659A (ko) 영상 처리 장치 및 영상 처리 방법
JP2020123138A (ja) 画像処理装置および画像処理方法、プログラム、記憶媒体
JP2007158446A (ja) 画像処理装置、画像処理方法、プログラム、記憶媒体
US11625817B2 (en) Pyramid-based tone mapping
JP6087720B2 (ja) 撮像装置及びその制御方法
US20220318966A1 (en) Method and device for image processing, and storage medium
CN111583104B (zh) 光斑虚化方法及装置、存储介质、计算机设备
JP2012147052A (ja) 画像処理装置、画像処理プログラム、及び、画像処理方法
JP2008259242A (ja) 画像処理装置、画像処理方法、記録媒体、およびプログラム
TWI533708B (zh) 影像增強處理方法及影像處理裝置

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181226

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20181228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191218

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210304

R150 Certificate of patent or registration of utility model

Ref document number: 6849696

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150