JP2018527675A - 逆トーンマッピングの方法及び装置 - Google Patents

Abstract

逆トーンマッピングの方法が提供される。ルミナンスがクロミナンスから分けられた色空間においてデジタル画像を取得することと、デジタル画像内のピクセルのベースルミナンスを特定することと、細部強化マップを特定することと、ピクセル拡張指数マップを特定することと、画像のエッジマップを特定することと、エッジマップ、ピクセル拡張マップ、及びベースルミナンスに基づいて画像のルミナンスを逆トーンマッピングすることと、逆トーンマッピングされたルミナンスに基づいて拡張ダイナミックレンジ画像を提供することとを含む方法。

Description

本開示は、トーン管理の分野に関し、特に、高ダイナミックレンジ（ＨＤＲ）ディスプレイのダイナミックレンジに合うように、画像のルミナンスを拡張する問題に関する。本開示は特に、拡張プロセスの一環として画像のノイズを低減する方法を提案する。

ディスプレイ技術の近年の進歩は、より広い範囲の色、ルミナンス、及びコントラストの表示を可能にし始めている。画像コンテンツのルミナンス範囲又は輝度範囲の拡張を可能にする技術は、高ダイナミックレンジイメージングとして知られており、ＨＤＲと略されることが多い。ＨＤＲ技術は、より広いダイナミックレンジのコンテンツの捕捉、処理、及び表示にフォーカスしている。

幾つかのＨＤＲディスプレイデバイスが出現し、より広いダイナミックレンジで画像を捕捉可能な画像カメラが開発中であるが、利用可能なＨＤＲコンテンツはなお非常に限られている。近年の発展は、近い将来、ＨＤＲコンテンツの自然な捕捉を約束しているが、既存のコンテンツに対処していない。

ＨＤＲ表示ディスプレイに向けて従来の（以下、低ダイナミックレンジを表すＬＤＲと呼ぶ）コンテンツを準備するには、リバース又は逆トーンマッピング演算子（ＩＴＭＯ）を利用することができる。そのようなアルゴリズムは、原シーンの見た目を復元又は再現する目的で、画像コンテンツの色のルミナンス情報を処理する。通常、ＩＴＭＯは、従来の（すなわち、ＬＤＲ）画像を入力として受け付け、この画像の色のルミナンス範囲を大域的に拡張し、続けて、ハイライト又は明領域を局所的に処理して、画像内の色のＨＤＲ外観を強化する。

幾つかのＩＴＭＯ解決策が存在するが、それらは、原シーンの見た目を知覚的に再現することにフォーカスしており、コンテンツについての厳密な仮定に頼っている。さらに、文献で提案されている大半の拡張方法は、ダイナミックレンジの極端な増大に対して最適化されている。

通常、ＨＤＲイメージングは、量子化ステップ数の増大と組み合わせた、色のルミナンスの暗値と明値との間のダイナミックレンジの拡張により定義される。ダイナミックレンジのより極端な増大を達成するために、多くの方法は、画像のハイライト及び他の明領域の外観を強化する局所処理ステップを大域的拡張と組み合わせる。文献で提案されている既知の大域的拡張ステップは、逆シグモイドから線形又は区分線形まで様々である。

画像内の明局所特徴を強化するために、ルミナンス拡張マップを作成することが知られており、このマップでは、画像の各ピクセルに、何らかの関数を使用してこのピクセルのルミナンスに適用される拡張値が関連付けられる。

ルミナンス拡張ステップは、ＨＤＲディスプレイによりよく適するように、画像のコントラストを上げる。しかし多くの場合、このステップは同時に、画像内のアーチファクト又はノイズのコントラストも上げ、そのようなアーチファクトをより可視化し、したがって、閲覧者にとってより目障りなものにする。そのために、画像のノイズを除去することが望ましいことがある。既存のノイズ除去プロセスが、別個のプロセスとしてＩＴＭＯの前または後に適用される場合、多くの追加の計算が必要になる。

本開示は、２０１４年１２月２日に出願された「METHOD FOR INVERSE TONE MAPPING AN IMAGE」という名称の公開出願である国際公開第２０１５０９６９５５号に密に関連し、この国際公開を参照により援用する。この文献と比較して、本発明は主に、拡張プロセスを採用して、計算効率的に画像内のノイズを低減し、追加処理を最小に抑える。

本開示は、国際公開第２０１５０９６９５５号に記載されるコアアルゴリズムに既に提示されているコンポーネントを使用するが、あまりに多くの新しい処理ステップを必要とせずに、画像内のノイズを低減する方法で使用して、ルミナンス情報を拡張又は作り変える技法に関する。

本発明の趣旨は、クロミナンスからルミナンスを分ける色空間で表される色に関連付けられたピクセルにより定義されるデジタル画像から、拡張ダイナミックレンジ画像を提供する方法であり、本方法は、
前記画像のピクセルのルミナンス値を逆トーンマッピングすることと、
逆トーンマッピングされたルミナンス値に基づいて、拡張ダイナミックレンジ画像を提供することと
を含み、
少なくとも１つのピクセルのルミナンス値の逆トーンマッピングは、デジタル画像での前記少なくとも１つのピクセルの周囲のエッジ及び／又は勾配を表す情報に基づく。

この少なくとも１つのピクセルのルミナンスが、画像内のこの少なくとも１つのピクセルの周囲の隣接内容に応じて逆トーンマッピングされることが意味される。

好ましくは、前記少なくとも１つのピクセルの周囲のエッジ及び／又は勾配を表す前記情報Ｍ（ｐ）は、エッジ検出アルゴリズムを上記少なくとも１つのピクセルの周囲のピクセルに適用することにより得られる。

好ましくは、これらの周囲ピクセルは、前記少なくとも１つのピクセルを中心としたブロックに属するものとして定義される。

好ましくは、前記エッジ検出アルゴリズムは、前記周囲ピクセルのローパスフィルタリングルミナンス値に適用される。

好ましくは、ピクセルの前記逆トーンマッピングは、前記ピクセルの拡張指数値Ｅ（ｐ）を前記ピクセルのルミナンス値Ｙ（ｐ）に適用することを含む。

好ましくは、この少なくとも１つのピクセルの周囲のエッジ及び／又は勾配を表す情報に基づく、少なくとも１つのピクセルの逆トーンマッピングは、前記少なくとも１つのピクセルの拡張指数値を前記少なくとも１つのピクセルのローパスフィルタリングルミナンスとルミナンスとの加重結合に適用することを含み、前記ローパスフィルタリングルミナンスに割り当てられる重みは、前記少なくとも１つのピクセルの周囲のエッジ及び／又は勾配を表す値に比例し、前記ルミナンスに割り当てられる重みは、前記少なくとも１つのピクセルの周囲のエッジ及び／又は勾配を表す前記値に反比例する。

好ましくは、前記加重結合は加重和である。

好ましくは、前記少なくとも１つのピクセルの周囲のエッジ及び／又は勾配を表す値は、閾値τ以上である。

好ましくは、本方法は、前記ピクセルの逆トーンマッピングルミナンス値を前記ピクセルのスケーリングされたクロミナンス値と結合することを含む。

本発明の趣旨は、クロミナンスからルミナンスを分ける色空間で表される色に関連付けられたピクセルにより定義されるデジタル画像から、拡張ダイナミックレンジ画像を提供する装置でもあり、本装置は、上記方法を実施するように構成される処理ユニットを含む。この処理ユニットは、１つ又は幾つかのプロセッサを含む。

本発明の趣旨は、上記方法を実行するように実行可能なコンピュータ実行可能命令を記憶する非一時的コンピュータ可読媒体でもある。

一実施形態では、逆トーンマッピングの方法が提供される。本方法は、ルミナンスがクロミナンスから分けられる色空間においてデジタル画像を取得することと、デジタル画像内のピクセルのベースルミナンスを特定することと、細部強化マップを特定することと、ピクセル拡張指数マップを特定することと、画像のエッジマップを特定することと、エッジマップ、ピクセル拡張マップ、及びベースルミナンスに基づいて画像のルミナンスを逆トーンマッピングすることと、逆トーンマッピングされたルミナンスに基づいて拡張ダイナミックレンジ画像を提供することとを含む。

好ましくは、ベースルミナンスは、デジタル画像内のピクセルのルミナンスをローパスフィルタリングすることにより特定される。

好ましくは、逆トーンマッピングは、エッジマップの閾値に基づく。

好ましくは、拡張ダイナミックレンジ画像を提供することは、逆トーンマッピングルミナンスをスケーリングされたクロミナンスと結合することを更に含む。

別の実施形態では、逆トーンマッピングの装置が提供される。本装置は、記憶装置と、メモリと、プロセッサとを含む。記憶装置は、ビデオコンテンツを記憶するものである。メモリは、処理に関するデータを記憶するものである。プロセッサは、記憶装置及びメモリと通信する。プロセッサは、ルミナンスがクロミナンスから分けられる色空間においてデジタル画像を取得することと、デジタル画像内のピクセルのベースルミナンスを特定することと、細部強化マップを特定することと、ピクセル拡張指数マップを特定することと、画像のエッジマップを特定することと、エッジマップ、ピクセル拡張マップ、及びベースルミナンスに基づいて画像のルミナンスを逆トーンマッピングすることと、逆トーンマッピングされたルミナンスに基づいて拡張ダイナミックレンジ画像を提供することとを行うように構成される。

別の実施形態では、コンピュータ実行可能命令を記憶する非一時的コンピュータ可読媒体が提供される。命令は実行されて、ルミナンスがクロミナンスから分けられる色空間においてデジタル画像を取得することと、デジタル画像内のピクセルのベースルミナンスを特定することと、細部強化マップを特定することと、ピクセル拡張指数マップを特定することと、画像のエッジマップを特定することと、エッジマップ、ピクセル拡張マップ、及びベースルミナンスに基づいて画像のルミナンスを逆トーンマッピングすることと、逆トーンマッピングされたルミナンスに基づいて拡張ダイナミックレンジ画像を提供することとを含む方法を実行する。

本発明は、非限定的な例として与えられ、添付図を参照して以下に続く説明を読むことからより明確に利用される。

ノイズを低減する逆トーンマッピングを実施形態により実施することができるシステムのブロック概略図を示す。 実施形態による、ノイズを低減する逆トーンマッピングの方法論を実施する電子デバイスのブロック概略図を示す。 実施形態による、ノイズを低減する逆トーンマッピングの方法論の例示的なフローチャートを示す。 実施形態による、ノイズを低減する逆トーンマッピングの方法論を実施するモジュールのブロック概略図を示す。 ノイズフィルタリングに異なるブロックサイズを使用する効果を示す画面例である。 ノイズフィルタリングに異なるブロックサイズを使用する効果を示す画面例である。 ノイズフィルタリングへの異なる閾値の効果を示す画面例である。 ノイズフィルタリングへの異なる閾値の効果を示す画面例である。

図に示される様々な要素の機能は、専用ハードウェア及び適切なソフトウェアに関連付けてソフトウェアを実行可能なハードウェアの使用を通して提供し得る。

これより図１を参照して、本開示に鑑みて逆トーンマッピングでノイズ低減を実施するシステム１００の実施形態のブロック図を示す。システム１００は、画像ソース１１０、画像処理１２０、及びディスプレイ１３０を含む。これらのそれぞれについてより詳細に以下で考察する。

画像ソース１１０は、ブロードキャストソース、カメラ、サーバ、又はハードドライブ、フラッシュストレージ、磁気テープ、若しくは光ディスク等の他の記憶デバイスであり得る。画像ソース１１０は、デジタル画像１１２等の低ダイナミックレンジ（ＬＤＲ）コンテンツを画像処理１２０に提供する。デジタル画像１１２は、任意の数のフォーマット及び解像度であり得る。

コンテンツ処理１２０において、デジタル画像が低ダイナミックレンジ（ＬＤＲ）から高ダイナミックレンジ（ＨＤＲ）に変換される。これは、本明細書に記載のノイズ低減を含む逆トーンマッピング演算子（ＩＴＭＯ）を含む。画像処理１２０は、ＨＤＲ画像１２２をディスプレイ１３０に出力する。

ディスプレイ１３０は、コンテンツ処理１２０により提供される高ダイナミックレンジ（ＨＤＲ）画像を表示可能なテレビジョン又は個人電子デバイス等であることができる。

図２は、ノイズを低減する逆トーンマッピングの方法論及びシステムを実施するのに使用することができる例示的な電子デバイス２００を示す。電子デバイス２００は、１つ又は複数のプロセッサ２１０、メモリ２２０、記憶装置２３０、及びネットワークインターフェース２４０を含む。これらの要素のそれぞれについてより詳細に以下で考察する。

プロセッサ２１０は、電子デバイス２００の動作を制御する。プロセッサ２１０は、電子デバイスを動作させるとともに、本開示に記載されるＬＤＲからＨＤＲに変換する機能を提供するソフトウェアを実行する。プロセッサ２１０は、メモリ２２０、記憶装置２３０、及びネットワークインターフェース２４０に接続され、これらの要素間での情報の転送及び処理を扱う。プロセッサ２１０は、汎用プロセッサ又は特定機能専用のプロセッサであることができる。特定の実施形態では、複数のプロセッサがあることができる。

メモリ２２０は、プロセッサにより実行される命令及びデータが記憶される場所である。メモリ２２０は、揮発性メモリ（ＲＡＭ）、不揮発性メモリ（ＥＥＰＲＯＭ）、又は他の適する媒体を含むことができる。

記憶装置２３０は、コンテンツ分析を実行するに当たりプロセッサにより使用され生成されるデータが記憶される場所である。記憶装置は、磁気媒体（ハードドライブ）、光学媒体（ＣＤ／ＤＶＤ−ＲＯＭ）、又はフラッシュベースの記憶装置であり得る。本開示の利点を所与として、他のタイプの適する記憶装置が当業者に明白である。

ネットワークインターフェース２４０は、ネットワークを介した他のデバイスとの電子デバイス２００の通信を扱う。適するネットワークの例としては、Ｅｔｈｅｒｎｅｔネットワーク、Ｗｉ−Ｆｉ対応ネットワーク、及びセルラネットワーク等が挙げられる。本開示の利点を所与として、他のタイプの適するネットワークが当業者に明白である。

図２に記載される要素が例示であることを理解されたい。電子デバイス２００は任意の数の要素を含むことができ、特定の要素は、他の要素の機能の一部又は全てを提供することができる。本開示の利点を所与として、他の可能な実施形態が当業者に明白である。

本発明が様々な形態のハードウェア、ソフトウェア、ファームウェア、専用プロセッサ、又はそれらの組み合わせで実施し得ることを理解されたい。「プロセッサ」という用語は、ソフトウェアを実行可能なハードウェアを排他的に指すものとして解釈されるべきではなく、限定ではなく、デジタル信号プロセッサ（「ＤＳＰ」）ハードウェア、ソフトウェアを記憶する読み取り専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、及び不揮発性記憶装置を暗黙的に含み得る。開示される概念は、特に、ハードウェアとソフトウェアとの組み合わせとして実施し得る。さらに、ソフトウェアは、プログラム記憶ユニットに有形に実施されるアプリケーションプログラムとして実施し得る。そのようなソフトウェアは、別のソフトウェアに統合されるプラグインの形態をとることができる。アプリケーションプログラムは、任意の適するアーキテクチャを含む画像処理デバイスにアップロードし、画像処理デバイスにより実行し得る。好ましくは、画像処理デバイスは、１つ又は複数の中央演算処理装置（「ＣＰＵ」）、ランダムアクセスメモリ（「ＲＡＭ」）、及び入／出力（「Ｉ／Ｏ」）インターフェース等のハードウェアを有するコンピュータプラットフォームで実施される。コンピュータプラットフォームは、オペレーティングシステム及びマイクロ命令コードを含むこともできる。本明細書に記載される様々なプロセス及び機能は、ＣＰＵにより実行し得るマイクロ命令コードの一部、アプリケーションプログラムの一部、又はそれらの任意の組み合わせであり得る。加えて、追加のデータ記憶ユニット、表示デバイス、プリントユニット等の様々な他の周辺機器もコンピュータプラットフォームに接続し得る。本発明による方法の実施形態を実施する画像処理デバイスは、画像を受信可能な任意の電子デバイスの一部、例えば、ＴＶセット、セットトップボックス、ゲートウェイ、セル電話、タブレットの一部であり得る。

図３は、一実施形態による逆トーンマッピングでのノイズ低減プロセスの流れ図３００を示す。流れ図３００は、デジタル画像を取得する段階３１０と、ベースルミナンスを特定する段階３２０と、細部強化マップを特定する段階３３０と、ピクセル拡張マップを特定する段階３４０と、エッジマップを特定する段階３５０と、逆トーンマッピングする段階３６０と、拡張ダイナミックレンジ画像を提供する段階３７０とを含む。これらの各ステップについて、図４と併せて以下により詳細に考察する。

図４は、本開示の逆トーンマッピング演算子にノイズ低減拡張を使用して低ダイナミックレンジから高ダイナミックレンジへの変換を実行するのに使用されるモジュールのブロック図４００を示す。これらのモジュールは、ＲＧＢ−＞ＹＵＶ変換モジュール４１０、ローパスフィルタリングモジュール４２０、ハイパスフィルタリングモジュール４３０、拡張マッピングモジュール４４０、エッジマッピングモジュール４５２、逆トーンマッピングモジュール４５０、細部強化モジュール４６０、色飽和モジュール４７０、画像再結合モジュール４８０、及びＲＧＢ変換モジュール４９０を含む。

再び図３を参照すると、デジタル画像１１２が、上述したように、画像ソース１１０から取得される（３１０）。本開示の技法では、デジタル画像１１２は、ルミナンスがクロミナンスから分けられた色空間にある必要がある。デジタル画像１１２がそのような色空間にない場合、デジタル画像１１２をそのような色空間に変換することができる。

例えば、デジタル画像１１２は、表示デバイスのＲＧＢ色空間において提供することができる。このＲＧＢ色空間は標準化することができ、対応する表示デバイスは仮想表示デバイスであることができる。そのような場合、デジタル画像１１２の色を表す受信ＲＧＢ色座標は、クロミナンスからルミナンスを分ける色空間、例えば、ＹＵＶ色空間に変換される。ＲＧＢ色空間からＹＵＶ色空間への色のこの変換は、それ自体既知であり、したがって、詳細に説明しない。ＸＹＺ、Ｙｘｙ、ＣＩＥ Ｌａｂとして、クロミナンスからルミナンスを分ける任意の他の色空間を代わりに使用することもできる。したがって、ルミナンス値Ｙ（ｐ）及び２つのクロミナンス値Ｕ（ｐ）、Ｖ（ｐ）が、デジタル画像１１２の任意のピクセルｐの色に関連付けられる。この機能は、図４のＲＧＢ−＞ＹＵＶ変換モジュール４１０により提供される。

ローパスフィルタリングモジュール４２０を使用して、本明細書ではベースルミナンスと呼ばれるルミナンスＹ（ｐ）をローパスフィルタリングしたものＹ_ｂａｓｅ（ｐ）が特定される（図３の段階３２０）。例えば、ローパスフィルタリングは、ピクセルｐの空間近傍及びルミナンス値Ｙ（ｐ）の近傍内の１つ又は複数のガウス関数に基づいて、元のＬＤＲデジタル画像１１２の各ピクセルｐのルミナンスＹ（ｐ）に適用することができる。例えば、Ｙ_ｂａｓｅ（ｐ）は、以下の式を通して特定することができる。
Ｙ_ｂａｓｅ（ｐ）＝Σ_ｉ∈Ω’Ｙ（ｐ_ｉ）ｆ’_ｓ（｜｜ｐ_ｉ−ｐ｜｜）ｆ’_ｒ（｜｜Ｙ（ｐ_ｉ）−Ｙ（ｐ）｜｜） （１）
式中、ｆ’_ｓは、画像の空間領域に適用される第１のガウス関数であり、
ｆ’_ｒは、ルミナンス範囲領域に適用される第２のガウス関数であり、
Ω’は、ピクセルｐを中心とする画像窓のサイズであり、
ｐ_ｉはこの窓内のピクセルである。

様々な実施形態では、窓サイズは、例えば、５又は７であることができる。窓サイズの値が小さいほど、よりよい計算効率が可能であり得る。この例では、ローパスフィルタリングは双方向であり、これは、フィルタリングがここでは、空間範囲領域及びルミナンス範囲領域の両方で実行されることを指す。

様々な実施形態では、第１のガウス関数ｆ’_ｓの標準偏差σ_ｓの値は、２以上であることができる。様々な実施形態では、第２のガウス関数ｆ’_ｒの標準偏差σ_ｒの値は、元のＬＤＲ画像１１２でのテクスチャ及びノイズを平滑化するのに十分に高いが、画像の物体間のエッジの交差を回避するのに十分に低い値であることができる。様々な実施形態では、標準偏差σ_ｒの値は、０．１ｍａｘ（Ｙ）〜０．５ｍａｘ（Ｙ）であることができ、ここで、ｍａｘ（Ｙ）は、原画像の全ピクセルにわたる最大ルミナンス値である。様々な実施形態では、空間ガウス関数ｆ’_ｓの標準偏差は、σ_ｓ＝３に設定することができ、ルミナンス範囲ガウス関数ｆ’_ｒの標準偏差は、σ_ｒ＝０．３×ｍａｘ（Ｙ）に設定することができる。

特定されたベースルミナンス（図３の段階３２０）Ｙ_ｂａｓｅ（ｐ）は、ハイパスフィルタリングモジュール４３０に提供することができる。Ｙ_ｂａｓｅ（ｐ）は、拡張マッピングモジュール４４０に提供することもできる。両モジュールについてより詳細に後述する。

ハイパスフィルタリングモジュール４３０は、ベースルミナンスＹ_ｂａｓｅ（ｐ）及び／又はルミナンスＹ（ｐ）からデジタル画像１１２の高周波数細部を抽出し、Ｙ_ｂａｓｅ（ｐ）及びＹ（ｐ）に基づいて、例えば、ルミナンス細部強化マップＹ_{ｄｅｔａｉｌ}（ｐ）を特定する（図３の段階３３０）ように構成される。

例えば、様々な実施形態では、Ｙ_{ｄｅｔａｉｌ}（ｐ）は、まず、
Ｙ’_ｂａｓｅ（ｐ）＝Σ_{ｉ∈Ω’’}Ｙ（ｐ_ｉ）ｆ’’_ｓ（｜｜ｐ_ｉ−ｐ｜｜）ｆ’’_ｒ（｜｜Ｙ（ｐ_ｉ）−Ｙ（ｐ）｜｜）
を特定することにより特定することができ、
式中、ｆ’’_ｓ及びｆ’’_ｒは、上記（ｆ’_ｓ，ｆ’_ｒ）と同じガウス関数であるが、ルミナンス範囲でより大きな標準偏差を有して、画像内のより多くのルミナンス詳細を除去する。
Ω’’は、ピクセルｐを中心とした画像の窓サイズであり、上記と同じサイズを有することができ、
ｐ_ｉはこの窓内のピクセルである。

Ｙ’_ｂａｓｅ（ｐ）は、Ｙ_ｂａｓｅ（ｐ）が特定されるのと同様であるが、より多くのルミナンス詳細を除去するパラメータを用いてＹ（ｐ）をフィルタリングすることにより特定することができる。例えば、様々な実施形態では、空間ガウス関数ｆ’’_ｓの標準偏差は、σ’’_ｓ＝σ’_ｓであるように設定することができ、ルミナンス範囲ガウス関数ｆ’’_ｒの標準偏差は、画像内のより多くのルミナンス詳細を除去する等のように、すなわち、σ’’_ｒ＞σ’_ｒであるように設定することができる。例えば、σ’’_ｒは０．３×ｍａｘ（Ｙ）に等しく設定することができる。

次に、ハイパスフィルタリングモジュール４３０は、例えばＹ_ｂａｓｅ（ｐ）とＹ’_ｂａｓｅ（ｐ）との比率として、ルミナンス細部強化Ｙ_{ｄｅｔａｉｌ}（ｐ）を特定することができる。
Ｙ_{ｄｅｔａｉｌ}（ｐ）＝Ｙ_ｂａｓｅ（ｐ）／Ｙ’_ｂａｓｅ（ｐ） （２４）

次に、デジタル画像１１２にわたる様々な値のＹ_{ｄｅｔａｉｌ}（ｐ）がルミナンス細部強化マップを形成する。σ’’_ｒ＞σ’_ｒであるため、この比率は、デジタル画像１１２でのルミナンス値の高空間周波数の抽出、すなわち、この画像のハイパスフィルタリングに対応する。本開示から逸脱せずに、画像内のルミナンス値の高空間周波数を抽出する、より一般にはルミナンス細部強化マップＹ_{ｄｅｔａｉｌ}（ｐ）を形成する他の方法を使用することもできる。

拡張マッピングモジュール４４０は、Ｙ_ｂａｓｅ（ｐ）に基づいて拡張指数マップＥ（ｐ）を特定することができる（図３の段階３４０）。拡張指数マップＥ（ｐ）は、画像サイズの浮動小数点マップであることができ、このマップでは、各値は、原ＬＤＲ画像１１２内の各ピクセルのＹ（ｐ）に適用される指数を表す。拡張指数マップは、例えば、
Ｅ＝ａ（Ｙ_ｂａｓｅ）^２＋ｂ（Ｙ_ｂａｓｅ）＋ｃ （２）
等の二次関数に基づくことができ、式中、二次関数の係数ａ、ｂ、及びｃは、ＨＤＲディスプレイ１３０の最大表示ルミナンスＬ_ｍａｘに基づいて、以下：
ａ＝ｐ_ａ１ｅｘｐ（ｐ_ａ２Ｌ_ｍａｘ）＋ｐ_ａ３ｅｘｐ（ｐ_ａ４Ｌ_ｍａｘ） （３）
ｂ＝ｐ_ｂ１Ｌ_ｍａｘ ^ｐｂ２＋ｐ_ｂ３ （４）
ｃ＝１．３ （５）
のように特定されるパラメータであることができる。

上記式で使用されるパラメータは、例えば、以下のように設定することができる：ｐ_ａ１＝−８．１９２ｅ−７、ｐ_ａ２＝０．０００３１２、ｐ_ａ３＝１．６５７ｅ−５、ｐ_ａ４＝−０．０００６９６７、ｐ_ｂ１＝０．０５９４１、ｐ_ｂ２＝０．０３１３５、及びｐ_ｂ３＝−０．０７５７９。

このようにして、例えば、拡張指数マップＥの形状は、最大表示ルミナンスに応じて変更することができ、ユーザからの入力を必要とせずに、画像の見た目を制御する大域的な方法を可能にする。

本発明から逸脱せずに、Ｙ_ｂａｓｅ（ｐ）及び／又はＹ（ｐ）に基づいて拡張指数マップＥ（ｐ）を特定する他の方法を使用することもできる。そのようなマップは、例えば、陰影ゾーン、中間トーンゾーン、及びハイライトゾーン等の異なるルミナンスゾーンに別個に特定することができる。これらの異なるルミナンスゾーンでこのマップを別個に特定した後、任意の補間手段を使用して、各ルミナンスゾーンに固有のマップから全体拡張指数マップを取得することができる。

拡張指数マップＥ（ｐ）は逆トーンマッパーモジュール４５０に提供することができ、ここで、Ｅ（ｐ）に基づいて、原ＬＤＲ画像１１２の各ピクセルｐのルミナンスＹ（ｐ）を拡張ルミナンスＹ_ｅｘｐ（ｐ）に逆トーンマッピングすることができる。様々な実施形態では、Ｙ_ｅｘｐ（ｐ）２３７はピクセルのルミナンスＹ（ｐ）の、拡張指数Ｅ（ｐ）値乗であることができる。

図４Ａの逆トーンマッパーモジュール４５０に含まれるモジュールの詳細図を提供する図４Ｂで見ることができるように、逆トーンマッパーモジュールは、本開示のノイズ除去が実行される場所である。

拡張は指数関数を通して行われるため、Ｙ中のノイズ及び他のアーチファクトは必然的に増幅される。この問題は、上で示されたように、ローパスフィルタリングルミナンスＹ_ｂａｓｅを使用して、拡張指数Ｅを計算することによりある程度管理されるが、幾つかの場合−特にフィルム粒子が存在する場合、増幅は、画像処理１２０により提供されるＨＤＲ画像の視覚的品質に影響を及ぼすのに十分強い。これを回避するために、ルミナンス拡張ステップは、別個に計算することができるエッジマップに基づいてノイズ除去効果を実行するように構成される。このプロセスは、多くの場合、アーティストがより多くの細部を維持することを好むエリアを平滑化しがちであるため、任意選択的であるべきであり、制御可能であるべきであることに留意されたい。

本明細書に記載されるノイズ除去手法は、画像の細部及びエッジを過度に平滑化せずにノイズ及び粒子の可視性を低減することを目的とする。この手法の主要概念は、デジタル画像１１２のピクセルｐ毎に、そのピクセルの周囲の隣接内容に応じて、このピクセルのルミナンスＹを拡張するか、それともローパスフィルタリングルミナンスＹ_ｂａｓｅを拡張するかを選ぶことができることである。ｐ周囲のピクセルブロックを分析することにより、このピクセルが平滑エリアに属するか、それともこの画像１１２内のエッジ近くにあるかを判断することができる。エリアが平滑である場合、細部を失わずに、ルミナンスの拡張への入力として、ローパスフィルタリングルミナンスＹ_ｂａｓｅを使用することができる。他方、近傍にエッジがある場合、フィルタリングされていないルミナンスＹを拡張して、エッジの平滑化を回避する。

エッジマッピングモジュール４５２は、ノイズ除去の最初のステップである、ローパスフィルタリングルミナンスＹ_ｂａｓｅのブロックベースの分析を使用して得られるエッジマップＭの計算（図３の段階３５０）を提供する。これは効率的に、単純なエッジ検出器として見ることができ、ソベルフィルタ又は均等物を用いての畳み込みを使用して同様の結果を達成することができる。しかし、フィルタリング後、応答の大きさをとり、符号を無視することに留意する。

例えば、画像のローパス版Ｙ_ｂａｓｅ内のピクセルｐ毎に、例えば、サイズｂ×ｂを有するピクセルｐの周囲のピクセルブロックＢ_ｐを考慮する。このピクセルブロック内で、以下のように、デジタル画像１１２内のエッジマップを計算することができる。

なお、この公式によれば、分析は好ましくは、フィルタリングされないルミナンス層Ｙの代わりに、ローパスフィルタリングルミナンス層Ｙ_ｂａｓｅに対して実行される。その理由は、ローパスフィルタリングルミナンス層Ｙ_ｂａｓｅが、ノイズ及び粒子が大方除去されるはずであるように既にフィルタリングされているためである。したがって、このエッジ検出器は、上述したガウスローパスフィルタリングステップ（ステップ３２０）に生き残るのに十分に強い画像細部及びエッジのみに応答する。Ｍ（ｐ）の値は、ブロックＢ_ｐ内にエッジがある場合、高く、ブロックＢ_ｐが平滑エリアに対応する場合、低く、例えば、以下に示される次のステップで、拡張をいかに適用するかを判断できるようにする。これは、エッジマップ中のピクセルｐに関連する値Ｍ（ｐ）が、デジタル画像１１２内、特にこのピクセルを中心としたブロック内のこのピクセルの周囲エッジ及び／又は勾配を表すことを意味する。

エッジマップＭ（ｐ）の計算に使用されるブロックのサイズｂは、パラメータとして機能することができる。ブロックが大きいほど、より遠くのエッジ及び細部がカウントされることになるため、ノイズ除去はより保守的になるが、各ブロックで評価されるピクセル数が多くなるため、より多くの計算リソースも使用する。図５Ａ及び図５Ｂは、ブロックサイズの変更の効果を示す。図５Ａでは、ブロックサイズはｂ＝５である。図５Ｂでは、ブロックサイズはｂ＝１５である。

エッジマップの計算に使用される上記式の代わりに、任意の他の既知のエッジ検出アルゴリズムを使用することもできる。そのようなエッジマップは、デジタル画像１１２の各ピクセル周囲のエッジ及び／又は勾配を表すものとして見なされる。

前ステップからエッジマップＭ（ｐ）を取得した後、このエッジマップを使用して、ルミナンスの逆トーンマッピングをガイドし（図３の段階３６０）、いくらかのノイズを除去等することができる。ここでは、閾値τを超えるエッジレベルＭ（ｐ）を有する任意のピクセルｐの拡張ルミナンスＹ_ｅｘｐ（ｐ）を得るために、画像１１２の任意のピクセルｐで、拡張指数Ｅ（ｐ）をこのピクセルのルミナンスＹ（ｐ）に直接適用する代わりに、拡張指数Ｅ（ｐ）を画像ルミナンスＹ（ｐ）とローパスフィルタリングルミナンスＹ_ｂａｓｅ（ｐ）との加重結合に適用する。この加重結合では、ピクセルｐのローパスフィルタリングルミナンスＹ_ｂａｓｅ（ｐ）の重みαは、このピクセル周囲のエッジ及び／又は勾配を表す値Ｍ（ｐ）に比例し、同じピクセルｐのフィルタリングされないルミナンスＹ（ｐ）の重み（１−α）は、このピクセルｐ周囲のエッジ及び／又は勾配を表す同じ値Ｍ（ｐ）に反比例する。例えば、この結合は以下の加重和である：

式中、αは好ましくは、

であり、閾値τは、例えば、１０に等しい。

閾値が低いほど、実際に平滑なエリアのみに適用されるという意味で、ノイズ除去をより保守的にし、一方、閾値が高いほど、ノイズ除去をより一般的に適用することができるが、これはまた、画像のより多くの細部を平滑化する。例えば、図６Ａ及び図６Ｂの画像を参照のこと。

拡張ルミナンスＹ_ｅｘｐ（ｐ）は、細部強化モジュール４６０に提供することができる。細部強化モジュール４６０は、このピクセルのルミナンス細部強化Ｙ_{ｄｅｔａｉｌ}（ｐ）を適用することにより、ピクセルｐの拡張ルミナンスＹ_ｅｘｐ（ｐ）を強化することができる。例えば、強化拡張ルミナンスＹ’_ｅｘｐ（ｐ）は、拡張ルミナンスと、ハイパスフィルタリングモジュール４３０により提供されるルミナンス細部強化との積に基づいて特定することができる：例えば、
Ｙ’_ｅｘｐ（ｐ）＝Ｙ（ｐ）^Ｅ（ｐ）×［Ｙ_{ｄｅｔａｉｌ}（ｐ）］^ｄ
であり、
式中、ｄは細部強化パラメータである。この細部強化パラメータｄは、ルミナンス細部マップＹ_{ｄｅｔａｉｌ}（ｐ）により適用される細部強化量を制御することができる。例えば、ｄの値を増大すると、画像エッジのコントラストが増大する。様々な実施形態では、ｄ＝１．５の値を使用することができる。

上述したように原ＬＤＲ画像のルミナンスを拡張する場合、ルミナンス変更及びコントラスト変更は、画像の色の外観及び飽和に影響を及ぼし得る。これに関して、画像の色情報は、色飽和モジュール４７０により調整し得る。例えば、色飽和モジュール４７０を使用して、画像の色に関してアーティストの意図を保存することができる。様々な実施形態では、色の飽和は、ガイドとして拡張指数値を使用して強化することができる。より具体的には、各ピクセルの色の飽和は、ピクセルのゾーン拡張指数マップＥ（ｐ）に基づいて強化することができる。

例えば、ピクセルｐの色の飽和は、ピクセルのクロマ値Ｃ（ｐ）を調整することにより拡張することができる。クロマ値は、ＹＵＶ空間の円筒形版において以下のように特定することができる。

調整されたクロマ値Ｃ’（ｐ）は、ピクセルｐのゾーン拡張指数マップＥ（ｐ）と、ピクセルのクロマ値Ｃ（ｐ）との積として特定することができる。
Ｃ’（ｐ）＝Ｅ（ｐ）×Ｃ（ｐ）

様々な実施形態では、Ｃ（ｐ）をＣ’（ｐ）に変換するクロマスケーリングは、１．５の係数に制限して、ハイライトの過度の飽和を回避し、例えば、光の爆発及び明るい光を回避することができる。

Ｃ’（ｐ）のこれらの新しい値を用いて、ここではＬＣＨ等の円筒形色空間からＹＵＶ空間に変換することにより、クロミナンスの強化値Ｕ’（ｐ）及びＶ’（ｐ）２４１を計算することができる。
Ｕ’（ｐ）＝ｃｏｓ［Ｈ（ｐ）］×Ｃ’（ｐ）
Ｖ’（ｐ）＝ｓｉｎ［Ｈ（ｐ）］×Ｃ’（ｐ）
式中、Ｈ（ｐ）は、以下のような元のＵ（ｐ）及びＶ（ｐ）から計算される元の色相である。
Ｈ（ｐ）＝ａｒｃｔａｎ［Ｖ（ｐ），Ｕ（ｐ）］

画像再結合モジュール４８０は、クロミナンスの強化値Ｕ’（ｐ）及びＶ’（ｐ）２４１を強化拡張ルミナンスＹ’_ｅｘｐ（ｐ）２３９と結合して、拡張ＨＤＲ画像１２２、すなわち、デジタル画像１１２の高ダイナミック版を取得し提供することができる。

拡張ＨＤＲ画像１２２は、ＨＤＲ表示デバイス１３０に表示することができる。当然ながら、拡張ＨＤＲ画像が、表示前、ＲＧＢ等の表示デバイスの色空間に変換される必要があり得ることを当業者は理解する。本実施形態では、それはＲＧＢ変換モジュール４９０により扱われる。

モジュール４６０、４７０、４８０、４９０の組み合わせは、ダイナミックレンジが拡張された画像を提供する（図３の段階３７０）。図１に示されるように、これらの拡張色に基づく拡張画像１２２はここで、ピークルミナンスＬ_ｍａｘを有する表示デバイス１３０に送信して、高ダイナミックレンジ内で再現する準備ができている。異なる閾値を使用するそのような出力の例は、図６Ａ及び図６Ｂに見ることができる。

図６Ａでは、閾値τ＝５０が、Ｙ_ｅｘｐの特定に使用され、ノイズ低減に繋がるが、細部も平滑化される（例えば、画像の下部にある複数の顔）。これとは対照的に、図６Ｂのように（τ＝５）、小さな閾値がＹ_ｅｘｐの特定に使用される場合、細部及びノイズの両方がより目に見える。しかし、両事例で、彫像と背景との間の鮮鋭なエッジは鮮鋭なままである。

本発明を特定の例及び好ましい実施形態に関して説明したが、本発明がこれらの例及び実施形態に限定されないことが理解される。したがって、特許請求の範囲に記載される本発明は、当業者に明らかであるように、本明細書に記載される特定の例及び好ましい実施形態からの変形を含む。特定の実施形態の幾つかは別個に説明され請求項に記載し得るが、本明細書で説明され請求項に記載される様々な特徴が組み合わせて使用可能なことが理解される。請求項に現れる参照番号は、単なる例示としてのものであり、特許請求の範囲に対して制限効果を持たないものとする。

Claims (9)

1. クロミナンスからルミナンス（Ｙ）を分ける色空間で表される色に関連付けられたピクセルにより定義されるデジタル画像（１１２）から、拡張ダイナミックレンジ画像を提供する方法であって、
   前記画像のピクセルのルミナンス値Ｙ（ｐ）を逆トーンマッピングすること（３６０）と、
   前記逆トーンマッピングされたルミナンス値に基づいて、拡張ダイナミックレンジ画像（１２２）を提供すること（１０６）と、を含み、
   少なくとも１つのピクセルのルミナンス値Ｙ（ｐ）の前記逆トーンマッピング（３６０）は、前記デジタル画像での前記少なくとも１つのピクセルの周囲のエッジ及び／又は勾配を表す情報Ｍ（ｐ）に基づく、方法。
2. 前記少なくとも１つのピクセルの周囲のエッジ及び／又は勾配を表す前記情報Ｍ（ｐ）は、エッジ検出アルゴリズムを前記少なくとも１つのピクセルの周囲のピクセルに適用することにより得られる、請求項１に記載の拡張ダイナミックレンジ画像を提供する方法。
3. 前記エッジ検出アルゴリズムは、前記周囲ピクセルのローパスフィルタリングルミナンス値Ｙ_ｂａｓｅ（ｐ）に適用される、請求項２に記載の拡張ダイナミックレンジ画像を提供する方法。
4. ピクセルの前記逆トーンマッピングは、前記ピクセルの拡張指数値Ｅ（ｐ）を前記ピクセルの前記ルミナンス値Ｙ（ｐ）に適用することを含む、請求項１から３のいずれか一項に記載の拡張ダイナミックレンジ画像を提供する方法。
5. 前記少なくとも１つのピクセルの周囲のエッジ及び／又は勾配を表す情報Ｍ（ｐ）に基づく、前記少なくとも１つのピクセルの前記逆トーンマッピング（３６０）は、前記少なくとも１つのピクセルの拡張指数値Ｅ（ｐ）を前記少なくとも１つのピクセルのローパスフィルタリングルミナンスＹ_ｂａｓｅ（ｐ）と前記ルミナンスＹ（ｐ）との加重結合に適用することを含み、前記ローパスフィルタリングルミナンスＹ_ｂａｓｅ（ｐ）に割り当てられる重みは、前記少なくとも１つのピクセルの周囲のエッジ及び／又は勾配を表す値Ｍ（ｐ）に比例し、前記ルミナンスＹ（ｐ）に割り当てられる重みは、前記少なくとも１つのピクセルの周囲のエッジ及び／又は勾配を表す前記値Ｍ（ｐ）に反比例する、請求項４に記載の拡張ダイナミックレンジ画像を提供する方法。
6. 前記結合は合算である、請求項５に記載の拡張ダイナミックレンジ画像を提供する方法。
7. 前記少なくとも１つのピクセルの周囲のエッジ及び／又は勾配を表す値Ｍ（ｐ）は、閾値τ以上である、請求項６に記載の拡張ダイナミックレンジ画像を提供する方法。
8. クロミナンスからルミナンス（Ｙ）を分ける色空間で表される色に関連付けられたピクセルにより定義されるデジタル画像から、拡張ダイナミックレンジ画像を提供する装置であって、請求項１から７のいずれか一項に記載の方法を実施するように構成される処理ユニットを含む、装置。
9. 請求項１から７のいずれか一項に記載の方法を実行するように実行可能なコンピュータ実行可能命令を記憶する非一時的コンピュータ可読媒体。