JP2005526408A - デジタル画像の自動画質向上 - Google Patents

Abstract

【課題】良好な画質であると認識される画像を自動的に作成するデジタル画像画質向上方法および画質向上装置を提供する。
【解決手段】本発明は、デジタル画像の画質向上方法を提供する。この方法は、ａ）デジタル画像内で人間の顔を特定するステップと、ｂ）デジタル画像を分析するステップであって、該分析は、前記ステップａ）で特定された人間の顔の分析を含み、かつ、デジタル画像の全体としての分析を含む、分析するステップと、ｃ）デジタル画像の画質を向上させるトーンマッピング関数を決定するステップであって、該トーンマッピング関数は、ステップａ）で特定された顔の分析および画像の全体としての分析の双方を使用して決定される、トーンマッピング関数を求めるステップと、ｄ）画質向上したデジタル画像を作成するように、ステップｃ）で決定されたトーンマッピング関数をデジタル画像に適用するステップと、を有する。

Description

本発明は、デジタル画像処理の分野に関する。特に、本発明は、デジタル画像の画質向上方法および画質向上装置に関する。

デジタルカメラおよびスキャナは、近年、デジタル画像の作成用にますます人気が高くなってきている。デジタルカメラおよびスキャナのコストが最近低下していることにより、プロに代わって、アマチュアユーザにより、ますます多くのデジタル形式での写真映像が作成、伝送、および保存が次第にされてきている。プロの写真と異なり、アマチュアユーザが作成した写真は、画質が低いという難点を有する傾向がある。これらの画質の問題は、露出不足、露出オーバ、不十分な照明条件、ピントはずれ、不適切な走査プロセスなどから生じる。

上記理由により、アマチュアであっても使用できるように、ユーザに必要とされる入力を最少にし、主に自動的に機能するようにして映像品質を保証する方法を設計することが重要である。ポイントアンドシュートカメラ（point-and-shoot camera、被写体に向けてボタンを押すだけの簡単カメラ）は、この要件を満たすように設計された製品の好例である。

デジタル処理方法は、通常、映像取得段階、すなわち露出設定、フォーカス制御などに集中している。デジタルカメラ設計の技術水準は、従来のアナログフィルムのカメラを模することにより、かなり順調に進んできた。しかしながら、映像品質は、部分的には心理的な問題であることから、カメラの設計は、品質の問題のすべてを解決することができない。

画質を改善する画像画質向上（image enhancement）アルゴリズムを含んだデジタル後処理方法（digital post-processing method）が設計されてきた。最近の画像画質向上アルゴリズムの中では、ピクセル値の分布を調整して、より高い品質を生み出すトーンマッピング（tone mapping）アルゴリズムが一般に使用される。トーンマッピングアルゴリズムの使用は、衛星写真、航空写真、および医療画像ではかなり成功してきた。これらの用途では、画質向上の主な目的は、画像の細部を示すことである。しかしながら、一般消費者の写真の場合、画質向上は、数学的な問題というよりは心理的な問題であり、細部の表示は、必ずしも、品質評価の重要な因子ではないので、これらのアルゴリズムは、一般消費者の写真に対して良好に機能しない。

最近、一般消費者の映像用のデジタル画像画質向上を行ういくつかのコンピュータプログラムが開発されてきた。デジタル画像画質向上を提供する成功したプログラムの例は、Adobeによって製造されたソフトウェア製品であるPhotoshopである。Photoshopは、大量の（large repository）処理ツールを含むが、自動処理を提供していない。ユーザは、自身の判断に基づいて、自身の映像に適したツールおよびパラメータを選択しなければならない。したがって、これは、アマチュアユーザは、使用に適したツールまたは指定に適したパラメータを容易に判断できないので、アマチュアユーザにとって良いツールではない。

必要とされるものは、良好な画質であると認識される画像を作成するデジタル画像画質向上方法および画質向上装置である。特に、アマチュアユーザに良好な画質であると認識される画質向上したデジタル画像を作成するデジタル画像の画質向上方法および画質向上装置が必要とされる。また、必要とされるものは、上記ニーズに合致し、かつ、自動的である方法および装置である。さらに、上記ニーズに合致し、かつ、ユーザ入力を必要としないデジタル画像画質向上方法および画質向上装置が必要とされる。

本発明は、自動的であり、かつ、ユーザ入力を必要としないデジタル画像の画質向上方法および画質向上装置を提供する。さらに、本発明の方法および装置は、良好な画質であると認識される画質向上した画像を作成する。

一般消費者の写真の大多数は、人間の顔を含む。最近の心理学の研究によると、顔の領域の明度が、映像の品質評価に重要な役割を果たす。本発明のデジタル画像の画質向上方法は、この心理的因子を取り入れて、良好な画質であると認識される画質向上した画像を作成する。

本発明の一実施形態では、各デジタル画像は、その元のフォーマットから、簡単な操作に適したフォーマットに変換される。本実施形態では、デジタル画像は、その元のフォーマットからＣＩＥ Ｌ^＊ａ^＊ｂ^＊色空間に変換される。デジタル画像の元のフォーマットからＬ^＊ａ^＊ｂ^＊色空間へのデジタル画像の変換は、１９９６年９月のAdrian FordおよびAlan Roberts著「Color Space Conversions」に、より十分に説明されている。この文献は、www.inforamp.net/~poynton/PDFs/coloureq.pdfで利用可能である。結果として生じたフォーマットは、画像の各ピクセルの明度を表すＬ^＊成分を含む。また、このフォーマットは、画像の各ピクセルの色の特徴を表すａ^＊成分およびｂ^＊成分も含む。

本発明のデジタル画像の画質向上方法は、デジタル画像内で人間の顔を探す。本実施形態では、顔検出アルゴリズムが、人間の顔の検出に使用される。次に、デジタル画像は分析される。この分析には、人間の顔であると判断された領域の分析、および、デジタル画像の全体としての分析が含まれる。次に、デジタル画像の画質を向上させるトーンマッピング関数が求められる。このトーンマッピング関数は、検出された顔の分析および画像の全体としての分析の双方を使用して求められ、それによって、心理的因子（例えば、平均の顔領域の明度および平均の映像明度）と、信号因子（例えば、デジタル解像度、顔領域のコントラスト、ヒストグラム均一性（histogram uniformity）、および雑音問題（noise issue））との双方を取り入れたトーンマッピング関数が得られる。

次に、画質向上したデジタル画像を作成するために、トーンマッピング関数がデジタル画像に適用される。一実施形態では、トーンマッピング関数は、各ピクセル要素に直接適用されて、画質向上したデジタル画像が得られる。本発明の別の実施形態では、トーンマッピング関数を表すルックアップテーブルが生成される。このルックアップテーブルは、デジタル画像全体に適用されて、画質向上したデジタル画像をマッピングする。より詳細に、本実施形態では、各明度（Ｌ^＊）成分は、変更されたトーン値を有する画質向上したデジタル画像が生成されるように、ルックアップテーブルに格納された値に従って変更される。色の特徴を表す成分は変更されない（すなわち、ａ^＊成分およびｂ^＊成分は変更されない）。

本発明は自動的である。すなわち、ユーザは、本発明の方法を実行するプログラムのオペレーションを起動する必要があるだけである。その後、本発明のステップのすべては、自動的に実行される。したがって、ユーザは、従来技術の方法で必要とされるように、使用に適したツールを判断するためにさまざまなツールを選択する必要はない。

本発明の方法および装置では、ユーザは、いかなる入力も供給する必要はない。したがって、ユーザは、従来技術の方法によって必要とされるように、指定されなければならないさまざまなパラメータを判断する必要はない。

したがって、本発明の方法および装置は、アマチュアが、従来技術のプロセスによって必要とされるように、使用に適したツールを判断する必要かまたは、指定する適切なパラメータを判断する必要もないので、アマチュアにとって優れたツールである。さらに、本発明の方法および装置は、ユーザが、本発明の方法を実行するように動作できるプログラムの起動以外の動作を行う必要がないので、使用が簡単である。また、本発明の方法および装置は、良好な画質であると認識される画質向上した画像を作成する。

本発明は、これらの利点、および、本発明による実施形態の以下の詳細な説明を読んだ後、当業者には間違いなく明らかになる他の利点を提供する。

次に、本発明の好ましい実施形態を詳細に参照する。この好ましい実施形態の例は、添付図面に示されている。本発明は、好ましい実施形態と共に説明されるが、これらの好ましい実施形態は、本発明を当該実施形態に限定することを意図したものでないことが理解される。それとは逆に、本発明は、特許請求項によって画定される本発明の精神および範囲内に含まれ得る代替形態、変更形態、および均等物を網羅するよう意図される。さらに、本発明の以下の詳細な説明では、本発明の十分な理解を提供するために、多数の具体的な詳細が述べられる。しかしながら、本発明は、これらの具体的な詳細がなくても実践可能であることが当業者には明らかであろう。それ以外の例では、本発明の態様を不必要に分かりにくくしないように、周知の方法、手順、コンポーネント、および回路は、詳細に説明されていない。

以下の詳細な説明のいくつかの部分は、コンピュータ内またはデジタルシステムメモリ内のデータビットに対するオペレーションの手順、論理ブロック、処理、および他のシンボル表現の観点から示されている。これらの説明および表現は、データ処理技術の当業者が、他の当業者にその作業の内容を最も効率的に伝達するために使用する手段である。手順、論理ブロック、プロセスなどは、本明細書において、また、一般的に、望ましい結果につながる首尾一貫したシーケンスのステップまたは命令であると考えられる。ステップは、物理量の物理的な操作を必要とするものである。通常、必ずしも必要ではないが、これらの物理的な操作は、コンピュータシステムまたは同様の電子計算装置において格納、転送、結合、比較、およびそれ以外の操作が可能な電気信号または磁気信号の形を取る。便宜上、一般の使用を参照して、これらの信号は、ビット、値、要素、シンボル、文字、用語、数字などと呼ばれる。

しかしながら、これらの用語のすべては、物理的な操作および物理量を参照するものとして解釈されるべきであり、また、単に便利なラベルにすぎず、さらに、当該技術分野で一般に使用される用語を考慮して解釈されるべきであることを留意すべきである。特に言及しない限り、以下の解説から明らかなように、本発明の解説の全体を通して、例えば、「求める」、「探す」、「分析する」、「適用する」、「計算する」などの用語を利用する解説は、データの操作および変換を行うコンピュータシステムまたは同様の電子計算デバイスの動作およびプロセスをいうことが理解される。データは、コンピュータシステムのレジスタおよびメモリ内では物理（電子）量として表され、コンピュータシステムのメモリもしくはレジスタまたは他のこのような情報記憶装置、伝送デバイス、もしくは表示デバイス内で物理量として同様に表される他のデータに変換される。

本発明による代表的なコンピュータシステム
図１は、本発明によって使用される代表的なコンピュータシステム１００の一実施形態のブロック図である。本実施形態のシステム１００は、複数の種々のタイプのコンピュータ（例えば、ポータブルラップトップコンピュータ、デスクトップコンピュータ、サーバコンピュータ、個人情報端末、パームトップコンピュータなど）のいずれでの実施にも十分適していることが十分に理解されるべきである。以下の本発明の解説では、一実施形態でコンピュータシステム１００のコンピュータ読み出し可能メモリユニット内に存在する一連の命令（例えばソフトウェアプログラム）として実現されて、システム１００のプロセッサ（複数可）によって実行されるある一定のプロセスおよびステップが考察される。命令が実行されることにより、システム１００は、特定の動作を行い、以下に詳細に説明する特定の挙動を示す。

一般に、本発明の一実施形態によって使用される図１のコンピュータシステム１００は、情報を通信するアドレス／データバス１１０を含む。１つまたは２つ以上の中央プロセッサ１０２は、バス１１０に連結されて、情報および命令を処理するようにする。中央プロセッサ装置１０２は、マイクロプロセッサであってもよいし、他の任意のタイプのプロセッサであってもよい。また、コンピュータシステム１００は、例えば、コンピュータが使用可能な揮発性メモリユニット１０４（例えばランダムアクセスメモリ、スタティックＲＡＭ、ダイナミックＲＡＭなど）、およびコンピュータが使用できる不揮発性メモリユニット１０６（例えば読み出し専用メモリ、プログラマブルＲＯＭ、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭなど）といったデータ記憶機構も含む。揮発性メモリユニット１０４は、バス１１０に連結されて、中央プロセッサ（複数可）１０２の情報および命令を格納するように、不揮発性メモリユニット１０６は、バス１１０に連結されて、プロセッサ（複数可）１０２の静的な情報および命令を格納するようにする。また、システム１００は、任意選択で、信号入出力デバイス１０８も含む。この信号入出力デバイス１０８は、バス１１０に連結されて、システム１００が、他の電子デバイスとやりとりすることを可能にするようにする。本発明の一実施形態では、通信インターフェース１０８は、シリアル通信ポートであるが、シリアル通信ポートの代わりに、複数の既知の通信標準およびプロトコルのうちの任意のものとすることもでき、例えば、ユニバーサルシリアルバス（ＵＳＢ）、イーサネット、ファイアワイア（ＩＥＥＥ１３９４）、パラレルの小型コンピュータ用周辺機器インターフェース（ＳＣＳＩ）、赤外線（ＩＲ）通信、Ｂｌｕｅｔｏｏｔｈ無線通信などとすることもできる。

任意選択で、コンピュータシステム１００は、バス１１０に連結されて、グラフィックスおよび／またはビデオを表示する表示デバイス１１２を備えることができる。オプションの表示デバイス１１２は、陰極線管（ＣＲＴ）、フラットパネル液晶ディスプレイ（ＬＣＤ）、電界放出ディスプレイ（ＦＥＤ）、またはユーザに認識可能なビデオおよび／もしくはグラフィックス画像ならびに英数字を表示するのに適した他の任意の表示デバイスであってもよいことが理解されるべきである。さらに、システム１００は、オプションの英数字入力デバイス１１４を備えることができる。この英数字入力デバイス１１４には、バス１１０に連結されて、中央プロセッサ（複数可）１０２に情報およびコマンド選択を通信するための英数字キーおよびファンクションキーが含まれる。

加えて、図１の計算デバイス１００は、オプションのカーソル制御器またはカーソル指示デバイス１１６を備えることができる。このカーソル指示デバイス１１６は、バス１１０に連結されて、中央プロセッサ（複数可）１０２に入力情報およびコマンド選択を通信する。カーソル指示デバイス１１６は、例えばマウス、トラックボール、トラックパッド、光追尾デバイス、タッチスクリーンなどの複数の既知のデバイスを使用して実施することができる。あるいは、特別なキーおよびキーシーケンスコマンドを使用した英数字入力デバイス１１４からの入力を介してカーソルの指示および／または起動を行うことが可能であることが理解される。また、本発明は、例えば、音声コマンドといった他の手段によってカーソルを指示することにも十分適している。さらに、カーソル指示デバイス１１６は、赤外線信号通信機能を有するリモコンデバイス（例えば、複数のボタン、ダイアルなどを有するユニバーサルリモコンデバイス）であってもよい。システム１００は、コンピュータが使用可能な大容量データ記憶デバイス１１８を備えることもできる。この大容量データ記憶デバイス１１８は、例えば、バス１１０に連結されて情報および命令を格納する磁気ディスクまたは光ディスクおよびディスクドライブといったものである。

自動化されたデジタル画像画質向上方法
図２および図３は、本発明の実施形態に従って実行される、自動化されたデジタル画像画質向上のステップを示す方法２００および方法３００を示している。方法２００および方法３００は、本発明のプロセスを含む。このプロセスは、一実施形態では、コンピュータ読み出し可能で、かつ、コンピュータ実行可能な命令の制御のもとでプロセッサおよび電気コンポーネントによって実行される。コンピュータ読み出し可能で、かつ、コンピュータ実行可能な命令は、例えば、図１のコンピュータが使用可能な揮発性メモリ１０４および／またはコンピュータが使用可能な不揮発性メモリ１０６といったデータ記憶機構に存在する。しかしながら、コンピュータ読み出し可能で、かつ、コンピュータ実行可能な命令は、任意のタイプのコンピュータ読み出し可能媒体に存在してもよい。本発明の一実施形態では、本発明の方法を実行する命令を格納するのに、コンピュータ読み出し可能媒体が使用される。この実施形態では、コンピュータ読み出し可能媒体は、例えばディスクドライブ、磁気テープ、コンパクトディスク（ＣＤ）、ＤＶＤ（デジタル多用途ディスクまたはデジタルビデオディスク）といった磁気記憶デバイスまたは光記憶デバイスである。さらに別の実施形態では、本発明の方法は、伝送媒体に具体化されるコンピュータ命令信号（当該信号が変調される搬送波を有するかまたは有しない）を使用して実行される。例えば、この伝送媒体には、インターネットといった通信ネットワークが含まれ得る。

図２および図３の方法２００および方法３００には、具体的なステップが開示されるが、このようなステップは代表的なものである。すなわち、本発明は、さまざまな他のステップ、または、図２および図３に列挙したステップの変形を実行することにも十分適している。本実施形態では、方法２００および方法３００のステップが、ソフトウェアもしくはハードウェア、または、ソフトウェアおよびハードウェアの任意の組み合わせによって実行可能であることが理解されるべきである。

図２および図３のステップ２０１に示すように、人間の顔がデジタル画像内で探される。本実施形態では、デジタル画像内の顔を探すために、顔検出アルゴリズムがデジタル画像に適用される。一実施形態では、ニューラルネットワークベースのアルゴリズムがデジタル画像に適用されて、デジタル画像内のあらゆる顔が特定される。

図２に示す実施形態では、デジタル画像の分析および操作を行うために、デジタル画像は、当該デジタル画像の受信フォーマットを使用するか、または、複数の種々の共通フォーマットのうちの任意のものを使用して操作することができる。

図３に示す実施形態では、ステップ３１０に示すように、各デジタル画像は、その元のフォーマットからＬ^＊ａ^＊ｂ^＊の色空間に変換される。便宜上、詳細な説明の残りの部分では、Ｌ^＊ａ^＊ｂ^＊の色空間に関して本発明を説明する。しかしながら、他のフォーマットおよび対応するトーンマッピングの値も使用可能であることが理解される。

ステップ２０２に示すように、デジタル画像が分析される。本実施形態では、この分析には、ステップ２０１で探された顔の分析、および、デジタル画像の全体としての分析が含まれる。

ステップ２０２を続けて、本実施形態では、人間の顔であると特定された画像の領域が分析されて、平均顔領域明度（Ｌ_ｆ）が求められる。平均顔領域明度は、デジタル画像に検出された人間の顔のＬ^＊レベルの平均を計算することにより求めることができる。本実施形態では、人間の顔が分析されて、顔領域コントラストも求められる。

本実施形態では、映像全体が分析されて、平均映像明度（Ｌ_ｐ）が求められる。平均映像明度は、映像全体のＬ^＊レベルの平均を計算することにより求めることができる。映像全体が分析されて、デジタル解像度およびヒストグラムの均一性（histogram uniformity）も求められる。

次に、ステップ２０３に示すように、トーンマッピング関数が求められて、デジタル画像の画質を向上させるようにする。本実施形態では、トーンマッピング関数は、１つの入力値を１つの出力値のみにマッピングする１次元グローバル関数である。一実施形態では、トーンマッピング関数は、デジタル画像に含まれる顔領域の測定だけでなく画像全体の統計的測定にも基づく。本実施形態では、顔領域（複数可）が、対象となる領域として取り扱われ、画像全体と比較してトーンマッピング関数を求めるのに独立に取り扱われる。

本実施形態では、トーンマッピング関数を求めるのに、信号因子（デジタル解像度、顔領域コントラスト、ヒストグラム均一性、および雑音問題）に加えて、顔領域明度および平均画像明度の心理的因子が使用される。

トーンマッピング関数は、トーンマッピング曲線によってグラフの形式で表現することができる。本実施形態では、トーンマッピング曲線は、整数ｘおよび整数ｙの双方が０から２５５までの範囲にある整数から整数へのマッピング曲線である。これは、従来のＬ^＊ａ^＊ｂ^＊フォーマット内の明度（Ｌ）の範囲に一致する。しかしながら、異なるフォーマットに対応するために、それ以外の範囲を使用することができる。

図３に示す実施形態では、トーンマッピング関数は、まず、ステップ３１１に示すように、トーンマッピング曲線を設計し、ステップ３１２に示すように、そのトーンマッピング曲線を使用してルックアップテーブルを生成することにより求められる（ステップ２０２）。

ステップ２０４に示すように、ステップ２０２で求められたトーンマッピング関数は、画質向上したデジタル画像を生成するために、デジタル画像に適用される。図３に示す実施形態では、トーンマッピング関数は、ルックアップテーブルを使用してＬ^＊値をマッピングすることによりデジタル画像に適用される。より詳細には、本実施形態では、デジタル画像内のそれぞれのＬ^＊値は、ルックアップテーブルからの対応するＬ^＊値と取り替えられる。それによって、元のデジタル画像のトーン値が変更されて、画質向上したデジタル画像が生成される。

図３に示す実施形態では、デジタル画像は、その元のフォーマットに再び変換される。より詳細には、画像は、Ｌ^＊ａ^＊ｂ^＊フォーマットから元のフォーマット、すなわち「色空間」に再び変えられる。

本実施形態では、図２および図３のステップ２０１からステップ２０４ならびに図３のステップ３１０〜３１４は、自動的に、かつ、ユーザの入力なしに実行される。一実施形態では、方法２００および方法３００のステップは、本発明の方法を実行するコンピュータプログラムを起動すると、このコンピュータプログラムによって実行される。その後、このコンピュータプログラムは、方法２００および方法３００のステップを自動的に実行し、その結果、画質向上したデジタル画像が生成される。本実施形態では、このプログラムは、画質向上したデジタル画像の結果出力を得るために、ユーザが入力を供給することも必要とせず、さまざまなオプションの選択を行うことも必要としない。

本発明のトーンマッピングプロセスは、Ｌ^＊値を変更するだけであり、ａ^＊成分およびｂ^＊成分は変更されない。このアプローチは、デジタル画像の明度分布を改善する一方、元の色情報は維持される。

トーンマッピング
ａ．心理的因子
人間の目は、現在の注視点を中心とした視野の比較的小さなレベルの角度に素早く適合するので、絶対的な輝度の相違ではなく相対的な輝度の相違にのみ反応する。したがって、本発明のトーンマッピング関数の心理的因子は、平均顔領域明度（Ｌ_ｆ）および平均映像明度（Ｌ_ｐ）の２つの側面から設計される。

人間の観察者は、人間の顔明度Ｌ_ｆおよび映像明度Ｌ_ｐの双方が、最適な人間の顔明度（Ｌ^Ｏ _ｆ）および最適な映像明度（Ｌ^Ｏ _ｐ）という特定の最適値にマッピングされることを好むということが判明している。人間の顔明度Ｌ_ｆおよび映像明度Ｌ_ｐは、画像の主観的な品質評価に影響を与える際に結合される。しかしながら、最適な人間の顔明度Ｌ^Ｏ _ｆおよび最適な映像明度Ｌ^Ｏ _ｐという２つの最適値は、特定のデジタル画像に常に得られるとは限らない。例えば、１つの明るい顔が１つの暗い背景で取得されていることがある。

映像品質の人間の評価は、人間の顔明度Ｌ_ｆの値および映像明度Ｌ_ｐの値に関して、かなり緩やかであることが判明している。したがって、映像の中には、その映像の人間の顔明度Ｌ_ｆおよび映像明度Ｌ_ｐが最適値に近いと、まだ良い品質評価を得るものがある。本発明のトーンマッピング関数は、最適値の代わりに最適範囲を使用することにより、これをうまく利用する。

図４は、人間の顔明度Ｌ_ｆおよび映像明度Ｌ_ｐに最適範囲が使用される本発明の一実施形態の例を示している。Ｌ_ｆの軸および映像明度Ｌ_ｐの軸に沿って、それらの最適領域が、（Ｌ_ｆ ^ｌｏｗ，Ｌ_ｆ ^ｈｉｇｈ）および（Ｌ_ｐ ^ｌｏｗ，Ｌ_ｐ ^ｈｉｇｈ）としてそれぞれ画定される。人間の顔明度Ｌ_ｆおよび映像明度Ｌ_ｐの最適範囲の画定により、映像は、人間の顔明度Ｌ_ｆおよび映像明度Ｌ_ｐの２つの軸に沿った暗いカテゴリ、標準的なカテゴリ、および明るいカテゴリの３つのカテゴリに分類される。これらの２つのパラメータを結合すると、２次元空間で映像を９つのカテゴリに分類することができる。本実施形態では、パラメータ（Ｌ_ｆ Ｌ_ｐ）を有する映像を与えると、心理に基づく品質評価は、エネルギー項Ｅ_ｐｓ（Ｌ_ｆ Ｌ_ｐ）として表される。これは、以下の式によって示されるような２次元空間におけるエネルギー最小化（または最大化）問題として定式化される品質改善問題を与える。

映像の視覚的な品質を求めることにおいて、Ｌ_ｆと映像明度Ｌ_ｐとの結合関係を表すために、図４の９つの画像カテゴリに対応する９つの部分領域にわたって個々に、エネルギー関数Ｅ_ｐｓが、人間の顔明度Ｌ_ｆおよび映像明度Ｌ_ｐの２次元関数として定義される。本実施形態では、エネルギー関数Ｅ_ｐｓは、次のように定義される。
Ｅ_ｐｓ（Ｌ_ｆ，Ｌ_ｐ）＝Ｗ_ｆ ^（ｉ）・（Ｌ_ｆ−Ｌ_ｆ ^Ｏ（ｉ））^２＋Ｗ_ｐ ^（ｉ）・（Ｌ_ｐ−Ｌ_ｐ ^Ｏ（ｉ））^２ （２）
ここで、Ｌ_ｆ ^Ｏ（ｉ）およびＬ_ｐ ^Ｏ（ｉ）は、入力画像が図４の第ｉ領域内に位置する（Ｌ_ｆ Ｌ_ｐ）対を有する場合に、顔領域および映像領域の最適平均Ｌ^＊値を表す。人間の顔明度の重み係数（Ｗ_ｆ ^（ｉ））および映像明度の重み係数（Ｗ_ｐ ^（ｉ））も使用される。人間の顔明度Ｌ_ｆおよび映像明度Ｌ_ｐの最適値２つの異なる組の（Ｌ_ｆ ^Ｏ，Ｌ_ｐ ^Ｏ）が、９つの画像カテゴリ／領域にわたって定義される。領域１から領域８内に位置する入力画像については、最適な人間の顔明度Ｌ_ｆ ^Ｏおよび最適な映像明度Ｌ_ｐ ^Ｏの双方が、（０から２５５にわたる８ビットのダイナミックスケールのうちの）１２０に設定される。一方、領域９内に含まれる画像は、ともに１４１に設定された最適な人間の顔明度Ｌ_ｆ ^Ｏおよび最適な映像明度Ｌ_ｐ ^Ｏを有する。これに加えて、人間の顔明度Ｌ_ｆおよび映像明度Ｌ_ｐの双方の最適領域は、（１００，１４０）として設定される。

図５は、心理的評価のみが考慮された場合の本定義の品質評価によって作成される画質向上パターンを示している。入力映像が、それらの映像レベルおよびＲＯＩ（顔領域）の統計値に基づいて９つのカテゴリに分割されていることが分かる。トーンマッピング関数は、ピクセルの明度をマッピングすることにより、入力映像をある状態から別の新しい状態にプッシュすることを試みる点で、各カテゴリが状態として表現された状態機械としてモデル化することができる。領域９の映像用に、最適パラメータの別個の組を導入することにより、この状態機械の吸収状態は、最終的には、状態５および状態９の２つになる。本トーンマッピングアルゴリズムが入力画像に繰り返し適用されると、これらの２つの吸収状態は、本トーンマッピングアルゴリズムの収束出力を表す。実際に、本発明者らは、この設計が、相対的な明度に対する人間の目の感度によりよく対処することを助けて、明るい背景を有するこれらの画像により良い視覚的な結果を生み出すことを見出している。

ｂ．信号因子
グローバルマッピングのシナリオにおいて、心理的因子は、映像の統計値である人間の顔明度Ｌ_ｆおよび映像明度Ｌ_ｐが、それらの最適値である最適な人間の顔明度Ｌ_ｆ ^Ｏおよび最適な映像明度Ｌ_ｐ ^Ｏに常にマッピングされるべきであることを示唆するが、人間の顔明度Ｌ_ｆおよび映像明度Ｌ_ｐは独立ではないので、式（２）は容易には最小にできない。それらの明度は、それぞれ、映像信号に基づいており、ある一定の信号の特徴によって制約される。したがって、本実施形態では、多くの信号因子も、トーンマッピング設計の考慮に含まれる。

デジタル解像度は、本トーンマッピング関数に含まれる信号因子である。８ビットの映像の場合、８ビットの解像度を有効に利用することが望ましい。すなわち、映像のグレイスケールヒストグラムは、全範囲の値（本実施形態では０から２５５）にわたって分散されているべきである。本実施形態では、シャドウＬ_ｓおよびハイライトＬ_ｈの概念が、デジタル解像度を補償するのに使用される。シャドウＬ_ｓおよびハイライトＬ_ｈは、ともに、映像ピクセルの最も暗い（または最も明るい）０．５％をクリップするグレイスケールの境界を表す。シャドウＬ_ｓがゼロより大きいか、または、ハイライトＬ_ｈが２５５より小さいならば、線形拡張（linear stretch）が適用されて、シャドウおよびハイライトが０から２５５のスケールにマッピングされ、映像の全デジタル解像度が得られる。

顔領域のコントラストは、顔領域（δ）のグレイスケールの標準偏差によって表され、このコントラストは、本トーンマッピング関数に含まれる信号因子である。人間の顔が、対象となる領域とみなされるので、顔領域により多くのデジタルグレイスケール解像度を使用することも望ましいことである。したがって、本実施形態では、顔領域のコントラストδは、可能であれば、常に増加される。

ヒストグラム均一性も、本トーンマッピング関数に含まれる信号因子である。ヒストグラムの極端な均一性（すなわちヒストグラム均等化）は、一般消費者の写真には望ましくないが、ヒストグラムの分散の均一性は、信号表現の観点から、まだ重要な因子である。したがって、ヒストグラム均一性は、信号制約とみなされる。

雑音問題は、本トーンマッピング関数に含まれる別の信号因子である。トーンマッピング関数は、マッピング曲線によって表すことができる整数から整数へのマッピング関数である。このマッピング曲線の大きな傾きは、小さな画像雑音を増幅する傾向にあり、したがって、本トーンマッピング関数に含まれる負の因子である。

ｃ．トーンマッピング曲線の設計
本発明のトーンマッピング関数は、心理的因子および信号因子の双方を網羅するように設計される。心理的因子および信号因子は、異なる意味を有するので、本実施形態では、それらの影響は、単独でシステムエネルギー式と組み合わされる。すなわち、心理的な制約および信号の制約の望ましい傾向が、それぞれ、それらのそれぞれのエネルギー項である、心理的エネルギー（Ｅ_ｐｓ）および信号因子エネルギー（Ｅ_{ｓｉｇｎａｌ}）として定式化される。次に、トーン曲線の設計の全体の最適化が、システムエネルギー項のエネルギー最小化問題Ｍｉｎ（Ｅ）＝ｍｉｎ（Ｅ_ｐｓ＋Ｅ_{ｓｉｇｎａｌ}）として表される。ここで、システムエネルギーの最小化は、実際には、同問題に対して種々の側面から寄与する複数の制約間の適切なトレードオフを発見することである。

ｄ．パラメータ曲線の表現
トーンマッピング関数Ｔ：ｘ→ｙは、その入力および出力がともに０から２５５の範囲に定められた整数から整数へのマッピング曲線である。人間の顔領域のマッピング制御に対応するために、このマッピング関数は、図６に示す例のように、２つのセグメントのガンマ曲線として設計される。図６において、ｘ軸は、入力されるグレイスケールを表し、ｙ軸は、出力されるグレイスケールを表す。Ｌ_ｓは、入力画像のヒストグラムのシャドウであり、Ｌ_ｈは、入力画像のヒストグラムのハイライトである。Ｌ_ａｆは、顔領域の実際の平均Ｌ^＊であり、Ｌ_ｍｆは、顔領域のマッピング後の平均Ｌ^＊である。解説を簡単にするために、制御対（Ｌ_ａｆおよびＬ_ｍｆ）は、制御点（ｘ_０，ｙ_０）として表記される（すなわちＬ_ａｆ＝ｘ_０およびＬ_ｍｆ＝ｙ_０）。したがって、本発明のパラメータ曲線は、次のようになる。

２つのガンマ値ａ_１およびａ_２を決定するために、我々は、２つのセグメントが、制御点（ｘ_０，ｙ_０）において一次平滑（first order smooth）であることを必要とする。すなわち、この点における２つのセグメントの一次微分は等しい。この微分をｙ’と表記すると、次の式が得られる。
ａ_１＝（ｘ_０−Ｌ_ｓ）／ｙ_０・ｙ’ （５）
ａ_２＝（Ｌ_ｈ−ｘ_０）／（１−ｙ_０）・ｙ’ （６）
したがって、式（３）〜（６）で定義されるトーンマッピング曲線は、３つのパラメータ（ｘ_０，ｙ_０，ｙ’）によって完全に決定される。次の設計の作業は、心理的因子および信号因子に基づいて、これら３つのパラメータを決定することである。

ｅ．ｙ’の決定
本実施形態では、ｙ’は、（ｘ_０，ｙ_０）における曲線の傾きである。したがって、本実施形態は、マッピング後の顔領域のグレイスケールのコントラストを制御する。トーンマッピング前の顔領域のＬ^＊信号の標準偏差をδ_ａｆと表記し、トーンマッピング後の顔領域のＬ^＊信号の標準偏差をδ_ｍｆと表記すると、傾きは、ｙ’＝δ_ｍｆ／δ_ａｆとなる。

検出された顔領域は、対象となる領域とみなされるので、顔領域のマッピング後の偏差δ_ｍｆが、マッピング後の映像のグレイスケールの分布バランスを妨げない限り、この偏差δ_ｍｆを増加させることが常に望ましい。したがって、我々は、顔領域のマッピング後の偏差が、元のデジタル画像の顔領域の偏差よりも大きい（δ_ｍｆ＞δ_ａｆ）ことを必要とする。

本実施形態では、顔領域のマッピング後の偏差が、次のようにして求められる。まず、Ｌ_ａｆの近傍のヒストグラム密度が、以下の式を使用して、元の映像のヒストグラム上で測定される。

次に、以下の式を使用して、このヒストグラム密度を、映像の平均ヒストグラム密度（width・height/255）と比較することにより、ヒストグラム密度比が得られる。
ｋ＝Density_af／(width・height／255) （８）
次に、顔領域のマッピング後の偏差が、次の式に従って、ヒストグラム密度比および１．２の定数の拡大係数に基づいて決定される。
δ_ｍｆ＝1.2・ｋ・δ_ａｆ （９）

したがって、本実施形態では、ヒストグラム均一性とより良い顔領域のコントラストとの間のバランスが得られる。顔領域の基本的な特徴の一貫性を考慮して、コントラスト画質向上を行い過ぎることを回避するために、我々は、δ_ｍｆの上限も設ける。すなわち、式（９）から求められるδ_ｍｆが、δ_ｍｆ≧Δ_ｍａｘとなると、δ_ｍｆ＝Δ_ｍａｘに設定する。δ_ｍｆが求められた後、傾きｙ’は単に、ｙ’＝δ_ｍｆ／δ_ａｆとして設定される。

ｆ．（ｘ _０ ，ｙ _０ ）の決定
制御点（ｘ_０，ｙ_０）は、制御対（Ｌ_ａｆ，Ｌ_ｍｆ）によって表されている。本実施形態では、Ｌ_ａｆは、顔の検出から直接得られる。２つ以上の顔が検出される場合には、Ｌ_ａｆは、すべての顔の平均の（顔のエリアによって重み付けされた）加重平均として設定される。

本実施形態では、顔領域の平均Ｌ^＊のマッピング後の平均Ｌ_ｍｆは、以下のように、システムエネルギーの最小化に基づいて求められる。

本実施形態では、Ｅ_ｐｓは、式（２）を使用して定義される。式（２）を再び参照して、傾きｙ´が求められると、Ｌ_ｆ＝ｙとなり、Ｌ_ｐは、ｙの関数となる。したがって、式（１０）のＥ_ｐｓは、ｙの関数となる一方、式（１０）のＥ_{ｓｉｇｎａｌ}は、さらに、以下のエネルギー項に分解される。
Ｅ_signal（ｙ）＝Ｅ_uniformity（ｙ）＋Ｅ_model（ｙ） （１１）

式（１１）において、Ｅ_uniformityは、マッピング後の画像のヒストグラム均一性を表す。

ここで、

であり、

である。また、ここで、hist（ｘ）は、トーンマッピング前の入力映像のヒストグラムである。

本実施形態では、式（１１）のモデルエネルギー項Ｅ_modelは、次のように定義される。
Ｅ_model（ｙ）＝Ｄ・（ｙ−ｘ_０）^２ （１３）
ここで、Ｄは、重み係数である。この項は、主に、雑音問題（noise issue）に対処するよう意図されている。すなわち、グレイスケールのマッピングの変化が大きい場合、傾きも大きくなり、元の画像の雑音は、マッピング後の画像で増幅される傾向にある。重み係数Ｄは、グレイスケールのマッピングの変化が大きい場合に、元の画像の雑音の増幅を補償する。

本発明の特定の実施形態の上記説明は、例示および説明の目的で示されたものである。上記説明は、包括的であることを意図するものではなく、また、開示した正確な形に本発明を限定することを意図するものではない。多くの変更および変形が、上記教示内容を鑑みて可能であることは明らかである。実施形態は、本発明の原理およびその実際の適用を最もよく説明するものであって、それによって、他の当業者が、本発明、および、意図した特定の使用に適するようにさまざまな変更を有するさまざまな実施形態を、最大に利用できるようにするために選択され、説明されたものである。本発明の範囲は、添付の特許請求項およびその均等物によって画定されることが意図される。

本発明の一実施形態による代表的なコンピュータシステムの論理ブロック図である。 本発明の一実施形態によるデジタル画像画質向上方法を示す図である。 本発明の一実施形態による、ルックアップテーブルを使用し、かつ、元の画像がＬ^＊ａ^＊ｂ^＊空間に変換されるデジタル画像画質向上方法を示す図である。 本発明の一実施形態による、心理的評価のエネルギー関数が実行される代表的な２次元特徴空間を示す図である。 本発明の一実施形態による、入力画像の９つのカテゴリ分類に基づく本発明のトーンマッピング関数の状態機械を示す図である。 本発明の一実施形態による代表的なトーンマッピング曲線のグラフである。

符号の説明

２０１ デジタル画像内で人間の顔を特定
２０２ ステップ２０１で特定された人間の顔の分析およびデジタル画像の全体としての分析の双方を含む、デジタル画像の分析
２０３ デジタル画像の品質を画質向上させるトーンマッピング関数を決定
２０４ トーンマッピング関数をデジタル画像に適用して、画質向上したデジタル画像を獲得

Claims (9)

1. デジタル画像の画質向上方法であって、
   ａ）前記デジタル画像内で人間の顔を特定するステップと、
   ｂ）前記デジタル画像を分析するステップであって、該分析は、前記ステップａ）で特定された前記人間の顔の分析を含み、かつ、前記デジタル画像の全体としての分析を含む、分析するステップと、
   ｃ）前記デジタル画像の画質を向上させるトーンマッピング関数を決定するステップであって、該トーンマッピング関数は、前記ステップａ）で特定された前記顔の前記分析および前記画像の全体としての前記分析の双方を使用して決定される、トーンマッピング関数を求めるステップと、
   ｄ）画質向上したデジタル画像を作成するように、前記ステップｃ）で決定された前記トーンマッピング関数を前記デジタル画像に適用するステップと、
   を有するデジタル画像の画質向上方法。
2. 前記ステップａ）ないし前記ステップｄ）は、自動的に、かつ、ユーザ入力なしに実行される、請求項１に記載のデジタル画像の画質向上方法。
3. 前記ステップａ）は、
   ａ１）前記デジタル画像内で顔を特定するために、顔検出アルゴリズムを前記デジタル画像に適用するステップ
   をさらに有する、請求項１に記載のデジタル画像の画質向上方法。
4. 前記トーンマッピング関数は、心理的因子および信号因子の双方を含む、請求項１に記載のデジタル画像の画質向上方法。
5. 前記心理的因子は、平均の顔領域明度および平均の映像明度を含む、請求項４に記載のデジタル画像の画質向上方法。
6. 前記信号因子は、デジタル解像度および顔領域のコントラストを含む、請求項４に記載のデジタル画像の画質向上方法。
7. 前記信号因子は、ヒストグラム均一性および雑音問題を含む、請求項６に記載のデジタル画像の画質向上方法。
8. 前記ステップｃ）は、前記トーンマッピング曲線に対応するルックアップテーブルを生成するステップをさらに含む、請求項４に記載のデジタル画像の画質向上方法。
9. 前記ステップｄ）は、前記デジタル画像のトーン値を変更するように、前記ルックアップテーブル内のトーン特性を前記デジタル画像に適用し、それによって、変更されたトーン値を有する画質向上したデジタル画像を作成するステップをさらに有する、請求項４に記載のデジタル画像の画質向上方法。
   

Images