JP2009510587A - 画像ディテール強調 - Google Patents

Abstract

入力画像内のディテールを強調する方法である。前記入力画像は、範囲ＲＡに限定されている入力ピクセル値ＩＰＶを有する入力ピクセルを含んでいる。当該方法は、平均ブライトネス値ＬＶを得るための入力ピクセル値ＩＰＶの平均フィルタリング１を含んでいる。輝度マスク２が、範囲ＲＡのサブ範囲ＳＲ内の平均ブライトネス値ＬＶに対して、サブ範囲ＳＲの外側のピクセルに対する場合と異なるマスクされた値ＭＶを得るように、平均ブライトネス値ＬＶに適用される。入力ピクセル値ＩＰＶは、ディテールの量に関して示すディテール値ＨＶを得るためにディテールフィルタリング３される。非線形関数ＮＬＦ ５が、各入力ピクセル値ＩＰＶに関して、対応する出力ピクセル値ＯＰＶを得るように、入力ピクセル値ＩＰＶに対して適用される。非線形関数ＮＬＦの利得は、特定の入力ピクセルに関して両方共決定されるマスクされた値ＭＶ及びディテール値ＨＶの両方に依存する。利得は、サブ範囲ＳＲの外側における入力ピクセル値ＩＰＶを有する入力ピクセルに対して、サブ範囲ＳＲの内側における入力ピクセル値ＩＰＶに対する場合よりも高い。前記利得は、ディテール値ＨＶが、特定の入力ピクセルの周りの画像部分における多くの高周波数のコンテンツを示している入力ピクセルに対して、ディテール値ＨＶが少ない高周波数コンテンツを示している入力ピクセルに対する場合よりも、高い。

Description

本発明は、入力画像内のディテールを強調する方法、入力画像内のディテールを強調する装置、入力画像内のディテールを強調する前記のような装置を有する表示装置、プロセッサが入力画像内のディテールを強調する方法を実行するのを可能にするプロセッサ読み取り可能なコードを有するプロセッサコンピュータプログラム、入力画像内のディテールを強調する前記装置を有するカメラ及び前記のようなカメラを有する携帯型の装置に関する。

国際特許出願公開第０３／０９４１１２号パンフレットは、局所的な色補正の取り組みを開示している。入力ピクセル値の集合で表現されている入力画像は、出力ピクセル値の集合を有する出力画像を得るために、ピクセル区域（neighborhoods）に従って入力ピクセルを局所的に変調することによって色補正される。出力ピクセル値の各集合は、入力ピクセル値の集合と、変調されたピクセル値の対応する集合との非線形の組み合わせに等しい。

この従来技術の一実施例において、前記入力ピクセル値は、受け取られたデジタル画像における影、ハイライト、及び中間トーンを示す数値を含む画像であるトーンマスクを得るために、ローパスフィルタリングされる。入力ピクセルの入力成分色値（通常赤、緑、及び青）の各１つに関して、対応する出力色の値は、入力色の値に対して指数関数を適用することによって得られる。入力成分色値のマスクされた値は、対応する指数関数の指数を変化させるのに使用される。従って、前記出力色値は、ピクセル的（pixel-wise）ガンマ補正を適用することによって得られ、各ピクセルは、
自身の特定のマスクされた値による自身の特定のガンマ値を有する。これらの局所的なガンマ値は、前記ピクセルと前記ピクセルの周囲のピクセルとのトーン特性によって決定される。他の非線形関数が、シグモイド又は双曲線関数のような、入力色値の関数として、出力色値を決定するのに使用されることもできることが開示されている。他の実施例において、前記シグモイド関数が、中間の灰色を表すマスクされた値に使用され、前記指数関数が、黒及び白を表すマスクされた値に使用される。

この取り組みは、動的範囲の極端な端部（extremeends）における画像コンテンツの視認性を向上させるが、前記画像コンテンツのこれらの部分におけるノイズも増加させ、更に、前記画像の暗い部分におけるブライトネスを増加させる及び前記画像の明るい部分におけるブライトネスを減少させることにより前記画像のコントラストを低下させる傾向がある。

本発明の目的は、入力画像のディテールを強調すると共に、コントラストをあまり低下させないことにある。

本発明の第１の見地は、添付請求項１に記載の入力画像におけるディテールを強調する方法を提供することにある。本発明の第２の見地は、添付請求項９に記載の入力画像におけるディテールを向上させる装置を提供することにある。本発明の第３の見地は、添付請求項１０に記載の表示装置を提供することにある。本発明の第４の見地は、添付請求項１１に記載のコンピュータプログラムを提供することにある。本発明の第５の見地は、添付請求項１３に記載のカメラを提供することにある。本発明の第６の見地は、添付請求項１４に記載の携帯型装置を提供することにある。有利な実施例は、添付の従属請求項に規定されている。

本発明の前記第１の見地による方法は、範囲が限定されている入力ピクセル値を有するピクセルを含んでいる入力画像におけるディテールを向上させる。従って、前記入力ピクセルの前記入力ピクセル値は、これらが表現されることができる有効な範囲を有する。例えば、８ビットのデジタルワードは、０から始まり２５５までの値を有し得る。この例において、前記範囲は、低い極値（ゼロ）と高い極値（２５５）とを有する。しかし、勿論、何らかの他の有効範囲が、所望の分解能のレベル及び／又はハードウェア又はソフトウェアの実施化に依存して規定されることもできる。

本発明による方法は、平均ブライトネス値を得るために前記入力ピクセル値を平均フィルタリングするステップと、サブ範囲（好ましくは、前記範囲の中心を含む、又は前記範囲の中心でさえある）における入力ピクセル値に対して、サブ範囲外にあるピクセルに対する場合とは異なるマスクされた値を得るために前記のような平均ブライトネス値に輝度マスクを適用するステップとを有する。従って、前記マスクされた値は、入力ピクセル値のうちの特定の１つが、前記サブ範囲内にあるか否かを示す。例えば、前記サブ範囲は、中心値のみを有し、前記マスクされた値は、ピクセルの平均ブライトネス値と前記中心値との差を計算することによって得られる。他の実施例において、サブ範囲は、値の範囲を有しても良く、前記マスクされた値は、ピクセルの平均ブライトネス値とサブ範囲の近隣の境界との差を計算することによって得られることができる。代替的には、前記マスクされた値は、例えば二次関数又は何らかの他の関数として、様々に決定されることができる。更に、本発明による方法は、ピクセルの周りの画像内のディテールの量を示すディテール値を得るために入力ピクセル値のディテールフィルタリングを付加的に有する。前記のような平均化フィルタは、ローパス周波数応答又は（非線形）メディアンフィルタを有する線形ＦＩＲフィルタであっても良い。前記のようなディテールフィルタは、好ましくは、ハイパスフィルタ又は処理されている特定のピクセルの周りのディテールの指示を与える「ｍａｘ−ｍｉｎ」フィルタである。

本発明による方法は、更に、各入力ピクセル値について、対応する出力ピクセル値を得るために、前記入力ピクセル値に非線形関数を適用するステップを有する。このことは、国際特許出願公開第０３／０９４１１２号パンフレットに開示されているのと同じ態様において実施されることができる。しかしながら、本発明の方法によれば、特定の入力ピクセルに対する非線形関数の利得は、この特定の入力ピクセルに関して決定された前記マスクされた値及び前記ディテール値の両方に依存する。従って、本発明において、前記のような非線形性は、サブ範囲外の入力ピクセル値を有する入力ピクセル値に対して、サブ範囲内の入力ピクセル値を有する入力ピクセルに対する場合よりも高い。前記高い非線形性は、非線形関数の局所的に高い導関数を提供し、従って、局所的に高い増幅係数又は利得を提供する。高い増幅係数は、入力ピクセル値間の小さい差を増幅し、従ってこれらの差の視認性が強調される。

前記サブ範囲は、前記範囲の高い極値を含む場合、前記利得は、低い値を有する入力ピクセルに対して比較的高く、高い値を有する入力ピクセルに対して比較的低い。今、利得は、画像の暗い部分に対して増大されるので、前記関数は、低い値に対して、高い値に対する場合よりも高い導関数を有し、前記のような暗い部分におけるディテールが強調される。前記サブ範囲が低い極値を含む場合、利得は、高い値を有する入力ピクセルに対して比較的高く、低い値を有する入力ピクセルに対しては比較的低い。前記利得は、今、前記画像の明るい部分において増加されるので、前記関数は、低い値に対する場合よりも高い値に対して高い導関数を有し、高いブライトネスレベルにおける前記ディテールは、強調される。前記サブ範囲が前記範囲の中心に中心をおかれている又は前記範囲の中心に一致している場合、利得は、入力ピクセル値の実際の値に依存して、前記サブ範囲よりも低い又は高い入力ピクセル値に対して高い。再び、前記ピクセル値が前記サブ範囲よりも低い場合、前記関数は、高い値に対する場合よりも低い値に対して高い導関数を有さなければならず、前記ピクセル値が前記サブ範囲よりも高い場合、前記関数は、低い値に対する場合よりも高い値に対して高い導関数を有さなければならない。

しかしながら、国際特許出願公開第０３／０９４１１２号パンフレットに開示されている取り組みは、前記特定の入力ピクセルの周りの画像内に関連する情報が無い場合でさえ、前記関数の利得を変更するという不利な点を有する。従って、前記画像の暗い部分においても、高い導関数（従って、高い増幅因子）が均等な領域において使用される。高い増幅因子によれば、これらの領域における雑音は、明らかに、より迷惑に可視的なものになり、コントラスト比も低下する。更に、他方では、可視的でなものになり得る便利な情報が存在しないので、この高い増幅を局所的に適用する必要がない。

この問題は、前記のようなハイパスフィルタリングされた値が特定の入力ピクセルの周りの画像部分における更に高い周波数のコンテンツを示している入力ピクセルに対する利得を、前記ハイパスフィルタリングされた値があまり高くない周波数のコンテンツを示している入力ピクセルに対する場合よりも増大させることによって、本発明によって解決される。従って、高周波数コンテンツが存在する場合にのみ、前記利得は、存在する前記情報を、より可視的なものにするように増大される。高周波数コンテンツが存在しない又は少量しか存在ない場合、前記利得は、全く増大されない又は少量にされる。従って、前記利得を増大させることによって可視的にされる情報が存在しない領域において、前記利得は、全く存在しないか、又は前記利得は、明らかに可視的にされるようにノイズを防止するため、黒レベルへのシフトが上方へなされ過ぎてコントラスト比を劣化させることを防止するために、少量だけ増加される。

添付の請求項２に記載の実施例において、輝度マスクは、低い入力値を高い出力値にマッピングすると共に、前記低い境界に対応する特定の入力値よりも高い入力値を最小値にマッピングする出力変換への入力を生成するように構成されている。前記のようなマッピングは、前記低い極値から開始して低い境界までの入力値を減少する値によってマッピングする。前記のような輝度マスクは、前記低い入力値に対して、比較的高いマスクされた値を提供し、従って、高い利得を生じる。前記低い境界までの高い入力値に対して、前記利得は減少し、前記低い境界値よりも高く、かつ、前記高い境界値までの入力値に対して、前記利得は、最小限のものである。

添付の請求項３に記載の実施例において、最小限の利得が、前記低い境界値よりも高い全ての入力値に対して得られる。従って、高い利得は、前記ピクチャのみの暗い部分に関して得られる。

添付の請求項４に記載の実施例において、前記利得は、前記高い境界値から前記高い極値まで増加する。従って、前記高い利得は、前記ピクチャの暗い部分及び前記ピクチャの明るい部分において生じる。勿論、前記関数の実際の利得は、ディテールの強調を可能にするように、前記暗い部分及び前記明るい部分において異なるものであらなければならない。例えば、前記関数が指数関数である場合、前記指数は、暗い又は明るい部分における拡張が、それぞれ明るい又は暗い部分における圧縮によって補償されるように、暗い部分に関して負であり明るい部分に対して正であらなければならない。

添付の請求項５に記載の実施例において、前記ディテールのフィルタリングは、比較的低いの高周波数コンテンツを有する画像部分におけるピクセルに対して、比較的低い高周波数のコンテンツを有する画像部分における場合よりも高いディテール値を供給する。前記ディテール値は、更に、フィルタリングされた値とも称される。前記マスクされた値に加えて、前記フィルタリングされた値は、関数の利得の量も決定する。前記フィルタリングされた値が高いほど、前記利得は高い。特定のピクセルに対して、前記マスクされた値及びフィルタリングされた値は、前記特定のピクセルの周りの領域内の画像コンテンツに依存し、利得は、特定のピクセルのブライトネス値の周りの値に関して局所的に適応化されていることに留意されたい。

添付の請求項６に記載の実施例において、前記マスクされた値及び前記フィルタリングされた値は、ピクセル−バイ−ピクセルベースで乗算され、特定のピクセルに対する前記利得は、このピクセルに関連する前記乗算された値に比例する。

添付の請求項７に記載の実施例において、前記入力ピクセル値は、前記ディテールフィルタに供給される前に、クリッピングされる。このことは、強調が望まれていないブライトネス領域に存在する高周波数情報が、前記非線形関数の利得に影響を及ぼさないという有利な点を有する。例えば、前記入力ピクセル値が、前記入力ピクセルのこのサブ範囲に関してクリッピングされる場合、このブライトネス範囲における何らかの高い頻繁な情報が、同じ値にクリッピングされ、従って、前記ディテールフィルタの入力におけるＤＣ入力信号を生じる。従って、前記ディテールフィルタの出力値は、ゼロである。従って、この例において、低い及び／又は高いグレーレベルを覆う高周波数画像コンテンツのみが、前記のようなクリッパの出力における値を変化させ、従って、前記ディテールフィルタの非ゼロ出力を生じる。前記サブ範囲は、「中間グレー範囲」における値によって形成されることもできる。

添付請求項８に記載の実施例において、２つのディテールフィルタリングのステップが存在する。前記のようなディテールフィルタの一方は、しきい値よりも高い前記入力ピクセル値を最大値にクリッピングすることによって暗いシーンに対して作用する。前記のようなディテールフィルタの他方は、しきい値よりも低い前記入力ピクセル値を最小値にクリッピングすることによって明るいシーンに対して作用する。前記利得は、今や、前記入力値が暗いシーンに属するか又は明るいシーンに属するかに依存して、第１の上述されたディテールフィルタのフィルタリングされた値か又は第２の上述されたディテールフィルタのフィルタリングされた値かの何れかに依存する。

本発明のこれらの及び他の見地は、以下に記載される実施例を参照して、明らかになり、説明されるであろう。

異なる図において同一の符号を有する項目は、同じ構造上のフィーチャ及び同じ機能を有するもの、又は同じ信号であることに留意されたい。このようなものの機能及び／又は構造は、説明されているものであり、詳細な記載においてこれらの繰り返される説明は必要ない。

図１は、入力画像内のディテールを強調するための本発明による実施例のブロック図を示している。図１に示されているブロックは、ハードウェア回路、又は方法のステップとして解釈されることができる。前記方法のステップは、専用のハードウェア又は適切にプログラムされたプロセッサによって実施されることができる。

平均化フィルタ（又は平均化関数）１は、デジタルシステムにおいて入力ピクセル値ＩＰＶによって表現されている入力画像を受け取り、平均ブライトネス値ＬＶを供給する。平均化フィルタ１は、ガウス核（Gaussian kernel）によって入力ピクセル値ＩＰＶをフィルタリングしても良い。代替的には、他の平均化フィルタリング技術が、実施化されても良い。好ましくは、平均化フィルタ１は、メディアンフィルタのような、エッジ保存フィルタである。平均化フィルタ１は、低い及び高い極値ＬＥＶ及びＨＥＶによって境界されている選択されたビデオデータのダイナミックレンジＲＡにおいて、入力画像と関連付けられているトーンマスクを提供する又は計算する。

マスク回路（又はマスキング関数）２は、平均ブライトネス値ＬＶを受け取り、マスクされた値ＭＶを供給する。マスキング関数２は、中間グレーレベル、又は中心値のみを少なくとも抑制し、この結果、強調は、低い及び及び／又は高いグレーレベルに関して得られるのみである。マスキング関数２は、図４乃至６に関連してより詳細に説明される。

ディテールフィルタ（又はディテールフィルタリング関数）３は、入力ピクセル値ＩＰＶを受け取り、入力画像のうちの、考えらえている実際の入力ピクセルの周りの関連する部分における高周波数の量を示すディテール値ＨＶを供給する。

結合器（又は結合関数）４は、マスクされた値ＭＶとディテール値ＨＶとを、非線形関数５の局所的な利得（非線形性）を制御する１つの制御値ＭＵＶに結合することができる。例えば、マスクされた値ＭＶ及びディテール値ＨＶは、ピクセル−バイ−ピクセルベース（pixel-by-pixel basis）における利得を制御するための制御値ＭＵＶを得るように、ピクセル−バイ−ピクセルベースにおいて乗算される。代替的には、マスクされた値ＭＶ及びディテール値ＨＶは、最初に結合されることなく、非線形関数５の利得を制御することができる。

前記のような非線形回路（又は非線形関数）５は、入力ピクセル値ＩＰＶを受け取り、出力ピクセル値ＯＰＶを供給する。入力ピクセル値ＩＰＶは、非線形関数５を介して出力ピクセル値ＯＰＶに再マッピングされ、非線形関数５の利得は、対応する制御値又は制御値の集合ＭＵＶによって各ピクセルに関して局所的に制御される。非線形関数５は、例えば、指数（ガンマ）関数又はシグモイド関数のような、単調関数である。特定の入力ピクセルに関する制御値ＭＵＶは、高周波数コンテンツが前記のような特定のピクセルの周りの領域に存在する場合にのみ、低い及び／又は高い入力ピクセルレベルＩＰＶに関して高い非線形関数５の利得を得るように、マスクされた値ＭＶ及びディテール値ＨＶの両方に依存する、又は前記マスクされた値ＭＶ及び前記ディテール値ＨＶの両方を含む。従って、前記利得は、高周波数コンテンツが存在しない又は少量の高周波数コンテンツしか存在しない場合に、増大されない又は僅かに増大されるのみである。ＮＬＦとも称される非線形関数５は、図３を参照してより詳細に説明される。

好ましくは、入力ピクセル値ＩＰＶは、容易な処理を促進するように線形光ドメイン（a linear light domain）において規定される。形態学的な演算子（morphologicaloperators）が、平均フィルタリング１、マスキング２及び／又はディテールフィルタリング３に利用されることができる。

図２は、入力画像内のディテールを強調するための本発明による他の実施例のブロック図を示している。信号ソース７は、画像センサ７０及び信号処理回路７１を有するカメラであっても良い。センサ７０は、画像センサ信号ＩＳＳを信号処理回路７１に供給する。信号処理回路７１は、センサ信号ＩＳＳを処理して入力信号ＩＳを得る。信号ソース７は、アナログ又はデジタルの静止画像又は動画の如何なるソースであっても良い。オプションの入力処理ブロック８は、入力信号ＩＳがアナログ信号である場合、アナログ／デジタル変換器を有し得る。ブロック８は、前記線形光ドメインにおける入力ピクセル値ＩＰＶを得るために逆ガンマ補正を含んでいても良い。ブロック１乃至５は、図１に関して議論されたものと同じであるので、再び述べることはしない。ディテール値ＨＶは、今や、結合器４の代わりに結合器１１に供給されている。

ディテールフィルタ３には、クリッピング回路（又はクリッピング関数）６が先行しており、クリッピング回路（又はクリッピング関数）６は、入力ピクセル値ＩＰＶを受け取り、変更されたピクセル値ＣＰ１を供給する。クリッピング関数６の例は、図７に示されている。ディテールフィルタ３は、変更されたピクセル値ＣＰ１を受け取り、ディテール値ＨＶを供給する。入力ピクセル値ＩＰＶ内に高い頻繁な情報（hiegh frequent information）が存在する又は高周波数情報が高いグレーレベルのみにおいて生じる場合、全ての変更されたピクセル値ＣＰ１は、クリッピングされているので、同じ値を有する。従って、ディテール値ＨＶは、ＤＣレベルがディテールを表す異なる値を有していないので、全てゼロである。高い頻繁な情報が低いグレーレベルにのみ存在する場合、変化する入力ピクセル値ＩＰＶは、変化する変更されたピクセル値ＣＰ１を生じる。今、ディテールフィルタ３は、高いディテール値ＨＶを供給し、非線形関数５の利得は、低いグレーレベルにおける前記ディテールを強調するために増大される。

ディテールフィルタ３０は、ディテールフィルタ３と同一のものであっても良い。クリッピング回路（又はクリッピング関数）６０は、入力ピクセル値ＩＰＶを受け取り、変更されたピクセル値ＣＰ２をディテールフィルタ３０に供給する。クリッピング関数６０の例が、図８に示されている。ディテールフィルタ３０は、変更されたピクセル値ＣＰ２を受け取り、ディテール値ＦＨＶを供給する。入力ピクセル値ＩＰＶ内に高い頻繁な情報がない、又は高周波数情報が低いグレーレベルのみにおいて生じている場合、全ての変更されたピクセル値ＣＰ２は、クリッピングされているので、同じ値を有する。ディテール値ＦＨＶは、ＤＣレベルがディテールを表現する異なる値を有していないので、全てゼロである。高い頻繁な情報が高いグレーレベルのみに存在する場合、入力ピクセル値ＩＰＶ及び変更されたピクセル値ＣＰ２の両方が、変化する。今や、ディテールフィルタ３０は、より高いディテール値ＦＨＶを供給し、前記より高いディテール値ＦＨＶは、前記非線形関数の利得が、高いグレーレベルが前記高いグレーレベル内のディテールを強調するために増大されるべきであることを示している。

結合器１１は、ピクセル−バイ−ピクセルベースでディテール値ＨＶ及びＦＨＶを加算しても良い。代替的には、結合器１１は、ピクセル−バイ−ピクセルベースでディテール値ＨＶ及びＦＨＶの最大値を決定しても良い。結合器１１によってこの態様で決定された結合された値ＣＨＶは、ブロック５によって生成される非線形関数ＮＬＦの利得を局所的に制御するための制御値ＭＵＶを得るために、マスクされた値ＭＶ及び結合された値ＣＨＶを結合するために結合器４に供給される。制御値ＭＵＶは、各ピクセルに対して１つの値であっても良く、又はマスクされた値ＭＶ及び結合された値ＣＨＶである若しくはマスクされた値ＭＶ及び結合された値ＣＨＶを表現している２つの値を含んでいても良い。結合された値ＣＨＶは、低いグレーレベル（ディテールフィルタ３及びクリッパ６）又は高いグレーレベル（ディテールフィルタ３０及びクリッパ６０）に関して、高周波数コンテンツが存在するかどうかを示す。高周波数コンテンツが存在しない場合、前記グレーレベルの対応する範囲における前記利得は、高周波数コンテンツが存在する場合よりも小さく、前記画像内に拡張された増幅によって見えるようにされることができる情報が存在しない場合の、ノイズ増幅、低いグレーレベルに対する黒レベルの増大及び高いグレーレベルに対する白レベルの増大が、防止される。従って、本発明による取り組みは、高周波数情報がピクセルの周りに存在し、入力ピクセル値ＩＰＶが低い（低いグレーレベル）又は高い（高いグレーレベル）であるという両方の場合、前記ディテールを強調するために特定のピクセルに関する前記利得のみを増大させる。この取り組みは、低いグレーレベルのみ又は高いグレーレベルのみに使用されることができる。

制御値ＭＵＶの制御の下で入力ピクセル値ＩＰＶを出力ピクセル値ＯＰＶに変換する非線形回路５が、図３に更に詳細に示されている。

処理回路９は、オプションのガンマ補正（optional gammma correction）及びドライバを有していても良い。前記のようなガンマ補正は、表示装置１０によって必要とされるガンマ補正を実施し、前記ドライバは、使用されている特定の表示装置１０に関する適切な駆動信号を得るために、ガンマ補正された値を処理する。表示装置１０は、如何なるマトリックス表示装置であっても良い。

図３は、非線形関数の例を示している。非線形関数ＮＬＦは、４つの異なる制御値ＭＵＶに関して、縦軸に沿った出力ピクセル値ＯＰＶと、横軸に沿った入力ピクセル値ＩＰＶとの間の関係を示している。示されている非線形関数は、８ビットデジタルワードに関する指数関数であり、

によって規定されるものである。

式（１）による非線形関数ＮＬＦは、制御値ＭＵＶ＝０の場合の二次関数、制御値ＭＵＶ＝２５５に関する平方根、及び制御値ＭＵＶ＝１２８に関する直線である。

今、１つの制御値ＭＵＶが、マスクされた値ＭＶとディテール値ＨＶ及び／又はＦＨＶとに基づいて決定されなければならない。マスクされた値ＭＶと（クリッピングされた）ディテール値ＨＶ及び／又はＦＨＶとを結合するための幾つかの可能性が、存在する。第１の実施例において、マスクされた値ＭＶが、入力ピクセル値ＩＰＶは低いグレーレベルを有すると示す場合、制御値ＭＵＶは、１２８と２５５との間で変化するのみであり得る。マスクされた値ＭＶが、入力ピクセル値ＩＰＶは高いレベルであると示す場合、制御値ＭＵＶは、０と１２８との間で変化するのみであり得る。ディテール値ＨＶ及び／又はＦＨＶは、今、マスクされた値ＭＶによって、所定の範囲内の制御値ＭＵＶを決定する。高い頻繁な情報が検出されない場合、強調は望まれず、ＭＵＶの値は、低い又は高いグレーレベルの何れもの増幅を防止するために、１２８、又は１２８の付近であるべきである。ディテール値ＨＶが、高い頻繁な情報は低いグレーレベル内に存在すると示す場合、ＭＵＶの値は、０に向かってシフトされなければならない。例えば、ディテール値ＨＶは、０から１の範囲に規格化されることができる。ディテール値ＨＶが０である場合、高い頻繁な情報は、低いグレーレベルに関して存在する入力ピクセルの周りに存在し、ＭＵＶの値は１２８である。ディテール値ＨＶが１である場合、最大の量の高い頻繁な情報は、低いグレーレベルに関して存在する入力ピクセルの周りに存在し、ＭＵＶの値は２５５である。更に、ディテール値ＦＨＶが０である場合、高い頻繁な情報は、高いグレーレベルに関して存在する入力ピクセルの周りに存在せず、ＭＵＶの値は１２８である。ディテール値ＦＨＶが１である場合、最大の量の高い頻繁な情報は、高いグレーレベルに関して存在する入力ピクセルの周りに存在し、ＭＵＶの値は０である。

他の実施例において、示されている非線形関数は、８ビットデジタルワードに関する指数関数であり、式（２）によって規定されるものである。実際、この関数は、式（１）によって規定される関数について、正に、上述されたように振舞うが、今、非線形回路５は、マスクされた値ＭＶと、ディテール値ＨＶ及び／又はＦＨＶとの両方を含む制御値ＭＵＶを受け取る。マスクされた値ＭＶは、０（最小グレーレベル）から２５５（最大グレーレベル）までの範囲内の８ビットデジタル信号に関して変化する。ディテール値ＨＶ及び／又はＦＨＶは、範囲０（関連するグレーレベルに関する高周波数コンテンツが無い）から１（関連するグレーレベルに関する最大高周波数コンテンツ）内で変化するように規格化されている。

図４は、低いグレーレベルにおけるディテールを強調するためのマスクの例を示している。マスク２は、横軸に沿って８ビット平均ブライトネス値ＬＶを、縦軸に沿ってマスクされた値ＭＶを示している。マスクされた値ＭＶは、低い境界ＬＢ及び高い境界ＨＢを有するサブ範囲ＳＲ内の最小値ＭＩＮを有している。高い境界ＨＢは、範囲ＲＡの高い極値ＨＥＶ（この例においては２５５）と一致する。範囲ＲＡの低い極値ＬＥＶ（この例においては０）と、低い境界ＬＢとの間において、前記のようなマスクは、単調に最大値ＭＡＸから最小値ＭＩＮまで減少する。好ましくは、最大値ＭＡＸは高い極値ＨＥＶに等しく、最小値ＭＩＮは、低い極値ＬＥＶに等しい。このようなマスクは、平均ブライトネス値ＬＶが、範囲ＲＡの低い極値ＬＥＶと、低い境界ＬＢとの間、従って低いグレー値に関して生じる場合に、非ゼロ値を生じるのみである。

図５は、高いグレーレベルにおけるディテールを強調するためのマスクの例を示している。前記マスクは、横軸に沿って８ビット平均ブライトネス値ＬＶを、縦軸に沿ってマスクされた値ＭＶを示している。マスクされた値ＭＶは、低い境界ＬＢ及び高い境界ＨＢを有するサブ範囲ＳＲ内に最小値を有する。低い境界ＬＢは、範囲ＲＡの低い極値ＬＥＶと一致する。範囲ＲＡの高い境界ＨＢと高い極値ＨＥＶとの間で、前記マスクは、最小値ＭＩＮから最大値ＭＡＸまで単調に増加する。好ましくは、最大値ＭＡＸは、高い極値ＨＥＶに等しく、最小値ＭＩＮは、低い極値ＬＥＶに等しい。前記のようなマスクは、平均ブライトネス値ＬＶが高い境界ＨＢと高い極値ＨＥＶとの間、従って高いグレー値に関して生じる場合に、非ゼロ値を生じるのみである。

図６は、低い及び高いグレーレベルの両方におけるディテールを強調するマスクの例を示している。このマスクは、図４及び５に示されているマスクの組み合わせであり、更に説明される必要はない。このマスクは、平均ブライトネス値ＬＶが低い又は高いグレー値に関して生じる場合、非ゼロ値を生じるのみである。

図４乃至６に関して、入力ピクセル値ＩＰＶの範囲ＲＡは、範囲ＲＡの中心値を少なくとも有するサブ範囲ＳＲを有するように考えられている。従って、サブ範囲ＳＲは、中心値のみを有することができる。

図７は、低いグレーレベルに関するクリッピング関数の例を示している。入力ピクセル値ＩＰＶは、横軸に沿って描かれており、変更されたピクセル値ＣＰ１は、縦軸に沿って描かれている。前記クリッピング関数は、範囲ＲＡの低い極値ＬＥＶから始まってしきい値ＬＢ'における最大値ＭＡＸ'まで増加し、最大値ＭＡＸ'を高い極値ＨＥＶまで保持する。従って、クリッピング関数６は、変更されたピクセル値ＣＰ１を、しきいＬＢ'よりも高い入力ピクセル値ＩＰＶに関する最大値ＭＡＸ'に制限する又はクリッピングする。

入力ピクセル値ＩＰＶ内に高周波数情報がない又は前記高周波数情報が高いグレーレベルのみにおいて生じる場合、全ての変更されたピクセル値ＣＰ１は最大値ＭＡＸ'にクリッピングされるので、同じ値を有する。今、ディテール値ＨＶは、ディテールフィルタ３がＤＣレベルを受け取るので、全てゼロである。低いグレーレベルに高周波数情報がない場合のみ、変更されたピクセル値ＣＰ１は変化し、ディテールフィルタ３は、非ゼロディテール値ＨＶを供給する。従って、ディテールフィルタ３の出力値は、低いグレーレベルに関して、考えられているピクセルの近隣に高周波数情報が存在するかどうかを示している。

図８は、高いグレーレベルに関するクリッピング関数の例を示している。入力ピクセル値ＩＰＶは、横軸に沿って描かれており、変更されたピクセル値ＣＰ２は、縦軸に沿って描かれている。クリッピング関数は、低い極値ＬＥＶから始まって入力ピクセル値ＬＢ"までは、最小値ＭＩＮ'を有している。次いで、クリッピング関数６は、高い極値ＨＥＶまで増加する。従って、クリッピング関数６は、しきい値ＬＢ"よりも低い入力ピクセル値ＩＰＶに関して、変更されたピクセル値ＣＰ１を最小値ＭＩＮ'に制限する。

入力ピクセル値ＩＰＶ内に高周波数情報が存在しない場合、又は前記高周波数情報が低いグレーレベルのみにおいて生じる場合、全ての変更されたピクセル値ＣＰ２は、最小値ＭＩＮ'にクリッピングされるので、同じ値を有する。ディテール値ＦＨＶは、ＤＣレベルがディテールフィルタ６０によってハイパスフィルタリングされるので、全てゼロである。高いグレーレベル内に高周波数情報が存在する場合のみ、入力ピクセル値ＩＰＶ及び変更されたピクセル値ＣＰ２の両方が変化する。今、ディテールフィルタ３０は、高いグレーレベルに関して考えられているピクセルに関して、高周波数情報が当該ピクセルの近隣に存在することを示している非ゼロディテール値ＦＨＶを供給している。

図９は、入力画像内のディテールを強調する方法を実行するプロセッサのブロック図を示している。プロセッサ５０は、入力ピクセル値ＩＶＰを受け取り、出力ピクセル値ＯＶＰを供給する。プロセッサ５０は、例えば、メモリ又は光学記憶媒体である記憶媒体５１内に記憶されているプログラムを実行する。実行される前記プログラムは、上述した関数を実施する。

図１０は、カメラを有する携帯型の装置を示している。携帯型の装置ＰＤは、表示スクリーンを有する表示装置１０、カメラ７及びオプションでのボタン２５を有している。カメラ７の画像センサ７０は、入力ピクセル値ＩＰＶを供給するために画像センサ信号ＩＳＳを処理回路７１に供給する（図１も参照）。携帯型の装置は、例えば、ＰＤＡ（パーソナルデジタルアシスタント）又は携帯電話であっても良い。カメラ７は、携帯型の装置ＰＤの後ろ側又は何らかの他の側に位置決めされることもできる。

上述の実施例は、本発明を限定するものではなく、当業者であれば、添付請求項の範囲を逸脱することなく多くの代替的な実施例を設計することができることに留意されたい。

本発明は、入力ピクセル値ＩＰＶに関して説明されている。単色の画像に関して、入力ピクセル値ＩＰＶの１つの種類のみ、即ち入力画像の入力ピクセルの輝度又はブライトネスを示しているもののみが、存在する。入力画像が多色のものである場合、前記入力画像は、ピクセルごとに、入力ピクセル値ＩＰＶの集合を有している。例えば、通常のフルカラー画像の場合、各ピクセルの色及びブライトネスは、赤成分Ｒ、緑成分Ｇ、及び青成分Ｂによって規定されている。ピクセルごとに、１つの非線形関数のみが決定されることができる。使用されている入力ピクセル値ＩＰＶは、これらのＲＧＢ成分のうちの１つ又は前記ＲＧＢ成分の組み合わせであることもできる。前記ＲＧＢ成分の組み合わせが使用される場合、好ましくはこの組み合わせは、ピクセルの輝度を表している。代替的には、ピクセルごとに、非線形関数が、非線形関数の各々に関して、関連する成分を入力ピクセル値ＩＰＶとして使用することにより、成分の各々１つに関して決定される。

上述の実施例は、本発明を限定するものではなく、当業者であれば、添付請求項の範囲を逸脱することなく多くの代替的な実施例を設計することができることに留意されたい。前記請求項において、括弧内に置かれた如何なる符号も、請求項を限定するものと解釈されるべきではない。「有する」という語は、請求項に記載されていない構成要素又はステップの存在を排除するものではない。単数形の構成要素は、複数のこのような構成要素を排除するものではない。本発明は、幾つか別個の構成要素を有するハードウェアによって、及び適当にプログラムされたコンピュータによって実施化することができる。いくつかの手段を列挙している装置請求項において、これらの手段の幾つかは１つの同じハードウェアの項目によって、実施化することができる。特定の手段が、相互に異なる従属請求項において引用されているという単なる事実は、これらの手段の組み合わせが有利になるように使用されることができないと示すものではない。

入力画像内のディテールを強調する本発明による実施例のブロック図を示している。 入力画像内のディテールを強調する本発明による他の実施例のブロック図を示している。 非線形関数の例を示している。 低いグレーレベルにおけるディテールを強調するマスクの例を示している。 高いグレーレベルにおけるディテールを強調するマスクの例を示している。 低い及び高いグレーレベルの両方におけるディテールを強調するマスクの例を示している。 低いグレーレベルに関するクリッピング関数の例を示している。 高いグレーレベルに関するクリッピング関数の例を示している。 入力画像内のディテールを強調する方法を実行するプロセッサのブロック図を示している。 カメラを有する携帯型の装置を示している。

Claims (14)

1. 範囲に限定されている入力ピクセル値を持つ入力ピクセルを有する入力画像内のディテールを強調する方法であって、
   − 平均ブライトネス値を得るために前記入力ピクセル値を平均フィルタリングするステップと、
   − 前記入力ピクセルの特定の１つに対応するマスクされた値であって、前記範囲のサブ範囲内の平均ブライトネス値に対して、前記サブ範囲外のピクセルに対する場合とは異なるマスクされた値を得るために、前記平均ブライトネス値に輝度マスクを適用するステップと、
   − 前記入力ピクセルの特定の１つに対応するディテールの量を示すディテール値を得るために、前記入力ピクセル値をディテールフィルタリングするステップと、
   − 前記入力ピクセル値の少なくとも１つに対して、対応する出力ピクセル値を得るために、前記入力ピクセル値に非線形関数を適用するステップであって、前記非線形関数の利得は、前記入力ピクセルのうちの特定の１つに対して何れも決定されている前記マスクされた値及びディテール値の両方に依存しており、前記利得は、前記サブ範囲外の入力ピクセル値を有する入力ピクセルに対して、前記サブ範囲外の入力ピクセル値を有する入力ピクセルに対する場合よりも高く、前記利得は、前記ディテール値が、前記特定の入力ピクセルの周りの前記画像部分における多くの高周波数コンテンツを示している入力ピクセルに対して、前記ディテール値が少ない高周波数コンテンツを示している入力ピクセルに対する場合よりも高い、ステップと、
   を有する方法。
2. 前記範囲は、低い極値及び高い極値を有しており、輝度マスクの適用は、前記サブ範囲の低い境界における最小値に到達するために前記低い極値から減少するマスクされた値を供給し、前記サブ範囲内においてこの最小値を保持する、請求項１に記載の方法。
3. 前記サブ範囲の高い境界は、前記高い極値と一致している、請求項２に記載の方法。
4. 前記サブ範囲の高い境界は、前記高い極値よりも低い値を有しており、前記マスクされた値は、前記高い境界から前記高い極値まで増大する、請求項２に記載の方法。
5. 前記ディテール値は、高い高周波数コンテンツを有する画像部分における入力ピクセルに対して、低い高周波数コンテンツを有する画像部分における場合よりも高い、請求項１に記載の方法。
6. 前記マスクされた値及び前記ディテール値は、乗算された値を得るためにピクセル−バイ−ピクセルベースで乗算され、前記非線形関数の適用は、前記乗算された値に比例する前記非線形関数の利得を増大させる、請求項２、３又は５に記載の方法。
7. 低い極値と高い極値との間のサブ範囲における入力ピクセル値に対して、クリップレベルにクリッピングされた変更された値を少なくとも得るようにディテールフィルタリングされる前における前記入力ピクセル値のクリッピングを更に有する、請求項１に記載の方法。
8. しきい値よりも高い入力ピクセル値に対して、最大クリップレベルにクリッピングされた変更された値を得るためのディテールフィルタリングされる前における前記入力ピクセル値のクリッピングと、
   更なるしきい値よりも低い入力ピクセル値に対して、最小値にクリッピングされた更に変更された値を得るための前記入力ピクセル値の更なるクリッピングと、
   前記入力ピクセルの特定の１つに関して更なるディテール値を得るための更に変更された値のディテールフィルタリングと、
   を有する方法であって、前記非線形関数の利得は、前記マスクされた値、最初に上述した前記ディテール値及び前記更なるディテール値の何れにも依存する、請求項１に記載の方法。
9. 範囲に限定されている入力ピクセル値を持つ入力ピクセルを有する入力画像内のディテールを強調する装置であって、
   − 平均ブライトネス値を得るために前記入力ピクセル値を平均フィルタリングする平均化フィルタと、
   − 前記入力ピクセルの特定の１つに対応するマスクされた値であって、サブ範囲内の平均ブライトネス値に対して、前記サブ範囲外のピクセルに対する場合とは異なるマスクされた値を得るために、前記平均ブライトネス値に輝度マスクを適用するマスク回路と、
   − 前記入力ピクセルの特定の１つに対応するディテールの量を示すディテール値を得るために前記入力ピクセル値をディテールフィルタリングするディテールフィルタと、
   − 前記入力ピクセル値のうちの少なくとも１つに対して、対応する出力ピクセル値を得るために、前記入力ピクセル値に対して非線形関数を適用する非線形回路であって、前記非線形関数の利得は、前記入力ピクセルの特定の１つに対して決定されている前記マスクされた値（ＭＶ）及び前記ディテール値の両方に依存しており、前記利得は、前記サブ範囲外の入力ピクセル値を有する入力ピクセルに対して、前記サブ範囲内の入力ピクセル値を有する入力ピクセルに対する場合よりも高く、前記利得は、前記ディテール値が、前記特定の入力ピクセルの周りの前記画像部分における多くの高周波数コンテンツを示している入力ピクセルに対して、前記ディテール値が、少ない高周波数コンテンツを示している入力ピクセルに対する場合よりも高い、非線形回路と、
   を有する装置。
10. 請求項９に記載の装置と、
    前記入力ピクセル値を供給する信号処理回路と、
    駆動信号を得るために前記出力ピクセル値を処理するドライバと、
    駆動信号を表示する表示機器と、
    を有する表示装置。
11. プロセッサが請求項１に記載の方法を実行するのを可能にするプロセッサ読み出し可能なコードを含むコンピュータプログラムであって、前記プロセッサ読み出し可能なコードは、
    − 平均ブライトネス値を得るために前記入力ピクセル値を平均フィルタリングするためのコードと、
    − 前記範囲のサブ範囲内の平均ブライトネス値に対して、前記サブ範囲外のピクセルに対する場合とは異なるマスクされた値を得るために、前記平均ブライトネス値に輝度マスクを適用するコードと、
    − ディテールの量を示すディテール値を得るために、前記入力ピクセル値をディテールフィルタリングするためのコードと、
    − 前記入力ピクセル値のうちの少なくとも１つに対して、対応する出力ピクセル値を得るために、前記入力ピクセル値に非線形関数を適用するコードであって、前記非線形関数の利得は、前記入力ピクセルの同じものに対して両方決定されている前記マスクされた値及びディテール値の両方に依存し、前記利得は、前記サブ範囲の外側における入力ピクセル値を有する入力ピクセルに対して、前記サブ範囲の内側における入力ピクセル値を有する入力ピクセルに対する場合よりも高く、前記利得は、前記ディテール値が前記特定の入力ピクセルの周りの前記画像部分における多くの高周波数コンテンツを示している入力ピクセルに対して、前記ディテール値が少ない高周波数コンテンツを示している入力ピクセルに対する場合よりも高い、コードと、
    を有するコンピュータプログラム。
12. 前記コンピュータプログラムは、画像処理アプリケーションにおけるソフトウェアプラグインである、請求項１１に記載のコンピュータプログラム。
13. 画像センサ信号を供給する画像センサと、前記画像センサ信号を受け取って前記入力ピクセル値を供給する処理回路とを有する、請求項９に記載の装置を有するカメラ。
14. 請求項１３のカメラを有する携帯型装置。

Images