JP2008512051A

JP2008512051A - 画像を処理するための装置および方法

Info

Publication number: JP2008512051A
Application number: JP2007530094A
Authority: JP
Inventors: イリア、オフシアニコフ
Original assignee: Micron Technology Inc
Current assignee: Micron Technology Inc
Priority date: 2004-08-27
Filing date: 2005-08-24
Publication date: 2008-04-17
Anticipated expiration: 2025-08-24
Also published as: WO2006026307A2; JP4468451B2; CN101061506A; WO2006026307A3; TW200614810A; CN100576247C; EP1789922A2; TWI268104B; US20060044431A1; KR100874561B1; KR20070059111A; US7386186B2; EP1789922B1

Abstract

画像を処理するための方法および装置である。特に、例示的な方法の一実施形態は、画素出力信号を生成する画素アレイに、画像を入力するステップと、画素出力信号に対して、画像エッジを画定する画素を検出する画像エッジ検出ルーチンを実行するステップと、エッジ画定画素の輝度強度値に基づいて、エッジ画定画素を、所定の複数の領域に分類するステップと、分類するステップを用いて、エッジ画定画素の輝度強度値の一範囲に関する非線形変換関数動作を定義するステップと、輝度強度値に対して、非線形変換関数を適用するステップと、適用された非線形変換関数を有するエッジ画定画素を用いて、入力画像から強化画像を生成するステップと、を備える。例示的な装置の一実施形態は、上述の方法を実行するプログラムされたプロセッサを備える。

Description

本発明は、デジタル画像を処理し、画像のコントラストを強化するための装置および方法に関する。

発明の背景

ダイ、例えば、電荷結合素子（ＣＣＤ）および相補型金属酸化膜半導体（ＣＭＯＳ）ダイなどの撮像装置ダイを含む集積回路は、画像再生用途において、一般的に使用されている。

ＣＭＯＳ撮像装置ダイなどの撮像装置ダイは、典型的には、単一チップ上の画素アレイに何千もの画素を含んでいる。画素は、光を電気信号に変換し、電気信号は、次いで記憶され、例えばプロセッサなどの電気デバイスによって呼び出すことができる。記憶された電気信号を呼び出して、例えばコンピュータ画面またはプリント可能な媒体に、画像を生成することができる。

例示的なＣＭＯＳ撮像回路、その処理ステップ、および撮像回路の様々なＣＭＯＳ素子の機能の詳細な説明は、例えば、米国特許第６，１４０，６３０号、第６，３７６，８６８号、第６，３１０，３６６号、第６，３２６，６５２号、第６，２０４，５２４号、第６，３３３，２０５号に説明されており、これらのそれぞれは、マイクロンテクノロジー（Micron Technology, Inc.）に譲渡されている。上記特許のそれぞれの開示内容は、その全体が、参照することにより、ここに組み込まれる。

図１は、ＣＭＯＳ撮像デバイス８を有する撮像装置ダイ１０のブロック図を示している。ＣＭＯＳ撮像デバイスは、所定の数の列および行に配置された複数の画素を備える画素アレイ１４を有する。画素アレイ１４の各行の画素セルは、行選択ラインによって、全て同時にオンにされ、各列の画素セルは、それぞれの列選択ラインによって、選択的に出力される。画素アレイ１４全体に対して、複数の行および列ラインが設けられる。行ラインは、行アドレスデコーダ２に応じて、行ドライバ１によって順にアクティブ化され、列選択ラインは、列アドレスデコーダ４に応じて、列ドライバ３によって、各行のアクティブ化に対して順に選択的にアクティブ化される。ＣＭＯＳ撮像デバイス８は、制御回路５によって動作され、制御回路５は、アドレスデコーダ２，４を制御して、画素読み出しのための適当な行および列ラインを選択させ、行および列ドライバ回路１，３を制御して、選択された行および列ラインの駆動トランジスタに駆動電圧を印加する。

画素出力信号は、典型的には、電荷蓄積ノードがリセットされる際に、電荷蓄積ノードから得られた画素リセット信号Ｖ_ｒｓｔと、画像によって生成された電荷がノードに転送された後に、蓄積ノードから得られた画素画像信号Ｖ_ｓｉｇとを含む。Ｖ_ｒｓｔおよびＶ_ｓｉｇ信号は、サンプルおよびホールド回路６によって読み取られ、差動増幅器７によって減算され、差動増幅器７が、各画素セルに関する差信号（Ｖ_ｒｓｔ−Ｖ_ｓｉｇ）を生成し、差信号は、画素に当たる光の量を表している。この信号差は、アナログ−デジタル変換器９によってデジタル化される。デジタル化された画素差信号は、次いで、画像プロセッサ１１に供給され、デジタル画像を形成する。加えて、図１に示されるように、ＣＭＯＳ撮像デバイス８を、単一の半導体チップ上に含ませて、撮像装置ダイ１０を形成させてもよい。撮像装置ダイ１０は、限定されるものではないが、カメラ、携帯情報端末（ＰＤＡ：Personal Digital Assistant）、スキャナ、ファクシミリ装置、およびコピー機を含むいくつかの画像生成分野に含めることができる。

ユーザは、しばしば、例えば写真などの画像再生分野において、画像を最大のコントラストで見ることを望む。このような画像は、生き生きとしてクリアに見え、多くの細部を有するため、視覚的に満足のいくものである。コントラストを改善するための既知の方法としては、転送機能（“ｓ曲線”）の変更、コントラストのストレッチング、ヒストグラムの等化、および輝度成分の増幅が含まれている。各方法は、固有の欠点を有しており、粗悪な画質をもたらし得る。

よって、画像の視覚的な質に悪影響を及ぼすことなく、画像を処理して、画像のコントラストを増加させる要望および必要性がある。

本発明は、画像を処理するための方法および装置に関する。特に、例示的な方法の一実施形態は、画素出力信号を生成する画素アレイに、画像を入力するステップと、画素出力信号に対して、画像エッジを画定する画素を検出する画像エッジ検出ルーチンを実行するステップと、エッジ画定画素の輝度強度値に基づいて、エッジ画定画素を、所定の複数の領域に分類するステップと、分類を用いて、エッジ画定画素の輝度強度値の一範囲に関する非線形変換関数動作を定義するステップと、輝度強度値に対して、非線形変換関数を適用するステップと、適用された非線形変換関数を有するエッジ画定画素を用いて、入力画像から強化画像を生成するステップと、を備える。例示的な装置の一実施形態は、上述の方法を実行するプログラムされたプロセッサを備える。

発明の詳細な説明

本発明の上述の特性は、添付の図面を参照して提供される、以下の詳細な説明から、より明確に理解されるであろう。

以下の詳細な説明において、添付の図面が参照され、図面は、本明細書の一部を形成し、本発明を実行することが可能な特定の実施形態を、例として示している。これらの実施形態は、当業者が本発明を実行できるように十分に詳しく説明されており、また、他の実施形態を用いてもよいこと、ならびに、本発明の要旨および範囲から逸脱することなく、構造的、論理的および電気的な変更が可能であることを理解すべきである。説明される処理ステップの進行は、本発明の実施形態を例示しているが、ステップの順序は、ここに述べられるものに限定されず、特定の順番で生じることが必要なステップを除いて、従来技術で知られるように変更してもよい。

ここで、同様の参照番号は同様の要素を表している、各図を参照すると、図２は、デジタル画像を処理し、画像のコントラストを増強する方法３００の例示的な実施形態を示している。方法３００は、画像プロセッサ、例えば画像プロセッサ１１（図１）によって、または他の任意のプロセッサ、例えば撮像装置ダイ１０の外部のプロセッサによって、行うことができ、このプロセッサは、画像を入力するステップ（ステップ３１０）と、エッジ検出ルーチンを実行するステップ（ステップ３１５）と、エッジ画定画素を、各エッジ画定画素の輝度値に基づいて、所定の複数のグループに分類するステップ（ステップ３２０）と、各エッジ画定画素の輝度値に、それらの初期輝度値に基づいて、非線形関数を適用するステップ（ステップ３５５）と、画像を出力するステップ（ステップ３６５）と、を行うようにプログラムされている。方法３００の各ステップを、以下にさらに詳しく説明する。

方法３００の第１のステップ３１０の一実施形態は、画素アレイ、例えば画素アレイ１４（図１）の画素を通じて、入力画像４１０（図４）を入力することを備える。入力画像がひとたび入力されると、本発明の例示的な実施形態に係るエッジ検出ルーチン（ステップ３１５）が実行される。入力画像のエッジとは、明暗のコントラストが存在する画像の領域を指す。

水平および垂直のエッジの両方を検出することに加えて、従来技術で知られるように、エッジ検出ルーチンは、４５度および１３５度のエッジも、認識する。画像のエッジは、典型的には、画素のクラスタ内で検出される。例えば、図３は、撮像デバイス、例えば撮像装置ダイ１０（図１）の、画素１７１〜１７９を有する、画素アレイ１４（図１）の一部分の上面図を示している。画素アレイ１４（図１）の各画素は、８ビットのグレースケール画像では０〜２５５の範囲にわたる、関連する輝度強度値、すなわち明るさを有する。

画素アレイの各画素が調査され、関連する輝度強度値に基づいて、エッジ画定画素であるかどうかが決定される。画素、例えば明画素１７５の調査では、周辺の画素（隣接する画素１７１〜１７４，１７６〜１７９）が分析され、隣接する画素１７１〜１７４，１７６〜１７９のいずれかが、調査された画素と共にエッジを画定するかどうかが、決定される。調査中の画素に隣接する画素が、エッジを画定するのに十分な輝度強度値を持たない場合、調査された画素は棄却される。一方で、図３に示されるように、調査中の画素（調査された画素１７５）の１つまたは複数の隣接画素１７１〜１７４，１７６〜１７９が、エッジを画定する場合、調査された画素１７５と、エッジを画定する他の任意の隣接画素とを、さらに処理することができる。エッジを画定するには、隣接する明画素と暗画素の明るさ値における差が、所定のしきい値を超える必要があり、この値は、プログラム可能な値としてもよい。

図３は、調査された画素１７５と、隣接する画素１７１，１７２，１７３，１７６，１７７，１７８，および１７９の間で画定されたエッジを示している。しかし、調査された画素１７５と、画素１７４の間には、エッジが画定されておらず、これは、輝度強度値の差が、エッジが検出されないような差だからである。同様に、調査された画素１７４は、隣接する画素１７１および１７７と共に、エッジを画定していることが検出される。よって、図示された画素１７１〜１７９は、エッジ画定画素とみなされ、さらに処理される。

上述のエッジ検出ルーチンは、単に例示的な実施形態であり、いかなる場合でも、限定を意図しないことに留意すべきである。例えば、当該技術分野で知られている他のエッジ検出ルーチンを、用いることができる。

図４を参照すると、エッジを画定する画素を用いて、エッジマップ４２０を構築することができる。エッジマップの構築は、方法３００（図２）に必須ではなく、行わなくてもよいことに留意されたい。エッジマップ４２０は、入力画像４１０をキャプチャするエッジ画素により出力される電気信号を、単に表している。エッジを画定していると認識されなかった画素も、入力画像４１０の各部分をキャプチャすることに留意すべきである。これらのエッジを画定しない画素からの電気信号を用いて、出力画像が出力される（ステップ３６５（図２））。

図２を参照すると、所定の数のエッジ画定画素を、各画素の輝度値に基づいて、所定の数のグループに類別することができる（ステップ３２０）。例えば、全てのエッジ画定画素を、各グループが異なる輝度値を表す２５６のグループ、すなわち０〜２５５、のうちの１つに類別することができる。図５に示すように、入力輝度ヒストグラム５１０を作成して、対応する輝度強度値を有するエッジ画定画素の分類を、示してもよい。

さらなる処理において、各エッジ画定画素に関連する輝度強度値に、非線形関数が適用される（ステップ３５５（図２））。非線形関数は、以下により詳細に説明されるように、各エッジ画定画素の輝度強度値に、ある値を加えて、輝度値を増加または減少させる。エッジ画定画素の輝度強度値の増加／減少は、入力画像のコントラストを増加させる。増加／減少された輝度強度値は、出力画像において出力される（ステップ３６５（図２））。出力画像は、より良く画定されたエッジを有する、強化したコントラストを有する。

非線形関数は、各画素の関連する輝度強度値に基づいて、エッジ画定画素を最初に領域に分類することによって、決定される。上述のように、各画素は、関連する輝度強度値を有し、それぞれが、例えば０〜２５５の、所定の複数のグループに分類される。これらのグループは、さらに、所定の複数の領域に類別される。例えば８などの特定の数よりも少ない輝度強度値に対応するエッジ画素を、例えば領域１として互いに分類できる。８〜１５の輝度強度値に対応するエッジ画素は、領域２として分類され、等々である。これは、エッジを有する全ての画素が、例えば３２の領域に分類されるまで行われ、各領域は、８の輝度強度値を有して、画素の２５６の可能な輝度強度値をカバーし、３２の領域を有するヒストグラムを基本的に作成する。３２の等しい領域に分割されると説明しているが、画素は、要望の分野に基づいて、より少ないか、または多い領域、すなわち３２の領域より少ないか、または多い領域に分割することができる。さらに、画素は、均等に分割する必要はないことに留意すべきである。

画素が領域に分類されると、各領域に、コントラスト増加値が割り当てられる。例示的な実施形態において、コントラスト増加値（ｃ_ｖｘ）は、次の式に従い割り当てられる。
（３）ｃ_ｖｘ＝α（Ｎ_ｘ／Ｎ_{ｔｏｔａｌ}）γ
ここで、Ｘは、コントラスト増加値、例えば１〜３２が割り当てられた領域を表し、αおよびγは、実験的な定数であり、Ｎ_ｘは、対応する領域における画素の数を表し、Ｎ_{ｔｏｔａｌ}は、画素アレイにおける画素の合計数を表す。例えば、３２の領域のうちの領域１、例えばｃ_ｖ１の定数増加値の計算において、Ｎ_１は、領域１における画素の数を表し、Ｎ_{ｔｏｔａｌ}は、画素の合計数を表す。例示的な実施形態において、αは１に等しく、γは０．５に等しい。

他の例示的な実施形態においては、コントラスト増加値（ｃ_ｖｘ）を、暗領域および明領域に対して作成することができる。例えば、領域１および３２を、１の値に設定することができ、すなわち、ｃ_１およびｃ_３２が、１の値と等しくなる。暗領域および明領域は、以下により詳細に説明されるように、明るい画像が、さらに明るくなること、および暗い画像が、さらに暗くなることを防ぐ。

図６を参照すると、ひとたび所定の数の領域のそれぞれに、コントラスト増加値（ｃ_ｖｘ）が割り当てられると、コントラスト増加マップ６１０を作成することができる。図示された例では、領域１，２，および３、例えばｃ_１，ｃ_２，ｃ_３，および領域３２、例えばｃ_３２のコントラスト増加値が、１の値に設定され、それぞれ暗領域および明領域を作る。また、領域０が作成され、ベース値が確定される。領域０、例えばｃ_０も、１の値に設定される。コントラスト増加マップ６１０の構築は、任意であり、いかなる限定も意図しないことに留意すべきである。エッジを画定する画素により出力される電気信号は、コントラスト増加値が割り当てられ、さらに処理される。

次に、各コントラスト増加値（ｃ_ｖｘ）が正規化される。例示的な一実施形態においては、各コントラスト増加値（ｃ_ｖｘ）は、次の式に従って正規化される。
（４）Ｃ_ｖｘ＝ｃ_ｖｘ／ｓｕｍ（ｃ_ｊ）
ここで、ｊはｘ_ｌｏからｘ_ｈｉｇｈまでを表し、すなわちｃ_１＋ｃ_２＋ｃ_３．．．＋ｃ_３２を表す。各領域の正規化されたコントラスト増加値（Ｃ_ｖｘ）をマッピングして、正規化コントラスト増加値マップ７１０（図７）を作成することができる。図示されるように、領域に含まれる、水平線７２０より下となるこれらの画素の輝度強度値は、これらに適用される１よりも小さい値を有し、よって、画素を暗くする。水平線７２０より上の領域に含まれる、これらの画素の輝度強度値は、これらに適用される１よりも大きい値を有し、よって、画素をより明るくする。正規化コントラスト増加値のマッピングは、任意であり、いかなる限定も意図しないことに留意すべきである。

領域１，２，３，および３２には、１のコントラスト増加値が、従って１／３２の正規化コントラスト増加値が、割り当てられているため、領域１，２，３，および３２に含まれる画素の輝度強度値は、増加も減少もされず、よって、最も暗い画素が、さらに暗くなることを防ぎ、かつ最も明るい画素が、さらに明るくなることを防ぐ。領域１，２，３，および３２を、１の値に設定することは、単に任意であり、いずれの領域も、１に等しいコントラスト増加値を割り当てる必要はないことに留意されたい。あるいは、より多いか、または少ない領域に、１に等しいコントラスト増加値を割り当てることもできることに留意すべきである。

正規化コントラスト増加値（Ｃ_ｖｘ）を、各領域に割り当てた後、正規化コントラスト増加値（Ｃ_ｖｘ）を用いて、変換関数を生成することができる。例示的な一実施形態において、変換関数は、次の式に従い生成される。
（５）ｆ（ｘ＋１）＝Ｆ（ｘ）＋Ｃ_ｖｘ
ここで、ｆは、上述の３２の領域のそれぞれに用いられる関数を表し、Ｆは、各領域についての積分関数を表す。１つめの領域、０は、０に設定され、すなわち、ｆ（０）＝０となる。最後の領域、３２は、１に設定され、すなわち、ｆ（３２）＝１となる。１つめの領域に対しては、ｆ（１）＝０＋Ｃ_ｖ１となり、Ｃ_ｖ１を、０に設定されたＣ_ｖ０に加算する。２つめの領域に対しては、ｆ（２）＝０＋Ｃ_ｖ１＋Ｃ_ｖ２となり、以下同様となる。任意ではあるが、変換関数をマッピングして、変換関数グラフ８１０（図８）を生成することができる。

図８に示されるように、正規化コントラスト増加値（Ｃ_ｖｘ）から得られた関数は、グラフ上で３３の異なる点を表す（図６に関して上述されたベース値０に加えて、３２の領域）。次いで、図８の変換関数グラフ８１０に示される３３の点を用いて、次の式に従って非線形変換関数を推定する。
（６）Ｆ_Ｙ＝Ｏ_ｘ＋Ｃ_ｖｘ＊（ＹｍｏｄＺ）＊Ｐ
ここで、Ｆは、非線形変換関数を表し、Ｙは、個別の強度レベル（例えば０〜２５５）を表し、Ｃ_ｖｘは、上述のコントラスト増加値を表し、Ｐは、入力輝度ヒストグラムが分割された所定の数の領域の数を表し、Ｚは、Ｐにより分割された強度レベルの数を表す。例えば、画素が、ＲＧＢ８ビットトリプレット（RGB 8-bit triplet）として符号化され、Ｐ＝３２である場合、Ｚは、（２５５＋１）／３２＝８に等しい。式（６）において、Ｏ_ｘは、出力輝度を表し、次の式を用いて計算される。
（７）Ｏ_ｘ＝ｓｕｍ（Ｃ_Ｍ）＊Ｉ
ここで、Ｃ_Ｍは、１からｘ−１までのコントラスト増加値を表し、ｘは１〜３２に等しく、Ｉは、入力輝度ヒストグラム内の強度値の数を表す。入力輝度ヒストグラム５１０（図５）において、Ｉ＝２５６である。非線形変換関数の推定は、図９に図示される。

単に任意ではあるが、ひとたび推定された非線形変換関数は、図１０に示される非線形変換関数マップ９２０にマッピングすることができる。図示されるように、２５６の出力輝度値（例えば０〜２５５）のそれぞれに、非線形変換関数値が割り当てられている。非線形変換関数は、次いで、入力輝度ヒストグラム５１０（図５）において表された入力画像をキャプチャするエッジ画素の輝度強度値に適用される。非線形変換関数の、入力画像をキャプチャするエッジ画定画素への適用は、図１１に示される、出力輝度ヒストグラム１０１０により表すことができる電気信号を生じる。図示されるように、出力輝度ヒストグラム１０１０は、“ストレッチされた（stretched）”ヒストグラムである。出力輝度ヒストグラム１０１０の生成は、エッジ画定画素により出力された電気信号の処理を単に表していることに留意されたい。出力輝度ヒストグラム１０１０は、対応する輝度強度値を有するエッジ画定画素の処理された分類を、単に表している。

方法３００は、上述のように、出力画像（ステップ３６５）を出力することにより完結する。出力画像は、エッジ画定画素からの処理された電気信号と、組み合わされると完全な入力画像４１０（図４）をキャプチャする、エッジを有すると認識されなかった画素により出力された電気信号と、に基づいている。出力画像は、よりクリアなエッジを有し、よって、画像の視覚的な質に悪影響を及ぼすことなく、増強したコントラストを有するように見える。出力画像は、また、現像過度および現像不足の入力画像よりも多くの細部を有する。

非線形関数の適用は、すべての輝度強度値（例えば０〜２５５）に行う必要はなく、輝度強度値の一範囲にのみ適用することもできることに留意されたい。例えば、非線形関数を、暗画素（例えば０〜１２８の輝度強度値を有する画素）として認識された画素に適用することができ、これにより、暗画素のみの輝度強度値を変化させる。同様に、非線形の関数を、明画素（例えば１２９〜２５５の輝度強度値を有する画素）として認識された画素に適用することができ、これにより、明画素の輝度強度値のみを変化させる。非線形関数の、暗画素のみまたは明画素のみへの適用は、処理された画像のコントラストを増強する、同一の効果を有する。

本発明は、８ビット処理（結果的に２５６の輝度強度値になる）に関して説明されたが、本発明はこれに限定されない。例えば、より広い範囲の輝度強度値を必然的に伴う、１２ビット、１６ビット、および他のビット処理を用いてもよい。

図１２は、本発明に係る画像処理の方法を利用した撮像デバイス１１０８を含むプロセッサベースのシステム１１００を示しており、撮像デバイス１１０８は、撮像装置ダイ１０（図１）を含んでもよい。プロセッサベースのシステム１１００は、イメージセンサデバイスを包含可能なデジタル回路を有するシステムを例示している。限定するものではないが、このようなシステムは、コンピュータシステム、カメラシステム、スキャナ、マシンビジョン、車両ナビゲーション、テレビ電話、監視システム、オートフォーカスシステム、スタートラッカー（star tracker）システム、動き検出システム、画像安定化システム、およびデータ圧縮システム、を含むことができる。

プロセッサベースのシステム１１００、例えばカメラシステムは、一般的に、マイクロプロセッサなどの中央処理ユニット（ＣＰＵ）１１０２を備え、ＣＰＵ１１０２は、バス１１０４を介して入出力（Ｉ／Ｏ）デバイス１１０６と通信する。撮像デバイス１１０８も、バス１１０４を介して、ＣＰＵ１１０２と通信し、かつ図１と関連して上述したような撮像装置ダイ１０を含んでもよい。プロセッサベースのシステム１１００は、また、ランダムアクセスメモリ（ＲＡＭ）１１１０を含み、かつ、フラッシュメモリなどのリムーバブルメモリ１１１５を含むことができ、このメモリも、バス１１０４を介してＣＰＵ１１０２と通信する。撮像デバイス１１０８は、ＣＰＵ、デジタル信号プロセッサ、またはマイクロプロセッサなどのプロセッサと、単一の集積回路上、またはプロセッサとは異なるチップ上に、メモリ記憶部を有して、または有さずに、組み合わせてもよい。プロセッサベースのシステム１１００におけるメモリ記憶デバイスのいずれかが、上述の方法を用いるためのソフトウェアを記憶することができる。

図２〜図１１を参照して述べられ図示された処理に従う出力画像を生成するためのプロセッサは、画像プロセッサ１１またはＣＰＵ１１０２によって、またはシステム１１００と通信するさらに他のプロセッサによって実施してもよい。本発明は、特にグレースケールヒストグラムへの適用により説明されたが、本発明は、赤、緑、および青のチャンネルの個別のヒストグラム、または３次元ヒストグラムの形態で取られ得る、カラー画像のヒストグラムにも適用できることに留意すべきである。また、本発明は、ＣＭＯＳおよびＣＣＤ撮像装置に関して説明されたが、本発明はこれらに限定されないことに留意すべきである。例えば、本発明は、スキャナ、コピー機、およびファクシミリ装置などの、様々な種類の撮像装置に適用することができる。

上の説明および図面は、本発明の目的、特性、および利点を達成する好適な実施形態を示している。特定の利点および好適な実施形態を、上に述べたが、当業者は、置換、追加、削除、変形および／または他の変更を、本発明の要旨または範囲から逸脱することなく行うことができることを理解するであろう。従って、本発明は、上の説明によって限定されず、添付の特許請求の範囲によってのみ限定される。

図１は、ＣＭＯＳ撮像装置ダイのブロック図を示している。図２は、本発明の例示的な実施形態に係る入力画像の処理方法を示すフローチャートである。図３は、図１の画素アレイの一部分の上面図を示している。図４は、本発明の例示的な実施形態に係る入力画像からのエッジマップの構築を示している。図５は、任意のエッジ画素を表す入力輝度ヒストグラムを示している。図６は、本発明の例示的な実施形態に従い構築されたコントラスト増加マップを示している。図７は、本発明の例示的な実施形態に従い構築された正規化コントラスト増加マップを示している。図８は、本発明の例示的な実施形態に従い構築された変換関数マップを示している。図９は、本発明の例示的な実施形態に従い構築された図１０の変換関数マップからの非線形変換関数マップの推定を示している。図１０は、本発明の例示的な実施形態に従い構築された非線形変換関数マップを示している。図１１は、本発明の例示的な実施形態に従い構築された出力輝度ヒストグラムを示している。図１２は、本発明の例示的な実施形態に従い構成されたプロセッサベースのシステムのブロック図を示している。

Claims

入力画像を処理する方法であって、
輝度強度値を有する画素出力信号を生成する画素アレイに、前記入力画像を入力するステップと、
前記画素出力信号に対して、画像エッジを画定する画素を検出する画像エッジ検出ルーチンを実行するステップと、
前記エッジ画定画素の輝度強度値に基づいて、前記エッジ画定画素を、所定の複数の領域に分類するステップと、
前記分類を用いて、前記画素アレイの輝度強度値の一範囲に関する非線形変換関数動作を定義するステップと、
前記入力画像をキャプチャしている前記エッジ画定画素の輝度強度値に対して、前記非線形変換関数を適用するステップと、
前記適用された非線形変換関数を有する前記エッジ画定画素を用いて、前記入力画像から強化画像を生成するステップと、
を備えることを特徴とする方法。
前記エッジ検出ルーチンは、前記画像内で、水平および垂直エッジを認識する、ことを特徴とする請求項１に記載の方法。
前記エッジ検出ルーチンは、前記画像内で、４５度および１３５度のエッジをさらに認識する、ことを特徴とする請求項２に記載の方法。
前記輝度強度値の範囲は、明画素および暗画素の輝度強度値を含む、ことを特徴とする請求項１に記載の方法。
前記明画素および暗画素の前記輝度強度値は、０〜２５５を含む、ことを特徴とする請求項４に記載の方法。
前記輝度強度値の範囲は、暗画素の輝度強度値を含む、ことを特徴とする請求項１に記載の方法。
前記暗画素の前記輝度強度値は、０〜１２８を含む、ことを特徴とする請求項６に記載の方法。
前記輝度強度値の範囲は、明画素の輝度強度値を含む、ことを特徴とする請求項１に記載の方法。
前記明画素の前記輝度強度値は、１２９〜２５５を含む、ことを特徴とする請求項８に記載の方法。
前記所定の複数の領域は、３２である、ことを特徴とする請求項１に記載の方法。
前記３２の領域は、それぞれ、等しい数の輝度強度値を含む、ことを特徴とする請求項１０に記載の方法。
前記３２の領域は、それぞれ、８つの輝度強度値を含む、ことを特徴とする請求項１１に記載の方法。
前記３２の領域は、それぞれ、等しくない数の輝度強度値を含む、ことを特徴とする請求項１０に記載の方法。
前記非線形変換関数を適用するステップは、
前記所定の複数の領域のそれぞれに、コントラスト増加値を割り当てるステップと、
前記割り当てられたコントラスト増加値のそれぞれを、正規化するステップと、
前記正規化されたコントラスト増加値のそれぞれに関する変換関数を生成するステップと、
前記変換関数から、前記非線形変換関数を推定するステップと、を備える、
ことを特徴とする請求項１に記載の方法。
前記コントラスト増加値は、
ｃ_ｖｘ＝α（Ｎ_ｘ／Ｎ_{ｔｏｔａｌ}）γ
の式に従い割り当てられ、ここで、αおよびγは、実験的な定数であり、Ｎ_ｘは、対応する領域における画素の数を表し、Ｎ_{ｔｏｔａｌ}は、画素の合計数を表す、ことを特徴とする請求項１４に記載の方法。
αは１に等しく、γは０．５に等しい、ことを特徴とする請求項１５に記載の方法。
１つめの領域は、暗領域を表し、前記暗領域には、１のコントラスト増加値が割り当てられている、ことを特徴とする請求項１４に記載の方法。
最後の領域は、明領域を表し、前記明領域には、１のコントラスト増加値が割り当てられている、ことを特徴とする請求項１７に記載の方法。
前記正規化するステップは、
Ｃ_ｖｘ＝ｃ_ｖｘ／ｓｕｍ（ｃ_ｊ）
の式に従って行われ、ここで、Ｃ_ｖｘは、個別の正規化コントラスト増加値を表し、ｃ_ｖｘは、前記所定の数の領域のそれぞれに割り当てられた個別の正規化コントラスト増加値を表し、ｃ_ｊは、前記所定の複数の数の領域のそれぞれに割り当てられた全てのコントラスト増加値の合計を表す、ことを特徴とする請求項１４に記載の方法。
前記変換関数は、
ｆ（ｘ＋１）＝Ｆ（ｘ）＋Ｃ_ｖｘ
の式に従って生成され、ここで、ｘは、個別の領域を表し、ｆは、前記所定の数の領域のそれぞれに適用される関数を表し、Ｆは、前記所定の数の領域のそれぞれに関する積分関数を表し、Ｃ_ｖｘは、前記領域に関する前記正規化コントラスト増加値を表す、ことを特徴とする請求項１４に記載の方法。
前記推定するステップは、
Ｆ_Ｙ＝Ｏ_ｘ＋Ｃ_ｖｘ＊（ＹｍｏｄＺ）＊Ｐ
の式に従って計算され、ここで、Ｆは関数を表し、Ｙは、前記入力輝度ヒストグラムの個別の強度レベルを表し、Ｃ_ｖｘは、前記所定の数の領域のそれぞれに割り当てられた前記正規化コントラスト増加値を表し、Ｚは、Ｐにより分割された強度レベルの数を表し、Ｐは、所定の数の領域の数を表し、Ｏ_ｘ＝ｓｕｍ（Ｃ_Ｍ）＊Ｉであり、ここで、Ｃ_Ｍは、先行する個別の強度のそれぞれのコントラスト増加値に加えられた、個別の強度レベルの割り当てられたコントラスト増加値を表し、Ｉは、前記入力輝度ヒストグラムにおける強度値の数を表す、ことを特徴とする請求項１４に記載の方法。
画像を処理するための装置であって、
プログラムされたプロセッサを備え、前記プログラムされたプロセッサは、
輝度強度値を有する画素出力信号を生成する画素アレイに、前記入力画像を入力するステップと、
画像エッジを画定する画素を検出する画像エッジ検出ルーチンを実行するステップと、
前記エッジ画定画素の輝度強度値に基づいて、前記エッジ画定画素を、所定の複数の領域に分類するステップと、
前記分類を用いて、前記画素アレイの輝度強度値の一範囲に関する非線形変換関数動作を定義するステップと、
前記入力画像をキャプチャしている前記エッジ画定画素の輝度強度値に対して、前記非線形変換関数を適用するステップと、
前記適用された非線形変換関数を有する前記エッジ画定画素を用いて、前記入力画像から強化画像を生成するステップと、
を実行することを特徴とする装置。
前記装置によって実行される前記エッジ検出ルーチンは、前記画像内で、水平および垂直エッジを認識する、ことを特徴とする請求項２２に記載の装置。
前記装置によって実行される前記エッジ検出ルーチンは、前記画像内で、４５度および１３５度のエッジをさらに認識する、ことを特徴とする請求項２３に記載の装置。
前記輝度強度値の範囲は、明画素および暗画素の輝度強度値を含む、ことを特徴とする請求項２２に記載の装置。
前記明画素および暗画素の前記輝度強度値は、０〜２５５を含む、ことを特徴とする請求項２５に記載の装置。
前記輝度強度値の範囲は、暗画素の輝度強度値を含む、ことを特徴とする請求項２２に記載の装置。
前記暗画素の前記輝度強度値は、０〜１２８を含む、ことを特徴とする請求項２７に記載の装置。
前記輝度強度値の範囲は、明画素の輝度強度値を含む、ことを特徴とする請求項２２に記載の装置。
前記明画素の前記輝度強度値は、１２９〜２５５を含む、ことを特徴とする請求項２９に記載の装置。
前記所定の複数の領域は、３２である、ことを特徴とする請求項２２に記載の装置。
前記３２の領域は、それぞれ、等しい数の輝度強度値を含む、ことを特徴とする請求項３１に記載の装置。
前記３２の領域は、それぞれ、８の輝度強度値を含む、ことを特徴とする請求項３２に記載の装置。
前記非線形変換関数を適用する前記ステップは、
前記所定の複数の領域のそれぞれに、コントラスト増加値を割り当てるステップと、
前記割り当てられたコントラスト増加値のそれぞれを、正規化するステップと、
前記正規化されたコントラスト増加値のそれぞれに関する変換関数を生成するステップと、
前記変換関数から、前記非線形変換関数を推定するステップと、を備える、
ことを特徴とする請求項２２に記載の装置。
前記コントラスト増加値は、
ｃ_ｖｘ＝α（Ｎ_ｘ／Ｎ_{ｔｏｔａｌ}）γ
の式に従い割り当てられ、ここで、αおよびγは、実験的な定数であり、Ｎ_ｘは、対応する領域における画素の数を表し、Ｎ_{ｔｏｔａｌ}は、画素の合計数を表す、ことを特徴とする請求項３４に記載の装置。
１つめの領域は、暗領域を表し、前記装置は、前記暗領域に、１のコントラスト増加値を割り当てるステップをさらに実行する、ことを特徴とする請求項３４に記載の装置。
最後の領域は、明領域を表し、前記装置は、前記明領域に、１のコントラスト増加値を割り当てるステップをさらに実行する、ことを特徴とする請求項３６に記載の装置。
前記正規化するステップは、
Ｃ_ｖｘ＝ｃ_ｖｘ／ｓｕｍ（ｃ_ｊ）
の式に従って行われ、ここで、Ｃ_ｖｘは、個別の正規化コントラスト増加値を表し、ｃ_ｖｘは、前記所定の数の領域のそれぞれに割り当てられた個別の正規化コントラスト増加値を表し、ｃ_ｊは、前記所定の複数の数の領域のそれぞれに割り当てられた全てのコントラスト増加値の合計を表す、ことを特徴とする請求項３４に記載の装置。
前記変換関数は、
ｆ（ｘ＋１）＝Ｆ（ｘ）＋Ｃ_ｖｘ
の式に従って生成され、ここで、ｆは、前記所定の数の領域のそれぞれに適用される関数を表し、Ｆは、前記所定の数の領域のそれぞれに関する積分関数を表し、Ｃ_ｖｘは、前記正規化コントラスト増加値を表す、ことを特徴とする請求項３４に記載の装置。
前記推定するステップは、
Ｆ_Ｙ＝Ｏ_ｘ＋Ｃ_ｖｘ＊（ＹｍｏｄＺ）＊Ｐ
の式に従って計算され、ここで、Ｆは関数を表し、Ｙは、前記入力輝度ヒストグラムの個別の強度レベルを表し、Ｃ_ｖｘは、前記所定の数の領域のそれぞれに割り当てられた前記正規化コントラスト増加値を表し、Ｚは、Ｐにより分割された強度レベルの数を表し、Ｐは、所定の数の領域の数を表し、Ｏ_ｘ＝ｓｕｍ（Ｃ_Ｍ）＊Ｉであり、ここで、Ｃ_Ｍは、先行する個別の強度のそれぞれのコントラスト増加値に加えられた、個別の強度レベルの割り当てられたコントラスト増加値を表し、Ｉは、前記入力輝度ヒストグラムの強度値の数を表す、ことを特徴とする請求項３４に記載の装置。
画像を処理するための装置であって、
画像を処理するためのプログラムを有するコンピュータ読み取り可能な記憶媒体を備え、前記プログラムは、
輝度強度値を有する画素出力信号を生成する画素アレイに、前記入力画像を入力するステップと、
画像エッジを画定する画素を検出する画像エッジ検出ルーチンを実行するステップと、
前記エッジ画定画素の輝度強度値に基づいて、前記エッジ画定画素を、所定の複数の領域に分類するステップと、
前記所定の複数の領域のそれぞれに、コントラスト増加値を割り当てるステップと、
前記コントラスト増加値を正規化するステップと、
前記正規化されたコントラスト増加値に基づいて変換関数を生成するステップと、
前記変換関数に基づいて、非線形変換関数を推定するステップと、
前記入力画像をキャプチャしている前記エッジ画定画素の輝度強度値に対して、前記非線形変換関数を適用するステップと、
前記適用された非線形変換関数を有する前記エッジ画定画素を用いて、前記入力画像から強化画像を生成するステップと、
を実行させる、ことを特徴とする装置。
撮像装置であって、
輝度強度値を有する画素出力信号を生成する画素アレイに、画像を入力するための入力手段と、
前記入力画像の画像エッジを画定する画素を検出するための手段と、
前記エッジ画定画素の輝度強度値に基づいて、前記エッジ画定画素を、所定の複数の領域に分類するための手段と、
画像エッジを画定する画素を検出する画像エッジ検出ルーチンを実行するための手段と、
前記エッジ画定画素の輝度強度値に基づいて、前記エッジ画定画素を、所定の複数の領域に分類するための手段と、
前記所定の複数の領域のそれぞれに、コントラスト増加値を割り当てるための手段と、
前記コントラスト増加値を正規化するための手段と、
前記正規化されたコントラスト増加値に基づいて変換関数を生成するための手段と、
前記変換関数に基づいて、非線形変換関数を推定するための手段と、
前記入力画像をキャプチャしている前記エッジ画定画素の輝度強度値に対して、前記非線形変換関数を適用するための手段と、
前記適用された非線形変換関数を有する前記エッジ画定画素を用いて、前記入力画像から強化画像を生成するための手段と、
を備えることを特徴とする撮像装置。
プロセッサシステムであって、
画像処理装置を備え、前記画像処理装置は、
プログラムされたプロセッサを備え、前記プログラムされたプロセッサは、
輝度強度値を有する画素出力信号を生成する画素アレイに、前記入力画像を入力するステップと、
画像エッジを画定する画素を検出する画像エッジ検出ルーチンを実行するステップと、
前記エッジ画定画素の輝度強度値に基づいて、前記エッジ画定画素を、所定の複数の領域に分類するステップと、
前記分類を用いて、前記画素アレイの輝度強度値の一範囲に関する非線形変換関数動作を定義するステップと、
前記入力画像をキャプチャしている前記エッジ画定画素の輝度強度値に対して、前記非線形変換関数を適用するステップと、
前記適用された非線形変換関数を有する前記エッジ画定画素を用いて、前記入力画像から強化画像を生成するステップと、
を実行する、ことを特徴とするプロセッサシステム。
前記画像処理デバイスは、相補型金属酸化物半導体撮像装置である、ことを特徴とする請求項４３に記載のシステム。
前記画像処理デバイスは、電荷結合素子である、ことを特徴とする請求項４３に記載のシステム。
請求項４３に記載の前記画像処理デバイスは、デジタルコピー機である、ことを特徴とする請求項４３に記載のシステム。
請求項４３に記載の前記画像処理デバイスは、ファクシミリ装置である、ことを特徴とする請求項４３に記載のシステム。
請求項４３に記載の前記画像処理デバイスは、スキャナである、ことを特徴とする請求項４３に記載のシステム。