JP2006331172A - 階調補正装置 - Google Patents

Abstract

【課題】 従来のヒストグラム均等化法を用いた階調補正では、１画面全体に対して１種類のマッピングカーブしか作成しないので、ある階調レベル範囲の階調幅を広げると、代わりに他の階調レベル範囲の階調幅が狭くなり、黒潰れや、白飛びが発生するという問題があった。
【解決手段】 入力画像データの、画面内の局所領域の局所平均輝度値を求め（１０２）、入力画像データの、画面全体の輝度値の階調頻度の分布から逆光度（２０２）を算出し（１０１）、局所平均輝度値（２０４）と逆光度（２０２）とを用いて入力画像データの階調を変換するための変換条件を決定する（１０３）。
【選択図】 図１

Description

本発明は、デジタル化された画像の階調を補正する階調補正装置に関するものであり、特に、逆光状態で撮影された画像に対してコントラストを高める場合に有効な階調補正装置に関するものである。

従来の画像の階調を補正するための技術として、入力画像の画面全体にわたって各画素の輝度値もしくは濃度値を算出し、同じ階調の値を持つ画素、または、階調の量子化数よりも少ない区間に区切った同じ区間に含まれる画素の出現頻度を示すヒストグラムを作成し、この作成したヒストグラムの形状（出現頻度の分布）が最適になるような階調変換のための１個のマッピングテーブルを作成し、このマッピングテーブルを用いて画面全体にわたって階調補正処理を行うというヒストグラム均等化法が一般的に良く知られている（例えば、非特許文献１参照）。このヒストグラムを用いて画像の階調を補正するヒストグラム均等化法を用いることで、画面内の階調があるレベルに偏っている場合に、階調の分布を最適化することで、画面全体の階調特性を改善することができる。

このヒストグラム均等化法を応用し、逆光補正に適用した技術も提案されている（例えば、特許文献１および特許文献２参照）。これらの技術では、画面全体のヒストグラムを元にして逆光状態を判断し、最適なヒストグラムに近づくようにマッピングテーブルを決定し、階調補正を行っている。

特開２００３−６９８２５号公報 特開２００３−２９９１０７号公報 ＡＮＩＬ Ｋ． ＪＡＩＮ著、「Ｆｕｎｄａｍｅｎｔａｌｓ ｏｆ Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ」Ｐｒｅｎｔｉｃｅ−Ｈａｌｌ Ｉｎｔｅｒｎａｔｉｏｎａｌ，Ｉｎｃ．出版、１９８９年、ｐｐ．２４１−２４４

しかしながら、従来のヒストグラム均等化法を用いた階調補正では、１画面全体に対して１種類のマッピングカーブしか作成しないので、ある階調レベル範囲の階調幅を広げると、代わりに他の階調レベル範囲の階調幅が狭くなり、狭くなった階調レベル範囲の階調潰れが発生するという問題があった。

本発明は、入力画像データの、画面内の局所領域の局所平均輝度値を求める局所平均輝度算出部と、前記入力画像データの、画面全体の輝度値の階調頻度の分布から逆光度を算出する逆光度算出部と、前記局所平均輝度算出部から出力される前記局所領域の局所平均輝度値と、前記逆光度算出部から出力される前記逆光度とを用いて前記入力画像データの階調を変換するための変換条件を決定し、決定された変換条件を用いて前記入力画像データに対して階調変換を行って、階調変換された出力画像データを生成する階調変換部とを備えた階調補正装置を提供する。

本発明によれば、局所領域の局所平均輝度値が全階調レベルの中央値、即ち最大階調レベルと最小階調レベルの輝度値の中間値よりも小さい場合、局所領域の局所平均輝度値付近の階調は、画面全体の輝度値の階調頻度から求めた逆光度に応じて行われる、階調変換部における階調変換によって輝度が上がり、画面内の輝度が低い（暗い）領域に対して明るくし、階調幅を広げる（コントラストが増大する）効果が得られる。逆に、局所領域の局所平均輝度値が全階調レベルの中央値よりも大きい場合、局所領域の局所平均輝度値付近の階調は、画面全体の輝度値の階調頻度から求めた逆光度に応じて行われる、階調変換部における階調変換によって輝度が下がり、画面内の輝度が高い（明るい）領域に対して暗くし、階調幅を広げる（コントラストが増大する）効果が得られる。つまり、暗く黒潰れ気味の領域に対しても、明るく白飛び気味の領域に対しても、より効果の高い階調補正ができるという効果がある。

実施の形態１．
図１はこの発明の実施の形態１における階調補正装置のブロック構成を示す図である。
図１において、図示の階調補正装置は、逆光度算出部１０１と、局所平均輝度算出部１０２と、第１の遅延部１０４と、第２の遅延部１０５と、階調変換部１０３とを有する。

階調補正装置に入力された画像データ２０１は、逆光度算出部１０１と、局所平均輝度算出部１０２と、第１の遅延部１０４に入力される。
逆光度算出部１０１では、入力された画像データについて画面全体の輝度値の階調頻度の分布から逆光度２０２を算出し第２の遅延部１０５に出力する。
第２の遅延部１０５では、入力された逆光度２０２を１フレーム遅延させて遅延後の逆光度２０３を階調変換部１０３に出力する。
局所平均輝度算出部１０２では、入力された画像データを局所領域単位に区切り、局所領域単位の局所平均輝度値２０４を算出し、階調変換部１０３に出力する。
第１の遅延部１０４では、局所平均輝度算出部１０２から出力される局所平均輝度値２０４と画像データの位相を合わせるための遅延を行い、遅延後の画像データ２０５を階調変換部１０３に出力する。
階調変換部１０３では、逆光度２０３と局所平均輝度値２０４とに基づき、マッピングカーブを決定しこのマッピングカーブを用いて画像データ２０５に対して局所領域の階調を変換するための階調変換を行い、階調変換後の画像データ２０６を出力する。

次に、各処理ブロックの詳細な動作について説明する。
まず、逆光度算出部１０１は、上記のように、入力画像データの、画面全体の輝度値の階調頻度の分布から逆光度（２０２）を算出する。
逆光度２０２は、例えば、全階調範囲の中央値との差が大きい輝度値の出現頻度が高いほどより大きな値となるように定義される。

そのような逆光度を算出するため、逆光度算出部１０１は、入力画像データの、画面全体における輝度値の出現頻度分布を表すヒストグラムを生成する。例えば図２に示すように、全階調範囲を４つの階調範囲Ｒａ、Ｒｂ、Ｒｃ、Ｒｄに分割し、それぞれの階調範囲における輝度値の出現頻度を求める。図２にはそのようにして生成されたヒストグラムの一例が示されている。図示の例では、全階調範囲の最小階調レベル（最小輝度値）が０、最大階調レベル（最小輝度値）が２５５であり、最も低い階調範囲Ｒａは、最小階調レベルが０、最大階調レベルが６３、２番目に低い階調範囲Ｒｂは、最小階調レベルが６４、最大階調レベルが１２７、３番目に低い階調範囲Ｒｃは、最小階調レベルが１２８、最大階調レベルが１９１、最も高い階調範囲Ｒｄは、最小階調レベルが１９２、最大階調レベルが２５５である。

そして、輝度の低い順の、それぞれの階調範囲Ｒａ、Ｒｂ、Ｒｃ、Ｒｄにおける輝度値の出現頻度を、Ｓａ、Ｓｂ、Ｓｃ、Ｓｄとし、階調頻度を求めた対象画素数をＮとすると、逆光度ｇは例えば以下の式（１）で定義される。
ｇ＝｛Ｎ＋（Ｓａ＋Ｓｄ）−（Ｓｂ＋Ｓｃ）｝／２Ｎ …（１）
上記の式（１）のように定義した場合、例えばＳａ＝Ｓｂ＝Ｓｃ＝Ｓｄのときは、逆光度が０．５となる。
上記の式（１）の代わりに、逆光度ｇを以下の式（２ａ）、（２ｂ）により定義することしても良い。
（Ｓａ＋Ｓｄ）−（Ｓｂ＋Ｓｃ）≧０のとき
ｇ＝｛（Ｓａ＋Ｓｄ）−（Ｓｂ＋Ｓｃ）｝／Ｎ …（２ａ）
（Ｓａ＋Ｓｄ）−（Ｓｂ＋Ｓｃ）＜のとき
ｇ＝０ …（２ｂ）
上記の式（２ａ）、（２ｂ）のように定義した場合、例えばＳａ＝Ｓｂ＝Ｓｃ＝Ｓｄのときは、逆光度が０となる。

ここで、階調頻度を求めた対象画素は、１フレームの全画素を用いても良いが、処理量を削減するために、１フレーム中で画素の間引きを行い、間引き後の画素に対して階調頻度を求めても良い。さらには、図１に示す構成では局所平均輝度算出部１０２で別途局所領域の局所平均輝度を求めているので、局所平均輝度算出部１０２で求められる局所平均輝度２０２を用いて階調頻度を求めても良い。１フレームの全画素を用いて階調頻度を求めた場合には、Ｎは１フレームの全画素数になり、間引き後の画素に対して階調頻度を求めた場合には、Ｎは間引き後の画素数になり、局所平均輝度を用いて階調頻度を求めた場合には、Ｎは１フレーム中の局所領域の数になる。

入力された画像が極端な逆光状態で撮影された画像であり、例えば全ての輝度値が階調範囲ＲａおよびＲｄに含まれていたものとすると、逆光度ｇは最高値をとり、「１」となる。逆に全ての輝度値が中間調の階調範囲ＲｂおよびＲｃに含まれていたものとすると、逆光度ｇは最低値をとり、「０」となる。

求めた逆光度ｇは、固定小数点で扱われ、所定のビット数で逆光度２０２として出力される。

逆光度算出部１０１で逆光度２０２を求める処理は、１フレームに１回行われるため、階調変換部１０３に入力される他の信号、特に局所平均輝度算出部１０２から入力される信号と位相（タイミング）をそろえるために、第２の遅延部１０５でフレーム同期が行われる。

なお、逆光度算出部１０１で求める逆光度２０２は、１フレーム内で閉じた演算により求めるだけでなく、複数フレームの逆光度を用いてＦＩＲフィルタあるいはＩＩＲフィルタにより急激な変化を抑えることで、ノイズによる影響等により補正後の画面全体の輝度がフレーム毎に変わるために起こるフリッカの発生を抑えることができる。

局所平均輝度算出部１０２では、画面内を複数の局所領域に分割し、それぞれの局所領域の局所平均輝度値を求める。局所領域ごとの局所平均輝度値を求める方法としては、図３に示すように画素ごとにガウス分布等の重み付けをして局所平均輝度を求める方法も考えられるが、ここでは画面を複数のブロックに区切り、ブロック単位で局所平均輝度を求める方法について説明する。

図４に画面（その全体が符号３００で示されている）を複数のブロックＢに分割した様子を示す。図４に示すブロックは互いに重ならないように、かつ画面上のすべての画素がいずれか一つのブロックに属するように形成されている。

各ブロックＢの平均輝度は、各ブロックＢ内のすべての画素の輝度値を平均することにより求められる。注目画素３０１がｉ行ｊ列目のブロックＢ（ｉ，ｊ）に含まれていたとすると、注目画素の輝度値がブロックＢ（ｉ，ｊ）の平均輝度値に反映される。各ブロックＢおよびその周囲のブロックＢ（ｉ，ｊ）の平均輝度が求まると、各ブロックＢ及びその周囲のブロックＢの平均輝度値も用いて所定のＬＰＦ（ローパスフィルタリング）を掛けることで、注目画素３０１が含まれるブロックＢ（ｉ，ｊ）の局所平均輝度が求められる。例えばｉ行ｊ列のブロックＢ（ｉ，ｊ）の局所平均輝度を求める場合、当該ブロックＢ（ｉ，ｊ）のみならず、その上下の行に属しかつ左右の列に属する８つのブロックＢ（ｉ−１，ｊ−１）、Ｂ（ｉ−１，ｊ）、Ｂ（ｉ−１，ｊ＋１）、Ｂ（ｉ，ｊ−１）、Ｂ（ｉ，ｊ＋１）、Ｂ（ｉ＋１，ｊ−１）、Ｂ（ｉ＋１，ｊ）、Ｂ（ｉ＋１，ｊ＋１）に属する画素の輝度値を用いる。

図４には、上記のような局所平均輝度を求める局所平均輝度算出部１０２の一例を示す。この局所平均輝度算出部１０２は、平均輝度算出部１０２ａと、メモリ１０２ｂと、ＬＰＦ部１０２ｃとを有する。

平均輝度算出部１０２ａは、各ブロック内のすべての画素の輝度値に基づいて平均輝度を求める。

メモリ１０２ｂは、平均輝度算出部１０２ａで算出された平均輝度を複数ブロック分記憶する。例えば、上記のように、各ブロックの局所平均輝度の計算に上下のブロック行のブロックをも用いる場合、２ブロック行に属するブロックと３ブロックのそれぞれの平均輝度を記憶する。

ＬＰＦ部１０２ｃは、各ブロックとその周囲のブロックのそれぞれの平均輝度をメモリ１０２ｂから読み出して、ＬＰＦを掛けることにより各ブロックの局所平均輝度を求める。

ここで、各ブロックの平均輝度値を求める際の演算として、単純平均を用いても良いが、より高画質を必要とするシステムあるいはアプリケーションにおいては、所定の重み付け平均を用いることでブロック間の階調の不連続性を低減することができる。
また、上記のように、局所平均輝度を求める領域を複数のブロックの平均輝度に基づいて各ブロックの局所平均輝度を求めることとすれば、ブロック間の階調の不連続性を低減することができる。

なお、局所平均輝度値の算出に際には、計算で求められた値を所定のビット数に丸めると言った処理が行われる。

第１の遅延部１０４は例えばラインメモリで構成される。
局所平均輝度算出部１０２では、ブロック単位で処理を行うため、１〜数ブロック行だけの遅延が発生するので、後段の階調変換部１０３へ入力する画像データと局所平均輝度値との位相差（タイミング差）をなくすために、遅延部１０４ではラインメモリを用いることで、１〜数ブロック行だけの遅延を行う。

階調変換部１０３では、逆光度算出部１０１で算出され、第２の遅延部でフレーム同期された逆光度２０３と、局所平均輝度算出部１０２から供給された局所平均輝度値２０４とを用いて、図６および図７に例示される局所領域の代表的なマッピングカーブを求め、当該局所領域内の画像データの階調変換を行う。

ここで、局所平均輝度値２０４をａ、逆光度２０３をｇ、図６及び図７に示すマッピングカーブと常に入力レベル＝出力レベルである直線（常に入力輝度値と出力輝度値とが等しい直線、言いかえると原点を通り傾きが１である直線）との交点Ｐの座標値（入力輝度値）ｃは、
ｃ＝ａ＋ｇ・ｆ（ａ） …（３）
で与えられる。ここで、ｆ（ａ）は、例えば図８（ａ）に示すような関数である。

注目している局所領域が暗い場合、図９に示すように、局所平均輝度値ａが全階調レベルの中央値（全階調の中央値）、即ち最大階調レベルと最小階調レベルの中間値Ｍ（８ビットの場合、通常１２８にあたる）よりも小さくなり、図８（ａ）に示すｆ（ａ）は負となる。
ｄ１＝｜ｇ・ｆ（ａ）｜ …（４）
とおくと、
ｃ＝ａ−ｄ１ …（５）
となる。図８（ｂ）には、ａ＜Ｍの範囲におけるｃ＝ａ−ｄ１が示されている。

つまり、マッピングカーブと入力レベル＝出力レベルである直線との交点Ｐの座標ｃは、局所平均輝度値ａよりも階調差ｄ１（＞０）だけ小さくなる。図６において、前記交点Ｐにおけるマッピングカーブの傾きは１よりも大きいため、局所平均輝度値ａ付近の階調は明るい方向にシフトし、またその変化幅が拡張されることとなる。従って、注目している局所領域が暗い領域であった場合、その局所領域は全体的に明るく変換され、しかも、階調幅も広く変換されるため、局所的なダイナミックレンジも拡大される（コントラストが大きくなる）。つまり、暗く黒潰れ気味の領域に対しても、階調補正により黒潰れをなくしコントラストの良好な画像を得ることができる。

逆に、局所領域が明るい場合、図１０に示すように、局所平均輝度値ａが全階調レベルの中央値Ｍよりも大きくなり、図８（ａ）に示すｆ（ａ）は正となる。
ｄ２＝｜ｇ・ｆ（ａ）｜ …（６）
とおくと、
ｃ＝ａ＋ｄ２ …（７）
となる。図８（ｂ）には、ａ＞Ｍの範囲におけるｃ＝ａ＋ｄ２が示されている。

つまり、マッピングカーブと入力レベル＝出力レベルである直線との交点Ｐの座標ｃは、局所平均輝度値ａよりも階調差ｄ２（＞０）だけ大きくなる。図７において、前記交点Ｐにおけるマッピングカーブの傾きは１よりも大きいため、局所平均輝度値ａ付近の階調は暗い方向にシフトし、その変化幅が拡張されることとなる。従って、注目している局所領域が明るい領域であった場合、その局所領域は全体的に暗く変換され、しかも、階調幅も広く変換されるため、局所的なダイナミックレンジも拡大される（コントラストが大きくなる）。つまり、明るく白飛び気味の領域に対しても、階調補正により白飛びをなくしコントラストの良好な画像を得ることができる。

マッピングカーブが複雑であれば、前記交点Ｐの座標が求まったとしても、そこからマッピングカーブ自体を求めるための処理量が多大になるが、図１１及び図１２に示すようにマッピングカーブを少なくとも３本の直線から構成することで処理量の削減を図ることができる。

また、図６及び図７に示されるように比較的複雑な形状のマッピングカーブであっても、マッピングカーブの、互いに離散した点の値である代表値の組を予めＲＯＭ又はＲＡＭに記憶し、或いは専用回路化しておき（そのような代表値の組を発生するように専用回路を構成しておき）、マッピングカーブの代表値の組に基づく補間によりマッピングカーブを作成することとしても良い。こうすることにより、マッピングカーブを関数の組み合わせのみで生成する場合と比べると、比較的少ない処理量で、自然な階調特性あるいは、デバイス、システム、アプリケーション等に合わせた階調特性を得ることも可能である。

局所領域（ブロック）の代表的なマッピングカーブが求まると、ブロック間のマッピングカーブの不連続性を抑えるために、当該局所領域および周囲の局所領域について求められた、複数の代表的なマッピングカーブを用いて補間により、画素単位のマッピングカーブを作成する。例えば、各ブロック内の各画素のマッピングカーブを求めるために、当該ブロックの代表的なマッピングカーブのみならず、その上下左右及び斜め上、斜め下に隣接する８つのブロックの代表的なマッピングカーブに基づいて、補間により各画素のマッピングカーブを求める。

画素単位のマッピングカーブが求まると、第１の遅延部１０４から入力された画像データ２０５を入力とし、マッピングカーブにより階調変換を行い、出力階調を得、画像データ２０６として出力する。

上記のように画素単位のマッピングカーブを求めて階調変換を行う階調補正部１０３の一例を図１３に示す。図示の階調変換部１０３は、代表的マッピングカーブ生成部１０３ａと、メモリ１０３ｂと、補間部１０３ｃと、変換部１０３ｄとを有する。

代表的マッピングカーブ生成部１０３ａは、逆光度算出部１０１から遅延部１０５を介して供給される各ブロックについての逆光度ｇと、局所平均輝度算出部１０２から供給される各ブロックについての局所平均輝度ａとに基づいて、式（４）及び（６）又は式（５）及び（７）によって定められる交点（座標値がｃ）を有する代表的マッピングカーブ（乃至は代表的マッピングカーブを定義するパラメータ）を求める。

メモリ１０３ｂは、代表的マッピングカーブ生成部１０３ａで求められた代表的マッピングカーブを複数ブロック分記憶する。例えば、上記のように、各ブロックのほかその周囲の８つのブロックの代表的マッピングカーブを用いて各ブロック内の各画素のマッピングカーブを求める場合には、２ブロック行と３ブロック分の代表的マッピングカーブを記憶する。

補間部１０３ｃは、各ブロックとその周囲のブロックのそれぞれの代表的マッピングカーブをメモリ１０３ｂから読み出して、補間を行うことにより、当該ブロック内の各画素のマッピングカーブを求める。

変換部１０４ｄは、遅延部１０４を介して供給される各ブロックの各画素の画像データ２０５を、当該画素のためのマッピングカーブを用いて階調変換を行い、階調変換後の画像データを出力する。

上記のようにマッピングカーブの代表値の組をＲＯＭ又はＲＡＭに記憶し、或いは専用回路化しておき、マッピングカーブの代表値の組に基づく補間によりマッピングカーブを作成するマッピングカーブ生成部１０３ａの一例を図１４に示す。図示のマッピングカーブ生成部１０３ａは、代表値生成部１０３ｅと、補間部１０３ｆとを有する。

代表値生成部１０３ａは、マッピングカーブの代表値の組を記憶するＲＯＭ又はＲＡＭ、又はそのような代表値の組を発生する専用回路で構成されるものであり、逆光度算出部１０１から遅延部１０５を介して供給される各ブロックについての逆光度ｇと、局所平均輝度算出部１０２から供給される各ブロックについての局所平均輝度ａとに基づいて、式（４）及び（６）又は式（５）及び（７）によって定められる交点（座標値がｃ）を有する代表的マッピングカーブ（乃至は代表的マッピングカーブを定義するパラメータ）の代表値を出力する。

補間部１０３ｆは、代表値生成部１０３ｅから出力される代表値に基づいて補間によりマッピングカーブを生成する。

また、対象となる画像が、逆光状態で撮影された画像の場合、一画面全体の輝度値のヒストグラムで求めた逆光度が大きくなり、それに応じて第１の階調差ｄ１，第２の階調差ｄ２も大きくなることで、局所平均輝度値付近の階調の変換量が増え、逆光補正効果が得られる。

以上の説明から明らかなように、従来のヒストグラム均等化法を用いた技術では、１画面全体に対して１種類のマッピングカーブしか作成しないので、ある階調レベル範囲の階調幅を広げると、代わりに他の階調レベル範囲の階調幅が狭くなっていたが、これに対し、上記の実施の形態では、局所領域ごとに局所領域の平均輝度に応じて大まかにマッピングカーブが作成されるため、局所領域の平均輝度値に応じたマッピングカーブを用いることができ、それぞれの領域で必要な階調の階調幅を広げることができ、さらに、他の局所領域の階調変動を受けにくいため、局所領域の階調幅を広げたことにより他の領域の階調幅が狭くなるという悪影響を抑えることができる。

また、この悪影響が少ないことにより、従来よりも補正効果の高いマッピングカーブを用いることができる。

さらに、各局所領域（ブロック）の代表的なマッピングカーブ及びその近傍の他の局所領域（ブロック）の代表的なマッピングカーブから、各画素についてのマッピングカーブが補間により作成されるため、ブロック相互間の境界付近においても、マッピングカーブが連続的に変化し、ブロックの境界での階調の連続性が損なわれることなく所望の階調補正を行うことができる。

また、少なくとも３本の直線からマッピングカーブを構成すれば、所望の階調レベル範囲のコントラストを強調しながらも、単純な演算でマッピングカーブの作成が可能であるため、プログラム処理速度の向上または回路規模の削減を実現できる。

また、ＲＯＭまたはＲＡＭに記憶しあるいは専用回路化された代表値の組から補間演算によりマッピングカーブを作成すれば、曲線を演算のみによって作成するよりも少ない処理量で、曲線のマッピングカーブを作成することが可能であるため、直線を組み合わせた場合よりも自然な補正効果を与えながらも、プログラム処理速度または回路規模の増加を抑えることができる。

また、マッピングカーブの代表値の組を書き換え可能なＲＡＭに記憶した場合、もしくは、ＲＯＭに記憶し、専用回路化しておいても、予め複数の代表値の組を記憶乃至回路していれば、代表値の組を切り替える場合、カメラやディスプレイのような入出力デバイスの特性や、携帯電話向けであるか、デジタルスチルカメラ向けであるか、プリンタ向けであるか、ディスプレイ装置向けであるか、さらには、撮像用途であるか、表示用途であるか、印刷用途であるか、配信用途であるか、また、どの部分に適用するかという、システムもしくはアプリケーションの性質に合わせて、最適なマッピングカーブを使用することができ、所望の補正効果に合わせ込むことが可能となる。

また、画面を複数のブロックに区切ったブロック単位もしくは、複数のブロックからなる単位（複数のブロックの集まり）で局所平均輝度を求め、階調変換の際にブロック間の補間をすることとすれば、各画素を一つの局所領域として、各画素ごとに局所平均輝度を求める場合と比較すると演算量を削減することができ、プログラム処理速度の向上または回路規模の削減を実現できる。

なお、以上では、具体的にマッピングカーブを求めた後、マッピングカーブを用いて階調変換を行うものとして説明したが、実際には、階調全体にわたるマッピングカーブの全体を求める必要はなく、変換しようとする入力画像データの値に対応するマッピングカーブの一部（一点）に対応する変換条件のみを求めれば良い。
この場合にも上記と同様、複数のブロック（局所領域）の各々について代表的変換条件を求め、各ブロック内の各画素のための変換条件を、複数のブロックについての代表的変換条件に基づいて補間により求めることとしても良い。

実施の形態２．
図１では、入力される画像データをブロック毎に逐次パイプライン処理する場合の例を示したが、画像データが一旦フレームメモリに保存されており、画像データの任意の場所にランダムアクセスすることが可能な場合には、図１５に示すようにフレームメモリ１１１に画像データを蓄積した後、フレームメモリ１１１のデータを読み出すことができる画像処理部１１２により、一画面全体を順番に処理することが可能である。この場合の処理の手順を図１６を参照して説明する。画像処理部１１２は、プログラムされたコンピュータで構成することができる。

まず、逆光度算出ステップ５０１により、フレームメモリ１１０から１フレームの画像データを読み出して画面全体の逆光度を算出し、次に局所平均輝度算出ステップ５０２において、画面を複数の局所領域（ブロック）に区切った単位で局所平均輝度を求め、最後に階調変換ステップ５０３により画素単位で階調変換を行う。

図１の逐次処理の場合には、フレームメモリを持つ必要がない代わりに、逆光度として過去の（例えば１フレーム前の）フレームの画像データから求めた逆光度を用いる必要があったが、図１６の順次処理の場合には、フレームメモリにランダムアクセス可能なため、現在処理中のフレームの逆光度を用いて階調変換を行うことが可能である。

以上説明した本発明によれば、画面全体の輝度値の階調頻度から逆光度を算出する逆光度算出部から出力される逆光度が高くなるに従い、局所平均輝度値に対する前記交点Ｐの位置を移動するようにマッピングカーブを決定する階調変換部を備えたことにより、画像に応じて逆光補正量を自動的に制御することができ、また、例えば複数回補正を掛けた場合でも、過補正になることを避けることができる。

本発明の活用例として、撮像装置で逆光状態で撮影された画像の補正処理に適用できるが、逆光状態でなくても、部分的に階調が黒つぶれあるいは白飛びしている画像の補正処理にも適用できる。その他にも、コントラストの乏しい表示装置の視認性向上のためにも適用できる。また、撮像装置や表示装置を備えていなくても、画像の補正処理を行う装置であれば適用できる。

この発明の実施の形態１の階調補正装置を示すブロック図である。 画面全体の輝度値の階調頻度を示す図である。 画素ごとに局所平均輝度を求める場合の重み付け係数を示す図である。 画面を複数のブロックに分割した様子を示す図である。 局所平均輝度算出部１０２の一例を示すブロック図である。 低輝度領域におけるマッピングカーブを示す図である。 高輝度領域におけるマッピングカーブを示す図である。 マッピングカーブを求めるための関数を示す図である。 低輝度領域においてマッピングカーブを求める方法の説明のための図である。 高輝度領域においてマッピングカーブを求める方法の説明のための図である。 低輝度領域におけるマッピングカーブを示す図である。 高輝度領域におけるマッピングカーブを示す図である。 階調変換部１０３の一例を示すブロック図である。 マッピングカーブ生成部１０３ａの一例を示すブロック図である。 この発明の実施の形態２の階調補正装置を示すブロック図である。 この発明の実施の形態２における階調補正方法のフローチャートを示す図である。

符号の説明

１０１ 逆光度算出部、 １０２ 局所平均輝度算出部、 １０３ 階調変換部、 １０４ 第１の遅延部、 １０５ 第２の遅延部、 ２０１ 画像データ、 ２０２ 逆光度、 ２０３ 逆光度、 ２０４ 局所平均輝度値、 ２０５ 画像データ、 ２０６ 画像データ、 ３０１ 注目画素、 ５０１ 逆光度算出ステップ、 ５０２ 局所平均輝度算出ステップ、 ５０３ 階調変換ステップ、 Ｂ ブロック。

Claims (12)

1. 入力画像データの、画面内の局所領域の局所平均輝度値を求める局所平均輝度算出部と、
   前記入力画像データの、画面全体の輝度値の階調頻度の分布から逆光度を算出する逆光度算出部と、
   前記局所平均輝度算出部から出力される前記局所領域の局所平均輝度値と、前記逆光度算出部から出力される前記逆光度とを用いて前記入力画像データの階調を変換するための変換条件を決定し、決定された変換条件を用いて前記入力画像データに対して階調変換を行って、階調変換された出力画像データを生成する階調変換部と
   を備えた階調補正装置。
2. 前記変換条件に対応するマッピングカーブは、前記入力画像データの最大階調レベルと最小階調レベル以外に、入力画像データの輝度値と出力画像データの輝度値が常に等しい直線と交差する交点を有し、該交点における前記マッピングカーブの傾きが１より大きく、
   前記局所領域の局所平均輝度値が全階調レベルの中央値よりも小さい場合には、前記交点における前記輝度値は、前記局所領域の局所平均輝度値よりも第１の階調差だけ小さく、また、前記局所領域の局所平均輝度値が前記中央値よりも大きい場合には、前記交点における前記輝度値は、前記局所領域の局所平均輝度値よりも第２の階調差だけ大きく、
   さらに、第１の階調差および第２の階調差は、前記逆光度算出部で求めた逆光度の大さに基づいて定められる
   ことを特徴とする請求項１に記載の階調補正装置。
3. 前記第１の階調差と前記第２の階調差が互いに等しいことを特徴とする請求項２に記載の階調補正装置。
4. 前記逆光度算出部は、全階調範囲の中央値との差が大きい輝度値の出現頻度が高いほど前記逆光度をより大きな値とすることを特徴とする請求項１に記載の階調補正装置。
5. 前記逆光度算出部は、
   全階調範囲を４つの階調範囲に分割し、Ｎ個の画素についての、それぞれの階調範囲における輝度値の出現頻度をＳａ、Ｓｂ、Ｓｃ、Ｓｄを求め、前記逆光度ｇを、
   逆光度ｇ＝｛Ｎ＋（Ｓａ＋Ｓｄ）−（Ｓｂ＋Ｓｃ）｝／２Ｎ
   によって算出することを特徴とする請求項４に記載の階調補正装置。
6. 前記逆光度算出部は、
   全階調範囲を４つの階調範囲に分割し、Ｎ個の画素についての、それぞれの階調範囲における輝度値の出現頻度をＳａ、Ｓｂ、Ｓｃ、Ｓｄを求め、前記逆光度ｇを、
   （Ｓａ＋Ｓｄ）−（Ｓｂ＋Ｓｃ）≧０のときは
   ｇ＝｛（Ｓａ＋Ｓｄ）−（Ｓｂ＋Ｓｃ）｝／Ｎ
   （Ｓａ＋Ｓｄ）−（Ｓｂ＋Ｓｃ）＜のときは
   ｇ＝０
   によって算出することを特徴とする請求項４に記載の階調補正装置。
7. 前記マッピングカーブが、少なくとも３本の直線から構成されるものであることを特徴とする請求項２に記載の階調補正装置。
8. 前記階調変換部が、前記局所平均輝度値及び前記逆光度に対応する、前記マッピングカーブの代表値の組を発生する代表値発生回路と、
   前記代表値発生回路から出力される代表値の組から補間により前記マッピングカーブを作成する回路と
   を有することを特徴とする請求項２に記載の階調補正装置。
9. 前記代表値発生回路が、前記マッピングカーブの代表値の組を記憶するＲＯＭ若しくはＲＡＭ、又は前記マッピングカーブの代表値の組を出力するように構成された専用回路であることを特徴とする請求項８に記載の階調補正装置。
10. 前記局所平均輝度算出部が、画面を複数の互いに重ならないブロックに区切り、前記ブロックの各々を前記局所領域としてその局所平均輝度値を求めることを特徴とする請求項１乃至９のいずれかに記載の階調補正装置。
11. 前記局所平均輝度算出部が、画面を複数の互いに重ならないブロックに区切り、互いに隣接する複数の前記ブロックの集まりを前記局所領域としてその局所平均輝度値を求めることを特徴とする請求項１乃至９のいずれかに記載の階調補正装置。
12. 前記階調変換部が、前記局所領域の各々について代表的変換条件を求め、前記局所領域の各々の内部の画素の各々のための変換条件を、複数の局所領域についての代表的変換条件に基づく補間によって求め、各画素の画像データを、当該画素についての変換条件を用いて階調変換を行うことを特徴とする請求項１０又は１１に記載の階調補正装置。

Images