JP2008092052A - 階調補正装置および撮像装置 - Google Patents

Abstract

【課題】 エリア分割数を増加させることなく画面上における各画素に階調変換カーブを求めることで補正結果にエリア分割線を生じさせない階調補正装置を提供する。
【解決手段】 撮像装置に備えられた階調補正部１００は、画像を複数のエリアに分割するエリア分割回路１０と、分割によって生成されたそれぞれのエリアについて、そのエリアを代表するエリア値を算出するエリア値算出回路１１と、それぞれのエリアに対応する階調変換カーブを、計算対象のエリアを中心とする所定の範囲内にあるエリアのエリア値のヒストグラムに基づいて生成する階調変換カーブ生成回路１６と、それぞれの画素の階調補正値を、計算対象の画素を含むエリアおよび隣接するエリアの階調変換カーブを用いて階調変換した複数の計算結果を補間して求める線形補間回路１８とを備える。
【選択図】 図１

Description

本発明は、画像の階調補正を行う階調補正装置に関し、主にデジタルスチルカメラやデジタルビデオカメラ等に代表される撮像装置に用いられるものに関する。

一般にデジタルカメラ等の撮像装置において、画面内に明るい領域と暗い領域が同時に存在する場合、２つの領域間での明暗差は得られるが、そのコントラストは小さくなる傾向がある。そのため、領域内におけるコントラストを強調する階調補正方式が提案されている。

広く一般に知られている有効な階調補正の方法として、画面上のある注目点を中心とした局所領域内に存在する画素のヒストグラムを算出し、ヒストグラムの分布が多い階調のコントラストを強調する階調変換カーブを求め、階調変換カーブを用いて階調補正する方法がある。これを局所的ヒストグラム均等化による階調補正と呼ぶことにする。

しかし、この局所的ヒストグラム均等化による階調補正を実現するには莫大な処理負荷や記憶容量が必要とされるため現実的でない。そこで、特許文献１に記載された階調補正方式では、以下のように、局所的ヒストグラム均等化による階調補正に近い処理を実現している。すなわち、画面を複数のエリアに分割し、各エリア内で輝度の平均値を求め、各エリアを中心にした局所領域内における輝度平均値のヒストグラムを算出する。次に、算出したヒストグラムにおいて輝度分布が多い階調のコントラストを強調する階調変換カーブをエリアごとに求め、求めた階調変換カーブをエリア内に存在する各画素に適用して階調補正を行う。
特開２００５−３２２２０５

しかしながら、上記の階調補正方式では、分割されたエリアごとに階調変換カーブを求めているため、画像によっては、階調補正結果にエリアの境界線が発生する問題を生じる。分割するエリアの大きさを画素単位に近づけていけばエリアの境界線は目立ちにくくなるが、エリア分割数を増やすに伴って必要となる処理負荷や記憶容量が増大するため、分割数には自ずと限界がある。

本発明は、上記背景に鑑み、エリア分割数を増加させることなく画面上における各画素に階調変換カーブを求めることで補正結果にエリアの境界線を生じさせない階調補正装置を提供することを目的とする。

本発明の階調補正装置は、入力された画像に階調補正を行う階調補正装置であって、画像を複数のエリアに分割する画像分割部と、分割によって生成されたそれぞれのエリアについて、そのエリアを代表するエリア値を算出するエリア値算出部と、それぞれのエリアに対応する階調変換カーブを、計算対象のエリアを中心とする所定の範囲内にあるエリアのエリア値のヒストグラムに基づいて生成する階調変換カーブ生成部と、それぞれの画素の階調補正値を、計算対象の画素を含むエリアおよび隣接するエリアの階調変換カーブを用いて階調変換した複数の計算結果を補間して求める補間計算部とを備えた構成を有する。

この構成により、複数のエリアに対応する階調変換カーブを用いた計算結果を補間して階調補正値を求めているので、エリア境界線の発生を抑制しつつ、エリアごとの階調変換カーブを用いた階調補正を行える。また、処理負荷の大きいヒストグラムの算出をエリア単位で行っているので、処理に必要な記憶容量と処理負荷を大幅に削減できる。

本発明の階調補正装置において、前記補間計算部は、前記複数の計算結果を、計算に用いた前記階調変換カーブに対応するエリアの重心と計算対象の画素との距離に基づいて補間して階調補正値を求める構成を有する。

この構成により、計算対象の画素の位置に基づいて適切な補間計算を行うことができる。

本発明の階調補正装置において、前記画像分割部は、前記画像を異なる態様で分割する第１の画像分割部および第２の画像分割部を備え、前記エリア値算出部は、第１の画像分割部によって生成されたそれぞれのエリアおよび第２の画像分割部によって生成されたそれぞれのエリアについて、そのエリアを代表するエリア値を算出し、前記階調変換カーブ生成部は、計算対象のエリアを中心とする所定の範囲内にある、第１の画像分割部によって生成されたエリアおよび第２の画像分割部によって生成されたエリアのエリア値のヒストグラムに基づいて前記階調変換カーブを生成する構成を有する。

この構成により、異なる態様で分割したエリアのエリア値を用いることで、階調変換カーブを求めるための情報量が増えるので、より適切な階調変換カーブを求めることができる。

本発明の階調補正装置は、前記第１の画像分割部は、画像を四角形の複数のエリアに分割し、前記第２の画像分割部は、前記第１の画像分割部によって生成されたエリアと同じ大きさの四角形で、かつ、各エリアの中心が前記第１の画像分割部によって生成された各エリアの四角形の頂点に一致するように分割する構成を有する。

この構成により、水平方向および垂直方向にそれぞれ２倍に分割した合計４倍の分割数としたときと同等の分割性能を得ることができる。

本発明の階調補正装置は、前記エリア値算出部にて算出された各エリア値にディザリング処理を行うディザリング処理部を備えた構成を有する。

この構成により、原画像の階調数に比べて少ない階調数しか持たないヒストグラムにおいて、擬似的にヒストグラムの階調数を増加させることができる。また、ディザリング処理において、誤差拡散係数を用いる構成とすれば、ヒストグラムの階調数が少ないことに起因する階調折り返しの問題を回避することができる。

本発明の階調補正装置において、前記階調変換カーブ生成部は、前記所定の範囲内のエリアのエリア値を該当階調の要素数としてカウントしてヒストグラムを求める際に、カウントすべき要素数に、計算対象のエリアからカウントしようとするエリアまでの距離に応じた重み付けをする構成を有する。

この構成により、各エリアを中心とした所定の範囲におけるヒストグラムを算出する際に、計算対象のエリアからの距離に応じてヒストグラムに与える影響を段階的に調整できる。

本発明の階調補正装置において、前記階調変換カーブ生成部は、各階調の要素数を上下の階調に分配してヒストグラムを整形し、整形されたヒストグラムに基づいて階調変換カーブを求める構成を有する。

この構成により、エリア内の複数の画素値を一つのエリア値として取り扱うことに起因して生じる可能性のある階調潰れの弊害を緩和できる。

本発明の階調補正装置において、前記階調変換カーブ生成部は、各階調にあらかじめ要素数の上限値および下限値を設定しておき、要素数が上限値を超える階調については要素数を上限値とし、要素数が下限値を下回る階調については要素数を下限値とするヒストグラムの整形を行い、整形されたヒストグラムに基づいて階調変換カーブを求める構成を有する。

この構成により、ヒストグラムから階調変換カーブを生成したときに、各階調別に階調変換カーブの最大傾きおよび最小傾きを調整することができることにより、階調補正の度合いを調整できる。

本発明の階調補正装置において、前記階調変換カーブ生成部は、各階調の要素数をその階調より下位の階調の要素数を累積した累積ヒストグラムを生成し、生成された累積ヒストグラムに基づいて階調変換カーブを求める構成を有する。

この構成により、ヒストグラムの各階調での要素数の分布を反映して、分布が多い階調のコントラストを強調する階調変換カーブを生成できる。

本発明の撮像装置は、撮像素子と、前記撮像素子によって撮像された画像を階調補正する上記の階調補正装置とを備えた構成を有する。

この構成により、本発明の階調補正装置と同様に、複数のエリアに対応する階調変換カーブを用いた計算結果を補間して階調補正値を求めているので、エリア境界線の発生を抑制しつつ、エリアごとの階調変換カーブを用いた階調補正を行える。本発明の階調補正装置の各種の構成を、本発明の撮像装置に適用することも可能である。

本発明の階調補正方法は、入力された画像に階調補正を行う階調補正方法であって、画像を複数のエリアに分割するステップと、分割によって生成されたそれぞれのエリアについて、そのエリアを代表するエリア値を算出するステップと、それぞれのエリアに対応する階調変換カーブを、計算対象のエリアを中心とする所定の範囲内にあるエリアのエリア値のヒストグラムに基づいて生成するステップと、それぞれの画素の階調補正値を、計算対象の画素を含むエリアおよび隣接するエリアの階調変換カーブを用いて階調変換した複数の計算結果を補間して求めるステップとを備えた構成を有する。

この構成により、本発明の階調補正装置と同様に、複数のエリアに対応する階調変換カーブを用いた計算結果を補間して階調補正値を求めているので、エリア境界線の発生を抑制しつつ、エリアごとの階調変換カーブを用いた階調補正を行える。本発明の階調補正装置の各種の構成を、本発明の階調補正方法に適用することも可能である。

本発明によれば、複数のエリアに対応する階調変換カーブを用いた計算結果を補間して階調補正値を求めているので、エリア境界線の発生を抑制しつつ、エリアごとの階調変換カーブを用いた階調補正を行えるというすぐれた効果を有する。

以下に、本発明の実施の形態の階調補正装置を備えた撮像装置について、図面を参照しながら説明する。

（第１の実施の形態）
図１は、第１の実施の形態の撮像装置の構成を示す図である。撮像装置は、被写体からの光を撮像素子３に結像するためのレンズ１と、撮像素子３に入射する光量を制御する絞り部２と、結像した像を光電変換する撮像素子３と、撮像素子３から得られるアナログ信号をデジタル信号に変換するＡ／Ｄ変換器４と、Ａ／Ｄ変換された映像信号に対しＯＢ減算やホワイトバランス調整などを行う前処理回路５と、前処理後の映像信号から輝度信号と色差信号に分離するＹＣ分離回路６と、ＹＣ分離回路６から出力された輝度信号および色差信号に階調補正を行う階調補正部１００と、輝度信号を処理するＹ信号処理回路７と、色差信号を処理するＣ信号処理回路８を備える。階調補正部１００は、本発明の階調補正装置に該当する。

階調補正部１００は、前処理後の映像信号を複数のエリアに分割するエリア分割回路１０と、エリア分割回路１０で分割した全てのエリアについて、エリア値を算出するエリア値算出回路１１とを備えている。エリア値とは、エリアを代表する値であり、例えば、エリアに含まれる全画素の平均の輝度値や中央値を用いることができる。

また、階調補正部１００は、エリア値算出回路１１で算出されたエリア値にディザリングをかけてヒストグラムで使用する階調数に階調削減するディザリング回路１２と、階調削減されたエリア値を１フレーム期間記憶する記憶部１３とを備えている。

また、階調補正部１００は、記憶部１３が記憶するエリア値に基づいて各エリアを中心とした局所領域におけるヒストグラムを算出する局所的ヒストグラム算出回路１４と、算出された各ヒストグラムに対してクリップや平滑化などの処理を行うヒストグラム整形回路１５と、整形後のヒストグラムからエリア毎の階調変換カーブを生成する階調変換カーブ生成回路１６とを備えている。ここで、局所的ヒストグラム算出回路１４、ヒストグラム整形回路１５、および階調変換カーブ生成回路１６は、本発明の階調変換カーブ生成部に該当する。階調変換カーブ生成回路１６にて求められる階調変換カーブは、エリア別の階調変換カーブである。すなわち、所定のエリアを中心とした局所領域におけるヒストグラムを用いて算出された階調変換カーブは、その所定のエリアに対応する階調変換カーブである。

階調補正部１００は、階調変換カーブを使って前処理後の映像信号値Ｌを変換する階調変換回路１７と、階調変換回路１７で得られた複数の階調変換後の映像信号値を線形補間計算する線形補間回路１８と、前処理後の映像信号値Ｌと階調変換後の映像信号値Ｌ’の比を計算する比率計算回路１９と、計算された比率をＹＣ分離回路７で生成された輝度信号および色信号に乗算する回路とを備えている。ここで、階調変換回路１７および線形補間回路１８は、本発明の補間計算部に該当する。

以上のように構成された撮像装置における階調補正の動作、すなわち、エリア分割回路１０から比率計算回路１９を経て求めた変換比率を、輝度信号および色信号に乗算するまでの動作について説明する。

撮像素子３による撮像によって得られた画像信号は、Ａ／Ｄ変換部４および前処理回路５を介してＹＣ分離回路６および階調補正部１００に入力される。

階調補正部１００のエリア分割回路１０は、入力された画像を複数のエリアに分割する。１エリア内には少なくとも１個の画素が属している。

図２は、画像の大きさを水平６４０画素、垂直４８０画素としたときに、画像を水平８０個、垂直６０個の計４８００個のエリアに分割した例である。このとき、１エリア中には、水平８個、垂直８個の計６４個の画素が含まれる。

続いて、エリア値算出回路１１においてエリア分割回路１０にて分割されたエリアごとに、そのエリアに属する画素値の平均値を算出し、算出した平均値をエリア値とする。以下の処理では、このエリア値を用いる。これにより、それぞれの画素値を利用した計算を行わなくてもよいので、計算処理の負荷を軽減できる。

次に、ディザリング回路１２は、４８００個のエリア値にディザリング処理を行い、階調数をヒストグラムで使用する階調数に削減する。ディザリング回路１２は、階調数を削減したエリア値を記憶部１３に記憶する。

図３は、ディザリング回路１２の一例を示す図である。ディザリング回路１２は、エリア値算出回路１１において算出されたエリア値を１０ｂｉｔ長の信号として入力し、その入力信号に対して図４に示す誤差拡散係数を用いてディザリングをかけ、５ｂｉｔ長のエリア値に階調削減する。ここでは、ディザリング処理後のヒストグラムを３２階調として説明する。

図４は、図３に示すディザリング回路で用いる誤差拡散係数を表したものであり、注目エリアにおいて５ｂｉｔ長に階調削減した際に得られる誤差に対し、３／４倍した値を右隣のエリアに、１／４倍した値を１エリア離れた右側のエリアにそれぞれ加算することを表している。ここで使用している誤差拡散係数は、水平方向のみに誤差拡散を行う係数である。

図５（ａ）〜図５（ｃ）は、１０ｂｉｔ長の入力値を５ｂｉｔシフトダウンによって５ｂｉｔ長に階調削減を行うディザリング処理の処理前後のデータを示す図である。図５（ａ）は、全エリア一律に９６というデータを有する例、図５（ｂ）は、全エリア一律に１０４というデータを有する例、図５（ｃ）は、全エリア一律に１１２というデータを有する例を示す。図５（ａ）〜図５（ｃ）に示されるように、入力値９６、１０４、１１２の３つは、入力値が異なるにも関わらず、５ｂｉｔ長に階調削減された後の結果は全て３になってしまい、入力値の差違は消えてしまう。

図６（ａ）〜図６（ｃ）は、図５（ａ）〜図５（ｃ）と同様の入力データに対し、図３および図４に示すディザリング回路１２によるディザリング処理の前後のデータを示す図である。図６（ａ）〜図６（ｃ）に見られるように、ディザリング処理を行った場合、階調削減された結果は２と３のように値に変化が生じ、入力値の差違を５ｂｉｔで擬似的に表現できる。

しかし、図６（ａ）〜図６（ｃ）の結果からも分かるように、水平方向のみに拡散を行う場合、誤差拡散パターンが垂直方向に揃うことで縦縞パターンが現れてしまうおそれがある。そこで、ディザリング回路１２は、エリアの水平ラインにおける左端のエリアの誤差値を、乱数を用いて初期化する。

図７（ａ）は、乱数による初期化を行わないディザリング処理結果を示す図、図７（ｂ）は、乱数による初期化を行ったディザリング処理結果を示す図である。図７（ａ）および図７（ｂ）に示されるように、乱数による初期化を行うことにより、垂直方向に縦縞パターンが現れる現象を防ぐことができる。

ここまでの処理によって、階調削減された各エリアのエリア値が、階調補正部１００の記憶部１３に記憶される。階調補正部１００は、各エリアのエリア値を用いて、各エリアに対応する階調変換カーブを求める。階調変換カーブを求める処理は、局所的ヒストグラム算出回路１４、ヒストグラム整形回路１５、階調変換カーブ生成回路１６によって行われる。

局所的ヒストグラム算出回路１４は、記憶部１３に記憶された階調削減後のエリア値を使って、各エリアを中心とした局所領域におけるヒストグラムを算出する。

図８は、局所的ヒストグラムの算出について説明するための図である。局所的ヒストグラム算出回路１４は、注目エリアを中心にした所定範囲内にあるエリアを対象に、注目エリアからの距離に応じて重み付けを行った上で、所定範囲内にあるエリアのエリア値からヒストグラムを算出する。

図８に示す例では、注目エリアＥＣを中心に水平距離Ｄ１、垂直距離Ｄ１の範囲Ｅ１内にある各エリアのエリア値に対しては、局所的ヒストグラムにエリア値の要素数をカウントするときに、要素数をＷ１倍して加算する。同様に、注目エリアＥＣを中心に水平距離Ｄ２、垂直距離Ｄ２の範囲にあり、かつ範囲Ｅ１に含まれない範囲Ｅ２内にある各エリアに対しては、局所的ヒストグラムにエリア値の要素数をカウントするときに、要素数をＷ２倍して加算する。注目エリアＥＣを中心に水平距離Ｄ３、垂直距離Ｄ３の範囲にあり、かつ範囲Ｅ１およびＥ２に含まれない範囲Ｅ３内にある各エリアに対しては、局所的ヒストグラムにエリア値の要素値をカウントするときに、要素数をＷ３倍して加算する。注目エリアＥＣを中心に水平距離Ｄ４、垂直距離Ｄ４の範囲にあり、かつ範囲Ｅ１からＥ３に含まれない範囲Ｅ４内にある各エリアに対しては、局所的ヒストグラムにエリア値の要素数をカウントするときに、要素数をＷ４倍して加算する。注目エリアＥＣを中心として範囲Ｅ４以内に含まれない画面上のエリアは、この注目エリアで算出する局所的ヒストグラムには関与しない。ここで、重み係数Ｗ１〜Ｗ４は、重み係数Ｗ１が一番大きく重み係数Ｗ４に向かって順次係数を小さくし、距離Ｄ１〜Ｄ４は、距離Ｄ１が一番小さく、距離Ｄ４に向かった順次距離を大きくする。これにより、注目エリアＥＣから距離的に遠くなるほど注目エリアＥＣにおける局所的ヒストグラムに与える影響を小さくすることができる。重み係数Ｗ１〜Ｗ４と水平距離および垂直距離Ｄ１〜Ｄ４は、経験上Ｗ１＝１６、Ｗ２＝４、Ｗ３＝２、Ｗ４＝１、Ｄ１＝１２、Ｄ２＝２５、Ｄ３＝４０、Ｄ４＝６０程度の値を取ることが望ましい。

図９は、注目エリアが画像の端部付近にある場合を示している。図９のように、注目エリアが画像の端部付近にある場合には、当該エリアを中心とする所定範囲（エリア参照範囲）が画像の外にはみ出してしまう場合がある。この場合、画面外にはみ出した範囲に関しては、値が存在しないものとして扱ってもよいし、端部処理として別処理を行ってもよい。例えば、画面の一番外枠のエリアが画面外に無限に広がっていると考えて局所的ヒストグラムの範囲をケアする方法や、画面の一番外枠のエリアを対称に画面の外側は内側を折り返していると考えて局所的ヒストグラムの範囲をケアする方法が考えられる。

後述するように、本実施の形態では隣接する４つのエリアの階調変換カーブを用いて、画素の階調補正を行うので、局所的ヒストグラム算出回路１４は、４つの注目エリアについて、独立にそれぞれの局所的ヒストグラムを算出する。合計４８００個の中から選択する４つの注目エリアは、図１０のように現在処理している注目画素Ｋから、重心位置への距離が近いエリア（ｉ，ｊ）、エリア（ｉ＋１，ｊ）、エリア（ｉ，ｊ＋１）、エリア（ｉ＋１，ｊ＋１）の４つである。同時に算出された４つの局所的ヒストグラムは、後段のヒストグラム整形回路１４から階調変換回路１７まで並列に処理され、線形補間回路１８において４つの階調変換後の映像信号値を用いて線形補間計算を行い、１つの階調変換後の映像信号値Ｌ’を得る。

以下のヒストグラム整形回路１５から階調変換回路１７の説明では、局所的ヒストグラム算出回路１４において得られた４つのヒストグラムのうち１つのヒストグラムの処理について注目して説明する。

ヒストグラム整形回路１５は、局所的ヒストグラム算出回路１４にて算出された局所的ヒストグラムに対して処理を行う。ヒストグラム整形回路１５にて行う処理は、（１）要素数の上下階調への分配処理、（２）要素数のＭＡＸクリップ、（３）要素数のＭＩＮクリップの３つである。

図１１は、分配処理を説明するための図である。分配処理では、ヒストグラム全３２階調において、各階調の要素数を上下の階調に分配することにより、ヒストグラムの平滑化を行う。本実施の形態では、エリアに含まれる８×８画素の画素値を一つのエリア値によって処理しているために、実際の画像に含まれていた様々な値の画素値が丸められてしまっている。分配処理は、エリア値を用いることによって、丸められた分を元に戻すという考えに基づく処理である。

要素数の分配処理は、注目階調の要素数に対し、注目階調から見て上下１階調離れた階調へは重み係数Ｖ１を乗じた値を加算し、上下２階調離れた階調へは重み係数Ｖ２を乗じた値を加算し、上下３階調離れた階調へは重み係数Ｖ３を乗じた値を加算するというように、注目階調との階調差に応じて重み係数を設定し、注目階調の要素数を上下階調へ分配する。

図１１（ａ）は、分配処理前のヒストグラムの例を示す図である。図１１（ｂ）は、図１１（ａ）に示すヒストグラムに対して、Ｖ１＝０．７５、Ｖ２＝０．５０、Ｖ３＝０．２５という重み係数を設定し、かつ、存在しない階調への分配分を破棄する処理を行った結果を示す図である。なお、重み係数Ｖ１、Ｖ２、Ｖ３は経験上Ｖ１≧Ｖ２≧Ｖ３とするのが望ましい。

図１１（ｃ）は、階調０における値１００を上下の階調に分配する例を示す図である。図１１（ｃ）に示すように階調１に対しては、１００×Ｖ１（０．７５）＝７５という値が加算され、階調２に対しては、１００×Ｖ２（０．５）＝５０という値が加算され、階調３に対しては、１００×Ｖ３（０．２５）＝２５という値が加算される。なお、階調０は最も低い階調であるので、階調０より低い階調は存在しない。この場合、階調外への分配分は消失する。

図１１（ｃ）と同様に、図１１（ｄ）は、階調１における値２００を上下の階層に分配する例を示し、図１１（ｅ）は、階調２における値１５０を上下の階層に分配する例を示す。図１１（ｃ）、図１１（ｄ）、図１１（ｅ）に示す分配値の総和をとることによって、図１１（ｂ）に示す結果が得られる。図１１（ｂ）に見られるように、分配処理によって、ヒストグラムは平滑化される。

次に、ヒストグラム整形回路１５が行う要素数のクリップについて説明する。
図１２（ａ）および図１２（ｂ）は、要素数のクリップを説明するための図である。図１２（ａ）はクリップ処理前のヒストグラムを示し、図１２（ｂ）はクリップ処理後のヒストグラムを示す。ヒストグラム整形回路１５は、各階調について独立に、要素数のＭＡＸクリップ値およびＭＩＮクリップ値を設定し、クリップ処理を行う。すなわち、ヒストグラム整形回路１５は、各階調についてＭＡＸクリップ値を超える要素数はＭＡＸクリップ値まで減算し、ＭＩＮクリップ値に満たない要素数はＭＩＮクリップ値まで加算する。

ＭＡＸクリップ値およびＭＩＮクリップ値の設定は、階調補正結果に大きく関係する。基本的には、ＭＡＸクリップ値を大きくするほど、あるいは、ＭＩＮ値クリップを小さくするほど階調補正の度合いは大きくなりコントラスト改善も大きくなる。クリップ値は各階調で独立して設定できるため、設定によって補正結果を調整することも可能である。例えば、画面中で暗い部分の改善は大きく、明るい部分はあまり変化させたくない場合、暗い階調側ではＭＡＸクリップ値とＭＩＮクリップ値の乖離を大きく、明るい階調側では乖離を小さくする。

次に、階調変換カーブ生成部１６は、ヒストグラム整形回路１５にて整形されたヒストグラムから、階調変換カーブを生成する。

図１３（ａ）〜図１３（ｃ）は、階調変換カーブの生成について説明するための図である。図１３（ａ）は、ヒストグラム整形回路１５にて整形されたヒストグラムを示す図である。階調変換カーブ生成部１６は、図１３（ａ）に示すヒストグラムを下位階調から積算して、図１３（ｂ）に示す累積ヒストグラムを作成する。次に、階調変換カーブ生成部１６は、累積ヒストグラムの最上位階調の要素数が映像信号値の階調数になるように正規化して、図１３（ｃ）に示す階調変換カーブを生成する。

図１３（ａ）〜図１３（ｃ）に示す例では、映像信号値の階調数を２５６階調として正規化を行い、正規化された累積ヒストグラムから階調変換カーブを生成している。階調変換カーブは０を原点とし、原点以外を等間隔の３２点の制御点で結んだ折れ線カーブとなる。

ここまでの処理により、各エリアに対応する階調変換カーブが生成される。この階調変換カーブを用いて、エリア内の画素を階調変換することにより、階調補正することができる。本実施の形態では、エリア別の階調変換カーブを用いた階調補正によって、エリア境界線が生じる問題点を解決するために、以下に説明するような処理を行う。

階調変換回路１７は、生成された階調変換カーブを用いて前処理後の映像信号値Ｌの階調変換を行う。図１４は、階調変換の例を示す図である。階調変換カーブに基づく変換では、前処理後の映像信号値Ｌに対応する値を、階調変換カーブから読み出して階調変換後の出力値とする。階調変換カーブは３２点の制御点からなる折れ線カーブであるので、制御点間については補間計算を行って出力値を算出する。

階調変換回路１７は、注目画素を含む４つのエリア（図１０参照）の階調変換カーブを用いて注目画素の階調変換を行う。これによって階調変換回路１７は、一の画素に対して４つの階調変換結果を得ることになる。

線形補間回路１８は、階調変換回路１７にて求められた４つの階調変換結果に線形補間処理を行い、画素に対する階調補正結果を求める。

図１５は、線形補間回路１８による処理について説明するための図である。線形補間回路は、図１５に示すように、注目画素Ｋと注目エリアであるエリア（ｉ，ｊ）、エリア（ｉ＋１，ｊ）、エリア（ｉ，ｊ＋１）、エリア（ｉ＋１，ｊ＋１）のそれぞれの重心位置との距離を用いて補間演算を行う。ここで、エリアの水平および垂直のサイズをＲ、注目エリア（ｉ，ｊ）と注目画素Ｋとの水平距離をｐ、垂直距離をｑとし、エリア（ｉ，ｊ）、エリア（ｉ＋１，ｊ）、エリア（ｉ，ｊ＋１）、エリア（ｉ＋１，ｊ＋１）の階調変換結果を順にＬＡ、ＬＢ、ＬＣ、ＬＤとしたとき、線形補間後の信号値Ｌ’は次式で求められる。

次に、比率計算回路１９は、前処理回路５から出力された映像信号値Ｌと、線形補間回路１８で求められた階調変換後の映像信号値Ｌ’に基づいて、Ｌ’／Ｌを計算して変換比率を求める。階調補正部１００は、比率計算回路１９で求めた変換比率を、ＹＣ分離回路７で生成した輝度信号（Ｙ信号）および色差信号（Ｃ信号）に乗算する。
以上、階調補正部１００の動作について説明した。

本実施の形態の撮像装置では、各エリアに対応した階調変換カーブを用いて求められた階調変換結果を線形補間することにより、画素の線形補正結果を求めているので、隣接するエリアの階調変換カーブを加味した階調補正値が得られる。これにより、階調補正後の画像にエリア境界線が生じにくくすることができる。

また、本実施の形態の撮像装置では、エリアに対応した階調変換カーブを求める際に、当該エリアを含む所定範囲内のエリア値のヒストグラムを用いているので、エリア内の画素値のヒストグラムを用いて階調変換カーブを求める場合に比べ、広い範囲のデータを利用して階調変換カーブを求めることができる。

また、本実施の形態の撮像装置では、エリア値の階調を削減する際に、誤差拡散係数を用いてディザリング処理を行うので、階調数の低減に起因する階調の折り返し問題を防止することができる。

また、本実施の形態の撮像装置では、ヒストグラム整形回路１５によってヒストグラムの分配処理を行っているので、エリア内の複数の画素をエリア値によって処理することに起因する階調潰れを低減することができる。

（第２の実施の形態）
図１６は、本発明の第２の実施の形態の撮像装置を示す図である。第２の実施の形態の撮像装置は、基本的な構成は第１の実施の形態と同じであるが、階調補正部１０１の構成が異なる。第２の実施の形態の階調補正部１０１は、エリア分割回路１０、エリア値算出回路１１、ディザリング回路１２、記憶部１３の他に、もう一組のエリア分割回路２０、エリア値算出回路２１、ディザリング回路２２、記憶部２３を有している。

エリア分割回路２０は、エリア分割回路１０と同様に、画像を複数のエリアに分割する。エリア分割回路２０は、エリア分割回路１０と連動したエリア分割を行う。エリア分割回路２０は、エリア分割回路１０によって分割されたエリアとは異なる態様で画像を分割する。

図１７は、エリア画面分割回路１０が水平８０個、垂直６０個の計４８００個のエリアに分割したとした場合に（図２参照）、エリア分割回路２０によって分割されたエリアの例を示す図である。図１７は、図２と同様に、水平６４０画素、垂直４８０画素の大きさの画像を示している。

エリア分割回路２０は、図２に示すエリアに対して水平方向および垂直方向にそれぞれ半エリア分ずれたエリアに分割する。具体的には、エリア分割回路１０及びエリア分割回路２０はともに、画像を複数の正方形のエリアに分割する。エリア分割回路１０によって分割された正方形のエリアの頂点が、エリア分割回路２０によって分割された正方形のエリアの中心にくるようにエリアを分割する。この結果、エリア分割回路２０による分割によって生成されたエリア数は、水平８１個、垂直６１個の計４９４１個となる。説明の便宜上、エリア分割回路１１で分割されたエリアを「第１分割エリア」、エリア分割回路２１で分割されたエリアを「第２分割エリア」という。

エリア値算出回路２１、ディザリング回路２２、記憶部２３は、エリア値算出回路１１、ディザリング回路１２、記憶部１３と同じ機能を有する。エリア値算出回路２１は、エリア分割回路２０にて分割されたエリア値を求め、ディザリング回路２２はエリア値に対してディザリング処理を行い、処理後のエリア値を記憶部２３に記憶する。

局所的ヒストグラム算出部２４は、記憶部１３に記憶された第１分割エリアのエリア値、および記憶部２３に記憶された第２分割エリアのエリア値に基づいて、局所領域におけるヒストグラムを算出する。なお、局所的ヒストグラム算出部２４が算出する局所的ヒストグラムの位置や個数は、第１の実施の形態と同じである。

図１８は、第１分割エリアおよび第２分割エリアの重心位置を重ねて示す図である。ただし、図１８において第２分割エリア分割における最外周のエリアの重心位置は、便宜上画面端部に配置している。

図１９は、第１分割エリアの各エリアを中心に局所的ヒストグラムを算出するときの、２種類のエリア値を参照する概念図を示す図である。図１９で使われている記号は、図６と同じである。参照範囲を指定する距離Ｄ１〜Ｄ４にそれぞれ１を加算して、参照範囲を上下左右に１／２エリア分だけ拡大し、第１分割エリアでの参照範囲より一回り大きく参照することとする。これにより、第１分割エリアより１／２エリア分だけ外側にはみ出した第２分割エリアを参照する。

図２０は、ある注目エリアを中心としたときの両エリア値の参照範囲を表した図である。図２０は、注目エリアを中心に距離３を指定したときに参照されるエリア値を示したものであり、第１分割エリアは注目エリアの値を含めて計９個、第２分割エリアは計１６個で合計２５個のエリア値が局所的ヒストグラムの算出に使用される。

以下は、２種類のエリア値から算出された局所的ヒストグラムを使用し、後段の処理を行う。局所的ヒストグラム算出回路２４の後段で行う処理は、第１の実施の形態と同じである。

第２の実施の形態の撮像装置では、異なる態様で分割したエリアのエリア値を用いることで、階調変換カーブを求めるための情報量が増えるので、より適切な階調変換カーブを求めることができる。特に、本実施の形態のように、エリア分割回路１０による分割で生成された正方形エリアの頂点に、エリア分割回路２０による分割で生成された正方形エリアの重心がくるように、エリア分割回路１０、２０によってエリア分割することにより、水平方向および垂直方向にそれぞれ２倍に分割した合計４倍の分割数としたときと同等の分割性能を得ることができる。

（第３の実施の形態）
図２１は、本発明の第３の実施の形態の撮像装置の構成を示す図である。第３の実施の形態の撮像装置は、基本的な構成は第１の実施の形態の撮像装置と同じであるが、第３の実施の形態では、階調変換後の映像信号値Ｌ’をＹＣ分離回路６に入力している点が第１の実施の形態と異なる。

階調変換後の映像信号値Ｌ’をＹＣ分離回路６に入力することで、第１の実施の形態の構成に存在した前処理後の映像信号値Ｌと階調変換後の映像信号値Ｌ’の比を計算する比率計算回路を省略できる。

また、本実施の形態の撮像装置は、上記した他の実施の形態と同様に、エリア境界線の発生を抑制しつつ、エリアごとの階調変換カーブを用いた階調補正を行える。

（第４の実施の形態）
図２２は、本発明の第４の実施の形態の撮像装置を示す図である。第４の実施の形態の撮像装置は、基本的な構成は第２の実施の形態の撮像装置と同じであるが、第４の実施の形態では、階調変換後の映像信号値Ｌ’をＹＣ分離回路６に入力している点が第２の実施の形態と異なる。

階調変換後の映像信号値Ｌ’をＹＣ分離回路６に入力することで、第２の実施の形態の構成に存在した、前処理後の映像信号値Ｌと階調変換後の映像信号値Ｌ’の比を計算する比率計算回路が省略できると共に、第１分割エリアと第２分割エリアのエリア値のヒストグラムに基づいて階調変換を行うので、より画像に適した階調変換を行える。

また、本実施の形態の撮像装置は、上記した他の実施の形態と同様に、エリア境界線の発生を抑制しつつ、エリアごとの階調変換カーブを用いた階調補正を行える。

以上、本発明の階調補正装置について、階調補正装置を含む撮像装置を実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。

上記実施の形態では、前処理回路５が行う処理としてＯＢ減算とホワイトバランス調整を挙げたが、この２つの処理がなくてもよいし、この２つ以外の処理を前処理回路で行ってもよい。例えば、シェーディング補正やガンマ補正などが前処理に含まれてもよい。

また、上記実施の形態では、画面の大きさを水平６４０画素、垂直４８０画素とし、画面分割において水平８０個、垂直６０個の計４８００個のエリアに分割する例について説明したが、画面の大きさおよびエリア分割数は上記の例に限られない。また、エリア値としてエリア中の画素値の平均値を用いるとしたが、平均値の算出方法は特に指定するものではない。例えば、エリア内の全画素の平均値を求めてもよいし、エリア内のいくつかの画素をサンプリングしてその画素の平均値を求めてもよい。経験上、なるべく多くの画素の平均値を求めるほうが結果は安定する傾向にある。また、画素値として用いる値も特に指定するものではない。例えば、各画素における輝度値を算出してその値を使用してもよい。

また、上記実施の形態では、エリア値を１０ｂｉｔ長、ヒストグラムを３２階調、階調変換カーブを３２点折れ線カーブ、原画像の階調数を２５６階調などとしたが、いずれもこれに限られない。例えば、ヒストグラムの階調を１６階調にして階調変換カーブを１６点折れ線カーブで求めることは記憶容量や回路規模の削減に対して有効である。逆に、ヒストグラムを６４階調、階調変換カーブを６４点の折れ線カーブとすればより精度の高い階調変換が可能になる。さらに、階調変換カーブは等間隔の折れ線カーブとしているが、等間隔でなくてもよい。例えば、下位側の階調数を増やし、上位側の階調数をまばらに取ることで、下位側だけ折れ線カーブの精度を向上させることも可能である。またヒストグラムの階調についても同様である。

また、上記実施の形態では、ディザリングの方法として誤差を右方向に３／４倍、１／４倍して拡散する水平誤差拡散ディザ法を採用したが、ディザリングの方法はこれに限らない。例えば、同じ水平方向のみの誤差拡散ディザ法としても拡散係数を変えることも構わないし、別途記憶手段を用いて水平方向および垂直方向にも誤差を拡散させる誤差拡散ディザ法を行うことも可能である。垂直方向にも誤差拡散を行える場合には、拡散係数として効果が大きいとされるＦｌｏｙｄ−Ｓｔｅｉｎｂｅｒｇフィルタを使用することも有効な選択肢の一つである。また、ディザリングの方法は誤差拡散ディザ法に限らず、各エリア値にある一定の大きさの乱数を加減算するランダムディザ法も有効である。

また、上記実施の形態では、ディザリングをかけるときに左端エリアの初期値を乱数で初期化するとしたが、ここで用いる乱数は厳密な乱数でなくてもよい。例えば、あらかじめ決められた数字の並びを用意しておいて、それを順次適用する方法でもよい。

また、上記実施の形態では、局所的ヒストグラム算出時に参照する範囲を正方形としているが、参照範囲の形は正方形に限らない。例えば、菱形や円形にすることも可能である。

また、上記実施の形態では、ヒストグラムの分配処理において最下位階調または最上位階調を超える存在しない階調への分配要素は破棄したが、必ずしも破棄する必要はない。例えば、最下位階調を超える存在しない階調への分配要素は最下位階調に加算し、最上位階調を超える存在しない階調への分配要素は最上位階調に加算するのも有効な方法である。

また、上記した第２の実施の形態では、局所的ヒストグラムを算出するときの参照範囲として距離Ｄ１〜Ｄ４に対して１を加算した値を使用することで第２分割エリアに対応させたたが、参照範囲の距離として第１分割エリアに対する距離Ｄ１〜Ｄ４と、第２分割エリアに対する距離Ｄ１〜Ｄ４を独立に指定してもよい。独立に指定することで、例えば第１分割エリアの参照範囲に対して、第２分割エリアの参照範囲を小さくしたり、逆に大きくしたりすることも調整可能となる。

また、上記した第２の実施の形態では、局所的ヒストグラムを算出するときの重み係数Ｗ１〜Ｗ４に関して、第１分割エリアおよび第２分割エリアに共通して使用したが、それぞれのエリアで独立の重み係数を指定してもよい。独立に指定することで、例えば第１分割エリアに対して第２分割エリアの影響を小さくしたり、逆に大きくしたりすることも調整可能となる。

以上説明したように、本発明は、複数のエリアに対応する階調変換カーブを用いた計算結果を補間して階調補正値を求めているので、エリア境界線の発生を抑制しつつ、エリアごとの階調変換カーブを用いた階調補正を行えるというすぐれた効果を有し、デジタルスチルカメラやデジタルビデオカメラ等に代表される撮像装置に用いる階調補正装置などに有用である。

第１の実施の形態における階調補正装置の概略構成図 第１の実施の形態におけるエリア分割を説明する図 第１の実施の形態におけるディザリングを説明する図 第１の実施の形態におけるディザリングに用いる誤差拡散係数を説明する図 第１の実施の形態におけるディザリングをかけない場合での階調削減結果を説明する図 第１の実施の形態におけるディザリングをかけた場合での階調削減結果を説明する図 第１の実施の形態におけるディザリングでの乱数初期化の有無を説明する図 第１の実施の形態における局所的ヒストグラム算出を説明する図 第１の実施の形態における局所的ヒストグラム算出での参照範囲が画面外に及んだ状態を説明する図 第１の実施の形態における４つのエリア選択を説明する図 第１の実施の形態におけるヒストグラム分配処理を説明する図 第１の実施の形態におけるヒストグラムのクリップ処理を説明する図 第１の実施の形態における階調変換カーブ生成処理を説明する図 第１の実施の形態における階調変換の例を説明する図 第１の実施の形態における４つの階調変換結果の線形補間処理を説明する図 第２の実施の形態における階調補正装置の概略構成図 第２の実施の形態におけるエリア分割を説明する図 第２の実施の形態における第１分割エリアと第２分割エリアの重心位置を説明する図 第２の実施の形態における局所的ヒストグラム算出を説明する図 第２の実施の形態における局所的ヒストグラム参照範囲の簡易例を説明する図 第３の実施の形態における階調補正装置の概略構成図 第４の実施の形態における階調補正装置の概略構成図

符号の説明

１ レンズ
２ 絞り部
３ 撮像素子
４ Ａ／Ｄ変換器
５ 前処理回路
６ ＹＣ分離回路
７ Ｙ信号処理回路
８ Ｃ信号処理回路
１０ エリア分割回路
１１ エリア値算出回路
１２ ディザリング回路
１３ 記憶部
１４ 局所的ヒストグラム算出回路
１５ ヒストグラム整形回路
１６ 階調変換カーブ生成回路
１７ 階調変換回路
１８ 線形補間回路
１９ 比率計算回路
２０ エリア分割回路
２１ エリア値算出回路
２２ ディザリング回路
２３ 記憶部
２４ 局所的ヒストグラム算出回路
１００ 第１の実施の形態の階調補正部
１０１ 第２の実施の形態の階調補正部
１０２ 第３の実施の形態の階調補正部
１０３ 第４の実施の形態の階調補正部

Claims (11)

1. 入力された画像に階調補正を行う階調補正装置であって、
   画像を複数のエリアに分割する画像分割部と、
   分割によって生成されたそれぞれのエリアについて、そのエリアを代表するエリア値を算出するエリア値算出部と、
   それぞれのエリアに対応する階調変換カーブを、計算対象のエリアを中心とする所定の範囲内にあるエリアのエリア値のヒストグラムに基づいて生成する階調変換カーブ生成部と、
   それぞれの画素の階調補正値を、計算対象の画素を含むエリアおよび隣接するエリアの階調変換カーブを用いて階調変換した複数の計算結果を補間して求める補間計算部と、
   を備えた階調補正装置。
2. 前記補間計算部は、前記複数の計算結果を、計算に用いた前記階調変換カーブに対応するエリアの重心と計算対象の画素との距離に基づいて補間して階調補正値を求める請求項１に記載の階調補正装置。
3. 前記画像分割部は、
   前記画像を異なる態様で分割する第１の画像分割部および第２の画像分割部を備え、
   前記エリア値算出部は、第１の画像分割部によって生成されたそれぞれのエリアおよび第２の画像分割部によって生成されたそれぞれのエリアについて、そのエリアを代表するエリア値を算出し、
   前記階調変換カーブ生成部は、計算対象のエリアを中心とする所定の範囲内にある、第１の画像分割部によって生成されたエリアおよび第２の画像分割部によって生成されたエリアのエリア値のヒストグラムに基づいて前記階調変換カーブを生成する、請求項１に記載の階調補正装置。
4. 前記第１の画像分割部は、画像を四角形の複数のエリアに分割し、
   前記第２の画像分割部は、前記第１の画像分割部によって生成されたエリアと同じ大きさの四角形で、かつ、各エリアの中心が前記第１の画像分割部によって生成された各エリアの四角形の頂点に一致するように分割する請求項３に記載の階調補正装置。
5. 前記エリア値算出部にて算出された各エリア値にディザリング処理を行うディザリング処理部を備えた請求項１記載の階調補正装置。
6. 前記階調変換カーブ生成部は、前記所定の範囲内のエリアのエリア値を該当階調の要素数としてカウントしてヒストグラムを求める際に、カウントすべき要素数に、計算対象のエリアからカウントしようとするエリアまでの距離に応じた重み付けをする請求項１に記載の階調補正装置。
7. 前記階調変換カーブ生成部は、各階調の要素数を上下の階調に分配してヒストグラムを整形し、整形されたヒストグラムに基づいて階調変換カーブを求める請求項１に記載の階調補正装置。
8. 前記階調変換カーブ生成部は、各階調にあらかじめ要素数の上限値および下限値を設定しておき、要素数が上限値を超える階調については要素数を上限値とし、要素数が下限値を下回る階調については要素数を下限値とするヒストグラムの整形を行い、整形されたヒストグラムに基づいて階調変換カーブを求める請求項１に記載の階調補正装置。
9. 前記階調変換カーブ生成部は、各階調の要素数をその階調より下位の階調の要素数を累積した累積ヒストグラムを生成し、生成された累積ヒストグラムに基づいて階調変換カーブを求める請求項１に記載の階調補正装置。
10. 撮像素子と、
    前記撮像素子によって撮像された画像を階調補正する請求項１〜９のいずれかに記載の階調補正装置と、
    を備えた撮像装置。
11. 入力された画像に階調補正を行う階調補正方法であって、
    画像を複数のエリアに分割するステップと、
    分割によって生成されたそれぞれのエリアについて、そのエリアを代表するエリア値を算出するステップと、
    それぞれのエリアに対応する階調変換カーブを、計算対象のエリアを中心とする所定の範囲内にあるエリアのエリア値のヒストグラムに基づいて生成するステップと、
    それぞれの画素の階調補正値を、計算対象の画素を含むエリアおよび隣接するエリアの階調変換カーブを用いて階調変換した複数の計算結果を補間して求めるステップと、
    を備えた階調補正方法。

Images