JP2010252002A - 階調補正装置および撮像装置 - Google Patents

Abstract

【課題】 フレームメモリを要することなく補正適用ズレの影響を小さくし、階調変換を行える階調補正装置を提供する。
【解決手段】 階調補正装置１００は、映像の撮影中にリアルタイムに階調補正を行う階調補正装置であって、映像の各フレームの画像特徴量としてフレームを複数のエリアに分割し、分割後の各エリアのエリア値を求めるエリア値算出部１１と、注目フレームの露光制御量と先行フレームの露光制御量との変化量を算出する露光変化量算出回路１２と、露光変化量を用いて先行フレームのエリア値を補正するエリア値補正回路１３と、エリア値補正回路１３にて補正されたエリア値に基づいて、注目フレームの画像を変換するための階調変換カーブを生成する階調変換カーブ生成回路１６と、階調変換カーブ生成回路１６にて生成された階調変換カーブを用いて、注目フレームの画像を階調変換する階調変換回路１７とを備える。
【選択図】 図１

Description

本発明は、画像の階調補正を行う階調補正装置に関し、主にデジタルスチルカメラやデジタルビデオカメラ等に代表される撮像装置に用いられるものに関する。

一般にデジタルカメラ等の撮像装置において、画面内に明るい領域と暗い領域が存在する場合、２つの領域間での明暗差は得られるが、それぞれの領域内でのコントラストは小さくなる傾向がある。このため、領域内におけるコントラストを強調する階調補正方式が提案されている。

階調補正方式は数多く提案されているが、共通しているのは、まず入力映像を解析して映像を特徴付ける特徴量を算出し、その特徴量に基づいて階調補正量を決定して、画像に対して階調補正を行うという処理の流れである。このとき、あるフレームの映像の特徴量を求めるためには、フレーム全体を走査する必要がある。

リアルタイムで動作する撮像装置においては、特徴量の算出のためにフレーム全体を走査する時間をかけることができない。従って、時刻Ｎ＋１のフレームの補正に用いられるのは、時刻Ｎのフレームの特徴量から求めた階調補正量である。本来は、時刻Ｎのフレームから求めた階調補正量は時刻Ｎフレームに適用すべきであるが、実際には時刻Ｎ＋１フレームに適用しているため、階調補正量を求めるためのフレーム（ここでは時刻Ｎのフレーム）と補正対象のフレーム（ここでは時刻Ｎ＋１のフレーム）とが一致しない（以下、「補正適用ズレ」という）。この補正適用ズレによる弊害としては、被写体の明るさが変動したときに、画面がちらついて目障りである点が主に挙げられる。

特許文献１は、この補正適用ズレの問題に対する解決手段を提案している。特許文献１に記載された階調補正方法では、映像１フレーム分のフレームメモリを持ち、階調補正を適用する映像側を１フレーム遅延させることによって、補正適用ズレを無くしている。

特許第３７１４６５７号公報

しかしながら、フレームメモリを必要とすることはコスト面で不利である。また、撮像装置からの映像フレームが必ず１フレーム遅延することから主にリアルタイム性を求められる用途において望ましくない。

本発明は、上記背景に鑑み、フレームメモリを要することなく補正適用ズレの影響を小さくし、階調変換を行える階調補正装置を提供することを目的とする。

本発明の階調補正装置は、映像の撮影中にリアルタイムに階調補正を行う階調補正装置であって、映像の各フレームの画像特徴量を算出する画像特徴量算出部と、補正対象の注目フレームの露光制御量と、前記注目フレームに先行する先行フレームの露光制御量との変化量を算出する露光変化量算出部と、前記露光変化量を用いて前記先行フレームの画像特徴量を補正する画像特徴量補正部と、前記画像特徴量補正部にて補正された画像特徴量に基づいて、注目フレームの画像を変換するための階調変換カーブを生成する階調変換カーブ生成部と、前記階調変換カーブ生成部にて生成された階調変換カーブを用いて、注目フレームの画像を階調変換する階調変換部とを備えた構成を有する。

この構成により、先行フレームの画像特徴量を補正して、注目フレームで算出される画像特徴量を予測し、その補正後の画像特徴量から階調変換カーブを求めて階調変換を行うので、フレームメモリを要することなく補正適用ズレの影響を低減した階調補正を行うことができる。

本発明の階調補正装置において、前記露光変化量算出部は、露光量を制御する露光制御部から露光制御量の情報を取得し、前記露光変化量として、前記注目フレームの露光制御量と前記先行フレームの露光制御量の比を算出してもよい。

この構成により、露光制御量の変化から、注目フレームと先行フレームに適用される露光制御量の相違に起因する補正適用ズレの影響を低減できる。

本発明の階調補正装置において、前記露光変化量算出部は、前記露光変化量として、前記注目フレームの画素平均値と、前記先行フレームの画素平均値の比を算出してもよい。

この構成により、露光制御量が取得できない場合でも、注目フレームと先行フレームの露光変化量を予測できる。

本発明の階調補正装置において、前記露光変化量算出部は、前記注目フレームをおよび前記先行フレームの画像を複数のエリアに分割し、各エリアを代表する代表値の変化量を算出し、エリア単位で露光変化量を算出し、前記画像特徴量補正部は、前記先行フレームの画像特徴量をエリア単位で補正してもよい。

この構成により、分割されたエリア単位で露光変化量を予測することにより、被写体が変わっている場合に、被写体の変化に基づく明るさの変化の影響を低減できる。

本発明の階調補正装置において、前記画像特徴量算出部は、前記フレームの画像を複数のエリアに分割し、各エリアを代表するエリア値を画像特徴量として算出してもよい。

この構成により、原画像の画像特徴を保持しながら、画像特徴量を記憶しておくメモリ容量を削減できる。

本発明の階調補正装置において、前記画像特徴量補正部は、前記先行フレームの画像特徴量に前記露光変化量を乗じることにより画像特徴量を補正してもよい。

この構成により、先行フレームの画像特徴量を適切に補正し、注目フレームの画像特徴量を予測できる。

本発明の撮像装置は、撮像素子と、前記撮像素子に入射する光量の制御または被写体の明るさに応じて出力を利得制御する露光制御部と、前記撮像素子からの入力画像と前記露光制御部での露光制御量とに基づいて階調補正を行う階調補正装置とを備えた構成を有する。

この構成により、上記した階調補正装置と同様に、先行フレームの画像特徴量を補正し、注目フレームで算出される画像特徴量を予測し、その画像特徴量から階調変換カーブを求めて階調変換を行うので、フレームメモリを要することなく補正適用ズレの影響を低減した階調補正を行うことができる。なお、本発明の階調補正装置の各種の構成を、本発明の撮像装置に適用することも可能である。

本発明によれば、先行フレームの画像特徴量を補正し、注目フレームで算出される画像特徴量を予測し、その画像特徴量から階調変換カーブを求めて階調変換を行うので、フレームメモリを要することなく補正適用ズレの影響を低減した階調補正を行うことができるというすぐれた効果を有する。

第１の実施の形態における階調補正装置の概略構成図 第１の実施の形態におけるフレームタイミングを説明する図 第１の実施の形態におけるエリア分割を説明する図 第１の実施の形態におけるエリア値補正を説明する図 第１の実施の形態における局所的ヒストグラム算出を説明する図 第１の実施の形態における局所的ヒストグラム算出での参照範囲が画面外に及んだ状態を説明する図 （ａ）分配処理前のヒストグラムの例を示す図、（ｂ）分配処理後のヒストグラムの例を示す図、（ｃ）階調０の分配処理の例を示す図、（ｄ）階調１の分配処理の例を示す図、（ｅ）階調２の分配処理の例を示す図 （ａ）クリップ処理前のヒストグラムの例を示す図、（ｂ）クリップ処理後のヒストグラムの例を示す図 （ａ）ヒストグラムの例を示す図、（ｂ）累積比ヒストグラムの例を示す図、（ｃ）階調変換カーブの例を示す図 第１の実施の形態における階調変換の例を説明する図 第２の実施の形態における階調補正装置の概略構成図 （ａ）被写体の明るさを示す図、（ｂ）制限がないときの露光制御量を示す図、（ｃ）制限がないときの画像の明るさを示す図、（ｄ）制限があるときの露光制御量を示す図、（ｅ）制限があるときの画像の明るさを示す図 第２の実施の形態における画像の明るさ変化を説明する図 （ａ）フレームＡのエリア値Ａを示す図、（ｂ）フレームＢのエリア値Ｂを示す図、（ｃ）エリア値Ａとエリア値Ｂの変化を示す図、（ｄ）エリア別変化量から求めたエリア値Ｃ´を示す図、（ｅ）画面平均変化量から求めたエリア値Ｃ´を示す図 ４つのエリア選択を説明する図 ４つの階調変換結果の線形補間処理を説明する図

（第１の実施の形態）
以下に、本発明の第１の実施の形態の階調補正装置を備えた撮像装置について、図面を参照しながら説明する。

図１は、実施の形態の撮像装置の構成を示す図である。撮像装置は、被写体からの光を撮像素子３に結像するためのレンズ１と、撮像素子３に入射する光量を制御する絞り部２と、結像した像を光電変換する撮像素子３と、撮像素子３から得られる信号を被写体の明るさに応じて出力を一定に利得制御するＡＧＣ（Automatic Gain Control）回路４と、絞り部２とＡＧＣ回路４をフレームごとに制御し、絞り部２とＡＧＣ回路４をそれぞれ制御した合計の露光制御量を算出する露光制御回路３０と、ＡＧＣ回路４から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換器５と、Ａ／Ｄ変換された映像信号に対しＯＢ減算やホワイトバランス調整などを行う前処理回路６と、前処理後の映像信号を輝度信号と色差信号に分離するＹＣ分離回路７と、ＹＣ分離回路７から出力された輝度信号および色差信号に階調補正を行う階調補正装置１００と、輝度信号を処理するＹ信号処理回路８と、色差信号を処理するＣ信号処理回路９を備える。露光制御回路３０で求めた露光制御量は、階調補正装置１００において利用する。

階調補正装置１００は、前処理後の映像信号を複数のエリアに分割するエリア分割回路１０と、エリア分割回路１０で分割した全てのエリアについて、映像信号からエリア値を算出するエリア値算出回路１１を備えている。エリア値とは、エリアを代表する映像信号の値であり、例えば、エリアに含まれる全画素の画素値の平均値や中央値を用いることができる。ここでエリア分割回路１０とエリア値算出回路１１は、請求項に記載した「画像特徴量算出部」に該当する。

また、階調補正装置１００は、露光制御回路３０から出力された露光制御量を１フレーム期間、記憶する露光制御量記憶部５０と、露光制御回路３０から出力された注目フレームの露光制御量と露光制御量記憶部５０に記憶された露光制御量から、注目フレームの１フレーム前の露光制御量との変化量を求める露光変化量算出回路１２を備えている。ここで、１フレーム前のフレームは、請求項に記載した「先行フレーム」に該当する。また、露光制御記憶部５１と露光変化量算出回路１２は、請求項に記載した「露光変化量算出部」に該当する。

階調補正装置１００は、エリア値算出回路１１から出力されるエリア値に対し、露光変化量算出回路１２で算出された露光変化量を使ってエリア値を補正するエリア値補正回路１３と、エリア値補正回路１３で補正したエリア値を１フレームの間記憶する補正後エリア値記憶部５１を備えている。このエリア値補正回路１３は、請求項に記載した「画像特徴量補正部」に該当する。

階調補正装置１００は、補正後エリア値記憶部５１が記憶するエリア値に基づいて各エリアを中心とした局所領域におけるヒストグラムを算出する局所的ヒストグラム算出回路１４と、局所的ヒストグラム算出回路１４で算出された各ヒストグラムに対してクリップ処理や平滑化などの整形処理を行うヒストグラム整形回路１５と、整形後のヒストグラムからエリア毎の階調変換カーブを生成する階調変換カーブ生成回路１６とを備えている。ここで、局所的ヒストグラム算出回路１４から階調変換カーブ生成回路１６は、請求項に記載した「階調変換カーブ生成部」に該当する。

階調補正装置１００は、階調変換カーブを使って前処理後の映像信号値Ｌを変換する階調変換回路１７と、階調変換回路１７で得られた階調変換後の映像信号値Ｌ′と前処理後の映像信号値Ｌとの比を計算する比率計算回路１８と、計算された比率をＹＣ分離回路７で生成された輝度信号および色信号に乗算する回路１９，２０とを備えている。この部分が請求項に記載した「階調変換部」に該当する。

以上のように構成された撮像装置における階調補正の動作、すなわち、エリア分割回路１０から、比率計算回路１８を経て求めた変換比率を輝度信号および色信号に乗算するまでの動作について露光制御動作と併せて説明する。

図２は、露光制御動作と本発明の階調補正動作のタイミングを示す図である。図２のＶ同期信号は１フレームの区間を示す同期信号であり、Ｖ同期信号がＬＯＷのときが映像有効区間、Ｖ同期信号がＨＩＧＨのときが映像ブランキング区間である。Ｖ同期信号がＬＯＷからＨＩＧＨに変化した時点で映像１フレーム分が終了し、ＨＩＧＨから再びＬＯＷに変化した時点で次のフレームの映像が始まる。このような映像フレームに対し、露光制御のための演算は映像ブランキング区間に行われるのが一般的であり、その演算結果により次の露光が制御される。

図２では、フレームＮ直前の映像ブランキング区間ｂ１に露光制御Ａの演算が実行され、フレームＮにおいて、撮像素子３は、露光制御Ａの結果が適用された露光時間分だけ露光して撮像素子に電荷を貯める。そして、フレームＮ＋１において露光制御Ａの結果で撮像素子に露光した電荷が撮像素子３より出力される。この出力が映像信号Ａとなる。つまり、露光制御演算から数えて２フレーム後の映像有効区間になったとき、露光制御演算の結果が反映された映像信号が撮像素子から出力され、その映像信号がフレームの遅延なく階調補正装置１００まで到達する。図２では露光制御に関するＡＧＣ回路を省略しているが、映像のタイミングとしては同じである。

次に、階調補正装置１００のタイミングについて説明する。エリア値は、階調補正装置１００に入力される映像に基づいて算出されるので、撮像素子３から映像Ａが出力されているフレームＮ＋１では、エリア値算出は映像Ａのエリア値を算出し、映像Ａに対するエリア値を求め終わるのは映像有効区間が終了したときである。映像Ａから求めたエリア値を階調補正に使用できるのは、次のフレームＮ＋２である。

従来の階調補正方法では、映像Ａのエリア値から階調変換ゲインを求めて階調補正を行っており、撮像素子３からの出力である映像Ｂに対して映像Ａに基づく階調変換カーブを適用していたために、補正適用ズレが生じていた。

本実施の形態の階調補正装置１００は、映像Ａから求めたエリア値をそのまま映像Ｂに使用することはしない。撮像素子から映像Ａが出力される直前の映像ブランキング区間ｂ２において、次の映像Ｂに対して行われる露光制御Ｂの露光制御量が既に求まっていることを利用し、映像ブランキング区間ｂ２に、露光制御Ａの露光制御量と露光制御Ｂの露光制御量との変化量を求める。この変化量を用いて、映像Ａから求めたエリア値Ａを補正し、映像Ｂで求まるであろうエリア値を予測する。このエリア値をエリア値Ｂ´とする。映像Ｂに対しては、エリア値Ａではなくエリア値Ｂ´に基づく階調変換カーブを適用することにより、補正適用ズレの影響を低減している。

続いて、図１を参照して、階調補正動作について説明する。露光制御回路３０は、現フレームの画像の明るさに基づいて、明るさがあらかじめ定められた目標値に近づくように絞り部２とＡＧＣ回路４を調整する。撮像素子３による撮像は、このように露光を調整された結果得られた映像信号であり、この映像信号はＡＧＣ回路４から前処理回路６を介してＹＣ分離回路６および階調補正装置１００に入力される。

次に、階調補正装置１００の動作について説明する。エリア分割回路１０は、入力された画像を複数のエリアに分割する。分割された１エリア内には少なくとも１個の画素が属している。

図３は、エリア分割の例であり、画像の大きさを水平６４０画素、垂直４８０画素としたときに、画像を水平８０個、垂直６０個の計４８００個のエリアに分割した一例を示している。このとき、１エリア中には、水平８個、垂直８個の計６４個の画素が含まれる。

続いて、エリア値算出回路１１は、エリア分割回路１０にて分割されたエリアごとに、そのエリアに属する画素値の平均値を算出し、算出した平均値をエリア値とする。以下の処理では、このエリア値を用いる。以上のエリア化により、画素単位の画素値を利用した計算を行わなくてもよいので、計算処理の負荷を軽減できる。

次に、エリア値算出回路１１で算出したエリア値に対し、露光変化量算出回路１２の結果を使用して、エリア値補正回路１３でエリア値を補正する。具体的には、露光変化量算出回路１２は、露光制御回路３０で算出された露光制御量についてフレーム間の変化量を算出する。ここで、露光制御回路３０で算出する露光制御量について図２のタイミングチャートを使いながら説明する。露光制御回路３０では、現フレームの画像の明るさと、あらかじめ定められた明るさの目標値との差分を元に、次のフレームの露光を制御する。例えば、明るさの目標値を１２８とし、フレームＮ＋１における映像Ａの明るさが９０だったとき、露光制御で露光制御Ｃでは露光制御量を露光制御Ａに対して１２８／９０倍する。すなわち、露光制御回路３０は、２フレーム前の明るさを用いて、露光量を決定する。露光制御Ｃで算出した露光制御量に基づいて露光を行い、フレームＮ＋３で出力される映像Ｃの明るさは目標値に近づくことになる。

ここで、本発明のエリア値補正で行いたいのは、映像Ｂから求めたエリア値Ｂに対して、露光制御量Ｂから露光制御量Ｃへの変化量を使って補正を行い、あたかも映像Ｃから求めたエリア値（エリア値Ｃ´）になるようにすることである。これに対し、前述したように露光制御回路３０における露光制御方法ではフレームＡの明るさに基づいて露光制御量Ｃを求めるので、露光制御量Ｂと露光制御量Ｃの変化量を求めるために、一旦は各露光制御の絶対的な値を求める必要がある。絶対的な露光制御量を求めるためには、ある時点での露光制御量を基準にすればよい。基準としては、例えば露光制御開始時点でよい。露光制御３０で算出した絶対的な露光制御量を、階調補正装置１００の露光制御量記憶部５０および露光変化量算出回路１２で使用する。

露光制御量記憶部５０は、露光制御回路３０から出力された露光制御量を１フレームの間記憶しておく。露光変化量算出回路１２は、露光制御回路３０からの露光制御量と露光制御記憶部５０に記憶された露光制御量とを用いて、１フレーム分ずれた２つの露光制御量の変化量を算出する。図２のタイミングチャートを使って説明すると、いまフレームＮ＋１とフレームＮ＋２の間の映像ブランキング区間ｂ３であるとすると、露光制御回路３０から求まったばかりの露光制御量Ｃが出力され、露光制御量記憶部５０からは1フレーム前の露光制御量である露光制御量Ｂが読み出される。露光変化量算出回路１２は、入力される２つの露光制御量Ｂ、Ｃの変化量を求める。ここで、変化量は２つの露光制御量の比とする。

次に、エリア値補正回路１３は、露光変化量算出回路１２で求めた変化量（比）を使って、エリア値算出回路１１で求めたエリア値を補正する。補正方法は、単純に各エリアに求まっているエリア値に対し変化量（比）を乗ずる。ただし、エリア値の上下限を超える場合にはクリップ処理をして、上下限に合わせる。

図４はエリア分割を水平８、垂直６とし、エリア値の上限を２５５、下限を０としたときに、エリア値を補正した一例を示す図である。補正後のエリア値は、補正後エリア値記憶部５１に記憶するが、その際に必要に応じて階調削減を行う。本実施の形態では、エリア値を５ｂｉｔ（３２階調）に削減する。これにより、補正後のエリア値を補正後エリア値記憶部５１に記憶するにあたりメモリ容量を削減することができる。

ここまでの処理によって、階調削減された各エリアのエリア値が、階調補正装置１００の補正後エリア値記憶部５１に記憶される。階調補正装置１００は、各エリアのエリア値を用いて、各エリアに対応する階調変換カーブを求める。階調変換カーブを求める処理は、局所的ヒストグラム算出回路１４、ヒストグラム整形回路１５、階調変換カーブ生成回路１６によって行われる。局所的ヒストグラム算出回路１４は、補正後エリア値記憶部５１に記憶されたエリア値を使って、各エリアを中心とした局所領域におけるヒストグラムを算出する。

図５は、局所的ヒストグラムの算出について説明するための図である。局所的ヒストグラム算出回路１４は、注目エリアを中心にした所定範囲内にあるエリアを対象に、注目エリアからの距離に応じて重み付けを行った上で、所定範囲内にあるエリアのエリア値からヒストグラムを算出する。

図５に示す例では、注目エリアＥＣを中心に水平距離Ｄ１、垂直距離Ｄ１の範囲Ｅ１内にある各エリアのエリア値に対しては、局所的ヒストグラムにエリア値の要素数をカウントするときに、要素数をＷ１倍して加算する。同様に、注目エリアＥＣを中心に水平距離Ｄ２、垂直距離Ｄ２の範囲にあり、かつ範囲Ｅ１に含まれない範囲Ｅ２内にある各エリアに対しては、局所的ヒストグラムにエリア値の要素数をカウントするときに、要素数をＷ２倍して加算する。注目エリアＥＣを中心に水平距離Ｄ３、垂直距離Ｄ３の範囲にあり、かつ範囲Ｅ１および範囲Ｅ２に含まれない範囲Ｅ３内にある各エリアに対しては、局所的ヒストグラムにエリア値の要素値をカウントするときに、要素数をＷ３倍して加算する。注目エリアＥＣを中心に水平距離Ｄ４、垂直距離Ｄ４の範囲にあり、かつ範囲Ｅ１から範囲Ｅ３に含まれない範囲Ｅ４内にある各エリアに対しては、局所的ヒストグラムにエリア値の要素数をカウントするときに、要素数をＷ４倍して加算する。注目エリアＥＣを中心として範囲Ｅ４以内に含まれない画面上のエリアは、この注目エリアで算出する局所的ヒストグラムには関与しない。ここで、重み係数Ｗ１〜Ｗ４は、重み係数Ｗ１が一番大きく重み係数Ｗ４に向かって順次係数を小さくし、距離Ｄ１〜Ｄ４は、距離Ｄ１が一番小さく、距離Ｄ４に向かった順次距離を大きくする。これにより、注目エリアＥＣから距離的に遠くなるほど注目エリアＥＣにおける局所的ヒストグラムに与える影響を小さくすることができる。重み係数Ｗ１〜Ｗ４と水平距離および垂直距離Ｄ１〜Ｄ４は、経験上Ｗ１＝１６、Ｗ２＝４、Ｗ３＝２、Ｗ４＝１、Ｄ１＝１２、Ｄ２＝２５、Ｄ３＝４０、Ｄ４＝６０程度の値としてもよい。

図６は、注目エリアが画像の端部付近にある場合を示している。図６に示すように、注目エリアが画像の端部付近にある場合には、当該エリアを中心とする所定範囲（エリア参照範囲）が画像の外にはみ出してしまう場合がある。この場合、画面外にはみ出した範囲に関しては、値が存在しないものとして扱ってもよいし、端部処理として別処理を行ってもよい。例えば、画面の一番外枠のエリアが画面外に無限に広がっていると考えて局所的ヒストグラムの範囲をケアする方法や、画面の一番外枠のエリアを対称に画面の外側は内側を折り返していると考えて局所的ヒストグラムの範囲をケアする方法が考えられる。

次に、ヒストグラム整形回路１５は、局所的ヒストグラム算出回路１４にて算出された局所的ヒストグラムに対して処理を行う。ヒストグラム整形回路１５は、（１）要素数の上下階調への分配処理、（２）要素数のＭＡＸクリップ、（３）要素数のＭＩＮクリップの３つの処理を行う。

図７（ａ）〜図７（ｅ）は、ヒストグラムの要素数を上下階調へ分配する処理を説明するための図である。分配処理では、ヒストグラム全３２階調において、各階調の要素数を上下の階調に分配することにより、ヒストグラムの平滑化を行う。本実施の形態では、エリアに含まれる８×８画素の画素値を一つのエリア値によって処理しているために、実際の画像に含まれていた様々な値の画素値が丸められてしまっている。分配処理は、エリア値を用いることによって、丸められた分を元に戻すという考えに基づく処理である。

要素数の分配処理は、注目階調の要素数に対し、注目階調から見て上下１階調離れた階調へは重み係数Ｖ１を乗じた値を加算し、上下２階調離れた階調へは重み係数Ｖ２を乗じた値を加算し、上下３階調離れた階調へは重み係数Ｖ３を乗じた値を加算するというように、注目階調との階調差に応じて重み係数を設定し、注目階調の要素数を上下階調へ分配する。

図７（ａ）は、分配処理前のヒストグラムの例を示す図である。図７（ｂ）は、図７（ａ）に示すヒストグラムに対して、Ｖ１＝０．７５、Ｖ２＝０．５０、Ｖ３＝０．２５という重み係数を設定し、かつ、存在しない階調への分配分を破棄する処理を行った結果を示す図である。なお、重み係数Ｖ１、Ｖ２、Ｖ３は経験上Ｖ１≧Ｖ２≧Ｖ３とするのが望ましい。

図７（ｃ）〜図７（ｅ）は、図７（ａ）に示すヒストグラムから、分配処理により図７（ｂ）にヒストグラムを求める途中経過を示す図である。図７（ｃ）は、図７（ａ）に示すヒストグラムの階調０における値１００を上下の階調に分配する例を示す図である。図７（ｃ）に示すように階調１に対しては、１００×Ｖ１（０．７５）＝７５という値が加算され、階調２に対しては、１００×Ｖ２（０．５）＝５０という値が加算され、階調３に対しては、１００×Ｖ３（０．２５）＝２５という値が加算される。なお、階調０は最も低い階調であるので、階調０より低い階調は存在しない。この場合、階調外への分配分は消失する。

図７（ｄ）は、図７（ｃ）と同様に、図７（ａ）に示すヒストグラムの階調１における値２００を上下の階層に分配する例を示し、図７（ｅ）は、階調２における値１５０を上下の階層に分配する例を示す。図７（ｃ）、図７（ｄ）、図７（ｅ）に示す分配値の総和をとることによって、図７（ｂ）に示す結果が得られる。図７（ｂ）に見られるように、分配処理によって、ヒストグラムは平滑化される。

図８（ａ）および図８（ｂ）は、要素数のクリップを説明するための図である。図８（ａ）はクリップ処理前のヒストグラムを示し、図８（ｂ）はクリップ処理後のヒストグラムを示す。図８（ａ）および図８（ｂ）を参照して、ヒストグラム整形回路１５が行う要素数のクリップについて説明する。ヒストグラム整形回路１５は、各階調について独立に、要素数のＭＡＸクリップ値およびＭＩＮクリップ値を設定し、要素数のクリップ処理を行う。すなわち、ヒストグラム整形回路１５は、各階調についてＭＡＸクリップ値を超える要素数はＭＡＸクリップ値まで減算し、ＭＩＮクリップ値に満たない要素数はＭＩＮクリップ値まで加算する。

次に、階調変換カーブ生成回路１６は、ヒストグラム整形回路１５にて整形されたヒストグラムから、階調変換カーブを生成する。

図９（ａ）〜図９（ｃ）は、階調変換カーブの生成について説明するための図である。図９（ａ）は、ヒストグラム整形回路１５にて整形されたヒストグラムを示す図である。階調変換カーブ生成回路１６は、図９（ａ）に示すヒストグラムを下位階調から累積して、図９（ｂ）に示す累積ヒストグラムを作成する。次に、階調変換カーブ生成回路１６は、累積ヒストグラムの最上位階調の要素数が映像信号値の階調数になるように正規化して、図９（ｃ）に示す階調変換カーブを生成する。

図９（ａ）〜図９（ｃ）に示す例では、映像信号値の階調数を２５６階調として正規化を行い、正規化された累積ヒストグラムから階調変換カーブを生成している。階調変換カーブは０を原点とし、原点以外を等間隔の３２点の制御点で結んだ折れ線カーブとなる。ここまでの処理により、各エリアに対応する階調変換カーブが生成される。この階調変換カーブを用いて、エリア内の画素を階調変換することにより、階調補正することができる。

図１０は、階調変換カーブを使って値を階調変換する例を示している。横軸の変換前の値は、縦軸の変換後の値に変換される。

次に、比率計算回路１８は、前処理回路６から出力された映像信号値Ｌと、階調変換回路１７で求められた階調変換後の映像信号値Ｌ´に基づいて、（階調変換後の映像信号値Ｌ´）／（前処理後の映像信号値Ｌ）を計算して変換比率を求める。階調補正装置１００は、比率計算回路１８で求めた変換比率を、ＹＣ分離回路７で生成した輝度信号（Ｙ信号）および色差信号（Ｃ信号）に乗算する。以上、本実施の形態の階調補正装置１００の構成および動作について説明した。

本実施の形態の撮像装置は、現在のフレームから求めたエリア値を露光制御量の変化量を使って次のフレームのエリア値に相当する値に補正し、補正後のエリア値に基づいて階調変換カーブを求めているので、フレームメモリを要することなく補正適用ズレを無くした階調補正をすることができる。

本実施の形態の撮像装置は、露光制御回路３０を有しているので、フレーム間の露光制御量の変化量を正確に求めることができる。これによってエリア値の補正を精度良く行うことができ、補正適用ズレへの対策を効果的に実現できる。

本実施の形態の撮像装置は、処理負荷の大きいヒストグラムの算出をエリア単位で行っているので、処理に必要な記憶容量と処理負荷を大幅に削減した局所的ヒストグラム均等化による階調補正を実現できる。

本実施の形態の撮像装置は、エリアに対応した階調変換カーブを求める際に、局所的ヒストグラムの算出にあたり該当エリアを含む所定範囲内のエリア値に対し該当エリアからの距離に基づいて段階的に重みを調整しているのでエリアによって急激なヒストグラムの変動が生じない。従って、階調変換カーブもエリアによって滑らかに変化しており、階調補正後に違和感のない結果が得られる。

本実施の形態の撮像装置では、ヒストグラム整形回路１５によってヒストグラムの分配処理を行っているので、エリア内の複数の画素をエリア値によって処理することに起因する階調潰れを低減することができる。

（第２の実施の形態）
図１１は、本発明の第２の実施の形態の階調補正装置１０１を備えた撮像装置の構成を示すブロック図である。第２の実施の形態の階調補正装置１０１の基本的な構成は第１の実施の形態の階調補正装置１００と同じであるが、露光制御回路３０を有しない点、露光変化量算出回路１２の位置が異なる点、および、補正前エリア値記憶部５２が追加された点で相違する。以下、第１の実施の形態との相違部分、すなわちエリア値算出回路１１の出力から補正後エリア値記憶部５１に至るまでについて説明する。

第２の実施の形態では露光制御回路が存在しないため、正確な露光制御量は不明である。露光変化量算出回路１２は、過去のエリア値の推移から露光変化量を推測し、その推測された露光変化量をもとにエリア値補正回路１３でエリア値を補正する。補正後のエリア値を補正後エリア値記憶部５１に出力する形態は、第１の実施の形態と同じである。

エリア値算出回路１１から出力される信号は、露光変化量算出回路１２と補正前エリア値記憶部５２に入力される。補正前エリア値記憶部５２では、入力されたエリア値を１フレーム期間保持し、露光変化量算出回路１２に出力する。露光変化量算出回路１２には、現在のフレームにおけるエリア値と１フレーム前のエリア値の２つが入力される。

露光変化量算出回路１２におけるタイミングについて、図２を参照しながら説明する。いま、フレームＮ＋２に注目したとき、露光変化量算出回路１２にはエリア値算出回路１１から映像Ｂに対応するエリア値Ｂが入力され、補正前エリア値記憶部５２からは映像Ａに対応するエリア値Ａが入力される。露光変化量算出回路１２において求めるべきは、エリア値Ｂをエリア値Ｃ相当に補正するための露光変化量である。しかし、第１の実施の形態と異なり、本実施の形態ではこの時点において映像Ｃに関する情報は一切入力されない。したがって、第１の実施の形態とは異なる方法で露光変化量を推定する必要がある。

露光制御の一般的な方法は、第１の実施の形態に記したように、現時点の画像の明るさをあらかじめ定めた目標の明るさになるように、絞り部２やＡＧＣ回路４を調整して露光量を制御する。しかし、被写体の明るさが変化したとき、露光量が毎フレーム急峻に変化すると画面がちらついて見える。そのため、一般的な露光制御方法では前フレームからの露光制御量の変化量に制限をつけ、急峻に露光量が変化しないようにしている。従って、画像の明るさは目標の明るさに向かって徐々に変化する。本実施の形態では、この制御方法を前提として、露光変化量を算出する。

図１２（ａ）〜図１２（ｅ）は、被写体の明るさの変化と、露光制御量の変化量に制限があるときと無いときについての露光制御量の変化と、画像の明るさの変化を示している。なお、図１２（ａ）〜図１２（ｅ）では説明簡略化のため露光時間にかかるフレームを考えず、被写体の明るさの変化があった次のフレームで露光制御量と画面の明るさが同時に変化する図となっている。

図１２（ａ）は、被写体の明るさの変化を示した図であり、露光制御を行う元となる情報である。図１２（ｂ）は被写体の明るさから画像の明るさを目標値に調整する露光制御量について、フレーム間での露光制御量の変化量について制限がないときの挙動を示した図である。図１２（ｂ）では、被写体の明るさに変化があった次のフレームで瞬時に露光制御量が適切に調整されている。図１２（ｃ）は、図１２（ｂ）の露光制御を行ったときの画像の明るさの推移を示した図であり、被写体の明るさが切り替わった直後のフレーム以外は常に目標の明るさが保たれている。

一方、図１２（ｄ）と図１２（ｅ）は露光制御量の変化量に制限があるときの露光制御量およびそのときの画像の明るさを示した図である。図１２（ｄ）に示すように適切な露光制御量になるまで段階的に変化していくため、図１２（ｅ）での画像の明るさも瞬時に目標値の明るさにはならず、目標値に対して徐々に明るさが変化していくことになる。

図１３は、被写体の明るさが変化したときの時刻の変化と画像の明るさの変化の関係を示した図である。時刻Ｔａ，Ｔｂ，Ｔｃにおける画像の明るさを、明るさＡ、明るさＢ、明るさＣとする。ここで、露光制御量は変化量が制限されているため変化量としては一定時間の間同じとなり、その結果画像の明るさの変化量も同じとなる。つまり、画像は一定の割合で明るく（または暗く）なる。これを利用すると、時刻Ｔａと時刻Ｔｂの情報しか得られない状態で時刻Ｔｃの画像の明るさを推定することが可能である。すわなち、明るさＣは明るさＢに対して明るさＡから明るさＢへの変化量を加算したものになる。式で書くと下記のようになる。
明るさＣ＝明るさＢ＋（明るさＢ−明るさＡ）

なお、ここで述べた時刻Ｔａ，Ｔｂ，Ｔｃは、図２におけるフレームＮ＋１、Ｎ＋２、Ｎ＋３に対応すると考えてよい。

本実施の形態では、画像の明るさをエリア値算出回路１１で求めたエリア値を利用し、露光変化量算出回路１２にて１つ先のフレームの明るさを推定することで露光制御量の変化量を推定する。その結果を用いて、エリア値補正回路１３は、エリア値を補正する。

次に、本実施の形態における露光変化量算出回路１２およびエリア値補正回路１３の動作について説明する。エリア値算出回路１１から入力されるエリア値Ｂ、補正前エリア値記憶部５２から入力されるエリア値Ａを元に、エリア値Ｃ´を推定することを考える。エリア値はエリア毎に求まっているので、エリア値を１画面分平均して、フレーム単位での明るさの変化量を求めてエリア値Ｃ´を推定する方法と、エリア毎にそれぞれ明るさの変化量を求めてエリア値Ｃ´を推定する方法がある。

図１４（ａ）〜図１４（ｅ）は、露光変化量を画面平均値の変化量を求めたときと、エリア別に変化量を求めたときのそれぞれの変化量と補正後のエリア値の例を示す図である。なお、図１４（ａ）〜図１４（ｅ）では、説明の便宜上、エリア分割を水平８、垂直６の例に簡略化し、エリア値の上限を２５５、下限を０としている。図１４（ａ）はフレームＡのエリア値Ａ、図１４（ｂ）はフレームＢのエリア値Ｂを示す。図１４（ｃ）はエリア別のエリア値の変化量を示す図、図１４（ｄ）はエリア別変化量から求めたエリア値Ｃ´を示す図である。図１４（ｅ）は画面平均変化量から求めたエリア値Ｃ´を示す図である。

露光制御がフレーム単位で画面中一律で変化することを考えれば、画面平均値から変化量を求めるのが妥当だが、明るさだけでなく被写体そのものが変化しているときはエリア別で変化量を求めたほうがその影響を最小限に食い止めることができるので、状況によって適宜使い分けるのが望ましい。

以上、第２の実施の形態について、第１の実施の形態と差違があるエリア値算出回路１１の出力から補正後エリア値記憶部５１について説明した。

本実施の形態の撮像装置は、現在および過去のフレームから求めたエリア値を元に露光制御量の変化量を推定することで、現在のフレームのエリア値を次のフレームのエリア値相当に補正し、補正後のエリア値に基づいて階調変換カーブを求めているので、フレームメモリを要することなく補正適用ズレの影響を低減することができる。

以上、本発明の階調補正装置について、階調補正装置を含む撮像装置の実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。

上記した実施の形態では、前処理回路６が行う処理としてＯＢ減算とホワイトバランス調整を挙げたが、この２つの処理を行なわなくてもよいし、この２つ以外の処理を前処理回路で行ってもよい。例えば、シェーディング補正やガンマ補正などが前処理に含まれてもよい。

また、上記した実施の形態では、画面の大きさを水平６４０画素、垂直４８０画素とし、画面分割において水平８０個、垂直６０個の計４８００個のエリアに分割する例について説明したが、画面の大きさおよびエリア分割数は上記の例に限られない。また、エリア値としてエリア中の画素値の平均値を用いるとしたが、平均値の算出方法は特に限定するものではない。例えば、エリア内の全画素の平均値を求めてもよいし、エリア内のいくつかの画素をサンプリングしてその画素の平均値を求めてもよい。経験上、なるべく多くの画素の平均値を求めるほうが結果は安定する傾向にある。また、画素値として用いる値も特に限定するものではない。例えば、各画素における輝度値を算出してその値を使用してもよい。

また、上記した実施の形態では、エリア値を５ｂｉｔ、ヒストグラムを３２階調、階調変換カーブを３２点折れ線カーブなどとしたが、いずれもこれに限られない。例えば、ヒストグラムの階調を１６階調にして階調変換カーブを１６点折れ線カーブで求めることは記憶容量や回路規模の削減に対して有効である。逆に、ヒストグラムを６４階調、階調変換カーブを６４点の折れ線カーブとすればより精度の高い階調変換が可能になる。

また、階調変換カーブは等間隔の折れ線カーブとしているが、等間隔でなくてもよい。例えば、下位側の階調数を増やし、上位側の階調数をまばらに取ることで、下位側だけ折れ線カーブの精度を向上させることも可能である。またヒストグラムの階調についても同様である。

また、上記した実施の形態では、局所的ヒストグラム算出時に参照する範囲を正方形としているが、参照範囲の形は正方形に限らない。例えば、菱形や円形にすることも可能である。

また、上記した実施の形態では、局所的ヒストグラム算出時に４つの参照範囲で段階的に重みを切り替えているが、段階数は４つである必要はない。

また、上記した実施の形態では、ヒストグラムの分配処理において最下位階調または最上位階調を超える存在しない階調への分配要素は破棄したが、必ずしも破棄する必要はない。例えば、最下位階調を超える存在しない階調への分配要素は最下位階調に加算し、最上位階調を超える存在しない階調への分配要素は最上位階調に加算するのも有効な方法である。また、上下３階調ずつに要素数を分配する例を説明したが、階調数はこれに限るものではない。

また、上記した実施の形態では、エリア単位に求めた階調変換カーブによって階調補正を行っているが、複数の階調変換カーブによって得られた階調補正結果を補間した結果を使うのも有効である。例えば、図１５のように階調補正を行う対象である注目画素から距離の近い４つのエリアを注目エリアとし、それぞれのエリアで求められる階調変換カーブを使って階調補正結果を図１６のように線形補間した結果を最終的な階調補正結果とすればエリア境界線がより発生しにくくなるという利点がある。

以上説明したように、本発明は、フレームメモリを要することなく補正適用ズレのない階調補正ができるというすぐれた効果を有し、デジタルスチルカメラやデジタルビデオカメラ等に代表される撮像装置に用いる階調補正装置等に有用である。

１ レンズ
２ 絞り部
３ 撮像素子
４ ＡＧＣ回路
５ Ａ／Ｄ変換器
６ 前処理回路
７ ＹＣ分離回路
８ Ｙ信号処理回路
９ Ｃ信号処理回路
１０ エリア分割回路
１１ エリア値算出回路
１２ 露光変化量算出回路
１３ エリア値補正回路
１４ 局所的ヒストグラム算出回路
１５ ヒストグラム整形回路
１６ 階調変換カーブ生成回路
１７ 階調変換回路
１８ 比率計算回路
１９，２０ 乗算回路
３０ 露光制御回路
５０ 露光制御量記憶部
５１ 補正後エリア値記憶部
５２ 補正前エリア値記憶部
１００，１０１ 階調補正装置

Claims (7)

1. 映像の撮影中にリアルタイムに階調補正を行う階調補正装置であって、
   映像の各フレームの画像特徴量を算出する画像特徴量算出部と、
   補正対象の注目フレームの露光制御量と、前記注目フレームに先行する先行フレームの露光制御量との変化量を算出する露光変化量算出部と、
   前記露光変化量を用いて前記先行フレームの画像特徴量を補正する画像特徴量補正部と、
   前記画像特徴量補正部にて補正された画像特徴量に基づいて、注目フレームの画像を変換するための階調変換カーブを生成する階調変換カーブ生成部と、
   前記階調変換カーブ生成部にて生成された階調変換カーブを用いて、注目フレームの画像を階調変換する階調変換部と、
   を備えた階調補正装置。
2. 前記露光変化量算出部は、露光量を制御する露光制御部から露光制御量の情報を取得し、前記露光変化量として、前記注目フレームの露光制御量と前記先行フレームの露光制御量の比を算出する請求項１に記載の階調補正装置。
3. 前記露光変化量算出部は、前記露光変化量として、前記注目フレームの画素平均値と、前記先行フレームの画素平均値の比を算出する請求項１に記載の階調補正装置。
4. 前記露光変化量算出部は、前記注目フレームをおよび前記先行フレームの画像を複数のエリアに分割し、各エリアを代表する代表値の変化量を算出し、エリア単位で露光変化量を算出し、
   前記画像特徴量補正部は、前記先行フレームの画像特徴量をエリア単位で補正する請求項１に記載の階調補正装置。
5. 前記画像特徴量算出部は、前記フレームの画像を複数のエリアに分割し、各エリアを代表するエリア値を画像特徴量として算出する請求項１〜４のいずれかに記載の階調補正装置。
6. 前記画像特徴量補正部は、前記先行フレームの画像特徴量に前記露光変化量を乗じることにより画像特徴量を補正する請求項１〜５のいずれかに記載の階調補正装置。
7. 撮像素子と、
   前記撮像素子に入射する光量の制御または被写体の明るさに応じて出力を利得制御する露光制御部と、
   前記撮像素子からの入力画像と前記露光制御部での露光制御量とに基づいて、階調補正を行う請求項２に記載の階調補正装置と、
   を備えた撮像装置。