JP2007104107A - 半導体集積装置及びイメージセンサの黒レベル補正方法 - Google Patents

Abstract

【課題】 画像の明るさのばらつきを抑え、かつ黒レベルの基準値を適正な値に短時間で収束させることである。
【解決手段】 条件判定回路３４は、可変利得増幅器２２，２４の利得の変化量が閾値以上のフレームが所定数以上連続しているか否かを判定する。利得の変化量が閾値以上のフレームが所定数以上連続している場合には、現在のフレームの黒レベルの値を新たな黒レベルの基準として設定する。所定数以上連続していない場合には、黒レベルの基準の補正は行わず、旧の黒レベルの基準値を保持する。
【選択図】図２

Description

本発明は、イメージセンサの黒レベル補正回路を有する半導体集積装置及びイメージセンサの黒レベル補正方法に関する。

ＣＭＯＳセンサなどの半導体イメージセンサは、温度変化などによりイメージセンサの出力レベルが変化する。その結果同じ撮像対象を撮像した場合でも、温度変化等により撮像画像が明るくなったり暗くなったりする。そのような問題を解消するために、イメージセンサの一部を遮光し、イメージセンサの遮光していない部分の画素値から遮光している部分の画素値を減算することで温度変化等によるイメージセンサの出力の変動を抑えている。

図１１は、従来のイメージセンサとイメージセンサの画素の黒レベルを補正する回路の構成を示す図である。
イメージセンサ１１は、ｎ×ｎ個の画素で構成され、イメージセンサ１１の一部１１ａの画素が遮光され、その他の部分（以下、撮像部と呼ぶ）１１ｂが撮像用のセンサを構成している。遮光された部分（以下、遮光部と呼ぶ）１１ａの画素は、後述する黒レベル補正回路１３において黒レベルの基準値を算出するために用いられる。

シフトレジスタ１４及び１５は、イメージセンサ１１の行及び列を指定する回路であり、このシフトレジスタ１４及び１５で指定された行及び列の画素値が順次転送されてＡ／Ｄコンバータ１２ａ、１２ｂに出力される。

黒レベル補正回路１３は、イメージセンサ１１の遮光部１１ａから出力される１ライン分の黒レベルの画素値の平均値を黒レベル基準値として求め、撮像部１１ｂから出力される画素値と黒レベル基準値との差を自動利得制御回路（ＡＧＣ）１６と色処理ブロック１７に出力する。

自動利得制御回路１６は、Ａ／Ｄコンバータ１２ａ，１２ｂの前段の図示しない可変利得増幅器の利得を制御する利得制御信号をタイミングジェネレータ（ＴＧ）１８に出力する。

タイミングジェネレータ１８は、図１２に示すように一定期間ハイレベルのタイミング信号Ａを出力して遮光部１１ａから黒レベルの画素値を出力させる。そして一定時間経過後、ハイレベルのタイミング信号Ｂを出力して撮像部１１ｂから１ライン分の画素値の読み出しを行い、一定期間無効データを出力する。黒レベル補正回路１３は、タイミング信号Ｃに同期して補正後の有効画素の値を１ライン分順次出力する。

図１３〜図１５は、イメージセンサ１１で同じ画像を撮像した場合に、遮光部１１ａから出力される黒レベルの画素値をＡ／Ｄ変換した出力コードと、撮像部１１ｂの有効画素値をＡ／Ｄ変換した出力コード（黒レベル補正前）と、黒レベルの補正後の有効画素の出力コードをフレーム毎に示した図である。それぞれの図の縦軸は出力コードの値を示し、横軸はフレーム番号を示す。

図１３は、遮光部１１ａの黒レベルの出力コード（図に菱形で示す点）と、撮像部１１ｂの有効画素の出力コード（図１３に四角で示す点）がフレーム単位でほぼ等しい場合を示している。

この場合、補正前の有効画素の出力コードから黒レベルの出力コードを減算して得られる、補正後の有効画素の出力コード（図１３に三角で示す点）は、フレーム間の差がほとんど無いのでフレーム間の明るさのちらつきはほとんど無い。

図１４は、遮光部１１ａの出力コードの変化と、撮像部１１ｂの出力コードの変化がフレーム単位でばらつく場合の黒レベルと有効画素の出力コードを示している。
この場合、補正前の有効画素の出力コードから黒レベルの出力コードを減算して得られる、補正後の有効画素の出力コードはフレーム単位でのばらつきが大きく、撮影した画像のフレーム間の明るさのばらつきも大きくなる。

図１５は、イメージセンサ１１の出力を増幅する可変利得増幅器の利得を制御した場合の例を示している。
この場合、補正前の有効画素の出力コードから黒レベルの出力コードを減算して得られる出力コード（黒レベル補正後の有効画素）のフレーム単位でのばらつきが大きく、フレーム間の画像の明るさのばらつきも大きくなる。

黒レベルの基準値の算出方法として、例えば、特許文献１には、黒レベルの急激な変化を防止するために、現在の１ラインの黒レベルの平均値または１フレームの黒レベルの平均値と、前回の黒レベル基準データから黒レベル基準データを更新することが記載されている。

また、特許文献２には、ＣＭＯＳ撮像素子を用いた撮像装置において、一定時間間隔で暗電流を検出して映像信号を補正することで暗電流の経時的変化の影響を取り除くことが記載されている。
特開２００２−２８１３４３号公報 特開２００４−７０６８号公報

ところで、イメージセンサで検出される画素の値を可変利得増幅器で増幅するようにした場合、利得が変化すると可変利得増幅器で増幅される黒レベルの値も変化し、黒レベルの基準値も自動的に更新されることになる。
しかしながら、過去の複数フレームの明るさの平均値から黒レベルの基準値を算出するようにした場合には、可変利得増幅器から出力される黒レベルの値が変化しても黒レベルの基準値は徐々にしか変化しない。そのため黒レベルの基準値が適正な値に収束するまでに時間がかかるという問題が生じる。

本発明の課題は、画像の明るさのばらつきを抑え、かつ黒レベルの基準値を適正な値に短時間で収束させることである。

図１は本発明の原理説明図である。本発明の半導体集積装置は、イメージセンサで検出される画素の値を増幅する可変利得増幅器１と、前記可変利得増幅器１の利得の変化量が所定値以上の期間が所定期間以上連続するか否かを判定し、利得の変化量が所定値以上の期間が所定期間以上連続するときには、前記可変利得増幅器１から出力される前記イメージセンサの黒レベルの値を新たな黒レベルの基準値とし、該黒レベルの基準値に基づいて前記イメージセンサの有効画素の黒レベルの補正を行い、利得の変化量が所定値以上の期間が所定期間以上連続しないときには、前記黒レベルの基準値の更新を行わず、旧の黒レベルの基準値に基づいて前記有効画素の黒レベルの補正を行う黒レベル補正回路２と、前記黒レベル補正回路２により黒レベルが補正された有効画素の値に基づいて前記可変利得増幅器１の利得を制御する自動利得制御回路３とを備える。

この発明によれば、イメージセンサの画像の明るさのばらつきを抑制し、かつ黒レベルの基準値を適正な値に短時間で収束させることができる。
本発明の他の半導体集積装置は、イメージセンサで検出される画素の値を増幅する可変利得増幅器と、前記可変利得増幅器の利得の変化量が所定値以上の期間が所定期間以上連続するか否かを判定し、利得の変化量が所定値以上の期間が所定期間以上連続するときには、前記可変利得増幅器から出力される前記イメージセンサの黒レベルの値を新たな黒レベルの基準値とし、前記黒レベルの基準値に基づいて前記イメージセンサの有効画素の黒レベルの補正を行い、利得の変化量が所定値未満のときには、現在の黒レベルの値と黒レベルの基準値とに基づいて算出した値を新たな黒レベルの基準値とし、該黒レベルの基準値に基づいて前記有効画素の黒レベルの補正を行う黒レベル補正回路と、前記黒レベル補正回路により黒レベルが補正された有効画素の値に基づいて前記可変利得増幅器の利得を制御する自動利得制御回路とを備える。

この発明によれば、イメージセンサの画像の明るさのばらつきを抑制し、かつ黒レベルの基準値を適正な値に短時間で収束させることができる。
本発明の半導体集積装置において、前記黒レベル補正回路は、利得の変化量が所定値以上のフレームが所定数以上連続しているときには、前記可変利得増幅器から出力される黒レベルの値を新たな黒レベルの基準値とし、利得の変化量が所定値未満のときには、前記可変利得増幅器から出力される黒レベルの値と前記黒レベルの基準値とに基づいて算出した値を新たな黒レベルの基準値とし、利得の変化量が所定値以上のフレームが所定数以上連続していないときには、黒レベルの基準値の更新を行わず、旧の黒レベルの基準値を保持する。

このように構成することで利得の変化が所定フレーム数以上連続しないときには、黒レベルの基準値が更新されないのでフレーム単位での画像の明るさの変動を抑制できる。
本発明の半導体集積装置において、前記黒レベル補正回路は、前記イメージセンサで検出された複数のフレームの画像に対する前記可変利得増幅器の利得を記憶する利得記憶回路と、前記利得記憶回路に記憶されている特定のフレームの利得に対する他のフレームの利得の変化量を算出して利得の変化量が所定値以上のフレームが所定数以上連続しているか否かを判定する判定回路と、前記判定回路により利得の変化量が所定値以上のフレームが所定数以上連続していると判定されたときには、前記可変利得増幅器から出力される黒レベルの値を新たな黒レベルの基準値として選択し、前記判定回路により利得の変化量が所定値以上のフレームが所定数以上連続していないと判定されときには、黒レベルの基準値の更新を行わず、旧の黒レベルの基準値を選択する選択回路を有する。

このように構成することで利得の変化量が所定値以上のフレームが所定数以上連続している場合に、現在のフレームの黒レベルの値を黒レベルの基準値として設定することで、黒レベルの基準値を目的とする値に短時間で収束させることができる。さらに、利得の変化が所定期間連続していないときには、黒レベルの基準値の更新を行わないことで、撮影対象の明るさの瞬時的な変化により黒レベルの基準値が更新され、その結果画像の明るさがフレーム単位でばらつくのを抑制できる。

本発明の半導体集積装置において、前記黒レベル補正回路は、前記イメージセンサで検出された複数のフレームの画像に対する前記可変利得増幅器の利得を記憶する利得記憶回路と、前記利得記憶回路に記憶されている特定のフレームの利得に対する他のフレームの利得の変化量を算出して利得の変化量が所定値以上のフレームが所定数以上連続しているか否かを判定する判定回路と、前記判定回路により利得の変化量が所定値以上のフレームが所定数以上連続していると判定されたときには、前記可変利得増幅器から出力される黒レベルの値を新たな黒レベルの基準値として選択し、前記判定回路により利得の変化量が所定値以上のフレームが存在しないと判定されたときには、前記可変利得増幅器から出力される黒レベルの値と黒レベルの基準値とから算出される値を新たな黒レベルの基準値として選択し、前記判定回路により利得の変化量が所定値以上で、かつ変化量が所定値以上のフレームが所定数以上連続していないと判定されたときには、黒レベルの基準値の更新を行わず、旧の黒レベルの基準値を選択する選択回路とを有する。

このように構成することで、利得の変化が所定のフレーム数以上連続している場合には、黒レベルの基準値を現在の黒レベルの値に基づいて算出することで黒レベルの基準値を短時間で適正な値に収束させることができる。また、利得の変化が無いときには、現在の黒レベルの値と黒レベルの基準値とから新たな黒レベルの基準値を算出することで、黒レベルの基準値が急激に変化するのを抑制できる。

本発明の半導体集積装置において、前記黒レベル補正回路は、少なくとも現フレームの前記可変利得増幅器の利得を記憶する第１の利得記憶回路と、１フレーム前の利得を記憶する第２の利得記憶回路と、２フレーム前の利得を記憶する第３の利得記憶回路と、３フレーム前の利得を記憶する第４の利得記憶回路を有し、前記第１から第４の利得記憶回路に記憶されている特定のフレームの利得に対する利得の変化量を算出し、利得の変化量が所定値以上のフレームが所定数以上連続しているか否かを判定する判定回路を有する。

このように構成することで利得の変化が所定値以上のフレームが、例えば、３フレーム以上連続した場合には、黒レベルの基準値を現在の黒レベルの値に補正することで黒レベルの基準値を適正値に短時間で収束させることができる。また、３フレーム未満のときは黒レベルの更新を行わないことで画像の明るさのばらつきを抑制できる。

本発明の半導体集積装置において、前記可変利得増幅器は、前記イメージセンサの遮光した画素から出力される黒レベルの値を増幅する第１の可変利得増幅器と、前記イメージセンサの有効画素の値を増幅する第２の可変利得増幅器を有し、前記判定回路は、少なくとも現在のフレーム、１フレーム前、２フレーム前及び３フレーム前の前記第１及び第２の可変利得増幅器の利得を記憶する利得記憶回路と、前記利得記憶回路の特定のフレームの利得に対する他のフレームの利得の変化量を算出し、利得の変化量が所定値以上のフレームが所定数以上連続しているか否かを判定する判定回路とを有する。

このように構成することで、利得の変化量が３フレーム以上連続して所定値以上となったとき、現在の黒レベルの値を黒レベル基準値として設定できる。これにより黒レベルの基準値を適正値に短時間で収束させることができる。

本発明の他の半導体集積装置は、イメージセンサで検出される画素の値を増幅する可変利得増幅器と、前記イメージセンサで検出された複数のフレームの黒レベルの値の変化量を算出し、黒レベルの値の変化量が所定値以上の期間が所定期間以上連続しているか否かを判定し、黒レベルの値の変化量が所定値以上の期間が所定期間以上連続しているときには、前記可変利得増幅器から出力される黒レベルの値を新たな黒レベルの基準値とし、該黒レベルの基準値に基づいて前記イメージセンサの有効画素の黒レベルを補正し、黒レベルの値の変化量が所定値以上の期間が所定期間以上連続していないときには、黒レベルの基準値の変更を行わず、旧の黒レベルの基準値に基づいて前記有効画素の黒レベルを補正する黒レベル補正回路と、前記黒レベル補正回路から出力される黒レベルが補正された前記有効画素の値に基づいて前記可変利得増幅器の利得を制御する自動利得制御回路とを備える。

この発明によれば、イメージセンサで検出される画像の明るさのばらつきを抑え、かつ適正な黒レベルの基準値に短時間で収束させることができる。

本発明によれば、イメージセンサで検出される画像の明るさのばらつきを抑え、かつ適正な黒レベルの基準値に短時間で収束させることができる。

以下、図面を参照しながら本発明の実施の形態を説明する。図２は、本発明の第１の実施の形態の黒レベル補正回路を含む半導体集積装置（半導体集積回路）２１の回路ブロック図である。

イメージセンサ１１（図１１参照）の遮光部１１ａから出力される黒レベルの画素値は可変利得増幅器２２で増幅され、Ａ／Ｄコンバータ２３でデジタルの画素データに変換される。また、イメージセンサ１１の撮像部１１ｂから出力される有効画素の画素値は可変増幅器２４で増幅され、Ａ／Ｄコンバータ２５でデジタルの有効画素データに変換される。

レジスタ群２９は、判定フレーム数（所定期間に対応する）を記憶するレジスタ３０と、現在のフレームの黒レベルの平均値に乗算する値Ｎを記憶するレジスタ３１と、過去のフレームの加重平均値に乗算する値Ｍを記憶するレジスタ３２と、後述する条件判定回路３４における判定の閾値（利得の変化量の判定の基準となる所定値）を記憶するレジスタ３３とからなる。

レジスタ３０に記憶される判定フレーム数とは、可変利得増幅器２２及び２４の利得の変化がレジスタ３３に記憶されている閾値以上のフレームが所定数以上連続したか否かを判定する際の基準となるフレーム数である。

レジスタ３１に記憶される値Ｎは、現在のフレームの黒レベルの値の重み付けを行うための値であり、第１の実施の形態ではＮ＝１に設定している。レジスタ３２に記憶される値Ｍは、過去のフレームの加重平均値の重み付けを行うための値である。第１の実施の形態では、黒基準データに乗算する値をＭ＝８に設定している。

レジスタ３３に記憶される閾値は、可変利得増幅器２２及び２４の利得の変化量の判定の基準となる値である。
黒レベル補正回路２６は、黒レベル基準計算回路２７と減算器２８とからなる。黒レベル基準計算回路２７は、さらに条件判定回路３４と黒基準データ算出回路３５とからなる。

条件判定回路３４は、レジスタ３０に記憶されている判定フレーム数分の過去の可変利得増幅器２２及び２４の利得を保持し、特定のフレームの利得に対する他のフレームの利得の変化量が予め設定されている閾値以上か否かにより何れの条件に該当するかを判定し、判定結果を黒基準データ算出回路３５に出力する。

黒基準データ算出回路３５は、後述する黒レベルの値の１ライン分の平均値を算出する平均算出回路と、黒レベルの平均値と黒基準データ（黒レベルの基準値）との加重平均を算出する加重平均算出回路と、条件判定回路３４の判定結果に従って黒基準データを選択する選択回路とからなる。

減算器２８は、Ａ／Ｄコンバータ２５から出力される有効画素の値から、黒レベル基準計算回路２７から出力される黒基準データを減算し、減算結果のデータを自動利得制御回路３６に出力する。

自動利得制御回路３６は、黒レベル補正回路２６から出力される黒レベルを補正した後の有効画素の輝度の平均値を算出する輝度平均値算出部３７と、輝度の平均値に応じた利得（ゲイン）を算出するゲイン計算部３８とからなる。自動利得制御回路３６は、算出した利得を可変利得増幅器２２，２４に出力して可変利得増幅器の利得を可変制御すると共に、算出した利得を黒レベル補正回路２６に出力する。

次に、図３は、条件判定回路３４の回路図である。条件判定回路３４は、自動利得制御回路３６から出力される現在のフレームの利得（これをゲインａと呼ぶ）を保持するラッチ回路４１と、１フレーム前の利得（これをゲンイｂと呼ぶ）を保持するラッチ回路４２と、２フレーム前の利得（これをゲインｃと呼ぶ）を保持するラッチ回路４３と、３フレーム前の利得（これをゲインｄと呼ぶ）を保持するラッチ回路４４と、各ラッチ回路にラッチされた利得から利得の変化量を算出して、黒基準データを選択するための選択信号を黒基準データ算出回路３５に出力する。

条件判定部４５は、可変利得増幅器２２及び２４の現在の利得と３フレーム過去の利得との差分を算出し、１フレーム過去の利得と３フレーム過去の利得の差分を算出し、さらに２フレーム過去の利得と３フレーム過去の利得の差分を算出する。そして、算出した利得の変化量が閾値以上のフレームが所定数以上連続しているか否かにより瞬時的な利得の変化か、それとも定常的な利得の変化の何れであるかを判定する。３フレーム以上連続して利得の変化量が閾値以上のときには。現在のフレームの黒レベルデータの平均値を新たな黒基準データとして設定するように指示する選択信号を出力する。

例えば、条件判定回路３４が利得の変化量の判定を行うときの判定フレーム数が「２」の場合には、現在の利得（ゲインａ）から２フレーム過去の利得（ゲインｃ）を減算した利得の変化量（ゲインａ−ゲインｃの絶対値）が閾値以上で、かつ１フレーム過去の利得（ゲインｂ）から２フレーム過去の利得（ゲインｃ）を減算した利得の変化量（ゲンイｂ−ゲインｃの絶対値）が閾値以上のときには、現在のフレームの黒レベルデータの平均値を新たな黒基準データとして選択させる信号を出力する。

また、判定フレーム数が「Ｌ（≧３）」の場合には、現在の利得（ゲインａ）からＬ＋１フレーム過去の利得（ゲインＬ＋１）を減算した利得の変化量（ゲインａ−ゲインＬ＋１）が閾値以上で、かつ、１フレーム過去の利得（ゲインｂ）からＬフレーム過去の利得を減算した利得の変化量（ゲインｂ−ゲインＬ＋１）が閾値以上で・・・・、かつＬ−１フレーム過去の利得（ゲインＬ）からＬフレーム過去の利得（ゲインＬ＋１）を減算した利得の変化量（ゲインＬ−ゲインＬ＋１）が閾値以上か否かを判定する。

判定の結果、全てのフレームの利得の変化量が閾値以上のときには、現在の黒レベルデータの平均値を新たな黒基準データとして選択させる選択信号を出力する。また、利得の変化量が閾値以上のフレームが判定フレーム数未満のときには、黒基準データを更新せずにそれまでの黒基準データを選択させる選択信号を出力する。

次に、図４は、黒基準データ算出回路３５の一例を示す回路図である。黒基準データ算出回路３５は、１ライン分の黒基準データの平均値を算出する平均算出回路５１と、現フレームの黒レベルデータと現在の黒基準データを重み付けした加重平均値を算出する加重平均算出回路５２と、条件１，条件２及び条件３の何れかを選択する選択回路５３と、選択回路５３の出力を保持するラッチ回路５４とからなる。

平均算出回路５１は、Ａ／Ｄコンバータ２３から出力される黒レベルデータとラッチ回路５７に保持されている同一ラインの他の黒レベルデータを加算する加算器５５と、Ａ／Ｄコンバータ２３から出力される黒レベルデータと加算器５５から出力される黒レベルデータの一方を選択して出力するセレクタ５６と、セレクタ５６から出力される黒レベルデータを保持するラッチ回路５７と、ラッチ回路５７に保持される黒レベルデータの累計値をデータ数で除算して平均値を算出する除算器５８とで構成される。

この平均値算出回路５１では、例えば、１ラインの黒レベルデータの最初の値がセレクタ５６で選択されてラッチ回路５７にラッチされる。次に、ラッチ回路５７にラッチされた１番目の黒レベルデータと、Ａ／Ｄコンバータ２３から出力される２番目の黒レベルデータが加算器５５で加算され、加算結果がセレクタ５６で選択されてラッチ回路５７にラッチされる。次に、ラッチ回路５７にラッチされた１番目と２番目の黒レベルデータの累積値と、３番目の黒レベルデータが加算器５５で加算され、加算結果の累積値がラッチ回路５７にラッチされる。

上記の動作が繰り返されてイメージセンサ１１の１ライン分の黒レベルデータの累積値の計算が終了したなら、最終的な累積値を遮光部１１ａの１ライン分のデータ数で除算して１ラインの黒レベルデータの平均値を算出する。

加重平均算出回路５２は、平均算出回路５１で算出される黒レベルデータの平均値とレジスタ３１に記憶されている重み値Ｎを乗算する乗算回路５９と、ラッチ回路５４にラッチされる新黒基準データとレジスタ３２に記憶されている重み値Ｍを乗算する乗算器６０と、乗算器５９の乗算結果と乗算器６０の乗算結果を加算する加算器６２と、重み値ＮとＭを加算する加算器６３と、加算器６２の加算結果を「Ｎ＋Ｍ」で除算する除算器６４とからなる。

この加重平均算出回路５２では、１ライン分の黒レベルデータの平均値に重み値Ｎを乗算して得られる値と、黒基準データに重み値Ｍを乗算して得られる値の加算結果を重み値Ｎ＋Ｍで除算して平均値が算出される。

選択回路５３は、上述した条件判定回路３４の判定結果に従って、平均値算出回路５１で算出される１ラインの黒レベルデータの平均値（条件１）、加重平均算出回路５２で算出される黒レベルデータの平均値に重み値Ｎを乗算した値と現在の黒基準データに重み値Ｍを乗算した値の加重平均値（条件２）、ラッチ回路５４に保持されている現在の黒基準データ（条件３）の何れかを選択し、選択した値を新たな黒基準データとしてラッチ回路５４に出力する。

図５は、黒基準データと有効画素データのビット長の説明図である。
黒基準データと有効画素データはそれぞれ１１ビットのデータからなり、有効画素データと黒基準データの減算を行う減算器６７は、１１ビットのデータを１０ビットの有効画素データに変換して出力する。減算器６７の出力はラッチ回路６８でラッチされ、補正後の有効画素データとして１０ビットのデータを自動利得制御回路３６に出力する。

ここで上述した黒レベル補正回路２６の動作を、図６のフローチャートを参照して説明する。
最初に、Ａ／Ｄコンバータ２３から出力される黒レベルデータを取得する（図６，Ｓ１１）。次に、１ライン分の黒レベルデータの平均値を算出する（Ｓ１２）。次に、判定フレーム数に基づいてゲイン差が閾値以上か否かを判定する。例えば、判定フレーム数が「３」の場合、可変利得増幅器２２及び２４の現在の利得（ゲインａ）と３フレーム過去の利得（ゲインｄ）の差（ゲンイａ−ゲインｄ）の絶対値（ａｂｓ）が閾値以上か否か、つまり現在のフレームの３フレーム過去の利得に対する利得の変化量が閾値以上か否かを判定する（Ｓ１３）。

ステップＳ１３で、現在のフレームの利得の変化量が閾値以上と判定されたときには（Ｓ１３，ＹＥＳ）、ステップＳ１４に進み、１フレーム過去の利得（ゲインｂ）と３フレーム過去の利得の差（ゲインｂ−ゲインｄ）の絶対値が閾値以上か否か、すなわち１フレーム前の利得の変化量が閾値以上か否かを判定する。

ステップＳ１４で、１フレーム過去の利得の変化量が閾値以上と判定されたときには（Ｓ１４，ＹＥＳ）、ステップＳ１５に進み、２フレーム過去の利得（ゲインｃ）と３フレーム過去の利得の差（ゲインｃ−ゲインｄ）の絶対値が閾値以上か否か、すなわち２フレーム前の利得の変化量が閾値以上か否かを判定する。

ステップＳ１５で、２フレーム過去の利得の変化量が閾値以上と判定されたときには（Ｓ１５，ＹＥＳ）、ステップＳ１６に進み、現在のフレームの黒レベルデータの平均値を新たな黒基準データとして設定する。

上記の処理により可変利得増幅器２２及び２４の利得の変化量が閾値以上のフレームが３フレーム以上連続した場合には、現在の黒レベルデータの平均値を黒基準データとして設定することができる。これにより、黒レベルの平均値と黒基準データに重み付けを行って黒基準データを算出する場合でも、現在の黒レベルデータの平均値を黒基準データとして設定することで、黒基準値データを適正値に短時間で収束させることができる。

ステップＳ１３で、現在の可変利得増幅器２２及び２４の利得と３フレーム過去の利得の差が閾値より小さいと判定されたときには（Ｓ１３，ＮＯ）、ステップＳ１７に進み、１フレーム過去の利得と３フレーム過去の利得の差の絶対値が閾値未満か否か、すなわち、１フレーム過去の利得の変化量が閾値未満か否かを判定する。

ステップＳ１７で、１フレーム過去の利得の変化量が閾値未満と判定されたときには（Ｓ１７，ＹＥＳ）、ステップＳ１８に進み、２フレーム過去の利得と３フレーム過去の利得の差の絶対値が閾値未満か否か、すなわち２フレーム過去の利得の変化量が閾値未満か否かを判定する。

ステップＳ１８で、２フレーム過去の利得の変化量が閾値未満と判定されたときには（Ｓ１８、ＹＥＳ）、ステップＳ１９に進み、現在の黒レベルの平均値にＮを乗算した値と、旧の黒基準データにＭを乗算した値を加算した値を「Ｎ＋Ｍ」で除算し、除算により得られる値を新たな黒基準データとして設定する。

上記の処理により現在のフレームの利得の変化量と、１フレーム前の利得の変化量と、２フレーム前の利得の変化量が全て閾値未満のときには、現在のフレームの黒レベルデータの平均値と黒基準データを重み付けした値が新たな黒基準データとして設定される。

次に、図７は、判定フレーム数別の条件判定回路３４の判定結果を示す図である。
図７は、利得の変化量の判定基準の閾値が「６」で、利得の変化量が閾値以上のフレームが判定フレーム数以上連続した場合に「条件１」と判定し、利得の変化量が閾値以上のフレームが存在しない場合に「条件２」と判定し、利得の変化量が閾値以上のフレームが判定フレーム数以上連続しない場合に「条件３」と判定した結果を示している。判定フレーム数は、判定フレーム数「１」、「２」、「３」の場合について示してある。

なお、「条件１」とは、現在のフレームの黒レベルデータの平均値を新たな黒基準データを選択する場合である。「条件２」とは、現在の黒レベルデータに予め定められている値Ｎを乗算した値と黒基準データに予め定められている値Ｍを乗算した値を加算した値を「Ｎ＋Ｍ」で除算し、除算結果の値を黒基準データとして選択して出力する場合である。「条件３」とは、黒基準データを更新せずに、旧の黒基準データを選択して出力する場合である。

図７（１）に示すように現在のフレームのゲインａが「０」、１フレーム過去のゲインｂが「０」、２フレーム過去のゲインｃが「０」、３フレーム過去のゲインｄが「０」の場合について説明する。

この場合、現フレーム、１フレーム過去、２フレーム過去の利得の変化量が全て閾値「６」未満である。従って、判定結果は全て「条件２」となる。
次に、図７（２）に示すように、現在のフレームのゲインａが「１１」で、他のフレームのゲインｂ、ｃ、ｄが「０」の場合について説明する。この場合、ゲインｄを基準とした現在のフレームのゲインａの利得の変化量は「１１」となり、この値は閾値「６」以上である。

この場合、判定フレーム数が「１」のときには、利得の変化量が閾値「６」以上のフレーム数が「１」となり、フレーム数の判定条件を満たすので条件判定回路３４の判定結果は「条件１」となる。

判定フレーム数が「２」のときには、利得の変化量が閾値「６」以上のフレームの数が「１」で、フレーム判定数「２」未満であるので判定結果は「条件３」となる。
判定フレーム数が「３」の場合も同様に、利得の変化量が閾値「６」以上のフレーム数が判定フレーム数「３」未満であるので、判定結果は「条件３」となる。

次に、図７（３）に示す、現在のフレームのゲインａが「１３」、１フレーム過去のゲインｂが「１１」、２フレーム過去のゲインｃが「１１」、３フレーム過去のゲインｄが「０」の場合について説明する。

この場合、判定フレーム数が「１」のときには、現在のフレームのゲインａと１フレーム過去のゲインｂのゲイン差は「１」となり、この場合の利得の変化量は閾値「６」未満であるので判定結果は「条件２」となる。

判定フレーム数が「２」のときには、現在のフレームのゲインａと２フレーム過去のゲインｃの利得の変化量が「２」、１フレーム過去のゲインｂと２フレーム過去のゲインｃの利得の変化量が「１」で、この場合の利得の変化量は何れも閾値「６」未満である。従って、判定結果は「条件２」となる。

判定フレーム数が「３」のときには、ゲインａと３フレーム過去のゲインｄのゲイン差が「１３」、ゲインｂとゲンイｄのゲイン差が「１２」、ゲインｃとゲインｄのゲイン差が「１１」で、この場合利得の変化量が閾値「６」以上のフレームが３フレーム以上連続しているので判定結果は「条件１」となる。

次に、図８は、条件判定回路の他の例を示す図であり、同図は判定フレーム数が「２」のときの条件判定回路６１の回路図である。
図８において、ラッチ回路７４は、現在のフレームのゲインａを保持し、ラッチ回路７３は、１フレーム過去のゲインｂを保持し、ラッチ回路７２は２フレーム過去のゲインｃを保持する。

絶対値演算回路７５は、ゲインａとゲンイｃの差の絶対値を算出する。この絶対値演算回路７５は、ゲインａとゲインｃの大小関係を比較する比較器７７と、比較器７７の比較結果に基づいて減算を行う減算器７８とからなる。

絶対値演算回路７６は、ゲインｃとゲインｂの差の絶対値を算出する。この絶対値演算回路７６は、ゲインｃとゲンイｂの大小関係を比較する比較器７９と、その比較器７９の比較結果に基づいて減算を行う減算器８０とからなる。

絶対値演算回路７５の演算結果は比較器８１に出力され、比較器８１において演算結果とレジスタ３３から出力される閾値とが比較される。
同様に絶対値演算回路７６の演算結果は比較器８２に出力され、比較器８２において演算結果と閾値とが比較される。

比較器８１と８２の比較結果はＡＮＤ回路８３に出力される。また、比較器８１の比較結果はインバータ８５で反転されてＡＮＤ回路８４に出力され、比較器８２の比較結果はインバータ８６で判定されてＡＮＤ回路８４に出力される。

ＡＮＤ回路８３は、比較器８１の比較結果と比較器８２の比較結果の論理積を取り、比較器８１，８２において利得の変化量が閾値以上と判定されたとき、すなあち、利得の変化量が２フレーム連続して閾値以上の場合には、「条件１」が成立したことを示すしハイレベルの信号を出力する。

ＡＮＤ回路８４は、比較器８１と比較器８２の反転出力の論理積を取り、現在のフレームのゲインａと１フレーム前のゲインｂが共に閾値未満のとき、「条件２」が成立したことを示すハイレベルの信号を出力する。

上記の条件判定回路７１によれば、可変利得増幅器２２及び２４の利得の変化量が、２フレーム連続して閾値以上となったか、それとも２フレーム連続して閾値未満か、あるいは１フレームが閾値未満かを判定し、その判定結果に基づいて現在のフレームの黒レベルの値を黒基準データとして採用するか、それとも現在のフレームの黒レベルの値を重み付けした値から黒基準データを算出するかを決める信号を生成することができる。

上記の条件判定回路７１を用いることで２フレーム以上連続して利得の変化量が閾値以上となった場合には、現在の黒レベルの値を黒基準データとして設定することで黒基準データの収束時間を短縮できる。

上述した第１の実施の形態は、イメージセンサで検出される画素の値を増幅する可変利得増幅器の利得の変化量が所定期間以上連続して閾値以上となった場合には、黒基準データを現在のフレームの黒レベルの値に変更することで、可変利得増幅器２２の現在の利得に適合した黒基準データに短時間で収束させることができる。また、利得の変化量が閾値に達しない場合には、重み付けした黒レベルデータと黒基準データとに基づいて黒基準データの更新を行うようにしたので、画像の明るさのばらつきが大きくなり表示品質が低下するのを防止できる。さらに、利得の変化量が閾値以上であっても、利得の変化が所定期間以上連続しない場合には、黒基準データの更新を行わないようにした。これにより、瞬時的に黒撮影対象の明るさが変化して可変利得増幅器２２及び２４の利得が変化した場合でも、黒レベルの値に連動して黒基準データが更新され、画像の明るさが頻繁に変化して表示品質が損なわれるのを防止できる。

上述した第１の実施の形態は、黒レベルデータと黒基準データをそれぞれ重み付けした加重平均から黒基準データを算出しているが、これに限らず、例えば、過去の複数フレームの平均値から黒基準データを算出しても良い。

次に、図９は、本発明の第２の実施の形態の黒レベル補正回路１０１の回路ブロック図である。以下の説明では、第１の実施の形態で説明した回路と同じ部分には同じ符号を付けてそれらの説明は省略する。

この第２の実施の形態は、黒レベルの値の変化量が所定ち（閾値）以上のフレームが所定数以上連続したか否かを判定し、所定のフレーム数以上連続した場合に黒基準データを現在のフレームの黒レベルの値に変更するものである。

図９において、平均算出回路５１（図４参照）は、イメージセンサ１１の遮光部１１ａで検出され、Ａ／Ｄ変換された現在のフレームの黒レベルデータの平均値（以下、これを黒レベルａと呼ぶ）を算出する。

平均算出回路５１で算出された黒レベルデータの平均値はラッチ回路１０３と加重平均算出回路５２（図４参照）に出力される。
ラッチ回路１０３は、平均算出回路５１から出力される黒レベルデータをフレーム同期信号に同期したタイミングでラッチし、ラッチした黒レベルデータをラッチ回路１０４に出力する。このラッチ回路１０３の出力は条件判定部１０６にも出力されている。

ラッチ回路１０４はフレーム同期信号に同期したタイミングでラッチ回路１０３の出力をラッチし、ラッチした黒レベルデータをラッチ回路１０５に出力する。このラッチ回路１０４の条件判定部１０６にも出力されている。

ラッチ回路１０５は、フレーム同期信号に同期したタイミングでラッチ回路１０４の出力し、ラッチした黒レベルデータを条件判定部１０６に出力する。
上記の平均算出回路５１からは現在の黒レベルデータが出力され、ラッチ回路１０３には１フレーム過去の黒レベルデータが保持され、ラッチ回路１０４には２フレーム過去の黒レベルデータが保持され、ラッチ回路１０５には３フレーム過去の黒レベルデータが保持される。

条件判定部１０６は、現在の黒レベルデータと３フレーム過去の黒レベルデータの差分と、１フレーム過去の黒レベルデータと３フレーム過去の黒レベルデータの差分と、２フレーム過去の黒レベルデータと３フレーム過去の黒レベルデータの差分とを算出する。そして、黒レベルデータの変化量が閾値以上のフレームが所定フレーム数（例えば、３フレーム）以上連続しているか否かを判定する。

条件判定部１０６は、黒レベルデータの変化量が閾値以上のフレームが３フレーム以上連続している判定した場合には、「条件１」の選択信号を選択回路５３（図４参照）に出力する。また、条件選択回路１０６は、黒レベルデータの変化量が閾値以上のフレームが存在しないと判定した場合には、「条件３」の選択信号を選択回路５３に出力する。さらに、条件判定部１０６は、黒レベルデータの変化量が閾値以上のフレームが１フレーム以上で、３フレーム未満と判定した場合には、「条件２」の選択信号を選択回路５２に出力する。

選択回路５２は、条件判定部１０６から「条件１」の選択信号を受信した場合には、現在の黒レベルデータを新たな黒基準データとして選択して出力する。また、「条件３」の選択信号を受信した場合には、現在の黒レベルデータとそれまでの黒基準データに対してそれぞれ重み付けした値の加重平均値を新たな黒基準データとして選択する。さらに、「条件２」の選択信号を受信した場合には、黒基準データの更新を行わず、旧の黒基準データを選択して出力する。

次に、図１０は、第２の実施の形態の黒レベル補正回路１０１により黒レベルの補正を行った場合の黒基準データの変化を判定フレーム数別に示した図である。この図は、判定フレーム数別の黒基準データの収束スピードを示している。

この例は、現在の黒レベルの値と黒基準データにそれぞれ重み付けを行っており、現在の黒レベルデータに乗算する「Ｎ」の値を「１」、黒基準データに乗算する「Ｍ」の値を「７」、閾値を「１０（コード値）」とした場合を示している。図１０の縦軸はコード値を、横軸はフレーム番号を示す。

図１０に黒丸で示す点は黒レベルデータのコードを示しており、第１０フレームの黒レベルのコード値が「１５」、次の第１１フレームからコードが急激に増加して「５０」となり、次の１２フレームもほぼ同じ値で、次の第１３フレームでコード値が約「１０」に急に減少している。

上記の黒レベルデータに対して第２の実施の形態の黒レベル補正方法を適用すると、判定フレーム数が「１」の場合には、第１１フレームで黒レベルの値「５０」になったとき、黒レベルの値の変化量は「５０−１５」で、この値は閾値「１０」以上であるので、黒基準データが現在の黒レベルの値である「５０」に変更される。次の第１２フレームの黒レベルの値は「５０」で黒レベルの値の変化量は閾値「１０」未満となるので、黒基準の更新は行われず、旧の黒基準データ（この場合、直前の値「５０」）が使用される。

次の第１３フレームで黒レベルの値が「１０」に変化すると、黒レベルの値の変化量が閾値「１０」以上となり、黒基準データがそのときの黒レベルの値である「１０」に変更される。

この結果、図１０に曲線ｅで示すように、黒基準データは黒レベルの値に応じて１フレーム単位で変化している。
次に、判定フレーム数が「２」の場合について説明する。この場合、第１１フレームと次の第１２フレームで連続して黒レベルの値が「５０」となったとき、黒レベルの値の変化量が２フレーム連続して閾値以上となり、そのときの黒基準データが現在の黒レベルの値「５０」に変更される。そして、次の第１３フレームで黒レベルの値が「１０」に変化すると、黒レベルの変化量が閾値以上のフレーム数が「１」となり、それまでの黒基データ（この場合、直前の値「５０」）が維持される。

次に、第１４フレームの黒レベルの値が「１０」になると、現在のフレームの黒レベルの値が「１０」、１フレーム過去の黒レベルの値が「１０」、２フレーム過去の黒レベルの値が「５０」で、黒レベルの値の変化量が２フレーム連続して閾値「１０」以上となるので、黒基準データが現在の黒レベルの値「１０」に変更される。

図１０の点線ｆ上の「×」で示す点が判定フレーム数「２」の場合の黒基準データの値の変化を示している。
次に、判定フレーム数が「３」の場合について説明する。この場合、第１１フレームと第１２フレームでの黒レベルの値の変化は、２フレームしか連続していないので、黒基準データの更新は行われない。

図１０に示すように、第１６フレーム以降連続して３フレームの黒レベルの値が「５０」以上となると、最初に黒レベルの値が急激に増加した第１６フレームから２フレーム後の第１９フレームの黒レベルの値が「５０」以上となったとき、黒レベルの変変化量が３フレーム連続して閾値「１０」以上となり、黒基準データの値がそのときの黒レベルの値「５０」に変更される。

第１９フレーム以降の黒レベルの値が連続して「５０」以上となると、黒レベルの値の変化量が閾値以上のフレーム数が「３」未満となり、黒基準データの更新は行われず、旧の黒基準データ（この場合、「５０」）が維持される。そして、現在のフレーム、１フレーム過去、２フレーム過去の黒レベルの値の変化量が全て閾値未満となると、現在の黒レベルの値にＮを乗算した値と黒基準データにＭを乗算した値の加重平均値が算出され、その値が黒基準データとして設定される。

図１０の実線で示す曲線ｇ上に「×」で示す点が、判定フレーム数「３」の場合の黒基準データの値の変化を示している。判定フレーム数が「３」の場合には、黒レベルの値の変化量が３フレーム以上連続して閾値以上となったとき、黒基準データがそのときの黒レベルの値に変更される。

判定フレーム数を「３」に設定した場合には、図１０からも明らかなように、黒レベルの値の変化が短期間（２フレーム以下の期間）の場合には、元の黒基準データが保持されるので、撮影対象画像の瞬時的な明るさの変動で黒基準データが変更され、それにより撮影画像の明るさにちらつきが生じるのを抑制できる。

さらに、黒レベルの値が所定期間以上連続した場合には、そのときの黒レベルの値を黒基準データとして更新するので、可変利得増幅器の利得が変化した場合に、適正な黒基準値に短時間で収束させることができる。

図１０の曲線ｈは、従来の黒レベル補正方法に該当する判定フレーム数「０」の場合の黒基準データの収束特性を示している。従来の補正方法では、黒レベルの値が大幅に変化しても、データの重み付けを行っているために、黒基準データは徐々にしか変化せず、黒基準データが適正な値に収束するまでに長い時間がかかってしまう。

上述した第２の実施の形態は、所定期間連続して黒レベルの値の変化量が閾値以上となったときには、黒基準データを現在のフレームの黒レベルの値に変更する。また、黒レベルの値の変化量が閾値以上の期間が所定期間以上連続していないときには、黒基準値の更新を行わず、旧の黒レベル基準値を保持する。さらに、所定期間連続して黒レベルの変化値が閾値未満のときには、黒レベルの値と黒基準データをそれぞれ重み付けした値の加重平均値を算出し、その値を黒基準データとして設定する。黒レベル補正回路１０１の上記の動作により、例えば、撮影対象の画像の明るさが変化して利得が変更された場合に、変更された利得に応じた適正な黒基準データに短時間で収束させることができる。さらに、所定期間連続して黒レベルの値の変化量が閾値以上とならないときには黒基準データは更新されないので、一時的な利得の変動等により黒基準データが更新され、その結果、画像の明るさがフレーム単位で変動するのを抑制できる。
なお、第１の実施の形態と第２の実施の形態を組み合わせ、利得の変化量と黒レベルデーの変化量の両方を算出し、それらの変化量に基づいて条件判定を行っても良い。

（付記１） イメージセンサで検出される画素の値を増幅する可変利得増幅器と、
前記可変利得増幅器の利得の変化量が所定値以上の期間が所定期間以上連続するか否かを判定し、利得の変化量が所定値以上の期間が所定期間以上連続するときには、前記可変利得増幅器から出力される前記イメージセンサの黒レベルの値を新たな黒レベルの基準値とし、該黒レベルの基準値に基づいて前記イメージセンサの有効画素の黒レベルの補正を行い、利得の変化量が所定値以上の期間が所定期間以上連続しないときには、前記黒レベルの基準値の更新を行わず、旧の黒レベルの基準値に基づいて前記有効画素の黒レベルの補正を行う黒レベル補正回路と、
前記黒レベル補正回路により黒レベルが補正された有効画素の値に基づいて前記可変利得増幅器の利得を制御する自動利得制御回路とを備える半導体集積装置。
（付記２） イメージセンサで検出される画素の値を増幅する可変利得増幅器と、
前記可変利得増幅器の利得の変化量が所定値以上の期間が所定期間以上連続するか否かを判定し、利得の変化量が所定値以上の期間が所定期間以上連続するときには、前記可変利得増幅器から出力される前記イメージセンサの黒レベルの値を新たな黒レベルの基準値とし、前記黒レベルの基準値に基づいて前記イメージセンサの有効画素の黒レベルの補正を行い、利得の変化量が所定値未満のときには、現在の黒レベルの値と黒レベルの基準値とに基づいて算出した値を新たな黒レベルの基準値とし、該黒レベルの基準値に基づいて前記有効画素の黒レベルの補正を行う黒レベル補正回路と、
前記黒レベル補正回路により黒レベルが補正された有効画素の値に基づいて前記可変利得増幅器の利得を制御する自動利得制御回路とを備える半導体集積装置。
（付記３） 前記黒レベル補正回路は、利得の変化量が所定値以上のフレームが所定数以上連続しているときには、前記可変利得増幅器から出力される黒レベルの値を新たな黒レベルの基準値とし、利得の変化量が所定値未満のときには、前記可変利得増幅器から出力される黒レベルの値と前記黒レベルの基準値とに基づいて算出した値を新たな黒レベルの基準値とし、利得の変化量が所定値以上のフレームが所定数以上連続していないときには、黒レベルの基準値の更新を行わず、旧の黒レベルの基準値を保持する付記１または２記載の半導体集積装置。
（付記４） 前記黒レベル補正回路は、前記イメージセンサで検出された複数のフレームの画像に対する前記可変利得増幅器の利得を記憶する利得記憶回路と、前記利得記憶回路に記憶されている特定のフレームの利得に対する他のフレームの利得の変化量を算出して利得の変化量が所定値以上のフレームが所定数以上連続しているか否かを判定する判定回路と、前記判定回路により利得の変化量が所定値以上のフレームが所定数以上連続していると判定されたときには、前記可変利得増幅器から出力される黒レベルの値を新たな黒レベルの基準値として選択し、前記判定回路により利得の変化量が所定値以上のフレームが所定数以上連続していないと判定されときには、黒レベルの基準値の更新を行わず、旧の黒レベルの基準値を選択する選択回路を有する付記１または２記載の半導体集積装置。
（付記５） 前記黒レベル補正回路は、前記イメージセンサで検出された複数のフレームの画像に対する前記可変利得増幅器の利得を記憶する利得記憶回路と、前記利得記憶回路に記憶されている特定のフレームの利得に対する他のフレームの利得の変化量を算出して利得の変化量が所定値以上のフレームが所定数以上連続しているか否かを判定する判定回路と、前記判定回路により利得の変化量が所定値以上のフレームが所定数以上連続していると判定されたときには、前記可変利得増幅器から出力される黒レベルの値を新たな黒レベルの基準値として選択し、前記判定回路により利得の変化量が所定値以上のフレームが存在しないと判定されたときには、前記可変利得増幅器から出力される黒レベルの値と旧の黒レベルの基準値とから算出される値を新たな黒レベルの基準値として選択し、前記判定回路により利得の変化量が所定値以上で、かつ変化量が所定値以上のフレームが所定数以上連続していないと判定されたときには、黒レベルの基準値の更新を行わず、旧の黒レベルの基準値を選択する選択回路とを有する付記１または２記載の半導体集積装置。
（付記６） 前記黒レベル補正回路は、少なくとも現フレームの前記可変利得増幅器の利得を記憶する第１の利得記憶回路と、１フレーム前の利得を記憶する第２の利得記憶回路と、２フレーム前の利得を記憶する第３の利得記憶回路と、３フレーム前の利得を記憶する第４の利得記憶回路を有し、前記第１から第４の利得記憶回路に記憶されている特定のフレームの利得に対する他のフレームの利得の変化量を算出し、利得の変化量が所定値以上のフレームが所定数以上連続しているか否かを判定する判定回路を有する付記１または２記載の半導体集積装置。
（付記７） 前記可変利得増幅器は、前記イメージセンサの遮光した画素から出力される黒レベルの値を増幅する第１の可変利得増幅器と、前記イメージセンサの有効画素の値を増幅する第２の可変利得増幅器を有し、
前記黒レベル補正回路は、少なくとも現在のフレーム、１フレーム前、２フレーム前及び３フレーム前の前記第１及び第２の可変利得増幅器の利得を記憶する利得記憶回路と、前記利得記憶回路の特定のフレームの利得に対する他のフレームの利得の変化量を算出し、利得の変化量が所定値以上のフレームが所定数以上連続しているか否かを判定する判定回路とを有する付記１または２記載の半導体集積装置。
（付記８） イメージセンサで検出される画素の値を増幅する可変利得増幅器と、
前記イメージセンサで検出された複数のフレームの黒レベルの値の変化量を算出し、黒レベルの値の変化量が所定値以上の期間が所定期間以上連続しているか否かを判定し、黒レベルの値の変化量が所定値以上の期間が所定期間以上連続しているときには、前記可変利得増幅器から出力される黒レベルの値を新たな黒レベルの基準値とし、該黒レベルの基準値に基づいて前記イメージセンサの有効画素の黒レベルを補正し、黒レベルの値の変化量が所定値以上の期間が所定期間以上連続していないときには、黒レベルの基準値の変更を行わず、旧の黒レベルの基準値に基づいて前記有効画素の黒レベルを補正する黒レベル補正回路と、
前記黒レベル補正回路から出力される黒レベルが補正された前記有効画素の値に基づいて前記可変利得増幅器の利得を制御する自動利得制御回路とを備える半導体集積装置。
（付記９） イメージセンサで検出される画素の値を増幅する可変利得増幅器と、
前記可変利得増幅器から出力される黒レベルの値の変化量が所定値以上の期間が所定期間以上連続するか否かを判定し、黒レベルの値の変化量が所定値以上の期間が所定期間以上連続するときには、前記可変利得増幅器から出力される黒レベルの値を新たな黒レベルの基準値とし、該黒レベルの基準値に基づいて前記イメージセンサの有効画素の黒レベルの補正を行い、黒レベルの値の変化量が所定値未満のときには、現在の黒レベルの値と現在の黒レベルの基準値とに基づいて算出した値を新たな黒レベルの基準値とし、該黒レベルの基準値に基づいて前記有効画素の黒レベルの補正を行う黒レベル補正回路と、
前記黒レベル補正回路により黒レベルが補正された有効画素の値に基づいて前記可変利得増幅器の利得を制御する自動利得制御回路とを備える半導体集積装置。
（付記１０） 前記黒レベル補正回路は、黒レベルの値の変化量が所定値以上のフレームが所定数以上連続しているときには、前記可変利得増幅器から出力される黒レベルの値を新たな黒レベルの基準値とし、利得の変化量が所定値未満のときには、前記可変利得増幅器から出力される黒レベルの値と前記黒レベルの基準値とに基づいて算出した値を新たな黒レベルの基準値とし、黒レベルの値の変化量が所定値以上のフレームが所定数以上連続していないときには、黒レベルの基準値の更新を行わず、旧の黒レベルの基準値を保持する付記８または９記載の半導体集積装置。
（付記１１） 前記黒レベル補正回路は、前記可変利得増幅器から出力される複数のフレームの黒レベルの値を記憶する記憶回路と、前記記憶回路に記憶されている特定のフレームの黒レベルの値に対する他のフレームの黒レベルの値の変化量を算出して前記変化量が所定値以上のフレームが所定数以上連続しているか否かを判定する判定回路と、前記判定回路により黒レベルの値の変化量が所定値以上のフレームが所定数以上連続していると判定されたときには、前記可変利得増幅器から出力される黒レベルの値を新たな黒レベルの基準値として選択し、前記判定回路により黒レベルの値の変化量が所定値以上のフレームが所定数以上連続していないと判定されときには、黒レベルの基準値の更新を行わず、旧の黒レベルの基準値を選択する選択回路を有する付記８または９記載の半導体集積装置。
（付記１２） 前記黒レベル補正回路は、現フレームの黒レベルの値を記憶する第１の記憶回路と、１フレーム前の黒レベルの値を記憶する第２の記憶回路と、２フレーム前の黒レベルの値を記憶する第３の記憶回路と、３フレーム前の黒レベルの値を記憶する第４の記憶回路を有し、前記第１から第４の記憶回路に記憶されている特定のフレームの黒レベルと他のフレームの黒レベルの値の変化量を算出し、黒レベルの値の変化量が所定値以上のフレームが所定数以上連続しているか否かを判定する判定回路を有する付記８または９記載の半導体集積装置。
（付記１３） イメージセンサで検出される画素の値を可変利得増幅器で増幅し、
前記可変利得増幅器の利得の変化量が所定値以上の期間が所定期間以上連続するか否かを判定し、利得の変化量が所定値以上の期間が所定期間以上連続するときには、前記可変利得増幅器から出力される前記イメージセンサの黒レベルの値を新たな黒レベルの基準値とし、該黒レベルの基準値に基づいて前記イメージセンサの有効画素の黒レベルの補正を行い、利得の変化量が所定値以上の期間が所定期間以上連続しないときには、前記黒レベルの基準値の更新を行わず、旧の黒レベルの基準値に基づいて前記有効画素の黒レベルの補正を行うイメージセンサの黒レベル補正方法。
（付記１４） イメージセンサで検出される画素の値を可変利得増幅器で増幅し、
前記可変利得増幅器の利得の変化量が所定値以上の期間が所定期間以上連続するか否かを判定し、利得の変化量が所定値以上の期間が所定期間以上連続するときには、前記可変利得増幅器から出力される前記イメージセンサの黒レベルの値を新たな黒レベルの基準値とし、前記黒レベルの基準値に基づいて前記イメージセンサの有効画素の黒レベルの補正を行い、利得の変化量が所定値未満のときには、現在の黒レベルの値と黒レベルの基準値とに基づいて算出した値を新たな黒レベルの基準値とし、該黒レベルの基準値に基づいて前記有効画素の黒レベルの補正を行うイメージセンサの黒レベル補正方法。
（付記１５） 前記黒レベル補正ステップは、利得の変化量が所定値以上のフレームが所定数以上連続しているときには、前記可変利得増幅器から出力される黒レベルの値を新たな黒レベルの基準値とし、各フレームの利得の変化量が所定値未満のときには、前記可変利得増幅器から出力される黒レベルの値と前記黒レベルの基準値とに基づいて算出した値を新たな黒レベルの基準値とし、利得の変化量が所定値以上のフレームが所定数以上連続していないときには、黒レベルの基準値の更新を行わず、旧の黒レベルの基準値を保持する付記１３または１４記載のイメージセンサの黒レベル補正方法。
（付記１６） 前記黒レベル補正ステップは、前記イメージセンサで検出された複数のフレームの画像に対する前記可変利得増幅器の利得を記憶し、記憶してある特定のフレームの利得に対する利得の変化量を算出して利得の変化量が所定値以上のフレームが所定数以上連続しているか否かを判定し、利得の変化量が所定値以上のフレームが所定数以上連続していると判定されたときには、前記可変利得増幅器から出力される黒レベルの値を新たな黒レベルの基準値として選択し、利得の変化量が所定値以上のフレームが所定数以上連続していないと判定されときには、黒レベルの基準値の更新を行わず、旧の黒レベルの基準値を選択する選択回路を有する付記１３または１４記載のイメージセンサの黒レベル方正方法。
（付記１７） 前記黒レベル補正ステップは、前記イメージセンサで検出された複数のフレームの画像に対する前記可変利得増幅器の利得を利得記憶回路に記憶し、前記利得記憶回路に記憶されている特定のフレームの利得に対する他のフレームの利得の変化量を算出して利得の変化量が所定値以上のフレームが所定数以上連続しているか否かを判定し、利得の変化量が所定値以上のフレームが所定数以上連続していると判定されたときには、前記可変利得増幅器から出力される黒レベルの値を新たな黒レベルの基準値として選択し、利得の変化量が所定値以上のフレームが存在しないと判定されたときには、前記可変利得増幅器から出力される黒レベルの値と黒レベルの基準値とから算出した値を新たな黒レベルの基準値として選択し、利得の変化量が所定値以上で、かつフレーム数が所定数以上連続していないと判定されたときには、黒レベルの基準値の更新を行わず、旧の黒レベルの基準値を選択する付記１３または１４記載のイメージセンサの黒レベル補正方法。

本発明の原理説明図である。 第１の実施の形態の半導体集積装置の回路ブロック図である。 第１の実施の形態の条件判定回路の回路図である。 黒基準データ算出回路の回路図である。 黒基準データと有効画素データのデータ長の説明図である。 黒レベル補正回路の動作を示すフローチャートである。 ゲインと判定結果を示す図である。 条件判定回路の他の例を示す図である。 第２の実施の形態の黒レベル補正回路の回路図である。 黒基準データの収束特性を示す図である。 従来のイメージセンサと黒レベル補正回路を示す図である。 回路のタイミングチャートである。 黒レベルと有効画素の出力コードを示す図である。 黒レベルと有効画素の出力コードを示す図である。 可変利得増幅器を使用した場合の黒レベルと有効画素の出力コードを示す図である。

符号の説明

１ 可変利得増幅器
２ 黒レベル補正回路
３ 自動利得増幅器
２２、２４ 可変利得増幅器
２３、２５ Ａ／Ｄコンバータ
２６ 黒レベル補正回路
２７ 黒レベル基準計算回路
２８ 減算器
３４ 条件判定回路
３５ 黒基準データ算出回路
３６ 自動利得制御回路
３７ 輝度平均計算部３７
３８ ゲイン計算部

Claims (10)

1. イメージセンサで検出される画素の値を増幅する可変利得増幅器と、
   前記可変利得増幅器の利得の変化量が所定値以上の期間が所定期間以上連続するか否かを判定し、利得の変化量が所定値以上の期間が所定期間以上連続するときには、前記可変利得増幅器から出力されるイメージセンサの黒レベルの値を新たな黒レベルの基準値とし、該黒レベルの基準値に基づいて前記イメージセンサの有効画素の黒レベルの補正を行い、利得の変化量が所定値以上の期間が所定期間以上連続しないときには、前記黒レベルの基準値の更新を行わず、旧の黒レベルの基準値に基づいて前記有効画素の黒レベルの補正を行う黒レベル補正回路と、
   前記黒レベル補正回路により黒レベルが補正された有効画素の値に基づいて前記可変利得増幅器の利得を制御する自動利得制御回路とを備える半導体集積装置。
2. イメージセンサで検出される画素の値を増幅する可変利得増幅器と、
   前記可変利得増幅器の利得の変化量が所定値以上の期間が所定期間以上連続するか否かを判定し、利得の変化量が所定値以上の期間が所定期間以上連続するときには、前記可変利得増幅器から出力される前記イメージセンサの黒レベルの値を新たな黒レベルの基準値とし、前記黒レベルの基準値に基づいて前記イメージセンサの有効画素の黒レベルの補正を行い、利得の変化量が所定値未満のときには、現在の黒レベルの値と黒レベルの基準値とに基づいて算出した値を新たな黒レベルの基準値とし、該黒レベルの基準値に基づいて前記有効画素の黒レベルの補正を行う黒レベル補正回路と、
   前記黒レベル補正回路により黒レベルが補正された有効画素の値に基づいて前記可変利得増幅器の利得を制御する自動利得制御回路とを備える半導体集積装置。
3. 前記黒レベル補正回路は、利得の変化量が所定値以上のフレームが所定数以上連続しているときには、前記可変利得増幅器から出力される黒レベルの値を新たな黒レベルの基準値とし、利得の変化量が所定値未満のときには、前記可変利得増幅器から出力される黒レベルの値と前記黒レベルの基準値とに基づいて算出した値を新たな黒レベルの基準値とし、利得の変化量が所定値以上のフレームが所定数以上連続していないときには、黒レベルの基準値の更新を行わず、旧の黒レベルの基準値を保持する請求項１または２記載の半導体集積装置。
4. 前記黒レベル補正回路は、前記イメージセンサで検出された複数のフレームの画像に対する前記可変利得増幅器の利得を記憶する利得記憶回路と、前記利得記憶回路に記憶されている特定のフレームの利得に対する他のフレームの利得の変化量を算出して利得の変化量が所定値以上のフレームが所定数以上連続しているか否かを判定する判定回路と、前記判定回路により利得の変化量が所定値以上のフレームが所定数以上連続していると判定されたときには、前記可変利得増幅器から出力される黒レベルの値を新たな黒レベルの基準値として選択し、前記判定回路により利得の変化量が所定値以上のフレームが所定数以上連続していないと判定されときには、黒レベルの基準値の更新を行わず、旧の黒レベルの基準値を選択する選択回路を有する請求項１または２記載の半導体集積装置。
5. 前記黒レベル補正回路は、前記イメージセンサで検出された複数のフレームの画像に対する前記可変利得増幅器の利得を記憶する利得記憶回路と、前記利得記憶回路に記憶されている特定のフレームの利得に対する他のフレームの利得の変化量を算出して利得の変化量が所定値以上のフレームが所定数以上連続しているか否かを判定する判定回路と、前記判定回路により利得の変化量が所定値以上のフレームが所定数以上連続していると判定されたときには、前記可変利得増幅器から出力される黒レベルの値を新たな黒レベルの基準値として選択し、前記判定回路により利得の変化量が所定値以上のフレームが存在しないと判定されたときには、前記可変利得増幅器から出力される黒レベルの値と黒レベルの基準値とから算出される値を新たな黒レベルの基準値として選択し、前記判定回路により利得の変化量が所定値以上で、かつ変化量が所定値以上のフレームが所定数以上連続していないと判定されたときには、黒レベルの基準値の更新を行わず、旧の黒レベルの基準値を選択する選択回路とを有する請求項１または２記載の半導体集積装置。
6. 前記黒レベル補正回路は、少なくとも現フレームの前記可変利得増幅器の利得を記憶する第１の利得記憶回路と、１フレーム前の利得を記憶する第２の利得記憶回路と、２フレーム前の利得を記憶する第３の利得記憶回路と、３フレーム前の利得を記憶する第４の利得記憶回路を有し、前記第１から第４の利得記憶回路に記憶されている特定のフレームの利得に対する他のフレームの利得の変化量を算出し、利得の変化量が所定値以上のフレームが所定数以上連続しているか否かを判定する判定回路を有する請求項１または２記載の半導体集積装置。
7. 前記可変利得増幅器は、前記イメージセンサの遮光した画素から出力される黒レベルの値を増幅する第１の可変利得増幅器と、前記イメージセンサの有効画素の値を増幅する第２の可変利得増幅器を有し、
   前記黒レベル補正回路は、少なくとも現在のフレーム、１フレーム前、２フレーム前及び３フレーム前の前記第１及び第２の可変利得増幅器の利得を記憶する利得記憶回路と、前記利得記憶回路の特定のフレームの利得に対する他のフレームの利得の変化量を算出し、利得の変化量が所定値以上のフレームが所定数以上連続しているか否かを判定する判定回路とを有する請求項１または２記載の半導体集積装置。
8. イメージセンサで検出される画素の値を増幅する可変利得増幅器と、
   前記イメージセンサで検出された複数のフレームの黒レベルの値の変化量を算出し、黒レベルの値の変化量が所定値以上の期間が所定期間以上連続しているか否かを判定し、黒レベルの値の変化量が所定値以上の期間が所定期間以上連続しているときには、前記可変利得増幅器から出力される黒レベルの値を新たな黒レベルの基準値とし、該黒レベルの基準値に基づいて前記イメージセンサの有効画素の黒レベルを補正し、黒レベルの値の変化量が所定値以上の期間が所定期間以上連続していないときには、黒レベルの基準値の変更を行わず、旧の黒レベルの基準値に基づいて前記有効画素の黒レベルを補正する黒レベル補正回路と、
   前記黒レベル補正回路から出力される黒レベルが補正された前記有効画素の値に基づいて前記可変利得増幅器の利得を制御する自動利得制御回路とを備える半導体集積装置。
9. イメージセンサで検出される画素の値を増幅する可変利得増幅器と、
   前記可変利得増幅器から出力される黒レベルの値の変化量が所定値以上の期間が所定期間以上連続するか否かを判定し、黒レベルの値の変化量が所定値以上の期間が所定期間以上連続するときには、前記可変利得増幅器から出力される黒レベルの値を新たな黒レベルの基準値とし、該黒レベルの基準値に基づいて前記イメージセンサの有効画素の黒レベルの補正を行い、黒レベルの値の変化量が所定値未満のときには、現在の黒レベルの値と黒レベルの基準値とから算出した値を新たな黒レベルの基準値とし、該黒レベルの基準値に基づいて前記有効画素の黒レベルの補正を行う黒レベル補正回路と、
   前記黒レベル補正回路により黒レベルが補正された有効画素の値に基づいて前記可変利得増幅器の利得を制御する自動利得制御回路とを備える半導体集積装置。
10. イメージセンサで検出される画素の値を可変利得増幅器で増幅し、
    前記可変利得増幅器の利得の変化量が所定値以上の期間が所定期間以上連続するか否かを判定し、利得の変化量が所定値以上の期間が所定期間以上連続するときには、前記可変利得増幅器から出力される前記イメージセンサの黒レベルの値を新たな黒レベルの基準値とし、該黒レベルの基準値に基づいて前記イメージセンサの有効画素の黒レベルの補正を行い、利得の変化量が所定値以上の期間が所定期間以上連続しないときには、前記黒レベルの基準値の更新を行わず、旧の黒レベルの基準値に基づいて前記有効画素の黒レベルの補正を行うイメージセンサの黒レベル補正方法。