JP2008219593A - 画像処理装置及び方法 - Google Patents

Abstract

【課題】毎回の撮影時にリアルタイムでランダムノイズの影響の少ないシェーディング補正データを生成し、環境の変化に対応した高精度のシェーディング補正を可能とすることを課題とする。
【解決手段】遮光されていない複数の光電変換素子を有する有効画素部及び遮光された複数の光電変換素子を有するオプティカルブラック部を含む固体撮像素子（１３０１）と、前記オプティカルブラック部を複数の領域に分割し、前記複数の領域の出力信号の平均値を基に前記複数の領域間のシェーディングの変化の有無を判定する判定部（１３０２，１３０３）と、前記複数の領域間のシェーディングの変化がないと判定されたときには前記複数の領域のシェーディング補正データが同じなるようにシェーディング補正データを生成する生成部（１３０４，１３０５）とを有することを特徴とする画像処理装置が提供される。
【選択図】図１３

Description

本発明は、画像処理装置及び方法に関する。

固体撮像素子によって撮像された画像は、下記の特許文献１に記載されているように明時、暗時を問わず暗電流ムラにより振幅の局所的なひずみであるシェーディングが生じる。

このシェーディングを補正する手段として、下記の特許文献２に示す方法がある。図１に示すように、固体撮像素子は、垂直オプティカルブラック（以下、オプティカルブラックはＯＢと略す）部１０１、水平ＯＢ部１０２及び有効画素部１０３を有する。この補正方法では、図２のように、撮影毎に垂直ＯＢ部１０１を一定数のＯＢ毎の領域に分割する。そして、図３に示すように、垂直ＯＢ部の出力３０１から領域毎のＯＢ平均値３０２を算出する。そして、図４に示すように、線形近似で補間処理を行い、シェーディング補正データ４０１をリアルタイムに取得し、シェーディング補正を行う。

特開２００４−１１２４７４号公報（［００１１］［００１２］［００１３］、図１３） 特開２００４−３５０１０３号公報（［０００６］〜［００４４］）

しかしながら、固体撮像素子で撮像した画像にはランダムノイズがある。ランダムノイズは有効画素部１０３、垂直ＯＢ部１０１及び水平ＯＢ部１０２のいずれにも発生する。よって、領域毎に垂直ＯＢ部１０１の出力の平均値から生成したシェーディング補正データにもランダムノイズの影響が発生する。ランダムノイズが存在する画像のシェーディング補正データの例を、図５を参照しながら説明する。

ランダムノイズが重畳された垂直ＯＢ部１０１の出力５０１により、垂直ＯＢ部出力の領域毎の平均値５０２を算出する。垂直ＯＢ部出力の平均値５０２はランダムノイズの重畳しない理想状態である図３のシェーディングなき領域５、６、７、８、９において、段差が発生する。

この段差が発生した垂直ＯＢ部出力の平均値５０２を線形近似してシェーディング補正データを生成した例が図６である。垂直ＯＢ部出力の平均値５０２においてランダムノイズ起因の段差が発生しているため、シェーディング補正データ６０１は図３のシェーディング変化なき領域５、６、７、８、９において、振幅を持ってしまう。

このランダムノイズの重畳したシェーディング補正データ６０１をもってシェーディング補正すると、シェーディング補正後の画像も図３のシェーディング変化なき領域５、６、７、８、９にて振幅をもってしまい、画質が劣化してしまう。

特に、一様光によるシェーディング補正後の画像においては図３のシェーディング変化なき領域５、６、７、８、９にて発生する振幅が肉眼によって顕著に見えてしまい、画質の劣化が問題になっていた。

以上のように、シェーディング補正データにランダムノイズが重畳され、そのシェーディング補正データからシェーディング補正を行うことによって画像に段差が発生してしまう問題がある。

本発明の目的は、毎回の撮影時にリアルタイムでランダムノイズの影響の少ないシェーディング補正データを生成し、環境の変化に対応した高精度のシェーディング補正を可能とすることである。

本発明の画像処理装置は、遮光されていない複数の光電変換素子を有する有効画素部及び遮光された複数の光電変換素子を有するオプティカルブラック部を含む固体撮像素子と、前記オプティカルブラック部を複数の領域に分割し、前記複数の領域の出力信号の平均値を基に前記複数の領域間のシェーディングの変化の有無を判定する判定部と、前記複数の領域間のシェーディングの変化がないと判定されたときには前記複数の領域のシェーディング補正データが同じなるようにシェーディング補正データを生成する生成部とを有することを特徴とする。

また、本発明の画像処理方法は、遮光された複数の光電変換素子を有するオプティカルブラック部を複数の領域に分割し、前記複数の領域の出力信号の平均値を基に前記複数の領域間のシェーディングの変化の有無を判定する判定ステップと、前記複数の領域間のシェーディングの変化がないと判定されたときには前記複数の領域のシェーディング補正データが同じなるようにシェーディング補正データを生成する生成ステップとを有することを特徴とする。

毎回の撮影時にリアルタイムでランダムノイズの影響の少ないシェーディング補正データを生成し、環境の変化に対応した高精度のシェーディング補正が可能になる。

以下、図面に基づいて本発明の実施の形態を詳細に説明する。
（第１の実施形態）
図１３は、本発明の第１の実施形態による画像処理装置の構成例を示す図である。画像処理装置は、固体撮像素子１３０１、シェーディング補正データ設定部１３０１、補間処理部１３０５及びシェーディング補正部１３０６を有する。シェーディング補正データ設定部１３０１は、三領域ＯＢ出力平均値算出部１３０２、判定部１３０３及びＯＢ出力平均値設定部１３０４を有する。

以下、画像処理装置の画像処理方法を説明する。図１に示すように、固体撮像素子１３０１は、それぞれが複数の光電変換素子を有する垂直オプティカルブラック部１０１、水平オプティカルブラック部１０２及び有効画素部１０３を有する。以下、垂直オプティカルブラック部１０１を垂直ＯＢ部１０１といい、水平オプティカルブラック部１０２を水平ＯＢ部１０２という。光電変換素子は、例えばフォトダイオードであり、光電変換により画像信号を生成する。固体撮像素子１３０１は、遮光されていない複数の光電変換素子を有する有効画素部１０３及び遮光された複数の光電変換素子を有するオプティカルブラック部（以下、ＯＢ部という）１０１，１０２を含む。ＯＢ部１０１及び１０２内の光電変換素子は、受光部が遮光されているため、オフセットのノイズ成分の画像信号を生成することができる。有効画素部１０３内の光電変換素子は、被写体に応じた画像信号を生成することができる。

固体撮像素子１３０１は、図２に示すように、撮影毎に垂直ＯＢ部１０１を一定数のＯＢ毎の領域に分割される。シェーディング補正データ設定部１３１０は、図３に示すように、垂直ＯＢ部１０１の出力信号３０１から領域毎の平均値３０２を算出する。なお、以下、垂直ＯＢ部１０１を複数の領域に分割して処理する場合を例に説明するが、水平ＯＢ部１０２を複数の領域に分割して処理するようにしてもよい。

図７は、本実施形態によるシェーディング補正データ設定部１３１０の処理例を示すフローチャートであり、図８は図７を詳細に説明するための図である。シェーディング補正データ設定部１３０１は、シェーディング補正データ設定を行う。

説明を簡単にするため、シェーディング判定処理に用いる垂直ＯＢ部１０１の出力平均値の移動平均を求める対象の領域数は３とする。

上記のように、画像のＯＢ部を一定数含んだ領域に分割し、領域毎のＯＢ部出力の平均値を算出する。次に、ステップＳ７０１にて、シェーディング補正データの設定を開始する。次に、ステップＳ７０２にてシェーディング判定処理領域中心DECEIDE_AREA＝１と設定する。次に、ステップＳ７０３にてDECIDE_AREAに１を加算してシェーディング判定処理領域中心DECIDE_AREA=2とする。

そして、ステップＳ７０４にて、三領域ＯＢ出力平均値算出部１３０２は、隣接する三領域のＯＢ部出力平均値である３AREA_AVEを算出する。隣接する三領域は図８のようにシェーディング判定処理領域中心DECIDE_AREAを中心にした三つの領域であり、隣接する三領域のＯＢ部出力平均値８０１は３AREA_AVEとして図示される。

よってシェーディング判定処理領域中心DECIDE_AREA=2であるため、領域１、２、３のＯＢ部出力が三領域のＯＢ部出力平均値（３AREA_AVE）８０１の算出の対象となる。

そしてステップＳ７０５及びＳ７０６にて、判定部１３０３は、シェーディング変化の有無を判定する。ステップＳ７０５にて、判定部１３０３は、三領域ＯＢ部出力平均値８０１から任意の閾値σ１を減算した値よりもシェーディング判定処理領域中心DECIDE_AREAのＯＢ部出力平均値AREA_AVEが大きいかを判定する。判定結果が真ならばステップＳ７０６にて、判定部１３０３は、三領域ＯＢ部出力平均値８０１から任意の閾値σ１を加算した値よりもシェーディング判定処理領域中心DECIDE_AREAのＯＢ部出力平均値AREA_AVEが小さいかを判定する。これは図８ならばDECIDE_AREAのＯＢ部出力平均値AREA_AVEが３AREA_AVE−σ１〜３AREA_AVE＋σ１の範囲８０２内であるかを判定している。

ステップＳ７０６の判定結果が真であれば、シェーディングは無いのでステップＳ７０７へ進む。ステップＳ７０７では、ＯＢ出力平均値設定部１３０４は、DECIDE_AREAのＯＢ部出力平均値AREA_AVEとして、隣接する三領域のＯＢ部出力平均値（３AREA_AVE）８０１を設定する。つまり、シェーディング判定処理領域中心DECIDE_AREA=2のＯＢ部出力平均値AREA_AVEとして、領域１、２、３のＯＢ部出力の平均値８０１を設定する。

ステップＳ７０７の処理を終えた後、もしくはステップＳ７０５又はＳ７０６の判定が偽でありシェーディング変化が有る場合はステップＳ７０８にて次に判定を行う領域が存在するかを判断する。この例でシェーディング判定には三領域を使用しているため、DECIDE_AREAが最終領域LAST_AREA-1に等しいかを判断する。

このステップＳ７０８の判断結果が偽であれば、ステップＳ７０３にてDECIDE_AREAに１を加算してシェーディング判定処理領域中心を隣にシフトさせ、ステップＳ７０４以降の処理を繰り返す。

ステップＳ７０８の判断結果が真であれば、ステップＳ７０９にてシェーディング補正データの設定を終了する。

以上より、シェーディング補正データ設定部１３１０は、シェーディングある領域にはＯＢ部の出力の平均値を、シェーディング変化なき複数領域間では前記領域間のＯＢ部の出力の平均値を再演算した値をシェーディング変化なき複数領域の平均値とする。その後、図４に示すように、補間処理部１３０５は、各領域の平均値を線形近似で補間処理してシェーディング補正データ４０１を生成する。シェーディング補正部１３０６は、シェーディング補正データ４０１をリアルタイムに取得し、シェーディング補正を行う。具体的には、シェーディング補正部１３０６は、有効画素部１０３の画像信号からシェーディング補正データ４０１を減算することにより、シェーディング補正を行う。よって、シェーディング変化なき領域のシェーディング補正データ４０１はＯＢ部の出力の平均値の再演算により扱うＯＢ部の出力の母数が増えてランダムノイズの影響を受けづらくなり、シェーディング補正によって高画質の画像を得ることが可能となる。

（第２の実施形態）
図９は、本発明の第２の実施形態によるシェーディング補正データ設定部１３０１の処理例を示すフローチャートであり、図１０は図９を詳細に説明するための図である。以下、本実施形態が第１の実施形態と異なる点を説明する。

説明を簡単にするため、シェーディング判定処理に用いる垂直ＯＢ部１０１の出力平均値の移動平均を求める対象の領域数は３とする。

シェーディング補正データ設定部１３０１は、画像のＯＢ部を一定数含んだ領域に分割し、領域毎のＯＢ部出力の平均値を算出する。次に、ステップＳ９０１にてシェーディング補正データの設定を開始する。ステップＳ９０２にてシェーディング判定処理領域中心DECEIDE_AREA＝２と設定する。次に、ステップＳ９０３にてDECIDE_AREAに１を加算してシェーディング判定処理領域中心DECIDE_AREA=３とする。

そして、ステップＳ９０４にて、三領域ＯＢ出力平均値算出部１３０２は、隣接する左三領域のＯＢ部出力平均値であるLEFT_３AREA_AVE１を算出する。隣接する左三領域は図１０のようにシェーディング判定処理領域中心DECIDE_AREAを含んだ三つの領域であり、隣接する左三領域のＯＢ部出力平均値１００１はLEFT_３AREA_AVE1として図示される。

よってシェーディング判定処理領域中心DECIDE_AREA=3であるため、領域１、２、３のＯＢ部出力が平均値（LEFT_３AREA_AVE１）１００１の算出の対象となる。

さらに、ステップＳ９０５にて、三領域ＯＢ出力平均値算出部１３０２は、隣接する右三領域のＯＢ部出力平均値であるRIGHT_３AREA_AVE１を算出する。隣接する右三領域は図１０のようにシェーディング判定処理領域中心DECIDE_AREAを含んだ三つの領域であり、隣接する右三領域のＯＢ部出力平均値１００２はRIGHT_３AREA_AVE1として図示される。

よってシェーディング判定処理領域中心DECIDE_AREA=3であるため、領域３、４、５のＯＢ部出力が平均値（RIGHT_３AREA_AVE１）１００２の算出の対象となる。

そしてステップＳ９０６にて、判定部１３０３は、シェーディング変化の有無を判定する。ステップＳ９０６にて、判定部１３０３は、左三領域ＯＢ部出力平均値LEFT_３AREA_AVE１から右三領域ＯＢ部出力平均値RIGHT_３AREA_AVE１を減算した値の絶対値１００３が任意の閾値σ２よりも小さいかを判定する。

これは図１０ならば左三領域ＯＢ部出力平均値（LEFT_３AREA_AVE１）１００１から右三領域ＯＢ部出力平均値（RIGHT_３AREA_AVE１）１００２を減算した値の絶対値１００３として図示される。この絶対値１００３が閾値σ２よりも小さいかを判定する。

ステップＳ９０６の判定結果が真であれば、シェーディング変化は無いのでステップＳ９０７に進む。ステップＳ９０７では、ＯＢ出力平均値設定部１３０４は、DECIDE_AREAのＯＢ部出力平均値AREA_AVEとして、左三領域ＯＢ部出力平均値１００１から右三領域ＯＢ部出力平均値１００２を加算後、２で除算した値を設定する。

ステップＳ９０７の処理を終えた後、もしくはステップＳ９０６の判定が偽でありシェーディング変化が有る場合はステップＳ９０８にて次に判定を行う領域が存在するかを判断する。この例でシェーディング判定には右三領域を使用しているため、DECIDE_AREAが最終領域LAST_AREA-２に等しいかを判断する。

このステップＳ９０８の判断結果が偽であれば、ステップＳ９０３にてDECIDE_AREAに１を加算してシェーディング判定処理領域中心を隣にシフトさせ、ステップＳ９０４以降の処理を繰り返す。

ステップＳ９０８の判断結果が真であれば、ステップＳ９０９にてシェーディング補正データの設定を終了する。

以上より、シェーディング補正データ設定部１３１０は、シェーディングある領域にはＯＢ部の出力の平均値を、シェーディング変化なき複数領域間では前記領域間のＯＢ部の出力の平均値を再演算した値をシェーディング変化なき複数領域の平均値とする。その後、図４に示すように、補間処理部１３０５は、各領域の平均値を線形近似で補間処理してシェーディング補正データ４０１を生成する。シェーディング補正部１３０６は、シェーディング補正データ４０１を用いて有効画素部１０３の画像データをシェーディング補正する。よって、シェーディング変化なき領域のシェーディング補正データ４０１はＯＢ部の出力の平均値の再演算により扱うＯＢ部の出力の母数が増えてランダムノイズの影響を受けづらくなり、シェーディング補正によって高画質の画像を得ることが可能となる。

（第３の実施形態）
図１１は、本発明の第３の実施形態によるシェーディング補正データ設定部１３１０の処理例を示すフローチャートであり、図１２は図１１を詳細に説明するための図である。以下、本実施形態が第１の実施形態と異なる点を説明する。

説明を簡単にするため、シェーディング判定処理に用いる垂直ＯＢ部１０１の出力平均値の移動平均を求める対象の領域数は３とする。

シェーディング補正データ設定部１３１０は、画像のＯＢ部出力部を一定数含んだ領域に分割し、領域毎のＯＢ部出力の平均値を算出する。次に、ステップＳ１１０１にてシェーディング補正データの設定を開始する。次に、ステップＳ１１０２にてシェーディング判定処理領域中心DECEIDE_AREA＝３と設定する。次に、ステップＳ１１０３にてDECIDE_AREAに１を加算してシェーディング判定処理領域中心DECIDE_AREA=４とする。

そして、ステップＳ１１０４にて、三領域ＯＢ出力平均値算出部１３０２は、隣接する左三領域のＯＢ部出力平均値であるLEFT_３AREA_AVE２を算出する。隣接する左三領域は図１２のようにシェーディング判定処理領域中心DECIDE_AREAを含まない三つの領域であり、隣接する左三領域のＯＢ部出力平均値１２０１はLEFT_３AREA_AVE２として図示される。

よってシェーディング判定処理領域中心DECIDE_AREA=４であるため、領域１、２、３のＯＢ部出力が平均値（LEFT_３AREA_AVE２）１２０１の算出の対象となる。

さらに、ステップＳ１１０５にて、三領域ＯＢ出力平均値算出部１３０２は、隣接する右三領域のＯＢ部出力平均値であるRIGHT_３AREA_AVE２を算出する。隣接する右三領域は図１２のようにシェーディング判定処理領域中心DECIDE_AREAを含まない三つの領域であり、隣接する右三領域のＯＢ部出力平均値１２０２はRIGHT_３AREA_AVE２として図示される。

よってシェーディング判定処理領域中心DECIDE_AREA=４であるため、領域５、６、７のＯＢ部出力が平均値（RIGHT_３AREA_AVE２）１２０２の算出の対象となる。

そしてステップＳ１１０６にて、判定部１３０３は、シェーディング変化の有無を判定する。ステップＳ１１０６にて、判定部１３０３は、左三領域ＯＢ部出力平均値１２０１から右三領域ＯＢ部出力平均値１２０２を減算した値の絶対値１２０３が任意の閾値σ３よりも小さいかを判定する。

これは図１２ならば左三領域ＯＢ部出力平均値（LEFT_３AREA_AVE２）１２０１から右三領域ＯＢ部出力平均値（RIGHT_３AREA_AVE２）１２０２を減算した値の絶対値１２０３として図示される。この絶対値１２０３が閾値σ３よりも小さいかを判定する。

ステップＳ１１０６の判定結果が真であれば、シェーディングは無いのでステップＳ１１０７に進む。ステップＳ１１０７では、ＯＢ出力平均値設定部１３０４は、DECIDE_AREAのＯＢ部出力平均値AREA_AVEとして、左三領域ＯＢ部出力平均値１２０１から右三領域ＯＢ部出力平均値１２０２を加算後、２で除算した値を設定する。

ステップＳ１１０７の処理を終えた後、もしくはステップＳ１１０６の判定が偽でありシェーディング変化が有る場合はステップＳ１１０８にて次に判定を行う領域が存在するかを判断する。この例でシェーディング判定には右三領域を使用しているため、DECIDE_AREAが最終領域LAST_AREA-３に等しいかを判断する。

このステップＳ１１０８の判断結果が偽であれば、ステップＳ１１０３にてDECIDE_AREAに１を加算してシェーディング判定処理領域中心を隣にシフトさせ、ステップＳ１１０４以降の処理を繰り返す。

ステップＳ１１０８の判断結果が真であれば、ステップＳ１１０９にてシェーディング補正データの設定を終了する。

以上より、シェーディング補正データ設定部１３１０は、シェーディングある領域にはＯＢ部の出力の平均値を、シェーディング変化なき複数領域間では前記領域間のＯＢ部の出力の平均値を再演算した値をシェーディング変化なき複数領域の平均値とする。その後、図４に示すように、補間処理部１３０５は、各領域の平均値を線形近似で補間処理してシェーディング補正データ４０１を生成する。シェーディング補正部１３０６はシェーディング補正データ４０１を用いて有効画素部１０３の画像信号をシェーディング補正する。よって、シェーディング変化なき領域のシェーディング補正データ４０１はＯＢ部の出力の平均値の再演算により扱うＯＢ部の出力の母数が増えてランダムノイズの影響を受けづらくなり、シェーディング補正によって高画質の画像を得ることが可能となる。

以上、本発明を上記の実施形態によって説明してきたが、本発明の技術的範囲は上記実施形態に限定されるものではない。例えば、第１の実施形態と同様の構成のシェーディング補正データの設定方法において、三領域のＯＢ部出力平均値である３AREA_AVEを算出する際に、領域によってＯＢ部出力に重み付け係数をつけてもよい。

以上のように、上記実施形態によれば、撮影毎にリアルタイムでシェーディング補正データ設定を行う際に、領域単位のＯＢ部出力平均値からシェーディング変化量を検出する。そして、シェーディング変化なしと判定された領域では他領域のＯＢ部出力もＯＢ部出力平均値の算出に用いて母数を増やし、ランダムノイズがシェーディング補正データに重畳されないようにする。

具体的には、複数の有効画素と複数のＯＢとを有する固体撮像素子からの画像のシェーディング補正において、撮影毎にリアルタイムに画像のＯＢを一定数含んだ領域に分割する。そして、領域毎のＯＢ部出力の平均値からシェーディング変化量を抽出してシェーディング変化の有無の判定を行うシェーディング判定処理を行い、シェーディング変化なき複数領域間のＯＢ部出力から平均値の再演算を行う。そして、その再演算した平均値をシェーディング変化なき複数領域の平均値とし、しかる後に、各領域の平均値を補間することによりシェーディング補正データを生成し、シェーディング補正する。

以上のように、シェーディング変化ある領域にはＯＢ部の出力の平均値を、シェーディング変化なき複数領域間では前記領域間のＯＢ部の出力の平均値を再演算した値をシェーディング変化なき複数領域の平均値とする。そして、しかる後に、各領域の平均値を補間してシェーディング補正データを生成する。よって、シェーディング変化なき領域のシェーディング補正データはＯＢ部の出力の平均値の再演算により扱うＯＢ部の出力の母数が増えてランダムノイズの影響を受けづらくなり、シェーディング補正によって高画質の画像を得ることが可能となる。

上記実施形態は、固体撮像素子（ＣＭＯＳセンサ）１３０１のＯＢ（オプティカルブラック）信号の補正及び信号処理を行う。具体的には、上記実施形態は、垂直ＯＢ部（画素領域の上部もしくは下部に配された領域）１０１を水平方向に区分し、各領域ごとのＯＢ部平均値を求め、隣り合った領域でＯＢ部平均値が同等ならば、その隣り合う領域を結合して１つの領域として扱う。これにより、水平方向にＯＢ信号のシェーディングが発生した時に、シェーディングの影響を抑制しつつ、ランダムノイズ等が低減された好適な黒信号を得ることが可能となる。

固体撮像素子１３０１は、遮光されていない複数の光電変換素子を有する有効画素部１０３及び遮光された複数の光電変換素子を有するＯＢ部１０１，１０２を含む。三領域ＯＢ出力平均値算出部１３０２及び判定部１３０３は、前記ＯＢ部１０１又は１０２を複数の領域に分割し、前記複数の領域の出力信号の平均値AREA_AVEを基に前記複数の領域間のシェーディングの変化の有無を判定する。ＯＢ出力平均値設定部１３０４及び補間処理部１３０５は、前記複数の領域間のシェーディングの変化がないと判定されたときには前記複数の領域のシェーディング補正データが同じなるようにシェーディング補正データを生成する生成部である。シェーディングの変化がないと判定されたときには、前記複数の領域の出力信号の平均値AREA_AVEが同じ値になり、補間処理により、前記複数の領域のシェーディング補正データが同じになる。

第１の実施形態では、三領域ＯＢ出力平均値算出部１３０２は、一の領域に隣接する複数領域の出力信号の平均値の移動平均値を演算する。判定部１３０３は、前記一の領域の出力信号の平均値AREA_AVEが前記移動平均値に対して閾値の範囲内であるときにはシェーディングの変化なしと判定する。

第２及び第３の実施形態では、三領域ＯＢ出力平均値算出部１３０２は、一の領域の前（左）に隣接する複数領域の出力信号の平均値の移動平均値と、後（右）に隣接する複数領域の出力信号の平均値の移動平均値とを演算する。判定部１３０３は、その２個の移動平均値の差が閾値以下であるときにはシェーディングの変化なしと判定する。

第２の実施形態では、前記一の領域の前に隣接する複数領域及び後に隣接する複数領域は、前記一の領域を含む領域である。第３の実施形態では、前記一の領域の前に隣接する複数領域及び後に隣接する複数領域は、前記一の領域を含まない領域である。

ＯＢ出力平均値設定部１３０４は、前記複数の領域間のシェーディングの変化がないと判定されたときには前記複数の領域の出力信号の平均値を同じ値に修正する。補間処理部１３０５は、前記複数の領域の出力信号の平均値を補間することによりシェーディング補正データを生成する。シェーディング補正部１３０６は、前記シェーディング補正データを用いて前記有効画素部１０３の出力信号を補正する。

前記ＯＢ部は、水平方向に延びる垂直ＯＢ部１０１であり、三領域ＯＢ出力平均値算出部１３０２及び判定部１３０３は、前記ＯＢ部を水平方向の複数の領域に分割する。これにより、シェーディング補正部１３０６は、水平シェーディングを補正することができる。

また、前記ＯＢ部は、垂直方向に延びる水平ＯＢ部１０２であり、三領域ＯＢ出力平均値算出部１３０２及び判定部１３０３は、前記ＯＢ部を垂直方向の複数の領域に分割する。これにより、シェーディング補正部１３０６は、垂直シェーディングを補正することができる。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

固体撮像素子の有効画素とＯＢ部の配置を説明する図である。 固体撮像素子のＯＢ部の領域分割を説明する図である。 シェーディングを有するＯＢ部出力と領域毎のＯＢ部出力平均値を説明する図である。 従来のシェーディング補正データ設定の例を説明する図である。 シェーディングを有する、ランダムノイズが重畳されたＯＢ部出力と領域毎のＯＢ部出力平均値を説明する図である。 従来のランダムノイズが重畳されたＯＢ部出力によるシェーディング補正データ設定の例を説明する図である。 本発明の第１の実施形態によるシェーディング補正データ設定部の処理例を示すフローチャートである。 本発明の第１の実施形態によるシェーディング補正データ設定部の処理例を示す図である。 本発明の第２の実施形態によるシェーディング補正データ設定部の処理例を示すフローチャートである。 本発明の第２の実施形態によるシェーディング補正データ設定部の処理例を示す図である。 本発明の第３の実施形態によるシェーディング補正データ設定部の処理例を示すフローチャートである。 本発明の第３の実施形態によるシェーディング補正データ設定部の処理例を示す図である。 本発明の第１の実施形態による画像処理装置の構成例を示す図である。

符号の説明

１０１ 垂直ＯＢ部
１０２ 水平ＯＢ部
１０３ 有効画素部
１３０１ 固体撮像素子
１３０２ 三領域ＯＢ出力平均値算出部
１３０３ 判定部
１３０４ ＯＢ出力平均値設定部
１３０５ 補間処理部
１３０６ シェーディング補正部
１３１０ シェーディング補正データ設定部

Claims (10)

1. 遮光されていない複数の光電変換素子を有する有効画素部及び遮光された複数の光電変換素子を有するオプティカルブラック部を含む固体撮像素子と、
   前記オプティカルブラック部を複数の領域に分割し、前記複数の領域の出力信号の平均値を基に前記複数の領域間のシェーディングの変化の有無を判定する判定部と、
   前記複数の領域間のシェーディングの変化がないと判定されたときには前記複数の領域のシェーディング補正データが同じなるようにシェーディング補正データを生成する生成部と
   を有することを特徴とする画像処理装置。
2. 前記判定部は、一の領域に隣接する複数領域の出力信号の平均値の移動平均値を演算し、前記一の領域の出力信号の平均値が前記移動平均値に対して閾値の範囲内であるときにはシェーディングの変化なしと判定することを特徴とする請求項１記載の画像処理装置。
3. 前記判定部は、一の領域の前に隣接する複数領域の出力信号の平均値の移動平均値と、後に隣接する複数領域の出力信号の平均値の移動平均値との差が閾値以下であるときにはシェーディングの変化なしと判定することを特徴とする請求項１記載の画像処理装置。
4. 前記一の領域の前に隣接する複数領域及び後に隣接する複数領域は、前記一の領域を含む領域であることを特徴とする請求項３記載の画像処理装置。
5. 前記一の領域の前に隣接する複数領域及び後に隣接する複数領域は、前記一の領域を含まない領域であることを特徴とする請求項３記載の画像処理装置。
6. さらに、前記シェーディング補正データを用いて前記有効画素部の出力信号を補正するシェーディング補正部を有することを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
7. 前記生成部は、前記複数の領域間のシェーディングの変化がないと判定されたときには前記複数の領域の出力信号の平均値を同じ値に修正し、前記複数の領域の出力信号の平均値を補間することによりシェーディング補正データを生成することを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
8. 前記オプティカルブラック部は、水平方向に延びる垂直オプティカルブラック部であり、
   前記判定部は、前記オプティカルブラック部を水平方向の複数の領域に分割することを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
9. 前記オプティカルブラック部は、垂直方向に延びる水平オプティカルブラック部であり、
   前記判定部は、前記オプティカルブラック部を垂直方向の複数の領域に分割することを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
10. 遮光された複数の光電変換素子を有するオプティカルブラック部を複数の領域に分割し、前記複数の領域の出力信号の平均値を基に前記複数の領域間のシェーディングの変化の有無を判定する判定ステップと、
    前記複数の領域間のシェーディングの変化がないと判定されたときには前記複数の領域のシェーディング補正データが同じなるようにシェーディング補正データを生成する生成ステップと
    を有することを特徴とする画像処理方法。

Images