JP2007300179A - 画像処理方法及び画像処理回路 - Google Patents

Abstract

【課題】不自然な縦筋の発生を抑制することのできる画像処理方法及び画像処理回路を提供すること。
【解決手段】第１垂直オプティカルブラック領域から出力されるノイズ検出信号に基づいて算出された列毎且つ色毎の補正値Ｃに対してオフセット処理を施す。次に、そのオフセット処理された補正値Ｃ１にＦＩＲフィルタ処理を施してノイズ補正信号ＮＣを生成し、有効画素領域から出力される有効撮像信号Ｓ_Ｅからノイズ補正信号ＮＣを減算する。そして、補正された有効撮像信号ＣＳ_Ｅに対して水平ＬＰＦ処理を施して出力画像データとして表示装置に出力する。
【選択図】図４

Description

本発明は、画像処理方法及び画像処理回路に係り、詳しくは固体撮像装置における撮像データのノイズ補正に関するものである。
従来、固体撮像装置にはＣＣＤ（Charge Coupled Devices）イメージセンサやＣＭＯＳイメージセンサ等の固体撮像素子が用いられている。これらの固体撮像装置から出力される画像データには、固体撮像装置の構造等の要因に基づく縦筋等の不具合が存在することがあるため、不具合の低減が求められている。

従来、ＣＣＤイメージセンサを使用した固体撮像装置においては、ＣＣＤイメージセンサ特有の現象として、強烈な光が入射したときに発生するスミア現象による画質劣化が問題となっている。この現象は本来の電荷蓄積領域に捕捉しきれなかった電荷がポテンシャル領域を乗り越えて垂直転送路に漏れ込むことによるものであり、通常の定常的な光に起因する場合は、これが垂直転送期間にわたって発生するため、例えばスポット光の場合はその上下に延びる縦筋になる。

このスミア現象を抑制する方法としては、スミアがその発生原理から垂直方向にほぼ同レベルで生じることに着目して、イメージセンサ部のうち遮光された垂直オプティカルブラック領域の出力レベルを基準信号とし、これを有効画素領域の画素値から減算する方法が知られている（例えば特許文献１）。すなわち、イメージセンサ部を、光が入射される有効画素領域と、遮光されたオプティカルブラック領域とに区分し、そのオプティカルブラック領域のうち、列方向の黒基準となる垂直オプティカルブラック領域をスミア検出領域として使用する。図５に示すように、まずＣＣＤイメージセンサ（固体撮像素子）からの撮像信号Ｓは、選択回路５０によって、有効画素領域から出力された有効撮像信号Ｓ_Ｅと垂直オプティカル領域から出力されたノイズ検出信号Ｓ_Ｄとに分離される。そして、選択回路５０は、その有効撮像信号Ｓ_Ｅを演算器５１に出力するとともに、ノイズ検出信号Ｓ_Ｄを積分回路５２に出力する。このノイズ検出信号Ｓ_Ｄは、積分回路５２において垂直積分（加算平均）されランダムノイズが除去されて、水平１ライン分の容量をもつラインメモリ５３に格納される。このラインメモリ５３に格納されたノイズ検出信号Ｓ_Ｄは、ＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）処理部５４に出力されノイズ検出信号Ｓ_Ｄのノイズ成分を除去するためのＬＰＦ処理が施されて、ＬＰＦ処理後のノイズ検出信号Ｓ_Ｄが上記演算器５１に出力される。そして、このＬＰＦ処理されたノイズ検出信号Ｓ_Ｄを各水平ラインの前記有効撮像信号Ｓ_Ｅから減算することによって、スミア補正済みの出力画像データが得られる。
特開平７−６７０３８号公報

ところが、撮像装置に使用されているイメージセンサには出力レベルに限界があり、その出力レベルを超えるような強い光を受光した場合には、上記のようなスミア補正ではかえって画質劣化を発生することがある。すなわち、出力レベルの飽和したスミア部分では、有効撮像信号Ｓ_Ｅが出力レベルの最大値となり、その有効撮像信号Ｓ_Ｅに対応するノイズ検出信号Ｓ_Ｄも同じ値となるため、スミア補正後の出力（有効撮像信号Ｓ_Ｅ−ノイズ検出信号Ｓ_Ｄ）は、スミアの発生しない本来のレベルよりも低くなってしまう。従って、その出力レベルの飽和したスミア部分は、スミア補正後に不自然な暗い縦筋になるという問題がある。

一方、ＣＭＯＳイメージセンサ、その中でも特にカラム読み出し方式のＣＭＯＳイメージセンサを使用した撮像装置では、カラム毎に設けられたアンプの製造プロセスばらつきなどが原因で、その各々の入出力特性にばらつきが生じ、出力画像に縦に筋を帯びた固定パターンノイズ（縦筋のノイズ）が発生して不自然な画像になるという問題がある。

本発明は上記問題点を解決するためになされたものであって、その目的は、不自然な縦筋の発生を抑制することのできる画像処理方法及び画像処理回路を提供することにある。

上記目的を達成するため、請求項１，６に記載の発明によれば、非撮像領域から出力される画素値に基づいて算出された列毎のノイズ補正値に対して、そのノイズ補正値が正の値のときには予め設定された減算値を減算し、そのノイズ補正値が負の値のときには予め設定された加算値を加算する演算処理を行うオフセット処理を施すようにしたため、絶対値の大きなノイズ補正値のレベルを「０」に近づけることができる。これによって、例えば飽和したノイズ補正値のレベルを下げることができるため、ＣＣＤイメージセンサにおける飽和したスミアに対してこのノイズ補正値により補正することによって、暗い不自然な縦筋の発生を抑制することができるようになる。

請求項２，７に記載の発明によれば、前記オフセット処理はさらに、前記ノイズ補正値に対する演算処理によって得られた演算結果の符号が元のノイズ補正値の符号と反対になるノイズ補正値を第１所定値に変換するようにしたため、絶対値の小さいノイズ補正値を第１所定値にすることができ、ノイズ補正値を水平方向に平坦化することができる。通常、ＣＣＤイメージセンサにおけるスミアを補正するためのノイズ補正値は、スミアが発生していない箇所ではなるべく平坦であることが望ましいため、このノイズ補正値を使用することによって好適にスミアを補正することができるようになる。

請求項３，８に記載の発明によれば、前記撮像領域から出力される画素値が予め設定されたしきい値よりも大きいときには、前記ノイズ補正値が減算されていない前記画素値を選択し、前記撮像領域から出力される画素値が前記しきい値よりも小さいときには、前記ノイズ補正値が減算された前記画素値を選択するようにした。すなわち、撮像領域から出力される画素値がしきい値よりも大きいときには、ノイズ補正値に基づく補正を中止するようにした。従って、例えばしきい値を、撮像領域から出力される画素値が飽和したときの値の近傍値に設定することによって、飽和した画素値に対してノイズ補正値による補正を行わないようにすることができる。その結果、簡単な回路構成によって、暗い不自然な縦筋の発生を好適に抑制することができる。

請求項４，１０に記載の発明によれば、前記ノイズ補正値を色毎に算出するようにしたため、撮像領域から出力される画素値に対するノイズ補正を色毎に施すことができるため、ノイズ補正の精度をより向上させることができる。

請求項５に記載の発明によれば、前記ノイズ補正値を、前記非撮像領域から出力された画素値のうち、欠陥画素から出力される画素値を除去するための通過範囲内にある画素値における画素毎の平均値を算出し、前記非撮像領域から出力される画素値の列毎の平均値から前記画素毎の平均値を減算して算出するようにした。この通過範囲によって、欠陥画素から出力される画素値、すなわち絶対値の大きすぎる画素値を除去することができる。従って、画素毎の平均値算出の精度を向上させることができ、ひいてはノイズ補正の精度を向上させることができる。

請求項９に記載の発明によれば、前記補正処理回路は、前記ノイズ補正値が予め設定した正の値である第１設定値と負の値である第２設定値との間の値であるときに、同ノイズ補正値を第２所定値に変換するコアリング処理を行うコアリング処理部と、当該画像処理回路に接続される前記固体撮像素子に応じて入力される第１選択信号に基づいて、同コアリング処理が施されたノイズ補正値及び前記オフセット処理が施されたノイズ補正値のうちいずれか一方を後段に出力する第２選択回路とをさらに備えるようにした。このコアリング処理部におけるコアリング処理では、絶対値の小さいノイズ補正値を第２所定値にしつつも、絶対値の大きいノイズ補正値のレベルは下がらない。従って、例えばＣＭＯＳイメージセンサにおけるアンプの製造プロセスばらつきによって生じる縦筋の固定パターンノイズを効果的に補正することができる。また、このコアリング処理及びオフセット処理をそれぞれ施した補正値のどちらか一方を選択することができるため、当該画像処理回路に接続される固体撮像素子のバリエーションを増大させることができる。

以上説明したように、本発明によれば、不自然な縦筋の発生を抑制することができる。

以下、本発明を具体化した画像処理回路を備えた固体撮像装置の一実施形態を図１〜図４に従って説明する。図１は、本実施形態にかかる固体撮像装置の全体構成の概要を示したブロック図である。図２は、カラーフィルタの配列構造を示した平面図である。

図１に示されるように、固体撮像装置の固体撮像素子１０は、ＣＣＤイメージセンサであり、受けた光を電気信号に変換する画素が行列状に配列されたイメージセンサ部１１が形成されている。このイメージセンサ部１１は、光が入射される撮像領域としての有効画素領域１３と、有効画素領域１３の周囲の画素をアルミニウム（Ａｌ）等の遮光膜で被覆した非撮像領域としてのオプティカルブラック（ＯＢ）領域１４とから構成されている。そして、オプティカルブラック領域１４は、有効画素領域１３の上側に形成されて列方向の黒基準となる第１垂直ＯＢ領域１５と、有効画素領域１３の下側に形成されて列方向の黒基準となる第２垂直ＯＢ領域１６と、有効画素領域１３の左右に形成されて行方向の黒基準となる水平ＯＢ領域１７とから構成されている。さらに、第１垂直ＯＢ領域１５は、ノイズ検出領域として使用され、画素平均値検波領域１５ａと列別平均値検波領域１５ｂとに区分される。

このイメージセンサ部１１には、図２に示すような同種の色フィルタ成分（赤（Ｒ）、青（Ｂ）、緑（Ｇ））がベイヤー配列されたカラーフィルタ１９が全面に形成されている。従って、イメージセンサ部１１の各画素は対応するカラーフィルタを通過した光を電気信号に変換する。

また、図１に示すように固体撮像素子１０であってイメージセンサ部１１の図中下側には、撮像信号出力部１８が形成されている。この撮像信号出力部１８は、イメージセンサ部１１から電気信号を入力し、その入力した電気信号を増幅して撮像信号Ｓとして画像処理回路２０に出力する。

撮像信号出力部１８から撮像信号Ｓが入力される画像処理回路２０は、検波処理回路３０と補正処理回路４０とから構成されており、撮像信号Ｓはそれら検波処理回路３０と補正処理回路４０とに入力される。ここで、撮像信号Ｓは、有効画素領域１３から出力される有効撮像信号Ｓ_Ｅと第１垂直オプティカルブラック領域１５から出力されるノイズ検出信号Ｓ_Ｄとが含まれ、読み出し位置又は読み出し順序に従って、有効撮像信号Ｓ_Ｅが補正処理回路４０に入力され、ノイズ検出信号Ｓ_Ｄが検波処理回路３０に入力される。そして、検波処理回路３０は入力されるノイズ検出信号Ｓ_Ｄに基づいて補正値Ｃを生成し、その補正値Ｃを補正処理回路４０に出力する。この補正処理回路４０は、入力される補正値Ｃをさらに補正処理してノイズ補正信号ＮＣ（図４参照）を生成し、有効撮像信号Ｓ_Ｅからそのノイズ補正信号ＮＣを減算してノイズ補正を行う。そして、補正処理回路４０は、ノイズ補正された撮像信号をディスプレイ等の表示装置に出力する。

なお、本実施形態の画像処理回路２０には、上記ＣＣＤイメージセンサからなる固体撮像素子１０の代わりに、ＣＭＯＳイメージセンサからなる固体撮像素子（図示略）が接続される。ＣＭＯＳイメージセンサからなる固体撮像素子は、ＣＣＤイメージセンサからなる固体撮像素子１０と同様の構成を持ち、遮光されていない有効画素領域にて電気信号に変換した有効撮像信号と遮光されたオプティカルブラック領域から出力されるノイズ検出信号とが含まれる撮像信号を出力する。そして、画像処理回路２０は、ＣＭＯＳイメージセンサからなる固体撮像素子から入力される撮像信号に対して、前述の処理と同様な処理を行ってノイズ補正した撮像信号を出力する。

次に、検波処理回路３０について図３に従って説明する。
検波処理回路３０の通過判定部３１とセレクタ（第４選択回路）ＳＥＬ１と列別平均演算部３２とには、第１垂直オプティカルブラック領域１５から撮像信号出力部１８を介して出力されるノイズ検出信号Ｓ_Ｄが入力される。詳しくは、通過判定部３１及びセレクタＳＥＬ１には、画素平均値検波領域１５ａから出力される信号（第１ノイズ検出信号）Ｓ_Ｄ１が入力され、列別平均演算部３２には、列別平均値検波領域１５ｂから出力される信号（第２ノイズ検出信号）Ｓ_Ｄ２が入力される。

通過判定部３１は、所定の上限値よりも大きい第１ノイズ検出信号Ｓ_Ｄ１あるいは所定の下限値よりも小さい第１ノイズ検出信号Ｓ_Ｄ１を欠陥画素から出力されたものと判断し、Ｌレベルの判定信号Ｊ１をセレクタＳＥＬ１に出力する。また、通過判定部３１は、上限値と下限値との間の第１ノイズ検出信号Ｓ_Ｄ１を正常画素から出力されたものと判断し、Ｈレベルの判定信号Ｊ１をセレクタＳＥＬ１に出力する。そして、セレクタＳＥＬ１は、Ｈレベルの判定信号Ｊ１に応答して、第１ノイズ検出信号Ｓ_Ｄ１をＯＢ値加算部３３に出力する。また、セレクタＳＥＬ１は、Ｌレベルの判定信号Ｊ１に応答して、後述する仮平均値メモリ３６から出力される仮平均値ＴＡＶＥをＯＢ値加算部３３に出力する。

ＯＢ値加算部３３は、判定信号Ｊ１により選択されるセレクタＳＥＬ１を通過して入力される第１ノイズ検出信号Ｓ_Ｄ１の画素値（ＯＢ値）あるいは、仮平均値メモリ３６の出力（仮平均値ＴＡＶＥ）を色毎に累積加算して、その加算値をＯＢ値平均演算部３４に出力する。そして、このＯＢ値平均演算部３４は、色毎に累積加算されたＯＢ値の仮平均値ＡＶＥを算出する。この仮平均値算出は、ＯＢ値平均演算部３４に接続されるＯＢ画素カウンタ３５のカウンタ値が２^ｎになったときに、そのＯＢ画素カウンタ３５から制御信号が入力されて行われる。そして、最終水平ラインにおいて算出される色毎の仮平均値ＴＡＶＥが最終的な色毎の平均値ＡＶＥとなる。なお、このＯＢ画素カウンタ３５のカウンタ値は、セレクタＳＥＬ１からＯＢ値あるいは仮平均値ＴＡＶＥが入力される度に色毎にカウントアップされるようになっている。

そして、ＯＢ値平均演算部３４は、２^ｎ毎に算出した色毎の仮平均値ＴＡＶＥを仮平均値メモリ３６に出力するとともに、最終水平ラインにおいて算出された色毎の平均値ＡＶＥを平均値メモリ３７に出力する。仮平均値メモリ３６は、ＯＢ値平均演算部３４で色毎の仮平均値ＡＶＥが算出される度に、対応する色の仮平均値ＴＡＶＥを更新して格納するとともに、その格納される仮平均値ＴＡＶＥを上記セレクタＳＥＬ１に出力する。ここで、前述したように、セレクタＳＥＬ１に通過判定部３１からＬレベルの判定信号Ｊ１が入力されている場合には、第１ノイズ検出信号Ｓ_Ｄ１の代わりに仮平均値ＴＡＶＥがＯＢ値加算部３３に出力される。本来、欠陥画素を省いて累積加算を行い、欠陥画素を省いた画素数で除算を行って平均値を算出する必要があるが、このように、代わりに仮平均値ＴＡＶＥを採用することで第１ノイズ検出信号Ｓ_Ｄ１が欠陥画素であってもなくても加算総回数に変化がない。すなわち、欠陥画素から出力された第１ノイズ検出信号Ｓ_Ｄ１が加算されないことにより、加算回数が２^ｎではなくなる場合にも、仮平均値ＴＡＶＥによって加算総回数が２^ｎになるため、平均値ＡＶＥを求める際の除算演算をビットシフトによって容易に行うことができるため、ＯＢ値平均演算部３４の回路構成を簡略化できる。

一方、平均値メモリ３７は、ＯＢ値平均演算部３４から入力された色毎平均値ＡＶＥをセレクタＳＥＬ２に出力する。セレクタＳＥＬ２には、この平均値ＡＶＥと併せて、予め算出されてレジスタＲ１に格納された演算値Ｖ０〜Ｖ３が入力される。ここで、Ｈレベルの選択信号ＳＭＯＢＳＬによって、セレクタＳＥＬ２は平均値ＡＶＥを列別平均演算部３２に出力し、Ｌレベルの選択信号ＳＭＯＢＳＬによって、セレクタＳＥＬ２は演算値Ｖ０〜Ｖ３が列別平均演算部３２に出力する。なお、演算値Ｖ０〜Ｖ３は、平均値ＡＶＥを算出するために使用した領域、すなわち画素平均値検波領域１５ａにおいて事前に算出した平均値や他の領域、例えば第２垂直ＯＢ領域１６における平均値等、予め所定のレジスタに格納されている値である。

一方、水平ラインを複数有する列別平均値検波領域１５ｂから第２ノイズ検出信号Ｓ_Ｄ２が入力される列別平均演算部３２は、複数の水平ラインのＯＢ値を、列別に、且つ色毎に累積加算する。その累積加算されたＯＢ値は、補正テーブルＴｂに格納されて、補正テーブルＴｂから列別平均演算部３２にフィードバックされ、次の水平ラインにおける演算に用いられる。そして、列別平均演算部３２は、列別の各色の最終水平ラインにおいて、下記式による演算処理が施され、列別であって赤（Ｒ）、青（Ｂ）、緑（Ｇ）色のそれぞれ１ライン分の補正値（ノイズ補正値）Ｃが算出されて、その各補正値Ｃが画素の水平位置に対応して補正テーブルＴｂに格納される。

補正値Ｃ＝列別色毎ＯＢ値加算結果／水平ライン数−色毎平均値ＡＶＥ
この補正テーブルＴｂは、入力画素の水平位置に対応する補正値Ｃを補正処理回路４０に出力する。

次に、補正処理回路４０について図４に従って説明する。
補正処理回路４０のオフセット処理部４１とコアリング処理部４２とには、検波処理回路３０の補正テーブルＴｂから出力される各補正値Ｃが入力される。オフセット処理部４１は、補正値Ｃが正の場合に予め設定された減算値を減算し、補正値Ｃが負の場合には予め設定された加算値を加算する。そして、その演算によって補正値Ｃの符号が反転した場合（すなわち、正→負あるいは負→正）にはその補正値Ｃを「０」（第１所定値）に変換する。これによって、例えば飽和した補正値Ｃのレベルを下げることができるため、ＣＣＤイメージセンサにおける飽和したスミアに対する補正によって生じる暗い縦筋の発生を抑制することができるようになる。また、スミア現象を補正するためのノイズ補正信号は、スミアが発生していない箇所ではなるべく平坦であることが望ましいため、絶対値の小さい補正値を「０」にすることによってより好適にスミア補正を施すことができるようになる。

一方、同様に補正値Ｃが入力されるコアリング処理部４２におけるコアリング処理は、予め設定された正の値である第１設定値から負の値である第２設定値の間にある補正値を「０」（第２所定値）に変換する。なお、コアリング処理は、補正値Ｃが第１設定値よりも大きい場合、あるいは第２設定値よりも小さい場合には、その補正値Ｃを変換せずにそのまま出力する。このコアリング処理では、オフセット処理と同様に絶対値の小さな補正値Ｃを「０」にしつつも、絶対値の大きい補正値Ｃのレベルは下がらない。従って、例えばＣＭＯＳイメージセンサにおけるアンプの製造プロセスばらつきによって生じる縦筋の固定パターンノイズを効果的に補正することができる。そのため、前述のようにＣＭＯＳイメージセンサからなる固体撮像素子を画像処理回路２０に接続しても、その固体撮像素子から出力される撮像データに含まれる縦筋のノイズを効果的に補正することができる。

そして、オフセット処理部４１及びコアリング処理部４２は、それぞれ処理を施した補正値Ｃ１及びＣ２をセレクタ（第２選択回路）ＳＥＬ３に出力する。このセレクタＳＥＬ３は、Ｈレベルの選択信号ＳＭＣＭＤによってオフセット処理済みの補正値Ｃ１をＦＩＲフィルタ処理部４３に出力し、Ｌレベルの選択信号ＳＭＣＭＤによってコアリング処理済みの補正値Ｃ２をＦＩＲフィルタ処理部４３に出力する。なお、この選択信号ＳＭＣＭＤは、画像処理回路２０に接続される固体撮像素子１０を構成するイメージセンサの種類に応じて決定される。例えば、ＣＣＤイメージセンサからなる固体撮像素子１０の場合には、Ｈレベルの選択信号ＳＭＣＭＤがセレクタＳＥＬ３に出力され、前述したＣＭＯＳイメージセンサからなる固体撮像素子の場合には、Ｌレベルの選択信号ＳＭＣＭＤがセレクタＳＥＬ３に出力される。

ＦＩＲフィルタ処理部４３は、入力される補正値Ｃ１あるいはＣ２に対してＦＩＲフィルタ処理を施してノイズ補正信号ＮＣを生成する。これによって、補正値のノイズ成分を除去し、水平方向における補正値の急激な段差をなめらかに変換することができる。そして、ＦＩＲフィルタ処理部４３は、生成したノイズ補正信号ＮＣを演算器４４に出力する。なお、このＦＩＲフィルタ処理部４３は、フィルタ係数を任意に設定することができるため、所望の周波数特性を実現することができ、補正の精度を向上させることができる。

一方、有効画素領域１３から撮像信号出力部１８を介して出力される有効撮像信号Ｓ_Ｅは、演算器４４と比較器４５とセレクタ（第１選択回路）ＳＥＬ４とに入力される。このようにしてノイズ補正信号ＮＣと、有効撮像信号Ｓ_Ｅとが演算器４４に入力されると、有効撮像信号Ｓ_Ｅからノイズ補正信号ＮＣが減算されて、ノイズ成分の低減された有効撮像信号ＣＳ_Ｅが生成される。そして、演算器４４は、この補正された有効撮像信号ＣＳ_ＥをセレクタＳＥＬ４に出力する。なお、演算器４４には、有効撮像信号Ｓ_Ｅの列及び色に対応したノイズ補正信号ＮＣが入力される。

また、比較器４５に入力された有効撮像信号Ｓ_Ｅは、比較器４５によって、その画素値が予め設定されてレジスタＲ２に格納されたしきい値Ｔと比較される。ここで本実施形態では、しきい値Ｔを、有効撮像信号Ｓ_Ｅが飽和したときの値の近傍の値に設定している。そして、比較器４５は、有効撮像信号Ｓ_Ｅとしきい値Ｔとの比較結果に基づいてセレクタＳＥＬ４に判定信号Ｊ２を出力する。すなわち、比較器４５は、有効撮像信号Ｓ_Ｅがしきい値Ｔよりも小さい場合にはＨレベルの判定信号Ｊ２をセレクタＳＥＬ４に出力し、有効撮像信号Ｓ_Ｅがしきい値Ｔよりも大きい場合にはＬノイズの判定信号Ｊ２をセレクタＳＥＬ４に出力する。そして、セレクタＳＥＬ４は、Ｈレベルの判定信号Ｊ２に応答して、ノイズ補正信号ＮＣによって補正された有効撮像信号ＣＳ_Ｅを水平ＬＰＦ処理部４６に出力し、Ｌレベルの判定信号Ｊ２に応答して、補正されていない有効撮像信号Ｓ_Ｅを水平ＬＰＦ処理部４６に出力する。これによって、飽和したスミア発生領域におけるノイズ補正信号ＮＣによる補正処理を回避することができるため、飽和したスミアに対する補正によって生じる暗い縦筋の発生を抑制することができるようになる。

次に、水平ＬＰＦ処理部４６は、入力される補正済み有効撮像信号ＣＳ_Ｅあるいは有効撮像信号Ｓ_Ｅに対して水平ＬＰＦを施して出力画像データを生成し、その出力画像データをディスプレイ等の表示装置に出力する。この水平ＬＰＦによって、上記補正処理された有効撮像信号Ｓ_Ｅのノイズ成分を除去することができ、得られる出力画像データを水平方向において平坦化して生成することができるようになる。

以上記述したように、本実施形態によれば、以下の効果を奏する。
（１）補正テーブルＴｂから出力された補正値Ｃに対してオフセット処理を施した。これによって、例えば飽和した補正値Ｃのレベルを下げることができるため、飽和したスミアに対する補正によって生じる暗い縦筋の発生を好適に抑制することができるようになる。

（２）補正テーブルＴｂから出力された補正値Ｃに対してコアリング処理を施した。このコアリング処理では、オフセット処理と同様に絶対値の小さな補正値Ｃを「０」にしつつも、絶対値の大きい補正値Ｃのレベルは下がらない。従って、例えばＣＭＯＳイメージセンサにおけるアンプの製造プロセスばらつきによって生じる縦筋の固定パターンノイズを効果的に補正することができる。

（３）オフセット処理を施した補正値Ｃ１あるいはコアリング処理を施した補正値Ｃ２のどちらを使用するかを選択できるようにした。これによって、本実施形態の画像処理回路２０に接続される固体撮像素子を構成するイメージセンサのバリエーションを増大させることができる。すなわち、この画像処理回路２０には、ＣＣＤイメージセンサからなる固体撮像素子１０の他にもＣＭＯＳイメージセンサからなる固体撮像素子等を接続することができる。

（４）オフセット処理あるいはコアリング処理を施した補正値Ｃ１あるいはＣ２に対して、ＦＩＲフィルタ処理を施した。これによって、補正値Ｃ１あるいはＣ２のランダムノイズ成分を除去することができ、補正値Ｃ１あるいはＣ２の水平方向における急激な段差をなめらかに変換することができる。また、このＦＩＲフィルタ処理は、フィルタ係数を任意に設定することができるため、所望の周波数特性を実現することができ、補正の精度を向上させることができる。

（５）比較器４５によって、有効撮像信号Ｓ_Ｅと予め設定されたしきい値Ｔとを比較し、その比較結果に基づいて補正処理を実行するか否かを設定した。このしきい値Ｔを、有効撮像信号Ｓ_Ｅが飽和したときの値の近傍の値に設定することによって、飽和したスミア発生領域の補正処理を回避することができる。従って、飽和したスミアに対する補正によって生じる暗い縦筋の発生を、簡便な回路構成によってより好適に抑制することができるようになる。

（６）セレクタＳＥＬ４から出力される補正済み有効撮像信号ＣＳ_Ｅあるいは有効撮像信号Ｓ_Ｅに対して水平ＬＰＦ処理を施した。これによって、上記補正処理された有効撮像信号Ｓ_Ｅのノイズ成分を除去することができ、得られる出力画像データを水平方向において平坦化して生成することができるようになる。

（７）補正値Ｃを色毎に生成した。これによって、有効撮像信号Ｓ_Ｅに対してより精度の高い補正を施すことができる。
（８）列別平均演算部３２に入力する色毎の値を、ＯＢ値平均演算部３４によって算出された平均値ＡＶＥの他に、予めレジスタＲ１に設定した演算値Ｖ０〜Ｖ３から選択できるようにした。これによって、より精度の高い値を使用して列別且つ色毎の平均値（補正値Ｃ）を算出することができるため、ひいては有効撮像信号Ｓ_Ｅに対してより精度の高い補正を施すことができる。

なお、上記実施形態は、以下の態様で実施してもよい。
・上記実施形態における仮平均値メモリ３６及びセレクタＳＥＬ１を省略するようにしてもよい。すなわち、通過判定部３１によって欠陥画素から出力された第１ノイズ検出信号Ｓ_Ｄ１と判定されて、その第１ノイズ検出信号Ｓ_Ｄ１がＯＢ値加算部３３に出力されない場合にも、その時点での仮平均値ＴＡＶＥを平均値演算に使用しなくてもよい。この場合、ＯＢ画素カウンタ３５のカウンタ値に基づいてそれぞれ除算を行うようにすればよい。

・上記実施形態におけるレジスタＲ１とセレクタＳＥＬ２とを省略するようにしてもよい。すなわち、列別平均演算部３２に出力される値を、常にＯＢ値平均演算部３４において算出される平均値ＡＶＥとするようにしてもよい。

・上記実施形態における通過判定部３１を省略するようにしてもよい。
・上記実施形態では、補正値Ｃを色毎に生成するようにしたが、補正値Ｃを色毎に生成せずに、ＲＧＢでまとめて生成するようにしてもよい。

・上記実施形態における水平ＬＰＦ処理部４６を省略するようにしてもよい。すなわち、セレクタＳＥＬ４から出力された信号を出力画像データとしてディスプレイ等の表示装置に出力するようにしてもよい。

・上記実施形態におけるコアリング処理では、第１設定値及び第２設定値の間にある補正値Ｃを「０」に変換するようにしたが、この補正値Ｃを「０」以外の所定値（例えば、「１」等）に変換するようにしてもよい。

・上記実施形態におけるコアリング処理部４２及びセレクタＳＥＬ３を省略するようにしてもよい。すなわち、補正テーブルＴｂから入力される補正値Ｃに対して常にオフセット処理を施すようにしてもよい。

・上記実施形態におけるＦＩＲフィルタ処理部４３を省略してもよい。
・上記実施形態における比較器４５、レジスタＲ２及びセレクタＳＥＬ４を省略するようにしてもよい。すなわち、有効撮像信号Ｓ_Ｅに対するノイズ補正信号ＮＣによる補正を常に行うようにしてもよい。

・上記実施形態におけるオフセット処理では、減算値及び加算値による演算によって符号の反対になった補正値Ｃを「０」に変換するようにしたが、この補正値Ｃを「０」以外の所定値（例えば、「１」等）に変換するようにしてもよい。また、この変換処理を省略するようにしてもよい。

・上記実施形態では、演算器４４において、有効撮像信号Ｓ_Ｅからノイズ補正信号ＮＣを減算して、有効撮像信号Ｓ_Ｅのノイズ補正を行うようにしたが、ノイズ補正信号ＮＣに基づいて補正すればよく、有効撮像信号Ｓ_Ｅに対する減算処理に限定されるものではない。

以上の様々な実施形態をまとめると、以下のようになる。
（付記１）
行列状に配された画素が遮光された非撮像領域から出力される画素値に基づいて列毎にノイズ補正値を算出し、同ノイズ補正値に基づいて撮像領域から出力される画素値を補正する画像処理方法において、
前記ノイズ補正値に対して、そのノイズ補正値が正の値のときには予め設定された減算値を減算し、そのノイズ補正値が負の値のときには予め設定された加算値を加算する演算処理を行うオフセット処理を施し、該オフセット処理後のノイズ補正値に基づいて前記撮像領域から出力される画素値を補正することを特徴とする画像処理方法。
（付記２）
前記オフセット処理はさらに、前記演算処理によって得られた演算結果の符号が元のノイズ補正値の符号と反対になるノイズ補正値を第１所定値に変換することを特徴とする付記１に記載の画像処理方法。
（付記３）
前記撮像領域から出力される画素値が予め設定されたしきい値よりも大きいときに、前記ノイズ補正値に基づく補正を中止することを特徴とする付記１又は２に記載の画像処理方法。
（付記４）
前記オフセット処理されたノイズ補正値に対し、有限長インパルス応答（ＦＩＲ）フィルタ処理を施すことを特徴とする付記１〜３のいずれか１つに記載の画像処理方法。
（付記５）
前記ノイズ補正値が予め設定された正の値である第１設定値と負の値である第２設定値との間の値であるときに、同ノイズ補正値を第２所定値に変換するコアリング処理と、前記オフセット処理とが各々施されたノイズ補正値のうちいずれか一方を選択して後段に出力することを特徴とする付記１〜４のいずれか１つに記載の画像処理方法。
（付記６）
前記撮像領域から出力されて前記ノイズ補正値によって補正された画素値に対して、さらに水平ＬＰＦ処理を施すことを特徴とする付記１〜５のいずれか１つに記載の画像処理方法。
（付記７）
前記ノイズ補正値は、色毎に算出されたことを特徴とする付記１〜６に記載の画像処理方法。
（付記８）
前記ノイズ補正値は、前記非撮像領域から出力された画素値のうち、所定の範囲内にある画素値における画素毎の平均値を算出し、前記非撮像領域から出力される画素値における列毎の平均値から前記画素毎の平均値を減算して算出された値であることを特徴とする付記１〜７のいずれか１つに記載の画像処理方法。
（付記９）
前記画素毎の平均値は、前記非撮像領域から出力されて、且つ前記通過範囲内にある画素値から算出した値と、予め算出された演算値とから選択されることを特徴とする付記８に記載の画像処理方法。
（付記１０）
前記非撮像領域から出力された画素値が前記通過範囲外にあるときには、その画素値の代わりにその時点での仮平均値が前記画素毎の平均値の算出に使用されることを特徴とする付記８又は９に記載の画像処理方法。
（付記１１）
行列状に配された画素が遮光された固体撮像素子の非撮像領域から出力される画素値に基づいて列毎にノイズ補正値を算出する検波処理回路と、同ノイズ補正値に基づいて前記固体撮像素子の撮像領域から出力される画素値を補正する補正処理回路とを備えた画像処理回路において、
前記補正処理回路は、前記ノイズ補正値に対し、そのノイズ補正値が正の値のときには予め設定された減算値を減算し、そのノイズ補正値が負の値のときには予め設定された加算値を加算する演算処理を行うオフセット処理部をさらに備えたことを特徴とする画像処理回路。
（付記１２）
前記オフセット処理部はさらに、前記演算処理によって得られた演算結果の符号が元のノイズ補正値の符号と反対になるノイズ補正値を第１所定値に変換する処理を行うことを特徴とする付記１１に記載の画像処理回路。
（付記１３）
前記補正処理回路は、前記撮像領域から出力される画素値が予め設定したしきい値よりも大きいか否かを判定してその判定結果を出力する比較器と、前記判定結果が入力されて、前記撮像領域から出力される画素値が前記しきい値よりも大きいときには、前記ノイズ補正値が減算されていない前記撮像領域から出力された画素値を選択し、前記撮像領域から出力された画素値が前記しきい値よりも小さいときには、前記ノイズ補正値が減算された前記撮像領域から出力された画素値を選択する第１選択回路をさらに備えたことを特徴とする付記１１又は１２に記載の画像処理回路。
（付記１４）
前記補正処理回路は、前記オフセット処理部から出力されたノイズ補正値に対し、有限長インパルス応答（ＦＩＲ）フィルタ処理を施すＦＩＲフィルタ処理部をさらに備えたことを特徴とする付記１１〜１３のいずれか１つに記載の画像処理回路。
（付記１５）
前記補正処理回路は、前記ノイズ補正値が予め設定した正の値である第１設定値と負の値である第２設定値との間の値であるときに、同ノイズ補正値を第２所定値に変換するコアリング処理を行うコアリング処理部と、当該画像処理回路に接続される前記固体撮像素子に応じて入力される第１選択信号に基づいて、同コアリング処理が施されたノイズ補正値及び前記オフセット処理が施されたノイズ補正値のうちいずれか一方を後段に出力する第２選択回路とをさらに備えたことを特徴とする付記１１〜１４のいずれか１つに記載の画像処理回路。
（付記１６）
前記補正処理回路は、前記第１選択回路から出力される画素値に対して水平ＬＰＦ処理を施す水平ＬＰＦ処理部をさらに備えたことを特徴とする付記１１〜１５のいずれか１つに記載の画像処理回路。
（付記１７）
前記検波処理回路は、前記ノイズ補正値を色毎に算出することを特徴とする付記１１〜１６に記載の画像処理回路。
（付記１８）
前記検波処理回路は、前記非撮像領域から出力された画素値のうち、所定の範囲内にある画素値を通過させる通過判定部と、同通過判定部を通過した画素値における画素毎の平均値を算出する平均演算部と、前記非撮像領域から出力される画素値における列毎の平均値から前記平均演算部において算出された前記画素毎の平均値を減算する列別平均演算部とから構成されることを特徴とする付記１１〜１７のいずれか１つに記載の画像処理回路。
（付記１９）
前記検波処理回路は、予め算出した演算値を格納するレジスタと、前記平均演算部において算出された画素毎の平均値と前記演算値と同画素毎の平均値及び前記演算値のいずれか一方を選択する第２選択信号とが入力され、その第２選択信号に基づいて前記画素毎の平均値及び前記演算値のいずれか一方を前記列別平均演算部に出力する第３選択回路とをさらに備えたことを特徴とする付記１８に記載の画像処理回路。
（付記２０）
前記検波処理回路は、前記平均演算部において画素毎の平均値が算出される度にその平均値を仮平均値として格納する仮平均値メモリと、前記非撮像領域から出力された画素値と前記仮平均値メモリに格納された仮平均値とが入力される第４選択回路とをさらに備え、
前記通過判定部は、前記画素値が前記所定の範囲から外れるときには前記画素値を、前記画素値が前記所定の範囲内にあるときには前記仮平均値メモリに格納された仮平均値を選択する第３選択信号を前記第４選択回路に出力することを特徴とする付記１８又は１９に記載の画像処理回路。

固体撮像装置の全体構成の概要を示すブロック図。 カラーフィルタの配列を示す平面図。 検波処理回路の内部構成の概要を示すブロック図。 補正処理回路の内部構成の概要を示すブロック図。 従来の画像処理回路の全体構成を示すブロック図。

符号の説明

１０ 固体撮像素子
１３ 有効画素領域
１５ 第１垂直オプティカルブラック領域
２０ 画像処理回路
３０ 検波処理回路
３１ 通過判定部
３２ 列別平均演算部
３６ 仮平均値メモリ
４０ 補正処理回路
４１ オフセット処理部
４２ コアリング処理部
４４ 演算器
４５ 比較器
ＳＥＬ１〜ＳＥＬ４ セレクタ

Claims (10)

1. 行列状に配された画素が遮光された非撮像領域から出力される画素値に基づいて列毎にノイズ補正値を算出し、同ノイズ補正値に基づいて撮像領域から出力される画素値を補正する画像処理方法において、
   前記ノイズ補正値に対して、そのノイズ補正値が正の値のときには予め設定された減算値を減算し、そのノイズ補正値が負の値のときには予め設定された加算値を加算する演算処理を行うオフセット処理を施し、該オフセット処理後のノイズ補正値に基づいて前記撮像領域から出力される画素値を補正することを特徴とする画像処理方法。
2. 前記オフセット処理はさらに、前記演算処理によって得られた演算結果の符号が元のノイズ補正値の符号と反対になるノイズ補正値を第１所定値に変換することを特徴とする請求項１に記載の画像処理方法。
3. 前記撮像領域から出力される画素値が予め設定されたしきい値よりも大きいときに、前記ノイズ補正値に基づく補正を中止することを特徴とする請求項１又は２に記載の画像処理方法。
4. 前記ノイズ補正値は、色毎に算出されたことを特徴とする請求項１〜３のいずれか１項に記載の画像処理方法。
5. 前記ノイズ補正値は、前記非撮像領域から出力された画素値のうち、所定の範囲内にある画素値における画素毎の平均値を算出し、前記非撮像領域から出力される画素値における列毎の平均値から前記画素毎の平均値を減算して算出された値であることを特徴とする請求項１〜４のいずれか１項に記載の画像処理方法。
6. 行列状に配された画素が遮光された固体撮像素子の非撮像領域から出力される画素値に基づいて列毎にノイズ補正値を算出する検波処理回路と、同ノイズ補正値に基づいて前記固体撮像素子の撮像領域から出力される画素値を補正する補正処理回路とを備えた画像処理回路において、
   前記補正処理回路は、前記ノイズ補正値に対し、そのノイズ補正値が正の値のときには予め設定された減算値を減算し、そのノイズ補正値が負の値のときには予め設定された加算値を加算する演算処理を行うオフセット処理部をさらに備えたことを特徴とする画像処理回路。
7. 前記オフセット処理部はさらに、前記演算処理によって得られた演算結果の符号が元のノイズ補正値の符号と反対になるノイズ補正値を第１所定値に変換する処理を行うことを特徴とする請求項６に記載の画像処理回路。
8. 前記補正処理回路は、
   前記撮像領域から出力される画素値が予め設定したしきい値よりも大きいか否かを判定してその判定結果を出力する比較器と、
   前記判定結果が入力されて、前記撮像領域から出力される画素値が前記しきい値よりも大きいときには、前記ノイズ補正値が減算されていない前記撮像領域から出力された画素値を選択し、前記撮像領域から出力された画素値が前記しきい値よりも小さいときには、前記ノイズ補正値が減算された前記撮像領域から出力された画素値を選択する第１選択回路とをさらに備えたことを特徴とする請求項６又は７に記載の画像処理回路。
9. 前記補正処理回路は、前記ノイズ補正値が予め設定した正の値である第１設定値と負の値である第２設定値との間の値であるときに、同ノイズ補正値を第２所定値に変換するコアリング処理を行うコアリング処理部と、当該画像処理回路に接続される前記固体撮像素子に応じて入力される第１選択信号に基づいて、同コアリング処理が施されたノイズ補正値及び前記オフセット処理が施されたノイズ補正値のうちいずれか一方を後段に出力する第２選択回路とをさらに備えたことを特徴とする請求項６〜８のいずれか１項に記載の画像処理回路。
10. 前記検波処理回路は、前記ノイズ補正値を色毎に算出することを特徴とする請求項６〜９のいずれか１項に記載の画像処理回路。

Images