JP2007081858A - スミア補正方法及びスミア補正回路 - Google Patents

Abstract

【課題】 スミアを確実に除去し、かつスミア補正による黒筋の発生を未然に防止する。
【解決手段】 ＯＢ領域内の撮像データから水平アドレス毎にスミア補正値を算出し、該スミア補正値を有効画素領域内の各画素の画素値から減算するスミア補正方法であって、スミア補正の対象となる注目画素Ａ２及び該注目画素Ａ２と同一水平アドレスで隣接する画素の画素値Ａ１があらかじめ設定されたしきい値Ｔ１を共に超えるとき、該注目画素Ａ２に対するスミア補正値Ｂ２の減算を行わない。
【選択図】 図８

Description

この発明は、ＣＣＤ（Charge Coupled Devices）やＣｉＳ（ＣＭＯＳイメージセンサ）等の固体撮像素子を使用した撮像装置に搭載される画像処理装置に関するものである。
固体撮像素子を使用した撮像装置では、高輝度の被写体を撮像したときに、スミア現象による画質劣化が発生する。そこで、スミア現象による画質劣化を補正する画像処理装置が必要となっている。

図１１は、スミア現象により画質劣化が発生した画像を示す。スミア現象は、例えば光源等の高輝度の被写体を撮像したとき、その被写体に対応する高輝度部１から上下方向に延びる白い縦筋状のスミア２が発生する。この現象は、高輝度部１において本来の電荷蓄積領域に捕捉されなかった電荷がポテンシャル領域を乗り越えて垂直転送路に漏れ込むことによるものである。

この現象を補正する方法として、スミア２は垂直方向にほぼ同レベルで発生することから、次のような処理が行われている。すなわち、有効画素領域外の遮光されたＯＢ（オプチカルブラック）領域３において、スミア２が発生している画素出力の積分値をスミア成分として算出する。そして、そのスミア成分をスミア２が発生している縦方向の各ラインの画素出力からそれぞれ減算することにより、スミア２が補正される。

ところが、撮像装置に使用されている撮像素子には出力レベルに限界があり、その出力レベルを超えるような強い光を受光した場合には、上記のようなスミア補正ではかえって画質劣化を発生することがある。

すなわち、高輝度部１内の複数の垂直ラインで撮像素子が飽和状態となり、高輝度部１の中心部のスミア２のスミア成分が高輝度部１の外周部近傍のスミア成分より大きくなると、高輝度部１の中心部におけるスミア成分の減算値が高輝度部１の外周部近傍におけるスミア成分の減算値より大きくなって、高輝度部１の中央部に黒い縦筋が発生する。
特開２００１−１４９４３号公報 特開２００３−１７４６４２号公報

上記のように、スミア補正により高輝度部１で黒筋が発生するのは、高輝度部１内に含まれる複数の垂直方向ラインで撮像素子が飽和状態となり、かつ各ラインのスミア成分に比較的大きな差が生じている場合である。

特許文献１に記載された撮像装置では、画像信号レベルが飽和しているときには、補正を行わないことにより、黒筋の発生を防止する構成が開示されている。しかし、隣接する垂直ラインの出力レベルが飽和していない場合にもスミア補正を行わないので、スミアを確実に除去することができない。

特許文献２に記載された画像処理装置では、ＯＢ領域を利用することなく、監視領域の画素とその周辺の画素との輝度差に基づいてスミア発生領域を検出する構成が開示されている。

この発明の目的は、スミアを確実に除去し、かつスミア補正による黒筋の発生を未然に防止することにある。

上記目的は、ＯＢ領域内の撮像データから水平アドレス毎にスミア補正値を算出し、該スミア補正値を有効画素領域内の各画素の画素値から減算するスミア補正方法で、スミア補正の対象となる注目画素及び該注目画素と同一水平アドレスで隣接する画素の画素値があらかじめ設定されたしきい値を共に超えるとき、該注目画素に対するスミア補正値の減算を行わないスミア補正方法により達成される。

また、上記目的は、ＯＢ領域内の撮像データから水平アドレス毎にスミア補正値を算出する補正テーブル生成部と、有効画素領域内の撮像データから、各画素の画素値が飽和レベルを超えているか否かを判断する飽和判断部と、前記飽和判断部の判断結果に基づいて、スミア補正の対象となる注目画素と該注目画素と同一水平アドレスで隣接する画素の画素値が共にしきい値を超えるとき、該注目画素に対するスミア補正値の減算を行い、スミア補正の対象となる注目画素と該注目画素と同一水平アドレスで隣接する画素の少なくともいずれかの画素値がしきい値を超えないとき、該注目画素に対するスミア補正値の減算を行う補正処理部とを備えたスミア補正回路により達成される。

本発明によれば、スミアを確実に除去し、かつスミア補正による黒筋の発生を未然に防止することができる。

以下、この発明を具体化した一実施の形態を図面に従って説明する。図１に示す画像処理部１１内のスミア検波補正部１２には、撮像素子から撮像信号（撮像データ）Ｓが入力される。スミア検波補正部１２は、撮像信号Ｓに対しスミア補正処理を行い、処理済信号を画素補間部１３に出力する。

画素補間部１３は、スミア検波補正部１２から出力されるベイア配列データに対し画素補間を行い、ＲＧＢデータとして表示装置に出力する。
前記スミア検波補正部１２の具体的構成を図２に示す。撮像信号Ｓは、スミア減算補正回路１４と、飽和判断部１５と、補正テーブル生成部１６と、シフトレジスタ１７に入力される。

撮像信号Ｓは、撮像された画像を水平方向に走査した信号が１画素分ずつクロック信号に従って入力され、その走査はＯＢ領域から順次行われる。そして、スミア検波補正部１２を構成する各回路は、クロック信号に同期して動作する。

前記飽和判断部１５には、撮像信号Ｓが飽和レベルを超えているか否かを判定するためのしきい値Ｔ１が入力されている。そして、飽和判断部１５は各撮像信号Ｓがしきい値Ｔ１を超えているか否かを判定し、その判定結果を「１」若しくは「０」の判定信号としてシフトレジスタ１８に順次出力する。

前記補正テーブル生成部１６は、入力されるＯＢ領域の撮像信号Ｓからスミア補正のための補正テーブルを生成する。すなわち、ＯＢ領域の撮像信号Ｓの出力レベルの最小値と、ＯＢ領域内の垂直方向の各ラインの出力レベルとの差をスミア成分として検出し、そのスミア成分を垂直方向の各ライン毎（水平方向のアドレス毎）のスミア補正値としてスミア補正テーブル１９に格納する。

有効画素領域の撮像信号Ｓが順次入力されるとき、スミア補正テーブル１９に格納されたスミア補正値の中から当該撮像信号の水平方向アドレスに対応するスミア補正値がしきい値比較部２０に出力される。しきい値比較部２０には、あらかじめ設定されている補正レベルのしきい値Ｔ２が入力されている。そして、しきい値比較部２０はスミア補正値がしきい値Ｔ２を超えているか否かを判定し、その判定結果を「１」若しくは「０」の判定信号としてシフトレジスタ２１に出力する。

スミア補正テーブル１９に格納された各ライン毎のスミア補正値は、クロック信号に基づいて水平アドレス順にシフトレジスタ２２に順次出力される。シフトレジスタ２２は、常時３アドレス分のスミア補正値を保持し、各補正値をＬＰＦ（ローパスフィルター）２３に出力する。

ＬＰＦ２３は、３アドレス分のスミア補正値の差を平滑化して、３アドレスのうちの中間のアドレスのスミア補正値として、スミア減算補正回路１４に出力する。
前記シフトレジスタ１８には、前記飽和判断部１５から出力される判断結果が常時３アドレス分格納されており、その３アドレス分の判断結果が補正判断部２５に出力される。

前記シフトレジスタ２１にはしきい値比較部２０で判定された判定結果が２アドレス分順次格納され、先に格納された判定結果が補正判断部２５に出力される。従って、補正判断部２５に出力される判断結果は、シフトレジスタ１８から補正判断部２５に出力される３アドレス分の判断結果のうち中間アドレスの判断結果に対応するものとなる。

前記補正判断部２５は、シフトレジスタ１８，２１から出力される判断結果に基づいてスミア補正を行うか否かを判断し、その判断結果をスミア減算補正回路１４に出力する。
前記シフトレジスタ１７は、常時５アドレス分の画素値を格納し、その画素値をスミア減算補正回路１４に並行して出力する。

スミア減算補正回路１４は、補正判断部２５の判断結果が補正可であれば、画素値からスミア補正値を減算する処理を行って、処理済信号を出力する。また、補正判断部２５の判断結果が補正不可であれば、スミア補正値を減算する処理を行わないで処理済信号として出力する。

さらに、画素値がしきい値Ｔ１を超え、さらに当該画素値に対応する水平アドレスのスミア補正値がしきい値Ｔ２を超えているときには、当該画素値を隣接同色画素の平均に置き換える処理を行い、処理済信号として出力する。

図３は、前記補正テーブル生成部１６の具体的構成を示す。オフセット処理部２６には撮像信号Ｓが入力されるとともに、ＯＢ領域の撮像素子の色種別毎の最小のスミア成分がオフセット値ＯＦとして入力される。そして、オフセット処理部２６は入力されるＯＢ領域の撮像信号からオフセット値ＯＦを減算することにより、スミア補正値を生成するようになっている。

次に、上記のように構成されたスミア検波補正部１２の補正判断部２５及びスミア減算補正回路１４の動作を図４〜図１０に従って説明する。
さて、有効画素領域内の撮像信号Ｓが順次入力されると、補正判断部２５ではシフトレジスタ１８から入力される３アドレス分の判断結果のうち中央のアドレスを注目画素の判断結果とし、注目画素に対応するスミア補正値がしきい値Ｔ２を超えているか否かをシフトレジスタ２１から出力される判断結果に基づいて判定する（ステップ１）。

ステップ１において、スミア補正値がしきい値Ｔ２を超えていないと、注目画素の画素値（出力レベル）がしきい値Ｔ１を超えているか否かを判断する（ステップ２）。そして、しきい値Ｔ１を超えていない場合にはＬＰＦ２３から出力されるスミア補正値を注目画素の出力レベルから減算する処理がスミア減算補正回路１４で行われる（ステップ２，３）。

図５は、ステップ１〜３の処理を行う場合を示す。３アドレスの画素値Ａ１〜Ａ３は隣接する３本の垂直ラインで同一水平アドレスの画素値を示す。ここで注目アドレスはＡ２である。そして、スミア補正値Ｂ１〜Ｂ３は各画素値Ａ１〜Ａ３に対応するスミア補正値すなわち対応する垂直ラインのスミア補正値である。

上記のように、注目画素Ａ２に対応するスミア補正値Ｂ２はしきい値Ｔ２未満であり、注目画素Ａ２の画素値はしきい値Ｔ１未満である。従って、注目画素Ａ２の画素値からスミア補正値Ｂ２が減算されて、処理済信号ａ２として出力される。なお、図５では画素値Ａ１，Ａ３でも同様な判断結果に基づいてスミア補正値Ｂ１，Ｂ３が減算されて処理済信号ａ１，ａ３が出力されている。

ステップ２において、注目画素の画素値がしきい値Ｔ１を超えている場合には、注目画素に隣接するどちらかの画素の画素値がしきい値Ｔ１を超えているか否かを判断する（ステップ４）。そして、隣接する画素の画素値がしきい値Ｔ１を超えていない場合には、注目画素の画素値からスミア補正値が減算される（ステップ５）。

図６は、ステップ４，５の処理を示す。同図において、注目画素Ａ２の画素値はしきい値Ｔ１を超えているが、隣接画素の画素値Ａ１，Ａ３はしきい値Ｔ１を超えていない。従って、注目画素の画素値Ａ２から対応するスミア補正値Ｂ２が減算されて、処理済信号ａ２が出力される。なお、図５では画素値Ａ１，Ａ３でもスミア補正値Ｂ１，Ｂ３が減算されて処理済信号ａ１，ａ３が出力されている。

図７は、隣接画素Ａ１，Ａ３がしきい値Ｔ１を超えているが、注目画素Ａ２がしきい値Ｔ１を超えていない場合を示す。この場合には、注目画素Ａ２がしきい値Ｔ１を超えていないので、ステップ２，３の処理が行われ、注目画素の画素値Ａ２から対応するスミア補正値Ｂ２が減算される。

なお、図７では画素値Ａ１，Ａ３はしきい値Ｔ１を超えているが、隣接画素の画素値がしきい値Ｔ１を超えていない場合を示し、画素値Ａ１，Ａ３からスミア補正値Ｂ１，Ｂ３を減算した処理済信号ａ１，ａ３が出力されている。

ステップ４において、注目画素に隣接するどちらかの画素の画素値がしきい値Ｔ１を超えている場合には、注目画素からのスミア補正値の減算を行わない（ステップ６）。
図８は、ステップ５，６の処理を示す。同図において、注目画素Ａ２の画素値はしきい値Ｔ１を超え、一方の隣接画素の画素値Ａ３もしきい値Ｔ１を超えている。この場合には、注目画素Ａ２からスミア補正値Ｂ２の減算を行わず、処理済信号ａ２として出力される。

なお、画素値Ａ１はしきい値Ｔ１を超えていないので、スミア補正値Ｂ１を減算した処理済信号ａ１が出力され、画素値Ａ３は隣接画素の画素値Ａ２がしきい値を超えているので、スミア補正値Ｂ３の減算を行わない。

図９は、注目画素Ａ２と、他方の隣接画素の画素値Ａ１がしきい値Ｔ１を超える場合を示す。この場合にも注目画素Ａ２からスミア補正値Ｂ２の減算を行わない。
なお、画素値Ａ３はしきい値Ｔ１を超えていないので、スミア補正値Ｂ３を減算した処理済信号ａ３が出力され、画素値Ａ１は隣接画素の画素値Ａ２がしきい値を超えているので、スミア補正値Ｂ１の減算を行わない。

ステップ１において、注目画素に対応するスミア補正値がしきい値Ｔ２を超えている場合には、当該注目画素の画素値を隣接する同色の画素値の平均に置き換える（ステップ７）。すなわち、スミア補正値がしきい値Ｔ２を超えていると、スミア成分が過大であるため、スミア補正値を減算すると、黒筋が発生する等、かえって画質が劣化するからである。

図１０は、ステップ７の処理を示す。同図において、画素値Ａ１〜Ａ５はシフトレジスタ１７から出力される５つの隣接するアドレスの画素値である。ここで、注目画素Ａ３に対応するスミア補正値Ｂ３がしきい値Ｔ２を超えているとき、注目画素Ａ３もしきい値Ｔ１を超えている。

このとき、各画素値Ａ１〜Ａ５はＡ１，Ａ３，Ａ５が同色であり、Ａ２，Ａ４は異なる色である。従って、注目画素Ａ３は隣接する同色画素すなわち画素値Ａ１，Ａ５の平均値に置き換えて、処理済信号ａ３として出力される。

なお、図１０では画素値Ａ２，Ａ４はしきい値Ｔ１を超えていないので、対応するスミア補正値Ｂ２，Ｂ４を減算した処理済信号ａ２，ａ４として出力される。
上記のようなスミア検波補正部１２を備えた画像処理部１１では、次に示す作用効果を得ることができる。
（１）有効画素領域内の各画素値に対しスミア成分を減算するスミア補正処理を行うことができる。
（２）スミア補正を行おうとする注目画素に隣接する画素の画素値がしきい値Ｔ１を超えるとき、当該注目画素に対するスミア補正を行わない。従って、図１１に示す高輝度部１でスミア補正に起因する黒筋の発生を防止してスミア補正による画質劣化を防止することができる。
（３）注目画素のスミア補正値がしきい値を超えている場合には、隣接する同色の画素値の平均に置き換えるので、画質劣化を防止することができる。

画像処理部を示すブロック図である。 スミア検波補正部を示すブロック図である。 補正テーブル生成部を示すブロック図である。 スミア補正処理を示す説明図である。 スミア補正処理を示す説明図である。 スミア補正処理を示す説明図である。 スミア補正処理を示す説明図である。 スミア補正処理を示す説明図である。 スミア補正処理を示す説明図である。 スミア補正処理を示す説明図である。 スミアが発生した画像を示す説明図である。

符号の説明

１２ スミア検波補正部
１４ 補正処理部（スミア減算補正回路）
１５ 飽和判断部
１６ 補正テーブル生成部
２５ 補正処理部（補正判断部）
Ａ１〜Ａ５ 画素値
Ｂ１〜Ｂ３ スミア補正値
Ｔ１，Ｔ２ しきい値

Claims (6)

1. ＯＢ領域内の撮像データから水平アドレス毎にスミア補正値を算出し、該スミア補正値を有効画素領域内の各画素の画素値から減算するスミア補正方法であって、
   スミア補正の対象となる注目画素及び該注目画素と同一水平アドレスで隣接する画素の画素値があらかじめ設定されたしきい値を共に超えるとき、該注目画素に対するスミア補正値の減算を行わないことを特徴とするスミア補正方法。
2. ＯＢ領域内の撮像データから水平アドレス毎にスミア補正値を算出し、該スミア補正値を有効画素領域内の各画素の画素値から減算するスミア補正方法であって、
   前記スミア補正値があらかじめ設定されたしきい値を超えず、スミア補正の対象となる注目画素及び該注目画素と同一水平アドレスで隣接する画素の画素値があらかじめ設定されたしきい値を共に超えるとき、該注目画素に対するスミア補正値の減算を行わないことを特徴とするスミア補正方法。
3. ＯＢ領域内の撮像データから水平アドレス毎にスミア補正値を算出し、該スミア補正値を有効画素領域内の各画素の画素値から減算するスミア補正方法であって、
   スミア補正の対象となる注目画素のスミア補正値があらかじめ設定されたしきい値を超えたとき、該注目画素の画素値を隣接同色画素の画素値の平均に置き換え、前記スミア補正値があらかじめ設定されたしきい値を超えず、スミア補正の対象となる注目画素及び該注目画素と同一水平アドレスで隣接する画素の画素値があらかじめ設定されたしきい値を共に超えるとき、該注目画素に対するスミア補正値の減算を行わないことを特徴とするスミア補正方法。
4. ＯＢ領域内の撮像データから水平アドレス毎にスミア補正値を算出する補正テーブル生成部と、
   有効画素領域内の撮像データから、各画素の画素値が飽和レベルを超えているか否かを判断する飽和判断部と、
   前記飽和判断部の判断結果に基づいて、スミア補正の対象となる注目画素と該注目画素と同一水平アドレスで隣接する画素の画素値が共にしきい値を超えるとき、該注目画素に対するスミア補正値の減算を行い、スミア補正の対象となる注目画素と該注目画素と同一水平アドレスで隣接する画素の少なくともいずれかの画素値がしきい値を超えないとき、該注目画素に対するスミア補正値の減算を行う補正処理部と
   を備えたことを特徴とするスミア補正回路。
5. 前記補正処理部は、スミア補正の対象となる注目画素のスミア補正値があらかじめ設定されたしきい値を超えたとき、該注目画素の画素値を隣接同色画素の画素値の平均に置き換えることを特徴とする請求項４記載のスミア補正回路。
6. 前記補正処理部は、
   前記注目画素に対応するアドレスのスミア補正値がしきい値を超えているか否かを判定するしきい値比較部と、
   前記飽和判断部から順次出力される３アドレス分の判断結果に基づいて、スミア補正値の減算を行うか否かを判断する補正判断部と、
   前記補正判断部の判断結果に基づいて前記注目画素の画素値から前記スミア補正値を減算するスミア減算補正回路と
   を備えたことを特徴とする請求項４又は５記載のスミア補正回路。

Images