JP2006134157A

JP2006134157A - シェーディング補正装置、シェーディング補正値演算装置及び撮像装置

Info

Publication number: JP2006134157A
Application number: JP2004323820A
Authority: JP
Inventors: Kenji Funamoto; 憲司船本
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 2004-11-08
Filing date: 2004-11-08
Publication date: 2006-05-25
Anticipated expiration: 2024-11-08
Also published as: JP4322781B2; US20090213243A1; US7760252B2; US20060098240A1

Abstract

【課題】色毎に異なるシェーディングを補正する。
【解決手段】画素カウンタ４１は、黒レベル補正部２１から供給されている画像データの座標位置をカウントする。相対位置演算部４２は、画像データと補正値テーブルとを対比して、処理対象となる画素の相対座標位置を演算する。補正値補間部４４は、色毎に、補正値テーブルメモリ４３に記憶されている補正値テーブルを参照して、相対位置演算部４２で演算された相対座標位置に、シェーディング補正値を補間する。乗算器４５は、処理対象となる画素データと補間処理により得られた新たなシェーディング補正値とを乗算することで、シェーディング補正済みの画素データを生成する。
【選択図】図２

Description

本発明は、シェーディング補正装置、シェーディング補正値演算装置及び撮像装置に係り、例えば、高画素撮像素子から出力された画像信号のシェーディングを補正するときに用いて好適なシェーディング補正装置、シェーディング補正値演算装置及び撮像装置に関する。

ＣＣＤイメージセンサから生成された画像には、レンズの透過ムラなどの影響によって、画像の周辺部よりも中心部の方が明るい、いわゆるシェーディング現象が発生する。そこで、このようなシェーディングの影響を受けないようにするために、シェーディング補正に関する様々な技術が開示されている。

例えば、レンズの絞りが変化してもシェーディングが変化しないようにするＣＣＤカメラのシェーディング補正回路が開示されている（例えば、特許文献１を参照。）。特許文献１に記載されたシェーディング補正回路は、レンズの絞りの大きさに応じて、ＲＯＭに予め書き込まれているシェーディング補正データのアドレスを指定して、ＲＯＭ５から読み出されたシェーディング補正データにより、シェーディング補正信号を変化させている。

また、撮像系のシェーディングの影響を防止して、距離検出の精度を向上させる車輌用距離検出装置が開示されている（例えば、特許文献２を参照。）。特許文献２に記載された車輌用距離検出装置は、シェーディング補正データをメモリに記憶しておき、デジタル画像の画素データ毎にメモリに記憶されているシェーディング補正データを乗算することで、シェーディング補正済みのデジタル画像を得ている。

さらに、ノイズや校正板の表面テクスチャーの影響を受けずにシェーディング補正ができる画像処理装置が開示されている（例えば、特許文献３を参照。）。特許文献３に記載された画像処理装置は、輝度情報の複数領域毎の平均値を算出し、領域内の各画素の輝度を推論し、推論された各画素の輝度に基づいてシェーディング補正値を算出し、このシェーディング補正値を用いて輝度情報を補正している。
特開平５−８３６２２号公報特開平６−２７３１７１号公報特開平６−３１９０４２号公報

固体撮像素子の高画素化、セルサイズの微細化によって、射出瞳や絞りなどによって色毎にシェーディング量が異なってしまう傾向がある。そして、色毎にシェーディング量が異なると、画面の場所によって色が異なってしまう問題が発生したり、ホワイトバランスにも影響を及ぼしてしまう。しかし、特許文献１から３に記載された技術のいずれでも、色毎にシェーディング量が異なることまで考慮しておらず、上記の問題を解決することができなかった。

本発明は、上述した課題を解決するために提案されたものであり、色毎に異なるシェーディングを補正することができるシェーディング補正装置、シェーディング補正値演算装置及び撮像装置を提供することを目的とする。

本発明に係るシェーディング補正装置は、１画面の複数の代表位置毎にシェーディング補正値が対応付けられている補正テーブルを色毎に記憶する補正テーブル記憶手段と、色毎に、１画面の画像信号と、前記補正テーブル記憶手段に記憶されている補正テーブルとを対応させて、前記１画面の画像信号の処理対象となる画素について、前記補正テーブルの各代表位置に対する相対位置を演算する相対位置演算手段と、色毎に、前記相対位置演算手段により演算された相対位置と、各代表位置のシェーディング補正値と、に基づいて、前記相対位置におけるシェーディング補正値を補間するシェーディング補正値補間手段と、色毎に、前記処理対象となる画素の画素信号と、前記シェーディング補正値補間手段により補間されたシェーディング補正値と、に基づいて、シェーディング補正済みの画素信号を生成するシェーディング補正手段と、を備えている。

補正テーブル記憶手段には、色毎に、補正値テーブルが記憶されている。色は３原色に限らず、他の色であってもよい。補正値テーブルは、１画面の複数の代表位置毎にシェーディング補正値を対応付けている。１画面は、１フレームであってもよいし、１フィールドであってもよい。このような補正値テーブルによって、１画素ずつシェーディング補正値を有する場合に比べて、大幅にデータ量を削減できる。

相対位置演算手段は、１画面の画像信号と、前記補正テーブル記憶手段に記憶されている補正テーブルとを対応させて、１画面の画像信号の処理対象となる画素について、補正テーブルの各代表位置に対する相対位置を演算する。つまり、相対位置演算手段は、画像信号の１画素ずつ相対位置を演算する。

このとき、補正テーブルを参照しても、相対位置に対応するシェーディング補正値が存在しない。そこで、シェーディング補正値補間手段は、色毎に、相対位置演算手段により演算された相対位置と、各代表位置のシェーディング補正値と、に基づいて、相対位置におけるシェーディング補正値を補間する。

そして、シェーディング補正手段は、色毎に、処理対象となる画素の画素信号と、前記シェーディング補正値補間手段により補間されたシェーディング補正値と、に基づいて、シェーディング補正済みの画素信号を生成する。つまり、シェーディング補正手段は、１画素毎にシェーディング補正を行う。

したがって、本発明に係るシェーディング補正装置は、１画面の複数の代表位置毎にシェーディング補正値が対応付けられている補正テーブルを用いてシェーディング補正することによって、予め用意すべきデータを大幅に削減しつつ、色毎に異なるシェーディングを補正することができる。

ここで、前記シェーディング補正値補間手段は、前記相対位置演算手段により演算された相対位置の周辺にある所定数の代表位置のシェーディング補正値を用いて、前記相対位置におけるシェーディング補正値を補間してもよい。

また、上記シェーディング補正装置は、画面中心位置から処理対象となる画素までの距離に基づいて、レンズシェーディング補正値を演算するレンズシェーディング補正値演算手段を更に備えてもよい。このとき、前記シェーディング補正手段は、前記レンズシェーディング補正値演算手段により演算されたレンズシェーディング補正値を更に用いて、シェーディング補正済みの画素信号を生成すればよい。これにより、レンズに起因するシェーディングも更に補正することができる。

本発明に係る撮像装置は、被写体を撮像して画像信号を生成する撮像手段と、画像信号を記憶する記憶手段と、前記画像信号の黒レベルを補正する黒レベル補正手段と、前記黒レベル補正手段により黒レベルが補正された画像信号にシェーディング補正を行う請求項１から請求項３のいずれか１項に記載のシェーディング補正装置と、通常露光モードの場合は、前記撮像手段で生成された画像信号を前記黒レベル補正手段に供給し、長時間露光モードの場合は、前記撮像手段で生成された画像信号を前記記憶手段に書き込み、撮像後に前記記憶手段に記憶されている画像信号を読み出して前記黒レベル補正手段に供給する制御を行う制御手段と、を備えている。

制御手段は、通常露光モードの場合は、前記撮像手段で生成された画像信号を前記黒レベル補正手段に供給する。これにより、通常露光モードの場合では、撮像手段で生成された画像信号は、黒レベル補正され、その後シェーディング補正される。

また、制御手段は、長時間露光モードの場合は、撮像手段で生成された画像信号を記憶手段に書き込み、撮像後に記憶手段に記憶されている画像信号を読み出して黒レベル補正手段に供給する。これにより、長時間露光モードの場合では、撮像手段で生成された画像信号は、一度記憶手段に書き込まれる。そして、撮像後に、記憶手段から読み出された画像信号は、黒レベル補正され、その後シェーディング補正される。このため、黒レベル補正手段は、変動のない黒レベルを正確に検出して画像信号に高精度に黒レベル補正を行う。その結果、シェーディング補正装置は、黒浮きのないシェーディング補正を行うことができる。

したがって、上記撮像装置は、長時間露光モードの場合であっても、黒浮きのないシェーディング補正を行うことができる。

本発明に係るシェーディング補正値演算装置は、被写体を撮像して画像信号を生成する撮像素子と、前記撮像素子により生成された画像信号を構成する色信号を、色毎に、１画面の複数領域毎に積算して積算値を演算する積算手段と、前記積算手段により演算された色毎の積算値に基づいて、前記１画面の中心部における基準色信号のレベルと他の色信号のレベルとを基準にして、前記１画面の全領域でホワイトバランス調整を行うホワイトバランス調整手段と、前記ホワイトバランス調整手段によりホワイトバランス調整された前記１画面の領域毎の積算値に基づいて、シェーディング補正値を演算するシェーディング補正値演算手段と、を備えている。

積算手段は、撮像素子により生成された画像信号を構成する色信号を、色毎に、１画面の複数領域毎に積算して積算値を演算する。ここにいう複数領域は、上述した補正値テーブルの複数代表位置に各々対応している。

ホワイトバランス調整手段は、積算手段により演算された色毎の積算値に基づいて、１画面の中心部における基準色信号のレベルと他の色信号のレベルとを基準にして、１画面の全領域でホワイトバランス調整を行う。これにより、画面中心部では各色信号のレベルはほぼ一致することになるが、シェーディングが発生すると、画面端部では一致しないことがある。

そこで、シェーディング補正値演算手段は、ホワイトバランス調整手段によりホワイトバランス調整された前記１画面の領域毎の積算値に基づいて、シェーディング補正値を演算する。

したがって、本発明に係るシェーディング補正値演算装置は、１画面の領域毎にシェーディングを補正するためのシェーディング補正値を演算することで、データ量の削減されたシェーディング補正値を得ることができる。

ここで、シェーディング補正値演算手段は、前記１画面の領域毎に、前記基準色信号の積算値と前記他の色信号の積算値との比に基づいて、前記他の色信号のシェーディング補正値を演算してもよい。

また、シェーディング補正値演算手段は、前記１画面の領域毎に、画面中心部における前記基準色信号の積算値と他の色信号の積算値との比に基づいて、前記他の色信号のシェーディング補正値を演算し、画面中心部における前記基準色信号の積算値と当該基準色信号の積算値との比に基づいて、前記基準色信号のシェーディング補正値を演算してもよい。

本発明に係る撮像装置は、請求項１から請求項３のいずれか１項に記載のシェーディング補正装置と、請求項５から請求項７のいずれか１項に記載のシェーディング補正値演算装置と、を備え、前記補正テーブル記憶手段は、前記補正値テーブルとして、前記シェーディング補正値演算装置によって演算された色毎のシェーディング補正値を記憶することを特徴とする。これにより、上記撮像装置は、シェーディング補正値を演算することができると共に、そのシェーディング補正値を用いてシェーディング補正を行うことができる。

本発明に係るシェーディング補正装置、シェーディング補正値演算装置及び撮像装置は、色毎に異なるシェーディングを補正することができる。

以下、本発明を実施するための最良の形態について、図面を参照しながら詳細に説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態に係る撮像装置の構成を示すブロック図である。撮像装置は、被写体を撮像するＣＣＤイメージセンサ１１と、ＣＣＤイメージセンサ１１で生成された画像信号に所定のアナログ信号処理を施したり同期信号を生成するアナログフロントエンド／タイミングジェネレータ（ＡＦＥ／ＴＧ）１２と、所定のディジタル信号処理を行う処理系２０と、画像データを記憶するＳＤＲＡＭ３０と、を備えている。

ＣＣＤイメージセンサ１１は、被写体からの撮像光に応じて３原色信号からなる画像信号を生成し、この画像信号をＡＦＥ／ＴＧ１２に供給する。ＡＦＥ／ＴＧ１２は、ＣＣＤイメージセンサ１１から供給された画像信号に相関二重サンプリング処理、アナログ／ディジタル変換を行う。また、ＡＦＥ／ＴＧ１２は、垂直同期信号及び水平同期信号を生成し、これらの同期信号をアナログ信号処理の際に使用したりＣＣＤイメージセンサ１１に供給する。そして、ＡＦＥ／ＴＧ１２においてディジタル信号に変換された画像データは、処理系２０に供給される。

処理系２０は、図１に示すように、画像データの黒レベルを補正する黒レベル補正部２１と、画像データのシェーディング補正を行うシェーディング補正部２２と、ＳＤＲＡＭ３０に対する画像データの書込や読出を制御するメモリ制御部２３と、処理系２０の全体動作を制御するＣＰＵ２４と、を備えている。

黒レベル補正部２１は、ＡＦＥ／ＴＧ１２から供給された画像データに含まれる暗電流ノイズによるオフセットを除去するように、この画像データの黒レベルを補正し、黒レベル補正済みの画像データをシェーディング補正部２２に供給する。

シェーディング補正部２２は、画像データについてシェーディング補正を行い、シェーディング補正済みの画像データをメモリ制御部２３に供給する。なお、シェーディング補正部２２の詳細な構成については後述する。そして、メモリ制御部２３は、シェーディング補正部２２から供給された画像データをＳＤＲＡＭ３０に書き込む。

図２は、シェーディング補正部２２の構成を示すブロック図である。シェーディング補正部２２は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色について、１画素ずつシェーディング補正を行う。

シェーディング補正部２２は、画素をカウントする画素カウンタ４１と、相対座標位置を演算する相対位置演算部４２と、補正値テーブルを記憶している補正値テーブルメモリ４３と、相対座標位置におけるシェーディング補正値を補間演算する補正値補間部４４と、画像データ中の処理対象となる画素の画素データとシェーディング補正データとを乗算する乗算器４５と、を備えている。

画素カウンタ４１は、黒レベル補正部２１から供給されている画像データの座標位置をカウントする。相対位置演算部４２は、画像データと補正値テーブルとを対比して、処理対象となる画素の相対座標位置を演算する。

補正値テーブルメモリ４３には、Ｒ、Ｇ、Ｂの色毎に、補正値テーブルが記憶されている。補正値テーブルは、１画面を複数領域に分割したときの各領域の代表位置に、それぞれシェーディング補正値が対応付けられたものである。なお、本実施形態では、補正値テーブルは、１画面を８×８画素に分割したときの各画素の座標位置にシェーディング補正値が対応付けられている。すなわち、補正値テーブルは、８×８画素で構成されている。

このように、補正値テーブルは、１画面を６４の少ない領域に分割したときの各領域に対してシェーディング補正値を対応付けていることで、１画素ずつシェーディング補正値を有する場合に比べて、大幅にデータ量を削減できる。

補正値補間部４４は、色毎に、補正値テーブルメモリ４３に記憶されている補正値テーブルを参照して、相対位置演算部４２で演算された相対座標位置に、シェーディング補正値を補間する。乗算器４５は、処理対象となる画素データと補間処理により得られた新たなシェーディング補正値とを乗算することで、シェーディング補正済みの画素データを生成する。

以上のように構成された撮像装置は、例えば、１画面が２０４８×１５３６画素で構成された画像データについて、処理対象となる赤色の画素（座標位置（５００、１０００））を次のようにしてシェーディング補正する。

図３は、２０４８×１５３６画素で構成された１画面の座標位置（５００、１０００）を示す図である。図２に示す画素カウンタ４１は、画像データの座標位置をカウントして、処理対象となる画素の座標位置（５００、１０００）を得る。

相対位置演算部４２は、補正値テーブルの縦及び横の画素数を基準にして、処理対象となる画素の相対座標位置を演算する。つまり、相対位置演算部４２は、１画面の画像データの縦及び横の画素数を、補正値テーブルの縦及び横の画素数に対応するように縮小したときに相当する、処理対象となる画素の相対座標位置を演算する。

図４は、補正値テーブルに対応するように縮小した１画面の画像データを示す図である。横１／２５６、縦１／１９２に縮小すると、１画面が２０４８×１５３６画素の座標位置（５００、１０００）の相対座標位置は、（１．９５３１２５、５．２０８）になる。すなわち、相対位置演算部４２は、相対座標位置（１．９５３１２５、５．２０８）を算出する。

補正値補間部４４は、補正値テーブルメモリ４３に記憶されている補正値テーブルを参照して、相対座標位置に相当するシェーディング補正値を補間演算する。

図５は、相対座標位置に相当するシェーディング補正値の補間演算を説明する図である。補正値補間部４４は、例えば、不連続点のない関数であるスプライン関数と、相対座標位置の周辺１６個のシェーディング補正値とを用いて、相対座標位置に相当するシェーディング補正値を補間演算する。

また、相対座標位置が補正値テーブルの端にある場合、１６個のシェーディング補正値を確保できないことがある。この場合、補正値補間部４４は、補正値テーブルの端にあるシェーディング補正値をそのまま延長し、相対座標位置の周辺１６個のシェーディング補正値を確保すればよい。また、相対座標位置に相当するシェーディング補正値の補間演算は、上記のものに限定されるものではないのは勿論である。

乗算器４５は、上記処理対象である座標位置（５００、１０００）の画素データと、補正値補間部４４で補間演算されたシェーディング補正値とを乗算することで、シェーディング補正済みの赤色の画素データを生成する。

同様にして、赤色のすべての画素についてシェーディング補正が実行されると、次は、青、緑のすべての画素についても同様にシェーディング補正が実行される。そして、シェーディング補正済みの画像データは、メモリ制御部２３を介して、ＳＤＲＡＭ３０に記憶される。

以上のように、本発明の第１の実施形態に係る撮像装置は、１画面の複数領域の代表位置にそれぞれシェーディング補正値が対応付けられた補正値テーブルを色毎に有することで、すべての画素に対応するシェーディング補正値を有する場合に比べて、保有すべきデータ量を大幅に削減することができる。

また、上記撮像装置は、補正値テーブルを参照して、処理対象の座標位置におけるシェーディング補正値を補間演算することによって、関数化し難いシェーディング補正を容易に実行することができる。

なお、上記撮像装置は、画像データを補正値テーブルに対応するように縮小したが、補正値テーブルを画像データに対応するように拡大してもよい。

図６は、８×８画素の補正値テーブルを２０４８×１５３６画素の画像データに対応するように拡大した状態を示す図である。このとき、補正値テーブルの各画素の座標位置も拡大される。そして、２０４８×１５３６画素上における座標位置（ｉ、ｊ）の補正拡大データＣＦijは、拡大された補正値テーブルのシェーディング補正値により、補間演算される。

図７は、ＣＣＤijとＯＵＴijを示す図である。処理対象となる画素データ（ＣＣＤデータ）をＣＣＤij、補正後のＣＣＤデータをＯＵＴijとすると、ＯＵＴijは、次の式により求められる。

ＯＵＴij＝ＣＣＤij×ＣＦij
以上のように、上記撮像装置は、補正値テーブルを画像データに対応するように拡大してもよい。そして、拡大した補正値テーブルのシェーディング補正値を用いて、処理対象となる画素のシェーディング補正値の補間演算を行い、このシェーディング補正値に基づいて処理対象となる画素の画素データのシェーディング補正を行うことができる。

［第２の実施形態］
つぎに、本発明の第２の実施形態について説明する。なお、第１の実施形態と同一の部位には同一の符号を付し、その詳細な説明は省略する。

図８は、第２の実施形態に係る撮像装置の構成を示すブロック図である。第２の実施形態に係る撮像装置は、Ｒ及びＢのシェーディング補正値を演算するものであり、第１の実施形態と異なる構成の処理系２０Ａを備えている。

処理系２０Ａは、図１に示した処理系２０の各々の構成に加えて、オートホワイトバランス調整を行うと共にシェーディング補正値を演算するオートホワイトバランス（ＡＷＢ）調整部２５と、ホワイトバランス調整後の画像データをＳＤＲＡＭ３０に書き込むメモリ制御部２６と、を更に備えている。

以上のように構成された撮像装置は、グレー色の校正板を撮像すると、次の手順に従ってシェーディング補正値を演算する。

図９は、シェーディング補正値生成ルーチンを示すフローチャートである。撮像装置のＡＷＢ調整部２５は、黒レベル補正部２１、シェーディング補正部２２を介して供給された画像データに基づいて、次のシェーディング補正値生成ルーチンを実行する。なお、シェーディング補正部２２は、本ルーチン実行時では、シェーディング補正を行わず、黒レベル補正部２１から供給された画像データをスルーするものとする。

ステップＳ１では、ＡＷＢ調整部２５は、例えば２０４８×１５３６画素の３原色からなる画像データを８×８の領域に分割し、領域毎に、各色の積算値Ｒij、Ｇij、Ｂijを演算して、ステップＳ２に進む。

図１０（Ａ）は２０４８×１５３６画素のＲデータ、（Ｂ）は画像データを８×８の領域に分割したときの領域毎のＲデータの積算値（積算値Ｒji）を説明する図である。この場合、１領域当たり２５６×１９２画素のＲデータの値を積算することによって、積算値Ｒjiが得られる。なお、（Ｂ）において、Ｒ₀₀は左上の領域又はその積算値を示す。領域Ｒjiは、Ｒ₀₀を基準にすると、右に移動するに従ってＲ₀₁、Ｒ₀₂、…、Ｒ₀₇と表され、下に移動するに従ってＲ₁₀、Ｒ₂₀、…、Ｒ₇₀と表される。また、ＡＷＢ調整部２５は、同様にして、領域毎に積算値Ｇji、Ｂjiを演算する。

ステップＳ２では、ＡＷＢ調整部２５は、Ｒ、Ｇ、Ｂ毎に、画面中央部にある所定領域の積算値の平均を演算する。ＡＷＢ調整部２５は、画面中央部の例えば４つの領域の積算値Ｒ₃₃、Ｒ₃₄、Ｒ₄₃、Ｒ₄₄の平均値Ｒcenterを演算する。ＡＷＢ調整部２５は、Ｇ及びＢについても同様に、画面中央部の４領域の積算値の平均値を演算する。すなわち、ＡＷＢ調整部２５は、次の演算を行った後、ステップＳ３に進む。

Ｒcenter＝（Ｒ₃₃＋Ｒ₃₄＋Ｒ₄₃＋Ｒ₄₄）／４
Ｇcenter＝（Ｇ₃₃＋Ｇ₃₄＋Ｇ₄₃＋Ｇ₄₄）／４
Ｂcenter＝（Ｂ₃₃＋Ｂ₃₄＋Ｂ₄₃＋Ｂ₄₄）／４
ステップＳ３では、ＡＷＢ調整部２５は、Ｒ、ＢのそれぞれのゲインＲgain、Ｂgainを演算する。すなわち、ＡＷＢ調整部２５は、次の演算を行った後、ステップＳ４に進む。

Ｒgain＝Ｇcenter／Ｒcenter
Ｂgain＝Ｇcenter／Ｂcenter
ステップＳ４では、ＡＷＢ調整部２５は、積算値Ｒji、ＢjiにそれぞれゲインＲgain、Ｂgainを乗じて、Ｒ’ji、Ｂ’jiを演算する。すなわち、ＡＷＢ調整部２５は、次の演算を行った後、ステップＳ５に進む。

Ｒ’ji＝Ｒgain×Ｒji
Ｂ’ji＝Ｂgain×Ｂji
図１１は、画像データを８×８の領域に分割したときの領域毎のＲ’jiを示す図である。このように、ＡＷＢ調整部２５は、ステップＳ１からステップＳ４までの処理を行うことによって、Ｒ、Ｇ、Ｂデータの画像中心部における平均値を基準にして、画像全体のＲデータ及びＢデータを調整するホワイトバランス調整を行う。この結果、８×８領域毎に、画像中心部を基準にしたときのホワイトバランス調整後の積算値Ｒ’ji、Ｂ’jiが得られる。

図１２は、ホワイトバランス調整後のＲ、Ｇ、Ｂデータを示す図である。画像中心部を基準にしてホワイトバランス調整を行ったため、画像中心部のＲ、Ｇ、Ｂデータのレベルはほぼ一致している。しかし、Ｒ、Ｂデータのレベルは、Ｇデータに比べて、画像の中心部から端に移動するに従って低下してしまう。このような各データのレベルのずれがあると、そのずれに応じてシェーディングが発生してしまう。

そこで、ステップＳ５では、ＡＷＢ調整部２５は、次の演算を行って、シェーディング補正値ＲＨji、ＢＨjiを求める。

ＲＨji＝Ｇji／Ｒ’ji
ＢＨji＝Ｇji／Ｂ’ji
すなわち、ホワイトバランス調整後のＲ、Ｇ、Ｂデータのレベルのずれに応じてシェーディングが発生することを考慮して、ＡＷＢ調整部２５は、ホワイトバランス調整後における積算値Ｇjiに対する積算値Ｒ’ji、Ｂ’jiのずれを、シェーディング補正値ＲＨji、ＢＨjiとして求める。なお、過補正を防止するために、上記のＲＨji、ＢＨjiの値に例えば所定係数α（＜１）を乗じても良い。αとしては例えば０．９、０．８などの値が好ましい。

図１３は、画像データを８×８の領域に分割したときの領域毎のＲＨjiを示す図である。これが、Ｒの補正値テーブルに相当する。Ｂの補正値テーブルも同様にしてＡＷＢ調整部２５によって求められる。

以上のように、第２の実施形態に係る撮像装置は、ホワイトバランス調整後における積算値Ｇjiに対する積算値Ｒ’ji、Ｂ’jiのずれをシェーディング補正値として求めることによって、Ｒ、Ｂの補正値テーブルを求めることができる。

［第３の実施形態］
つぎに、本発明の第３の実施形態について説明する。なお、第２の実施形態と同一の部位には同一の符号を付し、その詳細な説明は省略する。

第３の実施形態に係る撮像装置は、Ｒ、Ｂのシェーディング補正値だけでなく、Ｇのシェーディング補正値を演算する。なお、本実施形態に係る撮像装置は、第２の実施形態と同様の構成であるが、ＡＷＢ調整部２５によるシェーディング補正値生成ルーチンの一部が異なっている。

具体的には、ＡＷＢ調整部２５は、図９に示したステップＳ１からステップＳ４までの処理を行った後、シェーディング補正値ＲＨji、ＧＨji、ＢＨjiを求めるべく、次の演算を行えばよい。

ＲＨji＝Ｇcenter／Ｒ’ji
ＧＨji＝Ｇcenter／Ｇji
ＢＨji＝Ｇcenter／Ｂ’ji
図１４は、ホワイトバランス調整後のＲ、Ｇ、Ｂデータのレベルを示す図である。Ｇデータのレベルは、Ｒ、Ｂデータほどではないが、画像の中心部から端に移動する従って少し低下している。そこで、ＡＷＢ調整部２５は、ホワイトバランス調整後における積算値Ｇjiの中心部Ｇcenterに対する積算値Ｒ’ij、Ｇij、Ｂ’ijのずれを、シェーディング補正値ＲＨji、ＧＨji、ＢＨjiとして求める。これにより、Ｒ、Ｇ、Ｂの補正値テーブルが求められる。

なお、過補正を防止するために、上記のＲＨji、ＧＨji、ＢＨjiの値に例えば所定係数α（＜１）を乗じても良い。αとしては例えば０．９、０．８などの値が好ましい。

以上のように、第３の実施形態に係る撮像装置は、ホワイトバランス調整後における積算値Ｇjiの中心部Ｇcenterに対する積算値Ｒ’ij、Ｇij、Ｂ’ijのずれをシェーディング補正値として求めることで、第２の実施形態に比べてより高精度が補正可能な補正値テーブルを求めることができる。

［第４の実施形態］
つぎに、本発明の第４の実施形態について説明する。なお、上述した実施形態と同一の部位には同一の符号を付し、その詳細な説明は省略する。

第４の実施の形態係る撮像装置は、レンズシェーディングを更に補正することができるものである。以下、第１から第３の実施形態で用いたシェーディング補正値を「ＣＣＤシェーディング補正値」とし、レンズシェーディング用の補正値を「レンズシェーディング補正値」という。

本実施形態に係る撮像装置は、上述した実施形態で示したシェーディング補正部２２の代わりに、次のシェーディング補正部２２Ａを備えている。

図１５は、シェーディング補正部２２Ａの構成を示すブロック図である。シェーディング補正部２２Ａは、図２に示す構成に加えて、レンズシェーディング補正関数を用いてレンズシェーディング補正値を演算する補正値関数演算部４６と、ＣＣＤシェーディング補正値とレンズシェーディング補正値とを乗算する乗算器４７とを備えている。

図１６は、レンズシェーディング補正関数を説明するための図である。レンズシェーディング補正関数は、中心からの距離ｄを変数とし、例えば次式で表される。

レンズシェーディング補正値＝α・ｄ＾４＋β・ｄ＾２＋γ
補正値関数演算部４６は、中心位置から画素カウンタ４１でカウントされた座標位置までの距離ｄを演算し、これを上記式に代入することによって、レンズシェーディング補正値を演算する。

乗算器４７は、補正値補間部４４で求められたＣＣＤシェーディング補正値と、補正値関数演算部４６で求められたレンズシェーディング補正値とを乗算して、この乗算値を乗算器４５に供給する。そして、乗算器４５は、処理対象となる画素データと、乗算器４７で求められた新たなシェーディング補正値とを乗算することで、シェーディング補正済みの画素データを生成する。

以上のように、第４の実施形態に係る撮像装置は、ＣＣＤイメージセンサ１１に起因するシェーディングだけでなく、レンズに起因するシェーディングも同時に補正することができる。

［第５の実施形態］
つぎに、本発明の第５の実施形態について説明する。なお、上述した実施形態と同一の部位には同一の符号を付し、その詳細な説明は省略する。

図１７は、第５の実施形態に係る撮像装置の構成を示すブロック図である。第５の実施形態に係る撮像装置は、撮像時に長時間露光しても適切にシェーディング補正を実行できるものであり、上述した実施形態の処理系２０又は処理系２０Ａに代えて、処理系２０Ｂを備えている。

処理系２０Ｂは、黒レベル補正部２１、シェーディング補正部２２、メモリ制御部２３、ＣＰＵ２４、ＡＷＢ調整部２５に加えて、シェーディング補正済みの画像データに所定のディジタル信号処理を行う信号処理部２７と、ホワイトバランス調整済み又はディジタル信号処理済みの画像データをＳＤＲＡＭ３０に書き込むメモリ制御部２８と、ＳＤＲＡＭ３０から画像データを読み出して黒レベル補正部２１に供給するメモリ制御回路２９と、を備えている。なお、黒レベル補正部２１及びシェーディング補正部２２は、画像データを取込時又は信号処理時に所定の補正処理を実行する。

（通常露光時）
上記のように構成された撮像装置は、通常露光で撮像する場合、次のように動作する。

撮像時では、メモリ制御部２９は、ＡＦＥ／ＴＧ１２から供給された画像データを黒レベル補正部２１に供給する。この画像データは、黒レベル補正部２１で黒レベル補正され、シェーディング補正部２２でシェーディング補正される。そして、シェーディング補正部２２は、シェーディング補正済みの画像データを、メモリ制御部２３を介してＳＤＲＡＭ３０に書き込んだり、ホワイトバランス調整用積算データとしてＡＷＢ調整部２５に保存する。

信号処理時では、メモリ制御部２９は、ＳＤＲＡＭ３０からシェーディング補正済みの画像データ及びホワイトバランス調整用積算データを読み出す。メモリ制御部２９によって読み出されたデータは、黒レベル補正部２１、シェーディング補正部２２をスルーして、信号処理部２７に供給される。信号処理部２７は、ホワイトバランス調整用積算データを用いて画像データにホワイトバランス調整や、その他のディジタル信号処理を行った後、処理済みの画像データを、メモリ制御回路２８を介してＳＤＲＡＭ３０に書き込む。

このように、上記撮像装置は、撮像時に黒レベル補正され且つシェーディング補正された画像データをホワイトバランス調整用積算データとして保存し、信号処理時にホワイトバランス調整用積算データを用いてホワイトバランス調整を行うので、信号処理の精度を高めている。

なお、長時間露光で撮像する場合も上記と同様に処理を行うと、露光時間中に黒レベルが次第に浮いてしまって、正確に黒レベルを補正できず、画像データに黒浮きが発生するおそれがある。さらに、黒浮きした画像データにシェーディング補正を行うと、その補正量に応じて黒も浮いてしまう問題がある。

（長時間露光時）
そこで、上記撮像装置は、長時間露光で撮像する場合、次のように処理を実行する。

メモリ制御部２９は、ＡＦＥ／ＴＧ１２から供給された未処理の画像データをＳＤＲＡＭ３０に書き込み、一方でその未処理の画像データを黒レベル補正部２１及びシェーディング補正部２２をスルーして、ＡＷＢ調整部２５に供給する。これにより、ＡＷＢ調整部２５には、ホワイトバランス調整用積算データとして、未処理の画像データが保存される。

信号処理時では、メモリ制御部２９は、ＳＤＲＡＭ３０から画像データ及びホワイトバランス調整用積算データを読み出す。この画像データは、黒レベル補正部２１で黒レベル補正され、シェーディング補正部２２でシェーディング補正された後、信号処理部２７に供給される。この結果、黒レベル補正部２１は、一旦ＳＤＲＡＭ３０に取り込まれた未処理の画像データに基づいて正確な黒レベルを検出して、黒レベルを高精度に補正することができる。そして、信号処理部２７は、シェーディング補正済みの画像データに対して、ＡＷＢ調整部２５に保存されているホワイトバランス調整用積算データを用いてホワイトバランス調整や、その他の所定の処理を実行する。メモリ制御回路２８は、信号処理部２７で処理された画像データをＳＤＲＡＭ３０に書き込む。

以上のように、第５の実施形態に係る撮像装置は、通常露光撮像時では、撮像系からの画像データに黒レベル補正、シェーディング補正を行い、長時間露光撮像時では、撮像系からの画像データを一旦保存して撮像後に画像データの黒レベル補正、シェーディング補正を行う。

これにより、上記撮像装置は、長時間露光撮像時では、黒の浮き量が確定した画像データに対して黒レベル補正、シェーディング補正を行うことができるので、長時間露光の画像データに対しても最適な黒レベル補正及びシェーディング補正を行うことができる。

なお、本発明は、上述した実施形態に限定されるものではなく、特許請求の範囲に記載された事項の範囲内で設計変更可能である。例えば、各実施形態の内容を任意に組み合わせても良いのは勿論である。

本発明の第１の実施形態に係る撮像装置の構成を示すブロック図である。シェーディング補正部２２の構成を示すブロック図である。２０４８×１５３６画素で構成された１画面の座標位置（５００、１０００）を示す図である。補正値テーブルに対応するように縮小した１画面の画像データを示す図である。相対座標位置に相当するシェーディング補正値の補間演算を説明する図である。８×８画素の補正値テーブルを２０４８×１５３６画素の画像データに対応するように拡大した状態を示す図である。ＣＣＤijとＯＵＴijを示す図である。第２の実施形態に係る撮像装置の構成を示すブロック図である。シェーディング補正値生成ルーチンを示すフローチャートである。（Ａ）は２０４８×１５３６画素の３原色からなる画像データ、（Ｂ）は画像データを８×８の領域に分割したときの領域毎のＲデータの積算値（積算値Ｒji）を説明する図である。画像データを８×８の領域に分割したときの領域毎のＲ’jiを示す図である。ホワイトバランス調整後のＲ、Ｇ、Ｂデータのレベルを示す図である。画像データを８×８の領域に分割したときの領域毎のＲＨjiを示す図である。ホワイトバランス調整後のＲ、Ｇ、Ｂデータのレベルを示す図である。シェーディング補正部２２Ａの構成を示すブロック図である。レンズシェーディング補正関数を説明するための図である。第５の実施形態に係る撮像装置の構成を示すブロック図である。

符号の説明

１１ＣＣＤイメージセンサ
１２ＡＦＥ／ＴＧ
２０，２０Ａ，２０Ｂ処理系
２１黒レベル補正部
２２シェーディング補正部
２３，２６，２８，２９メモリ制御部
２４ＣＰＵ
２５ＡＷＢ調整部
２７信号処理部

Claims

１画面の複数の代表位置毎にシェーディング補正値が対応付けられている補正テーブルを色毎に記憶する補正テーブル記憶手段と、
色毎に、１画面の画像信号と、前記補正テーブル記憶手段に記憶されている補正テーブルとを対応させて、前記１画面の画像信号の処理対象となる画素について、前記補正テーブルの各代表位置に対する相対位置を演算する相対位置演算手段と、
色毎に、前記相対位置演算手段により演算された相対位置と、各代表位置のシェーディング補正値と、に基づいて、前記相対位置におけるシェーディング補正値を補間するシェーディング補正値補間手段と、
色毎に、前記処理対象となる画素の画素信号と、前記シェーディング補正値補間手段により補間されたシェーディング補正値と、に基づいて、シェーディング補正済みの画素信号を生成するシェーディング補正手段と、
を備えたシェーディング補正装置。
前記シェーディング補正値補間手段は、前記相対位置演算手段により演算された相対位置の周辺にある所定数の代表位置のシェーディング補正値を用いて、前記相対位置におけるシェーディング補正値を補間する
請求項１に記載のシェーディング補正装置。
画面中心位置から処理対象となる画素までの距離に基づいて、レンズシェーディング補正値を演算するレンズシェーディング補正値演算手段を更に備え、
前記シェーディング補正手段は、前記レンズシェーディング補正値演算手段により演算されたレンズシェーディング補正値を更に用いて、シェーディング補正済みの画素信号を生成する
請求項１または請求項２に記載のシェーディング補正装置。
被写体を撮像して画像信号を生成する撮像手段と、
画像信号を記憶する記憶手段と、
前記画像信号の黒レベルを補正する黒レベル補正手段と、
前記黒レベル補正手段により黒レベルが補正された画像信号にシェーディング補正を行う請求項１から請求項３のいずれか１項に記載のシェーディング補正装置と、
通常露光モードの場合は、前記撮像手段で生成された画像信号を前記黒レベル補正手段に供給し、長時間露光モードの場合は、前記撮像手段で生成された画像信号を前記記憶手段に書き込み、撮像後に前記記憶手段に記憶されている画像信号を読み出して前記黒レベル補正手段に供給する制御を行う制御手段と、
を備えた撮像装置。
被写体を撮像して画像信号を生成する撮像素子と、
前記撮像素子により生成された画像信号を構成する色信号を、色毎に、１画面の複数領域毎に積算して積算値を演算する積算手段と、
前記積算手段により演算された色毎の積算値に基づいて、前記１画面の中心部における基準色信号のレベルと他の色信号のレベルとを基準にして、前記１画面の全領域でホワイトバランス調整を行うホワイトバランス調整手段と、
前記ホワイトバランス調整手段によりホワイトバランス調整された前記１画面の領域毎の積算値に基づいて、シェーディング補正値を演算するシェーディング補正値演算手段と、
を備えたシェーディング補正値演算装置。
前記シェーディング補正値演算手段は、前記１画面の領域毎に、前記基準色信号の積算値と前記他の色信号の積算値との比に基づいて、前記他の色信号のシェーディング補正値を演算する
請求項５に記載のシェーディング補正値演算装置。
前記シェーディング補正値演算手段は、前記１画面の領域毎に、画面中心部における前記基準色信号の積算値と他の色信号の積算値との比に基づいて、前記他の色信号のシェーディング補正値を演算し、画面中心部における前記基準色信号の積算値と当該基準色信号の積算値との比に基づいて、前記基準色信号のシェーディング補正値を演算する
請求項５に記載のシェーディング補正値演算装置。
請求項１から請求項３のいずれか１項に記載のシェーディング補正装置と、
請求項５から請求項７のいずれか１項に記載のシェーディング補正値演算装置と、を備え、
前記補正テーブル記憶手段は、前記補正値テーブルとして、前記シェーディング補正値演算装置によって演算された色毎のシェーディング補正値を記憶すること
を特徴とする撮像装置。