JP2011066800A - 画像処理装置及び撮像システム - Google Patents

Abstract

【課題】撮像領域の全域に渡って、適切な混色補正を実現することができる画像処理装置を提供することを課題とする。
【解決手段】光電変換素子を含む画素が行列状に２次元配置され、複数色のカラーフィルタが前記画素の表面上に配置される固体撮像装置の隣接画素間の混色を補正する画像処理装置であって、隣接画素から注目画素へ漏れ込む混色信号を除去するための補正パラメータであって、前記注目画素の位置に応じた補正パラメータを記憶する記憶部（１２０）と、前記記憶部に記憶される補正パラメータを用いて、画素の位置に応じて前記固体撮像装置の画素信号から前記混色信号を減算する補正部（１２１）とを有し、前記注目画素は少なくとも２つあり、前記少なくとも２つの注目画素は相互に水平方向のアドレス及び垂直方向のアドレスの両者が異なることを特徴とする画像処理装置が提供される。
【選択図】図３

Description

本発明は、画像処理装置及び撮像システムに関する。

ＣＭＯＳイメージセンサやＣＣＤイメージセンサ等の固体撮像装置は、光電変換素子を含む画素セルの上方に色分解カラーフィルタ、さらにその上に集光用のマイクロレンズが積層された構造となっている。ＣＭＯＳはComplementary Metal Oxide Semiconductor、ＣＣＤはCharge Coupled Deviceである。上記の構造により構成されたカラー用の固体撮像装置は、光電変換素子とマイクロレンズがカラーフィルタ及び複数の絶縁膜で隔てられる。特にＣＭＯＳイメージセンサでは、画素上に複数の配線層を有するため、光電変換素子とマイクロレンズ間の距離はＣＣＤイメージセンサより更に大きくなる。そのため、カラーフィルタを通過した光が光電変換素子に到達するまでの経路で、光が隣接する別の色の光電変換素子に入射する成分が無視できない。この成分は混色と呼ばれる。混色は光学的な理由だけでなく、例えばある画素の光電変換素子を通過し、シリコン内部で隣接する画素に漏れ込む成分もある。更に、光がある画素の光電変換素子で吸収され電荷に変換されたとしても、電荷がシリコン内部で拡散、ドリフトし隣接画素へと漏れる成分もある。いずれの成分も、１画素の寸法が小さくなるにつれ増大するという性質がある。混色成分を信号処理で補正するために当該特定色画素と隣接する特定色以外の画素の信号より算出した一定割合の信号成分を減算する技術が知られている（例えば、特許文献１参照）。また、画素の配線等のレイアウトによる非対称性を考慮し、色の異なる画素に応じて減算する量を変えたりすることで混色を低減する技術が知られている（例えば、特許文献２参照）。

特開２００４−１３５２０６号公報 特開２００７−１４２６９７号公報

上記特許文献１及び２の技術は、画素寸法が比較的大きい場合には効果的に機能する。しかしながら、画素寸法が縮小すると、撮像領域上の位置により混色量が異なることが問題となってきている。撮像領域の中心では入射光は垂直に入射するのに対し、撮像領域の端に近づくにつれ、入射光は撮像面に対し傾斜して入射する。傾斜の方向も撮像領域上の位置により異なる。画素寸法が縮小すると混色は増大するが、当該画素の上下左右のどの色の画素からどれだけ混色信号が重畳するかは、画素の構造やレイアウトにより大きく左右される。特許文献１，２とも、撮像領域上の位置によらず補正量を一定としている。従って、撮像面上の全ての位置で満足のゆく補正を行うことが困難となってきている。

本発明は、撮像領域の全域に渡って、適切な混色補正を実現することができる画像処理装置及び撮像システムを提供することを目的とする。

本発明の画像処理装置は、光電変換素子を含む画素が行列状に２次元配置され、複数色のカラーフィルタが前記画素の表面上に配置される固体撮像装置の隣接画素間の混色を補正する画像処理装置であって、隣接画素から注目画素へ漏れ込む混色信号を除去するための補正パラメータであって、前記注目画素の位置に応じた補正パラメータを記憶する記憶部と、前記記憶部に記憶される補正パラメータを用いて、画素の位置に応じて前記固体撮像装置の画素信号から前記混色信号を減算する補正部とを有し、前記注目画素は少なくとも２つあり、前記少なくとも２つの注目画素は相互に水平方向のアドレス及び垂直方向のアドレスの両者が異なることを特徴とする。

本発明によれば、注目画素の位置に応じた補正パラメータを用いることにより、撮像領域の全域に渡って、精度の高い混色補正を行うことができる。

撮像システム及び固体撮像装置の構成例を示すブロック図である。 第１の実施形態の固体撮像装置の画素色配列と混色を示す図である。 第１の実施形態の混色補正装置の概要を示す図である。 画素色配列と混色補正パラメータの使い分け領域を示す図である。 第２の実施形態の固体撮像装置の画素色配列を示す図である。 第２の実施形態の混色補正装置の概要を示す図である。 第３の実施形態の固体撮像装置の画素色配列を示す図である。 第３の実施形態の混色補正装置の概要を示す図である。 固体撮像装置の画素色配列の他の例を示す図である。 第４の実施形態の固体撮像装置の画素色配列を示す図である。 第４の実施形態の混色補正装置の概要を示す図である。

（第１の実施形態）
図１（ａ）は本発明の第１の実施形態による撮像システムの構成例を示すブロック図であり、図１（ｂ）は本発明の第１の実施形態による固体撮像装置の構成例を示す図である。撮像システムは、デジタル一眼レフカメラ、コンパクトデジタルカメラ、ビデオカメラ、携帯用デジタルカメラ、放送用デジタルカメラ等である。図１（ａ）の撮像システムの構成及び図１（ｂ）の固体撮像装置の構成は全ての実施形態で共通である。図１（ａ）の撮像システムは、固体撮像装置が例えばデジタル一眼レフカメラの一部として構成される。この構成はデジタル一眼レフカメラの適用に限られるものではなく、ビデオカメラ、デジタルコンパクトカメラ等の撮像装置全般に対して適用できる。図１（ａ）の撮像システムは、光学系１０１、固体撮像装置１０２、ＡＦＥ１０３、ＤＦＥ１０４、画像エンジン１０５、タイミングジェネレータ１０６、レンズ制御部１０７、カメラ制御部１０８、インターフェース１０９等を有する。ＡＦＥ１０３はアナログフロントエンド、ＤＦＥ１０４はデジタルフロントエンドである。光学系１０１は、被写体からの入射光を固体撮像装置１０２の撮像面上に結像するレンズ１０１ａと、当該レンズ１０１ａ、シャッタ１０１ｃを経た入射光の光量を制御する絞り１０１ｂと、固体撮像装置１０２への光入射時間を制御するシャッタ１０１ｃを有する。固体撮像装置１０２は、光学系１０１を通して入射した光を画素単位で光電変換して電気信号として出力する。固体撮像装置１０２の具体的な構成は後述する。ＡＦＥ１０３は、アナログ信号処理回路であり、固体撮像装置１０２から出力されるアナログ信号に対して、サンプルホールドし、ゲイン調整、オフセット調整をした後、Ａ／Ｄ（アナログ／デジタル）変換する。ＤＦＥ１０４はデジタル処理でのゲイン微調整や、オフセットの微調整、デジタル信号の並べ替えや、デジタル信号のマルチプレクス処理を行う。ＤＦＥ１０４は、混色補正装置（画像処理装置）１１０を有する。画像エンジン１０５は、ホワイトバランス処理や、明るさ、コントラスト、色合い等の画像処理を行う。タイミングジェネレータ１０６は、カメラ制御部１０８の指示に応じて固体撮像装置１０２に適切な駆動信号を与える。レンズ制御部１０７は、カメラ制御部１０８の指示に応じて、被写体からの光を固体撮像装置１０２の撮像面上に結像させるように、レンズ１０１ａの位置を調整し、被写界深度、明るさを調整する為に絞り１０１ｂを調整する。カメラ制御部１０８は、一般的にマイクロコンピュータにより主に構成され、ユーザの設定している撮影モードや、絞り、シャッタスピード・ＩＳＯ感度を検知し、レンズ制御部１０７を介して光学系１０１を制御、ＡＦＥ３・ＤＦＥ１０４でゲインを制御する。そして、カメラ制御部１０８は、タイミングジェネレータ１０６を介して固体撮像装置１０２の蓄積時間を制御、ＡＦＥ１０３、ＤＦＥ１０４のゲインを制御、画像エンジン１０５での色あいを制御する。逆に、カメラ制御部１０８は、画像エンジン１０５から送られてくる信号を基に、撮影画像の信号をインターフェース１０９を介してユーザの表示装置に表示する。なお、混色補正装置１１０はＤＦＥ１０４に限らず、画素エンジン１０５の中にあってもよいし、独立して混色補正装置１１０があってもよい。

図１（ｂ）は、ＣＭＯＳイメージセンサを用いた固体撮像装置１０２の構成図である。固体撮像装置１０２は、光電変換素子及びカラーフィルタを有する複数の画素２０１が２次元状に配列された撮像領域２０２を有する。撮像領域２０２は、光電変換素子を含む画素２０１が行列状に２次元配置され、複数色のカラーフィルタが画素２０１の表面上に配置される。垂直走査回路２０３は画素２０１の信号を読み出すための駆動信号を生成する。水平共通制御線２０４は垂直走査回路２０３からの駆動信号を画素２０１に伝達する。垂直共通信号線２０５は、画素２０１の信号を列信号読み出し回路２０６に伝達する。列信号読み出し回路２０６は、画素２０１の信号を信号処理した後、サンプルホールドし水平走査回路２０８からの信号を待つ。水平読み出しスイッチ２０７は、水平走査回路２０８からの水平走査信号を受け取り、列信号読み出し回路２０６にサンプルホールドされた信号を水平共通信号線２０９ａ、２０９ｂに伝達する。ここでは、例として、固体撮像装置１０２は、水平共通信号線２０９ａ、２０９ｂの２チャンネルを有する。なお、水平共通信号線が単数でも複数チャンネルでも、列信号読み出し回路２０６の構成にかかわらず、複数のカラーフィルタを有する画素２０１が２次元状に配列されていれば、本実施形態は適用できる。

次に、全画素を補正対象とする場合の補正方法について例示する。図２は、図１（ｂ）の撮像領域２０２を表したものである。ここでは、Ｇ１及びＧ２（グリーン）、Ｂ（ブルー）、Ｒ（レッド）の３種類のカラーフィルタが画素２０１の表面上に形成されている場合を示すが、カラーフィルタは何種類でも本実施形態は適用できる。注目画素であるＢ、Ｒ画素は平面上で任意に選んでいる。両者の位置関係に制約事項があるわけではない。簡略のため８列１１行の画素配列としているが、実際は数百万〜数千万画素に及ぶ。混色の補正対象となる注目画素をＲとして説明する。注目画素Ｒの左上からの画素Ｂのカラーフィルタを通過した光が、隣接するＲの光電変換部へ漏れ込んでしまう電荷について、本来のＢの信号のうちＲ信号への混色信号となっている割合を表わすパラメータをαR_UL(0)とする。同様に、上からの画素Ｇ１のカラーフィルタを通過した光が、Ｒの光電変換部へ漏れ込んでしまう電荷について、本来のＧ１の信号のうちＲ信号への混色信号となっている割合を表すパラメータをαR_UU(0)とする。注目画素Ｒの右上からの画素Ｂからの混色の割合を表わすパラメータをαR_UR(0)、注目画素Ｒの右からの画素Ｇ２からの混色の割合を表わすパラメータをαR_RR(0)とする。注目画素Ｒの右下からの画素Ｂからの混色割合を表わすパラメータをαR_BR(0)、注目画素Ｒの下からの画素Ｇ１からの混色割合を表わすパラメータをαR_BB(0)とする。注目画素Ｒの左下からの画素Ｂからの混色割合を表わすパラメータをαR_BL(0)、注目画素Ｒの左からの画素Ｇ２からの混色割合を表わすパラメータをαR_LL(0)とする。図２の撮像領域の右上の、注目画素Ｒに対して、上述の注目画素とは異なるパラメータ群を定義する。こららを、αR_UL(1)、αR_UU(1)、αR_UR(1)、αR_RR(1)、αR_BR(1)、αR_BB(1)、αR_BL(1)、αR_LL(1)とする。

注目画素はＲに限らず、その他の色Ｇ１、Ｂ、Ｇ２についても、以下のようにパラメータを定義する。注目画素Ｇ１に対して、αG1_UL(n)、αG1_UU(n)、αG1_UR(n)、αG1_RR(n)、αG1_BR(n)、αG1_BB(n)、αG1_BL(n)、αG1_LL(n)、n=1,2,3・・・のパラメータを定義する。注目画素Ｂに対して、αB_UL(n)、αB_UU(n)、αB_UR(n)、αB_RR(n)、αB_BR(n)、αB_BB(n)、αB_BL(n)、αB_LL(n)、n=1,2,3・・・のパラメータを定義する。注目画素Ｇ２に対して、αG2_UL(n)、αG2_UU(n)、αG2_UR(n)、αG2_RR(n)、αG2_BR(n)、αG2_BB(n)、αG2_BL(n)、αG2_LL(n)、n=1,2,3・・・のパラメータを定義する。

注目画素Ｒに対する補正式を説明する。撮像領域中央のＲ画素を補正する場合、補正後の画素Ｒの信号出力をＲ(0)sig'とし、補正前の画素Ｒの信号出力Ｒ(0)sigとする。その他、注目画素の周辺の画素信号に関しても、補正前の信号出力を、Ｇ１(0)sig、Ｂ(0)sig、Ｇ２(0)sigとする。混色の補正の式は次式となる。
Ｒ(0)sig'= Ｒ(0)sig -｛Ｂ×αR_UL(0) + Ｇ１×αR_UU(0) + Ｂ×αR_UR(0)
+ Ｇ２×αR_RR(0)+ Ｂ×αR_BR(0) + Ｇ１×αR_BB(0)
+ Ｂ×αR_BL(0) + Ｇ２×αR_LL(0) ｝ 式（１．１）
注目画素がＧ１(0)の場合、以下の補正式となる。
Ｇ１(0)sig'= Ｇ１(0)sig -｛Ｇ２×αG1_UL(0) + Ｒ×αG1_UU(0) + Ｇ２×αG1_UR(0)
+ Ｂ×αG1_RR(0)+ Ｇ２×αG1_BR(0) + Ｒ×αG1_BB(0)
+ Ｇ２×αG1_BL(0) + Ｂ×αG1_LL(0) ｝ 式（１．２）
注目画素がＢ(0)の場合、以下の補正式となる。
Ｂ(0)sig'= Ｂ(0)sig - Ｒ×αB_UL(0) + Ｇ２×αB_UU(0) + Ｒ×αB_UR(0)
+ Ｇ１×αB_RR(0)+ Ｒ×αB_BR(0) + Ｇ２×αB_BB(0)
+ Ｒ×αB_BL(0) + Ｇ１×αB_LL(0) ｝ 式（１．３）
注目画素がＧ２(0)の場合、以下の補正式となる。
Ｇ２(0)sig'= Ｇ２(0)sig -｛Ｇ１×αG2_UL(0) + Ｂ×αG2_UU(0) + Ｇ１×αG2_UR(0)
+ Ｒ×αG2_RR(0)+ Ｇ１×αG2_BR(0) + Ｂ×αG2_BB(0)
+ Ｇ１×αG2_BL(0) + Ｒ×αG2_LL(0) ｝ 式（１．４）
なお、撮像領域２０２上の画素２０１では、パラメータは変わるが、注目画素と周囲画素との演算の関係は変わらない。

図３に、図１（ａ）の混色補正装置１１０の構成例を示す。混色補正装置１１０は、混色補正パラメータの記憶部であるメモリ１２０、補正部１２１を有し、固体撮像装置１０２の隣接画素間の混色を補正する。メモリ１２０は混色補正装置１１０の中にあってもよいし、混色補正装置１１０の外部にあってもよい。ＡＦＥ１０３から受け取った信号をＤＦＥ１０４で適切な処理をされたデジタル信号が補正の対象となる注目画素となる。補正部１２１は、カメラ制御部１０８から、注目画素の色情報や、撮像領域２０２の位置情報（ここでは、ｎ）を受け取り、それに対応する補正パラメータをメモリ１２０から読み出し、式（１．１）〜（１．４）に基づいた演算処理をする。また、補正パラメータについて、注目画素と周囲画素の色関係が異なると、例えば左上(UL)からのパラメータは同一になるとは限らない。例えば、αR_UL(n)≠αG1_UL(n)である。それは、カラーフィルタの色の違いによって光電変換素子に入射する光の波長が異なるため、電荷に変換されるシリコン単結晶の深さが異なる為である。例として、注目画素の画素Ｒに対して左上(UL)の画素Ｂ（ブルー）の短い波長の光はシリコン半導体表面から浅い位置で光電変換された場合は、容易に画素Ｂのフォトダイオード（光電変換素子）に電荷が収集されやすい。従って、該電荷は隣接する画素のフォトダイオードに収集される確率は低い。すなわち、短い波長の光はシリコン半導体表面から浅い位置で大部分が光電変換されるので、光電変換素子を通過して隣接する画素へ到達する確率は低い。一方、注目画素の画素Ｂに対して左上(UL)の画素Ｒ（レッド）の長い波長の光は画素Ｂの光電変換素子を通過し隣接する異なる色の画素の光電変換素子で捕捉される確率が、短い波長の光と比較して高くなる。すなわち、長い波長の光はシリコン半導体表面から深い位置で大部分が光電変換されるので、隣接画素へ漏れこむ確率が短い波長の光と比較して高くなる。このような理由で、注目画素と周囲画素の色関係が異なると、例えば左上(UL)からのパラメータは同一になるとは限らない。また、この例では、画素Ｂと画素Ｒは、カラーフィルタ以外の構成が同一、もしくは同等の構造の条件下で、カラーフィルタのみ異なる場合を想定したものである。カラーフィルタ以外の画素構成、例えばレイアウトや、光電変換素子のデバイス構造が異なると、波長と隣接画素の混色との大小関係は異なる場合もある。撮像領域２０２の中央から撮像領域２０２の周辺に行くにしたがって画素に対して光の入射角度が大きくなる。そのため、撮像領域２０２の中央部の画素Ｒ(0)と周辺部の画素Ｒ(1)では、周辺部の画素Ｒ(1)の方が、カラーフィルタを通過した光もしくは、光電変換された電荷が隣接画素の画素Ｇ１、画素Ｂ、画素Ｇ２に進入しやすくなる。従って、他のカラーフィルタを有する画素と比較して混色の程度が悪化する。

以上のように、混色補正装置１１０は、メモリ１２０と、補正部１２１とを有する。メモリ１２０は、隣接画素から注目画素へ漏れ込む混色信号を除去するための補正パラメータであって、注目画素の位置に応じた補正パラメータを記憶する。補正部１２１は、メモリ１２０に記憶される補正パラメータを用いて、画素の位置に応じて固体撮像装置１０２の画素信号から混色信号を減算する。本実施形態では、撮像領域２０２の中央部と周辺部の混色補正パラメータを使い分けることで、撮像領域２０２の全域に渡ってより正確に混色を補正することができる。中央部の画素の補正パラメータ及び周辺部の画素の補正パラメータは相互に異なる。補正処理に要する時間を考えると、図４のように撮像領域２０２を幾つかの領域Ａ〜Ｉに分けて、同一領域内で混色補正パラメーを共通化してもよい。メモリ１２０は、画素の領域２０２を複数領域Ａ〜Ｉに分割した領域毎の補正パラメータを記憶する。補正部１２１は、画素が属する領域の補正パラメータを用いて、固体撮像装置１０２の画素信号から上記の混色信号を減算する。２次元行列状の画素では注目画素が２次元に存在する。注目画素は少なくとも２つあり、少なくとも２つの注目画素は相互に水平方向のアドレス及び垂直方向のアドレスの両者が異なる。なお、図４の撮像領域の区切りはこの限りではない。また、ここでは注目画素の周囲画素８画素について補正処理を行ったが、用途によって要求される画質に応じて、比較的混色が少ない左上、右上、左下、右下の混色補正パラメータを使用した補正処理を省略しても構わない。斜め方向は、縦又は横方向の画素間の距離に比べて√２倍長くなるので、混色の程度が少ないからである。また、さらに画質を優先させるのであれば、さらに、もう一つ外の外周の周囲画素のパラメータを用いて混色補正処理をしてもよい。動画撮影の場合のようにフレームレートが高いために信号処理に時間が取れない場合、例えば、注目画素の斜め方向の混色補正処理を省略する手法や、前述のように撮像領域２０２を複数の領域に区切る等の手法等をとる。また、光学系１０１の絞り１０１ｂに応じて固体撮像装置１０２に入射する光線の入射角が異なることから、絞り１０１ｂに応じて混色補正パラメータを使い分けて補正すると、より混色の補正が有効になる。また、レンズ瞳距離に応じて固体撮像装置１０２に入射する光線の入射角が異なることから、瞳距離に応じて混色補正パラメータを使い分けて補正すると、より混色の補正が有効になる。この場合の、混色補正装置１１０の構成は図３と同じであるが、混色補正装置１１０の中のメモリ１２０に、光学系１０１の瞳距離、絞り値に応じた補正パラメータも有する点が異なる。補正部１２１は、カメラ制御部１０８から光学系１０１の瞳距離、絞り値の情報を受け取り、それに対応した補正パラメータをメモリ１２０から読み込み、式（１．１）、（１．２）、（１．３）、（１．４）によって演算処理する。すなわち、補正部１２１は、固体撮像装置１０２に使用される光学系１０１の絞り値及び／又は瞳距離に応じて、固体撮像装置１０２の画素信号から上記の混色信号を減算する。

（第２の実施形態）
図５（ａ）及び（ｂ）は、本発明の第２の実施形態の固体撮像装置の色配置を示す図である。遮光画素領域６０２は、撮像領域６０１の中に複数箇所設けられる。遮光画素とは光が光電変換素子に入射しないようにした金属層等で遮光した画素のことである。カラーフィルタを遮光材料で形成しても同様に遮光画素となる。本実施形態は、固体撮像装置１０２上に遮光画素で囲まれた開口画素を形成し、この開口画素の信号を評価することで混色量を評価できる構造を作り込んだ固体撮像装置１０２の例である。図５（ｂ）に示すように遮光画素領域６０２の詳細は、１つの開口画素（白色部）７０１の周囲画素を遮光画素（ハッチ部）７０２で囲ったものである。被写体からの入射光は開口画素Ｒ７０１にて光電変換される。開口画素Ｒのカラーフィルタを通過した光又は光電変換された電荷が開口画素Ｒ７０１の周囲画素に混色として漏れ込む。左上の遮光画素Ｂに現れる混色信号Ｂの信号Bsigと開口画素Ｒの信号Ｒsigの比、すなわちαB_BR(n)を求めることができる。同様に、開口画素Ｒの他の周辺の遮光画素に同様の手法で、αG1_BB(n)、αB_BL(n)、αG2_LL(n)、αB_UL(n)、αG1_UU(n)、αB_UR(n)、αG2_RR(n)、を計算することができる。ここで、ｎ＝１，２，３・・・である。開口画素Ｇ２の周辺画素についても、αG1_BR(n)、αB_BB(n)、αG1_BL(n)、αR_LL(n)、αG1_UL(n)、αB_UU(n)、αG1_UR(n)、αR_RR(n)が計算できる。以下同様に、開口画素Ｂについて、αR_BR(n)、αＧ2_BB(n)、αR_BL(n)、αG1_LL(n)、αR_UL(n)、αG2_UU(n)、αR_UR(n)、αG1_RR(n)が計算できる。開口画素Ｇ２について、αＧ2_BR(n)、αＲ_BB(n)、αＧ2_BL(n)、αB_LL(n)、αG2_UL(n)、αR_UU(n)、αG2_UR(n)、αB_RR(n)が計算できる。図５（ａ）で複数箇所に設けられている遮光画素領域６０２の各々で、補正パラメータを求める。ある画素の混色を補正する際には、例えば補正パラメータが計算されているいくつかの開口画素のうち最も近いパラメータを使用する。そして、第１の実施形態に記載の式（１．１）、（１．２）、（１．３）、（１．４）を用いて混色の補正処理を行う。

図６は、本実施形態の混色補正装置１１０の構成例を示す。混色補正装置１１０は、混色補正パラメータの記憶部であるメモリ１２０、補正部１２１、撮影毎の画素信号を一時保存するメモリ１３０、補正パラメータを算出する演算部１３１を有する。メモリ１２０及び１３０は混色補正装置１１０の中にあってもよいし、混色補正装置１１０の外部にあってもよい。ＤＦＥ１０４は、ＡＦＥ１０３から受け取った信号を処理する。メモリ１３０は、ＤＦＥ１０４で処理されたデジタル信号を格納する。補正パラメータ演算部１３１は、メモリ１３０の中から遮光画素領域６０２の信号を読み出し、補正パラメータを算出する。例えば、補正パラメータ演算部１３１は、αB_BR(n)=Bsig/Rsigにより、補正パラメータαB_BR(n)を算出する。算出した補正パラメータはメモリ１２０に格納される。補正部１２１は、メモリ１３０から画素信号、メモリ１２０から補正パラメータを読み出し、式（１．１）、（１．２）、（１．３）、（１．４）によって演算処理する。すなわち、固体撮像装置１０２は、開口画素及びそれに隣接する遮光画素を有する。補正パラメータ演算部１３１は、開口画素の信号及び遮光画素の信号を基に補正パラメータを演算し、メモリ１２０に補正パラメータを記憶する。メモリ１２０は、複数の画素位置の補正パラメータを記憶する。補正部１２１は、最も近い画素位置の補正パラメータを用いて、固体撮像装置１０２の画素信号から上記の混色信号を減算する。

本実施形態では、撮像領域６０１内に遮光画素領域６０２を複数設けることで、被写体の撮影画像そのものから、リアルタイムに補正パラメータを得ることができる。そのため、撮影時の光学系１０１の絞り１０１ｂ、光学系１０１の瞳距離に応じて、固体撮像装置への光の入射角度が変わることで変化する混色に対しての補正パラメータを得ることができ、その結果、混色補正の精度を向上させることができる。撮像領域６０１内の遮光画素領域６０２の撮像信号は遮光領域６０２の近くの画素信号を用いて補正又は代用する。撮像領域６０１の各画素の補正は、複数の遮光画素領域６０２から得られた、複数の混色量を使用して計算する。混色量の計算方法は、いくつかの方法が可能である。第１の方法は、平面的にも最も近い画素の混色量を用いて補正する方法である。第２の方法は、画素をいくつかの領域に区切りその領域で同じ混色パラメータを使用する方法である。第３の方法は、複数の遮光画素領域６０２から、ｘ方向、ｙ方向の１画素当たりの混色量の変化を求め、画素の位置に応じて混色量を計算する方法である。

（第３の実施形態）
図７は本発明の第３の実施形態の固体撮像装置の撮像領域を含む画素配列を示し、図８は本実施形態の混色補正装置１１０の構成例を示す図である。以下、本実施形態が第２の実施形態と異なる点を説明する。画素配列は、撮像領域８０１と遮光画素領域８０２から構成され、撮像領域８０１の中に遮光画素は設けられていない。本実施形態では、遮光画素領域８０２中に設けられた複数の混色パラメータを用いて、撮像領域８０１内の画素の補正量を、線形補間法で計算する。本実施形態の混色補正パラメータの求め方と混色補正処理について、例をあげて説明する。撮像領域８０１の中央部の画素Ｂ(0)８０３を注目画素とした場合の、混色補正パラメータを、αB_UL(0)、αB_UU(0)、αB_UR(0)、αB_RR(0)、αB_BR(0)、αB_BB(0)、αB_BL(0)、αB_LL(0)、とする。これは事前に実験あるいはシミュレーションにより求めておく。同様に、遮光画素領域８０２内の画素Ｂ(1)８０４から求められる混色補正パラメータをαB_UL(1)、αB_UU(1)、αB_UR(1)、αB_RR(1)、αB_BR(1)、αB_BB(1)、αB_BL(1)、αB_LL(1)、とする。

同様に、画素Ｂ(2)８０４について、αB_UL(2)、αB_UU(2)、αB_UR(2)、αB_RR(2)、αB_BR(2)、αB_BB(2)、αB_BL(2)、αB_LL(2)、とする。同様に、画素Ｂ(3)８０５について、αB_UL(3)、αB_UU(3)、αB_UR(3)、αB_RR(3)、αB_BR(3)、αB_BB(3)、αB_BL(3)、αB_LL(3)、とする。同様に、画素Ｂ(4)８０６について、αB_UL(4)、αB_UU(4)、αB_UR(4)、αB_RR(4)、αB_BR(4)、αB_BB(4)、αB_BL(4)、αB_LL(4)、とする。同様に、画素Ｂ(5)８０７について、αB_UL(5)、αB_UU(5)、αB_UR(5)、αB_RR(5)、αB_BR(5)、αB_BB(5)、αB_BL(5)、αB_LL(5)、とする。同様に、画素Ｂ(6)８０８について、αB_UL(6)、αB_UU(6)、αB_UR(6)、αB_RR(6)、αB_BR(6)、αB_BB(6)、αB_BL(6)、αB_LL(6)、とする。

中心画素Ｂ(0)８０３と画素Ｂ(6)８０８の位置座標の差を（Ｘ，Ｙ）とすると、遮光画素Ｂ(2)８０４と遮光画素(3)Ｂ８０５の位置座標の差は（Ｘ，０）、遮光画素Ｂ(4)８０６と遮光画素Ｂ(5)８０７の位置座標の差は（０，Ｙ）である。光の入射角度は位置座標に略比例して変化するので、開口画素Ｂ(6)８０８と開口画素Ｂ(0)８０３の混色パラメータの水平方向Ｘの差は、遮光画素８０５と８０４の混色パラメータの差と等しいと近似できる。同様に、開口画素Ｂ(6)８０８と開口画素Ｂ(0)８０３の混色パラメータの垂直方法Ｙの差は、遮光画素８０７と８０６の混色パラメータの差と等しいと近似できる。以上より、補正部１２１は、画素Ｂ(5)８０８の補正パラメータを以下の式（３．１）〜（３．８）で求める。

αB_UL(6) =αB_UL(0) + [ αB_UL(3) −αB_UL(2)] + [ αB_UL(5) −αB_UL(4)]
αB_UU(6) =αB_UU(0) + [ αB_UU(3) −αB_UU(2)] + [ αB_UU(5) −αB_UU(4)]
αB_UR(6) =αB_UR(0) + [ αB_UR(3) −αB_UR(2)] + [ αB_UR(5) −αB_UR(4)]
αB_RR(6) =αB_RR(0) + [ αB_RR(3) −αB_RR(2)] + [ αB_RR(5) −αB_RR(4)]
αB_BR(6) =αB_BR(0) + [ αB_BR(3) −αB_BR(2)] + [ αB_BR(5) −αB_BR(4)]
αB_BB(6) =αB_BB(0) + [ αB_BB(3) −αB_BB(2)] + [ αB_BB(5) −αB_BB(4)]
αB_BL(6) =αB_BL(0) + [ αB_BL(3) −αB_BL(2)] + [ αB_BL(5) −αB_BL(4)]
αB_LL(6) =αB_LL(0) + [ αB_LL(3) −αB_LL(2)] + [ αB_LL(5) −αB_LL(4)]
…式（３．１）〜（３．８）

同様に、補正部１２１は、他の開口画素についても遮光画素領域８０２の混色パラメータを用いて混色補正パラメータを計算する。そして、補正部１２１は、計算した混色パラメータを用いて、第１の実施形態に記載の式（１．１）、（１．２）、（１．３）、（１．４）を用いて混色の補正処理を行う。すなわち、固体撮像装置１０２は、第１の開口画素８０３、第２の開口画素８０８、第１の遮光画素８０６、第２の遮光画素８０４、第３の遮光画素８０７、及び第４の遮光画素８０５を有する。第１の遮光画素８０６は、第１の開口画素８０３と同じ行の遮光画素である。第２の遮光画素８０４は、第１の開口画素８０３と同じ列の遮光画素８０４である。第３の遮光画素８０７は、第２の開口画素８０８と同じ行の遮光画素である。第４の遮光画素８０５は、第２の開口画素８０８と同じ列の遮光画素である。メモリ１２０は、第１の開口画素８０３の補正パラメータ及び第１〜第４の遮光画素８０６，８０４，８０７，８０５の補正パラメータを記憶する。補正部１２１は、第１の開口画素８０３の補正パラメータ及び第１〜第４の遮光画素８０６，８０４，８０７，８０５の補正パラメータを基に第２の開口画素８０８の補正パラメータを演算する。そして、補正部１２１は、第２の開口画素８０８の補正パラメータを用いて第２の開口画素８０８の信号から上記の混色信号を減算する。このことにより、本実施形態では、撮像領域８０１の中に遮光画素領域を設けずに、撮像領域８０１全域にわたって、混色を低減することができる。また、図９（ａ）のように、遮光画素領域８０２を撮像領域８０１の四辺に設けて、平行に位置する２つの遮光画素領域８０２から求められる補正パラメータの平均を用いれば、補正パラメータ算出の精度が上がり、なお良い。また図９（ｂ）のように、撮像領域８０１の中に遮光画素領域８０３を設けて、かつ、撮像領域８０１の周辺に遮光画素領域８０２を設けるハイブリット型で、補正パラメータ算出の精度を上がるとなお良い。

（第４の実施形態）
図１１は、本発明の第４の実施形態による混色補正装置１１０の構成例を示す図である。混色補正装置１１０は、メモリ１２０及び補正部１２１を有する。本実施形態は第１の実施形態の補正精度を更に向上させるものである。以下、本実施形態が第１の実施形態と異なる点を説明する。本実施形態では、注目画素から隣接画素への混色量を、注目画素の出力に足し戻すことで混色補正の精度を向上するものである。第１の実施形態で示した式（１．１）、（１．２）、（１．３）、（１．４）の補正処理の後に以下の式によって補正処理をすることでさらに混色の低減が可能となる。例として、画素Ｒに処理を施す場合をあげる。図１０（ａ）は画素Ｒから漏れ出る光及び電荷を補正パラメータで示したものである。同様に、図１０（ｂ）は画素Ｇ２から漏れ出る光及び電荷を補正パラメータで示したものである。図を省略するが、画素Ｂ、画素Ｇ２についても同様の図を描くことができる。補正パラメータは第１〜第３の実施形態で示したものを使用する。また、第１〜第３の実施形態と同様にして、補正パラメータ（例えばαR_UU(n)）を撮像領域によって使い分ける。補正部１２１は、画素Ｇ１、Ｒ、Ｂ、Ｇ２から漏れ出した光及び電荷をそれぞれ式（４．１）〜（４．４）により補正処理する。本実施形態では、補正対象となる注目画素は、光及び電荷が漏れ出す画素となる。ここでの画素Ｇ１の補正前の信号をＧ１(n)sig'とし、補正後の信号をＧ１(n)sig'’とする。同様に、画素Ｒの補正前の信号をＲ(n)sig'とし、補正後の信号をＲ(n)sig'’とする。同様に、画素Ｂの補正前の信号をＢ(n)sig'とし、補正後の信号をＢ(n)sig'’とする。同様に、画素Ｇ２の補正前の信号をＧ２(n)sig'とし、補正後の信号をＧ２(n)sig'’とする。すなわち、補正部１２１は、補正前の信号Ｇ１(n)sig'、Ｒ(n)sig'、Ｂ(n)sig'、Ｇ２(n)sig'を入力し、メモリ１２０内の補正パラメータを読み出す。そして、補正部１２１は、補正後の信号Ｇ１(n)sig'’、Ｒ(n)sig'’、Ｂ(n)sig'’、Ｇ２(n)sig'’を演算及び出力する。
Ｇ１(n)sig'’= Ｇ１(n)sig' ×｛１+ αG2_BR(n) + αR_BB(n) + αG2_BL(n)
+ αB_LL(n)+ αG2_UL(n) + αR_UU(n)
+ αG2_UR(n) +αG1_LL(n) ｝ 式（４．１）
Ｒ(n)sig'’= Ｒ(n)sig' ×｛１+ αB_BR(n) + αG1_BB(n) + αB_BL(n)
+ αG2_LL(n)+ αB_UL(n) + αG1_UU(n)
+ αB_UR(n) +αG2_LL(n) ｝ 式（４．２）
Ｂ(n)sig'’= Ｂ(n)sig' ×｛１+ αR_BR(n) + αG2_BB(n) + αR_BL(n)
+ αG1_LL(n)+ αR_UL(n) + αG2_UU(n)
+ αR_UR(n) +αG1_LL(n) ｝ 式（４．３）
Ｇ２(n)sig'’= Ｇ２(n)sig' ×｛１+ αG1_BR(n) + αB_BB(n) + αG1_BL(n)
+ αR_LL(n)+ αG1_UL(n) + αB_UU(n)
+ αG1_UR(n) +αR_LL(n) ｝ 式（４．４）

以上のように、補正部１２１は、注目画素から隣接画素へ漏れ出す混色信号を注目画素の信号に加算することにより、補正後の信号Ｇ１(n)sig'’、Ｒ(n)sig'’、Ｂ(n)sig'’、Ｇ２(n)sig'’を生成する。本実施形態では、撮像領域中央部と周辺部の混色補正パラメータを使い分けることで撮像領域の全域に渡って混色を低減することができる。補正処理に要する時間を考慮し、図４のように撮像領域を幾つかの領域Ａ〜Ｉに分けて、混色補正パラメータを使い分けてもよい。用途によって比較的混色が少ない左上、右上、左下、右下の混色補正パラメータを使用した補正処理を省略することができるのは第１の実施形態と同じである。フレームレートが高い場合に図４のように撮像領域を大まかに領域Ａ〜Ｉに区切る手法も第１の実施形態と同じ効果の下、使用可能である。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０２ 固体撮像装置、１０４ ＤＦＥ、１１０ 混色補正装置、１２０ メモリ、１２１ 補正部、１３０ メモリ、１３１ 混色補正パラメータ演算部

Claims (9)

1. 光電変換素子を含む画素が行列状に２次元配置され、複数色のカラーフィルタが前記画素の表面上に配置される固体撮像装置の隣接画素間の混色を補正する画像処理装置であって、
   隣接画素から注目画素へ漏れ込む混色信号を除去するための補正パラメータであって、前記注目画素の位置に応じた補正パラメータを記憶する記憶部と、
   前記記憶部に記憶される補正パラメータを用いて、画素の位置に応じて前記固体撮像装置の画素信号から前記混色信号を減算する補正部とを有し、
   前記注目画素は少なくとも２つあり、前記少なくとも２つの注目画素は相互に水平方向のアドレス及び垂直方向のアドレスの両者が異なることを特徴とする画像処理装置。
2. 中央部の画素の前記補正パラメータ及び周辺部の画素の前記補正パラメータは相互に異なることを特徴とする請求項１記載の画像処理装置。
3. 前記記憶部は、前記画素の領域を複数領域に分割した領域毎の補正パラメータを記憶し、
   前記補正部は、前記画素が属する領域の補正パラメータを用いて、前記画素信号から前記混色信号を減算することを特徴とする請求項１又は２記載の画像処理装置。
4. 前記記憶部は、複数の画素位置の補正パラメータを記憶し、
   前記補正部は、最も近い画素位置の補正パラメータを用いて、前記画素信号から前記混色信号を減算することを特徴とする請求項１又は２記載の画像処理装置。
5. 前記固体撮像装置は、開口画素及びそれに隣接する遮光画素を有し、
   さらに、前記開口画素の信号及び前記遮光画素の信号を基に補正パラメータを演算し、前記記憶部に前記補正パラメータを記憶する演算部を有することを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記固体撮像装置は、第１の開口画素、第２の開口画素、前記第１の開口画素と同じ行の第１の遮光画素、前記第１の開口画素と同じ列の第２の遮光画素、前記第２の開口画素と同じ行の第３の遮光画素、及び前記第２の開口画素と同じ列の第４の遮光画素を有し、
   前記記憶部は、前記第１の開口画素の補正パラメータ及び第１〜第４の遮光画素の補正パラメータを記憶し、
   前記補正部は、前記第１の開口画素の補正パラメータ及び第１〜第４の遮光画素の補正パラメータを基に前記第２の開口画素の補正パラメータを演算し、前記第２の開口画素の補正パラメータを用いて前記第２の開口画素の信号から前記混色信号を減算することを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
7. 前記補正部は、前記固体撮像装置に使用される光学系の絞り値及び／又は瞳距離に応じて、前記画素信号から前記混色信号を減算することを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
8. 前記補正部は、注目画素から隣接画素へ漏れ出す混色信号を前記注目画素の信号に加算することを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
9. 請求項１〜８のいずれか１項に記載の画像処理装置と、
   光電変換素子を含む画素が行列状に２次元配置され、複数色のカラーフィルタが前記画素の表面上に配置される固体撮像装置と
   を有することを特徴とする撮像システム。

Images