JP2004363902A

JP2004363902A - 撮像装置

Info

Publication number: JP2004363902A
Application number: JP2003159459A
Authority: JP
Inventors: Masahisa Suzuki; 政央鈴木
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2003-06-04
Filing date: 2003-06-04
Publication date: 2004-12-24
Anticipated expiration: 2023-06-04
Also published as: CN102006488A; CN102006487B; EP1484928B1; CN102006487A; US20090122166A1; CN102006488B; JP4379006B2; US20040246352A1; CN1574902B; EP1484928A2; CN1574902A; CN102006486B; CN102006486A; US7792358B2; EP1484928A3

Abstract

【課題】撮像装置において、画像を平滑化せずに、ラインクロールを低減する。
【解決手段】撮像装置は、カラー撮像素子と、ズレ量推定部と、補正部とを備えている。カラー撮像素子は、受光量に応じた画素信号を生成する第１色成分画素、第２色成分画素、及び第１色成分画素と第２色成分画素より輝度情報を多く含む第３色成分画素を有する。ズレ量推定部は、第３色成分画素の周辺画素の画素信号により、第３色成分画素の画素信号に及ぼされる信号レベルのズレ量を推定する。補正部は、推定されたズレ量に基づいて、第３色成分画素の画素信号を補正する。例えば、第１〜第３色成分が赤、青、緑のベイヤー配列の場合、この補正により、赤画素が配列された行の緑画素の画素信号と、青画素が配列された行の緑画素の画素信号とを等しくできる。従って、画像を平滑化せずにラインクロールを抑制できる。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置に関する。具体的には、高画質な画像を得るために、カラー撮像素子の出力信号に施す画像処理に関する。
【０００２】
【従来の技術】
ビデオカメラや電子カメラで撮影する場合、画像にラインクロール（筋状または格子状のノイズ）が生じることがある。ラインクロールの発生原因としては、カラー撮像素子における画素毎の感度差、垂直転送ライン毎の出力レベル差などの固定パターンノイズが挙げられる。そして、このラインクロールを目立たなくする従来技術として、画像を平滑化する方法が知られている。この平滑化処理には、低域通過フィルタ（ＬｏｗＰａｓｓＦｉｌｔｅｒ、以下ＬＰＦと略記）などが用いられる（例えば、非特許文献１参照）。
【０００３】
【非特許文献１】
高木幹夫下田陽久監修「画像解析ハンドブック」東京大学出版会
１９９１年１月１７日、ｐ．５３９−５４８
【０００４】
【発明が解決しようとする課題】
ところで、撮影後の画像データは、鮮鋭感や粒状感を改善するため、アンシャープマスキング等の鮮鋭性強調処理を施されることが多い。この鮮鋭性強調処理は、本来は目立たなくしたいラインクロールの部分の輪郭も強調してしまう。このため、元の画像データにラインクロールが生じている場合、鮮鋭性強調処理を施す前に、ＬＰＦ等の平滑化処理によりラインクロールを低減する必要がある。しかしながら、画像が平滑化された後では、効果的に鮮鋭性強調処理を施すことは困難となる。従って、ラインクロールが生じている元の画像データから、鮮鋭感のある良好な画像を得ることは困難である。
【０００５】
本発明の目的は、カラー撮像素子を用いた撮像装置において、画像平滑化処理を施すことなく、ラインクロールを低減する技術を提供することである。
【０００６】
【課題を解決するための手段】
請求項１の撮像装置は、カラー撮像素子と、ズレ量推定部と、補正部とを備えていることを特徴とする。カラー撮像素子は、２次元マトリクス状に規則的に配列され、受光量に応じた画素信号をそれぞれ生成する第１色成分画素、第２色成分画素、及び第３色成分画素を有し、画素信号を転送して順次出力する。なお、第３色成分画素は、第１色成分画素と第２色成分画素より輝度情報を多く含む。ズレ量推定部は、第３色成分画素の周辺画素の画素信号により、第３色成分画素の画素信号に及ぼされる信号レベルのズレ量を推定する。補正部は、推定されたズレ量に基づいて、第３色成分画素の画素信号を補正する。
【０００７】
請求項２の撮像装置は、請求項１記載の発明において、カラー撮像素子から出力された画素信号の出力順番における第３色成分画素の直前の画素の画素信号のレベルまたはレベル差に基づいて、リンギングによるズレ量をズレ量推定部が推定することを特徴とする。
【０００８】
請求項３の撮像装置は、請求項１記載の発明において、第３色成分画素の受光部表面の迷光によるズレ量をズレ量推定部が推定することを特徴とする。
【０００９】
請求項４の撮像装置は、請求項１記載の発明において、以下の４点を特徴とする。第１に、第１色成分画素は、赤色光を選択的に受光する赤画素である。第２に、第２色成分画素は、青色光を選択的に受光する青画素である。第３に、第３色成分画素は、緑色光を選択的に受光する緑画素である。第４に、ズレ量推定部は、赤画素の画素信号のレベルに基づいて、カラー撮像素子内の電荷蓄積領域を透過した赤色光及び赤外光がバルク内で反射して周辺画素に混入することによるズレ量を推定する。
【００１０】
請求項５の撮像装置は、請求項１記載の発明において、判定部を備えていることを特徴とする。判定部は、カラー撮像素子内の転送順番において第３色成分画素の直前の画素から転送された画素信号のレベルが所定値Ａ以上か否かを判定し、所定値Ａ以上の場合のみ、補正部に補正させる。
【００１１】
請求項６の撮像装置は、請求項１記載の発明において、判定部を備えていることを特徴とする。判定部は、カラー撮像素子内の転送順番において第３色成分画素の直前の画素から転送された画素信号のレベルと、第３色成分画素の画素信号のレベルとを比較し、両信号のレベルの違いが所定値Ｂ以上の場合のみ、補正部に補正させる。
【００１２】
請求項７の撮像装置は、請求項１〜請求項６のいずれか１項記載の発明において、第３色成分画素の周辺画素が、第３色成分画素に水平方向に隣接する２つの画素の少なくともいずれかであることを特徴とする。
【００１３】
請求項８の撮像装置は、請求項３〜請求項６のいずれか１項記載の発明において、第３色成分画素の周辺画素が、第３色成分画素に垂直方向に隣接する２つの画素の少なくともいずれかであることを特徴とする。
【００１４】
請求項９の撮像装置は、請求項１〜請求項６のいずれか１項記載の発明において、第３色成分画素の周辺画素が、カラー撮像素子内の転送順番において第３色成分画素の直前の画素であることを特徴とする。
【００１５】
請求項１０の撮像装置は、請求項１〜請求項９のいずれか１項記載の発明において、以下の３点を特徴とする。第１に、撮像装置は、カラー撮像素子から出力される画素信号をＡ／Ｄ変換する変換するＡ／Ｄ変換部を備えている。第２に、ズレ量推定部は、Ａ／Ｄ変換後の画素信号を用いてズレ量を推定する。第３に、補正部は、Ａ／Ｄ変換後の画素信号を補正する。
【００１６】
請求項１１の撮像装置は、カラー撮像素子と、ズレ量推定部と、補正部とを備えていることを特徴とする。カラー撮像素子は、２次元マトリクス状に規則的に配列され、受光量に応じた画素信号をそれぞれ生成する少なくとも２種類の色成分の画素（これらの内の１種を第１色成分画素とする）を有し、画素信号を転送して順次出力する。ズレ量推定部は、第１色成分画素に隣接する、第１色成分画素とは別種の画素の画素信号により、第１色成分画素の画素信号に及ぼされる信号レベルのズレ量を推定する。補正部は、推定されたズレ量に基づいて、第１色成分画素の画素信号を補正する。
【００１７】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態を説明する。
＜本実施形態の構成＞
図１は、本発明の撮像装置を搭載した撮影システムのブロック図を示している。本実施形態は、請求項１〜請求項４、請求項１０及び請求項１１に対応する。図において、撮影システム１０は、本発明の撮像装置１２に、撮影レンズ１４を装着して記録媒体１６を接続することで構成されている。撮影レンズ１４は、レンズ群２０と、絞り２２とで構成されている。なお、本実施形態では、一例として、撮像装置１２が電子カメラとして構成されている例を説明する。
【００１８】
撮像装置１２は、レリーズ釦３０と、ＥＥＰＲＯＭ３２と、ＣＰＵ３４と、メモリ（例えば、ＤＲＡＭ）３６と、フォーカルプレーンシャッタ４０と、ＣＣＤ４４と、画像データ生成部４６と、欠陥画素補正部４８と、クランプ処理部５０と、判定部５４と、筋状ノイズ抑制部６０と、ホワイトバランス調整部６６と、色補間処理部６８と、ガンマ補正部７０と、色補正部７４と、画像圧縮部７８と、記録部８０とで構成されている。
【００１９】
レリーズ釦３０は、オンされたとき、ＣＰＵ３４に撮影開始を指令する。
ＥＥＰＲＯＭ３２は、撮像装置１２を制御する上で必要なパラメータを記憶している。
ＣＰＵ３４は、ＥＥＰＲＯＭ３２及びメモリ３６を用いて、撮像装置１２のシステムコントロールを行う（図１の一点鎖線で囲った部分を制御する）。
メモリ３６は、所定のフォーマットへのデータ変換や加工が行われる前の画像データを、一時的に記憶する。
【００２０】
図２は、ＣＣＤ４４の詳細を示すブロック図である。ＣＣＤ４４は、図示しない半導体基板上にベイヤー正方配列として形成された多数の画素８４と、垂直ＣＣＤ８６と、水平ＣＣＤ８８と、読み出しアンプ９０とを有している。
【００２１】
各画素８４は、垂直ＣＣＤ８６の一部と、センサ部９４と、読み出しゲート部９６とで構成されている。センサ部９４は、例えば、受光面側のＰ形表面領域と、Ｎ型の埋め込み領域（電荷蓄積領域）とを有する埋め込み型フォトダイオードとして形成されている。センサ部９４は、受光量に応じた画素信号を生成して蓄積する。なお、センサ部９４により生成される画素信号は、画素８４内では信号電荷の状態である。
【００２２】
また、各画素８４の受光面側は、マイクロレンズ、及び赤色、青色、緑色のいずれかの波長の光を選択的に透過させる光学フィルタで覆われている（図示せず）。
垂直ＣＣＤ８６は、センサ部９４の垂直列ごとに画素８４の配列方向に沿って複数本形成されている。各垂直ＣＣＤ８６は、読み出しゲート部９６を介してセンサ部９４から信号電荷を転送され、この信号電荷を水平ＣＣＤ８８に順次転送する。
【００２３】
水平ＣＣＤ８８は、垂直ＣＣＤ８６から順に垂直転送される信号電荷を、水平方向に読み出しアンプ９０に順次転送する。
読み出しアンプ９０は、転送された信号電荷を所定のゲインで増幅して画像データ生成部４６に順次入力する。
【００２４】
以下、請求項と本実施形態との対応関係を説明する。なお、以下に示す対応関係は、参考のために示した一解釈であり、本発明を限定するものではない。
請求項記載のカラー撮像素子は、ＣＣＤ４４に対応する。
請求項記載のズレ量推定部は、画素信号の信号レベルの修正値を求める筋状ノイズ抑制部６０の演算機能に対応する（後述するステップＳ３参照）。
【００２５】
請求項記載の補正部は、画素信号の信号レベルを前記した修正値に補正する筋状ノイズ抑制部６０の機能に対応する（後述するステップＳ４参照）。
請求項記載の水平方向は、水平ＣＣＤ８８の延在方向に対応する。
請求項記載の垂直方向は、垂直ＣＣＤ８６の延在方向に対応する。
請求項記載のＡ／Ｄ変換部は、Ａ／Ｄ変換を行う画像データ生成部４６の機能に対応する（後述するステップＳ１参照）。
【００２６】
＜本実施形態の動作説明＞
図３は、上述した撮像装置１２の信号処理の要部を示す流れ図である。以下、図３に示すステップ番号に従って、撮像装置１２の信号処理を説明する。
なお、以下の説明で、赤色を選択的に受光する画素８４を赤画素、青色を選択的に受光する画素８４を青画素、緑色を選択的に受光する画素８４を緑画素と略記する。また、赤画素が配列された行の緑画素により生成される画素信号をＧｒ、青画素が配列された行の緑画素により生成される画素信号をＧｂと略記する。
【００２７】
さらに、Ｇｂに対応する画素に対して、水平方向に読み出しアンプ９０側に隣接する赤画素の画素信号をＢｌ、読み出しアンプ９０と反対側に隣接する赤画素の画素信号をＢｒと略記する（図２で白黒反転で示したＧｂ参照）。また、Ｇｂに対応する画素に対して、垂直方向に水平ＣＣＤ８８側に隣接する青画素の画素信号をＲｕ、水平ＣＣＤ８８と反対側に隣接する青画素の画素信号をＲｄと略記する。
【００２８】
［ステップＳ１］
公知の動作でＣＣＤ４４は露光される。画像データ生成部４６は、ＣＣＤ４４から出力されるアナログの画素信号に、相関二重サンプリング処理やＡ／Ｄ変換等を施し、画像データを生成する。ここでの画像データは、各画素の色を所定のビット数の画素信号で表したものである。次に、画像データは、欠陥画素補正、クランプ処理を施され、判定部５４及び筋状ノイズ抑制部６０に入力される。
【００２９】
［ステップＳ２］
判定部５４は、全てのＧｂに対して、Ｂｌ＞Ｇｂが成り立つか否かを判定し、判定結果をテーブルデータとして筋状ノイズ抑制部６０に入力する。
【００３０】
［ステップＳ３］
筋状ノイズ抑制部６０は、各Ｇｂに対して、Ｇｂの修正値であるＧｂ’を演算により求める。この演算の説明の前に、何に基づいて画素信号のズレ量が推定されるのかを、原因別に説明する。
【００３１】
第１に、ＣＣＤ４４の出力段（読み出しアンプ９０）での出力順番において、Ｇｂに対応する画素の直前画素の画素信号がＧｂに及ぼすズレ量を推定する（リンギング）。ここでの直前画素は、図２において、Ｇｂの画素に対して水平方向に読み出しアンプ９０側に隣接する青画素である。このズレ量を受けた後のＧｂをＧｂ”、ズレの係数をＫａとすれば、Ｇｂ”は次式で与えられる。
【００３２】
Ｇｂ”＝Ｇｂ＋Ｂｌ×Ｋａ・・・（１）
なお、本実施形態では、一例として、ＣＣＤ４４の出力段のリンギングによる影響は、Ｂｌ＞Ｇｂと判定されたＧｂのみについて考慮する。なぜなら、Ｇｂがこのリンギングで受けるズレ量は、ＢｌがＧｂより十分小さい場合には無視できるからである。
【００３３】
第２に、画像データ生成部４６内の相関二重サンプリング処理を行う回路内部（図示せず）で生じるリンギングによるズレ量を推定する。なお、この相関二重サンプリング処理を行う回路は、ＣＣＤ４４の直後段に配置される。
このズレ量を受けた後のＧｂをＧｂ”、ズレの係数をＫｂとすれば、Ｇｂ”は次式で与えられる。
Ｇｂ”＝Ｇｂ＋Ｂｌ×Ｋｂ・・・（２）
但し、本実施形態では、一例として、相関二重サンプリング処理を行う回路内のリンギングによる影響は、（１）式の場合と同様の理由により、Ｂｌ＞Ｇｂと判定されたＧｂのみについて考慮する。また、この補正係数Ｋｂにより、相関二重サンプリング処理を行う回路内での基準レベルの変動も考慮するのがなお好ましい。
【００３４】
第３に、ＣＣＤ４４内の画素信号の垂直方向転送時に、転送順番がＧｂに対応する画素の直前である赤画素の画素信号により生じるズレ量を推定する。このズレ量を受けた後のＧｂをＧｂ”、ズレの係数をＫｃとすれば、Ｇｂ”は次式で与えられる。
Ｇｂ”＝Ｇｂ＋Ｒｄ×Ｋｃ・・・（３）
【００３５】
第４に、緑画素の受光部表面の迷光（漏光）によるズレ量を推定する。具体的には、Ｇｂに対応する緑画素に隣接する赤画素、青画素の受光部表面のマイクロレンズに斜めに入射した光が、この緑画素のセンサ部９４に混入する場合のズレ量を意味する。このズレ量を受けた後のＧｂをＧｂ”、ズレの係数をＫｄ、Ｋｅとすれば、Ｇｂ”は次式で与えられる。
【００３６】

上式での係数Ｋｄ、Ｋｅは、どちらも正である。一般に、垂直ＣＣＤ８６の一部と、読み出しゲート部９６と、センサ部９４とで、１つの画素８４は、ほぼ正方形に形成されている。即ち、センサ部９４は垂直方向に長い。このため、迷光による影響は、水平方向に隣接する青画素から受けるものより、垂直方向に隣接する赤画素から受けるものの方が大きい。従って、ＫｄよりＫｅの方が大きい。
【００３７】
第５に、赤画素内の電荷蓄積領域を透過した赤色光及び赤外光がバルク内で反射して、Ｇｂに対応する緑画素に混入することで生じるズレ量を推定する。このズレ量を受けた後のＧｂをＧｂ”、ズレの係数をＫｆとすれば、Ｇｂ”は次式で与えられる。
Ｇｂ”＝Ｇｂ＋（Ｒｕ＋Ｒｄ）÷２×Ｋｆ・・・（５）
上式での係数Ｋｆは、正である。なお、ＣＣＤ型撮像素子では、第５の理由によるズレ量は殆どなく、ＣＭＯＳ型撮像素子では、この理由によるズレ量は大きい場合が多い。
【００３８】
以上の５つの理由に基づいて、筋状ノイズ抑制部６０は、Ｂｌ＞Ｇｂと判定された各Ｇｂの修正値Ｇｂ’を以下に示す（６）式で求める。なお、（６）式でのＧｂは、以上の５つの理由により影響を受けたものを想定しているので、（１）〜（５）式におけるＧｂ”に相当する。このため、（１）〜（５）式において加算した補正係数の項を反対に差し引くことで、修正値Ｇｂ’に補正される。

【００３９】
同様に、筋状ノイズ抑制部６０は、Ｂｌ＞Ｇｂと判定されなかった各Ｇｂの修正値Ｇｂ’を次式で求める。

（７）式では、前述した理由から、（６）式におけるリンギングに対する補正項は削除されている。
【００４０】
また、筋状ノイズ抑制部６０は、赤画素の画素信号Ｒの修正値Ｒ’を、次式で求める。なお、Ｒは、ＲｕとＲｄの両方を区別無く含む。
Ｒ’＝Ｒ×（１＋Ｋｅ÷２＋Ｋｆ÷２）・・・（８）
【００４１】
さらに、筋状ノイズ抑制部６０は、青画素の画素信号Ｂの修正値Ｂ’を、次式で求める。なお、Ｂは、ＢｌとＢｒの両方を区別無く含む。
Ｂ’＝Ｂ×（１＋Ｋｄ÷２）・・・（９）
【００４２】
［ステップＳ４］
筋状ノイズ抑制部６０は、全てのＧｂ、Ｒ、Ｂの信号レベルを、（６）〜（９）式で求めた修正値Ｇｂ’、Ｒ’、Ｂ’に補正（修正）する。
なお、本実施形態では、以下の理由により、Ｇｒの補正を行わない。
【００４３】
センサ部９４が垂直方向に長いため、ＣＣＤ４４の出力段及び相関二重サンプリング回路でのリンギングを除けば、Ｇｂ及びＧｒは、水平方向よりも垂直方向に隣接する画素の影響を受けやすい。また、赤色は、青色より輝度が高い。従って、一般に、均一色の被写体を撮影した場合、垂直方向に赤画素に隣接する画素から出力されるＧｂは、Ｇｒより大きくなりやすい。従って、Ｇｒを補正せずにＧｂを小さく補正することで、均一色の被写体を撮影した場合のＧｒとＧｂとを等しくできる。
【００４４】
［ステップＳ５］
この後、画像データは、ホワイトバランス調整、色補間処理、ガンマ補正、色補正処理（例えば、輪郭強調処理）、画像圧縮（例えば、ＪＰＥＧ変換）を施される。そして、記録部８０は、圧縮後の画像データを記録媒体１６に記録する。
以上が本実施形態の撮像装置１２の動作説明である。
【００４５】
以下、上述した係数Ｋａ〜Ｋｆの求め方について、補足説明する。
係数Ｋａ〜Ｋｆは、例えば、製造工程または出荷前において、撮像装置１２を用いてテスト撮影を行って求めればよい。例えば、全面が均一に赤いテストチャート、及び全面が均一に青いテストチャート等を撮影後、得られた画像データをそれぞれ解析して係数Ｋａ〜Ｋｆを求める。そして、求めた係数をＥＥＰＲＯＭ３２に書き換え可能に記憶させればよい。
【００４６】
例えば、上述のテストチャートを撮影して得られた画像データにおいて、垂直方向のみに筋状ノイズが認められた場合、上述した係数Ｋａ、Ｋｂ、Ｋｄをゼロとし、垂直方向の補正のみを行ってもよい。或いは、水平方向のみに筋状ノイズが認められた場合、上述した係数Ｋｃ、Ｋｅをゼロとし、水平方向の補正のみを行ってもよい。
【００４７】
また、原因別に係数Ｋａ〜Ｋｆを１つずつ求めてもよい。例えば、読み出しアンプ９０に所定のパルス波を入力することで発生するリンギングを測定し、Ｋａを求めればよい。或いは、１画素だけ黒点となり他の全ての画素は赤色光で照明されるようなテストチャートを用いて撮影し、黒点及びその周辺画素から出力される信号レベルを測定することで、Ｋｅを求めればよい（ＣＣＤ型撮像素子で、Ｋｆ≒０とできる場合）。
【００４８】
＜本実施形態の効果＞
本実施形態では、Ｇｂに対応する緑画素に縦横に隣接する４つの異色画素の画素信号に基づいて、上述したズレ量の理由を加味してＧｂの修正値を求める（ステップＳ３）。そして、一般にＧｒより大きくなりやすいＧｂを、求めた修正値によって小さく補正する（ステップＳ４）。このため、均一な色の被写体を撮影した場合に、ＧｒとＧｂとが等しくなるように補正できる。即ち、画像を平滑化せずにラインクロールを抑制できる。
【００４９】
従って、本実施形態による筋状ノイズ抑制の処理を撮像後の画像データに施せば、処理後の画像データは平滑化されていないので、輪郭強調処理を効果的に施すことができる。この結果、鮮鋭感のある良好な画像を得ることができる。
【００５０】
ステップＳ２で、判定部５４は、全てのＧｂに対して、Ｂｌ＞Ｇｂが成り立つか否かを判定し、判定結果をテーブルデータとして筋状ノイズ抑制部６０に入力する。そして、Ｇｂがリンギングで受けるズレ量は、Ｂｌが小さい程小さいことに基づいて、Ｂｌ＞Ｇｂと判定されたＧｂのみ、このリンギングによるズレ量を補正する（（６）式）。従って、Ｇｂがリンギングで受けるズレ量を、効率的に補正できる。
【００５１】
また、迷光によるＧｂのズレ量を補正する係数Ｋｄ、Ｋｅを用いて、赤画素及び青画素の画素信号も補正する（（８）式、（９）式）。この処理は、赤画素及び青画素の表面のマイクロレンズに斜めに入射した光が、隣接する緑画素にノイズとして混入する分を、赤画素及び青画素の画素信号に戻すことを意味する。従って、撮像した被写体の色の再現性を向上できる。
【００５２】
同様に、ＣＭＯＳ型撮像素子の場合には、バルク内で反射する赤色光及び赤外光によるズレ量を補正する係数Ｋｆを用いて、赤画素の画素信号も補正する（（９）式）。この処理は、赤画素の電荷蓄積領域を透過した光が周辺画素にノイズとして混入する分を、赤画素の画素信号に戻すことを意味する。従って、撮像した被写体の色の再現性を向上できる。
【００５３】
さらに、係数Ｋａ〜Ｋｆを書き換え可能にＥＥＰＲＯＭ３２に記憶させる。このため、上述した係数Ｋａ〜Ｋｆを求めて記憶させる作業を再度実施できるので、ユーザの利便性は向上する。なぜなら、例えば、撮像装置１２を長期に亘って使用したユーザが、サービスセンタに再調整を依頼する場合などが想定されるからである。
【００５４】
＜本実施形態の補足事項＞
［１］なお、本実施形態では、カラー撮像素子がベイヤー正方配列である例を述べた。本発明は、かかる実施形態に限定されるものではない。例えば、ハニカム配列、補色配列などでもよい。ハニカム配列のＣＣＤ型撮像素子の場合、請求項記載の水平方向は、例えば、受光面において、水平転送部の延在方向に対して時計回りまたは反時計回りに約４５°傾いた方向である。垂直方向は、受光面において、この水平方向に直交する方向である。
【００５５】
［２］撮像装置１２が電子カメラとして構成されている例を述べた。本発明は、かかる実施形態に限定されるものではない。本発明の筋状ノイズを抑制する技術は、スキャナ等の撮像装置にも適用できる。
【００５６】
［３］ステップＳ２で、Ｂｌ＞Ｇｂか否かを判定し、これが成り立つＧｂに対してのみ、係数Ｋａの項によりリンギングで受けるズレ量を補正する例を述べた。本発明は、かかる実施形態に限定されるものではない。
例えば、ズレ量の主要な原因がＣＣＤ４４の出力段でのリンギングであると分かっている場合、以下に示す２つのように演算処理を簡略化してもよい。
【００５７】
第１に、ＣＣＤ４４の出力段での転送順番においてＧｂに対応する画素の直前画素から出力されるＢｌが所定値以上であるＧｂに対してのみ、係数Ｋａの項によりズレ量を補正する。この場合の動作及び所定値は、請求項５及び請求項５記載の所定値Ａに対応する。
【００５８】
第２に、隣接する画素からのＢｌをＧｂで割った値が所定値以上であるＧｂに対してのみ、係数Ｋａの項によりズレ量を補正する。この場合の動作及び所定値は、請求項６及び請求項６記載の所定値Ｂに対応する。請求項６記載の「両信号のレベルの違い」は、例えば、上述した両信号の信号レベルの比率に対応する。
【００５９】
［４］Ｇｂに対応する緑画素に水平及び垂直方向に隣接する４つの異色画素の画素信号を用いて、このＧｂを補正する例を述べた。本発明は、かかる実施形態に限定されるものではない。
【００６０】
例えば、Ｇｂに対応する緑画素に水平方向に隣接する２つの青画素の画素信号の一方または両方のみを用いて、Ｇｂを補正してもよい（請求項７に対応）。このように水平方向に隣接する画素のみを用いて補正すれば、必要なラインメモリを、垂直方向に隣接する２画素を用いて補正する場合の３分の１にできる。
或いは、Ｇｂに対応する緑画素に垂直方向に隣接する２つの青画素の画素信号の一方または両方のみを用いて、Ｇｂを補正してもよい（請求項８に対応）。
【００６１】
或いは、Ｇｂに対応する緑画素に対して、水平方向に読み出しアンプ９０側に隣接する青画素から出力されるＢｌのみを用いて、Ｇｂを補正してもよい（請求項９に対応）。ここで補正に用いられるＢｌは、ＣＣＤ４４内の水平転送時の転送順番において、Ｇｂの直前の画素信号である。この場合も、必要なラインメモリを、垂直方向に隣接する２画素を用いて補正する場合の３分の１にできる。
【００６２】
或いは、Ｇｂに対応する緑画素に対して、垂直方向に水平ＣＣＤ８８側に隣接する赤画素から出力されるＲｄのみを用いて、Ｇｂを補正してもよい（請求項９に対応）。ここで補正に用いられるＲｄは、ＣＣＤ４４内の垂直転送時の転送順番において、Ｇｂの直前の画素信号である。
【００６３】
［５］Ｇｒを補正せずにＧｂを補正することで、均一色の被写体を撮影した場合のＧｒとＧｂとを等しくする例を述べた。本発明は、かかる実施形態に限定されるものではない。例えば、以下の手順により、Ｇｂ、Ｇｒの両方を補正してもよい。
【００６４】
Ｇｂの場合と同様に、Ｇｒの修正値をＧｒ’とし、Ｇｒに対応する画素に対して水平方向に隣接する赤画素の画素信号をそれぞれＲｌ、Ｒｒとする（図２で白黒反転で示したＧｒ画素参照）。そして、Ｇｂ’、Ｇｒ’を以下の式で求める。Ｇｂ’＝Ｇｂ＋（Ｂｌ＋Ｂｒ）÷２×Ｋｍ・・・（１０）
Ｇｒ’＝Ｇｒ＋（Ｒｌ＋Ｒｒ）÷２×Ｋｎ・・・（１１）
【００６５】
上式の係数Ｋｍ、Ｋｎは、どちらも正の値であり、前記したテスト撮影等により求められる。また、前記したように、ＧｂはＧｒより大きくなりやすいので、Ｋｍ＞Ｋｎである。Ｋｍは、Ｂｌによるリンギング、受光部表面の迷光等によるズレ量を加味した値である。Ｋｎは、Ｒｌによるリンギング、受光部表面の迷光、バルク内で反射した赤色光及び赤外光の混入等によるズレ量を加味した値である。この場合も、必要なラインメモリを、垂直方向に隣接する２画素を用いて補正する場合の３分の１にできる。
【００６６】
［６］（１）式及び（２）式に示したように、転送順番における直前の画素の信号レベルに基づいて、リンギングによるズレ量を補正する例を述べた。本発明は、かかる実施形態に限定されるものではない。
Ｇｂの信号レベルと、Ｇｂに対して転送順番における直前の画素の信号レベルとのレベル差に基づいて、リンギングによるズレ量を補正してもよい。この場合、前記した（６）式は以下の（１２）式のようになる。
【００６７】

（１２）式において、Ｋａ’は前記したＫａに相当する補正係数であり、Ｋｂ’は前記したＫｂに相当する補正係数である。以上のレベル差に基づいた補正方法は、請求項２で言及している『レベル差に基づいて』に対応する。
【００６８】
【発明の効果】
本発明の撮像装置は、画像を平滑化せずにラインクロールを抑制できる。従って、本発明によるラインクロール抑制の処理を撮像後の画像データに施せば、処理後の画像データは平滑化されていないので、輪郭強調処理を効果的に施すことができる。
【図面の簡単な説明】
【図１】本発明の撮像装置を搭載した撮影システムのブロック図である。
【図２】図１におけるＣＣＤの詳細を示すブロック図である。
【図３】図１の撮像装置の信号処理の要部を示す流れ図である
【符号の説明】
１０撮影システム
１２撮像装置
１４撮影レンズ
１６記録媒体
２０レンズ群
２２絞り
３０レリーズ釦
３２ＥＥＰＲＯＭ
３４ＣＰＵ
３６メモリ
４０フォーカルプレーンシャッタ
４４ＣＣＤ
４６画像データ生成部
４８欠陥画素補正部
５０クランプ処理部
５４判定部
６０筋状ノイズ抑制部
６６ホワイトバランス調整部
６８色補間処理部
７０ガンマ補正部
７４色補正部
７８画像圧縮部
８０記録部
８４画素
８６垂直ＣＣＤ
８８水平ＣＣＤ
９０読み出しアンプ
９４センサ部
９６読み出しゲート部

Claims

２次元マトリクス状に規則的に配列され、受光量に応じた画素信号をそれぞれ生成する第１色成分画素、第２色成分画素、及び前記第１色成分画素と第２色成分画素より輝度情報を多く含む第３色成分画素を有し、前記画素信号を転送して順次出力するカラー撮像素子と、
前記第３色成分画素の周辺画素の前記画素信号により、前記第３色成分画素の前記画素信号に及ぼされる信号レベルのズレ量を推定するズレ量推定部と、
推定された前記ズレ量に基づいて、前記第３色成分画素の前記画素信号を補正する補正部と
を備えていることを特徴とする撮像装置。
請求項１記載の撮像装置において、
前記ズレ量推定部は、前記カラー撮像素子から出力された前記画素信号の出力順番における前記第３色成分画素の直前の画素の前記画素信号のレベルまたはレベル差に基づいて、リンギングによる前記ズレ量を推定する
ことを特徴とする撮像装置。
請求項１記載の撮像装置において、
前記ズレ量推定部は、前記第３色成分画素の受光部表面の迷光による前記ズレ量を推定する
ことを特徴とする撮像装置。
請求項１記載の撮像装置において、
前記第１色成分画素は、赤色光を選択的に受光する赤画素であり、
前記第２色成分画素は、青色光を選択的に受光する青画素であり、
前記第３色成分画素は、緑色光を選択的に受光する緑画素であり、
前記ズレ量推定部は、前記赤画素の前記画素信号のレベルに基づいて、前記カラー撮像素子内の電荷蓄積領域を透過した赤色光及び赤外光がバルク内で反射して周辺画素に混入することによる前記ズレ量を推定する
ことを特徴とする撮像装置。
請求項１記載の撮像装置において、
前記カラー撮像素子内の転送順番において前記第３色成分画素の直前の画素から転送された前記画素信号のレベルが所定値Ａ以上か否かを判定し、前記所定値Ａ以上の場合のみ、前記補正部に補正させる判定部を備えている
ことを特徴とする撮像装置。
請求項１記載の撮像装置において、
前記カラー撮像素子内の転送順番において前記第３色成分画素の直前の画素から転送された前記画素信号のレベルと、前記第３色成分画素の前記画素信号のレベルとを比較し、両信号のレベルの違いが所定値Ｂ以上の場合のみ、前記補正部に補正させる判定部を備えている
ことを特徴とする撮像装置。
請求項１〜請求項６のいずれか１項記載の撮像装置において、
前記第３色成分画素の周辺画素は、前記第３色成分画素に水平方向に隣接する２つの画素の少なくともいずれかである
ことを特徴とする撮像装置。
請求項３〜請求項６のいずれか１項記載の撮像装置において、
前記第３色成分画素の周辺画素は、前記第３色成分画素に垂直方向に隣接する２つの画素の少なくともいずれかである
ことを特徴とする撮像装置。
請求項１〜請求項６のいずれか１項記載の撮像装置において、
前記第３色成分画素の周辺画素は、前記カラー撮像素子内の転送順番において前記第３色成分画素の直前の画素である
ことを特徴とする撮像装置。
請求項１〜請求項９のいずれか１項記載の撮像装置において、
前記カラー撮像素子から出力される前記画素信号をＡ／Ｄ変換する変換するＡ／Ｄ変換部を備え、
前記ズレ量推定部は、Ａ／Ｄ変換後の前記画素信号を用いて前記ズレ量を推定し、
前記補正部は、Ａ／Ｄ変換後の前記画素信号を補正する
ことを特徴とする撮像装置。
２次元マトリクス状に規則的に配列され、受光量に応じた画素信号をそれぞれ生成する少なくとも２種類の色成分の画素（これらの内の１種を第１色成分画素とする）を有し、前記画素信号を転送して順次出力するカラー撮像素子と、
前記第１色成分画素に隣接する、前記第１色成分画素とは別種の前記画素の前記画素信号により、前記第１色成分画素の前記画素信号に及ぼされる信号レベルのズレ量を推定するズレ量推定部と、
推定された前記ズレ量に基づいて、前記第１色成分画素の前記画素信号を補正する補正部と
を備えていることを特徴とする撮像装置。