JP2007116334A - 固体撮像装置 - Google Patents

Abstract

【課題】固体撮像装置の撮像画像の画質に悪影響を与えることなく、スミアを効果的に抑制すること。
【解決手段】平均化部２５０によって画素データのランダムノイズを除去した後、スミア抽出部３００にて、レベルがしきい値以上の画素を検出してスミアを抽出し、スミア位置検出部４００にてスミアの水平ラインにおける位置を検出し、スミア位置指定信号Ｆ１をフィルタリング処理部６００に与える。フィルタリング処理部６００では、水平方向に隣接し、かつ、補正対象画素と同色の画素のデータを用いて所定の演算式による補間演算処理を実施する。
【選択図】図１

Description

本発明は、撮像面において生じるスミアを補正する機能をもつ固体撮像装置に関する。

固体撮像素子（ＣＣＤ等）を用いたカメラの撮像面に、高輝度被写体（例えば、太陽や、夜間の車のライト等）からのスポット光が入った場合、垂直転送電荷が過剰となってスミア（画面上に生じる明るい縦の帯）が生じる。特に、メカニカルシャッタを備えていないデジタルカメラではスミアが発生し易く、また、メカニカルシャッタを備えるデジタルカメラであっても、動画撮影モードではメカニカルシャッタが動作しないため、スミアが発生し易くなる。

このスミアを低減するために、固体撮像素子の撮像面の周囲に設けられたオプティカルブラック（光学的黒)領域における水平ラインのレベル（通常は所定範囲の黒レベルとなっている）が局所的に突出する部分を検出してスミアのレベルを特定し、有効画素領域の画素データを補正する技術が提案されている（例えば、特許文献１参照）。
オプティカルブラック領域は、黒レベルを規定するための領域であり、光電変換素子（フォトセンサ）を遮光膜で覆った構造をもつ。ただし、有効画素領域においてスミアが発生したときには、そのスミアと同レベルのレベル変動が、そのオプティカルブラック領域のラインデータにも生じる。この点を利用して、スミアのレベルを検出し、該当箇所の画素データに逆極性の補正値を加算することによって、スミアを補正することができる。
上記特許文献１では、オプティカルブラック領域における水平ラインの画素データにはランダムノイズが重畳していることから、隣接する数ラインにおける、同一の水平位置にある画素のデータ同士を加算して平均化し、ランダムノイズを相殺することによって、スミア補正の精度を向上させている。
特開平７−６７０３８号公報

しかしながら、スミアのレベルを精度よく検出できたとしても、有効画素領域の全画素に対して、補正値を加算した場合には、実際にスミアが生じている部分以外の画素においては画素データが歪んでしまい、かえって画質が劣化する場合（例えば、無用な縦筋等が生じる場合）があり得る。その無用な縦筋を低減するために、例えば、画面全体にフィルタリング処理を、さらに行うことも考えられるが、この場合には、縦筋は目立たなくなるものの、解像度が低下するという不都合が新たに生じる。

本発明は、このような考察に基づいてなされたものであり、その目的は、撮像画像の画質に悪影響を与えることなく、スミアを効果的に抑制することにある。

本発明に係る上記目的は、下記構成により達成される。
（１）撮像面において生じるスミアを補正する機能をもつ固体撮像装置であって、水平方向の画素列におけるスミアの位置を検出するスミア位置検出部と、検出されたスミア位置情報に基づいて決定される、有効画素領域における補正対象画素の画素データに対して、水平方向に隣接する他の画素の画素データを用いたフィルタリング処理を実施してスミアを抑制するスミア補正部と、を有することを特徴とする固体撮像装置。

この固体撮像装置によれば、スミアが生じている位置を検出し、その検出結果に基づいて、補正が必要な画素のみにフィルタリング処理を実施することによって、撮像画像の画質に悪影響を与えることなく、スミアを効果的に抑制することができる。

（２）前記補正対象画素が、Ｒ（赤），Ｇ（緑），Ｂ（青）のいずれか、あるいは、Ｍｇ（マゼンタ）、Ｃ（シアン）、Ｙｅ（黄）、Ｇ（緑）のいずれかの画素である場合、前記スミア補正部は、前記水平方向に隣接する他の画素として、前記補正対象画素と同色の画素を選択し、その同色の画素の画素データを用いて前記フィルタリング処理を実施することを特徴とする（１）記載の固体撮像装置。

この固体撮像装置によれば、水平方向に隣接する、同色の他の画素の画像データを用いてフィルタリング処理を実施することにより、カラー撮像画像の色再現性を損なうことなく、スミアを効果的に抑制することができる。すなわち、フィルタリング処理は、例えば、所定の演算式による補間演算処理であり、この処理を実施する際に、補正対象の画素の色とは異なる色の画素データを使用したのでは色再現性が低下するため、「水平方向に隣接する、同色の他の画素の画像データ」を用いるようにしたものである。また、「Ｒ（赤），Ｇ（緑），Ｂ（青）のいずれか、あるいは、Ｍｇ（マゼンタ）、Ｃ（シアン）、Ｙｅ（黄）、Ｇ（緑）のいずれか」と規定するのは、原色系のカラーフィルタをもつ固体撮像装置および補色系のカラーフィルタをもつ固体撮像装置のいずれについても適用可能であることを明確化するためである。

（３）前記スミア補正部は、前記補正対象画素ならびに水平方向に隣接する前記他の画素の位置を記憶しておき、各画素データに基づく画像処理によってＹ（輝度）信号，Ｃ（クロマ）信号が得られた後、そのＹ信号，Ｃ信号の各々について、前記記憶している画素位置に対応する信号を用いてフィルタリング処理を実施し、前記補正対象画素に対応する信号のスミア成分を抑制することを特徴とする（１）記載の固体撮像装置。

この固体撮像装置によれば、補正が必要な画素位置を記憶しておき、画像処理によってＹ（輝度）、Ｃ（クロマ）の各信号が分離して生成された後に、Ｙ，Ｃの各々の信号、あるいは、いずれか一方の信号について、記憶された画素位置に基づいて、補正が必要な箇所の信号のみにフィルタリング処理を実施することにより、カラー撮像画像の色再現性を損なうことなく、スミアを効果的に抑制することができる。この構成によれば、スミア補正は画像処理回路において行うため、撮像面からの画素データを読み出して蓄積する部分の回路構成は、従来どおりでよいという利点がある。

本発明によれば、撮像画像の画質に悪影響を与えることなく、スミアを効果的に抑制することができる。また、カラー撮像画像の色再現性を損なうことなく、スミアを効果的に抑制することができる。さらには、撮像面からの画素データを読み出して蓄積する部分の回路構成を複雑化させることなく、かつ、カラー撮像画像の色再現性を損なうことなく、スミアを効果的に抑制することができる。

以下、本発明の実施形態について、図面を参照して説明する。
（第１の実施形態）
本実施形態では、スミアが生じている位置を検出し、その検出結果に基づいて、補正が必要な画素のみにフィルタリング処理を実施する。なお、以下の説明では、「オプティカルブラック」を簡略化して、単に「ＯＢ」と記載する。

図１は、本発明の固体撮像装置の全体構成の一例を示す図である。
図示されるように、撮像面２００の上下には、垂直オプティカルブラック（垂直ＯＢ）領域ＯＢ１，ＯＢ２が設けられている。そして、高輝度被写体２０６からのスポット光により、撮像面２００上に、スミア（明るい縦の帯）２０４が生じている。

ラインデータを水平転送する水平ＣＣＤ（ＨＣＣＤ）２０８は、出力アンプ２１０により増幅され、Ａ／Ｄ変換器２１２により量子化された画像データとなる。また、Ａ／Ｄ変換器２１２は、水平ラインデータに重畳しているランダムノイズを相殺するための平均化処理を実施する平均化部２５０に接続されている。

平均化部２５０からの出力は、スミア抽出部３００に入力されてさらにスミア位置検出部４００に入力される。また、平均化部２５０からの出力は、ラインメモリ５００に入力されてさらにフィルタリング処理部６００に入力される。

平均化部２５０は、例えば、複数のラインの、同一の水平方向位置にある画素のデータ同士を加算する加算部、加算したデータを一時的に蓄積するラインメモリ、加算したライン数で除算して画素データを平均化する平均化処理回路により構成することができる。

また、ラインデータの中からスミアが生じている部分を抽出する抽出回路３００は、しきい値電圧を発生させる基準電圧源Ｖｒｅｆと、比較器ＯＰとにより構成され、ＯＢ画素のレベルがしきい値（Ｖｒｅｆに相当する）を超える部分を抽出し、これによって、スミアの発生位置を検出する。

スミア位置検出部４００は、スミアの位置（水平ラインにおける位置）を検出し、スミア位置指定信号（Ｆ１）をフィルタリング処理部６００に送る。スミア位置は、例えば、クロック端子２３０から供給される画素データの転送クロックＣＫをカウンタによりカウントすることによって求めることができる。図２は、スミア位置を検出する原理を説明するための図である。

図２において、時刻ｔ１は、ＯＢラインデータの転送開始時点であり、時刻ｔ２〜ｔ３はスミアが生じている期間（ＯＢ画素のレベルがしきい値を超えている期間）である。したがって、カウンタにより、時刻ｔ１〜ｔ２までの転送クロックＣＫの数をカウントすれば、スミアの開始位置を特定することができる。また、図２に示されるように、スミアは、電気的なパルスとして検出することができるため、画素データのレベルがローレベルからハイレベルに立ち上がる時点ｔ２から、立ち下る時点ｔ３までの転送クロック数を、カウンタによりカウントすることによって、スミアの幅ＷＴを検出することができる。図２のスミア位置検出部４００は、このようにして、ＯＢラインデータを使用して、スミア位置を検出することができる。なお、ＯＢラインデータの代わりに、ダミーラインのデータを使用することもできる。

図１のラインメモリ５００は、平均化部２５０からの、ランダムノイズが低減された画像データ（Ｆ２）を一時的に蓄積するためのバッファメモリとして機能する。一時的に蓄積されたバッファメモリは、フィルタリング処理部６００に供給される。

フィルタリング処理部６００は、スミア位置検出部４００からのスミア位置指定信号（Ｆ１）を受けると、前段のラインメモリ５００から供給されるラインデータ（Ｆ３）から、該当する部分の画素データを抜き出し、所定の演算式によるフィルタリング処理（補間演算処理）を実施し、そして、補正済データ（Ｆ４）を出力する。フィルタリング処理の具体的な内容について、図３，図４を用いて説明する。

図３は、固体撮像装置の撮像面における、カラーフィルタが配設されてなる各画素の配置の一例を示す図である。図３では、カラーフィルタとして、原色系のカラーフィルタ（Ｒ（赤），Ｇ（緑），Ｂ（青））を使用している。ただし、これに限定されるものではなく、補色系のカラーフィルタ（Ｍｇ（マゼンタ）、Ｃ（シアン）、Ｙｅ（黄）、Ｇ（緑））を使用した固体撮像装置であってもよい。

図３において、参照符号１００ａ〜１００ｇは、垂直転送路を示している。また、原色系カラーフィルタが配設された画素はベイヤー配列を有する。すなわち、水平方向の一行（一ライン）に注目すると、左側から順に、ＧＢＧＢＧＢＧ・・・なる配列のラインと、ＲＧＲＧＲＧＲ・・・なる配列のラインとが、交互に並んでいる。
ここでは、（ｎ−２）番目の水平ラインに注目する。このラインは、図示されるように、「Ｒ１１，Ｒ２１，Ｒ３１，Ｇ４１，Ｒ５１，Ｇ６１，Ｒ７１・・・」という画素配列となっている。

ここで、“Ｒ３１”が補正対象画素であるとし、補正後の画素データを“Ｒ３１（ａｍ）”とすると、Ｒ３１（ａｍ）は、例えば、下記の補間演算式により算出される。
Ｒ３１（ａｍ）＝（Ｒ１１ + ２・Ｒ３１ + Ｒ５１）／４

同様に、“Ｇ４１”が補正対象画素である場合には、補正後の画素データは、以下のようになる。
Ｇ４１（ａｍ）＝（Ｇ２１ + ２・Ｇ４１ + Ｇ６１）／４

すなわち、補正対象画素のデータを２倍し、その補正対象画素に関して、水平方向に隣接する画素（つまり、対象画素の両隣の画素）であってかつ同色の画素のデータを加算し、その総和に１／４を乗算する、という補間演算処理を実施する。これによって、補正対象画素のデータの値が、同色の隣接する（両隣の）画素のデータを加味して平均化されるために、スミアが目立たなくなり、スミアを抑制することが可能となる。

また、上記の間演算処理に際して、補正対象画素の色とは異なる色の画素データを使用したのでは色再現性が低下するため、水平方向に隣接する、同色の他の画素の画像データを用いて補間演算を実施する。

図４は、図１のフィルタリング処理部（参照符号６００）の内部構成の一例を示す図である。図４では、補正対象画素Ｒ３１に対して補間演算を実施して補正データＲ３１（ａｍ）を得る場合を想定して、構成を記載している。

図示されるように、フィルタリング処理部６００は、ラインメモリ５００から送られてくるラインデータ（Ｆ３）を蓄積するレジスタ６０２と、補正対象画素の画素値に係数２を乗算する係数乗算器（例えば、ビットシフト回路）６０４と、係数乗算器６０４の出力値に、両隣に配置されている同色の画素の画素値を加算する加算器６０６と、総和値に、係数（１／４）を乗算する係数乗算器（例えば、ビットシフト回路）６０８と、からなる補間演算回路を備える。

このように、本実施形態の固体撮像装置によれば、スミアが生じている位置を検出し、その検出結果に基づいて、補正が必要な画素のみにフィルタリング処理を実施することによって、撮像画像の画質に悪影響を与えることなく、スミアを効果的に抑制することができる。

また、カラー画像についてのスミア補正を行う場合に、水平方向に隣接する、同色の他の画素の画像データを用いてフィルタリング処理を実施することにより、カラー撮像画像の色再現性を損なうことなく、スミアを効果的に抑制することができる。

なお、補間演算式は、上式に限定されるものではなく、種々の演算式を採用することができる。また、係数の設定も同様である。

上記の説明では、Ｒ（赤），Ｇ（緑），Ｂ（青）からなる原色系のカラーフィルタをもつ固体撮像装置について述べているが、Ｍｇ（マゼンタ）、Ｃ（シアン）、Ｙｅ（黄）、Ｇ（緑）からなる補色系のカラーフィルタをもつ固体撮像装置についても、隣接する同色の画素のデータを用いたフィルタリング処理により、同様にスミアを抑制することができる。

（第２の実施形態）
本実施形態では、補正が必要な画素位置を記憶しておき、画像処理によってＹ（輝度）、Ｃ（クロマ）の各信号が分離して生成された後に、Ｙ，Ｃの各々の信号、あるいは、いずれか一方の信号について、記憶された画素位置に基づいて、補正が必要な箇所の信号のみにフィルタリング処理を実施する。

図５は、本発明に係る固体撮像装置の他の構成例を示すブロック図である。図５において、図１と共通する部分には同じ参照符号を付してある。
図５の固体撮像装置では、図１におけるラインメモリ５００，フィルタリング処理部６００が除去され、その代わりに、画像メモリ７００，画像処理部７５０，フィルタリング処理部８００，画像メモリ９００が追加されている。その他の構成は、図１の固体撮像装置と同じである。

図５の固体撮像装置では、平均化部２５０から出力される平均化された画素データは、一旦、画像メモリ７００に蓄積された後、画像処理部７５０に送られる。画像処理部７５０は、画素データを基にして、輝度（Ｙ）信号と、クロマ（Ｃ：色）信号を分離して生成する。

フィルタリング処理部８００は、Ｙ信号用フィルタ回路８０２と、Ｃ信号用フィルタ回路８０４と、を有しており、各フィルタ回路８０２，８０４は、Ｙ，Ｃの各々の信号について、フィルタリング処理（補間演算処理）を実施する。ただし、必ず、Ｙ，Ｃの双方にフィルタリング処理を実施しなければならないというものではなく、少なくとも、いずれか一方の信号について実施すれば、スミア低減の効果を得ることができる。

Ｙ信号用フィルタ回路８０２，Ｃ信号用フィルタ回路８０４は、スミア検出部４００からのスミア位置指定信号（Ｆ１）を受け、その信号が指定する、補正対象画素の位置を記憶しておき、画像処理部７００によってＹ（輝度）、Ｃ（クロマ）の各信号が分離して生成された後に、Ｙ，Ｃの各々の信号、あるいは、いずれか一方の信号について、記憶された画素位置に基づいて、補正が必要な箇所の信号のみにフィルタリング処理を実施する。

例えば、Ｙ１，Ｙ２，Ｙ３，Ｙ４，Ｙ５，Ｙ６，Ｙ７・・・の輝度データ列において、Ｙ４が補正対象画素であるとすると、補正後の輝度データＹ４（ａｍ）は、以下のようになる。
Ｙ４（ａｍ）＝（Ｙ３ + ２・Ｙ４ + Ｙ５）／４

同様に、例えば、Ｃ１，Ｃ２，Ｃ３，Ｃ４，Ｃ５，Ｃ６，Ｃ７・・・のクロマ（色）データ列において、Ｃ４が補正対象画素であるとすると、補正後の輝度データＣ４（ａｍ）は、以下のようになる。
Ｃ４（ａｍ）＝（Ｃ３ + ２・Ｃ４ + Ｃ５）／４

このような補間演算を、Ｙ信号毎，Ｃ信号毎に行うことにより、補正対象画素のデータの値が、隣接する（両隣の）画素のデータを加味して平均化されるために、スミアが目立たなくなり、スミアを抑制することが可能となる。これによって、カラー撮像画像の色再現性を損なうことなく、スミアを効果的に抑制することができる。

また、図５の固体撮像装置の構成によれば、スミア補正は画像処理過程において行うため、撮像面からの画素データを読み出して蓄積する部分の回路構成は、従来どおりでよいという利点がある。本発明は、カラー撮像モードだけではなく、白黒画像撮像モードにおけるスミア低減に対しても有用である。

以上説明したように、本発明の固体撮像装置によれば、スミアが生じている位置を検出し、その検出結果に基づいて、補正が必要な画素のみにフィルタリング処理を実施することによって、撮像画像の画質に悪影響を与えることなく、スミアを効果的に抑制することができ、また、フィルタリング処理に際して、隣接する同色の画素のデータを使用することによって、色の混在による色再現性低下の心配なく、効果的な補間演算を実施することができ、また、スミア補正を、画像処理過程において実施することによっても同様の効果を得ることができる。本発明によって、フィルタ処理を効果的に用いて、スミアが生じている箇所の画素データのみを補正することができる、新規なスミア低減技術が実現される。
なお、本発明は、カラー撮像モードだけではなく、白黒画像撮像モードにおけるスミア低減にも有効である。

本発明の固体撮像装置の全体構成の一例を示す図である。 スミア位置を検出する原理を説明するための図である。 固体撮像装置の撮像面における、カラーフィルタが配設されてなる各画素の配置の一例を示す図である。 図１のフィルタリング処理部の内部構成の一例を示す図である。 本発明の固体撮像装置の他の構成例を示すブロック図である。

符号の説明

２００ 撮像面
２０４ スミア
２０６ 高輝度被写体
２０８ 水平ＣＣＤ（ＨＣＣＤ）
２１０ アンプ
２１２ Ａ／Ｄ変換器
２３０ クロック端子
２５０ 平均化部
３００ スミア抽出部
４００ スミア位置検出部
５００ ラインメモリ
６００ フィルタリング処理部
６０２ レジスタ
６０４ 係数乗算器
６０６ 加算器
７００ 画像メモリ
７００ 画像処理部
７５０ 画像処理部
８００ フィルタリング処理部
８０２ Ｙ信号用フィルタ回路
８０４ Ｃ信号用フィルタ回路
９００ 画像メモリ
ＣＫ 転送クロック
ＯＢ１，ＯＢ２ 垂直オプティカルブラック領域
ＯＰ 比較器
Ｖｒｅｆ スミア検出のためのしきい値電圧を発生する基準電圧源
Ｆ１ スミア位置指定信号
Ｆ２ 平均化された画素データ
Ｆ３ ラインメモリから出力されるラインデータ
Ｆ４ 補正後のラインデータ

Claims (3)

1. 撮像面において生じるスミアを補正する機能をもつ固体撮像装置であって、
   水平方向の画素列におけるスミアの位置を検出するスミア位置検出部と、
   検出されたスミア位置情報に基づいて決定される、有効画素領域における補正対象画素の画素データに対して、水平方向に隣接する他の画素の画素データを用いたフィルタリング処理を実施してスミアを抑制するスミア補正部と、
   を有することを特徴とする固体撮像装置。
2. 請求項１記載の固体撮像装置であって、
   前記補正対象画素が、Ｒ（赤），Ｇ（緑），Ｂ（青）のいずれか、あるいは、Ｍｇ（マゼンタ）、Ｃ（シアン）、Ｙｅ（黄）、Ｇ（緑）のいずれかの画素である場合、前記スミア補正部は、前記水平方向に隣接する他の画素として、前記補正対象画素と同色の画素を選択し、その同色の画素の画素データを用いて前記フィルタリング処理を実施することを特徴とする固体撮像装置。
3. 請求項２記載の固体撮像装置であって、
   前記スミア補正部は、前記補正対象画素ならびに水平方向に隣接する前記他の画素の位置を記憶しておき、各画素データに基づく画像処理によってＹ（輝度）信号，Ｃ（クロマ）信号が得られた後、そのＹ信号，Ｃ信号の少なくとも一方について、前記記憶している画素位置に対応する信号を用いてフィルタリング処理を実施し、前記補正対象画素に対応する信号のスミア成分を抑制することを特徴とする固体撮像装置。

Images