JP2006261789A - 撮像装置、撮像素子、及び撮像処理方法 - Google Patents

Abstract

【課題】 画素を間引いて読み出すに際し、間引き後における画質の劣化を低減させる。
【解決手段】 撮像素子１０３における画素単位毎に異なるゲインをかけられるようにして、各画素に対して周期的なゲインをかけた後に、同色の画素について加算平均をとるようにすることにより、センサー内の画素の間引き処理を行なう前にローパスフィルタの効果を得ることが可能になるようにして、間引きによる折り返り（モアレ）の発生を防ぐことができるようにする。
【選択図】 図１

Description

本発明は、撮像装置、撮像素子、及び撮像処理方法に関し、特に、画素に対して加算間引き処理を行なうために用いて好適なものである。

従来から、静止画撮影用に撮像素子の全画素を順次読み出すフレーム読み出しモードに加え、撮像素子の画素を加算及び間引きによって高速に読み出す動画読み出しモードがある（非特許文献１を参照）。図１１は、動画撮影モードにおいて汎用のＣＣＤ撮像素子の信号を読み出す従来の方法を説明する図である。

図１１において、画素が露光された後、垂直転送部において同色の画素が２画素ずつ加算される。例えば、垂直方向における番号Ｖが、Ｖ＝１０ｎ（ｎは０及び正の自然数）とＶ＝１０ｎ＋２を満たす画素が加算され、Ｖ＝１０ｎ＋５とＶ＝１０ｎ＋７を満たす画素が加算される。その他の画素は読み出さない。垂直転送部１１０１で加算された画像の信号は、水平転送部に転送される。

水平転送部において、水平方向における番号Ｈが、Ｈ＝４ｍ（ｍは０及び正の自然数）とＨ＝４ｍ＋２を満たす同色の画素が加算され、また、Ｈ＝４ｍ＋１とＨ＝４ｍ＋３を満たす同色の画素が加算され、画素出力される。
このような撮像素子の場合、垂直方向の画素数が１／５になると共に、水平方向の画素数が１／２となって出力される。

また、上記のようにして行なう加算処理においては、例えば図１２のように、Ｇ１［ｎ＋１］とＧ１［ｎ＋３］とを加算してＧ１［Ｋ＋１］を出力し、Ｒ［ｎ］とＲ［ｎ＋２］とを加算してＲ［Ｋ］を出力した場合、Ｇ１［ｎ＋１］とＲ［ｎ＋２］において画素座標の反転現象が起きる。これにより、細かい被写体にジャギが発生する（階段状のギザギザが生じる）欠点がある。

具体的に説明すると、上記加算処理を行なった後の画素を間引き縮小し、例えばＶＧＡサイズの画像として出力する場合には、ジャギは見えにくくなる。これに対し、出力画像のサイズをより大きくした場合、ジャギの影響が大きくなる。したがって、出力画像のサイズを大きくすると、大幅な画質劣化が生じる虞があった。

CCD読み出し方法（水平＆垂直画素加算技術(VGA動画対応)）、インターネット<URL:http://www.sony.co.jp/Products/SC-HP/imagingdevice/ccd/tec vga.html>

上述したように、従来の撮像装置における加算読み出し方法では、例えばＧ１−Ｒラインの加算を例にとると、図１２に示すように、Ｇ［ｎ＋１］とＲ［ｎ＋２］との位置関係が逆になってしまう。その結果、斜め線などにジャギが発生し、画質を大幅に劣化させていた。

また、一般に画像をサンプリングする場合、サンプリング周波数の半分の周波数（ナイキスト周波数）に原画像の信号帯域を落とさないと、低周波信号に折り返り信号が発生する。図１１及び図１２に示したような加算読み出し方法では、水平方向の画素数が１／２に、垂直方向の画素数が１／５に間引きされて読み出されている。

しかしながら、上述したような画素の加算のみでは、原画像の帯域を十分に抑えることができない。この結果、低周波信号に折り返り信号が発生してしまうという問題点があった。

本発明は、以上のような問題点に鑑みてなされたものであり、画素を間引いて読み出すに際し、間引き後における画質の劣化を低減させることを第１の目的とする。
また、間引き後に発生する折り返りを低減させることを第２の目的とする。
また、間引き後に発生するジャギを低減させることを第３の目的とする。

本発明の撮像装置は、マトリックス状に配置された複数の画素に対して設定された規則的なパターンの増幅度で、画素信号を増幅する信号増幅手段と、前記信号増幅手段により増幅された同一色の画素信号を加算平均する画素加算平均手段と、前記画素加算平均手段により加算平均された画素信号を間引いて出力する画素間引き手段とを備えたことを特徴とする。
本発明の撮像素子は、マトリックス状に配置された複数の画素と、前記複数の画素に対して設定された規則的なパターンの増幅度で、画素信号を増幅する信号増幅手段と、前記光電変換部からの出力信号を同一色の画素毎に加算平均する画素加算平均手段と、前記画素加算平均手段により加算平均された画素信号を、予め設定された間引き率で間引く画素間引き手段とを備えたことを特徴とする。

本発明の撮像処理方法は、マトリックス状に配置された複数の画素に対して設定された規則的なパターンの増幅度で、画素信号を増幅する信号増幅ステップと、前記信号増幅ステップにより増幅された同一色の画素信号を加算平均する画素加算平均ステップと、前記画素加算平均ステップにより加算平均された画素信号を間引いて出力する画素間引きステップとを有することを特徴とする。

本発明によれば、マトリックス状に配置された複数の画素に対して設定された規則的なパターンの増幅度で、画素信号を増幅してから、同一色の画素信号を加算平均して間引くようにしたので、画素の間引き処理を行なう前にローパスフィルタの効果を得ることが可能となり、間引きによる折り返りの発生を可及的に防ぐことが可能となる。

また、本発明の他の特徴によれば、Ｒ−ＧラインにおけるＲ信号については３画素ずつ加算平均し、Ｇ信号については２画素ずつ加算平均する。一方、Ｇ−ＢラインにおけるＢ信号については３画素ずつ加算平均し、Ｇ信号については２画素ずつ加算平均する。これにより、Ｇ信号とＲ信号、及びＧ信号とＢ信号の画素位置の関係が反転することを可及的に防止でき、ジャギの発生を可及的に防ぐことができる。

次に、図面を参照しながら、本発明の実施形態について説明する。
（第１の実施形態）
まず、図１を参照しながら、本実施形態における撮像装置のハードウェア構成の一例を説明する。
１０１が、レンズ及び絞りからなる光学系である。１０２が、メカニカルシャッタ（メカシャッタと図示する）である。１０３が、撮像素子である。本実施形態の撮像素子１０３は、原色ベイヤーの色フィルタを備えている。１０４が、アナログ信号処理を行なうＣＤＳ回路である。１０５が、アナログ信号をデジタル信号に変換するＡ／Ｄ変換器である。

１０６が、撮像素子１０３、ＣＤＳ回路１０４及びＡ／Ｄ変換器１０５を動作させる信号を発生するタイミング信号発生回路である。１０７が、光学系１０１、メカニカルシャッタ１０２及び撮像素子１０３の駆動回路である。１０８が、撮影した画像データに必要な信号処理を行なう信号処理回路である。１０９が、信号処理された画像データを記憶する画像メモリである。

１１０が、撮像装置から取り外し可能な画像記録媒体である。１１１が、信号処理された画像データを画像記録媒体１１０に記録する記録回路である。１１２が、信号処理された画像データを表示する画像表示装置である。１１３が、画像表示装置１１１に画像を表示させる表示回路である。

１１４が、撮像装置全体を制御するシステム制御部である。１１５が、不揮発性メモリ（ＲＯＭ）である。この不揮発性メモリ（ＲＯＭ）１１５は、例えば、システム制御部１１４で実行される制御方法を記載したプログラム、プログラムを実行する際に使用されるパラメータやテーブル等の制御データ、及びキズアドレス等の補正データを記憶している。１１６が、揮発性メモリ（ＲＡＭ）である。この揮発性メモリ（ＲＡＭ）１１６は、不揮発性メモリ１１５に記憶されたプログラム、制御データ、及び補正データを転送して記憶しておき、システム制御部１１４が撮像装置を制御する際にこれらを使用できるようにする。

次に、上述のように構成された撮像装置により、メカニカルシャッタ１００２を使用して行なう撮影動作の一例について説明する。
撮影動作に先立ち、撮像装置の電源投入時等、システム制御部１０１４の動作開始時において、システム制御部１１４は、不揮発性メモリ１１５から必要なプログラム、制御データ及び補正データを揮発性メモリ１１６に転送して記憶しておくものとする。

また、これらのプログラムやデータは、システム制御部１１４が撮像装置を制御する際に使用するとともに、必要に応じて、追加のプログラムやデータを不揮発性メモリ１１５から揮発性メモリ１１６に転送したり、システム制御部１１４が不揮発性メモリ１１５内のデータを直接読み出して使用したりするものとする。

まず、光学系１０１は、システム制御部１１４からの制御信号により、絞りとレンズを駆動して、適切な明るさに設定された被写体像を撮像素子１０３上に結像させる。次に、メカニカルシャッタ１０２は、システム制御部１１４からの制御信号により、必要な露光時間となるように撮像素子１０３の動作に合わせて撮像素子１０３を遮光するように駆動される。このとき、撮像素子１０３が電子シャッタ機能を有する場合は、メカニカルシャッタ１０２と併用して、必要な露光時間を確保してもよい。

撮像素子１０３は、システム制御部１１４により制御されるタイミング信号発生回路１０６が発生する動作パルスをもとにした駆動パルスで駆動され、被写体像を光電変換により電気信号に変換してアナログ画像信号として出力する。撮像素子１０３から出力されたアナログの画像信号は、システム制御部１１４により制御されるタイミング信号発生回路１０６が発生する動作パルスにより、ＣＤＳ回路１０４でクロック同期性ノイズを除去し、Ａ／Ｄ変換器１０５でデジタル画像信号に変換される。

次に、システム制御部１１４により制御される信号処理回路１０８において、デジタル画像信号に対して、色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等を行なう。画像メモリ１０９は、信号処理中のデジタル画像信号を一時的に記憶したり、信号処理されたデジタル画像信号である画像データを記憶したりするために用いられる。信号処理回路１０８で信号処理された画像データや画像メモリ１０９に記憶されている画像データは、記録回路１１１において画像記録媒体１１０に適したデータ（例えば階層構造を持つファイルシステムデータ）に変換されて画像記録媒体１１０に記録されたり、信号処理回路１０８で解像度変換処理が実施された後、表示回路１１３において画像表示装置１１１に適した信号（例えばＮＴＳＣ方式のアナログ信号等）に変換されて画像表示装置１１１に表示されたりする。

ここで、信号処理回路１０８においては、システム制御部１１４からの制御信号により信号処理をせずにデジタル画像信号をそのまま画像データとして、画像メモリ１０９や記録回路１１１に出力してもよい。また、信号処理回路１０８は、システム制御部１１４から要求があった場合に、信号処理の過程で生じたデジタル画像信号や画像データの情報、例えば、画像の空間周波数、指定領域の平均値、圧縮画像のデータ量等の情報、あるいは、それらから抽出された情報をシステム制御部１１４に出力する。さらに、記録回路１１１は、システム制御部１１４から要求があった場合に、画像記録媒体１１０の種類や空き容量等の情報をシステム制御部１１４に出力する。

図２は、以上のようにして構成される本実施形態の撮像装置における加算モード時の読み出し方法の一例を概念的に示した図である。また、図３は、本実施形態の撮像素子の画素構造の一例を示した図である。なお、図２では、６行、１１列のマトリックス状に配置された複数の画素を撮像素子が有する場合を例に挙げて示している。また、図２において、Ｒ、Ｇ１、Ｇ２、Ｂは、画素の色を表し（Ｒは赤、Ｇ１、Ｇ２は緑、Ｂは青を表し）、これらＲ、Ｇ１、Ｇ２、Ｂの下に示されている「×１」や「×２」は、それぞれ画素にかけるゲイン（増幅度）を表している。以下、図２及び図３を用いて、本実施形態の撮像装置の主要な動作を説明する。

(Ｓｔｅｐ１−１)
まず、露光動作により光学系１０１を通した被写体像が、図２に示す撮像素子１０３に結像される。そして、図３に示すように、撮像素子１０３の各画素に配置されたフォトダイオード２０３により光量に対応した電気信号（電流）が出力される。
本実施形態の撮像素子１０３は、従来の撮像素子と比して、画素毎に異なるゲインをかけることが可能なアンプ（通常モード時アンプ２０１、及び加算モード時アンプ２０２）を備えていることを主な特徴としている。通常モード読み出し時は、静止画セレクト（ｓセレクト）信号２０４により、トランジスタ２０６、２０８がオンし、フォトダイオード２０３から出力された電気信号が、コンデンサＣｓ側の通常モード時アンプ２０１による電気信号の増幅が実施され、画素出力信号となる。

一方、加算モード読み出し時は、加算セレクト（ｍセレクト）信号２０５により、トランジスタ２０７、２０９がオンし、コンデンサＣｍ側の加算モード時アンプ２０２による電気信号の増幅が実施され、画素出力信号となる。
なお、各画素は、リセット信号２１２によりオンするリセットＭＯＤトランジスタ２１０、２１１を用いて、リセット動作が実施される。

(Ｓｔｅｐ１−２)
図２において、Ｒ−Ｇ１ライン（垂直方向の番号Ｖが奇数のライン、Ｖ＝２ｍ+１（ｍは、０及び正の整数））において、水平方向の番号Ｈが、Ｈ＝４ｎ（ｎは、０及び正の整数））を満たす位置にあるＲ画素における電気信号は、加算モード時増幅アンプ２０２により２倍のゲインがかけられる。

また、Ｇ２−Ｂライン（垂直方向の番号Ｖが０及び偶数のライン、Ｖ＝２ｍ（ｍは、０及び正の整数））において、水平方向の番号Ｈが、Ｈ＝４ｎ＋３（ｎは、０及び正の整数））を満たす位置にあるＢ画素における電気信号は、加算モード時アンプ２０２により２倍のゲインがかけられる。上記以外の画素におけるゲイン量は等倍とする。

(Ｓｔｅｐ１−３)
垂直転送が開始される
(Ｓｔｅｐ１−４)
ＲＧ用水平転送部１０３ａ、及びＧＢ用水平転送部１０３ｂにおいて、同色の画素加算が実施される。このとき、画素値は、垂直方向の偶数番目のラインと、奇数番目のラインとで異なる水平転送部（ＲＧ用水平転送部１０３ａ、及びＧＢ用水平転送部１０３ｂ）に転送され、それぞれ異なる画素加算が実施され水平方向に転送される。

ここで、Ｒ−Ｇ１ライン（図２における垂直方向の番号Ｖが奇数のライン）における画素の加算動作の一例を説明する。
画素Ｇ１は、隣接同色の２画素が加算平均され、ＲＧ用水平転送部１０３ａに転送される。図４は、本実施形態における撮像素子１０３で加算平均が行なわれる様子を概念的に示した図である。図４（ａ）では、画素Ｇ１[ｎ＋１］と画素Ｇ１［ｎ＋３］とが加算平均され、画素Ｇ１[Ｋ＋１］が生成されることを示している。

図５は、ＲＧ用水平転送部１０３ａにおけるＧ１転送部の概略構成の一例を示した図である。
図５において、画素Ｇ１［ｎ＋１］は、通常読み出しモード時に、静止画セレクト（ｓセレクト）信号４０１及び静止画シリアルレジスタ４０３により、トランジスタ４０５、４０６経由で１画素毎に出力される。また、画素Ｇ１［ｎ＋３］は、通常読み出しモード時に、静止画セレクト信号４０１及び静止画シリアルレジスタ４０３により、トランジスタ４０７、４０８経由で１画素毎に出力される。

画素Ｇ１［ｎ＋１］、Ｇ１［ｎ＋３］は、加算読み出しモード時に、加算セレクト（ｍセレクト）信号４０２及び加算シリアルレジスタ４０４により、トランジスタ４０９及び４１０を経由して、Ｇ加算部（加算平均回路ＧＡｄｄ［ｋ＋１］）４１２において、加算平均される。同様に、画素Ｇ１［ｎ＋５］と画素Ｇ１［ｎ＋７］は、Ｇ加算部（加算平均回路ＧＡｄｄ［ｋ＋３］）４１３において加算平均される。以上の動作を式に表すと、例えば、次の（１）式のようになる。

次に、画素Ｒは、隣接同色の３画素が加算平均され、ＲＧ用水平転送部１０３ａに転送される。図４（ａ）では、画素Ｒ［ｎ＋２］、Ｒ［ｎ＋４］、Ｒ［ｎ＋６］が加算平均され、画素Ｒ［ｋ＋２］が生成されることを示している。

図６は、ＲＧ用水平転送部１０３ａにおけるＲ転送部の概略構成の一例を示した図である。
図６において、画素Ｒ［ｎ＋２］は、通常読み出しモード時に、静止画セレクト（ｓセレクト）信号５０１及び静止画シリアルレジスタ５０３により、トランジスタ５０５、５０６を経由して１画素毎に出力される。また、画素Ｒ［ｎ＋４］は、通常読み出しモード時に、静止画セレクト（ｓセレクト）信号５０１及び静止画シリアルレジスタ５０３により、トランジスタ５０７、５０８を経由して１画素毎に出力される。さらに、画素Ｒ［ｎ＋６］は、通常読み出しモード時に、静止画セレクト（ｓセレクト）信号５０１及び静止画シリアルレジスタ５０３により、トランジスタ５０９、５１０を経由して１画素毎に出力される。

画素Ｒ［ｎ＋２］、Ｒ［ｎ＋４］、Ｒ［ｎ＋６］は、加算読み出しモード時に、加算セレクト（ｍセレクト）信号５０１及び加算シリアルレジスタ５０４により、トランジスタ５１１、５１２、５１３を経由してＲ加算部（加算平均回路ＲＡｄｄ［Ｋ＋２］）５１４において、加算平均される。同様に、画素Ｒ［ｎ＋４］、Ｒ［ｎ＋６］、Ｒ［ｎ＋８］は、Ｒ加算部（加算平均回路ＲＡｄｄ［Ｋ＋４］）５１５において加算平均される。
以上の動作を式に表すと、例えば、次の（２）式のようになる。

ここで、係数α、γは共に「１」（α＝γ＝1）であり、係数βは「２」（β＝２）で、これら係数は、上述した（Ｓｔｅｐ１−２）の処理において、画素上で掛けられている。
以上のようにして加算平均され、ＲＧ用水平転送部１０３ａに転送された画素は順次、ＲＧ用水平転送部１０３ａから転送され、出力される。

次に、Ｇ２−Ｂライン（図２における垂直方向の番号Ｖが偶数のライン）における画素の加算動作の一例を説明する。ただし、Ｇ２−Ｂラインにおいても、図５及び図６を用いて説明したＲ−Ｇ１ラインにおけるものと同様の構成及び動作が行なわれるので、ここでは、加算動作の概略を説明し、詳細な説明を省略する。

画素Ｇ２は、隣接同色の２画素が加算平均され、ＧＢ用水平転送部１０３ｂに転送される。図４（ｂ）では、画素、Ｇ２［ｎ］、Ｇ２［ｎ＋２］が加算平均され、画素Ｇ２［Ｋ］が生成されることを示している。このような動作を式に表すと、例えば、次の（３）式のようになる。

次に、画素Ｂは、隣接同色の３画素が加算平均され、ＧＢ用水平転送部１０３ｂに転送される。図４（ｂ）では、画素Ｂ［ｎ＋１］、Ｂ［ｎ＋３］、Ｂ［ｎ＋５］が加算平均され、画素Ｂ［Ｋ＋１］が生成されることを示している。このような動作を式に表すと、例えば、次の（４）式のようになる。

ここで、係数α、γは共に「１」（α＝γ＝1）であり、係数βは「２」（β＝２）で、これら係数は、上述した（Ｓｔｅｐ１−２）の処理において、画素上で掛けられている。
以上のようにして加算平均され、ＧＢ用水平転送部１０３ｂに転送された画素は順次、ＧＢ用水平転送部１０３ｂから転送され、出力される。

以上のように本実施形態では、撮像素子１０３における画素単位毎に異なるゲインをかけられるようにして、各画素に対して周期的なゲインをかけた後に、同色の画素について加算平均をとるようにしたので、センサー内の画素の間引き処理を行なう前にローパスフィルタの効果を得ることが可能となり、間引きによる折り返り（モアレ）の発生を防ぐことが可能となる。

また、Ｒ信号及びＢ信号を、水平方向に沿って３画素ずつ加算平均すると共に、Ｇ信号を、水平方向に沿って２画素ずつ加算平均するようにしたので、Ｇ信号とＲ信号、及びＧ信号とＢ信号の画素位置の関係が反転することを防止できる。このため、従来の加算読み出しモード時に発生していた画素位置の反転によるジャギの発生を大幅に防ぐことが可能となる。

なお、本実施形態においては、単一画素毎にアンプを設けて、画素単位でゲインをかけるようにしたが、例えば図７のように、水平転送部に画素単位でゲインをかけることが可能なアンプを備えてもよい。
図７によれば、静止画セレクト（ｓセレクト）信号６０１により通常モードでの読み出しが行なわれ、加算セレクト（ｍセレクト）信号６０２により加算モードでの読み出しが行なわれる。

加算セレクト（ｍセレクト）信号６０２により加算モードでの読み出しを行なう際に、画素Ｒ［ｎ＋２］は、トランジスタ６０５を通過し、アンプ６０８によって１倍のゲインがかかる。画素Ｒ［ｎ＋４］は、トランジスタ６０６を通過し、アンプ６０９によって２倍のゲインがかかる。画素Ｒ［ｎ＋６］は、トランジスタ６０７を通過し、アンプ６１０によって１倍のゲインがかかる。

ゲイン補正後の各画素Ｒ［ｎ＋２］、Ｒ［ｎ＋４］、Ｒ［ｎ＋６］は、Ｒ加算部（加算平均回路Ｒａｄｄ［Ｋ＋２］）６１１にて加算平均され、トランジスタ６１２を通過し、画素Ｒ［Ｋ＋２］として出力される。図７のように構成した場合、色毎に異なるゲインをかけるようにするためのセレクタが必要となる。しかしながら、画素単位でアンプを保持する必要がなくなり、チップ面積を小さくすることが可能になる。なお、Ｒ加算部（加算平均回路Ｒａｄｄ［Ｋ＋４］）６１３でも、同様の加算平均が行なわれる。

また、本実施形態では、撮像素子１０３の加算処理と間引き処理を、撮像素子１０３内で行なったが、撮像素子１０３から静止画モードで全画素の読み出しを実施し、撮像装置や、ＰＣ（Personal Computer）などのプラグラムを用いて加算間引き処理を行なっても折り返りの少ない画像が得られることは言うまでもない。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態では、第１の実施形態におけるセンサー水平方向での加算処理に加え、センサー垂直方向にも加算処理を行い、垂直方向の間引き処理による画質劣化を防ぐようにしている。このように本実施形態と第１の実施形態との違いは、センサー垂直方向における加算処理を行なうか否かであり、その他の構成は同じである。したがって、上述した第１の実施形態と同一の部分については、図１〜図７に付した符号と同一の符号を付すなどして詳細な説明を省略する。

撮像素子１０３における、画素毎にゲインを異ならせる回路構成、及び画素加算の回路構成のうち、水平方向における加算処理を行なうための回路構成は、第１の実施形態と同様である。また、垂直方向における加算処理は、垂直転送部の回路構成を第１の実施形態における水平転送部の回路構成と同等の構成とすれば可能なのは明白なため、詳細な説明を省略する（図５〜図７を参照）。

図８は、本実施形態の撮像装置における加算モード時の読み出し方法の一例を概念的に示した図である。なお、図８では、６行、７列のマトリックス状に配置された複数の画素を撮像素子が有する場合を例に挙げて示している。また、図８において、Ｒ、Ｇ１、Ｇ２、Ｂは、画素の色を表し（Ｒは赤、Ｇ１、Ｇ２は緑、Ｂは青を表し）、これらＲ、Ｇ１、Ｇ２、Ｂの下に示されている「×１」や「×２」は、それぞれ画素にかけるゲイン（増幅度）を表している。

(Ｓｔｅｐ２−１)
まず、露光動作により光学系を通した被写体像が撮像素子１０３に結像され、第１の実施形態と同様に、撮像素子１０３の各画素に配置されたフォトダイオード２０３により光量に対応した電気信号（電流）が出力される。

(Ｓｔｅｐ２−２)
Ｒ−Ｇ１ライン（垂直方向の番号Ｖが奇数のライン、Ｖ＝２ｍ＋１（ｍは、０及び正の整数））において、水平方向の番号Ｈが、Ｈ＝４ｎ（ｎは、０及び正の整数））を満たす位置にあるＲ画素における電気信号は、増幅アンプにより２倍のゲインがかけられる。また、Ｇ２−Ｂライン（垂直方向の番号Ｖが偶数のライン、Ｖ＝２ｍ（ｍは、０及び正の整数））において、水平方向の番号Ｈが、Ｈ＝４ｎ＋３（ｎは、０及び正の整数））を満たす位置にあるＢ画素における電気信号は、増幅回路により２倍のゲインがかけられる。上記以外の画素におけるゲイン量は等倍とする。

(Ｓｔｅｐ２−３)
垂直転送時に同色画素を加算する。図８において、垂直方向の番号Ｖが、Ｖ＝６ｎ（ｎは、０及び正の整数）を満たすラインの画素と、Ｖ＝６ｎ＋２（ｎは、０及び正の整数）を満たすラインの画素とが、垂直方向に加算平均される。また、垂直方向の番号Ｖが、Ｖ＝６ｎ＋３（ｎは、０及び正の整数）を満たすラインの画素と、Ｖ＝６ｎ＋５（ｎは、０及び正の整数）を満たすラインの画素とが、垂直方向に加算平均さる。また、垂直方向の番号Ｖが、Ｖ＝６ｎ＋１（ｎは、０及び正の整数）を満たすラインの画素と、Ｖ＝６ｎ＋４（ｎは、０及び正の整数）の画素は読み飛ばされる。

(Ｓｔｅｐ２−４)
ＲＧ用水平転送部１０３ａ、及びＧＢ用水平転送部１０３ｂにおいて、同色の画素加算が実施される。このとき、画素値は、垂直方向の偶数番目のライン（Ｇ２−Ｂライン）と、奇数番目のライン（Ｒ−Ｇ１ライン）とで異なる水平転送部（ＲＧ用水平転送部１０３ａ、及びＧＢ用水平転送部１０３ｂ）に転送され、それぞれ異なる画素加算が実施され水平方向に転送される。本実施形態における水平転送部の画素加算の方法は、第１の実施形態と同様であるため説明を省略する。

以上のように本実施形態では、センサー水平方向と垂直方向の両方向で加算平均しても、Ｇ信号とＲ信号、及びＧ信号とＢ信号の画素の位置関係が反転することを防ぐことができる。これにより、ジャギの発生を防ぐことができる。また、同一色画素が４画素加算されるため、よりノイズの少ない画像信号を出力できる。

なお、本実施形態においても、撮像素子１０３の加算処理と間引き処理を、撮像素子１０３内で行なったが、撮像素子１０３から静止画モードで全画素の読み出しを実施し、撮像装置や、ＰＣ（Personal Computer）などのプラグラム上で行なっても折り返りの少ない画像が得られることは言うまでもない。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。本実施形態では、まず、各色画素毎に共通のパターンもつゲインをかけ、水平転送部にて同色画素を加算平均することでローパスフィルタ効果を得た後、画素を間引いて読み出すことを特徴としている。また、間引き率に応じて、同一色の画素にかけるゲインの周期を異ならせることを特徴としている。これら以外の構成については、上述した第１及び第２の実施形態と同じであるので、上述した第１及び第２の実施形態と同一の部分については、図１〜図８に付した符号と同一の符号を付すなどして詳細な説明を省略する。

図９は、本実施形態の撮像素子における加算モード時に、水平方向に１／３だけ間引きして画素を読み出す方法の一例を概念的に示した図である。なお、図９において、Ｒ、Ｇ１、Ｇ２、Ｂは、画素の色を表し（Ｒは赤、Ｇ１、Ｇ２は緑、Ｂは青を表し）、これらＲ、Ｇ１、Ｇ２、Ｂの下に示されている「×１」や「×２」は、それぞれその上に記載されている画素にかけるゲイン（増幅度）を表している。

(Ｓｔｅｐ３−１)
まず、露光動作により光学系を通した被写体像が撮像素子１０３に結像され、撮像素子１０３の各画素に配置されたフォトダイオード２０３により光量に対応した電気信号（電流）が出力される。

(Ｓｔｅｐ３−２)
図９に示すように、第１の実施形態で説明したような各画素に備え付けられている増幅回路（アンプ）により、各色画素毎に予め設定された一定パターンのゲインがかけられる。図９では、水平方向に（×１，×２，×１）の規則性をもつゲインがかけられる。
(Ｓｔｅｐ３−３)
垂直転送が開始される。

(Ｓｔｅｐ３−４)
水平転送部において、同色の画素加算が実施され、その後出力される。
ここで、Ｇ−Ｂライン（図９における垂直方向の番号ｋが奇数のライン）における画素の加算動作の一例を説明する。
具体的には、例えば、以下の（５）式で示される加算が実施され、出力される。

次に、Ｒ−Ｇライン（図９における垂直方向の番号ｋが０及び偶数のライン）における画素の加算動作の一例を説明する。
Ｇ−Ｂラインと同様に、例えば、以下の（６）式で示される加算が実施され、出力される。

こうして、センサー出力後は、水平方向の画素数が１／３となる。また垂直方向を間引くために、第２の実施形態と同様に、垂直転送部において、水平転送部と同等の加算平均処理を行なっても良い。

次に、水平方向に１／５だけ間引きして画素を読み出すモードが設定された場合について説明する。図１０は、本実施形態の撮像素子における加算モード時に、水平方向に１／５だけ間引きして読み出す方法の一例を概念的に示した図である。なお、図１０において、Ｒ、Ｇ１、Ｇ２、Ｂは、画素の色を表し（Ｒは赤、Ｇ１、Ｇ２は緑、Ｂは青を表し）、これらＲ、Ｇ１、Ｇ２、Ｂの下に示されている「×１」、「×４」、「×６」は、それぞれ画素にかけるゲイン（増幅度）を表している。図９及び図１０から分かるように、水平方向の同色画素における規則的なゲインが、１／３だけ間引くモードでは３画素周期であるのに対し、１／５だけ間引くモードでは５画素周期である。このように、本実施形態では、前記ゲインのパターンの周期が、間引き率が高くなるにつれて長くなるようにしている。

（Ｓｔｅｐ４−１）
露光動作により光学系を通した被写体像が撮像素子に結像され、撮像素子の各画素に配置されたフォトダイオードにより光量に対応した電気信号（電流）が出力される。

（Ｓｔｅｐ４−２）
図１０に示すように、第１の実施形態で説明したような各画素に備え付けられている増幅回路（アンプ）により、各色画素毎に予め設定された一定パターンのゲインがかけられる。図１０では、水平方向に（×１，×４，×６，×４，×１）の規則性をもつゲインがかけられる。

（Ｓｔｅｐ４−３）
垂直転送が開始される。
（Ｓｔｅｐ４−４）
水平転送部において、同色の画素加算が実施され、その後出力される。

ここで、Ｇ−Ｂライン（図１０における垂直方向の番号ｋが奇数のライン）における画素の加算動作の一例を説明する。
以下の式で示される加算が実施され、出力される。
具体的には、例えば、以下の（７）式で示される加算が実施され、出力される。

次に、Ｒ−Ｇライン（図１０における垂直方向の番号ｋが０及び偶数のライン）における画素の加算動作の一例を説明する。
Ｇ−Ｂラインと同様に、例えば、以下の（７）式で示される加算が実施され、出力される。

こうして、センサー出力後は、水平方向の画素数が１／５となる。また垂直方向を間引くために、第２の実施と同様に、垂直転送部において、水平転送部と同等の加算平均処理を行なっても良い。

以上のように本実施形態では、周期的なゲインの周期を、間引き率によって変化させるようにしたので、第１及び第２の実施形態における効果に加え、加算間引きによる折り返りをより確実に低減することができる。

なお、本実施形態においても、撮像素子１０３の加算処理と間引き処理を、撮像素子１０３内で行なったが、撮像素子１０３から静止画モードで全画素の読み出しを実施し、撮像装置や、ＰＣ（Personal Computer）などのプラグラム上で行なっても折り返りの少ない画像が得られることは言うまでもない。

（本発明の他の実施形態）
上述した実施形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、前記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。

また、この場合、前記ソフトウェアのプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えば、かかるプログラムコードを格納した記録媒体は本発明を構成する。かかるプログラムコードを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。

さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。

本発明の第１の実施形態を示し、撮像装置のハードウェア構成の一例を示した図である。 本発明の第１の実施形態を示し、加算モード時の読み出し方法の一例を概念的に示した図である。 本発明の第１の実施形態を示し、撮像素子の画素構造の一例を示した図である。 本発明の第１の実施形態を示し、撮像素子で加算平均が行なわれる様子を概念的に示した図である。 本発明の第１の実施形態を示し、ＲＧ用水平転送部におけるＧ１転送部の概略構成の一例を示した図である。 本発明の第１の実施形態を示し、ＲＧ用水平転送部におけるＲ転送部の概略構成の第１の例を示した図である。 本発明の第１の実施形態を示し、ＲＧ用水平転送部におけるＲ転送部の概略構成の第２の例を示した図である。 本発明の第２の実施形態を示し、加算モード時の読み出し方法の一例を概念的に示した図である。 本発明の第３の実施形態を示し、加算モード時に、水平方向に１／３だけ間引きして画素を読み出す方法の一例を概念的に示した図である。 本発明の第３の実施形態を示し、加算モード時に、水平方向に１／５だけ間引きして読み出す方法の一例を概念的に示した図である。 従来の技術を示し、動画撮影モードにおいて汎用のＣＣＤ撮像素子の信号を読み出す従来の方法を説明する図である。 従来の技術を示し、撮像素子で加算平均が行なわれる様子を概念的に示した図である。

符号の説明

１０１ 光学系
１０２ メカシャッタ
１０３ 撮像素子
１０３ ＣＤＳ回路
２０１ 通常モード時アンプ
２０２ 加算モード時アンプ
２０３ フォトダイオード
２０４、４０１、５０１、６０１ 静止画セレクト信号
２０５、４０２、５０２、６０２ 加算セレクト信号
４０３、５０３、６０３ 静止画シリアルレジスタ
４０４、５０４、６０４ 加算シリアルレジスタ
４０５〜４１１、５０５〜５１３、６０５〜６０７ トランジスタ
４１２、５１４、６１１ Ｒ加算部（加算平均回路）
４１３、５１５、６１３ Ｇ加算部（加算平均回路）
６０８〜６１０ アンプ

Claims (11)

1. マトリックス状に配置された複数の画素に対して設定された規則的なパターンの増幅度で、画素信号を増幅する信号増幅手段と、
   前記信号増幅手段により増幅された同一色の画素信号を加算平均する画素加算平均手段と、
   前記画素加算平均手段により加算平均された画素信号を間引いて出力する画素間引き手段とを備えたことを特徴とする撮像装置。
2. マトリックス状に配置された複数の画素と、
   前記マトリックスにおける水平方向の画素を読み出して転送する水平転送部と、前記マトリックスにおける垂直方向の画素を読み出して転送する垂直転送部との少なくとも何れか一方とを備え、
   前記水平転送部及び前記垂直転送部は、前記複数の画素に対して設定された規則的なパターンの増幅度で、画素信号を増幅する信号増幅手段と、
   前記信号増幅手段により増幅された同一色の画素信号を加算平均する画素加算平均手段と、
   前記画素加算平均手段により加算平均された画素信号を間引いて出力する画素間引き手段とを備えたことを特徴とする撮像装置。
3. 前記規則的なパターンは、Ｒ信号及びＢ信号に対するパターンと、Ｇ信号及びＢ信号に対するパターンとで異なることを特徴とする請求項１又は２に記載の撮像装置。
4. 撮像素子を有し、
   前記撮像素子は、マトリックス状に配置された複数の画素と、
   前記複数の画素に対して設定された規則的なパターンの増幅度で、画素信号を増幅する信号増幅手段と、
   前記信号増幅手段により増幅された同一色の画素信号を加算平均する画素加算平均手段とを備え、
   前記画素加算平均手段は、前記マトリックスの水平方向もしくは垂直方向のラインであって、Ｒ信号とＧ信号とが交互に存在するＲ−Ｇラインについては、前記Ｒ信号を３画素ずつ加算平均すると共に、前記Ｇ信号を２画素ずつ加算平均し、前記マトリックスの水平方向もしくは垂直方向のラインであって、Ｇ信号とＢ信号とが交互に存在するＧ−Ｂラインについては、前記Ｇ信号を２画素ずつ加算平均すると共に、前記Ｂ信号を３画素ずつ加算平均することを特徴とする撮像装置。
5. 前記撮像素子は、原色ベイヤーパターンの色フィルタを備えたことを特徴とする請求項４に記載の撮像装置。
6. 前記規則的なパターンは、前記間引き手段における間引き率に応じて設定されることを特徴とする請求項１〜５の何れか１項に記載の撮像装置。
7. 前記規則的なパターンの周期は、前記間引き手段での間引き率が高くなるにつれて長くなるように設定されることを特徴とする請求項６に撮像装置。
8. 前記規則的なパターンは、一定の周期を持つパターンであることを特徴とする請求項１〜７の何れか１項に記載の撮像装置。
9. マトリックス状に配置された複数の画素と、
   前記複数の画素に対して設定された規則的なパターンの増幅度で、画素信号を増幅する信号増幅手段と、
   前記光電変換部からの出力信号を同一色の画素毎に加算平均する画素加算平均手段と、
   前記画素加算平均手段により加算平均された画素信号を、予め設定された間引き率で間引く画素間引き手段とを備えたことを特徴とする撮像素子。
10. 光電変換を行なう光電変換部を有し、
    前記光電変換部は、前記複数の画素と、前記信号増幅手段とを備えていることを特徴とする請求項９に記載の撮像素子。
11. マトリックス状に配置された複数の画素に対して設定された規則的なパターンの増幅度で、画素信号を増幅する信号増幅ステップと、
    前記信号増幅ステップにより増幅された同一色の画素信号を加算平均する画素加算平均ステップと、
    前記画素加算平均ステップにより加算平均された画素信号を間引いて出力する画素間引きステップとを有することを特徴とする撮像処理方法。

Images