JP2006345472A - 画像信号処理装置、それを備えた撮像装置及び画像信号処理方法 - Google Patents

Abstract

【課題】複数の画像フレームを取得する時間を短縮し、複数の画像フレームを用いた手ぶれ補正処理の精度を高める。
【解決手段】複数の画素が行列配置され、転送電極にクロックパルスを印加することによって情報電荷を転送出力する撮像素子１０と、転送電極に印加されるクロックパルスを制御する駆動回路１２と、撮像素子１０から出力された画像信号に対して手ぶれ補正処理を行う画像信号処理部１４とを備え、撮像時には実質的に互いに分離された複数のポテンシャル井戸に情報電荷を蓄積させると共に、転送時には複数のポテンシャル井戸のうち少なくとも１つに蓄積された情報電荷を用いて圧縮された画像信号を撮像素子１０から出力させ、その圧縮された画像信号を用いて手ぶれ補正処理を行う。
【選択図】図１

Description

本発明は、撮像した画像信号に対して手ぶれ補正を行う画像信号処理装置、それを備えた撮像装置及び画像信号処理方法に関する。

ＣＣＤ固体撮像素子等の固体撮像素子が組み込まれたデジタルスチルカメラやビデオカメラ等の撮像装置が広く用いられている。撮像装置には、撮像によって得られた画像信号に対して撮像時の手ぶれによる影響を補正する手ぶれ補正機能が搭載されていることが多い。

手ぶれ補正処理としては、撮像装置に備えられた加速度センサ等によって手ぶれの度合いを検出し、手ぶれの度合いに応じて撮像された画像信号の相対的な位置をずらして処理する方法が知られている。また、複数の画像フレーム間における特徴部分の動きを検出して、その動きから手ぶれの度合いを検出する方法も開示されている。

特開２００１−２４９３３号公報

複数の画像フレームを比較して特徴部分の動きを検出する場合、処理に供される複数の画像フレームの画像信号は十分に短い撮像期間に取得する必要がある。具体的には、手ぶれの度合いを検出する処理に供される複数の画像フレームの画像信号を０．６秒程度の期間内に取得することが好ましい。

ところが、近年の固体撮像素子の高解像度化等による画素数の増加に伴って、画像信号を出力するまでの転送段数が増加し、複数の画像フレームの画像信号を必要な時間内に取得することが困難になってきている。

例えば、フレーム転送型のＣＣＤ固体撮像素子において４つの画像フレームを手ぶれの補正処理に供する場合、図２１に示すように、４つの画像フレームを撮像するためには４つの画像フレームに対する露光時間と３つの画像フレームの転送時間とが必要となる。なお、４番目の画像フレームに対する転送時には４番目の画像フレームの撮像は既に終わっているので４番目の画像フレームの転送時間は問題にならない。例えば、図２１に示すように、シャッタスピードＴｓが１／６０（０．０１７）秒、フレーム転送時間Ｔｆが０．４５秒、及び、電子シャッタ等の猶予期間Ｔｂが０．０２秒である場合、４つの画像フレームを撮像するための時間Ｔｔは４×０．０１７＋３×（０．４５＋０．０２）≒約１．４８秒となる。

このように複数の画像フレームの画像信号を取得する時間が長くなった場合、複数の画像フレーム間を比較して特徴部分の動きを検出したとしても手ぶれによる影響以外の要素の影響（例えば、被写体自体の動きの影響）が大きくなり、手ぶれ補正の精度が低下する。したがって、手ぶれ補正処理の効果を十分に得ることができなくなる。

そこで、本発明は、上記従来技術の問題を鑑みて、撮像した画像信号に対して有効的な手ぶれ補正を行うことができる画像信号処理装置、それを備えた撮像装置及び画像信号処理方法を提供することを目的とする。

本発明は、外部から入射された光の強度に応じた情報電荷を生成及び蓄積する複数の画素が行列配置され、画素に蓄積された情報電荷を転送出力する撮像素子と、前記撮像素子から出力された画像信号に対して手ぶれ補正処理を行う画像信号処理部と、を備えた撮像装置であって、前記撮像素子は、撮像時には実質的に互いに分離された複数のポテンシャル井戸に情報電荷を蓄積すると共に、転送時には前記複数のポテンシャル井戸のうち少なくとも１つに蓄積された情報電荷を用いて転送して、圧縮された画像信号を出力し、前記画像信号処理部は、圧縮された画像信号を用いて手ぶれ補正処理を行うことを特徴とする。

前記画像信号処理部は、撮像時には実質的に互いに分離された複数のポテンシャル井戸に外部から入射された光の強度に応じた情報電荷を蓄積させる複数の画素が行列配置された撮像部を備える撮像素子、から出力された画像信号に対して手ぶれ補正処理を行う画像信号処理装置（画像信号処理素子）であって、前記複数のポテンシャル井戸のうち少なくとも１つに蓄積された情報電荷から得られた圧縮された画像信号を用いて手ぶれ補正処理を行うことを特徴とする画像信号処理装置（画像信号処理素子）により実現することができる。

この撮像装置の画像信号処理部は、撮像時には実質的に互いに分離された複数のポテンシャル井戸に外部から入射された光の強度に応じた情報電荷を蓄積させる複数の画素が行列配置された撮像部を備える撮像素子、から出力された画像信号に対して手ぶれ補正処理を行う画像信号処理装置（画像信号処理素子）を備えることによって実現できる。この画像信号処理装置は、前記複数のポテンシャル井戸のうち少なくとも２つに蓄積された情報電荷を加算合成して圧縮された画像信号を用いて手ぶれ補正処理を行うことを特徴とする。

このように、圧縮された画像フレームの画像信号を手ぶれ補正処理に用いることにより、撮像に必要とされる時間を短縮することができる。したがって、被写体自体の動き等の手ぶれ以外の影響を排除して手ぶれの補正を高い精度で行うことができる。

ここで、前記撮像素子から出力された複数の画像フレームを用いて手ぶれ補正処理を行うことが好適である。複数の画像フレームには、少なくとも１つの圧縮された画像フレームが含まれていれば良いが、複数の圧縮された画像フレームが含まれていることがより好適である。

少なくとも１つの圧縮された画像フレームの画像信号を含む複数の画像フレームを手ぶれ補正処理に供することによって、短い時間で撮像された画像フレームを用いて手ぶれ補正をより適切に行うことが可能となる。特に、複数の圧縮された画像フレームの画像信号を用いて手ぶれ補正処理を行えば、圧縮を行わずに同数の画像フレームを撮像する場合に比べて撮像に必要とされる時間をより短縮することができる。したがって、手ぶれ以外の影響をより排除でき、手ぶれ補正の精度をより高めることができる。

また、前記複数のポテンシャル井戸のうち少なくとも２つに蓄積された情報電荷を転送方向に沿って加算合成して圧縮された画像信号を用いて手ぶれ補正処理を行うことができる。圧縮処理の対象とする転送方向は、垂直転送方向又は水平転送方向のいずれでもよい。

また、前記撮像素子は、転送方向に沿って連続的に配置された画素を３以上の所定数毎に組として、当該組に含まれる画素のうち少なくとも１つを除いた残りの画素に蓄積された情報電荷から前記圧縮された画像信号を得ることが好適である。例えば、前記圧縮された画像信号を得るには、情報電荷を転送方向に沿って加算合成すればよい。

また、カラー撮像を対象とする撮像装置に本発明を適用することもできる。前記撮像素子は、異なる２つ以上の波長領域のいずれかを透過波長領域とする光学フィルタに対応付けられて光学フィルタを透過した光を受けて情報電荷を蓄積するものであって、各透過波長領域を有する光学フィルタに対応付けられた画素が転送方向に沿って所定の周期で繰り返し配置されている。このとき、前記撮像素子は、同一の透過波長領域を有する光学フィルタに対応する画素が配置された周期に１画素を加えた周期に含まれる画素群を組として、当該組に含まれる画素のうち少なくとも１つを除いた残りの画素に蓄積された情報電荷から前記圧縮された画像信号を得ることが好適である。

例えば、垂直転送方向に沿って赤（Ｒ）を透過するフィルタと緑（Ｇ）を透過するフィルタとを垂直シフトレジスタの延伸方向に沿って交互に各受光画素と重ね合わせるように配列した列と、緑（Ｇ）を透過するフィルタと青（Ｂ）を透過するフィルタとを垂直シフトレジスタの延伸方向に沿って交互に各受光画素と重ね合わせるように配列した列と、を垂直転送方向に直交する方向に沿って交互に配置することによって赤（Ｒ）、緑（Ｇ）、青（Ｂ）の波長に対応する画素をモザイク状に配置した撮像素子を実現することができる。この場合、垂直転送方向又は水平転送方向に連続して配置される３画素を１組として、１組に含まれる画素に蓄積された情報電荷を転送方向に沿って加算合成して圧縮された画像信号を用いて手ぶれ補正処理を行うことができる。

さらに、前記撮像素子は、前記組に含まれる画素から除かれる画素を順次変更して圧縮された画像信号を出力することが好ましい。このように、画像信号を圧縮する際に情報電荷を間引く画素を画像フレーム毎に変更することによって、手ぶれ補正処理において補間処理される画素の位置を空間的に平均化することができる。したがって、手ぶれ補正処理における画像の劣化を低減することができる。

また、圧縮された画像信号に対して伸張処理を行うことが好ましい。これによって、各画素に対応付けられていない光学フィルタの透過波長領域に対する信号成分を算出することができる。したがって、手ぶれ補正処理をより高い精度で行うことができる。

また、圧縮された画像信号に対して補間処理を行うことも好適である。圧縮された画像フレームの画像信号では信号値を有する画素が間引きされている。したがって、間引きされた画素間の補間処理を行うことによって、全画素（フル画像）の画像フレームとして手ぶれ補正処理を行うことができる。

本発明によれば、複数の画像フレームを取得する時間を短縮し、複数の画像フレームを用いた手ぶれ補正処理の精度を高めることができる。

本発明の実施の形態における撮像装置１００は、図１に示すように、固体撮像素子１０、タイミング制御部１２及び画像信号処理部１４を含んで構成される。

固体撮像素子１０の撮像、転送及び出力はタイミング制御部１２から入力される各種のクロックパルスによって行われる。固体撮像素子１０から出力された画像信号は、画像信号処理部１４において手ぶれ補正処理等の信号処理を受ける。本実施の形態では、手ぶれ補正処理に供される複数の画像フレームのうち少なくとも１フレーム分の画像信号を圧縮して転送することによって撮像に必要な時間を短縮することを１つの特徴としている。

固体撮像素子１０は、ＣＣＤ固体撮像素子、ＣＭＯＳ固体撮像素子のように行列配置された受光画素を備え、撮像時において各受光画素で生成された情報電荷を順次転送して画像信号として出力する素子とすることができる。以下、固体撮像素子１０はフレーム転送型のＣＣＤ固体撮像素子を例として説明するがこれに限定されるものではない。

固体撮像素子１０は、撮像部１０ｉ、蓄積部１０ｓ、水平転送部１０ｈ及び出力部１０ｄを含んで構成される。

撮像部１０ｉ及び蓄積部１０ｓは、図２の素子内部の平面図に示すように、半導体基板の表面領域に形成された垂直シフトレジスタから構成される。蓄積部１０ｓは、撮像部１０ｉの垂直シフトレジスタと連続して配置された垂直シフトレジスタを備える。蓄積部１０ｓの垂直シフトレジスタは全体が遮光されており、情報電荷を１フレーム分だけ蓄積しておくために用いられる。

垂直シフトレジスタは、垂直方向（図２の縦方向）に向けて互いに平行に延伸された分離領域２０によって区画された複数のチャネル領域２２と、チャネル領域２２に交差する複数の転送電極２４−１〜２４−９から構成することができる。

図３及び図４に、図２のラインＣ−Ｃに沿った断面図及びラインＤ−Ｄに沿った断面図を示す。Ｎ型半導体基板内にＰウェル（ＰＷ）が形成され、その上にＮウェル（ＮＷ）が形成される。さらに、Ｎウェル（ＮＷ）に所定の間隔をもって互いに平行にＰ型不純物領域からなる分離領域２０が形成される。分離領域２０は、隣接するチャネル領域２２の間にポテンシャル障壁を形成する。これらの分離領域２０に挟まれた領域が電気的に区画され、チャネル領域２２が情報電荷の転送経路となる。

また、半導体基板の表面上には絶縁膜（ＩＮＳ）が成膜される。図２に示すように、この絶縁膜（ＩＮＳ）上にチャネル領域２２の延伸方向に直交するように、ポリシリコン膜等からなる複数の転送電極２４（２４−１〜２４−９）が互いに平行に繰り返し配置される。

本実施の形態では、連続する３つの転送電極２４−１〜２４−３，２４−４〜２４−６，２４−７〜２４−９の組がそれぞれ１つの受光画素を構成する。タイミング制御部１２から一組の転送電極２４−１〜２４−９の各々に対して所定の周期の転送クロックφ_ｉ１〜φ_ｉ９を印加することによって撮像部１０ｉで生成された情報電荷が蓄積部１０ｓへ転送され、転送クロックφ_ｓ１〜φ_ｓ９を印加することによって蓄積部１０ｓにバッファリングされた情報電荷が水平転送部１０ｈへ転送される。

カラー撮像用のＣＣＤ固体撮像素子では、図５に示すように、撮像部１０ｉの有効画素領域の各受光画素はマトリックス状に配置された赤（Ｒ）、緑（Ｇ）、青（Ｂ）の波長に対応する透過フィルタ２６−Ｒ，２６−Ｇ，２６−Ｂのいずれかで被われる。例えば、図６に示すように、垂直転送方向に沿って赤（Ｒ）を透過するフィルタ２６−Ｒと緑（Ｇ）を透過するフィルタ２６−Ｇとを垂直シフトレジスタの延伸方向に沿って交互に各受光画素と重ね合わせるように配列した列２８−１と、緑（Ｇ）を透過するフィルタ２６−Ｇと青（Ｂ）を透過するフィルタ２６−Ｂとを垂直シフトレジスタの延伸方向に沿って交互に各受光画素と重ね合わせるように配列した列２８−２と、を垂直転送方向に直交する方向に沿って交互に配置することによって赤（Ｒ）、緑（Ｇ）、青（Ｂ）の波長に対応する画素をモザイク状に配置することができる。これによって、カラー画像の取得が可能となる。

また、タイミング制御部１２から蓄積部１０ｓに出力制御クロックが印加されることによって、蓄積部１０ｓに保持された情報電荷が水平転送部１０ｈへ１行分ずつ転送出力される。水平転送部１０ｈは、水平シフトレジスタを備える。水平転送部１０ｈの水平シフトレジスタの各ビットには蓄積部１０ｓの各垂直シフトレジスタからそれぞれ１画素分の情報電荷が順次転送出力される。水平転送部１０ｈには、タイミング制御部１２から水平クロックパルスが入力される。水平転送部１０ｈでは、水平クロックパルスを受けて、１画素単位で情報電荷が出力部１０ｄへ転送される。出力部１０ｄは１画素毎の情報電荷量を電圧値に変換し、その電圧値の変化がＣＣＤ出力として画像信号処理部１４へ出力される。

タイミング制御部１２は、タイミングパルス生成回路を含んで構成される。タイミング制御部１２は、システムクロックに基づいて、撮像素子１０における撮像及び情報電荷の転送を制御するための垂直クロックパルス、水平クロックパルス、出力パルス、リセットパルス等のクロックパルスを生成して撮像部１０の各部へ出力する。また、出力部１０ｄから各画素の出力信号Ｓが出力される毎に、リセットパルス等のクロックパルスに同期させて画像信号処理部１４へ制御クロックパルスを出力する。これによって、固体撮像素子１０からの画像信号の出力と画像信号処理部１４における画像信号の処理とを同期させて適切なタイミングで処理を行うことを可能とする。

画像信号処理部１４は、相関２重サンプリング部（ＣＤＳ部：Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）、アナログ増幅器（ＡＧＣ：Ａｕｔｏ Ｇａｉｎ Ｃｏｎｔｒｏｌ）、アナログ／デジタル変換器（Ａ／Ｄ変換器）及び手ぶれ補正処理部を含んで構成される。ＣＤＳ部、アナログ増幅器、アナログ／デジタル変換器における処理は既存の技術と同様であるのでここでの説明は省略する。また、手ぶれ補正処理部における処理は後述する。

＜画像信号の垂直圧縮転送＞
本実施の形態では、垂直転送方向に沿って同一の波長領域（色）に対応する画素が配置される周期に１画素を加えた周期に含まれる画素群を１組として、１組に含まれる転送電極の各々に異なるクロックパルスを供給することによって制御を行う。例えば、図５の画素配置に対しては、垂直転送方向に沿って同一の色（Ｒ，Ｇ，Ｂ）の波長領域に対応する画素が２画素周期で配置されているので、２画素＋１画素＝３画素分の転送電極を１組として制御する。すなわち、図６に示すように、転送方向に沿って連続する９つの転送電極２４−１〜２４−９を１つの組として、転送電極２４−１〜２４−９の各々に対して異なるクロックパルスを供給し、垂直転送方向に沿って連続する３つの画素に配置された転送電極２４−１〜２４−９の各々を独立に制御する。

撮像装置１００における撮像（情報電荷の蓄積）及び情報電荷の転送は、タイミング制御部１２から転送電極２４−１〜２４−９に印加される電圧を制御することによって行うことができる。そこで、図７に撮像から転送までのタイミングチャートを示し、転送電極の制御について説明を行う。蓄積部１０ｓに対する転送時における制御は、撮像部１０ｉに対する転送時における制御と同様に行われる。

また、図８には、時刻Ｔ_０〜Ｔ_９における各転送電極２４−１〜２４−９下におけるポテンシャルの変化の様子を示す。横軸は撮像部１０ｉにおける垂直転送方向に沿った位置を示し、縦軸が各位置でのポテンシャルを示す。このとき、図中の下が正電位側、上が負電位側となる。

タイミング制御部１２は、クロックパルスφ_ｉ１〜φ_ｉ９をそれぞれ転送電極２４−１〜２４−９に印加する。固体撮像素子１０の半導体基板は基板電位Ｖｓｕｂに固定される。

時刻Ｔ_０は、撮像前の初期状態である。このとき、クロックパルスφ_ｉ１〜φ_ｉ９の総てがオフとされ、図８に示すように、転送電極２４−１〜２４−９下にはポテンシャル井戸は形成されず、電荷は基板へ排出される。

時刻Ｔ_１では、１組とされた画素群のうち両端の画素にポテンシャル井戸が形成されるようにクロックパルスが制御される。ここでは、クロックパルスφ_ｉ２，φ_ｉ８がオンとされ、転送電極２４−２及び２４−８下にポテンシャル井戸が形成される。オン状態となった転送電極２４−２及び２４−８の周囲に入射した光に応じて発生した情報電荷はこれらのポテンシャル井戸に蓄積される。

本実施の形態では、転送方向に沿って同一の波長領域に対応する画素が配置される周期に１画素を加えた周期の画素を１組として転送電極へのクロックパルスの制御を行っているため、１組の画素では同一の波長成分に対応して発生した情報電荷が蓄積されることとなる。例えば、図３に示した列２４−１では、左からＲ，Ｇ，Ｒの組とＧ，Ｒ，Ｇの組とが繰り返し配置され、Ｒ，Ｇ，Ｒの組では両端のＲに対応する画素に赤の波長成分に応じて発生した情報電荷が蓄積され、Ｇ，Ｒ，Ｇの組では両端のＧに対応する画素に緑の波長成分に応じて発生した情報電荷が蓄積される。列２４−２では、左からＧ，Ｂ，Ｇの組とＢ，Ｇ，Ｂの組とが繰り返し配置され、Ｇ，Ｂ，Ｇの組では両端のＧに対応する画素に緑の波長成分に応じて発生した情報電荷が蓄積され、Ｂ，Ｇ，Ｂの組では両端のＢに対応する画素に青の波長成分に応じて発生した情報電荷が蓄積される。

ここでは、両端以外の画素についてはクロックパルスをオフに維持することによって撮像時に常に情報電荷が基板へ排出されるように制御したが、これに限定されるものでない。例えば、図９に示すように、時刻Ｓ_０においてクロックパルスφ_ｉ２，φ_ｉ８と共にクロックパルスφ_ｉ５を一旦オンとして情報電荷を蓄積し、撮像が終了する時刻Ｓ_１においてクロックパルスφ_ｉ５をオフに戻して情報電荷を排出させることにより、電子的なシャッタ動作を行わせても良い。

時刻Ｔ_２及びＴ_３では、情報電荷の再配列が行われる。１組の画素群において両端の画素のポテンシャル井戸に蓄積された情報電荷が１つのポテンシャル井戸に纏められる。時刻Ｔ_２では、クロックパルスφ_ｉ２，φ_ｉ８に加えて、クロックパルスφ_ｉ３〜φ_ｉ７がオンとされ、転送電極２４−２及び２４−８下のポテンシャル井戸に蓄積されていた情報電荷が加算合成される。続いて、時刻Ｔ_３では、クロックパルスφ_ｉ２，φ_ｉ３，φ_ｉ７，φ_ｉ８がオフとされ、転送電極２４−４〜２４−６の下に形成されたポテンシャル井戸に情報電荷が再配置される。

時刻Ｔ_４以降では、１組の画素群に対して１つのポテンシャル井戸に纏められた情報電荷が転送される。このとき、転送方向に沿って連続する少なくとも２つの転送電極に対して同相のクロックパルスを供給することにより転送が行われる。ここでは、各画素に配置された３つの転送電極の組毎に対して同相のクロックパルスを供給することによって転送が行われる。

本実施の形態では、図７に示すように、クロックパルスφ_ｉ１〜φ_ｉ３，φ_ｉ４〜φ_ｉ６，φ_ｉ７〜φ_ｉ９の組がそれぞれ同相で駆動され、図８に示すように連続して配置されている転送電極２４−１〜２４−３，２４−４〜２４−６，２４−７〜２４−９の組をそれぞれ１つの転送単位として情報電荷が順次転送される。

具体的には、図７に示すように、時刻Ｔ_４ではクロックパルスφ_ｉ１〜φ_ｉ３がオフ、クロックパルスφ_ｉ４〜φ_ｉ９がオンとされ、時刻Ｔ_５ではクロックパルスφ_ｉ１〜φ_ｉ６がオフ、クロックパルスφ_ｉ７〜φ_ｉ９がオンとされる。これによって、図８に示すように、転送電極２４−４〜２４−６下に形成されていたポテンシャル井戸に蓄積されていた情報電荷が転送電極２４−７〜２４−９下に新たに形成されたポテンシャル井戸に転送される。時刻Ｔ_６ではクロックパルスφ_ｉ４〜φ_ｉ６がオフ、クロックパルスφ_ｉ１〜φ_ｉ３及びφ_ｉ７〜φ_ｉ９がオンとされ、時刻Ｔ_７ではクロックパルスφ_ｉ４〜φ_ｉ９がオフ、クロックパルスφ_ｉ１〜φ_ｉ３がオンとされる。これによって、図８に示すように、転送電極２４−７〜２４−９下に形成されていたポテンシャル井戸に蓄積されていた情報電荷が転送電極２４−１〜２４−３下に新たに形成されたポテンシャル井戸に転送される。同様に、１画素に配置された転送電極の組毎に同相のクロックパルスを印加していくことによって情報電荷を順次転送することができる。他の列についても同様に転送が行われる。また、蓄積部１０ｓにおいても同様にクロックパルスφ_ｓ１〜φ_ｓ９を印加することにより情報電荷を垂直転送方向に転送することができる。

このように、転送時において、複数の転送電極を１組として制御を行うことによって、撮像部１０ｉの画像信号を垂直転送方向に圧縮して高速に転送することができる。例えば、本実施の形態のように３つの転送電極を１組に纏めて制御した場合、フレーム転送時間Ｔｆを従来に比べて約１／３に短縮することができる。圧縮を行わない従来のフレーム転送時間Ｔｆが０．４５秒であったとすると本実施の形態のように圧縮を行った場合にはフレーム転送時間Ｔｆを約０．１５秒に短縮することができる。

そうすると、４つの画像フレームを手ぶれの補正処理に供する場合、図１０に示すように、シャッタスピードＴｓが１／６０（０．０１７）秒、及び、電子シャッタ等の猶予期間Ｔｂが０．０２秒である場合、４つの画像フレームを撮像するための時間Ｔｔは４×０．０１７＋３×（０．１５＋０．０２）≒約０．５８秒となる。したがって、手ぶれの度合いを検出する処理に供される複数の画像フレームの画像信号を０．６秒以内に撮像することができる。

また、撮像時にオンさせる転送電極をフレーム毎に変更することも好ましい。例えば、本実施の形態のように垂直転送方向に沿って連続する３つの画素を一組とした場合、撮像時に情報電荷を蓄積させる画素を撮像毎に変更する。具体的には、４つの画像フレームを手ぶれ補正処理に供する場合、第１番目の画像フレームを撮像する場合には、図１１（ａ）に示すように、転送電極２４−４〜２４−６に対応する画素のみオフ又は電子シャッタ動作により情報電荷を蓄積させず、転送電極２４−１〜２４−３に蓄積された情報電荷と転送電極２４−７〜２４−９に蓄積された情報電荷を加算合成して転送する。第２番目の画像フレームを撮像する場合には、図１１（ｂ）に示すように、転送電極２４−１〜２４−３に対応する画素のみオフ又は電子シャッタ動作により情報電荷を蓄積させず、隣の組の転送電極２４−７〜２４−９に蓄積された情報電荷と転送電極２４−４〜２４−６に蓄積された情報電荷を加算合成して転送する。第３番目の画像フレームを撮像する場合には、図１１（ｃ）に示すように、転送電極２４−７〜２４−９に対応する画素のみオフ又は電子シャッタ動作により情報電荷を蓄積させず、転送電極２４−４〜２４−６に蓄積された情報電荷と隣の組の転送電極２４−１〜２４−３に蓄積された情報電荷を加算合成して転送する。そして、手ぶれ補正処理に供される最後の画像フレーム、すなわち第４番目の画像フレームの画像信号に対する転送時間は問題にならないので加算合成による圧縮処理を行わずにフル画面の画像信号として撮像及び転送を行う。

このように、垂直方向に画像信号を圧縮する際に情報電荷を間引く画素を画像フレーム毎に変更することによって、後述する手ぶれ補正処理において補間処理される画素の位置を空間的に平均化することができる。したがって、手ぶれ補正処理における画像の劣化を低減することができる。

もちろん、手ぶれ補正処理に供する画像フレームの数は４でなくともよい。手ぶれ補正処理に供する画素フレームの数及び手ぶれ補正処理に供する画素フレームを撮像するべき総時間Ｔｔに応じて、情報電荷を間引く画素の位置、圧縮する画像フレームの数と圧縮しない画像フレームの数との比を調整することが好適である。

また、本実施の形態では、連続する９つの転送電極２４−１〜２４−９を１つの組として、転送電極２４−１〜２４−９の各々に対して異なるクロックパルスを供給することによって撮像部１０ｉにおける撮像（情報電荷の蓄積）及び情報電荷の転送を制御したが、もちろん従来と同様に情報電荷を圧縮せずに転送することも可能である。すなわち、１つの画素に対応する転送電極２４−１〜２４−３，２４−４〜２４−６，２４−７〜２４−９をそれぞれ１組として転送電極２４−１，２４−４，２４−７と転送電極２４−２，２４−５，２４−８と転送電極２４−３，２４−６，２４−９とをそれぞれ同相のクロックパルスで制御することもできる。連続する複数の画素に跨る転送電極を１組とした制御と１つの画素に対応する転送電極を１組とした制御とを切り替えることによって、手ぶれ補正処理を行う場合と手ぶれ補正処理を行わない場合とで撮影及び転送を切り換えることができる。

なお、上記実施の形態では９つの転送電極を１組として、異なる９つのクロックパルスを供給することにより制御を行ったが、これに限定されるものではない。例えば、制御可能なクロックパルスの数を増やすことによって、より圧縮された画像をより高速に転送することも可能である。また、上記実施の形態では、同一の波長成分に対応する２つの画素を加算合成して圧縮された画像を得たが、例えば、９つの転送電極を１組とする３画素について、２画素に蓄積された情報電荷を排出し、残りの１画素の情報電荷を転送して圧縮された画像を得てもよい。

＜手ぶれ補正処理＞
次に、画像信号処理部１４における手ぶれ補正処理について説明する。手ぶれ補正処理は、図１２に示すフローチャートに沿って実行される。手ぶれ補正処理は、処理に供される複数の画像フレームに含まれる画像の特徴部分を抽出し、複数の画像フレーム間において特徴部分の位置を比較して各画像フレームにおける位置ずれ量を求め、各画像フレームにおける位置ずれ量を補正して複数の画像フレームを加算合成することによって実現される。

例えば、図１３に示すように、垂直方向に沿って連続して配置された３つの画素を組として、各組の情報電荷が加算合成されることによって圧縮された画像信号が出力された場合について説明する。

ステップＳ１０では、圧縮された画像フレームの各画素の出力値に基づいて水平方向にフィルタリングが行われ、各画素に対する赤（Ｒ），緑（Ｇ），青（Ｂ）の各波長成分が算出される。圧縮された画像フレームに含まれる画素を順次算出対象となる着目画素として選択し、着目画素から水平方向（行方向）に所定の範囲内に存在する画素に対してフィルタリング係数を乗算し、乗算結果の平均値を算出することによって着目画素に対する各波長成分が算出される。フィルタリング処理は、手ぶれ補正処理に供される複数の画像フレームのうち圧縮された画像フレームの総てに対して行われる。

例えば、水平方向に沿って連続する３画素を処理対象としてフィルタリングを行う場合、第ｎ行目第ｍ列目の画素（ｎ，ｍ）を着目画素とすると、画素（ｎ，ｍ）に対する赤（Ｒ）の波長成分Ｒｈ_ｎ，ｍは、Ｒｈ_ｎ，ｍ＝（α×ｒ_{ｎ，ｍ−１}＋β×ｒ_ｎ，ｍ＋γ×ｒ_{ｎ，ｍ＋１}）／βで算出することができる。ここで、（α，β，γ）はフィルタ係数であり、α＝β／２及びγ＝β／２とする。ｒ_ｉｊは画素（ｉ，ｊ）における出力信号の赤（Ｒ）の波長成分である。同様に、画素（ｎ，ｍ）に対する緑（Ｇ）の波長成分Ｇｈ_ｎ，ｍは、Ｇｈ_ｎ，ｍ＝（α×ｇ_{ｎ，ｍ−１}＋β×ｇ_ｎ，ｍ＋γ×ｇ_{ｎ，ｍ＋１}）／βで算出することができる。ここで、ｇ_ｉｊは画素（ｉ，ｊ）における出力信号の緑（Ｇ）の波長成分である。また、画素（ｎ，ｍ）に対する青（Ｂ）の波長成分Ｂｈ_ｎ，ｍは、Ｂｈ_ｎ，ｍ＝（α×ｂ_{ｎ，ｍ−１}＋β×ｂ_ｎ，ｍ＋γ×ｂ_{ｎ，ｍ＋１}）／βで算出することができる。ここで、ｂ_ｉｊは画素（ｉ，ｊ）における出力信号の青（Ｂ）の波長成分である。

具体的に、フィルタ係数（α，β，γ）＝（１，２，１）とした場合について説明する。赤（Ｒ）と緑（Ｇ）の情報電荷が交互に配置された第３行目において画素（３，２）を着目画素とする。着目画素（３，２）に対する赤（Ｒ）の波長成分Ｒｈ_３，２はＲｈ_３，２＝（１×ｒ_３，１＋２×ｒ_３，２＋１×ｒ_３，３）／２＝（ｒ_３，１＋ｒ_３，３）／２となる。すなわち、着目画素（３，２）における赤（Ｒ）の波長成分ｒ_３，２は０なので、着目画素（３，２）に隣接する画素（３，１）及び画素（３，３）における赤（Ｒ）の波長成分に対応する出力値ｒ_３，１，ｒ_３，３の平均値が着目画素（３，２）に対する赤（Ｒ）の波長成分Ｒｈ_３，２とされる。着目画素（３，２）に対する緑（Ｇ）の波長成分Ｇｈ_２，３はＧｈ_２，３＝（１×ｇ_２，２＋２×ｇ_２，３＋１×ｇ_２，４）／２＝ｇ_２，３となる。すなわち、着目画素（３，２）に隣接する画素（３，１）及び画素（３，３）における緑（Ｇ）の波長成分に対応する出力値ｇ_３，１，ｇ_３，３は０なので、着目画素（３，２）における緑（Ｇ）の波長成分ｇ_３，２が着目画素（３，２）に対する緑（Ｇ）の波長成分Ｇｈ_２，３とされる。青（Ｂ）の波長成分Ｂｈ_２，３はＢｈ_２，３＝（１×ｂ_２，２＋２×ｂ_２，３＋１×ｂ_２，４）／２＝０となる。すなわち、フィルタリングの対象となる画素（３，１），画素（３，２），画素（３，３）の総てにおいて青（Ｂ）の波長成分に対応する出力値ｂ_３，１，ｂ_３，２，ｂ_３，３は０なので、着目画素（３，２）に対する青（Ｂ）の波長成分Ｂｈ_２，３も０とされる。他の画素についても同様に処理される。

水平方向へのフィルタリングによって、図１４に示すように、赤（Ｒ）と緑（Ｇ）の波長成分ｒ，ｇが交互に出力された行（例えば、第３行目）については各画素に対する赤（Ｒ）と緑（Ｇ）の波長成分Ｒｈ，Ｇｈが算出され、緑（Ｇ）と青（Ｂ）の波長成分ｇ，ｂが交互に出力された行については各画素に対する緑（Ｇ）と青（Ｂ）の波長成分Ｇｈ，Ｂｈが算出される。

なお、ステップＳ１０におけるフィルタリングはこれに限定されるものではなく、さらに多くの画素の画素値、例えば着目画素から水平方向に５画素分の画素値、を用いてフィルタリングを行う等してもよい。また、フィルタ係数も適宜調整することが好ましい。

ステップＳ１２では、圧縮された画像フレームの各画素の出力値に基づいて垂直方向にフィルタリングが行われ、各画素に対する赤（Ｒ），緑（Ｇ），青（Ｂ）の各波長成分が算出される。圧縮された画像フレームに含まれる画素を順次算出対象となる着目画素として選択し、着目画素から垂直方向（列方向）に所定の範囲内に存在する画素に対してフィルタリング係数を乗算し、乗算結果の平均値を算出することによって着目画素に対する各波長成分が算出される。フィルタリング処理は、手ぶれ補正処理に供される複数の画像フレームのうち圧縮された画像フレームの総てに対して行われる。

フィルタリングは、各着目画素の総ての波長成分について行われる。すなわち、既に赤（Ｒ）の波長成分Ｒｈ及び緑（Ｇ）の波長成分Ｇｈが算出されている画素については、赤（Ｒ）及び緑（Ｇ）の波長成分について垂直方向へのフィルタリングを行うことでランダムノイズの平均化を行うと共に、未だ算出されていない青（Ｂ）の波長成分を算出する。同様に、既に緑（Ｇ）の波長成分Ｇｈ及び青（Ｂ）の波長成分Ｂｈが算出されている画素については、緑（Ｇ）及び青（Ｂ）の波長成分について垂直方向へのフィルタリングを行うことでランダムノイズの平均化を行うと共に、未だ算出されていない赤（Ｒ）の波長成分を算出する。

垂直方向に沿って連続する７画素を処理対象としてフィルタリングを行う場合、第ｎ行目第ｍ列目の画素（ｎ，ｍ）を着目画素とすると、画素（ｎ，ｍ）に対する赤（Ｒ）の波長成分Ｒ_ｎ，ｍは、Ｒ_ｎ，ｍ＝（δ×Ｒｈ_{ｎ−３，ｍ}＋ε×Ｒｈ_ｎ，ｍ＋ζ×Ｒｈ_{ｎ＋３，ｍ}）／（δ＋ε＋ζ）／２で算出することができる。ここで、（δ，ε，ζ）はフィルタ係数であり、δ＝ζとする。Ｒｈ_ｉｊは画素（ｉ，ｊ）における水平方向にフィルタリングされた赤（Ｒ）の波長成分である。同様に、画素（ｎ，ｍ）に対する緑（Ｇ）の波長成分Ｇ_ｎ，ｍは、Ｇ_ｎ，ｍ＝（δ×Ｇｈ_{ｎ−３，ｍ}＋ε×Ｇｈ_ｎ，ｍ＋ζ×Ｇｈ_{ｎ＋３，ｍ}）／（δ＋ε＋ζ）で算出することができる。ここで、Ｇｈ_ｉｊは画素（ｉ，ｊ）における水平方向にフィルタリングされた緑（Ｇ）の波長成分である。また、画素（ｎ，ｍ）に対する青（Ｂ）の波長成分Ｂ_ｎ，ｍは、Ｂ_ｎ，ｍ＝（δ×Ｂｈ_{ｎ−３，ｍ}＋ε×Ｂｈ_ｎ，ｍ＋ζ×Ｂｈ_{ｎ＋３，ｍ}）／（δ＋ε＋ζ）／２で算出することができる。ここで、Ｂｈ_ｉｊは画素（ｉ，ｊ）における水平方向にフィルタリングされた青（Ｂ）の波長成分である。

具体的に、フィルタ係数（δ，ε，ζ）＝（１，２，１）とした場合について説明する。第６列目において着目画素（６，１）とすると、着目画素（６，１）に対する赤（Ｒ）の波長成分Ｒ_６，１はＲ_６，１＝（Ｒｈ_３，１＋Ｒｈ_９，１）／２となる。すなわち、着目画素（６，１）における赤（Ｒ）の波長成分Ｒｈ_６，１は０なので、画素（３，１）及び画素（９，１）における赤（Ｒ）の波長成分Ｒｈ_３，１，Ｒｈ_９，１の平均値が着目画素（６，１）に対する赤（Ｒ）の波長成分Ｒ_６，１とされる。他の画素についても同様に、緑（Ｇ）の波長成分Ｇ_６，１はＧ_６，１＝（Ｇｈ_３，１＋２×Ｇｈ_６，１＋Ｇｈ_９，１）／４とされ、青（Ｂ）の波長成分Ｂ_６，１はＢ_６，１＝Ｂｈ_６，１とされる。

垂直方向へのフィルタリングによって、図１５に示すように、複数の画素の組に対してそれぞれ赤（Ｒ），緑（Ｇ），青（Ｂ）の波長成分Ｒ，Ｇ，Ｂが求められると共に、ランダムノイズの平均化を行うことができる。

なお、ステップＳ１２におけるフィルタリングはこれに限定されるものではなく、さらに多くの画素の画素値、例えば着目画素から垂直方向に１３画素分の画素値、を用いてフィルタリングを行う等してもよい。また、フィルタ係数も適宜調整することが好ましい。また、ステップＳ１２の垂直方向へのフィルタリングの後、ステップＳ１０の水平方向へのフィルタリングを行ってもよい。

ステップＳ１４では、圧縮された画像フレームを全画素（フル画像）の画像フレームに変換する補間処理が行われる。すなわち、圧縮により値を持たない画素に対して近傍の画素の各波長成分に基づいて補間処理が行われる。このとき、補間値の算出対象とする画素からの距離に応じた重み付けを考慮した線形補間処理を行うことが好ましい。補間処理は、手ぶれ補正処理に供される複数の画像フレームのうち圧縮された画像フレームの総てに対して行われる。

例えば、図１５に示すように３行置きに画素（３ｐ，ｑ）が画素値を有する場合、画素（３ｐ−１，ｑ）に対する赤の波長成分に対する補間値Ｒ_{３ｐ−１，ｑ}は、Ｒ_{３ｐ−１，ｑ}＝（ζ×Ｒ_{３ｐ−３，ｑ}＋η×Ｒ_３ｐ，ｑ）／（ζ＋η）として算出することができる。また、画素（３ｐ＋１，ｑ）に対する赤の波長成分に対する補間値Ｒ_{３ｐ＋１，ｑ}は、Ｒ_{３ｐ＋１，ｑ}＝（η×Ｒ_３ｐ，ｑ＋ζ×Ｒ_{３ｐ＋３，ｑ}）／（ζ＋η）として算出することができる。他の波長成分についても同様に補間することができる。ここで、ｐ，ｑは任意の整数、（ζ，η）は補間処理の重み係数である。

具体的に、図１５のようにフィルタリングされた画像フレームに対して重み係数（ζ，η）＝（１，２）として補間処理する場合について説明する。画素値を有さない画素（４，１）に対する赤（Ｒ）の波長成分Ｒ_４，１は、ｐ＝１として、Ｒ_４，１＝Ｒ_{３ｐ＋１，１}＝（２×Ｒ_３，１＋１×Ｒ_６，１）／３と補間される。同様に、緑（Ｇ）の波長成分Ｇ_４，１＝Ｇ_{３ｐ＋１，１}＝（２×Ｇ_３，１＋１×Ｇ_６，１）／３、青（Ｂ）の波長成分Ｂ_４，１＝Ｂ_{３ｐ＋１，１}＝（２×Ｂ_３，１＋１×Ｂ_６，１）／３と補間することができる。画素値を有さない画素（５，１）に対する赤（Ｒ）の波長成分Ｒ_５，１は、ｐ＝２として、Ｒ_５，１＝Ｒ_{３ｐ−１，１}＝（１×Ｒ_３，１＋２×Ｒ_６，１）／３と補間される。同様に、緑（Ｇ）の波長成分Ｇ_５，１＝Ｇ_{３ｐ−１，１}＝（１×Ｇ_３，１＋２×Ｇ_６，１）／３、青（Ｂ）の波長成分Ｂ_５，１＝Ｂ_{３ｐ−１，１}＝（１×Ｂ_３，１＋２×Ｂ_６，１）／３と補間することができる。

各波長成分（画素値）を有さない総ての画素について補間処理を行うことによって、圧縮された画像フレームから全画素（フル画像）の画像フレームを得ることができる。

ステップＳ１６では、複数の画像フレームに基づいて手ぶれ補正処理が行われる。手ぶれ補正処理には、特開２００１−２４９３３号公報等に記載された既存の処理を適用することができる。

例えば、複数の画像フレームの各々から高輝度領域等の特徴領域を抽出し、抽出された特徴領域の位置の変化に基づいて各画像フレーム間における相対的な位置ずれ量を求め、位置ずれ量に基づいて各画像フレームの画像信号を位置補正して加算合成することによって手ぶれを補正することができる。

また、各画像フレームを８×８画素や１６×１６画素のブロックに分割し、探索範囲を決めてブロックマッチングを行うことによって位置ずれ量を求めることもできる。各画像フレームに対して他の画像フレームに対する相対的な位置ずれ量を求め、各画像フレームの画像信号を位置補正することによって手ぶれを補正することができる。

以上のように、圧縮された画像フレームに対してフィルタリング及び補間処理による伸張処理を施して全画素の画像フレームに戻して手ぶれ補正処理を行うことができる。これによって、垂直転送時間を短縮し、手ぶれ補正処理を適切に行うことが可能となる。なお、圧縮された画像フレームに対する伸張処理はフィルタリングと補間処理との組み合わせに限られるものではなく、固体撮像素子の駆動方法等に応じて適宜変更することができる。

＜画像信号の水平圧縮転送＞
上記のように垂直方向に圧縮された画像信号を用いて手ぶれ補正処理を行うことができるが、画像信号を水平方向に圧縮して出力することによってさらに撮像に掛かる時間を短縮することもできる。

図１６は、蓄積部１０ｓの出力側から水平転送部１０ｈへの接続部の素子内部の平面図である。また、図１７及び図１８は、図１６におけるラインＥ−Ｅ及びラインＦ−Ｆに沿った断面図である。

水平転送部１０ｈは、蓄積部１０ｓの垂直シフトレジスタから出力される情報電荷を受けて転送する水平シフトレジスタを含んで構成される。水平シフトレジスタは、チャネル領域３２、水平転送電極３４−１〜３４−１２等から構成される。

チャネル領域３２は、蓄積部１０ｓの垂直シフトレジスタから延伸された分離領域２０と蓄積部１０ｓと対向して設けられたＰ型拡散層である水平分離領域３６とにより垂直シフトレジスタの延伸方向に対して直交する方向に区画される。垂直シフトレジスタのチャネル領域２２と水平シフトレジスタのチャネル領域３２は延伸された分離領域２０の間隙を介して接続される。

また、基板表面にＮ型の不純物を添加することによって、水平分離領域３６を挟むようにしてチャネル領域３２と平行に排出チャネル領域３７が形成される。さらに、チャネル領域３２と排出チャネル領域３７とを接続するようにチャネル領域３２の垂直方向に向けてＮ型の不純物が添加された排出チャネル３８が形成される。排出チャネル３８はチャネル領域３２に連続するように形成される。また、排出チャネル３８は、連続して並列に並んだ３列のチャネル領域２２毎に３列のチャネル領域２２のうち１列を垂直方向に延伸させるように設けられる。

排出チャネル３８の出力側には高濃度のＮ型の拡散領域である排出領域４０が形成される。排出領域４０は、排出チャネル領域３７に沿って延伸するように設けられる。排出領域４０には、排出電圧Ｖｄが印加される。

図１７及び図１８に示すように、分離領域２０、チャネル領域２２，３２、排出チャネル領域３７、排出チャネル３８及び排出領域４０上には絶縁膜４２が形成される。水平転送電極３４−１〜３４−１２は、絶縁膜４２上に互いに電気的に絶縁された状態で配置される。奇数列の水平転送電極３４−１，３４−３，３４−５，３４−７，３４−９，３４−１１が下層側に設けられ、偶数列の水平転送電極３４−２，３４−４，３４−６，３４−８，３４−１０，３４−１２が上層側に設けられる。

水平転送電極３４−１，３４−５，３４−９は、分離領域２０と水平分離領域３６との間を跨るようにチャネル領域３２上を覆うように設けられる。水平転送電極３４−３，３４−１１は、チャネル領域２２の延伸方向に向けて、チャネル領域２２と水平分離領域３６との間を跨るようにチャネル領域３２上を覆うように設けられる。また、水平転送電極３４−７は、チャネル領域２２の延伸方向に向けて、チャネル領域２２，３２、排出チャネル３８及び排出チャネル領域３７上を覆うように設けられる。水平転送電極３４−７は、水平転送電極３４−３，３４−１１よりも垂直方向に延伸して形成される。

水平転送電極３４−２，３４−４，３４−６，３４−８，３４−１０，３４−１２は、下層側の水平転送電極３４−１，３４−３，３４−５，３４−７，３４−９，３４−１１の間隙を覆い、その一部が下層側の水平転送電極３４−１，３４−３，３４−５，３４−７，３４−９，３４−１１と絶縁膜を介して重なり合うようにしてチャネル領域３２上を覆うように配置される。

さらに、排出チャネル領域３７上には絶縁膜４２を介して排出電極３５が形成される。排出電極は、水平分離領域３６，水平転送電極３４−７と排出領域４０との間を跨るように排出チャネル領域３７の延伸方向に沿って形成される。排出電極３５には垂直クロックパルスφ_ｓ１〜φ_ｓ９に同期した排出クロックパルスφｔが印加される。

水平転送電極３４−１〜３４−１２には６相の水平クロックパルスφ_ｈ１〜φ_ｈ６が印加される。より具体的には、水平転送電極３４−１，３４−２には水平クロックパルスφ_ｈ１、水平転送電極３４−３，３４−４には水平クロックパルスφ_ｈ２、水平転送電極３４−５，３４−６には水平クロックパルスφ_ｈ３、水平転送電極３４−７，３４−８には水平クロックパルスφ_ｈ４、水平転送電極３４−９，３４−１０には水平クロックパルスφ_ｈ５、水平転送電極３４−１１，３４−１２には水平クロックパルスφ_ｈ６が印加される。

図１９に水平転送時における垂直クロックパルスφ_ｓ７〜φ_ｓ９、水平クロックパルスφ_ｈ１〜φ_ｈ６の変化を示すタイミングチャートを示す。図２０は、図１９の各時点における水平転送電極３４−１〜３４−１２下におけるチャネル領域３２のポテンシャルの変化及び情報電荷の転送の様子を示す模式図である。

時刻Ｈ_０では、蓄積部１０ｓの垂直シフトレジスタにおける最も出力側に位置する転送電極２４−７〜２４−９に印加された垂直クロックパルスφ_ｓ７〜φ_ｓ９がオンとなり、転送電極２４−７〜２４−９下にポテンシャル井戸５０が形成される。このとき、水平クロックパルスφ_ｈ１〜φ_ｈ６は総てオフとされてチャネル領域３２にはポテンシャル井戸は形成されない。ポテンシャル井戸５０には、垂直方向に加算合成された情報電荷が蓄積される。

時刻Ｈ_１では、水平クロックパルスφ_ｈ２，φ_ｈ４，φ_ｈ６がオンされ、水平転送電極３４−３，３４−７，３４−１１下のチャネル領域３２にポテンシャル井戸５２が形成される。続いて、時刻Ｈ_２では、垂直クロックパルスφ_ｓ７〜φ_ｓ９がオフされる。これによって、転送電極２４−７〜２４−９下のポテンシャル井戸５０に蓄積されていた情報電荷が水平転送電極３４−３，３４−７，３４−１１下のポテンシャル井戸５２に出力される。

時刻Ｈ_３では、排出電極３５に印加された排出クロックパルスφｔがオンされる。これによって、水平転送電極３４−７下のポテンシャル井戸５２に蓄積されていた情報電荷は、排出チャネル３８，排出チャネル領域３７を介して、排出領域４０に排出される。

時刻Ｈ_４〜Ｈ_５では、水平転送電極３４−３，３４−１１下のポテンシャル井戸５２に存在する情報電荷が水平方向に加算合成される。撮像部１０には、図５に示すように、水平方向に向けて緑（Ｇ）と青（Ｂ）の波長領域に対応する情報電荷が交互に蓄えられた行と、赤（Ｒ）と緑（Ｇ）の波長領域に対応する情報電荷が交互に蓄えられた行とが垂直方向に交互に配置されている。すなわち、図２２に示すように、緑（Ｇ）と青（Ｂ）の波長領域に対応する情報電荷が交互に蓄えられた行では、左からＧ，Ｂ，Ｇの組とＢ，Ｇ，Ｂの組とが繰り返し配置され、Ｇ，Ｂ，Ｇの組では両端のＧに対応する画素に緑の波長成分に応じて発生した情報電荷が加算合成され、Ｂ，Ｇ，Ｂの組では両端のＢに対応する画素に青の波長成分に応じて発生した情報電荷が加算合成されることになる。また、図２３に示すように、赤（Ｒ）と緑（Ｇ）の波長領域に対応する情報電荷が交互に蓄えられた行では、左からＲ，Ｇ，Ｒの組とＧ，Ｒ，Ｇの組とが繰り返し配置され、Ｒ，Ｇ，Ｒの組では両端のＲに対応する画素に赤の波長成分に応じて発生した情報電荷が加算合成され、Ｇ，Ｒ，Ｇの組では両端のＧに対応する画素に緑の波長成分に応じて発生した情報電荷が加算合成されることになる。

時刻Ｈ_６以降では、水平方向に加算合成された情報電荷がチャネル領域３２に沿って水平方向に転送される。水平転送された情報電荷は出力部１０ｄへ出力され、情報電荷量に応じたＣＣＤ出力信号として出力される。このとき、連続して配置された４つの水平転送電極３４を組として、組とした水平転送電極３４に同位相の水平クロックパルスを印加することによって情報電荷の水平転送が行われる。例えば、本実施の形態では、水平転送電極３４−１〜３４−４，３４−５〜３４−８，３４−９〜３４−１２がそれぞれ組とされ、それぞれの組に含まれる水平転送電極３４には同位相の水平クロックパルスを印加し、異なる組には互いに異なる位相の水平クロックパルスを印加することによって情報電荷の水平転送を行う。

このように、水平転送時においても情報電荷を水平方向に加算合成することによって、水平方向にも画像信号を圧縮して転送することができる。これによって、垂直方向への情報電荷の転送時間のみならず、水平方向への情報電荷の転送時間も従来の約１／３に短縮することができる。

また、水平方向についても、垂直方向と同様に、情報電荷を排出させる画素の位置をフレーム毎に変更することも好ましい。すなわち、図２４（ａ）〜（ｃ）に示すように、排出領域４０に情報電荷を抜く列を画像フレーム毎に変更することが好適である。

第１番目の画像フレームについては、図２０及び図２４（ａ）に示すように、転送電極２４−７〜２４−９下のポテンシャル井戸５０に蓄積されていた情報電荷を水平転送電極３４−３，３４−７，３４−１１下のポテンシャル井戸５２に出力した後、そのまま、排出電極３５に印加された排出クロックパルスφｔをオンさせることによって、第３ｋ＋２列目（ｋは、０又は自然数）に対応する情報電荷を排出させる。その後、第３ｋ＋１列目と第３ｋ＋３列目の情報電荷を加算合成させて出力する。

第２番目の画像フレームについては、図２０及び図２４（ｂ）に示すように、転送電極２４−７〜２４−９下のポテンシャル井戸５０に蓄積されていた情報電荷を水平転送電極３４−３，３４−７，３４−１１下のポテンシャル井戸５２に出力し、１列分だけ出力部１０ｄ方向へ情報電荷を水平転送した後、そのまま、排出電極３５に印加された排出クロックパルスφｔをオンさせることによって、第３ｋ＋３列目（ｋは、０又は自然数）に対応する情報電荷を排出させる。その後、第３ｋ＋２列目と第３ｋ＋４列目の情報電荷を加算合成させて出力する。

第３番目の画像フレームについては、図２０及び図２４（ｃ）に示すように、転送電極２４−７〜２４−９下のポテンシャル井戸５０に蓄積されていた情報電荷を水平転送電極３４−３，３４−７，３４−１１下のポテンシャル井戸５２に出力し、２列分だけ出力部１０ｄ方向へ情報電荷を水平転送した後、そのまま、排出電極３５に印加された排出クロックパルスφｔをオンさせることによって、第３ｋ＋４列目（ｋは、０又は自然数）に対応する情報電荷を排出させる。その後、第３ｋ＋３列目と第３ｋ＋５列目の情報電荷を加算合成させて出力する。

なお、水平方向に圧縮された画像信号を用いて手ぶれ補正処理を行う場合には、垂直方向に圧縮された画像信号に対する垂直補間処理と同様に、水平方向に圧縮された画像信号に対して水平補間処理を行えばよい。水平補間処理は、画像信号処理部１４において行われる。

まず、画像フレームの出力値に基づいて垂直方向にフィルタリングが行われ、各画素に対する赤（Ｒ），緑（Ｇ），青（Ｂ）の各波長成分が算出される。圧縮された画像フレームに含まれる画素を順次算出対象となる着目画素として選択し、着目画素から垂直方向（列方向）に所定の範囲内に存在する画素に対してフィルタリング係数を乗算し、乗算結果の平均値を算出することによって着目画素に対する各波長成分が算出される。フィルタリング処理は、手ぶれ補正処理に供される複数の画像フレームのうち圧縮された画像フレームの総てに対して行われる。フィルタリング処理としては、既に説明したような方法を用いることができる。

垂直方向へのフィルタリングによって、図２５のように赤（Ｒ）と緑（Ｇ）の波長成分ｒ，ｇが交互に出力された行（例えば、第１行目）については、図２６に示すように各画素に対する赤（Ｒ）と緑（Ｇ）の波長成分Ｒｖ，Ｇｖが算出され、図２５のように緑（Ｇ）と青（Ｂ）の波長成分ｇ，ｂが交互に出力された行（例えば、第２行目）については、図２６に示すように各画素に対する緑（Ｇ）と青（Ｂ）の波長成分Ｇｖ，Ｂｖが算出される。

次に、圧縮された画像フレームの各画素の出力値に基づいて水平方向にフィルタリングが行われ、各画素に対する赤（Ｒ），緑（Ｇ），青（Ｂ）の各波長成分が算出される。圧縮された画像フレームに含まれる画素を順次算出対象となる着目画素として選択し、着目画素から水平方向（行方向）に所定の範囲内に存在する画素に対してフィルタリング係数を乗算し、乗算結果の平均値を算出することによって着目画素に対する各波長成分が算出される。フィルタリング処理は、手ぶれ補正処理に供される複数の画像フレームのうち圧縮された画像フレームの総てに対して行われる。

フィルタリングは、各着目画素の総ての波長成分について行われる。すなわち、既に赤（Ｒ）の波長成分Ｒｖ及び緑（Ｇ）の波長成分Ｇｖが算出されている画素については、赤（Ｒ）及び緑（Ｇ）の波長成分について水平方向へのフィルタリングを行うことでランダムノイズの平均化を行うと共に、未だ算出されていない青（Ｂ）の波長成分を算出する。同様に、既に緑（Ｇ）の波長成分Ｇｖ及び青（Ｂ）の波長成分Ｂｖが算出されている画素については、緑（Ｇ）及び青（Ｂ）の波長成分について水平方向へのフィルタリングを行うことでランダムノイズの平均化を行うと共に、未だ算出されていない赤（Ｒ）の波長成分を算出する。

水平方向に沿って連続する７画素を処理対象としてフィルタリングを行う場合、第ｒ行目第ｑ列目の画素（ｒ，ｑ）を着目画素とすると、画素（ｒ，ｑ）に対する赤（Ｒ）の波長成分Ｒ_ｒ，ｑは、Ｒ_ｒ，ｑ＝（κ×Ｒｖ_{ｒ，ｑ−３}＋λ×Ｒｖ_ｒ，ｑ＋μ×Ｒｖ_{ｒ，ｑ＋３}）／（κ＋λ＋μ）／２で算出することができる。ここで、（κ，λ，μ）はフィルタ係数であり、κ＝μとする。Ｒｖ_ｉｊは画素（ｉ，ｊ）における水平方向にフィルタリングされた赤（Ｒ）の波長成分である。同様に、画素（ｒ，ｑ）に対する緑（Ｇ）の波長成分Ｇ_ｒ，ｑは、Ｇ_ｒ，ｑ＝（κ×Ｇｖ_{ｒ，ｑ−３}＋λ×Ｇｖ_ｒ，ｑ＋μ×Ｇｖ_{ｒ，ｑ＋３}）／（κ＋λ＋μ）で算出することができる。ここで、Ｇｖ_ｉｊは画素（ｉ，ｊ）における水平方向にフィルタリングされた緑（Ｇ）の波長成分である。また、画素（ｒ，ｑ）に対する青（Ｂ）の波長成分Ｂ_ｒ，ｑは、Ｂ_ｒ，ｑ＝（κ×Ｂｖ_{ｒ，ｑ−３}＋λ×Ｂｖ_ｒ，ｑ＋μ×Ｂｖ_{ｒ，ｑ＋３}）／（κ＋λ＋μ）／２で算出することができる。ここで、Ｂｖ_ｉｊは画素（ｉ，ｊ）における水平方向にフィルタリングされた青（Ｂ）の波長成分である。

水平方向へのフィルタリングによって、図２７に示すように、複数の画素の組に対してそれぞれ赤（Ｒ），緑（Ｇ），青（Ｂ）の波長成分Ｒ，Ｇ，Ｂが求められると共に、ランダムノイズの平均化を行うことができる。

また、上記のように、さらに水平方向への圧縮について補間をさらに行ってもよい。各フィルタリング処理を実行した後、各波長成分（画素値）を有さない総ての画素について補間処理を行うことによって、圧縮された画像フレームから全画素（フル画像）の画像フレームを得ることができる。

なお、図１１（ａ）〜（ｃ）に示すように、撮像時にオンさせる転送電極をフレーム毎に変更する場合、図１１（ａ）〜（ｃ）のような垂直方向への情報電荷の加算合成と、図２４（ａ）〜（ｃ）のような水平方向への情報電荷の加算合成と、をそれぞれ組み合わた圧縮処理を順に実行することもできる。

例えば、第１番目の画像フレームを撮像する場合には、図１１（ａ）に示すように、転送電極２４−４〜２４−６に対応する画素のみオフ又は電子シャッタ動作により情報電荷を蓄積させず、転送電極２４−１〜２４−３に蓄積された情報電荷と転送電極２４−７〜２４−９に蓄積された情報電荷を加算合成して垂直転送し、図２４（ａ）に示すように、第３ｋ＋２列目（ｋは、０又は自然数）に対応する情報電荷を排出させると共に、第３ｋ＋１列目と第３ｋ＋３列目の情報電荷を加算合成させて出力する。第２番目の画像フレームを撮像する場合には、図１１（ｂ）に示すように、転送電極２４−１〜２４−３に対応する画素のみオフ又は電子シャッタ動作により情報電荷を蓄積させず、隣の組の転送電極２４−７〜２４−９に蓄積された情報電荷と転送電極２４−４〜２４−６に蓄積された情報電荷を加算合成して垂直転送し、図２４（ａ）に示すように、第３ｋ＋２列目（ｋは、０又は自然数）に対応する情報電荷を排出させると共に、第３ｋ＋１列目と第３ｋ＋３列目の情報電荷を加算合成させて出力する。第３番目の画像フレームを撮像する場合には、図１１（ｃ）に示すように、転送電極２４−７〜２４−９に対応する画素のみオフ又は電子シャッタ動作により情報電荷を蓄積させず、転送電極２４−４〜２４−６に蓄積された情報電荷と隣の組の転送電極２４−１〜２４−３に蓄積された情報電荷を加算合成して垂直転送し、図２４（ａ）に示すように、第３ｋ＋２列目（ｋは、０又は自然数）に対応する情報電荷を排出させると共に、第３ｋ＋１列目と第３ｋ＋３列目の情報電荷を加算合成させて出力する。

第４番目の画像フレームを撮像する場合には、図１１（ａ）に示すように、転送電極２４−４〜２４−６に対応する画素のみオフ又は電子シャッタ動作により情報電荷を蓄積させず、転送電極２４−１〜２４−３に蓄積された情報電荷と転送電極２４−７〜２４−９に蓄積された情報電荷を加算合成して垂直転送し、図２４（ｂ）に示すように、第３ｋ＋３列目（ｋは、０又は自然数）に対応する情報電荷を排出させると共に、第３ｋ＋２列目と第３ｋ＋４列目の情報電荷を加算合成させて出力する。第５番目の画像フレームを撮像する場合には、図１１（ｂ）に示すように、転送電極２４−１〜２４−３に対応する画素のみオフ又は電子シャッタ動作により情報電荷を蓄積させず、隣の組の転送電極２４−７〜２４−９に蓄積された情報電荷と転送電極２４−４〜２４−６に蓄積された情報電荷を加算合成して垂直転送し、図２４（ｂ）に示すように、第３ｋ＋３列目（ｋは、０又は自然数）に対応する情報電荷を排出させると共に、第３ｋ＋２列目と第３ｋ＋４列目の情報電荷を加算合成させて出力する。第６番目の画像フレームを撮像する場合には、図１１（ｃ）に示すように、転送電極２４−７〜２４−９に対応する画素のみオフ又は電子シャッタ動作により情報電荷を蓄積させず、転送電極２４−４〜２４−６に蓄積された情報電荷と隣の組の転送電極２４−１〜２４−３に蓄積された情報電荷を加算合成して垂直転送し、図２４（ｂ）に示すように、第３ｋ＋３列目（ｋは、０又は自然数）に対応する情報電荷を排出させると共に、第３ｋ＋２列目と第３ｋ＋４列目の情報電荷を加算合成させて出力する。

第７番目の画像フレームを撮像する場合には、図１１（ａ）に示すように、転送電極２４−４〜２４−６に対応する画素のみオフ又は電子シャッタ動作により情報電荷を蓄積させず、転送電極２４−１〜２４−３に蓄積された情報電荷と転送電極２４−７〜２４−９に蓄積された情報電荷を加算合成して垂直転送し、図２４（ｃ）に示すように、第３ｋ＋４列目（ｋは、０又は自然数）に対応する情報電荷を排出させると共に、第３ｋ＋３列目と第３ｋ＋５列目の情報電荷を加算合成させて出力する。第８番目の画像フレームを撮像する場合には、図１１（ｂ）に示すように、転送電極２４−１〜２４−３に対応する画素のみオフ又は電子シャッタ動作により情報電荷を蓄積させず、隣の組の転送電極２４−７〜２４−９に蓄積された情報電荷と転送電極２４−４〜２４−６に蓄積された情報電荷を加算合成して垂直転送し、図２４（ｃ）に示すように、第３ｋ＋４列目（ｋは、０又は自然数）に対応する情報電荷を排出させると共に、第３ｋ＋３列目と第３ｋ＋５列目の情報電荷を加算合成させて出力する。第９番目の画像フレームを撮像する場合には、図１１（ｃ）に示すように、転送電極２４−７〜２４−９に対応する画素のみオフ又は電子シャッタ動作により情報電荷を蓄積させず、転送電極２４−４〜２４−６に蓄積された情報電荷と隣の組の転送電極２４−１〜２４−３に蓄積された情報電荷を加算合成して垂直転送し、図２４（ｃ）に示すように、第３ｋ＋４列目（ｋは、０又は自然数）に対応する情報電荷を排出させると共に、第３ｋ＋３列目と第３ｋ＋５列目の情報電荷を加算合成させて出力する。

以上のように、水平方向にも画像を圧縮して転送させることによって、転送時間を短縮し、単位時間当りに得られる画像フレームをより多くすることができる。これによって、手ぶれ補正処理の精度を高めることができる。また、水平方向にも情報電荷を加算合成することによって、ランダムノイズの影響を低減させることができる。

さらに、情報電荷を加算合成する際に、水平方向に対しても画像フレーム毎に画素をずらして情報電荷を加算合成することによって、フィルタリング処理や補間処理を空間的に平均化することができる。

＜画像信号の水平圧縮転送の変形例＞
本実施の形態の変形例における固体撮像装置は、図２８に示すように、ＣＣＤ固体撮像素子１１及び駆動回路６を含んで構成される。フレーム転送方式のＣＣＤ固体撮像素子１１は、ＣＣＤ固体撮像素子１０と同様に、撮像部１１ｉ、蓄積部１１ｓ、水平転送部１１ｈ及び出力部１１ｄを備える。タイミング制御部６は、フレームクロックパルス発生部６ｆ、垂直クロックパルス発生部６ｖ、補助クロックパルス発生部６ｕ、水平クロックパルス発生部６ｈ、及びリセットクロックパルス発生部６ｒを含んで構成される。ＣＣＤ固体撮像素子１１は、駆動回路６から各種のクロックパルスを受けることによって制御される。

図２９は、本実施の形態の変形例におけるＣＣＤ固体撮像素子１１の蓄積部１１ｓ及び水平転送部１１ｈとの接続部の内部構造を示す平面図である。なお、ＣＣＤ固体撮像素子１１の全体構成は、上記のＣＣＤ固体撮像素子１０と同様である。

水平転送部１１ｈは、蓄積部１１ｓの垂直シフトレジスタから出力される情報電荷を受けて転送する水平シフトレジスタを含んで構成される。水平シフトレジスタは、チャネル領域３２及び水平転送電極３４から構成される。チャネル領域３２は、蓄積部１１ｓの垂直シフトレジスタから延伸された分離領域２０と蓄積部１１ｓと対向して設けられたＰ型拡散層である水平分離領域３６とにより垂直シフトレジスタの延伸方向に対して直交する方向に区画される。垂直シフトレジスタのチャネル領域２２と水平シフトレジスタのチャネル領域３２は延伸された分離領域２０の間隙を介して接続される。

蓄積部１１ｓと水平転送部１１ｈとの接続領域には、補助転送電極１６−１〜１６−４が形成される。補助転送電極１６−１〜１６−４は、絶縁膜を介して、互いに電気的に絶縁された多層電極として形成される。補助転送電極１６−１は、水平シフトレジスタから最も遠い側に、転送電極２４と平行に所定の間隔をもって配置される。補助転送電極１６−４は、水平レジスタから最も近い側に、転送電極２４に平行に配置される。補助転送電極１６−２，１６−３は、補助転送電極１６−１及び１６−４との間の領域に、その一部が絶縁膜を介して補助転送電極１６−１，１６−４上に重なり合うように配置される。補助転送電極１６−３は、奇数列では水平シフトレジスタに近づき、偶数列では水平シフトレジスタから離れるように蛇行して転送電極２４に並列に配置される。補助転送電極１６−２は、絶縁膜を介して補助転送電極１６−３上に、奇数列では水平シフトレジスタから離れ、偶数列では水平シフトレジスタに近づくように蛇行して配置される。ここで、上層側の補助転送電極１６−２を奇数列のチャネル領域２２上では下層側の補助転送電極１６−３と重なり合うように配置することによって、上層側の補助転送電極１６−２に印加される電圧の影響が偶数列のチャネル領域２２に対してのみ作用するようにする。すなわち、補助転送電極１６−１〜１６−４は、偶数列のチャネル領域２２の出力端で１ビット分の補助ビットを形成する。この補助転送電極１６−１〜１６−４に対して４相の補助クロックパルスφ_ｕ１〜φ_ｕ４をそれぞれ印加することによって、蓄積部１１ｓから水平転送部１１ｈへ情報電荷を転送する過程において偶数列のチャネル領域２２で１画素分の情報電荷を一時的に蓄積しておくことができる。なお、補助転送電極１６は４相制御されるものに限定されるものではなく、偶数列の情報電荷を奇数列に対して１画素分だけ遅延して垂直転送出力できるものであれば良い。

水平転送電極３４は、垂直シフトレジスタに直交する方向にむけて延伸されたチャネル領域３２上に形成される。水平シフトレジスタの出力部１１ｄに隣接する奇数列の垂直シフトレジスタから順に垂直シフトレジスタ毎に２本の水平転送電極３４が配置される。本実施の形態では、１２本の水平転送電極３４−１〜３４−１２を組として、水平シフトレジスタの転送方向に沿って順に配置する。ここで、垂直シフトレジスタのチャネル領域２２の延長上に配置される水平転送電極３４−１，３４−３，３４−５，３４−７，３４−９，３４−１１は、チャネル領域２２と水平分離領域３６とに跨るように、絶縁膜を介してチャネル領域３２上に配置される。水平転送電極３４−２，３４−４，３４−６，３４−８，３４−１０，３４−１２は、分離領域２０と水平分離領域３６とに跨るように、絶縁膜を介してチャネル領域３２上に配置される。本実施の形態では、水平転送方向に沿って連続する６つの垂直シフトレジスタに対応する１２本の水平転送電極３４−１〜３４−１２に互いに独立に制御可能な水平クロックパルスφ_ｈ１〜φ_ｈ１２が印加されることによって制御が行われる。

次に、駆動回路６の各構成部について説明する。フレームクロックパルス発生部６ｆは、外部から供給されるフレームシフトタイミング信号ＦＴに対応して３相のフレームクロックパルスφ_iを発生させて撮像部１１ｉの垂直シフトレジスタの転送電極へ供給する。このフレームクロックφ_iにより、撮像部１１ｉの各受光画素に蓄積された情報電荷が垂直走査期間毎に蓄積部１１ｓへ転送される。垂直クロックパルス発生部６ｖは、垂直同期信号ＶＴ及び水平同期信号ＨＴに対応して３相の垂直クロックパルスφ_sを発生させ、蓄積部１１ｓの垂直シフトレジスタの転送電極へ供給する。本実施の形態では、撮像部１１ｉ及び蓄積部１１ｓでは連続して配置された３本の転送電極２４−１〜２４−３が１つの水平ラインに対応する。そこで、フレームクロックパルスφ_i及び垂直クロックパルスφ_sとして互いに異なる位相で変化する３相のクロックパルスを転送電極２４−１〜２４−３にそれぞれ印加することによって、１水平ライン毎に情報電荷を垂直転送することができる。なお、上記実施の形態のように、転送方向に連続して配置された９本の転送電極２４−１〜２４−９を１つの組として、各組の転送電極２４−１〜２４−９のそれぞれに対して互いに独立に制御可能なフレームクロックパルスφ_i及び垂直クロックパルスφ_sを供給することによって、垂直方向に同一色に対応する情報電荷を加算して圧縮された画像信号として転送することも可能である。

水平クロックパルス発生部６ｈは、水平同期信号ＨＴに対応して、水平クロックパルスφ_ｈを発生させ、水平転送部１１ｈの水平転送電極３４へ供給する。ここで、水平クロックパルス発生部６ｈは、水平シフトレジスタにおいてｎ画素分の情報電荷を加算合成して転送する場合には、連続する２ｎ個の垂直シフトレジスタに結合される水平転送電極３４に対して互いに独立に制御可能な水平クロックパルスφ_ｈを生成できるものとする。本実施の形態では、３画素分の情報電荷を加算合成するので、６個の垂直シフトレジスタに結合される１２本の水平転送電極３４−１〜３４−１２に対する互いに独立に制御された１２相の水平クロックパルスφ_ｈを生成可能としている。補助クロックパルス発生部６ｕは、水平同期信号ＨＴに対応して、垂直クロックパルスφ_sの１ビット分の転送周期の１／２の周期を有する４相の補助クロックパルスφ_ｕを発生させ、補助転送電極１６へ供給する。この補助クロックパルスφ_ｕによって、蓄積部１１ｓの垂直シフトレジスタを転送される情報電荷が奇数列と偶数列とで交互に水平転送部１１ｈへ転送出力されることとなる。垂直クロックパルスφ_s、水平クロックパルスφ_ｈ及び補助クロックパルスφ_ｕによる制御については後述する。

リセットクロックパルス発生部６ｒは、水平クロックパルス発生部６ｈで発生される水平クロックパルスφ_ｈに同期してリセットクロックパルスφ_ｒを発生させ、出力部１１ｄへ供給する。このリセットクロックパルスφ_ｒは、出力部１１ｄの容量と基板深部とを接続するスイッチ素子のゲートへ供給され、出力部１１ｄの容量に蓄えられた情報電荷を基板へ排出させるために用いられる。

図３０及び図３１に、本実施の形態における固体撮像装置を用いて画像の解像度を低下させて高速転送を行う際の各クロックパルスのタイミングチャートを示す。図３０には、水平同期信号ＨＴ、垂直クロックパルスφ_s、補助クロックパルスφ_ｕ及び水平クロックパルスφ_ｈの関係を示す。図３１には、水平転送時における水平クロックパルスφ_ｈ、リセットクロックパルスφ_ｒ及び出力信号Ｖ_ｏｕｔの変化の様子を示す。図３１では、縦軸の上方向が正電圧、下方向が負電圧を示している。なお、垂直クロックパルスφ_sは３相、補助クロックパルスφ_ｕは４相であるが、図３０では代表クロックのみを示している。

垂直クロックパルスφ_sは、水平同期信号ＨＴに対応する周期で転送電極２４−１〜２４−３に印加される。垂直クロックパルスφ_sは、それぞれ互いに異なる位相で変化する３相のパルスφ_s１〜φ_s３から構成される。これによって、垂直シフトレジスタのチャネル領域２２に沿って情報電荷を１水平転送期間に１水平ライン毎に転送する。補助クロックパルスφ_ｕは、水平同期信号ＨＴの１／２の周期に対応して補助転送電極１６−１〜１６−４に印加される。補助転送電極１６−１〜１６−４は、上述の通り、偶数列の垂直シフトレジスタの出力端においてのみ有効に作用するので、偶数列の垂直シフトレジスタのチャネル領域２２では１水平転送期間に２画素分ずつ転送されるようにポテンシャル状態が制御される。このとき、転送電極２４−１〜２４−３から補助転送電極１６−１〜１６−４へは、垂直クロックパルスφ_sによって１水平転送期間に１画素分の情報電荷のみ転送されるので、奇数列の垂直シフトレジスタと偶数列の垂直シフトレジスタでは垂直転送期間の１／２の周期だけずれたタイミングで１画素の情報電荷が水平シフトレジスタへ転送出力されることとなる。

水平クロックパルスφ_ｈは、垂直クロックパルスφ_s及び補助クロックパルスφ_ｕに対応して生成され、水平転送電極３４−１〜３４−１２に水平転送周期よりも短い周期で印加される。本実施の形態では、水平クロックパルスφ_ｈは、電荷合成クロックパルスφ_ｈａ，φ_ｈｂと電荷転送クロックパルスφ_ｈｃとの組み合わせで構成される。これにより、１水平ラインに含まれる同一の波長領域（同一色）に対応する複数の画素の情報電荷が水平シフトレジスタにおいて加算合成されて出力部１１ｄに向けて転送される。

図３２に水平クロックパルスφ_ｈが印加されたときの水平シフトレジスタに形成されるポテンシャル井戸の状態を示す。図３２において、横軸は各水平転送電極３４−１〜３４−１２に対応する位置を示し、縦軸は上方向が負電位、下方向が正電位であるポテンシャルを示す。

本実施の形態では、水平転送電極３４−１〜３４−１２に印加される水平クロックパルスφ_ｈ１〜φ_ｈ１２を独立に制御することによって同一色に対応する情報電荷を３画素分だけ加算合成する。時刻Ｔ_１では、水平転送電極３４−１，３４−５，３４−９に印加される水平クロックパルスφ_ｈ１，φ_ｈ５，φ_ｈ９がハイレベルとされ、垂直シフトレジスタの奇数列から転送出力された情報電荷が水平転送電極３４−１，３４−５，３４−９下に形成されたポテンシャル井戸６０（６０ａ）にそれぞれ蓄積される。例えば、奇数列の赤（Ｒ）の波長領域に対応する情報電荷が水平シフトレジスタに転送出力される。その後、時刻Ｔ_２まで水平クロックパルスφ_ｈ１〜φ_ｈ９を順次変化させることによって、水平転送電極３４−５，３４−９下に形成されたポテンシャル井戸６０（６０ａ）に蓄積された情報電荷を水平転送電極３４−１下に形成されたポテンシャル井戸６２（６２ａ）に再配置させる。続いて、時刻Ｔ_３では、水平転送電極３４−３，３４−７，３４−１１に印加される水平クロックパルスφ_ｈ３，φ_ｈ７，φ_ｈ１１がハイレベルとされ、垂直シフトレジスタの偶数列から転送出力された情報電荷が水平転送電極３４−３，３４−７，３４−１１下に形成されたポテンシャル井戸６４にそれぞれ蓄積される。ここでは、時刻Ｔ_１において転送出力された赤（Ｒ）の波長領域に対応する情報電荷と同一の水平ラインにあった緑（Ｇ）の波長領域に対応する情報電荷が水平シフトレジスタへ転送出力される。その後、時刻Ｔ_４まで水平クロックパルスφ_ｈ１〜φ_ｈ１２を順次変化させることによって、水平転送電極３４−７，３４−１１下に形成されたポテンシャル井戸６４（６４ａ）に蓄積された情報電荷を水平転送電極３４−３下に形成されたポテンシャル井戸６６（６６ａ）に再配置させる。それと共に、水平転送電極３４−１下に形成されたポテンシャル井戸６２（６２ａ）に蓄積されている情報電荷を水平転送方向の先の水平転送電極３４−９下に形成されたポテンシャル井戸６８（６８ａ）に順次転送する。このとき、水平シフトレジスタの出力端にある水平転送電極３４−１下に形成されたポテンシャル井戸に蓄積されていた情報電荷は出力部１１ｄに転送出力される。

なお、水平シフトレジスタにおける情報電荷の加算合成はこれに限定されるものではなく、１水平ラインに含まれる異色の波長領域に対応する情報電荷が混合しないように加算合成するものであれば良い。例えば、本実施の形態のように１水平ラインに含まれる情報電荷が垂直シフトレジスタの奇数列と偶数列において異なる色に対応する場合には、奇数列の情報電荷と偶数列の情報電荷とを別々に加算合成するものであれば良い。

このようにして１水平ライン分の情報電荷を３画素分ずつ加算合成した後、水平転送電極３４−１〜３４−１２のうち隣り合う２つの電極を一組として、一組の電極に対しては同位相となる３相の水平クロックパルスφ_ｈを印加することによって情報電荷を水平転送する。すなわち、図３１の水平クロックパルスφ_ｈｃの期間に示すように、本実施の形態では、垂直シフトレジスタの各々に対応する２本の水平転送電極３４−１と３４−２、水平転送電極３４−３と３４−４、水平転送電極３４−５と３４−６・・・をそれぞれ組として、隣り合う３組の水平転送電極に実質的に３相となる水平クロックパルスφ_ｈ１〜φ_ｈ１２を印加することによって加算合成された情報電荷を水平転送する。これにより、時刻Ｔ_５〜Ｔ_７では、ポテンシャル井戸６６，６８に蓄積されている情報電荷が水平転送方向に沿って出力部１１ｄへ向けて順次転送される。この水平転送を順次繰り返すことによって１水平ライン分の情報電荷を出力信号に変換して出力する。１水平ライン分の水平転送が終了すると、図３０に示すように、次の水平ラインに対する垂直転送に移行する。このとき、図３３に示すように、出力部１１ｄからは１水平ラインに含まれる赤（Ｒ）及び緑（Ｇ）又は緑（Ｇ）及び青（Ｂ）の波長領域に対応する情報電荷が交互に出力されることとなる。

以上のように、本変形例では同一色の波長領域に対応する３画素分の情報電荷を水平転送方向に加算合成したうえで水平転送を行うことができる。これによって、実質的な転送段数を少なくすることができ、クロックパルスの基本周波数を高めることなく水平転送時における情報電荷の転送時間を従来より短縮することができる。従って、低解像度の画像を取得する際に高速で画像を取得することができる。

また、水平クロックパルスφ_ｈを１６相独立に制御可能とし、連続する８つの垂直シフトレジスタに結合される１６本の水平転送電極３４をこの水平クロックパルスφ_ｈによって制御することによって、４画素分の情報電荷を加算合成した上で水平転送することも可能である。さらにｎ画素分の情報電荷を加算合成して転送する場合には、連続する２ｎ個の垂直シフトレジスタに結合される水平転送電極３４に対して互いに独立に制御可能な水平クロックパルスφ_ｈを供給することで実現することができる。

なお、情報電荷を加算合成することなく高解像度の画像信号として出力したい場合には、従来と同様に、１画素分の情報電荷毎に水平転送されるように水平シフトレジスタを４相の水平クロックパルスφ_ｈによって制御すれば良い。

また、本変形例のＣＣＤ固体撮像装置１１から得られた画像信号に対して上記の手ぶれ補正処理を適用することができる。この場合、ＣＣＤ固体撮像装置１１から出力された画像信号を撮像部１１ｉの画素に対応付けて再配列し、再配列された画像信号に対してフィルタリング処理や補間処理を施すことが好適である。

なお、本実施の形態ではカラー撮像用の固体撮像素子を搭載した撮像装置における手ぶれ補正処理について説明を行ったがモノクロ撮像用の固体撮像素子を搭載した撮像装置においても同様に手ぶれ補正処理を行うことができる。モノクロ撮像の場合も垂直転送方向及び水平転送方向の少なくとも１つに圧縮された画像信号を補間処理することによって手ぶれ補正を行うことができる。

また、本実施の形態では、フレームトランスファー型のＣＣＤ固体撮像素子を含む撮像装置を対象としたが本発明の適用範囲はこれに限定されるものではない。例えば、インターレース型のＣＣＤ固体撮像素子を含む撮像装置にも適用することができる。

本発明の実施の形態における撮像装置の構成を示す図である。 ＣＣＤ固体撮像素子の撮像部及び蓄積部の内部構成を示す平面図である。 ＣＣＤ固体撮像素子における撮像部及び蓄積部の内部構成を示す断面図である。 ＣＣＤ固体撮像素子における撮像部及び蓄積部の内部構成を示す断面図である。 撮像部におけるカラーフィルタの配置を示す平面図である。 モザイク状に配置されたカラーフィルタを示す平面図である。 本発明の実施の形態における撮像時及び垂直転送時のタイミングチャートである。 本発明の実施の形態における撮像時及び垂直転送時のポテンシャル分布を説明するための図である。 本発明の変形例における撮像時の電子シャッタを説明するタイミングチャートである。 本発明の実施の形態における手ぶれ補正処理に供される複数の画像フレームを取得するための時間を説明する図である。 本発明の実施の形態における画素の間引きを説明するための図である。 本発明の実施の形態における手ぶれ補正処理のフローチャートを示す図である。 本発明の実施の形態における圧縮処理された画像フレームの出力信号を示す図である。 図１３に示す画像フレームに対して水平方向にフィルタリングを行った結果を示す図である。 図１４に示す画像フレームに対して垂直方向にフィルタリングを行った結果を示す図である。 本発明の実施の形態におけるＣＣＤ固体撮像素子の蓄積部及び水平転送部の内部構成を示す平面図である。 本発明の実施の形態におけるＣＣＤ固体撮像素子の蓄積部及び水平転送部の内部構成を示す断面図である。 本発明の実施の形態におけるＣＣＤ固体撮像素子の蓄積部及び水平転送部の内部構成を示す断面図である。 本発明の実施の形態における水平転送時のタイミングチャートを示す図である。 本発明の実施の形態における水平転送時のポテンシャル分布を示す図である。 従来の手ぶれ補正処理に供される複数の画像フレームを取得するための時間を説明する図である。 本発明の実施の形態における画素の組み合わせを説明するための図である。 本発明の実施の形態における画素の組み合わせを説明するための図である。 本発明の実施の形態における画素の間引きを説明するための図である。 本発明の実施の形態における圧縮処理された画像フレームの出力信号を示す図である。 図２５に示す画像フレームに対して垂直方向にフィルタリングを行った結果を示す図である。 図２６に示す画像フレームに対して水平方向にフィルタリングを行った結果を示す図である。 変形例における固体撮像装置の構成を示す図である。 変形例における固体撮像素子の要部構成の拡大図である。 変形例における固体撮像素子を制御するクロックパルスのタイミングチャートである。 変形例における固体撮像素子を制御するクロックパルスのタイミングチャートである。 変形例における水平転送部のポテンシャルの変化を示す図である。 変形例における出力の変化を示すタイミングチャートである。

符号の説明

６ 駆動回路、６ｆ フレームクロックパルス発生部、６ｒ リセットクロックパルス発生部、６ｖ 垂直クロックパルス発生部、６ｈ 水平クロックパルス発生部、６ｕ 補助クロックパルス発生部、１０，１１ 固体撮像素子、１０ｉ，１１ｉ 撮像部、１０ｓ，１１ｓ 蓄積部、１０ｈ，１１ｈ 水平転送部、１０ｄ，１１ｄ 出力部、１２ 駆動回路、１４ 画像信号処理部、１６ 補助転送電極、２０ 分離領域、２２ チャネル領域、２４ 転送電極、２６ カラーフィルタ（透過フィルタ）、２８ 画素の列、３２ チャネル領域、３４ 水平転送電極、３５ 排出電極、３６ 水平分離領域、３７ 排出チャネル領域、３８ 排出チャネル、４０ 排出領域、４２ 絶縁膜、５０，５２ ポテンシャル井戸、６０〜６８ ポテンシャル井戸、１００ 撮像装置。

Claims (18)

1. 外部から入射された光の強度に応じた情報電荷を生成及び蓄積する複数の画素が行列配置され、画素に蓄積された情報電荷を転送出力する撮像素子と、
   前記撮像素子から出力された画像信号に対して手ぶれ補正処理を行う画像信号処理部と、
   を備えた撮像装置であって、
   前記撮像素子は、撮像時には実質的に互いに分離された複数のポテンシャル井戸に情報電荷を蓄積すると共に、転送時には前記複数のポテンシャル井戸のうち少なくとも１つに蓄積された情報電荷を用いて転送して、圧縮された画像信号を出力し、
   前記画像信号処理部は、圧縮された画像信号を用いて手ぶれ補正処理を行うことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記撮像素子は、前記複数のポテンシャル井戸のうち少なくとも２つに蓄積された情報電荷を転送方向に沿って加算合成して転送することを特徴とする撮像装置。
3. 請求項１又は２に記載の撮像装置において、
   前記撮像素子は、転送方向に沿って連続的に配置された画素を３以上の所定数毎に組として、当該組に含まれる画素のうち少なくとも１つを除いた残りの画素に蓄積された情報電荷から前記圧縮された画像信号を得ることを特徴とする撮像装置。
4. 請求項１又は２に記載の撮像装置において、
   前記撮像素子における各画素は、異なる２つ以上の波長領域のいずれかを透過波長領域とする光学フィルタに対応付けられて光学フィルタを透過した光を受けて情報電荷を蓄積するものであって、各透過波長領域を有する光学フィルタに対応付けられた画素が転送方向に沿って所定の周期で繰り返し配置され、
   前記撮像素子は、同一の透過波長領域を有する光学フィルタに対応する画素が配置された周期に１画素を加えた周期に含まれる画素群を組として、当該組に含まれる画素のうち少なくとも１つを除いた残りの画素に蓄積された情報電荷から前記圧縮された画像信号を得ることを特徴とする撮像装置。
5. 請求項３又は４に記載の撮像装置において、
   前記撮像素子は、前記組に含まれる画素から除かれる画素を順次変更して圧縮された画像信号を出力することを特徴とする撮像装置。
6. 請求項１〜５のいずれか１つに記載の撮像装置において、
   前記画像信号処理部は、前記圧縮された画像信号に対して伸張処理を行うことを特徴とする撮像装置。
7. 撮像時には実質的に互いに分離された複数のポテンシャル井戸に外部から入射された光の強度に応じた情報電荷を蓄積させる複数の画素が行列配置された撮像部を備える撮像素子、から出力された画像信号に対して手ぶれ補正処理を行う画像信号処理装置であって、
   前記複数のポテンシャル井戸のうち少なくとも１つに蓄積された情報電荷から得られた圧縮された画像信号を用いて手ぶれ補正処理を行うことを特徴とする画像信号処理装置。
8. 請求項７に記載の画像信号処理装置において、
   前記複数のポテンシャル井戸のうち少なくとも２つに蓄積された情報電荷を転送方向に沿って加算合成して圧縮された画像信号を用いて手ぶれ補正処理を行うことを特徴とする画像信号処理装置。
9. 請求項７又は８に記載の画像信号処理装置において、
   前記圧縮された画像信号は、前記撮像素子の転送方向に沿って連続的に配置された画素を３以上の所定数毎に組として、当該組に含まれる画素のうち少なくとも１つを除いた残りの画素に蓄積された情報電荷から得られたものであることを特徴とする画像信号処理装置。
10. 請求項７又は８に記載の画像信号処理装置において、
    前記圧縮された画像信号は、同一の透過波長領域を有する光学フィルタに対応する画素が配置された周期に１画素を加えた周期に含まれる画素群を組として、当該組に含まれる画素のうち少なくとも１つを除いた残りの画素に蓄積された情報電荷から得られたものであることを特徴とする画像信号処理装置。
11. 請求項９又は１０に記載の画像信号処理装置において、
    前記組に含まれる画素から除かれる画素を順次変更して得られた複数の圧縮された画像信号を用いて手ぶれ補正処理することを特徴とする画像信号処理装置。
12. 請求項７〜１１のいずれか１つに記載の画像信号処理装置において、
    前記圧縮された画像信号に対して伸張処理を行うことを特徴とする画像信号処理装置。
13. 撮像時には実質的に互いに分離された複数のポテンシャル井戸に外部から入射された光の強度に応じた情報電荷を蓄積させる複数の画素が行列配置された撮像部を備える撮像素子、から出力された画像信号に対して手ぶれ補正処理を行う画像信号処理方法であって、
    前記複数のポテンシャル井戸のうち少なくとも１つに蓄積された情報電荷から得られた圧縮された画像信号を用いて手ぶれ補正処理を行うことを特徴とする画像信号処理方法。
14. 請求項１３に記載の画像信号処理方法において、
    前記複数のポテンシャル井戸のうち少なくとも２つに蓄積された情報電荷を転送方向に沿って加算合成して圧縮された画像信号を用いて手ぶれ補正処理を行うことを特徴とする画像信号処理方法。
15. 請求項１３又は１４に記載の画像信号処理方法において、
    前記圧縮された画像信号は、前記撮像素子の転送方向に沿って連続的に配置された画素を３以上の所定数毎に組として、当該組に含まれる画素のうち少なくとも１つを除いた残りの画素に蓄積された情報電荷から得られたものであることを特徴とする画像信号処理方法。
16. 請求項１３又は１４に記載の画像信号処理方法において、
    前記圧縮された画像信号は、同一の透過波長領域を有する光学フィルタに対応する画素が配置された周期に１画素を加えた周期に含まれる画素群を組として、当該組に含まれる画素のうち少なくとも１つを除いた残りの画素に蓄積された情報電荷から得られたものであることを特徴とする画像信号処理方法。
17. 請求項１５又は１６に記載の画像信号処理方法において、
    前記組に含まれる画素から除かれる画素を順次変更して得られた複数の圧縮された画像信号を用いて手ぶれ補正処理することを特徴とする画像信号処理方法。
18. 請求項１３〜１７のいずれか１つに記載の画像信号処理方法において、
    前記圧縮された画像信号に対して伸張処理を行うことを特徴とする画像信号処理方法。

Images