JP2005198148A - 固体撮像素子、撮像装置、および固体撮像素子の駆動方法 - Google Patents

Abstract

【課題】 専用のメモリやレンズなどの移動機構を必要とせずに、簡易かつ高速な処理により手ぶれによる画質劣化を抑制することが可能な固体撮像素子および撮像装置を提供する。
【解決手段】 ＣＣＤ１２は、２軸方向に複数配列された光電変換部１２１と、光電変換部１２１から読み出した電荷を、上記の２軸方向のうちの少なくとも１軸方向に対してその正負の双方向に転送することが可能で、また、任意の画素数分だけ転送した電荷を、転送先の画素に対応する光電変換部１２１から読み出した電荷と混合することが可能な電荷転送部１２２とを有し、転送可能な方向への手ぶれが生じた場合に、電荷転送部１２２が、手ぶれ量に応じた画素数分だけ電荷を転送した後、転送先の画素に対応する光電変換部１２１から読み出した電荷と混合することで、画質劣化が抑制される。
【選択図】 図３

Description

本発明は、被写体からの光に応じた画像信号を生成する固体撮像素子、これを用いた撮像装置、およびこの固体撮像素子の駆動方法に関し、特に、固体撮像素子内において手ぶれの画質への影響を抑制する補正処理を行うことが可能な固体撮像素子、撮像装置、および固体撮像素子の駆動方法に関する。

近年、ＣＣＤ（Charge Coupled Device）などの固体撮像素子を用いたデジタルスチルカメラが広く普及している。このようなデジタルスチルカメラでは、暗い被写体を撮像する場合、露光量を多くするためにシャッタ速度をより遅くするように設定されるが、シャッタ速度が遅いと手ぶれの影響が生じやすくなり、その結果、撮像画像がぼやけてしまう。このような事態を回避するため、最近では、撮像時に手ぶれの影響を抑えるように自動的に補正する、いわゆる手ぶれ補正機能を備えたデジタルスチルカメラが実現されている。

従来、手ぶれ補正機能を実現するためには、例えば、撮像素子の受光面に照射される光を安定させるようにレンズまたは撮像素子自身を移動させる光学的な補正方法、あるいは、撮像素子から読み出したデータや、このデータを一旦メモリに格納したデータから、その一部分を切り出して使用する方法などが用いられていた。このうち、後者の方法では、動画像の撮像時には、例えば、フレームごとの切り出し位置を手ぶれ量に応じて変化させることで手ぶれの画像への影響が低減される。また、静止画像の補正のためには、例えば、シャッタ速度を速くして、１回の撮像操作に応じて複数フレームの画像を連続してメモリに取り込み、手ぶれ量に応じて切り出し位置を変化させて合成する方法などが用いられていた。

なお、ＣＣＤにおける電荷の転送手法についての従来の関連技術として、小サイズの画像データを記録する際に、垂直転送部において、垂直方向に並んだＮ個（ただし、Ｎは２以上）の光電変換素子の信号電荷を画素混合するように構成された撮像装置があった（例えば、特許文献１参照）。
特開２００２−３５４３４４号公報（段落番号〔００４６〕〜〔００５２〕、図６）

しかし、静止画像の撮像時における従来の手ぶれ補正方法には、以下のような問題点があった。光学的に手ぶれを補正する方法では、レンズや撮像素子などを物理的に移動させるため、装置の規模や消費電力が大きくなることが問題であった。また、画像の一部を切り出して使用する方法では、基本的にフレーム間での補正のみが可能である。静止画像などの１フレームに対する補正を可能とするためには、１回の撮像操作に応じて複数フレームの画像をメモリに取り込み、フレーム間の画像のずれを補正して合成する必要があるが、この方法では、画素数が多くなるのに従って、メモリからのデータ読み出しや切り出し位置の判定などの処理負荷が大きくなり、またメモリの容量も多く必要になることが問題であった。

本発明はこのような点に鑑みてなされたものであり、専用のメモリやレンズなどの移動機構を必要とせずに、簡易かつ高速な処理により手ぶれによる画質劣化を抑制することが可能な固体撮像素子を提供することを目的とする。

また、本発明の他の目的は、専用のメモリやレンズなどの移動機構を必要とせずに、簡易かつ高速な処理により手ぶれによる画質劣化を抑制することが可能な撮像装置を提供することである。

さらに、本発明の他の目的は、専用のメモリやレンズなどの移動機構を必要とせずに、簡易かつ高速な処理により手ぶれによる画質劣化を抑制することが可能な固体撮像素子の駆動方法を提供することである。

本発明では上記課題を解決するために、被写体からの光に応じた画像信号を生成する固体撮像素子において、２軸方向に複数配列された光電変換部と、前記光電変換部から読み出した電荷を、前記２軸方向のうちの少なくとも１軸方向に対してその正負のうちの任意の方向に転送し、また、任意の画素数分だけ転送した電荷を、転送先の画素に対応する前記光電変換部から読み出した電荷と混合することが可能な電荷転送部とを有することを特徴とする固体撮像素子が提供される。

このような固体撮像素子では、電荷転送部において、光電変換部から読み出した電荷を、光電変換部の配列方向である２軸方向のうちの少なくとも１軸方向に対してその正負のうちの任意の方向に転送することが可能とされ、さらに、任意の画素数分だけ転送した電荷を、転送先の画素に対応する光電変換部から読み出した電荷と混合することが可能とされている。これにより、光電変換部から電荷転送部に読み出された電荷に基づく画像と、その後に光電変換部に蓄積された電荷に基づく画像との間に、電荷転送部における転送可能方向に沿った手ぶれによる位置ずれが生じた場合に、電荷転送部における電荷移動により、手ぶれ前の画像を手ぶれ後の画像に一致するように移動させて、各画像を合成することが可能となる。従って、固体撮像素子の内部において手ぶれの補正処理を行うことができる。

また、本発明では、固体撮像素子を用いて画像を撮像する撮像装置において、前記固体撮像素子は、２軸方向に複数配列された光電変換部と、前記光電変換部から読み出した電荷を、前記２軸方向のうちの少なくとも１軸方向に対してその正負のうちの任意の方向に転送し、また、任意の画素数分だけ転送した電荷を、転送先の画素に対応する前記光電変換部から読み出した電荷と混合することが可能な電荷転送部とを有することを特徴とする撮像装置が提供される。

このような撮像装置では、固体撮像素子の具備する電荷転送部において、光電変換部から読み出した電荷を、光電変換部の配列方向である２軸方向のうちの少なくとも１軸方向に対してその正負のうちの任意の方向に転送することが可能とされ、さらに、任意の画素数分だけ転送した電荷を、転送先の画素に対応する光電変換部から読み出した電荷と混合することが可能とされている。これにより、光電変換部から電荷転送部に読み出された電荷に基づく画像と、その後に光電変換部に蓄積された電荷に基づく画像との間に、電荷転送部における転送可能方向に沿った手ぶれによる位置ずれが生じた場合に、電荷転送部における電荷移動により、手ぶれ前の画像を手ぶれ後の画像に一致するように移動させて、各画像を合成することが可能となる。従って、固体撮像素子の内部において手ぶれの補正処理を行うことができる。

さらに、本発明では、２軸方向に複数配列された光電変換部と、前記光電変換部から読み出した電荷を転送する電荷転送部とを具備する固体撮像素子の駆動方法において、前記電荷転送部が、前記光電変換部から読み出した電荷を、前記２軸方向のうちの少なくとも１軸方向に対する手ぶれ量に応じた画素数分だけ転送した後、転送先の画素に対応する前記光電変換部から読み出した電荷と混合するように前記固体撮像素子を駆動することを特徴とする固体撮像素子の駆動方法が提供される。

このような固体撮像素子の駆動方法では、電荷転送部は、光電変換部から読み出した電荷を、光電変換部の配列方向である２軸方向のうちの少なくとも１軸方向に対して転送し、また、転送した電荷を、転送先の画素に対応する光電変換部から読み出した電荷と混合する。これにより、光電変換部から電荷転送部に読み出された電荷に基づく画像と、その後に光電変換部に蓄積された電荷に基づく画像との間に、電荷転送部における転送可能方向に沿った手ぶれによる位置ずれが生じた場合に、電荷転送部における電荷移動により、手ぶれ前の画像を手ぶれ後の画像に一致するように移動させて、各画像を合成することが可能となる。従って、固体撮像素子の内部において手ぶれの補正処理を行うことができる。

本発明の固体撮像素子によれば、その内部において電荷の転送および混合を行うことにより、手ぶれの影響が補正された画像信号が出力される。従って、補正処理のためのメモリや、レンズなどの移動機構を設ける必要がなくなり、メモリからの読み出しや合成などの処理も必要とならないので、低コストで高速かつ高精度に手ぶれによる画質劣化を抑制することが可能となる。

また、本発明の撮像装置によれば、固体撮像素子の内部において電荷の転送および混合を行うことにより、手ぶれの影響が補正された画像信号が固体撮像素子から出力される。従って、補正処理のためのメモリや、レンズなどの移動機構を設ける必要がなくなり、メモリからの読み出しや合成などの処理も必要とならないので、低コストで高速かつ高精度に手ぶれによる画質劣化を抑制することが可能となる。

さらに、本発明の固体撮像素子の駆動方法によれば、固体撮像素子の内部において電荷の転送および混合を行うことにより、手ぶれの影響が補正された画像信号が固体撮像素子から出力される。従って、補正処理のためのメモリや、レンズなどの移動機構を設ける必要がなくなり、メモリからの読み出しや合成などの処理も必要とならないので、低コストで高速かつ高精度に手ぶれによる画質劣化を抑制することが可能となる。

以下、本発明の実施の形態を図面を参照して説明する。なお、以下の説明では、本発明をデジタルスチルカメラに適用した場合を想定する。
〔第１の実施の形態〕
図１は、本発明の第１の実施の形態に係るデジタルスチルカメラの構成を示すブロック図である。

図１に示すデジタルスチルカメラは、光学ブロック１１、ＣＣＤ１２、前処理回路１３、カメラ処理回路１４、エンコーダ／デコーダ１５、ＣＰＵ（Central Processing Unit）１６、ＲＯＭ（Read Only Memory）１７、ＲＡＭ（Random Access Memory）１８、グラフィックＩ／Ｆ（インタフェース）１９、ディスプレイ１９ａ、Ｒ／Ｗ（リーダ／ライタ）２０、入力部２１、ＴＧ（Timing Generator）２２、および、手ぶれ検出回路２３を具備する。また、これらのうち、前処理回路１３、カメラ処理回路１４、エンコーダ／デコーダ１５、ＣＰＵ１６、ＲＯＭ１７、ＲＡＭ１８、グラフィックＩ／Ｆ１９、Ｒ／Ｗ２０、入力部２１、および手ぶれ検出回路２３は、システムバス２４により相互に接続されている。

光学ブロック１１は、被写体からの光をＣＣＤ１２に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などを具備しており、これらはＣＰＵ１６からの制御信号に基づいて駆動される。ＣＣＤ１２は、被写体からの入射光を電気信号に変換する。このＣＣＤ１２は、後述するように、ＴＧ２２からのタイミング信号に基づいて、各画素の電荷を垂直方向および水平方向に転送して、電荷の混合および出力を行うことが可能となっている。

前処理回路１３は、ＣＣＤ１２から出力された画像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドを行い、さらにＡＧＣ（Auto Gain Control）処理により利得を制御し、Ａ／Ｄ変換を行ってデジタル方式の画像データを出力する。カメラ処理回路１４は、前処理回路１３からの画像データに対して、ＡＷＢ（Auto White Balance）処理、ＡＦ（Auto Focus）処理、ＡＥ（Auto Exposure）処理などのカメラ信号処理を施す。

エンコーダ／デコーダ１５は、カメラ処理回路１４からの画像データに対して、ＪＰＥＧ（Joint Photographic Coding Experts Group）方式などの所定の静止画像データフォーマットで圧縮符号化処理を行う。また、システムバス２４を介して供給された静止画像の符号化データを伸張復号化処理する。

ＣＰＵ１６は、ＲＯＭ１７に記憶されたプログラムを実行することにより、デジタルスチルカメラの各部を制御するための制御信号を出力する。ＲＯＭ１７は、例えばフラッシュ型ＥＥＰＲＯＭ（Erasable Programmable ＲＯＭ）からなり、ＣＰＵ１６が実行する各種のプログラムや、処理に必要となるデータなどを記憶している。ＲＡＭ１８は、例えばＤＲＡＭ（Dynamic ＲＡＭ）などからなり、処理の途中経過を一時的に記憶するなど、ＣＰＵ１６やカメラ処理回路１４、エンコーダ／デコーダ１５などの作業領域として使用される。

グラフィックＩ／Ｆ１９は、システムバス２４から供給された画像データから、ディスプレイ１９ａに表示させる画像信号を生成して、この信号をディスプレイ１９ａに供給し、画像を表示させる。ディスプレイ１９ａは、例えばＬＣＤ（Liquid Crystal Display）からなり、撮像中のカメラスルー画像やメモリカード２０ａに記録されたデータを再生した画像などを表示する。

Ｒ／Ｗ２０には、撮像した画像データなどを記録する記録媒体として、可搬型のフラッシュメモリからなるメモリカード２０ａが着脱可能に接続される。Ｒ／Ｗ２０は、システムバス２４を介して供給されたデータをメモリカード２０ａに書き込み、また、メモリカード２０ａから読み出したデータを、システムバス２４上に出力する。なお、記録媒体としては、他に、例えば書き込み可能な光ディスクやＨＤＤ（ハードディスクドライブ）などが用いられてもよい。

入力部２１は、例えばシャッタレリーズボタンなどの各種操作キーやレバー、ダイヤルなどにより構成される。入力部２１に対してユーザによる入力操作が行われると、入力部２１からシステムバス２４を介してＣＰＵ１６に対して制御信号が出力される。

ＴＧ２２は、ＣＰＵ１６からの制御信号に応じて、ＣＣＤ１２における各画素に蓄積された電荷の転送タイミングを制御する。手ぶれ検出回路２３は、撮像時におけるこのデジタルスチルカメラの垂直・水平方向の各手ぶれ量を検出して、検出値をシステムバス２４を通じてＣＰＵ１６に通知する。なお、手ぶれ検出回路２３の具体的な構成については、後の図１０および１１において説明する。

ここで、上記のデジタルスチルカメラにおける基本的な動作について説明する。まず、静止画像の撮像時の動作について説明する。
静止画像の撮像前には、ＣＣＤ１２によって受光され、光電変換された信号が、順次前処理回路１３に供給される。前処理回路１３では、入力信号に対してＣＤＳ処理、ＡＧＣ処理が施され、さらにデジタル信号に変換される。カメラ処理回路１４は、前処理回路１３から供給された画像データを画質補正処理し、カメラスルー画像の画像データとして、システムバス２４を介してグラフィックＩ／Ｆ１９に供給する。これにより、カメラスルー画像がディスプレイ１９ａに表示され、ユーザはディスプレイ１９ａを見て画角合わせを行うことが可能となる。

この状態で、入力部２１のシャッタレリーズボタンが押下されると、ＣＰＵ１６は、光学ブロック１１およびＴＧ２２に制御信号を出力して、光学ブロック１１のシャッタを動作させる。このとき、ＣＰＵ１６は、手ぶれ検出回路２３からの検出信号に応じて、ＴＧ２２によるタイミング信号の出力を調整し、これによりＣＣＤ１２からは、手ぶれ補正が行われた１フレーム分の画像信号が出力される。

カメラ処理回路１４は、ＣＣＤ１２から前処理回路１３を介して供給された１フレーム分の画像データに、画質補正処理を施した後、処理後の画像データをエンコーダ／デコーダ１５に供給する。エンコーダ／デコーダ１５は、入力された画像データを圧縮符号化し、生成した符号化データを、システムバス２４を介してＲ／Ｗ２０に供給する。これにより、撮像された静止画像のデータファイルがメモリカード２０ａに記憶される。

一方、メモリカード２０ａに記憶された静止画像ファイルを再生する場合には、入力部２１からの操作入力に応じて、ＣＰＵ１６は、選択された静止画像ファイルをメモリカード２０ａからＲ／Ｗ２０を介して読み込み、エンコーダ／デコーダ１５に供給して伸張復号化処理を実行させる。復号化された静止画像データは、グラフィックＩ／Ｆ１９に供給され、ディスプレイ１９ａに静止画像が再生表示される。

ところで、上記のデジタルスチルカメラでは、撮像時の手ぶれにより生じる画質低下を防ぐ手ぶれ補正処理が、ＣＣＤ１２において行われる。ＣＣＤ１２では、１フレーム分（または１フィールド分）の露光時間内に、手ぶれ検出回路２３により検出される手ぶれ量に応じて、画素に蓄積された電荷が他の画素に移動されて混合されることにより、手ぶれ補正が施された画像信号が出力される。このような処理を行うため、ＣＣＤ１２は従来とは異なる以下のような構造を有している。

図２は、上記のデジタルスチルカメラに用いられたＣＣＤ１２の構造を模式的に表した図である。
図２に示すように、ＣＣＤ１２は、垂直方向にｍ行、水平方向にｎ列（ｍ，ｎはともに自然数）だけマトリクス状に画素が配置され、それらの画素ごとに、受光量に応じた電荷を蓄積する光電変換部１２１と、蓄積された電荷を転送する電荷転送部１２２とが設けられた構成を有している。さらに、蓄積された電荷を外部に出力するためのｎ個の水平転送部１２３を具備している。

光電変換部１２１には、フォトダイオードが設けられ、光学ブロック１１を通じて受光面に入射した光の強さと時間に応じて、電荷が蓄積される。そして、光電変換部１２１は、ＴＧ２２からのタイミング信号に応じて、蓄積された電荷を当該画素の電荷転送部１２２に転送する。

電荷転送部１２２は、当該画素の光電変換部１２１から転送された電荷を受けて、ＴＧ２２からのタイミング信号に応じて、隣接する画素の電荷転送部１２２または水平転送部１２３に転送する。この電荷転送部１２２は、従来の構造と異なり、垂直方向だけでなく、水平方向の画素の電荷転送部１２２にも、電荷を転送することが可能となっている。さらに、光電変換部１２１から受け取った電荷を、当該電荷転送部１２２にすでに蓄積された電荷と混合することが可能となっている。

水平転送部１２３は、１行目に並列された画素の電荷転送部１２２に接続され、これらから転送された電荷を、ＴＧ２２からのタイミング信号に応じて水平方向に転送する。これにより、アナログ画像信号が外部に順次出力される。

なお、本実施の形態では、ＣＣＤ１２は、例としてベイヤ配列の原色系カラーフィルタアレイを具備しているものとする。ベイヤ配列の場合、図２に示すように、ＲＧＢ（Red，Green，Blue）の各色のカラーフィルタが１画素おきに配置される。本発明は、このような原色単板方式のＣＣＤの他、補色カラーフィルタなどによる他の方式のカラーコーディングを用いた単板ＣＣＤや、ＲＧＢの各色に対応するＣＣＤを設けた場合に適用することも可能である。

また、上記のＣＣＤ１２では、１つの光電変換部１２１に対して１つの電荷転送部１２２を設けたが、垂直方向に並列した複数の光電変換部１２１に対して１つの電荷転送部１２２が設けられてもよい。例えば、インタレース読み出しを行うために、垂直方向に隣接する２つの光電変換部１２１に対して１つの電荷転送部１２２が設けられ、第１フィールドの読み出し時に一方の光電変換部１２１の電荷を電荷転送部１２２に移動し、第２フィールドの読み出し時に他方の光電変換部１２１の電荷を電荷転送部１２２に移動するようにしてもよい。

図３は、ＣＣＤ１２の内部における電荷の転送および混合機能を説明するための図である。なお、以下の説明では、“画素（行番号，列番号）”により特定の位置の画素を指し示すこととする。

画像の撮像時には、受光時間と光量に応じた電荷が各画素の光電変換部１２１に蓄積される。例えば、図３（Ａ）に示すように、画素（３，２）に電荷が蓄積されると、所定のタイミングで、この光電変換部１２１の電荷は、図３（Ｂ）のように対応する電荷転送部１２２に移動される。

また、電荷転送部１２２に蓄積された電荷は、他の画素の電荷転送部１２２に転送することができる。図３（Ｃ）では、画素（３，２）に蓄積された電荷を、画素（１，４）に移動した例を示している。この図に示すように、画素（３，２）の電荷転送部１２２に蓄積された電荷は、まず水平方向に２画素分転送された後、垂直方向に２画素分転送されることで、画素（１，４）の電荷転送部１２２に移動される。なお、電荷転送部１２２における電荷の転送は、実際にはすべての画素について水平方向および垂直方向にそれぞれ一斉に行われる。

また、光電変換部１２１から電荷転送部１２２への電荷の移動後、光電変換部１２１では再び電荷の蓄積が行われ、その後の所定のタイミングで、蓄積した電荷を対応する光電変換部１２１に移動させる。ここで、例えば図３（Ｃ）に示した画素（１，４）のように、電荷転送部１２２にすでに電荷が蓄積された状態で、当該画素の光電変換部１２１で蓄積された電荷が移動される場合には、図３（Ｄ）に示すように、これらの電荷が電荷転送部１２２において混合（加算）される。なお、電荷の混合は、同色のカラーフィルタを具備する画素で行われる必要がある。図２に示したＣＣＤ１２は、構造的には１画素単位で電荷を転送することが可能となっているが、ベイヤ配列の場合、同色のカラーフィルタは１画素おきに配置されるので、常に２画素単位で電荷が転送されるような配線構造としてもよい。

このように、ＣＣＤ１２自身が電荷の転送と混合の各機能を具備することにより、外部に複数フレーム（あるいはフィールド）分のメモリを設けることなく、ＣＣＤ１２の内部で手ぶれ補正を実現することが可能となる。例えば、図３の場合には、電荷を蓄積した（Ａ）の時点から、再度電荷を蓄積した（Ｃ）の時点までの間に、画素（３，２）で受光された画像が画素（１，４）に移動するような手ぶれが生じた場合に、（Ｃ）のように画素（３，２）の電荷転送部１２２の電荷を画素（１，４）に転送した後、画素（１，４）の光電変換部１２１の電荷と混合することで、手ぶれによる画質劣化を抑制することが可能となる。

図４は、上記のＣＣＤ１２における手ぶれ補正処理の流れを模式的に示す図である。
図４において、画像１２１ａ〜１２１ｃは、全画素の光電変換部１２１に蓄積された電荷を出力した場合に生成される画像を仮想的に示したものであり、画像１２２ａ〜１２２ｃは同様に、全画素の電荷転送部１２２に蓄積された電荷から生成される画像を仮想的に示したものである。以下、図中のステップ番号に従って、１フレーム分の画像が出力されるまでにＣＣＤ１２の内部で行われる手ぶれ補正の処理手順について説明する。

図４の例では、１フレーム分の画像信号を出力するまでに、光電変換部１２１において電荷を蓄積し、この電荷を電荷転送部１２２へ移動させる動作を３回行っている。このように、光電変換部１２１における１回の電荷蓄積時間を短くすることで、手ぶれの画質劣化への影響をより少なくすることができる。

図４において、まず、光電変換部１２１で１回目の電荷の蓄積が行われ、画像１２１ａが生成される（ステップＳ１１）。この画像１２１ａでは、図のようにテキスト「Ｆ」がほぼ中央に現れている。

電荷の蓄積が所定の時間だけ行われると、蓄積された電荷が各画素の電荷転送部１２２に移動される（ステップＳ１２）。このとき、画像１２１ａと同様な画像１２２ｂが生成されることになる。そして、光電変換部１２１では、２回目の電荷の蓄積が開始される（ステップＳ１３）。

ここで、次の電荷の蓄積終了のタイミングまでの間に、手ぶれの発生により、テキスト「Ｆ」が中央よりやや左上に現れた画像１２１ｂが生成されたとする。このとき、手ぶれ検出回路２３の動作により垂直・水平方向の手ぶれ量が検出され、電荷転送部１２２では手ぶれの検出量に対応する画素数分だけ電荷が移動される（ステップＳ１４）。これにより、電荷転送部１２２から生成される画像は、このとき光電変換部１２１から生成される画像１２１ｂと同じように、テキスト「Ｆ」の位置が左上にずれたものとなる。そして、この直後に、光電変換部１２１に蓄積された電荷が、各画素の電荷転送部１２２に移動され、すでに蓄積されていた電荷と混合される（ステップＳ１５）。これにより、手ぶれによる画質劣化の発生が１回の電荷蓄積時間内に留められ、画質劣化が最小限に抑制された画像１２２ｂが生成される。

この後、同様に光電変換部１２１で再度電荷の蓄積が行われ（ステップＳ１６）、所定時間後に、この期間の手ぶれ検出量に応じた画素数分だけ、電荷転送部１２２において電荷が転送された後（ステップＳ１７）、光電変換部１２１の電荷と混合される（ステップＳ１８）。これにより、手ぶれによりテキスト「Ｆ」が中央よりやや右下に移動した画像１２１ｃと同様の画像１２２ｃが、電荷転送部１２２において生成される。

この状態で、１フィールド分の画像生成に要する時間が経過すると、従来のＣＣＤと同様に、電荷転送部１２２に蓄積された電荷が１画素ずつ垂直方向に転送され、水平転送部１２３に蓄積された１ライン分の画像信号が順次外部に出力される（ステップＳ１９）。以上の手順により、手ぶれの影響が低減されるように補正された１フィールド分の画像信号が出力される。

図５および図６は、ＣＣＤ１２における電荷の転送および混合の様子について説明するための図である。
図５および図６では、説明を簡単にするために、ＣＣＤ１２の画素数を例として６行×４列としている。このようなＣＣＤ１２において、例えば図５（Ａ）に示すように、画素（３，１）（３，２）（４，１）（４，２）と、画素（３，３）（３，４）（４，３）（４，４）と、画素（５，１）（５，２）（６，１）（６，２）の各光電変換部１２１において、所定量の電荷が蓄積されたとする。電荷の蓄積期間が終了すると、図５（Ｂ）に示すように、全画素の光電変換部１２１から、対応する電荷転送部１２２に対して電荷が移動される。

この後、次の電荷の蓄積期間において、前の期間のときから右側に２画素分、下側に２画素分に相当する手ぶれが発生したとすると、図５（Ｃ）に示すように、手ぶれに応じてずれた位置の光電変換部１２１に電荷が蓄積される。このとき、図６（Ａ）に示すように、すべての電荷転送部１２２では、手ぶれに応じた位置に対して電荷が転送される。そして、図６（Ｂ）に示すように、すべての光電変換部１２１から、対応する電荷転送部１２２に対して電荷が移動され、混合される。

図７は、図５および図６のような手ぶれ発生時の電荷転送の様子をさらに詳しく説明するための図である。
図７では、図５および図６に示したような手ぶれ発生時の、電荷転送部１２２における実際の電荷転送の様子を示している。なお、図７では、各画素の光電変換部１２１の表示を省略している。

図７に示すように、電荷転送部１２２では、電荷の転送は実際には１画素ずつ行われる。このような電荷転送時には、すべての画素の電荷が一斉に移動されることから、例えば水平方向に転送される際には、図７（Ｂ）および（Ｃ）に示すように、端部の１列分の電荷は廃棄される。同様に、垂直方向に転送される際には、図７（Ｄ）および（Ｅ）に示すように、端部の１行分の電荷は廃棄される。このため、ＣＣＤ１２における手ぶれ補正を実現するためには、実際に画像信号として必要な画素数より多くの画素数を、ＣＣＤ１２に設けておく必要がある。

次に、上記のような手ぶれ補正処理を実行するためのＣＰＵ１６における制御処理について説明する。ここでは、１フレーム内に一定時間ごとに電荷の蓄積と移動を行う場合と、一定量より大きい手ぶれが生じたときに電荷の移動を行う場合の２つの処理手順を例示する。

図８は、一定時間ごとに電荷の蓄積と移動を行うことで手ぶれ補正を実現する場合のＣＰＵ１６の処理の流れを示すフローチャートである。
図８は、１フレーム分（または１フィールド分）の画像信号をＣＣＤ１２から出力させるための制御処理について示している。このフローチャートの処理は、垂直同期期間の開始時、またはシャッタ操作後の垂直同期期間の開始時に実行される。また、ＣＣＤ１２の動作制御は、ＴＧ２２に対して制御信号を出力することにより行われる。

ステップＳ１０１において、各画素の光電変換部１２１に電荷を蓄積させる。
ステップＳ１０２において、あらかじめ設定された光電変換部１２１における蓄積時間が経過したか否かを判定し、経過していない場合はステップＳ１０１に戻り、光電変換部１２１における電荷の蓄積を続行させる。また、蓄積時間が経過した場合は、ステップＳ１０３に進む。なお、このとき設定されている電荷の蓄積時間は、シャッタ速度より短く設定される。この電荷蓄積時間は、例えば、設定された露光時間を等間隔に分割した時間とすればよい。

ステップＳ１０３において、手ぶれ検出回路２３による手ぶれ検出値、具体的にはＣＣＤ１２上の水平方向および垂直方向に対する各移動距離情報を受け取る。
ステップＳ１０４において、受け取った手ぶれ検出値を基に、ＣＣＤ１２における電荷のシフト量を算出し、シフト量に応じた制御信号をＴＧ２２に出力する。これにより、ＣＣＤ１２上の各電荷転送部１２２では、手ぶれ検出量に応じた画素数分だけ電荷が転送される。

なお、１フレーム（または１フィールド）の処理期間が開始された直後では、電荷転送部１２２には電荷が蓄積されていないため、ステップＳ１０３およびＳ１０４の処理が行われなくてもよい。

ステップＳ１０５において、このとき光電変換部１２１に蓄積されている電荷を、同画素の電荷転送部１２２に移動させ、すでに蓄積されている画素と混合させる。
ステップＳ１０６において、設定された１フレーム分（または１フィールド分）の露光時間が経過したか否かを判定し、経過していない場合はステップＳ１０１に進み、光電変換部１２１において再び電荷の蓄積を開始させる。また、露光時間が経過した場合は、ステップＳ１０７に進む。

ステップＳ１０７において、電荷転送部１２２に蓄積された電荷を例えば１画素ずつ下方に順次シフトさせ、水平転送部１２３を通じて電荷を外部（ここでは前処理回路１３）に出力させる。

以上の処理では、シャッタ速度の設定に応じた露光時間を分割して、光電変換部１２１による電荷の蓄積を複数回行い、その都度、手ぶれの補正を実行している。従って、１回の電荷の蓄積時間が短いほど、手ぶれによる画質の劣化を高精度に抑制することができる。ただし、このためには、ＣＣＤ１２に対する駆動制御を高速化する必要が生じる。

なお、上記のフローチャートにおいて、実際には、ステップＳ１０５による電荷の移動が行われた後、すぐに光電変換部１２１において電荷の蓄積が開始されることが望ましい。これにより、露光量を多くして、より明るい画像を撮像することが可能となる。

図９は、一定量より大きい手ぶれが生じたときに電荷を移動させることで手ぶれ補正を実現する場合のＣＰＵ１６の処理の流れを示すフローチャートである。
図９のフローチャートも、上記の図８と同様に、１フレーム分（または１フィールド分）の画像信号をＣＣＤ１２から出力させるための制御処理について示している。

ステップＳ２０１において、各画素の光電変換部１２１に電荷を蓄積させる。
ステップＳ２０２において、手ぶれ検出回路２３からの検出信号を逐次受け取り、手ぶれ検出値が一定値より大きくなったか否かを判定する。一定値より大きい場合はステップＳ２０３に進み、一定値以下の場合はステップＳ２０５に進む。

ステップＳ２０３において、受け取った手ぶれ検出値を基に、ＣＣＤ１２における電荷のシフト量を算出し、シフト量に応じた制御信号をＴＧ２２に出力する。これにより、ＣＣＤ１２上の各電荷転送部１２２では、手ぶれ検出量に応じた画素数分だけ電荷が転送される。

ステップＳ２０４において、このとき光電変換部１２１に蓄積されている電荷を、同画素の電荷転送部１２２に移動させ、すでに蓄積されている画素と混合させる。
ステップＳ２０５において、設定された１フレーム分（または１フィールド分）の露光時間が経過したか否かを判定し、経過していない場合はステップＳ２０１に進み、光電変換部１２１において再び電荷の蓄積を開始させる。また、露光時間が経過した場合は、ステップＳ２０６に進む。

ステップＳ２０６において、このフレーム（またはフィールド）において手ぶれ補正が行われなかった場合（すなわち、ステップＳ２０３およびＳ２０４の処理が行われなかった場合）は、このとき光電変換部１２１に蓄積されている電荷を、同画素の電荷転送部１２２に移動させる。

ステップＳ２０７において、電荷転送部１２２に蓄積された電荷を例えば１画素ずつ下方に順次シフトさせ、水平転送部１２３を通じて電荷を外部（ここでは前処理回路１３）に出力させる。

以上の処理では、露光時間内に一定量以上の手ぶれが発生した場合にのみ、電荷転送部１２２における電荷の転送と混合が行われる。従って、ステップＳ２０２での手ぶれ検出値の判定基準が小さいほど、手ぶれの補正精度を高めることができる。本実施の形態のように、原色ベイヤ配列のＣＣＤ１２が用いられた場合、ＣＣＤ１２上の２画素分に相当する手ぶれ検出値が、設定可能な最小値となる。

以上の図８および図９のような処理により、シャッタ速度などに基づいて設定される１回の露光時間内に、ＣＣＤ１２内における電荷の転送および混合によって、手ぶれに対する画像信号の補正処理が行われ、処理後の画像信号が外部に出力される。このため、手ぶれ補正のためのレンズあるいはＣＣＤ１２の移動機構を設ける必要がなくなり、従来使用していた光学系の部品を流用しながらも、手ぶれによる画質劣化を抑制することが可能となる。

また、画像信号を外部に出力することなく、ＣＣＤ１２の内部のみで手ぶれ補正が行われるので、手ぶれ補正のための画像蓄積用のメモリを設ける必要がなく、回路規模を増大させることもない。さらに、このメモリからの複数フレームの画像の読み出しや、読み出し位置の制御、合成などの処理も必要とならないので、処理負荷が軽減され、画像の記録処理などを高速化することができる。

また、ＣＣＤ１２から外部への信号転送が１フレーム（あるいは１フィールド）につき１回なので、転送時間が短くなる分、ＣＣＤ１２における露光時間を長くすることができ、手ぶれの影響が少なく、かつ、より明るい画像を撮像することができる。

また、手ぶれ補正の精度は、光電変換部１２１における１回の電荷蓄積時間、または検出される手ぶれ量によって決まるので、シャッタ速度などにより設定される１フレーム当たりの露光時間に関係なく、いかなる撮影状況でも同じ精度で手ぶれ補正を行うことができる。

次に、手ぶれ検出回路２３の内部構成について、２つの例を挙げる。
図１０は、手ぶれ検出回路２３の第１の内部構成例を示す図である。
図１０に示す手ぶれ検出回路２３は、角速度を基に手ぶれ量を検出する構成となっており、水平方向への移動量を検出するための角速度センサ２３１ａ、Ａ／Ｄ変換器２３２ａおよび積分器２３３ａと、垂直方向への移動量を検出するための角速度センサ２３１ｂ、Ａ／Ｄ変換器２３２ｂおよび積分器２３３ｂを具備する。

角速度センサ２３１ａおよび２３１ｂは、互いに直交する軸回りの角速度を検出し、検出されたアナログ信号はＡ／Ｄ変換器２３２ｂおよび２３２ｂによりそれぞれデジタル信号に変換された後、積分器２３３ａおよび２３３ｂに供給される。積分器２３３ａおよび２３３ｂは、入力された加速度情報を積分して、それぞれＣＣＤ１２の受光面上の水平方向および垂直方向への移動距離情報を演算し、システムバス２４を通じてＣＰＵ１６に出力する。

図１１は、手ぶれ検出回路２３の第２の内部構成例を示す図である。
図１１に示す手ぶれ検出回路２３は、加速度を基に手ぶれ量を検出する構成となっており、水平方向への移動量を検出するための加速度センサ２３５ａ、Ａ／Ｄ変換器２３６ａおよび積分器２３７ａと、垂直方向への移動量を検出するための加速度センサ２３５ｂ、Ａ／Ｄ変換器２３６ｂおよび積分器２３７ｂを具備する。

加速度センサ２３５ａおよび２３５ｂは、それぞれＣＣＤ１２の受光面上の垂直方向および水平方向の加速度を検出し、検出されたアナログ信号はＡ／Ｄ変換器２３６ａおよび２３６ｂによりそれぞれデジタル信号に変換された後、積分器２３７ａおよび２３７ｂに供給されて積分され、その演算結果は、水平方向および垂直方向への移動距離情報として、システムバス２４を通じてＣＰＵ１６に出力される。

なお、図１０および図１１の回路において、積分器の機能はＣＰＵ１６の演算処理により実現されてもよい。この場合、デジタル変換された２方向への角速度情報または加速度情報が、手ぶれ検出回路２３から出力される。

また、電荷の混合は、同じ色のカラーフィルタを具備する画素において行われる必要がある。このため、本実施の形態のように原色ベイヤ配列が採用された場合は、手ぶれ検出回路２３による手ぶれ量は、最低２画素分に相当する量を単位として検出されればよい。

〔第２の実施の形態〕
以下の第２の実施の形態では、電荷転送部における電荷の転送方向が垂直方向のみであるＣＣＤを用いて、垂直方向の手ぶれ補正を実現する場合の例を挙げる。この場合、デジタルスチルカメラ全体の構成は、上記の図１に示したものとほぼ同様となる。ただし、光学ブロックにおけるレンズの移動、またはＣＣＤ自身の移動により、水平方向のみに対する手ぶれ補正を行うことが可能なように構成することが望ましい。

図１２は、本発明の第２の実施の形態に係るＣＣＤの構造を模式的に示す図である。
図１２に示すように、本実施の形態に係るＣＣＤ１２ａには、ｍ行ｎ列のマトリクス状に画素が配置され、各画素について光電変換部１２５および垂直転送部１２６が設けられ、さらに各列に対して水平転送部１２７が設けられている。これらのうち、光電変換部１２５および水平転送部１２７は、上述した第１の実施の形態と同様の構成を有する。また、垂直転送部１２６は、従来のＣＣＤと同様に、同画素の光電変換部１２５から転送された電荷を、垂直方向に転送する。ただし、垂直転送部１２６は、電荷を上下方向に転送可能となっており、また、すでに蓄積された電荷と、同画素の光電変換部１２５からの電荷とを混合することが可能となっている。これにより、ＣＣＤ１２ａ内では、垂直方向の手ぶれが生じた場合に、これに伴う画像劣化を抑制することができる。

なお、上記のＣＣＤ１２ａでは、１つの光電変換部１２５に対して１つの垂直転送部１２６を設けたが、垂直方向に並列した複数の光電変換部１２５に対して１つの垂直転送部１２６が設けられてもよい。

図１３および図１４は、ＣＣＤ１２ａにおける電荷の転送および混合の様子について説明するための図である。
図１３および図１４では、説明を簡単にするために、ＣＣＤ１２ａの画素数を例として６行×４列としている。このようなＣＣＤ１２ａにおいて、例えば図１３（Ａ）に示すように、画素（３，１）（３，２）（４，１）（４，２）と、画素（３，３）（３，４）（４，３）（４，４）と、画素（５，１）（５，２）（６，１）（６，２）の各光電変換部１２５において、所定量の電荷が蓄積されたとする。電荷の蓄積期間が終了すると、図１３（Ｂ）に示すように、全画素の光電変換部１２５から、対応する垂直転送部１２６に対して電荷が移動される。

この後、次の電荷の蓄積期間において、前の期間のときから下側に２画素分に相当する手ぶれが発生したとすると、図１３（Ｃ）に示すように、手ぶれに応じてずれた位置の光電変換部１２５に電荷が蓄積される。このとき、図１４（Ａ）に示すように、すべての垂直転送部１２６では、手ぶれに応じた位置に対して電荷が転送される。この電荷の転送は、例えば、図８の処理と同様に、一定の蓄積時間が経過したときに、その時点での手ぶれ検出量に応じて行うか、あるいは図９に示すように、手ぶれ検出量が一定量以上となったときに行えばよい。そしてこの後、図１４（Ｂ）に示すように、すべての光電変換部１２５から、対応する垂直転送部１２６に対して電荷が移動され、混合される。

以上のような動作により、本実施の形態に係るＣＣＤ１２ａを用いた場合には、垂直方向の手ぶれ補正を行うことが可能となる。従って、垂直方向については、画像信号を外部に出力することなく、高速かつ高性能の手ぶれ補正を実現することができる。また、上記構造のＣＣＤ１２ａは、従来のＣＣＤの構造に極めて近いため、大幅なコストの上昇を招くことなく、開発・製造を行うことが可能である。

また、上記のＣＣＤ１２ａを用いた場合は、水平方向の手ぶれ補正は、レンズあるいはＣＣＤ１２ａ自身を水平方向に移動させることで行えばよい。これにより、レンズあるいはＣＣＤ１２ａの手ぶれ補正のための移動機構を、垂直・水平の双方向に移動させる場合より簡略化することができ、部品コストが抑制される。従って、高速かつ高性能の手ぶれ補正を低コストで実現することができる。

なお、以上の各実施の形態では、本発明をデジタルスチルカメラに適用した場合について説明したが、本発明は、これ以外に例えば、デジタルビデオカメラや携帯型電話機、ＰＤＡ（Personal Digital Assistance）など、静止画像または動画像をデジタル方式で撮像する機能を有するあらゆる機器に対して適用することが可能である。また、本発明は、ＣＣＤのように、光電変換した電荷の蓄積部と、その電荷を逐次転送する転送部とが画素ごとに設けられる固体撮像素子に適用することが可能である。

本発明の第１の実施の形態に係るデジタルスチルカメラの構成を示すブロック図である。 本発明の第１の実施の形態に係るデジタルスチルカメラに用いられたＣＣＤの構造を模式的に表した図である。 本発明の第１の実施の形態に係るＣＣＤの内部における電荷の転送および混合機能を説明するための図である。 本発明の第１の実施の形態に係るＣＣＤにおける手ぶれ補正処理の流れを模式的に示す図である。 本発明の第１の実施の形態に係るＣＣＤにおける電荷の転送および混合の様子について説明するための第１の図である。 本発明の第１の実施の形態に係るＣＣＤにおける電荷の転送および混合の様子について説明するための第２の図である。 手ぶれ発生時の電荷転送の様子をさらに詳しく説明するための図である。 一定時間ごとに電荷の蓄積と移動を行うことで手ぶれ補正を実現する場合のＣＰＵの処理の流れを示すフローチャートである。 一定量より大きい手ぶれが生じたときに電荷を移動させることで手ぶれ補正を実現する場合のＣＰＵの処理の流れを示すフローチャートである。 手ぶれ検出回路の第１の内部構成例を示す図である。 手ぶれ検出回路の第２の内部構成例を示す図である。 本発明の第２の実施の形態に係るＣＣＤの構造を模式的に示す図である。 本発明の第２の実施の形態に係るＣＣＤにおける電荷の転送および混合の様子について説明するための第１の図である。 本発明の第２の実施の形態に係るＣＣＤにおける電荷の転送および混合の様子について説明するための第２の図である。

符号の説明

１１……光学ブロック、１２……ＣＣＤ、１３……前処理回路、１４……カメラ処理回路、１５……エンコーダ／デコーダ、１６……ＣＰＵ、１７……ＲＯＭ、１８……ＲＡＭ、１９……グラフィックＩ／Ｆ、１９ａ……ディスプレイ、２０……Ｒ／Ｗ、２０ａ……メモリカード、２１……入力部、２２……ＴＧ、２３……手ぶれ検出回路、２４……システムバス、１２１……光電変換部、１２２……電荷転送部、１２３……水平転送部

Claims (13)

1. 被写体からの光に応じた画像信号を生成する固体撮像素子において、
   ２軸方向に複数配列された光電変換部と、
   前記光電変換部から読み出した電荷を、前記２軸方向のうちの少なくとも１軸方向に対してその正負のうちの任意の方向に転送し、また、任意の画素数分だけ転送した電荷を、転送先の画素に対応する前記光電変換部から読み出した電荷と混合することが可能な電荷転送部と、
   を有することを特徴とする固体撮像素子。
2. 前記電荷転送部は、前記光電変換部から読み出した電荷を、前記２軸方向のうちの少なくとも１軸方向に対する手ぶれ量に応じた画素数分だけ転送した後、転送先の画素に対応する前記光電変換部から読み出した電荷と混合することを特徴とする請求項１記載の固体撮像素子。
3. 前記電荷転送部は、同色のカラーフィルタに対応する前記光電変換部から読み出した電荷を混合することを特徴とする請求項１記載の固体撮像素子。
4. 前記電荷転送部は、すべての画素の電荷を同じ方向に同じ画素数分だけ同時に転送することを特徴とする請求項１記載の固体撮像素子。
5. 前記電荷転送部は、１フレームまたは１フィールド当たりの露光時間内に、電荷の転送および混合を複数回行うことが可能であることを特徴とする請求項１記載の固体撮像素子。
6. 固体撮像素子を用いて画像を撮像する撮像装置において、
   前記固体撮像素子は、
   ２軸方向に複数配列された光電変換部と、
   前記光電変換部から読み出した電荷を、前記２軸方向のうちの少なくとも１軸方向に対してその正負のうちの任意の方向に転送し、また、任意の画素数分だけ転送した電荷を、転送先の画素に対応する前記光電変換部から読み出した電荷と混合することが可能な電荷転送部と、
   を有することを特徴とする撮像装置。
7. 前記固体撮像素子の駆動を制御する駆動制御部と、
   前記２軸方向のうちの少なくとも１軸方向に対する手ぶれ量を検出する手ぶれ検出部と、
   をさらに有し、
   前記駆動制御部は、前記光電変換部から読み出した電荷を、前記手ぶれ検出部により検出された前記手ぶれ量に応じた画素数分だけ転送した後、転送先の画素に対応する前記光電変換部から読み出した電荷と混合するように、前記電荷転送部を制御することを特徴とする請求項６記載の撮像装置。
8. 前記駆動制御部は、電荷の転送、および、転送した電荷と、転送先の画素に対応する前記光電変換部から読み出した電荷との混合を一定時間ごとに行うように前記電荷転送部を制御することを特徴とする請求項７記載の撮像装置。
9. 前記駆動制御部は、電荷の転送、および、転送した電荷と、転送先の画素に対応する前記光電変換部から読み出した電荷との混合を、１フレームまたは１フィールド当たりの露光時間内に複数回行うように前記電荷転送部を制御することを特徴とする請求項８記載の撮像装置。
10. 前記駆動制御部は、前記手ぶれ検出部により検出された前記手ぶれ量が一定値より大きくなったときに、電荷の転送、および、転送した電荷と、転送先の画素に対応する前記光電変換部から読み出した電荷との混合を行うように前記電荷転送部を制御することを特徴とする請求項７記載の撮像装置。
11. 前記電荷転送部は、同色のカラーフィルタに対応する前記光電変換部から読み出した電荷を混合することを特徴とする請求項６記載の撮像装置。
12. 前記電荷転送部は、すべての画素の電荷を同じ方向に同じ画素数分だけ同時に転送することを特徴とする請求項６記載の撮像装置。
13. ２軸方向に複数配列された光電変換部と、前記光電変換部から読み出した電荷を転送する電荷転送部とを具備する固体撮像素子の駆動方法において、
    前記電荷転送部が、前記光電変換部から読み出した電荷を、前記２軸方向のうちの少なくとも１軸方向に対する手ぶれ量に応じた画素数分だけ転送した後、転送先の画素に対応する前記光電変換部から読み出した電荷と混合するように前記固体撮像素子を駆動する、
    ことを特徴とする固体撮像素子の駆動方法。

Images