JP2007088997A - 撮像装置 - Google Patents

Abstract

【課題】 複雑な演算処理や複数の画像を一時保持する第容量の記憶手段を用いることなく、シャッターボタン押下時に急激に手ぶれした場合でも高精度に像ぶれを補正する撮像装置を提供する。
【解決手段】 光学系１を介して撮像素子２上の結像した被写体の光像を画像として出力する撮像装置において、撮像装置の動きに対応する角度変位量及び角速度を検出し（７）、検出された角度変位量及び角速度をサンプリングし（８，９）、サンプリングの結果に基づき、シャッターボタン（１２）を押した後の、撮像画像を取り込む時点での角度変位を算出し、算出された角度変位に応じて像ぶれを補正する（１０）。
【選択図】 図１

Description

この発明は、カメラなどにおける静止画撮像時の手ぶれなどによるぶれを検出し、像ぶれの補正を行う撮像装置に関するものである。本発明は特に、デジタルスチルカメラなどの機器に生じる振動を検出して、像ぶれ補正を行う撮像装置に関する。

撮影時のカメラの手ぶれは、通常１Ｈｚ乃至１０Ｈｚ程度の周波数の振動であるが、シャッターの押下時においてこのような手ぶれを起こしていても像ぶれを補正して、像ぶれのない画像を得ることができるようにすることが望まれる。
撮像装置による静止画撮像時の手ぶれを角速度センサーで検出し、被写体を結像するための光学系またはその一部を、検出されたぶれを打ち消す方向に移動させて、撮像素子上に結像する像がぶれないようにする技術が提案されている（たとえば、特許文献１参照）。

上記のように撮影者の手ぶれは一般に１Ｈｚ乃至１０Ｈｚ程度の振動であり、角速度センサーからの出力値を積算し、角度変位量としてマイコンなどの演算手段に手ぶれ情報として入力し、演算手段で上記周波数の振動による影響を打ち消すように光学系を移動させるようにアクチュエータを制御する。また、光学系には移動後の絶対位置がわかるように位置検出素子が設けられており、前記演算手段は位置検出素子によって検出された光学系の位置と、目標とする移動位置との差が小さくなるように補正しながら光学系を駆動するように制御を行う。なお、光学系を撮像素子に対して移動させる代わりに、撮像素子を光学系に対して移動させても同じである。

また、適正露出の時間を分割して、分割した時間で撮像した画像を、ぶれの方向に移動させて互いに重ね合わせることで、ぶれを数分の１に低減する技術も提案されている（たとえば、特許文献２参照）。

特開２００４−２５２４８６公報（段落００１２） 特開２００４−３４３４８３公報（段落００２１）

しかしながら、特許文献１にあげた従来の技術では、静止画を撮像する瞬間（シャッターを押した瞬間）の手ぶれを検出し、それに対してすばやく光学系の駆動制御を行わなければならないため、演算を高速に行う必要があり、そのため通常撮像装置の種々の機能を制御するマイコンとは別に、手ぶれ補正を制御するための独立したマイコンを設けて制御を行わなければならないという問題があった。また、光学系の位置を検出する位置検出素子の出力に応じて光学系の位置の補正を行うためのフィードバック系の演算ループを組み込むために演算を高速に行う必要があり、マイコンは制御のための演算を行い続ける必要があった。

さらに、特許文献２にあげた従来の技術では、画像を重ね合わせるために適切な移動量を演算する必要があり、演算処理の内容が複雑となり、処理負荷が増大するため処理速度が低下すると言う問題があった。また、撮像装置の撮像素子はその画素数が飛躍的に増大しており、画素数の増大に応じて演算量も増大すると言う問題もあった。さらに、複数枚の画像を一時保持しておくための記憶手段を必要とすると言う問題があった。

また、近年小型・軽量の撮像装置が増え、撮像装置をしっかりと保持できず、さらに片手で撮影する機会も多くなってきており、撮像装置を保持する際に発生する常時の手ぶれに加えて、シャッターボタンを押した際に新たに加わる急激な手ぶれも発生しやすいため、押された際に急激に変化する手ぶれ量に対応した補正を行わなければ精度の高い手ぶれ補正が得られないという問題もあった。

本発明は、
撮像素子と、
被写体の光像を前記撮像素子上に結像する光学系と、
前記撮像素子を駆動する撮像素子駆動手段とを具備し、
前記撮像素子上に結像した被写体の光像を画像として出力する撮像装置において、
撮像した画像を静止画像として取り込むためのシャッターボタンと、
撮像装置の動きの角速度及び角度変位量を検出する動き検出手段と、
前記動き検出手段によって検出された角速度を所定の時間間隔でサンプリングする角速度サンプリング手段と、
前記動き検出手段によって検出された角度変位量を所定の時間間隔でサンプリングする角度変位サンプリング手段と、
前記角速度サンプリング手段及び前記角度変位サンプリング手段の出力結果に基づき、前記シャッターボタンが押された後、前記撮像素子で撮像画像が静止画像として取り込まれる時点における撮像装置の動きに応じた像ぶれを算出し、算出された像ぶれを補正するぶれ補正手段と
を有する撮像装置を提供する。

本発明によれば、高速で演算を行う必要がなく、フィードバック系の演算ループも組む必要がないため、位置検出素子を必要としない手ぶれ補正を実現することができる。さらにまた、急激なぶれの変化に対しても精度の高い手ぶれ補正を実現することができる。

実施の形態１．
図１はこの発明の実施の形態１の撮像装置を示す概略構成図である。図１に示される撮像装置は、光学系１と、撮像素子２と、アナログフロントエンド３と、ＡＤＣ４と、デジタル信号処理部５と、表示手段６と、動き検出手段７と、角速度サンプリング手段８と、角度変位サンプリング手段９と、制御手段１０と、積算手段１１と、シャッターボタン１２と、駆動パルス発生手段（撮像素子駆動手段）１３と、光学系駆動手段（アクチュエータ駆動手段）１４とを有する。

光学系１を介して入射された光は光学像として撮像素子２上に結像される。
撮像素子２は光学像を光電変換してＲ、Ｇ、Ｂの映像信号（それぞれＲ信号、Ｇ信号、Ｂ信号）を出力する。
アナログフロントエンド（ＡＦＥ）３は、撮像素子２から出力された信号のノイズ除去や信号増幅を行う。
アナログフロントエンド３の出力は、Ａ／Ｄコンバータ（ＡＤＣ）４によってデジタル信号に変換され、デジタル信号処理部５によってホワイトバランスやマトリクス演算など映像信号処理に必要な信号処理を行い、映像信号として出力される。

図１に示した光学系１は、レンズを含むものであり、図２に示す撮像素子２の光軸Ｚ方向に対して垂直な面内の互いに垂直なＸ軸およびＹ軸方向で動かすためのアクチュエータ１５及び１６を備えており、光軸ＺをＸ軸、Ｙ軸方向に移動させることで、撮像素子２上の結像位置を変えることができる。

動き検出手段７は撮像装置の動きを検出する手段であり、撮像装置を手で保持したときおよび撮影のためのシャッターボタンを押したときの手ぶれによる撮像装置の動きを角度変位量として検出する。
動き検出手段７はたとえば図３に示すように構成される。図３に示される角速度センサー７１は撮像装置の手ぶれによる角速度を出力する。一般に手ぶれは１Ｈｚ乃至１０Ｈｚ程度の振動であり、一方撮影者が意図して撮像装置を水平や垂直方向に動かすパンニングまたはチルティングは１Ｈｚ以下であり、周波数にて切り分けることができる。そのため、手ぶれに対応する周波数だけを抜き取るバンドパスフィルター（ＢＰＦ）７２の出力側において、手ぶれの周波数帯域だけ抜き取られた角速度ωが得られ、ＢＰＦ７２の出力を積算手段７３によって積算することで角速度に基づいて算出された角度変位量θが得られる。なお、撮像装置の動きは相対位置を検出するのが目的であるので、角度変位量の初期値（積算の開始時の角度変位量）をゼロとする。

図４に手ぶれによる信号成分を示す。図４（ａ）は角速度センサー７１から出力される角速度ωであり、手ぶれの振動で角速度ωも周期的に正弦波状に変化している。図４（ｂ）は角速度ωを積算手段７３によって積算された角度変位信号であり、角速度信号（図４（ａ））より位相が（π／２）ｒａｄ遅れたものとなる。なお、図３に示される動き検出手段７は、１つの角速度センサー７１しか具備していないが、光学系１をＸ方向とＹ方向に駆動させるためには２つの角速度センサーを具備してそれぞれの方向の角速度を検出すればよい。また、角速度センサー７１の出力を増幅するため角速度センサー７１の後に増幅手段を設けることとしても良い。

再び図１を参照し、角速度サンプリング手段８はＢＰＦ７２から出力された角速度ωを一定の時間間隔ごとにサンプリングし、サンプリングの結果得られるデータを制御手段１０に供給する。角度変位サンプリング手段９は積算手段７３から出力された角度変位量θを一定の時間間隔ごとにサンプリングし、サンプリングの結果得られるデータを制御手段１０に供給する。

積算手段１１はデジタル信号処理部５から出力される輝度信号Ｙを少なくとも１画面以上ずつ積算し、その結果得られる積算値を出力する。制御手段１０は、積算手段１１から出力される積算値に基づいて、制御信号ＰＣを駆動パルス発生手段１３に与えることで、例えば電子シャッターにより露光制御（電荷蓄積時間の調整による制御）を行う。なお、アイリスが設けられている撮像装置においては、積算手段１１の出力に基づく露光制御をアイリスの制御によって行っても良い。

シャッターボタン１２は静止画像を撮像するための使用者が押すボタンであり、使用者により押下されると、トリガー信号（トリガーパルス）ＴＳを発生する。

制御手段１０は、角速度サンプリング手段８及び角度変位サンプリング手段９から入力された角速度ω及び角度変位量θを元に撮像装置の手ぶれの周波数とその振幅を算出し、シャッターボタン１２からトリガーパルスＴＳの供給を受け、これらに基づいて、駆動パルス発生手段１３及び光学系駆動手段１４を制御する。

撮像装置は通常被写体を確認するため常に撮像に必要な撮像画像の確認のためのＬＣＤなどの表示手段６を駆動させており、シャッターボタン１２が押された時点から、画像が静止画像として取り込まれるまで（例えば、後に実施の形態２に関して説明するように、撮像素子２内の光電変換部２０で蓄積された電荷が垂直転送部２２に読み出されるまで）は一定の時間遅れ（タイムラグ）δｔが生じる。
制御手段１０は撮影時に予め入力され続けている角度変位量から撮像装置の手ぶれ周波数と変位の振幅を算出しており、その値よりシャッターボタン１２からのトリガーパルスＴＳが供給されてから、画像が静止画像として取り込まれるまでにかかる時間遅れδｔ後の撮像装置の角度変位量を算出する。

制御手段１０は算出した時間遅れδｔ後の角度変位量から光学系１の移動量を算出し、光学系駆動手段１４へ制御信号ＬＣを出力する。光学系１の移動量と撮像装置の角度変位量には一般に以下の式（１）の関係がある。
ｕ＝ｆ×θ／α …（１）

ここで、ｕは光学系１の移動量（ｍｍ）であり、ｆは光学系１の焦点距離（ｍｍ）、θは撮像装置の角度変位量（ｒａｄ）であり、αは光学系１の補正定数である。補正定数αは光学系１の移動量に対する撮像素子２の像面での像の移動量の比を表し、光学系１の設計によって変化する。

光学系駆動手段１４は制御手段１０から送られてきた制御信号ＬＣに基づいてアクチュエータ１５及び１６を駆動して光学系１を手ぶれの補正量だけ移動させ、撮像素子２が静止画像を撮像する際には手ぶれのない画像が撮像素子２上に結像される。

ここで、制御手段１０による手ぶれの振動周波数と振動振幅の算出および静止画撮影時における角度変位量の算出について説明する。図５に、制御手段１０のうち、ぶれ補正に関する部分の構成の一例を示す。
図５において、振幅検出手段８１は、動き検出手段７から入力された角度変位量の最大値θｍａｘと最小値θｍｉｎを検出し、保持し手ぶれの振動の振幅値βを算出し出力する。振幅値βは例えば下記の式（２）に示すことができる。
β＝｜θｍａｘ−θｍｉｎ｜／２ …（２）
なお、式（２）において、θｍａｘ、θｍｉｎは正負の符号の着いた値であり、θｍａｘが正、θｍｉｎが負であれば、
β＝（｜θｍａｘ｜＋｜θｍｉｎ｜）／２
と書き換えられる。

振幅検出手段８１は常時角度変位量を入力しているため、先の最大値θｍａｘと最小値θｍｉｎは新たに一時保持されている値より大きな値が入るとその値に更新される。また予め定められた特定の時間がたつと撮像の条件が変化したとみなし、その値がリセットされるように構成されている。

遅延手段８２は、入力された角度変位量θを受けて、１サンプル間隔に等しい遅延時間だけ遅延させて出力する。入力された角度変位量θをθｎ（ｎはサンプル番号乃至タイミングを示す）で表せば、遅延手段８２の出力は、θ（ｎ−１）で表される。
比較器８３は入力された角度変位量θｎと、遅延手段８２を介して入力される１サンプル間隔前の角度変位量θ（ｎ−１）を比較し、入力された角度変位量θｎがθ（ｎ−１）に比べて大きいか小さいかを比較し、前者が後者よりも大きいときは、変化が上向きであるとの判定をし、前者が後者よりも小さければ変化が下向きであるとの判定をする。

変化方向記憶手段８４は、各サンプリングポイントについて変化の方向を記憶する。図６に手ぶれの角度変位量を表す波形を示す。波形を示す曲線上の白丸が角度変位サンプリング手段９によるサンプリングポイントである。また、比較器８３において変化が上向きであると判定されたサンプリングポイントｎには、上向きの矢印↑、比較器８３において変化が下向きであると判定されたサンプリングポイントｎには下向きの矢印↓が付されている。
周波数演算手段８５は変化方向記憶手段８４の記憶内容から手ぶれの周波数ｆを算出する。例えば、変化が上向きの状態から変化が下向きの状態に切り替わった時点から、次に変化が下向きの状態から上向きの状態に切り替わった時点までの時間の２倍の逆数を周波数として求める。

遅延手段８７は、入力された角速度ωを受けて、１サンプル間隔に等しい遅延時間だけ遅延させて出力する。入力された角速度ωをωｎ（ｎはサンプル番号乃至タイミングを示す）で表せば、遅延手段８７の出力は、ω（ｎ−１）で表される。

領域変化検出手段２８は、予め角速度ωの値を、値ごとに複数の領域で分けており、入力された角速度ωがどの領域に属するかを検出し、さらに一つの領域から他の領域への変化（遷移）を検出する。例えば、角速度の値が正（+）である領域を第１の領域、負（−）である領域を第２の領域とする。領域変化検出手段８７は入力された角速度ωｎが前記第１の領域であるか、第２の領域であるかを検出する。さらに、遅延手段８７を介して入力された角速度ω（ｎ−１）がいずれの領域に属するかを検出し、入力された角速度ωｎの領域とを比較し、角速度が第１の領域から第２の領域に変化したか、また第２の領域から第１の領域へ変化したかを検出し、その検出結果を出力する。角速度の値が一つの領域から他の領域へ変化したとき、それはシャッターボタン１２の押下による手ぶれにより撮像装置がそれまでの、保持されていたときの手ぶれによる振動による動きとは逆の方向に動いたことを意味している。領域変化検出手段８８は、領域の変化を検出したか否かを示す信号ＲＣを出力する。

角度変位量算出手段８９は、振幅検出手段８１により検出された手ぶれの振幅βと周波数演算手段８５によって算出された周波数ｆと、領域変化検出手段８８からの信号ＲＣを受けて、これらに基づいて角度変位量を算出する。
角度変位量算出手段８９は、静止画像が撮像されると予想される時点（シャッターボタン１２から入力され、トリガーパルスＴＳが発生した時点ｔ０から、静止画像が撮像されるまでの時間遅れδｔが経過した時点（ｔ０＋δｔ））の手ぶれの角度変位量を算出するものであり、信号ＲＣが領域変化があったことを示すものではない場合には、時刻（ｔ０＋δｔ）における角度変位を、下記の式（３Ａ）で求め、信号ＲＣが領域変化があったことを示すものである場合には、時刻（ｔ０＋δｔ）における角度変位を、下記の式（３Ｂ）で求める。
θ（ｔ０＋δｔ）＝γ×β×ｓｉｎ（ｋ×２πｆ×δｔ＋θ０） …（３Ａ）
θ（ｔ０＋δｔ）＝γ×β×ｓｉｎ（ｋ×２πｆ×δｔ＋θ０−π） …（３Ｂ）

ここで、βは振幅検出手段８１で求められた手ぶれの振幅値、ｓｉｎは三角関数（正弦）、ｆは周波数演算手段８５にて算出された手ぶれの周波数、δｔは撮像画像の静止画像としての取込みまでの時間遅れ、θ０は時刻ｔ０における位相（角度変位量の変化の周期における位相）である。
また、γは定数である。通常、小型・軽量の撮像装置では静止画撮影前に撮像装置を保持している際に発生する手ぶれの振幅値に比べ、シャッターボタンを押した際に振れる撮像装置の移動量の方が大きくなる。そこで、シャッターボタンを押した際に振れる振幅値に、１より大きい定数γを乗ずることでシャッターボタンが押された後の振動の振幅を算出する。定数γは予め撮像装置を保持したときに手ぶれる振幅値と、シャッターボタンを押した際の手ぶれの振幅値との関係を測定しておき、測定結果に基づいて定められるものである。
係数ｋについては以下に説明する。

次に、係数ｋの意義、及び信号ＲＣが、領域変化があったことを示すものかどうかに基づいて異なる式を用いる理由を説明する。

仮に、シャッタボタンを押した後も、押す前と同じ振動が続くのであれば、そしてまた、この振動が略正弦波で表されるとすれば、角度変位の変化は図６に示すごとくであり、時刻（ｔ０＋δｔ）における角度変位θ（ｔ０＋δｔ）は、
θ（ｔ０＋δｔ）＝β×ｓｉｎ（２πｆ×δｔ＋θ０） …（３）
で与えられる。

しかし、実際には静止画撮像を行うためのシャッターボタン１２を押す際に、撮像装置はそのぶれが急激に変動することが多い。具体的な振動の変化の例を図７（ａ）乃至図９（ｂ）に示す。図７（ａ）及び（ｂ）は撮像装置を保持していた際に発生していた手ぶれの位相に対して、シャッターボタンを押した瞬間（ｔ０）、同じ方向に振れが急速に加速した場合の角速度及び角度変位の波形を実線で示している。その場合、角速度が急に変化し、ぶれの周波数が高くなり、角度変位量も大きくなる。（なお、点線はぶれの周波数に変化がない場合を示す。）式（３Ａ）における係数ｋは、この周波数の増大を考慮したものである。係数ｋは予め定めておいてもよいし、角速度ωの変化量Δωを算出する手段を設け、その値に応じて求めてもよい。また、係数γは、上記のように、シャッターボタンを押したことによる角度変位量θの増大を考慮したものである。

また、図８（ａ）及び（ｂ）、並びに図９（ａ）及び（ｂ）はシャッターボタンを押した瞬間、撮像装置を保持していた際に発生していたぶれに対して、撮像装置が逆の方向へ動いた場合の角速度及び角度変位の波形を示している。その場合も、角速度が急激にπ（ｒａｄ）変化し、ぶれの周波数が高くなり、角度変位量も大きくなる。式（３Ｂ）における係数ｋはこの周波数の増大を考慮したものであり、「−π」は、角速度のπ（ｒａｄ）の変化を考慮したものである。
なお、図８（ａ）及び（ｂ）は、角速度が正の値のときにシャッターボタンが押された場合を示し、図９（ａ）及び（ｂ）は、角速度が負の値のときにシャッターボタンが押された場合を示す。

角度変位量算出手段８９によって算出されたθ（ｔ＋δｔ）は制御量変換手段９０に入力され、手ぶれ補正するための補正量に変換される。図１に示すように光学系１を移動させて手ぶれ補正を行う場合は、光学系１の移動量に変換され、その移動量を光学系駆動手段１４へ出力する。光学系駆動手段１４は入力された制御量ＬＣに応じて光学系１を移動させ、撮影時の手ぶれを補正する。静止画像が撮像されれば、振幅検出手段８１で保持されている振幅値および変化方向記憶手段８４の記憶内容は次の撮影に備えてリセットされる。

制御手段１０は、上記のようにぶれ補正手段としての機能を有する。制御手段１０は、
図５に示す各ブロックをハードウエアで構成することもできるが、ソフトウエア即ちプログラムされたコンピュータにより構成することもできる。以下、ソフトウエアで実現する場合の制御手段１０の動作を図１０のフローチャートを参照して説明する。

角度変位サンプリング手段９から一定のサンプリング間隔で角度変位量を入力する（Ｓ１）。
そして、入力された角度変位量を１サンプリング間隔前に入力された角度変位量と比較して、変化の方向を判定し、比較結果を変化方向記憶手段８４に記憶し（Ｓ２），記憶結果に基づいて手ぶれの周波数ｆを、例えば上述の方法で算出する（Ｓ３）。
また、角度変位量の値が大きい値を常に更新していくことで一定時間内の最大値（θｍａｘ）と、小さい値を常に更新していくことで一定時間内の最小値（θｍｉｎ）を検出し、その値から手ぶれの振幅値βを、例えば上述の方法で算出する（Ｓ４）。
次にシャッターボタン１２のトリガーパルスＴＳが入力されたか否かを判断する（Ｓ５）。シャッターボタン１２のトリガーパルスＴＳが入力されていないときは（ステップＳ５でＮｏ）、ステップＳ１からＳ５を繰り返す。

シャッターボタン１２のトリガーパルスＴＳが入力されたときは（ステップＳ５でＹｅｓ）、ステップＳ６に進み、角速度の領域が変化したかどうか（角速度ωが正から負へ、又は負から正へ変化したかどうか）の判定を行う。
領域が変化しなかったときは（Ｓ６でＮＯ）、ステップＳ７に進み、ステップＳ３で算出した手ぶれの周波数ｆと、ステップＳ４で算出した手ぶれの振幅値βから一定時間δｔ後の角度変位量θ（ｔ０＋δｔ）を、例えば上記の式（３Ａ）により算出する。
領域が変化したときは（Ｓ６でＹＥＳ）、ステップＳ７に進み、
ステップＳ３で算出した手ぶれの周波数ｆと、ステップＳ４で算出した手ぶれの振幅値βから一定時間δｔ後の角度変位量θ（ｔ０＋δｔ）を、例えば上記の式（３Ｂ）により算出する。
次に、算出した角度変位量θ（ｔ０＋δｔ）から手ぶれ補正を行う補正量（制御量）に変換を行い、その値を出力する（Ｓ９）。

上記の例では、光学系１をＸ方向およびＹ方向に移動させて手ぶれ補正を行っているが、他の補正手段、例えば撮像素子２をＸ方向及びＹ方向に移動させて手ぶれ補正を行う手段を用いることもできる。

実施の形態２．
図１１は本発明の実施の形態２の撮像装置を示す概略構成図である。図１１に示される撮像装置は、概して図１に示される撮像装置と同じであるが、図１の光学系駆動手段１４が設けられておらず、また図１の駆動パルス発生手段１３の代わりに、駆動パルス発生手段３５が設けられている。
図１の撮像装置では、光学系１のＸ軸、Ｙ軸方向の移動により手ぶれ補正を行ったが、図１１に示す撮像装置で、撮像素子２内における電荷の転送及び合成によって手ぶれを補正する。

図１１で、動き検出手段７、角速度サンプリング手段８、角度変位サンプリング手段９、制御手段１０、及びシャッターボタン１２は図１に示した撮像装置と同様である。

撮像素子２内における電荷の転送及び合成による手ぶれ補正について説明する。撮像素子２は図１２に示すように電荷をＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）転送にて送るＣＣＤセンサーである。

固体撮像素子２は、図１２に示すように、複数の光電変換素子列２０を有する光電変換部１９と、それぞれ光電変換素子列２０に対応し、隣接して設けられた複数の垂直転送部２２と、光電変換素子列２０と垂直転送部２２の間に位置する読み出しゲート部２４と、水平転送部２７と、出力増幅器２８とを有する。

各光電変換素子列２０は、撮像画面上の第１の方向、例えば垂直方向に列をなす複数の画素位置に配置され、被写体（図示しない）からの光を
光学系１を介して受けて光電変換を行なう複数の光電変換素子２１を有する。光電変換素子２１は例えばフォトダイオードで構成されている。
各垂直転送部２２は、対応する光電変換素子列２０の光電変換素子２１にそれぞれ対応して設けられ、対応する光電変換素子２１で蓄積された電荷が、読み出しゲート部２４のそれぞれの読み出しゲート２５を介して転送され、かつ相互間で垂直方向に電荷の転送を行う複数の転送素子２３から成る。
垂直転送部２２は例えばＣＣＤで構成されている。
水平転送部２７は、垂直転送部２２で転送され、垂直転送部２２から出力された電荷を受けて、第１の方向と直交する第２の方向、例えば水平方向に転送する。
出力増幅器２８は、水平転送部２７を転送され、水平転送部２７から出力された電荷を増幅して出力する。

光電変換部１９の光電変換素子２３における光電変換によって、光の強さに応じた量の電荷が蓄積され、駆動パルス発生手段３５からの読み出しパルスＴＧによって、電荷が読み出しゲート部２４を介して垂直転送部２２に読み出され、４相のパルスφＶ１、φＶ２、φＶ３、φＶ４から成る垂直転送パルスＶＤＰによって水平転送部２７方向へ逐次転送される。水平転送部２７では１ライン分の画素が入るたびに２相のパルスφＨ１、φＨ２から成る水平転送パルスＨＤＰによって水平方向に電荷の転送を行ない、出力増幅器２８で信号電圧に変換して信号を出力する。

上記の垂直転送パルスＶＤＰによって、垂直転送部２２内の電荷を水平転送部２７の方向（図２の垂直転送部２２内の矢印ＦＷの方向。以下「順方向」と呼ぶことがある）へ転送するだけではなく、水平転送部２７から離れる方向（図２の垂直転送部２２内の矢印ＦＷと反対方向。以下「逆方向」と呼ぶことがある）へ転送することも可能である。
また、垂直転送パルスＶＤＰを印加しない時は、垂直転送部２２内の電荷は順方向にも逆方向にも移動されず、同じ位置に保持される。垂直転送部２２の各転送素子２３は、内部に保持されている電荷と、対応する光電変換素子２１から読み出される電荷とを加算する機能をも有する。

図１３は、図１２における縦方向に並んだ４画素を拡大して示す図である。符号ＰＸは一つの画素を示す。各画素は、光電変換素子２１、読み出しゲート２５及び転送素子２３を備える。本実施の形態では４相の垂直転送パルスＶＤＰを用いており、１画素あたり４個の電極２６ａ〜２６ｄが存在する。各光電変換素子２１にて光電変換されて蓄積された電荷は、読み出しゲート２５を介して対応する転送素子２３に読み出される。以下に述べるように、４相の垂直転送パルスＶＤＰの電圧を所定の時系列で変化させることにより、垂直転送部２２内の電荷を所望の画素数分だけ順方向にも、逆方向にも転送することができる。

なお、上記の例では、４相の垂直転送パルスＶＤＰによって電荷を転送しているが、４相に限るものではなく、３相以上であれば、同様の方法により電荷の転送は可能である。

図１４（ａ）〜（ｇ）は本実施の形態における撮像装置の動作を示すタイミングチャートである。図１４（ａ）はシャッター信号ＢＰであり、シャッターの押下が検出された時点ＴｏｎでトリガーパルスＴＳが発生される。
図１４（ｂ）は垂直同期信号ＶＤであり、原則として所定の周期、例えば垂直周期に１回発生する。
図１４（ｃ）の電子シャッターパルスＣＥは水平同期信号に同期してタイミングジェネレータ８から固体撮像素子２の基板に印加されるものであり、自動露出（ＡＥ）制御において電荷蓄積期間を調整するために光電変換素子２１に蓄積された電荷を固体撮像素子２内の基板上に排出することにより電子シャッター機能を実現するものである。

図１４（ｄ）は光電変換素子２１において光電変換ならびに電荷蓄積を行う期間ＰＤを示し、図１４（ｅ）は読み出しゲート２５に印加される読み出しパルスＴＧを示す。
なお、読み出しゲート２５の電極は、垂直転送部の電極と兼用とされ、垂直転送部の電極の電位を垂直転送のための電位よりも高くすることにより読み出しを行う場合があるが、その場合には、読み出しパルスＴＧは、垂直転送部の電極に印加される高い電位のパルスを意味する。

図１４（ｄ）に示される期間ＰＤ（それぞれ符号ＳＳ１，ＳＳ２などで示されている）は、各フレーム期間において、電子シャッターパルスＣＥの列の発生が終わった後に開始され、その後図１４（ｅ）に示される読み出しパルスＴＧが発生されるまで続く。言い換えると、電荷蓄積期間が与えられた長さとなるように、電子シャッターパルスＣＥの列の発生を終了する時点が決められる。図１４（ｅ）に示される読み出しパルスＴＧは読み出しゲート２５に印加されて、電変換素子２１で蓄積した電荷が垂直転送部２２の対応する転送素子２３へ読み出される。図１４（ｆ）は垂直転送パルスＶＤＰ（φＶ１〜φＶ４）、図１４（ｇ）は水平転送パルスＨＤＰ（φＨ１、φＨ２）を示している。

シャッターボタンＳＢを押す前は、被写体の明るさに基づいて、露出条件の一つとして定められる電荷蓄積期間ＳＳｉ（ｉ＝１、２、…）を設定して、撮像を行う。例えばある垂直同期信号ＶＤが発生される第１の垂直ブランキング期間ＶＢ（１）で始まるフレーム（第１のフレームＦＰ（１））内の電荷蓄積期間ＳＳ１で蓄積した電荷は、当該第１のフレームＦＰ（１）の次のフレーム（第２のフレームＦＰ（２））の先頭の垂直ブランキング期間ＶＢ（２）内に発生される読み出しパルスＴＧ１０によって垂直転送部２２へ読み出され、上記第２のフレームＦＰ（２）内の期間１００ｂに垂直転送部２２内で水平転送部２７に向けて転送される。複数の垂直転送部２２内で同時に水平転送部２７に向けた転送が行われる。同時に転送される画素信号は、撮像面上の水平方向に整列した複数の画素、即ち同じ水平ライン上の複数の画素をそれぞれ構成する複数の光電変換素子２１から読み出された信号電荷が同時に、それぞれの垂直転送部２２により転送される。言換えると、光電変換部１９のそれぞれの光電変換素子列２０から垂直転送部２２に転送された信号電荷は１ラインごとに水平転送部２７へ向けて転送され、さらに水平転送部２７に転送される。そして、同じ第２のフレーム期間ＦＰ（２）内の期間１０１ｂにおいて、垂直転送部２２から水平転送部２７に転送された電荷が、水平転送部２７内を出力増幅器２８に向けて転送され、出力増幅器２８で増幅されて出力される。

第２のフレーム期間ＦＰ（２）内の電荷蓄積期間ＳＳ２内のある時点ＴｏｎにシャッターボタンＳＢが押され、トリガーパルスＴＳが発生したとすると、第２のフレームＦＰ（２）内の電荷蓄積期間ＳＳ２に蓄積された電荷は、次の垂直ブランキング期間ＶＢ（３）の最初（垂直同期信号ＶＤの立ち上がりと略同時）に電子シャッターパルスＣＥの列を固体撮像素子２へ印加することにより垂直転送部２２へ転送されることなく基板上に排出される。

シャッターボタンＳＢの押下が検知された時点Ｔｏｎの次のフレーム期間ＦＰ（３）は、静止画像として記録する画像用の映像信号を得るための電荷蓄積を行う期間である。このフレーム期間ＦＰ（３）において電荷蓄積期間を複数回に分けて行い、複数の分割蓄積期間ごとに垂直転送部２２への電荷読み出しを行うことにより複数の画像を得る。

該複数の画像は最終的に１枚の画像に合成されて固体撮像素子から出力されるが、それまでは前記複数の画像を構成する画像のうち、第１の分割蓄積期間に読み出した画像（１画像分の全電荷であり、以下「第１の画像」と呼ぶことがある）を垂直転送部２２内に一時保持した後、第２の分割蓄積期間に読み出した画像（第２の画像）を垂直転送部２２に読み出すまでの間に、前記第１の画像を制御手段１０で算出（予想）したぶれ（シャッターボタン１１が押された後、撮像素子２で撮像画像が静止画像として取り込まれる時点における撮像装置の動きに応じたぶれ）を前記複数の画像数で除算した画像位置だけ移動させ、その後該画像に前記第２の分割蓄積期間に読み出した画像（第２の画像）を加算した後一時保持するという動作を最後に読み出す画像（図示の例では「第４の画像」）を加算するまで繰り返す。

４枚の画像を読み出すべく電荷蓄積期間の分割数を４に設定して、１つの電荷蓄積期間を等分に分割した後の分割蓄積期間をそれぞれＳ１、Ｓ２、Ｓ３、Ｓ４とする。この場合分割蓄積期間Ｓ１で蓄積した電荷を読み出しパルスＴＧ１、分割蓄積期間Ｓ２で蓄積した電荷を読み出しパルスＴＧ２、分割蓄積期間Ｓ３で蓄積した電荷を読み出しパルスＴＧ３、分割蓄積期間Ｓ４で蓄積した電荷を読み出しパルスＴＧ４にてそれぞれ垂直転送部２２へ読み出している。１０２ａは読み出しパルスＴＧ１にて読み出した電荷を、１０２ｂは読み出しパルスＴＧ２にて読み出した電荷を、１０２ｃは読み出しパルスＴＧ３にて読み出した電荷をそれぞれ垂直転送部２２内で順方向または逆方向へ所定の画素数分だけ転送する期間である。

また、電荷蓄積期間の分割数を４とした場合は、制御手段１０で算出（予想）したぶれの１／４に比例して、即ちぶれの量に対応する画素数の１／４の画素数だけ、垂直転送部２２内で電荷を転送する。例えば図のように符号１０２ａ、１０２ｂ、１０２ｃで表される３つの電荷転送期間がある場合、それぞれの期間において全手ぶれ量の１／４に比例して電荷転送を行うため、該３つの電荷転送期間の合計として全手ぶれ量の３／４を補正する。ただし全手ぶれ量の１／４はそのまま残るため、結果として手ぶれが１／４に軽減されることになる。

図１４に示す例では、１枚の画像を合成するために、電荷蓄積期間を４分割し、読み出しを４回行っているが、電荷蓄積期間の分割数は４に限らず、４より小さくてもよく大きくても良い。電荷蓄積期間の分割数を多くするほど、補正効果が上がる。電荷蓄積期間の分割数をＮ（Ｎは整数）とすれば、手ぶれが１／Ｎに軽減される。

なお、図１４（ｇ）の符号１０３は、垂直転送期間１０２ａ、１０２ｂ、１０２ｃにおいて垂直転送部２２内の電荷を水平転送部２７方向に転送することによって水平転送部２７に押し出され、水平転送部２７に蓄積された余分な電荷を掃き捨てる、即ち、水平転送部２７内の蓄積電荷を（次の垂直転送に先立って）ゼロにするための期間である。

図１５（ａ）〜（ｈ）は、撮像装置が下方向にぶれ、固体撮像素子２の撮像面上で被写体が１６画素分上方向に移動すると予想され、電荷蓄積期間を４分割して、４回の読み出しを行う場合の、垂直転送部２２内における電荷転送による手ぶれ補正の方法を示している。
図１２および図１３と同様に、図１５（ａ）〜（ｊ）において、各光電変換素子列２０は複数の光電変換素子２１を含み、垂直転送部２２は複数の転送素子２３を含む。各転送素子２３は画素に対応するものであり、４つの転送電極を備えているが、図１５（ａ）〜（ｈ）ではこの点の図示を省略している。

読み出しゲート部２４の読み出しゲート２５の各々は、各光電変換素子２１と対応する転送素子２３の間に設けられている。

まず図１５（ａ）に示すように、最初の分割蓄積期間Ｓ１（図１４（ｄ））において、注目画素に対応する光電変換素子２１（１）で光電変換を行って電荷ｄ１を蓄積する。

次に図１５（ｂ）に示すように、分割蓄積期間Ｓ１中に光電変換素子２１（１）に蓄積された電荷ｄ１を、読み出しパルスＴＧ１（図１４（ｅ））により、垂直転送部２２の対応する転送素子２３（１）に読み出す。

この電荷読み出しが終了した直後から図１５（ｃ）に示すように、２番目の分割蓄積期間Ｓ２（図１４（ｄ））において注目画素の光電変換素子２１（２）における電荷ｄ２の蓄積を開始し、この電荷蓄積中に、先に読み出しパルスＴＧ１により垂直転送部２２に読み出され電荷を転送素子２３（１）から４画素分上方向に、即ち転送素子２３（２）に移動させる。

次に図１５（ｄ）に示すように、光電変換素子２１（２）の電荷（分割蓄積期間Ｓ２中に光電変換素子２１（２）に蓄積された電荷）ｄ２を、読み出しパルスＴＧ２（図１４（ｅ））により垂直転送部２２の対応する転送素子２３（２）に読み出し、垂直転送部２２内で、転送素子２３（１）から転送素子２３（２）に移動した電荷ｄ１と加算する。

この電荷読み出し及び加算が終了した直後から図１５（ｅ）に示すように、３番目の分割蓄積期間Ｓ３（図１４（ｄ））において注目画素の光電変換素子２１（３）における電荷ｄ３の蓄積を開始し、この電荷蓄積中に、読み出しパルスＴＧ２により垂直転送部２２の転送素子２３（２）内で加算した電荷（ｄ１＋ｄ２）を転送素子２３（２）から４画素分上方向に、即ち転送素子２３（３）に移動させる。

次に図１５（ｆ）に示すように、光電変換素子２１（３）の電荷（分割蓄積期間Ｓ３中に光電変換素子２１（３）に蓄積された電荷）ｄ３を、読み出しパルスＴＧ３（図１４（ｅ））により、垂直転送部２２の対応する転送素子２３（３）に読み出し、垂直転送部２２内で、転送素子２３（２）から転送素子２３（３）に移動した電荷（ｄ１＋ｄ２）と加算する。

この電荷の読み出し及び加算が終了した直後から図１５（ｇ）に示すように、４番目の分割蓄積期間Ｓ４（図１４（ｄ））において注目画素の光電変換素子２１（４）における電荷ｄ４の蓄積を開始し、この電荷蓄積中に、先に読み出しパルスＴＧ３により垂直転送部２２の転送素子２３（３）内で加算した電荷（ｄ１＋ｄ２＋ｄ３）を転送素子２３（３）から４画素分上方向に、即ち転送素子２３（４）に移動させる。

次に図１５（ｈ）に示すように、光電変換素子２１（４）の電荷ｄ４（分割蓄積期間Ｓ４中に光電変換素子２１（４）に蓄積された電荷ｄ４）を、読み出しパルスＴＧ４により、垂直手脳部２２の対応する転送素子２３（４）に読み出し、垂直転送部２２内で、転送素子２３（３）から転送素子２３（４）に移動した電荷（ｄ１＋ｄ２＋ｄ３）と加算する。

その後全画素のデータを矢印Ｙｍで示すように、水平転送部２７へ転送する（図１４（ｆ）の１００ｃ）と同時に、水平転送部２７内で出力増幅器部２８へ向けて、信号電荷の転送を行う（図１４（ｇ）の１０１ｃ）。

以上のように、撮像素子２内における電荷の転送及び加算により手ぶれ補正を行う場合には、シャッターが押されてから、撮像素子２の垂直転送部２２内の転送方向および転送による電荷の移動量（画素数）決めて、駆動パルス発生手段１３から駆動パルスを発生するため、時間遅れδｔ後の手ぶれの補正量を算出して、補正制御を行うことで撮像素子２による手ぶれ補正を実現することが可能となる。

上記の方法で、垂直転送部２２において電荷を転送する方向（撮像画面上の垂直方向）の手ぶれ（あるいは手ぶれのうちの垂直転送方向の成分）を補正することができる。垂直転送方向を、手ぶれが生じ易い方向を対応させる（撮像画面が垂直に設けられている場合には、垂直転送部２２において電荷を転送する方向（撮像画面上の垂直方向）を、手ぶれが生じ易い方向に略平行とする）ことにより、簡単な構成で実用上十分な手ぶれ補正を行うことができる。

なお、補正し得る手振れの方向が一方向のみであるので、手ぶれセンサ９としては、補正可能な方向（第１の方向）の動きのみを感知するものを用いることとしても良いが、第１の方向の動きのみならず、他の方向の動きをも感知するが、動きの第１の方向の成分に対応した信号を生成するものを用いてもよい。

この発明の実施の形態１の撮像装置の構成を示すブロック図である。 光学系１の変位方向及び変位のためのアクチュエータを概略的に示す図である。 動き検出手段７の具体的な構成を示すブロック図である。 角速度信号波形と角度変位信号波形を示す図である。 制御手段１０の具体的な構成を示すブロック図である。 角度変位信号波形とサンプリング位置および変化の向きを示す図である。 （ａ）及び（ｂ）は、シャッターが押された際の角速度信号波形と角変位信号波形を示す図である。 （ａ）及び（ｂ）は、シャッターが押された際に振れの方向が逆になったときの角速度信号波形と角変位信号波形を示す図である。 （ａ）及び（ｂ）は、シャッターが押された際に振れの方向が逆になったときの角速度信号波形と角変位信号波形を示す図である。 制御手段１０における処理の手順を示すフローチャートである。 この発明の実施の形態２の撮像装置の構成を示すブロック図である。 撮像素子の詳細を示す概略平面図である。 図１２の撮像素子の垂直転送部の電極を示す図である。 図１２の撮像素子の動作を示すタイミングチャートである。 図１２の撮像素子における電荷の読み出し及び合成を説明するための図である。

符号の説明

１ 光学系、 ２ 撮像素子、 ３ アナログフロントエンド、 ４ Ａ／Ｄコンバータ、 ５ デジタル信号処理部、 ７ 動き検出手段、 ８ 角速度サンプリング手段、 ９ 角度変位サンプリング手段、 １０ 制御手段、 １１ 積算手段、 １２ シャッターボタン、 １３ 駆動パルス発生手段、 １４ 光学系駆動手段、 ２０ 光電変換部、 ２２ 垂直転送部、 ２４ 読み出しゲート部、 ７１ 角速度センサー、 ７２ バンドパスフィルター、 ７３ 積算手段、 ８１ 振幅検出手段、 ８２ 遅延手段、 ８３ 比較器、 ８４ 変化方向記憶手段、 ８５ 周波数演算手段、 ８７ 遅延手段、 ８８ 領域変化検出手段、 ８９ 角度変位量算出手段、 ９０ 制御量変換手段。

Claims (8)

1. 撮像素子と、
   被写体の光像を前記撮像素子上に結像する光学系と、
   前記撮像素子を駆動する撮像素子駆動手段とを具備し、
   前記撮像素子上に結像した被写体の光像を画像として出力する撮像装置において、
   撮像した画像を静止画像として取り込むためのシャッターボタンと、
   撮像装置の動きの角速度及び角度変位量を検出する動き検出手段と、
   前記動き検出手段によって検出された角速度を所定の時間間隔でサンプリングする角速度サンプリング手段と、
   前記動き検出手段によって検出された角度変位量を所定の時間間隔でサンプリングする角度変位サンプリング手段と、
   前記角速度サンプリング手段及び前記角度変位サンプリング手段の出力結果に基づき、前記シャッターボタンが押された後、前記撮像素子で撮像画像が静止画像として取り込まれる時点における撮像装置の動きに応じた像ぶれを算出し、算出された像ぶれを補正するぶれ補正手段と
   を有する撮像装置。
2. 前記ぶれ補正手段は、
   前記シャッターボタンが押される前に前記角度変位サンプリング手段によってサンプリングされた角度変位量が、１サンプリング間隔前にサンプリングされた角度変位量よりも大きいか否かを判定する比較手段と、
   前記比較手段による比較の結果を変化の方向として記憶する変化方向記憶手段と、
   前記変化方向記憶手段に記憶されている変化の方向の切り替わりの時間間隔から、前記シャッターボタンが押される前の角度変位量の変化の周波数を演算する周波数演算手段と、
   前記周波数演算手段によって演算された、前記シャッターボタンが押される前の撮像装置の動きの周波数に所定の係数を掛けることにより、前記シャッターボタンが押された後の撮像装置の動きの周波数を求め、このようにして求めた、前記シャッターボタンが押された後の撮像装置の動きの周波数を、前記像ぶれの算出に用いる角度変位量算出手段と
   を備えることを特徴とする請求項１に記載の撮像装置。
3. 前記ぶれ補正手段はさらに、
   前記シャッターボタンが押される前に前記サンプリング手段によりサンプリングされた角度変位量の最大値と最小値とを検出する振幅検出手段をさらに具備し、
   前記角度変位量算出手段は、前記振幅検出手段によってシャッターボタンが押される前に検出された最大値と最小値を前記シャッターボタンが押される前の前記撮像装置の動きの振幅値として求め、前記シャッターボタンが押される前の前記撮像装置の動きの振幅値に所定の係数を掛けたものを前記シャッターボタンが押された後の前記撮像装置の動きの振幅値として、前記像ぶれの算出に用いることを特徴とする請求項２に記載の撮像装置。
4. 前記ぶれ補正手段は、
   前記角速度サンプリング手段によってサンプリングされた角速度と、１サンプリング間隔前にサンプリングされた角速度とを比較して、角速度が、予め定められた第１の領域から第２の領域へ、又は第２の領域から第１の領域へと変化したかどうかを検出する領域変化検出手段と、
   前記領域変化検出手段で、変化が検出されたか否かに応じて、異なる式で、前記静止画像が取り込まれる時点での像ぶれを算出する角度変位量算出手段と
   を有することを特徴とする請求項１に記載の撮像装置。
5. 前記第１の領域が、前記角速度が正の値である領域であり、
   前記第２の領域が、前記角速度が負の値である領域である
   ことを特徴とする請求項４に記載の撮像装置。
6. 前記領域変化検出手段で前記変化が検出されなかったときは、前記角度変位量算出手段は、前記静止画像が取り込まれる時点（θ０＋δｔ）での像ぶれθ（ｔ０＋δｔ）を、下記の式
   θ（ｔ０＋δｔ）＝γ×β×ｓｉｎ（ｋ×２πｆ×δｔ＋θ０）
   により算出し、
   前記領域変化検出手段で前記変化が検出されたときは、前記角度変位量算出手段は、前記静止画像が取り込まれる時点（θ０＋δｔ）での像ぶれθ（ｔ０＋δｔ）を、下記の式
   θ（ｔ０＋δｔ）＝γ×β×ｓｉｎ（ｋ×２πｆ×δｔ＋θ０−π）
   により算出する
   （γは所定の係数、
   βはシャッターボタンが押される前の手ぶれの振幅値、
   ｋは所定の係数、
   ｓｉｎは三角関数、
   ｆは前記シャッターボタンが押される前の手ぶれの周波数、
   δｔはシャッターボタンが押されてから、撮像画像の静止画像としての取込みまでの時間遅れ、
   θ０は時刻ｔ０における位相である）
   ことを特徴とする請求項５に記載の撮像装置。
7. 前記光学系の位置を撮像素子に対して移動させるアクチュエータと、
   前記アクチュエータを駆動するアクチュエータ駆動手段と、
   前記ぶれ補正手段は、前記アクチュエータ駆動手段を制御して、前記撮像装置の動きを打ち消すように前記光学系を前記撮像素子に対して移動させることを特徴とする請求項１に記載の撮像装置。
8. 前記撮像素子が光電変換を行う光電変換部と、前記撮像素子の垂直方向に電荷転送を行う垂直転送部と、前記光電変換部に蓄積された電荷を前記垂直転送部に読み出す読み出しゲート部とを具備し、
   前記撮像素子駆動手段が、前記光電変換部に蓄積された電荷を前記垂直転送部に読み出した後、前記電荷を前記垂直転送部によって、前記手ぶれによる像ぶれを打ち消す方向に電荷転送し、前記読み出しの後に前記光電変換部で蓄積された電荷を前記垂直転送部に読み出すことにより、先に読み出され転送された電荷と加算する処理を１回以上行うように前記撮像素子における読み出し及び転送を制御する
   ことを特徴とする請求項１に記載の撮像装置。

Images