JP2006135501A - 撮像装置 - Google Patents

Abstract

【課題】 画像加算式の手振れ補正において、より自然な状態の画像を生成することが可能な技術を提供する。
【解決手段】 撮像装置１は、撮影光学系からの被写体像を光電変換して画像を取得する撮像素子５と、撮像素子５によって連続的に取得された複数の画像の相互間における被写体位置のずれを補償した上で、当該複数の画像を合成して合成画像を生成するデジタルプロセス部７０と、複数の画像のうち所定の画像の露光終了から次の画像の露光開始までの時間間隔を制御する露光制御部６７とを備える。露光制御部６７は、所定の画像の露光終了から次の画像の露光開始までの時間間隔を十分に短い時間（例えば１／３０秒以下の値）に設定する。
【選択図】図３

Description

本発明は、撮像装置に関し、特に手振れ補正技術に関する。

撮像装置における手振れを補正する技術として、画像加算式の手振れ補正技術が存在する（例えば、特許文献１参照）。

画像加算式の手振れ補正技術においては、まず撮像素子（ＣＣＤセンサ等）によって手振れ補正用の複数の画像が連続的に撮像される。そして、当該複数の画像の相互間における被写体位置のずれが補償され、位置ずれが補償された複数の画像における対応画素を加算することによって当該複数の画像を合成した合成画像（静止画像）が生成される。これによれば、各画像の１枚あたりの露光時間を比較的短時間にすることによって露光中における被写体の移動を最小限に抑えて被写体のぶれを抑制しつつ、複数の画像を加算合成することによって十分な露光量を確保することが可能である。この結果、手振れが補正された静止画像を得ることができる。

特開２００１−８６３９８号公報

しかしながら、上記の技術において、被写体が静止しておらず動いている場合には、次のような問題が存在する。

例えば、人物撮影時において人物の腕が動いている場合を想定する。この場合、手振れによる人物全体の位置ずれを補償することは可能ではあるが、被写体の一部（この場合は、人物の腕）の動きを補償することは難しい。そして、上述のように複数の画像の撮影間隔は比較的大きな値となるため、実際には２本しか存在しない腕が、合成画像においてはあたかも４本以上存在するように見えてしまうことがある。したがって、非常に不自然な画像が生成されることになる。

これは、ＣＣＤセンサの機構上の制約等のため、複数の画像を連続的に読出す際の読出時間間隔は或る値よりも短くできず、合成画像生成に用いられる複数の画像相互間の撮像時間間隔は比較的大きな値となるという事情等に起因する。

以下では、図２０〜図２３を参照しながら、この問題について、より詳細に説明する。図２０および図２１は、被写体が静止している場合を示しており、図２２および図２３は、被写体が動いている場合を示している。また、図２０は、合成画像生成に用いられる複数の画像ＧＡ１１〜ＧＡ１４を示す図であり、図２１は、これらの画像ＧＡ１１〜ＧＡ１４を合成して生成された合成画像ＧＢ１０を示す図である。さらに、図２２は、合成画像生成に用いられる複数の画像ＧＡ２１〜ＧＡ２４を示す図であり、図２３は、これらの画像ＧＡ２１〜ＧＡ２４を合成して生成された合成画像ＧＢ２０を示す図である。なお、各画像ＧＡ１１〜ＧＡ１４，ＧＡ２１〜２４の撮影時の露出時間としては、当該各画像に被写体ぶれが発生しないような比較的短い値が設定されているものとする。

まず、図２０を参照する。図２０の場合には、被写体の全体が静止している。したがって、手振れに起因する４つの画像ＧＡ１１〜ＧＡ１４相互間での被写体の全体的な位置ずれさえ補償すれば、これら４つの画像ＧＡ１１〜ＧＡ１４を合成することによって、手振れが補正された高品質の合成画像ＧＢ１０（図２１参照）を得ることができる。

一方、図２２の場合には、全被写体のうちの一部（腕部分）が動いている。したがって、手振れに起因する４つの画像ＧＡ２１〜ＧＡ２４相互間での被写体の全体的な位置ずれが補償されたとしても、４つの画像の相互間における被写体内での部分的な位置ずれ（すなわち腕の動きに起因する位置ずれ）は補償できない。そのため、例えば、人物撮影時に腕のみが動いている場合には、図２３に示すように、人物の腕が、実際の数よりも多く存在するように見えてしまう。端的に言えば、動きのある腕部分に関して、複数のコマ送り画像が合成されたような画像になってしまう。

このような画像は極めて不自然な画像であり、手振れ補正後の画像としては十分に適切な画像とは言えない。

そこで、この発明の課題は、画像加算式の手振れ補正において、より自然な状態の画像を生成することが可能な技術を提供することにある。

上記課題を解決すべく、請求項１の発明は、撮像装置であって、撮影光学系からの被写体像を光電変換して画像を取得する撮像素子と、前記撮像素子によって連続的に取得された複数の画像の相互間における被写体位置のずれを補償した上で、当該複数の画像を合成して合成画像を生成する手段と、前記複数の画像のうち所定の画像の露光終了から次の画像の露光開始までの時間間隔を制御する制御手段とを備え、前記制御手段は、前記時間間隔を１／３０秒以下の値に設定することを特徴とする。

請求項２の発明は、請求項１の発明に係る撮像装置において、動被写体の有無を判定する判定手段、をさらに備え、前記制御手段は、前記判定手段によって前記動被写体が存在すると判定される場合には、前記時間間隔を１／３０秒以下の値に設定し、前記判定手段によって前記動被写体が存在しないと判定される場合には、前記時間間隔を１／３０秒よりも大きな値に設定することを特徴とする。

請求項３の発明は、請求項１の発明に係る撮像装置において、前記被写体の動きの速さを求める手段、をさらに備え、前記制御手段は、前記被写体の動きの速さに応じて前記時間間隔を変更することを特徴とする。

請求項４の発明は、撮像装置であって、撮影光学系からの被写体像を光電変換して画像を取得する撮像素子と、前記撮像素子によって連続的に取得された複数の画像の相互間における被写体位置のずれを補償した上で、当該複数の画像を合成して合成画像を生成する手段と、前記複数の画像のうち所定の画像の露光終了から次の画像の露光開始までの時間間隔を制御する制御手段とを備え、前記制御手段は、前記時間間隔を、前記撮像素子上における前記被写体像の許容ずれ量を前記撮像素子上における前記被写体像の許容速さで除した値以下に設定することを特徴とする。

請求項５の発明は、撮像装置であって、撮影光学系からの被写体像を光電変換して画像を取得する撮像素子と、前記撮像素子によって連続的に取得された複数の画像の相互間における被写体位置のずれを補償した上で、当該複数の画像を合成して合成画像を生成する手段と、前記撮像素子上における前記被写体像の速さを求める手段と、前記複数の画像のうち所定の画像の露光終了から次の画像の露光開始までの時間間隔を制御する制御手段とを備え、前記制御手段は、前記時間間隔を、前記撮像素子上における前記被写体像の許容ずれ量を前記撮像素子上における前記被写体像の速さで除した値以下に設定することを特徴とする。

請求項６の発明は、請求項１から請求項５のいずれかの発明に係る撮像装置において、前記撮像素子は、当該撮像素子において第１方向に配置された複数の光電変換素子で生成される電荷を前記第１方向に転送する複数の第１転送路と、前記複数の第１転送路によって転送されてきた電荷を前記第１方向とは異なる第２方向にさらに転送する複数の第２転送路とを有するＣＣＤセンサであることを特徴とする。

請求項７の発明は、請求項１から請求項５のいずれかの発明に係る撮像装置において、前記撮像素子は、複数の光電変換素子と、前記複数の光電変換素子のそれぞれに対応して設けられたバッファ領域と、前記複数の光電変換素子で生成された電荷を転送する転送路とを有するＣＣＤセンサであり、所定の露光期間において前記複数の光電変換素子で生成される電荷は、複数の光電変換素子のそれぞれに対応する前記バッファ領域に一旦バッファリングされ、前記所定の露光期間とは別の露光期間における露光動作の終了後に、前記転送路を用いて読み出されることを特徴とする。

請求項８の発明は、請求項１から請求項５のいずれかの発明に係る撮像装置において、前記撮像素子は、複数の光電変換素子と、前記複数の光電変換素子の電荷を、各光電変換素子の第１方向のアドレスと第２方向のアドレスとを指定して読み出す読出用配線とを有するＣＭＯＳセンサであって、前記撮像素子においては、前記第１方向における各同一アドレスを指定するための配線が当該各同一アドレスに対してそれぞれ複数本設けられており、当該複数本の配線を用いて、前記第１方向のアドレスが同一であり且つ前記第２方向のアドレスが異なる別々の光電変換素子の電荷が並列的に読み出されることを特徴とする。

請求項１ないし請求項８に記載の発明によれば、より自然な状態の合成画像を得ることができる。

特に、請求項２および請求項３に記載の発明によれば、より適切に時間間隔を設定することができる。

以下、本発明の実施形態を図面に基づいて説明する。

＜１．第１実施形態＞
＜装置概要＞
図１は、撮像装置１（ここではデジタルスチルカメラ１Ａ）の外観構成を示す図である。図１は正面側からみた概略斜視図であり、図２は背面側からみた概略斜視図である。

図１に示すように、撮像装置１は、その正面側に撮影レンズ２と光学ファインダー４とフラッシュ６とを備えており、その上面側に電源ボタン３とシャッタボタン（レリーズボタン）９とを備えている。また、図２に示すように、撮像装置１は、その背面側に液晶表示部（以下、ＬＣＤという。）４０と、ボタン群７，８とを備えている。ボタン群７は、十字カーソルボタン７ａ〜７ｅ（以下では、７ａを上ボタン、７ｂを下ボタン、７ｃを左ボタン、７ｄを右ボタン、および７ｅを中央(実行)ボタンとも称する）で構成されている。ボタン群８は、メニューボタン８ａ、液晶モニタボタン８ｂ、フラッシュモードボタン８ｃで構成されている。

撮像装置１は、撮影レンズ２からの被写体像を撮像素子５によって光電変換することなどによって、被写体に関する画像データを取得する。

また、電源ボタン３は、電源のオン操作およびオフ操作を受け付けるために用いられる。具体的には、電源ボタン３を押下するごとにオン状態への移行とオフ状態への移行とが交互に繰り返される。

シャッタボタン９はユーザ（操作者）による半押し状態（以下、Ｓ１状態とも称する）と全押し状態（以下、Ｓ２状態とも称する）とを区別して検出可能な２段階押し込みスイッチとなっており、半押し(Ｓ１)状態のときに自動合焦制御等を開始し、全押し(Ｓ２)状態のときに記録用画像を撮影するための本撮影動作を開始する。

ＬＣＤ４０は、本撮影動作前のプレビュー表示（ライブビュー表示とも称する）及び記録画像の再生表示等を行う。このＬＣＤ４０は、所定数（ここでは３２０×２４０）の表示画素を有しており、カラー画像を表示することができる。

ライブビュー表示では、撮像装置１の電源オン後や本撮影が完了すると、微小時間間隔で（例えば１／３０秒ごとに）低解像度で被写体の撮像を繰り返し、撮影画像をＬＣＤ４０に動画的態様で表示する。これにより、操作者は、ＬＣＤ４０におけるライブビュー表示によって撮影画像における被写体の位置および大きさ等を知覚し、フレーミング動作を行うことができる。なお、ＬＣＤ４０を用いることなく光学ファインダー４のみを用いてフレーミング動作を行うことも可能である。

次に、図３を参照しつつ、撮像装置１の内部構成について説明する。図３は、撮像装置１の内部機能を示すブロック図である。

撮像素子５は、被写体像を撮影して電子的な画像信号を生成する機能を有している。撮像素子５は、複数（例えば１６００×１２００個）の画素を有し、撮影レンズ２によって結像された被写体の光像を、画素毎にＲ（赤），Ｇ（緑），Ｂ（青）の色成分の画像信号（各画素で受光された画素信号の信号列からなる信号）に光電変換して出力する。

撮像素子５から得られる画像信号はプリプロセス回路１０に与えられる。プリプロセス回路１０は、アナログ信号処理回路とＡ／Ｄ変換器とを有している。アナログ信号処理回路において画像信号（アナログ信号）に対して所定のアナログ信号処理が施される。具体的には、アナログ信号処理回路は相関二重サンプリング回路（ＣＤＳ）とオートゲインコントロール回路（ＡＧＣ）とを有しており、相関二重サンプリング回路により画像信号のノイズ低減処理を行い、オートゲインコントロール回路でゲインを調整することにより画像信号のレベル調整を行う。また、Ａ／Ｄ変換器は、画像信号の各画素信号を所定ビット数（例えば１２ビット）のデジタル信号に変換するものである。変換後のデジタル信号は、画像データとして一時的にＲＡＭ６２内のバッファメモリに格納される。そして、バッファメモリに格納された画像データに対して、画像処理部６６およびデジタルプロセス部７０（後述）によって、ＷＢ（ホワイトバランス）処理、γ補正処理、色補正処理等、および圧縮処理等が施される。これらの処理は、画像メモリ１１を適宜利用して実行される。本撮影画像は、これらの処理が施された後、メモリカード９０に格納される。

操作部３０は、上述した電源ボタン３、ボタン群７，８、シャッタボタン９等を含む操作部であり、ユーザが撮像装置１の設定状態を変更操作する際や撮影操作を行う際等に用いられる。

全体制御部６０は、内部にＣＰＵ６１とＲＡＭ６２とＲＯＭ６３とを備えたマイクロコンピュータによって構成され、マイクロコンピュータが所定のプログラムを実行することにより、上記各部を統括的に制御する。なお、ＲＡＭ６２は、高速アクセス可能な半導体メモリ（たとえばＤＲＡＭ）であり、ＲＯＭ６３は電気的にデータの書き換えが可能な不揮発性の半導体メモリ（たとえばフラッシュＲＯＭ）として構成される。

全体制御部６０は、画像処理部６６および露光制御部６７等を有している。これらの各処理部６６，６７は、マイクロコンピュータが所定のプログラムを実行することにより実現される機能部である。

画像処理部６６は、デジタルプロセス部７０の画像生成部７４と協動して、ＷＢ処理、γ補正処理、圧縮伸長処理等の各種のデジタル画像処理を施す処理部である。ＷＢ処理は、Ｒ，Ｇ，Ｂの各色成分のレベル変換を行い、カラーバランスを調整する処理であり、γ補正処理は、画素データの階調を補正する処理である。圧縮伸長処理は、画像データの圧縮処理および伸張処理である。圧縮方式としては、例えばＪＰＥＧ方式などが採用される。

露光制御部６７は、撮像素子５で読みとった被写体の輝度情報に基づいて、本撮影時のシャッタスピード（露光時間）と絞りの値とオートホワイトバランスのゲイン設定値とを決定する。さらに、後述する画像加算式の手振れ補正が行われる際には、露光制御部６７は、複数の画像を連続的に撮影する際の露光時間間隔ΔＴをも決定する。

また、全体制御部６０は、レンズドライバ２ｄおよびレンズ駆動機構２ｃを介して撮影レンズ２のフォーカスレンズおよびズームレンズを駆動し、自動合焦動作およびズーム倍率変更動作（画角変更動作）を行う。また、全体制御部６０は、露出制御ドライバ６ｄを介して絞り１２の絞り値およびフラッシュ６の発光を制御するとともに撮像素子ドライバ５ｄを介して撮像素子におけるシャッタスピード（露光時間）を制御することによって、自動露光制御動作等を行う。

さらに、全体制御部６０は、デジタルプロセス部７０と協動して、画像加算式の手振れ補正制御を行う。画像加算式の手振れ補正制御は、撮像素子５によって連続的に撮像された複数の画像の相互間における被写体位置のずれを補償した上で、当該複数の画像を合成して合成画像を生成することによって実現される。

デジタルプロセス部７０は、動き検出部７１と動き補正部７２と画像加算部７３と画像生成部７４とを有している。動き検出部７１は、連続的に撮像された複数の画像の相互間における被写体位置のずれを検出し、動き補正部７２は、検出された位置ずれを補正する。また、画像加算部７３は、位置ずれが補正された複数の画像を加算し、画像生成部７４は、加算後の画像（合成画像）に対して、ＷＢ（ホワイトバランス）処理、γ補正処理、色補正処理等、および圧縮処理等の所定の処理を施す。これによって、本撮影画像（記録用画像）が生成される。生成された本撮影画像は、メモリカード９０に格納される。

＜動作概要＞
図４は、手振れ補正制御時における撮像処理の流れを示すフローチャートである。図４を参照しながら、画像加算式の手振れ補正処理について説明する。ここでは、４枚の画像ＰＡ１〜ＰＡ４を連続的に撮影し、これら４枚の画像ＰＡ１〜ＰＡ４を合成して合成画像を生成する場合を想定する。また、図４のフローチャートの動作に先立って、ボタン群７，８等を用いた所定の操作によって、手振れ補正モードによる撮影動作を行うべき旨が予め設定されているものとする。

まず、ライブビュー画像が所定時間間隔で撮像素子５などによって撮像されるとともに、ＬＣＤ４０に表示される（ステップＳＰ１１）。その間にシャッタボタン９の状態が判定され（ステップＳＰ１２，ＳＰ１３）、全押し状態Ｓ２になっていると判定されるとステップＳＰ１４に進む。ステップＳＰ１４〜ＳＰ１７においては、シャッタボタン９が全押し状態Ｓ２になったことに応答して、画像加算式の手振れ補正制御を伴う本撮影画像の撮影動作が行われる。

まず、ステップＳＰ１４では、露光時間間隔ΔＴを適宜の値（例えば１／３０秒）に定める。露光時間間隔ΔＴに関する適切な設定値については後述する。

つぎに、ステップＳＰ１５では、手振れ補正に用いる４枚の画像ＰＡ１〜ＰＡ４の連続撮影動作が行われる。

次に、ステップＳＰ１６では、これら４枚の画像ＰＡ１〜ＰＡ４に基づいて被写体の位置ずれ補正等が施された後、これら４枚の画像ＰＡ１〜ＰＡ４による合成画像が本撮影画像として生成される。

そして、ステップＳＰ１７において、生成された合成画像がメモリカード９０に格納される。

これによって、手振れ補正が施された本撮影画像を得ることが可能である。

＜手振れ補正動作＞
つぎに画像加算式の手振れ補正について、さらに詳細に説明する。図５は、手振れによる被写体の移動量を検出する動作について説明する図である。上述したように、ここでは、４枚の画像ＰＡ１〜ＰＡ４を連続的に撮影し、これら４枚の画像ＰＡ１〜ＰＡ４を合成して合成画像を生成する場合を想定する。

４枚の画像のうち連続する２枚の画像を、順次に比較対象として選択する。具体的には、最初に２枚の画像ＰＡ１，ＰＡ２を比較対象画像ＰＥ１，ＰＥ２として選択し、次に２枚の画像ＰＡ２，ＰＡ３を比較対象画像ＰＥ１，ＰＥ２として選択し、最後に２枚の画像ＰＡ３，ＰＡ４を比較対象画像ＰＥ１，ＰＥ２として選択する。

以下では、２枚の比較対象画像ＰＥ１，ＰＥ２に対する比較処理等について説明する。

具体的には、比較の対象となる２つの画像ＰＥ１，ＰＥ２（最初はＰＡ１，ＰＡ２）の相互間で、ずれ方向（向き）とずれ量（大きさ）とが互いに異なる複数の組合せについての「ずれ」を実現した状態でパターンマッチング処理を行う。

詳細には、まず、画像ＰＥ１を画像ＰＥ２に対して＋Ｘ方向に１画素分ずらして、ずらした後の対応画素同士の画素値の差分値を算出する。そして、当該差分値を画像内の全画素について求め、全画素についての差分値を加算した値を評価値ＥＶとして求める。なお、ここでは画像内の全画素についての差分値に基づいて評価値ＥＶを求める場合を例示しているが、これに限定されない。例えば、画像内の特定領域（一部領域）を評価用の領域として設定し、当該特定領域内の全画素についての差分値を算出し、当該差分値を加算した値を評価値ＥＶとして求めるようにしてもよい。

つぎに、画像ＰＥ１を画像ＰＥ２に対して−Ｘ方向に１画素分ずらして同様の処理を行い評価値ＥＶを算出する。また、画像ＰＥ１を画像ＰＥ２に対して＋Ｙ方向に１画素分ずらして同様の処理を行い評価値ＥＶを算出する。さらに、画像ＰＥ１を画像ＰＥ２に対して−Ｘ方向に１画素分ずらして同様の処理を行い評価値ＥＶを算出する。

同様に、今度は、各方向（＋Ｘ，−Ｘ，＋Ｙ，−Ｙ）にそれぞれ２画素分ずらした状態で、それぞれの「ずれ」に対応する評価値ＥＶを求める。

このようにして、合計８種類の「ずれ」に対応する評価値ＥＶが算出される。そして、これら複数の評価値のうち、最も良い（最も小さい）評価値ＥＶを求め、当該最良の評価値ＥＶに対応する「ずれ」を、両画像ＰＥ１，ＰＥ２間の「ずれ」として判定する。たとえば、＋Ｘ方向に２画素ずれたときの評価値ＥＶが最小であるとすれば、画像ＰＥ２は画像ＰＥ１に対して＋Ｘ方向に２画素ずれていると判定される。

その後、比較対象画像を順次に変更し、同様の動作を繰り返すことによって、画像ＰＡ２と画像ＰＡ３との間のずれ、および、画像ＰＡ３と画像ＰＡ４との間のずれを求める。

そして、これらの「ずれ」に基づいて、４つの画像のうちの１つの基準画像（例えば画像ＰＡ２）に対する他の３つの画像の「ずれ」を求める。

さらに、基準画像に対する「ずれ」を補償するように、当該他の３つの画像を基準画像に対して移動させた上で、対応画素の画素値を加算することによって、合成画像が生成される。たとえば、画像ＰＡ１が画像ＰＡ２に対して−Ｘ方向に１画素ずれており、画像ＰＡ３，ＰＡ４が画像ＰＡ２に対してそれぞれ＋Ｘ方向に２画素および＋Ｘ方向に３画素ずれている場合には、画像ＰＡ２に対して画像ＰＡ１，ＰＡ３，ＰＡ４を、それぞれ、＋Ｘ方向に１画素、−Ｘ方向に２画素、−Ｘ方向に３画素ずらした上で画素加算を行う。

なお、上記においては、８種類の組合せについてパターンマッチング処理を行う場合を例示したが、これに限定されず、さらに多くの組合せについてパターンマッチング処理を行うようにしてもよい。たとえば、４５度ずつずれた８方向のそれぞれにずらすようにしてもよい。また、ずれ量を、２画素までではなくさらに多くの画素数（例えば数十画素）まで順次に変更していくようにしてもよい。さらには、ずれ量を所定画素数単位で順次に変更するようにしてもよい。

また、上記においては、画像を比較する際に、連続する２枚の画像を用いる場合を例示したが、これに限定されず、基準画像（例えば画像ＰＡ１）と他の画像（画像ＰＡ２，ＰＡ３，ＰＡ４）との比較を行うようにしてもよい。詳細には、画像ＰＡ１と画像ＰＡ２とのパターンマッチング処理、画像ＰＡ１と画像ＰＡ３とのパターンマッチング処理、および画像ＰＡ１と画像ＰＡ４とのパターンマッチング処理を行って各ずれ量を求め、当該各ずれ量を補償するような画像合成処理を行って、合成画像を生成するようにしてもよい。

また、上記においては、手振れによる被写体の位置ずれを画像を用いて求める場合を例示したが、これに限定されない。例えば、角速度センサあるいは角加速度センサなどの各種センサからの出力を用いて求めるようにしてもよい。

＜露光タイミング＞
つぎに、上記の４枚の画像ＰＡ１〜ＰＡ４を撮像する際の露光タイミング等について説明する。図６は、撮像素子５における露光動作および読出動作を示すタイミングチャートである。

図６に示されるように、撮像素子５において、最初の画像ＰＡ１に関する画像信号は、時刻ｔ１１から時刻ｔ１２までの期間（露光期間ＴＥ）の露光動作によって生成され、その後、時刻ｔ２１から時刻ｔ２２までの期間（読出期間）において撮像素子５から読み出される。

２番目の画像ＰＡ２に関する画像信号は、時刻ｔ１３から時刻ｔ１４までの期間（露光期間ＴＥ）の露光動作によって生成され、その後、時刻ｔ２３から時刻ｔ２４に至るまでの期間（読出期間）において撮像素子５から読み出される。

３番目の画像ＰＡ３に関する画像信号は、時刻ｔ１５から時刻ｔ１６までの期間（露光期間ＴＥ）の露光動作によって生成され、その後、時刻ｔ２５から時刻ｔ２６に至るまでの期間（読出期間）において撮像素子５から読み出される。

４番目（最後）の画像ＰＡ４に関する画像信号は、時刻ｔ１７から時刻ｔ１８までの期間（露光期間ＴＥ）の露光動作によって生成され、その後、時刻ｔ２７から時刻ｔ２８に至るまでの期間（読出期間）において撮像素子５から読み出される。

なお、画像ＰＡ２の露光期間は、画像ＰＡ１の読出期間に重複している。言い換えれば、画像ＰＡ１の画像信号の撮像素子５からの読出動作は、次の画像ＰＡ２に関する露光動作と並行して行われる。同様に、画像ＰＡ３の露光期間は画像ＰＡ２の読出期間に重複しており、画像ＰＡ４の露光期間は画像ＰＡ３の読出期間に重複している。言い換えれば、画像ＰＡ２の画像信号の読出動作は次の画像ＰＡ３に関する露光動作と並行して行われ、画像ＰＡ３の画像信号の読出動作は次の画像ＰＡ４に関する露光動作と並行して行われる。また、ここでは、撮像素子５の読出し方式がプログレッシブ方式である場合を例示しているが、露光動作と読出動作とを並列に行うことができないインターレース方式の撮像素子を用いるようにしてもよい。

さて、１番目の画像ＰＡ１の露光終了から２番目の画像ＰＡ２の露光開始までの時間間隔（露光時間間隔）ΔＴは、値ＴＨ１（例えば１／３０秒）以下の値に設定される。同様に、２番目の画像ＰＡ２の露光終了から３番目の画像ＰＡ３の露光開始までの露光時間間隔ΔＴも値ＴＨ１以下の値に設定されており、３番目の画像ＰＡ３の露光終了から４番目の画像ＰＡ４の露光開始までの露光時間間隔ΔＴも値ＴＨ１以下の値に設定されている。

上述したように、従来、撮像素子における種々の制約のために、比較的大きな画素数を有する複数の画像を連続的に取得する際（例えば連写撮影の際）において、露光時間間隔ΔＴを所定の値（例えば、１／８秒）よりも短くできなかった。しかしながら、この実施形態の撮像装置１においては、後述するように撮像素子からの読出速度を向上させることなどによって、複数の画像を読み出す際の露光時間間隔ΔＴを非常に短い時間にすることが可能になっている。言い換えれば、連続撮影時の撮影時間間隔から露光時間ＴＥを差し引いた値ΔＴを、非常に短い時間に設定することが可能である。具体的には、値ΔＴを、１／３０秒、あるいは、それ以下の値（例えば、１／６０秒）に設定することができる。

図７は、実物の被写体と撮像素子上の被写体像との関係を示す図である。図７を参照しながら、この原理についてさらに詳細に説明する。

図７においては、被写体である人物が腕を振っている場合を想定している。例えば、撮像装置から被写体人物までの距離Ｙが５メートル、焦点距離ｆが５ミリメートル、被写体人物の腕の動きの速さＺが０．１メートル／秒であるとき、撮像素子５の結像面上での腕の動きの速さＤは、１００マイクロメートル／秒となる。なお、一般化すれば、速さＤは、次の数式（１）のように表現できる。

ここで、画素ピッチｐｔが３．３マイクロメートルであるとすると、速さＤ＝１００マイクロメートル／秒のときには、腕の位置は１秒間に約３０画素分（＝Ｄ／ｐｔ＝１００／３．３）ずれることになる。

逆に言えば、１／３０秒以内の露光時間間隔で撮影された場合には、当該露光時間間隔ΔＴにおける撮像素子５の結像面上での位置ずれは、ほぼ１画素以内に収まる。

一般化すれば、撮像素子５の結像面上における被写体像の許容ずれ量（例えば１画素ピッチ）ｐと撮像素子５の結像面上における被写体の腕の動きの最大速さ（「許容速さ」とも表現できる）Ｄとを用いた次の数式（２）の関係を満たすように、上記の値ΔＴを定めればよいことが判る。

すなわち、所定の画像の露光終了から次の画像の露光開始までの時間間隔である露光時間間隔ΔＴを、撮像素子上における被写体像の許容ずれ量ｐを撮像素子上における被写体像の許容速さＤで除した値（ｐ／Ｄ）以下に設定すればよい。これによれば、撮像素子上での人物の腕部分の変位が許容ずれ量以内に収まる。言い換えれば、値ΔＴを値（ｐ／Ｄ）よりも小さな値として定めることによれば、腕部分の期間ΔＴにおける撮像素子５の結像面上での移動量を許容ずれ量ｐ以内に収めることが可能である。

図８は、人物の腕が上方から下方に比較的高速で振り下ろされる際に取得された複数の画像ＰＡ１〜ＰＡ４に基づく合成画像ＰＢを示す概念図である。図８（ａ）は、値ΔＴが数式（２）を満たす場合を示し、図８（ｂ）は、値ΔＴが数式（２）を満たさない場合を示している。図８を参照しながら、値ΔＴの相違による、被写体像の相違について説明する。

上述（図２３等参照）のように、図８（ｂ）においては、４つの画像ＰＡ１〜ＰＡ４の相互間の露光間隔ΔＴが比較的大きいため、画像ＰＡ１，ＰＡ２，ＰＡ３，ＰＡ４のそれぞれにおける腕部分ＡＭ１，ＡＭ２，ＡＭ３，ＡＭ４が互いに離間した位置に（互いに分離した状態で）描写される。

これに対して、図８（ａ）においては、４つの画像ＰＡ１〜ＰＡ４の相互間の露光間隔ΔＴが比較的小さいため、画像ＰＡ１，ＰＡ２，ＰＡ３，ＰＡ４のそれぞれにおける腕部分ＡＭ１，ＡＭ２，ＡＭ３，ＡＭ４が同一の位置に存在するかあるいは隣接した位置に存在する状態で描写される。したがって、合成画像中の腕の数が実際の腕の数と一致し、合成画像中の腕が実際の数よりも多く見えることを防止できる。また、仮に、画像ＰＡ１，ＰＡ２，ＰＡ３，ＰＡ４のそれぞれにおける腕部分ＡＭ１，ＡＭ２，ＡＭ３，ＡＭ４が同一の位置に重なった状態ではなく隣接する状態であるとしても、複数の腕部分ＡＭ１，ＡＭ２，ＡＭ３，ＡＭ４は互いに離間していないので、これらの腕部分ＡＭ１，ＡＭ２，ＡＭ３，ＡＭ４は一体化された連続体として認識される。すなわち、当該腕部分の位置ずれは人間の目には動被写体のぶれとして認識されることになる。したがって、少なくとも、合成画像中の腕が実際の数よりも多く見えるよりは自然な画像として認識される。このように、高品質の画像を得ることが可能になる。

また、図８においては、動被写体の動きの速さに対して各画像ＰＡ１〜ＰＡ４の露光時間ＴＥが十分に短い時間（例えば、１／ｆより小さな値）に設定されており、動被写体のぶれが生じていない場合を想定している。

ただし、露光時間ＴＥが比較的長いか、あるいは、被写体の動作部分が非常に高速であるために、動被写体のぶれが生じている場合でも、時間ΔＴを十分に短くすることによって自然な画像を得ることが可能である。

図９は、図８と同様の図であるが、合成前の各画像ＰＡ１〜ＰＡ４に動被写体のぶれが生じている場合を示す図である。また、図９（ａ）は、値ΔＴが数式（２）を満たす場合を示し、図９（ｂ）は、値ΔＴが数式（２）を満たさない場合を示している。図９（ａ）および図９（ｂ）においては、各画像の腕部分ＡＭ１，ＡＭ２，ＡＭ３，ＡＭ４には、それぞれ腕部分が「ぶれ」て写っている。以下では、図９を参照しながら、値ΔＴの相違による、被写体像の相違について説明する。

上述（図２３等参照）のように、図９（ｂ）においては、４つの画像ＰＡ１〜ＰＡ４の相互間の露光間隔ΔＴが比較的大きいため、画像ＰＡ１，ＰＡ２，ＰＡ３，ＰＡ４のそれぞれにおける腕部分ＡＭ１，ＡＭ２，ＡＭ３，ＡＭ４が互いに離間した位置に（互いに分離した状態で）描写される。

これに対して、図９（ａ）においては、４つの画像ＰＡ１〜ＰＡ４の相互間の露光間隔ΔＴが比較的小さいため、画像ＰＡ１，ＰＡ２，ＰＡ３，ＰＡ４のそれぞれにおける腕部分ＡＭ１，ＡＭ２，ＡＭ３，ＡＭ４が隣接した位置に存在する状態で描写される。図９（ａ）においては、複数の腕部分ＡＭ１，ＡＭ２，ＡＭ３，ＡＭ４は互いに離間していないので、これらの腕部分ＡＭ１，ＡＭ２，ＡＭ３，ＡＭ４は一体化された連続体として認識される。すなわち、腕部分の位置ずれは、人間の目には動被写体のぶれとして認識されることになる。したがって、合成画像中の腕の数が実際の腕の数と一致するため、合成画像中の腕が実際の数よりも多く写っているよりは、自然な画像となる。

なお、上記の数式（２）は、数式（１）に基づいて、数式（３）のように表現することもできる。すなわち、数式（２）は、数式（３）と等価である。したがって、値ΔＴは、次の数式（３）を満たすように決定するようにしてもよい。

上述のように、厳密には、数式（２）等を満たすように決定された値を露光時間間隔ΔＴとして用いることが好ましい。この場合、速さＤとしては、上記のようなぶれ補正を可能とするような許容最大値を設定すればよい。

ただし、発明者の知見によれば、一般的な撮影状況においては、１／３０秒以下の所定の値を用いておけば、上述のような問題はほとんど生じない。すなわち、数式（３）などを用いることなく、値ΔＴを１／３０秒以下の固定値に定めることによっても、多くの場合において上述のような問題の発生を回避することができ、高品質の画像を生成することが可能な手振れ補正を簡易に実現することが可能になる。

＜撮像素子の構成および撮像素子からの読出し動作＞
また、この第１実施形態においては、値ΔＴを十分に小さな値に設定することが可能となるように、次のような構成を有するＣＣＤ（Charge-Coupled Device）センサ５Ａを撮像素子５として用いている。以下では、このＣＣＤセンサ５Ａについて詳細に説明する。

図１０は、ＣＣＤセンサ５Ａの構成を示す概略図である。

ＣＣＤセンサ５Ａは、被写体からの反射光を受け光電変換を行う複数の光電変換素子（例えばフォトダイオード）５１、ならびに、各光電変換素子で蓄積された信号電荷（単に電荷とも称する）を転送するための垂直転送部５３および水平転送部５４を有している。なお、図１０においては、図示の簡略化のためＣＣＤセンサ５Ａの一部のみを示しているが、実際には、ＣＣＤセンサ５Ａは、多数（例えば数百万個）の光電変換素子と、多数の垂直転送路（詳細には、垂直画素列の数と同数の垂直転送路）とを有している。

光電変換素子５１は、赤(Ｒ)色のカラーフィルタを有する画素５１Ｒと、緑(Ｇ)色のカラーフィルタを有する画素５１Ｇと、青(Ｂ)色のカラーフィルタを有する画素５１Ｂとに分類される。光電変換素子５１で構成される画素配列は、これらの三原色の色フィルタが例えばベイヤー方式で配列された色フィルタ配列を有している。

垂直転送部５３は、複数の垂直転送路５３１，５３２，５３３，５３４，．．．を有している。各垂直転送路５３１，５３２，５３３，５３４，．．．は、垂直方向に配置された各垂直画素列に沿って、それぞれ設けられている。

水平転送部５４は、２つの水平転送路５４１，５４２を有している。２つの水平転送路５４１，５４２は、いずれも垂直転送路の同一端側（ここでは図の下側）に設けられているが、対象となる水平転送路が互いに異なっている。具体的には、水平転送路５４１は、水平方向における奇数番目の垂直転送路５３１，５３３，...から読み出された電荷を受け取って、当該電荷をさらにアンプ部へと水平方向に転送する役割を有している。また、水平転送路５４２は、水平方向における偶数番目の垂直転送路５３２，５３４，...から読み出された電荷を受け取って、当該電荷をさらにアンプ部へと水平方向に転送する役割を有している。

一般的なＣＣＤセンサにおいては、水平転送路が１つしか設けられていないのに対して、このＣＣＤセンサ５Ａにおいては水平転送路が２つ（複数）設けられている。したがって、ＣＣＤセンサからの画素読出しを２倍に高速化することが可能である。また、より多数（例えば、４本、８本、あるいは１６本等）の水平転送路を設けることによって読出し速度をさらに高速化するようにしてもよい。

このような構成によってＣＣＤセンサからの電荷の読出し時間を短縮することによれば、上記のような値ΔＴを実現することが可能になる。

＜２．第２実施形態＞
上記第１実施形態においては、手振れ補正モードにおいては常に値ΔＴを所定値に設定する場合を例示したが、これに限定されない。例えば、被写体の動きの速さ（ないし被写体像の撮像素子表面上での動きの速さ）を検出し、当該速さに応じて露光時間間隔ΔＴを決定するようにしても良い。

この第２実施形態においては、このような変形例について説明する。なお、説明の重複を避けるため、以下では、第１実施形態との相違点を中心に説明する。

図１１は、第２実施形態に係る手振れ補正制御時の撮像処理を示すフローチャートである。図１１を参照しながら、画像加算式の手振れ補正処理について説明する。

撮影準備状態においては、ライブビュー画像が所定時間間隔で撮像素子５などによって撮像されるとともに、ＬＣＤ４０に表示される（ステップＳＰ２１）。その間にシャッタボタン９の状態が判定され（ステップＳＰ２２）、半押し状態Ｓ１になっていると判定されるとステップＳＰ２３に進む。

ステップＳＰ２３では、ライブビュー画像を用いて被写体の動きの速さを検出する。

図１２は、被写体の動きの速さを検出する動作について説明する図である。

図１２に示すように、まず、比較の対象となる２つの画像ＰＥ１，ＰＥ２（例えば、画像ＰＡ１，ＰＡ２）を、それぞれ、Ｍ×Ｎ（図では１０×８）個の区分領域ＲＧ（ｉ，ｊ）（ただし、ｉ＝１，...，Ｍ、ｊ＝１，...，Ｎ）に区分する。なお、各区分領域ＲＧ（ｉ，ｊ）は、複数の画素を有している。

つぎに、画像ＰＥ１と画像ＰＥ２との間で、ずれ方向とずれ量とが互いに異なる複数の組合せについての「ずれ」を実現した状態でパターンマッチング処理を行う。

具体的には、まず、画像ＰＥ１を画像ＰＥ２に対して＋Ｘ方向に１画素分ずらして、ずらした後の区分領域ＲＧ（ｉ，ｊ）の対応画素同士の画素値の差分値を算出し、当該差分値を区分領域ＲＧ（ｉ，ｊ）内の全ての画素について加算した加算値を評価値ＥＶ（ｉ，ｊ）として求める。このような評価値ＥＶ（ｉ，ｊ）を各区分領域ごとに求める。

つぎに、画像ＰＥ１を画像ＰＥ２に対して−Ｘ方向に１画素分ずらして同様の処理を行い、各区分領域ごとの評価値ＥＶ（ｉ，ｊ）を算出する。また、画像ＰＥ１を画像ＰＥ２に対して＋Ｙ方向に１画素分ずらして同様の処理を行い、各区分領域ごとの評価値ＥＶ（ｉ，ｊ）を算出する。さらに、画像ＰＥ１を画像ＰＥ２に対して−Ｘ方向に１画素分ずらして同様の処理を行い、各区分領域ごとの評価値ＥＶ（ｉ，ｊ）を算出する。

同様に、今度は、各方向（＋Ｘ，−Ｘ，＋Ｙ，−Ｙ）にそれぞれ２画素分ずらした状態で、それぞれの「ずれ」に対応する評価値ＥＶ（ｉ，ｊ）を各区分領域（ｉ，ｊ）ごとに求める。

また同様に、各方向（＋Ｘ，−Ｘ，＋Ｙ，−Ｙ）にそれぞれ３画素分ずらした状態で、それぞれの「ずれ」に対応する評価値ＥＶ（ｉ，ｊ）を各区分領域（ｉ，ｊ）ごとに求める。

さらに同様に、各方向（＋Ｘ，−Ｘ，＋Ｙ，−Ｙ）にそれぞれ４画素分ずらした状態で、それぞれの「ずれ」に対応する評価値ＥＶ（ｉ，ｊ）を各区分領域（ｉ，ｊ）ごとに求める。

このようにして、合計１６種類の「ずれ」に対応する評価値ＥＶ（ｉ，ｊ）が各区分領域ＲＧ（ｉ，ｊ）ごとに算出される。そして、区分領域（ｉ，ｊ）ごとに最も良い（最も小さい）評価値ＥＶ（ｉ，ｊ）を求め、当該最良の評価値ＥＶ（ｉ，ｊ）に対応する「ずれ」を、両画像ＰＥ１，ＰＥ２間の「ずれ」として判定する。たとえば、或る区分領域ＲＧ（ｉ，ｊ）について、＋Ｘ方向に２画素ずれたときの評価値ＥＶ（ｉ，ｊ）が最小であるとすれば、画像ＰＥ２は画像ＰＥ１に対して＋Ｘ方向に２画素ずれていると判定される。

そして、区分領域ＲＧ（ｉ，ｊ）ごとの「ずれ」に関するヒストグラム（度数分布）を生成し、最も多くの度数を有する「ずれ」を画面全体の「ずれ」であるとして判定する。また、このようにして求められた画面全体の「ずれ」と各区分領域ＲＧ（ｉ，ｊ）における「ずれ」との差を求め、その差が最大となる「ずれ」を動被写体の動きとして検出する。そして、動被写体の動きとして検出された「ずれ」から、動被写体の撮像素子５上での速さＤが求められる。

たとえば、８０個の区分領域ＲＧ（ｉ，ｊ）のうち、７６個の区分領域で＋Ｘ方向への２画素移動が検出され、４個の区分領域で＋Ｘ方向への３画素移動が検出された場合を想定する。この場合、これら４個の区分領域に対応する被写体部分においては、手振れによる＋Ｘ方向への２画素分のずれに加えて、被写体の動きによる＋Ｘ方向への１画素分のずれをさらに加えることによって、３画素分の＋Ｘ方向へのずれが生じているものと判定する。すなわち、これらの４個の区分領域に対応する被写体部分においては、被写体の動きによって＋Ｘ方向への１画素分のずれが生じているものとみなす。

そして、この１画素分のずれに対応する「ずれ量」Ｓｄを、画像ＰＥ１と画像ＰＥ２との撮影時間間隔Ｔintで除することによれば、被写体像の撮像素子５上での速さＤ（＝Ｓｄ／Ｔint）を求めることができる。ただし、ここでは、速さＤをより適切に計測するため、比較対象画像ＰＥ１，ＰＥ２を順次に直近に取得された画像に変更しつつ同様の動作を繰り返すことによって所定期間内の各瞬間における速さを求め、当該所定期間にわたる速さの平均値を被写体像の動きの速さＤとして求めるものとする。

以上のようにして、被写体像の動きの速さＤが検出される。

次のステップＳＰ２４では、被写体像の動きの速さに応じて、露光時間間隔ΔＴを決定する。具体的には、露光時間間隔ΔＴの決定は、上記数式（２）又は数式（３）に基づいて行えばよい。ただし、被写体像の動きの速さＤとしては、許容速さに関する設定値を用いるのではなく、上記のようにステップＳＰ２３で測定された値（測定値）を用いる。これによって、値ΔＴは、撮像素子上における被写体像の許容ずれ量ｐを、撮像素子上での被写体像の動きの速さＤで、除した値（ｐ／Ｄ）以下に設定される。

なお、上記の数式（２）は、Ｄ＝Ｓｄ／Ｔintを考慮すれば、次の数式（４）と等価である。

さらに、上記の数式（４）は、ｐ＝（画素ピッチｐｔ）×（許容ドット数ｐｄ）、Ｓｄ＝（画素ピッチｐｔ）×（ドット数換算値Ｍｄ）を考慮すれば、次の数式（５）と等価である。なお、許容ドット数ｐｄは、ΔＴの期間における被写体像の許容ずれ量を撮像素子の画素数（ドット数）に換算した値であり、ドット数換算値Ｍｄは、撮影時間間隔Ｔintにおける被写体像の移動量を画素数（ドット数）に換算した値である。

例えば、許容ずれ量を１画素分に設定する場合（ｐｄ＝１）において、被写体の動きの速さが、Ｔint＝１／３０秒の間に被写体像が撮像素子５上で１画素分ずれる速さに相当する（Ｔint＝１／３０，Ｍｄ＝１）と判定されたときには、数式（５）の右辺は１／３０秒となる。そこで、数式（５）の等号が成立するような値、すなわち、１／３０秒を値ΔＴとして定めればよい。また、被写体の動きが、Ｔint＝１／３０秒の間に２画素分ずれる速さに相当すると判定されたときには、その半分の１／６０秒を値ΔＴとして定めればよい。

このように、検出された被写体の動きの速さ（被写体像の動きの速さ）に応じて値ΔＴを変更することによれば、さらに的確に値ΔＴを設定することが可能になる。なお、値ΔＴが小さな値になればなるほど、単位時間あたりの発熱量が大きくなるため、発熱による負荷を機器に与えることになる。したがって、値ΔＴとしては、被写体の動きの速さに応じた適切な値を求めることが好ましい。

その後、シャッタボタン９の状態が判定され（ステップＳＰ２５）、全押し状態Ｓ２になっていないと判定されるときはステップＳＰ２１に戻り、全押し状態Ｓ２になっていると判定されるときはステップＳＰ２６に進む。

ステップＳＰ２６〜ＳＰ２８おいては、シャッタボタン９が全押し状態Ｓ２になったことに応答して、画像加算式の手振れ補正制御を伴う本撮影画像の撮影動作が行われる。

具体的には、手振れ補正に用いる４枚の画像の連続撮影動作が行われ（ステップＳＰ２６）、これら４枚の画像に基づいて被写体の位置ずれ補正等が施された後、これら４枚の画像による合成画像が本撮影画像として生成される（ステップＳＰ２７）。そして、生成された合成画像がメモリカード９０に格納される（ステップＳＰ２８）。これらの処理は、ステップＳＰ１５，ＳＰ１６，ＳＰ１７（図４）の処理と同様である。

この結果、手振れ補正が施された本撮影画像を得ることができる。

＜３．第３実施形態＞
第３実施形態は、第２実施形態の変形例である。以下では、第２実施形態との相違点を中心に説明する。

この第３実施形態においては、被写体の動きの有無（言い換えれば、動被写体の有無）を判定（検出）し、その判定結果（検出結果）に応じて、露光時間間隔ΔＴを設定する。

撮影時の動作は、第２実施形態（図１１参照）とほぼ同様であるが、ステップＳＰ２３，ＳＰ２４における動作が、第２実施形態と相違する。

具体的には、ステップＳＰ２３においては、動被写体の有無が、動き検出部７１によって判定される。具体的には、速さがゼロである場合（あるいは、速さが所定の閾値以下である場合）に、動被写体が存在しないものとみなし、それ以外の場合には、動被写体が存在するものとみなす。

また、ステップＳＰ２４においては、次のようにして露光時間間隔ΔＴを設定する。

ステップＳＰ２４においては、具体的には、動被写体が存在すると判定される場合には、露光時間間隔ΔＴを１／３０秒以下の値に設定し、動被写体が存在しないと判定される場合には、露光時間間隔ΔＴを１／３０秒よりも大きな値（例えば、１／８秒）に設定する。

これによれば、動被写体の有無に応じて露光時間間隔ΔＴを適切な値に設定することが可能になる。

＜４．その他＞
なお、上記各実施形態においては、２つの水平転送路５４１，５４２がいずれも２次元画素配列の下辺側に設けられている場合（図１０参照）を例示しているが、これに限定されない。例えば、図１３に示すように、一方の水平転送路５４３が２次元画素配列の下辺側（垂直転送路の下端側）に設けられ、他方の水平転送路５４４が２次元画素配列の上辺側（垂直転送路の上端側）に設けられていても良い。図１３は、変形例に係るＣＣＤセンサ５Ｂの構成を示す概略図である。

また、図１０においては、２つの水平転送路５４１，５４２のうち、一方の水平転送路５４１が、奇数番目の垂直転送路５３１，５３３からの電荷を転送し、他方の水平転送路５４２が、偶数番目の垂直転送路５３２，５３４からの電荷を転送する場合を例示していた。ただし、これに限定されず、例えば図１４に示すように、Ｎ本の全垂直転送路のうち、１番目から（Ｎ／２）番目までの垂直転送路５３１，５３２からの電荷を一方の水平転送路５４５が転送し、残りの（（Ｎ／２）＋１）番目からＮ番目までの垂直転送路５３３，５３４からの電荷を他方の水平転送路５４６が転送するようにしても良い。図１４は、別の変形例に係るＣＣＤセンサ５Ｃの構成を示す概略図である。

さらに、図１５に示すように、各垂直画素列の左右両側に１本ずつ合計２本の垂直転送列を設け、垂直画素列の画素信号のうち、奇数行目の画素信号を左側の垂直転送路（たとえば５３１ａ）と一方の水平転送路５４７とを用いて転送し、偶数行目の画素信号を右側の垂直転送路（たとえば５３１ｂ）と他方の水平転送路５４８と用いて転送するようにしてもよい。図１５は、さらに別の変形例に係るＣＣＤセンサ５Ｄの構成を示す概略図である。

これらの場合にも、複数の水平転送路を設けることによって、より高速に画素信号を読み出すことが可能になる。

また、撮像素子５として図１６に示すようなＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサ５Ｅを用いる場合にも、高速読み出しを実現することが可能である。図１６は、変形例に係るＣＭＯＳセンサ５Ｅの構成を示す概略図である。

図１６に示すように、ＣＭＯＳセンサ５Ｅにおいては、水平方向に伸びる複数の垂直アドレス指定用の読出線（配線）５７が垂直方向に配列されており、垂直方向に伸びる複数の水平アドレス指定用の読出線（配線）５８，５９が水平方向に配列されている。より詳細には、垂直方向に配置された各水平画素列には、それぞれ、１本の垂直アドレス指定用の読出線５７が設けられ、水平方向に配置された各垂直画素列にはそれぞれ２本の水平アドレス指定用の読出線５８，５９が設けられている。すなわち、水平方向における各同一アドレスを指定するための配線（５８，５９）が当該各同一アドレスに対してそれぞれ２本設けられている。

所定の画素（光電変換素子５１）から電荷を読み出す際には、当該画素の垂直アドレスに対応する読出線５７と、当該画素の水平アドレスに対応する読出線５８又は５９とが用いられる。具体的には、垂直画素列を構成する複数の画素のうち、奇数行目（例えば上から１行目）の画素の画素信号は、一方の水平アドレス指定用の読出線５８と垂直アドレス指定用の読出線５７（詳細には、例えば読出線５７１）とを用いて読み出され、偶数行目（例えば上から２行目）の画素の画素信号は、他方の水平アドレス指定用の読出線５９と垂直アドレス指定用の読出線５７（詳細には、例えば読出線５７２）とを用いて読み出される。すなわち、同一水平アドレス指定用の当該複数本の配線５８，５９と各垂直アドレス指定用の配線５７（５７１，５７２，...）とを用いて、水平方向のアドレスが同一であり且つ垂直方向のアドレスが異なる別々の光電変換素子５１の電荷が、並列的に読み出される。これによれば、各垂直画素列について、複数（ここでは２本）の読出線（配線）５８，５９を用いて並列的に読み出すことができる。したがって、水平方向における各アドレスを指定するために各アドレスに対してそれぞれ１本ずつしか配線が設けられていない場合に比べて、電荷の読出しを高速化することができる。

あるいは、バッファ領域を有するＣＣＤセンサ５Ｆを用いるようにしても良い。図１７は、さらなる変形例に係るＣＣＤセンサ５Ｆの構成を示す概略図である。図１７に示すように、ＣＣＤセンサ５Ｆは、各光電変換素子５１に対してそれぞれ３つのバッファ領域５６ａ，５６ｂ，５６ｃが設けられている。

そして、図１８に示すように、１枚目の画像の電荷を各光電変換素子５１からバッファ領域５６ａに一旦バッファリングした後、直ぐに露光を開始して引き続いて２枚目の画像に対応する電荷を各光電変換素子５１からバッファ領域５６ｂに一旦バッファリングする。その後、直ぐに再び露光を開始して引き続いて３枚目の画像に対応する電荷を各光電変換素子５１からバッファ領域５６ｃに一旦バッファリングする。最後に、再び露光を開始して４枚目の画像に対応する電荷を各光電変換素子５１に蓄積する。

その後、図１９に示すように、１枚目の画像の電荷をバッファ領域５６ａから垂直転送部５３等を経由して読み出し（図１９（ａ））、２枚目の画像の電荷をバッファ領域５６ｂから垂直転送部５３等を経由して読み出し（図１９（ｂ））、３枚目の画像の電荷をバッファ領域５６ｃから垂直転送部５３等を経由して読み出し（図１９（ｃ））、４枚目の画像の電荷を光電変換素子５１から垂直転送部５３等を経由して読み出す（図１９（ｄ））ようにすればよい。

この場合、所定の露光期間（たとえば１枚目、２枚目、あるいは３枚目の画像撮影のための露光期間）において複数の光電変換素子で生成される電荷は、複数の光電変換素子のそれぞれに対応するバッファ領域（例えば５６ａ，５６ｂ，あるいは５６ｃ）に一旦格納され（バッファリングされ）、当該所定の露光期間とは別の露光期間（たとえば４枚目の画像撮影のための露光期間）における露光動作の終了後に、垂直転送部５３を用いて読み出される。端的に言えば、垂直転送部５３を用いた電荷の読み出し（図１９）は、露光時間間隔ΔＴでの連続露光動作（図１８）が完了した後に行われる。そのため、垂直転送部５３を介して電荷を読み出す時間の長さは、露光時間間隔ΔＴに影響を与えない。したがって、露光時間間隔ΔＴを所望の値に設定することが可能である。

さらに、上記のＣＣＤセンサ５Ａ〜５Ｄ，５Ｆにおいては、各光電変換素子５１からの電荷はまず垂直転送路を用いて転送された後に、水平転送路を用いてさらに転送される場合を例示したが、これに限定されず、水平方向と垂直方向とが入れ替わってもよい。

また、上記ＣＣＤセンサ５Ａ〜５Ｄ，５Ｆにおいては、複数の水平転送路として、２本の水平転送路を設ける場合を例示したが、これに限定されず、３本以上の水平転送路を設けるようにしてもよい。ＣＭＯＳ５Ｅにおいても同様であり、各同一水平アドレスに対してそれぞれ３本以上の読出用配線を設けるようにしてもよい。

さらに、上記各実施形態および変形例においては、転送路等の数を増加させることによって、撮像素子５からの読出速度を向上させる場合を例示しているが、これに限定されず、読出時における撮像素子５についての駆動周波数（駆動クロック）を増大させることによって所望の値ΔＴを実現するようにしてもよい。例えば、第３実施形態において、動被写体が存在する場合には存在しない場合に比べて数倍（例えば４倍）の駆動周波数を用いて撮像素子５を駆動することによって、所望のΔＴ（例えば１／３０秒）を実現するようにしてもよい。

また、上記実施形態等においては、４枚の画像を連続撮影し、これらの画像を合成する場合を例示しているが、合成処理の対象画像は４枚の画像に限定されるものではなく、処理速度および／または補正度合い等に応じて、合成処理に用いる対象画像の数を決定すればよい。

撮像装置を正面側からみた概略斜視図である。 撮像装置を背面側からみた概略斜視図である。 撮像装置の内部機能を示すブロック図である。 手振れ補正制御時における撮像処理の流れを示すフローチャートである。 手振れによる被写体移動量の検出を説明するための概念図である。 撮像素子における露光動作等を示すタイミングチャートである。 実物の被写体と撮像素子上での被写体像との関係を示す図である。 複数の画像に基づく合成画像を示す概念図である。 複数の画像に基づく合成画像を示す概念図である。 ＣＣＤセンサの構成を示す概略図である。 第２実施形態に係る手振れ補正制御時の撮像処理を示すフローチャートである。 被写体の動きの速さを検出する動作について説明する概念図である。 変形例に係るＣＣＤセンサの構成を示す概略図である。 別の変形例に係るＣＣＤセンサの構成を示す概略図である。 さらに別の変形例に係るＣＣＤセンサの構成を示す概略図である。 ＣＭＯＳセンサの構成を示す概略図である。 さらに別の変形例に係るＣＣＤセンサの構成を示す概略図である。 ＣＣＤセンサからの電荷の読出動作を説明する図である。 ＣＣＤセンサからの電荷の読出動作を説明する図である。 合成画像生成に用いられる複数の画像を示す図である。 被写体が静止している場合における合成画像を示す図である。 合成画像生成に用いられる複数の画像を示す図である。 被写体が動いている場合における合成画像を示す図である。

符号の説明

１ 撮像装置
５ 撮像素子
５Ａ〜５Ｄ，５Ｆ ＣＣＤセンサ
５Ｅ ＣＭＯＳセンサ
５１ 光電変換素子
５３ 垂直転送部
５４ 水平転送部
５６ａ，５６ｂ，５６ｃ バッファ領域
５７，５８，５９ 読出線（配線）
５３１〜５３４ 垂直転送路
５４１〜５４８ 水平転送路
ΔＴ 露光時間間隔
Ｄ 被写体像の動きの速さ（測定値ないし設定値）
ｐ 許容ずれ量

Claims (8)

1. 撮像装置であって、
   撮影光学系からの被写体像を光電変換して画像を取得する撮像素子と、
   前記撮像素子によって連続的に取得された複数の画像の相互間における被写体位置のずれを補償した上で、当該複数の画像を合成して合成画像を生成する手段と、
   前記複数の画像のうち所定の画像の露光終了から次の画像の露光開始までの時間間隔を制御する制御手段と、
   を備え、
   前記制御手段は、前記時間間隔を１／３０秒以下の値に設定することを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   動被写体の有無を判定する判定手段、
   をさらに備え、
   前記制御手段は、前記判定手段によって前記動被写体が存在すると判定される場合には、前記時間間隔を１／３０秒以下の値に設定し、前記判定手段によって前記動被写体が存在しないと判定される場合には、前記時間間隔を１／３０秒よりも大きな値に設定することを特徴とする撮像装置。
3. 請求項１に記載の撮像装置において、
   前記被写体の動きの速さを求める手段、
   をさらに備え、
   前記制御手段は、前記被写体の動きの速さに応じて前記時間間隔を変更することを特徴とする撮像装置。
4. 撮像装置であって、
   撮影光学系からの被写体像を光電変換して画像を取得する撮像素子と、
   前記撮像素子によって連続的に取得された複数の画像の相互間における被写体位置のずれを補償した上で、当該複数の画像を合成して合成画像を生成する手段と、
   前記複数の画像のうち所定の画像の露光終了から次の画像の露光開始までの時間間隔を制御する制御手段と、
   を備え、
   前記制御手段は、前記時間間隔を、前記撮像素子上における前記被写体像の許容ずれ量を前記撮像素子上における前記被写体像の許容速さで除した値以下に設定することを特徴とする撮像装置。
5. 撮像装置であって、
   撮影光学系からの被写体像を光電変換して画像を取得する撮像素子と、
   前記撮像素子によって連続的に取得された複数の画像の相互間における被写体位置のずれを補償した上で、当該複数の画像を合成して合成画像を生成する手段と、
   前記撮像素子上における前記被写体像の速さを求める手段と、
   前記複数の画像のうち所定の画像の露光終了から次の画像の露光開始までの時間間隔を制御する制御手段と、
   を備え、
   前記制御手段は、前記時間間隔を、前記撮像素子上における前記被写体像の許容ずれ量を前記撮像素子上における前記被写体像の速さで除した値以下に設定することを特徴とする撮像装置。
6. 請求項１から請求項５のいずれかに記載の撮像装置において、
   前記撮像素子は、当該撮像素子において第１方向に配置された複数の光電変換素子で生成される電荷を前記第１方向に転送する複数の第１転送路と、前記複数の第１転送路によって転送されてきた電荷を前記第１方向とは異なる第２方向にさらに転送する複数の第２転送路とを有するＣＣＤセンサであることを特徴とする撮像装置。
7. 請求項１から請求項５のいずれかに記載の撮像装置において、
   前記撮像素子は、
   複数の光電変換素子と、
   前記複数の光電変換素子のそれぞれに対応して設けられたバッファ領域と、
   前記複数の光電変換素子で生成された電荷を転送する転送路と、
   を有するＣＣＤセンサであり、
   所定の露光期間において前記複数の光電変換素子で生成される電荷は、複数の光電変換素子のそれぞれに対応する前記バッファ領域に一旦バッファリングされ、前記所定の露光期間とは別の露光期間における露光動作の終了後に、前記転送路を用いて読み出されることを特徴とする撮像装置。
8. 請求項１から請求項５のいずれかに記載の撮像装置において、
   前記撮像素子は、
   複数の光電変換素子と、
   前記複数の光電変換素子の電荷を、各光電変換素子の第１方向のアドレスと第２方向のアドレスとを指定して読み出す読出用配線と、
   を有するＣＭＯＳセンサであって、
   前記撮像素子においては、前記第１方向における各同一アドレスを指定するための配線が当該各同一アドレスに対してそれぞれ複数本設けられており、当該複数本の配線を用いて、前記第１方向のアドレスが同一であり且つ前記第２方向のアドレスが異なる別々の光電変換素子の電荷が並列的に読み出されることを特徴とする撮像装置。

Images