JP2011146767A - 撮像装置 - Google Patents

Abstract

【課題】電子手ブレ補正においても固定パターンを低減した撮像装置を提供する。
【解決手段】画像データを生成する撮像手段と、自装置の揺れを検知する揺れ検知手段と、自装置の揺れに関する情報を記憶する記憶手段と、撮像手段に複数の画像データを生成させ、複数の画像データ生成時の自装置の揺れに関する情報を記憶手段に記憶させ、撮像手段への被写体光の到達を遮蔽させ、撮像手段に複数の画像データ生成時と同じ露光時間、同じ時間間隔で複数の画像データと同じ数のダミーデータを生成させる制御手段と、複数の画像データ生成時の自装置の揺れに関する情報に基づいて複数の画像データと複数のダミーデータをそれぞれ位置合わせしながら加算平均して加算平均画像データと加算平均ダミーデータを生成する信号処理手段と、加算平均画像データから加算平均ダミーデータを減算する減算手段と、を備える。
【選択図】図３

Description

本発明は、撮像装置に関するものであり、特には、長秒露光においても良質な画像データを得ることができる撮像装置に関するものである。

画像データのムラを取り除く技術に関する先行技術文献として、特許文献１がある。図６を用いて、特許文献１に記載の技術を説明する。図６（ａ）に示すように、撮像素子の有効画素領域の周囲にオプティカルブラック領域（以下、ＯＢ領域）を設ける。有効画素領域の上下に設けられたＯＢ領域を垂直ＯＢ領域（以下、ＶＯＢ領域）、有効画素領域の左右に設けられたＯＢ領域を水平ＯＢ領域（以下、ＨＯＢ領域）と呼ぶ。

これらのＯＢ領域から読み出される画像信号を黒基準信号として、有効画素領域から読み出される画像信号から減算することによって、ムラのない画像信号を取り出すことができる。ＶＯＢ領域から読み出される画像信号の平均値を有効画素領域から読み出される画像信号から縦方向に減算することによって、縦筋や水平シェーディングを補正することができる。同様に、ＨＯＢ領域から読み出される画像信号の平均値を有効画素領域から読み出される画像信号から横方向に減算することによって、横筋や垂直シェーディングを補正することができる。

しかし、図６（ｂ）に示すように、非常に高いゲインで画像信号を読み出す場合、ＶＯＢ領域やＨＯＢ領域から読み出される画像信号の平均値に小さなムラが存在するだけで、補正後の画像信号に縦筋や横筋が発生するときがある。この縦筋や横筋は、固定パターンになる。図６（ｂ）は、補正後の画像信号に横筋が発生した場合を示している。

ここで、長秒露光において顕著になる固定パターンの影響を取り除く技術に関する先行技術文献として特許文献２がある。図７を用いて、特許文献２に記載の技術を説明する。図７（ａ）に示すように、露光データからダミーデータを減算して補正データを得る。

図７（ｂ）に示すように、ダミーデータは、シャッターを閉じて露光データを得たときと同じ露光時間だけ露光することによって得る。ダミーデータには、読出しアンプの熱や暗電流等の影響によって右下隅に赤く明るい固定パターンが現れている。また、固定パターンである縦筋や横筋が発生している。固定パターンは、露光データにも存在するので、露光データからダミーデータを減算することによって、固定パターンの影響を取り除くことができる。

一方、電子手ブレ補正の技術に関する先行技術文献として特許文献３がある。図８を用いて、特許文献３に記載の技術を説明する。特許文献３に記載の技術の目的とするところは、長秒露光においても手ブレの少ない画像データを得ることにある。

図８（ａ）に示すように、長秒露光においては手ブレの発生が不可避であるものの、短時間露光においては良好なＳ／Ｎが得られない。そこで、図８（ｂ）に示すように、短時間露光によって複数の画像データを生成し、これらの画像データを位置合わせして加算平均することによって手ブレが少なくＳ／Ｎも良好な一枚の画像データを得ることができる。

また、三次元ノイズリダクション技術に関する先行技術文献として特許文献４がある。図９を用いて、特許文献４に記載の技術を説明する。特許文献４に記載の技術の目的とするところは、動画等の複数枚の画像を合成して、ノイズの少なく、かつ被写体の動きブレの少ない画像データを得ることにある。

図９（ａ）に示すように、入力画像データとフレームメモリに蓄えられた画像データの各画素の信号を比較し、その差が所定の閾値以下の場合、これらを加算平均しノイズの少ない出力画像データを出力する。一方、その差が所定の閾値以上の場合、動き領域と判定し、入力画像データのみを出力する。これによって、図９（ｂ）に示すように、背景等静止している部分はノイズが少なく、かつ被写体が動いている部分の動きブレを抑えた画像を合成できる。

特開平１１−１１３０１３号公報 特開２０００−１２５２０４号公報 特開２００５−１０１８３７号公報 特開２００５−３１８２５１号公報

しかしながら、特許文献３に記載の技術においては、短時間露光によって生成した複数の画像データを位置合わせして加算平均するので、ランダムノイズを取り除くことはできても、固定パターンを低減することはできない。この様子を図１０（ａ）に示した。

そこで、これに特許文献２に記載の技術を適用して、図１０（ｂ）に示すように、短時間露光によって画像データを生成するごとにダミー撮影を挿入してダミーデータを得て対応する画像データからダミーデータを減算することによって固定パターンを低減するようにしても、短時間露光によって画像データを生成する時間間隔が二倍になるので、かえって手ブレや被写体ブレの影響が大きくなってしまうという課題がある。

また、特許文献４に記載の技術を適用して、被写体ブレを抑えようとしても、同様の課題がある。

本発明は、前記課題を解決し、電子手ブレ補正においても固定パターンを低減し、かつかえって手ブレや被写体ブレの影響を大きくするということもない撮像装置を提供することを目的とする。

前記課題を解決するために、本発明の撮像装置は、画像データを生成する撮像手段と、自装置の揺れを検知する揺れ検知手段と、前記自装置の揺れに関する情報を記憶する記憶手段と、前記撮像手段への被写体光の到達を遮蔽する遮蔽手段と、１）前記撮像手段に複数の画像データを生成させ、２）前記複数の画像データ生成時の自装置の揺れに関する情報を前記記憶手段に記憶させ、３）前記遮蔽手段に前記撮像手段への被写体光の到達を遮蔽させ、４）前記撮像手段に前記複数の画像データ生成時と同じ時間間隔で前記複数の画像データと同じ数のダミーデータを生成させる制御手段と、５）前記複数の画像データ生成時の自装置の揺れに関する情報に基づいて前記複数の画像データを位置合わせしながら加算平均して加算平均画像データを生成し、６）前記複数の画像データ生成時の自装置の揺れに関する情報に基づいて前記複数の画像データと同じ数のダミーデータを位置合わせしながら加算平均して加算平均ダミーデータを生成する信号処理手段と、７）前記加算平均画像データから前記加算平均ダミーデータを減算する減算手段と、を備えることを特徴とする。

以上のように、本発明によれば、複数の画像データ生成時の自装置の揺れに関する情報を記憶し、この情報に基づいて露光が終了してから同数のダミーデータを生成して位置合わせしながら加算平均するので、電子手ブレ補正においても固定パターンを低減し、かつかえって手ブレや被写体ブレの影響を大きくするということもない撮像装置を提供することができるという効果を奏する。

本発明の実施の形態１に係るデジタルカメラの外観図 本発明の実施の形態１に係るデジタルカメラのブロック図 本発明の電子手ブレ補正の技術に関する説明図 本発明の実施の形態１に係るデジタルカメラの動作を示すフローチャート 本発明の電子手ブレ補正の技術に関する第二の説明図 従来の画像データのムラを取り除く技術に関する説明図 従来の固定パターンの影響を取り除く技術に関する説明図 従来の電子手ブレ補正の技術に関する説明図 従来の三次元ノイズリダクションの技術に関する説明図 従来の電子手ブレ補正の技術の課題に関する説明図 本発明の実施の形態３に係るデジタルカメラのブロック図 本発明の実施の形態３に係るデジタルカメラの動作を示すフローチャート

（実施の形態１）
（１．外観）
図１は、本発明の実施の形態１に係るデジタルカメラの外観図である。図１（ａ）は、正面図であり、図１（ｂ）は、背面図である。

デジタルカメラ１００の正面（図１（ａ）参照）には、撮像光学系１０１とフラッシュ１０２が配されている。撮像光学系１０１は、被写体像をデジタルカメラ１００内の撮像素子に結像させる。フラッシュ１０２は、暗所での撮影において、閃光を発して撮影光量の不足を補う。デジタルカメラ１００の上面には、シャッターボタン１０３が配されている。シャッターボタン１０３を押下すると、撮像素子に結像した被写体像に基づく画像データがメモリカード等の記録媒体に記録される。

デジタルカメラ１００の背面（図１（ｂ）参照）には、液晶モニター１０４、モードダイヤル１０５、各種操作ボタン１０６が配されている。液晶モニター１０４には、撮像素子に結像した被写体像に基づく画像が表示される。従って、液晶モニター１０４に表示された画像を観察しながら撮影のための構図を決定することができる。また、液晶モニター１０４は、記録媒体に記録された画像データに基づく画像を表示することができる。

モードダイヤル１０５を操作することで、デジタルカメラ１００の動作モードを決定することができる。デジタルカメラ１００の動作モードには、撮影モードと再生モードがある。撮影モードは、シャッターボタン１０３を押下することにより、撮像素子に結像した被写体像に基づく画像データをメモリカード等の記録媒体に記録することができる動作モードである。撮影モードは、さらに全自動撮影モード、プログラム撮影モード、シャッター速度優先撮影モード、絞り優先撮影モード、シーン別撮影モードに細分される。シーン別撮影モードには、長秒露光モードが含まれる。

再生モードは、記録媒体に記録された画像データに基づく画像を液晶モニター１０４に表示することができる動作モードである。各種操作ボタン１０６を操作することによって、撮影モードと再生モードにおける、さらに詳細な設定をすることができる。すなわち、撮影モードにおいては、露出補正、ホワイトバランス調整、フラッシュ１０２の発光に関する設定等を行うことができる。また、再生モードにおいては、液晶モニター１０４に表示された画像の拡大や縮小、液晶モニター１０４に同時に表示する画像の数の設定、メモリカード等の記録媒体に記録された画像データの検索等を行うことができる。
（２．構成）
図２は、本発明の実施の形態１に係るデジタルカメラのブロック図である。撮像光学系１０１は、被写体光を撮像素子であるＣＣＤイメージセンサー３０１に結像させる。撮像光学系１０１は、複数のレンズ群で構成されている。本発明の実施の形態１に係るデジタルカメラ１００においては、撮像光学系１０１内にシャッター装置１０１ａを配している。

ＣＣＤイメージセンサー３０１は、結像した被写体光に基づく画像信号を出力する。ＡＦＥ３０２は、ＣＣＤイメージセンサー３０１の出力するアナログ信号である画像信号をデジタル信号である画像データに変換し、バス３０３を経由してＳＤＲＡＭ３０４に格納する。本発明の実施の形態１に係るデジタルカメラ１００では、撮像素子としてＣＣＤイメージセンサー３０１を示したが、ＣＭＯＳイメージセンサー等その他の撮像素子であっても構わない。

信号処理ＬＳＩ３０５は、ＣＰＵ３０５ａ、信号処理部３０５ｂ、揺れ検出部３０５ｃ、ＳＲＡＭ３０５ｄによって構成されている。ＣＰＵ３０５ａは、デジタルカメラ１００全体の制御を行う。ＣＰＵ３０５ａはシャッター装置１０１ａの動作を制御することができるが、図２においては、図が煩雑になるため制御線を図示していない。信号処理部３０５ｂは、ＡＦＥ３０２によってＳＤＲＡＭ３０４に格納された画像データを液晶モニター１０４による表示に適した画像データに変換し、液晶モニター１０４に出力する。

シャッターボタン１０３の半押しによって合焦動作が開始され、全押しによって撮影が行われる。信号処理部３０５ｂは、ＳＤＲＡＭ３０４に格納された画像データが、シャッターボタン１０３の全押しによって格納された画像データであるときは、メモリカード３０６への記録に適した画像データに変換し、メモリカード３０６に記録する。メモリカード３０６に記録された画像データは、信号処理部３０５ｂによって、液晶モニター１０４による表示に適した画像データに変換され、液晶モニター１０４に表示される。

また、信号処理部３０５ｂは、ＣＰＵ３０５ａからの制御信号に基づいて、ＡＦＥ３０２によってＳＤＲＡＭ３０４に格納された複数の画像データを位置合わせしながら加算平均して一枚の画像データを生成することができる。さらに、生成した画像データを液晶モニター１０４による表示に適した画像データに変換し、液晶モニター１０４に出力したり、メモリカード３０６への記録に適した画像データに変換し、メモリカード３０６に記録したりすることができる。

ジャイロセンサー３０７は、デジタルカメラ１００の揺れに対応した揺れ信号を出力する。揺れ検出部３０５ｃは、ジャイロセンサー３０７の出力する揺れ信号をＣＰＵ３０５ａに出力する。ＣＰＵ３０５ａは、揺れ信号を揺れが発生したときの画像データと対応付けてＳＲＡＭ３０５ｄに記憶させる。
（３．動作）
（３−１．概要）
図３は、本発明の電子手ブレ補正の技術に関する説明図である。図３（ａ）の左の図は、従来の電子手ブレ補正の技術に基づいて、短時間露光による複数枚の画像データを位置合わせして加算平均することによって生成された一枚の加算平均画像データを示す。手ブレは少なくＳ／Ｎも良好である。しかしながら、固定パターンが残留している。

図３（ａ）の中央の図は、シャッター装置１０１ａによってＣＣＤイメージセンサー３０１に到達する被写体光を遮蔽した状態において、短時間露光による複数枚の画像データを得たときと同じ露光時間、同じ時間間隔で同じ枚数のダミーデータを得て、これらのダミーデータを位置合わせして加算平均することによって生成された一枚の加算平均ダミーデータを示す。

図３（ａ）の右の図は、加算平均画像データから加算平均ダミーデータを減算することによって生成された補正データを示す。図３（ａ）の左の図において残留していた固定パターンが、図３（ａ）の右の図においては除去されている。

図３（ｂ）は、本発明の電子手ブレ補正の技術を模式的に説明した図である。図３（ｂ）の上段の図は、短時間露光による複数の画像データの生成過程を、図３（ｂ）の下段の図は、ＣＣＤイメージセンサー３０１に到達する被写体光をシャッター装置１０１ａによって遮蔽した状態における複数のダミーデータの生成過程を、それぞれ示している。短時間露光による画像データのそれぞれが生成されたときの自装置の揺れをジャイロセンサー３０７の出力する揺れ信号として取得したものを、短時間露光による画像データを生成したときの時間と位置の関係として図３（ｂ）の中段の図に示している。時間と位置の関係は、ＳＲＡＭ３０５ｄに一時的に記憶される。

短時間露光によって生成された複数の画像データとＣＣＤイメージセンサー３０１に到達する被写体光をシャッター装置１０１ａによって遮蔽した状態において生成された複数のダミーデータは、いずれもＳＲＡＭ３０５ｄに一時的に記憶された時間と位置の関係に基づいて、それぞれ加算平均がなされて、それぞれ一枚の加算平均画像データと加算平均ダミーデータが生成される。加算平均画像データから加算平均ダミーデータを減算することによって補正データが得られる。
（３−２．フローチャート）
図４は、本発明の実施の形態１に係るデジタルカメラの動作を示すフローチャートである。モードダイヤル１０５によって、シーン別撮影モードの長秒露光モードが選択されている。ＣＰＵ３０５ａは、シャッターボタン１０３が全押しされたか否かを監視している（Ｓ４０１）。

シャッターボタン１０３が全押しされると、ＣＰＵ３０５ａは、ＣＣＤイメージセンサー３０１に短時間露光による画像信号の出力を開始させる（Ｓ４０２ａ１〜Ｓ４０２ａｎ）。短時間露光の露光時間や時間間隔は、被写体の明るさや自装置の処理能力等に応じてＣＰＵ３０５ａが決定する。ＣＰＵ３０５ａは、これと並行して、それぞれの短時間露光中の自装置の揺れをジャイロセンサー３０７の出力する揺れ信号として取得する（Ｓ４０２ｂ１〜Ｓ４０２ｂｎ）。ＡＦＥ３０２は、ＣＣＤイメージセンサー３０１から出力された短時間露光による画像信号のそれぞれを画像データに変換してＳＤＲＡＭ３０４に格納する。ＣＰＵ３０５ａは、ジャイロセンサー３０７の出力する揺れ信号を短時間露光による画像データを生成したときの時間と位置の関係としてＳＲＡＭ３０５ｄに記憶させる。

短時間露光による画像信号の出力が全て終了すると、ＣＰＵ３０５ａは、シャッター装置１０１ａを全閉してＣＣＤイメージセンサー３０１に到達する被写体光を遮蔽する（Ｓ４０３）。次に、ＣＰＵ３０５ａは、ＣＣＤイメージセンサー３０１に、短時間露光による画像信号の出力と同じ露光時間、同じ時間間隔で同じ回数だけ画像信号を出力させる。ＡＦＥ３０２は、ＣＣＤイメージセンサー３０１から出力された画像信号をダミーデータに変換してＳＤＲＡＭ３０４に格納する（Ｓ４０４ｃ１〜Ｓ４０４ｃｎ）。

以上の処理によって、複数の画像データとこれに対応した複数のダミーデータがＳＤＲＡＭ３０４に格納された。また、複数の画像データの基となる画像信号が生成されたときにジャイロセンサー３０７が出力した揺れ信号が短時間露光による画像データを生成したときの時間と位置の関係としてＳＲＡＭ３０５ｄに一時的に記憶された。複数の画像データと複数のダミーデータは、それぞれ対応しているから、ＳＲＡＭ３０５ｄに一時的に記憶された時間と位置の関係は、ダミーデータにも対応付けることができる。

ここで、ＳＲＡＭ３０５ｄに一時的に記憶された時間と位置の関係は、例えば、ジャイロセンサー３０７の出力する揺れ信号に基づいて、一枚目の画像データに対して、二枚目以降の画像データの位置が水平方向に何画素分、垂直方向に何画素分移動しているかという自装置の揺れに関する情報に変換される。そして、この自装置の揺れに関する情報は、短時間露光によって生成された複数の画像データの位置合わせのためにも、ＣＣＤイメージセンサー３０１に到達する被写体光をシャッター装置１０１ａによって遮蔽した状態において生成された複数のダミーデータの位置合わせのためにも、共通して使用される。なお、図３（ｂ）の中段の図においては、時間と位置の関係について一次元の情報であるかのごとく記載しているが、これは図面作成の便宜のためであって、実際には水平方向と垂直方向の二次元の情報をもつことはいうまでもない。

信号処理部３０５ｂは、ＳＲＡＭ３０５ｄに一時的に記憶された自装置の揺れに関する情報に基づいて、ＳＤＲＡＭ３０４に格納された複数の画像データを位置合わせし、加算平均して加算平均画像データを生成する（Ｓ４０５ａ）。同じく、信号処理部３０５ｂは、ＳＲＡＭ３０５ｄに一時的に記憶された自装置の揺れに関する情報に基づいて、ＳＤＲＡＭ３０４に格納された複数のダミーデータを位置合わせし、加算平均して加算平均ダミーデータを生成する（Ｓ４０５ｃ）。

信号処理部３０５ｂが加算平均回路を二系統備えている場合は、図４に示すように、複数の画像データの加算平均処理と複数のダミーデータの加算平均処理を同時並行に行なうことができる。信号処理部３０５ｂが加算平均回路を一系統しか備えていない場合は、複数の画像データの加算平均処理が終わってから複数のダミーデータの加算平均処理を行なうようにすればよい。また、その逆であってもよい。

以上の処理によって、一枚の加算平均画像データと一枚の加算平均ダミーデータが生成された。そこで、信号処理部３０５ｂは、加算平均画像データから加算平均ダミーデータを減算して補正データを生成する（Ｓ４０６）。

なお、本発明の実施の形態１に係るデジタルカメラ１００においては、ジャイロセンサー３０７の出力する揺れ信号に基づいて自装置の揺れに関する情報を得ているが、これを短時間露光によって生成された画像データ間の動きベクトルに基づいて得るようにしてもよい。その場合、信号処理部３０５ｂが動きベクトル検出回路を備えている必要がある。これによって、ジャイロセンサーを備えないデジタルカメラであっても、本発明を適用することができる。

また、本発明の実施の形態１に係るデジタルカメラ１００においては、短時間露光によって生成された複数の画像データとＣＣＤイメージセンサー３０１に到達する被写体光をシャッター装置１０１ａによって遮蔽した状態において生成された複数のダミーデータを全てＳＤＲＡＭ３０４に格納した後、加算平均画像データと加算平均ダミーデータを生成することとした。しかし、全ての画像データ又は全てのダミーデータがＳＤＲＡＭ３０４に格納されるのを待つことなく、順次、加算平均を行なうようにしてもよい。

その場合、１枚目の画像データがＳＤＲＡＭ３０４に格納されたときには蓄積画像データが存在しないので、１枚目の画像データを１、蓄積画像データを０とした重み付け加算平均で合成する。また、２枚目の画像データが格納されたときには蓄積画像データ（１枚目の画像データ）が存在するので、２枚目の画像データを１／２、蓄積画像データ（１枚目の画像データ）を１／２とし、３枚目の画像データが格納されたときには蓄積画像データ（１枚目の画像データと２枚目の画像データを加算平均した画像データ）が存在するので、３枚目の画像データを１／３、蓄積画像データ（１枚目の画像データと２枚目の画像データを加算平均した画像データ）を２／３として、以降、同様に重み付け加算平均をすることで蓄積画像データを生成する。このことにより、最終的な蓄積画像データが、各画像データが均等に重み付けされた加算平均画像データになる。加算平均ダミーデータについても同様に生成することができる。

これによって、複数の画像データ又は複数のダミーデータを全てＳＤＲＡＭ３０４に格納した後、全ての画像データ又は全てのダミーデータを同じ重み付けで加算平均した場合と同じ加算平均画像データ又は加算平均ダミーデータを生成することができる。このようにすると、加算平均処理に必要となるＳＤＲＡＭ３０４の容量を削減することができる。
（実施の形態２）
実施の形態２に係るデジタルカメラは、信号処理部３０５ｂが複数の画像データから動きのある領域を検出する機能を備えている点において実施の形態１に係るデジタルカメラ１００と相違する。その他の構成は、実施の形態１に係るデジタルカメラと同じであるので、説明を省略する。

図５は、本発明の電子手ブレ補正の技術に関する第二の説明図である。図３（ｂ）との相違点は、画像を加算平均する処理に特許文献４に記載の三次元ノイズリダクション（以下、３ＤＮＲ）の技術を適用することである。ここでは、短時間露光によって画像データが生成されるごとに、一つ前に生成された画像データと今回生成された画像データを比較して、その差が閾値以上の領域を動き領域と判定する処理が追加されている。動き領域と判定された領域に関する情報は、自装置の揺れに関する情報とともにＳＲＡＭ１０５ｄに一時的に記憶される。

実施の形態２に係るデジタルカメラは、ＳＤＲＡＭ３０４に格納された複数の画像データを位置合わせし、加算平均して加算平均画像データを生成するときに、自装置の揺れに関する情報に加えて動き領域と判定された領域に関する情報も使用する。すなわち、加算平均を行なうときに、動き領域と判定された領域については加算平均の対象としない。同様に、ＳＤＲＡＭ３０４に格納された複数のダミーデータを位置合わせし、加算平均して加算平均ダミーデータを生成するときに、動き領域と判定された領域については加算平均の対象としない。このようにして生成された加算平均画像データから加算平均ダミーデータを減算して補正データを得ることによって、被写体ブレをも軽減した補正データを得ることができる。通常の３ＤＮＲにおいては、動き領域と判定された領域に関する情報を記憶する必要がないが、この動き領域と判定された領域に関する情報を記憶し、加算平均ダミーデータの生成の際に使用することで、固定パターン低減と被写体ブレ軽減の両立が可能となる。また、ここでは動き領域と判定された領域に関する情報を記憶するとしたが、各画像データと各ダミーデータを蓄積しておき、それぞれの３ＤＮＲ合成を同時に並列に行う構成であれば、画像データにおいて動き領域と判定された領域に関する情報にしたがって同時にダミーデータを合成できるので、必ずしも動き領域と判定された領域情報を記憶する必要はない。
（実施の形態３）
（１．構成）
図１１は、本発明の実施の形態３に係るデジタルカメラのブロック図である。図中、実施の形態１で説明した図２と同じ構成要素は、実施の形態１と同じ動作をする。

本発明の実施の形態３に係るデジタルカメラにおいては、実施の形態１において説明した図２のジャイロセンサー３０７が無く、代わりに、信号処理部３０５ｂ内に揺れ検出処理部３０５ｅを有している。

揺れ検出処理部３０５ｅは、連続して入力される画像データを画像処理することによって揺れ信号を検出し、ＣＰＵ３０５ａに出力する。ＣＰＵ３０５ａは、揺れ信号を揺れが発生したときの画像データと対応付けてＳＲＡＭ３０５ｄに記憶させる。
（３．動作）
図１２は、本発明の実施の形態３に係るデジタルカメラの動作を示すフローチャートである。モードダイヤル１０５によって、シーン別撮影モードの長秒露光モードが選択されている。ＣＰＵ３０５ａは、シャッターボタン１０３が全押しされたか否かを監視している（Ｓ４２１）。

シャッターボタン１０３が全押しされると、ＣＰＵ３０５ａは、ＣＣＤイメージセンサー３０１に短時間露光による画像信号の出力を開始させる（Ｓ４２２ａ１〜Ｓ４２２ａｎ）。短時間露光の露光時間や時間間隔は、被写体の明るさや自装置の処理能力等に応じてＣＰＵ３０５ａが決定する。

ＡＦＥ３０２は、ＣＣＤイメージセンサー３０１から出力された短時間露光による画像信号のそれぞれを画像データに変換してＳＤＲＡＭ３０４に格納する。ＣＰＵ３０５ａは、これと並行して、それぞれの短時間露光によって得られた画像データから揺れ検出処理部３０５ｅが検出した揺れ信号を取得し（Ｓ４２２ｂ１〜Ｓ４２２ｂｎ）、ＳＲＡＭ３０５ｄに記憶させる。

短時間露光による画像信号の出力が全て終了すると、ＣＰＵ３０５ａは、シャッター装置１０１ａを全閉してＣＣＤイメージセンサー３０１に到達する被写体光を遮蔽する（Ｓ４２３）。次に、ＣＰＵ３０５ａは、ＣＣＤイメージセンサー３０１に、短時間露光による画像信号の出力と同じ露光時間、同じ時間間隔で同じ回数だけ画像信号を出力させる。ＡＦＥ３０２は、ＣＣＤイメージセンサー３０１から出力された画像信号をダミーデータに変換してＳＤＲＡＭ３０４に格納する（Ｓ４２４ｃ１〜Ｓ４２４ｃｎ）。

信号処理部３０５ｂは、まず、ＳＤＲＡＭ３０４に格納された各画像データ（Ｓ４２２ａ１〜Ｓ４２２ａｎ）と対応するダミーデータ（Ｓ４２４ｃ１〜Ｓ４２４ｃｎ）を読み出し、各画像データから対応するダミーデータを減算する各画像ダーク減算処理（Ｓ４２６）を行う。

対応するダミーデータを減算した各減算画像データを、さらに、ＳＲＡＭ３０５ｄに一時的に記憶された揺れ信号（Ｓ４２２ｂ１〜Ｓ４２２ｂｎ）に基づいて位置合わせし、加算平均処理（Ｓ４２７）して加算平均画像データを生成することで補正データを生成する（Ｓ４２８）。

なお、ここでは各画像データと対応するダミーデータを全てＳＤＲＡＭ３０４に格納してから、各画像データから対応するダミーデータを減算し、対応するダミーデータを減算した各減算画像データに対して、位置合わせし加算平均処理する構成とした。しかし、画像データを生成した直後に対応するダミーデータを生成し、都度、画像データから対応するダミーデータを減算するようにしてもよい。この場合、対応するダミーデータを減算した減算画像データは、同様の処理が施された直前の減算画像データに対して、位置合わせされ加算平均処理される。そして、直前の減算画像データと対応するダークデータは、削除される。このようにすると、加算平均処理に必要となるＳＤＲＡＭ３０４の容量を削減することができる。したがって、ＳＤＲＡＭの容量を十分に確保することが困難な撮像装置であっても本発明を適用することができる。

本発明によれば、電子手ブレ補正においても固定パターンを低減し、かつかえって手ブレや被写体ブレの影響を大きくするということもない撮像装置を提供することができるので、デジタルカメラ、デジタルビデオカメラ等の撮像装置やカメラ機能を搭載した携帯電話やＰＤＡ等に適用して有用である。

１００ デジタルカメラ
１０１ 撮像光学系
１０１ａ シャッター装置
１０２ フラッシュ
１０３ シャッターボタン
１０４ 液晶モニター
１０５ モードダイヤル
１０６ 各種操作ボタン
３０１ ＣＣＤイメージセンサー
３０２ ＡＦＥ
３０３ バス
３０４ ＳＤＲＡＭ
３０５ 信号処理ＬＳＩ
３０５ａ ＣＰＵ
３０５ｂ 信号処理部
３０５ｃ 動き検出部
３０５ｄ ＳＲＡＭ
３０５ｅ 揺れ検出処理部
３０６ メモリカード
３０７ ジャイロセンサー

Claims (5)

1. 画像データを生成する撮像手段と、
   画像の揺れを検知する揺れ検知手段と、
   前記画像の揺れに関する情報を記憶する記憶手段と、
   前記撮像手段への被写体光の到達を遮蔽する遮蔽手段と、
   前記撮像手段に複数の画像データを生成させ、前記複数の画像データ生成時の画像の揺れに関する情報を前記記憶手段に記憶させ、前記遮蔽手段に前記撮像手段への被写体光の到達を遮蔽させ、前記撮像手段に前記複数の画像データ生成時と同じ時間間隔で前記複数の画像データと同じ数のダミーデータを生成させる制御手段と、
   前記複数の画像データ生成時の画像の揺れに関する情報に基づいて前記複数の画像データを位置合わせしながら加算平均して加算平均画像データを生成し、前記複数の画像データ生成時の自装置の揺れに関する情報に基づいて前記複数の画像データと同じ数のダミーデータを位置合わせしながら加算平均して加算平均ダミーデータを生成する信号処理手段と、
   前記加算平均画像データから前記加算平均ダミーデータを減算する減算手段と、
   を備える、
   ことを特徴とする撮像装置。
2. 前記複数の画像データ間で動きのある領域を動き領域と判定する動き判定手段、
   をさらに備え、
   前記信号処理手段は、
   前記複数の画像データ生成時の画像の揺れに関する情報と動き領域と判定された領域に関する情報に基づいて前記複数の画像データを位置合わせしながら加算平均して加算平均画像データを生成し、前記複数の画像データ生成時の画像の揺れに関する情報と動き領域と判定された領域に関する情報に基づいて前記複数の画像データと同じ数のダミーデータを位置合わせしながら加算平均して加算平均ダミーデータを生成する、
   ことを特徴とする請求項１に記載の撮像装置。
3. 画像データを生成する撮像手段と、
   自装置の揺れを検知する揺れ検知手段と、
   前記自装置の揺れに関する情報を記憶する記憶手段と、
   前記撮像手段への被写体光の到達を遮蔽する遮蔽手段と、
   前記撮像手段に複数の画像データを生成させ、前記複数の画像データ生成時の自装置の揺れに関する情報を前記記憶手段に記憶させ、前記遮蔽手段に前記撮像手段への被写体光の到達を遮蔽させ、前記撮像手段に前記複数の画像データ生成時と同じ時間間隔で前記複数の画像データと同じ数のダミーデータを生成させる制御手段と、
   前記複数の画像データ生成時の自装置の揺れに関する情報に基づいて前記複数の画像データを位置合わせしながら加算平均して加算平均画像データを生成し、前記複数の画像データ生成時の自装置の揺れに関する情報に基づいて前記複数の画像データと同じ数のダミーデータを位置合わせしながら加算平均して加算平均ダミーデータを生成する信号処理手段と、
   前記加算平均画像データから前記加算平均ダミーデータを減算する減算手段と、
   を備える、
   ことを特徴とする撮像装置。
4. 前記複数の画像データ間で動きのある領域を動き領域と判定する動き判定手段、
   をさらに備え、
   前記信号処理手段は、
   前記複数の画像データ生成時の自装置の揺れに関する情報と動き領域と判定された領域に関する情報に基づいて前記複数の画像データを位置合わせしながら加算平均して加算平均画像データを生成し、前記複数の画像データ生成時の自装置の揺れに関する情報と動き領域と判定された領域に関する情報に基づいて前記複数の画像データと同じ数のダミーデータを位置合わせしながら加算平均して加算平均ダミーデータを生成する、
   ことを特徴とする請求項３に記載の撮像装置。
5. 画像データを生成する撮像手段と、
   画像の揺れを検知する揺れ検知手段と、
   前記画像の揺れに関する情報を記憶する記憶手段と、
   前記撮像手段への被写体光の到達を遮蔽する遮蔽手段と、
   前記撮像手段に複数の画像データを生成させ、前記複数の画像データ生成時の画像の揺れに関する情報を前記記憶手段に記憶させ、前記遮蔽手段に前記撮像手段への被写体光の到達を遮蔽させ、前記撮像手段に前記複数の画像データ生成時と同じ時間間隔で前記複数の画像データと同じ数のダミーデータを生成させる制御手段と、
   前記複数の画像データから前記同じ数のダミーデータをそれぞれ減算処理した減算画像データを生成し、前記複数の画像データ生成時の画像の揺れに関する情報に基づいて前記減算画像データを位置合わせしながら加算平均して加算平均画像データを生成する信号処理手段と、
   を備える、
   ことを特徴とする撮像装置。

Images