JP2009124661A - 撮像装置 - Google Patents

Abstract

【課題】光学手振れ補正が効いている状態、または手振れが無い状態でも、固定パターンノイズを低減することができる撮像装置を提供する。
【解決手段】撮像装置は、光軸を有し、被写体像を結像する撮像光学系と、被写体像を撮像し画像として出力する撮像素子と、撮像素子に対する光軸位置を撮影毎にずらす光軸制御部と、撮像素子から出力された複数の画像を、該複数の画像間の位置ずれを補正して加算する画像加算処理部とを備える。画像が動画像である場合、光軸制御部は、動画像のフレーム撮影毎に撮像素子に対する光軸位置をずらす。
【選択図】図２

Description

この発明は、撮像装置に関する。詳しくは、撮影画像を加算処理する撮像装置に関する。

従来、複数枚の連続撮影画像を加算することにより、ノイズの少なく、品質の良い1枚画像を得ることが可能なシステムが提案されている（例えば特許文献１参照）。また、最近では、画像処理技術の進化に伴い、連続撮影した複数枚の画像間の動きベクトルを検出して画像全体の位置を合わせて画像を加算することにより、ノイズの少ない画像を得ることも可能となっている。

特開２０００−２４４７９７号公報

ところが、上述のように複数枚の連続撮影画像を加算すると、固定パターンノイズ（固定キズ、タテスジ、ヨコスジ等）が強調されてしまうことがある。これは以下の理由による。光学手振れ補正が効いている状態、あるいは三脚等に撮像装置が固定されて手振れが無い状態で、複数枚の画像を撮影すると、撮影素子に対する光軸の位置が各画像間でずれないことになる。このため、固定パターンノイズｎ１０１は各撮影画像内で同一位置に発生することになる（図１１Ａ、図１１Ｂ参照）。この場合、撮影した複数枚の画像を加算すると、複数枚の画像の加算によりランダムノイズは抑圧されて目立たなくなるのに対して、固定パターンノイズｎ１０１は強調されて目立ってしまう（図１１Ｃ参照）。

したがって、この発明の目的は、光学手振れ補正が効いている状態、または手振れが無い状態でも、固定パターンノイズを低減することができる撮像装置を提供することにある。

上述の課題を解決するために、この発明は、
光軸を有し、被写体像を結像する撮像光学系と、
被写体像を撮像し画像として出力する撮像素子と、
撮像素子に対する光軸位置を撮影毎にずらす光軸制御部と、
撮像素子から出力された複数の画像を、該複数の画像間の位置ずれを補正して加算する画像加算処理部と
を備えることを特徴とする撮像装置である。

この発明では、撮像素子に対する光軸位置を撮影毎にずらすので、固定パターンノイズの発生位置を撮影画像毎にずらすことができる。したがって、画像間の位置ずれを補正して画像を加算したときに、固定パターンノイズが重ならないようにできる。

以上説明したように、この発明によれば、光学手振れ補正が効いている状態、または手振れが無い状態でも、固定パターンノイズを低減することができる。したがって、高品質な画像を提供することができる。

（１）第１の実施形態
まず、この発明の第１の実施形態の概要について説明する。
この第１の実施形態に係る撮像装置は、固体撮像素子に対する光軸位置を意図的に撮影毎にずらすようにする。これにより、例えば図１Ａおよび図１Ｂに示すように、固定パターンノイズｎ１の発生位置を撮影画像毎にずらすことができる。このように固定パターンノイズｎ１の発生位置がずれた複数の画像を加算すると、図１Ｃに示すように、固定パターンノイズｎ１が重なることがない。したがって、複数の画像を加算して得た画像では、固定パターンノイズｎ１が低減される。このような処理は、動画撮影だけでなく、連続撮影の複数枚の静止画像（例えば連写など）に対してもなされるようになっている。

図２は、この発明の第１の実施形態に係る撮像装置の一構成例を示す。この撮像装置１は、撮像光学系２と、振れ補正レンズ位置検出部３と、振れ補正レンズ駆動部４と、動作検出部５と、ＣＰＵ６と、固体撮像素子駆動部７と、固体撮像素子８と、アナログ信号処理部９と、Ａ／Ｄ変換部１０と、カメラ信号処理部１１と、画像加算処理部１２と、画像メモリ１３と、フォーカスレンズ駆動部１４と、フォーカスレンズ位置検出部１５と、ズームレンズ駆動部１６と、ズームレンズ位置検出部１７と、シャッターボタン１８と、メモリ１９と、記録再生装置２０とを備える。撮像装置１は、固定パターンノイズを除去するために、例えば、被写体像に対応する各画素に関して、次回撮影時において、画像素子上の被写体像が、少なくとも前回撮像時に比べて１画素以上ずれるように撮影光軸をずらすように構成されている。

撮像装置１は、撮影した画像を加算処理せずに記録再生装置２０の記録媒体に対して記録する通常撮影モードと、撮影した画像を加算処理して記録再生装置２０の記録媒体に対して記録する画像加算撮影モードとを備える。また、画像加算撮影モードとしては、ユーザがシャッターボタン１８を押して撮影した複数の画像を加算処理する手動画像加算モードと、ユーザがシャッターボタン１８を１度押すと複数の画像を自動的に連写し、この連写した複数の画像を加算処理する自動画像加算モードとを有する。これらのモードの切替は、撮像装置１に備えられた操作部（図示せず）によってなされる。

撮像光学系２は、光軸Ｚを有し、被写体像を固体撮像素子８に結像する。この撮像光学系２は、３つのレンズ群Ｌ１、Ｌ２、Ｌ３を備える。中間のレンズ群Ｌ２は、振れ補正レンズ群であり、光軸Ｚに垂直な面内において互いに垂直な２方向、すなわちＸ方向、Ｙ方向に移動可能な構成を有している。中間のレンズ群Ｌ２をＸ方向、Ｙ方向に移動させて、光軸Ｚを偏心させることで、画像の動きを補正することが可能である。なお、以下では、撮像装置１におけるＸ方向をピッチング方向、Ｙ方向をヨーイング方向と適宜称する。被写体側となるレンズ群Ｌ１は、ズーム用レンズ群であり、ズーム動作可能な構成を有している。撮像素子側となるレンズ群Ｌ３は、フォーカス用レンズ群であり、フォーカス動作可能な構成を有している。

レンズ群Ｌ２は、振れ補正レンズ駆動部４で駆動され、その駆動されたレンズ群Ｌ２の位置は振れ補正レンズ位置検出部３で検出される。同様に、レンズ群Ｌ１はズームレンズ駆動部１６で駆動され、その駆動されたレンズ群Ｌ１の位置はズームレンズ位置検出部１７で検出される。レンズ群Ｌ３はフォーカス用レンズ群で、フォーカスレンズ駆動部１４で駆動され、その駆動されたレンズ群Ｌ３の位置はフォーカスレンズ位置検出部１５で検出される。

振れ補正レンズ駆動部４は、ヨーイング方向の振れ補正レンズ駆動部としてＤ／Ａ変換部４１ｙ、駆動部４２ｙ、およびアクチュエータ４３ｙと、ピッチング方向の振れ補正レンズ駆動部としてＤ／Ａ変換部４１ｐ、駆動部４２ｐ、およびアクチュエータ４３ｐとを備える。

Ｄ／Ａ変換部４１ｙ、４１ｐは、ＣＰＵ６から出力されたデジタル制御信号をアナログ制御信号に変換し、駆動部４２ｙ、４２ｐに供給する。駆動部４２ｙ、４２ｐは、ＣＰＵ（Central Processing Unit）２２からＤ／Ａ変換部４１ｙ，４１ｐを介して供給されたアナログ制御信号に基づき、アクチュエータ４３ｙ、４３ｐを介してレンズ群Ｌ２をヨーイング方向およびピッチング方向に駆動制御する。

振れ補正レンズ位置検出部３は、ヨーイング方向の位置検出部として位置検出用ホール素子３１ｙ、およびＡ／Ｄ変換部３２ｙと、ピッチング方向の位置検出部として位置検出用ホール素子３１ｐ、およびＡ／Ｄ変換部３２ｐとを備える。位置検出用ホール素子３１ｙ、３１ｐは、アクチュエータ４３ｙ、４３ｐからの出力に基づき、レンズ群Ｌ２のヨーイング方向およびピッチング方向の位置を検出し、その検出結果をアナログ信号として出力する。Ａ／Ｄ変換部３２ｙ、３２ｐは、位置検出用ホール素子３１ｙ、３１ｐから供給されたアナログ信号をデジタル信号に変換する。これにより、ヨーイング方向、ピッチング方向のそれぞれの絶対位置をＣＰＵ６で読み込めるようになる。

動作検出部５は、例えばヨーイング方向およびピッチング方向の手振れ、およびその他の振動による撮像装置１の動きを検出し、その検出結果をＣＰＵ６に供給する。動作検出部５は、例えば、ヨーイング方向の動作検出部として角速度センサ５１ｙ、アナログ信号処理部５２ｙ、およびＡ／Ｄ変換部５３ｙと、ピッチング方向の動作検出部として角速度センサ５１ｐ、アナログ信号処理部５２ｐ、およびＡ／Ｄ変換部５３ｐとを備える。

角速度センサ５１ｙ、５１ｐは、撮像光学系２を含む撮像装置自体の動きを検出するためのものであり、撮像装置１が静止している状態での出力を基準に、撮像装置１の動きの方向により正負両方の角速度信号を出力する。角速度センサ５１ｙ、５１ｐは、ヨーイング方向およびピッチング方向の２方向の動きを検出し、その検出結果をアナログ信号としてアナログ信号処理部５２ｙ、５２ｐに供給する。アナログ信号処理部５２ｙ、５２ｐはそれぞれ、角速度センサ５１ｙ、５１ｐから供給されたアナログ信号から手振れ情報等を抽出した後、抽出した手振れ情報等をＡ／Ｄ変換部５３ｙ、５３ｐに供給する。Ａ／Ｄ変換部５３ｙ、５３ｐはそれぞれ、アナログ信号処理部５２ｙ、５２ｐから供給されたアナログ信号をデジタル信号に変換し、そのデジタル信号をＣＰＵ６に供給する。

固体撮像素子駆動部７は、固体撮像素子８を駆動および制御する。固体撮像素子８は、例えばＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等である。この固体撮像素子８は、光軸Ｚの一端に配置され、この固体撮像素子８により撮像光学系２を介して入射する映像が電気信号に変換される。固体撮像素子８から出力された映像信号は、アナログ信号処理部９に入力されてガンマ処理などのアナログ信号処理を施され、さらに、Ａ／Ｄ変換部１０においてデジタル信号に変換された後、カメラ信号処理部１１によりデジタル映像信号のノイズ除去や輪郭強調等のデジタル信号処理を施される。この処理により輝度信号（Ｙ信号）と色信号（Ｃ信号）が得られる。そして、カメラ信号処理部１１にて得られたＹ／Ｃ信号は後段の画像加算処理部１２に送られる。

画像加算処理部１２は、ＣＰＵ６から供給された光軸振れ位置補正情報に基づき、前撮影画像（前回加算結果画像または１枚目の画像）と、現撮影画像との位置関係を補正して画像加算処理を行い、加算結果画像を画像メモリ１３に記憶する。具体的には、画像加算処理部１２は、撮影１枚目の画像を画像加算処理せずに画像メモリ１３に記憶し、撮影２枚目以降の画像を、画像メモリ１３に記憶された加算結果画像との位置関係を補正して画像加算処理し、画像メモリ１３に記憶する。この画像加算処理は、画像加算処理部１２が加算処理終了フラグをＣＰＵ６から受け取るまで行われる。

上述したように、複数枚の撮影画像を画像間の位置関係を補正して加算するので、画像の周辺部には全ての画像を重ね合わせることができない部分が生じる。以下では、全ての画像を重ね合わせることができる部分を加算部分、全ての画像を重ね合わせることができない部分を未加算部分と称する。画像加算処理部１２は、この加算結果画像の周辺部の未加算部分を切り捨て、加算部分だけをＣＰＵ６を介して記録再生装置２０に供給するか、あるいは、周辺の未加算部はＳ／Ｎが悪い画像としてそのままＣＰＵ６を介して記録再生装置２０に供給する。また、画像加算処理部１２が、画像周辺の未加算部を切り捨てる処理をする場合には、この切り捨て処理を行った後に補完処理等を行い、画像を所定の大きさに拡大または縮小するようにしてもよく、例えば、加算処理前の原画像の大きさとなるように画像の補完処理がなされる。

記録再生装置２０は、例えば、メモリカード、光ディスク、磁気テープなどの記録媒体を記録再生可能な装置であり、ＣＰＵ６を介して画像加算処理部１２から供給される画像を記録媒体に記録する。メモリ１９は、例えばフラッシュメモリ等であり、光軸移動パターンを記憶する。光軸移動パターンは、画像撮影時に固体撮像素子８に対する光軸位置を意図的にずらすためのパターンである。この光軸移動パターンは、例えば、ヨーイング方向およびピッチング方向に光軸Ｚを意図的にずらす量を示す目標変位変調量からなる。また、以下では、画像撮影時に固体撮像素子８に対する光軸位置を意図的にずらす処理を目標変位変調処理と適宜称する。

ＣＰＵ６に対してシャッターボタン１８が接続され、このシャッターボタン１８は、半押しおよび全押しの２種類のボタン押しが可能に構成されている。このシャッターボタン１８を半押しまたは全押しすると、そのボタン押しに応じた出力信号がＣＰＵ６に出力される。ＣＰＵ６は、シャッターボタン１８から出力される出力信号に基づき、ユーザによりシャッターボタン１８が半押されたか、あるいは全押しされたかを判別可能となっている。

ＣＰＵ６は、シャッターボタン１８が押されると、固体撮像素子８に対する光軸の位置を意図的に光軸中心からずらして撮影する。例えば、画像加算撮影モードが手動画像加算モードであるときには、ＣＰＵ６は、ユーザによりシャッターボタン１８が押される毎に、固体撮像素子８に対する光軸の位置を意図的に光軸中心からずらして撮影する。また、画像加算処理モードが自動画像加算モードであるときには、ＣＰＵ６は、ユーザによりシャッターボタン１８が押されて、複数の画像が自動的に撮影される毎に、固体撮像素子８に対する光軸の位置を意図的に光軸中心からずらして撮影する。なお、画像加算処理モードが自動画像加算モードである場合、ＣＰＵ６は、例えば、固体撮像素子８から画像が読み出されるタイミングで光軸をずらすようになっている。

なお、ＣＰＵ６は、撮影画像が動画である場合には、各動画フィールド毎に光軸Ｚを移動させるとともに、その移動量を示す光軸振れ位置補正情報を画像加算処理部１２に出力する。また、撮影画像が動画である場合には、シャッターボタン１８からのトリガー情報に代えて、固体撮像素子駆動部７にＣＰＵ６が送るフィールド同期信号を基準にして光軸Ｚを意図的に移動する処理を行うようにする。

ＣＰＵ６は、固体撮像素子８に対する光軸Ｚの位置を意図的に光軸中心からずらす命令を振れ補正レンズ駆動部４に出力する。例えば、画像加算撮影モードが手動画像加算モードであるときには、ＣＰＵ６は、シャッターボタン１８が押される毎に光軸をずらす命令を振れ補正レンズ駆動部４に出力する。また、画像加算処理モードが自動画像加算モードであるときには、ＣＰＵ６は、固体撮像素子８から画像が読み出される毎に光軸をずらす命令を振れ補正レンズ駆動部４に出力する。ＣＰＵ６は、光軸をずらす命令を通常の手振れ補正波形に重畳して振れ補正レンズ駆動部４に出力することが好ましい。

光軸Ｚの移動が露光中に行われてはいけないので、画像加算撮影モードが手動画像加算モードであるときには、ＣＰＵ６は、シャッターボタン１８が全押しされて露光開始するまでの間に光軸Ｚを目標位置に意図的にずらす動作を完了させる必要がある。また、画像加算処理モードが自動画像加算モードであるときには、ＣＰＵ６は、固体撮像素子８から画像が読み出され、次の画像が撮影されるまでの間に、光軸Ｚを目標位置に意図的にずらす動作を完了させる必要がある。なお、撮像装置自体の静止が判別され、光学手振れ補正処理が行われていない場合以外は、露光中に通常の光学手振れ補正は行われるようになっている。

ＣＰＵ６は、シャッターボタン１８が全押しされたタイミング（シャッターが切られたタイミング）で画像を取り込む処理を行うので、この時の光軸Ｚの位置を検出して、今回の画像撮影時の光軸位置と、前回の画像撮影時の光軸位置との差分を算出し、この算出した差分を光軸振れ位置補正情報として画像加算処理部１２に送る。この光軸振れ位置補正情報は撮影毎に更新され、ＣＰＵ６から撮影毎に画像加算処理部１２に送られる。画像加算処理が撮影予定枚数分終了した時点で、加算結果画像は画像メモリ１３から画像加算処理部１２を介してＣＰＵ６に取り込まれ、更にＣＰＵ６にて画像の圧縮などの処理が施された後、記録再生装置２０の記録媒体に記憶される。

ＣＰＵ６は、メモリ１９から光軸移動パターンを読み出し、この光軸移動パターンに基づき振れ補正レンズ駆動部４を制御することにより、固体撮像素子８に対する光軸位置を所定のパターンで移動させる。光軸Ｚの移動方向は、例えば、縦方向、横方向、または斜め方向であり、撮影毎に異なる方向に光軸Ｚを移動させるようにしてもよい。このようにメモリに記憶されたパターンに従って光軸Ｚを移動させることにより、効率的に固定パターンを除去することが可能となる。なお、光軸移動パターンは、例えば、固体撮像素子８に起因するノイズを予め調べた結果に基づき算出されたものであり、撮像装置１の作製時などにメモリに記憶される。全ての固定パターンノイズを避けることができるパターンを予め計算して、メモリ記録しておけば、優れた固定パターンノイズ除去が可能となる。

光軸Ｚを意図的にずらす光軸移動パターンとしては、例えば、光軸中心に対して斜め方向に光軸Ｚを移動させる光軸移動パターン、画像加算後に画素欠落同士が重ならないように光軸Ｚを移動させる光軸移動パターン、画像加算後に縦横筋の固定パターンノイズが重ならないように光軸Ｚを移動させる光軸移動パターン、基準となる画素を中心としてその回りを光軸Ｚが回るように光軸Ｚを順次移動させる光軸移動パターン、常に縦横（ピッチング方向、およびヨーイング方向）に所定量だけ光軸Ｚを移動させる光軸移動パターンなどが挙げられ、これらのうちからノイズの種類に応じて選ぶことが好ましい。例えば、縦横の固定パターンノイズがある場合、光軸中心に対して斜め方向に光軸Ｚを移動させる光軸移動パターンが好ましい。複数の画素欠落がある場合には、画像加算後に画素欠落同士が重ならないように光軸Ｚを移動させる光軸移動パターンが好ましい。縦横筋の固定パターンノイズが複数ある場合には、画像加算後に縦横筋の固定パターンノイズが重ならないように光軸Ｚを移動させる光軸移動パターンが好ましい。なお、上述の光軸移動パターンを組み合わせて用いるようにしてもよい。

図３は、撮影時における固体撮像素子８に対する光軸Ｚの移動パターンの一例を示す。図３では、固体撮像素子８の画素配置がＲＧＢの２ｘ２の配置である場合を示しているが、固体撮像素子８の画素配置はこの例に限定されるものではない。Ｇ画素（１）が、１枚目の画像撮影時の光軸Ｚの位置である。このＧ画素（１）を中心にして、このＧ画素（１）の周辺を光軸Ｚが回るように光軸Ｚを順次移動させながら、各光軸位置にて撮影を行う。例えば、Ｇ画素（１）を中心にして、Ｇ画素（１）→Ｇ画素（２）→Ｇ画素（３）→Ｇ画素（４）→Ｇ画素（５）→Ｇ画素（２）→Ｇ画素（３）→Ｇ画素（４）→Ｇ画素（５）・・・の順番で光軸Ｚを順次移動させるながら、各光軸位置にて撮影を行う。このように光軸Ｚを移動させながら撮影した画像を加算処理することで、固定パターンノイズを低減することができる。

なお、図３ではＧ画素をターゲットとして光軸Ｚを移動させる場合が示されているが、ターゲットとする画素はＧ画素に限られるものではなく、Ｒ画素、Ｂ画素であってもよい。また、Ｒ画素、Ｇ画素、およびＢ画素のうち、少なくとも２種の画素をターゲットとして光軸Ｚを移動してもよく、例えば、Ｒ画素およびＢ画素の２種の画素をターゲットして、Ｒ画素、Ｂ画素、Ｒ画素・・・の順番で光軸Ｚを移動させてもよい。また、動画撮影の場合も静止画と同じ移動パターンでもよいが、動画は時間軸上長時間を積分するので1画素単位レベルで小さく目標座標を振った方が効果が得られる。

ＣＰＵ６は、撮影枚数（画像加算処理回数）をカウントし、撮影枚数が撮影者により設定された枚数、もしくはデフォルトとして予め設定された枚数に到達すると、画像加算処理部１２に加算処理終了フラグを出力する。このフラグを画像加算処理部１２が受け取ることで、画像加算処理が終了となる。

図４は、画像撮影時におけるＣＰＵ６の内部処理の第１の例を示す。この内部処理は、手動画像加算モードにおいて静止画を撮影したときの内部処理である。この内部処理において各ブロックで用いられる係数は、例えば、プログラム内に固定のパラメータとしてあるか、もしくはメモリ１９に書き換え可能に記憶されている。

ＣＰＵ６は、フィルタ６１と、ゲイン調整部６２と、積分器６３と、位相補償部６４と、加算器６５、６６と、目標変位変調計算部６７と、撮影カウンタ６８とを備える。なお、ヨーイング方向およびピッチング方向におけるＣＰＵ６の内部処理は同様にあるので、以下では両処理を特に区別せずに説明する。

位置検出用ホール素子３１からアナログ信号として出力されたアクチュエータ変位が、Ａ／Ｄ変換部３２においてデジタル信号に変換されて加算器６５に入力される。また、角速度センサ５１からアナログ信号として出力された角速度が、Ａ／Ｄ変換部５３においてデジタル信号に変換されて、フィルタ６１に入力される。そして、フィルタ６１に入力されたデジタル信号は、フィルタ６１において所定のフィルタ処理が施された後、ゲイン調整部６２においてゲイン調整され、積分器６３にて積分され、位相補償部６４にて位相補償処理された後、加算器６５に入力される。

加算器６５は、位相補償部６４から出力されたデジタル信号と、Ａ／Ｄ変換部３２から出力されたデジタル信号とを加算（負の加算）し、その加算結果（手振れ補正量）を加算器６６に供給する。なお、光軸Ｚを意図的にずらさず通常の手振れ補正のみをする処理の場合には、この加算器６５からの出力を画像撮影時の手振れ補正量としてＤ／Ａ変換部４１に送るように制御がなされるが、上述したように、光軸Ｚを意図的ずらす場合には、加算器６５の出力を更に後段の加算器６６に送るように制御がなさる。

目標変位変調計算部６７は、シャッターボタン１８からトリガー情報が供給されたときには、加算器６５から出力された通常の手振れ補正量と、メモリ１９から読み出された目標変位変調量との差分である手振れ補正目標変位差分を算出する。ここで、目標変位変調量とは、画像撮影時に、固体撮像素子８に対する光軸位置を意図的に光軸中心からずらすための変位量のことである。そして、目標変位変調計算部６７は、算出された手振れ補正目標変位差分を加算器６６に出力されるとともに、光軸振れ位置補正情報として画像加算処理部１２に出力する。

加算器６６は、加算器６５から供給された手振れ補正量と、目標変位変調計算部６７から供給された手振れ補正目標変位差分とを加算（負の加算）して目標変位量を算出し、デジタル信号としてＤ／Ａ変換部４１に供給する。Ｄ／Ａ変換部４１は、加算器６６から供給されたデジタル信号をアナログ信号に変換し、駆動部４２に向けて出力する。撮影カウンタ６８は、シャッターボタン１８からのトリガー情報により撮影枚数のカウントし、撮影枚数が規定の撮影枚数に達すると、撮影終了フラグを画像加算処理部１２に出力する。

図５は、画撮影撮影時におけるＣＰＵ６の内部処理の第２の例を示す。この内部処理は、動画または静止画を撮影したときの内部処理である。目標変位変調計算部６７は、静止画撮影時には、シャッターボタン１８が押されたことをトリガーとして手振れ補正目標変位量を算出し、動画撮影時には、固体撮像素子８からの画像データの読み出しをトリガー６９として手振れ補正目標変位量を算出する。撮影カウンタ６８は、シャッターボタン１８が押された回数、もしくは固体撮像素子８から画像が読み出された回数をカウントし、画像撮影枚数が規定の枚数に達すると、撮影終了フラグを画像加算処理部１２に出力する。

図６は、画像撮影時におけるＣＰＵ６の動作の一例を説明するためのフローチャートである。
まず、ステップＳ１において電源が投入されると、ステップＳ２においてＣＰＵ６は初期設定をプログラムまたはメモリ１９からロードし、初期設定の処理を行う。次に、ステップＳ３において、ＣＰＵ６は、通常手振れ補正処理を維持しながら、シャッターボタン１８が押されるのを待つ。

ステップＳ３にてシャッターボタン１８が押されていないと判断した場合には、ステップＳ４において、ＣＰＵ６は、通常手振れ補正処理を繰り返す。ステップＳ３にてシャッターボタン１８が押されたと判断した場合には、ステップＳ５において、ＣＰＵ６は、目標変位変調処理するか否か、すなわち、画像加算撮影モードが選択されているか否かを判断する。

ステップＳ５にて画像加算撮影モードが選択されていないと判断した場合には、ステップＳ６において、ＣＰＵ６は、目標変位変調処理せずに画像を撮影する。そして、画像の撮影後、処理はステップＳ３に戻る。

ステップＳ５にて画像加算撮影モードが選択されていると判断した場合には、ステップＳ７において、ＣＰＵ６は、目標変位変調量をメモリ１９から取得する。次に、ステップＳ８において、ＣＰＵ６は、ステップＳ７において取得した目標変位変調量と前回撮影時の変位情報から次の変位変調量を算出する。次に、ステップＳ９において、ＣＰＵ６は、ステップ８にて算出した変位変調量に基づき、固体撮像素子８に対する光軸Ｚの位置を意図的にずらし、画像を撮影する。そして、画像の撮影後、処理はステップＳ３に戻る。また、ステップＳ１０において、ＣＰＵ６は、ステップ８にて算出した変位変調量をメモリ１９に記憶する。

なお、上述のＣＰＵ６の動作において、撮影画像が動画である場合には、シャッターボタン押しを目標変位変調処理のトリガーとする代わりに、固体撮像素子８からの画像読み出しを目標変位変調処理のトリガーとすればいよい。

以上説明したように、この第１の実施形態によれば、画像を撮影するとともに、画像撮影毎に光軸Ｚをずらし、撮影した画像を画像間のずれを補正して加算処理するので、光学手振れ補正が効いている状態、または手振れが無い状態でも、固定パターンノイズを低減することができる。また、静止画撮影時にシャッターボタン１８を1回押した後に、自動的に設定枚数の画像を連写し、この連写した画像を加算処理して固定パターンノイズを除去する場合には、ユーザが画像の連写および加算処理を意識すること無く、固定パターンノイズを除去することができる。

（２）第２の実施形態
図７は、この発明の第２の実施形態に係る撮像装置の一構成例を示す。この第２の実施形態に係る撮像装置１は、動きベクトルに基づき、画像間の位置ずれを補正するものである。

動き検出処理部２１は、画像メモリ１３に記憶された前回撮影画像（前回加算結果画像、または１枚目の画像）と、カメラ信号処理部１１から送られてきた今回撮影画像とを比較して動きベクトルを検出し、この動きベクトルを画像加算処理部１２に供給する。画像加算処理部１２は、動き検出処理部２１から供給される動きベクトルに基づき、画像メモリ１３から読み出された前回撮影画像と、動き検出処理部２１から供給された今回撮影画像との間の位置ずれを補正して、両画像を加算処理する。画像間の位置ずれの補正は、例えば、動きベクトルに基づき、前回撮影画像または今回撮影画像の全体をシフトすることによりなされる。加算処理された画像は、画像メモリ１３に記憶される。
これ以外のことは、上述の第１の実施形態と同様であるので説明を省略する。

この第３の実施形態では、動きベクトルに基づき、撮影画像の画像全体をシフトし、前回撮影画像と加算処理するので、動画および静止画のＳ／Ｎを共に向上することができる。

（３）第３の実施形態
この第３の実施形態は、画面内ローカルな個別物動きベクトルを検出してローカルベクトル毎に画像をシフトし、画像間の位置ずれを補正するものである。この第３の実施形態に係る撮像装置は、動き検出処理部および画像加算処理部の構成および動作以外の点では、第２の実施形態と同様である。よって、ここでは、図７を参照しながら、同一の符号を用いて説明する。

動き検出処理部２１は、画像メモリ１３に記憶された前回撮影画像（前回加算結果画像または１枚目の画像）と、カメラ信号処理部１１から送られてきた撮影画像とを比較して、画面内ローカルな個別物動きベクトルを検出し、画像加算処理部１２に供給する。画像加算処理部１２は、動き検出処理部２１から供給されるローカルベクトルに基づき、ローカルベクトル毎に画像をシフトし、画像間の位置ずれを補正する。加算処理された画像は、画像メモリ１３に記憶される。

この第３の実施形態では、画面内ローカルな個別物動きベクトルを検出してローカルベクトル毎にシフトした画像を加えるので、動画および静止画のＳ／Ｎを共に向上することができる。特に、動画の場合には、画像内に動いている物体があっても、Ｓ／Ｎの良い残像の無い画像を取得することが可能となる。

（４）第４の実施形態
この第４の実施形態に係る撮像装置は、撮像装置の振れの有無を判断し、振れが無い場合のみ、撮影毎に光軸Ｚを意図的にずらすものである。この第４の実施形態に係る撮像装置は、ＣＰＵ６の構成および動作以上の点では、上述の第２の実施形態と同様である。

図８は、画像撮影時におけるＣＰＵ６の内部処理の一例を示す。このＣＰＵ６は、振れ無し判断部７０を更に備え、目標変位変調計算部６７が振れ無し判断部７０の判断結果に基づき動作する点で、第２の実施形態におけるものと異なる。

振れ無し判断部７０は、Ａ／Ｄ変換部５３から各処理部を介して供給される信号に基づき、撮像装置１に振れがあるか否かを判断し、判断の結果を目標変位変調計算部６７に供給する。目標変位変調計算部６７は、手振れ無しの判断結果を振れ無し判断部７０から受け取った場合、メモリ１９から目標変位変調量を読み出し、Ｄ／Ａ変換部４１に供給する。

この第４の実施形態では、撮像装置１の振れが無い場合に限り、固体撮像素子８に対する光軸位置を意図的に撮影毎にずらす動作を行うので、システムの消費電力を抑えることも可能である。

（５）第５の実施形態
図９は、この発明の第５の実施形態に係る撮像装置の一構成例を示す。ＣＰＵ６は、例えば、シャッターボタン１８が押される毎、もしくは、固体撮像素子８から画像が読み出される毎に、メモリ１９から目標変位変調量を読み出し、振れ補正レンズ駆動部４に出力する。振れ補正レンズ駆動部４は、ＣＰＵ６から出力された目標変位変調量に基づき、レンズ群Ｌ２をヨーイング方向およびピッチング方向に駆動する。

図１０は、ＣＰＵ６の内部処理の一例を示す。目標変位変調計算部６７は、シャッターボタン押し、または固体撮像素子８からの画像の読み出しをトリガーとして、目標変位変調量をメモリ１９から読み出し、Ｄ／Ａ変換部４１に出力する。
これ以外のことは、上述の第２の実施形態と同様であるので説明を省略する。

この第５の実施形態では、上述の第２の実施形態における動作検出部を省略することができるので、撮像装置１の構成を簡易化できる。

以上、この発明の第１〜第５の実施形態について具体的に説明したが、この発明は、上述の第１〜第５の実施形態に限定されるものではなく、この発明の技術的思想に基づく各種の変形が可能である。

例えば、上述の第１〜第５の実施形態の各構成は、この発明の主旨を逸脱しない限り、互いに組み合わせることが可能である。

また、上述の第１〜第５の実施形態では、光学式手振れ補正機構を有する撮像装置に対してこの発明を適用した例について説明したが、この発明はイメージセンサーシフト方式の撮像装置に対しても適用可能である。

また、上述の第１〜第５の実施形態では、Ｙ／Ｃ信号に対して画像加算処理を施す例について説明したが、固体撮像素子から読み出された直接データ（ＲＡＷデータ）やカメラ信号処理部内部のＲＧＢ面（途中処理データ）に対して同様の処理を施すようにしてもよい。

また、上述の第１〜第５の実施形態では、光軸移動パターンを予めメモリ１９に記憶しておく場合を例として説明したが、電源投入時や電池交換時等に固定パターンノイズを検出し、これを避けるパターンをＣＰＵ６で計算してメモリ１９に記憶するようにしてもよい。具体的には、ＣＰＵ６が、固体撮像素子８のノイズを検出する検出部を更に備え、ＣＰＵ６が、検出部により検出されたノイズを低減する光軸移動パターンを算出し、その計算結果をメモリ１９に記憶する。そして、画像撮影時には、ＣＰＵ６は、上記光軸移動パターンをメモリ１９から読み出し、この読み出した光軸移動パターンに基づき、固体撮像素子８に対する光軸位置を撮影毎にずらすようにする。このような構成にすることで、撮像装置の製造後等に発生した固定パターンノイズも低減することができる。すなわち、更に優れた固定パターンノイズの低減が可能となる。

また、上述の第１〜第５の実施形態では、通常露光撮影を行う撮像装置にこの発明を適用した場合を例として説明したが、この発明は長時間露光撮影を行う撮像装置に対しても適用可能である。このように長時間露光撮影を行う撮像素子にこの発明を適用する場合には、意図的に露光時間を分割（例えば１秒撮影を０．２５秒露光×４回に分割）して、分割露光により得られる各撮影画像の読み出し毎に光軸Ｚを意図的に変位させ、分割露光により得られた複数の画像を該画像間の位置ずれを補正して加算するようにする。これにより、長時間露光撮影時に発生する撮像素子の固定パターンノイズ等を低減することができる。

また、上述の第２〜第３の実施形態において、画像加算処理部１２が、動きベクトル検出結果と光軸振れ位置補正情報との差分から手振れ補正残し（残差）を判断し、この手振れ補正残しに基づき画像を補正するようにしもよい。これにより、手振れ補正性能を更に向上することができる。

また、上述の第１〜第５の実施形態において、動画処理の場合には、前撮影画像を全て次の画像に加える(×１)のではなく、減衰係数（例えば×１／６４等）を掛けて加える形の循環型加算フィルタ処理をするとともに、各フィールドの露光期間中の目標変位を画像毎に変えて画像加算処理部１２で加えて処理するようにしてもよい。このような構成にすることで、動画の残像を低減できるとともに、固定パターンノイズも低減することができる。

また、上述の第１〜第５の実施形態では、２枚の画像を加算する処理を繰り返し、固定パターンノイズを低減する場合を例として説明したが、撮影した全ての画像を画像メモリ１３に記憶したおき、撮影終了後に全ての画像を加算処理するようにしてもよい。この場合、光軸振れ位置補正情報を画像メモリ１３に記憶しておき、全ての画像を加算処理するときに画像メモリ１３に記憶された光軸振れ位置補正情報を用いて画像間の位置ずれを補正するようにする。

また、上述の第１〜第５の実施形態では、画像加算処理部１２により画像を加算処理し、加算処理した画像を画像メモリ１３に記憶する構成を例として説明したが、平均化処理部を画像加算処理部１２の後段に更に備え、加算処理した画像を平均化処理部により平均化処理し、平均化処理した画像を画像メモリ１３に記憶する構成としてもよい。

また、上述の第２〜第３の実施形態において、光学手振れ補正が指示量通りに動かなかった場合や、光学補正量を超える画枠ズレが発生した場合（手振れ補正残し時）は、動きベクトル検出結果だけを使うか、もしくは動きベクトル検出結果と同時に光軸ぶれ位置補正情報を使うようにしてもよい。これにより、更に正確な画像加算を実現することができる。

また、上述の第１〜第５の実施形態では、所定のパターンに従って、固体撮像素子８に対する光軸位置をずらす場合を例として説明したが、固体撮像素子８に対する光軸位置をランダムにずらすようにしてもよい。例えば、ＣＰＵ６が乱数を発生する乱数発生部を更に備え、目標変位変調計算部６７が、メモリ１９から読み出される目標変位変調量に代えて、乱数発生部により発生された乱数を用いて、手振れ補正目標変位差分を算出するようにする。このような構成にした場合、固定パターンノイズの位置を画像毎にランダムにずらすことができるので、固定パターンノイズを低減することができる。

また、上述の第１〜第５の実施形態では、光軸移動パターンをメモリ１９に記憶する場合を例として説明したが、光軸移動パターンをプログラムに含ませるようにしてもよい。

また、上述の第１〜第５の実施形態では、撮影枚数をカウントし、撮影枚数が所定の枚数に達するまで画像の加算処理を繰り返す場合を例として説明したが、シャッターボタン１８が押され続けられている間、画像を連写するとともに、この間に撮影された画像に対して加算処理を繰り返すようにしてもよい。このような構成にすると、ユーザがシャッターボタン１８を押す時間を適宜調整することで、画像の加算処理枚数を簡単かつ直感的に設定することができる。

この発明の第１の実施形態の概要を説明するための略線図である。 この発明の第１の実施形態に係る撮像装置の一構成を示すブロック図である。 撮影時における光軸の移動パターンの一例を示す略線図である。 画像撮影時におけるＣＰＵの内部処理の第１の例を示すブロック図である。 画像撮影時におけるＣＰＵの内部処理の第２の例を示すブロック図である。 画像撮影時におけるＣＰＵの動作の一例を説明するためのフローチャートである。 この発明の第２の実施形態に係る撮像装置の一構成を示すブロック図である。 この発明の第４の実施形態に係る撮像装置のＣＰＵの内部処理の一例を示すブロック図である。 この発明の第５の実施形態に係る撮像装置の一構成例を示すブロック図である。 この発明の第５の実施形態に係る撮像装置のＣＰＵの内部処理の一例を示すブロック図である。 従来の撮像装置の動作を説明するための略線図である。

符号の説明

１ 撮像装置
２ 撮像光学系
３ 振れ補正レンズ位置検出部
４ 振れ補正レンズ駆動部
５ 動作検出部
６ ＣＰＵ
７ 固体撮像素子駆動部
８ 固体撮像素子
９ アナログ信号処理部
１０ Ａ／Ｄ変換部
１１ カメラ信号処理部
１２ 画像加算処理部
１３ 画像メモリ
１４ フォーカスレンズ駆動部
１５ フォーカスレンズ位置検出部
１６ ズームレンズ駆動部
１７ ズームレンズ位置検出部
１８ シャッターボタン１８
３１ｙ，３１ｐ 位置検出用ホール素子
３２ｙ，３２ｐ Ａ／Ｄ変換部
４１ｙ，４１ｐ Ｄ／Ａ変換部
４２ｙ，４２ｐ 駆動部
４３ｙ，４３ｐ アクチュエータ
５１ｙ，５１ｐ 角速度センサ
５２ｙ，５２ｐ アナログ信号処理部
５３ｙ，５３ｐ Ａ／Ｄ変換部
６１ フィルタ
６２ ゲイン調整部
６３ 積分器
６４ 位相補償部
６５，６６ 加算器
６７ 目標変位変調計算部
６８ 撮影カウンタ

Claims (18)

1. 光軸を有し、被写体像を結像する撮像光学系と、
   上記被写体像を撮像し画像として出力する撮像素子と、
   上記撮像素子に対する光軸位置を撮影毎にずらす光軸制御部と、
   上記撮像素子から出力された複数の画像を、該複数の画像間の位置ずれを補正して加算する画像加算処理部と
   を備えることを特徴とする撮像装置。
2. 上記画像は動画像であり、
   上記光軸制御部は、動画像のフレーム撮影毎に上記撮像素子に対する光軸位置をずらすことを特徴とする請求項１記載の撮像装置。
3. 上記光軸制御部は、
   上記撮像素子に対する光軸位置のずらし量を算出する算出部と、
   上記算出部により算出されたずらし量に基づき、上記撮像素子に対する光軸位置を撮影毎にずらす駆動部と
   を備え、
   上記画像加算処理部は、上記算出部により算出された光軸位置のずらし量に基づき、上記複数の画像間のずれ位置を補正することを特徴とする請求項１記載の撮像装置。
4. 上記算出部は、撮像装置の振れ量を算出し、該撮像装置の振れ量を含めて、上記撮像素子に対する光軸位置のずらし量を算出することを特徴とする請求項３記載の撮像装置。
5. 上記算出部は、光軸を振る命令を通常の手振れ補正波形に重畳して出力することを特徴とする請求項３記載の撮像装置。
6. 上記光軸制御部は、撮像装置の静止判別をする振れ判別部をさらに備え、
   上記光軸制御部は、上記振れ判別部により撮像装置が静止していると判別された場合のみ、上記撮像素子に対する光軸位置を撮影毎にずらす処理を行うことを特徴とする請求項１記載の撮像装置。
7. 上記光軸制御部は、上記撮像素子から画像を読み出すときに、上記撮像素子に対する光軸位置のずらし量を設定することを特徴とする請求項１記載の撮像装置。
8. 上記光軸制御部は、所定のパターンまたはランダムに、上記撮像素子に対する光軸位置を撮影毎にずらすことを特徴とする請求項１記載の撮像装置。
9. 上記光軸制御部は、縦方向、横方向、または斜め方向に、上記撮像素子に対する光軸位置を撮影毎にずらすことを特徴とする請求項１記載の撮像装置。
10. 上記光軸制御部は、上記撮像素子に縦および／または横のノイズがある場合、上記撮像素子に対する光軸位置を斜め方向にずらすことを特徴とする請求項１記載の撮像装置。
11. 上記光軸制御部は、上記撮像素子に画素欠落がある場合、該画素欠落の大きさ以上の距離で、上記撮像素子に対する光軸位置をずらすことを特徴とする請求項１記載の撮像装置。
12. 上記光軸制御部は、上記撮像素子に画素欠落が複数個ある場合、上記複数の画像の加算後に上記画素欠落が重ならないように、上記撮像素子に対する光軸位置をずらすことを特徴とする請求項１記載の撮像装置。
13. 光軸移動パターンを記憶する記憶部をさらに備え、
    上記光軸制御部は、上記記憶部に記憶された光軸移動パターンに基づき、上記撮像素子に対する光軸位置をずらすことを特徴とする請求項１記載の撮像装置。
14. 上記撮像素子のノイズを検出する検出部をさらに備え、
    上記光軸制御部は、上記検出部により検出されたノイズを低減する光軸移動パターンを算出し、該光軸移動パターンに基づき、上記撮像素子に対する光軸位置をずらすことを特徴とする請求項１記載の撮像装置。
15. 上記撮像素子から出力された前画像と現画像とを比較し、動きベクトルを検出する動きベクトル検出処理部をさらに備え、
    上記画像加算処理部は、上記動きベクトル検出処理部にて検出された動きベクトルに基づき、上記複数の画像間の位置ずれを補正することを特徴とする請求項１記載の撮像装置。
16. 上記撮像素子から出力された前画像と現画像とを比較し、動きベクトルを検出する動きベクトル検出処理部をさらに備え、
    上記光軸制御部は、光軸振れ位置補正情報を画像毎に上記画像加算処理部に出力し、
    上記画像加算処理部は、上記光軸制御部から出力された光軸振れ位置補正情報と、上記ベクトル検出部にて検出されたベクトル情報とに基づき、上記複数の画像間の位置ずれを補正することを特徴とする請求項１記載の撮像装置。
17. 上記撮像素子は、長時間露光撮影の場合には、１回の長時間露光中に複数の画像を撮影し、
    上記光軸制御部は、上記１回の長時間露光中に画像が撮影される毎に、上記撮像素子に対する光軸位置をずらし、
    上記画像加算処理部は、上記１回の長時間露光中に撮影された複数の画像を、該複数の画像間の位置ずれを補正して加算することを特徴とする請求項１記載の撮像装置。
18. 上記撮像素子は、上記操作部による１回の撮影指示により、自動的に複数の画像を連写し、
    上記画像加算処理部は、上記撮像素子により連写された複数の画像を、該複数の画像間の位置ずれを補正して加算することを特徴とする請求項１記載の撮像装置。

Images