JP2007142507A - 撮像装置 - Google Patents

Abstract

【課題】撮影された画像の像ぶれ量を正確に判別することのできる撮像装置を提供する。
【解決手段】像ぶれ補正手段は、画像信号を複数枚記憶するメモリと、画像信号から特徴点を抽出して特徴点の位置情報を演算する特徴点抽出部、および各画像信号を合成する合成手段を含んで構成されることを特徴とし、撮像装置の露光時間内に撮像素子から画像を複数枚高速に読み出した後、特徴点の動きベクトルを演算することによって複数画像の各々の切り出し位置を補正し、切り出した複数の画像の加算平均を行うことによって像ぶれ補正を行い、さらに特徴点の動きベクトルおよび撮影時の露光期間から、露光期間内の被写体のぶれ量を演算する機能を含んで構成されることを特徴とする撮像装置。
【選択図】図１

Description

本発明は、像ぶれを補正する像ぶれ補正手段を有する小型・軽量な撮像装置に関するものである。

近年、デジタル方式のスチルカメラやビデオムービーなどの撮像装置が普及するとともに機器の小型・軽量化が進展している。さらに撮像装置の高画質化に伴い、像ぶれ補正の要望がますます高まってきている。

従来、像ぶれ補正手段を有する撮像装置としては特許文献１に記載されたものが知られている。従来の撮像装置では、振動検出センサを用いて撮影時の振動を検出し、その量によりメモリに記憶された像ぶれ画像の無効設定を行い、不要な画像によるメモリの容量不足を改善して、記憶容量の有効な利用を図ることができるとある。
特開２０００−１６５７０４号公報

特許文献１に記載された従来の撮像装置では、振動検出センサを用いて撮影時の振動を検出し、その量によりメモリに記憶された像ぶれ画像の無効設定を行い、不要な画像によるメモリの容量不足を改善して、記憶容量の有効な利用を図ることができるとあるが、これはあくまで撮影時の振動から直接像ぶれ量を求める手段であるため、像ぶれ補正手段を有する撮像装置においては、実際に画像がどれだけ像ぶれ補正されたか分からないため、十分補正されている画像を誤って不要な画像と判断したり、補正がうまくいかなかったときでも誤って必要な画像と判断したりしてしまう場合があった。

本発明の目的は、撮影された画像の像ぶれ量を正確に判別できる撮像装置を提供することである。

被写体の電気的な画像信号を出力する撮像装置であって、被写体の光学的な像を形成する撮像光学系と、被写体の光学的な像を撮像して電気的な画像信号に変換する撮像素子と、前記撮像素子の出力画像信号の表示及び記憶を行う画像処理手段と、前記被写体のぶれを電子的に補正する像ぶれ補正手段とからなり、前記像ぶれ補正手段は、画像信号を複数枚記憶するメモリと、前記画像信号から特徴点を抽出して前記特徴点の位置情報を演算する特徴点抽出部、および前記各画像信号を合成する合成手段を含んで構成されることを特徴とし、撮像装置の露光時間内に撮像素子から画像を複数枚高速に読み出した後、前記特徴点の動きベクトルを演算することによって前記複数画像の各々の切り出し位置を補正し、切り出した複数の画像の加算平均を行うことによって像ぶれ補正を行い、さらに前記特徴点の動きベクトルおよび撮影時の露光期間から、露光期間内の被写体のぶれ量を演算する機能を含んで構成される。

また、前記像ぶれ補正手段は、前記演算によって求められた露光期間内の被写体のぶれ量の情報を、画像情報と共に撮像装置の外部の機器に転送する機能を含んで構成される。

また、前記像ぶれ補正手段は、前記演算によって求められた露光期間内の被写体のぶれ量が所定の値よりも大きい場合に、その画像情報に識別情報を付加する機能を含んで構成される。ここでいう識別情報を付加するとは、例えば画像データ自体に直接ぶれ量の識別情報を埋め込む手法を用いてもよいし、画像データとは別にぶれ量を記憶させておき、再生モード等においてぶれ量の情報を画像データにスーパーインポーズする手法を用いてもよい。

また、前記像ぶれ補正手段は、前記演算によって求められた露光期間内の被写体のぶれ量が所定の値よりも大きい場合に、その画像情報を前記ぶれ量が所定の値よりも小さい画像とは別の記憶領域に格納する機能を含んで構成される。

また、前記像ぶれ補正手段は、前記演算によって求められた露光期間内の被写体のぶれ量が所定の値よりも大きい場合に、その画像情報の外部の機器への転送を行わない機能を含んで構成される。

また、前記像ぶれ補正手段は、前記演算によって求められた露光期間内の被写体のぶれ量が所定の値よりも大きい場合に、その画像情報を消去することを可能にする機能を含んで構成される。

また、前記像ぶれ補正手段は、前記演算によって求められた露光期間内の被写体のぶれ量が大きい画像から順に消去する機能を含んで構成される。

本発明によれば、撮影された画像の像ぶれ量を正確に判別できる撮像装置を提供することができる。

（実施の形態１）
図１は、本発明の実施の形態１における撮像装置のブロック図である。実施の形態１における撮像装置は、レンズ鏡筒１００と、撮像光学系であるズームレンズ系１０１、フォーカスレンズユニット１０３と、フォーカス駆動部１０５と、撮像素子であるＣＣＤ１０６と、画像処理部１０７と、操作部１１０と、表示部１１１と、メモリーカード１１２と、特徴点抽出部１２０と、システムコントローラ１３０とを含む。

レンズ鏡筒１００は、内部にズームレンズ系１０１を保持する。ズームレンズ系１０１およびフォーカスレンズユニット１０３は、被写体の光学的な像を変倍可能に形成する撮像光学系である。撮像光学系は、被写体側から順に、変倍時に光軸に沿って移動するズームレンズ群１０１ａ及びズームレンズ群１０１ｂと、合焦状態に調節のために光軸に沿って移動するフォーカスレンズユニット１０３とからなる。

ＣＣＤ１０６は、撮像光学系１０１および１０３が形成した光学的な像を所定のタイミングで撮像し、電気的な画像信号に変換して出力する撮像素子である。

画像処理部１０７は、ＣＣＤ１０６から出力された画像信号に対してホワイトバランス補正やγ補正などの所定の画像処理を施すとともに、特徴点抽出部１２０からのデータに基づき像ぶれ補正を行う処理部である。

特徴点抽出部１２０は、ユーザーの意図する参照すべき被写体があるかどうかを画像処理部１０７の画像データに基づいて判定し、被写体の特徴点の位置を抽出する。また、画像処理部１０７から出力される画像データよりコントラスト情報を演算し、フォーカス駆動部１０５から出力されるフォーカスレンズユニット１０３の位置情報よりデフォーカス量を演算してフォーカス駆動部１０５へ出力する機能を備え、被写体の特徴点の位置情報が抽出された場合には、この特徴点近傍のコントラスト情報を評価値として演算を行う。なお、特徴点が存在しなければ所定の範囲からコントラスト情報を評価値として演算を行う。

表示部１１１は、典型的には液晶ディスプレイであり、システムコントローラ１３０からの指令に基づき、ＣＣＤ１０６から出力された画像信号を、画像処理部１０７を介して入力させ、この画像信号を可視画像としてユーザーに表示する。また、画像処理部１０７は、ユーザーにより着脱可能なメモリーカード１１２または外部機器１１３と、図示しない通信インターフェースで接続されており、双方向にアクセス可能である。メモリーカード１１２は、システムコントローラ１３０からの指令に基づき、ＣＣＤ１０６から出力された画像信号を、画像処理部１０７を介して入力させて格納したり、格納された画像信号を、画像処理部１０７を介して表示部１１１に画像信号を可視画像としてユーザーに表示したりする。外部機器１１３の例としては、パーソナルコンピュータあるいはプリンタなどが挙げられる。

操作部１１０は、撮像装置本体の外側に設けられ、ユーザーが撮像装置本体を操作するために用いる釦類であり、電源スイッチやシャッターボタンを含む。

フォーカス駆動部１０５の動作について以下に説明する。操作部１１０のシャッターボタンが半押しされた場合に、システムコントローラ１３０ではこの半押しされた状態を検知して、画像処理部１０７から特徴点抽出部１２０へＣＣＤ１０６からの画像信号を転送する。特徴点抽出部１２０は、転送された画像信号からコントラスト情報を演算し、フォーカス駆動部１０５から出力されるフォーカスレンズユニット１０３の位置情報に基づいてデフォーカス量を演算して、フォーカスレンズユニット１０３の位置を制御するための制御信号を生成し、フォーカス駆動部１０５へ出力する。また、フォーカス駆動部１０５は、フォーカスレンズユニット１０３を駆動させたときの位置情報を特徴点抽出部１２０に出力する。

また、フォーカス駆動部１０５はシステムコントローラ１３０からの指令に基づき、フォーカスレンズユニット１０３を光軸方向に駆動する駆動信号を出力する機能も有する。また、フォーカス駆動部１０５に、ズームレバー（図示せず）をユーザーが操作することによりズームレンズ系１０１を光軸方向に駆動させる機能を有してもよい。

図２は画像処理部の詳細ブロック図である。画像処理部１０７は、画像読み出し部２０１、画像切り出し部２０２、画像合成部２０３、画像メモリ２０４および像ぶれ情報合成部２０５で構成される。画像読み出し部２０１では、画像切り出し部２０２および特徴点抽出部１２０へ画像データを出力する。画像切り出し部２０２では、特徴点抽出部１２０からの特徴点の座標に基づき、１フレーム分の画像データとそれに対応するｘ方向画像シフト量とｙ方向画像シフト量に基づいて、像ぶれを補正するように画像読み出し部２０１から得た画像データを切り出し、画像合成部２０３へ出力する。画像合成部２０３では、撮像素子１０６、画像読み出し部２０１、画像切り出し部２０２を介して出力された画像データを複数枚画像メモリ２０４に記憶させて、撮像が終了した後にこれら複数枚の画像データを加算平均して画像合成を行い、像ぶれ情報合成部２０５へ合成画像を転送する。複数枚の画像データ処理は１枚を１フレーム単位として、システムコントローラ１３０から出力される同期信号（３０〜１２０［Ｈｚ］）のタイミングで１フレームずつ処理される。像ぶれ情報合成部２０５は、画像合成部２０３からの合成画像に、特徴点抽出部１２０からの像ぶれ量の情報を付加し、表示部１１１、メモリーカード１１２または外部機器１１３へ像ぶれ量の情報を付加した合成画像を転送する。

図３は画像データ配置説明図である。図３はＣＣＤなどの撮像素子の画像データを表し、画像読み出し部２０１で撮像素子１０６から読み出した画像データの配置図を示している。ｒ（０，０）、ｇ（１，０）、ｂ（１，１）などは、（ｍ＋１）×（ｎ＋１）個の画素数で表される画素単位を表す。例えば１画素を２５６階調で表し、ｒ（０，０）は赤色の情報を２５６階調で表した数値が格納される。ｇ（１，０）は緑色の情報を２５６階調で表した数値が格納される。ｂ（１，１）は青色の情報を２５６階調で表した数値が格納される。（ ）内は画素の座標を示し、左から順に０からｍまでのｍ＋１列、上から順に０からｎまでのｎ＋１行の画素からなる。例えば、５００万画素のＣＣＤではｍ＝２５５９、ｎ＝１９１９、４００万画素のＣＣＤではｍ＝２３０３、ｎ＝１７２７で表される。

図４は像ぶれ補正機能の動作説明図である。４０１は図３で示した画像データ配置図の外側の枠を示す。すなわち、ｒ（０，０）、ｇ（ｍ，０）、ｂ（ｍ，ｎ）、ｇ（０，ｎ）、ｒ（０，０）の順で結んだ画素を含む外側の枠を示す。エリアＡ１は撮影処理が開始されてから終了するまでの各フレームの撮像素子１０６から出力される画像データのうち切り出す範囲を示す。４０２は被写体Ｐ１の一部を表し、ｘ方向あるいはｙ方向の画像シフト量を説明するための外側の枠４０１に対する位置変化を示す点である。ここでは、４枚の画像データを用いて像ぶれ補正を行う例を示す。

エリアＡ１ａは撮影処理が開始されてからの１番目フレームの撮像素子１０６から出力された画像データのうち切り出す範囲を示す。被写体Ｐ１の一部は初期位置である（１)としている。エリアＡ１ｂは破線で示す前回（１番目フレーム）の切り出し位置からｘ方向およびｙ方向に（１)から（２）に示す画像データの切り出す範囲のシフトを行った例を示す。１番目フレームと２番目フレームの間１／１２０［秒］とした場合には、この１／１２０［秒］間の特徴点の移動が、図４における被写体Ｐ１の（１)から（２）への位置変化、すなわち動きベクトルとして表される。なお、エリアＡ１ａとエリアＡ１ｂ，Ａ１ｃ，Ａ１ｄは同じ画素数で構成される。以降同様にして、エリアＡ１ｃは破線で示す前回（２番目フレーム）の切り出し位置（エリアＡ１ｂ）からｘ方向およびｙ方向に（２）から（３）に示す画像データの切り出す範囲のシフトを行った例を示す。エリアＡ１ｄは破線で示す前回（３番目フレーム）の切り出し位置（エリアＡ１ｃ）からｘ方向およびｙ方向に（３）から（４）に示す画像データの切り出す範囲のシフトを行った例を示す。以上の画像データの切り出す範囲のシフトを行って切り出された画像データ４フレーム分を別々に画像メモリ２０４に格納する。そして、１番目フレームのエリアＡ１ａによって切り出された画像データに対して、２番目フレームのエリアＡ１ｂによって切り出された画像データ及び３番目フレームのエリアＡ１ｃによって切り出された画像データ、４番目フレームのエリアＡ１ｄによって切り出された画像データを重ね合わせて画素毎のデータの加算を行って各画素データを１０２４階調で表す。具体的には、１番目フレームの被写体Ｐ１の一部（１)の座標をｒ（２０，２０），ｇ（２１，２０）、ｇ（２０，２１），ｂ（２１，２１）で表し、２番目フレームの被写体Ｐ１の一部（２）の座標をｒ（１６，１６），ｇ（１７，１６）、ｇ（１６，１７），ｂ（１７，１７）で表し、３番目フレームの被写体Ｐ１の一部（３）の座標をｒ（１６，２４），ｇ（１７，２４）、ｇ（１６，２５），ｂ（１７，２５）で表し、４番目フレームの被写体Ｐ１の一部（４）の座標をｒ（２４，２４），ｇ（２５，２４）、ｇ（２４，２５），ｂ（２５，２５）で表すとすると、次式で表されるＲ（２０，２０）、Ｇ（２１，２０）、Ｇ（２０，２１）、Ｂ（２１，２１）の１０２４階調で表される画像データが生成される。
Ｒ（２０，２０）＝ｒ（２０，２０）＋ｒ（１６，１６）＋ｒ（１６，２４）＋ｒ（２４，２４）
Ｇ（２１，２０）＝ｇ（２１，２０）＋ｇ（１７，１６）＋ｇ（１７，２４）＋ｇ（２５，２４）
Ｇ（２０，２１）＝ｇ（２０，２１）＋ｇ（１６，１７）＋ｇ（１６，２５）＋ｇ（２４，２５）
Ｂ（２１，２１）＝ｂ（２１，２１）＋ｂ（１７，１７）＋ｂ（１７，２５）＋ｂ（２５，２５）
このようにエリアＡ１ａ〜Ａ１ｄまでのすべての画素においても同様の計算を行い、例えばＣＣＤの画素数を５００万画素としてエリアＡ１ａをｒ（８，８）、ｇ（２５５１，８）、ｂ（２５５１，１９１１）、ｇ（８，１９１１）、ｒ（８，８）の順で結んだ画素を含むエリアとして定義して、１番目フレームと２番目フレーム、３番目フレーム、４番目フレームの各エリアＡ１ａ，Ａ１ｂ，Ａ１ｃ，Ａ１ｄの各画素を次式の様に順次加算した画像データを生成する。
Ｒ（８，８）＝ｒ（８，８）＋ｒ（４，４）＋ｒ（４，１２）＋ｒ（１２，１２）
Ｇ（９，８）＝ｇ（９，８）＋ｇ（５，４）＋ｇ（５，１２）＋ｇ（１３，１２）
・・・・
Ｇ（２５５１，８）＝ｇ（２５５１，８）＋ｇ（２５４７，４）＋ｇ（２５４７，１２）＋ｇ（２５５５，１２）
・・・・
Ｂ（２５５１，１９１１）＝ｂ（２５５１，１９１１）＋ｂ（２５４７，１９０７）＋ｂ（２５４７，１９１５）＋ｂ（２５５５，１９１５）
以上のように加算した画像データにホワイトバランス補正やγ補正などの所定の画像処理を施した画像データを表示部１１１へ転送して表示させたり、メモリーカード１１２へ転送したりする。なお、上記のようにホワイトバランス補正やγ補正を施した画像データを転送してもよいし、加算した生の情報を転送してもよいし、各画素データを４で割って各画素データを２５６階調データとして転送してもよい。

図５は特徴点抽出部の詳細ブロック図である。特徴点抽出部１２０は、画像分割部３０１、色情報算出部３０２、参照位置演算部３０３、参照色情報記憶部３０４、評価値演算部３０５、動きベクトル抽出部３０６で構成される。

画像分割部３０１では、画像処理部１０７から出力される画像データを複数のエリアに分割する。例えば３２×２４分割や１６×１２分割する。

色情報算出部３０２では、画像分割部３０１で分割された画像データ毎に色情報を算出する。色情報の算出は、次に示す回路あるいはプログラムにしたがって色相Ｈを算出する。
Ｖ ＝ ｍａｘ（ｒ，ｇ，ｂ） ・・・（数式１）
ｄ ＝ Ｖ − ｍｉｎ（ｒ，ｇ，ｂ） ・・・（数式２）
Ｓ ＝ ｄ ＊ ２５５ ／ Ｖ ・・・（数式３）
ｉｆ（Ｓ＝０）｛Ｈ＝０｝ ・・・（数式４）
ｅｌｓｅ｛ ・・・（数式５）
ｉｆ（Ｖ＝ｒ） Ｈ ＝ （ｇ−ｂ） ＊ ６０ ／ ｄ ・・・（数式６）
ｉｆ（Ｖ＝ｇ） Ｈ ＝ （ｂ−ｒ） ＊ ６０ ／ ｄ ＋ １２０ ・・・（数式７）
ｉｆ（Ｖ＝ｂ） Ｈ ＝ （ｒ−ｇ） ＊ ６０ ／ ｄ ＋ ２４０｝・・・（数式８）
ｉｆ（Ｈ＜０） ｛Ｈ ＝ Ｈ ＋ ３６０｝ ・・・（数式９）
上記ｒ，ｇ，ｂは図３を用いて説明した各画素の２５６階調で表した数値であり、ｒ（０，０）、ｇ（１，０）、ｇ（０，１）、ｂ（１，１）の４つの正方形の画素単位で上記処理を行うようにしてもよい。このとき、ｇ（１，０）とｇ（０，１）は大きい方を選択してｇとしてもよいし、平均値としてもよい。以降、ｒ（２，０）、ｇ（３，０）、ｇ（２，１）、ｂ（３，１）の単位、ｒ（４，０）、ｇ（５，０）、ｇ（４，１）、ｂ（５，１）の単位・・・というように４つの正方形の画素単位で上記処理を行うようにしてもよいし、２５６０×１９２０画素で構成される５００万画素のＣＣＤの場合、画像分割部３０１で３２×２４分割された８０画素単位でｒ，ｇ，ｂの各平均値を演算して、色相Ｈを算出するようにしてもよい。

参照色情報記憶部３０４では、色情報算出部３０２で算出された色相情報のうち表示部１１１で表示されたユーザーの意図する被写体の特徴点（例えば図４に示す被写体Ｐ１の網掛け部）のところにカーソル（図示せず）を合わせて、色情報を予め記憶させるようにする。

参照位置演算部３０３では、表示部１１１でモニタして撮影しようとしている画像データに含まれる色情報と予め記憶させた色情報とを比較してユーザーの意図する被写体の特徴点が存在するかどうかを判定して、存在するのであればその位置情報を演算して評価値演算部３０５および動きベクトル抽出部３０６へ出力する。

なお、予め記憶させておく色情報はデフォルトとして複数存在し、それらから選択するようにしてもよい。

評価値演算部３０５では、参照位置演算部３０３で被写体の特徴点の位置情報が抽出された場合には、この特徴点近傍のコントラスト情報を評価値としてフォーカス駆動部１０５へ出力するとともに、特徴点の座標を画像処理部１０７へ出力する。

動きベクトル抽出部３０６では、参照位置演算部３０３において演算された特徴点のｘ方向およびｙ方向の位置情報から、ｘ方向およびｙ方向の動きベクトルを抽出し、撮影時の露光期間のデータに基づいて露光期間内の像ぶれ量を演算し、画像処理部１０７へ出力する。

図６は空間座標説明図である。図６の座標は、撮像装置本体の表示部１１１に表示される画面に対して空間上の２次元の静的な絶対座標を示す。例えば、原点（左上隅）をｘ方向０番、ｙ方向０番として、図に示すエリアＢ０の座標は（１１，８）というように静的な座標を定義する。

図７は動きベクトル検出の動作説明図である。５０１は図６において説明した空間上の２次元の静的な座標を示す。１番目フレームは撮像素子１０６から出力される画像データ範囲を示し、エリアＢ１は被写体Ｐ２の特徴点が検出されたエリアを示す。被写体Ｐ２は左から右へ移動している例を示しているので、１番目フレームではエリアＢ１ａの座標は（５，７）であるが、２番目フレームではエリアＢ１ｂの座標は（７，６）、３番目フレームではエリアＢ１ｃの座標は（９，５）、４番目フレームではエリアＢ１ｄの座標は（１１，４）に空間上の２次元の静的な座標上を移動していく。特徴点抽出部１２０では、この被写体Ｐ２の特徴点をエリアＢ１ａ、Ｂ１ｂ、Ｂ１ｃ、Ｂ１ｄで示すように位置を検出するので、フレーム毎にｘ方向は＋２、ｙ方向は−１座標分の特徴点の動きベクトルが検出される。

図８は特徴点の動きベクトルおよび撮影時の露光期間のデータから、露光期間内の像ぶれ量を演算する一例を示した図である。撮像装置の露光時間内に撮像素子から画像を複数枚高速に読み出した後、特徴点の動きベクトルを演算することによってそれら複数画像の各々の切り出し位置を補正し、切り出した複数の画像の加算平均を行うことによって像ぶれ補正を行う方法においても、被写体の動きによっては完全に像ぶれを取り除くことは出来ず、残留像ぶれが発生することがある。以下その残留像ぶれ量の演算方法について述べる。

図８において、横軸は時間、縦軸は特徴点の座標をそれぞれ表す。ここでは一例として、撮像装置の露光時間内に撮像素子から画像を４枚高速に読み出して像ぶれ補正を行う場合について説明する。画像１枚当たりの露光期間をＴ１、次の画像の露光開始までの切り換え時間を含めた画像１枚当たりの時間をＴ２とし、時間Ｔ２の間に特徴点の座標がＰだけ移動したとすると、像ぶれ補正を行った後の残留像ぶれ量Ｒは以下の式で表される。
Ｒ ＝ Ｔ１／Ｔ２×Ｐ ・・・（数式１０）
また、この場合の撮像装置の露光期間は４×Ｔ２となる。一例として、撮像装置の露光時間が１／３０［秒］、Ｔ１＝１／１５０［ｓ］、Ｔ２＝１／１２０［ｓ］、特徴点の座標が１／３０［秒］の間に４０画素移動した場合について演算を行うと、
Ｒ ＝ （１／１５０） ／ （１／１２０） × （４０／４） ＝ ８（ｐｉｘｅｌ） ・・・（数式１１）
となり、残留像ぶれ量は８画素となる。

図９は、記録画素数とプリントサイズの一般的な目安を示す。この図は、２００万画素クラス、３００万画素クラス、５００万画素クラスのデジタルカメラの推奨プリントサイズは、それぞれＬ版サイズ、Ａ４サイズ、Ｂ４サイズであることを示している。

図１０は、残留像ぶれ量とその許容値の関係を示す図である。図の横軸は残留ぶれの画素数を示し、縦軸は撮影者等が感じるぶれ量の度合いを示している。撮影者等が感じるぶれ量の度合いとは、数多くの被験者のデータをもとに作成したものであり、許容値とは、撮影者等が、その印刷された撮影画像にはぶれが目立たないという限界の判断基準に相当する。より具体的に言えば、被験者のうち約７０％の人が、ぶれが目立たないと判断した残留ぶれの画素数である。上記の実験データに基づけば、５００万画素のデジタルカメラを用いて撮影した画像をＡ４サイズの用紙に印刷する場合、ぶれが目立たないと感じる許容値β１は、残留像ぶれ量が８画素分（α１）のときである。

また、この許容値βは、撮像素子１０６の画素数が同一でも、印刷する用紙サイズに応じて変わる。つまり、用紙サイズがＬ版サイズの場合は、Ａ４サイズに比べて用紙サイズが小さくなるので、残留像ぶれ量の許容値も大きくなる。つまり、α２となる。また逆に、用紙サイズがＢ４サイズの場合は、Ａ４サイズに比べて用紙サイズが大きくなるので、残留像ぶれ量の許容値も小さくなる。つまり、α３となる。

図１１は、像ぶれ補正および露光期間中の像ぶれ量の演算機能の一例を示す動作フローチャートである。システムコントローラ１３０においてプログラミングされているフローを示す。

操作部１１０のシャッターボタンが全押しされた場合に、フローチャートの撮影処理開始から処理が開始される。

Ｓ１０１では、撮像素子１０６から１フレーム分の画像データが画像処理部１０７へ出力される。

Ｓ１０２では、図５を用いて説明した特徴点抽出部１２０がｘ方向及びｙ方向の動きベクトルの演算を行う。

Ｓ１０３では、図２を用いて説明した画像切り出し部２０２において１フレーム画像データをｘ方向及びｙ方向の動きベクトルに基づき切り出して画像メモリ２０４へ記憶させる。

Ｓ１０４では、先に説明した４フレーム分の画像データを画像メモリ２０４へ記憶完了したかどうかを判定する。１番目〜３番目フレームの処理ではＳ１０１に処理が戻り、以降４番目のフレームの処理では次の処理に進む。

Ｓ１０５では、先に説明した４フレーム分の画像データの合成処理を行う。

Ｓ１０６では、特徴点抽出部１２０が露光期間内の被写体の像ぶれ量を演算する。

Ｓ１０７では、表示部１１１あるいはメモリーカード１１２へ、合成した画像データを像ぶれ量の情報と共に出力して撮影処理を終了する。

以上のようにして演算された、露光期間内の被写体の像ぶれ量を用いて画像の像ぶれの判別を行うことにより、撮影された画像の像ぶれ量を正確に判別することのできる撮像装置を提供することができる。

（実施の形態２）
図１２は本発明の実施の形態２における、露光期間内の被写体のぶれ量の情報を画像データと共に撮像装置の外部の機器に転送する機能の一例を示す動作フローチャートである。実施の形態１において説明した内容については説明を省略する。図１２では、外部装置との通信モードから処理が開始される。

Ｓ２０１では、撮影した画像についてユーザーが転送処理を行う場合、次の処理へ進む。ユーザーが転送処理を行わない場合は転送処理を終了する。

Ｓ２０２では、被写体のぶれ量の情報を画像データと共に外部の機器に転送するか否かを
ユーザーに確認する。ユーザーがぶれ量の情報を画像データと共に外部の機器に転送することを選択した場合、Ｓ２０３へ進む。ユーザーがぶれ量の情報を画像データと共に外部の機器に転送しないことを選択した場合は、Ｓ２０４へ進む。

Ｓ２０３では、画像データと共にぶれ量を外部の機器に転送し、その後転送処理を終了する。

Ｓ２０４では、通常の画像転送処理を行い、その後転送処理を終了する。

（実施の形態３）
図１３は本発明の実施の形態３における、露光期間内の被写体のぶれ量が所定の値よりも大きい場合に、その画像データに識別情報を付加する機能の一例を示す動作フローチャートである。実施の形態１において説明した内容については説明を省略する。

Ｓ３００では、露光期間内の被写体のぶれ量が所定の値よりも大きい場合に、その画像データに識別情報を付加する。そして識別情報を付加した画像データを表示部１１１あるいはメモリーカード１１２へ像ぶれ量の情報と共に出力して撮影処理を終了する。露光期間内の被写体のぶれ量が所定の値よりも小さい場合には、その画像データに識別情報を付加せず、表示部１１１あるいはメモリーカード１１２へ像ぶれ量の情報と共に出力して撮影処理を終了する。

（実施の形態４）
図１４は本発明の実施の形態４における、露光期間内の被写体のぶれ量が所定の値よりも大きい場合に、その画像情報を前記ぶれ量が所定の値よりも小さい画像とは別の記憶領域に格納する機能の一例を示す動作フローチャートである。図１４では、撮影モードから処理が開始される。

Ｓ３０１では、露光期間内の被写体のぶれ量が所定の値よりも大きい場合に、その画像情報を前記ぶれ量が所定の値よりも小さい画像とは別の記憶領域に格納するかどうかユーザーに確認する。別の記憶領域に格納する場合はＳ３０２に、格納しない場合はＳ３０９にそれぞれ進む。

Ｓ３０２では、ユーザーにとっての被写体のぶれ量の許容値、すなわち閾値を変更するかどうかユーザーに確認する。変更する場合はＳ３０３に進み、Ｓ３０３において閾値を変更した後Ｓ３０４へ進む。変更しない場合はそのままＳ３０４へ進む。

Ｓ３０４では、ユーザーがシャッターボタンを押すまで待機する。シャッターボタンが押された場合はＳ３０５へ進み、Ｓ３０５において撮影を行い、Ｓ３０６へ進む。

Ｓ３０６では、撮影された被写体のぶれ量が閾値よりも大きいか否かを判定する。閾値よりも大きい場合はＳ３０７へ進み、Ｓ３０７においてぶれ画像として、ぶれ量の小さい画像すなわち通常の画像とは別領域に記憶処理を行い、撮影処理を終了する。閾値よりも小さい場合はＳ３０８へ進み、Ｓ３０８において通常の画像として記憶処理を行い、撮影処理を終了する。

Ｓ３０９では、ユーザーがシャッターボタンを押すまで待機する。シャッターボタンが押された場合はＳ３１０へ進み、Ｓ３１０において撮影を行い、Ｓ３１１へ進む。

Ｓ３１１では、撮影された画像を通常の画像として記憶処理を行い、撮影処理を終了する。

（実施の形態５）
図１５は本発明の実施の形態５における、露光期間内の被写体のぶれ量が所定の値よりも大きい場合に、その画像情報の外部の機器への転送を行わない機能の一例を示す動作フローチャートである。図１５では、外部装置との通信モードから処理が開始される。

Ｓ４０１では、画像の転送を行うかどうかユーザーに確認する。転送を行う場合はＳ４０２へ進み、行わない場合は転送処理を終了する。

Ｓ４０２では、露光期間内の被写体のぶれ量が所定の値よりも大きい画像、すなわちぶれ画像の転送を防止するかどうかユーザーに確認する。防止する場合はＳ４０３へ進み、防止しない場合はＳ４０６へ進み、Ｓ４０６において通常の画像転送処理を行い、転送処理を終了する。

Ｓ４０３では、被写体のぶれ量の閾値を変更するかどうかユーザーに確認する。変更する場合はＳ４０４に進み、Ｓ４０４において閾値を変更した後Ｓ４０５へ進む。変更しない場合はそのままＳ４０５へ進む。

Ｓ４０５では、ぶれ画像以外のみを転送し、転送処理を終了する。

（実施の形態６）
図１６は本発明の実施の形態６における、露光期間内の被写体のぶれ量が所定の値よりも大きい場合に、その画像情報を消去することを可能にする機能の一例を示す動作フローチャートである。図１６では、ぶれ画像の一括消去モードから処理が開始される。

Ｓ５０１では、画像を消去するかどうかユーザーに確認する。消去する場合はＳ５０２へ進み、消去しない場合は消去処理を終了する。

Ｓ５０２では、露光期間内の被写体のぶれ量が所定の値よりも大きい画像、すなわちぶれ画像のみを消去するかどうかユーザーに確認する。ぶれ画像のみを消去する場合はＳ５０３へ進み、そうでない場合はＳ５０６へ進む。

Ｓ５０３では、ユーザーにとっての被写体のぶれ量の許容値、すなわち閾値を変更するかどうかユーザーに確認する。変更する場合はＳ５０４に進み、Ｓ５０４において閾値を変更した後Ｓ５０５へ進む。変更しない場合はそのままＳ５０５へ進む。

Ｓ５０５では、ぶれ画像のみ消去処理を行い、その後消去処理を終了する。

Ｓ５０６では、通常の画像消去処理を行い、その後消去処理を終了する。

（実施の形態７）
図１７は本発明の実施の形態７における、露光期間内の被写体のぶれ量が大きい画像から順に消去する機能の一例を示す動作フローチャートである。図１７では、ぶれ画像の選択消去モードから処理が開始される。

Ｓ６０１では、画像の消去を行うかどうかユーザーに確認する。消去を行う場合はＳ６０２へ進み、行わない場合は消去処理を終了する。

Ｓ６０２では、露光期間内の被写体のぶれ量が大きい画像から順に消去するかどうかをユーザーに確認する。ぶれ量が大きい画像から順に消去する場合はＳ６０３へ進む。そうでない場合はＳ６０８へ進み、Ｓ６０８において通常の画像消去処理を行い、その後消去処理を終了する。

Ｓ６０３では、ユーザーにとっての被写体のぶれ量の許容値、すなわち閾値を変更するかどうかユーザーに確認する。変更する場合はＳ６０４に進み、Ｓ６０４において閾値を変更した後Ｓ６０５へ進み、その後Ｓ６０６へ進む。変更しない場合はそのままＳ６０５へ進み、その後Ｓ６０６へ進む。

Ｓ６０６では、ぶれ量のもっとも大きい画像をユーザーに表示し、その画像を消去するかどうか確認する。消去する場合はＳ６０７へ進み、Ｓ６０７において１枚画像を消去した後Ｓ６０５へ戻る。消去しない場合は消去処理を終了する。
以上、本発明の実施の形態において説明したように、露光期間内の残留像ぶれ量を演算することにより、撮影された画像の像ぶれ量を正確に判別することのできる撮像装置を提供することができる。

また、露光期間内の残留像ぶれ量に基づく上記各種処理を行うことにより、ユーザーの利便性を向上させることができる。
また、露光期間内の残留像ぶれ量に基づく上記各種処理を行うことにより、データ容量の節約を実現する撮像装置を提供することができる。

本発明は、ディジタルスチルカメラ、ディジタルビデオカメラ等の撮像装置に好適である。

本発明の実施の形態１における撮像装置の構成を示すブロック図 本発明の実施の形態１における撮像装置の画像処理部の構成を示すブロック図 本発明の実施の形態１における画像データ配置を示す模式図 本発明の実施の形態１における像ぶれ補正機能の動作説明図 本発明の実施の形態１における撮像装置の特徴点抽出部の構成を示すブロック図 本発明の実施の形態１における空間座標を示す模式図 本発明の実施の形態１における像ぶれ補正機能の動作説明図 本発明の実施の形態１における像ぶれ量演算の説明図 記録画素数とプリントサイズの一般的な目安の説明図 本発明の実施の形態１における、残留像ぶれ量とその許容値と相関図 本発明の実施の形態１における像ぶれ補正機能の動作を示すフローチャート 本発明の実施の形態２における像ぶれ補正機能の動作を示すフローチャート 本発明の実施の形態３における像ぶれ補正機能の動作を示すフローチャート 本発明の実施の形態４における像ぶれ補正機能の動作を示すフローチャート 本発明の実施の形態５における像ぶれ補正機能の動作を示すフローチャート 本発明の実施の形態６における像ぶれ補正機能の動作を示すフローチャート 本発明の実施の形態７における像ぶれ補正機能の動作を示すフローチャート

符号の説明

１００ レンズ鏡筒
１０１ ズームレンズ系
１０３ フォーカスレンズユニット
１０５ フォーカス駆動部
１０６ ＣＣＤ
１０７ 画像処理部
１１０ 操作部
１１１ 表示部
１１２ メモリーカード
１１３ 外部機器
１２０ 特徴点抽出部
１３０ システムコントローラ
２０１ 画像読み出し部
２０２ 画像切り出し部
２０３ 画像合成部
２０４ 画像メモリ
２０５ 像ぶれ情報合成部
３０１ 画像分割部
３０２ 色情報算出部
３０３ 参照位置演算部
３０４ 参照色情報記憶部
３０５ 評価値演算部
３０６ 動きベクトル抽出部
４０１ 画像データ配置図の外側の枠
４０２ 外側の枠４０１に対する位置変化を示す点
５０１ 空間上の２次元の静的な座標

Claims (8)

1. 被写体の電気的な画像信号を出力する撮像装置であって、
   被写体の光学的な像を形成する撮像光学系と、
   被写体の光学的な像を撮像して電気的な画像信号に変換する撮像素子と、
   前記撮像素子の出力画像信号の表示及び記憶を行う画像処理手段と、
   前記被写体のぶれを電子的に補正する像ぶれ補正手段とからなり、
   前記像ぶれ補正手段は、
   画像信号を複数枚記憶するメモリ、前記画像信号から特徴点を抽出して前記特徴点の位置情報を演算する特徴点抽出部、および前記各画像信号を合成する合成手段を含んで構成され、
   撮像装置の露光時間内に撮像素子から画像を複数枚高速に読み出した後、前記特徴点の動きベクトルを演算することによって前記複数画像の各々の切り出し位置を補正し、切り出した複数の画像の加算平均を行うことによって像ぶれ補正を行い、さらに前記特徴点の動きベクトルおよび撮影時の露光期間から、露光期間内の被写体のぶれ量を演算する機能を含む、
   撮像装置。
2. 前記像ぶれ補正手段は、前記演算によって求められた露光期間内の被写体のぶれ量の情報を、画像情報と共に撮像装置の外部の機器に転送する機能を含む、
   請求項１に記載の撮像装置。
3. 前記像ぶれ補正手段は、前記演算によって求められた露光期間内の被写体のぶれ量が所定の値よりも大きい場合に、その画像情報に識別情報を付加する機能を含む、
   請求項１または２に記載の撮像装置。
4. 前記像ぶれ補正手段は、前記演算によって求められた露光期間内の被写体のぶれ量が所定の値よりも大きい場合に、その画像情報を前記ぶれ量が所定の値よりも小さい画像とは別の記憶領域に格納する機能を含む、
   請求項１から３のいずれかに記載の撮像装置。
5. 前記像ぶれ補正手段は、前記演算によって求められた露光期間内の被写体のぶれ量が所定の値よりも大きい場合に、その画像情報の外部の機器への転送を行わない機能を含む、
   請求項１から３のいずれかに記載の撮像装置。
6. 前記像ぶれ補正手段は、前記演算によって求められた露光期間内の被写体のぶれ量が所定の値よりも大きい場合に、その画像情報を消去することを可能にする機能を含む、
   請求項１から３のいずれかに記載の撮像装置。
7. 前記像ぶれ補正手段は、前記演算によって求められた露光期間内の被写体のぶれ量が大きい画像から順に消去する機能を含む、
   請求項１から３のいずれかに記載の撮像装置。
8. 複数のレンズ群により被写体の光学的な像を形成する撮像光学系と、
   前記形成された像を変換して電気的な画像信号を生成する撮像素子と、
   前記生成された画像信号から特徴点を抽出して、前記抽出された特徴点の画像全体の中における位置を示す情報を演算する特徴点抽出部と、
   前記特徴点を抽出された画像信号を複数枚連続して記憶するメモリと、
   前記記憶された連続する画像信号間の特徴点の動きを動きベクトルとして算出する動きベクトル算出手段と、
   前記算出された動きベクトルに基づいて、前記連続する複数枚の画像信号の各特徴点が互いに近くに配置されるようにして前記メモリに記憶された複数枚の画像信号をそれぞれ切り出す画像切り出し部と、
   前記切り出された画像信号を合成する画像合成部と、
   前記特徴点の動きベクトルに基づいて前記撮像光学系で形成された像のぶれ量を演算する像ぶれ演算手段と、
   を備える撮像装置。

Images