JP2008271246A

JP2008271246A - ぶれ補正装置及びぶれ補正方法ならびにぶれ補正装置を備えた電子機器

Info

Publication number: JP2008271246A
Application number: JP2007112212A
Authority: JP
Inventors: Haruo Hatanaka; 晴雄畑中
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2007-04-20
Filing date: 2007-04-20
Publication date: 2008-11-06
Anticipated expiration: 2027-04-20
Also published as: JP5084339B2

Abstract

【課題】画像情報にぶれ補正処理を行う場合において、画像情報を補正するために要する時間を大幅に短縮するぶれ補正装置及びぶれ補正方法ならびにぶれ補正装置を備えた電子機器を提供する。
【解決手段】本発明におけるぶれ補正装置３０ａは、切替部３３ａと、複数のぶれ情報メモリ３３ｂ１〜３３ｂｎと、ぶれ情報計算回路３４と、複数の画像復元フィルタメモリ３５ｂ１〜３５ｂｎと、切替部３５ａと、画像情報の補正を行う画像情報補正回路３６と、画像情報を一時的に記憶する画像情報メモリ３２及びバッファメモリ３８と、を備える。このように構成することにより、ぶれ情報計算回路３４が連続的に画像復元フィルタの作成を行うとともに画像復元フィルタ３５ｂ１〜３５ｂｎに複数記憶することが可能となり、画像情報の補正も連続的に行うことが可能となる。
【選択図】図２２

Description

本発明は、デジタルカメラなどの撮像装置や、ディスプレイ及びプリンタなどの画像出力装置に代表される電子機器に搭載されるぶれ補正装置やそのぶれ補正方法、また、ぶれ補正装置を備えた電子機器に関する。

デジタルカメラなどの撮像装置を用いることによって作成される画像情報において、露光期間中に撮像装置がぶれることによって画像の劣化が生じることがある。多くの場合このぶれは、撮像装置を支持するユーザの手が露光期間中にぶれる、いわゆる手ぶれによって引き起こされており、ユーザがよほど注意して撮像したとしてもこのぶれを完全に防ぐことは困難である。

そのため、露光期間中に発生するぶれ自体を低減したり、ぶれによって生じた画像の劣化を撮像後に補正したりすることによって、明瞭な画像を得るぶれ補正処理が従来行われている。このぶれ補正処理方法の一例として、角速度センサや加速度センサなどのぶれ検知センサを用いて撮像装置のぶれを検知するとともに、レンズや撮像素子などの光学系をぶれが打ち消される方向に駆動させて露光期間中の撮像装置のぶれを無効化する光学式補正方法や、撮像後に画像情報を解析して露光期間中に生じたぶれ成分を推定し、その推定したぶれ成分を利用して画像情報を補正する電子式補正方法がある。

しかしながら、光学式補正方法を用いた場合、撮像中に補正を行う必要があるために、光学系を駆動させるための複雑かつ大型であるぶれ補正装置を撮像装置に搭載しなければならない。また、光学系を駆動させるために撮像装置の消費電力が大きくなり、バッテリの消耗が激しくなる問題が生じる。

これに対し、電子式補正方法は撮像装置の構成の簡易化及び小型化を図ることが可能であり、撮像後に補正処理をすることができるため撮像動作を行わないプリンタ及びディスプレイにおいても補正処理を行うことが可能である。しかし、画像情報を解析したり処理したりするために非常に時間がかかることや、画像情報から正確なぶれ成分を解析することが困難であり十分な補正を行うことができない問題がある。

そこで、本願出願人はこの問題を解決するため、ぶれセンサを用いて撮像中のカメラの角速度などを計測してぶれ信号を得るとともに、このぶれ信号に基づいて撮像後に画像情報を補正する画像復元式補正方法を利用したぶれ補正装置について提案している（特許文献１参照）。
特開２００６−１２９２３６号公報

この画像復元式補正方法を用いることにより、光学式補正方法を用いるよりもぶれ補正装置を備えた撮像装置の簡略化及び小型化を実現することができる。また、電子式補正方法を用いるよりも補正後の画像情報の質を向上することができるとともにぶれ補正装置の補正動作の迅速化を実現することができる。

しかしながら、画像復元式補正方法を用いて補正を行う場合、撮像後にユーザが一つ一つの画像情報の確認を行い補正の要否を検討する必要があるために、ユーザにとって非常に煩雑な操作を伴うものとなっていた。さらに、一つの画像情報の補正処理が終了した後に再び補正する画像情報を選択して指示する必要があるため、連続して画像情報を補正処理することができず多大な時間がかかってしまうことが課題となっていた。

また、仮に連続して画像情報の補正処理を行うことができたとしても、画像情報の補正処理及び画像復元フィルタの作成にかかる時間自体は変化せず、補正処理にかかる時間の大幅な短縮化を図ることは困難である。

そこで、本発明はこの課題を解決し、画像情報にぶれ補正処理を行う場合において、画像情報を補正するために要する時間を大幅に短縮するぶれ補正装置及びぶれ補正方法ならびにぶれ補正装置を備えた電子機器を提供することを目的とする。

上記目的を達成するために、本発明のぶれ補正装置は、ぶれを含んだ画像情報と前記ぶれの情報であるぶれ情報とを備える画像ファイルが複数記録される記録部と、前記記録部から複数の前記画像ファイルを選択する画像ファイル選択部と、前記画像ファイル選択部によって選択される複数の前記画像ファイルに備えられる前記ぶれ情報を複数記憶することができるぶれ情報記憶部と、当該ぶれ情報記憶部から前記ぶれ情報を読み出すとともに画像復元フィルタを作成する画像復元フィルタ作成部と、当該画像復元フィルタ作成部により作成される前記画像復元フィルタを複数記憶することができる画像復元フィルタ記憶部と、当該画像復元フィルタ記憶部から前記画像復元フィルタを読み出すとともに当該画像復元フィルタに基づいて前記画像情報を補正して補正後画像ファイルを作成する補正部と、を備え、前記補正部が、前記画像ファイル選択部によって選択される複数の前記画像ファイルが備える複数の前記画像情報を、前記画像復元フィルタに基づいて補正処理することを特徴とする。

また、上記構成のぶれ補正装置において、前記画像復元フィルタ作成部が前記ぶれ情報記憶部に記憶される前記ぶれ情報から、前記画像復元フィルタを連続して作成することとしても構わないし、前記補正部が複数の前記画像情報を連続して補正することと並行して、前記画像復元フィルタ作成部が複数の前記画像復元フィルタを連続して作成することとしても構わない。

また、上記構成のぶれ補正装置において、前記画像復元フィルタ記憶部にこれ以上前記画像復元フィルタを記憶させることができない場合において、前記画像復元フィルタ作成部が前記画像復元フィルタの作成を停止することとしても構わない。このように構成することによって、作成された画像復元フィルタが記憶されずに破棄されることを防ぐことができる。

また、上記構成のぶれ補正装置において、前記ぶれ情報記憶部が、複数のぶれ情報メモリと、前記記憶部と複数の前記ぶれ情報メモリとの接続を選択的に切り替える第１切替部と、を備えるとともに、前記画像復元フィルタメモリが、複数の画像復元フィルタメモリと、複数の前記画像復元フィルタメモリと前記補正部との接続を選択的に切り替える第２切替部と、を備え、前記記憶部から読み出された前記ぶれ情報が、前記第１切替部によって選択された一つの前記ぶれ情報メモリに記憶されるとともに、前記画像復元フィルタが、前記第２切替部によって選択された一つの前記画像復元フィルタメモリから前記補正部に読み出されることとしても構わない。

また、上記構成のぶれ補正装置において、前記ぶれ情報メモリと前記画像復元フィルタとが同数備えられており、特定の前記ぶれ情報メモリに記憶された前記ぶれ情報から作成される前記画像復元フィルタが、当該ぶれ情報メモリに対応する特定の前記画像復元フィルタメモリに記憶されることとしても構わない。

また、上記構成のぶれ補正装置において、前記ぶれ情報が、動きベクトルであることしても構わない。さらに、動きベクトルだけに限らず、点広がり関数であるＰＳＦや、画像復元フィルタであっても構わない。

このように構成することによって、角速度センサなどのセンサから直接得られるぶれ信号を変換したぶれ情報を画像ファイルに付すことが可能となり、このぶれ情報を直接利用して画像復元フィルタを作成することによって、ぶれ信号から画像復元フィルタを作成する場合よりも画像復元フィルタを作成する時間を短縮することができる。また、ぶれ信号を付す場合よりも画像ファイルのデータ量を小さくすることができる。

また、本発明の電子機器は、外部入力または撮像により画像情報が与えられるとともに、前記画像情報を当該画像情報に含まれるぶれの情報であるぶれ情報に基づいて補正する補正機能を備えた電子機器において、前記補正機能を実現する補正処理部として上述のぶれ補正装置を備え、前記画像情報に補正を行うことで所望の補正後画像ファイルが作成されることを特徴とする。

また、上記構成のぶれ補正装置において、撮像動作を行うことによって前記画像情報を作成する撮像部と、前記撮像動作中の前記電子機器の動きを検出するとともにぶれ信号を作成するセンサ部と、当該センサ部から得られた前記ぶれ信号から前記ぶれ情報を作成するぶれ情報作成部と、前記画像情報と前記ぶれ情報とから前記画像ファイルを作成する画像ファイル作成部と、を更に備えることとしても構わない。

また、本発明のぶれ補正方法は、ぶれを含んだ画像情報と、前記ぶれの情報であるぶれ情報と、を備える画像ファイルを複数選択する第１ステップと、前記複数の画像ファイルの複数の前記ぶれ情報から、複数の画像復元フィルタを作成する第２ステップと、前記第１ステップによって選択される複数の前記画像ファイルの前記画像情報を、前記第２ステップによって作成される複数の前記画像復元フィルタに基づいて補正する第３ステップと、を備え、前記第２ステップと前記第３ステップとが、並行して行なわれることを特徴とする。

本発明の構成によれば、ぶれ情報から画像復元フィルタを作成する動作と、画像情報を補正する動作と、を並列的に行うことができるため、画像復元フィルタを作成した後に画像情報を補正するような従来の直列的な補正方法と比較して、補正に要する時間を大幅に短縮することが可能となる。

＜撮像装置の構成＞
最初に、本発明の実施形態におけるぶれ補正装置を備えた電子機器の構成の概略について、撮像装置を例にあげるとともに図１の撮像装置のブロック図を用いて説明する。

図１に示すように、本発明の実施形態における撮像装置１は、撮像を行うとともに画像ファイルを作成する画像ファイル作成部２と、画像ファイル作成部２より得られる画像ファイルを補正するぶれ補正部３と、補正の有無に関わらず画像ファイルによる画像を表示する表示部４と、画像ファイル作成部２とぶれ補正部３と表示部４と制御部５とに電力を供給する電源部６と、撮像装置１全体の動作の制御を行うとともに電源部６が供給し得る電力の残量を確認する制御部５と、制御部５にユーザの指示を入力するための操作部７と、を備える。

また、画像ファイル作成部２は、撮像を行う撮像部８と、撮像装置１が撮像を行う際に同期して動作するとともに撮像中の撮像装置１のぶれによる角速度を検出する角速度センサと９、角速度センサ９から得られるぶれ信号を変換してぶれ情報を作成するぶれ情報作成部１０と、ぶれ情報作成部１０から得られるぶれ情報と撮像部８から得られる画像情報とをあわせて画像ファイルを作成する合成部１１と、を備える。

また、ぶれ補正部３は、画像ファイルを記録する記録部１２と、ぶれ情報から画像復元フィルタを作成する画像復元フィルタ作成部１３と、画像復元フィルタに基づいて画像情報の補正を行うとともに得られる補正後の画像ファイルを記録部１２に記録する画像情報補正部１４と、を備える。

次に、引き続き図１を用いて撮像装置１の動作の概略について説明する。まず、操作部７に画像を撮像する指示が与えられることによって、制御部５から画像ファイル作成部２に画像ファイルを作成する指示が与えられる。すると、撮像部８及び角速度センサ９が動作し、指定された期間撮像を行う。そして、撮像部８によって画像情報が作成されるとともに、角速度センサ９から得られたぶれ信号はぶれ情報作成部１０に入力されるとともに変換されてぶれ情報が作成される。

ぶれ情報が作成されると、合成部１１において撮像部８から得られた画像情報にぶれ情報が付加され、画像ファイルが作成される。このとき、例えばぶれ情報は画像ファイルのヘッダ情報に含まれるように構成される。そして、ぶれ補正部３の記録部１２に画像ファイルが記録される。このとき、ユーザが指示することによって表示部４に画像ファイルによる画像が表示される。

そして、操作部７に画像ファイルを選択して補正するような指示が入力されると、制御部５がぶれ補正部３を動作させて補正を行う。このとき、補正が指示される画像ファイルは単数であっても構わないし、複数であっても構わない。なお、この画像ファイルを単数及び複数選択して補正する一連の補正動作の詳細については後述する。

補正動作が開始されると、記録部１２に記録されている選択された画像ファイルのぶれ情報が画像復元フィルタ作成部１３に入力されるとともに画像復元フィルタが作成され、画像情報補正部１４に読み出される。そして、同様に選択された画像ファイルの画像情報が画像情報補正部１４に読み出され、画像情報が画像復元フィルタによって補正されて補正後の画像ファイルが作成される。作成された補正後の画像ファイルは記録部１２に記録されるとともに、ユーザが指示することによって表示部４に表示される。

このとき、記録部１２には補正前の画像ファイルの他に補正後の画像ファイルが記録されることとなるため、２種類の画像ファイルが混在することとなるが、画像ファイルの名称の付け方によってこれらを区別することができる。例えば、アルファベット４文字と数字４文字との合計８文字の名称に拡張子を付したファイル名で画像ファイルを管理する場合、補正前の画像ファイル、即ち、合成部１１から入力される画像ファイルの名称を例えば「ＯＲＧＮ００１７」として、補正後の画像ファイル、即ち、画像情報補正部１４によって作成されて記録部１２に入力される画像ファイルの名称を「ＳＴＡＢ００１７」とする。

これにより、名称の前半のアルファベット４文字によって補正したものか否かが確認され、後半の数字４文字によって同一の画像を示すものか否かが確認される。そして、これらの名称に基づいて拡張子を適宜変更することで、補正前後の画像ファイルのどちらかの画像を見かけ上削除したように表示したり、両方とも表示したりすることが可能となる。例えば、表示する画像ファイルの拡張子をＪＰＧとして、表示しない画像ファイルの拡張子をＴＭＰとすると、ＪＰＧが付された画像ファイルの画像のみが表示されるようになる。なお、以下ではこの例のように画像ファイルに名称及び拡張子を付すものとして説明し、表示動作の詳細については後述する。

また、制御部５は、上述した補正前の画像ファイルの作成や補正などの動作において電源部６が十分な電力を供給し得るか否かを判断する。例えば、電源部６がバッテリなどである場合に制御部５が電源部６の蓄えている電力量を確認し、電力量が十分でなく補正後の画像ファイルの作成や補正動作を継続することが不可能であると判断する場合は、ユーザに警告をしたり画像ファイルの保全のために動作を終了したりする。

なお、図１においては本発明における電子機器をデジタルカメラのような画像ファイル作成部２を有する撮像装置１として示しているが、本発明における電子機器は、ディスプレイやプリンタなどの画像ファイル作成部２を備えないものであっても構わない。この場合は、外部から画像ファイルが入力されてぶれ補正部３の記録部１２に記録される構成となる。さらに、本発明における電子機器は表示部４を備えない構成としても構わない。例えば、入力される画像ファイルを補正して、他の画像出力装置に補正後の画像ファイルを入力する装置などがこれに相当する。

また、本発明における電子機器が、商用電源などの際限なく電力が供給される電源部６を利用して動作するような装置である場合、電源部６の残量を確認する必要がないため、制御部５が電源部６の残量確認を行わないこととしても構わない。また、バッテリなどの残量を確認する必要のある電源部６を使用する装置であっても、商用電源などから電力の供給を受けて動作を行なう場合はバッテリ量を確認する必要がなくなるため、制御部５が電源部６の残量確認を行わないこととしても構わない。

また、ぶれ情報作成部１０が作成するぶれ情報は、後述する動きベクトルや、点広がり関数（ＰＳＦ：ＰｏｉｎｔＳｐｒｅａｄＦｕｎｃｔｉｏｎ、以下ＰＳＦとする）や、画像復元フィルタなど、どのようなものであっても構わないし、ぶれ情報を圧縮して画像ファイルに含めることとしても構わない。また、ぶれ情報が画像復元フィルタである場合、ぶれ補正部３に画像復元フィルタ作成部１３を設けない構成としても構わない。

＜画像復元式補正方法＞
次に、本発明の実施形態におけるぶれ補正を行う撮像装置及びそのぶれ補正方法に適用する画像復元式補正方法の一例について説明する。この画像復元式補正方法では、まず、〔１〕撮像中の撮像装置のぶれからぶれ信号を検出し、そのぶれ信号から撮像中のぶれの軌跡である動きベクトルを得る。そして、〔２〕動きベクトルから補正する際の重み付けを決定するＰＳＦを得るとともに、〔３〕ＰＳＦを変換して画像情報を補正するための画像復元フィルタを得る。そして、〔４〕この画像復元フィルタを用いて画像情報のそれぞれの画素に積和演算を施して補正処理を行う。以下、順を追って〔１〕〜〔４〕のそれぞれの処理方法について説明する。

〔１〕ぶれ信号〜動きベクトル変換処理
まず、図２を用いて、ぶれ信号の検出方法について説明する。図２は、撮像装置１の模式的な斜視図である。被写体が十分遠方にある場合において、ぶれは主に撮像装置１の回転によって引き起こされる。そして、図２に示すように撮像装置１の光軸１ａがパン方向１ｂに回転すると画像が水平方向にぶれ、チルト方向１ｃに回転すると垂直方向にぶれる。以上の二つのぶれを用いることでぶれを表現することが可能であり、本例においては、撮像中に撮像装置１の光軸１ａがどのようにぶれたかを角速度を用いて表現することとして、この角速度をぶれ信号とする。

また、ぶれ信号は撮像開始から撮像終了までの間に光軸１ａのパン方向１ｂ、チルト方向１ｃのそれぞれの角速度を所定のサンプリング間隔ｄｔ（例えば、１ｍｓｅｃ）で、パン方向１ｂ及びチルト方向１ｃのそれぞれに対応する角速度センサ（例えば、ジャイロスコープ）を用いてそれぞれ検出する。また、パン方向１ｂ、チルト方向１ｃのそれぞれの方向に対する角速度の検出、動きベクトルへの変換方法は同様のものであるため、以下ではパン方向１ｂについてのみ説明し、チルト方向１ｃについては説明を省略する。

次に、図３及び図４を用いて、角速度センサによって検出されたぶれ信号を動きベクトルに変換する方法について説明する。図３は、パン方向における撮像装置の回転と画像上に発生する水平方向の移動量との関係を示した模式図であり、図４は動きベクトルの模式図である。また、図３ではぶれが生じた際のレンズと光軸とを破線で表している。

あるサンプリング区間において、パン方向の角速度センサから角速度θ_p1が検出された場合、この時の撮像装置に発生する回転量θ_pはこのサンプリング区間内における角速度が一定であるとすると、サンプリング間隔がｄｔであるので回転量θ_p＝θ_p1×ｄｔとなる。そして、図３に示すように、撮像装置のレンズ１ｄと撮像素子１ｅとの距離である焦点距離ｒを用いて、回転量θ_pから水平方向の移動量ｄ_hがｄ_h＝ｒｔａｎθ_pと求められる。そして、同様の方法によってチルト方向の角速度θ_tから水平方向の移動量ｄ_vも求めることができる。

ただし、ここで焦点距離ｒを３５ｍｍフィルム換算の値と設定している場合、得られる移動量ｄ_h、ｄ_vを画像情報の大きさに合わせて変換する必要がある。ここで、３５ｍｍフィルムのサイズは３６×２４（ｍｍ）であるため、デジタルカメラの画像情報の大きさを画素単位でＸ×Ｙとすると、移動量ｄ_hにはＸ／３６を乗じ、移動量ｄ_vにはＹ／２４を乗じればよい。そして、このように得られた変換後の移動量を（ｄ_ph，ｄ_pv）とする。

そして、これらの二つの成分（ｄ_ph，ｄ_pv）を有するベクトルが、あるサンプリング区間におけるぶれの軌跡となる。そして、全てのサンプリング区間のベクトルを接続するとその接続したベクトルは撮像中のぶれの軌跡を示したものとなり、これを動きベクトルと呼ぶ。

動きベクトルの一例を図４に示す。図４において、各ベクトルＢ１〜Ｂ４の大きさはその区間におけるぶれの速度を示しており、ベクトルＢ１〜Ｂ４の方向はぶれが生じた方向を示している。また、ベクトルＢ１〜Ｂ４の数はサンプリングを行なった回数を示しており、図４に示す動きベクトルＢは、例として撮像中に４回サンプリングを行った場合について示している。

〔２〕動きベクトル〜ＰＳＦ変換処理
次に、動きベクトルをＰＳＦに変換する方法について図５及び図６を用いて説明する。図５は、図４に示す動きベクトルを画素で表現した場合のグラフを示したものであり、図６は、図５に示す整数値化した動きベクトルをＰＳＦに変換したものである。

〔１〕のぶれ信号〜動きベクトル変換処理によって得られる動きベクトルは、画素単位よりも小さい値を含むものであり、このまま用いると後の処理が煩雑なものになる。そのため、この動きベクトルを画素単位に変換する。動きベクトルを画素単位に変換するための方法として、例えば、Ｂｒｅｓｅｎｈａｍの直線描画アルゴリズムの方法がある。この方法は、デジタル画面上で指定した任意の２点を通る直線を描画するために最適な画素を選択する際に用いられるアルゴリズムである。

この方法を図４の動きベクトルＢに適用した場合について、ベクトルＢ１を例に挙げて説明する。まず、ベクトルＢ１の傾きの判定を行う。具体的には、ベクトルＢ１の始点から終点までの水平方向の増加量及び垂直方向の増加量を比較することで行う。ベクトルＢ１の場合は、水平方向の増加量が垂直方向の増加量よりも大きく、Ｘの増加が正でありＹの増加も正であるため、これにより傾きが１より小さく正の値であることが判断される。

そしてこの場合、図５に示すように原点Ｏ（０，０）の画素（図中の格子一つ分に相当）から出発して、水平方向に１ずつ大きくしていく。そして、画素Ａのように、水平方向に１だけ大きくした際にベクトルＢ１の垂直方向の値が一つ前の画素の垂直方向の値より１大きくならない場合は、その画素の垂直方向の値を一つ前の垂直方向の値と同じにする。

そして、順に水平方向に一つずつ増加させながら垂直方向の判定を行い、図５の画素Ｃのように、動きベクトルの垂直方向の値と一つ前の画素の垂直方向の値との差が１以上となった場合、垂直方向の値を一つ大きくする。そして、ベクトルＢ１の始点から終点まで上記の操作を行って画素を選択したあとに、次のベクトルＢ２も同様にして行う。このとき、ベクトルＢ２の始点の画素とベクトルＢ１の終点の画素とを同一のものとするようにして、図４に示す動きベクトルＢと同様に画素も連続するものとする。

この操作を順に行うことで、図５に示すように、画素化した動きベクトルＢａを得ることができる。また、上記の例においては、水平方向の増加量の絶対値が垂直方向の増加量の絶対値より大きいために、水平方向を１ずつ増やして垂直方向の値を確認することとしたが、垂直方向の増加量の絶対値が水平方向の増加量の絶対値より大きい場合は垂直方向に１ずつ増加させて水平方向の値を確認し、画素を選択する。また、増加量の絶対値が大きい方向の増加量が負である場合には、その方向の値を一つずつ減少させて他方の値を確認し、画素を選択する。

そして、図５に示すような画素化した動きベクトルＢａを得た後に、それぞれの画素にベクトルＢ１〜Ｂ４の大きさに基づく重み付けが行われる。この重み付けは、ベクトルＢ１〜Ｂ４の大きさ、即ち、長さに基づいて行われ、長さの逆数に対応した重み付けが行われる。特に、ぶれの速度が遅い部分、即ち、短いベクトルの区間では比較的長い時間同様の信号が撮像素子に入力されており、画像情報において重要な信号が含まれているために重みが大きく設定される。

そして、この重み付けを行うことによって図６に示すような各画素が得られる。図６では、重みの大きい画素ほど黒色となるように表しており、ベクトルＢ１を変換して得られる画素よりもベクトルＢ４を変換して得られる画素の方が重みが大きくなるように設定される。また、各画素の重みの総和は１となるようにする。そして、図６のように動きベクトルＢを画素化して、さらに重み付けをしたものがＰＳＦとなる。

〔３〕ＰＳＦ〜画像復元フィルタ変換処理
〔２〕の動きベクトル〜ＰＳＦ変換処理によって得られたＰＳＦを変換して画像復元フィルタを得る方法について説明する前に、まず、フィルタ係数を用いて画像情報を補正する方法について図７を用いて説明する。図７は、画像復元フィルタ及び画像情報の画素の模式図である。

また、ここで画像情報は水平方向にＮ_h画素、垂直方向にＮ_v画素の解像度でデジタル化されているものとする。このとき、水平方向にｉ番目、垂直方向にｊ番目の位置にある画素の画素値をｐ（ｉ，ｊ）で表すこととする。ここで、ｉ及びｊは正の整数とする。

ここで、例えば正方形の領域を有するフィルタ係数を用いて画素情報を補正する場合、画素情報の注目画素及びその近傍の画素と、それぞれの画素に対応するフィルタ係数の画素と、に対して積和演算を行う。この時、フィルタ係数の中央の画素、即ち、画像情報の注目画素に対応する画素をｈ（ｌ，ｍ）で表し、簡単のためにｌ及びｍが−ｎ以上ｎ以下の整数（ｎは０以上の整数）とすると、補正後の注目画素の画素値ｐ_aを以下の式で表すことができる。

このように表される演算について、ｎ＝１の場合について例に挙げるとともに図７を用いて説明する。図７（ａ）に示すように、ｎ＝１の場合はフィルタ係数が３×３の領域となる。ここで、図７（ｂ）に示すように、注目画素の画素値をｐ（ｉ，ｊ）であるとすると、まず、注目画素及び近傍の画素と、それぞれの画素の位置に対応するフィルタ係数の値と、のそれぞれの積算が行われる。すると、図７（ｃ）に示すように、ｈ（−１，１）×ｐ（ｉ−１，ｊ＋１）、ｈ（０，１）×ｐ（ｉ，ｊ＋１）、ｈ（１、１）×ｐ（ｉ＋１，ｊ＋１）、ｈ（−１、０）×ｐ（ｉ−１，ｊ）、…、ｈ（１、−１）×ｐ（ｉ＋１，ｊ−１）の９つの値が得られる。

そして、以上の積算によって得られた９つの値の和をとったものが、補正後の注目画素の画素値となる。そして、以上の計算をすべての画素値ｐ（ｉ，ｊ）に対して順番に行うことで、画像情報の補正を行うことができる。

ここで、〔２〕の動きベクトル〜ＰＳＦ変換処理によって得られたＰＳＦを、ｎを０以上の整数とした（２ｎ＋１）×（２ｎ＋１）の領域を有するフィルタ係数にモデル化した場合について考えると、このフィルタ係数は、求める画像に対してぶれを与える補正を行うためのフィルタ係数と考えることができる。即ち、（ぶれのない画像の画素値）×（ＰＳＦをモデル化したフィルタ係数）＝（ぶれのある画像の画素値）と考えることができる。そして、画素単位で水平方向にＮ_h、垂直方向Ｎ_vであるぶれのない画像のある画素値をｐ（ｉ，ｊ）、ＰＳＦより得られるフィルタ係数をｈ（ｌ，ｍ）、ぶれのある画像のある画素値をｐ_a（ｉ，ｊ）とすると、ぶれのある画像のそれぞれの画素値を以下のように表すことができる。

また、上記の式をまとめて行列で表現することが可能であり、行列で表現すると上記の式は、Ｐ_a＝Ｈ×Ｐと表すことができる。ここでＰ及びＰ_aは、画像情報をラスター走査順に一次元化した行列である。

ここで、フィルタ係数を行列で表現したＨの逆行列であるＨ^-1を求め、ぶれのある画像にＨ^-1をかける、即ち、Ｐ_a×Ｈ^-1を計算することでぶれを補正した画像情報Ｐを求めることができる。しかしながら、このＨ^-1は通常存在しないため、一般逆行列又は類似逆行列を求める。ここで、例として一般逆行列を求める式について示すと、一般逆行列Ｈ^*は、Ｈ^*＝（Ｈ^t・Ｈ＋γ・Ｉ）^-1・Ｈ^tで表すことができる。ここで、Ｈ^tはＨの転置行列であり、γは補正の強さを調整するパラメータであるスカラー量、ＩはＨ^t・Ｈと同じ大きさの単位行列である。このγを大きくすると弱い補正となり、小さくすると強い補正を行うことができる。

そして、このようにして求められるＨ^*を、ぶれを含んだ画像情報Ｐ_aに乗じることによって求めるぶれを補正した画像情報Ｐを得ることができるが、例えば画像情報の画素単位のサイズを６４０×４８０とした場合、画像情報Ｐ及びＰ_aは３０７２００×１の行列、Ｈ^*は３０７２００×３０７２００の行列となり、非常に大きな行列となってしまうため実用的ではない。そのため、以下の方法で行列のサイズを小さくして使用する。

まず、画像の画素単位のサイズを小さいサイズ、例えば６３×６３のサイズのものとする。この程度のサイズであれば、画像情報Ｐ、Ｐ_aは３９６９×１の行列、Ｈ^*は３９６９×３９６９の行列となり計算が容易となる。このとき、Ｈ^*はぶれを含んだ画像情報Ｐ_a全体をぶれの補正された画像情報Ｐ全体に補正する行列であり、Ｈ^*の各行とＰ_aの各行との積のそれぞれは、各画素を補正する演算のそれぞれに相当する。

したがって、Ｈ^*の真中の行とＰ_aの真中の行との積は、Ｐ_aの真中の画素の補正の演算に相当するため、このＨ^*の真中の行を抜き出すとともに逆ラスター変換を行って二次元化すると、図７（ａ）に例示したようなフィルタ係数が得られる。そして、このようにして得られたフィルタ係数が画像復元フィルタとなる。

〔４〕画像情報の補正処理
〔１〕〜〔３〕の処理によってぶれ情報から得られた画像復元フィルタを、ぶれを含む画像情報Ｐ_aのそれぞれの画素及びその近傍の画素と積和演算する。また、この画像復元フィルタを用いた積和演算も図７で例示したフィルタ係数の計算方法と同様のものであり、注目画素とその近傍の画素の画素値と、それぞれの画素の位置に対応するフィルタ係数の値と、をそれぞれ積算し、得られるそれぞれの値を足し合わせることによって補正後の注目画素の画素値を算出する。

なお、以上の〔１〕〜〔４〕の補正処理方法は画像復元式補正方法の一例であり、適宜変更して行うことができる。また、他の処理を組み合わせて行うこととしても構わなく、例えば、〔１〕〜〔４〕の補正処理の前後に一回ずつメディアンフィルタを用いた補正処理を画像情報に対して行っても構わない。このメディアンフィルタを用いると、注目画素と近傍の画素を含む領域、例えば３×３の領域において、真中の値（３×３のフィルタの例では、９個ある値のうちの５番目に大きい値）を注目画素の値とするようにまず変換する。これにより、値が突出したノイズ成分を低減することができる。

＜ぶれ量＞
ここで、本発明の実施形態におけるぶれ補正を行うぶれ補正装置と、このぶれ補正装置を備えた電子機器と、ぶれ補正方法とにおいて用いられるぶれ量について説明する。まず、ぶれ量とは上述したＰＳＦから求められるものであり、ぶれの範囲を数値で示すことができるものである。このぶれ量を求める方法について、図６に示したＰＳＦのぶれ量を求める場合を例に挙げ、図８を用いて説明する。図８は、図６に相当するＰＳＦの模式図である。

図８に示すように、ぶれ量Ｌは０ではない値を有するＰＳＦの要素（画素）の周囲に外接する画素単位の長方形の領域を描き、その対角線の長さを求めることで算出する。そのため、この外接四角形の水平方向の長さをｗ、垂直方向の長さをｈとすると、対角線の長さＬ、即ち、ぶれ量Ｌは（ｗ²＋ｈ²）^1/2で表されるものとなる。

そして、本発明の実施形態におけるぶれ補正を行う電子機器及びそのぶれ補正方法においては、このぶれ量Ｌを基準にして、例えば画像ファイルの並び替えや、補正にかかる時間の算出、補正の要否などを決定する。なお、このぶれ量Ｌを用いたぶれ補正動作の詳細については以下の実施例１において詳細に説明する。

＜実施例１＞
次に、実施例１におけるぶれ補正装置と、このぶれ補正装置を備えた電子機器と、ぶれ補正方法とについて説明するが、具体的な説明の前に、まず実施例１におけるぶれ補正装置、撮像装置及びぶれ補正方法の前提について説明をする。なお、これらの前提は後述する実施例２においても適用する。

まず、以下の実施例１におけるぶれ補正装置を備える電子機器は、図１で示したような撮像部を備える撮像装置であるものとして説明する。また、電源部として、バッテリを備えるものであるとして、特別に説明する場合を除きバッテリから電力の供給を受けて動作するものであることとする。

また、以下に説明する実施例１のぶれ補正におけるぶれ補正方法は、上述した画像復元式補正方法を用いており、一括して画像情報の補正を行うことができるものである。そして、以下の説明においては、ユーザが複数の画像ファイルを選択するとともにその選択された複数の画像ファイルの複数の画像情報に対して連続的に補正を行うことを、「一括画像情報補正」とよぶ。

また、以下の実施例１において、画像ファイルに含まれるぶれ情報とは、例えば、動きベクトル（図５のように画素で表現したものでも構わないし、図４のように画素で表現していないものでも構わない。以下同じ）、ＰＳＦ、画像復元フィルタのいずれかを指すものとする。そして、ぶれ量は上述したようにＰＳＦから算出し、ぶれ量を取得すると表現する場合において、ぶれ情報が動きベクトルであるような場合は動きベクトルをＰＳＦに変換した後にぶれ量を算出することで取得することとする。また、同様の場合において、ぶれ情報がＰＳＦである場合は上述したようにこのＰＳＦからそのままぶれ量を算出することで取得することとする。また、ぶれ情報が画像復元フィルタである場合は、画像復元フィルタを算出する際に求めたＰＳＦを用いて予めぶれ量を算出するとともに、画像ファイルにぶれ情報である画像復元フィルタとぶれ量とを付しておき、このぶれ量を直接取得することとする。

また、ぶれ情報は、動きベクトルやＰＳＦ、画像復元フィルタなどを複数組み合わせたものであっても構わない。また、ぶれ量を予め算出しておくとともにぶれ情報に含ませる構成としても構わなく、この場合はぶれ量を取得する際に演算を伴わない。また、ぶれ情報を圧縮して画像ファイルに付すこととしても構わない。

次に、実施例１におけるぶれ補正装置の構成及び動作の概略について図９を用いて説明する。図９（ａ）は、実施例１におけるぶれ補正装置のブロック図であり、撮像装置の構成について示した図１のぶれ補正部３に相当する部分を詳細に示したものである。図９（ｂ）は、実施例１におけるぶれ補正装置の補正動作のタイミングについて模式的に示した概念図である。

上述したように、画像情報の補正は、ぶれ情報を変換することによって画像復元フィルタを作成し、その画像復元フィルタを用いて画像情報にフィルタ処理を行うことで行われる。そして、図９（ａ）に示すように、ぶれ補正装置３０は、画像情報とぶれ情報とを備えた画像ファイルが記録される記録部３１と、記録部３１から読み出された画像情報が一時的に記憶される画像情報メモリ３２と、ぶれ情報が一時的に記憶されるぶれ情報メモリ３３と、ぶれ情報から画像復元フィルタを作成するとともに出力するぶれ情報計算回路３４と、ぶれ情報計算回路３４から出力される画像復元フィルタが一時的に記憶される画像復元フィルタメモリ３５と、画像情報と画像復元フィルタとを用いて補正を行い補正後の画像ファイルを作成する画像情報補正回路３６と、補正後の画像ファイルが出力されて一時的に記憶される補正後画像ファイルメモリ３７と、を備える。

また、図９（ａ）に加えて図９（ｂ）を用いて、従来のぶれ補正装置の動作の概略について説明する。まず、補正動作が開始されると、記録部３１に記録される画像ファイルの画像情報が画像情報メモリ３２に読み出され、同時にぶれ情報がぶれ情報メモリ３３に読み出される。そして、ぶれ情報がぶれ情報計算回路３４に読み出されて上述したような計算処理が行なわれ、動きベクトルやＰＳＦに変換される。そして、最終的に画像復元フィルタが作成されて、画像復元フィルタメモリ３５に記憶される。また、この画像復元フィルタを作成している間は画像情報の補正処理を行うことができないため、画像情報は画像情報メモリ３５に保持され続けることとなる。そのため、図９（ｂ）に示すように、画像情報補正回路３６は画像復元フィルタが作成されるまでの間動作せず、待機状態となる。

そして、画像復元フィルタが作成されると、画像復元フィルタメモリから画像復元フィルタが画像情報補正回路３６に読み出されて設定される。次に、画像情報が画像情報メモリ３５から画像情報補正回路３６に読みだされ、補正動作が開始される。そして、補正動作が終了すると、補正後の画像ファイルが補正後画像ファイルメモリ３７に出力されて一時的に保持された後に記録部３１に送られ、記録部３１で記録される。また、次に補正処理を行う画像ファイルのぶれ情報がぶれ情報メモリ３３に読み出されるとともに、画像情報が画像情報メモリ３２に読み出され、以降上述した動作と同様の動作を行なう。

また、以下に上述したぶれ補正装置を備えた撮像装置の動作について説明する。最初に、撮像装置の全体的な動作の概要について図１０のフローチャートを用いて説明する。

図１０に示すように、撮像装置の動作が開始すると、まず初期画像が表示され（ＳＴＥＰ１）、ユーザの必要に応じて一般操作が行われる（ＳＴＥＰ２）。この一般操作の詳細については後述するが、例えば、画像ファイルの削除や、単数の画像情報の補正、補正の解除などの操作が含まれる。また、ここで一括画像情報補正動作の要否決定は一般操作に含めないこととする。

ＳＴＥＰ２の一般操作が終了すると、次に一括画像情報補正動作を行うか否かの選択がユーザによって行われる。ここで、一括画像情報補正動作を行わないことが選択された場合は（ＳＴＥＰ３、ＮＯ）、次に撮像装置の操作を終了するか否かの選択が行われる（ＳＴＥＰ４）。ここで、撮像装置の操作を終了する指示があると（ＳＴＥＰ４、ＹＥＳ）、撮像装置の動作が終了する。一方、撮像装置の操作を終了する指示がない場合（ＳＴＥＰ４、ＮＯ）、ＳＴＥＰ１の初期画像表示に戻る。

また、一括画像情報補正動作を行うことが選択された場合は（ＳＴＥＰ３、ＹＥＳ）、最初に、補正する画像ファイルの選択がユーザによって行われる（ＳＴＥＰ５）。そして、ＳＴＥＰ５において画像ファイルの選択が行われると、次に、選択された画像ファイルの画像情報に対して補正が行われる（ＳＴＥＰ６）。そして、ＳＴＥＰ６において画像情報の補正が行われると、補正前及び補正後の画像ファイルによる画像が表示され、補正前後の画像ファイルの画像の確認が行われる（ＳＴＥＰ７）。

ＳＴＥＰ７において補正前及び補正後の画像ファイルの画像の確認が行われると、撮像装置の操作を終了するか否かの選択が行われる（ＳＴＥＰ４）。そして、撮像装置の操作を終了する指示があった場合は（ＳＴＥＰ４、ＹＥＳ）、撮像装置の動作を終了する。一方、撮像装置の操作を終了する指示がない場合（ＳＴＥＰ４、ＮＯ）、ＳＴＥＰ１の初期画像表示に戻る。

次に、図１０に示した〔１〕初期画像表示動作（ＳＴＥＰ１）、〔２〕一般操作（ＳＴＥＰ２）、〔３〕補正画像ファイル選択動作（ＳＴＥＰ５）、〔４〕一括画像情報補正動作（ＳＴＥＰ６）及び〔５〕補正結果の表示動作（ＳＴＥＰ７）、におけるそれぞれの動作の詳細について説明する。まず、初期画像表示を行うＳＴＥＰ１について、図１１のフローチャートを用いて説明する。

〔１〕初期画像表示動作
初期画像表示動作が開始されると、まず撮像装置に記録されている全ての画像ファイルが選択される（ＳＴＥＰ１０１）。上述したように、図９の記録部３１には補正前及び補正後の画像ファイルが記録されており、このとき記録部３１に記録される全ての補正前及び補正後の画像ファイルが選択される。そして、ＳＴＥＰ１０１で選択された全ての画像ファイルを並び替えるために、ソートパラメータが確認される（ＳＴＥＰ１０２）。このソートパラメータとしては、例えば、上述したようなぶれ量や、画像ファイルの名称の数字部分（上述した例の「ＯＲＧＮ００１７」、「ＳＴＡＢ００１７」における００１７の部分）などがあり、ユーザが設定することができる。

ＳＴＥＰ１０２において確認されたソートパラメータがぶれ量ではなく、上述のような画像ファイルの名称の中の数字などである場合（ＳＴＥＰ１０３、ＮＯ）、このソートパラメータに従って画像ファイルが並び替えられるとともに（ＳＴＥＰ１１３）、並べられた順に画像ファイルの画像が表示される（ＳＴＥＰ１１２）。また、このとき上述のように拡張子がＪＰＧである補正前及び補正後の画像ファイルの画像が表示され、拡張子がＴＭＰである画像ファイルの画像は表示されないこととなるが、この拡張子の設定方法については後述する。そして、ＳＴＥＰ１１２において画像表示を行うとともに初期画像表示動作を終了する。

一方、ソートパラメータがぶれ量である場合（ＳＴＥＰ１０３、ＹＥＳ）、それぞれの補正前画像ファイルに含まれるぶれ情報からぶれ量を取得して（ＳＴＥＰ１０４）補正前の画像ファイルを並び替える（ＳＴＥＰ１０５）。このとき画像ファイルの名称の英語部分（上述した例の「ＯＲＧＮ００１７」、「ＳＴＡＢ００１７」におけるＯＲＧＮ、ＳＴＡＢ部分）によって補正前の画像ファイルであることを判断する。なお、以下においても同様の方法で補正前と補正後とを判断することとする。

そして、ＳＴＥＰ１０５においてぶれ量による補正前の画像ファイルの並び替えが行われると、次に補正後の画像ファイルが存在するか否かが確認される（ＳＴＥＰ１０６）。このとき、補正後の画像ファイルが存在しない場合は（ＳＴＥＰ１０６、ＮＯ）、ぶれ量順に並び替えた補正前の画像ファイルのみを並び替えた順に表示する（ＳＴＥＰ１１２）。そして、ＳＴＥＰ１１２において画像ファイルの画像表示を行うとともに初期画像表示動作を終了する。

一方、補正後の画像ファイルが存在する場合は（ＳＴＥＰ１０６、ＹＥＳ）、次にぶれ量順に並び替えた補正前の画像ファイルの後に補正後の画像ファイルを挿入する補正後画像ファイル挿入ループ動作が行われる（ＳＴＥＰ１０７〜１１１）。このループ動作はすべての補正後の画像ファイルについて行われ、補正後の画像ファイルの総数をＫとすると、１番目からＫ番目までの補正後の画像ファイルについて動作が行われたときにループ動作を終了する。

この補正後画像ファイル挿入ループの動作が開始されると（ＳＴＥＰ１０７）、まず１番目の補正後の画像ファイルが選択される（ＳＴＥＰ１０８）。そして、ＳＴＥＰ１０８で選択された補正後の画像ファイルに対応する補正前の画像ファイルが存在するか否かが確認される（ＳＴＥＰ１０９）。このとき、画像ファイルの名称のうち数字部分（上述した例の「ＯＲＧＮ００１７」、「ＳＴＡＢ００１７」における００１７の部分）によって、補正前及び補正後の画像ファイルの対応関係を判断する。なお、以下においても同様の方法で対応関係を判断することとする。

補正前の画像ファイルが存在する場合は（ＳＴＥＰ１０９、ＹＥＳ）、順番がその補正前の画像ファイルの後になるように挿入し（ＳＴＥＰ１１０）、ループ動作を終了するか否かの判断を行う（ＳＴＥＰ１１１）。一方、補正前の画像ファイルが存在しない場合は（ＳＴＥＰ１０９、ＮＯ）、その補正後の画像ファイルの順番を変えることなく、ループ動作を終了するか否かの判断を行う（ＳＴＥＰ１１１）。

そして、ＳＴＥＰ１１１において、Ｋ番目の補正後の画像ファイルに対する動作を行ってない場合は、ループ動作を継続するためにＳＴＥＰ１０７に戻り、次の補正後の画像ファイルを選択して（ＳＴＥＰ１０８）同様の動作を行う。一方、Ｋ番目の補正後の画像ファイルに対する動作を行っていた場合はループ動作を終了し、並び替えた順に画像ファイルの画像の表示を行う（ＳＴＥＰ１１２）。このとき、このとき上述のように拡張子がＪＰＧである補正前及び補正後の画像ファイルの画像が表示され、拡張子がＴＭＰである画像ファイルの画像は表示されないこととなるが、この拡張子の設定方法については後述する。そして、ＳＴＥＰ１１２において画像表示を行うとともに初期画像表示動作を終了する。

以上の一連の初期画像表示動作を行うことによって、全ての画像ファイルがユーザの所望の方法で並び替えられて表示されるため、次の一般操作においてユーザが操作の対象となる画像ファイルを選択しやすくすることができる。

また、図１２に初期画像表示によって表示される画面の模式図を示す。このとき、図１１のＳＴＥＰ１０５において、ソートパラメータをぶれ量にした場合に表示される画面は図１２（ａ）に示すような画面となる。即ち、画面の左上から右下にかけてぶれ量が小さくなるようにサムネイル画像４０が並べられて表示されている。この図１２（ａ）において、各サムネイル画像４０の中に付した番号は、対応する画像ファイルの名称の数字部分に相当するものであり、ここでは簡単のためにそれぞれの画像ファイルのサムネイル画像４０をこのような１〜６の番号で示すこととしている。

なお、このとき図１２（ｃ）に示すように、ぶれ量４１を各サムネイル画像４０中に表示するようにしても構わないし、サムネイル画像４０外に表示することとしても構わない。また、この図は片方表示としているが、両方表示としても構わない。また、図１２のそれぞれの画面の左下部に示すメニュー４２は、後述する一般操作のそれぞれの操作や一括画像情報補正を行う場合にユーザが適宜操作するものである。

この図１２（ｃ）を両方表示にした一例を図１２（ｄ）に示す。また、図１２（ｄ）は画像ファイルの１番に対応する補正後の画像ファイルが記録されていた場合について示している。このように、補正後の画像ファイルは対応する補正前の画像ファイルの後ろに並べられて表示される。ただし、この例ではサムネイル画像４０を画面上に６個までしか表示できないこととしているため、４番の画像ファイルのサムネイル画像はこの画面に表示されていない。しかし、ユーザが次の画像ファイルのサムネイル画像を表示するボタンなどを押すことによって、４番のサムネイル画像は画面上に表示される。

一方、例えばＳＴＥＰ１１３において画像ファイルの番号によって並び替えを行った場合に表示される画面を、図１２（ｂ）に示す。このとき、図１２（ａ）と同様にサムネイル画像で表示することとすると、画像ファイルの名称の数字部分によって並び替えられた画像ファイルが図１２（ｂ）に示すように表示されることとなる。なお、この場合も図１２（ｃ）と同様に、ぶれ量を各サムネイルに表示するようにしても構わない。

なお、図１２では画像ファイルをサムネイル画像４０で表示することとしているが、一枚ずつ大きく表示して、ユーザが送る又は戻すボタンを押すことによって、順に画像ファイルの画像を表示することとしても構わない。また、本例ではサムネイル画像４０が６個までしか表示されていないが、これより少なくしても多く表示しても構わない。

〔２〕一般操作
次に、〔１〕の初期画像表示動作の後に行われる一般操作について図１３〜図１７のフローチャートを用いて説明する。この図１３〜図１７は一般操作を示すフローチャートであり、それぞれの図に各操作を分けて記載している。まず、図１３に示すように、一般操作では〔２−１〕表示モードの切替（ＳＴＥＰ２０１）、〔２−２〕画像ファイルの削除（ＳＴＥＰ２０２）、〔２−３〕画像情報の単数補正（ＳＴＥＰ２０３）、〔２−４〕画像ファイルの補正の解除（ＳＴＥＰ２０４）の動作を行うことが可能であり、ユーザはそれぞれの動作の実行の要否決定を行う。

〔２−１〕表示モード切替動作
まず、図１３において表示モード切替動作を行うことが指示されると（ＳＴＥＰ２０１、ＹＥＳ）、図１４に示すように、現在の表示モードが片方表示であるか両方表示であるかが確認される（ＳＴＥＰ２０１ａ）。ここで、片方表示は、ある画像ファイルに対して補正前及び補正後の画像ファイルが存在する場合、即ち、画像ファイルの名称の英語部分が異なり数字部分が同一である画像ファイルの組が存在する場合に、補正前及び補正後のどちらか一方の画像ファイルの画像のみを表示するモードである。一方、両方表示は、補正前、補正後に関係なく全ての画像ファイルの画像を表示する表示モードである。

ここで、両方表示であった場合（ＳＴＥＰ２０１ａ、ＹＥＳ）は、片方表示に切替えるために画像ファイルの拡張子を変更する拡張子変更ループ１を行う（ＳＴＥＰ２０１ｂ〜２０１ｇ）。このループ動作は全ての画像ファイルについて行われ、画像ファイルの総数をＭとすると、１番目からＭ番目までの画像ファイルについて動作が行われたときにループ動作を終了する。

拡張子変更ループ１が開始されると（ＳＴＥＰ２０１ｂ）、まず１番目の画像ファイルが選択され（ＳＴＥＰ２０１ｃ）、ＳＴＥＰ２０１ｃで選択された画像ファイルが補正前の画像ファイルであるか否かが確認される（ＳＴＥＰ２０１ｄ）。このとき、選択された画像ファイルが補正前の画像ファイルでない場合（ＳＴＥＰ２０１ｄ、ＮＯ）、ループ動作を終了するか否かの判断を行う（ＳＴＥＰ２０１ｇ）。一方、選択された画像ファイルが補正前の画像ファイルである場合（ＳＴＥＰ２０１ｄ、ＹＥＳ）、対応する補正後の画像ファイルが存在するか否かが確認される（ＳＴＥＰ２０１ｅ）。

次に、選択された画像ファイルに対応する補正後の画像ファイルがない場合は（ＳＴＥＰ２０１ｅ、ＮＯ）、ループ動作を終了するか否かの判断を行う（ＳＴＥＰ２０１ｇ）。一方、補正後の画像ファイルがある場合は（ＳＴＥＰ２０１ｅ、ＹＥＳ）、選択した補正前の画像ファイルが表示されないようにするために拡張子をＴＭＰに変更し（ＳＴＥＰ２０１ｆ）、ループ動作を終了するか否かの判断を行う（ＳＴＥＰ２０１ｇ）。

そして、ＳＴＥＰ２０１ｇにおいて、Ｍ番目の画像ファイルに対する動作を行ってない場合は、ループ動作を継続するためにＳＴＥＰ２０１ｂに戻り、次の画像ファイルを選択して（ＳＴＥＰ２０１ｃ）同様の動作を行う。一方、Ｍ番目の補正後の画像ファイルに対する動作を行っていた場合はループ動作を終了し、画像ファイルの画像を再表示する（ＳＴＥＰ２０１ｈ）。このとき、拡張子がＪＰＧとなっている画像ファイルの画像のみ表示される。そして、表示モード切替動作を終了し、図１３に示す画像ファイル削除の要否決定を行う（ＳＴＥＰ２０２）。

以上のように拡張子を切替えることによって、補正後の画像ファイルが表示されている補正前の画像ファイルのみが非表示になるため、補正前及び補正後のどちらか一方の画像ファイルのみが表示される片方表示とすることができる。

また、これとは逆に、表示モード切替動作を開始する際に片方表示であった場合（ＳＴＥＰ２０１ａ、ＮＯ）、両方表示に切替えるために画像ファイルの拡張子を変更する拡張子変更ループ２を行う（ＳＴＥＰ２０１ｉ〜２０１ｍ）。このループ動作は全ての画像ファイルについて行われ、画像ファイルの総数をＭとすると、１番目からＭ番目までの画像ファイルについて動作が行われたときにループ動作を終了する。

拡張子変更ループ２が開始されると（ＳＴＥＰ２０１ｉ）、まず１番目の画像ファイルが選択され（ＳＴＥＰ２０１ｊ）、ＳＴＥＰ２０１ｊで選択された画像ファイルの拡張子がＴＭＰであるか否かが確認される（ＳＴＥＰ２０１ｋ）。このとき、選択された画像ファイルの拡張子がＴＭＰでない場合（ＳＴＥＰ２０１ｋ、ＮＯ）、ループ動作を終了するか否かの判断を行う（ＳＴＥＰ２０１ｍ）。一方、選択された画像ファイルの拡張子がＴＭＰである場合（ＳＴＥＰ２０１ｋ、ＹＥＳ）、拡張子をＪＰＧに変更するとともに（ＳＴＥＰ２０１ｌ）、ループ動作を終了するか否かの判断を行う（ＳＴＥＰ２０１ｍ）。

そして、ＳＴＥＰ２０１ｍにおいて、Ｍ番目の画像ファイルに対する動作を行ってない場合は、ループ動作を継続するためにＳＴＥＰ２０１ｉに戻り、次の画像ファイルを選択して（ＳＴＥＰ２０１ｊ）同様の動作を行う。一方、Ｍ番目の補正後の画像ファイルに対する動作を行っていた場合はループ動作を終了し、画像ファイルの画像を再表示する（ＳＴＥＰ２０１ｈ）。このとき、すべての画像ファイルの拡張子がＪＰＧとなっているため、すべての画像ファイルの画像が表示される。そして、表示モード切替動作を終了し、図１３に示す画像ファイル削除の要否決定を行う（ＳＴＥＰ２０２）。

なお、画像再表示とは、初期画像表示と同様に画像ファイルの画像の表示を行うことである。また、以下おいて画像を再表示すると表現する場合は、特別に説明する場合を除き初期画像表示と同様の表示（例えば、図１２に示すようなサムネイル画像４０による表示）を行うことを表現することとする。そして、画像再表示を行うことによって、次の操作においてユーザが対象とする画像ファイルを選択しやすいようにするとともに、どのような画像ファイルが存在しているのかを把握しやすくすることができる。

上述したように拡張子を切替えることによって、非表示の画像ファイルを表示することができるようになるため、補正前及び補正後の両方の画像ファイルが表示される両方表示とすることができる。また、両方表示から片方表示に切替えの際には、対応する画像ファイルの有無を確認した上で補正前及び補正後の画像ファイルの一方を非表示にすることとしているため、補正前または補正後の一方のみ存在して非表示になる画像ファイルが生じることを防ぐことができ、ユーザにその存在を忘れられる画像ファイルが生じることを防ぐことができる。

〔２−２〕画像ファイル削除動作
次に、画像ファイルの削除動作について説明する。図１３に示すように、表示モード切替動作を行って終了するか（ＳＴＥＰ２０１、ＹＥＳ及びＡ１〜Ａ２）、表示モード切替動作を行わない場合（ＳＴＥＰ２０１、ＮＯ）、次に画像ファイルの削除動作の要否決定が行われる（ＳＴＥＰ２０２）。そして、画像ファイルの削除動作を行うことが指示された場合（ＳＴＥＰ２０２、ＹＥＳ）、画像ファイルの削除動作が行われるがこの動作の詳細について図１５を用いて説明する。

図１５に示すように、画像ファイルの削除動作が開始されると、まず削除対象となる画像ファイルの選択が行われる（ＳＴＥＰ２０２ａ）。このとき、表示モードが片方表示でなく両方表示であった場合（ＳＴＥＰ２０２ｂ、ＮＯ）、選択した画像ファイルを削除する（ＳＴＥＰ２０２ｆ）。そして、削除後に画像ファイルの再表示を行うとともに（ＳＴＥＰ２０２ｉ）画像ファイルの削除動作を終了し、図１３に示す画像ファイルの単数補正の要否決定を行う（ＳＴＥＰ２０３）。

一方、画像ファイルを片方表示している場合（ＳＴＥＰ２０２ｂ、ＹＥＳ）、まず補正前の画像ファイルであるか否かが確認される（ＳＴＥＰ２０２ｃ）。ここで、選択した画像ファイルが補正前の画像ファイルでなく補正後の画像ファイルである場合（ＳＴＥＰ２０２ｃ、ＮＯ）、対応する補正前の画像ファイルがあるか否かが確認される（ＳＴＥＰ２０２ｇ）。

このとき、対応する補正前の画像ファイルがない場合は（ＳＴＥＰ２０２ｇ、ＮＯ）、選択している画像ファイルのみを削除する（ＳＴＥＰ２０２ｆ）。そして、削除後に画像ファイルの再表示を行うとともに（ＳＴＥＰ２０２ｉ）画像ファイルの削除動作を終了し、図１３に示す画像ファイルの単数補正の要否決定を行う（ＳＴＥＰ２０３）。

また、対応する補正前の画像ファイルがある場合（ＳＴＥＰ２０２ｇ、ＹＥＳ）、この対応する補正前の画像ファイルの拡張子はＴＭＰであり非表示になっている。このとき、片方表示をしている場合において画像ファイルを削除するということは、その画像自体が不要であることをユーザが示しているため、補正前及び補正後の画像ファイルを削除することが望ましい。そこで、この補正前の画像ファイルを削除するとともに（ＳＴＥＰ２０２ｈ）、選択している補正後の画像ファイルも削除する（ＳＴＥＰ２０２ｆ）。そして、削除した後に画像ファイルの再表示を行うとともに（ＳＴＥＰ２０２ｉ）画像ファイルの削除動作を終了して、次に図１３に示す画像ファイルの単数補正の要否決定を行う（ＳＴＥＰ２０３）。

これに対し、ＳＴＥＰ２０２ａで選択した画像ファイルが補正前の画像ファイルであると判断された場合は（ＳＴＥＰ２０２ｃ、ＹＥＳ）、次に補正後の画像ファイルがあるか否かが確認される（ＳＴＥＰ２０２ｄ）。このとき、対応する補正後の画像ファイルがない場合は（ＳＴＥＰ２０２ｄ、ＮＯ）、選択している画像ファイルのみを削除する（ＳＴＥＰ２０２ｆ）。そして、削除後に画像ファイルの再表示を行うとともに（ＳＴＥＰ２０２ｉ）画像ファイルの削除動作を終了し、図１３に示す画像ファイルの単数補正の要否決定を行う（ＳＴＥＰ２０３）。

また、対応する補正後の画像ファイルがある場合（ＳＴＥＰ２０２ｄ、ＹＥＳ）、この補正後の画像ファイルの拡張子はＴＭＰであり非表示になっている。そのため、この補正前の画像ファイルを削除するとともに（ＳＴＥＰ２０２ｅ）、選択している補正後の画像ファイルも削除する（ＳＴＥＰ２０２ｆ）。そして、削除した後に画像ファイルの再表示を行うとともに（ＳＴＥＰ２０２ｉ）画像ファイルの削除動作を終了し、図１３に示す画像ファイルの単数補正の要否決定を行う（ＳＴＥＰ２０３）。

以上のように画像ファイルの削除動作を行うことによって、片方表示のときに補正前及び補正後の画像ファイルのうち表示されている片方の画像ファイルのみが削除されることを防ぐことができる。これにより、非表示になっている画像ファイルの存在をユーザが忘れることによって、この非表示の画像ファイルがいつまでも残存するということを防ぐことができる。また、両方表示の場合に削除する場合においては、一方を削除しても他方は表示されているためユーザにその存在を忘れられることがない。

〔２−３〕画像情報単数補正動作
次に、画像情報の単数補正動作について説明する。図１３に示すように、画像ファイル削除動作を行って終了するか（ＳＴＥＰ２０２、ＹＥＳ及びＢ１〜Ｂ２）、画像ファイルの削除を行わない場合（ＳＴＥＰ２０２、ＮＯ）、その次に画像ファイルの単数補正動作の要否決定が行われる（ＳＴＥＰ２０３）。そして、画像情報の単数補正動作を行うことが指示された場合（ＳＴＥＰ２０３、ＹＥＳ）、画像情報の単数補正動作が行われるがこの動作の詳細について図１６を用いて説明する。なお、画像情報単数補正とは一つの画像ファイルを選択し、その画像情報について補正することである。

図１６に示すように、画像ファイルの単数補正動作が開始されると、まず補正対象となる補正前の画像ファイルの選択が行われる（ＳＴＥＰ２０３ａ）。そして、次にこの選択された画像ファイルに対応する補正後の画像ファイルが存在しているか否かの確認が行われ（ＳＴＥＰ２０３ｂ）、補正後の画像ファイルが存在する場合は（ＳＴＥＰ２０３ｂ、ＹＥＳ）、表示モードが確認される（ＳＴＥＰ２０３ｈ）。

このとき、片方表示であれば（ＳＴＥＰ２０３ｈ、ＹＥＳ）、補正後の画像ファイルが表示されていないために補正後の画像ファイルの拡張子をＪＰＧに変更する。そして、片方表時を行っているため選択した補正前の画像ファイルの拡張子をＴＭＰに変更し（ＳＴＥＰ２０３ｊ）、非表示になるように設定して画像ファイルの画像の再表示を行い（ＳＴＥＰ２０３ｌ）画像情報単数補正動作を終了する。そして、図１３に示す画像ファイルの補正解除の要否決定を行う（ＳＴＥＰ２０４）。

一方、片方表示ではなく両方表示である場合（ＳＴＥＰ２０３ｈ、ＮＯ）、既に補正後の画像ファイルが表示されているにも関わらずユーザが補正を要求していることになるので、ユーザに対して補正後の画像ファイルが存在することを通知する（ＳＴＥＰ２０３ｋ）。そして、画像情報単数補正動作を終了して、図１３に示す画像ファイルの補正解除の要否決定を行う（ＳＴＥＰ２０４）。

また、ＳＴＥＰ２０３ａにおいて選択された補正前の画像ファイルに補正後の画像ファイルタが存在してない場合（ＳＴＥＰ２０３ｂ、ＮＯ）、画像復元フィルタを取得して画像ファイルの補正を行う（ＳＴＥＰ２０３ｃ）。このとき、ぶれ情報を図１の画像復元フィルタ作成部に読み出して画像復元フィルタを作成する。また、ぶれ情報に画像復元フィルタが含まれている場合は、直接これを利用することができる。

そして、ＳＴＥＰ２０３ｃで取得した画像復元フィルタを用いて画像ファイルの補正処理を行い（ＳＴＥＰ２０３ｄ）、補正前と補正後の画像ファイルを表示する（ＳＴＥＰ２０３ｅ）。ＳＴＥＰ２０３において補正前及び補正後の画像ファイルを表示した後、表示モードを確認し（ＳＴＥＰ２０３ｆ）、両方表示であれば（ＳＴＥＰ２０３ｆ、ＮＯ）画像ファイルの画像を再表示して（ＳＴＥＰ２０３ｌ）画像情報単数補正動作を終了し、図１３に示す画像ファイルの補正解除の要否決定を行う（ＳＴＥＰ２０４）。

一方、ＳＴＥＰ２０３ｆにおいて片方表示であることが確認された場合は（ＳＴＥＰ２０３ｆ、ＹＥＳ）、選択した補正前の画像ファイルの拡張子をＴＭＰに変更して（ＳＴＥＰ２０３ｇ）非表示となるように設定する。そして、画像情報単数補正動作を終了し、図１３に示す画像ファイルの補正解除の要否決定を行う（ＳＴＥＰ２０４）。

以上のように画像情報を単数で補正する場合において、初期画像表示の際にぶれ量を用いて並び替えてあると、どの画像ファイルを補正するために選択するべきであるかという判断を容易に行なうことができる。

〔２−４〕画像ファイルの補正解除動作
次に、画像ファイルの補正解除動作について説明する。図１３に示すように、画像情報単数補正動作を行って終了するか（ＳＴＥＰ２０３、ＹＥＳ及びＣ１〜Ｃ２）、画像情報の単数補正を行わない場合（ＳＴＥＰ２０３、ＮＯ）、その次に画像ファイルの補正解除動作の要否決定が行われる（ＳＴＥＰ２０４）。そして、画像ファイルの補正解除動作を行うことが指示された場合（ＳＴＥＰ２０４、ＹＥＳ）、画像ファイルの補正解除動作が行われるがこの動作の詳細について図１７を用いて説明する。

図１７に示すように、画像ファイルの補正解除動作が開始されると、まず補正解除対象となる補正後の画像ファイルの選択が行われる（ＳＴＥＰ２０４ａ）。そして、次にこの選択された画像ファイルに補正前の画像ファイルが存在しているか否かの確認が行われ（ＳＴＥＰ２０４ｂ）、補正後の画像ファイルが存在する場合は（ＳＴＥＰ２０４ｂ、ＹＥＳ）、表示モードが確認される（ＳＴＥＰ２０４ｄ）。

このとき、片方表示を行っている場合（ＳＴＥＰ２０４ｄ、ＹＥＳ）、補正前の画像ファイルが表示されていないために補正前の画像ファイルの拡張子をＪＰＧに変更する。そして、片方表時を行っているため選択した補正後の画像ファイルの拡張子をＴＭＰに変更し（ＳＴＥＰ２０４ｆ）、非表示になるように設定して画像ファイルの画像の再表示を行い（ＳＴＥＰ２０４ｇ）画像ファイル補正解除動作を終了する。そして、図１３に示すように一般操作を終了して、図１０に示すように一括画像情報補正の要否決定を行う（ＳＴＥＰ３）。

一方、片方表示ではなく両方表示である場合（ＳＴＥＰ２０４ｄ、ＮＯ）、既に補正前の画像ファイルが表示されているにも関わらずユーザが補正解除を要求していることになるので、ユーザに対して補正前の画像ファイルが既に存在することを通知する（ＳＴＥＰ２０４ｈ）。そして、画像ファイル補正解除動作を終了するとともに図１３に示すように一般操作を終了し、図１０に示すように一括画像情報補正の要否決定を行う（ＳＴＥＰ３）。

また、ＳＴＥＰ２０４ａで選択した補正後の画像ファイルに対応する補正前の画像ファイルが存在しない場合は（ＳＴＥＰ２０４ｂ、ＮＯ）、補正を解除することはできないために、ユーザに補正解除ができないことを通知する（ＳＴＥＰ２０４ｃ）。そして、画像ファイル補正解除動作を終了するとともに図１３に示すように一般操作を終了し、図１０に示すように一括画像情報補正の要否決定を行う（ＳＴＥＰ３）。

以上のように、片方表示にして補正前の画像ファイルを非表示にしておくことによって、同じ画像である画像ファイルを二つ表示することなく保存することが可能となる。また、このように補正前の画像ファイルに戻したいときにも、補正前の画像ファイルは非表示であるだけなので、すぐに補正前の画像ファイルの画像を表示することができる。

〔３〕補正画像ファイル選択動作
次に、一括画像情報補正動作について説明する。まず一括画像情報補正を行う際の画像ファイルの選択動作について図１８を用いて説明する。図１８は、図１０における補正画像ファイル選択（ＳＴＥＰ５）の動作の詳細を示すフローチャートである。

図１８に示すように、一括画像情報補正を行うことが指示されると（図１０、ＳＴＥＰ３、ＹＥＳ）、まず、撮像装置によって画像ファイル選別ループ動作が行われる（ＳＴＥＰ５０１〜５０８）。このループ動作は全ての画像ファイルについて行われ、画像ファイルの総数をＭとすると、１番目からＭ番目までの画像ファイルについて動作が行われたときにループ動作を終了する。

この画像ファイル選別ループ動作が開始すると（ＳＴＥＰ５０１）、まず１番目の画像ファイルが選択され、補正前の画像ファイルであるか否かの確認が行われる（ＳＴＥＰ５０２）。このとき、補正後の画像ファイルであれば（ＳＴＥＰ５０２、ＮＯ）補正する必要がないので、次にループ動作を終了するか否かの判断を行う（ＳＴＥＰ５０８）。

一方、補正前の画像ファイルであれば（ＳＴＥＰ５０２、ＹＥＳ）、次に、対応する補正後の画像ファイルがあるか否かを確認する（ＳＴＥＰ５０３）。このとき、対応する補正後の画像ファイルが存在すれば（ＳＴＥＰ５０３、ＮＯ）、この補正前の画像ファイルの画像情報は補正する必要がないので、次にループ動作を終了するか否かの判断を行う（ＳＴＥＰ５０８）。

そして、選択された画像ファイルが補正前であり（ＳＴＥＰ５０２、ＹＥＳ）、かつ対応する画像ファイルがないものであれば（ＳＴＥＰ５０３、ＹＥＳ）、次にその画像ファイルのぶれ量を取得する（ＳＴＥＰ５０５）。このとき、取得したぶれ量がある値ＴＨ１（例えば、１）よりも小さい場合（ＳＴＥＰ５０６、ＮＯ）、この画像ファイルは補正する必要がないので、次にループ動作を終了するか否かの判断を行う（ＳＴＥＰ５０８）。

一方、ぶれ量が大きく、ある値ＴＨ１を超えた場合は（ＳＴＥＰ５０６、ＹＥＳ）、画像情報の補正が必要である可能性があるために補正候補画像ファイルリストに追加される（ＳＴＥＰ５０７）。そして、次にループ動作を終了するか否かの判断を行う（ＳＴＥＰ５０８）。

そして、ＳＴＥＰ５０８において、Ｍ番目の補正後の画像ファイルに対する動作を行ってない場合は、ループ動作を継続するためにＳＴＥＰ５０１に戻り、次の画像ファイルを選択して（ＳＴＥＰ５０２）同様の動作を行う。一方、Ｍ番目の補正後の画像ファイルに対する動作を行っていた場合はループ動作を終了し、補正候補画像ファイルリストの読出を行う（ＳＴＥＰ５０９）。そして、この補正候補画像ファイルリストの画像ファイルをぶれ量順に並び替える（ＳＴＥＰ５１０）。

ＳＴＥＰ５１０においてぶれ量順に並び替えられると、次に画像ファイルの画像及びぶれ量が表示される（ＳＴＥＰ５１１）。このときの表示画面の模式図を図１９（ａ）に示す。なお、図１９は、初期画像表示の画面について示した図１２と同様に示したものであり、補正動作前の画像ファイルの選別及び並び替え結果を表示する画面の模式図である。また、図１８のＳＴＥＰ５０６において、選択された画像ファイルを補正候補画像ファイルリストに追加するか否かを判断するための値ＴＨ１は１としている。

この場合、図１２（ｃ）に示している４番の画像ファイルはぶれ量が０であったために選別からもれ、さらに、補正後の画像ファイルが存在している１番の画像ファイルも選別からもれることとなる。そのため、図１９（ａ）では、６個ある画像ファイルのうちの１番と４番以外の他の４つの画像ファイルのサムネイル画像４０が表示されることとなる。また、画面の左上から右下にかけて、ぶれ量４１が小さくなるように並び替えられて表示されている。

また、図１９（ａ）において表示される補正前の画像ファイルのサムネイル画像４０は、すべて補正後の画像ファイルが存在しないものである。そのために、表示方法が両方表示であっても片方表示であっても、図１９（ａ）に示すように同様に表示される。

そして、この状態でユーザによって補正を行う画像ファイルが選択される（ＳＴＥＰ５１２）。そして、選択後に画像ファイルの補正を開始するか否かの決定がユーザによって行われ（ＳＴＥＰ５１３）、図１９（ａ）における補正開始４３を選択するなどして補正を開始する指示が出た場合は（ＳＴＥＰ５１３、ＹＥＳ）、ＳＴＥＰ５１２において選択された画像ファイルの画像が再表示されるとともに（ＳＴＥＰ５１４）、補正画像ファイル選択を終了して、図１０のＳＴＥＰ６に示す一括画像情報補正を行う。一方、補正を開始する指示が出ない場合は（ＳＴＥＰ５１３、ＮＯ）、再度画像ファイルとぶれ量の表示にもどり（ＳＴＥＰ５１１）、画像ファイルの選択を行う（ＳＴＥＰ５１２）。

このとき、画像ファイルを複数選択することが可能であるが、一つだけ選択することも可能である。そして、このように画像ファイルをぶれ量の大きさによって並び替えて画像を表示することで、ユーザが補正すべき画像ファイルを選択する際に、ぶれの大きいもの、又は、小さいものから順に判断していくことが可能となる。そのため、ユーザは並び替えた画像ファイルの画像を順に確認していき、ある画像ファイルより後、又は、前を補正する、という簡単な判断を下すだけで、補正すべき画像ファイルを容易に選択することができ、選択時間の短縮化と選択の容易化とを図ることができる。さらに、補正すべき画像ファイルの選択もれをも防ぐことができる。

また、ぶれ量が値ＴＨ１より小さい画像ファイルや、補正後の画像ファイルが存在する画像ファイルは、補正候補画像ファイルリストに記載されないために図１９（ａ）に示すような選択画面において表示されない。したがって、この画面に表示される画像ファイルはほとんどが補正する必要がある画像ファイルであるため、ユーザはさらに容易に補正を行う画像ファイルの選択を行うことができる。

なお、補正すべき画像を選択する際に、あるぶれ量以上を全選択できるような構成としても構わない。また、このように構成するときに、図１９（ａ）に示す選択画面において、補正を行う画像ファイルと補正を行わない画像ファイルとの境界線を選択できるように構成しても構わないし、ある画像ファイルを選択することによって、その画像ファイルよりもぶれ量の大きい画像ファイルが全選択されるように構成しても構わない。

また、値ＴＨ１をユーザが設定できるようにしても構わない。このようにすることによって、補正候補画像ファイルリストに記載された画像ファイルのほぼ全てを選択して補正することとなり、さらに容易に補正すべき画像ファイルをユーザが選択することができるようになる。また、値ＴＨ１をユーザが設定するとともに、選別された画像ファイルを自動的に全て補正するように選択することとしても構わない。

また、ＳＴＥＰ５１４において補正するために選択された画像ファイルの画像を再表示することとしたが、ここでは再表示を行わず、実際に補正を行う際に画像ファイルを再表示することとしても構わない。また、図１９においては、画像ファイルのサムネイル画像４０にぶれ量４１を付して表示することとしているが、ぶれ量を付さず表示することとしても構わない。また、サムネイル画像４０ではなく、一つの画像のみ大きく表示することとしても構わない。

〔４〕一括画像情報補正動作
〔３〕の補正画像ファイル選択動作によって選択された画像ファイルの画像情報に対して一括画像情報補正する場合について、図２０を用いて説明する。図２０は、一括画像情報補正動作を示すフローチャートである。

図２０に示すように、一括画像情報補正動作が開始されると、まず選択された全ての画像ファイルの画像情報を補正するためにかかる総補正時間Ｔを計算するための補正時間計算ループ動作が行われる（ＳＴＥＰ６０１〜６０６）。このループ動作は、〔３〕の補正画像ファイル選択動作によって選択された画像ファイルの全てについて行われ、この選択された画像ファイルの総数をＮとすると、１番目からＮ番目までの画像ファイルについて動作が行われたときにループ動作を終了する。

この補正時間計算ループ動作が開始されると（ＳＴＥＰ６０１）、まず１番目のファイルの画像情報が読み出されるとともに（ＳＴＥＰ６０２）、この読み出された画像情報に対応するぶれの大きさが確認される（ＳＴＥＰ６０３）。そして、このぶれの大きさに基づいて補正時間ｔを算出するとともに補正時間ｔをメモリなどに一時的に記憶した後に（ＳＴＥＰ６０４）、このループ動作を終了するか否かの判断を行う（ＳＴＥＰ６０５）。

このとき、ＳＴＥＰ６０５において、Ｎ番目の画像ファイルに対する動作を行ってない場合は、ループ動作を継続するためにＳＴＥＰ６０１に戻り、次の画像ファイルを選択して（ＳＴＥＰ６０２）以降、上述したものと同様の動作を行う。また、Ｎ番目の画像ファイルに対する動作を行っている場合は、この補正時間計算ループ動作を終了する。なお、ＳＴＥＰ６０４における補正時間ｔの計算方法の詳細については後述する。

補正時間計算ループ動作によってそれぞれの画像ファイルにおける補正時間ｔが算出されると、次にこの補正時間ｔを合計して総補正時間Ｔを計算する（ＳＴＥＰ６０６）。そして、総補正時間Ｔから使用バッテリ量Ｘが推定されるとともに（ＳＴＥＰ６０７）、使用可能な残りバッテリ量Ｙが取得される（ＳＴＥＰ６０８）。なお、ＳＴＥＰ６０７における使用バッテリ量Ｘの計算方法についても、補正時間ｔの計算方法の説明とあわせて後述する。

次に、ＳＴＥＰ６０７においてと、ＳＴＥＰ６０８で取得した残りバッテリ量Ｙとが比較される（ＳＴＥＰ６０９）。このとき、推定された使用バッテリ量Ｘが残りバッテリ量Ｙよりも小さい場合（ＳＴＥＰ６０９、ＮＯ）、補正動作の途中でバッテリ量が尽きる可能性が低いため、次に画像情報補正ループ動作へと進む（ＳＴＥＰ６１１〜６２０）。

これに対し、推定された使用バッテリ量Ｘが残りバッテリ量Ｙよりも大きい場合は（ＳＴＥＰ６０９、ＮＯ）、補正の途中でバッテリ量が尽きて補正を中断する可能性がある。そのため、この場合は補正動作を行う前にユーザに警告を発するとともに（ＳＴＥＰ６１０）、補正を実行するか否かをユーザに判断させる（ＳＴＥＰ６１１）。このとき、補正を行わない指示が入力された場合は（ＳＴＥＰ６１１、ＮＯ）そのまま一括画像情報補正動作を終了し、補正を行う指示が入力された場合は（ＳＴＥＰ６１１、ＹＥＳ）、次に画像情報補正ループ動作へと進む（ＳＴＥＰ６１１〜６２０）。

この画像情報補正ループ動作は、ＳＴＥＰ６０１〜６０５の補正時間計算ループと同様に、〔３〕の補正画像ファイル選択動作によって選択された画像ファイルの全ての画像情報について行われる。そして、選択された画像ファイルの総数を補正時間計算ループ（ＳＴＥＰ６０１〜６０５）と同様にＮとすると、１番目からＮ番目までの画像情報について動作が行われたときにループ動作を終了する。なお、詳細については後述するが、残りバッテリ量Ｙ_iが少なくなった時にはループ動作の途中でも終了する。

画像情報補正ループ動作が開始すると（ＳＴＥＰ６１２）、まず１番目の画像ファイルが選択されて（ＳＴＥＰ６１３）、画像情報が図９に示す画像情報メモリ３２に読み出される（ＳＴＥＰ６１４）。そして、ＳＴＥＰ６０４で算出して一時的に記憶した補正時間ｔを用いて、残り全ての画像情報を処理するために必要となる残補正時間Ｔ_iを算出し、図１に示した表示部４に表示する（ＳＴＥＰ６１５）。

また、このＳＴＥＰ６１５において表示部４に表示される画面の模式図を図１９の（ｂ）及び（ｃ）に示す。図１９（ｂ）は、画像ファイルの画像をサムネイル画像４０で示した場合であり、これから補正を行う予定のサムネイル画像４０にマーク４４が付されている。また、図１９（ｃ）は、これから補正を行う画像情報を画像情報メモリより読み出して画像４５を表示したものである。そして、どちらの表示方法においても、画面の左下に、ｉ番目以降の全ての画像情報を補正するために必要となると推定される時間である残補正時間Ｔ_i（図中、「残り８０秒」と記載する部分）の画像４６が表示されている。なお、これらの図に示す表示方法は一例であり、どのような表示方法で表示することとしても構わない。例えば、図４及び図５に示したような動きベクトルや、図６に示したようなＰＳＦを、これから補正を行うｉ番目の画像情報の画像に重ねて表示したり、ｉ番目の画像情報の画像に並べて表示したりしても構わない。

そして、ＳＴＥＰ６１５で補正を行う画像情報の画像４５やマーカ４４及び残補正時間Ｔ_iを表示した後に、ｉ番目以降の補正動作全体で使用する使用バッテリ量Ｘ_iを、残補正時間Ｔ_iを元に推定する（ＳＴＥＰ６１６）。そして、ＳＴＥＰ６１６の後の状態における残りバッテリ量Ｙ_iを取得し（ＳＴＥＰ６１７）、上述したＳＴＥＰ６０９と同様に比較を行う（ＳＴＥＰ６１８）。

このとき、推定された使用バッテリ量Ｘ_iが残りバッテリ量Ｙ_jよりも小さい場合（ＳＴＥＰ６１８、ＮＯ）、補正動作の途中でバッテリ量が尽きる可能性が低いため、補正動作を行う（ＳＴＥＰ６２０〜６２３）。一方、使用バッテリ量Ｘ_iが残りバッテリ量Ｙ_iよりも大きい場合（ＳＴＥＰ６１８、ＹＥＳ）、次に、残りバッテリ量Ｙ_iがある値ＴＨ２より大きいか否かが確認される（ＳＴＥＰ６１９）。この値ＴＨ２は、あと一回分の補正を行ったとしても十分バッテリ量が残る程度のバッテリ量の値である。

このとき、残りバッテリ量Ｙ_iが値ＴＨ２よりも大きければ（ＳＴＥＰ６１９、ＹＥＳ）、あと一回分は補正を行うことができるため、補正動作を行う（ＳＴＥＰ６２０〜６２３）。一方、残りバッテリ量Ｙ_iが値ＴＨ２よりも小さければ（ＳＴＥＰ６１９、ＹＥＳ）、あと一回の補正においても途中でバッテリ量が尽きる可能性があるため、残りの画像情報の補正動作を行わず一括画像情報補正動作を終了する。

そして、ＳＴＥＰ６１８や６１９において十分バッテリ量があることが確認されて、補正動作が開始されると、まず画像復元フィルタの取得が行われる（ＳＴＥＰ６２０）。このとき、ぶれ情報が図９のぶれ情報メモリ３３に読み出されるとともに、ぶれ情報計算回路３４において画像復元フィルタが作成される。そして、作成された画像復元フィルタは画像復元フィルタメモリ３５に一時的に記憶された後に、画像情報補正回路３６に読み出され設定される。なお、ぶれ情報に画像復元フィルタが含まれている場合は、ぶれ情報計算回路３４によって計算を行なうことなく画像情報補正回路３６に設定することができる。そして、ＳＴＥＰ６２０において取得された画像復元フィルタを用いて、画像情報補正回路３６で画像情報の補正を行う（ＳＴＥＰ６２１）。また、補正中は以下に説明するような経過画面を表示する（ＳＴＥＰ６２２）。

ＳＴＥＰ６２２において表示部４に表示される画面の一例を示す模式図を図１９の（ｄ）に示す。図１９（ｄ）は、サムネイル画像４０で補正する画像情報の画像を表示した場合である。この図に示すように、例えば、補正の進度を表すグラフ４７（図中下部の棒状の部分、その下部の「９５％」と記載する部分及び「全４枚中３枚目を補正中」と記載する部分）と、補正中の画像情報の補正が終了するまでにかかる時間（グラフの下部の「残り２秒」と記載する部分）の画像４８と、残り全ての画像情報の補正が終了するまでにかかる時間（グラフの左下部の「残り４２秒」と記載する部分）の画像４６と、を表示することとしても構わない。

そして、ｉ番目の画像情報の補正が終了することが確認されるまでは（ＳＴＥＰ６２３、ＮＯ）、ＳＴＥＰ６２１の画像情報の補正とＳＴＥＰ６２２の経過表示とを行い、補正が終了したことが確認されると（ＳＴＥＰ６２３、ＹＥＳ）、次に図９の補正後画像ファイルメモリ３７に補正後の画像ファイルが出力されるとともに一時的に記憶される（ＳＴＥＰ６２４）。このとき、この補正後の画像ファイルの拡張子はＪＰＧになり、図１０のＳＴＥＰ７に示す補正結果の表示動作において表示されるように設定される。そして、補正後画像ファイルメモリ３７から記録部３１に補正後の画像ファイルが送られて記録される。

また、ＳＴＥＰ６２４において補正後の画像ファイルを出力した後に補正画像ファイルリストに追加し（ＳＴＥＰ６２５）、補正ループ動作を終了するか否かの判断を行う（ＳＴＥＰ６２６）。ＳＴＥＰ６２６において、Ｎ番目の画像ファイルの画像情報に対する補正を行ってない場合は、ループ動作を継続するためにＳＴＥＰ６１２に戻り、次の画像ファイルを選択して（ＳＴＥＰ６１３）以降上述したものと同様の補正動作を行う。一方、Ｎ番目の補正後の画像ファイルに対する動作を行っていた場合はループ動作を終了し、一括画像情報補正動作を終了するとともに図１０のＳＴＥＰ７に示す補正結果の表示動作を行う。

このように、図２０のＳＴＥＰ６０９やＳＴＥＰ６１９において、補正動作を実行する前及び補正動作を実行する間に使用バッテリ量Ｘ、Ｘ_iと、バッテリ量Ｙ、Ｙ_iと、を比較するようにしているため、画像情報の補正動作中にバッテリ量が尽きてしまうことによる画像ファイルの破損を防ぐことができる。また、同様にどの画像ファイルまで補正を行ったかがわからなくなることを防ぐことができる。特に、一括画像情報補正動作を行う場合は、複数の画像ファイルの補正動作を行うため補正動作中にバッテリ量が尽きる可能性が高くなる。そのため、上述したようにバッテリ量を管理して、断続的に行われる補正動作の間で終了できるように構成しない場合では、通常の一つずつ画像ファイルの画像情報を補正する場合と比較して高い確率で補正動作中にバッテリ量が尽きてしまう。

また、ぶれ情報として、動きベクトルや、ＰＳＦ、画像復元フィルタを備えている場合は、ぶれ信号から画像復元フィルタに変換するよりも早く画像復元フィルタを取得することができる。したがって、補正処理にかかる時間を低減させることができる。

また、一括画像情報補正動作は、複数の画像情報を連続的に補正するものであるため、ユーザの待ち時間が長くなってしまうが、図１９（ｂ）〜（ｄ）に示すように残り時間などを表示することによって、ユーザにかかるストレスを低減させることができる。

なお、図１９においては、ぶれ量の大きい画像情報の画像から補正処理を行うこととしているが、ぶれ量の小さいものから処理を行っても構わないし、補正処理を行う順番を選択可能としても構わない。また、図１８のＳＴＥＰ５０５において、画像ファイルを選別及び並び替えるためにぶれ量を読み出すこととしているが、このときのぶれ量をメモリなどに記憶しておき、図１９のＳＴＥＰ６０３においてぶれ量を取得するときに利用することとしても構わない。このように構成することで、ＳＴＥＰ６０３においてぶれ量を算出する時間が短縮される。また、上述したように、ぶれ量を画像ファイルのヘッダ情報などに含ませる構成として、すぐに使用することができるような構成にすると、ぶれ量を演算する時間が短縮されるため並び替えや補正にかかる時間、使用バッテリ量を算出する速度を早くすることができる。

また、ここで上述したＳＴＥＰ６０４における推定補正時間の算出方法について説明する。まず、補正時間ｔを、ぶれ情報から画像復元フィルタを作成する時間ｔ₁と、画像情報の補正処理にかかる時間ｔ₂と、の和であると推定する。ここで、画像復元フィルタを作成する時間ｔ₁はぶれ量にはほとんど依存せずほぼ一定の値（例えば、１秒）をとり、画像情報の補正処理にかかる時間ｔ₂がぶれの大きさに依存して変化する。ただし、上述したようにぶれ情報として例えば動きベクトル、ＰＳＦ、画像復元フィルタを用いることが可能であり、ぶれ情報として画像ファイルに含まれる情報の種類によっては、画像復元フィルタを作成する時間ｔ₁が変化する。

次に、画像情報の補正処理にかかる時間ｔ₂の算出方法について説明する。ここで、画像復元処理フィルタの画素単位のサイズを水平方向ｗ_flt、垂直方向をｈ_fltとし、画像情報の画素単位のサイズを水平方向Ｗ、垂直方向Ｈとして、補正処理を行う撮像装置が一回の加算や乗算などの命令を処理するために必要な時間をＳｐｅｃとする。すると、画像情報の画素数はＷ×Ｈとなり、フィルタ係数の画素数はｗ_flt×ｈ_fltとなる。

また、図５において説明したように画像復元フィルタを用いる画像情報の補正は、画像情報の各画素に注目して積和演算をすることによって行われる。このとき、図５の例に示すように、画素復元フィルタのそれぞれの画素と、対応する画像情報の注目画素及びその近傍の画素と、が積算されるため、積算の処理回数は画像フィルタの画素数と同数のｗ_flt×ｈ_flt回となる。

また、この積算によって得られる値がｗ_flt×ｈ_flt個であり、これらを一つずつ加えて和をとるために、和算の処理回数は積算によって得られる値の数より１小さくなりｗ_flt×ｈ_flt−１となる。そのため、積算と和算の処理回数の合計が２ｗ_flt×ｈ_flt−１となり、画像情報の一つの注目画素に対する処理時間を（２ｗ_flt×ｈ_flt−１）×Ｓｐｅｃと推定する。そして、画像情報の全ての画素のそれぞれに注目して補正処理を行うことを考慮して、画像情報の補正処理にかかる時間ｔ₂を、Ｗ×Ｈ×（２ｗ_flt×ｈ_flt−１）×Ｓｐｅｃと推定する。

しかしながら、このとき補正処理にかかる時間を算出するために画像復元フィルタをぶれ情報から算出することとすると、ぶれ情報から画像復元フィルタを算出する時間、即ちｔ₁が補正する画像情報の数だけ必要となり非常に長い時間がかかってしまう。そのため、ここではぶれの水平方向ｗ_blr及び垂直方向ｈ_blrの大きさを用いて計算する方法を用いる。また、ぶれの水平方向ｗ_blr及び垂直方向ｈ_blrの大きさとは、図８においてぶれ量Ｌを求める際にＰＳＦに作成した外接四角形の水平方向の長さｗ、垂直方向の長さｈにそれぞれ相当する。なお、このぶれのサイズを求める場合に、動きベクトルから求めることとしても構わない。また、ぶれ情報として画像復元フィルタを備えている場合は、上述の式のｗ_flt×ｈ_fltに直接代入することができるため、上述の式を使用することとしても構わない。

ここで、画像復元フィルタのサイズはぶれのサイズにほぼ比例するため、比例定数をｋ（例えば、３）として画像情報の補正処理にかかる時間ｔ₂を、Ｗ×Ｈ×（２ｋｗ_blr×ｈ_blr−１）×Ｓｐｅｃと推定する、そして、一つの画像情報の補正時間ｔをｔ₁＋Ｗ×Ｈ×（２ｋｗ_blr×ｈ_blr−１）×Ｓｐｅｃと表し、全ての画像情報の補正時間ｔを足し合わせることで、総補正時間Ｔを推定する。このように補正時間ｔ及び総補正時間Ｔを求めることにより、画像復元フィルタを算出することなく動きベクトルやＰＳＦから補正時間ｔを推定することができるため、補正時間ｔ及び総補正時間Ｔを求める時間を短くすることができる。

また、ぶれの水平方向ｗ_blr及び垂直方向ｈ_blrの大きさを用いる代わりにぶれ量Ｌを用いて補正時間ｔを推定することも可能である。この場合、比例定数をｑとすると、一つの画像情報の補正時間ｔを、ｔ₁＋Ｗ×Ｈ×（２ｑＬ−１）×Ｓｐｅｃと推定する。このように補正時間ｔを推定することで、ぶれの水平方向ｗ_blr及び垂直方向ｈ_blrの大きさを用いて補正時間ｔを推定する場合と比べると精度は悪くなるが、ぶれ量Ｌをメモリに記憶したり予め画像ファイルに含んだりしている場合は、ぶれ量Ｌを用いて瞬時に算出することができる。なお、ぶれ量Ｌを上述したようなＰＳＦの対角線の長さ、即ち（ｗ²＋ｈ²）^1/2とせずに、水平方向及び垂直方向の積、即ちｗ×ｈとして上述のような画像ファイルの並び替えや補正時間ｔの算出を行うこととしても構わない。

また、この総補正時間Ｔから使用バッテリ量Ｘを推定するための計算方法について説明する。ここで、ぶれ情報から画像復元フィルタを作成する回路の使用時間あたりに消費されるバッテリの容量をＥ、画像情報を補正するための回路の使用時間あたりに消費されるバッテリの容量をＦ、その他の回路の使用時間あたりに消費されるバッテリの容量をＧとする。なお、ここでその他の回路とは、表示部や制御部や記録部などに備えられる回路であり、補正処理中においても動作する回路である。

そして、画像復元フィルタを作成する時間ｔ₁と、画像情報の補正処理にかかる時間ｔ₂と、を用いて、一つの画像情報あたりで消費されると推定されるバッテリ量を表すと、Ｅ×ｔ₁＋Ｆ×ｔ₂＋Ｇ×（ｔ₁＋ｔ₂）となる。ここで、補正を行う画像情報全てにおいて合計すると、Ｅ×（ｔ₁の全画像情報の合計）＋Ｆ×（ｔ₂の全画像情報の合計）＋Ｇ×（総補正時間Ｔ）となり、これが使用バッテリ量Ｘとなる。なお、（ｔ₁の全画像情報の合計）を、ｔ₁を定数として（ｔ₁×補正する画像情報数）としても構わない。

また、使用時間の合計を変えることで同様に図２０のＳＴＥＰ６１６における使用バッテリ量Ｘ_iを求めることができる。ここで、ｉ−１番目までの画像情報が補正されているため、残りはｉ〜Ｎ番目の画像情報となる。そのため、これらの画像情報を補正するためのバッテリ量が必要となる。したがって、使用バッテリ量Ｘ_iは、Ｅ×（ｔ₁のｉ〜Ｎ番目までの合計）＋Ｆ×（ｔ₂のｉ〜Ｎ番目までの合計）＋Ｇ×（残補正時間Ｔ_i）となる。ここで、残補正時間Ｔ_iは、ｔ₁のｉ〜Ｎ番目までの合計と、ｔ₂のｉ〜Ｎ番目までの合計と、の和になる。なお、（ｔ₁のｉ〜Ｎ番目までの合計）を、ｔ₁を定数として（ｔ₁×（Ｎ−ｉ＋１））としても構わない。

〔５〕補正結果の表示動作
上述の〔３〕の一括画像情報補正動作によって得られた補正前及び補正後の画像ファイルの確認方法について、図２１を用いて説明する。図２１は、補正結果の表示動作を示すフローチャートである。

図２１に示すように、補正結果の表示動作が開始されると、まず、今回補正した画像ファイルがあるか否かの確認が行われる（ＳＴＥＰ７０１）。このとき、例えば、バッテリ量が小さいなどの理由によって、補正が行われなかったため今回補正した画像ファイルがない場合（ＳＴＥＰ７０１、ＮＯ）、そのまま補正結果の表示動作を終了する。一方、今回補正した画像ファイルがある場合、図２０のＳＴＥＰ６２４で作成した補正画像ファイルリストを取得する（ＳＴＥＰ７０２）。

そして、ＳＴＥＰ７０２によって、今回補正した画像ファイルを確認するとともに、対応する補正前の画像ファイルをぶれ量順に並び替える（ＳＴＥＰ７０３）。そして、この並び替えられた補正前の画像ファイルのそれぞれの後ろに、補正後の画像ファイルを挿入する（ＳＴＥＰ７０４）。このＳＴＥＰ７０３とＳＴＥＰ７０４の動作は、図１１のＳＴＥＰ１０７〜ＳＴＥＰ１１１に示す、初期画像表示動作における補正後画像ファイル挿入ループと同様の動作であり、詳細な説明については省略する。

そして、並び替えられた補正前画像ファイル及び補正後画像ファイルの一組目が表示されユーザに確認される（ＳＴＥＰ７０５）。そして、一組前に戻る指示が出た場合は（ＳＴＥＰ７０６、ＹＥＳ）一組前の画像ファイルを表示する（ＳＴＥＰ７０７）。また、一組前に戻る指示が出ず（ＳＴＥＰ７０６、ＮＯ）、一組先に進む指示が出た場合は（ＳＴＥＰ７０８、ＹＥＳ）、一組先の画像ファイルの表示を行う（ＳＴＥＰ７０９）。そして、この画像ファイルの確認動作は、確認終了の指示が出るまで繰り返し行われる（ＳＴＥＰ７１０、ＮＯ）。

このＳＴＥＰ７０５〜７１０において、表示部４に表示される画面の一例を示す模式図を図１９の（ｅ）に示す。図１９（ｅ）に示すように、補正前画像ファイルの画像４９ａ及び補正後の画像ファイルの画像４９ｂが隣接して対比されるように表示される。また、「次へ」ボタン５０ａと、「前へ」ボタン５０ｂとがあり、これらによって次の画像ファイルの画像の組を表示したり、前の画像ファイルの画像の組を表示したりする。そして、ユーザが中央の「確認終了」５０ｃのボタンを選択することによって、確認終了の指示が出される（ＳＴＥＰ７１０、ＹＥＳ）。

ＳＴＥＰ７１０において確認終了の指示が出ると、次に表示モードの確認が行われる（ＳＴＥＰ７１１）。このとき、表示モードが片方表示である場合は（ＳＴＥＰ７１１、ＹＥＳ）、今回補正した補正前の画像ファイルの拡張子がＪＰＧのままなので、この拡張子をＴＭＰに変更し、非表示にして（ＳＴＥＰ７１２）補正結果の表示動作を終了する。一方、表示モードが片方表示ではなく両方表示である場合（ＳＴＥＰ７１２、ＮＯ）、補正前の画像ファイルの拡張子をＪＰＧにしたまま補正結果の表示動作を終了する。そして、補正結果の表示動作が終了すると、図１０のＳＴＥＰ４において終了するか否かが判断される。

このように、一括画像情報補正動作の後に、補正前及び補正後の画像ファイルの画像を対比させて確認することによって、補正の効果を容易に確認することができる。また、このとき画像ファイルの画像がぶれ量順に並び替えられるため、補正前に表示される画像ファイルの画像の順番と同じになる。そのため、多数の画像ファイルの画像情報を補正して多数の画像ファイルの組が表示されたとしても、ユーザが確認したい画像ファイルを容易に見つけ出すことができる。

また、上述した実施例１では、一括で複数の画像情報の補正をすることができるように構成するとともに、ぶれ量を用いて画像ファイルの並び替えや選別を行って画像を表示することしている。そのため、補正を必要とする画像ファイルのみを順に整列することが可能となり、補正が必要な画像ファイルをユーザが選択する手間や時間を低減させることができる。

また、画像復元フィルタを作成するためのぶれ情報を、動きベクトルやＰＳＦ、画像復元フィルタとすることによって、ぶれ情報としてぶれ信号を用いる場合よりも速くぶれ情報から画像復元フィルタへの変換を行うことができる。そのため、画像復元フィルタの変換にかかる時間を短縮することができる。また、動きベクトルやＰＳＦ、画像復元フィルタは、ぶれ信号と比べてデータ量が小さいため、全体的なデータ量の低減化やぶれ補正処理の迅速化を図ることができる。

また、補正にかかる時間を推定してユーザに表示することとしているため、一括画像情報補正動作を行うことによって多少時間がかかったとしても、ユーザのストレスを低減することができる。また、この推定した時間からバッテリの使用量を推定することとしているため、電力の消費量が大きい一括画像情報補正動作を行う前に、ユーザにバッテリ量が尽きる可能性があることを警告することができる。さらに、個々の画像情報の補正前にバッテリ量を確認することで、補正中にバッテリ量が尽きることを防ぐことが可能となり、画像ファイルの破損やどの画像ファイルまで補正したのかわからなくなることを防ぐことができる。

なお、これまで画像復元式補正方法を利用したぶれ補正装置に一括画像情報補正方法を適用する場合について説明したが、画像復元式補正方法と同様に、撮像後に画像情報を解析して補正することのできる電子式補正方法を利用したぶれ補正装置にも、本実施例における一括画像情報補正方法を適用することができる。

本実施例における一括画像情報補正方法を電子式補正方法を利用したぶれ補正装置に適用する場合は、撮像後の画像情報を解析することによって上述のようなぶれ情報を得るとともにぶれ量を得る。そして、画像ファイルの並び替えを行い、ユーザに並び替えた画像ファイルの画像を表示することとする。このように構成することによって、電子式補正方法を利用したぶれ補正装置においても補正すべき画像ファイルの選択が容易となり、補正動作の迅速化を図ることができる。さらに、電子式補正装置を利用したぶれ補正装置を備える撮像装置は、角速度センサなどのセンサ類が不要となるため小型化を図ることができる。

また、本実施形態におけるぶれ補正装置を備える電子機器は上述したような撮像装置に限らず、入力された画像ファイルを補正して画像を表示するディスプレイや、入力された画像ファイルを補正して画像を印刷するプリンタなどにも適用することができる。

＜実施例２＞
上述した実施例１は、ぶれ量を用いて画像ファイルを並び替えるとともに一括画像情報補正を行うことや、ぶれ情報を動きベクトルやＰＳＦ、画像復元フィルタとすることで補正処理の迅速化を図ることができるが、以下に説明する実施例２のような構成を備えることで、さらなる補正処理の迅速化を図ることができる。

実施例２におけるぶれ補正装置の構成及び動作について図２２を用いて説明する。図２２（ａ）は、ぶれ補正装置の構成を示したブロック図であり、実施例１について示した図９（ａ）に相当するものである。また、図２２（ｂ）は、実施例２におけるぶれ補正装置の補正動作のタイミングについて模式的に示した概念図であり、実施例１について示した図９（ｂ）に相当するものである。また、図９と同様の部分については同じ符号を付し、その詳細な説明については省略する。

図２２（ａ）に示すように、実施例２におけるぶれ補正装置３０ａは、画像情報とぶれ情報とを備えた画像ファイルが記録される記録部３１と、記録部３１から読み出された画像情報が一時的に記憶される画像情報メモリ３２と、補正処理を行うために画像情報メモリ３２から読み出された画像情報が一時的に記憶されるバッファメモリ３８と、ぶれ情報が一時的に記憶されるぶれ情報メモリ３３ｂ１〜３３ｂｎと、ぶれ情報から画像復元フィルタを作成するとともに出力するぶれ情報計算回路３４と、ぶれ情報計算回路から出力される画像復元フィルタが一時的に記憶される画像復元フィルタメモリ３５ｂ１〜３５ｂｎと、画像情報と画像復元フィルタとを用いて補正を行い補正後の画像フィルタを作成する画像情報補正回路３６と、補正後の画像ファイルが出力されて一時的に記憶される補正後画像ファイルメモリ３７と、を備える。

また、実施例２におけるぶれ補正装置３０ａは、ぶれ情報メモリ３３ｂ１〜３３ｂｎ及び画像復元フィルタメモリ３５ｂ１〜３５ｂｎをそれぞれ複数備える構成としており、それぞれのぶれ情報メモリ３３ｂ１〜３３ｂｎは、それぞれの画像復元フィルタメモリ３５ｂ１〜３５ｂｎに対応するように同数備えられている。そして、ぶれ情報メモリ３３ｂ１〜３３ｂｎのいずれか一つを選択して記録部３１から読み出されたぶれ情報を与える切替部３３ａと、複数の画像復元フィルタメモリ３５ｂ１〜３５ｂｎからいずれか一つを選択するとともに画像復元フィルタを読み出して画像情報補正回路に与える切替部３５ａと、を備えている。

次に、図２２（ａ）に加えて図２２（ｂ）を用いて実施例２におけるぶれ補正装置３０ａの一括画像情報補正動作の概略について説明する。まず、一括画像情報補正動作が開始されると、最初の画像ファイルの画像情報が記録部３１から画像情報メモリ３２に読み出され、同時に切替部３３ａを介してぶれ情報がぶれ情報メモリ３３ｂ１に読み出される。すると、ぶれ情報がぶれ情報計算回路３４に読み出されて上述したように計算され、最終的に画像復元フィルタが得られる。そして、この画像復元フィルタを作成するためのぶれ情報を得たぶれ情報メモリ３３ｂ１に対応する画像復元フィルタメモリ３５ｂ１に画像復元フィルタを出力し、画像復元フィルタメモリ３５ｂ１が一時的に画像復元フィルタを記憶する。

その後、最初の画像ファイルの画像情報に対応する画像復元フィルタが画像情報補正回路３６に設定され、最初の画像情報がバッファメモリ３８に読み出されるとともに画像情報補正回路３６に読み出されて補正動作が開始されると、この最初の補正動作を行っている間に、次の画像ファイルの画像情報が画像情報メモリ３２に読み出されるとともに、ぶれ情報が切替部３３ａを介してぶれ情報メモリ３３ｂ２に読み出される。そして、図２２（ｂ）に示すように次のぶれ情報の計算が行われる。したがって、二番目以降の画像ファイルの処理については、ぶれ情報の変換と、画像情報の補正動作とが並列して行われる。

ここで、実施例１及び実施例２におけるそれぞれのぶれ補正装置について一括画像情報補正動作を行う場合に要する補正時間Ｔを比較する。なお、画像ファイルの画像を表示するために必要な時間などは実施例１及び実施例２において共通のものであるので、ここでは画像復元フィルタを作成する時間ｔ₁と、画像情報の補正処理にかかる時間ｔ₂とを比較することにする。

そして、図９（ｂ）に示すように、実施例１のぶれ補正装置３０においては画像復元フィルタの計算と画像情報の補正とを直列的に処理するため、一つの画像情報の補正時間ｔが、ぶれ情報から画像復元フィルタを作成する時間ｔ₁と、画像情報の補正処理にかかる時間ｔ₂と、の和になる。したがって、一括画像情報補正動作全体で要する時間Ｔは、（ｔ₁の合計）＋（ｔ₂の合計）となる。

これに対して、実施例２のぶれ補正装置３０ａは、画像復元フィルタの計算と画像情報の補正とを並列的に処理することが可能であり、全ての画像情報を補正処理するために必要となる補正時間Ｔは、最初の画像復元フィルタを作成する時間ｔ₁と、画像情報の補正処理にかかる時間ｔ₂の合計と、の和となる。したがって、一括画像情報補正動作全体で要する時間Ｔは、（最初の画像ファイルのｔ₁）＋（ｔ２の合計）となり、実施例１のぶれ補正装置よりも（補正する画像情報の数−１）個分の画像復元フィルタを作成する時間ｔ₁だけ早く処理することができる。

また、このような並列処理を実現するために必要な構成が、図２２（ａ）に示すようなぶれ情報メモリ３３ｂ１〜３３ｂｎ、画像復元フィルタメモリ３５ｂ１〜３５ｂｎ及び切替部３３ａ、３５ａの追加だけであるため、無用にぶれ補正装置３０ａやぶれ補正装置３０ａを備えた電子機器を大型化させることを防ぐことができる。

特に、最も容易に並列処理を行なうために、電子機器に図９（ａ）示すようなぶれ補正装置３０を複数備えることは可能ではあるが、メモリ容量の大きい画像情報メモリ３２や、回路規模が大きい画像情報補正回路３６を複数備えることとなるため、電子機器が非常に大型化してしまう。したがって、実施例２におけるぶれ補正装置３０ａは、メモリ容量の小さいぶれ情報メモリ３３ｂ１〜３３ｂｎ、画像復元フィルタメモリ３５ｂ１〜３５ｂｎを追加するだけで、回路規模の増大を最小限に抑えることができる。

次に、実施例２におけるぶれ補正装置を備えた撮像装置の具体的な動作について、図２２に加え図２３及び図２４のフローチャートを用いて説明する。図２３及び図２４は、一括画像情報補正動作を行う場合において複数の画像ファイルがユーザによって選択された後の動作について記載したものであり、選択された画像ファイルの画像情報を補正する際の補正動作について示したものである。そして、実施例１において説明した図１０のＳＴＥＰ６の「一括画像情報補正」の詳細な動作を示すものであり、この一括画像情報補正動作の開始時には、補正を行う複数の画像ファイルが既に選択されていることとする。

図２３に示すように、一括画像情報補正動作が開始すると、まず全ての画像復元フィルタメモリ内を消去し（ＳＴＥＰ８０１）、画像復元フィルタの計算動作を開始する（ＳＴＥＰ８０２）。上述したように、画像復元フィルタの計算動作は画像情報の補正動作と並列的に行われ、この画像復元フィルタの計算動作を図２４のフローチャートに示す。

図２４に示すように、画像復元フィルタの計算動作が開始されると、まず画像復元フィルタ作成ループ動作が開始される（ＳＴＥＰ８０２ａ〜８０２ｇ）。このループ動作は補正するために選択された全ての画像ファイルの画像情報について行われ、選択された画像ファイルの総数をＮとすると、１番目からＮ番目までの画像ファイルの画像情報について補正動作が行われたときにループ動作を終了する。

画像復元フィルタ作成ループ動作が開始すると（ＳＴＥＰ８０２ａ）、まず１番目の画像ファイルのぶれ情報が選択され（ＳＴＥＰ８０２ｂ）、少なくとも一つの画像復元フィルタメモリ３５ｂ１〜３５ｂｎに空きがあるか否かの確認が行われる（ＳＴＥＰ８０２ｃ）。このとき、画像復元フィルタメモリ３５ｂ１〜３５ｂｎに空きがなければ（ＳＴＥＰ８０２ｃ、ＮＯ）、画像復元フィルタメモリに３５ｂ１〜３５ｂｎ空きができるまで確認し続ける。また、画像復元フィルタ３５ｂ１〜３５ｂｎに空きがあれば（ＳＴＥＰ８０２ｃ、ＹＥＳ）、空きのある画像復元フィルタメモリ３５ｂ１〜３５ｂｎに対応するぶれ情報メモリ３３ｂ１〜３３ｂｎに切替部３３ａを介してぶれ情報が読み出される（ＳＴＥＰ８０２ｄ）。

そして、ＳＴＥＰ８０２ｄで読み出されたぶれ情報がぶれ情報計算回路３４に読み出されるとともに画像復元フィルタの計算が行われ（ＳＴＥＰ８０２ｅ）、得られた画像復元フィルタが画像復元フィルタメモリ３５ｂ１〜３５ｂｎに一時的に記憶されるとともに（ＳＴＥＰ８０２ｆ）、ループ動作を終了するか否かの判断が行われる（ＳＴＥＰ８０２ｇ）。

ＳＴＥＰ８０２ｇにおいて、Ｎ番目の画像ファイルのぶれ情報に対する補正動作を行ってない場合は、ループ動作を継続するためにＳＴＥＰ８０２ａに戻り、次の画像ファイルのぶれ情報を選択して（ＳＴＥＰ８０２ｂ）同様の動作を行う。一方、Ｎ番目の画像ファイルのぶれ情報に対する動作を行っていた場合は、ループ動作を終了する。そして、このように、画像復元フィルタ作成動作が画像情報の補正動作の進行に関わらず行なわれる。ただし、補正すべき画像情報が多く、かつ、画像情報の補正動作が遅い場合は、使用されていない画像復元フィルタが画像復元フィルタメモリ３５ｂ１〜３５ｂｎに停滞することとなり、空きができなくなることがある。そして、そのような場合はＳＴＥＰ８０２ｃに示したように画像復元フィルタの計算動作が停止する。

また、図２３の一括画像情報補正動作において、ＳＴＥＰ８０２で上述のような画像復元フィルタの計算動作を開始すると、次に１番目の画像ファイルの画像情報を画像情報メモリ３２へ読み出し（ＳＴＥＰ８０３）、画像情報を補正する準備を行う。そして、処理する画像ファイルの順番を示す番号ｉを１（ＳＴＥＰ８０４）に設定し、補正する画像情報の画像を表示部４に表示する（ＳＴＥＰ８０５）。このときの表示方法は実施例１と同様であり、図１９（ｂ）に示すように複数の画像情報のサムネイル画像を表示してマーカを付すこととしても構わないし、図１９（ｃ）に示すように補正する画像情報の画像のみを表示部に表示することとしても構わない。また、詳細については後述するが、全ての画像情報を補正するために必要な時間を推定して表示することとしても構わない。

そして、画像情報メモリ３２に読み出した画像情報に対応する画像復元フィルタが、画像復元フィルタメモリ３５ｂ１〜３５ｂｎにあるか否かが確認され（ＳＴＥＰ８０６）、画像復元フィルタがない場合は（ＳＴＥＰ８０６、ＮＯ）、画像復元フィルタが作成されるまで確認し続ける。画像復元フィルタがあることが確認された場合は（ＳＴＥＰ８０６、ＹＥＳ）、画像復元フィルタが画像情報補正回路３６に読み出されて設定されるとともに（ＳＴＥＰ８０７）、画像復元フィルタが記憶されていた画像復元フィルタメモリ３５ｂ１〜３５ｂｎ内が消去される（ＳＴＥＰ８０８）。

すると、画像情報がバッファメモリ３８に読み出されて（ＳＴＥＰ８０９）、補正動作が開始される（ＳＴＥＰ８１０）。ＳＴＥＰ８１０において補正動作が開始されると、補正動作が行われている画像情報の番号、即ちｉが、Ｎであるか否かの確認が行われる（ＳＴＥＰ８１１）。ここで、ｉがＮである場合は（ＳＴＥＰ８１１、ＹＥＳ）、その画像情報で補正動作が最後となる。この場合、補正動作が終了するまで待機して（ＳＴＥＰ８１６、ＮＯ）、補正動作が終了したことが確認されると（ＳＴＥＰ８１６、ＹＥＳ）、ｉ番目、即ち、この場合はＮ番目の補正後の画像ファイルを補正後画像ファイルメモリ３７に出力して（ＳＴＥＰ８１７）一括画像情報補正動作を終了する。

一方、ｉがＮではない場合（ＳＴＥＰ８１１、ＮＯ）、この補正動作の後にも補正動作を行う必要があるので、次に補正する画像情報、即ちｉ＋１番目の画像情報を画像情報メモリ３２に読み出す（ＳＴＥＰ８１２）。そして、補正動作が終了するまで待機して（ＳＴＥＰ８１３、ＮＯ）、補正動作が終了したことが確認されると（ＳＴＥＰ８１３、ＹＥＳ）、補正後の画像ファイルを補正後画像ファイルメモリに出力するとともに（ＳＴＥＰ８１４）ｉを一つ大きくして（ＳＴＥＰ８１５）補正対象となる画像情報の番号を一つ先に進める。

そして、ＳＴＥＰ８０５まで戻り、ＳＴＥＰ８１５によって指定された画像情報の画像を表示部１に表示し（ＳＴＥＰ８０５）、以降同様の補正動作を行なう。そして、上述したようにＮ番目の画像情報まで補正処理を行ない、一括画像情報補正動作を終了する。

このように一括画像情報補正動作を行うことによって、画像復元フィルタの作成と画像情報の補正とを並列的に処理することができるようになる。そのため、実施例１のぶれ補正装置３０における補正時間よりも、（画像情報の数−１）個分の画像復元フィルタを作成する時間ｔ₁の時間を短縮することができる。また、バッファメモリ３８に画像情報を読み出してから、画像情報メモリ３２に次に処理する画像情報３２を読み出すこととしているため、画像情報を滞りなくバッファメモリ３８及び画像情報補正回路３６に読み出すことが可能となる。

また、ぶれ情報として、上述したような動きベクトルや、ＰＳＦ、画像復元フィルタなどを用いることができるが、短縮できる時間が画像復元フィルタを作成する時間ｔ₁に関するものであるため、ぶれ情報を動きベクトルとした方が得られる効果は大きい。また、ぶれ情報を動きベクトルとすることで、撮像して画像ファイルを作成する際においてぶれ情報を作成する時間が大きく増加することがない。また、ぶれ情報を作成せずにぶれ信号を画像ファイルに付加する場合と比較して、情報量を低減することができる。

また、画像復元フィルタメモリ３５ｂ１〜３５ｂｎから画像復元フィルタを読み出した後に、すぐに画像復元フィルタメモリ３５ｂ１〜３５ｂｎ内を消去し、次のぶれ情報及び画像復元フィルタを受け入れることができるように構成することで、ぶれ情報メモリ３３ｂ１〜３３ｂｎ及び画像復元フィルタメモリ３５ｂ１〜３５ｂｎを最低限の増設に抑えることができる。さらに、画像情報を補正する時間が画像復元フィルタを作成する時間のおよそ二倍程度の長さであるので、あまり多くぶれ情報メモリ３３ｂ１〜３３ｂｎ及び画像復元フィルタメモリ３５ｂ１〜３５ｂｎのセットを設けたとしても、作成された画像復元フィルタが待機されるだけである。したがって、ぶれ情報メモリ３３ｂ１〜３３ｂｎ及び画像復元フィルタメモリ３５ｂ１〜３５ｂｎのセットは数セットで足り、そのように構成しても構わない。

なお、図２３のＳＴＥＰ８０１及びＳＴＥＰ８０８において、画像復元フィルタメモリ３５ｂ１〜３５ｂｎ内を消去する際にあわせてぶれ情報メモリ３３ｂ１〜３３ｂｎ内を消去しても構わない。また、ぶれ情報メモリ３３ｂ１〜３３ｂｎを、図２４のＳＴＥＰ８０２ｅにおいてぶれ情報がぶれ情報計算回路３４に読み出されたときに消去することとしても構わない。また、ＳＴＥＰ８０２においてぶれ情報メモリ３３ｂ１〜３３ｂｎ内を消去した後に、ぶれ情報メモリ３３ｂ１〜３３ｂｎに次の画像ファイルのぶれ情報を読み込むこととしても構わない。また、ＳＴＥＰ８０２ｃで空きのあるぶれ情報メモリ３３ｂ１〜３３ｂｎを確認することとして、ＳＴＥＰ８０２ｄで空いているぶれ情報メモリ３３ｂ１〜３３ｂｎにぶれ情報を読み出すこととしても構わない。

さらに、図２４に示すフローチャートでは、画像復元フィルタが画像復元フィルタメモリに記憶された後に（ＳＴＥＰ８０２ｆ）次の画像ファイルのぶれ情報をぶれ情報メモリ３３ｂ１〜３３ｂｎに読み出すこととしているが、ぶれ情報がぶれ情報計算回路３４に読み出されてぶれ情報メモリ３３ｂ１〜３３ｂｎに空きができた時に、そのぶれ情報メモリ３３ｂ１〜３３ｂｎにぶれ情報を読み出すこととしても構わない。この場合、上述したようにぶれ情報メモリ３３ｂ１〜３３ｂｎからぶれ情報がぶれ情報計算回路３４に読み出された際に、ぶれ情報メモリ３３ｂ１〜３３ｂｎ内を消去する構成とする。このように構成することで、次々にぶれ情報をぶれ情報メモリ３３ｂ１〜３３ｂｎに読み出して待機させることができるため、迅速に画像復元フィルタを作成することが可能となる。そのため、ぶれ情報メモリ３３ｂ１〜３３ｂｎや画像復元フィルタメモリ３５ｂ１〜３５ｂｎの増設数を低減させることができる。

また、増設する複数のメモリは、現実にメモリの個数を増やしても構わないし、一つのメモリ内にパーティションを設けることで仮想的にメモリの数を増加させることとしても構わない。この場合、一つのメモリが複数の情報を記憶することとなるが、記憶する情報が動きベクトルや画像復元フィルタなどのようなデータ量の小さいものであるため、メモリに相当な負担がかかることが少ない。

また、実施例２も実施例１と同様に、画像復元式補正方法を利用したぶれ補正装置に一括画像情報補正方法を適用する場合について説明したが、撮像後に画像情報を解析して補正する電子式補正方法を利用したぶれ補正装置にも、本実施例における一括画像情報補正方法を適用することができる。

本実施例における一括画像情報補正方法を電子式補正方法を利用したぶれ補正装置に適用する場合は、まず、撮像後の画像情報を解析することによって得られる画像情報から上述のようなぶれ情報を得る。そして、このぶれ情報から画像復元フィルタを作成する処理と、画像情報を補正する処理とを並列で行うこととする。このように構成することによって、電子式補正方法を利用したぶれ補正装置においても補正動作の迅速化を図ることができる。さらに、電子式補正装置を利用したぶれ補正装置を備える撮像装置は、角速度センサなどのセンサ類が不要となるため小型化を図ることができる。

また、実施例２のぶれ補正装置において、一括画像情報補正動作以外の動作については、実施例１と同様の動作としても構わない。例えば、実施例１で示した図１１における初期画像表示を行うこととしても構わないし、図１３〜図１７に示すような一般操作を行うこととしても構わない。また、一括画像情報補正動作を行う補正前の画像ファイルの選択方法を、図１８に示すようなぶれ量を利用した方法としても構わないし、一括画像情報補正動作の後に、図２１に示すような補正画像の確認を行うこととしても構わない。

また、実施例１における一括画像情報補正を実施例２に組み合わせても構わなく、実施例２において実施例１と同様に一括画像情報補正を行う際の補正時間の推定やバッテリ量の確認を行うこととしても構わない。ただし、実施例１及び実施例２の一括画像情報補正動作において、画像復元フィルタを作成するタイミングがそれぞれ異なるため補正時間及びバッテリ量の推定方法を実施例２に合わせて適用する必要がある。そこで、その詳細について図２５及び図２６を用いて説明する。

図２５及び図２６に示すフローチャートは、実施例２に実施例１を組み合わせた場合の一括画像情報補正動作を示すフローチャートであり、実施例２について示した図２３及び図２４に相当するものである。なお、図２３及び図２４と同様の動作を行なう部分については、同じ符号を付し、その詳細な動作の説明については省略する。

図２５に示すように、一括画像情報補正動作が開始してから画像情報メモリ３２に補正する画像ファイルの画像情報を読み出してｉを１に設定するまで（ＳＴＥＰ８０１〜８０４）は実施例２と同様であるが、このあとに補正可能であるか否かの確認を行なう（ＳＴＥＰ８１８）。

このＳＴＥＰ８１８における補正可能か否かの確認は、実施例１において説明した図２０のＳＴＥＰ６０６〜６１１と同様である。即ち、補正可能である場合（ＳＴＥＰ８１８、ＹＥＳ）は、図２０のＳＴＥＰ６０９において使用バッテリ量Ｘがバッテリ量Ｙより小さい場合と（ＳＴＥＰ６０９、ＮＯ）、使用バッテリ量Ｘがバッテリ量Ｙより大きい場合（ＳＴＥＰ６０９、ＹＥＳ）かつ補正を実行すると選択された場合（ＳＴＥＰ６１１、ＹＥＳ）とである。そして、補正可能であれば図２３のＳＴＥＰ８０５と同様に表示部１に画像情報の画像や補正時間Ｔを表示し、以降ＳＴＥＰ８１０の補正動作の開始までは実施例２と同様の動作を行なう。

また、補正可能でない場合とは（ＳＴＥＰ８１８、ＮＯ）、図２０のＳＴＥＰ６０９において使用バッテリ量Ｘがバッテリ量Ｙより大きく（ＳＴＥＰ６０９、ＹＥＳ）かつ補正を実行しないと選択された場合（ＳＴＥＰ６１１、ＮＯ）である。この場合、一括画像情報補正を行わずに終了する。

ここで、実施例１においては補正時間Ｔを、ぶれ情報から画像復元フィルタを作成する時間ｔ₁と、画像情報の補正処理にかかる時間ｔ₂との和を一つの画像情報の補正時間ｔと推定して、この補正時間ｔを合計したものを補正時間Ｔと推定していた。しかしながら、実施例２では画像復元フィルタの作成と、画像情報の補正処理とが並列的に行われるため、上述したようにそれぞれの画像情報の補正処理にかかる時間ｔ₂の合計と、最初の画像ファイルの画像復元フィルタを作成する時間ｔ₁と、の和が総補正時間Ｔ_aとなる。なお、この総補正時間Ｔ_aをＳＴＥＰ８０５において表示部に表示しても構わない。

そして、実施例２のＳＴＥＰ８１８における使用バッテリ量Ｘ_aについては、並列的に処理したとしても補正動作自体は変わらないため実施例１とほぼ同様のものとなる。ただし、総補正時間Ｔ_aが実施例１における総補正時間Ｔよりも短くなっているため、その分の電力の消費などは低減される。例えば、補正動作中において表示部で消費される電力などが低減される分に相当する。したがって、使用バッテリ量Ｘ_aは、Ｅ×（ｔ₁の全画像情報の合計）＋Ｆ×（ｔ₂の全画像情報の合計）＋Ｇ×（総補正時間Ｔ_a）となる。なお、実施例２にすることによって発生する消費電力（例えば、メモリで使用する電力や切替部における電力）を新たに加えることとしても構わない。また、（ｔ₁の全画像情報の合計）を、ｔ₁を定数として（ｔ₁×補正する画像情報数）としても構わない。

そして、ＳＴＥＰ８１０において補正動作が開始され、その補正がＮ番目の画像情報でなく（ＳＴＥＰ８１１、ＮＯ）、画像情報メモリに次の画像情報を読み出した後に（ＳＴＥＰ８１２）、実施例１と同様に補正経過の表示を行う（ＳＴＥＰ８１９）。この動作は図２０のＳＴＥＰ６２２と同様のものであり、例えば図１９（ｄ）に示すような表示を行なう。この時点では、既に最初の画像情報に対応する画像復元フィルタが作成されているため、残補正時間Ｔ_iは、ｉ番目以降の画像情報の補正処理にかかる時間ｔ₂の合計のみとなる。また、Ｎ番目の画像情報の補正を行う場合（ＳＴＥＰ８１１、ＹＥＳ）も、同様に補正経過の表示を行う（ＳＴＥＰ８１９）。

そして、補正が終了し（ＳＴＥＰ８１３、ＹＥＳ）、補正後の画像ファイルを出力して（ＳＴＥＰ８１４）次の画像情報の補正に入る（ＳＴＥＰ８１５）際に、補正が可能か否かの判断を行なう（ＳＴＥＰ８２０）。この動作は、実施例１における図２０のＳＴＥＰ６１８〜６１９と同様の動作である。即ち、補正が可能である場合は（ＳＴＥＰ８２０、ＹＥＳ）、図２０のＳＴＥＰ６１８において使用バッテリ量Ｘ_iがバッテリ量Ｙ_iより小さい場合と（ＳＴＥＰ６１８、ＮＯ）、使用バッテリ量Ｘ_iがバッテリ量Ｙ_iより大きく（ＳＴＥＰ６１８、ＹＥＳ）かつ値ＴＨ２より大きい場合（ＳＴＥＰ６１９、ＹＥＳ）とを含む場合である。この場合、次の画像情報の補正を行うためにＳＴＥＰ８０５に戻る。

また、補正が可能でない場合は（ＳＴＥＰ８２０、ＮＯ）、実施例１における図２０の使用バッテリ量Ｘがバッテリ量Ｙより小さく（ＳＴＥＰ６１８、ＹＥＳ）かつ値ＴＨ２より小さい場合（ＳＴＥＰ６１９、ＹＥＳ）である。この場合は、一括画像情報補正を終了する。

ＳＴＥＰ８２０において、実施例２において使用バッテリ量Ｘ_iaを推定する場合、実施例１と同様に求めることができるが、上述した総補正時間Ｔ_aと同様に残補正時間Ｔ_iaが実施例１と異なる。ここで、この時点でｉ番目までの画像情報が補正されているため、残りはｉ＋１〜Ｎ番目の画像情報となる。したがって、使用バッテリ量Ｘ_iaは、Ｅ×（ｔ₁のｉ＋１〜Ｎ番目までの合計）＋Ｆ×（ｔ₂のｉ＋１〜Ｎ番目までの合計）＋Ｇ×（残補正時間Ｔ_ia）となる。ここで、残補正時間Ｔ_iaはｔ₂のｉ＋１〜Ｎ番目までの合計と等しくなる。なお、（ｔ₁のｉ〜Ｎ番目までの合計）を、ｔ₁を定数として（ｔ₁×（Ｎ−ｉ＋１））としても構わない。また、残補正時間Ｔ_iaをＳＴＥＰ８０５において表示部に表示しても構わない。

一方、図２６に示すように、実施例２における画像復元フィルタ作成動作に、実施例１を組みあわせても構わない。この場合、画像復元フィルタが形成されて画像復元フィルタメモリに記憶するまでの動作（ＳＴＥＰ８０２ａ〜８０２ｆ）は実施例２と同様であるが、その後に、一括画像情報補正動作が終了したか否かを確認する動作（ＳＴＥＰ８０２ｈ）が必要となる。即ち、図２５のＳＴＥＰ８１８やＳＴＥＰ８２０においてバッテリ量Ｙ_a、Ｙ_iaが不足する場合に一括画像情報補正動作が停止となるが、実施例２においては並列に処理を行なうため画像復元フィルタ作成動作が停止しない場合がある。そのため、ＳＴＥＰ８１８で一括画像情報補正動作が停止したか否かを確認する。

このとき、一括画像情報補正動作が停止している場合（ＳＴＥＰ８０２ｈ、ＹＥＳ）、画像復元フィルタ作成ループ動作を抜けて終了する。また、一括画像情報補正動作が停止していない場合（ＳＴＥＰ８０２ｈ、ＮＯ）、画像復元フィルタ作成ループ動作を継続するか否かを判断する（ＳＴＥＰ８０２ｇ）。

上述したように実施例２に実施例１を組み合わせることで、バッテリ量が尽きやすい一括画像情報補正動作を行ったとしても、上述したように個々の画像情報の補正前にバッテリ量を確認することで、一括画像情報補正動作中にバッテリ量が尽きることを防ぐことができる。そのため、画像ファイルが破損したり、どの画像ファイルまで補正を行ったかがわからなったりすることを防ぐことができる。また、電力の消費量が大きい一括画像情報補正動作を行う前に、ユーザにバッテリ量が尽きる可能性があることを警告することができる。

また、補正を必要とする画像ファイルのみを順に整列して表示することが可能となり、補正が必要な画像ファイルをユーザが選択する手間や時間を低減させることができる。また、補正にかかる時間を推定してユーザに表示することとしているため、ユーザのストレスを低減させることができる。

なお、ＳＴＥＰ８０２ｈにおいても、図２５のＳＴＥＰ８１８やＳＴＥＰ８２０と同様にバッテリ量Ｙ_iaを確認することとして、値ＴＨ２よりもバッテリ量Ｙ_iaが小さければ画像復元フィルタ作成動作を終了することとしても構わない。また、図２５のＳＴＥＰ８１８やＳＴＥＰ８２０において、推定する使用バッテリ量Ｘ_a、Ｘ_iaを実施例１と同様の使用バッテリ量Ｘ、Ｘ_iとしても構わない。

また、図２５のＳＴＥＰ８１８やＳＴＥＰ８２０においてバッテリ量Ｙ_iaと比較される値ＴＨ２の値を実施例１と変えても構わない。特に実施例２では画像復元フィルタが次々に作成されて電力が消費されるため、ＴＨ２を大きめに設定した方がバッテリ量が尽きる可能性が低くなる。

本発明は、デジタルカメラなどの撮像装置や、ディスプレイ及びプリンタなどの画像出力装置に代表される電子機器に搭載されるぶれ補正装置やそのぶれ補正方法、及びそのぶれ補正装置を備えた電子機器に関する。

は、本発明の実施形態における撮像装置のブロック図である。は、撮像装置の模式的な斜視図である。は、パン方向における撮像装置の回転と画像上に発生する水平方向の移動量との関係を示した模式図である。は、動きベクトルの模式図である。は、動きベクトルを整数値化した場合のグラフである。は、整数値化した動きベクトルをＰＳＦに変換したグラフである。は、画像復元フィルタ及び画像情報の画素の模式図である。は、ＰＳＦの模式図である。は、実施例１におけるぶれ補正装置の構成を示すブロック図と、動作の概略を示す模式図である。は、実施例１におけるぶれ補正装置を備えた撮像装置の全体的な動作の概要を示すフローチャートである。は、初期画像表示動作を示すフローチャートである。は、初期表示画面の模式図である。は、一般操作の概要を示すフローチャートである。は、一般操作の表示モード切替動作を示すフローチャートである。は、一般操作の画像ファイル削除動作を示すフローチャートである。は、一般操作の画像情報単数補正動作を示すフローチャートである。は、一般操作の画像ファイルの補正解除動作を示すフローチャートである。は、補正画像ファイル選択動作を示すフローチャートである。は、補正動作前の画像ファイルの選別及び並び替え結果を表示する画面の模式図である。は、一括画像情報補正動作を示すフローチャートである。は、補正結果の表示動作を示すフローチャートである。は、実施例２におけるぶれ補正装置の構成を示すブロック図と、動作の概略を示す模式図である。は、一括画像情報補正の画像補正動作を示すフローチャートである。は、一括画像情報補正の画像復元フィルタ作成動作を示すフローチャートである。は、一括画像情報補正の画像補正動作を示すフローチャートである。は、一括画像情報補正の画像復元フィルタ作成動作を示すフローチャートである。

符号の説明

１撮像装置
２画像ファイル作成部
３ぶれ補正部
４表示部
５制御部
６電源部
７操作部
８撮像部
９角速度センサ
１０ぶれ情報作成部
１１合成部
１２記録部
１３画像復元フィルタ作成部
１４画像情報補正部
３１記録部
３２画像情報メモリ
３３、３３ｂ１〜３３ｂｎぶれ情報メモリ
３３ａ切替部
３４ぶれ情報計算回路
３５、３５ｂ１〜３５ｂｎ画像復元フィルタメモリ
３５ａ切替部
３６画像情報補正回路
３７補正後画像ファイルメモリ
３８バッファメモリ
４０サムネイル画像
４１ぶれ量
４２メニュー
４３補正開始
４４マーク
４５画像
４６残補正時間
４７グラフ
４８残補正時間
４９ａ、４９ｂ画像
５０ａ〜５０ｃボタン

Claims

ぶれを含んだ画像情報と前記ぶれの情報であるぶれ情報とを備える画像ファイルが複数記録される記録部と、
前記記録部から複数の前記画像ファイルを選択する画像ファイル選択部と、
前記画像ファイル選択部によって選択される複数の前記画像ファイルに備えられる前記ぶれ情報を複数記憶することができるぶれ情報記憶部と、
当該ぶれ情報記憶部から前記ぶれ情報を読み出すとともに画像復元フィルタを作成する画像復元フィルタ作成部と、
当該画像復元フィルタ作成部により作成される前記画像復元フィルタを複数記憶することができる画像復元フィルタ記憶部と、
当該画像復元フィルタ記憶部から前記画像復元フィルタを読み出すとともに当該画像復元フィルタに基づいて前記画像情報を補正して補正後画像ファイルを作成する補正部と、を備え、
前記補正部が、前記画像ファイル選択部によって選択される複数の前記画像ファイルが備える複数の前記画像情報を、前記画像復元フィルタに基づいて補正処理することを特徴とするぶれ補正装置。
前記画像復元フィルタ記憶部にこれ以上前記画像復元フィルタを記憶させることができない場合において、前記画像復元フィルタ作成部が前記画像復元フィルタの作成を停止することを特徴とする請求項１に記載のぶれ補正装置。
前記ぶれ情報記憶部が、複数のぶれ情報メモリと、
前記記憶部と複数の前記ぶれ情報メモリとの接続を選択的に切り替える第１切替部と、を備えるとともに、
前記画像復元フィルタメモリが、複数の画像復元フィルタメモリと、
複数の前記画像復元フィルタメモリと前記補正部との接続を選択的に切り替える第２切替部と、を備え、
前記記憶部から読み出された前記ぶれ情報が、前記第１切替部によって選択された一つの前記ぶれ情報メモリに記憶されるとともに、前記画像復元フィルタが、前記第２切替部によって選択された一つの前記画像復元フィルタメモリから前記補正部に読み出されることを特徴とする請求項１または請求項２のいずれかに記載のぶれ補正装置。
前記ぶれ情報メモリと前記画像復元フィルタとが同数備えられており、特定の前記ぶれ情報メモリに記憶された前記ぶれ情報から作成される前記画像復元フィルタが、当該ぶれ情報メモリに対応する特定の前記画像復元フィルタメモリに記憶されることを特徴とする請求項３に記載のぶれ補正装置。
外部入力または撮像により画像情報が与えられるとともに、前記画像情報を当該画像情報に含まれるぶれの情報であるぶれ情報に基づいて補正する補正機能を備えた電子機器において、
前記補正機能を実現する補正処理部として、請求項１〜請求項４のいずれかに記載のぶれ補正装置を備え、前記画像情報に補正を行うことで所望の前記補正後画像ファイルが作成されることを特徴とする電子機器。
撮像動作を行うことによって前記画像情報を作成する撮像部と、
前記撮像動作中の前記電子機器の動きを検出するとともにぶれ信号を作成するセンサ部と、
当該センサ部から得られた前記ぶれ信号から前記ぶれ情報を作成するぶれ情報作成部と、
前記画像情報と前記ぶれ情報とから前記画像ファイルを作成する画像ファイル作成部と、を更に備えることを特徴とする請求項５に記載の電子機器。
ぶれを含んだ画像情報と、前記ぶれの情報であるぶれ情報と、を備える画像ファイルを複数選択する第１ステップと、
前記複数の画像ファイルの複数の前記ぶれ情報から、複数の画像復元フィルタを作成する第２ステップと、
前記第１ステップによって選択される複数の前記画像ファイルの前記画像情報を、前記第２ステップによって作成される複数の前記画像復元フィルタに基づいて補正する第３ステップと、を備え、
前記第２ステップと前記第３ステップとが、並行して行なわれることを特徴とするぶれ補正方法。