JP2005338323A - 手ブレ画像補正装置、手ブレ画像補正方法およびコンピュータプログラム - Google Patents

Abstract

【課題】 手ブレを高精度に補正可能とする。
【解決手段】 撮影画像から検出された手ブレの方向θ１と程度ｍ１を用いて、手ブレ補正ルーチンにより手ブレの補正を行ない、補正前画像と補正後画像を表わす［手ブレ補正］ウィンドウＷＤ２をディスプレイに表示する。このウィンドウＷＤ２には、［ＯＫ］ボタンＢＴ２５と［手動補正］ボタンＢＴ２６とが設けられており、操作者はボタンＢＴ２５、ＢＴ２６を操作することで、補正後画像が許容できるか否かを指示することができる。［手動補正］ボタンＢＴ２６がクリックされたときには、補正後画像が許容できないと判定され、手ブレの方向と程度を手操作により入力可能な［手動補正］ウィンドウを表示する。この［手動補正］ウィンドウから入力される手ブレの方向θ２と程度ｍ２に基づいて手ブレ補正ルーチンを実行する。
【選択図】 図１３

Description

本発明は、撮影装置で撮影して得られた撮影画像の手ブレを補正する技術に関する。

デジタルカメラ（デジタルスチールカメラ）等で被写体を撮影する際、露光中のカメラの動き、いわゆる手ぶれによるボケが撮影画像に生じる。手ぶれによる画像の劣化を避けるため、従来から様々な技術が開発されてきた。

例えば、手ぶれの動きを検知するための加速度センサ等をカメラに装備しておき、同センサの検出信号を画像の動きに換算し、その画像の動きを補償する方向にカメラの光学系（プリズム、レンズ、あるいは撮像素子）を機械的に移動させる技術が知られている。

一方、加速度センサ等を利用しないで、画像からソフト的に手ぶれを補正する技術も提案されている（例えば、下記の特許文献１）。

特開２０００−２９８３００号公報

しかしながら、上述した画像からソフト的に手ぶれを補正する技術では、精度よく手ブレを補正することができないという問題があった。というのも画像からでは、手ブレの方向と程度を正確に検出することが難しく、画像によっては高精度に手ブレを補正することができなかった。

本発明の解決しようとする課題は、手ブレを高精度に補正可能とすることにある。

前述した課題の少なくとも一部を解決するための手段として、以下に示す構成をとった。

本発明の手ブレ画像補正装置は、
撮影装置で撮影して得られた撮影画像の手ブレを補正する手ブレ画像補正装置であって、
撮影装置で撮影して得られた撮影画像の手ブレを補正する手ブレ画像補正装置であって、
前記撮影画像に基づいて、前記手ブレの方向と程度を検出する手ブレ方向・程度検出手段と、
該検出された手ブレの方向と程度の入力を受けて、該入力に基づいて前記撮影画像の手ブレの補正を実行する手ブレ補正手段と、
前記撮影画像の全体もしくは一部についての前記手ブレ補正手段による補正前画像と補正後画像を表わす第１のウィンドウを表示装置に表示する第１ウィンドウ表示手段と、
前記第１のウィンドウに設けられたスイッチに対する操作者からの入力装置を用いた操作指令に基づいて、前記補正後画像が許容できるか否かを判定する判定手段と、
前記判定手段により許容できないと判定されたときに、操作者からの入力装置を用いた操作指令に基づいて前記手ブレの方向と程度を入力するための第２のウィンドウを前記表示装置に表示する第２ウィンドウ表示手段と、
前記第２のウィンドウから入力される手ブレの方向と程度を取り込んで、前記手ブレ補正手段の入力を該取り込んだ手ブレの方向と程度に切り換える手ブレ方向・程度設定手段と
を備えることを特徴としている。

上記構成の手ブレ画像補正装置によれば、撮影画像から検出された手ブレの方向と程度を用いて、手ブレ補正手段により手ブレの補正を行ない（以下、この補正を「自動手ブレ補正」と呼ぶ）、その補正前画像と補正後画像を表わす第１のウィンドウを表示装置に表示する。第１のウィンドウには、スイッチが設けられており、操作者はこのスイッチを操作することで、補正後画像が許容できるか否かを指示することができる。スイッチに対する操作指令に基づいて、補正後画像が許容できるか否かを判定して、許容できないと判定されたときに、操作者からの入力装置を用いた操作指令に基づいて前記手ブレの方向と程度を入力するための第２のウィンドウを表示装置に表示する。第２のウィンドウから入力される手ブレの方向と程度を取り込んで、前記手ブレ補正手段の入力をその取り込んだ手ブレの方向と程度に切り換える。この結果、手ブレ補正手段により、操作者からの入力装置を用いた操作指令に基づいて定められた手ブレの方向と程度に基づく手ブレの補正が行なわれる（以下、この補正を「手動手ブレ補正」と呼ぶ）。

したがって、撮影画像から検出された手ブレの方向と程度に基づく手ブレ補正では、うまく手ブレを補正することができない場合に、操作者は、その補正後画像が許容できないとして前記スイッチを操作することにより、第２のウィンドウから、視認に基づく手ブレの方向と程度を入力することができる。このために、手ブレの方向と程度は正確なものとなり、画像の手ブレを高精度に補正することができる。

前記手ブレ画像補正装置において、前記撮影画像から所定の矩形の領域部分を注目画像として抽出する注目画像抽出手段を備え、前記手ブレ方向・程度検出手段は、前記注目画像に基づいて検出を行なう構成とすることができる。

この構成によれば、撮影画像全体でなく一部分から手ブレの方向と程度を検出することができることから、その検出に要する処理速度を高めることができる。

前記注目画像抽出手段は、操作者からの入力装置を用いた操作指令に基づいて前記矩形の領域を指定する領域指定手段を備える構成としてもよい。

この構成によれば、操作者が、手ブレの検出が容易な部分を、目視により選び出して、前記矩形の領域とすることができる。したがって、自動手ブレ補正の精度を高めることができる。

前記第２ウィンドウ表示手段は、前記手ブレ補正手段による補正前画像と、該補正前画像に重畳される所定のグラフィックスの部品とを前記第２のウィンドウに表示し、前記部品に対する操作者からの入力装置を用いた操作指令に基づいて前記手ブレの方向と程度を入力し得る構成とすることができる。

この構成によれば、操作者は、前記グラフィックスの部品を入力装置を用いて変形させることにより、視認された手ブレの方向と程度を容易に入力することができる。特に、前記グラフィックスの部品は、撮影画像に重畳されていることから手ブレの視認が容易である。

前記所定のグラフィックスの部品は、始点、終点および両者を結ぶ直線の３部品により構成してもよい。

この構成によれば、撮影画像の手ブレの方向と程度を、シンプルな形状のグラフィックスの部品により表わすことがことができることから、構成が容易で、しかも操作者による操作が容易である。

本発明の手ブレ画像補正装置において、前記第２ウィンドウ表示手段は、前記第２のウィンドウに、前記手ブレ補正手段による補正前画像と補正後画像を表示する前後画像表示手段を備える構成とすることができる。

この構成によれば、操作者は、補正前画像と補正後画像とを比較することで、手ブレ補正手段により手ブレがうまく補正されたか否かを容易に判定することができる。

前記第２ウィンドウ表示手段は、前記補正前画像を、前記補正後画像と比べて表示倍率を高くして表示させる構成としてもよい。

この構成によれば、補正前画像は大きく表示されることから、手ブレの方向と程度を入力するに際して、手ブレの視認を容易に行なうことができる。

本発明の手ブレ画像補正装置において、前記手ブレ方向・程度検出手段は、前記撮影画像の画素毎に手ブレの方向と程度を検出する各画素手ブレ検出手段と、前記各画素手ブレ検出手段により検出された手ブレの程度が最も大きいエッジ部を検出するエッジ検出手段と、前記エッジ検出手段により検出された前記エッジ部の手ブレの方向と程度を、前記撮影画像全体の手ブレの方向と程度に定める手ブレ決定手段とを備える構成とすることができる。

この構成によれば、撮影画像において最も手ブレの程度が大きいエッジ部における手ブレの方向と程度に基づいて、手ブレの補正が行なわれる。このために、撮影画像の自動的な手ブレ補正の精度を高めることができる。

本発明の手ブレ画像補正装置において、前記手ブレ補正手段は、入力された前記手ブレの方向と程度に基づいて、動作ぼかしを掛けるモーションブラーフィルタを設定するフィルタ設定手段と、該設定されたモーションブラーフィルタを用いて、前記撮影画像に対して演算処理を行なうフィルタ演算手段と、前記撮影画像と前記フィルタ演算手段により得られた画像との差分を演算する画像差分演算手段と、前記撮影画像に対して前記差分を合成することにより、前記撮影画像に対して前記手ブレの方向と反対側にぶれた画像を前記補正後画像として生成する画像合成手段とを備える構成とすることができる。

この構成によれば、手ブレ補正手段により、入力された前記手ブレの方向と程度に基づいて手ブレを、より一層、高精度に補正することができる。

本発明の手ブレ画像補正方法は、
撮影装置で撮影して得られた撮影画像の手ブレを補正する手ブレ画像補正方法であって、
（ａ）前記撮影画像に基づいて、前記手ブレの方向と程度を検出する行程と、
（ｂ）該検出された手ブレの方向と程度の入力を受けて、該入力に基づいて前記撮影画像の手ブレの補正を実行する行程と、
（ｃ）前記撮影画像の全体もしくは一部についての前記行程（ａ）による補正前画像と補正後画像を表わす第１のウィンドウを表示装置に表示する行程と、
（ｄ）前記第１のウィンドウに設けられたスイッチに対する操作者からの入力装置を用いた操作指令に基づいて、前記補正後画像が許容できるか否かを判定する行程と、
（ｅ）前記行程（ｄ）により許容できないと判定されたときに、操作者からの入力装置を用いた操作指令に基づいて前記手ブレの方向と程度を入力するための第２のウィンドウを前記表示装置に表示する行程と、
（ｆ）前記第２のウィンドウから入力される手ブレの方向と程度を取り込んで、前記行程（ｂ）における入力を該取り込んだ手ブレの方向と程度に切り換える行程と
を備えることを特徴としている。

本発明のコンピュータプログラムは、
撮影装置で撮影して得られた撮影画像の手ブレを補正するためのコンピュータプログラムであって、
（ａ）前記撮影画像に基づいて、前記手ブレの方向と程度を検出する機能と、
（ｂ）該検出された手ブレの方向と程度の入力を受けて、該入力に基づいて前記撮影画像の手ブレの補正を実行する機能と、
（ｃ）前記撮影画像の全体もしくは一部についての前記機能（ａ）による補正前画像と補正後画像を表わす第１のウィンドウを表示装置に表示する機能と、
（ｄ）前記第１のウィンドウに設けられたスイッチに対する操作者からの入力装置を用いた操作指令に基づいて、前記補正後画像が許容できるか否かを判定する機能と、
（ｅ）前記機能（ｄ）により許容できないと判定されたときに、操作者からの入力装置を用いた操作指令に基づいて前記手ブレの方向と程度を入力するための第２のウィンドウを前記表示装置に表示する機能と、
（ｆ）前記第２のウィンドウから入力される手ブレの方向と程度を取り込んで、前記機能（ｂ）における入力を該取り込んだ手ブレの方向と程度に切り換える機能と
を備えることを特徴としている。

本発明の手ブレ画像補正方法およびコンピュータプログラムによっても、本発明の手ブレ画像補正装置と同様に、画像の手ブレを高精度に補正することができるという効果を奏する。

本発明の記録媒体は、本発明のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体を特徴としている。この記録媒体は、この発明の各コンピュータプログラムと同様な作用・効果を有している。

本発明は、以下のような他の態様も含んでいる。その第１の態様は、この発明のコンピュータプログラムを通信経路を介して供給するプログラム供給装置としての態様である。この第１の態様では、コンピュータプログラムをコンピュータネットワーク上のサーバなどに置き、通信経路を介して、必要なプログラムをコンピュータにダウンロードし、これを実行することで、上記の方法や装置を実現することができる。

本発明を実施するための最良の形態を実施例に基づき説明する。この実施例を、次の順序に従って説明する。
Ａ．装置の構成：
Ｂ．コンピュータ処理：
Ｂ−１．処理の全体：
Ｂ−２．手ブレ補正処理：
Ｂ−２−１．自動補正：
Ｂ−２−２．手動補正：
Ｃ．作用・効果：
Ｄ．他の実施形態：

Ａ．装置の構成：
図１は、本発明の一実施例を適用するコンピュータシステムの概略構成を示す説明図である。この実施例のコンピュータシステムは、本発明の手ブレ画像補正装置を構成するパーソナルコンピュータ１０を中心に備え、その周辺装置として、ディスプレイ２０とキーボード２２とマウス２４を備える。さらに、パーソナルコンピュータ１０には、デジタルカメラ２６とＣＤドライブ２８とプリンタ２９が接続されている。キーボード２２とマウス２４は、本発明でいう操作者からの操作を受け付ける入力装置に該当する。ディスプレイ２０は、本発明でいう表示装置である。マウス２４は、トラックボール、トラックパッド、タブレット等の他のポインティングデバイスに換えることができる。

パーソナルコンピュータ１０は、中央演算処理装置としてのＣＰＵ１１を中心にバス１２により相互に接続されたメモリ１３、表示画像メモリ１４、ハードディスクドライブ１５、入力制御ユニット１６、表示制御ユニット１７、出力制御ユニット１８等を備える。メモリ１３は、各種データ等を記憶するもので、ＣＰＵ１１の作業領域となる。表示画像メモリ１４は、ディスプレイ２０に表示する画像の画像データを一旦記憶するメモリである。

ハードディスクドライブ１５は、手ブレ画像補正装置のソフトウェアとしてのコンピュータプログラムＰｒを記憶する。また、ハードディスクドライブ１５には、画像データＤｐが１または複数記憶されている。画像データＤｐは、デジタルカメラ２６によって撮影した撮影画像の画像データであり、ハードディスクドライブ１５の所定の領域（例えば、ホルダ）に格納されている。撮影画像は、カラー画像である。

入力制御ユニット１６は、キーボード２２やマウス２４から入力操作を取り込み、デジタルカメラ２６から画像データを取り込み、ＣＤドライブ２８からデータを取り込む制御ユニットである。表示制御ユニット１７は、ディスプレイ２０への信号出力を制御する制御ユニットである。出力制御ユニット１８は、プリンタ２９への印刷を制御する制御ユニットである。

コンピュータプログラムＰｒは、もともとは、記録媒体としてのＣＤ−ＲＯＭ（図示せず）に記憶されている。そのＣＤ−ＲＯＭをＣＤドライブ２８にセットして、所定のインストールプログラムを起動することで、コンピュータプログラムＰｒをＣＤ−ＲＯＭから読み出してハードディスクドライブ１５にインストールすることができる。このコンピュータプログラムＰｒをＣＰＵ１１が実行することにより、本発明の手ブレ画像補正装置の各種構成要件は実現される。

図１では、各種構成要件が、ＣＰＵ１１の内部で実現される機能のブロックによって示されている。すなわち、ＣＰＵ１１は、手ブレ方向・程度検出部３１、手ブレ補正部３２、第１ウィンドウ表示部３３、判定部３４、第２ウィンドウ表示部３５および手ブレ方向・程度設定部３６を機能として備える。このコンピュータプログラムＰｒは、実際は、デジタルカメラ２６で撮影した撮影画像を修整するフォトレタッチ用のアプリケーションプログラムであり、その中の一部のモジュールによって、上述した各部３１〜３６の機能をパーソナルコンピュータ１０に実現させる。

なお、コンピュータプログラムＰｒは、ＣＤ−ＲＯＭに替えて、フレキシブルディスク、光磁気ディスク、ＩＣカード等の他の携帯型記録媒体（可搬型記録媒体）に格納された構成として、これらから提供されたものとすることができる。また、このコンピュータプログラムＰｒは、外部のネットワークに接続される特定のサーバから、ネットワークを介して提供されたものとすることもできる。上記ネットワークとしては、インターネットであってもよく、特定のホームページからダウンロードして得たコンピュータプログラムであってもよい。あるいは、電子メールの添付ファイルの形態で供給されたコンピュータプログラムであってもよい。

Ｂ．コンピュータ処理：
Ｂ−１．処理の全体：
このコンピュータプログラムＰｒを起動すると、まず、ディスプレイ２０にアプリケーションウィンドウが表示される。このアプリケーションウィンドウは、グラフィカル・ユーザ・インタフェース（ＧＵＩ）を構成している。

図２は、アプリケーションウィンドウＷＤの一例を示す説明図である。図示するように、アプリケーションウィンドウＷＤの左側の処理メニュー欄ＭＮには、［入力］、［修整］、［印刷］、［出力］の４種類のボタンＢＴ１，ＢＴ２，ＢＴ３，ＢＴ４が、下方に向かって順に並んでおり、操作者は、これらボタンＢＴ１〜ＢＴ４を順にマウス２４によりクリックしていくことで、ＣＲＴディスプレイ１２の画面上で、デジタルカメラ２６で撮影した撮影画像を取り込み、修整して、出力する作業を進めていくことができる。

操作者は、まず、［入力］のボタンＢＴ１をクリックすることで、ハードディスクドライブ１５から画像データＤｐを取り込む処理を行なう。なお、ここでは、ハードディスクドライブ１５に換えて、デジタルカメラ２６から直接画像データを取り込む構成や、ＤＶＤ等の他の記憶媒体から画像データを取り込む構成に換えることができる。この取り込んだ画像データＤｐは、アプリケーションウィンドウＷＤの作業フィールドＦＤＷに表示される。

その後、操作者は、［修整］のボタンＢＴ２をクリックすることで、上記取り込んだ画像データＤｐの修整を行なう。図２は、［修整］のボタンＢＴ２がクリックされたときのものである。図示するように、アプリケーションウィンドウＷＤのメニューバーＭＢには、［ファイル］、［コースメニュー］、［編集］、［表示］、［修整］、［修復・加工］等のボタンが設けられている。［修整］のボタンをクリックすることにより、画像データＤｐに対して、回転やトリミングを行なったり、明度や彩度などの色補正を行なうことができる。図中には、［修復・加工］のボタンをクリックしたときに開くプルダウンメニューＤＭが示されている。操作者は、［修復・加工］のボタンをクリックし、プルダウンメニューＤＭから所望の選択肢をクリックすることにより、画像データＤｐに対して、「手ブレ補正」や「ピンボケ補正」等を行なうこともできる。

Ｂ−２．手ブレ補正処理：
Ｂ−２−１．自動補正：
上記「手ブレ補正」が、本発明に関わるものである。プルダウンメニューＤＭの［手ブレ補正］の選択肢がクリックされたときに実行される手ブレ補正処理について、以下、詳細に説明する。

図３は、ＣＰＵ１１により実行される手ブレ補正処理を示すフローチャートである。プルダウンメニューＤＭの［手ブレ補正］の選択肢がクリックされて、処理が開始されると、ＣＰＵ１１は、まず、［注目領域の指定］ウィンドウＷＤ１を、ディスプレイ２０に表示する処理を行なう（ステップＳ１００）。

図４は、［注目領域の指定］ウィンドウＷＤ１の一例を示す説明図である。図示するように、［注目領域の指定］ウィンドウＷＤ１には、画像表示フィールドＦＤ１と、［領域指定］ボタンＢＴ１１と、［拡大］ボタンＢＴ１２と、［縮小］ボタンＢＴ１３が設けられている。

画像表示フィールドＦＤ１には、アプリケーションウィンドウＷＤの作業フィールドＦＤＷに表示された画像データＤｐが表示される。表示の開始時には、表示倍率が調整され、画像データＤｐの画像全体が表示される。

「拡大」ボタンＢＴ１２は、画像表示フィールドＦＤ１に表示された画像を拡大するためのスイッチである。「拡大」ボタンがクリックされると、「表示拡大モード」になり、画像上にマウスカーソルを移動するとマウスカーソルの形状が変化し、この状態でクリックを行なうことで、画像を１０％単位で拡大することができる。同時にクリックした位置が画像表示フィールドＦＤ１の中心に設定される。

「縮小」ボタンＢＴ１３は、画像表示フィールドＦＤ１に表示された画像を縮小するためのスイッチである。「縮小」ボタンがクリックされると、「表示縮小モード」になり、画像上にマウスカーソルを移動するとマウスカーソルの形状が変化し、この状態でクリックを行なうことで、画像を１０％単位で縮小することができる。同時にクリックした位置が画像表示フィールドＦＤ１の中心に設定される。

図４に示した例では、「縮小」ボタンＢＴ１３をクリックして上記のように操作がなされた結果、画像データＤｐは所望の倍率に縮小され、撮影画像に写ったピアノの角部辺りが、画像表示フィールドＦＤ１の中心に位置するように表示されている。

［領域指定］ボタンＢＴ１１は、画像表示フィールドＦＤ１に表示された撮影画像に対して注目する領域（以下、「注目領域」と呼ぶ）を指定するためのスイッチである。［領域指定］ボタンＢＴ１１がクリックされると、「領域指定モード」になり、撮影画像上をドラッグして始点と終点を結んだ直線を対角線とする矩形で注目領域を指定することができる。

図５は、注目領域ＳＡの指定がなされた後の［注目領域の指定］ウィンドウＷＤ１の一例を示す説明図である。図示するように、画像表示フィールドＦＤ１に表示された画像に対して、矩形の線分によって注目領域ＳＡが指定される。操作者は、［領域指定］ボタンＢＴ１１をクリックした後、ドラッグの操作により、画像表示フィールドＦＤ１に表示された撮影画像上に所望の領域を指定することができる。図示の例では、撮影画像に写ったピアノの角部を中心として、注目領域ＳＡが指定されている。ピアノの角部のように周囲との濃度値（階調値）の差が大きい領域の境界、すなわちエッジ部分は、手ブレが顕著に現われることから、手ブレの検出が容易であるためである。この注目領域ＳＡを指定する処理が図３のステップＳ１１０である。

その後、［注目領域の指定］ウィンドウＷＤ１において、［ＯＫ］ボタンＢＴ１４がクリックされると、［注目領域の指定］ウィンドウＷＤ１は閉じられ、ＣＰＵ１１は、図３に示すように、続くステップＳ１２０に処理を進める。ステップＳ１２０では、ステップＳ１１０で指定された注目領域ＳＡで囲まれた領域のデータを、注目画像データＧＳとして抽出する。なお、注目領域ＳＡの指定が操作者によりなされない状態で、［ＯＫ］ボタンＢＴ１４がクリックされた場合には、画像データＤｐ全体を注目画像データＧＳとする。

その後、ＣＰＵ１１は、注目画像データＧＳで示される注目画像についての手ブレの方向θ１と程度ｍ１を検出する手ブレ方向・程度検出ルーチンを実行する（ステップＳ１３０）。

図６は、手ブレ方向・程度検出ルーチンの詳細を示すフローチャートである。図示するように、このルーチンに処理が移行すると、ＣＰＵ１１は、まず、初期設定として、変数ｍ１と変数θ１にそれぞれ値０をセットする（ステップＳ１３１）。次いで、ＣＰＵ１１は、ステップＳ１２０で抽出した注目画像データＧＳを構成する画素を１つ注目画素として選択する処理を行なう（ステップＳ１３２）。次いで、ＣＰＵ１１は、その注目画素を中心とする縦方向に３画素、横方向に３画素の３×３の領域に対して、水平方向ソーベル（Ｓｏｂｅｌ）フィルタを用いたフィルタ演算処理を実行する（ステップＳ１３３）。

図７は、水平方向ソーベルフィルタを示す説明図である。水平方向ソーベルフィルタは、縦方向に３画素、横方向に３画素の３×３のフィルタであり、図示のごとく、各ピクセルの重み係数が定められている。

ステップＳ１３３では、詳細には、注目画素を中心とする３×３の領域に対して、水平方向ソーベルフィルタに示される係数をそれぞれ乗算し、結果を合計するといったフィルタ演算処理を実行する。この合計値をＴｈとする。

図６に戻り、ステップＳ１３３の実行後、ＣＰＵ１１は、ステップＳ１３１で選択された注目画素を中心とする縦方向に３画素、横方向に３画素の３×３の領域に対して、垂直方向ソーベル（Ｓｏｂｅｌ）フィルタを用いたフィルタ演算処理を実行する（ステップＳ１３４）。

図８は、垂直方向ソーベルフィルタを示す説明図である。垂直方向ソーベルフィルタは、縦方向に３画素、横方向に３画素の３×３のフィルタであり、図示のごとく、各ピクセルの重み係数が定められている。

ステップＳ１３４では、詳細には、注目画素を中心とする３×３の領域に対して、垂直方向ソーベルフィルタに示される係数をそれぞれ乗算し、結果を合計するといったフィルタ演算処理を実行する。この合計値をＴｖとする。

ステップＳ１３４の実行後、ＣＰＵ１１は、ステップＳ１３３とステップＳ１３４のフィルタ演算処理により求められた合計値Ｔｈ、Ｔｖから、注目画素におけるエッジの方向θと程度ｍを算出する処理を行なう（ステップＳ１３５）。図９は、合計値Ｔｈ、Ｔｖとエッジの方向θ、程度ｍとの関係を示す説明図である。図示するように、ベクトル演算することで、合計値Ｔｈ、Ｔｖの和であるベクトルαが求まり、このベクトルαの方向θと長さｍを、注目画素におけるエッジの方向θと程度ｍとする。

図６に戻り、ステップＳ１３５の実行後、ＣＰＵ１１は、ステップＳ１３５で求めた程度ｍが、変数ｍ１より大きいか否かを判別する（ステップＳ１３６）。ここで、大きいと判別された場合には、変数ｍ１に程度ｍを代入するとともに、変数θ１にステップＳ１３５で求めたエッジの方向θを代入する（ステップＳ１３７）。すなわち、程度ｍが、これまでの値より大きくなったときに、その程度ｍと方向θを、ｍ１、θ１に記憶する処理を行なう。ステップＳ１３７の実行後、ＣＰＵ１１は、ステップＳ１３８に処理を進める。一方、ステップＳ１３６で、程度ｍが、変数ｍ１以下であると判別された場合には、ＣＰＵ１１は、ステップＳ１３７を実行することなく、ステップＳ１３８に処理を進める。

ステップＳ１３８では、ＣＰＵ１１は、注目画像データＧＳの全画素についてステップＳ１３２ないしＳ１３７の処理が終了したか否かを判定し、終了していなければ、ステップＳ１３２で画素を次の画素に移行して、ステップＳ１３３ないしＳ１３７の処理を繰り返す。一方、ステップＳ１３８で全画素についての処理が終了したと判定された場合には、「リターン」に抜けて、このルーチンの処理を一旦終了する。

上記のように構成された手ブレ方向・程度検出ルーチンによれば、注目画像データＧＳの中で、エッジの程度が最大となる画素におけるエッジの方向θ１と程度ｍ１が得られる。この手ブレ方向・程度検出ルーチンが、手ブレ方向・程度検出部３１（図１）に対応している。

図３に戻って、手ブレ方向・程度検出ルーチンを抜けると、ＣＰＵ１１は、ステップＳ１４０に処理を進める。ステップＳ１４０では、ＣＰＵ１１は、ステップＳ１２０で抽出した注目画像データＧＳについての手ブレ補正ルーチンを実行する。

図１０は、注目画像データＧＳについての手ブレ補正ルーチンの詳細を示すフローチャートである。図示するように、このルーチンに処理が移行すると、ＣＰＵ１１は、まず、手ブレ方向・程度検出ルーチンで算出されたエッジの方向θ１と程度ｍ１に基づいて、モーションブラー（Ｍｏｔｉｏｎ Ｂｌｕｒ）フィルタを算出する処理を行なう（ステップＳ１４１）。モーションブラーフィルタは、画像に対し「動作ぼかし」をかけるフィルタであり、動作の方向とぼかしの程度の入力に応じてフィルタの係数が定まる。すなわち、動作の方向θおよび程度ｍと、モーションブラーフィルタＦ１とは、次式（１）の関係が成り立つ。

Ｆ１＝Ｆ（θ，ｍ） ...（１）
ここで、Ｆは、モーションブラーフィルタを求める際の関数である。

そこで、ステップＳ１４１では、「動作の方向θ」を、手ブレ方向・程度検出ルーチンで算出されたエッジの方向θ１とし、「動作の程度ｍ」を、手ブレ方向・程度検出ルーチンで算出されたエッジの程度ｍ１として、上記式（１）の関係から、モーションブラーフィルタＦ１を算出する。

図１１は、モーションブラーフィルタの一例を示す説明図である。モーションブラーフィルタＦ１は、縦方向に３画素、横方向に３画素の３×３のフィルタであり、図示のごとく、各ピクセルの重み係数が定められている。

図１０に戻り、ステップＳ１４１の実行後、ＣＰＵ１１は、その注目画像データＧＳに対して、モーションブラーフィルタＦ１を用いたフィルタ演算処理を実行する（ステップＳ１４２）。詳細には、手ブレ方向・程度検出ルーチンと同様に、注目画像データＧＳから注目画素を選択して、その注目画素を中心とする縦方向に３画素、横方向に３画素の３×３の領域を抽出して、この３×３の領域に対して、フィルタ、ここでは、モーションブラーフィルタＦ１を用いたフィルタ演算処理を実行していく、このフィルタ演算処理によって求められた値に注目画素の階調値を変換する。この一連の処理を注目画素を順次切り換えて、注目画像データＧＳの全画素について行なう。こうして得られた新たな画像データをぼかし画像データＧＳ＊とする。

続いて、ＣＰＵ１１は、ステップＳ１２０で抽出した注目画像データＧＳからステップＳ１４２で求められたぼかし画像データＧＳ＊を引くことによって、両者の差分ＤＳを演算する（ステップＳ１４３）。詳細には、注目画像データＧＳとぼかし画像データＧＳ＊とを、画素毎にＲＧＢ毎の階調値の引き算を行なうことで、両画像データＧＳ、ＧＳ＊の差分ＤＳの演算を行なう。

その後、ＣＰＵ１１は、ステップＳ１４３で算出された差分ＤＳを、ステップＳ１２０で抽出した注目画像データＧＳに加えて、新たな画像データを生成する（ステップＳ１４４）。詳細には、注目画像データＧＳと差分ＤＳとを、画素毎にＲＧＢ毎の階調値の足し算を行なうことで、両データＧＳ、ＤＳを合成する演算を行なう。

図１２は、注目画像データＧＳについての手ブレ補正ルーチンに従う処理内容を概念的に示す説明図である。図中において、ハッチングの部分が、注目画像ＧＳにおける所定の部位であり、ここでは、ピアノの角部を模式化したものである。この部位の画像部分には、手ブレによるぼけた部分を含んでいる。この手ブレの方向θ１と程度ｍ１は、手ブレ方向・程度検出ルーチンにより自動的に検出されているが、図中のベクトルＶは、この手ブレの方向θ１と程度ｍ１を示すものである。ステップＳ１４１、Ｓ１４２によれば、ベクトルＶの方向θ１、長さｍ１でもって動作ぼかしがなされることから、ピアノの角部の下側境界線は、図中、１点鎖線の位置に移動し、この１点鎖線を境界とするぼかし画像ＧＳ＊が生成される。

ステップＳ１４３によれば、注目画像ＧＳからぼかし画像ＧＳ＊を引くことで両画像の差分ＤＳが、図示するように求まり、ステップＳ１４４では、この差分ＤＳを注目画像ＧＳに足し込むことで（ベクトルＶの方向を正の方向とすると、差分ＤＳは負の値をとることから）、注目画像ＧＳから手ブレにより動作ぼかしされた分だけ取り除くことができる。この結果、図中２点鎖線に示すように、手ブレがない新たな画像データＴＧＳを生成することができる。こうして得られた画像データＴＧＳは、高精度に手ブレが補正されている。以下、この画像データＴＧＳを「補正後注目画像データ」と呼ぶ。

図１０に戻り、ステップＳ１４４の実行後、「リターン」に抜けて、このルーチンの処理を一旦終了する。この注目画像データＧＳについての手ブレ補正ルーチが、手ブレ補正部３２（図１）に対応している。

図３に戻って、注目画像データＧＳについての手ブレ補正ルーチンを抜けると、ＣＰＵ１１は、ステップＳ１５０に処理を進める。ステップＳ１５０では、ＣＰＵ１１は、［手ブレ補正］ウィンドウＷＤ２を表示する処理を行なう。

図１３は、［手ブレ補正］ウィンドウＷＤ２の一例を示す説明図である。図示するように、［手ブレ補正］ウィンドウＷＤ２には、［元画像］表示フィールドＦＤ１１と、［補正後］表示フィールドＦＤ１２とが設けられている。［補正後］表示フィールドＦＤ１２の上部には、［ウィンドウに合わせて表示］ボタンＢＴ２１、［１００％表示］ボタンＢＴ２２、［１０％縮小表示］ボタンＢＴ２３、［１０％拡大表示］ボタンＢＴ２４が設けられている。下方には、［ＯＫ］ボタンＢＴ２５と［手動補正］ボタンＢＴ２６が設けられている。

［元画像］表示フィールドＦＤ１１には、ステップＳ１２０で抽出した注目画像データＧＳが表示される。［補正後］表示フィールドＦＤ１２には、注目画像データＧＳについての手ブレ補正ルーチンで得られた補正後注目画像データＴＧＳが表示される。両画像データＧＳ、ＴＧＳは、注目画像のサイズと両表示フィールドＦＤ１１、ＦＤ１２のサイズから自動計算された同じ位置および表示倍率で表示されており、操作者による比較が容易なように構成されている。

［ウィンドウに合わせて表示］ボタンＢＴ２１がクリックされると、［元画像］・［補正後］表示フィールドＦＤ１１、ＦＤ１２内に画像全体が表示されるように表示倍率が計算され、その表示倍率で両表示フィールドＦＤ１１、ＦＤ１２の画像が表示される。［１００％表示］ボタンＢＴ２２がクリックされると、両画像ともに、ディスプレイ２０の1 画素と画像データの1 画素が1：1 になるように表示される。［１０％縮小表示］ボタンＢＴ２３がクリックされると、両画像の現在の表示倍率を１０％縮小して表示される。［１０％拡大表示］ボタンＢＴ２４がクリックされると、両画像の現在の表示倍率を１０％拡大して表示される。

［ＯＫ］ボタンＢＴ２５は、［補正後］表示フィールドＦＤ１２に表示された補正後画像が良好だと操作者によって判断されたときに、操作者からのクリックを受け付けるものである。換言するなら、操作者によって補正後画像が許容できると判断されたときにクリックを受け付けるものである。一方、［手動補正］ボタンＢＴ２６は、補正後画像が不可であると操作者によって判断されたときに、操作者からのクリックを受け付けるもので、この［手動補正］ボタンＢＴ２６がクリックされたときには、操作者による手動にて手ブレ補正を行なうことが可能となる。換言するなら、［手動補正］ボタンＢＴ２６は、操作者によって補正後画像が許容できないと判断されたときにクリックを受け付けるものである。なお、ステップＳ１５０の処理が、第１ウィンドウ表示部３３（図１）に対応し、［手ブレ補正］ウィンドウＷＤ２が、本発明でいう「第１のウィンドウ」に対応する。［ＯＫ］ボタンＢＴ２５と［手動補正］ボタンＢＴ２６とが、本発明でいう「スイッチ」に対応する。

図３に戻って、ステップＳ１５０で、上述した構成の［手ブレ補正］ウィンドウＷＤ２が表示されると、ＣＰＵ１１は、ステップＳ１６０に処理を進めて、操作者による操作指令は、上記［ＯＫ］ボタンＢＴ２５と［手動補正］ボタンＢＴ２６のいずれをクリックするものであるかを判別する処理を行なう。ここで、［ＯＫ］ボタンＢＴ２５がクリックされたと判定された場合には、手ブレ補正の対象である画像データＤｐに対して手ブレ補正処理を実行する（ステップＳ１７０）。

ステップＳ１７０の手ブレ補正処理は、詳細には、ステップＳ１３０の手ブレ方向・程度検出ルーチンで検出された手ブレの方向θ１と程度ｍ１を、手ブレ補正を施す画像データＤｐ全体の手ブレの方向として、この手ブレの方向θ１と程度ｍ１を用いて補正を行なうものである。すなわち、図１０に示した「注目画像データＧＳについての手ブレ補正ルーチン」において、処理対象を注目画像データＧＳに換えて画像データＤｐとした手ブレ補正処理を行なう。こうして得られた新たな画像データは、手ブレが補正された補正後画像データとして出力される。ステップＳ１７０の実行後、「リターン」に抜けて「手ブレ補正処理」は終了する。

一方、ステップＳ１６０で、［手動補正］ボタンＢＴ２６がクリックされたと判定された場合には、ＣＰＵ１１は、手動補正ルーチンを実行して（ステップＳ１８０）、その後、「リターン」に抜けて「手ブレ補正処理」を終了する。なお、上記ステップＳ１６０の処理が、判定部３４（図１）に対応している。

Ｂ−２−２．手動補正：
図１４は、手動補正ルーチンの詳細を示すフローチャートである。図示するように、このルーチンに処理が移行すると、ＣＰＵ１１は、まず、ステップＳ１８１ないしＳ１８４の処理により、［手動補正］ウィンドウＷＤ３を表示する処理を行なう。

図１５は、［手動補正］ウィンドウＷＤ３の一例を示す説明図である。図示するように、［手動補正］ウィンドウＷＤ３には、［元画像］表示フィールドＦＤ２１と、［補正後］表示フィールドＦＤ２２とが設けられている。両表示フィールドＦＤ２１、ＦＤ２２のそれぞれの上部には、［１００％表示］ボタンＢＴ３１、ＢＴ４１と、［１０％縮小表示］ボタンＢＴ３２、ＢＴ４２と、［１０％拡大表示］ボタンＢＴ３３、ＢＴ４３とが設けられている。下方には、［ＯＫ］ボタンＢＴ４５が設けられている。また、［角度］エディットボックスＢＸ１と、［長さ］エディットボックスＢＸ２が設けられている。

［元画像］表示フィールドＦＤ２１には、ステップＳ１２０で抽出した注目画像データＧＳが表示される。［補正後］表示フィールドＦＤ２２には、注目画像データＧＳについての手ブレ補正ルーチンで得られた補正後注目画像データＴＧＳが表示される。両表示フィールドＦＤ２１、ＦＤ２２に表示される画像データＧＳ、ＴＧＳは、前述した［手ブレ補正］ウィンドウＷＤ２（図１３）と同じものであるが、表示倍率が［手ブレ補正］ウィンドウＷＤ２とは相違する。

［手動補正］ウィンドウＷＤ３では、初期表示時は、［元画像］表示フィールドＦＤ２１に表示される注目画像データＧＳ（元画像）は、［補正後］表示フィールドＦＤ２２に表示される補正後注目画像データＴＧＳ（補正後画像）と比べて表示倍率が高くなっている。この表示倍率は、ステップＳ１３０の手ブレ方向・程度検出ルーチンにより検出された手ブレの程度ｍ１に基づいて定められている。

図１６は、手ブレの程度ｍ１と表示倍率Ｒとの関係を示すグラフである。図示するように、手ブレの程度ｍ１が小さいほど、表示倍率Ｒは高くなっている。

図１４のステップＳ１８１では、ＣＰＵ１１は、［元画像］表示フィールドＦＤ２１と［補正後］表示フィールドＦＤ２２とに画像が表示されていない状態の［手動補正］ウィンドウＷＤ３のベースとなる画像を表示する。その後、ＣＰＵ１１は、ステップＳ１８２で、手ブレ方向・程度検出ルーチンにより検出された手ブレの程度ｍ１と、注目画像のサイズと、［元画像］表示フィールドＦＤ２１のサイズに基づいて表示倍率Ｒを求めて、その表示倍率Ｒでもって、注目画像データＧＳを［元画像］表示フィールドＦＤ２１に表示する。手ブレの程度ｍ１と表示倍率Ｒの関係は、前述したように、手ブレの程度ｍ１が小さいほど、表示倍率Ｒは高くなっている。なお、表示位置については、注目画像データＧＳの中心が［元画像］表示フィールドＦＤ２１の中央に位置するようになされており、上記表示倍率Ｒでもって表示しきれない外側部分は当然表示されない。

なお、表示位置については、上記の構成に換えて、手ブレ方向・程度検出ルーチンにより検出されたエッジの方向θ１と程度ｍ１を持つエッジの程度が最大となる画素（エッジ部）を、［元画像］表示フィールドＦＤ２１の中央に位置するように構成することができる。また、この構成に換えて、エッジの方向θ１と程度ｍ１を持つエッジの程度が最大となる画素を、［元画像］表示フィールドＦＤ２１のいずれかの位置に位置するように構成することもできる。

ステップＳ１８２の実行後、ＣＰＵ１１は、注目画像データＧＳについての手ブレ補正ルーチンで得られた補正後注目画像データＴＧＳを、［補正後］表示フィールドＦＤ２２に表示する（ステップＳ１８３）。この表示における表示倍率については、注目画像のサイズと、［補正後］表示フィールドＦＤ２２のサイズに基づいて定められており、前述したように、初期表示時は、［元画像］表示フィールドＦＤ２１に表示される元画像より表示倍率は低くなっている。

なお、［元画像］表示フィールドＦＤ２１に表示された画像についての表示倍率は、初期表示の状態から、［元画像］表示フィールドＦＤ２１の上方に配置された［１００％表示］ボタンＢＴ３１、［１０％縮小表示］ボタンＢＴ３２、［１０％拡大表示］ボタンＢＴ３３を操作することにより自由に変更することができる。［１００％表示］ボタンＢＴ３１がクリックされると、元画像は、ディスプレイ２０の1 画素と画像データの1 画素が1：1 になるように表示され、［１０％縮小表示］ボタンＢＴ３２がクリックされると、元画像の現在の表示倍率を１０％縮小して表示され、［１０％拡大表示］ボタンＢＴ３３がクリックされると、元画像の現在の表示倍率を１０％拡大して表示される。

表示位置については、［元画像］表示フィールドＦＤ２１の右側と下側に設けられたスライダーバＳＢ１，ＳＢ２を操作して画像をスクロールさせることで変更することができる。

一方、［補正後］表示フィールドＦＤ２２に表示された画像についての表示倍率も、初期表示の状態から、［補正後］表示フィールドＦＤ２２の上方に配置された［１００％表示］ボタンＢＴ４１、［１０％縮小表示］ボタンＢＴ４２、［１０％拡大表示］ボタンＢＴ４３を操作することにより自由に変更することができる。［１００％表示］ボタンＢＴ４１がクリックされると、補正後画像は、ディスプレイ２０の1 画素と画像データの1 画素が1：1 になるように表示され、［１０％縮小表示］ボタンＢＴ３２がクリックされると、補正後画像の現在の表示倍率を１０％縮小して表示され、［１０％拡大表示］ボタンＢＴ３３がクリックされると、補正後画像の現在の表示倍率を１０％拡大して表示される。

表示位置については、［補正後］表示フィールドＦＤ２２の右側と下側に設けられたスライダーバＳＢ３，ＳＢ４を操作して画像をスクロールさせることで変更することができる。

図１４に戻り、ステップＳ１８３の実行後、ＣＰＵ１１は、［元画像］表示フィールドＦＤ２１に表示された元画像に重畳させてグラフィックスツールＴＬを表示させる処理を行なう（ステップＳ１８４）。

図１７は、グラフィックスツールＴＬの周辺を拡大した説明図である。図示するように、グラフィックスツールＴＬは、始点を示す十字形のマークＭＫ１と、終点を示す十字形のマークＭＫ２と、両者を結ぶ直線ＬＮの３部品により構成されている。このグラフィックスツールＴＬは、［手動補正］ウィンドウＷＤ３の初期表示時には、手ブレ方向・程度検出ルーチンにより検出された手ブレの方向θ１と程度ｍ１に従って方向と長さが定まっている。詳細には、注目画像データＧＳの中心（すなわち、［元画像］表示フィールドＦＤ２１の中央）に、始点のマークＭＫ１を表示し、そのマークＭＫ１に対して、上記方向θ１に対応する角度と、程度ｍ１に対応する距離から定まる位置に、終点のマークＭ２を表示し、マークＭ１の位置とマークＭ２の位置を結ぶ直線ＬＮを表示する。

なお、初期表示時の始点のマークＭＫ１の表示は、注目画像データＧＳの中心に換えて、他の位置にすることもできる。例えば、手ブレ方向・程度検出ルーチンにより検出されたエッジの方向θ１と程度ｍ１を持つエッジの程度が最大となる画素を、［元画像］表示フィールドＦＤ２１に表示する前述した構成においては、この画素の位置に、初期表示時の始点のマークＭＫ１を表示する構成とすることができる。

このグラフィックスツールＴＬは、操作者のマウス２４の操作を受けて、方向や長さや位置が変更可能となっている。詳細には、始点のマークＭＫ１または終点のマークＭ２上に、マウスカーソルを移動すると、マウスカーソルの形状は所定の形状（例えば、「←→」といった形状）に変化し、この状態でドラッグすることにより始点のマークＭＫ１または終点のマークＭ２の位置を変更することができる。また、直線ＬＮ上にマウスカーソルを移動すると、マウスカーソルの形状が所定の形状（例えば、十字の形状）に変化し、この状態でドラッグすることにより始点と終点の位置関係を保ったまま、グラフィックスツールＴＬ全体を移動することができる。

操作者は、上述したようにグラフィックスツールＴＬを操作することにより、元画像上の実際の「ブレ」と比較しながら、グラフィックスツールＴＬの方向と長さを変更するといったことを行なう。図１４のステップＳ１８５では、このグラフィックスツールＴＬに対する操作を受け付ける処理を行なっている。その後、ＣＰＵ１１は、グラフィックスツールＴＬの方向と長さを、操作者により手動入力された手ブレの方向θ２と程度ｍ２として求める処理を行なう（ステップＳ１８６）。

図１８は、グラフィックスツールＴＬによって指定される手ブレの方向θ２と程度ｍ２を示す説明図である。図示するように、手ブレの方向θ２は、始点のマークＭＫ１から右向き水平方向を基準線として、基準線から右回り（時計回り）での角度で示され、手ブレの程度ｍ２は、始点のマークＭＫ１と終点のマークＭＫ２との間の距離、即ち、直線ＬＮの長さで示される。なお、上記手ブレの方向θ２を定める際の基準線および回りの方向については一例であり、これに換えて、他の方向を基準線とし、また、左回り（反時計回り）で、方向θ２を定める構成とすることもできる。

なお、操作者は、上述したように、グラフィックスツールＴＬを操作することによって、手ブレの方向θ２と程度ｍ２を指定することができるが、この実施例では、さらに、［手動補正］ウィンドウＷＤ３に設けられた［角度］エディットボックスＢＸ１と［長さ］エディットボックスＢＸ２によっても、手ブレの方向θ２と程度ｍ２を指定可能である。なお、上記ステップＳ１８１ないしＳ１８４の処理が、第２ウィンドウ表示部３５（図１）に対応し、［手動補正］ウィンドウＷＤ３が、本発明でいう「第２のウィンドウ」に対応する。また、ステップＳ１８５およびＳ１８６の処理が、手ブレ方向・程度設定部３６（図１）に対応する。

図１４に戻り、ステップＳ１８６の実行後、ＣＰＵ１１は、ステップＳ１８６で求めた手ブレの方向θ２と程度ｍ２を用いた「注目画像データＧＳについての手ブレ補正ルーチン」を実行する（ステップＳ１８７）。注目画像データＧＳについての手ブレ補正ルーチンは、前述した図１０に示したものであるが、ここでは、ステップＳ１４１で算出するモーションブラーフィルタを、ステップＳ１８６で求めた手ブレの方向θ２と程度ｍ２に基づくものとした。すなわち、モーションブラーフィルタＦ２を、次式（２）に従って算出する。

Ｆ２＝Ｆ（θ２，ｍ２） ...（２）
ここで、Ｆは、モーションブラーフィルタを求める際の関数である。

その後、このモーションブラーフィルタＦ２を用いてフィルタ演算してぼかし画像データＧＳ＊を求めて、注目画像データＧＳとぼかし画像データＧＳ＊の差分ＤＳを求めて、この差分ＤＳに注目画像データＧＳを足し混むことで、手ブレ補正がなされた補正後注目画像データＴＧＳを生成する。

こうしてステップＳ１８７の処理が終了すると、ＣＰＵ１１は、ステップＳ１８７で求めた補正後注目画像データＴＧＳでもって、［補正後］表示フィールドＦＤ２２の表示を変更する（ステップＳ１８８）。

その後、ＣＰＵ１１は、［手動補正］ウィンドウＷＤ３の［ＯＫ］ボタンＢＴ４５がクリックされたか否かを判別する（ステップＳ１８９）。［ＯＫ］ボタンＢＴ４５は、［補正後］表示フィールドＦＤ２２に表示された補正後画像が良好だと操作者によって判断されたときに、操作者によりクリックされるものであることから、［ＯＫ］ボタンＢＴ４５がクリックされていないと判別された場合には、手ブレ補正処理をやり直すべく、ステップＳ１８５に処理を戻して、ステップＳ１８５ないしＳ１８８のグラフィックツールＴＬを用いて手ブレの方向θ２と程度ｍ２を変更する処理を再度行なう。

一方、ステップＳ１８９で、［ＯＫ］ボタンＢＴ４５がクリックされたと判別された場合には、［補正後］表示フィールドＦＤ２２に表示された補正後画像は良好であるとして、ステップＳ１９０に処理を進めて、手ブレ補正の対象である画像データＤｐに対して手ブレ補正処理を実行する。

ステップＳ１９０の手ブレ補正処理は、詳細には、ステップＳ１８６で算出された手ブレの方向θ２と程度ｍ２を、手ブレ補正を施す画像データＤｐ全体の手ブレの方向として、この手ブレの方向θ２と程度ｍ２を用いて補正を行なうものである。すなわち、図１０に示した「注目画像データＧＳについての手ブレ補正ルーチン」において、モーションブラーフィルタＦ２を、上記手ブレの方向θ２と程度ｍ２に基づいて求めるとともに、処理対象を注目画像データＧＳに換えて画像データＤｐとした手ブレ補正処理を行なう。こうして得られた新たな画像データは、手ブレが補正された補正後画像データとして出力される。ステップＳ１９０の実行後、「リターン」に抜けてこのルーチンは一旦終了する。

Ｃ．作用・効果：
以上のように構成されたこの実施例のコンピュータシステムによれば、注目画像データＧＳから検出された手ブレの方向θ１と程度ｍ１を用いて、手ブレ補正ルーチンにより手ブレの補正を行ない、その補正前画像と補正後画像を表わす［手ブレ補正］ウィンドウＷＤ２をディスプレイ２０に表示する。［手ブレ補正］ウィンドウＷＤ２には、［ＯＫ］ボタンＢＴ２５と［手動補正］ボタンＢＴ２６とが設けられており、操作者はボタンＢＴ２５、ＢＴ２６を操作することで、補正後画像が許容できるか否かを指示することができる。コンピュータシステムによれば、ボタンＢＴ２５、ＢＴ２６に対する操作指令に基づいて、補正後画像が許容できるか否かを判定して、許容できないと判定されたときに、手ブレの方向θ２と程度ｍ２を手操作により入力可能な［手動補正］ウィンドウＷＤ３をディスプレイ２０に表示する。そして、コンピュータシステムによれば、この［手動補正］ウィンドウＷＤ３から入力される手ブレの方向θ２と程度ｍ２を取り込んで、手ブレ補正ルーチンをその取り込んだ手ブレの方向θ２と程度ｍ２に基づくものに切り換える。この結果、手ブレ補正ルーチンにより、操作者からの入力装置を用いた操作指令に基づいて定められた手ブレの方向θ２と程度ｍ２に基づく手ブレの補正が行なわれる。

したがって、撮影画像の一部分である注目画像データＧＳから検出された手ブレの方向θ１と程度ｍ１に基づく手ブレ補正では、うまく手ブレを補正することができない場合に、操作者は、その補正後画像が許容できないとして［手動補正］ボタンＢＴ２６をクリックすることにより、［手動補正］ウィンドウＷＤ３から、視認に基づく手ブレの方向θ２と程度ｍ２を入力することができる。このために、手ブレの方向θ２と程度ｍ２は正確なものとなり、画像の手ブレを高精度に補正することができる。

また、この実施例では、撮影画像に対して注目領域ＳＡを指定して、その注目領域ＳＡで囲まれた領域のデータを、注目画像データＧＳとして抽出して、この注目画像データＧＳに基づいて手ブレの方向θ１と程度ｍ１を検出している。このために、撮影画像全体でなく一部分から手ブレの方向と程度を検出することができることから、その検出に要する処理速度を高めることができる。注目領域ＳＡは、操作者によるマウス操作により指定する構成であることから、操作者が、手ブレの検出が容易な部分を、目視により選び出して、前記注目領域ＳＡとすることができる。したがって、自動手ブレ補正の精度を高めることができる。

さらにこの実施例では、ディスプレイ２０に表示される［手動補正］ウィンドウＷＤ３に、手ブレ補正ルーチンによる補正前画像と補正後画像が表わされることから、操作者は、両画像を比較することで、手ブレ補正ルーチンにより手ブレがうまく補正されたか否かを容易に判定することができる。しかも、元画像（補正前画像）に重畳させて表示されたグラフィックスツールＴＬが操作されることで、手ブレの方向と程度の入力が操作者によりなされ、この入力に基づいて手ブレ補正ルーチンにより手ブレの補正がなされることから、操作者の視認により入力された手ブレの方向θ２と程度ｍ２に従う手ブレの補正を行なうことができる。また、元画像は、補正後画像と比べて表示倍率が高くなっていることから、操作者は、グラフィックスツールＴＬを操作するに際して、手ブレの視認を容易に行なうことができ、操作性にも優れている。

この実施例では、グラフィックスツールＴＬは、始点のマークＭＫ１と、終点のマークＭＫ２と、両者を結ぶ直線ＬＮとの３部品により構成されている。このために、撮影画像の手ブレの方向と程度を、シンプルな形状のグラフィックスの部品により表わすことがことができることから、構成が容易で、しかも操作者による操作が容易である。

この実施例では、手ブレ方向・程度検出ルーチンにより、注目画像データＧＳの中で、エッジの程度が最大となる画素におけるエッジの方向θ１と程度ｍ１が得られるように構成されている。このために、撮影画像において最も手ブレの程度が大きいエッジ部における手ブレの方向と程度に基づいて、手ブレの補正が行なわれる。したがって、自動手ブレ補正の精度を高めることができる。

Ｄ．他の実施形態：
なお、この発明は上記の実施例や変形例に限られるものではなく、本発明の要旨を逸脱しない範囲において種々なる態様にて実施することが可能であり、例えば次のような変形も可能である。

（１）前記実施例では、［手ブレ補正］ウィンドウＷＤ２、［手動補正］ウィンドウＷＤ３で表示する元画像は、画像データＤｐからトリミングした注目画像データＧＳとしていたが、これに換えてトリミングを行なうことなく、画像データＤｐをそのまま表示する構成としてもよい。

（２）前記実施例では、第１のウィンドウに設けられたスイッチを、［ＯＫ］ボタンＢＴ２５と［手動補正］ボタンＢＴ２６により構成していたが、これに換えて、スイッチを「ＯＫ」ボタンと「ＮＧ」ボタンにより構成して、「ＮＧ」ボタンがクリックされたときに、［手動補正］ウィンドウＷＤ３を表示する構成としてもよい。このように、ボタンの表示は、補整後画像が許容できるか否かを示すものであればどのようなものでもよく、また、ボタンの形状についてもどのようなものでもよい。要は、第１のウィンドウに設けられ、入力装置の操作を受けることで、補正後画像が許容できるか否かを指定しうるものであればどのようなものでもよい。

（３）前期実施例では、本発明の第２のウィンドウとして、補正前画像と補整後画像とを共に表わす［手動補正］ウィンドウＷＤ３を表示する構成としていたが、これに換えて、補整後画像を表示することなく補正前画像を表示して、操作者からの入力装置を用いた操作指令に基づいて手ブレの方向と程度を入力可能なウィンドウとしてもよい。また、前記実施例では、［手動補正］ウィンドウＷＤ３は、［手ブレ補正］ウィンドウＷＤ２と全く別個のものであったが、これに換えて、［手ブレ補正］ウィンドウＷＤ２に設けられた［手動補正］ボタンＢＴ２６がクリックされたときに、［手ブレ補正］ウィンドウＷＤ２に修正を掛けて、その修正されたウィンドウを第２のウィンドウとして利用を図る構成とすることもできる。

（４）前記実施例では、手ブレの方向と程度を入力するためのグラフィックスツールＴＬは、始点のマークＭＫ１と、終点のマークＭＫ２と、両者を結ぶ直線ＬＮとの３部品により構成されていたが、これに換えて、矢印等の他の形状とすることもできる。要は、方向と長さを入力可能なツールであればどのような形状とすることもできる。

（５）前期実施例の手ブレ方向・程度検出ルーチンでは、ソーベルフィルタを用いて、手ブレの方向と程度を検出していたが、この方法に限る必要もなく、他の方法で、手ブレの方向と程度を検出するように構成してもよい。

（６）前記実施例では、手ブレ補正を行なう手ブレ補正ルーチンを、モーションブラーフィルタを用いてフィルタリングすることにより動作ぼかしを行なって、手ブレ補正を行なう構成であったが、この方法に限る必要もなく、要は、手ブレの方向と程度の入力を受けて、該入力に基づいて撮影画像の手ブレの補正を実行するものであればどのような構成とすることもできる。

（７）前記実施例では、手ブレを補正する対象としての画像データＤｐは、デジタルカメラ２６により撮影したものとしたが、これに替えて、カラースキャナ等を用いて獲得した銀塩写真の画像データであってもよい。要は、なんらかの撮影装置（例えば、静止画の撮影機能を持ったビデオカメラ）で撮影して得られた撮影画像を獲得する構成であれば、どのような構成であってもよい。例えば、ＨＤＤ１５等の記憶装置に予め用意したものに換えて、ネットワークを介して外部から取り込んだものであってもよい。また、必ずしもカラーの画像データである必要もなく、白黒の画像データに適用することもできる。

本発明の一実施例を適用するコンピュータシステムのハードウェアの概略構成を示す説明図である。 アプリケーションウィンドウＷＤの一例を示す説明図である。 ＣＰＵ１１により実行される手ブレ補正処理を示すフローチャートである。 ［注目領域の指定］ウィンドウＷＤ１の一例を示す説明図である。 注目領域ＳＡの指定がなされた後の［注目領域の指定］ウィンドウＷＤ１の一例を示す説明図である。 手ブレ方向・程度検出ルーチンの詳細を示すフローチャートである。 水平方向ソーベルフィルタを示す説明図である。 垂直方向ソーベルフィルタを示す説明図である。 合計値Ｔｈ、Ｔｖとエッジの方向θ、程度ｍとの関係を示す説明図である。 注目画像データＧＳについての手ブレ補正ルーチンの詳細を示すフローチャートである。 モーションブラーフィルタＦ１の一例を示す説明図である。 注目画像データＧＳについての手ブレ補正ルーチンに従う処理内容を概念的に示す説明図である。 ［手ブレ補正］ウィンドウＷＤ２の一例を示す説明図である。 手動補正ルーチンの詳細を示すフローチャートである。 ［手動補正］ウィンドウＷＤ３の一例を示す説明図である。 手ブレの程度ｍ１と表示倍率Ｒとの関係を示すグラフである。 グラフィックスツールＴＬの周辺を拡大した説明図である。 グラフィックスツールＴＬによって指定される手ブレの方向θ２と程度ｍ２を示す説明図である。

符号の説明

１０...パーソナルコンピュータ
１１...ＣＰＵ
１２...バス
１３...メモリ
１４...表示画像メモリ
１５...ハードディスクドライブ
１６...入力制御ユニット
１７...表示制御ユニット
１８...出力制御ユニット
２０...ディスプレイ
２２...キーボード
２４...マウス
２６...デジタルカメラ
２８...ＣＤドライブ
２９...プリンタ
３１...手ブレ方向・程度検出部
３２...手ブレ補正部
３３...第１ウィンドウ表示部
３４...判定部
３５...第２ウィンドウ表示部
３６...手ブレ方向・程度設定部
Ｐｒ...コンピュータプログラム
Ｆ１、Ｆ２...モーションブラーフィルタ
ＷＤ...アプリケーションウィンドウ
ＦＤ１...画像表示フィールド
ＦＤＷ...作業フィールド
ＳＡ...注目領域
ＧＳ...注目画像データ
ＴＧＳ...補正後注目画像データ
ＷＤ１...［注目領域の指定］ウィンドウ
ＷＤ２...［手ブレ補正］ウィンドウ
ＦＤ１１...［元画像］表示フィールド
ＦＤ１２...［補正後］表示フィールド
ＢＴ２６...［手動補正］ボタン
ＷＤ３...［手動補正］ウィンドウ
ＦＤ２１...［元画像］表示フィールド
ＦＤ２２...［補正後］表示フィールド
ＴＬ...グラフィックスツール
ＭＫ１...マーク
ＭＫ２...マーク
ＬＮ...直線
θ１、θ２...手ブレの方向
ｍ１、ｍ２...手ブレの程度

Claims (14)

1. 撮影装置で撮影して得られた撮影画像の手ブレを補正する手ブレ画像補正装置であって、
   前記撮影画像に基づいて、前記手ブレの方向と程度を検出する手ブレ方向・程度検出手段と、
   該検出された手ブレの方向と程度の入力を受けて、該入力に基づいて前記撮影画像の手ブレの補正を実行する手ブレ補正手段と、
   前記撮影画像の全体もしくは一部についての前記手ブレ補正手段による補正前画像と補正後画像を表わす第１のウィンドウを表示装置に表示する第１ウィンドウ表示手段と、
   前記第１のウィンドウに設けられたスイッチに対する操作者からの入力装置を用いた操作指令に基づいて、前記補正後画像が許容できるか否かを判定する判定手段と、
   前記判定手段により許容できないと判定されたときに、操作者からの入力装置を用いた操作指令に基づいて前記手ブレの方向と程度を入力するための第２のウィンドウを前記表示装置に表示する第２ウィンドウ表示手段と、
   前記第２のウィンドウから入力される手ブレの方向と程度を取り込んで、前記手ブレ補正手段の入力を該取り込んだ手ブレの方向と程度に切り換える手ブレ方向・程度設定手段と
   を備える手ブレ画像補正装置。
2. 請求項１に記載の手ブレ画像補正装置であって、
   前記撮影画像から所定の矩形の領域部分を注目画像として抽出する注目画像抽出手段を備え、
   前記手ブレ方向・程度検出手段は、
   前記注目画像に基づいて検出を行なう構成である手ブレ画像補正装置。
3. 請求項２に記載の手ブレ画像補正装置であって、
   前記注目画像抽出手段は、
   操作者からの入力装置を用いた操作指令に基づいて前記矩形の領域を指定する領域指定手段を備える手ブレ画像補正装置。
4. 請求項１ないし３のいずれかに記載の手ブレ画像補正装置であって、
   前記第２ウィンドウ表示手段は、
   前記手ブレ補正手段による補正前画像と、該補正前画像に重畳される所定のグラフィックスの部品とを前記第２のウィンドウに表示し、前記部品に対する操作者からの入力装置を用いた操作指令に基づいて前記手ブレの方向と程度を入力し得る構成である手ブレ画像補正装置。
5. 請求項４に記載の手ブレ画像補正装置であって、
   前記所定のグラフィックスの部品を、始点、終点および両者を結ぶ直線の３部品により構成した手ブレ画像補正装置。
6. 請求項１ないし３のいずれかに記載の手ブレ画像補正装置であって、
   前記第２ウィンドウ表示手段は、
   前記第２のウィンドウに、前記手ブレ補正手段による補正前画像と補正後画像を表示する前後画像表示手段を備える手ブレ画像補正装置。
7. 請求項６に記載の手ブレ画像補正装置であって、
   前記前後画像表示手段は、
   前記補正前画像を、前記補正後画像と比べて表示倍率を高くして表示させる構成である手ブレ画像補正装置。
8. 請求項１ないし７のいずれかに記載の手ブレ画像補正装置であって、
   前記手ブレ方向・程度検出手段は、
   前記撮影画像の画素毎に手ブレの方向と程度を検出する各画素手ブレ検出手段と、
   前記各画素手ブレ検出手段により検出された手ブレの程度が最も大きいエッジ部を検出するエッジ検出手段と、
   前記エッジ検出手段により検出された前記エッジ部の手ブレの方向と程度を、前記撮影画像全体の手ブレの方向と程度に定める手ブレ決定手段と
   を備える手ブレ画像補正装置。
9. 請求項１ないし８のいずれかに記載の手ブレ画像補正装置であって、
   前記手ブレ補正手段は、
   前記手ブレの方向と程度に基づいて、動作ぼかしを掛けるモーションブラーフィルタを設定するフィルタ設定手段と、
   該設定されたモーションブラーフィルタを用いて、前記撮影画像に対して演算処理を行なうフィルタ演算手段と、
   前記撮影画像と前記フィルタ演算手段により得られた画像との差分を演算する画像差分演算手段と、
   前記撮影画像に対して前記差分を合成することにより、前記撮影画像に対して前記手ブレの方向と反対側にぶれた画像を前記補正後画像として生成する画像合成手段と
   を備える手ブレ画像補正装置。
10. 撮影装置で撮影して得られた撮影画像の手ブレを補正する手ブレ画像補正方法であって、
    （ａ） 前記撮影画像に基づいて、前記手ブレの方向と程度を検出する行程と、
    （ｂ）該検出された手ブレの方向と程度の入力を受けて、該入力に基づいて前記撮影画像の手ブレの補正を実行する行程と、
    （ｃ）前記撮影画像の全体もしくは一部についての前記行程（ａ）による補正前画像と補正後画像を表わす第１のウィンドウを表示装置に表示する行程と、
    （ｄ）前記第１のウィンドウに設けられたスイッチに対する操作者からの入力装置を用いた操作指令に基づいて、前記補正後画像が許容できるか否かを判定する行程と、
    （ｅ）前記行程（ｄ）により許容できないと判定されたときに、操作者からの入力装置を用いた操作指令に基づいて前記手ブレの方向と程度を入力するための第２のウィンドウを前記表示装置に表示する行程と、
    （ｆ）前記第２のウィンドウから入力される手ブレの方向と程度を取り込んで、前記行程（ｂ）における入力を該取り込んだ手ブレの方向と程度に切り換える行程と
    を備える手ブレ画像補正方法。
11. 撮影装置で撮影して得られた撮影画像の手ブレを補正するためのコンピュータプログラムであって、
    （ａ）前記撮影画像に基づいて、前記手ブレの方向と程度を検出する機能と、
    （ｂ）該検出された手ブレの方向と程度の入力を受けて、該入力に基づいて前記撮影画像の手ブレの補正を実行する機能と、
    （ｃ）前記撮影画像の全体もしくは一部についての前記機能（ａ）による補正前画像と補正後画像を表わす第１のウィンドウを表示装置に表示する機能と、
    （ｄ）前記第１のウィンドウに設けられたスイッチに対する操作者からの入力装置を用いた操作指令に基づいて、前記補正後画像が許容できるか否かを判定する機能と、
    （ｅ）前記機能（ｄ）により許容できないと判定されたときに、操作者からの入力装置を用いた操作指令に基づいて前記手ブレの方向と程度を入力するための第２のウィンドウを前記表示装置に表示する機能と、
    （ｆ）前記第２のウィンドウから入力される手ブレの方向と程度を取り込んで、前記機能（ｂ）における入力を該取り込んだ手ブレの方向と程度に切り換える機能と
    をコンピュータに実現させるコンピュータプログラム。
12. 請求項１１に記載のコンピュータプログラムであって、
    （ｇ）前記撮影画像から所定の矩形の領域部分を注目画像として抽出する機能をさらにコンピュータに実現させるとともに、
    前記機能（ａ）は、
    前記注目画像に基づいて検出を行なう構成であるコンピュータプログラム。
13. 請求項１１または１２に記載のコンピュータプログラムであって、
    前記機能（ｅ）は、
    前記機能（ｂ）による補正前画像と、該補正前画像に重畳される所定のグラフィックスの部品とを前記第２のウィンドウに表示し、前記部品に対する操作者からの入力装置を用いた操作指令に基づいて前記手ブレの方向と程度を入力し得る構成であるコンピュータプログラム。
14. 請求項１１ないし１３のいずれかに記載のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images