JP2008167336A - 画像復元装置、画像復元方法及び画像復元プログラム - Google Patents

Abstract

【課題】リンギングを抑制しながら鮮明さを確保可能なウィーナフィルタを使用した画像復元を行う。
【解決手段】劣化画像情報に含まれる振れ検出情報に基づいて前記ウィーナフィルタの点広がり関数を推定する点広がり関数推定手段（ステップＳ７）と、推定した点広がり関数と所定数の異なる近似定数Γとを用いて所定数の復元画像情報を得る画像復元手段（ステップＳ８）と、所定数の復元画像情報の夫々についてリンギングの発生しやすい高リンギング領域を抽出して当該高リンギング領域における第１の最適近似定数Γを選択して前記高リンギング領域の最終復元画像情報を生成する高リンギング領域画像復元手段（ステップＳ９〜Ｓ１２）と、前記高リンギング領域以外の低リンギング領域の第２の最適近似定数Γを選択して当該低リンギング領域の最終復元画像情報を生成する低リンギング領域画像復元手段（ステップＳ１４）とを備えている。
【選択図】図４

Description

本発明は、撮像装置から得られる画像の振れを表す振れ検出情報を含む劣化画像情報を、ウィーナフィルタを使用して原画像情報を復元する画像復元装置、画像復元方法及び画像復元プログラムに関する。

従来の画像復元装置としては、例えば劣化関数を用いて、劣化画像から元画像に近い復元画像を復元する際に、劣化関数を構成する振れ方向、振れ量等の劣化パラメータを変化させながら劣化画像を復元し、復元された画像の画像復元度を求め、該画像復元度を基に劣化パラメータを選択して劣化関数を導出し、該劣化関数により復元画像を生成するようにした画像処理方法及び装置が提案されている（例えば特許文献１参照）。

しかしながら、上記特許文献１に記載の従来例にあっては、振れ方向、振れ量等の劣化パラメータを変化させるだけであるので、劣化画像を復元する際のリンギングを抑制することはできない。
このため、従来、劣化画像情報の雑音に関する統計的性質が既知の場合、その情報を利用し、逆フィルタの雑音に対する弱点を補う方法としてウィーナフィルタが知られている（非特許文献１参照）。このウィーナフィルタは元画像ｆ（ｘ，ｙ）と復元画像ｆ＾（ｘ，ｙ）との平均２乗誤差が最小となるような復元方法であり、その周波数応答Ｍ（ｕ，ｖ）は下記のようにして算出される。

観測された画像のフーリエ変換Ｇ（ｕ，ｖ）に周波数応答Ｍ（ｕ，ｖ）を掛けた後フーリエ逆変換すると、復元画像が求まる。通常は［Ｐ_nn（ｕ，ｖ）／Ｐ_ff（ｕ，ｖ）を正確に求めることができないため、適当な定数Γで近似することが多い。ウィーナフィルタでは、この項があるため、Ｈ（ｕ，ｖ）＝０となるような周波数でＭ（ｕ，ｖ）＝０となり、逆フィルタのような不安定さは生じない。
特開２０００−５７３３９号公報（第２頁、図２） 「コンピュータ画像処理」平成１６年１０月２０日株式会社オーム社発行

しかしながら、上記非特許文献１に記載された従来例にあっては、ウィーナフィルタの周波数応答Ｍ（ｕ，ｖ）を算出するために適当な近似定数Γを使用するようにしているので、この近似定数Γが大きいと、リンギングの問題は改善されるが、鮮明さが不十分となり、逆に近似定数Γが小さいと、鮮明になるが、リンギングが発生することになり、最適なΓを決定することが困難であるという未解決の課題がある。

そこで、本発明は、上記従来例の未解決の課題に着目してなされたものであり、リンギングを抑制しながら鮮明さを確保することができるウィーナフィルタを使用した画像復元装置、画像復元方法及び画像復元プログラムを提供することを目的としている。

本発明の第１の技術手段は、撮像装置から得られる画像の振れを表す振れ検出情報を含む劣化画像情報を、ウィーナフィルタを使用して原画像情報を復元する画像復元装置であって、前記劣化画像情報に含まれる前記振れ検出情報に基づいて前記ウィーナフィルタの点広がり関数を推定する点広がり関数推定手段と、該点広がり関数推定手段で推定した点広がり関数と所定数の異なる近似定数Γとを用いて所定数の復元画像情報を得る画像復元手段と、該画像復元手段で得た復元画像情報の夫々についてリンギングの発生しやすい高リンギング領域を抽出して当該高リンギング領域における第１の最適近似定数Γを選択して前記高リンギング領域の最終復元画像情報を生成する高リンギング領域画像復元手段と、前記高リンギング領域以外の低リンギング領域の第２の最適近似定数Γを選択して当該低リンギング領域の最終復元画像情報を生成する低リンギング領域画像復元手段とを有することを特徴としている。

この第１の技術手段では、角速度データ等の撮像装置の振れ検出情報を含む劣化画像情報から振れ検出情報に基づいてウィーナフィルタの点広がり関数を算出し、この点広がり関数と異なる所定数の近似定数Γとに基づいて劣化画像情報の復元画像情報を所定数復元し、復元した各復元画像情報についてリンギングが発生し易い高リンギング領域を抽出し、この高リンギング領域について第１の最適近似定数Γを選択して高リンギング領域の最終復元画像情報を生成すると共に、残りの低リンギング領域についても第２の最適近似定数Γを選択して低リンギング領域の最終復元画像情報を生成することにより、高リンギング領域毎で最適な第１の近似定数Γを設定することができ、残りの低リンギング領域でも最適な第２の近似定数Γを設定することができるので、全体の復元画像情報はリンギングを抑制しながら鮮明さを確保することができる。

また、第２の技術手段は、上記第１の技術手段において、前記振れ検出情報は撮像装置の上下及び左右の振れを検出する角速度センサの出力情報であることを特徴としている。
この第２の技術手段においては、撮像装置の前後左右の振れを角速度センサで正確に検出することができるので、この角速度センサの出力情報を使用して点広がり関数を算出することにより、劣化画像情報の振れに応じた点広がり関数を算出することができる。

さらに、本発明の第３の技術手段は、第１又は第２の技術手段において、前記点広がり関数推定手段は、前記振れ検出情報から点広がり関数のフーリエスペクトルを算出するように構成されていることを特徴としている。
この第３の技術手段では、点広がり関数推定手段で点広がり関数のフーリエスペクトルを算出するので、このフーリエスペクトルと、その共役複素数と、近似定数Γとからウィーナフィルタの周波数応答を算出することができる。

さらにまた、本発明の第４の技術手段は、第１〜第３の技術手段の１つにおいて、前記点広がり関数推定手段は、前記振れ検出情報の振れ幅が大きいときに当該振れ検出情報をスプライン補間処理することを特徴としている。
この第４の技術手段では、振れ検出情報の触れ幅が大きいときに振れ検出情報をスプライン補間処理するので、より多くの振れ検出情報を得ることができ、正確な点広がり関数を算出することができる。

なおさらに、本発明の第５の技術手段は、上記第１乃至第４の技術手段の１つにおいて、前記点広がり関数推定手段は、前記振れ検出情報をガウスフィルタ処理することを特徴としている。
この第５の技術手段では、振れ検出情報をガウスフィルタ処理することにより、振れ検出情報が平滑化されてより正確な点広がり関数を算出することができる。

また、本発明の第６の技術手段は、第１〜第５の技術手段の１つにおいて、前記画像復元手段は、前記点広がり関数推定手段で推定した点広がり関数と所定数の異なる前記近似定数Γとを用いて所定数の前記ウィーナフィルタの周波数応答Ｂ（μ，ν）を算出する周波数応答算出手段と、該周波数応答算出手段で算出した所定数の前記周波数応答Ｂ（μ，ν）を個別に前記劣化画像情報のフーリエ変換情報に乗算した後フーリエ逆変換して所定数の復元画像情報を得る復元画像生成手段とを有していることを特徴としている。

この第６の技術手段では、画像復元手段を点広がり関数と所定数の異なる近似定数Γとを用いて周波数応答算出手段でウィーナフィルタの周波数応答Ｂ（ｕ，ｖ）を算出し、算出した所定数の周波数応答Ｂ（ｕ，ｖ）を個別に劣化画像情報のフーリエ変換情報に乗算した後フーリエ逆変換して近似定数Γの異なる所定数の復元画像情報を得ることができる。

さらに、本発明の第７の技術手段は、第６の技術手段の１つにおいて、前記周波数応答算出手段は、前記点広がり関数推定手段で算出した点広がり関数のフーリエスペクトルと、当該フーリエスペクトルの共役複素数と、前記近似定数Γとから周波数応答を算出するように構成されていることを特徴としている。
この第７の技術手段では、点広がり関数のフーリエスペクトルと、その共役複素数と、近似定数Γからウィーナフィルタの周波数応答を算出するので、近似定数Γを異なる値とすることにより、近似定数Γの異なる種々の周波数応答を算出することができる。

さらにまた、本発明の第８の技術手段は、第１〜第７の技術手段の１つにおいて、前記高リンギング領域画像復元手段は、前記高リンギング領域の抽出を、ソーベルフィルタを使用してエッジ部を検出することにより行うことを特徴としている。
この第８の技術手段では、ソーベルフィルタを使用することにより、復元画像情報中のリンギングを生じ易いエッジ部を正確に抽出することができる。

なおさらに、本発明の第９の技術手段は、第１〜第８の技術手段の１つにおいて、前記高リンギング領域画像復元手段は、エッジ部を検出するソーベルフィルタと、該ソーベルフィルタで検出したエッジ部を膨張処理する膨張フィルタとを有することを特徴としている。
この第９の技術手段では、ソーベルフィルタで検出したエッジ部を膨張処理することにより、黒いノイズ成分を除去して正確な高リンギング領域を抽出することができる。

また、本発明の第１０の技術手段は、第１〜第９の技術手段の何れか１つにおいて、前記高リンギング領域画像復元手段は、所定数の前記復元画像情報のメディアン値を求め、前記各復元画像情報から前記メディアン値を減算した値の総和が最小となる復元画像情報を最終復元画像情報として選択することを特徴としている。
この第１０の技術手段では、エッジ部で大きく値が変動するリンギングに注目した場合、二乗誤差の総和を最小とする値を各復元画像情報から減算した場合には、値が大きく異なるサンプル所謂外れ値の影響を受ける可能性があり、鮮明さが失われる可能性があるがメディアン値は外れ値に対してロバストであり、鮮明さを確保することができる。

さらに、本発明の第１１の技術手段は、撮像装置から得られる画像の振れを表す振れ検出情報を含む劣化画像情報を、ウィーナフィルタを使用して原画像情報を復元する画像復元方法であって、
前記劣化画像情報に含まれる前記振れ検出情報に基づいて前記ウィーナフィルタの点広がり関数を推定する点広がり関数推定ステップと、推定した点広がり関数と所定数の異なる近似定数Γとを用いて前記近似定数Γの異なる所定数の復元画像情報を得る画像復元ステップと、前記各復元画像情報の夫々についてリンギングの発生しやすい高リンギング領域を抽出して当該高リンギング領域における第１の最適近似定数Γを選択して前記高リンギング領域の最終復元画像情報を生成する高リンギング領域画像復元ステップと、前記高リンギング領域以外の低リンギング領域の第２の最適近似定数Γを選択して当該低リンギング領域の最終復元画像情報を生成する低リンギング領域画像復元ステップとを有していることを特徴としている。

この第１１の技術手段では、前述した第１の技術手段と同様の効果を得ることができる。
さらにまた、本発明の第１２の技術手段は、第１１の技術手段において、前記画像復元ステップは、前記推定した点広がり関数と所定数の異なる近似定数Γとを用いて所定数の前記ウィーナフィルタの周波数応答Ｂ（μ，ν）を算出する周波数応答算出ステップと、算出した所定数の前記周波数応答Ｂ（μ，ν）を個別に前記劣化画像情報のフーリエ変換情報に乗算した後フーリエ逆変換して所定数の復元画像情報を得る復元画像生成ステップとを備えていることを特徴としている。

この第１２の技術手段では、前述した第６の技術手段と同様の効果を得ることができる。
なおさらに、本発明の第１３の技術手段は、撮像装置から得られる画像の振れを表す振れ検出情報を含む劣化画像情報を、ウィーナフィルタを使用して原画像情報を復元する画像復元処理をコンピュータに実行させるための画像復元プログラムであって、
前記劣化画像情報に含まれる前記振れ検出情報に基づいて前記ウィーナフィルタの点広がり関数を推定する点広がり関数推定ステップと、推定した点広がり関数と所定数の異なる近似定数Γとを用いて近似定数Γの異なる所定数の復元画像情報を得る画像復元ステップと、各復元画像情報の夫々についてリンギングの発生しやすい高リンギング領域を抽出して当該高リンギング領域における第１の最適近似定数Γを選択して前記高リンギング領域の最終復元画像情報を生成する高リンギング領域画像復元ステップと、前記高リンギング領域以外の低リンギング領域の第２の最適近似定数Γを選択して当該低リンギング領域の最終復元画像情報を生成する低リンギング領域画像復元ステップとをコンピュータに実行させることを特徴としている。
この第１３の技術手段では、前述した第１の技術手段及び第１１の技術手段と同様の効果を得ることができる。

また、本発明の第１４の技術手段は、第１３の技術手段において、前記画像復元ステップは、前記推定した点広がり関数と所定数の異なる近似定数Γとを用いて所定数の前記ウィーナフィルタの周波数応答Ｂ（μ，ν）を算出する周波数応答算出ステップと、算出した所定数の前記周波数応答Ｂ（μ，ν）を個別に前記劣化画像情報のフーリエ変換情報に乗算した後フーリエ逆変換して所定数の復元画像情報を得る復元画像生成ステップとを有していることを特徴としている。

この第１４の技術手段では、前述した第６の技術手段及び第１２の技術手段にと同様の効果を得ることができる。

以下、本発明の実施の形態を図面に基づいて説明する。
図１は本発明の一実施形態を示す概略構成図であり、図中、１はプリンタであって、このプリンタ１にＣＤ−Ｒ装置１００、デジタルカメラ１２０及びホストコンピュータ１４０が例えばＵＳＢの接続コードを介して接続される。なお、ＣＤ−Ｒ装置１００、例えば被写体を静止画像として撮影する撮像装置としてのデジタルスチルカメラ１２０及びホストコンピュータ１４０とプリンタ１との接続は接続コードを使用する場合に限らず無線で画像情報の授受を行うようにしてもよい。

そして、プリンタ１は、ヘッドユニット２０、用紙搬送機構３０、キャリッジ移動機構４０、検出器群５０、プリンタ側コントローラ６０、液晶表示器３、操作ボタン５、及びカードスロット６を有する。また、これらの他に、プリンタ１はホストコンピュータ１４０と接続するための第１インタフェース１２と、デジタルスチルカメラ１２０やＣＤ−Ｒ装置１００と接続するための第２インタフェース１４とを有している。

ヘッドユニット２０は、インクを用紙に向けて吐出させるものであり、インクを吐出するヘッド２２を有する。このヘッドユニット２０は、キャリッジ（図示せず）に取付けられており、キャリッジをキャリッジ移動方向に移動させるキャリッジ移動機構４０によって、キャリッジと共に移動する。
用紙搬送機構３０は、キャリッジ移動方向と交差する方向に用紙を搬送する。検出器群５０は、プリンタ１の状態を検出するためのものであり、例えば、キャリッジの位置を検出するリニア式エンコーダ、紙の搬送量を検出するロータリー式エンコーダ、及び用紙の有無を検出する紙検出器（何れも図示せず）等が含まれる。

プリンタ側コントローラ６０は、プリンタ１の制御を行うものであり、ＣＰＵ６２と、メモリ６４と、制御ユニット６８とを有する。ＣＰＵ６２は、プリンタ１の全体的な制御を行うための演算処理装置である。メモリ６４は、ＣＰＵ６２のプログラムを格納する領域や作業領域等を確保するためのものであり、ＲＡＭ、ＥＥＰＲＯＭ、ＲＯＭ等の記憶素子によって構成されている。そして、画像情報の復元時において、メモリ６４に復元画像情報が格納される。制御ユニット６８は、制御対象となる各部とＣＰＵ６２との間に配置され、ＣＰＵ６２からのコマンドに基づいてモータ用の駆動信号を生成したり、各部から送られてくる信号を、ＣＰＵ６２が解釈できる形態にして出力したりする。

通常、プリンタ１は、ホストコンピュータ１４０又はデジタルスチルカメラ１２０から印刷データを受信すると、印刷データに基づいて印刷処理を行う。すなわち、印刷データの受信後、プリンタ側コントローラ６０は、用紙搬送機構３０に印刷開始位置まで用紙を搬送させ、キャリッジ移動機構４０にキャリッジをキャリッジ移動方向に移動させ、キャリッジと共に移動するヘッドから印刷データに基づいてインクを吐出させる。そして、これらの動作が繰り返して行われると、用紙に画像が印刷される。

さらに、プリンタ１は、ユーザーが操作ボタン５を操作することにより、画像情報のバックアップ処理を行う。このバックアップ処理では、プリンタ側コントローラ６０は、カードスロット６に装着されたメモリカード１１０から画像情報を、ＣＤ−Ｒ装置１００に送出し、ＣＤ−Ｒに記憶させる。
さらにまた、デジタルスチルカメラ１２０は、カメラレンズ１２１によって被写体像がその後段に配設された固体撮像素子１２２に結像される。この固体撮像素子１２２は、固体撮像素子駆動回路１２３からの駆動信号によって光電変換を行い、その光電変換出力がカメラ系信号処理部１２４に供給され、このカメラ系信号処理部１２４で、サンプリング処理、ＡＧＣ処理を行った後にＡ／Ｄ変換処理によってデジタルデータに変換してからガンマ補正処理、エンコード処理等が行われて画像メモリ１２５に入力される。

画像メモリ１２５から読出された画像データが液晶ディスプレイ、有機ＥＬディスプレイ等で構成される表示器１３５に供給されると共に、記録系信号処理部１２６に出力され、この記録系信号処理部１２６でＪＰＥＧ変換等を行ってＤＲＡＭ、ＳＲＡＭ、フラッシュメモリ等で構成されるメモリカード１１０に記憶される。
一方、手振れ補正を行うために、デジタルスチルカメラ１２０の筐体に垂直方向及び水平方向のコリオリ力が発生したときにこれを検出する振れ量検出手段としての例えばジャイロセンサ（ジャイロスコープ）で構成される垂直方向及び水平方向角速度センサ１２８及び１２９が設けられ、これら垂直方向及び水平方向角速度センサ１２８及び１２９から出力される検出信号が帯域制限フィルタ１３０及び１３１に供給されて帯域制限された後、増幅器１３２及び１３３で増幅されてからＡ／Ｄ変換器１３４によって所定サンプリング周期でデジタル信号に変換されてバッファメモリ１３６に一時格納される。そして、バッファメモリ１３６に格納された垂直方向及び水平方向の角速度データがデジタルスチルカメラ１２０の制御を統括するマイクロコンピュータ１２７に読出される。

そして、マイクロコンピュータ１２７では、シャッタ開閉センサ１３７からのシャッタ開閉信号ＳＳが入力されたときに、このシャッタ開閉信号がシャッタ開状態となっている間及びその前後の所定時間のバッファメモリ１３６に格納されている垂直方向及び水平方向の角速度データを読込み、読込んだ角速度データを記録系信号処理部１２６が画像メモリ１２５から画像データを読込むタイミングで記録系信号処理部１２６に出力して、この記録系信号処理部１２６で画像データと共に信号処理してメモリカード１１０に記憶する。

すなわち、角速度センサ１２８及び１２９の各角速度データをサンプリング間隔Δｔ（例えば４０〜４００Ｈｚの範囲の任意の周波数）でサンプリングし、それをバッファメモリ１３６に時系列的に格納しておく、シャッタ開閉センサ１３７でシャッタが開かれる前の所定数のサンプルデータ、シャッタが開いてから閉じられるまでのサンプルデータ、シャッタが閉じられた後での所定数のサンプルのデータを使用して、角速度の変化を求める。その際、画像データは画像メモリ１２５に蓄積する。

そして、バッファメモリ１３６に蓄積された各角速度データを画像メモリ１２５に記憶した画像データと共に記録系信号処理部１２６で信号処理してメモリカード１１０に記憶する。
この記録系信号処理部１２６では、画像情報をＪＰＥＧ変換してＪＰＥＧ画像ファイルに記憶すると共に、そのＪＰＥＧ画像ファイルのＥｘｉｆ ＩＦＤ内の階層化されたユーザタグに各角速度データを記憶する。

また、デジタルスチルカメラ１２０は、メモリカード１１０に記憶した画像情報をプリンタ１やホストコンピュータ１４０に出力する画像データ出力部１３８を有し、この画像データ出力部１３８からＵＳＢ等の接続コードを介して画像情報を出力する。
また、前述したプリンタ１では、デジタルスチルカメラ１２０からの振れがある劣化画像情報が接続コードを介して第２インタフェース１４から直接入力されるか又はメモリカード１１０を介して入力されたときに、ユーザーが画像復元ボタン７を操作することにより、ウィーナフィルタを使用した画像復元処理を実行する。

ここで、画像復元の原理は、原画像から劣化画像が生じる画像劣化モデルを図３について説明すると、原画像ｆ（ｘ，ｙ）とし、劣化画像をｇ（ｘ，ｙ）とし、さらに点広がり関数をｈ（ｘ，ｙ）、ノイズをｎ（ｘ，ｙ）としたとき、これらの関係は図３に示すようになり、式で表すと下記（１）式となる。
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊ｈ（ｘ，ｙ）＋ｎ（ｘ，ｙ） …………（１）
但し、＊は畳み込みを表す。

そして、劣化画像ｇ（ｘ，ｙ）、原画像ｆ（ｘ，ｙ）、点広がり関数ｈ（ｘ，ｙ）及びノイズｎ（ｘ，ｙ）のフーリエ変換を夫々Ｇ（μ，ν）、Ｆ（μ，ν）、Ｈ（μ，ν）及びＮ（μ，ν）とすると、前記（１）式より
Ｇ（μ，ν）＝Ｆ（μ，ν）Ｈ（μ，ν）＋Ｎ（μ，ν） …………（２）
が得られる。

そして、ウィーナフィルタによる画像復元の周波数応答Ｂ（μ，ν）は、
Ｂ（μ，ν）＝Ｈ（μ，ν）^*／｛Ｈ（μ，ν）Ｈ（μ，ν）^*＋Γ ……（３）
と表すことができる。ここで、^*は共役複素数、Γは近似定数を表す。
したがって、観測された画像のフーリエ変換Ｇ（μ，ν）に周波数応答Ｂ（μ，ν）を掛けた後、フーリエ逆変換すると復元画像を求めることができる。

そして、画像復元処理は、プリンタ側コントローラ６０内のＣＰＵ６２で実行され、図４に示すように、先ず、ステップＳ１で、振れが生じている劣化画像情報を読込み、次いでステップＳ２に移行して、劣化画像情報のＥｘｉｆ ＩＦＤ内の階層化されたユーザタグから各角速度データを取得する。
次いで、ステップＳ３に移行して、取得した各角速度データから振れ幅（ピクセル）を算出する。

この振れ量の算出は、デジタルスチルカメラ１２０のカメラレンズ１２１における光軸方位の変動状況を検出する角速度センサ２成分（角速度センサ１２８，１２９）は、図５に示すように、固体撮像素子１２２の平面内の直交ベクトル成分に対応するものである。これら２つの角速度成分は、図５に示すように、θｘ及びθｙの変数で表される。
この角度成分に補正係数λｘ及びλｙを乗算することにより、画像のｘ軸方向或いはｙ軸方向の振れ量（ピクセル）を求めることができる。

ここで、画像のＸ方向の振れ量ｘ_nはθｙ×λｘ、画像のｙ方向の振れ量ｙ_nはθｘ×λｙとなる。この場合の角速度センサ１２８，１２９より求めた振れ幅（ｘ_n，ｙ_n）（ｎ＝１，２，……Ｎ）の変化の様子は図６（ａ）に示すようになる。
次いで、ステップＳ４に移行して、算出した隣接する振れ幅（ｘ_n，ｙ_n）及び（ｘ_n+1，ｙ_n+1）間の最大変化量が大きいか否かを判定し、変化量が小さいときには直接ステップＳ６に移行するが、変化量が大きいときにはステップＳ５に移行して、振れ幅（ｘ_n，ｙ_n）を例えばキュービックスプライン処理を行うことによりスプライン補間して振れ幅（ｘ_m，ｙ_m）を算出してからステップＳ６に移行する。

このステップＳ６では、変化量の小さい振れ幅（ｘ_n，ｙ_n）又はスプライン補間した振れ幅（ｘ_m，ｙ_m）に対してガウスフィルタ処理を行う。このガウスフィルタ処理は、下記（４）式で表される２次元のガウス関数ｆ（ｘ，ｙ）を畳み込むことにより、振れ幅（ｘ_n，ｙ_n）又は（ｘ_m，ｙ_m）を平滑化する。
ｆ（ｘ，ｙ）＝ｅ−（ｘ²＋ｙ²）／２σ² …………（４）
この場合のガウス分布は図７（ａ）に示すようになり、図７（ａ）の矢印で示した断面におけるガウス分布断面図は図７（ｂ）で表される。

次いで、ステップＳ７に移行して、平滑化された振れ量からウィーナフィルタの点広がり関数を推定する点広がり関数推定処理を行う。
この点広がり関数推定処理は、振れ幅（ｘ₁，ｙ₁），（ｘ₂，ｙ₂），……（ｘ_N，ｙ_N）が与えられたとき、劣化画像ｇ（ｘ，ｙ）は次式で示されるように、原画像ｆ（ｘ，ｙ）を（ｘ_n，ｙ_n）（ｎ＝１，２，……Ｎ）画素だけ移動した画像の和により得られる。

このとき、劣化画像のフーリエスペクトルＧ（μ，ν）に注目すると、

が得られる。
これにより、点広がり関数のフーリエスペクトルＨ（μ，ν）は

となる。

次いで、ステップＳ８に移行して、復元対象となる劣化画像情報に対して、近似定数Γの値を異なる値に変化させて所定数の復元画像を生成する。この復元画像の生成は、ステップＳ７で算出した点広がり関数のフーリエスペクトルＨ（μ，ν）、その共役複素数Ｈ（μ，ν）^*及び所定数Ｍの近似定数Γとに基づいて前述した（３）式の演算を行うことにより、ウィーナフィルタの周波数応答Ｂ（μ，ν）を算出する。

次いでステップＳ９に移行して、算出した周波数応答Ｂ（μ，ν）を劣化画像のフーリエ変換Ｇ（μ，ν）に掛けた後フーリエ逆変換することにより、近似定数Γの異なる所定数の復元画像ｆ（ｘ，ｙ，Γ_i）（ｉ＝１，２，……Ｍ、Ｍは復元画像の総数）を生成する。
次いで、ステップＳ１０に移行して、各復元画像ｆ（ｘ，ｙ，Γ_i）の夫々についてソーベル（Ｓｏｂｅｌ）フィルタ処理を行うことによりエッジ部を抽出する。

このソーベルフィルタ処理は、Ｘ方向のソーベルフィルタを適用することにより、Ｘ方向の輝度の勾配（傾きの程度）を示すエッジ勾配画像Ｇｘを算出し、Ｙ方向のソーベルフィルタを適用することにより、Ｙ方向の輝度の勾配を示すエッジ勾配画像Ｇｙを算出する。言い換えるとＣＰＵ６２はＸ方向のソーベルフィルタを適用することにより、輝度画像情報のＸ方向のエッジ部を抽出し、Ｙ方向のソーベルフィルタを適用することにより、輝度画像情報のＹ方向のエッジ部を抽出する。なお、エッジ勾配画像Ｇｘを構成する画素をＧｘ（ｉ，ｊ）とし、エッジ勾配画像Ｇｙを構成する画素をＧｙ（ｉ，ｊ）とする。Ｇｘ（ｉ，ｊ）は、輝度画像情報の位置（ｉ，ｊ）におけるＸ方向のエッジ勾配を示す、Ｇｙ（ｉ，ｊ）は、輝度画像情報の位置（ｉ，ｊ）におけるＹ方向のエッジ勾配を示すことになる。

ここで、ソーベルフィルタは、図８（ａ）は、エッジ画像の生成に使用されるＸ方向のソーベルフィルタを説明する図である。図８（ｂ）は、エッジ画像の生成に使用されるＹ方向のソーベルフィルタを説明する図である。図８（ｃ）は、或る画素Ｐ（ｉ，ｊ）を中心とする３×３画素の範囲及びこの範囲内の画素Ｐの輝度Ｙを説明する模式図である。
ソーベルフィルタは３×３の９要素からなるフィルタである。図８（ｃ）に示される画素Ｐ（ｉ，ｊ）に対してソーベルフィルタを適用するということは、その画素Ｐ（ｉ，ｊ）の近傍に存在する３×３画素の輝度Ｙ（ｉ−１，ｊ−１）〜Ｙ（ｉ＋１，ｊ＋１）に対して、ソーベルフィルタに対応する要素との積を算出し、得られた９個の積の和を求めるということである。例えば、画素Ｐ（ｉ，ｊ）に対してＸ方向のソーベルフィルタを適用した場合、Ｇｘ（ｉ，ｊ）は、以下のように算出される。

Ｇx(i,j)＝[Ｙ(i+1,j-1)＋２×Ｙ（i+1，j）＋Ｙ(i+1，j+1)]
−[Ｙ(i-1,j-1)＋２×Ｙ（i-1，j）＋Ｙ(i-1，j+1)] ……（８）
Ｘ方向のソーベルフィルタ及びＹ方向のソーベルフィルタを輝度画像情報Ｙ（ｉ，ｊ）に夫々適用すると、図９の斜線で示すように、画素Ｐ（ｉ，ｊ）を中心とする３×３画素に基づいて、Ｘ方向のエッジ勾配Ｇｘ（ｉ，ｊ）及びＹ方向のエッジ勾配Ｇｙ（ｉ，ｊ）が求められる。

次に、各画素の勾配の大きさａ（ｉ，ｊ）を算出する。ここで、勾配の大きさａ（ｉ，ｊ）は、次式のように算出される。つまり、図１０に示すように、勾配の大きさａ（ｉ，ｊ）は、水平方向のエッジ勾配Ｇｘ（ｉ，ｊ）のベクトルと、垂直方向のエッジ勾配Ｇｙ（ｉ，ｊ）のベクトルとの＝の大きさとして算出される。
ａ（ｉ，ｊ）＝√｛（Ｇｘ²（ｉ，ｊ）＋Ｇｙ²（ｉ，ｊ）） …………（９）
そして、処理対象となるエッジ画素の抽出を勾配の大きさａ（ｉ，ｊ）が閾値Ｔｈよりも大きければ、その画素がエッジ画素として抽出される。

このようにして復元画像情報の全てについてエッジ部を抽出する。
次いで、ステップＳ１１に移行して、抽出したエッジ部に対して膨張フィルタ処理を施して黒ノイズ成分を除去する。この膨張フィルタ処理では、３×３の中心画素の輝度を、周りの９個（中心画素を含む）の画素の中での最大輝度に置き換える処理を行う。
次いで、ステップＳ１２に移行して、膨張処理画像とエッジ画像との差分を算出することにより、エッジ部の近傍に存在する平坦領域即ちリンギングが発生しやすい高リンギング領域を抽出する。

次いで、ステップＳ１３に移行して、抽出した高リンギング領域に対して、次式により最終復元画像情報を算出する。

ここで、argmin ｆ(x)はf(x)を最小とするにするｘを求めることを意味する。因みに、min f(x)は最小化されたf(x)を表す。例えばｆ(ｘ)＝ｘ²＋２のとき、argmin ｆ(x)＝０、min f(x)＝２となる。
上記（４）式は、絶対誤差の総和が最小となるｆ^(ｘ,ｙ,Γ_i)を出力するを意味し、Ｎ個のサンプルに対して絶対誤差の総和を最小とするＲは、それらのメディアン値である。

エッジ付近で大きく値が変動するリンギングに注目した場合、二乗誤差の総和等を最小とするようなＲでは、値が大きく異なるサンプル（外れ値と呼ぶ）の影響を大きく受けるであろうと考え、この結果再び鮮明さが失われるなどの問題が起きる。これに対してメディアン値は外れ値に対してロバストである特徴を有することから、Ｒとしてメディアン値を使用する。

次いで、ステップＳ１４に移行して、高リンギング領域を除く他の低リンギング領域に対しては下式のように予め設定した第２の近似定数Γ₁を使用して最終復元画像を生成する。

次いで、ステップＳ１５に移行して、高リンギング領域の最終復元画像情報と低リンギング領域の最終復元画像情報とを加え合わせることにより、全体の復元画像情報を生成する。
次いで、ステップＳ１６に移行して、復元画像情報をメモリカード１１０に記憶し、さらに復元画像情報をヘッドユニット２０に出力すると共に、制御ユニット６８に対して印刷指令を出力してから画像復元処理を終了する。

ここで、図４の画像復元処理を実行するための画像復元処理プログラムはメモリ６４のＲＯＭに格納されている。また、図４の処理において、ステップＳ１〜ステップＳ７の処理が点広がり関数推定手段に対応し、ステップＳ８及びステップＳ９の処理が画像復元手段に対応し、このうちステップＳ８の処理が周波数応答算出手段に対応し、ステップＳ９の処理が復元画像生成手段に対応し、ステップＳ１０〜ステップＳ１４の処理が高リンギング領域画像復元手段に対応し、ステップＳ１５の処理が低リンギング領域画像復元手段に対応している。

次に、上記実施形態の動作を説明する。
先ず、デジタルスチルカメラ１２０のカメラレンズ１２１を被写体に向けて図示しないレリーズボタンを押圧することにより、露出計で測光された露出に基づいてシャッタ速度が算出され、算出されたシャッタ速度でシャッタが作動されることにより、カメラレンズ１２１を通った画像が固体撮像素子１２２上に投影される。

この固体撮像素子１２２上に投影された画像情報が固体撮像素子駆動回路１２３からの駆動信号によって順次読出され、カメラ系信号処理部１２４で所定の信号処理が行われて画像データとして画像メモリ１２５に記憶される。この画像メモリ１２５に記憶された画像データは表示器１３５に供給されて表示される。この表示器１３５に表示された画像データは振れ量を含んだ画像データであり、表示された画像データから振れ量の程度を判断することができる。

このとき、シャッタが作動されることにより、シャッタ開閉センサ１３７からシャッタが開いてから閉じるときにオン状態からオフ状態に反転するシャッタ開閉信号ＳＳがマイクロコンピュータ１２７に入力されると、この時点から所定時間即ちＡ／Ｄ変換器１３４で角速度センサ１２８及び１２９の角速度データを予め設定した所定数のサンプル分の角速度データがバッファメモリ１３６に格納される時間が経過した時点で、バッファメモリ１３６からシャッタが開状態となる前の所定数のサンプル分とシャッタが開状態を継続している間のサンプル分とシャッタが閉じてからの所定数のサンプル分とを合計した連続的な角速度データθｘ₁〜θｘ_N及びθｙ₁〜θｙ_Nを読出す。

そして、読出した角速度データθｘ₀〜θｘ_N及びθｙ₁〜θｙ_Nをバッファメモリ１３６に一時記憶し、その後記録系信号処理部１２６が画像メモリ１２５に記憶された画像データを読込むタイミングで角速度データθｘ₀〜θｘ_N及びθｙ₁〜θｙ_Nを記録系信号処理部１２６に供給することにより、画像データＪＰＥＧ変換してＪＰＥＧファイルに格納する共に、ＪＰＥＧファイルのＥｘｉｆに角速度データθｘ₀〜θｘ_N及びθｙ₁〜θｙ_Nを格納し、作成したＪＰＥＧファイルをメモリカード１１０に記憶する。

このようにして順次デジタルスチルカメラ１２０で所望の被写体を撮影して画像データ及び角速度データθｘ₀〜θｘ_N及びθｙ₁〜θｙ_NをＪＰＥＧファイルに格納してメモリカード１１０に記憶する。
その後、所望のタイミングでデジタルスチルカメラ１２０を接続コードでプリンタ１の第２インタフェース１４に接続するか又はデジタルスチルカメラ１２０からメモリカード１１０を引き出して、このメモリカード１１０をプリンタのカードスロット６に装着することにより、メモリカード１１０に記憶されている撮影した画像情報及び角速度データを含むＪＰＥＧファイルを、制御ユニット６８を介してＣＰＵ６２に読込む。

このとき、デジタルスチルカメラ１２０から読込んだ画像情報が振れがない図１１に示す鮮明な画像であるときには、リンギングが生じ易い高リンギング領域となるエッジ部近傍は、横軸にピクセルを縦軸に輝度値をとった断面図で表すと図１１に示すように、左側の比較的高輝度の状態からエッジ部Ｅで輝度値が急峻に低下し、その後僅かに一度輝度値が高くなってから低い状態を維持することになり、エッジ部でリンギングを生じることな鮮明な画像となる。

ところが、デジタルスチルカメラ１２０で同一被写体を撮影したときに、振れを生じると、図１２に示すようにぼけとノイズが生じた劣化画像となる。この劣化画像では、前述した図１１の鮮明な画像と同様のエッジ部近傍の輝度値は、左側の高輝度状態からエッジ部に向かうに従って徐々に輝度が低下し、エッジ部Ｅでは比較的緩やかに輝度が低下し、その後の輝度変化も図１１に比べて輝度変化の少ない状態となる。

このため、劣化画像情報を読込んだ状態で、ユーザーが画像復元ボタン７を操作すると、ＣＰＵ６２で、図４に示す画像復元処理が実行される。
この画像復元処理では、先ず、デジタルスチルカメラ１２０又はメモリカード１１０から劣化画像情報及び角速度データθｘ₁〜θｘ_N及びθｙ₁〜θｙ_Nを含むＪＰＥＧファイルを読込み（ステップＳ１）、次いでＪＰＥＧファイルのＥｘｉｆから角速度データθｘ₁〜θｘ_N及びθｙ₁〜θｙ_Nを取得する（ステップＳ２）。

次いで、角速度データθｘ₁〜θｘ_N及びθｙ₁〜θｙ_Nから振れ幅（ｘ_n，ｙ_n）を算出し（ステップＳ３）、次いで隣接する振れ幅（ｘ_n，ｙ_n）及び（ｘ_n+1，ｙ_n+1）間の最大変化量が大きいか否かを判定する（ステップＳ４）。
このとき、隣接する振れ幅（ｘ_n，ｙ_n）及び（ｘ_n+1，ｙ_n+1）間の最大変化量が小さいときには振れ幅（ｘ₁，ｙ₁）〜（ｘ_N，ｙ_N）の夫々についてガウスフィルタ処理を行って平滑化するが（ステップＳ６）、図６（ａ）に示すように、隣接する振れ幅（ｘ_n，ｙ_n）及び（ｘ_n+1，ｙ_n+1）間の最大変化量が大きいときには振れ幅（ｘ₁，ｙ₁）〜（ｘ_N，ｙ_N）に対してキュービックスプライン処理することにより（ステップＳ５）、図６（ｂ）に示すように、スプライン補間してより多くの振れ幅を得、これをガウスフィルタ処理することにより平滑化する（ステップＳ６）。

そして、劣化画像情報ｇ（ｘ，ｙ）は原画像ｆ（ｘ，ｙ）を振れ幅（ｘ_n，ｙ_n）だけ移動した画像の和により得られることから、平滑化された振れ幅（ｘ₁，ｙ₁）〜（ｘ_N，ｙ_N）から前記（７）式の演算を行って点広がり関数のフーリエスペクトルＨ（μ，ν）を算出する。算出した点広がり関数のフーリエスペクトルＨ（μ，ν）はスプライン補間した図６（ｂ）の振れ幅（ｘ₁，ｙ₁）〜（ｘ_N，ｙ_N）を使用した場合、図１３に示すようになる。

そして、点広がり関数のフーリエスペクトルＨ（μ，ν）が算出されると、算出した点広がり関数のフーリエスペクトルＨ（μ，ν）とその共役複素数Ｈ（μ，ν）^*と所定数の異なる値の１０種類の近似定数Γ（＝０．０１，０．０２，０．０３，０．０４，０．０５，０．０６，０．０７，０．０８，０．０９，０．１）を使用して、前述した（３）式の演算を行うことにより、ウィーナフィルタの周波数応答Ｂ（μ，ν）を算出する（ステップＳ８）。

次いで、算出した周波数応答Ｂ（μ，ν）を劣化画像のフーリエ変換Ｇ（μ，ν）に掛けた後フーリエ逆変換することにより、近似定数Γの異なる図１５〜図２４に示す復元画像ｆ（ｘ，ｙ，Γ_i）（ｉ＝１，２，……Ｍ、Ｍは復元画像の総数）を生成する（ステップＳ９）。
次いで、各復元画像ｆ（ｘ，ｙ，Γ_i）の夫々についてソーベルフィルタ処理することにより、エッジ部を抽出し（ステップＳ１０）、抽出したエッジ部について膨張フィルタ処理を施し（ステップＳ１１）、膨張処理画像とエッジ画像との差分からリンギングを生じ易い高リンギング領域を抽出する（ステップＳ１２）。

そして、抽出した高リンギング領域の夫々について第１の最適近似定数Γの復元画像情報を生成する（ステップＳ１３）。この第１の最適近似定数Γの復元画像情報の生成は、前述した（１０）式によって、各復元画像ｆ＾（ｘ，ｙ，Γ₁）〜ｆ＾（ｘ，ｙ，Γ_N）から全ての復元画像ｆ＾（ｘ，ｙ，Γ₁〜ｆ＾（ｘ，ｙ，Γ_N）のメディアン値Ｒを減算した値の総和を最小とするｆ＾（ｘ，ｙ，Γ_j）を算出し、これを最終復元情報ｆ＾_final（ｘ，ｙ）として選択する。

高リンギング領域を表す図１４〜図２３の例では、図２４に示すように、図１４〜図２３のうち近似定数Γ₂＝０．０２の図１５が最終復元結果として選択される。
一方、高リンギング領域を除く低リンギング領域については、一律に予め設定した例えば鮮明さを優先させた第２の最適近似定数Γ₁＝０．０１を使用した図１４の復元画像を最終復元結果として選択する（ステップＳ１４）。

そして、高リンギング領域の最終結果と低リンギング領域の最終結果に基づいてウィーナフィルタ処理を行うことにより、図２５に示すようにリンギングを抑制しながら鮮明な復元画像を得ることができる。
このように上記実施形態によると、角速度データに基づいてウィーナフィルタの点広がり関数のフーリエスペクトラムＨ（μ，ν）を算出し、この点広がり関数のフーリエスペクトルとその共役複素数Ｈ（μ，ν）^*と所定数の異なる近似定数Γ₁〜Γ_Nとに基づいてウィーナフィルタの周波数応答Ｂ（μ，ν）を算出し、この周波数応答Ｂ（μ，ν）を劣化画像のフーリエ変換Ｇ（μ，ν）に掛けた後、フーリエ逆変換することにより、近似定数Γの異なる所定数の復元画像を生成し、生成した所定数の復元画像からリンギングを生じ易い高リンギング領域を全て抽出して、抽出した高リンギング領域について最適な近似定数Γとなる復元結果を算出すると共に、残りの低リンギング領域について鮮明さを優先させた一番小さい近似定数Γ₁を選択して復元結果を算出するので、高リンギング領域毎に第１の最適近似定数Γを設定することができるので、設定した第１の最適近似定数を使用してウィーナフィルタ処理することにより、リンギングを抑制しながら鮮明な復元画像情報を生成することができる。

ここで、角速度データから点広がり関数のフーリエスペクトルＨ（μ，ν）を算出する際に、角速度データの隣接する振れ幅の変化量が大きいときに、スプライン補間処理することにより、より多くの角速度データを得ることができ、正確な点広がり関数のフーリエスペクトルを算出することができる。しかも、そのままの振れ幅又はスプライン補間した振れ幅をガウスフィルタ処理して平滑化することにより、より正確な点広がり関数のフーリエスペクトルＨ（μ，ν）を算出することができる。

また、所定数の復元画像情報から高リンギング領域を抽出する際に、ソーベルフィルタ処理と膨張フィルタ処理を行った画像情報の差分を算出して高リンギング領域を抽出するので、エッジ部の近傍に存在する平坦領域であるリンギングが発生しやすい領域を正確に抽出することができる。ここて、膨張フィルタ処理を行うことにより、黒いノイズ成分を除去できるという利点がある。

なお、上記実施形態においては、本発明をプリンタに適用した場合について説明したが、これに限定されるものではなく、画像情報を再生するプロジェクタやテレビ等の表示装置に本発明を適用して劣化画像情報を復元して表示したり、コンピュータに本発明を適用して劣化画像情報を復元して表示したりすることができる。
また、上記実施形態では、角速度データを直接ＪＰＥＧファイルのＥｘｉｆに格納する場合について説明したが、これに限定されるものではなく、角速度データをｎ次の多項式に近似して、各次数の係数を記憶することにより、記憶容量を減少させるようにしてもよい。

さらに、上記実施形態においては、撮像装置としてデジタルスチルカメラ１２０を適用した場合について説明したが、これに限定されるものではなく、他の撮像装置を適用することもできる。また、劣化画像情報の入力もデジタルスチルカメラ１２０から入力される場合に限られるものではなく、ホストコンピュータから劣化画像を入力したり、ＣＤ−Ｒ等の記録媒体から劣化画像を入力したりするようにしてもよい。

さらにまた、上記実施形態においては、振れ幅（ｘ_n，ｙ_n）に対してガウスフィルタ処理する場合について説明したが、これに限定されるものではなく、ガウスフィルタ処理を省略するようにしてもよい。

本発明の一実施形態を示す概略構成図である。 デジタルスチルカメラの電気的構成を示すブロック図である。 画像劣化モデルを示す説明図である。 ＣＰＵで実行する画像復元処理手順の一例を示すフローチャートである。 デジタルスチルカメラに生じる角速度の説明に供する模式図である。 角速度データを示す特性線図であって、（ａ）は角速度データであり、（ｂ）はスプライン補間した角速度データである。 ガウス分布を示す説明図であって、（ａ）はガウス分布特性図、（ｂ）は（ａ）の矢印上のガウス分布断面図である。 ソーベルフィルタ処理の説明に供する図であって、（ａ）はＸ方向のソーベルフィルタ処理を説明する図、（ｂ）はＹ方向のソーベルフィルタ処理を説明する図、（ｃ）は或る画素を中心とする３×３の画素範囲及びこの範囲内の画素の輝度を説明する模式図である。 ソーベルフィルタの適用を模式的に説明する図である。 勾配の大きさａとエッジ方向θを模式的に説明する図である。 鮮明な画像情報を示す説明図である。 ボケとノイズを含む劣化画像を示す説明図である。 点広がり関数のフーリエスペクトルを示す特性線図である。 近似定数Γを０．０１に設定した場合の復元画像情報を示す説明図である。 近似定数Γを０．０２に設定した場合の復元画像情報を示す説明図である。 近似定数Γを０．０３に設定した場合の復元画像情報を示す説明図である。 近似定数Γを０．０４に設定した場合の復元画像情報を示す説明図である。 近似定数Γを０．０５に設定した場合の復元画像情報を示す説明図である。 近似定数Γを０．０６に設定した場合の復元画像情報を示す説明図である。 近似定数Γを０．０７に設定した場合の復元画像情報を示す説明図である。 近似定数Γを０．０８に設定した場合の復元画像情報を示す説明図である。 近似定数Γを０．０９に設定した場合の復元画像情報を示す説明図である。 近似定数Γを０．１に設定した場合の復元画像情報を示す説明図である。 高リンギング領域の最終復元結果を示す説明図である。 ウィーナフィルタの復元結果を示す説明図である。

符号の説明

１…プリンタ、５…操作ボタン、６…カードスロット、７…画像復元ボタン、２０…ヘッドユニット、３０…用紙搬送機構、４０…キャリッジ移動機構、５０…検出器群、６０…プリンタ側コントローラ、６２…ＣＰＵ、１００…ＣＤ−Ｒ装置、１１０…メモリカード、１２０…デジタルスチルカメラ、１２１…カメラレンズ、１２２…固体撮像素子、１２４…カメラ系信号処理部、１２５…画像メモリ、１２６…記録系信号処理部、１２７…マイクロコンピュータ、１２８，１２９…角速度センサ、１３４…Ａ／Ｄ変換器、１３５…表示器、１３６…バッファメモリ、１３７…シャッタ開閉センサ、１４０…ホストコンピュータ

Claims (14)

1. 撮像装置から得られる画像の振れを表す振れ検出情報を含む劣化画像情報を、ウィーナフィルタを使用して原画像情報を復元する画像復元装置であって、
   前記劣化画像情報に含まれる前記振れ検出情報に基づいて前記ウィーナフィルタの点広がり関数を推定する点広がり関数推定手段と、該点広がり関数推定手段で推定した点広がり関数と所定数の異なる近似定数Γとを用いて所定数の復元画像情報を得る画像復元手段と、該画像復元手段で得た復元画像情報の夫々についてリンギングの発生しやすい高リンギング領域を抽出して当該高リンギング領域における第１の最適近似定数Γを選択して前記高リンギング領域の最終復元画像情報を生成する高リンギング領域画像復元手段と、前記高リンギング領域以外の低リンギング領域の第２の最適近似定数Γを選択して当該低リンギング領域の最終復元画像情報を生成する低リンギング領域画像復元手段とを有することを特徴とする画像復元装置。
2. 前記振れ検出情報は撮像装置の上下及び左右の振れを検出する角速度センサの出力情報であることを特徴とする請求項１に記載の画像復元装置。
3. 前記点広がり関数推定手段は、前記振れ検出情報から点広がり関数のフーリエスペクトルを算出するように構成されていることを特徴とする請求項１又は２に記載の画像復元装置。
4. 前記点広がり関数推定手段は、前記振れ検出情報の振れ幅が大きいときに当該振れ検出情報をスプライン補間処理することを特徴とする請求項１乃至３の何れか１項に記載の画像復元装置。
5. 前記点広がり関数推定手段は、前記振れ検出情報をガウスフィルタ処理することを特徴とする請求項１乃至４の何れか１項に記載の画像復元装置。
6. 前記画像復元手段は、前記点広がり関数推定手段で推定した点広がり関数と所定数の異なる前記近似定数Γとを用いて所定数の前記ウィーナフィルタの周波数応答Ｂ（μ，ν）を算出する周波数応答算出手段と、該周波数応答算出手段で算出した所定数の前記周波数応答Ｂ（μ，ν）を個別に前記劣化画像情報のフーリエ変換情報に乗算した後フーリエ逆変換して所定数の復元画像情報を得る復元画像生成手段とを有していることを特徴とする請求項１乃至５の何れか１項に記載の画像復元装置。
7. 前記周波数応答算出手段は、前記点広がり関数推定手段で算出した点広がり関数のフーリエスペクトルと、当該フーリエスペクトルの共役複素数と、前記近似定数Γとから周波数応答を算出するように構成されていることを特徴とする請求項６に記載の画像復元装置。
8. 前記高リンギング領域画像復元手段は、前記高リンギング領域の抽出を、ソーベルフィルタを使用してエッジ部を検出することにより行うことを特徴とする請求項１乃至７の何れか１項に記載の画像復元装置。
9. 前記高リンギング領域画像復元手段は、エッジ部を検出するソーベルフィルタと、該ソーベルフィルタで検出したエッジ部を膨張処理する膨張フィルタとを有することを特徴とする請求項１乃至８の何れか１項に記載の画像復元装置。
10. 前記高リンギング領域画像復元手段は、所定数の前記復元画像情報のメディアン値を求め、前記各復元画像情報から前記メディアン値を減算した値の総和が最小となる復元画像情報を最終復元画像情報として選択することを特徴とする請求項１乃至９の何れか１項に記載の画像復元装置。
11. 撮像装置から得られる画像の振れを表す振れ検出情報を含む劣化画像情報を、ウィーナフィルタを使用して原画像情報を復元する画像復元方法であって、
    前記劣化画像情報に含まれる前記振れ検出情報に基づいて前記ウィーナフィルタの点広がり関数を推定する点広がり関数推定ステップと、推定した点広がり関数と所定数の異なる近似定数Γとを用いて前記近似定数Γの異なる所定数の復元画像情報を得る画像復元ステップと、前記各復元画像情報の夫々についてリンギングの発生しやすい高リンギング領域を抽出して当該高リンギング領域における第１の最適近似定数Γを選択して前記高リンギング領域の最終復元画像情報を生成する高リンギング領域画像復元ステップと、前記高リンギング領域以外の低リンギング領域の第２の最適近似定数Γを選択して当該低リンギング領域の最終復元画像情報を生成する低リンギング領域画像復元ステップとを有していることを特徴とする画像復元方法。
12. 前記画像復元ステップは、前記推定した点広がり関数と所定数の異なる近似定数Γとを用いて所定数の前記ウィーナフィルタの周波数応答Ｂ（μ，ν）を算出する周波数応答算出ステップと、算出した所定数の前記周波数応答Ｂ（μ，ν）を個別に前記劣化画像情報のフーリエ変換情報に乗算した後フーリエ逆変換して所定数の復元画像情報を得る復元画像生成ステップとを備えていることを特徴とする請求項１１に記載の画像復元装置。
13. 撮像装置から得られる画像の振れを表す振れ検出情報を含む劣化画像情報を、ウィーナフィルタを使用して原画像情報を復元する画像復元処理をコンピュータに実行させるための画像復元プログラムであって、
    前記劣化画像情報に含まれる前記振れ検出情報に基づいて前記ウィーナフィルタの点広がり関数を推定する点広がり関数推定ステップと、推定した点広がり関数と所定数の異なる近似定数Γとを用いて近似定数Γの異なる所定数の復元画像情報を得る画像復元ステップと、各復元画像情報の夫々についてリンギングの発生しやすい高リンギング領域を抽出して当該高リンギング領域における第１の最適近似定数Γを選択して前記高リンギング領域の最終復元画像情報を生成する高リンギング領域画像復元ステップと、前記高リンギング領域以外の低リンギング領域の第２の最適近似定数Γを選択して当該低リンギング領域の最終復元画像情報を生成する低リンギング領域画像復元ステップとをコンピュータに実行させることを特徴とする画像復元プログラム。
14. 前記画像復元ステップは、前記推定した点広がり関数と所定数の異なる近似定数Γとを用いて所定数の前記ウィーナフィルタの周波数応答Ｂ（μ，ν）を算出する周波数応答算出ステップと、算出した所定数の前記周波数応答Ｂ（μ，ν）を個別に前記劣化画像情報のフーリエ変換情報に乗算した後フーリエ逆変換して所定数の復元画像情報を得る復元画像生成ステップとを有していることを特徴とする請求項１３に記載の画像復元プログラム。

Images