JP2008059462A - 画像修復方法、画像修復プログラム、及び、画像修復装置 - Google Patents

Abstract

【課題】画像処理の処理負担の軽減し、また、処理時間の短縮できる画像修復方法、画像修復プログラム及び画像修復装置を提供する。
【解決手段】ブレ画像におけるブレの１次元方向を設定し、設定された１次元方向に基づいて、ブレによる画像の点広がり関数で表されるブレ特性情報を算出し、ブレ特性情報の種類を分類し、点広がり関数の係数に基づいて広がりを判定し、広がりの大きいブレ特性情報から順にフィルタ処理をする。
【選択図】図１

Description

本発明は、画像修復方法、画像修復プログラム及び画像修復装置に関し、具体的には撮像時にブレを含むブレ画像をフィルタ処理によって該ブレ画像を修復する画像修復方法、画像修復プログラム及び画像修復装置に関する。

一般に、デジタルカメラやデジタルビデオカメラなどの撮像装置は、人物や風景などの被写体像を撮像し、デジタル画像を出力、記憶、または、表示する。デジタル画像は、コンピュータ等の演算装置を用いて、ユーザの要求する画像に近い画像へ変換するための画像処理を施される。例えば、デジタル画像の取得後において、撮像時に手ブレ等により生じたブレを含むブレ画像に所定の画像処理を施すことで修復している。このようなブレ画像を画像処理を用いて修復する技術としては、例えば下記特許文献に示すものが提案されている。

ブレ画像を修復する手法としては、被写体像を撮像した撮像データからブレ情報を検出し、ブレの大きさや方向によりブレ画像を修復するための復元関数で表されるフィルタを用いて、ブレ画像に含まれるブレを仮想的に除去することでブレのない画像を生成するための画像処理を行っている。

特開昭６２−１２７９７６号公報 特開平３−１５９４８２号公報 特開平６−１１８４６８号公報

ところで、ブレ画像を修復する際には、ブレの影響が及ぶ画素の範囲の広さに比例して、複雑なフィルタ処理が必要となり、画像処理を実行するコンピュータにおいて処理負担が増大してしまう点や、処理にかかる時間が長くなる点で改善の余地があった。

本発明は、上記事情に鑑みてなされたもので、その目的は、画像処理の処理負担の軽減し、また、処理時間の短縮できる画像修復方法、画像修復プログラム及び画像修復装置を提供することにある。

本発明の上記目的は、下記構成によって達成される。
（１）被写体像のブレ画像を修復する画像修復方法であって、
前記ブレ画像におけるブレの１次元方向を設定し、設定された前記１次元方向に基づいて、ブレによる画像の点広がり関数で表されるブレ特性情報を算出し、前記ブレ特性情報の種類を分類し、前記点広がり関数の係数に基づいて広がりを判定し、前記広がりの大きいブレ特性情報から順にフィルタ処理をすることを特徴とする画像修復方法。
（２）前記広がりが、前記点広がり関数の示す全範囲のうち８０％以上を占める範囲によって定義されることを特徴とする上記（１）に記載の画像修復方法。
（３）前記広がりが、前記点広がり関数の標準偏差又は分散によって定義されることを特徴とする上記（１）に記載の画像修復方法。
（４）前記ブレ特性情報の種類ごとに該ブレ特性情報を統合した後、前記広がりを判定することを特徴とする上記（１）から（３）のいずれか１つに記載の画像修復方法。
（５）前記ブレ特性情報のインパルス応答を算出し、該インパルス応答に基づいて前記ブレ特性情報の種類を分類することを特徴とする上記（１）から（４）のいずれか１つに記載の画像修復方法。
（６）被写体像のブレ画像を修復する画像修復プログラムであって、
前記ブレ画像におけるブレの１次元方向を設定し、設定された前記１次元方向に基づいて、ブレによる画像の点広がり関数で表されるブレ特性情報を算出するステップと、前記ブレ特性情報の種類を分類するステップと、前記点広がり関数の係数に基づいて広がりを判定するステップと、前記広がりの大きいブレ特性情報から順にフィルタ処理をするステップとを有することを特徴とする画像修復プログラム。
（７）前記広がりが、前記点広がり関数の示す全範囲のうち８０％以上を占める範囲によって定義されることを特徴とする上記（６）に記載の画像修復プログラム。
（８）前記広がりが、前記点広がり関数の標準偏差又は分散によって定義されることを特徴とする上記（６）に記載の画像修復プログラム。
（９）前記ブレ特性情報の種類ごとに該ブレ特性情報を統合した後、前記広がりを判定するステップを有することを特徴とする上記（６）から（８）のいずれか１つに記載の画像修復プログラム。
（１０）前記ブレ特性情報のインパルス応答を算出し、該インパルス応答に基づいて前記ブレ特性情報の種類を分類するステップを有することを特徴とする上記（６）から（９）のいずれか１つに記載の画像修復プログラム。
（１１）被写体像のブレ画像を修復する画像修復装置であって、
前記ブレ画像におけるブレの１次元方向を設定し、設定された前記１次元方向に基づいて、ブレによる画像の点広がり関数で表されるブレ特性情報を算出する手段と、前記ブレ特性情報の種類を分類する手段と、前記点広がり関数の係数に基づいて広がりを判定する手段と、前記広がりの大きいブレ特性情報から順にフィルタ処理をする手段とを有することを特徴とする画像修復装置。
（１２）前記広がりが、前記点広がり関数の示す全範囲のうち８０％以上を占める範囲によって定義されることを特徴とする上記（１１）に記載の画像修復装置。
（１３）前記広がりが、前記点広がり関数の標準偏差又は分散によって定義されることを特徴とする上記（１１）に記載の画像修復装置。
（１４）前記ブレ特性情報の種類ごとに該ブレ特性情報を統合した後、前記広がりを判定する手段を有することを特徴とする上記（１１）から（１３）のいずれか１つに記載の画像修復装置。
（１５）前記ブレ特性情報のインパルス応答を算出し、該インパルス応答に基づいて前記ブレ特性情報の種類を分類する手段を有することを特徴とする上記（１１）から（１４）のいずれか１つに記載の画像修復装置。

本発明は、ブレによる画像の点広がり関数で表されるブレ特性情報を用いて、ブレ特性情報の種類を判別し、種類ごとにブレ特性情報の効果を判別するため、それぞれのブレ特性情報の点広がり関数の広がりを判定している。ブレ画像は、元々原画からの転写である。そこで、ブレ画像のブレに影響を及ぼしている画素が原画のいくつの画素から転写されたものであるかについて、点広がり関数の係数の値から算出する。こうすることで、ブレ画像を適したフィルタで処理することができるとともに、フィルタ処理の効果が高いブレ特性情報から順にフィルタ処理をすることで、処理回数を削減でき、処理にかかる時間や処理負担を低減させることができる。

本発明によれば、画像処理の処理負担の軽減し、また、処理時間の短縮できる画像修復方法、画像修復プログラム及び画像修復装置を提供できる。

以下、本発明の実施形態を図面に基づいて詳しく説明する。
図１は、本発明にかかる撮像システムを説明する図である。撮像システム１０は、被写体像１１を、レンズ１３を介して固体撮像素子やＣＭＯＳ型の半導体素子などの撮像センサ１４に撮像する撮像装置１２を備えている。撮像センサ１４によって取得された画像信号が画像処理部１５に出力される。

画像処理部１５によって所定の画像処理を行った後、画像処理された画像信号が他の処理装置に出力され、または、ディスプレイ等の表示装置に表示され、または、メモリ等の記憶部に記憶される。

本実施形態は、撮像時にユーザの手ブレ等に起因して生じるブレを含むブレ画像に所定の画像処理を施すことで修復するものである。

図２は、ブレ画像の復元を概略的に説明する図である。被写体像を撮像する表示装置の画素配列に対応させてなる原画として表した場合に、原画を構成する画素のうち複数（図２においては３個）の画素からの光が、撮像した像の一つの画素に受光されることにより当該画素においてブレとなる。図２の場合では、原画の３画素分の光が撮像した像を構成する画素のうちの一つに受光しているため、図中上下方向において、３画素分のブレが生じたものとすることができる。図２において、図中上下方向をブレが発生している方向と規定しており、本発明におけるブレ画像の修復においては、ブレの方向を所定の１次元方向に設定し、その１次元方向におけるブレ量に基づいて後述する処理を施している。

本実施形態では、このブレが生じたブレ画像に対して、ブレの１次元方向に基づいて、ブレによる画像の点広がり関数で表れるブレ特性情報を算出し、当該ブレ特性情報をブレのフィルタとして用いてブレ画像をフィルタリングする復元処理を施すことによって、ブレのない復元画像を生成する。

撮像した画像とブレの無い理想的な画像との関係を説明する。
撮像した画像をＳとし、ブレの無い理想的な画像をＯとし、ブレの状態を表す点広がり関数（ブレ特性情報、ブレフィルタともいう。）をＨとしたとき、以下式（１）の関係が成立する。
Ｓ＝Ｈ×Ｏ ・・・式（１）

上記式（１）を、画像を構成する画素単位に対応するように行列で表現すると、ＳとＯは画素の列ベクトルで表示することができる。つまり、以下式（２）のようにＯを求めることで、ブレの無い画像を復元することができる。

Ｏ＝Ｗ×Ｓ ・・・式（２）
ここで、Ｗ＝１／Ｈとし、Ｗを逆ブレ特性（補正行列）とする。

点広がり関数Ｈは、被写体像の露光中に外部センサ（例えば、ジャイロスコープや圧電素子など）によってブレ検出により求める方法や、撮像された画像データから画像処理により導出する方法がある。画像処理により点広がり関数Ｈを導出する方法では、画像中の輪郭（エッジ）のブレ方向から導出する方法や画像の一部に所定のマークを規定し、当該マークを基準としてときのブレの状態から導出する方法がある。

ブレ情報は、ブレの位置を画素間隔単位に量子化し、また、その位置における光の強度も量子化することでデジタル信号処理として取り扱うことができる。ブレが一次元方向に等速で生じている場合には、ブレ範囲内において光の強度差が存在しないことに相当するため、一定の強度とすることができる。

図３は、ブレ画像の平面視を示す図である。図３では、ブレ画像における任意の画素Ｚ⁰に着目し、矢印Ｘ方向をブレの一次元方向としたときの状態を示している。このとき、Ｚ⁰に３画素分のブレが生じているとき、画素Ｚ⁰における１画素分のブレをＺ^-1とし、２画素分のブレをＺ^-2とすると、ブレの特性を示す点広がり関数Ｈ（Ｚ）を下記式（３）で表すことができる。

Ｈ（Ｚ）＝（１+Z^-1+Z^-2）/3 ・・・式（３）

原画に対して上記広がり関数Ｈを用いてフィルタ処理することでブレを除去し、ブレのない復元画像を生成することができる。広がり関数Ｈは、ブレを除去するためのフィルタとしての機能を有していることから、ブレフィルタとも呼ばれる。

また、点広がり関数Ｈは、画像を構成する画素単位に対応するように行列で表現すると下記式（４）で表すことができる。

次に、上式（４）の点広がり関数Ｈの正則行列を求めるため、本実施形態では、Ｈに外挿を行う。本実施形態の外装は、復元画像の外側の部分の全ての画素が、ブレ画像の端の部分の画素と同じとなると仮定し、目標とする正則行列に対して数が超える行数及び列数を正則行列の中に補完するものである。

本実施形態では、式（４）に示す点広がり関数Ｈの１０行×１２列の行列のうち１１列目と１２列目とを１０列目に外挿している。こうして、下記式（５）に示すように、点広がり関数Ｈの近似行列Ｆを求めることができる。

次に、下記式（６）に示すように、近似行列Ｆの逆行列Ｗを求める。

上記逆行列Ｗは、ブレ画像に施すことで復元画像を得るための補正行列として機能する。
次に、補正行列Ｗと原画との違いを数値的に確認するため、行列Ｗと行列Ｆとの積を算出する。行列Ｗと行列Ｆとを積算することで、下記式（７）に示す行列を得ることができる。

上記式（７）の行列に着目すると、各行の１１〜１３列の値がブレ補正により発生したノイズを示しており、これらノイズが３行ごとに周期性を有している。ここで、一次元方向のブレがｎ画素分のずれがある場合には、ｎ行ごとに周期性を有する。

このような周期的なノイズに基づいて、復元画像上でサンプリング処理することで、（サンプリング数）×（ノイズ成分）＋（原画のサンプリングデータ）を得ることができる。そして、（原画のサンプリングデータ）の代わりに、（ブレ画像のサンプリングデータ）を使用することで、周期的なノイズを各画素から削除でき、より改善された画質を得ることができる。

ここで、以下の式に示すように、原画に対して上下の一次元方向にブレが生じたブレ画像のブレ特性関数（以下、単に、フィルタともいう。）を仮定する。

そして、上記式（８）において、Ｚから順に、Ｚ^-1、Ｚ^-2の解を算出したときの式を下記式（９−１）から（９−３）に示す。

すると、上記式（９−１）から（９−３）に示すように、下方向に向かってＯにかかる係数が大きくなる。この場合、使用したフィルタによれば、式（９−１）から（９−３）の上から下の方向に向かって計算すると、係数が下に行くほど大きくなるため、解が収束しない。また、式（８）の係数によっては、上から下の方向に向かって計算すると、解が収束するものがある。さらに、フィルタは、以下の４つに分類することができる。
（i）上から下方向に入力すると収束するもの
（ii）下から上方向に入力すると収束するもの
（iii）収束する方向のないもの
（iv）座標をずらすことで原画と一致するもの

本発明においては、これらフィルタの種類を判別し、収束する方向があるものはその方向に従ってフィルタ処理し、収束する方向のないものは、上述するように、一次元方向に等速のブレが生じた場合の画像修復を行うものとする。

次に本発明にかかる画像復元方法の手順を説明する。
図４は、画像復元処理の手順示すフローチャートである。最初に、ブレ画像におけるブレの１次元方向を設定し、設定された１次元方向に基づいて、ブレによる画像の点広がり関数で表されるブレ特性情報を算出する。
そして、算出されたブレ特性情報のインパルス応答の収束を判定し、この結果に基づいて、フィルタの種類の判別を実行する。

次に、本実施形態のインパルス応答について説明する。上記式（６）に見られる行列Ｗにおいて、各行は所定のパターンを有しており、例えば、第１行目の値を決定することで、他の行の値を決定することができる。ここで、第１行目が規則性を有しており、逆特性のインパルス応答列となっている。

逆特性である１／Ｈ（Ｚ）のインパルス応答列を導出する方法は、所定の入力値を逆フィルタに入力することにより得ることができる。図５は、逆フィルタのシグナルフローを示す図である。なお、逆フィルタＷ（＝１／Ｈ（Ｚ））は、以下式で示すものとする。

インパルス応答列は、Ｚ^-1の初期値を全て０とし、入力値（1,0,0,0,0…）を入力することによりインパルス応答列が出力される。

本実施形態では、出力されたインパルス応答列の収束を調べることで、フィルタの上記種類を分類する。

フィルタの種類の分類の手法としては、上記のように、ブレ特性情報のインパルス応答に基づいて判別する方法のほかに、後述するように、ブレ特性情報の関数を因数分解によって算出することも可能である。

具体的には、ブレ特性情報を示す関数の逆数（本実施形態では、逆ブレフィルタともいう。）を因数分解し、その結果に基づいてフィルタ処理を判定する手法を用いることができる。

図６から図９は、逆ぶれフィルタに基づいてフィルタの種類の分類を判定する手順を示すフロー図である。
最初に、ブレ画像におけるブレの１次元方向を設定し、この設定された１次元方向に基づいて、ブレ特性情報を算出する。そして、このブレ特性情報の逆ブレフィルタ（逆ブレ特性関数）を求める。ここで、逆ブレフィルタは、下記式で示すものとする。

本実施形態では、逆ブレフィルタが、画素の位置情報を示す所定値の多項式で表され、所定値にかかるそれぞれの係数が０か否かを判別した後、係数の値の大小関係を検出し、ブレ特性情報（ブレフィルタ）の種類を分類するものである。以下、具体的に、説明する。

まず、図６に示すように、逆ブレフィルタの係数bj0，bj1，bj2のうち、いずれか２つが０か否かを判定する。ここで、係数bj0，bj1，bj2のうち、いずれか２つが０の場合には、さらに、係数bj0が０となるか否かを判定する。係数bj0が０の場合には、係数bj1が０となるか否かを判定する。係数bj1が０の場合には、係数bj2が０となるか否かを判定する。

係数bj0が０とはならない場合には、逆ブレフィルタを係数bj0で割ることで因数分解する。係数bj1が０とはならない場合には、ブレ画像の座標を１つ進ませ、係数bj1で割ることで因数分解する。係数bj2が０とはならない場合には、ブレ画像の座標を２つ進ませ、係数bj2で割ることで因数分解する。逆ブレフィルタを因数分解した後、判定を行うフローを終了する。

逆ブレフィルタの係数bj0，bj1，bj2のうち、いずれか２つが０とならない場合には、図７に示すように、係数bj2が０となるか否かの判定を行う。係数bj2が０となる場合には、続いて、係数bj0と係数bj1とのそれぞれの絶対値が等しいか否かを判定する。係数bj0と係数bj1とのそれぞれの絶対値が等しくない場合には、係数bj0の絶対値が係数bj1の絶対値より大きいか否かを判定する。係数bj0の絶対値が係数bj1の絶対値より大きくない場合には、係数bj0の絶対値が係数bj1の絶対値より小さいと判定する。

ここで、係数bj0と係数bj1とのそれぞれの絶対値が等しい場合には、フィルタの収束する方向のないフィルタと判定する。係数bj0の絶対値が係数bj1の絶対値より大きい場合には、現在の方向で収束するフィルタと判定する。係数bj0の絶対値が係数bj1の絶対値より小さい場合には、現在の方向に対して逆の方向で収束するフィルタと判定する。このように、係数bj0と係数bj1とのそれぞれの絶対値の大小によってフィルタの種類の分類を行った後、判定を行うフローを終了する。

係数bj2が０ではないと判定された場合には、続いて、係数bj1が０か否かを判定する。そして、係数bj1が０の場合に、係数bj0と係数bj2とのそれぞれの絶対値が等しいか否かを判定する。係数bj0と係数bj2とのそれぞれの絶対値が等しくない場合には、係数bj0の絶対値が係数bj2の絶対値より大きいか否かを判定する。係数bj0の絶対値が係数bj2の絶対値より大きくない場合には、係数bj0の絶対値が係数bj2の絶対値より小さいと判定する。

ここで、係数bj0と係数bj2とのそれぞれの絶対値が等しい場合には、フィルタの収束する方向のないフィルタと判定する。係数bj0の絶対値が係数bj2の絶対値より大きい場合には、現在の方向で収束するフィルタと判定する。係数bj0の絶対値が係数bj2の絶対値より小さい場合には、現在の方向に対して逆の方向で収束するフィルタと判定する。このように、係数bj0と係数bj2とのそれぞれの絶対値の大小によってフィルタの種類の分類を行った後、判定を行うフローを終了する。

一方で、係数bj1が０とならない場合に、係数bj1と係数bj2とのそれぞれの絶対値が等しいか否かを判定する。係数bj1と係数bj2とのそれぞれの絶対値が等しくない場合には、係数bj1の絶対値が係数bj2の絶対値より大きいか否かを判定する。係数bj1の絶対値が係数bj2の絶対値より大きくない場合には、係数bj1の絶対値が係数bj2の絶対値より小さいと判定する。ここで、係数bj1と係数bj2とのそれぞれの絶対値が等しい場合には、フィルタの収束する方向のないフィルタと判定する。係数bj1の絶対値が係数bj2の絶対値より大きい場合には、現在の方向で収束するフィルタと判定する。係数bj1の絶対値が係数bj2の絶対値より小さい場合には、現在の方向に対して逆の方向で収束するフィルタと判定する。このように、係数bj1と係数bj2とのそれぞれの絶対値の大小によってフィルタの種類の分類を行った後、判定を行うフローを終了する。

なお、上記のフローとは別に、逆ブレフィルタが下記式となる場合がある。

逆ブレフィルタが上記式となる場合には、ブレ画像の座標をｋ個進ませて、係数bj0を掛ける。その後、フィルタの分類を判定する処理を終了する。

上記実施形態では、フィルタを分類し、収束する方向を特定し、その収束する方向に従ってブレ画像をフィルタ処理をすることで画像復元処理にかかる処理量を低減させることができる。また、フィルタを分類した結果、収束する方向がないブレ画像については、一次元方向に等速のブレが生じた場合の画像修復を行う。

次に、分類したフィルタの種類に応じて、フィルタを統合して処理する。本実施形態では、上記（i）上から下方向に入力すると収束するもの，（ii）下から上方向に入力すると収束するもの，（iii）収束する方向のないもの，（iv）座標をずらすことで原画と一致するもの、との４種類に分類したフィルタを種類ごとに統合する。しかし、フィルタの種類はこれらに限定されず、ブレ補正処理の必要に応じて分けられた種類であってもよい。

複数のフィルタは、一般的に下記式で表すことができる。なお、ここではN個のフィルタの式を示す。

又は、下記式で表すことができる。

上記式（１３）及び式（１４）を上（i）から（iv）の種類に分類する。その後、下記式に示すように、フィルタ種類ごとに統合する。

上記式（１５−１）は、上から下方向で入力すると収束するタイプのフィルタを統合した多項式である。上記式（１５−２）は、下から上方向で入力すると収束するタイプのフィルタを統合した多項式である。上記式（１５−３）は、収束する方向がないタイプのフィルタを統合した多項式である。上記式（１５−４）は、座標をずらすことで原画と一致するタイプのフィルタを統合した多項式である。

ここで、上記式（１５−３）で統合したフィルタのタイプの場合は、統合しないで処理した方がよい場合がある。例えば、上記式（１５−３）の場合には、統合したフィルタが処理の過程で発散してしまう場合が存在する。

フィルタを統合した後、統合されたそれぞれのフィルタによって演算することで、全ての処理を完了する。このとき、統合されたそれぞれのフィルタを演算する順番は特に限定されず、任意の順番で実行することができる。

本発明によれば、フィルタをその種類ごとに統合することで、処理回数を低減させることができる。なお、式（１５−３）で統合されるべきフィルタを統合しない場合には、その分処理回数が増えるが、式（１５−１），（１５−２）及び（１５−４）のフィルタを統合した分だけ処理回数を減らすことができる。

次に、統合したフィルタの効果を、点広がり関数の係数に基づいて判定する。ブレ画像は、元々、被写体像の原画からの転写である。本発明者らは、ブレ画像のブレを構成する画素が原画のいくつの画素から転写されているのかに着目した。例えば、図２では、原画の３画素がブレとしてブレ画像に転写されていることを意味している。

つまり、ブレが座標ごとずれているパターンを除き、ブレ画像は、ブレ特性情報が以下の式（１６）で表されているとき、係数A0、A1、A２…Anの係数の広がりを、ブレ特性情報がブレ画像にフィルタ処理の際に及ぼす影響の度合いとしている。

図１０は、ブレ特性情報の広がりを示す図である。図１０中、横方向（x方向）がブレ特性情報の点広がり関数のZ,Z^-1,Z^-2,..,Z-nを示し、縦方向がZ,Z^-1,Z^-2,..,Z^-nに対応する係数を示している。図１０は、原画の３画素分がブレてブレ画像に転写しているときのグラフを示している。ここで、３画素分のブレの場合には、Z,Z^-1,Z^-2に対応するそれぞれの係数A0,A1,A2に基づいて判定する。

図１０において、矢印Wは、点広がり関数の広がりを意味している。本発明において、広がりとは、係数の値が全て含まれる全体の所定の範囲の８０％以上の範囲と定義する。
または、広がりWは、点広がり関数の標準偏差又は分散と定義することができる。

広がりWが大きいほど、ブレフィルタとして高い効果の処理といえる。このため、本実施形態では、広がりを判定した後、広がりの大きいブレ特性情報から順にフィルタ処理を実行する。また、広がりが所定の値より小さい場合には、ブレフィルタとして高い効果の処理を行えないものとして、そのブレ特性情報に基づいてフィルタ処理を実行しないようにしてもよい。

本実施形態では、ブレ特性情報を分類して該ブレ特性情報を種類ごとに統合した後で、ブレ特性情報の広がりを判定しているが、統合する前にブレ特性情報の広がりを判定してもよい。しかし、統合した後で、ブレ特性情報の広がりを判定することで、広がりの判定を行う処理回数を減らせることため、処理回数及び処理時間をより一層短縮することができる。

上記実施形態によれば、ブレによる画像の点広がり関数で表されるブレ特性情報を用いて、ブレ特性情報の種類を判別し、種類ごとにブレ特性情報の効果を判別するため、それぞれのブレ特性情報の点広がり関数の広がりを判定している。ブレ画像は、元々原画からの転写である。そこで、ブレ画像のブレに影響を及ぼしている画素が原画のいくつの画素から転写されたものであるかについて、点広がり関数の係数の値から算出する。こうすることで、ブレ画像を適したフィルタで処理することができるとともに、フィルタ処理の効果が高いブレ特性情報から順にフィルタ処理をすることで、処理回数を削減でき、処理にかかる時間や処理負担を低減させることができる。

本発明は、被写体像のブレ画像を修復する画像修復プログラムであって上記画像修復方法を実行するものであってもよい。すなわち、画像修復プログラムは、ブレ画像におけるブレの１次元方向を設定し、設定された１次元方向に基づいて、ブレによる画像の点広がり関数で表されるブレ特性情報を算出するステップと、ブレ特性情報の種類を分類するステップと、点広がり関数の係数に基づいて広がりを判定するステップと、広がりの大きいブレ特性情報から順にフィルタ処理をするステップとを有するものである。

また、上記画像修復プログラムは、ブレ特性情報の示す全範囲のうち８０％を占める範囲によって定義されることが好ましい。または、広がりが、ブレ特性情報の標準偏差又は分散によって定義されることが好ましい。

上記画像修復プログラムは、ブレ特性情報の種類を分類し、該ブレ特性情報を統合した後、広がりを判定するステップを有することが好ましい。
上記画像修復プログラムは、ブレ特性情報のインパルス応答を算出するステップと、該インパルス応答に基づいて前記ブレ特性情報の種類を分類するステップとを有することが好ましい。

本発明にかかる画像修復プログラムは、演算処理装置によって実行することで可能であり、例えば、デジタルカメラに内蔵された演算部やパーソナルコンピュータの中央処理装置によって実行することができる。

本発明は、被写体像のブレ画像を修復する画像修復装置とすることができる。画像修復装置は、ブレ画像におけるブレの１次元方向を設定し、設定された１次元方向に基づいて、ブレによる画像の点広がり関数で表されるブレ特性情報を算出する手段と、ブレ特性情報の種類を分類する手段と、点広がり関数の係数に基づいて広がりを判定する手段と、広がりの大きいブレ特性情報から順にフィルタ処理をする手段とを有する構成とする。

上記画像修復装置は、広がりが、点広がり関数の示す全範囲のうち８０％以上を占める範囲によって定義されることが好ましい。または、広がりが、前記ブレ特性情報の標準偏差又は分散によって定義されることが好ましい。

上記画像修復装置は、ブレ特性情報の種類を分類し、該ブレ特性情報を統合した後、広がりを判定する手段を有することが好ましい。
上記画像修復装置は、ブレ特性情報のインパルス応答を算出する手段と、該インパルス応答に基づいてブレ特性情報の種類を分類する手段とを有する構成とすることが好ましい。

画像修復装置は、例えば、図１に示す構成において、画像処理部１５を用いて各手段を実行することができる。

本発明にかかる撮像システムを説明する図である。 ブレ画像の復元を概略的に説明する図である。 ブレ画像の平面視を示す図である。 画像復元処理の手順示すフローチャートである。 逆フィルタのシグナルフローを示す図である。 逆ぶれフィルタに基づいてフィルタの種類の分類を判定する手順を示すフロー図である。 逆ぶれフィルタに基づいてフィルタの種類の分類を判定する手順を示すフロー図である。 逆ぶれフィルタに基づいてフィルタの種類の分類を判定する手順を示すフロー図である。 図６〜８に示すフローとは別の手順を示すフロー図である。 ブレ特性情報の広がりを示す図である。

符号の説明

１０ 撮像システム
１１ 被写体像
１３ レンズ
１４ 撮像センサ
１５ 画像処理部

Claims (15)

1. 被写体像のブレ画像を修復する画像修復方法であって、
   前記ブレ画像におけるブレの１次元方向を設定し、設定された前記１次元方向に基づいて、ブレによる画像の点広がり関数で表されるブレ特性情報を算出し、前記ブレ特性情報の種類を分類し、前記点広がり関数の係数に基づいて広がりを判定し、前記広がりの大きいブレ特性情報から順にフィルタ処理をすることを特徴とする画像修復方法。
2. 前記広がりが、前記点広がり関数の示す全範囲のうち８０％以上を占める範囲によって定義されることを特徴とする請求項１に記載の画像修復方法。
3. 前記広がりが、前記点広がり関数の標準偏差又は分散によって定義されることを特徴とする請求項１に記載の画像修復方法。
4. 前記ブレ特性情報の種類ごとに該ブレ特性情報を統合した後、前記広がりを判定することを特徴とする請求項１から３のいずれか１つに記載の画像修復方法。
5. 前記ブレ特性情報のインパルス応答を算出し、該インパルス応答に基づいて前記ブレ特性情報の種類を分類することを特徴とする請求項１から４のいずれか１つに記載の画像修復方法。
6. 被写体像のブレ画像を修復する画像修復プログラムであって、
   前記ブレ画像におけるブレの１次元方向を設定し、設定された前記１次元方向に基づいて、ブレによる画像の点広がり関数で表されるブレ特性情報を算出するステップと、前記ブレ特性情報の種類を分類するステップと、前記点広がり関数の係数に基づいて広がりを判定するステップと、前記広がりの大きいブレ特性情報から順にフィルタ処理をするステップとを有することを特徴とする画像修復プログラム。
7. 前記広がりが、前記点広がり関数の示す全範囲のうち８０％以上を占める範囲によって定義されることを特徴とする請求項６に記載の画像修復プログラム。
8. 前記広がりが、前記点広がり関数の標準偏差又は分散によって定義されることを特徴とする請求項６に記載の画像修復プログラム。
9. 前記ブレ特性情報の種類ごとに該ブレ特性情報を統合した後、前記広がりを判定するステップを有することを特徴とする請求項６から８のいずれか１つに記載の画像修復プログラム。
10. 前記ブレ特性情報のインパルス応答を算出し、該インパルス応答に基づいて前記ブレ特性情報の種類を分類するステップを有することを特徴とする請求項６から９のいずれか１つに記載の画像修復プログラム。
11. 被写体像のブレ画像を修復する画像修復装置であって、
    前記ブレ画像におけるブレの１次元方向を設定し、設定された前記１次元方向に基づいて、ブレによる画像の点広がり関数で表されるブレ特性情報を算出する手段と、前記ブレ特性情報の種類を分類する手段と、前記点広がり関数の係数に基づいて広がりを判定する手段と、前記広がりの大きいブレ特性情報から順にフィルタ処理をする手段とを有することを特徴とする画像修復装置。
12. 前記広がりが、前記点広がり関数の示す全範囲のうち８０％以上を占める範囲によって定義されることを特徴とする請求項１１に記載の画像修復装置。
13. 前記広がりが、前記点広がり関数の標準偏差又は分散によって定義されることを特徴とする請求項１１に記載の画像修復装置。
14. 前記ブレ特性情報の種類ごとに該ブレ特性情報を統合した後、前記広がりを判定する手段を有することを特徴とする請求項１１から１３のいずれか１つに記載の画像修復装置。
15. 前記ブレ特性情報のインパルス応答を算出し、該インパルス応答に基づいて前記ブレ特性情報の種類を分類する手段を有することを特徴とする請求項１１から１４のいずれか１つに記載の画像修復装置。

Images