JP2009020844A - 画像データ処理方法および撮像装置 - Google Patents

Abstract

【課題】 マクロ機能の無い撮像装置で撮影されたボケ画像（非合焦点画像）をもとにコンピュータに負荷をかけず、少ないメモリ容量で鮮明な画像を生成すること。
【解決手段】 合焦点画像と、非合焦点画像とをもとに詳細フォーカス関数を計算し、次に、この詳細フォーカス関数に対して、所定のアルゴリズムで重要点を選定し、この重要点に対するスマートフォーカス関数を計算する。このスマートフォーカス関数をマクロ機能のない撮像装置に実装して、非合焦点画像から鮮明な合焦点画像を生成する。
【選択図】 図２

Description

本発明は、デジタルカメラ等の撮像装置を用いて被写体を撮影する際に、ピント外れによる非合焦点画像を鮮明化するための画像データ処理方法および撮像装置に関する。

従来、ピント外れの状態で撮影して得られた非合焦点画像（いわゆるボケ画像、以下、デフォーカス画像という）を鮮明化する技術が提案されている。たとえば、特許文献１では、デジタルカメラ等で撮影した画像の、回転と平行移動を含む不均一な手ぶれを高精度に補正するため、手ぶれによる画素の回転及び平行移動を表す座標変換行列を決定し、その座標変換行列を用いて、画像上の各画素位置での手ぶれベクトルを推定し、次に各画素値に対して、その位置の手ぶれベクトルに沿った補間演算によりボケの補正を施すという手法が提案されている。

また、特許文献２では、撮影された３次元画像データから、撮影装置の基本性能や撮影条件に因るボケ成分を画素毎に確実に減らし、その３次元画像データを用いる画像処理の結果を高精度化及び高品質化させるため、与えられた撮影パラメータの下で対象物の内部構造を撮影して得た実空間の３次元画像データの画素毎のボケを軽減するためのＰＳＦ（point spread function）などのボケ関数を撮影装置の基本性能を表すパラメータ及び撮影パラメータの少なくとも一方に応じて設定し、この設定されたボケ関数を用いて前記画像データにボケ軽減のための補正処理を施している。
特許文献３では、合焦点領域と焦点外れ（非合焦点）領域とが混在する画像を鮮明化するため、対象画像を構成する全画素のそれぞれを着目画素として、着目画素の色情報に影響を与える周辺画素の範囲を示す錯乱円を推定し、当該推定された錯乱円に基づいてボケ関数の逆フィルタを用いて、着目画素の色情報を周辺画素の影響の無い状態に復元するという方法並びに装置が提案されている。
特開２０００−２９８３００号公報 特開２００５−５８７６０号公報 特開２００５−６３０００号公報

ところで、フォーカス関数は、一般にその値に負の値を含み、対応するＰＳＦ関数に比較してサイズが１０倍程度大きくなる。たとえば、３×３ピクセルのＰＳＦ関数があった場合、対応するフォーカス関数は１０×１０ピクセル程度の大きさになる。したがって、デフォーカス処理を行うのに比較して、対応するフォーカス処理はその１０倍程度の処理コストがかかる。このため、フォーカス処理のためのメモリ容量やＣＰＵ負荷をいかに低減するかが問題となる。

また、マクロ（接写）機能のないデジタルカメラに適用しようとすると、単に焦点外れのみを対処するのでは不十分であり、焦点外れと手ぶれの補正を同時に処理する必要がある。

本発明は、上述のかかる事情に鑑みてなされたものであり、コンピュータに負荷をかけず、少ないメモリ容量で鮮明な画像を得ることができ、また、焦点外れと手ぶれによって不鮮明となったデフォーカス画像を精度良く補正することのできる画像データ処理方法および撮像装置を提供することを目的とする。

上記目的を達成するため、本発明に係わる画像データ処理方法は、フォーカス関数を用いることで、ピントがずれてボケた画像（デフォーカス画像）からピントの合ったフォーカス画像を生成する。

ここで、フォーカス関数は画像のフィルタ関数の一種として定義される。フィルタ関数とは、画像をぼかしたり、エッジ抽出などに用いられたりする線形関数である。例えば画像ぼかしのためには以下のようなフィルタ関数がある。

入力画像および出力画像の座標（ｘ，y）におけるピクセル値を、それぞれｓ(ｘ，y)、ｄ（ｘ，y）としたとき、画像をぼかす処理は以下の式で表すことができる。

デフォーカス画像は、フォーカス画像に対してこのようなボケフィルタ関数（Ｐoint Spread Function，以下PSFという）をかけることで生成することができる。実際に撮影されるデフォーカス画像もこのモデルによって説明される。典型的なPSFはGaussianで近似されることが多い。

本発明の第一の特徴は、このようなPSFでボケた画像を生成するのとは逆に、デフォーカス画像からフォーカスのあった画像へフォーカスフィルタ関数を計算・適用することである。上記表１に対して、フォーカス関数は、以下のようなフィルタになる。

フォーカス関数の特徴は、上述の如く、その値に負の値を含むこと、対応するPSF関数に比較してサイズが大きくなるということがある。このため、本発明は、フォーカス関数に工夫を施すことによって、処理コストの削減を図るものである。

具体的には、本発明に係わる画像データ処理方法は、合焦点画像（フォーカス画像）と、同一被写体の非合焦点画像（デフォーカス画像）とをもとにフォーカス関数を生成し、該フォーカス関数を用いて撮像画像を鮮明化する画像データ処理方法であって、非合焦点画像の座標と合焦点画像の座標とを引数とし、詳細フォーカス関数を用いて、非合焦点画像から合焦点画像へのピクセル値の第１の変換式を定義し、該第１の変換式に対して、教育データとなる合焦点画像と非合焦点画像から最適解として詳細フォーカス関数を算出し、前記算出した詳細フォーカス関数について予め定められた個数の座標上の重要点を抽出する重要点選択処理を実行し、前記重要点選択処理によって重要点を抽出した後、非合焦点画像の座標と合焦点画像の座標とを引数とし、スマートフォーカス関数を用いて、該重要点に基づいて非合焦点画像から合焦点画像へのピクセル値の第２の変換式を定義し、該第２の変換式に対して、教育データとなる合焦点画像と非合焦点画像から最適解としてスマートフォーカス関数を算出し、当該スマートフォーカス関数を前記フォーカス関数とし、該フォーカス関数を用いて撮像手段を通して得られた非合焦点画像から合焦点画像を生成することを特徴とする。

本発明では、ボケ関数の逆フィルタを用いて画像の鮮明化処理を行うのではなく、予め合焦点画像と非合焦点画像から詳細フォーカス関数を算出し、次に重要点に着目したフォーカス関数（スマートフォーカス関数）を最小二乗法やニューラルネットワーク等を適用して再計算し、このフォーカス関数を用いて合焦点画像を生成するので、ＣＰＵに負荷をかけずに鮮明な画像を得ることができる。

上記の第１の変換式は、詳細フォーカス関数値をＦdetail(i,j)、合焦点画像のピクセル値をＩfocus(x,y)、非合焦点画像のピクセル値Ｉdefocus(x+i,y+j)、ｘ，ｙを整数、ｍ，ｎを自然数としたとき、
で表し、任意の画像座標上のＩfocus(x,y)、Ｉdefocus(x+i,y+j)を上記（１）式の最小二乗法に適用して、詳細フォーカス関数Ｆdetail(i,j)を算出する。

また、スマートフォーカス関数を計算するための重要点選択処理としては、以下のステップ１〜５を実行するとよい。
（ステップ１）詳細フォーカス関数の４角を重要点として選択する。
（ステップ２）現在重要点として残している点でドローネ三角形分割を行う。
（ステップ３）全ての点について予測フォーカス関数値を求める。予測フォーカス関数値は、その点が所属する三角形の頂点のフォーカス関数値から内挿することによって求める。
（ステップ４）全ての点について予測フォーカス関数値と実際のフォーカス関数値を比較して、その差分が最も大きい点を重要点として追加する。
（ステップ５）重要点の個数が予め定めた値を越えるまで上記ステップ２〜ステップ４を繰り返す。

以上の重要点選択処理によって重要点を選択した後、スマートフォーカス関数値を
Ｆsmart(i,j)とし、当該Ｆsmart(i,j)が重要点の場合にｗ＝１、重要点でない場合にｗ＝０、ｘ，ｙを整数、ｍ，ｎを自然数としたとき、非合焦点画像から合焦点画像への第２の変換式を以下の如く定義し、
任意の画像座標上のＩfocus(x,y)、Ｉdefocus(x+i,y+j)を上記（２）式の最小二乗法やニューラルネットワーク等に適用して、スマートフォーカス関数Ｆsmart(i,j)を演算する。

また、本発明に係わる画像データ処理方法は、焦点外れおよび手ぶれによる不鮮明画像を鮮明化する画像データ処理方法であって、一回の撮影時に複数枚の撮像画像を取得し、各撮像画像に対して上記のスマートフォーカス関数を用いて合焦点画像を生成した後、複数の合焦点画像のうち一の合焦点画像を基準画像として、該基準画像と他の合焦点画像との間の動きデータを算出し、該動きデータを用いて複数の合焦点画像を重ね合わせることによって手ぶれ補正画像を生成することを特徴とする。

本発明では、連写した複数の画像に対して、まずスマートフォーカス関数を用いて合焦点画像を生成した後に、各画像の多重解像度画像を生成し、たとえば国際公開公報（ＷＯ２００６／０７５３９４）に記載されている技術を用いて手ぶれ補正処理を行うことによって、画像焦点外れと手ぶれによるボケ要因の混在化した画像を鮮明化する。

本発明に係わる撮像装置は、上記のスマートフォーカス関数を有する撮像装置であって、焦点距離ごとに複数のスマートフォーカス関数を備え、撮像した画像に対して前記複数のスマートフォーカス関数の夫々を用いてフォーカス画像を生成し、各フォーカス画像のうち、画像のピクセル値から算出されるエッジまたはコーナの値に基づいて一のフォーカス関数を選択し、該フォーカス関数によって生成したフォーカス画像を撮像画像として出力することを特徴とする。

本発明では、スマートフォーカス関数を撮像装置に組み込むことによって、マクロ機能のない撮像装置でも鮮明な合焦点画像を撮影することができる。このとき、焦点距離ごとにスマートフォーカス関数を実装しておき、エッジやコーナのシャープ度など所定の優先順位によって最適な合焦点画像を選択して出力するようにする。

また、本発明に係わる撮像装置は、画像内の位置に対応付けられた複数のスマートフォーカス関数を備え、撮像した画像に対して画像内の位置に応じて対応するスマートフォーカス関数を用いてフォーカス画像を生成し、該フォーカス画像を撮像画像として出力することを特徴とする。

本発明では、画像内の位置に応じて適用するスマートフォーカス関数を使い分けることにより、レンズの収差等による画像の歪みを改善することができる。

以上説明したように、本発明によれば、フォーカス関数を事前計算し、このフォーカス関数をマクロ機能の無い撮像手段で撮影した非合焦点画像（デフォーカス画像）に適用することによって、コンピュータに負荷をかけず、合焦点画像（フォーカス画像）を精度良く補正することのできる。

以下、本発明の実施の形態を説明する。図１は、第１の実施の形態によるデジタルマクロ処理の流れの説明図である。

まず、原画像のフォーカス画像（合焦点画像）とデフォーカス画像（非合焦点画像）を撮影して、両画像データをパーソナルコンピュータ等のコンピュータ装置２へ入力する（Ｓ１０１）。

なお、原画像のフォーカス画像とデフォーカス画像の撮影の仕方としては、たとえば以下の方法がある。

（方法１）
あるチャート等を被写体として、これをピント外れの状態で近接撮影してデフォーカス画像を取得する。次に、このチャートを拡大印刷して、既に取得したデフォーカス画像と同じ大きさに写る距離でピントのあった状態で撮影してフォーカス画像を取得してコンピュータ装置２へ入力する。

（方法２）
まず、マクロ切替機能を有する撮像手段をマクロモードにして、ある被写体の画像を取得する。この画像は合焦点画像（フォーカス画像）であり、これを原画像として、コンピュータ装置２へ取り込む。次に、撮像手段のマクロ機能を無効にして、同じ被写体の画像を取得する。この画像は、ピントの合っていない非合焦点画像（デフォーカス画像）であり、同様にコンピュータ装置２へ保存する。

ステップＳ１０１の後、コンピュータ装置２では、このフォーカス画像とデフォーカス画像を用いてフォーカス画像計算に用いるフォーカス関数を求める。この際、まず、詳細フォーカス関数を求め（Ｓ１０２）、その後、ＣＰＵの処理コストを抑えるため所定のアルゴリズムで重要な点のみを残したスマートフォーカス関数を生成する（Ｓ１０３）。

このスマートフォーカス関数をマクロ機能の無いカメラ（撮像装置）１に実装して、このカメラで撮影したデフォーカス画像からこの画像のフォーカス画像を生成する（Ｓ１０４）。

図２は、上記の処理に用いるコンピュータ装置２と撮像装置１の機能ブロック図である。ここで、コンピュータ装置２は、外部からデータを入力するための入力部１２、外部へデータを出力するための出力部１３、演算処理を実行する演算部１０、データを記憶する記憶部１１を備えている。入力部１２や出力部１３としては、ＵＳＢ、ＦＤＤ、ＣＤ／ＤＶＤドライブ装置、ＬＡＮポートなどがある。また、図示しないが、必要によりキーボード、マウス、ディスプレイ、プリンタなどとのインタフェースを有するものとする。

演算部１０は、画像データを入力して記憶部１１に保存する画像データ入力手段２１、入力した画像データを用いて詳細フォーカス関数を導出する詳細フォーカス関数演算手段２２、この詳細フォーカス関数からスマートフォーカス関数を導出するスマートフォーカス関数演算手段２３、および、記憶部１１のデータを出力部１３を介して外部へ出力する出力手段２４を有している。各手段２１〜２４は、プログラムによって実現可能な機能である。

一方、撮像装置１は、マクロ機能を具備しない撮像手段４、実装されているスマートフォーカス関数データ３５と、撮像手段４によって撮影されたデフォーカス画像データ４１からフォーカス画像データ４３を計算するフォーカス画像生成手段４２を備えている。

次に、上記の構成を有する各装置１，２の動作を説明する。
まず、コンピュータ装置２によってスマートフォーカス関数データを生成する方法について説明する。

<画像取得段階>
まず、上記ステップＳ１０１で説明したいずれかの方法によって、被写体のフォーカス画像３１とデフォーカス画像３２を撮影し、これらの画像をコンピュータ装置２の入力部１２、画像データ入力手段２１を介して、記憶部１１へ取り込む。

両画像３１，３２を取り込んだ後、詳細フォーカス関数演算手段２２を起動して次の処理を実行する。以下、詳細フォーカス関数の算出方法について説明する。

<詳細フォーカス関数の算出処理>
原画像をデフォーカス画像に位置合わせした後、詳細フォーカス関数を求める。なお、フォーカス関数はそのピクセルサイズが比較的大きなフィルタ関数であり、詳細フォーカス関数とはピクセル（もしくは数ピクセル）単位でその関数値を持つもので、正確であるがデータ量が多くフォーカス演算処理時間がかかる。

詳細フォーカス関数値をＦdetail(i,j)、原画像のピクセル値をＩfocus(x,y)、デフォーカス画像のピクセル値Ｉdefocus(x+i,y+j)としたとき、上記（１）式のごとく定式化を行う。

そして、画像中任意の座標上のＩfocus(x,y)，Ｉdefocus(x+i,y+j)を上式の最小二乗法に適用することで、詳細フォーカス関数Ｆdetail(i,j)を計算する。この詳細フォーカス関数の算出は詳細フォーカス関数演算手段２２によって行う。

この方法によって求められた詳細フォーカス関数例を図３に示す。ここで、ほぼ同心円状に小ブロックの縞模様が見られるが、正の値、負の値が同心円状に変化していることを示している。

詳細フォーカス関数は1ピクセル毎ではなく、２ピクセル毎や３ピクセル毎など、任意のサンプリングステップで求めても良い。一般に、フォーカス関数のピクセル数は大きくなると計算時間がかかり過ぎ、それを削減するためにサンプリングステップを調節する。

ちなみに、詳細フィルタ関数値の横方向をNw，縦方向の数をNhとすると、それを求める計算時間はＯ(Nｗ²×Ｎh^２)となる。したがって、サンプリングステップを1ピクセル毎から2ピクセル毎にすれば、それを求める時間は約1/16ですむことになる。しかしサンプリングステップを大きくするほど精度は悪くなる。図３の例は詳細フィルタ関数値数27x27、サンプリングステップ２で求めた結果であり、図中の白もしくは灰色の■は正の値、×は負の値を意味し、白色が強いほどその絶対値が大きいことを表している。このときフィルタ関数の画像におけるピクセルサイズは53x53ピクセルになる。

詳細フィルタ関数値の個数Nw×Nh，ピクセルステップｓ，ピクセルサイズSw×Shとすると以下の関係式が成り立つ。
Sw＝ｓ×（Nw−１）＋１
Sh＝ｓ×（Nh−１）＋１

<スマートフォーカス関数の算出処理>
次に、スマートフォーカス関数演算手段２３を起動して、詳細フォーカス関数からスマートフォーカス関数を求める。詳細フォーカス関数は点の個数が多く、フォーカス画像生成の際に計算時間がかかる。

そこで詳細フォーカス関数の中で重要でない点はその値を保持せず、重要な点のみを残してフォーカス画像計算に用いる。この重要点のみのフォーカス関数がスマートフォーカス関数である。

ユーザは詳細フォーカス関数、重要点個数Nimp、原画像/デフォーカス画像を入力することによってスマートフォーカス関数を計算する。Nimpの値は0以上Nw×Nh以下の値で、大きいほど精度の良いスマートフォーカス関数となるが、画像フォーカス化に時間がかかる。

まずスマートフォーカス関数演算手段２３は以下のステップで重要点を選択する。
（Ｓ１）詳細フォーカス関数の４角を重要点として選択する。
（Ｓ２）現在重要点として残している点でドローネ三角形分割を行う。
（Ｓ３）全ての点について予測フォーカス関数値を求める。予測フォーカス関数値は、その点が所属する三角形の頂点のフォーカス関数値から内挿することによって求める。
（Ｓ４）全ての点について予測フォーカス関数値と実際のフォーカス関数値を比較して、その差分が最も大きい点を重要点として追加する。
（Ｓ５）重要点の個数がNimpを越えるまでステップ（Ｓ２）〜（Ｓ４）を繰り返す。

本実施形態によるスマートフォーカス関数算出処理における特徴の一つは、スマートフォーカス関数演算手段２３は上記の重要点選択後、すなわちステップＳ５の後に、再び最小二乗法によりその重要点のフォーカス関数値Fsmart(i,j)を計算することである。このときデフォーカス画像への変換式は上記（２）式のように定式化される。
単純に重要点の詳細フォーカス関数値Fdetail(i,j)を用いず、再度フォーカス関数値Fsmart(i,j)求めることにより、フォーカス画像の精度を向上させることができる。

図４は、上記の処理によって求めたスマートフォーカス関数で、元々個の729個の値を持っていた詳細フォーカス関数から256個の値を持つスマートフォーカス関数を算出した例である。なお、図３および図４において、■または×以外の黒色部分は値を持たないことを表している。

<撮像装置への実装および動作>
スマートフォーカス関数演算手段２３によって作成されたスマートフォーカス関数データは、出力手段２４、出力部１３を介して取り出され、撮像装置１の記憶部に実装される。

そして、マクロ機能を持たない撮像手段４によって撮影された画像は、デフォーカス画像であり、撮像装置１のフォーカス画像生成手段４２は、スマートフォーカス関数データを用いて、（２）式により、フォーカス画像データを生成する。

図５は、本実施の形態によるデータ処理によって生成されるフォーカス画像の一例である。図５（ａ）は、フォーカス関数を算出するための原画像、図５（ｂ）は、デフォーカス画像、図５（ｃ）は、フォーカス関数によって鮮明化されたフォーカス画像である。

なお、被写体までの距離に応じてフォーカス関数を何パターンかを事前に用意しておき、それぞれのフォーカス関数によって計算したフォーカス画像のエッジの強度（シャープさ）を比較することにより、最適なものを自動的に選ぶようにしても良い。

また、たとえば中心からの距離など、画像内の位置（領域も含む）ごとにフォーカス関数を用意し、画像内の位置によって対応するフォーカス関数を適用してフォーカス画像を生成するようにしても良い。これにより、レンズの収差などによる画像の歪みを改善することができる。

以上、本実施の形態によれば、スマートフォーカス関数を計算し、これを撮像装置へ組み込んでフォーカス画像を生成するので、コンピュータに負荷をかけず、少ないメモリ容量で、鮮明な画像を得ることができる。

次に本発明の第２の実施の形態を説明する。本実施の形態は、マクロ機能を具備しない撮像手段４で撮影するときに手ぶれが生じた場合のピントの外れた手ぶれ画像を鮮明化するときの手順を示すものである。

手ぶれと焦点外れの両者が混在する画像については、以下のステップＳ１１〜ステップＳ１５の手順によって、手ぶれを補正したフォーカス画像を生成する。
（Ｓ１１）まず、連写した複数枚（ｎ枚）のデフォーカス画像データの輝度画像を生成する。
（Ｓ１２）次に、各輝度画像の特徴点を抽出する。
（Ｓ１３）ｎ枚の輝度画像のうち、一の輝度画像（たとえば最初に取得した画像）を基準画像とし、以降に取得した画像を比較画像として、特徴点のマッチング処理によって特徴点間の動きデータを計算する。すなわち、ｎ−１枚の比較画像の特徴点間の動きデータを算出する。
（Ｓ１４）スマートフォーカス関数を用いて、ｎ枚のデフォーカス画像のフォーカス画像を生成し、各フォーカス画像に対してステップＳ１１の輝度画像生成処理とステップＳ１２の特徴点抽出処理処理を実行する。
（Ｓ１５）ステップＳ１４で生成したｎ枚のフォーカス画像の輝度画像に対して、ステップＳ１３で求めたデフォーカス画像の動きデータを初期値として対応するフォーカス画像の動きデータを算出し、順次、動き補正をして基準画像に合成していく。

本実施の形態によれば、まず、デフォーカス画像について特徴点の抽出を行い、動きデータを求めるので、多重解像度のレベル数を減らし、または、あえて多重解像度処理を実行することなく、特徴の強い箇所を特徴点とすることができる。このため、特徴点のミスマッチやＣＰＵの負荷を減らすことができる。また、デフォーカス画像で求めた動きデータをフォーカス画像の低解像度動きデータの初期値として使用することにより、手ぶれ補正処理とフォーカス化の処理を一体として処理することができ、処理時間の削減を図りつつ、高精度の手ぶれ補正・フォーカス画像を生成することができる。

本発明の実施の形態によるデジタルマクロ処理の流れの説明図である。 本発明の実施の形態による画像データ処理方法に用いられるコンピュータ装置と撮像装置の機能ブロック図である。 本発明の第１の実施の形態による詳細フォーカス関数の一例の説明図である。 本発明の第１の実施の形態によるスマートフォーカス関数の一例の説明図である。 本発明の実施例による生成されたフォーカス画像の一例であり、図５（ａ）は原画像、図５（ｂ）はデフォーカス画像、図５（ｃ）はフォーカス画像である。

符号の説明

１ 撮像装置
２ コンピュータ装置
３ 撮像手段（マクロ切替機能あり）
４ 撮像手段(マクロ機能なし)
１０ 演算部
１１ 記憶部
１２ 入力部
１３ 出力部
２１ 画像データ入力手段
２２ 詳細フォーカス関数演算手段
２３ スマートフォーカス関数演算手段
２４ 出力手段
３１ 原画像データ
３２，４１ デフォーカス画像データ
３３ 詳細フォーカス関数データ
３４ 設定値
３５ スマートフォーカス関数データ
４２ フォーカス画像生成手段
４３ フォーカス画像

Claims (7)

1. 合焦点画像と、同一被写体の非合焦点画像とをもとにフォーカス関数を生成し、該フォーカス関数を用いて撮像画像を鮮明化する画像データ処理方法であって、
   非合焦点画像の座標と合焦点画像の座標とを引数とし、詳細フォーカス関数を用いて、非合焦点画像から合焦点画像へのピクセル値の第１の変換式を定義し、該第１の変換式に対して、教育データとなる合焦点画像と非合焦点画像とから最適解として詳細フォーカス関数を算出し、
   前記算出した詳細フォーカス関数について予め定められた個数の座標上の重要点を抽出する重要点選択処理を実行し、
   前記重要点選択処理によって重要点を抽出した後、非合焦点画像の座標と合焦点画像の座標とを引数とし、スマートフォーカス関数を用いて、該重要点に基づいて非合焦点画像から合焦点画像へのピクセル値の第２の変換式を定義し、該第２の変換式に対して、教育データとなる合焦点画像と非合焦点画像とから最適解としてスマートフォーカス関数を算出し、
   当該スマートフォーカス関数を前記フォーカス関数とし、該フォーカス関数を用いて撮像手段を通して得られた非合焦点画像から合焦点画像を生成することを特徴とする画像データ処理方法。
2. 前記第１の変換式は、詳細フォーカス関数値をＦdetail(i,j)、合焦点画像のピクセル値をＩfocus(x,y)、非合焦点画像のピクセル値Ｉdefocus(x+i,y+j)、ｘ，ｙを整数、ｍ，ｎを自然数としたとき、
   で表されることを特徴とする請求項１記載の画像データ処理方法。
3. 前記重要点選択処理は、
   （ステップ１）詳細フォーカス関数の４角を重要点として選択し、
   （ステップ２）現在重要点として残している点でドローネ三角形分割を行い、
   （ステップ３）全ての点について、夫々の点が所属する三角形の頂点のフォーカス関数値から内挿することによって予測フォーカス関数値を演算し、
   （ステップ４）全ての点について前記予測フォーカス関数値と実際のフォーカス関数値とを比較して、その差分が最も大きい点を重要点として追加し、
   （ステップ５）重要点の個数が予め定めた値を越えるまでステップ２〜ステップ４を繰り返す、
   という処理によって、所定個数の重要点を抽出することを特徴とする請求項１または２に記載の画像データ処理方法。
4. 前記第２の変換式は、スマートフォーカス関数値をＦsmart(i,j)とし、当該Ｆsmart(i,j)が重要点の場合にｗ＝１、重要点でない場合にｗ＝０、ｘ，ｙを整数、ｍ，ｎを自然数としたとき、
   で表されることを特徴とする請求項１乃至３のいずれか一に記載の画像データ処理方法。
5. 焦点外れおよび手ぶれによる不鮮明画像を鮮明化する画像データ処理方法であって、一回の撮影時に複数枚の撮像画像を取得し、各撮像画像に対して請求項１乃至４のいずれか一に記載の画像データ処理方法を使用して合焦点画像を生成した後、複数の合焦点画像のうち一の合焦点画像を基準画像として、該基準画像と他の合焦点画像との間の動きデータを算出し、該動きデータを用いて複数の合焦点画像を重ね合わせることによって手ぶれ補正画像を生成することを特徴とする画像データ処理方法。
6. 請求項１乃至５のいずれか一に記載のスマートフォーカス関数を有する撮像装置であって、焦点距離ごとに複数のスマートフォーカス関数を備え、撮像した画像に対して前記複数のスマートフォーカス関数の夫々を用いてフォーカス画像を生成し、各フォーカス画像のうち、画像のピクセル値から算出されるエッジまたはコーナの値に基づいて一のフォーカス関数を選択し、該フォーカス関数によって生成したフォーカス画像を撮像画像として出力することを特徴とする撮像装置。
7. 請求項１乃至５のいずれか一に記載のスマートフォーカス関数を有する撮像装置であって、画像内の位置に対応付けられた複数のスマートフォーカス関数を備え、撮像した画像に対して画像内の位置に応じて対応するスマートフォーカス関数を用いてフォーカス画像を生成し、該フォーカス画像を撮像画像として出力することを特徴とする撮像装置。