JP2014120000A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】各領域で異なるフィルタを用いて、各領域の任意の画素以外の画素を補間して補正画像を生成する場合、演算量を削減する。
【解決手段】分割された画像の各第１領域で算出されたフィルタのフィルタ係数のうち、設定された第２領域の一部を含む複数の第１領域に対応する各フィルタ係数を用いて、第２領域を畳み込み演算する演算部と、各フィルタ係数で畳み込み演算された各画像における同位置の画素を用いて、第２領域の各画素を補間する補間部と、を有する。
【選択図】図７

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来、光学系によって撮像された画像から、ボケを取り除く方法として、種々の画像処理方法が提案されている（例えば、特許文献１〜３参照）。

上記従来技術では、光学系のＰＳＦ（Point Spread Function）に応じた画像復元フィルタリングに基づいた処理が実行される。しかしながら、光学系のＰＳＦは、入射する光の角度（方向）によって変化することが多い。そのため、デジタルカメラなどの撮像装置では、光学系の収差や開口サイズの画角依存性のため、光軸中心部に対して周辺部の分解能が劣化するのが一般的である。とくに安価なレンズ光学系では、画角依存性による画質劣化が顕著である。

入射する光の角度によるＰＳＦの変化に対応するため、画像中の処理対象の位置に応じて異なるフィルタデータを用いてフィルタリングし、画像補正を行う技術がある（例えば特許文献４参照）。

画像の周辺部の画質劣化は、光学系の伝達関数からも求めることができ、光軸中心からの距離に応じて劣化度合いが代わり、その中心（最も劣化の小さい部分）は、撮影画像中心に設定される。

図１は、光学系の一例を示す図である。図２は、ＰＳＦの劣化の一例を示す図である。図１や図２に示すように、光軸中心からの距離が大きくなるほど、ＰＳＦの劣化が大きくなる。なお、周辺部の劣化の度合いは、光学系のレンズ面形状、厚さ、硝材などのデータを所定の形式で記述したレンズデータを基に算出することができる（例えば、特許文献４参照）。

画像中の処理対象の位置に応じて異なるフィルタデータを用いてフィルタリングし、画像補正を行う際に、画像を適正に補正しようとすると、場所に応じた適切なフィルタ係数が用いられるとよい。

画像の周辺部の画像劣化を画像処理により復元させる補正は、実用的には例えば５×５のサイズで、フィルタ処理を実施することで実現される。また、周辺劣化の回復処理では、場所に応じてフィルタ係数を変えることが必要になる。

この場合、場所に応じた領域分けが行われ、該当領域で適用できるフィルタ係数（補正係数）が算出される。さらに、各領域のサンプル点（任意の画素）におけるフィルタ係数を使って、サンプル点以外の各画素のフィルタ係数を、補間処理により演算することができる。

ここで、画像補正における補間を行う方法において、フィルタ係数ではなく、輝度値を線形補間する技術がある（例えば、特許文献５〜６参照）。

例えば、サンプル点における、画素の補正値が予め用意され、サンプル点で囲まれる領域内の全画素において、該当サンプル点から例えば、バイリニア補間演算によって、各画素の補正量が算出される。

図３は、画素値の補間（その１）を説明する図である。図３に示す実線枠は、領域を表し、丸は、各領域のサンプル点の画素値を表し、点線枠は、補間対象の領域を表すとする。図４は、画素値の補間（その２）を説明する図である。図４に示すように、サンプル点の画素値を用いてバイリニア補間することで、補間点の画素値が求められる。

特開２００９−１２４５９８号公報 特開２００９−８９０８２号公報 特許第４２３６１２３号公報 特開２０１２−２３４９８号公報 特開２０００−２７８５０３号公報 特開２００２−１０１２９６号公報

ここで、輝度値を補間する場合、輝度値そのものが補間対象であるため、補間すべき変数としては１つである。

しかしながら、フィルタ処理におけるフィルタ係数を補間する場合、後述する図５に示すようにサンプル点におけるフィルタ係数はマトリクス（例えば、５×５変数）となる。また、画像内の領域に応じてフィルタ係数が異なるため、すべての画素で５×５変数分の補間演算が必要となる。

この場合の計算量は、すべての画素に同じフィルタ係数を使ってフィルタ処理する場合に比べて、補間計算を多く必要とする。

図５は、従来技術の問題点を説明する図である。図５に示すように、１つの点（例えばａ１）において、補間されたフィルタ係数を求めるために、５×５の変数分（ＦＩＬ＿１〜ＦＩＬ＿２５）の補間演算が必要となってしまう。よって、画像全体では、補間画素分×２５の多くの演算量が必要になる。

そこで、開示の技術では、各領域で異なるフィルタを用いて、各領域の任意の画素以外の画素を補間して補正画像を生成する場合、演算量を削減することを目的とする。

開示の一態様における画像処理装置は、分割された画像の各第１領域で算出されたフィルタのフィルタ係数のうち、設定された第２領域の一部を含む複数の第１領域に対応する各フィルタ係数を用いて、該第２領域を畳み込み演算する演算部と、各フィルタ係数で畳み込み演算された各画像における同位置の画素を用いて、前記第２領域の各画素を補間する補間部と、を有する。

開示の技術によれば、各領域で異なるフィルタを用いて、各領域の任意の画素以外の画素を補間して補正画像を生成する場合、演算量を削減することができる。

光学系の一例を示す図。 ＰＳＦの劣化の一例を示す図。 画素値の補間（その１）を説明する図。 画素値の補間（その２）を説明する図。 従来技術の問題点を説明する図。 実施例１における画像処理装置を含む撮像装置の概略構成の一例を示すブロック図。 実施例１における補間処理に関する構成の一例を示すブロック図。 第１領域及び第２領域の関係を示す図。 畳み込み演算を説明する図。 補間処理を説明する図。 実施例１と比較例との積和演算回数の比較結果を示す図。 積和演算回数のフィルタサイズへの依存を説明する図。 比較例と実施例１との画質についての考察を説明する図。 回転を説明するための図。 逆フィルタＫ_ｉｎｖの空間周波数２次元分布の一例を示す図。 逆フィルタＫ_ｉｎｖの空間周波数方向による分布の一例を示す図。 実施例１における係数分析部の機能の一例を示すブロック図。 ＰＳＦを算出する手順を説明するための図。 重み係数の決定処理１の一例を示す図。 重み係数の決定処理２の一例を示す図。 画像補正前の分解能の分析結果を示す図。 実施例１による画像補正後の分解能の分析結果を示す図。 撮像された画像に含まれるチャートの一例を示す図。 チャートに基づく領域設定を説明する図。 フィルタテーブルの一例を示す図。 実施例１における補間処理の一例を示すフローチャート。 実施例２における画像処理装置の概略構成の一例を示すブロック図。

以下、添付された図面を用いて、上記課題を解決する各実施例について説明する。

［実施例１］
＜構成＞
図６は、実施例１における画像処理装置を含む撮像装置の概略構成の一例を示すブロック図である。図６に示す撮像装置は、光学系１、撮像素子２、ＡＦＥ（Analog Front End）３、画像処理部４、後処理部５、駆動制御装置６、制御装置７、画像メモリ８、表示部９及び係数分析部１０を備える。

光学系１は、被写体Ｋからの光を像面に集光する。例えば、光学系１は、レンズ１１ａ、１１ｂ、１１ｃ、及び絞り１２を含む。レンズ１１ａ、１１ｂ、１１ｃ、及び絞り１２は、被写体Ｋからの光を撮像素子２の撮像面に集光させて被写体の像を結像する。

被写体Ｋは、放射状の模様を有してもよい。放射状の模様を有する被写体Ｋを撮像することにより、後述するように、分解能の異方性を改善する空間フィルタを求めることができる。なお、放射状の模様を有する被写体Ｋは、例えばジーメンススターチャート（単にチャートとも呼ぶ）である。

駆動制御装置６は、レンズ１１ａ、１１ｂ、１１ｃの位置や絞り１２の絞り度合い等を制御する。なお、光学系１の構成は特定のものに限定されない。

撮像素子２は、光学系１によって集光された被写体Ｋからの光を電子信号（アナログ信号）に変換する。撮像素子２は、例えば、ＣＣＤ／ＣＭＯＳ等の二次元撮像素子を含み、二次元撮像素子は、被写体の像を電子信号（画像信号）に変換してＡＦＥ３へ出力する。

ＡＦＥ３は、撮像画像のアナログ信号をデジタル信号に変換する。ＡＦＥ３は、例えばＡ／Ｄ（アナログデジタル）コンバータ３１及びタイミングジェネレータ３２を含む。タイミングジェネレータ３２は、制御装置７からの制御信号に基づいて、撮像素子２の駆動に用いられるタイミングパルスを生成し、撮像素子２及びＡ／Ｄコンバータ３１へ出力する。

画像処理部４は、ＲＡＷメモリ４１、フィルタ制御部４２、及びフィルタ処理部４３を備える。ＲＡＷメモリ４１は、例えばＡ／Ｄコンバータ３１でデジタル信号に変換された画像（ＲＡＷ画像）を記憶する。画像処理部４は、ＲＡＷ画像に対して、所定の処理を施してもよい。所定の処理が施された画像は画像メモリ８に記録される。

フィルタ制御部４２は、実施例１で作成される、又は予め設定されるフィルタテーブルを保持する。フィルタ制御部４２は、フィルタテーブルを参照して、処理対象画像の位置に対応するフィルタを特定し、そのフィルタをフィルタ処理部４３に出力する。つまり、フィルタ制御部４３は、処理対象画像の各位置に対応する各フィルタをフィルタ処理部４３に出力する。

フィルタ処理部４３は、フィルタ制御部４２から取得したフィルタを用いて、対応する画像位置でフィルタリングを実行する。これにより、画像の各位置で異なる分解能の異方性を改善しつつ画質を向上させることができる。

また、フィルタ処理部４３は、画像の各領域の各画素に対して１つのフィルタを用いるのではく、近傍のフィルタを用いて線形補間を行って注目画素の画素値を求める。補間処理の詳細は後述する。

後処理部５は、所定の処理を経た画像に対して更に必要な処理を施して表示画像を生成する。後処理部５は、例えば、所定の処理が施された画像を画像メモリ８から読み出して、必要な処理を行って、表示するための画像を生成し、表示部９へ出力する。

画像メモリ８は、所定の処理後の画像を記憶する。表示部９は、例えば、画像を記録するＶＲＡＭ、及びＶＲＡＭの画像を出力するディスプレイを含む。なお、撮像装置は、表示機能を必ずしも備えなくてもよく、表示部９の替わりに、表示用の画像を記録する記録部（例えば、ＶＲＡＭ等）が設けられてもよい。

駆動制御装置６は、光学系１を制御する。制御装置７は、ＡＦＥ３、及び後処理部５を制御する。

係数分析部１０は、例えば、チャートが撮影された画像から、各画像位置での各方向の分解能を分析し、分解能の異方性を改善するための適切なフィルタデータを決定する。係数分析部１０の詳細は後述する。

フィルタデータは、例えば、デコンボリューションカーネルのように、画像補正のためのフィルタリングに必要なパラメータの集合とすることができる。デコンボリューションカーネルは、具体的には、ＰＳＦに応じた円形又は楕円形の被写体の像の分布する領域と、領域における各画素の重みを表すデータ（このようなデータをデコンボリューション分布とも呼ぶ）で表すことができる。各画像位置でのフィルタデータに基づく各フィルタは、制御装置７を介してフィルタ制御部４２により記憶されればよい。

なお、画像内の位置毎に異なるフィルタについては、特開２０１２−２３４９８号公報に記載されたように、レンズデータに基づいて生成されてもよいため、この場合は係数分析部１０を設ける必要はない。

（補間処理に関する構成）
図７は、実施例１における補間処理に関する構成の一例を示すブロック図である。図７に示す例では、画像処理部４は、読込部４０１、第１設定部４０２、第２設定部４０３、演算部４０４、補間部４０５、及び記憶部４０６を有する。

なお、読込部４０１、第１設定部４０２、第２設定部４０３、演算部４０４及び補間部４０５は、例えばフィルタ処理部４２により実現されうる。また、記憶部４０６は、例えばフィルタ制御部４２により実現されうる。

読込部４０１は、例えばＲＡＷメモリ４１から画像を読み込み、読み込んだ画像を第１設定部４０２に出力する。

第１設定部４０２は、取得した画像に対し、第１領域を設定する。第１領域は、その領域に適用できるフィルタ係数を算出するために設けられる。例えば、第１領域は、ジーメンススターチャートのサイズである。

第２設定部４０３は、各第１領域における１つの任意の点で囲まれた領域を第２領域に設定する。第２領域は、補間処理を実施する単位となる領域である。任意の点は、例えば、ジーメンススターチャートの中心位置である。第２領域は、長方形が望ましい。

図８は、第１領域及び第２領域の関係を示す図である。図８に示すＡ１〜Ｃ３は、第１領域を表し、ａ１〜ｃ３は、任意の点（サンプル点とも呼ぶ）を表し、各ａ１〜ｃ３で囲まれた各領域は、第２領域を表す。

図７に戻り、演算部４０４は、分割された画像の各第１領域で算出されたフィルタのフィルタ係数のうち、設定された第２領域の一部を含む複数の第１領域に対応する各フィルタ係数を用いて、この第２領域を畳み込み演算する。

例えば、演算部４０４は、ａ１〜ｂ２で囲まれた第２領域に対し、ａ１〜ｂ２に対応付けられたフィルタ係数を記憶部４０６から取得する。演算部４０４は、ａ１に対応付けられたフィルタ係数を用いて第２領域内を畳み込み演算し、画像ＵＬを生成する。演算部４０４は、ａ２に対応付けられたフィルタ係数を用いて第２領域内を畳み込み演算し、画像ＵＲを生成する。

演算部４０４は、ｂ１に対応付けられたフィルタ係数を用いて第２領域内を畳み込み演算し、画像ＤＬを生成する。演算部４０４は、ｂ２に対応付けられたフィルタ係数を用いて第２領域内を畳み込み演算し、画像ＤＲを生成する。演算部４０４は、各フィルタ係数を用いて畳み込み演算された４種の画像を補間部４０５に出力する。

図９は、畳み込み演算を説明する図である。図９に示すＰｍは、各画素値を表す。図９に示す例では、Ｐ１３を畳み込み演算対象の画素とする。また、ＦＩＬ＿１〜ＦＩＬ＿２５は、フィルタ係数を表す。ここで、演算後の画素をＰ１３'とすると、次の式（１）が成り立つ。

演算部４０４は、式（１）と同様の式を用いて、演算後の各画素を求める。なお、ＦＩＬ＿１〜ＦＩＬ＿２５は、ａ１〜ｂ２それぞれで異なる係数である。

図７に戻り、補間部４０５は、各フィルタ係数で畳み込み演算された各画像における同位置の画素を用いて、第２領域の各画素を補間し、第２領域の画像を生成する。補間部４０５は、例えば、同位置の各画素を、画素の算出に用いられたフィルタ係数を有する第１領域の任意の点の画素位置に移動させる。補間部４０５は、移動された各画素を用いてバイリニア（双線形）補間を行い、第２領域の各画素を算出する。

例えば、補間部４０５は、ａ１のフィルタ係数で求めた第２領域の各画素をａ１の画素位置に移動させる。補間部４０５は、同様に、ａ２〜ｂ２のフィルタ係数で求めた第２領域の各画素を、それぞれａ２〜ｂ２の画素位置に移動させる。補間部４０５の処理を、図１０を用いて具体的に説明する。

図１０は、補間処理を説明する図である。図１０に示すように、補間部４０５は、（ｘ_ｉ，ｙ_ｉ）の位置にある画素値ｄｉｓｔ（ｘ_ｉ，ｙ_ｉ）を補間処理により求める。このとき、演算部４０４により、ａ１のフィルタ係数を用いて（ｘ_ｉ，ｙ_ｉ）の画素値ｓｒｃ_ａ１（ｘ_ｉ，ｙ_ｉ）が求められ、ａ２のフィルタ係数を用いて（ｘ_ｉ，ｙ_ｉ）の画素値ｓｒｃ_ａ２（ｘ_ｉ，ｙ_ｉ）が求められる。

また、同様にして、演算部４０４により、ｂ１のフィルタ係数を用いて（ｘ_ｉ，ｙ_ｉ）の画素値ｓｒｃ_ｂ１（ｘ_ｉ，ｙ_ｉ）が求められ、ｂ２のフィルタ係数を用いて（ｘ_ｉ，ｙ_ｉ）の画素値ｓｒｃ_ｂ２（ｘ_ｉ，ｙ_ｉ）が求められる。

補間部４０５は、ａ１のフィルタ係数を用いて算出されたｓｒｃ_ａ１（ｘ_ｉ，ｙ_ｉ）を、ａ１の位置に移動させる。補間部４０５は、同様にして、ｓｒｃ_ａ２（ｘ_ｉ，ｙ_ｉ）をａ２の位置に、ｓｒｃ_ｂ１（ｘ_ｉ，ｙ_ｉ）をｂ１の位置に、ｓｒｃ_ｂ２（ｘ_ｉ，ｙ_ｉ）をｂ２の位置に移動させる。

補間部４０５は、移動後の各位置（ａ１〜ｂ２）の画素値を用いて、（ｘ_ｉ，ｙ_ｉ）の位置にある画素値ｄｉｓｔ（ｘ_ｉ，ｙ_ｉ）を、式（２）を用いてバイリニア補間で求める。

補間部４０５は、第２領域内の各画素を、式（２）を用いて算出する。これにより、フィルタ係数自体を第２領域の各画素位置で補間処理し、補間されたフィルタ係数を用いて畳み込み演算を行うよりも、演算量を削減することができる。

なお、補間部４０５は、計算量をさらに削減するため、ｓｒｃ_ａ１（ｘ_ｉ，ｙ_ｉ）と、ｓｒｃ_ａ２（ｘ_ｉ，ｙ_ｉ）と、ｓｒｃ_ｂ１（ｘ_ｉ，ｙ_ｉ）と、ｓｒｃ_ｂ２（ｘ_ｉ，ｙ_ｉ）との平均をｄｉｓｔ（ｘ_ｉ，ｙ_ｉ）にしてもよい。

補間部４０５は、全ての第２領域について、同様の処理を行うことで、補正された画像を生成することができる。補正された画像は、画像メモリ８や後処理部５に出力される。

＜効果＞
次に、実施例１における演算結果と、比較例における演算結果とを比較する。ここでの比較例は、各画素位置（例えば５×５）でのフィルタ係数を補間処理し、補間されたフィルタ係数を用いて１回の畳み込み演算を行う例である（例えば図５参照）。図１１に示す例では、５×５のフィルタを用いるとし、１つの画素値を補間するのに必要な演算数を比べる。

また、補間処理の積和演算回数は、１５回とし（式（２）参照）、畳み込み演算の演算回数は、４９（２５＋２４）回とする（式（１）参照）。

図１１は、実施例１と比較例との積和演算回数の比較結果を示す図である。図１１に示すように、比較例では、補間処理は、フィルタ係数の数だけ行われるため２５回であり、畳み込み演算は１回である。よって、比較例における総積和演算回数は、式（３）により４２４回である。
１５×２５＋４９×１＝４２４ ・・・式（３）
一方で、実施例１では、補間処理は１回であり、畳み込み演算は４回である。よって、実施例１における総積和演算回数は、式（４）により２１１回である。
１５×１＋４９×４＝２１１ ・・・式（４）
図１２は、積和演算回数のフィルタサイズへの依存を説明する図である。図１２に示すように、実施例１では、比較例に比べてフィルタサイズへの依存度は小さい。また、実施例１では、比較例に比べて約１／２の演算回数の削減効果がある。

図１３は、比較例と実施例１との画質についての考察を説明する図である。図１３では、実施例１による方法が、比較例に対して、画質的に大きな違いがないことを画像の横方向の一次元を用いて説明する。

図１３に示すように、画像Ｉｍａ１は、ａ１のフィルタ係数を用いて、第２領域（ａ１〜ｂ２）を畳み込み演算した画像を表す。また、画像Ｉｍａ２は、ａ２のフィルタ係数を用いて、第２領域（ａ１〜ｂ２）を畳み込み演算した画像を表す。

図１３に示す画素値Ｖａ１、Ｖａ２は、画像Ｉｍａ１、画像Ｉｍａ２それぞれで同じ位置であるｐ１からｐ２までの画素値を表す。

このとき、Ｖａ１とＶａ２とをグラフ化した場合、図１３に示すような曲線になったとする。比較例のように、先にフィルタ係数を補間して、フィルタ処理した（畳み込んだ）画像の画素値は、図１３に示す斜線部分にあると考えられる。

一方、実施例１による画像の画素値は、線形補間を行うため、図１３に示す実線Ｖ'になると考えられる。よって、比較例と、実施例１とで、フィルタ処理後の画像には、斜線部分程度の違いは生じるが、斜線部分以上に大きな違いが生じすることはなく、目視評価での差異はないと考えられる。

よって、実施例１における構成を有することにより、各領域で異なるフィルタを用いて、各領域の任意の画素以外の画素を補間して補正画像を生成する場合、画質の劣化を防ぎつつ、演算量を削減することができる。

＜フィルタ＞
次に、実施例１における画像の位置に応じてフィルタ係数が異なるフィルタの求め方について説明する。以下に説明する例では、分解能の異方性を改善する、例えば、分解能の悪い方向の調整を行うフィルタの算出手順について説明する。なお、以下に説明する例は、あくまでも一例であり、その他の求め方によりフィルタを求めてもよい。以下では、フィルタを逆フィルタとも呼ぶ。

まず、分解能劣化を含むボケを補正するには、点広がり関数（ＰＳＦ）を用いて補正する手法がある。ＰＳＦは、例えばボケを表す関数である。以降では、ボケを表す関数をボケ関数とも呼ぶ。

元画像をｘ，ＰＳＦをｋとすると、ボケ画像ｙは、ｘとｋを畳み込みした画像となり、下記で表される。

式（５）で示すように、元画像ｘとＰＳＦ：ｋ、ボケ画像ｙを考える。この元画像ｘを求めるときに、逆問題として式（６）が最小となれば、元画像に近い画像が得られる。

通常は、逆問題を解くときに何らかの正則化項が施される。よって、正則化項を加算し、式（７）から逆問題が計算される。

今回の問題では、方向性を必要とするから、画像の横（水平）方向（ｘ方向）および縦（垂直）方向（ｙ方向）の微分項を正則化項として追加する。

ε：重み係数
ｄ_ｍ，ｄ_ｎ：行列方向の微分フィルタ

式（８）が最小となるには、式（８）をｘで偏微分した結果を０とすればよく、フーリエ変換して、Ｘ（ω）について解くと以下の式（９）が得られる。

Ｘ（ω）、Ｙ（ω）、Ｋ（ω）、Ｄ_ｍ（ω）、Ｄ_ｎ（ω）は、それぞれｘ，ｙ，ｋ，ｄ_ｍ，ｄ_ｎのフーリエ変換を表す。

周波数領域での逆フィルタＫ_ｉｎｖ（ω）は、式（１０）を満たす。

よって、逆フィルタＫ_ｉｎｖ（ω）は、次の式（１１）を満たす。

式（１１）は、共役複素数を用いると式（１２）式となる。

実施例１では、分解能の悪い方向を調整するため、回転行列を用いて角度θ方向に微分係数の軸を回転させることが特徴となる。

回転行列を用いることで、方向性を持たせることができる。

図１４は、回転を説明するための図である。図１４に示す例では、Ｄｎ方向をθ回転させてＤｙ方向にし、Ｄｍ方向をθ回転させてＤｘ方向にする。

ここで、楕円ＰＳＦをｋ（ｒ，θ）、フーリエ変換後の楕円ＰＳＦをＫ（ω，θ）＝ｆｋ（ｒ，θ）とする。
式（１２）に、式（１３）（１４）及びＫ（ω，θ）を代入するとともに、方向による重みγを設定すると、式（１５）が成り立つ。

γ：逆フィルタの方向による重み係数
ε：全体の重み係数
この式（１５）により、実施例１で用いる逆フィルタの方向性の重み調整を施すことが可能となる。例えば、係数分析部１０は、分解能の悪い方向（Ｄｙ方向）の重みγを調整する。重み係数γを小さくすることで、分解能の悪い方向を改善することができる。

図１５は、逆フィルタＫ_ｉｎｖの空間周波数２次元分布の一例を示す図である。図１５に示す例では、γ＝１／３００の場合の２次元分布の例である。Ｄｙ方向について、Ｄｘ方向よりも分解能が改善するように重み係数γ、ε（特にγ）が決定される。

図１６は、逆フィルタＫ_ｉｎｖの空間周波数方向による分布の一例を示す図である。図１６は、Ｄｙ方向の重み係数を小さくすることにより、Ｄｙ方向の改善を強調することができる。また、図１６に示すＤｙ'は、γ＝１の場合の分布を示す。これにより、実施例１によれば、逆フィルタのフィルタパラメータに乗算する重み係数にも異方性を持たせることができるようになる。

（係数分析部）
次に、係数分析部１０について説明する。係数分析部１０では、分解能の異方性を改善するためのフィルタデータを決定する。

図１７は、実施例１における係数分析部１０の機能の一例を示すブロック図である。図１７に示す係数分析部１０は、分解能分析部１０１及びフィルタデータ決定部１０２を有する。係数分析部１０は、チャート画像が撮影された画像から係数分析を行う。以下に説明する例では、例えば左上の位置に撮影された楔形の画像から係数分析を行うが、画像内の各位置に撮像された楔形を含む画像から係数分析を行ってもよい。

分解能分析部１０１は、放射状の模様を有する被写体が撮像された画像の分解能劣化を少なくとも２方向で分析する。分析の仕方は、方向に応じたＭＴＦを分析すればよい。

分解能分析部１０１は、横軸に１ピクセルあたりのライン数、縦軸に振幅強度をとるとＭＴＦがわかる。１ピクセルあたりのライン数は、実際の被写体距離位置での単位長さあたりのライン数を用いてもよい。実施例１では、楔形で放射状なチャートを用いるため、方向に応じたＭＴＦを分析できる。

図１８は、ＰＳＦを算出する手順を説明するための図である。図１８に示す例では、まず、フィルタデータ決定部１０２は、画像の位置に応じた角度と楕円率を算出する。フィルタデータ決定部１０２は、所定角度毎に算出されたＭＴＦにおいて、ある一定閾値（最大振幅の半分程度）で等高線を作ると楕円を求めることができる。

フィルタデータ決定部１０２は、求めた楕円の長軸と短軸から楕円率を算出できる。フィルタデータ決定部１０２は、画像の位置に基づいて、幾何学的に角度θ１を算出する。また、フィルタデータ部１０２は、分解能の楕円の長軸、短軸から角度θ１を算出することもできる。長軸、短軸から角度θ１を算出した方が、実際のボケ具合に合わせて角度を算出することができる。ここで、光軸中心から同心円を描いたときに半径方向のボケが大きい。

フィルタデータ決定部１０２は、例えば縦方向と、半径方向との角度を算出すればよい。なお、光軸中心は、基本的には画像中心だが、レンズの位置ずれにより中心がずれる場合もある。フィルタデータ決定部１０２は、この算出された楕円率と角度からＰＳＦを決定する。このときのＰＳＦの楕円は、ＭＴＦの等高線から得られた楕円とは９０度回転した方向になっている。

図１７に戻り、フィルタデータ決定部１０２は、画像のボケ関数（ＰＳＦ）に応じたフィルタ（上記逆フィルタ）により補正された画像に対し、この補正後の画像の分解能分析結果に基づいて、この逆フィルタの異方性を有するフィルタデータを決定する。

また、フィルタデータ決定部１０２は、画像の微分方向に対し、重み係数（例えばγ）を変えて決定する。例えば、Ｄｘ方向の重み係数は１にし、Ｄｙ方向の重み係数をγとし、このγを調整する。これにより、分解能の異方性を改善できる。

また、フィルタデータ決定部１０２は、微分方向に対して、回転（例えばθ）をすることで重み係数を決定する。これにより、分解能の悪い方向を検出でき、フィルタリングを行うことができるようになる。

具体的には、フィルタデータ決定部１０２は、例えば重み係数εとγとを調整して、適切な重み係数εとγを決定する。重み係数γは、分解能が悪い方向のフィルタパラメータの重み係数を表す。分解能が悪い方向のフィルタパラメータは、例えば、式（１５）の重み係数γにかかるＤｙ（ω、θ）とそのＤｙ（ω、θ）の共役複素数である。

重み係数を調整して決定するため、フィルタデータ決定部１０２は、調整部１２１、画像補正部１２２、及び係数決定部１２３を備える。

調整部１２１は、例えば、方向に依存しない重み係数εと、方向に依存するγを調整する。調整部１２１は、重み係数ε、γの初期値を設定し、その初期値を画像補正部１２２に渡す。

画像補正部１２２は、調整部１２１から取得した重み係数により画像補正を行う。画像補正部１２２は、式（１５）に示す逆フィルタを用いて画像をフィルタリングして補正する。画像補正部１２２は、補正後の画像を分解能分析部１０１に渡し、再度分解能の劣化を分析する。

係数決定部１２３は、補正後の画像に対する分解能分析結果に基づいて、２つの方向の分解能劣化の差が小さくなるように重み係数を決定する。係数決定部１２３は、様々な重み係数により補正された画像の分析結果を保持し、例えば、所定の振幅強度において、空間周波数の値の差分が最小となるように、重み係数εとγを決定する（決定処理１）。

図１９は、重み係数の決定処理１の一例を示す図である。図１９に示すように、係数決定部１２３は、所定振幅強度（閾値１）において、空間周波数の差が小さくなるよう重み係数を決定する。

また、係数決定部１２３は、所定の空間周波数において、振幅強度の差が最小となるように、重み係数εとγを決定してもよい（決定処理２）。

図２０は、重み係数の決定処理２の一例を示す図である。図２０に示すように、係数決定部１２３は、所定の空間周波数（閾値２）において、振幅強度の差が小さくなるように、重み係数を決定する。

なお、閾値１、閾値２は、複数設定してもよく、係数決定部１２３は、各閾値での差分の二乗和が最小となるように重み係数を決定してもよい。なお、係数決定部１２３は、所定の差分が予め設定された閾値以下となるように重み係数を決定してもよい。この閾値は、事前の実験等により設定されればよい。

また、係数決定部１２３は、画像中心部での２方向の分解能の差分二乗和と、画像中心部とは異なる画像周辺部での２方向の分解能の差分二乗和との差が所定値以下となるように重み係数を決定してもよい。また、係数決定部１２３は、画像中心部と画像周辺部との差分二乗和が最小となるように重み係数を決定してもよい。

これは、分解能の異方性を低減する際、画像中央部の分解能と画像周辺部の分解能を同様にすることで、画像全体の分解能が同様になり、画質の向上が図れるからである。

係数決定部１２３による最小化の判断は、最小化関数を用いて算出してもよいし、人が判断してもよい。最小化関数としては、例えば、シンプレックスサーチ法や、最急降下法、共役勾配法などがある。

フィルタデータ決定部１０２は、重み係数を変更して調整し、調整後の重み係数で逆フィルタを求め、求めた逆フィルタで画像を補正し、補正後の画像の分解能分析結果に基づいて、最適な重み係数を決定する。最適な重み係数が決定されるまで、重み係数の調整、逆フィルタの算出、フィルタリングによる補正、分解能分析の処理が繰り返される。

＜フィルタの効果＞
次に、係数分析部１０により求められた異方性を有する逆フィルタを用いる効果について説明する。図２１は、画像補正前の分解能の分析結果を示す図である。Ｄｙ方向の方がＤｘ方向よりも落ち込みが大きいため、分解能が劣化していることが分かる。

図２２は、実施例１による画像補正後の分解能の分析結果を示す図である。図２２に示す例では、γは１／３００を用いている。図２２に示すように、Ｄｘ、Ｄｙ方向共に分解能が改善し、さらに、各方向の差が小さくなっている。よって、分解能の異方性を改善することができている。

なお、上記フィルタに対して、所定の要素数（例えば５×５）に有限化する際には、モアレの発生を防ぐため、ハイパスフィルタを畳み込んでから有限化するとよい。例えば、係数分析部１０は、算出されたフィルタから３×３のフィルタを抽出し、３×３のハイパスフィルタを畳み込んで５×５のフィルタを生成してもよい。

＜チャートに基づく領域設定＞
次に、上述したジーメンススターチャートに基づく領域設定について説明する。図２３は、撮像された画像に含まれるチャートの一例を示す図である。図２３に示す例では、画像内に１５個のチャートが配置される。このとき、係数分析部１０は、チャート毎にフィルタを算出する。

図２４は、チャートに基づく領域設定を説明する図である。図２４に示す例では、第１設定部４０２は、チャートのサイズと同じ大きさに第１領域を設定する。図２４に示す例では、点線で区切られた領域が第１領域である。

第２設定部４０３は、第１領域のサンプル点で囲まれた領域を第２領域に設定する。図２４に示す例では、一点鎖線で区切られた領域が第２領域である。なお、サンプル点は、例えば、チャートの中心位置や第１領域の中心位置とする。また、サンプル点には、フィルタのフィルタ係数が対応付けられる。

図２５は、フィルタテーブルの一例を示す図である。図２５に示すフィルタテーブルは、サンプル点の画素位置に対し、フィルタ係数群（例えば５×５のフィルタ係数）が対応付けられる。図２５に示すフィルタテーブルは、フィルタ制御部４２に保存される。図２５に示すＦＩＬｎは、２５のフィルタ係数を含む。

なお、フィルタ係数については、上述した以外にも、特開２０１２−２３４９８号公報に記載されたように、画像処理部４において、光学系のレンズ面形状、硝材、厚さなどのデータを所定の形式で記述してレンズデータに基づいて各位値のフィルタ係数を算出してもよい。

また、本実施例１は、画像の各位置でフィルタ係数が異なればよいため、フィルタによりエッジを強調する処理、又は意図的にぼかしを加えるフィルタ処理（例えばジオラマモード）、パノラマ画像の作成等で使用されるテクスチャ処理等へも適用可能である。

ここで、画像処理部４は、例えば、画像処理ＬＳＩや、ＤＳＰ（Digital Signal Processor）により構成することができる。この場合、ＲＡＷメモリ４１は、ＤＳＰ内蔵メモリであってもよいし、外部のメモリであってもよい。また、後処理部５、画像メモリ８、係数分析部１０、表示のためのＶＲＡＭ等が画像処理部４とともに一体のＤＳＰで構成されてもよい。また、係数分析部１０は、単体又は他の処理部を含む画像処理装置として構成されてもよい。

あるいは、ＤＳＰのような特定処理専用プロセッサでなく、ＣＰＵ等の汎用プロセッサが、所定のプログラムを実行することにより画像処理部４や係数分析部１０の機能を実現することもできる。駆動制御装置６、制御装置７及び後処理部５も同様に、少なくとも１台の、特定処理専用プロセッサまたは汎用プロセッサにより構成することができる。

なお、プロセッサを画像処理部４や係数分析部１０として機能させるプログラムやそれを記録した記録媒体も本発明の実施形態に含まれる。この記録媒体は、一過性でない（non-transitory）ものであり、信号そのもののような一過性の媒体は含まれない。

＜動作＞
次に、実施例１における画像処理部４の動作について説明する。図２６は、実施例１における補間処理の一例を示すフローチャートである。図２６に示すステップＳ１０１で、読込部４０１は、ＲＡＷメモリ４１から画像を読み込む。

ステップＳ１０２で、第１設定部４０２は、画像を分割して第１領域を設定する。第１領域は、例えば、チャートと同じサイズにしてもよいし、予め設定されたサイズにしてもよい。

ステップＳ１０３で、第２設定部４０３は、第１領域内の任意の点（サンプル点）で囲まれる領域を第２領域に設定する。

なお、第２設定部４０３は、先に第２領域を設定し、第１設定部４０４は、設定された第２領域に基づいて第１領域を設定してもよい。つまり、ステップＳ１０２とステップＳ１０３は逆でもよい。

ステップＳ１０４で、演算部４０４は、第２領域に含まれる４つの任意の点に対応付けられたフィルタ係数をフィルタ制御部４２から読み込む。

ステップＳ１０５で、演算部４０４は、１つの任意の点におけるフィルタ係数を用いて、第２領域を畳み込み演算する。

ステップＳ１０６で、演算部４０４は、全ての任意の点におけるフィルタ係数で畳み込み演算を行ったかを判定する。全て終了していれば（ステップＳ１０６−ＹＥＳ）ステップＳ１０７に進み、全て終了していなければ（ステップＳ１０６−ＮＯ）ステップＳ１０５に戻る。

ステップＳ１０７で、補間部４０５は、第２領域における、４種類の畳み込み演算結果を用いた補間演算（例えばバイリニア補間）を行う。

ステップＳ１０８で、補間部４０５は、全ての第２領域で補間演算を行ったかを判定する。全ての第２領域で補間演算が行われていれば（ステップＳ１０８−ＹＥＳ）処理が終了し、全ての第２領域で補間演算が行われていなければ（ステップＳ１０８−ＮＯ）ステップＳ１０２に戻り、別の第２領域で同様の処理が繰り返される。

以上、実施例１によれば、各領域で異なるフィルタを用いて、各領域の任意の画素以外の画素を補間して補正画像を生成する場合、演算量を削減することができる。また、実施例１によれば、演算量を削減しても、ユーザに違和感を与えるような画質の劣化を防ぐことができる。

［実施例２］
次に、実施例２における画像処理装置について説明する。実施例２では、実施例１の画像処理部４の処理をＣＰＵやＤＳＰなどに行わせる。

＜構成＞
図２７は、実施例２における画像処理装置の概略構成の一例を示すブロック図である。図２７に示す画像処理装置は、制御部７０２と、主記憶部７０４と、補助記憶部７０６と、通信部７０８と、記録媒体Ｉ／Ｆ部７１０と、カメラＩ／Ｆ部７１２とを備える。各部は、バスを介して相互にデータ送受信可能に接続されている。画像処理装置は、例えば、ＰＣ（Personal Computer）やサーバ、スマートフォン、タブレット端末などの情報処理機能を有する装置である。

制御部７０２は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵ（Central Processing Unit）などである。また、制御部７０２は、主記憶部７０４や補助記憶部７０６に記憶されたプログラムを実行する演算装置である。

また、制御部７０２は、例えば補助記憶部７０６に記憶される係数分析処理や画像処理を行うためのプログラムを実行することで、上述した各処理を実行することができる。

主記憶部７０４は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などであり、制御部７０２が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。

補助記憶部７０６は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。また、補助記憶部７０６は、記録媒体７１４などから取得された係数分析処理や画像処理を行うためのプログラムを記憶しておいてもよい。

通信部７０８は、有線又は無線で通信を行う。通信部７０８は、例えば、サーバなどから複数の画像を取得し、例えば補助記憶部７０６に複数の画像を記憶する。

記録媒体Ｉ／Ｆ（インターフェース）部７１０は、ＵＳＢ（Universal Serial Bus）などのデータ伝送路を介して接続された記録媒体７１４（例えば、フラッシュメモリなど）と画像処理装置とのインターフェースである。

また、記録媒体７１４に、実施例１で説明した係数分析処理プログラムや画像処理プログラムを格納し、この記録媒体７１４に格納されたプログラムは、記録媒体Ｉ／Ｆ部７１０を介して画像処理装置にインストールされてもよい。これにより、インストールされた係数分析処理プログラムや画像処理プログラムは、画像処理装置により実行可能となる。

カメラＩ／Ｆ部７１２は、カメラ７１６との通信を行うインターフェースである。カメラ７１６から撮像されたチャート画像や、補正対象の通常の画像などは、カメラＩ／Ｆ部７１２がカメラ７１６から取得し、補助記憶部７０６などに保存する。

カメラ７１６は、図６などに示すようなチャート画像や、通常の風景や人物などを撮影する。撮影された画像は、カメラＩ／Ｆ部７１２を介して画像処理装置に取り込まれる。なお、カメラ７１６は、画像処理装置に内蔵されてもよい。

これにより、画像処理装置は、チャート画像を取得して各位置でのフィルタを算出し、位置毎に異なるフィルタを用いても、演算回数を削減して、補正画像を生成することができる。

よって、前述した係数分析処理、画像処理を実現するためのプログラムを記録媒体に記録することで、前述した係数分析処理、画像処理をコンピュータに実施させることができる。

例えば、このプログラムを記録媒体に記録し、このプログラムが記録された記録媒体をコンピュータや携帯端末、スマートフォン、タブレット端末などに読み取らせて、前述した係数分析処理、画像処理を実現させることも可能である。

なお、記録媒体は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。また、記録媒体は、搬送波などの一過性のものを含まない。

以上、画像処理装置、画像処理方法及びプログラムについて詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した各実施例の構成要素を全部又は複数を組み合わせることも可能である。

なお、以上の各実施例に関し、さらに以下の付記を開示する。
（付記１）
分割された画像の各第１領域で算出されたフィルタのフィルタ係数のうち、設定された第２領域の一部を含む複数の第１領域のフィルタ係数それぞれを用いて、該第２領域を畳み込み演算する演算部と、
各フィルタ係数で畳み込み演算された各画像における同位置の画素を用いて、前記第２領域の各画素を補間する補間部と、
を有する画像処理装置。
（付記２）
前記各第１領域を設定する第１設定部と、
前記各第１領域における１つの任意の点で囲まれた領域を前記第２領域に設定する第２設定部と、
をさらに備える付記１記載の画像処理装置。
（付記３）
前記補間部は、
前記同位置の各画素を、該画素の算出に用いられたフィルタ係数を有する第１領域の前記任意の点の画素位置に移動させ、移動された各画素を用いて双線形補間を行い、前記第２領域の各画素を算出する付記１又は２記載の画像処理装置。
（付記４）
放射状の模様を有する被写体が複数撮像された画像の分解能劣化を少なくとも２方向で分析する分析部と、
前記画像のボケ関数に応じたフィルタにより補正された画像に対し、前記分析部による分析結果に基づいて、前記２方向のうち、分解能が悪い方向のフィルタパラメータの重み係数を調整し、調整後の重み係数を含むフィルタデータを決定し、該フィルタデータに基づいてフィルタを算出する決定部と、をさらに備え、
前記第１領域のサイズは、前記被写体のサイズである付記１乃至３いずれか一項に記載の画像処理装置。
（付記５）
前記第１領域の任意の点は、前記放射状の模様の中心位置又は前記第１領域の中心位置である付記４記載の画像処理装置。
（付記６）
分割された画像の各第１領域で算出されたフィルタのフィルタ係数のうち、設定された第２領域の一部を含む複数の第１領域のフィルタ係数それぞれを用いて、該第２領域を畳み込み演算し、
各フィルタ係数で畳み込み演算された各画像における同位置の画素を用いて、前記第２領域の各画素を補間する
処理をコンピュータが実行する画像処理方法。
（付記７）
分割された画像の各第１領域で算出されたフィルタのフィルタ係数のうち、設定された第２領域の一部を含む複数の第１領域のフィルタ係数それぞれを用いて、該第２領域を畳み込み演算し、
各フィルタ係数で畳み込み演算された各画像における同位置の画素を用いて、前記第２領域の各画素を補間する
処理をコンピュータに実行させるプログラム。

４ 画像処理部
１０ 係数分析部
１０１ 分解能分析部
１０２ 決定部
１５１ フィルタ制御部
１５２ フィルタ処理部
４０１ 読込部
４０２ 第１設定部
４０３ 第２設定部
４０４ 演算部
４０５ 補間部
４０６ 記憶部
７０２ 制御部

Claims (6)

1. 分割された画像の各第１領域で算出されたフィルタのフィルタ係数のうち、設定された第２領域の一部を含む複数の第１領域に対応する各フィルタ係数を用いて、該第２領域を畳み込み演算する演算部と、
   各フィルタ係数で畳み込み演算された各画像における同位置の画素を用いて、前記第２領域の各画素を補間する補間部と、
   を有する画像処理装置。
2. 前記各第１領域を設定する第１設定部と、
   前記各第１領域における１つの任意の点で囲まれた領域を前記第２領域に設定する第２設定部と、
   をさらに備える請求項１記載の画像処理装置。
3. 前記補間部は、
   前記同位置の各画素を、該画素の算出に用いられたフィルタ係数を有する第１領域の前記任意の点の画素位置に移動させ、移動された各画素を用いて双線形補間を行い、前記第２領域の各画素を算出する請求項１又は２記載の画像処理装置。
4. 放射状の模様を有する被写体が複数撮像された画像の分解能劣化を少なくとも２方向で分析する分析部と、
   前記画像のボケ関数に応じたフィルタにより補正された画像に対し、前記分析部による分析結果に基づいて、前記２方向のうち、分解能が悪い方向のフィルタパラメータの重み係数を調整し、調整後の重み係数を含むフィルタデータを決定し、該フィルタデータに基づいてフィルタを算出する決定部と、をさらに備え、
   前記第１領域のサイズは、前記被写体のサイズである請求項１乃至３いずれか一項に記載の画像処理装置。
5. 分割された画像の各第１領域で算出されたフィルタのフィルタ係数のうち、設定された第２領域の一部を含む複数の第１領域に対応する各フィルタ係数を用いて、該第２領域を畳み込み演算し、
   各フィルタ係数で畳み込み演算された各画像における同位置の画素を用いて、前記第２領域の各画素を補間する
   処理をコンピュータが実行する画像処理方法。
6. 分割された画像の各第１領域で算出されたフィルタのフィルタ係数のうち、設定された第２領域の一部を含む複数の第１領域に対応する各フィルタ係数を用いて、該第２領域を畳み込み演算し、
   各フィルタ係数で畳み込み演算された各画像における同位置の画素を用いて、前記第２領域の各画素を補間する
   処理をコンピュータに実行させるプログラム。