JP2017011638A - 画像処理装置、撮像装置、画像処理方法、プログラム、及び記録媒体 - Google Patents

Abstract

【課題】 本発明は、複数の撮影画像に対して画像回復処理を行う場合に、短時間で画像回復処理を行うことができる。【解決手段】複数の画像を取得する画像取得手段（１１３）と、複数の画像が撮影されたときの撮影条件情報を取得する撮影条件情報取得手段（１１４）と、撮影条件情報に対応する光学伝達関数を保存する記憶手段（１０８）と、撮影条件情報に基づいて光学伝達関数から画像回復フィルタを生成し、複数の画像の画像回復を行う画像回復手段（１０４）と、画像取得手段によって取得された画像に対して、画像回復手段に撮影条件情報に基づく順番で画像回復を行わせる画像回復制御手段（１１６）と、を有する。【選択図】 図１

Description

本発明は、画像処理装置及び画像処理方法に関し、特に画像回復処理を用いた劣化画像の補正に関するものである。

光学伝達関数（ＯＴＦ）は撮影状態（ズーム位置や絞り径等）に応じて変動するため、画像回復フィルタをこれに応じて変更する必要がある。これに対し、撮影時に得られる全光学パラメータ（焦点距離、絞り値等）に対応した補正値を保持するようにすれば、当該補正値のデータサイズが膨大になり、撮像装置等に大容量のメモリが必要となる。

特許文献１では、画像回復処理の処理時間を削減するために、撮影状態に応じてキャッシュしたデータを使用して画像回復処理するか、画像回復処理フィルタの再生成からやり直すかを決定することが開示されている。

また、特許文献２では、画像回復フィルタの生成を絞り値のみに応じて行うことで、データ量及び演算量を削減する方法が開示されている。

特開２０１３−１６１２７８号公報 特開２０１４−１５０４２１号公報

しかしながら、特許文献１および特許文献２では、画像を選択した順番で画像回復処理を行うため、同一の画像回復フィルタが適用できる撮影条件の画像あっても画像回復フィルタの作り直す必要が生じることがある。画像回復フィルタ生成の演算量は他の処理よりも比較的多いため、画像回復フィルタを作り直す頻度が増えれば処理時間の遅延や電力の浪費を招く。その結果、ユーザーの使い勝手も悪くなる。

そこで、本発明は、複数の撮影画像に対して画像回復処理を行う場合に、短時間で画像回復処理を行うことができる画像処理装置を提供する。

本発明の一側面としての画像処理装置は、複数の画像を取得する画像取得手段と、複数の画像が撮影されたときの撮影条件情報を取得する撮影条件情報取得手段と、撮影条件情報に対応する光学伝達関数を保存する記憶手段と、撮影条件情報に基づいて光学伝達関数から画像回復フィルタを生成し、複数の画像の画像回復を行う画像回復手段と、画像取得手段によって取得された画像に対して、画像回復手段に撮影条件情報に基づく順番で画像回復を行わせる画像回復制御手段と、を有することを特徴とする。

本発明の別側面としての画像処理方法は、複数の画像を取得するステップと、複数の画像が撮影されたときの撮影条件情報を取得するステップと、撮影条件情報に基づいて光学伝達関数を取得するステップと、光学伝達関数から画像回復フィルタを生成するステップと、取得された画像に対して、撮影条件情報に基づく順番で画像回復を行うステップと、を有することを特徴とする。

本発明は、複数の撮影画像に対して画像回復処理を行う場合に、短時間で画像回復処理を行うことができる。

本発明の実施形態における画像処理装置を示す図である。 本発明の実施形態におけるＲＡＷデータを示す図である。 本発明の実施形態における画像処理装置の画像処理部を示す図である。 本発明の実施形態における色成分、画像回復成分を示す図である。 本発明の実施形態における色成分別の周波数特性を示す図である。 本発明の実施形態における画像処理装置の画像回復処理を示すフローチャートである。 本発明の実施形態における画像回復フィルタの説明図である。 本発明の実施形態における画像回復フィルタの説明図である。 本発明の実施形態における画像補正処理の概略図である。 本発明の実施例１から３および５におけるリスト生成処理を示すフローチャートである。 本発明の実施例１における画像回復フィルタの再利用可能回数に応じたリスト生成処理を示すフローチャートである。 本発明の実施形態における画像回復の並列動作のタイミングチャートである。 本発明の実施形態における画像回復の並列動作を示すフローチャートである。 本発明の実施例２における撮像装置を示す図である。 本発明の実施例２におけるカメラＩＤとレンズＩＤを優先した場合のリスト生成処理を示すフローチャートである。 本発明の実施例３における撮影日時に応じたリスト生成処理を示すフローチャートである。 本発明の実施例４におけるリスト生成処理の並列動作を示すフローチャートである。 本発明の実施例５における画像回復処理実行中の表示図である。 本発明の実施例５における画像回復処理実行中の表示図である。

以下、本発明の実施例について図面を参照しながら説明する。

図１は、実施例１に係る画像処理装置１００を示す。画像処理部１０４は、画像回復処理部１１１とその他の処理を行うその他画像処理部１１２から構成される。その他画像処理部１１２は、画素補間処理を含んでいる。画像回復処理部１１１の出力画像は、各画素で全ての色成分が揃っていない所謂歯抜け状態である。そのため、その他画像処理部１１２は画像回復処理部１１１の出力画像に対して画素補間処理を行う。

画像記録媒体１０９は、撮影された画像を記録している。画像処理部１０４は、画像処理についての各種処理を行う。画像処理部１０４は、画像回復処理部１１１、その他画像処理部１１２、画像取得部１１３、撮影条件情報取得部１１４、光学伝達関数取得部１１５を含んでいる。撮影条件情報取得部１１４は、画像記録媒体１０９に記録されている画像から撮影条件の情報を得る。画像回復処理部１１１は、撮像状態に応じた画像回復フィルタを記憶部１０８から選択し、画像処理部１０４に入力された画像に対して画像回復処理を行う。記憶部１０８は、画像回復フィルタ以外のデータも保持しており、画像回復フィルタを生成するために必要な光学伝達関数（ＯＴＦ）に関する情報も格納（保存）している。画像回復処理部１１１は、撮影条件に応じたＯＴＦに関する情報を記憶部１０８から選択して撮影条件に応じた画像回復フィルタを生成することで、画像取得部１１３に入力された画像に対して画像回復処理を行ってもよい。

画像処理部１０４で処理された出力画像は、画像記録媒体１０９に所定のフォーマットで記録される。表示部１０５は、画像回復処理後の画像に表示用処理を行った画像を表示してもよいし、画像回復処理を行っていない又は簡易的な回復処理を行った画像を表示してもよい。操作部１０３は、表示部１０５に表示された画像の選択や補正実行の指示を行う。一連の制御はシステムコントローラ１１０（画像回復制御手段）で行われる。

画像処理部１０４で行われる処理について、図２から図８を用いて詳細に説明する。

画像回復処理部１１１への入力画像は、各画素に１色の色成分をもつＲＡＷデータである。図２は、画像回復処理部１１１へ入力されるＲＡＷデータの例を示しており、これはＲ、Ｇ、Ｂの色成分から構成された一般的なベイヤー配列である。

本実施例では、画像回復処理部１１１においてＧ成分をＧ１とＧ２に分離し、Ｒ、Ｇ１、Ｇ２、Ｂの４つの画像回復成分に対して画像回復フィルタを適用する。これら４つの画像回復成分は、図３に示される回復フィルタ適用部１１１０，１１１１，１１１２，１１１３に入力される。

図４は、ＲＡＷデータにおける各色成分と上述の４つの画像回復成分の例を示している。図４（ａ）はＧ成分、図４（ｂ）はＲ成分、図４（ｃ）はＢ成分を示している。図中の白で示した画素が、それぞれの色成分を表す。本実施例では、図４（ａ）に示したＧ成分を、更に図４（ｄ）（ｅ）に示したＧ１とＧ２に分けて画像回復処理を行う。

図５は、撮像素子における色成分別の画素配列の周波数特性を示した図である。図４（ａ）〜（ｅ）で示した各成分において光を感知できる画素（白）を１、光を感知できない画素（黒）を０とし、それぞれをｍ＿Ｇ（ｘ,ｙ）、ｍ＿Ｒ（ｘ,ｙ）、ｍ＿Ｂ（ｘ,ｙ）、ｍ＿Ｇ１（ｘ,ｙ）、ｍ＿Ｇ２（ｘ,ｙ）とおく。図５に示した周波数特性は、このｍ＿Ｇ（ｘ,ｙ）、ｍ＿Ｒ（ｘ,ｙ）、ｍ＿Ｂ（ｘ,ｙ）、ｍ＿Ｇ１（ｘ,ｙ）、ｍ＿Ｇ２（ｘ,ｙ）をフーリエ変換したものに相当する。図５（ａ）はＧ成分、すなわち図４（ａ）の周波数特性を表したものであり、●の位置のみに１が存在するくし型関数である。

図４（ｂ）（ｃ）に示したＲ、Ｂ成分の周波数特性を示したものが図５（ｂ）であり、Ｇ成分の周波数特性を示した図５（ａ）とは異なっている。このＧ成分をＧ１及びＧ２の画像回復成分に分離して考えた場合の周波数特性は、ＲやＢ成分と同様に図５（ｂ）のようになる。

Ｒ、Ｇ、Ｂの３つの色成分に対する画像回復処理は、図５に示したとおりＧ成分とＲやＢ成分で周波数特性が異なることから、前述の通り、画像の高周波成分を含む領域で本来画像には存在しなかった偽色が発生する原因になる。一方、Ｇ成分をＧ１及びＧ２の画像回復成分に分離すれば、４つの画像回復成分Ｒ、Ｇ１、Ｇ２、Ｂの画素配列は同じ周波数特性を示す。そのため、画像回復処理で対象となる周波数帯域が共通になることから、画像回復処理による偽色の発生を抑えることができる。

Ｒ、Ｇ、Ｂの３つの色成分に対し画像回復を行う場合でも、Ｇ成分に適用する画像回復フィルタの作り方を変更することで、補正されるＧ成分の周波数帯域をＲやＢ成分に一致させることができる。しかし、回復される周波数帯域はＧ成分をＧ１及びＧ２の画像回復成分に分離した場合と同等であるため、後述の通り画像回復フィルタのコンボリューション時の処理負荷の観点からＧ１、Ｇ２の画像回復成分に分離した方が有利である。

以下、図６を用いて画像回復処理部１１１における実施例１の画像回復処理の処理フローを詳細に説明する。

ステップＳ２０１では、画像回復処理部１１１は、補正対象画像が撮影されたときの撮像状態情報（焦点距離、撮影距離、絞り）を取得する。この情報が画像ファイルに記録されている場合は、それを読み込むことで取得する。

次に、ステップＳ２０２では、画像回復処理部１１１は、ＲＧＢから構成されるＲＡＷデータを、Ｒ、Ｇ１、Ｇ２、Ｂの４つの画像回復成分に分離する。具体的には、対象の画像回復成分以外の部分に０を設定した画像データをＲ、Ｇ１、Ｇ２、Ｂ成分別に４つ用意してもよいし、対象の画像回復成分以外の部分を間引いた１／４サイズの画像データをＲ、Ｇ１、Ｇ２、Ｂ成分別に４つ用意してもよい。

次に、ステップＳ２０３では、画像回復処理部１１１は、実際の撮像状態に適したＲ、Ｇ１、Ｇ２、Ｂの４つの画像回復成分に適した画像回復フィルタを図１の記憶部１０８から選択する。このとき、選択された画像回復フィルタを必要に応じて補正しても構わない。すなわち、離散的な撮像状態のデータを用意しておいて実際に画像回復処理を実行する際に画像回復フィルタを補正する。これにより、予め記憶部１０８に用意しておく画像回復フィルタのデータ数を低減することができる。また、記憶部１０８では画像回復フィルタではなく、画像回復フィルタを生成するために必要なＯＴＦに関する情報を保持する場合、選択したＯＴＦに関する情報から撮像状態に応じた画像回復フィルタを生成する。

画像回復フィルタを説明するための模式図を図７に示す。図７に示す画像回復フィルタは、各画素にＲＧＢの各色成分が揃った画像の各色プレーンに適用する画像回復フィルタの例である。

画像回復フィルタは撮像光学系の収差量に応じてタップ数を決めることができ、この例では１１×１１タップの２次元フィルタとしている。フィルタの各タップが画像の１画素に対応し、画像回復においてコンボリューション処理が行われる。

図７（ａ）のように画像回復フィルタを１００以上に分割した２次元フィルタとすることで、撮像光学系による球面収差、コマ収差、軸上色収差、軸外色フレア等の結像位置から大きく広がる収差に対しても回復することができる。

図７（ａ）では各タップ内の値を省略しているが、このフィルタの１断面を図７（ｂ）に示す。この画像回復フィルタは、上記のように撮像光学系のＯＴＦを計算若しくは計測し、その逆関数を逆フーリエ変換することで得られる。一般的には、ノイズの影響を考慮する必要があるためウィーナーフィルタや関連する回復フィルタの作成方法等を用いる。

さらに、ＯＴＦには、画像処理部１０４に入力される画像に対してＯＴＦを劣化させる要因を含めることができる。例えば、ローパスフィルタは、ＯＴＦの周波数特性に対して高周波成分を抑制する。撮像素子の画素開口の形状や開口率も周波数特性に影響する。他にも光源の分光特性や各種波長フィルタの分光特性がある。これらを含めた広義のＯＴＦに基づいて、画像回復フィルタを作成することが望ましい。

また、画像がＲＧＢ形式のカラー画像である場合は、Ｒ、Ｇ、Ｂの各色成分に対応した３つの画像回復フィルタを作成する。撮像光学系には色収差があり、色成分毎にぼけ方が異なる。そのため、色成分毎の画像回復フィルタは、特性が色収差に基づいて若干異なる。これは、図７（ａ）の断面図が色成分毎に異なることに対応する。画像回復フィルタの縦横のタップ数に関しても正方配列である必要はなく、コンボリューション処理時に考慮すれば任意に変更することができる。

図８は、上述の各画素にＲＧＢの各色成分が揃った画像の各色プレーンに適用する画像回復フィルタに対し、各画素に１色の色成分をもつＲＡＷ画像に適用する画像回復フィルタの例を示す。この画像回復フィルタは対象の色成分が存在する画素に対し係数を保持するものであり、係数を保持している箇所を図中の白で表し、それ以外の０を保持する箇所を黒で表している。

Ｒ、Ｇ、Ｂの３つの色成分に対し画像回復を行う場合、Ｒ、Ｂ成分に適用する画像回復フィルタは図８（ａ）のようになり、Ｇ成分に適用する画像回復フィルタは図８（ｂ）のようになる。しかし、本発明の実施例１ではＧ成分をＧ１及びＧ２の画像回復成分に分離して画像回復フィルタを適用するため、Ｒ、Ｇ１、Ｇ２、Ｂのいずれも図８（ａ）のような画像回復フィルタを用いる。

次に、図６のステップＳ２０４では、画像回復処理部１１１は、ステップＳ２０３で選択された画像回復フィルタを用いて、撮像された入力画像の各画像回復成分の各画素に対してコンボリューション処理を行う。これにより、撮像光学系で発生した収差による画像のぼけ成分を除去若しくは低減することができる。上述のように色画像回復成分毎に適した画像回復フィルタを用いることで、色収差も補正することができる。

実施例１におけるコンボリューション処理は、図４の（ｂ）〜（ｅ）で示した各画像回復成分と、図８（ａ）で示した画像回復フィルタのコンボリューション処理である。ステップＳ２０２で分離した各画像回復成分のデータの持たせ方に応じて、画像回復フィルタの保持方法や適用方法を適宜変えればよい。例えば、対象の画像回復成分以外の部分に０を設定した画像データをＲ、Ｇ１、Ｇ２、Ｂ成分別に４つ用意した場合は、コンボリューション処理の対象にする画素を対象の画像回復成分に限定することで、余計な演算を省くことができる。

また、対象の画像回復成分以外の部分を間引いた１／４サイズの画像データをＲ、Ｇ１、Ｇ２、Ｂ成分別に４つ用意した場合、画像回復フィルタ自体も使用される係数以外を間引いた状態で保持することで、１／４サイズの画像データにそのまま適用できる。

どちらの場合も、図７（ａ）の各画素にＲＧＢの各色成分が揃った画像に適用する画像回復フィルタや、図８（ｂ）の分離しないＧ成分に適用する画像回復フィルタに比べ、有効な係数の数が明らかに少ないため、コンボリューション処理の負荷は低減される。

以上、画像回復処理部１１１は、図６の処理フローに沿って画像上の各画素に対して画像回復処理を行う。ＯＴＦは、１つの撮影状態においても撮像光学系の画角（像高）に応じて変化するので、本実施例における画像回復処理を像高に応じた画像の分割された領域毎に変更して行うことが望ましい。例えば、コンボリューション処理を行いながら画像回復フィルタを画像上で走査し、領域毎にフィルタを順次変更する。すなわち、ステップＳ２０３とステップＳ２０４は、各画像回復成分の各対象画素に対して実行される。

本実施例では、画像回復フィルタの適用を画像回復処理として説明するが、例えば歪曲補正処理や周辺光量補正処理やノイズ低減処理等の別の処理を本発明のフローの前後や途中に組み合わせたものを画像回復処理としてもよい。

画像回復処理部１１１において画像回復処理が施された画像データは、ベイヤー配列のままである。その他画像処理部１１２は、画像回復処理が施された画像データに対して、撮像素子が保持している３つの色成分毎に補間処理を行う。その他画像処理部１１２は、補間処理の他に、ガンマ補正やカラーバランス調整など、ＲＡＷデータに対する周知の現像処理を行ないＪＰＥＧ等の画像ファイルを生成する。

次に、本実施例における、複数の画像に対して画像回復を行う場合の処理の概要について、図９を用いて説明する。

図９は、本実施例における複数画像に対して画像回復を行う場合の処理の概略図を示す。図９の４００は、ユーザーにより複数の画像に対する画像回復処理が選択された場合に、表示部１０５に表示される、画像記録媒体１０９に記録されている画像ファイルの画像データの一例を示している。ユーザーが操作部１０３を操作して画像を選択すると、システムコントローラ１１０は、表示部１０５に、マーク４０３を選択された画像に対して表示させる。ユーザーが操作部１０３を操作して画像回復処理の実行ボタン４０４を選択すると、システムコントローラ１１０は、画像記録媒体１０９に記録された画像ファイル群４０１のうち選択された画像ファイルを画像処理部１０４の画像取得部１１３に順次読み込ませる。

撮影条件情報取得部１１４は、画像取得部１１３によって読み込まれた画像ファイルのヘッダ情報を解析し、撮影条件情報を取得する。システムコントローラ１１０、撮影条件情報を撮影条件情報取得部１１４による取得順から同一の画像回復処理フィルタが適用できる順番に並び替えることで、表示４０２のようにリストを生成し記憶部１０８に保持する。このリストに従って画像回復処理を行うことで、画像回復処理部１１１は、第１の画像回復フィルタ４０５に対応するＩＭＧ＿０００１．ＲＡＷとＩＭＧ＿０００５．ＲＡＷとＩＭＧ＿０００６．ＲＡＷの３つの画像ファイルを連続して処理できる。そのため、第１の画像回復フィルタ４０５の生成を１回に抑えることができる。同様に、ＩＭＧ＿０００３．ＲＡＷとＩＭＧ＿０００４．ＲＡＷに対しても１回の第２の画像回復フィルタ４０６で連続して処理することができる。

また、画像回復フィルタ４０５に対する画像ファイルと第２の画像回復フィルタ４０６に対応する画像ファイルの撮影条件の違いは焦点距離がＶ１かＶ２かのみである。そのため、焦点距離Ｖ１とＶ２が予め離散的に用意された焦点距離データの隣り合うデータであれば、第１の画像回復フィルタ４０５を生成した後に全てのＯＴＦデータを再取得せずとも第２の画像回復フィルタ４０６を生成することができる。すなわち、上記リストの作成によって、処理時間の短縮を図ることができる。

以下に、本実施例における画像回復処理に関する各処理の並列動作について図１０から図１３を用いて詳細に説明する。図１２は、各処理のタイミングの一例を示す。８０１は画像ファイル取得処理、８０２はリスト生成処理、８０３はＯＴＦデータ取得処理、８０４は画像回復フィルタ生成処理、８０５は画像回復処理を示す。ここでは、画像回復フィルタの１枚当たりの生成時間が、画像回復処理の１枚当たりの処理時間やＯＴＦデータ取得時間と比較して長いと仮定する。

まず、図１０を用いて、複数の画像に対する画像回復処理が選択された場合の画像ファイル取得処理８０１およびリスト生成処理８０２を説明する。図１０は、リスト生成処理８０２のフローチャートである。

ステップＳ３０１では、システムコントローラ１１０は、記憶部１０８にリストの記憶域を新規作成する。

ステップＳ３０２では、システムコントローラ１１０は、操作部１０３によってユーザーが選択した画像ファイルの数Ｎを取得する。

ステップＳ３０３では、システムコントローラ１１０は、インデックスｎを初期化し１とする。

ステップＳ３０４では、システムコントローラ１１０は、インデックスｎがＮ以下であるならばステップＳ３０５に処理を進め、それ以外はステップＳ３０９に処理を進める。

ステップＳ３０５では、システムコントローラ１１０は、ユーザーによって選択された画像ファイルを画像記録媒体１０９から１つ読み出し、画像取得部１１３に転送する。

ステップＳ３０６では、システムコントローラ１１０は撮影条件情報取得部１１４に、画像取得部１１３に転送されてきた画像ファイルのヘッダを解析させ、さらに撮影条件情報を取得させる。

ステップＳ３０７では、システムコントローラ１１０は、カメラＩＤ毎にグループ分けされるように、取得された撮影条件情報をステップＳ３０１で作成したリストの記憶域に格納する。

ステップＳ３０８では、システムコントローラ１１０は、インデックスｎをインクリメントしてステップＳ３０４に戻る。すなわち、ステップＳ３０４からステップＳ３０８のループにより、システムコントローラ１１０は、画像ファイル取得処理８０１とリスト生成処理８０２の一部を並列して行う。

ステップＳ３０９では、システムコントローラ１１０は、ステップＳ３０６で取得した撮影条件情報からカメラＩＤのパターン数Ｍを取得する。

ステップＳ３１０では、システムコントローラ１１０は、インデックスｍを初期化し１とする。

ステップＳ３１１では、システムコントローラ１１０は、インデックスｍがＭ以下であるならばステップＳ３１２に処理を進め、それ以外はステップＳ３１４に処理を進める。

ステップＳ３１２では、システムコントローラ１１０は、カメラＩＤ毎にグループ分けされたリストに対し、さらにレンズＩＤ毎にグループ分けし、レンズＩＤに応じてグループ内の順番を並び替える。

ステップＳ３１３では、システムコントローラ１１０は、インデックスｍをインクリメントしてステップＳ３１１に戻る。

ステップＳ３１４では、システムコントローラ１１０は、ステップＳ３０６で取得した撮影条件情報からレンズＩＤのパターン数Ｌを取得する。

ステップＳ３１５では、システムコントローラ１１０は、インデックスｌを初期化し１とする。

ステップＳ３１６では、システムコントローラ１１０は、インデックスｌがＬ以下であるならばステップＳ３１７に処理を進め、それ以外はステップＳ３１９のサブグループ並び替え処理に進む。

ステップＳ３１７では、システムコントローラ１１０は、カメラＩＤおよびレンズＩＤに応じてグループ分けされたリストに対し、グループ内の順番を焦点距離、撮影距離、絞り、ＩＳＯの４つの条件に応じて更にグループ分けし、並び替える。このステップＳ３１７で、グループ分けされた各グループをサブグループと呼ぶ。サブグループの作り方および並べ方は、目的に応じて任意に設定できる。例えば、上記４つの条件が一致するものをサブグループとしてグループ分けした後に、該４つの条件のうちの１つについて大きいものから順にサブグループを並び替えることとしてもよい。

ステップＳ３１８では、システムコントローラ１１０は、インデックスｌをインクリメントしてステップＳ３１６に戻る。

以上のように、本実施例のシステムコントローラ１１０は、複数の画像ファイルに対して画像回復処理を行う場合に、画像回復処理に先だって予め複数の画像ファイルの撮影条件情報を取得し、条件に応じたグループ分けにより階層構造を有するリストを作成する。これにより、同一の画像回復フィルタを適用できるものを１度に処理すること、または、取得するＯＴＦデータを削減することができる。換言すれば、同一の光学伝達関数を用いて画像回復を行う画像を、その光学伝達関数以外の光学伝達関数を用いて画像回復を行う画像よりも先に（優先して）、まとめて処理することができる。その結果、電力的な削減と画像回復処理にかかる時間の短縮が可能となる。

また、本実施例では、図１０に示したように画像ファイル取得処理８０１とリスト生成処理８０２を並列して行うことで、画像回復処理にかかる時間の更なる短縮が可能となっている。

次に、図１０のステップＳ３１９におけるサブグループ並び替え処理についての具体例を、図１１を用いて説明する。

図１１は、本実施例で作成したリストのグループを画像回復フィルタの再利用可能回数の多い順に並び替える、グループ並び替え処理を示すフローチャートである。

ステップＳ５０１では、システムコントローラ１１０は、記憶部１０８のリストを読み出してサブグループの数Ｓを取得する。

ステップＳ５０２では、システムコントローラ１１０は、インデックスｓを初期化し１とする。

ステップＳ５０３では、システムコントローラ１１０は、インデックスｓがＳ以下であるならばステップＳ５０４に処理を進め、それ以外はサブグループ並び替え処理を終了する。

ステップＳ５０４では、システムコントローラ１１０は、記憶部１０８のリストからサブグループを取り出し、サブグループに属する画像ファイル数を取得する。

ステップＳ５０５では、システムコントローラ１１０は、サブグループ内の画像ファイルが多い順にサブグループの順番を並び替える。

ステップＳ５０６では、システムコントローラ１１０は、インデックスｓをインクリメントしてステップＳ５０３に戻る。

次に、図１２および図１３を用いて、図１０に示した画像の並び替え処理の後に行われる処理、すなわち、ＯＴＦデータ取得処理８０３、画像回復フィルタ生成処理８０４、および画像回復処理８０５の並列動作を説明する。図１３は、これらの各処理の並列動作を示すフローチャートである。

ステップＳ９０１では、システムコントローラ１１０は、記憶部１０８のリストからサブグループを読み出す。そして、ＯＴＦデータ取得処理８０３として、ステップＳ３０６で取得した撮影条件情報を基に、サブグループ内の最初の画像ファイルに対応するＯＴＦデータを光学伝達関数取得部１１５に取得させる。

ステップＳ９０２では、システムコントローラ１１０は、画像回復フィルタ生成処理８０４として、ステップＳ９０１で取得したＯＴＦデータに基づいて、最初の画像ファイルに対応する画像回復フィルタを画像回復処理部１１１に生成させる。生成した画像回復フィルタは記憶部１０８で保持される。

ステップＳ９０３では、システムコントローラ１１０は、ステップＳ９０２の画像回復フィルタ生成処理８０４と並列して、サブグループ内に未取得のＯＴＦデータがあるか判定する。システムコントローラ１１０は、未取得のＯＴＦデータがあればステップＳ９０４に処理を進め、未取得のＯＴＦデータがなければＯＴＦデータ取得処理８０３を終了する。

ステップＳ９０４では、システムコントローラ１１０は、次のＯＴＦデータを記憶部１０８から取得し、画像回復処理部１１１の内部の不図示の記憶部で保持して、ステップＳ９０３に戻る。

これらステップＳ９０３とステップＳ９０４におけるＯＴＦデータ取得処理８０３により、他の処理と並列して残りのＯＴＦデータを全て取得できる。

ステップＳ９０５では、システムコントローラ１１０は、新たな画像回復フィルタを生成する必要があるか否かを判定し、必要であればステップＳ９０６に処理を進め、必要なければ画像回復フィルタ生成処理８０４を終了する。

ステップＳ９０６では、システムコントローラ１１０は、次の画像回復フィルタの生成に用いるＯＴＦデータがＯＴＦデータ取得処理８０３で既に取得されているか判定し、未取得であればループを繰り返し、取得済みであればステップＳ９０７に処理を進める。

ステップ９０７では、システムコントローラ１１０は、ステップＳ９０４で取得されたＯＴＦデータに基づいて、新たな画像回復フィルタを画像回復処理部１１１に生成させる。システムコントローラ１１０は、生成した画像回復フィルタは記憶部１０８で保持して、ステップＳ９０５に戻る。

これらステップＳ９０５からステップＳ９０７における画像回復フィルタ生成処理８０４により、他の処理と並列して全ての画像回復フィルタを生成することができる。

ステップＳ９０８では、システムコントローラ１１０は、画像回復処理に必要な画像回復フィルタを記憶部１０８から画像回復処理部１１１に取得させる。

ステップＳ９０９では、システムコントローラ１１０は、ステップＳ９０８で取得された画像回復フィルタを用いて画像回復処理部１１１に画像回復処理８０５を行わせ、画像回復処理の済んだ画像ファイルを新しいファイル番号で画像記録媒体１０９に記録する。

ステップＳ９１０では、システムコントローラ１１０は、画像回復処理対象の画像ファイルが他にもあればステップＳ９１１に処理を進め、画像回復処理対象が画像ファイルを全て処理済みであれば、画像回復処理８０５を終了する。

ステップＳ９１１では、システムコントローラ１１０は、次に画像回復処理をする画像ファイルに対し、新たな画像回復フィルタが必要か否かを判定し、必要であればステップＳ９１２に処理を進め、必要でなければステップＳ９０９に戻る。

ステップＳ９１２では、システムコントローラ１１０は、次に用いる画像回復フィルタが画像回復フィルタ生成処理８０４によって既に生成されているかを判定し、生成されていなければループを繰り返し、生成されていればステップＳ９０８に戻る。

これらステップＳ９０８からステップ９１２における画像回復処理８０５により、他の処理と並列して全ての画像ファイルに対して画像処理を行うことができる。

ＯＴＦデータ取得処理８０３、画像回復フィルタ生成処理８０４、および画像回復処理８０５の終了により、図１３に示すフローチャートに示す全処理が終了する。

以上のように本実施例におけるシステムコントローラ１１０は、上述の階層構造を有するように条件に応じてグループ化分けした画像ファイルのリストを作成した後に、リストのサブグループを画像回復フィルタの再利用可能なファイル数が多い順に並び替える。このリストを用いて、上述のようなＯＴＦデータ取得処理８０３と画像回復フィルタ生成処理８０４と画像回復処理８０５の並列動作を行うことで待機時間を減らすことができ、画像回復処理にかかる時間の更なる短縮が可能となる。

本実施例では、画像ファイル取得処理８０１とリスト生成処理８０２との並列動作の後に、ＯＴＦデータ取得処理８０３と画像回復フィルタ生成処理８０４と画像回復処理８０５の並列動作を行こととしたが、それら全ての処理を並列動作させてもよい。

また、本実施例における画像処理装置１００は、撮像装置や交換レンズに装着されるものであってもよいし、撮像装置等とは異なる画像を取り扱う電子機器に備えられたものであってもよい。

本実施例は、本発明の画像処理装置をレンズ交換式撮像装置に適用させたものである。

図１４は、本実施例に係るレンズ交換式撮像装置２００を示す。２０１は、撮像装置２００に設けられたレンズ装置を示す。２０１ａ，２０１ｂは、レンズ装置２０１の絞りおよびフォーカスレンズであり、撮影光学系を構成している。２０２は、撮像光学系が形成した被写体の光学像を撮像する撮像素子である。２０３はＡ／Ｄ変換部である。２０４は、画像処理部であり、実施例１における画像処理部１０４と同様の構成を有する。２０５，２０８，２０９，２１０はそれぞれ、表示部、記憶部、画像記録媒体、システムコントローラであり、これらも実施例１と同様の構成を有する。

２０６は撮像光学系制御部であり、システムコントローラ１１０からの指示に応じて、取り付けられたレンズ装置２０１を制御する。２０７は状態検知部であり、撮像光学系制御部２０６からの信号に基づいて、現在の撮影光学系の状態を検知する。

実施例１では、サブグループ並び替え処理において、画像回復フィルタの再利用可能なファイル数が多い順に並び替えることとした。これに対し、本実施例では、サブグループ並び替え処理において、当該撮像装置が持つカメラＩＤと撮像装置に装着された交換レンズのレンズＩＤとを考慮して、装着された交換レンズで撮影された画像ファイルを優先して並び替えるものである。

以下に、本実施例におけるサブグループ並び替え処理を、図１５を用いて説明する。実施例１と重複する部分については説明を省略する。

ステップＳ６０１では、システムコントローラ１１０は、画像処理装置１００に設けられた撮像装置のカメラＩＤ（特定のカメラＩＤ）と当該撮像装置に装着された交換レンズのレンズＩＤ（特定のレンズＩＤ）を取得する。ここで、カメラＩＤとレンズＩＤは画像処理装置においてはユーザーが外部から入力できる構成であってもよい。

ステップＳ６０６を除くステップＳ６０２からステップＳ６０７までの処理は、実施例１のステップＳ５０５を除くステップＳ５０１からステップＳ５０６と同一の処理である。

ステップＳ６０６では、システムコントローラ１１０は、ステップＳ６０１で取得したカメラＩＤとレンズＩＤに一致するサブグループを探し、最初に画像回復処理されるようにリストの並び替えを行う。

ユーザーが選択する画像ファイルは画像回復処理を行う撮像装置で撮影したものである場合が多い。本実施例によれば、現在使用中のカメラとレンズで撮影した画像ファイルについて、画像回復処理をして確認したいというユーザーの意図を酌んだ順番で画像回復処理を行うことができる。

本実施例では、実施例１や実施例２とは別に、サブグループ並び替え処理において、当該サブグループ内の画像ファイルおよびサブグループを撮影日時順へ並び替える。

以下に、本実施例におけるサブグループ並び替え処理を、図１６を用いて説明する。実施例１又は実施例２と重複する部分については説明を省略する。

ステップＳ７０１からステップ７０４までの処理は、実施例１のステップＳ５０１からステップＳ５０４と同一の処理である。記憶部１０８のリストを読み出しサブグループ数Ｓを取得する。

ステップＳ７０５では、システムコントローラ１１０は、サブグループに属する画像ファイル数Ｆを取得する。

ステップＳ７０６では、システムコントローラ１１０は、インデックスｆを初期化し１とする。

ステップＳ７０７では、システムコントローラ１１０は、インデックスｆがＦ以下であるならばステップＳ７０８に処理を進め、それ以外はステップＳ７１０に処理を進める。

ステップＳ７０８では、システムコントローラ１１０は、サブグループ内の画像ファイルを撮影日時の早い順に並び替える。

ステップＳ７０９では、システムコントローラ１１０は、インデックスｆをインクリメントしてステップＳ７０７に戻る。

ステップＳ７１０では、システムコントローラ１１０は、サブグループを撮影日時の早い順に並び替える。この際用いるサブグループの撮影日時とはサブグループに属する画像ファイルの中で最も早い撮影日時を適用する。

ステップＳ７１１では、システムコントローラ１１０は、インデックスｓをインクリメントしてステップＳ７０３に戻る。

以上、サブグループ化したリストに対してサブグループ内の画像ファイルおよびサブグループを撮影日時順に並び替える。これにより、できるだけ撮影した順番に処理を実行することになるため、よりユーザーに分かりやすい処理順番とすることができる。本実施では、撮影日時の早い順に画像回復処理する順番を並び替えたが、撮影日時の遅い順に並び替えを行ってもよい。

実施例１から３では、カメラＩＤごとにリストに追加しながら、ユーザーによって選択された画像ファイルを全て取得し、その後に各種の並び替えを行う例を示した。本実施例では、画像ファイルを１つ取得するごとに、カメラＩＤ、レンズＩＤ、焦点距離、撮影距離、絞り、ＩＳＯ等の全ての撮影条件を考慮してリストに追加する。

以下に、本実施例における並び替え処理について図１７を用いて説明する。実施例１から３と重複する部分については説明を省略する。

ステップＳ８０１からステップＳ８０５は、図１７のステップＳ３０１からステップＳ３０３、ステップ３０５、ステップ３０６と同様である。

ステップＳ８０６では、システムコントローラ１１０は、カメラＩＤ等の撮影条件に応じたグループ分けされるように、取得した撮影条件情報をステップＳ８０１で作成したリストの記憶域に格納する。

ステップＳ８０７では、システムコントローラ１１０は、インデックスｎがＮ以下であるならばステップＳ８０４に処理を進め、それ以外の場合は処理を終了する。

以上の動作により、画像ファイルの取得と並び替え処理とを並列して行うことができるため、画像ファイル取得中であっても、その段階で並び替えられた情報に基づいて、画像回復を実行することが可能となる。すなわち、実施例１から３においては画像ファイル取得と撮影条件情報の解析を待ってからＯＴＦデータの取得を開始していたのに対し、本実施例では画像ファイル等の取得中であってもＯＴＦデータの取得を行うことができ、時間を短縮できる。

本実施例では、画像処理装置１００が画像回復処理の実行中における表示部の画像表示について図１８を用いて説明する。

システムコントローラ１１０は、画像回復処理が始まると表示部１０５にリスト１０００を表示し、画像回復処理の実行が始まったことをユーザーに通知する。１００１は、実施例１から３で説明したサブグループおよび画像ファイルの並び替え結果を示すリストに従って、画像回復処理を適用する撮影条件等を示す表示である。１００２は、サブグループ内の画像ファイルを処理する順番に並べて示す表示である。また、処理のステータスも併せて表示する。１００３は、ユーザーが操作部１０３を通じて画像回復処理をキャンセル（中断）指示するための釦を示す表示である。

図１９は、実施例１、実施例２、および実施例３における画像回復の実行中の表示図である。

図１９（ａ）は、画像回復フィルタの再利用可能数の多い順に処理中であることをユーザーに通知している。図１９（ｂ）は、画像回復処理に用いている撮像装置のカメラＩＤとレンズＩＤを優先した順に処理中であることをユーザーに通知している。図１９（ｃ）は、撮影日時の遅い順に処理中であることをユーザーに通知している。

図１８および図１９で示す画像回復処理実行中にユーザーが表示１００３を操作することでキャンセル指示が実行された場合、システムコントローラ１１０は、記憶部１０８に保持するリストにどの画像ファイルまで画像回復処理を実行したか記録する。また画像回復処理が済んでいない画像ファイルに対し、記憶部１０８に保持されている生成済の画像回復フィルタを関連付けて画像記録媒体１０９に記録する。

再度画像回復処理が実行された場合には、記憶部１０８に保持するリストを参照し、画像回復処理が済んでいない画像ファイルから続けて画像回復処理を再開する。

以上のように現在実行中の画像回復処理の詳細をユーザーに通知することで、ユーザーは、画像回復処理を行う優先基準、処理される画像ファイルの順番、処理の進捗状況等（処理状況）を常に知ることができる。そのため、画像回復のような時間がかかる処理であってもユーザーの利便性を向上させるこができる。

また、ユーザーが意図的にキャンセル処理を実行した場合であっても、再度の画像回復処理で画像回復フィルタの作り直しの手間が省ける。そのため、ユーザーの利便性を更に向上させることができる。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施の形態を説明したが、本発明はこれらの実施形態に限定されるものではなく、その要旨の範囲内で種々の変形及び変更が可能である。

１０４ 画像処理部
１０８ 記憶部
１１３ 画像取得部
１１４ 撮影条件情報取得部
１１０ システムコントローラ

Claims (18)

1. 複数の画像を取得する画像取得手段と、
   前記複数の画像が撮影されたときの撮影条件情報を取得する情報取得手段と、
   前記撮影条件情報に対応する光学伝達関数を保存する記憶手段と、
   前記撮影条件情報に基づいて前記光学伝達関数から画像回復フィルタを生成し、前記複数の画像の画像回復を行う画像回復手段と、
   前記画像取得手段によって取得された画像に対して、前記画像回復手段に前記撮影条件情報に基づく順番で画像回復を行わせる画像回復制御手段と、を有することを特徴とする画像処理装置。
2. 前記画像回復制御手段は、前記画像回復手段に、前記画像取得手段によって取得された画像のうち所定の光学伝達関数を用いて画像回復を行う画像に対して、前記所定の光学伝達関数以外の光学伝達関数を用いて画像回復を行う画像よりも先に画像回復を行わせることを特徴とする請求項１に記載の画像処理装置。
3. 前記画像回復制御手段は、同一の光学伝達関数を用いて画像回復を行う画像を同一のグループとし、前記撮影条件情報に基づいて前記グループごとに画像回復を行うように前記画像回復手段を制御することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記画像回復制御手段は、前記グループを構成する画像の数が多い順に、画像処理を行うグループの順番を設定することを特徴とする請求項３に記載の画像処理装置。
5. 前記画像回復制御手段は、前記画像回復手段に、特定のカメラＩＤおよびレンズＩＤに一致するグループに対して、最初に画像処理を行わせることを特徴とする請求項３に記載の画像処理装置。
6. 前記撮影条件情報は、撮影日時を含み、
   前記画像回復制御手段は、前記撮影日時に応じて、画像処理を行うグループの順番を設定することを特徴とする請求項３に記載の画像処理装置。
7. 前記撮影条件情報は、カメラＩＤ、レンズＩＤ、焦点距離、撮影距離、絞り、およびＩＳＯを含み、
   前記画像回復制御手段は、前記カメラＩＤが共通する画像で構成される第１のグループを作成し、前記第１のグループの中で前記レンズＩＤが共通する画像で構成される第２のグループを作成し、前記第２のグループの中で前記焦点距離、前記撮影距離、前記絞り、前記ＩＳＯの値の少なくとも一部が共通する画像で構成される第３のグループを作成し、
   前記第３のグループを構成する画像に対して同一の画像回復フィルタを用いて画像回復を行うように前記画像回復手段を制御することを特徴とする請求項３に記載の画像処理装置。
8. 前記画像回復手段は、第１の画像回復フィルタを用いて画像回復を行っている間に、前記第１の画像回復フィルタの次に画像回復に用いる第２の画像回復フィルタを生成することを特徴とする請求項１から７のうちいずれか１項に記載の画像処理装置。
9. 前記画像回復手段は、第１の光学伝達関数に応じて画像回復フィルタを生成している間に、前記第１の光学伝達関数の次に画像回復フィルタの生成に用いる第２の光学伝達関数を前記記憶手段から取得することを特徴とする請求項１から８のうちいずれか１項に記載の画像処理装置。
10. 前記画像取得手段は、前記画像回復制御手段が前記画像取得手段から取得された第１の画像に対して画像回復を行う順番を決定している間に、前記第１の画像とは異なる第２の画像を取得することを特徴とする請求項１から９のうちいずれか１項に記載の画像処理装置。
11. 前記画像回復制御手段は、前記複数の画像の前記画像回復の順番を示すリストについて、画像表示する信号を生成することを特徴とする請求項１から１０のうちいずれか１項に記載の画像処理装置。
12. 前記画像回復制御手段は、前記リストに前記画像回復の処理状況を表示する信号を生成することを特徴とする請求項１１に記載の画像処理装置。
13. 前記画像回復制御手段は、前記画像回復手段による処理が中断された場合に、中断された画像回復フィルタの生成および画像回復の進捗、並びに既に作成された画像回復フィルタを記録し、
    中断された処理を再開する場合に、記録された前記画像回復フィルタと前記進捗を参照して、前記画像回復手段に前記画像回復を行わせることを特徴とする請求項１から１２のうちいずれか１項に記載の画像処理装置。
14. 前記画像取得手段は、ユーザーによって選択された複数の画像を取得することを特徴とする請求項１３に記載の画像処理装置。
15. 撮像光学系が形成した被写体の光学像を撮像する撮像素子と、
    請求項１から１４にのうちいずれか１項に記載の画像処理装置と、を有し、
    前記画像取得手段は、前記撮像素子によって撮像された画像を取得することを特徴とする撮像装置。
16. 複数の画像を取得するステップと、
    前記複数の画像が撮影されたときの撮影条件情報を取得するステップと、
    前記撮影条件情報に基づいて光学伝達関数を取得するステップと、
    前記光学伝達関数から画像回復フィルタを生成するステップと、
    取得された画像に対して、前記撮影条件情報に基づく順番で画像回復を行うステップと、を有することを特徴とする画像処理方法。
17. コンピュータに、請求項１６に記載の画像処理方法を実行させることを特徴とするプログラム。
18. 請求項１７に記載のプログラムを格納することを特徴とする記憶媒体。