JP2011193338A - 画像処理装置、撮像装置および画像処理プログラム - Google Patents

Abstract

【課題】超解像技術により良好な高解像度画像を生成する。
【解決手段】画像処理装置は、撮像により生成された画像または該画像の一部を伸張処理して生成された画像である第１の画像１２０ｂ、および撮像により生成され、第１の画像よりも撮像倍率が高い画像に相当する画像であって第１の画像に含まれる被写体の一部を被写体として含む第２の画像１２０ｃを取得する画像取得手段１０１，１０２，１０４と、第１の画像に対して、第２の画像を拘束条件として用いた画像処理を行うことにより、第１の画像よりも解像度が高い第３の画像１２０ａを生成する処理手段１０８，１０４とを有する。
【選択図】図４

Description

本発明は、撮像により得られた画像から解像度がより高い画像を生成する画像処理技術に関する。

デジタルスチルカメラ等の撮像装置には、光学ズームやデジタルズームが行えるものが多い。例えば、特許文献１には、段階的にズームを行うステップ光学ズームのステップ間でデジタルズームを行うことで、ステップ光学ズーム機能を搭載しつつも連続的なズームを可能としたカメラが開示されている。

ただし、従来のデジタルズーム方法では、画像の補間処理（線形補間、バイリニア法）によって解像度の変換を行うので、デジタルズーム倍率が大きくなると、画像の画質（解像度）が低下する。

特許文献２には、光学ズームの望遠端近傍で撮像した複数枚の画像を用いる超解像技術（複数枚超解像技術）を用いて高解像度画像を生成し、その高解像画像に対してデジタルズーム処理を行う撮像装置が開示されている。このような複数枚超解像技術を用いて撮像によって生成された画像の解像度を超える画像を作成することで、デジタルズームによる解像度の低下を抑えることができる。

さらに、超解像技術の方法として、ＭＬ（Maximum-Likelihood）法、ＭＡＰ（Maximum A Posterior）法、ＰＯＣＳ（Projection Onto Convex Set）法、ＩＢＰ（Iterative Back Projection）法およびＬＲ（Lucy-Richardson）法等がある。非特許文献１にて開示されたＬＲ法では、原画像における照度の分布や劣化画像における照度の分布を正規化して、確率密度関数の分布として捉える。これにより、光学系の伝達特性である点像強度分布関数（ＰＳＦ：Point Spread Function）は、条件付確率の確率密度関数の分布として捉えることができる。そして、劣化画像の分布とＰＳＦの分布（確率密度関数の分布）とを用いて、ベイズ（Bayes）統計に基づき、劣化画像の分布に対して最大に尤もらしい原画像の分布を反復計算によって推定する（非特許文献１参照）。

特許文献３には、ＬＲ法におけるＰＳＦに代えて、正確な位相特性を含ませることが容易であるＯＴＦを用いることで、より正確な原画像を復元する方法が開示されている。

特開２００２−３４１３９６号公報 特開２００７−１３５１３３号公報 ＷＯ２００６−０４１１２７号公報

W.H.Richardson, "Bayesian-based iterative method of image restoration", J. Opt. Soc. Am. A, 1972, Volume 62, p.55-59

しかしながら、特許文献２にて開示された複数枚超解像技術では、多数枚（例えば、１０枚）の画像のメモリへの保存が必要となるため、メモリに必要な容量が増大する。
また、従来の超解像技術では、低解像度の画像のみから画像全体の高解像度画像を推定するためには撮影光学系の伝達特性（伝達関数）を正確に知る必要がある。しかし、撮影光学系の伝達特性は、その光学系を構成するレンズの収差、被写体の照明波長、撮像素子の開口等の複数のパラメータに依存するため、正確に評価することは一般的に困難である。しかも、個々の撮像装置に設けられた撮影光学系の伝達特性を個別に測定して取り込むことは一般的ではない。撮影光学系の伝達特性が不正確な状態で高解像度画像を推定しても、良好な高解像度画像を生成することはできない。

本発明は、超解像技術を用いた画像処理に適切な拘束条件を付加することで、良好な高解像度画像を生成できるようにした画像処理装置、撮像装置および画像処理プログラムを提供する。

本発明の一側面としての画像処理装置は、撮像により生成された画像または該画像の一部を伸張処理して生成された画像である第１の画像、および撮像により生成され、第１の画像よりも撮像倍率が高い画像に相当する画像であって第１の画像に含まれる被写体の一部を被写体として含む第２の画像を取得する画像取得手段と、第１の画像から、第２の画像を拘束条件として用いた画像処理によって、該第１の画像よりも解像度が高い第３の画像を生成する処理手段とを有することを特徴とする。
なお、撮像を行う撮像部と上記画像処理装置とを有する撮像装置も本発明の他の一側面を構成する。

また、本発明のさらに他の一側面としての画像処理プログラムは、コンピュータに、撮像により生成された画像または該画像の一部を伸張処理して生成された画像である第１の画像、および撮像により生成され、第１の画像よりも撮像倍率が高い画像に相当する画像であって第１の画像に含まれる被写体の一部を被写体として含む第２の画像を取得するステップと、第１の画像から、第２の画像を拘束条件として用いた画像処理によって、該第１の画像よりも解像度が高い第３の画像を生成するステップとを含む処理を実行させることを特徴とする。

本発明によれば、撮像により得られた少数の画像（第１の画像および第２の画像）を用いて、第１の画像よりも高い解像度を有する良好な画像（第３の画像）を得ることができる。

本発明の実施例１である撮像装置の構成を示すブロック図。 実施例１における処理を示すフローチャート。 実施例１における撮像状態を説明する図。 実施例１における撮影画像を説明する図。 本発明の実施例２である撮像装置の構成を示すブロック図。 実施例２における処理を示すフローチャート。 本発明の実施例３における撮影画像を説明する図。 実施例３における処理を示すフローチャート。 本発明の実施例４における処理を示すフローチャート。 本発明の実施例５である画像処理装置の構成を示す概略図。

以下、本発明の実施例について図面を参照しながら説明する。
まず、具体的な実施例の説明に先立って、各実施例にて用いられる超解像技術について説明する。
（超解像原理）
ベイズ統計に基づく画像の復元方法について、モノクロ１次元画像の場合を例として説明する。ここでは、被写体を原画像といい、撮像装置による撮影光学系を通した撮像によって生成された画像およびその画像を電気的に拡大した画像（デジタルズーム画像）を劣化画像という。また、画像の復元によって劣化画像から原画像に近い画像を生成（復元）する技術を超解像技術といい、復元された画像を回復画像または高解像度画像という。

１次元ベクトルで表現される劣化画像をｇ（ｘ）とし、劣化画像に対する１次元ベクトルで表現される原画像をｆ（ｘ）とすると、これら２つの画像は次式の関係を満たす。

ｇ（ｘ）＝ｈ（ｘ）＊ｆ（ｘ） ・・・（１）
ただし、ｈ（ｘ）は撮影光学系の伝達特性（伝達関数）であるＰＳＦである。

ベイズ統計とは、ｆ（ｘ）を原画像とし、ｇ（ｘ）を劣化画像とするとき、原画像が劣化画像に変換される順過程から、ベイズの公式を用いて、逆過程が生ずる確率、すなわち事後確率を算出し、これをもとに劣化画像から原画像を推定するものである。Ｐ（ｆ（ｘ））を原画像ｆが存在する事象の確率密度関数とし、Ｐ（ｇ（ｘ））を劣化画像ｇが生じる事象の確率密度関数とし、Ｐ（ｇ（ｘ）｜ｆ（ｘ））を原画像ｆが与えられたときの劣化画像ｇの条件付き確率密度関数とする。このとき、

がベイズの公式と呼ばれる関係式である。ここで、Ｐ（ｆ（ｘ）｜ｇ（ｘ））は、劣化画像ｇが与えられたという条件の下での原画像ｆの条件付き確率密度分布であり、事後確率密度関数と称される。

ここで、ベイズの公式がｆ，ｇについて成り立つとき、ｆ，ｇが正規化されたものであると考え、ｆ，ｇを確率密度関数として取り扱える場合を考える。原画像のある座標ｘ_１に点光源が存在する事象をｆ（ｘ_１）とし、劣化画像のある座標ｘ_２に像が結像する事象をｇ（ｘ_２）とすると、
Ｐ（ｆ（ｘ_１））＝ｆ（ｘ_１） ・・・（３）
Ｐ（ｇ（ｘ_２））＝ｇ（ｘ_２） ・・・（４）
と表せる。

さらに、Ｐ（ｇ（ｘ_２）｜ｆ（ｘ_１））は、撮影光学系のＰＳＦであるｈを用いて、
Ｐ（ｇ（ｘ_２）｜ｆ（ｘ_１））＝ｈ（ｘ_２−ｘ_１） ・・・（５）
と表せる。
つまり、劣化画像内のある座標ｘ_２に像を結像させる原画像の分布は、式（２）〜（５）より、

から推定することが可能である。

ここでさらに周辺確率の定義から、

が成り立つ。
つまり、式（６）はさらに、

と表せる。ここで、式（８）の両辺にＰ（ｇ（ｘ_２））＝ｇ（ｘ_２）を乗じて積分すると、式（８）の左辺は周辺確率の定義から、
式８左辺＝

となる。また、式（８）の右辺は、
式８右辺＝

となる。
上記の関係は、ｆ（ｘ）が真の原画像である場合に成り立つ。つまり、ｆ（ｘ）を算出することが劣化画像から原画像を復元することに相当する。

ここで、式（９）のｆ（ｘ）をｆ_ｋ＋１（ｘ）とし、式（１０）のｆ（ｘ）をｆ_ｋ（ｘ）として、

による反復計算を行うことで、ｆ_ｋの収束値、すなわち原画像の分布を得ることができる。

このために、ベイズ統計に基づく復元方法を用いることで、劣化画像と撮影光学系の伝達特性が既知であれば、未知である原画像を復元できる。また、上記と同様の原理により、劣化画像とそれに対する原画像が既知であれば、撮影光学系の伝達特性を復元することが可能となる。また、撮影光学系の伝達特性として、ＰＳＦに代えて、フーリエ変換を用いることで、正確な位相特性まで考慮したＯＴＦ（Optical Transfer Function）を用いて復元することも可能である。

また、別の手法として、ＭＡＰ法を用いた場合、下記の式（１２）に示すような事後確率密度を最大とするｆ（ｘ）を求める手法が採られる。

ここで、劣化画像にはガウスノイズｎが付加されると考え、さらに撮影光学系のＰＳＦとして与えたｈ（ｘ）を、線形作用するｍ×ｍのコンボリューション行列Ｃとすると、劣化画像ｇ（ｘ）と原画像ｆ（ｘ）は下記の式（１３）ようにも表せる。
ｇ（ｘ）＝Ｃ×ｆ（ｘ）＋ｎ ・・・（１３）
なお、行列Ｃは、劣化関数であり、ＰＳＦのみではなく、撮像装置のシステムに起因する劣化要因を含むものであってもよい。

以上の仮定に基づくと、式（１２）で事後確率密度が最大となるｆ（ｘ）は、式（１２）の比例式から下記の評価関数Ｔ（ｆ）が最小となるｆ（ｘ）に相当する。
Ｔ（ｆ）＝‖ｇ（ｘ）−Ｃ×ｆ（ｘ）‖^２＋αＺ（ｆ） ・・・（１４）
ただし、Ｚ（ｆ）は画像の滑らかさや付加条件からの拘束項等を含む拘束関数（拘束条件に相当する関数）であり、αは重み係数である。評価関数Ｔ（ｆ）が最小となるｆ（ｘ）の演算には、従来の最急降下法等の手法を用いることができる。

式（１４）のＴ（ｆ）を最小とするｆ（ｘ）を算出することが、劣化画像から原画像を復元すること（実際には、原画像に相当する又は近い高解像度画像を生成すること）に相当する。
（画像処理方法の概念）
次に、本発明の実施例において劣化画像から原画像を復元するための画像処理方法について説明する。
式（１１）の推定式と式（１４）の評価関数とを用いて劣化画像から原画像を復元するには、初期推定分布ｆを設定する必要がある。初期推定分布ｆは、復元された原画像と同じ撮像倍率での撮像により生成された劣化画像であるｇが用いられることが一般的である。また、ＰＳＦまたはＯＴＦ等の撮影光学系の伝達特性と、付加条件や拘束条件等から得られる拘束項（拘束条件）とが重要であることが理解される。

しかし、撮影光学系の伝達特性は、その撮影光学系を構成するレンズの収差や被写体を照明する光の波長や撮像装置に設けられた撮像素子の開口等の複数のパラメータに依存しており、正確に評価することは一般的に困難である。このため、初期条件のＰＳＦとしてガウス分布が簡易的に用いられるが、実際の撮影光学系（または撮像素子等も含めた撮像部）においてＰＳＦがガウス分布と一致することは稀であり、ほとんどの場合、推定誤差の増加要因となる。また、上述の原理により劣化画像からＰＳＦを推定することが考えられるが、劣化画像では多くの情報が欠如しているため、正確なＰＳＦを推定することも困難である。

このため、本発明の実施例においては、超解像技術に新たな強い拘束条件を付加することで超解像技術の精度を向上させる。「強い拘束条件」として用いるのは、本発明の実施例では、劣化画像よりも撮像倍率が高い、言い換えれば劣化画像の一部の領域に関して解像度が高い画像（以下、拘束画像という）である。

具体的には、図４に示すように、被写体（原画像）１２０ａを撮像して生成された画像（第１の画像）１２０ｂを劣化画像とする。また、劣化画像に含まれる被写体１２０ａの一部（被写体１２０ａ内に示した破線の内側の部分）を拡大しての撮像、つまり劣化画像の撮像倍率（第１の撮像倍率）より高い撮像倍率（第２の撮像倍率）での撮像により生成された画像１２０ｃが拘束画像である。拘束画像は、第２の画像に相当する。

拘束画像は、劣化画像の一部の画像情報を劣化画像よりも高い解像度で詳細に示す。つまり、拘束画像は、劣化画像に比べて、被写体のより高い周波数成分まで含んでいる。このため、例えば劣化画像において主被写体が存在する中央部のＰＳＦを、拘束画像をもとにより正確に推定し、式（１１）を用いた反復計算によって、従来よりも高精度な原画像の復元が可能となる。また、劣化画像一部の領域の詳細な画像情報を復元開始前に取得できるため、式（１４）の評価関数に拘束画像と劣化画像の一部の領域との相関を評価値とした相関関数を追加することで、さらに高精度な原画像の復元が可能となる。

以下、本発明の具体的な実施例について説明する。

図１には、実施例１である撮像装置の基本構成を示している。不図示の被写体からの光は、撮影光学系１０１を通ることで撮像素子１０２上に被写体像を形成する。撮影光学系１０１は、変倍レンズやフォーカスレンズ等の複数のレンズと、光量調節のための絞り１０１ａを含む。撮影光学系１０１のズーム位置（焦点距離）、フォーカス位置および絞り径は、システムコントローラ１０８からの制御信号を受けた光学系制御部１０６によって制御される。

なお、撮影光学系１０１は、撮像装置に一体に設けられていてもよいし、交換レンズとして撮像装置に装着されてもよい。

撮像素子１０２は、被写体像を電気信号に変換して撮像信号を出力する。撮像信号は、Ａ／Ｄコンバータ１０３によりデジタル信号に変換されて、画像処理部１０４に入力される。画像処理部１０４は、撮像信号に対して様々な処理を行うことで画像を生成するとともに、該画像（劣化画像）から、画像処理としての超解像処理（高解像度化処理）を行うことで高解像度画像（回復画像）を生成する。

撮影光学系１０１、撮像素子１０２および画像処理部１０４は撮像部および画像取得手段を構成し、画像処理部１０４およびシステムコントローラ１０８は、処理手段を構成する。

画像処理部１０４にて生成された画像は、画像記録媒体１０７に記録されたり、表示部１０５に表示されたりする。

次に、図２のフローチャートを用いて、撮影光学系１０１が２焦点ズームレンズである場合に撮像装置で行われる処理（動作）について説明する。ここにいう２焦点ズームレンズとは、図３に示す広角端Ｐ１と望遠端Ｐ３とで収差補正が十分になされて良好な光学性能を持つが、中間のズーム位置Ｐ２では光学性能が保証されていないようなステップズームレンズを意味する。図４に示した被写体１２０ａは、撮像対象の被写体である。劣化画像１２０ｂは、中間ズーム位置Ｐ２での撮像により得られた画像に相当する。また、拘束画像１２０ｃは、被写体１２０ａの一部（人物の顔の部分）を望遠端Ｐ３での拡大撮像によって得られた画像に相当する。

また、このフローチャートに示される処理は、マイクロコンピュータであるシステムコントローラ１０８がコンピュータプログラムである画像処理プログラムに従って撮影光学系１０１、撮像素子１０２および画像処理部１０４を制御することで実行する。このことは、後述する他の実施例でも同じである。

システムコントローラ１０８は、使用者の操作に応じた撮像指示信号が入力されると（ステップＳ１）、第１のズーム位置（本実施例では中間ズーム位置Ｐ２）に撮影光学系１０１を制御する（ステップＳ２）。

次に、システムコントローラ１０８は、撮影光学系１０１が第１のズーム位置にある状態で１回目の撮像を行う（ステップＳ３）。この撮像によって、使用者が選択した画角を有する基準画像（第１の画像）となる。この基準画像は、撮影光学系１０１の光学性能が保証されていない中間ズーム位置Ｐ２での撮像により得られるため、図４中の劣化画像１２０ｂに相当する。

１回目の撮像が完了すると、システムコントローラ１０８は、光学系制御部１０６を介して撮影光学系１０１のズーム位置を、第１のズーム位置よりも撮像倍率が高くなる第２のズーム位置（本実施例では望遠端Ｐ３）に変更する（ステップＳ４）。

そして、システムコントローラ１０８は、撮影光学系１０１が第２のズーム位置にある状態で２回目の撮像を行う（ステップＳ５）。この撮像によって、図４に示した拘束画像１２０ｃに相当する参照画像（第２の画像）が得られる。この参照画像は、撮影光学系１０１の光学性能が保証されている望遠端Ｐ３での撮像により得られるため、十分に高解像度の画像である。

基準画像（劣化画像）１２０ｂと参照画像（拘束画像）１２０ｃは、画像処理部１０４内の不図示のメモリに一時的に格納される。

次に、システムコントローラ１０８は、画像処理部１０４に、基準画像１２０ｂの分布ｇを特定させる（ステップＳ６）。

さらにシステムコントローラ１０８は、画像処理部１０４に、基準画像１２０ｂ内において、参照画像１２０ｃに含まれる被写体（ここでは人物の顔）を含む領域（図４中の破線で囲まれた領域であり、以下、同一被写体領域という）を特定させる（ステップＳ７）。この同一被写体領域の特定に関しては、エッジ抽出等による共通点抽出手法を用いればよい。また、同一被写体領域の特定時に、参照画像１２０ｃを基準画像１２０ｂと同じサイズまで縮小したり、基準画像１２０ｂを参照画像１２０ｃと同じサイズまで拡大したりして、両画像１２０ｂ，１２０ｃを比較してもよい。

次に、システムコントローラ１０８は、画像処理部１０４に、上述した超解像原理に基づく超解像処理を行わせる（ステップＳ８）。ここでは、画像処理部１０４は、式（１４）で示した評価関数Ｔ（ｆ）を作成する。本実施例においては、評価関数Ｔ（ｆ）内のＺ（ｆ）の項に、基準画像１２０ｂと参照画像１２０ｃの同一被写体領域の相関が高い場合に値が小さくなる相関関数を追加する。これにより、従来よりも高精度に原画像の復元、すなわち第３の画像である高解像度な回復画像（高解像度画像）の生成を行うことができる。参照画像１２０ｃは、基準画像１２０ｂに比べて、被写体のより高周波成分までを含んでいるため、該参照画像１２０ｃを拘束条件として用いる（望遠画像の一部を拘束条件とする場合も含む）。このようにすることで、参照画像を拘束条件としない場合に比べて、より高い周波数成分まで高精度に復元することが可能である。

次に、システムコントローラ１０８は、画像処理部１０４に、評価関数が最小となる分布ｆを最急降下法等を用いて算出させる（ステップＳ９）。

さらに、システムコントローラ１０８は、算出した分布ｆを持つ画像を回復画像（第３の画像）として画像記録媒体１０７に保存する（ステップＳ１０）。また、システムコントローラ１０８は、回復画像を表示部１０５に表示する。

本実施例によれば、ステップ光学ズームを行う撮影光学系を用いる場合でも、解像度を高く保持した連続ズームが可能となる。また、基準画像と参照画像の２枚の画像を用いて回復画像を生成できるため、画像を保存するメモリの必要容量の増大を抑えることができる。このことは、通常の連続光学ズームを行う撮影光学系を用いる場合でも同じである。

図５には、本発明の実施例２である撮像装置を示している。撮像装置の内部構成は、実施例１にて図１に示した構成と同様であり、共通する構成要素には同符号を付す。本実施例の撮像装置２００は、互いに画角（撮像倍率）が異なる撮像を行うための２つの撮影光学系２０１，２０２を有する２眼（複眼）カメラである。２つの撮影光学系２０１，２０２はそれぞれ、図３に示す広角端Ｐ１と望遠端Ｐ３に相当する焦点距離を有する。また、撮像装置２００は、図３に示す中間ズーム位置Ｐ２に相当する焦点距離での撮像機能を持たない。

図７において、２１０ａは撮像対象の被写体および該被写体を広角端Ｐ１に相当する撮影光学系２０１を用いて撮像して得られた画像（以下、広角画像という）である。２１０ｂは広角画像２１０ａ内において実線で囲まれた領域を伸張処理（拡大処理）して生成された画像（第１の画像であり、以下、伸張画像という）である。この伸張画像２１０ｂは、中間ズーム位置Ｐ２での撮像により生成される劣化画像に相当する。２１０ｃは被写体２１０ａ内において破線で囲まれた領域（被写体２１０ａの一部）を望遠端Ｐ３に相当する撮影光学系２０２を用いて撮像して得られた画像（第２の画像としての拘束画像であり、以下、望遠画像という）である。望遠画像２１０ｃは、伸張画像２１０ｂよりも撮像倍率が高い画像に相当する。

さらに、２１０ｄは本実施例の超解像処理によって生成された回復画像（第３の画像）である。

図６のフローチャートを用いて、本実施例の撮像装置２００で行われる処理（動作）について説明する。

システムコントローラ１０８は、使用者の操作に応じた撮像指令信号が入力されると（ステップＳ２１）、広角画像２１０ａと望遠画像（第２の画像）２１０ｃを同時に又は順次取得する（ステップＳ２２）。広角画像２１０ａと望遠画像２１０ｃはともに光学性能が保証された撮影光学系２０１，２０２を通した撮像により得られた画像であるため、十分に高解像度の画像である。広角画像２１０ａと望遠画像２１０ｃは、画像処理部１０４内の不図示のメモリに一時的に格納される。

次に、システムコントローラ１０８は、画像処理部１０４に、広角画像２１０ａから、使用者によって選択された一部領域を切り出して伸張処理させ、伸張画像（第１の画像）２１０ｂを生成させる（ステップＳ２３）。伸張画像２１０ｂは、デジタルズーム技術である線形補間を用いて拡大処理された画像であるため劣化画像となる。伸張画像２１０ｂは、画像処理部１０４内の不図示のメモリに一時的に格納される。

次に、システムコントローラ１０８は、画像処理部１０４に、伸張画像２１０ｂの分布ｇを特定させる（ステップＳ２４）。

またシステムコントローラ１０８は、画像処理部１０４に、伸張画像２１０ｂ内において、望遠画像２１０ｃに含まれる被写体（ここでは人物の顔）を含む領域（図７中の破線で囲まれた領域であり、以下、同一被写体領域という）を特定させる（ステップＳ２５）。この同一被写体領域の特定に関しては、エッジ抽出等による共通点抽出手法を用いればよい。また、同一被写体領域の特定時に、望遠画像２１０ｃを伸張画像２１０ｂと同じサイズまで縮小したり、伸張画像２１０ｂを望遠画像２１０ｃと同じサイズまで拡大したりして、両画像２１０ｂ，２１０ｃを比較してもよい。

次に、システムコントローラ１０８は、画像処理部１０４に、上述した超解像原理に基づいた超解像処理を行わせる（ステップＳ２６）。ここでは、式（１４）で示した評価関数Ｔ（ｆ）を作成する。本実施例においては、評価関数Ｔ（ｆ）内のＺ（ｆ）の項に、伸張画像２１０ｂと望遠画像２１０ｃの同一被写体領域の相関が高い場合に値が小さくなる相関関数を追加する。これにより、従来よりも高精度に原画像の復元、すなわち第３の画像である高解像度な回復画像（高解像度画像）の生成を行うことができる。望遠画像２１０ｃは、伸張画像２１０ｂに比べて、被写体のより高周波成分までを含んでいるため、該望遠画像２１０ｃを拘束条件として用いる（望遠画像の一部を拘束条件とする場合も含む）。このようにすることで、望遠画像を拘束条件としない場合に比べて、より高い周波数成分まで高精度に復元することが可能である。

次に、システムコントローラ１０８は、画像処理部１０４に、評価関数が最小となる分布ｆを最急降下法等を用いて算出させる（ステップＳ２７）。

さらに、システムコントローラ１０８は、算出した分布ｆを持つ画像２１０ｄを回復画像（第３の画像）として画像記録媒体１０７に保存する（ステップＳ２８）。また、システムコントローラ１０８は、回復画像を表示部１０５に表示する。

本実施例によれば、固定された焦点距離が互いに異なる複眼撮影光学系を用いる場合でも、解像度を高く保持した連続ズームが可能となる。また、広角画像、伸張画像および望遠画像の３枚の画像を用いて回復画像を生成できるため、画像を保存するメモリの必要容量の増大を抑えることができる。

図８のフローチャートには、実施例２と同様の２眼カメラにおける実施例２で説明した処理とは異なる処理を示している。ステップＳ２１〜ステップＳ２５までの処理は、実施例２と同じである。
ステップＳ２６′では、システムコントローラ１０８は、画像処理部１０４に、超解像処理を行わせる。ここでは、画像処理部１０４は、図７に示した伸張画像２１０ｂと望遠画像２１０ｃの同一被写体領域において、望遠画像２１０ｃの分布が原画像であると仮定し、初期推定分布に設定する。式（１１）で示した原理から、伸張画像２１０ｂの分布と原画像としての望遠画像２１０ｃの分布とが分かっているとき、撮影光学系の伝達特性であるＰＳＦを復元することが可能である。つまり、同一被写体領域において、伸張画像２１０ｂでの劣化関数を望遠画像２１０ｃが有する周波数領域内で復元することができる。

次に、ステップＳ２７′では、システムコントローラ１０８は、画像処理部１０４に、復元した劣化関数を式（１１）における撮影光学系の伝達特性および伸張画像２１０ｂの分布ｇを初期推定分布として、式（１１）の反復計算を実行させる。

そして、ステップＳ２８′では、システムコントローラ１０８は、反復計算の結果、求められた分布ｆ_ｋ＋１を持つ画像２１０ｄを回復画像として画像記録媒体１０７に保存する。また、システムコントローラ１０８は、回復画像を表示部１０５に表示する。

本実施例でも、固定された焦点距離が互いに異なる複眼撮影光学系を用いる場合でも、解像度を高く保持した連続ズームが可能となる。また、広角画像、伸張画像および望遠画像の３枚の画像を用いて回復画像を生成できるため、画像を保存するメモリの必要容量の増大を抑えることができる。

図９のフローチャートには、実施例１と同じ構成を要する撮像装置における実施例１で説明した処理とは異なる処理を示している。ステップＳ１〜ステップＳ７までの処理は、実施例１と同じである。

ステップＳ８′では、システムコントローラ１０８は、画像処理部１０４に、超解像処理を行わせる。画像処理部１０４は、図４に示した基準画像１２０ｂと参照画像１２０ｃの同一被写体領域において、参照画像１２０ｃの分布が原画像であると仮定し、初期推定分布に設定する。式（１１）で示した原理から、基準画像１２０ｂの分布と原画像としての参照画像１２０ｃの分布とが分かっているとき、撮影光学系の伝達特性であるＰＳＦを復元することが可能である。つまり、同一被写体領域において、基準画像１２０ｂでの劣化関数を参照画像１２０ｃが有する周波数領域内で復元することができる。

次に、ステップＳ９′では、システムコントローラ１０８は、画像処理部１０４に、復元した劣化関数を式（１１）における撮影光学系の伝達特性および基準画像１２０ｂの分布ｇを初期推定分布として、式（１１）の反復計算を実行させる。

そして、ステップＳ１０′では、システムコントローラ１０８は、反復計算の結果、求められた分布ｆ_ｋ＋１を持つ画像を回復画像（第３の画像）として画像記録媒体１０７に保存する。また、システムコントローラ１０８は、回復画像を表示部１０５に表示する。

本実施例でも、ステップ光学ズームを行う撮影光学系を用いる場合に、解像度を高く保持した連続ズームが可能となる。また、基準画像と参照画像の２枚の画像を用いて回復画像を生成できるため、画像を保存するメモリの必要容量の増大を抑えることができる。

上述した各実施例では、撮像倍率が異なる第１および第２の画像の取得方法として、ステップズームレンズや２眼カメラを用いる場合について説明したが、これらは例である。被写体距離を変えたり、屈折力可変素子等を用いた高速ズームを用いたり、異なる撮像装置によって撮像された画像を用いる等、他の方法を用いてもよい。

上記各実施例では、撮像装置に、画像処理装置としての画像処理部１０４を内蔵した場合について説明したが、本発明はこれに限らない。

例えば図１０に示すように、撮像装置１４０１による撮像によって生成された画像をパーソナルコンピュータ１４０２に送信する。送信方法は、ケーブル方式、無線方式のいずれでもよく、インターネットやＬＡＮを介して送信してもよい。

そして、パーソナルコンピュータ１４０２において、図２、図６、図８又は図９にて説明した超解像処理や伸張処理等を行ってもよい。この場合、パーソナルコンピュータが本発明にいう画像取得手段と処理手段を有する画像処理装置として機能する。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

超解像技術により良好な高解像度画像を生成可能な画像処理装置や撮像装置を提供できる。

１０１，２０１，２０２ 撮影光学系
１０２ 撮像素子
１０４ 画像処理部
１０８ システムコントローラ

Claims (5)

1. 撮像により生成された画像または該画像の一部を伸張処理して生成された画像である第１の画像、および撮像により生成され、前記第１の画像よりも撮像倍率が高い画像に相当する画像であって該第１の画像に含まれる被写体の一部を被写体として含む第２の画像を取得する画像取得手段と、
   前記第１の画像から、前記第２の画像を拘束条件として用いた画像処理によって、該第１の画像よりも解像度が高い第３の画像を生成する処理手段とを有することを特徴とする画像処理装置。
2. 前記処理手段は、前記画像処理において、ｇ（ｘ）を前記第１の画像とし、Ｃを劣化関数とし、ｆ（ｘ）を原画像とし、αを重み係数とし、Ｚ（ｆ）を前記拘束条件に相当する拘束関数として、以下の評価関数Ｔ（ｆ）の値が最小となる演算を行い、
   Ｔ（ｆ）＝‖ｇ（ｘ）−Ｃ×ｆ（ｘ）‖^２＋αＺ（ｆ）
   前記拘束関数であるＺ（ｆ）は、前記第１の画像および前記第２の画像との相関を表す相関関数を含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記処理手段は、前記第２の画像から推定した、前記撮像に用いられた撮影光学系の伝達関数を用いて前記画像処理を行うことを特徴とする請求項１又は２に記載の画像処理装置。
4. 撮像を行う撮像部と、
   請求項１から３のいずれか一項に記載の画像処理装置とを有することを特徴とする撮像装置。
5. コンピュータに、
   撮像により生成された画像または該画像の一部を伸張処理して生成された画像である第１の画像、および撮像により生成され、前記第１の画像よりも撮像倍率が高い画像に相当する画像であって該第１の画像に含まれる被写体の一部を被写体として含む第２の画像を取得するステップと、
   前記第１の画像から、前記第２の画像を拘束条件として用いた画像処理によって、該第１の画像よりも解像度が高い第３の画像を生成するステップとを含む処理を実行させることを特徴とする画像処理プログラム。