JP2014164574A - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

【課題】入力画像群の各入力画像に異なるぼけ度合いのぼけが含まれていても、画質の劣化を抑えて高解像度画像を生成することが可能な画像処理装置を提供する。
【解決手段】画像処理装置１は、それぞれが共通する部分領域を有する入力画像群のうちの１つの入力画像を基準画像とし、基準画像以外の入力画像を参照画像としてテンプレートマッチング処理を行なうことで、参照画像のぼけ度合いを推定するためのぼけ度合推定部３２３と、参照画像について、推定されたぼけ度合いをパラメーターとして用いて超解像処理を実行するための超解像処理部３６とを備え、ぼけ度合推定部３２３は、基準画像に対してぼけ度合いに応じたぼけを付加してテンプレートマッチング処理に用いる。
【選択図】図１

Description

この発明は画像処理装置、画像処理方法および画像処理プログラムに関し、特に、解像度を向上させる処理を行なう画像処理装置、画像処理方法および画像処理プログラムに関する。

それぞれが共通する部分領域を有し、低解像度である多視点の入力画像群や連続した入力画像群から１枚の高解像度画像を生成する画像処理技術がある。このような処理は、超解像処理とも呼ばれる。

入力画像ごと、または入力画像の部分領域ごとにピントの合っていない状態であるぼけ方が異なると、これら入力画像群に対して超解像処理を施しても解像度が向上しない。

このような問題に対して、特開２０１０−７３０７４号公報（以下、特許文献１）は、間違えて、フォーカスの合っていない被写体の解像度を上げないように、画像のテクスチャー量などを用いて領域ごとにぼけを推定し、ぼけ度合いに応じて解像力を上げる技術を開示している。また、特開２００９−１９４８９６号公報（以下、特許文献２）は、画像の高周波成分からぼけ度合いを推定し、ぼけの少ない画像を初期画像に選んで超解像処理を実行する技術を開示している。また、特開２００７−１９３５０８号公報（以下、特許文献３）は、画像の領域ごとに高周波成分を用いてぼけ度合いを推定し、超解像のパラメーターを切り替える技術を開示している。

特開２０１０−７３０７４号公報 特開２００９−１９４８９６号公報 特開２００７−１９３５０８号公報

しかしながら、上記特許文献２の技術では、ぼけ度合いの推定が位置ずれの推定から独立して行なわれるものであるため、ぼけ度合いの差異が大きいと位置ずれの推定精度が低下して超解像処理後の画質が劣化してしまうという問題がある。また、特許文献２の技術では、ぼけ度合いをそのまま超解像処理に利用するものではないため、ぼけによる超解像処理後の画質の劣化を適切に抑えるができないという問題がある。

また、上記特許文献３の技術は画像のシーンの高周波成分の違いに対応するための処理であり、入力画像ごとのぼけ度合いの違いには対応することができない。

本発明はこのような問題に鑑みてなされたものであって、入力画像に異なるぼけ度合いのぼけが含まれていても、画質の劣化を抑えて高解像度画像を生成することが可能な画像処理装置、画像処理方法および画像処理プログラムを提供することを目的としている。

上記目的を達成するために、本発明のある局面に従うと、画像処理装置は、それぞれが共通する部分領域を有する入力画像群から、入力画像よりも高い周波数情報を持つ高解像度画像を作成して出力する画像処理装置であって、入力画像群のうちの１つの入力画像を基準画像とし、基準画像以外の入力画像を参照画像としてテンプレートマッチング処理を行なうことで、参照画像のぼけ度合いを推定するための推定手段と、参照画像について、推定されたぼけ度合いをパラメーターとして用いて超解像処理を実行するための処理手段とを備え、推定手段は、基準画像に対してぼけ度合いに応じたぼけを付加してテンプレートマッチング処理に用いる。

好ましくは、処理手段は、入力画像について推定されたぼけ度合いから、超解像処理に用いるパラメーターを算出するための算出手段を含む。

好ましくは、推定手段は、基準画像に対して平滑化フィルターを適用することでぼけを付加した画像を生成する。

好ましくは、推定手段は、入力画像群の中でぼけ度合いの最も小さい入力画像を基準画像として用いる。

好ましくは、処理手段は、推定されたぼけ度合いが同じ入力画像ごとに、超解像処理に含まれる、入力画像に対して補間処理を施して入力画像の解像度を変換することで作成される出力候補画像と入力画像群の入力画像それぞれとを比較することで残差を算出する処理を実行する。

好ましくは、処理手段は、入力画像群のうちの、テンプレートマッチング処理での基準画像への一致度合いが規定度合い以上である領域を用いて超解像処理を実行する。

好ましくは、推定手段は、テンプレートマッチング処理を行なうことで、算出画像における基準画像に相当する位置をさらに推定する。

好ましくは、入力画像群は、互いに光軸が異なる複数レンズを含んだレンズアレイで得られる画像群である。

本発明の他の局面に従うと、画像処理方法は、それぞれが共通する部分領域を有する入力画像群から、入力画像よりも高い周波数情報を持つ高解像度画像を出力画像として生成する方法であって、入力画像群のうちの１つの入力画像を基準画像とし、基準画像以外の入力画像を参照画像としてテンプレートマッチング処理を行なうことで、参照画像のぼけ度合いを推定するステップと、参照画像について、推定されたぼけ度合いをパラメーターとして用いて超解像処理を実行するステップとを備え、参照画像のぼけ度合いを推定するステップは、基準画像に対してぼけ度合いに応じたぼけを付加してテンプレートマッチング処理に用いる画像を生成するステップを含む。

本発明のさらに他の局面に従うと、画像処理プログラムは、コンピューターに、それぞれが共通する部分領域を有する入力画像群から、入力画像よりも高い周波数情報を持つ高解像度画像を出力画像として生成する処理を実行させるプログラムであって、入力画像群のうちの１つの入力画像を基準画像とし、基準画像以外の入力画像を参照画像としてテンプレートマッチング処理を行なうことで、参照画像のぼけ度合いを推定するステップと、参照画像について、推定されたぼけ度合いをパラメーターとして用いて超解像処理を実行するステップとをコンピューターに実行させ、参照画像のぼけ度合いを推定するステップは、基準画像に対してぼけ度合いに応じたぼけを付加してテンプレートマッチング処理に用いる画像を生成するステップを含む。

この発明によると、入力画像群の各入力画像に異なるぼけ度合いのぼけが含まれていても、画質の劣化を抑えて高解像度画像を生成することができる。

実施の形態にかかる画像処理装置の構成の基本的構成を示すブロック図である。 画像処理装置を具現化したデジタルカメラの構成を示すブロック図である。 画像処理装置を具現化したパーソナルコンピューターの構成を示すブロック図である。 画像処理装置のカメラに含まれるレンズの配置の具体例を表わした図である。 レンズの温度変化の、超解像処理に対する影響を説明するための図である。 レンズの温度変化の、超解像処理に対する影響を説明するための図である。 レンズの温度変化の、超解像処理に対する影響を説明するための図である。 画像処理装置での動作の流れを表わすフローチャートである。 図８のステップＳ１での、第１の位置ずれ推定処理としての位置ずれ概略推定処理を説明するための図である。 図８のステップＳ１での、第１の位置ずれ推定処理としての位置ずれ概略推定処理を説明するための図である。 図８のステップＳ２での、第２の位置ずれ推定処理としての位置ずれ推定処理を説明するための図である。 図８のステップＳ２での、第２の位置ずれ推定処理としての位置ずれ推定処理を説明するための図である。 図８のステップＳ２での、第２の位置ずれ推定処理としての位置ずれ推定処理を説明するための図である。 図８のステップＳ２での、第２の位置ずれ推定処理としての位置ずれ推定処理を説明するための図である。 図８のステップＳ２での、第２の位置ずれ推定処理としての位置ずれ推定処理を説明するための図である。 図８のステップＳ２での、第２の位置ずれ推定処理としての位置ずれ推定処理を説明するための図である。 図８のステップＳ２での、第２の位置ずれ推定処理としての位置ずれ推定処理を説明するための図である。 図８のステップＳ２での、第２の位置ずれ推定処理としての位置ずれ推定処理を説明するための図である。 図８のステップＳ３の超解像処理に先だって行なわれる、パラメーター算出のための処理を表わすフローチャートである。 図１９のステップ＃１１でのガウシアンフィルターの係数の換算方法を説明するための図である。 図１９のステップ＃１２でのＰＳＦの算出方法を説明するための図である。 図８のステップＳ３での超解像処理の流れを表わした図である。 図２２のステップ＃３３で用いられる劣化情報を説明するための図である。 図２２のステップ＃３３での処理を説明するための図である。 図２２のステップ＃３３での処理を説明するための図である。 図２２のステップ＃３３での処理を説明するための図である。 図２２のステップ＃３３での処理を説明するための図である。 図２２のステップ＃３３での処理を説明するための図である。 図２２のステップ＃３３の残差算出処理の一例を表わしたフローチャートである。 ぼけ度合いの推定結果の具体例を表わした図である。 図２２のステップ＃３３の残差算出処理の他の例を表わしたフローチャートである。 図２２のステップ＃３３の残差算出処理の他の例を表わしたフローチャートである。 図８のステップＳ３での超解像処理の他の例を表わした図である。 画像処理装置での動作の他の例を表わすフローチャートである。 画像処理装置での動作の他の例を説明するための図である。 画像処理装置での動作の他の例を説明するための図である。 画像処理装置での動作の他の例を説明するための図である。 画像処理装置での動作の他の例を説明するための図である。

以下に、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらの説明は繰り返さない。

なお、以下の例では、入力画像群として、視点の異なる複数のレンズを有するアレイカメラによって同時に撮影された複数の撮影画像を用いるものとしているが、入力画像群はこのような撮影画像に限定されるものではない。一つの高解像度画像を得るために、それぞれの画像に共通する部分領域があれば適応可能で、他の例として、連続して撮影された複数の撮影画像が用いられてもよい。

＜システム構成＞
図１は、本実施の形態にかかる画像処理装置１の構成の基本的構成を示すブロック図である。

図１を参照して、画像処理装置１は、撮像部２と、画像処理部３と、画像出力部４とを含む。図１に示す画像処理装置１においては、撮像部２が被写体を撮像することで画像（以下、「入力画像」とも称する）を取得し、画像処理部３がこの取得された入力画像に対して後述するような画像処理を行なうことで、入力画像よりも高周波数成分を有する高解像度の出力画像（以下、「高解像度画像」とも称する）を生成する。そして、画像出力部４は、この高解像度画像を表示デバイスなどへ出力する。

撮像部２は、対象物（被写体）を撮像して入力画像を生成する。より具体的には、撮像部２は、カメラ２２と、カメラ２２と接続されたＡ／Ｄ（Analog to Digital）変換部２４とを含む。Ａ／Ｄ変換部２４は、カメラ２２により撮像された被写体を示す入力画像を出力する。

カメラ２２は、被写体を撮像するための光学系であって、アレイカメラである。すなわち、カメラ２２は、格子状に配置された視点の異なるＮ個のレンズ２２ａ−１〜２２ａ−ｎ（これらを代表させて、レンズ２２ａとも称する）と、レンズ２２ａにより形成された光学像を電気信号に変換するデバイスである撮像素子（イメージセンサー）２２ｂとを含む。

Ａ／Ｄ変換部２４は、撮像素子２２ｂから出力される被写体を示す映像信号（アナログ電気信号）をデジタル信号に変換して出力する。撮像部２はさらに、カメラ各部分を制御するための制御処理回路などを含み得る。

画像処理部３は、撮像部２によって取得された入力画像に対して、本実施の形態に従う画像処理方法を実施することで高解像度画像を生成する。より具体的には、画像処理部３は、後述する位置ずれ推定処理を行なうための位置ずれ推定部３２と、超解像処理部３６とを含む。位置ずれ推定部３２は、さらに第１の位置ずれ推定処理を行なうための第１推定部３２１と第２の位置ずれ推定処理を行なうための第２推定部３２２とを含み、第２推定部３２２は、さらに、後述するぼけ度合い推定処理を行なうためのぼけ度合い推定部３２３を含む。また、超解像処理部３６は、さらに、推定された位置ずれやぼけ度合いに基づいて、超解像処理に用いるパラメーターを算出するための算出部３６１を含む。

超解像処理部３６は、入力画像に対して後述する超解像処理を行なう。超解像処理とは、入力画像が持つナイキスト周波数を超える周波数情報を生成する処理である。その際に、位置ずれ推定部３２は、後述する第１の位置ずれ推定処理および第２の位置ずれ推定処理を行なって、入力画像それぞれについて、基準画像からの位置ずれを推定する。また、ぼけ度合い推定部３２３は、第２の位置ずれ推定処理の際にぼけ度合い推定処理を行なって、入力画像それぞれについて、基準画像からのぼけ度合いを推定する。

画像出力部４は、画像処理部３によって生成される高解像度画像を表示デバイスなどへ出力する。

図１に示す画像処理装置１は、各部を独立の装置で具現化したシステムとして構成することもできるが、汎用的には、以下に説明するデジタルカメラやパーソナルコンピューターなどとして具現化される場合が多い。そこで、本実施の形態に従う画像処理装置１の具現化例として、デジタルカメラでの具現化例とＰＣ（パーソナルコンピューター）での具現化例とについて説明する。

図２は、図１に示す画像処理装置１を具現化したデジタルカメラ１００の構成を示すブロック図である。図２において、図１に示す画像処理装置１を構成するそれぞれのブロックに対応するコンポーネントには、図１と同一の参照符号を付している。

図２を参照して、デジタルカメラ１００は、ＣＰＵ（Central Processing Unit）１０２と、デジタル処理回路１０４と、画像表示部１０８と、カードインターフェイス（Ｉ／Ｆ）１１０と、記憶部１１２と、カメラ部１１４とを含む。

ＣＰＵ１０２は、予め格納されたプログラムなどを実行することで、デジタルカメラ１００の全体を制御する。デジタル処理回路１０４は、本実施の形態に従う画像処理を含む各種のデジタル処理を実行する。デジタル処理回路１０４は、典型的には、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＬＳＩ（Large Scale Integration）、ＦＰＧＡ（Field-Programmable Gate Array）などによって構成される。このデジタル処理回路１０４は、図１に示す画像処理部３が提供する機能を実現するための画像処理回路１０６を含む。

画像表示部１０８は、カメラ部１１４により提供される入力画像、デジタル処理回路１０４（画像処理回路１０６）によって生成される出力画像、デジタルカメラ１００に係る各種設定情報、および、制御用ＧＵＩ（Graphical User Interface）画面などを表示する。

カードインターフェイス（Ｉ／Ｆ）１１０は、画像処理回路１０６によって生成された画像データを記憶部１１２へ書き込み、あるいは、記憶部１１２から画像データなどを読み出すためのインターフェイスである。記憶部１１２は、画像処理回路１０６によって生成された画像データや各種情報（デジタルカメラ１００の制御パラメーターや動作モードなどの設定値）を格納する記憶デバイスである。この記憶部１１２は、フラッシュメモリ、光学ディスク、磁気ディスクなどからなり、データを不揮発的に記憶する。

カメラ部１１４は、被写体を撮像することで入力画像を生成する。
図２に示すデジタルカメラ１００は、本実施の形態に従う画像処理装置１の全体を単体の装置として実装したものである。すなわち、ユーザーは、デジタルカメラ１００を用いて被写体を撮像することで、画像表示部１０８において高解像度の画像を視認することができる。

図３は、図１に示す画像処理装置１を具現化したパーソナルコンピューター２００の構成を示すブロック図である。図３に示すパーソナルコンピューター２００は、本実施の形態に従う画像処理装置１の一部を単体の装置として実装したものである。図３に示すパーソナルコンピューター２００では、入力画像を取得するための撮像部２が搭載されておらず、任意の撮像部２によって取得された入力画像が外部から入力される構成となっている。このような構成であっても、本発明の実施の形態に従う画像処理装置１に含まれ得る。なお、図３においても、図１に示す画像処理装置１を構成するそれぞれのブロックに対応するコンポーネントには、図１と同一の参照符号を付している。

図３を参照して、パーソナルコンピューター２００は、パーソナルコンピューター本体２０２と、モニター２０６と、マウス２０８と、キーボード２１０と、外部記憶装置２１２とを含む。

パーソナルコンピューター本体２０２は、典型的には、汎用的なアーキテクチャーに従う汎用コンピューターであり、基本的な構成要素として、ＣＰＵ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などを含む。パーソナルコンピューター本体２０２は、図１に示す画像処理部３が提供する機能を実現するための画像処理プログラム２０４が実行可能になっている。このような画像処理プログラム２０４は、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）などの記憶媒体に格納されて流通し、あるいは、ネットワークを介してサーバー装置から配信される。そして、画像処理プログラム２０４は、パーソナルコンピューター本体２０２のハードディスクなどの記憶領域内に格納される。

このような画像処理プログラム２０４は、パーソナルコンピューター本体２０２で実行されるオペレーティングシステム（ＯＳ）の一部として提供されるプログラムモジュールのうち必要なモジュールを、所定のタイミングおよび順序で呼出して処理を実現するように構成されてもよい。この場合、画像処理プログラム２０４自体には、ＯＳが提供するモジュールは含まれず、ＯＳと協働して画像処理が実現される。また、画像処理プログラム２０４は、単体のプログラムではなく、何らかのプログラムの一部に組込まれて提供されてもよい。このような場合にも、画像処理プログラム２０４自体には、当該何らかのプログラムにおいて共通に利用されるようなモジュールは含まれず、当該何らかのプログラムと協働して画像処理が実現される。このような一部のモジュールを含まない画像処理プログラム２０４であっても、本実施の形態に従う画像処理装置１の趣旨を逸脱するものではない。

もちろん、画像処理プログラム２０４によって提供される機能の一部または全部を専用のハードウェアによって実現してもよい。

モニター２０６は、オペレーティングシステム（ＯＳ）が提供するＧＵＩ画面、画像処理プログラム２０４によって生成される画像などを表示する。

マウス２０８およびキーボード２１０は、それぞれユーザー操作を受付け、その受付けたユーザー操作の内容をパーソナルコンピューター本体２０２へ出力する。

外部記憶装置２１２は、何らかの方法で取得された入力画像を格納しており、この入力画像をパーソナルコンピューター本体２０２へ出力する。外部記憶装置２１２としては、フラッシュメモリ、光学ディスク、磁気ディスクなどのデータを不揮発的に記憶するデバイスが用いられる。

図４は、カメラ２２に含まれるレンズ２２ａの配置の具体例を表わした図である。図４の例では、一例として、カメラ２２が、格子状に配置された１６個のレンズ２２ａ−１〜２２ａ−１６（レンズＡ〜Ｐ）を含むアレイカメラであるものとする。図４のレンズＡ〜Ｐの間隔（基線長）は、縦方向および横方向ともに均一であるものとする。なお、カメラ２２で撮影したときの、カメラ２２からの入力画像Ａ〜Ｐは、それぞれ、レンズＡ〜Ｐからの入力画像であることを表わすものとする。

＜動作概要＞
（課題の説明）
レンズ２２ａ等の部材は、環境条件によって変形することがある。特に、レンズ２２ａや、レンズ２２ａを保持する部材等がプラスチックなどの影響を受けやすい素材で形成されている場合、その変形率が大きい。そのため、入力画像がその変形の影響を受けることになり、その入力画像を用いる超解像処理が影響を受ける。なお、環境条件としては、たとえば温度や湿度などがあり、以下の説明では温度変化を例に挙げる。

図５〜図７は、レンズの温度変化の、超解像処理に対する影響を説明するための図である。詳しくは、図５を参照して、第１の影響として、レンズの温度変化によってレンズ２２ａと撮像素子（イメージセンサー）２２ｂとの間の距離が変化し、それによって入力画像がぼけるという影響がある。たとえば、各レンズからの焦点が撮像素子２２ｂのセンサー面上となるレンズ２２ａの位置を基準位置としたとき、レンズに対する３０℃の温度変化によって焦点が基準位置から１５〜２０μｍ程度ずれるため、撮像素子２２ｂでセンシングされる画像がぼける。なお、この場合、色によって焦点の基準位置からのずれ量が多少異なる場合がある。

また、図６を参照して、第２の影響として、レンズ２２ａを保持する部材の温度変化によってレンズピッチ（レンズの位置）が変わり、それによって入力画像における画素位置がずれるという影響がある。たとえば、レンズ２２ａを保持する部材に対して３０℃の温度上昇があった場合、図６に表わされたように、外側に配置されたレンズほど大きい移動距離で、外側に移動するよう、レンズの位置が変化する。これにより、各入力画像における超解像処理に用いる画素位置が予め規定した位置からずれることになる。

また、図７を参照して、第３の影響として、撮像素子（イメージセンサー）２２ｂの温度変化によってセンサー面が変形（反るなど）し、それによって、レンズ２２ａからの入力画像群のうちの一部の入力画像や、１枚の入力画像中の一部領域がぼけるという影響がある。たとえば、各レンズからの焦点が撮像素子２２ｂのセンサー面上となるレンズ２２ａの位置を基準位置としたとき、撮像素子２２ｂに３０℃の温度変化があった場合、図７に表わされたように、センサー面が基準位置から反るように変形する。これにより、各入力画像におけるぼけ方（ぼけ度合い）が、入力画像群に軸対称に変化することになる。

レンズ２２ａ等の部材の温度変化による変形の入力画像への影響は、図５に表わされた第１の影響が最も大きく、概ね、すべての入力画像に一律にぼけが含まれる。一方、図７に表わされた例ではレンズ位置ごとの変形量が異なるため入力画像ごとや、入力画像中の領域ごとにぼけ度合いが異なる。

（動作概要）
画像処理装置１では、アレイカメラであるカメラ２２で撮影されることで得られる、それぞれ異なる視点の複数の入力画像について超解像処理を施し、高解像度画像を得る。このとき、画像処理装置１は、図５および図７に表わされたそれぞれの入力画像におけるぼけ度合いを考慮して超解像処理を行なう。

＜動作フロー＞
（全体動作）
図８は、本実施の形態にかかる画像処理装置１での動作の流れを表わすフローチャートである。図８を参照して、まず、画像処理装置１ではレンズ２２ａそれぞれで入力画像を取得する処理が実行されることで、１６枚の入力画像が取得される。ここでは、たとえば１０００×７５０画素程度の低解像度の画像が入力されるものとする。

入力画像が取得されると、第１の位置ずれ推定処理として、位置ずれ概略推定処理が実行される（ステップＳ１）。ここでは、ピクセル単位（整数画素）でのずれ量が推定される。

次に、ピクセル単位でのずれ量に基づいて、第２の位置ずれ推定処理が実行される（ステップＳ２）。ここでは、サブピクセル単位（小数画素）でのずれ量が推定される。なお、ここでは、さらに、ぼけ度合いも推定される。

そして、位置ずれ量およびぼけ度合いを考慮して超解像処理が実行され（ステップＳ３）、３０００×２２５０画素程度の高解像度画像が出力画像として生成される。

（位置ずれ概略推定）
図９および図１０は、上記ステップＳ１での、第１の位置ずれ推定処理としての位置ずれ概略推定処理を説明するための図である。図９は、一例として、カメラ２２の正面にりんごを配して撮影したときの各レンズ２２ａからの入力画像Ａ〜Ｐを表わしている。ここでは、入力画像Ｆを基準画像として、レンズＦに対する各レンズの位置関係に基づく各入力画像中の視差による位置ずれが表わされている。すなわち、図９中の点線りんごは、入力画像Ｆ中のりんごに対応した位置を表わし、実線で示したりんごは、各入力画像中の実際のりんごの位置を表わしている。

このとき、上記ステップＳ１では、図１０を参照して、基準画像である入力画像Ｆ上の丸で表わした画素（基準画素）の位置ずれを推定するものとすると、他の入力画像において視差による位置ずれがない場合の対応する画素位置が特定される（点線丸）。そして、その位置に基づく規定範囲（点線矩形）に対して、入力画像Ｆの基準画素を含む画像を用いてテンプレートマッチング処理が施されて、最も一致度が高い画素位置が対応する画素位置として特定される。ここでのテンプレートマッチング処理の一例として、ＮＣＣ（Normalized Cross Correlation）が挙げられる。他の例として、ＳＡＤ（Sum of Absolute Difference）やＳＳＤ（Sum of Squared Difference）などであってもよい。上記ステップＳ１では、上記の処理が、入力画像Ｆの各画素について行なわれることで、各入力画像について、超解像処理に用いる画素が検出される。

上の例では視差によって位置ずれが生じているものとしているが、たとえば、図６で表わされたように、温度変化等の環境条件によってレンズ２２ａ等の部材が変形したことによる、レンズ２２ａの位置の変化に基づく位置ずれであっても同様である。

なお、上記基準画像としては、好ましくは、入力画像Ａ〜Ｐのうちの最もぼけ度合いの小さい画像が用いられる。最もぼけ度合いの小さい画像は、一例として、入力画像Ａ〜Ｐそれぞれにラプラシアンフィルター等の微分系フィルターをかけるなどしてそれぞれの高周波成分を抽出し、最も高周波成分の多い入力画像を決定することで特定される。その他の方法で特定されてもよい。

（位置ずれ推定）
図１１〜図１８は、上記ステップＳ２での、第２の位置ずれ推定処理としての位置ずれ推定処理を説明するための図であって、図１１〜図１３は、通常の位置ずれ推定処理を表わし、図１４〜図１８が、上記ステップＳ２で実行される、ぼけ度合いもさらに行なう場合の位置ずれ推定処理を表わしている。

まずは、図１１〜図１３を参照して、通常の位置ずれ処理では、入力画像Ｆを基準画像としたときの、入力画像Ｐについての処理を例に説明すると、参照画像である入力画像Ｐについて、視差や温度変化がない場合には基準画像とする入力画像Ｆの基準画素Ｓに対応する画素Ｓ’が用いられるが、視差等のある場合には、図１１に示されるように、上記ステップＳ１で特定された視差等によるずれ量を考慮した画素Ｔが用いられる。すなわち、参照画像である入力画像Ｐについて、画素Ｔを中心に、たとえば１７×１７画素でテンプレートマッチング処理が行なわれ、画素Ｔに対する一致度（たとえばＮＣＣ値）が算出される。また、画素Ｔのたとえば近傍８画素でも、同様の処理がなされて、近傍８画素分の一致度が算出される。そして、それら一致度を元に２次曲面フィッティングが行なわれ、サブピクセル単位での位置ずれが推定される。ステップＳ２の通常の位置ずれ推定では、一例として、図１３に表わされた、論文「位置ずれ量を考慮した画素選択に基づくロバスト超解像処理」（電子情報通信学会論文誌、Ｖｏｌ．Ｊ９２−Ｄ、Ｎｏ．５、ｐｐ．６５０−６６０、２００９、２００９年５月）に記載された手法を採用することができる。すなわち、図１２および図１３に表わされたように、画素ごとの一致度のうち、最も一致度の高い画素の座標がずれ量として特定される。

なお、ステップＳ２では、上記の２次曲面フィッティングに替えて、Ｘ座標およびＹ座標それぞれで２次曲面フィッティングするなどの他の手法が採用されてもよい。

本実施の形態にかかる画像処理装置１では、上記ステップＳ２で、さらに、ぼけ度合いも推定される。すなわち、図１４を参照して、上記ステップＳ２では、基準画像として、入力画像Ｆ中の基準画素Ｓを含む範囲の画像の他に、その画像にぼけ度合いに応じたぼけを付加した画像が生成され、それぞれがテンプレートマッチング処理に用いられる。そして、これらぼけ度合いの異なる複数の基準画像を用いたテンプレートマッチング処理の結果、最も一致度（ＮＣＣ度）の高い基準画像と参照画像中の位置とで、サブピクセル単位での位置ずれが推定されると共に、ぼけ度合いも推定される。

図１４の例では、「ぼけ度」０として入力画像Ｆ中の画像の他、「ぼけ度」１として入力画像Ｆ中の画像にぼけを付加した画像と、「ぼけ度」２としてぼけを付加した画像とが、それぞれ基準画像として生成され、用いられる。これら基準画像を用いた、画素Ｔに基づく規定範囲（点線矩形）での各テンプレートマッチング処理の結果、画素ごとの一致度（たとえばＮＣＣ値）が最も高い画素の座標がずれ量として特定されると共に、そのときの基準画像の示すぼけ度合いが、入力画像Ｐのその位置での、基準画像とされた入力画像に対するぼけ度合いと推定される。

これは、参照画像が基準画像よりもぼけている場合には、ぼかした基準画像（図１４の例では、「ぼけ度」２の基準画像）の方が参照画像と似てくるため、ぼけ度合いが推定できることになるためである。すなわち、ぼけ度合いが似た画像間で上記の位置ずれ推定処理を行なう方が画像同士の類似性が高くなるため、画素の推定精度が高くなるためである。

なお、ぼけを付加した画像の生成方法の一例として、入力画像Ｆに対して平滑化フィルターを適用する方法が挙げられる。平滑化フィルターとしては、たとえば、ガウシアンフィルターや平均化フィルターなどが挙げられる。以下の説明では、ガウシアンフィルターを用いる場合を例に挙げる。ガウシアンフィルターとは、以下の式（１）に座標値（ｘ，ｙ）とぼけ度合いを表わす定数σとを代入することで得られる：
ｆ（ｘ，ｙ）＝ｅｘｐ｛−（ｘ²＋ｙ²）／２／σ²｝／２π／σ² …式（１）。

すなわち、図１５を参照して、「ぼけ度」１の基準画像を生成するためには、定数σをσ＝０．４としてガウシアンフィルターの係数が算出される。このとき、フィルターの係数の合計が１になるように正規化される。この係数のフィルターが「ぼけ度」０の基準画像である入力画像Ｆに適応されることにより、ぼけ度合いの異なる（「ぼけ度」１の）基準画像が生成される。さらに、よりぼけ方の進んだ「ぼけ度」２の基準画像を生成するためには、図１５に示された方法と同様に、定数σをσ＝０．６としてガウシアンフィルターの係数が算出される。

なお、図１５ではフィルターのサイズが３×３画素である例が示されているが、定数σの選び方によってサイズが異なってもよい。フィルター係数が０に近い（たとえば、０．０１以下）と、フィルター処理にほとんど影響しなくなるので、実際のフィルター係数からフィルターサイズを決定するものとする。

「ぼけ度」０の基準画像と、「ぼけ度」１の基準画像と、「ぼけ度」２の基準画像とのそれぞれを用いてパターンマッチング処理を行なった場合の、参照画像の画素Ｔに基づく規定範囲（画素Ｔの周辺８画素を含む９画素分の領域）の各画素についての一致度であるＮＣＣ値が、それぞれ、図１６〜図１８のように得られたものとする。この場合、「ぼけ度」２の基準画像を用いたときの中央の画素のＮＣＣ値がこれらの中で最も高い値であるため、この画素に基づいて位置ずれ量が推定されると共に、「ぼけ度」２がこの参照画像のぼけ度合いであると推定される。

（超解像処理）
図１９は、上記ステップＳ３の超解像処理に先だって行なわれる、パラメーター算出のための処理を表わすフローチャートである。図１９を参照して、画像処理装置１では、上記ステップＳ３の超解像処理において、上記ステップＳ２で推定されたぼけ度合いが考慮される。そのため、上記ステップＳ２で推定されたぼけ度合いから超解像処理に用いるパラメーターが算出される。超解像処理では、超解像後の画素ピッチに応じたパラメーターが必要となる。そのため、上記ステップＳ２の位置ずれ推定処理に用いられた、入力画像の画素ピッチに応じた平滑化フィルター（ガウシアンフィルター）の係数が、入力画像と出力画像との画素ピッチに応じて換算される。

具体例として、上述のように、ぼけを付加するためにガウシアンフィルターが用いられる場合、超解像処理に用いられるパラメーターとしてＰＳＦ（Point Spread Function）を用いる。すなわち、図１９を参照して、はじめに、入力画像ごとに、上記ステップＳ２の位置ずれ推定処理で最もＮＣＣ値の高かった基準画像のぼけの付加に用いられたガウシアンフィルターの係数が、超解像処理後の画像の画素ピッチに換算され（ステップ＃１１）、ＰＳＦが算出される（ステップ＃１２）。

図２０は、上記ステップ＃１１でのガウシアンフィルターの係数の換算方法を説明するための図である。図２１は、上記ステップ＃１２でのＰＳＦの算出方法を説明するための図である。

図２０では超解像処理で縦横３倍の画素数にするとした場合のガウシアンフィルターの係数の換算方法が表わされている。超解像処理で縦横３倍の画素数にすることは、入力画像を１／３画素ピッチで細かくすることに相当する。そのため、ぼけを付加するために用いられたガウシアンフィルター（たとえば図１５）の１／３画素間隔で係数を算出する必要がある。

このとき、ぼけ度合いを表わす定数σは同じ値を用いる。つまり、σ＝０．４の場合には、図２０に表わされたように、１／３画素間隔とされた座標値（ｘ，ｙ）と「ぼけ度」１を表わす定数σ＝０．４とを上記式（１）に代入することで係数が算出される。なお、ここでは座標値（ｘ，ｙ）の最大値を１としているが、定数σが大きくなると１．３３や１．６７などの１以上の座標値でのフィルター係数が無視できない数値となる。そのため、その場合には、図２０に示された例より大きなフィルターサイズで係数を算出する。

次に、図２１を参照して、レンズの設計値などに基づいて「ぼけ度」０の超解像画像の画素ピッチで定義されたＰＳＦを図２１の上図のように定義されたとする。そして、この係数を画素と同様に扱って図２０の換算されたガウシアンフィルターを適用することにより、「ぼけ度」１に対応するパラメーターであるＰＳＦが算出される。なお、この場合も、フィルター係数の合計が１になるように、正規化する。入力画像ごと、またはその部分領域ごとにこのようにして算出されたパラメーターを用いて、上記ステップＳ３で超解像処理が実行される。

図２２は、上記ステップＳ３での超解像処理の流れを表わした図である。図２２では、具体例として、論文「Ｆａｓｔ ａｎｄ Ｒｏｂｕｓｔ Ｍｕｌｔｉｆｒａｍｅ Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ」（ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＩＭＡＧＥ ＰＲＯＣＥＳＳＩＮＧ， ＶＯＬ． １３， ＮＯ． １０， ＯＣＴＯＢＥＲ ２００４ ｐａｇｅ．１３２７−１３４４）に記載された処理を行なう場合の超解像処理の流れが示されている。

図２２を参照して、ステップ＃３１で、１６枚の入力画像のうちの１枚に対してバイリニア法等の補間処理を施して入力画像の解像度を超解像処理後の解像度である高解像度に変換することで、初期画像としての出力候補画像が生成される。

ステップ＃３２で、ノイズにロバストに収束させるための拘束項としてのＢＴＶ（Bilateral Total Variation）量が算出される。

ステップ＃３３で、上記生成された出力候補画像と１６枚分の入力画像とが比較されて、残差が算出される。ステップ＃３４で、上記ステップ＃３１で生成された出力候補画像から算出された残差とＢＴＶ量とが減ぜられて次の出力候補画像が生成される。

上記ステップ＃３１〜＃３４の処理が、出力候補画像が収束するまで繰り返され、収束した出力候補画像が超解像処理後の出力画像として出力される。

繰り返しは、おおよそ充分に収束する回数（たとえば２００回）などの、予め規定された回数であってもよいし、一連の処理の都度、収束判定がなされ、その結果に応じて繰り返されてもよい。

図２３は、上記ステップ＃３３で用いられる劣化情報を説明するための図である。また、図２４〜図２８は、上記ステップ＃３３での処理を説明するための図である。

劣化情報とは、超解像処理後の高解像度画像に対する入力画像それぞれの関係を表わす情報を指し、たとえば行列形式で表わされる。劣化情報には、入力画像それぞれのサブピクセルレベルでのずれ量Ｆ（平行移動した残りの少数画素分）、ダウンサンプリング量Ｄ（上記の例では縦横それぞれ１／３）、およびぼけ量Ｈ（ＰＳＦ）などが含まれる。

図２３を参照して、劣化情報は、入力画像および超解像処理後の高解像度画像それぞれを１次元のベクトル表現した場合に、その変換を示す行列で規定される。

上記ステップ＃３３では、まず、図２４を参照して、入力画像Ｙｋから生成された出力候補画像Ｘｎにその入力画像Ｙｋについての劣化情報ＤｋＨｋＦｋを当てはめることで、入力サイズの画像ＤｋＨｋＦｋＸｎが生成される（ステップ＃４１）。ここでの処理は、詳しくは、図２５を参照して、まず、出力候補画像Ｘｎに対して、ぼけ量Ｈｋを表わすパラメーターであるＰＳＦを係数とした行列を用いたフィルター処理が施される（ステップＳ１１）。

そして、次に、ずれを考慮してダウンサンプリングされる（ステップＳ１２）。これにより、入力サイズの画像ＤｋＨｋＦｋＸｎが出力される。一例として、図２５の右に表わされたように、ずれ量ＦがＸ方向に１／３画素のずれであり、ダウンサンプリング量Ｄが縦横１／３である場合には、フィルター処理された後の出力候補画像Ｘｎの１／３画素分ずらした位置にある９画素分の矩形領域の各画素の平均値が、入力サイズの画像ＤｋＨｋＦｋＸｎの１／３画素分ずらす前の位置にある１画素分の画素値として出力される（ステップＳ１３）。

次に、図２６を参照して、入力サイズの画像とされた出力候補画像ＤｋＨｋＦｋＸｎは入力画像Ｙｋと比較され、その差異の画像ｓｉｇｎ（ＤｋＨｋＦｋＸｎ−Ｙｋ）が記録される（ステップ＃４２）。図２６の例では、一例として、出力候補画像ＤｋＨｋＦｋＸｎと入力画像Ｙｋとの差異に符号関数ｓｉｇｎが適用される例が示されている。

次に、超解像処理の収束演算に用いられるように、上記の差異が超解像画像のどの画素の影響によるものであるのか、算出された差異に表わされる影響を超解像画像上の対応する画素に戻すために、上記差異の画像ｓｉｇｎ（ＤｋＨｋＦｋＸｎ−Ｙｋ）を超解像後の画像サイズに戻す処理が行なわれる（ステップ＃４３）。上記のように、劣化情報Ｄｋ，Ｈｋ，Ｆｋを行列で定義した場合、ステップ＃４３ではその転置行列が用いられる。すなわち、図２７を参照して、記録された差異の画像ｓｉｇｎ（ＤｋＨｋＦｋＸｎ−Ｙｋ）にその入力画像Ｙｋについての劣化情報ＤｋＨｋＦｋの転置行列Ｄｋ^TＨｋ^TＦｋ^Tを当てはめることで、超解像後の画像サイズに戻される。ここでの処理は、詳しくは、図２８を参照して、上記のようにして差異の画像ｓｉｇｎ（ＤｋＨｋＦｋＸｎ−Ｙｋ）が生成されると（ステップＳ１４）、ずれを考慮してアップサンプリングされる（ステップＳ１５）。一例として、図２８の右に表わされたように、ずれ量ＦがＸ方向に１／３画素のずれであり、ダウンサンプリング量Ｄが縦横１／３である場合には、差異の画像ｓｉｇｎ（ＤｋＨｋＦｋＸｎ−Ｙｋ）の所定位置にある１画素分の画素値（差異の値）が均等分（この例では９等分）され、１／３画素分ずらした位置にある９画素分の矩形領域の各画素に出力される。この処理の後、ぼけ量Ｈｋを表わすパラメーターであるＰＳＦを係数としたフィルターの転置行列が当てはめられてぼけ量Ｈｋを戻す処理が施され（ステップＳ１６）、処理後の画像が超解像後の画像サイズに戻された差異の画像Ｄｋ^TＨｋ^TＦｋ^Tｓｉｇｎ（ＤｋＨｋＦｋＸｎ−Ｙｋ）が出力される（ステップＳ１７）。以上の処理によって、１つの入力画像Ｙｋに対する差異の画像Ｄｋ^TＨｋ^TＦｋ^Tｓｉｇｎ（ＤｋＨｋＦｋＸｎ−Ｙｋ）が作成される。

図２９は、上記ステップ＃３３の残差算出処理の一例を表わしたフローチャートである。入力画像はこの例では１６枚あるため、上記ステップ＃３３の残差算出処理では図２９のように枚数分、上記ステップＳ１１〜Ｓ１７の処理を繰り返す。すなわち、図２９を参照して、１枚目の入力画像Ｙ１について上記の処理がステップＳ１１〜Ｓ１７として行なわれて超解像後の画像サイズの差異の画像が出力され、２枚目の入力画像Ｙ２について上記の処理がステップＳ２１〜Ｓ２７として行なわれて超解像後の画像サイズの差異の画像が出力され、…（中略）、１６枚目の入力画像Ｙ１６について上記の処理がステップＳ１６１〜Ｓ１６７として行なわれて超解像後の画像サイズの差異の画像が出力される。

そして、その合計値が残差として出力される（ステップＳ１００）。なお、上の例では、ずれ量Ｆとぼけ量Ｈとの処理順が論文での説明とは逆になっているが、ぼけは画像のある程度おおきな範囲で生じているため、順序を入れ替えても実質的な影響はない。

なお、上記のぼけ量Ｈの行列の処理は、以下のフィルター処理と等価となる。すなわち、ぼけ量Ｈの処理については、入力画素値Ｉ、出力画素値Ｉ’を用いて、
Ｉ’（ｘ，ｙ）＝ΣΣＰＳＦ（ｉ，ｊ）Ｉ（ｘ＋ｉ，ｙ＋ｊ）
と表わされる。なお、Σは、ＰＳＦのフィルターサイズ分（たとえば７×７のフィルターなら、ｉ，ｊそれぞれ−３〜３）となる。

また、ぼけ量Ｈの転置行列の処理については、
Ｉ’（ｘ＋ｉ，ｙ＋ｊ）＝ΣΣＰＳＦ（ｉ，ｊ）Ｉ（ｘ，ｙ）
と表わされる。つまり、出力画素値Ｉ’は、入力画素値Ｉを全画素処理した合計値となる。

図３１は、上記ステップ＃３３の残差算出処理の他の例を表わしたフローチャートである。ステップ＃３３の残差算出処理では、ぼけ量Ｈを用いる処理において対象とする画素の周辺の画素にもアクセスするフィルター処理が実行されるため、処理に時間がかかる。そこで、ぼけ量が予め固定されている場合（上記の例では「ぼけ度」０，１，２）、好ましくは、ぼけ度合いごとにぼけ量Ｈを用いる処理がまとめて実行される。これにより、処理の高速化を図ることができる。

たとえば、各入力画像Ｔｋについて図３０に表わされたようにぼけ度合いが推定されたものとする。すなわち、入力画像Ｙ１，Ｙ３，Ｙ７，Ｙ１０，Ｙ１５については「ぼけ度」０、入力画像Ｙ２，Ｙ９，Ｙ１１，Ｙ１３，Ｙ１６については「ぼけ度」１、および入力画像Ｙ４，Ｙ５，Ｙ６，Ｙ８，Ｙ１２，Ｙ１４については「ぼけ度」２と推定されたものとする。この場合、図３１を参照して、入力画像Ｙ１，Ｙ３，Ｙ７，Ｙ１０，Ｙ１５については、それぞれの画像についての上記ステップＳ１１での「ぼけ度」０を表わすパラメーターであるＰＳＦを係数とした行列Ｈａを用いた処理がまとめて行なわれる（ステップＳ１１’）。同様に、入力画像Ｙ２，Ｙ９，Ｙ１１，Ｙ１３，Ｙ１６についての「ぼけ度」１を表わす行列Ｈｂを用いた処理（ステップＳ２１’）、および入力画像Ｙ４，Ｙ５，Ｙ６，Ｙ８，Ｙ１２，Ｙ１４についての「ぼけ度」２を表わす行列Ｈｃを用いた処理（ステップＳ３１’）も、それぞれまとめて行なわれる。そして、ぼけ具合ごとに、差異の画像の合計が算出され（ステップＳ１５’−１等）、超解像後の画像サイズに戻す処理もぼけ具合ごとの差異の画像について行なわれる（ステップＳ１６’，Ｓ１６’−１，Ｓ２６’，Ｓ２６’−１，Ｓ３６’，Ｓ３６’−１）。

図３２は、上記ステップ＃３３の残差算出処理の他の例を表わしたフローチャートである。上記ステップＳ２の位置ずれ推定処理の際に算出された一致度であるＮＣＣ値が低い場合には、基準画素とは異なる（間違えた）画素位置が検出されていたり、その位置のぼけが大きかったりしているため、上記ステップ＃３３の残差算出処理に用いないようにしてもよい。すなわち、入力画像のうち、上記ステップＳ２の位置ずれ推定処理の際のテンプレートマッチング処理での基準画像への一致度合いが規定以上の入力画像のみ超解像処理に用いるようにしてよい。これにより、その入力画像やその部分についての残差算出処理以降の処理が省略されるため、処理の高速化を図ることができる。また、その入力画像やその部分を超解像処理に用いないようにすることができるため、出力画像の画質を向上させることができる。

たとえば、１６枚の入力画像Ｙ１〜Ｙ１２のうち、入力画像Ｙ２の一部領域のＮＣＣ値が予め規定されたしきい値（たとえば０．７）以下であったものとする。図３２を参照して、この場合、上記ステップ＃３３の残差算出処理では、上記しきい値を満たす他の入力画像Ｙ１，Ｙ３〜Ｙ１２のみを用いて上記の処理（ステップＳ１１〜Ｓ１７，ステップＳ３１〜Ｓ３７，…Ｓ１６１〜Ｓ１６７）が行なわれ、上記しきい値以下である入力画像Ｙ２については、上記ステップＳ２１〜Ｓ２７の処理が行なわれずに、差異がないと出力される（ステップＳ２７’’）。この場合、入力画像Ｙ２以外の画像Ｙ１，Ｙ３〜Ｙ１２のそれぞれから得られた際の画像から残差が算出される（ステップＳ１０２）。または、この場合、入力画像Ｙ２のうちの上記しきい値を満たす上記一部領域以外の他の領域（画素部分）も用いられてもよい。

なお、上記ステップＳ３での超解像処理は、図２２に表わされた処理に限定されるものではなく、複数枚の入力画像から１枚の画像を生成する再構成型超解像処理であれば他の処理が採用されてもよい。図３３は、上記ステップＳ３での超解像処理の他の例を表わした図である。すなわち、図３３を参照して、上記ステップ＃３２で算出される拘束項はＢＴＶ量に替えて、たとえば、４近傍ラプラシアンなどの他のものが用いられてもよい（ステップ＃３２’）。

また、ステップ＃３３の残差算出処理も異なる算出方法であってよい。一例として、符号関数ｓｉｇｎを用いず、出力候補画像ＤｋＨｋＦｋＸｎと入力画像Ｙｋとの差異が直接用いられてもよい。

＜他の例＞
図３４は、画像処理装置１での動作の他の例を表わすフローチャートである。また、図３５〜図３８は、画像処理装置１での動作の他の例を説明するための図である。

図３４を参照して、はじめに、上記のステップＳ１と同様にして位置ずれ概略推定処理が実行される。すなわち、「ぼけ度」０の基準画像と参照画像とのテンプレートマッチング処理が実行される。これにより、図３５に表わされたように、基準画像上の基準画素Ｓに対応する参照画像上の画素Ｔが検出され、基準画像上の基準画素Ｓの位置に対応した参照画像上の画素Ｓ’からの位置ずれが概略推定される。

次に、ぼけ度合いを推定する処理が実行される（ステップＳ１−１）。ここでは、上記ステップＳ２と同様に、「ぼけ度」０として入力画像中の画像の他、「ぼけ度」１として入力画像中の画像にぼけを付加した画像と、「ぼけ度」２としてぼけを付加した画像とが、それぞれ基準画像として生成される。それぞれの基準画像が用いられて、図３６に表わされたように、上記ステップＳ１の位置ずれ概略推定処理で検出された画素Ｔ周辺のＮＣＣ値が算出される。そして、図３７に表わされたように、その最大のピーク値の画素位置Ｔ’が特定される。図３７の例の場合、「ぼけ度」２の基準画像を用いたときに最大のピーク値が算出されているため、この入力画像のぼけ度合いが「ぼけ度」２と推定される。また、位置ずれ概略位置としては、画素Ｔではなく画像Ｔ’と修正される。

このように、他の例として、上記ステップＳ１の位置ずれ概略推定処理の後に、上記ステップＳ１−１が実行されて推定された画素付近でぼけ度合いが最も一致する画素が探索される。これにより、入力画像のぼけ度合いが基準画像に対して大きい場合にも、位置ずれ概略推定処理で画素位置が誤って検出されることを防止することができる。

次に、図３８に示されたように、画像Ｔ’の周辺所定範囲（たとえば９画素（３×３画素））でテンプレートマッチングにおける画素ごとの一致度（たとえばＮＣＣ値）を元に２次曲面フィッティングが行なわれ、サブピクセル単位での位置ずれが推定される（ステップＳ２）。そして、位置ずれ量およびぼけ度合いを考慮して超解像処理が実行される（ステップＳ３）。

＜実施の形態の効果＞
本実施の形態にかかる画像処理装置１は上記処理を実行することで、入力画像ごとの、入力画像群のうちの１枚の基準画像に対するぼけ度合いに応じて、入力画像群に対して超解像処理を行なうことができる。これにより、超解像処理後の高解像度画像のそれぞれの入力画像のぼけ度合いの異なりによる画質の劣化を抑えることができる。

また、画像処理装置１は、入力画像ごとに、ぼけ度合いを同じくした基準画像を用いてサブピクセル単位での位置ずれ推定処理を行なうため、位置ずれ推定の精度を向上させることができる。これにより、超解像処理後の高解像度画像の画質を向上させることができる。

さらに、画像処理装置１は、上記のように超解像処理における誤差算出時に、入力画像ごとの推定されたぼけ度合いに応じてまとめて処理を行なうため、処理を高速化することができる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ 画像処理装置、２ 撮像部、３ 画像処理部、４ 画像出力部、２２ カメラ、２２ａ レンズ、２２ｂ 撮像素子、２４ 変換部、３２ 位置ずれ推定部、３６ 超解像処理部、１００ デジタルカメラ、１０４ デジタル処理回路、１０６ 画像処理回路、１０８ 画像表示部、１１２ 記憶部、１１４ カメラ部、２００ パーソナルコンピューター、２０２ パーソナルコンピューター本体、２０４ 画像処理プログラム、２０６ モニター、２０８ マウス、２１０ キーボード、２１２ 外部記憶装置、３２１ 第１推定部、３２２ 第２推定部、３２３ ぼけ度合い推定部、３６１ 算出部。

Claims (10)

1. それぞれが共通する部分領域を有する入力画像群から、前記入力画像よりも高い周波数情報を持つ高解像度画像を作成して出力する画像処理装置であって、
   前記入力画像群のうちの１つの入力画像を基準画像とし、前記基準画像以外の入力画像を参照画像としてテンプレートマッチング処理を行なうことで、前記参照画像のぼけ度合いを推定するための推定手段と、
   前記参照画像について、推定された前記ぼけ度合いをパラメーターとして用いて超解像処理を実行するための処理手段とを備え、
   前記推定手段は、前記基準画像に対してぼけ度合いに応じたぼけを付加して前記テンプレートマッチング処理に用いる、画像処理装置。
2. 前記処理手段は、前記入力画像について推定された前記ぼけ度合いから、前記超解像処理に用いる前記パラメーターを算出するための算出手段を含む、請求項１に記載の画像処理装置。
3. 前記推定手段は、前記基準画像に対して平滑化フィルターを適用することでぼけを付加した画像を生成する、請求項１または２に記載の画像処理装置。
4. 前記推定手段は、前記入力画像群の中でぼけ度合いの最も小さい入力画像を前記基準画像として用いる、請求項１〜３のいずれかに記載の画像処理装置。
5. 前記処理手段は、推定された前記ぼけ度合いが同じ入力画像ごとに、前記超解像処理に含まれる、前記入力画像に対して補間処理を施して前記入力画像の解像度を変換することで作成される出力候補画像と前記入力画像群の入力画像それぞれとを比較することで残差を算出する処理を実行する、請求項１〜４のいずれかに記載の画像処理装置。
6. 前記処理手段は、前記入力画像群のうちの、前記テンプレートマッチング処理での前記基準画像への一致度合いが規定度合い以上である領域を用いて前記超解像処理を実行する、請求項１〜５のいずれかに記載の画像処理装置。
7. 前記推定手段は、前記テンプレートマッチング処理を行なうことで、前記算出画像における前記基準画像に相当する位置をさらに推定する、請求項１〜６のいずれかに記載の画像処理装置。
8. 前記入力画像群は、互いに光軸が異なる複数レンズを含んだレンズアレイで得られる画像群である、請求項１〜７のいずれかに記載の画像処理装置。
9. それぞれが共通する部分領域を有する入力画像群から、前記入力画像よりも高い周波数情報を持つ高解像度画像を出力画像として生成する方法であって、
   前記入力画像群のうちの１つの入力画像を基準画像とし、前記基準画像以外の入力画像を参照画像としてテンプレートマッチング処理を行なうことで、前記参照画像のぼけ度合いを推定するステップと、
   前記参照画像について、推定された前記ぼけ度合いをパラメーターとして用いて超解像処理を実行するステップとを備え、
   前記参照画像のぼけ度合いを推定するステップは、前記基準画像に対してぼけ度合いに応じたぼけを付加して前記テンプレートマッチング処理に用いる画像を生成するステップを含む、画像処理方法。
10. コンピューターに、それぞれが共通する部分領域を有する入力画像群から、前記入力画像よりも高い周波数情報を持つ高解像度画像を出力画像として生成する処理を実行させるプログラムであって、
    前記入力画像群のうちの１つの入力画像を基準画像とし、前記基準画像以外の入力画像を参照画像としてテンプレートマッチング処理を行なうことで、前記参照画像のぼけ度合いを推定するステップと、
    前記参照画像について、推定された前記ぼけ度合いをパラメーターとして用いて超解像処理を実行するステップとを前記コンピューターに実行させ、
    前記参照画像のぼけ度合いを推定するステップは、前記基準画像に対してぼけ度合いに応じたぼけを付加して前記テンプレートマッチング処理に用いる画像を生成するステップを含む、画像処理プログラム。