JP2010218271A

JP2010218271A - パラメータ制御処理装置及び画像処理装置

Info

Publication number: JP2010218271A
Application number: JP2009064921A
Authority: JP
Inventors: Eiji Furukawa; 英治古川; Masayuki Tanaka; 正行田中; Masatoshi Okutomi; 正敏奥富
Original assignee: Tokyo Institute of Technology NUC
Current assignee: Tokyo Institute of Technology NUC
Priority date: 2009-03-17
Filing date: 2009-03-17
Publication date: 2010-09-30
Also published as: US20100239184A1; US8340471B2

Abstract

【課題】再構成型超解像処理方法に基づく繰り返し再構成処理により、位置ずれを有する複数枚の低解像度画像から高画質の高解像度画像を効率良く生成できる画像処理装置を提供する。
【解決手段】複数の低解像度画像を高解像度画像空間上に位置合わせするための高解像度画像空間上における位置ずれ情報を算出する位置合わせ処理部と、その位置ずれ情報に基づき、複数の低解像度画像を高解像度画像空間上に位置合わせすることにより中間画像を生成する中間画像生成部と、中間画像に基づいて全ての画素が定義画素である初期画像を生成する初期画像生成部と、中間画像の画素密度を測定する画素密度測定部と、測定された中間画像の画素密度に応じて、繰り返し再構成処理に係るパラメータを適応的に制御するパラメータ制御部と、初期画像に対して、繰り返し再構成処理をパラメータに基づいて行うことにより、高解像度画像を生成する繰り返し再構成処理部とを備える。
【選択図】図１

Description

本発明は、電子撮像機器や画像システムで使用されるデジタル画像処理技術に関し、特に、複数枚の低解像度画像から高画質の高解像度画像を効率良く生成するために使用されるパラメータ制御処理技術及び、当該パラメータ制御処理技術を利用する画像処理技術に関する。

位置ずれを有する複数枚の低解像度画像から一枚の高解像度画像を再構成する画像処理技術は、超解像処理と呼ばれており（非特許文献１参照）、従来から多くの技術が開発されてきた。

例えば、非特許文献２に記載されたように、ＭＬ（Maximum-likelihood）法やＭＡＰ（Maximum A Posterior）法、ＰＯＣＳ（Projection On to Convex Sets）法などの代表的な超解像処理方法が提案されている。

ＭＬ法とは、仮定されている高解像度画像からの推定画素値と実際に観測された画素値の二乗誤差を評価関数とし、その評価関数を最小化するような高解像度画像を推定画像とする方法で、つまり、最尤推定の原理に基づく超解像処理方法である。

また、ＭＡＰ法とは、二乗誤差に高解像度画像の確率情報を付加した評価関数を最小化するような高解像度画像を推定する方法で、つまり、高解像度画像に対するある先見情報を利用して、事後確率を最大化する最適化問題として高解像度画像を推定する超解像処理方法である。

そして、ＰＯＣＳ法とは、高解像度画像と低解像度画像の画素値に関して連立方程式を作成し、その方程式を逐次的に解くことにより、高解像度画像を得る超解像処理方法である。

上述したいずれの超解像処理方法では、まず、高解像度画像（初期高解像度画像）を仮定し、そして仮定した高解像度画像からカメラモデルから得られる点広がり関数（ＰＳＦ関数）に基づき、全ての低解像度画像の画素毎に、その画素値を推定し、その推定値と観測された画素値（観測値）の差が小さくなるような高解像度画像を探索するという共通の特徴を有しており、これらの超解像処理方法は、再構成型超解像処理方法と呼ばれている。

国際公開ＷＯ２００４／０６３９９１号パンフレット

デービットケープル(David Capel)著,「イメージモザイキングアンドスーパーレゾルーション（Image Mosaicing and Super-resolution）」,スプリンガー（Springer）,2004年エス. シー. パーク（S.C.Park）、エム. ケイ. パーク（M.K.Park）、エム. ジィー.カン（M.G.Kang）共著,「スーパーレゾルーションイメージリコンストラクション：アテクニカルオーバービュー（Super-Resolution Image Reconstruction: A Technical Overview）」,ＩＥＥＥシグナルプロセシングマガジン（IEEE Signal Processing Magazine）,2003年,第20巻,第3号,p.21-36

上述した再構成型超解像処理方法では、いずれも初期高解像度画像（初期画像）を必要とする超解像処理（繰り返し再構成処理）により、高解像度画像を再構成するようにしている。

ところで、複数枚の低解像度画像間の位置ずれをもとに、高解像度画像空間上にこれら複数枚の低解像度画像を位置合わせして得られた画像データ（中間画像）は、被写体の動き、低解像度画像の使用枚数、位置ずれ検出処理や信頼性のある画素の選択処理などの影響により、その画素密度が不均一になる。つまり、高解像度画像空間上におけるその画像データの画素密度は、画素位置によって異なる。

このような不均一な画素密度を有する画像データ（中間画像）を元に生成された画像を再構成型超解像処理方法の初期画像として用いた場合に、既存の再構成型超解像処理方法による超解像処理（繰り返し再構成処理）では、初期画像の元となった中間画像の画素密度が不均一であることを考慮せずに、繰り返し再構成処理に係る拘束条件の重み係数も、繰り返し再構成処理の終了条件も、画素密度によらず一定の値を利用している。

その為、複数枚の低解像度画像を高解像度画像空間上に位置合わせして得られた画像データ（中間画像）の画素密度が高い領域に対応する初期画像の領域に対して超解像処理（繰り返し再構成処理）を行うことで、その領域は逆にぼけてしまい、単純な補間処理により得られた補間画像よりも、その領域の画質が劣化してしまう問題が生じてしまう。

また、必要以上に繰り返し再構成処理を行うことになり、高解像度画像を再構成するための計算コストが大きくなり、高解像度画像を効率良く生成できないという問題もある。

本発明は、上述のような事情よりなされたものであり、本発明の目的は、複数枚の低解像度画像を高解像度画像空間上に位置合わせして得られた画像データ（中間画像）の画素密度に応じて、画像処理に係るパラメータを適応的に制御するようにしたパラメータ制御処理装置を提供することにある。

また、本発明のもう一つの目的は、再構成型超解像処理方法に基づく超解像処理（繰り返し再構成処理）により、複数枚の低解像度画像から一枚の高解像度画像を生成する際に、本発明のパラメータ制御処理装置により繰り返し再構成処理に係るパラメータを適応的に制御し、制御されたパラメータに基づいて繰り返し再構成処理を行うことで、高画質の高解像度画像を効率良く生成できるようにした、画像処理装置を提供することにある。

本発明は、位置ずれを有する複数の低解像度画像に基づいて所定の画像処理を行う画像処理装置に使用されるパラメータ制御処理装置に関し、本発明の上記目的は、前記複数の低解像度画像を高解像度画像空間上に位置合わせするための高解像度画像空間上における位置ずれ情報を算出する、位置合わせ処理部と、算出された高解像度画像空間上における位置ずれ情報に基づき、前記複数の低解像度画像を前記高解像度画像空間上に位置合わせすることにより中間画像を生成する、中間画像生成部と、生成された中間画像の画素密度を測定する、画素密度測定部と、測定された中間画像の画素密度に応じて、前記所定の画像処理に係るパラメータを適応的に制御する、パラメータ制御部とを備えることにより、或いは、前記中間画像は、高解像度画像空間上に未定義画素を含む平均画像及び重み画像であることによって効果的に達成される。

また、本発明は、再構成型超解像処理方法に基づく繰り返し再構成処理により、位置ずれを有する複数の低解像度画像から高解像度画像を生成する画像処理装置に関し、本発明の上記目的は、前記複数の低解像度画像を高解像度画像空間上に位置合わせするための高解像度画像空間上における位置ずれ情報を算出する、位置合わせ処理部と、算出された高解像度画像空間上における位置ずれ情報に基づき、前記複数の低解像度画像を前記高解像度画像空間上に位置合わせすることにより中間画像を生成する、中間画像生成部と、前記中間画像に基づいて、全ての画素が定義画素である初期画像を生成する、初期画像生成部と、生成された中間画像の画素密度を測定する、画素密度測定部と、測定された中間画像の画素密度に応じて、前記繰り返し再構成処理に係るパラメータを適応的に制御する、パラメータ制御部と、前記初期画像に対して、前記繰り返し再構成処理を前記パラメータに基づいて行うことにより、前記高解像度画像を生成する、繰り返し再構成処理部とを備えることによって効果的に達成される。

更に、本発明の上記目的は、前記中間画像生成部は、算出された高解像度画像空間上における位置ずれ情報に基づき、前記複数の低解像度画像の各画素とそれに係る重みを、前記高解像度画像空間上にそれぞれ配置することにより、前記高解像度画像空間上に未定義画素を含む平均画像及び重み画像を生成し、生成された平均画像及び重み画像が前記中間画像であることにより、或いは、前記パラメータは、前記繰り返し再構成処理に係るエッジの滑らかさ及び偽色抑制の拘束条件の重み係数であり、前記パラメータ制御部は、前記画素密度に応じて、前記拘束条件の重み係数を変化させることにより、或いは、前記パラメータは、前記繰り返し再構成処理の終了条件パラメータであり、前記パラメータ制御部は、前記画素密度に応じて、前記終了条件パラメータを変化させることにより、或いは、前記終了条件パラメータは、前記繰り返し再構成処理の繰り返し回数であることにより、或いは、前記終了条件パラメータは、前記繰り返し再構成処理の収束条件の閾値であることにより、或いは、前記画素密度測定部は、前記中間画像の全画素分をそれぞれ注目画素とし、各注目画素に対する画素密度を測定することにより、或いは、前記画素密度測定部は、前記中間画像を複数の注目領域とし、各注目領域に対する画素密度を測定することによってより効果的に達成される。

本発明では、再構成型超解像処理方法に基づく超解像処理（繰り返し再構成処理）により、複数枚の低解像度画像から一枚の高解像度画像を生成する際に、複数枚の低解像度画像を高解像度画像空間上に位置合わせして得られた中間画像の画素密度に応じて、繰り返し再構成処理に係るパラメータ（例えば、エッジの滑らかさと偽色抑制の拘束条件の重み係数、繰り返し再構成処理の繰り返し回数、又は繰り返し再構成処理の収束条件の閾値）を適応的に制御し、適応的に制御されたパラメータに基づいて繰り返し再構成処理を行うようにしているので、本発明によれば、高画質の（エッジが先鋭で且つ偽色の少ない）高解像度画像を効率良く（少ない計算コストで）生成できるという優れた効果を奏する。

本発明に係る画像処理装置の実施形態を示すブロック構成図である。図１に示す本発明の画像処理装置の処理流れを示すフロー図である。本発明の画像処理装置に利用される複数枚の低解像度画像が三板方式の固体カラー撮像装置で取得された画像である場合の中間画像及び画素密度の測定方法を説明するための模式図である。本発明の画像処理装置に利用される複数枚の低解像度画像が単板方式の固体カラー撮像装置で取得された画像である場合の中間画像及び画素密度の測定方法を説明するための模式図である。本発明の画像処理装置におけるパラメータ制御部の実施例１（画素密度に応じて拘束条件の重み係数を変化させる実施例）を説明するための模式図である。本発明の画像処理装置におけるパラメータ制御部の実施例２（画素密度に応じて繰り返し再構成処理の繰り返し回数を変化させる実施例）を説明するための模式図である。本発明の画像処理装置におけるパラメータ制御部の実施例３（画素密度に応じて繰り返し再構成処理の収束条件の閾値を変化させる実施例）を説明するための模式図である。本発明の画像処理装置における繰り返し再構成処理部の実施例１を説明するための模式図である。本発明の画像処理装置における繰り返し再構成処理部の実施例２を説明するための模式図である。

本発明は、位置ずれを有する複数枚の低解像度画像から一枚の高画質の高解像度画像を効率良く生成するために使用されるパラメータ制御処理技術及び、当該パラメータ制御処理技術を利用する画像処理技術に関する。

具体的に、本発明は、複数枚の低解像度画像を高解像度画像空間上に位置合わせして得られた画像データ（中間画像）の画素密度に応じて、画像処理に係るパラメータを適応的に制御するようにしたパラメータ制御処理装置、及びパラメータ制御処理方法に関する。

また、本発明は、再構成型超解像処理方法に基づく超解像処理（繰り返し再構成処理）により、複数枚の低解像度画像から一枚の高解像度画像を生成する際に、本発明のパラメータ制御処理装置により繰り返し再構成処理に係るパラメータを適応的に制御し、制御されたパラメータに基づいて繰り返し再構成処理を行うことで、高画質の高解像度画像を効率良く生成できるようにした、画像処理装置及び画像処理方法に関する。

以下、本発明を実施するための形態について、図面を参照しながら詳細に説明する。

図１は、本発明に係る画像処理装置の実施形態（以下、単に、「本発明の画像処理装置」、又は「画像処理装置１」とも言う。）を示すブロック構成図である。また、図２は、図１に示す本発明の画像処理装置の処理流れを示すフロー図である。以下、図１及び図２を用いて、本発明の画像処理装置（画像処理装置１）を詳細に説明する。

図１に示すように、画像処理装置１は、位置合わせ処理部１００と、中間画像生成部１１０と、初期画像生成部１２０と、画素密度測定部１３０と、パラメータ制御部１４０と、繰り返し再構成処理部１５０と、記憶部１６０とから構成され、位置ずれを有する複数枚の低解像度画像から、一枚の高画質の高解像度画像を効率良く生成するものである。

画像処理装置１の記憶部１６０は、画像データ（画像）を格納するためのものであり、記憶部１６０に、本発明で使用され、又は、本発明により生成される各種画像（例えば、低解像度画像、中間画像、初期画像、高解像度画像などの画像）を格納することができる。なお、記憶部１６０として、例えば、半導体メモリなどの記録媒体を用いることができる。

本発明では、予め複数枚の低解像度画像を記憶部１６０に格納しており、そして、記憶部１６０に格納されている複数枚の低解像度画像から選択された１枚の画像を、位置合わせ処理の基準となる基準画像とし、また、基準画像を除いて残りの全ての低解像度画像を参照画像とする。

図１に示すように、画像処理装置１では、まず、位置合わせ処理部１００が、記憶部１６０から複数の低解像度画像（基準画像及び複数の参照画像）を読み出して、そして、読み出した基準画像及び複数の参照画像に対して、基準画像と各参照画像との間の位置ずれを検出し（図２のステップＳ１００を参照）、検出した基準画像と各参照画像間の位置ずれに基づいて、複数の低解像度画像を高解像度画像空間上に位置合わせするための高解像度画像空間上における位置ずれ情報を算出する。また、位置合わせ処理部１００で算出された高解像度画像空間上における位置ずれ情報は、中間画像生成部１１０へ入力される。

本発明では、複数の低解像度画像を高解像度画像空間上に位置合わせするためには、基準画像と各参照画像間のサブピクセル単位での位置ずれを検出する必要がある。

そこで、位置合わせ処理部１００で行われる位置ずれ検出処理の一具体例として、例えば、予め、基準画像と各参照画像を補間処理（例えば、バイキュービック法による補間処理）で拡大させておき、そして、ブロックマッチング法により拡大された基準画像と各参照画像間のサブピクセル単位での位置ずれを検出する。

また、位置ずれ検出処理のもう１つの具体例として、例えば、特許文献１に開示された画像のサブピクセルマッチング技術を用いることにより、基準画像と各参照画像間のサブピクセル単位での位置ずれを検出する。

勿論、位置合わせ処理部１００では、上述した２つの具体例により検出された基準画像と各参照画像間のサブピクセル単位での位置ずれを、高解像度画像空間上における位置ずれ情報に変換する必要があることは、言うまでも無い。

次に、中間画像生成部１１０が、記憶部１６０から複数の低解像度画像を読み出して、そして、入力された高解像度画像空間上における位置ずれ情報に基づき、読み出した複数の低解像度画像を高解像度画像空間上に位置合わせすることにより、つまり、複数の低解像度画像の各画素とそれに係る重みを、高解像度画像空間上にそれぞれ配置することにより、高解像度画像空間上に未定義画素を含む平均画像及び重み画像を生成する（図２のステップＳ１１０を参照）。

以下、高解像度画像空間上に未定義画素を含む平均画像及び重み画像を区別することなく、単に中間画像とも言う。また、中間画像生成部１１０で生成された２枚の中間画像（つまり、高解像度画像空間上に未定義画素を含む平均画像及び重み画像）は、記憶部１６０に格納される。

ここで、未定義画素を含む平均画像及び重み画像を生成する中間画像生成処理（図２のステップＳ１１０を参照）について説明する。

中間画像生成処理では、まず、高解像度画像空間上における位置ずれ情報に基づき、複数の低解像度画像の各画素を高解像度画像空間上に配置して得られた画像（画像データ）を平均画像とする。平均画像の画素数が高解像度画像空間の画素数と等しい。

その際、複数の低解像度画像の各画素に対して重み付けをし、各画素に係る重みも同様にして、高解像度画像空間上に配置する。複数の低解像度画像の各画素に係る重みを高解像度画像空間上に配置して得られた画像（画像データ）を重み画像とする。重み画像の画素数が高解像度画像空間の画素数と等しい。

低解像度画像の各画素に対する重み付けについては、画素毎に、位置ずれ検出処理により検出された位置ずれをもとに、対応する画素同士の相関性を再度評価することにより、位置ずれの信頼度を判定し、判定された信頼度に応じて、０〜１の重みを設定するようにしても良く、また、位置合わせ処理の基準となる基準画像からの撮影時間に応じて重み付けをしても良い。

本発明において、平均画像と重み画像を生成する中間画像生成処理において、低解像度画像のある画素又は当該画素に係る重みを高解像度画像空間上にそれぞれ配置する際に、同じ高解像度画像空間上の位置（画素位置）に、既に別の画素又は当該別の画素に係る重みが配置されていた場合は、それらの画素の画素値又はそれらの画素に係る重みを累積加算するようにしている。

よって、本発明の中間画像生成処理により生成された平均画像と重み画像は、使用する低解像度画像の枚数、位置合わせする高解像度画像空間の画素数、低解像度画像の各画素に係る重み、被写体の動きなどの関係から、画素値が決定された定義画素と画素値が決定されていない未定義画素の混ざった不均一な画像となる。

次に、初期画像生成部１２０が、記憶部１６０から未定義画素を含む平均画像及び重み画像を読み出して、そして、読み出した未定義画素を含む平均画像及び重み画像に基づいて、平均画像における未定義画素の画素値を当該未定義画素の周辺に存在する定義画素の画素値から補間することにより推定し、全ての画素が定義画素となった平均画像を初期画像として生成する（図２のステップＳ１２０を参照）。つまり、初期画像生成部１２０で生成された初期画像は、未定義画素の無い平均画像である。また、初期画像生成部１２０で生成された初期画像は、記憶部１６０に格納される。

次に、画素密度測定部１３０が、記憶部１６０から未定義画素を含む平均画像及び重み画像を読み出して、そして、読み出した未定義画素を含む平均画像及び重み画像から、定義画素も未定義画素も全て含む全画素分、つまり、中間画像の全画素分（図２のステップＳ１２５とステップＳ１４５を参照）をそれぞれ注目画素とし、各注目画素に対する画素密度を測定する（図２のステップＳ１３０を参照）。また、画素密度測定部１３０で測定された中間画像の全画素分の画素密度（以下、単に、中間画像の画素密度とも言う。）は、パラメータ制御部１４０へ入力される。

次に、パラメータ制御部１４０が、入力された中間画像の全画素分の画素密度に基づき、各注目画素の画素密度に応じて、繰り返し再構成処理部１５０で行われる繰り返し再構成処理に係るパラメータを適応的に制御する。つまり、パラメータ制御部１４０が、測定された各注目画素の画素密度に応じて、その注目画素に対して行われる繰り返し再構成処理に係るパラメータを設定する（図２のステップＳ１４０を参照）。また、パラメータ制御部１４０で設定された全画素分のパラメータは、繰り返し再構成処理部１５０へ入力される。

最後に、繰り返し再構成処理部１５０が、記憶部１６０から初期画像を読み出して、そして、読み出した初期画像に対して、ぼけを回復しつつ、エッジを先鋭に且つ偽色を抑制するように、繰り返し再構成処理（図２のステップＳ１５０を参照）を入力された全画素分のパラメータに基づいて行うことにより、エッジ部のアーティファクトが無い先鋭化された高解像度画像を生成する。また、繰り返し再構成処理部１５０で生成された高解像度画像は、記憶部１６０に格納される。

なお、繰り返し再構成処理部１５０で生成された高解像度画像を記憶部１６０に格納せず、必要に応じて外部に出力するようにしても良いことは、言うまでも無い。

上記のように、本発明に係る画像処理装置の実施形態について詳細に説明した。上述した本発明の実施形態では、画素密度測定部１３０が、注目画素毎に画素密度を測定するようにしており、また、パラメータ制御部１４０が、注目画素毎に測定された画素密度に応じて、その注目画素に対する繰り返し再構成処理に係るパラメータを適応的に制御するようにしている。

しかし、本発明は、上述した実施形態に限られることはなく、例えば、上述した実施形態で用いられる「注目画素」の代わりに、「複数の画素からなる注目領域」を用いることができる。つまり、上述した実施形態では、中間画像の全画素分をそれぞれ注目画素とするのに対して、本発明の別の実施形態として、中間画像を複数の注目領域とすることができる。

要するに、本発明の別の実施形態において、画素密度測定部１３０では、各注目領域に対する画素密度を測定する。また、パラメータ制御部１４０では、注目領域毎に測定された画素密度に応じて、その注目領域に対する繰り返し再構成処理に係るパラメータを適応的に制御するようにする。

以下に、図３と図４を参照しながら、本発明における画素密度の測定方法について説明する。

図３は、本発明の画像処理装置に利用される複数枚の低解像度画像が三板方式の固体カラー撮像装置で取得された画像である場合の中間画像及び画素密度の測定方法を説明するための模式図である。

本発明の画像処理装置に利用される複数枚の低解像度画像として、三板方式の固体カラー撮像装置で取得された複数枚の低解像度画像を用いる場合の一例を図３（Ａ）に示す。例えば、フレーム１を基準画像とし、それ以外のフレーム（フレーム２,フレーム３,…）を参照画像としている。

図３（Ａ）に示すように、まず、位置ずれ検出処理（図２のステップＳ１００を参照）により、基準画像と各参照画像との間の位置ずれを検出し、検出した位置ずれに基づいて、高解像度画像空間上における位置ずれ情報を算出する。次に、算出した位置ずれ情報に基づき、複数枚の低解像度画像を高解像度画像空間上に位置合わせする中間画像生成処理（図２のステップＳ１１０を参照）により、高解像度画像空間上に未定義画素を含む平均画像と重み画像を生成する。

図３（Ａ）に示されるように、生成された平均画像は、Ｒ成分画像（平均画像（Ｒ））、Ｇ成分画像（平均画像（Ｇ））、Ｂ成分画像（平均画像（Ｂ））と分けられる。また、生成された重み画像は、Ｒ成分画像（重み画像（Ｒ））、Ｇ成分画像（重み画像（Ｇ））、Ｂ成分画像（重み画像（Ｂ））と分けられる。

生成された平均画像と重み画像から、初期画像生成処理（図２のステップＳ１２０を参照）により、全ての画素が定義画素となるような初期画像が生成される。その初期画像に対して、測定された画素密度に応じて設定されたパラメータに基づいて、繰り返し再構成処理（図２のステップＳ１５０を参照）を行い、高解像度画像を生成する。

図３（Ｂ）と図３（Ｃ）に、繰り返し再構成処理での注目画素の座標位置と同じ座標位置における平均画像内の小領域と重み画像内の小領域におけるデータ構造の例を示しており、この例では、三板方式の固体カラー撮像装置で取得された複数枚の低解像度画像を利用しているので、平均画像と重み画像における定義画素の位置が、Ｒ成分画像と、Ｇ成分画像と、Ｂ成分画像で同じになっている。

図４は、本発明の画像処理装置に利用される複数枚の低解像度画像が単板方式の固体カラー撮像装置で取得された画像である場合の中間画像及び画素密度の測定方法を説明するための模式図である。

本発明の画像処理装置に利用される複数枚の低解像度画像として、単板方式の固体カラー撮像装置で取得された複数枚の低解像度画像を用いる場合の一例を図４（Ａ）に示す。例えば、フレーム１を基準画像とし、それ以外のフレーム（フレーム２,フレーム３,…）を参照画像としている。

図４（Ａ）に示すように、まず、位置ずれ検出処理により、基準画像と各参照画像との間の位置ずれを検出し、検出した位置ずれに基づいて、高解像度画像空間上における位置ずれ情報を算出する。次に、算出した位置ずれ情報に基づき、複数枚の低解像度画像を高解像度画像空間上に位置合わせする中間画像生成処理により、高解像度画像空間上に未定義画素を含む平均画像と重み画像を生成する。

図４（Ａ）に示されるように、生成された平均画像は、Ｒ成分画像（平均画像（Ｒ））、Ｇ成分画像（平均画像（Ｇ））、Ｂ成分画像（平均画像（Ｂ））と分けられる。また、生成された重み画像は、Ｒ成分画像（重み画像（Ｒ））、Ｇ成分画像（重み画像（Ｇ））、Ｂ成分画像（重み画像（Ｂ））と分けられる。

生成された平均画像と重み画像から、初期画像生成処理により、全ての画素が定義画素となるような初期画像が生成される。その初期画像に対して、測定された画素密度に応じて設定されたパラメータに基づいて、繰り返し再構成処理を行い、高解像度画像を生成する。

図４（Ｂ）と図４（Ｃ）に、繰り返し再構成処理での注目画素の座標位置と同じ座標位置における平均画像内の小領域と重み画像内の小領域におけるデータ構造の例を示しており、この例では、単板方式の固体カラー撮像装置で取得された複数枚の低解像度画像を利用しているので、平均画像と重み画像における定義画素の位置が、Ｒ成分画像と、Ｇ成分画像と、Ｂ成分画像で異なっている。

本発明では、複数枚の低解像度画像が、三板方式の固体カラー撮像装置で取得された画像でも、単板方式の固体カラー撮像装置で取得された画像でも、同じ画素密度の測定方法を利用することができる。

以下、本発明において、ある注目画素に対する画素密度を測定する画素密度測定方法を具体的に説明する。
｛画素密度測定方法Ａ｝
ある注目画素に対する画素密度を、平均画像の定義画素の個数で測定する。

｛画素密度測定方法Ａ−１｝
ある注目画素に対する画素密度を、当該注目画素で測定する。その一具体例として、図３（Ｂ）に示すように、
注目画素のＲ成分の画素密度＝１
注目画素のＧ成分の画素密度＝１
注目画素のＢ成分の画素密度＝１
注目画素のＲＧＢ成分の画素密度＝３

もう一つの具体例として、図４（Ｂ）に示すように、
注目画素のＲ成分の画素密度＝１
注目画素のＧ成分の画素密度＝０
注目画素のＢ成分の画素密度＝１
注目画素のＲＧＢ成分の画素密度＝２

｛画素密度測定方法Ａ−２｝
ある注目画素に対する画素密度を、当該注目画素を含む小領域で測定する。その一具体例（但し、当該注目画素を含む小領域は５×５ピクセル）として、図３（Ｂ）に示すように、
注目画素のＲ成分の画素密度＝１２
注目画素のＧ成分の画素密度＝１２
注目画素のＢ成分の画素密度＝１２
注目画素のＲＧＢ成分の画素密度＝３６

もう一つの具体例として、図４（Ｂ）に示すように、
注目画素のＲ成分の画素密度＝５
注目画素のＧ成分の画素密度＝４
注目画素のＢ成分の画素密度＝２
注目画素のＲＧＢ成分の画素密度＝１１

｛画素密度測定方法Ｂ｝
ある注目画素に対する画素密度を、重み画像の重みの合計値で測定する。

｛画素密度測定方法Ｂ−１｝
ある注目画素に対する画素密度を、当該注目画素で測定する。その一具体例として、図３（Ｃ）に示すように、
注目画素のＲ成分の画素密度＝２
注目画素のＧ成分の画素密度＝２
注目画素のＢ成分の画素密度＝２
注目画素のＲＧＢ成分の画素密度＝６

もう一つの具体例として、図４（Ｃ）に示すように、
注目画素のＲ成分の画素密度＝１
注目画素のＧ成分の画素密度＝０
注目画素のＢ成分の画素密度＝１
注目画素のＲＧＢ成分の画素密度＝２

｛画素密度測定方法Ｂ−２｝
ある注目画素に対する画素密度を、当該注目画素を含む小領域で測定する。その一具体例（但し、当該注目画素を含む小領域は５×５ピクセル）として、図３（Ｃ）に示すように、
注目画素のＲ成分の画素密度＝２８
注目画素のＧ成分の画素密度＝２８
注目画素のＢ成分の画素密度＝２８
注目画素のＲＧＢ成分の画素密度＝８４

もう一つの具体例として、図４（Ｃ）に示すように、
注目画素のＲ成分の画素密度＝５
注目画素のＧ成分の画素密度＝６
注目画素のＢ成分の画素密度＝２
注目画素のＲＧＢ成分の画素密度＝１３

上記では、注目画素の色成分毎（Ｒ成分、又はＧ成分、又はＢ成分）の画素密度や、色成分を特に区別しない（ＲＧＢ成分）注目画素の画素密度の具体例を示したが、本発明では、注目画素の画素密度測定方法がそれらに限定されることは無く、例えば、ある注目画素に対する画素密度を、当該注目画素又は当該注目画素を含む小領域で、画素の色成分の組合せによる画素密度を測定するようにしても良い。

一具体例として、ある座標位置で、Ｒ成分とＧ成分とＢ成分の３つの値が定義画素である場合に、画素密度として加算し、一方、ある座標位置で、Ｒ成分とＧ成分の２つの値は定義画素であるが、Ｂ成分の値は未定義画素である場合に、画素密度として加算しないようにして、注目画素に対する画素密度を測定する。

勿論、ＲＧＢ成分を有する画素の場合に、画素の色成分の組合せによる画素密度を測定する方法として、下記のようなパターンで測定することができる。
パターン１：
同じ座標位置で、Ｒ成分とＧ成分とＢ成分の３つの値が定義画素である場合に、画素密度として測定される。
パターン２：
同じ座標位置で、Ｒ成分とＧ成分の２つの値が定義画素である場合に、画素密度として測定される。
パターン３：
同じ座標位置で、Ｇ成分とＢ成分の２つの値が定義画素である場合に、画素密度として測定される。
パターン４：
同じ座標位置で、Ｒ成分とＢ成分の２つの値が定義画素である場合に、画素密度として測定される。

以下、本発明の画像処理装置におけるパラメータ制御部１４０の実施例について説明する。図５は、本発明の画像処理装置におけるパラメータ制御部の実施例１（画素密度に応じて拘束条件の重み係数を変化させる実施例）を説明するための模式図である。

図５に示すように、パラメータ制御部１４０が、測定された各注目画素の画素密度に応じて、その注目画素に対する繰り返し再構成処理に係る拘束条件の重み係数（エッジの滑らかさ及び偽色抑制の拘束条件の重み係数）を、適応的に制御する。

つまり、パラメータ制御部１４０の実施例１では、図５（Ａ）、（Ｂ）及び（Ｃ）に示す３つの例のように、注目画素の画素密度が低い場合は、拘束条件の重み係数を大きくするように設定し、また、注目画素の画素密度が高い場合は、拘束条件の重み係数を小さくするように設定する。

ところで、画素密度が低いということは、平均画像に未定義画素が多く含まれていることを意味し、初期画像生成部１２０の初期画像生成処理（図２のステップＳ１２０を参照）により、その未定義画素を周辺の定義画素を用いて補間処理により生成することから、初期画像のエッジ部でギザギザのアーティファクトや偽色が発生する可能性が高い。

その為、本発明のパラメータ制御部１４０の実施例１では、画素密度が低い場合に、繰り返し再構成処理に係るエッジの滑らかさ及び偽色抑制の拘束条件の重み係数を大きくするように制御する。

一方、画素密度が高いということは、平均画像に定義画素が多く含まれていることを意味し、初期画像生成処理（図２のステップＳ１２０を参照）で生成された初期画像にエッジ部のアーティファクトが少ない。

その為、本発明のパラメータ制御部１４０の実施例１では、画素密度が高い場合に、繰り返し再構成処理に係るエッジの滑らかさ及び偽色抑制の拘束条件の重み係数を小さくするように制御することにより、繰り返し再構成処理によって初期画像がぼけないようにする。

上述したパラメータ制御部１４０の実施例１では、拘束条件の重み係数の制御が、エッジの滑らかさ及び偽色抑制の拘束条件の重み係数の制御となっているが、本発明はそれらに限定されることは無い。

勿論、拘束条件の重み係数の制御は、エッジの滑らかさの拘束条件の重み係数と偽色抑制の拘束条件の重み係数を別々に制御しても良い。その一例として、例えば、輝度に大きく影響する色情報（Ｇ成分など）の画素密度に応じて、エッジの滑らかさの拘束条件の重み係数を制御し、色差に大きく影響する色情報（Ｒ成分とＢ成分など）の画素密度に応じて、偽色抑制の拘束条件の重み係数を制御するようにしても良い。

上述したパラメータ制御部の実施例１では、画素密度に応じて、繰り返し再構成処理に係る拘束条件の重み係数を適応的に制御するようにしている。

一方、後述するパラメータ制御部の実施例２及び実施例３では、画素密度に応じて、繰り返し再構成処理の終了条件パラメータを適応的に制御するようにする。つまり、パラメータ制御部の実施例２では、繰り返し再構成処理の終了条件パラメータとして、繰り返し再構成処理の繰り返し回数を用いる。また、パラメータ制御部の実施例３では、繰り返し再構成処理の終了条件パラメータとして、繰り返し再構成処理の収束条件の閾値を用いる。

図６は、本発明の画像処理装置におけるパラメータ制御部の実施例２（画素密度に応じて繰り返し再構成処理の繰り返し回数を変化させる実施例）を説明するための模式図である。

図６に示すように、パラメータ制御部１４０が、測定された各注目画素の画素密度に応じて、その注目画素に対する繰り返し再構成処理の繰り返し回数を、適応的に制御する。

つまり、パラメータ制御部１４０の実施例２では、図６（Ａ）、（Ｂ）及び（Ｃ）に示す３つの例のように、注目画素の画素密度が低い場合は、繰り返し再構成処理の繰り返し回数を多くするように設定し、また、注目画素の画素密度が高い場合は、繰り返し再構成処理の繰り返し回数を少なくするように設定する。

前述したように、画素密度が低いということは、生成された初期画像のエッジ部でギザギザのアーティファクトや偽色が発生する可能性が高いことを意味する。

その為、本発明のパラメータ制御部１４０の実施例２では、画素密度が低い場合に、繰り返し再構成処理の繰り返し回数を多くするように制御する。

また、前述したように、画素密度が高いということは、生成された初期画像にエッジ部のアーティファクトが少ないことを意味する。

その為、本発明のパラメータ制御部１４０の実施例２では、画素密度が高い場合に、繰り返し再構成処理の繰り返し回数を少なくするように制御することにより、繰り返し再構成処理によって初期画像がぼけないようにする。

図７は、本発明の画像処理装置におけるパラメータ制御部の実施例３（画素密度に応じて繰り返し再構成処理の収束条件の閾値を変化させる実施例）を説明するための模式図である。

図７に示すように、パラメータ制御部１４０が、測定された各注目画素の画素密度に応じて、その注目画素に対する繰り返し再構成処理の収束条件の閾値を、適応的に制御する。

つまり、パラメータ制御部１４０の実施例３では、図７（Ａ）、（Ｂ）及び（Ｃ）に示す３つの例のように、注目画素の画素密度が低い場合は、繰り返し再構成処理の収束条件の閾値（一例として、繰り返し再構成処理の変化量）を厳しく（繰り返し再構成処理の変化量が小さく）するように設定し、また、注目画素の画素密度が高い場合は、繰り返し再構成処理の収束条件の閾値を甘く（繰り返し再構成処理の変化量が大きく）するように設定する。

以下、本発明の画像処理装置における繰り返し再構成処理部１５０の実施例について説明する。なお、後述する繰り返し再構成処理部１５０の実施例１及び実施例２において、使用される繰り返し再構成処理に係るパラメータは、パラメータ制御部１４０の実施例２によって設定されることを前提とする。

つまり、後述する繰り返し再構成処理部１５０の実施例１及び実施例２において、使用される繰り返し再構成処理に係るパラメータは、画素密度に応じて設定された繰り返し再構成処理の繰り返し回数である。

図８は、本発明の画像処理装置における繰り返し再構成処理部１５０の実施例１を説明するための模式図である。

図８に示すように、繰り返し再構成処理部１５０の実施例１では、記憶部１６０から初期画像を読み出して、そして、読み出した初期画像に対して、注目画素又は注目領域毎にパラメータ制御部１４０で設定された繰り返し回数で、別々に繰り返し再構成処理を行い、それぞれの繰り返し再構成処理によって得られた結果画像を合成することにより、高解像度画像を生成する。

図９は、本発明の画像処理装置における繰り返し再構成処理部１５０の実施例２を説明するための模式図である。なお、繰り返し再構成処理部１５０の実施例２では、記憶部１６０は多くの画像を格納できる容量を有することを前提としている。

図９に示すように、繰り返し再構成処理部１５０により高解像度画像を生成する前に、予め初期画像全体でのパラメータ制御部１４０で設定できる繰り返し回数の繰り返し再構成処理を行うことによって生成された画像（つまり、所定の繰り返し回数の繰り返し再構成処理後の画像）を一旦記憶部１６０に格納しておく。

そして、繰り返し再構成処理部１５０の実施例２では、注目画素又は注目領域毎にパラメータ制御部１４０で設定された繰り返し回数に基づいて、記憶部１６０に格納している各繰り返し再構成処理後の画像を読み出して、各注目画素又は注目領域に対応する各繰り返し再構成処理後の画像を合成することにより、高解像度画像を生成する。

以上のように、本発明に係る画像処理装置の実施形態について詳細に説明した。以下。本発明に係るパラメータ制御処理装置について説明する。

図１に示す本発明の画像処理装置から、初期画像生成部１２０と繰り返し再構成処理部１５０を除くことにより、本発明に係るパラメータ制御処理装置の実施形態になる。

つまり、本発明に係るパラメータ制御処理装置は、図１に示す位置合わせ処理部１００と、中間画像生成部１１０と、画素密度測定部１３０と、パラメータ制御部１４０と、記憶部１６０とから構成され、複数枚の低解像度画像を高解像度画像空間上に位置合わせして得られた画像データ（中間画像）の画素密度に応じて、画像処理に係るパラメータを適応的に制御するものである。

本発明に係るパラメータ制御処理装置における位置合わせ処理部１００と、中間画像生成部１１０と、画素密度測定部１３０と、パラメータ制御部１４０と、記憶部１６０については、本発明の画像処理装置のそれらに対応するために、説明は省略する。

ここで、本発明に係るパラメータ制御処理装置における処理の全体流れについて説明する。

本発明のパラメータ制御処理装置は、まず、位置合わせ処理部１００により、複数の低解像度画像を高解像度画像空間上に位置合わせするための高解像度画像空間上における位置ずれ情報を算出する。また、位置合わせ処理部１００で算出された高解像度画像空間上における位置ずれ情報は、中間画像生成部１１０へ入力される。

次に、中間画像生成部１１０が、記憶部１６０から複数の低解像度画像を読み出して、そして、入力された高解像度画像空間上における位置ずれ情報に基づき、読み出した複数の低解像度画像を高解像度画像空間上に位置合わせすることにより、高解像度画像空間上に未定義画素を含む平均画像及び重み画像を生成する。また、中間画像生成部１１０で生成された２枚の中間画像（高解像度画像空間上に未定義画素を含む平均画像及び重み画像）は、記憶部１６０に格納される。

次に、画素密度測定部１３０が、記憶部１６０から未定義画素を含む平均画像及び重み画像を読み出して、そして、読み出した未定義画素を含む平均画像及び重み画像から、全画素分をそれぞれ注目画素とし、各注目画素に対する画素密度を測定する。また、画素密度測定部１３０で測定された中間画像の全画素分の画素密度は、パラメータ制御部１４０へ入力される。

最後に、パラメータ制御部１４０が、入力された中間画像の全画素分の画素密度に基づき、各注目画素の画素密度に応じて、所定の画像処理に係るパラメータを適応的に制御する。

以上のように、本発明に係るパラメータ制御処理装置における処理の全体流れについて説明した。なお、本発明に係るパラメータ制御処理装置におけるパラメータ制御部１４０で制御された（設定された）全画素分のパラメータは、所定の画像処理（一例として、例えば、超解像処理などの画質改善処理）で利用される。

なお、本発明に係るパラメータ制御処理装置及び画像処理装置を、電子撮像機器（例えば、単板方式の固体カラー撮像装置や三板方式の固体カラー撮像装置などのデジタル撮像装置）や画像システムに実装することができる。

また、本発明に係るパラメータ制御処理装置及び画像処理装置は、コンピュータシステムを利用し、ソフトウェア（コンピュータプログラム）により実装されることができ、そして、ＡＳＩＣ（Application Specific Integrated Circuit）、ＧＰＵ（Graphics Processing Unit）やＦＰＧＡ（Field Programmable Gate Array）などのハードウェアにより実装されることも勿論できる。

１画像処理装置
１００位置合わせ処理部
１１０中間画像生成部
１２０初期画像生成部
１３０画素密度測定部
１４０パラメータ制御部
１５０繰り返し再構成処理部
１６０記憶部

Claims

位置ずれを有する複数の低解像度画像に基づいて所定の画像処理を行う画像処理装置に使用されるパラメータ制御処理装置であって、
前記複数の低解像度画像を高解像度画像空間上に位置合わせするための高解像度画像空間上における位置ずれ情報を算出する、位置合わせ処理部と、
算出された高解像度画像空間上における位置ずれ情報に基づき、前記複数の低解像度画像を前記高解像度画像空間上に位置合わせすることにより中間画像を生成する、中間画像生成部と、
生成された中間画像の画素密度を測定する、画素密度測定部と、
測定された中間画像の画素密度に応じて、前記所定の画像処理に係るパラメータを適応的に制御する、パラメータ制御部とを備えることを特徴とするパラメータ制御処理装置。
前記中間画像は、高解像度画像空間上に未定義画素を含む平均画像及び重み画像である請求項１に記載のパラメータ制御処理装置。
位置ずれを有する複数の低解像度画像に基づいて所定の画像処理を行う画像処理装置に使用されるパラメータ制御処理方法であって、
前記複数の低解像度画像を高解像度画像空間上に位置合わせするための高解像度画像空間上における位置ずれ情報を算出する、位置合わせ処理ステップと、
算出された高解像度画像空間上における位置ずれ情報に基づき、前記複数の低解像度画像を前記高解像度画像空間上に位置合わせすることにより中間画像を生成する、中間画像生成ステップと、
生成された中間画像の画素密度を測定する、画素密度測定ステップと、
測定された中間画像の画素密度に応じて、前記所定の画像処理に係るパラメータを適応的に制御する、パラメータ制御ステップとを有することを特徴とするパラメータ制御処理方法。
前記中間画像は、高解像度画像空間上に未定義画素を含む平均画像及び重み画像である請求項３に記載のパラメータ制御処理方法。
再構成型超解像処理方法に基づく繰り返し再構成処理により、位置ずれを有する複数の低解像度画像から高解像度画像を生成する画像処理装置であって、
前記複数の低解像度画像を高解像度画像空間上に位置合わせするための高解像度画像空間上における位置ずれ情報を算出する、位置合わせ処理部と、
算出された高解像度画像空間上における位置ずれ情報に基づき、前記複数の低解像度画像を前記高解像度画像空間上に位置合わせすることにより中間画像を生成する、中間画像生成部と、
前記中間画像に基づいて、全ての画素が定義画素である初期画像を生成する、初期画像生成部と、
生成された中間画像の画素密度を測定する、画素密度測定部と、
測定された中間画像の画素密度に応じて、前記繰り返し再構成処理に係るパラメータを適応的に制御する、パラメータ制御部と、
前記初期画像に対して、前記繰り返し再構成処理を前記パラメータに基づいて行うことにより、前記高解像度画像を生成する、繰り返し再構成処理部とを備えることを特徴とする画像処理装置。
前記中間画像生成部は、算出された高解像度画像空間上における位置ずれ情報に基づき、前記複数の低解像度画像の各画素とそれに係る重みを、前記高解像度画像空間上にそれぞれ配置することにより、前記高解像度画像空間上に未定義画素を含む平均画像及び重み画像を生成し、生成された平均画像及び重み画像が前記中間画像である請求項５に記載の画像処理装置。
前記パラメータは、前記繰り返し再構成処理に係るエッジの滑らかさ及び偽色抑制の拘束条件の重み係数であり、
前記パラメータ制御部は、前記画素密度に応じて、前記拘束条件の重み係数を変化させる請求項６に記載の画像処理装置。
前記パラメータは、前記繰り返し再構成処理の終了条件パラメータであり、
前記パラメータ制御部は、前記画素密度に応じて、前記終了条件パラメータを変化させる請求項６に記載の画像処理装置。
前記終了条件パラメータは、前記繰り返し再構成処理の繰り返し回数である請求項８に記載の画像処理装置。
前記終了条件パラメータは、前記繰り返し再構成処理の収束条件の閾値である請求項８に記載の画像処理装置。
前記画素密度測定部は、前記中間画像の全画素分をそれぞれ注目画素とし、各注目画素に対する画素密度を測定する請求項６乃至請求項１０のいずれかに記載の画像処理装置。
前記画素密度測定部は、ある注目画素に対する画素密度を、当該注目画素における前記平均画像の定義画素の個数で測定する請求項１１に記載の画像処理装置。
前記画素密度測定部は、ある注目画素に対する画素密度を、当該注目画素を含む小領域における前記平均画像の定義画素の個数で測定する請求項１１に記載の画像処理装置。
前記画素密度測定部は、ある注目画素に対する画素密度を、当該注目画素における前記重み画像の重みの合計値で測定する請求項１１に記載の画像処理装置。
前記画素密度測定部は、ある注目画素に対する画素密度を、当該注目画素を含む小領域における前記重み画像の重みの合計値で測定する請求項１１に記載の画像処理装置。
前記画素密度測定部は、前記中間画像を複数の注目領域とし、各注目領域に対する画素密度を測定する請求項６乃至請求項１０のいずれかに記載の画像処理装置。
再構成型超解像処理方法に基づく繰り返し再構成処理により、位置ずれを有する複数の低解像度画像から高解像度画像を生成する画像処理方法であって、
前記複数の低解像度画像を高解像度画像空間上に位置合わせするための高解像度画像空間上における位置ずれ情報を算出する、位置合わせ処理ステップと、
算出された高解像度画像空間上における位置ずれ情報に基づき、前記複数の低解像度画像を前記高解像度画像空間上に位置合わせすることにより中間画像を生成する、中間画像生成ステップと、
前記中間画像に基づいて、全ての画素が定義画素である初期画像を生成する、初期画像生成ステップと、
生成された中間画像の画素密度を測定する、画素密度測定ステップと、
測定された中間画像の画素密度に応じて、前記繰り返し再構成処理に係るパラメータを適応的に制御する、パラメータ制御ステップと、
前記初期画像に対して、前記繰り返し再構成処理を前記パラメータに基づいて行うことにより、前記高解像度画像を生成する、繰り返し再構成処理ステップとを有することを特徴とする画像処理方法。
前記中間画像生成ステップでは、算出された高解像度画像空間上における位置ずれ情報に基づき、前記複数の低解像度画像の各画素とそれに係る重みを、前記高解像度画像空間上にそれぞれ配置することにより、前記高解像度画像空間上に未定義画素を含む平均画像及び重み画像を生成し、生成された平均画像及び重み画像が前記中間画像である請求項１７に記載の画像処理方法。
前記パラメータは、前記繰り返し再構成処理に係るエッジの滑らかさ及び偽色抑制の拘束条件の重み係数であり、
前記パラメータ制御ステップでは、前記画素密度に応じて、前記拘束条件の重み係数を変化させる請求項１８に記載の画像処理方法。
前記パラメータは、前記繰り返し再構成処理の終了条件パラメータであり、
前記パラメータ制御ステップでは、前記画素密度に応じて、前記終了条件パラメータを変化させる請求項１８に記載の画像処理方法。
前記終了条件パラメータは、前記繰り返し再構成処理の繰り返し回数である請求項２０に記載の画像処理方法。
前記終了条件パラメータは、前記繰り返し再構成処理の収束条件の閾値である請求項２０に記載の画像処理方法。