JP2008234130A - 複数領域に対応した画質改善処理方法及び画質改善処理プログラム - Google Patents

Abstract

【課題】基準画像に複数の注目領域が設定されていた場合においても、注目領域の境界に不自然なエッジが生じることなく、画質改善された複数の注目領域と基準画像全体を同時に表示できるようにした画質改善処理をする、複数領域に対応した画質改善処理方法を提供する。
【解決手段】位置ずれを含む複数の観測画像から画質改善画像を生成する、複数領域に対応した画質改善処理方法であって、複数の観測画像から選択された基準画像に対して複数の注目領域を抽出するステップと、抽出された複数の注目領域に対し、注目領域毎に位置合わせ処理を行うステップと、位置合わせ処理された複数の注目領域の画素値データと、前記基準画像の画素値データを同時に用いて、画質改善処理を行い、前記画質改善画像を生成するステップと有する。
【選択図】図２

Description

本発明は、デジタル画像処理技術に関し、特に、複数領域に対応した画質改善処理方法及び画質改善処理プログラムに関する。

画像処理技術において、複数の入力画像（観測画像）を利用して高画質な画像を生成する画質改善処理がある。「超解像処理」はこのような画質改善処理のひとつである。

超解像処理とは、位置ずれのある複数の低解像度画像（観測画像）を利用して、一つの高解像度画像を推定（再構成）するもので、具体的に、位置ずれのある複数の観測画像を位置合わせする「位置合わせ処理」と、位置合わせ後の複数の観測画像の画素に基づき、高解像度画像を生成（推定）する「高解像度化処理」からなる。

従来、「超解像処理」では、複数の観測画像から選択された基準画像に対して、ある注目領域を設定し、その注目領域に対して超解像処理が行われており、即ち、基準画像の一部分のみが高解像度化されることになる。

要するに、従来の「超解像処理」では、複数の異なる動きをする対象物をそもそも対象としていない。ユーザにより指定された１つの注目領域を高解像度化することのみが考慮されているだけである。

また、従来では、基準画像の一部である注目領域を高解像度化にすることが可能であるものの、全体の基準画像と高解像度化された注目領域部分を同時に表示することは考えられていない。
特開２００５−３３９４２２号公報 特許第３８３７５７５号 特開２００６−３０９６４９号公報 エス ベイカ（S Baker）、アイ マシューズ（I Matthews）共著,「ルーカス・カナデ ２０ イヤーズ オン： ア ユニファイング フレームワーク（Lucas-Kanade 20 Years On: A Unifying Framework）」,インターナショナル ジャーナル オフ コンピュータ ビジョン（International Journal of Computer Vision）,第5巻,第3号,p.221-255,2004年

基準画像全体と高解像度化された注目領域を同時に表示するためには、基準画像に高解像度化された注目領域を埋め込む必要がある。しかしながら、埋め込み処理を単純に行った場合、注目領域の境界に不自然なエッジが生じる問題点がある。

また、同一の基準画像に複数の対象物が存在した場合に、即ち、同一の基準画像に複数の注目領域が存在した場合に、それらの注目領域に超解像処理を行う際、従来の超解像処理方法では、それぞれの注目領域に対して、「位置合わせ処理」と「高解像度化処理」を別々に行う必要がある。

本発明は、上述のような事情よりなされたものであり、本発明の目的は、上述した従来技術の問題点を解決し、つまり、基準画像に複数の注目領域が設定されていた場合においても、注目領域の境界に不自然なエッジが生じることなく、画質改善された複数の注目領域と基準画像全体を同時に表示できるようにした画質改善処理をする、複数領域に対応した画質改善処理方法及び画質改善処理方法プログラムを提供することにある。

本発明は、位置ずれを含む複数の観測画像から画質改善画像を生成する、複数領域に対応した画質改善処理方法に関し、本発明の上記目的は、前記複数の観測画像から選択された基準画像に対して、複数の注目領域を抽出する、注目領域抽出処理ステップと、抽出された複数の注目領域に対し、注目領域毎に位置合わせ処理を行う、位置合わせ処理ステップと、位置合わせ処理された複数の注目領域の画素値データと、前記基準画像の画素値データを同時に用いて、画質改善処理を行い、前記画質改善画像を生成する、同時画質改善処理ステップとを有することにより、或いは、前記注目領域抽出処理ステップでは、前記複数の注目領域を抽出する方法として、（１）前記基準画像に対し、ユーザに指定された複数の領域を前記複数の注目領域とする方法、（２）前記基準画像を所定のサイズに分割して得られた複数の領域を前記複数の注目領域とする方法、（３）前記基準画像に対し、優勢領域を順次抽出し、抽出した複数の優勢領域を前記複数の注目領域とする方法、又は、（４）前記基準画像に対し、物体検出を利用することにより、前記複数の注目領域を抽出する方法を利用することにより、或いは、前記画質改善処理は、次の数式で表す評価関数を最小化することにより、画質改善を行う画質改善処理であり、
ただし、Ｉは評価関数を、ｇ_ｒは基準画像を、ｇ_ｋはｋ番目の観測画像を、（ｘ_ｉ、ｙ_ｉ）は基準画像ｇ_ｒのｉ番目の画素の画素位置を、Ｎ_ｒは基準画像ｇ_ｒの総画素数を、Ｎ_ｊは基準画像ｇ_ｒに設定された注目領域の個数を、Ｎ_ｋは観測画像の枚数を、
は画質改善画像のベクトル表現を、
は画質改善画像
から（ｘ、ｙ）の画素位置における基準画像ｇ_ｒの画素値データを推定するための行列を、Ｒ_ｊｋはｋ番目の観測画像でｊ番目の注目領域に対応する領域の画素を、
はｋ番目の観測画像でｊ番目の注目領域の座標を基準画像ｇ_ｒの座標に変換する関数を、
は画質改善画像
に関する拘束項を、それぞれ表すことにより、或いは、前記画質改善処理は、位置合わせ処理された複数の注目領域の画素値データと、前記基準画像の画素値データを同時に用いて、未定義画素を含む平均画像、及び重み画像を生成する第１のステップと、前記平均画像に含まれている未定義画素の画素値を推定することにより、前記画質改善画像を生成する第２のステップとを有する処理であることにより、或いは、前記第２のステップでは、前記未定義画素の周辺に存在する定義画素の画素値を補間することにより、前記未定義画素の画素値を推定することにより、或いは、前記第２のステップでは、前記平均画像と同じ画素数を有する所定の画像を参照画像とし、前記未定義画素に対応する前記参照画像の画素の画素値を前記未定義画素の画素値とすることにより、或いは、未定義画素の周辺に存在する定義画素の画素値を補間することにより、未定義画素の画素値を推定する方法を、第１の未定義画素推定方法とし、平均画像と同じ画素数を有する所定の画像を参照画像とし、未定義画素に対応する参照画像の画素の画素値を未定義画素の画素値とする方法を、第２の未定義画素推定方法とし、前記第２のステップでは、前記第１の未定義画素推定方法により推定された第１の未定義画素値と、前記第２の未定義画素推定方法により推定された第２の未定義画素値をアルファブレンドすることにより、前記未定義画素の画素値を推定することにより、或いは、前記アルファブレンドのアルファ値を前記未定義画素の画素位置により変化させるようにすることにより、或いは、前記未定義画素の周辺に存在する定義画素の数に基づき、前記アルファブレンドのアルファ値を推定することによって効果的に達成される。

本発明の最も顕著な技術的特徴とは、基準画像に設定された複数の注目領域と、これらの注目領域を除いた基準画像部分（即ち、注目領域以外の領域）を同時に画質改善処理を行うことであり、即ち、「同時画質改善処理」である。

本発明を適用する際に、各注目領域の位置合わせ処理については、別々に行う必要があるが、注目領域として設定され且つ位置合わせ処理が行われた各領域（即ち、位置合わせ処理済みの各注目領域）と、位置合わせ処理が行われていない領域（即ち、注目領域以外の領域）を同時に画質改善処理を行うようにしているため、結果として、画質改善された各注目領域と基準画像全体を同時に表示する画像が得られる。

つまり、本発明により生成された結果画像とは、位置合わせ処理が行われた各注目領域は画質改善され、位置合わせ処理が行われていない領域（注目領域以外の領域）は画質が変化しないものの、結果画像全体において、画質が変化しない「注目領域以外の領域」と画質改善された各注目領域との境に不自然なエッジが存在しないといった性質を持つ画像である。

換言すれば、本発明による結果画像とは、画質が変化しない領域に、画質改善された各注目領域が自然に嵌め込まれた状態の画像である。本発明の結果画像に、基準画像に画質改善された各注目領域を単純に埋め込むという埋め込み合成を行った場合に生じた不自然なエッジを有する境界が発生しない。

要するに、本発明によれば、基準画像に複数の注目領域が存在した場合において、各注目領域に対して位置合わせ処理が行われた後に、基準画像（より厳密に言うと、注目領域以外の領域）も利用して、それぞれの注目領域を区別することなく同時に画質改善処理することができるという優れた効果を奏する。

例えば、集合写真のような複数の顔を含むシーン（画像）を高解像度化する場合、従来の超解像処理方法を利用すると、それぞれの顔を別々に、「位置合わせ処理」と「高解像度化処理」を行う必要がある。さらに、それぞれの顔が別々に高解像度化処理されているため、高解像度化した顔と基準画像になる集合写真とを同時に表示するためには、埋め込み処理による合成処理も必要となり、また、このような合成処理により得られた画像において、不自然なエッジを有する境界も存在する。

一方、本発明に係る「複数領域に対応した画質改善処理方法及び画質改善処理プログラム」を利用すれば（なお、ここで、画質改善処理として高解像度化処理を用いる。）、「位置合わせ処理」はそれぞれの顔毎に別々に行うものの、位置合わせ処理済みの全ての顔と、顔以外の領域とを同時に高解像度化処理を行うため、結果画像に従来のような不自然なエッジを有する境界は発生しない。

また、本発明により生成された結果画像において、高解像度化した顔と基準画像になる集合写真とを同時に表示しているので、本発明によれば、高解像度化した顔と基準画像になる集合写真とを同時に表示するために従来の超解像処理方法では必要となる「埋め込み合成処理」も不要になり、そのための必要となる手間が省けるという優れた効果を奏する。

以下、本発明を実施するための最良の形態を、図面を参照して詳細に説明する。

本発明に係る「複数領域に対応した画質改善処理方法及び画質改善処理プログラム」とは、基準画像に複数の注目領域が設定されていた場合においても、注目領域の境界に不自然なエッジが生じることなく、画質改善された複数の注目領域と基準画像全体を同時に表示できるようにした画質改善処理を行う、デジタル画像処理技術である。

本発明では、同一の基準画像に複数の注目領域が設定された上で、「位置合わせ処理」が行われた複数の注目領域と、注目領域に設定されていない領域（即ち、基準画像における注目領域以外の領域）を同時に考慮し、画質改善処理を行うことを主たる特徴としている。

一般的に、従来の超解像処理における「高解像度化処理」とは、原理的に、「高解像度画像空間」に不均一にサンプリングされた画素値データ（以下、単に「データ」とも言う。）からの画像再構成と考えることができる。そのため、原理的には基準画像一枚のみを利用しても、「高解像度化処理」の計算は可能である。

しかしながら、基準画像一枚のみを利用して「高解像度化処理」を行った場合は、本質的に「高解像度化処理」に使用できるデータ量が不足しているため、解像度を効果的に改善することはできない。

一方で、複数の画像間の位置合わせ処理を行い、位置合わせ処理で得られた位置合わせ情報に基づき、複数の画像を利用することにより、解像度を効果的に改善できる高解像度化処理が可能となる。つまり、「位置合わせ処理」が行われた注目領域では、「高解像度化処理」による高解像度化が可能である。

従来の「超解像処理」において、基準画像の注目領域以外の画素値データ、即ち、注目領域以外の領域の画素値データは、「高解像度化処理」に利用されていない。

そのため、基準画像に複数の注目領域が存在した場合、従来の「超解像処理」における「高解像度化処理」に利用される画素値データとは、「位置合わせ処理」を行ったこれらの注目領域の画素値データのみで、即ち、これらの注目領域以外の領域には、「高解像度化処理」に利用される画素値データが全く存在しないことになる。

ここで、従来の「超解像処理」において、その「高解像度化処理」で利用される画素値データの概念図を図１に示す。なお、図１において、「高解像度化処理」に利用される画素値データが存在する画素を白で、「高解像度化処理」に利用される画素値データが存在しない画素を黒で、それぞれ表している。

図１に示されたように、従来の超解像処理において、超解像処理の入力画像となる複数の低解像度画像（観測画像）から基準画像を選択し、高解像度化したい領域を注目領域として設定し、図１の場合、注目領域１及び注目領域２が設定されている。

従来の「超解像処理」において、複数の注目領域を同時に考慮しようとしても、それは結局、それぞれの注目領域を別々に考慮していることと同じになってしまう。図１の概念図にも示された通り、従来の「超解像処理」では、注目領域毎に「位置合わせ処理」が行われた後に、「高解像度化処理」における実際の計算では、注目領域毎に別々に計算しており、つまり、「高解像度化処理」は、注目領域毎に行われている。

一方、本発明では、前述したように、「位置合わせ処理」が行われた複数の注目領域と、注目領域に設定されていない領域（即ち、基準画像におけるこれら注目領域以外の領域）を同時に画質改善処理、即ち、「同時画質改善処理」を行うようにしているので、１回の「同時画質改善処理」で、画質改善された複数の注目領域と基準画像全体を同時に表示できる結果画像を生成する。

要するに、基準画像に複数の注目領域が存在した場合、本発明の「同時画質改善処理」に利用される画素値データとは、「位置合わせ処理」を行ったこれらの注目領域の画素値データのみならず、基準画像全体の画素値データも利用しているため、より厳密に言うと、これら注目領域以外の領域の画素値データも利用している。

ここで、本発明の「同時画質改善処理」で利用される画素値データの概念図を図２に示す。なお、図２において、「同時画質改善処理」に利用される画素値データが存在する画素を白で、「同時画質改善処理」に利用される画素値データが存在しない画素を黒で、それぞれ表している。

図２に示されたように、本発明による画像処理において、その入力画像となる複数の低解像度画像（観測画像）から基準画像を選択し、画質改善したい領域を注目領域として設定し、図２の場合、注目領域１及び注目領域２が設定されている。注目領域１及び注目領域２について、「位置合わせ処理」がそれぞれ行われた後に、位置合わせ処理済みの注目領域の画素値データだけでなく、基準画像の画素値データも同時に、本発明の「同時画質改善処理」に利用される。

つまり、本発明では、基準画像全体の範囲において、「同時画質改善処理」に利用される画素値データが存在しているため、それらの画素値データに基づき、「同時画質改善処理」を行うことにより、基準画像全体の範囲の画像が得られる。

このとき、図２の概念図にも示された通り、各注目領域においては画素値データが密に存在しているため、各注目領域に対する画質改善が可能となり、注目領域以外の領域では画素値データは疎に存在しているため、注目領域以外の領域における画質は改善（変化）しないものの、画像全体の領域に対して同様な処理を行っているため、本発明により生成された画質改善画像に不自然なエッジを有する境界は発生しない。即ち、本発明による結果画像に、画質が変化しない領域と画質改善された各注目領域との境界に不自然なエッジが存在しない。

図３に基準画像に複数の注目領域を設定した場合の従来の「超解像処理」による画像処理の流れを示す。

図３に示されたように、従来の「超解像処理」による画像処理では、まず、その入力画像となる、位置ずれを含む複数の観測画像（図３の場合は、入力動画像である。）から基準画像を選択（設定）する「基準画像設定処理」を行い、設定した基準画像に対して、複数の注目領域を抽出（設定）する「注目領域抽出処理」を行い、抽出（設定）された複数の注目領域及び入力動画像に基づき、注目領域毎にそれぞれ「位置合わせ処理」を行う。

次に、位置合わせ処理済みの各注目領域に対して、別々に「高解像度化処理」を行う。そして、「高解像度化処理」により高解像度化した全ての注目領域と基準画像とを同時に表示する高解像度画像を生成するために、基準画像に高解像度化された各注目領域を埋め込む「埋め込み合成処理」を行う。つまり、かかる「埋め込み合成処理」により、従来の超解像処理による画像処理の結果画像（従来手法による高解像度画像、即ち、埋め込み画像）が生成される。

また、図４に基準画像に複数の注目領域を設定した場合の本発明による画像処理の流れを示す。

図４に示されたように、本発明による画像処理では、まず、その入力画像となる、位置ずれを含む複数の観測画像（図４の場合は、入力動画像である。）から基準画像を選択（設定）する「基準画像設定処理」を行い、設定した基準画像に対して、複数の注目領域を抽出（設定）する「注目領域抽出処理」を行い、抽出（設定）された複数の注目領域及び入力動画像に基づき、注目領域毎にそれぞれ「位置合わせ処理」を行う。

そして、本発明の最も顕著な技術特徴である「同時画質改善処理」を行うことにより、本発明による画像処理の結果画像を生成する。つまり、本発明の「同時画質改善処理」では、位置合わせ処理済みの全ての注目領域及び基準画像に基づき、同時に画質改善処理を行うことにより、画質改善された全ての注目領域と基準画像全体を同時に表示できるといった性質を持つ結果画像を生成する。

換言すれば、本発明では、「同時画質改善処理」を１回だけ行うことにより、画質改善された全ての注目領域と基準画像全体を同時に表示できる結果画像を生成できる。

本発明の「注目領域抽出処理」では、複数の注目領域を抽出する方法として、例えば、
[１] 基準画像に対し、ユーザに指定された複数の領域を複数の注目領域とする方法、
[２] 単純に基準画像を所定のサイズに分割して得られた複数の領域を複数の注目領域とする方法、
[３] 基準画像に対し、優勢領域を順次抽出し、抽出した複数の優勢領域を複数の注目領域とする方法、
[４] 基準画像に対し、物体検出（例えば、顔検出）を利用することにより、複数の注目領域を抽出する方法
といった方法を利用することができる。

また、本発明の「位置合わせ処理」では、既存の方法を利用する。例えば、奥富らにより提案された特許文献１に開示された「時系列画像のモーション推定方法」、や非特許文献１の方法を利用することができる。

更に、本発明の「同時画質改善処理」では、位置合わせ処理された複数の注目領域の画素値データと、基準画像の画素値データを同時に用いて、画質改善処理を行う際に、すなわち、ここで、画質改善処理として、高解像度化処理を用い、本発明の発明者により発明された特許発明である「超解像処理の高速化方法」（特許文献２を参照）、同じく本発明の発明者により提案された特許文献３に開示された「超解像処理の高速化方法」を利用することで、より効果的である。

図３と図４を対比して分かるように、画質改善（高解像度化）された全ての注目領域と基準画像の全体を表示できる画像を生成するためには、従来の「超解像処理」による画像処理では、「位置合わせ処理」が行われた複数の注目領域に対して、注目領域毎にそれぞれ「高解像度化処理」を行い、さらに「埋め込み合成処理」を行う必要がある。

一方、本発明による画像処理では、「位置合わせ処理」は注目領域毎に別々行う必要があるが、その後の処理は「同時画質改善処理」のみで、即ち、位置合わせ処理済みの全ての注目領域と注目領域以外の領域を含めて、同時に画質改善処理を行っている。

このため、本発明による画像処理において、従来の「超解像処理」による画像処理で必要となる「埋め込み合成処理」を行う必要は全くなく、また、本発明による画像処理の結果画像に、従来の「超解像処理」による画像処理の結果画像（埋め込み画像）に存在する不自然なエッジを有する境界は、存在しない。

以下、本発明の具体的な実施例を詳細に説明する。なお、本実施例では、画質改善処理としては、高解像度化処理を用いる。

ベイヤーカラーフィルタを有するディジタルカメラを利用して、３０枚の画像を撮影し、全ての撮影画像をフルカラー化した。フルカラー化した全ての撮影画像（３０枚）を、本発明による画像処理に利用される「複数の観測画像」とする。

これら複数の観測画像における初期フレーム（１番目の観測画像）を「基準画像」に設定し、図４に示す流れで、本発明による画像処理を行い、画質改善画像（本発明による画質改善画像）を生成した。ちなみに、図５にその基準画像を示す。

図５の四角で示された、大きさ４０[pixel]×４０[pixel]を有する、注目領域１、注目領域２及び注目領域３は、ユーザによってそれぞれ手動で設定された。

設定された注目領域１、注目領域２及び注目領域３について、それぞれ「位置合わせ処理」を行った。なお、本実施例では、「位置合わせ処理」に、非特許文献１の方法を利用した。

本発明の「同時画質改善処理」では、位置合わせ処理済みの全ての注目領域の画素値データと、基準画像の画素値データを同時に用いて、下記数１で表す評価関数Ｉを最小化することにより、高解像度化処理を行い、画質改善画像を生成する。つまり、「同時画質改善処理」では、数１で表す評価関数Ｉを最小化する高解像度画像
を、本発明による画像処理の結果画像である「画質改善画像」とする。

ここで、ｇ_ｒは基準画像を、ｇ_ｋはｋ番目の観測画像を、（ｘ_ｉ、ｙ_ｉ）は基準画像ｇ_ｒのｉ番目の画素の画素位置を、Ｎ_ｒは基準画像ｇ_ｒの総画素数を、Ｎ_ｊは基準画像ｇ_ｒに設定された注目領域の個数を、Ｎ_ｋは観測画像の枚数を、
は画質改善画像のベクトル表現をそれぞれ表す。また、
は画質改善画像
から（ｘ、ｙ）の画素位置における基準画像ｇ_ｒの画素値（画素値データ）を推定するための行列を表す。なお、本実施例では、Ｎ_ｋ＝３０で、Ｎ_ｊ＝３ある。

そして、Ｒ_ｊｋはｋ番目の観測画像でｊ番目の注目領域に対応する領域の画素を、
はｋ番目の観測画像でｊ番目の注目領域の座標を基準画像ｇ_ｒの座標に変換する関数をそれぞれ表す。また、
は画質改善画像
に関する拘束項を表す。

本実施例では、上記数１で表す評価関数Ｉを最小化する方法や拘束項については、本発明の発明者により発明された特許発明である「超解像処理の高速化方法」（特許文献２を参照）及び特許文献３に開示された「超解像処理の高速化方法」と、同様の方法を利用した。

また、本実施例では、画質改善画像の観測画像（低解像度画像）に対する解像度の倍率は３×３である。このように求められた画質改善画像（本発明による画質改善画像）を図７に示す。

図７を見れば分かるように、本発明を適用することにより、「上記数１で表す評価関数Ｉを最適化する」という一度の計算で、基準画像全体に高解像度化された全ての注目領域を表示することができる画質改善画像が生成されていることが確認された。

本発明による画像処理と、従来の「超解像処理」による画像処理との相違を述べると、つまり、従来の「超解像処理」による画像処理では、注目領域が複数存在する場合に、注目領域毎に別々に「高解像度処理」を行う必要があり、例えば、図５に示す３カ所の注目領域に対して「位置合わせ処理」をそれぞれ行った上で、位置合わせ処理済みの各注目領域に対し、「高解像度化処理」をそれぞれ行い、それぞれの注目領域に対しては図６に示すような高解像度化された画像が得られる。

しかしながら、基準画像全体も同時に表示するためには、図６（Ａ）、（Ｂ）、（Ｃ）に示す３つの注目領域の高解像度化処理結果を図５に示す基準画像に埋め込むといった埋め込み合成処理を行う必要がある。このような埋め込み合成処理を単純に行ってしまうと、埋め込みの境界が不自然になってしまう問題が発生する。

一方、本発明による画像処理では、基準画像を含めて３カ所の注目領域に対して、同時に画質改善処理（本実施例では、高解像度化処理）を行うため、図７に示すように、基準画像全体に対応する画質改善画像が得られる。図７から、本発明による画像処理で得られた画質改善画像において、３カ所の注目領域については解像感が向上しており、また、不自然な境界も存在しないことは確認できる。

以上は、「同時画質改善処理」では、数１で表す評価関数Ｉを最小化する高解像度画像
を、本発明による画像処理の結果画像である「画質改善画像」とする実施例（以下、「実施例１」という。）について説明したが、本発明の他の実施例（実施例２）を以下のように説明する。

本発明の実施例２では、その「同時画質改善処理」とは、位置合わせ処理された複数の注目領域の画素値データと、基準画像の画素値データを同時に用いて、未定義画素を含む平均画像、及び重み画像を生成する第１のステップと、平均画像に含まれている未定義画素の画素値を推定することにより、画質改善画像を生成する第２のステップとを有する処理である。

以下、その詳細について説明する。

ここで、位置合わせ処理された複数の注目領域の画素値データと、基準画像の画素値データを、「画質改善画像空間」に不均一に（不等間隔に）サンプリングされた画素値データとする。

この「画質改善画像空間」に不等間隔にサンプリングされた画素位置（以下、単に観測画素位置とも称する）を画質改善画像の画素位置（以下、単に、画質改善画像画素位置とも称する）で近似することを考える。このとき、ある画質改善画像画素位置に近似される観測画素（観測画素位置）は、複数ある場合が考えられる。逆に、近似される観測画素（観測画素位置）が存在しない画質改善画像画素位置も存在する。

ここで、各画質改善画像画素位置に近似された複数の観測画素の平均画素値をそれぞれ計算することにより、１つの画像を生成することができる。本実施例では、この画像を「平均レジストレーション画像」と呼ぶことにする。なお、以下、この平均レジストレーション画像を単に「平均画像」とも称する。

平均レジストレーション画像は、その画素間隔（画素数）が画質改善画像と等しい。ただし、近似される観測画素が存在しない画素位置に対しては、その画素値は定義されない。ここで、平均レジストレーション画像において、画素値が定義されていない画素を「未定義画素」と称する。換言すれば、平均画像に未定義画素が含まれているため、平均画像は完全な画質改善画像ではないと言える。また、平均画像において、未定義画素を除いて残りの全ての画素は、その画素値が定義されているので、以下、単に「定義画素」とも称する。

また、各画質改善画像画素位置に近似された観測画素の個数も、同様に１つの画像となる。本発明では、この画像を「重み画像」と呼ぶことにする。

即ち、重み画像は、その画素数が平均画像の画素数と同じであり、また、平均画像の未定義画素の画素位置と同じ位置にある画素の画素値はゼロになり、平均画像の定義画像の画素位置と同じ位置にある画素がゼロより大きい画素値を有する。換言すれば、重み画像の画素値がゼロであれば、対応する平均画像には画素値が定義されていないことになる。即ち、画素値がゼロである重み画像の画素は、対応する平均画像の画素は、未定義画素である。

上述したように、位置合わせ処理された複数の注目領域の画素値データと、基準画像の画素値データを同時に用いて、未定義画素を含む平均画像、及び重み画像を生成することができる。この平均画像の解像度は、生成される画質改善画像と同じである。

本実施例では、平均画像に含まれている未定義画素の画素値を推定することにより、画質改善画像を生成（再構成）できることを着眼点としている。つまり、平均画像における未定義画素の画素値を何らかの方法により推定することができれば、画質改善画像を生成することができる訳である。

未定義画素の画素値の推定方法としては、未定義画素の周辺に存在する定義画素（以下、単に、周辺画素とも称する）の画素値から補間する方法や、未定義画素の画素値を任意の参照画素の画素値で置き換える方法、および上記２つの方法で得られた結果をアルファブレンド（alpha blend）する方法などが考えられる。

具体的に、本実施例では、位置合わせ処理された複数の注目領域の画素値データと、基準画像の画素値データを同時に用いて、平均画像及び重み画像を生成し、そして、生成された平均画像に含まれている未定義画素の画素値を推定することにより、画質改善画像を生成するようにしている。

次に、平均画像に含まれている未定義画素の画素値の推定方法（以下、単に、未定義画素値推定方法とも称する）について詳細に説明する。

＜１＞未定義画素値推定方法その１
「未定義画素値推定方法その１」とは、未定義画素の周辺に存在する定義画素の画素値（周辺画素の画素値）を補間することにより、未定義画素の画素値を推定する方法である。

具体例として、例えば、
（ａ１）ＲＧＢ各チャネルを独立に補間する方法、
（ａ２）Ｇチャネルの未定義画素を補間した後に、色差(Ｒ−ＧおよびＢ−Ｇ)について補間する方法、
（ａ３）一度、未定義画素のＲＧＢ各チャネルの画素値を補間した後に、輝度(Ｙ)を求め、Ｒ−Ｙ、Ｇ−ＹおよびＢ−Ｙについて、未定義画素を補間し直す方法、
によって、未定義画素の画素値を推定するようにして良い。

＜２＞未定義画素値推定方法その２
「未定義画素値推定方法その２」とは、平均画像と同じ画素数を有する、任意の参照画像を用意し、未定義画素の画素位置に対応する参照画像の画素値を当該未定義画素の画素値とする方法である。

具体例として、例えば、
（ｂ１）１枚の観測画像を拡大した画像、
（ｂ２）入力された全ての観測画像を拡大し、これら画像の位置ずれを考慮して平均した画像、
（ｂ３）単色の画像、
といった画像を参照画像とすることができる。

＜３＞未定義画素値推定方法その３
「未定義画素値推定方法その３」とは、「未定義画素値推定方法その１」により推定された未定義画素値（以下、単に、未定義画素の第１画素値と呼ぶ）と、「未定義画素値推定方法その２」により推定された未定義画素値（以下、単に、未定義画素の第２画素値と呼ぶ）をアルファブレンド（alpha blend）することにより、未定義画素値を推定する方法である。

具体例として、例えば、アルファブレンド（alpha blend）を行う際に、必要なアルファ値（α）下記のような方法で推定することができる。
（ｃ１）アルファブレンドのアルファ値（α）を、未定義画素の画素位置により変化させる方法
（ｃ２）未定義画素の周辺に存在する定義画素の数、即ち、周辺画素の数に基づき、アルファブレンドのアルファ値（α）を推定する方法

以下では、平均画像における未定義画素の画素値推定方法（未定義画素値推定方法）を詳細に述べる。
（１）周辺画素を利用した未定義画素推定
ここで、（ｘ,ｙ）を画像の座標とし、Ｉ（ｘ,ｙ）を平均画像（平均レジストレーション画像）とする。このとき、位置（ｘ,ｙ）に対応する未定義画素の画素値
を、下記数２により推定する。

ただし、（ｘ,ｙ）の画素が未定義の場合に、Ｕ（ｘ,ｙ）＝０が成立し、一方、（ｘ,ｙ）の画素が定義されている場合に、Ｕ（ｘ,ｙ）＝１が成立する。

また、ｗ（ｘ,ｙ）は重み関数を表し、Ｒは近傍の領域を表すパラメータである。重み関数としては、例えば、ガウシアン関数が利用できる。

従って、「周辺画素を利用した未定義画素推定方法」により生成される画質改善画像ｈ_Ｉ（ｘ,ｙ）は、下記数３のように表すことができる。

（２）参照画像を利用した未定義画素推定
ここで、任意の参照画像をＴ（ｘ,ｙ）とする。参照画像の例としては、基準画像を拡大した画像や、単色の画像が考えられる。

「参照画像を利用した未定義画素推定方法」とは、未定義画素をＴ（ｘ,ｙ）で置き換える方法である。

従って、「参照画像を利用した未定義画素推定方法」により生成される画質改善画像ｈ_Ｔ（ｘ,ｙ）は、下記数４のように表すことができる。

（３）アルファブレンドを応用した方法
ここで言う「アルファブレンドを応用した方法」とは、図８に示すように、上述した「周辺画素を利用した未定義画素推定」と、「参照画像を利用した未定義画素推定」をアルファブレンドすることにより、未定義画素の画素値を推定する方法である。

従って、「アルファブレンドを応用した方法」により、生成される画質改善画像ｈ_α（ｘ,ｙ）は、下記数５のように表すことができる。

ここで、αはアルファブレンドのアルファ値である。

上述した未定義画素推定方法により、平均画像における未定義画素の画素値を推定することができる。これで、平均画像の全ての画素は定義されることになり、本実施例では、全ての画素が定義されている平均画像を画質改善画像とすることにより、画質改善画像を生成するようにしている。

なお、上述した本発明の実施形態に係る画像処理方法（画像処理アルゴリズム）は、コンピュータシステムを利用し、ソフトウェアにより実装されることが可能であることは、言うまでも無い。

従来の超解像処理に係る「高解像度化処理」で利用される画素値データの概念図である。 本発明の「同時画質改善処理」で利用される画素値データの概念図である。 基準画像に複数の注目領域を設定した場合の従来の「超解像処理」による画像処理の流れを示す概念図である。 基準画像に複数の注目領域を設定した場合の本発明による画像処理の流れを示す概念図である。 ３つの注目領域が設定された基準画像を示す図である。 図５に示す基準画像における３つの注目領域に対して、従来の「超解像処理」による行った高解像度化処理結果を示す図である。 図５に示す基準画像及び３つの注目領域を利用して本発明による画質改善画像を示す図である。 本発明の実施例２において、アルファブレンドを応用した未定義画素値推定方法を説明するためのブロック図である。

Claims (18)

1. 位置ずれを含む複数の観測画像から画質改善画像を生成する、複数領域に対応した画質改善処理方法であって、
   前記複数の観測画像から選択された基準画像に対して、複数の注目領域を抽出する、注目領域抽出処理ステップと、
   抽出された複数の注目領域に対し、注目領域毎に位置合わせ処理を行う、位置合わせ処理ステップと、
   位置合わせ処理された複数の注目領域の画素値データと、前記基準画像の画素値データを同時に用いて、画質改善処理を行い、前記画質改善画像を生成する、同時画質改善処理ステップと、
   を有することを特徴とする複数領域に対応した画質改善処理方法。
2. 前記注目領域抽出処理ステップでは、前記複数の注目領域を抽出する方法として、
   （１）前記基準画像に対し、ユーザに指定された複数の領域を前記複数の注目領域とする方法、
   （２）前記基準画像を所定のサイズに分割して得られた複数の領域を前記複数の注目領域とする方法、
   （３）前記基準画像に対し、優勢領域を順次抽出し、抽出した複数の優勢領域を前記複数の注目領域とする方法、又は、
   （４）前記基準画像に対し、物体検出を利用することにより、前記複数の注目領域を抽出する方法
   を利用する請求項１に記載の複数領域に対応した画質改善処理方法。
3. 前記画質改善処理は、次の数式で表す評価関数を最小化することにより、画質改善を行う画質改善処理であり、
   ただし、Ｉは評価関数を、ｇ_ｒは基準画像を、ｇ_ｋはｋ番目の観測画像を、（ｘ_ｉ、ｙ_ｉ）は基準画像ｇ_ｒのｉ番目の画素の画素位置を、Ｎ_ｒは基準画像ｇ_ｒの総画素数を、Ｎ_ｊは基準画像ｇ_ｒに設定された注目領域の個数を、Ｎ_ｋは観測画像の枚数を、
   は画質改善画像のベクトル表現を、
   
   は画質改善画像
   から（ｘ、ｙ）の画素位置における基準画像ｇ_ｒの画素値データを推定するための行列を、Ｒ_ｊｋはｋ番目の観測画像でｊ番目の注目領域に対応する領域の画素を、
   はｋ番目の観測画像でｊ番目の注目領域の座標を基準画像ｇ_ｒの座標に変換する関数を、
   は画質改善画像
   に関する拘束項を、それぞれ表す請求項１又は請求項２に記載の複数領域に対応した画質改善処理方法。
4. 前記画質改善処理は、
   位置合わせ処理された複数の注目領域の画素値データと、前記基準画像の画素値データを同時に用いて、未定義画素を含む平均画像、及び重み画像を生成する第１のステップと、
   前記平均画像に含まれている未定義画素の画素値を推定することにより、前記画質改善画像を生成する第２のステップと、
   を有する処理である請求項１又は請求項２に記載の複数領域に対応した画質改善処理方法。
5. 前記第２のステップでは、前記未定義画素の周辺に存在する定義画素の画素値を補間することにより、前記未定義画素の画素値を推定する請求項４に記載の画質改善処理方法。
6. 前記第２のステップでは、前記平均画像と同じ画素数を有する所定の画像を参照画像とし、前記未定義画素に対応する前記参照画像の画素の画素値を前記未定義画素の画素値とする請求項４に記載の画質改善処理方法。
7. 未定義画素の周辺に存在する定義画素の画素値を補間することにより、未定義画素の画素値を推定する方法を、第１の未定義画素推定方法とし、
   平均画像と同じ画素数を有する所定の画像を参照画像とし、未定義画素に対応する参照画像の画素の画素値を未定義画素の画素値とする方法を、第２の未定義画素推定方法とし、
   前記第２のステップでは、前記第１の未定義画素推定方法により推定された第１の未定義画素値と、前記第２の未定義画素推定方法により推定された第２の未定義画素値をアルファブレンドすることにより、前記未定義画素の画素値を推定する請求項４に記載の画質改善処理方法。
8. 前記アルファブレンドのアルファ値を前記未定義画素の画素位置により変化させるようにする請求項７に記載の画質改善処理方法。
9. 前記未定義画素の周辺に存在する定義画素の数に基づき、前記アルファブレンドのアルファ値を推定する請求項７に記載の画質改善処理方法。
10. 位置ずれを含む複数の観測画像から画質改善画像を生成する、複数領域に対応した画質改善処理プログラムであって、
    Ａ１．前記複数の観測画像から選択された基準画像に対して、複数の注目領域を抽出する手順と、
    Ａ２．手順Ａ１で抽出された複数の注目領域に対し、注目領域毎に位置合わせ処理を行う手順と、
    Ａ３．手順Ａ２で位置合わせ処理された複数の注目領域の画素値データと、前記基準画像の画素値データを同時に用いて、画質改善処理を行い、前記画質改善画像を生成する手順と、
    をコンピュータに実行させるためのプログラム。
11. 手順Ａ１では、前記複数の注目領域を抽出する方法として、
    （１）前記基準画像に対し、ユーザに指定された複数の領域を前記複数の注目領域とする方法、
    （２）前記基準画像を所定のサイズに分割して得られた複数の領域を前記複数の注目領域とする方法、
    （３）前記基準画像に対し、優勢領域を順次抽出し、抽出した複数の優勢領域を前記複数の注目領域とする方法、又は、
    （４）前記基準画像に対し、物体検出を利用することにより、前記複数の注目領域を抽出する方法
    を利用する請求項１０に記載の複数領域に対応した画質改善処理プログラム。
12. 前記画質改善処理は、次の数式で表す評価関数を最小化することにより、画質改善を行う処理であり、
    ただし、Ｉは評価関数を、ｇ_ｒは基準画像を、ｇ_ｋはｋ番目の観測画像を、（ｘ_ｉ、ｙ_ｉ）は基準画像ｇ_ｒのｉ番目の画素の画素位置を、Ｎ_ｒは基準画像ｇ_ｒの総画素数を、Ｎ_ｊは基準画像ｇ_ｒに設定された注目領域の個数を、Ｎ_ｋは観測画像の枚数を、
    は画質改善画像のベクトル表現を、
    は画質改善画像
    から（ｘ、ｙ）の画素位置における基準画像ｇ_ｒの画素値データを推定するための行列を、Ｒ_ｊｋはｋ番目の観測画像でｊ番目の注目領域に対応する領域の画素を、
    はｋ番目の観測画像でｊ番目の注目領域の座標を基準画像ｇ_ｒの座標に変換する関数を、
    は画質改善画像
    に関する拘束項を、それぞれ表す請求項１０又は請求項１１に記載の複数領域に対応した画質改善処理プログラム。
13. 前記画質改善処理は、
    位置合わせ処理された複数の注目領域の画素値データと、前記基準画像の画素値データを同時に用いて、未定義画素を含む平均画像、及び重み画像を生成する第１のステップと、
    前記平均画像に含まれている未定義画素の画素値を推定することにより、前記画質改善画像を生成する第２のステップと、
    を有する処理である請求項１０又は請求項１１に記載の複数領域に対応した画質改善処理プログラム。
14. 前記第２のステップでは、前記未定義画素の周辺に存在する定義画素の画素値を補間することにより、前記未定義画素の画素値を推定する請求項１３に記載の画質改善処理プログラム。
15. 前記第２のステップでは、前記平均画像と同じ画素数を有する所定の画像を参照画像とし、前記未定義画素に対応する前記参照画像の画素の画素値を前記未定義画素の画素値とする請求項１３に記載の画質改善処理プログラム。
16. 未定義画素の周辺に存在する定義画素の画素値を補間することにより、未定義画素の画素値を推定する方法を、第１の未定義画素推定方法とし、
    平均画像と同じ画素数を有する所定の画像を参照画像とし、未定義画素に対応する参照画像の画素の画素値を未定義画素の画素値とする方法を、第２の未定義画素推定方法とし、
    前記第２のステップでは、前記第１の未定義画素推定方法により推定された第１の未定義画素値と、前記第２の未定義画素推定方法により推定された第２の未定義画素値をアルファブレンドすることにより、前記未定義画素の画素値を推定する請求項１３に記載の画質改善処理プログラム。
17. 前記アルファブレンドのアルファ値を前記未定義画素の画素位置により変化させるようにする請求項１６に記載の画質改善処理プログラム。
18. 前記未定義画素の周辺に存在する定義画素の数に基づき、前記アルファブレンドのアルファ値を推定する請求項１６に記載の画質改善処理プログラム。