JP2008276393A - 高解像度化装置および方法 - Google Patents

Abstract

【課題】鮮鋭な高解像度画像を得る。
【解決手段】低解像度画像を画像ソースから取得する手段と、低解像度画像を、それよりも画素数が多い高解像度画像に拡大する手段１０２と、低解像度画像にエッジ強調処理を施す手段１０３と、低解像度画像、および、エッジ強調処理が施された低解像度画像のいずれか１つを用いて、低解像度画像に含まれる複数の画素を１つずつ注目画素として順次設定された注目画像領域に含まれる画素値パターンに最も近い複数の注目画像領域に対応する複数の対応点を、サブピクセル精度で検出する手段１０４と、エッジ強調処理が施された低解像度画像の画素値をその画素を注目画素とした場合の対応点での輝度の標本値として設定する手段１０６と、高解像度画像の画素を用いて対応点で標本化した輝度と、設定した標本値との誤差が小さくなる方向に、高解像度画像の画素値を加減算する画素値変換を行う手段１０６を具備する。
【選択図】図１

Description

本発明は、カメラで撮影された画像データやテレビが受信した画像データをより高い解像度の画像データに変換する高解像度化装置および方法に関する。

画素数が多い、つまり高解像度のテレビやディスプレイが普及してきている。テレビやディスプレイは、画像を表示する場合、画像データの画素数をパネルの画素数に変換する。特に、画素数を増やす高解像度化の変換において、線形内挿法よりも鮮鋭な画像が得られる方法として、複数フレーム劣化逆変換法が知られている（例えば、特許文献１、非特許文献１参照）。

複数フレーム劣化逆変換法は、基準フレームに写っている被写体が別のフレームにも写っていることに注目し、被写体の動きを画素間隔以下の高い精度で検出することで、被写体の同一の局所部分に対して微小に位置がずれた複数の標本値を求めて高解像度化するものである。

より詳細に、複数フレーム劣化逆変換法を説明する。この方法では、低解像度なフレームが時系列で並んでいる場合に、それらを順次高解像度なフレームに変換する。例えば、移動する自動車を撮影した動画像の時間的に前後する３枚のフレームを低解像度画像として用い、これらの３枚のフレームから１枚のフレームを基準フレームとして高解像度化する。例えば、これを縦２倍、横２倍に高解像度化する。未知である高解像度画像の画素に対して、低解像度画像の画素、つまり既知な標本値はまばらである。この状態でも高解像度画像の画素値の推定はできるが、事前に既知な標本値を増やしておけば、より正確な高解像度画像を得ることができる。そのために、複数フレーム劣化逆変換法では、基準フレーム以外の低解像度画像の画素の位置に写っている被写体が、基準フレームの画面内でどの位置に写っているかを検出し、その画素値を基準フレーム内の対応点における標本値として用いる。

具体的には、例えば、ある画素を中心に低解像度画像から数画素四方のブロックを取り出し、このブロックと同じ大きさで、含まれる画素が、取り出したブロックと近い画素値を持つ部分を基準フレームの中で探索する。探索はサブピクセル精度で行う（例えば、非特許文献２参照）。見つかった対応ブロックの中心を対応点とする。これにより、他のフレームに対応する画面の点Ａと、基準フレームに対応する画面の点Ｂとが同じ被写体の同一の位置として対応づけられる。この対応は、点Ａを始点、点Ｂを終点とする動きベクトルで表される。サブピクセル精度で探索を行うので、動きベクトルは一般に、始点は画素の位置、終点は画素がない位置になる。このような動きベクトルを低解像度画像の全ての画素について求め、また、他の低解像度画像についても同様に各画素を始点とする基準フレームへの動きベクトルを検出する。次に、各動きベクトルの終点に始点の画素値を標本値として配置する。最後に、このように非一様に配置された標本値から、格子状に一様に配置された高解像度画像の画素の値を求める。この手法としては、重ね合わせ法（nonuniform interpolation）やＰＯＣＳ法などが知られている（例えば、非特許文献１参照）。
特開２０００−１８８６８０公報（第３−７頁、図２２） S. Park, et.al. "Super-Resolution Image Reconstruction: A Technical Overview," IEEE Signal Processing Magazine, USA, IEEE, May 2003, p.21-36 清水，奥富，「画像のマッチングにおけるサブピクセル推定の意味と性質」電子情報通信学会論文誌D-II，電子情報通信学会，２００２年１２月，第８５巻，第１２号，ｐ．１７９１−１８００

上記のように複数フレーム劣化逆変換法では、カメラで撮影されたままの画像が入力された場合には鮮鋭な高解像度画像が得られるが、テレビの受信画像のようにカメラで標本化されたあとに、画像圧縮やノイズ除去フィルタなどが施された画像では、画素値が標本値から変化しており、十分に鮮鋭な画像が得られないという問題がある。

この発明は、上述した事情を考慮してなされたものであり、標本化後にさらに劣化した画像が入力されても鮮鋭な高解像度画像を得る高解像度化装置および方法を提供することを目的とする。

上述の課題を解決するため、本発明の高解像度化装置は、画面内に含まれる複数の画素の各画素の位置における輝度を画素値として表した低解像度画像を画像ソースから取得する取得手段と、前記低解像度画像を、それよりも画素数が多い高解像度画像に拡大する拡大手段と、前記低解像度画像にエッジ強調処理を施すエッジ強調手段と、前記低解像度画像、および、前記エッジ強調処理が施された低解像度画像のいずれか１つを用いて、前記低解像度画像に含まれる複数の画素を１つずつ注目画素として順次設定された注目画像領域に含まれる画素値パターンに最も近い複数の注目画像領域に対応する複数の対応点を、画素間の間隔よりも細かい単位であるサブピクセル単位の精度で検出する対応点検出手段と、前記エッジ強調処理が施された低解像度画像の画素値をその画素を注目画素とした場合の対応点での輝度の標本値として設定する設定手段と、前記高解像度画像の画素を用いて前記対応点で標本化した輝度と、前記設定した標本値との誤差が小さくなる方向に、前記高解像度画像の画素値を加減算する画素値変換を行う画素値変換手段と、を具備することを特徴とする。

本発明の高解像度化装置および方法によれば、劣化した画像が入力されても鮮鋭な高解像度画像を得ることができる。

以下、図面を参照しながら本発明の実施形態に係る高解像度化装置および方法について詳細に説明する。なお、以下の実施形態中では、同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。
（第１の実施形態）
第１の実施形態の高解像度化装置について図１を参照して説明する。
本実施形態の高解像度化装置は、仮拡大部１０２、エッジ強調部１０３、対応点検出部１０４、画素値変換部１０６を含む。なお、高解像度化装置は、低解像度画像データ１０１を画像ソースから取得するが、ここで低解像度画像のデータは、画面に配置された画素ごとの輝度や色の値であり、動画でも静止画でも構わない。例えば、テレビ放送を受信した画像データ、ビデオカメラから取り込んだ画像データ、写真データなどである。静止画の場合はそれ１枚、プログレッシブ形式の動画の場合は１フレーム、インタレース形式の動画の場合は１フィールドといったように、１画面ずつあるいは、１画面を区切った部分画面ごとに高解像度化の処理を行う。
仮拡大部１０２は、低解像度の画像データ１０１を取得し、画素数を増加させて画像データ１０１を拡大した仮拡大画像データ１０５を画素値変換部１０６に渡す。仮拡大部１０２の詳細については後に図２から図４までを参照して説明する。

エッジ強調部１０３は、低解像度の画像データ１０１を取得し、画像データ１０１のエッジ部分を強調した、高周波成分が強調された画像データ１０７を画素値変換部１０６に渡す。エッジ強調部１０３は、低解像度画像の高周波成分を検出し、高周波成分が少ないほどエッジ強調を強くかける。エッジ強調部１０３の詳細については後に図５から図８までを参照して説明する。

対応点検出部１０４は、低解像度の画像データ１０１を取得し、画素ごとにその対応点の位置を検出して、対応点の位置情報１０８を画素値変換部１０６に渡す。一般に、１画素に対して複数の対応点が対応する。ここで対応点とは、その画素を中心とした周囲の画素値パターンとその対応点を中心とした画素値パターンが同じであるような点（位置）のことをいう。対応点検出部１０４の詳細については後に図９から図１７までを参照して説明する。

画素値変換部１０６は、高周波成分が強調された低解像度の画像データ１０７と、低解像度画像の画素ごとの対応点の位置情報１０８を用いて、仮拡大画像データ１０５の各画素の画素値を逐次的に変換し、次第に鮮鋭化していく。画素値変換部１０６の詳細については後に図４、図１８、図１９を参照して説明する。

次に、図１の仮拡大部１０２について図２から図４を参照して説明する。
仮拡大部１０２では、例えば３次畳み込み内挿法（高木、下田監修「画像解析ハンドブック」東京大学出版会、ｐ．４４３参照）を用いて低解像度の画像データ１０１が出力したい解像度に変換される。つまり画素数が増えて拡大され、仮拡大画像データ１０５として画素値変換部１０６に送られる。
図２に低解像度画像の画面２０１における画素２０２の配置を示す。図２の画像と同じ画像を映し、縦横がそれぞれ２倍の解像度の画像を図３に示す。画面３０１は図２の画面２０１と同じ範囲を撮影したものであり、その中に配された画素３０２が図２の場合よりも密になっている。低解像画像の画素（図２）と高解像度画像（図３）の画素の相対的な位置関係を図４に示す。仮拡大では、低解像度画像の画素（黒丸）の画素値が与えられ、それを元にして高解像度画像の画素（白丸）の画素値を計算する。３次畳み込み内挿法は、例えば高解像度画像の画素４０１については、その周囲の図に示した１６個の低解像度の画素値の加重平均をその画素値とする。加重平均の重みはそれらとの距離に応じて決める。他の高解像度画像の画素についても同様に求める。なお、この仮拡大画像データ１０５は、まだ鮮鋭なものではない。

次に、図１のエッジ強調部１０３について図５から図８までを参照して説明する。
エッジ強調部１０３では、低解像度の画像データ１０１に、例えば、アンシャープマスキングが施され、その高周波成分が強調される。アンシャープマスキングは、入力画像とそれをぼかした画像の差分を求め、それを元の画像に加えることでエッジ部分を強調する処理である（高木、下田監修「画像解析ハンドブック」東京大学出版会、ｐ．５４９参照）。高周波成分が強調された画像データ１０７は、画素値変換部１０６に送られる。

このエッジ強調による効果について説明する。図５に高解像度画像データのフーリエ変換スペクトラムを示す。横軸が空間周波数、縦軸がフーリエ変換係数の振幅である。ある高解像度の画像のスペクトラムが図５のようであったとする。この画像を低解像度画像に縮小つまり画素数を減らすときの、ナイキスト周波数が図５〜図８の点線の位置であるとする。ナイキスト周波数は、その低解像度画像で表現できる上限の周波数である。

縮小したあとの低解像度画像のスペクトラムを図６に実線で示す。このように、元の高解像度画像にナイキスト周波数よりも高い周波数の成分があると、低解像度画像では、ナイキスト周波数の近くに折り返しが生じる（末松、山田「画像処理工学」コロナ社、ｐ．６０〜６５参照）。このような低解像度画像に対して、例えば前述した３次畳み込み内挿法を用いて高解像度化しても、この折り返し成分が残り、元の高解像度画像にはなかったモアレやジャギーとよばれる画質劣化が生じる。それに対して劣化逆変換法を用いて高解像度化すると、折り返し成分を元にしてナイキスト周波数より高い周波数の成分を再現し、図５の状態に復元できる。

しかし、例えばテレビで受信する画像には、ハイビジョンカメラで撮影され、標準サイズに縮小された後に、圧縮され伝送されてきたものがあり、これらは圧縮により高周波数成分が減衰している。あるいは、カメラで撮影した画像でも、その撮像直後に折り返し成分があっても、ノイズ除去のために施される平滑化フィルタなどにより高周波数成分が減衰していることも多い。その様子を図７に示す。点線のスペクトルの高周波数成分が実線のように減衰している。このような画像データに対して劣化逆変換法を用いて高解像度化しても、十分に高周波数成分は再現されず、元画像に近い鮮鋭な画像は得られない。それに対し、エッジ強調、つまり低解像度画像における高周波数成分の強調を行うと図８の実線に示したように、高周波数成分が減衰する前の状態に近くなり、その後の処理により、鮮鋭な画像が得られるようになる。

次に、図１の対応点検出部１０４について図９から図１７までを参照して説明する。
対応点の求め方について説明する。図９の黒点は画面に配置された低解像度画像の画素である。それぞれの位置での輝度を画素値として持っている。いま画素９０１に注目し、この注目画素９０１の対応点を求めるためにまず、注目画素９０１を中心にして例えば３×３画素のテンプレートブロック９０２を設定する。そしてテンプレートブロックと比較するための参照ブロック９０３をまず設定し、テンプレートブロック９０２と参照ブロック９０３の画素値パターンの誤差を計算する。

画素値パターンの誤差としては、例えば、絶対値誤差と呼ばれる、互いに対応する位置の画素の画素値の差の絶対値を計算しその絶対値を９画素分加算したもの、あるいは、先の画素値の差の絶対値の代わりに画素値の差の２乗を用いる２乗誤差と呼ばれる誤差を用いる。次に、このテンプレートブロック９０２との誤差を、参照ブロック９０４について計算する。このように参照ブロックの位置を画面内の一定の範囲で１画素ずつずらしながら誤差を計算し、その誤差が最も小さくなる参照ブロックの位置を探索する。

この参照ブロックの位置は例えば注目画素から参照ブロックの中心への相対ベクトル９０５で表す。そのベクトルの横と縦の成分をそれぞれ横座標ｘと縦座標ｙにして図示したのが図１０である。図１０では、一例として参照ブロック９０３の位置を表すベクトル（−３，２）を図示している。参照ブロックの探索範囲の例をこのベクトルの座標空間を用いて、図１１から図１４に示す。これらの図で、それぞれの黒丸の位置が探索範囲である。図１１では、注目画素（０，０）の１つ上のラインに参照ブロックを逐次設定して、その中、この例では７個の中から誤差が最も小さいものを見つける。そしてその誤差最小の位置での誤差と、その両隣りでの誤差を用いてパラボラフィティング、あるいは等角フィッティング（清水，奥富，「画像のマッチングにおけるサブピクセル推定の意味と性質」電子情報通信学会論文誌Ｄ−ＩＩ，電子情報通信学会，２００２年１２月，第８５巻，第１２号，ｐ．１７９１−１８００参照）を用いて、このライン上において対応点の位置をサブピクセル単位で求める。ここでサブピクセル単位とは、２次元平面の横座標、縦座標とも整数の位置に画素を配置したときに小数の単位となる、つまり画素と画素の間隔よりも細かい単位のことをいう。

次に、図１２の探索範囲である黒丸で表したラインで同様に別の対応点を求め、図１３、図１４の探索範囲でもそれぞれ対応点を求める。これにより、一つの注目画素に対して４つの対応点を設けることになる（図１５参照）。この例では、探索範囲を横向きのラインで設けたが、縦向きのラインで同様に１ラインずつずらしながら探索範囲を切り替えて対応点をみつけても構わない。特に事前に注目画素周辺で被写体の輪郭線の向きを図１６や図１７に示すＳｏｂｅｌフィルタなどを用いて求め、フィルタと画素値のコンボリューションの絶対値が図１６のフィルタの方が図１７よりも大きいときは、輪郭線が縦向きに近いと判断して図１１から図１４のようにして対応点を求め、図１７の方が図１６よりも大きいときに輪郭線が横向きに近いと判断して縦ラインで対応点を求めると、輪郭線に沿って対応点を複数設定でき、より高い鮮鋭化の効果が得られる。

次に、図１の画素値変換部１０６について図４、図１８、図１９を参照して説明する。
画素値変換部１０６では、仮拡大画像データ１０５の各画素の画素値を逐次的に変換し、次第に鮮鋭化していくとき、対応点は低解像度画像内の位置で求めているのでまず、それを高解像度画像内の位置に換算する。先に説明したように、低解像度画像の画素と高解像度画像の画素の位置関係は図４のようになっている。低解像度画像の画素のひとつである注目画素と、その４つの対応点も合わせて図１８に示す。低解像度画像の画素の位置で高解像度画像を標本化した場合の輝度値がその低解像度画像の各画素値であるが、本発明による高解像度化法では、それに加えて、高解像度画像を対応点の位置で標本化した場合の輝度値が注目画素の画素値と等しいと仮定する。

図１８から高解像度画像の画素と対応点をひとつ抜き出して図１９に示す。高解像度画像の画素値としては、はじめは仮拡大画像データ１０５の画素値が設定されている。その画素値を用いて、対応点の位置での標本値ｚを計算する。標本化には予め定める点拡がり関数と呼ばれる、例えば点線で囲まれた高解像度画像の画素値を加重平均する関数を用いる。重み係数は、対応点からの各画素への距離に応じて決める。次に標本値ｚと、注目画素の画素値ｙの差分を計算する。この注目画素はその対応点を設定する際に用いたものである。ｚとｙの差分がゼロのときには何もせずに次の対応点の処理に移る。ｚとｙの差分がゼロ以外のときには、その差分が小さくなるように、点線で囲まれた高解像度画像の画素値を加減算する。

例えば、ｚ−ｙが正の場合には、その差分値に所定の係数を乗じ、さらに標本化の際に用いた重み係数を乗じた値を画素値から減じる。あるいはｚ−ｙが負のときには、同様にして求めた値を画素値に加える。この加減算を対応点ごと、注目画素ごとに全て行うことを画像変換と呼ぶとすると、この画像変換を数回再帰的に行う。そうすると、はじめの仮拡大画像では鮮鋭さに欠けたり折り返し歪があった状態から、次第に鮮鋭になり折り返し歪も減少していく。画像変換を所定の回数施された結果の高解像度画像が、出力高解像度画像データ１０９として出力される。

次に、本実施形態の高解像度化装置の動作の一例について図２０を参照して説明する。
仮拡大部１０２が、入力された低解像度画像を３次畳み込み内挿法、バイキュービック内挿法、双一次内挿法、最近傍内挿法などのいずれかの手法で仮拡大画像に変換する（ステップＳ２００１）。
対応点検出部１０４が、低解像度画像において、その画素ごとに対応点を同じ低解像度画像の画面内から検出する（ステップＳ２００２）。
エッジ強調部１０３が、アンシャープマスキングなどで低解像度画像のエッジ強調処理を行う（ステップＳ２００３）。

画素値変換部１０６が、ステップＳ２００１で生成された高解像度画像に対して、エッジ強調された低解像度画像の画素値と、対応点の位置の情報を用いて画像変換を反復し、高解像度画像を鮮鋭化し、その結果を出力する（ステップＳ２００４）。

以上の第１の実施形態によれば、高周波成分が強調された低解像度の画像データと、低解像度画像の画素ごとの対応点の位置を用いて、仮拡大画像データの各画素の画素値を逐次的に変換し、次第に鮮鋭化していくので、標本化後にさらに劣化した画像が入力されても鮮鋭な高解像度画像を得ることができる。

（第２の実施形態）
本実施形態は、対応点検出部が、高周波成分が強調された画像データを受け取る点が第１の実施形態とは異なる。他の点は、第１の実施形態と同様である。
本実施形態の高解像度化装置について図２１を参照して説明する。
エッジ強調部２１０１は、低解像度の画像データ１０１を取得し、画像データ１０１のエッジ部分を強調した、高周波成分が強調された画像データ１０７を対応点検出部２１０２と画素値変換部２１０３に渡す。エッジ強調部２１０１とエッジ強調部１０３とは入力するデータが異なるだけで、処理内容は同じである。

対応点検出部２１０２は、高周波成分が強調された画像データ１０７を、画素ごとにその対応点の位置を検出して、対応点の位置を画素値変換部２１０３に渡す。対応点検出部２１０２と対応点検出部１０４とは入力するデータが異なるだけで、処理内容は同じである。

画素値変換部２１０３は、画素値変換部１０６とは対応点検出部から入力するデータが異なるだけで、処理内容は同じである。

次に、図２１の高解像度化装置の動作の一例について図２２を参照して説明する。
ステップＳ２００１の後に、エッジ強調部２１０１が、アンシャープマスキングなどで低解像度画像のエッジ強調処理を行う（ステップＳ２２０１）。

対応点検出部２１０２が、エッジ強調処理が行われた低解像度画像において、その画素ごとに対応点を同じ低解像度画像の画面内から検出する（ステップＳ２２０２）。

画素値変換部２１０３が、ステップＳ２００１で生成された高解像度画像に対して、エッジ強調された低解像度画像の画素値と、対応点の位置の情報を用いて画像変換を反復し、高解像度画像を鮮鋭化し、その結果を出力する（ステップＳ２２０３）。

以上に示した第２の実施形態によれば、画素値変換部２１０３で高周波成分が強調された低解像度画像が用いられるため、入力画像の高周波成分が減衰していた場合でも鮮鋭な画像を得ることができる。

（比較例）
オリジナル画像と、従来技術として３次畳み込み内挿法による画像と、本実施形態による画像とを示し比較する。オリジナル画像、３次畳み込み内挿法による画像、本実施形態による画像は、それぞれ図２３、図２４、図２５である。

３次畳み込み内挿法による画像は、オリジナル画像を一度、低解像度画像に縮小し、それを入力として３次畳み込み内挿法で元の解像度に拡大したものである。エッジがぼやけ、また、縦方向に薄い線（折り返し歪）が生じている。
これに対し、本実施形態による画像は、３次畳み込み内挿法による画像より鮮鋭になり、折り返し歪が軽減し、オリジナル画像に近づいていることが分かる。

なお、エッジ強調は、弱すぎると鮮鋭化の効果が小さく、強すぎると折り返し歪が出力画像に残りかえって画質を劣化させることがある。そこで、低解像度画像の周波数成分を計算し、高周波成分が少ないほどエッジ強調を強く、高周波成分が多いほどエッジ強調を弱くかけることにより、高い画質が得られる。例えばアンシャープマスキングでは、入力画像とぼかした画像の差分を加える割合を増やすことでエッジ強調を強め、割合を減らすことでエッジ強調を弱めることができる。

また、画面の縦方向と横方向で折り返しの量が異なるときは、縦方向と横方向でエッジ強調の強度を切り替えた方がよい。例えば、テレビ映像のフィールド画像は、ライン単位でトップフィールドとボトムフィールドに分けられており、縦方向に折り返しが多い。従って縦方向のエッジ強調は横方向よりも弱くするか、あるいは縦方向のエッジ強調は行わないのがよい。

また、輪郭線がないような平坦な部分では高い周波数成分はないので、仮拡大画像の画素値のままでも画質は十分である。そこで、図１６や図１７に示すＳｏｂｅｌフィルタなどで低解像度画像において輪郭線を検出し、その出力が一定値よりも小さい画素では対応点の検出を行わないようにする。例えば、画素値変換部１０６、２１０３で輪郭線の検出を行う。これにより、対応点の総数が減り、その分の画素値の加減算が行われなくなり全体の処理量を減らせる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

第１の実施形態の高解像度化装置のブロック図。 低解像度画像の画面における画素の配置を示す図。 図２の画像を縦横が２倍の解像度にした画像を示す図。 図２の画素と図３の画素との位置関係を示す図。 高解像度画像データのフーリエ変換スペクトラムを示す図。 図５の画像を低解像度化により折り返しが生じた場合のスペクトラムを示す図。 低解像度画像で高周波成分が減衰した場合のスペクトラムを示す図。 図１のエッジ強調部が低解像度画像の高周波成分を強調した場合のスペクトラムを示す図。 低解像度画像の画素、注目画素、テンプレートブロック、参照ブロックを示す図。 参照ブロックの位置を表すベクトルの一例を示す図。 参照ブロックの探索範囲の一例を示す図。 参照ブロックの探索範囲の一例を示す図。 参照ブロックの探索範囲の一例を示す図。 参照ブロックの探索範囲の一例を示す図。 図１の対応点検出部が検出した対応点の一例を示す図。 縦方向の輪郭を検出するＳｏｂｅｌフィルタを示す図。 横方向の輪郭を検出するＳｏｂｅｌフィルタを示す図。 高解像度画像の画素と低解像度画像の画素との対応点の位置関係を示す図。 対応点とその位置での標本化に用いる範囲の一例を示す図。 図１の高解像度化装置の動作の一例を示す図。 第２の実施形態の高解像度化装置のブロック図。 図２１の高解像度化装置の動作の一例を示す図。 処理前の高解像度画像であるオリジナル画像を示す図。 図２３の画像を従来技術による高解像度手法で高解像度化した画像を示す図。 図２３の画像を本実施形態による高解像度手法で高解像度化した画像を示す図。

符号の説明

１０１・・・低解像度画像データ、１０２・・・仮拡大部、１０３、２１０１・・・エッジ強調部、１０４、２１０２・・・対応点検出部、１０５・・・仮拡大画像データ、１０６、２１０３・・・画素値変換部、１０７・・・高周波成分が強調された画像データ、１０８・・・対応点の位置情報、１０９・・・出力高解像度画像データ、２０１、３０１・・・画面、２０２、３０２、４０１・・・画素、９０１・・・注目画素、９０２・・・テンプレートブロック、９０３、９０４・・・参照ブロック、９０５・・・相対ベクトル。

Claims (8)

1. 画面内に含まれる複数の画素の各画素の位置における輝度を画素値として表した低解像度画像を画像ソースから取得する取得手段と、
   前記低解像度画像を、それよりも画素数が多い高解像度画像に拡大する拡大手段と、
   前記低解像度画像にエッジ強調処理を施すエッジ強調手段と、
   前記低解像度画像、および、前記エッジ強調処理が施された低解像度画像のいずれか１つを用いて、前記低解像度画像に含まれる複数の画素を１つずつ注目画素として順次設定された注目画像領域に含まれる画素値パターンに最も近い複数の注目画像領域に対応する複数の対応点を、画素間の間隔よりも細かい単位であるサブピクセル単位の精度で検出する対応点検出手段と、
   前記エッジ強調処理が施された低解像度画像の画素値をその画素を注目画素とした場合の対応点での輝度の標本値として設定する設定手段と、
   前記高解像度画像の画素を用いて前記対応点で標本化した輝度と、前記設定した標本値との誤差が小さくなる方向に、前記高解像度画像の画素値を加減算する画素値変換を行う画素値変換手段と、を具備することを特徴とする高解像度化装置。
2. 前記低解像度画像の高周波成分を検出する手段をさらに具備し、
   前記エッジ強調手段は、前記低解像度画像の高周波成分が少ないほどエッジ強調を強くかけることを特徴とする請求項１に記載の高解像度化装置。
3. 前記エッジ強調手段は、画面の縦方向と横方向でエッジ強調の強度を変えることを特徴とする請求項１または請求項２に記載の高解像度化装置。
4. 前記低解像度画像の被写体の輪郭線を検出する輪郭検出手段をさらに具備し、
   前記画素値変換手段は、前記輪郭線の周辺の画素だけで加減算することを特徴とする請求項１から請求項３のいずれか１項に記載の高解像度化装置。
5. 画面内に含まれる複数の画素の各画素の位置における輝度を画素値として表した低解像度画像を画像ソースから取得し、
   前記低解像度画像を、それよりも画素数が多い高解像度画像に拡大し、
   前記低解像度画像にエッジ強調処理を施し、
   前記低解像度画像、および、前記エッジ強調処理が施された低解像度画像のいずれか１つを用いて、前記低解像度画像に含まれる複数の画素を１つずつ注目画素として順次設定された注目画像領域に含まれる画素値パターンに最も近い複数の注目画像領域に対応する複数の対応点を、画素間の間隔よりも細かい単位であるサブピクセル単位の精度で検出し、
   前記エッジ強調処理が施された低解像度画像の画素値をその画素を注目画素とした場合の対応点での輝度の標本値として設定し、
   前記高解像度画像の画素を用いて前記対応点で標本化した輝度と、前記設定した標本値との誤差が小さくなる方向に、前記高解像度画像の画素値を加減算する画素値変換を行うことを特徴とする高解像度化方法。
6. 前記低解像度画像の高周波成分を検出することをさらに具備し、
   前記エッジ強調処理を施すことは、前記低解像度画像の高周波成分が少ないほどエッジ強調を強くかけることを特徴とする請求項５に記載の高解像度化方法。
7. 前記エッジ強調処理を施すことは、画面の縦方向と横方向でエッジ強調の強度を変えることを特徴とする請求項５または請求項６に記載の高解像度化方法。
8. 前記低解像度画像の被写体の輪郭線を検出することをさらに具備し、
   前記画素値変換を行うことは、前記輪郭線の周辺の画素だけで加減算することを特徴とする請求項５から請求項７のいずれか１項に記載の高解像度化方法。

Images