JP2009129073A - 高解像度化装置及び方法 - Google Patents

Abstract

【課題】 変換後の画像にひずみが発生しない高解像度化装置及び方法を提供する
【解決手段】 画像ソースから画像を取得する取得手段と、画像に含まれる１つ以上のフ
レームにおける複数の画素を注目画素として設定する第１の設定手段と、注目画素が設定
されたフレームに含まれる画素数よりも多い画素数である仮高解像度画素値を算出する仮
高解像度画素値算出手段と、注目画素の少なくとも１以上の対応点を小数精度で算出する
対応点算出手段と、注目画素の画素値と前記対応点の画素値との誤差に応じて高解像度の
画素値を算出する第１の画素値算出手段と、第１の画素値算出手段による画素値算出処理
をＮ（Ｎ＞０）回行った後の画像を基にした画像の歪度を判定する歪判定手段と、歪度が
大きいと判定された判定部分は画素値算出処理の回数を判定部分以外の部分の画素算出処
理回数より少なくする第２の画素値算出手段とを有する。
【選択図】 図１

Description

本発明は、高解像度化装置及び方法に関する。

画素数が多い、つまり高解像度のテレビやディスプレイが普及してきている。テレビや
ディスプレイは、画像を表示する場合、画像データの画素数をパネルの画素数に変換する
。特に、画素数を増やす高解像度化の変換において、線形内挿法よりも鮮鋭な画像が得ら
れる方法として、複数フレーム劣化逆変換法が知られている（例えば、特許文献１、非特
許文献１参照）。

複数フレーム劣化逆変換法は、基準フレームに写っている被写体が別のフレームにも写
っていることに注目し、被写体の動きを画素間隔以下の高い精度で検出することで、被写
体の同一の局所部分に対して微小に位置がずれた複数の標本値を求めて高解像度化するも
のである。

より詳細に、複数フレーム劣化逆変換法を説明する。この方法では、低解像度なフレー
ムが時系列で並んでいる場合に、それらを順次高解像度なフレームに変換する。例えば、
移動する自動車を撮影した動画像の時間的に前後する３枚のフレームを低解像度画像とし
て用い、これらの３枚のフレームから１つのフレームを基準フレームとして高解像度化す
る。例えば、これを縦２倍、横２倍に高解像度化する。未知である高解像度画像の画素に
対して、低解像度画像の画素、つまり既知な標本値はまばらである。この状態でも高解像
度画像の画素値の推定はできるが、事前に既知な標本値を増やしておけば、より正確な高
解像度画像を得ることができる。そのために、複数フレーム劣化逆変換法では、基準フレ
ーム以外の低解像度画像の画素の位置に写っている被写体が、基準フレームの画面内でど
の位置に写っているかを検出し、その画素値を基準フレーム内の対応点における標本値と
して用いる。

具体的には、例えば、ある画素を中心に低解像度画像から数画素四方のブロックを取り
出し、このブロックと同じ大きさで、含まれる画素が、取り出したブロックと近い画素値
を持つ部分を基準フレームの中で探索する。探索はサブピクセル精度で行う（例えば、非
特許文献２参照）。見つかった対応ブロックの中心を対応点とする。これにより、他のフ
レームに対応する画面の点Ａと、基準フレームに対応する画面の点Ｂとが同じ被写体の同
一の位置として対応づけられる。この対応は、点Ａを始点、点Ｂを終点とする動きベクト
ルで表される。サブピクセル精度で探索を行うので、動きベクトルは一般に、始点は画素
の位置、終点は画素がない位置になる。このような動きベクトルを低解像度画像の全ての
画素について求め、また、他の低解像度画像についても同様に各画素を始点とする基準フ
レームへの動きベクトルを検出する。次に、各動きベクトルの終点に始点の画素値を標本
値として配置する。最後に、このように非一様に配置された標本値から、格子状に一様に
配置された高解像度画像の画素の値を求める。この手法としては、重ね合わせ法（ｎｏｎ
ｕｎｉｆｏｒｍ ｉｎｔｅｒｐｏｌａｔｉｏｎ）やＰＯＣＳ法などが知られている（例え
ば、非特許文献１参照）。

しかし複数フレーム劣化逆変換法では、動きベクトルが正確に検出できれば鮮鋭な高解
像度画像が得られるが、被写体の動きが複雑であったり、低解像度画像にノイズがあった
りすると動きが正確に求まらず、その結果、変換画像に歪が発生するという問題がある。
特開２０００−１８８６８０公報 S. Park, et.al. "Super-Resolution Image Reconstruction: A Technical Overview," IEEE Signal Processing Magazine, USA, IEEE, May 2003, p.21-36 清水，奥富，「画像のマッチングにおけるサブピクセル推定の意味と性質」電子情報通信学会論文誌Ｄ−ＩＩ，電子情報通信学会，２００２年１２月，第８５巻，第１２号，ｐ．１７９１−１８００

本発明は上記問題を鑑み、変換後の画像にひずみが発生しない高解像度化装置及び方法
を提供することを目的としている。

上記目的を達成するために本発明の高解像度化装置は、画素ごとに与えられる画素値の
集まりを画像として画像ソースから取得する取得手段と、前記画像に含まれる１つ以上の
フレームにおける複数の画素を１つずつ注目画素として設定する第１の設定手段と、前記
注目画素が設定されたフレームに含まれる画素数よりも多い画素数である仮高解像度画像
の画素値を仮高解像度画素値として算出する仮高解像度画素値算出手段と、前記注目画素
の少なくとも１以上の対応点を小数精度で算出する対応点算出手段と、前記注目画素の画
素値と前記対応点の画素値との誤差に応じて高解像度の画素値を算出する第１の画素値算
出手段と、前記第１の画素値算出手段による画素値算出処理をＮ（Ｎ＞０）回行った後の
画像を基にした画像の歪度を判定する歪判定手段と、前記歪度判定手段によって歪度が大
きいと判定された判定部分は前記画素値算出処理の回数を前記判定部分以外の部分の画素
算出処理回数より少なくする第２の画素値算出手段とを有することを特徴とする。

また本発明の高解像度化方法は、画素ごとに与えられる画素値の集まりを画像として画
像ソースから取得し、前記画像に含まれる１つ以上のフレームにおける複数の画素を１つ
ずつ注目画素として設定し、前記注目画素が設定されたフレームに含まれる画素数よりも
多い画素数である仮高解像度画像の画素値を仮高解像度画素値として算出し、前記注目画
素の少なくとも１以上の対応点を小数精度で算出し、前記注目画素の画素値と前記対応点
の画素値との誤差に応じて高解像度の画素値を算出し、前記第１の画素値算出手段による
画素値算出処理をＮ（Ｎ＞０）回行った後の画像を基にした画像の歪度を判定し、前記歪
度判定手段によって歪度が大きいと判定された判定部分は前記画素値算出処理の回数を前
記判定部分以外の部分の画素算出処理回数より少なくすることを有することを特徴とする
。

本発明によれば、変換後の画像にひずみが発生しない高解像度化装置及び方法を提供で
きる。

以下に、本発明の実施例を詳細に説明する。

図１に本発明による一実施形態を表すブロック図を示す。高解像度化装置は低解像度の
画像データを画像ソースから取得するメモリ１（１０１）と取得した画像データよりも画
素数の多い仮高解像度画像の画素値（仮高解像度画素値）を算出する仮拡大部（１０２）
と画像データの画素を１つずつ注目画素として設定し、注目画素の少なくとも１以上の対
応点を小数精度で算出する対応点検出部（１０３）と、画素値算出処理をＮ（Ｎ＞０）回
行った後の画像の歪度を判定する歪判部（１０４）と注目画素の画素値と対応点の画素値
との誤差に応じて高解像度の画素値を算出し、歪度が大きいと判定された部分（判定部分
）は判定部分以外の画像データの処理回数より少ない回数で算出する画像変換部（１０５
）とからなる。

メモリ１（１０１）は、画像ソースから低解像度の画像データを取得し、仮拡大部（１
０２）、画像変換部（１０５）に送る。ここで低解像度画像データは、画面に配置された
画素ごとの輝度や色の値であり、動画でも静止画でも構わない。例えば、テレビ放送を受
信した画像データ、ビデオカメラから取り込んだ画像データ、写真データなどである。静
止画の場合はそれ１枚、プログレッシブ形式の動画の場合は１フレーム、インタレース形
式の動画の場合は１フィールドといったように、１画面ずつあるいは、１画面を区切った
部分画面ごとに高解像度化の処理を行う。

仮拡大部（１０２）では、例えば３次畳込み内挿法（高木、下田監修「画像解析ハンド
ブック」東京大学出版会、ｐ．４４３参照）を用いて低解像度の画像データから出力する
解像度に変換される。つまり画素数が増えて拡大され、仮拡大画像データとしてメモリ２
（１０６）に送られる。

ここで低解像画像の画素と高解像度画像の画素の相対的な位置関係を図２に示す。図２
において低解像度画像の画素を黒丸、高解像度画像の画素位置を白丸で示す。ここでは一
例として縦横２倍に拡大する場合の例である。

仮拡大部（１０２）における処理は、低解像度画像の画素（黒丸）の画素値が与えられ
、それを元にして高解像度画像の画素（白丸）の画素値を計算する。３次畳込み内挿法で
は、各高解像度画像の画素の周囲にある１６個の低解像度画像の画素値の加重平均をその
高解像度画像の画素値とする。加重平均の重みは高解像度画像の画素と各低解像度画像の
画素の距離に応じて決める。なお、この仮拡大処理における仮拡大画像データは、まだ鮮
鋭なものではない。

対応点検出部（１０３）では、低解像度画像において、画素ごとに対応点を検出する。
ここで対応点とは、注目している画素を中心とした周囲の画素値パターンとその対応点を
中心とした画素値パターンが同じであるような点（位置）のことをいう。

一般の画像では被写体の輪郭にそって同じ画像パターンが連続して存在する。図３に、
低解像度画像の画素３０１に注目し、これの対応点を４つ検出した様子を示す。この検出
のためには、例えば注目画素（Ａ）を中心にして３×３画素のテンプレートブロックを設
定し、次に、その１ライン上のいずれかの画素を中心に３×３画素の参照ブロックを設定
し、テンプレートブロックと参照ブロックの対応する画素の輝度値の誤差を計算する。参
照ブロックを左右に移動しながらそれぞれ誤差を計算し、誤差が最小になる参照ブロック
の位置を求める。誤差が最小になった位置を中心にして、左右の方向にパラボラフィティ
ング、あるいは等角フィッティング（非特許文献２参照）を用いて、このライン上におい
て対応点の位置を小数精度、即ちサブピクセル単位で求める。ここでサブピクセル単位と
は、２次元平面の横座標、縦座標とも整数の位置に画素を配置したときに小数の単位とな
る、つまり画素と画素の間隔よりも細かい単位のことをいう。同様にして注目画素の２つ
上のラインでも対応点を一つ検出する。１ライン下、２ライン下についても同様にそれぞ
れ対応点を検出する。このようにして検出した対応点の位置はメモリ３（１０７）に送ら
れて記憶される。図４に、メモリ３（１０７）に記憶される内容を示す。このように、同
じ位置の注目画素について複数の対応点が、その位置座標としてそれぞれ記憶される。

画像変換部（１０５）では、低解像度画像データと、メモリ３（１０７）から読み出し
た低解像度画像の画素ごとの対応点の位置を用いて、メモリ２（１０６）から読み出した
拡大画像データの各画素の画素値を逐次的に変換し、高解像度画像の画素値を算出する。
これによって、低解像度画像は次第に鮮鋭化していく。

対応点は低解像度画像内の位置で求めているのでまず、それを高解像度画像内の位置に
換算する。低解像度画像の画素の位置で高解像度画像を標本化した場合の輝度値がその低
解像度画像の各画素値である。本実施形態においては高解像度化法では、それに加えて、
高解像度画像を対応点の位置で標本化した場合の輝度値が注目画素の画素値と等しいと仮
定する。

具体的には、高解像度画像の画素値として、はじめは仮拡大画像データの画素値が設定
されている。その画素値を用いて、対応点の位置での標本値ｚを計算する。標本化には予
め定める点拡がり関数と呼ばれる、高解像度画像の画素値を加重平均する関数を用いる。
重み係数は、対応点からの各画素への距離に応じて決める。

次に標本値ｚと、注目画素の画素値ｙの差分を計算する。この注目画素はその対応点を
設定する際に用いたものである。ｚとｙの差分がゼロのときには何もせずに次の対応点の
処理に移る。ｚとｙの差分がゼロ以外のときには、その差分が小さくなるように、標本化
に用いた高解像度画像の画素値を加減算する。例えば、ｚ−ｙが正の場合には、その差分
値に所定の係数を乗じ、さらに標本化の際に用いた重み係数を乗じた値を画素値から減じ
る。あるいはｚ−ｙが負のときには、同様にして求めた値を画素値に加える。この加減算
を対応点毎、注目画素毎に全て行うことを画像変換と呼び、画像変換部（１０５）によっ
て変換された画像データは、変換の度にメモリ２（１０６）に保持される。この画像変換
を所定の回数再帰的に行うと、はじめの仮拡大画像ではぼやけたり、折り返し歪があった
りする状態から、次第に鮮鋭になり折り返し歪も減少していく。画像変換を所定の回数施
した結果の高解像度画像が、出力高解像度画像データとして出力される。

ここまでの構成を図５に別に示した。

さらに歪を削減するために本実施形態では歪判定部１０４を有する。歪判定部１０４で
は、画像変換の回数が少ない段階での高解像度画像データが歪判定部１０４に送られ、高
解像度画像データにおいて歪が生じている部分を判定し、その歪判定結果をメモリ３（１
０７）に送る。歪度が大きいと判断された部分（判定部分）にある対応点をそれ以降の画
像変換では用いないようにする。歪度の判定方法については後述する。

本実施形態によれば、複数フレーム劣化逆変換法のように動きを検出する必要はなく、
フレーム内の狭い範囲で対応点を探索すればよい。フレーム間の動き検出に比較して、フ
レーム内の対応点検出は誤検出が少なく、歪の少ない鮮鋭な出力画像が得られる。

図５に本実施形態による高解像度化方法のフローチャートを示す。

低解像度の画像データを画像ソースから取得し、取得した画像データよりも画素数の多
い仮高解像度画像の画素値を算出する仮高解像度画像を生成する（Ｓ５０１）。入力され
た低解像度画像が３次畳み込み内挿法、バイキュービック内挿法、双一次内挿法、最近傍
内挿法などのいずれかで仮拡大画像に変換する。

次に、画像データの画素を１つずつ注目画素として設定し、注目画素の少なくとも１以
上の対応点を小数精度で算出する（Ｓ５０２）。例えば、低解像度画像において、その画
素ごとに対応点を同じ低解像度画像の画面内から検出する。

次に低解像度画像の画像変換を所定の回数行う（Ｓ５０３）。ステップ５０１で生成さ
れた仮高解像度画像に対して、低解像度画像の画素値と、対応点の位置の情報を用いて画
像変換が所定の回数反復する。

次に変換後の画像の歪度を判定する（Ｓ５０４）。歪度の判定によって画像変換に用い
る対応点を取捨する。歪度が大きいと判定された部分（判定部分）は判定部分以外の画像
データの処理回数より少ない回数で算出してもよい。

歪度判定によって判定された対応点によって画像変換を再度行い、高解像度画像データ
として出力する（Ｓ５０５）。

（歪度の判定方法）
所定の回数画像変換した高解像度画像における歪度判定方法について以下により詳しく
説明する。

歪度の判定方法としては、例えば、３次畳込み内挿法で生成した仮拡大画像データと、
それを１回変換した画像の画素ごとの差分を求め、その差分が閾値よりも大きい場合に歪
があると判定する。画像変換実験の結果を図６〜１２に示す。図６が正解画像で、これを
一度縮小し、３次畳込み内挿法で拡大したものが図７である。図７を仮拡大画像として、
１回画像変換を行った結果が図８、図９が４回、図１０が１６回、それぞれ画像変換した
結果である。このように、変換を繰り返すと、直線の部分は鮮鋭になっていくが、線の曲
がり角などに粒状の歪が生じる。

歪が生じた部分を分かり易く表示するために、図１０と図６の差分がしきい値よりも大
きい画素を黒色にした画像を図１１に示す。図１１には、歪の位置が分かり易いように文
字も灰色で示している。線が交差したり、線が曲がったりする部分に歪が生じていること
が分かる。

一方、図１２に、図８と図７の差分が先とは別のしきい値より大きい画素を黒色にした
図を示す。図１１と図１２を見比べると、黒色の画素の位置は互いに近い。このことから
、図８のように１回変換しただけでは歪は目立たないものの、将来、大きな歪になる予兆
が現れていることが分かる。そして、低解像度画像を拡大する実際の状況では図６に相当
する正解画像は手元にないので、正解画像との差分として歪の位置を正確に判定すること
はできないが、その位置は、図１２のように、変換の前後の差分で推定できるのである。

図１３に画像の波形が変換によって変化する様子を示した。横軸が画素列、縦軸が輝度
などの画素値である。初期状態である仮拡大画像１３０１を太線、１回変換した画像１３
０２を破線、１６回変換した画像１３０３を細かい破線で示す。歪が生じない場合はこの
ように変換によって被写体の輪郭など、ッジ部の輝度の傾きが急峻になり、画像は鮮鋭に
なる。

一方、歪が生じる場合を図１４に示す。エッジと異なる位置にスパイク状に「山」（即
ち歪）が生じ画質が劣化する。

図１５に、図１４の状態における、仮拡大画像１５０１と１回変換画像１５０２の差分
１５０３を示す。エッジ部では緩やかな「丘」と「くぼみ」となり、平坦部では多くの部
分で差分は０に近いが、歪の部分はスパイク状の「山」が差分に現れる。従って、差分画
像にメディアンフィルタを施したときの画素値の変化量が所定値よりも大きい画素として
これを検出できる。

歪が生じたときの、他の例を図１５と同様に差分値で図１６と図１７に示す。差分が所
定値よりも大きな部分として、図１６のような歪は検出できる。また、隣接する画素で差
分が急に正負反転する部分として、図１７のような歪は検出できる。

歪があると判定された画素と対応点の位置関係の例を図１８に示す。

図１８には低解像度画像の画素及び高解像度画像の画素の位置関係は既に図２に示した
とおりである。また、図３に示した低解像度画像における注目画素（Ａ）とその４つの対
応点も×印で図１８に示す。

例えば高解像度画像の画素１８０１が歪ありと判定された場合、その一定の範囲１８０
２内にある対応点１８０３、１８０４、１８０５（この図では、注目画像Ａの対応点を×
印、注目画素Ｂの対応点を＋印でそれぞれ示した）を画像変換に用いないようにする。あ
るいはさらに、ある注目画素の対応点が一つでも歪ありと判定された場合には、その注目
画素自体がノイズの可能性があるので、その対応点は全て画像変換に用いないようにして
もよい。

図１９に、対応点ごとにその信頼度をメモリ３（１０７）に保持する例を示す。信頼度
は、対応点を検出したときは全て１．０に設定しておく。歪があると判定された場合に、
図１９の上から６個目の対応点のようにその信頼度を１．０から０．０に下げる。画像変
換の際には、メモリ３（１０７）にある信頼度を対応点ごとに確認し、信頼度が１．０の
ものだけを用いて画像変換を行う。これにより、歪の発生を回避できる。歪度判定の後に
は、再度、仮拡大画像から画像変換をやり直してもいいし、歪判定に用いた画像から画像
変換を再開してもいい。

また歪度判定では、仮拡大画像と１回変換した画像を比較してもいいし、仮拡大画像と
Ｎ回（Ｎは２以上）変換した画像を比較してもいい、また、Ｍ回（Ｍは１以上）変換した
画像とＭ＋ａ回（ａは１以上）変換した画像を比較してもいい。

各対応点の信頼度としては、０．０と１．０の中間値を設ける方法もある。例えば、そ
の歪ありと判定された高解像度画像の画素での仮拡大画像と変換画像の差分の絶対値Ｌに
対して、対応点の信頼度Ｄを

Ｄ＝ＭＡＸ（１．０−ｎ・Ｌ，０．０）

で決める。ここで、ｎは調整用のパラメータ、ＭＡＸ（＊，＊）は、括弧内の数値の最大
値を選択する関数である。そして、その後の画像変換において、高解像度画像の画素値に
加減算する値に対応点のＤを乗じる。これにより信頼度の低い対応点の影響を小さくでき
る。

（歪度判定によって対応点を画像変換に用いない場合）
図２０に仮拡大画像とＮ回（Ｎは１以上）変換した画像を比較して歪判定を行う実施例
を示す。図１と同じ部分の説明は省略する。

仮拡大画像データ１０２はメモリ２（１０６）とメモリ４（２００６）に送られ記憶さ
れる。画像変換の際には、メモリ４（２００６）から画像データが読み出され、画像変換
部１０５で画像変換が１回行われる。変換された画像データでメモリ４（２００６）の画
像データが上書きされる。

予め定めたＮ回の変換が終わったときに、メモリ４（２００６）にある画像データが減
算部（２０１０）に送られる。一方、メモリ２（１０６）に保持されている仮拡大画像デ
ータ読み出され、減算部（１９１０）に送られる。減算部（２０１０）では、Ｎ回変換さ
れた画像データと仮拡大画像データの対応する画素同士で減算を行い、その差分データが
判定部（２００４）に送られる。判定部（２０１０）では送られた差分データを用いて、
画素毎に差分の絶対値と所定値の閾値を比較する。絶対値が所定の閾値よりも大きいとき
に歪ありと判定する。判定部（２０１０）のより判定された歪判定結果はメモリ３（１０
８）に送られ、歪の近くにある対応点はそれ以降の画像変換には用いないようにする。

（変換画像と仮拡大画像を用いて出力画像とする場合）
図２１に、変換画像と仮拡大画像をブレンドして出力画像とする実施例を示す。ここで
ブレンドとは、変換画像の画素値をＡ、仮拡大画像の画素値をＢとして、下式のように、
重みαで平均したものを出力画像の画素値Ｙとすることである。

Ｙ＝α・Ａ＋（１−α）・Ｂ

Ｎ回の変換が終わったときに、判定部（２１０４）では、減算部（２１１０）で算出さ
れた差分データを用いて、高解像度画像の画素毎に歪の程度を判定し、歪の程度が大きい
ほどその画素の信頼度を小さく、歪の程度が小さいほど信頼度を大きくする。例えば、差
分の絶対値Ｌがしきい値Ｔよりも小さい場合は常に信頼度Ｃを１．０とし、大きい場合は
しきい値との差に応じて下式のように信頼度を決める。

Ｌ＜Ｔのとき、Ｃ＝１．０
それ以外のとき、Ｃ＝ＭＡＸ（１．０−ｍ・（Ｌ−Ｔ），０．０）
ここで、ｍは調整用のパラメータ、ＭＡＸ（＊，＊）は、括弧内の数値の最大値を選択す
る関数である。このようにすることで０．０〜１．０の信頼度が画素毎に決まり、メモリ
５（２１１１）に送られ記憶される。

その後、画像変換が所定の回数行われる。画像を出力する際には、仮拡大画像（１０２
）と変換画像（１０５）と信頼度がブレンド部（２１２０）に送られる。

ブレンド部（２１２０）では、信頼度をαとして先のブレンドの計算を行い、Ｙをその
画素値として出力画像を生成し出力する。このようにすることで、信頼度が高いときには
変換画像の画素値の影響が大きく、信頼度が低いときには仮拡大画像の影響が大きくなる
。つまり、変換画像に歪が生じた部分では仮拡大画像の画素値の影響が大きくなり、歪が
そのまま出力されることを防げる。

これの特殊な例として、Ｃを
｜Ｚ｜＜Ｔのとき、Ｃ＝１．０
それ以外のとき、Ｃ＝０．０
としても、仮拡大画像か変換画像のいずれかを画素毎に選択でき、歪の出力を防げる。こ
のように信頼度を単純に２段階にすると、多段階の場合よりも画質が若干悪くなることが
あるが、Ｃのためのビット数は１ビットで済むのでメモリ量を節約できる。

図２２に、変換画像と仮拡大画像をブレンドして出力画像とするフローチャートを示す
。

ステップ２２０１（Ｓ２２０１）、ステップ２２０２（Ｓ２２０２）、ステップ２２０
３（Ｓ２２０３）は、それぞれ、図５を用いて説明したステップ５０１（Ｓ５０１）、ス
テップ５０２（Ｓ５０２）、ステップ５０３（Ｓ５０３）と同じなので説明を省略する。

ステップ２２０４（Ｓ２２０４）では、画像変換された高解像度画像に対して歪の程度
を判定し、その信頼度を決定する。

ステップ２２０５（Ｓ２２０５）では、再度、画像変換を所定の回数行う。

ステップ２２０６（Ｓ２２０６）では、変換画像と仮拡大画像を画素ごとの信頼度に応
じてブレンドし、その結果を出力する。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要
旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示され
ている複数の構成要素の適宜な組み合わせにより、多くの発明を形成できる。例えば、実
施形態に示される全構成要素からいくつかの構成要素を削除しても良い。さらに、異なる
実施形態にわたる構成要素を適宜組み合わせても良い。

本実施形態に係るブロック図。 画像変換に用いる画素と高解像度化した画像の画素の例を示す図。 画像変換に用いる注目画素と対応点の例を示す図。 注目画素と対応点の位置関係の例。 本実施形態における高解像度化方法を示す図。 鮮鋭な画像の例（正解の図）。 仮拡大した仮高解像度画像の例。 画像変換後の画像例。 画像変換後の画像例。 画像変換後の画像例。 画像変換後の画像と鮮鋭な画像との差分を示す図。 画像変換後の画像と鮮鋭な画像との差分を示す図。 変換による画像の波形変化示す図。 変換による画像の波形変化示す図。 変換による画像の波形変化示す図。 変換による画像の波形変化示す図。 変換による画像の波形変化示す図。 低解像度画像と高解像度画像の画素の位置関係を示す図。 注目画素と対応点の位置関係の例。 本実施形態における高解像度化装置を示す図。 本実施形態における高解像度化装置を示す図。 本実施形態における高解像度化方法を示す図。

符号の説明

１０１、１０６、１０７、２００６、２１１１・・・メモリ、
１０２・・・拡大部、１０３・・・対応点検出部、１０４・・・歪判定部、１０５・・・
画像変換部、
３０１・・・注目画素Ａ
１３０１、１５０１・・・仮拡大画像（初期状態）、１３０２、１５０２・・・画像変換
後の画像（変換１回）、１３０３、１５０３・・画像変換後の画像（変換１６回）
１８０１・・・高解像度画像の画素、１８０２・・・所定の範囲、１８０３、１８０４、
１８０５・・・対応点
２００４、２１０４・・・判定部、２０１０、２１１０・・・ 減算部、
２１２０・・・ブレンド部、

Claims (9)

1. 画素ごとに与えられる画素値の集まりを画像として画像ソースから取得する取得手段と
   、
   前記画像に含まれる１つ以上のフレームにおける複数の画素を１つずつ注目画素として
   設定する第１の設定手段と、
   前記注目画素が設定されたフレームに含まれる画素数よりも多い画素数である仮高解像
   度画像の画素値を仮高解像度画素値として算出する仮高解像度画素値算出手段と、
   前記注目画素の少なくとも１以上の対応点を小数精度で算出する対応点算出手段と、
   前記注目画素の画素値と前記対応点の画素値との誤差に応じて高解像度の画素値を算出
   する第１の画素値算出手段と、
   前記第１の画素値算出手段による画素値算出処理をＮ（Ｎ＞０）回行った後の画像を基
   にした画像の歪度を判定する歪判定手段と、
   前記歪度判定手段によって歪度が大きいと判定された判定部分は前記画素値算出処理の
   回数を前記判定部分以外の部分の画素算出処理回数より少なくする第２の画素値算出手段
   と
   を有することを特徴とする高解像度化装置。
2. 前記歪判定手段によって判定された判定部分を除いた部分について所定の回数画素値算
   出処理を行う第３の画素値算出処理と、
   前記第２の画素値算出手段及び第３の画素値算出手段によって算出された画素値をもと
   に高解像度画像を出力する出力手段とを更に有することを特徴とする請求項１記載の高解
   像度化装置。
3. 前記対応点の信頼度を算出する信頼度算出手段を更に有し、
   前記判定部分の信頼度は画像における判定部分以外の領域の信頼度よりも小さな値に設
   定することを特徴とする請求項１あるいは２記載の高解像度化装置。
4. 前記信頼度算出手段によって算出された信頼度が所定の値よりも小さい場合には前記第
   ２の画素値算出手段による画素値算出を行わないことを特徴とする請求項３記載の高解像
   度化装置。
5. 前記仮高解像度画素値と前記第１の画素値算出手段によって算出される画素値の差分を
   算出する減算手段を更に有し、
   前記歪度判定手段は前記画素値の差分が所定の値より大きい場合に歪度が大きいと判定
   する判定手段であることを特徴とする請求項３記載の高解像度化装置。
6. 前記判定部分は前記第２の画素値算出手段による画素値算出を行わないことを特徴とす
   る請求項５記載の高解像度化装置。
7. 前記第２の画素算出手段よりも前記第３の画素算出手段において算出された画素値の重
   み大きくし、
   前記第２の画素値算出手段及び前記第３の画素値算出手段によって算出された画素値を
   前記重み付けにそって加重平均した値を前記高解像度画像として出力することを特徴とす
   る請求項２記載の高解像度化装置。
8. 前記取得手段は、前記画像として、複数のフレームからなる動画像を取得し、
   前記第１の設定手段は、前記複数のフレームのうちの１枚のフレームから注目画素を設
   定し、
   前記対応点算出手段は、前記注目画素を設定したフレームから対応点を算出することを
   特徴とする請求項１乃至７に記載の解像度変換装置。
9. 画素ごとに与えられる画素値の集まりを画像として画像ソースから取得し、
   前記画像に含まれる１つ以上のフレームにおける複数の画素を１つずつ注目画素として
   設定し、
   前記注目画素が設定されたフレームに含まれる画素数よりも多い画素数である仮高解像
   度画像の画素値を仮高解像度画素値として算出し、
   前記注目画素の少なくとも１以上の対応点を小数精度で算出し、
   前記注目画素の画素値と前記対応点の画素値との誤差に応じて高解像度の画素値を算出
   し、
   前記第１の画素値算出手段による画素値算出処理をＮ（Ｎ＞０）回行った後の画像を基
   にした画像の歪度を判定し、
   前記歪度判定手段によって歪度が大きいと判定された判定部分は前記画素値算出処理の
   回数を前記判定部分以外の部分の画素算出処理回数より少なくする高解像度化方法。

Images