JP2009225253A - 画像処理装置及びその方法 - Google Patents

Abstract

【課題】生成される高解像度画像の画質最適化を達成することができる画像処理装置を提供する。
【解決手段】対応点検出部１０１、更新回数設定部１０２、高解像度画像初期値算出部１０３、高解像度画像更新部１０４を備え、動画像の参照フレームの各画素に対して基準フレーム上の対応位置を任意の探索範囲から小数精度で算出し、対応位置を算出する際に採用された対応点検出方法毎に参照フレームの画素単位で更新回数を設定し、高解像度画像の各画素値から推定される参照フレームの注目画素の画素値と実際の前記注目画素の画素値との差分が小さくなるように高解像度画像の各画素値を更新する更新処理を設定された回数だけ行う。
【選択図】 図１

Description

本発明は、カメラで撮影された画像データ、コンピュータにより生成された画像データ、テレビが受信した画像データなどをより高い解像度の画像データに変換する画像処理装置及びその方法に関する。

画像表示装置の高解像度化が進み、画像の細かい部分をより鮮明に表示することが可能になってきている。しかしながら、表示される画像データが表示装置と同等以上の解像度の情報を持っていなければ、表示される画像は実質上は鮮明にはならない。画像データの解像度が表示装置よりも低い場合には、画像データをより解像度の高い画像データに変換する必要がある。この変換処理を、ここでは画像データの「高解像度化」という。低解像度の画像データ（以下、「低解像度画像」という）の画素数は、高解像度の画像データ（以下、「高解像度画像」という）が有する画素数よりも少ないため、高解像度化は画像データの画素数を増やすのと同じである。

高解像度化の方法としては、線形内挿法や３次畳込み法などの内挿方法（例えば、非特許文献３）がよく知られている。しかし、より多くの計算を必要とする再構成型超解像（例えば、特許文献１、非特許文献１参照）の方がより鮮鋭な高解像度化が可能である。

「再構成型超解像」は、高解像度化の対象となっている低解像度の動画像データ中の画像フレーム（以下、「基準フレーム」という）と同じ被写体が別の低解像度の画像フレーム（以下、「参照フレーム」という）にも写っていることを利用する。

そのため、まず、参照フレーム中の画素が高解像度画像のどの位置に対応しているかを推定する（対応点検出）。なお、鮮明な高解像度画像を生成するためには、対応する位置の検出は画素間隔よりも小さな精度で行われる（例えば、非特許文献２参照）。

次に、参照フレーム中の画素値を利用して、対応づけられた位置付近の高解像度画像の画素値を算出する。

再構成型超解像では一般に、低解像度画像中の画素値と、高解像度画像中の画素値との関係をモデル化し、このモデルとの誤差が小さい高解像度画像を生成する。小さな誤差を与える高解像度画像を生成するためには、暫定的な高解像度画像をより誤差の小さな高解像度画像に逐次的に更新する繰り返し処理を用いることが多い（例えば、非特許文献１参照）。高解像度画像の更新処理の繰り返し回数は予め決めておくか、または、所望の規準（例えば、画素値の更新が十分小さくなる、または、モデルとの誤差が十分小さくなる、など）に達するまで行われる。

一つの基準フレームの高解像度化が終了すると、低解像の動画像データ中の別のフレームを次の基準フレームとして処理を続け、最終的に必要な高解像度の動画像データを得る。
特開２０００−１８８６８０公報（第３−７頁、図２２） S. C. Park, M. K. Park and M. G. Kang, 「Super-Resolution Image Reconstruction: A Technical Overview,」 IEEE Signal Processing Magazine, USA, IEEE, May 2003, p.21-36 清水，奥富，「画像のマッチングにおけるサブピクセル推定の意味と性質」電子情報通信学会論文誌D-II，電子情報通信学会，２００２年１２月，第８５巻，第１２号，ｐ．１７９１−１８００ 高木、下田監修「画像解析ハンドブック」東京大学出版会

上記の再構成型超解像で用いられる高解像度画像の更新処理では、対応点検出に誤差がないことが仮定されている。しかし実際には誤差があるため、高解像度画像の更新処理は繰り返し回数を多くすれば高解像度画像の画質が向上するとは限らない。例えば、対応点検出精度が悪い場合には、その対応点と関連した高解像度画像の更新処理の繰り返し回数は少ない方が良い。

ところが従来は、高解像度画像の更新処理の繰り返し回数は、どの画素に対しても同じであったため、高解像度画像全体での画質最適化ができないという問題点があった。

そこで、本発明は上記問題点に鑑み、生成される高解像度画像の画質最適化を達成することができる画像処理装置及びその方法を提供する。

本発明は、動画像中の一枚の基準フレームと一枚以上の参照フレームから、前記動画像の画素数よりも画素数の多い高解像度画像を生成する画像処理装置において、前記参照フレームの各画素に対して、前記基準フレーム上の対応位置を任意の探索範囲から算出する複数の対応点検出方法を記憶する第１記憶部と、前記記憶した複数の対応点検出方法のそれぞれに対応して、前記基準フレームから前記高解像度画像の各画素の推定画素値を推定する回数である更新回数を記憶する第２記憶部と、前記各対応点検出方法によって、前記参照フレームの前記各画素に対して、前記基準フレーム上の前記対応位置を前記探索範囲から求めると共に、前記基準フレーム上の前記対応位置から前記高解像度画像の対応位置を求める対応位置検出部と、前記参照フレームと前記基準フレームの前記対応位置が得られた前記対応点検出方法に対応する前記更新回数を、前記参照フレームの前記画素毎に前記第２記憶部から呼び出す呼び出し部と、前記参照フレームの前記各画素を注目画素に順次設定し、前記注目画素に対応した位置の周囲にある前記高解像度画像の前記各画素の前記推定画素値から求めた前記注目画素の試算画素値と、前記注目画素の画素値との差分が小さくなるように、前記高解像度画像の前記各推定画素値を補正して更新する処理を、前記更新回数だけ行う更新処理部と、前記更新回数だけ更新した前記推定画素値を有する複数の画素から前記高解像度画像を構成して出力する出力部と、を有する画像処理装置である。

また、本発明は、動画像中の一枚の基準フレームと一枚以上の参照フレームから、前記動画像の画素数よりも画素数の多い高解像度画像を生成する画像処理装置において、前記参照フレームの各画素に対して、前記基準フレーム上の対応位置を任意の探索範囲から算出して対応位置を求めると共に、前記基準フレーム上の前記対応位置から前記高解像度画像の対応位置を求める対応位置検出部と、前記参照フレームと前記基準フレームとのフレーム間隔数に対応して、前記基準フレームから前記高解像度画像の各画素の推定画素値を推定する回数である更新回数を記憶する第３記憶部と、前記参照フレームと前記基準フレームとの前記フレーム間隔数に対応する前記更新回数を、前記参照フレームの前記画素毎に前記第３記憶部から呼び出す呼び出し部と、前記参照フレームの前記各画素を注目画素に順次設定し、前記注目画素に対応した位置の周囲にある前記高解像度画像の前記各画素の前記推定画素値から求めた前記注目画素の試算画素値と、前記注目画素の画素値との差分が小さくなるように、前記高解像度画像の前記各推定画素値を補正して更新する処理を、前記更新回数だけ行う更新処理部と、前記更新回数だけ更新した前記推定画素値を有する複数の画素から前記高解像度画像を構成して出力する出力部と、を有する画像処理装置である。

また、本発明は、動画像中の一枚の基準フレームと一枚以上の参照フレームから、前記動画像の画素数よりも画素数の多い高解像度画像を生成する画像処理装置において、前記参照フレームの各画素に対して、前記基準フレーム上の対応位置を任意の探索範囲から算出して対応位置を求めると共に、前記基準フレーム上の前記対応位置から前記高解像度画像の対応位置を求める対応位置検出部と、前記参照フレームと前記基準フレームとの前記対応位置を求めたときの信頼度に対応して、前記基準フレームから前記高解像度画像の各画素の推定画素値を推定する回数である更新回数を記憶する第４記憶部と、前記参照フレームと前記基準フレームとの前記対応位置を求めたときの前記信頼度を算出し、前記信頼度に対応する前記更新回数を、前記参照フレームの前記画素毎に前記第４記憶部から呼び出す呼び出し部と、前記参照フレームの前記各画素を注目画素に順次設定し、前記注目画素に対応した位置の周囲にある前記高解像度画像の前記各画素の前記推定画素値から求めた前記注目画素の試算画素値と、前記注目画素の画素値との差分が小さくなるように、前記高解像度画像の前記各推定画素値を補正して更新する処理を、前記更新回数だけ行う更新処理部と、前記更新回数だけ更新した前記推定画素値を有する複数の画素から前記高解像度画像を構成して出力する出力部と、を有する画像処理装置である。

本発明によれば、高解像度画像の部分領域毎に適切な高解像度画像の更新処理繰り返し回数が設定できるため、高解像度画像全体での画質最適化が行える。

以下、本発明の一実施形態に係る画像処理装置１００について図面を参照しながら説明する。

（第１の実施形態）
以下、本発明の第１の実施形態の画像処理装置１００について図１〜図５に基づいて説明する。

（１）画像処理装置１００の構成
図１は、本実施形態の画像処理装置１００の構成を説明するブロック図である。

画像処理装置１００は、対応点検出部１０１、更新回数決定部１０２、高解像度画像初期値算出部１０３、高解像度画像更新部１０４から構成される。

各部１０１〜１０４の機能は、コンピュータに格納されたプログラムによっても実現できる。

以下、これらの構成要素の動作と入出力データについて順番に説明する。

（２）入力データ
画像処理装置１００の入力データは、低解像度のデジタル動画像データ１０５である。処理対象がアナログの動画像データである場合には、画像処理装置１００に入力する前にアナログ−デジタル変換を行っておく必要がある。

低解像度のデジタル動画像データ１０５は少なくとも高解像度化の対象となっている画像フレーム（基準フレーム）を含み、さらに基準フレーム周辺の画像フレーム（参照フレーム）を１つ以上含んでいる。図２は基準フレームと参照フレームの例である。この例では、基準フレーム２００と、基準フレーム２００の前後２フレームずつの５フレームを参照フレーム２０１として選んでいる。

このように基準フレームを参照フレームとすることができるが、基準フレームを参照フレームとして選択しなくても良い。

また、参照フレームとして基準フレーム２００の前後の枚数を非対称に選んでも良いし、前後のどちらかだけを参照フレームとしても、また、連続したフレームではなく離れたフレームを選択しても良い。

入力された低解像度の動画像データ１０５は、対応点検出部１０１及び高解像度画像初期値算出部１０３に入力される。

（３）対応点検出部１０１
対応点検出部１０１では、参照フレームの各画素が、これから生成する高解像度画像２０２のどの位置に対応しているかを検出する処理を行う。図３は、複数の対応点検出方法が利用可能である場合の処理の流れを説明するフローチャートである。

（３−１）ステップＳ３０１
ステップＳ３０１は初期化処理であり、対応点検出方法を特定する変数ｉに１をセットし、ｉの最大値を変数ｉ_ｍａｘにセットする。すなわち、対応点検出部１０１で使用可能な対応点検出方法の数を変数ｉ_ｍａｘにセットする。

次に、参照フレームの各画素に対して未検出を示すラベル「ｎｏｔｓｅｔ」を付ける。

対応点検出方法としては様々な方法が適用可能であるが、例えばｉ＝１に対応する方法として非特許文献４（J. Xiao and M． Shah， 「Motion Layer Extraction in the Presence of Occlusion Using Graph Cuts,」 IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol．27， No.10， pp.1644-1659,2005）で説明されているような動きによる領域分割を用いた動き推定方法（以下、本願では「剛体分割推定方法」という）を、ｉ＝２に対応する方法としてサブピクセル精度（画素間隔よりも小さな精度）のブロックマッチング方法（例えば、非特許文献２）を用いる。

（３−２）ステップＳ３０２
ステップＳ３０２では、基準フレーム自身が参照フレームとなっている場合に、その参照フレーム中の対応点を算出し、その画素のラベルを「ｂａｓｅ」に設定する。

基準フレーム自身が参照フレームである場合、基準フレームの各画素の基準フレーム上の対応点はその画素自身の位置であるため、単純な座標変換により簡単に高解像度画像上の座標値に変換することができる。基準フレーム自身が参照フレームとなっていない場合にはステップＳ３０２では何も処理を行わない。

（３−３）ステップＳ３０３
ステップＳ３０３では、「ｎｏｔｓｅｔ」のラベルを持つ参照フレームの全ての画素に対して、ｉ番目の対応点検出方法により対応点を検出する。

そのために、まず参照フレームの各画素が基準フレームのどの位置に対応しているかを検出し、その位置を高解像度画像の位置に変換する。

例えば、高解像度画像の画素数が縦横とも低解像度画像の画素数の３倍であり、対応位置が基準フレームの（１２．３，４５．６）である場合には、高解像度画像上での対応位置は各座標を３倍した（３６．９，１３６．８）になる。但し、低解像度画像上の原点が高解像度画像上の原点に対応しており、横軸と縦軸方向も共通であると仮定している。

なお、ｉ番目の対応点検出方法により対応点を検出する場合に、必ずしも全ての画素で対応点が見つかるとは限らない。例えば、参照フレーム中には見えていた被写体の一部分が基準フレーム中では隠れてしまったり、基準フレーム外に出てしまったりした場合には対応点を見つけることができない。また、剛体分割推定方法のように画像を同じ動きを有する剛体に分割しながらその剛体の動きを推定することで各画素の対応点を見つけるような方法では、剛体で近似できない動きをしている画像領域は対応付けができない。

（３−４）ステップＳ３０４
ステップＳ３０４では、ステップＳ３０３で対応点が検出できた参照フレームの画素のラベルを、未検出を示すラベル「ｎｏｔｓｅｔ」から方法ｉに対応したラベル「ｉ」に変更する。

例えば、ｉ＝１の時のラベルは「１」、ｉ＝２の時のラベルは「２」となる。

（３−５）ステップＳ３０５
ステップＳ３０５は分岐処理であり、変数ｉの値が変数ｉ_ｍａｘと等しいかどうかを調べ、等しければ処理を終了し、等しくなければ処理をステップＳ３０６に進める。

（３−６）ステップＳ３０６
ステップＳ３０６は、単に変数ｉを１だけ増加させるインクリメント処理である。

（３−７）処理のメリット
ｉ＝１に対応する方法として剛体分割推定方法を、ｉ＝２に対応する方法としてブロックマッチング方法を用いた場合に、図３で説明する処理を行うメリットについて説明する。

剛体分割推定方法のように、画像を同じ動きを有する剛体に分割しながらその剛体の動きを推定する方法は、広い範囲の画素値を利用して画素の対応点を検出するため、ノイズに強く、対応点検出の精度が高い。

その一方で、剛体で近似できない動きをしている画像領域は対応点の検出ができない。この方法をまずｉ＝１のときのステップＳ３０３で行うことにより、画像中で剛体と仮定できる領域の対応点を高精度に検出する。

剛体と仮定できない領域は、ｉ＝２のときのステップＳ３０３でブロックマッチング方法により対応点が検出される。このときブロックサイズを小さくすることにより、非剛体の動きに対しても対応点を検出することができる。

但し、これら二つの方法を用いても、隠蔽や画像外への移動により最終的に対応点が検出できない画素が残ることがある。

（３−８）対応データ１０６
対応点検出部１０１の最終的な出力は、対応点検出部出力データ（以下、単に「対応データ」という）１０６である。この対応データ１０６は、低解像度のデジタル動画像データ１０５に対応点検出結果を追加したデータである。

対応点検出結果は、参照フレーム中の各画素の対応位置とラベルから成る。ラベルは対応点が検出できたか否か、また、できた場合にはどのような対応点検出方法で検出されたかの情報である。対応点が検出された場合には、対応点の座標が対応位置として出力される。

なお、対応点検出ができなかった画素については、対応データ１０６に含めなくても良い。

（４）更新回数設定部１０２
更新回数設定部１０２は、対応データ１０６を受け取り、参照フレーム中の画素毎に、後で行われる高解像度画像更新処理（以下、単に「更新処理」という）の更新回数を設定する処理を行う。

具体的には、対応点検出に用いられる対応点検出方法毎に適切な更新処理の更新回数を予め決めておき、対応データ１０６に含まれるラベルを参照し、用いられた対応点検出方法に対応する更新処理の更新回数を参照フレーム中の画素毎に設定する。

例えば、第１対応点検出方法なら２０回、第２対応点検出方法なら１０回、第３対応点検出方法なら５回のように設定する。

基準フレームが参照フレームとなっている場合（Ｓ３０２でラベルが「ｂａｓｅ」にセットされた場合）には、これらとは別に決められた更新回数を設定して良い。

更新回数決定部１０２の出力は、更新回数決定部出力データ（以下、単に「更新回数データ」という）１０７であり、この更新回数データ１０７は対応データ１０６に、参照フレーム及び基準フレームの各画素の更新処理の更新回数のデータを追加したデータである。

（５）高解像度画像初期値算出部１０３
高解像度画像初期値算出部１０３は、高解像度画像の初期値を算出する。

初期値としては、高解像度画像全ての画素値を同じ値（例えば０）に設定するのが最も簡単であるが、この場合には高解像度画像更新部１０４での処理量が多くなるという問題点がある。

そのため、一般には入力された低解像度のデジタル動画像データ１０５に含まれる基準フレームに対して線形内挿法や３次畳込み法などの内挿処理（例えば、非特許文献３参照）を行い、基準フレームに含まれる画素数よりも多い画素数の高解像度化画像を算出し、これを高解像度画像の初期値１０８として出力する。

（６）高解像度画像更新部１０４
高解像度画像更新部１０４は、更新回数データ１０７を利用して、高解像度画像の初期値１０８を繰り返し更新する。図４は、高解像度画像更新部１０４での処理の流れを説明するフローチャートである。

（６−１）ステップＳ４０１
ステップＳ４０１は初期化処理であり、カウンタの値を０にセットし、さらに更新処理の最大更新回数を設定する。

（６−２）ステップＳ４０２
ステップＳ４０２では、参照フレーム中の画素の中からまだ選択されていない画素を１つ選択する。

ここでは、選択された画素はｋ番目の参照フレーム中の位置（ｍ_１，ｍ_２）の画素が選択されたものとする。

（６−３）ステップＳ４０３
ステップＳ４０３は分岐処理であり、ステップＳ４０２で選択された画素に設定された更新回数とカウンタの値を比較し、カウンタの値の方が小さければステップＳ４０４に、そうでなければステップＳ４０５に処理を移す。

（６−４）ステップＳ４０４
ステップＳ４０４では高解像度画像の更新を行う。

この更新は、ステップＳ４０２で選択された注目画素の画素値と、高解像度画像の各推定画素値から求めた前記注目画素の画素値との差分が小さくなるように行われる。すなわち、参照フレームの画素のそれぞれを注目画素に順次設定し、この注目画素に対応する位置の周囲にある高解像度画像の各推定画素値の重み付きの平均値から求めた前記注目画素の試算画素値と、前記注目画素の画素値との差分が小さくなるように、高解像度画像の各推定画素値を補正して、これら補正値を各推定画素値とする。

具体的には、凸射影法、または、ＰＯＣＳ法による高解像度画像の更新方法を用いる。すなわち、

である（例えば、非特許文献１参照）。

ここで、ｘ（ｎ_１，ｎ_２）は、更新前の高解像度画像における座標（ｎ_１，ｎ_２）の推定画素の画素値、ｘ’（ｎ_１，ｎ_２）は更新後の高解像度画像における座標（ｎ_１，ｎ_２）の推定画素の画素値、δ_ｋ（ｍ_１，ｍ_２）は番号ｋの参照フレームにおける座標（ｍ_１，ｍ_２）の注目画素の誤差レベルである。なお、誤差レベルは予め決められた定数としても良いし、画像から推定した値を用いても良い。

ｒ_ｘ（ｍ_１，ｍ_２）は、推定画素の画素値ｘ（ｎ_１，ｎ_２）の誤差の推定値で、

により算出される。

ここで、ｙ_ｘ（ｍ_１，ｍ_２）は番号ｋの参照フレームにおける座標（ｍ_１，ｍ_２）の注目画素の画素値、ｗ_ｘ（ｍ_１，ｍ_２：ｎ_１，ｎ_２）は、ｙ_ｘ（ｍ_１，ｍ_２）がｘ（ｎ_１，ｎ_２）に与える影響の大きさを表す重みであり、撮影時のレンズモデルや高解像度画像から低解像度画像への劣化モデル、及び、対応点検出部１０１で推定された参照フレームの高解像度画像上の対応点座標とから算出される。

例えば、劣化モデルとしてガウス関数によるボケモデルを仮定し、番号ｋの参照フレームにおける座標（ｍ_１，ｍ_２）の注目画素が、高解像度画像の座標ｕ_ｘ（ｍ_１，ｍ_２）に対応している場合、

により算出する。σ、αは定数である。

凸射影法では、

が用いられるが、これを定数倍したり、また、分母を１に置き換えるなど、変形を施しても良い。

ステップＳ４０４の高解像度画像の更新では、この更新を高解像度画像の全ての推定画素に対して行う。すなわち、全てのｎ_１，ｎ_２の値に対してｘ（ｎ_１，ｎ_２）の更新を行う。但し、高解像度画像の画素値が変化しないことが予めわかっている画素（ｎ_１，ｎ_２）に対しては処理を省略しても良い。

（６−５）ステップＳ４０５
ステップＳ４０５は分岐処理であり、参照フレーム中の全ての画素がステップＳ４０２で選択されたかどうかを判定する。

全ての画素が選択された場合にはステップＳ４０６に、そうでない場合にはステップＳ４０２に処理を移す。

（６−６）ステップＳ４０６
ステップＳ４０６は、カウンタの値を１だけ増加させる。

（６−７）ステップＳ４０７
ステップＳ４０７は分岐処理であり、カウンタの値とステップＳ４０１で設定された最大更新回数を比較し、二つの値が等しければ処理を終了、等しくなければ処理をステップＳ４０８に進める。

（６−８）ステップＳ４０８
ステップＳ４０８は参照フレーム中の全ての画素を未選択に設定し、ステップＳ４０２で再び選択されるようにする。

以上の高解像度画像更新部１０４の処理により、高解像度画像は更新回数設定部１０２によって設定された回数だけ更新処理が行われる。

（７）高解像度画像更新部１０４の別の処理
図５は、高解像度画像更新部１０４の別の処理例を説明するフローチャートである。この処理例では、図４で説明される凸射影法ではなく、勾配降下法による最大事後確率（ＭＡＰ）推定を用いて高解像度画像を生成する（例えば、非特許文献１参照）。

（７−１）ステップＳ５０１
ステップＳ５０１は、ステップＳ４０１と同じ初期化処理である。

（７−２）ステップＳ５０２
ステップＳ５０２は、参照フレームの画素から、更新回数設定部１０２によって設定された更新回数がカウンタの値よりも大きな画素を選択する。

（７−３）ステップＳ５０３
ステップＳ５０３では高解像度画像の更新を行う。

この更新は、ステップＳ５０２で選択された画素の画素値と、高解像度画像の各画素値から推定される同画素の画素値との差分が小さくなるように行われる。高解像度画像の更新方法は、

となる。

ここで、β、γは定数、Ω_ｋは番号ｋの参照フレーム中の画素のうちステップＳ５０２で選択された画素の位置の集合である。

また、ｓ_ｘ（ｎ_１，ｎ_２）は

であり、定数ｃ（ｎ_１，ｎ_２：ｐ_１，ｐ_２）は高解像度画像の滑らかさを評価するように定める。

（７−４）ステップＳ５０４
ステップＳ５０４ではカウンタの値を１だけ増加させる。

（７−５）ステップＳ５０５
ステップＳ５０５は分岐処理であり、カウンタの値とステップＳ５０１で設定された最大更新回数を比較し、二つの値が等しければ処理を終了、等しくなければ処理をステップＳ５０２に進める。

以上の高解像度画像更新部１０４の処理により、参照フレームの各画素は更新回数設定部１０２によって設定された回数だけ高解像度画像の更新処理に使用される。

（８）効果
本実施形態の効果は次の通りである。

複数の参照フレームを使用して高解像度画像を生成する場合、対応点検出部１０１で高精度の対応点検出を行うことが必要である。これは、高解像度画像の更新処理（ステップＳ４０４）において、対応点検出の結果が正しいことを仮定しているからである。

対応点検出の誤差が小さければ高解像度画像の更新回数を多くした方が高画質な高解像度画像が得られる。対応点検出の誤差が大きい場合には高解像度画像の更新回数は逆に少ない方が画質良くなる。したがって、高解像度画像全体の画質をよくするためには、対応点検出の精度によって高解像度画像の更新回数を適切に変える必要がある。

一方、対応点検出方法には様々な方法があるが、それぞれに長所・短所があるため、本実施形態で行っているように複数の方法を組み合わせることがある。この場合、用いられた方法によって期待される対応点検出精度が異なる。

したがって、更新回数設定部１０２で対応点検出方法毎に決められた更新回数を参照フレームの画素毎に設定し、その回数だけ更新を行うことによって高解像度画像全体の画質を最適化することが可能となる。

（第２の実施形態）
以下、本発明の第２の実施形態の画像処理装置１００について図１と図６に基づいて説明する。

本実施形態の画像処理装置１００も第１の実施形態と同様に、図１の構成により実施される。第１の実施形態との違いは、対応点検出部１０１と更新回数決定部１０２の処理内容であるので、これらについて以下で説明を行う。

（１）対応点検出部１０１
図６は、本実施形態における対応点検出部１０１の処理の流れを説明するフローチャートである。

（１−１）ステップＳ６０１
ステップＳ６０１は初期化処理であり、参照フレームの各画素に対して未検出を示すラベル「ｎｏｔｓｅｔ」を付ける。

（１−２）ステップＳ６０２
ステップＳ６０２では、全ての画素に対して対応点を検出する。

高解像度画像上の対応位置を検出するには、まず参照フレームの各画素が基準フレームのどの位置に対応しているかを検出する。

このときの対応点検出方法としては様々な方法が適用可能であるが、例えば、剛体分割推定方法や、サブピクセル精度のブロックマッチング方法を用いることができる。

また、基準フレームが参照フレームである場合には、このフレームに限って強制的にその画素自身の位置を対応位置としてしまってもよい。基準フレーム上の対応位置が検出されたら、その位置を高解像度画像の位置に変換する。この変換方法は、ステップＳ３０２及びステップＳ３０３で行う変換方法と同じである。

なお、ステップＳ６０２では、参照フレームの全ての画素で対応点が見つかるとは限らない。

（１−３）ステップＳ６０３
ステップＳ６０３はラベルの値を更新する処理である。

ステップＳ６０２で対応点が検出された画素のラベルを、その画素を有する参照フレームと基準フレームとのフレーム間隔数に設定する。例えば、基準フレームのフレーム番号が１０のとき、参照フレームのフレーム番号が３の場合にはラベルを「７」に、参照フレームのフレーム番号が１２の場合にはラベルを「２」に、参照フレームが基準フレームである場合にはラベルを「０」に設定する。

（２）更新回数設定部１０２
本実施形態での更新回数設定部１０２の動作は次の通りである。

まず、参照フレームと基準フレームのフレーム間隔毎に、適切な更新処理の更新回数を予め決めておく。対応データ１０６が更新回数設定部１０２に入力されると、参照フレームの画素毎に、ラベルを参照して参照フレームと基準フレームのフレーム間隔に対応する更新処理の更新回数を設定する。例えば、フレーム間隔が５なら３回、１なら１０回、０なら１２回のように設定する。対応点が検出できなかった画素（ラベルが「ｎｏｔｓｅｔ」となっている画素）については、更新回数は０とする。

（３）効果
本実施形態の効果は次の通りである。

一般に、対応点検出の精度は参照フレームと基準フレームとの時間差が大きいほど低くなる。これは、時間差が大きいほど撮影された被写体の色や形が変わる可能性が高いからである。既に説明したように、高解像度画像の更新処理（ステップＳ４０４）では対応点検出の結果が正しいことを仮定しているため、対応点の検出精度が低いことが予想される場合には高解像度画像の更新回数を少なくする必要がある。

したがって、更新回数設定部１０２で参照フレームと基準フレームのフレーム間隔数毎に決められた更新回数を参照フレームの画素毎に設定し、その回数だけ更新を行うことによって高解像度画像全体の画質を最適化することが可能となる。

（第３の実施形態）
以下、本発明の第３の実施形態の画像処理装置１００について図１と図７に基づいて説明する。

本実施形態の画像処理装置１００も第１の実施形態と同様に、図１の構成により実施される。第１の実施形態との違いは、対応点検出部１０１と更新回数決定部１０２の処理内容であるので、これらについて以下で説明を行う。

（１）対応点検出部１０１
図７は、本実施形態における対応点検出部１０１の処理の流れを説明するフローチャートである。

（１−１）ステップＳ７０１
ステップＳ７０１は初期化処理であり、参照フレームの各画素に対して未検出を示すラベル「ｎｏｔｓｅｔ」を付ける。

（１−２）ステップＳ７０２
ステップＳ７０２では、全ての画素に対して対応点を検出する。

高解像度画像上の対応位置を検出するには、まず参照フレームの各画素が基準フレームのどの位置に対応しているかを検出する。

このときの対応点検出方法としては様々な方法が適用可能であるが、対応点検出の信頼度を算出可能な方法である必要がある。

例えば、サブピクセル精度のブロックマッチング方法（例えば、非特許文献２）を用いることができる。この場合、対応点検出の信頼度として、ブロックマッチングで使用したブロックの平均二乗誤差や平均絶対値誤差から算出される値（例えば、−１を乗じた値や逆数など）を用いる。

基準フレームが参照フレームである場合には、このフレームに限って強制的にその画素自身の位置を対応位置とし、信頼度は最大値であるものとしてしまってもよい。基準フレーム上の対応位置が検出されたら、その位置を高解像度画像の位置に変換する。この変換方法は、ステップＳ３０２及びステップＳ３０３で行う変換方法と同じである。

（１−３）ステップＳ７０３
ステップＳ７０３はラベルの値を更新する処理である。

ステップＳ７０２で対応点が検出された画素のラベルを、その画素の対応点検出の信頼度に設定する。信頼度の値は、適当に量子化しても良い。但し、ステップＳ７０２では、参照フレームの全ての画素で対応点が見つかるとは限らないため、ラベルが「ｎｏｔｓｅｔ」のままとなっている画素があってもよい。

（２）更新回数設定部１０２
本実施形態での更新回数設定部１０２の動作は次の通りである。

まず、対応点検出の信頼度に応じて、適切な更新処理の更新回数を予め決めておく。例えば、信頼度が０以上１０未満の時は３回、１０以上２０未満の時は１０回、２０以上の時は２０回のように決めておく。

対応データ１０６が更新回数設定部１０２に入力されると、参照フレームの各画素毎に、ラベルを参照して対応点検出の信頼度に対応した更新処理の更新回数を設定する。対応点が検出できなかった画素（ラベルが「ｎｏｔｓｅｔ」となっている画素）については、更新回数は０とする。

（３）効果
本実施形態の効果は次の通りである。

既に説明したように、高解像度画像の更新処理（ステップＳ４０４）では対応点検出の結果が正しいことを仮定しているため、対応点の検出精度が高い場合には高解像度画像の更新回数を多く、逆に低い場合には高解像度画像の更新回数を少なくする必要がある。更新回数設定部１０２で対応点検出の信頼度に応じた更新回数を参照フレームの画素毎に設定し、その回数だけ更新を行えば、高解像度画像全体で高解像度画像の更新回数を最適化でき、画質を向上させることが可能となる。

（第４の実施形態）
以下、本発明の第４の実施形態の画像処理装置１００について図１と図８に基づいて説明する。

本実施形態の画像処理装置１００も第１の実施形態と同様に、図１の構成により実施される。第１の実施形態との違いは、対応点検出部１０１と更新回数決定部１０２の処理内容であるので、これらについて以下で説明を行う。

（１）対応点検出部１０１
図８は、本実施形態における対応点検出部１０１の処理の流れを説明するフローチャートである。

（１−１）ステップＳ８０１
ステップＳ８０１は初期化処理であり、参照フレームの各画素に対して未検出を示すラベル「ｎｏｔｓｅｔ」を付ける。

（１−２）ステップＳ８０２
ステップＳ８０２では、全ての画素に対して対応点を検出する。

高解像度画像上の対応位置を検出するには、まず参照フレームの各画素が基準フレームのどの位置に対応しているかを検出する。

このときの対応点検出方法としては様々な方法が適用可能であるが、対応点検出に仕様する画素数が複数の値を取り得る手法でなければならない。

例えば、複数のブロックサイズを選択できるブロックマッチングや、剛体分割推定法などの手法である。また、第１の実施形態で用いているように画素毎に複数の異なる対応点検出での検出結果を採用する方法であっても良い。

基準フレームが参照フレームである場合には、このフレームに限って強制的にその画素自身の位置を対応位置とし、対応点検出に用いたが素数はあらかじめ決められた最大値としてしまってもよい。基準フレーム上の対応位置が検出されたら、その位置を高解像度画像の位置に変換する。この変換方法は、ステップＳ３０２及びステップＳ３０３で行う変換方法と同じである。

（１−３）ステップＳ８０３
ステップＳ８０３はラベルの値を更新する処理である。

ステップＳ８０２で対応点が検出された画素のラベルを、その画素の対応点検出時に使用された画素数に設定する。画素数の値は、適当に量子化しても良い。但し、ステップＳ８０２では、参照フレームの全ての画素で対応点が見つかるとは限らないため、ラベルが「ｎｏｔｓｅｔ」のままとなっている画素があってもよい。

（２）更新回数設定部１０２
本実施形態での更新回数設定部１０２の動作は次の通りである。

まず、対応点検出に用いられた画素数に応じて、適切な更新処理の更新回数を予め決めておく。例えば、画素数が０以上５０未満の時は３回、５０以上の時は１０回のように決めておく。

対応データ１０６が更新回数設定部１０２に入力されると、参照フレームの各画素毎に、ラベルを参照して対応点検出の信頼度に対応した更新処理の更新回数を設定する。対応点が検出できなかった画素（ラベルが「ｎｏｔｓｅｔ」となっている画素）については、更新回数は０とする。

（３）効果
本実施形態の効果は次の通りである。

上記で説明したように、高解像度画像の更新処理（ステップＳ４０４）では対応点検出の結果が正しいことを仮定しているため、対応点の検出精度が高い場合には高解像度画像の更新回数を多く、逆に低い場合には高解像度画像の更新回数を少なくする必要がある。対応点検出の精度は、一般に対応点検出で使用できた画素数が多いほど精度が高くなるため、更新回数設定部１０２で対応点検出に使用された画素数が多いほど更新回数を多くすることにより、画質を向上させることが可能となる。

（変更例）
なお、本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。

本発明の第１の実施形態に係る画像処理装置のブロック図である。 基準フレーム、参照フレーム、高解像度画像の例である。 対応点検出部の処理のフローチャートである。 高解像度画像更新部の処理のフローチャートである。 高解像度画像更新部の別の処理のフローチャートである。 第２の実施形態に係る対応点検出部の処理のフローチャートである。 第３の実施形態に係る対応点検出部の処理のフローチャートである。 第４の実施形態に係る対応点検出部の処理のフローチャートである。

符号の説明

１００ 画像処理装置
１０１ 対応点検出部
１０２ 更新回数決定部
１０３ 高解像度画像初期値算出部
１０４ 高解像度画像更新部

Claims (15)

1. 動画像中の一枚の基準フレームと一枚以上の参照フレームから、前記動画像の画素数よりも画素数の多い高解像度画像を生成する画像処理装置において、
   前記参照フレームの各画素に対して、前記基準フレーム上の対応位置を任意の探索範囲から算出する複数の対応点検出方法を記憶する第１記憶部と、
   前記記憶した複数の対応点検出方法のそれぞれに対応して、前記基準フレームから前記高解像度画像の各画素の推定画素値を推定する回数である更新回数を記憶する第２記憶部と、
   前記各対応点検出方法によって、前記参照フレームの前記各画素に対して、前記基準フレーム上の前記対応位置を前記探索範囲から求めると共に、前記基準フレーム上の前記対応位置から前記高解像度画像の対応位置を求める対応位置検出部と、
   前記参照フレームと前記基準フレームの前記対応位置が得られた前記対応点検出方法に対応する前記更新回数を、前記参照フレームの前記画素毎に前記第２記憶部から呼び出す呼び出し部と、
   前記参照フレームの前記各画素を注目画素に順次設定し、前記注目画素に対応した位置の周囲にある前記高解像度画像の前記各画素の前記推定画素値から求めた前記注目画素の試算画素値と、前記注目画素の画素値との差分が小さくなるように、前記高解像度画像の前記各推定画素値を補正して更新する処理を、前記更新回数だけ行う更新処理部と、
   前記更新回数だけ更新した前記推定画素値を有する複数の画素から前記高解像度画像を構成して出力する出力部と、
   を有する画像処理装置。
2. 動画像中の一枚の基準フレームと一枚以上の参照フレームから、前記動画像の画素数よりも画素数の多い高解像度画像を生成する画像処理装置において、
   前記参照フレームの各画素に対して、前記基準フレーム上の対応位置を任意の探索範囲から算出して対応位置を求めると共に、前記基準フレーム上の前記対応位置から前記高解像度画像の対応位置を求める対応位置検出部と、
   前記参照フレームと前記基準フレームとのフレーム間隔数に対応して、前記基準フレームから前記高解像度画像の各画素の推定画素値を推定する回数である更新回数を記憶する第３記憶部と、
   前記参照フレームと前記基準フレームとの前記フレーム間隔数に対応する前記更新回数を、前記参照フレームの前記画素毎に前記第３記憶部から呼び出す呼び出し部と、
   前記参照フレームの前記各画素を注目画素に順次設定し、前記注目画素に対応した位置の周囲にある前記高解像度画像の前記各画素の前記推定画素値から求めた前記注目画素の試算画素値と、前記注目画素の画素値との差分が小さくなるように、前記高解像度画像の前記各推定画素値を補正して更新する処理を、前記更新回数だけ行う更新処理部と、
   前記更新回数だけ更新した前記推定画素値を有する複数の画素から前記高解像度画像を構成して出力する出力部と、
   を有する画像処理装置。
3. 動画像中の一枚の基準フレームと一枚以上の参照フレームから、前記動画像の画素数よりも画素数の多い高解像度画像を生成する画像処理装置において、
   前記参照フレームの各画素に対して、前記基準フレーム上の対応位置を任意の探索範囲から算出して対応位置を求めると共に、前記基準フレーム上の前記対応位置から前記高解像度画像の対応位置を求める対応位置検出部と、
   前記参照フレームと前記基準フレームとの前記対応位置を求めたときの信頼度に対応して、前記基準フレームから前記高解像度画像の各画素の推定画素値を推定する回数である更新回数を記憶する第４記憶部と、
   前記参照フレームと前記基準フレームとの前記対応位置を求めたときの前記信頼度を算出し、前記信頼度に対応する前記更新回数を、前記参照フレームの前記画素毎に前記第４記憶部から呼び出す呼び出し部と、
   前記参照フレームの前記各画素を注目画素に順次設定し、前記注目画素に対応した位置の周囲にある前記高解像度画像の前記各画素の前記推定画素値から求めた前記注目画素の試算画素値と、前記注目画素の画素値との差分が小さくなるように、前記高解像度画像の前記各推定画素値を補正して更新する処理を、前記更新回数だけ行う更新処理部と、
   前記更新回数だけ更新した前記推定画素値を有する複数の画素から前記高解像度画像を構成して出力する出力部と、
   を有する画像処理装置。
4. 前記第１記憶部が記憶する複数の前記対応点検出方法は、前記対応位置を検出するときに利用する画素の数によって区別され、
   前記第２記憶部が記憶する前記更新回数は、前記利用する画素の数が多いほど多くなる、
   請求項１記載の画像処理装置。
5. 前記第１記憶部が記憶する複数の前記対応点検出方法とは、少なくとも剛体分割推定方法、及び、サブピクセル精度のブロックマッチング方法であり、
   前記第２記憶部が記憶する前記更新回数において、前記剛体分割推定方法に対応した前記更新回数は、前記サブピクセル精度のブロックマッチング方法に対応した前記更新回数より多い数である、
   請求項１記載の画像処理装置。
6. 前記第３記憶部が記憶する前記更新回数は、前記フレーム間隔数が増加するほど少なくなる、
   請求項２記載の画像処理装置。
7. 前記第４記憶部が記憶する前記更新回数は、前記信頼度が小さいほど少なくなる、
   請求項３記載の画像処理装置。
8. 前記更新処理部は、前記更新する場合の前記推定画素値の初期値を、前記基準フレームの前記各画素の画素値の内挿処理によって求める、
   請求項１〜３の少なくとも一項に記載の画像処理装置。
9. 前記基準フレームと前記参照フレームとが異なるフレームである、
   請求項１〜３の少なくとも一項に記載の画像処理装置。
10. 動画像中の一枚の基準フレームと一枚以上の参照フレームから、前記動画像の画素数よりも画素数の多い高解像度画像を生成する画像処理方法において、
    前記参照フレームの各画素に対して、前記基準フレーム上の対応位置を任意の探索範囲から算出する複数の対応点検出方法を第１記憶部に記憶する第１記憶ステップと、
    前記記憶した複数の対応点検出方法のそれぞれに対応して、前記基準フレームから前記高解像度画像の各画素の推定画素値を推定する回数である更新回数を第２記憶部に記憶する第２記憶ステップと、
    前記各対応点検出方法によって、前記参照フレームの前記各画素に対して、前記基準フレーム上の前記対応位置を前記探索範囲から求めると共に、前記基準フレーム上の前記対応位置から前記高解像度画像の対応位置を求める対応位置検出ステップと、
    前記参照フレームと前記基準フレームの前記対応位置が得られた前記対応点検出方法に対応する前記更新回数を、前記参照フレームの前記画素毎に前記第２記憶部から呼び出す呼び出しステップと、
    前記参照フレームの前記各画素を注目画素に順次設定し、前記注目画素に対応した位置の周囲にある前記高解像度画像の前記各画素の前記推定画素値から求めた前記注目画素の試算画素値と、前記注目画素の画素値との差分が小さくなるように、前記高解像度画像の前記各推定画素値を補正して更新する処理を、前記更新回数だけ行う更新処理ステップと、
    前記更新回数だけ更新した前記推定画素値を有する複数の画素から前記高解像度画像を構成して出力する出力ステップと、
    を有する画像処理方法。
11. 動画像中の一枚の基準フレームと一枚以上の参照フレームから、前記動画像の画素数よりも画素数の多い高解像度画像を生成する画像処理方法において、
    前記参照フレームの各画素に対して、前記基準フレーム上の対応位置を任意の探索範囲から算出して対応位置を求めると共に、前記基準フレーム上の前記対応位置から前記高解像度画像の対応位置を求める対応位置検出ステップと、
    前記参照フレームと前記基準フレームとのフレーム間隔数に対応して、前記基準フレームから前記高解像度画像の各画素の推定画素値を推定する回数である更新回数を第３記憶部に記憶する第３記憶ステップと、
    前記参照フレームと前記基準フレームとの前記フレーム間隔数に対応する前記更新回数を、前記参照フレームの前記画素毎に前記第３記憶部から呼び出す呼び出しステップと、
    前記参照フレームの前記各画素を注目画素に順次設定し、前記注目画素に対応した位置の周囲にある前記高解像度画像の前記各画素の前記推定画素値から求めた前記注目画素の試算画素値と、前記注目画素の画素値との差分が小さくなるように、前記高解像度画像の前記各推定画素値を補正して更新する処理を、前記更新回数だけ行う更新処理ステップと、
    前記更新回数だけ更新した前記推定画素値を有する複数の画素から前記高解像度画像を構成して出力する出力ステップと、
    を有する画像処理方法。
12. 動画像中の一枚の基準フレームと一枚以上の参照フレームから、前記動画像の画素数よりも画素数の多い高解像度画像を生成する画像処理方法において、
    前記参照フレームの各画素に対して、前記基準フレーム上の対応位置を任意の探索範囲から算出して対応位置を求めると共に、前記基準フレーム上の前記対応位置から前記高解像度画像の対応位置を求める対応位置検出ステップと、
    前記参照フレームと前記基準フレームとの前記対応位置を求めたときの信頼度に対応して、前記基準フレームから前記高解像度画像の各画素の推定画素値を推定する回数である更新回数を第４記憶部に記憶する第４記憶ステップと、
    前記参照フレームと前記基準フレームとの前記対応位置を求めたときの前記信頼度を算出し、前記信頼度に対応する前記更新回数を、前記参照フレームの前記画素毎に前記第４記憶部から呼び出す呼び出しステップと、
    前記参照フレームの前記各画素を注目画素に順次設定し、前記注目画素に対応した位置の周囲にある前記高解像度画像の前記各画素の前記推定画素値から求めた前記注目画素の試算画素値と、前記注目画素の画素値との差分が小さくなるように、前記高解像度画像の前記各推定画素値を補正して更新する処理を、前記更新回数だけ行う更新処理ステップと、
    前記更新回数だけ更新した前記推定画素値を有する複数の画素から前記高解像度画像を構成して出力する出力ステップと、
    を有する画像処理方法。
13. 動画像中の一枚の基準フレームと一枚以上の参照フレームから、前記動画像の画素数よりも画素数の多い高解像度画像をコンピュータによって生成する画像処理プログラムにおいて、
    前記参照フレームの各画素に対して、前記基準フレーム上の対応位置を任意の探索範囲から算出する複数の対応点検出方法を第１記憶部に記憶する第１記憶機能と、
    前記記憶した複数の対応点検出方法のそれぞれに対応して、前記基準フレームから前記高解像度画像の各画素の推定画素値を推定する回数である更新回数を第２記憶部に記憶する第２記憶機能と、
    前記各対応点検出方法によって、前記参照フレームの前記各画素に対して、前記基準フレーム上の前記対応位置を前記探索範囲から求めると共に、前記基準フレーム上の前記対応位置から前記高解像度画像の対応位置を求める対応位置検出機能と、
    前記参照フレームと前記基準フレームの前記対応位置が得られた前記対応点検出方法に対応する前記更新回数を、前記参照フレームの前記画素毎に前記第２記憶部から呼び出す呼び出し機能と、
    前記参照フレームの前記各画素を注目画素に順次設定し、前記注目画素に対応した位置の周囲にある前記高解像度画像の前記各画素の前記推定画素値から求めた前記注目画素の試算画素値と、前記注目画素の画素値との差分が小さくなるように、前記高解像度画像の前記各推定画素値を補正して更新する処理を、前記更新回数だけ行う更新処理機能と、
    前記更新回数だけ更新した前記推定画素値を有する複数の画素から前記高解像度画像を構成して出力する出力機能と、
    を実現する画像処理プログラム。
14. 動画像中の一枚の基準フレームと一枚以上の参照フレームから、前記動画像の画素数よりも画素数の多い高解像度画像をコンピュータによって生成する画像処理プログラムにおいて、
    前記参照フレームの各画素に対して、前記基準フレーム上の対応位置を任意の探索範囲から算出して対応位置を求めると共に、前記基準フレーム上の前記対応位置から前記高解像度画像の対応位置を求める対応位置検出機能と、
    前記参照フレームと前記基準フレームとのフレーム間隔数に対応して、前記基準フレームから前記高解像度画像の各画素の推定画素値を推定する回数である更新回数を第３記憶部に記憶する第３記憶機能と、
    前記参照フレームと前記基準フレームとの前記フレーム間隔数に対応する前記更新回数を、前記参照フレームの前記画素毎に前記第３記憶部から呼び出す呼び出し機能と、
    前記参照フレームの前記各画素を注目画素に順次設定し、前記注目画素に対応した位置の周囲にある前記高解像度画像の前記各画素の前記推定画素値から求めた前記注目画素の試算画素値と、前記注目画素の画素値との差分が小さくなるように、前記高解像度画像の前記各推定画素値を補正して更新する処理を、前記更新回数だけ行う更新処理機能と、
    前記更新回数だけ更新した前記推定画素値を有する複数の画素から前記高解像度画像を構成して出力する出力機能と、
    を実現する画像処理プログラム。
15. 動画像中の一枚の基準フレームと一枚以上の参照フレームから、前記動画像の画素数よりも画素数の多い高解像度画像をコンピュータによって生成する画像処理プログラムにおいて、
    前記参照フレームの各画素に対して、前記基準フレーム上の対応位置を任意の探索範囲から算出して対応位置を求めると共に、前記基準フレーム上の前記対応位置から前記高解像度画像の対応位置を求める対応位置検出機能と、
    前記参照フレームと前記基準フレームとの前記対応位置を求めたときの信頼度に対応して、前記基準フレームから前記高解像度画像の各画素の推定画素値を推定する回数である更新回数を第４記憶部に記憶する第４記憶機能と、
    前記参照フレームと前記基準フレームとの前記対応位置を求めたときの前記信頼度を算出し、前記信頼度に対応する前記更新回数を、前記参照フレームの前記画素毎に前記第４記憶部から呼び出す呼び出し機能と、
    前記参照フレームの前記各画素を注目画素に順次設定し、前記注目画素に対応した位置の周囲にある前記高解像度画像の前記各画素の前記推定画素値から求めた前記注目画素の試算画素値と、前記注目画素の画素値との差分が小さくなるように、前記高解像度画像の前記各推定画素値を補正して更新する処理を、前記更新回数だけ行う更新処理機能と、
    前記更新回数だけ更新した前記推定画素値を有する複数の画素から前記高解像度画像を構成して出力する出力機能と、
    を実現する画像処理プログラム。

Images