JP2009225253A - 画像処理装置及びその方法 - Google Patents
画像処理装置及びその方法 Download PDFInfo
- Publication number
- JP2009225253A JP2009225253A JP2008069256A JP2008069256A JP2009225253A JP 2009225253 A JP2009225253 A JP 2009225253A JP 2008069256 A JP2008069256 A JP 2008069256A JP 2008069256 A JP2008069256 A JP 2008069256A JP 2009225253 A JP2009225253 A JP 2009225253A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- reference frame
- resolution image
- pixel value
- corresponding position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 104
- 230000008569 process Effects 0.000 claims abstract description 50
- 238000001514 detection method Methods 0.000 claims description 102
- 230000006870 function Effects 0.000 claims description 17
- 230000007423 decrease Effects 0.000 claims description 4
- 238000003672 processing method Methods 0.000 claims 6
- 230000006386 memory function Effects 0.000 claims 1
- 238000005457 optimization Methods 0.000 abstract description 2
- 238000006243 chemical reaction Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
Abstract
【課題】生成される高解像度画像の画質最適化を達成することができる画像処理装置を提供する。
【解決手段】対応点検出部101、更新回数設定部102、高解像度画像初期値算出部103、高解像度画像更新部104を備え、動画像の参照フレームの各画素に対して基準フレーム上の対応位置を任意の探索範囲から小数精度で算出し、対応位置を算出する際に採用された対応点検出方法毎に参照フレームの画素単位で更新回数を設定し、高解像度画像の各画素値から推定される参照フレームの注目画素の画素値と実際の前記注目画素の画素値との差分が小さくなるように高解像度画像の各画素値を更新する更新処理を設定された回数だけ行う。
【選択図】 図1
【解決手段】対応点検出部101、更新回数設定部102、高解像度画像初期値算出部103、高解像度画像更新部104を備え、動画像の参照フレームの各画素に対して基準フレーム上の対応位置を任意の探索範囲から小数精度で算出し、対応位置を算出する際に採用された対応点検出方法毎に参照フレームの画素単位で更新回数を設定し、高解像度画像の各画素値から推定される参照フレームの注目画素の画素値と実際の前記注目画素の画素値との差分が小さくなるように高解像度画像の各画素値を更新する更新処理を設定された回数だけ行う。
【選択図】 図1
Description
本発明は、カメラで撮影された画像データ、コンピュータにより生成された画像データ、テレビが受信した画像データなどをより高い解像度の画像データに変換する画像処理装置及びその方法に関する。
画像表示装置の高解像度化が進み、画像の細かい部分をより鮮明に表示することが可能になってきている。しかしながら、表示される画像データが表示装置と同等以上の解像度の情報を持っていなければ、表示される画像は実質上は鮮明にはならない。画像データの解像度が表示装置よりも低い場合には、画像データをより解像度の高い画像データに変換する必要がある。この変換処理を、ここでは画像データの「高解像度化」という。低解像度の画像データ(以下、「低解像度画像」という)の画素数は、高解像度の画像データ(以下、「高解像度画像」という)が有する画素数よりも少ないため、高解像度化は画像データの画素数を増やすのと同じである。
高解像度化の方法としては、線形内挿法や3次畳込み法などの内挿方法(例えば、非特許文献3)がよく知られている。しかし、より多くの計算を必要とする再構成型超解像(例えば、特許文献1、非特許文献1参照)の方がより鮮鋭な高解像度化が可能である。
「再構成型超解像」は、高解像度化の対象となっている低解像度の動画像データ中の画像フレーム(以下、「基準フレーム」という)と同じ被写体が別の低解像度の画像フレーム(以下、「参照フレーム」という)にも写っていることを利用する。
そのため、まず、参照フレーム中の画素が高解像度画像のどの位置に対応しているかを推定する(対応点検出)。なお、鮮明な高解像度画像を生成するためには、対応する位置の検出は画素間隔よりも小さな精度で行われる(例えば、非特許文献2参照)。
次に、参照フレーム中の画素値を利用して、対応づけられた位置付近の高解像度画像の画素値を算出する。
再構成型超解像では一般に、低解像度画像中の画素値と、高解像度画像中の画素値との関係をモデル化し、このモデルとの誤差が小さい高解像度画像を生成する。小さな誤差を与える高解像度画像を生成するためには、暫定的な高解像度画像をより誤差の小さな高解像度画像に逐次的に更新する繰り返し処理を用いることが多い(例えば、非特許文献1参照)。高解像度画像の更新処理の繰り返し回数は予め決めておくか、または、所望の規準(例えば、画素値の更新が十分小さくなる、または、モデルとの誤差が十分小さくなる、など)に達するまで行われる。
一つの基準フレームの高解像度化が終了すると、低解像の動画像データ中の別のフレームを次の基準フレームとして処理を続け、最終的に必要な高解像度の動画像データを得る。
特開2000−188680公報(第3−7頁、図22)
S. C. Park, M. K. Park and M. G. Kang, 「Super-Resolution Image Reconstruction: A Technical Overview,」 IEEE Signal Processing Magazine, USA, IEEE, May 2003, p.21-36
清水,奥富,「画像のマッチングにおけるサブピクセル推定の意味と性質」電子情報通信学会論文誌D-II,電子情報通信学会,2002年12月,第85巻,第12号,p.1791−1800
高木、下田監修「画像解析ハンドブック」東京大学出版会
上記の再構成型超解像で用いられる高解像度画像の更新処理では、対応点検出に誤差がないことが仮定されている。しかし実際には誤差があるため、高解像度画像の更新処理は繰り返し回数を多くすれば高解像度画像の画質が向上するとは限らない。例えば、対応点検出精度が悪い場合には、その対応点と関連した高解像度画像の更新処理の繰り返し回数は少ない方が良い。
ところが従来は、高解像度画像の更新処理の繰り返し回数は、どの画素に対しても同じであったため、高解像度画像全体での画質最適化ができないという問題点があった。
そこで、本発明は上記問題点に鑑み、生成される高解像度画像の画質最適化を達成することができる画像処理装置及びその方法を提供する。
本発明は、動画像中の一枚の基準フレームと一枚以上の参照フレームから、前記動画像の画素数よりも画素数の多い高解像度画像を生成する画像処理装置において、前記参照フレームの各画素に対して、前記基準フレーム上の対応位置を任意の探索範囲から算出する複数の対応点検出方法を記憶する第1記憶部と、前記記憶した複数の対応点検出方法のそれぞれに対応して、前記基準フレームから前記高解像度画像の各画素の推定画素値を推定する回数である更新回数を記憶する第2記憶部と、前記各対応点検出方法によって、前記参照フレームの前記各画素に対して、前記基準フレーム上の前記対応位置を前記探索範囲から求めると共に、前記基準フレーム上の前記対応位置から前記高解像度画像の対応位置を求める対応位置検出部と、前記参照フレームと前記基準フレームの前記対応位置が得られた前記対応点検出方法に対応する前記更新回数を、前記参照フレームの前記画素毎に前記第2記憶部から呼び出す呼び出し部と、前記参照フレームの前記各画素を注目画素に順次設定し、前記注目画素に対応した位置の周囲にある前記高解像度画像の前記各画素の前記推定画素値から求めた前記注目画素の試算画素値と、前記注目画素の画素値との差分が小さくなるように、前記高解像度画像の前記各推定画素値を補正して更新する処理を、前記更新回数だけ行う更新処理部と、前記更新回数だけ更新した前記推定画素値を有する複数の画素から前記高解像度画像を構成して出力する出力部と、を有する画像処理装置である。
また、本発明は、動画像中の一枚の基準フレームと一枚以上の参照フレームから、前記動画像の画素数よりも画素数の多い高解像度画像を生成する画像処理装置において、前記参照フレームの各画素に対して、前記基準フレーム上の対応位置を任意の探索範囲から算出して対応位置を求めると共に、前記基準フレーム上の前記対応位置から前記高解像度画像の対応位置を求める対応位置検出部と、前記参照フレームと前記基準フレームとのフレーム間隔数に対応して、前記基準フレームから前記高解像度画像の各画素の推定画素値を推定する回数である更新回数を記憶する第3記憶部と、前記参照フレームと前記基準フレームとの前記フレーム間隔数に対応する前記更新回数を、前記参照フレームの前記画素毎に前記第3記憶部から呼び出す呼び出し部と、前記参照フレームの前記各画素を注目画素に順次設定し、前記注目画素に対応した位置の周囲にある前記高解像度画像の前記各画素の前記推定画素値から求めた前記注目画素の試算画素値と、前記注目画素の画素値との差分が小さくなるように、前記高解像度画像の前記各推定画素値を補正して更新する処理を、前記更新回数だけ行う更新処理部と、前記更新回数だけ更新した前記推定画素値を有する複数の画素から前記高解像度画像を構成して出力する出力部と、を有する画像処理装置である。
また、本発明は、動画像中の一枚の基準フレームと一枚以上の参照フレームから、前記動画像の画素数よりも画素数の多い高解像度画像を生成する画像処理装置において、前記参照フレームの各画素に対して、前記基準フレーム上の対応位置を任意の探索範囲から算出して対応位置を求めると共に、前記基準フレーム上の前記対応位置から前記高解像度画像の対応位置を求める対応位置検出部と、前記参照フレームと前記基準フレームとの前記対応位置を求めたときの信頼度に対応して、前記基準フレームから前記高解像度画像の各画素の推定画素値を推定する回数である更新回数を記憶する第4記憶部と、前記参照フレームと前記基準フレームとの前記対応位置を求めたときの前記信頼度を算出し、前記信頼度に対応する前記更新回数を、前記参照フレームの前記画素毎に前記第4記憶部から呼び出す呼び出し部と、前記参照フレームの前記各画素を注目画素に順次設定し、前記注目画素に対応した位置の周囲にある前記高解像度画像の前記各画素の前記推定画素値から求めた前記注目画素の試算画素値と、前記注目画素の画素値との差分が小さくなるように、前記高解像度画像の前記各推定画素値を補正して更新する処理を、前記更新回数だけ行う更新処理部と、前記更新回数だけ更新した前記推定画素値を有する複数の画素から前記高解像度画像を構成して出力する出力部と、を有する画像処理装置である。
本発明によれば、高解像度画像の部分領域毎に適切な高解像度画像の更新処理繰り返し回数が設定できるため、高解像度画像全体での画質最適化が行える。
以下、本発明の一実施形態に係る画像処理装置100について図面を参照しながら説明する。
(第1の実施形態)
以下、本発明の第1の実施形態の画像処理装置100について図1〜図5に基づいて説明する。
以下、本発明の第1の実施形態の画像処理装置100について図1〜図5に基づいて説明する。
(1)画像処理装置100の構成
図1は、本実施形態の画像処理装置100の構成を説明するブロック図である。
図1は、本実施形態の画像処理装置100の構成を説明するブロック図である。
画像処理装置100は、対応点検出部101、更新回数決定部102、高解像度画像初期値算出部103、高解像度画像更新部104から構成される。
各部101〜104の機能は、コンピュータに格納されたプログラムによっても実現できる。
以下、これらの構成要素の動作と入出力データについて順番に説明する。
(2)入力データ
画像処理装置100の入力データは、低解像度のデジタル動画像データ105である。処理対象がアナログの動画像データである場合には、画像処理装置100に入力する前にアナログ−デジタル変換を行っておく必要がある。
画像処理装置100の入力データは、低解像度のデジタル動画像データ105である。処理対象がアナログの動画像データである場合には、画像処理装置100に入力する前にアナログ−デジタル変換を行っておく必要がある。
低解像度のデジタル動画像データ105は少なくとも高解像度化の対象となっている画像フレーム(基準フレーム)を含み、さらに基準フレーム周辺の画像フレーム(参照フレーム)を1つ以上含んでいる。図2は基準フレームと参照フレームの例である。この例では、基準フレーム200と、基準フレーム200の前後2フレームずつの5フレームを参照フレーム201として選んでいる。
このように基準フレームを参照フレームとすることができるが、基準フレームを参照フレームとして選択しなくても良い。
また、参照フレームとして基準フレーム200の前後の枚数を非対称に選んでも良いし、前後のどちらかだけを参照フレームとしても、また、連続したフレームではなく離れたフレームを選択しても良い。
入力された低解像度の動画像データ105は、対応点検出部101及び高解像度画像初期値算出部103に入力される。
(3)対応点検出部101
対応点検出部101では、参照フレームの各画素が、これから生成する高解像度画像202のどの位置に対応しているかを検出する処理を行う。図3は、複数の対応点検出方法が利用可能である場合の処理の流れを説明するフローチャートである。
対応点検出部101では、参照フレームの各画素が、これから生成する高解像度画像202のどの位置に対応しているかを検出する処理を行う。図3は、複数の対応点検出方法が利用可能である場合の処理の流れを説明するフローチャートである。
(3−1)ステップS301
ステップS301は初期化処理であり、対応点検出方法を特定する変数iに1をセットし、iの最大値を変数imaxにセットする。すなわち、対応点検出部101で使用可能な対応点検出方法の数を変数imaxにセットする。
ステップS301は初期化処理であり、対応点検出方法を特定する変数iに1をセットし、iの最大値を変数imaxにセットする。すなわち、対応点検出部101で使用可能な対応点検出方法の数を変数imaxにセットする。
次に、参照フレームの各画素に対して未検出を示すラベル「notset」を付ける。
対応点検出方法としては様々な方法が適用可能であるが、例えばi=1に対応する方法として非特許文献4(J. Xiao and M. Shah, 「Motion Layer Extraction in the Presence of Occlusion Using Graph Cuts,」 IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.27, No.10, pp.1644-1659,2005)で説明されているような動きによる領域分割を用いた動き推定方法(以下、本願では「剛体分割推定方法」という)を、i=2に対応する方法としてサブピクセル精度(画素間隔よりも小さな精度)のブロックマッチング方法(例えば、非特許文献2)を用いる。
(3−2)ステップS302
ステップS302では、基準フレーム自身が参照フレームとなっている場合に、その参照フレーム中の対応点を算出し、その画素のラベルを「base」に設定する。
ステップS302では、基準フレーム自身が参照フレームとなっている場合に、その参照フレーム中の対応点を算出し、その画素のラベルを「base」に設定する。
基準フレーム自身が参照フレームである場合、基準フレームの各画素の基準フレーム上の対応点はその画素自身の位置であるため、単純な座標変換により簡単に高解像度画像上の座標値に変換することができる。基準フレーム自身が参照フレームとなっていない場合にはステップS302では何も処理を行わない。
(3−3)ステップS303
ステップS303では、「notset」のラベルを持つ参照フレームの全ての画素に対して、i番目の対応点検出方法により対応点を検出する。
ステップS303では、「notset」のラベルを持つ参照フレームの全ての画素に対して、i番目の対応点検出方法により対応点を検出する。
そのために、まず参照フレームの各画素が基準フレームのどの位置に対応しているかを検出し、その位置を高解像度画像の位置に変換する。
例えば、高解像度画像の画素数が縦横とも低解像度画像の画素数の3倍であり、対応位置が基準フレームの(12.3,45.6)である場合には、高解像度画像上での対応位置は各座標を3倍した(36.9,136.8)になる。但し、低解像度画像上の原点が高解像度画像上の原点に対応しており、横軸と縦軸方向も共通であると仮定している。
なお、i番目の対応点検出方法により対応点を検出する場合に、必ずしも全ての画素で対応点が見つかるとは限らない。例えば、参照フレーム中には見えていた被写体の一部分が基準フレーム中では隠れてしまったり、基準フレーム外に出てしまったりした場合には対応点を見つけることができない。また、剛体分割推定方法のように画像を同じ動きを有する剛体に分割しながらその剛体の動きを推定することで各画素の対応点を見つけるような方法では、剛体で近似できない動きをしている画像領域は対応付けができない。
(3−4)ステップS304
ステップS304では、ステップS303で対応点が検出できた参照フレームの画素のラベルを、未検出を示すラベル「notset」から方法iに対応したラベル「i」に変更する。
ステップS304では、ステップS303で対応点が検出できた参照フレームの画素のラベルを、未検出を示すラベル「notset」から方法iに対応したラベル「i」に変更する。
例えば、i=1の時のラベルは「1」、i=2の時のラベルは「2」となる。
(3−5)ステップS305
ステップS305は分岐処理であり、変数iの値が変数imaxと等しいかどうかを調べ、等しければ処理を終了し、等しくなければ処理をステップS306に進める。
ステップS305は分岐処理であり、変数iの値が変数imaxと等しいかどうかを調べ、等しければ処理を終了し、等しくなければ処理をステップS306に進める。
(3−6)ステップS306
ステップS306は、単に変数iを1だけ増加させるインクリメント処理である。
ステップS306は、単に変数iを1だけ増加させるインクリメント処理である。
(3−7)処理のメリット
i=1に対応する方法として剛体分割推定方法を、i=2に対応する方法としてブロックマッチング方法を用いた場合に、図3で説明する処理を行うメリットについて説明する。
i=1に対応する方法として剛体分割推定方法を、i=2に対応する方法としてブロックマッチング方法を用いた場合に、図3で説明する処理を行うメリットについて説明する。
剛体分割推定方法のように、画像を同じ動きを有する剛体に分割しながらその剛体の動きを推定する方法は、広い範囲の画素値を利用して画素の対応点を検出するため、ノイズに強く、対応点検出の精度が高い。
その一方で、剛体で近似できない動きをしている画像領域は対応点の検出ができない。この方法をまずi=1のときのステップS303で行うことにより、画像中で剛体と仮定できる領域の対応点を高精度に検出する。
剛体と仮定できない領域は、i=2のときのステップS303でブロックマッチング方法により対応点が検出される。このときブロックサイズを小さくすることにより、非剛体の動きに対しても対応点を検出することができる。
但し、これら二つの方法を用いても、隠蔽や画像外への移動により最終的に対応点が検出できない画素が残ることがある。
(3−8)対応データ106
対応点検出部101の最終的な出力は、対応点検出部出力データ(以下、単に「対応データ」という)106である。この対応データ106は、低解像度のデジタル動画像データ105に対応点検出結果を追加したデータである。
対応点検出部101の最終的な出力は、対応点検出部出力データ(以下、単に「対応データ」という)106である。この対応データ106は、低解像度のデジタル動画像データ105に対応点検出結果を追加したデータである。
対応点検出結果は、参照フレーム中の各画素の対応位置とラベルから成る。ラベルは対応点が検出できたか否か、また、できた場合にはどのような対応点検出方法で検出されたかの情報である。対応点が検出された場合には、対応点の座標が対応位置として出力される。
なお、対応点検出ができなかった画素については、対応データ106に含めなくても良い。
(4)更新回数設定部102
更新回数設定部102は、対応データ106を受け取り、参照フレーム中の画素毎に、後で行われる高解像度画像更新処理(以下、単に「更新処理」という)の更新回数を設定する処理を行う。
更新回数設定部102は、対応データ106を受け取り、参照フレーム中の画素毎に、後で行われる高解像度画像更新処理(以下、単に「更新処理」という)の更新回数を設定する処理を行う。
具体的には、対応点検出に用いられる対応点検出方法毎に適切な更新処理の更新回数を予め決めておき、対応データ106に含まれるラベルを参照し、用いられた対応点検出方法に対応する更新処理の更新回数を参照フレーム中の画素毎に設定する。
例えば、第1対応点検出方法なら20回、第2対応点検出方法なら10回、第3対応点検出方法なら5回のように設定する。
基準フレームが参照フレームとなっている場合(S302でラベルが「base」にセットされた場合)には、これらとは別に決められた更新回数を設定して良い。
更新回数決定部102の出力は、更新回数決定部出力データ(以下、単に「更新回数データ」という)107であり、この更新回数データ107は対応データ106に、参照フレーム及び基準フレームの各画素の更新処理の更新回数のデータを追加したデータである。
(5)高解像度画像初期値算出部103
高解像度画像初期値算出部103は、高解像度画像の初期値を算出する。
高解像度画像初期値算出部103は、高解像度画像の初期値を算出する。
初期値としては、高解像度画像全ての画素値を同じ値(例えば0)に設定するのが最も簡単であるが、この場合には高解像度画像更新部104での処理量が多くなるという問題点がある。
そのため、一般には入力された低解像度のデジタル動画像データ105に含まれる基準フレームに対して線形内挿法や3次畳込み法などの内挿処理(例えば、非特許文献3参照)を行い、基準フレームに含まれる画素数よりも多い画素数の高解像度化画像を算出し、これを高解像度画像の初期値108として出力する。
(6)高解像度画像更新部104
高解像度画像更新部104は、更新回数データ107を利用して、高解像度画像の初期値108を繰り返し更新する。図4は、高解像度画像更新部104での処理の流れを説明するフローチャートである。
高解像度画像更新部104は、更新回数データ107を利用して、高解像度画像の初期値108を繰り返し更新する。図4は、高解像度画像更新部104での処理の流れを説明するフローチャートである。
(6−1)ステップS401
ステップS401は初期化処理であり、カウンタの値を0にセットし、さらに更新処理の最大更新回数を設定する。
ステップS401は初期化処理であり、カウンタの値を0にセットし、さらに更新処理の最大更新回数を設定する。
(6−2)ステップS402
ステップS402では、参照フレーム中の画素の中からまだ選択されていない画素を1つ選択する。
ステップS402では、参照フレーム中の画素の中からまだ選択されていない画素を1つ選択する。
ここでは、選択された画素はk番目の参照フレーム中の位置(m1,m2)の画素が選択されたものとする。
(6−3)ステップS403
ステップS403は分岐処理であり、ステップS402で選択された画素に設定された更新回数とカウンタの値を比較し、カウンタの値の方が小さければステップS404に、そうでなければステップS405に処理を移す。
ステップS403は分岐処理であり、ステップS402で選択された画素に設定された更新回数とカウンタの値を比較し、カウンタの値の方が小さければステップS404に、そうでなければステップS405に処理を移す。
(6−4)ステップS404
ステップS404では高解像度画像の更新を行う。
ステップS404では高解像度画像の更新を行う。
この更新は、ステップS402で選択された注目画素の画素値と、高解像度画像の各推定画素値から求めた前記注目画素の画素値との差分が小さくなるように行われる。すなわち、参照フレームの画素のそれぞれを注目画素に順次設定し、この注目画素に対応する位置の周囲にある高解像度画像の各推定画素値の重み付きの平均値から求めた前記注目画素の試算画素値と、前記注目画素の画素値との差分が小さくなるように、高解像度画像の各推定画素値を補正して、これら補正値を各推定画素値とする。
である(例えば、非特許文献1参照)。
ここで、x(n1,n2)は、更新前の高解像度画像における座標(n1,n2)の推定画素の画素値、x’(n1,n2)は更新後の高解像度画像における座標(n1,n2)の推定画素の画素値、δk(m1,m2)は番号kの参照フレームにおける座標(m1,m2)の注目画素の誤差レベルである。なお、誤差レベルは予め決められた定数としても良いし、画像から推定した値を用いても良い。
により算出される。
ここで、yx(m1,m2)は番号kの参照フレームにおける座標(m1,m2)の注目画素の画素値、wx(m1,m2:n1,n2)は、yx(m1,m2)がx(n1,n2)に与える影響の大きさを表す重みであり、撮影時のレンズモデルや高解像度画像から低解像度画像への劣化モデル、及び、対応点検出部101で推定された参照フレームの高解像度画像上の対応点座標とから算出される。
により算出する。σ、αは定数である。
が用いられるが、これを定数倍したり、また、分母を1に置き換えるなど、変形を施しても良い。
ステップS404の高解像度画像の更新では、この更新を高解像度画像の全ての推定画素に対して行う。すなわち、全てのn1,n2の値に対してx(n1,n2)の更新を行う。但し、高解像度画像の画素値が変化しないことが予めわかっている画素(n1,n2)に対しては処理を省略しても良い。
(6−5)ステップS405
ステップS405は分岐処理であり、参照フレーム中の全ての画素がステップS402で選択されたかどうかを判定する。
ステップS405は分岐処理であり、参照フレーム中の全ての画素がステップS402で選択されたかどうかを判定する。
全ての画素が選択された場合にはステップS406に、そうでない場合にはステップS402に処理を移す。
(6−6)ステップS406
ステップS406は、カウンタの値を1だけ増加させる。
ステップS406は、カウンタの値を1だけ増加させる。
(6−7)ステップS407
ステップS407は分岐処理であり、カウンタの値とステップS401で設定された最大更新回数を比較し、二つの値が等しければ処理を終了、等しくなければ処理をステップS408に進める。
ステップS407は分岐処理であり、カウンタの値とステップS401で設定された最大更新回数を比較し、二つの値が等しければ処理を終了、等しくなければ処理をステップS408に進める。
(6−8)ステップS408
ステップS408は参照フレーム中の全ての画素を未選択に設定し、ステップS402で再び選択されるようにする。
ステップS408は参照フレーム中の全ての画素を未選択に設定し、ステップS402で再び選択されるようにする。
以上の高解像度画像更新部104の処理により、高解像度画像は更新回数設定部102によって設定された回数だけ更新処理が行われる。
(7)高解像度画像更新部104の別の処理
図5は、高解像度画像更新部104の別の処理例を説明するフローチャートである。この処理例では、図4で説明される凸射影法ではなく、勾配降下法による最大事後確率(MAP)推定を用いて高解像度画像を生成する(例えば、非特許文献1参照)。
図5は、高解像度画像更新部104の別の処理例を説明するフローチャートである。この処理例では、図4で説明される凸射影法ではなく、勾配降下法による最大事後確率(MAP)推定を用いて高解像度画像を生成する(例えば、非特許文献1参照)。
(7−1)ステップS501
ステップS501は、ステップS401と同じ初期化処理である。
ステップS501は、ステップS401と同じ初期化処理である。
(7−2)ステップS502
ステップS502は、参照フレームの画素から、更新回数設定部102によって設定された更新回数がカウンタの値よりも大きな画素を選択する。
ステップS502は、参照フレームの画素から、更新回数設定部102によって設定された更新回数がカウンタの値よりも大きな画素を選択する。
(7−3)ステップS503
ステップS503では高解像度画像の更新を行う。
ステップS503では高解像度画像の更新を行う。
となる。
ここで、β、γは定数、Ωkは番号kの参照フレーム中の画素のうちステップS502で選択された画素の位置の集合である。
であり、定数c(n1,n2:p1,p2)は高解像度画像の滑らかさを評価するように定める。
(7−4)ステップS504
ステップS504ではカウンタの値を1だけ増加させる。
ステップS504ではカウンタの値を1だけ増加させる。
(7−5)ステップS505
ステップS505は分岐処理であり、カウンタの値とステップS501で設定された最大更新回数を比較し、二つの値が等しければ処理を終了、等しくなければ処理をステップS502に進める。
ステップS505は分岐処理であり、カウンタの値とステップS501で設定された最大更新回数を比較し、二つの値が等しければ処理を終了、等しくなければ処理をステップS502に進める。
以上の高解像度画像更新部104の処理により、参照フレームの各画素は更新回数設定部102によって設定された回数だけ高解像度画像の更新処理に使用される。
(8)効果
本実施形態の効果は次の通りである。
本実施形態の効果は次の通りである。
複数の参照フレームを使用して高解像度画像を生成する場合、対応点検出部101で高精度の対応点検出を行うことが必要である。これは、高解像度画像の更新処理(ステップS404)において、対応点検出の結果が正しいことを仮定しているからである。
対応点検出の誤差が小さければ高解像度画像の更新回数を多くした方が高画質な高解像度画像が得られる。対応点検出の誤差が大きい場合には高解像度画像の更新回数は逆に少ない方が画質良くなる。したがって、高解像度画像全体の画質をよくするためには、対応点検出の精度によって高解像度画像の更新回数を適切に変える必要がある。
一方、対応点検出方法には様々な方法があるが、それぞれに長所・短所があるため、本実施形態で行っているように複数の方法を組み合わせることがある。この場合、用いられた方法によって期待される対応点検出精度が異なる。
したがって、更新回数設定部102で対応点検出方法毎に決められた更新回数を参照フレームの画素毎に設定し、その回数だけ更新を行うことによって高解像度画像全体の画質を最適化することが可能となる。
(第2の実施形態)
以下、本発明の第2の実施形態の画像処理装置100について図1と図6に基づいて説明する。
以下、本発明の第2の実施形態の画像処理装置100について図1と図6に基づいて説明する。
本実施形態の画像処理装置100も第1の実施形態と同様に、図1の構成により実施される。第1の実施形態との違いは、対応点検出部101と更新回数決定部102の処理内容であるので、これらについて以下で説明を行う。
(1)対応点検出部101
図6は、本実施形態における対応点検出部101の処理の流れを説明するフローチャートである。
図6は、本実施形態における対応点検出部101の処理の流れを説明するフローチャートである。
(1−1)ステップS601
ステップS601は初期化処理であり、参照フレームの各画素に対して未検出を示すラベル「notset」を付ける。
ステップS601は初期化処理であり、参照フレームの各画素に対して未検出を示すラベル「notset」を付ける。
(1−2)ステップS602
ステップS602では、全ての画素に対して対応点を検出する。
ステップS602では、全ての画素に対して対応点を検出する。
高解像度画像上の対応位置を検出するには、まず参照フレームの各画素が基準フレームのどの位置に対応しているかを検出する。
このときの対応点検出方法としては様々な方法が適用可能であるが、例えば、剛体分割推定方法や、サブピクセル精度のブロックマッチング方法を用いることができる。
また、基準フレームが参照フレームである場合には、このフレームに限って強制的にその画素自身の位置を対応位置としてしまってもよい。基準フレーム上の対応位置が検出されたら、その位置を高解像度画像の位置に変換する。この変換方法は、ステップS302及びステップS303で行う変換方法と同じである。
なお、ステップS602では、参照フレームの全ての画素で対応点が見つかるとは限らない。
(1−3)ステップS603
ステップS603はラベルの値を更新する処理である。
ステップS603はラベルの値を更新する処理である。
ステップS602で対応点が検出された画素のラベルを、その画素を有する参照フレームと基準フレームとのフレーム間隔数に設定する。例えば、基準フレームのフレーム番号が10のとき、参照フレームのフレーム番号が3の場合にはラベルを「7」に、参照フレームのフレーム番号が12の場合にはラベルを「2」に、参照フレームが基準フレームである場合にはラベルを「0」に設定する。
(2)更新回数設定部102
本実施形態での更新回数設定部102の動作は次の通りである。
本実施形態での更新回数設定部102の動作は次の通りである。
まず、参照フレームと基準フレームのフレーム間隔毎に、適切な更新処理の更新回数を予め決めておく。対応データ106が更新回数設定部102に入力されると、参照フレームの画素毎に、ラベルを参照して参照フレームと基準フレームのフレーム間隔に対応する更新処理の更新回数を設定する。例えば、フレーム間隔が5なら3回、1なら10回、0なら12回のように設定する。対応点が検出できなかった画素(ラベルが「notset」となっている画素)については、更新回数は0とする。
(3)効果
本実施形態の効果は次の通りである。
本実施形態の効果は次の通りである。
一般に、対応点検出の精度は参照フレームと基準フレームとの時間差が大きいほど低くなる。これは、時間差が大きいほど撮影された被写体の色や形が変わる可能性が高いからである。既に説明したように、高解像度画像の更新処理(ステップS404)では対応点検出の結果が正しいことを仮定しているため、対応点の検出精度が低いことが予想される場合には高解像度画像の更新回数を少なくする必要がある。
したがって、更新回数設定部102で参照フレームと基準フレームのフレーム間隔数毎に決められた更新回数を参照フレームの画素毎に設定し、その回数だけ更新を行うことによって高解像度画像全体の画質を最適化することが可能となる。
(第3の実施形態)
以下、本発明の第3の実施形態の画像処理装置100について図1と図7に基づいて説明する。
以下、本発明の第3の実施形態の画像処理装置100について図1と図7に基づいて説明する。
本実施形態の画像処理装置100も第1の実施形態と同様に、図1の構成により実施される。第1の実施形態との違いは、対応点検出部101と更新回数決定部102の処理内容であるので、これらについて以下で説明を行う。
(1)対応点検出部101
図7は、本実施形態における対応点検出部101の処理の流れを説明するフローチャートである。
図7は、本実施形態における対応点検出部101の処理の流れを説明するフローチャートである。
(1−1)ステップS701
ステップS701は初期化処理であり、参照フレームの各画素に対して未検出を示すラベル「notset」を付ける。
ステップS701は初期化処理であり、参照フレームの各画素に対して未検出を示すラベル「notset」を付ける。
(1−2)ステップS702
ステップS702では、全ての画素に対して対応点を検出する。
ステップS702では、全ての画素に対して対応点を検出する。
高解像度画像上の対応位置を検出するには、まず参照フレームの各画素が基準フレームのどの位置に対応しているかを検出する。
このときの対応点検出方法としては様々な方法が適用可能であるが、対応点検出の信頼度を算出可能な方法である必要がある。
例えば、サブピクセル精度のブロックマッチング方法(例えば、非特許文献2)を用いることができる。この場合、対応点検出の信頼度として、ブロックマッチングで使用したブロックの平均二乗誤差や平均絶対値誤差から算出される値(例えば、−1を乗じた値や逆数など)を用いる。
基準フレームが参照フレームである場合には、このフレームに限って強制的にその画素自身の位置を対応位置とし、信頼度は最大値であるものとしてしまってもよい。基準フレーム上の対応位置が検出されたら、その位置を高解像度画像の位置に変換する。この変換方法は、ステップS302及びステップS303で行う変換方法と同じである。
(1−3)ステップS703
ステップS703はラベルの値を更新する処理である。
ステップS703はラベルの値を更新する処理である。
ステップS702で対応点が検出された画素のラベルを、その画素の対応点検出の信頼度に設定する。信頼度の値は、適当に量子化しても良い。但し、ステップS702では、参照フレームの全ての画素で対応点が見つかるとは限らないため、ラベルが「notset」のままとなっている画素があってもよい。
(2)更新回数設定部102
本実施形態での更新回数設定部102の動作は次の通りである。
本実施形態での更新回数設定部102の動作は次の通りである。
まず、対応点検出の信頼度に応じて、適切な更新処理の更新回数を予め決めておく。例えば、信頼度が0以上10未満の時は3回、10以上20未満の時は10回、20以上の時は20回のように決めておく。
対応データ106が更新回数設定部102に入力されると、参照フレームの各画素毎に、ラベルを参照して対応点検出の信頼度に対応した更新処理の更新回数を設定する。対応点が検出できなかった画素(ラベルが「notset」となっている画素)については、更新回数は0とする。
(3)効果
本実施形態の効果は次の通りである。
本実施形態の効果は次の通りである。
既に説明したように、高解像度画像の更新処理(ステップS404)では対応点検出の結果が正しいことを仮定しているため、対応点の検出精度が高い場合には高解像度画像の更新回数を多く、逆に低い場合には高解像度画像の更新回数を少なくする必要がある。更新回数設定部102で対応点検出の信頼度に応じた更新回数を参照フレームの画素毎に設定し、その回数だけ更新を行えば、高解像度画像全体で高解像度画像の更新回数を最適化でき、画質を向上させることが可能となる。
(第4の実施形態)
以下、本発明の第4の実施形態の画像処理装置100について図1と図8に基づいて説明する。
以下、本発明の第4の実施形態の画像処理装置100について図1と図8に基づいて説明する。
本実施形態の画像処理装置100も第1の実施形態と同様に、図1の構成により実施される。第1の実施形態との違いは、対応点検出部101と更新回数決定部102の処理内容であるので、これらについて以下で説明を行う。
(1)対応点検出部101
図8は、本実施形態における対応点検出部101の処理の流れを説明するフローチャートである。
図8は、本実施形態における対応点検出部101の処理の流れを説明するフローチャートである。
(1−1)ステップS801
ステップS801は初期化処理であり、参照フレームの各画素に対して未検出を示すラベル「notset」を付ける。
ステップS801は初期化処理であり、参照フレームの各画素に対して未検出を示すラベル「notset」を付ける。
(1−2)ステップS802
ステップS802では、全ての画素に対して対応点を検出する。
ステップS802では、全ての画素に対して対応点を検出する。
高解像度画像上の対応位置を検出するには、まず参照フレームの各画素が基準フレームのどの位置に対応しているかを検出する。
このときの対応点検出方法としては様々な方法が適用可能であるが、対応点検出に仕様する画素数が複数の値を取り得る手法でなければならない。
例えば、複数のブロックサイズを選択できるブロックマッチングや、剛体分割推定法などの手法である。また、第1の実施形態で用いているように画素毎に複数の異なる対応点検出での検出結果を採用する方法であっても良い。
基準フレームが参照フレームである場合には、このフレームに限って強制的にその画素自身の位置を対応位置とし、対応点検出に用いたが素数はあらかじめ決められた最大値としてしまってもよい。基準フレーム上の対応位置が検出されたら、その位置を高解像度画像の位置に変換する。この変換方法は、ステップS302及びステップS303で行う変換方法と同じである。
(1−3)ステップS803
ステップS803はラベルの値を更新する処理である。
ステップS803はラベルの値を更新する処理である。
ステップS802で対応点が検出された画素のラベルを、その画素の対応点検出時に使用された画素数に設定する。画素数の値は、適当に量子化しても良い。但し、ステップS802では、参照フレームの全ての画素で対応点が見つかるとは限らないため、ラベルが「notset」のままとなっている画素があってもよい。
(2)更新回数設定部102
本実施形態での更新回数設定部102の動作は次の通りである。
本実施形態での更新回数設定部102の動作は次の通りである。
まず、対応点検出に用いられた画素数に応じて、適切な更新処理の更新回数を予め決めておく。例えば、画素数が0以上50未満の時は3回、50以上の時は10回のように決めておく。
対応データ106が更新回数設定部102に入力されると、参照フレームの各画素毎に、ラベルを参照して対応点検出の信頼度に対応した更新処理の更新回数を設定する。対応点が検出できなかった画素(ラベルが「notset」となっている画素)については、更新回数は0とする。
(3)効果
本実施形態の効果は次の通りである。
本実施形態の効果は次の通りである。
上記で説明したように、高解像度画像の更新処理(ステップS404)では対応点検出の結果が正しいことを仮定しているため、対応点の検出精度が高い場合には高解像度画像の更新回数を多く、逆に低い場合には高解像度画像の更新回数を少なくする必要がある。対応点検出の精度は、一般に対応点検出で使用できた画素数が多いほど精度が高くなるため、更新回数設定部102で対応点検出に使用された画素数が多いほど更新回数を多くすることにより、画質を向上させることが可能となる。
(変更例)
なお、本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。
なお、本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。
100 画像処理装置
101 対応点検出部
102 更新回数決定部
103 高解像度画像初期値算出部
104 高解像度画像更新部
101 対応点検出部
102 更新回数決定部
103 高解像度画像初期値算出部
104 高解像度画像更新部
Claims (15)
- 動画像中の一枚の基準フレームと一枚以上の参照フレームから、前記動画像の画素数よりも画素数の多い高解像度画像を生成する画像処理装置において、
前記参照フレームの各画素に対して、前記基準フレーム上の対応位置を任意の探索範囲から算出する複数の対応点検出方法を記憶する第1記憶部と、
前記記憶した複数の対応点検出方法のそれぞれに対応して、前記基準フレームから前記高解像度画像の各画素の推定画素値を推定する回数である更新回数を記憶する第2記憶部と、
前記各対応点検出方法によって、前記参照フレームの前記各画素に対して、前記基準フレーム上の前記対応位置を前記探索範囲から求めると共に、前記基準フレーム上の前記対応位置から前記高解像度画像の対応位置を求める対応位置検出部と、
前記参照フレームと前記基準フレームの前記対応位置が得られた前記対応点検出方法に対応する前記更新回数を、前記参照フレームの前記画素毎に前記第2記憶部から呼び出す呼び出し部と、
前記参照フレームの前記各画素を注目画素に順次設定し、前記注目画素に対応した位置の周囲にある前記高解像度画像の前記各画素の前記推定画素値から求めた前記注目画素の試算画素値と、前記注目画素の画素値との差分が小さくなるように、前記高解像度画像の前記各推定画素値を補正して更新する処理を、前記更新回数だけ行う更新処理部と、
前記更新回数だけ更新した前記推定画素値を有する複数の画素から前記高解像度画像を構成して出力する出力部と、
を有する画像処理装置。 - 動画像中の一枚の基準フレームと一枚以上の参照フレームから、前記動画像の画素数よりも画素数の多い高解像度画像を生成する画像処理装置において、
前記参照フレームの各画素に対して、前記基準フレーム上の対応位置を任意の探索範囲から算出して対応位置を求めると共に、前記基準フレーム上の前記対応位置から前記高解像度画像の対応位置を求める対応位置検出部と、
前記参照フレームと前記基準フレームとのフレーム間隔数に対応して、前記基準フレームから前記高解像度画像の各画素の推定画素値を推定する回数である更新回数を記憶する第3記憶部と、
前記参照フレームと前記基準フレームとの前記フレーム間隔数に対応する前記更新回数を、前記参照フレームの前記画素毎に前記第3記憶部から呼び出す呼び出し部と、
前記参照フレームの前記各画素を注目画素に順次設定し、前記注目画素に対応した位置の周囲にある前記高解像度画像の前記各画素の前記推定画素値から求めた前記注目画素の試算画素値と、前記注目画素の画素値との差分が小さくなるように、前記高解像度画像の前記各推定画素値を補正して更新する処理を、前記更新回数だけ行う更新処理部と、
前記更新回数だけ更新した前記推定画素値を有する複数の画素から前記高解像度画像を構成して出力する出力部と、
を有する画像処理装置。 - 動画像中の一枚の基準フレームと一枚以上の参照フレームから、前記動画像の画素数よりも画素数の多い高解像度画像を生成する画像処理装置において、
前記参照フレームの各画素に対して、前記基準フレーム上の対応位置を任意の探索範囲から算出して対応位置を求めると共に、前記基準フレーム上の前記対応位置から前記高解像度画像の対応位置を求める対応位置検出部と、
前記参照フレームと前記基準フレームとの前記対応位置を求めたときの信頼度に対応して、前記基準フレームから前記高解像度画像の各画素の推定画素値を推定する回数である更新回数を記憶する第4記憶部と、
前記参照フレームと前記基準フレームとの前記対応位置を求めたときの前記信頼度を算出し、前記信頼度に対応する前記更新回数を、前記参照フレームの前記画素毎に前記第4記憶部から呼び出す呼び出し部と、
前記参照フレームの前記各画素を注目画素に順次設定し、前記注目画素に対応した位置の周囲にある前記高解像度画像の前記各画素の前記推定画素値から求めた前記注目画素の試算画素値と、前記注目画素の画素値との差分が小さくなるように、前記高解像度画像の前記各推定画素値を補正して更新する処理を、前記更新回数だけ行う更新処理部と、
前記更新回数だけ更新した前記推定画素値を有する複数の画素から前記高解像度画像を構成して出力する出力部と、
を有する画像処理装置。 - 前記第1記憶部が記憶する複数の前記対応点検出方法は、前記対応位置を検出するときに利用する画素の数によって区別され、
前記第2記憶部が記憶する前記更新回数は、前記利用する画素の数が多いほど多くなる、
請求項1記載の画像処理装置。 - 前記第1記憶部が記憶する複数の前記対応点検出方法とは、少なくとも剛体分割推定方法、及び、サブピクセル精度のブロックマッチング方法であり、
前記第2記憶部が記憶する前記更新回数において、前記剛体分割推定方法に対応した前記更新回数は、前記サブピクセル精度のブロックマッチング方法に対応した前記更新回数より多い数である、
請求項1記載の画像処理装置。 - 前記第3記憶部が記憶する前記更新回数は、前記フレーム間隔数が増加するほど少なくなる、
請求項2記載の画像処理装置。 - 前記第4記憶部が記憶する前記更新回数は、前記信頼度が小さいほど少なくなる、
請求項3記載の画像処理装置。 - 前記更新処理部は、前記更新する場合の前記推定画素値の初期値を、前記基準フレームの前記各画素の画素値の内挿処理によって求める、
請求項1〜3の少なくとも一項に記載の画像処理装置。 - 前記基準フレームと前記参照フレームとが異なるフレームである、
請求項1〜3の少なくとも一項に記載の画像処理装置。 - 動画像中の一枚の基準フレームと一枚以上の参照フレームから、前記動画像の画素数よりも画素数の多い高解像度画像を生成する画像処理方法において、
前記参照フレームの各画素に対して、前記基準フレーム上の対応位置を任意の探索範囲から算出する複数の対応点検出方法を第1記憶部に記憶する第1記憶ステップと、
前記記憶した複数の対応点検出方法のそれぞれに対応して、前記基準フレームから前記高解像度画像の各画素の推定画素値を推定する回数である更新回数を第2記憶部に記憶する第2記憶ステップと、
前記各対応点検出方法によって、前記参照フレームの前記各画素に対して、前記基準フレーム上の前記対応位置を前記探索範囲から求めると共に、前記基準フレーム上の前記対応位置から前記高解像度画像の対応位置を求める対応位置検出ステップと、
前記参照フレームと前記基準フレームの前記対応位置が得られた前記対応点検出方法に対応する前記更新回数を、前記参照フレームの前記画素毎に前記第2記憶部から呼び出す呼び出しステップと、
前記参照フレームの前記各画素を注目画素に順次設定し、前記注目画素に対応した位置の周囲にある前記高解像度画像の前記各画素の前記推定画素値から求めた前記注目画素の試算画素値と、前記注目画素の画素値との差分が小さくなるように、前記高解像度画像の前記各推定画素値を補正して更新する処理を、前記更新回数だけ行う更新処理ステップと、
前記更新回数だけ更新した前記推定画素値を有する複数の画素から前記高解像度画像を構成して出力する出力ステップと、
を有する画像処理方法。 - 動画像中の一枚の基準フレームと一枚以上の参照フレームから、前記動画像の画素数よりも画素数の多い高解像度画像を生成する画像処理方法において、
前記参照フレームの各画素に対して、前記基準フレーム上の対応位置を任意の探索範囲から算出して対応位置を求めると共に、前記基準フレーム上の前記対応位置から前記高解像度画像の対応位置を求める対応位置検出ステップと、
前記参照フレームと前記基準フレームとのフレーム間隔数に対応して、前記基準フレームから前記高解像度画像の各画素の推定画素値を推定する回数である更新回数を第3記憶部に記憶する第3記憶ステップと、
前記参照フレームと前記基準フレームとの前記フレーム間隔数に対応する前記更新回数を、前記参照フレームの前記画素毎に前記第3記憶部から呼び出す呼び出しステップと、
前記参照フレームの前記各画素を注目画素に順次設定し、前記注目画素に対応した位置の周囲にある前記高解像度画像の前記各画素の前記推定画素値から求めた前記注目画素の試算画素値と、前記注目画素の画素値との差分が小さくなるように、前記高解像度画像の前記各推定画素値を補正して更新する処理を、前記更新回数だけ行う更新処理ステップと、
前記更新回数だけ更新した前記推定画素値を有する複数の画素から前記高解像度画像を構成して出力する出力ステップと、
を有する画像処理方法。 - 動画像中の一枚の基準フレームと一枚以上の参照フレームから、前記動画像の画素数よりも画素数の多い高解像度画像を生成する画像処理方法において、
前記参照フレームの各画素に対して、前記基準フレーム上の対応位置を任意の探索範囲から算出して対応位置を求めると共に、前記基準フレーム上の前記対応位置から前記高解像度画像の対応位置を求める対応位置検出ステップと、
前記参照フレームと前記基準フレームとの前記対応位置を求めたときの信頼度に対応して、前記基準フレームから前記高解像度画像の各画素の推定画素値を推定する回数である更新回数を第4記憶部に記憶する第4記憶ステップと、
前記参照フレームと前記基準フレームとの前記対応位置を求めたときの前記信頼度を算出し、前記信頼度に対応する前記更新回数を、前記参照フレームの前記画素毎に前記第4記憶部から呼び出す呼び出しステップと、
前記参照フレームの前記各画素を注目画素に順次設定し、前記注目画素に対応した位置の周囲にある前記高解像度画像の前記各画素の前記推定画素値から求めた前記注目画素の試算画素値と、前記注目画素の画素値との差分が小さくなるように、前記高解像度画像の前記各推定画素値を補正して更新する処理を、前記更新回数だけ行う更新処理ステップと、
前記更新回数だけ更新した前記推定画素値を有する複数の画素から前記高解像度画像を構成して出力する出力ステップと、
を有する画像処理方法。 - 動画像中の一枚の基準フレームと一枚以上の参照フレームから、前記動画像の画素数よりも画素数の多い高解像度画像をコンピュータによって生成する画像処理プログラムにおいて、
前記参照フレームの各画素に対して、前記基準フレーム上の対応位置を任意の探索範囲から算出する複数の対応点検出方法を第1記憶部に記憶する第1記憶機能と、
前記記憶した複数の対応点検出方法のそれぞれに対応して、前記基準フレームから前記高解像度画像の各画素の推定画素値を推定する回数である更新回数を第2記憶部に記憶する第2記憶機能と、
前記各対応点検出方法によって、前記参照フレームの前記各画素に対して、前記基準フレーム上の前記対応位置を前記探索範囲から求めると共に、前記基準フレーム上の前記対応位置から前記高解像度画像の対応位置を求める対応位置検出機能と、
前記参照フレームと前記基準フレームの前記対応位置が得られた前記対応点検出方法に対応する前記更新回数を、前記参照フレームの前記画素毎に前記第2記憶部から呼び出す呼び出し機能と、
前記参照フレームの前記各画素を注目画素に順次設定し、前記注目画素に対応した位置の周囲にある前記高解像度画像の前記各画素の前記推定画素値から求めた前記注目画素の試算画素値と、前記注目画素の画素値との差分が小さくなるように、前記高解像度画像の前記各推定画素値を補正して更新する処理を、前記更新回数だけ行う更新処理機能と、
前記更新回数だけ更新した前記推定画素値を有する複数の画素から前記高解像度画像を構成して出力する出力機能と、
を実現する画像処理プログラム。 - 動画像中の一枚の基準フレームと一枚以上の参照フレームから、前記動画像の画素数よりも画素数の多い高解像度画像をコンピュータによって生成する画像処理プログラムにおいて、
前記参照フレームの各画素に対して、前記基準フレーム上の対応位置を任意の探索範囲から算出して対応位置を求めると共に、前記基準フレーム上の前記対応位置から前記高解像度画像の対応位置を求める対応位置検出機能と、
前記参照フレームと前記基準フレームとのフレーム間隔数に対応して、前記基準フレームから前記高解像度画像の各画素の推定画素値を推定する回数である更新回数を第3記憶部に記憶する第3記憶機能と、
前記参照フレームと前記基準フレームとの前記フレーム間隔数に対応する前記更新回数を、前記参照フレームの前記画素毎に前記第3記憶部から呼び出す呼び出し機能と、
前記参照フレームの前記各画素を注目画素に順次設定し、前記注目画素に対応した位置の周囲にある前記高解像度画像の前記各画素の前記推定画素値から求めた前記注目画素の試算画素値と、前記注目画素の画素値との差分が小さくなるように、前記高解像度画像の前記各推定画素値を補正して更新する処理を、前記更新回数だけ行う更新処理機能と、
前記更新回数だけ更新した前記推定画素値を有する複数の画素から前記高解像度画像を構成して出力する出力機能と、
を実現する画像処理プログラム。 - 動画像中の一枚の基準フレームと一枚以上の参照フレームから、前記動画像の画素数よりも画素数の多い高解像度画像をコンピュータによって生成する画像処理プログラムにおいて、
前記参照フレームの各画素に対して、前記基準フレーム上の対応位置を任意の探索範囲から算出して対応位置を求めると共に、前記基準フレーム上の前記対応位置から前記高解像度画像の対応位置を求める対応位置検出機能と、
前記参照フレームと前記基準フレームとの前記対応位置を求めたときの信頼度に対応して、前記基準フレームから前記高解像度画像の各画素の推定画素値を推定する回数である更新回数を第4記憶部に記憶する第4記憶機能と、
前記参照フレームと前記基準フレームとの前記対応位置を求めたときの前記信頼度を算出し、前記信頼度に対応する前記更新回数を、前記参照フレームの前記画素毎に前記第4記憶部から呼び出す呼び出し機能と、
前記参照フレームの前記各画素を注目画素に順次設定し、前記注目画素に対応した位置の周囲にある前記高解像度画像の前記各画素の前記推定画素値から求めた前記注目画素の試算画素値と、前記注目画素の画素値との差分が小さくなるように、前記高解像度画像の前記各推定画素値を補正して更新する処理を、前記更新回数だけ行う更新処理機能と、
前記更新回数だけ更新した前記推定画素値を有する複数の画素から前記高解像度画像を構成して出力する出力機能と、
を実現する画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008069256A JP2009225253A (ja) | 2008-03-18 | 2008-03-18 | 画像処理装置及びその方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008069256A JP2009225253A (ja) | 2008-03-18 | 2008-03-18 | 画像処理装置及びその方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009225253A true JP2009225253A (ja) | 2009-10-01 |
Family
ID=41241540
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008069256A Pending JP2009225253A (ja) | 2008-03-18 | 2008-03-18 | 画像処理装置及びその方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009225253A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010134608A1 (ja) | 2009-05-22 | 2010-11-25 | 旭化成ケミカルズ株式会社 | 自動車ランプ周辺部品 |
JP2012049747A (ja) * | 2010-08-25 | 2012-03-08 | Nippon Telegr & Teleph Corp <Ntt> | 映像符号化システム及び映像符号化装置及び映像復号装置及び映像符号化方法及び映像符号化プログラム及び映像復号プログラム |
JP2017151900A (ja) * | 2016-02-26 | 2017-08-31 | 株式会社ジャパンディスプレイ | タッチ検出装置及びタッチ検出方法 |
-
2008
- 2008-03-18 JP JP2008069256A patent/JP2009225253A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010134608A1 (ja) | 2009-05-22 | 2010-11-25 | 旭化成ケミカルズ株式会社 | 自動車ランプ周辺部品 |
JP2012049747A (ja) * | 2010-08-25 | 2012-03-08 | Nippon Telegr & Teleph Corp <Ntt> | 映像符号化システム及び映像符号化装置及び映像復号装置及び映像符号化方法及び映像符号化プログラム及び映像復号プログラム |
JP2017151900A (ja) * | 2016-02-26 | 2017-08-31 | 株式会社ジャパンディスプレイ | タッチ検出装置及びタッチ検出方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4818053B2 (ja) | 高解像度化装置および方法 | |
US8958484B2 (en) | Enhanced image and video super-resolution processing | |
US9014421B2 (en) | Framework for reference-free drift-corrected planar tracking using Lucas-Kanade optical flow | |
JP2007000205A (ja) | 画像処理装置及び画像処理方法並びに画像処理プログラム | |
KR101839617B1 (ko) | 멀티프레임을 이용한 비균일 모션 블러 제거 방법 및 장치 | |
JP2006127241A (ja) | 超解像処理の高速化方法 | |
JP2008147951A (ja) | 補間フレーム作成方法および補間フレーム作成装置 | |
JP4941565B2 (ja) | 対応点探索装置および対応点探索方法 | |
JP2010218271A (ja) | パラメータ制御処理装置及び画像処理装置 | |
JPWO2011018878A1 (ja) | 画像処理システム、画像処理方法および画像処理用プログラム | |
JP2009225253A (ja) | 画像処理装置及びその方法 | |
JP2009100407A (ja) | 画像処理装置及びその方法 | |
JP5424068B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体 | |
JP6532328B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
JP2016181023A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP2015197818A (ja) | 画像処理装置およびその方法 | |
JP2010278931A (ja) | 画像処理装置 | |
JP2006215657A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
JP7245773B2 (ja) | 画像処理装置、画像処理プログラム及び画像処理方法 | |
Panagiotopoulou | Iterative multi-frame super-resolution image reconstruction via variance-based fidelity to the data | |
JP2012155652A (ja) | レンズ歪みの補正法 | |
JP2009060464A (ja) | 映像高解像度化装置及び方法 | |
KR101644411B1 (ko) | 고해상도 이미지 복원 장치 및 그 방법 | |
JP6109699B2 (ja) | 姿勢パラメータ推定装置、姿勢パラメータ推定方法、およびプログラム | |
JP6381212B2 (ja) | 撮像装置及びその制御方法 |