JP2008276380A - 画像拡大装置および方法 - Google Patents

Abstract

【課題】鮮鋭な高解像度画像を得る。
【解決手段】画像データのうち１フレームを基準フレームに設定し、基準フレームの画素値に基づく内挿処理により、基準フレームに含まれる画素数よりも多い画素数の仮高解像度画像の画素値を算出する仮高解像度画素値算出部と、画像データに含まれる１以上のフレームの中の複数の画素を１つずつ注目画素として順次設定し、注目画素の基準フレームへの１以上の対応位置を小数精度で算出する対応位置算出部と、仮高解像度画素値と注目画素の画素値と対応位置とから、対応位置に対応する仮高解像度画素値の修正量を並列に算出する仮高解像度画素値修正量算出部と、仮高解像度画素値修正量を複数保存する修正量一時保存部と、一時保存された複数の修正量を加算する加算部と、加算された修正量を用いて仮高解像度画素値を修正する仮高解像度画素値修正部とを有する。
【選択図】図１

Description

本発明は、画像拡大装置および方法に関する。

画素数が多い、つまり高解像度のテレビやディスプレイが普及してきている。テレビやディスプレイは、画像を表示する場合、画像データの画素数をパネルの画素数に変換する。高解像度処理を施すとき、サンプリング定理に基づいたSinc関数でフィルタ処理を行う内挿法（三次畳込み法、BiCubic法など）や、これよりも鮮鋭な画像が得られる複数フレーム劣化逆変換法が知られている（例えば、特許文献１、非特許文献１参照）。

複数フレーム劣化逆変換法は、基準フレーム（高解像度化させる対象となるフレーム）に写っている被写体が、これに連続する別のフレームにも写っていることに注目し、被写体の動きを画素間隔以下の小数精度で検出し、被写体の同一の局所部分に対して微小に位置がずれた複数の標本値を求め、これら複数の標本値毎に、内挿法を用いて画素値を逐次修正する高解像度処理方法である。
特開２０００−１８８６８０号公報 S. Park, et.al. "Super-Resolution Image Reconstruction: A Technical Overview," IEEE Signal Processing Magazine, USA, IEEE, May 2003, p.21-36.

従来の複数フレーム劣化逆変換法では、複数の標本値毎に逐次画素値を修正するため、修正処理に時間がかかり、高速に高解像度処理ができないという問題がある。

本発明は、上述した事情を考慮してなされたものであり、高速に高解像度処理ができる画像拡大装置および方法を提供することを目的とする。

上述の目的を達成するために、本発明は、画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データが入力され、前記画像データのうち１フレームを基準フレームに設定し、前記基準フレームの画素値に基づく内挿処理によって、前記基準フレームに含まれる画素数よりも多い画素数の仮高解像度画像の画素値を算出する仮高解像度画素値算出部と、
前記画像データが入力され、前記画像データに含まれる少なくとも１以上のフレームの中の複数の画素を１つずつ注目画素として順次設定し、前記注目画素の前記基準フレームへの少なくとも１以上の対応位置を小数精度で算出する対応位置算出部と、
前記仮高解像度画素値と前記注目画素の画素値と前記対応位置とから、前記対応位置に対応する前記仮高解像度画素値の修正量を並列に算出する仮高解像度画素値修正量算出部と、
前記仮高解像度画素値修正量を複数保存する修正量一時保存部と、
前記一時保存された複数の修正量を加算する加算部と、
前記加算された修正量を用いて前記仮高解像度画素値を修正する仮高解像度画素値修正部とを具備することを特徴とする画像拡大装置を提供する。

また、本発明は、画面内に複数の画素が配され、前記画素の輝度を画素値として表された画像データを入力する工程と、
前記画像データのうち１フレームを基準フレームに設定する工程と、
前記基準フレームの画素値に基づく内挿処理によって、前記基準フレームに含まれる画素数よりも多い画素数の仮高解像度画像の画素値を算出する工程と、
前記画像データに含まれる少なくとも１以上のフレームの中の複数の画素を１つずつ注目画素として順次設定する工程と、
前記注目画素の前記基準フレームへの少なくとも１以上の対応位置を小数精度で算出する工程と、
前記仮高解像度画素値と前記注目画素の画素値と前記対応位置とから、前記対応位置に対応する前記仮高解像度画素値の修正量を並列に算出する工程と、
前記算出された複数の修正量を加算する工程と、
前記加算された修正量を用いて前記仮高解像度画素値を修正する工程とを具備することを特徴とする画像拡大方法を提供する。

本発明の画像拡大装置および方法によれば、修正処理の並列化が可能になり、高速に高解像度処理ができる。

以下、図面を参照しながら本発明の実施形態に係る画像拡大装置および方法について詳細に説明する。

なお、本発明は、以下の実施形態に限定されるものではなく種々選択、工夫して用いることができる。また、以下の説明で画像のことをフレームと呼ぶことがある。

図１は、本発明の実施形態に係る画像拡大装置のブロック図である。

図１に示すように、本実施形態の画像拡大装置は、仮高解像度画素値算出部１０１、対応位置算出部１０２、仮高解像度画素値修正量算出部１０３、修正量一時保存部１０４、仮高解像度画素値修正部１０５、加算部１０６を備えている。なお、以下、既に説明した装置部分と同様なものは同一の番号を付してその説明を省略する。

先ず、仮高解像度画素値算出部１０１は、画面内に複数の画素を配し、これら画素の輝度を画素値として表した低解像度画像データが入力される。この低解像度画像データのうち１フレームを基準フレームに設定し、この基準フレームの画素値に基づく内挿処理によって、基準フレームに含まれる画素数よりも多い画素数の仮高解像度画像データの画素値を算出する。算出された仮高解像度画像データは仮高解像度画素値修正部１０５に保存しておく。低解像度画像データは、動画像でも静止画像でも構わない。ここでは、低解像度画像データを、例えば、カメラや携帯電話が撮影した画像データ、テレビや携帯ＡＶプレイヤーが受信した画像データ、ＨＤＤに保存された画像データなどとして説明する。

次に、対応位置算出部１０２は、低解像度画像データが入力され、この低解像画像データに含まれる少なくとも１以上のフレームの中の複数の画素を１つずつ注目画素として順次設定する。そして、この注目画素が基準フレームへ対応する少なくとも１以上の位置（以下対応位置と記す）を小数精度で算出する。小数精度で算出する方法としては、例えば、低解像度画像データの画素間隔でマッチング誤差を求め、連続な対称関数を当てはめることで、マッチング誤差が極小となる小数精度の位置を求める方法（マッチング誤差補間法）或いは低解像度画像データを拡大し、この拡大された画像における画素間隔で対応位置を求める方法（オーバーサンプリング法）がある。また、小数精度で算出する別の方法として、カメラにジャイロを搭載して、カメラの揺れを測定することで、物理的に小数精度の対応位置を検出することもできる。

仮高解像度画素値修正量算出部１０３は、仮高解像度画素値修正部１０５に保存されていた仮高解像度画像データの画素値と、対応位置算出部１０２で設定された注目画素の画素値と、対応位置算出部１０２で算出された対応位置とから、対応位置に対応する仮高解像度画素値の修正量を並列に算出する。ここでは４つの画素ごとに並列に算出している例を示している。

仮高解像度画素値の修正量を算出する方法としては、例えば、ＰＯＣＳ法やIterative Back-Projection法（上記のS. Park, et.al. "Super-Resolution Image Reconstruction: A Technical Overview"のｐ．２９、ｐ．３１参照）がある。

修正量一時保存部１０４は、仮高解像度画素値修正量算出部１０３で並列に算出された複数の対応位置に対応する複数の修正量を保存する。

加算部１０６は、修正量一時保存部１０４に保存されている複数の修正量を加算する。このとき仮高解像度画像データと同じ画素数に対応する修正量を加算して１フレーム分の加算された修正量を算出し修正量一時保存部１０４に保存する。

或いは、加算部１０６は、仮高解像度画像データよりも少ない画素数に対応する修正量を加算して１フレームの一部分の加算された修正量を算出し、これと対応する対応位置の情報と共に修正量一時保存部１０４に保存する。

このように修正量を加算して一時保存することで、演算量の多い仮高解像度画素値修正量算出部１０３を複数並列に動作させることが可能になる。

仮高解像度画素値修正部１０５は、修正量一時保存部１０４で一時保存された、加算された修正量が入力され、この加算された修正量を用いて仮高解像度画素値算出部１０１から入力された仮高解像度画素値を修正する。

以下、仮高解像度画素値修正量算出部１０３によって仮高解像度画素値の修正量を複数算出し、修正量一時保存部１０４によって複数の仮高解像度画素値の修正量を保存し、加算部１０６によって複数の仮高解像度画素値を加算し、仮高解像度画素値修正部１０５によって加算さえれた修正量を用いて仮高解像度画素値を修正する動作を、順次設定される低解像度画像データの全ての注目画素について繰り返し行う。

こうすることで、修正された仮高解像度画素値を持つ仮高解像度画像データを鮮鋭な高解像度画像データとして出力することができる。

図２は、図1で説明した画像拡大装置によって低解像度画像データから高解像度画像データを出力する動作を説明するためのフローチャートである。以下図２及び図１を用いて高解像度画像データの形成方法について説明する。

図２に示すように、先ず、仮高解像度画像データを生成する（ステップＳ３０１）。具体的には図１の仮高解像度画素値算出部１０１において、画面内に複数の画素が配され、画素の輝度を画素値として表された低解像度画像データのうち１フレームを基準フレームに設定し、この基準フレームの画素値に基づく内挿処理によって、基準フレームに含まれる画素数よりも多い画素数の仮高解像度画像の画素値を算出する。

この内挿処理は、サンプリング定理に基づくSinc関数でのフィルタ処理による内挿法（三次畳込み法、BiCubic法）などを用いることができる。このようにして低解像度画像データから設定された基準フレームを仮高解像度画像として拡大する。

この段階では、この仮高解像度画像は、画面内の被写体がぼけていたり、本来、連続的な直線である部分が、ジャギーと呼ばれる階段状に表現されてしまったりしている。

次に、図２に示すように、画面空間における対応位置を算出する（ステップS３０２）。具体的には、図１の対応位置算出部１０２において、低解像画像データに含まれる少なくとも１以上のフレームの中の複数の画素、例えば、低解像度フレームのエッジ画素を１つずつ注目画素として順次設定し、注目画素の基準フレームへの少なくとも１以上の対応位置を小数精度で算出する。

小数精度での対応位置の算出処理は、低解像画像データを元にマッチング誤差補間法やオーバーサンプリング法で算出したり、カメラに搭載されたジャイロによって検出したりできる。

次に、図２に示すように、仮高解像度画像の修正量を並列処理によって算出する（ステップS３０３）。具体的には図１の仮高解像度画素値修正量算出部１０３において、仮高解像度画素値１０５に保存されている仮高解像度画素値と、対応位置算出部１０２にて設定された注目画素の画素値と、対応位置算出部１０２で算出された対応位置とから、仮高解像度画素値の修正量を並列に算出する。

この仮高解像画像の修正量の算出処理は、例えば、ＰＯＣＳ法やIterative Back-Projection法（上記のS. Park, et.al. "Super-Resolution Image Reconstruction: A Technical Overview"のｐ．２９、ｐ．３１参照）によって算出する。

次に、図２に示すように、仮高解像度画像の修正量を保存する（ステップS３０４）。具体的には、図１の修正量一時保存部１０４において、仮高解像度画素値修正量算出部１０３で算出された複数の対応位置に対応する複数の修正量を保存する。修正量は、仮高解像度画像データと同じ画素数の修正量を複数保存したり、複数の修正量を加算した仮高解像度画像データと同じ画素数の修正加算量を１フレーム分保存したり、算出された対応位置と対応位置の周辺の画素における狭い局所領域の修正量を複数保存したりできる。このように並列処理を行うことで、演算量の多い仮高解像度画素値修正量算出部１０３を複数、同時に動作させることが可能になる。

次に、図１の加算部１０６において、修正量一時保存部１０４に保存している複数のい修正量を一つのフレームに対する修正量として加算し、再び修正量一時保存部１０４に保存する。

次に、図２に示すように、複数の修正量を保存したかどうか判定する（ステップS３０５）。具体的には、図１の修正量一時保存部１０４が、修正量が複数の対応位置について保存されたかどうかを判定し、ＮＯであればステップＳ３０３に戻って、次の対応位置についての仮高解像度画像の修正量を算出し、ＹＥＳであれば、ステップＳ３０６に進む。

次に、図２に示すように、仮高解像度画像の画素値を修正する（ステップS３０６）。具体的には、図１の仮高解像度画素値修正部１０５において、修正量一時保存部１０４で一時保存されている加算された修正量を用いて、仮高解像度画素値修正部１０５に保存されている仮高解像度画素値を修正する。

次に、図２に示すように、基準フレームの全対応位置について終了しているかどうか判定する（ステップS３０７）。具体的には、図１の仮高解像度画素値修正部１０５において、基準フレームの全対応位置を用いた修正処理が終了したかどうかを判定し、ＮＯであればステップＳ３０３に戻って、次の対応位置についての仮高解像度画像の修正量を算出し、ＹＥＳであれば、ステップＳ３０８に進む。

次に、図２に示すように、既定の繰り返し回数を終了しているかどうか判定する（ステップS３０８）。具体的には、図１の仮高解像度画素値修正部１０５において、全対応位置を用いた修正処理が既定の繰り返し回数だけ終了したかどうかを判定し、ＮＯであればステップＳ３０３に戻って、再び、初めの対応位置から仮高解像度画像の修正量を算出し、ＹＥＳであれば、仮高解像度画像を高解像度画像として出力して、終了する。

以下に、図１の対応位置算出部１０２の動作について詳しく説明するために、先ず図３、図４を用いて、低解像度画像データと基準フレームの関係について説明する。

図３は、連続する低解像度画像（映像データ）を用いて、時間順序で高解像映像を生成する様子を説明している。

図３に示すように、ここでは４枚目の高解像度画像のフレームを生成している。この拡大処理をそのときに行っている低解像度画像のフレーム、この例では４枚目の低解像度画像のフレームを基準フレームとしている。この基準フレームを拡大するために、低解像度画像のうち、基準フレームとその前後の時刻と３枚目の低解像度画像フレームと５枚目の低解像度画像フレームを用いて拡大処理を行う。これら拡大処理に使われる全ての低解像度画像フレーム（ここでは、３枚目〜５枚目）を低解像度画像データと呼ぶ。

図４は、基準フレームの低解像度画像フレームだけを用いて、フレーム内処理のみで拡大処理を行っている。静止画像の場合も、入力される低解像度画像は１枚だけなので、これを基準フレームに設定し、その基準フレーム１枚だけを用いて拡大処理をする。便宜上、静止画像は１フレームであると表現する。

図５は、低解像度画像フレームの画面６０１と画素６０２と標本点６０３の位置関係を示す図である。

画像は元来、画面空間において輝度が連続的に分布しているものである。しかし、ここで扱うデジタル画像データの場合は図５に示すように画面空間に離散的な標本点として画素を配置し、その輝度だけでその周囲の輝度を代表させている。

次に、図５乃至図８を用いて、低解像度画像と高解像度画像の関係について説明する。

図５は、画面を横６列、縦４行の２４個の正方形に分割し、その中心点を標本点６０３として、２４個の画素６０２を配した様子である。各標本点６０３が持つ輝度の代表値のことを画素値と呼ぶ。

図６は、図５で示した画面を横２倍、縦２倍に高解像度化した図である。

高解像度画像フレームの画素７０２の標本点７０３を白丸で表す。このように、画素７０２の標本点７０３の間隔は、図５の低解像度画像フレームの１／２になる。

図７は、元の低解像度画像フレームの画素を高解像度画像フレームと同じ間隔で示した図である。

この場合、低解像度画像フレームの大きさは、高解像度画像フレームの大きさよりも小さくなる。 このように、低解像度画像フレームは、その高解像度画像フレームと画面の大きさを合わせると画素の標本点の間隔が広がり、画素の標本点の間隔を合わせると画面の大きさが小さくなる。しかし、これらは同じことを表しており、適宜、低解像度画像フレームを図５のように表したり、図７のように表したりする。

図８は、低解像度画像フレームの画素の標本点を黒丸で、高解像度画像フレームの画素の標本点を白丸で示した図である。

図８に示すように、拡大処理、つまり、高解像度化の処理は、黒丸の標本点に与えられた画素値を元にして、白丸の標本点の画素値を求めることである。その際、低解像度画像のうち選定される基準フレームだけでなく、例えば、その時間的に前後のフレームなどの低解像度画像データを用いることで、鮮鋭な高解像度化を行うことができる。

次に、図１の対応位置算出部１０２及び図２のステップＳ３０２の画面空間における対応位置を算出する動作について、図９乃至図１４を用いて詳細に説明する。

図９は、移動する自動車を撮影した動画像のうち、時間的に前後する２枚のフレーム１００１、１００２を示した図である。

ここでこれら低解像度画像フレームのうち、フレーム１００２を基準フレームとして高解像度化する場合を説明する。図１の対応位置算出部１０２及び図２のステップＳ３０２では、低解像度画像フレーム１００１の中の注目画素１００３に対して、その標本点１００４が基準フレーム１００２のどの位置に対応するかを画素間隔より細かい小数精度で算出する。この位置を対応位置と呼ぶ。なお、低解像度画像フレーム１００１、１００２は、見やすいように、図５或いは図７で説明したような横６画素、縦４画素の２４画素で示しているが、実際には、例えば、ＳＤサイズの映像のサイズは、横７２０画素、縦４８０画素の画素数を有する。

図１０乃至図１２を用いて、図１の対応位置算出部１０２及び図２のステップＳ３０２の動作の例として、マッチング誤差補間法を用いた小数精度の対応位置算出方法について説明する。

図１０に示すように、マッチング誤差補間法では、初めに、ブロックマッチング法のように画素間隔の精度で低解像度画像フレーム１００１から基準フレーム１００２へフレーム間のマッチング誤差を算出する。

次に、図１０に示すように、注目画素１００３を中心に低解像度画像フレーム１００１から数画素四方、例えば５×５画素や３×３画素の矩形のブロック１１０５を注目画像領域として取り出す。

次に、注目画像領域１１０５と画素値の変化パターンが近い部分を基準フレーム１００２から探索する。画素間隔で算出するマッチング誤差としては、フレーム間での注目画像領域内の各画素値の差の２乗和であるＳＳＤ（Sum of Square Distance）や、各画素値の差の絶対値和であるＳＡＤ（Sum of Absolute Distance）などを用いることができる。

ここでは低解像度画像フレーム１００１に含まれる注目画像領域１１０５と、基準フレーム１００２に含まれる画像領域１１０６とのＳＡＤを計算して、注目画素１００３と画素１１０８とのマッチング誤差を算出する。同様にして基準フレーム１００２のその他の画素についてもマッチング誤差を算出することで、画素間隔でのマッチング誤差が算出できる。この各マッチング誤差の中で最小のマッチング誤差を持つ画素が、ブロックマッチング法で算出される対応画素となる。これは、画素間隔、つまり、整数精度での対応位置に相当する。

図１１は、低解像度画像フレーム１００１内の注目画素１００３の対応画素として、基準フレーム１００２内の画素１２１０が求まったことを示した図である。

図１１に示すグラフは、それぞれの画素で算出されたマッチング誤差を対応画素１２１０の周り３×３画素について示したグラフである。９個のマッチング誤差のうち、注目画素１２１０のマッチング誤差が最小となっているのが分かる。

先ず、横方向についての対応位置の算出について説明する。対応画素１２１０とその横方向に両隣のマッチング誤差に対称な連続関数１２１１を当てはめる。対称な連続関数は、放物線や、マッチング誤差の軸に対称な２本の直線を用いれば良い。このようにして当てはめた連続関数が極小となる横位置（白丸で図示）を、小数精度での対応位置１２１２と呼ぶ。縦方向についても同様に、縦方向の対応位置を算出できる。また、横方向、縦方向の対応位置をそれぞれ別々に算出せずに、対称な曲面を当てはめることで、同時に横方向、縦方向の対応位置を算出することもできる。

図１２は、上記した操作を施すことによって、小数精度の対応位置が算出されたことを表す図である。

図１２に示すように、時間的に前後する２枚の低解像度画像フレーム１００１と基準１００２のうち、低解像度フレーム１００１の注目画素１００３が対応する基準フレーム１００２の対応画素１２１０を求め、連続関数の当てはめることにより、注目画素１００３の標本点１００４が対応する基準フレーム１００２の対応位置１３１３が算出される。

次に、図１３及び図１４を用いて、図１の対応位置算出部１０２及び図２のステップＳ３０２の動作の例として、オーバーサンプリング法を用いた小数精度の対応位置算出方法について説明する。

図１３に示すように、オーバーサンプリング法では、初めに、注目画素１００３の注目画像領域１１０５、及び、低解像度の基準フレーム１００２（図９参照）の各画素を、高解像度化して高解像度な注目画像領域１４０５、及び、高解像度な基準フレーム１４０２を作成する。例えば、サンプリング定理に基づくSinc関数でのフィルタ処理による内挿法（三次畳込み法、BiCubic法）などを用いて高解像度化することができる。ここでは、横３倍、縦３倍に高解像度化してある。そして、この高解像度な注目画像領域１４０５と高解像度な基準フレーム１４０２において、マッチング誤差補間法の図１０で説明したように、ブロックマッチング法のように画素間隔の精度で対応画素を算出する。低解像度フレームが縦３倍、横３倍に高解像度化された、つまり、画素間隔は１／３になって、対応画素が検出されるため、低解像度画素間隔の１／３という細かい精度で、対応位置を検出できることに相当する。

図１４では、具体的に、オーバーサンプリング法によって、小数精度での対応位置が検出されている。高解像度な注目画像領域１４０５を用いて、高解像度の画素間隔の基準フレームの画素についてマッチング誤差を算出する。このマッチング誤差が最小となる画素の標本点１５１４を、注目画素１００３の標本点１００４の基準フレームへの小数精度の対応位置として算出する。

次に、図１の仮高解像度画素値修正量算出部１０３及び図２のステップＳ３０３で行う仮高解像度画像の修正量の算出について具体例を挙げて詳細に説明する。

図１５は、図１の仮高解像度画素値算出部１０１で図９の低解像度な基準フレーム１００２が縦２倍、横２倍に高解像度化されており、仮高解像度フレーム１６０１の各画素（白丸）の画素値が求まっている。また、対応位置算出部１０２で、注目画素１６０２の対応位置１６０３が黒丸として算出されている。注目画素１６０２は、注目画素が含まれる低解像度フレームにおいて、既に画素値が、撮影された正しい画素値である。

先ず、図１の仮高解像度画素値算出部１０１及び図２のステップＳ３０３は、仮高解像度フレーム１６０１の各画素（白丸）の画素値の確からしさを評価するために、仮高解像度フレーム１６０１の各画素（白丸）の画素値から、注目画素１６０２の画素値を試算する。このためには、注目画素１６０２が重なりを持つ９個の仮高解像度フレーム１６０１の画素を基に算出する。例えば、面積比に応じて加重平均して試算できる。仮高解像度フレームの画素１６０４が持つ画素値に対する重みは、注目画素１６０２の面積を１とした際の矩形１６０５の面積を重みにすれば良い。矩形１６０５は、仮高解像度フレームの画素１６０４と注目画素１６０２の重なり合う部分である。注目画素１６０２が重なる９個の矩形について、その重なる面積を重みとして、それら９個の画素値から加重平均値を求めることで、仮高解像度フレーム１６０１の画素（白丸）の画素値から、注目画素１６０２の画素値を試算できる。

このときの仮高解像度フレームが正確なものであれば、試算された注目画素１６０２の画素値と、撮影された正しい注目画素１６０２の画素値は一致するはずである。しかし、通常は、仮高解像度画素値算出部１０１での、従来のフィルタ処理による拡大では、画面内の被写体がぼけていたり、本来、連続的な直線である部分が、ジャギーと呼ばれる階段状に表現されてしまったりしているために一致しない。そこで、これが一致するように、仮高解像度フレームの画素値を修正すべき修正量を算出する。

修正量の算出のために、まず、
差分値＝（注目画素の撮影された画素値）−（注目画素の試算された画素値）
を算出する。この差分値を、試算した際の重みで分配すると、差分値は０になる。このように修正量を算出するのがＰＯＣＳ法（上記のS. Park, et.al. "Super-Resolution Image Reconstruction: A Technical Overview"のｐ．２９、ｐ．３１参照）である。これで、重みによって分配された９個の修正量を、仮高解像度フレーム１６０１の９個の画素値に加算すれば、そのとき計算した注目画素については、差分が０になり、注目画素の撮影された画素値と試算された画素値が一致する。しかし、別の注目画素の対応位置によっては、これを用いた修正によって、同じ高解像度フレーム１６０１の画素値が修正されることがある。そこで、この修正処理は、算出された全対応位置について、逐次的に行い、これを、更に、既定された回数繰り返す。この反復により、次第に、仮高解像度フレームは正確なものに近づくので、予め決めた回数反復して得られた仮高解像度フレームを、高解像度フレームとして出力する。

また、修正量の算出の際に、差分値が０になるように算出するのではなく、差分値が減少する方向に修正量を算出するのが、Iterative Back-Projection法である（上記のS. Park, et.al. "Super-Resolution Image Reconstruction: A Technical Overview"のｐ．２９、ｐ．３１参照）。

次に、図１６乃至図１８を用いて、図１の修正量一時保存部１０４及び加算部１０６及び図２のステップＳ３０４で行う加算された仮高解像度画像の修正量の保存について具体例を挙げて詳細に説明する。

修正量は、仮高解像度画素値修正量算出部１０３が算出した修正量を、直接、複数の修正量を加算した修正加算量を保存したり、算出された対応位置と対応位置の周辺の画素における狭い局所領域の修正量を複数加算して保存したりできる。

図１６は、注目画素１７０１の対応位置から算出された修正量１７０３と、注目画素１７０２の対応位置から算出された修正量１７０４を示す図である。図１の修正量一時保存部１０４は、例えば、このように、２つの修正量を並列処理で同時に算出されたものを保存する。

従来の修正量の算出では、複数の対応位置について、順次、修正処理を行っていた。つまり、第１の注目画素１７０１の第１の対応位置、第１の画素値、及び、仮高解像度フレームの画素値から第１の修正量を算出して、仮高解像度フレームの画素値を修正する。続いて、第２の注目画素１７０２の第２の対応位置、第２の画素値、及び、第１の注目画素１７０１で修正された仮高解像度フレームの画素値から第２の修正量を算出して、第１の注目画素１７０１で修正された仮高解像度フレームを修正した。第１の修正量が、第２の修正量に影響を及ぼすために、第１の修正量を求めて、次に、第２の修正量を求めていた。よって、第１の修正量と第２の修正量を並列処理で同時に別々に求めることができなかった。

しかし、図２のステップＳ３０７では、全対応位置での修正が成されたかを判定しているように、低解像度画像データのうち異なる時間に撮影されたフレームから仮高解像度画像へ更新処理を逐次行っている。また、ステップＳ３０８では、全対応位置を用いた修正処理を既定の回数繰り返して終了したかどうかを判定しているように、既定回数、更新処理を逐次行っている。このように十分な逐次処理が行われており、全ての対応位置についての修正処理を逐次行わなくても、鮮鋭な高解像度化ができる。

また、一部の修正量を並列して算出し、保存した複数の修正量で仮高解像度フレームを修正することで、高速に鮮鋭な高解像度フレームを生成することができる。

また、図１７のように、図１の修正量一時保存部１０４は、複数の修正量を加算した修正加算量を保存する。注目画素１７０１の対応位置から算出された修正量１７０３と、注目画素１７０２の対応位置から算出された修正量１７０４は、一部、重なりがあるが、全画素の修正量を加算して修正加算量１８０５を算出する。これにより、修正量を保存するメモリが１フレーム分で済むようになる。

また、図１８のように、図１の修正量一時保存部１０４は、算出された対応位置と対応位置の周辺の画素における狭い局所領域の修正量を複数保存してもよい。注目画素１７０１の対応位置から算出された修正量１７０３と、注目画素１７０２の対応位置から算出された修正量１７０４は、それぞれ９個の修正量からなる。よって、９個の修正量を保存するメモリ１９０６、１９０７と、例えば、左上の修正量の仮高解像度フレームへのアドレス情報（図１９では、第１の修正量のアドレス情報（横５画素目、縦４画素目）、第２の修正量のアドレス情報（横６画素目、縦６画素目））という情報を、並列に算出して、修正量一時保存部１０４に保存する。これにより、修正量を保存するメモリを更に小さくすることができる。

次に、図１の仮高解像度画素値修正部１０５及び図２のステップＳ３０６で行う仮高解像度画像の画素値を修正する動作について具体例を挙げて説明する。

仮高解像度画素値修正部１０５は、修正量一時保存部１０４で一時保存された修正量で、仮高解像度画素値算出部１０１で算出され、仮高解像度画素値修正部１０５に保存されている仮高解像度画素値を修正する。

修正量一時保存部１０４が、図１６に示したように、算出された修正量を、直接、複数保存している場合は、仮高解像度フレームの画素値に、まず、第１の修正量１７０３を加算し、次に、第２の修正量１７０４を加算していくことで、仮高解像度画素値を修正する。

また、修正量一時保存部１０４が、図１７に示したように、複数の修正量を加算した修正加算量１８０５を保存している場合は、仮高解像度フレームの画素値に、この修正加算量１８０５を一度加算すれば良い。

また、修正量一時保存部１０４が、図１８に示したように、算出された対応位置と対応位置の周辺の画素における狭い局所領域の修正量を複数保存している場合は、仮高解像度フレームの画素値に、まず、第１の局所領域の修正量１９０６を加算し、次に、第２の局所領域の修正量１９０７を加算していくことで、仮高解像度画素値を修正する。

次に、図１９及び図２０を用いて、図１の対応位置算出部１０２及び図２のステップＳ３０２の画面空間における対応位置を算出する動作として、被写体のフレーム内（基準フレーム内）の自己合同性を利用する場合について説明する。これは静止画など、動画のような連続する前後のフレームが無い場合に適用できる。

図１９は、横軸が画素の横座標、縦軸が輝度を示す画素値を表す、実際のデジタル画像のデータを示す図である。ここでは同じフレーム内の異なる５行のデータをそれぞれ別の折れ線で示した。

図１９に示すように、同じフレーム内の異なる行でも、非常に似た輝度変化をする部分があることが分かる。このような同じフレーム内に似た輝度変化を有する画像の性質を、自己合同性と定義する。ある注目画素の回りに存在する自己合同性を有する位置を自己合同位置と定義する。

被写体のフレーム内の自己合同性を用いて高解像度化を行う処理では、連続する複数の低解像度画像データをメモリで保持する必要がなく、少ないメモリ量で高解像度化を行うことができるという利点がある。

この自己合同性をフレーム内処理の劣化逆変換法に用いた高輝度化は、ステップS３０２において、対応位置算出部１０２が、１フレームの静止画からなる画像データを基準フレームに設定し、基準フレーム内の複数の画素、例えば、基準フレームのエッジ画素を１つずつ注目画素として順次設定し、注目画素の周辺への１以上の対応位置を小数精度で算出する。また、自己合同性を、低解像画像データを元にマッチング誤差補間法やオーバーサンプリング法に適用することで、注目画素の周辺への１以上の対応位置を小数精度で算出することもできる。

図２０は、縦方向のエッジを持つ被写体２１０６の低解像度の基準フレーム２１０１を自己合同性を用いて高解像度化する例を説明するための図である。

図２０に示すように、注目画素を２１０２、その標本点を２１０３とする。図２のステップＳ３０２では、その標本点２１０３の周りに存在する自己合同位置を算出する。自己合同位置が１ライン上、もしくは、１ライン下にあると仮定して、マッチング誤差補間法や、オーバーサンプリング法にて、小数精度の自己合同位置を求めた結果が、第１の自己合同位置２１０４、第２の自己合同位置２１０５である。

このようにして、注目画素、注目画素の画素値、注目画素の基準フレームへの小数精度の対応位置（ここでは、自己合同位置）を算出すれば、以降、図２のステップＳ３０３による仮高解像度画像の修正量の算出、ステップＳ３０４による仮高解像度画像の修正量の保存、ステップＳ３０６による仮高解像度画素値の修正を行うことで、鮮鋭な高解像度化を、高速に行うことができる。

図２１は、本発明の別の実施形態に係る画像拡大装置のブロック図である。この画像拡大装置は、修正量一時保存部２２０４から仮高解像度画素値修正部１０５の間に、修正量フィルタリング部２２０６を介することによって、加算した修正量にフィルタリング処理を施して、劣化逆変換法に固有のアーチファクトノイズと呼ばれるノイズを除去することができる。他の構成は図１にて説明した画像拡大装置と同様であるので、同一箇所は同一符号を付しその説明は省略する。

複数フレーム劣化逆変換法やフレーム内劣化逆変換法では、劣化逆変換法で発生してしまう固有の問題である市松模様状のアーチファクトノイズと呼ばれるノイズが発生することがある。

図２１に示すように、この画像拡大装置は、修正量一時保存部２２０４から仮高解像度画素値修正部１０５の間に、修正量フィルタリング部２２０６を介することによって、加算した修正量にフィルタリング処理を施して、加算した修正量からインパルス型の修正量を除去することで、アーチファクトノイズを除去しつつ、鮮鋭な高画質化が可能になる。

具体的には、図２１に示すように、修正量一時保存部２２０４は、仮高解像度画素値修正量算出部１０３で算出された複数の対応位置に対応する複数の修正量を加算した修正量を保存する。

修正量フィルタリング部２２０６は、加算した修正量からインパルス型の修正量を除去する。例えば、空間的なメディアンフィルタなどを用いる。これは、修正量の空間分布を用いて、高解像度フレームのアーチファクトノイズを除去するためである。

図２２は、図２１の画像拡大装置の動作を説明するフローチャートである。図２のフローチャートとは、ステップＳ３０５とステップＳ３０６の間に、加算した修正量からインパルス方信号を除去するステップが挿入されているところが異なり、他のステップは図２のフローチャートと同一であり同一の符号を付しその説明は省略する。

ステップＳ２３０９では、図２１の修正量フィルタリング部２２０６が、修正量一時保存部１０４に保存された加算された修正量からインパルス型の修正量をメディアンフィルタなどで除去する。これによりアーチファクトノイズを発生させるような修正量が除去されて、ステップＳ３０６での仮高解像度画像の修正において、鮮鋭に高解像度化をすることができる。

図２３は、本発明の別の実施形態に係る画像拡大装置のブロック図である。この画像拡大装置は、修正量一時保存部２２０４から仮高解像度画素値修正部１０５の間に、修正量マスキング部２４０６を介することによって、加算した修正量にマスク情報に基づくマスキング処理を施している。他の構成は図１にて説明した画像拡大装置と同様であるので、同一箇所は同一符号を付しその説明は省略する。

複数フレーム劣化逆変換法やフレーム内劣化逆変換法では、対応位置がどこを差すかが事前に分からないため、例えば、事前に画像データの一部分のみ高解像度化したいといった指定ができない。写真や文字が混在するスキャンした書類データでは、文字領域は高解像度化したいが、カラーディザ部などの写真領域は高解像度化したくないといったようなニーズがある。

図２３に示す画像拡大装置は、複数の修正量を加算した修正量にマスキング処理を施すことで、修正処理は全て並列に行い、画像データの一部分のみの鮮鋭な高画質化が可能になる。

具体的には、図２３に示すように、修正量マスキング部２４０６は、外部からのマスク情報に基づいて、加算された修正量にマスキング処理を施して、一部の加算された修正量を強制的に０にする。

図２４は、図２３の画像拡大装置の動作を説明するフローチャートである。図２のフローチャートとは、ステップＳ３０５とステップＳ３０６の間に、加算された修正量を、マスキング情報に基づくマスキング処理を施すステップが挿入されているところが異なり、他のステップは図２のフローチャートと同一であり同一の符号を付しその説明は省略する。

図２４に示すように、ステップＳ２５０９では、図２３の修正量マスキング部２４０６が、修正量一時保存部１０４に保存された加算された修正量に、マスク情報に基づいてマスキング処理を施して、一部の加算された修正量を切り出す。これにより高解像度化したい領域と高解像度化したくない領域の情報（マスク情報）に基づいて、高解像度化することができる。

本発明による画像拡大装置では、8bitの画像(画素値0〜255)での１画素当たりの画素値の差の平均（ＲＭＳ：Root Mean Square error）は１より小さく0.5729であり、１画素当たりの画素値の差の割合（ＲＭＳ／255）は、0.2247[%]である。これは、PSNRでは、52.969[dB]と非常に高いPSNRに相当する。

また、本発明による画像拡大装置は、一部の修正量を並列して算出し、保存した複数の修正量で仮高解像度フレームを修正することで、高速に鮮鋭な高解像度フレームを生成することができる。最近の並列演算可能なＣＰＵなどを用いる場合に適する。

また特に、フレーム内で処理を行う場合には、被写体のフレーム内の自己合同性を用いて高解像度化を行うため、複数の低解像度画像データをメモリで保持する必要がなく、並列処理による高速化に加えて、更に、少ないメモリ量で高解像度化を行うことができる。

また、複数の修正量を加算した加算修正量からインパルス型の修正量を除去する場合には、劣化逆変換法に固有の市松模様状のアーチファクトノイズを除去することができて、鮮鋭で高画質化な高解像度化が可能である。

また、複数の修正量を加算した加算修正量にマスキング処理を施す場合には、修正処理は全て並列に行い、画像データの一部分のみの鮮鋭な高画質化が可能になる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を組み合わせてもよい。

本発明の実施形態に係る複数の仮高解像度画素値修正量算出部から成る画像拡大装置のブロック図。 本発明の画像拡大装置の動作の一例を示すフローチャート。 ３枚の低解像度フレームから高解像度フレームを生成する様子を示す図。 １枚の低解像度フレームから高解像度フレームを生成する様子を示す図。 低解像度フレームの画面と画素との位置関係を示す図。 低解像度フレームを高解像度化した高解像度フレームを示す図。 画像の画素間隔を画素間隔に合わせた低解像度フレームを示す図。 画素の位置関係を示した図。 画面空間における対応位置の算出での注目画素と基準フレームを示す図。 画面空間における対応位置の算出での注目画像領域と画像領域を示す図。 画面空間における対応位置の算出でのマッチング誤差補間法を示す図。 画面空間における対応位置の算出での基準フレームへの対応位置を示す図。 画面空間における対応位置の算出でのオーバーサンプリング法を示す図。 画面空間における対応位置の算出での基準フレームへのオーバーサンプリングされた対応画素を示す図。 仮高解像度画像の修正量を算出する様子を示す図。 直接保存される複数の修正量を示す図。 複数の修正量を加算した修正加算量を示す図。 複数の局所領域の修正量を示す図。 局所パターンの自己合同性を示す図。 画面空間における自己合同位置を算出する様子を示す図。 本発明の別の実施形態に係る画像拡大装置のブロック図。 本発明の別の実施形態に係る画像拡大装置の動作の一例を示すフローチャート。 本発明の別の実施形態に係る画像拡大装置のブロック図。 本発明の別の実施形態に係る画像拡大装置の動作の一例を示すフローチャート。

符号の説明

１０１・・・仮高解像度画素値算出部
１０２・・・対応位置算出部
１０３・・・仮高解像度画素値修正量算出部
１０４、２２０４・・・修正量一時保存部
１０５・・・仮高解像度画素値修正部
１０６・・・加算部
６０１・・・画面
６０２、７０２、１１０８、１１０９・・・画素
６０３、７０３・・・標本点
１００１・・・注目画素が含まれる低解像度画像データの１フレーム
１００２、２１０１・・・基準フレーム
１００３、１６０２、１７０１、１７０２、２１０２・・・注目画素
１００４、２１０３・・・標本点
１１０５・・・注目画像領域
１１０６、１１０７・・・画像領域
１２１０・・・対応画素
１２１１・・・対称な連続関数
１２１２・・・小数精度の対応位置
１３１３、１５１４、１６０３・・・基準フレームへの対応位置
１４０２・・・高解像度な基準フレーム
１４０５・・・高解像度な注目画像領域
１６０１・・・仮高解像度フレーム
１６０４・・・仮高解像度フレームの画素
１６０５・・・矩形
１７０３、１７０４・・・修正量
１８０５・・・複数の修正量を加算した修正量
１９０６、１９０７・・・修正量を保存するメモリ
２１０４、２１０５・・・自己合同位置
２１０６・・・縦方向のエッジを持つ被写体
２２０６・・・修正量フィルタリング部
２４０６・・・修正量マスキング部

Claims (12)

1. 画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データが入力され、前記画像データのうち１フレームを基準フレームに設定し、前記基準フレームの画素値に基づく内挿処理によって、前記基準フレームに含まれる画素数よりも多い画素数の仮高解像度画像の画素値を算出する仮高解像度画素値算出部と、
   前記画像データが入力され、前記画像データに含まれる少なくとも１以上のフレームの中の複数の画素を１つずつ注目画素として順次設定し、前記注目画素の前記基準フレームへの少なくとも１以上の対応位置を小数精度で算出する対応位置算出部と、
   前記仮高解像度画素値と前記注目画素の画素値と前記対応位置とから、前記対応位置に対応する前記仮高解像度画素値の修正量を並列に算出する仮高解像度画素値修正量算出部と、
   前記仮高解像度画素値修正量を複数保存する修正量一時保存部と、
   前記一時保存された複数の修正量を加算する加算部と、
   前記加算された修正量を用いて前記仮高解像度画素値を修正する仮高解像度画素値修正部とを具備することを特徴とする画像拡大装置。
2. 前記加算された修正量は１フレームごとの単位で加算されていることを特徴とする請求項１に記載の画像拡大装置。
3. 前記加算された修正量は１フレームを分割した単位で加算され、前記対応位置と対応付けられていることを特徴とする請求項１に記載の画像拡大装置。
4. 前記仮高解像度画素値算出部は、１フレームの静止画像からなる画像データを基準フレームに設定し、前記基準フレームの画素値に基づく内挿処理によって、前記基準フレームに含まれる画素数よりも多い画素数の仮高解像度画像を算出し、
   前記対応位置算出部は、前記基準フレームの中の複数の画素を１つずつ注目画素として順次設定し、前記注目画素の前記基準フレームへの１以上の対応位置を小数精度で算出することを特徴とする請求項１乃至請求項３のいずれかに記載の画像拡大装置。
5. 前記加算された修正量からインパルス型の信号量を除去する修正量フィルタリング部をさらに具備し、
   前記フィルタリングされた後の、加算された修正量を用いて前記仮高解像度画素値を修正することを特徴とする請求項１乃至請求項４のいずれかに記載された画像拡大装置。
6. 前記加算された修正量を、マスク情報に基づいてマスキング処理し、一部の修正量を切り出す修正量マスキング部をさらに具備し、
   前記マスキングされた後の、切り出された修正量を用いて前記仮高解像度画素値を修正することを特徴とする請求項１乃至請求項４のいずれかに記載された画像拡大装置。
7. 画面内に複数の画素が配され、前記画素の輝度を画素値として表された画像データを入力する工程と、
   前記画像データのうち１フレームを基準フレームに設定する工程と、
   前記基準フレームの画素値に基づく内挿処理によって、前記基準フレームに含まれる画素数よりも多い画素数の仮高解像度画像の画素値を算出する工程と、
   前記画像データに含まれる少なくとも１以上のフレームの中の複数の画素を１つずつ注目画素として順次設定する工程と、
   前記注目画素の前記基準フレームへの少なくとも１以上の対応位置を小数精度で算出する工程と、
   前記仮高解像度画素値と前記注目画素の画素値と前記対応位置とから、前記対応位置に対応する前記仮高解像度画素値の修正量を並列に算出する工程と、
   前記算出された複数の修正量を加算する工程と、
   前記加算された修正量を用いて前記仮高解像度画素値を修正する工程とを具備することを特徴とする画像拡大方法。
8. 前記加算された修正量は１フレームごとの単位で加算されていることを特徴とする請求項７に記載の画像拡大方法。
9. 前記加算された修正量は１フレームを分割した単位で加算され、前記対応位置と対応付けられていることを特徴とする請求項７に記載の画像拡大方法。
10. １フレームの静止画像からなる画像データを基準フレームに設定し、前記基準フレームの画素値に基づく内挿処理によって、前記基準フレームに含まれる画素数よりも多い画素数の仮高解像度画像を算出し、
    前記基準フレームの中の複数の画素を１つずつ注目画素として順次設定し、前記注目画素の前記基準フレームへの１以上の対応位置を小数精度で算出することを特徴とする請求項７乃至請求項９のいずれかに記載の画像拡大方法。
11. 前記加算された修正量からインパルス型の信号量を除去するフィルタリング処理を施し、
    前記フィルタリングされた後の、加算された修正量を用いて前記仮高解像度画素値を修正することを特徴とする請求項７乃至請求項１０のいずれかに記載された画像拡大方法。
12. 前記加算された修正量を、マスク情報に基づいてマスキング処理し、一部の修正量を切り出し、
    前記マスキングされた後の、切り出された修正量を用いて前記仮高解像度画素値を修正することを特徴とする請求項７乃至請求項１０のいずれかに記載された画像拡大方法。

Images