JP2009060464A - 映像高解像度化装置及び方法 - Google Patents

Abstract

【課題】 少ない処理量で高解像度処理ができる映像高解像度化装置および方法を提供する。
【解決手段】 画像に含まれる１フレームを基準フレームに設定する手段と、フィールド順序と拡大率が入力され、前記基準フレームの画素位置のオフセット量を算出する手段と、前記画像に含まれる複数の画素を１つずつ注目画素として順次設定する手段と、前記注目画素の画素値からなる画像データと前記オフセット量とに基づく内挿処理によって、前記基準フレームに含まれる画素数よりも多い画素数の仮高解像度画素値を算出する手段と、前記画像データと前記オフセット量が入力され、前記基準フレームに対する前記注目画素の少なくとも１以上の対応点を小数精度で算出する手段と、前記注目画素の画素値と、前記仮高解像度画素値及び前記対応位置を用いて生成した推定画素値の誤差を小さくするように、高解像度の画素値を算出する手段とを有する。
【選択図】 図１

Description

本発明は、映像高解像度化装置及び方法に関する。

画素数が多い、つまり高解像度のテレビやディスプレイが普及してきている。テレビやディスプレイは、画像を表示する場合、画像データの画素数をパネルの画素数に変換する。高解像度処理を施すとき、サンプリング定理に基づいたSinc関数でフィルタ処理を行う内挿法（三次畳込み法、BiCubic法など）や、これよりも鮮鋭な画像が得られる複数フレーム劣化逆変換法が知られている（例えば、特許文献１、非特許文献１参照）。

複数フレーム劣化逆変換法は、基準フレーム（高解像度化させる対象となるフレーム）に写っている被写体が、これに連続する別のフレームにも写っていることに注目し、被写体の動きを画素間隔以下の小数精度で検出し、被写体の同一の局所部分に対して微小に位置がずれた複数の標本値を求め、これら複数の標本値毎に、従来の内挿法による画素値を逐次的に修正する高解像度処理方法である。

より詳細に、複数フレーム劣化逆変換法を説明する。この方法では、低解像度のフレームが時系列で並んでいる場合に、それらを順次高解像度なフレームに変換する。例えば、移動する自動車を撮影した動画像の時間的に前後する３枚のフレームを低解像度画像として用い、これらの３枚のフレームから１つのフレームを基準フレームとして高解像度化する。例えば、これを縦２倍、横２倍に高解像度化する。未知である高解像度画像の画素に対して、低解像度画像の画素、つまり既知な標本値はまばらである。この状態でも高解像度画像の画素値の推定はできるが、事前に既知な標本値を増やしておけば、より正確な高解像度画像を得ることができる。そのために、複数フレーム劣化逆変換法では、基準フレーム以外の低解像度画像の画素の位置に写っている被写体が、基準フレームの画面内でどの位置に写っているかを検出し、その画素値を基準フレーム内の対応点における標本値として用いる。

具体的には、例えば、ある画素を中心に低解像度画像から数画素四方のブロックを取り出し、このブロックと同じ大きさで、含まれる画素が、取り出したブロックと近い画素値を持つ部分を基準フレームの中で探索する。探索はサブピクセル精度で行う（例えば、非特許文献２参照）。見つかった対応ブロックの中心を対応点とする。これにより、他のフレームに対応する画面の点Ａと、基準フレームに対応する画面の点Ｂとが同じ被写体の同一の位置として対応づけられる。この対応は、点Ａを始点、点Ｂを終点とする動きベクトルで表される。サブピクセル精度で探索を行うので、動きベクトルは一般に、始点は画素の位置、終点は画素がない位置になる。このような動きベクトルを低解像度画像の全ての画素について求め、また、他の低解像度画像についても同様に各画素を始点とする基準フレームへの動きベクトルを検出する。次に、各動きベクトルの終点に始点の画素値を標本値として配置する。最後に、このように非一様に配置された標本値から、格子状に一様に配置された高解像度画像の画素の値を求める。この手法としては、重ね合わせ法（nonuniform interpolation）やＰＯＣＳ法などが知られている（例えば、非特許文献１参照）。

Progressive形式の低解像度な映像データを、Interlace形式の高解像度な映像データに変換する場合、一旦、Progressive形式の高解像度な映像データに高解像度化してから、間引き処理によってInterlace形式に変換する必要があり、処理量、使用メモリ量が多いという問題がある。

また、Interlace形式の低解像度な映像データを、Progressive形式の高解像度な映像データに変換する場合、一旦、IP変換処理によってProgressive形式の低解像度な映像データを生成してから高解像度化する必要があり、処理量が多い、使用メモリ量が多いという問題がある。

更に、Interlace形式の低解像度な映像データを、Interlace形式の高解像度な映像データに変換する場合、まず、IP変換処理によってProgressive形式の低解像度な映像データを生成し、次に、高解像度化によってProgressive形式の高解像度な映像データを生成し、間引き処理によってInterlace形式に変換する必要があり、処理量が多い、使用メモリ量が多いという問題がある。
特開２０００−１８８６８０公報 S. Park, et.al. "Super-Resolution Image Reconstruction: A Technical Overview," IEEE Signal Processing Magazine, USA, IEEE, May 2003, p.21-36. 清水，奥富，「画像のマッチングにおけるサブピクセル推定の意味と性質」電子情報通信学会論文誌D-II，電子情報通信学会，２００２年１２月，第８５巻，第１２号，ｐ．１７９１−１８００

本発明は上記問題を鑑み、少ない処理量で高解像度処理ができる映像高解像度化装置および方法を提供することを目的としている。

上記目的を達成するために本発明の高解像度化装置は、前記複数の画素から得られる画素値を画像として画像ソースから取得する画像取得手段と、前記画像ソースのフィールド順序と拡大率とを取得し、前記画像に含まれるフレームの画素位置におけるオフセット量を算出するオフセット量算出手段と、前記画像に含まれる１フレームを基準フレームに設定する第１の設定手段と、前記画像に含まれる一つ以上のフレームにおける複数の画素を１つずつ注目画素として設定する第２の設定手段と、前記注目画素の画素値からなる画像データと前記オフセット量とに基づく内挿処理によって、前記基準フレームに含まれる画素数よりも多い画素数である仮高解像度画像における画素値を仮高解像度画素値として算出する仮高解像度画素値算出手段と、前記画像データと前記オフセット量を取得し、前記基準フレームにおける前記注目画素の少なくとも１以上の対応点を小数精度で算出する対応点算出手段と、前記注目画素の画素値及び前記仮高解像度画素値と前記対応点とを用いて生成した推定画素値の誤差を小さくするように、高解像度の画素値を算出する画素値算出手段とを有することを特徴とする。

本発明の高解像度化方法は、画面内に複数の画素を配し、前記複数の画素から得られる画素値を画像として画像ソースから取得する画像取得し、前記画像ソースのフィールド順序と拡大率とを取得し、前記画像に含まれるフレームの画素位置におけるオフセット量を算出するオフセット量算出し、前記画像に含まれる１フレームを基準フレームに設定し、前記画像に含まれる一つ以上のフレームにおける複数の画素を１つずつ注目画素として設定し、前記注目画素の画素値からなる画像データと前記オフセット量とに基づく内挿処理によって、前記基準フレームに含まれる画素数よりも多い画素数である仮高解像度画像における画素値を仮高解像度画素値として算出し、前記画像データと前記オフセット量を取得し、前記基準フレームにおける前記注目画素の少なくとも１以上の対応点を小数精度で算出し、前記注目画素の画素値及び前記仮高解像度画素値と前記対応点とを用いて生成した推定画素値の誤差を小さくするように、高解像度の画素値を算出することを特徴とする。

本発明によれば、少ない処理量で高解像度処理ができる映像高解像度化装置および方法を提供できる。

以下、図面を参照しながら本発明の実施形態に係る映像高解像度化装置および方法について詳細に説明する。

なお、以下の説明で画像のことをフレームと呼ぶ。フレームとは画像を構成するものである。

図１は、本発明の実施形態に係る映像高解像度化装置のブロック図である。

図１に示すように、本実施形態の映像高解像度化装置は、メモリ１０１、オフセット量算出部１０２、仮高解像度画素値算出部１０３、対応点算出部１０４、画素値算出部１０５を備えている。なお、以下、既に説明した装置部分と同様なものは同一の番号を付してその説明を省略する。

先ず、メモリ１０１は、低解像度画像データを取得し格納する。低解像度画像は、動画像でも静止画像でも構わない。低解像度データは、画像ソース、すなわち、カメラ、テレビ等の画像データ生成部（図示せず）から取得する。より具体的には、低解像度データは、例えば、カメラが撮影した画像データやテレビが受信した画像データである。また、メモリ１０１は、仮高解像度画素値算出部１０３、対応点算出部１０４、画素値算出部１０５に低解像度画像データを供給する。また、メモリ１０１は、後述する基準フレームを設定する。

次に、オフセット量算出部１０２は、高解像度化される基準フレームのフィールド順序と拡大率とがメモリ１０１から入力される。一般に、拡大率は垂直方向の拡大率のことを、フィールド順序はInterlace形式の映像における第１のフィールド（以下topフィールドという）、第２のフィールド（以下bottomフィールドという）のことを示す。フィールド順序と垂直方向の拡大率とから、基準フレームにおける高解像度フレームの画素位置と低解像度フレームの画素位置とのオフセット量（偏差量）を算出する。

次に、仮高解像度画素値算出部１０３は、画面内に複数配した画素の輝度を画素値として表した低解像度画像データとオフセット量算出部１０２で算出されたオフセット量とが入力される。この低解像度画像データのうち１フレームを基準フレームに設定し、設定された基準フレームの画素値とオフセット量とに基づく内挿処理によって、基準フレームに含まれる画素数よりも多い画素数の仮高解像度画像データの画素値を算出する。低解像度画像データは、動画像でも静止画像でも構わない。ここでは、低解像度画像データを、例えば、カメラや携帯電話が撮影した画像データ、テレビや携帯ＡＶプレイヤーが受信した画像データ、ＨＤＤに保存された画像データなどとして説明する。

次に、対応点算出部１０４は、低解像度画像データとオフセット量算出部１０２で算出されたオフセット量が入力され、低解像画像データに含まれる１以上のフレームの中の複数の画素を１つずつ注目画素として順次設定する。設定された注目画素が基準フレームへ対応する少なくとも１以上の点の位置（以下対応位置と記す）を小数精度で算出する。小数精度での対応位置を算出する方法としては、例えば、低解像度画像データの画素間隔でマッチング誤差を求め、連続な対称関数を当てはめることで、マッチング誤差が極小となる小数精度の位置を求める方法（マッチング誤差補間法）や、低解像度画像データを拡大し、この拡大された画像における画素間隔で対応位置を求める方法（オーバーサンプリング法）がある。

また別の方法として、カメラにジャイロを搭載して、カメラの揺れを測定することで、物理的に小数精度の対応位置を検出することもできる。

画素値算出部１０５は、仮高解像度画素値算出部１０３で算出された仮高解像度画像データの画素値と、低解像度画像データの画素値と、対応点算出部１０４で算出された対応位置が入力される。低解像度画像データにおける注目画素の画素値と、仮高解像度画像データの画素値と、対応位置とを用いて推定画素値を生成し、生成された推定画素値との誤差が小さくなる方向に、仮高解像度画像データの画素値を算出する。仮高解像度データの画素値を、例えば加減算して算出する画素値変換処理は順次設定される全注目画素について繰り返し行う。

仮高解像度画像の画素値を変換する方法としては、例えば、ＰＯＣＳ法やIterative Back-Projection法（上記のS. Park, et.al. "Super-Resolution Image Reconstruction: A Technical Overview"のｐ．２９、ｐ．３１参照）によって変換する。

このように、低解像度画像データのInterlace形式のフィールド順序と拡大率とに応じたオフセット量を基に、直接、高解像度化処理を行うことで、間引き処理やIP変換処理（Interlace-Progressive 変換処理）が不要になり、少ない処理量で高解像度画像を得ることができ、また、少ないメモリ量で処理が可能になる。

図２は、図１で説明した映像高解像度化装置によって低解像度画像データから高解像度画像データを出力する動作を説明するためのフローチャートである。以下、図２及び図１を用いて、一例としてInterlace形式の低解像度画像データからの高解像度画像データの形成方法を説明する。

先ず、Interlace形式のフィールド順序と拡大率とからオフセット量を算出する（ステップＳ２０１）。具体的には、図１のオフセット量算出部１０２において、高解像度化される基準フレームのフィールド順序と拡大率とから、基準フレームに対応する高解像度フレームの画素位置と低解像度フレームの画素位置のオフセット量を算出する。

オフセット量は、フィールド順序（topフィールド／bottomフィールド）、垂直方向あるいは水平方向の拡大率、低解像度画像データ及び高解像度画像データがProgressive形式かInterlace形式かによって決められる。このオフセット量算出部１０２の詳細については後述する。

次に、仮高解像度画像データを生成する（ステップＳ２０２）。具体的には図１の仮高解像度画素値算出部１０３において、画面内に複数の画素を配し、これら画素の輝度を画素値として表した低解像度画像データのうち１フレームを基準フレームに設定し、この基準フレームの画素値とオフセット量に基づく内挿処理によって、基準フレームに含まれる画素数よりも多い画素数の仮高解像度画像データの画素値を算出する。

この内挿処理は、サンプリング定理に基づくSinc関数でのフィルタ処理による内挿法（三次畳込み法、BiCubic法）などを用いることができる。内挿処理には、オフセット算出部１０２における、低解像度画像の画素位置と高解像度画像の画素位置のオフセット量を反映させて行う。このようにして、低解像度画像データから設定された基準フレームを仮高解像度画像として拡大する。ステップＳ２０２段階での仮高解像度画像は、画面内の被写体がぼけていたり、本来、連続的な直線である部分が、ジャギーと呼ばれる階段状に表現されてしまったりしている状態である。

次に、画面空間における対応位置を算出する（ステップＳ２０３）。具体的には、図１の対応点算出部１０４において、低解像度画像データとオフセット量が入力され、低解像画像データに含まれる１以上のフレームの中の複数の画素を１つずつ注目画素として順次設定し、注目画素の基準フレームへの少なくとも１以上の対応位置を小数精度で算出する。対応位置を算出する際オフセット算出部１０２における、低解像度画像の画素位置と高解像度画像の画素位置のオフセット量を反映させて対応位置の算出を行う。

小数精度での対応位置の算出処理は、上述した通り低解像度画像データを基にマッチング誤差補間法やオーバーサンプリング法で算出したり、カメラに搭載されたジャイロによって検出したりできる。

次に、仮高解像度画像の画素値を変換する（ステップＳ２０４）。具体的には、図１の画素値算出部１０５において、仮高解像度画素値算出部１０３で算出された仮高解像度画像データの画素値と、低解像度画像データの画素値と、対応点算出部１０４で算出された対応位置が入力され、低解像度画像データの注目画素の画素値と、前記仮高解像度画像データの画素値と前記対応位置を用いて生成した推定画素値との誤差が小さくなる方向に、前記仮高解像度画像データの画素値を加減算する。

この仮高解像度画像の画素値を変換処理は、例えば、ＰＯＣＳ法やIterative Back-Projection法（上記のS. Park, et.al. "Super-Resolution Image Reconstruction: A Technical Overview"のｐ．２９、ｐ．３１参照）によって変換する。

次に、既定の繰り返し回数を終了しているかどうか判定する（ステップＳ２０５）。具体的には、図１の画素値算出部１０５において、選択された全対応位置を用いた変換処理が既定の繰り返し回数だけ終了したかどうかを判定し、ＮＯであればステップＳ２０４に戻って、最初の選択された対応位置についての仮高解像度画像の変更処理を行い、ＹＥＳであれば、仮高解像度画像を高解像度画像として出力して、終了する。

ここで、図１のオフセット量算出部１０２、対応位置算出部１０４、画素値算出部１０５の動作について詳しく説明するために、図５乃至図１０を用いて、低解像度画像データ、基準フレーム、高解像度画像データの関係について説明する。

図５は、連続する低解像度画像（映像データ）を用いて、時間順序で高解像度映像を生成する様子を説明している。

ここでは４枚目の高解像度画像のフレームを生成している。この高解像度化処理（拡大処理）を行っているときの低解像度画像のフレーム（この例では４枚目の低解像度画像のフレーム）を基準フレームとする。この基準フレームを拡大するために、低解像度画像のうち、基準フレームとその前後の時刻の３枚目の低解像度画像フレームと５枚目の低解像度フレーム（ここでは、３枚目〜５枚目）を低解像度画像データと呼ぶ。

図４は、基準フレームの低解像度画像フレームだけを用いる場合を示している。この場合拡大処理は基準フレーム内の処理のみで行う。静止画像の場合も、入力される低解像度画像は１枚だけなので、これを基準フレームに設定し、その基準フレーム１枚だけを用いて拡大処理する。便宜上、静止画像は１フレームであると表現する。

図５は、低解像度フレームの画面５０１と画素５０２と標本点５０３の位置関係を示す図である。

画像データとは、図５に示すように、画面空間に離散的な標本点として画素を配置し、その周囲の輝度をその画素の輝度で代表させている。

図５は、画面５０１を横６列、縦４行の２４個の正方形に分割し、その中心点を標本点５０３として、２４個の画素５０２を配した様子である。各標本点５０３が持つ輝度の代表値のことを画素値と呼ぶ。

図６は、図５で示した画面を横２倍、縦２倍に高解像度化した図である。

高解像度画像フレームの画素６０２の標本点６０３を白丸で表す。このように、画素６０２の標本点６０３の間隔は、低解像度画像フレームの１／２になる。

図７は、元の低解像度画像フレームの画素を高解像度画像フレームと同じ間隔で示した図である。

この場合、低解像度画像フレームの大きさは、高解像度画像フレームの大きさよりも小さくなる。このように、低解像度画像フレームは、その高解像度画像フレームと画面の大きさを合わせると画素の標本点の間隔が広がり、画素の標本点の間隔を合わせると画面の大きさが小さくなる。しかし、これらは同じことを表しており、適宜、低解像度画像フレームを図５のように表したり、図７のように表したりする。

図８は、低解像度画像フレームの画素の標本点を黒丸で、高解像度画像フレームの画素の標本点を白丸で示した図である。

図８に示すように、拡大処理、つまり、高解像度化の処理は、黒丸の標本点に与えられた画素値を元にして、白丸の標本点の画素値を求めることである。その際、低解像度画像のうち選定される基準フレームだけでなく、例えば、その時間的に前後のフレームなどの低解像度画像データを用いることで、鮮鋭な高解像度化を行うことができる。

（オフセット量算出部１０２）
次に、図１のオフセット量算出部１０２及び図２のステップＳ２０１のオフセット量を算出する動作について、図９乃至図１２を用いて詳細に説明する。

図９は、Progressive形式のフレーム９０１、及び、Interlace形式のtopフィールド９０２、bottomフィールド９０３を示す図である。Interlace形式の映像データは、図９のように、topフィールド９０２とbottomフィールド９０３を、時間的に交互に表示させて映像を再生する。

図１０は、Progressive形式の低解像度な映像データを、Interlace形式の高解像度な映像データに変換する場合のオフセット量を示す図である。垂直方向の拡大率をαとして、低解像度フレームから高解像度topフィールドを合成する場合、低解像度フレームの各標本点の位置は、従来の位置より縦方向に＋0.25/αだけオフセットすれば良いことが分かる。また、高解像度なbottomフィールドを合成する場合、低解像度フレームの各標本点の位置は、従来の位置より縦方向に−0.25/αだけオフセットすれば良いことが分かる。

図１１は、Interlace形式の低解像度な映像データを、Progressive形式の高解像度な映像データに変換する場合のオフセット量を示す図である。垂直方向の拡大率をαとして、低解像度topフィールドから高解像度フレームを合成する場合、低解像度topフィールドの各標本点の位置は、従来の位置より縦方向に−0.25だけオフセットすれば良いことが分かる。また、低解像度bottomフィールドから高解像度フレームを合成する場合、低解像度bottomフィールドの各標本点の位置は、従来の位置より縦方向に＋0.25だけオフセットすれば良いことが分かる。

図１２は、Interlace形式の低解像度な映像データを、Interlace形式の高解像度な映像データに変換する場合のオフセット量を示す図である。垂直方向の拡大率をαとして、低解像度topフィールドから高解像度topフィールドを合成する場合、低解像度topフィールドの各標本点の位置は、従来の位置より縦方向に（−0.25＋0.25/α）だけオフセットすれば良いことが分かる。また、低解像度bottomフィールドから高解像度bottomフィールドを合成する場合、低解像度bottomフィールドの各標本点の位置は、従来の位置より縦方向に（＋0.25−0.25/α）だけオフセットすれば良いことが分かる。

（対応点算出部１０４）
次に、図１の対応点算出部１０４及び図２のステップＳ２０３の画面空間における対応位置を算出する動作について、図１３乃至図１８を用いて詳細に説明する。

図１３は、移動する自動車を撮影した動画像のうち、時間的に前後する２枚のフレーム１３０１、１３０２を示した図である。

ここで、これら低解像度画像フレームのうち、フレーム１３０２を基準フレームとして高解像度化する場合を説明する。図１の対応点算出部１０４及び図２のステップＳ２０３では、低解像度画像フレーム１３０１の中の注目画素１３０３に対して、その標本点１３０４が基準フレーム１３０２のどの位置に対応するかを画素間隔より細かい小数精度で算出する。この位置を対応位置と呼ぶ。なお、低解像度画像フレーム１３０１、１３０２は、見やすいように、図３或いは図７で説明したような横６画素、縦４画素の２４画素で示しているが、実際には、例えば、ＳＤサイズの映像のサイズは、横７２０画素、縦４８０画素の画素数を有する。

（マッチング誤差補間法による対応点算出部１０４）
図１４乃至図１６を用いて、図１の対応点算出部１０４及び図２のステップＳ２０３の動作の例として、マッチング誤差補間法を用いた小数精度の対応位置算出方法について説明する。

図１４に示すように、マッチング誤差補間法では、初めに、ブロックマッチング法のように画素間隔の精度で低解像度画像フレーム１３０１から基準フレーム１３０２へのフレーム間のマッチング誤差を算出するために、注目画素１３０３を中心に低解像度画像フレーム１３０１から数画素四方、例えば５×５画素や３×３画素の矩形のブロック１４０５を注目画像領域として取り出す。

次に、注目画像領域１４０５と画素値の変化パターンが近い部分を基準フレーム１３０２から探索する。画素間隔で算出するマッチング誤差としては、フレーム間での注目画像領域内の各画素値の差の２乗和であるＳＳＤ（Sum of Square Distance）や、各画素値の差の絶対値和であるＳＡＤ（Sum of Absolute Distance）などを用いることができる。

ここでは、低解像度画像フレーム１３０１に含まれる注目画像領域１４０５と、基準フレーム１３０２に含まれる画像領域１４０６とのＳＡＤを計算して、注目画素１３０３と画素１４０７とのマッチング誤差を算出する。同様にして基準フレーム１３０２のその他の画素についてもマッチング誤差を算出することで、画素間隔でのマッチング誤差が算出できる。この各マッチング誤差の中で最小のマッチング誤差を持つ画素が、ブロックマッチング法で算出される対応画素となる。これは、画素間隔、つまり、整数精度での対応位置に相当する。

図１５は、低解像度画像フレーム１３０１内の注目画素１３０３の対応画素として、基準フレーム１３０２内の画素１５１０が求まったことを示した図である。

図１５に示すグラフは、それぞれの画素で算出されたマッチング誤差を対応画素１５１０の周り３×３画素について示したグラフである。９個のマッチング誤差のうち、対応画素１５１０のマッチング誤差が最小となっているのが分かる。

先ず、横方向についての対応位置の算出について説明する。対応画素１５１０とその横方向に両隣のマッチング誤差に対称な連続関数１５１１を当てはめる。対称な連続関数は、放物線や、マッチング誤差の軸に対称な２本の直線を用いれば良い。このようにして当てはめた連続関数が極小となる横位置（白丸で図示）を、小数精度での対応位置１５１２と呼ぶ。縦方向についても同様に、縦方向の対応位置を算出できる。また、横方向、縦方向の対応位置をそれぞれ別々に算出せずに、対称な曲面を当てはめることで、同時に横方向、縦方向の対応位置を算出することもできる。

図１６は、上記した操作を施すことによって、小数精度の対応位置が算出されたことを表す図である。

図１６に示すように、時間的に前後する２枚の低解像度画像フレーム１３０１と基準フレーム１３０２のうち、低解像度画像フレーム１３０１の注目画素１３０３が対応する基準フレーム１３０２の対応画素１５１０を求め、連続関数を当てはめることにより、注目画素１３０３の標本点１３０４が対応する基準フレーム１３０２の対応位置１６１３が算出される。

そして、図１のオフセット量算出部１０２で算出されたオフセット量だけ対応位置１６１３をずらすことで、高解像度フレームの標本点の位置から相対的に正しい対応位置に補正することができる。

（オーバーサンプリング法による対応点算出部１０４）
次に、図１７及び図１８を用いて、図１の対応点算出部１０４及び図２のステップＳ２０３の動作の例として、オーバーサンプリング法を用いた小数精度の対応位置算出方法について説明する。

図１７に示すように、オーバーサンプリング法では、初めに、注目画素１３０３の注目画像領域１４０５（図１４参照）を高解像度化して、高解像度な注目画像領域１７０５を作成する。また、低解像度の基準フレーム１３０２（図９参照）の各画素を高解像度化して、高解像度な基準フレーム１７０２を作成する。例えば、サンプリング定理に基づくSinc関数でのフィルタ処理による内挿法（三次畳込み法、BiCubic法）などを用いて高解像度化することができる。ここでは、横３倍、縦３倍に高解像度化してある。そして、この高解像度な注目画像領域１７０５と高解像度な基準フレーム１７０２において、マッチング誤差補間法の図１４で説明したように、ブロックマッチング法のように画素間隔の精度で対応画素を算出する。低解像度フレームが縦３倍、横３倍に高解像度化された、つまり、画素間隔は１／３になって対応画素が検出されるため、低解像度画素間隔の１／３という細かい精度で、対応位置を検出できることに相当する。

図１８では、具体的に、オーバーサンプリング法によって、小数精度での対応位置が検出されている。高解像度な注目画像領域１７０５を用いて、高解像度の画素間隔の基準フレームの画素についてマッチング誤差を算出する。このマッチング誤差が最小となる画素の標本点１８１４を、注目画素１３０３の標本点１３０４の基準フレームへの小数精度の対応位置として算出する。

そして、図１のオフセット量算出部１０２で算出されたオフセット量だけ標本点１８１４をずらすことで、高解像度フレームの標本点の位置から相対的に正しい対応位置に補正することができる。

（画素値算出部１０５）
次に、図１の画素値算出部１０５及び図２のステップＳ２０４で行う仮高解像度画像の画素値の変換について、図１９を用いて具体例を挙げて詳細に説明する。

図１９は、図１の仮高解像度画素値算出部１０３で図１３の低解像度な基準フレーム１３０２が縦２倍、横２倍に高解像度化されており、仮高解像度フレーム１９０１の各画素（白丸）の画素値が求まっている。また、対応点算出部１０４で、注目画素１９０２の対応位置１９０３が黒丸として算出されている。注目画素１９０２は、注目画素が含まれる低解像度画像データにおいて、既に画素値が、撮影された正しい画素値である。

先ず、図１の画素値算出部１０５及び図２のステップＳ２０４は、仮高解像度フレーム１９０１の各画素（白丸）の画素値の確からしさを評価するために、仮高解像度フレーム１９０１の各画素（白丸）の画素値から、ある注目画素１９０２の画素値を試算する。このためには、注目画素１９０２が重なりを持つ９個の仮高解像度フレーム１９０１の画素を基に算出する。例えば、面積比に応じて加重平均して試算できる。仮高解像度フレームの画素１９０４が持つ画素値に対する重みは、注目画素１９０２の面積を１とした際の矩形１９０５の面積を重みにすれば良い。矩形１９０５は、仮高解像度フレームの画素１９０４と注目画素１９０２の重なり合う部分である。注目画素１９０２が重なる９個の矩形について、その重なる面積を重みとして、それら９個の画素値から加重平均値を求めることで、仮高解像度フレーム１９０１の画素（白丸）の画素値から、注目画素１９０２の画素値を試算できる。

このときの仮高解像度フレームが正確なものであれば、試算された注目画素１９０２の画素値と、撮影された正しい注目画素１９０２の画素値は一致するはずである。しかし、通常は、仮高解像度画素値算出部１０３での、従来のフィルタ処理による拡大では、画面内の被写体がぼけていたり、本来、連続的な直線である部分が、ジャギーと呼ばれる階段状に表現されてしまったりしているために一致しない。そこで、これが一致するように、仮高解像度フレームの画素値を加減算すべき修正量を算出する。

修正量の算出のために、まず、
差分値＝（注目画素の撮影された画素値）−（注目画素の試算された画素値）
を算出する。この差分値を、試算した際の重みで分配すると、差分値は０になる。このように修正量を算出するのがＰＯＣＳ法（上記のS. Park, et.al. "Super-Resolution Image Reconstruction: A Technical Overview"のｐ．２９、ｐ．３１参照）である。これで、重みによって分配された９個の正または負の修正量を、仮高解像度フレーム１９０１の９個の画素値に加算すれば、そのとき計算した注目画素については、差分が０になり、注目画素の撮影された画素値と試算された画素値が一致する。しかし、別の注目画素の対応位置によっては、これを用いた修正によって、同じ高解像度フレーム１９０１の画素値が修正されることがある。そこで、この修正処理は、全対応位置について、逐次的に行い、これを、更に、既定された回数繰り返す（ステップＳ２０５）。この反復により、次第に、仮高解像度フレームは正確なものに近づくので、予め決めた回数反復して得られた仮高解像度フレームを、高解像度フレームとして出力する。

また、修正量の算出の際に、差分値が０になるように算出するのではなく、差分値が減少する方向に修正量を算出するのが、Iterative Back-Projection法である（上記のS. Park, et.al. "Super-Resolution Image Reconstruction: A Technical Overview"のｐ．２９、ｐ．３１参照）。

（フレーム内自己合同性）
次に、図２０及び図２１を用いて、図１の対応点算出部１０４及び図２のステップＳ２０３の画面空間における対応位置を算出する動作として、被写体のフレーム内（基準フレーム内）の自己合同性を利用する場合について説明する。これは、静止画など、動画のような連続する前後のフレームが無い場合に適用できる。

図２０は、横軸が画素の横座標、縦軸が輝度を示す画素値を表す、実際のデジタル画像のデータを示す図である。ここでは同じフレーム内の異なる５行のデータをそれぞれ別の折れ線で示した。

図２０に示すように、同じフレーム内の異なる行でも、非常に似た輝度変化をする部分があることが分かる。このような同じフレーム内に似た輝度変化を有する画像の性質を、自己合同性と定義する。

被写体のフレーム内の自己合同性を用いて高解像度化を行う処理では、連続する複数の低解像度画像データをメモリで保持する必要がなく、少ないメモリ量で高解像度化を行うことができるという利点がある。

この自己合同性をフレーム内処理の劣化逆変換法に用いた高解像度化は、ステップＳ２０３において、対応点算出部１０４が、１フレームの静止画からなる画像データを基準フレームに設定し、基準フレーム内の複数の画素、例えば、基準フレームのエッジ画素を１つずつ注目画素として順次設定し、注目画素の周辺への１以上の対応位置を小数精度で算出する。これは、低解像度画像データを元にマッチング誤差補間法やオーバーサンプリング法を用いることで算出することができる。

図２１は、縦方向のエッジを持つ被写体２１０６の低解像度の基準フレーム２１０１を自己合同性を用いて高解像度化する例を説明するための図である。

図２１に示すように、注目画素を２１０２、その標本点を２１０３とする。図２のステップＳ２０３では、その標本点２１０３の周りに存在する自己合同位置を算出する。自己合同位置が１ライン上、もしくは、１ライン下にあると仮定して、マッチング誤差補間法や、オーバーサンプリング法にて、小数精度の自己合同位置を求めた結果が、第１の自己合同位置２１０４、第２の自己合同位置２１０５である。

このようにして、注目画素、注目画素の画素値、注目画素の基準フレームへの小数精度の対応位置（ここでは、自己合同位置）を算出すれば、以降、図２のステップＳ２０４による仮高解像度画像の画素値の変換を行うことで、鮮鋭な高解像度化を、高速に行うことができる。（以降、この映像高解像度化の方法をフレーム内劣化逆変換法と呼ぶ。）
本発明による映像高解像度化装置では、映像形式に応じたオフセット量を基に、直接、高解像度化することが可能になり、少ない処理量、少ないメモリ量で高解像度画像を得ることができる。

また、特に、フレーム内で処理を行う場合には、被写体のフレーム内の自己合同性を用いて高解像度化を行うため、複数の低解像度画像データをメモリで保持する必要がなく、更に、少ないメモリ量で高解像度化を行うことができる。

また、上記実施形態では、主にProgressive形式とInterlace形式の間での解像度変換、つまり、垂直方向のオフセット量について説明したが、YUV444形式、YUV422形式、ＹＵＶ420形式の間での解像度変換、つまり、水平方向のオフセット量が発生する場合でも、同様に、少ない処理量、少ないメモリ量で高解像度画像を得ることができる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を組み合わせてもよい。

本発明の実施形態に係る映像高解像度化装置のブロック図。 本発明の映像高解像度化装置の動作の一例を示すフローチャート。 ３枚の低解像度フレームから高解像度フレームを生成する様子を示す図。 １枚の低解像度フレームから高解像度フレームを生成する様子を示す図。 低解像度フレームの画面と画素との位置関係を示す図。 低解像度フレームを高解像度化した高解像度フレームを示す図。 低解像度フレームの画素間隔を高解像度フレームの画素間隔に合わせた低解像度フレームを示す図。 低解像度フレームの標本点と高解像度フレームの標本点の位置関係を示した図。 Progressive形式のフレームとInterlace形式のtopフィールドとbottomフィールドを示す図。 Progressive形式の低解像度な映像データをInterlace形式の高解像度な映像データに変換する場合のオフセット量を示す図。 Interlace形式の低解像度な映像データをProgressive形式の高解像度な映像データに変換する場合のオフセット量を示す図。 Interlace形式の低解像度な映像データをInterlace形式の高解像度な映像データに変換する場合のオフセット量を示す図。 画面空間における対応位置の算出での注目画素と基準フレームを示す図。 画面空間における対応位置の算出での注目画像領域と画像領域を示す図。 画面空間における対応位置の算出でのマッチング誤差補間法を示す図。 画面空間における対応位置の算出での基準フレームへの対応位置を示す図。 画面空間における対応位置の算出でのオーバーサンプリング法を示す図。 画面空間における対応位置の算出での基準フレームへのオーバーサンプリングされた対応画素を示す図。 仮高解像度画像の画素値を変換する様子を示す図。 局所パターンの自己合同性を示す図。 画面空間における自己合同位置を算出する様子を示す図。

符号の説明

１０１・・・メモリ
１０２・・・オフセット量算出部
１０３・・・仮高解像度画素値算出部
１０４・・・対応位置算出部
１０５・・・画素値算出部
５０１・・・画面
５０２、６０２、１４０７・・・画素
５０３、６０３、１３０４、２１０３・・・標本点
９０１・・・Progressive形式のフレーム
９０２・・・Interlace形式のtopフィールド
９０３・・・Interlace形式のbottomフィールド
１３０１・・・注目画素が含まれる低解像度画像データの１フレーム
１３０２、２１０１・・・基準フレーム
１３０３、１９０２、２１０２・・・注目画素
１４０５・・・注目画像領域
１４０６・・・画像領域
１５１０・・・対応画素
１５１１・・・対称な連続関数
１５１２・・・小数精度の対応位置
１６１３、１８１４、１９０３・・・基準フレームへの対応位置
１７０２・・・高解像度な基準フレーム
１７０５・・・高解像度な注目画像領域
１９０１・・・仮高解像度フレーム
１９０４・・・仮高解像度フレームの画素
１９０５・・・矩形
２１０４、２１０５・・・自己合同位置
２１０６・・・縦方向のエッジを持つ被写体

Claims (14)

1. 画面内に複数の画素を配し、前記複数の画素から得られる画素値を画像として画像ソースから取得する画像取得手段と、
   前記画像ソースのフィールド順序と拡大率とを取得し、前記画像に含まれるフレームの画素位置におけるオフセット量を算出するオフセット量算出手段と、
   前記画像に含まれる１フレームを基準フレームに設定する第１の設定手段と、
   前記画像に含まれる一つ以上のフレームにおける複数の画素を１つずつ注目画素として設定する第２の設定手段と、
   前記注目画素の画素値からなる画像データと前記オフセット量とに基づく内挿処理によって、前記基準フレームに含まれる画素数よりも多い画素数である仮高解像度画像における画素値を仮高解像度画素値として算出する仮高解像度画素値算出手段と、
   前記画像データと前記オフセット量を取得し、前記基準フレームにおける前記注目画素の少なくとも１以上の対応点を小数精度で算出する対応点算出手段と、
   前記注目画素の画素値及び前記仮高解像度画素値と前記対応点とを用いて生成した推定画素値の誤差を小さくするように、高解像度の画素値を算出する画素値算出手段とを有することを特徴とする映像高解像度化装置。
2. 前記画像取得手段は、前記画像として複数のフレームからなる動画像を取得し、
   前記第１の設定手段は、前記複数のフレームのうちの１枚のフレームを基準フレームに設定し、
   前記第２の設定手段は、前記基準フレームを除く１以上のフレームに含まれている画素を注目画素に設定することを特徴とする請求項１に記載の高解像度化装置。
3. 前記画像取得手段は、前記画像として、複数のフレームからなる動画像を取得し、
   前記第１の設定手段は、前記複数のフレームのうちの１枚のフレームを基準フレームに設定し、
   前記第２の設定手段は、前記基準フレームに含まれている画素を注目画素に設定することを特徴とする請求項１に記載の高解像度化装置。
4. 前記取得手段は、前記画像として、１フレームからなる静止画像を取得し、
   前記第１の設定手段は、前記静止画像を基準フレームに設定し、
   前記第２の設定手段は、前記基準フレームに含まれている画素を注目画素に設定することを特徴とする請求項１に記載の高解像度化装置。
5. 前記注目画素ごとに該注目画素を含む注目画像領域を設定する第３の設定手段と、
   前記注目画像領域に含まれる画素値の変化パターンに最も近い複数の注目画像領域に対応する複数の対応点を前記基準フレームの中から選択する選択手段を更に備えることを特徴とする請求項１に記載の高解像度化装置。
6. 前記選択手段は、
   前記仮高解像度画像において注目画素の周囲部分のｍ×ｎ（ｍ、ｎとも１以上の整数）画素を注目画像領域として設定し、
   前記仮高解像度画像に含まれる複数のｍ×ｎ画素の対応候補画像領域を設定し、
   該複数の対応候補画像領域のうちから、前記注目画像領域との画素値の誤差和が最小となる対応画素領域を算出し、
   前記対応画素領域の位置を前記複数の対応点の１つとすることを特徴とする請求項５に記載の高解像度化装置。
7. 前記画素値算出手段は前記仮高解像度画素値を加減算して変換することを特徴とする請求項１乃至６記載の高解像度化装置。
8. 前記画素値算出手段により算出された画素値はInterlace形式の画像として出力する出力手段を更に備え、
   前記画像取得手段は、Progressive形式である画像ソースから前記画像を取得することを特徴とする請求項１乃至７記載の高解像度化装置。
9. 前記画像取得手段は、Interlace形式である画像ソースから前記画像を取得することを特徴とする請求項８記載の高解像度化装置。
10. 前記画素値算出手段により算出された画素値はProgressive形式の画像として出力する出力手段を更に備え、
    前記画像取得手段は、Interlace形式である画像ソースから前記画像を取得することを特徴とする請求項１乃至７記載の高解像度化装置。
11. 前記オフセット量算出手段におけるオフセット量は、前記画像中の画素間隔を１、拡大率をαとした場合に、第１のフィールドについては＋０．２５／α、第２のフィールドについては−０．２５倍／αであることを特徴とする請求項８記載の高解像度化装置。
12. 前記オフセット量算出手段におけるオフセット量は前記画像中の画素間隔を１、拡大率をαとした場合に、第１のフィールドについては−０．２５＋０．２５／α、第２のフィールドについて＋０．２５−０．２５／αであることを特徴とする請求項９記載の高解像度化装置。
13. 前記オフセット量算出手段におけるオフセット量は前記画像中の画素間隔を１とした場合に、第１のフィールドについては−０．２５、第２のフィールドについては＋０．２５であることを特徴とする請求項１０記載の高解像度化装置。
14. 画面内に複数の画素を配し、前記複数の画素から得られる画素値を画像として画像ソースから取得する画像取得し、
    前記画像ソースのフィールド順序と拡大率とを取得し、前記画像に含まれるフレームの画素位置におけるオフセット量を算出するオフセット量算出し、
    前記画像に含まれる１フレームを基準フレームに設定し、
    前記画像に含まれる一つ以上のフレームにおける複数の画素を１つずつ注目画素として設定し、
    前記注目画素の画素値からなる画像データと前記オフセット量とに基づく内挿処理によって、前記基準フレームに含まれる画素数よりも多い画素数である仮高解像度画像における画素値を仮高解像度画素値として算出し、
    前記画像データと前記オフセット量を取得し、前記基準フレームにおける前記注目画素の少なくとも１以上の対応点を小数精度で算出し、
    前記注目画素の画素値及び前記仮高解像度画素値と前記対応点とを用いて生成した推定画素値の誤差を小さくするように、高解像度の画素値を算出することを特徴とする映像高解像度化方法。

Images