JP2009064193A

JP2009064193A - 解像度変換装置及び方法

Info

Publication number: JP2009064193A
Application number: JP2007230746A
Authority: JP
Inventors: Hidenori Takeshima; 秀則竹島; Takashi Ida; 孝井田; Nobuyuki Matsumoto; 信幸松本
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2007-09-05
Filing date: 2007-09-05
Publication date: 2009-03-26

Abstract

【課題】高品質な画像を損なわずに対応点推定の際の演算量削減を行う
【解決手段】複数の画素からなる画像に含まれる１以上のフレーム中の複数の画素を１つずつ注目画素として設定する第１の設定手段と、前記注目画素を含む領域に画素値の空間変化である局所パターンの境界線方向に応じた注目画素に対応する複数の対応点の探索範囲を設定し、前記局所パターンの境界線方向を推定する境界線方向推定手段と、前記注目画素と前記対応点との局所パターンの差が小さくなるような点を前記探索範囲からサブピクセル精度で１つの注目画素に対して２回以上算出する対応点探索手段と、前記注目画素の画素値を前記対応点の位置における標本値として設定する第２の設定手段と、前記画像の画素数と異なる画素数の画像であって、前記標本値と前記複数の対応点の配置に応じた画像を算出する画素値算出手段とを有する解像度変換装置。
【選択図】図３

Description

本発明は、解像度変換装置及び方法に関する。

高い解像度のテレビやディスプレイが普及してきている。テレビやディスプレイは、画像を表示する場合、画像データの画素数をパネルの画素数に変換する。特に、画素数を増やす高解像度化の変換において、線形内挿よりも鮮鋭な画像が得られる方法として、複数のフレームの情報を用い、画像の撮像過程（劣化過程）の逆変換を考慮し高解像度の画像を復元する方法（以下、劣化逆変換法と呼ぶ）が知られている。

劣化逆変換法では、基準フレームに写る被写体が別のフレームにも写っていることに注目し、被写体の動きを画素間隔よりも高い精度（サブピクセル精度）で検出することで、被写体の各局所部分に対して微小に位置がずれた複数の標本値を求め、それらの情報を統合することで高解像度化する。

より詳細に、劣化逆変換法を説明する。この方法では、低解像度のフレームが時系列で順次与えられた場合に、それらを順次高解像度のフレームに変換する。例えば、移動する自動車を撮影した動画像の時間的に前後する３枚のフレームを低解像度画像として用い、これら３枚のフレームのうち１枚のフレームを基準として高解像度化する。例えば、これを縦２倍、横２倍の解像度に高解像度化する。１枚のフレームのみを用いた場合、未知である高解像度画像の画素に対して、低解像度画像の画素、つまり既知の標本値はまばらである。この状態でも高解像度画像の画素値の推定は可能であるが、既知の標本値を増やすことができれば、より正確に高解像度画像を得ることができる。そのために、劣化逆変換法では、基準フレーム以外の低解像度画像内で各画素の位置に写っている被写体が、基準フレームの画面内でどの位置に写っているかを検出し、その画素値を基準フレーム内の対応点における標本値として用いる。

具体的には、例えば、ある画素を中心として低解像度画像から数画素四方のブロック（例えば、横５画素×縦５画素のブロック）を取り出し、このブロックと同じ大きさで、含まれる画素が取り出したブロックと近い画素値を持つ部分を基準フレーム内で探索する。探索はサブピクセル精度で行う。（例えば、非特許文献２参照）。探索後、見つかった対応ブロックの中心を対応点とする。これにより、他のフレームに対応する画面の点Ａと基準フレームに対応する点Ｂとが同じ被写体の同じ位置として対応づけられる。以下、この対応づけのアルゴリズムをブロックマッチング法と呼ぶ。この対応は、点Ａを始点、点Ｂを終点とする動きベクトルで表される。サブピクセル精度で探索を行うため、動きベクトルの始点は画素の位置であるが、終点は一般に画素がない位置になる。このような動きベクトルを低解像度画像のすべての画素について求め、また、他の低解像度画像についても同様に各画素を始点とする基準フレームへの動きベクトルを検出する。基準フレームへの動きベクトルが得られたら、各動きベクトルの終点に始点の画素値を基準フレームの標本値として配置する。最後に、このように非一様に配置された標本値から、格子状に一様に配置された高解像度画像の画素の値を求める。この変換（劣化逆変換）の方法は例えば非特許文献１にあげられており、例えばNon-uniform interpolation法、ＰＯＣＳ法、ＭＬ法やＭＡＰ法が知られている。しかし、高解像度への画像変換に用いられる対応点によって高解像度推定精度は変わらず、画像変換時の演算量が増大することがあった。
S. C. Park et al., ``Super-Resolution Image Reconstruction: A Technical Overview,’’ IEEE Signal Processing Magazine, pp.21-36, May 2003. M. Shimizu et al., ``Precise Sub-pixel Estimation on Area-based Matching,’’ in Proc. IEEE International Conference on Computer Vision, pp.90-97, 2001.

本発明は、上記問題を解決するためになされたもので、高品質な画像を損なわずに解像度変換に用いる対応点推定の際演算量削減を行う解像度変換装置及び方法を提供することを目的としている。

上記目的を達成するために本発明の解像度変換装置は、画面内に複数の画素を配し、前記複数の画素から得られる画素値を画像として画像ソースから取得する取得手段と、前記画像に含まれる１以上のフレーム中の複数の画素を１つずつ注目画素として設定する第１の設定手段と、前記注目画素を含む領域に画素値の空間変化である局所パターンの境界線方向に応じた注目画素に対応する複数の対応点の探索範囲を設定し、前記局所パターンの境界線方向を推定する境界線方向推定手段と、前記注目画素と前記対応点との局所パターンの差が小さくなるような点を前記探索範囲からサブピクセル精度で１つの注目画素に対して２回以上算出する対応点探索手段と、前記注目画素の画素値を前記対応点の位置における標本値として設定する第２の設定手段と、前記画像の画素数と異なる画素数の画像であって、前記標本値と前記複数の対応点の配置に応じた画像を算出する画素値算出手段とを有することを特徴とする。

また、前記対応点探索手段によって前記境界線方向に沿った前記対応点が探索された場合に、前記境界線方向推定手段は、複数の前記対応点の小数成分間隔を閾値以上になるように探索範囲を設定する手段であることが好ましい。

また、前記境界線方向推定手段は、前記対応点の探索範囲を出力画像度と入力画像との比に応じて設定することを特徴とする手段であることが好ましい。

また、前記画像に含まれるフレームの画素位置をずらした仮画像を生成する生成手段を更に有し、前記境界線方向推定手段は、前記画像及び前記仮画像に対して対応点の探索範囲を設定することが好ましい。

また、前記取得手段は、前記画像として、複数のフレームからなる動画像を取得し、前記第１の設定手段は、前記複数のフレームのうちの１枚のフレームを基準フレームに設定し、前記境界線方向推定手段は、前記基準フレームを除く１以上のフレームに含まれている画素を注目画素に設定することが好ましい。

前記取得手段は、前記画像として、複数のフレームからなる動画像を取得し、前記第１の設定手段は、前記複数のフレームのうちの１枚のフレームを基準フレームに設定し、前記境界線方向推定手段は、前記基準フレームに含まれている画素を注目画素に設定することが好ましい。

前記境界線方向推定手段は、水平及び垂直方向でのエッジ検出フィルタを用い、エッジ検出フィルタにより算出される水平及び垂直方向における算出値の比率から境界線方向を推定する手段であることが好ましい。

前記境界線方向推定手段は、前記対応点に対する第１の探索範囲を用いて算出された第１の対応点と、第２の探索範囲を用いて算出された第２の対応点との位置関係によって前記境界線方向を推定する手段であることが好ましい。

前記画素値算出手段で算出された画像を出力させる出力手段を更に有することが好ましい。

本発明の解像度変換方法は、画面内に複数の画素を配し、前記複数の画素から得られる画素値を画像とした画像ソースから取得し、前記画像に含まれる１以上のフレーム中の複数の画素を１つずつ注目画素として順次設定し、前記注目画素を含む領域に画素値の空間変化である局所パターンの境界線方向に応じた注目画素に対応する複数の対応点の探索範囲を設定し、前記局所パターンの境界線方向を推定し、前記注目画素と前記対応点との局所パターンの差が小さくなるような点を前記探索範囲からサブピクセル精度で１つの注目画素に対して２回以上算出し、前記注目画素の画素値を前記対応点の位置における標本値として設定する第４の設定手段と、前記画像の画素数と異なる画素数の画像であって、前記標本値と前記複数の対応点の配置に応じた画像を算出することを特徴とする。

本発明によれば、高品質な画像を損なわずに解像度変換に用いる対応点推定の際演算量削減を行う解像度変換装置及び方法を提供できる。

以下に、本発明の実施例を詳細に説明する。

本発明者らは解像度変換で用いる対応点についていくつかの実験を行い、以下の知見を得た。図１及び図２を用いて説明する。

図１及び図２は注目画素（黒丸●）及び対応点の位置（白抜き三角△）の位置関係を示した図で、図１は出力画像の画像品質の向上に寄与する対応点の例、図２は画像品質の向上に寄与しない対応点の例を示す。

図１において変換対象となる画素Ｆ１０１と探索によって見つかった対応点Ｆ１０２の位置関係は、対応点Ｆ１０２が既知の画素に対して中間的な位置であり、例えば低解像度の画像に対して高解像度の画像の推定において画像品質の向上に大きく寄与する。しかし、図２のように、既知の画素Ｆ２０１とほとんど同じ位置に見つかった対応点Ｆ３０２の場合、対応点Ｆ２０２を高解像度画像の推定に利用しても高解像度画像の品質はあまりかわらない。即ち、図２のような対応点場合、画像品質の向上には寄与せず、解像度変換における演算量のみを増やすことになる。

劣化逆変換法を利用した解像度変換では、対応点推定に多くの演算量を必要とする。例えば、ブロックマッチングによる対応点推定では、多くの対応点の候補に対してブロック誤差を算出する必要があるため、その演算量は大きい。仮に、多くの演算量の結果得られた対応点が図３のような対応点である場合、要した演算量に見合うだけの向上が得られていないと考えられる。

このような対応点推定では、対応点を探索、推定する前に得あられる対応点の位置を予想し、画像品質の向上に寄与しない無駄な対応点が見つかると予想した場合には、無駄な対応点が見つかると予想した位置に対する探索を行わないようにすると良い。

一般に、画像から画像に含まれる微小なブロックを切り出した場合に、微笑なブロック内の図形は単色の領域（以下平坦領域という）や１つの直線で区切られた物体境界（以下エッジ領域という）であることが多い。例えば、平坦領域について対応点が探索された場合には画像の品質向上に寄与しないことが多い。このような場合には対応点の探索を行う際に平坦領域での対応点の探索を行わずに次のステップに進むことで演算量を減らすことが可能である。平坦領域であるか否かは、例えばブロック内の輝度分散により判別することが可能である。

本実施形態における解像度変換装置及び方法を図３及び図４を用いて説明する。

図３は例えばプロセッサー、メモリ、I/Oカードなどを組み込んだセル等に代表されるハードウェアにおける解像度変換装置の例を示している。

図３は本実施形態における解像度変換装置の構成を示している。本実施形態における解像度変換装置は、画面内に複数の画素を配したデータを画像ソースから取得する映像受付手段３０１と、複数の画素から得られる画素値から注目画素を設定するＤＳＰ１（３０２）及びメモリ３０３と、複数の対応点の配置に応じた画素値を算出するＤＳＰ２（３０４）及びメモリ３０５と、算出された画素値を画像として出力する映像出力手段３０６と、共有メモリ３０７と、外部装置から解像度を変換する画像を入力する映像入力手段３０８及び映像出力手段から得られた画像を表示させる映像表示手段３０９とからなる。

映像受付手段３０１は映像入力手段３０８から取得した複数の画素を配した画像ソースから画像を取得し、例えばメモリ３０３を介しＤＳＰ（Digital Signal Processor）用メモリであるＤＳＰ１（３０２）に画像データを送る。

画像データは映像受付手段３０１が直接各DSP用のメモリ（３０３あるいは３０５）にコピーするか、映像受付手段３０１から入力されたデータを共有メモリ３０７に格納しておき、各DSP（３０２あるいは３０４）が必要に応じて共有メモリ３０７から取り込む。共有メモリ３０７を利用する場合は、例えば、共有メモリ３０７にＤＳＰ１（３０２）、ＤＳＰ２（３０４）等すべてのDSPからのアクセスを受けるための排他制御機能を備えておくと良い。

ＤＳＰ１（３０２）は、映像受付手段３０１から得られた画像から注目画素を設定する。

ＤＳＰ２（３０４）は、メモリ３０５を介し、注目画素および注目画素を含む領域から対応点の探索範囲を設定して境界線方向を推定し、探索範囲から対応点を探索し、注目画素の画素値を対応点の位置における標本値として設定し、標本値と複数の対応点の配置に応じた画素値を算出する。

図３のような解像度変換装置の場合に各ＤＳＰがASICやFPGAの回路でなくソフトウェアで実現されている場合にはプログラムを記録したＲＯＭを準備する、あるいは予めＤＳＰ用のメモリ（例えば３０３、３０５）にプログラムを備えておくことがよい。

また、これまでＤＳＰ１が一つある場合の例を示したが、ＤＳＰが複数あり、個々のＤＳＰが独立に対応点を探索し、探索した対応点をＤＳＰ２に送信してもよい。対応点探索操作を画像全体処理した後、ＤＳＰ２で劣化逆変換法を適用することも可能である
次に図４を用いて解像度変換方法の詳細について説明する。本実施形態における解像度変換方法は映像入力ステップＳ４０１、注目画素の設定ステップ（Ｓ４０２）、境界線方向推定ステップ（Ｓ４０３）、探索範囲推定ステップ（Ｓ４０４）、対応点検出ステップ（Ｓ４０５）、出力解像度の画素値算出ステップ（Ｓ４０６）、画素出力ステップＳ４０７からなる。

Ｓ４０１：映像入力ステップＳ４０１では、映像入力手段３０８より解像度変換の対象となる画像データを取得し格納する。画像は、動画像でも静止画像でも構わない。画像データは、画像ソース、すなわち、カメラ、テレビ等の画像データ生成部（図示せず）から取得する。より具体的には、例えば、カメラが撮影した画像データやテレビが受信した画像データである。

Ｓ４０２：注目画素の設定ステップ（Ｓ４０２）では、解像度変換の対象となる画像データの画素を注目画素として設定する。DSP1（３０２）はメモリ３０３に画像の全画素あるいは必要な部分の画素についての輝度値を注目画素で輝度値として格納し、注目画素の設定ステップ（Ｓ４０２）、後述する境界線方向推定ステップ（Ｓ４０３）、探索範囲推定ステップ（Ｓ４０４）及び対応点検出ステップ（Ｓ４０５）はについてもDSP1で処理する。なお、DSP1およびメモリ303に相当する回路を複数利用できる場合には、例えば回路の数にあわせて設定した注目画素をふりわけてＳ４０２〜Ｓ４０５を並列処理しても良い。

Ｓ４０３：境界線方向推定ステップ（Ｓ４０３）は、注目画素設定ステップ（Ｓ４０２）で設定した複数の注目画素における境界線の方向を推定する。境界線の推定する方法としては方向性エッジ検出フィルタの比を利用する方法や仮の対応点を用いて推定する方法などがある。これらは、回路規模や取り込む画像の性質により適した方法を選択することがよく、詳細は後述する。

Ｓ４０４：探索範囲推定ステップ（Ｓ４０４）は、境界線方向推定ステップによって推定された境界線方向の情報を用いて、注目画素に対する対応点の探索範囲を設定する。詳細は後述する。

Ｓ４０５：対応点検出ステップ（Ｓ４０５）は探索範囲推定ステップ（Ｓ４０４）によって設定された探索範囲に従い、各注目画素に対する対応点を検出する。例えば注目画素をラスタスキャン順で切り替えながら、全画素を処理するまで注目画素設定ステップＳ４０２から対応点検出ステップＳ４０５を繰り返す。求めた対応点に関する情報は共有メモリ３０７に出力し格納しておく。同一フレーム内で対応点を求めることによるフレーム内法、複数フレームから対応点を求めることによる複数フレーム法等を用いて検出する。詳細は後述する。

Ｓ４０６：出力解像度の画素値算出ステップ（Ｓ４０６）は映像入力ステップ（Ｓ４０１）で取得した画像データおよび対応点検出ステップ（Ｓ４０５）で検出された対応点を用いし、劣化逆変換法により出力する解像度に対応した画像を推定する。画素値算出ステップではDSP2（３０４）が共有メモリ３０７に格納された対応点を読み込み、ワークメモリとして３０５に一時的に格納しながら劣化逆変換法を実行し、処理結果を映像出力手段３０６に送る。

Ｓ４０７：画素出力ステップＳ４０７は出力解像度の画素値算出ステップＳ４０６で推定された画像を映像表示手段３０９に出力する。出力結果は例えば、外部の出力装置である映像表示手段に出力画像を表示する。あるいは、映像をハードディスクなどの不揮発記憶手段に保存しても良い。

映像入力手段３０８が取得する画像データが動画像の場合、動画像の各フレームに対して解像度変換を施して別の解像度の動画像を生成する場合は、例えば、画像フレームを時系列にしたがって逐次ずらしながら映像入力ステップＳ４０１から画素出力ステップＳ４０７を繰り返して行う
次にパソコンやテレビ、ＤＶＤレコーダのように汎用ＣＰＵ上でソフトウェアにより実施する場合の装置構成の例について図５を参照して説明する。

図５では外部入出力手段５０７として、例えばキーボードやマウスといった手段を備えたパソコン、リモコン入力とＤＶＤ入出力やオーディオ出力を備えた映像レコーダ、を備えたシステムに好適である。例えば、ユーザはキーボードやマウス、リモコンからの指示で本解像度変換を動作させることができる。

一時記憶手段５０１は、演算手段５０２、入出力受付手段５０３、映像受付手段５０４、映像出力手段５０５、不揮発記憶手段５０６、外部入出力手段５０７、映像入力手段５０８、映像表示手段５０９
画像データは映像入力手段５０８により映像受付手段５０４が一時記憶手段５０１にコピーするか、不揮発記憶手段５０６格納しておき、演算手段５０２が必要に応じて取り込む。

入出力受付手段５０３は画像データを映像入力手段５０８あるいは画像出力手段５０７に送る。

演算手段５０２は、映像受付手段５０４から得られた画像から注目画素を設定する。

また、注目画素および注目画素を含む領域から対応点の探索範囲を設定して境界線方向を推定し、探索範囲から対応点を探索し、注目画素の画素値を対応点の位置における標本値として設定し、標本値と複数の対応点の配置に応じた画素値を算出する。

算出された画素は映像出力手段５０５により映像表示手段５０９に送られ、解像度変換語の画素を基にした画像データを画面等に表示させる。

ソフトウェアプログラムはあらかじめ不揮発記憶手段５０６から一時記憶手段５０１にプログラムを読み込んでおくものとする
（劣化逆変換法）
次に劣化逆変換について、その具体的な手順を説明する。

変換対象フレームの出力解像度での画素値をx、入力される変換対象フレームの低解像度画像の画素値をｙ、入力される他フレームの低解像度画像の画素値で第k番目の画素値をｙ_ｋ、第ｋ番目のノイズをｎ_k であらわす。画素値は例えば画像の輝度値やＲＧＢの各成分値を用いることができる。

求める対応点の情報に既知のカメラ画素サンプリングモデル・ダウンサンプリング方法を組み合わせた行列W_kが与えられると、ｋ＝０、１、・・・として解くべき式は式（１）であらわされる。

式（１）は未知のノイズを含み、またW_k ^-1 が存在する可能性も含むが、例えば低解像度から高解像度へ変換する超解像ではノイズの平均的な性質を考えて、この式をなるべく満たすようにｘを推定する。例えば、ＰＯＣＳを用いた劣化逆変換法の場合、次の流れに従う。

（ステップ１）
ステップ１は低解像度から高解像度への変換行列Ｗを与え、ノイズを無視した式（２）を立てる。

Ｗは変換対象フレームの各画素値、他フレームから変換対象フレームへの対応点、各対応点に対応する他フレームの各画素値、および高解像度画素値からの各低解像度画素値の算出関数であるPoint Spread Functionにより定める。ノイズを無視した式（２）は、低解像度画素値が各高解像度画素値の重みつき和に等しいとした等式を並べて行列表記したものである。

前記重みつき和の重みは低解像度画素と高解像度画素の位置関係や撮像系を考えて与える。例えば、高解像度の画素格子で考えたときに低解像度画素の中心が置かれる位置を中心として、別途定めた分散を持つガウス分布を係数とした重み値を設定することができる。

（ステップ２）
式（２）を構成する各式は第i番目の画素について次式で表される。

ノイズの影響をあまり受けずに式（３）の格式を満たすxを求めるために、POCSでは、ステップサイズβ[i]、および定数δ[i]を別途与え、次式（式（４））の繰り返し演算を実行する。

ステップサイズβ[i]や定数δ[i]はすべてのiに対して同じ値（例えばβ[i]=1、δ[i]=10）でも良いし、例えば式（５）のように画素によって変えても良い。なお、x^(ｘハット；式（４）におけるｘの推定値を以下x＾と表す）の初期値は、変換対象フレームに線形補間やキュービックコンボリューション法などを適用して与える。

（ステップ３）
別途定めた回数だけステップ２を繰り返す。

（ステップ４）
得られた推定高解像度画像x^を出力する。

以上がＰＯＣＳによる劣化逆変換の流れである。

また、ＭＡＰ法を用いた劣化逆変換の流れは次の通りである。

ステップ１：ＰＯＣＳと同様の方法で式（２）を立てる。

ステップ２：式（２）の等式に対する誤差が大きいほどエネルギーが高くなる第１の項と、予め準備した自然画像の一般的な性質に対する画像xの誤差が大きいほどエネルギーが高くなる第２の項の２つを結合したエネルギー関数を考え、それを最小化する画像xを探す。

例えば、自然画像の一般的な性質として近傍の画素の輝度値があまり変化しないと仮定すると、エネルギー関数として式（６）を立てることができる。

ノルムの右下の1はL1ノルムをあらわす。例えばPmとしてP1：水平方向の平行移動、P2：垂直方向の平行移動の２通りを考えれば、第２項は縦横それぞれについて隣接画素のずれに対する大きさの和を求め、その合計値をλで重みづけした値になる。

Eを最小化する方法として例えばsteepest descent法が利用できる。steepest descent法とは、xの推定値x^をエネルギー関数の勾配方向に−β倍したステップ進める操作を繰り返す方法であり、その更新は式（７）により行われる。

式（７）をそのまま実行しても良いし、式（８）の各行の式、及び式（９）の各行の式について、それをエネルギー関数の勾配方向を構成する式として（勾配項から注目する式以外を除去して）上記の更新式を順次適用することで、推定値x^を逐次更新しても良い。なお、x^の初期値は、変換対象フレームに線形補間やキュービックコンボリューション法などを適用して与える。

ステップ３：別途定めた回数だけステップ２を繰り返す。

ステップ４：得られた推定高解像度画像x^を出力する。

なお、ここで示したＭＡＰ法のエネルギー関数は一例であり、このエネルギー関数でなくてもかまわない。また上記の手順で補間が必要になる。補間方法としては例えば次の方法が利用できる。

（Ａ）線形補間
既知の２点を用いて補間する。補間に用いる２点は、できるだけ補間すべき点の近くを用いることが望ましい。既知の２点の位置をa₁、a₁+1、そのサンプリング値をy₁、y₂とし、補間すべき点の位置をa₁+cで表すと、補間値は次式（式１０）で求められる。

（Ｂ）キュービックコンボリューション法
既知の等間隔に配置された４点を用いて補間する。補間に用いる４点は、補間位置を中心とした２以下の範囲に配置されているものとする。補間値は、各点に対し、補間位置を中心とした次式（式１１）の重みカーネルの値をかけてそれらの和を求めることで得られる。

γは補間関数を制御するパラメータで、例えばγ＝−１．０あるいはγ＝−０．５とする。

（基本的な対応点推定）
対応点の推定手段である対応点検出ステップＳ４０５では２つの画像間での対応点を求める方法と、画像内で局所的に合同なパターンを求める方法の２つが考えられ、そのいずれを利用しても良い。まず通常の推定方法を説明する。

対応点推定手法として、ブロックマッチングと関数フィッティングを組み合わせた方法がある。この方法では、整数位置の変位についてブロックマッチングを行い、得られた位置の周辺で誤差曲線を用いた関数フィッティングを行い、誤差曲線の極小位置をサブピクセル変位として求める。

ここでブロックマッチングとは、第１のフレームに設定された第１のテンプレート領域に対し、第２のフレームで第１のテンプレート領域と類似する領域を探す手法の１つである。具体的には、まず第２のフレームで適当な探索範囲を設定し、次に探索範囲内でテンプレートと同じ形状の領域を順次取り出し、テンプレートと取り出した領域における画素値の誤差の合計（以下ブロック誤差）が最小となる領域を求め、対応する位置を探す。

テンプレート領域としては、例えば、対応するサンプリング点を求めたい画素を中心とした正方形・長方形・円やひし形の領域を設定することができる。本実施形態では、長方形以外の領域についてもブロックと呼ぶこととする。

探索範囲としては、例えば、第１のフレームにおける第１のテンプレートの位置を中心とし、第１のテンプレートの周囲を探索の範囲として設定することができる。ブロック誤差としては、ＳＳＤ（各画素における画素値の２乗距離の合計値；Sum of Squared Distance）やＳＡＤ（各画素における画素値の絶対値距離の合計値；Sum of Absolute Distance）を使うことができる。なお、時刻ｔ、画素（ｐ、ｑ）の輝度をＩ（ｐ，ｑ，ｔ）、時刻ｔにおける画素（ｐ、ｑ）の時刻ｔ＋Δｔに対する動きベクトルを（Δｐ、Δｑ）で表すと、ＳＳＤおよびＳＡＤはそれぞれ次式（式（１２）及び式（１３）で表される。

また、関数フィッティングとは、ブロックマッチングで得られた位置でのブロック誤差と、その周辺の位置でのブロック誤差に基づいてサブピクセル位置ずれを推定する方法である。具体的には、例えばブロック誤差としてＳＳＤを用いる場合、１次元のサブピクセル位置ずれの算出には誤差曲線を２次曲線とすれば図６に示すような次式（式１４）

になり（位置ずれ修正後の動きベクトルはΔｐ＋subpixelになる）、ＳＡＤを用いる場合は誤差曲線を絶対値関数とすれば次の式

になる。２次元のサブピクセル位置ずれを推定する方法の１つはこれを水平・垂直方法のそれぞれについて適用することである。あるいは、例えばSSDを利用する場合誤差曲線を２次元で考えれば、２次元のサブピクセル位置ずれ(δx、δｙ)は次式（式１６）

を満たすと仮定でき、例えばδx、δｙとしてそれぞれー１〜＋１の９点についてＳＳＤの実測値を与えてa〜fの係数の最小２乗解を求める、あるいは適当な６点を与えてa〜fの係数の解を求めることにより、（δx、δｙ）を偏微分＝０で得られる２つの式を解いて推定できる。あるいは１次元のサブピクセル位置ずれの式を用い、２次元の変位を同時に推定する方法（清水、奥富、「領域ベースマッチングのための２次元同時サブピクセル推定法」電子情報通信学会論文誌D-II、Vol. J87-D-II、No. 2、pp.554-564、2004参照）を用いることも可能である。

なお、フレーム間での対応点推定において対応点は１つに限らない。例えば２つ以上対応点を求めることができれば、それらの対応点は本実施形態におけるすべて劣化逆変換法に利用可能である。複数の対応点を求めるには、例えば、最適なＳＳＤやＳＡＤの値に対し、その２倍までの誤差を持つ点をすべて許容すれば良い。

（フレーム内法）
次に同一フレーム内でブロックマッチングと関数フィッティングを使って対応点を求める方法について説明する。例えば物体の輪郭線部分では、同一フレーム内に合同な局所パターンが存在することが多い。このような局所パターンに対しては、同一フレーム内で対応点を求めることができ、これを利用すれば解像度変換によって得られる画像の精度を向上（即ち画質の向上）させることができる。

一般的に同一フレーム内に合同な局所パターンが存在する場合、その局所パターンは設定したテンプレートの周辺に存在することが多い。また、設定したテンプレートと同じテンプレートでの対応点は画像変換時の対応点として画質の向上へ寄与しない。

これらのことから、予め定めた方向、例えば水平方向（図７）や垂直方向（図８）に対してブロックマッチングで探索し、最後に関数フィッティングを施して変位を求めれば、合同な局所パターンを持つ画素の多くについて対応点を効率よく求められると考えられる。（図７及び図８はブロックマッチングにおける基準位置からの変位を表す。図中、黒丸（●）および白丸（○）は整数変位を表す。黒丸（●）はブロックマッチングにおいて候補とする変位を表し、白丸（○）はブロックマッチングに利用しない変位を表す。以下特に断りがない限り同様に示して説明を省略する）
また、仮にこのような局所パターンが物体の輪郭線のような直線で近似できる場合に、エッジの方向を求められることによってどのような方向に探索すると良いか推測することが可能である。エッジの方向は、水平・垂直それぞれの方向に対するエッジ検出フィルタの値の比から求めることができる。したがって、例えば１次差分フィルタあるいはＳｏｂｅｌフィルタをエッジ検出フィルタとしてその出力値を求め、それらの比を求めることで、仮に局所パターンが直線で近似できる場合に、エッジの方向が水平方向・垂直方向のどちらに近いのかが推測できる。得られたエッジの方向に基づいて、エッジ方向が垂直に近いのであれば図７、あるいは水平に近いのであれば図８のように探索をすることで、ＳＳＤやＳＡＤの描く関数の振れ幅が大きくなり、より正確な変位を求めることができる。

なお、例えばエッジの方向が垂直に近いと推測され図７のような探索を行う場合、あわせて図９、図１０、図１１のラインについても探索を行うことで、より多くの対応点を得ることができる。

また、エッジ検出フィルタで探索エッジの方向を推測するかわりに、次のようにしてもよい。図１２のように周辺を囲うようにブロックマッチングを行うと、周囲で最適な変位が求められる。この変位が水平方向の探索（図９や図１１のライン）で見つかっていれば探索を水平方向に、垂直方向の探索で見つかっていれば垂直方向にする。４つの角の部分で見つかった場合は水平方向・垂直方向のいずれかで探索しても良いし、４５度方向に変位の候補を配置して探索しても良い。

以上、フレーム間での対応点推定、フレーム内の合同パターン探索による対応点推定それぞれについて、通常の探索方法を説明した。通常の探索では、対応点の候補として画素間隔といった基準で探索範囲を設定し、その範囲内から点を探索するということを行う。

しかし、通常の探索では見つかる対応点については制御を行っていないことから、見つかった対応点が解像度変換に有用であるか否かは不明であり、使用するアルゴリズムやパラメータ、画像により判断される必要がある。

上述の通り発明者らの実験では、見つかった対応点が、低解像度画素の位置や既知の対応点から離れているほど、解像度変換に対して有用である、つまり出力画像の正確さを大きく向上させる可能性が高いことがわかっている。

例えば、変換対象となる画像が低解像度であり、低解像度画像から高解像度画像に変換する場合には、図１に示したように、見つかった対応点Ｆ１０２が、既知の低解像度位置Ｆ１０１の中間位置にあればそれは有益である。また、対応点が２つ見つかる場合にその解像度変換への有用度を考えると、同じ位置に２つの対応点が見つかるよりも、互いに離れた２つの位置に２つの対応点が見つかったほうが画質の向上に寄与する可能性が高い。

一方、図２に示したように、既知の低解像度位置Ｆ２０１に近い位置にばかり対応点が見つかる場合は、たとえ多くの対応点が見つかっても、解像度変換による正確さの向上はそれほど期待できない。また、例えば解像度変換により横方向に２倍に拡大したいのであれば、対応点の密度は横方向に２倍程度あればよい。一般に、水平・垂直方向の拡大率をそれぞれρｘ、ρｙとしたとき、対応点の密度が横方向にρｘ程度、縦方向にρｙ程度あれば十分である。

ここで、まだ探索していない探索範囲に対して見つかるであろう対応点のサブピクセル位置（小数点以下まで含めた位置）が予想でき、かつ、その対応点の位置が解像度変換による画質の向上に有用ではないことが予め予想できるならば、その探索を行っても画質の向上には寄与しない可能性が高い。一方で対応点の探索にかかる計算コストの増加、および対応点を利用することによる劣化逆変換の計算コストの増加を考えると、そのような対応点については探索を行わないほうが良い場合が多い。

（フレーム内法：境界線方向の推定）
次に、同一フレーム内で対応点を探索する場合に画質の向上に寄与しないな探索を省略するための方法、即ち、境界線方向の推定について説明する。

平坦な（テクスチャのない単色やグラデーションの）領域は、画像の高周波成分をもたないため、対応点を見つけても画質の向上に寄与しないことが明らかな領域である。従って多くの場合対応点の探索は不要である。このような領域は、例えば、画素を中心とした適当なサイズ（例えば５ｘ５）のブロックを配置し、その輝度分散がしきい値以下であるかどうかを判定することによって検出できる。

一方、平坦な領域以外に、画像によくあらわれる局所パターンとして、境界線がある。境界線、例えば物体間の境界は、局所的に見ると直線に近いパターンであることが多い。したがって、境界線の方向を推定できると、不要な対応点の探索を省略することが可能である。

図１３は境界線方向の縦横比が１／４の場合の探索方法の例である。例えば境界線１３０６に対して、フレーム内の合同パターン探索により対応点を見つけることを考える。対応点を探したい画素を１３０１とする。仮に境界線の方向が縦画素数／横画素数＝４画素の方向であることが推定できる場合には、サブピクセル位置が＋１／４画素、＋２／４画素、＋３／４画素である１３０２、１３０３、１３０４は低解像度画像による画素１３０１から見て中間位置にあり解像度変換に際して画質の向上に有用であるが、１３０５のサブピクセル位置は１３０１と同じ＋０／４画素であり、対応点が探索されたとしても、解像度変換によって得られる画像の画質の向上にはあまり寄与しない。

同様に、境界線の方向が図１４に示す縦画素数／横画素数＝３画素の場合はサブピクセル位置が＋１／３画素、＋２／３画素である１４０２、１４０３は有益であるが、１４０４、１４０５のサブピクセル位置はそれぞれ１４０１、１４０２のサブピクセル位置と同じと考えられ、探索によって得ても画質の向上に寄与しない。同様に、図１５の場合は１５０２のみ探索すれば良い。これらの例では縦画素数／横画素数が１以上の場合についてのみ説明したが、１未満の場合には探索方向として横方向の図７ではなく縦方向の図８を適用すれば同じ方法が使用可能である。

また対応点の探索の要否については次のように行う。

まず、推定済みのサブピクセル位置集合Ｓを０のみの要素で初期化する。つまりＳ＝｛０｝とする。境界線の方向が縦画素数／横画素数＝ｐ（ｐは実数）と推定された場合に、整数ｎに対してサブピクセル位置ｎｐ-[ｎｐ]を考え（なお[ｘ]はｘの整数部を表す）、そのサブピクセル位置とＳの要素との距離（例えばユークリッド距離）の最小値がしきい値以上になる場合にのみ探索を行い、見つかった対応点のサブピクセル位置をＳに追加する。サブピクセル位置とＳの要素との距離の最小値がしきい値に達しなかった場合には対応点の探索をしない。ここで利用するしきい値は、手入力で別途与えても良い。あるいは、例えば解像度変換による変換倍率の逆数（２倍であれば１／２）に別途定めた係数Ｋ（例えば０．８）を掛けた値としても良い。

また、例えば有用な対応点がＫ／（変換倍率）以上の間隔を持つ点のみであるなら、ｎ×（横画素数／縦画素数）＜Ｋ／（変換倍率）である場合にはその対応点の探索は画質の向上に寄与しない。従って、ｎ≧（Ｋ＊ｍ）／（（変換倍率）×（横画素数／縦画素数））を満たす最低の整数ｎをｍ＝１、２、・・・に対して求め、そのｎで与えられるラインのみを探索しても良い。

（境界線方向の推定：単純なエッジ角度）
境界線の方向を推定する方法の１つは、方向性エッジ検出フィルタの比を利用することである。方向性エッジ検出フィルタとしては、例えば、水平Ｓｏｂｅｌフィルタ

および垂直Ｓｏｂｅｌフィルタ

を、エッジ角度を知りたい位置が中心となるように適用し、フィルタ出力の比、つまり水平フィルタ出力／垂直フィルタ出力の値を算出すれば、先に述べた境界線の方向である縦画素数／横画素数の推定値が得られる。なお、方向性エッジ検出フィルタであれば、利用するフィルタはＳｏｂｅｌフィルタでなくても良い。

（フレーム内法：既知の画素＋１点による境界線方向の推定）
また、方向性エッジ検出フィルタを用いなくても、次の方法でも境界線方向を推定できる。説明図を図１６に示す。まず、どんな方法でも良いので１つ目の対応点を探す。図１６では、図７に示す探索ラインを利用して１つ目の対応点を探している。次に、入力画像により与えられる画素位置と見つかった対応点の２点を結んだ直線を考え、この方向を求めて境界線方向とする。図１６では、境界線方向は縦画素数／横画素数＝３画素の方向になっている。境界線方向が見つかった後は、例えば、先に述べた方法で無駄な探索ラインをスキップしながら、入力画像に近い探索ラインから順に対応点を探せば良い。

（複数フレーム法：２対応点による境界線方向の推定）
以上、入力画像が１枚の画像である場合について説明したが、画像ソースから取得する画像が動画像の場合は、その各フレームを１枚の静止画像とみなし、同一フレーム内の合同な局所パターンを利用した解像度変換方法をフレームごとに適用しても良いし、次に述べる方法により他フレームを利用した解像度変換方法を、対象とするフレームを切り替えながら適用しても良い。

境界線の方向を推定して対応点の探索を省略する、つまり対応点の探索を制御する手法は、フレーム間の対応点探索の場合、フレーム内合同パターン探索と同様に複数の対応点を探す方法を利用することが可能である。複数の対応点を探す場合は、まず基本的な探索方法、例えばブロックマッチングと関数フィッティングを用いて、対応点を１つ見つける。

次に、見つかった点をフレーム内合同パターン探索における対象画素と同じように扱って探索する。具体的には、見つかった対応点近傍の整数画素位置を中心として、図７（あるいは図８）のように候補となる位置（候補位置）を設定し、次の対応点を探策する。探索した対応点におけるブロック誤差（例えばＳＳＤ）が、最初に基本的な対応点探索方法で見つけた点におけるブロック誤差と、別途定めた許容誤差値を加えた値を超えなければその点を新たな対応点とし、超える場合にはその点は誤推定と判断して解像度変換に使用しない。誤推定か否かの判定は、最初に見つかった対応点におけるブロック誤差に、別途定めた許容誤差率を掛けた値を超えない点のみを対応点とすることで行っても良い。更にフレーム内合同パターン探索と同様に、探索ラインを順次設定し、誤推定が起こるまで対応点推定を繰り返す。このとき、先に図１３〜図１５を用いて説明した方法と同じ方法で探索を省略することができる。

エッジの方向を利用して境界線の方向を推定する方法については、静止画像の場合に説明した方法と同様である。方向推定の際に利用する画素は、入力画像の画素であっても良いし、例えば基本的な探索により対応点を１つ見つけ、その対応点に最も近い画素に対して水平・垂直方向の方向性エッジ検出フィルタの出力値を求め、水平方向及び垂直方向の比を求めて利用しても良い。

見つけた対応点を利用して方向を推定する場合は、まず、基本的な探索方法（例えばブロックマッチングと関数フィッティング）で対応点を１つ見つけ、次に、候補位置を上述した位置（例えば図７の位置）に設定し、第２の対応点を探す。その後、見つかった２つの対応点を結んだ直線を考えて、その方向を求めれば良い。

（テクスチャの扱い）
テクスチャの領域を考慮する場合には、例えば次のような方法があげられる。まず、上述の例と同様に、平坦な領域をブロック内の輝度分散で判定して対応点探索範囲から除外する。次に、エッジ検出フィルタの比を利用して方向を推定する。これを第１の方向とする。

次に、対応点を１つ（フレーム間で推定する場合には２つ）見つけ、それらに基づいて先の方法で方向を推定する。これを第２の方向とする。第１の方向と第２の方向の差がしきい値以下であれば、それをエッジとみなして先の方法を適用し、しきい値を超える場合にはテクスチャとみなして処理をする。テクスチャとみなした場合の処理は、すべての候補ラインを探索する方法であっても良いし、あるいは、テクスチャではあまりフレーム内の合同パターンが期待できないと考えて、探索を行わなくても良い。

（変形例１：：サブピクセルシフト法との組み合わせ）
上述の例では入力画像フレームをそのまま用いて、他のフレームから入力画像フレームへの対応点を推定する場合を例に説明をした。しかし、例えば対応点の推定にブロックマッチング法を用いると、推定される対応点の位置は入力画像の各画素の位置に偏りやすい。このような偏りが起こると出力画像に対して悪い影響を与えることがある。この偏りを避けるために、次の方法を利用することもできる。

ステップ１：入力画像フレームの画素位置をわずかにずらした画像（サブピクセルずれ画像）を補間によりいくつか生成する。例えば、入力画像の各画素が（i、j）(i, jは整数)に存在する座標系を考えたとき、各画素が（i+0.5、j）の位置にある画像、（i、j+0.5）の位置にある画像、（i+0.5、j+0.5）の位置にある画像の３つのサブピクセルずれ画像を生成する。

ステップ２：入力画像フレーム、および３つのサブピクセルずれ画像のそれぞれを入力画像フレームとして、すでに説明した本発明の方法を利用して対応点を推定する。

ステップ３：３つのサブピクセルずれ画像に対する対応点のそれぞれについて、それらを元の入力画像フレームの座標系における対応点の位置に戻す。

ステップ４：ステップ２で入力画像フレームに対して求めた対応点に加え、ステップ３で元の入力画像フレームの座標系に戻した対応点も利用して、劣化逆変換を実行する。

以上に説明した方法を利用すると、推定される対応点の位置が入力画像の各画素の位置に集中する現象を緩和でき、出力画像への悪影響を軽減できる。なお、この例では0.5画素ずれた３通りのサブピクセルずれ画像を生成したが、ずれの量は0.5画素に限定されず、任意の実数値であっても良い。例えば、0.12画素や0.7画素でも良い。

（変形例２：装置におけるライン単位の処理）
今までの例では、画像をフレームごとに扱う例を中心として説明した。しかし、例えば図３の回路を各DSP用のメモリ３０３、３０５、３０７は高速だが容量が少ないＲＡＭで、共有メモリ３０８は低速だが容量が多いＲＡＭとした場合、DSP用のメモリに数フレーム分の画像を記憶することは難しくなる。この場合、例えば処理を数ライン〜数十ラインごとに行うと、少ないメモリでも実施可能になる。

以上、フレーム内での合同パターンを利用した対応点探索、フレーム間での複数対応点探索のそれぞれについて、その境界線の方向を利用して画質の向上に寄与しない、無駄な探索を省略する手法を説明した。本実施形態に記載の解像度変換装置あるいは方法を利用することで、画質の向上に寄与しない、無駄な対応点の探索に要した演算が不要になるため、解像度変換に利用する対応点推定の演算量を少なくできる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、多くの発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。

解像度変換に用いる画素と対応点の例を示す図。解像度変換に用いる画素と対応点の例を示す図。本実施形態における解像度変換装置を示す図。本実施形態における解像度変換方法を示す図。本実施形態における解像度変換装置を示す図。ＳＳＤを利用した場合の関数フィッティングを示す図。フレーム内の合同パターン探索における探索ラインの１例を示す図。フレーム内の合同パターン探索における探索ラインの１例を示す図。フレーム内の合同パターン探索における探索ラインの１例を示す図。フレーム内の合同パターン探索における探索ラインの１例を示す図。フレーム内の合同パターン探索における探索ラインの１例を示す図。フレーム内の合同パターン探索における探索ラインの１例を示す図。境界線方向の縦横比が１／４の場合の探索方法の例を示す図。境界線方向の縦横比が１／３の場合の探索方法の例を示す図。境界線方向の縦横比が１／２の場合の探索方法の例を示す図。探索した対応点を利用した境界線方向推定の方法例を示す図。

符号の説明

Ｆ１０１、Ｆ２０１・・・変換対象となる画像の画素
Ｆ１０２、Ｆ２０２・・・対応点
３０１・・・映像受付手段３０１、３０２、３０４・・・ＤＳＰ、３０３、３０５、３０７・・・メモリ、３０６・・・映像出力手段３０６、３０８・・・映像入力手段、３０９・・・映像表示手段
Ｓ４０１・・・画像入力ステップ、Ｓ４０２・・・注目画素の設定ステップ）、Ｓ４０３・・・境界方向推定ステップ、Ｓ４０４・・・探索範囲推定ステップ、Ｓ４０５・・・対応点検出ステップ、Ｓ４０６・・・出力解像度の画素値算出ステップ、Ｓ４０７・・・画像出力ステップ

Claims

画面内に複数の画素を配し、前記複数の画素から得られる画素値を画像として画像ソースから取得する取得手段と、
前記画像に含まれる１以上のフレーム中の複数の画素を１つずつ注目画素として設定する第１の設定手段と、
前記注目画素を含む領域に画素値の空間変化である局所パターンの境界線方向に応じた注目画素に対応する複数の対応点の探索範囲を設定し、前記局所パターンの境界線方向を推定する境界線方向推定手段と、
前記注目画素と前記対応点との局所パターンの差が小さくなるような点を前記探索範囲からサブピクセル精度で１つの注目画素に対して２回以上算出する対応点探索手段と、
前記注目画素の画素値を前記対応点の位置における標本値として設定する第２の設定手段と、
前記画像の画素数と異なる画素数の画像であって、前記標本値と前記複数の対応点の配置に応じた画像を算出する画素値算出手段と
を有することを特徴とする解像度変換装置。
前記対応点探索手段によって前記境界線方向に沿った前記対応点が探索された場合に、
前記境界線方向推定手段は、複数の前記対応点の小数成分間隔を閾値以上になるように探索範囲を設定する手段であることを特徴とする請求項１に記載の解像度変換装置。
前記境界線方向推定手段は、前記対応点の探索範囲を出力画像度と入力画像との比に応じて設定することを特徴とする手段であることを特徴とする請求項１あるいは２に記載の解像度変換装置。
前記画像に含まれるフレームの画素位置をずらした仮画像を生成する生成手段を更に有し、
前記境界線方向推定手段は、前記画像及び前記仮画像に対して対応点の探索範囲を設定することを特徴とする請求項１乃至３記載の解像度変換装置。
前記取得手段は、前記画像として、複数のフレームからなる動画像を取得し、
前記第１の設定手段は、前記複数のフレームのうちの１枚のフレームを基準フレームに設定し、
前記境界線方向推定手段は、前記基準フレームを除く１以上のフレームに含まれている画素を注目画素に設定することを特徴とする請求項１乃至４に記載の解像度変換装置。
前記取得手段は、前記画像として、複数のフレームからなる動画像を取得し、
前記第１の設定手段は、前記複数のフレームのうちの１枚のフレームを基準フレームに設定し、
前記境界線方向推定手段は、前記基準フレームに含まれている画素を注目画素に設定することを特徴とする請求項１乃至５に記載の解像度変換装置。
前記境界線方向推定手段は、水平及び垂直方向でのエッジ検出フィルタを用い、エッジ検出フィルタにより算出される水平及び垂直方向における算出値の比率から境界線方向を推定する手段であることを特徴とする請求項１乃至６に記載の解像度変換装置。
前記境界線方向推定手段は、前記対応点に対する第１の探索範囲を用いて算出された第１の対応点と、第２の探索範囲を用いて算出された第２の対応点との位置関係によって前記境界線方向を推定する手段であることを特徴とする請求項１乃至６に記載の解像度変換装置。
前記画素値算出手段で算出された画像を出力させる出力手段を更に有することを特徴とする請求項１乃至８に記載の解像度変換装置。
画面内に複数の画素を配し、前記複数の画素から得られる画素値を画像とした画像ソースから取得し、
前記画像に含まれる１以上のフレーム中の複数の画素を１つずつ注目画素として順次設定し、
前記注目画素を含む領域に画素値の空間変化である局所パターンの境界線方向に応じた注目画素に対応する複数の対応点の探索範囲を設定し、前記局所パターンの境界線方向を推定し、
前記注目画素と前記対応点との局所パターンの差が小さくなるような点を前記探索範囲からサブピクセル精度で１つの注目画素に対して２回以上算出し、
前記注目画素の画素値を前記対応点の位置における標本値として設定する第４の設定手段と、
前記画像の画素数と異なる画素数の画像であって、前記標本値と前記複数の対応点の配置に応じた画像を算出することを特徴とする解像度変換方法。