JP2009296080A - 超解像画像生成システム - Google Patents

Abstract

【課題】
超解像処理によって画像を拡大する場合、参照フレームの枚数増加により、必要な演算性能が大幅に増加する。
【解決手段】
第一の画像フレームの画像データと第二の画像フレームから第一の中間超解像フレームを生成し、第二の画像フレームの画像データと第三の画像フレームから第二の中間超解像フレームを生成し、前記第一の中間超解像フレームを生成する際に求めた第一の動きベクトル情報と前記第二の中間超解像フレームを生成する際に求めた第二の動きベクトル情報から第三の動きベクトル情報を生成して、前記第一の中間超解像フレームと第二の中間超解像フレームと第三の動きベクトル情報とから最終超解像フレームを生成するようにし、超解像処理を階層的におこなう。
【選択図】図１

Description

本発明は複数枚の静止画像または動画像を処理する画像処理装置に関する。

デジタル放送やＤＶＤなどのメディアコンテンツでは、カメラの性能や通信帯域幅の制限から画像の解像度は制限されている。しかしながら、視聴者はよりきれいな映像を見たいという欲求を持っている。このため、解像度制限された画像を高解像度化してきれいに見る技術、いわゆる超解像技術に注目が集まりつつある。

映像をＣＣＤなどの固定画素数の撮像素子で撮影すると、撮像素子の画素数に応じて空間方向のサンプリングが行われる。一般にアナログ信号をサンプリングする際には、サンプリング周波数の２倍よりも高い周波数成分を低域通過フィルタによって除去するが、撮像素子での撮影時にはこのフィルタリングが行われない。

このため、撮影された映像には、本来よりも高い解像度の成分が折り返し成分として残留してしまい、実質的な解像度が低下している。超解像技術のひとつに、複数枚の画像に対して重ね合わせ等の処理を行い、折り返し成分を取り除くことで映像の高解像度化を行う技術であり、例えば特許文献１にこの方法による超解像技術が開示されている。

特開平8-336046号公報

特許文献１に開示されている超解像技術によれば、単純なデジタルフィルタによる画像拡大と異なり、送られてきた画像に含まれていない高域成分を再現できるため、ぼやけの少ない、よりきれいな画像を視聴することが可能となる。

上記の特許文献1に記載された超解像処理では、動画像を構成する複数枚の画像の間で、フレーム間の動き情報である動きベクトルを検出する必要がある。超解像処理の本質は、この動きベクトルを用いて、異なるフレーム間の位置合わせを行い、それらを重ね合わせることで解像度を高めることにある。このため、解像度改善の倍率すなわち、原画像と超解像度の画像の解像度比が大きい場合には、より多くの枚数のフレームに対して動きベクトル検出と重ね合わせを行う必要がある。

処理フレーム枚数の増加は、単純に処理量がＮ倍になるだけでなく、動きベクトルの算出対象のフレームと、ベクトル検出の基準となるフレームとの時間差が広がるため、動き検出範囲をさらに広げる必要がでてくる。このため、より大きな処理量が必要になってしまうという問題が発生する。

本発明は、動きベクトル探索の演算量の急激な増加を抑えつつ、多数の参照画像を用いた高倍率の超解像処理システムを提供することを目的とする。

本発明の複数の画像フレームを用いて高解像度の画像フレームを生成する超解像画像生成システムは、原画象に対して動きベクトルの再利用を行いながら階層的に超解像を行い、順次解像度を高めていくようにした。

詳しくは、第一の画像フレームの画像データと第二の画像フレームの画像データおよびこれらの画像データから算出した両フレーム間の動き情報の集合である第一の動きベクトルデータ群を用いて超解像処理を行うことにより、第一および第二の画像フレームよりも解像度の高い第一の中間超解像フレームを生成し、第二の画像フレームの画像データと第三の画像フレームの画像データおよびこれらの画像データから算出した両フレーム間の動き情報の集合である第二の動きベクトルデータ群を用いて超解像処理を行うことにより、第二および第三の画像フレームよりも解像度の高い第二の中間超解像フレームを生成し、第一の動きベクトルデータ群または第二の動きベクトルデータ群の算出結果またはその算出に至る中間結果を用いることで、第三の動きベクトルデータ群を算出し、第一の中間超解像フレームと第二の中間超解像フレームと両フレーム間の動き情報の集合である第三の動きベクトルデータ群を用いて超解像処理をおこなって最終超解像フレームを生成するようにした。

本発明によれば、原画象に対して動きベクトルの再利用を行いながら階層的に超解像を行い、順次解像度を高めていくので、容易に画像の高解像度化ができる。

以下図面により本発明の原画象に対して動きベクトルの再利用を行いながら階層的に超解像を行い、順次解像度を高めていく超解像技術の実施例を詳細に説明する。

図１に本発明の第一の実施例の処理フロー図を示す。この図において、フレーム１０１からフレーム１０５は、本発明の装置で超解像処理される対象となっている動画像を構成する連続したフレームの画像データである。これらは１０１、１０２、１０３、１０４、１０５の順で表示されるべきものである。本実施例では、インターレースではなくプログレッシブ方式を想定しているが、本発明はこれに限定されるものではない。本実施例では、入力画像１０１〜１０５のサイズは縦１２０画素、横１６０画素であり、これが超解像処理することで縦横ともに４倍の縦４８０画素、横６４０画素となって出力される。

本実施例では、直前のフレームに対して動き検出結果を用いた位置あわせを行い、対象となるフレームと重ね合わせ処理を行うことで、超解像処理を行うことを想定している。動き検出を用いた超解像方式であれば、詳細な実現アルゴリズムによらず、本発明の方式は適用することが可能である。本実施例では、説明を簡単にするため、重ね合わせ方式は単純な加算処理で行うこととする。

動き検出とは、対象フレームの着目画素が直前のフレームのどの位置に存在していたかを調べる処理である。詳しくは、その着目画素の周辺の小領域（８×８画素程度）を対象パターンとし、直前フレームから取り出した同一サイズの領域（参照パターン）と比較して一番類似している領域を探すことによって行う。対象パターンと参照パターンの内部座標が等しい画素同士の絶対値和を類似度の評価値とし、参照パターンの位置を直前フレーム内で移動させながら、この評価値が最小になる位置を探索する。このときの対象パターンの左上の座標と参照パターンの左上の座標の差のベクトルを動きベクトルと定義する。

ここまでの段階では、動きベクトルの各成分は整数値となる。ベクトルの成分をさらに向上させて小数精度のベクトルを得るには、直前フレームを補間した画像を対象として動きベクトルの検出を行えばよい。小数精度のベクトルについては、ＭＰＥＧ等の標準的な動画アルゴリズムで使用されているため、ここでは詳細は説明しない。

このように動き検出は、直前フレーム中で参照パターンを移動させながら評価値を算出していく必要があり、大変処理量の多い処理である。そこで、本発明では、動き検出をおおまかな動き検出（粗検索）と粗検索を行った位置周辺の詳細な検索（密検索）の二段階にわけて実施し、粗検索の結果を流用することで、システム全体の処理量を削減する。なお、密検索は限られた範囲で検索を行うのに対し、粗検索は広い範囲で検索を行う必要があり、密検索に比べて大きな処理量やメモリバンド幅が必要とされる。

まず、フレーム１０２とその直前のフレーム１０１の間で超解像処理を行う場合の処理について説明する。まず、動き検出処理により、フレーム１０１の各画素について、フレーム１０２のどの位置に対応するかを算出する。この動き検出処理は粗レベル動き検出２０１および超解像処理３０１の内部で行う密レベル動き検出の２段階で実施する。この動き検出の結果を用いて、フレーム１０１の各画素の位置をフレーム１０２の画素位置に移動させることにより位置合わせ済みフレーム１０１を生成する。

次にこの位置合わせ済みフレーム１０１とフレーム１０２を、フィルタ処理により縦横２倍に拡大し、両者を重ね合わせることで、フレーム１０２を縦横２倍に超解像処理したフレーム１１２を生成する。なお、この例では拡大倍率を縦横２倍としているが本方式はそれに限定されるものではない。同様の処理をフレーム１０２とフレーム１０３に対して行うことで、フレーム１０３を縦横２倍に超解像処理したフレーム１２３を生成する。

次に、フレーム１１２とフレーム１２３に対して縦横２倍の超解像処理を行い、入力フレーム１０３の縦横４倍の出力フレーム１１３を得る。この際には、フレーム１１２とフレーム１２３の間で動き検出処理を行う必要がある。本発明により、この動き検出処理に必要な演算量を大幅に削減することが可能となる。フレーム１１２はフレーム１０１と１０２から作成されたフレームであるが、フレーム１０２が画素位置の基準となっている。

一方、フレーム１２３はフレーム１０２と１０３から作成されたフレームであるが、フレーム１０３が画素位置の基準となっている。すなわち、フレーム１１２と１２３の間の動きベクトル情報は、それぞれの画素位置の基準であるフレーム１０２と１０３の間の動きベクトルと類似した値になる。すなわち、フレーム１０２と１０３の間で行う粗レベルの動き検出の結果とフレーム１１２と１２３の間で行う粗レベルの動き検出はほとんど同一の結果となる。

そこで、本発明では、フレーム１１２と１２３の間の超解像処理を行う際に、フレーム１１２と１２３の間の粗レベルの動き検出を行わず、フレーム１０２と１０３の間で実施済みの粗レベルの動き検出の結果を流用する。同様に、フレーム１２３と１３４、フレーム１３４と１４５で行う超解像処理に必要な粗レベルの動きベクトルもそれぞれフレーム１０３と１０４、フレーム１０４と１０５の間で実施した粗レベルの動きベクトル検出結果を流用する。

このように、超解像処理を階層的に実施し、第一階層、すなわち入力フレームに対して実施する超解像処理で使用した粗レベルの動きベクトル検出結果を、それ以降の階層の超解像処理に流用していくことで、粗レベルの動き検索の実施回数を削減することが可能となる。

次に、本発明を使用した場合のシステム構成例を図２を用いて説明する。本構成例では、入力画像１０に対して、超解像処理により縦横各４倍の拡大を実施し、出力画像１１を生成する。この図において２０は入力画像１０の連続した２つのフレームに対して、画素単位で粗レベルの動きベクトルの検出を行う動き検出回路である。ここでは、整数画素の精度のベクトル検索を粗レベル動き検出回路２０で行うこととする。４０は超解像処理回路であり、入力された画像に対して縦横各２倍の超解像処理を行う。その際に、外部から粗レベルの動きベクトル情報を入力することで、超解像処理回路４０内部での粗レベル動き検出を不要としている。入力画像１０の解像度を縦１２０画素、横１６０画素とすると、初段の超解像回路４０により縦２４０画素、横３２０画素の中間画像が生成され、二段目の超解像回路４０により、縦４８０画素、横６４０画素の出力画像が生成される。９０は全体制御回路であり、各ブロックを適切なタイミングで制御することにより、ブロック間の連係動作を可能とする。次に各ブロックの内部構成を説明する。

図３に粗レベル動き検出回路２０の内部構成図を示す。入力画像１０はフレームバッファ２１へ格納される。フレームバッファ２１は、外部のＤＲＡＭ等を使用しても良い。入力画像１０は対象領域メモリ２３へも転送される。対象領域メモリ２３は８×８画素程度の小領域を格納することが可能である。なお、対象領域格納メモリ２３への入力データは、フレームバッファ２１から転送される構成としても良い。参照メモリ２２にも８×８画素程度の小領域を格納することが可能である。

図１のフローで行ったフレーム１０１とフレーム１０２の間の動き検出を例に粗レベル動き検出回路２０の動作を説明する。まず、フレーム１０１が入力され、これをフレームバッファ２１に格納する。次にフレーム１０２が入力された時に、その中の８×８画素領域を対象領域メモリ２３に順次格納していく。この領域を参照領域Ａと呼ぶ。一方、参照領域メモリ２２にはフレームバッファ２１に格納されたフレーム１０１の左上の８×８画素領域を転送する。次に参照領域可能のメモリ２２と対象領域格納メモリ２３から８×８画素領域の画素値を順次読み出し、絶対値和算出回路２４で両者の差分の絶対値を順次足し込んでいく。８×８画素領域分の絶対値の総和が算出が完了すると、それを現在の座標の参照領域の評価値として、コントローラ２５へ送りだす。次に参照領域Ａの水平位置を１画素だけ左にずらした８×８画素領域を参照領域メモリ２２へ格納し、同様に絶対値和を算出する。参照領域の水平座標、垂直座標を変更しながらフレーム１０１の全てに対して、絶対値和の算出を行い、コントローラ２５により絶対値和が最小となる参照領域の座標を特定する。この座標と対象領域メモリに格納されている領域の座標との差分が整数レベルの動きベクトルとなる。これを水平成分と垂直成分に分けて出力する。この処理を対象メモリ２３に格納する領域を変更しながら、フレーム１０２全てに対して実行する。

次に動きベクトル調整回路３０の内部構造を図４に示す。超解像による拡大を行った場合に動きベクトルの大きさもそれに比例して大きくしてやる必要があり、これを行うのが動きベクトル調整回路３０である。入力された動きベクトルの水平成分、垂直成分はそれぞれ乗算器３３、３４で乗数レジスタ３１、３２の値を乗算される。例えば、超解像により縦横２倍の拡大を行った場合、乗数レジスタ３１、３２には２を格納することになる。乗数が２のべき上である場合は、乗算器３３、３４はシフト処理で代用することも可能である。乗算器３３、３４の出力は、バッファ３５、３６に格納され、全体制御回路９０による制御によって、適切なタイミングで後段へ送られる。

次に超解像回路４０の内部構造を図５に示す。入力画像はフレームバッファ４１へ格納される。このフレームバッファ４１は前出のフレームバッファ２１と共用してもよい。ここでは、フレーム１０１とフレーム１０２の間の超解像処理を例に超解像回路４０の動作を説明する。密レベル動き検出回路４２は粗レベルの動き検出回路２０により算出された整数画素レベルの動きベクトルの周囲を小数画素レベルで探索する、小数画素レベルの探索をするため、小数画素レベルの画素補間が必要となるが、基本的な構造は粗レベルの動き検出回路２０と同じであるため、詳細は割愛する。

この密レベル動き検出回路４２の出力である小数画素レベルの動きベクトルを用いて、位置合わせ回路４３によりフレーム１０１の各画素の位置をフレーム１０２の画素位置に配置する。この際、対応する位置の画素が存在しない場合はデジタルフィルタによる補間処理を行い周囲の画素から生成する。位置あわせを行ったフレーム１０１は拡大回路４４で縦横各２倍に拡大される。一方、フレーム１０２は拡大回路４５で縦横各２倍に拡大される。両者を画像合成回路４６で重ね合わせることで超解像処理が行われる。処理結果はバッファ４７へ書き込まれた後、外部へ出力される。超解像処理回路４０の内部モジュールはコントローラ４８により制御され協調的に動作する。

これらの処理は図６のように順次実行する。この処理は大きくステージ０、ステージ１、ステージ２の３つのステージで構成される。フレーム３を例に取るとそれぞれ、図６の８３ａ、８３ｂ、８３ｃに相当する。ステージ０では粗レベルの動き検出を実行し、整数画素精度の動きベクトルを算出する（７０）。ステージ１では、密レベルの動きベクトル検出（７２）、入力フレームの拡大（７３）、もう一方のフレームの位置合わせ・拡大（７４）、両者の合成（７５）を行い、入力フレームを縦横２倍に拡大した画像を出力する。さらに、次ステージで使用するために、動きベクトルの変換処理を行う（７１）。次のステージでは、入力フレームを縦横２倍に拡大した画像に対して、ステージ１と同様の処理を行い、最終画像を出力する。これらの処理は、図７のようにパイプライン化することが可能である。このようにパイプライン化することで、限られた演算リソースを効率よく使用することが可能となる。

以上の実施例では、超解像処理を２段実行することで縦横４倍の超解像処理を実施したが本発明はこれに限定されるものではない。例えば、各段の拡大率を１．２倍に抑えれば、２段構成の場合の拡大率は１．４４倍となる。図８に示すように段数を増やしてさらなる高倍率化を行うことも可能である。各段の超解像回路は拡大率が同じであっても、扱う画像サイズが異なる。このため、各段ごとにバッファ容量等を最適化することも可能であるし、同一回路を使用して制御レジスタの設定のみで扱う画像サイズを変えることも可能である。また、全体制御回路９１は段数の増加に従って、制御方法を調整する必要がある。

また、図９に示すように前段の超解像回路４０の出力を中解像度出力画像１６、後段の超解像回路４０の出力を高解像度出力画像１５として出力することで二種類の解像度の映像を出力させることが可能である。超解像処理による高解像度化を行うと、時間軸方向で画像の重ね合わせが行われるため、画像の動き情報にフィルタがかかって速い動きに追従しにくくなる。そこで、表示デバイスの解像度が高い場合は、高解像度出力画像１５を使用し、表示デバイスの解像度が低い場合は中解像度出力画像１６を使用するといった使い分けが有効になる。

実施例３の使い分けをさらに発展させたのが実施例４である。実施例４の構成を図１０を用いて説明する。前段・後段の超解像回路４０と並行して、前段・後段の拡大回路５０を使用する。拡大回路５０は二次元のデジタルフィルタによるスケーリング回路であり、超解像回路４０と異なり、画像サイズは大きくするものの、空間周波数の高域側を復元する効果は無い。

しかし、拡大回路５０はフレーム内の処理であるため、画像の動き情報にフィルタがかかるという副作用も発生しない。このため、入力画像の動きが激しい領域は、拡大回路５０により二次元のデジタルフィルタ処理を行い、動きの少ない領域では超解像回路４０による超解像処理を行うことで両者の良い点を併せ持ったシステムを実現可能となる。動きの大小は、全体制御回路９３で粗レベルの動き検出回路２０の出力を閾値と比較することで判定させることが可能である。この検出結果に基づき、２つのセレクタ５５を切り替えることで、超解像回路４０と拡大回路５０の使い分けを可能とする。

本発明の第一の実施例の処理フローを示した図である。 本発明の第一の実施例のシステム構成を示した図である。 本発明の第一の実施例の動き検出回路（粗）の構成を示した図である。 本発明の第一の実施例のベクトル調整回路の構成を示した図である。 本発明の第一の実施例の超解像回路の構成を示した図である。 本発明の第一の実施例の処理ステージを示した図である。 本発明の第一の実施例の処理パイプラインを示した図である。 本発明の第二の実施例のシステム構成を示した図である。 本発明の第三の実施例のシステム構成を示した図である。 本発明の第四の実施例のシステム構成を示した図である。

符号の説明

１０：入力画像、１１：出力画像、２０：粗レベルの動き検出回路、２１：フレームバッファ、２２：参照領域格納メモリ、２３：対象領域格納メモリ、２４：絶対値和算出回路、２５：動き検出制御回路、３０：ベクトル調整回路、３１ー３２：乗数レジスタ、３３−３４：乗算器、３５−３６：バッファメモリ、４０：超解像回路、４１：フレームバッファ、４２：密レベルの動き検出回路、４３：位置合わせ回路、４４−４５：画像拡大回路、４６：画像重ね合わせ回路、４７：出力バッファ、４８：超解像処理制御回路、５０：拡大回路、５５：セレクタ、７０：粗レベル動き検出処理、７１：動きベクトル変換処理、７２：密レベル動き検出処理、７３：フレーム拡大処理、７４：フレーム位置調整・拡大処理、７５：フレーム重ね合わせ処理、７６：密レベル動き検出処理、７７：フレーム拡大処理、７８：フレーム位置調整・拡大処理、７９：フレーム重ね合わせ処理、８０ａ：フレーム０の処理ステージ０、８０ｂ：フレーム０の処理ステージ１、８０ｃ：フレーム０の処理ステージ２、８１ａ：フレーム１の処理ステージ０、８１ｂ：フレーム１の処理ステージ１、８１ｃ：フレーム１の処理ステージ２、８２ａ：フレーム２の処理ステージ０、８２ｂ：フレーム２の処理ステージ１、８２ｃ：フレーム２の処理ステージ２、８３ａ：フレーム３の処理ステージ０、８３ｂ：フレーム３の処理ステージ１、８３ｃ：フレーム３の処理ステージ２、９０ー９１：全体制御回路、１０１ー１０５：入力フレームの画像データ、１１２：フレーム１０１ー１０２から生成された超解像画像、１１３：フレーム１１２ー１２３から生成された超解像画像、１２３：フレーム１０２ー１０３から生成された超解像画像、１２４：フレーム１２３ー１３４から生成された超解像画像、１３４：フレーム１０３ー１０４から生成された超解像画像像、１３５：フレーム１３４ー１４５から生成された超解像画像像、１４５：フレーム１０４ー１０５から生成された超解像画像、２０１ー２０４：入力フレームに対して行う粗レベルの動き検出処理、３０１−３０４、３１１ー３１３：超解像処理、４０１ー４０７：ベクトル変換処理。

Claims (9)

1. 複数の画像フレームを用いて高解像度の画像フレームを生成する超解像画像生成システムにおいて、
   第一の画像フレームの画像データと第二の画像フレームの画像データおよびこれらの画像データから算出した両フレーム間の動き情報の集合である第一の動きベクトルデータ群を用いて超解像処理を行うことにより、第一および第二の画像フレームよりも解像度の高い第一の中間超解像フレームを生成し、
   第二の画像フレームの画像データと第三の画像フレームの画像データおよびこれらの画像データから算出した両フレーム間の動き情報の集合である第二の動きベクトルデータ群を用いて超解像処理を行うことにより、第二および第三の画像フレームよりも解像度の高い第二の中間超解像フレームを生成し、
   第一の動きベクトルデータ群または第二の動きベクトルデータ群の算出結果またはその算出に至る中間結果を用いることで、第三の動きベクトルデータ群を算出し、
   第一の中間超解像フレームと第二の中間超解像フレームと両フレーム間の動き情報の集合である第三の動きベクトルデータ群を用いて超解像処理をおこなって最終超解像フレームを生成することを特徴とする超解像画像生成システム。
2. 前記第一から第三の画像フレームは動画像を構成する連続した画像フレームであり、これらを順次更新していくことで、動画像に対する超解像処理を行うことを特徴とする請求項１記載の超解像画像生成システム。
3. 前記中間超解像フレームと前記最終超解像フレームという解像度の異なる２つのフレームの両方を出力可能であることを特徴とした請求項１または２記載の超解像画像生成システム。
4. 前記中間超解像フレームと前記最終超解像フレームという解像度の異なる２つのフレームの両方を出力可能であり、最終的な表示解像度に応じて、どちらか一方の解像度のフレームを出力することを特徴とした請求項１または２記載の超解像画像生成システム。
5. 前記中間超解像フレームと前記最終超解像フレームという解像度の異なる２つのフレームの両方を出力可能であり、前記第一から第三の動きベクトルデータ群の値に応じて、どちらか一方の解像度のフレームを出力することを特徴とした請求項１または２記載の超解像画像生成システム。
6. 前記の解像度の切り替えは、前記第一から第三の動きベクトルデータ群の値に応じて行われ、その切り替え単位はフレームよりも小さな画像領域単位で実施することを特徴とした請求項５記載の超解像画像生成システム。
7. 入力された画像フレームと前記中間超解像フレームと前記最終超解像フレームという解像度の異なる３つのフレームの両方を出力可能であることを特徴とした請求項１または２記載の超解像画像生成システム。
8. 入力された画像フレームと前記中間超解像フレームと前記最終超解像フレームという解像度の異なる３つのフレームから、最終的な表示解像度に応じて、どれか１つを出力可能であることを特徴とした請求項１または２記載の超解像画像生成システム。
9. 入力された画像をフレーム内フィルタ処理により拡大するデジタルフィルタ拡大手段と、他のフレームのデータを使用することで空間周波数の高域特性を改善させながら拡大する超解像拡大手段を有し、着目画素の動きベクトルの大小によって前記デジタルフィルタ拡大手段と超解像拡大手段を切り替えて高解像度出力画像を生成することを特徴とした超解像画像生成システム。

Images