JP2012257120A - 超解像補助情報生成装置、符号化装置、復号装置、及びこれらのプログラム - Google Patents

Abstract

【課題】高画質の超解像画像を生成する際に必要となる補助情報を生成する。
【解決手段】基準フレームと参照フレームとの間の動きベクトルを検出する動きベクトル検出部１０と、原画像の縮小画像を生成する画像縮小部２０と、基準フレームの縮小画像に対し、第１補助情報ごとに超解像画像を生成し、１つの超解像画像を基準フレーム超解像画像として選択し、該画像の生成に用いた第１補助情報を基準フレーム補助情報として出力する基準フレーム超解像部３０と、参照フレームの縮小画像に対し、第２補助情報ごとの超解像画像を参照フレーム超解像画像列として生成する参照フレーム超解像部４０と、基準フレーム超解像画像に対して、動きベクトル及び参照フレーム超解像画像列を用いて補完画像を生成し、原画像との差が最小となる補完画像の生成に用いた第２補助情報を参照フレーム補助情報として出力する複数フレーム再構成判定部５０とを備える。
【選択図】図１

Description

本発明は、原画像列を縮小した縮小画像列から超解像画像を生成する際に用いる超解像補助情報を生成する超解像補助情報生成装置、超解像補助情報生成装置を用いた符号化装置、符号化装置から送信される符号化データを復号する復号装置、及びこれらのプログラムに関するものである。

近年、撮像装置及び表示装置の高精細化が進んでおり、超解像（Super-Resolution）と称される動画像の高解像化技術が研究されている（例えば、特許文献１参照）。いわゆる８Ｋシステムと呼ばれるスーパーハイビジョン（ＳＨＶ）のような超高精細映像、又は４Ｋシステムと呼ばれるデジタルシネマのような高精細映像は、従来のハイビジョン（ＨＤＴＶ）映像の４倍ないし１６倍の高解像度を有するに至っている。

そこで、２枚の画像を利用して超解像を行う際、シーンチェンジ検出や画素の位置合わせに適さない画素領域のマスク処理などの前処理を行った後、画素再構成処理により超解像画像を作成する技法が知られている（例えば、特許文献２参照）。

一方、ある動画像の１つの画面に対して異なる解像度の画像データを階層的に複数設定して、ある解像度の画像データについて動き量のための評価値を求めるとともに、この解像度とは異なる画像データについて動き量のための評価値を求め、各評価値を加算して得られる値から最終的な動き量を決定する技法が知られている（例えば、特許文献３参照）。

また、ある動画像の１つの画面に対して空間方向に複数階のウェーブレット変換を施して、高周波成分の領域を多く含む階数の優先度を低くする輪郭情報を抽出するとともに、動画像の１つの画面をブロック分割し、輪郭情報で示されるブロックにおけるアクティビティ（画像の局所的性質）が小さいほど優先度を高くなるように、輪郭情報で示されるブロックに同一の優先度を設定して、優先度が低いブロックから順に切り捨て処理を行って符号化データ量を制御する技法が知られている（例えば、特許文献４参照）。

ＳＨＶ画面の映像フォーマットは、水平７６８０画素、垂直４３２０ライン、時間６０フレーム／秒であり、ＨＤＴＶ画面の映像フォーマットと比較して、水平及び垂直標本化周波数が、時間標本化周波数に対して相対的に増大している。したがって、ＳＨＶ画面の動領域は、同じ画角で撮像された動画像で比較した場合、ＨＤＴＶ画面と比較して大きな動き量（フレーム単位の動きを示す画素数：画素／フレーム）を示し、動領域ではフレーム間の相関が低くなり時間方向の高周波領域のパワーが高くなることが想定されるとともに、動領域のボケ量が大きくなり、空間方向の高周波領域のパワーが低くなることが想定される。符号化処理や超解像処理における複数フレーム間での動き量を推定するには、これらの想定に基づく処理が有効となる。尚、ＨＤＴＶ標準の動画像の動き量は、一般的に数画素／フレーム〜数十画素／フレーム程度であることが知られている。

一般に、空間高周波成分の多い絵柄は、小さいブロックサイズ（例えば、８×８画素）を用いた動きベクトル検出が適している。一方、空間高周波成分が少ない絵柄は、小さいブロックサイズでは誤った動きベクトル検出となる可能性が高くなるため、大きなブロックサイズ（例えば、３２×３２画素）を用いた動きベクトル検出が有効である。更に、大きなブロックサイズを用いた動きベクトル検出では、大きな動きによるボケの影響も考えられるため、大きな動き探索範囲が要求される。

一方、このような符号化処理や超解像処理における複数フレーム間での動き量の推定において、特許文献３の技法を適用しても、時空間周波領域のパワーに基づいて階層化するものではなく予め規定した階層数で処理を行うために、処理負担が大きくなり、且つ時間方向のボケの影響が反映された動き量を検出することができない。

また、このような符号化処理や超解像処理における複数フレーム間での動き量の推定において、特許文献４の技法を適用しても、高周波成分の領域を多く含む階数に依存して符号化データ量を取捨選択するためのブロックの優先度を決定することができるが、時空間周波領域のパワーに基づいて階層化するものではないので、動きベクトルを高精度化させることができない。

そこで、時間方向の高周波領域のパワーの割合及び／又は空間方向の低周波領域のパワーの割合を検出して分解能の値を決定し、決定した分解能の値に対応するブロックサイズ及び動き探索範囲の大きさの階層から動きベクトル検出を開始して、次第に該ブロックサイズよりも小さいブロックサイズ及び該動き探索範囲の大きさよりも小さい動き探索範囲の大きさの階層での動きベクトル検出へと移行する階層型の動きベクトル検出を行う技法が知られている（例えば、特許文献５参照）。

特開２０１０−１３４５８２号公報 特開２０１０−１３４５８２号公報 特許第３３３４２７１号公報 特許第４１９５９７８号公報 特開２０１１−０８２７００号公報

符号化処理や超解像処理における複数フレーム間での動き量の推定において、特許文献５の技法を適用することで、動きベクトルの検出精度が高い場合には真に近い空間周波数成分を再現することができる。しかしながら、動きベクトルの検出精度が低い場合には、アーティファクトが発生し、画質が低下してしまうという課題があった。

本発明は、上述の課題を鑑みてなされたものであり、動きベクトル情報とは別に、高画質の超解像画像を生成する際に必要となる補助情報を生成することが可能な超解像補助情報生成装置、符号化装置、復号装置、及びこれらのプログラムを提供することを目的とする。

上記課題を解決するために、本発明に係る超解像補助情報生成装置は、原画像列を縮小した縮小画像列から超解像画像を生成する際に用いる超解像補助情報を生成する超解像補助情報生成装置であって、原画像の基準フレームについて、所定サイズのブロックごとに、参照フレームとの間の動きベクトルを検出する動きベクトル検出部と、原画像を所定の縮小率で縮小した縮小画像を生成する画像縮小部と、前記画像縮小部により生成された、基準フレームの縮小画像に対し、複数の第１補助情報を用いて、第１補助情報ごとに超解像画像を生成し、原画像を該超解像画像と同一サイズに縮小した画像との差分値が最小となる超解像画像を基準フレーム超解像画像として選択し、該基準フレーム超解像画像の生成に用いた第１補助情報を基準フレーム補助情報として出力する基準フレーム超解像部と、前記画像縮小部により生成された、参照フレームの縮小画像に対し、複数の第２補助情報を用いて、第２補助情報ごとの超解像画像を参照フレーム超解像画像列として生成する参照フレーム超解像部と、前記基準フレーム超解像画像に対して、前記動きベクトル及び前記参照フレーム超解像画像列を用いて画素補完を行って前記第２補助情報ごとの補完画像を生成し、原画像との差分値が最小となる補完画像の生成に用いた第２補助情報を参照フレーム補助情報として出力する複数フレーム再構成判定部と、を備えることを特徴とする。

さらに、本発明の超解像補助情報生成装置において、前記複数フレーム再構成判定部は、前記基準フレーム超解像画像に対して、前記参照フレーム超解像画像列を前記動きベクトル用いて位置合わせすることで画素補完を行って前記第２補助情報ごとの位置合わせ画像を生成する位置合わせ処理部と、前記第２補助情報ごとの位置合わせ画像を、点広がり関数を用いて原画像と同一サイズとなるように画素補完し、前記第２補助情報ごとの補完画像を生成する画像補完処理部と、前記第２補助情報ごとの補完画像と原画像との差分値を算出し、該差分値が最小となる補完画像の生成に用いた第２補助情報を参照フレーム超解像補助情報として出力する参照フレーム超解像補助情報決定部と、を備えることを特徴とする。

さらに、本発明の超解像補助情報生成装置において、前記基準フレーム超解像部は、前記画像縮小部にて原画像列のオクターブ分解により生成された分解階数ｎの基準フレームの縮小画像をオクターブ分解して、分解階数ｎ＋１における水平、垂直、斜め方向の高周波領域成分の基準フレーム分解画像を生成する基準フレームオクターブ分解部と、前記基準フレームオクターブ分解部により生成された水平、垂直、斜め方向の高周波領域成分の基準フレーム分解画像の各々を空間低周波領域成分とし、同じサイズのゼロ行列を空間高周波領域成分に設定した画像に対してオクターブ再構成処理を施して、分解階数ｎにおける水平、垂直、斜め方向の各高周波領域成分の基準フレーム再構成画像を生成する基準フレームオクターブ再構成部と、前記基準フレーム再構成画像に対して、前記第１補助情報を用いたフィルタリング処理を行ってフィルタリング画像を生成し、該フィルタリング画像を高周波成分に設定し前記基準フレームの縮小画像を低周波成分に設定した画像に対してオクターブ再構成処理を施して分解階数ｎ−１における基準フレームフィルタ適用再構成画像を前記第１補助情報ごとに生成する基準フレームフィルタ適用オクターブ再構成部と、前記基準フレームフィルタ適用再構成画像の低周波成分と、前記画像縮小部にて原画像列のオクターブ分解により生成された分解階数ｎ−１の基準フレームの縮小画像の低周波成分との差分値を算出し、該差分値が最小となる分解階数ｎ−１における再構成画像の低周波成分を前記基準フレーム超解像画像とする基準フレーム超解像画像・補助情報決定部と、を備えることを特徴とする。

さらに、本発明の超解像補助情報生成装置において、前記参照フレーム超解像部は、前記画像縮小部にて原画像列のオクターブ分解により生成された分解階数ｎの参照フレームの縮小画像をオクターブ分解して、分解階数ｎ＋１における水平、垂直、斜め方向の高周波領域成分の分解画像を生成する参照フレームオクターブ分解部と、前記参照フレームオクターブ分解部により生成された水平、垂直、斜め方向の高周波領域成分の参照フレーム分解画像の各々を空間低周波領域成分とし、同じサイズのゼロ行列を空間高周波領域成分に設定した画像に対してオクターブ再構成処理を施して、分解階数ｎにおける水平、垂直、斜め方向の各高周波領域成分の参照フレーム再構成画像を生成する参照フレームオクターブ再構成部と、前記参照フレーム再構成画像に対して、前記第２補助情報を用いたフィルタリング処理を行ってフィルタリング画像を生成し、該フィルタリング画像を高周波成分に設定し前記参照フレームの縮小画像を低周波成分に設定した画像に対してオクターブ再構成処理を施して分解階数ｎ−１における参照フレームフィルタ適用再構成画像を前記第２補助情報ごとに生成し、該生成した第２補助情報ごとの参照フレームフィルタ適用再構成画像を前記参照フレーム超解像画像列とする参照フレームフィルタ適用オクターブ再構成部と、を備えることを特徴とする。

さらに、本発明の超解像補助情報生成装置において、前記第１補助情報及び前記第２補助情報は、ガウシアンフィルタの分散値であることを特徴とする。

さらに、本発明の超解像補助情報生成装置において、前記動きベクトル検出部は、原画像における複数フレームにわたる時間方向の高周波領域のパワーの割合が大きいほど大きなブロックサイズ及び大きな動き探索範囲の大きさとなるように階層的に規定した分解能、又は動画像における１フレームの空間方向の低周波領域のパワーの割合が大きいほど大きなブロックサイズ及び大きな動き探索範囲の大きさとなるように階層的に規定した分解能のテーブルを保持しており、当該時間方向の高周波領域のパワーの割合又は空間方向の低周波領域のパワーの割合を検出して分解能の値を決定する分解能決定部と、前記テーブルを参照して、前記分解能の値に対応するブロックサイズ及び動き探索範囲の大きさの階層から動きベクトル検出を開始して、次第に該ブロックサイズよりも小さいブロックサイズ及び該動き探索範囲の大きさよりも小さい動き探索範囲の大きさの階層での動きベクトル検出へと移行する階層型動きベクトル検出部と、を備えることを特徴とする。

また、上記課題を解決するため、本発明に係る符号化装置は、上述した超解像補助情報生成装置を備え、前記動きベクトル検出部により検出された動きベクトルの情報、前記画像縮小部により生成された縮小画像、前記基準フレーム超解像部により生成された基準フレーム補助情報、及び前記複数フレーム再構成判定部により生成された参照フレーム補助情報を符号化した符号化データを生成することを特徴とする。

また、上記課題を解決するため、本発明に係る復号装置は、上記符号化装置から前記動きベクトルの情報、前記縮小画像、前記基準フレーム補助情報、及び前記参照フレーム補助情報の符号化データを取得し、前記縮小画像の超解像画像を生成することを特徴とする。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上述した超解像補助情報生成装置、符号化装置、又は復号装置として機能させることを特徴とする。

本発明によれば、動きベクトル情報とは別に、高画質の超解像画像を生成する際に必要となる補助情報を生成することができる。本発明では、基準フレームを超解像処理した基準フレーム超解像画像を生成し、基準フレーム超解像画像に基づいて参照フレーム超解像補助情報を生成しているため、単一フレームのみ、あるいは複数フレームのみを用いて超解像を行う場合よりも、高画質の超解像画像を生成することができる。さらに、原画像との差分が最小となるように補助情報を決定しているため、高画質の超解像画像を生成することができる。

本発明による一実施例の超解像補助情報生成装置の構成を示すブロック図である。 本発明による一実施例の超解像補助情報生成装置における動きベクトル検出部の第１の例の構成を示すブロック図である。 本発明による一実施例の超解像補助情報生成装置における動きベクトル検出部の第２の例の構成を示すブロック図である。 本発明による一実施例の超解像補助情報生成装置における時間方向高周波領域パワー算出部の構成を示すブロック図である。 本発明による一実施例の超解像補助情報生成装置における空間方向低周波領域パワー算出部の構成を示すブロック図である。 本発明による一実施例の超解像補助情報生成装置における動きベクトル検出部の第２の例の空間方向の低周波領域のパワーの割合と動き検出開始階数の関係を例示する図である。 本発明による一実施例の超解像補助情報生成装置における階層型動き検出部の構成を示すブロック図である。 本発明による一実施例の超解像補助情報生成装置における基準フレーム超解像部の構成を示すブロック図である。 本発明による一実施例の超解像補助情報生成装置における基準フレーム超解像部の処理の概要を示す図である。 本発明による一実施例の超解像補助情報生成装置における基準フレーム超解像部により生成される画像を示す図である。 本発明による一実施例の超解像補助情報生成装置における参照フレーム超解像部の構成を示すブロック図である。 本発明による一実施例の超解像補助情報生成装置における参照フレーム超解像部の処理の概要を示す図である。 本発明による一実施例の超解像補助情報生成装置における複数フレーム再構成判定部の構成を示すブロック図である。 本発明による一実施例の超解像補助情報生成装置における複数フレーム再構成判定部の処理の概要を示す図である。 本発明による一実施例の符号化装置の構成を示すブロック図である。 本発明による一実施例の符号化装置における超解像画像生成部の構成を示すブロック図である。 本発明による一実施例の復号装置の構成を示すブロック図である。

以下、図面を参照して、本発明による一実施例を詳細に説明する。

[超解像補助情報生成装置]
図１は、本発明による一実施例の超解像補助情報生成装置のブロック図である。超解像補助情報生成装置１は、動きベクトル検出部１０と、画像縮小部２０と、基準フレーム超解像部３０と、参照フレーム超解像部４０と、複数フレーム再構成判定部５０とを備える。

動きベクトル検出部１０は、原画像列（フレーム画像列）を入力し、入力される原画像列の基準フレームを、予め定めたブロック領域分割サイズに分割する。そして、分割された基準フレームと参照フレーム（例えば、基準フレームの前フレーム、及び／又は基準フレームの後フレーム）との間で動きベクトルを検出し、検出した動きベクトルの情報を複数フレーム再構成判定部５０に出力する。動きベクトル検出部１０の詳細は、図２から図７を参照して後述する。

画像縮小部２０は、原画像列を入力し、入力される原画像列のフレームを予め定めた縮小率で縮小して、基準フレームの縮小画像（基準フレーム縮小画像）を基準フレーム超解像部３０に出力し、参照フレームの縮小画像（参照フレーム縮小画像）を参照フレーム超解像部４０に出力する。本実施例では、原画像列（フレーム画像列）の縮小画像をウェーブレット分解により生成する例について説明する。

画像縮小部２０は、原画像Ｆをウェーブレット分解してダウンサンプリングし、低解像度の基準フレーム縮小画像ＣＡ_ｍ ^(ｎ)を出力する。ここで、ｎは分解階数を示し、ｍは基準フレームのフレーム数を示す。なお、以下の説明では添え字のｍを適宜省略する。ウェーブレット分解階数は縮小したいサイズにより決定される。

ダウンサンプリング処理に用いるウェーブレットをwavelet_nとし、分解階数がｎ階の水平低周波・垂直低周波の周波数成分をＣＡ^(ｎ)(χ,ψ)、水平高周波・垂直低周波成分をＣＨ^(ｎ)(χ,ψ)、水平低周波・垂直高周波成分をＣＶ^(ｎ)(χ,ψ)、水平高周波・垂直高周波成分をＣＤ^(ｎ)(χ,ψ)とする。なお、解像度を変換すると、縦、横とも標本が半分になるため、水平と垂直の(ｘ,ｙ)を(χ,ψ)と表示している。なお、以下の説明では(χ,ψ)を適宜省略する。

画像縮小部２０は、原画像Ｆ(ｘ，ｙ,ｔ)に対し、ｎ階離散ウェーブレット分解ＤＷＴ^(ｎ)(Ｆ(ｘ,ｙ,ｔ)，wavelet_n)を用いて、式（１）のように分解する。ｔは時間を示す。

［ＣＡ^(ｎ),ＣＨ^(ｎ),ＣＶ^(ｎ),ＣＤ^(ｎ)］＝ＤＷＴ^(ｎ)(Ｆ(ｘ，ｙ,ｔ),wavelet_n) （１）

基準フレーム超解像部３０は、画像縮小部２０から入力される基準フレーム縮小画像ＣＡ_ｍ ^(ｎ)を、予め定めた拡大率で超解像処理を施し、生成した基準フレーム超解像画像ＧＥｘＣＡ_ｍ ^(ｎ-１)を複数フレーム再構成判定部５０に出力する。基準フレーム超解像部３０の詳細は、図８から図１０を参照して後述する。

参照フレーム超解像部４０は、画像縮小部２０から入力される参照フレーム縮小画像列ＣＡ_ｍ’ ⁽ⁿ⁾を、予め定めた補助情報ごとに、予め定めた拡大率で超解像処理を施し、生成した補助情報ごとの参照フレーム超解像画像ＧＥｘＣＡ_ｍ’ ^(ｎ-１)を複数フレーム再構成判定部５０に出力する。ここで、ｍ’は参照フレームのフレーム数を示す。これにより、参照フレームの各々の縮小画像において、予め定めた補助情報ごとに、複数の参照フレーム超解画像が得られる。参照フレーム超解像部４０の詳細は、図１１及び図１２を参照して後述する。

複数フレーム再構成判定部５０は、基準フレーム超解像部３０から入力される基準フレーム超解像画像ＧＥｘＣＡ_ｍ ^(ｎ-１)に対して、動きベクトル検出部１０から入力される動きベクトルの情報、及び参照フレーム超解像部４０から入力される補助情報ごとの参照フレーム超解像画像ＧＥｘＣＡ_ｍ’ ^(ｎ-１)を用いて、動きベクトル検出部１０にて設定されるブロック領域分割サイズにより分割したブロックごとに位置合わせを行い、基準フレーム超解像画像ＧＥｘＣＡ_ｍ ^(ｎ-１)の画素補完を行って原画像と同サイズの再構成画像を生成する。そして、生成した再構成画像と原画像との差分値が最小となる補助情報を求める。複数フレーム再構成判定部５０の詳細は、図１３及び図１４を参照して後述する。

[動きベクトル検出部の第１の例]
次に、超解像補助情報生成装置１における動きベクトル検出部１０の第１の例について説明する。図２は、動きベクトル検出部１０の第１の例の構成を示すブロック図である。第１の例の動きベクトル検出部１０は、ブロック分割部１０１と、ブロックマッチング処理部１０２とを備える。

ブロック分割部１０１は、入力される原画像列のうちの被処理フレーム位置の原画像を基準フレーム画像として、基準フレーム画像を所定のブロックサイズに分割し、ブロックマッチング処理部１０２に出力する。なお、ブロックサイズは、記憶部（図示せず）に格納して読み出すようにしてもよい。

ブロックマッチング処理部１０２は、ブロック分割部１０１から入力されるブロック分割された基準フレーム画像に対して、基準フレームの参照フレームの原画像を参照フレーム画像としてブロックマッチングを行い、ブロックごとに、基準フレームと参照フレームとの間の動きベクトルを検出し、動きベクトル情報（位置合わせ情報）を出力する。ブロックマッチングは、例えばＳＳＤ（Sum of Squared Difference）法やＳＡＤ（Sum of Absolute intensity Difference）法を用いる。また、ブロックマッチングは、例えば式（２）に示すパラボラフィッティング関数を用いた処理により、小数画素精度で行う。

ここで、探索位置における画素位置をxとしたとき、ＳＳＤ(x)は、画素位置におけるＳＳＤ値を表し、より具体的には、ＳＳＤ（０)は中心位置（ＳＳＤ値を最小とする位置）におけるＳＳＤ値、ＳＳＤ(−1)は中心位置から−ｘ方向又は−ｙ方向の隣接画素の位置におけるＳＳＤ値、ＳＳＤ（１)は中心位置から＋ｘ方向又は＋ｙ方向の隣接画素の位置におけるＳＳＤ値を表す。式（２）から、水平又は垂直方向の小数画素精度の画素位置（小数画素位置）をそれぞれ算出することができる。

[動きベクトル検出部の第２の例]
次に、超解像補助情報生成装置１における動きベクトル検出部１０の第２の例について説明する。図３は、動きベクトル検出部１０の第２の例の構成を示すブロック図である。第２の例の動きベクトル検出部１０は、分解能決定部１６と、階層型動き検出部１５とを備える。なお、各構成要素で処理するのに必要な画像データは、動きベクトル検出部１０が備える記憶部（図示せず）に適宜格納して読み出すようにしてもよい。

分解能決定部１６は、原画像における複数フレームにわたる時間方向の高周波領域のパワーの割合が大きいほど大きなブロックサイズ及び大きな動き探索範囲の大きさとなるように階層的に規定した分解能、及び／又は動画像における１フレームの空間方向の低周波領域のパワーの割合が大きいほど大きなブロックサイズ及び大きな動き探索範囲の大きさとなるように階層的に規定した分解能のテーブルを保持しており、当該時間方向の高周波領域のパワーの割合及び／又は空間方向の低周波領域のパワーの割合を検出して分解能の値を決定する。具体的には、分解能決定部１６は、時間方向高周波領域パワー算出部１１と、空間分解階数決定部１２と、空間方向低周波領域パワー算出部１３と、動き検出開始分解能決定部１４とを備える。

時間方向高周波領域パワー算出部１１は、動きベクトルの検出を行う基準フレームＦ(ｔ_Ｃ)及び動き探索に用いる参照フレームＦ(ｔ_Ｒ)を含む、時刻ｔ＝ｔ_０…ｔ_ｍにおける複数フレームのフレーム画像列Ｆ(ｔ_０)，…，Ｆ(ｔ_Ｃ)，…，Ｆ(ｔ_Ｒ)，…，Ｆ(ｔ_ｍ)を入力し、基準フレームＦ(ｔ_Ｃ)における全画素について、この複数フレームを時間方向に予め規定した最大階数の周波領域に分解した後、全画素における時間方向の周波数帯域ごとのパワーを算出し、算出した全画素における時間方向の周波数帯域別のパワーから時間方向の高周波領域のパワーの割合を算出して空間分解階数決定部１２に送出する。

例えば、図４に示すように、時間方向高周波領域パワー算出部１１は、基準フレームＦ(ｔ_Ｃ)及び参照フレームＦ(ｔ_Ｒ)を含む、時刻ｔ＝ｔ_０…ｔ_ｍにおけるフレーム画像列Ｆ(ｔ_０)，…，Ｆ(ｔ_Ｃ)，…，Ｆ(ｔ_Ｒ)，…，Ｆ(ｔ_ｍ)を入力し、基準フレームＦ(ｔ_Ｃ)の全画素について時間方向に予め規定したＮｍａｘ階（例えば、４階）の離散ウェーブレット分解を行う時間方向１次元Ｎｍａｘ階離散ウェーブレット分解処理部１１１と、基準フレームＦ(ｔ_Ｃ)の全画素における時間方向の周波数帯域ごとのパワーを算出し、算出した全画素における時間方向の周波数帯域別のパワーから時間方向の高周波領域のパワーの割合を算出して空間分解階数決定部１２に送出する時間方向周波数帯域別パワー算出部１１２とから構成することができる。

空間分解階数決定部１２は、時間方向高周波領域パワー算出部１１によって算出した時間方向の高周波領域のパワーの割合から、時間方向の高周波領域のパワーの割合が大きいほど、動領域面積が大きく、且つ動き量が大きいと判断し、時間方向の高周波領域のパワーの割合に応じて空間周波数の分解階数Ｎｓ（即ち、空間方向の分解能）を決定し、決定した空間周波数の分解階数Ｎｓの情報を空間方向低周波領域パワー算出部１３に送出する。

例えば、表１に示すように、時間方向の高周波領域のパワーの割合と空間周波数の分解階数Ｎｓとの間で規定されるテーブルを予め保持しておく。

空間方向低周波領域パワー算出部１３は、基準フレームＦ(ｔ_Ｃ)及び参照フレームＦ(ｔ_Ｒ)と空間周波数の分解階数Ｎｓの情報とを入力し、空間周波数の分解階数Ｎｓに基づいて、基準フレームＦ(ｔ_Ｃ)及び／又は参照フレームＦ(ｔ_Ｒ)に対して空間Ｎｓ階離散ウェーブレット分解を実行し、当該フレームにおける空間周波数帯域ごとのパワーを算出し、算出した空間周波数帯域ごとのパワーから当該フレームにおける空間方向の低周波領域のパワーの割合を算出し、算出した空間方向の低周波領域のパワーの割合と空間Ｎｓ階離散ウェーブレット分解したデータを動き検出開始分解能決定部１４に送出する。

なお、基準フレームＦ(ｔ_Ｃ)及び参照フレームＦ(ｔ_Ｒ)の双方に対して空間Ｎｓ階離散ウェーブレット分解を実行することは、後の処理として、固定のブロックサイズ及び探索範囲の大きさで階層型動きベクトル検出を行う際のウェーブレット再構成を階層的に行うことにより、元画像に対して可変のブロックサイズ及び探索範囲の大きさとする階層型動きベクトル検出を行うことができる点で有利であり、特に、動きベクトル検出を階層的に行うための分解能の決定のためには、基準フレームＦ(ｔ_Ｃ)及び参照フレームＦ(ｔ_Ｒ)のうちの空間方向の低周波領域のパワーの割合が大きいほうを選定するのが好適となる。以下の説明では、基準フレームＦ(ｔ_Ｃ)及び参照フレームＦ(ｔ_Ｒ)の双方について空間Ｎｓ階離散ウェーブレット分解を行う例を説明する。

例えば、図５に示すように、空間方向低周波領域パワー算出部１３は、基準フレームＦ(ｔ_Ｃ)及び参照フレームＦ(ｔ_Ｒ)を入力し、空間分解階数決定部１２によって決定した空間周波数の分解階数Ｎｓに基づいて、基準フレームＦ(ｔ_Ｃ)及び参照フレームＦ(ｔ_Ｒ)の各々の全画素に対して空間Ｎｓ階離散ウェーブレット分解を行う空間方向２次元Ｎｓ階離散ウェーブレット分解処理部１３１と、基準フレームＦ(ｔ_Ｃ)及び参照フレームＦ(ｔ_Ｒ)の各々における空間周波数帯域ごとのパワーを算出し、算出した空間周波数帯域ごとのパワーから基準フレームＦ(ｔ_Ｃ)及び参照フレームＦ(ｔ_Ｒ)の各々における空間方向の低周波領域のパワーの割合を算出し、算出した基準フレームＦ(ｔ_Ｃ)及び参照フレームＦ(ｔ_Ｒ)の各々における空間方向の低周波領域のパワーの割合の大きいほうの情報を動き検出開始分解能決定部１４に送出する空間方向周波数帯域別パワー算出部１３２とから構成することができる。

動き検出開始分解能決定部１４は、空間方向低周波領域パワー算出部１３によって算出した空間方向の低周波領域のパワーの割合の情報から、空間方向の低周波領域のパワーの割合が大きいほど（空間方向の高周波領域のパワーの割合が小さいほど）、動領域面積が大きく、且つ動き量が大きいと判断し、動きベクトル検出を階層的に開始するための分解能（以下、「動き検出開始分解能」と称する）が小さい値（即ち、低解像度画像）となるように、空間方向の低周波領域のパワーの割合に応じて動き検出開始分解能を決定し、決定した階層的な動き検出開始分解能の情報を階層型動き検出部１５に送出する。例えば、動き検出開始分解能決定部１４は、空間方向の低周波領域のパワーの割合が大きいほど、動きベクトル検出を開始する階数（以下、「動き検出開始階数」と称する）ｎｓが大きな値となるように、空間方向の低周波領域のパワーの割合に応じて動き検出開始階数ｎｓを決定し、決定した動き検出開始階数ｎｓの情報を階層型動き検出部１５に送出する。ただし、ｎｓ≦Ｎｓである。

例えば、表２に示すように、空間方向の低周波領域のパワーの割合と動き検出開始分解能（又は動き検出開始階数ｎｓ）との間で規定されるテーブルを予め保持しておく。なお、動き検出開始階数ｎｓが大きくなるにつれて、元の画像が低解像度化することを意味しており、元の画像に対して相対的にブロックサイズ及び動き探索範囲の大きさが増大することを意味している。ここで、例えば、空間分解能１／１６は、元の画像における水平標本化周波数Ｈｓ及び垂直標本化周波数Ｖｓにおいて、１６画素を１画素として標本化する低解像度化を意味する。

つまり、図６に示すように、空間方向の低周波領域のパワーの割合によって、動き検出開始階数ｎｓを関連付けることができる。例えば、Ｎｓ＝４のとき、低周波領域（ＬＬ^４）及び高周波領域（ＬＬ^４以外）のそれぞれのパワーを算出して、全体における低周波領域（ＬＬ^４）の割合が、９９．５％以上であれば、動き検出開始階数ｎｓ＝４として４階層の低周波領域のみの画像を再構成することができる（図６（ｄ）参照）。同様に、全体における低周波領域（ＬＬ^４）の割合が、９８．０％以上９９．５％未満であれば、３階層の低周波領域（ＬＬ^３）のみの画像を再構成でき（図６（ｃ）参照）、全体における低周波領域（ＬＬ^４）の割合が、９５．０％以上９８．０％未満であれば、２階層の低周波領域（ＬＬ^２）のみの画像を再構成でき（図６（ｂ）参照）、全体における低周波領域（ＬＬ^４）の割合が、９５．０％未満であれば、１階層の低周波領域（ＬＬ^１）のみの画像を再構成することができる（図６（ａ）参照）。

階層型動き検出部１５は、動き検出開始階数ｎｓに応じた空間方向に低周波領域の基準フレームＦ(ｔ_Ｃ)及び参照フレームＦ(ｔ_Ｒ)の画像を生成するために、基準フレームＦ(ｔ_Ｃ)及び参照フレームＦ(ｔ_Ｒ)の空間方向２次元Ｎｓ階離散ウェーブレット分解したデータに対して、動き検出開始階数ｎｓに応じた空間ｎｓ階ウェーブレットの再構成を行い、予め定めたブロックサイズ及び探索範囲の大きさで動きベクトル検出を実行し、続いて空間ｎｓ−１階ウェーブレットの再構成を行い、当該予め定めたブロックサイズ及び探索範囲の大きさで動きベクトル検出を再度実行し、最上位の階層（即ち、元の画像レベル）にて当該予め定めたブロックサイズ及び探索範囲の大きさで動きベクトル検出を行うまで階数をデクリメントして繰り返す。この階層型動きベクトル検出の動作は、基準フレームＦ(ｔ_Ｃ)及び参照フレームＦ(ｔ_Ｒ)を入力し、動き検出開始分解能に基づいて、基準フレームＦ(ｔ_Ｃ)に対して順次ブロックサイズ及び探索範囲の大きさを縮小しながら動きベクトル検出を行うことと類似した処理となる。ただし、空間ｎｓ階ウェーブレット分解及び再構成を経て順次繰り返すことによる階層型動きベクトル検出によれば、階層に応じて順次可変にすべきブロックサイズ及び探索範囲の大きさを用意する必要がなく固定とすることができ、且つ画像シーンに応じた動き検出開始階数ｎｓに応じた動きベクトル検出を行うため、高精度化が期待できる。

例えば、図７に示すように、階層型動き検出部１５は、動き検出開始階数ｎｓに応じた空間方向に低周波領域の基準フレームＦ(ｔ_Ｃ)及び参照フレームＦ(ｔ_Ｒ)の画像を生成するために動き検出開始階数ｎｓに応じた空間ｎｓ階ウェーブレットの再構成を行い、予め定めたブロックサイズ及び探索範囲の大きさで小数画素精度のブロックマッチングによる動きベクトル検出を行う動き検出部１５１と、この動きベクトル検出の処理を最上位の階数に対応する元の画像レベルとなるまで階数をデクリメントして繰り返すために、空間方向低周波領域パワー算出部１３によって算出した空間Ｎｓ階離散ウェーブレット分解データに対して動き検出開始階数ｎｓよりも上位の階数の画像となるように空間方向に１階上位のウェーブレット再構成を実行して動き検出部１５１に送出する空間１階ウェーブレット再構成部１５２とから構成することができる。したがって、動き検出部１５１は、空間１階ウェーブレット再構成部１５２から得られる基準フレームＦ(ｔ_Ｃ)及び参照フレームＦ(ｔ_Ｒ)の再構成画像を用いて、動きベクトル検出の処理を階層的に繰り返し、最終的な動きベクトルを決定して出力することができる。

動きベクトル検出は、２次関数近似による小数画素位置のブロックマッチング法を用いて行うのは、最上位の階数（即ち、１階）でのみ行うのが好適である。例えば式（２）に示したパラボラフィッティングにより小数画素位置を算出する。

[基準フレーム超解像部]
次に、超解像補助情報生成装置１における基準フレーム超解像部３０について説明する。図８は、基準フレーム超解像部３０の構成を示すブロック図である。基準フレーム超解像部３０は、基準フレームウェーブレット分解部（基準フレームオクターブ分解部）３１と、基準フレームウェーブレット再構成部（基準フレームオクターブ再構成部）３２と、基準フレーム用分散値記憶部３３と、基準フレームフィルタ適用ウェーブレット再構成部（基準フレームフィルタ適用オクターブ再構成部）３４と、基準フレーム超解像画像・補助情報決定部３５とを備える。

図９は、基準フレーム超解像部３０の処理の概要を示す図である。図１０は基準フレーム超解像部３０の処理により生成される画像を示す図である。以下、図８から図１０を参照して、基準フレーム超解像部３０について説明する。まず、基準フレームウェーブレット分解部３１は、分解階数ｎの基準フレーム縮小画像ＣＡ_ｍ ^(ｎ)（図１０（ａ）参照）を画像縮小部２０から取得する（ステップＳ１１）。そして、基準フレームウェーブレット分解部３１は、分解階数ｎの低周波領域成分ＣＡ_ｍ ^(ｎ)に対して１階離散ウェーブレット分解して、分解階数ｎ＋１における水平、垂直、斜め方向の各高周波領域成分の基準フレーム分解画像ＣＨ_ｍ ^(ｎ＋１)，ＣＶ_ｍ ^(ｎ＋１)，ＣＤ_ｍ ^(ｎ＋１)（図１０（ｂ）参照）を生成する（ステップＳ１２）。

基準フレームウェーブレット再構成部３２は、水平、垂直、斜め方向の各高周波領域成分の基準フレーム分解画像ＣＨ_ｍ ^(ｎ＋１)，ＣＶ_ｍ ^(ｎ＋１)，ＣＤ_ｍ ^(ｎ＋１)の各々を空間低周波領域成分とし、同じサイズのゼロ行列を空間高周波領域成分に設定する（図１０（ｃ）参照）（ステップＳ１３）。そして、基準フレームウェーブレット再構成部３２は、空間高周波成分にゼロ行列を設定した画像に対し、１階離散ウェーブレット再構成により、水平、垂直方向に２倍拡大し、水平、垂直、斜め方向の各高周波領域成分の基準フレーム再構成画像ＥｘＣＨ_ｍ ^(ｎ)，ＥｘＣＶ_ｍ ^(ｎ)，ＥｘＣＤ_ｍ ^(ｎ)（図１０（ｄ）参照）を生成する（ステップＳ１４）。式（３）に、ＣＨ_ｍ ^{（ｎ＋１）}を空間低周波領域成分、同じサイズのゼロ行列を空間高周波領域成分として１階離散ウェーブレット再構成した式を示す。０はゼロ行列を示す。

ＥｘＣＨ^(ｎ)＝ＩＤＷＴ^(１)(ＣＨ^(ｎ＋１),０,０,０,wavelet_n) (３)

基準フレーム用分散値記憶部３３は、複数の基準フレーム用補助情報（第１補助情報）を記憶する。具体的には、複数のガウシアンフィルタの分散値（以下、単に分散値と称する）σ_ＣＨ ^(ｎ)，σ_ＣＶ ^(ｎ)，σ_ＣＤ ^(ｎ)を、例えば初期値をσ_ＣＨ ^(ｎ)＝０．１，σ_ＣＶ ^(ｎ)＝０．１，σ_ＣＤ ^(ｎ)＝０．１として、それぞれ０．５刻みで２０．１まで記憶する。あるいは、分散値σ_ＣＨ ^(ｎ)，σ_ＣＶ ^(ｎ)，σ_ＣＤ ^(ｎ)を、初期値を０．１として所定の範囲内で変化させるように制御してもよい。基準フレーム用分散値記憶部３３が記憶する分散値の一例を表３に示す。

基準フレームフィルタ適用ウェーブレット再構成部３４は、基準フレーム用分散値記憶部３３から分散値σ_ＣＨ ^(ｎ)，σ_ＣＶ ^(ｎ)，σ_ＣＤ ^(ｎ)を取得する（ステップＳ１５）。そして、基準フレームフィルタ適用ウェーブレット再構成部３４は、再構成画像ＥｘＣＨ_ｍ ^（ｎ），ＥｘＣＶ_ｍ ^(ｎ)，ＥｘＣＤ_ｍ ^(ｎ)に対して、分散値σＣＨ^(ｎ)，σＣＶ^(ｎ），σＣＤ^(ｎ)を用いたガウシアンフィルタによるフィルタリング処理を行い、フィルタリング画像ＧＥｘＣＨ_ｍ ^（ｎ），ＧＥｘＣＶ_ｍ ^(ｎ)，ＧＥｘＣＤ_ｍ ^(ｎ)（図１０（ｅ）参照）を生成する（ステップＳ１６）。

具体的には、基準フレームフィルタ適用ウェーブレット再構成部３４は、斜め方向高周波領域成分ＥｘＣＤ_ｍ ^(ｎ)に対して、式（４）に示すガウシアンフィルタを用いて、式（５）に示すフィルタリング処理を行い、フィルタリング画像ＧＥｘＣＤ_ｍ ^(ｎ)を生成する。

Gauss(ｘ,ｙ,σ_ＣＤ ^(ｎ))＝exp(−(ｘ^２＋ｙ^２)／２{σ_ＣＤ ^(ｎ)}^２) （４）
ここで、σ^２は分散を表す。

また、基準フレームフィルタ適用ウェーブレット再構成部３４は、垂直方向高周波領域成分ＥｘＣＨ_ｍ ^(ｎ)に対して、式（６）に示す方向性拡張したガウシアンフィルタを用いて、式（７）に示すフィルタリング処理を行い、フィルタリング画像ＧＥｘＣＨ_ｍ ^(ｎ)を生成する。

ExGauss(ｘ,σ_ＣＨ ^(ｎ))＝exp(−ｘ^２／２{σ_ＣＨ ^(ｎ)}^２) （６）

同様に、基準フレームフィルタ適用ウェーブレット再構成部３４は、水平方向高周波領域成分ＥｘＣＶ_ｍ ^(ｎ)に対して、式（８）に示す方向性拡張したガウシアンフィルタを用いて、式（９）に示す処理を行い、フィルタリング画像ＧＥｘＣＶ_ｍ ^(ｎ)を生成する。

ExGauss(ｙ,σ_ＣＶ ^(ｎ))＝exp(−ｙ^２／２{σ_ＣＶ ^(ｎ)}^２) （８）

次に、基準フレームフィルタ適用ウェーブレット再構成部３４は、画像縮小部２０から入力される分解階数ｎの基準フレーム縮小画像ＣＡ_ｍ ^(ｎ)を低周波成分とし、ステップＳ１５にて得られたフィルタリング画像ＧＥｘＣＤ_ｍ ^(ｎ)，ＧＥｘＣＨ_ｍ ^(ｎ)，ＧＥｘＣＶ_ｍ ^(ｎ)を高周波成分に設定する（図１０（ｆ）参照）（ステップＳ１７）。そして、基準フレームフィルタ適用ウェーブレット再構成部３４は、ステップＳ１７にて設定した画像に対し、１階離散ウェーブレット再構成を行い、基準フレームフィルタ適用再構成画像ＧＥｘＣＡ_ｍ ^(ｎ-１)（図１０（ｇ）参照）を生成する（ステップＳ１８）。

基準フレーム超解像画像・補助情報決定部３５は、基準フレームフィルタ適用ウェーブレット再構成部３４から入力される基準フレームフィルタ適用再構成画像ＧＥｘＣＡ_ｍ ^(ｎ−１)と、画像縮小部２０から入力される、分解階数がｎ−１階の基準フレーム縮小画像ＣＡ_ｍ ^(ｎ−１)との差分値を算出する（ステップＳ１９）。ここで、差分値として、差の絶対値の和、差の絶対値の積、差の絶対値の最小値、又は差の二乗和など、種々の値を用いることができる。また、式（１０）に示すように、縮小画像ＣＡ_ｍ ^(ｎ−１)の領域と基準フレームフィルタ適用再構成画像ＧＥｘＣＡ_ｍ ^(ｎ−１)の領域における平均二乗誤差（ＲＭＳ)の計算を行い、ＲＭＳ(ＣＡ_ｍ ^(ｎ−１))及びＲＭＳ(ＧＥｘＣＡ_ｍ ^(ｎ−１))を得て、その差分値を計算するようにしてもよい。

Diff_rms(σＣＨ^(ｎ),σＣＶ^(ｎ),σＣＤ^(ｎ))
＝RMS(ＣＡ^(n−１)(σＣＨ^(ｎ),σＣＶ^(ｎ),σＣＤ^(ｎ)))
−RMS(ＧＥｘＣＡ^(n−１)(σＣＨ^(ｎ),σＣＶ^(ｎ),σＣＤ^(ｎ)) （１０）

基準フレームフィルタ適用ウェーブレット再構成部３４は、ステップＳ１５からステップＳ１８の処理を分散値σ_ＣＨ ^(ｎ)，σ_ＣＶ ^(ｎ)，σ_ＣＤ ^(ｎ)の値を変化させながら行い、基準フレーム超解像画像・補助情報決定部３５は、Diff_rms(σＣＨ^(ｎ),σＣＶ^(ｎ),σＣＤ^(ｎ))が最小となる分散値を求め、該分散値及び、該分散値を用いて得られる基準フレームフィルタ適用再構成画像ＧＥｘＣＡ^(ｎ-１)を基準フレーム超解像画像として出力する。

なお、本実施例では、ＧＥｘＣＡ_ｍ ^(ｎ−１)とＣＡ_ｍ ^(ｎ−１)とを比較することにより、分散値σ_ＣＨ ^(ｎ)，σ_ＣＶ ^(ｎ)，σ_ＣＤ ^(ｎ)を決定するようにしたが、ＣＨ_ｍ ^(ｎ)とＧＥｘＣＨ_ｍ ^(ｎ)、ＣＶ_ｍ ^(ｎ)とＧＥｘＣＶ_ｍ ^(ｎ)、及びＣＤ_ｍ ^(ｎ)とＧＥｘＣＤ_ｍ ^(ｎ)のそれぞれを比較することにより、分散値を決定するようにしてもよい。

[参照フレーム超解像部]
次に、超解像補助情報生成装置１における参照フレーム超解像部４０について説明する。図１１は、参照フレーム超解像部４０の構成を示すブロック図である。参照フレーム超解像部４０は、参照フレームウェーブレット分解部（参照フレームオクターブ分解部）４１と、参照フレームウェーブレット再構成部（参照フレームオクターブ再構成部）４２と、参照フレーム用分散値記憶部４３と、参照フレームフィルタ適用ウェーブレット再構成部（参照フレームフィルタ適用オクターブ再構成部）４４とを備える。

図１２は、参照フレーム超解像部４０の処理の概要を示す図である。以下、参照フレーム超解像部４０について、図１０から図１２を参照して説明する。まず、参照フレームウェーブレット分解部４１は、分解階数ｎの参照フレーム縮小画像ＣＡ_ｍ’ ^(ｎ)（図１０（ａ）参照）を画像縮小部２０から取得する（ステップＳ２１）。なお、図１２では、基準フレームの前後のフレームを参照フレームとして図示しており、この場合、ｍ’はｍ±１を意味する。

参照フレームウェーブレット分解部４１は、分解階数ｎの参照フレーム縮小画像ＣＡ_ｍ’ ^(ｎ)に対して１階離散ウェーブレット分解して、分解階数ｎ＋１における水平、垂直、斜め方向の各高周波領域成分の参照フレーム分解画像ＣＨ_ｍ’ ^(ｎ＋１)，ＣＶ_ｍ’ ^(ｎ＋１)，ＣＤ_ｍ’ ^(ｎ＋１)（図１０（ｂ）参照）を生成する（ステップＳ２２）。

参照フレームウェーブレット再構成部４２は、水平、垂直、斜め方向の各高周波領域成分の参照フレーム分解画像ＣＨ_ｍ’ ^(ｎ＋１)，ＣＶ_ｍ’ ^(ｎ＋１)，ＣＤ_ｍ’ ^(ｎ＋１)の各々を空間低周波領域成分とし、同じサイズのゼロ行列を空間高周波領域成分に設定し（図１０（ｃ）参照）（ステップＳ２３）、１階離散ウェーブレット再構成により、水平、垂直方向に２倍拡大し、参照フレーム再構成画像ＥｘＣＨ_ｍ’ ^(ｎ)，ＥｘＣＶ_ｍ’ ^(ｎ)，ＥｘＣＤ_ｍ’ ^(ｎ)（図１０（ｄ）参照）を生成する（ステップＳ２４）。

参照フレーム用分散値記憶部４３は、複数の参照フレーム用補助情報（第２補助情報）を記憶する。具体的には、基準フレーム用分散値記憶部３３と同様に、表３に例示したような複数のガウシアンフィルタの分散値σ_ＣＨ ^(ｎ)，σ_ＣＶ ^(ｎ)，σ_ＣＤ ^(ｎ)を記憶する。

参照フレームフィルタ適用ウェーブレット再構成部４４は、参照フレーム用分散値記憶部４３から分散値σ_ＣＨ ^(ｎ)，σ_ＣＶ ^(ｎ)，σ_ＣＤ ^(ｎ)を取得し（ステップＳ２５）、参照フレーム再構成画像ＥｘＣＨ_ｍ’ ^（ｎ），ＥｘＣＶ_ｍ’ ^(ｎ)，ＥｘＣＤ_ｍ’ ^(ｎ)に対して、分散値σＣＨ^(ｎ)，σＣＶ^(ｎ），σＣＤ^(ｎ)を用いたガウシアンフィルタによるフィルタリング処理を行い、フィルタリング画像ＧＥｘＣＨ_ｍ’ ^（ｎ），ＧＥｘＣＶ_ｍ’ ^(ｎ)，ＧＥｘＣＤ_ｍ’ ^(ｎ)（図１０（ｅ）参照）を生成する（ステップＳ２６）。具体例については、ステップＳ１６と同様であるため省略する。

続いて、参照フレームフィルタ適用ウェーブレット再構成部４４は、画像縮小部２０から入力される分解階数ｎの参照フレーム縮小画像ＣＡ_ｍ’ ^(ｎ)を低周波成分とし、ステップＳ１５にて得られたフィルタリング画像ＧＥｘＣＤ_ｍ’ ^(ｎ)，ＧＥｘＣＨ_ｍ’ ^(ｎ)，ＧＥｘＣＶ_ｍ’ ^(ｎ)を高周波成分に設定する（図１０（ｆ）参照）（ステップＳ２７）。そして、参照フレームフィルタ適用ウェーブレット再構成部４４は、ステップＳ１６にて設定した画像に対し、１階離散ウェーブレット再構成を行い、参照フレームフィルタ適用再構成画像ＧＥｘＣＡ_ｍ’ ^(ｎ-１)（図１０（ｇ）参照）を生成する（ステップＳ２８）。ここで、基準フレーム超解像部３０の基準フレームフィルタ適用ウェーブレット再構成部３４は、分解階数がｎ−１階の基準フレーム縮小画像ＣＡ_ｍ ^(ｎ−１)との差分値が最小となる分散値を用いて得られる１つの基準フレーム超解像画像ＧＥｘＣＡ^(ｎ-１)を出力するが、参照フレームフィルタ適用ウェーブレット再構成部４４は、参照フレーム用分散値記憶部４３に記憶された補助情報（分散値）ごとの複数の参照フレームフィルタ適用再構成画像ＧＥｘＣＡ_ｍ’ ^(ｎ-１)を参照フレーム超解像画像列として出力する。

[複数フレーム再構成判定部]
次に、超解像補助情報生成装置１における複数フレーム再構成判定部５０について説明する。図１３は、複数フレーム再構成判定部５０の構成を示すブロック図である。複数フレーム再構成判定部５０は、位置合わせ処理部５１と、画像補完処理部５２と、参照フレーム超解像補助情報決定部５３とを備える。図１４は、複数フレーム再構成判定部５０の処理の概要を示す図である。以下、図１３及び図１４を参照して、複数フレーム再構成判定部５０について説明する。

位置合わせ処理部５１は、基準フレーム超解像部３０から入力される基準フレーム超解像画像に対して、動きベクトル検出部１０から入力される動きベクトル情報、及び参照フレーム超解像部４０から入力される参照フレーム超解像画像列を用いて位置合わせ（レジストレーション）を行う（ステップＳ３１）。つまり、基準フレーム超解像画像の画素間の画像を、参照フレーム超解像画像を動きベクトルを用いて位置合わせすることにより画素補完を行う。基準フレーム超解像画像の画素間の画像を補完することにより、基準フレーム超解像画像を拡大することができる。しかし、全ての画素間の画像を補完することができない場合（例えば、静止領域）があるため、さらに画像補完処理部５２により補完処理を行う。

画像補完処理部５２は、位置合わせ処理部５１から入力される補助情報ごとの位置合わせ後の画像を、点広がり関数を用いて原画像と同一サイズとなるように画素補完し、補助情報ごとの補完画像を参照フレーム超解像補助情報決定部５３に出力する。点広がり関数を用いて画素補完を行う方法として、従来からのＭＡＰ法を用いることができる。点広がり関数を用いて画素補完を行うことにより、静止領域についても画素補完をすることができるようになる。

従来からのＭＡＰ法は、ｘを高解像度な画像復元されたフレーム画像ベクトル、ｙを低解像度な超解像元フレーム画像ベクトル、Ｎを入力フレーム数とした時の事後確率ｐ(ｘ｜ｙ_１，ｙ_２，・・・，ｙ_Ｎ)を最大にする高解像度フレーム画像を推定する方法である。

従来からのＭＡＰ法によれば、誤差分布を正規分布と仮定した場合、推定される高解像度フレーム画像ｘ(＾)は、式（１１）で計算される。

また、式（１１）の点広がり関数ＰＳＦのＢ_ｋを、２次元ガウス関数近似による点広がり関数とし、位置合わせ情報（つまり、フレーム間動きベクトルの向きと大きさに対応する情報）に応じて、２次元ガウス関数近似による点広がり関数の拡張を行うようにしてもよい。この拡張されたＰＳＦ関数を動き量適応型点広がり関数カーネルＥ・Ｂ_ｋとする。

式（１２）に、動き量適応型点広がり関数カーネルＥ・Ｂ_ｋを用いたＭＡＰ再構成処理式を示す。

より具体的に、「２次元ガウス関数近似による点広がり関数ＰＳＦ」と、「動き量適応型点広がり関数（拡張された２次元ガウス関数近似による点広がり関数ＰＳＦ）」について、説明する。ＰＳＦを、２次元のガウス関数で近似するにあたり、式（１３）のように、半値幅をｗとし、面積が１の規格化ガウス関数の振幅をαとして定義する。

式（１２）より、２次元のガウス関数は、式（１４）のようになる。ここで、水平方向の基準位置はｘ_０、垂直方向の基準位置はｙ_０となる。

位置合わせ情報ｍの水平方向の動き量をｍ_ｘ、垂直方向の動き量をｍ_ｙとすると、式（１３）のガウス関数における水平方向と垂直方向の半値幅は、式（１５）のように制御される。

式（１５）は、位置合わせ情報の向きと大きさに応じて点広がり関数の広がり方向と広がり量を制御するものである。画像補完処理部５２は、式（１２）のカーネルＥ・Ｂ_ｋを式（１５）の２次元のガウス関数として、画像拡大倍率に応じて式（１５）の半値幅ｗを決定し、式（１４）のλを変化させながら式（１４）の繰り返し演算を行い、最適な補完画像を求めることができる。

参照フレーム超解像補助情報決定部５３は、画像補完処理部５２から入力される補助情報ごとの補完画像と原画像との差分値をブロックごとに算出する。そして、補助情報ごとの補完画像のうち、原画像との差分値が最も小さい補完画像をブロックごとに選択し、該補完画像の生成に用いた補助情報を参照フレーム超解像補助情報と決定し、外部に出力する（ステップＳ３１）。なお、補完画像と縮小画像を単純拡大した画像との差分値が最小となるように参照フレーム超解像補助情報を決定することも可能であるが、原画像を比較対象とすることにより、より原画像に近い高画質の超解像画像を生成することができるようになる。ここで、差分値として、差の絶対値の和、差の絶対値の積、差の絶対値の最小値、又は差の二乗和など、種々の値を用いることができる。また、ブロック単位で、補完画像と原画像の平均二乗誤差（ＲＭＳ)を求め、両者の差分値を算出するようにしてもよい。

なお、上述した超解像補助情報生成装置１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、超解像補助情報生成装置１の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのＣＰＵ（中央演算処理装置）によってこのプログラムを読み出して実行させることで実現することができる。

このように、超解像補助情報生成装置１及びそのプログラムによれば、高画質の超解像画像を生成する際に必要となる超解像補助情報を生成することができるようになる。また、複数フレーム再構成判定部５０にて点広がり関数を用いて画素補完を行うことにより、静止領域についても超解像画像を生成することができるようになる。

［符号化装置］
次に、上述した超解像補助情報生成装置１を用いた符号化装置について説明する。図１５は、本発明による一実施例の符号化装置の構成を示すブロック図である。符号化装置６０は、超解像補助情報生成装置１と、減算部６１と、量子化部６２と、可変長符号化部６３と、逆量子化部６４と、超解像画像生成部６５と、加算部６６と、フレームメモリ６７と、動き補償部６８とを備える。

減算部６１は、原画像と動き補償部６８から入力される予測画像との差分画像を生成して超解像補助情報生成装置１に出力する。

超解像補助情報生成装置１を符号化装置６０に適用する場合には、超解像補助情報生成装置１は、動きベクトル情報、基準フレーム超解像補助情報、及び参照フレーム超解像補助情報に加えて、画像縮小部２０にて生成した基準フレーム縮小画像ＣＡ_ｍ ^(ｎ)も外部に出力する。超解像補助情報生成装置１は、減算部６１から入力される差分画像に対して、上述した超解像補助情報生成処理を行い、基準フレーム縮小画像を量子化部６２に出力し、動きベクトル情報を可変長符号化部６３及び動き補償部６８に出力し、動きベクトル情報、基準フレーム超解像補助情報、及び参照フレーム超解像補助情報を可変長符号化部６３に出力する。

量子化部６２は、超解像補助情報生成装置１から入力される基準フレーム縮小画像に対して量子化処理を行い、可変長符号化部６３及び逆量子化部６４に出力する。

可変長符号化部６３は、量子化部６２から入力される基準フレーム縮小画像の量子化データと、超解像補助情報生成装置１から入力される動きベクトル情報、基準フレーム超解像補助情報、及び参照フレーム超解像補助情報に対して可変長符号化処理を行い、符号化データのビットストリームを生成し、復号側に出力する。

逆量子化部６４は、量子化部６２から入力される基準フレーム縮小画像の量子化データに対して逆量子化処理を行い、超解像画像生成部６５に出力する。

超解像画像生成部６５は、超解像補助情報生成装置１から入力される基準フレーム縮小画像、動きベクトル情報、基準フレーム超解像補助情報、及び参照フレーム超解像補助情報を用いて超解像画像を生成し、加算部６６に出力する。

図１６は、超解像画像生成部６５の構成を示すブロック図である。超解像画像生成部６５は、超解像部６５１と、複数フレーム再構成部６５２とを備える。超解像部６５１は、基準フレームウェーブレット分解部６５１１と、基準フレームウェーブレット再構成部６５１２と、基準フレームフィルタ適用ウェーブレット再構成部６５１３と、メモリ６５１４と、参照フレームウェーブレット分解部６５１５と、参照フレームウェーブレット再構成部６５１６と、参照フレームフィルタ適用ウェーブレット再構成部６５１７とを備える。複数フレーム再構成部６５２は、位置合わせ処理部６５２１と、画像補完処理部６５２２とを備える。

基準フレームウェーブレット分解部６５１１、基準フレームウェーブレット再構成部６５１２、及び基準フレームフィルタ適用ウェーブレット再構成部６５１３の処理は、基準フレーム超解像部３０の基準フレームウェーブレット分解部３１、基準フレームウェーブレット再構成部３２、及び基準フレームフィルタ適用ウェーブレット再構成部３３の処理と同様である。ただし、基準フレームフィルタ適用ウェーブレット再構成部６５１３は、入力される基準フレーム超解像補助情報を用いてフィルタリング処理を行う。

メモリ６５１４は基準フレーム縮小画像を蓄える。参照フレームウェーブレット分解部６５１５と、参照フレームウェーブレット再構成部６５１６と、参照フレームフィルタ適用ウェーブレット再構成部６５１７の処理は、参照フレーム超解像部４０の参照フレームウェーブレット分解部４１、参照フレームウェーブレット再構成部４２、及び参照フレームフィルタ適用ウェーブレット再構成部４３の処理と同様である。ただし、参照フレームウェーブレット分解部６５１５はメモリ６５１４から参照フレーム縮小画像を取得し、参照フレームフィルタ適用ウェーブレット再構成部６５１７は、入力される参照フレーム超解像補助情報を用いてフィルタリング処理を行う。

位置合わせ処理部６５２１は、位置合わせ処理部５１と同様に、基準フレームフィルタ適用ウェーブレット再構成部６５１３から入力される基準フレーム超解像画像に対して、入力される動きベクトル情報、及び参照フィルタ適用ウェーブレット再構成部６５１７から入力される参照フレーム超解像画像を用いて位置合わせ（レジストレーション）を行う。画像補完処理部６５２２は、画像補完処理部５２と同様に、位置合わせ処理部６５２１から入力される位置合わせ後の画像を、点広がり関数を用いて画素補完し、原画像と同じサイズの基準フレーム超解像画像を生成する。

加算部６６は、超解像画像生成部６５から入力される基準フレーム超解像画像と、動き補償部６８から得られる予測画像とを加算処理して復号画像を生成し、フレームメモリ６７に出力する。

動き補償部６８は、フレームメモリ６７に格納された参照フレーム超解像画像に対し、超解像補助情報生成装置１から入力される動きベクトル情報を用いて動き補償を行って予測画像を生成し、予測画像を減算部６１に出力する。

なお、上述した符号化装置６０として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、符号化装置６０の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。

［復号装置］
次に、上述した超解像補助情報生成装置１を用いた復号装置について説明する。図１７は、本発明による一実施例の復号装置の構成を示すブロック図である。復号装置７０は、可変長復号部７１と、逆量子化部７２と、超解像画像生成部７３と、加算部７４と、フレームメモリ７５と、動き補償部７６とを備える。

可変長復号部７１は、符号化装置６０から入力される符号化データに対して可変長復号処理を施し、基準フレーム縮小画像の量子化データを逆量子化部７２に出力し、基準フレーム超解像補助情報及び参照フレーム超解像補助情報を超解像画像生成部７３に出力し、動きベクトル情報を超解像画像生成部７３及び動き補償部７６に出力する。

逆量子化部７２は、可変長復号部７１から入力される基準フレーム縮小画像の量子化データに対して逆量子化処理を行い、超解像画像生成部７３に出力する。

超解像画像生成部７３は、逆量子化部７２から入力される基準フレーム縮小画像と、可変長復号部７１から入力される動きベクトル情報、基準フレーム超解像補助情報、及び参照フレーム超解像補助情報とを用いて、基準フレーム超解像画像を生成し、加算部７４に出力する。超解像画像生成部７３の詳細な構成は図１６に示した超解像画像生成部６５と同様であるため、説明を省略する。

加算部７４は、超解像画像生成部７３から入力される基準フレーム超解像画像と、動き補償部７６から入力される予測画像とを加算して画像を復元し、復号画像をフレームメモリ７５及び外部に出力する。

動き補償部７６は、フレームメモリ７５に格納された参照フレーム超解像画像に対し、可変長復号部７１から入力される動きベクトル情報を用いて動き補償を行って予測画像を生成し、予測画像を加算部７４に出力する。

なお、上述した復号装置７０として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、復号装置７０の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。

このように、符号化装置６０及びそのプログラムによれば、超解像補助情報生成装置１にて生成した基準フレームの縮小画像及び超解像補助情報を符号化して伝送することができる。また、復号装置７０及びそのプログラムによれば、基準フレームの縮小画像及び超解像補助情報から高画質の超解像画像を復号することができるようになる。

上述の実施例は、代表的な例として説明したが、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施例ではウェーブレット分解によりダウンサンプリングを行っているが、オクターブ分解するものであれば、ウェーブレット分解には限定されない。

本発明は、超解像画像、例えばスーパーハイビジョン（ＳＨＶ）のような超高精細映像を生成する用途に有用である。

１ 超解像補助情報生成装置
１０ 動きベクトル検出部
１１ 時間方向高周波領域パワー算出部
１２ 空間分解階数決定部
１３ 空間方向低周波領域パワー算出部
１４ 動き検出開始分解能決定部
１５ 階層型動き検出部
１６ 分解能決定部
２０ 画像縮小部
３０ 基準フレーム超解像部
３１，６５１１ 基準フレームウェーブレット分解部
３２，６５１２ 基準フレームウェーブレット再構成部
３３ 基準フレーム用分散値記憶部
３４，６５１３ 基準フレームフィルタ適用ウェーブレット再構成部
３５ 基準フレーム超解像画像・補助情報決定部
４０ 参照フレーム超解像部
４１，６５１５ 参照フレームウェーブレット分解部
４２，６５１６ 参照フレームウェーブレット再構成部
４３ 参照フレーム用分散値記憶部
４４，６５１７ 参照フレームフィルタ適用ウェーブレット再構成部
５０ 複数フレーム再構成判定部
５１，６５２１ 位置合わせ処理部
５２，６５２２ 画像補完処理部
５３ 参照フレーム超解像補助情報決定部
６１ 減算部
６２ 量子化部
６３ 可変長符号化部
６４，７２ 逆量子化部
６５，７３ 超解像画像生成部
６６，７４ 加算部
６７，７５ フレームメモリ
６８，７６ 動き補償部
７１ 可変長復号部
１０１ ブロック分割部
１０２ ブロックマッチング処理部
１１１ 時間方向１次元Ｎｍａｘ階離散ウェーブレット分解処理部
１１２ 時間方向周波数帯域別パワー算出部
１３１ 空間方向２次元Ｎｓ階離散ウェーブレット分解処理部
１３２ 空間方向周波数帯域別パワー算出部
１５１ 動き検出部
１５２ 空間１階ウェーブレット再構成部
６５１ 超解像部
６５２ 複数フレーム再構成部

Claims (11)

1. 原画像列を縮小した縮小画像列から超解像画像を生成する際に用いる超解像補助情報を生成する超解像補助情報生成装置であって、
   原画像の基準フレームについて、所定サイズのブロックごとに、参照フレームとの間の動きベクトルを検出する動きベクトル検出部と、
   原画像を所定の縮小率で縮小した縮小画像を生成する画像縮小部と、
   前記画像縮小部により生成された、基準フレームの縮小画像に対し、複数の第１補助情報を用いて、第１補助情報ごとに超解像画像を生成し、原画像を該超解像画像と同一サイズに縮小した画像との差分値が最小となる超解像画像を基準フレーム超解像画像として選択し、該基準フレーム超解像画像の生成に用いた第１補助情報を基準フレーム補助情報として出力する基準フレーム超解像部と、
   前記画像縮小部により生成された、参照フレームの縮小画像に対し、複数の第２補助情報を用いて、第２補助情報ごとの超解像画像を参照フレーム超解像画像列として生成する参照フレーム超解像部と、
   前記基準フレーム超解像画像に対して、前記動きベクトル及び前記参照フレーム超解像画像列を用いて画素補完を行って前記第２補助情報ごとの補完画像を生成し、原画像との差分値が最小となる補完画像の生成に用いた第２補助情報を参照フレーム補助情報として出力する複数フレーム再構成判定部と、
   を備えることを特徴とする超解像補助情報生成装置。
2. 前記複数フレーム再構成判定部は、
   前記基準フレーム超解像画像に対して、前記参照フレーム超解像画像列を前記動きベクトル用いて位置合わせすることで画素補完を行って前記第２補助情報ごとの位置合わせ画像を生成する位置合わせ処理部と、
   前記第２補助情報ごとの位置合わせ画像を、点広がり関数を用いて原画像と同一サイズとなるように画素補完し、前記第２補助情報ごとの補完画像を生成する画像補完処理部と、
   前記第２補助情報ごとの補完画像と原画像との差分値を算出し、該差分値が最小となる補完画像の生成に用いた第２補助情報を参照フレーム超解像補助情報として出力する参照フレーム超解像補助情報決定部と、
   を備えることを特徴とする、請求項１に記載の超解像補助情報生成装置。
3. 前記基準フレーム超解像部は、
   前記画像縮小部にて原画像列のオクターブ分解により生成された分解階数ｎの基準フレームの縮小画像をオクターブ分解して、分解階数ｎ＋１における水平、垂直、斜め方向の高周波領域成分の基準フレーム分解画像を生成する基準フレームオクターブ分解部と、
   前記基準フレームオクターブ分解部により生成された水平、垂直、斜め方向の高周波領域成分の基準フレーム分解画像の各々を空間低周波領域成分とし、同じサイズのゼロ行列を空間高周波領域成分に設定した画像に対してオクターブ再構成処理を施して、分解階数ｎにおける水平、垂直、斜め方向の各高周波領域成分の基準フレーム再構成画像を生成する基準フレームオクターブ再構成部と、
   前記基準フレーム再構成画像に対して、前記第１補助情報を用いたフィルタリング処理を行ってフィルタリング画像を生成し、該フィルタリング画像を高周波成分に設定し前記基準フレームの縮小画像を低周波成分に設定した画像に対してオクターブ再構成処理を施して分解階数ｎ−１における基準フレームフィルタ適用再構成画像を前記第１補助情報ごとに生成する基準フレームフィルタ適用オクターブ再構成部と、
   前記基準フレームフィルタ適用再構成画像の低周波成分と、前記画像縮小部にて原画像列のオクターブ分解により生成された分解階数ｎ−１の基準フレームの縮小画像の低周波成分との差分値を算出し、該差分値が最小となる分解階数ｎ−１における再構成画像の低周波成分を前記基準フレーム超解像画像とする基準フレーム超解像画像・補助情報決定部と、
   を備えることを特徴とする、請求項１又は２に記載の超解像補助情報生成装置。
4. 前記参照フレーム超解像部は、
   前記画像縮小部にて原画像列のオクターブ分解により生成された分解階数ｎの参照フレームの縮小画像をオクターブ分解して、分解階数ｎ＋１における水平、垂直、斜め方向の高周波領域成分の分解画像を生成する参照フレームオクターブ分解部と、
   前記参照フレームオクターブ分解部により生成された水平、垂直、斜め方向の高周波領域成分の参照フレーム分解画像の各々を空間低周波領域成分とし、同じサイズのゼロ行列を空間高周波領域成分に設定した画像に対してオクターブ再構成処理を施して、分解階数ｎにおける水平、垂直、斜め方向の各高周波領域成分の参照フレーム再構成画像を生成する参照フレームオクターブ再構成部と、
   前記参照フレーム再構成画像に対して、前記第２補助情報を用いたフィルタリング処理を行ってフィルタリング画像を生成し、該フィルタリング画像を高周波成分に設定し前記参照フレームの縮小画像を低周波成分に設定した画像に対してオクターブ再構成処理を施して分解階数ｎ−１における参照フレームフィルタ適用再構成画像を前記第２補助情報ごとに生成し、該生成した第２補助情報ごとの参照フレームフィルタ適用再構成画像を前記参照フレーム超解像画像列とする参照フレームフィルタ適用オクターブ再構成部と、
   を備えることを特徴とする、請求項１〜３のいずれか一項に記載の超解像補助情報生成装置。
5. 前記第１補助情報及び前記第２補助情報は、ガウシアンフィルタの分散値であることを特徴とする、請求項１〜４のいずれか一項に記載の超解像補助情報生成装置。
6. 前記動きベクトル検出部は、
   原画像における複数フレームにわたる時間方向の高周波領域のパワーの割合が大きいほど大きなブロックサイズ及び大きな動き探索範囲の大きさとなるように階層的に規定した分解能、又は動画像における１フレームの空間方向の低周波領域のパワーの割合が大きいほど大きなブロックサイズ及び大きな動き探索範囲の大きさとなるように階層的に規定した分解能のテーブルを保持しており、
   当該時間方向の高周波領域のパワーの割合又は空間方向の低周波領域のパワーの割合を検出して分解能の値を決定する分解能決定部と、
   前記テーブルを参照して、前記分解能の値に対応するブロックサイズ及び動き探索範囲の大きさの階層から動きベクトル検出を開始して、次第に該ブロックサイズよりも小さいブロックサイズ及び該動き探索範囲の大きさよりも小さい動き探索範囲の大きさの階層での動きベクトル検出へと移行する階層型動きベクトル検出部と、
   を備えることを特徴とする、請求項１〜５のいずれか一項に記載の超解像補助情報生成装置。
7. 請求項１〜６のいずれか一項に記載の超解像補助情報生成装置を備え、
   前記動きベクトル検出部により検出された動きベクトルの情報、前記画像縮小部により生成された縮小画像、前記基準フレーム超解像部により生成された基準フレーム補助情報、及び前記複数フレーム再構成判定部により生成された参照フレーム補助情報を符号化した符号化データを生成することを特徴とする符号化装置。
8. 請求項７に記載の符号化装置から前記動きベクトルの情報、前記縮小画像、前記基準フレーム補助情報、及び前記参照フレーム補助情報の符号化データを取得し、前記縮小画像の超解像画像を生成することを特徴とする復号装置。
9. コンピュータを、請求項１〜６のいずれか一項に記載の超解像補助情報生成装置として機能させるための超解像補助情報生成プログラム。
10. コンピュータを、請求項７に記載の符号化装置として機能させるための符号化プログラム。
11. コンピュータを、請求項８に記載の復号装置として機能させるための復号プログラム。
    

Images