JP2014057198A - 画像処理装置、画像処理システム、及び画像処理方法 - Google Patents

Abstract

【課題】再構成型超解像度処理における演算量を低減する。
【解決手段】画像処理装置１０は、複数の構成要素を含む。動き予測部１１は、複数のフレームを含む入力画像データを受け付け、ターゲットフレーム上の画素と参照フレーム上の画素との間の対応関係を示す第１動きベクトルを生成する。動きベクトル変換部１２は、第１動きベクトルを、複数のフレームを補間する補間フレーム上の画素と参照フレーム上の画素との間の対応関係を示す第２動きベクトルに変換する。動き補償ユニット２は、第２動きベクトルを用いて、入力画像データに対してフレーム補間処理をし、複数の補間フレームを含む動き補償データを生成する。スケーリングユニット４は、入力画像データにスケーリング処理をし、スケーリング画像データを生成する。再構成処理部は、動き補償データを用いて、スケーリング画像データに対して再構成処理をし、出力画像データを生成する。
【選択図】図３

Description

本発明の実施形態は、画像処理装置、画像処理システム、及び画像処理方法に関する。

近年、低解像度画像から高解像度画像を推定する方法として、再構成型超解像度処理という技術が知られている。再構成型超解像処理は、一般的には画像を拡大する処理であるスケーリング処理の一つであるが、フレーム補間処理と組み合わせて用いられることが多いことから、本明細書で説明する再構成型超解像度処理は、スケーリング処理だけでなくフレーム補間処理の両方を含む処理とする。（すなわち、再構成型超解像度処理では、スケーリング処理と、フレーム補間処理とが実行される。）

スケーリング処理では、入力画像データから動きベクトルを生成する動き予測処理と、この動きベクトルから補間ピクセルを推定する補間ピクセル推定処理と、入力画像データから拡大画像データを生成する拡大処理と、拡大画像データ及び補間ピクセルから再構成画像データを生成する再構成処理とが実行される。

フレーム補間処理では、再構成画像データから動きベクトルを生成する動き予測処理と、この動きベクトルから補間フレームを推定する補間フレーム推定処理と、補間フレームから出力画像データを生成する動き補償処理とが実行される。

しかしながら、従来の再構成型超解像度処理では、スケーリング処理の動きベクトル処理と、フレーム補間処理の動きベクトル処理とが別個に実行されるので、複数回の動きベクトル処理が必要である。その結果、再構成型超解像度処理における演算量が増加する。特に、再構成画像データは、拡大画像データから生成されるので、動き予測処理は、拡大画像データに対応する再構成画像データに対して実行され、演算量が増加する。

特開２００８−１３１２４４号公報

本発明が解決しようとする課題は、再構成型超解像度処理における演算量を低減することである。

本発明の実施形態の画像処理装置は、動き予測部と、動きベクトル変換部と、動き補償ユニットと、スケーリングユニットと、再構成処理部と、を備える。動き予測部は、複数のフレームを含む入力画像データを受け付け、ターゲットフレーム上の画素と参照フレーム上の画素との間の対応関係を示す第１動きベクトルを生成する。動きベクトル変換部は、前記第１動きベクトルを、前記複数のフレームを補間する補間フレーム上の画素と前記参照フレーム上の画素との間の対応関係を示す第２動きベクトルに変換する。動き補償ユニットは、前記第２動きベクトルを用いて、前記入力画像データに対してフレーム補間処理を適用し、複数の補間フレームを含む動き補償データを生成する。スケーリングユニットは、前記入力画像データにスケーリング処理を適用し、スケーリング画像データを生成する。再構成処理部は、前記動き補償データを用いて、前記スケーリング画像データに対して再構成処理を適用し、出力画像データを生成する。

本実施形態の画像処理システム１のブロック図。 本実施形態の入力画像データＩＭＧｉｎの説明図。 本実施形態の画像処理装置１０のブロック図。 本実施形態の補間画像データ生成部１６の動作例の説明図。 本実施形態の動き予測部１１の動作例の説明図。 本実施形態の動きベクトル変換部１２の動作例の説明図。 本実施形態の第２動き補償部１４の動作例の説明図。 本実施形態の変形例の説明図。

本実施形態について、図面を参照して説明する。図１は、本実施形態の画像処理システム１のブロック図である。画像処理システム１は、画像処理装置１０と、画像入力装置３０と、画像出力装置５０と、を備える。画像入力装置３０は、符号化データを復号することにより、入力画像データＩＭＧｉｎを生成するデコーダ（例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）デコーダ）又は入力画像データＩＭＧｉｎを記憶するメモリである。入力画像データは、例えばＲＧＢフォーマット又はＹＵＶフォーマットの動画像データである。画像処理装置１０は、入力画像データＩＭＧｉｎから出力画像データＩＭＧｏｕｔを生成する装置である。画像出力装置５０は、画像処理装置１０が生成した出力画像データＩＭＧｏｕｔを出力する装置（例えば、液晶ディスプレイ）である。

図２は、本実施形態の入力画像データＩＭＧｉｎの説明図である。入力画像データＩＭＧｉｎは、複数のフレームＦ（ｎ）｛ｎ＝０〜Ｎ（Ｎは正の整数）｝を含んでいる。フレームＦ（ｎ）は、複数の画素ＰＸを含んでいる。各画素ＰＸは、画素値Ｖと、座標情報Ｃと、を含んでいる。例えば、画素値Ｖは、ＲＧＢフォーマットの場合には、ＲＧＢの値であり、ＹＵＶフォーマットの場合には、輝度及び色差の値である。

図３は、本実施形態の画像処理装置１０のブロック図である。画像処理装置１０は、動き予測部１１と、動きベクトル変換部１２と、動き補償ユニット２と、スケーリングユニット４と、再構成処理部１９と、を備える。

動き補償ユニット２は、入力画像データＩＭＧｉｎに対してフレーム補間処理をし、動き補償データ（第１又は第２動き補償データＩＰ１又はＩＰ２）を生成する。動き補償ユニット２は、第１及び第２動き補償部１３及び１４と、動き補償セレクタ１５と、を備える。

スケーリングユニット４は、入力画像データＩＭＧｉｎに対してスケーリング処理をし、スケーリング画像データＩＭＧｓを生成する。スケーリングユニット４は、補間画像データ生成部１６と、スケーリングセレクタ１７と、スケーリング処理部１８と、を備える。

以下では、再構成型超解像度処理を適用すべきフレームＦ（ｎ）を「ターゲットフレーム」と称し、再構成型超解像度処理において参照すべきフレームＦ（ｎ−１）及びＦ（ｎ＋１）を「参照フレーム」と称する。

動き予測部１１は、入力画像データＩＭＧｉｎのフレーム毎に、動き予測の対象となるターゲットフレームと参照フレームとの間の第１動きベクトルＭＶ１を生成する。第１動きベクトルＭＶ１とは、参照フレームからターゲットフレーム（即ち、入力画像データＩＭＧｉｎに含まれるフレーム）上への画像の動きを示すベクトルである。第１動きベクトルＭＶ１は、ターゲットフレームのすべての画素について、ターゲットフレーム上の画素と、参照フレーム上の画素との間の対応関係を示す。すなわち、この第１動きベクトルＭＶ１の数は、ターゲットフレームの画素数と参照フレーム数との積である。第１動きベクトルＭＶ１のベクトル量は、参照フレームからターゲットフレームへの画素Ｖの動きの大きさに対応し、第１動きベクトルＭＶ１のベクトル方向は、参照フレームからターゲットフレームへの画素Ｖの動きの方向に対応する。第１動きベクトルＭＶは、小数画素精度で得られる。例えば、動き予測部１１は、ブロックマッチング法または勾配法を用いて、第１動きベクトルＭＶ１を生成する。

動きベクトル変換部１２は、第１動きベクトルＭＶ１を第２動きベクトルＭＶ２に変換する。第２動きベクトルＭＶ２とは、参照フレームから、参照フレームとは異なる補間フレームＦｉｐ上への画像の動きを示すベクトルである。第２動きベクトルＭＶ２のベクトル量は、参照フレームから補間フレームＦｉｐへの画素Ｖの動きの大きさに対応し、第２動きベクトルＭＶ２のベクトル方向は、参照フレームから補間フレームＦｉｐへの画素Ｖの動きの方向に対応する。補間フレームＦｉｐは、入力画像データＩＭＧｉｎには含まれていない。

補間画像データ生成部１６は、入力画像データＩＭＧｉｎに、比較的簡単なフレーム補間処理（たとえばブレンド処理）をし、スケーリング補間画像データＩＭＧｉｐを生成する。スケーリング補間画像データＩＭＧｉｐとは、入力画像データＩＭＧｉｎに含まれる複数のフレーム間を補間する、補間フレームを含む画像データである。

スケーリングセレクタ１７は、選択信号ＳＥＬに基づいて、入力画像データＩＭＧｉｎ及びスケーリング補間画像データＩＭＧｉｐの一方を選択する。選択信号ＳＥＬとは、画像処理装置１０の内部又は外部から供給される２値信号である。例えば、スケーリングセレクタ１７は、選択信号ＳＥＬが“０”の場合には、入力画像データＩＭＧｉｎを選択し、選択信号ＳＥＬが“１”の場合には、スケーリング補間画像データＩＭＧｉｐを選択する。すなわち、スケーリングセレクタ１７は、入力象データＩＭＧｉｎのフレームを得る場合には、入力画像データＩＭＧｉｎを選択し、補間フレームを得る場合には、スケーリング補間画像データＩＭＧｉｐを選択する。

スケーリング処理部１８は、スケーリングセレクタ１７の出力（即ち、入力画像データＩＭＧｉｎ又はスケーリング補間画像データＩＭＧｉｐ）にスケーリング処理をし、スケーリング画像データＩＭＧｓを生成する。スケーリング画像データＩＭＧｓとは、再構成処理部１９による再構成前の暫定的な画像データである。例えば、スケーリング処理では、バイリニアフィルタ、バイキュービックフィルタ、又は線形補間フィルタが適用される。スケーリング画像データＩＭＧｓは、スケーリング率が１より大きい場合には、入力画像データＩＭＧｉｎに対する拡大画像データであり、スケーリング率が１である場合には、入力画像データＩＭＧｉｎと等倍の画像データであり、スケーリング率が１未満である場合には、入力画像データＩＭＧｉｎに対する縮小画像データである。

第１動き補償部１３は、第１動きベクトルＭＶ１と、対応する参照フレームの画素値とを用いて、第１動き補償データＩＰ１を生成する。第１動き補償データＩＰ１は、スケーリング画像データＩＭＧｓ上の小数精度座標及び画素値の集合からなる。画素値は、参照フレームの画素値と同一である。座標は、参照フレームの画素がスケーリング画像データＩＭＧｓのどこに対応するかの情報である第１動きベクトルＭＶ１から得られる。すなわち、第１動き補償データＩＰ１とは、スケーリング処理において不足する入力画像データＩＭＧｉｎの画素（即ち、スケーリング画像データＩＭＧｓに含まれていない入力画像データＩＭＧｉｎの要素）を定義するデータである。

第２動き補償部１４は、第２動きベクトルＭＶ２と、参照フレームの画素値とを用いて、第２動き補償データＩＰ２を生成する。第２動き補償データＩＰ２は、スケーリング画像データＩＭＧｓ上の小数精度座標及び画素値の集合からなる。画素値は、参照フレームの画素値と同一である。座標は、参照フレームの画素が補間スケーリング画像データＩＭＧｓのどこに対応するかの情報である第２動きベクトルＭＶ２から得られる。

動き補償セレクタ１５は、選択信号ＳＥＬに基づいて、第１及び第２動き補償データＩＰ１及びＩＰ２の一方を、補間画像データとして選択する。選択信号ＳＥＬは、スケーリングセレクタ１７へ供給される選択信号ＳＥＬと同一である。動き補償セレクタ１５は、スケーリングセレクタ１７が入力画像データＩＭＧｉｎを選択する場合（選択信号ＳＥＬが“０”の場合）には、第１動き補償データＩＰ１を選択し、スケーリングセレクタ１７がスケーリング補間画像データＩＭＧｉｐを選択する場合（選択信号ＳＥＬが“１”の場合）には、第２動き補償データＩＰ２を選択する。

再構成処理部１９は、動き補償セレクタ１５の出力（即ち、第１又は第２動き補償データＩＰ１又はＩＰ２）を用いて、スケーリング画像データＩＭＧｓ（即ち、入力画像データＩＭＧｉｎ又はスケーリング補間画像データＩＭＧｉｐが、拡大又は縮小されたもの）に対して再構成処理（例えば、再構成処理は、最尤推定処理（ＭＡＰ：Ｍａｘｉｍｕｍ ａ Ｐｏｓｔｅｒｉｏｒｉ）又は凸射影処理（ＰＯＣＳ：Ｐｒｏｊｅｃｔｉｏｎ Ｏｎｔｏ Ｃｏｎｖｅｘ Ｓｅｔｓ））をし、出力画像データＩＭＧｏｕｔを生成する。

補間画像データ生成部１６の動作例について説明する。図４は、本実施形態の補間画像データ生成部１６の動作例の説明図である。補間画像データ生成部１６は、例えば、入力画像データＩＭＧｉｎに含まれる２個の隣接フレームＦ（ｎ−１）及びＦ（ｎ）の平均を計算することにより、補間フレームＦｉｐ（ｎ−１：ｎ）を生成する。補間フレームＦｉｐ（ｎ−１：ｎ）は、フレームＦ（ｎ−１）とフレームＦ（ｎ）との間の画像を補間するフレームである。スケーリング補間画像データＩＭＧｉｐは、入力画像データＩＭＧｉｎに含まれるフレームＦと、補間フレームＦｉｐと、を含んでいる。

動き予測部１１の動作例について説明する。図５は、本実施形態の動き予測部１１の動作例の説明図である。第１動きベクトルＭＶ１（ｎ）は、複数の第１画素動きベクトルＭＶ１ｐｘの集合である。第１画素動きベクトルＭＶ１ｐｘは、参照フレーム上の画素とターゲットフレーム上の画素との間の対応関係（例えば、小数精度での位置の変化）を示す。

動き予測部１１は、参照フレームＦ（ｎ−１）上の画素ＰＸ１（ｎ−１）に対応するターゲットフレームＦ（ｎ）上の画素ＰＸ１（ｎ）を予測し、画素ＰＸ１（ｎ−１）と画素ＰＸ１（ｎ）との間の対応関係を示す第１画素動きベクトルＭＶ１ｐｘ１（ｎ−１：ｎ）を計算する。

また、動き予測部１１は、参照フレームＦ（ｎ−２）上の画素ＰＸ２（ｎ−２）に対応するターゲットフレームＦ（ｎ）上の画素ＰＸ２（ｎ）を予測し、画素ＰＸ２（ｎ−２）と画素ＰＸ２（ｎ）との間の対応関係を示す第１画素動きベクトルＭＶ１ｐｘ２（ｎ−２：ｎ）を計算する。

また、動き予測部１１は、参照フレームＦ（ｎ−１）上の画素ＰＸ３（ｎ−１）に対応するターゲットフレームＦ（ｎ＋１）上の画素ＰＸ３（ｎ＋１）を予測し、画素ＰＸ３（ｎ−１）と画素ＰＸ３（ｎ＋１）との間の対応関係を示す第１画素動きベクトルＭＶ１ｐｘ３（ｎ−１：ｎ＋１）を計算する。

動きベクトル変換部１２の動作例について説明する。図６は、本実施形態の動きベクトル変換部１２の動作例の説明図である。図６は、参照フレームＦ（ｎ−２）及びＦ（ｎ−１）を用いて、ターゲットフレームＦ（ｎ）の第２動きベクトルＭＶ２（ｎ）を生成する（即ち、第２ベクトルＭＶ２を内挿により生成する）例である。第２動きベクトルＭＶ２（ｎ）は、複数の第２画素動きベクトルＭＶ２ｐｘの集合である。第２画素動きベクトルＭＶ２ｐｘは、参照フレーム上の画素と補間フレーム上の画素との間の対応関係（例えば、小数精度での位置の変化）を示す。

動きベクトル変換部１２は、第１画素動きベクトルＭＶ１ｐｘ１（ｎ−１：ｎ）と補間フレームＦｉｐ（ｎ−１：ｎ）の時間軸上の位置とに基づいて、画素ＰＸ１（ｎ−１）と補間フレームＦｉｐ（ｎ−１：ｎ）上の画素との間の対応関係を示す第２画素動きベクトルＭＶ２ｐｘ１（ｎ−１：ｎ）を計算する。

また、動きベクトル変換部１２は、第１画素動きベクトルＭＶ１ｐｘ２（ｎ−２：ｎ）と、補間フレームＦｉｐ（ｎ−１：ｎ）の時間軸上の位置とに基づいて、画素ＰＸ２（ｎ−２）と補間フレームＦｉｐ（ｎ−１：ｎ）上の画素との間の対応関係を示す第２画素動きベクトルＭＶ２ｐｘ２（ｎ−２：ｎ）を計算する。

また、動きベクトル変換部１２は、第１画素動きベクトルＭＶ１ｐｘ３（ｎ−１：ｎ＋１）と、補間フレームＦｉｐ（ｎ−１：ｎ）の時間軸上の位置とに基づいて、画素ＰＸ３（ｎ−１）と補間フレームＦｉｐ（ｎ−１：ｎ）上の画素との間の対応関係を示す第２画素動きベクトルＭＶ２ｐｘ３（ｎ−１：ｎ）を計算する。

第２動き補償部１４の動作例について説明する。図７は、本実施形態の第２動き補償部１４の動作例の説明図である。図７は、補間フレームＦｉｐ（ｎ−１：ｎ）に対応する第２動き補償データＩＰ２を生成する例である。第２動き補償データＩＰ２は、補間フレームＦｉｐ（ｎ−１：ｎ）上の画素及び位置を定義している。

第２動き補償部１４は、画素ＰＸ１（ｎ−１）及び第２画素動きベクトルＭＶ２ｐｘ１（ｎ−１：ｎ）を用いて、補間フレームＦｉｐ（ｎ−１：ｎ）上の第２補間画素ＰＸｉｐ１（ｎ−１：ｎ）及び位置を計算する。

また、第２動き補償部１４は、画素ＰＸ２（ｎ−２）及び第２画素動きベクトルＭＶ２ｐｘ２（ｎ−２：ｎ）を用いて、補間フレームＦｉｐ（ｎ−１：ｎ）上の第２補間画素ＰＸｉｐ２（ｎ−２：ｎ）及び位置を計算する。

また、第２動き補償部１４は、画素ＰＸ３（ｎ−１）及び第２画素動きベクトルＭＶ２ｐｘ３（ｎ−１：ｎ）を用いて、補間フレームＦｉｐ（ｎ−１：ｎ）上の第２補間画素ＰＸｉｐ３（ｎ−１：ｎ）及び位置を計算する。

仮に、本実施形態の画像処理装置１０の構成がなければ、スケーリング処理と、フレーム補間処理と、が独立して行われる。このとき、スケーリング処理及びフレーム補間処理においてそれぞれ、動き予測処理が行われる。

これに対して、本実施形態によれば、再構成処理部１９による再構成処理の前に、動き予測部１１が第１動きベクトルＭＶ１を生成し、且つ、動きベクトル変換部１２が第２動きベクトルＭＶ２を生成するので、再構成型超解像度処理における演算量を低減することができる。

また、本実施形態によれば、動き補償ユニット２及びスケーリングユニット４が、選択的に動作するので、入力画像データＩＭＧｉｎに含まれる複数のフレーム（即ち、ターゲットフレーム及び参照フレーム）に対する再構成処理と、入力画像データＩＭＧｉｎに含まれない補間フレームに対する再構成処理と、を１つのモジュール（再構成処理部１９）で実現することができる。

また、従来の再構成型超解像度処理では、スケーリング処理における再構成処理が実行された後に、フレーム補間処理における動き予測処理が実行されるので、動き予測処理は、再構成処理により得られるノイズを含む画像データに対して実行されることになる。その結果、出力画像の画質が低下するという問題がある。

これに対して、本実施形態によれば、動き予測部１１による動き予測処理は、入力画像データＩＭＧｉｎ（即ち、再構成処理部１９による再構成処理が実行される前のデータ）に対して実行される。これにより、従来と比べて、出力画像の画質を改善することができる。

本実施形態の変形例について説明する。図８は、本実施形態の変形例の説明図である。図８（Ａ）に示すように、変形例は、画素ＰＸ１（ｎ−１）及び第２画素動きベクトルＭＶ２ｐｘ１（ｎ−１：ｎ）を用いて計算された第２補間画素ＰＸｉｐ１（ｎ−１：ｎ）が、画素ＰＸ２（ｎ−１）及び第２画素動きベクトルＭＶ２ｐｘ２（ｎ−１：ｎ）を用いて計算された第２補間画素ＰＸｉｐ１（ｎ−１：ｎ）と一致する（即ち、第２補間画素が重複する）場合の例である。

この場合には、図８（Ｂ）に示すように、第２動き補償部１４は、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）法を用いて、該当する複数の第２動きベクトルＭＶ２ｐｘ１（ｎ−１：ｎ）及びＭＶ２ｐｘ２（ｎ−１：ｎ）のうち、計算された第２補間画素ＰＸｉｐ１（ｎ−１：ｎ）に最も類似する、参照フレーム上の画素に関連付けられた第２動きベクトル（例えば、第２動きベクトルＭＶ２ｐｘ１（ｎ−１：ｎ））を用いて、第２動き補償データＩＰ２を計算する。

本実施形態の変形例によれば、計算された第２補間画素に最も類似する、参照フレーム上の画素に関連付けられた第２動きベクトルのみが、第２動き補償データＩＰ２の計算に用いられる。これにより、本実施形態と比べて、出力画像データＩＭＧｏｕｔの画質を改善することができる。

なお、第２補間画素が重複する場合において、図８（Ｂ）に代えて、第２動き補償部１４は、重複する第２補間画素が存在する補間フレームについての第２動き補償データＩＰ２の生成を省略しても良い。これにより、本実施形態と比べて、画像処理装置１０（特に、第２動き補償部１４）の処理量を低減することができる。

また、本実施形態では、図６において、第２動きベクトルＭＶ２を内挿により生成する例について説明したが、第２動きベクトルＭＶ２を外挿により生成してもよい。外挿とは、ターゲットフレームと参照フレームとの間に補間フレームがない（即ち、ターゲットフレームに対して、参照フレームとは逆側に補間フレームを挿入する）場合を示す。例えば、図６において、フレームＦ（ｎ−２）を参照フレームとして用い、かつ、フレームＦ（ｎ−１）をターゲットフレームとして用いたときの第１動きベクトルＭＶ１に基づいて、補間フレームＦｉｐ（ｎ−１：ｎ）が挿入される。この場合には、動きベクトルＭＶ１を１．５倍することにより、第２動きベクトルＭＶ２、すなわち補間フレームＦｉｐ（ｎ−１：ｎ）の挿入位置が得られる。

また、本実施形態では、入力画像データＩＭＧｉｎ及び出力画像データＩＭＧｏｕｔが、何れも、プログレッシブ画像に対応する例について説明したが、入力画像データＩＭＧｉｎがインターレース画像に対応し、出力画像データＩＭＧｏｕｔがプログレッシブ画像に対応してもよい（即ち、画像処理装置１０が、インターレース画像からプログレッシブ画像へのＩＰ（Ｉｎｔｅｒｌａｃｅ−Ｐｒｏｇｒｅｓｓｉｖｅ）変換機能を備えてもよい）。例えば、スケーリング処理部１８が、スケーリング処理において、縦方向のスケーリング率を、横方向のスケーリング率の２倍とし、且つ、動き予測部１１が、参照フレーム上の画素の位置とターゲットフレーム上の画素の位置との間の変化を考慮して、第１動きベクトルＭＶを生成する。これにより、ＩＰ変換機能を実現することができる。

また、本実施形態では、参照フレーム数が２個である例について説明したが、本発明の範囲はこれに限られるものではない。本発明は、参照フレーム数が３個以上（例えば、Ｆ（ｎ−２）、Ｆ（ｎ−１）、Ｆ（ｎ＋１）、及びＦ（ｎ＋２）の４個）であっても良い。

本実施形態に係る画像処理システム１の少なくとも一部は、ハードウェアで構成しても良いし、ソフトウェアで構成しても良い。ソフトウェアで構成する場合には、画像処理システム１の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させても良い。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でも良い。

また、本実施形態に係る画像処理システム１の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布しても良い。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布しても良い。

なお、本発明は、上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で構成要素を変形して具体化される。また、上述した実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明が形成可能である。例えば、上述した実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１ 画像処理システム
２ 動き補償ユニット
４ スケーリングユニット
１０ 画像処理装置
１１ 動き予測部
１２ 動きベクトル変換部
１３ 第１動き補償部
１４ 第２動き補償部
１５ 動き補償セレクタ
１６ 補間画像データ生成部
１７ スケーリングセレクタ
１８ スケーリング処理部
１９ 再構成処理部
３０ 画像入力装置
５０ 画像出力装置

本発明の実施形態は、画像処理装置、画像処理システム、及び画像処理方法に関する。

近年、低解像度画像から高解像度画像を推定する方法として、再構成型超解像度処理という技術が知られている。再構成型超解像処理は、一般的には画像を拡大する処理であるスケーリング処理の一つであるが、フレーム補間処理と組み合わせて用いられることが多いことから、本明細書で説明する再構成型超解像度処理は、スケーリング処理だけでなくフレーム補間処理の両方を含む処理とする。（すなわち、再構成型超解像度処理では、スケーリング処理と、フレーム補間処理とが実行される。）

スケーリング処理では、入力画像データから動きベクトルを生成する動き予測処理と、この動きベクトルから補間ピクセルを推定する補間ピクセル推定処理と、入力画像データから拡大画像データを生成する拡大処理と、拡大画像データ及び補間ピクセルから再構成画像データを生成する再構成処理とが実行される。

フレーム補間処理では、再構成画像データから動きベクトルを生成する動き予測処理と、この動きベクトルから補間フレームを推定する補間フレーム推定処理と、補間フレームから出力画像データを生成する動き補償処理とが実行される。

しかしながら、従来の再構成型超解像度処理では、スケーリング処理の動きベクトル処理と、フレーム補間処理の動きベクトル処理とが別個に実行されるので、複数回の動きベクトル処理が必要である。その結果、再構成型超解像度処理における演算量が増加する。
特に、再構成画像データは、拡大画像データから生成されるので、動き予測処理は、拡大画像データに対応する再構成画像データに対して実行され、演算量が増加する。

特開２００８−１３１２４４号公報

本発明が解決しようとする課題は、再構成型超解像度処理における演算量を低減することである。

本発明の実施形態の画像処理装置は、動き予測部と、動きベクトル変換部と、動き補償ユニットと、スケーリングユニットと、再構成処理部と、を備える。動き予測部は、複数のフレームを含む入力画像データを受け付け、ターゲットフレーム上の画素と参照フレーム上の画素との間の対応関係を示す第１動きベクトルを生成する。動きベクトル変換部は、前記第１動きベクトルを、前記複数のフレームを補間する補間フレーム上の画素と前記参照フレーム上の画素との間の対応関係を示す第２動きベクトルに変換する。動き補償ユニットは、前記第２動きベクトルを用いて、前記入力画像データに対してフレーム補間処理を適用し、複数の補間フレームを含む動き補償データを生成する。スケーリングユニットは、前記入力画像データにスケーリング処理を適用し、スケーリング画像データを生成する。再構成処理部は、前記動き補償データを用いて、前記スケーリング画像データに対して再構成処理を適用し、出力画像データを生成する。

本実施形態の画像処理システム１のブロック図。 本実施形態の入力画像データＩＭＧｉｎの説明図。 本実施形態の画像処理装置１０のブロック図。 本実施形態の補間画像データ生成部１６の動作例の説明図。 本実施形態の動き予測部１１の動作例の説明図。 本実施形態の動きベクトル変換部１２の動作例の説明図。 本実施形態の第２動き補償部１４の動作例の説明図。 本実施形態の変形例の説明図。

本実施形態について、図面を参照して説明する。図１は、本実施形態の画像処理システム１のブロック図である。画像処理システム１は、画像処理装置１０と、画像入力装置３０と、画像出力装置５０と、を備える。画像入力装置３０は、符号化データを復号することにより、入力画像データＩＭＧｉｎを生成するデコーダ（例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）デコーダ）又は入力画像データＩＭＧｉｎを記憶するメモリである。入力画像データは、例えばＲＧＢフォーマット又はＹＵＶフォーマットの動画像データである。画像処理装置１０は、入力画像データＩＭＧｉｎから出力画像データＩＭＧｏｕｔを生成する装置である。画像出力装置５０は、画像処理装置１０が生成した出力画像データＩＭＧｏｕｔを出力する装置（例えば、液晶ディスプレイ）である。

図２は、本実施形態の入力画像データＩＭＧｉｎの説明図である。入力画像データＩＭＧｉｎは、複数のフレームＦ（ｎ）｛ｎ＝０〜Ｎ（Ｎは正の整数）｝を含んでいる。フレームＦ（ｎ）は、複数の画素ＰＸを含んでいる。各画素ＰＸは、画素値Ｖと、座標情報Ｃと、を含んでいる。例えば、画素値Ｖは、ＲＧＢフォーマットの場合には、ＲＧＢの値であり、ＹＵＶフォーマットの場合には、輝度及び色差の値である。

図３は、本実施形態の画像処理装置１０のブロック図である。画像処理装置１０は、動き予測部１１と、動きベクトル変換部１２と、動き補償ユニット２と、スケーリングユニット４と、再構成処理部１９と、を備える。

動き補償ユニット２は、入力画像データＩＭＧｉｎに対してフレーム補間処理をし、動き補償データ（第１又は第２動き補償データＩＰ１又はＩＰ２）を生成する。動き補償ユニット２は、第１及び第２動き補償部１３及び１４と、動き補償セレクタ１５と、を備える。

スケーリングユニット４は、入力画像データＩＭＧｉｎに対してスケーリング処理をし、スケーリング画像データＩＭＧｓを生成する。スケーリングユニット４は、補間画像データ生成部１６と、スケーリングセレクタ１７と、スケーリング処理部１８と、を備える。

以下では、再構成型超解像度処理を適用すべきフレームＦ（ｎ）を「ターゲットフレーム」と称し、再構成型超解像度処理において参照すべきフレームＦ（ｎ−１）及びＦ（ｎ＋１）を「参照フレーム」と称する。

動き予測部１１は、入力画像データＩＭＧｉｎのフレーム毎に、動き予測の対象となるターゲットフレームと参照フレームとの間の第１動きベクトルＭＶ１を生成する。第１動きベクトルＭＶ１とは、参照フレームからターゲットフレーム（即ち、入力画像データＩＭＧｉｎに含まれるフレーム）上への画像の動きを示すベクトルである。第１動きベクトルＭＶ１は、ターゲットフレームのすべての画素について、ターゲットフレーム上の画素と、参照フレーム上の画素との間の対応関係を示す。すなわち、この第１動きベクトルＭＶ１の数は、ターゲットフレームの画素数と参照フレーム数との積である。第１動きベクトルＭＶ１のベクトル量は、参照フレームからターゲットフレームへの画素Ｖの動きの大きさに対応し、第１動きベクトルＭＶ１のベクトル方向は、参照フレームからターゲットフレームへの画素Ｖの動きの方向に対応する。第１動きベクトルＭＶ１は、小数画素精度で得られる。例えば、動き予測部１１は、ブロックマッチング法または勾配法を用いて、第１動きベクトルＭＶ１を生成する。

動きベクトル変換部１２は、第１動きベクトルＭＶ１を第２動きベクトルＭＶ２に変換する。第２動きベクトルＭＶ２とは、参照フレームから、参照フレームとは異なる補間フレームＦｉｐ上への画像の動きを示すベクトルである。第２動きベクトルＭＶ２のベクトル量は、参照フレームから補間フレームＦｉｐへの画素Ｖの動きの大きさに対応し、第２動きベクトルＭＶ２のベクトル方向は、参照フレームから補間フレームＦｉｐへの画素Ｖの動きの方向に対応する。補間フレームＦｉｐは、入力画像データＩＭＧｉｎには含まれていない。

補間画像データ生成部１６は、入力画像データＩＭＧｉｎに、比較的簡単なフレーム補間処理（たとえばブレンド処理）をし、スケーリング補間画像データＩＭＧｉｐを生成する。スケーリング補間画像データＩＭＧｉｐとは、入力画像データＩＭＧｉｎに含まれる複数のフレーム間を補間する、補間フレームを含む画像データである。

スケーリングセレクタ１７は、選択信号ＳＥＬに基づいて、入力画像データＩＭＧｉｎ及びスケーリング補間画像データＩＭＧｉｐの一方を選択する。選択信号ＳＥＬとは、画像処理装置１０の内部又は外部から供給される２値信号である。例えば、スケーリングセレクタ１７は、選択信号ＳＥＬが“０”の場合には、入力画像データＩＭＧｉｎを選択し、選択信号ＳＥＬが“１”の場合には、スケーリング補間画像データＩＭＧｉｐを選択する。すなわち、スケーリングセレクタ１７は、入力画像データＩＭＧｉｎのフレームを得る場合には、入力画像データＩＭＧｉｎを選択し、補間フレームを得る場合には、スケーリング補間画像データＩＭＧｉｐを選択する。

スケーリング処理部１８は、スケーリングセレクタ１７の出力（即ち、入力画像データＩＭＧｉｎ又はスケーリング補間画像データＩＭＧｉｐ）にスケーリング処理をし、スケーリング画像データＩＭＧｓを生成する。スケーリング画像データＩＭＧｓとは、再構成処理部１９による再構成前の暫定的な画像データである。例えば、スケーリング処理では、バイリニアフィルタ、バイキュービックフィルタ、又は線形補間フィルタが適用される。スケーリング画像データＩＭＧｓは、スケーリング率が１より大きい場合には、入力画像データＩＭＧｉｎに対する拡大画像データであり、スケーリング率が１である場合には、入力画像データＩＭＧｉｎと等倍の画像データであり、スケーリング率が１未満である場合には、入力画像データＩＭＧｉｎに対する縮小画像データである。

第１動き補償部１３は、第１動きベクトルＭＶ１と、対応する参照フレームの画素値とを用いて、第１動き補償データＩＰ１を生成する。第１動き補償データＩＰ１は、スケーリング画像データＩＭＧｓ上の小数精度座標及び画素値の集合からなる。画素値は、参照フレームの画素値と同一である。座標は、参照フレームの画素がスケーリング画像データＩＭＧｓのどこに対応するかの情報である第１動きベクトルＭＶ１から得られる。すなわち、第１動き補償データＩＰ１とは、スケーリング処理において不足する入力画像データＩＭＧｉｎの画素（即ち、スケーリング画像データＩＭＧｓに含まれていない入力画像データＩＭＧｉｎの要素）を定義するデータである。

第２動き補償部１４は、第２動きベクトルＭＶ２と、参照フレームの画素値とを用いて、第２動き補償データＩＰ２を生成する。第２動き補償データＩＰ２は、スケーリング画像データＩＭＧｓ上の小数精度座標及び画素値の集合からなる。画素値は、参照フレームの画素値と同一である。座標は、参照フレームの画素が補間スケーリング画像データＩＭＧｓのどこに対応するかの情報である第２動きベクトルＭＶ２から得られる。

動き補償セレクタ１５は、選択信号ＳＥＬに基づいて、第１及び第２動き補償データＩＰ１及びＩＰ２の一方を、補間画像データとして選択する。選択信号ＳＥＬは、スケーリングセレクタ１７へ供給される選択信号ＳＥＬと同一である。動き補償セレクタ１５は、スケーリングセレクタ１７が入力画像データＩＭＧｉｎを選択する場合（選択信号ＳＥＬが“０”の場合）には、第１動き補償データＩＰ１を選択し、スケーリングセレクタ１７がスケーリング補間画像データＩＭＧｉｐを選択する場合（選択信号ＳＥＬが“１”の場合）には、第２動き補償データＩＰ２を選択する。

再構成処理部１９は、動き補償セレクタ１５の出力（即ち、第１又は第２動き補償データＩＰ１又はＩＰ２）を用いて、スケーリング画像データＩＭＧｓ（即ち、入力画像データＩＭＧｉｎ又はスケーリング補間画像データＩＭＧｉｐが、拡大又は縮小されたもの）に対して再構成処理（例えば、再構成処理は、最尤推定処理（ＭＡＰ：Ｍａｘｉｍｕｍ ａ Ｐｏｓｔｅｒｉｏｒｉ）又は凸射影処理（ＰＯＣＳ：Ｐｒｏｊｅｃｔｉｏｎ Ｏｎｔｏ Ｃｏｎｖｅｘ Ｓｅｔｓ））をし、出力画像データＩＭＧｏｕｔを生成する。

補間画像データ生成部１６の動作例について説明する。図４は、本実施形態の補間画像データ生成部１６の動作例の説明図である。補間画像データ生成部１６は、例えば、入力画像データＩＭＧｉｎに含まれる２個の隣接フレームＦ（ｎ−１）及びＦ（ｎ）の平均を計算することにより、補間フレームＦｉｐ（ｎ−１：ｎ）を生成する。補間フレームＦｉｐ（ｎ−１：ｎ）は、フレームＦ（ｎ−１）とフレームＦ（ｎ）との間の画像を補間するフレームである。スケーリング補間画像データＩＭＧｉｐは、入力画像データＩＭＧｉｎに含まれるフレームＦと、補間フレームＦｉｐと、を含んでいる。

動き予測部１１の動作例について説明する。図５は、本実施形態の動き予測部１１の動作例の説明図である。第１動きベクトルＭＶ１（ｎ）は、複数の第１画素動きベクトルＭＶ１ｐｘの集合である。第１画素動きベクトルＭＶ１ｐｘは、参照フレーム上の画素とターゲットフレーム上の画素との間の対応関係（例えば、小数精度での位置の変化）を示す。

動き予測部１１は、参照フレームＦ（ｎ−１）上の画素ＰＸ１（ｎ−１）に対応するターゲットフレームＦ（ｎ）上の画素ＰＸ１（ｎ）を予測し、画素ＰＸ１（ｎ−１）と画素ＰＸ１（ｎ）との間の対応関係を示す第１画素動きベクトルＭＶ１ｐｘ１（ｎ−１：ｎ）を計算する。

また、動き予測部１１は、参照フレームＦ（ｎ−２）上の画素ＰＸ２（ｎ−２）に対応するターゲットフレームＦ（ｎ）上の画素ＰＸ２（ｎ）を予測し、画素ＰＸ２（ｎ−２）と画素ＰＸ２（ｎ）との間の対応関係を示す第１画素動きベクトルＭＶ１ｐｘ２（ｎ−２：ｎ）を計算する。

また、動き予測部１１は、参照フレームＦ（ｎ−１）上の画素ＰＸ３（ｎ−１）に対応するターゲットフレームＦ（ｎ＋１）上の画素ＰＸ３（ｎ＋１）を予測し、画素ＰＸ３（ｎ−１）と画素ＰＸ３（ｎ＋１）との間の対応関係を示す第１画素動きベクトルＭＶ１ｐｘ３（ｎ−１：ｎ＋１）を計算する。

動きベクトル変換部１２の動作例について説明する。図６は、本実施形態の動きベクトル変換部１２の動作例の説明図である。図６は、参照フレームＦ（ｎ−２）及びＦ（ｎ−１）を用いて、ターゲットフレームＦ（ｎ）の第２動きベクトルＭＶ２（ｎ）を生成する（即ち、第２ベクトルＭＶ２を内挿により生成する）例である。第２動きベクトルＭＶ２（ｎ）は、複数の第２画素動きベクトルＭＶ２ｐｘの集合である。第２画素動きベクトルＭＶ２ｐｘは、参照フレーム上の画素と補間フレーム上の画素との間の対応関係（例えば、小数精度での位置の変化）を示す。

動きベクトル変換部１２は、第１画素動きベクトルＭＶ１ｐｘ１（ｎ−１：ｎ）と補間フレームＦｉｐ（ｎ−１：ｎ）の時間軸上の位置とに基づいて、画素ＰＸ１（ｎ−１）と補間フレームＦｉｐ（ｎ−１：ｎ）上の画素との間の対応関係を示す第２画素動きベクトルＭＶ２ｐｘ１（ｎ−１：ｎ）を計算する。

また、動きベクトル変換部１２は、第１画素動きベクトルＭＶ１ｐｘ２（ｎ−２：ｎ）と、補間フレームＦｉｐ（ｎ−１：ｎ）の時間軸上の位置とに基づいて、画素ＰＸ２（ｎ−２）と補間フレームＦｉｐ（ｎ−１：ｎ）上の画素との間の対応関係を示す第２画素動きベクトルＭＶ２ｐｘ２（ｎ−２：ｎ）を計算する。

また、動きベクトル変換部１２は、第１画素動きベクトルＭＶ１ｐｘ３（ｎ−１：ｎ＋１）と、補間フレームＦｉｐ（ｎ−１：ｎ）の時間軸上の位置とに基づいて、画素ＰＸ３（ｎ−１）と補間フレームＦｉｐ（ｎ−１：ｎ）上の画素との間の対応関係を示す第２画素動きベクトルＭＶ２ｐｘ３（ｎ−１：ｎ）を計算する。

第２動き補償部１４の動作例について説明する。図７は、本実施形態の第２動き補償部１４の動作例の説明図である。図７は、補間フレームＦｉｐ（ｎ−１：ｎ）に対応する第２動き補償データＩＰ２を生成する例である。第２動き補償データＩＰ２は、補間フレームＦｉｐ（ｎ−１：ｎ）上の画素の位置を定義している。

第２動き補償部１４は、画素ＰＸ１（ｎ−１）及び第２画素動きベクトルＭＶ２ｐｘ１（ｎ−１：ｎ）を用いて、補間フレームＦｉｐ（ｎ−１：ｎ）上の第２補間画素ＰＸｉｐ１（ｎ−１：ｎ）の位置を計算する。

また、第２動き補償部１４は、画素ＰＸ２（ｎ−２）及び第２画素動きベクトルＭＶ２ｐｘ２（ｎ−２：ｎ）を用いて、補間フレームＦｉｐ（ｎ−１：ｎ）上の第２補間画素ＰＸｉｐ２（ｎ−２：ｎ）の位置を計算する。

また、第２動き補償部１４は、画素ＰＸ３（ｎ−１）及び第２画素動きベクトルＭＶ２ｐｘ３（ｎ−１：ｎ）を用いて、補間フレームＦｉｐ（ｎ−１：ｎ）上の第２補間画素ＰＸｉｐ３（ｎ−１：ｎ）の位置を計算する。

仮に、本実施形態の画像処理装置１０の構成がなければ、スケーリング処理と、フレーム補間処理と、が独立して行われる。このとき、スケーリング処理及びフレーム補間処理においてそれぞれ、動き予測処理が行われる。

これに対して、本実施形態によれば、再構成処理部１９による再構成処理の前に、動き予測部１１が第１動きベクトルＭＶ１を生成し、且つ、動きベクトル変換部１２が第２動きベクトルＭＶ２を生成するので、再構成型超解像度処理における演算量を低減することができる。

また、本実施形態によれば、動き補償ユニット２及びスケーリングユニット４が、選択的に動作するので、入力画像データＩＭＧｉｎに含まれる複数のフレーム（即ち、ターゲットフレーム及び参照フレーム）に対する再構成処理と、入力画像データＩＭＧｉｎに含まれない補間フレームに対する再構成処理と、を１つのモジュール（再構成処理部１９）で実現することができる。

また、従来の再構成型超解像度処理では、スケーリング処理における再構成処理が実行された後に、フレーム補間処理における動き予測処理が実行されるので、動き予測処理は、再構成処理により得られるノイズを含む画像データに対して実行されることになる。その結果、出力画像の画質が低下するという問題がある。

これに対して、本実施形態によれば、動き予測部１１による動き予測処理は、入力画像データＩＭＧｉｎ（即ち、再構成処理部１９による再構成処理が実行される前のデータ）に対して実行される。これにより、従来と比べて、出力画像の画質を改善することができる。

本実施形態の変形例について説明する。図８は、本実施形態の変形例の説明図である。図８（Ａ）に示すように、変形例は、画素ＰＸ１（ｎ−１）及び第２画素動きベクトルＭＶ２ｐｘ１（ｎ−１：ｎ）を用いて計算された第２補間画素ＰＸｉｐ１（ｎ−１：ｎ）が、画素ＰＸ２（ｎ−１）及び第２画素動きベクトルＭＶ２ｐｘ２（ｎ−１：ｎ）を用いて計算された第２補間画素ＰＸｉｐ１（ｎ−１：ｎ）と一致する（即ち、第２補間画素が重複する）場合の例である。

この場合には、図８（Ｂ）に示すように、第２動き補償部１４は、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）法を用いて、該当する複数の第２動きベクトルＭＶ２ｐｘ１（ｎ−１：ｎ）及びＭＶ２ｐｘ２（ｎ−１：ｎ）のうち、計算された第２補間画素ＰＸｉｐ１（ｎ−１：ｎ）に最も類似する、参照フレーム上の画素に関連付けられた第２動きベクトル（例えば、第２動きベクトルＭＶ２ｐｘ１（ｎ−１：ｎ））を用いて、第２動き補償データＩＰ２を計算する。

本実施形態の変形例によれば、計算された第２補間画素に最も類似する、参照フレーム上の画素に関連付けられた第２動きベクトルのみが、第２動き補償データＩＰ２の計算に用いられる。これにより、本実施形態と比べて、出力画像データＩＭＧｏｕｔの画質を改善することができる。

なお、第２補間画素が重複する場合において、図８（Ｂ）に代えて、第２動き補償部１４は、重複する第２補間画素が存在する補間フレームについての第２動き補償データＩＰ２の生成を省略しても良い。これにより、本実施形態と比べて、画像処理装置１０（特に、第２動き補償部１４）の処理量を低減することができる。

また、本実施形態では、図６において、第２動きベクトルＭＶ２を内挿により生成する例について説明したが、第２動きベクトルＭＶ２を外挿により生成してもよい。外挿とは、ターゲットフレームと参照フレームとの間に補間フレームがない（即ち、ターゲットフレームに対して、参照フレームとは逆側に補間フレームを挿入する）場合を示す。例えば、図６において、フレームＦ（ｎ−２）を参照フレームとして用い、かつ、フレームＦ（ｎ−１）をターゲットフレームとして用いたときの第１動きベクトルＭＶ１に基づいて、補間フレームＦｉｐ（ｎ−１：ｎ）が挿入される。この場合には、動きベクトルＭＶ１を１．５倍することにより、第２動きベクトルＭＶ２、すなわち補間フレームＦｉｐ（ｎ−１：ｎ）の挿入位置が得られる。

また、本実施形態では、入力画像データＩＭＧｉｎ及び出力画像データＩＭＧｏｕｔが、何れも、プログレッシブ画像に対応する例について説明したが、入力画像データＩＭＧｉｎがインターレース画像に対応し、出力画像データＩＭＧｏｕｔがプログレッシブ画像に対応してもよい（即ち、画像処理装置１０が、インターレース画像からプログレッシブ画像へのＩＰ（Ｉｎｔｅｒｌａｃｅ−Ｐｒｏｇｒｅｓｓｉｖｅ）変換機能を備えてもよい）。例えば、スケーリング処理部１８が、スケーリング処理において、縦方向のスケーリング率を、横方向のスケーリング率の２倍とし、且つ、動き予測部１１が、参照フレーム上の画素の位置とターゲットフレーム上の画素の位置との間の変化を考慮して、第１動きベクトルＭＶを生成する。これにより、ＩＰ変換機能を実現することができる。

また、本実施形態では、参照フレーム数が２個である例について説明したが、本発明の範囲はこれに限られるものではない。本発明は、参照フレーム数が３個以上（例えば、Ｆ（ｎ−２）、Ｆ（ｎ−１）、Ｆ（ｎ＋１）、及びＦ（ｎ＋２）の４個）であっても良い。

本実施形態に係る画像処理システム１の少なくとも一部は、ハードウェアで構成しても良いし、ソフトウェアで構成しても良い。ソフトウェアで構成する場合には、画像処理システム１の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させても良い。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でも良い。

また、本実施形態に係る画像処理システム１の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布しても良い。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布しても良い。

なお、本発明は、上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で構成要素を変形して具体化される。また、上述した実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明が形成可能である。例えば、上述した実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１ 画像処理システム
２ 動き補償ユニット
４ スケーリングユニット
１０ 画像処理装置
１１ 動き予測部
１２ 動きベクトル変換部
１３ 第１動き補償部
１４ 第２動き補償部
１５ 動き補償セレクタ
１６ 補間画像データ生成部
１７ スケーリングセレクタ
１８ スケーリング処理部
１９ 再構成処理部
３０ 画像入力装置
５０ 画像出力装置

Claims (5)

1. 複数のフレームを含む入力画像データを受け付け、ターゲットフレーム上の画素と参照フレーム上の画素との間の対応関係を示す第１動きベクトルを生成する動き予測部と、
   前記第１動きベクトルを、前記複数のフレームを補間する補間フレーム上の画素と前記参照フレーム上の画素との間の対応関係を示す第２動きベクトルに変換する動きベクトル変換部と、
   前記第２動きベクトルを用いて、前記入力画像データに対してフレーム補間処理をし、複数の補間フレームを含む動き補償データを生成する動き補償ユニットと、
   前記入力画像データにスケーリング処理をし、スケーリング画像データを生成するスケーリングユニットと、
   前記動き補償データを用いて、前記スケーリング画像データに対して再構成処理をし、出力画像データを生成する再構成処理部と、を備えることを特徴とする画像処理装置。
2. 前記動き補償ユニットは、
   前記第１動きベクトルと、前記参照フレームの画素値とを用いて、第１動き補償データを生成する第１動き補償部と、
   前記第２動きベクトルと、前記参照フレームの画素値とを用いて、第２動き補償データを生成する第１動き補償部と、
   前記第１動き補償データ又は前記第２動き補償データを、前記動き補償データとして選択する動き補償セレクタと、
   を備える、請求項１に記載の画像処理装置。
3. 前記スケーリングユニットは、
   前記入力画像データにフレーム補間処理をし、補間画像データを生成する補間画像データ生成部と、
   前記入力画像データ又は前記補間画像データを選択するスケーリングセレクタと、
   前記スケーリングセレクタが選択したデータに対して、スケーリング処理をし、前記スケーリング画像データを生成するスケーリング処理部と、
   を備える、請求項２に記載の画像処理装置。
4. 符号化データを復号することにより、複数のフレームを含む入力画像データを生成するデコーダと、
   前記入力画像データを受け付け、ターゲットフレーム上の画素と参照フレーム上の画素との間の対応関係を示す第１動きベクトルを生成する動き予測部と、
   前記第１動きベクトルを、前記複数のフレームを補間する補間フレーム上の画素と前記参照フレーム上の画素との間の対応関係を示す第２動きベクトルに変換する動きベクトル変換部と、
   前記第２動きベクトルを用いて、前記入力画像データに対してフレーム補間処理をし、複数の補間フレームを含む動き補償データを生成する動き補償ユニットと、
   前記入力画像データにスケーリング処理をし、スケーリング画像データを生成するスケーリングユニットと、
   前記動き補償データを用いて、前記スケーリング画像データに対して再構成処理をし、出力画像データを生成する再構成処理部と、を備えることを特徴とする画像処理システム。
5. コンピュータが、
   複数のフレームを含む入力画像データを受け付け、
   ターゲットフレーム上の画素と参照フレーム上の画素との間の対応関係を示す第１動きベクトルを生成し、
   前記第１動きベクトルを、前記複数のフレームを補間する補間フレーム上の画素と前記参照フレーム上の画素との間の対応関係を示す第２動きベクトルに変換し、
   前記第２動きベクトルを用いて、前記入力画像データに対してフレーム補間処理をし、複数の補間フレームを含む動き補償データを生成し、
   前記入力画像データにスケーリング処理をし、スケーリング画像データを生成し、
   前記動き補償データを用いて、前記スケーリング画像データに対して再構成処理をし、出力画像データを生成する、ことを特徴とする画像処理方法。

Images