JP2010087867A - フレーム周波数変換装置、フレーム周波数変換方法、その方法を実行するためのプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体並びに動きベクトル検出装置及び予測係数生成装置 - Google Patents

Abstract

【課題】複数の候補ベクトルの中から最適な候補ベクトルを選択できるようにすると共に、画像の物体境界の動きベクトルを正確に検出できるようにする。
【解決手段】動き推定部３は、代表点マッチング方法により複数の候補ベクトルを推定する。画素生成部４は、候補ベクトルにより定まるフレームのタップと予め記憶した予測係数を積和演算して、既存のフレームに対応する予測フレームの予測画素を生成する。動き割付部５は、画素生成部４から入力した予測フレームの予測画素の各々と、既存のフレームの画素との差分絶対値を求める。動き割付部５は、この差分絶対値が最小の予測画素における候補ベクトルを選択する。これにより、複数の候補ベクトルの中から最適な候補ベクトルを選択できるようになる。
【選択図】図１

Description

本発明は、動画像のフレーム（又はフィールド）の周波数を変換するフレーム周波数変換装置などに関する。詳しくは、候補ベクトルにより定まる画素から、既存のフレームに対応する予測フレームの予測画素を生成する。そして、生成した予測フレームの予測画素の各々と既存フレームの同一位置の画素との相関を求め、該相関が高い予測画素における候補ベクトルを選択する。このようにして、複数の候補ベクトルの中から最適な候補ベクトルを選択できるようにすると共に、画像の物体境界の動きベクトルを正確に検出できるようにする。

従来、動画像のフレーム（又はフィールド）の周波数変換の方法として、フレーム間の動きを推定し、推定した動き量を用いてフレーム間に新しいフレームを生成することが行われている。例えば特許文献１には、動きベクトル検出装置が開示されている。この動きベクトル検出装置によれば、代表点マッチングとブロックマッチングを組み合わせて動きベクトルを求めている。例えば、代表点マッチングにより複数の候補ベクトルを抽出する。そして、各候補ベクトルの始点の画素を含むブロックと終点の画素を含むブロックの相関をブロックマッチングによって判定する。最も相関が高いブロックに係る候補ベクトルを動きベクトルに決定する。

特開２００５−１７５８７２号公報（第１４頁）

ところで、特許文献１に記載の動きベクトル検出装置は、ブロックマッチングにより複数の候補ベクトルの中から動きベクトルを決定している。フロックマッチングは、複数の画素から成るブロック単位で相関判定をする。このため、画像の物体境界を誤検出して動きベクトルを正確に検出できないおそれがある。

そこで、本発明はこのような課題を解決したものであって、複数の候補ベクトルの中から最適な候補ベクトルを選択できるようにすると共に、画像の物体境界の動きベクトルを正確に検出できるようにしたフレーム周波数変換装置、フレーム周波数変換方法、その方法を実行するためのプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体並びに動きベクトル検出装置及び予測係数生成装置を提供することを目的とする。

上述した課題を解決するために、本発明に係るフレーム周波数変換装置は、低周波数の画像信号の第１フレームと第２フレームを入力し、前記第１フレームと前記第２フレームの間の動きを示す複数の候補ベクトルを推定する動き推定部と、前記動き推定部により推定された前記候補ベクトルにより定まる画素から、前記第２フレームに対応する予測フレームの予測画素を前記候補ベクトル毎に生成する第１の画素生成部と、前記予測フレームの予測画素の各々と前記第２フレームの画素との相関を求め、該相関が高い予測画素における候補ベクトルを選択し、前記第１フレームと前記第２フレームの間に補間する内挿フレームの各画素に、前記選択した候補ベクトルを割り付けて割付ベクトルとする動き割付部と、前記動き割付部により前記割付ベクトルが割り付けられなかった前記内挿フレームの画素に対して近傍の割付ベクトルを割り付ける動き補償部と、前記割付ベクトルにより定まる画素から前記内挿フレームの画素を生成して高周波数の画像信号を出力する第２の画素生成部とを備える。

本発明に係るフレーム周波数変換装置によれば、動き推定部は、第１フレームと第２フレームの間の動きを示す複数の候補ベクトルを推定する。例えば、動き推定部の代表点マッチング処理部は、第１又は第２フレームの一方側に代表点を決定し、第１又は第２フレームの他方側に前記代表点に対応させたサーチエリアを設定する。そして、サーチエリア内に含まれる各画素の画素値と代表点の画素値との相関を求めて評価値テーブルに評価値を設定する。評価値テーブル形成部は、代表点マッチング処理部により設定された評価値を全ての代表点について積算して評価値テーブルを形成する。候補ベクトル抽出部は、この評価値テーブルから、評価値が高い動き量を候補ベクトルとして抽出する。

第１の画素生成部は、動き推定部により推定された候補ベクトルにより定まる画素から、第２フレームに対応する予測フレームの予測画素を候補ベクトル毎に生成する。例えば、第１の画素生成部の第１の動きクラス決定部は、候補ベクトルから、予測画素が属する動きクラスを決定する。第１の予測係数選択部は、第１の動きクラス決定部により決定された動きクラス毎に予め求められ、予測フレームに対応した生徒画像と第２フレームに対応した教師画像との誤差を最小にする予測係数を選択する。第１の予測タップ選択部は、少なくとも第１フレームから、予測フレームの予測画素の周辺に位置する複数の画素を選択する。第１の演算部は、第１の予測係数選択部により選択した予測係数および第１の予測タップ選択部により選択した複数の画素を演算して予測フレームの予測画素を生成する。

動き割付部は、予測フレームの予測画素の各々と第２フレームの画素との相関を求め、該相関が高い予測画素における候補ベクトルを選択する。これにより、複数の候補ベクトルの中から最適な候補ベクトルを選択することができる。動き割付部は、第１フレームと第２フレームの間に補間する内挿フレームの各画素に、選択した候補ベクトルを割り付けて割付ベクトルとする。

動き補償部は、動き割付部により割付ベクトルが割り付けられなかった内挿フレームの画素に対して近傍の割付ベクトルを割り付ける。第２の画素生成部は、割付ベクトルにより定まる画素から内挿フレームの画素を生成して高周波数の画像信号を出力する。

上述した課題を解決するために、本発明に係るフレーム周波数変換方法は、低周波数の画像信号の第１フレームと第２フレームを入力し、前記第１フレームと前記第２フレームの間の動きを示す複数の候補ベクトルを推定するステップと、推定した前記候補ベクトルにより定まる画素から、前記第２フレームに対応する予測フレームの予測画素を前記候補ベクトル毎に生成するステップと、前記予測フレームの予測画素の各々と前記第２フレームの画素との相関を求め、該相関が高い予測画素における候補ベクトルを選択するステップと、前記第１フレームと前記第２フレームの間に補間する内挿フレームの各画素に、前記選択した候補ベクトルを割り付けて割付ベクトルとするステップと、前記割付ベクトルが割り付けられなかった前記内挿フレームの画素に対して近傍の割付ベクトルを割り付けるステップと、前記割付ベクトルにより定まる画素から前記内挿フレームの画素を生成して高周波数の画像信号を出力するステップとを有する。

上述した課題を解決するために、本発明に係るプログラムは、上述のフレーム周波数変換方法をコンピュータに実行させるためのものである。また、本発明に係るコンピュータ読み取り可能な記録媒体は、上述のプログラムを記録したものである。

上述した課題を解決するために、本発明に係る動きベクトル検出装置は、低周波数の画像信号の第１フレームと第２フレームを入力し、前記第１フレームと前記第２フレームの間の動きを示す複数の候補ベクトルを推定する動き推定部と、前記候補ベクトルから、前記第２フレームに対応する予測フレームの予測画素が属する動きクラスを決定する第１の動きクラス決定部と、前記第１の動きクラス決定部により決定された動きクラス毎に予め求められ、前記予測フレームに対応した生徒画像と前記第２フレームに対応した教師画像との誤差を最小にする予測係数を選択する第１の予測係数選択部と、少なくとも前記第１フレームから、前記予測フレームの予測画素の周辺に位置する複数の画素を選択する第１の予測タップ選択部と、前記第１の予測係数選択部により選択した予測係数および前記第１の予測タップ選択部により選択した複数の画素を演算して前記予測フレームの予測画素を生成する第１の演算部と、前記予測フレームの予測画素の各々と前記第２フレームの画素との相関を求め、該相関が高い予測画素における候補ベクトルを動きベクトルとして検出する動き割付部とを備える。

上述した課題を解決するために、本発明に係る予測係数生成装置は、低周波数の画像信号の第１フレームと第２フレームを入力し、前記第１フレームと前記第２フレームの間の動きを示す動きベクトルを推定する動き推定部と、前記動きベクトルから、教師画像としての前記第２フレームに対応する予測フレームの予測画素が属する動きクラスを決定する動きクラス決定部と、少なくとも生徒画像としての前記第１フレームから、前記予測フレームの予測画素の周辺に位置する複数の画素を選択する予測タップ選択部と、前記動きクラス決定部により検出した動きクラス、前記予測タップ選択部で選択した生徒画像における複数の画素および前記教師画像の画素から動きクラス毎に、前記生徒画像における複数の画素と前記教師信号の画素との誤差を最小にする予測係数を求める予測係数生成部とを備える。

本発明によれば、候補ベクトルにより定まる画素から、既存のフレームに対応する予測フレームの予測画素を生成する。そして、生成した予測フレームの予測画素の各々と既存のフレームの画素との相関を求め、該相関が高い予測画素における候補ベクトルを選択する。

この構成によって、複数の候補ベクトルの中から最適な候補ベクトルを選択することができる。しかも、画素単位で相関を求めているのでブロック単位で相関を求める方法と比較して、画像の物体境界の動きベクトルを正確に検出できるようになる。

続いて図面を参照しながら、発明を実施するための最良の形態について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（クラス分類適応処理を用いたフレーム補間）
２．第２の実施の形態（予測係数の生成）
＜第１の実施の形態＞
[クラス分類適応処理を用いたフレーム補間]

図１は、本発明に係るフレーム周波数変換装置１００の構成例を示すブロック図である。この例では、プログレッシブ信号のフレームとインターレース信号のフィールドのいずれについても動きベクトルの求め方は同様のためフレームを用いる。

図１に示すフレーム周波数変換装置１００は、フレームメモリ１，２、動き推定部３、画素生成部４、動き割付部５、動き補償部６、画素生成部７、入力端子８及び出力端子９を備えている。

入力端子８に入力された入力画像信号Ｄｉｎは、フレームメモリ１及び画素生成部４，７に供給される。フレームメモリ１は、入力画像信号Ｄｉｎをフレーム単位で記憶する。例えばフレームメモリ１は、時刻ｔのフレームを記憶する。フレームメモリ１に記憶される時刻ｔのフレームは、フレームメモリ２、動き推定部３、動き割付部５及び画素生成部７に供給される。フレームメモリ２は、時刻ｔのフレームの次の時刻ｔ＋１のフレームを記憶する。なお、以下、フレームメモリ１に記憶された時刻ｔのフレームをフレームＴと称し、フレームメモリ２に記憶された時刻ｔ＋１の入力画像のフレームをフレームＴ＋１と称する。

動き推定部３は、フレームメモリ１，２から入力した動画像のフレームＴ，Ｔ＋１から、例えば代表点マッチング方法やブロックマッチング方法でフレーム間の動きベクトルを推定する。この例では、代表点マッチング方法を用いて、候補となる複数の動きベクトルを求め、候補ベクトルとして画素生成部４に出力する。なお、動き推定部３の動作は、図２及び図３で詳細に説明する。

画素生成部４は、複数の候補ベクトル及びフレームＴ−１，Ｔ＋１から既存のフレームＴに対応する予測フレームＦを生成する。例えば、画素生成部４は、候補ベクトルにより定まるフレームＴ−１，Ｔ＋１のタップと予め記憶した予測係数を積和演算して予測フレームＦの予測画素を生成する。この予測フレームＦを生成するための予測係数は、予測フレームＦを示す生徒画像と、入力画像信号ＤｉｎのフレームＴを示す教師画像との関係を学習することにより、予めクラス毎に生成されて不図示のメモリに記憶されている。

画素生成部４は、全ての候補ベクトルに対して予測フレームＦの予測画素を生成し、各予測画素とそれに対応する候補ベクトルを動き割付部５に出力する。なお、画素生成部４の動作は、図４及び図５で詳細に説明する。

動き割付部５は、画素生成部４から入力した予測フレームＦの予測画素の各々と、既存のフレームＴの画素との差分絶対値を求める。動き割付部５は、この差分絶対値が最小の予測画素における候補ベクトルを選択する。そして、動き割付部５は、フレームＴとフレームＴ＋１の中間に位置する新規生成の内挿フレームの各画素に候補ベクトルを割り付けて割付ベクトルとする。なお、動き割付部５の動作は、図６及び図７で詳細に説明する。

動き補償部６は、動き割付部５により割付ベクトルが割り付けられなかった内挿フレームの画素に対して、例えば近傍の割付ベクトルを探索して割り付ける。これにより、内挿フレームの全画素に割付ベクトルが存在する。

画素生成部７は、フレームＴ，Ｔ＋１及び割付ベクトルから内挿フレームの画素値を生成する。画素生成部７は、割付ベクトルにより定まるフレームＴ，Ｔ＋１のタップと予め記憶した予測係数を積和演算して内挿フレームの画素の画素値を生成し、出力画像信号Ｄｏｕｔとして出力端子９に出力する。この内挿フレームを生成するための予測係数は、低周波数の入力画像信号Ｄｉｎを示す生徒画像と、高周波数の画像信号を示す教師画像との関係を学習することにより、予めクラス毎に生成されて不図示のメモリに記憶されている。なお、画素生成部７の動作は、図８で詳細に説明する。

続いて、図２及び図３を参照して動き推定部３の動作例について説明する。図２は、動き推定部３の構成例を示すブロック図である。図２に示す動き推定部３は、代表点マッチング処理部３ａ、評価値テーブル形成部３ｂ及び候補ベクトル抽出部３ｃを備えている。

代表点マッチング処理部３ａは、フレームメモリ１からフレームＴを入力し、フレームメモリ２からフレームＴ＋１を入力する。代表点マッチング処理部３ａは、フレームＴの予め定められた代表点又は選別された代表点を決定する。例えば、図３Ａに示すようにフレームＴを複数のブロックに分割し、各ブロックを代表する代表点Ｐを設定する。各ブロックの代表点Ｐは、例えば、ブロックの中心位置の画素値や、ブロック内のすべての画素の画素値の平均値等のブロックを代表する画素値が対応付けられる。

代表点マッチング処理部３ａは、フレームＴに設定したブロックの代表点Ｐに対応させて、フレームＴ＋１に所定のサーチエリアＷを設定し、設定したサーチエリアＷ内に含まれる各画素の画素値と代表点Ｐの画素値との比較を行う。例えば、代表点マッチング処理部３ａは、代表点Ｐの画素値とサーチエリアＷ内の各画素の画素値との差分絶対値を求めてこの差分絶対値が小さい、すなわち相関が高いほど評価値を高く設定する。例えば、評価値テーブル１０に「＋１」だけ積算する。この評価値は、サーチエリアＷの画素位置毎に算出する。同様に、フレームＴに設定したブロックの代表点の各々に対応して、フレームＴ＋１にサーチエリアＷを設定し、代表点Ｐの画素値と、対応するサーチエリアＷ内の各画素の画素値との評価値を取得して評価値テーブル形成部３ｂに出力する。なお、各代表点Ｐに対応するサーチエリアＷは、図３Ａに示すように隣接するサーチエリアＷと一部が重なり合うように設定しても良い。

評価値テーブル形成部３ｂは、図３Ｂに示すように１画面内の全ての代表点Ｐについて評価値を積算して、サーチエリアＷと同一の大きさの評価値テーブル１０を形成する。図３Ｂに示す評価値テーブル１０には、サーチエリアＷの各画素位置における画素値と代表点Ｐの画素値との相関が高い場合に、ピーク（極値）が発生する。このピークは、動画像データの画面の表示物体の移動に対応する。

例えば、フレーム全体が同一の動きをした場合は、評価値テーブル１０において、同一の動き方向、距離を持つ動きベクトルに対応する１つのピークが出現する。また、フレーム内に２つの異なる動きをした物体があった場合は、評価値テーブル１０において、異なる動き方向、距離を持つ２つのベクトルに対応する２つのピークが出現する。

このような評価値テーブル１０に出現するピークに基づいて、フレームＴとフレームＴ＋１とにおける動きベクトルの候補（候補ベクトル）を求める。この例で、候補ベクトル抽出部３ｃは、図３Ｂに示す評価値テーブル１０から、評価値が高い４個の動きベクトル（Ｖ_x1，Ｖ_y1）〜（Ｖ_x4，Ｖ_y4）を候補ベクトルとして抽出して画素生成部４に出力する。

続いて、図４及び図５を参照して画素生成部４の動作例について説明する。図４は、画素生成部４の構成例を示すブロック図である。図４に示す画素生成部４は、動きクラス決定部４ａ、クラスタップ選択部４ｂ、空間クラス決定部４ｃ、クラス決定部４ｄ、予測係数選択部４ｅ、予測タップ選択部４ｆ及び積和演算部４ｇを備えている。

動きクラス決定部４ａは、動き推定部３で求めた候補ベクトル（Ｖ_x1，Ｖ_y1）〜（Ｖ_x4，Ｖ_y4）を入力する。動きクラス決定部４ａは、これらの候補ベクトル（Ｖ_x1，Ｖ_y1）〜（Ｖ_x4，Ｖ_y4）の向きや大きさから予測画素が属する動きクラスを決定する。そして、決定した動きクラスを示す情報をクラスタップ選択部４ｂ、予測タップ選択部４ｆおよびクラス決定部４ｄに出力する。

クラスタップ選択部４ｂは、動きクラスを参照して空間クラスの分類に用いる所定位置の画素（クラスタップと称する）をフレームＴ−１，Ｔ＋１から選択的に抽出し、抽出したクラスタップのデータを空間クラス決定部４ｃに出力する。

空間クラス決定部４ｃは、このクラスタップに基づいてＡＤＲＣ(Adaptive DynamicRange Coding) 等を含む処理を行うことによって空間クラスを決定し、決定した空間クラスを示す情報をクラス決定部４ｄに出力する。

クラス決定部４ｄは、空間クラス決定部４ｃから供給された空間クラスを示す情報と、上述した動きクラス決定部４ａから供給された動きクラスを示す情報とに基づいて最終的なクラスを決定する。クラス決定部４ｄは、決定した最終的なクラスを示す情報を予測係数選択部４ｅに出力する。

予測係数選択部４ｅは、クラス決定部４ｄからの最終的なクラスに対応する予測フレーム用の予測係数を選択して積和演算部４ｇに出力する。なお、予測係数選択部４ｅは、クラスに対応して後述するようにして予め決定された予測係数が記憶された不図示の係数メモリを参照して該予測係数を選択する。

一方、予測タップ選択部４ｆは、動きクラス決定部４ａから供給された動きクラスを参照して、フレームＴ−１，Ｔ＋１から所定の画素領域（予測タップと称する）を選択的に抽出する。例えば、予測タップ選択部４ｆは、図５に示すようにフレームＴ＋１から１３個の画素から成る予測タップＰ１を抽出し、フレームＴ−１から１３個の画素から成る予測タップＰ２を抽出し、抽出された予測タップＰ１，Ｐ２を積和演算部４ｇに出力する。なお、図５は、画素生成の一例を示す概念図である。図５には、予測画素Ｐ４を通過する候補ベクトル（Ｖ_x1，Ｖ_y1）〜（Ｖ_x4，Ｖ_y4）が示されている。

積和演算部４ｇは、予測タップＰ１，Ｐ２の画素値ｘｉと予測係数選択部４ｅから供給される予測係数ｗｉに基づいて、以下の式（１）に従う積和演算を行うことにより、予測フレームＦの予測画素Ｐ４の画素値ｙを生成する。
ｙ＝ｗ1 ×ｘ1 ＋ｗ2 ×ｘ2 ＋‥‥＋ｗn ×ｘn （１）
ここで、ｘ1 ，‥‥，ｘn が各予測タップの画素値であり、ｗ1 ，‥‥，ｗn が各予測係数である。

積和演算部４ｇは、全ての候補ベクトル（Ｖ_x1，Ｖ_y1）〜（Ｖ_x4，Ｖ_y4）に対して予測フレームＦの予測画素の画素値ｙ₁〜ｙ₄を生成する。そして、この画素値ｙ₁〜ｙ₄の各々とそれに対応する候補ベクトル（Ｖ_x1，Ｖ_y1）〜（Ｖ_x4，Ｖ_y4）を動き割付部５に出力する。

動き割付部５は、画素生成部４から入力した予測フレームＦの予測画素の画素値ｙ₁〜ｙ₄と、既存のフレームＴの画素の画素値との差分絶対値を求める。例えば図６に示すように、動き割付部５は、予測フレームＦの予測画素Ｐ４の画素値ｙ₁と、この予測画素Ｐ４と同一位置のフレームＴの画素Ｐ３の画素値との差分絶対値を求める。同様に、動き割付部５は、予測フレームＦの予測画素Ｐ４の画素値ｙ₂〜ｙ₄と、この予測画素Ｐ４と同一位置のフレームＴの画素Ｐ３の画素値との差分絶対値を求める。動き割付部５は、この差分絶対値が最小の予測画素Ｐ４の画素値に係る候補ベクトルを選択する。すなわち、画素マッチングを行う。

例えば、画素値ｙ₂の差分絶対値が最小の場合、図７に示すように動き割付部５は、画素値ｙ₂に係る候補ベクトル（Ｖ_x2，Ｖ_y2）を選択する。動き割付部５は、選択した候補ベクトル（Ｖ_x2，Ｖ_y2）を内挿フレームｆの画素Ｐ５に割り付ける。例えば、内挿フレームｆがフレームＴとフレームＴ＋１の中間に位置する場合、図７に示すように内挿フレームｆの画素Ｐ５に対して、割付ベクトル（Ｖ_x2／２，Ｖ_y2／２）と割付ベクトル（−Ｖ_x2／２，−Ｖ_y2／２）を割り付ける。

動き補償部６は、上述した画素Ｐ５のように動き割付部５により割付ベクトルが割り付けられなかった内挿フレームｆの画素に対して、例えば近傍の割付ベクトルを探索して割り付ける。

画素生成部７は、例えばフレームＴ，Ｔ＋１及び割付ベクトル（Ｖ_x2／２，Ｖ_y2／２），（−Ｖ_x2／２，−Ｖ_y2／２）から内挿フレームｆの画素Ｐ５の画素値を生成する。画素生成部７は、割付ベクトル（Ｖ_x2／２，Ｖ_y2／２），（−Ｖ_x2／２，−Ｖ_y2／２）により定まるフレームＴ，Ｔ＋１のタップと予め記憶した予測係数を積和演算して内挿フレームｆの画素Ｐ５の画素値を生成する。

例えば図８は、画素生成部７の構成例を示すブロック図である。図８に示す画素生成部７は、図４に示した画素生成部４と略同一の構成であるので、その詳細な説明は省略する。図８に示す画素生成部７は、動きクラス決定部７ａ、クラスタップ選択部７ｂ、空間クラス決定部７ｃ、クラス決定部７ｄ、予測係数選択部７ｅ、予測タップ選択部７ｆ及び積和演算部７ｇを備えている。

動きクラス決定部７ａは、動き割付部５及び動き補償部６で割り付けた割付ベクトルを入力する。動きクラス決定部７ａは、これらの割付ベクトルの向きや大きさから、内挿フレームｆの画素が属する動きクラスを決定し、決定した動きクラスを示す情報をクラスタップ選択部７ｂ、予測タップ選択部７ｆおよびクラス決定部７ｄに出力する。

クラスタップ選択部７ｂは、動きクラスを参照して空間クラスの分類に用いるクラスタップをフレームＴ，Ｔ＋１から選択的に抽出し、抽出したクラスタップのデータを空間クラス決定部７ｃに出力する。

空間クラス決定部７ｃは、このクラスタップに基づいてＡＤＲＣ等を含む処理を行うことによって空間クラスを決定し、決定した空間クラスを示す情報をクラス決定部７ｄに出力する。

クラス決定部７ｄは、空間クラス決定部７ｃから供給された空間クラスを示す情報と、上述した動きクラス決定部７ａから供給された動きクラスを示す情報とに基づいて最終的なクラスを決定する。クラス決定部７ｄは、決定した最終的なクラスを示す情報を予測係数選択部７ｅに出力する。

予測係数選択部７ｅは、クラス決定部７ｄからの最終的なクラスに対応する内挿フレーム用の予測係数を積和演算部７ｇに出力する。なお、予測係数選択部７ｅは、クラスに対応して後述するようにして予め決定された予測係数が記憶された不図示の係数メモリを参照して該予測係数を選択する。
一方、予測タップ選択部７ｆは、動きクラス決定部７ａから供給された動きクラスを参照して、フレームＴ，Ｔ＋１から予測タップを選択的に抽出する。

積和演算部７ｇは、予測タップ選択部７ｆにより抽出された予測タップと予測係数選択部７ｅから供給される予測係数に基づいて、上述した式（１）に従う積和演算を行うことにより、内挿フレームｆの画素の画素値ｙを生成する。積和演算部７ｇは、割付ベクトルに基づいて内挿フレームｆ上の全ての画素の画素値を生成する。

続いて図９〜図１０を参照してフレーム周波数変換装置１００の動作例について説明する。図９は、フレーム周波数変換装置１００の動作例を示すフローチャートである。図９に示すステップＳＴ１で、図１に示したフレーム周波数変換装置１００は、入力画像信号Ｄｉｎの時刻ｔのフレームＴをフレームメモリ１に記憶し、次の時刻ｔ＋１のフレームＴ＋１をフレームメモリ２に記憶する。フレームメモリ１，２に記憶されたフレームＴ，Ｔ＋１は、動き推定部３に出力される。続いてステップＳＴ２に移行する。

ステップＳＴ２で、動き推定部３は、フレームメモリ１，２から入力したフレームＴ，Ｔ＋１に基づいて、代表点マッチング方法でフレーム間の候補となる動きベクトルを求める。例えば、動き推定部３は図２及び図３に示したように、代表点Ｐの画素値と、対応するサーチエリアＷ内の各画素の画素値との評価値を取得する。そして、１画面内の全ての代表点Ｐについて評価値を積算して、サーチエリアＷと同一の大きさの評価値テーブル１０を形成する。この評価値テーブル１０に出現するピークに基づいて、フレームＴとフレームＴ＋１における候補ベクトルを求める。続いてステップＳＴ３に移行する。

ステップＳＴ３で、画素生成部４は、予測フレームＦを生成する。この予測フレームＦの生成処理のフローチャートを図１０に示す。図１０に示すステップＳＴ３０で、画素生成部４は、図３Ｂに示した複数の候補ベクトル（Ｖ_x1，Ｖ_y1）〜（Ｖ_x4，Ｖ_y4）を取得してステップＳＴ３１に移行する。

ステップＳＴ３１で、画素生成部４は、最小差分絶対値の初期化を行う。例えば、画素生成部４は、最小差分絶対値とその画素の画素値を仮設定する。また、候補ベクトルの数をカウントするカウンタ「ｉ」にゼロを設定する。続いてステップＳＴ３２に移行する。

ステップＳＴ３２で、画素生成部４は、図５に示したように、候補ベクトルにより定まるフレームＴ＋１，Ｔ−１から予測タップＰ１，Ｐ２を取得してステップＳＴ３３に移行する。

ステップＳＴ３３で、画素生成部４は予測係数を取得する。例えば図４に示したように、画素生成部４は、クラス分類適応処理に用いる不図示の係数メモリに予め記憶された予測係数の中から、クラスに対応する予測係数を取得してステップＳＴ３４に移行する。

ステップＳＴ３４で、画素生成部４は、この予測係数と予測タップＰ１，Ｐ２とを上述した式（１）により積和演算して予測フレームＦの予測画素の画素値を生成してステップＳＴ３５に移行する。

ステップＳＴ３５で、動き割付部５は、画素生成部４から入力した予測フレームＦの予測画素の画素値と、既存のフレームＴの画素の画素値との差分絶対値を計算する。例えば図６に示したように、動き割付部５は、予測フレームＦの予測画素Ｐ４の画素値ｙ₁と、この予測画素Ｐ４と同一位置のフレームＴの画素Ｐ３の画素値との差分絶対値を求めてステップＳＴ３６に移行する。

ステップＳＴ３６で、動き割付部５は、ステップＳＴ３５で求めた差分絶対値と、上述のステップＳＴ３１で設定した最小差分絶対値とを比較する。ステップＳＴ３５で求めた差分絶対値が最小差分値よりも小さければ、ステップＳＴ３７に移行する。また、ステップＳＴ３５で求めた差分絶対値が最小差分値よりも小さくなければ、ステップＳＴ３８に移行する。

ステップＳＴ３７で、動き割付部５は、最小差分絶対値をステップＳＴ３５で求めた差分絶対値に更新すると共に予測画素Ｐ４の画素値を画素値ｙ₁に更新してステップＳＴ３８に移行する。

ステップＳＴ３８で、動き割付部５は、候補ベクトルの数をカウントするカウンタ「ｉ」をカウントプラスしてステップＳＴ３９に移行する。ステップＳＴ３９で、動き割付部５は、カウンタ「ｉ」と候補ベクトル数「Ｎ」を比較することで、候補ベクトルの数が上限に達しているか否かを判定する。候補ベクトルの数が上限に達していない場合、ステップＳＴ３２に戻る。候補ベクトルの数が上限に達している場合図９のフローチャートのステップＳＴ４に移行する。このようにして、予測フレームＦの予測画素の画素値とその候補ベクトルを選択する。

図９のステップＳＴ４で、動き割付部５は、フレームＴとフレームＴ＋１の中間に位置する内挿フレームｆの各画素に候補ベクトルを割り付けて割付ベクトルとする。例えば、図７に示したように画素値ｙ₂の差分絶対値が最小の場合、動き割付部５は、その候補ベクトル（Ｖ_x2，Ｖ_y2）を内挿フレームｆの画素Ｐ５に割り付ける。この例で、内挿フレームｆがフレームＴとフレームＴ＋１の中間に位置する場合、図７に示したように内挿フレームｆの画素Ｐ５に対して、割付ベクトル（Ｖ_x2／２，Ｖ_y2／２）と割付ベクトル（−Ｖ_x2／２，−Ｖ_y2／２）を割り付ける。続いてステップＳＴ５に移行する。

ステップＳＴ５で、動き補償部６は、動き割付部５により割付ベクトルが割り付けられなかった内挿フレームｆの画素に対して、割付ベクトルを探索して割り付ける。この動き補償処理のフローチャートを図１１に示す。図１１に示すステップＳＴ５０で、動き補償部６は、内挿フレームｆ上の画素を内挿フレームｆの左上の画素から１画素ずつラスタスキャン順に選択する。続いてステップＳＴ５１に移行する。

ステップＳＴ５１で、動き補償部６は、選択した画素に割付ベクトルが存在するか否かを判定する。割付ベクトルが存在する場合ステップＳＴ５４に移行し、割付ベクトルが存在しない場合ステップＳＴ５２，ＳＴ５３に移行する。

ステップＳＴ５２，ＳＴ５３で、動き補償部６は、近傍の画素に割り付けられた割付ベクトルを探索する。そして、動き補償部６は、探索した割付ベクトルを未割り付けの画素に割り付ける。この場合、１個の割付ベクトルをそのまま割り付けても良いし、複数の割付ベクトルの平均を割り付けるようにしても良い。続いてステップＳＴ５４に移行する。

ステップＳＴ５４で、動き補償部６は、内挿フレームｆ上の画素が全て終了したか否かを判定する。内挿フレームｆ上の画素が全て終了していない場合、ステップＳＴ５０に戻り、内挿フレームｆ上の画素が全て終了した場合、図９のフローチャートのステップＳＴ６に移行する。

図９のステップＳＴ６で、画素生成部７は内挿フレームｆを生成する。例えば、画素生成部７は、図７に示したようにフレームＴ，Ｔ＋１及び割付ベクトル（Ｖ_x2／２，Ｖ_y2／２），（−Ｖ_x2／２，−Ｖ_y2／２）から内挿フレームｆの画素Ｐ５の画素値を生成する。画素生成部７は、割付ベクトル（Ｖ_x2／２，Ｖ_y2／２），（−Ｖ_x2／２，−Ｖ_y2／２）により定まるフレームＴ，Ｔ＋１のタップと予め記憶した予測係数を積和演算して内挿フレームｆの画素Ｐ５の画素値を生成する。同様にして画素生成部７は、内挿フレームｆ上の全ての画素についてその画素値を生成してステップＳＴ７に移行する。

ステップＳＴ７で、フレーム周波数変換装置１００は、全ての入力画像信号Ｄｉｎが終了したか否かを判定する。全ての入力画像信号Ｄｉｎが終了していな場合ステップＳＴ１に戻り、全ての入力画像信号Ｄｉｎが終了した場合、フレームレート変換処理の終了となる。

このように本発明によれば、候補ベクトルにより定まる画素から、既存のフレームに対応する予測フレームＦの予測画素を生成する。そして、生成した予測フレームＦの予測画素の各々と既存のフレームＴの画素との相関を求め、該相関が高い予測画素における候補ベクトルを選択する。

従って、複数の候補ベクトルの中から最適な候補ベクトルを選択することができる。しかも、画素単位で相関を求めているのでブロック単位で相関を求める方法と比較して、画像の物体境界の動きベクトルを正確に検出できるようになる。

なお、画素生成部４，７はクラス分類適応処理を用いて画素を生成したが、画素の生成方法はこれに限らない。例えば、ベクトルの終点が示す画素をそのまま引き当てても良いし、ベクトルとその逆ベクトルの終端が示すそれぞれの画素を平均して画素を生成しても良い。
＜第２の実施の形態＞
[予測係数の生成]

続いて、予測フレームＦを生成する際に使用する予測係数の算出方法について説明する。図１２は、予測係数生成装置５０の構成例を示すブロック図である。図１２示す予測係数生成装置５０は、動き推定部５０ｈ、動きクラス決定部５０ａ、クラスタップ選択部５０ｂ、空間クラス決定部５０ｃ、クラス決定部５０ｄ、正規方程式演算部５０ｅ、予測係数生成部５０ｇ及び予測タップ選択部５０ｆを備えている。

動き推定部５０ｈは、フレームＴ，Ｔ＋１に対応した生徒画像に基づいて、例えば代表点マッチング方法で動きベクトルを求めて動きクラス決定部５０ａに出力する。

動きクラス決定部５０ａは、動き推定部５０ｈで求めた動きベクトルを入力する。動きクラス決定部５０ａは、この動きベクトルの向きや大きさから予測フレームＦの予測画素が属する動きクラスを決定する。そして、決定した動きクラスを示す情報をクラスタップ選択部５０ｂ、予測タップ選択部５０ｆおよびクラス決定部５０ｄに出力する。

クラスタップ選択部５０ｂは、動きクラスを参照して空間クラスの分類に用いるクラスタップをフレームＴ−１，Ｔ＋１から選択的に抽出し、抽出したクラスタップのデータを空間クラス決定部５０ｃに出力する。

空間クラス決定部５０ｃは、このクラスタップに基づいてＡＤＲＣ等を含む処理を行うことによって空間クラスを決定し、決定した空間クラスを示す情報をクラス決定部５０ｄに出力する。

クラス決定部５０ｄは、空間クラス決定部５０ｃから供給された空間クラスを示す情報と、上述した動きクラス決定部５０ａから供給された動きクラスを示す情報とに基づいて最終的なクラスを決定する。クラス決定部５０ｄは、決定した最終的なクラスを示す情報を正規方程式演算部５０ｅに出力する。

予測タップ選択部５０ｆは、動きクラス決定部５０ａから供給された動きクラスを参照して、フレームＴ−１，Ｔ＋１から予測タップを選択的に抽出して正規方程式演算部５０ｅに出力する。

正規方程式演算部５０ｅは、正規方程式データを生成して予測係数生成部５０ｇに出力する。予測係数生成部５０ｇは、この正規方程式データを用いて演算処理を行って予測係数を生成する。

以下、予測係数の算出について、より一般化してｎ画素による予測を行う場合について説明する。予測タップして選択される入力画素の輝度レベルをそれぞれｘ１，ｘ２，・・・，ｘｎとし、出力輝度レベルをＥ|ｙ|としたとき、クラス毎に予測係数ｗ₁，ｗ₂，・・・，ｗ_nにｎタップの線形推定式を設定する。これを以下の式（２）に示す。

この式（２）における予測係数ｗ₁，ｗ₂，・・・，ｗ_nを求める方法としては、最小二乗法による解法が考えられる。この解法では、Ｘを入力画素の輝度レベル、Ｗを予測係数、Ｙ'を出力画素の輝度レベルとして式（３）の観測方程式を作るようにデータを収集する。この式（３）において、ｍは学習データ数を表し、ｎは上述したように予測タップ数を示している。

次に式（３）観測方程式をもとに、式（４）の残差方程式をたてる。

この式（４）から、各予測係数ｗ_iの最確値、式（５）を最小にする条件が成り立つ場合と考えられる。

すなわち、式（６）の条件を考慮すればよい。

式（６）のｉに基づくｎ個の条件を考え、これを満たすｗ₁，ｗ₂，・・・ｗ_nを算出すればよい。そこで、式（４）から次式（７）を得て、さらに式（６）と次式（７）から式（８）を得るものとする。

そして式（４）及び式（８）から、次式（９）の正規方程式を得ることができる。

式（９）の正規方程式は、未知数の数がｎ個の連立方程式であるから、これより，各ｗ_iの最確値を求めることができる。実際には、掃き出し法（Gauss-Jordanの消去法）を用いて連立方程式を解く。この式（９）の正規方程式を解いて、クラス毎の予測係数ｗ₁，ｗ₂，・・・，ｗ_nを決定する。

以上のように学習を行った結果、クラス毎に注目画素の輝度レベルが推定するための、統計的にもっとも真値に近い推定ができる予測フレームＦの予測係数が算出される。

続いて、内挿フレームｆを生成する際に使用する予測係数の算出方法について説明する。図１３は、予測係数生成装置５１の構成例を示すブロック図である。図１３に示す予測係数生成装置５１は、図１２に示した予測係数生成装置５０と略同一の構成であるので、その詳細な説明は省略する。

図１３示す予測係数生成装置５１は、動き検出部５１ｈ、動きクラス決定部５１ａ、クラスタップ選択部５１ｂ、空間クラス決定部５１ｃ、クラス決定部５１ｄ、正規方程式演算部５１ｅ、予測タップ選択部５１ｆ及び予測係数生成部５１ｇを備えている。

動き検出部５１ｈは、フレームＴ，Ｔ＋１に対応した生徒画像に基づいて内挿フレームｆの各画素の動きベクトルを求めて動きクラス決定部５１ａに出力する。なお、動き検出部５１ｈは、例えば図１に示した動き推定部３、画素生成部４、動き割付部５及び動き補償部６から構成される。

動きクラス決定部５１ａは、動き検出部５１ｈで求めた動きベクトルの向きや大きさから内挿フレームｆの画素が属する動きクラスを決定し、決定した動きクラスを示す情報をクラスタップ選択部５１ｂ、予測タップ選択部５１ｆおよびクラス決定部５１ｄに出力する。

クラスタップ選択部５１ｂは、動きクラスを参照して空間クラスの分類に用いるクラスタップをフレームＴ，Ｔ＋１から選択的に抽出し、抽出したクラスタップのデータを空間クラス決定部５１ｃに出力する。

空間クラス決定部５１ｃは、このクラスタップに基づいてＡＤＲＣ等を含む処理を行うことによって空間クラスを決定し、決定した空間クラスを示す情報をクラス決定部５１ｄに出力する。

クラス決定部５１ｄは、空間クラス決定部５１ｃから供給された空間クラスを示す情報と、上述した動きクラス決定部５１ａから供給された動きクラスを示す情報とに基づいて最終的なクラスを決定する。クラス決定部５１ｄは、決定した最終的なクラスを示す情報を正規方程式演算部５１ｅに出力する。

予測タップ選択部５１ｆは、動きクラス決定部５１ａから供給された動きクラスを参照して、フレームＴ，Ｔ＋１から予測タップを選択的に抽出して正規方程式演算部５１ｅに出力する。

正規方程式演算部５１ｅは、正規方程式データを生成して予測係数生成部５１ｇに出力する。予測係数生成部５１ｇは、この正規方程式データを用いて演算処理を行って内挿フレームｆ用の予測係数を生成する。なお、この予測係数の算出について、より一般化したｎ画素による予測を行う場合については、上述した式（２）〜式（９）と同様であるのでその説明は省略する。

また、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールする。例えば、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどに、プログラム格納媒体からインストールされる。

例えば、図１４は本発明を適用したコンピュータ７０の構成例を示すブロック図である。コンピュータ７０のＣＰＵ（Central Processing Unit）７１は、ＲＯＭ（Read Only Memory）７２、または記憶部７８に記憶されているプログラムに従って各種の処理を実行する。ＲＡＭ（Random Access Memory）７３には、ＣＰＵ７１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ７１、ＲＯＭ７２、およびＲＡＭ７３は、バス７４により相互に接続されている。

コＣＰＵ７１にはまた、バス７４を介して入出力インタフェース７５が接続されている。入出力インタフェース７５には、キーボード、マウスなどよりなる入力部７６、ディスプレイ、スピーカなどよりなる出力部７７が接続されている。コＣＰＵ７１は、入力部７６から入力される指令に対応して各種の処理を実行する。そして、コＣＰＵ７１は、処理の結果、得られた画像や音声等を出力部７７に出力する。

入出力インタフェース７５に接続されている記憶部７８は、例えばハードディスクなどで構成され、コＣＰＵ７１が実行するプログラムや各種のデータを記憶する。通信部７９は、インターネット、その他のネットワークを介して外部の装置と通信する。また、通信部７９を介してプログラムを取得し、記憶部７８に記憶してもよい。

入出力インタフェース７５に接続されているドライブ８０は、磁気ディスク８１、光ディスク８２、光磁気ディスク８３、或いは半導体メモリ８４などが装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部７８に転送されて記憶される。このように、一連の処理をソフトウェアによりコンピュータ７０に実行させてもよい。

本発明は、動画像のフレーム（又はフィールド）の周波数を変換するフレーム周波数変換装置などに適用して好適である。

本発明に係るフレーム周波数変換装置１００の構成例を示すブロック図である。 動き推定部３の構成例を示すブロック図である。 Ａ及びＢは、代表点マッチング方法の一例を示す概略図である。 画素生成部４の構成例を示すブロック図である。 予測フレームＦにおける予測画素Ｐ４の生成例を示す概略図である。 候補ベクトルの選択例を示す概略図である。 割付ベクトルの生成例を示す概略図である。 画素生成部７の構成例を示すブロック図である。 フレーム周波数変換装置１００の動作例を示すフローチャートである。 予測フレームＦの生成処理を示すフローチャートである。 動き補償処理を示すフローチャートである。 予測係数生成装置５０の構成例を示すブロック図である。 予測係数生成装置５１の構成例を示すブロック図である。 本発明を適用したコンピュータ７０の構成例を示すブロック図である。

符号の説明

３・・・動き推定部、４・・・画素生成部（第１の画素生成部）、５・・・動き割付部、６・・・動き補償部、７・・・画素生成部（第２の画素生成部）、３ａ・・・代表点マッチング処理部、３ｂ・・・評価値テーブル形成部、３ｃ・・・候補ベクトル抽出部、４ａ，５０ａ・・・動きクラス決定部（第１の動きクラス決定部）、７ａ・・・動きクラス決定部（第２の動きクラス決定部）、４ｅ，５０ｆ・・・予測係数選択部（第１の予測係数選択部）、７ｅ・・・予測係数選択部（第２の予測係数選択部）、４ｆ・・・予測タップ選択部（第１の予測タップ選択部）、７ｆ・・・予測タップ選択部（第２の予測タップ選択部）、４ｇ・・・積和演算部（第１の演算部）、７ｇ・・・積和演算部（第２の演算部）、５０ｈ・・・動き推定部、５０ｅ・・・正規方程式演算部、５０ｇ・・・予測係数生成部

Claims (9)

1. 低周波数の画像信号の第１フレームと第２フレームを入力し、前記第１フレームと前記第２フレームの間の動きを示す複数の候補ベクトルを推定する動き推定部と、
   前記動き推定部により推定された前記候補ベクトルにより定まる画素から、前記第２フレームに対応する予測フレームの予測画素を前記候補ベクトル毎に生成する第１の画素生成部と、
   前記予測フレームの予測画素の各々と前記第２フレームの画素との相関を求め、該相関が高い予測画素における候補ベクトルを選択し、前記第１フレームと前記第２フレームの間に補間する内挿フレームの各画素に、前記選択した候補ベクトルを割り付けて割付ベクトルとする動き割付部と、
   前記動き割付部により前記割付ベクトルが割り付けられなかった前記内挿フレームの画素に対して近傍の割付ベクトルを割り付ける動き補償部と、
   前記割付ベクトルにより定まる画素から前記内挿フレームの画素を生成して高周波数の画像信号を出力する第２の画素生成部とを備えるフレーム周波数変換装置。
2. 前記第１の画素生成部は、
   前記候補ベクトルから、前記予測画素が属する動きクラスを決定する第１の動きクラス決定部と、
   前記第１の動きクラス決定部により決定された動きクラス毎に予め求められ、前記予測フレームに対応した生徒画像と前記第２フレームに対応した教師画像との誤差を最小にする予測係数を選択する第１の予測係数選択部と、
   少なくとも前記第１フレームから、前記予測フレームの予測画素の周辺に位置する複数の画素を選択する第１の予測タップ選択部と、
   前記第１の予測係数選択部により選択した予測係数および前記第１の予測タップ選択部により選択した複数の画素を演算して前記予測フレームの予測画素を生成する第１の演算部とを備える請求項１に記載のフレーム周波数変換装置。
3. 前記動き推定部は、
   前記第１又は第２フレームの一方側に代表点を決定し、前記第１又は第２フレームの他方側に前記代表点に対応させたサーチエリアを設定し、前記サーチエリア内に含まれる各画素の画素値と前記代表点の画素値との相関を求めて評価値テーブルに評価値を設定する代表点マッチング処理部と、
   前記代表点マッチング処理部により設定された前記評価値を全ての代表点について積算して前記評価値テーブルを形成する評価値テーブル形成部と、
   前記評価値テーブルから、前記評価値が高い動き量を候補ベクトルとして抽出する候補ベクトル抽出部とを備える請求項２に記載のフレーム周波数変換装置。
4. 第２の画素生成部は、
   前記割付ベクトルから、前記内挿フレームの画素が属する動きクラスを決定する第２の動きクラス決定部と、
   前記第２の動きクラス決定部により決定された動きクラス毎に予め求められ、前記低周波数の画像信号に対応した生徒画像と前記高周波数の画像信号に対応した教師画像との誤差を最小にする予測係数を選択する第２の予測係数選択部と、
   少なくとも前記生徒画像から、前記内挿フレームの画素の周辺に位置する複数の画素を選択する第２の予測タップ選択部と、
   前記第２の予測係数選択部により選択した予測係数および前記第２の予測タップ選択部により選択した複数の画素を演算して前記内挿フレームの画素を生成する第２の演算部とを備える請求項３に記載のフレーム周波数変換装置。
5. 低周波数の画像信号の第１フレームと第２フレームを入力し、前記第１フレームと前記第２フレームの間の動きを示す複数の候補ベクトルを推定するステップと、
   推定した前記候補ベクトルにより定まる画素から、前記第２フレームに対応する予測フレームの予測画素を前記候補ベクトル毎に生成するステップと、
   前記予測フレームの予測画素の各々と前記第２フレームの画素との相関を求め、該相関が高い予測画素における候補ベクトルを選択するステップと、
   前記第１フレームと前記第２フレームの間に補間する内挿フレームの各画素に、前記選択した候補ベクトルを割り付けて割付ベクトルとするステップと、
   前記割付ベクトルが割り付けられなかった前記内挿フレームの画素に対して近傍の割付ベクトルを割り付けるステップと、
   前記割付ベクトルにより定まる画素から前記内挿フレームの画素を生成して高周波数の画像信号を出力するステップとを有するフレーム周波数変換方法。
6. 低周波数の画像信号の第１フレームと第２フレームを入力し、前記第１フレームと前記第２フレームの間の動きを示す複数の候補ベクトルを推定するステップと、
   推定した前記候補ベクトルにより定まる画素から、前記第２フレームに対応する予測フレームの予測画素を前記候補ベクトル毎に生成するステップと、
   前記予測フレームの予測画素の各々と前記第２フレームの画素との相関を求め、該相関が高い予測画素における候補ベクトルを選択するステップと、
   前記第１フレームと前記第２フレームの間に補間する内挿フレームの各画素に、前記選択した候補ベクトルを割り付けて割付ベクトルとするステップと、
   前記割付ベクトルが割り付けられなかった前記内挿フレームの画素に対して近傍の割付ベクトルを割り付けるステップと、
   前記割付ベクトルにより定まる画素から前記内挿フレームの画素を生成して高周波数の画像信号を出力するステップとを有するフレーム周波数変換方法をコンピュータに実行させるためのプログラム。
7. 低周波数の画像信号の第１フレームと第２フレームを入力し、前記第１フレームと前記第２フレームの間の動きを示す複数の候補ベクトルを推定するステップと、
   推定した前記候補ベクトルにより定まる画素から、前記第２フレームに対応する予測フレームの予測画素を前記候補ベクトル毎に生成するステップと、
   前記予測フレームの予測画素の各々と前記第２フレームの画素との相関を求め、該相関が高い予測画素における候補ベクトルを選択するステップと、
   前記第１フレームと前記第２フレームの間に補間する内挿フレームの各画素に、前記選択した候補ベクトルを割り付けて割付ベクトルとするステップと、
   前記割付ベクトルが割り付けられなかった前記内挿フレームの画素に対して近傍の割付ベクトルを割り付けるステップと、
   前記割付ベクトルにより定まる画素から前記内挿フレームの画素を生成して高周波数の画像信号を出力するステップとを有するフレーム周波数変換方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
8. 低周波数の画像信号の第１フレームと第２フレームを入力し、前記第１フレームと前記第２フレームの間の動きを示す複数の候補ベクトルを推定する動き推定部と、
   前記候補ベクトルから、前記第２フレームに対応する予測フレームの予測画素が属する動きクラスを決定する第１の動きクラス決定部と、
   前記第１の動きクラス決定部により決定された動きクラス毎に予め求められ、前記予測フレームに対応した生徒画像と前記第２フレームに対応した教師画像との誤差を最小にする予測係数を選択する第１の予測係数選択部と、
   少なくとも前記第１フレームから、前記予測フレームの予測画素の周辺に位置する複数の画素を選択する第１の予測タップ選択部と、
   前記第１の予測係数選択部により選択した予測係数および前記第１の予測タップ選択部により選択した複数の画素を演算して前記予測フレームの予測画素を生成する第１の演算部と、
   前記予測フレームの予測画素の各々と前記第２フレームの画素との相関を求め、該相関が高い予測画素における候補ベクトルを動きベクトルとして検出する動き割付部とを備える動きベクトル検出装置。
9. 低周波数の画像信号の第１フレームと第２フレームを入力し、前記第１フレームと前記第２フレームの間の動きを示す動きベクトルを推定する動き推定部と、
   前記動きベクトルから、教師画像としての前記第２フレームに対応する予測フレームの予測画素が属する動きクラスを決定する動きクラス決定部と、
   少なくとも生徒画像としての前記第１フレームから、前記予測フレームの予測画素の周辺に位置する複数の画素を選択する予測タップ選択部と、
   前記動きクラス決定部により検出した動きクラス、前記予測タップ選択部で選択した生徒画像における複数の画素および前記教師画像の画素から動きクラス毎に、前記生徒画像における複数の画素と前記教師信号の画素との誤差を最小にする予測係数を求める予測係数生成部とを備える予測係数生成装置。