JP2010062953A

JP2010062953A - フレームレート変換装置、フレームレート変換方法及びフレームレート変換プログラム

Info

Publication number: JP2010062953A
Application number: JP2008227626A
Authority: JP
Inventors: Kazuo Toraichi; 和男寅市; Tokuyasu Take; 徳安武; Jonah Gamba; ガンバジョナ; Yasuhiro Omiya; 康宏大宮
Original assignee: Japan Science and Technology Agency
Current assignee: Japan Science and Technology Agency
Priority date: 2008-09-04
Filing date: 2008-09-04
Publication date: 2010-03-18
Anticipated expiration: 2028-09-04
Also published as: JP4931884B2

Abstract

【課題】フレーム数を増減しても鮮明で円滑な動きで再生可能な映像信号を得る。
【解決手段】基準フレームにおける複数個の画素について、時間を異にする複数の画像フレームにおける各対応点を推定する対応点推定処理部２と、推定した各画像フレームにおける各対応点について、それぞれ近傍の画素の濃淡を示す階調値から各階調値を求める第１の階調値生成処理部３と、上記基準フレームにおける複数個の画素に対して、上記推定した各画像フレームにおける各対応点の階調値から対応点軌跡上の濃淡をフルーエンシ函数で近似し、その函数から補間フレームにおける対応点の各階調値を求める第２の階調値生成処理部４と、上記補間フレームにおける各対応点の階調値から、上記補間フレームにおける各画素の階調値を生成する第３の階調値生成処理部５を備える。
【選択図】図１

Description

本発明は、映像のフレームレートを任意のフレームレートに変換するフレームレート変換装置、フレームレート変換方法及びフレームレート変換プログラムに関する。

従来より、ディジタル映像制作に関する技術の１つとして、フィルムなどで撮影した映像やそれと同等のフレーム数で記録した映像信号を様々なフレームレートに変換する技術がある。この技術は特許文献１等で公知である。特に、２４フレーム／秒で構成されるプログレッシブ映像信号方式の映像を、６０フレーム／秒で構成されるプログレッシブ映像信号方式の映像に変換して記録する場合、２：３プルダウンという変換方式での変換が一般的に使われている（例えば、特許文献１参照）。

また、近年、動画性能を向上させるために、映像信号に含まれる複数のフレームと、該入力映像信号の動きベクトルを用いて装置内部で生成された補間フレームとを組み合わせて、新たなフレーム列の信号を生成するフレームレート変換処理が行われている（例えば、特許文献２参照）。

近年、デジタル信号技術の進展に伴い、映像（動画像）、画像又は音声を対象にした、通信、放送、記録媒体［ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）］、医用画像、印刷等の分野がマルチメディア産業或いはＩＴ（Information Technology）として著しい発展を遂げている。映像や画像、音声に対するデジタル信号技術の一翼を担うのが情報量を低減する圧縮符号化であるが、その信号理論として、代表的にはシャノンの標本化定理があり、更に新しくはウェーブレット変換理論等がある。また、例えば音楽のＣＤでは、圧縮を伴わないリニアＰＣＭ（Pulse Code Modulation）が用いられるが、信号理論は同様にシャノンの標本化定理である。

従来、映像、アニメ画像などの動画の圧縮技術としてＭＰＥＧが知られており、デジタル放送やＤＶＤにおけるＭＰＥＧ−２方式の採用や、第３世代携帯電話のインターネット・ストリーミングや移動体通信などの分野におけるＭＰＥＧ−４方式の採用などにより、映像信号のデジタル圧縮技術は、近年非常に身近なものとなっている。その背景には、蓄積メディアの大容量化、ネットワークの高速化、プロセッサの高性能化、システムＬＳＩの大規模・低価格化などがある。このように、デジタル圧縮を必要とする映像応用システムを支える環境が着々と整ってきている。

ＭＰＥＧ２（ＩＳＯ（International Organization for Standardization）／ＩＥＣ（International Electrotechnical Commition）１３８１８−２）は、汎用の画像符号化方式として定義された方式であり、飛び越し走査方式、順次走査方式の双方に対応できるように定義され、また標準解像度画像、高精細画像の双方に対応できるように定義されている。このＭＰＥＧ２は、現在、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに広く用いられている。ＭＰＥＧ２では、例えば７２０×４８０画素の標準解像度、飛び越し走査方式の画像データを４〜８〔Ｍｂｐｓ〕のビットレートにデータ圧縮することができ、また１９２０×１０８８画素の高解像度、飛び越し走査方式の画像データを１８〜２２〔Ｍｂｐｓ〕のビットレートにデータ圧縮することができ、高画質で高い圧縮率を確保することができる。

一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、ピクチャとは1枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。ここで、インタレース画像とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、１つのフレームをフレームのまま処理したり、２つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができる。

特開２００３−２８４００７号公報特開２００８−１６７１０３号公報

従来のシャノンの標本化定理に基づくＡ−Ｄ変換／Ｄ−Ａ変換系では、ナイキスト周波数によって帯域制限された信号を扱う。このとき、Ｄ−Ａ変換において、標本化によって離散的になった信号の連続波への再生に、制限された帯域内の信号を再現する函数（正則函数）が用いられていた。

本願発明者の一人は、映像（動画像）、文字図形や自然画等の画像又は音声等の信号の持つ種々の性質をフルーエンシ函数を用いて分類可能であることを見出した。この理論によれば、シャノンの標本化定理に基づく上記正則函数は、フルーエンシ函数の一つであり、信号が持つ種々の性質の内の一つの性質に適合するにとどまる。従って、種々の性質をもつ信号をシャノンの標本化定理に基づく上記正則函数のみで扱うのでは、Ｄ−Ａ変換後の再生信号の品質に限界を与える恐れがあることとなる。

上記フルーエンシ函数空間の１つであるウェーブレット変換理論は、対象を解像度で分解するマザーウェーブレットを用いて信号を表すものであるが、信号に最適のマザーウェーブレットが与えられるとは限らず、やはりＤ−Ａ変換後の再生信号の品質に限界を与える恐れがあることとなる。

ここで、フルーエンシ函数は、パラメータｍ（ｍは１〜∞の正の整数）によって類別される函数である。ｍは、その函数が（ｍ−２）回のみ連続微分可能であることを表す。因みに、上記正則函数は何回でも微分可能であるので、ｍが∞である。更に、フルーエンシ函数は、（ｍ−１）次の函数で構成され、特にフルーエンシ函数の内のフルーエンシＤＡ函数は、標本間隔をτとして、着目するｋ番目の標本点ｋτで数値が与えられるが、その他の標本点では０となる函数である。

信号の性質は、パラメータｍを持つフルーエンシ函数によって全てが分類可能となり、パラメータｍによってクラス分けされる。そのため、フルーエンシ函数を用いたフルーエンシ情報理論は、従来の信号の性質の一部を表すにとどまっていたシャノンの標本化定理やウェーブレット変換理論等を包含し、信号の全体を表す理論体系であると位置付けられる。そのような函数を用いることにより、Ｄ−Ａ変換後に、シャノンの標本化定理によって帯域制限されることのない高品質の再生信号を、信号の全体に亘って得ることが期待される。

ところで、従来、映画の２４フレームレートをビデオの３０フレームに変換したり、ＴＶの映像を高精細化のために高フレームレート化することや、携帯のフレームレートに変換することが要求されているが、フレーム間引きや前後のフレームの内分補間で新規なフレームを生成する方法が主流となっている。

しかしながら、従来のフレーム間引きや前後のフレームの内分補間で新規なフレームを生成する方法では、映像の動きが円滑でない、映像が線形でないなどの問題点があった。

そこで、本発明の目的は、上述の如き従来の問題点に鑑み、フレーム数を増減しても鮮明で円滑な動きで再生可能なフレームレート変換装置、フレームレート変換方法及びフレームレート変換プログラムを提供することにある。

本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。

映像では、一般にフレームの前後で似通ったシーンが続く場面が多いので、この特徴を利用し、複数の情報を用いて、高フレームレート化を行い、高画質化を図る。複数フレーム間の局所的な対応点を推定し、対応する画像点を内挿することにより高画質な内挿フレームを構成する。

本発明では、フレーム間の映像対応点を追跡し、その時間推移を函数表現して、原フレームと変換するフレーム数との比で函数補間下フレームを生成することで、フレーム数を増減しても鮮明で円滑な動きの映像信号を得る。

すなわち、本発明は、映像信号変換装置であって、基準フレームにおける複数個の画素について、時間を異にする複数の画像フレームにおける各対応点を推定する対応点推定処理部と、推定した各画像フレームにおける各対応点について、それぞれ近傍の画素の濃淡を示す階調値から各階調値を求める第１の階調値生成処理部と、上記基準フレームにおける複数個の画素に対して、上記推定した各画像フレームにおける各対応点の階調値から対応点軌跡上の濃淡をフルーエンシ函数で近似し、その函数から補間フレームにおける対応点の各階調値を求める第２の階調値生成処理部と、上記補間フレームにおける各対応点の階調値から、上記補間フレームにおける各画素の階調値を生成する第３の階調値生成処理部とを備えることを特徴とする。

また、本発明は、映像信号変換方法であって、基準フレームにおける複数個の画素について、時間を異にする複数の画像フレームにおける各対応点を推定する対応点推定処理ステップと、推定した各画像フレームにおける各対応点について、それぞれ近傍の画素の濃淡を示す階調値から各階調値を求める第１の階調値生成処理ステップと、上記基準フレームにおける複数個の画素に対して、上記推定した各画像フレームにおける各対応点の階調値に基づいて対応点軌跡上の濃淡をフルーエンシ函数で近似し、その函数から補間フレームにおける対応点の各階調値を求める第２の階調値生成処理ステップと、上記補間フレームにおける各対応点の階調値から、上記補間フレームにおける各画素の階調値を生成する第３の階調値生成処理ステップとを有することを特徴とする。

さらに、本発明は、フレームレート変換装置に備えられるコンピュータにより実行されるフレームレート変換プログラムであって、基準フレームにおける複数個の画素について、時間を異にする複数の画像フレームにおける各対応点を推定する対応点推定処理部と、推定した各画像フレームにおける各対応点について、それぞれ近傍の画素の濃淡を示す階調値から各階調値を求める第１の階調値生成処理部と、上記基準フレームにおける複数個の画素に対して、上記推定した各画像フレームにおける各対応点の階調値に基づいて対応点軌跡上の濃淡をフルーエンシ函数で近似し、その函数から補間フレームにおける対応点の各階調値を求める第２の階調値生成処理と、上記補間フレームにおける各対応点の階調値から、上記補間フレームにおける各画素の階調値を生成する第３の階調値生成処理部として、上記コンピュータを機能させることを特徴とする。

本発明に係るフレームレート変換装置は、基準フレームにおける複数個の画素について、その濃淡分布を函数近似する第１の函数近似手段と、上記第１の函数近似手段により近似された時間を異にする複数の上記基準フレームにおける上記濃淡分布の函数で相関演算を行い、その最大値を与えるそれぞれの位置を上記複数の基準フレームにおいて対応する対応点位置とする対応点推定手段と、上記対応点推定手段により推定された各基準フレームにおける対応点位置を基準フレームの原点からの水平方向、垂直方向の距離で座標化し、上記時間を異にする複数の基準フレームにおける該座標点の水平方向位置、及び垂直方向位置のそれぞれの変化を時系列信号に変換し、各基準フレームの時系列信号を函数近似する第２の函数近似手段と、上記第２の函数近似手段で近似された函数により、上記複数の基準フレーム間の任意の時間における補間フレームについて、上記基準フレームの対応点位置に該当する補間フレーム内の対応する位置を対応点位置とし、該補間フレームの対応点位置における濃淡値を、上記基準フレームの対応点における濃淡値で補間して求め、該補間フレームの対応点の濃淡値に合わせて上記第１の函数近似を当てはめて、該対応点近傍の濃淡分布を求め、該対応点近傍の濃淡値を補間フレームにおける画素点の濃淡値に変換する第３の函数近似手段とを備えることを特徴とする。

また、本発明に係るフレームレート変換方法は、基準フレームにおける複数個の画素について、その濃淡分布を函数近似する第１の函数近似ステップと、上記第１の函数近似ステップで近似された時間を異にする複数の上記基準フレームにおける上記濃淡分布の函数で相関演算を行い、その最大値を与えるそれぞれの位置を上記複数の基準フレームにおいて対応する対応点位置とする対応点推定ステップと、上記対応点推定ステップで推定された各基準フレームにおける対応点位置を基準フレームの原点からの水平方向、垂直方向の距離で座標化し、上記時間を異にする複数の基準フレームにおける該座標点の水平方向位置、及び垂直方向位置のそれぞれの変化を時系列信号に変換し、各基準フレームの時系列信号を函数近似する第２の函数近似ステップと、上記第２の函数近似ステップで近似された函数により、上記複数の基準フレーム間の任意の時間における補間フレームについて、上記基準フレームの対応点位置に該当する補間フレーム内の対応する位置を対応点位置とし、該補間フレームの対応点位置における濃淡値を、上記基準フレームの対応点における濃淡値で補間して求め、該補間フレームの対応点の濃淡値に合わせて上記第１の函数近似を当てはめて、該対応点近傍の濃淡分布を求め、該対応点近傍の濃淡値を補間フレームにおける画素点の濃淡値に変換する第３の函数近似ステップとを有することを特徴とする。

さらに、本発明は、フレームレート変換装置に備えられるコンピュータにより実行されるフレームレート変換プログラムであって、基準フレームにおける複数個の画素について、その濃淡分布を函数近似する第１の函数近似手段と、上記第１の函数近似手段により近似された時間を異にする複数の上記基準フレームにおける上記濃淡分布の函数で相関演算を行い、その最大値を与えるそれぞれの位置を上記複数の基準フレームにおいて対応する対応点位置とする対応点推定手段と、上記対応点推定手段により推定された各基準フレームにおける対応点位置を基準フレームの原点からの水平方向、垂直方向の距離で座標化し、上記時間を異にする複数の基準フレームにおける該座標点の水平方向位置、及び垂直方向位置のそれぞれの変化を時系列信号に変換し、各基準フレームの時系列信号を函数近似する第２の函数近似手段と、上記第２の函数近似手段で近似された函数により、上記複数の基準フレーム間の任意の時間における補間フレームについて、上記基準フレームの対応点位置に該当する補間フレーム内の対応する位置を対応点位置とし、該補間フレームの対応点位置における濃淡値を、上記基準フレームの対応点における濃淡値で補間して求め、該補間フレームの対応点の濃淡値に合わせて上記第１の函数近似を当てはめて、該対応点近傍の濃淡分布を求め、該対応点近傍の濃淡値を補間フレームにおける画素点の濃淡値に変換する第３の函数近似手段として上記コンピュータを機能させることを特徴とする。

本発明では、フレーム間の映像対応点を追跡し、その時間推移を函数表現して、原フレームと変換するフレーム数との比で函数補間フレームを生成することで、フレーム数を増減しても鮮明で円滑な動きの映像信号を得ることができる。

したがって、本発明によれば、表示器にあったフレームレートで鮮明で円滑な動きの映像表示を行うことができる。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。

本発明に係るフレームレート変換装置１は、例えば、図１に示すように構成される。

このフレームレート変換装置１は、例えば図２の（Ａ），（Ｂ）に示すように、原フレーム間に補間フレームを挿入することにより、図２の（Ａ）に示す低フレームレート（この例では３０フレーム／秒）の動画を図２の（Ｂ）に示す高フレームレートの動画（この例では６０フレーム／秒）に変換する高フレームレート化処理を行うもので、対応点推定処理部２、第１の階調値生成処理部３、第２の階調値生成処理部４、第３の階調値生成処理部５として機能するコンピュータからなる。

このフレームレート変換装置１において、対応点推定処理部２は、基準フレームにおける複数個の画素について、時間を異にする複数の画像フレームにおける各対応点を推定する。

また、第１の階調値生成処理部３は、上記対応点推定処理部２により推定した各画像フレームにおける各対応点について、それぞれ近傍の画素の濃淡を示す階調値から各階調値を求める。

また、第２の階調値生成処理部４は、上記基準フレームにおける複数個の画素に対して、上記推定した各画像フレームにおける各対応点の階調値から対応点軌跡上の濃淡をフルーエンシ函数で近似し、その函数から補間フレームにおける対応点の各階調値を求める。

さらに、第３の階調値生成処理部５は、上記補間フレームにおける各対応点の階調値から、上記補間フレームにおける各画素の階調値を生成する。

このフレームレート変換装置１は、図示しない記憶部から読み出される映像信号変換プログラムをコンピュータにより実行することにより、図３のフローチャートに示すステップＳ１〜ステップＳ４の手順に従って、対応点推定処理を行って推定した対応点の階調値を用いて均等補間により補間フレームの対応点の階調値を生成し、さらに、不均等補間により補間フレームの対応点の階調値を生成する高フレームレート化処理を実行する。

すなわち、このフレームレート変換装置１では、先ず、図４の（Ａ）に示すように、時間ｔ＝ｋの画像フレームを基準フレームＦ（ｋ）とし、基準フレームＦ（ｋ）における複数個の画素Ｐｎ（ｋ）について、時間ｔ＝ｋ＋１の画像フレームＦ（ｋ＋１）、時間ｔ＝ｋ＋２の画像フレームＦ（ｋ＋２）、・・・時間ｔ＝ｋ＋ｍの画像フレームＦ（ｋ＋ｍ）における各動きベクトルを求めて、各画像フレーム（ｋ＋１），（ｋ＋２），・・・Ｆ（ｋ＋ｍ）における各対応点Ｐｎ（ｋ＋１），Ｐｎ（ｋ＋２），・・・Ｐ（ｋ＋ｍ）を推定する対応点推定処理を行う（ステップＳ１）。

次に、上記ステップＳ１で推定した各画像フレーム（ｋ＋１），（ｋ＋２），・・・Ｆ（ｋ＋ｍ）における各対応点Ｐｎ（ｋ＋１），Ｐｎ（ｋ＋２），・・・Ｐ（ｋ＋ｍ）について、図４の（Ｂ）に示すように、それぞれ近傍の画素の濃淡を示す階調値から各階調値を求める第１の階調値生成処理を行う（ステップＳ２）。

次に、上記基準フレームＦ（ｋ）における複数個の画素Ｐｎ（ｋ）に対して、図４の（Ｃ）に示すように、上記ステップＳ２で生成した各対応点Ｐｎ（ｋ＋１），Ｐｎ（ｋ＋２），・・・Ｐ（ｋ＋ｍ）における各階調値、すなわち、各画像フレーム（ｋ＋１），（ｋ＋２），・・・Ｆ（ｋ＋ｍ）の対応点軌跡上の濃淡をフルーエンシ函数で近似し、その函数から各画像フレーム（ｋ＋１），（ｋ＋２），・・・Ｆ（ｋ＋ｍ）間の補間フレームにおける対応点の各階調値を求める第２の階調値生成処理を行う（ステップＳ３）。

次のステップＳ４では、図４の（Ｄ）に示すように、上記ステップＳ３の第２の階調値生成処理により生成した補間フレームＦ（ｋ＋１／２）における各対応点の階調値から、不均等補間により時間ｔ＝ｋ＋１／２の補間フレームＦ（ｋ＋１／２）における各画素の階調値を生成する第３の階調値生成処理を行う（ステップＳ４）。

ここで、複数フレームからなる動画像は、その動きのある部分画像のフレーム上の位置はフレーム毎に異なる。また、一つのフレーム上の画素点は、他のフレーム上の異なる位置の画素点に移動するとは限らず、画素間に対応することが通常である。すなわち、１つの自然画は、連続した情報としたとき、２つのフレーム上では異なる位置の画素情報をそれぞれ表していることになる。特に、フレーム間の補間により、新規フレーム画像を生成する場合は、元のフレーム上の画素情報と新規フレーム上での画素上は殆ど全て異なる。例えば、図５の（Ａ），（Ｂ）に示すような２つのフレーム画像を同一点で重ね合わせると、各フレームの画素点（ここでは、説明のための粗くしている）の関係は、図５の（Ｃ）に示すような関係となる。すなわち、画像の移動分ずれる。この２つのフレーム画像を用いて、第１フレームの格子点（印のない画素点）の濃淡値を求めるためには、不均等補間処理が必要となる。

例えば、図６に示すように、画像の解像度を変換した際に新たに生成された画素ｕ（τ_ｘ，τ_ｙ）位置の値を決める画像補間処理は、原画素ｕ（ｘ_ｉ，ｙ_ｊ）と補間函数ｈ（ｘ）の畳み込み処理により行われる。

そして、複数のフレーム画像を用いて同一部分画像を対応させ、図７の（Ａ）に示すような均等補間函数を用いて所望の対応点近傍における水平（垂直）方向の画素情報から均等補間により求めた各フレーム毎の補間情報、すなわち、例えば図８に示すように、フレーム１及びフレーム２の各内挿画素値×を垂直（水平）方向の画素情報として、図７の（Ｂ）に示すような不均等補間函数を用いてフレームのずれ量に基づき不均等補間を行い、図８に示すように、フレーム１における所望の位置○の画素情報を決定する。

このように、フレーム間の映像対応点を追跡し、その時間推移を函数表現して、原フレームと変換するフレーム数との比で函数補間フレームを生成することで、フレーム数を増減しても鮮明で円滑な動きの映像信号を得ることができ、表示器にあったフレームレートで鮮明で円滑な動きの映像表示を行うことができる。

均等補間により補間フレームＦ（ｋ＋１／２）を生成して１／２精度の動き推定により求められる動き情報を用いてブロックマッチングにより対応点の階調値を１／２精度で生成する従来の高フレームレート化処理では、挿入される補間フレームの画像は動きのある部分が劣化するが、このフレームレート変換装置１のように、対応点推定処理を行って推定した対応点の階調値を用いて均等補間により補間フレームの対応点の階調値を生成し、さらに、不均等補間により補間フレームの対応点の階調値を生成する高フレームレート化処理では、動きのある部分が劣化することなく高フレームレート化することができた。

ここで、フレームレート変換装置１は、上述の如き高フレームレート化処理を行うとともに、２フレーム画像を用いて拡大補間処理を行う機能を備えるものとすることができる。２フレーム画像を用いて拡大補間処理を行う機能は、例えば、例えば図９に示すように、入力データ制御回路５１、出力同期信号生成回路５２、ＳＲＡＭ５３、ＳＲＡＭ選択部５４、画像処理モジュール５５により構成される拡大補間処理装置５０により実現される。

この拡大補間処理装置５０において、入力データ制御回路５１は、水平同期信号及び垂直同期信号とともに供給される入力画像すなわち各画素の画像情報をＳＲＡＭ選択部５４に順次入力する制御を行う。

出力同期信号生成回路５２は、供給される水平同期信号及び垂直同期信号に基づいて出力側同期信号を生成し、生成した出力側同期信号を出力するとともにＳＲＡＭ選択部５４に供給する。

ＳＲＡＭ選択部５４は、例えば、図１０に示すように構成され、供給される同期信号に生成される書き込み制御信号及び読み出し制御信号に基づいて制御信号切り換え回路５４Ａから供給されるメモリ選択信号に応じた動作を行う書き込みデータ選択部５４Ｂと読み出しデータ選択部５４Ｃにより、入力データ制御回路５１を介して入力される入力画像を１フレームごとＳＲＡＭ５３に格納し、同時に２フレームの画像を出力同期信号生成回路５２により生成された出力側同期信号に同期して読み出す。

また、画像処理モジュール５５は、フレーム間情報による画像補間処理を行う例えば、図１１に示すように構成される。

すなわち、画像処理モジュール５５は、ＳＲＡＭ選択部５４を介してＳＲＡＭ５３から同時に読み出された２フレームの画像情報が入力される窓設定部５５Ａ、第１の均等補間処理部５５Ｂ及び第２の均等補間処理部５５Ｃ、上記窓設定部５５Ａにより上記２フレームの画像情報から抽出された画素の情報が入力されるずれ量推定部５５Ｄ、このずれ量推定部５５Ｄにより推定されたずれ量ベクトルと上記第２の均等補間処理部５５Ｃにより補間された画素の情報入力されるずれ補正部５５Ｅ、このずれ補正部５５Ｅにより補正された画素の情報及び上記第１の補間処理部５５Ｂにより補間された画素の情報が入力される不均等補間処理部５５Ｆからなる。

画像処理モジュール５５では、図１２の（Ａ），（Ｂ）に示すように、ＳＲＡＭ選択部５４を介して入力される２つのフレーム画像ｆ，ｇについて、窓設定部５５Ａにより所定のポイント（ｐ，ｑ）にウインドウを設定し、ずれ量推定部５５Ｄにより、片方のフレーム画像ｇのウインドウをずれ量（τｘ，τｙ）だけずらして、ウインドウ内の相対位置（ｘ，ｙ）の画素値により内積演算を行い、その値を相互相関値Ｒｐｑ（τｘ，τｙ）とする。

そして、ずれ量（τｘ，τｙ）を変化させてポイント（ｐ，ｑ）の回りでの相互相関値Ｒｐｑ（τｘ，τｙ）が最大となるずれ量（τｘ，τｙ）を抽出する。

なお、２つのフレーム画像ｆ，ｇのウインドウ内画素データをそれぞれフーリエ変換して相互相関値Ｒｐｑ（τｘ，τｙ）を求めることもできる。

そして、この拡大補間処理装置５０では、図１３のフローチャートに示すように手順に従って拡大補間処理を行う。

すなわち、画像処理モジュール５５では、ＳＲＡＭ５３からＳＲＡＭ選択部５４を介して２つのフレーム画像ｆ，ｇが読み出されると（ステップＡ）、ずれ量推定部５５Ｄで相関演算処理により２つのフレーム画像ｆ，ｇのずれ量（τｘ，τｙ）を演算する（ステップＢ）。

そして、フレーム１の画像ｆについて均等補間による内挿画素値を第１の均等補間処理部５５Ｂで演算することにより、水平方向あるいは垂直方向に拡大する（ステップＣ）。

また、フレーム２の画像ｇについて均等補間による内挿画素値を第２の均等補間処理部５５Ｃで演算することにより、水平方向あるいは垂直方向に拡大する（ステップＤ）。

さらに、フレーム２の拡大画像をフレーム１に対するずれ量分移動した画素位置での画素値をずれ量補正部５５Ｅにより演算する（ステップＥ）。

そして、不均等補間処理部５５Ｆにおいて、フレーム１の内挿画素値２点とフレーム２の移動位置の画素値２点の計４点の画素値からフレーム１における求める位置の画素値を不均等補間で垂直方向あるいは水平方向に拡大演算を行い（ステップＦ）、フレーム１の補間演算結果を拡大画像として出力する（ステップＧ）。

このような拡大補間処理を行う機能を備えるフレームレート変換装置１１０は、例えば、図１４に示すように構成される。

このフレームレート変換装置１１０は、第１の函数近似処理部１１１、対応点推定処理部１１２、第２の函数近似処理部１１３、第３の函数近似処理部１１４として機能するコンピュータからなる。

第１の函数近似処理部１１１は、基準フレームにおける複数個の画素について、その濃淡分布を函数近似する第１の函数近似処理を行う。

対応点推定処理部１１２は、上記第１の函数近似部１１１により近似された時間を異にする複数の上記基準フレームにおける上記濃淡分布の函数で相関演算を行い、その最大値を与えるそれぞれの位置を上記複数の基準フレームにおいて対応する対応点位置とする対応点推定処理を行う。

第２の函数近似処理部１１３は、上記対応点推定部１１２により推定された各基準フレームにおける対応点位置を基準フレームの原点からの水平方向、垂直方向の距離で座標化し、上記時間を異にする複数の基準フレームにおける該座標点の水平方向位置、及び垂直方向位置のそれぞれの変化を時系列信号に変換し、各基準フレームの時系列信号を函数近似する第２の函数近似を行う。

第３の函数近似処理部１１４は、上記第２の函数近似部１１３で近似された函数により、上記複数の基準フレーム間の任意の時間における補間フレームについて、上記基準フレームの対応点位置に該当する補間フレーム内の対応する位置を対応点位置とし、該補間フレームの対応点位置における濃淡値を、上記基準フレームの対応点における濃淡値で補間して求め、該補間フレームの対応点の濃淡値に合わせて上記第１の函数近似を当てはめて、該対応点近傍の濃淡分布を求め、該対応点近傍の濃淡値を補間フレームにおける画素点の濃淡値に変換する第３の函数近似処理を行う。

このフレームレート変換装置１１０では、第１の函数近似処理部１１１により、基準フレームにおける複数個の画素について、その濃淡分布を函数近似し、対応点推定処理部１１２により、上記第１の函数近似処理部１１１で近似された時間を異にする複数の上記基準フレームにおける上記濃淡分布の函数で相関演算を行い、その最大値を与えるそれぞれの位置を上記複数の基準フレームにおいて対応する対応点位置とし、第２の函数近似処理部１１３により、上記対応点推定処理部１１２で推定された各基準フレームにおける対応点位置を基準フレームの原点からの水平方向、垂直方向の距離で座標化し、上記時間を異にする複数の基準フレームにおける該座標点の水平方向位置、及び垂直方向位置のそれぞれの変化を時系列信号に変換し、各基準フレームの時系列信号を函数近似する。そして、第３の函数近似処理部１１４により、第２の階調値生成処理部１１３で近似された函数により、上記複数の基準フレーム間の任意の時間における補間フレームについて、上記基準フレームの対応点位置に該当する補間フレーム内の対応する位置を対応点位置とし、該補間フレームの対応点位置における濃淡値を、上記基準フレームの対応点における濃淡値で補間して求め、該補間フレームの対応点の濃淡値に合わせて上記第１の函数近似を当てはめて、該対応点近傍の濃淡分布を求め、該対応点近傍の濃淡値を補間フレームにおける画素点の濃淡値に変換することにより、拡大補間処理とともに高フレームレート化処理を行う。

本発明は、例えば図１５に示すような構成の映像信号変換システム１００に適用され、上記フレームレート変換装置１が高フレームレート化処理部４０として映像信号変換システム１００に搭載される。

この映像信号変換システム１００は、撮像装置等の画像入力部１０から入力される画像情報にノイズ除去処理を施す前処理部２０、上記前処理部２０によりノイズ除去処理が施された画像情報が入力され、入力された画像情報を圧縮符号化する圧縮符号化処理部３０、上記圧縮符号化処理部３０により圧縮符号化された画像情報を高フレームレート化する高フレームレート化処理部４０などからなる。

この映像信号変換システム１００における前処理部２０は、入力された画像情報に含まれるボケや手ぶれなどのノイズを、画像のテンソル演算技術とぼけ函数の適応修正処理技術により除去するフィルタリング処理を行うものであって、図１６に示すようなシステムモデルにより、真の入力画像ｆ（ｘ，ｙ）が入力されるぼけ函数Ｈ（ｘ，ｙ）の劣化モデル２１の出力

にノイズｎ（ｘ，ｙ）を付加することにより観測画像ｇ（ｘ，ｙ）を得て、図１７に示すようなリストレーションシステムモデルにより、上記観測画像ｇ（ｘ，ｙ）を入力として推定された画像

を得る逆フィルタ２２からなる。

前処理部２０は、画像のテンソル演算技術とぼけ函数の適応修正処理技術により除去するフィルタリング処理を行うものであって、原画像をクロネッカー積の特性を利用して評価する。

クロネッカー積は、次のように定義される。

Ａ＝［ａ_ｉｊ］をｍｎ行列、Ｂ＝［ｂ_ｉｊ］をｓｔ行列とするとき、クロネッカー積

は、次のような、ｍｓ×ｎｔ行列である。

ここで、

は、クロネッカー積演算子を表す。

また、クロネッカー積の基本的な性質は、次の通りである。

ここで、

は、行列を列方向に伸ばし、列ベクトルを生成する操作を示す演算子である。

この前処理部２０における画像モデルでは、未知の真の入力画像ｆ（ｘ，ｙ）が存在するものと仮定して、上記劣化モデル２１の出力

にノイズｎ（ｘ，ｙ）を付加することにより得られる観測画像ｇ（ｘ，ｙ）は、次の式（１）にて表すことができる。

ここで、

は、この画像システムにより得られる劣化画像を代表し、また、ｎ（ｘ，ｙ）は付加したノイズである。そして、劣化画像

は、次の式（２）で示される。

ここで、ｈ（ｘ，ｙ；ｘ’，ｙ’）は、劣化システムのインパルス応答を代表している。

使用される画像は離散量であるから、入力画像ｆ（ｘ，ｙ）の画像モデルは、式（３）のように書き換えることができる。

ここで、Ｈ_ｋ ^（ｘ）Ｈ_ｌ ^（ｙ）は、次の式（４）のようにマトリクス形式で表すことにより、劣化モデルの点像強度分布函数（ＰＳＦ:Point Spread Function）Ｈとなる。

上記逆フィルタ２２の特性は、図１８のフローチャートに示す手順にしたがった学習処理により決定される。

すなわち、学習処理では、先ず、観測画像ｇ（ｘ，ｙ）を入力画像ｇとして読み込み（ステップＳ１１ａ）、

として画像ｇ_Ｅを構成して（ステップＳ１２ａ）、

の特異値分解（SVD:singular value decomposition）を行う（ステップＳ１３ａ）。

また、劣化モデルの点像強度分布函数（ＰＳＦ:Point Spread Function）Ｈを読み込み（ステップＳ１１ｂ）、

なるクロネッカー積で示される劣化モデルを構築して（ステップＳ１２ｂ）、上記劣化モデルの函数Ｈの特異値分解（SVD:singular value decomposition）を行う（ステップＳ１３ｂ）。

ここで、システム方程式ｇは

と書き直すことができる。

そして、

として新たな画像ｇ_ＫＰＡを算出する（ステップＳ１４）。

そして、算出した新たな画像ｇ_ＫＰＡについて、

なる最小化処理を行い（ステップＳ１５）、得られたｆ_Ｋについて、

なるテスト条件を満たすか否かを判定する（ステップＳ１６）。

ここで、ｋは繰り返し番号であり、ε，ｃは、それぞれ判定の閾値である。

そして、上記ステップＳ１６における判定結果がFaise、すなわち、上記ステップＳ１５で得られたｆ_Ｋが上記テスト条件を満たしていない場合には、上記劣化モデルの函数Ｈについて、

なる最小化処理を行い（ステップＳ１７）、上記ステップＳ１３ｂに戻り、上記ステップＳ１６で得られた函数Ｈ_Ｋ＋１について特異値分解（SVD:singular value decomposition）を行い、上記ステップＳ１３ｂからステップＳ１７の処理を繰り返し行い、上記ステップＳ１６における判定結果がTrue、すなわち、上記ステップＳ１５で得られたｆ_Ｋが上記テスト条件を満たす場合に、上記ステップＳ１５で得られたｆ_Ｋを

として（ステップＳ１８）、１の入力画像ｇに対する学習処理を終了する。

上記逆フィルタ２２の特性は、上記学習処理を多数の入力画像ｇについて行うことにより決定される。

すなわち、ここでは、ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）を代表してＨｆとして表し、システムの方程式を

とし、また、

として、ｆを近似して、目的とする新たな画像ｇ_Ｅを次のように導出している。

ここで、Ｅは予測を示す。新たな画像ｇ_Ｅは、原画像のエッジ細部の保存や強調として構成される。

新たな画像ｇ_Ｅは、

として得られる。ここで、Ｃ_ＥＰとＣ_ＥＮは、それぞれエッジ保存とエッジ強調の演算子である。

そして、シンプルなラプラシアンカーネルＣ_ＥＮ＝∇^２ｆと制御パラメータβとγを持ったガウシャンカーネルＣ_ＥＰを選択し、

とする。

そして、

として、最小化問題を再構築し、次の特異値分解（SVD:singular value decomposition）から

上記劣化モデルの函数Ｈを

として推定して用いる。

この映像信号変換システム１００における前処理部２０のように、入力された画像情報に含まれるボケや手ぶれなどのノイズを、画像のテンソル演算技術とぼけ函数の適応修正処理技術により除去するフィルタリング処理を行うことにより、ノイズを除去するとともに画像の鮮明化やエッジ強調などを行うことができる。

この映像信号変換システム１００は、上記前処理部２０によりノイズ除去処理が施された画像情報について、圧縮符号化処理部３０により圧縮符号化し、圧縮符号化された画像情報をフレームレート化処理部４０により高フレームレート化する。

この映像信号変換システム１００における圧縮符号化処理部３０は、フルーエンシ理論に基づく圧縮符号化処理を行うもので、図１９に示すように、第１の函数化処理部３１、第２の函数化処理部３２、上記第１の函数化処理部３１と第２の函数化処理部３２で函数化された各画像情報を所定の形式で記述して符号化する符号化処理部３３などを備える。

第１の函数化処理部３１は、上記前処理部２０によりノイズ除去処理が施された画像情報について、複数のフレーム画像間の対応点推定を行う対応点推定部３１Ａと、上記対応点推定部３１Ａにより推定された各フレーム画像の対応点の画像情報を用いて、動き部分の画像情報を函数化する動き函数化処理部３１Ｂからなる。

対応点推定部３１Ａは、例えば、図２０に示すように構成される。

すなわち、対応点推定部３１Ａは、フレーム画像の部分領域を抽出する第１の部分領域抽出部３１１と、上記第１の部分領域抽出部３１１により抽出した部分領域に相似な連続する他のフレーム画像の部分領域を抽出する第２の部分領域抽出部３１２と、上記第１の部分領域抽出部３１１及び上記第２の部分領域抽出部３１２により抽出された各部分領域を同一比に変換し、変換した各画像の濃淡をフルーエンシ理論に従って区分多項式で函数表現して出力する函数近似部３１３と、上記函数近似部３１３の出力の相関値を演算する相関値演算部３１４と、上記相関値演算部３１４により算出される相関値の最大値を与える画像の位置ずれを演算し、該演算値を対応点のずれ量として出力するずれ量演算部３１５とからなる。

この対応点推定部３１Ａでは、第１の部分領域抽出部３１１によりフレーム画像の部分領域をテンプレートとして抽出するとともに、上記第１の部分領域抽出部３１１により抽出した部分領域に相似な連続する他のフレーム画像の部分領域を第２の部分領域抽出部３１２により抽出し、函数近似部３１３により上記第１の部分領域抽出部３１１及び上記第２の部分領域抽出部３１２により抽出された各部分領域を同一比に変換し、変換した各画像の濃淡を区分多項式で函数表現する。

この対応点推定部３１Ａは、画像の濃淡を連続的な変化状態として捉え、フルーエンシ情報理論により、画像の対応点を推定するものであって、第１の部分領域抽出部３１１と、第２の部分領域抽出部３１２と、函数近似部３１３と、相関値演算部３１４と、ずれ量演算部３１５からなる。

この対応点推定部３１Ａにおいて、第１の部分領域抽出部３１１は、入力画像についてフレーム画像の部分領域を抽出する。

また、第２の部分領域抽出部３１２は、上記第１の部分領域抽出部３１１により抽出した部分領域に相似な連続する他のフレーム画像の部分領域を抽出する。

また、函数近似部３１３は、上記第１の部分領域抽出部３１１及び上記第２の部分領域抽出部３１２により抽出された各部分領域を同一比に変換し、変換した各画像の濃淡をフルーエンシ理論に従って区分多項式で函数表現して出力する。

また、相関値演算部３１４は、上記函数近似部３１３の出力の相関値を演算する。

さらに、ずれ量演算部３１５は、上記相関値演算部３１４により算出される相関値の最大値を与える画像の位置ずれを演算し、該演算値を対応点のずれ量として出力する。

そして、この対応点推定部３１では、第１の部分領域抽出部３１１によりフレーム画像の部分領域をテンプレートとして抽出するとともに、上記第１の部分領域抽出部３１１により抽出した部分領域に相似な連続する他のフレーム画像の部分領域を第２の部分領域抽出部３１２により抽出し、函数近似部３１３により上記第１の部分領域抽出部３１１及び上記第２の部分領域抽出部３１２により抽出された各部分領域を同一比に変換し、変換した各画像の濃淡を区分多項式で函数表現する。

ここで、画像ｆ_１（ｘ，ｙ），ｆ_２（ｘ，ｙ）は、空間Ｓ^（ｍ）（Ｒ^２）に属していると仮定し、φｍ（ｔ）を（ｍ−２）次の区分多項式で次の式（５）のように表し、

上記空間Ｓ^（ｍ）（Ｒ^２）を次の式（６）のように表すと、

フレーム間の相関関数ｃ（τ_１，τ_２）は、次の式（７）として表すことができる。

そして、上記仮定、すなわち、

から、フレーム相関関数を表す式（７）は、次の式（８）で示すことができる。

すなわち、上記フレーム間の相関関数ｃ（τ_１，τ_２）は、図２１に示すような２ｍ次補間を行う空間Ｓ^（２ｍ）（Ｒ^２）に属し、上記２ｍ次補間を行う空間Ｓ^（２ｍ）（Ｒ^２）の標本化周波数ψ_２ｍ（τ_１，τ_２）は一意的に存在し、上記フレーム間の相関関数ｃ（τ_１，τ_２）は、次の式（９）にて表される。

式（８）から、相関面を補間するために、（２ｍ−１）次の区分的な多項式の関数を構築することができる。

すなわち、ブロックに基づく動きベクトル評価アプローチによって、適切に式（７）の別々のブロック動きベクトルの初期の推定を得て、それから、任意の正確さの本当の動きを得る式（８）を適用する。

分離可能な相関面補間関数の一般形は、式（１０）にて表される。

ここで、Ｃｋとｄｌが補間係数であり、Ｍ_２ｍ（ｘ）＝φ_２ｍ（ｘ＋２）・φ_ｍ（ｘ）は、（ｍ−１）次のＢ−スプラインである。

式(１０)における適切な打ちきり制限により、上記相関関数ｃ（τ_１，τ_２）は、次の式（１１）によって近似することができる。

ここで、Ｋ_１＝［τ_１］−ｓ＋１，Ｋ_２＝［τ_２］＋ｓ，Ｌ_１＝［τ_２］−ｓ＋１，Ｌ_２＝［τ_２］＋ｓであり、ｓはφ_ｍ（ｘ）を定める。

そして、例えば、ｍ＝２とき、次の式（１２）を式（１１）に代入することにより、望ましい補間式を得る。

動きベクトルvは、次の式（１３）を使って導出される。

上記相関関数ｃ（τ_１，τ_２）は、整数点の情報だけを用いて再生することができ、相関値演算部３１４は、上記相関関数ｃ（τ_１，τ_２）により上記函数近似部３１３の出力の相関値を算出する。

そして、ずれ量演算部３１５は、上記相関値演算部３１４により算出される相関値の最大値を与える画像の位置ずれを示す式（１３）により動きベクトルＶを演算し、得られる動きベクトルＶを対応点のずれ量として出力する。

ここで、上記対応点推定部３１Ａによる対応点推定による動きベクトルＶの決定の様子を図２２に模式的に示す。

すなわち、この対応点推定部３１Ａでは、図２２の（Ａ）に示すように、フレーム画像（ｋ）の部分領域を取り出し、この部分領域に相似な連続する他のフレーム画像の部分領域を抽出して、図２２の（Ｂ）に示すように、

にて表される相関関数ｃ（τ_１，τ_２）を用いて各フレーム間の相関を計算して、図２２の（Ｃ）に示すように、相関曲面のピーク点て動きを検出し、動きベクトルvを上記式（１３）にて求めことにより、図２２の（Ｄ）に示すように、フレーム画像（ｋ）における画素の動きを決定する。

このようにして決定されたフレーム画像（ｋ）の各ブロックの動きベクトルは、同じフレーム画像（ｋ）の各ブロックの動きベクトルを従来のブロックマッチングにより決定されたものと比較して、各ブロック間で滑らかに変化するものとなる。

すなわち、例えば、図２３の（Ａ）に示すように、被写体が回転する動きのあるフレーム１とフレーム２について、２フレーム対応点推定と不均等補間により４倍拡大を行ったところ、図２３の（Ｂ１），（Ｃ１）に示すように、従来のブロックマッチングによる推定対応点で推定された動きベクトルには変化が滑らかなでない部分が生じたが、上述の如き構成の対応点推定部３１Ａによる推定対応点で推定された動きベクトルの変化は、図２３の（Ｂ２），（Ｃ２）に示すように、全体的に滑らかなものとなっている。しかも、１／Ｎの精度での計算量は、従来手法ではＮ^２であるのに対し、本手法ではＮとなる。

そして、動き函数化処理部３１Ｂでは、上記対応点推定部３１Ａにおける対応点推定により得られる動きベクトルＶを用いて、動き部分の画像情報を函数化する。

すなわち、動き函数化処理部３１Ｂでは、基準フレーム毎に部分動画像の対応点が推定されると、その移動量すなわち対応点のずれ量はフレームの座標位置ｘ、ｙの変化に対応するので、図２４に示すように、フレームの原点を左上隅に取った場合、例えば、図２５の（Ａ）に示すような各フレームの画像の動きについて、図２５の（Ｂ），（Ｃ）に示すように各フレームのX座標、Y座標の動きとして表し、X座標、Y座標それぞれの動きの変化を函数近似して函数化する。そして、図２６に示すように、その函数で補間してフレーム間の位置を推定することにより動き補償を行う。

また、第２の函数化処理部３２は、フルーエンシ情報理論に基づき、輪郭、濃淡、フレーム間情報を近似するフルーエンシ函数化処理により、入力画像を符号化するものであって、領域自動分類処理部３２Ａ、輪郭函数近似処理部３２Ｂ、濃淡函数化処理部３２Ｃ、周波数函数近似処理部３２Ｄなどからなる。

領域自動分類処理部３２Ａは、入力画像をフルーエンシ情報理論に基づいて、区分的平面領域（ｍ≦２）、区分的曲面領域（ｍ＝３）、区分的球面領域（ｍ＝∞）、不規則領域（ｍ≧４）に分類する。

フルーエンシ情報理論では、信号を信号空間という概念で次数ｍによって指定されるクラスに分類する。

信号空間^ｍＳは、（ｍ−２）回連続微分可能な変数を持つ（ｍ−１）次の区分的多項式によって表される。

信号空間^ｍＳは、ｍ＝１のとき、階段関数のものと等しくなり、またｍ＝∞のとき、フーリエべき関数のものと等しくなることが証明されている。フルーエンシモデルは、フルーエンシ標本化関数を定義することで、この信号空間^ｍＳに属する信号と離散時間信号との関係を明確化するモデルである。

輪郭函数近似処理部３２Ｂは、輪郭自動分類処理部３２１と関数近似処理部３２２からなり、上記領域自動分類処理部３２Ａにより分類された区分的平面領域（ｍ≦２）、区分的曲面領域（ｍ＝３）、区分的球面領域（ｍ＝∞）に含まれる直線、円弧、２次曲線を上記輪郭自動分類処理部３２１により抽出して関数近似処理部３２２により関数近似する。

濃淡函数化処理部３２Ｃは、上記領域自動分類処理部３２Ａにより分類される区分的平面領域（ｍ≦２）、区分的曲面領域（ｍ＝３）、区分的球面領域（ｍ＝∞）について、フルーエンシ函数を用いて濃淡函数化処理を行う。

周波数函数近似処理部３２Ｄは、上記領域自動分類処理部２により分類される不規則領域（ｍ≧４）、すなわち、多項式表現できない領域について、ＤＣＴ等により周波数函数近似処理を行う。

この第２の函数化処理部３２では、映像のフレーム毎に多数の多変数フルーエンシ函数を使って、画像の濃淡や輪郭を表現することができる。

そして、符号化処理部３３は、上記第１の函数化処理部３１と第２の函数化処理部３２で函数化された各画像情報を所定の形式で記述して符号化する。

そして、この映像信号変換システム１００では、上述の如く、撮像装置等の画像入力部１０から入力される画像情報に前処理部２０によりノイズ除去処理を施し、上記前処理部２０によりノイズ除去処理が施された画像情報を圧縮符号化処理部３０により圧縮符号化し、上記フレームレート変換装置１を用いた高フレームレート化処理部４０において、フレーム間の映像対応点を追跡し、その時間推移を函数表現して、原フレームと変換するフレーム数との比で函数補間フレームを生成する。

すなわち、この映像信号変換システム１００は、映像のフレーム毎に多数のフルーエンシ函数を使って輪郭などを表現し、離散フレーム列を時間方向で区分多項式に基づく連続関数で表すことで、任意フレームレートの高品位な映像を再生できるようにしたものである。

フルーエンシ情報理論では、信号が連続的に微分可能であるという度数に基づいて、次数ｍによって指定されるクラスにおける信号空間を分類する。

そして、どのようなｍ＞２に対しても、subspace spannedは、（ｍ−２）回のみ連続微分可能な（ｍ−１）次の区分的な多項式によって表される。
（ｍ＝３）クラスの標本化関数ψ(x) は、１回のみ連続微分可能な２次の区分多項式の線形結合により次の式（１４）で表される。

ここで、φ(x)は次の式（１５）で示される。

そして、ψ(x)は、標本化函数であるため、標本列と畳み込み演算で区間の函数を求めることができる。

ここで、τ＝１とき、式（１４）は、次の式（１６）よって与えられる区分的な多項式
として表されることができる。

例えば、（ｍ＝３）クラスの不均等フルーエンシ補間函数

は、図２７に示すような函数である。

不均等補間フルーエンシ関数

は、度数２の８部分多項式から成り、（ｍ＝３）クラスの不均等補間フルーエンシ関数は、図２７で示すようにｓ_１（ｘ）〜Ｓ_８（ｘ）に指定される不均等の間隔で定められ、その構成要素は、次の式（１７）で与えられる。

ここで、

である。

ここで、高解像度補間の実例を図２８に示す。

また、図２９は、補間のためのピクセル構造の具体例を示している。

図２９において、Frame_1のピクセルは、Frame_2でピクセルを変える異なる動きベクトル

を持つ。

図２８は２つの連続的なフレームから一次元イメージ補間の概念を例示している。

動き評価は、ブロック・サイズと検索ウィンドウ・サイズが知られている全検索ブロックマッチングのアルゴリズムによるものとされる。

高解像度フレームピクセルは、f（τ_x，τ_y）によって表され、ピクセル構造は、図２９の高解像度補間アプローチの１例に示すようである。

第１のステップでは、ビデオ・シーケンスから２つの連続的なフレームを得て、ｆ_１（ｘ，ｙ）とｆ_２（ｘ，ｙ）によって表す。

第２のステップでは、動きベクトルの初期推定を行う。

にて、動きベクトルの初期推定を行う。

ここで、

である。

式(１８)において、

はサーチウインドウの平均を表し、そして、

はマッチングにおける現ブロックの平均を表す。

第３のステップでは、式（１２）と式（１７）を用いた全ピクセル

のために、第２ステップから動きベクトル

付近の一つのピクセルの中から動きベクトルを得る。

第４のステップでは、以下の通りに均等水平補間を実行する。

第５のステップでは、第４のステップで得られるピクセルを使っている不均等垂直補間を式（２０）により実行する。

第４のステップと第５のステップは、高解像度イメージで全てのピクセルのために繰り返される。

フルーエンシ理論に基づく動画符号化では、原信号に適した信号空間を選択し、函数化を行うことでシャープさを保存したまま高圧縮化することができる。

フルーエンシ理論に基づいて、フレーム間の相関函数の属する函数空間を正確に決定することにより、任意精度で動きベクトルを求めることができる。

例えば、図３０の（Ａ）に示すように、フレームｋとフレームｋ＋１の間の任意時刻におけるフレームを生成する場合、均等補間により補間フレームＦ（ｋ＋１／２）を生成して１／２精度の動き推定により求められる動き情報を用いてブロックマッチングにより対応点の階調値を１／２精度で生成する従来の高フレームレート化処理では、図３０の（Ｂ１），（Ｃ１）に示すように、挿入される補間フレームの画像は動きのある部分が劣化するが、上記高フレームレート化処理部４０のように、対応点推定処理を行って推定した対応点の階調値を用いて均等補間により補間フレームの対応点の階調値を生成し、さらに、不均等補間により補間フレームの対応点の階調値を生成する高フレームレート化処理では、図３０の（Ｂ２），（Ｃ２）に示すように、動きのある部分が劣化することなく高フレームレート化することができた。

この映像信号変換システム１００では、撮像装置等の画像入力部１０から入力される画像情報に前処理部２０によりノイズ除去処理を施し、上記前処理部２０によりノイズ除去処理が施された画像情報を圧縮符号化処理部３０により圧縮符号化し、上記高フレームレート化処理部４０において、フレーム間の映像対応点を追跡し、その時間推移を函数表現して、原フレームと変換するフレーム数との比で函数補間フレームを生成することで、上記圧縮符号化処理部３０により圧縮符号化された画像情報を高フレームレート化することにより、鮮明で円滑な動きの映像信号を得ることができる。

フレームレート変換装置の構成例を示すブロック図である。上記フレームレート変換装置による高フレームレート化処理を模式的に示す図である。上記フレームレート変換装置による高フレームレート化処理の実行手順を示すフローチャートである。上記フレームレート変換装置による高フレームレート化処理の内容を模式的に示す図である。上記フレームレート変換装置おける不均等補間処理の説明に供する図である。画像の解像度を変換した際に新たに生成された画素位置の値を決める画像補間処理の説明に供する図である。均等補間函数と不均等補間函数の例を示す図である。上記画像補間処理の内容を模式的に示す図である。拡大補間処理装置の構成例を示すブロック図である。上記拡大補間処理装置におけるＳＲＡＭ選択部の構成例を示すブロック図である。上記拡大補間処理装置における画像処理ブロックの構成例を示すブロック図である。上記拡大補間処理装置における画像処理モジュールに入力される２つのフレーム画像を模式的に示す図である。上記拡大補間処理装置における拡大補間処理の手順を示すフローチャートである。拡大補間処理機能を有するフレームレート変換装置の構成例を示すブロック図である。本発明を適用した映像信号変換システムの構成を示すブロック図である。上記映像信号変換システムにおける前処理部を構築するために用いるシステムモデルを示すブロック図である。上記映像信号変換システムにおける前処理部を構築するために用いるリストレーションシステムモデルを示すブロック図である。上記前処理部に用いる逆フィルタの特性の各処理の手順を示すフローチャートである。上記映像信号変換システムにおける圧縮符号化処理部の構成を示すブロック図である。上記圧縮符号化処理部に備えられた対応点推定部の構成を示すブロック図である。フレーム間の相関関数が属する２ｍ次補間を行う空間の説明に供する図である。上記対応点推定部による対応点推定による動きベクトルの決定の様子を模式的に示す図である。上記対応点推定部による対応点推定により決定した動きベクトルと、従来のブロックマッチングにより決定された動きベクトルとを比較して示す図である。上記圧縮符号化処理部に備えられた動き函数化処理部で扱うフレーム画像の原点の説明に供する図である。各フレームの画像の動きを各フレームのX座標、Y座標の動きとして模式的に示す図である。フレーム間の位置を推定処理の内容を模式的に示す図である。（ｍ＝３）クラスの不均等フルーエンシ補間函数を示す図である。高解像度補間アプローチの実例を示す図である。補間のためのピクセル構造の具体例を示す図である。上記高フレームレート化処理部により生成される中間フレームと従来手法により生成される中間フレームとを比較して示す図である。

符号の説明

１フレームレート変換装置、２対応点推定処理部、３第１の階調値生成処理部、４第２の階調値生成処理部、５第３の階調値生成処理部５、１０画像入力部、２０前処理部、２１劣化モデル、２２逆フィルタ、３０圧縮符号化処理部、４０高フレームレート化処理部、１００映像信号変換システム、１１０フレームレート変換装置、１１１第１の函数近似処理部、１１２対応点推定処理部、１１３第２の函数近似処理部、１１４第３の函数近似処理部

Claims

基準フレームにおける複数個の画素について、時間を異にする複数の画像フレームにおける各対応点を推定する対応点推定処理部と、
推定した各画像フレームにおける各対応点について、それぞれ近傍の画素の濃淡を示す階調値から各階調値を求める第１の階調値生成処理部と、
上記基準フレームにおける複数個の画素に対して、上記推定した各画像フレームにおける各対応点の階調値から対応点軌跡上の濃淡をフルーエンシ函数で近似し、その函数から補間フレームにおける対応点の各階調値を求める第２の階調値生成処理部と、
上記補間フレームにおける各対応点の階調値から、上記補間フレームにおける各画素の階調値を生成する第３の階調値生成処理部と
を備えることを特徴とするフレームレート変換装置。
基準フレームにおける複数個の画素について、時間を異にする複数の画像フレームにおける各対応点を推定する対応点推定処理ステップと、
推定した各画像フレームにおける各対応点について、それぞれ近傍の画素の濃淡を示す階調値から各階調値を求める第１の階調値生成処理ステップと、
上記基準フレームにおける複数個の画素に対して、上記推定した各画像フレームにおける各対応点の階調値に基づいて対応点軌跡上の濃淡をフルーエンシ函数で近似し、その函数から補間フレームにおける対応点の各階調値を求める第２の階調値生成処理ステップと、
上記補間フレームにおける各対応点の階調値から、上記補間フレームにおける各画素の階調値を生成する第３の階調値生成処理ステップと
を有することを特徴とするフレームレート変換方法。
フレームレート変換装置に備えられるコンピュータにより実行されるフレームレート変換プログラムであって、
基準フレームにおける複数個の画素について、時間を異にする複数の画像フレームにおける各対応点を推定する対応点推定処理部と、
推定した各画像フレームにおける各対応点について、それぞれ近傍の画素の濃淡を示す階調値から各階調値を求める第１の階調値生成処理部と、
上記基準フレームにおける複数個の画素に対して、上記推定した各画像フレームにおける各対応点の階調値に基づいて対応点軌跡上の濃淡をフルーエンシ函数で近似し、その函数から補間フレームにおける対応点の各階調値を求める第２の階調値生成処理と、
上記補間フレームにおける各対応点の階調値から、上記補間フレームにおける各画素の階調値を生成する第３の階調値生成処理部として、
上記コンピュータを機能させることを特徴とするフレームレート変換プログラム。
基準フレームにおける複数個の画素について、その濃淡分布を函数近似する第１の函数近似手段と、
上記第１の函数近似手段により近似された時間を異にする複数の上記基準フレームにおける上記濃淡分布の函数で相関演算を行い、その最大値を与えるそれぞれの位置を上記複数の基準フレームにおいて対応する対応点位置とする対応点推定手段と、
上記対応点推定手段により推定された各基準フレームにおける対応点位置を基準フレームの原点からの水平方向、垂直方向の距離で座標化し、上記時間を異にする複数の基準フレームにおける該座標点の水平方向位置、及び垂直方向位置のそれぞれの変化を時系列信号に変換し、各基準フレームの時系列信号を函数近似する第２の函数近似手段と、
上記第２の函数近似手段で近似された函数により、上記複数の基準フレーム間の任意の時間における補間フレームについて、上記基準フレームの対応点位置に該当する補間フレーム内の対応する位置を対応点位置とし、該補間フレームの対応点位置における濃淡値を、上記基準フレームの対応点における濃淡値で補間して求め、該補間フレームの対応点の濃淡値に合わせて上記第１の函数近似を当てはめて、該対応点近傍の濃淡分布を求め、該対応点近傍の濃淡値を補間フレームにおける画素点の濃淡値に変換する第３の函数近似手段と
を備えることを特徴とするフレームレート変換装置。
基準フレームにおける複数個の画素について、その濃淡分布を函数近似する第１の函数近似ステップと、
上記第１の函数近似ステップで近似された時間を異にする複数の上記基準フレームにおける上記濃淡分布の函数で相関演算を行い、その最大値を与えるそれぞれの位置を上記複数の基準フレームにおいて対応する対応点位置とする対応点推定ステップと、
上記対応点推定ステップで推定された各基準フレームにおける対応点位置を基準フレームの原点からの水平方向、垂直方向の距離で座標化し、上記時間を異にする複数の基準フレームにおける該座標点の水平方向位置、及び垂直方向位置のそれぞれの変化を時系列信号に変換し、各基準フレームの時系列信号を函数近似する第２の函数近似ステップと、
上記第２の函数近似ステップで近似された函数により、上記複数の基準フレーム間の任意の時間における補間フレームについて、上記基準フレームの対応点位置に該当する補間フレーム内の対応する位置を対応点位置とし、該補間フレームの対応点位置における濃淡値を、上記基準フレームの対応点における濃淡値で補間して求め、該補間フレームの対応点の濃淡値に合わせて上記第１の函数近似を当てはめて、該対応点近傍の濃淡分布を求め、該対応点近傍の濃淡値を補間フレームにおける画素点の濃淡値に変換する第３の函数近似ステップと
を有することを特徴とするフレームレート変換方法。
フレームレート変換装置に備えられるコンピュータにより実行されるフレームレート変換プログラムであって、
基準フレームにおける複数個の画素について、その濃淡分布を函数近似する第１の函数近似手段と、
上記第１の函数近似手段により近似された時間を異にする複数の上記基準フレームにおける上記濃淡分布の函数で相関演算を行い、その最大値を与えるそれぞれの位置を上記複数の基準フレームにおいて対応する対応点位置とする対応点推定手段と、
上記対応点推定手段により推定された各基準フレームにおける対応点位置を基準フレームの原点からの水平方向、垂直方向の距離で座標化し、上記時間を異にする複数の基準フレームにおける該座標点の水平方向位置、及び垂直方向位置のそれぞれの変化を時系列信号に変換し、各基準フレームの時系列信号を函数近似する第２の函数近似手段と、
上記第２の函数近似手段で近似された函数により、上記複数の基準フレーム間の任意の時間における補間フレームについて、上記基準フレームの対応点位置に該当する補間フレーム内の対応する位置を対応点位置とし、該補間フレームの対応点位置における濃淡値を、上記基準フレームの対応点における濃淡値で補間して求め、該補間フレームの対応点の濃淡値に合わせて上記第１の函数近似を当てはめて、該対応点近傍の濃淡分布を求め、該対応点近傍の濃淡値を補間フレームにおける画素点の濃淡値に変換する第３の函数近似手段と
して上記コンピュータを機能させることを特徴とするフレームレート変換プログラム。