JP2010103654A - フレームレート変換方法、フレームレート変換装置、フレームレート変換プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

【課題】本発明は、高フレームレート映像信号のフレームをフィルタリングに基づくダウンサンプリングすることで得られた低フレームレート映像信号を符号化する場合に、符号量を低く抑えることができるようにするフレームレート変換技術の提供を目的とする。
【解決手段】ダウンサンプリング後の先頭フレームを生成して処理に入ると、ダウンサンプリング後のフレームを生成する度に、等長間隔のダウンサンプリングにより規定される次のフレーム位置を特定して、その近傍に位置する複数フレームに対してのフィルタリングにより生成される低フレームレート映像信号の符号化効率を示す値が最適なものとなるフィルタ係数を算出し、その複数フレームを算出したフィルタ係数を使ってフィルタリングすることを全てのダウンサンプリング位置について繰り返すことで、高フレームレート映像信号から低フレームレート映像信号への変換を実行する。
【選択図】図１

Description

本発明は、高フレームレート映像信号の複数フレームを１つのフレームに置き換えるフィルタリングを実行することで、高フレームレート映像信号から低フレームレート映像信号への変換を実行するフレームレート変換方法およびその装置と、そのフレームレート変換方法の実現に用いられるフレームレート変換プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。

近年、臨場感あふれる大画面のスポーツ映像やデジタルシネマに代表される超高画質映像への期待が高まっている。これを受けて、映像の高画質化に関する研究が精力的に行われている。

超高画質映像の実現には次の四要素が必要である。すなわち、空間解像度、画素値深度、色再現性、時間解像度である。これを受けて、前者の三要素については、デジタルシネマ等の応用およびナチュラルビジョンプロジェクトにおいて検討が進められている。また、被写体の自然な動きを表現するために不可欠な時間解像度の向上、すなわち、映像の高フレームレート化についても検討がなされている。

映像の入力・出力システムのフレームレートの上限は非対称である。現在、撮像系としては、１０００[frame/sec] を超える高フレームレート映像を取得可能な高速度カメラが利用可能である。ただし、こうした高速度カメラで撮影された映像はスロー再生用途で用いられている。

一方、現行のディスプレイの上限は１２０[fps] 程度である。したがって、高速度カメラで撮影された映像ソースは、実時間再生を目的とした表示形態ではフレームレートを間引く必要がある。

このようなことを背景にして、従来技術では、図６に示すように、ダウンサンプリング後のフレーム時間間隔が等間隔になるような間引きによるダウンサンプリングが検討されてきた（例えば、特許文献１参照）。
特開２００４−２０１１６５号公報

しかしながら、従来技術のような単純なフレーム間引き処理では、時間方向のエイリアシングに起因する画質劣化が問題となる。こうした問題を回避するためには、時間軸方向の帯域制限フィルタリングが必要である。

一方、動き補償フレーム間予測を用いた符号化器の場合、時間方向のエイリアシングの低減は、予測誤差の低減とは直接的には結びつかない。つまり、時間方向のダウンサンプリングフィルタに関して、符号化効率の観点から最適化の余地があることになる。

しかるに、従来の３０ｆｐｓ，６０ｆｐｓのフレームレートの映像の場合、フィルタリングのための十分なサンプル（すなわちフレーム）が確保できないため、フィルタの特性を高精度に近似することが困難であった。例えば、６０ｆｐｓの映像信号をフィルタリングして３０ｆｐｓの映像信号を生成する場合、フィルタリングの対象フレームに重複を許さない条件下では、フィルタリングの対象となるフレームは２フレームに限定される。

一方、高フレームレート映像の場合、フィルタ設計の自由度は拡張される。例えば、１０００ｆｐｓの映像信号をフィルタリングして６２．５ｆｐｓの映像信号を生成する場合、フィルタリングの対象フレームに重複を許さない条件下であっても、１６フレームをフィルタリングの対象とすることができる。

したがって、高フレームレート映像を入力してフィルタリングにより低フレームレート映像を得る場合、フィルタリング設計の自由度が高まるので、低フレームレート映像の符号化効率の観点から最適化の余地がある。

しかしながら、従来技術では、この点について一切検討を行っておらず、これから、高フレームレート映像に対してのフィルタリングにより得られた低フレームレート映像を符号化する場合に、フレーム間予測誤差の低減に改善の余地が残されていた。

本発明はかかる事情に鑑みてなされたものであって、高フレームレート映像信号に対してのフィルタリングに基づくダウンサンプリングにより得られた低フレームレート映像信号を入力とする映像符号化処理において、ダウンサンプリング後の低フレームレート映像信号の符号化効率を考慮した形で、低フレームレート映像信号を決定する効率的なフレームレート変換のためのフィルタリング技術を確立することを目的とする。

フレームレートの変換対象となる高フレームレート映像信号について、フレーム間隔をδ_t として、時刻ｔ＝ｊδ_t （ｊ＝０, １, ..... ）のフレームにおける位置ｘの画素値をｆ（ｘ，ｔ）（ｘ＝０, １, .... ,Ｘ−１）と表す。

この画素信号ｆ（ｘ，ｔ）を、ダウンサンプリングによりフレーム数を１／Ｍに変換する場合を考える。ダウンサンプリング前後のフレームレートの比Ｍをダウンサンプリング比と呼ぶ。つまり、この変換は、フレームレートを、“１／δ_t ”から“１／Ｍδ_t ”へ変換することを想定している。

なお、以下では、簡単のために一次元信号を例にとり説明するが、同様の議論は、容易に二次元信号にも拡張可能である。

フレームレートの変換方法としては、フレーム間引き、単純平均の方法がある。フレーム間引きでは、下記の式（１）で表されるフレームをダウンサンプリング後のフレームとする。

また、単純平均では、下記の式（２）で表されるフレームをダウンサンプリング後のフレームとする。

〔１〕本発明の基本的な考え方
しかしながら、フレーム間引きと単純平均のいずれの方法も、動き補償を伴う動画像符号化を想定した手法ではなく、ダウンサンプリング後の映像信号の符号化効率の観点からは最適な手法とはいえない。

そこで、本発明では、下記の式（３）で表されるように、フィルタ係数Ｗ_i （ｉはダウンサンプリング位置を示す変数）
Ｗ_i ＝｛ω_i 〔−Δ〕, .... ,ω_i 〔Δ−１〕｝
を用いたフィルタリングにより、ダウンサンプリング後のフレームを得ることとする。

ここで、Σω_i 〔ｊ〕＝１を満たすものとする。ただし、Σはｊ＝−Δ_i 〜Δ_i −１について総和である。また、Δ_i は各フレーム毎に外部から与えられるパラメータ（ｉに依存しないこともある）である。

そして、本発明では、ダウンサンプリング後の低フレームレート映像信号の符号化効率を考慮した形で、このフィルタ係数Ｗ_i を決定するようにする。

次に、本発明に特徴的な処理であるフィルタ係数Ｗ_i の決定方法について説明する。

〔ｉ〕フィルタ係数Ｗ_i の決定
信号＾ｆ（ｘ，ｉＭδ_t ，Ｗ_i ）をサイズＳの区間Ｂ〔ｋ〕（ｋ＝０，１, .... ,Ｋ−１）に分割し、各区間Ｂ〔ｋ〕（ｋ＝０，１, .... ,Ｋ−１）を単位として動き補償（推定変移量ｄ_i ＝（ｄ_i 〔０〕, .... ,ｄ_i 〔Ｋ−１〕))を行った場合、その区間内の動き補償後の予測誤差電力は下記の式（４）のように表現できる。なお、「＾Ｘ」（Ｘは文字）における記号＾は、「Ｘ」の上に付く記号を示している。

ここで、式（４）では、１つ前のフィルタリングにより生成されたフレーム（参照フレームとなるフレーム）との間で動き補償後の予測誤差電力を求めるようにしている。

ダウンサンプリング後の低フレームレート映像信号の符号量を削減するためには、式（４）で表される動き補償予測誤差電力を小さくする必要があり、これから、動き補償予測誤差電力を最小化するようにフィルタ係数Ｗ_i を決定する必要がある。

しかるに、式（４）ではフィルタ係数Ｗ_i と動きベクトルｄ_i 〔ｋ〕とが変数となるが、この２つの間には、動き補償予測誤差電力を小さくすべくフィルタ係数Ｗ_i を変化させると、それによりダウンサンプリング後のフレームが変化し、それに伴って動きベクトルも変化してしまうことで動き補償予測誤差電力が影響を受けるというように、互いに影響を与え合う関係がある。

そこで、本発明では、この式（４）に従い、繰り返し処理によりフィルタ係数Ｗ_i を算出するようにする。このとき、フィルタ係数Ｗ_i の初期値Ｗ_i ⁽⁰⁾ は外部から与えられる。例えば、Ｗ_i ⁽⁰⁾ ＝（１／２Δ, .... ,１／２Δ）とする。なお、参照フレームのフィルタ係数Ｗ_i-1 については既に確定しているものとし、起点となるダウンサンプリング後の先頭フレームについては、高フレームレート映像信号の先頭フレームを含む所定の範囲内にある複数フレームに対しての予め設定されたフィルタ係数を用いたフィルタリングにより生成したり、高フレームレート映像信号のフレーム（例えば、先頭フレーム）を選択することで生成する。

この繰り返し処理では、
（イ）まず、動き補償予測誤差電力σ_i ² （Ｗ_i ⁽⁰⁾ ，ｄ_i ）を最小化するように、変移量ｄ〔ｋ〕（ｋ＝０，１, .... ,Ｋ−１）を算出する。この算出方法については、別途、外部から与えられる動き推定方法を用いる。例えば、フルサーチを用いる。ここで求めた変移量をｄ〔ｋ〕⁽⁰⁾ （ｋ＝０，１, .... ,Ｋ−１）とする。

（ロ）次に、ｄ〔ｋ〕⁽⁰⁾ （ｋ＝０，１, .... ,Ｋ−１）を用いた場合の予測誤差電力σ_i ² （Ｗ_i ，ｄ_i ⁽⁰⁾ ）を最小化するフィルタ係数Ｗ_i を求める。具体的には、下記の式（５）の連立方程式をＷ_i について解く。

（ハ）このときに解として求めたフィルタ係数をＷ_i ⁽¹⁾ として、上記の変移量の算出処理（イ）およびフィルタ係数Ｗ_i の算出処理（ロ）を終了条件を満たすまで繰り返し行い、終了条件を満たしたときに得たフィルタ係数Ｗ_i を、最終的なフィルタ係数Ｗ_i として決定する。

〔ii〕終了条件
このときに用いる終了条件としては、以下のようなものがある。

〔イ〕終了条件１
繰り返し回数の上限を定める。この場合、繰り返し回数をｎとして、ｎが予め定めた閾値Ｎより大きくなった時点に繰り返し処理を終了とする。

〔ロ〕終了条件２
繰り返し処理によるフィルタ係数の変化量で判定する。ｎ回目のフィルタ係数の算出結果とｎ−１回目のフィルタ係数の算出結果との差が、予め設定した閾値ε_w 以下となる場合に繰り返し処理を終了とする。すなわち、下記の式（６）が成立する場合に繰り返し処理を終了とする。

〔ハ〕終了条件３
繰り返し処理による予測誤差電力の変化量で判定する。ｎ回目の予測誤差電力とｎ−１回目の予測誤差電力との差が、予め設定した閾値ε_e 以下となる場合に繰り返し処理を終了とする。すなわち、下記の式（７）が成立する場合に繰り返し処理を終了とする。

次に、本発明の構成について説明する。

〔２〕本発明の構成
本発明のフレームレート変換装置は、高フレームレート映像信号の複数フレームをフィルタ係数を使って重み付け加算することで１つのフレームに置き換えるフィルタリングを実行することで、高フレームレート映像信号のフレームをダウンサンプリングして低フレームレート映像信号に変換することを実現するために、（１）ダウンサンプリング比を入力する入力手段と、（２）高フレームレート映像信号の先頭フレームを含む所定の範囲内にある複数フレームに対しての予め設定されたフィルタ係数を用いたフィルタリングによりダウンサンプリング後の先頭フレームを生成したり、高フレームレート映像信号のフレームの中からダウンサンプリング後の先頭フレームとなるフレームを選択することでダウンサンプリング後の先頭フレームを生成する先頭フレーム生成手段と、（３）先頭フレーム生成手段や後述するフレーム生成手段によりダウンサンプリング後のフレームを生成した場合に、入力手段の入力したダウンサンプリング比と高フレームレート映像信号のフレーム間隔とに基づく等長間隔のダウンサンプリングにより規定される次のフレーム位置（ダウンサンプリング位置）を特定する特定手段と、（４）特定手段の特定したフレーム位置を含む所定の範囲内にある複数フレームに対してのフィルタリングにより生成される低フレームレート映像信号の符号化効率を示す値が最適なものとなるフィルタ係数を算出する算出手段と、（５）特定手段の特定したフレーム位置を含む所定の範囲内にある複数フレームを算出手段の算出したフィルタ係数を使ってフィルタリングすることで、特定手段の特定したフレーム位置のフレームに置き換えるダウンサンプリング後のフレームを生成するフレーム生成手段とを備えるように構成する。

この構成を採るときに、算出手段は、所定のフィルタ係数初期値を起点にして処理に入って、その時点のフィルタ係数を用いたダウンサンプリングにより生成されるフレームを予測対象フレームとし、生成済みのフレームを参照フレームとする動き補償で算出される符号化効率を示す値を最適化する動きベクトルを算出し、続いて、その算出した動きベクトルを用い、ダウンサンプリングにより生成されるフレームを予測対象フレームとし、生成済みのフレームを参照フレームとする動き補償で算出される符号化効率を示す値を最適化する次の時点のフィルタ係数を算出することを繰り返すことで、最適なフィルタ係数を算出するように処理することがある。

また、算出手段は、符号化効率を示す値として、特定手段の特定したフレーム位置を含む所定の範囲内にある複数フレームをダウンサンプリングすることで生成されるフレームと生成済みのフレームとに基づいて算出される、動き補償予測誤差電力や符号化コスト（特定の符号化器による符号化を行うことで算出される符号化歪みと符号量の加重和のラグランジェコスト）を算出することがある。

以上の各処理手段が動作することで実現される本発明のフレームレート変換方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

このように構成される本発明のフレームレート変換装置では、高フレームレート映像信号の先頭フレームを含む所定の範囲内にある複数フレームに対しての予め設定されたフィルタ係数を用いたフィルタリングによりダウンサンプリング後の先頭フレームを生成したり、高フレームレート映像信号の先頭フレームを選択することによりダウンサンプリング後の先頭フレームを生成することで処理に入って、図１に示すように、ダウンサンプリング後のフレームを生成する度に、等長間隔のダウンサンプリングにより規定される次のフレーム位置を特定して、その特定したフレーム位置の近傍にある複数フレームに対してのフィルタリングにより生成される低フレームレート映像信号の符号化効率を示す値（例えば、動き補償予測誤差電力や符号化コスト）が最適なものとなるフィルタ係数を算出し、その複数フレームをその算出したフィルタ係数を使ってフィルタリングすることで、その特定したフレーム位置のフレームに置き換えるダウンサンプリング後のフレームを生成するようにして、その一連の処理を全てのダウンサンプリング位置について繰り返すことで、高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換処理を実行する。

このようにして、本発明のフレームレート変換装置は、フィルタリングにより高フレームレート映像信号から低フレームレート映像信号へのダウンサンプリングを実行するときに、ダウンサンプリング後の低フレームレート映像信号の符号化効率を考慮した形で、そのダウンサンプリングを実行するように処理するのである。

本発明では、フィルタリングにより高フレームレート映像信号から低フレームレート映像信号へのダウンサンプリングを実行するときに、ダウンサンプリング後の低フレームレート映像信号の符号化効率を考慮した形で、そのダウンサンプリングを実行する。

これから、本発明によれば、高フレームレート映像信号に対してのダウンサンプリングにより得られた所望のフレームレートの映像信号を符号化する場合に、均等フレーム間隔の間引きや単純平均のフィルタリングにより得られた映像信号よりも符号量を低く抑えることができるようになる。

以下、実施の形態に従って本発明を詳細に説明する。

図２に、本発明のフレームレート変換装置１の装置構成の一例を図示する。

この図に示すように、本発明のフレームレート変換装置１は、フレームレート変換処理の対象となる高フレームレート映像信号を格納する高フレームレート映像ファイル１０と、フレームレート変換処理された低フレームレート映像信号を格納する低フレームレート映像ファイル１１と、フィルタ係数を使ったダウンサンプリングのためのフィルタリング処理を実行することで、高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換処理を実行するフレームレートダウンサンプリング部１２とを備える。

このフレームレートダウンサンプリング部１２は、予測対象フレームと参照フレームとの間の動き補償予測誤差電力を最小化する動きベクトルを推定する動き推定部１２００を備えて、式（４）で表される動き補償予測誤差電力を算出する動き補償予測誤差算出部１２０と、動き補償予測誤差算出部１２０の算出する動きベクトルや動き補償予測誤差電力を使って、高フレームレート映像信号のフレームをフィルタリングすることでダウンサンプリング処理を実行するダウンサンプリング実行部１２１と、ダウンサンプリング実行部１２１の作業用データを記憶する作業用メモリ１２２（フィルタ係数記憶域１２２０や生成フレーム記憶域１２２１を備える）とを備える。

このダウンサンプリング実行部１２１は、
（１）フレーム数Ｊ、フレーム間隔δ_t 、ダウンサンプリング比Ｍ、フィルタ係数初期値Ｗ_i ⁽⁰⁾ 、フィルタリングの対象となるフレーム数を指定する値Δ_i 、フィルタ係数の終了条件の判定用閾値を読み込む入力部１２１０と、
（２）高フレームレート映像信号の先頭フレームを含む所定の範囲内にある複数フレームに対しての予め設定されたフィルタ係数を用いたフィルタリングによりダウンサンプリング後の先頭フレームを生成したり、高フレームレート映像信号のフレームの中からダウンサンプリング後の先頭フレームとなるフレームを選択することでダウンサンプリング後の先頭フレームを生成する先頭フレーム生成部１２１１と、
（３）先頭フレーム生成部１２１１や後述するフレーム生成部１２１７がダウンサンプリング後のフレームを生成した場合に、入力部１２１０の入力したダウンサンプリング比Ｍと高フレームレート映像信号のフレーム間隔δ_t とに基づく等長間隔のダウンサンプリングにより規定される次のフレーム位置を特定する次フレーム位置特定部１２１２と、
（４）次フレーム位置特定部１２１２の特定したフレーム位置の近傍に位置する複数のフレームに対して、その時点のフィルタ係数を使ったフィルタリング処理を実行するフィルタリング実行部１２１３と、
（５）フィルタリング実行部１２１３が今回生成したフレーム（予測対象フレーム）と後述するフレーム生成部１２１７が前回生成したフレーム（参照フレーム）とを指定して、動き補償予測誤差算出部１２０に対して動き補償予測誤差電力を最小化する動きベクトルの算出を指示することで、その動きベクトルを得る動きベクトル算出部１２１４と、
（６）動きベクトル算出部１２１４の得た動きベクトルを使って式（５）の連立方程式を生成して、それを解くことでフィルタ係数を更新するフィルタ係数更新部１２１５と、
（７）フィルタ係数更新部１２１５によるフィルタ係数の更新を終了する条件が成立したのか否かを判定して、更新終了条件が成立しないことを判定するときには、フィルタリング実行部１２１３に対して、更新したフィルタ係数を使ってフィルタリング処理を実行することを指示するフィルタ係数更新終了判定部１２１６と、
（８）フィルタ係数更新終了判定部１２１６がフィルタ係数の更新終了条件が成立したことを判定するときに、更新終了条件が成立したときのフィルタ係数を使ったフィルタリング処理を実行することで、次フレーム位置特定部１２１２の特定したフレーム位置にあるフレームに置き換えるダウンサンプリング後のフレームを生成するフレーム生成部１２１７と、
（９）フレーム生成部１２１７がフレームを生成したときに、フィルタリングの対象となる全てのフレーム位置に対しての処理を終了したのか否かを判定して、処理を終了していないことを判定するときには、次のフレーム位置に対しての処理を実行すべく次フレーム位置特定部１２１２を起動する全フレーム位置終了判定部１２１８とを
備える。

次に、このように構成されるダウンサンプリング実行部１２１により実行されるフレームレートダウンサンプリング処理について説明する。

まず最初に、前述した“終了条件１”を用いてフレームレートダウンサンプリング処理を実行する“フレームレートダウンサンプリング処理の流れ（その１）”について説明する。

〔１〕フレームレートダウンサンプリング処理の流れ（その１）
１．撮影された映像信号（フレームレート変換処理の対象となる高フレームレート映像 信号）、そのフレーム数Ｊ、そのフレームレート（フレーム間隔δ_t を算出するた めに用いる）を読み込む
２．ダウンサンプリング比Ｍを読み込む
３．繰り返し回数の閾値Ｎを読み込む
４．ダウンサンプリング後の先頭フレームを生成する
５．ｉ＝１, .... ,Ｊ／Ｍ−１について以下の処理を行う
６． フィルタ係数の初期値Ｗ_i ⁽⁰⁾ を読み込む
７． Δ_i の値として、予め設定された値を読み込む
８． ｎ＝０
９． ｎ＝ｎ＋１
10． 予め設定された方法に基づき、フィルタ係数をＷ_i ^(n-1) とした場合の式（４ ）で表される動き補償予測誤差電力に対して、その予測誤差電力を最小化する 動きベクトルを算出し、レジスタｄ〔ｋ〕⁽ⁿ⁾ （ｋ＝０，１, .... ,Ｋ−１） に格納する
11． 動きベクトルをｄ〔ｋ〕⁽ⁿ⁾ （ｋ＝０，１, .... ,Ｋ−１）とした場合の式（ ４）で表される動き補償予測誤差電力に対して、その予測誤差電力を最小化す るフィルタ係数を算出し、レジスタＷ_i ⁽ⁿ⁾ に格納する。具体的な算出方法は 、下記の式（８）に示す連立方程式をＷ_i について解き、その解を求めるフィ ルタ係数とすることで行う

12． ｎ＜Ｎならば、“９．”に戻り、そうでなければ、次のステップに進む
13． Ｗ_i ⁽ⁿ⁾ を第ｉフレームに対するフィルタ係数Ｗ_i として、式（３）に従いダウ ンサンプリング後のフレームを出力する。

このようにして、ダウンサンプリング実行部１２１は、“フレームレートダウンサンプリング処理の流れ（その１）”を実行する場合には、前述した“終了条件１”の規定する繰り返し回数に従って、式（４）で表される動き補償予測誤差電力を最小化するフィルタ係数を算出するように処理するのである。

この構成に従って、ダウンサンプリング実行部１２１は、“フレームレートダウンサンプリング処理の流れ（その１）”を実行する場合には、高フレームレート映像信号の先頭フレームを含む所定の範囲内にある複数フレームに対しての予め設定されたフィルタ係数を用いたフィルタリングによりダウンサンプリング後の先頭フレームを生成したり、高フレームレート映像信号の先頭フレームなどをダウンサンプリング後の先頭フレームとして生成することで処理に入って、図１に示すように、ダウンサンプリング後のフレームを生成する度に、等長間隔のダウンサンプリングにより規定される次のフレーム位置を特定して、その特定したフレーム位置の近傍にある複数フレームに対してのフィルタリングにより生成される低フレームレート映像信号が示す動き補償予測誤差電力を最小化するフィルタ係数を算出し、その複数フレームをその算出したフィルタ係数を使ってフィルタリングすることで、特定したフレーム位置のフレームに置き換えるダウンサンプリング後のフレームを生成するようにして、その一連の処理を全てのダウンサンプリング位置について繰り返すことで、高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換処理を実行するように処理するのである。

このようにして、本発明では、フィルタリングにより高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換を実行するときに、ダウンサンプリング後の低フレームレート映像信号の符号化効率を考慮した形で、そのフレームレート変換処理を実行することから、その低フレームレート映像信号を符号化する場合に、均等フレーム間隔の間引きや単純平均のフィルタリングにより得られた映像信号よりも符号量を低く抑えることができるようになる。

次に、前述した“終了条件２”を用いてフレームレートダウンサンプリング処理を実行する“フレームレートダウンサンプリング処理の流れ（その２）”について説明する。

〔２〕フレームレートダウンサンプリング処理の流れ（その２）
１．撮影された映像信号（フレームレート変換処理の対象となる高フレームレート映像 信号）、そのフレーム数Ｊ、そのフレームレート（フレーム間隔δ_t を算出するた めに用いる）を読み込む
２．ダウンサンプリング比Ｍを読み込む
３．フィルタ係数の類似度に関する閾値ε_w を読み込む
４．ダウンサンプリング後の先頭フレームを生成する
５．ｉ＝１, .... ,Ｊ／Ｍ−１について以下の処理を行う
６． フィルタ係数の初期値Ｗ_i ⁽⁰⁾ を読み込む
７． Δ_i の値として、予め設定された値を読み込む
８． ｎ＝０
９． ｎ＝ｎ＋１
10． 予め設定された方法に基づき、フィルタ係数をＷ_i ^(n-1) とした場合の式（４ ）で表される動き補償予測誤差電力に対して、その予測誤差電力を最小化する 動きベクトルを算出し、レジスタｄ〔ｋ〕⁽ⁿ⁾ （ｋ＝０，１, .... ,Ｋ−１） に格納する
11． 動きベクトルをｄ〔ｋ〕⁽ⁿ⁾ （ｋ＝０，１, .... ,Ｋ−１）とした場合の式（ ４）で表される動き補償予測誤差電力に対して、その予測誤差電力を最小化す るフィルタ係数を算出し、レジスタＷ_i ⁽ⁿ⁾ に格納する。具体的な算出方法は 、式（８）に示す連立方程式をＷ_i について解き、その解を求めるフィルタ係 数とすることで行う
12． 式（６）に従ってＷ_i ⁽ⁿ⁾ とＷ_i ^(n-1) との間の類似度を評価して、その類似 度が閾値ε_w よりも大きければ、“９．”に戻り、そうでなければ、次のステ ップに進む
13． Ｗ_i ⁽ⁿ⁾ を第ｉフレームに対するフィルタ係数Ｗ_i として、式（３）に従いダウ ンサンプリング後のフレームを出力する。

このようにして、ダウンサンプリング実行部１２１は、“フレームレートダウンサンプリング処理の流れ（その２）”を実行する場合には、前述した“終了条件２”の規定する繰り返し回数に従って、式（４）で表される動き補償予測誤差電力を最小化するフィルタ係数を算出するように処理するのである。

この構成に従って、ダウンサンプリング実行部１２１は、“フレームレートダウンサンプリング処理の流れ（その２）”を実行する場合には、“フレームレートダウンサンプリング処理の流れ（その１）”を実行する場合と同様の処理を実行することで、フィルタリングにより高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換を実行するときに、ダウンサンプリング後の低フレームレート映像信号の符号化効率を考慮した形で、そのフレームレート変換処理を実行することから、その低フレームレート映像信号を符号化する場合に、均等フレーム間隔の間引きや単純平均のフィルタリングにより得られた映像信号よりも符号量を低く抑えることができるようになる。

次に、前述した“終了条件３”を用いてフレームレートダウンサンプリング処理を実行する“フレームレートダウンサンプリング処理の流れ（その３）”について説明する。

〔３〕フレームレートダウンサンプリング処理の流れ（その３）
１．撮影された映像信号（フレームレート変換処理の対象となる高フレームレート映像 信号）、そのフレーム数Ｊ、そのフレームレート（フレーム間隔δ_t を算出するた めに用いる）を読み込む
２．ダウンサンプリング比Ｍを読み込む
３．予測誤差に関する閾値ε_e を読み込む
４．ダウンサンプリング後の先頭フレームを生成する
５．ｉ＝１, .... ,Ｊ／Ｍ−１について以下の処理を行う
６． フィルタ係数の初期値Ｗ_i ⁽⁰⁾ を読み込む
７． Δ_i の値として、予め設定された値を読み込む
８． ｎ＝０
９． ｎ＝ｎ＋１
10． 予め設定された方法に基づき、フィルタ係数をＷ_i ^(n-1) とした場合の式（４ ）で表される動き補償予測誤差電力に対して、その予測誤差電力を最小化する 動きベクトルを算出し、レジスタｄ〔ｋ〕⁽ⁿ⁾ （ｋ＝０，１, .... ,Ｋ−１） に格納する
11． 動きベクトルをｄ〔ｋ〕⁽ⁿ⁾ （ｋ＝０，１, .... ,Ｋ−１）とした場合の式（ ４）で表される動き補償予測誤差電力に対して、その予測誤差電力を最小化す るフィルタ係数を算出し、レジスタＷ_i ⁽ⁿ⁾ に格納する。具体的な算出方法は 、式（８）に示す連立方程式をＷ_i について解き、その解を求めるフィルタ係 数とすることで行う
12． Ｗ_i ⁽ⁿ⁾ ，ｄ〔ｋ〕⁽ⁿ⁾ を用いた場合の動き補償予測誤差電力をレジスタＥ^{(n )} に格納する
13． ｜Ｅ⁽ⁿ⁾ −Ｅ^(n-1) ｜＜ε_e ならば、“９．”に戻り、そうでなければ、次の ステップに進む
14． Ｗ_i ⁽ⁿ⁾ を第ｉフレームに対するフィルタ係数Ｗ_i として、式（３）に従いダウ ンサンプリング後のフレームを出力する。

このようにして、ダウンサンプリング実行部１２１は、“フレームレートダウンサンプリング処理の流れ（その３）”を実行する場合には、前述した“終了条件３”の規定する繰り返し回数に従って、式（４）で表される動き補償予測誤差電力を最小化するフィルタ係数を算出するように処理するのである。

この構成に従って、ダウンサンプリング実行部１２１は、“フレームレートダウンサンプリング処理の流れ（その３）”を実行する場合には、“フレームレートダウンサンプリング処理の流れ（その１）”を実行する場合と同様の処理を実行することで、フィルタリングにより高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換を実行するときに、ダウンサンプリング後の低フレームレート映像信号の符号化効率を考慮した形で、そのフレームレート変換処理を実行することから、その低フレームレート映像信号を符号化する場合に、均等フレーム間隔の間引きや単純平均のフィルタリングにより得られた映像信号よりも符号量を低く抑えることができるようになる。

次に、実施例に従って本発明を詳細に説明する。

〔１〕第１の実施例
図３に、フレームレートダウンサンプリング処理の流れ（その１）に従ってフレームレートのダウンサンプリング処理を実行する場合に、ダウンサンプリング実行部１２１が実行するフローチャートを図示する。

次に、このフローチャートに従って、ダウンサンプリング実行部１２１が実行するフレームレートのダウンサンプリング処理について詳細に説明する。

ダウンサンプリング実行部１２１は、フレームレートダウンサンプリング処理の流れ（その１）に従ってフレームレートのダウンサンプリング処理を実行する場合には、図３のフローチャートに示すように、まず最初に、ステップＳ１０１で、フレームレート変換処理の対象となる高フレームレート映像信号と、そのフレーム数Ｊと、そのフレーム間隔δ_t と、ダウンサンプリング比Ｍと、繰り返し回数の閾値Ｎとを読み込む。

続いて、ステップＳ１０２で、高フレームレート映像信号の先頭フレームを含む所定の範囲内にある複数フレームに対しての予め設定されたフィルタ係数を用いたフィルタリングによりダウンサンプリング後の先頭フレームを生成したり、高フレームレート映像信号のフレームの中からダウンサンプリング後の先頭フレームとなるフレームを選択することでダウンサンプリング後の先頭フレームを生成する。

続いて、ステップＳ１０３で、ダウンサンプリング比Ｍとフレーム間隔δ_t とに基づく等長間隔のダウンサンプリングにより規定されるフレーム位置（ダウンサンプリング位置）を指定する変数ｉに１をセットする。すなわち、先頭フレームの次のダウンサンプリング位置を指定する値である１をセットするのである。

続いて、ステップＳ１０４で、フィルタ係数の初期値Ｗ_i ⁽⁰⁾ と、フィルタリングの対象となるフレーム数（＝２Δ_i ）を指定する値Δ_i とを読み込む。

続いて、ステップＳ１０５で、繰り返し回数をカウントする変数ｎに０をセットし、続くステップＳ１０６で、変数ｎの値を１つインクリメントする。

続いて、ステップＳ１０７で、設定されているフィルタ係数を使い式（３）に基づいて、変数ｉの指すフレーム位置の近傍に位置する２Δ_i 枚のフレームに対してのフィルタリングを実行することで、動きベクトル算出用のフレームを生成する。

続いて、ステップＳ１０８で、生成した動きベクトル算出用のフレームを予測対象フレームとし、後述するステップＳ１１１の処理に従って前回生成したフレーム（処理開始時は先頭フレーム）を参照フレームとする動き補償で算出される予測誤差電力を最小化する動きベクトルを算出する。

続いて、ステップＳ１０９で、算出した動きベクトルを用いる式（５）の連立方程式を作成し、それを解くことでフィルタ係数を更新する。

続いて、ステップＳ１１０で、変数ｎの値が繰り返し回数の閾値Ｎを超えていないのか否かを判断して、繰り返し回数の閾値Ｎを超えていないことを判断するときには、ステップＳ１０６の処理に戻って、フィルタ係数の更新処理を継続する。

一方、ステップＳ１１０の判断処理に従って、変数ｎの値が繰り返し回数の閾値Ｎを超えたことを判断するときには、ステップＳ１１１に進んで、更新の終了したフィルタ係数を使い式（３）に基づいて、変数ｉの指すフレーム位置の近傍に位置する２Δ_i 枚のフレームに対してのフィルタリングを実行することで、ダウンサンプリング後のフレームを生成する。

続いて、ステップＳ１１２で、変数ｉの値を１つインクリメントし、続くステップＳ１１３で、変数ｉの値が最大値であるＪ／Ｍ−１を超えたのか否かを判断して、Ｊ／Ｍ−１を超えていないことを判断するときには、変数ｉの指す次のダウンサンプリング位置についてステップＳ１０４〜ステップＳ１１２の処理を実行すべく、ステップＳ１０４の処理に戻る。

一方、ステップＳ１１３の判断処理により、変数ｉの値がＪ／Ｍ−１を超えたことを判断するときには、全てのダウンサンプリング位置についての処理を終了したことを判断して、処理を終了する。

このようにして、ダウンサンプリング実行部１２１は、図３のフローチャートを実行することで、フレームレートダウンサンプリング処理の流れ（その１）に従ってフレームレートのダウンサンプリング処理を実行するのである。

〔２〕第２の実施例
図４に、フレームレートダウンサンプリング処理の流れ（その２）に従ってフレームレートのダウンサンプリング処理を実行する場合に、ダウンサンプリング実行部１２１が実行するフローチャートを図示する。

次に、このフローチャートに従って、ダウンサンプリング実行部１２１が実行するフレームレートのダウンサンプリング処理について詳細に説明する。

ダウンサンプリング実行部１２１は、フレームレートダウンサンプリング処理の流れ（その２）に従ってフレームレートのダウンサンプリング処理を実行する場合には、図４のフローチャートに示すように、まず最初に、ステップＳ２０１で、フレームレート変換処理の対象となる高フレームレート映像信号と、そのフレーム数Ｊと、そのフレーム間隔δ_t と、ダウンサンプリング比Ｍと、フィルタ係数の類似度に関する閾値ε_w とを読み込む。

続いて、ステップＳ２０２で、高フレームレート映像信号の先頭フレームを含む所定の範囲内にある複数フレームに対しての予め設定されたフィルタ係数を用いたフィルタリングによりダウンサンプリング後の先頭フレームを生成したり、高フレームレート映像信号のフレームの中からダウンサンプリング後の先頭フレームとなるフレームを選択することでダウンサンプリング後の先頭フレームを生成する。

続いて、ステップＳ２０３で、ダウンサンプリング比Ｍとフレーム間隔δ_t とに基づく等長間隔のダウンサンプリングにより規定されるフレーム位置（ダウンサンプリング位置）を指定する変数ｉに１をセットする。すなわち、先頭フレームの次のダウンサンプリング位置を指定する値である１をセットするのである。

続いて、ステップＳ２０４で、フィルタ係数の初期値Ｗ_i ⁽⁰⁾ と、フィルタリングの対象となるフレーム数（＝２Δ_i ）を指定する値Δ_i とを読み込む。

続いて、ステップＳ２０５で、繰り返し回数をカウントとする変数ｎに０をセットし、続くステップＳ２０６で、変数ｎの値を１つインクリメントする。

続いて、ステップＳ２０７で、設定されているフィルタ係数を使い式（３）に基づいて、変数ｉの指すフレーム位置の近傍に位置する２Δ_i 枚のフレームに対してのフィルタリングを実行することで、動きベクトル算出用のフレームを生成する。

続いて、ステップＳ２０８で、生成した動きベクトル算出用のフレームを予測対象フレームとし、後述するステップＳ２１３の処理に従って前回生成したフレーム（処理開始時は先頭フレーム）を参照フレームとする動き補償で算出される予測誤差電力を最小化する動きベクトルを算出する。

続いて、ステップＳ２０９で、算出した動きベクトルを用いる式（５）の連立方程式を作成し、それを解くことでフィルタ係数を更新する。

続いて、ステップＳ２１０で、式（６）に従って、更新後のフィルタ係数とレジスタに格納される更新前のフィルタ係数との差分値の二乗和を算出する。

続いて、ステップＳ２１１で、レジスタに格納されるフィルタ係数（更新前のフィルタ係数）を更新後のフィルタ係数に書き換える。

続いて、ステップＳ２１２で、ステップＳ２１０で算出したフィルタ係数差分値の二乗和の値がステップＳ２０１で読み込んだ閾値ε_w より小さくなったのか否かを判断して、閾値ε_w よりも小さくなっていないことを判断するときには、ステップＳ２０６の処理に戻って、フィルタ係数の更新処理を継続する。

一方、ステップＳ２１２の判断処理に従って、フィルタ係数差分値の二乗和の値が閾値ε_w より小さくなったことを判断するときには、ステップＳ２１３に進んで、更新の終了したフィルタ係数を使い式（３）に基づいて、変数ｉの指すフレーム位置の近傍に位置する２Δ_i 枚のフレームに対してのフィルタリングを実行することで、ダウンサンプリング後のフレームを生成する。

続いて、ステップＳ２１４で、変数ｉの値を１つインクリメントし、続くステップＳ２１５で、変数ｉの値が最大値であるＪ／Ｍ−１を超えたのか否かを判断して、Ｊ／Ｍ−１を超えていないことを判断するときには、変数ｉの指す次のダウンサンプリング位置についてステップＳ２０４〜ステップＳ２１４の処理を実行すべく、ステップＳ２０４の処理に戻る。

一方、ステップＳ２１５の判断処理により、変数ｉの値がＪ／Ｍ−１を超えたことを判断するときには、全てのダウンサンプリング位置についての処理を終了したことを判断して、処理を終了する。

このようにして、ダウンサンプリング実行部１２１は、図４のフローチャートを実行することで、フレームレートダウンサンプリング処理の流れ（その２）に従ってフレームレートのダウンサンプリング処理を実行するのである。

〔３〕第３の実施例
図５に、フレームレートダウンサンプリング処理の流れ（その３）に従ってフレームレートのダウンサンプリング処理を実行する場合に、ダウンサンプリング実行部１２１が実行するフローチャートを図示する。

次に、このフローチャートに従って、ダウンサンプリング実行部１２１が実行するフレームレートのダウンサンプリング処理について詳細に説明する。

ダウンサンプリング実行部１２１は、フレームレートダウンサンプリング処理の流れ（その３）に従ってフレームレートのダウンサンプリング処理を実行する場合には、図５のフローチャートに示すように、まず最初に、ステップＳ３０１で、フレームレート変換処理の対象となる高フレームレート映像信号と、そのフレーム数Ｊと、そのフレーム間隔δ_t と、ダウンサンプリング比Ｍと、予測誤差に関する閾値ε_e とを読み込む。

続いて、ステップＳ３０２で、高フレームレート映像信号の先頭フレームを含む所定の範囲内にある複数フレームに対しての予め設定されたフィルタ係数を用いたフィルタリングによりダウンサンプリング後の先頭フレームを生成したり、高フレームレート映像信号のフレームの中からダウンサンプリング後の先頭フレームとなるフレームを選択することでダウンサンプリング後の先頭フレームを生成する。

続いて、ステップＳ３０３で、ダウンサンプリング比Ｍとフレーム間隔δ_t とに基づく等長間隔のダウンサンプリングにより規定されるフレーム位置（ダウンサンプリング位置）を指定する変数ｉに１をセットする。すなわち、先頭フレームの次のダウンサンプリング位置を指定する値である１をセットするのである。

続いて、ステップＳ３０４で、フィルタ係数の初期値Ｗ_i ⁽⁰⁾ と、フィルタリングの対象となるフレーム数（＝２Δ_i ）を指定する値Δ_i とを読み込む。

続いて、ステップＳ３０５で、繰り返し回数をカウントとする変数ｎに０をセットし、続くステップＳ３０６で、変数ｎの値を１つインクリメントする。

続いて、ステップＳ３０７で、設定されているフィルタ係数を使い式（３）に基づいて、変数ｉの指すフレーム位置の近傍に位置する２Δ_i 枚のフレームに対してのフィルタリングを実行することで、動きベクトル算出用のフレームを生成する。

続いて、ステップＳ３０８で、生成した動きベクトル算出用のフレームを予測対象フレームとし、後述するステップＳ３１３の処理に従って前回生成したフレーム（処理開始時は先頭フレーム）を参照フレームとする動き補償で算出される予測誤差電力を最小化する動きベクトルを算出する。

続いて、ステップＳ３０９で、算出した動きベクトルを用いる式（５）の連立方程式を作成し、それを解くことでフィルタ係数を更新する。

続いて、ステップＳ３１０で、ステップＳ３０９で更新したフィルタ係数とステップＳ３０８で算出した動きベクトルとを用いる場合の動き補償の予測誤差電力を算出して、それとレジスタに格納される前回算出した予測誤差電力との差分値を算出する。

続いて、ステップＳ３１１で、レジスタに格納される前回算出した動き補償の予測誤差電力を今回算出したものに書き換える。

続いて、ステップＳ３１２で、ステップＳ３１０で算出した動き補償予測誤差電力の差分値の絶対値を算出して、その算出した絶対値がステップＳ３０１で読み込んだ閾値ε_e より小さくなったのか否かを判断して、閾値ε_e よりも小さくなっていないことを判断するときには、ステップＳ３０６の処理に戻って、フィルタ係数の更新処理を継続する。

一方、ステップＳ３１２の判断処理に従って、動き補償予測誤差電力の差分値の絶対値が閾値ε_e より小さくなったことを判断するときには、ステップＳ３１３に進んで、更新の終了したフィルタ係数を使い式（３）に基づいて、変数ｉの指すフレーム位置の近傍に位置する２Δ_i 枚のフレームに対してのフィルタリングを実行することで、ダウンサンプリング後のフレームを生成する。

続いて、ステップＳ３１４で、変数ｉの値を１つインクリメントし、続くステップＳ３１５で、変数ｉの値が最大値であるＪ／Ｍ−１を超えたのか否かを判断して、Ｊ／Ｍ−１を超えていないことを判断するときには、変数ｉの指す次のダウンサンプリング位置についてステップＳ３０４〜ステップＳ３１４の処理を実行すべく、ステップＳ３０４の処理に戻る。

一方、ステップＳ３１５の判断処理により、変数ｉの値がＪ／Ｍ−１を超えたことを判断するときには、全てのダウンサンプリング位置についての処理を終了したことを判断して、処理を終了する。

このようにして、ダウンサンプリング実行部１２１は、図５のフローチャートを実行することで、フレームレートダウンサンプリング処理の流れ（その３）に従ってフレームレートのダウンサンプリング処理を実行するのである。

図示実施例に従って本発明を説明したが、本発明はこれに限定されるものではない。例えば、実施例では、式（４）に従って、１つ前に選択したフレームとの間で動き補償予測誤差を算出するようにしているが、選択済みの複数のフレームとの間で動き補償予測誤差を算出するようにしてもよい。

本発明は、フィルタリングにより高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換を実行するときに適用できるものであり、本発明を適用することで、高フレームレート映像信号に対してのダウンサンプリングにより得られた所望のフレームレートの映像信号を符号化する場合に、均等フレーム間隔の間引きや単純平均のフィルタリングにより得られた映像信号よりも符号量を低く抑えることができるようになる。

本発明によるフレームレートダウンサンプリング処理の説明図である。 本発明のフレームレート変換装置の装置構成図である。 ダウンサンプリング実行部の実行するフローチャートである。 ダウンサンプリング実行部の実行するフローチャートである。 ダウンサンプリング実行部の実行するフローチャートである。 従来技術によるフレームレートダウンサンプリング処理の説明図である。

符号の説明

１ フレームレート変換装置
１０ 高フレームレート映像ファイル
１１ 低フレームレート映像ファイル
１２ フレームレートダウンサンプリング部
１２０ 動き補償予測誤差算出部
１２１ ダウンサンプリング実行部
１２２ 作業用メモリ１２２
１２００ 動き推定部
１２１０ 入力部
１２１１ 先頭フレーム生成部
１２１２ 次フレーム位置特定部
１２１３ フィルタリング実行部
１２１４ 動きベクトル算出部
１２１５ フィルタ係数更新部
１２１６ フィルタ係数更新終了判定部
１２１７ フレーム生成部
１２１８ 全フレーム位置終了判定部
１２２０ フィルタ係数記憶域
１２２１ 生成フレーム記憶域

Claims (9)

1. 高フレームレート映像信号の複数フレームをフィルタ係数を使って重み付け加算することで１つのフレームに置き換えるフィルタリングを実行することで、高フレームレート映像信号のフレームをダウンサンプリングして低フレームレート映像信号に変換するフレームレート変換方法であって、
   ダウンサンプリング比を入力する過程と、
   ダウンサンプリング後のフレームを生成した場合に、前記ダウンサンプリング比と高フレームレート映像信号のフレーム間隔とに基づく等長間隔のダウンサンプリングにより規定される次のフレーム位置を特定する過程と、
   前記フレーム位置を含む所定の範囲内にある複数フレームに対してのフィルタリングにより生成される低フレームレート映像信号の符号化効率を示す値が最適なものとなる前記フィルタ係数を算出する過程と、
   前記所定の範囲内にある複数フレームを前記算出したフィルタ係数を使ってフィルタリングすることで、前記フレーム位置のフレームに置き換えるダウンサンプリング後のフレームを生成する過程とを備えることを、
   特徴とするフレームレート変換方法。
2. 請求項１に記載のフレームレート変換方法において、
   前記算出する過程では、所定のフィルタ係数初期値を起点にして処理に入って、その時点のフィルタ係数を用いたダウンサンプリングにより生成されるフレームを予測対象フレームとし、生成済みのフレームを参照フレームとする動き補償で算出される前記符号化効率を示す値を最適化する動きベクトルを算出し、続いて、その算出した動きベクトルを用い、ダウンサンプリングにより生成されるフレームを予測対象フレームとし、生成済みのフレームを参照フレームとする動き補償で算出される前記符号化効率を示す値を最適化する次の時点のフィルタ係数を算出することを繰り返すことで、前記最適なものとなるフィルタ係数を算出することを、
   特徴とするフレームレート変換方法。
3. 請求項１または２に記載のフレームレート変換方法において、
   前記算出する過程では、前記符号化効率を示す値として、前記所定の範囲内にある複数フレームをダウンサンプリングすることで生成されるフレームと生成済みのフレームとに基づいて算出される動き補償予測誤差電力を算出することを、
   特徴とするフレームレート変換方法。
4. 請求項１または２に記載のフレームレート変換方法において、
   前記算出する過程では、前記符号化効率を示す値として、前記所定の範囲内にある複数フレームをダウンサンプリングすることで生成されるフレームと生成済みのフレームとに基づいて算出される符号化コストを算出することを、
   特徴とするフレームレート変換方法。
5. 請求項１ないし４のいずれか１項に記載のフレームレート変換方法において、
   高フレームレート映像信号の先頭フレームを含む所定の範囲内にある複数フレームに対しての予め設定されたフィルタ係数を用いたフィルタリングにより、ダウンサンプリング後の先頭フレームを生成する過程を備えることを、
   特徴とするフレームレート変換方法。
6. 請求項１ないし４のいずれか１項に記載のフレームレート変換方法において、
   高フレームレート映像信号のフレームの中からダウンサンプリング後の先頭フレームとなるフレームを選択することで、ダウンサンプリング後の先頭フレームを生成する過程を備えることを、
   特徴とするフレームレート変換方法。
7. 高フレームレート映像信号の複数フレームをフィルタ係数を使って重み付け加算することで１つのフレームに置き換えるフィルタリングを実行することで、高フレームレート映像信号のフレームをダウンサンプリングして低フレームレート映像信号に変換するフレームレート変換装置であって、
   ダウンサンプリング比を入力する手段と、
   ダウンサンプリング後のフレームを生成した場合に、前記ダウンサンプリング比と高フレームレート映像信号のフレーム間隔とに基づく等長間隔のダウンサンプリングにより規定される次のフレーム位置を特定する手段と、
   前記フレーム位置を含む所定の範囲内にある複数フレームに対してのフィルタリングにより生成される低フレームレート映像信号の符号化効率を示す値が最適なものとなる前記フィルタ係数を算出する手段と、
   前記所定の範囲内にある複数フレームを前記算出したフィルタ係数を使ってフィルタリングすることで、前記フレーム位置のフレームに置き換えるダウンサンプリング後のフレームを生成する手段とを備えることを、
   特徴とするフレームレート変換装置。
8. 請求項１ないし６のいずれか１項に記載のフレームレート変換方法をコンピュータに実行させるためのフレームレート変換プログラム。
9. 請求項１ないし６のいずれか１項に記載のフレームレート変換方法をコンピュータに実行させるためのフレームレート変換プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images