JP2005124201A - タイムシフト及び動き補償を利用したフレームレート変換装置及びその方法 - Google Patents

Abstract

【課題】 タイムシフト及び動き補償を利用したフレームレート変換装置及びその方法を提供する。
【解決手段】 連続的に入力される所定個数のフレームのうち隣接した２フレーム間ごとに平均動きベクトルのサイズを計算する過程、前記２フレーム間ごとに計算された平均動きベクトルのサイズのうち最大値に該当するフレーム区間を決定する過程、前記最大動きベクトルを有する前記フレーム区間で所定比率の動き補償により新しいフレームを補間する過程を含むフレームレート変換方法である。これにより、動き補償を最小に使用することにより、動き補償によるアーティファクトを減少させ、動き速度が最大であるフレーム区間で動き補償により新しいフレームを生成することによって視覚的の動きジャダを減少させられる。
【選択図】 図４Ｂ

Description

本発明は映像信号変換装置及びその方法に係り、特にタイムシフト及び動き補償を利用したフレームレート変換装置及びその方法に関する。

一般的に、フレームは１映像画面を言い、ピクセルとは最小画素より構成される。フレームを構成するピクセルの数によって解像度が決定される。最大解像度が１，９２０Ｘ１，０８０であるフレームは、横１，９２０個のピクセルと縦に１，０８０個のピクセルより構成される。フレームレートとは秒当たり伝送するフレームの個数である。テレビ信号などの映像信号を伝送する時、人間の視覚特性を基に１秒当たり適当な個数のフレームを伝送する。

映画上映用に製作されたフィルム映像信号は大部分秒当たり２４ｆｐｓ（ｆｒａｍｅ
ｐｅｒ ｓｅｃｏｎｄ）より構成されている。しかし、ＮＴＳＣ規格の映像信号は秒当たり３０ｆｐｓより構成される。従って、フィルム映像信号はＮＴＳＣ規格のフォーマットに適用するために３０フレーム（または６０フィールド／秒）に拡張されなければならない。

図１は、従来の２４フレーム率のデジタル映像信号を３０フレーム率のデジタル映像信号に変換するフレームレート変換方法を示したものである。入力される２４フレームＦ１，Ｆ２，Ｆ３，Ｆ４．．．Ｆ２４はそれぞれトップフィールドｆ１とボトムフィールドｆ２とに分離される。この時、入力される２４フレームは分離されたトップフィールドｆ１とボトムフィールドｆ２とを利用して新しいフレームＦ１，Ｆ２，Ｆ３’，Ｆ４’．．．Ｆ３０を生成する。すなわち、フレームＦ２のトップフィールドｆ１とフレームＦ３のボトムフィールドｆ２とから新しいフレームＦ３’を生成し、フレームＦ３のトップフィールドｆ１と次のフレームＦ４のボトムフィールドｆ２とから新しいフレームＦ４’を生成する。

このように、相関関係の大きい隣接したフレームから新しいフレームを生成させれば、２４個のフレームが３０個のフレームに変換される。

このように、互いに交錯した形態のフィールド反復を介してフレームレートを変換させる従来フレーム率変換方法は、単純なフィールド反復によって画面に不連続性（一般的に、動きジャダ現象と呼ばれる）を発生させる。例えば、画面で左から右に飛んで行く物体があるならば、不連続的な部分によりその物体の動きがぎこちなくディスプレイされる。

本発明が解決しようとする技術的課題は、タイムシフト及び動き補償を利用してフレームレートを変換させることによってフレームの単純複写による動きジャダ現象を最小化するフレームレート変換装置及びその方法に関わる。

前記の技術的課題を解決するために、本発明のフレームレート変換方法は、（ａ）連続的に入力される所定個数のフレームのうち隣接した２フレーム間ごとに平均動きベクトルのサイズを計算する過程と、（ｂ）前記２フレーム間ごとに計算された平均動きベクトルのサイズのうち最大値に該当するフレーム区間を決定する過程と、（ｃ）前記最大動きベクトルを有する前記フレーム区間で所定比率の動き補償により新しいフレームを補間する過程とを含むことを特徴とする。

前記の技術的課題を解決するために、本発明のフレームレート変換装置は、入力されるビデオストリームを所定個数のフレーム単位で保存するフレームバッファと、前記フレームバッファに保存された連続するフレーム間ごとに平均動きベクトルのサイズを測定し、その平均動きベクトルのうち最大動きベクトルを有する区間を決定する最大動きベクトル決定部と、前記最大動きベクトル決定部で決定された最大動きベクトルを有するフレーム区間に所定の動き補償比率を基に新しいフレームに補間するフレーム補間部と、前記最大動きベクトル決定部で決定された最大動きベクトル区間情報を参照し、前記フレーム補間部で補間されたフレームと、フレームバッファに保存されたフレームとを順次に再結合するタイミング制御信号を発生するタイミング制御部とを含むことを特徴とする。

本発明によれば、動き補償を最小に使用することにより、動き補償によるアーティファクトを減少させ、動き速度が最大であるフレーム区間で動き補償により新しいフレームを生成することによって視覚的の動きジャダを減少させた。

以下、添付された図面を参照に本発明の望ましい実施例を説明する。

図２は本発明によるフレームレート変換装置のブロック図である。第１フレームバッファ２１０は２４ｆｐｓで入力されるビデオストリームを５個のフレーム単位ａ０，ａ１，ａ２，ａ３，ａ４で保存する。

最大動きベクトル決定部２２０は動き速度計算部２２２、最大動き区間選択部２２６を備え、第１フレームバッファ２１０に保存された２フレーム間ごとに平均動きベクトルのサイズを測定し、最大動きベクトルを有するフレーム区間を決定する。すなわち、動きベクトル計算部２２２は５個のフレームのうち隣接したフレーム間ごとに平均動きベクトルのサイズを計算する。次に、最大動き区間選択部２２６は隣接したフレーム間ごとに計算された平均動きベクトルのサイズを比較し、最大動きベクトルを有するフレーム区間を選択する。

フレーム補間部２３０は最大動きベクトル決定部２２０で決定された最大動きベクトルを有するフレーム区間情報を基に第１フレームバッファ２１０から入力されるフレーム間に所定の動き補償比率を適用した補間フレームを生成する。例えば、フレームａ１及びフレームａ２間で最大動きベクトルを有すると仮定するならば、フレーム補間部２３０はフレームａ１からフレームａ２に向かう動きベクトルの１／２ほど動き補償したフレームと、フレームａ２からフレームａ１に向かう動きベクトルの１／２ほど動き補償したフレームとを合成する。この時合成されたフレームはフレームｂ１とフレームｂ３間で新しいフレームに挿入される。

スイッチ部２４０はフレーム補間部２３０で生成された新しいフレームと第１フレームバッファ２１０から入力される５個のフレームとをタイミング制御信号によって順次に再結合する。

第２フレームバッファ２５０はスイッチ部２４０で再結合されたフレームをタイミング制御信号によって６個のフレーム単位ｂ０，ｂ１，ｂ２，ｂ３，ｂ４，ｂ５で保存する。

タイミング制御部２６０は最大動きベクトル決定部２２０で決定された最大動き区間情報を参照し、フレームを順次に結合するようにスイッチ部２４０にタイミング制御信号を発生させ、第２フレームバッファ２５０に保存されたフレームｂ０ないしｂ５を３０ｆｐｓで出力させるタイミング制御信号を発生させる。この時、タイミング制御部２６０は第２フレームバッファ２５０に保存されたフレームｂ０ないしｂ５を一定の間隔で出力されるようにタイムシフトを行う。

図３は、本発明によるフレームレート変換方法を示すフローチャートである。

まず、２４ｆｐｓで入力されるビデオストリームを５個のフレーム単位ａ０，ａ１，ａ２，ａ３，ａ４で保存する（３１０）。

次に、連続的に入力される５個のフレームのうち隣接した２フレームに対する平均動きベクトルサイズを計算する（３２０）。例えば、図４Ａに図示されたように、フレームａ０とフレームａ１間の平均動きベクトルサイズをＭＶ１、フレームａ１とフレームａ２間の平均動きベクトルサイズをＭＶ２、フレームａ２とフレームａ３間の平均動きベクトルサイズをＭＶ３、フレームａ３とフレームａ４間の平均動きベクトルサイズをＭＶ４という。

次に、各フレーム区間に対する平均動きベクトルサイズをそれぞれＭＶ１ないしＭＶ４とする時、式（１）のように最大値を有する区間を見つけ出してその区間をＭＶという（３３０）。

ＭＶ＝Ｍａｘ（ＭＶ１，ＭＶ２，ＭＶ３，ＭＶ４） （１）
次に、平均動きベクトルが最大であるフレーム区間に動き補償を適用して新しい補間フレームを生成する（３４０）。図４Ｂを参照してフレーム補間過程をさらに詳細に説明する。まず、最大値を有するフレーム区間をＭＶ２とすれば、新しいフレームｂ０，ｂ１，ｂ３，ｂ４，ｂ５は既存のフレームａ０，ａ１，ａ２，ａ３，ａ４を単純複写して生成される。そして、新しいフレームｂ２は既存のフレームａ１及びａ２を一定比率の動き補償を適用して生成される。すなわち、フレームａ１からフレームａ２に向かう動きベクトルサイズの１／２ほど動き補償したフレームと、フレームａ２からフレームａ１に向かう動きベクトルサイズの１／２ほど動き補償したフレームとを合成する。この時、合成されたフレームはフレームｂ１とフレームｂ３間の新しいフレームｂ２に挿入される。

ここで、新しく生成されたフレームｂ０ないしｂ５は図４Ｃに示されたように時間的にその間隔が一定ではない。

従って、フレームｂ０，ｂ５はそのまま複写して残りのフレームｂ１ないしｂ４はタイムシフト作業を行って再配列されたフレームｃ０，ｃ１，ｃ２，ｃ３，ｃ４，ｃ５に形成する（３５０）。例えば、図４Ｃに図示されたように、フレームｂ１，ｂ２，ｂ３，ｂ４を矢印方向に一定時間ディレイされるか、または操り上げて互いに間隔を一定にする。

結局、２４ｆｐｓで入力されるビデオストリームはタイムシフトと動き補償とを適用して３０ｆｐｓに変換される。

本発明はまた、コンピュータ可読記録媒体にコンピュータ可読コードとして具現されうる。コンピュータ可読記録媒体はコンピュータシステムによって読み込まれうるデータが保存される全種の記録装置を含む。コンピュータ可読記録媒体の例としては、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ−Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＣＤ−ＲＯＭ、磁気テープ、ハードディスク、フロッピディスク、フラッシュメモリ、光データ貯蔵装置などがあり、またキャリアウェーブ（例えば、インターネットを介した伝送）の形態で具現されるものも含む。また、コンピュータ可読記録媒体はネットワークに連結されコンピュータシステムに分散され、分散方式でコンピュータが読み込めるコードとして保存されて実行されうる。

本発明は前述の実施例に限定されず、本発明の思想内で当業者による変形が可能であることは言うまでもない。

本発明のタイムシフト及び動き補償を利用したフレームレート変換装置及びその方法は、映像信号フォーマット変換に利用されるフレームレート変換装置及びその方法に関わり、例えばデジタルテレビ、デジタルカムコーダ、ＤＶＤなど映像記録及び再生機器に効果的に適用可能である。

２４フレーム率のデジタル映像信号を３０フレーム率のデジタル映像信号に変換するフレームレート変換方法を示した図である。 本発明によるフレームレート変換装置のブロック図である。 本発明によるフレームレート変換方法を示すフローチャートである。 図３のフローチャートを説明するための概念図である。 図３のフローチャートを説明するための概念図である。 図３のフローチャートを説明するための概念図である。

符号の説明

２１０ 第１フレームバッファ
２２０ 最大動きベクトル決定部
２２２ 動き速度計算部
２２６ 最大動き区間選択部
２３０ フレーム補間部
２４０ スイッチ部
２５０ 第２フレームバッファ
２６０ タイミング制御部

Claims (7)

1. フレームレート変換方法において、
   （ａ）連続的に入力される所定個数のフレームのうち隣接した２フレーム間ごとに平均動きベクトルのサイズを計算する過程と、
   （ｂ）前記２フレーム間ごとに計算された平均動きベクトルのサイズのうち最大値に該当するフレーム区間を決定する過程と、
   （ｃ）前記最大動きベクトルを有する前記フレーム区間で所定比率の動き補償により新しいフレームを生成する過程とを含むフレームレート変換方法。
2. 前記フレームを一定時間間隔でタイムシフトする過程をさらに含むことを特徴とする請求項１に記載のフレームレート変換方法。
3. 前記（ｃ）過程の新しいフレーム生成過程は、
   （ｃ−１）フレームａ１とフレームａ２間の動きベクトルを計算する過程と、
   （ｃ−２）前記フレームａ１からフレームａ２に向かう動きベクトルサイズの１／２ほど動き補償したフレームと、前記フレームａ２からフレームａ１に向かう動きベクトルサイズの１／２ほど動き補償したフレームとを合成する過程とを含むことを特徴とする請求項１に記載のフレームレート変換方法。
4. フレームレート変換装置において、
   入力されるビデオストリームを所定個数のフレーム単位で保存するフレームバッファと、
   前記フレームバッファに保存されたフレーム間ごとに平均動きベクトルのサイズを測定し、その平均動きベクトルのうち最大動きベクトルを有するフレーム区間を決定する最大動きベクトル決定部と、
   前記最大動きベクトル決定部で決定された最大動きベクトルを有するフレーム区間で所定の動き補償比率を基に新しいフレームに補間するフレーム補間部と、
   前記最大動きベクトル決定部で決定された最大動きベクトル区間情報を参照し、前記フレーム補間部で補間されたフレームと、フレームバッファに保存されたフレームとを順次に再結合するタイミング制御信号を発生するタイミング制御部とを含むフレームレート変換装置。
5. 最大動きベクトル決定部は、
   所定個数のフレームのうち隣接したフレーム間ごとに平均動きベクトルのサイズを計算する動きベクトル計算部と、
   隣接したフレーム間ごとに前記動きベクトル計算部で計算された平均動きベクトルのサイズを比較し、最大動きベクトルを有するフレーム区間を決定する最大動き区間選択部を備えることを特徴とする請求項４に記載のフレームレート変換装置。
6. 前記フレーム補間部は、フレームａ１からフレームａ２に向かう動きベクトルの１／２ほど動き補償したフレームと、フレームａ２からフレームａ１に向かう動きベクトルの１／２ほど動き補償したフレームとを合成することを特徴とする請求項４に記載のフレームレート変換装置。
7. 前記タイミング制御部で発生するタイミング制御信号によって出力されるフレームを順次に保存するフレームバッファをさらに含むことを特徴とする請求項４に記載のフレームレート変換装置。

Images