JP2007251254A - フレームレート変換装置およびフレームレート変換方法 - Google Patents

Abstract

【課題】 フレームレート変換において、大規模な演算回路等を要することなく、安価に、出力映像の動きを滑らかにし、画質を向上させる。
【解決手段】 入力映像信号の垂直同期信号の周期の中央部分に所定の時間幅からなる時間帯を設定する。この時間帯は、垂直同期信号の周期の中央を中間位置として定められている。出力フレームの出力同期信号の出力タイミングが、この時間帯に含まれない場合には、出力同期信号の出力タイミングに最も近いタイミングで入力された垂直同期信号に対応する入力フレーム信号を、そのまま出力フレーム信号として出力する。一方、出力フレームの出力同期信号の出力タイミングが、この時間帯に含まれる場合には、出力同期信号の出力タイミングの直前および直後に入力された垂直同期信号およびに対応する入力フレーム信号を、出力フレーム信号との時間的距離に応じて合成し、出力する。
【選択図】 図１

Description

本発明は、フレームレート変換装置およびフレームレート変換方法に関する。

従来、入力された映像信号を異なるフレームレートの映像信号に変換して出力する方法として、以下の方法が採用されていた。まず、１つ目の方法として、出力フレーム信号の出力タイミングに最も近いタイミングで入力された入力フレーム信号を、そのまま出力フレーム信号として出力する方法がある。２つ目の方法として、出力フレーム信号の出力タイミングの直前および直後に入力された入力フレーム信号を合成して出力する方法がある。具体的には、出力タイミングにより近いタイミングで入力された入力フレーム信号の合成割合を他方の入力フレーム信号よりも大きくして、それぞれの入力フレーム信号を合成する。これらの方法については、例えば、下記特許文献１等に開示されている。また、３つ目の方法として、映像に含まれる画素ごとの動きベクトルを検出し、動き部分について動き内挿を行って出力フレーム信号を生成する方法がある。
特許３２９１３１７号公報

ところで、上述した１つ目の方法では、例えば、図６（ａ）に示すように、入力フレームレートが５０[F/sec]であり、出力フレームレートが６０[F/sec]である場合には、入力フレームに対応する垂直同期信号ａ１〜ａ５の周期ｔ１は２０[ms]となり、出力フレームに対応する出力同期信号ｂ１〜ｂ６の周期ｔ２は１６．７[ms]となる。この場合に、２番目に入力された垂直同期信号ａ２に対応する入力フレーム信号は、２番目および３番目に出力される出力同期信号ｂ２，ｂ３に対応する出力フレーム信号として重複して出力されることになる。一方、例えば、図６（ｂ）に示すように、入力フレームレートが６０[F/sec]であり、出力フレームレートが５０[F/sec]である場合には、入力フレームに対応する垂直同期信号ｃ１〜ｃ６の周期ｔ３は１６．７[ms]となり、出力フレームに対応する出力同期信号ｄ１〜ｄ５の周期ｔ４は２０[ms]となる。この場合に、２番目に入力された垂直同期信号ｃ２に対応する入力フレーム信号は欠落してしまい、出力されないことになる。

このように、上述した１つ目の方法では、入出力のフレームレート差によって、入力フレーム信号が重複することや欠落する事態が生じてしまう。これにより、出力映像の動きがぎこちなくなってしまう。特に、フレームレートの差が大きいときには、視聴に耐えることができない。

また、上述した２つ目の方法では、例えば、図７に示すように、入力フレームに対応する各垂直同期信号ｅ１〜ｅ３の周期をＴ[sec]とし、出力同期信号ｆ１における直前の直同期信号ｅ１との時間差をＴ１とすると、出力同期信号ｆ１に対応する出力フレーム信号Ｏｆ１は、以下の式１に示される計算式に基づいて合成される。

Ｏｆ１＝（ｍ１＊ｅ１）＋（ｍ２＊ｅ２）・・・（式１）
ここで、上記式１の係数ｍ１，ｍ２は、ｍ１＝（Ｔ−Ｔ１）／Ｔ、ｍ２＝Ｔ１／Ｔとする。

この２つ目の方法では、各入力フレーム信号に含まれる同一座標上に位置する画素データ同士を合成することになる。したがって、動きのある部分を合成した場合には、出力映像がぼやけてしまい、画質が低下してしまう。

さらに、３つ目の方法では、動きベクトルを検出するために大規模な演算回路やメモリが必要となり、高価になるうえ、動きベクトルの検出に誤りが生じた場合には、画質が著しく低下してしまう。

そこで、本発明は、上述した課題を解決するために、大規模な演算回路等を要することなく、安価に、出力映像の動きを滑らかにし、画質を向上させることができるフレームレート変換装置およびフレームレート変換方法を提供することを目的とする。

本発明のフレームレート変換装置は、入力映像信号をフレームレートの異なる出力映像信号に変換するフレームレート変換装置であって、入力映像信号から垂直同期信号を抽出する垂直同期信号抽出手段と、出力同期信号を生成する出力同期信号生成手段と、垂直同期信号抽出手段により抽出された垂直同期信号と、出力同期信号生成手段により生成された出力同期信号とに基づいて、出力同期信号と、当該出力同期信号の直前直後の垂直同期信号との位相差を検出する位相差検出手段と、位相差検出手段により検出された位相差に基づいて、出力同期信号の出力タイミングが所定の範囲内であるか否かを判断し、当該判断結果に応じて、処理対象とする入力フレーム信号を変更して出力映像信号を生成する出力映像信号生成手段と、を備え、出力映像信号生成手段は、出力同期信号の出力タイミングが所定の範囲内であると判断した場合には、出力同期信号の直前直後の垂直同期信号に対応する入力フレーム信号を合成して出力映像信号を生成し、出力同期信号の出力タイミングが所定の範囲外であると判断した場合には、出力同期信号の出力タイミングに最も近い垂直同期信号に対応する入力フレーム信号を用いて出力映像信号を生成することを特徴とする。

また、本発明のフレームレート変換方法は、入力映像信号をフレームレートの異なる出力映像信号に変換するフレームレート変換方法であって、入力映像信号から垂直同期信号を抽出する垂直同期信号抽出ステップと、出力同期信号を生成する出力同期信号生成ステップと、垂直同期信号抽出ステップにおいて抽出された垂直同期信号と、出力同期信号生成ステップにおいて生成された出力同期信号とに基づいて、出力同期信号と、当該出力同期信号の直前直後の垂直同期信号との位相差を検出する位相差検出ステップと、位相差検出ステップにおいて検出された位相差に基づいて、出力同期信号の出力タイミングが所定の範囲内であるか否かを判断し、当該判断結果に応じて、処理対象とする入力フレーム信号を変更して出力映像信号を生成する出力映像信号生成ステップと、を備え、出力映像信号生成ステップは、出力同期信号の出力タイミングが所定の範囲内であると判断した場合には、出力同期信号の直前直後の垂直同期信号に対応する入力フレーム信号を合成して出力映像信号を生成し、出力同期信号の出力タイミングが所定の範囲外であると判断した場合には、出力同期信号の出力タイミングに最も近い垂直同期信号に対応する入力フレーム信号を用いて出力映像信号を生成することを特徴とする。

これらの発明によれば、出力同期信号の出力タイミングが、所定の範囲内に含まる場合には、出力同期信号の直前直後の垂直同期信号に対応する入力フレーム信号を合成して出力映像信号を生成することができ、出力同期信号の出力タイミングが、所定の範囲内に含まれない場合には、出力同期信号の出力タイミングに最も近い垂直同期信号に対応する入力フレーム信号を用いて出力映像信号を生成することができる。これにより、大規模な演算回路等を要することなく、安価に、出力映像の動きを滑らかにし、画質を向上させることができる。

本発明のフレームレート変換装置において、上記所定の範囲は、入力映像信号のフレームレートと出力映像信号のフレームレートとの差または比に応じて定められることが好ましい。また、本発明のフレームレート変換装置において、上記所定の範囲は、前記垂直同期信号の周期の中央を中間位置として定めることが好ましい。さらに、本発明のフレームレート変換装置において、上記出力映像信号生成手段は、上記合成する際に、出力同期信号の出力タイミングにより近いタイミングの垂直同期信号に対応する入力フレーム信号の合成割合を他方の入力フレーム信号よりも大きくして、それぞれの入力フレーム信号を合成することが好ましい。

本発明に係るフレームレート変換装置およびフレームレート変換方法によれば、大規模な演算回路等を要することなく、安価に、出力映像の動きを滑らかにし、画質を向上させることができる。

以下、本発明に係るフレームレート変換装置およびフレームレート変換方法の実施形態を図面に基づき説明する。なお、各図において、同一要素には同一符号を付して重複する説明を省略する。

まず、本発明における実施形態を説明する前に、本発明に係るフレームレート変換装置およびフレームレート変換方法で採用するフレームレート変換の原理について説明する。本発明は、上述した背景技術で説明した２つのフレームレート変換方法を切り替えながらフレームレートの変換を行うものである。すなわち、出力フレームの出力タイミングに最も近いタイミングで入力された入力フレーム信号を、そのまま出力フレーム信号として出力する方法（以下、第１の変換方法という。）と、出力フレームの出力タイミングの直前および直後に入力された入力フレーム信号を合成して出力する方法（以下、第２の変換方法という。）とを切り替えながらフレームレートの変換を行うものである。図１を参照して、具体的に説明する。

図１に示すように、入力映像信号の垂直同期信号ｘ１〜ｘ３の周期Ｔの中央部分に所定の時間幅からなる時間帯τ（所定の範囲）を設定する。この時間帯τは、垂直同期信号の周期の中央を中間位置として定められている。出力フレームの出力同期信号ｙ１の出力タイミングが、この時間帯τに含まれない場合には、上述した第１の変換方法を用いる。すなわち、出力同期信号ｙ１の出力タイミングに最も近いタイミングで入力された垂直同期信号ｘ１またはｘ２に対応する入力フレーム信号を、そのまま出力フレーム信号として出力する。一方、出力フレームの出力同期信号ｙ１の出力タイミングが、この時間帯τに含まれる場合には、上述した第２の変換方法を用いる。すなわち、出力同期信号ｙ１の出力タイミングの直前および直後に入力された垂直同期信号ｘ１およびｘ２に対応する入力フレーム信号を合成して出力する。これらから、出力同期信号ｙ１に対応する出力フレーム信号Ｏｙ１は、以下の式２〜式４に示される計算式により求めることができる。

出力フレーム信号Ｏｙ１の出力タイミングが時間帯τの前に位置する場合
Ｏｙ１＝ｘ１・・・（式２）
出力フレーム信号Ｏｙ１の出力タイミングが時間帯τ内に位置する場合
Ｏｙ１＝（ｎ１＊ｘ１）＋（ｎ２＊ｘ２）・・・（式３）
ここで、上記式３の係数ｎ１，ｎ２は、ｎ１＝（τ−τ１）／τ、ｎ２＝τ１／τとする。
出力フレーム信号Ｏｙ１の出力タイミングが時間帯τの後に位置する場合
Ｏｙ１＝ｘ２・・・（式４）

上記式１〜式３により表される出力フレーム信号の時間位置と出力フレーム信号の出力成分との関係を、図２に示す。図２に示す横軸は出力フレーム信号の時間位置を表し、縦軸は出力フレーム信号の出力成分を表す。

なお、上記式２は、上記式３の係数ｎ１，ｎ２を、ｎ＝１，ｎ２＝０とした場合に相当し、上記式４は、上記式３の係数ｎ１，ｎ２を、ｎ１＝０，ｎ２＝１とした場合に相当する。したがって、出力フレーム信号Ｏｙ１の出力タイミングが時間帯τの前に位置する場合には、ｎ１＝１，ｎ２＝０とし、出力フレーム信号Ｏｙ１の出力タイミングが時間帯τの後に位置する場合には、ｎ１＝０，ｎ２＝１とすることで、上記式２および上記式４を上記式３に含めることができる。

ここで、時間帯τを、入力周期Ｔに対してどの程度の割合で設定するかが問題となる。時間帯τを小さく設定すればするほど、「τ/Ｔ」は小さくなる。この場合には、出力フレーム信号Ｏｙ１の出力タイミングが時間帯τに含まれない度合が高まることになる（上記式２または式４に該当する度合が高まる）。すなわち、第１の変換方法によりフレームレートが変換される度合が高まることになる。したがって、時間帯τを小さくしすぎた場合には、動きのある部分のぼやけは減少するが、動きがぎこちなくなってしまう。

一方、時間帯τを大きく設定すればするほど、「τ/Ｔ」は大きくなる。この場合には、出力フレーム信号Ｏｙ１の出力タイミングが時間帯τに含まれる度合が高まることになる（上記式３に該当する度合が高まる）。すなわち、第２の変換方法によりフレームレートが変換される度合が高まることになる。したがって、時間帯τを大きくしすぎた場合には、動きは滑らかになるが、ぼやけが増加してしまい、画質が低下してしまう。

また、第１の変換方法を採用した場合には、出力フレーム信号の時間位置が、直前直後の入力フレーム信号間の中央の時間位置を越えるときに、フレームの重複や欠落が生じる。そして、入出力のフレームレートの差が大きいほど、出力フレーム信号の時間位置が、上記入力フレーム信号間の中央の時間位置を越える度合が高まる。したがって、入出力のフレームレートの差が大きいときには、時間帯τを大きく設定して「τ/Ｔ」を大きくすることによって、画質の向上効果を期待することができる。

次に、図３を参照して、本発明の実施形態におけるフレームレート変換装置の構成について説明する。図１に示すように、フレームレート変換装置１は、垂直同期信号抽出部１０と、フレームメモリ部２０と、出力同期信号生成部３０と、フレームレート比検出部４０と、位相差検出部５０と、時間範囲決定部６０と、係数決定部７０と、出力映像信号生成部８０とを有する。

垂直同期信号抽出部１０は、入力映像信号ＩＳから垂直同期信号を抽出する。フレームメモリ部２０は、垂直同期信号抽出部１０により抽出された垂直同期信号に対応する入力フレーム信号を一時的に記憶する。

出力同期信号生成部３０は、出力タイミングごとに発生する出力同期信号を生成する。なお、出力同期信号は、必ずしもフレームレート変換装置１内で生成することを要しない。例えば、フレームレート変換装置１の外部で生成された出力同期信号を、フレームレート変換装置１に入力することとしてもよい。

フレームレート比検出部４０は、垂直同期信号抽出部１０により抽出された垂直同期信号と、出力同期信号生成部３０により生成された出力同期信号に基づいて、入出力のフレームレート比を検出する。

位相差検出部５０は、垂直同期信号抽出部１０により抽出された垂直同期信号と、出力同期信号生成部３０により生成された出力同期信号とに基づいて、両信号の位相差、すなわち、図１に示す入出力フレーム間の時間差Ｔ１を検出する。具体的には、位相差検出部５０は、出力同期信号生成部３０により生成された出力同期信号と、この出力同期信号の直前および直後に入力された垂直同期信号との位相差を検出する。

時間範囲決定部６０は、フレームレート比検出部４０により検出された入出力のフレームレート比に基づいて、入力周期Ｔに対する時間帯τの度合「τ/Ｔ」を決定する。この「τ/Ｔ」を決定する方法について説明する。図４は、入出力のフレームレート比と「τ/Ｔ」との関係を表す図である。図４に示す横軸は入出力のフレームレート比を表し、縦軸は「τ/Ｔ」を表す。本実施形態では、図４に示すグラフに対応するテーブルを用意する。時間範囲決定部６０は、このテーブルを参照して、入出力のフレームレート比に対応する「τ/Ｔ」を決定する。したがって、例えば、入出力のフレームレート比が０．５以下である場合または２以上である場合には、「τ/Ｔ」は１００％となる。この場合には、第２の変換方法のみでフレームレートが変換されることになる。入出力のフレームレート比が１である場合には、「τ/Ｔ」は０％となる。この場合には、第１の変換方法のみでフレームレートが変換されることになる。入出力のフレームレート比が０．５超〜２未満（１を除く）である場合には、第１の変換方法と第２の変換方法とが、入出力フレーム間の時間差Ｔ１に応じて切り替えられながらフレームレートが変換されることになる。

係数決定部７０は、位相差検出部５０により検出された入出力フレーム間の時間差Ｔ１、および時間範囲決定部６０により決定された「τ/Ｔ」に基づいて、上記式３の係数ｎ１，ｎ２を決定する。

出力映像信号生成部８０は、フレームメモリ部２０により一時的に記憶された入力フレーム信号、係数決定部７０により決定された係数ｎ１，ｎ２を、上記式３に代入して出力フレーム信号を求める演算機能を有する。

以上のように、実施形態におけるフレームレート変換装置は、入力映像信号の垂直同期信号の周期の中央部分に所定の時間幅からなる時間帯τを設定し、出力フレームの出力同期信号の出力タイミングが、この時間帯τに含まれない場合には、上述した第１の変換方法を採用し、出力フレームの出力同期信号の出力タイミングが、この時間帯τに含まれる場合には、上述した第２の変換方法を採用する点に特徴がある。これにより、大規模な演算回路等を要することなく、安価に、出力映像の動きを滑らかにし、画質を向上させることができる。したがって、処理が単純で画質劣化の少ないフレームレート変換が可能となる。

なお、上述した実施形態においては、係数決定部７０が係数ｎ１，ｎ２を決定し、その後、出力映像信号生成部８０が係数ｎ１，ｎ２を上記式３に代入して出力フレーム信号を求めているが、出力フレーム信号を求める方法は、これに限定されない。例えば、位相差検出部５０により検出された入出力フレーム間の時間差Ｔ１を、直前の垂直同期信号から開始した場合に、時間差Ｔ１の終期が時間帯τに含まれるか否かに応じて、出力フレーム信号生成処理の対象となる入力フレーム信号を選択することとしてもよい。この場合には、時間差Ｔ１の終期が時間帯τに含まれると判断した場合には、出力同期信号の直前直後の垂直同期信号に対応する入力フレーム信号を合成して出力フレーム信号を生成し（第２の変換方法）、一方、時間差Ｔ１の終期が時間帯τに含まれないと判断した場合には、出力同期信号の出力タイミングに最も近い垂直同期信号に対応する入力フレーム信号を用いて出力フレーム信号を生成する（第１の変換方法）こととすればよい。

また、出力フレーム信号の時間位置と出力フレーム信号の出力成分との関係は、図２および上記式２〜式４で表されるものには限定されない。例えば、図５（ａ）および（ｂ）に示す出力フレーム信号の時間位置と出力フレーム信号の出力成分との関係で表されるものであってもよい。

図５（ａ）に示される関係は、以下の式により表すことができる。

また、図５（ｂ）に示される関係は、以下の式により表すことができる。

実施形態におけるフレームレート変換の原理を説明するための図である。 出力フレーム信号の時間位置と出力フレーム信号の出力成分との関係を示す図である。 実施形態におけるフレームレート変換装置の構成を例示する図である。 入出力のフレームレート比と「τ/Ｔ」との関係を表す図である。 変形例における出力フレーム信号の時間位置と出力フレーム信号の出力成分との関係を示す図である。 従来のフレームレート変換方法を説明するための図である。 従来のフレームレート変換方法を説明するための図である。

符号の説明

１・・・フレームレート変換装置、１０・・・垂直同期信号抽出部、２０・・・フレームメモリ部、３０・・・出力同期信号生成部、４０・・・フレームレート比検出部、５０・・・位相差検出部、６０・・・時間範囲決定部、７０・・・係数決定部、８０・・・出力映像信号生成部。

Claims (5)

1. 入力映像信号をフレームレートの異なる出力映像信号に変換するフレームレート変換装置であって、
   前記入力映像信号から垂直同期信号を抽出する垂直同期信号抽出手段と、
   出力同期信号を生成する出力同期信号生成手段と、
   前記垂直同期信号抽出手段により抽出された垂直同期信号と、前記出力同期信号生成手段により生成された出力同期信号とに基づいて、前記出力同期信号と、当該出力同期信号の直前直後の垂直同期信号との位相差を検出する位相差検出手段と、
   前記位相差検出手段により検出された前記位相差に基づいて、前記出力同期信号の出力タイミングが所定の範囲内であるか否かを判断し、当該判断結果に応じて、処理対象とする入力フレーム信号を変更して出力映像信号を生成する出力映像信号生成手段と、を備え、
   前記出力映像信号生成手段は、
   前記出力同期信号の出力タイミングが所定の範囲内であると判断した場合には、前記出力同期信号の直前直後の垂直同期信号に対応する入力フレーム信号を合成して出力映像信号を生成し、
   前記出力同期信号の出力タイミングが所定の範囲外であると判断した場合には、前記出力同期信号の出力タイミングに最も近い垂直同期信号に対応する入力フレーム信号を用いて出力映像信号を生成する
   ことを特徴とするフレームレート変換装置。
2. 前記所定の範囲は、入力映像信号のフレームレートと出力映像信号のフレームレートとの差または比に応じて定められることを特徴とする請求項１記載のフレームレート変換装置。
3. 前記所定の範囲は、前記垂直同期信号の周期の中央を中間位置として定めることを特徴とする請求項１または２記載のフレームレート変換装置。
4. 前記出力映像信号生成手段は、前記合成する際に、前記出力同期信号の出力タイミングにより近いタイミングの垂直同期信号に対応する入力フレーム信号の合成割合を他方の入力フレーム信号よりも大きくして、それぞれの入力フレーム信号を合成することを特徴とする請求項１〜３に記載のフレームレート変換装置。
5. 入力映像信号をフレームレートの異なる出力映像信号に変換するフレームレート変換方法であって、
   前記入力映像信号から垂直同期信号を抽出する垂直同期信号抽出ステップと、
   出力同期信号を生成する出力同期信号生成ステップと、
   前記垂直同期信号抽出ステップにおいて抽出された垂直同期信号と、前記出力同期信号生成ステップにおいて生成された出力同期信号とに基づいて、前記出力同期信号と、当該出力同期信号の直前直後の垂直同期信号との位相差を検出する位相差検出ステップと、
   前記位相差検出ステップにおいて検出された前記位相差に基づいて、前記出力同期信号の出力タイミングが所定の範囲内であるか否かを判断し、当該判断結果に応じて、処理対象とする入力フレーム信号を変更して出力映像信号を生成する出力映像信号生成ステップと、を備え、
   前記出力映像信号生成ステップは、
   前記出力同期信号の出力タイミングが所定の範囲内であると判断した場合には、前記出力同期信号の直前直後の垂直同期信号に対応する入力フレーム信号を合成して出力映像信号を生成し、
   前記出力同期信号の出力タイミングが所定の範囲外であると判断した場合には、前記出力同期信号の出力タイミングに最も近い垂直同期信号に対応する入力フレーム信号を用いて出力映像信号を生成する
   ことを特徴とするフレームレート変換方法。
   

Images