JP2009033468A - 低フレームレート動画像の補間フレーム画像表示方法及び生成装置 - Google Patents

Abstract

【課題】低フレームレート動画像のフレームレート変換を行う場合にも高品位な動画像を表示する。
【解決手段】ベクトル類似度算出部５は、動きベクトル情報算出部３が算出する動きベクトル情報に基づいて、動きベクトルのベクトル類似度を算出する。補間フレーム画像表示タイミング調整部６は、上記ベクトル類似度が所定範囲外の値であるとき、現在のフレーム画像の表示開始時刻と次のフレーム画像の表示開始時刻との中間の時刻から、次のフレーム画像の表示開始時刻までの間で決定し、補間フレーム画像の表示時間を調整する。
【選択図】図１

Description

本発明は動画像のフレームレート変換技術において、特に低フレームレート動画像のフレームレート変換技術に関するものである。

動画像のフレームレート変換技術において、フレームレート変換の対象は２つある。第１のフレームレート変換は、フレームレートが２４フレーム毎秒である映画フィルムの動画像を、テレビのフィールドもしくはフレームレートが３０フレーム毎秒である動画像に変換することを目的とする。第２のフレームレート変換は、液晶パネルを用いた液晶テレビ等において動画像を表示する際のフレームレートである６０フレーム毎秒を、１２０フレーム毎秒というより高いフレームレートに変換することを目的とする。

フレームレート変換では、複数のフレーム画像から構成される動画像が入力され、上記複数のフレーム画像の各フレーム画像間に補間フレーム画像を生成する。これにより、例えば１秒間等の単位時間当たりのフレーム数、即ちフレームレートが増加し、フレームレート変換が完了する。

上記補間フレーム画像生成の方法には多種多様な先行技術があり、一般的には図７のブロック図で示される構成の補間フレーム画像生成装置１００により補間フレーム画像が生成される。補間フレーム画像生成装置１００は、ブロック分割部１０１、動きベクトル情報算出部１０２、及び補間フレーム画像生成部１０３を備えている。ブロック分割部１０１は、入力フレーム画像を複数の画像領域、即ちブロックに分割する。動きベクトル情報算出部１０２は、MPEG-2等の動画像復号化処理で求められる動きベクトルから、分割された複数のブロック毎に動きベクトル情報を算出する。補間フレーム画像生成部１０３は、上記動きベクトルに基づいて、入力されるフレーム画像から、２つの連続して入力されるフレーム画像の中間を補間する画像、即ち補間フレーム画像を生成する。

補間フレーム画像生成部１０３による補間フレーム画像生成方法の一例を以下に示す。補間フレーム画像生成部１０３は、ある時刻で表示されるフレーム画像の分割された各ブロックにおける動きベクトルから、当該フレーム画像（以降「第１フレーム画像」と称する）の各ブロックがどの方向へ動いているのかを求める。次に、上記第１フレーム画像が表示されてから上記補間フレーム画像が表示されるまでの時間を、上記第１フレーム画像が表示されてから次の第２フレーム画像が表示されるまでの時間の半分に設定する。即ち、上記補間フレーム画像は、上記第１フレーム画像の表示開始時刻と上記第２フレーム画像の表示開始時刻との中間の時刻で表示される。

この場合、上記補間フレーム画像を生成するために必要な動きベクトルは、上記第１フレーム画像が有する動きベクトルの大きさを半分にすることにより求められる。従って、上記補間フレーム画像は、上記第１フレーム画像の各ブロックの画像を、求められた動きベクトル分移動させることにより生成される。

この補間フレーム画像生成において、動きベクトルの情報に誤りがあった場合、生成される補間フレーム画像は、静止画として見た場合にノイズとして知覚化されやすい場合がある。例として、アナログテレビ放送で用いられるＮＴＳＣ規格の動画像のフレームレートである２９．９７フレーム毎秒よりも比較的高いフレームレートである６０フレーム毎秒の画像に対してフレームレート変換を行う場合を考える。

フレームレートが６０フレーム毎秒であるので、ある時刻にフレーム画像が入力されてから１／６０秒が経過すると、次のフレーム画像が入力される。上記フレームレート変換のために生成された補間フレーム画像は、通常は入力される２つの連続したフレーム画像の中間に配置される。従って、この補間フレーム画像は、補間フレーム画像生成装置１００の後段に設けられる図示しない液晶パネル等の画面上において１／１２０秒間表示される。

上記１／１２０秒間という時間は、補間フレーム画像を視覚的に捉える時間としては短く、そのため補間フレーム画像に仮にノイズが現れた場合でも、１／１２０秒後には次のフレーム画像が表示されるので、ノイズが視覚的に捉えられ難い場合がある。

しかしフレームレートが映画フィルムの２４フレーム毎秒、あるいはアナログテレビ放送の２９．９７フレーム毎秒より低い１５フレーム毎秒程度である、即ち、約１／１５秒毎にフレーム画像が入力される低フレームレート動画像をフレームレート変換する場合、次のような不都合が生じる。この場合、仮に補間フレーム画像にノイズが現れると、上記補間フレーム画像は１／３０秒間表示され続ける。このため、上記ノイズは、補間フレーム画像が表示される間に顕著に現れ、視覚的に捉えられ易くなる。また、低フレームレート動画像が入力され、かつ動きベクトルの情報に誤りがあった場合、生成された補間フレーム画像の画質が、フレームレート変換後の動画像の画質へ及ぼす影響は、高フレームレート動画像が入力された場合と比較してさらに大きくなる。従って、品質の低い動画像しか表示できない。

これに対する従来技術として、特許文献１では、ブロック内に複数の動きが含まれる場合に生じる歪が抑制された補間フレームを作成する方法が開示されている。また、非特許文献１に記載されたフレーム補間手法では、背景画像と動きのあるオブジェクトを分離して補間フレーム画像を生成するなどして、視覚的に捉えられ易いノイズを抑えている。
特開２００６−６６９８７号公報（平成１８年３月９日公開） 東 正史、渡辺 裕 共著 「動きオブジェクトベースのフレーム補間手法に関する検討」ＦＩＴ２００６第５回情報科学技術フォーラム ２００６年

このように従来技術においては、補間フレーム画像の生成時に発生する歪あるいはノイズを抑えることで動画像の画質改善を行っているが、補間されたフレーム画像の表示開始時刻、即ち表示タイミングへの考慮はなかった。

本発明は、上記従来の問題点に鑑みなされたものであり、その目的は、低フレームレート動画像のフレームレート変換を行う場合にも高品位な動画像を表示出来る低フレームレート動画像の補間フレーム画像表示方法を提供することにある。

本発明の低フレームレート動画像の補間フレーム画像表示方法は、上記課題を解決するために、複数の画素から構成される複数のフレーム画像により構成される低フレームレート動画像における各フレーム画像を複数の画像領域に分割し、上記画像領域それぞれについて動きベクトルを求め、上記動きベクトルから動きベクトル情報を算出し、上記動きベクトルに基づいて補間フレーム画像を生成し、上記補間フレーム画像を上記複数のフレーム画像の各フレーム画像間に表示する補間フレーム画像表示方法において、上記動きベクトル情報に基づいて、上記動きベクトルのベクトル類似度を算出し、上記補間フレーム画像の表示開始時刻を、上記ベクトル類似度が所定範囲外の値であるとき、現在のフレーム画像の表示開始時刻と次のフレーム画像の表示開始時刻との中間の時刻から、次のフレーム画像の表示開始時刻までの間で決定し、上記補間フレーム画像の表示時間を調整することを特徴とする。

上記発明によれば、上記補間フレーム画像の表示開始時刻を、上記ベクトル類似度が所定範囲外の値であるとき、現在のフレーム画像の表示開始時刻と次のフレーム画像の表示開始時刻との中間の時刻から、次のフレーム画像の表示開始時刻までの間で決定し、上記補間フレーム画像の表示時間を調整することで、上記補間フレーム画像が知覚化されやすいノイズを含む場合に、上記補間フレーム画像の表示タイミングを遅くし、上記補間フレーム画像の表示時間を短く出来る。従って、上記補間フレーム画像に現れたノイズが視覚的に捉えられ難くなるので、動画像の画像品位を高く出来る。

上記低フレームレート動画像の補間フレーム画像表示方法では、上記動きベクトル情報は、MPEG-2等の動画復号化処理で求められてもよい。

これにより、MPEG-2等の動画像を復号化処理して得た動画像を入力する場合に、動きベクトル情報を算出しなくてもよいので、処理速度が向上する。

上記低フレームレート動画像の補間フレーム画像表示方法では、上記複数のフレーム画像の内、ある時刻に表示される第１のフレーム画像が有する第１の画像領域に対応する画像領域を、上記第１のフレーム画像の次に表示される第２のフレーム画像から検索して第２の画像領域とし、上記第１の画像領域と上記第２の画像領域との間のベクトルを算出して上記第１の画像領域における動きベクトルとし、上記第１の画像領域における動きベクトルから上記動きベクトル情報を算出し、上記動きベクトル情報の算出を、上記第１のフレーム画像の全ての画像領域に対して行ってもよい。

これにより、MPEG-2等の動画像の復号化処理が行われず、複数のフレーム画像のみで構成され、動きベクトル情報が無い動画像においても、補間フレーム画像を表示出来る。

上記低フレームレート動画像の補間フレーム画像表示方法では、上記複数の画像領域それぞれに存在する上記動きベクトルを、Ｘ成分及びＹ成分に分解し、これら２つの成分を数値化することにより、上記動きベクトル情報を算出し、上記複数の画像領域の全て動きベクトル情報に基づき、以下の式により上記ベクトル類似度を算出してもよい。
ベクトル類似度＝Σ｜動きベクトルＸ成分｜／｜Σ動きベクトルＸ成分｜＋
Σ｜動きベクトルＹ成分｜／｜Σ動きベクトルＹ成分｜
（但し、上式において、｜Σ動きベクトルＸ成分｜＝０の場合、Σ｜動きベクトルＸ成分｜／｜Σ動きベクトルＸ成分｜＝０、｜Σ動きベクトルＹ成分｜＝０の場合、Σ｜動きベクトルＹ成分｜／｜Σ動きベクトルＹ成分｜＝０とする。）
これにより、上記ベクトル類似度に基づいて上記補間フレーム画像の表示開始時刻を決定し、上記補間フレーム画像の表示時間を調整出来る。さらに、補間フレーム画像の画像品位が高い場合はベクトル類似度の数値が小さく、補間フレーム画像の画像品位が低い場合はベクトル類似度の数値が大きくなるので、補間フレーム画像の画像品位を簡易的に評価することが出来る。

本発明の低フレームレート動画像の補間フレーム画像生成装置は、上記課題を解決するために、複数の画素から構成される複数のフレーム画像により構成される低フレームレート動画像における各フレーム画像を複数の画像領域に分割する画像領域分割手段と、上記画像領域それぞれについて動きベクトルを求め、上記動きベクトルから動きベクトル情報を算出する動きベクトル情報算出手段と、上記動きベクトルに基づいて補間フレーム画像を生成する補間フレーム画像生成手段とを備え、後段に設けられる表示手段の画面上において上記補間フレーム画像を上記複数のフレーム画像の各フレーム画像間に表示する補間フレーム画像生成装置において、上記動きベクトル情報に基づいて、上記動きベクトルのベクトル類似度を算出するベクトル類似度算出手段と、上記補間フレーム画像の表示開始時刻を、上記ベクトル類似度が所定範囲外の値であるとき、現在のフレーム画像の表示開始時刻と次のフレーム画像の表示開始時刻との中間の時刻から、次のフレーム画像の表示開始時刻までの間で決定し、上記補間フレーム画像の表示時間を調整する補間フレーム画像表示開始時刻調整手段とを備えることを特徴とする。

上記発明によれば、上記補間フレーム画像が、静止画として見た場合にノイズとして知覚化されやすい場合でも、表示時間を調整された補間フレーム画像を生成出来るので、該補間フレーム画像を含む動画像の画像品位を高く出来る。

上記低フレームレート動画像の補間フレーム画像生成装置では、上記複数の画像領域それぞれに存在する上記動きベクトルを、Ｘ成分及びＹ成分に分解し、これら２つの成分を数値化することにより、上記動きベクトル情報を算出し、上記複数の画像領域の全て動きベクトル情報に基づき、以下の式により上記ベクトル類似度を算出してもよい。
ベクトル類似度＝Σ｜動きベクトルＸ成分｜／｜Σ動きベクトルＸ成分｜＋
Σ｜動きベクトルＹ成分｜／｜Σ動きベクトルＹ成分｜
（但し、上式において、｜Σ動きベクトルＸ成分｜＝０の場合、Σ｜動きベクトルＸ成分｜／｜Σ動きベクトルＸ成分｜＝０、｜Σ動きベクトルＹ成分｜＝０の場合、Σ｜動きベクトルＹ成分｜／｜Σ動きベクトルＹ成分｜＝０とする。）
これにより、上記ベクトル類似度に基づいて上記補間フレーム画像の表示開始時刻を決定し、上記補間フレーム画像の表示時間を調整出来る。さらに、補間フレーム画像の画像品位が高い場合はベクトル類似度の数値が小さく、補間フレーム画像の画像品位が低い場合はベクトル類似度の数値が大きくなるので、補間フレーム画像の画像品位を簡易的に評価することが出来る。

本発明の低フレームレート動画像の補間フレーム画像表示方法及び生成装置は、以上のように、動きベクトルから算出された動きベクトル情報に基づいて、上記動きベクトルのベクトル類似度を算出し、上記ベクトル類似度に基づいて補間フレーム画像の表示時間を調整する。

それゆえ、低フレームレート画像から生成された補間フレーム画像を表示するタイミングを調整出来るので、補間フレーム画像に見られるノイズを視覚に捉えられ難くし、高品位な動画像を表示出来るという効果を奏する。

本発明の一実施形態について図１〜図６に基づいて説明すれば、以下の通りである。

低フレームレート動画像の補間フレーム画像の表示は、図１のブロック図で示される構成の補間フレーム画像生成装置１を用いて行われる。補間フレーム画像生成装置１は、ブロック分割部２、動きベクトル情報算出部３、補間フレーム画像生成部４、ベクトル類似度算出部５、及び補間フレーム画像表示タイミング調整部６を備えている。

本実施形態において補間フレーム画像生成装置１に入力される動画像は、そのフレームレートが１５フレーム毎秒である。上記動画像は、図２に示すフレーム画像７〜９のように、複数のフレーム画像が連続して配置された構成である。本実施形態で述べるフレーム画像は、全て図示しない複数の画素から構成されている。

図２に示す各フレーム画像の入力シーケンスにおいて、フレーム画像７が時刻Ｎで入力された後、フレーム画像８は、時刻(Ｎ＋１／１５秒)で入力される。フレーム画像９は、フレーム画像８が時刻(Ｎ＋１／１５秒)で入力されてから、さらに１／１５秒に２以上の整数Ｌを掛けた時間を経過した時刻Ｍで入力される。なお、フレームレートが１０フレーム毎秒である動画像が入力される場合も各フレーム画像は同様に入力されるが、ある時刻でフレーム画像が入力されてから１／１０秒経過後に次のフレーム画像が入力される点のみ異なる。本実施の形態では、フレーム画像７及び８に注目する。

図１のブロック分割部２は、補間フレーム画像生成装置１に入力された動画像を構成する各フレーム画像を、複数の画像領域、即ちブロックに分割する。上記ブロックの形、数、及び大きさは、特に限定されない。本実施の形態のブロック分割部２は、説明を容易にするために、フレーム画像を５×５＝計２５個の矩形ブロックに分割するものとする。また、上記矩形ブロックの大きさは、全て同一とする。複数のブロックに分割されたフレーム画像は、動きベクトル情報算出部３に入力される。

本実施形態において、入力となる動画像は、H.264、MPEG-4、及びMPEG-2等の規格に従い圧縮された動画像を復号化処理することにより得られたものとする。この場合、図１の動きベクトル情報算出部３において、図２のフレーム画像７の各ブロックに対して動きベクトル情報を算出する。

図３（ａ）は、フレーム画像７の５×５＝計２５個の矩形ブロックそれぞれにおける動きベクトルを示すベクトル図である。動きベクトル情報は、上記動きベクトルを利用して算出出来る。

上記動きベクトルは、上記動画像の復号化処理により求めてもよい。これにより、MPEG-2等の動画像を復号化処理して得た動画像を入力する場合に、動きベクトル情報を算出しなくてもよいので、処理速度が向上する。

また上記動きベクトルは、時刻Ｎで入力されるフレーム画像７が有する第１の矩形ブロックに対応する矩形ブロックを、フレーム画像７の次に入力されるフレーム画像８から検索して第２の矩形ブロックとし、上記第１の矩形ブロックと上記第２の矩形ブロックとの間のベクトルを算出して上記第１の矩形ブロックにおける動きベクトルとしてもよい。これにより、MPEG-2等の動画像の復号化処理が行われず、複数のフレーム画像のみで構成され、動きベクトル情報が無い動画像においても、補間フレーム画像を表示出来る。

図３（ｂ）に図３（ａ）に示す動きベクトルから算出された動きベクトル情報を示す。図３（ｂ）の動きベクトル情報は、矩形ブロック毎に存在する動きベクトルを、Ｘ成分及びＹ成分に分解し、これら２つの成分を数値化し、動きベクトルと同じ位置関係で並べたものである。また、個々のブロックにおいて、Ｘ成分の数値を左側に、Ｙ成分の数値を右側に配置している。但し、上記配置は、あくまで動きベクトルと動きベクトル情報との対応関係を容易に理解するためのものであり、動きベクトル情報は、他の配置により示されてもよい。Ｘ成分の数値は、図３（ａ）に示す動きベクトルのＸ成分の大きさから求められ、Ｙ成分の数値は、図３（ａ）に示す動きベクトルのＹ成分の大きさから求められる。以下に例を示す。

図３（ａ）の破線で示す矩形ブロック１０の動きベクトル１１は、Ｘ軸に対して平行であり、Ｘ成分、即ちＸ軸方向の成分のみが存在する。本実施の形態では、動きベクトル１１の大きさを５とする。この場合、Ｘ＝５となる。また、上述したように、動きベクトル１１はＸ軸に対して平行であり、Ｙ成分、即ちＹ軸方向の成分が存在しないので、Ｙ＝０である。従って、Ｘ＝５、Ｙ＝０となるので、図３（ｂ）の破線で示すれた部分１３は、動きベクトル情報として左側に５が記載され、右側に０が記載されている。部分１３は、左から２番目かつ上から１番目、即ち図３（ａ）における動きベクトル１１に相当する位置に配置されている。

一方、図３（ａ）の一点鎖線で示す矩形ブロック１２には、動きベクトルが存在しない。この場合、数値Ｘ及びＹは共に０であるので、図３（ｂ）の一点鎖線で示す部分１４は、動きベクトル情報として左側、右側の両方に０が記載されている。

次に、図１の補間フレーム画像生成部４は、動きベクトル情報算出部３で算出された動きベクトル情報から、補間フレーム画像１５を生成する。補間フレーム画像１５は、図４の表示シーケンスで示されるように、フレーム画像７の次に表示される。以下に補間フレーム画像１５の生成方法を示す。

図１の補間フレーム画像生成部４は、例えば図７に示す従来の補間フレーム画像生成装置１００が備える補間フレーム画像生成部１０３と同様の方法で補間フレーム画像を生成する。以下に本実施形態における具体例を示す。

最初に図３（ａ）の動きベクトルから、フレーム画像７の各ブロックがどの方向へ動いているのかを求める。次に、フレーム画像７が表示されてから補間フレーム画像１５が表示されるまでの時間を１／３０秒と設定する。この時間は、フレーム画像７が表示されてからフレーム画像８が表示されるまでの時間１／１５秒の半分であるので、補間フレーム画像１５を生成するために必要な動きベクトルは、図３（ａ）の動きベクトルの大きさを半分にすることにより求められる。従って、補間フレーム画像１５は、フレーム画像７の各ブロックの画像を、上記補間フレーム画像１５を生成するために必要な動きベクトル分移動させることにより生成される。

補間フレーム画像生成部４において生成された補間フレーム画像１５は、フレーム画像７の表示開始時刻とフレーム画像８の表示時刻との中間の時刻で表示される。１５フレーム毎秒から３０フレーム毎秒へのフレームレート変換の場合、補間フレーム画像１５は、フレーム画像７が時刻Ｑで表示されてから１／３０秒後の時刻（Ｑ＋１／３０）秒で画面に表示される。フレーム画像８は、補間フレーム画像１５が表示されてから１／３０秒後、即ちフレーム画像７が表示されてから１／１５秒後の時刻（Ｑ＋１／１５）秒で表示され、フレーム画像９は、フレーム画像８が時刻(Ｑ＋１／１５秒)で入力されてから、さらに１／１５秒に２以上の整数Ｌを掛けた時間を経過した時刻Ｐで表示される。

次に、図１のベクトル類似度算出部５は、フレーム画像７の全ブロックの動きベクトル情報から、ベクトル類似度を算出する。ベクトル類似度は、１フレーム画像内の矩形ブロック毎に存在する動きベクトルが一様な方向へ向いているか否かを判定する指標であり、次式（１）により算出出来る。

ベクトル類似度＝Σ｜動きベクトルＸ成分｜／｜Σ動きベクトルＸ成分｜＋
Σ｜動きベクトルＹ成分｜／｜Σ動きベクトルＹ成分｜ （１）
但し、式（１）において、｜Σ動きベクトルＸ成分｜＝０の場合、Σ｜動きベクトルＸ成分｜／｜Σ動きベクトルＸ成分｜＝０、｜Σ動きベクトルＹ成分｜＝０の場合、Σ｜動きベクトルＹ成分｜／｜Σ動きベクトルＹ成分｜＝０とする。

ここで、矩形ブロック毎に存在する動きベクトルについて、全ての動きベクトルＸ成分の符号が等しい場合、動きベクトルＸ成分の絶対値和であるΣ｜動きベクトルＸ成分｜と、動きベクトルＸ成分の和の絶対値である｜Σ動きベクトルＸ成分｜とが等しくなる。即ちΣ｜動きベクトルＸ成分｜＝｜Σ動きベクトルＸ成分｜となり、１つでも符号が異なる動きベクトルＸ成分が存在する場合は、Σ｜動きベクトルＸ成分｜＞｜Σ動きベクトルＸ成分｜となる。これは動きベクトルＹ成分についても同様である。

これにより、上式（１）の第１項は、動きベクトルＸ成分の符号が全て等しい場合は１となり、１つでも符号が異なる動きベクトルＸ成分が存在する場合は１より大きくなる。同様に、上式（１）の第２項は、動きベクトルＹ成分の符号が全て等しい場合は１となり、１つでも符号が異なる動きベクトルＹ成分が存在する場合は１より大きくなる。

以上のことから、動きベクトルＸ成分の符号が全て等しい場合は、１つでも符号が異なる動きベクトルＸ成分が存在する場合よりベクトル類似度がより小さくなる。動きベクトルＹ成分についても同様に、動きベクトルＹ成分の符号が全て等しい場合は、１つでも符号が異なる動きベクトルＹ成分が存在する場合よりベクトル類似度がより小さくなる。従って、ベクトル類似度が小さいほど、動きベクトルが一様な方向へ向いていると言うことができ、生成される補間フレーム画像の画像品位がより高くなると判断できる。このように、ベクトル類似度は、補間フレーム画像の画像品位を簡易的に評価する指標にもなる。

以下ではベクトル類似度の具体的な数値について説明する。本実施形態において、ベクトル類似度の閾値（以下では単に閾値とする）を１及び８と設定する。上記ベクトル類似度が上記閾値で定まる１以上８以下の範囲内である場合、図１の補間フレーム画像表示タイミング調整部６は、フレーム画像１６の各ブロックの動きベクトルが画面内で一様な方向へ向いている、即ち類似していると判定する。上記ベクトル類似度が、上記閾値で定まる範囲外、即ち１未満及び８より大きい場合、補間フレーム画像表示タイミング調整部６は、フレーム画像１６の各ブロックの動きベクトルが画面内で一様な方向へ向いていない、即ち類似していないと判定する。

次に、全ての動きベクトルが一様な方向を向いているのは、ベクトル類似度が１、即ち上記閾値で定まる１以上８以下の範囲内で最小となる場合である。この場合に該当するのは、｜Σ動きベクトルＹ成分｜＝０で全ての動きベクトルがＸ成分のみを有する場合、及び｜Σ動きベクトルＸ成分｜＝０で全ての動きベクトルがＹ成分のみを有する場合である。

また、ベクトル類似度が１未満になるのは、｜Σ動きベクトルＸ成分｜及び｜Σ動きベクトルＹ成分｜が共に０となる場合のみであり、この時ベクトル類似度は０になる。例えば動きベクトルＸ成分がｘ、及び動きベクトルＹ成分が−ｙの動きベクトルと、動きベクトルＸ成分が−ｘ、及び動きベクトルＹ成分がｙの動きベクトルのみが存在する場合、ベクトル類似度が０になる。

この場合の２つの動きベクトルは互いに逆向きであり、一様な方向に向いているとはいえない。このように、ベクトル類似度が０の場合に、動きベクトルが一様な方向に向いていないことが起こり得る。従って、ベクトル類似度が０の場合は、補間フレーム画像表示タイミング調整部６は、フレーム画像１６の各ブロックの動きベクトルが画面内で一様な方向へ向いていない、即ち類似していないと判定する。

なお、上述したように、本実施形態において、閾値を１及び８としたが、例えば閾値を１及び７として、動きベクトルが類似していると判定されるベクトル類似度の範囲を狭めてもよい。これにより、補間フレーム画像の画像品位の評価基準がより厳しくなり、動きベクトルが類似しているか否かをより厳しく判定することが可能となる。従って、後述する補間フレーム画像表示タイミング調整部６による、ベクトル類似度を用いた補間フレーム画像の表示時間の調整をより厳密に行うことが出来る。

図３（ｂ）に示す動きベクトル情報の場合、ベクトル類似度は、ベクトル類似度算出部５により、
ベクトル類似度＝６２／６２＋０
＝１
と算出される。

図１の補間フレーム画像表示タイミング調整部６は、ベクトル類似度算出部５からベクトル類似度及び閾値を受け取る。次に上記ベクトル類似度及び上記閾値を比較し、上記ベクトル類似度が上記閾値で定まる１以上８以下の範囲内である場合、補間フレーム画像１５の表示開始時刻を、フレーム画像７の表示開始時刻とフレーム画像８の表示開始時刻との中間の時刻に決定する。あるいは上記ベクトル類似度が上記範囲外である場合、補間フレーム画像１５の表示開始時刻を、上記中間の時刻より遅い時刻に決定する。最後に決定された時刻に補間フレーム画像１５を出力する。

この場合、上記算出されたベクトル類似度は上記範囲内である。従って、図１の補間フレーム画像表示タイミング調整部６は、フレーム画像７の各ブロックの動きベクトルが画面内で一様な方向へ向いている、即ち類似していると判定する。この場合、生成された補間フレーム画像１５は，時刻（Ｑ＋１／３０）秒で表示される。フレーム画像８は、補間フレーム画像１５が表示されてからさらに１／３０秒後、即ちフレーム画像７が表示されてから１／１５秒後に表示される。

次に、図５に示すように、時刻Ｑでフレーム画像７と動きベクトルが異なるフレーム画像１６が表示される例について説明する。図５に示す複数のフレーム画像の表示シーケンスでは、フレーム画像１６が時刻Ｑで表示された後、フレーム画像１７は、時刻(Ｑ＋１／１５秒)で入力される。フレーム画像１８は、フレーム画像１７が時刻（Ｑ＋１／１５秒）で表示されてから、さらに１／１５秒に２以上の整数Ｌを掛けた時間を経過した時刻Ｐで表示される。

フレーム画像１６の各ブロックの動きベクトルを図６（ａ）に、図６（ａ）の動きベクトルから算出された動きベクトル情報を図６（ｂ）に示す。この場合、ベクトル類似度は、フレーム画像７が入力される場合と同様に算出され、
ベクトル類似度＝１０９／１５＋２９／１９＝７．２７＋１．５３
＝８．８
となる。

この場合、上記算出されたベクトル類似度が上記範囲外となる。従って、図１の補間フレーム画像表示タイミング調整部６は、フレーム画像１６の各ブロックの動きベクトルが画面内で一様な方向へ向いていない、即ち類似していないと判定する。この場合、生成された補間フレーム画像に知覚化されやすいノイズがあるとして、図１の補間フレーム画像表示タイミング調整部６は、図５に示すように、補間フレーム画像１９の表示時刻、即ち表示タイミングを、Ｑ＋１／３０＋１／６０＝（Ｑ＋３／６０）秒と調整することにより、補間フレーム画像１９の表示タイミングを遅くする。フレーム画像１７は、時刻（Ｑ＋３／６０）秒で補間フレーム画像１９が表示されてからさらに１／６０秒後に表示される。即ち、フレーム画像１６の表示時間が３／６０秒間、補間フレーム画像１９の表示時間が１／６０秒間となり、知覚化されやすいノイズを含むと考えられる補間フレーム画像の表示時間は、従来の１／３０秒間より短くなる。これにより上記補間フレーム画像に現れたノイズが視覚的に捉えられ難くなるので、動画像の画像品位を高く出来る。

ベクトル類似度の閾値については、補間フレーム画像生成方法によって変更することで、その画像生成方法に適した補間フレーム画像の表示タイミングを決定することが可能になる。

なお、補間フレーム画像の表示タイミングは、ベクトル類似度に応じて、現在のフレーム画像の表示タイミングと次のフレーム画像の表示タイミングとの中間の表示タイミングから、次のフレーム画像の表示タイミングまでの間で決定してもよい。これにより、補間フレーム画像の表示時間を１／３０秒間からさらに細かい時間粒度（１／Ｒ秒間隔、Ｒは３０以上の整数）にも調整出来るので、さらに細かい表示タイミング調整による動画像品位を向上出来る。

以上のように、本実施の形態の補間フレーム画像生成装置１は、上記課題を解決するために、複数の画素から構成される複数のフレーム画像により構成される低フレームレート動画像における各フレーム画像を複数の画像領域に分割するブロック分割部２と、上記画像領域それぞれについて動きベクトルを求め、上記動きベクトルから動きベクトル情報を算出する動きベクトル情報算出部３と、上記動きベクトルに基づいて補間フレーム画像を生成する補間フレーム画像生成部４とを備え、後段に設けられる図示しない液晶パネル等の画面上において上記補間フレーム画像を上記複数のフレーム画像の各フレーム画像間に表示する補間フレーム画像生成装置において、上記動きベクトル情報に基づいて、上記動きベクトルのベクトル類似度を算出するベクトル類似度算出部５と、上記補間フレーム画像の表示開始時刻を、上記ベクトル類似度が所定範囲外の値であるとき、現在のフレーム画像の表示開始時刻と次のフレーム画像の表示開始時刻との中間の時刻から、次のフレーム画像の表示開始時刻までの間で決定し、上記補間フレーム画像の表示時間を調整する補間フレーム画像表示タイミング調整部６とを備えている。

これにより、上記補間フレーム画像が、静止画として見た場合にノイズとして知覚化されやすい場合でも、表示時間を調整された補間フレーム画像を生成出来るので、該補間フレーム画像を含む動画像の画像品位を高く出来る。

本実施の形態の補間フレーム画像生成装置１では、動きベクトル情報算出部３により、上記複数の画像領域それぞれに存在する上記動きベクトルを、Ｘ成分及びＹ成分に分解し、これら２つの成分を数値化することにより、上記動きベクトル情報を算出し、上記複数の画像領域の全て動きベクトル情報に基づき、以下の式により上記ベクトル類似度を算出してもよい。
ベクトル類似度＝Σ｜動きベクトルＸ成分｜／｜Σ動きベクトルＸ成分｜＋
Σ｜動きベクトルＹ成分｜／｜Σ動きベクトルＹ成分｜
（但し、上式において、｜Σ動きベクトルＸ成分｜＝０の場合、Σ｜動きベクトルＸ成分｜／｜Σ動きベクトルＸ成分｜＝０、｜Σ動きベクトルＹ成分｜＝０の場合、Σ｜動きベクトルＹ成分｜／｜Σ動きベクトルＹ成分｜＝０とする。）
これにより、上記ベクトル類似度に基づいて上記補間フレーム画像の表示開始時刻を決定し、上記補間フレーム画像の表示時間を調整出来る。さらに、補間フレーム画像の画像品位が高い場合はベクトル類似度の数値が小さく、補間フレーム画像の画像品位が低い場合はベクトル類似度の数値が大きくなるので、補間フレーム画像の画像品位を簡易的に評価することが出来る。

本発明は、低フレームレート動画像を入力とするフレームレート変換において、補間フレーム画像の表示タイミングを調整することで、高品質な動画像を表示出来るので、フレームレートが１５フレーム毎秒であるH.264規格により圧縮された動画像に好適に利用することが出来る。

本発明の補間フレーム画像生成装置のブロック図である。 上記補間フレーム画像生成装置に入力される低フレームレート動画像の各フレーム画像の入力シーケンスである。 図３（ａ）は動きベクトルのベクトル図であり、図３（ｂ）は動きベクトル情報を示す図である。 補間フレーム画像を加えた複数のフレーム画像の表示シーケンスである。 他の補間フレーム画像を加えた複数のフレーム画像の表示シーケンスである。 図６（ａ）は他の動きベクトルのベクトル図であり、図６（ｂ）は他の動きベクトル情報を示す図である。 従来の補間フレーム画像生成装置のブロック図である。

符号の説明

１ 補間フレーム画像生成装置
２ ブロック分割部（画像領域分割手段）
３ 動きベクトル情報算出部（動きベクトル情報算出手段）
４ 補間フレーム画像生成部（補間フレーム画像生成手段）
５ ベクトル類似度算出部（ベクトル類似度算出手段）
６ 補間フレーム画像表示タイミング調整部（補間フレーム画像表示タイミング調整手段）
７〜９、１６〜１８ フレーム画像
１０、１２ 矩形ブロック
１１ 動きベクトル
１３、１４ 動きベクトル情報を記載する部分
１５、１９ 補間フレーム画像
Ｌ、Ｒ 整数
Ｍ，Ｎ フレーム画像入力時刻
Ｐ，Ｑ フレーム画像表示時刻

Claims (4)

1. 複数の画素から構成される複数のフレーム画像により構成される低フレームレート動画像における各フレーム画像を複数の画像領域に分割し、
   上記画像領域それぞれについて動きベクトルを求め、上記動きベクトルから動きベクトル情報を算出し、
   上記動きベクトルに基づいて補間フレーム画像を生成し、
   上記補間フレーム画像を上記複数のフレーム画像の各フレーム画像間に表示する補間フレーム画像表示方法において、
   上記動きベクトル情報に基づいて、上記動きベクトルのベクトル類似度を算出し、
   上記補間フレーム画像の表示開始時刻を、上記ベクトル類似度が所定範囲外の値であるとき、現在のフレーム画像の表示開始時刻と次のフレーム画像の表示開始時刻との中間の時刻から、次のフレーム画像の表示開始時刻までの間で決定し、上記補間フレーム画像の表示時間を調整することを特徴とする低フレームレート動画像の補間フレーム画像表示方法。
2. 上記複数の画像領域それぞれに存在する上記動きベクトルを、Ｘ成分及びＹ成分に分解し、これら２つの成分を数値化することにより、上記動きベクトル情報を算出し、
   上記複数の画像領域の全て動きベクトル情報に基づき、以下の式により上記ベクトル類似度を算出することを特徴とする請求項１に記載の低フレームレート動画像の補間フレーム画像表示方法。
   ベクトル類似度＝Σ｜動きベクトルＸ成分｜／｜Σ動きベクトルＸ成分｜＋
   Σ｜動きベクトルＹ成分｜／｜Σ動きベクトルＹ成分｜
   （但し、上式において、｜Σ動きベクトルＸ成分｜＝０の場合、Σ｜動きベクトルＸ成分｜／｜Σ動きベクトルＸ成分｜＝０、｜Σ動きベクトルＹ成分｜＝０の場合、Σ｜動きベクトルＹ成分｜／｜Σ動きベクトルＹ成分｜＝０とする。）
3. 複数の画素から構成される複数のフレーム画像により構成される低フレームレート動画像における各フレーム画像を複数の画像領域に分割する画像領域分割手段と、
   上記画像領域それぞれについて動きベクトルを求め、上記動きベクトルから動きベクトル情報を算出する動きベクトル情報算出手段と、
   上記動きベクトルに基づいて補間フレーム画像を生成する補間フレーム画像生成手段とを備え、
   後段に設けられる表示手段の画面上において上記補間フレーム画像を上記複数のフレーム画像の各フレーム画像間に表示する補間フレーム画像生成装置において、
   上記動きベクトル情報に基づいて、上記動きベクトルのベクトル類似度を算出するベクトル類似度算出手段と、
   上記補間フレーム画像の表示開始時刻を、上記ベクトル類似度が所定範囲外の値であるとき、現在のフレーム画像の表示開始時刻と次のフレーム画像の表示開始時刻との中間の時刻から、次のフレーム画像の表示開始時刻までの間で決定し、上記補間フレーム画像の表示時間を調整する補間フレーム画像表示開始時刻調整手段とを備えることを特徴とする低フレームレート動画像の補間フレーム画像生成装置。
4. 上記複数の画像領域それぞれに存在する上記動きベクトルを、Ｘ成分及びＹ成分に分解し、これら２つの成分を数値化することにより、上記動きベクトル情報を算出し、
   上記複数の画像領域の全て動きベクトル情報に基づき、以下の式により上記ベクトル類似度を算出することを特徴とする請求項３に記載の低フレームレート動画像の補間フレーム画像生成装置。
   ベクトル類似度＝Σ｜動きベクトルＸ成分｜／｜Σ動きベクトルＸ成分｜＋
   Σ｜動きベクトルＹ成分｜／｜Σ動きベクトルＹ成分｜
   （但し、上式において、｜Σ動きベクトルＸ成分｜＝０の場合、Σ｜動きベクトルＸ成分｜／｜Σ動きベクトルＸ成分｜＝０、｜Σ動きベクトルＹ成分｜＝０の場合、Σ｜動きベクトルＹ成分｜／｜Σ動きベクトルＹ成分｜＝０とする。）

Images