JP2011254370A - 画像処理装置及び方法、並びに画像表示装置及び方法 - Google Patents

Abstract

【課題】フレーム補間処理において、正しく補間フレームが生成できない。
【解決手段】第一の遅延フレーム（Ｆ１）から現フレーム（Ｆ０）への第一の動きベクトル（ＭＶ１）を、第一の遅延フレーム（Ｆ１）から補間フレーム（ＩＦ）への第二の動きベクトル（ＭＶ２）と、現フレーム（Ｆ０）から補間フレーム（ＩＦ）への第三の動きベクトル（ＭＶ３）に変換し（３）、第二の動きベクトル（ＭＶ２）、第三の動きベクトル（ＭＶ３）、第一の遅延フレーム（Ｆ１）のデータ、及び現フレーム（Ｆ０）のデータから補間フレームのデータ（ＩＦ）を生成する（４）。第二の遅延フレーム（Ｆ２）のデータと現フレーム（Ｆ０）のデータから複数のテスト補間データを生成し（６）、第一の遅延フレーム（Ｆ１）のデータに基づいて複数のテスト補間データの評価を行い（７）、評価データに基づいて第一の動きベクトルを生成する（８）。
【選択図】図１

Description

本発明は、画像処理装置及び方法、並びに画像表示装置及び方法に関する。本発明は特に、画像のフレーム間に新たな補間フレームを挿入するフレーム補間処理に関するものである。

液晶ディスプレイなどのホールド型ディスプレイは、１フレーム期間同じ画像を表示し続けており、画像中の物体が動いた場合に、動く物体に対する人間の目の追従が連続的に移動するのに対して、物体の移動が１フレーム単位の不連続な移動を行っているためにエッジ部分がぼやけて見える問題がある。これに対し、フレームを補間することで表示フレーム数を多くして物体の移動をスムーズにすることが考えられる。

また、映画などのフィルム映像がテレビ信号に変換された素材については、両者（フィルム映像とテレビ信号）のフレーム周波数の違いから、２フレーム又は３フレームが同じフレームから作られた画像信号となっており、そのまま表示すると、動きがぼやけたり、動きがギクシャクしたジャダーが発生したりする問題がある。

また、同様にコンピュータ処理された映像がテレビ信号に変換された素材についても、２フレームが同じフレームから作られた画像信号であり、そのまま表示すると同様にジャダーが発生する問題がある。

従来の画像処理装置及び方法は、補間フレームに対して１フレーム前のフレームと同じ画像で補間する零時ホールド法か、補間フレームに対して１フレーム前の画像と１フレーム後の画像の平均画像で補間する平均値補間法などがあるが、零時ホールド法は、一定方向に動く画像に対して、滑らかな移動をしないので、依然ホールド型ディスプレイのぼやけの問題は解決されない。また、平均値補間法は、動いた画像が２重像になる問題がある。

この改善策として、補間フレームの補間画素に対して点対称の位置にある時間的に前のフレーム上の画素と時間的に後のフレーム上の画素との画素間の相関が最も大きい画素から補間フレームの補間画素を生成するものがある（例えば、特許文献１参照）。この方法では、画素単位での相関検出のため、画像の内容が異なるにも拘らず、画素間の相関が大きいと検出される場合があり、正しく補間フレームが生成できない場合がある。

特開２００６−１２９１８１号公報（第８頁、第３図）

従来のフレーム補間処理は、上記の様に構成されており、動きがぼやけたり、動きがギクシャクしたジャダーが発生したりする問題がある。また、画素単位の相関を検出する方法では、正しく相関検出ができないために正しく補間フレームが生成できない問題がある。

本発明の画像処理装置は、
画像の現フレームと現フレームの１フレーム前のフレームのデータとの間に新たな補間フレームを挿入する画像処理装置において、
前記現フレームのデータ、及び前記第一の遅延フレームのデータ、並びに前記現フレームの２フレーム前のフレームである第二の遅延フレームのデータを参照して前記第一の遅延フレームから前記現フレームへの第一の動きベクトルを算出する動きベクトル検出部と、
前記第一の動きベクトルを、前記第一の遅延フレームから前記補間フレームへの第二の動きベクトルと、前記現フレームから前記補間フレームへの第三の動きベクトルに変換する動きベクトル変換部と、
前記第二の動きベクトル、前記第三の動きベクトル、前記第一の遅延フレームのデータ、及び前記現フレームのデータから前記補間フレームのデータを生成し、生成した補間フレームのデータを前記現フレームのデータと前記第一の遅延フレームのデータの間に挿入した画像データを出力する補間フレーム生成部とを備え、
前記動きベクトル検出部は、
前記第二の遅延フレームのデータと前記現フレームのデータから複数のテスト補間データを生成するテスト補間部と、
前記第一の遅延フレームのデータに基づいて前記複数のテスト補間データの評価を行う補間データ評価部と、
前記複数の評価データに基づいて第一の動きベクトルを生成する動きベクトル決定部とを備える
ことを特徴とする。

本発明によれば、時間的に連続する３枚のフレームの中心のフレームを最も確からしいものとして、時間的に前のフレーム及び後のフレームから中心のフレームへの動きベクトルを評価することで高精度な動きベクトルを算出することができるため、画像の乱れなく補間フレームを内挿することができる。

本発明の実施の形態１に係る画像表示装置の構成を示すブロック図である。 図１の動きベクトル検出部２のテスト補間部６、補間データ評価部７及び動きベクトル決定部の具体例を示すブロック図である。 図１の動きベクトル検出部２の動作を説明するための図である。 図１の動きベクトル変換部３及び補間フレーム生成部４の動作を説明するための図である。 図１の動きベクトル検出部２の具体例に用いる画像データと現フレームのデータと、第一の遅延フレームのデータと、第二のフレームのデータの対応関係を説明するための図である。 （ａ）〜（ｅ）は、図１の動きベクトル検出部２の動作の具体例を説明するための図である。 （ａ）及び（ｂ）は、図１の動きベクトル変換部３の動作の具体例を説明するための図である。 図１の補間フレーム生成部４の動作の具体例を説明するための図である。 本実施の形態に係る画像表示装置の処理工程を示すフローチャートである。

以下、本発明の実施の形態を図面により説明する。本発明に係る画像処理装置は、画像の現フレームＦ０データと現フレームＦ０の１フレーム前のフレームＦ１のデータである第一の遅延フレームとの間に新たな補間フレームＩＦのデータを挿入するものであり、本発明に係る画像表示装置には、上記の画像処理装置から出力された画像データを表示する画像表示部を備えるものである。

実施の形態１．
図１は、本発明の実施の形態１に係る画像表示装置の構成を示す図である。実施の形態１に係る画像表示装置は、フレームメモリ１と、動きベクトル検出部２と、動きベクトル変換部３と、補間フレーム生成部４と、画像表示部５を備える。

画像データＦ０が、フレームメモリ１、動きベクトル検出部２、及び補間フレーム生成部４に入力される。
フレームメモリ１は、画像データＦ０を２フレーム分保存し、画像データＦ０に対して１フレーム分遅延した画像データＦ１と、画像データＦ０に対して２フレーム分遅延した画像データＦ２を出力する。これより画像データＦ０を現フレームのデータ、画像データＦ１を第一の遅延フレームのデータ、画像データＦ２を第二の遅延フレームのデータと言う。また、現フレーム、第一の遅延フレーム、第二の遅延フレームをそれぞれのフレームデータと同じ符号Ｆ０、Ｆ１、Ｆ２で表す。

第一の遅延フレームＦ１のデータは動きベクトル検出部２と補間フレーム生成部４に入力され、第二の遅延フレームＦ２のデータは動きベクトル検出部２に入力される。

動きベクトル検出部２は、現フレームＦ０のデータと、第一の遅延フレームＦ１のデータと、第二の遅延フレームＦ２のデータを参照して、第一の遅延フレームＦ１上の各ブロック（フレームの一部を成す、複数の画素で構成される）について、第一の遅延フレームＦ１から現フレームＦ０への第一の動きベクトルＭＶ１を算出して、動きベクトル変換部３に出力する。

動きベクトル変換部３は、第一の動きベクトルＭＶ１を、第一の遅延フレームＦ１から補間フレームＩＦへの第二の動きベクトルＭＶ２と、現フレームＦ０から補間フレームＩＦへの第三の動きベクトルＭＶ３に変換して、補間フレーム生成部４に出力する。

補間フレーム生成部４は、第一の遅延フレームＦ１のデータ、現フレームＦ０のデータ、第二の動きベクトルＭＶ２及び第三の動きベクトルＭＶ３から、現フレームＦ０と第一の遅延フレームＦ１の間に位置する補間フレームＩＦのデータを生成し、生成した補間フレームＩＦのデータを現フレームＦ０のデータと第一の遅延フレームＦ１のデータの間に挿入した画像データＤＯを画像表示部５に出力する。
画像表示部５は、画像データＤＯを表示する。

次に、動きベクトル検出部２の構成について詳細に説明する。
動きベクトル検出部２は、現フレームブロック切り出し部１０、第一遅延フレームブロック切り出し部１１、第二遅延フレームブロック切り出し部１２、テスト補間部６、補間データ評価部７、及び動きベクトル決定部８を備える。

現フレームブロック切り出し部１０、第一遅延フレームブロック切り出し部１１、及び第二遅延フレームブロック切り出し部１２は、それぞれ、画面の一部を成すブロックを切り出し、ブロック内の画素のデータ（画素値）の集合をブロックデータとして出力する。各ブロックは例えば横方向Ｘ個、縦方向Ｙ個の画素（Ｙ個のライン）のサイズを有する矩形の領域から成る。即ち、現フレームＦ０から切り出されるブロックと、第一の遅延フレームＦ１から切り出されるブロックと、第二の遅延フレームＦ２から切り出されるブロックは、縦方向のサイズ（画素数）及び横方向のサイズ（画素数乃至ライン数）が互いに等しい。

現フレームブロック切り出し部１０は、現フレームＦ０からブロックを切り出し、第一遅延フレームブロック切り出し部１１は、第一の遅延フレームＦ１からブロックを切り出し、第二遅延フレームブロック切り出し部１２は、第二の遅延フレームＦ２からブロックを切り出す。

以下では、補間フレームＩＦ内の一つのブロックを補間により生成するに当たっての処理を説明する。この処理のためには、補間フレームＩＦ内の補間しようとするブロックに対応する第一の遅延フレームＦ１内の一つのブロックと、現フレームＦ０内の複数のブロックと、第二の遅延フレームＦ２内の複数のブロックが切り出される。現フレームＦ０から切り出されるブロックと、第二の遅延フレームＦ２から切り出されるブロックとは、第一の遅延フレームＦ１内のブロック（厳密には、その中心位置）を中心として点対称の位置にあるもので、これらが対として用いられる。即ち、現フレームブロック切り出し部１０及び第二遅延フレームブロック切り出し部１２は、第一の遅延フレームＦ１内のブロックを中心とし、一方が現フレームＦ０内に位置し、他方が第二の遅延フレームＦ２内に位置するブロックの対を複数個切り出す。

現フレームＦ０及び第二の遅延フレームＦ２からのブロックの対は、動きベクトル検出部２において検出される動きベクトルの候補に対応するものであり、例えば動きベクトルの探索範囲内のすべてのブロックが切り出される。例えば、第一の遅延フレームＦ１内の一つのブロックの中心位置を中心として、横方向に±ＨＳ画素、縦方向に±ＶＳ画素（±ＶＳライン）の範囲を探索する場合、第二の遅延フレームＦ２及び現フレームＦ０から、それぞれ（２ＨＳ＋１）×（２ＶＳ＋１）個のブロックが切り出される。

なお、探索範囲内のすべてのブロックについて評価を行う必要がない場合、例えば予め或いは他の情報により動きの方向の範囲が予測できる場合には、上記の探索範囲の予測される範囲内のブロックのみを切り出すこととしても良い。また、探索範囲内のブロックを間引きながら（例えば水平方向及び垂直方向に１画素おきに）切り出すこととしても良い。

以下では、現フレームＦ０及び第二の遅延フレームＦ２から切り出されるブロックの数をＭとし、現フレームＦ０から切り出されるブロックを第１乃至第ＭのブロックＦ０Ｂ１〜Ｆ０ＢＭ、第二の遅延フレームＦ２から切り出されるブロックを第１乃至第ＭのブロックＦ２Ｂ１〜Ｆ２ＢＭと呼ぶ。また、各ブロックのデータをブロックと同じ符号で表す。

第二の遅延フレームＦ２内の第ｍのブロックＦ２Ｂｍ（ｍ＝１〜Ｍ）と現フレームＦ０内の第ｍのブロックＦ０Ｂｍとは、第二の遅延フレームＦ１内のブロックＦ１Ｂ１（厳密にはその中心の画素）を中心として点対称の位置にあるので、ブロックＦ２ＢｍのブロックＦ１Ｂ１に対する横方向のずれをｈ（ｈ＝−ＨＳ〜＋ＨＳ）、縦方向のずれをｖ（ｖ＝−ＶＳ〜＋ＶＳ）とすると、ブロックＦ０ＢｍのブロックＦ１Ｂ１に対する横方向のずれは−ｈ、縦方向のずれは−ｖである。

現フレームブロック切り出し部１０は、現フレーム内の複数の、即ち第一乃至第Ｍのブロックを切り出して、第一乃至第ＭのブロックデータＦ０Ｂ１〜Ｆ０ＢＭを出力する。
第一遅延フレームブロック切り出し部１１は、第一の遅延フレーム内のブロックＦ１Ｂ１を切り出す。このブロックＦ１Ｂ１は、補間フレームＩＦ内の補間対象ブロックに対応するものである。
第二遅延フレームブロック切り出し部１２は、第二の遅延フレーム内の複数の、即ち第一乃至第Ｍのブロックを切り出して、第一乃至第ＭのブロックデータＦ２Ｂ１〜Ｆ２ＢＭを出力する。

現フレームＦ０のブロックデータと第二の遅延フレームＦ２のブロックデータが、テスト補間部６に入力される。テスト補間部６は、第二の遅延フレームＦ２のブロックデータと現フレームＦ０のブロックデータのうち、第一の遅延フレームＦ１内のブロックＦ１Ｂ１を中心として、互いに点対称の位置にある第一の遅延フレームＦ１内のブロックと、現フレームＦ０内のブロックから成るブロック対のデータに基づいて、テスト補間データを生成する。複数のブロック対に基づいて複数のテスト補間データが生成される。このテスト補間は、上記点対称の中心位置、即ち上記第一のフレームＦ１内のブロックＦ１Ｂ１のデータが未知であると仮定して行うものであり、補間が正確であればあるほど、テスト補間データは、ブロックＦ１Ｂ１のデータとの相関が高いものとなる。

補間データ評価部７は、第一の遅延フレームＦ１のブロックデータを参照して複数のテスト補間データの評価を行い、評価データＥＤを動きベクトル決定部８に出力する。この評価においては、テスト補間データと、第一の遅延フレームＦ１のブロックデータとの相関を求め、相関が高いほど高い評価が与えられる。

動きベクトル決定部８は、評価データＥＤに基づいて第一の動きベクトルＭＶ１を生成して出力する。

次に、図２を参照して動きベクトル検出部２のテスト補間部６、補間データ評価部７及び動きベクトル決定部の具体例についてさらに詳しく説明する。

テスト補間部６は、複数の、即ち第一乃至第Ｍのテスト補間データ生成部６−１〜６−Ｍを備え、補間データ評価部７は複数の、即ち第一乃至第Ｍの差分絶対値和算出部７−１〜７−Ｍを備えるものとして図示されている。

テスト補間データ生成部６−１〜６−Ｍは、現フレームＦ０のブロックのデータＦ０Ｂ１〜Ｆ０ＢＭと、それぞれこれらと対をなす第二の遅延フレームＦ２のブロックのデータＦ２Ｂ１〜Ｆ２ＢＭを画素ごとに平均することで得られる平均値から成るデータをテスト補間データＴＤ1〜ＴＤＭとして算出する。図１には、テスト補間データＴＤ１〜ＴＤＭの集合が符号ＴＤで表されている。

以下、より詳しく説明する。
現フレームＦ０の第一のブロックデータＦ０Ｂ１と第二の遅延フレームＦ２の第一のブロックデータＦ２Ｂ１がテスト補間データ生成部６−１に入力される。

テスト補間データ生成部６−１は、現フレームＦ０の第一のブロックデータＦ０Ｂ１と第二の遅延フレームＦ２の第一のブロックデータＦ２Ｂ１の画素ごとの平均値を第一のテスト補間データＴＤ１として差分絶対値和算出部７−１に出力する。ここで画素ごとの平均値とは、現フレームＦ０内のブロックにおける各画素と、第二の遅延フレーム内のブロックにおける対応する位置の画素の画素値(例えばそれぞれのブロックの基準位置、例えば左上隅を原点として同じ座標値で表される画素の画素値）の平均値を意味する。

同様に、現フレームＦ０の第二のブロックデータＦ０Ｂ２と第二の遅延フレームＦ２の第二のブロックデータＦ２Ｂ２がテスト補間データ生成部６−２に入力される。テスト補間データ生成部６−２は、現フレームＦ０の第二のブロックデータＦ０Ｂ２と第二の遅延フレームＦ２の第二のブロックデータＦ２Ｂ２の画素ごとの平均値を第二のテスト補間データＴＤ２として差分絶対値和算出部７−２に出力する。

テスト補間データ生成部６−３〜６−Ｍも同様に現フレームＦ０の第三のブロックデータＦ０Ｂ３乃至第ＭのブロックデータＦ０ＢＭと第二の遅延フレームＦ２の第三のブロックデータＦ２Ｂ３乃至第ＭのブロックデータＦ２ＢＭに基づいて第三のテスト補間データＴＤ３乃至第Ｍのテスト補間データＴＤＭを生成し、差分絶対値和算出部７−３〜７−Ｍに出力する。

一般化して言えば、テスト補間データ生成部６−ｍは、現フレームＦ０の第ｍのブロックデータＦ０Ｂｍ（ｍ＝１〜Ｍ）と第二の遅延フレームＦ２の第ｍのブロックデータＦ２Ｂｍに基づいて第ｍのテスト補間データＴＤｍを生成し、差分絶対値和算出部７−ｍに出力する。

第一の遅延フレームＦ１のブロックデータＦ１Ｂ１が補間データ評価部７内の差分絶対値和算出部７−１〜７−Ｍに入力される。

差分絶対値和算出部７−１〜７−Ｍは、それぞれテスト補間データ生成部６から出力されるテスト補間データＴＤ１〜ＴＤＭと第一の遅延フレームＦ１のブロックデータＦ１Ｂ１の差分絶対値和を算出し、評価データＥＤ１〜ＥＤＭとして出力する。

差分絶対値和算出部７−１は、第一のテスト補間データＴＤ１の各画素のデータと第一の遅延フレームＦ１のブロックデータＦ１Ｂ１の各画素のデータの差分絶対値の和を算出し、評価データＥＤ１として動きベクトル決定部８に出力する。差分絶対値和は式（１）により表される。

式（１）で与えられる差分絶対値和は、その値が小さいほど、相関が高いことを意味し、差分絶対値和ＳＡＤを評価データとして用いる場合、その値が小さいほど、評価が高いことを表す。

ここで、ＢＫ１、ＢＫ２はブロック内の各画素のデータであり、ＢＫ１をテスト補間データＴＤ１を構成する各画素のデータ、ＢＫ２をブロックＦ１Ｂ１内の各画素のデータとすると式（１）は第一のテスト補間データＴＤ１の各画素のデータと第一の遅延フレームＦ１のブロックデータＦ１Ｂ１の各画素のデータの差分絶対値和となり、差分絶対値和ＳＡＤが評価データＥＤ１として差分絶対値和算出部７−１から出力される。

差分絶対値和算出部７−２〜７−Ｍも同様に、第二のテスト補間データＴＤ２乃至第Ｍのテスト補間データＴＤＭと第一の遅延フレームＦ１のブロックデータＦ１Ｂ１の差分絶対値和を算出し、評価データＥＤ２〜ＥＤＭとして動きベクトル決定部８に出力する。

動きベクトル決定部８は、評価データＥＤ１〜ＥＤＭのうち最も評価の高い評価データ
(最も小さい差分絶対値和)に対応するブロック対を構成する現フレームＦ０のブロックと第二の遅延フレームＦ２のブロックとの位置の差（第二の遅延フレームＦ２内のブロックに対する現フレームＦ０内のブロックの相対位置）の１／２を動きベクトルＭＶ１として出力する。

図３は、動きベクトル検出部２の動作を説明するための図である。Ｍ＝２の場合について説明する。
第一の遅延フレームＦ１の一部の領域が第一の遅延フレームＦ１のブロックデータＦ１Ｂ１として切り出されている。

第一の遅延フレームＦ１のブロックデータＦ１Ｂ１に対してベクトル−Ｖ１ずらした位置に対応する領域が第二の遅延フレームＦ２の第一のブロックデータＦ２Ｂ１として設定されて切り出され、ベクトル＋Ｖずらした位置に対応する領域が現フレームＦ０の第一のブロックデータＦ０Ｂ１として設定されて切り出される。

また、第一の遅延フレームＦ１のブロックデータＦ１Ｂ１に対してベクトル−Ｖ２ずらした位置に対応する領域が第二の遅延フレームＦ２の第二のブロックデータＦ２Ｂ２として設定されて切り出され、ベクトル＋Ｖ２ずらした位置に対応する領域が現フレームＦ０の第二のブロックデータＦ０Ｂ２として設定されて切り出される。

テスト補間データ生成部６−１は、現フレームＦ０の第一のブロックデータＦ０Ｂ１と第二の遅延フレームＦ２の第一のブロックデータＦ２Ｂ１を画素ごとに平均してテスト補間データＴＤ１を生成する。
テスト補間データ生成部６−２も同様に、現フレームＦ０の第二のブロックデータＦ０Ｂ２と第二の遅延フレームＦ２の第二のブロックデータＦ２Ｂ２を画素ごとに平均してテスト補間データＴＤ２を生成する。

差分絶対値和算出部７−１は、テスト補間データＴＤ１と第一の遅延フレームＦ１のブロックデータＦ１Ｂ１から式（１）を使って差分絶対値和ＳＡＤを算出し、評価データＥＤ１として出力する。

差分絶対値和算出部７−２も同様に、テスト補間データＴＤ２と第一の遅延フレームＦ１のブロックデータＦ１Ｂ１から式（１）を使って差分絶対値和ＳＡＤを算出し、評価データＥＤ２として出力する。

動きベクトル決定部８は、評価データＥＤ１及びＥＤ２のうち値が小さい方を生じさせたブロック対を構成するブロックについての上記のずれ（＋Ｖ１又は＋Ｖ２）を、動きベクトルＭＶ１として出力する。例えば、評価データＥＤ２より評価データＥＤ１の方が小さい場合、ベクトルＶ１を動きベクトルＭＶ１として出力する。

図３では、２つのベクトルから第一の動きベクトルを決定する方法について説明したが、本発明に係る実施の形態の構成はＭ＝２に限定されない。即ち、候補としてのベクトルを３個以上設定しても良い。例えば、第一の遅延フレーム内のブロックＦ１Ｂ１に対して、所定の動き量に対応する探索範囲内に位置する第二の遅延フレーム内のすべてのブロック及びこれと点対称位置にある現フレーム内のブロックについてのテスト補間を行うこととしても良い。

動きベクトル検出部２では、上記のように実在のデータである第二遅延フレームＦ１内のデータを用いてベクトルの候補を評価することにより動きベクトルを決定しているので現フレームＦ０から第一の遅延フレームＦ１への動きベクトルを精度良く算出することができる。

なお、補間データ評価部７では差分絶対値和を用いて評価データを算出したが、相関を求める関数は自乗誤差和など他にも多数あり、これに置き換えることも可能である。

次に、図４を参照して、動きベクトル変換部３及び補間フレーム生成部４の動作についてより詳細に説明する。

動きベクトル変換部３は、第一の遅延フレームＦ１から現フレームＦ０への動きベクトルＭＶ１を、第一の遅延フレームＦ１から補間フレームＩＦへの第二の動きベクトルＭＶ２と、現フレームＦ０から補間フレームＩＦへの第三の動きベクトルＭＶ３に変換する。

図４に示すように入力フレームの時間間隔をｔ１、第一の遅延フレームＦ１から補間フレームＩＦへの時間間隔をｔ２とした時、式（２Ａ）及び式（２Ｂ）により動きベクトルＭＶ２及びＭＶ３を算出する。たとえば、６０Ｈｚの入力画像信号から１２０Ｈｚの画像信号に変換する場合、ｔ１は１／６０秒、ｔ２は１／１２０秒となる。

ＭＶ２＝ＭＶ１×ｔ２／ｔ１ …（２Ａ）
ＭＶ３＝−ＭＶ１×（ｔ１−ｔ２）／ｔ１ …（２Ｂ）

このような変換は、第一の遅延フレームＦ１から現フレームＦ０へのベクトルＭＶ１を、第一の遅延フレームＦ１と補間フレームＩＦと現フレームＦ０との時間間隔（ｔ２、ｔ１−ｔ２）に応じて内分する処理を用いた変換であると言える。

このようにして第二及び第三のベクトルＭＶ２及びＭＶ３を求めたら、図４に示すように補間フレームＩＦからベクトル−ＭＶ２の位置の第一の遅延フレームＦ１のデータ（ブロックＦ１Ｂ１内のデータ）と補間フレームＩＦからベクトル−ＭＶ３の位置の現フレームＦ０のデータ（ブロックＦ０Ｂ１内のデータ）の平均を補間フレームＩＦのデータとして算出する。生成したデータから成る補間フレームＩＦのデータを第一の遅延フレームＦ１のデータと現フレームＦ０のデータ間に内挿して出力する。このとき、補間に用いられる第一の遅延フレームＦ１のブロックデータＦ１Ｂ１と、現フレームＦ０のブロックデータＦ０Ｂ１とは、補間フレームＩＦ内の補間により得られるデータの位置を中心として、互いに対称の位置にある。

図５は、動きベクトル検出部２の具体例に用いる現フレームＦ０のデータ、第一の遅延フレームＦ１のデータ、第二のフレームＦ２のデータの対応関係を説明するための図である。図５に示すような映像を表す信号が入力された場合の本実施の形態１の動作を説明する。図５に示す映像においては、クロスハッチングを施した丸ＢＣが時間とともに左上から右下へ移動しており、クロスハッチングを施した星ＳＡ、ＳＢは移動しない。

図６（ａ）〜（ｅ）は、動きベクトル検出部２の動作の具体例を説明するための図である。図６（ａ）は動きベクトル検出部２に入力される画像データの具体例を説明するための図である。図６（ｂ）〜（ｅ）はテスト補間部６及び補間データ評価部７の動作を説明するための図である。

図６（ａ）に示すような第二の遅延フレームＦ２のデータ、第一の遅延フレームＦ１のデータ、現フレームＦ０のデータを入力とした場合の動きベクトル検出部２の動作を説明する。

テスト補間部６では、動きベクトルごとにテスト補間データを生成する。図６（ｂ）に示すように第一の遅延フレームＦ１の一部の領域を第一の遅延フレームＦ１のブロックデータＦ１Ｂ１とし、第一の遅延フレームＦ１のブロックデータＦ１Ｂ１から−Ｖ１ずらした位置の第二の遅延フレームＦ２のブロックデータを第一のブロックデータＦ２Ｂ１とし、
第一の遅延フレームＦ１のブロックデータＦ１Ｂ１からＶ１ずらした位置の現フレームＦ０のブロックデータをブロックデータＦ０Ｂ１とする。また、
第一の遅延フレームＦ１のブロックデータＦ１Ｂ１から−Ｖ２ずらした位置の第二の遅延フレームＦ２のブロックデータをブロックデータＦ２Ｂ２とし、
第一の遅延フレームＦ１のブロックデータＦ１Ｂ１からＶ２ずらした位置の現フレームＦ０のブロックデータをブロックデータＦ０Ｂ２とし、
第一の遅延フレームＦ１のブロックデータＦ１Ｂ１から−Ｖ３ずらした位置の第二の遅延フレームＦ２のブロックデータをブロックデータＦ２Ｂ３とし、
第一の遅延フレームＦ１のブロックデータＦ１Ｂ１からＶ３ずらした位置の現フレームＦ０のブロックデータをブロックデータＦ０Ｂ３とする。

図６（ｃ）に示すように、第一のブロックデータＦ２Ｂ１と、ブロックデータＦ０Ｂ１から画素ごとの平均をテスト補間データＴＤ１として生成する。図６（ｃ）には、テスト補間データＴＤ１で表される画像に丸ＢＣＴＩが含まれることを示す。同様に、図６（ｄ）、（ｅ）に示すようにテスト補間データＴＤ２、ＴＤ３を生成する。

補間データ評価部７では、図６（ｃ）〜（ｅ）に示すようなテスト補間データＴＤ１〜ＴＤ３のそれぞれとブロックデータＦ１Ｂ１との差分絶対値和を算出し、評価データＥＤ１〜ＥＤ３を出力する。図６（ａ）〜（ｅ）の具体例では、テスト補間データＴＤ１で表される画像がクロスハッチングを施した丸ＢＣを含み、ブロックＦ１Ｂ１との差分絶対値和が一番小さくなるので評価データＥＤ１が一番小さくなる。

動きベクトル決定部８では、評価データＥＤ１〜ＥＤ３のうち一番小さい評価データＥＤ１に対応した動きベクトルＶ１がブロックデータＦ１Ｂ１の動きベクトルとして出力される。

第一の遅延フレームＦ１についてもれなく（隙間なく）ブロックを設定し動きベクトルを算出することで第一の遅延フレームＦ１のすべての部分について第一の動きベクトルＭＶ１が生成される。即ち、第一の遅延フレームＦ１を、複数の、例えば互いに等しい大きさのブロックに分割し、各ブロックについて上記の処理を行うことで、当該ブロックについての第一の動きベクトルＭＶ１を生成し、当該ブロックに対応する位置、例えば同じ位置にある、補間フレーム内のブロックについて、上記第一の動きベクトルを用いた変換を行うことで、第二及び第三の動きベクトルを求めることとしても良い。

また、第一の遅延フレーム内の各画素を中心とする所定の大きさのブロックについて、上記の処理を行うことで、当該画素についての第一の動きベクトルＭＶ１を生成し、当該画素に対応する位置、例えば同じ位置にある、補間フレーム内の画素について、上記第一の動きベクトルを用いた変換を行うことで、第二及び第三の動きベクトルを求めることとしても良い。

図７（ａ）及び（ｂ）は、動きベクトル変換部３の動作の具体例を説明するための図である。図７（ａ）は動きベクトル変換部３の入力、図７（ｂ）は動きベクトル変換部３の出力を示す。

動きベクトル変換部３は、図７（ａ）に示される、第一の遅延フレームＦ１から現フレームＦ０への動きベクトルＭＶ１に対して式（２Ａ）及び式（２Ｂ）を用いて、さらに、ｔ２＝ｔ１／２として、図７（ｂ）に示される、第一の遅延フレームＦ１から補間フレームＩＦへの第二の動きベクトルＭＶ２と現フレームＦ０から補間フレームＩＦへの第三の動きベクトルＭＶ３に変換する。図７（ａ）及び（ｂ）に示す具体例では、ＭＶ１はＶ１、ｔ１は１／６０秒、ｔ２は１／１２０秒なので、式（２Ａ）及び式（２Ｂ）よりＭＶ２はＶ／２、ＭＶ３は−Ｖ／２となる。

図８は、補間フレーム生成部４の動作の具体例を説明するための図である。図８に示すように補間フレームＩＦから−ＭＶ２動かした位置の第一の遅延フレームＦ１のデータと−ＭＶ３動かした位置の現フレームＦ０のデータの平均を補間フレームＩＦのデータとして算出する。生成した補間フレームＩＦを第一の遅延フレームＦ１と現フレームＦ０の間に内挿して出力する。図８には、第一の遅延フレームＦ１の丸ＢＣと現フレームＦ０の丸ＢＣにより生成された丸ＢＣＩと、第一の遅延フレームＦ１の星ＳＡと現フレームＦ０の星ＳＡにより生成された星ＳＡＩと、第一の遅延フレームＦ１の星ＳＢと現フレームＦ０の星ＳＢにより生成された星ＳＢＩが補間フレームＩＦに含まれることが示されている。

以上より、本実施の形態では、動きベクトルの評価を行うことにより動きベクトルが精度良く検出され、画像の乱れなく補間フレームを内挿することができる。

図９は、以上に説明した本実施の形態に係る画像表示装置の処理工程を示すフローチャートである。

まず、動きベクトル検出ステップＳＴ１では、画像データＦ０と、画像データＦ０に対して１フレーム遅延した画像データＦ１と、画像データＦ０に対して２フレーム分遅延した画像データＦ２を参照して第一の遅延フレームＦ１から現フレームＦ０への第一の動きベクトルＭＶ１を生成する。この動作は、動きベクトル検出部２と同等である。

動きベクトル変換ステップＳＴ２では、第一の動きベクトルＭＶ１を、第一の遅延フレームＦ１から補間フレームＩＦ（現フレームＦ０と第一の遅延フレームＦ１の間に挿入される）への第二の動きベクトルＭＶ２と、現フレームＦ０から補間フレームＩＦへの第三の動きベクトルＭＶ３に変換する。この動作は、動きベクトル変換部３と同等である。

補間フレーム生成ステップＳＴ３では、第一の遅延フレームＦ１のデータ、現フレームＦ０のデータ、第二の動きベクトルＭＶ２及び第三の動きベクトルＭＶ３から補間フレームＩＦのデータを生成し、生成した補間フレームＩＦのデータを現フレームＦ０のデータと第一の遅延フレームＦ１のデータの間に挿入した画像データＤＯを生成する。この動作は、補間フレーム生成部４と同等である。

図９は、本実施の形態に係る画像表示装置の一部をソフトウェアとして実装したものであるのでその効果は同等である。

１ フレームメモリ、 ２ 動きベクトル検出部、 ３ 動きベクトル変換部、 ４ 補間フレーム生成部、 ５ 画像表示部、 ６ テスト補間部、 ７ 補間データ評価部、 ８ 動きベクトル決定部。

Claims (14)

1. 画像の現フレームと現フレームの１フレーム前のフレームのデータとの間に新たな補間フレームを挿入する画像処理装置において、
   前記現フレームのデータ、及び前記第一の遅延フレームのデータ、並びに前記現フレームの２フレーム前のフレームである第二の遅延フレームのデータを参照して前記第一の遅延フレームから前記現フレームへの第一の動きベクトルを算出する動きベクトル検出部と、
   前記第一の動きベクトルを、前記第一の遅延フレームから前記補間フレームへの第二の動きベクトルと、前記現フレームから前記補間フレームへの第三の動きベクトルに変換する動きベクトル変換部と、
   前記第二の動きベクトル、前記第三の動きベクトル、前記第一の遅延フレームのデータ、及び前記現フレームのデータから前記補間フレームのデータを生成し、生成した補間フレームのデータを前記現フレームのデータと前記第一の遅延フレームのデータの間に挿入した画像データを出力する補間フレーム生成部とを備え、
   前記動きベクトル検出部は、
   前記第二の遅延フレームのデータと前記現フレームのデータから複数のテスト補間データを生成するテスト補間部と、
   前記第一の遅延フレームのデータに基づいて前記複数のテスト補間データの評価を行う補間データ評価部と、
   前記複数の評価データに基づいて第一の動きベクトルを生成する動きベクトル決定部とを備える
   ことを特徴とする画像処理装置。
2. 前記テスト補間部は、前記第一の遅延フレーム内の複数の画素から成るブロックを中心として、互いに点対称の位置にある、前記第二の遅延フレーム内の複数の画素から成るブロックと、前記現フレーム内の複数の画素から成るブロックのデータに基づいて、前記テスト補間データを生成する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記補間データ評価部は、前記テスト補間データ生成部から出力される前記テスト補間データと、前記第一の遅延フレーム内の前記点対称の中心となる位置にあるブロックのデータの相関を算出することを特徴とする請求項２に記載の画像処理装置。
4. 前記補間データ評価部は、前記相関として、前記ブロックの互いに対応する位置にある画素のデータの差分絶対値和を算出することを特徴とする請求項３に記載の画像処理装置。
5. 前記テスト補間部は、前記現フレームのブロックデータと前記第二の遅延フレームのブロックデータを画素ごとに平均したブロックデータを前記テスト補間データとして算出する複数個のテスト補間データ生成部を備えることを特徴とする請求項１又は２に記載の画像処理装置。
6. 前記補間データ評価部は、前記テスト補間データ生成部から出力される前記テスト補間データと前記第一の遅延フレーム内のブロックのデータの差分絶対値和を算出する複数個の差分絶対値和算出部を備えることを特徴とする請求項１、４又は５に記載の画像処理装置。
7. 請求項１から６のいずれかに記載の画像処理装置と、
   前記補間フレーム生成部より出力された画像データを表示する画像表示部とを
   備えることを特徴とする画像表示装置。
8. 画像の現フレームと現フレームの１フレーム前のフレームのデータとの間に新たな補間フレームを挿入する画像処理方法において、
   前記現フレームのデータ、及び前記第一の遅延フレームのデータ、並びに前記現フレームの２フレーム前のフレームである第二の遅延フレームのデータを参照して前記第一の遅延フレームから前記現フレームへの第一の動きベクトルを算出する動きベクトル検出ステップと、
   前記第一の動きベクトルを、前記第一の遅延フレームから前記補間フレームへの第二の動きベクトルと、前記現フレームから前記補間フレームへの第三の動きベクトルに変換する動きベクトル変換ステップと、
   前記第二の動きベクトル、前記第三の動きベクトル、前記第一の遅延フレームのデータ、及び前記現フレームのデータから前記補間フレームのデータを生成し、生成した補間フレームのデータを前記現フレームのデータと前記第一の遅延フレームのデータの間に挿入した画像データを出力する補間フレーム生成ステップとを備え、
   前記動きベクトル検出ステップは、
   前記第二の遅延フレームのデータと前記現フレームのデータから複数のテスト補間データを生成するテスト補間ステップと、
   前記第一の遅延フレームのデータに基づいて前記複数のテスト補間データの評価を行う補間データ評価ステップと、
   前記複数の評価データに基づいて第一の動きベクトルを生成する動きベクトル決定ステップとを備える
   ことを特徴とする画像処理方法。
9. 前記テスト補間ステップは、前記第一の遅延フレーム内の複数の画素から成るブロックを中心として、互いに点対称の位置にある、前記第二の遅延フレーム内の複数の画素から成るブロックと、前記現フレーム内の複数の画素から成るブロックのデータに基づいて、前記テスト補間データを生成する
   ことを特徴とする請求項８に記載の画像処理方法。
10. 前記補間データ評価ステップは、前記テスト補間データ生成ステップから出力される前記テスト補間データと、前記第一の遅延フレーム内の前記点対称の中心となる位置にあるブロックのデータの相関を算出することを特徴とする請求項９に記載の画像処理方法。
11. 前記補間データ評価ステップは、前記相関として、前記ブロックの互いに対応する位置にある画素のデータの差分絶対値和を算出することを特徴とする請求項１０に記載の画像処理方法。
12. 前記テスト補間ステップは、前記現フレームのブロックデータと前記第二の遅延フレームのブロックデータを画素ごとに平均したブロックデータを前記テスト補間データとして算出する複数個のテスト補間データ生成ステップを備えることを特徴とする請求項８又は９に記載の画像処理方法。
13. 前記補間データ評価ステップは、前記テスト補間データ生成ステップから出力される前記テスト補間データと前記第一の遅延フレーム内のブロックのデータの差分絶対値和を算出する複数個の差分絶対値和算出ステップを備えることを特徴とする請求項８、１１又は１２に記載の画像処理方法。
14. 請求項８から１３のいずれかに記載の画像処理方法と、
    前記補間フレーム生成ステップより出力された画像データを表示する画像表示ステップとを
    備えることを特徴とする画像表示方法。

Images