JP2011083036A

JP2011083036A - 補間画素データ生成装置及び方法

Info

Publication number: JP2011083036A
Application number: JP2011003825A
Authority: JP
Inventors: Hiroshi Noguchi; 浩史野口
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2011-01-12
Filing date: 2011-01-12
Publication date: 2011-04-21
Anticipated expiration: 2029-10-08
Also published as: JP4735779B2

Abstract

【課題】動きベクトルの誤検出に起因する誤補間を低減させることができる補間画素データ生成装置を提供する。
【解決手段】相関検出部２１，２２は２種類の相関検出方法で相関を求める。相関比較部２３，２４は最大相関値を示す方向の動きベクトルＭＶ１，ＭＶ２と相関値ＤＦ１，ＤＦ２を出力する。相関比較部２５は相関が大きい方の動きベクトルを動きベクトルＭＶ３として選択し、補間部３における補間方法を決定するための補間制御信号ＦＳ１を出力する。補間部３は、補間制御信号ＦＳ１に応じて２種類の片側補間と両側補間とのいずれかを選択して補間画素データＰfp0を生成する。
【選択図】図１

Description

本発明は、動画像の動きベクトルを用いて補間画素を生成する補間画素データ生成装置及び方法に関する。

液晶パネルを用いた画像表示装置で動画像を表示すると残像が生じやすい。そこで、残像を低減させるため、映像信号の実フレーム間に補間フレームを内挿してフレーム数を増大させ、例えば垂直周波数６０Ｈｚのフレームレートを２倍の１２０Ｈｚまたはそれ以上の垂直周波数に変換して画像表示することが行われている。フレームレート変換を行う映像信号処理装置においては、画像の動きベクトルを検出し、動きベクトルを用いて各補間画素を生成し、実フレーム間に内挿する補間フレームを生成する。

動きベクトルを用いて補間画素を生成し、実フレーム間に補間フレームを内挿してフレームレートを変換する動き補償型のフレームレート変換装置は、一例として、特許文献１に記載されている。

特開２００６−３３１１３６号公報

動き補償型のフレームレート変換装置においては、時間的に前後する画像から本来存在しない画像を予測して生成するので、誤った画像を生成する、いわゆる誤補間が発生する場合がある。一例として、空間的に前に位置する前景の画像と空間的に後ろに位置する背景の画像との動きが異なる場合には、誤補間が発生しやすい。前景と背景との境界付近では動きベクトルの誤検出が発生しやすく、誤補間により不自然で違和感のある補間画像が発生してしまうという問題点がある。

本発明はこのような問題点に鑑みなされたものであり、動きベクトルの誤検出に起因する誤補間を低減させることができる補間画素データ生成装置及び方法を提供することを目的とする。

本発明は、上述した従来の技術の課題を解決するため、第１のフレーム上の画素データであり、前記第１のフレームと前記第１のフレームより過去の第２のフレームとの間に内挿する補間フレーム上の補間画素データと同一位置にある第１の画素データと、前記第２のフレーム上の複数の画素データそれぞれとの相関値を検出する第１の相関検出部（２１）と、前記第１の相関検出部より出力された相関値の内、相関が最も大きい第１の最大相関値と、この第１の最大相関値を示す方向を第１の動きベクトルとして出力する第１の相関比較部（２３）と、前記第２のフレーム上の画素データであり、前記補間画素データと同一位置にある第２の画素データと、前記第１のフレーム上の複数の画素データそれぞれとの相関値を検出する第２の相関検出部（２２）と、前記第２の相関検出部より出力された相関値の内、相関が最も大きい第２の最大相関値と、この第２の最大相関値を示す方向を第２の動きベクトルとして出力する第２の相関比較部（２４）と、前記第１の動きベクトルと前記第２の動きベクトルの内、前記第１の最大相関値と前記第２の最大相関値との内で相関が大きい方の動きベクトルを最終的な第３の動きベクトルとして出力する第３の相関比較部（２５）と、前記第３の動きベクトルに基づいて、前記第１のフレーム上の複数の画素データの内、前記補間画素データを生成するために必要な第３の画素データを選択して出力する第１の画素データ選択部（３１）と、前記第３の動きベクトルに基づいて、前記第２のフレーム上の複数の画素データの内、前記補間画素データを生成するために必要な第４の画素データを選択して出力する第２の画素データ選択部（３２）と、前記第３の画素データのみを用いた片側補間と、前記第４の画素データをのみを用いた片側補間と、前記第３及び第４の画素データを用いた両側補間とのいずれかを選択して前記補間画素データを生成して出力する補間画素データ生成部（３４）とを備えることを特徴とする補間画素データ生成装置を提供する。

ここで、前記第３の相関比較部は、前記第１の動きベクトルと前記第２の動きベクトルとの差分が所定の範囲内にある第１の条件を満たすときに、前記補間画素データ生成部における補間を両側補間とするための判定信号を出力し、前記補間画素データ生成部は、前記判定信号が入力されたら、前記第３及び第４の画素データを平均値化して前記補間画素データを生成することが好ましい。

また、前記第３の相関比較部は、前記第１の動きベクトルと前記第２の動きベクトルとの差分が所定の範囲内にあり、前記第１の最大相関値と前記第２の最大相関値との差分の絶対値が第１の閾値より小さい第２の条件を満たすときに、前記補間画素データ生成部における補間を両側補間とするための判定信号を出力し、前記補間画素データ生成部は、前記判定信号が入力されたら、前記第３及び第４の画素データを平均値化して前記補間画素データを生成することが好ましい。

さらに、前記第３の相関比較部は、前記第２の条件に加えて、前記第１の最大相関値と前記第２の最大相関値との差分の絶対値が前記第１の閾値より小さい値である第２の閾値より小さい第３の条件を満たすときにも、前記補間画素データ生成部における補間を両側補間とするための判定信号を出力することが好ましい。

また、本発明は、上述した従来の技術の課題を解決するため、第１のフレーム上の画素データであり、前記第１のフレームと前記第１のフレームより過去の第２のフレームとの間に内挿する補間フレーム上の補間画素データと同一位置にある第１の画素データと、前記第２のフレーム上の複数の画素データそれぞれとの相関値を検出する第１の相関検出ステップと、前記第１の相関検出ステップにて検出された相関値の内、相関が最も大きい第１の最大相関値と、この第１の最大相関値を示す方向を第１の動きベクトルとして出力する第１の相関比較ステップと、前記第２のフレーム上の画素データであり、前記補間画素データと同一位置にある第２の画素データと、前記第１のフレーム上の複数の画素データそれぞれとの相関値を検出する第２の相関検出ステップと、前記第２の相関検出ステップにて検出された相関値の内、相関が最も大きい第２の最大相関値と、この第２の最大相関値を示す方向を第２の動きベクトルとして出力する第２の相関比較ステップと、前記第１の動きベクトルと前記第２の動きベクトルの内、前記第１の最大相関値と前記第２の最大相関値との内で相関が大きい方の動きベクトルを最終的な第３の動きベクトルとして出力する第３の相関比較ステップと、前記第３の動きベクトルに基づいて、前記第１のフレーム上の複数の画素データの内、前記補間画素データを生成するために必要な第３の画素データを選択して出力する第１の画素データ選択ステップと、前記第３の動きベクトルに基づいて、前記第２のフレーム上の複数の画素データの内、前記補間画素データを生成するために必要な第４の画素データを選択して出力する第２の画素データ選択ステップと、前記第３の画素データのみを用いた片側補間と、前記第４の画素データをのみを用いた片側補間と、前記第３及び第４の画素データを用いた両側補間とのいずれかを選択して前記補間画素データを生成して出力する補間画素データ生成ステップとを含むことを特徴とする補間画素データ生成方法を提供する。

ここで、前記第３の相関比較ステップは、前記第１の動きベクトルと前記第２の動きベクトルとの差分が所定の範囲内にある第１の条件を満たすときに、前記補間画素データ生成ステップにおける補間を両側補間とするための判定信号を出力し、前記補間画素データ生成ステップは、前記判定信号が入力されたら、前記第３及び第４の画素データを平均値化して前記補間画素データを生成することが好ましい。

また、前記第３の相関比較ステップは、前記第１の動きベクトルと前記第２の動きベクトルとの差分が所定の範囲内にあり、前記第１の最大相関値と前記第２の最大相関値との差分の絶対値が第１の閾値より小さい第２の条件を満たすときに、前記補間画素データ生成ステップにおける補間を両側補間とするための判定信号を出力し、前記補間画素データ生成ステップは、前記判定信号が入力されたら、前記第３及び第４の画素データを平均値化して前記補間画素データを生成することが好ましい。

さらに、前記第３の相関比較ステップは、前記第２の条件に加えて、前記第１の最大相関値と前記第２の最大相関値との差分の絶対値が前記第１の閾値より小さい値である第２の閾値より小さい第３の条件を満たすときにも、前記補間画素データ生成ステップにおける補間を両側補間とするための判定信号を出力するが好ましい。

本発明の補間画素データ生成装置及び方法によれば、動きベクトルの誤検出に起因する誤補間を低減させることができる。

本発明の補間画素データ生成装置の一実施形態を示すブロック図である。一実施形態で用いる第１の相関検出方法を説明するための図である。一実施形態で用いる第２の相関検出方法を説明するための図である。動きベクトルに基づいた補間ベクトルを説明するための図である。図１中の相関比較部２５の具体的構成例を示すブロック図である。図５に示す相関比較部２５の動作を説明するための図である。図１中の選択・平均値化部３４の具体的構成例を示すブロック図である。一実施形態における補間動作を説明するための図である。一実施形態における補間動作を説明するための図である。一実施形態による効果を説明するための図である。

以下、本発明の補間画素データ生成装置及び方法の一実施形態について、添付図面を参照して説明する。図１において、６０Ｈｚのフレーム周波数を有する映像信号Ｓinの各画素データは、フレームメモリ１，動きベクトル検出部２，補間部３，時系列変換メモリ４に順次入力される。フレームメモリ１は入力された画素データを１フレーム遅延して出力する。入力された映像信号Ｓinの現在フレームをＦ０、フレームメモリ１より出力された現在フレームより１フレーム前のフレームをＦ１とする。フレームＦ１の画素データは、動きベクトル検出部２及び補間部３に順次入力される。

動きベクトル検出部２は、相関検出部２１，２２と相関比較部２３〜２５とを備える。相関検出部２１は図２に示す第１の相関検出方法で複数の方向の相関を検出する。図２を用いて、相関検出部２１で行われる第１の相関検出方法について説明する。図２は、隣接するフレームＦ１，Ｆ０で“ＡＢＣＤＥＦ”なる文字画像よりなる物体ＯＢ１が水平移動している状態を示している。フレームＦp0はフレームＦ１，Ｆ０間に内挿する補間フレームである。補間フレームＦp0上の補間画素データＰfp0を生成する際に必要となる動きベクトルを求めるため、図２に示すように複数の方向の差分値を生成する。差分値とは厳密には画素データの輝度値の差分絶対値であり、以下単に差分値と称することとする。

図２において、補間画素データＰfp0と同一の水平及び垂直位置にあるフレームＦ０上の画素データＰf00を移動後の画素データとして固定し、フレームＦ１上の複数の画素データそれぞれを移動前の画素データとする。フレームＦ１上の移動前の画素データは、補間画素データＰfp0と同一の水平及び垂直位置にある画素データＰf10を中心とした所定の範囲内の画素データである。なお、簡略化のため、フレームＦ１上の画素データＰf10のみ丸印で示し、その他の画素データの丸印は省略している。相関検出部２１は、画素データＰf00とフレームＦ１上の複数の画素データそれぞれとの差分値Ｄf11〜Ｄf1Mを求める。図１に示すように、差分値Ｄf11〜Ｄf1Mは相関比較部２３に入力される。差分値Ｄf11〜Ｄf1Mは相関値と称することもできる。差分値が小さいほど相関が大きく、差分値が大きいほど相関が小さい。

相関比較部２３は、差分値Ｄf11〜Ｄf1Mを大小比較して最も小さい値を示す方向を動きベクトルＭＶ１として出力すると共に、最も小さい差分値、即ち、動きベクトルＭＶ１が有する差分値をＤＦ１として出力する。最も小さい差分値ＤＦ１を有する方向が最も相関が大きい。最も小さい差分値ＤＦ１は最大相関値である。図２において、画素データＰf00とフレームＦ１上の複数の画素データそれぞれとを結ぶ破線は動きベクトルＭＶ１として選択されなかった候補ベクトルを示している。相関比較部２３より出力された動きベクトルＭＶ１と差分値ＤＦ１は相関比較部２５に供給される。

一方、相関検出部２２は図３に示す第２の相関検出方法で複数の方向の相関を検出する。図３を用いて、相関検出部２２で行われる第２の相関検出方法について説明する。図３は、図２と同様、隣接するフレームＦ１，Ｆ０で“ＡＢＣＤＥＦ”なる文字画像よりなる物体ＯＢ１が水平移動している状態を示している。補間フレームＦp0上の補間画素データＰfp0を生成する際に必要となる動きベクトルを求めるため、図３に示すように複数の方向の差分値を生成する。

図３において、補間画素データＰfp0と同一の水平及び垂直位置にあるフレームＦ１上の画素データＰf10を移動前の画素データとして固定し、フレームＦ０上の複数の画素データそれぞれを移動後の画素データとする。フレームＦ０上の移動後の画素データは、補間画素データＰfp0と同一の水平及び垂直位置にある画素データＰf00を中心とした所定の範囲内の画素データである。なお、簡略化のため、フレームＦ０上の画素データＰf00のみ丸印で示し、その他の画素データの丸印は省略している。相関検出部２２は、画素データＰf10とフレームＦ０上の複数の画素データそれぞれとの差分値Ｄf21〜Ｄf2Mを求める。図１に示すように、差分値Ｄf21〜Ｄf2Mは相関比較部２４に入力される。同様に、差分値Ｄf21〜Ｄf2Mは相関値と称することもできる。

相関比較部２４は、差分値Ｄf21〜Ｄf2Mを大小比較して最も小さい値を示す方向を動きベクトルＭＶ２として出力すると共に、最も小さい差分値（最大相関値）、即ち、動きベクトルＭＶ２が有する差分値をＤＦ２として出力する。図３において、画素データＰf10とフレームＦ０上の複数の画素データそれぞれとを結ぶ破線は動きベクトルＭＶ２として選択されなかった候補ベクトルを示している。相関比較部２４より出力された動きベクトルＭＶ２と差分値ＤＦ２は相関比較部２５に供給される。

図２，図３では、一対の画素データ間の差分値を求めて相関を検出するようにしたが、複数の画素データを含むブロック毎に差分値を求めて積分した差分絶対値和に基づいて相関を求めてもよい。相関の検出方法は任意である。

相関比較部２５は、差分値ＤＦ１，ＤＦ２及び動きベクトルＭＶ１，ＭＶ２に基づいて、最終的な動きベクトルＭＶ３と、補間部３における補間方法を決定するための補間制御信号ＦＳ１とを生成して出力する。動きベクトルＭＶ３が図４に示すベクトルである場合、補間画素データＰfp0を生成するための一対の補間ベクトルは、フレームＦ１上の画素データＰf11から補間画素データＰfp0へと向かうベクトル（１／２）×ＭＶ３（以下、1/2ＭＶ３と表記する）と、フレームＦ０上の画素データＰf01から補間画素データＰfp0へと向かうベクトル（−１／２）×ＭＶ３（以下、-1/2ＭＶ３と表記する）となる。

本実施形態においては、後に詳述するように、補間部３は、補間制御信号ＦＳ１に応じて、補間画素データＰfp0を生成する際に、フレームＦ１上の画素データ（図４の例では画素データＰf11）のみを用いる片側補間の補間方法と、フレームＦ０上の画素データ（図４の例では画素データＰf01）のみを用いる片側補間の補間方法と、フレームＦ１上の画素データとフレームＦ０上の画素データとを平均化して新たな画素データを生成する両側補間の補間方法とを選択的に用いる。

図５を用いて相関比較部２５の具体的構成及び動作について説明する。図５において、相関比較部２５１には差分値ＤＦ１，ＤＦ２が入力され、相関比較部２５１は差分値ＤＦ２が差分値ＤＦ１より小さいときに比較信号Ｓcp0として１を、それ以外のときに比較信号Ｓcp0として０を出力する。ベクトル選択部２５２は、比較信号Ｓcp0が０であれば動きベクトルＭＶ１を動きベクトルＭＶ３として出力し、比較信号Ｓcp0が１であれば動きベクトルＭＶ２を動きベクトルＭＶ３として出力する。

ベクトル等価判定部２５３には動きベクトルＭＶ１，ＭＶ２が入力される。ベクトル等価判定部２５３は、動きベクトルＭＶ１，ＭＶ２の差分が比較的小さい所定の範囲内にあるときに判定信号Ｓj0として１を、それ以外のときに判定信号Ｓj0として０を出力する。なお、動きベクトルＭＶ１，ＭＶ２の差分は一例として次のようにして求めればよい。動きベクトルＭＶ１の水平方向と垂直方向の成分を（ｘ１，ｙ１）、動きベクトルＭＶ２の水平方向と垂直方向の成分を（ｘ２，ｙ２）とする。ｘ１，ｙ１，ｘ２，ｙ２は正または負の値である。（|ｘ１−ｘ２|，|ｙ１−ｙ２|）が所定の（ａ，ｂ）以内であれば動きベクトルＭＶ１，ＭＶ２の差分は所定の範囲内にあるとする。ａ，ｂの値は適宜に設定すればよい。相関差分絶対値算出部２５４には差分値ＤＦ１，ＤＦ２が入力され、相関差分絶対値算出部２５４は差分値ＤＦ１，ＤＦ２の差分の絶対値Ｓdaを算出して出力する。

閾値比較部２５５は第１の閾値TH1と差分絶対値Ｓdaとを比較し、差分絶対値Ｓdaが第１の閾値TH1より小さいときに比較信号Ｓcp1として１を、それ以外のときに比較信号Ｓcp1として０を出力する。閾値比較部２５６は第２の閾値TH2と差分絶対値Ｓdaとを比較し、差分絶対値Ｓdaが第２の閾値TH2より小さいときに判定信号Ｓj2として１を、それ以外のときに判定信号Ｓj2として０を出力する。第２の閾値TH2は第１の閾値TH1より小さい値とする。

ＡＮＤ回路２５７には、ベクトル等価判定部２５３からの判定信号Ｓj0と閾値比較部２５５からの比較信号Ｓcp1とが入力される。ＡＮＤ回路２５７は２つの入力信号が１のとき判定信号Ｓj1として１を出力し、それ以外のとき判定信号Ｓj1として０を出力する。以上の説明より分かるように、ＡＮＤ回路２５７から１が出力されるのは、動きベクトルＭＶ１，ＭＶ２の差分がわずかで、差分絶対値Ｓdaも比較的小さく、動きベクトルＭＶ１，ＭＶ２は実施的に同じであるとみなせる場合である。ＡＮＤ回路２５７から出力される判定信号Ｓj1は、一例として前景が静止して背景が動いているような画像の場合に、背景の領域において図４に示すベクトル1/2ＭＶ３，-1/2ＭＶ３を用いた両側補間にするための信号である。

ＯＲ回路２５８には、ＡＮＤ回路２５７からの判定信号Ｓj1と閾値比較部２５６からの判定信号Ｓj2とが入力される。閾値比較部２５６から出力される判定信号Ｓj2は、背景と前景との境界近傍領域で差分値ＤＦ１，ＤＦ２にほとんど差がなかった場合に、両側補間にするための信号である。これは、背景と前景との境界近傍領域で差分値ＤＦ１，ＤＦ２にほとんど差がない場合に片側補間を行うと誤補間が発生しやく、誤補間を避けるためである。ＯＲ回路２５８は、判定信号Ｓj1，Ｓj2の少なくとも一方が１のとき判定信号Ｓj3として１を出力し、双方が０のとき判定信号Ｓj3として０を出力する。これにより、両側補間にすることが好ましい背景の領域で判定信号Ｓj3を１にすることができる。また、境界近傍領域で片側補間にすることが好ましくない場合にも判定信号Ｓj3を１にすることができる。

補間制御信号生成部２５９には、相関比較部２５１からの比較信号Ｓcp0とＯＲ回路２５８からの判定信号Ｓj3とが入力される。補間制御信号生成部２５９は、判定信号Ｓj3と比較信号Ｓcp0とに基づいて図６に示すように２ビットの補間制御信号ＦＳ１を生成する。図６に示すように、判定信号Ｓj3と比較信号Ｓcp0の双方が０であれば、補間制御信号ＦＳ１は１０となり、判定信号Ｓj3が０で比較信号Ｓcp0が１であれば、補間制御信号ＦＳ１は０１となる。判定信号Ｓj3が１であれば比較信号Ｓcp0には無関係に１１となる。

図１に戻り、相関比較部２５より出力された動きベクトルＭＶ３は補間部３内のベクトル遅延量変換部３３に入力され、補間制御信号ＦＳ１は補間部３内の選択・平均値化部３４に入力される。補間部３は、ベクトル遅延量変換部３３と選択・平均値化部３４の他、データ保持・選択部（画素データ選択部）３１，３２を備える。データ保持・選択部３１は、補間画素データＰfp0を生成する際に必要となるフレームＦ０上の複数の画素データを保持する。データ保持・選択部３２は、補間画素データＰfp0を生成する際に必要となるフレームＦ１上の複数の画素データを保持する。ベクトル遅延量変換部３３は、入力された動きベクトルＭＶ３を図４で説明したように一対の補間ベクトルとし、この一対の補間ベクトルを、補間画素データＰfp0を生成するための遅延量ＤＬ０，ＤＬ１に変換して出力する。

ベクトル遅延量変換部３３は、ベクトル1/2ＭＶ３を遅延量ＤＬ１に変換し、ベクトル-1/2ＭＶ３を遅延量ＤＬ０に変換する。遅延量ＤＬ０，ＤＬ１は、補間画素データＰfp0の位置を基準として正方向または負方向に何画素分遅延させるか（シフトさせるか）を示す値である。データ保持・選択部３１には遅延量ＤＬ０が入力され、データ保持・選択部３２には遅延量ＤＬ１が入力される。データ保持・選択部３１は予め保持しておいたフレームＦ０上の複数の画素データの中から遅延量ＤＬ０に基づいていずれかの画素データを選択し、データ保持・選択部３２は予め保持しておいたフレームＦ１上の複数の画素データの中から遅延量ＤＬ１に基づいていずれかの画素データを選択する。

図４の例では、データ保持・選択部３１は画素データＰf11を選択し、データ保持・選択部３２は画素データＰf01を選択する。データ保持・選択部３１が選択した画素データをＰs0、データ保持・選択部３２が選択した画素データをＰs1とする。選択・平均値化部３４には、画素データＰs0，Ｐs1が入力される。選択・平均値化部３４は、補間制御信号ＦＳ１に応じて画素データＰs0，Ｐs1のいずれか一方または双方を用いて補間画素データＰfp0を生成して出力する。選択・平均値化部３４は補間画素データ生成部である。厳密には、補間部３では輝度及び色（色差を含む）の補間画素データを生成する。

ここで、図７を用いて選択・平均値化部３４の具体的構成及び動作について説明する。図７に示すように、選択・平均値化部３４は、選択部３４１，３４２と、選択部３４１，３４２の出力を平均化して出力する平均値化部３４３とを備える。選択部３４１，３４２にはそれぞれ画素データＰs0，Ｐs1が入力される。選択部３４１には補間制御信号ＦＳ１の下位ビットが入力され、選択部３４２には補間制御信号ＦＳ１の上位ビットが入力される。選択部３４１は、補間制御信号ＦＳ１の下位ビットが１のとき画素データＰs0を選択し、下位ビットが０のとき画素データＰs1を選択する。選択部３４２は、補間制御信号ＦＳ１の上位ビットが１のとき画素データＰs1を選択し、下位ビットが０のとき画素データＰs0を選択する。

補間制御信号ＦＳ１が１０のとき、選択部３４１，３４２は共に画素データＰs1を選択して出力するので、平均値化部３４３からは画素データＰs1が補間画素データＰfp0として出力されることになる。補間制御信号ＦＳ１が０１のとき、選択部３４１，３４２は共に画素データＰs0を選択して出力するので、平均値化部３４３からは画素データＰs0が補間画素データＰfp0として出力されることになる。即ち、補間制御信号ＦＳ１が１０のときは、図８に示すように、フレームＦ１上の画素データ（図８の例では画素データＰf11）を用いた片側補間となる。また、補間制御信号ＦＳ１が０１のときは、図９に示すように、フレームＦ０上の画素データ（図９の例では画素データＰf01）を用いた片側補間となる。

補間制御信号ＦＳ１が１１のときには、選択部３４１は画素データＰs0を選択し、選択部３４２は画素データＰs1を選択して出力するので、平均値化部３４３からは画素データＰs0と画素データＰs1とを平均化したデータが補間画素データＰfp0として出力されることになる。即ち、補間制御信号ＦＳ１が１１のときは、図４に示すように、フレームＦ０，Ｆ１上の画素データ（図４の例では画素データＰf01，Ｐf11）を用いた両側補間となる。

図１に戻り、時系列変換メモリ４にはフレームＦ０の画素データと補間部３より出力された補間画素データＰfp0とが順次入力される。時系列変換メモリ４は、順次入力されるフレームＦ０の画素データに基づいて実フレームであるフレームＦ０の画像データと、順次入力される補間画素データＰfp0に基づいて補間フレームである補間フレームＦp0の画像データを生成する。そして、両者を１２０Ｈｚで交互に出力して、１２０Ｈｚのフレーム周波数を有する映像信号Ｓoutを出力する。

次に、図１０を用いて本実施形態のフレームレート変換装置及び方法による効果について説明する。図１０は、前景が静止して背景が水平方向に動いている状態を示している。図１０において、フレームＦ２はフレームＦ１よりも１フレーム前のフレームであり、ＭＶは背景の動きベクトルである。図１０に示す領域ＡＲ１，ＡＲ４は背景の領域であり、領域ＡＲ１，ＡＲ４内の補間画素データは、図５〜図７で説明した動作によって、フレームＦ０，Ｆ１双方の画素データＰs0，Ｐs1を用いた両側補間によって生成される。

領域ＡＲ２は前景と背景との境界に隣接する領域であり、図５〜図７で説明した動作によって、領域ＡＲ２内の補間画素データを生成する際に使用される動きベクトルには、フレームＦ１上の画素データＰf1a〜Ｐf1bを基点として検出した動きベクトルＭＶ２が選択される。この結果、領域ＡＲ２内の補間画素データは、破線の矢印で示すように、ベクトル-1/2ＭＶ２でフレームＦ０上の画素データのみから補間する片側補間によって生成される。従って、領域ＡＲ２内の補間画素データはフレームＦ０上の画素データから背景の画像が正しくシフトした画像となる。フレームＦ１上の画素データＰf1a〜Ｐf1bの範囲Ｒg1は動きベクトルＭＶ２が選択される範囲である。

同じく領域ＡＲ３は前景と背景との境界に隣接する領域であり、図５〜図７で説明した動作によって、領域ＡＲ３内の補間画素データを生成する際に使用される動きベクトルには、フレームＦ０上の画素データＰf0c〜Ｐf0dを基点として検出した動きベクトルＭＶ１が選択される。この結果、領域ＡＲ３内の補間画素データは、破線の矢印で示すように、ベクトル1/2ＭＶ１でフレームＦ１上の画素データのみから補間する片側補間によって生成される。従って、領域ＡＲ３内の補間画素データはフレームＦ１上の画素データから背景の画像が正しくシフトした画像となる。フレームＦ０上の画素データＰf0c〜Ｐf0dの範囲Ｒg0は動きベクトルＭＶ１が選択される範囲である。なお、領域Ｒgsvは両側補間によって補間される。

さらに、領域ＡＲ２１，ＡＲ３１は領域ＡＲ２，ＡＲ３内の境界近傍の領域であり、この境界近傍領域ＡＲ２１，ＡＲ３１では、図５〜図７で説明した特定の条件のときに片側補間ではなく両側補間とする。例えば前景と背景との輝度が近い場合には、領域ＡＲ２１，ＡＲ３１では差分値ＤＦ１，ＤＦ２が近い値となって、図５における相関比較部２５１より出力される比較信号Ｓcp0が０または１の一方に固定されず、頻繁に０と１が変化することになる。このような場合に片側補間を行うと、領域ＡＲ２１，ＡＲ３１は前景が二重にぶれたような画像となる。図５〜図７で説明した特定の条件のときに両側補間とすることによって、領域ＡＲ２１，ＡＲ３１における違和感を軽減することができる。

このように、本実施形態においては、図１０に示すように前景と背景とが異なる動きをしている場合でも、前景と背景との境界付近で発生しやすい動きベクトルの誤検出を防ぐことができる。よって、動きベクトルの誤検出に起因する誤補間を低減させることができ、自然で違和感の少ないフレームレート変換画像を得ることが可能となる。

以上説明した本実施形態においては、図１０の領域ＡＲ２１，ＡＲ３１における違和感を軽減するため図５において閾値比較部２５６及びＯＲ回路２５８を設けているが、簡略化のため閾値比較部２５６及びＯＲ回路２５８を削除してもよい。但し、閾値比較部２５６及びＯＲ回路２５８を設ける方が好ましい。また、閾値比較部２５５及びＡＮＤ回路２５７を削除して、ベクトル等価判定部２５３のみで背景であると判断することも可能である。但し、閾値比較部２５５及びＡＮＤ回路２５７を設ける方が好ましい。

ベクトル等価判定部２５３からの判定信号Ｓj0が１である第１の条件を満たすときに両側補間にするのが基本である。閾値比較部２５５を追加すると、境界付近では本来であれば片側補間にするのが望ましいにもかかわらず、動きベクトルＭＶ１，ＭＶ２が等価のときに両側補間になってしまう不具合を回避することができる。従って、判定信号Ｓj0と比較信号Ｓcp1との双方が１である第２の条件を満たすときに両側補間にすることが好ましい。さらに、閾値比較部２５６を追加して、判定信号Ｓj2が１である第３の条件を満たす場合にも両側補間にすると、境界近傍領域ＡＲ２１，ＡＲ３１における違和感を軽減させることができる。第１の条件と第３の条件を満たす場合に両側補間にする構成としてもよい。

図１に示す本実施形態においては、フレームレートを２倍に変換するフレームレート変換装置及び方法について示したが、３倍またはそれ以上の垂直周波数に変換するフレームレート変換装置及び方法であってもよい。本実施形態をフィルムジャダー除去装置に用いてもよい。本発明は以上説明した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。

１フレームメモリ
２動きベクトル検出部
３補間部
４時系列変換メモリ
２１，２２相関検出部
２３〜２５相関比較部
３１，３２データ保持・選択部（画素データ選択部）
３３ベクトル遅延量変換部
３４選択・平均値化部（補間画素データ生成部）

Claims

第１のフレーム上の画素データであり、前記第１のフレームと前記第１のフレームより過去の第２のフレームとの間に内挿する補間フレーム上の補間画素データと同一位置にある第１の画素データと、前記第２のフレーム上の複数の画素データそれぞれとの相関値を検出する第１の相関検出部と、
前記第１の相関検出部より出力された相関値の内、相関が最も大きい第１の最大相関値と、この第１の最大相関値を示す方向を第１の動きベクトルとして出力する第１の相関比較部と、
前記第２のフレーム上の画素データであり、前記補間画素データと同一位置にある第２の画素データと、前記第１のフレーム上の複数の画素データそれぞれとの相関値を検出する第２の相関検出部と、
前記第２の相関検出部より出力された相関値の内、相関が最も大きい第２の最大相関値と、この第２の最大相関値を示す方向を第２の動きベクトルとして出力する第２の相関比較部と、
前記第１の動きベクトルと前記第２の動きベクトルの内、前記第１の最大相関値と前記第２の最大相関値との内で相関が大きい方の動きベクトルを最終的な第３の動きベクトルとして出力する第３の相関比較部と、
前記第３の動きベクトルに基づいて、前記第１のフレーム上の複数の画素データの内、前記補間画素データを生成するために必要な第３の画素データを選択して出力する第１の画素データ選択部と、
前記第３の動きベクトルに基づいて、前記第２のフレーム上の複数の画素データの内、前記補間画素データを生成するために必要な第４の画素データを選択して出力する第２の画素データ選択部と、
前記第３の画素データのみを用いた片側補間と、前記第４の画素データをのみを用いた片側補間と、前記第３及び第４の画素データを用いた両側補間とのいずれかを選択して前記補間画素データを生成して出力する補間画素データ生成部と、
を備えることを特徴とする補間画素データ生成装置。
前記第３の相関比較部は、前記第１の動きベクトルと前記第２の動きベクトルとの差分が所定の範囲内にある第１の条件を満たすときに、前記補間画素データ生成部における補間を両側補間とするための判定信号を出力し、
前記補間画素データ生成部は、前記判定信号が入力されたら、前記第３及び第４の画素データを平均値化して前記補間画素データを生成する
ことを特徴とする請求項１記載の補間画素データ生成装置。
前記第３の相関比較部は、前記第１の動きベクトルと前記第２の動きベクトルとの差分が所定の範囲内にあり、前記第１の最大相関値と前記第２の最大相関値との差分の絶対値が第１の閾値より小さい第２の条件を満たすときに、前記補間画素データ生成部における補間を両側補間とするための判定信号を出力し、
前記補間画素データ生成部は、前記判定信号が入力されたら、前記第３及び第４の画素データを平均値化して前記補間画素データを生成する
ことを特徴とする請求項１記載の補間画素データ生成装置。
前記第３の相関比較部は、前記第２の条件に加えて、前記第１の最大相関値と前記第２の最大相関値との差分の絶対値が前記第１の閾値より小さい値である第２の閾値より小さい第３の条件を満たすときにも、前記補間画素データ生成部における補間を両側補間とするための判定信号を出力する
ことを特徴とする請求項３記載の補間画素データ生成装置。
第１のフレーム上の画素データであり、前記第１のフレームと前記第１のフレームより過去の第２のフレームとの間に内挿する補間フレーム上の補間画素データと同一位置にある第１の画素データと、前記第２のフレーム上の複数の画素データそれぞれとの相関値を検出する第１の相関検出ステップと、
前記第１の相関検出ステップにて検出された相関値の内、相関が最も大きい第１の最大相関値と、この第１の最大相関値を示す方向を第１の動きベクトルとして出力する第１の相関比較ステップと、
前記第２のフレーム上の画素データであり、前記補間画素データと同一位置にある第２の画素データと、前記第１のフレーム上の複数の画素データそれぞれとの相関値を検出する第２の相関検出ステップと、
前記第２の相関検出ステップにて検出された相関値の内、相関が最も大きい第２の最大相関値と、この第２の最大相関値を示す方向を第２の動きベクトルとして出力する第２の相関比較ステップと、
前記第１の動きベクトルと前記第２の動きベクトルの内、前記第１の最大相関値と前記第２の最大相関値との内で相関が大きい方の動きベクトルを最終的な第３の動きベクトルとして出力する第３の相関比較ステップと、
前記第３の動きベクトルに基づいて、前記第１のフレーム上の複数の画素データの内、前記補間画素データを生成するために必要な第３の画素データを選択して出力する第１の画素データ選択ステップと、
前記第３の動きベクトルに基づいて、前記第２のフレーム上の複数の画素データの内、前記補間画素データを生成するために必要な第４の画素データを選択して出力する第２の画素データ選択ステップと、
前記第３の画素データのみを用いた片側補間と、前記第４の画素データをのみを用いた片側補間と、前記第３及び第４の画素データを用いた両側補間とのいずれかを選択して前記補間画素データを生成して出力する補間画素データ生成ステップと、
を含むことを特徴とする補間画素データ生成方法。
前記第３の相関比較ステップは、前記第１の動きベクトルと前記第２の動きベクトルとの差分が所定の範囲内にある第１の条件を満たすときに、前記補間画素データ生成ステップにおける補間を両側補間とするための判定信号を出力し、
前記補間画素データ生成ステップは、前記判定信号が入力されたら、前記第３及び第４の画素データを平均値化して前記補間画素データを生成する
ことを特徴とする請求項５記載の補間画素データ生成方法。
前記第３の相関比較ステップは、前記第１の動きベクトルと前記第２の動きベクトルとの差分が所定の範囲内にあり、前記第１の最大相関値と前記第２の最大相関値との差分の絶対値が第１の閾値より小さい第２の条件を満たすときに、前記補間画素データ生成ステップにおける補間を両側補間とするための判定信号を出力し、
前記補間画素データ生成ステップは、前記判定信号が入力されたら、前記第３及び第４の画素データを平均値化して前記補間画素データを生成する
ことを特徴とする請求項５記載の補間画素データ生成方法。
前記第３の相関比較ステップは、前記第２の条件に加えて、前記第１の最大相関値と前記第２の最大相関値との差分の絶対値が前記第１の閾値より小さい値である第２の閾値より小さい第３の条件を満たすときにも、前記補間画素データ生成ステップにおける補間を両側補間とするための判定信号を出力する
ことを特徴とする請求項７記載の補間画素データ生成方法。