JP2007504741A - ビデオ信号の頑強なデインタレース - Google Patents

Abstract

本発明は、現在のフィールドに存在するサンプルと、動きベクトルの一部に亘ってシフトされた隣接するフィールドからの付加的なサンプルとを利用する、動きベクトル値に依存する係数を用いた補間フィルタに関する。垂直線上のベクトルについてのものではない動き推定された前のフィールドと現在のフィールドとからのサンプルを利用して、デインタレースの頑強さが増大させられ得る。補間の品質は、入力画素の数を増加させることなく、より優れたものとなり得る。

Description

本発明は、ビデオ信号をデインタレースするための方法、とりわけＧＳＴベースのインタレースの方法であって、前記ビデオ信号から画素についての動きベクトルを推定するステップと、補間された出力画素を算出するために利用されるべき前記ビデオ信号からの入力画素の現在のフィールドを定義するステップと、前記ビデオ信号からの入力画素の加重合計から補間された出力画素を算出するステップと、を有する方法に関する。本発明は更に、ビデオ信号をデインタレースする表示装置及びコンピュータプログラムに関する。

デインタレースは、ＤＲＣ及びPixel Plusのような、重要な新しい非線形スケーリング手法が単により細かな詳細を追加することが可能な、ハイエンドビデオ表示システムの主な解像度決定要因である。ＬＣＤ及びＰＤＰのような新たな技術の出現に伴い、画像の解像度の制約はもはや、表示装置自体ではなく、ソース又は伝送システムに存する。同時に、これらの表示装置は順次的に（progressively）走査されたビデオ入力を必要とする。それ故、かような表示装置においては、高品質のデインタレースが、優れた画質のための重要な前提条件である。

デインタレースへの最初のステップは、P. Delongeらによる「Improved Interpolation, Motion Estimation and Compensation for Interlaced Pictures」（IEEE Tr. on Im. Proc.、Vol. 3、no. 5、1994年９月、482-491頁）から知られている。

開示されている方法は、ＧＳＴ（general sampling theorem）デインタレース法としても知られる。本方法は図１に示される。図１は、時間的な連続ｎ−１及びｎにおける、偶数垂直位置ｙ＋４乃至ｙ−４上の垂直線における画素２のフィールドを示す。デインタレースのため、２つの独立した画素サンプルのセットが必要とされる。独立した画素サンプルの第１のセットは、前のフィールドｎ−１から現在の時間的なインスタンスｎに向かって、動き補償された画素サンプル６へと動きベクトル４によって画素２をシフトすることにより生成される。画素８の第２のセットもまた、奇数垂直線ｙ＋３乃至ｙ−３上に位置する。動きベクトル６が十分小さい場合を除き（例えば、所謂「臨界速度（critical velocity）」即ち２つの連続する画素のフィールドの間の奇数画素の変位に導く速度が発生する場合を除き）、画素サンプル６と画素８とは独立と見なされる。現在のフィールドから画素サンプル６及び画素８を重み付けすることにより、出力画素サンプル１０は、サンプルの加重合計（ＧＳＴフィルタ）に帰着する。

数学的に、出力サンプル画素１０は以下のように記述され得る。画像番号ｎ中の位置

における画素の輝度値として

を用い、欠損した線（例えば奇数線）における補間された画素の輝度値としてＦ_ｉを用いると、ＧＳＴデインタレース法の出力は、以下のようになる。

ここで、ｈ_１及びｈ_２はＧＳＴフィルタ係数を定義する。第１項は現在のフィールドｎを表し、第２項は前のフィールドｎ−１を表す。動きベクトル

は、以下のように定義される。

ここで、Ｒｏｕｎｄ（）は最も近い整数値への丸めであり、垂直動き分数部分δ_ｙは、以下のように定義される。

線形ＧＳＴフィルタｈ_１及びｈ_２から構成されるＧＳＴフィルタは、垂直動き分数部分

及びサブ画素補間器（interpolator）タイプに依存する。

Delongeは、垂直補間器のみを利用すること、従ってｙ方向にのみ補間を利用することを提案した。順次的画像Ｆ^ｐが利用可能である場合、偶数線についてのＦ^ｅは、ｚドメインにおいて、奇数線Ｆ^ｏの輝度値から以下のように決定されることができる。
Ｆ^ｅ（ｚ，ｎ）＝（Ｆ^ｐ（ｚ，ｎ−１）Ｈ（ｚ））_ｅ＝
Ｆ^ｏ（ｚ，ｎ−１）Ｈ^ｏ（ｚ）＋Ｆ^ｅ（ｚ，ｎ−１）Ｈ^ｅ（ｚ）
ここでＦ^ｅは偶数画像でありＦ^ｏは奇数画像である。このときＦ^ｏは、

のように書き直すことができ、
Ｆ^ｅ（ｚ，ｎ）＝Ｈ_１（ｚ）Ｆ^ｏ（ｚ，ｎ）＋Ｈ_２（ｚ）Ｆ^ｅ（ｚ，ｎ−１）
に帰着する。線形補間器は、以下のように記述されることができる。

フィルタ係数を導出するため同期波形補間器を利用する場合、線形補間器Ｈ_１（ｚ）及びＨ_２（ｚ）はｋドメインにおいて以下のように記述され得る。

１次線形補間器を利用する場合、ＧＳＴフィルタは３つのタップを持つ。前記補間器はフレームのグリッド上の２つの隣接する画素を利用する。フィルタ係数の導出は、前の時間的なフレームから現在の時間的なフレームへサンプルをシフトすることにより為される。１次線形補間器についての線形の領域は、動き補償されたサンプルの位置において開始する。前記線形の領域を最も近い元のサンプルと動き補償されたサンプルとの中心にセンタリングする場合、結果のＧＳＴフィルタは４つのタップを持つ。かくして、ＧＳＴフィルタの頑強さが増大させられる。

しかしながら、現在のＧＳＴフィルタは、水平方向に位置するいずれの画素も考慮に入れない。サンプル画素の垂直方向に隣接する画素、及び時間的な前のフィールドからの画素（例えば動き補償された）のみが、画素サンプルを補間するために利用される。

それ故本発明の目的は、より頑強なデインタポレータ（de-interpolator）を提供することにある。本発明の他の目的は、より正確な画素サンプルを提供するデインタポレータを提供することにある。

本発明は、前記入力画素の前記現在のフィールドからの少なくとも第１の画素が、前記補間された出力画素を算出するために、前記推定された動きベクトルの水平成分に依存して重み付けされる、ビデオ信号をデインタレースする方法を提供することにより、これらの目的を達成する。

２−Ｄ非分離（inseparable）ＧＳＴフィルタにおいて、水平方向の補間とＧＳＴ垂直方向の補間とを組み合わせることは、より頑強な補間器に帰着する。ビデオ信号は時間及び２つの空間的方向の関数であるため、両方の空間的方向を取り扱うデインタレースはより優れた補間に帰着する。画質は改善される。前記補間において利用される画素の分散は、垂直方向のみの補間よりも密である。このことは、補間のために利用される画素は、補間された画素に空間的に近く位置することを意味する。補間のために画素が補充されるエリアはより小さくなり得る。前記補間器の価格−性能比は、水平的及び垂直的に隣接する画素を両方利用してＧＳＴベースのデインタレースを利用することにより改善される。

動きベクトルは、ビデオ信号内の画素の動き成分から導出され得る。動きベクトルは、ビデオ画像内の画素の動きの方向を表す。入力画素の現在のフィールドは、ビデオ信号内で時間的に現在表示されている又は受信されている画素のセットであっても良い。入力画像の加重合計が、補間パラメータにより、入力画素の輝度値又は色値を重み付けすることにより得られても良い。

垂直のＧＳＴフィルタ補間と組み合わせて、水平方向に補間を実行することは、１０タップのフィルタに導き得る。該フィルタは１−ＤのＧＳＴ４タップフィルタと呼ばれ、ここで４は垂直ＧＳＴフィルタのみを指す。線形の領域は、上述したように、線形の２−Ｄ領域によって垂直及び水平補間について定義され得る。数学的に、このことは周波数スペクトルの逆数格子を見出すことにより為され得、以下の単純な式により数式化され得る。

ここで

は、

方向における周波数である。前記線形の領域は、１画素サイズに等しい対角線を持つ正方形である。２−Ｄ状況においては、前記格子の位置は水平方向に自由にシフトされ得る。三角波補間器の中心は、水平方向における位置ｘ＋ｐ＋δ_ｘにあり得る。ここでｐは任意の整数である。２−Ｄの線形の領域をシフトすることにより、水平方向におけるＧＳＴフィルタの開口は増大し得る。三角波補間器の中心の垂直座標をｙ＋ｍだけシフトすることにより、５タップの補間器が実現され得る。サンプリングされた画素は、以下によって表現され得る。

ここでＡ及びＣは、前記サンプリングされた画素に寄与する画素である。

請求項２の方法は、補間器の頑強さを増大し得る。水平方向に隣接する画素もまた、サンプリングされる画素に寄与し得る。このとき補間は水平方向に隣接する画素にも依存する。

請求項３の方法は、２−Ｄの線形の領域内にない画素を利用することに帰着する。かくして、サンプリングされた画素は、該サンプリングされた画素から空間的に離れて位置する画素値にも依存する。

請求項４の方法によれば、入力画像の前のフィールドが定義される。このことは、時間的に前の画像が入力画素を定義するために利用されることを意味する。前のフィールドの入力画素は、動きベクトルを利用して動き補償されても良い。請求項４によれば、動き補償された場合に前記サンプリングされた画素に最も近い画素が、サンプリングされた出力画素を算出するために利用される。

請求項５によれば、水平方向に隣接する垂直線が、サンプリングされた出力画素を算出するために利用される。かくして、サンプリングされた出力画素のために垂直成分も利用される。

請求項６及び７によれば、動きベクトルの符号及び絶対値が利用されても良い。

請求項８によれば、前のフィールド、次のフィールド及び現在のフィールドの入力画素が第１、第２及び第３の出力画素を算出するために利用され、最終的な出力画素がこれら出力画素の加重合計に基づいて算出され、時間的及び空間的に隣接する画素がサンプリングされた出力画素を算出するために利用される。このことは、デインタレースの頑強さを増大させる。

請求項９による方法は、現在の画素により時間的に離隔された入力画素間の特殊な関係を利用することを可能とする。

本発明の他の態様は、デインタレースされたビデオ信号を表示する表示装置であって、
画素の動きベクトルを推定する推定手段と、補間された出力画素を算出するため利用されるべき前記ビデオ信号からの入力画素の現在のフィールドを定義する定義手段と、
前記入力画素の加重合計から補間された出力画素を算出する算出手段と、前記補間された出力画素を算出するため、前記推定された動きベクトルの水平成分に依存して入力画素の前記現在のフィールドからの少なくとも第１の画素を重み付けする重み付け手段と、を有する表示装置である。

本発明の他の態様は、ビデオ信号をデインタレースするためのコンピュータプログラムであって、プロセッサに、前記ビデオ信号から画素についての動きベクトルを推定させ、補間された出力画素を算出するために利用されるべき前記ビデオ信号からの入力画素の現在のフィールドを定義させ、前記入力画像の加重合計から補間された出力画素を算出させ、前記補間された出力画素を算出するために、前記推定された動きベクトルの水平成分に依存して入力画素の前記現在のフィールドからの少なくとも第１の画素を重み付けさせるように動作可能なコンピュータプログラムである。

本発明のこれらの及び他の態様は、以下に説明される実施例を参照しながら説明され明らかとなるであろう。

図２は、１次線形の補間器の結果を示す。ここで、図１と同様の番号は同様の要素を示す。補間されたサンプル画素１０は、隣接する画素の加重合計であり、各画素の重みは補間器によって算出される。１次線形の補間器Ｈ（ｚ）＝（１−δ_ｙ）＋δ_ｙｚ^−１（０≦δ_ｙ≦１）の場合、補間器Ｈ_１（ｚ）及びＨ_２（ｚ）は、以下のように与えられる。

動きベクトルは、各画素の重み付けのために関連し得る。フィールド毎に０．５画素、即ちδ_ｙ＝０．５の動きが与えられた場合、偶数フィールドＦ^ｅ（ｚ，ｎ）の逆ｚ変換は以下のＦ^ｅ（ｙ，ｎ）についての空間−時間表現に帰着する。

図２から分かるように、前のフィールドｎ−１の隣接する画素は０．５で重み付けされ、現在のフィールドｎの隣接する画素は１で重み付けされる。図２に示された１次線形の補間器は、３タップＧＳＴフィルタに帰着する。上記の計算は、フレームグリッド上の２つの隣接する画素の間の線形性を仮定している。線形の領域が最も近い元のサンプルと動き補償されたサンプルとの中心にセンタリングされる場合、結果のＧＳＴフィルタは４つのタップを持ち得る。これらの４タップＧＳＴフィルタにおける付加的なタップが、空間的に隣接するサンプル値の寄与を増大させる。動きベクトルによってシフトされた、現在のフィールドからの及び前／次の時間的フィールドからの独立したサンプルの２つのセットは、先行技術によれば垂直方向にのみ、ＧＳＴフィルタリングのために利用され得る。補間器は、１画素のサイズを持つ所謂線形の領域においてのみ利用されることができるため、タップの数は前記線形の領域がどこに位置するかに依存する。このことは、垂直方向に４つの隣接する画素までが補間のために利用され得ることを意味する。

より多くの画素が利用されれば、より優れた結果が得られるため、より多くの画素を利用することが可能であるべきである。このことは、サンプリングされた画素の水平方向の近隣に位置する画素を利用することにより為され得る。水平方向にシフトされた画素を利用する場合、以下の平均値が補間のために利用され得る。
Ｃ_ａｖ（ｘ，ｙ＋δ_ｙ，ｎ±１）＝
（１−｜δ_ｘ｜）Ｃ（ｘ＋δ_ｘ，ｙ＋δ_ｙ，ｎ±１）
＋｜δ_ｘ｜Ｃ（ｘ＋ｓｉｇｎ（δ_ｘ）＋δ_ｘ，ｙ＋δ_ｙ，ｎ±１）
記号「±」は、補間器において前又は次のフィールドのどちらが利用されるかを示す。かような水平方向の補間を垂直ＧＳＴフィルタ補間と組み合わせることは、分離可能な１０タップフィルタを利用することを可能とする。

垂直方向及び水平方向の両方の画素を利用するため、前記線形の領域はそれに応じて選択される必要がある。とりわけビデオ信号においては、これらは時間及び２つの空間的方向の関数である。それ故、両方の空間的方向を等しく取り扱うデインタレースアルゴリズムを定義することが可能である。

水平及び垂直方向に隣接する画素を考慮に入れる場合、前記線形の領域は２−Ｄの線形の領域を定義するグリッドとして定義され得る。該２−Ｄの線形の領域は、周波数スペクトルの逆数の格子内に見出され得る。

図３は、それぞれ周波数ドメイン及び空間ドメインにおける逆数格子１２を示す。格子１２は、ここでは平行四辺形である線形の領域を定義する。

方向の距離

によって離隔された画素間に線形の関係が確立される。更に、１次元補間器において利用される三角補間器は、ピラミッド形の補間器の形状をとる。前記線形の領域を垂直又は水平方向にシフトすることは、異なる数のフィルタタップに導く。とりわけ、前記ピラミッド形の補間器が位置（ｘ＋ｐ，ｙ）においてセンタリングされる場合（ｐは任意の整数）、１−Ｄの場合が生じる。

２−Ｄの状況においては、水平方向の格子１２の位置は自由にシフトされ得る。最も単純なシフトは、前記ピラミッドを水平方向における位置ｘ＋ｐ＋δ_ｘにセンタリングすることに帰着し得る（ｐは任意の整数）。このことは、ＧＳＴフィルタの水平方向のより大きな開口に導く。前記ピラミッド形の補間器の中心の垂直座標がｙ＋ｍである場合、５タップの補間器が得られ得る。サンプリングされる画素は以下によって表現され得る。

図４に示すように、画素Ｐ（ｘ，ｙ，ｎ）に対して対称的に位置する画素を補間することが可能となり得る。これらの画素は、図４ａに示されるように、現在のフィールドからのＢ（ｘ−１，ｙ−ｓｉｇｎ（δ_ｙ），ｎ）、Ｂ（ｘ，ｙ−ｓｉｇｎ（δ_ｙ），ｎ）及びＢ（ｘ＋１，ｙ−ｓｉｇｎ（δ_ｙ），ｎ）であっても良い。更に前及び次のフィールドからは、Ｄ（ｘ＋δ_ｘ，ｙ−２ｓｉｇｎ（δ_ｙ）＋δ_ｙ，ｎ±１），Ｄ（ｘ＋ｓｉｇｎ（δ_ｘ）＋δ_ｘ，ｙ−２ｓｉｇｎ（δ_ｘ）＋δ_ｙ）＋δ_ｙ，ｎ±１）がとられ得る。図４ａに示されるように、５タップの補間器は上記の画素値を考慮に入れる。前記線形の領域を動きベクトルの方向にシフトする場合、更なる値Ｃ（ｘ＋δ_ｘ，ｙ＋δ_ｙ，ｎ±１）が利用され得る。

本発明によれば、補間に寄与する画素の領域が水平方向に拡張される。補間の結果は、対角線方向の動きを伴うシーケンスについてとりわけ改善される。

図５は、本発明による方法を示す。ステップ５０において、入力ビデオ信号４８から動きベクトルが推定される。ステップ５２において、入力ビデオ信号４８は、現在のフィールド、前のフィールド及び次のフィールドについて、線形の領域において分割される。この後、ステップ５４において、水平方向に隣接する画素が、動きベクトルの水平成分を利用して動き補償された画素と共に、前記動きベクトルによって重み付けされる。ステップ５６において、垂直方向に関連する画素が、前記動きベクトルによって重み付けされる。

ステップ５８において、重み付けされた画素値が合計され補間され、補間された画素サンプルに帰着する。該補間された画素サンプルは、ビデオ信号４８内に画素の偶数線のみが送信された場合に、画素の奇数線を生成するために利用されることができる。画質が向上させられ得る。

図６は、表示装置６０を示す。入力ビデオ信号４８は前記表示装置６０に送られ、受信器６２内で受信される。受信器６２は、受信された画像を記憶装置６４に供給する。動き推定器６６において、前記ビデオ信号から動きベクトルが推定される。現在のフィールド、前のフィールド及び次のフィールドからの画素が記憶装置６４から取得され、とりわけ前記推定された動きベクトルに応じて、重み付け手段６８において重み付けされる。前記重み付けされた画素値は合計器７０に供給され、該合計器７０において加重合計が算出される。結果の値は出力部７２に送られる。

本発明による方法、コンピュータプログラム及び表示装置を用いて、送信帯域幅を増大させることなく画質が向上され得る。このことは、伝送帯域幅が利用可能なものよりも高い解像度を表示装置が提供することが可能である場合に、特に有用である。

ＧＳＴデインタレースによる補間を示す。 １次線形の補間を示す。 線形の領域を示す。 出力画素に対する画素の水平方向の寄与を伴う本発明による補間器についての線形の領域の位置を示す。 出力画素に対する画素の水平方向の寄与を伴う本発明による補間器についての線形の領域の位置を示す。 本発明による方法を図示する。 本発明による表示装置を示す。

Claims (11)

1. ビデオ信号をデインタレースするための方法、とりわけＧＳＴベースのインタレースの方法であって、
   前記ビデオ信号から画素についての動きベクトルを推定するステップと、
   補間された出力画素を算出するために利用されるべき前記ビデオ信号からの入力画素の現在のフィールドを定義するステップと、
   前記ビデオ信号からの入力画素の加重合計から補間された出力画素を算出するステップと、
   を有し、前記入力画素の前記現在のフィールドからの少なくとも第１の画素が、前記補間された出力画素を算出するために、前記推定された動きベクトルの水平成分に依存して重み付けされる方法。
2. 前記出力画素を算出するために、前記出力画素に隣接する入力画素の前記現在のフィールドからの単一の線から少なくとも１つの水平方向に隣接する画素が重み付けされる、請求項１に記載の方法。
3. 前記出力画素を算出するために、前記現在のフィールドに隣接する入力画素のフィールドから少なくとも１つの付加的な画素が重み付けされる、請求項１に記載の方法。
4. 入力画素の前のフィールドが定義され、前記出力画素を算出するために、前記動きベクトルの整数部分を用いて前記前のフィールドを動き補償する際に前記出力画素の最も近くに現れる付加的な画素が重み付けされる、請求項１に記載の方法。
5. 前記出力画素を算出するために、前記出力画素に隣接する前記現在のフィールドにおける２つの線のそれぞれからの少なくとも３つの水平方向に隣接する画素が重み付けされる、請求項１に記載の方法。
6. 前記画素の重み付けは前記動きベクトルの分数部分に依存する、請求項１に記載の方法。
7. 前記画素の重み付けは前記動きベクトルの符号に依存する、請求項１に記載の方法。
8. ビデオ信号をデインタレースする方法であって、
   第１の出力画素が、請求項１による現在のフィールドからの少なくとも１つの画素に基づいて算出され、
   入力画素の前のフィールドが定義され、前記現在のフィールドからの少なくとも１つの画素と、前記前のフィールドからの少なくとも１つの画素とに基づいて、第２の出力画素が算出され、
   入力画素の次のフィールドが定義され、前記現在のフィールドからの少なくとも１つの画素と、前記次のフィールドからの少なくとも１つの画素とに基づいて、第３の出力画素が算出され、
   前記出力画素は、前記第１の出力画素、前記第２の出力画素及び前記第３の出力画素の加重合計に基づいて算出される方法。
9. 前記出力画素は、前記第２の出力画素と前記第３の出力画素との間の関係に基づいて算出される、請求項８に記載の方法。
10. デインタレースされたビデオ信号を表示する表示装置であって、
    画素の動きベクトルを推定する推定手段と、
    補間された出力画素を算出するため利用されるべき前記ビデオ信号からの入力画素の現在のフィールドを定義する定義手段と、
    前記入力画素の加重合計から補間された出力画素を算出する算出手段と、
    前記補間された出力画素を算出するため、前記推定された動きベクトルの水平成分に依存して入力画素の前記現在のフィールドからの少なくとも第１の画素を重み付けする重み付け手段と、
    を有する表示装置。
11. ビデオ信号をデインタレースするためのコンピュータプログラムであって、プロセッサに、
    前記ビデオ信号から画素についての動きベクトルを推定させ、
    補間された出力画素を算出するために利用されるべき前記ビデオ信号からの入力画素の現在のフィールドを定義させ、
    前記入力画像の加重合計から補間された出力画素を算出させ、
    前記補間された出力画素を算出するために、前記推定された動きベクトルの水平成分に依存して入力画素の前記現在のフィールドからの少なくとも第１の画素を重み付けさせるように動作可能なコンピュータプログラム。

Images