JP2007520966A

JP2007520966A - フィルムモード適応のある動き補償されたインターレース解除

Info

Publication number: JP2007520966A
Application number: JP2006551960A
Authority: JP
Inventors: ハーン，ヘラルトデ; チウフ，カリナ
Original assignee: Koninklijke Philips NV; Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2004-02-04
Filing date: 2005-01-24
Publication date: 2007-07-26
Also published as: US20080259207A1; EP1714482A1; WO2005076612A1; KR20060135742A; CN1914913A

Abstract

本発明は、ピクセルを補間するために少なくとも一つの推定された動きベクトルを使う、ハイブリッドビデオシーケンスをインターレース解除するための方法に関する。典型的には映画（フィルム）をもとにしたビデオ素材において起こる本願分野の諸特許はインターレースされたビデオ信号を順次走査ビデオに変換するために設計されたインターレース解除アルゴリズムの機能を乱す。したがって、フィルム／ビデオモードへの局所的な適応にモード判定が適用される必要がある。これは、第一の動きベクトルおよび第二の動きベクトルのための値を定義し、前の画像の少なくとも一つのピクセルと一つの第一の動きベクトルとを使って少なくとも一つの第一のピクセルを計算し、次の画像の少なくとも一つのピクセルと一つの第二の動きベクトルとを使って少なくとも一つの第二のピクセルを計算し、前記第一および前記第二の動きベクトルの信頼度を少なくとも前記第一のピクセルを少なくとも前記第二のピクセルと比較することによって計算し、前記第一および前記第二の動きベクトルは前記信頼度の計算にとってはあらかじめ定義されており、最も信頼度が高いと判明した動きベクトルについての実際の値を前記画像をインターレース解除するために推定する、ことによって可能である。

Description

本発明は、ピクセルを補間するために少なくとも一つの推定された動きベクトルを使う、ハイブリッドビデオシーケンスをインターレース解除するための方法、ディスプレイ装置およびコンピュータプログラムに関する。

インターレース解除は、ハイエンドのビデオディスプレイシステムの主要な解像度決定要因であり、重要な新興技術である非線形スケーリング技法はより微細な詳細を加えることができるに過ぎない。LCDやPDPといった新技術の到来により、画像解像度の制限はもはやディスプレイ装置そのものではなく、ソースまたは伝送システムにあるようになっている。同時に、こうしたディスプレイは順次走査ビデオ入力を必要とする。したがって、そのようなディスプレイ装置においては高品質のインターレース解除が優れた画質のためには重要な前提条件となっている。

インターレース解除への第一のステップは、P. Delonge et al. “Improved Interpolation, Motion Estimation and Compensation for Interlaced Pictures”, IEEE Tr. on Im. Proc., Vol. 3, no. 5, Sep. 1994, pp. 482-491から知られている。インターレースされたシーケンスから順次走査を得るために、インターレース解除アルゴリズムが適用される。インターレース解除アルゴリズムの入力であるインターレースされたビデオシーケンスは、交互の偶フェーズと奇フェーズからなる一連のフィールドである。

Delongeは、単に垂直補間器を使うことを、よってy方向のみで補間を使うことを提案している。

このアプローチでは、一般化標本化定理（generalised sampling theorem）GSTフィルタが提案される。一次の線形補間器を使うとき、GSTフィルタは３つのタップをもち、補間器はフレーム格子上で２つの隣接ピクセルを使う。フィルタ係数の導出は、直前の時間的フレームからの標本値を現在の時間的フレームにシフトさせることによって行われる。よって、一次線形補間器のための線形性の領域は、動き補償された標本値の位置で始まる。線形性領域の中心を、最近接のオリジナルと動き補償された標本値との間の距離の中心に合わせるとき、結果として得られるGSTフィルタは４つのタップをもつことがある。よって、GSTフィルタの堅牢性が向上する。これはまた、E. B. Bellers and G. de Haan, “De-interlacing: a key technology for scan rate conversion”, Elsevier Science book series “Advances in Image Communications”, vol. 9, 2000からも知られている。水平補間とGST垂直補間とを２Ｄの不可分なGSTフィルタにおいて組み合わせることで、より堅牢な補間器が得られる。ビデオ信号は時間および２つの空間方向の関数なので、両方の空間方向を扱うインターレース解除はよりよい補間につながる。画質は改善される。補間において使われるピクセルの分布は、垂直方向だけの補間の場合よりもよりコンパクトになる。これは、補間に使われるピクセルが、補間されるピクセルに対して空間的により近い位置になるという意味である。補間のためにピクセルを集めてくる領域はより小さくなりうる。水平方向と垂直方向両方の近隣ピクセルを使ってGSTベースのインターレース解除を使うことで、補間器の価格‐パフォーマンス比率が改善される。

動きベクトルは、ビデオ信号内でのピクセルの動き成分から導出されうる。動きベクトルは、ビデオ画像内のピクセルの動きの方向を表す。入力ピクセルの現在のフィールドは、当該ビデオ信号内で時間的に現在表示または受信されているピクセルの集合でありうる。入力ピクセルの重み付き和は、入力ピクセルの輝度値またはクロミナンス値に補間パラメータに従って重みをかけることによって得ることができる。

垂直方向のGSTフィルタ補間と組み合わせて水平方向に補間を実行することで、１０タップのフィルタを得ることもできる。これは１Ｄ GST、４タップ補間器と称されうる。４というのは垂直GSTフィルタのみを指している。上述した線形性領域は、垂直および水平補間については２Ｄの線形性領域で定義されうる。数学的には、これは周波数スペクトルの逆格子を見出すことによってなされうる。このことは、
ｆｘ＝１
という簡単な方程式で定式化できる。ここで、ベクトルｆ＝（f_h,f_v）はベクトルｘ＝（x,y）方向の周波数（frequency）である〔本稿の本文では便宜上ベクトルを下線で表す〕。線形性領域は、１ピクセルの大きさに等しい対角線を有する正方形である。２Ｄの状況では、格子の位置は水平方向に自由にシフトさせうる。三角波補間器の中心は、水平方向ではpを任意の整数として位置x＋p＋δ_xでありえる。２Ｄの線形性領域をシフトさせることによって、水平方向のGSTフィルタの開口を増しうる。位置y＋mにある三角波補間器の中心の垂直座標をシフトさせることによって、５タップの補間器が実現されうる。

図２は、周波数領域における逆格子１２および空間領域における対応する格子をそれぞれ描いている。格子１２は線形性領域を定義するが、線形性領域は今は平行四辺形である。ベクトルｘ方向に距離｜ｘ｜離れたピクセルどうしの間には線形関係が確立される。さらに、１次元補間器で使われる三角補間器は角錐補間器の形を取りうる。線形性領域を垂直または水平方向にシフトさせることは、異なるフィルタタップ数につながる。特に、角錐補間器がpを任意の整数として位置（x＋p,y）を中心としている場合には、結果として１Ｄの場合が得られうる。

一般に、既存のビデオ素材のうちではビデオの３つの異なるモードが区別できる。いわゆる50Hzフィルムモードは、同じ画像をもとにした２つの相続くフィールドを有する。このフィルムモードは2-2プルダウンモードとも呼ばれる。このモードは、25画像／秒の映画（フィルム）が50Hzのテレビで放送されるときにしばしば使われる。どのフィールドが同じ画像に属するかがわかっていれば、インターレース解除はフィールド挿入に帰着する。

60Hzの電源を使っている国では、映画は24画像／秒で上映される。そのような場合、映画をテレビのために放送するためには、いわゆる3-2プルダウンモードが必要となる。そのような場合、連続した単独のフィルム画像はそれぞれ３フィールド、２フィールド繰り返される。この結果、平均して60/24＝2.5の比になる。ここでもまた、反復パターンが既知であれば、インターレース解除の代わりにフィールド挿入を適用することができる。

フィルムのどの２つの連続するフィールドも異なる画像に属している場合は、そのシーケンスはビデオモードであり、順次シーケンスを得るためには特定のアルゴリズムを用いてインターレース解除が適用される必要がある。

一つのシーケンス内にフィルムモードとビデオモードの組み合わせが現れることも知られている。そのようないわゆるハイブリッドモードでは、異なるいくつかのインターレース解除方法を適用する必要がある。ハイブリッドモードでは、そのシーケンスのいくつかの領域はビデオモードに属し、残りの領域はフィルムモードにある。ハイブリッドシーケンスのインターレース解除のためにフィールド挿入を適用すると、結果として得られるシーケンスはビデオモード領域においていわゆる歯状乱れを呈する。他方、ビデオインターレース解除アルゴリズムを適用すると、フィルムモード領域においてちらつきのような望ましくない乱れが導入される。

US6,340,990において、ハイブリッドシーケンスのインターレース解除が記載されている。さまざまなモードの間の弁別をし、インターレース解除をしかるべく適応させるために複数の動き検出器を使うことを提案する方法が開示されている。提案された方法は動き補償を使わないので、動いているビデオ部分における結果は貧弱である。

したがって、本発明の一つの目的は、高い品質結果を提供することのできる、ハイブリッドビデオシーケンスのインターレース解除を提供することである。本発明のもう一つの目的は、ビデオモードと場面内での動きを考慮に入れた、ハイブリッドビデオシーケンスのためのインターレース解除を提供することである。

これらのことを含む本発明のさまざまな目的は、ピクセルを補間するために少なくとも一つの推定された動きベクトルを使ってハイブリッドビデオシーケンスをインターレース解除する方法であって、第一の動きベクトルおよび第二の動きベクトルのための値を定義し、前の画像の少なくとも一つのピクセルと前記第一の動きベクトルとを使って少なくとも一つの第一のピクセルを計算し、次の画像の少なくとも一つのピクセルと前記第二の動きベクトルとを使って少なくとも一つの第二のピクセルを計算し、前記第一および前記第二の動きベクトルの信頼度を少なくとも前記第一のピクセルを少なくとも前記第二のピクセルと比較することによって計算し、前記第一および前記第二の動きベクトルは前記信頼度の計算にとってはあらかじめ定義されており、最も信頼度が高いと判明した動きベクトルについての実際の値を前記画像をインターレース解除するために推定する、ステップを有する方法によって解決される。

本発明の方法の一つの利点は、種々のモードが検出でき、インターレース解除が各モードに適応されうることである。インターレース解除器は、固有のフィルム／ビデオ適応を備えうる。また、動き補償もインターレース解除に適用されうる。動き補償されたインターレース解除のためには前のフィールドと次のフィールドに関する動きベクトルの間の関係を考慮しなければならないことが見出されるに至っている。いくつかのピクセルからなるブロックについて、あるシーケンスのビデオモードは、前のフィールドと次のフィールドからの動きベクトルを用いて計算されたピクセルを比較し、これらのピクセルを比較することによって計算されうる。ピクセルブロックのモードに依存して、異なる動きベクトルが異なる結果を与え、信頼度が計算されうる。

あるシーケンスがビデオモードの場合、２フィールド期間にわたって線形の動きを想定するとき、前の（previous）フィールドと次の（next）フィールドの動きベクトルの絶対値は等しく、両動きベクトルは逆向きになっている。これは、ｖ _n＝−ｖ _pを意味している。シーケンスがフィルムモードの場合、ｖ _n＝０かつｖ _p≠０かｖ _n≠０かつｖ _p＝０かのどちらかである。最後に、シーケンスが動いていないオブジェクトを含んでいる場合、あるいはシーケンスが3-2プルダウンフェーズの一つにある場合にｖ _n＝0かつｖ _p＝0となる。したがって、種々のモードを考慮に入れるためにいくつかの動きベクトルがあらかじめ定義されうる。こうしたあらかじめ定義された動きベクトルを用いて、前および次の画像からのピクセルが計算されうる。こうしたピクセルを比較することによって、これらあらかじめ定義された動きベクトルのどれについて、計算されたピクセルが等しいまたは類似であるか、そしてどれについて計算されたピクセルが異なっているかが見出されうる。これらの動きベクトルについて、計算されたピクセルどうしの間の差が最小のときに、対応するモードが推定されうる。

第一のベクトルおよび第二のベクトルを導出するためのあらかじめ定義される値は、前記推定されたベクトルから定義されうる。

理論上、現在のフィールドは前のフィールドを使っても、次のフィールドを使うのと同じようにインターレース解除できるので、上記の状況のどれについてその２つのインターレース解除結果が最もよく互いに似ているかの検査ができる。ブロックごとに判断を積み重ねることによって、それをインターレース解除用の最適化された３フィールドの動き推定器と統合することができる。

一般化標本化定理に基づく動き補償されたインターレース解除器を用いたモード検出を構成することも可能でありうる。よって、フィルム検出は一般化標本化定理インターレース解除アルゴリズムについて最適化されうる。しかし、他のいかなるインターレース解除アルゴリズムも適用されうる。

請求項２，３によれば、動きベクトルどうしの間の関係が適用されうる。特に、動きベクトルどうしは反転でありうる。これによりビデオモードであることが検出されうる。線形動きのビデオモードではｖ _n＝−ｖ _pだからである。あらかじめ定義された値について動きベクトルどうしが互いに関係している場合、２つのピクセルはビデオモードにおいて互いに最もよく似ることになる。他のモードでは、動きベクトルを互いに関係しているようにあらかじめ定義することは、これらの動きベクトルから計算されたピクセルどうしの間の差がより大きいという結果になる。あらかじめ定義された値はそれぞれ−1および1でありうる。そして第一および第二のベクトルは、推定されたベクトルにあらかじめ定義された値をかけることで導出されうる。

請求項４に記載の方法を適用するとき、フィルムモードが検出されうる。フィルムモードでは少なくとも２つの連続する画像が互いのコピーであり、その際一つの動きベクトルが0だからである。もう一方の動きベクトルは0ベクトルとは異なる値を有していてもよい。これは、あらかじめ定義された値が1または0でありうるということを意味している。

シーケンスのモードを解析するために請求項５の方法が提案されている。種々の推定された動きベクトルについてのエラー基準を計算することによって、シーケンスのモードが検出されうる。したがって、現在のフィールドからのピクセル、前のフィールドを前記第一の動きベクトルにわたってシフトさせたものからのピクセルおよび次のフィールドをある第二の動きベクトルにわたってシフトさせたものからのピクセルに基づいて、第一のエラー基準を計算することが可能でありうる。前記第二の動きベクトルは前記第一の動きベクトルの反転でありうる。また、現在のフィールドからのピクセル、前のフィールドを前記第一の動きベクトルにわたってシフトさせたものからのピクセルおよび次のフィールドを前記第二の動きベクトルにわたってシフトさせたものからのピクセルに基づいて、第二のエラー基準が計算されうる。前記第二の動きベクトルは0の値を有する。現在のフィールドからのピクセル、前のフィールドを0の値をもつ前記第一の動きベクトルにわたってシフトさせたものからのピクセルおよび次のフィールドを前記第二の動きベクトルにわたってシフトさせたものからのピクセルに基づいて、第三のエラー基準が計算されうる。現在のフィールドからのピクセル、前のフィールドを0の値をもつ前記第一の動きベクトルにわたってシフトさせたものからのピクセルおよび次のフィールドを0の値をもつ前記第二の動きベクトルにわたってシフトさせたものからのピクセルに基づいて、第四のエラー基準が計算されうる。

第一のエラー基準が最小であれば、ビデオモードが検出されうる。そして補間されたピクセルは、現在のフィールドのピクセル、前のフィールドを前記第一の動きベクトルにわたってシフトさせたもののピクセルおよび次のフィールドを前記第二の動きベクトルにわたってシフトさせたもののピクセルから計算される。前記第二の動きベクトルは前記第一の動きベクトルの反転になっている。

第二のエラー基準が最小であれば、フィルムモードが検出されうる。そして補間されたピクセルは、現在のフィールドのピクセル、前のフィールドを前記第一の動きベクトルにわたってシフトさせたもののピクセルおよび次のフィールドを零動きにわたってシフトさせたもののピクセルから計算される。

第三のエラー基準が最小の場合は、やはりフィルムモードが検出されうる。そして補間されたピクセルは、現在のフィールドのピクセル、前のフィールドを零動きにわたってシフトさせたもののピクセルおよび次のフィールドを前記第二の動きベクトルにわたってシフトさせたもののピクセルから計算される。

最後に、第四のエラー基準が最小であれば、零モードが検出されうる。そして補間されたピクセルは、現在のフィールドのピクセル、前のフィールドを零動きベクトルにわたってシフトさせたもののピクセルおよび次のフィールドを零動きベクトルにわたってシフトさせたもののピクセルから計算される。

各エラー基準は異なるモードを定義し、適切な補間画像を計算するために使用されうる。どのモードが検出されるかに依存して、最良の結果をもって当該画像をインターレース解除するために、異なる動きベクトルおよびその異なる値が使用されうる。

エラー基準を見出すために、請求項６の方法が提案される。ピクセルブロックにわたる絶対値和を計算することによって、二つ以上のピクセルが正しいモードの推定に加わりうる。

請求項７記載の方法は、ある種のエラー基準にペナルティを与えることを許容する。結果にバイアスを加えることによって、検出された画像ごとの多数モードではない、あるいは他の何らかの理由によりほとんど予期されないモードは各エラー基準を通じてペナルティを与えられうる。バイアスを与えられたエラー基準がそれでも最小である場合には、適切なインターレース解除が適用される。

請求項８では、直接近傍の空間・時間的環境におけるベクトルのモードが考慮されうる。現在のブロックについて計算されたエラー基準が空間・時間的な近傍エラー基準と一致しない場合、バイアスを加えることによってペナルティを与えられうる。このペナルティを与えてもまだこのエラー基準が最小である場合にのみ、適切なインターレース解除が適用されうる。

本発明のもう一つの側面は、インターレース解除されたビデオ信号を表示するためのディスプレイ装置であって、第一の動きベクトルおよび第二の動きベクトルについての値を定義する定義手段と、前の画像の少なくとも一つのピクセルおよび前記第一の動きベクトルを使って少なくとも一つの第一のピクセルを計算する第一の計算手段と、次の画像の少なくとも一つのピクセルおよび前記第二の動きベクトルを使って少なくとも一つの第二のピクセルを計算する第二の計算手段と、前記第一および前記第二の動きベクトルの信頼度を少なくとも前記第一のピクセルを少なくとも前記第二のピクセルと比較することによって計算する、ここで前記第一および前記第二の動きベクトルは前記信頼度の計算のためにはあらかじめ定義されている第三の計算手段と、最も信頼度が高いと判明した動きベクトルについての実際の値を前記画像をインターレース解除するために推定する推定手段、とを有する。

本発明のあるさらなる側面は、ビデオ信号をインターレース解除するためのコンピュータプログラムであって、プロセッサをして、第一の動きベクトルおよび第二の動きベクトルのための値を定義し、前の画像の少なくとも一つのピクセルと前記第一の動きベクトルとを使って少なくとも一つの第一のピクセルを計算し、次の画像の少なくとも一つのピクセルと前記第二の動きベクトルとを使って少なくとも一つの第二のピクセルを計算し、前記第一および前記第二の動きベクトルの信頼度を少なくとも前記第一のピクセルを少なくとも前記第二のピクセルと比較することによって計算し、前記第一および前記第二の動きベクトルは前記信頼度の計算のためにはあらかじめ定義されており、最も信頼度が高いと判明した動きベクトルについての実際の値を前記画像をインターレース解除するために推定する、ことをさせるよう動作しうる。

これらのことを含め本発明のさまざまな側面は、以下の図面から明らかとなり、それを参照することで明快となるであろう。

一つの可能なインターレース解除法は一般標本化定理（GST）インターレース解除法である。この方法は図１に図解されている。図１は、n−1〜nの時間的な連続における垂直線上の偶数垂直位置y＋4〜y−4でのピクセル２からなるフィールドを示している。インターレース解除のためには、独立な２組のピクセル標本値が必要とされる。独立なピクセル標本値の第一の組は、直前のフィールドn−1を動きベクトル４にわたって現在の時間事例nに向けてシフトさせて動き補償されたピクセル標本値６とすることによって生成される。ピクセル８からなる第二の組は、奇数垂直線y＋3〜y−3に位置している。動きベクトル６が十分小さいのでない限り、つまりたとえばいわゆる「臨界速度」すなわち２つの相続くフィールドのピクセルどうしの間で奇数のピクセル変位につながる速度が生じるのでない限り、ピクセル標本値６とピクセル８は独立であるといわれる。ピクセル標本値６と現在のフィールドからのピクセル８とに重みをかけることによって、出力ピクセル標本値１０は諸標本値の重み付き和（GSTフィルタ）として得られる。

数学的には、出力標本値ピクセル１０は以下のように記述できる。F（ｘ,n）を画像番号nにおける位置ｘでのピクセルの輝度値として使い、F_iを欠けている線（たとえば奇数番目の線）での補間されたピクセルの輝度値として使うと、GSTインターレース解除法の出力は次のようになる。

ここで、h₁およびh₂はGSTフィルタ係数を定義している。第１項が現在のフィールドnを表し、第２項が直前のフィールドn−1を表している。動きベクトルｅ（ｘ,n）は、四捨五入して整数値にする関数をRound( )として次のように定義される。

垂直動き端数δ_yは次のように定義される。

線形GSTフィルタh₁およびh₂からなるGSTフィルタは垂直動き端数δ_y（ｘ,n）およびサブピクセルの補間器種別に依存する。

GSTフィルタの不可分バージョンを適用するときは、線形性領域は水平方向に拡張されうる。そのようなGSTフィルタの不可分性は本発明の方法にとって必須ではない。しかし、水平方向の開口が大きいほど本方法の堅牢性も増す。さらに、GSTフィルタの不可分性は両方の空間方向を同一に扱い、それによりビデオシーケンスのインターレース解除にはより適切なものとなる。

画像内でのピクセルの輝度値はP(x,y,n)と書くことができる。n番目のフィールド中の位置(x,y)にあるこのピクセルPは、δ_xおよびδ_yを水平および垂直方向のサブピクセル端数として使って補間されうる。次いでピクセルの輝度値は次のように書ける。

ここで、

はGSTフィルタの水平方向の開口を与える。A、B、C、Dの値は、図２に図解するように、近隣のピクセルから導出されてもよい。

図３は、２Ｄの線形性領域を太線で囲って図解している。不可分GSTフィルタにおいて使用されるピクセルは丸で囲まれている。

これらの式から、P(x,y,n)は前のフィールドと現在フィールドから取得できることが見て取れる。しかし、次の第(n＋1)フィールドと現在の第nフィールドからの標本値を用いてピクセルを補間することも可能である。次の標本値から計算されるそのようなピクセルは下のように書ける。

ここで、C_avおよびD_avの内容は次のフィールドからシフトされる。

動きベクトルが２フィールド期間にわたって線形であるとすると、所与のピクセルブロックについて対応するベクトル端数δ_xおよびδ_yを種々の推定された動きベクトルについてのエラー基準を計算することによって、シーケンスのモードが検出されうる。したがって、現在のフィールドからのピクセル、前のフィールドを前記第一の動きベクトルにわたってシフトさせたものからのピクセルおよび次のフィールドをある第二の動きベクトルにわたってシフトさせたものからのピクセルに基づいて、第一のエラー基準を計算することが可能でありうる。前記第二の動きベクトルは前記第一の動きベクトルの反転でありうる。また、現在のフィールドからのピクセル、前のフィールドを前記第一の動きベクトルにわたってシフトさせたものからのピクセルおよび次のフィールドを前記第二の動きベクトルにわたってシフトさせたものからのピクセルに基づいて、第二のエラー基準が計算されうる。前記第二の動きベクトルは0の値を有する。現在のフィールドからのピクセル、前のフィールドを0の値をもつ前記第一の動きベクトルにわたってシフトさせたものからのピクセルおよび次のフィールドを前記第二の動きベクトルにわたってシフトさせたものからのピクセルに基づいて、第三のエラー基準が計算されうる。現在のフィールドからのピクセル、前のフィールドを0の値をもつ前記第一の動きベクトルにわたってシフトさせたものからのピクセルおよび次のフィールドを0の値をもつ前記第二の動きベクトルにわたってシフトさせたものからのピクセルに基づいて、第四のエラー基準が計算されうる。
もつ動きベクトルのビデオシーケンスの信頼度（reliability）R_vは、８×８のピクセルのブロックに属するあらゆるベクトルｘについて、次式から計算されうる。

しかし、内在的にフィルム／ビデオモードに適応するインターレース解除を実装するためには、この信頼度は異なるベクトルについて、たとえばシーケンスにおいて生起しうる４つの可能な状況について検査される必要がある。

これらの異なる状況とは、ビデオモードについてのｖ _N＝−ｖ _P、２つの可能なフィルムモードについてのｖ _P≠０かつｖ _N＝０またはｖ _P＝０かつｖ _N≠０、あるいは零モードについてのｖ _P＝０かつｖ _N＝０である。

図４ａはｖ _N＝−ｖ _Pとなるビデオモードを図解している。図４ａから見て取れるように、前のフィールドn−1からおよび次のフィールドn＋1からの動きベクトル４にわたってシフトされて動き補償された標本値６を使った２つのGST補間されたピクセル８（PおよびN）は互いに非常によく似ている。よって、そのようなシーケンスをインターレース解除するときには、ビデオモードを想定しうる。

図４ｂからは、フィルムモードでは、前および次のフィールドからの動き補償された標本値６を使った２つのGST補間されたピクセル８（PおよびN）は、ｖ _N＝０でありかつｖ _Pが実際の値から取られた場合に最もよく似ることが見て取れる。

同じことが図４ｃについてもあてはまる。ここではｖ _Pは０に等しく、ｖ _Nは実際の値から推定されている。

図４ｄでは、零モードが図解されている。ここでは、前および次のフィールドからの動き補償された標本値は、ｖ _P＝０かつｖ _N＝０の場合に最もよく似る。

適切なインターレース解除アルゴリズムを選ぶ際には、これらの異なる状況を考慮に入れる必要がある。そうした状況を考慮に入れると、信頼度の値は、８×８のピクセルのブロック内の任意のピクセル位置(x,y)について、次式から計算されうる。

この式を最小化することにより、各ブロックについて最も適切と思われるモードが計算でき、よって当該ビデオをインターレース解除するために使われる動きベクトル推定を選択ぶことができる。

ある洗練では、上式からの最小化は、差｜N(x,y,n)−P(x,y,n)｜に対して、この差を通じて試験されるモードが画像ごとの多数モードでないか、あるいは直接近傍の空間・時間的環境におけるベクトルのモードと一致しない場合には、ある正の値を加えることによって、ペナルティを与えることを追加してもよい。

提案されるような内在的に適応するインターレース解除アルゴリズムを使用することにより、従来技術のアルゴリズムのいずれも好適でなかったハイブリッドビデオシーケンスをインターレース解除する可能性が開かれる。そのような方法は、当該シーケンスが属するモードに関わるいかなる追加情報からも独立して、インターレース解除を適正に実行する可能性を与える。本発明の内在的に適応するインターレース解除アルゴリズムは、適用されるGST補間法について最適化され、よって該補間法に関して堅牢となりうるという利点がある。

GSTインターレース解除を示す図である。線形性領域を示す図である。 GST動き補償されたインターレース解除を用いたインターレース解除のための線形性の領域の格子を示す図である。ビデオモードを示す図である。フィルムモードを示す図である。別のフィルムモードを示す図である。零モードを示す図である。

Claims

ピクセルを補間するために少なくとも一つの推定された動きベクトルを使ってハイブリッドビデオシーケンスをインターレース解除する方法であって：
第一の動きベクトルおよび第二の動きベクトルのためのあらかじめ定義される値を定義し、
前の画像の少なくとも一つのピクセルと前記第一の動きベクトルとを使って少なくとも一つの第一のピクセルを計算し、
次の画像の少なくとも一つのピクセルと前記第二の動きベクトルとを使って少なくとも一つの第二のピクセルを計算し、
前記第一および前記第二の動きベクトルの信頼度を少なくとも前記第一のピクセルを少なくとも前記第二のピクセルと比較することによって計算し、前記第一および前記第二の動きベクトルは前記信頼度の計算にとってはあらかじめ定義されたものであり、
最も信頼度が高いと判明した動きベクトルについての実際の値を前記画像をインターレース解除するために推定する、
ステップを有することを特徴とする方法。
前記動きベクトルについての前記あらかじめ定義された値どうしが互いに関係していることを特徴とする、請求項１記載の方法。
前記動きベクトルについての前記あらかじめ定義された値どうしが反転であることを特徴とする、請求項１記載の方法。
前記動きベクトルについての前記あらかじめ定義された値の一つが零の値を有し、前記動きベクトルについての前記あらかじめ定義された値の一つが前記前の画像および／または現在の画像および／または次の画像のピクセルから計算された実際の推定値を有することを特徴とする、請求項１記載の方法。
前記動きベクトルの信頼度が少なくとも二つのエラー基準を計算することによって計算され、該エラー基準のそれぞれについて前記動きベクトルについての前記あらかじめ定義される値について異なる値が選ばれることを特徴とする、請求項１記載の方法。
前記エラー基準がピクセルブロックにわたる絶対値和から計算されることを特徴とする、請求項５記載の方法。
前記エラー基準および／または前記和が、前記画像の少なくとも部分において最も頻繁に出現すると推定されるエラー基準および／または修正されるべき個別のエラー基準に基づいて修正されることを特徴とする、請求項５記載の方法。
前記エラー基準および／または前記和が、時間的および／または空間的に近隣のブロックについて計算されたエラー基準に依存して修正されることを特徴とする、請求項５記載の方法。
インターレース解除されたビデオ信号を表示するためのディスプレイ装置であって、
第一の動きベクトルおよび第二の動きベクトルについての値を定義する定義手段と、
・前の画像の少なくとも一つのピクセルおよび前記第一の動きベクトルを使って少なくとも一つの第一のピクセルを計算する第一の計算手段と、
・次の画像の少なくとも一つのピクセルおよび前記第二の動きベクトルを使って少なくとも一つの第二のピクセルを計算する第二の計算手段と、
・前記第一および前記第二の動きベクトルの信頼度を、少なくとも前記第一のピクセルを少なくとも前記第二のピクセルと比較することによって計算する、ここで前記第一および前記第二の動きベクトルは前記信頼度の計算にとってはあらかじめ定義されたものである、第三の計算手段と、
・最も信頼度が高いと判明した動きベクトルについての実際の値を前記画像をインターレース解除するために推定する推定手段、
とを有することを特徴とするディスプレイ装置。
ビデオ信号をインターレース解除するためのコンピュータプログラムであって、プロセッサをして、
・第一の動きベクトルおよび第二の動きベクトルのための値を定義し、
・前の画像の少なくとも一つのピクセルと前記第一の動きベクトルとを使って少なくとも一つの第一のピクセルを計算し、
・次の画像の少なくとも一つのピクセルと前記第二の動きベクトルとを使って少なくとも一つの第二のピクセルを計算し、
・前記第一および前記第二の動きベクトルの信頼度を少なくとも前記第一のピクセルを少なくとも前記第二のピクセルと比較することによって計算し、前記第一および前記第二の動きベクトルは前記信頼度の計算にとってはあらかじめ定義されたものであり、
・最も信頼度が高いと判明した動きベクトルについての実際の値を前記画像をインターレース解除するために推定する、
ことをさせるよう動作しうることを特徴とするコンピュータプログラム。