JP2007504742A

JP2007504742A - ビデオ信号の頑強なデインタレース

Info

Publication number: JP2007504742A
Application number: JP2006525243A
Authority: JP
Inventors: ハーンヘラルドデ
Original assignee: コニンクリユケフィリップスエレクトロニクスエヌ．ブイ．
Priority date: 2003-09-04
Filing date: 2004-08-25
Publication date: 2007-03-01
Also published as: KR20060084848A; EP1665781A1; CN100450155C; WO2005025214A1; EP1665781B1; CN1846434A; US20070052843A1; DE602004004672T2; ATE353527T1; DE602004004672D1

Abstract

本発明は、ビデオ信号をデインタレースする方法であって、画素の第１のセット及び画素の第２のセットから第１の画素サンプルを補間するステップ（２４）と、前記画素の第１のセット及び画素の第３のセットから第２の画素サンプルを補間するステップ（２６）と、前記画素の第１のセットの画素から第３の画素サンプルを算出するステップ（２８）と、前記第１の画素サンプルと前記第２の画素サンプルとの間の関係を算出するステップ（３０）と、を有する方法に関する。補間を改善し画質を改善するため、前記第１の画素サンプル、前記第２の画素サンプル、前記第３の画素サンプル及び前記第１の画素サンプルと前記第２の画素サンプルとの間の前記関係に基づいて、出力画素サンプルを算出することが提案される。

Description

本発明は、ビデオ信号をデインタレースする方法であって、画素の第１のセット及び画素の第２のセットから第１の画素サンプルを補間するステップと、前記画素の第１のセット及び画素の第３のセットから第２の画素サンプルを補間するステップと、を有する方法に関する。本発明は更に、ビデオ信号をデインタレースする表示装置及びコンピュータプログラムに関する。

デインタレースは、重要な新しい非線形スケーリング手法が単により細かな詳細を追加することが可能な、ハイエンドビデオ表示システムの主な解像度決定要因である。ＬＣＤ及びＰＤＰのような新たな技術の出現に伴い、画像の解像度の制約はもはや、表示装置自体ではなく、ソース又は伝送システムに存する。同時に、これらの表示装置は順次的に（progressively）走査されたビデオ入力を必要とする。それ故、かような表示装置においては、高品質のデインタレースが、優れた画質のための重要な前提条件である。

デインタレースへの最初のステップは、P. Delongeらによる「Improved Interpolation, Motion Estimation and Compensation for Interlaced Pictures」（IEEE Tr. on Im. Proc.、Vol. 3、no. 5、1994年９月、482-491頁）から知られている。

開示されている方法は、ＧＳＴ（general sampling theorem）デインタレース法としても知られる。本方法は図１に示される。図１は、時間的な連続ｎ−１及びｎにおける、偶数垂直位置ｙ＋４乃至ｙ−４上の垂直線における画素２のフィールドを示す。デインタレースのため、２つの独立した画素サンプルのセットが必要とされる。独立した画素サンプルの第１のセットは、以前のフィールドｎ−１から現在の時間的なインスタンスｎに向かって、動き補償された画素サンプル６へと、動きベクトル４によって画素２をシフトすることにより生成される。画素８の第２のセットもまた、奇数垂直線ｙ＋３乃至ｙ−３上に位置する。動きベクトル６が十分小さい場合を除き（例えば、所謂「臨界速度（critical
velocity）」即ち２つの連続する画素のフィールドの間の奇数画素の変位に導く速度が発生する場合を除き）、画素サンプル６と画素８とは独立と見なされる。現在のフィールドから画素サンプル６及び画素８を重み付けすることにより、出力画素サンプル１０は、サンプルの加重合計（ＧＳＴフィルタ）に帰着する。

数学的に、出力サンプル画素１０は以下のように記述され得る。画像番号ｎ中の位置

における画素の輝度値として

を用い、欠損した線（例えば奇数線）における補間された画素の輝度値としてＦ_ｉを用いると、ＧＳＴデインタレース法の出力は、以下のようになる。

ここで、ｈ_１及びｈ_２はＧＳＴフィルタ係数を定義する。第１項は現在のフィールドｎを表し、第２項は前のフィールドｎ−１を表す。動きベクトル

は、以下のように定義される。

ここで、Ｒｏｕｎｄ（）は最も近い整数値への丸めであり、垂直動き分数部分δ_ｙは、以下のように定義される。

線形ＧＳＴフィルタｈ_１及びｈ_２から構成されるＧＳＴフィルタは、垂直動き分数部分

及びサブ画素補間器（interpolator）タイプに依存する。

Delongeは、垂直補間器のみを利用すること、従ってｙ方向にのみ補間を利用することを提案した。順次的画像Ｆ^ｐが利用可能である場合、偶数線についてのＦ^ｅは、ｚドメインにおいて、奇数線Ｆ^ｏの輝度値から以下のように決定されることができる。
Ｆ^ｅ（ｚ，ｎ）＝（Ｆ^ｐ（ｚ，ｎ−１）Ｈ（ｚ））_ｅ＝
Ｆ^ｏ（ｚ，ｎ−１）Ｈ^ｏ（ｚ）＋Ｆ^ｅ（ｚ，ｎ−１）Ｈ^ｅ（ｚ）
ここでＦ^ｅは偶数画像でありＦ^ｏは奇数画像である。このときＦ^ｏは、

のように書き直すことができ、
Ｆ^ｅ（ｚ，ｎ）＝Ｈ_１（ｚ）Ｆ^ｏ（ｚ，ｎ）＋Ｈ_２（ｚ）Ｆ^ｅ（ｚ，ｎ−１）
に帰着する。線形補間器は、以下のように記述されることができる。

フィルタ係数を導出するため同期波形補間器を利用する場合、線形補間器Ｈ_１（ｚ）及びＨ_２（ｚ）はｋドメインにおいて以下のように記述され得る。

１次線形補間器を利用する場合、ＧＳＴフィルタは３つのタップを持つ。前記補間器はフレームのグリッド上の２つの隣接する画素を利用する。フィルタ係数の導出は、前の時間的なフレームから現在の時間的なフレームへサンプルをシフトすることにより為される。１次線形補間器についての線形の領域は、動き補償されたサンプルの位置において開始する。前記線形の領域を最も近い元のサンプルと動き補償されたサンプルとの中心にセンタリングする場合、結果のＧＳＴフィルタは４つのタップを持つ。かくして、ＧＳＴフィルタの頑強さが増大させられる。このことは、E. B. Belles及びG. de Haanによる「De-interlacing: a key technology for scan rate conversion」（Elsevier Science book series 「Advances in Image Communications」、Vol. 9、2000年）からも知られている。

不正な動きベクトルの場合、メディアンフィルタ（median filter）を利用することが提案されている。メディアンフィルタは、ＧＳＴインタレース法によって生成された出力信号におけるアウトライナー（outliner）を除去することを可能とする。

しかしながら、ＧＳＴ補間器の性能は、メディアフィルタを適用する場合、正常な動きベクトルを持つエリアにおいて低下させられる。該低下を低減するため、選択的に保護を適用することが提案されている（E. B. Belles及びG. de Haanによる「De-interlacing: a key technology for scan rate conversion」（Elsevier Science book series 「Advances in Image Communications」、Vol. 9、2000年））。臨界速度に近いエリアはメディアンフィルタリングされ、他のエリアはＧＳＴ補間される。ＧＳＴデインタレース器は、前記臨界速度に近い動きベクトルを持つエリアにおいてアーティファクトを生成する。従って、提案されるメディアン保護器は、臨界速度付近に対して以下のように適用される。

ここでＦ_ＧＳＴはＧＳＴデインタレース器の出力を表す。

本方法の欠点は、現在のＧＳＴデインタレース器を用いると、利用可能な情報の一部のみしか、欠損している画素を補間するために利用されないという点である。ビデオ信号においては空間−時間情報が利用可能であるため、欠損している画素サンプルを補間するために、ビデオ信号の種々の時間インスタンス及び種々のセクションからの情報を利用することが可能であるべきである。

それ故本発明の目的は、より頑強なデインタレースを提供することにある。本発明の他の目的は、補間のため、より多くのビデオ信号内に供給された利用可能な情報を利用することにある。本発明の更に他の目的は、より優れたデインタポレーション（de-interpolation）結果を提供することにある。

これらの及び他の目的は、ビデオ信号をデインタレースする方法であって、画素の第１のセット及び画素の第２のセットから第１の画素サンプルを補間するステップと、前記画素の第１のセット及び画素の第３のセットから第２の画素サンプルを補間するステップと、前記画素の第１のセットの画素から第３の画素サンプルを算出するステップと、前記第１の画素サンプルと前記第２の画素サンプルとの間の関係を算出するステップと、前記第１の画素サンプル、前記第２の画素サンプル、前記第３の画素サンプル及び前記第１の画素サンプルと前記第２の画素サンプルとの間の前記関係に基づいて、出力画素サンプルを算出するステップと、を有する方法によって達成される。

画素のセットは、ビデオ信号の種々の時間又は空間的なインスタンスからの画素であっても良い。前記画素サンプルを補間することは、画素値間の加重合計、平均和、二乗平均和又は他のいずれかの関連を算出することであっても良い。

種々の画素のセットの画素値を利用することにより、補間された出力画素の算出のエラーは最小化される。画像の質は増大させられ得る。

前記第１の画素サンプルと前記第２の画素サンプルとの間の関係を利用することにより、これらの画素サンプル間の差が評価され得る。該差は、出力画素サンプルを算出するときに画素サンプルを重み付けするために利用されても良い。前記差は動きベクトルの正常さの指標となり得る。

請求項２の方法は、ビデオ画像の種々の時間インスタンスを利用することを可能とする。前及び現在の時間インスタンスから算出された出力サンプルと、現在及び後続する時間インスタンスから算出された出力サンプルとの間の差が比較されても良い。サンプルが異なる場合、動きベクトルは少なくとも局所的に信頼性が高いものではない。２つの算出された画素サンプルの間の差は、全ての補間された画素についての品質の指標を提供する。このことは、保護が必要であるエリアと、出力が正常であり保護は必要でないエリアとを区別することを可能とする。

画素セットの間の時間的な関係は、請求項３によって設定されても良い。この場合、３つの連続する画像が利用されることが好ましい。

請求項４による算出は、画素の第１のセット及び画素の第２のセット内の画素の画素値間の絶対差に対して出力画素サンプルを算出することを可能とする。

請求項５の平均化は、第３の画素サンプルを平均値として算出することを可能とする。該平均値は、前記画素のセット内のアウトライナー画素値により生じるエラーを最小化する。

請求項６による垂直方向に隣接する画素の利用は、出力画素に垂直方向に隣接する画素値に基づいて出力画素を算出することを可能とする。

請求項７又は８による動きベクトルは、動き情報に基づき前記第１の画素サンプルを補間することを可能とする。前記動きベクトルは、前記補間の動き補償を可能とする。前記動きベクトルを用いて画像内の動きが推定され得るため、前記補間は該動き情報をも利用しても良い。前記補間結果はこのとき動き情報に基づき得る。

動きベクトルを算出することにより、請求項９による方法が好ましい。前記動きベクトルは、画像の種々の空間又は時間的なインスタンスを利用して推定されても良い。利用される値に依存して、前記画像内の実際の動きに或る程度合致する、種々の動きベクトルが算出されても良い。

請求項１０により、２つの異なる独立した動きベクトルを利用することにより、予測エラーが最小化され得る。

請求項１１及び１２の平均化は、補間エラーを最小化する。多くの値が利用されるほど、補間の結果はより良くなる。平均値及び絶対差を利用する場合、画素値におけるアウトライナーが考慮に入れられても良い。

本発明の他の態様は、デインタレースされたビデオ信号を表示する表示装置であって、画素の第１のセット及び画素の第２のセットから第１の画素サンプルを補間する第１の補間手段と、前記画素の第１のセット及び画素の第３のセットから第２の画素サンプルを補間する第２の補間手段と、前記画素の第１のセットの画素から第３の画素サンプルを算出する第１の算出手段と、前記第１の画素サンプルと前記第２の画素サンプルとの間の関係を算出する第２の算出手段と、前記第１の画素サンプル、前記第２の画素サンプル、前記第３の画素サンプル及び前記第１の画素サンプルと前記第２の画素サンプルとの間の前記関係に基づいて、出力画素サンプルを算出する第３の算出手段と、を有する表示装置である。

本発明の更に他の態様は、ビデオ信号をデインタレースするためのコンピュータプログラムであって、プロセッサに、画素の第１のセット及び画素の第２のセットから第１の画素サンプルを補間させ、前記画素の第１のセット及び画素の第３のセットから第２の画素サンプルを補間させ、前記画素の第１のセットの画素から第３の画素サンプルを算出させ、前記第１の画素サンプルと前記第２の画素サンプルとの間の関係を算出させ、前記第１の画素サンプル、前記第２の画素サンプル、前記第３の画素サンプル及び前記第１の画素サンプルと前記第２の画素サンプルとの間の前記関係に基づいて、出力画素サンプルを算出させるように動作可能なコンピュータプログラムである。

本発明のこれらの及び他の態様は、以下に説明される実施例を参照しながら説明され明らかとなるであろう。

図２は、１次線形の補間器の結果を示す。ここで、図１と同様の番号は同様の要素を示す。補間されたサンプル画素１０は、隣接する画素の加重合計であり、各画素の重みは補間器によって算出される。１次線形の補間器Ｈ（ｚ）＝（１−δ_ｙ）＋δ_ｙｚ^−１（０≦δ_ｙ≦１）の場合、補間器Ｈ_１（ｚ）及びＨ_２（ｚ）は、以下のように与えられる。

動きベクトルは、各画素の重み付けのために関連し得る。フィールド毎に０．５画素、即ちδ_ｙ＝０．５の動きが与えられた場合、偶数フィールドＦ^ｅ（ｚ，ｎ）の逆ｚ変換は以下のＦ^ｅ（ｙ，ｎ）についての空間−時間表現に帰着する。

図２から分かるように、前のフィールドｎ−１の隣接する画素は０．５で重み付けされ、現在のフィールドｎの隣接する画素は１で重み付けされる。図２に示された１次線形の補間器は、３タップＧＳＴフィルタに帰着する。上記の計算は、フレームグリッド上の２つの隣接する画素の間の線形性を仮定している。線形の領域が最も近い元のサンプルと動き補償されたサンプルとの中心にセンタリングされる場合、結果のＧＳＴフィルタは４つのタップを持ち得る。これらの４タップＧＳＴフィルタにおける付加的なタップが、空間的に隣接するサンプル値の寄与を増大させる。動きベクトルによってシフトされた、現在のフィールドからの及び前／次の時間的フィールドからの独立したサンプルの２つのセットは、先行技術によれば垂直方向にのみ、ＧＳＴフィルタリングのために利用される。補間器は、１画素のサイズを持つ所謂線形の領域においてのみ利用されることができるため、タップの数は前記線形の領域がどこに位置するかに依存する。このことは、垂直方向に４つの隣接する画素までが補間のために利用され得ることを意味する。

図３は、提案されるデインタレース方法の補間のブロック図を示す。図示されるものは、入力信号４８、第１のフィールドメモリ２０、第２のフィールドメモリ２２、第１のＧＳＴフィルタ２４、第２のＧＳＴフィルタ２６、平均化手段２８、重み付け手段３０及び出力信号７２である。

入力信号４８の少なくとも１つのセグメントは、画素の第２のセットとして理解され得る。フィールドメモリ２０の出力の少なくとも１つのセグメントは、画素の第１のセットとして理解され得る。フィールドメモリ２２の出力の少なくとも１つのセグメントは、画素の第３のセットとして理解され得る。新たな画像がフィールドメモリ２０に送られるときに、前の画像は既にフィールドメモリ２０の出力部にある。フィールドメモリ２０において出力される画像の前の画像は、フィールドメモリ２２において出力され得る。この場合、ＧＳＴフィルタリングされた補間された出力信号を算出するため、３つの時間的に連続するインスタンスが利用され得る。

入力信号４８はフィールドメモリ２０に送られる。フィールドメモリ２０において、動きベクトルが算出される。該動きベクトルは、前記入力信号の画素のセット内の画素の動きに依存する。前記動きベクトルはＧＳＴフィルタ２４に送られる。入力信号４８はＧＳＴフィルタ２４にも送られる。

前記第１のフィールドメモリ２０の出力は、前記第２のフィールドメモリ２２に送られる。前記第２のフィールドメモリにおいて、第２の動きベクトルが算出される。該動きベクトルのための時間的なインスタンスは、第１のフィールドメモリ２０のインスタンスに時間的に後続する。それ故、フィールドメモリ２２によって算出された動きベクトルは、フィールドメモリ２０において利用された画像に後続する画像内の画素のセット内の動きを表す。前記動きベクトルはＧＳＴフィルタ２６に送られる。

ＧＳＴフィルタ２４は、入力信号４８、フィールドメモリ２０からの動きベクトル及びフィールドメモリ２０の出力である入力信号に基づいて、ＧＳＴフィルタリングされた補間された画像を算出する。それ故、前記補間は、前記画像の２つの時間的なインスタンスを利用する。第１のものは、入力信号４８から直接のものであり、第２のものは、入力信号４８の一定の時間、とりわけ１画像の時間だけ先行するものである。加えて、前記動きベクトルが利用される。ＧＳＴフィルタリングは、図１及び図２によって実行されても良い。

ＧＳＴフィルタ２６は、フィールドメモリ２０の出力及びフィールドメモリ２２の出力である入力信号に基づいて、ＧＳＴフィルタリングされた補間された画像を算出する。加えて、ＧＳＴフィルタ２６は、フィールドメモリ２２内で算出された動きベクトルを利用する。ＧＳＴフィルタリングされた補間された出力は、ＧＳＴフィルタ２４の出力に時間的に先行する。加えて、前記動きベクトルが利用される。ＧＳＴフィルタリングは、図１及び図２によって実行される。

線平均化（line averaging）手段２８において、垂直線上の２つの隣接する画素値の平均が平均化され得る。これらの画素値は、補間されるべき画素値に隣接するものであり得る。線平均化手段２８の出力は、重み付け手段３０に送られる。

前記重み付け手段３０の入力は、線平均化手段２８、ＧＳＴフィルタ２４及びＧＳＴフィルタ２６の結果である。重み付け手段３０において、入力値が重み付けされ、前記重み付けされた値が合計される。結果は出力信号７２として出力され、デインタレースされたビデオ信号を表す。

ＧＳＴフィルタ２４の出力は、以下のように記述され得る。

ＧＳＴフィルタ２６の出力は、以下のように記述され得る。

線平均化手段の出力は、以下のようになり得る。

ＧＳＴフィルタ２４及び２６の出力の絶対差の逆数は、品質指標ＱＩとして理解され得る。

このとき、ゼロによる除算は、例えば分母に小さな定数を加算することにより、防止されるべきである。

該品質指標は、ＧＳＴフィルタ２４及び２６の出力が信頼性が高いものであり、代替の選択肢例えば前記線平均化手段の出力である場合、ＧＳＴフィルタ２４及び２６の出力の平均の間でフェードするために利用されても良い。そうでなければ、

である。

本方法を利用することにより、補間された画像のエラーは減少させられ、画質が向上させられる。

本発明による方法、コンピュータプログラム及び表示装置を用いて、送信帯域幅を増大させることなく画質が向上され得る。このことは、伝送帯域幅が利用可能なものよりも高い解像度を表示装置が提供することが可能である場合に、特に有用である。

ＧＳＴデインタレースによる補間を示す。１次線形の補間を示す。本発明による方法のブロック図を示す。

Claims

ビデオ信号をデインタレースする方法であって、
画素の第１のセット及び画素の第２のセットから第１の画素サンプルを補間するステップと、
前記画素の第１のセット及び画素の第３のセットから第２の画素サンプルを補間するステップと、
前記画素の第１のセットの画素から第３の画素サンプルを算出するステップと、
前記第１の画素サンプルと前記第２の画素サンプルとの間の関係を算出するステップと、
前記第１の画素サンプル、前記第２の画素サンプル、前記第３の画素サンプル及び前記第１の画素サンプルと前記第２の画素サンプルとの間の前記関係に基づいて、出力画素サンプルを算出するステップと、
を有する方法。
前記画素の第１のセット、前記画素の第２のセット及び前記画素の第３のセットは、ビデオインスタンスの連続する時間的なインスタンスから導出される、請求項１に記載の方法。
前記画素の第２のセットは、前記画素の第１のセットに先行し、及び／又は前記画素の第３のセットは、前記画素の第１のセットに後続する、請求項１に記載の方法。
前記第１の画素サンプルと前記第２の画素サンプルとの間の前記関係は、前記画素サンプル値の間の絶対差である、請求項１に記載の方法。
前記第３の画素サンプルは、前記画素の第１のセットの２つの画素値の平均値として算出される、請求項１に記載の方法。
前記第３の画素サンプルは、前記画素の第１のセットの垂直方向に隣接する画素の画素値に基づいて算出される、請求項１に記載の方法。
前記第１の画素サンプルは、前記画素の第１のセット及び前記画素の第２のセットからの画素の加重合計として補間され、前記画素の少なくとも幾つかの重みは動きベクトルの値に依存する、請求項１に記載の方法。
前記第２の画素サンプルは、前記画素の第１のセット及び前記画素の第３のセットからの画素の加重合計として補間され、前記画素の少なくとも幾つかの重みは動きベクトルの値に依存する、請求項１に記載の方法。
前記動きベクトルは、前記画素の第１のセットと前記画素の第２のセットとの間、前記画素の第１のセットと前記画素の第３のセットとの間、前記画素の第２のセットと前記画素の第３のセットとの間、又は前記画素の第１のセットと前記画素の第２のセットと前記画素の第３のセットとの間で算出される、請求項７又は８に記載の方法。
前記画素の重みは、前記画素の第１のセットと前記画素の第２のセットとの間で算出された第１の動きベクトル、及び前記画素の第１のセットと前記画素の第３のセットとの間で算出された第２の動きベクトルの値に依存する、請求項７又は８に記載の方法。
前記出力画素サンプルは、前記第１の画素サンプル及び前記第２の画素サンプルの平均と、前記画素の第１のセットにおける垂直方向に隣接する画素の平均との加重合計として算出される、請求項１に記載の方法。
前記重みは、前記第１の画素サンプルと前記第２の画素サンプルとの間の絶対差、及び前記垂直方向に隣接する画素の間の絶対差に略反比例する、請求項１１に記載の方法。
デインタレースされたビデオ信号を表示する表示装置であって、
画素の第１のセット及び画素の第２のセットから第１の画素サンプルを補間する第１の補間手段と、
前記画素の第１のセット及び画素の第３のセットから第２の画素サンプルを補間する第２の補間手段と、
前記画素の第１のセットの画素から第３の画素サンプルを算出する第１の算出手段と、
前記第１の画素サンプルと前記第２の画素サンプルとの間の関係を算出する第２の算出手段と、
前記第１の画素サンプル、前記第２の画素サンプル、前記第３の画素サンプル及び前記第１の画素サンプルと前記第２の画素サンプルとの間の前記関係に基づいて、出力画素サンプルを算出する第３の算出手段と、
を有する表示装置。
ビデオ信号をデインタレースするためのコンピュータプログラムであって、プロセッサに、
画素の第１のセット及び画素の第２のセットから第１の画素サンプルを補間させ、
前記画素の第１のセット及び画素の第３のセットから第２の画素サンプルを補間させ、
前記画素の第１のセットの画素から第３の画素サンプルを算出させ、
前記第１の画素サンプルと前記第２の画素サンプルとの間の関係を算出させ、
前記第１の画素サンプル、前記第２の画素サンプル、前記第３の画素サンプル及び前記第１の画素サンプルと前記第２の画素サンプルとの間の前記関係に基づいて、出力画素サンプルを算出させるように動作可能なコンピュータプログラム。