JP2011087325A - ビデオデータのデインターレーシング - Google Patents

Abstract

【課題】インターレース画像からプログレッシブスキャン画像を得るための改善された方法及び装置を提供する。
【解決手段】ここで、インターレース画像からフィールドに挿入されることになる各画素について、差分値が、復元されるべき画素に対して対称に対向する画素のセットの各ペアと、復元されることになる画素に隣接するラインとから得られる。どの画素のペアが関連付けられた最も低い差分値を有するかに関して決定され、この平均値が、復元されることになる画素のすぐ上側及び下側の画素の値によって定義される範囲内にある場合には、この画素の平均値は挿入されるべき前記画素の値として選択される。
【選択図】図４

Description

本発明は、ミッシング情報の復元が必要とされる場合に、ＴＶ信号（及び、一般的にどのようなフィールドにも基づく画像伝送）に特に有用なタイプのビデオ画像の解像度を高めるための方法及び装置に関する。

テレビ及びビデオ画像は、一般に、２：１のインターレースシステムを使用して表示される。インターレース画像は、表示ラインを変更するのではなく、各フィールドが表示ラインの全てに加えられる１：１プログレッシブスキャン画像に変換することによって、解像度を高めることができる。

公知の変換技術は、ＥＰ−Ａ−０１９２２９２で説明されている。ここでは、隣接する第１及び第２の２：１インターレースフィールドからの３つの連続する表示ラインの画素が調べられる。１つのペアである画素Ｐ及びＱは、第２フィールドの２つの異なるラインの各々から選択される。これらは、互いに極めて類似しているはずの２つの画素である。
別の画素Ｄは、第１フィールドのラインから導出され、画素Ｐ及びＱと比較されてメディアンＹが得られる。この値は、第２フィールドの新しい画素Ｙを生成するのに使用される。この技術を用いると、このような得られたプログレッシブスキャン画像にエイリアシング効果が生じる可能性がある。

ＵＳ５００１５６３において改善が記載されている。ここでは、メディアンＹはＤと比較される。この２つが予め定められた閾値よりも大きく異なる場合には、新しい画素Ｙは、Ｐ及びＱの平均値から形成される。これは、２つ又はそれ以上のペアの画素が高度の類似性を有する場合に画像に生成されるアーティファクトを生じることになる。

別の技術は、ＵＳ５５３２７５１で説明されている。この中で、画像の画素間の変分が、エッジ又は輪郭を検出するために評価される。画素間の変分が閾値を下回る場合には、エッジの配向は良好に推定されたとみなされ、新しい画素がエッジの推定された配向の周りにある画素の平均値から形成される。エッジ配向の推定が不十分でない場合、新しい画素は、２つの垂直に並んだ画素の平均値から形成される。この技術は、高い相互類似性を有する２つ又はそれ以上の画素のペアを備えた画像にアーティファクトを発生させる。

この技術の更なる改善は、ＵＳ６１３３９５７で開示されている。この中で、画素又は画素のセット間の変分は、境界を復元するために計算される。２つの変分は、最も小さな値を持つものから選択され、画素は、変分を得るために使用される画素の重み付け平均値として生成される。
この技術は、復元された画素が上側及び下側の画素を一致させることができない場合、極めて詳細なシーンで好ましくないアーティファクトを発生させる。

ＥＰ−Ａ−０１９２２９２公報 ＵＳ５００１５６３公報 ＵＳ５５３２７５１公報 ＵＳ６１３３９５７公報

従来の技術には、得られたプログレッシブスキャン画像にエイリアシング効果が生じる可能性があったり、画像に生成されるアーティファクトを生じたり、高い相互類似性を有する２つ又はそれ以上の画素のペアを備えた画像にアーティファクトを発生させたり、復元された画素が上側及び下側の画素を一致させることができない場合、極めて詳細なシーンで好ましくないアーティファクトを発生させる、という課題があった。

本発明の実施形態は、プログレッシブスキャン画像に変換される場合、特に画像が高速の動きを含むシーケンスの一部である場合に、インターレース画像からの境界又はエッジ復元の問題に対処する。このような場合、隣接するフィールドが時間内で完全に無相関とすることができるときに、隣接するフィールドからのシーケンスデータを使用することは、有効ではない場合がある。全フレームの５０パーセントを表わし、交互の水平ライン上に表示される時間ｔにおいて利用可能な唯一のフィールドから始めて、新しいアルゴリズムは、得られることになる画素に対して対称に位置付けられた画素のペアの平均値を求める。最も類似している画素のペアに対応する平均値は、新しい画素である。

平均値を求める際に、アルゴリズムはまた、計算された平均値の全ての垂直相関に関しチェックを実行する。相関が十分に高くない場合、その平均値は廃棄される。適切な平均値が求まらない（試験をパスする平均値がない）場合、新しい画素は、直近の上側と下側の画素間の（場合によっては数値的に異なる）平均値として計算される。上記の手順は、他方に対して復元画素の低い垂直相関に関係するアーティファクトを最小にすることを目的とする。

本発明の好ましい実施形態において、画素の全ての垂直相関が分析される。特に、詳細なシーンの高速運動シーケンスにおける境界を復元する場合、手順のエッジ検出部分から生じる誤った情報の結果として、雑音の多いフレームを生成するという高いリスクがある。このような場合、アルゴリズムは、全画像の垂直相関を保護し、これにより１つの画素の好ましくないスパイクを防ぐ対応する画素の最良のエッジ−対応平均値を見つけようと試みる。

本発明の実施形態で画素がどのように比較されるかを示す概略図である。 上側及び下側の画素の値に対して新しい画素の試験を示す概略図である。 改良された実施形態において画素のペアがどのように比較されるかを示す図である。 本発明の実施形態のブロック図である。

次に、本発明の好ましい実施形態について、添付図面を参照しながら例証により詳細に説明する。

図１は、単一のフレームにおける画素間の平均値及び差分を計算するために画素がどのように選択されるかを示している。差分及び平均値は、復元されることになる画素に対して対称的に対向する２つの画素を接続している仮想ラインに沿って計算される。全ての平均値は、図１に示されるように復元されることになる画素の上側と下側の画素の値に対してテストされ、該テストをパスするものだけが次の処理にかけられる。垂直方向に相関関係のある平均値のセットが完全に読み込まれると、復元されるべき画素に最も適合するものに対応する平均値が選択される。

手順は、以下のように実行される。
ステージａ
図１に関して、仮想ラインによって結合された画素のペア間の色の差（ＲＧＢモデル）が計算される。これらの画素は共に、インターレース画像の同じフィールドから生じる。
Ｄｋ＝（（Ｐｉ．Ｒ−Ｐｊ．Ｒ）＊（Ｐｉ．Ｒ−Ｐｊ．Ｒ）＋（Ｐｉ．Ｇ−Ｐｊ．Ｇ）＊（Ｐｉ．Ｇ−Ｐｊ．Ｇ）＋（Ｐｉ．Ｂ−Ｐｊ．Ｂ）＊（Ｐｉ．Ｂ−Ｐｊ．Ｂ））
ここで、Ｄｋがｋ−差（図１に示される場合における７つの間で、しかしながら列はより長い又はより短くてもよい）であるとすると、Ｐｉ及びＰｊは、復元されるべき画素を通過するラインの片方の端部に対称的に配置された画素であり、Ｒ、Ｇ、Ｂは、色の３原色（赤、緑、青、ＲＧＢカラーモデル）である。従って差分値Ｄｋは、図１の仮想ラインによってリンクされた画素のペアの各々について得られる。
ステージｂ
図１を参照して、図１の仮想ラインによって結合された画素間の色の平均値が計算される。
Ｃｋ．Ｒ＝（Ｐｉ．Ｒ＋Ｐｊ．Ｒ）＊０．５
Ｃｋ．Ｇ＝（Ｐｉ．Ｇ＋Ｐｊ．Ｇ）＊０．５
Ｃｋ．Ｂ＝（Ｐｉ．Ｂ＋Ｐｊ．Ｂ）＊０．５
ここでＣｋは、平均色であり、他の記号はステージａで定義されたものと同じである。
ステージｃ
ステージｂで計算された色は、復元している画素の上側及び下側に位置付けられた画素の色に対してテストされる（図２）。
通常の記号論では、
条件
（Ｃｋ．Ｒ＜＝Ａｂ．Ｒ）及び（Ｃｋ．Ｒ＞＝Ｂｅ．Ｒ）及び
（Ｃｋ．Ｇ＜＝Ａｂ．Ｇ）及び（Ｃｋ．Ｇ＞＝Ｂｅ．Ｇ）及び
（Ｃｋ．Ｂ＜＝Ａｂ．Ｂ）及び（Ｃｋ．Ｂ＞＝Ｂｅ．Ｂ）
又は
（Ｃｋ．Ｒ＞＝Ａｂ．Ｒ）及び（Ｃｋ．Ｒ＜＝Ｂｅ．Ｒ）及び
（Ｃｋ．Ｇ＞＝Ａｂ．Ｇ）及び（Ｃｋ．Ｇ＜＝Ｂｅ．Ｇ）及び
（Ｃｋ．Ｂ＞＝Ａｂ．Ｂ）及び（Ｃｋ．Ｂ＜＝Ｂｅ．Ｂ）
ここで、Ａｂは上側の画素、Ｂｅは下側の画素である。従って、画素の値は、上側と下側の画素の値の間の範囲内にあるかどうかを求めるためにテストされる。テストをパスする平均値だけが、復元されるべき画素の可能性のある色のセットに含まれる。
ステージｄ
ステージｃで構成された平均値のセットは、順序付け基準としてステージａで計算された差分値Ｄｋを使用して順序付けられる。得られた画素のペア間の最小差を有する画素は、インターレース画像から得られるプログレッシブスキャン画像に含めるための新しい復元画素として選択される。

ステージａで指定された方法で差を計算することは、２次元空間でのノルム状態の１つの実施例である。一般に、どのようなノルムも定義することができる。一般に、ベクトル空間でのノルムは、次の３つの特性に従うよう制約されるだけである：
（１）ノルム（ｖ）＞＝０
（２）ノルム（ａ^*ｖ）＝ａｂｓ（ａ）^*ノルム（ｖ）
（３）ノルム（ｖ＋ｗ）＜＝ノルム（ｖ）＋ノルム（ｗ）
ここで、「ｖ」、「ｗ」はベクトルであり、「ａ」はスカラーである。
ベクトル空間でのこのノルムの特別な事例、例えばＲ２では：
（１）ノルム１：＝ｖ−＞ｓｑｒｔ（ｖｘ＾２＋ｖｙ＾２）
（２）ノルム２：＝ｖ−＞ａｂｓ（ｖｘ）＋ａｂｓ（ｖｙ）
これらの両方は上記の制約を満たし、多くのこれ以外のものも定義することができる。

上述の手順では、差と平均値は、単一の画素のペア間で計算される。また対称に配置された画素間の仮想ラインの解像角を高めるために画素のセット間の差分及び平均値を計算することも可能である。図４では、これは、各ラインからの単一の画素間及び画素のペア間の差を考慮するものとして示され、この解像度が高められる。一般に、平均値及び差は、対応する画素並びに単一の画素のどのようなセット間でも計算することができる。

また、本手順は、色の成分の全て（図示されたケースでのＲＧＢモデルのＲ、Ｇ、及びＢ成分）に適用することができ、或いはこれらの一部だけに適用してもよい。例えば、差を計算するときの極めて有用な近似は、ＹＵＶカラーモデルの輝度成分だけを使用することである。一般に、カラーモデル及びモデル成分のいずれも、ステージａ及びｂにあるものとすることができる。

ステージｃで、映像の垂直相関に関する計算された平均値の準拠をテストするための手順が説明される。アルゴリズムをより堅牢にするために、極めて薄いラインを扱う場合（例えば、ＤＶＤメーカーがより鮮鋭なシーンを作成するために形を鮮鋭化する場合）には、平均値がテストされる量に対して閾値を付加することが可能である。これらの閾値は、平均値自体の計算された差の定数値（安価で簡単明瞭な実施で）、或いはその計算された差の角度の関数とすることができる。

別の近似として、上側及び下側の画素の対応する成分に対して平均値の色の一部の成分だけをテストすることも可能である。

ステージｃの異なる解決策は、復元する画素の上側又は下側の画素だけをテストするためではなく、復元されるべき画素からの１つより多いラインだけ離間した復元中の画素の列にある他の画素並びに上側及び下側の画素のエリアにある水平又は垂直平均値をもテストするためである。

図４は、上記の実施形態のブロック図を示す。

フレーム記憶装置からの画素データは、２つの入力ラインＹＵ及びＹＬに供給される。
画素データがフレーム記憶装置から直接読み取られるときに、画素の適切な対向ペアは、上部画素がラインＹＵに供給され、及び下部画素がラインＹＬ上に供給されて一度に選択される。

ペアの画素間の差は、減算器２で得られる。次にこの差は、選択ゲート６に供給される前にユニット４で絶対値を与えられる。

２つの画素の平均値は、加算器８でこれらの値を結合させ、除算器１０において２で除算することによって求められる。次に、平均値は比較器１２に供給され、ここで、復元されるべき画素のすぐ上側及び下側の上部及び下部画素と比較される。平均値がこの範囲内にある場合には、比較器の出力に１が生成される。平均値がその範囲外にある場合には、比較器の出力でゼロが生成される。比較器からのこの出力は、ゲート６で選択入力として使用される。

上述のように、ゲート６への１入力は、検討中の２つの画素間の差の絶対値を受け取る。ゲートへの０入力は、検討中の範囲の最大値を受け取る。従って、検討中の画素のペアの平均値が、検討中の画素のすぐ上側及び下側のＹＵ及びＹＬによって定義される範囲内にある場合、比較器は１を出力し、検討中の画素のペア間の差の絶対値は、ゲート６によって出力される。この差は、ランキングユニット１４に供給され、ここで、これらの差がそれぞれのペアリングを定義するデータに関するランク順序で配置される。

同時に、画素のペアの平均値は、マルチプレクサ選択ユニット１６に供給され、該ユニットは、種々の入力位置に順番に各ペアの平均値を記憶する。

画素のペアの全てがプロセスを通過して、それぞれのデータがランキングユニット１４及びマルチプレクサ１６にある場合には、最小差を有する画素のペアのアドレスは、画素の出力で供給されることになる対応する平均値にアクセスするためにマルチプレクサ１６のアドレスを提供するのに使用される。次にこの値は、復元されるべき画素のために使用される。

通常、平均値及び差を得るために使用される画素値は、輝度値である。

別の実施形態において、本方法は上述のように動作する。しかしながら、その重点は、画素のペア間の最小差を求めることに置かれている。これが求められると、その平均値が復元されるべき画素について検討され使用される。これは、復元されるべき画素のすぐ上側及び下側の画素によって定義された範囲外に平均値があるかどうかに関わらず行われる。平均値がこの範囲外にある場合、範囲の上端又は下端、或いは範囲内のあるポイントに平均値をクランプし、このようにして、平均値が範囲外の値を有することができないようにするのが好ましい。

ステージｄでの別の解決策は、画素の最も類似するペアに対応する平均値を求めた後に追加のサブステップを加えることである。この方法では、平均値は、画素の色であることを意味しないが、復元する画素のこの平均値と色との間の色の距離（差）を計算するのに使用され、その値は、異なるデインターレーシング法によって求められる。適切にスケーリングされたこの距離は、平均値自体と画素自体の色（追加のデインターレーシング法によって予め復元された）の間のブレンド因子として使用される。この方法では、ステージｃはオプションとされる。

上述の方法は、インターレース画像からプログレッシブスキャン画像を得るためにフィルタ内で使用することができる。好ましくは、本方法は、存在する運動量に応じてインターレースフィールドでミッシングデータを復元するための最良の方法を選択するシステムで使用されることになる。運動がほとんど存在しない場合には、隣接するフィールドからのデータを使用することができる。大量の運動が存在する場合に上述の手順を使用することができる。復元の２つまたはそれ以上の方法がこのようなフィルタにおいて使用され、ブリーチング関数をこれらに適用して、存在する運動の量に応じて出力画素に影響を与える量を変えるのが好ましい。

２ 減算器
４ ユニット
６ 選択ゲート
８ 加算器
１０ 除算器
１２ 比較器
１４ ランキングユニット
１６ マルチプレクサ選択ユニット

Claims (8)

1. インターレース画像からプログレッシブスキャン画像を得るための方法であって、前記インターレース画像からフィールドに挿入されることになる各画素について、前記方法が、
   ａ）挿入されるべき前記画素に隣接するラインから導出される、挿入されるべき前記画素に対して対称に対向する画素のペアのセットの各ペアから差分値を得る段階と、
   ｂ）画素のペアの前記セットのうちの画素のどのペアが、それに関連する最も低い差分値を有するかを求める段階と、
   ｃ）最も低い差分値を有する前記画素のペアの平均値を求める段階と、
   ｄ）前記このようにして求められた平均値を挿入されるべき前記画素の上側及び下側の画素の値と比較する段階と、
   ｅ）前記このようにして求められた平均値を前記比較の結果に応じて挿入されるべき前記画素の値として選択する段階と、
   を含む方法。
2. 画素のペアの前記セットの各々が、１つのペアだけから構成される請求項１に記載の方法。
3. 画素のペアの前記セットの各々が、複数の列の画素を含む請求項１に記載の方法。
4. 画素のペアの前記セットの各々が、複数の画素を含み、且つ挿入されるべき前記画素に隣接する基準ポイントに中心を有することを特徴とする請求項１に記載の方法。
5. 前記ステップｅ）が、
   前記平均値が挿入されるべき前記画素の上側及び下側の画素の値の間に含まれる場合に、前記このようにして求められた平均値を挿入されるべき前記画素の値として選択する段階と、
   前記平均値がこれらの値の範囲外にある場合に、前記このようにして求められた平均値を挿入されるべき前記画素の上側及び下側の画素の値の間に含まれる値にクランプする段階と、
   を含む請求項１に記載の方法。
6. インターレース画像からプログレッシブスキャン画像を得るための方法であって、前記インターレース画像から前記フィールドに挿入されることになる各画素について、前記方法が、
   （ａ）挿入されるべき前記画素に隣接するラインから導出される、挿入されるべき前記画素に対して対称に対向する画素のペアのセットの各ペアから差分値を得る段階と、
   （ｂ）挿入されるべき前記画素の上側及び下側の前記画素の値によって定義される値の範囲を求める段階と、
   （ｃ）この範囲内に平均値がある画素のペアについて、
   （ｉ）前記このようにして求められた画素のペアのどのペアが、これに関連付けられる最も低い差分値を有するかを求める段階と、
   （ｉｉ）挿入されるべき画素の値として、最も低い差分値を有する画素のペアの前記このようにして求められた平均値を選択する段階と、
   を実行する段階と、
   を含む方法。
7. インターレース画像からプログレッシブスキャン画像を得るための装置であって、
   （ａ）挿入されるべき前記画素に隣接するラインから導出される、挿入されるべき前記画素に対して対称に対向する画素のペアのセットの各ペアから差分値を得る手段と、
   （ｂ）画素のペアの前記セットのうちの画素のどのペアが関連付けられた最も低い差分値を有するかを求める手段と、
   （ｃ）最も低い差分値を有する前記画素のペアの平均値を求める手段と、
   （ｄ）前記このようにして求められた平均値を、挿入されるべき前記画素の上側及び下側の画素の値と比較する手段と、
   （ｅ）前記比較の結果に応じて、前記このようにして求められた平均値を挿入されるべき前記画素の値として選択する手段と、
   を含む装置。
8. インターレース画像からプログレッシブスキャン画像を得るための装置であって、
   （ａ）挿入されるべき前記画素に隣接するラインから導出される、挿入されるべき前記画素に対して対称に対向する前記画素のペアのセットの各ペアから平均値を得る手段と、 （ｂ）挿入されるべき前記画素の上側及び下側の画素の値によって定義される値の範囲を求める手段と、
   （ｃ）前記このようにして求められた範囲内に平均値がある、前記このようにして求められた画素のペアのどのペアが、関連付けられた最も低い差分値を有するかを求める手段と、
   （ｄ）前記最も低い差分値を有する画素のペアの前記このようにして求められた平均値を挿入されるべき前記画素の値として選択する手段と、
   を含む装置。

Images