JP2008529436A - ビデオデータのデインターレーシング - Google Patents

Abstract

インターレース型ビデオ信号を非インターレース型ビデオ信号へと変換するための方法及び装置が提供される。ビデオ信号のビデオフィールドの各欠落線におけるピクセルごとに、その欠落線におけるピクセルの再構成に使用されるべき考えられる補間のセットの各々に対して相関データが導出される。欠落ピクセルに対して最良の結果をおそらく与える補間機構に対応する相関が選択され、これに基づいて補間機構が選択される。次いで、欠落線におけるピクセルが補間される。補間機構の選択に使用される相関データは、再構成されるべきピクセルと同じフィールドのデータ、及び時間的に離間されたフィールドから導出される。
【選択図】 図６

Description

本発明は、インターレース型ビデオ信号を連続走査即ちデインターレース型ビデオ信号へとデインターレースし即ち走査変換する方法及び装置に係る。

放送テレビジョン信号は、通常、インターレース形態で供給される。例えば、ヨーロッパで使用されているフェーズ・オルタネート・ライン（ＰＡＬ）システムは、２つのインターレース型フィールドより成るビデオフレームで作られる。各フィールドは、フレームの交互の線(lines)を含む。従って、信号がディスプレイに与えられるときには、第１フィールドがディスプレイの奇数番号の線に適用されるのに続いて、第２フィールドがディスプレイの偶数番号の線に適用される。フレームレート、即ち２つのインターレース型フィールドより成るフレームがディスプレイに与えられるレートは、通常、５０Ｈｚであり、それ故、フィールドレートは、１００Ｈｚである。従って、各フィールドがビデオデータの全フレームに変換され、即ち各フィールドの欠落線がどうにかして発生される場合には、有効フレームレートが１００Ｈｚとなる。又、テレビジョン画像の解像度を高めるという効果もある。

米国特許第５，５３２，７５１号には、映像のピクセル間の変化を評価して縁又は輪郭を検出する方法が開示されている。ピクセル間の変化がスレッシュホールドより低い場合には、縁の配向が推定され、そしてその推定された配向に沿ったピクセル線の平均から新たなピクセルが形成される。縁の配向の推定が不首尾な場合には、導出されるべきピクセルに対する２つの垂直整列ピクセルの平均から新たなピクセルが形成される。この技術は、高い相互類似性を伴う２つ以上のピクセル対を有する目に見える欠陥をピクセルに発生し得るという欠点がある。

この方法の改良が米国特許第６，１３３，９５７号に説明されている。ここでは、ピクセル間又は１組のピクセル間の変化が計算されて境界を再構成する。最小値をもつものの中から２つの変化が選択され、そして再構成されるべきピクセルは、選択された変化を生じるピクセルの重み付けされた平均として発生される。この場合も、この技術は、非常に詳細なシーンにおいて目に見える欠陥を生じ得る。これらは、シーンにおける動きの量が低いときに、より目立ったものとなる。本出願人の英国特許出願第２４０２２８８号には、その解決策が提案されている。ここでは、境界に関する明確な情報が得られないときにデインターレースするために、映像データに存在する垂直周波数が保存される。

フレーム内のピクセル位置に対してピクセルのカラー（輝度）をプロットした図１からデインターレース動作の問題が明らかとなろう。Ｘ及びＹは、ピクセルの座標であり、Ｚは、ピクセルの輝度である。Ｘ平面における白のストライプは、フィールドからデータが得られるところのピクセルの線を表わし、そしてグレーのストライプは、欠落線、即ち再構成されるべき線を表わしている。Ｚ軸におけるグレーの投影面は、既知のピクセルの輝度値であり、既知の値と既知の値との間に面が補間される。デインターレース、即ち欠落線におけるピクセルの値を見つける際に、この投影面の解像度を高める試みがなされる。

境界を再構成するための上述した全ての技術は、ある瞬間から入力データを検索するという共通の特徴を共有している。次いで、ある瞬間、即ち現在フィールドからのデータのみを使用して、図１の面において欠落情報が再構成される。

又、時間的な情報を使用してビデオデータをデインターレースする他の方法も提案されている。これらの中の最も良く知られているものは、動き補償に基づく機構である。動き補償を使用するこれら全ての機構において、その目的は、シーンにおける多数の物体の動きを検出し、この動きを時間に換算することである。このような解決策は、存在する動きが主として並進移動であるとき、例えば、変形及び回転が少数のフィールドにわたり実質的にまっすぐな並進移動で良く近似されるに足るほど低速であるときに、特に、有効である。

動き補償技術に伴う問題は、ある場合に、ゆっくり移動する物体でも、ある程度の変形又は回転を生じ、再構成の問題を生じ得ることである。これは、静的なシーンにおいても、フリッカー又は高い垂直周波数を生じることになる。これらの形式の目に見える欠陥は、視聴者にとって特に目立つものである。

これらの目に見える欠陥が現れる静的又はほぼ静的なシーンにおいて、境界再構成のように、ある瞬間（あるフィールド）のみから到来する情報に基づく再構成方法では、良い性能を発揮することができない。更に、動き補償に基づく技術は、変形する物体がシーンにあるとき、及びより一般的には、動きを並進移動ベクトルで効率的に近似できないときに、充分に良好な結果が得られない。

本発明の好ましい実施形態は、ビデオフィールドとして欠落線のピクセルを再構成又は補間する幾何学的解決策であって、ゆっくりした動きで非常に有効に遂行できる解決策を提供する。

より詳細には、表わされる面が空間的データに排他的に依存するような図１の状況を考えた場合に、境界再構成手順の目的は、周波数と精度との間に最良の妥協を見出すことにより面を洗練することである。理想的に、再構成は、入力面に存在しない欠陥を回避しながら、入力フィールド（Ｙ軸に延びるグレーの線）より高い空間的周波数を含む面を形成する。例えば、入力面がタイミング変動を伴って実質的に一定である場合には、大きなスパイクを伴う図１に示す形式の出力面は、一般的に、受け入れられる出力とはならない。

本発明の一実施形態によれば、空間的及び時間的データを使用する境界再構成に対する一般化された解決策が提供される。従って、このシステムは、現在フィールド及び少なくとも隣接フィールドからのデータを使用する。

以下、添付図面を参照して、本発明の好ましい実施形態を詳細に説明する。

図３の構成において、考えられる３つの異なる補間機構が示され、これらに対して相関が評価される。図示された中間機構は、再構成されるべきピクセルの上下のピクセル及びデータの相関と、それに直接隣接するピクセル対間の相関データとを含む。図３の左側の例において、再構成されているピクセルを通して右側へ対角方向に傾斜して下がるように通過する線上のピクセル間の相関を見ることにより、更なる補間が評価される。図３の右側の例には、反対の対角方向での同じプロセスが示されている。

データと種々のピクセル対との間の相関は、絶対差の和（ＳＡＤ）又は平均２乗エラー（ＭＳＥ）或いは他の良く知られた統計学的技術を使用して導出することができる。絶対差の和及び平均２乗エラーは、良く知られたように決定される。

ＳＡＤ及びＭＳＥ導出部への入力は、フィールド内の再構成されるべきピクセルの上下の線におけるピクセルの輝度である。

図３の右側のグラフは、各行に５個のピクセルのみを使用し且つ各々３つのピクセル対で作られた対称的配置のピクセルセットの３つの相関を使用するＳＡＤベースの手順の例を示す。実際には、より高い精度を確保するために、より多くのピクセルが計算に含まれる。好ましくは、７ないし３０のピクセル対が使用される。

ピクセル対の値を比較するためのＳＡＤ解決策が使用される場合には、図３は、３つのＳＡＤ値、ＳＡＤ０、ＳＡＤ１及びＳＡＤ３を必要とし、これらは、図３の右側にグラフで示されている。これは、考えられる種々の補間機構に対する相関曲線である。多くの技術において、ＳＡＤの最小の差又は最小のＭＳＥを与える補間機構が補間のために使用されるが、実際には、これは、常に最良の回答ではない。

図４を参照すれば、縦方向対時間において３つの連続するフィールドの小さな部分が示されている。従って、中央フィールドは、上部及び下部ピクセルに存在するデータと、中央位置において再構成されるべき欠落ピクセルとを有する。隣接フィールドは、上部及び下部線についてのデータはもたず、中央線についてのデータを有する。

図４と共に図３の構成を使用して、現在フィールド、即ち中央フィールドのみに対する相関を行う。

又、本発明の実施形態は、隣接フィールドからのデータも使用する。これは、図４に示すように、２つのフィールド間にグレーで示す付加的なデータポイントを発生することにより使用できる。これらの各々は、それが間に入るところのフィールドにデータを保持する２つのピクセルの最も近い対から発生される。従って、欠落ピクセルを発生するのにどれほど良いか決定するのに使用すべき４つのピクセルを最初に使用して、それらの位置と位置との間の線上にデータポイントを発生する。これらは、平均値である。次いで、図３の相関プロセスを、映像の各線における各ピクセルに対して、新たなデータポイントの対角方向に対向する各対において遂行することができる。これは、次いで、再構成されるべき各ピクセルに対して２セットの相関データを発生する。次いで、欠落ピクセルに対する厳密に正しい値を発生する最良の機会を指示する相関データが、相関データの各セットから選択され、そして相関データの各セットに対して欠落ピクセルを補間するために、その相関に対応する補間機構が選択される。相関分析がＳＡＤ分析である場合には、補間機構を決定するために、ＳＡＤの最低値を与える相関が選択される。

データの各ＳＡＤセットからの最良の補間機構が選択され、そして２つの選択された機構の各々を使用して欠落ピクセルデータが補間されると、２つの機構からの結果の間を補間して、結果出力を与える。縦方向又は時間方向に離間されたより多くのピクセルが入力として使用され、そしてより多くの相関が遂行される場合には、相関データにより決定された２つ以上の補間機構間の補間を形成して、欠落ピクセルに対する最良の結果データを発生することにより、これを拡張することができる。

別の機構が図５に示されている。ここでは、線と線との間の中間ポイントを構成するのではなく、隣接フィールドからの縦方向隣接線及び時間方向隣接線において相関が遂行される。これは、中間ポイントを発生するための付加的な回路の必要性を回避し、ほとんどの場合に、良好な結果を与える。

図４又は図５の各実施形態において、再構成されるべきピクセルから更に離間された線及びフィールドを考慮するために、補間及び相関機構を拡張することができる。ある場合には、これは、再構成される映像の質を改善する。

この解決策を使用することにより、再構成されるべきピクセルの周りの空間時間面にコヒレントな連続性が与えられる。

図６は、図５に示す機構を実施するのに適したシステムのブロック図である。これは、図４の中間ポイントを発生するための特別なユニットを追加することで変更することができる。

入力ビデオデータは、３つのフィールド記憶装置２、４及び６を通して供給される。フィールド記憶装置４は、再構成されるべき欠落線を伴うフィールド、現在フィールドと称される、を含む。従って、ビデオシーケンスのスタート時に、第１フィールドがフィールド記憶装置２へ供給され、次いで、フィールド記憶装置４へ供給され、次いで、フィールド記憶装置６へ供給され、そしてプロセスが開始する。このプロセスは、フィールドがフィールド記憶装置２からフィールド記憶装置４へ、フィールド記憶装置４からフィールド記憶装置６へと進み、そしてシーケンスにおける次のフィールドがフィールド記憶装置２へ供給されるようにして続けられる。

データは、フィールド記憶装置４から第１の線記憶装置８へ、次いで、第２の線記憶装置１０へ読み出される。従って、線は、先ず、線記憶装置８により読み取られ、線記憶装置１０へ通され、そして第２の線が線記憶装置８へ供給される。２つの線記憶装置は、現在フィールドにおける欠落線に対する２つのすぐ隣の線を含む。

次いで、フィールド記憶装置４におけるフィールドに対して順次に再構成されるべき各ピクセルに対して、相関ユニット１２は、欠落ピクセルを発生するのに使用できる異なる補間に対する一連の相関を遂行する。これは、図３に示すものと同様に行なわれるが、より多くの補間機構を使用して相関が発生される。それにより得られる相関データは、最良相関セレクタ１４へ供給され、このセレクタは、欠落ピクセルを発生するための最良の補完機構をおそらく与える相関を選択する。その出力は、次いで、補間機構セレクタ１６により使用されて、最良相関セレクタ１４により選択された相関に対応する補間を選択する。この相関機構は、次いで、補間装置１８へロードされる。又、これは、線記憶装置８及び１０から、必要な遅延２０の後に、データを受け取る。従って、補間装置は、欠落ピクセルに対して補間を遂行するのに必要なピクセルデータを受け取る。

同時に、フィールド記憶装置２及び６の各々からの線が、更に別の線記憶装置２２及び２４へ各々読み込まれる。これらは、再構成されている線から時間的に１フィールドだけ離間された線を含む。

線記憶装置８及び１０からのデータに適用されるプロセスと同様に、相関ユニット２６は、線記憶装置２２及び２４におけるデータ、即ちフィールド記憶装置４の欠落ピクセルの再構成に使用されると考えられるピクセルに対して一連の相関を遂行する。これら相関の結果が最良相関セレクタ２８にセットされ、このセレクタは、最良の結果を与える見込みの最も高い相関を選択する。例えば、これは、最低ＳＡＤの相関である。最良相関セレクタ２８の出力は、次いで、補間機構セレクタ３０により使用され、最良の相関に対応する補間機構を選択する。この補間機構は、次いで、補間装置３２へロードされ、この補間装置は、線記憶装置２２及び２４からのデータを適当な遅延３４の後に受け取り、そして線記憶装置２２及び２４からのデータに対して選択された補間を遂行し、欠落ピクセルに対するデータを発生する。これは、フィールド記憶装置４からのデータに対する処理動作と実質的に同時に、ピクセルごとに順次に行なわれる。

補間装置１８及び３２からの結果は、更に別の補間装置３４へ供給される。これは、２つの補間されたピクセル間で補間を遂行して、出力ピクセルを導出し、この出力ピクセルは、フレーム記憶装置３６へ与えられ、この記憶装置は、現在フィールドの既知の線に対応するデータも、フィールドごとに順次に線記憶装置１０から受け取る。このフレーム記憶装置がいっぱいになると、それにより得られるビデオ信号をディスプレイ３８へ送信することもできるし、又は記憶することもできる。

全プロセスをリアルタイムで行って、テレビ受像機で受信されたビデオ信号に対して処理を遂行し、その信号を、表示の準備ができた非インターレース形態に変換できるのが好ましい。

図６のシステムは、このシステムを含む新規な受像機がインターレース型信号の高解像度バージョンを表示できるように、テレビ受像機に含まれるのが好ましい。

図６の構成に対する改良において、処理速度を改善するためにフィールド記憶装置２、４及び６の異なる線に対して並列に動作するハードウェアが２セット以上設けられる。

別の態様において、図６のシステムは、専用のプロセッサにおいて実施することができる。処理速度を改善するために、２つ以上の専用プロセッサを並列に設けることができる。１つの可能性は、フィールド記憶装置２０におけるフィールドの欠落線の各々に対してプロセッサを使用可能にして、処理時間を最小にすることである。これは、当然、ユニットをより高価なものにする。

図４及び５の構成、ひいては、図６のシステムとは別に、縦方向の隣接ピクセルと時間方向の隣接ピクセルとの間で、これらピクセル間に考えられる多数の異なる補間に対して４入力相関を行うことができる。

投影面を示す図である。 映像データの多数の次々のフィールドにおける線及び欠落線の位置を縦方向及び時間方向に示す図である。 単一フィールドにおける欠落ピクセルをどのように最良に補間するか決定するときになされる分析の形式を示す概略図である。 欠落ピクセルの補間に使用するために発生される付加的なデータポイントの位置を縦方向及び時間方向に示す図である。 欠落ピクセルの補間に使用するためのデータポイントの別の選択を示す図である。 本発明の一実施形態のブロック図である。

Claims (14)

1. インターレース型ビデオ信号を非インターレース型ビデオ信号へ変換するための方法において、
   ビデオ信号のビデオフィールドの各欠落線(missing line)におけるピクセルごとに、その欠落線におけるピクセルの再構成に使用されるべき考えられる補間のセットの各々に対して相関データを導出するステップと、
   前記欠落ピクセルに対して最良の結果をおそらく与える(likely to give)補間に対応する相関を選択するステップと、
   前記選択された相関に基づき前記欠落線におけるピクセルに対して補間機構(scheme)を選択するステップと、
   前記欠落線におけるピクセルを前記選択された補間機構で補間するステップと、
   を備え、
   相関データを導出する前記ステップは、前記欠落線を含むフィールド及びその隣接フィールドから相関データを導出する段階を含むと共に、考えられる補間機構のセットの各々に対して相関データを導出する段階であって、前記欠落線におけるピクセルと同じフィールドのピクセルから相関データを導出し、且つそのフィールドから時間的に離間されたフィールドから相関データを導出することを含む段階も含む方法。
2. 同じフィールドのピクセルから相関データを導出する前記段階は、セットの各相関が異なる補間機構に対応するような相関データのセットを導出することを含む、請求項１に記載の方法。
3. 時間的に離間されたフィールドから相関データを導出する前記段階は、セットの各相関が異なる補間機構に対応するような相関データのセットを導出することを含む、請求項１又は２に記載の方法。
4. 補間機構を選択する前記ステップは、同じフィールドのピクセルから導出された相関データのセットから第１の補間機構を、そして時間的に離間されたフィールドから導出された相関データのセットから第２の補間機構を選択することを含む、請求項２又は３に記載の方法。
5. 欠落線におけるピクセルを補間する前記ステップは、第１の選択された補間機構で第１のピクセルデータを補間し、第２の選択された補間機構で第２のピクセルデータを補間し、そして第１及び第２のピクセルデータから前記欠落線におけるピクセルを補間することを含む、請求項４に記載の方法。
6. ビデオ信号の欠落線におけるピクセルの補間に使用されるべきデータポイントに対応する相関データポイントのセットを導出するステップを更に備え、この相関データポイントのセットは、欠落線を含む現在フィールドのピクセル及び時間的に離間されたフィールドのピクセルからの貢献から導出される、請求項１に記載の方法。
7. 欠落線における各ピクセルに対して少なくとも４つの相関データポイントが導出される、請求項６に記載の方法。
8. インターレース型ビデオ信号を非インターレース型ビデオ信号へ変換するための装置において、
   ビデオ信号のビデオフィールドの各欠落線におけるピクセルごとに、その欠落線におけるピクセルの再構成に使用されるべき補間のセットの各々に対して相関データを導出する手段と、
   前記欠落ピクセルに対して最良の結果をおそらく与える補間に対応する相関を選択する手段と、
   前記選択された相関に基づき前記欠落線におけるピクセルに対して補間機構を選択する手段と、
   前記欠落線におけるピクセルを前記選択された補間機構で補間する手段と、
   を備え、
   相関データを導出する前記手段は、前記欠落線を含むフィールド及びその隣接フィールドから相関データを導出する手段を含むと共に、前記欠落線におけるピクセルと同じフィールドのピクセルから相関データを導出する手段、及びそのフィールドから時間的に離間されたフィールドから相関データを導出する手段を更に含むような装置。
9. 同じフィールドのピクセルから相関データを導出する前記手段は、セットの各相関が異なる補間機構に対応するような相関データのセットを導出する手段を含む、請求項８に記載の装置。
10. 時間的に離間されたフィールドから相関データを導出する前記手段は、セットの各相関が異なる補間機構に対応するような相関データのセットを導出する手段を含む、請求項８又は９に記載の装置。
11. 補間機構を選択する前記手段は、同じフィールドのピクセルから導出された相関データのセットから第１の補間機構を、そして時間的に離間されたフィールドから導出された相関データのセットから第２の補間機構を選択する手段を含む、請求項９又は１０に記載の装置。
12. 欠落線におけるピクセルを補間する前記手段は、第１の選択された補間機構で第１のピクセルデータを補間する手段と、第２の選択された補間機構で第２のピクセルデータを補間する手段と、第１及び第２のピクセルデータから前記欠落線におけるピクセルを補間する手段とを含む、請求項１１に記載の装置。
13. ビデオ信号の欠落線におけるピクセルの補間に使用されるべきデータポイントに対応する相関データポイントのセットを導出する手段を更に備え、この相関データポイントのセットは、欠落線を含む現在フィールドのピクセル及び時間的に離間されたフィールドのピクセルからの貢献から導出される、請求項８に記載の装置。
14. 相関データポイントのセットを導出する前記手段は、欠落線における各ピクセルに対して少なくとも４つの相関データポイントを導出する、請求項８に記載の装置。

Images