JP2008538664A - インターレース方式から非インターレース方式へのビデオデータの変換 - Google Patents

Abstract

インターレースビデオ信号をプログレッシブ走査ビデオ信号に変換するための方法および装置が提供される。変換されるビデオ信号におけるビデオフィールドの欠落走査線の各々のピクセルの各々について、欠落ピクセルを復元するために用いられる隣接するピクセル間の可能な補間の組の各々について相関データが誘導される。次に、信頼性基準は、相関データから導出される。次に、このように導出された信頼性基準に応じた調整データが選択され、相関データを調整するために用いられる。次いで、このように調整された相関データを用いて、正確な欠落ピクセルを産生する可能性の最も高い補間スキームを判定し、次に、欠落ピクセルが補間される。

Description

本発明は、インターレースビデオ信号をデインターレースまたはプログレッシブ走査ビデオ信号に変換するための方法および装置に関し、特に、変換の有効性への適切な制御を提供する方法および装置に関する。

テレビ放送の信号は、通常、インターレース方式で提供される。例えば、ヨーロッパで用いられる位相反転線（ｐｈａｓｅ ａｌｔｅｒｎａｔｅ ｌｉｎｅ（ＰＡＬ））システムは、２つのインターレースフィールドを含むビデオフレームで構成される。フィールドの各々は、１つおきのフレーム走査線からなる。そのため、ディスプレイに信号が適用されるときには、第１フィールドはディスプレイの奇数番号の走査線に適用され、続いて第２フィールドはディスプレイの偶数番号の走査線に適用されることになる。２つのインターレースフィールドからなるフレームがディスプレイに適用される速度、すなわちフレーム速度は、通常、５０Ｈｚである。

プログレッシブ走査ディスプレイは、各フレームのフィールド内で、時には隣接するフィールド間で補間して、フィールドの各々における欠落走査線にデータを提供し、それにより、各フィールドを１つのフレームに変換し、ディスプレイの有効フレーム速度を倍にする。ビデオフィールドの欠落走査線を補間するときの問題の１つは、可視情報における変分をマーキングするエッジまたは輪郭の正確な検出にある。米国特許第５，５３２，７５１号は、欠落ピクセルを補間しエッジまたは輪郭を検出するために用いられるピクセル間の変分に着目している。もし変分が閾値を下回る場合、エッジの配向が推定され、推定された配向に沿って存在するピクセルの平均から新しいピクセルが形成される。もしエッジ配向の推定がうまくいかない場合、新しいピクセルは、次に、フィールド内の２つの垂直に整列されたピクセルの平均から形成される。この技術は、高い類似性を有する２対またはそれ以上の対のピクセルを有する映像内で、アーチファクトを生成することがある。

この方法に関する改良は、米国特許第６，１３３，９５７号に開示されている。ここでは、ピクセル間または１組のピクセル間の変分を計算してエッジまたは輪郭を復元する。最低値を有する２つの変分が用いられ、復元されるピクセルは、選定された変分に用いられたピクセルの加重平均として生成される。

さらに英国特許第２４０２２８８号において、さらに一層の改良が提示されている。ここに示される解決法は、エッジまたは境界の位置に関する正確な情報が利用可能でないときに、デインターレースされているフレームに含まれる垂直周波数を保持することである。

上述された技術の全ては、ある一時点の入力データのみを取り出し、ビデオフィールドの垂直に隣接する走査線における最適合を検索する。それらは、ここでは境界復元器（ＢＲ）と呼ばれる。

ＢＲの背後にある基本的考え方の１つは、ある一時点における１つのフィールド内の２本の垂直に隣接する走査線に属する２組のピクセル間の相関の推定である。

図１は、ビデオフィールドにおける２本の隣接する走査線の３つの小区間を示す。図１に提示される例においては、用いられている現行フィールドからの走査線のみが見えるだけであるが、１つまたはそれ以上の隣接するフィールドもまた、現行フィールドにおける付加的走査線のように、欠落走査線のためのピクセルデータの導出に用いられる補間に寄与することができる。

図１において、３つの異なる可能な補間スキームが示され、これらについての相関が評価される。中央のスキームは、復元されるピクセルの上下にあるピクセルにおけるデータの相関と、これと直に隣接する対のピクセル間におけるデータの相関とを含む。可能な補間はさらに、図１の左側の例において、復元されるピクセルを斜め右下がりに通過する線上のピクセル間の相関を考察することによって、評価される。反対方向の斜線を用いる同じ工程が、図１の右側の例で示される。

差の絶対値合計（ＳＡＤ）または平均平方誤差、あるいは周知の他の統計的手法を用いて、様々な対のピクセルにおけるデータ間の相関を導出することができる。差の絶対値合計および平均平方誤差は、以下のように導出される。

上式において、ＹｔｏｐおよびＹｂｏｔは、フィールドで復元されるピクセルの上下にある走査線におけるピクセルの輝度を表し、ｎは各列のピクセル数である。１対のピクセルの輝度は単一の差の各々に関係している。

図１の右側グラフは、各列に５個のみのピクセルと、各組が３個のピクセル対からなる左右対称に配置されたピクセル組の３つの相関とを用いたＳＡＤベースの手順の例を示す。実際は、より正確性を求める計算においては、より多くのピクセルが含まれる。７個から３０個の間の対のピクセルを用いるのが好ましい。

対のピクセルの値を比較することにＳＡＤ手法が用いられた場合、図１は、次に、３つのＳＡＤ値、すなわち図１の右側にグラフを用いて示されるＳＡＤ０、ＳＡＤ１およびＳＡＤ２を導く。これを、様々な可能な補間のための相関曲線とみなすことができる。多くの技術において、ＳＡＤにおける最小差かまたは最小の平均平方誤差（ＭＳＥ）を与える補間スキームは、必ずしも最高画質の最終的画像を産生するわけではない。これは、復元されるピクセルの近隣にある画像内容が、ＳＡＤまたはＭＳＥに影響することがあるためである。例えば、復元されるピクセルに接近して通過する数本の細い線がある場合、復元においてこの線が最終的画像にピクセレーションまたはビデオシーケンスにおけるちらつきをもたらす危険性がある。米国特許第６，１３３，９５７号および英国特許第２４０２２８８号において、この問題は、相関曲線における相対的最小値のいくつかを一体に混合することによって取り組まれ、かつ、復元されるピクセルの直上および直下にあるピクセルによって生成される値を用いる結果を固定することによってもまた、処理されてきた。これらの手法にともなう問題は、混合することや固定することが相関曲線の不正確な分析の影響を減少させるものであったとしても、それらは、手順の不正確な出発点によって影響を受けることである。

発明者等は、相関曲線の形式に基づいて選択された調整曲線で相関曲線を修正することが相関曲線から正しい最小値を選択する可能性を高めるということを認識した。調整曲線は、相関曲線データから導出される信頼性基準に基づいて選択されるかまたは変更される。

様々な部分の相関データについての局所的最小値が検出され、相関曲線と組み合わせ、良結果を産生する可能性の最も高い補間スキームを生成する調整曲線の選択が、相関データの最小値の相対的位置に基づいて行われることが好ましい。

相関データは区分に分割され、区分毎に局所的最小値が検出されることが好ましい。

ここで、添付図面の参照による実施例によって本発明の好ましい実施態様を詳細に説明する。

図２のブロック図は、ここでは、図１に示す５個のピクセルの補間スキームの参照により説明される。上述したように、実際は、５個より多いピクセルが用いられ図１に示す３個より多い補間スキームが用いられることになるが、理解しやすいようにこれらを参照する。

図２において、ユニット１は、図１に示す相関曲線のための相関データの導出を実行する。この例においては、３つの点が用いられる。

ユニット２においては、相関曲線に含まれている情報の分析が実行され、信頼性データの形式で曲線のための信頼性評価を産生する。これは、相関データに含まれている情報の明確性に関する基準を含む。相関データで生成することができる相関曲線の型の例を図３に示す。左側の２つの曲線は、明確な最大値と各々に１つの最小値とを有する。そこで、図１のＳＡＤによって様々な組からなる対のピクセルから創出された最小値は用いるための正しい最小値であり、それ故、欠落走査線のピクセルの補間のために用いるピクセル対の正しい組である可能性が高い。図３の３番目の曲線は、３個の最小値と３個の最大値とを有する。したがって、このグラフのデータは、検出される最小値のどれが最も関連性があるかについての示唆を一切与えない。

図３の４番目の例は、２個の別個の最小値を有する曲線を示す。これらのいずれかが、用いる補間スキームを判定する際に用いる正しい最小値になる。しかしながら、それらは、多数のピクセルによって物理的に分離され、そのため、それらのうちのどれが用いられるべきかがはっきりしない。

図２において、相関データは、例えば、図１において左側補間スキームで始まり右に移動していくという論理的配列で生成される。いずれのスキームが採用されても、論理的配列が求められるため、補間スキームによって用いられるピクセルの相対的位置において、漸進的変化が生じる。グラフ表示において、これは、例えば図１の右側のグラフを見たときに、プロットされた第１のＳＡＤ点が図１の左側のスキーム、すなわち復元されるピクセルを通り右下がりのピクセルに結合する斜線において、選択されたピクセルによって生成されたものであるということを意味することになる。中間点については対のピクセルを結合する線が垂直であり、点２については対のピクセルと結合する線が右上がりの傾斜である。どれほどの数のピクセルが用いられようとも、またいかなる補間スキームが用いられようとも、類似する型の手法が採用される。

図２の信頼性評価の段階において、図１からのＳＡＤ測定は、ユニット１における相関分析から順次受理される。それが受理されたときのデータは、前のデータと比較され局所的最小値がどこで発生するかを判定する。

この例は、統計的に有意な２つの最小値１（ＭＩＮ１）と最小値２（ＭＩＮ２）を有する曲線に関する図４に示される。曲線の残りの部分との比較において、その大きさが問題とならないため無視される最小値のｍｉｎ ｘもまた、存在する。信頼性評価ユニット２は、相関データが用いられる補間スキームのための正しい結果を産生する可能性が高いかどうかを表す信頼性基準を判定し、次に、これを用いて相関曲線における各点についてのデータと組み合わされる調整データを選択する。信頼性基準は、信頼性評価ユニット２の出力に基づいて用いる調整データを選択する調整曲線ユニット３に供与され、かつ、この曲線についてのデータを、それと相関曲線ユニット１からの相関データとを組み合わせる結合ユニット４に供与する。合成データは次に、合成データからの適切な最小値を選択することができる合成データ分析ユニット５に送られ、このデータから、どの補間システム（またはどの補間角度）（図１を参照）が欠落ピクセルを補間する際に用いられるべきかを判定する。

図２の調整曲線分析ユニット３によって用いられる可能性のある曲線で表されるデータの選択が図５に示される。これらは次の方程式で算出される。
F(ｘ)=b*|ｘ|^a
この方程式において、ｂは信頼性評価ユニット２から導出される信頼性評価に基づいて調整されるパラメータ、すなわち信頼性基準である。ａは好ましい実施形態の定数であるかまたは同じく信頼性基準に関係し得る定数のいずれかである。これは、曲線の型（線形、放物線、３次曲線・・・）を規定する。ｘは、信頼性評価が補間スキームの論理的配列において関連する補間スキームの位置に関する。

図５は、ｂ値が１に等しい異なるａ値についての様々な異なる曲線を示す。これらの全てが具体的事例において望ましい機能を実現するが、多くの状況を処理する際の最適な総合的曲線はａの固定値が２に等しい曲線によって産生されるということを、発明者等は認識した。この指数関数値が相対的に低いので、第１の導関数ｂの連続性がより重要である。ｂの様々な値についてのこの曲線の例を図６に示す。そこで、ｂが増加すると曲線の勾配が増加することが見て取れる。

曲線のゼロ値は、図５および図６のグラフ中央にある。これは、論理的漸増補間スキームの中央位置に相当する。図１において、これは、復元されるピクセルに関して垂直に位置づけられる対のピクセルを有する中央の補間スキームとなるものである。

信頼性基準ｂに基づいて選択された曲線は、次に、曲線からのデータを相関曲線ユニット１からのデータと組み合わせる合成曲線生成ユニットに移され、合成曲線のためのデータを産生する。これは、合成曲線におけるいかなる最小値をも探索する合成曲線分析ユニット５に供給される。合成曲線の例とそれが形成される構成要素とが図７に示される。図に示すように、物理的に離れている２つの最小値を有する相関曲線は、相関曲線から導出された信頼性基準に従って選出された調整曲線との結合後に、一方が他方よりはるかに小さい最小値を有する合成曲線を産生する。そこで、この最小値の位置を用いて、ピクセルを生成するために用いられる補間スキームを選択する。この工程は、入力ビデオシーケンスフィールドの各々の各走査線上の補間されるピクセルの各々に対して順次実行される。

本発明を具体化するシステム例のさらに詳細なブロック図を図８に示す。これは、インターレースビデオ信号からプログレッシブ走査ビデオ信号に変換される新しいビデオ信号のフィールドが格納されるフィールド格納装置２０を含む。ここから、フィールドの走査線の各々が走査線格納装置２２および２４に、順次、読み出される。第１走査線が走査線格納装置２２に読み出され、次に、走査線格納装置２４に移されるのが好ましい。同時に、フィールド格納装置におけるフィールドの欠落走査線を生成するために、第１走査線と共に用いられることになる次の走査線が、走査線格納装置２２に読み出される。システムは次に、走査線格納装置２２に格納された走査線を走査線格納装置２４に移す前であって、かつフィールドの次の走査線をフィールド格納装置２０から走査線格納装置２２に読み出す前に、ピクセルの各々のために順次用いられる最適な補間スキームを選択するために走査線を分析する。

一旦２本の走査線が走査線格納装置２２および２４に格納されると、走査線格納装置２２および２４における２本の走査線の間にある走査線位置のために順次生成されるピクセルの各々について、相関ユニット２６は、そのピクセルを生成する際に用いられる異なる可能な補間スキームのための論理的順序における１連の相関を産生する。走査線の端部においては、可能な補間スキームの全てが利用可能になるわけではない。この場合、境界を扱う標準的な方法である、ピクセル反復（最後のピクセルを反復する）、ミラーリング（最後のピクセルをミラーリングする）のどちらも用いることができ、または「ボブ（ｂｏｂ）」させること（すなわち、縦方向のピクセルを平均する）も可能である。相関ユニット２６は、例えば補間スキームの各々に用いられる異なる対のピクセル間にある差の絶対値合計または相関の最小平均平方分析を計算する。ピクセルの各々のために、差の絶対値合計が信頼性評価ユニット２８に順次提供される。相関ユニット２６からの値の全てが信頼性評価ユニット２８に加えられたときに、信頼性の値が生成される。これは、相関ユニット２６によって産生される相関値についての局所的最小値の位置および数に関連している。

この信頼性の値は次に、それを用いて所定の調整曲線を修正する調整曲線セレクタ３０に提供される。その最も単純な形式において、信頼性の値は調整曲線に関する乗数として用いられる。より複雑なスキームが用いられてもよい。あるいは、複数の所定の調整曲線の中から選択するために信頼性の値を用いることもできる。

調整曲線を表すデータは次に、調整曲線セレクタ３０から合成データ生成ユニット３２に提供される。ここで、調整曲線からのデータが相関ユニット２６からのデータと組み合わされる。ピクセルのための相関データが２つまたはそれ以上の最小値を有する場合の曲線については、合成データ生成ユニット３２は、相関データを調整曲線データと組み合わせることによって、１つの明確な最小値を有する１組の調整された相関データを産生すべきである。この明確な最小値が次に、合成データ分析ユニット３４で検出される。これは、あるピクセルのための最小の調整された値を付与する相関値に関するデータを提供する。これに従って、補間スキーム・セレクタ３６が、問題のピクセルを生成するために用いられる補間スキームを選択する。その補間のためのデータは次に、走査線格納装置２２および２４かまたはフィールド格納装置２０のいずれかから、欠落ピクセルのための値を生成する補間器３８に提供される。システムは次に、２つの走査線格納装置において走査線の間の欠落ピクセルの全てが生成されるまで、生成される次の欠落ピクセルへと進む。システムは次に、ピクセルデータを走査線格納装置２２から走査線格納装置２４に移動させ、フィールド格納装置２０から次に利用可能な走査線を読む。これは、フィールド全体の欠落走査線が生成され、かつデータがディスプレイに利用可能になるまで続く。

工程がリアルタイムで行われ、そのことにより、工程を、信号を表示可能状態の非インターレース方式に変換するテレビ受信機によって受信されるビデオ信号に関して実行できるようにすることが好ましい。

図８の配置に関する改良において、フィールド格納装置２０の異なる走査線における操作を同時に行い、処理スピードを向上する２つまたはそれ以上の組のハードウェアを提供することができる。

１つの選択肢において、図８のシステムを専用プロセッサで実行することができる。２つまたはそれ以上プロセッサを同時に提供し処理スピードを向上することができる。１つの可能性は、フィールド格納装置２０に格納されたフィールドの欠落走査線の各々について利用可能なプロセッサを備え、処理時間を最小にすることである。これは、当然、そのユニットをより高価なものにすることになる。

生成される特定のピクセルについては、合成データ分析ユニット３４が不明確なままのデータを生成することがある。このような状況においては、ある方式の例外的処理が提供される。これは、異なる調整曲線を用いて合成データ出力の質を高めることを含む可能性がある。他のスキームも可能である。

インターレースビデオ信号からプログレッシブ走査ビデオ信号への変換において欠落ピクセルを補間する際に行われるＳＡＤ分析の型を模式図で示す。 本発明の実施形態で実施しなければならない工程のブロック図を示す。 得られる可能性のある多数の異なる相関曲線例を示す。 相関曲線がいかに分析されるかを図式的に示す。 相関曲線と組み合わせる可能性のある曲線例を示す。 図５の曲線の付加的要因への感度がどれ程になるかを示す図である。 図５の１つの曲線との組み合わせ後の合成曲線例を示す。 本発明の実施形態のブロック図を示す。

Claims (13)

1. インターレースビデオ信号をプログレッシブ走査ビデオ信号に変換するための方法であって、
   変換されるビデオ信号におけるビデオフィールドの欠落走査線の各々におけるピクセルの各々について、欠落ピクセルを復元する際に用いられる隣接するピクセル間の可能な補間の組の各々について相関データを導出するステップと、
   前記相関データから信頼性基準を導出するステップと、
   前記信頼性基準に応じて前記相関データのための調整データを選択するステップと、
   前記調整データで前記相関データを調整するステップと、
   正確な欠落ピクセルを産生する可能性の最も高い補間スキームを前記調整された相関データから判定するステップと、
   前記選択された補間スキームを用いて前記欠落ピクセルを補間するステップと、
   を含むことを特徴とする方法。
2. 前記信頼性基準を導出するステップが、前記相関データにおける最小値および最大値の数を判定し、そこから前記信頼性基準を判定するステップを含むことを特徴とする請求項１に記載の方法。
3. 前記調整データを選択するステップが、信頼性基準が減少するにつれて相関データのより大きな調整を引き起こすことになるデータを選択することを特徴とする請求項１または請求項２に記載の方法。
4. 前記選択された調整データが、復元されるべき前記ピクセルから最も遠いピクセルから導出される相関データに対してより大きな調整を引き起こすことを特徴とする請求項３に記載の方法。
5. 前記相関データが差の絶対値合計（ＳＡＤ）データを含むことを特徴とする前記請求項のいずれかに記載の方法。
6. 前記正確な欠落ピクセルを産生する可能性の最も高い補間スキームを判定するステップが、最も低い値を有する前記調整されたＳＡＤデータを判定するステップを含むことを特徴とする請求項５に記載の方法。
7. インターレースビデオ信号をプログレッシブ走査ビデオ信号に変換するための装置であって、
   変換されるビデオ信号におけるビデオフィールドの欠落走査線の各々におけるピクセルの各々について、欠落ピクセルを復元する際に用いられる隣接するピクセル間の可能な補間の組の各々についての相関データを導出するための手段と、
   前記相関データから信頼性基準を導出するための手段と、
   前記信頼性基準に応じて前記相関データのための調整データを選択するための手段と、
   前記調整データで前記相関データを調整する手段と、
   正確な欠落ピクセルを産生する可能性の最も高い補間スキームを前記調整された相関データから判定するための手段と、
   前記選択された補間スキームを用いて欠落ピクセルを補間するための手段と、
   を含むことを特徴とする装置。
8. 信頼性基準を導出する前記手段が、前記相関データにおける最小値および最大値の数を判定する手段と、そこから前記信頼性基準を判定する手段と含むことを特徴とする請求項７に記載の装置。
9. 前記調整データを選択する手段が、信頼性基準が減少するにつれて相関データのより大きな調整を引き起こすことになるデータを選択することを特徴とする請求項７または請求項８に記載の装置。
10. 前記選択された調整データが、復元されるべき前記ピクセルから最も遠いピクセルから導出される相関データに対してより大きな調整を引き起こすことを特徴とする請求項９に記載の装置。
11. 前記相関データが差の絶対値合計（ＳＡＤ）データを含むことを特徴とする請求項７から請求項１０のいずれかに記載の方法。
12. 前記正確な欠落ピクセルを産生する可能性の最も高い補間スキームを判定するステップが、最も低い値を有する前記調整されたＳＡＤデータを判定する手段を含むことを特徴とする請求項１１に記載の装置。
13. 請求項７から請求項１２のいずれかに記載の装置を含むテレビ受信器。

Images