JP2009515384A - フィールドベースのビデオに対する動き補償により支援された空間−時間デインターレーシングのための方法および装置 - Google Patents

Abstract

本発明は、マルチメディアデータを処理して、インターレースされたフレームデータからプログレッシブフレームデータを発生させる装置および方法を含む。１つの観点において、マルチメディアデータを処理する方法は、インターレースされたマルチメディアデータの、選択されたフレームに対して空間−時間情報を発生させることと、選択されたフレームに対して動き情報を発生させることと、空間−時間情報と、動き情報とに基づいて、選択されたフレームのフィールドをデインターレースして、選択されたフレームに関係付けられたプログレッシブフレームを形成することとを含む。
【選択図】 図５

Description

合衆国法典第３５部第１１９条に基づく優先権の主張

特許に対する本出願は、（１）２００５年１０月１７日に出願された“フィールドベースのビデオに対する動き補償により支援された空間−時間デインターレーシングのための方法および装置”と題する仮出願第６０／７２７，６４３号、および（２）２００６年４月３日に出願された“フィールドベースのマルチメディアデータに対する動き補償により支援された空間−時間デインターレーシング”と題する仮出願第６０／７８９，０４８号に対する優先権を主張する。

分野

本発明は、一般には、マルチメディアデータ処理に向けられており、より詳細には、空間−時間、および動き補償処理に基づいて、マルチメディアデータをデインターレースすることに向けられている。

背景

デインターレーシングは、インターレースされたビデオ（フィールドのシーケンス）をインターレースされていないプログレッシブフレーム（フレームのシーケンス）に変換するプロセスを指す。マルチメディアデータのデインターレーシング処理（単に“デインターレーシング”として、時としてここで呼ばれる）では、“欠落”データを発生させる、対応する第１および第２のインターレースされたフィールドおよび／または時間的に近接したインターレースされたフィールド、間の補間を、プログレッシブフレームを生成するために必要とするかもしれないことから、マルチメディアデータのデインターレーシング処理は、少なくともいくつかの画像劣化を生ずる。通常、デインターレーシングプロセスは、さまざまな線形補間技術を使用し、高速の処理スピードを達成するために、比較的計算的に簡単であるように設計されている。

インターレースされたマルチメディアデータをプログレッシブフレームの表示デバイス（例えば、セル電話機、コンピュータ、ＰＤＡ）に転送することに対する要求の増加は、デインターレーシングの重要性も増加させている。デインターレーシングに対する１つの課題は、フィールドベースのビデオ信号は通常、サンプリング定理の要求を満たさないことである。連続時間ベースバンド信号のサンプルから連続時間ベースバンド信号の正確な再構成は、信号が帯域限定されており、かつ、サンプリング周波数が、信号の帯域幅の２倍より大きい場合に可能であることを、サンプリング定理は示している。サンプリング条件が満たされない場合、周波数はオーバーラップし、結果として生じる歪みは、エイリアシングと呼ばれている。いくつかのＴＶ放送において、エイリアシングの状態を除去できる、サンプリング前に先立ってフィルタリングするシステムは、存在しない。ＢＯＢ（垂直イントラフレーム補間）、ウィーブ（時間的インターフレーム補間）および線形ＶＴ（垂直および時間的）フィルタを含む、通常のデインターレーシング技術もまた、エイリアシングの影響を克服しない。空間的に、これらの線形フィルタは、滑らかな領域と同じ方法で画像のエッジを取り扱う。したがって、結果として生じる画像は、ぼんやりしたエッジを欠点として持つ。時間的に、これらの線形フィルタは、動き情報を利用せず、結果として生じる画像は、オリジナルのフィールドとリカバーされたフィールドとの間の滑らかでない移行のために、高いエイリアスレベルを欠点として持つ。線形フィルタの低い性能にもかかわらず、計算の複雑性が少ないために、線形フィルタは依然として広く使用されている。したがって、改良されたデインターレーシング方法およびシステムに対する必要があることを、出願者は提起する。

概要

ここで記述する発明の装置および方法のそれぞれは、いくつかの観点を有し、それらの観点のどの１つも、その望ましい属性に対して単独で役割を果たすものではない。本発明の範囲を限定することなく、本発明のより顕著な特徴をこれから簡潔に論じる。この記述を考慮した後、特に“詳細な説明”と題する段落を読んだ後、マルチメディアデータを処理する装置および方法に対して、本発明の特徴がいかに改良をもたらすかを理解するだろう。

１つの観点において、マルチメディアデータを処理する方法は、インターレースされたマルチメディアデータの、選択されたフレームに対して空間−時間情報を発生させることと、選択されたフレームに対して動き補償情報を発生させることと、空間−時間情報と動き補償情報とに基づいて、選択されたフレームのフィールドをデインターレースして、選択されたフレームに関係付けられたプログレッシブフレームを形成することとを含む。空間−時間情報を発生させることは、重み付けされたメディアンフィルタを使用して、インターレースされたマルチメディアデータを処理することと、空間−時間の仮のデインターレースされたフレームを発生させることとを含むことができる。選択されたフレームのフィールドをデインターレースすることは、空間−時間の仮のデインターレースされたフレームと、動き補償された仮のデインターレースされたフレームとを結合して、プログレッシブフレームを形成することをさらに含むことができる。動きベクトル候補（ここでは“動き推定器”としても呼ばれる”）を使用して、動き補償情報を発生させることができる。動き補償情報は、双方向の動き情報とすることができる。いくつかの観点において、動きベクトル候補が受け取られて使用され、動き補償情報を発生させる。ある観点において、フレーム中のブロックに対する動きベクトル候補は、隣接するブロックの動きベクトル候補から決定される。空間−時間情報を発生させることは、少なくとも１つの動き強度マップを発生させることを含むことができる。ある観点において、動き強度マップは、３つ以上の異なる動きレベルを分類する。動き強度マップを使用して、選択されたフレームの領域を異なる動きレベルに分類できる。動き強度マップに基づいて、仮のデインターレースされたフレームを発生させることができ、動き強度マップに基づいて仮のデインターレースされたフレームを発生させるために、さまざまな基準のＷｍｅｄフィルタリングを使用できる。いくつかの観点において、デノイジングフィルタ、例えば、ウェーブレット縮退フィルタまたはウィナーが、仮のフレームからノイズを除去するために使用される。

別の観点において、マルチメディアデータを処理する装置は、インターレースされたマルチメディアデータの、選択されたフレームの空間−時間情報を発生させるように構成されたフィルタモジュールと、選択されたフレームに対して双方向の動き情報を発生させるように構成された動き推定器と、空間−時間情報と動き情報とを使用して、選択されたフレームに対応するプログレッシブフレームを形成するように構成された結合器とを含む。空間−時間情報は、空間−時間の仮のデインターレースされたフレームを含むことができ、動き情報は、動き補償された仮のデインターレースされたフレームを含むことができ、そして結合器は、空間−時間の仮のデインターレースされたフレームと、動き補償された仮のデインターレースされたフレームとを結合することにより、プログレッシブフレームを形成するように構成されている。

別の観点において、マルチメディアデータを処理する装置は、インターレースされたマルチメディアデータの、選択されたフレームに対して空間−時間情報を発生させる手段と、選択されたフレームに対して動き情報を発生させる手段と、空間−時間情報と動き情報とに基づいて、選択されたフレームのフィールドをデインターレースして、選択されたフレームに関係付けられたプログレッシブフレームを形成する手段とを含む。デインターレースする手段は、空間−時間の仮のデインターレースされたフレームと、動き補償された仮のデインターレースされたフレームとを結合して、プログレッシブフレームを形成する手段を含むことができる。さらに一般的に、空間−時間情報と動き情報とを結合することにより、プログレッシブフレームを形成するように、結合する手段を構成できる。選択されたフレームの動き強度マップを発生させ、動き強度マップを使用して空間−時間の仮のデインターレースされたフレームを発生させるように、空間−時間情報を発生させる手段を構成できる。いくつかの観点において、空間−時間情報を発生させる手段は、少なくとも１つの動き強度マップを発生させ、動き強度マップに基づいて、仮のデインターレースされたフレームを発生させるように構成されている。

別の観点において、機械読み取り可能媒体は、実行時に、機械に、インターレースされたマルチメディアデータの、選択されたフレームに対して空間−時間情報を発生させ、選択されたフレームに対して双方向の動き情報を発生させ、空間−時間情報と動き情報とに基づいて、フレームのフィールドをデインターレースして、選択されたフレームに対応するプログレッシブフレームを形成させる命令を含んでいる。ここで開示するように、“機械読み取り可能媒体”は、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリデバイスおよび／または情報を記憶する他の機械読み取り可能媒体を含む、データを記憶する１つ以上のデバイスを表すことができる。用語“機械読み取り可能媒体”は、命令および／またはデータを記憶し、含み、または搬送できる、ポータブルまたは固定の、記憶デバイス、光学記憶デバイス、ワイヤレスチャネルおよびさまざまな他の媒体を含むが、これらに限定されない。

別の観点において、マルチメディアデータを処理するプロセッサは、インターレースされたマルチメディアデータの、選択されたフレームの空間−時間情報を発生させ、選択されたフレームに対して動き情報を発生させ、空間−時間情報と動き情報とに基づいて、選択されたフレームのフィールドをデインターレースして、選択されたフレームに関係付けられたプログレッシブフレームを形成する構成を含む。

詳細な説明

以下の説明において、記述した観点の完全な理解を提供するために、特定の詳細な説明を与える。しかしながら、これらの特定の詳細な説明なく、観点を実施できることが当業者に理解されるだろう。例えば、不必要な詳細な説明で観点を不明瞭にしないために、回路はブロック図で示されているかもしれない。他の例において、観点を不明瞭にしないように、よく知られている回路、構造および技術は詳細に示されているかもしれない。

単独で、または組み合わせて使用してデインターレーシングの性能を向上させることができる、システムおよび方法のための、あるデインターレーシングの発明の観点をここで記述する。このような観点は、空間−時間フィルタリングを使用して、選択されたフレームをデインターレーシングして、第１の仮のデインターレースされたフレームを決定することと、双方向の動き推定および動き補償を使用して、選択されたフレームから第２の仮のデインターレースされたフレームを決定することと、第１および第２の仮のフレームを結合して、最終的なプログレッシブフレームを形成することを含むことができる。空間−時間フィルタリングは、重み付けられたメディアンフィルタ（“Ｗｍｅｄ”）フィルタを使用でき、Ｗｍｅｄフィルタは、水平のまたはほぼ水平のエッジがぼけることを防止する水平エッジ検出器を含むことができる。“現在の”フィールドに対して、前および後の隣接するフィールドの空間−時間フィルタリングは、選択されたフレームの部分を異なる動きレベル、例えば、静止、スローモーションおよびファーストモーションに分類する強度動きレベルマップを生成する。

いくつかの観点において、５つの隣接するフィールド（２つの前のフィールド、現在のフィールドおよび２つの次のフィールド）からの画素を含むフィルタリングアパーチャを使用するＷｍｅｄフィルタリングにより、強度マップが生成される。Ｗｍｅｄフィルタリングは、シーン変化ならびにオブジェクトの出現および消失を効果的に取り扱うことができる、前方向、後方向および双方向の静止エリア検出を決定できる。さまざまな観点において、インターフィールドフィルタリングモードにおいて、Ｗｍｅｄフィルタを同一のパリティの１つ以上のフィールドにわたって利用することができ、しきい値基準を微調整することにより、イントラフィールドフィルタリングモードに切り換えることができる。いくつかの観点において、動き推定および補償は、ルーマ（画素の強度または輝度）およびクロマデータ（画素の色情報）を使用して、輝度レベルはほとんど均一であるが、色が異なっている選択されたフレームの領域をデインターレースすることを改善させる。デノイジングフィルタを使用して、動き推定の正確さを高めることができる。デノイジングフィルタをＷｍｅｄの仮のデインターレースされたフレームに適用して、Ｗｍｅｄフィルタリングにより発生したエイリアスアーティファクトを除去できる。ここで記述するデインターレーシングの方法およびシステムは、良好なデインターレーシングの結果を生じさせ、計算の複雑性が比較的低く、これは高速で実行するデインターレーシングの実現を可能にし、セル電話機、コンピュータおよびディスプレイを利用する他のタイプの電子または通信デバイスに対してデータを提供するために使用されるシステムを含む、幅広いさまざまなデインターレーシングアプリケーションに対して、このような実現を適したものにする。

ここでの、“１つの観点”、“観点”、“いくつかの観点”または“ある観点”に対する言及は、観点に関連して記述した、特定の、特徴、構造または特性のうちの１つ以上を、少なくとも１つの観点中に含めることができることを意味する。明細書中のさまざまな箇所におけるこのようなフレーズの登場は、必ずしもすべてが同一の観点に言及するわけではなく、他の観点を相互に含まない別個または代替えの観点でもない。さらに、さまざまな特徴を記述するが、それらは、いくつかの観点により示され、他の観点によっては示されないかもしれない。同様に、さまざまな要求を記述するが、それらは、いくつかの観点に対する要求であって、他の観点に対する要求ではないかもしれない。

ここで使用される“デインターレーサ”は、全体においてまたは重要な部分において、インターレースされたマルチメディアデータを処理して、プログレッシブマルチメディアデータを形成する、（例えば、プロセスを実行するように構成された、ソフトウェア、ファームウェアまたはハードウェアを含む）デインターレーシングシステム、デバイスまたはプロセスを記述するために使用できる広い用語である。

ここで使用される“マルチメディアデータ”は、ビデオデータ（オーディオデータを含むことができる）、オーディオデータ、またはビデオデータとオーディオデータとの両方を含む広い用語である。特にことわらない限り、テキストまたは画像情報ならびに／あるいはオーディオデータを含んでいる画像のシーケンスに言及する、広い用語としてここで使用される“ビデオデータ”または“ビデオ”を、マルチメディアデータに言及するために使用することができ、またはそれらの用語を区別なく使用してもよい。

図１は、ストリーミングまたは他のタイプのマルチメディアを配信する通信システム１０のブロック図である。図１で示す非常に多数の端末に対するデジタル圧縮ビデオの送信において、本技術は応用を見い出す。デジタルビデオ源は、例えば、デジタルケーブル供給、またはデジタル化されるアナログの高い信号／比の源とすることができる。ビデオ源は、送信機構１２中で処理され、ネットワーク１４を通して端末１６に送信するために搬送波上に変調される。ネットワーク１４は、データの送信に適した、任意のタイプのネットワーク、ワイヤードまたはワイヤレスとすることができる。例えば、ネットワークは、セル電話ネットワーク、ローカルエリアまたはワイドエリアネットワーク（ワイヤードまたはワイヤレス）、またはインターネットとすることができる。端末１６は、セル電話機、ＰＤＡおよびパーソナルコンピュータを含むが、これらに限定されない任意のタイプの通信デバイスとすることができる。

ビデオカメラ、放送スタジオ等において通常発生される放送ビデオは、合衆国におけるＮＴＳＣ規格に準拠する。ビデオを圧縮する共通の方法は、それをインターレースすることである。インターレースされたデータにおいて、それぞれのフレームは、２つのフィールドのうちの１つから構成される。一方のフィールドは、フレームの奇数番の線からなり、他方のフィールドは、偶数番の線からなる。フレームがおよそ３０フレーム／秒で発生される一方で、フィールドは、１／６０秒離れたテレビカメラの画像の記録である。インターレースされたビデオ信号のそれぞれのフレームは、画像の一行おきの他の水平線を示す。フレームがスクリーンに投影されるとき、ビデオ信号は、偶数番の線と奇数番の線とを示すものに交互に代わる。これが十分高速、例えば、１秒間に約６０フレームで実行されるとき、ビデオ画像は、人間の目に対して滑らかに見える。

インターレーシングは、ＮＴＳＣ（米国）およびＰＡＬ（欧州）のフォーマットに基づいているアナログテレビジョン放送において、何十年もの間使用されている。画像の半分だけが、それぞれのフレームに対して送信されるので、インターレースされたビデオは、ピクチャ全体を送信する場合の、およそ半分の帯域幅を使用する。端末１６内部のビデオの最終的な表示フォーマットは、必ずしもＮＴＳＣと互換性がなく、インターレースされたデータを容易に表示できない。代わりに、最近の画素ベースのディスプレイ（例えば、ＬＣＤ、ＤＬＰ、ＬＣＯＳ、プラズマ等）は、プログレッシブ走査であり、（多くの古いビデオデバイスが、古いインターレース走査技術を使用するのに対して）プログレッシブに走査されたビデオ源を必要とする。いくつかの一般に使用されるデインターレーシングアルゴリズムの例は、Ｐ．ハビスト氏、Ｊ．ジュホーラ氏、およびＹ．ヌーボ氏による１９９０年の、ＨＤＴＶ ＩＩの信号処理の７０３−７１０頁における“適応重み付けメディアンフィルタリングを使用する走査レートアップ変換”、およびＲ．シモネッティ氏、Ｓ．カラート氏、およびＡ．ポロフィリサン氏による１９９３年の、ＨＤＴＶ ＩＶの信号処理の７６５−７７２頁における“マルチメディアアプリケーションのためのＨＤＴＶ画像のデインターレーシング”中に記述されている。

図２は、マルチメディアデータをデインターレースするために使用されるデジタル送信機構１２のいくつかのコンポーネントを図示する。送信機構１２は、インターレースされたマルチメディアデータの情報源と通信する受信機２０を含む。示すように、情報源は外部のものとすることができ、または送信機構１２内部の情報源からのものとすることができる。１つの送信フォーマットの、インターレースされたマルチメディアデータを受信し、それをさらなる処理のために容易に使用できるフォーマットに変換するように、受信機２０を構成できる。受信機２０は、インターレースされたマルチメディアデータをデインターレーサ２２に提供し、デインターレーサ２２は、インターレースされたデータを補間し、プログレッシブビデオフレームを発生させる。デインターレーサおよびデインターレースする方法の観点は、マルチメディアデータをデインターレースするために使用される、さまざまなコンポーネント、モジュールおよび／またはステップに関連してここで記述する。

図３Ａは、デインターレーサ２２の１つの観点を図示するブロック図である。デインターレーサ２２は、インターレースされたデータの一部分を少なくとも空間的および時間的に（“空間−時間”）フィルタリングし、空間−時間情報を発生させる空間フィルタ３０を含む。例えば、Ｗｍｅｄを空間フィルタ３０において使用できる。いくつかの観点において、デインターレーサ２２はまた、（示していない）デノイジングフィルタ、例えば、ウィナーフィルタまたはウェーブレット縮退フィルタを含む。デインターレーサ２２はまた、動き推定器３２を含み、動き推定器３２は、インターレースされたデータの、選択されたフレームの動き推定および補償を提供し、動き情報を発生させる。デインターレーサ２２中の結合器３４は、空間−時間情報と動き情報とを受け取って結合し、プログレッシブフレームを形成する。

図３Ｂは、デインターレーサ２２の別のブロック図である。デインターレーサ２２中のプロセッサ３６は、空間フィルタモジュール３８、動き推定器モジュール４０および結合器モジュール４２を含む。外部源４８からのインターレースされたマルチメディアデータをデインターレーサ２２中の通信モジュール４４に提供できる。デインターレーサ、およびそれについてのコンポーネントまたはステップを、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコードまたはこれらについての任意の組み合わせにより実現できる。例えば、デインターレーサは、スタンドアローンコンポーネントであってもよく、別のデバイスのコンポーネント中にハードウェア、ファームウェア、ミドルウェアとして組み込まれていてもよく、または、プロセッサまたはそれらの組み合わせ上で実行される、マイクロコードまたはソフトウェア中で実現されていてもよい。ソフトウェア、ファームウェア、ミドルウェアまたはマイクロコード中で実現されるとき、デインターレーサのタスクを実行するプログラムコードまたはコードセグメントは、記憶媒体のような機械読み取り可能媒体中に記憶されていてもよい。コードセグメントは、手続き、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、あるいは命令、データ構造、またはプログラムステートメント、の任意の組み合わせを表してもよい。情報、データ、引き数、パラメータまたはメモリコンテンツを、渡すおよび／または受け取ることにより、コードセグメントは、別のコードセグメントまたはハードウェア回路に結合されていてもよい。

受信したインターレースされたデータを、デインターレーサ２２の記憶媒体４６中に記憶させることができ、記憶媒体４６は、例えば、プロセッサ３６に接続された、チップで構成された記憶媒体（例えば、ＲＯＭ、ＲＡＭ）またはディスクタイプの記憶媒体（例えば、磁気または光）を含むことができる。いくつかの観点において、プロセッサ３６は、記憶媒体の一部またはすべてを含むことができる。プロセッサ３６は、インターレースされたマルチメディアデータを処理して、別のデバイスまたはプロセスに提供されるプログレッシブフレームを形成するように構成されている。

図３Ｃは、別のデインターレーシング装置３１を図示するブロック図である。デインターレーシング装置３１は、空間−時間情報を発生させるモジュール３３のような、空間−時間情報を発生させる手段を含む。デインターレーシング装置はまた、動き情報を発生させるモジュール３５のような、動き情報を発生させる手段を含む。いくつかの観点において、動き情報は、双方向の動き情報である。デインターレーシング装置３１はまた、選択されたフレームのフィールドをデインターレースするモジュール３７のような、デインターレースする手段を含み、デインターレースする手段は、空間−時間情報と動き情報とに基づいて処理されている選択されたフレームに関係付けられたプログレッシブフレームを生成する。図３Ｃ中で図示したモジュールの構成に組み込むことができるプロセスを、例えば、図５におけるプロセスを含めて、この出願全体を通して記述する。

空間−時間デインターレーサの例示的な観点
上述したように、テレビジョンのような通常のアナログビデオデバイスは、インターレースされた方法でビデオを表現する。すなわち、このようなデバイスは、偶数の番号が付けられた走査線（偶数フィールド）と、奇数の番号が付けられた走査線（奇数フィールド）とを送信する。信号サンプリングの視点から、これは、次の式により記述されるパターンにおける空間−時間サブサンプリングに等しい。

ここでΘは、オリジナルフレームのピクチャを表し、Ｆは、インターレースされたフィールドを表し、（ｘ，ｙ，ｎ）は、それぞれ画素の、水平、垂直および時間の位置を表す。

一般性を失うことなく、この開示全体を通して、ｎ＝０は偶数フィールドであると仮定でき、それにより上の式（１）は次のように単純化される。

デシメーションは、水平の次元では行われないため、サブサンプリングパターンを次のｎ〜ｙ座標で描写できる。図４において、円および星の両方は、オリジナルのフルフレームのピクチャがサンプルの画素を有する位置を表す。インターレーシングプロセスは、星の画素をデシメートする一方で、円の画素をそのままにしておく。我々は、垂直の位置をゼロから開始するようにインデックス付けしたので、偶数フィールドがトップフィールドであり、奇数フィールドがボトムフィールドであることに注意すべきである。

デインターレーサの目標は、インターレースされたビデオ（フィールドのシーケンス）をインターレースされていないプログレッシブフレーム（フレームのシーケンス）に変換することである。言い換えれば、偶数および奇数フィールドを補間して、フルフレームのピクチャを“リカバー”すなわち発生させることである。このことを式３により表すことができる。

ここでＦ_iは、欠落画素に対するデインターレーシングの結果を表す。

図５は、Ｗｍｅｄフィルタリングと動き推定とを使用して、インターレースされたマルチメディアデータからプログレッシブフレームを発生させるデインターレーサ２２の１つの観点のある観点を図示するブロック図である。図５の上部は、現在のフィールド、２つの前のフィールド（ＰＰフィールドおよびＰフィールド）および２つの後のフィールド（次のフィールドおよび次の次のフィールド）からの情報を使用して発生できる動き強度マップ５２を示す。動き強度マップ５２は、現在のフレームを２つ以上の異なる動きレベルに分類または分割し、以下でさらに詳細に記述する空間−時間フィルタリングにより発生できる。いくつかの観点において、動き強度マップ５２は、以下で式４−８に関連して記述するように、静止エリア、スローモーションエリアおよびファーストモーションエリアを識別するために発生させられる。空間−時間フィルタ、例えば、Ｗｍｅｄフィルタ５４は、動き強度マップに基づく基準を使用して、インターレースされたマルチメディアデータをフィルタリングし、空間−時間の仮のデインターレースされたフレームを生成する。いくつかの観点において、Ｗｍｅｄフィルタリングプロセスは、[−１，１]の水平近隣、[−３，３]の垂直近隣、および５つの近接したフィールドの時間的近隣を必要とし、５つの近接したフィールドの時間的近隣は、図５中で図示した５つのフィールド（ＰＰフィールド、Ｐフィールド、現在のフィールド、次のフィールド、次の次のフィールド）により表され、Ｚ^-1は１つのフィールドの遅延を表す。現在のフィールドに関して、次のフィールドおよびＰフィールドは、非パリティフィールドであり、ＰＰフィールドおよび次の次のフィールドはパリティフィールドである。空間−時間フィルタリングに対して使用される“近隣”は、フィルタリング動作の間に実際に使用されるフィールドおよび画素の、空間的および時間的な位置を指し、例えば、図６および７中で示す“アパーチャ”として図示できる。

デインターレーサ２２はまた、デノイザ（デノイジングフィルタ）５６を含むことができる。デノイザ５６は、Ｗｍｅｄフィルタ５６により発生した空間−時間の仮のデインターレースされたフレームをフィルタリングするように構成されている。空間−時間の仮のデインターレースされたフレームをデノイズすることは、特に情報源のインターレースされたマルチメディアデータシーケンスがホワイトノイズにより汚されている場合に、後の動きサーチプロセスをより正確にさせる。空間−時間の仮のデインターレースされたフレームをデノイズすることにより、Ｗｍｅｄピクチャ中の偶数番と奇数番との行の間のエイリアスを少なくとも部分的に除去することもできる。また以下でさらに記述するウェーブレット縮退およびウェーブレットウィナーフィルタベースのデノイザを含むさまざまなフィルタとして、デノイザ５６を実現できる。

図５の下部は、インターレースされたマルチメディアデータの動き情報（例えば、動きベクトル候補、動き推定、動き補償）を決定する観点を図示する。特に、図５は、選択されたフレームの動き補償された仮のプログレッシブフレームを発生させるために使用される動き推定および動き補償スキームを図示し、動き補償された仮のプログレッシブフレームは、Ｗｍｅｄの仮フレームと結合されて、デインターレースされた現在のフレーム６４として示した、結果として生じる“最終”プログレッシブフレームを形成する。いくつかの観点において、インターレースされたマルチメディアデータの動きベクトル（“ＭＶ”）候補（または推定）は、外部の動き推定器からデインターレーサに提供され、双方向動き推定器および補償器（“ＭＥ／ＭＣ”）６８に対して開始ポイントを提供するために使用される。いくつかの観点において、ＭＶ候補選択器７２は、前の、処理されたブロック、例えば、デインターレースされた前のフレーム７０におけるブロックのＭＶのような、隣接するブロックに対して以前に決定されたＭＶを、処理されているブロックのＭＶ候補として使用する。前のデインターレースされたフレーム７０および次の（例えば、未来の）Ｗｍｅｄフレーム５８に基づいて、双方向として動き補償を実施できる。現在のＷｍｅｄフレーム６０と動き補償された（“ＭＣ”）現在のフレーム６６は、結合器６２により、組み合わされるすなわち結合される。結果として生じるデインターレースされた現在のフレーム６４、現在のプログレッシブフレームは、デインターレースされた前のフレーム７０として使用されるために、戻ってＭＥ／ＭＣ６８に提供され、また、さらなる処理、例えば、圧縮およびディスプレイ端末に対する送信のためにデインターレーサの外部に通信される。図５中で示したさまざまな観点を以下でより詳細に記述する。

図１０は、マルチメディアデータを処理して、インターレースされたフレームのシーケンスからプログレッシブフレームのシーケンスを生成するプロセス８０を図示する。１つの観点において、プログレッシブフレームは、図５中で図示したデインターレーサにより生成される。ブロック８２において、プロセス８０（プロセス“Ａ”）は、選択されたフレームに対して空間−時間情報を発生させる。空間−時間情報は、マルチメディアデータの動きレベルを分類して、動き強度マップを発生させるために使用される情報を含むことができ、Ｗｍｅｄの仮のデインターレースされたフレームと、フレームを発生させるために使用される情報（例えば、式４−１１において使用される情報）とを含む。図５の上部中で図示したような、Ｗｍｅｄフィルタ５４により、このプロセスを実行することができ、このプロセスに関係付けられる処理を、以下でさらに詳細に記述する。図１１中で図示したプロセスＡにおいて、以下でさらに記述するように、ブロック９２中で、領域は、異なる動きレベルのフィールドに分類される。

次に、ブロック８４（プロセス“Ｂ”）において、プロセス８０は、選択されたフレームに対して動き補償情報を発生させる。１つの観点において、図５の下部において図示した、双方向の、動き推定器／動き補償器６８が、このプロセスを実行できる。プロセス８０は次にブロック８６に進み、ここでは、空間−時間情報と、動き補償情報とに基づいて、選択されたフレームのフィールドをデインターレースして、選択されたフレームに関係付けられたプログレッシブフレームを形成する。図５の下部において図示した結合器６２により、このことを実行できる。

動き強度マップ
それぞれのフレームに対して、現在のフィールド中の画素を処理して異なる“動き”のエリアを決定することにより、動き強度マップ５２を決定できる。図６−９に関連して、３つのカテゴリの動き強度マップを決定する例示的な観点を、以下で記述する。同一のパリティフィールドおよび異なるパリティフィールドにおける画素を比較することに基づいて、動き強度マップは、それぞれのフレームのエリアを、静止エリア、スローモーションエリアおよびファーストモーションエリアとして指定する。

静止エリア
動きマップの静止エリアを決定することは、近接したフィールドの近隣における画素を処理して、ある画素の輝度差が、ある基準を満たしているかどうかを決定することを含むことができる。いくつかの観点において、動きマップの静止エリアを決定することは、５つの近接したフィールド（現在のフィールド（Ｃ）、現在のフィールドより時間的に前の２つのフィールドおよび現在のフィールドより時間的に後の２つのフレーム）の近隣における画素を処理して、ある画素の輝度差が、あるしきい値を満たしているかどうかを決定することを含む。これらの５つのフィールドは、１つのフィールドの遅延を表すＺ^-1とともに、図５中で図示されている。言い換えれば、５つの近接は、Ｚ^-1の時間遅延を有するこのようなシーケンスで通常表示されるだろう。

図６は、いくつかの観点にしたがって、空間−時間フィルタリングのために使用できる、５つのフィールドのそれぞれのある画素を識別するアパーチャを図示する。アパーチャは、左から右に、前の前のフィールド（ＰＰ）、前のフィールド（Ｐ）、現在のフィールド（Ｃ）、次のフィールド（Ｎ）および次の次のフィールド（ＮＮ）、の３ｘ３の画素グループを含む。いくつかの観点において、現在のフィールドのエリアが、式４−６において記述する基準を満たす場合、現在のフィールドのエリアは、動きマップにおいて静止であると考えられ、画素の位置および対応するフィールドは図６中に図示されている。

ここでＴ₁はしきい値であり、Ｌ_pは、Ｐフィールドに位置する画素Ｐの輝度であり、Ｌ_Nは、Ｎフィールドに位置する画素Ｎの輝度であり、Ｌ_Bは、現在のフィールドに位置する画素Ｂの輝度であり、Ｌ_Eは、現在のフィールドに位置する画素Ｅの輝度であり、Ｌ_BPPは、ＰＰフィールドに位置する画素Ｂ_ppの輝度であり、Ｌ_EPPは、ＰＰフィールドに位置する画素Ｅ_ppの輝度であり、Ｌ_BNNは、ＮＮフィールドに位置する画素Ｂ_NNの輝度であり、Ｌ_ENNは、ＮＮフィールドに位置する画素Ｅ_NNの輝度である。

しきい値Ｔ₁は、デインターレーシング以外のプロセスにより決定されて、（例えば、デインターレースされているビデオに対するメタデータとして）提供される、特定の値に予め定めて設定でき、または、しきい値Ｔ₁はデインターレーシングの間にダイナミックに決定できる。

式４、５および６において上述した静止エリアの基準は、少なくとも２つの理由のために、通常のデインターレーシング技術より多くのフィールドを使用する。最初に、同一のパリティフィールド間での比較は、異なるパリティフィールド間での比較よりもより低いエイリアスおよび位相不整合を有する。しかしながら、処理されているフィールドと、その最も近接した同一パリティフィールドの近隣との間の最小時間差（したがって、相関）は、２フィールドであり、処理されているフィールドの、異なるパリティフィールドの近隣からの最小時間差よりも大きい。より信頼できる異なるパリティフィールドと、より低いエイリアスの同一パリティフィールドとの結合により、静止エリア検出の正確さを向上できる。

さらに、図６中で示すように、現在のフレームＣ中の画素Ｘを基準として、過去および未来において、５つのフィールドを対称に配置できる。静止エリアを３つのカテゴリ、前方向静止（前のフレームを基準として静止）、後方向静止（次のフレームを基準として静止）、または双方向（前方向および後方向の両方の基準が満たされる場合）にサブ分割できる。静止エリアのこの細かい分類は、シーン変更およびオブジェクトの出現／消失において特に性能を向上させることができる。

スローモーションエリア
ある画素の輝度値が静止エリアを指定するための適切な基準を満たさないが、スローモーションエリアを指定するための適切な基準を満たす場合、動きマップのエリアは、動きマップ中のスローモーションエリアであると考えることができる。以下の式７は、スローモーションエリアを決定するために使用できる基準を規定する。図７を参照すると、式７において識別される画素Ｉ_a、Ｉ_c、Ｊ_a、Ｊ_c、Ｋ_a、Ｋ_c、Ｌ_a、Ｌ_c、ＰおよびＮの位置は、画素Ｘのまわりに集中したアパーチャ中に示されている。アパーチャは、現在のフィールド（Ｃ）の３ｘ７画素近隣、次のフィールド（Ｎ）および前のフィールド（Ｐ）の３ｘ５近隣を含む。画素Ｘが、静止エリアに対する上にリストした基準を満たさず、かつ、アパーチャ中の画素が式７において示す以下の基準を満たす場合には、画素Ｘは、スローモーションエリアの一部であると考えられる。

ここでＴ₂は、しきい値であり、Ｌ_Ia、Ｌ_Ic、Ｌ_Ja、Ｌ_Jc、Ｌ_Ja、Ｌ_Jc、Ｌ_Ka、Ｌ_Kc、Ｌ_La、Ｌ_Lc、Ｌ_P、Ｌ_Nは、それぞれ、画素Ｉ_a、Ｉ_c、Ｊ_a、Ｊ_c、Ｋ_a、Ｋ_c、Ｌ_a、Ｌ_c、ＰおよびＮに対する輝度値である。

しきい値Ｔ₂は、デインターレーシング以外のプロセスにより決定されて、（例えば、デインターレースされているビデオに対するメタデータとして）提供される、特定の値に予め定めて設定でき、または、しきい値Ｔ₂はデインターレーシングの間にダイナミックに決定できる。

フィルタのエッジ検出能力に関して、角度のために、フィルタは、水平（例えば、垂直に整列されたものから４５°より大きい）であるエッジをぼんやりさせることがあることに留意すべきである。例えば、図７中に図示したアパーチャ（フィルタ）のエッジ検出能力は、画素“Ａ”と“Ｆ”、または“Ｃ”と“Ｄ”により形成される角度により影響される。このような角度よりも水平である任意のエッジは、最適に補間されず、したがって、それらのエッジにおいて、階段アーティファクトが現れるかもしれない。いくつかの観点において、このエッジ検出の影響に対処するために、スローモーションカテゴリを２つのサブカテゴリ、“水平エッジ”および“その他の場合”に分割できる。以下で示す式８における基準が満たされる場合には、スローモーション画素を水平エッジとして分類でき、基準が満たされない場合には、スローモーション画素を、いわゆる“その他の場合”として分類できる。

ここでＴ₃は、しきい値であり、ＬＡ、ＬＢ、ＬＣ、ＬＤ、ＬＥおよびＬＦは、画素Ａ、Ｂ、Ｃ、Ｄ、ＥおよびＦの輝度値である。

水平エッジおよびその他の場合のカテゴリのそれぞれに対して、異なる補間方法を使用できる。

ファーストモーションエリア
静止エリアに対する基準およびスローモーションエリアに対する基準が満たされない場合には、画素はファーストモーションエリアにあると考えることができる。

選択されたフレーム中の画素を分類すると、プロセスＡ（図１１）はブロック９４に進み、動き強度マップに基づいて、仮のデインターレースされたフレームを発生させる。この観点において、Ｗｍｅｄフィルタ５４（図５）は、選択されたフィールドおよび適切な近接したフィールドをフィルタリングして、以下のように規定できる、候補のフルフレーム画像Ｆ₀を提供する。

ここで、α_i（ｉ＝０、１、２、３）は以下のように計算される整数の重みである。

Ｗｍｅｄフィルタリングされた仮のデインターレースされたフレームは、図５の下部において図示した、動き推定および動き補償処理に関連したさらなる処理のために提供される。

上述し、かつ、式９において示したように、静止補間は、インターフィールド補間を備え、スローモーションおよびファーストモーション補間は、イントラフィールド補間を備える。ある観点において、同一パリティフィールドの時間（例えば、インターフィールド）補間が望まれない場合、しきい値Ｔ₁（式４−６）をゼロ（Ｔ₁＝０）に設定することにより、時間補間を“ディスエーブル”にすることができる。時間補間がディスエーブルにされた現在のフレームの処理は、動きレベルマップのどのエリアも静止として分類しない結果を生じさせ、Ｗｍｅｄフィルタ５４（図５）は、図７中のアパーチャにおいて図示した３つのフィールドを必要とするかもしれず、これは、現在のフィールドおよび２つの近接した非パリティフィールドに動作する。

デノイジング
ある観点において、候補のＷｍｅｄフレームが、動き補償情報を使用してさらに処理される前に、デノイザを使用して、候補のＷｍｅｄフレームからノイズを除去できる。デノイザは、Ｗｍｅｄフレーム中に存在するノイズを除去し、信号の周波数コンテンツにかかわらずに存在する信号を保持できる。ウェーブレットフィルタを含む、さまざまなタイプのデノイジングフィルタを使用できる。ウェーブレットは、空間およびスケーリングドメインの両方における所定の信号をローカライズさせるために使用される関数のクラスである。ウェーブレットの背後にある基本概念は、ウェーブレット表現における小さい変化が、オリジナル信号において、対応して小さい変化を生成するように、異なるスケールまたは分解能で信号を分析することである。

いくつかの観点において、デノイジングフィルタは、（４，２）双直交キュービックＢ−スプラインウェーブレットフィルタの観点に基づいている。１つのこのようなフィルタを、次の順方向および逆方向の変換により規定できる。

デノイジングフィルタの適用により、ノイズのある環境における動き補償の正確さを増加させることができる。ビデオシーケンス中のノイズは、加算性ホワイトガウスであると仮定される。ノイズの推定される分散は、

により示される。それは、０．６７４５により割られる最高周波数副帯域係数の中央絶対偏差として、推定できる。このようなフィルタの実現は、Ｄ．Ｌ．ドノホ氏およびＩ．
Ｍ．ジョーンストーン氏による１９９４年のバイオメトリカ８巻、４２５−４５５頁における“ウェーブレット縮退による理想的な空間適応”中にさらに記述されており、それらは、参照によりその全体的がここに組み込まれている。

ウェーブレット縮退またはウェーブレットウィナーフィルタをデノイザとして適用することもできる。ウェーブレット縮退デノイジングは、ウェーブレット変換ドメインにおいて縮退することを含むことができ、通常、線形順方向ウェーブレット変換、非線形縮退デノイジングおよび線形逆ウェーブレット変換の３つのステップを含む。ウィナーフィルタは、付加的なノイズおよびぼやけることにより劣化した画像を改善するために使用できるＭＳＥ最適線形フィルタである。このようなフィルタは、一般的に当業者に知られており、例えば、上で参照した“ウェーブレット縮退による理想的な空間適応”、および、Ｓ．Ｐ．ガエル氏、Ａ．Ｍ．セイード氏およびＲ．Ｇバラニャック氏による１９９７年７月、サンディエゴ、ＳＰＩＥの処理、３１６９巻、３８９−３９９頁における“経験的ウィナーフィルタリングによる向上ウェーブレットデノイジング”中に記述されている。

動き補償
図１２を参照すると、ブロック１０２において、プロセスＢは双方向の動き推定を実行し、次にブロック１０４において、動き推定を使用して動き補償を実行し、それらは、図５中でさらに図示されており、以下で例示的な観点において記述する。Ｗｍｅｄフィルタおよび動き補償ベースのデインターレーサの間には、１つのフィールド“遅れ”がある。現在のフィールド“Ｃ”の“欠落”データ（非オリジナル行の画素データ）に対する動き補償は、図８中で示したような、前のフレーム“Ｐ”と次のフレーム“Ｎ”との両方における情報から予測されている。現在のフィールド（図６）において、実線は、オリジナルの画素データが存在する行を表し、点線は、Ｗｍｅｄ補間された画素データが存在する行を表す。ある観点において、動き補償は、４行ｘ８列の画素の近隣中で実行される。しかしながら、この画素の近隣は、説明のための例であり、異なる数の行および異なる数の列から構成される画素の近隣に基づいた他の観点において、動き補償を実行してもよいことが当業者に明らかになるだろう。異なる数の行および異なる数の列から構成される画素の近隣の選択は、例えば、計算スピード、利用可能な処理能力、またはデインターレースされているマルチメディアデータの特性を含む、多くの要因に基づくことができる。現在のフィールドだけが半分の行を有するため、整合すべき４つの行は、実際には８画素ｘ８画素エリアに対応する。

図５を参照すると、双方向のＭＥ／ＭＣ６８は、誤差平方和（ＳＳＥ）を使用して、Ｗｍｅｄの次のフレーム５８とデインターレースされた現在フレーム７０とを基準として、Ｗｍｅｄの現在のフレーム６０に対して、予測するブロックと予測されたブロックとの間の類似性を測定できる。動き補償された現在のフレーム６６の発生は、最も類似した整合ブロックからの画素情報を使用して、オリジナル画素線間の欠落データを埋める。いくつかの観点において、Ｗｍｅｄの次のフレーム５８は空間−時間フィルタリングによりデインターレースされているだけであるが、デインターレースされた前のフレーム７０の情報は、動き補償情報およびＷｍｅｄ情報により発生されているので、双方向のＭＥ／ＭＣ６８は、デインターレースされた前のフレーム７０の情報からの画素情報に対して、バイアスをかけ、またはさらに重みを与える。

いくつかの観点において、類似したルーマ領域を有するが、異なるクロマ領域を有するフィールドの領域において整合性能を向上させるために、画素の１つ以上のルーマグループ（例えば、１つの４行ｘ８列のルーマブロック）と、画素の１つ以上のクロマグループ（例えば、２つの２行ｘ４列のクロマブロックＵおよびＶ）との画素値の寄与を含むＳＳＥメトリックを使用できる。このようなアプローチは、色に敏感な領域において、不整合を効果的に減少させる。

動きベクトル（ＭＶ）は、垂直次元において１／２画素の粒度を有し、かつ、水平次元において１／２または１／４画素のいずれかの粒度を有する。分数の画素サンプルを取得するために、補間フィルタを使用できる。例えば、ハーフ画素サンプルを取得するために使用できるいくつかのフィルタは、双線形フィルタ（１、１）、Ｈ．２６３／ＡＶＣ：（１、−５、２０、２０、−５、１）により推奨される補間フィルタ、および６つのタップのハミング窓？？？ｓｉｎｃ？？？関数フィルタ（３、−２１、１４７、１４７、−２１、３）を含む。双線形フィルタを適用することにより、フルおよびハーフ画素サンプルから１／４画素サンプルを発生させることができる。

いくつかの観点において、動き補償は、さまざまなタイプのサーチングプロセスを使用して、現在のフレームのある位置における（例えば、オブジェクトを描写する）データを、別のフレーム（例えば、次のフレームまたは前のフレーム）中の異なる位置における対応するデータに整合させ、それぞれのフレーム内の位置における差は、オブジェクトの動きを示している。例えば、サーチングプロセスは、より大きなサーチエリアをカバーできるフルモーションサーチ、またはより少ない画素を使用できるファーストモーションのサーチを使用し、ならびに／あるいは、サーチパターンにおいて使用される選択された画素は、特定の形状、例えば、ダイアモンド形状を有することができる。ファーストモーションのサーチのために、動き推定または動き候補の周りにサーチエリアを集中させることができ、動き推定または動き候補は、近接したフレームをサーチするための開始ポイントとして使用できる。いくつかの観点において、外部の動き推定器からＭＶ候補を発生させることができ、デインターレーサに対してＭＶ候補を提供できる。以前に動き補償された近接したフレーム中の、対応する近隣からのマクロブロックの動きベクトルを、動き推定として使用することもできる。いくつかの観点において、対応する前および次のフレームのマクロブロック（例えば、３マクロブロックｘ３マクロブロック）の近隣をサーチすることから、ＭＶ候補を発生させることができる。

図９は、図８中で示したような、前のフレームおよび次のフレームの近隣をサーチすることにより、動き推定／補償の間に発生させることができる２つのＭＶマップ、ＭＶ_PおよびＭＶ_Nの例を図示する。ＭＶ_PとＭＶ_Nとの両方において、動き情報を決定するために処理すべきブロックは、“Ｘ”により示される中央ブロックである。ＭＶ_PとＭＶ_Nとの両方において、処理されている現在のブロックＸの動き推定の間に使用できる９つのＭＶ候補がある。この例において、ＭＶ候補のうちの４つは、以前に実行された動きサーチから同一のフィールドに存在し、ＭＶ_PおよびＭＶ_N（図９）において、より明るい色をつけられたブロックにより描写されている。より暗い色をつけられたブロックにより描写された、他の５つのＭＶ候補は、前に処理されたフレームの動き情報（すなわちマップ）からコピーされたものである。

動き推定／補償が完了した後、２つの補間の結果が、（図８中の点線により示される）欠落行に対してもたらされ、１つは、Ｗｍｅｄフィルタにより発生させられた補間結果（図５のＷｍｅｄの現在のフレーム６０）であり、１つは、動き補償器の動き推定により発生させられた補間結果（ＭＣの現在のフレーム６６）である。結合器６２は通常、Ｗｍｅｄの現在のフレーム６０とＭＣの現在のフレーム６６との一部を少なくとも使用することにより、Ｗｍｅｄの現在のフレーム６０とＭＣの現在のフレーム６６とを組み合わせて、現在のデインターレースされたフレーム６４を発生させる。しかしながら、ある条件の下では、結合器６２は、現在のフレーム６０またはＭＣの現在のフレーム６６のうちの１つだけを使用して、現在のデインターレースされたフレームを発生させてもよい。１つの例において、結合器６２は、Ｗｍｅｄの現在のフレーム６０とＭＣの現在のフレーム６６とを組み合わせて、式１４において示されるようなデインターレースされた出力信号を発生させる。

ここで、

は、転置のためのｔをともなう、場所ｘ＝（ｘ、ｙ）^tにおけるフィールドｎ₁中の輝度値に対して使用される。

のように規定されるクリップ関数を使用して、

としてｋ₁を計算できる。ここでＣ₁は、ロバストネスパラメータであり、Ｄｉｆｆは、予測するフレームの画素と、（既存のフィールドから得られた）予測されたフレーム中の利用可能な画素との間のルーマ差である。Ｃ₁を適切に選ぶことにより、平均平方誤差の
相対的な重要性を調整することが可能である。式１７において示すように、ｋ₂を計算できる。

ここで

は、動きベクトルであり、δは、ゼロによる除算を防ぐための小さい定数である。フィルタリングのためにクリッピング関数を使用してデインターレースすることは、Ｇ．Ｄ．ハーン氏およびＥ．Ｂベラーズ氏による、１９９７年の、民生用電子機器上でのＩＥＥＥトランザクション、４３巻、第３号、８１９−８２５頁における“ビデオデータのデインターレーシング”中にさらに記述されており、その全体がここに組み込まれている。

いくつかの観点において、高いＰＳＮＲおよびロバストな結果を達成するために、次の式を試み、かつ、維持するように、結合器６２を構成できる。

Ｗｍｅｄ＋ＭＣデインターレーシングスキームによるイントラフィールド補間から、インターフィールド補間を含むデインターレーシング予測スキームを切り離すことが可能である。言い換えれば、主として、イントラフィールド補間の目的のために、空間−時間Ｗｍｅｄフィルタリングを使用でき、一方で、動き補償の間にインターフィールド補間を実行できる。これにより、Ｗｍｅｄの結果に関して、ピーク信号対ノイズ比が減少するが、動き補償が適用された後の視覚品質は、より満足なものである。その理由は、不正確なインターフィールド予測モード決定からの不良な画素が、Ｗｍｅｄフィルタリングプロセスから除去されるからである。

クロマの取り扱いは、並べて置かれたルーマの取り扱いと一致する必要があるかもしれない。動きマップ発生の観点から、クロマ画素の動きレベルは、その４つの並べて置かれたルーマ画素の動きレベルを観察することにより取得される。動作は、票決に基づくことができる（クロマの動きレベルは、支配的なルーマの動きレベルを流用する）。しかしながら、我々は、次のように保守的なアプローチを使用することを提案する。４つのルーマ画素のうちのいずれかの１つがファーストモーションレベルを有する場合、クロマの動きレベルは、ファーストモーションであり、さもなければ、４つのルーマ画素のうちのいずれかの１つがスローモーションレベルを有する場合、クロマの動きレベルはスローモーションであり、さもなければ、クロマの動きレベルは、静止である。保守的なアプローチは、最も高いＰＳＮＲを達成しないかもしれないが、クロマの動きレベルにおいて、あいまいさがある場合は必ずインター予測を使用する危険を回避する。

マルチメディアデータシーケンスは、単独で記述したＷｍｅｄアルゴリズムと、ここで記述した結合されたＷｍｅｄおよび動き補償アルゴリズムとを使用して、デインターレースされた。同一のマルチメディアデータシーケンスはまた、画素を混合する（すなわち平均する）アルゴリズムおよびフィールドが何らかの補間または混合がなく、単に結合された“非デインターレーシング”ケースを使用してデインターレースされた。結果として生じたフレームが分析されて、ＰＳＮＲが決定され、これは以下の表に示されている。

上述したように、Ｗｍｅｄの結果とＭＣの結果とを結合することは、偶数および奇数番のフィールド間のエイリアスおよびノイズを抑制することから、Ｗｍｅｄに加えて、ＭＣを使用してデインターレースすることにより、ほんのわずかのＰＳＮＲの改善だけがある場合でさえ、ＷｍｅｄおよびＭＣ補間の結果を結合することにより生成されるデインターレースされた画像の視覚品質は、より視覚的に満足なものである。

図１３−１５は、記述したデインターレーサの実行の例を図示する。図１３は、“サッカー”のオリジナルフレーム＃１０９を示す。図１４は、インターレースされたデータとして、同一のフレーム＃１０９を示す。図１５は、Ｗｍｅｄフレーム、言い換えれば、Ｗｍｅｄフィルタ５４（図５）により処理された後に結果として生じるＷｍｅｄフレームとして、フレーム＃１０９を示す。図１６は、Ｗｍｅｄの補間と、動き補償の補間との組み合わせから結果として生じるフレーム＃１０９を示す。

フローチャート、フロー図、構造図またはブロック図として描写されるプロセスとして、観点を記述してもよいことが注目される。フローチャートは、シーケンシャルなプロセスとして動作を記述してもよいが、動作の多くは、並行して、または同時に実行できる。さらに、動作の順序を並べ換えてもよい。プロセスは、その動作が完了するときに終了する。プロセスは、方法、関数、手続き、サブルーチン、サブプログラム等に対応してもよい。プロセスが関数に対応するとき、その終了は、呼び出している関数または主関数に対する関数の戻りに対応する。

ここで開示したデバイスの１つ以上の要素を、デバイスの動作に影響を与えることなく並べ換えてもよいことも当業者に明らかなはずである。同様に、ここで開示したデバイスの１つ以上の要素を、デバイスの動作に影響を与えることなく組み合わせてもよい。さまざまな異なる技術および技法のいくつかを使用して、情報および信号を表してもよいことを当業者は理解するだろう。電子ハードウェア、ファームウェア、コンピュータソフトウェア、ミドルウェア、マイクロコードまたはこれらの組み合わせとして、ここで開示した例に関して記述したさまざまな実例となる論理ブロック、モジュール、およびアルゴリズムステップを実現してもよいことを、当業者はさらに理解するであろう。ハードウェアおよびソフトウェアのこの互換性を明瞭に図示するために、さまざまな実例となるコンポーネント、ブロック、モジュール、回路、およびステップをそれらの機能の点から一般的に上述した。このような機能がハードウェアまたはソフトウェアとして実現されるかどうかは、特定の用途およびシステム全体に課される設計制約によって決まる。それぞれの特定の用途に対してさまざまな方法で、当業者は記述した機能を実現するかもしれないが、このような実現決定は、開示した方法の範囲から逸脱を生じさせるものとして解釈すべきではない。

ここで開示した例に関して記述した方法またはアルゴリズムのステップを、ハードウェア中で直接、プロセッサにより実行されるソフトウェアモジュール中で、またはその２つの組み合わせ中で具体化してもよい。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバルディスク、ＣＤ−ＲＯＭ、または技術的に知られている他の任意の形態の記憶媒体中に存在してもよい。プロセッサが記憶媒体から情報を読み取ることができ、記憶媒体に情報を書き込むことができるように、例示的な記憶媒体はプロセッサに結合されている。代替では、記憶媒体はプロセッサと一体化されていてもよい。プロセッサおよび記憶媒体は、特定用途向け集積回路（ＡＳＩＣ）中に存在してもよい。ＡＳＩＣはワイヤレスモデム中に存在してもよい。代替では、プロセッサおよび記憶媒体は、ワイヤレスモデム中にディスクリートコンポーネントとして存在してもよい。

さらに、汎用目的のプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラム可能ゲートアレイ（ＦＰＧＡ）または他のプログラム可能論理デバイス、ディスクリートゲートまたはトランジスタ論理、ディスクリートハードウェアコンポーネント、あるいはここで記述した機能を実行するために設計された、これらの任意の組み合わせにより、ここで開示した例に関して記述した、さまざまな実例となる論理ブロック、コンポーネント、モジュールおよび回路を実現または実行してもよい。汎用目的のプロセッサはマイクロプロセッサでもよいが、代わりに、プロセッサは任意の従来のプロセッサ、制御装置、マイクロ制御装置、または状態遷移機械であってもよい。計算デバイスの組み合わせ、例えば、ＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアに関連した１つ以上のマイクロプロセッサ、または他の任意のこのような構成として、プロセッサを実現してもよい。

いかなる当業者であっても開示した方法および装置を作りまたは使用できるように、開示した例の記述をこれまでに提供している。これらの例に対してさまざまな修正が当業者に容易に明らかになり、開示した方法および装置の精神または範囲から逸脱することなく、ここで規定した原理を、追加されるかもしれない他の例および追加的な要素に適用してもよい。観点の記述は、例示的であり、かつ、特許請求の範囲を限定しないように向けられている。

図１は、ストリーミングマルチメディアを配信する通信システムのブロック図である。 図２は、ストリーミングマルチメディアを配信する通信システムのいくつかのコンポーネントのブロック図である。 図３Ａは、デインターレーサデバイスを図示するブロック図である。 図３Ｂは、別のデインターレーサデバイスを図示するブロック図である。 図３Ｃは、別のデインターレーシング装置を図示するブロック図である。 図４は、インターレースされたピクチャのサンプリングパターンの図面である。 図５は、Ｗｍｅｄフィルタリング動き推定を使用して、デインターレースされたフレームを発生させるデインターレーサデバイスを図示するブロック図である。 図６は、マルチメディアデータの静止エリアを決定するアパーチャの１つの観点を図示する。 図７は、マルチメディアデータのスローモーションエリアを決定するアパーチャの１つの観点を図示する図である。 図８は、動き推定の観点を図示する図である。 図９は、動き補償を決定する際に使用される２つの動きベクトルマップを図示する。 図１０は、マルチメディアデータをデインターレースする方法を図示するフロー図である。 図１１は、空間−時間情報を使用して、デインターレースされたフレームを発生させる方法を図示するフロー図である。 図１２は、デインターレースするための動き補償を実行する方法を図示するフロー図である。 図１３は、オリジナルの選択された“サッカー”フレームを図示する画像である。 図１４は、図１３中で示した画像の、インターレースされたフレームを図示する画像である。 図１５は、図１３中で示したオリジナルのサッカーフレームの、デインターレースされたＷｍｅｄフレームを図示する画像である。 図１６は、図１５のＷｍｅｄフレームを動き補償情報と結合することから生じる、デインターレースされたフレームを図示する画像である。

Claims (41)

1. マルチメディアデータを処理する方法において、
   前記方法は、
   インターレースされたマルチメディアデータの、選択されたフレームに対して、空間−時間情報を発生させることと、
   前記選択されたフレームに対して、動き補償情報を発生させることと、
   前記空間−時間情報と前記動き補償情報とに基づいて、前記選択されたフレームのフィールドをデインターレースして、前記選択されたフレームに関係付けられたプログレッシブフレームを形成することとを含む方法。
2. 空間−時間情報を発生させることは、空間−時間の仮のデインターレースされたフレームを発生させることを含み、動き情報を発生させることは、動き補償された仮のデインターレースされたフレームを発生させることを含み、前記選択されたフレームのフィールドをデインターレースすることは、前記空間−時間の仮のデインターレースされたフレームと、前記動き補償された仮のデインターレースされたフレームとを結合して、前記プログレッシブフレームを形成することをさらに含む請求項１記載の方法。
3. 動きベクトル候補を使用して、前記動き補償情報を発生させることをさらに含む請求項１記載の方法。
4. 動きベクトル候補を受け取ることと、
   前記動きベクトル候補に基づいて動きベクトルを決定することと、
   前記動きベクトルを使用して、前記動き補償情報を発生させることとをさらに含む請求項１記載の方法。
5. 前記選択されたフレーム中のビデオデータのブロックに対する動きベクトル候補を、そのブロックに隣接するブロックの動きベクトル推定から決定することと、
   前記動きベクトル候補を使用して、前記動き補償情報を発生させることとをさらに含む請求項１記載の方法。
6. 空間−時間情報を発生させることは、
   少なくとも１つの動き強度マップを発生させることと、
   前記動き強度マップに基づいて、仮のデインターレースされたフレームを発生させることとを含み、
   前記デインターレースすることは、前記仮のデインターレースされたフレームと、前記動き情報とを使用して、前記プログレッシブフレームを発生させることを含む請求項１記載の方法。
7. 仮のデインターレースされたフレームを発生させることは、前記少なくとも１つの動き強度マップが、選択された状態を示す場合に、前記インターレースされたマルチメディアデータを空間フィルタリングすることを含む請求項６記載の方法。
8. 少なくとも１つの動き強度マップを発生させることは、前記選択されたフレームの領域を異なる動きレベルに分類することを含む請求項６記載の方法。
9. 少なくとも１つの動き強度マップを発生させることは、前記異なる動きレベルに基づいて、前記インターレースされたマルチメディアデータを空間フィルタリングすることを含む請求項８記載の方法。
10. 空間フィルタリングすることは、重み付けされたメディアンフィルタを使用して、前記インターレースされたマルチメディアデータを処理することを含む請求項１記載の方法。
11. 仮のデインターレースされたフレームを発生させることは、前記動き強度マップに基づいて、前記インターレースされたマルチメディアデータの複数のフィールドにわたって空間フィルタリングすることを含む請求項６記載の方法。
12. 空間−時間情報を発生させることは、選択された現在のフィールドの時間的近隣のフィールドにわたって空間−時間フィルタリングすることを含む請求項１記載の方法。
13. 前記時間的近隣は、前記現在のフィールドの前に時間的に位置している前のフィールドを含み、かつ、前記現在のフィールドの後に時間的に位置している次のフィールドを含む請求項１２記載の方法。
14. 前記時間的近隣は、前記現在のフィールドの前に時間的に位置している複数の前のフィールドを含み、かつ、前記現在のフィールドの後に時間的に位置している複数の次のフィールドを含む請求項１２記載の方法。
15. 空間−時間情報を発生させることは、空間−時間フィルタリングに基づいて、仮のデインターレースされたフレームを発生させることと、デノイジングフィルタを使用して、前記仮のデインターレースされたフレームをフィルタリングすることとを含む請求項１記載の方法。
16. 前記選択されたフレームのフィールドをデインターレースすることは、前記デノイズされた、仮のデインターレースされたフレームを動き情報と結合して、前記プログレッシブフレームを形成することを含む請求項１５記載の方法。
17. 前記デノイジングフィルタは、ウェーブレット縮退フィルタを含む請求項１５記載の方法。
18. 前記デノイジングフィルタは、ウィナーフィルタを含む請求項１５記載の方法。
19. 動き情報を発生させることは、双方向の動き推定を前記選択されたフィールドに実行して、動きベクトルを発生させることと、前記動きベクトルを使用して、動き補償を実行することとを含む請求項１記載の方法。
20. 前記空間−時間情報に基づいて、前記選択されたフレームに関係付けられた、仮のデインターレースされたフレームを発生させることと、
    前記仮のデインターレースされたフレームに関する動きベクトルを取得することと、
    前記動きベクトルを使用する動き補償を実行して、前記動き情報を発生させることとをさらに含み、
    前記動き情報は、動き補償されたフレームを含み、
    デインターレースすることは、前記動き補償されたフレームと前記仮のデインターレースされたフレームとを結合することを含む請求項１記載の方法。
21. 前記空間−時間情報に基づいて、前記選択されたフレームのまわりの時間的近隣において、仮のデインターレースされたフレームのシーケンスを発生させることと、
    前記仮のデインターレースされたフレームのシーケンスを使用して動きベクトルを発生させることとをさらに含む請求項２０記載の方法。
22. 動き補償を実行することは、双方向の動き補償を実行することを含む請求項２０記載の方法。
23. 前記仮のデインターレースされたフレームをデノイジングフィルタリングすることをさらに含む請求項２１記載の方法。
24. 前記仮のインターレースされたフレームのシーケンスは、前記選択されたフレームの前記仮のデインターレースされたフレームの前の、前記マルチメディアデータの仮のデインターレースされたフレームと、前記選択されたフレームの前記仮のデインターレースされたフレームの後の、前記マルチメディアデータの仮のデインターレースされたフレームとを含む請求項２１記載の方法。
25. マルチメディアデータを処理する装置において、
    インターレースされたマルチメディアデータの、選択されたフレームの空間−時間情報を発生させるように構成されたフィルタモジュールと、
    前記選択されたフレームに対して、双方向の動き情報を発生させるように構成された動き推定器と、
    前記空間−時間情報と前記動き情報とを使用して、前記選択されたフレームに関係付けられたプログレッシブフレームを形成するように構成された結合器とを具備する装置。
26. 前記空間−時間情報からノイズを除去するように構成されたデノイザをさらに具備する請求項２５記載の装置。
27. 前記空間−時間情報は、空間−時間の仮のデインターレースされたフレームを含み、前記動き情報は、動き補償された仮のデインターレースされたフレームを含み、前記結合器は、前記空間−時間の仮のデインターレースされたフレームと、前記動き補償された仮のデインターレースされたフレームとを結合することにより、前記プログレッシブフレームを形成するようにさらに構成されている請求項２５記載の装置。
28. 前記動き情報は、双方向の動き情報である請求項２５記載の装置。
29. 前記フィルタモジュールは、前記選択されたフレームの動き強度マップを決定し、前記動き強度マップを使用して、空間−時間の仮のデインターレースされたフレームを発生させるようにさらに構成されており、前記結合器は、前記動き情報を、前記空間−時間の仮のデインターレースされたフレームと結合することにより、前記プログレッシブフレームを形成するように構成されている請求項２６記載の装置。
30. 前記動き推定器は、前に発生されたプログレッシブフレームを使用して、前記動き情報の一部を少なくとも発生させるように構成されている請求項２４記載の装置。
31. マルチメディアデータを処理する装置において、
    インターレースされたマルチメディアデータの、選択されたフレームに対して、空間−時間情報を発生させる手段と、
    前記選択されたフレームに対して、動き情報を発生させる手段と、
    前記空間−時間情報と前記動き情報とに基づいて、前記選択されたフレームのフィールドをデインターレースして、前記選択されたフレームに関係付けられたプログレッシブフレームを形成する手段とを具備する装置。
32. 前記空間−時間情報は、空間−時間の仮のデインターレースされたフレームを含み、前記動き情報は、動き補償された仮のデインターレースされたフレームを含み、前記デインターレースする手段は、前記空間−時間の仮のデインターレースされたフレームと、前記動き補償された仮のデインターレースされたフレームとを結合して、前記プログレッシブフレームを形成する手段を備える請求項３１記載の装置。
33. 前記デインターレースする手段は、空間−時間情報と動き情報とを結合することにより、前記プログレッシブフレームを形成するように構成された結合器を備える請求項３１記載の装置。
34. 前記動き情報は、双方向の動き情報を含む請求項３１記載の装置。
35. 前記空間−時間情報を発生させる手段は、前記選択されたフレームの動き強度マップを発生させ、かつ、前記動き強度マップを使用して、空間−時間の仮のデインターレースされたフレームを発生させるように構成されており、前記結合する手段は、前記動き情報を、前記空間−時間の仮のデインターレースされたフレームと結合することにより、前記プログレッシブフレームを形成するように構成されている請求項３２記載の装置。
36. 前記空間−時間情報を発生させる手段は、
    少なくとも１つの動き強度マップを発生させ、
    前記動き強度マップに基づいて、仮のデインターレースされたフレームを発生させるように構成され、
    前記デインターレースする手段は、前記仮のデインターレースされたフレームと、前記動き情報とを使用して、前記プログレッシブフレームを発生させるように構成されている請求項３１記載の装置。
37. 仮のデインターレースされたフレーム発生させることは、前記少なくとも１つの動き強度マップが、選択された状態を示す場合に、前記インターレースされたマルチメディアデータを空間フィルタリングすることを含む請求項３６記載の装置。
38. 少なくとも１つの動き強度マップを発生させることは、前記選択されたフレームの領域を、異なる動きレベルに分類することを含む請求項３６記載の装置。
39. 少なくとも１つの動き強度マップを発生させることは、前記異なる動きレベルに基づいて、前記インターレースされたマルチメディアデータを空間フィルタリングすることを含む請求項３８記載の装置。
40. マルチメディアデータを処理する命令を含む機械読み取り可能媒体において、
    前記命令は、実行時に、
    インターレースされたマルチメディアデータの、選択されたフレームに対して、空間−時間情報を発生させることと、
    前記選択されたフレームに対して、双方向の動き情報を発生させることと、
    前記空間−時間情報と前記動き情報とに基づいて、前記フレームのフィールドをデインターレースして、前記選択されたフレームに対応するプログレッシブフレームを形成することとを機械に行わせる機械読み取り可能媒体。
41. マルチメディアデータを処理するプロセッサにおいて、
    前記プロセッサは、
    インターレースされたマルチメディアデータの、選択されたフレームの空間−時間情報を発生させ、
    前記選択されたフレームに対して動き情報を発生させ、
    前記空間−時間情報と前記動き情報とに基づいて、前記選択されたフレームのフィールドをデインターレースして、前記選択されたフレームに関係付けられたプログレッシブフレームを形成するように構成されているプロセッサ。

Images