JP2007531377A - 順次走査変換機構を用いた多重記述符号化映像送信 - Google Patents

Abstract

多重記述符号化（ＭＤＣ）は無線システム及びインターネットを含むネットワーク上でビデオデータをロバストに送信する有効な技術として知られている。方法は、ビデオ信号（２０）がインタレースされ、符号化前に多重ストリームに分割され、別々の送信チャネル（３０８，３１０）上で送信されることを含む。受信器（３２０）側では、順次走査変換アルゴリズムが適用され、元のビデオ信号（２０）を形成するためにストリームが再編される。インタレース技術及び順次走査変換技術の使用は既存の装置の変更なしにビデオ送信のロバスト性を向上させる。

Description

発明の詳細な説明

本発明は一般にネットワーク上でのビデオシーケンスの伝送に関する。より詳しくは、本発明はネットワークのエラーが発生しやすいチャネル上でロバストな映像の送受信をする方法に関する。

無線システムやインターネットでの通信が多くなっているため、このようなネットワーク上でビデオストリームを信頼性高く送受信する方法が開発されている。多重記述符号化（ＭＤＣ）はこのような通信に対して効果的であることが証明されている技術である。ＭＤＣはビデオ信号の複数のコード値または記述へのビデオストリームの分割及び誤り耐性のための分割チャネル上での記述の送信を含む。この技術により記述の一部を用いて許容範囲の信号品質を得ることができ、受信する部分の数の増加により品質が向上する。ビデオストリームを分割する１つの方法は、奇数と偶数のフレームに分割して、個々にストリームを符号化するものである。ストリームの１つが受信されたとき、そのフレームはフレームレートの半分でデコードされ得る。ビデオストリームの相関性質により、送信中に消失するかもしれない中間フレームが動き補償誤り隠ぺい技術を用いて再生される。

動き補償誤り隠ぺいを用いた技術の例は、多重状態符号化、ビデオ冗長コード化（ＶＲＣ）及び多重記述動き補償（ＭＤＭＣ）である。一般に、多重状態符号化システムはビデオストリームを受信し、多重状態符号化の使用により映像を個々に符号化可能なパケットストリームに符号化する符号器と、多重ストリームを受信し、シングルストリームに結合し、元のビデオストリームを再現するために受信したストリームを復号する受信器を含む。

図１を参照すると、従来のＶＲＣエンコーダの簡単なブロック図が示されている。ここでは、一連のフレーム１０を有するビデオ信号が送信される。奇数フレーム１０ａと偶数フレーム１０ｂが分割され、２つの標準化コーダ１２を用いて符号化され、ネットワーク上で記述が送信される。送信中にフレーム１０が破損したり消失したりした場合、他のデータストリームや記述の周辺フレームからの補間により標準化デコーダを用いてフレーム１０は再現され得る。ここでは空間的情報が得られないので、純粋に時間的情報を用いて再現が行われる。空間的情報は得られない。さらに、信号は分割され符号化されていることから、フレーム間の時間間隔は比較的大きく、このことは符号化効率を下げる。

ＭＤＭＣ技術の実施はシステムにより良い符号化効率を与える。ここでは、非標準化コーダ／デコーダが使用されている。ＭＤＭＣを用いると、交互のフレームのための符号化された情報をそれぞれ有する２つの記述が生成され得る。符号化中に過去の奇数フレームと偶数フレームの両方をエンコーダに使用させる時間予測器が用いられる。これはネットワークの受信側でデコーダにより記述が１つだけ受信されたときに、エンコーダとデコーダとの間に不整合を作り出す。不整合送信エラーを克服するために、この不整合エラーははっきりと復号される。ＭＤＭＣでは時間フィルタのような符号化パラメータは、符号化効率と誤り耐性の間の所望のトレードオフに合わせられ得る。このように、ＭＤＭＣシステムは符号化効率と誤り耐性の間に適度な柔軟性を与える。

ＭＤＭＣ符号化の使用はＶＲＣスキームに符号化効率の利点を与えるが、ＭＤＭＣ符号化は従来の映像表示装置には存在しない非標準化コーダ／デコーダを必要とする。従って、従来の装置を用いて、効率的かつ誤り耐性のあるように、エラーの起こりやすいネットワーク上で映像情報を送信する方法の要求がある。

本発明は上述の要求を満たす。本発明の原理によれば、改良された映像信号送受信方法が提供される。ネットワークの送信器側では、プログレッシブビデオシーケンス（２０）がインタレース走査され、インタレース走査シーケンスが複数のストリームに分割される。複数のストリームはエンコーダを用いて符号化され、ストリームはネットワークの独立したチャネル上を送信される。好ましくは、シーケンスは２つの信号のストリームに分割される。ネットワークの受信器側では、２つのストリームが受信され、別々に復号される。もし送信エラーがなければ、復号したストリームは元のプログレッシブビデオシーケンス（２０）に再編される。しかし、もし送信エラーがある場合は、信号の破損したストリームを再現するために順次走査変換アルゴリズムが用いられる。

本発明自体と同様に、その構成と動作についての新規性のある特徴は、添付した説明とともに添付した図面から非常に良く理解でき、図面において同様の参照文字は同様の部分を示す。

現在ほとんどのビデオ画像はＤＶＤのようにデジタル形式になっているので、ビデオはしばしばプログレッシブ形式で格納される。図２はネットワーク上での送信のために、ＭＰＥＧ−２やＭＰＥＧ−４エンコーダのような標準化ビデオエンコーダ２２で符号化されるプログレッシブ画像Ａ，Ｂ，Ｃを有するビデオシーケンス２０を表す簡単化したブロック図を示す。

図３Ａ、図３Ｂ及び図４を参照して、本発明の原理による同じビデオシーケンス２０の送信装置及び送信方法について説明する。ビデオシーケンス２０のそれぞれのプログレッシブ画像Ａ、Ｂ及びＣは奇数及び偶数のフィールド（例えばＡｏ、Ａｅ、Ｂｏ、Ｂｅ、Ｃｏ、Ｃｅ）を有する。送信器３００では、ビデオ信号２０が順次走査変換器３０２によりインタレースされる。インタレースは画像を偶数走査線と奇数走査線に分割することによる２つの要素への垂直サブサンプリングを含む。これは図４に示すように偶数走査線のみ含む画像（以下偶数フィールドという）と奇数走査線のみ含む画像（以下奇数フィールドという）を生じさせる。ここで、元の走査線は失われてはいない、つまり上述のインタレースを行う前と後とで走査線の数の合計は同じであることに注目することは重要である。インタレース信号３０は偶数フィールド３２と奇数フィールド３４のビデオストリームに分けられる。偶数フィールドと奇数フィールドのビデオストリームが標準化ＭＰＥＧ−２／４エンコーダ３０４、３０６で別々に符号化され、符号化後それぞれ予測ベクトル及び残余を有する２つの記述を生成する。符号化された記述は独立チャネル３０８、３１０上を受信器３２０へ送信される。

受信器３２０では符号化信号の両方のストリームが標準化ＭＰＥＧ−２／４デコーダ３２２、３２４を用いて復号される。もしストリームが送信エラーなしに受信、復号された場合、復号されたストリームは元のプログレッシブビデオシーケンス２０を形成するために再編される。

しかし、もし送信中にストリームの１つが破損する又はストリーム内のフィールドが消失した場合、本発明は正しく受信された情報から破損又は消失した情報を推測する方法を与える。本発明の原理によれば、標準順次走査変換技術を用いる順次走査変換器３２６が破損又は消失した情報の推測に用いられる。一般に、順次走査変換はインタレースの逆処理とみなされる。順次走査変換はインタレースされたビデオについて垂直分解能を２倍にし、ビデオのインタレースサンプリングにより起こるサブサンプリングアーチファクトを除去することを目的ともする。順次走査変換の参考資料として、順次走査変換技術の要約及び例がG.de Haan and E.B.Bellers,“De-interlacing:an overview,”Proceedings of the IEEE,86(9):1839-1857,September 1998及びE.B.Bellers and G.de Haan,“De-interlacing:A key technology for scan rate conversion,”Elsevier Science book Advances in Image Communications,vol.9,September 2000に記載されている。現在多くの順次走査変換技術が存在し、多くの新しい順次走査変換技術が開発されている。本発明に従って用いられる特別な順次走査変換技術は“De-Interlacing Image Signals”というタイトルの共有の米国特許６，６１８，０９４にみられ、その内容を参照することによりここに全体が組み込まれる。この技術を用いて、３つの順次走査変換されたビデオ信号を得るためにビデオ信号に少なくとも３つの順次走査変換アルゴリズムが適用され、アルゴリズムの異なる大部分は特定の利点を有し、１つの時空間近接ピクセルを補間位置へコピーするアルゴリズムは無い。３つの順次走査変換信号から１つの出力信号を得るために順序統計フィルタを用いてもよい。

図５は画像の受信していないフィールドを再生するために本発明に従って順次走査変換をどのように用いるかの一例を示す。この例では、画像Ｂの奇数フィールドＢｏが送信中に消失する。良好に受信されたＢｅフィールド及び再編された画像Ａの情報に基づき順次走査変換器は消失したＢｏフィールドを再生することができる。ここで、この再生を行うことができる順次走査変換器はフィールド挿入とライン反復を本質的に切り替える垂直時間メジアンフィルタである。補間されたサンプルは前のフィールドでの垂直近接と時間近接の中間値として形成される。このように、空間的情報と時間的情報から消失したフィールドが補間される。

上述の好ましい実施形態ではビデオシーケンスを奇数及び偶数フィールドの２つのストリームに分割し、２つの独立したチャネル上で送信される２つの記述を生成していたが、他の変形物も可能である。例えば、当業者は、ビデオシーケンスは複数の多重ストリームに分割でき、他のパラメータを用いて分割できることがわかる。

本発明は多重記述符号化を用いた従来のビデオ送信方法よりも有利な点を与える。上述のように、本発明による方法は送信中に符号化フィールドが破損した場合にプログレッシブビデオを再生するために順次走査変換技術を用いる。このように、時間的情報だけでなく空間的情報も用いられ（一方、いわゆる動き適応又は動き補償の場合、例えば方向性順次走査変換器では空間的情報のみ用いられる）、それゆえ信頼性のないチャネルが使用されるときでさえビデオの高品質再生を成すことができる。さらに、従来の標準化デコーダにおける既存の後処理技術を用いて誤り隠ぺいを達成することができる。

ここで示したような多重記述符号化スキームの特定の実施例は、前述のように十分に必要性を満たし利点を与えることができるが、構成や回路の多くの変更および発明の本質及び目的を逸脱しない発明の大きく異なる実施例や応用が考えつくことがわかる。ここでの公開及び記載は単に実例であり、決して限定を意図したものではない。それどころか、発明は添付した請求の範囲により定義される発明の本質及び目的の範囲に含まれるすべての変形物、同等物及び代替物におよぶ。

従来技術のＶＲＣエンコーダの簡単化したブロック図である。 現在プログレッシブビデオ信号がネットワーク上でどのように送信されているかを示す簡単化した図である。 本発明の原理によるネットワーク上でプログレッシブビデオ信号を通信するための送信器及び受信器を示す簡単化したブロック図である。 本発明の原理によるネットワーク上でプログレッシブビデオ信号を通信するための送信器及び受信器を示す簡単化したブロック図である。 本発明の原理によるインタレースビデオ信号の説明を示すものである。 本発明の原理による消失または破損したビデオ画像の再現を示すものである。

Claims (14)

1. ビデオ信号をインタレースするステップと、
   ビデオ信号を多重ストリームに分割するステップと、
   複数のエンコーダを用いてビデオ信号のストリームを符号化するステップと、
   符号化した信号の分割ストリームをネットワークへ送信するステップ
   を含むプログレッシブビデオシーケンスを送信する方法。
2. ビデオ信号を多重ストリームに分割するステップは、ビデオ信号を奇数フィールドのストリームと偶数フィールドのストリームに分割することを含むことを特徴とする請求項１に記載の方法。
3. ネットワークから符号化した信号の分割ストリームを受信するステップと、
   複数のデコーダを用いてビデオ信号の分割ストリームを復号するステップと、
   順次走査変換器を用いてビデオ信号を順次走査変換するステップと、
   プログレッシブビデオシーケンスを形成するためにストリームを再編するステップ
   を含むプログレッシブビデオシーケンスを受信する方法。
4. プログレッシブビデオシーケンスは一連のビデオ画像を有し、順次走査変換器は１つ又は複数の近接画像に基づいて破損した画像を再生することを特徴とする請求項３に記載の方法。
5. 順次走査変換器は受信した信号からの時間情報を用いて破損した信号を再生することを特徴とする請求項４に記載の方法。
6. 順次走査変換器は受信した信号からの空間情報及び時間情報を用いて破損した信号を再生することを特徴とする請求項３に記載の方法。
7. 受信器にて符号化ストリームを受信するステップと、
   受信したビデオのストリームを復号するステップと、
   順次走査変換アルゴリズムを用いて消失したフィールドの任意の部分を再生するステップ
   を含むプログレッシブビデオを受信する改良法。
8. 順次走査変換アルゴリズムは消失したフィールドを再生するために受信したストリームからの空間的情報及び時間的情報を用いることを特徴とる請求項７に記載の方法。
9. ビデオを分割するステップはビデオを奇数フィールドのストリームと偶数フィールドのストリームに分割することを有し、前記奇数フィールドはビデオの奇数走査線を含み、前記偶数フィールドはビデオの偶数走査線を含むことを特徴とする請求項８に記載の方法。
10. ビデオシーケンスをインタレースする手段と、
    インタレースしたシーケンスを信号の多重ストリームに分割する手段と、
    信号の多重ストリームを別々に符号化する手段と、
    符号化信号の多重ストリームを独立したチャネル上で送信する手段と、
    を備えるプログレッシブビデオシーケンスをネットワークへ送信する装置。
11. 符号化信号の多重ストリームを受信する手段と、
    信号の多重ストリームを別々に復号する手段と、
    信号の復号ストリームを順次走査変換する手段と、
    復号ストリームをビデオシーケンスに再編する手段と、
    を備えるプログレッシブビデオシーケンスをネットワークから受信する装置。
12. 順次走査変換する手段は破損した信号を再生するために時間的情報を用いることを特徴とする請求項１１に記載の装置。
13. 順次走査変換する手段は受信された破損した信号からの空間的情報及び時間的情報を用いることを特徴とする請求項１１に記載の装置。
14. ネットワーク上を送信中に破損した信号を再生するために順次走査変換が行われることを特徴とする請求項１１に記載の受信器。

Images