JP2007532046A - 互換的インターレースｓｄｔｖとプログレッシブｈｄｔｖ - Google Patents

Abstract

複数のフレームで捉えられたビデオ情報の空間的スケーラブル圧縮を効率的に実行する方法と装置であって、捉えたビデオフレームを符号化して圧縮データストリームを出力するエンコーダを含むものを開示した。インターレースされたビットストリームを符号化するベースエンコーダは比較的低いピクセル解像度を有する。空間的エンハンスメントエンコーダは、ベースレイヤーからのデインターレースされたローカルデコーダ出力と入力信号との間の差を符号化する。

Description

本発明は、ビデオエンコーダ／デコーダに関し、特に、互換的インターレースＳＤＴＶとビデオエンコーダ／デコーダに使用するプログレッシブ高解像度低ビットレート符号化方法とに関する。

デジタルビデオのデータ量は本来的に大きいので、フルモーション（full-motion）かつハイデフィニション（high-definition）のデジタルビデオ信号の伝送は、ハイデフィニションテレビジョンの開発における重要な問題である。特に、各デジタル画像フレームは、特定のシステムの表示解像度に応じたピクセルアレイで形成された静止画像である。結果として、高解像度ビデオシーケンスに含まれる生のデジタル情報量は巨大である。送信しなければならないデータ量を減らすため、圧縮方法を用いてデータを圧縮する。いろいろなビデオ圧縮標準やプロセスが作られており、例えば、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３などがある。

多くのアプリケーションにおいて、１つのストリーム内でいろいろな解像度及び／または画像品質でビデオを利用することができる。これを可能とする方法は、スケーラビリティ技術と呼ばれることもある。スケーラビリティを実現するには３つの軸がある。第１の軸は時間軸上のスケーラビリティであり、時間的スケーラビリティと呼ばれることが多い。第２に、画像品質軸（量子化）上のスケーラビリティがあり、信号・雑音比（ＳＮＲ）スケーラビリティやきめ細かさ（fine-grain）スケーラビリティと呼ばれることが多い。第３の軸は解像度軸（画像中のピクセル数）であり、空間的スケーラビリティと呼ばれることが多い。階層符号化の場合、ビットストリームは２つ以上のビットストリーム、すなわちレイヤーに分割される。各レイヤーを結合して、単一の高画像品質信号を作ることができる。例えば、ベースレイヤーは画像品質が低いビデオ信号を提供するが、エンハンスメントレイヤーがそのベースレイヤー画像を画質向上（enhance）する追加的情報を提供する。

特に、空間的スケーラビリティにより、異なるビデオ標準間または機能が異なるデコーダ間で互換性を実現することができる。空間的スケーラビリティを用いると、ベースレイヤービデオの解像度は入力ビデオシーケンスの解像度よりも低くてもよい。その場合、ベースレイヤーの解像度を入力シーケンスレベルに回復する情報をエンハンスメントレイヤーにより搬送することができる。

図１は、既知の空間的スケーラブルビデオエンコーダを示す図である。図示した符号化システムは階層圧縮をし、チャネルの一部を低解像度のベースレイヤーの提供に使い、残りの部分をエッジエンハンスメント情報の送信に使用する。この２つの信号は再結合され、システムを高解像度にする。高解像度ビデオ入力をスプリッタ１０２により分割し、データをローパスフィルタ１０４と減算回路１０６に送る。ローパスフィルタ１０４はビデオデータの解像度を下げ、解像度を下げたビデオデータをベースエンコーダ１０８に入力する。一般的に、ローパスフィルタとエンコーダは本技術分野において周知であり、説明を簡単にするためここでは詳細には説明しない。エンコーダ１０８は低解像度のベースストリームを作る。このベースストリームは、放送され、受信され、デコーダを介してそのまま表示されるが、ベースストリームはハイデフィニションと考えられる解像度は提供しない。

エンコーダ１０８の出力は、システム１００内のデコーダ１１２にも入力される。復号された信号をデコーダ１１２からインターポレーション及びアップサンプル回路１１４に入力する。一般的に、インターポレーション及びアップサンプル回路１１４は、復号されたビデオストリームからフィルタで除去された解像度を再構成し、高解像度入力と同じ解像度を有するビデオデータストリームを提供する。しかし、フィルタを通すこと及び符号化・復号によって損失が生じることにより、再構成されたストリームでは情報損失が生じている。再構成された高解像度ストリームを元の手を加えていない高解像度ストリームから引くことにより、減算回路１０６で損失を判断する。減算回路１０６の出力をエンハンスメントエンコーダ１１６に入力する。このエンハンスメントエンコーダ１１６は、リーズナブルな画像品質のエンハンスメントストリームを出力する。

これらの既知の階層化圧縮方法は、プログレッシブビデオではうまく行くが、インターレースされたＳＤＴＶ標準を用いて送られたビデオではうまく行かない。ＳＤＴＶ標準は、通常、インターレースされたビデオでうまく機能する。ＨＤＴＶではインターレースとプログレッシブの２つの標準が使用されている。既知の階層化圧縮方法は、映画（例えば、ＳＤ／ＨＤ ＤＶＤ等）では機能するが、インターレースされたＳＤＴＶとＨＤＴＶでは十分な解決策とはならない。

本発明は、階層化圧縮方法にデインターレーサ（de-interlacer）とリインターレーサ（re-interlacer）とを導入することにより、他の階層化圧縮方法の欠点を解消する。

本発明の一実施形態によると、複数のフレームで捉えられたビデオ情報の空間的スケーラブル圧縮を効率的に実行する方法と装置であって、捉えたビデオフレームを符号化して圧縮データストリームを出力するエンコーダを含むものを開示する。インターレースされたビットストリームを符号化するベースエンコーダは比較的低いピクセル解像度を有する。空間的エンハンスメントエンコーダは、ベースレイヤーからのデインターレースされたローカルデコーダ出力と入力信号との間の差を符号化する。

本発明の他の実施形態によると、入力ビデオストリームを符号化する方法と装置を開示する。インターレースされたビデオストリームを入力ビデオストリームから生成する。そのインターレースされたストリーを符号化してビットストリームを作る。ベースストリームをデインターレースし、復号し、任意的にアップコンバージョンして、再構成ビデオストリームを作る。第１の残余ストリームを作るために入力ビデオストリームから再構成されたストリームを減算する。結果として得られる残余ストリームを符号化し、中間エンハンスメントストリームとして出力する。中間エンハンスメントストリームを時間的サブサンプリングして、空間的エンハンスメントストリームを作る。

本発明の上記その他の態様を、以下に説明する実施形態を参照して明らかにし、説明する。

添付した図面を参照して実施例により本発明を説明する。

図２は、本発明の一実施形態による階層化ビデオエンコーダを示すブロック図である。高解像度ビデオストリーム２０２をデインターレーサ（de-interlacer）２０４に入力する。デインターレーサ２０４は、入力ストリーム２０２をデインターレースし、単一のフレームにより構成された非インターレースのプログレッシブ信号を出力する。非インターレース信号は、次に任意的なダウンサンプリング部２０６でダウンサンプリングされる。デカップリングされたビデオストリームは、次にスプリッタ２０８により分割される。これにより、ビデオストリームは第２のローパスフィルタ／ダウンサンプリング部２１０と減算部２２２に送られる。ローパスフィルタまたはダウンサンプリング部２１０はビデオデータの解像度を下げ、解像度を下げたビデオデータをインターレーサ２１２に入力する。インターレーサ２１２は、ビデオ信号を再インターレースし、出力をベースエンコーダ２１４に入力する。ベースエンコーダ２１４は、ダウンサンプリングされたビデオストリームを既知のやり方で符号化し、ベースストリーム２１６を出力する。この実施形態においては、ベースエンコーダ２１４はローカルデコーダ出力をデインターレーサ２１８に出力する。デインターレーサ２１８は、出力信号をデインターレースし、非インターレース出力信号をアップコンバージョン部２２０に提供する。アップコンバージョン部２２０は、ローカルの復号されたビデオストリームからフィルタで除去された解像度を再構成し、高解像度入力ビデオストリームと基本的に同じ解像度フォーマットを有する再構成ビデオストリームを既知のやり方で提供する。あるいは、ベースエンコーダ２１４は、符号化した出力をアップコンバージョン部２２０に出力してもよい。別のデコーダ（図示せず）またはアップコンバージョン部２２０に備えられたデコーダのいずれかが、符号化信号をアップコンバージョンする前に、まず復号する。

アップコンバージョン部２２０からの再構成ビデオストリームと高解像度入力ビデオストリームとを減算部２２２に入力する。減算部２２２は、入力ビデオストリームから再構成ビデオストリームを減算し、残余ストリームを作る。次に、残余ストリームをエンハンスメントエンコーダ２２４で符号化し、中間エンハンスメントストリーム２２６を作る。中間エンハンスメントストリームを時間的サブサンプリング部２４２に送る。この時間的サブサンプリング部２４２は、中間エンハンスメントストリーム２２６をサブサンプリングし、空間的エンハンスメントストリーム２４４を作る。

エンコーダ２１４は、加算部２４６にもローカルデコーダ出力を供給する。この加算部２４６は、ローカルベースデコーダ出力をエンハンスメントエンコーダ２２４からのローカルエンハンスメントデコーダ出力と結合する。結合されたローカルデコーダ出力をスプリッタ２３０に供給する。このスプリッタ２３０は、結合されたローカルデコーダ出力を時間的サブサンプリング部２３２と評価部２３６に供給する。時間的サブサンプリング部２３２は、エンコーダ２１４が元のビデオ入力に実行するのと同じ時間的サブサンプリングを実行する。結果として３０Ｈｚの信号が得られる。この周波数を下げた信号を動き補償時間的インターポレーション部２３４に入力する。この動き補償時間的インターポレーション部２３４は、この実施例では自然動きエスティメータとして実施されている。動き補償時間的インターポレーション部２３４は、追加的フレームを推定することにより、３０Ｈｚから６０Ｈｚへのアップコンバージョンを実行する。動き補償時間的インターポレーション部２３４は、後でデコーダが符号化データストリームを復号するときに実行するのと同じアップコンバージョンを実行する。本発明では、いかなる動き推定方法を使ってもよい。特に、例えばフレームレートコンバージョン法で用いられているような自然または真の動き推定に基づくと、動き推定の結果がよくなる。非常にコスト効率のよい実施形態としては、例えば３次元再帰検索（３ＤＲＳ）があり、消費者向けのアプリケーションに好適である。例えば、米国特許公報第５，０７２，２９３号、第５，１４８，２６９号、及び第５，２１２，５４８号を参照せよ。３ＤＲＳを用いて推定された動きベクトルは、真の動きと一致する傾向が高く、動きベクトル場は空間的及び時間的一貫性が高くならない。このように、ベクトルの不一致が閾値に達することは頻繁ではなく、結果として、送信される残余データ量は、真でない動き推定（non-true motion
estimation）と比較して減少する。

アップコンバージョンされた信号２３５を評価部２３６に送る。上述のように、評価部は、スプリッタ２３０から結合されたローカルデコーダ出力も供給されている。評価部２３６は、動き補償された時間的インターポレーション部２３４により決定されたインターポレーションされたフレームを実際のフレームと比較する。その比較の結果、推定したフレームが実際のフレームとどこが違うかを判断する。それぞれのフレームの差を評価し、その差が一定の閾値を満たす場合、差のデータを残余データとして選択する。その閾値は、例えば、その差がどのくらい顕著であるかに関係する。このような閾値基準はそれ自体、本技術分野で知られている。この例では、残余データはメタブロックとして説明した。メタブロックである残余データストリーム２３７を、エンコーダ２３８に入力する。エンコーダ２３８は、残余ストリーム２３７を符号化し、時間的エンハンスメントストリーム２４０を作る。

図３は、本発明の一実施形態によるデコーダセクション例を示している。デコーダセクションにおいて、デコーダ３０２が既知のやり方でベースストリーム２１６を復号し、デコーダ３００が既知のやり方で空間的エンハンスメントストリーム２４４を復号する。次に、復号されたベースストリームをデインターレース部３０６でデインターレースする。デインターレースされたストリームは、任意的に、アップサンプリング部３０８でアップサンプルされる。アップサンプルされたストリームは、時間的サブサンプリング部３１０でサブサンプリングされる。サブサンプリングされたストリームは、次に、符号化された空間的エンハンスメントストリームと加算部３１２で結合される。結合された信号は、次に、動き補償時間的インターポレーション部３１４でインターポレーションされる。時間的エンハンスメントストリーム２４０は、デコーダ３０４で既知のやり方で復号される。結合部３１６は、デコーダ出力を作るため、復号された時間的エンハンスメントストリームと、インターポレーションされたストリームと、アップサンプリングされたストリームと、を結合する。

図４は、本発明の他の実施形態によるエンコーダを示す。この実施形態において、動的解像度制御をするために、図２に示したエンコーダにピクチャアナライザ４０４が加えられている。スプリッタ４０２は高解像度入力ビデオストリーム２０２を分割して、入力ビデオストリームを減算部２２２とピクチャアナライズ４０４に送る。また、アップコンバージョン部２２０からの再構成ビデオストリームもピクチャアナライザ４０４と減算部２２２に入力される。ピクチャアナライザ４０４は、入力ストリームのフレーム及び／または再構成ビデオストリームのフレームを分析し、そのビデオストリームの各フレームにおける各ピクセルまたはピクセル群のコンテンツの数値的ゲイン値を求める。数値的ゲイン値は、フレーム中のピクセルまたはピクセル群の、例えばｘ、ｙ座標で与えられたそのピクセルまたはピクセル群の位置と、フレーム番号と、ゲイン値を含んでいる。そのピクセルまたはピクセル群に多くの詳細情報が含まれている時、ゲイン値は最大値の１に近づく。同様に、そのピクセルまたはピクセル群に多くの詳細情報が含まれていない時、ゲイン値は最小値の０に近づく。以下に、ピクチャアナライザの詳細な基準の例を幾つか挙げるが、本発明はこれらの例に限定されない。最初に、ピクチャアナライザは、そのピクセルの回りのローカルスプレッドとフレーム全体の平均ピクセルスプレッドとを分析することができる。ピクチャアナライザは、エッジレベルを分析することもできる。例えば、フレーム全体の平均値でピクセルごとの絶対値を割る：
-1-1-1
-1 8-1
-1-1-1
詳細の程度が変化する場合、ゲイン値を予め定め、各ピクセルまたはピクセル群の詳細のレベルが決定したら参照できるように、ルックアップテーブルに格納する。

上述のように、再構成されたビデオストリームと高解像度入力ビデオストリームが、減算部２２２に入力される。減算部２２２は、入力ビデオストリームから再構成ビデオストリームを減算し、残余ストリームを作る。ピクチャアナライザ４０４からのゲイン値を乗算部４０６に送る。これは残余ストリームの減衰の制御に使用する。別の実施形態において、ピクチャアナライザ４０４をシステムから取り除き、所定のゲイン値を乗算器４０６に設定しておいてもよい。残余ストリームにゲインを乗算する効果は、ディテールをほとんど有さない各フレームの領域にフィルタをかけるようなものである。そのような領域では、通常、ほとんど意味のないディテールやノイズに多くのビットを費やさねばならない。しかし、ディテールがほとんどまたはまったく無い領域では０に近づくゲイン値を残余ストリームにかけることにより、エンハンスメントエンコーダ２２４で符号化する前にこれらのビットを残余ストリームから削除することができる。同様に、乗算器は、エッジ及び／またはテキストの領域では１に近づき、それらの領域だけが符号化される。通常のピクチャではビットを大幅に節約することができるという効果がある。ビットレートを節約する関係で、ビデオの画質には多少影響がでるが、特に同じビットレートで通常圧縮方法を使用した場合と比較して、これはよい妥協である。

言うまでもなく、本発明の異なる実施形態は、上で説明したステップの順序通りに限定されない。本発明の全体的な動作に影響することなく、一部のステップのタイミングを交換することができるからである。さらに、「有する」という用語は、その他の要素やステップを排除しない。「１つの」という用語は、複数の場合を排除しない。単一のプロセッサその他のユニットが請求項に記載した複数のユニットの機能を満たすこともできる。

既知の階層化ビデオエンコーダを示すブロック図である。 本発明の一実施形態による階層化ビデオエンコーダを示すブロック図である。 本発明の一実施形態による階層化ビデオデコーダを示すブロック図である。 本発明の一実施形態による階層化ビデオエンコーダを示すブロック図である。

Claims (24)

1. 複数のフレームで捉えられたビデオ情報の空間的スケーラブル圧縮を効率的に実行する、捉えたビデオフレームを符号化して圧縮されたデータストリームを出力するエンコーダを含む装置であって、
   比較的低いピクセル解像度を有するインターレースされたビットストリームを符号化するベースエンコーダと、
   中間エンハンスメントストリームを作るために、ベースレイヤーからのデインターレースされたローカルデコーダ出力と入力信号との間の差を符号化する空間的エンハンスメントエンコーダと、を有することを特徴とする装置。
2. 請求項１に記載の装置であって、
   前記デインターレースされたローカルデコーダは、前記空間的エンハンスメントエンコーダの前にアップサンプリングされることを特徴とする装置。
3. 請求項１に記載の装置であって、
   前記入力信号は、前記元のインターレースされた入力信号がデインターレースされたものであることを特徴とする装置。
4. 請求項１に記載の装置であって、
   前記入力信号は、前記元の入力信号がダウンサンプリングされたものであることを特徴とする装置。
5. 請求項４に記載の装置であって、
   前記ベースエンコーダに入力するベースストリームを生成するためにダウンサンプラを使用することを特徴とする装置。
6. 請求項５に記載の装置であって、
   リインターレーサを用いて、前記ベースエンコーダが符号化するインターレースされたベースストリームを生成することを特徴とする装置。
7. 請求項１に記載の装置であって、
   空間的エンハンスメントストリームを作るために前記中間エンハンスメントストリームをサブサンプリングする時間的サブサンプリング部をさらに有することを特徴とする装置。
8. 請求項７に記載の装置であって、
   前記ベースエンコーダ及び前記エンハンスメントエンコーダのローカルデコーダ出力を加算する手段と、
   前記結合されたローカルデコーダを時間的サブサンプリングする手段と、
   前記時間的サブサンプリングされた信号に動き補償時間的インターポレーションを適用する手段と、を有することを特徴とする装置。
9. 請求項８に記載の装置であって、
   前記ベースエンコーダの前記ローカルデコーダの出力を前記時間的にインターポレーションされた信号と比較することを特徴とする装置。
10. 請求項９に記載の装置であって、
    前記比較が所定の閾値を超えた時、一群のピクセルに対する時間的エンハンスメント信号として情報を符号化することを特徴とする装置。
11. 請求項８に記載の装置であって、
    前記動き補償時間的インターポレーションは自然動き補償であることを特徴とする装置。
12. 請求項１１に記載の装置であって、
    前記時間的インターポレーションの動き推定は、前記ベースエンコーダのローカルデコーダ信号を使用することを特徴とする装置。
13. 請求項１に記載の装置であって、
    入力信号を前記空間的エンハンスメントエンコーダに乗算する乗算部をさらに有することを特徴とする装置。
14. 請求項１３に記載の装置であって、
    前記乗算部のゲインを制御する信号アナライザをさらに有することを特徴とする装置。
15. 入力ビデオストリームを符号化する階層化エンコーダであって、
    前記入力ビデオストリームからインターレースされたベース信号を生成するインターレーサ部と、
    低いピクセルレートを有する前記インターレースされたベースストリームを符号化するベースエンコーダと、
    前記ベースエンコーダからのローカルデコーダ出力をデインターレースするデインターレーサと、
    残余信号を作るために、前記入力ビデオストリームから前記デインターレースされたストリームを減算する減算部と、
    前記残余信号を符号化して中間エンハンスメントストリームを出力するエンハンスメントエンコーダと、を有することを特徴とする階層化エンコーダ。
16. 請求項１５に記載の階層化エンコーダであって、
    前記中間エンハンスメントストリームをサンプリングし、空間的エンハンスメントストリームを出力する時間的サブサンプリング部をさらに有することを特徴とする階層化エンコーダ。
17. 請求項１６に記載の階層化エンコーダであって、
    前記ベースエンコーダと前記エンハンスメントエンコーダの結合されたローカルデコーダ出力を時間的サブサンプリングする時間的サブサンプラと、
    前記時間的サブサンプラにより出力された信号に対して動き推定を実行する動き補償時間的インターポレーション部と、
    前記動き補償された時間的インターポレーション部からのインターポレーションされたフレームを前記ローカルベースデコーダからの実際のフレームと比較し、前記比較の結果が所定の閾値を超えたとき、データを時間的残余ストリームとして選択する評価部と、
    時間的エンハンスメントストリームを作るために、前記残余ストリームを符号化する時間的エンコーダと、をさらに有することを特徴とする階層化エンコーダ。
18. 請求項１７に記載の階層化エンコーダであって、
    前記時間的エンコーダは、前記エンハンスメントエンコーダの情報をミュート（mute）することにより実現されることを特徴とする階層化エンコーダ。
19. 入力ビデオストリームを符号化する方法であって、
    ベースストリームを生成するために前記インターレースされたビデオストリームを符号化する前記入力ビデオストリームからインターレースされたビデオストリームを生成するステップと、
    ベースエンコーダからのローカルデコーダ出力をデインターレースするステップと、
    第１の残余ストリームを作るために前記入力ビデオストリームから前記デインターレースされたストリームを減算するステップと、
    結果として得られる前記残余ストリームを符号化して空間的エンハンスメントストリームを出力するステップと、を有することを特徴とする方法。
20. 請求項１９に記載の方法であって、
    空間的エンハンスメントストリームを作るために前記中間エンハンスメントストリームをサブサンプリングする時間的サブサンプリングをするステップをさらに有することを特徴とする方法。
21. 請求項２０に記載の方法であって、
    前記ベースエンコーダと前記エンハンスメントエンコーダの結合されたローカルデコーダ出力の時間的サブサンプリングを実行するステップと、
    時間的サブサンプラにより出力された信号に動き推定を実行するステップと、
    動き補償された時間的インターポレーション部からのインターポレーションされたフレームを前記ローカルベースデコーダからの実際のフレームと比較するステップと、
    前記比較の結果が所定の閾値を超えたとき、データを時間的残余ストリームとして選択するステップと、
    時間的エンハンスメントストリームを作るため前記時間的残余ストリームを符号化するステップと、を有することを特徴とする方法。
22. デコーダであって、
    空間的エンハンスメントストリームを復号する第１のデコーダと、
    ベースストリームを復号する第２のデコーダと、
    前記復号されたベースストリームをデインターレースするデインターレーサと、
    前記復号されデインターレースされたベースストリームと前記復号された空間的エンハンスメントストリームを加える加算部と、
23. 請求項２２に記載のデコーダであって、
    前記加算部の前に前記デインターレースされたストリームをアップサンプリングするアップサンプリング部をさらに有することを特徴とするデコーダ。
24. 請求項２２に記載のデコーダであって、
    前記デインターレースされたベースストリームを時間的サブサンプリングする時間的サブサンプリング部と、
    前記加算部からの出力をインターポレーションする動き補償時間的インターポレーション部と、
    時間的エンハンスメントストリームを復号する第３のデコーダと、
    デコーダ出力を作るため前記アップサンプリングされたストリームと、前記インターポレーションされたストリームと、前記復号された時間的エンハンスメントストリームを結合する結合部と、を有することを特徴とするデコーダ。

Images