JP2005507590A - 空間拡張可能圧縮 - Google Patents

Abstract

複数のフレームで取得された映像情報の空間拡張可能圧縮を実行する装置と方法が開示される。基本レイヤのエンコーダーは第１のコード化規格を用いて、ビットストリームをエンコードする。上位レイヤのエンコーダーは第２のコード化規格を用いて、残差の信号をエンコードし、前記残差の信号は、元のフレームと基本レイヤからのアップスケールされたフレームとの差である。

Description

【技術分野】
【０００１】
本発明はビデオエンコーダー／デコーダーに関するものである。
【背景技術】
【０００２】
デジタル映像に固有の大量のデータのため、フルモーションの高画質のデジタル映像信号の送信は、高画質テレビの開発において有意な問題である。特に、各デジタル画像フレームは、特定のシステムの表示解像度による画素の配列から構成された静止画像である。結果として、高解像度の映像シーケンスに含まれる未処理のデジタル情報量は大量になる。送信しなければならないデータ量を削減するために、圧縮の機構がデータを圧縮するために用いられる。MPEG-2とMPEG-4とH.263とを含む多様な映像圧縮規格又は処理が確立されている。
【０００３】
１つのストリームにおいて映像が多様な解像度及び／又は品質で利用可能な、多数のアプリケーションが可能にされている。これを達成する方法は、大まかに拡張性の技術と称される。拡張性を実施し得る３つの軸が存在する。第１のものは時間軸の拡張性であり、しばしば時間拡張性と称される。第２に、品質軸（量子化）の拡張性が存在し、しばしば信号対雑音（SNR）拡張性又は細粒拡張性と称される。第３軸は解像度の軸（画像における画素の数）であり、空間拡張性と称される。階層化コーディングにおいて、ビットストリームは、２つ以上のビットストリーム又はレイヤに分割される。各レイヤが組み合わせられ、単一の高品質の信号を構成し得る。例えば、基本レイヤが低品質の映像信号を提供する場合があり、上位レイヤが基本レイヤの画像を拡張し得る追加情報を提供する。
【０００４】
特に、空間拡張性は、異なる映像規格又はデコーダーの性能の間で互換性を提供し得る。空間拡張性で、基本レイヤの映像は入力映像シーケンスより低い解像度を有する場合があり、その場合、上位レイヤが基本レイヤの解像度を入力シーケンスのレベルに復元し得る情報を運ぶ。
【０００５】
図１は既知の空間拡張可能ビデオエンコーダー100を示したものである。描かれたエンコードシステム100は階層化圧縮を達成し、それによってチャネルの一部が低解像度の基本レイヤを提供するために用いられ、残りの部分が拡張情報を送信するために用いられ、それによって、２つの信号が再結合され、システムを高解像度にし得る。高解像度の映像入力Hi-Resはスプリッタ102によって分割され、それによってデータが低域通過フィルタ104と減算回路106に送信される。低域通過フィルタ104は映像データの解像度を削減し、それが基本エンコーダー108に供給される。一般的に低域通過フィルタとエンコーダーは技術的に周知であり、簡潔のため、ここで詳細に説明されない。エンコーダー108は放送され、受信され、デコーダーを介して現状のまま表示され得る低解像度の基本ストリームを作るが、基本ストリームは高画質と考えられる解像度を提供しない。
【０００６】
エンコーダー108の出力はまた、システム100内でデコーダー112に供給される。そこから、デコードされた信号が補間及びアップサンプル（upsample）回路114に供給される。一般的に、補間及びアップサンプル（upsample）回路114は、デコードされた映像ストリームからフィルタリングされた解像度を再構成し、高解像度の入力と同じ解像度を有する映像データストリームを作る。しかし、エンコードとデコードから生じるフィルタリングと損失のため、再構成されたストリームに情報の損失が存在する。元の変更されていない高解像度のストリームから再構成された高解像度のストリームを差し引くことによって、損失が減算回路106で判断される。減算回路106の出力は、適度な品質の上位ストリームを出力する上位エンコーダー116に供給される。
【発明の開示】
【課題を解決するための手段】
【０００７】
前記階層化圧縮の機構は非常にうまく作動するように作られ得るが、前記機構は、上位レイヤが高いビットレートを必要とする問題を有する。通常は、上位レイヤのビットレートは基本レイヤのビットレートと同じ又はそれより高い。しかし、高品質の映像信号を保存又は放送する欲求が、一般の圧縮規格によって通常に配信され得るものより低いビットレートを要求する。このことは、記録／再生時間が小さくなり過ぎるため、又は必要な帯域が大きくなりすぎるため、既存の標準画質のシステムに高画質を導入することを困難にする。従って、上位レイヤのビットレートを削減する更に効率的な空間拡張可能圧縮の機構の必要性が存在する。本発明は、基本エンコーダーと上位エンコーダーで異なるコード化規格を用いることによって、他の既知の階層化圧縮の機構の少なくとも一部の欠点を克服する。
【０００８】
本発明の１つの実施例によると、複数のフレームで取得された映像情報の空間拡張可能圧縮を実行する装置と方法が開示される。基本レイヤのエンコーダーはビットストリームをエンコードする第１のコード化規格を用いる。上位レイヤのエンコーダーは残差の信号をエンコードする第２のコード化規格を用い、前記残差の信号は、元のフレームと基本レイヤからのアップスケールされたフレームとの差である。上位のコーダーへの入力が、通常の映像入力信号の信号レベルの範囲を備えた信号に変更されることが好ましい。前記の変更は、好ましくは上位のコーダーの入力の画素の値が所定の入力範囲の中間に移動されるように、DCオフセットを加えることによって実行され得る。
【０００９】
本発明の他の実施例によると、映像ストリームの空間拡張可能圧縮を提供する方法と装置が開示される。映像ストリームはダウンサンプル（downsample）され、映像ストリームの解像度を削減する。ダウンサンプル（downsample）された映像ストリームは第１のコード化規格を用いてエンコードされ、基本ストリームを作る。基本ストリームはデコードされてアップコンバートされ、再構成された映像ストリームを作る。再構成された映像ストリームは前記映像ストリームから差し引かれ、残差ストリームを作る。残差ストリームは第２のコード化規格を用いてエンコードされ、上位ストリームを出力する。
【００１０】
本発明の他の実施例によると、基本ストリームと上位ストリームで受信された圧縮された映像情報をデコードする方法と装置が開示される。基本ストリームは第１のコード化規格を用いてデコードされる。デコードされた基本ストリームはアップコンバートされ、デコードされた基本ストリームの解像度を増加させる。上位ストリームは第２のコード化規格を用いてデコードされる。デコードされた上位ストリームとアップコンバートされたデコードされた基本ストリームが組み合わされ、映像出力を作る。
【００１１】
本発明の前記の及び他の形態が、後述の実施例から明らかになり、それを参照して説明される。
【発明を実施するための最良の形態】
【００１２】
本発明の１つの実施例によると、基本レイヤの第１のコード化規格と上位レイヤの第２のコード化規格とを用いることにより、空間拡張可能圧縮が階層化エンコーダーで達成される。図２は、本発明を実施するために用いられ得る階層化エンコーダー200を示したものである。他の階層化エンコーダーもまた、本発明を実施するために用いられ得ることが当業者にわかり、本発明はそれに限定されない。
【００１３】
描かれたエンコードシステム200は階層化圧縮を達成し、それによってチャネルの一部が低解像度の基本レイヤを提供するために用いられ、残りの部分が輪郭強調情報を送信するために用いられ、それによって２つの信号が再結合され、システムを高解像度にし得る。高解像度の映像入力Hi-Resは、スプリッタ202によって分割され、それによってデータが低域通過フィルタ204と減算回路206に送信される。低域通過フィルタ204は映像データの解像度を削減し、それが基本エンコーダー208に供給される。一般的に低域通過フィルタと得コーダーは技術的に周知であり、簡潔のため、ここでは詳細に説明されない。エンコーダー208は第１のコード化規格を用いて、放送され、受信され、デコーダーを介して現状のまま表示され得る低解像度の基本ストリームBSを作るが、基本ストリームは高画質と考えられる解像度を提供しない。第１のコード化規格は、MPEG-2やMPEG-4やH263やH26L等のような何らかの映像圧縮の機構である可能性があるが、本発明はそれに限定されない。
【００１４】
エンコーダー208の出力はまた、システム200内でデコーダー212に供給される。そこから、デコードされた信号が補間及びアップサンプル（upsample）回路214に供給される。一般的に、補間及びアップサンプル（upsample）回路214は、デコードされた映像ストリームからフィルタリングされた解像度を再構成し、高解像度の入力と同じ解像度を有する映像データストリームを作る。しかし、エンコードとデコードから生じるフィルタリングと損失のため、再構成されたストリームに情報の損失が存在する。元の変更されていない高解像度のストリームから再構成された高解像度のストリームを差し引き、残差の信号を作ることによって、損失が減算回路206で判断される。減算回路206の出力は、上位エンコーダー216に供給される。上位エンコーダーは第１のコード化規格と異なる第２のコード化規格を用いて、残差の信号をエンコードし、適度な品質の上位ストリームESを出力する。第２のコード化規格は、MPEG-1やMPEG-2やMPEG-4やH263やH26LやH264や独自の映像コード化方法等のような何らかの映像圧縮の機構である可能性があるが、本発明はそれに限定されない。この実施例は、第１のコード化規格と互換性のある基本ストリームと、第２の規格、例えば有利な新しい規格と互換性のある上位ストリームとを提供する可能性を提示する。MPEGエンコーダーが基本レイヤに使われ、H26Lエンコーダーが上位レイヤに使われる特定の例において、少なくとも２の因数が上位ストリームのビットレートで得られ得る。
【００１５】
図３は、階層化エンコーダー200によって作られたエンコードされた信号をデコードするデコーダー300を示したものである。基本ストリームは第１のコード化規格を用いてデコーダー302でデコードされる。デコーダー302の出力はSDTV出力である。上位ストリームは第２のコード化規格を用いてデコーダー304でデコードされる。デコーダーの出力は、加算部308においてアップコンバート部306でアップコンバートされたデコードされた基本ストリームと組み合わせられる。加算部308の出力はHDTV出力である。
【００１６】
本発明の他の実施例によると、異なる量子化の機構もまた、基本エンコーダーと上位エンコーダーで用いられ得る。図４は、基本エンコーダーと上位エンコーダーの双方で用いられ得るエンコーダー400の部分を描いたものである。エンコーダー400は、他の特徴の中でも、DCT回路402と量子化装置404と可変長エンコーダー406とを有する。DCT回路は、量子化装置404に供給されるDCT係数を得るために、入力信号でDCT処理を実行する。量子化装置404は、フィードバックとして受信されたバッファ（図示なし）のデータ保存量に応じて、量子化ステップ（量子化の大きさ）を設定し、その量子化ステップを用いてDCT回路402からのDCT係数を量子化する。量子化されたDCT係数は、設定された量子化ステップとともにVLC部406に供給される。本発明の１つの実施例によると、第１の量子化の機構が基本エンコーダーの量子化装置で用いられ、第１の量子化の機構と異なる第２の量子化の機構が上位エンコーダーの量子化装置で用いられる。例えば（フレームのマクロブロックで非画一的な）適応的な量子化の機構が（MPEG-2エンコードを用いる）基本エンコーダーで用いられ、（１つのフレームのマクロブロックで）画一的な量子化の機構が（H26Lエンコードを用いる）上位エンコーダーで用いられる。
【００１７】
本発明の前述の実施例は、第１のレイヤがSD基本レイヤであり、第１と第２を合わせたレイヤがHDシーケンスを構成する二層DVDに適用され得る。この方法はまた、上位レイヤでSD-DVB信号を拡張することで、ヨーロッパ及び中国でHD放送を次第に導入するために用いられ得る。この方法はまた、弾力的な記憶装置のディスクに階層化されたプログラムを保存するために適用され得る。
【００１８】
本発明の異なる実施例は前述のステップの正確な順番に限定されず、本発明の全体の動作に影響を与えることなく、いくつかのステップのタイミングが交換され得ることがわかる。更に、“有する”という言葉は、他の要素又はステップを除外するものではなく、“１つ”という言葉は複数を除外するものではなく、単一のプロセッサ又は他のユニットが請求項に記載のいくつかのユニット又は回路の機能を実行し得る。
【図面の簡単な説明】
【００１９】
【図１】既知の階層化ビデオエンコーダーを表したブロック図である。
【図２】本発明の１つの実施例による階層化ビデオエンコーダーのブロック図である。
【図３】本発明の１つの実施例による階層化ビデオデコーダーのブロック図である。
【図４】本発明の１つの実施例によるエンコーダーの部分のブロック図である。

Claims (15)

1. 複数のフレームで取得された映像情報の空間拡張可能圧縮を実行する装置であって、
   第１のコード化規格を用いてビットストリームをエンコードする基本レイヤのエンコーダーと、
   第２のコード化規格を用いて残差の信号をエンコードする上位レイヤのエンコーダーとを有し、
   前記残差の信号が前記元のフレームと前記基本レイヤからのアップスケールされたフレームとの差である装置。
2. 請求項１に記載の映像情報の空間拡張可能圧縮を実行する装置であって、
   第１と第２のコード化規格が映像圧縮規格である装置。
3. 請求項１に記載の映像情報の空間拡張可能圧縮を実行する装置であって、
   前記第１と第２のコード化規格が、MPEG-1、MPEG-2、MPEG-4、H.263、H26L、H264及び映像コード化方法を有するグループから選択される装置。
4. 請求項１に記載の映像情報の空間拡張可能圧縮を実行する装置であって、
   第１の量子化の機構が前記基本エンコーダーで用いられ、第２の量子化の機構が前記上位エンコーダーで用いられる装置。
5. 請求項４に記載の映像情報の空間拡張可能圧縮を実行する装置であって、
   前記第１の量子化の機構が適応的な量子化である装置。
6. 請求項５に記載の映像情報の空間拡張可能圧縮を実行する装置であって、
   前記第２の量子化の機構が画一的な量子化である装置。
7. 映像ストリームをエンコードする階層化エンコーダーであって、
   前記映像ストリームの解像度を削減するダウンサンプル（downsample）部と、
   第１のコード化規格を用いて、より低い解像度の基本ストリームをエンコードする基本エンコーダーと、
   デコードして前記基本ストリームの解像度を増加させ、再構成された映像ストリームを作るアップコンバート部と、
   前記元の映像ストリームから前記再構成された映像ストリームを差し引き、残差の信号を作る減算部と、
   第２のコード化規格を用いて前記減算部からの前記残差の信号をエンコードし、上位ストリームを出力する上位エンコーダーと
   を有する階層化エンコーダー。
8. 請求項７に記載の階層化エンコーダーであって、
   第１と第２のコード化規格が映像圧縮規格である階層化エンコーダー。
9. 請求項７に記載の階層化エンコーダーであって、
   前記第１と第２のコード化規格が、MPEG-1、MPEG-2、MPEG-4、H.263、H26L、H264及び映像コード化方法を有するグループから選択される階層化エンコーダー。
10. 請求項７に記載の階層化エンコーダーであって、
    第１の量子化の機構が前記基本エンコーダーで用いられ、第２の量子化の機構が前記上位エンコーダーで用いられる階層化エンコーダー。
11. 請求項１０に記載の階層化エンコーダーであって、
    前記第１の量子化の機構が適応的な量子化である階層化エンコーダー。
12. 請求項１１に記載の階層化エンコーダーであって、
    前記第２の量子化の機構が画一的な量子化である階層化エンコーダー。
13. 圧縮された映像情報をデコードするデコーダーであって、
    第１のコード化規格を用いて受信された基本ストリームをデコードする基本ストリームのデコーダーと、
    前記デコードされた基本ストリームの解像度を増加させるアップコンバート部と、
    第２のコード化規格を用いて受信された上位ストリームをデコードする上位ストリームのデコーダーと、
    前記アップコンバートされたデコードされた基本ストリームと前記デコードされた上位ストリームとを組み合わせ、映像出力を作る加算部と
    を有するデコーダー。
14. 映像ストリームの空間拡張可能圧縮を提供する方法であって、
    前記映像ストリームをダウンサンプル（downsample）し、前記映像ストリームの解像度を削減するステップと、
    第１のコード化規格を用いて前記ダウンサンプル（downsample）された映像ストリームをエンコードし、基本ストリームを作るステップと、
    前記基本ストリームをデコードしてアップコンバートして、再構成された映像ストリームを作るステップと、
    前記映像ストリームから前記再構成された映像ストリームを差し引き、残差ストリームを作るステップと、
    第２のコード化規格を用いて前記残差ストリームをエンコードし、上位ストリームを出力するステップと
    を有する方法。
15. 基本ストリームと上位ストリームで受信された圧縮された映像情報をデコードする方法であって、
    第１のコード化規格を用いて前記基本ストリームをデコードするステップと、
    前記デコードされた基本ストリームをアップコンバートし、前記デコードされた基本ストリームの解像度を増加させるステップと、
    第２のコード化規格を用いて前記上位ストリームをデコードするステップと、
    前記デコードされた上位ストリームと前記アップコンバートされたデコードされた基本ストリームを組み合わせ、映像出力を作るステップと
    を有する方法。

Images