JP2005513928A

JP2005513928A - ファイン・グレイン映像符号化に関する計算量スケーラビリティ（ｆｇｓ）

Info

Publication number: JP2005513928A
Application number: JP2003555817A
Authority: JP
Inventors: チェン，リチャード; ダーシャール，ミハエラヴァン
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2001-12-21
Filing date: 2002-12-09
Publication date: 2005-05-12
Also published as: US20030118097A1; AU2002353311A1; EP1459560A1; WO2003055227A1; CN1310518C; KR20040068972A; CN1623332A

Abstract

階層映像符号化フレームワークにおいて計算量スケーラビリティを実現する符号器及び復号器システム。階層映像符号器は：映像信号を受信して基本階層ストリームを出力する基本階層符号器；及び離散コサイン変換（DCT）モジュール及びDCTモジュールの１つを選定する選定システムを有する拡張階層符号器；を有する。階層映像復号化システムは：基本階層映像ストリームを受信して復号化する基本階層復号器；及び拡張階層映像ストリーム並びに復号化基本階層ストリームを受信して復号化拡張映像出力を生成する拡張階層復号器；を有し、拡張階層復号器は：複数の逆離散コサイン変換（IDCT）モジュール；及びIDCTモジュールの１つを選定する選定システム；を有する。

Description

本発明は、一般に、映像符号器及び復号器システムにおける計算量スケーラビリティの実現、特に、ファイン・グレイン・スケーラビリティ（FGS）技術のような、階層映像符号化フレームワークを実施する符号器及び復号器における拡張階層処理において計算量スケーラビリティを実現するシステム及び方法、に関するものである。

MPEG（動画像符号化専門家グループ）-2、MPEG-4などのような映像符号化システムにおいて、離散コサイン変換（DCT）及び逆離散コサイン変換（IDCT）演算は符号化品質にとって重要なものである。あいにく、これらの演算によって、映像データの符号化及び復号化に対する有意の計算量及び費用が付加される。計算費用は結果として有線又は無線網上で使用されるリアル・タイム映像圧縮/伝送アプリケーションに対して有意の制約をもたらす。

動き予測ベースの映像フレームワーク（すなわち、MPEG）においては、符号器の動き予測ループにおいて１つの前方DCT及び１つのIDCTが組み込まれている。上記のように、DCTの精度は、IEEE（米国電気電子学会）1180-1190に標準化されていて、符号化効率に重要なものになっている。復号器側では、IDCTは復号化品質を維持するよう同様な精度を有していなければならない。DCTの精度とIDCTの精度との間の如何なる不整合も、全体の映像品質の有意の劣化を結果として生じるドリフトをもたらすことになる。

これらの精度要件を前提として、符号器及び復号器システム各々のシステムの計算要件を満たすようDCT及びIDCT演算をスケールすることを可能にする該システム各々を設けることは困難であった。しかしながら、MPEG4におけるファイン・グレイン・スケーラビリティ（FGS）符号化プロフィールのような、階層映像符号化フレームワークにおいては、映像シーケンスは２つのビット・ストリーム：基本階層（BL）映像ストリーム；及び拡張階層（EL）映像ストリーム；に符号化される。FGSにおいては、BLのみが動き予測符号化手順を使用する非スケーラブル符号化手順を用いて符号化される。ビット・プレーン符号化を用いてDCT領域における元及びBL信号間の差異を符号化するELは動き予測符号化を用いない。したがって、階層映像符号化システムにおいてDCT及びIDCT演算をスケールする機会が存在する。

本発明は上記及び他の課題に、多倍長DCT/IDCTを有する計算量スケーラブル拡張階層処理を設けることによって、対応する。第１の特徴においては、本発明は：映像信号を受信して基本階層ストリームを出力する基本階層符号器；及び、複数の離散コサイン変換（DCT）モジュール；並びにDCTモジュールの１つを選定する選定システムを有する、拡張階層符号器；を有する階層映像符号化システムを設ける。

第２の特徴においては、本発明は階層映像信号を符号化する、記録可能媒体上に記憶された、プログラム・プロダクトを設け、該プログラム・プロダクトは：映像信号を受信して符号化基本階層ストリームを出力する手段；及び拡張階層符号化手段；を有し、該拡張階層符号化手段は複数の離散コサイン変換（DCT）モジュール及び該DCTモジュールの１つを選定する選定手段を有する。

第３の特徴においては、本発明は：基本階層符号化システムにおいて映像信号を受信する工程；符号化基本階層ストリームを出力する工程；基本階層符号化システムからのデータを拡張階層符号化システムに受信する工程；複数の離散コサイン変換（DCT）モジュールを拡張階層符号化システムにおいて設ける工程；複数のDCTモジュールの１つを選定する工程；及び選定DCTモジュールを用いて符号化拡張階層ストリームを生成する工程；を有する、階層方法において映像信号を符号化する、方法を設ける。

第４の特徴においては、本発明は：基本階層映像ストリームを受信して復号化する基本階層復号器；及び拡張階層映像ストリームを受信して復号化拡張映像出力を生成する拡張階層復号器；を有する階層映像復号化システムを設け、該拡張階層復号器は：複数の逆離散コサイン変換（IDCT）モジュール；及び該IDCTモジュールの1つを選定する選定システム；を有する。

第５の特徴においては、本発明は：基本階層映像ストリームを受信して復号化する手段；及び、複数の逆離散コサイン変換（IDCT）モジュール；並びに該IDCTモジュールの１つを選定する手段；を有する、拡張階層映像ストリームを受信して復号化拡張映像出力を生成する手段；を有する、階層映像ストリームを復号化する、記録可能媒体上に記憶された、プログラム・プロダクトを設ける。

第６の特徴においては、本発明は：符号化基本階層ストリームを基本階層復号器に受信する工程；符号化基本階層ストリームを復号化して復号化基本階層ストリームを生成する工程；複数の逆離散コサイン変換（IDCT）モジュールを有する拡張階層復号器を設ける工程；符号化拡張階層ストリームを拡張階層復号器に受信する工程；複数のIDCTモジュールの１つを選定する工程；及び選定IDCTモジュールを用いて符号化拡張階層を復号化する工程；を有する、階層映像ストリームを復号化する方法を設ける。

本発明のこれら及び他の特徴は、本発明の種々の特徴の以下の詳細説明、更には、添付図面、から更に容易にわかるものである。

本説明の目的で、以下の実施例をSNR（信号対雑音比）―FGS MPEG−４映像符号化フレームワークによって説明する。しかしながら、本発明は、拡張階層が動き予測ループを有しない如何なる階層映像符号化フレームワークにも形成し得ることがわかる。例としてはMJPEG（モーションJペグ）、更にはほとんどのSNRスケーラブルなフレームワーク、を有する。SNR−FGSシステムの原理及び概念は当業者にはわかるものであることが想定されるので、そのような詳細は本明細書及び特許請求の範囲においては説明しないものとする。

次に図面によれば、図１は従来技術のFGS符号器１０の図である。FGS符号器１０は基本階層符号器１４及び拡張階層符号器１２を有する。基本階層符号器１４は映像入力２０を受信して基本階層（BL）ストリーム２２を出力する。拡張階層符号器１２はDCT16及びビット・プレーンDCT走査並びにエントロピ符号化システム１８を用いて拡張階層（EL）ストリーム２４を生成する。拡張階層符号器１２は基本階層符号器の、IDCT11及び、映像入力２０と動き補償１５との間の差異を算定する加算器１３を有する、種々の構成部分からデータを受信する。

次に図２によって、改良FGS符号器を示す。上記と同様なBL符号器１４を有し得る、改良符号器は複数の可変精度を有するDCT３０（すなわち、多倍長DCT）を拡張階層符号器３２に有する。更に、EL符号器３２は、例えば、符号器の瞬間計算リソースに関する情報、に基づいて適切なDCTを選択する意思決定メカニズムを有するDCT選定システム３４を有する。一般に、DCT精度が大きいほど、拡張階層を符号化するのに必要な計算リソースは多くなる。適切なDCTを選定することは符号化ビット・レート、利用可能帯域、所望品質（すなわち、SNR）、復号器処理能力、などを有する如何なる基準にも基づき得る。

拡張階層符号化において選定可能DCTを有することが有用であり得るシステムの例として以下のものがある。符号器が電話線を用いてユーザ・グループに同報通信する場合、最大利用可能帯域は事前にわかっている。したがって、最大帯域を超えるレートで拡張階層を送信するのは不経済である。この場合、拡張階層を符号化するのに基本階層において用いたのと同様な高精度DCTを用いるのは、利用可能帯域を満たすのにビット・プレーンが有意に打ち切られるので、無駄なことである。したがって、この場合、低精度DCTを、歪みを更にもたらすことなく低計算量を実現するのに、用い得る。更に、低精度DCTを用いることによって、送信サイトでの符号化及び受信サイトでの復号化の両方を、更に高いフレーム・レートを実現するよう、更に速く実行し得る。

次に、図３によって、ELストリーム５２及びBLストリーム５４を受信して、拡張映像４８（、更には、オプションのBL映像出力５０、）を出力する、従来技術の、FGS復号器を示す。該従来技術のFGS復号器はBL復号器４２及びEL復号器４０を有する。EL復号器４０はFGSビット・プレーンVLD４４、IDCT４６、及び、IDCT４６及びBL映像出力５０の出力を加算する加算器４７を有する。

図４は本発明による新規のFGS復号器を表す。該新規の復号器は、上記と同様なBL復号器４２を含み得、EL復号器６０において複数の可変精度のIDCT68（すなわち、多倍長IDCT）を有し、如何なる適切な基準にも基づいても適切なIDCTを選定する意思決定メカニズムを有するIDCT選定システム６４を更に有する。そのような基準は利用可能計算リソース、品質要件、フレーム・レート選好、好適ビット・レート、通信帯域などを有し得る。したがって、符号器が高品質拡張階層を送信する場合も、本復号器は復号器に示された制約に基づいて低精度IDCTを用いる自由がある。

したがって、ユーザが携帯デバイスを用いて送信サイトでの人物の映像を見る場合を検討する。そのようなデバイスの計算能力は一般に、限定されたものであることを想定し得る。しかしながら、画面が比較的小さいので、高品質映像は必要ないかもしれない。更に、この類のアプリケーションでは、ジッタを回避するよう高フレーム・レートが一般に好適である。したがって、この場合、携帯デバイス上の復号器は、計算量を削減して高フレーム・レートを実現するのに、拡張階層を打ち切って該打ち切り拡張階層を復号化するよう低精度IDCTを用いることが可能である。

ビデオ会議においては、ビデオ・デバイスは、両者が映像信号を受信し得るよう、同時に符号化及び復号化を行わなければならない。符号器の計算量は通常、復号器のものよりも数倍高いので、復号器が利用可能な計算リソースは有意に削減され得、計算量のグレースフル・ダウンスケーリングが大変必要なものになる。低精度IDCTを用いることによって、グレースフル・ダウンスケーリングを実現し得る。

図５によって、IDCT68の例示群(IDCT1乃至IDCT4)のレート歪み特性と計算量との関係を表すグラフである。

階層映像符号化フレームワークにおいては、基本階層は一般に非常に低いビット・レートで符号化される。そういうものとして、基礎階層において高精度DCT又はIDCTを用いることによって有意なリソースを費やすことはないが、それは、そのような低いビット・レートでは、DCTブロックのほとんどが量子化後、ゼロ係数を有するからである。これによってドリフト（すなわち、歪みの蓄積）を防ぎ、したがって、符号化品質を防護する。したがって、最も集約的な変換ベースの計算は、特にSNR-FGSシステムの場合、拡張階層に任される。したがって、拡張階層におけるDCT及び/又はIDCTの精度を低減することによって、ドリフトをもたらすことなく計算量を低減し、品質のグレースフル・デグラデーションを実現し得る。

本明細書及び特許請求の範囲において記載したシステム、機能、メカニズム、方法、及びモジュールはハードウェア、ソフトウェア、又はハードウェアとソフトウェアとの組み合わせで実施し得る。それらは本明細書及び特許請求の範囲において記載した方法を実施するよう形成された如何なる類のコンピュータ・システム又は他の装置によっても実施し得る。ハードウェアとソフトウェアとの典型的な組み合わせは、コンピュータ・プログラムのある汎用コンピュータ・システムで、ロード及び実行時に、本明細書及び特許請求の範囲に記載した方法を実施するようにコンピュータ・システムを制御するものであってもでもよい。その代わりに、本発明の機能的タスクの１つ以上を実施する専用ハードウェアを有する特定用途向コンピュータを用いてもよい。本発明は更に、本明細書及び特許請求の範囲において記載した方法及び機能の実施を可能にする全ての特徴を有するコンピュータ・プログラム・プロダクトに組み入れ、該コンピュータ・プログラム・プロダクトがコンピュータ・システムにロードされた場合にこれらの方法及び機能を実施することができるものであってもよい。本明細書及び特許請求の範囲におけるコンピュータ・プログラム、ソフトウェア・プログラム、プログラム、プログラム・プロダクト、又はソフトウェアは情報処理能力を有するシステムに、直接又は以下の：
(a)別の言語、符号又は表記への変換；及び/又は
(b)異なる材料形態における再生；
の何れか若しくは両方の後に特定の機能を行わせるよう企図された命令群の如何なる言語、記号又は表記による、如何なる表現をも指すものである。

本発明の好適実施例の上記の説明は例示及び説明の目的で示したものである。それらは網羅的であることを企図したものでなく、まさにこの開示された形態に本発明を限定することを企図したものでもなく、明らかに、上記の教示に鑑みて多くの修正及び変形が考えられる。当業者に明らかなそのような修正及び変形は本特許請求の範囲によって規定されたような本発明の範囲内におさまるよう企図されているものである。

公知のFGS符号器の図である。本発明の実施例による、多倍長DCTを有するFGS符号器の図である。公知のFGS復号器の図である。本発明の実施例による、多倍長IDCTを有するFGS復号器の図である。レート歪み特性を計算量に対して表すグラフである。

Claims

階層映像符号化システムであって：
映像信号を受信して基本階層ストリームを出力する基本階層符号器；及び
複数の離散コサイン変換モジュール（DCTモジュール）及び該DCTモジュールの１つを選定する選定システムを有する拡張階層符号器；
を有することを特徴とする階層映像符号化システム。
請求項１記載の階層映像符号化システムであって、前記複数のDCTモジュール各々が異なる精度を有することを特徴とする階層映像符号化システム。
請求項１記載の階層映像符号化システムであって、前記選定システムは以下の一覧：
計算リソースの利用可能レベル；
符号化ビット・レート；
所要品質レベル；
復号器処理能力；及び
帯域の利用可能性；
において選択された基準に基づいて前記DCTモジュールの１つを選定することを特徴とする階層映像符号化システム。
階層映像信号を符号化する、記録可能媒体上に記憶された、プログラム・プロダクトであって：
映像信号を受信して符号化基本階層ストリームを出力する手段；及び
拡張階層を符号化する手段；
を有し、該拡張階層を符号化する手段は複数の離散コサイン変換モジュール（DCTモジュール）及び該DCTモジュールの１つを選定する選定手段を有することを特徴とするプログラム・プロダクト。
請求項４記載のプログラム・プロダクトであって、前記複数のDCTモジュール各々が異なる精度を有することを特徴とするプログラム・プロダクト。
請求項４記載のプログラム・プロダクトであって、前記選定手段は以下：
計算リソースの利用可能レベル；
符号化ビット・レート；
所要品質レベル；
復号器処理能力；及び
帯域の利用可能性；
を有する群の１つに基づいて前記DCTモジュールの１つを選定することを特徴とするプログラム・プロダクト。
階層方法において映像信号を符号化する方法であって：
該映像信号を基本階層符号化システムにおいて受信する工程；
符号化基本階層ストリームを出力する工程；
該基本階層符号化システムからのデータを拡張階層符号化システムに受信する工程；
複数の離散コサイン変換モジュール（DCTモジュール）を該拡張階層符号化システムにおいて設ける工程；
該複数のDCTモジュールの1つを選定する工程；及び
該選定DCTモジュールを用いて符号化拡張階層ストリームを生成する工程；
を有することを特徴とする方法。
階層映像復号化システムであって：
基本階層映像ストリームを受信して復号化する基本階層復号器；及び
拡張階層映像ストリームを受信して復号化拡張映像出力を生成する拡張階層復号器；
を有し、該拡張階層復号器は複数の逆離散コサイン変換モジュール（IDCTモジュール）及び該IDCTモジュールの1つを選定する選定システムを有することを特徴とする階層映像復号化システム。
請求項８記載の階層映像復号化システムであって、前記複数のIDCTモジュール各々が異なる精度を有することを特徴とする階層映像復号化システム。
請求項８記載の階層映像復号化システムであって、前記選定システムは以下：
計算リソースの利用可能レベル；
好適ビット・レート；
所要品質レベル；及び
帯域の利用可能性；
を有する群の１つに基づいて前記IDCTモジュールの１つを選定することを特徴とする階層映像復号化システム。
階層映像ストリームを復号化する、記録可能媒体上に記憶された、プログラム・プロダクトであって：
基本階層映像ストリームを受信して復号化する手段；及び
拡張階層映像ストリームを受信して復号化拡張映像出力を生成する手段；
を有し、該生成する手段は、複数の逆離散コサイン変換モジュール（IDCTモジュール）及び該IDCTモジュールの1つを選定する手段を有することを特徴とするプログラム・プロダクト。
請求項１１記載のプログラム・プロダクトであって、前記複数のIDCTモジュール各々が異なる精度を有することを特徴とするプログラム・プロダクト。
請求項１２記載のプログラム・プロダクトであって、前記選定手段は以下：
計算リソースの利用可能レベル；
符号化ビット・レート；
所要品質レベル；
復号器処理能力；及び
帯域の利用可能性；
を有する群の１つに基づいて前記IDCTモジュールの１つを選定することを特徴とするプログラム・プロダクト。
階層映像ストリームを復号化する方法であって：
符号化基本階層ストリームを基本階層復号器に受信する工程；
該符号化基本階層ストリームを復号化して復号化基本階層ストリームを生成する工程；
複数の逆離散コサイン変換（IDCT）モジュールを有する拡張階層復号器を設ける工程；
符号化拡張階層ストリームを該拡張階層復号器に受信する工程；
該複数のIDCTモジュールの1つを選定する工程；及び
該選定IDCTモジュールを用いて該符号化拡張階層ストリームを復号化する工程；
を有することを特徴とする方法。