JP2008507180A - 空間的及びｓｎｒ画像圧縮の方法 - Google Patents

Abstract

空間及びＳＮＲスケーラブル画像圧縮の融通の利く方法は、入力画像ｖｉを高解像度符号化２０２ａし、基本データである高解像度符号化データｃｏＨＲ，ＬＱをもたらすことと、高解像度符号化データｃｏＨＲ，ＬＱに基づいて第１のダウンスケーリングされた表現画像ｐ１を引き出すことと、入力画像ｖｉに基づいて第２のダウンスケーリングされた表現画像ｐ２を引き出すことと、第１のダウンスケーリングされた表現画像ｐ１を第２のダウンスケーリングされた表現画像と比較することに基づいて、高解像度符号化データｃｏＨＲ，ＬＱから復元可能な画像の視覚品位を改善するために使用可能なより低い解像度の品質の拡張データｃｏＭＲ，ＭＱをより低い解像度で符号化２１４することとを有する。これは、マルチ解像度、マルチ品質のユーザに対して良好なビットレートの分配を可能にする。

Description

本発明は、空間的及びＳＮＲ画像圧縮の方法に関する。

本発明は、また、空間的及びＳＮＲ画像復号の方法に関する。

本発明は、また、対応する画像圧縮装置に関する。

本発明は、また、対応する画像伸張装置に関する。

本発明は、また、対応する画像データ受信器に関する。

本発明は、また、そのような画像データ受信器を有する画像表示装置に関する。

本発明は、また、そのような画像圧縮装置を有する画像データ書き込み器に関する。

本発明は、また、そのような圧縮又は復号方法のためのソフトウェアに関する。

ビデオ圧縮の先行技術において、幾つかのスケーラビリティ技術が存在する。スケーラビリティの背景にあるアイデアは、基本（base）データセットにおいてより視覚的に関連のあるデータがその後の伝送、記憶等のために符号化され、ユーザの要求に依存して１つ又はそれ以上の改善データセットもまた符号化され得ることである。これは、例えば、ユーザが最高品質の画像データに対して代金を支払いたくなく、むしろ（例えば、ユーザがコンテンツをプレビュー又はブラウズしているために）単に基本データセットに基づいて得られる復元の品質で満足する無線伝送に対して行われ得る。特に、ユーザが基本の品質しか与えることができないディスプレイを有している場合、これは魅力的である。

これらの改善データセットは、基本データセットに存在しない（画像）信号情報を有する。例えば、画像の視覚の鮮明さに影響を及ぼす２つの技術は、所謂品質又はＳＮＲ（信号対雑音比）スケーラビィティ及び所謂空間スケーラビリティである。前者では、画像コンテンツを表す数値が粗く丸められる。最新のエンコーダでは、この丸めが離散コサイン変換（ＤＣＴ）係数に関して行われるので、その結果は画像の鮮明さの大きな低下である。

空間スケーラビリティの背景にあるアイデアは、より低い解像度の（典型的にはファクタ２で）サブサンプリングされた画像に関するデータを基本データセットにおいて符号化することである。これは、低解像度の画像をアップスケーリングすることによってより高い解像度（幾つかの画素に類似しているようにこの文章において定義される解像度）の画像が得られ、その結果得られる画像はＳＮＲスケーラビリティの方針でビットが節約されているかのように不鮮明に見えるので、完全に筋が通っている。この方針は、標準精細度（ＳＤ）テレビジョンと高精細度（ＨＤ）テレビジョンとの非常に長い移行の中で現在普及している。ＨＤテレビジョンを持つユーザは、アップスケーリングすることによりＳＤソフト（material）を見るか、それとも鮮明さの向上したデータが第２のチャンネルにおいて伝送される真のＨＤソフトを契約するかのいずれか一方であり得る。ＳＤテレビジョンを有するユーザは、基準の低解像度のチャンネルを契約することができるだけである。

空間スケーラビリティとＳＮＲスケーラビリティとは、例えば、ＳＤユーザが低解像度の画像の低い品質（ＳＮＲ）のバージョン及び低解像度の画像の他の品質の改善したもの（ＳＮＲ階層）を契約するのに対して、ＨＤユーザは低解像度の画像の低品質のバージョンを契約し、それをアップスケーリングし、高解像度の画像のための他の品質の拡張階層（すなわち、差分情報を有する高解像度の画像）も契約する点で、組み合わせられもし得る。

動画のためのそのような先行技術の空間−ＳＮＲスケーラブル画像のコーダの典型的な例は、ＷＯ０３／０３６９８１公報に開示されており、この本文の図１に模式的に説明されている。空間スケーラビィティに関する通常のとおりに、基本データは低解像度のものであり、従って入力信号ｖｉは、最初にダウンスケーリングされ、その後符号化され、高解像度ユーザに対してはアップスケーリングされた基本データに基づいて高解像度の拡張データが符号化される。

基本データと拡張データとを生成するこの方針は、かなり柔軟性がないことが欠点である。これは、例えば、高解像度の拡張エンコーダのための入力（図１のｖＬｄｅｃ）として用いられるべき基本データのアップスケーリングがアーチファクト（例えばリンギング）を招き、それは高解像度の高品質の拡張データにより補償されなければならない。従って、アーチファクトの減少のために拡張階層において多くのビットが必要とされるので、ビットは最適に使われず、これは、異なるユーザの要求に最適に応えることができる融通の利く空間−ＳＮＲ圧縮方式を持つために、空間的にスケーラブルではない方針と比較して必要なビットの量が増えるという問題を招く。

本発明の目的は、異なるユーザの要求に応えるために符号化された画像データのより融通の利く配布を可能にする代替の空間−ＳＮＲ圧縮方式を提供することにある。

この目的は、入力画像を高（第１の）解像度符号化し、高解像度符号化データ（ｃｏＨＲ，ＬＱ）をもたらすことと、前記高解像度符号化データ（ｃｏＨＲ，ＬＱ）に基づいて第１のダウンスケーリングされた表現画像を引き出すことと、前記入力画像に基づいて第２のダウンスケーリングされた表現画像を引き出すことと、前記第１のダウンスケーリングされた表現画像を前記第２のダウンスケーリングされた表現画像と比較することに基づいて、より低い解像度の符号化を行い、前記高解像度符号化データ（ｃｏＨＲ，ＬＱ）から復元可能な画像の視覚品位を改善するために使用可能なより低い解像度の品質の拡張データ（ｃｏＭＲ，ＭＱ）をもたらすことであって、前記比較により、（前記より低い解像度の符号化の）前記より低い解像度が（前記高解像度符号化の）前記高解像度よりも低く、前記高解像度に等しくないこととを有する空間及びＳＮＲスケーラブル画像圧縮の方法によって実現される。

高解像度の「主な」チャンネルは、圧縮の現在の（current）方法において常に与えられ、すなわち、エンコーダ／圧縮器において基本データとして生成され、従って、伸張器において高解像度の基本データとして用いられる。エンコーダにおける高解像度データのダウンスケーリングは、専ら拡張レイヤを求めるために行われる。すなわち、上記基本データは、高解像度で伝送／記憶／…され、より低い解像度の出力画像が必要な場合にはユーザ側の伸張器において専らダウンスケーリングされる。

これは、基本データを符号化するために常に最初に高解像度の画像をダウンスケーリングし、従って低解像度において基本ビットを使う先行技術の空間−ＳＮＲスケーラブルコーダとは対照的である。言い換えれば、先行技術のエンコーダでは、より多くのビットが基本データにおいて使われる場合、基本データのみを受け取る高解像度のユーザが高解像度の出力画像を得るために該基本データをアップスケーリングすることを必要とするので、上記より多くのビットは（高解像度の）不鮮明さを消すためには使われない。観察者に対して、これは、多くの余分に使われたビットが、必要な高解像度の画像構造ではなくアーチファクトの原因となることを意味し、しかしながら、本発明の高解像度基本データ（ｃｏＨＲ，ＬＱ；図２参照）を用いると復元可能であり、使われるビットの量の余地がある。

上記基本データに加えて、現在の方法は、低解像度、例えば図２に示されているようなエンコーダ２１４のコーダ部ＣＤ２，ＭＲによってより低い解像度、例えば符号化されたより低い解像度のデータｃｏＭＲ，ＭＱに１つ又はそれ以上の拡張データストリームを与えるが、融通の利く多くのやり方においても、他の解像度からの拡張データが例えば適切にアップスケーリングされたより低い解像度の拡張データを加えることにより得られる高解像度の出力画像の目に見える品質を高めるために加えられ得る。

結果として得られる高解像度のストリームは、ｃｏＨＲ，ＨＱのような高解像度拡張データにより更に拡張され得るが、これはより低い解像度のデータによる拡張後の、すなわち、本発明によるマルチ解像度／マルチＳＮＲ符号化を計算した後に残存する誤差のみを補償する拡張であることに注意されたい（高解像度の経路における事前の拡張コード化のないことが破線の楕円により図２に象徴的に示されている。）。

従って、ユーザ（例えば、符号化データストリームｃｏＨＲ，ＬＱ、ｃｏＭＲ，ＭＱ及びｃｏＨＲ，ＨＱを契約し、デコーダの出力部３２３（図３参照）から出力画像を得るユーザ）側において例えば高解像度の（例えば、主なチャンネルであるＨＤ又はＳＤ）出力が必要とされる場合、支配的な画像コンテンツはスケーリングされていない高解像度のデータストリームｃｏＨＲ，ＬＱに基づいているので、任意の高解像度拡張データｃｏＨＲ，ＨＱが専ら低解像度拡張データｃｏＭＲ，ＭＱのアップスケーリングの誤差をせいぜい補償するべきであり、従って、ビットは、アップスケーリング及びダウンスケーリングを有するチェーンの視覚品位を考慮に入れてｃｏＨＲ，ＬＱとｃｏＭＲ，ＭＱとの間においてより賢明に分割され得る。

より低い解像度（例えばＳＩＦ）のユーザに対しても、アップスケーリングのアーチファクトが存在せず、従って、ｃｏＨＲ，ＬＱ及びｃｏＭＲ，ＭＱは、高品質に対してさえも適当な画像からユーザにどんなものでも与えるように調整され得る。

一般に、ビットは、例えば特定の分配定数に依存して、より低い解像度及び高解像度のユーザの両方が良好な品質に満足するように最適に分割される。第１のプロバイダは、例えば大抵はＳＤテレビジョンのユーザの要求に応えたいが、ＳＩＦモバイル視聴者のためのレイヤを依然として取り入れたく、チェーン全体が、予め規定された重み付けの基準に従って、より低い解像度の拡張データが高解像度の画像及びより低い解像度の画像に最適に寄与するように（事前の固定された又はその場で）最適化される。代替として、第２のプロバイダは、ＳＤテレビジョンであるより低い解像度のより大きな市場を持つ一方で、ＨＤテレビジョンである高解像度で適当な画像を依然として望むが、低減したユーザ数を望んでいる。

高解像度は必要以上に制限的に解釈されるべきではないことが重要視されるべきであり、図２の例では、「主な」高解像度のチャンネルは利用可能な最も高い解像度を伴うものであるが、より高い解像度さえもが、図１に示されているやり方と同様のやり方で拡張データによりできる限り強化された本発明の方法に相補的な方法、例えば先行技術のアップスケーリングで生成され得る。本発明における主な／高い解像度のチャンネルは、説明されるようなより低い解像度からのデータにより拡張され得る又はより低い解像度の復元画像にデータをもたらし得る重要なよく用いられる解像度として規定される。

画像は、画像データエレメントの任意の好ましく結び付けられた集まりの下で、従って、矩形の画像だけではなく、不規則な形状の画像オブジェクトの下でも、且つ単一の静止画像及び連続する画像（動画）の下でも、理解されるべきである。

上記方法の一実施の形態では、前記第１のダウンスケーリングされた表現画像を引き出すことが、前記高解像度符号化データを復号し、高解像度復号データをもたらすことと、前記高解像度復号データをダウンスケーリングし、前記ダウンスケーリングされた表現画像である低品質のより低い解像度の復号データをもたらすこととを有し、第２のダウンスケーリングされた表現画像を引き出すことが、符号化されていない入力画像をダウンスケーリングし、前記第２のダウンスケーリングされた表現画像である前記入力画像のより低い解像度のバージョンをもたらすことにより行われ、前記比較することが、前記入力画像の前記より低い解像度のバージョンから前記低品質のより低い解像度の復号データを減ずることを有する。

上記減ずることは、典型的には画素に関してである。

復号信号に関するそのようなダウンスケーリングに加えて、当業者は、ダウンスケーリングが符号化ドメインにおいても行われ得ることを認識すべきである。

連続した入力画像に適する上記方法の２つの上記実現のいずれかの他の改善では、高解像度符号化が、予め規定された第１のビットレート（ＢＲＢａｓｅ）よりも低い又はそれに等しいビットレートで高解像度符号化データをもたらす。

このストリームにおいてビットがほとんど使われない場合、すなわち最小の許容可能な量しか使われない場合、これは、例えば、
・拡張データが契約されていないか又は例えば干渉のために（正しく）受け取られていない場合、この基本データは、例えば選択されたプロバイダのユーザの典型的なディスプレイ（例えば、平均サイズのＳＤテレビジョンのディスプレイ）に対して依然として適当な品質の画像を与えるか、又は、
・ある伝送チャンネル技術に関して、これは、ビジネスモデルに従ってユーザが適当な価格に契約し得るチャンネルの量である、
のような考慮に基づいて決定され得る。

先の実施の形態の更なる具体例では、高解像度符号化は、１００ｋｂｉｔ／ｓと４００ｋｂｉｔ／ｓとの間の固定された又は最大の第１のビットレート（ＢＲＢａｓｅ）、好ましくは１００ｋｂｉｔ／ｓの最低のビットレートで前記高解像度符号化データをもたらすように調整される。実験的検証によれば、これは、最新のＳＤ及びＳＩＦディスプレイにおいて良好な品質のシーケンスをもたらす。

他の複雑な実施の形態では、前記高解像度符号化データ（ｃｏＨＲ，ＬＱ）及び前記より低い解像度の品質の拡張符号化データ（ｃｏＭＲ，ＭＱ）のビットレートの和は、規定された第２のビットレート（ＢＲＭＲ）よりも小さいか又はそれに等しい。言い換えれば、プロバイダは、ある平均の補償される品質のために高解像度ＨＲのユーザ及び低解像度のユーザの両方の種類のユーザに対してバジェットを任意に指定する。上記ユーザは、何かが存在する場合に他の拡張ストリームを契約することを更に決定し得る。

前記高解像度符号化及び前記より低い解像度の符号化がそれぞれ、別個の動き推定工程及び動き補償工程を持つと、画像のシーケンスの圧縮に有利である。

上記ＳＮＲストリームは、先行技術においてのような異なる量子化に基づいて純粋に生成され得る。しかしながら、図２のような異なる解像度及びＳＮＲレベルに関する全てのエンコーダ／（デコーダ）ブロックは、動き予測を伴うとともに、（例えば第２の異なる拡張画像に対して）それぞれ別々に推定される動きベクトルを伴う（図１のブロック１０２のような）十分なエンコーダである。これは、標準（例えばＭＰＥＧ）エンコーダが用いられ得るという利点を有しており、例えばソフトウェアにおける又は標準エンコーダのバンクを伴ってプロセッサ上における圧縮の並列化において特に融通が利き、制御の方針は処理の負荷を考慮に入れる。最後に、実際のデコーダは、エンコーダの一部を既に形成しているので必要とされず、必要な復元信号は、エンコーダの内部から（例えば図１のｖＬｄｅｃのような）出力部に誘導される明らかな点が重要視される。

空間及びＳＮＲスケーラブル符号化画像データを復号する相補的な方法は、高解像度符号化データ（ｃｏＨＲ，ＬＱ）を受け取ることと、前記高解像度符号化データから復元可能な画像の視覚品位を改善するためのより低い解像度の品質の拡張符号化データ（ｃｏＭＲ，ＭＱ）を更に受け取ることと、前記高解像度よりも小さい又は前記高解像度に等しい出力解像度にスケーリングされた前記より低い解像度の品質の拡張符号化データ及び前記高解像度符号化データに基づいて、前記出力解像度の出力画像を構築することとを有する。

この符号化の方針を用いると、ユーザは、ユーザが契約することができ、復号することができ、スケールコンバータとの組み合わせ論によってそれから異なるスクリーンのサイズに対する高くない品質ないし良好な品質の種々の画像の多様性が引き出され得る（例えば、図３及び図６において、異なる解像度−品質の出力が、必要なハードウェアとして３つのデコーダ及び２つのスケールコンバータのみを用いて引き出され得る。）アベイラビリティにおいて、簡単なやり方で多くのストリームを持つ。しかしながら、全ての出力画像に対して、高解像度低品質ストリームの、すなわち受け取られ、復号されるべき符号化データ（ｃｏＨＲ，ＬＱ）が寄与している。

この復号方法は、プロバイダ及び契約者にビジネスモデルにおける融通性も与え、上記契約者は、コスト計算の後に受け入れることが可能な品質を持つ幾つかのストリームの組み合わせのいずれかを契約することができる。これは、ユーザが、例えば第１の場所の第１のスクリーンから第２の場所の第２のスクリーンにリダイレクトすることによって、第１のストリームから第２のストリームに切り換える場合にオンザフライで行われ得る。この再設定は、既に記憶されているストリームに基づいて有利に行われ得る（例えば、ユーザがより高い解像度のスクリーンに切り換え、それが高解像度の出力画像に寄与するように別々に処理されると、より低い解像度の拡張データｃｏＭＲ，ＭＱが他の手段を得る。）。

プロバイダ、例えば衛星からデータを受け取るケーブル会社のような再配分者は、上記方法のいずれかにより符号化され、伝送路を通してデータを伝送する方法における、高解像度符号化データ（ｃｏＨＲ，ＬＱ）と、この高解像度符号化データ（ｃｏＨＲ，ＬＱ）に基づいて復元される画像の視覚品位を改善するための対応するより低い解像度の品質の拡張符号化データ（ｃｏＭＲ，ＭＱ）とを有する画像データを用いる。

入力画像を高解像度符号化データ（ｃｏＨＲ，ＬＱ）に符号化するように設けられた高解像度エンコーダと、前記高解像度符号化データに基づいて第１のダウンスケーリングされた表現画像を引き出すように設けられた第１のダウンスケーリング手段と、前記入力画像に基づいて第２のダウンスケーリングされた表現画像を引き出すように設けられた第２のダウンスケーリング手段と、前記第１のダウンスケーリングされた表現画像を前記第２のダウンスケーリングされた表現画像と比較するように設けられた構成される比較器からの比較信号に基づいて、前記高解像度符号化データから復元可能な画像の視覚品位を改善するために使用可能なより低い解像度の品質の拡張データ（ｃｏＭＲ，ＭＱ）をもたらすように設けられたより低い解像度のエンコーダであって、前記比較器により、前記より低い解像度が前記高解像度よりも低く、前記高解像度に等しくない当該エンコーダとを有する、本発明による方法を実行するように特別に合うようにされた空間及びＳＮＲスケーラブル画像圧縮装置が開示される。

この装置は、典型的には、専用ＡＳＩＣ若しくはユニット、又はその性能を符号化するソフトウェアを実行するプロセッサである。

上記画像圧縮装置の一実施の形態では、前記第１のダウンスケーリング手段が、前記高解像度符号化データ（ｃｏＨＲ，ＬＱ）を高解像度復号データ（ｖｏＨＲ，ＬＱ）に復号するように設けられたデコーダ及び前記高解像度復号データを前記ダウンスケーリングされた表現画像である低品質のより低い解像度の復号データ（ｖｏＭＲ，ＬＱ）にダウンスケーリングするように設けられたダウンスケーラの順次処理のチェーンを有し、前記第２のダウンスケーリング手段が、符号化されていない入力画像を前記第２のダウンスケーリングされた表現画像である前記入力画像のより低い解像度のバージョンにダウンスケーリングするように設けられた符号化されていない信号のダウンスケーリングユニットを有し、前記比較器が、前記入力画像の前記より低い解像度のバージョンから前記低品質のより低い解像度の復号データを減ずるように設けられた減算器を有し、前記比較信号をもたらす。

高解像度符号化データ（ｃｏＨＲ，ＬＱ）を受け取る手段と、前記高解像度符号化データ（ｃｏＨＲ，ＬＱ）から復元可能な画像の視覚品位を改善するためのより低い解像度の品質の拡張符号化データ（ｃｏＭＲ，ＭＱ）を受け取る手段と、入力された画像を入力解像度から所定の出力解像度にスケーリングするように設けられた少なくとも１つのスケーリング手段と、２つの入力画像を合計する加算手段と、符号化された入力画像を復号するように設けられた少なくとも１つの復号手段とを有し、前記スケーリング、加算及び復号手段が、
・最初に、前記高解像度符号化データ（ｃｏＨＲ，ＬＱ）を復号するように設けられ、高解像度復号データ（ｖｏＨＲ，ＬＱ）をもたらす高解像度デコーダ及び前記より低い解像度の品質の拡張符号化データ（ｃｏＭＲ，ＭＱ）を復号するように設けられ、より低い解像度の品質の拡張復号データ（ｖｏＭＲ，ＭＱ）をもたらすより低い解像度のデコーダ、次に、前記高解像度復号データ（ｖｏＨＲ，ＬＱ）を前記所定の出力解像度にダウンスケーリングするように設けられ、基本画像をもたらすダウンスケーラ及び前記より低い解像度の品質の拡張復号データ（ｖｏＭＲ，ＭＱ）を前記所定の出力解像度にスケーリングするように設けられ、拡張画像をもたらすスケーラ、最後に、前記基本画像と前記拡張画像とを加算するように設けられ、出力画像をもたらす加算器、又は、
・最初に、前記高解像度符号化データ（ｃｏＨＲ，ＬＱ）を前記所定の出力解像度にダウンスケーリングするように設けられた第１のスケーリング手段及び前記より低い解像度の品質の拡張符号化データ（ｃｏＭＲ，ＭＱ）を前記所定の出力解像度にスケーリングするように設けられた第２のスケーリング手段、次に、その出力画像が加算器に加えられ、最後に、その出力画像がデコーダにおいて復号されるか、又は、
・最初に、前記高解像度符号化データ（ｃｏＨＲ，ＬＱ）を前記所定の出力解像度にダウンスケーリングするように設けられた第１のスケーリング手段及び前記より低い解像度の品質の拡張符号化データ（ｃｏＭＲ，ＭＱ）を前記所定の出力解像度にスケーリングするように設けられた第２のスケーリング手段、次に、対応する結果として生じる画像を復号するように設けられた第１及び第２のデコーダ、最後に、結果として生じる画像を加算するように設けられた加算器
のように画像処理順に接続された特別な空間及びＳＮＲスケーラブル画像伸張装置は、上記圧縮装置と対応する。

上記スケーラの幾つかは、単一の（unity）スケーリング（すなわち、同じ解像度への変換；実際には何も行わない。）を行う。

上記伸張装置は、復号画像データを受け取る接続部と、この接続部を通して所望の符号化画像データを受け取るように設けられるとともに、前記所望の符号化画像データを条件づけ、それを標準符号化画像フォーマットで出力するように設けられたデータ受信ユニットとを更に有する画像データ受信器に有利に含まれる。

上記画像データ受信器の一形態は、高解像度符号化データ（ｃｏＨＲ，ＬＱ）及びより低い解像度の符号化データを少なくとも含むどのデータの組み合わせから出力部を介して出力されるべき出力画像が復元されるべきであるかを示す伸張モードを決定するように設けられるとともに、前記画像伸張装置を構成するように設けられたプロセッサを更に有する。このやり方（オンザフライ）では、データ符号化の再構成は、たとえばユーザがモバイル装置において第１のスクリーンから第２のスクリーンに又は第１の提供サービスから第２の提供サービスに切り換える場合に行われ得る。

上記画像データ受信器は、画像表示装置、例えばテレビジョン受信機又はＰＤＡ又は携帯電話機のような移動通信装置に有利に含まれ、例えばＬＣＤ又は接続された画像投影ユニットのようなディスプレイを更に有する。

提示された方法を利用する他の有利な装置は、動作中、開放可能な（releasable）ディスク、固定されたハードディスク又はソリッドステートメモリのような画像データ書き込み器に含まれるメモリに符号化データ（ｃｏＨＲ，ＬＱ、ＣＯＭＲ，ＭＱ）を与えるように設けられた空間及びＳＮＲスケーラブル画像圧縮装置を有する当該画像データ書き込み器である。この種類の典型的な装置は、ＤＶＤレコーダ又は同様のものであり、他の例は、ハードウェアにアクセスする必要なメモリ及び本発明による方法を符号化するソフトウェアを実行するプロセッサを有するパーソナルコンピュータである。

本発明による画像圧縮及び復号方法、画像圧縮及び伸張装置、画像データ受信器、画像表示装置並びに画像データ書き込み器のこれらの観点及びその他の観点は、以下に説明される実現及び実施の形態から明らかであり、それらと添付の図面とを参照して理解されるであろう。これらは、単により一般的な概念を例示する非限定的な具体的説明であり、ダッシュ記号は構成要素が任意であることを示すために用いられている。

図１は、先行技術（例えばＷＯ０３／０３６９８１公報）から知られているような空間スケーラブル（またＳＮＲスケーラブル）コーダ１００の典型的な具体例を模式的に示している。入力画像信号ｖｉは、当該技術においてよく知られているような適切なアンチエイリアシング（ローパスフィルタリング、ガウスブラー、…）の後、ダウンサンプラ１８０においてダウンサンプリングされ、入力信号ｖｉの低解像度（典型的には半分の解像度）バージョンｖｉＬをもたらす。例えば、入力画像信号ｖｉが標準精細度の（ＳＤ）解像度（例えば７２０×５７６画素）のものである場合、低解像度の信号ｖｉＬはＳＩＦ又はＣＩＦの解像度（ＰＡＬ方式では３６０×２８８画素、実際には１６で割り切れるサイズの３５２×２８８）のものである。この低解像度の信号ｖｉＬは、（基本データを符号化する）低解像度エンコーダ１０２によって符号化される。本実施の形態では、ＤＣＴ変換された表現ｃｐｏＬＲ，ＦＱは、第１及び第２の量子化ストリーム発生器ユニット１３０，１４０により異なる品質／ＳＮＲ（c'o及びc"o；低下した解像度及び品質のインデックス）の幾つかの（スケーラブル）ストリームとして符号化される[この本文において用いられる「ストリーム」という表現は、狭く解釈されるべきではないことに注意されたい。簡単にするために、異なるデータは、データの製作者から消費者に同じ又は異なるチャンネルに沿って異なるストリームにおいてストリーミングされると仮定されている。しかしながら、データは任意の同等の技術的表現で与えられ得る。例えば、静止画像の場合には、データはストリームに相当するメモリの部分にある。]。低解像度の信号ｖＬｄｅｃに基づいて、該低解像度の信号は、（出力される非スケーラブルストリームｎｓｏＬＲ，ＦＱから受信器／デコーダサイドにおいて利用可能であり得る）量子化ＤＣＴ変換された表現ｃｐｏＬＲ，ＦＱから復号されたので、拡張情報が高解像度エンコーダ１５２により符号化される。上記高解像度エンコーダ１５２は、デコーダ側において低解像度の信号に加えられるべき高解像度の鮮明な拡張信号を符号化し、これはダウンサンプリング１８０の不鮮明な画素の低下及びアンチエイリアスフィルタリングのためである。これは、低解像度の信号ｖＬｄｅｃを標準解像度にアップスケーリング（アップサンプリング）１８２し、それを減算器１５０を用いて原入力信号ｖｉと比較することにより行われ、例えば伝送路の利用可能な帯域幅のような要素を考慮して必要な精度に符号化された残差信号ｖｄｐをもたらす。必要な変更を加えて、この高解像度の差分信号もまた、異なるスケーラブルＳＮＲストリーム（１３０及び１４０と同様、図示せず）を伴って符号化され得る。

低解像度エンコーダ１０２は、ＭＰＥＧ、Ｈ２６ｘ、ＡＶＣ（Advanced video coding）のようなビデオ符号化規格において用いられる一般的なタイプのものである。動くシーンの画像は所謂ＧＯＰ（group of picture）で符号化され、これは、対応する時点における原画像のみのデータに基づいて符号化されるイントラ（Ｉ）ピクチャで始まる（すなわち、動くシーンの一部ではなくまるで静止画像のようである。）。ＧＯＰの次の画像は、動くシーンにおける情報の冗長性を考慮してコード化される。例えば、背景のテクスチャは単に左側への並進運動を表し、前景の人物は右側に動き、わずかに向きを変える。この簡単な例では、連続する画像の背景の画素の大部分は、追加の情報の必要なしにオフセット位置において再生されるべき新しい画像に単に以前の画像の背景の画素を再び描くことにより再生され得る。従って、ＧＯＰの画像の幾つかは、全てのオブジェクト（又は実際にはオブジェクトを構成する画素ブロック）を再生されるべき画像において予想される位置へ最初に移動させることにより所謂予測（Ｐ）符号化される。（例えば、照明の変化又は人物のわずかな回転のために）オリジナルとの差が常に存在するので、このオリジナルとの差もコード化される（及び原画像のコンテンツを実質的に得るためにデコーダ側において補正として加えられる）必要があるが、これはイントラ式で画像を符号化するよりもずっと少ないビットしか必要としない。ＰピクチャはＩピクチャと比べて未来の位置において生成されているので、中間の画像は、例えば過去若しくは未来のみから又は両方の予測の組み合わせから双方向に予測され得る（Ｂピクチャ）。

この挙動は、スイッチ１０６を用いて低解像度エンコーダ１０２において可能となる。Ｉピクチャの設定では、原画像が、離散コサイン変換器１０８によりＤＣＴ（離散コサイン変換）係数のブロックにブロック単位で変換される。この変換は完全に可逆的であり、従ってこの動作の後、圧縮のゲインはそれほど存在しない。その結果、量子化が量子化器１１０の形で生じる。幾つかの画像変換は、情報の量を減らすためにＤＣＴブロックの状態で与えられ、これはほとんど目に見えないオリジナルとの差しかもたらさない。そのような変換の１つは、変換係数の値が丸められ得ることである。例えば、１２７に等しい（０と２５５との間に存在する）ＤＣ係数の値は、１２８に丸められ得る。例えば最も近い２の倍数に丸めることは、２で割り（又はスケールファクタ１／２を乗じ）、最も近い整数に丸め（及びエンコーダ側における復元のために２を乗じ）ても実現され得る。この例示的な丸めは、係数当たり１ビットの節約をもたらす。

従って、既知のビデオ符号化方針では、量子化は、典型的には、定数ｓを用いた全係数の除法のスケーリングと、その後の異なるＤＣＴ係数に関する異なる丸めファクタを含む固定されたマトリクスを用いた量子化（丸め）とから成る。その理論的説明は、画像の鮮明さのより少なく気になる低減しか招かないので、より高い周波数係数がより粗く量子化され得ることである。この信号のファクタスケーリングは、ビットレートを制御するための簡単なやり方である。上記量子化器から現れる係数は、可変長エンコーダ１１２において更にビットが低減される。この可変長エンコーダ１１２は、幾つかのビットパターンが他よりも発生の大きい確率を持つ（例えば、ノイズのある小さいＤＣＴ係数値がゼロに量子化された後、幾つかの連続するゼロ値係数が生じる。）ことを用い、従って、それらは小さい符号語にマッピングされる一方で、数少ない実行は長い符号語にマッピングされ、これは必要とされるビット数の正味の低減をもたらす。それ故に、（非ＳＮＲスケーラブル、すなわち「十分な（full）」品質ＦＱの）出力される符号化ストリームｎｓｏＬＲ，ＦＱは画像あたり幾らかのビットを含み、これは、例えばテクスチャ背景に関する多数の高周波数係数、又は当該シーンに多数の動きが存在する場合には予測されるＰ，Ｂピクチャを訂正する異なる画像の多くの情報のような画像のコンテンツに依存して変化する。しかしながら、例えば伝送チャンネルの制限された帯域幅又はデコーダの制限された処理能力のような制約が存在し、従って、出力ビットレートを制御することが典型的には望ましい。制御器１１４は、スケーリング定数ｓを適応させてこれを容易に行うことができ、例えば全ての係数を４で割ることは品質の低下を招くが、係数当たり２ビットの節約ももたらす。低解像度コーダは「十分な」品質のストリームを出力するので、スケーリングは低解像度コーダでは現れないことに注意されたい。

予測／訂正（Ｐ，Ｂ）モードにおいてエンコーダはデコーダが何を得るかを知る必要があるので、典型的なエンコーダは、上述のような符号化部（破線よりも上側のＣＤ）に加えて復号部も有している。従って、逆量子化１１６が量子化を元に戻し（これは、オリジナルと比較して量子化誤差をともなって概して不鮮明な画像をもたらし、その大きさは量子化の粗さに依存する。）、逆ＤＣＴ１１８が量子化されたＤＣＴ係数に基づいてビデオ画像を再生する。時刻ｔ−１に復元されたこの画像は、新しく入力される原画像ｖｉＬ（ｔ）とともに動き推定器１２４に入力され、それぞれのブロックの動きが求められる。そのような動き推定器は、典型的には「フルサーチブロックマッチング」を用いるが、３Ｄ再帰的検索のようなより進んだ動き推定器も用いられ得る（例えばＷＯ０１８８８５２公報参照）。結果として生じる動きベクトルｍｖとともに、復元された画像ｒが、動き補償器１２６により新しい時刻ｔに対して動き補償される。上記エンコーダは、ＧＯＰの残りの部分（Ｐ，Ｂの設定のためのスイッチ１０６）に関して予測モードにあり、次の画像はＰピクチャである。従って、減算器１０４は、動き補償／予測画像ｐと新しい入力画像ｖｉＬ（ｔ）との差を出力し、この残差画像は上述のユニットのチェーンにより必要な変更を加えてそれから処理される。加算器１２０は、この時、逆ＤＣＴ１１８により出力される上記復元された残差画像を以前の動き補償された予測ｐ（ｔ）に加えるように動作可能であり、処理の残りの部分は必要な変更を加えて続く。

（上記低解像度のデータの例における）ＳＮＲスケーラビリティは、以下のように実現され得る。第１の量子化ストリーム発生器ユニット１３０は、乗算器（又は除算器）１３４を用いて大きい／粗い（例えば１６に等しい）除算定数ｓ_１で全ての定数をスケーリングし、その後、（エンコーダ１０２の符号化部のＱと同一の標準的なマトリクスであり得る又は特に予め定められたマトリクスＱ２で）量子化１３６及び可変長符号化１３８が行われる。出力されるストリームは低品質のものであり、勿論低い（ＳＩＦ）解像度のものである。例えば、０と２５５との間の全ての係数値が最も近い１０の値に丸められ、１２７を１３０に等しくする。減算器１３９は、より小さい範囲（この例の範囲は１０であり、差分は３である。）を持つ粗く量子化された表現及び原入力の差分信号を引き出し、この差分信号は、例えば最も近い２の倍数に丸める（すなわち、３の代わりに４を与え、無視できるほど小さい最終誤差しかもたらさない）量子化ストリーム発生器ユニット１４０によりコード化される。

高解像度エンコーダ１５２は、必要な変更を加えて構築され、機能し、ここでは残差信号ｖｄｐのみが入力され、従って、動き推定、量子化、予測等がそれらの残差画像に基づいて行われる。

元の入力信号ｖｉと比較することにより残差信号ｖｄｐを引き出すための入力として、復号画像ｖＬｄｅｃが、先行技術の補間方針のいずれかを用いてアップスケーラ１８２によりアップスケーリングされる。残差信号ｖｄは、Ｉ及びＰ，Ｂ状態を有するスイッチ１５６に接続される減算器１５４の正の入力部に入力される。上記スイッチ１５６は離散コサイン変換器１５８に接続し、離散コサイン変換器１５８の出力部はレート制御可能な量子化器１６０に接続され、量子化器１６０の出力部は可変長エンコーダ１６２及び逆量子化器１６６に接続され、逆量子化器１６６の出力部は逆ＤＣＴ部１６８に結合されている。ＩＤＣＴ１６８の出力部は、スイッチ１７２の位置に依存して何も加算しないか、又は、現在の残差画像を予測した後、再生される残差に以前の残差予測を加えるかのいずれか一方を行うように設けられた加算器に接続しており、その結果として生じる信号ｒ'は動き推定器１７４及び動き補償器１７６に入力され、減算器１５４への入力として現在の残差画像の予測をもたらす。上記概略の具体例では、出力は非スケーラブルの高解像度ストリームｎｓｏＨＲ，ＦＱのみであるが、複数の高解像度ＳＮＲストリームが、上記低解像度の場合と同様に生成され得る。

図２は、本発明による空間及びＳＮＲスケーラブル画像圧縮装置２００の一実施の形態を模式的に示している。

この画像圧縮装置２００は、圧縮されていない入力画像信号ｖｉ、例えば、画像圧縮装置２００がＤＶＤレコーダにある場合にはＰＡＬ規格に従う受信アナログテレビジョン信号又は画像圧縮装置２００がカメラシステムにある場合には（例えば民生用）カメラのＣＣＤからの信号を受け取るように設けられているが、エンコーダが最初に中間フォーマット（典型的にはテレビジョン規格に従う波形信号）への復号を行うように設けられているケースのトランスコーダの実施の形態では、入力信号ｖｉは圧縮された信号でもあり得る。「入力画像」及び「信号」という用語は、グラフィックオブジェクトのあらゆる表現として広く理解されるべきであるが、画像圧縮装置２００の作用をよりはっきりと説明するための他のものにおいて、復号が必要とされる場合、復号は結果として得られる符号化されていない画像信号ｖｉが画像圧縮装置２００に入る前に行われると仮定される。

高解像度エンコーダ２０２は、入力画像ｖｉの最も重要な部分（例えば、ＤＣＴエンコーダでは少なくとも低周波数の係数の最上位ビット）を高解像度符号化データｃｏＨＲ，ＬＱに符号化する。動画の入力（ビデオ信号の入力ｖｉ）の場合、このエンコーダ２０２は、典型的には２つの部分、すなわちエンコーダ部２０２ａとデコーダ部２０２ｂとから構成される。説明されている具体的な画像圧縮装置２００の実施の形態は、ＭＰＥＧ２又はＡＶＣ（Advanced video coding）のような規格（後者の規格は、ISO/IEC MPEG & ITU-T VCEG (ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6)のＪＶＴ（Joint Video Team）により近年規定されている。）と互換性があるビデオを圧縮するように設けられているが、当業者は、他の現在知られている又は今後の画像圧縮の規格に対して同様に機能するように画像圧縮装置２００を容易に変更することが可能である。

動画符号化用の高解像度エンコーダ２０２は、典型的には、図１のエンコーダブロック１０２の構造のものであり、この場合も例えばアナログ又はデジタル波形テレビジョン規格に従って高解像度復号データ（ｖｏＨＲ，ＬＱ）を出力接続部で生成しもする。

上記高解像度エンコーダ２０２の制御器（図１の参照符号１１４参照）は、典型的には、出力される高解像度符号化データｃｏＨＲ，ＬＱのビットレートが、第１のビットレートＢＲＢａｓｅ、例えば最低限の（受け入れることが可能な）視覚品位を保証する値にほぼ等しくなるように（適応的に）予め取り決められており、例えば伝送チャンネルの間ずっと実行可能である。実験は、（７２０×５７６画素のＳＤ解像度の場合、）３００ｋｂｉｔ／ｓ以下の及び１００ｋｂｉｔ／ｓまでさえの第１のビットレートで（特に後者は拡張データにより拡張されている場合に）妥当な画像が得られることを示した。

上記入力画像ｖｉは、ダウンスケーラ２０４により（適切なアンチエイリアシングの後に；模式的な図２ではもはや示されていない。）より低い解像度（例えば、入力解像度の半分、しかしながら他の（非）分数の解像度が必要な変更を加えて適用され得る。）にダウンスケーリングされ、同様に高解像度復号データ（ｖｏＨＲ，ＬＱ）が、第２のダウンスケーラ２０６により同じより低い解像度にダウンスケーリングされ、低品質のより低い解像度の復号データ（ｖｏＭＲ，ＬＱ）をもたらす。これら２つの信号は、この特定の実施の形態によれば、第２のダウンスケーリングされた表現画像ｐ２及び第１のダウンスケーリングされた表現画像ｐ１のバージョンをそれぞれ構成し、これらの比較は拡張データの符号化を更に進める。

ダウンスケーリングされた入力画像ｖｉＬ（＝ｐ２）と低品質のより低い解像度の復号データ（ｖｏＭＲ，ＬＱ）とが、（視覚体系の知識を考慮に入れて信号を比較し、例えば特定のエッジ及び特により少ないテクスチャの周りでより多くの拡張データが符号化されるべき他の拡張エンコーダに追加データを与えるより複雑な比較器が用いられ得るが、）典型的には簡単にするために減算器２１０により比較され、出力として差分信号ｖｄをもたらす。上記差分信号は、高解像度エンコーダ２０２により発生する量子化誤差を示すが、ダウンスケーリングされた解像度において、（この差分画像が再度アップスケーリングされると）追加のアップスケーリング／リンギング誤差が依然として存在し、従って、差分信号ｖｄの情報は高解像度符号化２０２において失われた情報と正確には等しくないが、ほぼ等しい。この差分ｖｄは、（ダウンスケーリング（このダウンスケーリングは、一定のダウンスケーリング方針に従うか、又は要求通りに特別に意図された低解像度のディスプレイに適応する最適化されたダウンスケーリングを用いるものである。）された入力画像ｖｉと同じ）完全な画像を持つためにより低い／ＳＩＦ解像度の視聴者により必要とされるものであり、より低い解像度の品質の拡張符号化データ（ｃｏＭＲ，ＭＱ）を出力するように設けられたより低い解像度のエンコーダ２１４により任意の品質／精度（ＳＮＲ）に符号化され得る。このより低い解像度のエンコーダ２１４は、図１のブロック１０２のように構成されてもよい。すなわち、エンコーダ２１４は、以前の画像から差分画像ｖｄを予測し、（ＤＣＴ又は他の方法で）訂正したものを符号化し得る。代替として、エンコーダ２１４は、動き予測部を伴うことなく（すなわち、参照符号１０２のデコーダ部無しで）構成されてもよいが、むしろ（例えばＤＣＴドメインの）「静的な」差分画像ｖｄが１つ又はそれ以上の拡張データストリームに量子化され、例えば、より低い解像度のエンコーダ２１４は図１のブロック１３０と同様の符号化ブロックで構成される。

全部のデータストリームに特定の第２のビットレートＢＲＭＲを割り当てることは、低解像度（例えばＳＩＦ）の視聴者が良好な視覚品位の画像を持つことを可能にし、より低い解像度のエンコーダ２１４に関して結果として得られるビットレート（バジェット）は、単純な引き算から
ＢＲＥＭＲ＝ＢＲＭＲ−ＢＲＢａｓｅ [式１]
になる。

前述のように、差分画像ｖｄも、高解像度フォーマットにおいて高解像度エンコーダ２０２により発生する誤差のそれほど不良な推定ではなく、従って、いかなるより低い解像度の拡張データ（例えばｃｏＭＲ，ＭＱ）もが、適切なアップスケーリングの後高解像度ユーザのための品質の改善に寄与し得る。上記アップスケーリングは、先行技術から知られている任意の補間方針、例えば単純な直線補間又はアップスケーリングに基づく変換若しくは空間画素ドメインにおけるマルチピクセルの重み付けを用いる。受信側における２つのストリームｃｏＨＲ，ＬＱ及びｃｏＭＲ，ＭＱの組み合わせは、受け入れ可能な品質の画像を既にもたらすが、高解像度ユーザは典型的にはより優れた品質を望み、従って、この圧縮装置２００は、典型的には入力画像ｖｉとの残存する差分を（例えば、信号対雑音比ＳＮＲ又は心理視覚（psychovisual）機能により測定される）ある精度／視覚品位又はビットレートに符号化する他の高解像度拡張エンコーダ２４０を有しており、これは高解像度の拡張符号化データｃｏＨＲ，ＨＱをもたらす。この高解像度の拡張符号化データｃｏＨＲ，ＨＱは、次により低い解像度のユーザ用の改善されたより低い解像度の画像をもたらすために用いられ得る。

上記エンコーダは、加算器２３４（同様に加算器２３６；リソースを節約する実施の形態では、当業者は加算器及び／又はアップスケーラの幾つかを組み合わせる。）において高解像度の基礎データに（アップスケーリング後に）より低い解像度の拡張データを加えることによりデコーダが復元できるものを予測する。この全体の復元された信号（ｖｏＨＲ，ＭＱ）は、減算器２３８において上記入力信号と比較され、もたらされる差分は、高解像度拡張エンコーダ２４０及び必要な場合にはエンコーダ２４４のような他の拡張エンコーダにより更に高い解像度の拡張データとして更に符号化される。

上述のような高解像度の拡張符号化データｃｏＨＲ，ＨＱが、高解像度ユーザ及びより低い解像度のユーザの両方によって用いられることになることを分かっていると、コンテンツプロバイダは、拡張が高解像度での（ｃｏＨＲ，ＬＱ及びｃｏＭＲ，ＭＱに基づく）圧縮チェーンの後に依然として残る誤差を数学的に正確に補償する拡張ではないように画像圧縮装置２００を定めるが、むしろ上記両方のユーザに平均的な特性（典型的には少なくともそのビットレートであるが、例えば、動きベクトルのために使われるビット、変動（variable）量子化マトリクスを介する高周波数係数の寄与等のような他の圧縮の設定が平均化され得る。）の高解像度の拡張ストリームｃｏＨＲ，ＨＱを生成する。

上記具体的な実施の形態では、より多くの解像度及びＳＮＲ拡張レイヤがどのように加えられ得るかが更に示され、当業者のように可能である幾つかの組み合わせが実現する。上記例において、加算器２９３（加算器２９５と同様の構造が低解像度処理経路において示される。）において既に符号化されたより低い解像度の中間品質の信号ｖｏＭＲ，ＭＱをエンコーダ２２０からの他の拡張データに加えることにより、結果として得られる中間解像度の高品質の復号信号ｖｏＭＲ，ＨＱを得るためのより低い（ここでは中間の）解像度のパスに他の拡張エンコーダ２２０が構成されている。この具体的な実施の形態では、比較器２１２を用いて既に符号化された信号（ダウンスケーラ２２２によりダウンスケーリングされた中間解像度の高品質の復号信号ｖｏＭＲ，ＨＱ）を原入力信号ｖｉの同様にダウンスケーリングされたバージョンと比較し、それに基づいて低解像度拡張エンコーダ２１６及び２２６を用いて他の拡張データを符号化することによって、中間解像度の高品質の復号信号ｖｏＭＲ，ＨＱが、更に低い（ここでは低）解像度で他のデータを符号化する（解像度のいずれかにおいて機能拡張する）基盤を形成する。

代替として、当業者は、基本符号化信号ｖｏＭＲ，ＬＱの表現をダウンスケーリングすること（参照符号２０６の後の破線の矢印及びダウンスケーラ２９１）に基づいて低解像度の拡張データを符号化するための（固定された又は適応できる）符号化方式を構築し得る。上記高解像度の信号はエンコーダ２４４を用いて更に符号化されもし、これは最終的に高解像度の最高品質の信号及び全てのそれに対応する符号化バージョンをもたらす。

伝送チャンネル２８０が、基本ストリーム用の第１のチャンネル部及び拡張ストリーム用の第２のチャンネルを伴って象徴的に示されている。画像データ書き込み器において、この伝送チャンネルは、例えばソリッドステート又はディスクベースのメモリ２８８への例えばバスであり得る。

図３は、具体例としての画像伸張装置３００を模式的に示している。高解像度の符号化データｃｏＨＲ，ＬＱを受け取る手段３３０が含まれており、典型的にはチャンネル（例えばケーブルテレビ）へのコネクタ、例えばワイヤソケットまたは又はデジタルコネクタのピンとして実現される。同様に、より低い解像度の品質の拡張符号化データ（ｃｏＭＲ，ＭＱ）を受け取る手段３３２が存在するとともに、例えば高解像度の機能拡張符号化データｃｏＨＲ，ＨＱのための受け取り手段３３３のような他の画像受け取り手段が存在し得る。これら３つの符号化された入力ストリームは、高解像度デコーダ３０２、より低い（この例では中間）解像度のデコーダ３０８及び高解像度拡張デコーダ３１０によりそれぞれ復号される。この十分な復号能力を持つユーザは、（例えば、画像及び幾つかの拡張レイヤの部分を並列に符号化するように設けられた標準的なソフトウェアエンコーダを用いるので、）２つの画像スカラの助けを借りて６つの異なる解像度−質のレベルを既に得ている。例えば、上記ユーザは、高解像度に等しい所定の出力解像度の画像を望む場合、基本データのみを（拡張ストリームが費用がかかりすぎる場合には）契約する／又は（例えば携帯型装置用のバッテリ電源を節約するためにリソース制約形の装置を用いて）高解像度の復号データｖｏＨＲ，ＬＱに復号することができる。従って、このユーザは、高解像度デコーダ３０２に論理的に接続された少なくとも動作中（すなわち、例えば当該装置が特定の伸張装置中に配置された後）である出力部３０４（例えば伸張装置３００を含む独立型の装置の裏側のケーブルソケット又はＩＣのピン）にアクセスする。従って、この出力部において、上記ユーザは、信号の復号された低品質の高解像度バージョンｖｏＨＲ，ＬＱである出力画像ｖｏにアクセスできる。ダウンスケーラ３０６は、この復号された信号を入力として受け取るように構成され、それをダウンスケーリングするように設けられている。低品質のより低い解像度のバージョンｖｏＭＲ，ＢＲＢａｓｅにアクセスするための第２の出力部３０５が存在し、両方の信号はＢＲＢａｓｅにほぼ等しいビットレートを要する。加算器３０７は、基本画像ｂ^＊と拡張画像ｅ^＊との一例を組み合わせる第１の可能性を与える。すなわち、加算器３０７の第１の入力部はダウンスケーリングされた高解像度の復号データｖｏＨＲ，ＬＱを受け取るように接続され、第２の入力部はより低い解像度のデコーダ３０８により出力される復号されたより低い解像度の品質の拡張データ（ｖｏＭＲ，ＭＱ）を受け取るように接続され、出力部はより低い解像度の拡張された信号ｖｏＭＲ，ＢＲＭＲを与える出力部３２２に接続されている。所定の出力解像度が上記２つの符号化された受信解像度のどちらにも等しくない（例えば、これら２つの解像度の中間又はそれらよりも低い）場合には、当業者が接続することができるように必要な基本画像ｂ^＊及び拡張画像ｅ^＊をもたらすために２つのスケーラが必要とされる。ユーザは、高解像度の高品質の出力部３２０において高解像度の信号にもアクセスし得る。このケースでは、所定の出力解像度が高解像度に等しいと、ダウンスケーラ３５０は実際には必要とされず、実際には再構成可能なシステム又は安価な固定されたシステムにおいて同じ解像度にスケーリングする（すなわち、単一の変換を行うか又は変換を全く行わない）ように利用可能なスケーラを設けることにより実現され、例えばケーブル接続と単に置き換えられるためにスケーラは実際には物理的に存在しない。従って、基本画像ｂは高解像度デコーダ３０２により出力される復号された高解像度の画像であり、拡張画像は、入力部がより低い解像度のデコーダ３０８の復号出力部に接続されたアップスケーラ３１４の出力から得られる。同様に、高解像度の拡張データを復号することにより、出力部３１３及び３２３（後者は最も高品質の信号ｖｏＨＲ，ＢＲＢａｓｅ＋ＢＲＥＭＲ＋ＢＲＥＨＲを与える。）において２つの更なる信号が得られる。

各復元信号に対して（より低い解像度を持つ信号に対しても）高解像度の基本データｃｏＨＲ，ＬＱが寄与することが重要視され、このことはデコーダを特別なものにする。当業者は、より多くの解像度及び／又はＳＮＲ拡張データのために必要な変更を加えてデコーダを構築し得る。

復元及び特に必要とされるアップ及び／又はダウンスケーリングは、上記具体的な実施の形態では復号信号で実現されるが、スケーリングが（例えばＤＣＴ）変換ドメインにおいて行われる同様のデコーダが構築され得る。従って、伸張装置３００を構成する３つの可能性、すなわち
・最初に復号、次にスケーリング、その後加算
・最初にスケーリング、次に復号、その後加算
・最初にスケーリング、次に加算、その後結果として得られる信号の復号
が存在する。

２番目の変形は、典型的には、高解像度の符号化データ（ｃｏＨＲ，ＬＱ）を所定の出力解像度にダウンスケーリングするように設けられたスケーリング手段及びより低い解像度の品質の拡張符号化データ（ｃｏＭＲ，ＭＱ）を所定の出力解像度にスケーリングするように設けられた第２のスケーリング手段として構築され、これらは、典型的にはデコーダ自体の中に構成され、ＤＣに加えて例えば他のフィルタリングと組み合わせられ得るＤＣＴ係数がシフトする。その後、出力されるスケーリングされた復号画像は加算器に加えられる。

最後の変形は、全ての処理が単一のデコーダにおいて生じる。

コンテンツプロバイダは、異なる解像度／ＳＮＲストリームに（符号化／伝送／…されない場合にはビットレートゼロを含む）異なるビットレートを（動的に）割り当てるが、受信するエンドユーザもユーザ自身の要求（例えば、自宅でテレビジョンを見ること及び携帯型画像表示装置４１０を持って外に出ること）に従って異なるストリームの組み合わせを契約し得る。この選択を助けるために、上記プロバイダは異なるストリームから得られる品質の指示も与える。

図４は画像表示装置４１０を模式的に示しており、この画像表示装置４１０では、画像データ受信器４００がディスプレイ４２２、例えば携帯用装置のＬＣＤディスプレイに接続されている。画像データ受信器４００は、構成データ受信ユニット４１６の入力部に接続された復号画像データ（すなわち、例えばｃｏＨＲ，ＬＱ、ｃｏＭＲ，ＭＱ、ｃｏＨＲ，ＨＱ）を受け取る接続部４１２を有している。接続部４１２に接続されるチャンネルが何であるかに依存して、データ受信ユニット４１６は、例えば、
・チャンネルが（例えばアンテナを介してアクセスされる）ブロードキャストテレビジョンチャンネルである場合、データ受信ユニット４１６は、典型的には、必要なチャンネルに合わせるためのチューナ及び伝送周波数からベースバンド周波数へのダウンコンバージョン部等を含み、出力として例えばＭＰＥＧストリームをもたらす。又は、
・チャンネルが電話接続４１２を介してアクセスされるインターネットである場合、データ受信ユニット４１６は、例えばＴＣＰ／ＩＰ関数を実行し、予め定義されたウェブアドレス等を含み、出力として標準符号化画像フォーマット（例えばＪＰＥＧ）をもたらす。
のような先行技術から知られている幾つかの処理ステップを実行する。

圧縮された画像データは、データ受信ユニット４１６の出力部に接続されたスケーラブル画像伸張装置４１８（上述したような参照符号３００）に入力される。この画像伸張装置４１８は、出力部４２１を介して復号画像を出力する。

上記画像データ受信器４００は、どのデータの組み合わせ（この組み合わせは、高解像度の符号化データ（ｃｏＨＲ，ＬＱ）及びより低い解像度の符号化データ（ｃｏＭＲ，ＭＱ）を少なくとも含んでいる。）から出力部４２１を介して出力されるべき出力画像が復元されるべきであるかを示す伸張モードＤを決定するように設けられたプロセッサ４２０を更に有して構成され得る。例えば、ユーザは、ユーザインターフェース手段４２４（例えばキーボードであるが、これは例えばグラフィカル入力手段、ノブのような専用相互作用部品又は会話インターフェースのような他の既知の手段でもあり得る。）を介して（ユーザが支払いに同意する帯域幅又は得られる品質の差も示すインターフェースプログラムから得られる拡張ストリームからの特定の選択のような）条件付きデータを入力する。プロセッサ４２０は、更に、画像伸張装置４１８を（再）構成する（例えば、必要なデコーダにつなぐこと及び必要なスケーラとの接続を築くこと）ように設けられている。プロセッサ４２０は、更に、（接続部４１２と物理的に一体化され得る）第２の接続部４１４を介して又は他のチャンネル技術（例えば通信路（airway）ブロードキャスト入力対インターネット出力）によって（後者は、例えばホームネットワークシステムにおいて有利である。）、例えば他のどのデータが送られる必要があるかを指定する信号ＲＳをプロバイダに送るように設けられている。プロセッサ４２４の能力を指定するプログラムは、例えばディスク又は他のコンピュータプログラム製品４３２のコード入力手段４３０（例えば、ディスクドライブ又はサーバを遠方まで広げるネットワーク接続）を介して与えられ得る。

圧縮側においてもスケーリングは圧縮された／変換ドメインにおいて実現され得るので、図５は、本発明による画像圧縮装置の他の実施の形態５００を模式的に示している。この画像圧縮装置５００では、量子化ＤＣＴ係数がメモリ５３０に記憶され、残りの部分に関してはエンコーダ１０２の部分が上述のように実現される。入力信号ｖｉは既に（ロスレス）ＤＣＴ変換されていると仮定されている（そうでなければ、これは追加のＤＣＴ変換器によって実現され得る。）。復号された信号ｖｉ^＊はデコーダ５５０から得られる。

スケーリングは、ここでは、それぞれ第２のダウンスケーリングされた表現画像ｐ２及び第１のダウンスケーリングされた表現画像ｐ１の特定の実施の形態をもたらす第１のダウンスケーラ５３２及び第２のダウンスケーラ５３４によってＤＣＴ変換されたデータに対して行われ、比較は、（例えば、視覚品位に対する特定の係数の重要性についてのヒューリスティクスを考慮したＤＣＴ係数の両方のセットの間の差に基づいて）より低い解像度のエンコーダの実施の形態５１４において行われる。当業者は、画像圧縮装置５００の他の変形例は、上記伸張装置について説明したものに必要な変更を加えて、最初にＤＣＴドメインにおいてスケーリングし、その後復号及び比較を行うことが分かる。

低解像度用の既に符号化された基準信号が２つの中間解像度の拡張の後に得られる図２のトポロジーは、低解像度のユーザが概してダウンスケーリングによって失われる鮮明さのために符号化する中間解像度の多くのビットに同意しなければならないので、該ユーザに対してあまり最適ではない。従って、図６の方式が、低解像度に既に符号化されたデータのより早い供給を与える。この具体的な３解像度エンコーダ６００であれば、プロバイダは、エンコーダ２０２及び２１４を有するチェーンからの既に符号化された信号を改善するか又はエンコーダ２０２からの２回ダウンスケーリングされた基本データを改善するかのいずれか望ましい方を（エンコーダ２１６により）低解像度の拡張データとして符号化する選択肢を持つ。それに加えて、スイッチ６２０はプロセッサ６３０の制御の下にある。プロセッサ６３０は、例えば、帯域幅、品質、ユーザのタイプ、異なる表示（例えば、ユーザが外出する際、該ユーザの携帯型装置に中継されるより低い解像度のバージョン）へのユーザの切り換え等のような条件に依存して、単一のブロードキャスト間又はその内部においてさえもスイッチ６２０を切り換えるように設けられている。タイプの表示Ｆも、受信端はデータが表しているもの及びより高い解像度からのどの拡張データが契約されるべきであるかを知るように受信側（例えば記憶装置）に送られることが好ましい。代替として、両方のタイプの低解像度の拡張データも同時に符号化され得る。模式的に描かれている加算器２９３は、スイッチ６２０の設定を考慮した特別のタイプものであることが好ましい。例えば、上記加算器は、基本信号に中間解像度及び低解像度の拡張の平均の寄与を加え、スイッチ６２０のより上位の（upper）設定の場合、両方の拡張を加える。異なる解像度の分岐は、より低い解像度の分岐への供給後、他の拡張エンコーダを用いて増やされる。

開示された上記アルゴリズム複合物は、実際には、ハードウェア（例えば特定用途向けＩＣの部品）又は特別なデジタル信号プロセッサ、一般的なプロセッサ上等で動作するソフトウェアとして（全部又は部分的に）実現され得る。

コンピュータプログラム製品の下で、プロセッサへのコマンドを得るためのローディング工程のシリーズの後、一般的な又は専用のプロセッサが本発明の特徴的な機能のいずれかを実行することができるコマンドの集まりの物理的な実現が理解されるべきである。特に、コンピュータプログラム製品は、ディスク又はテープのような媒体上のデータ、メモリに存在するデータ、有線又は無線のネットワーク接続を伝わるデータとして実現され得る。プログラムコードに加えて、プログラムのために必要な特徴的なデータもまたコンピュータプログラム製品として具現化され得る。

上記実施の形態は本発明を制限するものではなく、説明するものであることに注意されたい。請求項において組み合わされているような本発明の構成要素の組み合わせに加えて、構成要素の他の組み合わせが可能である。各構成要素の任意の組み合わせが単一の専用の構成要素において実現され得る。

特許請求の範囲における括弧内のあらゆる参照符号は、特許請求の範囲を限定するように意図されてはいない。「有する（comprising）」という語は、請求項に列挙されていない観点又は構成要素の存在を排除するものではない。構成要素の前に付されている「ａ」及び「ａｎ」という語は、複数のそのような構成要素の存在を排除するものではない。

先行技術の空間−ＳＮＲビデオ圧縮装置を模式的に示している。 本発明による画像圧縮装置の具体的な実施の形態を模式的に示している。 本発明による相補的な画像伸張装置の一実施の形態を模式的に示している。 本発明による画像データ受信器を有する画像表示装置を模式的に示している。 本発明による画像圧縮装置の他の具体的な実施の形態を模式的に示している。 特に低解像度の使用に合わせられた画像圧縮装置の他の具体的な実施の形態を模式的に示している。

Claims (16)

1. 入力画像を高解像度符号化し、高解像度符号化データをもたらすことと、
   前記高解像度符号化データに基づいて第１のダウンスケーリングされた表現画像を引き出すことと、
   前記入力画像に基づいて第２のダウンスケーリングされた表現画像を引き出すことと、
   前記第１のダウンスケーリングされた表現画像を前記第２のダウンスケーリングされた表現画像と比較することに基づいて、より低い解像度の符号化を行い、前記高解像度符号化データから復元可能な画像の視覚品位を改善するために使用可能なより低い解像度の品質の拡張データをもたらすことであって、前記比較により、前記より低い解像度が前記高解像度よりも低く、前記高解像度に等しくないことと
   を有する空間及びＳＮＲスケーラブル画像圧縮の方法。
2. 前記第１のダウンスケーリングされた表現画像を引き出すことは、
   前記高解像度符号化データを復号し、高解像度復号データをもたらすことと、
   前記高解像度復号データをダウンスケーリングし、前記ダウンスケーリングされた表現画像である低品質のより低い解像度の復号データをもたらすことと
   を有し、
   第２のダウンスケーリングされた表現画像を引き出すことは、符号化されていない入力画像をダウンスケーリングし、前記第２のダウンスケーリングされた表現画像である前記入力画像のより低い解像度のバージョンをもたらすことにより行われ、
   前記比較することは、前記入力画像の前記より低い解像度のバージョンから前記低品質のより低い解像度の復号データを減ずることを有する
   請求項１記載の空間及びＳＮＲスケーラブル画像圧縮の方法。
3. 連続した入力画像が圧縮され、前記高解像度符号化は、予め規定された第１のビットレートよりも低い又はそれに等しいビットレートで前記高解像度符号化データをもたらす請求項１記載の方法。
4. 前記高解像度符号化は、１００ｋｂｉｔ／ｓと４００ｋｂｉｔ／ｓとの間の固定の又は最大の第１のビットレートで前記高解像度符号化データをもたらす請求項３記載の方法。
5. 前記高解像度符号化データ及び前記より低い解像度の品質の拡張符号化データのビットレートの和は、規定された第２のビットレートよりも小さいか又はそれに等しい請求項３記載の方法。
6. 連続した入力画像が圧縮され、前記高解像度符号化及び前記より低い解像度の符号化はそれぞれ、別個の動き推定工程及び動き補償工程を持つ請求項１記載の方法。
7. 高解像度符号化データを受け取ることと、
   前記高解像度符号化データから復元可能な画像の視覚品位を改善するためのより低い解像度の品質の拡張符号化データを更に受け取ることと、
   前記高解像度よりも小さい又は前記高解像度に等しい出力解像度にスケーリングされた前記より低い解像度の品質の拡張符号化データ及び前記高解像度符号化データに基づいて、前記出力解像度の出力画像を構築することと
   を有する空間及びＳＮＲスケーラブル符号化画像データを復号する方法。
8. 伝送路を通してデータを伝送する方法における、高解像度符号化データと、前記高解像度符号化データに基づいて復元可能な画像の視覚品位を改善するための対応するより低い解像度の品質の拡張符号化データとを有する請求項１記載の方法により符号化される画像データの使用。
9. 入力画像を高解像度符号化データに符号化するように設けられた高解像度エンコーダと、
   前記高解像度符号化データに基づいて第１のダウンスケーリングされた表現画像を引き出すように設けられた第１のダウンスケーリング手段と、
   前記入力画像に基づいて第２のダウンスケーリングされた表現画像を引き出すように設けられた第２のダウンスケーリング手段と、
   前記第１のダウンスケーリングされた表現画像を前記第２のダウンスケーリングされた表現画像と比較するように設けられた構成される比較器からの比較信号に基づいて、前記高解像度符号化データから復元可能な画像の視覚品位を改善するために使用可能なより低い解像度の品質の拡張データをもたらすように設けられたより低い解像度のエンコーダであって、前記比較器により、前記より低い解像度が前記高解像度よりも低く、前記高解像度に等しくない当該エンコーダと
   を有する空間及びＳＮＲスケーラブル画像圧縮装置。
10. 前記第１のダウンスケーリング手段は、前記高解像度符号化データを高解像度復号データに復号するように設けられたデコーダ及び前記高解像度復号データを前記ダウンスケーリングされた表現画像である低品質のより低い解像度の復号データにダウンスケーリングするように設けられたダウンスケーラの順次処理のチェーンを有し、
    前記第２のダウンスケーリング手段は、符号化されていない入力画像を前記第２のダウンスケーリングされた表現画像である前記入力画像のより低い解像度のバージョンにダウンスケーリングするように設けられた符号化されていない信号のダウンスケーリングユニットを有し、
    前記比較器は、前記入力画像の前記より低い解像度のバージョンから前記低品質のより低い解像度の復号データを減ずるように設けられた減算器を有し、前記比較信号をもたらす
    請求項９記載の空間及びＳＮＲスケーラブル画像圧縮装置。
11. 高解像度符号化データを受け取る手段と、
    前記高解像度符号化データから復元可能な画像の視覚品位を改善するためのより低い解像度の品質の拡張符号化データを受け取る手段と、
    入力された画像を入力解像度から所定の出力解像度にスケーリングするように設けられた少なくとも１つのスケーリング手段と、
    ２つの入力画像を合計する加算手段と、
    符号化された入力画像を復号するように設けられた少なくとも１つの復号手段と
    を有し、
    前記スケーリング、加算及び復号手段が、
    最初に、前記高解像度符号化データを復号するように設けられ、高解像度復号データをもたらす高解像度デコーダ及び前記より低い解像度の品質の拡張符号化データを復号するように設けられ、より低い解像度の品質の拡張復号データをもたらすより低い解像度のデコーダ、次に、前記高解像度復号データを前記所定の出力解像度にダウンスケーリングするように設けられ、基本画像をもたらすダウンスケーラ及び前記より低い解像度の品質の拡張復号データを前記所定の出力解像度にスケーリングするように設けられ、拡張画像をもたらすスケーラ、最後に、前記基本画像と前記拡張画像とを加算するように設けられ、出力画像をもたらす加算器、若しくは、最初に、前記高解像度符号化データを前記所定の出力解像度にダウンスケーリングするように設けられた第１のスケーリング手段及び前記より低い解像度の品質の拡張符号化データを前記所定の出力解像度にスケーリングするように設けられた第２のスケーリング手段、次に、その出力画像が加算器に加えられ、最後に、その出力画像がデコーダにおいて復号されるか、又は、
    最初に、前記高解像度符号化データを前記所定の出力解像度にダウンスケーリングするように設けられた第１のスケーリング手段及び前記より低い解像度の品質の拡張符号化データを前記所定の出力解像度にスケーリングするように設けられた第２のスケーリング手段、次に、対応する結果として生じる画像を復号するように設けられた第１及び第２のデコーダ、最後に、結果として生じる画像を加算するように設けられた加算器
    のように画像処理順に接続された
    空間及びＳＮＲスケーラブル画像伸張装置。
12. 復号画像データを受け取る接続部と、
    この接続部を通して所望の符号化画像データを受け取るように設けられるとともに、前記所望の符号化画像データを条件づけ、それを標準符号化画像フォーマットで出力するように設けられたデータ受信ユニットと、
    動作中に前記標準符号化画像フォーマットを受け取るように接続された請求項１１記載の空間及びＳＮＲスケーラブル画像伸張装置と、
    前記画像伸張装置から受け取り可能な復号画像を出力する出力部と
    を有する画像データ受信器。
13. 高解像度符号化データ及びより低い解像度の符号化データを少なくとも含むどのデータの組み合わせから出力部を介して出力されるべき出力画像が復元されるべきであるかを示す伸張モードを決定するように設けられるとともに、前記画像伸張装置を構成するように設けられたプロセッサを更に有する請求項１２記載の画像データ受信器。
14. 請求項１３記載の画像データ受信器と、この画像データ受信器に接続されたディスプレイとを有する画像表示装置。
15. 動作中、画像データ書き込み器に含まれるメモリに符号化データを与えるように設けられた請求項９記載の空間及びＳＮＲスケーラブル画像圧縮装置を有する当該画像データ書き込み器。
16. プロセッサが請求項１ないし７のいずれか１項に記載の方法を実行できるようにするソフトウェアコードを有するコンピュータプログラム。

Images