JP2009528751A

JP2009528751A - 差分符号化

Info

Publication number: JP2009528751A
Application number: JP2008556889A
Authority: JP
Inventors: デルフルーテン，レナテュスイェーファン
Original assignee: Koninklijke Philips NV; Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2006-03-03
Filing date: 2007-02-23
Publication date: 2009-08-06
Also published as: WO2007099480A3; EP1994756A2; CN101395924A; WO2007099480A2; US20090034634A1

Abstract

エンコーダ装置（２）およびデコーダ装置（３）を有する符号化システムであって、エンコーダ装置およびデコーダ装置はいずれも、予測信号（y；g）を生成するためのループ中に配置されたメモリ・ユニット（２３；３３）をもつ。メモリ・ユニットは要求メモリを減らすために不可逆的圧縮を適用する。異なるデータ削減に起因するドリフトを防ぐため、エンコーダ装置（２）における不可逆的圧縮はデコーダ装置（３）における不可逆的圧縮と実質的に同一である。たとえば、両方の圧縮は同一のアルゴリズム、圧縮率および／または圧縮パラメータを含みうる。不可逆的な圧縮および／または圧縮解除を示す情報が被エンコードによって追加される。

Description

本発明は差分符号化に関する。より詳細には、本発明はビデオ画像または発話フレームのようなデータを、現在のデータと過去のデータとの差を利用してエンコードおよびデコードするシステムに関する。

差分符号化はよく知られており、ビデオおよび画像符号化において広く使用されている。画像は、各値がピクセル（画素）の明るさを、あるいは色が使われる場合にはピクセルの構成色の明るさを表すデジタル値の集合によって表現されうる。画像を効率的に伝送および／または保存するために、これらのピクセル値がエンコードされる。効率的なエンコードはしばしば、ピクセル値の大きさ（magnitude）が減らされるときに、特にいくつかの値が0に減らされるときに達成できる。

ピクセル値は、以前の画像に基づいて画像の予測を生成し、実際の画像と予測された画像との間の差のみをエンコードすることによって効果的に減らすことができる。明らかに、画像が変わっていなければ、差分画像は0のみによって表現でき、きわめて効率的にエンコードできる。しかしながら、予測された画像の（あるいは、予測される画像を導出するもとになった以前の画像の）保存は、特に画像が高解像度カラー画像であるときには、大きなメモリを必要とすることがありうる。必要メモリを減らすため、予測される画像は保存に先立って圧縮されてもよい（「組み込み圧縮（embedded compression）」）。

可逆的圧縮は、全く情報の損失なしに圧縮された画像の完全な再構築を許容するもので、必要メモリを満足のいく仕方で減らすのに十分な圧縮を提供しないことがありうる。この理由で、予測された画像を保存するのに先立って、しばしば不可逆的圧縮が使われる。

しかしながら、不可逆的圧縮は、圧縮された画像の完全な再構築を許容せず、圧縮解除された予測された画像は実際の画像の最適な予測を提供しないことになる。さらに、予測された画像を保存するためのメモリは典型的には、予測される各画像が次の予測される画像を決定するために使われる予測ループ（prediction loop）に構成される。したがって、もとの（圧縮されていない）予測された画像と圧縮解除された予測された画像との間の食い違いが予測ループにおいてふくれあがることがありうる。これは符号化効率の低下につながる。

さらなる問題は、組み込み圧縮がデコーダでは使用されず、エンコーダでのみ使用されることがあるという事実によって引き起こされる。エンコーダの予測ループにおける不一致が累積するにつれ、デコーダにおいて補償されない符号化誤差が導入される。このいわゆる「ドリフト」の結果として、画像品質が劣化することになる。同様のドリフトは、組み込み圧縮がデコーダのみで使われる場合に起こる。従来技術は、この問題について満足のいく解決策を提供できていない。

よく知られたMPEG規格（MPEG＝Moving Picture Experts Group、http://www.chiariglione.org/mpeg/を参照）はビデオ・デコード装置を定義している。ドリフト問題は、エンコード装置が組み込みメモリ圧縮を使い、結果として生じるドリフトを対応するデコーダ装置が補償しない場合に起こりうる。

国際特許出願WO03/039158（フィリップス）は、メモリ圧縮によって引き起こされるデコーダ・ドリフトを制御する方法を開示している。圧縮されていない画像と圧縮解除された画像との間の差が符号化ループの第一のパス（pass）の間に決定され、この差が第二のパスの間に補償される。しかしながら、第一のパスと第二のパスの間でドリフトが変わる場合には、何らかの食い違いが残る。さらに、この既知の方法は、大量のメモリを必要とするという不都合な点をもつ。これは保存に先立って画像を圧縮するという理由に矛盾する。WO03/039158の内容全体はここに本明細書に組み込まれる。

従来技術のこれらの問題およびその他の問題を克服し、ドリフトがあっても実質的に解消されるような、組み込み圧縮を用いた符号化のための方法およびシステムを提供することが本発明の目的である。

したがって、本発明は、エンコーダ装置であって：
・入力信号からエンコーダ予測信号を減算して差信号を生成する減算ユニットと、
・前記差信号をエンコードしてエンコードされた信号を生成するエンコード・ユニットと、
・前記差信号と前記エンコーダ予測信号とを加算して合成信号を生成する加算ユニットと、
・予測信号を生成するよう、前記合成信号を一時的に保存する、前記合成信号の不可逆的圧縮および圧縮解除をするよう構成されているメモリ・ユニットとを有しており、
前記エンコードされた信号に、前記合成信号の不可逆的圧縮および／または圧縮解除を示す情報を加えるよう構成されている、エンコーダ装置を提供する。

使用される不可逆的圧縮および／または圧縮解除に関する情報を提供する機能をもつエンコーダ装置を提供することによって、デコーダ装置がこの情報を利用し、効果的に、同じ不可逆的圧縮および／または圧縮解除を適用することが可能となる。このようにして、エンコーダおよびデコーダの組み込み圧縮プロセスの実際の同一性または機能的な同一性が達成でき、ドリフトが回避される。

第一の実施形態では、不可逆的圧縮および／または圧縮解除を示す前記情報が、エンコード・プロファイルまたはレベル（encoding profile or level）といったエンコード設定（encoding setting）中に含まれる。第二の実施形態では、不可逆的圧縮および／または圧縮解除を示す前記情報は、パラメータに含まれ、前記エンコーダ装置はさらに、エンコードされた信号と前記パラメータを多重化するマルチプレクサを有する。第三の実施形態では、不可逆的圧縮および／または圧縮解除を示す前記情報は、エンコーダ装置とデコーダ装置との間で、たとえばエンコードされたデータの実際の伝送に先立って組み込み圧縮同期プロトコルにおいて専用信号を使って、別個に通信される。

本発明はまた、デコーダ装置であって：
・エンコードされた信号をデコードしてデコードされた信号を生成するデコード・ユニットと、
・デコードされた信号とデコーダ予測信号とを加算して出力信号を生成する加算ユニットと、
・デコーダ予測信号を生成するよう、前記出力信号を一時的に保存する、前記出力信号の不可逆的圧縮および圧縮解除をするよう構成されているメモリ・ユニットとを有しており、
前記出力信号の不可逆的圧縮および／または圧縮解除を示す情報を受領し、解釈するよう構成されている、デコーダ装置を提供する。

さらに、本発明は、エンコーダ装置およびデコーダ装置を有する符号化システムであって、前記エンコーダ装置は：
・入力信号からエンコーダ予測信号を減算して差信号を生成する減算ユニットと、
・前記差信号をエンコードしてエンコードされた信号を生成するエンコード・ユニットと、
・前記差信号と前記エンコーダ予測信号とを加算して合成信号を生成する加算ユニットと、
・予測信号を生成するよう、前記合成信号を一時的に保存する、前記合成信号の不可逆的圧縮および圧縮解除をするよう構成されているメモリ・ユニットとを有しており、
・前記デコーダ装置は：
・エンコードされた信号をデコードしてデコードされた信号を生成するデコード・ユニットと、
・デコードされた信号とデコーダ予測信号とを加算して出力信号を生成する加算ユニットと、
・デコーダ予測信号を生成するよう、前記出力信号を一時的に保存する、前記出力信号の不可逆的圧縮および圧縮解除をするよう構成されているメモリ・ユニットとを有しており、
前記のエンコーダ・メモリ・ユニットおよび前記のデコーダ・メモリ・ユニットが、同じ入力信号を呈示されたときに実質的に同一の出力信号を生成するよう構成されている、
システムを提供する。

同一の入力信号を呈示されたときに実質的に同一の出力信号を生成するエンコーダ・メモリ・ユニットおよびデコーダ・メモリ・ユニットを提供することによって、エンコーダ装置におけるいかなるドリフトもデコーダ装置中で補償できることが保証される。「実質的に同一」という用語が、完全に同一であるまたはほとんど同一であるまたは少なくとも類似であることを含意することを注意しておく。入力信号の完全な同一の場合のメモリ・ユニット出力信号の完全な同一が好ましいが、用途によっては必須でなくてもよい。類似の出力信号が、ドリフトを受入可能なレベルまで減らすのに十分であることもある。

エンコーダ・メモリ・ユニットおよびデコーダ・メモリ・ユニットはそれぞれ、合成信号および出力信号の類似の、好ましくは同一の圧縮のために構成されている。これは、実質的に同一な圧縮解除が使われる場合に類似または同一な出力信号を許容し、よって実質的にまたは完全にあらゆるドリフトを解消する。しかしながら、エンコーダおよびデコーダの圧縮は、両者の非類似性が圧縮解除によって補償される限り、類似でないことも可能である。

ドリフト問題への従来技術の解決策が典型的にはデコーダ装置のみを対象とし、エンコーダ装置のほうは変えずにいることが注目される。本発明は、実質的にエンコーダ・ドリフトとデコーダ・ドリフトとを「同期させ」、よってその望ましくない効果をなくすことによって、単純だが非常に効果的な解決策を提供する。デコーダ装置の組み込み圧縮がエンコーダ装置の組み込み圧縮と類似で、好ましくは同一でさえあることを要求することによって、いかなるエンコーダ・ドリフトもデコーダ装置において完全に補償されることができる。

エンコーダ・メモリ・ユニットおよびデコーダ・メモリ・ユニットにおける圧縮が同一のアルゴリズム、同一の圧縮率（compression factors）および／または同一の圧縮パラメータに関わるものであることが好ましい。すなわち、ほとんど同一の結果を与える類似のアルゴリズムを使ってもよいが、圧縮アルゴリズムが同一であることが好ましい。同様に、類似もしくは同一の圧縮率および／または類似もしくは同一の圧縮パラメータも好ましい。エンコーダ組み込み圧縮がデコーダ組み込み圧縮と完全に同一であることが最も好ましいことは理解されるであろう。だが、この完全な同一は本発明から裨益するために必須ではない。

エンコード装置は減算ユニットによって出力される差信号を直接エンコードしてもよいが、さらなる符号化効率利得が得られてもよい。したがって、本発明のエンコーダ装置は、エンコードに先立って差信号を変換する変換ユニットと、変換された差信号とエンコーダ予測信号を加算するのに先立って変換された差信号を逆変換する逆変換ユニットとをさらに有していてもよい。

変換ユニットは、離散コサイン変換（DCT）、高速フーリエ変換（FFT）または他の好適な変換を実行するよう構成されていてもよい。逆変換ユニットは、予測画像を生成する前に未変換画像を再構成するはたらきをする。同様に、エンコーダ装置はさらに、エンコードに先立って変換された差信号を量子化する量子化ユニットを、および好ましくはまた逆変換に先立って量子化された差信号を逆量子化する逆量子化ユニットをも有していてもよい。さらなる信号処理ユニット、たとえば動き補償ユニット（ビデオ符号化の場合）またはフィルタ・ユニット（オーディオ符号化の場合）がエンコーダ装置および／またはデコーダ装置に設けられていてもよい。

エンコーダ装置が変換ユニットを有する場合、デコーダ装置は加算に先立ってデコードされた信号を逆変換する逆変換ユニットを有することが好ましい。

本発明の符号化システムでは、エンコーダ装置は、メモリ・ユニットで使用される不可逆的圧縮および圧縮解除を示すマーカーをエンコードされた信号中に挿入するよう有利に構成されていてもよい。デコーダ装置は、デコーダ装置における不可逆的圧縮および圧縮解除を好適に適応させるよう前記マーカーを解釈するよう構成されていてもよい。マーカーは圧縮パラメータを含んでいてもよいし、あるいは不可逆的な組み込み圧縮が使われていることを示す単一ビットからなっていてもよい。

本発明の符号化システムは、エンコーダ装置とデコーダ装置との間に結合された媒体をさらに有していてもよい。該媒体は好ましくは記憶媒体または伝送媒体である。記憶媒体はたとえば、電子的なメモリ回路（たとえばRAM）またはハードディスクによって構成されてもよい。一方、伝送媒体は無線または有線通信ネットワークによって構成されもよい。媒体の存在のため、エンコードおよびデコードは、空間および／または時間的に離間されてもよい。

さらに、本発明は、上に定義したシステムにおける使用のためのエンコード装置および上に定義したシステムにおける使用のためのデコード装置を提供する。エンコード装置およびデコード装置は、本発明のシステムの構成部分である。本システムは、部分の集合として商業化されてもよく、エンコード装置およびデコード装置がそのような部分をなしてもよいことを注意しておく。

本発明はまた、上に定義したようなエンコード・システムを有する消費者装置および上に定義したような符号化システムを有する送信システムをも提供する。前記消費者装置は、セットトップ・ボックス、携帯電話装置またはハードディスク・レコーダもしくはDVDレコーダのようなビデオ・レコーダによって構成されてもよく、ビデオ符号化、オーディオ符号化および／または発話符号化のために構成されていてもよい。前記送信システムでは、エンコーダ装置とデコーダ装置が好ましくは別個の位置に、たとえば異なる部屋、建物、町またさらには国に配置される。本発明に基づく送信システムは、テレビ送信装置および／またはインターネット（ビデオおよび／またはオーディオ送信）を含む電気通信ネットワークに関わるものでもよい。

本発明はまた、エンコード方法であって：
・入力信号からエンコーダ予測信号を減算して差信号を生成する段階と、
・前記差信号をエンコードしてエンコードされた信号を生成する段階と、
・前記差信号と前記エンコーダ予測信号とを加算して合成信号を生成する段階と、
・予測信号を生成するよう、前記合成信号の不可逆的圧縮および圧縮解除をするよう構成されている、前記合成信号を一時的に保存する段階とを有しており、
当該エンコード方法は、前記エンコードされた信号に、前記合成信号の不可逆的圧縮および／または圧縮解除を示す情報を加える追加的な段階を有する、エンコード方法をも提供する。

本発明はまた、デコード方法であって：
・エンコードされた信号をデコードしてデコードされた信号を生成する段階と、
・デコードされた信号とデコーダ予測信号とを加算して出力信号を生成する段階と、
・デコーダ予測信号を生成するよう、前記出力信号の不可逆的圧縮および圧縮解除をするよう構成されている、前記出力信号を一時的に保存する段階とを有しており、
当該デコード方法はさらに、不可逆的圧縮および／または圧縮解除を示す情報を受領し、解釈する段階をさらに有する、デコード方法をも提供する。

不可逆的圧縮および／または圧縮解除を示す前記情報は、エンコードされた信号に含まれることが好ましい。追加的または代替的に、この情報の少なくとも一部が、エンコードされた信号を受領するのに先立って受領されてもよい。

本発明はさらに、エンコーダ段およびデコーダ段を有する符号化方法であって、前記エンコーダ段は：
・入力信号からエンコーダ予測信号を減算して差信号を生成する段階と、
・前記差信号をエンコードしてエンコードされた信号を生成する段階と、
・前記差信号と前記エンコーダ予測信号とを加算して合成信号を生成する段階と、
・予測信号を生成するよう、前記合成信号の不可逆的圧縮および圧縮解除を適用しながら前記合成信号を一時的に保存する段階とを有しており、
前記デコーダ段は：
・エンコードされた信号をデコードしてデコードされた信号を生成する段階と、
・デコードされた信号とデコーダ予測信号とを加算して出力信号を生成する段階と、
・デコーダ予測信号を生成するよう、前記出力信号の不可逆的圧縮および圧縮解除を適用しながら、前記出力信号を一時的に保存する段階とを有しており、
前記のエンコーダの保存段階および前記のデコーダの保存段階が、同じ入力信号を呈示されたときに実質的に同一の出力信号を生成する、
方法を提供する。

有利には、前記エンコーダの保存段階および前記デコーダの保存段階はそれぞれ、合成信号および出力信号の類似または同一の圧縮に関わることがありうる。

エンコーダの保存段階およびデコーダの保存段階における圧縮は、好ましくは、同一のアルゴリズム、同一の圧縮率および／または同一の圧縮パラメータに関わるものである。本発明の方法のさらなる好ましい実施形態は、以下の記述から明白となるであろう。

本発明はさらに、上に定義したような方法を実行するためのコンピュータ・プログラム・プロダクトを提供する。コンピュータ・プログラム・プロダクトは、CDまたはDVDのようなデータ担体上に保存されたコンピュータ実行可能命令の組を有していてもよい。コンピュータ実行可能命令の組は、プログラム可能なコンピュータが上に定義したような方法を実行できるようにするもので、たとえばインターネットを介してリモート・サーバーからダウンロードするために利用可能であってもよい。

本発明はさらに、エンコードされた信号をも提供する。該信号は、該信号を生成するために使われる不可逆的圧縮および／または圧縮解除を示す情報を含んでいる。

本発明について、付属の図面に示されている例示的な実施形態を参照して以下でさらに説明する。

図１に単に限定しない例として示されている符号化システム１は、媒体４によって結合されているエンコーダ装置２およびデコーダ装置３を有している。媒体４はエンコードされた信号eをエンコーダ装置２からデコーダ装置３に転送するのに好適ないかなる媒体であってもよく、たとえば記憶媒体（たとえばハードディスク）および／または伝送媒体（たとえばケーブル・ネットワーク、電波リンクおよび／またはインターネット）によって構成されていてもよい。したがって、エンコードされた信号eの転送は時間的な転送（記憶）および／または空間（位置）的な転送であってよい。媒体４の実際の属性は本発明にとって本質的ではない。

図１に示す例示的なエンコーダ２は、通常の構造を有しており、減算ユニット２１、エンコーダ・ユニット２２、メモリ・ユニット２３および加算ユニット２４を有している。しかしながら、従来技術とは対照的に、メモリ・ユニット２３はのちにより詳細に説明する新たな属性をもつ。さらに、メモリ・ユニット２３とエンコーダ・ユニット２２の間に、任意的な接続が存在していてもよい。その機能はのちに説明する。

減算ユニット２１は、入力信号xを受信する。以下の記述では、信号xはビデオ信号であると想定されるが、本発明はそれに限定されるものではなく、信号xはオーディオ信号または発話信号であってもよい。

したがって、今の限定しない例では、入力信号xは画像を表す。上で説明したように、信号xは、一組のデジタル・ピクセル値を有していて、それぞれの値が画像のピクセルの明るさを表していてもよい。信号xは複数の画像を表していてもよく、したがってx[i]と書かれてもよい。ここで、i＝1,2,3,…,Nであり、各x[i]は全N枚の画像のうちの一画像を表す。しかしながら、便宜上、信号はx[i]ではなくxと記すことにする。

減算ユニット２１は、入力信号xから予測信号yを減算して差信号zを生成する。この差信号zはエンコーダ２２および加算ユニット２４の両方に与えられる。エンコーダ２２は差信号zをエンコードしてエンコードされたビデオ出力信号eを生成し、ビデオ出力信号eが媒体４に与えられる。エンコーダ２２によって使われるエンコードの型は、ランレングス符号化、可変長符号化またはビデオ信号のデータ量を減らす他のいかなる好適な形のエンコード（圧縮）であってもよい。

加算ユニット２４は、現在の予測信号yと差信号zを加算して、将来の予測信号y′を生成する。数学的には、これは次のように表せる：y＝y[i]であれば、y′＝y[i+1]。これは、信号y′が次の画像（信号x[i+1]）が利用可能になるまで一時的に保存されることを要求する。この一時的な記憶はメモリ・ユニット２３によって提供される。このメモリ・ユニット２３およびその新たな特徴は、図２を参照しつつのちにより詳細に説明する。

デコーダ装置３は、媒体４からエンコードされたビデオ出力信号eを受領する。図１の例示的なデコーダ装置３は、デコーダ・ユニット３１、加算ユニット３２およびメモリ・ユニット３３を有する。デコーダ・ユニット３１は、エンコーダ２２によって実行されるエンコードの逆であるデコードを実行するよう構成されている。こうしてデコードされた（または圧縮解除された）信号fが、加算ユニット３２において予測信号gに加算される。結果として得られる出力信号hは、メモリ・ユニット３３に与えられ、将来の予測信号g′としてはたらく。数学的に表すと：h[i]＝g′[i]＝g[i+1]である。

このように、エンコーダ装置２およびデコーダ装置３の両方が、予測信号y、gを生成するためのメモリ２３、３３を含むループを有していることが見て取れる。予測信号yおよびgはそれらが予測する信号xおよびyと同数のピクセル値を有するはずなので、この信号の一時的記憶は典型的には大量のメモリを必要とする。必要メモリを減らすために、予測信号の圧縮が使われる。可逆的圧縮は典型的には所望されるデータ削減を達成しないので、このいわゆる組み込み圧縮（予測ループに組み込まれている）は不可逆である（すなわち、データ損失がある）。メモリ・ユニット２３および３３の例示的な構造が図２ａおよび図２ｂに示されている。

図２ａの実施形態では、メモリ・ユニット２３は圧縮（compression）（Ｃ）ユニット２３１、メモリ２３２および圧縮解除（decompression）（Ｄ）ユニット２３３を有するように示されている。圧縮ユニット２３１は信号y′を不可逆的圧縮を使って圧縮し、それによりメモリ２３２の必要サイズを減らす。圧縮された信号y′は典型的には次の画像（信号x）がエンコーダ装置（図１の２）によって受領されるまで保存される。次いで、保存された信号は圧縮解除ユニット２３３によって圧縮解除され、信号yを与える。信号が保存される時間は個別的な実施形態に依存して変わってもよいことを注意しておく。たとえば、保存されている信号は、圧縮解除の遅延を見込んで、次の画像（信号x）が到着する直前に圧縮解除されてもよい。代替的または追加的に、いくつかの画像が受信され、エンコードされる間、同じ信号が保存されていて、同じ予測信号を2枚以上の画像に使ってもよい。

不可逆的な圧縮および圧縮解除のため、いわゆる「ドリフト」が生じることがある。すなわち、実際の予測された画像と圧縮解除された予測された画像との間の食い違いが差信号zの増加につながるのである。この食い違いは、エンコーダ・メモリ・ユニット２３もその一部をなす予測ループによって増幅される。デコーダ・メモリ３３も食い違いを導入することがあるので、このドリフトは特に問題である。従来技術のシステムでは、予測信号のこれらの食い違いは、典型的には不均等で、時間的に増大し、よってデコードされたビデオ信号の品質を害する。

本発明は、エンコーダ装置におけるいかなるドリフトもデコーダ装置におけるドリフトと少なくとも類似であるが、好ましくは等しいことを保証することによって、この問題を解決する。これは、エンコーダ・メモリ・ユニット２３における不可逆的圧縮をデコーダ・メモリ・ユニット３３における不可逆的圧縮と少なくとも類似だが、好ましくは等しくすることによって達成されうる。一般に、エンコーダ・メモリ・ユニット２３およびデコーダ・メモリ・ユニット３３は、同一の入力信号を呈示されたときにそれらの出力信号が同一であるか少なくとも類似であるよう構成される。したがって、エンコーダ圧縮ユニット２３１および圧縮解除ユニット２３３を一緒にしたものは、デコーダ圧縮ユニット２３１および圧縮解除ユニット２３３を一緒にしたものと同じ信号処理を与える。

本発明は、従来技術で開示されているような複雑なドリフト補償対策を必要とすることなくドリフト問題を解決する。結果として、本発明のエンコード・システムは比較的単純で、経済的であることができる。

エンコーダにおける不可逆的な組み込み圧縮とデコーダにおけるその対応物との類似性または同一性は、次の特徴：
・同一の圧縮アルゴリズム、
・同一の圧縮率、および
・同一の圧縮パラメータ
のうちの一つまたは複数を選ぶことによって達成できる。

本発明のシステムは、全体として設計されてもよい。その場合、エンコーダ装置およびデコーダ装置の組み込み圧縮は、同一であるよう選ぶことができる。既存のエンコーダ装置が使用される場合、デコーダ装置は、エンコーダ装置の組み込み圧縮機能を判別し、一致させることによって、エンコーダ装置の組み込み圧縮と一致するよう設計されることができる。しかしながら、好ましくは、エンコーダ装置が使用される組み込み圧縮についての情報を提供し、この情報をデコーダ装置に転送する。より具体的には、エンコーダ装置が、不可逆的圧縮および／または圧縮解除を示す情報をエンコードされた信号に加えるよう構成され、対応するデコーダ装置が前記情報を受領し、解釈するよう構成されることが好ましい。

この情報を提供するために、図１のエンコーダ装置２はメモリ・ユニット２３とエンコーダ・ユニット２２との間の接続を有する。この接続は、情報信号qcおよびqdをメモリ・ユニット２３からエンコーダ・ユニット２２に与えるはたらきをする。図２ａに戻ると、圧縮ユニット２３１が使用される（組み込み）圧縮を示す信号qcを生成し、圧縮解除ユニット２３３が使用される（組み込み）圧縮解除を示す信号qdを生成することが見て取れる。これらの組み込み圧縮／圧縮解除情報信号qcおよびqdは、圧縮アルゴリズム、圧縮率および／または圧縮パラメータに関する情報を含んでいてもよい。

メモリ・ユニット２３は情報信号qcおよびqdの少なくとも一方だが好ましくは両方を、出力信号e中にエンコードするために、エンコーダ・ユニット２２に与える。ある好ましい実施形態では、情報信号qcおよびqdは、一部の圧縮およびエンコード規格で使われる「プロファイル」および／または「レベル」のようなある種のエンコード設定を決定するために使われる。本質的には、「プロファイル（profiles）」は適用領域（application areas）に、「レベル（levels）」はデコーダ複雑性（decoder complexity）に対応する。代替的に、情報信号qcおよびqdは使用される特定の「プロファイル」および「レベル」によって決定されてもよい。この場合、図２ａにおけるqcおよびqdの矢印は逆転されることになる。

たとえば、圧縮ユニット２３１の圧縮率は、組み込み圧縮を示す「プロファイル」内のある「レベル」によって決定できる。代替的または追加的に、信号e、qcおよびqdを多重化して多重化された出力信号（出力ストリーム）を生成するためにマルチプレクサが存在していてもよい。結果として、エンコーダ装置の出力ストリームは、組み込み圧縮の圧縮率および／または圧縮品質のようなパラメータを含んでいてもよい。これらのパラメータは、ビットストリーム中に直接入れられてもよいし、あるいは好適な型の符号化、たとえば可変長符号化を使ってエンコードされてもよい。そうしたパラメータはまた、探索表〔ルックアップ・テーブル〕または数学的公式を使ってパラメータに変換されうる指標によって表現されてもよい。

エンコーダ装置とデコーダ装置との間で、不可逆的圧縮および／または圧縮解除を示す情報を、エンコードされるデータとは別個に通信することも可能である。それにはたとえば、エンコードされるデータの実際の伝送に先立つ、組み込み圧縮同期プロトコルにおける専用信号を使う。その場合、エンコーダ装置およびデコーダ装置は、共通の組み込み圧縮／圧縮解除属性を「ネゴシエーション」することができる。

エンコーダによって使用される特定の組み込み圧縮アルゴリズムは、用途に依存してもよい。ビデオ用途では、組み込み圧縮アルゴリズムは、たとえば同じライン上で先行する二つのピクセルおよび直前のライン上の五つのピクセルを考慮に入れた、差分予測に関わるものでもよい。エンコーダ情報信号qcおよび／またはqdは、たとえばMPEG独自のデータで、圧縮信号中でデコーダ装置に伝送されてもよい。オーディオ用途では、いかなる差分予測も現在および／または以前のオーディオ標本値に関わるものでもよい。

信号は、いくつかの方法で（たとえば独自のフィールド中に）、使用される組み込み圧縮についての必要とされる情報を含むことができる。たとえば、ビデオ予測は、現在のライン上の先行する二つのピクセルおよび直前のライン上の当該ピクセル位置について水平方向に対称的な五つのピクセルに基づく現在ピクセルの線形予測を使ってもよい。その際、信号がアルゴリズム自体、たとえばソフトウェア・コードまたは予測公式またはパラメータ、たとえば予測公式の7つの重み係数などを含むことができる。指標は一つの指数という簡単なものでもよい。たとえば、10個の可能なアルゴリズムが規格で規定されるか、以前の機会に（たとえば、通信セッションの始めにたとえば専用チャネルを介して、あるいは製造時に販売される製品中に事前組み込みされて）（規格の規定とは独立して）ネゴシエーションされるかしている場合、信号中の識別情報はたとえば、今の情報を圧縮するために利用可能な圧縮アルゴリズムのうちの7番目のものが使用されたということを示す「7」などでありうる。

使用される組み込み圧縮アルゴリズムはハイブリッド圧縮アルゴリズムであることができる。その場合、組み込み圧縮アルゴリズムに関連付けられた動きベクトルがビットストリームに加えられることができる。組み込み圧縮アルゴリズムが、エンコーダ・ユニット２２によって用いられる親圧縮アルゴリズムの一つまたは複数の「構築要素」を再使用できたとすると、特に有利であろう。この再使用は、時間多重化（集積回路表面積を節約する）によって、あるいは複製（集積回路表面積を増すが設計努力を節約する）によって達成できる。ある個別的な実施形態では、これは、単にすでに圧縮された親ビットストリームの諸部分を保存し、それらの部分を必要に応じて圧縮解除する組み込み圧縮アルゴリズムを可能にする。この手法は、デコーダの（計算上の）複雑さの増加を代償として、比較的高い圧縮比（compression ratio）および対応するメモリ節約につながる。

組み込み圧縮の作用対象となるデータ単位は、親圧縮のデータ単位と同じ（すなわち、典型的にはビデオ用途では単一のスライス）であることができるが、より大きかったりより小さかったりすることもできる。さらに、ある種のパラメータ設定（たとえば品質）は、親圧縮のパラメータ設定に密接に対応することができるが、独立に選ばれることもできる。

たとえば、MPEG-2用途では、GOP（すなわち、ピクチャー・グループ［Group of Pictures］）の終わりのほうでは、（ドリフト）誤差伝搬はそれほど深刻でないので、組み込み圧縮の品質を低下させてもよい。これは、次のGOPの最初の部分のための利用可能メモリ（よって品質）を上げるために有利に使うことができる。組み込み圧縮パラメータはまた、たとえば親圧縮のピクチャー／スライス型に依存し、Bピクチャー／スライスのためにのみ使われるデータについては、それらのピクチャーはそれほどドリフトに敏感でないので、より低い品質を使うこともできる。

図２ｂの実施形態では、デコーダ・メモリ・ユニット３３は、図２ａのエンコーダ・メモリ・ユニット２３と同様の、圧縮（Ｃ）ユニット３３１、メモリ３３２および圧縮解除（Ｄ）ユニット３３３を有するよう示されている。メモリ・ユニット３３は、信号g′（＝図１のh）を受信し、信号gを生成する。デコーダ・メモリ・ユニット３３は好ましくは、それぞれ組み込み圧縮および組み込み圧縮解除を示す情報信号qcおよびqdを受信するよう構成される。図１で見て取れるように、デコーダ・ユニット３１（またはある代替的な実施形態ではデマルチプレクサ）は、入力信号eから情報信号qcおよびqdを生成し、これらの情報信号をメモリ・ユニット３３に与える。結果として、デコーダ圧縮ユニット３３１は、エンコーダ圧縮ユニット２３１と厳密に同じ（不可逆的）圧縮を使うことができ、デコーダ圧縮解除ユニット３３３は、エンコーダ圧縮解除ユニット２３３と厳密に同じ（不可逆的）圧縮解除を使うことができる。このようにして、圧縮同期（compression synchronization）が達成される。

本発明のエンコーダ・デバイス２のあるさらなる実施形態が図３に示されている。ここでは変換ユニットおよび量子化ユニットが追加されている。変換ユニット２５は、離散コサイン変換（DCT）または別の好適な変換を使って差信号zを変換する。結果として得られる変換係数は、量子化（Ｑ）ユニット２６において量子化され、次いでエンコーダ・ユニット２２および逆量子化（ＩＱ）ユニット２７に与えられる。エンコーダ・ユニット２２はランレングス符号化（RLC: Run Length Coding）または別の好適な型の符号化を実行して、エンコードされた出力信号eを生じる。逆量子化ユニット２７は量子化解除された信号を生成し、それが逆変換ユニット２８に与えられる。逆変換ユニット２８は逆離散コサイン変換（IDCT）または変換ユニット２８によって実行された変換にマッチする別の逆変換を実行する。結果として得られる信号は、図１の実施形態と同様に、将来の予測信号y′を生じるために、加算ユニット２４に与えられる。

さらなる修正および追加が可能であることを注意しておく。たとえば、動き補償を実行し、より一層効率的な符号化を達成するために動きベクトルが生成されることができる。当業者は図１および図３のエンコーダ装置をしかるべく修正できるであろう。任意的なフィルタ動作が圧縮解除ユニット２３３（図２）に有利に組み込まれてもよい。

本発明のデコーダ・デバイス３のある代替的な実施形態が図４に示されている。図４の例示的な実施形態では、逆量子化（ＩＱ）を実行するための逆量子化ユニット３４が追加され、逆離散コサイン変換（IDCT）またはエンコーダ装置の任意の変換を逆変換するのに好適な他の任意の変換を実行するための逆変換ユニット３５が追加されている。したがって、図４のデコーダ装置３は、ランレングス符号化（RLC: Run Length Coding）または類似のデコード動作を実行するよう構成されたデコーダ・ユニット３１、逆量子化ユニット３４、逆変換ユニット３５、加算ユニット３２およびメモリ・ユニット３３を有する。本発明によれば、デコーダ・メモリ・ユニット３３は、エンコーダ・メモリ・ユニット２３の不可逆的圧縮に一致する不可逆的圧縮のために設計される。

本発明に基づく消費者装置が図５に概略的に示されている。消費者装置９は、本発明に基づく符号化システム１および記憶ユニットのような他の要素９１を含む。記憶ユニットは、符号化されたビデオ・データ、符号化されたオーディオ・データおよび／または符号化された発話データのような符号化された（圧縮された）データを記憶するために使われてもよい。消費者装置はハードディスク・レコーダ、DVDレコーダ、有料TVのためのセットトップ・ボックス、カムコーダ装置または携帯電話装置であってもよい。

まとめると、本発明は、ともに予測信号を生成するためのループに構成されたメモリ・ユニットを有するエンコーダ装置およびデコーダ装置を有する符号化方法およびシステムを提供する。前記メモリ・ユニットは、必要メモリを削減するために不可逆的圧縮を適用する。異なるデータ削減に起因するドリフトを防ぐため、エンコーダ装置における不可逆的圧縮はデコーダ装置における不可逆的圧縮と実質的に同一である。たとえば、両方の圧縮は、同一のアルゴリズム、圧縮率および／または圧縮パラメータに関わるものであってもよい。

本発明の基礎をなす洞察は、エンコーダ予測ループとデコーダ・ループの間に生じるいかなるドリフトも、エンコーダ・メモリ・ユニットにおける不可逆的圧縮および圧縮解除がデコーダ・メモリ・ユニットにおける不可逆的圧縮および圧縮解除と同じ効果をもつことを保証することによって防ぐことができるということと、これが、両方のループに関わるデータ削減が少なくとも類似だが好ましくは同一であることを保証することによって達成できるということである。本発明は、エンコーダ予測ループおよびデコーダ予測ループの両方における類似または同一のデータ削減が、それらのループに関わるデータ圧縮を類似または同一にすることによって達成できるというさらなる洞察から裨益する。

本発明は、エンコーダ装置およびデコーダ装置を有する符号化システムとしてまとめてもよい。ここで、前記エンコーダ装置およびデコーダ装置の両方は、データ圧縮ユニットおよびデータ圧縮解除ユニットを具備するメモリ・ユニットを含む予測ループを有する。ここで、エンコーダ・メモリ・ユニットおよびデコーダ・メモリ・ユニットは、同じ入力信号を呈示されたときに実質的に同一の出力信号を生成するよう構成される。

本稿で使われるいかなる表現も、本発明の範囲を限定するものと解釈されるべきではないことを注意しておく。特に、「有する」および「含む」の語は、明示的に述べられていないいかなる要素も排除することは意図されていない。単一の（回路）要素は、複数の（回路）要素またはその等価物によって代替されてもよい。

当業者は、本発明が上に例示した実施形態に限定されず、付属の請求項で定義される本発明の範囲から外れることなく、多くの修正および追加がなしうることを理解するであろう。

本発明に基づく符号化システムを示す概略図である。本発明に基づく組み込まれたメモリ・ユニットを示す概略図である。本発明に基づく組み込まれたメモリ・ユニットを示す概略図である。本発明に基づくエンコーダ装置の代替的な実施形態を示す概略図である。本発明に基づくデコーダ装置の代替的な実施形態を示す概略図である。本発明に基づく符号化システムを組み込んでいる消費者装置を示す概略図である。

Claims

エンコーダ装置であって：
・入力信号からエンコーダ予測信号を減算して差信号を生成する減算ユニットと、
・前記差信号をエンコードしてエンコードされた信号を生成するエンコード・ユニットと、
・前記差信号と前記エンコーダ予測信号とを加算して合成信号を生成する加算ユニットと、
・予測信号を生成するよう、前記合成信号を一時的に保存する、前記合成信号の不可逆的圧縮および圧縮解除をするよう構成されているメモリ・ユニットとを有しており、
前記エンコードされた信号に、不可逆的圧縮および／または圧縮解除を示す情報を加えるよう構成されている、エンコーダ装置。
不可逆的圧縮および／または圧縮解除を示す前記情報が、エンコード・プロファイルまたはレベルといったエンコード設定中に含まれる、請求項１記載のエンコーダ装置。
不可逆的圧縮および／または圧縮解除を示す前記情報がパラメータに含まれ、当該エンコーダ装置がさらに、エンコードされた信号と前記パラメータを多重化するマルチプレクサを有する、請求項１記載のエンコーダ装置。
デコーダ装置であって：
・エンコードされた信号をデコードしてデコードされた信号を生成するデコード・ユニットと、
・デコードされた信号とデコーダ予測信号とを加算して出力信号を生成する加算ユニットと、
・デコーダ予測信号を生成するよう、前記出力信号を一時的に保存する、前記デコーダ予測信号の不可逆的圧縮および圧縮解除をするよう構成されているメモリ・ユニットとを有しており、
不可逆的圧縮および／または圧縮解除を示す情報を受領し、解釈するよう構成されている、デコーダ装置。
不可逆的圧縮および／または圧縮解除を示す前記情報がパラメータに含まれ、当該デコーダ装置がさらに、エンコードされた信号と前記パラメータを多重化解除するデマルチプレクサを有する、請求項４記載のデコーダ装置。
エンコーダ装置およびデコーダ装置を有する符号化システムであって、前記エンコーダ装置は：
・入力信号からエンコーダ予測信号を減算して差信号を生成する減算ユニットと、
・前記差信号をエンコードしてエンコードされた信号を生成するエンコード・ユニットと、
・前記差信号と前記エンコーダ予測信号とを加算して合成信号を生成する加算ユニットと、
・予測信号を生成するよう、前記合成信号を一時的に保存する、前記合成信号の不可逆的圧縮および圧縮解除をするよう構成されているメモリ・ユニットとを有しており、
・前記デコーダ装置は：
・エンコードされた信号をデコードしてデコードされた信号を生成するデコード・ユニットと、
・デコードされた信号とデコーダ予測信号とを加算して出力信号を生成する加算ユニットと、
・デコーダ予測信号を生成するよう、前記出力信号を一時的に保存する、前記デコーダ予測信号の不可逆的圧縮および圧縮解除をするよう構成されているメモリ・ユニットとを有しており、
前記のエンコーダ・メモリ・ユニットおよび前記のデコーダ・メモリ・ユニットが、同じ入力信号を呈示されたときに実質的に同一の出力信号を生成するよう構成されている、
システム。
前記エンコーダ・メモリ・ユニットおよび前記デコーダ・メモリ・ユニットが、類似のまたは同一の不可逆的圧縮および圧縮解除をするよう構成されている、請求項６記載の符号化システム。
前記エンコーダ・メモリ・ユニットおよび前記デコーダ・メモリ・ユニットにおける圧縮が、同一のアルゴリズム、同一の圧縮率および／または同一の圧縮パラメータに関わるものである、請求項６記載の符号化システム。
前記エンコーダ装置が、エンコードに先立って前記差信号を変換する変換ユニットと、変換された差信号とエンコーダ予測信号を加算するのに先立って変換された差信号を逆変換する逆変換ユニットとをさらに有する、請求項６記載の符号化システム。
前記エンコーダ装置が、エンコードに先立って前記の変換された差信号を量子化する量子化ユニットを、および好ましくはまた逆変換に先立って量子化された差信号を逆量子化する逆量子化ユニットをもさらに有する、請求項９記載の符号化システム。
前記デコーダ装置が加算に先立ってデコードされた信号を逆変換する逆変換ユニットを有する、請求項１１記載の符号化システム。
前記エンコーダ装置が、前記エンコーダ・メモリ・ユニットで使用される不可逆的圧縮および圧縮解除を示すマーカーを、前記エンコードされた信号中に挿入するよう構成されている、請求項６記載の符号化システム。
前記エンコーダ装置と前記デコーダ装置との間に結合された媒体をさらに有し、該媒体が好ましくは記憶媒体または伝送媒体である、請求項６記載の符号化システム。
請求項１記載のエンコーダ装置、請求項４記載のデコーダ装置および／または請求項６記載の符号化システムを有する消費者装置。
セットトップ・ボックス、携帯電話装置またはハードディスク・レコーダもしくはDVDレコーダのようなビデオ・レコーダによって構成される、請求項１４記載の消費者装置。
請求項１記載のエンコーダ装置、請求項４記載のデコーダ装置および／または請求項１記載の符号化システムを有しており、前記エンコーダ装置および前記デコーダ装置が別個の位置に配置される、送信システム。
エンコード方法であって：
・入力信号からエンコーダ予測信号を減算して差信号を生成する段階と、
・前記差信号をエンコードしてエンコードされた信号を生成する段階と、
・前記差信号と前記エンコーダ予測信号とを加算して合成信号を生成する段階と、
・予測信号を生成するよう、前記合成信号の不可逆的圧縮および圧縮解除をするよう構成されている、前記合成信号を一時的に保存する段階とを有しており、
当該エンコード方法は、前記エンコードされた信号に、不可逆的圧縮および／または圧縮解除を示す情報を加えるよう構成されている、エンコード方法。
デコード方法であって：
・エンコードされた信号をデコードしてデコードされた信号を生成する段階と、
・デコードされた信号とデコーダ予測信号とを加算して出力信号を生成する段階と、
・デコーダ予測信号を生成するよう、前記デコーダ予測信号の不可逆的圧縮および圧縮解除をするよう構成されている、前記出力信号を一時的に保存する段階とを有しており、
当該デコード方法は、不可逆的圧縮および／または圧縮解除を示す情報を受領し、解釈する追加的な段階を有する、デコード方法。
不可逆的圧縮および／または圧縮解除を示す前記情報がエンコードされた信号に含まれる、請求項１８記載のデコード方法。
不可逆的圧縮および／または圧縮解除を示す前記情報の少なくとも一部が、エンコードされた信号を受領するのに先立って受領される、請求項１８記載のデコード方法。
エンコーダ段およびデコーダ段を有する符号化方法であって、前記エンコーダ段は：
・入力信号からエンコーダ予測信号を減算して差信号を生成する段階と、
・前記差信号をエンコードしてエンコードされた信号を生成する段階と、
・前記差信号と前記エンコーダ予測信号とを加算して合成信号を生成する段階と、
・予測信号を生成するよう、前記合成信号の不可逆的圧縮および圧縮解除を適用して前記合成信号を一時的に保存する段階とを有しており、
前記デコーダ段は：
・エンコードされた信号をデコードしてデコードされた信号を生成する段階と、
・デコードされた信号とデコーダ予測信号とを加算して出力信号を生成する段階と、
・デコーダ予測信号を生成するよう、前記デコーダ予測信号の不可逆的圧縮および圧縮解除を適用して、前記出力信号を一時的に保存する段階とを有しており、
前記のエンコーダの保存段階および前記のデコーダの保存段階が、同じ入力信号を呈示されたときに実質的に同一の出力信号を生成する、
方法。
前記エンコーダの保存段階および前記デコーダの保存段階はそれぞれ、合成信号および出力信号の類似または同一の圧縮に関わるものである、請求項２１記載の符号化方法。
エンコーダの保存段階およびデコーダの保存段階における圧縮が、同一のアルゴリズム、同一の圧縮率および／または同一の圧縮パラメータに関わるものである、請求項２１記載の符号化方法。
前記エンコーダ段が、エンコードに先立って前記差信号を変換する変換段階と、変換された差信号とエンコーダ予測信号を加算するのに先立って変換された差信号を逆変換する段階とをさらに有する、請求項２１記載の符号化方法。
前記エンコーダ段が、エンコードに先立って前記の変換された差信号を量子化する量子化段階を、および好ましくはまた逆変換に先立って量子化された差信号を逆量子化する逆量子化段階をもさらに有する、請求項２４記載の符号化方法。
前記デコーダ装置が加算に先立ってデコードされた信号を逆変換する逆変換段階をさらに有する、請求項２４記載の符号化方法。
前記エンコーダ段と前記デコーダ段との間に、好ましくは記憶段または伝送段である追加的な段をさらに有する、請求項２１記載の符号化方法。
前記のエンコーダ保存段階で使用される不可逆的圧縮および圧縮解除を示すマーカーを、前記エンコードされた信号中に挿入する段階をさらに有する、請求項２１記載の符号化方法。
請求項１７記載のエンコード方法、請求項１８記載のデコード方法および／または請求項２１記載の符号化方法を実行するためのコンピュータ・プログラム。
エンコードされた信号（e）であって、該信号を生成するために使われた不可逆的圧縮および／または圧縮解除を示す情報を含む、信号。