JP2009182776A - 符号化装置、復号化装置、および、動画像符号化方法、動画像復号化方法 - Google Patents

Abstract

【課題】スケーラビリティを利用した符号化装置によるデータ伝送において、データ圧縮率を向上させ、スケーラブルなデータ構造により、伝送帯域の効率的な利用をおこなう。
【解決手段】各々のレイヤ毎に、画像データを圧縮符号化する周波数変換部、量子化部、可変長符号化部と、予測のための画像を生成する逆周波数変換部、逆量子化部とを備え、画像の解像度を縮小するダウンサンプリング部と、画像の解像度を向上させる超解像処理部や半画素生成処理部を設ける。そして、入力画像をダウンサンプリング部により、ダウンサンプリングして、解像度の低い下位レイヤの周波数変換部に入力し、下位レイヤの予測ために用いられる画像を、超解像処理部や半画素生成処理部によって、超解像処理や半画素生成処理をおこなって、それらの生成画像または差分画像を、解像度の高い上位レイヤの周波数変換部に入力する。
【選択図】図１

Description

本発明は、符号化装置、復号化装置、および、動画像符号化方法、動画像復号化方法に係り、特に、階層の異なるデータを同時に送信して、データの特性に応じて利用するスケーラビリティに応用して、データ伝送効率を向上させるのに好適な符号化装置、復号化装置、および、動画像符号化方法、動画像復号化方法に関する。

今日、伝送帯域の限られた状況、また、データを受信する端末の種類が複数存在する状況において、映像データや音声データを伝送するために、スケーラビリティと呼ばれる機能が導入されている。このスケーラビリティは、ビットストリームを部分的に復号することによってＳＮＲ（Signal to Noise Ratio）、空間解像度、時間方向の解像度などを段階的に可変とする機能であり、ＭＰＥＧ−２やＭＰＥＧ−４、Ｈ．２６４の拡張規格ＳＶＣといった動画像圧縮規格に採用されている。スケーラビリティの実現には、階層符号化と呼ばれる手法が用いられている。例えば、ＭＰＥＧ−２では、ＳＮＲスケーラブルプロファイル、空間スケーラブルプロファイル、Ｈｉｇｈプロファイルが定義されている。

伝送帯域の限られた状況において、単純にそれぞれの階層を別々に符号化して伝送する手法（サイマルキャスト）と比較して、少しでも符号化効率を向上させ、符号化に必要なヘッダ情報やサイド情報の重複を避けることは重要である。スケーラビリティは、各階層間でのこれらの情報の相互利用をおこなうことによって符号化効率を向上する。なお、スケーラビリティについては、以下の非特許文献１に解説がある。

ＳＮＲスケーラブルプロファイルは、後述するＳＮＲスケーラビリティと呼ばれる技術を採用し、グレースフルデグラデーション機能を実現する。グレースフルデグラデーションとは、例えば、電波の受信強度に応じた緩やかな画質の劣化を実現する機能である。通常のディジタル放送において、電波の受信強度がある規定値以下になった場合、それを境界としてまったく放送が受信できなくなるという問題があるが、放送にＳＮＲスケーラビリティを適用した場合は、画像の品質が緩やかに劣化することで、受信状態に応じた画質の再生が可能となる。

ＳＮＲスケーラビリティは、周波数領域（ＭＰＥＧ−２ではＤＣＴ係数）の階層符号化を実現する。基本的な考え方は、ベースとなる画質（基準となる低ＳＮＲ）を提供する信号を高い優先度の伝送路で送り出し、さらに空間解像度は同一で、ベースの画質を向上させるための補助信号（エンハンスメント信号）を低い優先度の伝送路で送り出す。これにより、両方の信号を受信できる地域では高画質な復号が可能となる。また、受信状態が悪化しエンハンスメント信号を受け取れない場合でも、ベースとなる信号は高優先度で伝送、受信されるため、基準となる画質を再生する信頼度を向上させることができる。

ここで、図７および図８を用いてＳＮＲスケーラビリティの符号化と復号化の例について説明する。
図７は、ＳＮＲスケーラビリティ符号化装置の構成例を示す図である。
図８は、ＳＮＲスケーラビリティ復号化装置の構成例を示す図である。

図７に示されるように、符号化装置に、入力画像５００を入力し、低ＳＮＲビットストリームを生成するために、ＭＣ部５０７で生成される予測画像との差分画像データをＤＣＴ部５０１へ入力する。ここで、予測画像は、逆量子化部５０４、ＩＤＣＴ部５０５、ＦＭ（フレームメモリ）部５０６、ＭＣ（Motion Compensation）部５０７とで形成されるループ処理によって生成される予測のための画像である。

ＤＣＴ部５０１に入力されたデータに対し、ＤＣＴ処理部５０１でＤＣＴをおこなった後、量子化部５０２において粗く量子化し、ＶＬＣ部５０３によって低ＳＮＲのビットストリーム５４１を生成する。また、量子化部５０２の出力を逆量子化部５０４で逆量子化し、粗く量子化したＤＣＴ係数を生成する。このＤＣＴ係数をＤＣＴ部５１１が出力するＤＣＴ係数との差分をとり、量子化部５１２へ入力する。また、逆量子化部５０４の出力を逆量子化部５１４の出力に足しこみ、ＩＤＣＴ部５１５へ入力する。逆量子化部５０４とＩＤＣＴ部５０５とＦＭ（フレームメモリ）部５０６とＭＣ（Motion Compensation）部５０７とで形成されるループ処理は、ＭＰＥＧ−２におけるローカルデコードであり、デコーダ側で復元される画像をエンコーダ側でも生成し、復元された画像は、次フレームの予測をおこなうために用いられる。

一方で、エンハンスメントストリーム５４０については、Ｄｅｌａｙ部５１０へ入力画像５００を入力したのち、ＭＣ部５１７で生成される予測画像との差分をとり、差分画像がＤＣＴ部５１１に入力される。ここで、予測画像は、逆量子化部５１４、ＩＤＣＴ部５１５、ＦＭ（フレームメモリ）部５１６、ＭＣ（Motion Compensation）部５１７とで形成されるループ処理によって生成される予測のための画像である。

ＤＣＴ部５１１に入力された画像は、ＤＣＴ部５１１により周波数変換される。そしい、ＤＣＴ部５１１によって出力されたＤＣＴ係数から、ＩＱ部５０４の出力するＤＣＴ係数の差分をとり、それを量子化部５１２へ入力する。ここで生成された差分信号は、低ＳＮＲ信号を足しこむことによって、高ＳＮＲ信号を得るための信号である。そして、量子化部５１２で量子化されたデータをＶＬＣ部５１３で可変長符号化することにより、エンハンスメントビットストリーム５４０を生成する。また、予測のために、ＩＤＣＴ部５１５とＦＭ（フレームメモリ）部５１６とＭＣ（Motion Compensation）部５１７によって、エンハンスメント画像データのローカルデコードをおこない、ＭＣ部５１７から出力されるデータを、ＤＣＴ部５１１に入力する。

ＳＮＲスケーラビリティの復号化の場合には、図８に示されるＳＮＲスケーラビリティ復号装置により、低ＳＮＲビットストリーム５４０をＶＬＤ部６００によって復号処理をおこない、ＩＱ部６０１によって逆量子化をおこなう。一方、エンハンスメントビットストリーム５４１をＶＬＤ部６０２によって復号処理をおこない、ＩＱ部６０３によって逆量子化をおこなう。そして、ＩＱ部６０１から出力されるＤＣＴ係数とＩＱ部６０３から出力されるＤＣＴ係数を足し合わせ、ＩＤＣＴ部６０４によってＩＤＣＴ処理をおこなう。以降は、シングルレイヤの場合と同様に復号をおこなう。

空間スケーラブルプロファイルは、例えば、ＳＤＴＶ（Standard Definition Television）とＨＤＴＶ（High Definition Television）など、解像度の異なる画像間における表示の両立を実現する手法である。

空間スケーラビリティは、解像度の異なる階層間での画像の相似性を利用して、符号化効率を高めるための技術である。ここで、図９および図１０を用いて空間スケーラビリティの符号化と復号化の例について説明する。
図９は、空間スケーラビリティ符号化装置の構成例を示す図である。
図１０は、空間スケーラビリティ復号化装置の構成例を示す図である。

図９に示されるように、空間スケーラビリティ符号化装置では、先ず、下位レイヤのビットストリームを生成するために、入力画像５００をダウンサンプリング部７００でダウンサンプリングする。この画像とＭＣ部５０７によって生成された予測画像の差分をとり、ＤＣＴ部５０１に入力する。ここで、図８の場合と同様、予測画像は、逆量子化部５０４、ＩＤＣＴ部５０５、ＦＭ（フレームメモリ）部５０６、ＭＣ（Motion Compensation）部５０７とで形成されるループ処理によって生成される予測のための画像である。

ＤＣＴ部５０１に入力されたデータに対し、ＤＣＴ処理部５０１でＤＣＴをおこなった後、量子化部５０２において粗く量子化をおこない、その後、ＶＬＣ部５０３で可変長符号化をおこない、下位レイヤビットストリーム７１１を伝送する。また、量子化部５０２の出力を、ＩＱ部５０４で逆量子化、ＩＤＣＴ部５０５でＩＤＣＴ処理したものを、アップサンプリング部７０１で入力画像と同じ解像度に変換し、この画像を上位レイヤの動き補償における２枚の参照画像と共に、第３の参照画像として用いる。この下位レイヤからの予測を、空間予測と呼ぶ。空間予測参照画像は、上位レイヤで符号化する画像と同一の時間における画像のため、動き補償の必要はない。ここで、ＭＣ部５１７の出力である動き補償画像とアップサンプリングフィルタ部７０１の出力である空間予測画像は、０から１までの値をとる変数Ｗを用いて、それぞれ（Ｗ）および（１−Ｗ）の重み付けで加算され、上位レイヤの予測に利用される。

空間スケーラビリティの復号をおこなう場合、図１０に示される空間スケーラビリティ復号化装置では、下位レイヤビットストリーム７１１をＶＬＤ部８００とＩＱ部８０１とＩＤＣＴ部８０２で復号をおこなう。また、下位レイヤの復号画像をアップサンプリング部８０５でアップサンプリングし、上位レイヤビットストリームの復号に利用する。上位レイヤビットストリーム７１０は、ＶＬＤ部８１０とＩＱ部８１１とＩＤＣＴ部８１２で復号をおこない、下位レイヤの復元画像をアップサンプリングした画像と上位レイヤで動き補償された画像をそれぞれ参照画像として、符号化伝送された変数Ｗから、（Ｗ）、（１−Ｗ）の重み付け加算をおこなうことにより、高品質で高解像度の画像を生成する。

さらに、このＳＮＲスケーラビリティと空間スケーラビリティを組み合わせて利用できるＨｉｇｈプロファイルも存在する。

また、最近のテレビ受像機は大画面化が進んでおり、放送や通信、蓄積媒体などから入力された画像信号をそのまま表示するのではなく、デジタル信号処理によって水平・垂直方向の画素数を増やして表示することが一般的におこなわれている。この際、一般的に知られているｓｉｎｃ関数を用いた補間ローパスフィルタやスプライン関数等によって画素数を増やすだけでは解像度を上げることはできない。

そこで、特許文献１、特許文献２、非特許文献２に記載されているように、入力された複数の画像フレームを合成して１枚のフレームとすることにより、高解像度化しながら画素数を増やす技術（以下、「超解像処理」という）が提案されている。

特開平８−３３６０４６号公報 特開平９−６９７５５号公報 テレビジョン学会編 「総合マルチメディア選書ＭＰＥＧ」、平成８年４月２０日、５−６ スケーラビリティ、p.117-132 青木伸 "複数のデジタル画像データによる超解像処理", Ricoh Technical Report pp.19-25, No.24, NOVEMBER, 1998 Gary J. Sullivan and Thomas Wiegand, "Rate-Distortion Optimization for Video Compression", IEEE Signal Processing Magazine, vol. 15, no. 6, pp.74-90, November, 1998.

前述のとおり、複数種類の受信端末向けに複数解像度のデータのサイマルキャスティングをおこなう場合、限られた伝送帯域を大幅に占有し、伝送効率が悪いという問題点がある。

また、従来のスケーラビリティを利用した伝送方法でも、よりデータ圧縮率を向上させ、伝送効率をよくしたいという要請がある。

本発明は、上記問題点を解決するためになされたもので、その目的は、スケーラビリティを利用した符号化装置、および、復号化装置によるデータ伝送において、データ圧縮率を向上させ、スケーラブルなデータ構造により、伝送帯域の効率的な利用をおこなうことにある。

本発明の符号化装置は、画像を入力して、複数の解像度の異なるレイヤからなるストリームとして、各々符号化して出力する符号化装置において、各々のレイヤ毎に、画像データを圧縮符号化する周波数変換部、量子化部、可変長符号化部と、予測のための画像を生成する逆周波数変換部、逆量子化部とを備え、画像の解像度を縮小するダウンサンプリング部と、画像の解像度を向上させる超解像処理部や半画素生成処理部を設ける。そして、入力画像をダウンサンプリング部により、ダウンサンプリングして、解像度の低い下位レイヤの周波数変換部に入力し、下位レイヤの予測ために用いられる画像を、超解像処理部や半画素生成処理部によって、超解像処理や半画素生成処理をおこなって、それらの生成画像または差分画像を、解像度の高い上位レイヤの周波数変換部に入力する。

また、本発明の復号化装置では、複数の解像度の異なるレイヤからなるストリームを入力して、各々解像度の異なる画像を出力する復号化装置において、各々のレイヤ毎に、圧縮されたデータを復号する逆周波数変換部、逆量子化部を備え、下位レイヤのストリームから生成され、復号の際に予測に用いられる画像を、超解像処理部や半画素生成処理部によって、超解像処理や半画素生成処理をおこなって、それらの生成画像を、解像度の高い上位レイヤのストリームから生成された画像と加えた画像を生成する。

本発明によれば、スケーラビリティを利用した符号化装置、および、復号化装置によるデータ伝送において、データ圧縮率を向上させ、スケーラブルなデータ構造により、伝送帯域の効率的な利用をおこなうことにある。

以下、本発明に係る各実施形態を、図１ないし図６を用いて説明する。

〔実施形態１〕
以下、本発明の第一の実施形態に係る映像の符号化装置と復号化装置を、図１ないし図４を用いて説明する。

先ず、図２を用いて本発明の第一の実施の形態に係る映像の符号化装置のハードウェア構成について説明する。
図２は、本発明の第一の実施の形態に係る映像の符号化装置のハードウェア構成について説明するブロック図である。

本実施形態の映像の符号化装置２０１は、図２に示されるように、相互に通信可能に接続されたプロセッサ２０２、メモリ２０３、入力インターフェース（入力Ｉ／Ｆ）２０４および出力インターフェース（出力Ｉ／Ｆ）２０６からなる。入力Ｉ／Ｆ２０４は、入力装置２０５に接続されており、また、出力Ｉ／Ｆ２０６は、出力装置２０７に接続されている。

プロセッサ２０２は、本実施形態の映像の符号化の処理をおこなうプロセッサであり、メモリ２０３に格納されたプログラムを実行して、入力Ｉ／Ｆ２０４から受けたデータを符号化し、出力Ｉ／Ｆ２０６に送る。メモリ２０３には、プロセッサ２０２が実行するプログラムが格納される。また、プロセッサ２０２が処理する対象となるデータが一時的に格納される。映像の符号化装置２０１には、プロセッサ２０２およびメモリ２０３が複数設けられてもよい。例えば、本発明の映像の符号化の処理をおこなうプログラムの一部のみを実行する専用のプロセッサが設けられてもよい。また、同一の処理をおこなう専用のプロセッサが複数設けられてもよい。

プロセッサ２０２およびメモリ２０３は、単一のチップ上に実装されてもよい。

入力Ｉ／Ｆ２０４は、プロセッサ２０２が処理する映像データを入力装置２０５から受信するインターフェースである。

入力装置２０５は、映像の符号化装置２０１が処理する映像信号を入力Ｉ／Ｆ２０４に入力する装置であり、例えば、レンズや映像撮像素子である。この場合、入力Ｉ／Ｆ２０４は、例えば、Ａ／Ｄコンバータである。また、入力装置２０５は、符号化されていない映像データが格納された記憶装置であってもよい。この場合、入力Ｉ／Ｆ２０４は、例えば、ＳＡＴＡ（Serial AT Attachment）インターフェースである。

出力Ｉ／Ｆ２０６は、プロセッサ２０２によって符号化されたデータを出力装置２０７に送信するインターフェースである。

出力装置２０７は、映像符号化装置２０１が符号化したデータの出力先であり、例えば、符号化したデータを格納する記憶装置である。この場合、出力Ｉ／Ｆ２０６は、例えば、ＳＡＴＡインターフェースである。また、出力装置２０７は、ＬＡＮやＩＰネットワーク等（図示省略）を介して出力Ｉ／Ｆ２０６と接続されたコンピュータ装置であってもよい。この場合、出力Ｉ／Ｆ２０６は、ネットワークインターフェースである。また、出力装置２０７は、電話通信網（図示省略）を介して出力Ｉ／Ｆ２０６と接続された受像装置であってもよい。この場合、出力Ｉ／Ｆ２０６は、電話信号の送信機である。また、出力装置２０７は、デジタルＴＶ受像機であってもよい。この場合、出力Ｉ／Ｆ２０６は、デジタルＴＶ信号の送信機が処理するインターフェースになる。

映像の符号化装置２０１は、入力Ｉ／Ｆ２０４および出力Ｉ／Ｆ２０６をそれぞれ複数備え、それぞれの入力Ｉ／Ｆ２０４および出力Ｉ／Ｆ２０６に、異なる種類の入力装置および出力装置が接続されてもよい。例えば、映像符号化装置２０１は、二つの出力Ｉ／Ｆ２０６を備え、一方には、ハードディスク装置が接続され、もう一方には光磁気ディスク装置が接続されてもよい。また、一方には、ハードディスク装置が接続され、もう一方にはＬＡＮ等を介してコンピュータ装置が接続されてもよい。

次に、図１を用いて本発明の第一の実施形態に係る映像の符号化装置の構成と動作について説明する。
図１は、本発明の第一の実施形態に係る映像の符号化装置の構成を示すブロック図である。

映像の符号化装置は、図１に示されるように、原画メモリ１０１と、ブロック分割部１０２および１１２と、予測部１０３および１１３と、周波数変換部１０４および１１４と、量子化部１０５および１１５と、可変長符号化部１０６および１１６と、量子化部１０７および１１７と、逆周波数変換部１０８および１１８と、参照画メモリ１０９および１１９と、ダウンサンプリング部１１０と、超解像処理部１２０と、半画素生成部１２１を備える。

原画メモリ１０１は、入力された原画像を一時的な保持するメモリである。ブロック分割部１０２および１１２は、画像の一部をブロック単位で処理をおこなうために画像を複数の画像ブロックに分割する。予測部１０３および１１３は、同一フレーム内（イントラ予測）または前後のフレーム間（イントラ予測）での予測をおこなう。周波数変換部１０４および１１４は、画像信号に対して、例えば、ＤＣＴ（Discrete Cosine Transform：離散コサイン変換）などの周波数変換をおこなう。量子化部１０５および１１５は、入力される周波数係数に対して量子化処理をおこなう。可変長符号化部１０６および１１６は、量子化されたデータに対してビット数を圧縮するための可変長符号化をおこなう。

逆量子化部１０７および１１７は、量子化とは逆の逆量子化処理をおこなう。逆周波数変換部１０８および１１８は、周波数係数から画像を得る逆周波数変換をおこなう。参照画メモリ１０９および１１９は、参照画像を保持するための一時的なメモリである。

ダウンサンプリング部１１０は、入力画像を下位レイヤのビットストリームのためもの符号化をおこなうためにダウンサンプリング処理する。超解像処理部１２０は、複数のフレーム画像から高解像度画像を生成する超解像処理をおこなう。半画素生成部１２１は、半画素精度の画素を生成する半画素生成処理をおこなう。超解像処理部１２０と半画素生成部１２１は、下位レイヤのストリーム生成のための画像を、上位レイヤのストリームを生成するためにアップサンプリングする処理をおこなうアップサンプリング部を形成する。

なお、これら各部はハードウェアによって構成されてもよいし、ソフトウェアによって構成されていてもよい。また、ハードウェアとソフトウェアとを組み合わせたモジュールであってもよい。また、周波数変換部の処理は特に限定されず、ＤＣＴ、ＤＳＴ（Discrete Sine Transform：離散サイン変換）、ＤＦＴ（Discrete Fourier Transform：離散フーリエ変換）、ウェーブレット変換、整数変換処理等がおこなわれてもよい。

ブロック分割部１０２、予測部１０３、周波数変換部１０４、量子化部１０５は、可変長符号化部１０６は、上位レイヤビットストリームを生成するための圧縮機能を実現する一つの圧縮部であり、一方、ブロック分割部１１２、予測部１１３、周波数変換部１１４、量子化部１１５、可変長符号化部１１６は、上位レイヤビットストリームを生成するための圧縮機能を実現する一つの圧縮部である。

また、逆量子化部１０７、逆周波数変換部１０８、参照画メモリ１０９は、上位レイヤビットストリームを生成するための予測を実現するための伸張をおこなう一つの伸張部であり、逆量子化部１１７、逆周波数変換部１１８、参照画メモリ１１９は、下位レイヤビットストリームを生成するための予測を実現するための伸張をおこなう一つの伸張部である。

ここで、ブロック分割部１０２と１１２、予測部１０３と１１３、周波数変換部１０４と１１４、量子化部１０５と１１５、可変長符号化部１０６と１１６、逆量子化部１０７と１１７、逆周波数変換部１０８と１１８、参照画メモリ１０９と１１９はそれぞれ一つのハードウェアで構成され、時分割で使用されてもよい。

また、半画素生成部１２１は、予測部１０３や予測部１１３内に存在する半画素生成部を用いて処理されてもよい。

次に、図１に示した映像の符号化装置の動作について説明する。

原画メモリ１０１に格納された入力画像１００は、ダウンサンプリング部１１０に入力される。ダウンサンプリング部１１０は、入力画像に対してローパスフィルタ処理をおこない、その後、画素の間引き処理をおこなう。間引き処理がおこなわれた画像は、下位レイヤのブロック分割部１１２に入力され、複数の画像ブロック単位に分割される。分割された画像ブロックは、予測部１１３によってフレーム内予測（イントラ予測）またはフレーム間予測（インター予測）がおこなわれ、予測画像が作成される。画面間予測をおこなう場合は、参照画メモリ１１９に格納されている画像データが参照される。

そして、ブロック分割部１１２の画像と予測部１１３で作成された予測画像の差分をとった画像が周波数変換部１１４に入力される。周波数変換部１１４は、入力画像を画像ブロック毎に周波数変換する。ここで、周波数変換処理はＤＣＴ処理やＤＳＴ処理やＤＦＴ処理やウェーブレット変換処理であってもよく、また、整数変換処理であってもよい。周波数変換された係数データは、量子化部１１５に入力される。量子化部１１５は、量子化パラメータを用いて、入力された周波数変換データを量子化する。量子化されたデータは、可変長符号化部１１６に入力される。可変長符号化部１１６は、入力データを動き補償情報や符号化モード情報等のサイド情報とともに可変長符号化し、下位レイヤビットストリーム１３１を作成する。下位レイヤビットストリーム１３１は、図２に示されるバッファとしての役割を果たすメモリ２０３に一旦格納される。そして、メモリ２０３から、入力された符号化データが、伝送回線速度にあわせて出力される。なお、このとき、後述する上位レイヤビットストリーム１３０と同じ伝送線路で伝送されてもよいし、別々の伝送線路によって伝送されてもよい。ここで、伝送線路とは無線による伝送や有線による伝送を問わず、また、ハードディスクドライブやＤＶＤといった記録媒体を介して伝送されてもよい。さらに、下位レイヤビットストリーム１３１と上位レイヤビットストリーム１３０のパケットは、一つのヘッダ情報に対してまとめて送信されてもよく、また、下位レイヤビットストリーム１３１と上位レイヤビットストリームの一部が交互に送信されてもよい。

一方、量子化部１１５によって生成された量子化データは、逆量子化部１１７に入力される。逆量子化部１１７は、量子化データを逆量子化する。逆量子化された係数データは、逆周波数変換部１１８に入力される。逆周波数変換部１１８は、このデータを逆周波数変換して差分ブロック画像として復元する。復元された差分ブロック画像は、予測部１１３から出力される予測画像と加算され、局部復号画像ブロックとして参照画メモリ１１９に格納される。そして、この局部復号画像ブロックが予測部１１３に入力される。局部復元画像ブロックは、また超解像処理部１２０と半画素生成部１２１に入力される。ここで、超解像処理部１２０と半画素生成部１２１と予測部１１３に入力される局部復号画像ブロックは、必ずしも参照画メモリ１１９から出力される必要はなく、参照画メモリに格納されるデータが直接入力されてもよい。

超解像処理部１２０は、入力された画像を複数フレーム使用し、高解像度画像を生成する。ここで、本実施形態において超解像処理部の処理内容は、必ずしも従来技術の所で示したような超解像処理である必要はなく、入力される画像の解像度を向上させる処理であれば、処理内容を特に限定しない。

一方、半画素生成部１２１は入力される局部復号画像ブロックに対し、半画素生成処理によって半画素精度の画像を生成する。ただし、半画素生成処理の代わりに１／４画素生成処理、１／８画素生成処理、…のように、それより画素の精度が細かくなる１／ｎ画素生成処理（ｎは２より大きい整数）がおこなわれてもよい。また、超解像処理の解像度に合わせた、解像度を向上させる処理であれば、特に処理内容は限定されない。ここで、半画素生成処理とは画素データに対してフィルタ処理をおこなうことで、１画素の２倍の精度を持つ画像を生成する処理を指し、具体的にはＭＰＥＧ−２やＭＰＥＧ−４やＨ．２６４／ＡＶＣにおける補間フィルタなどを意味する。より詳細な値を示すならば、ＭＰＥＧ−４のＡＳＰにおいて整数画素から半画素生成をおこなう場合の８タップのフィルタ係数は［−２ ６ −１２ ４０ ４０ −１２ ６ −２］／６４であり、半画素から１／４画素生成をおこなう場合の２タップのフィルタ係数は[１ １]／２である。また、Ｈ．２６４／ＡＶＣにおいて整数画素から半画素生成をおこなう場合の６タップのフィルタ係数は［１ −５ ２０ ２０ −５ １］／３２であり、半画素から１／４画素生成をおこなう場合の２タップのフィルタ係数は［１ １］／２である。

ここで、生成される半画素精度画像（場合によっては、それより精度が細かくなる１／ｎ画素生成精度画像（ｎは２より大きい整数））と、超解像処理部１２０の出力画像の差分をとり、その差分データをブロック分割部１０２へ入力する。または、原画メモリ１０１に格納された入力画像と半画素生成部１２１で生成した半画素精度画像の差分をとり、その差分データをブロック分割部１０２へ入力する。

ブロック分割部１０２は、超解像処理部１２０の出力と半画素生成部１２１の出力の差分データ、また、原画メモリ１０１に格納されているデータと半画素生成部１２１の出力の差分データを受信する。ブロック分割部１０２は、所定単位時間あたりの差分データの和をとり、この差分画像データ量があらかじめ設定した任意の値よりも小さい場合に、半画素生成（または、それより画素の精度が細かくなる１／ｎ画素生成（ｎは２より大きい整数））を実行するための情報のみを上位レイヤビットストリーム１３０として送信することもできる。なお、前述の所定単位時間は、１フレームを単位としてもよい。また、入力画像がインタレース信号の場合には１フィールドを単位としてもよい。あるいは、１フレームを複数のブロックに分割した際のブロックを所定単位時間としてもよい。さらに、フレーム単位で符号化モード（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）を変更する場合には、１ＧＯＰ（Group Of Pictures）を所定単位時間としてもよい。また、差分画像を圧縮せずに、ヘッダ情報と差分である画素データをそのまま送信してもよい。

このようにして、下位レイヤからアップサンプリングされた差分画像データは、ブロック分割部１０２で分割される。このとき、ブロック分割部１１２でダウンサンプリング画像を分割したブロック単位と異なるブロック単位で処理をおこなってもよい。そして、分割した画像を予測部１０３および周波数変換部１０４に入力する。

予測部１０３では、フレーム内予測（イントラ予測）もしくはフレーム間予測（インター予測）がおこなわれ、予測画像が作成される。フレーム間予測をおこなう場合には、参照画メモリ１０９に格納されている画像データが参照される。

周波数変換部１０４には、ブロック分割部１０２の画像と予測部１０３で作成された予測画像の差分をとった画像か、あるいは、ブロック分割部１０２の出力画像が入力される。周波数変換部１０４は、入力された画像を画像ブロック毎に周波数変換して、量子化部１０５に出力する。量子化部１０５は、量子化パラメータを用いて、入力された周波数変換データを量子化する。量子化されたデータは、可変長符号化部１０６に入力される。可変長符号化部１０６は、入力データを動き補償情報や符号化モード情報等のサイド情報とともに可変長符号化し、上位レイヤビットストリーム１３０を作成する。

このとき、ブロック分割部に入力される画像の選択、ブロック分割の大きさの選択や、周波数変換部１０４に入力される画像の選択、上位レイヤビットストリームを送信しない場合など、複数の符号化方法における符号量と画質のコストを算出し、最もコストの低い圧縮符号化方法となったデータを上位レイヤビットストリーム１３０として送信してもよい。例えば、画質の向上に対して、どれくらい符号量を増加させなければならないかを、コストとして算出してもよい。このとき、非特許文献３に示すＲ−Ｄ Ｏｐｔｉｍａｚａｔｉｏｎ技術を用いて、ビットレートと画質の値から算出するコストを予め算出しておき、符号化方法を選択してもよい。

上位レイヤビットストリーム１３０は、図２に示されるバッファとしての役割を果たすメモリ２０３に一旦格納される。そして、メモリ２０３から、入力された符号化データが、伝送回線速度にあわせて出力される。なお、このとき、下位レイヤビットストリーム１３０と共に同じ伝送線路によって送信されてもよいし、別々の伝送線路によって送信されてもよい。ここで伝送線路とは無線による伝送や有線による伝送を問わず、また、ハードディスクドライブやＤＶＤといった記録媒体を介して伝送されてもよい。

ここで、下位レイヤビットストリームを生成する圧縮符号化方法と上位レイヤビットストリームを生成する圧縮符号化方法は、必ずしも同じである必要はなく、また、上位レイヤビットストリームは、必ずしも伝送する必要はない。デコーダの構成が複数の動画像圧縮規格に対応した構成であれば、複数の動画像圧縮規格のツールをハイブリッドに使用した符号化ならびに復号化をおこなってもよい。例えば、半画素生成部１２１の出力画像を生成するためにＭＰＥＧ−４ＡＳＰの半画素生成フィルタを用い、その後の周波数変換部１０４では、Ｈ．２６４／ＡＶＣの整数変換処理をおこなってもよい。

本実施形態では、下位レイヤビットストリームと上位レイヤビットストリームを組み合わせた構成としているが、ストリームの種類は二つである必要はなく、３ストリーム以上の構成としてもよい。

また、本実施形態における下位レイヤビットストリーム１３１は上位レイヤビットストリーム１３０に比べて、例えば、ＣＲＣをおこなうなど手段により、ストリームの冗長性を持たせるなどして、エラー耐性を強化して伝送されてもよく、これによって、低ビットレートで必要最低限伝送を実現したいデータの伝送を強化できる。

また、本実施形態における、量子化部１１５と量子化部１０５の量子化パラメータは同じである必要はなく、例えば、量子化部１１５では低周波数領域の係数に対する量子化値を細かくとり、量子化部１０５では高周波数領域の係数に対する量子化値を細かくした量子化パラメータとしてもよい。

さらに、下位レイヤビットストリームを生成するための量子化部１１５では、粗い量子化パラメータで符号化をおこない、上位レイヤビットストリームを生成するための量子化部１０５で量子化パラメータを細かく設定してもよい。

次に、図４を用いて本発明の第一の実施形態に係る映像の復号化装置を説明する。
図４は、本発明の第一の実施の形態に係る映像の符号化装置のハードウェア構成について説明するブロック図である。

本実施形態の映像の復号化装置４０１は、相互に通信可能に接続されたプロセッサ４０２、メモリ４０３、入力インターフェース（入力Ｉ／Ｆ）４０４および出力インターフェース（出力Ｉ／Ｆ）４０６からなる。入力Ｉ／Ｆ４０４は、入力装置４０５に接続されており、また、出力Ｉ／Ｆ４０６は、出力装置４０７に接続されている。

プロセッサ４０２は、本実施形態の映像の復号化の処理をおこなうプロセッサであり、メモリ４０３に格納されたプログラムを実行して、入力Ｉ／Ｆ４０４から受けたデータを復号化し、出力Ｉ／Ｆ４０６に送る。

メモリ４０３には、プロセッサ４０２が実行するプログラムが格納される。また、プロセッサ４０２が処理する対象となるデータが一時的に格納される。

映像の復号化装置４０１には、プロセッサ４０２およびメモリ４０３が複数設けられてもよい。例えば、本発明の映像復号化の処理をおこなうプログラムの一部のみを実行する専用のプロセッサが設けられてもよい。

プロセッサ４０２およびメモリ４０３は、単一のチップ上に実装されてもよい。

入力Ｉ／Ｆ４０４は、プロセッサ４０２が処理する符号化されたデータを入力装置４０５から受信するインターフェースである。

入力装置４０５は、映像復号化装置４０１が処理する符号化されたデータを入力Ｉ／Ｆ４０４に入力する装置であり、例えば、符号化されたデータが格納された記憶装置である。この場合、入力Ｉ／Ｆ４０４は、例えば、ＳＡＴＡインターフェースである。また、入力装置４０５は、ＬＡＮやＩＰネットワーク等（図示省略）を介して入力Ｉ／Ｆ４０４と接続されたコンピュータ装置であってもよい。この場合、入力Ｉ／Ｆ４０４は、ネットワークインターフェースである。また、入力装置４０５は、電話通信網（図示省略）を介して入力Ｉ／Ｆ４０４と接続された映像データ送信装置であってもよい。この場合、入力Ｉ／Ｆ４０４は、電話信号の受信機である。また、入力装置４０５は、デジタルＴＶ放送局であってもよい。この場合、入力Ｉ／Ｆ４０４は、デジタルＴＶチューナーの提供するインターフェースである。

出力Ｉ／Ｆ４０６は、プロセッサ４０２によって復号化されたデータを出力装置４０７に送信するインターフェースである。

出力装置４０７は、映像の復号化装置４０１が復号化したデータの出力先であり、例えば、映像を出力するディスプレイである。この場合、出力Ｉ／Ｆ４０６は、例えば、ビデオカードである。また、出力装置４０７は、復号化したデータをストリーム記録する記憶装置である。この場合、出力Ｉ／Ｆ４０６は、例えば、ＳＡＴＡインターフェースである。

映像の復号化装置４０１は、入力Ｉ／Ｆ４０４および出力Ｉ／Ｆ４０６をそれぞれ複数備え、それぞれの入力Ｉ／Ｆ４０４および出力Ｉ／Ｆ４０６に、異なる種類の入力装置および出力装置が接続されてもよい。例えば、映像の復号化装置４０１は、二つの入力Ｉ／Ｆ４０４を備え、一方にはハードディスク装置が接続され、もう一方には光ディスク装置が接続されてもよい。また、一方にはハードディスク装置が接続され、もう一方にはＬＡＮ等を介してコンピュータ装置が接続されてもよい。

次に、図３を用いて本発明の一実施形態に係る映像の復号化装置の構成と動作について説明する。
図３は、本発明の一実施形態に係る映像の復号化装置の構成を示すブロック図である。

本実施形態の映像復号化装置４０１は、図３に示されるように、可変長復号部３００および３１０と、逆量子化部３０１および３１１と、逆周波数変換部３０２および３１２と、参照画メモリ３０３および３１３と、予測部３０４および３１４と、半画素生成部３２１からなる。ここで、可変長復号化部３００および３１０、逆量子化部３０１および３１１、逆周波数変換部３０２および３１２、予測部３０４および３１４はメモリ４０３に格納されプロセッサ４０２によって実行されるプログラムであり、参照画メモリ３０３および３１３は、メモリ４０３の一部の領域である。また、これらのプログラムの一部または全部はその処理をおこなう専用のハードウェアによって実現されてもよい。

また、可変長復号化部３００および３１０、逆量子化部３０１および３１１、逆周波数変換部３０２および３１２、予測部３０４および３１４はそれぞれ、同一のハードウェアによって実現されてもよく、それらのハードウェアを時分割に使用することで処理が実行されてもよい。

本実施形態の映像の復号化装置４０１は、図１に示した構成の映像の符号化装置２０１によって符号化されたストリームを復号化することができる。

以下、映像の復号化装置４０１の各部の機能と動作を、符号化されたストリームを復号化する手順に沿って説明する。

可変長復号化部３１０は、入力された下位レイヤビットストリーム１３１のデータを解析し、フラグやデータの情報からフレーム間予測（インター予測）やフレーム内予測（イントラ予測）に関するモードの制御を予測部３１４に対しておこなう。予測部３１４は、モードがインター予測の場合、可変長復号化部３１０からの動きベクトル等の情報と参照画メモリ３１３の画像データを用いてフレーム間予測をおこなう。また、モードがイントラ予測モードである場合、予測部３１４は、可変長復号化部３１０から伝送されたイントラ符号化モード等の情報と参照画メモリ３１３の画像とを用いてフレーム内予測をおこなう。

可変長復号化部３１０、逆量子化部３１１、逆周波数変換部３１２の基本的な機能は、従来の復号化装置と同じものであり、それぞれ、ストリームの復号と情報解析、変換係数の逆量子化および逆周波数変換等をおこなう。

参照画メモリ３１３と予測部３１４を用いて生成された予測画像と、逆周波数変換部３１２の出力である差分画像を足し合わせることにより、低解像度画像３３１を生成し、出力装置４０７に伝送して、復号化された画像の画面への表示出力などをおこなう。

同様に、上位レイヤビットストリームについても、可変長復号化部３００、逆量子化部３０１、逆周波数変換部３０２、参照画メモリ３０３、予測部３０４、を用いて同様に復号化がおこなわれる。このとき、上位レイヤビットストリーム１３０が、予測をおこなわずに圧縮され送信されてきた場合は、逆周波数変換部３０２の出力画像に予測部３０４の出力は足し合わされない、あるいは、値がすべて０の画像データが足し合わされる。これにより、上位レイヤビットストリームを復号化した画像データが復元される。これに、半画素生成部３２１から出力された半画素精度画像が足し合わされることにより、高解像度画像３３０が生成される。半画素生成部３２１では、図１に示した画素生成部１２１で処理される半画素生成処理と同じ処理がおこなわれる。ここで、半画素生成部１２１は、下位レイヤのストリームにより生成された画像を、上位レイヤのストリームから生成された画像と足し合わせるためのアップサンプリングする処理をおこなうアップサンプリング部を形成している。

以上説明した本実施形態の映像の符号化装置２０１および映像の復号化装置４０１は、同一のハードウェアとして実装されてもよい。この場合、メモリ２０３（または、メモリ４０３）には、図１および図３において説明した各プログラムが格納されると共に、図１および図３において説明した各領域が確保される。

以上説明したように、本実施形態によれば、入力画像をダウンサンプリングして符号化した下位レイヤビットストリームと、そのストリームを復号し、入力画像と半画素生成処理の生成画像の差分をとった画像、または、超解像処理と半画素生成処理の生成画像の差分をとった画像を圧縮符号化した上位レイヤビットストリームとを伝送することができる。その結果、画像データの高い圧縮によって、従来よりも効率的な伝送帯域の利用と、サイマルキャストに比べてより少ない伝送レートでの通信を実現することができる。これにより、データを受信する各受信端末に応じた好適な伝送を実現することが可能となる。

〔実施形態２〕
以下、本発明の第二の実施形態に係る映像の符号化装置と復号化装置を、図５および図６を用いて説明する。

本実施形態で説明する符号化装置と復号化装置は、第一の実施形態と比べて、下位レイヤビットストリームから生成される画像をアップサンプリングする処理の形態を変えたものである。

先ず、図５を用いて本発明の第二の実施形態に係る映像の符号化装置の構成と動作について説明する。
図５は、本発明の第二の実施形態に係る映像の符号化装置の構成を示すブロック図である。

図１に示した第一の実施形態の符号化装置の構成に対して、原画メモリ１０１に格納されている入力画像と超解像処理部１２０からの出力画像の差分をとり、ブロック分割部１０２へ入力している点が異なっている。その他の処理は、第一の実施形態の符号化装置と同様である。

この構成においても、従来技術に比べて復号化した際のデコード画像において、より高画質な動画像符号化が実現でき、復元時の画質が最大で原画像と同等の画質の伝送が可能となる。

次に、図６を用いて本発明の第二の実施形態に係る映像の復号化装置の構成と動作について説明する。
図６は、本発明の第二の実施形態に係る映像の復号化装置の構成を示すブロック図である。

図３に示した第一の実施形態の復号化装置の構成に対して、半画素生成部３２０が超解像処理部１０２０となっている点が異なっている。下位レイヤビットストリーム１３１をデコードした低解像度画像３３１を超解像処理部１０２０で超解像処理したものと、上位レイヤビットストリーム９００をデコードした画像とを足し合わせることにより、高画質な高解像度画像を復元することができる。

以上本実施形態の映像の符号化装置と復号化装置を用いれば、第一の実施形態と同様に、従来技術と比べて、より高画質な画像データを用いた伝送の実現が可能となる。

本発明の第一の実施形態に係る映像の符号化装置の構成を示すブロック図である。 本発明の第一の実施の形態に係る映像の符号化装置のハードウェア構成について説明するブロック図である。 本発明の一実施形態に係る映像の復号化装置の構成を示すブロック図である。 本発明の第一の実施の形態に係る映像の符号化装置のハードウェア構成について説明するブロック図である。 本発明の第二の実施形態に係る映像の符号化装置の構成を示すブロック図である。 本発明の第二の実施形態に係る映像の復号化装置の構成を示すブロック図である。 ＳＮＲスケーラビリティ符号化装置の構成例を示す図である。 ＳＮＲスケーラビリティ復号化装置の構成例を示す図である。 空間スケーラビリティ符号化装置の構成例を示す図である。 空間スケーラビリティ復号化装置の構成例を示す図である。

符号の説明

１００，５００…入力画像
１０１…原画メモリ
１０２，１１２…ブロック分割部
１０３，１１３，３０４，３１４…予測部
１０４，１１４…周波数変換部
１０５，１１５…量子化部
１０６，１１６…可変長符号化部
１０７，１１７，３０１，３１１…逆量子化部
１０８，１１８，３０２，３１２…逆周波数変換部
１０９，１１９，３０３，３１３…参照画メモリ
１１０，７００…ダウンサンプリング部
１２０…超解像処理部
１２１，３２１…半画素生成部
１３０，７１０，９００…上位レイヤビットストリーム
１３１，７１１…下位レイヤビットストリーム
２０１…映像符号化装置
２０２，４０２…プロセッサ
２０３，４０３…メモリ
２０４，４０４…入力インターフェース（Ｉ／Ｆ）
２０５，４０５…入力装置
２０６，４０６…出力インターフェース（Ｉ／Ｆ）
２０７，４０７…出力装置
３００，３１０…可変長復号化部
３３０，１０１０…高解像度画像
３３１…低解像度画像
４０１…映像復号化装置
５０１，５１１…ＤＣＴ部
５０２，５１２…Ｑ部
５０３，５１３…ＶＬＣ部
５０４，５１４，６０１，６０３，８０１，８１１…ＩＱ部
５０５，５１５，６０４，８０２，８１２…ＩＤＣＴ部
５０６，５１６，６０５，８０３，８１３…ＦＭ部
５０７，５１７，６０６，８０４，８１４…ＭＣ部
５１０…Ｄｅｌａｙ部
５４０…エンハンスメントビットストリーム
５４１…低ＳＮＲビットストリーム
６００，６０２，８００，８１０…ＶＬＤ部
７０１…アップサンプリング部。

Claims (36)

1. 画像を入力して、複数の解像度の異なるレイヤからなるストリームとして、各々符号化して出力する符号化装置において、
   各々のレイヤ毎に、画像データを圧縮する圧縮部と、
   圧縮されたデータを伸張する伸張部とを備え、
   前記画像の解像度を縮小するダウンサンプリング部と、
   伸張された画像の解像度を向上させるアップサンプリング部とを有し、
   入力された画像を前記ダウンサンプリング部により、ダウンサンプリングして、解像度の低い下位レイヤの圧縮部に入力し、
   前記下位レイヤの圧縮部により、圧縮された画像を前記下位レイヤの伸張部に入力して、伸張された画像を前記アップサンプリング部により、アップサンプリングして、解像度の高い上位レイヤの圧縮部に入力することを特徴とする符号化装置。
2. 前記アップサンプリング部は、アップサンプリング処理として超解像処理をおこなうことを特徴とする請求項１記載の符号化装置。
3. 前記アップサンプリング部は、アップサンプリング処理として半画素生成処理、または、１／ｎ画素生成処理（ｎは２より大きい整数）をおこなうことを特徴とする請求項１記載の符号化装置。
4. 前記アップサンプリング部は、アップサンプリング処理として超解像処理と、半画素生成処理、または、１／ｎ画素生成処理（ｎは２より大きい整数）とをおこない、
   前記超解像処理をおこなった画像と、前記半画素生成処理、または、１／ｎ画素生成処理（ｎは２より大きい整数）とをおこなった画像との差分画像を、前記上位レイヤの圧縮部に入力することを特徴とする請求項１記載の符号化装置。
5. 前記アップサンプリング部は、アップサンプリング処理として半画素生成処理、または、１／ｎ画素生成処理（ｎは２より大きい整数）をおこない、
   前記上位レイヤの圧縮部に入力される元の画像と、前記半画素生成処理、または、１／ｎ画素生成処理（ｎは２より大きい整数）とをおこなった画像との差分画像を、前記上位レイヤの圧縮部に入力することを特徴とする請求項１記載の符号化装置。
6. 前記アップサンプリング部は、アップサンプリング処理として超解像処理をおこない、
   前記上位レイヤの圧縮部に入力される元の画像と、前記超解像処理をおこなった画像との差分画像を、前記上位レイヤの圧縮部に入力することを特徴とする請求項１記載の符号化装置
7. 前記上位レイヤの圧縮部で、インター予測またはイントラ予測をおこなわないことを特徴とする請求項４ないし請求項６記載のいずれかの符号化装置。
8. 前記上位レイヤの圧縮部で、インター予測またはイントラ予測をおこなって、上位レイヤのストリームを送信する場合、
   前記上位レイヤの圧縮部で、インター予測またはイントラ予測をおこなわず、上位レイヤのストリームを送信する場合、
   上位レイヤのストリームを送信しない場合の各々の画質に対する符号量のコストを算出し、
   前記コストの低い場合の動作を選択することを特徴とする請求項１記載の符号化装置。
9. 下位レイヤのストリームに対して、エラー耐性を強化して送信することを特徴とする請求項１記載の符号化装置。
10. 複数のレイヤのストレームのパケットを一つのヘッダ情報によりまとめて、同じ伝送路で送信することを特徴とする請求項１記載の符号化装置。
11. 複数のレイヤのストレームを異なる伝送路で送信することを特徴とする請求項１記載の符号化装置。
12. 前記各々のレイヤの圧縮部において、複数種類の画像ブロック分割サイズで画像信号を圧縮することを特徴とする請求項１記載の符号化装置。
13. 前記異なるレイヤの圧縮部において、各々の圧縮部で異なった圧縮符号化方法により符号化されることを特徴とする請求項１記載の符号化装置。
14. 前記異なるレイヤの圧縮部において、各々の圧縮部で異なった量子化パラメータにより量子化されることを特徴とする請求項１記載の符号化装置。
15. 複数の解像度の異なるレイヤからなるストリームを入力して、各々解像度の異なる画像を出力する復号化装置において、
    各々のレイヤ毎に、圧縮されたデータを伸張する伸張部を備え、
    伸張された画像の解像度を向上させるアップサンプリング部を有し、
    解像度の高い上位レイヤの伸張部により伸張された画像と、解像度の低い下位レイヤの伸張部により、伸張された画像を前記アップサンプリング部により、アップサンプリングして出力される画像とを加算して、画像を生成することを特徴とする復号化装置。
16. 前記アップサンプリング部は、アップサンプリング処理として超解像処理をおこなうことを特徴とする請求項１５記載の復号化装置。
17. 前記アップサンプリング部は、アップサンプリング処理として半画素生成処理、または、１／ｎ画素生成処理（ｎは２より大きい整数）をおこなうことを特徴とする請求項１５記載の復号化装置。
18. 複数のレイヤの伸張部から出力される画像に対して、少なくとも一つの画像に関しては予測をおこなわずに復号することを特徴とする請求項１５記載の復号化装置。
19. 画像を入力して、複数の解像度の異なるレイヤからなるストリームとして、各々符号化して出力する動画像符号化方法において、
    動画像符号化方法を実行する符号化装置は、
    各々のレイヤ毎に、画像データを圧縮する圧縮部と、
    圧縮されたデータを伸張する伸張部とを備え、
    各々のレイヤ毎に、前記圧縮部により画像データを圧縮する手順と、
    各々のレイヤ毎に、圧縮されたデータを前記伸張部に伸張して、前記圧縮部でおこなわれる予測のために用いる手順と、
    入力された画像をダウンサンプリングして、解像度の低い下位レイヤの圧縮部に入力する手順と、
    前記下位レイヤの圧縮部により、圧縮された画像を前記下位レイヤの伸張部に入力して、伸張された画像をアップサンプリングして、解像度の高い上位レイヤの圧縮部に入力する手順とを有することを特徴とする動画像符号化方法。
20. 前記伸張された画像をアップサンプリングする処理は、超解像処理であることを特徴とする請求項１９記載の動画像符号化方法。
21. 前記伸張された画像をアップサンプリングする処理は、半画素生成処理、または、１／ｎ画素生成処理（ｎは２より大きい整数）であることを特徴とする請求項１９記載の動画像符号化方法。
22. 前記伸張された画像をアップサンプリングする処理は、超解像処理と、半画素生成処理、または、１／ｎ画素生成処理（ｎは２より大きい整数）であり、
    前記超解像処理をおこなった画像と、前記半画素生成処理、または、１／ｎ画素生成処理（ｎは２より大きい整数）とをおこなった画像との差分画像を、前記上位レイヤの圧縮部に入力することを特徴とする請求項１９記載の動画像符号化方法。
23. 前記伸張された画像をアップサンプリングする処理は、半画素生成処理、または、１／ｎ画素生成処理（ｎは２より大きい整数）であり、
    前記上位レイヤの圧縮部に入力される元の画像と、前記半画素生成処理、または、１／ｎ画素生成処理（ｎは２より大きい整数）とをおこなった画像との差分画像を、前記上位レイヤの圧縮部に入力することを特徴とする請求項１９記載の動画像符号化方法。
24. 前記伸張された画像をアップサンプリングする処理は、超解像処理であり、
    前記上位レイヤの圧縮部に入力される元の画像と、前記超解像処理をおこなった画像との差分画像を、前記上位レイヤの圧縮部に入力することを特徴とする請求項１９記載の動画像符号化方法
25. 前記上位レイヤの圧縮部で、インター予測またはイントラ予測をおこなわないことを特徴とする請求項１９ないし請求項２４記載のいずれかの動画像符号化方法。
26. 前記上位レイヤの圧縮部で、インター予測またはイントラ予測をおこなって、上位レイヤのストリームを送信する場合、
    前記上位レイヤの圧縮部で、インター予測またはイントラ予測をおこなわず、上位レイヤのストリームを送信する場合、
    上位レイヤのストリームを送信しない場合の各々の画質に対する符号量のコストを算出し、
    前記コストの低い場合の動作を選択することを特徴とする請求項１９記載の動画像符号化方法。
27. 下位レイヤのストリームに対して、エラー耐性を強化して送信することを特徴とする請求項１９記載の動画像符号化方法。
28. 複数のレイヤのストレームのパケットを一つのヘッダ情報によりまとめて、同じ伝送路で送信することを特徴とする請求項１９記載の動画像符号化方法。
29. 複数のレイヤのストレームを異なる伝送路で送信することを特徴とする請求項１９記載の動画像符号化方法。
30. 前記各々のレイヤの圧縮部において、複数種類の画像ブロック分割サイズで画像信号を圧縮することを特徴とする請求項１９記載の動画像符号化方法。
31. 前記異なるレイヤの圧縮部において、各々の圧縮部で異なった圧縮符号化方法により符号化されることを特徴とする請求項１９記載の動画像符号化方法。
32. 前記異なるレイヤの圧縮部において、各々の圧縮部で異なった量子化パラメータにより量子化されることを特徴とする請求項１９記載の動画像符号化方法。
33. 複数の解像度の異なるレイヤからなるストリームを入力して、各々解像度の異なる画像を出力する動画像復号化方法において、
    動画像復号化方法を実行する復号化装置は、各々のレイヤ毎に、圧縮されたデータを伸張する伸張部を備え、
    伸張された画像の解像度を向上させるアップサンプリング部を有し、
    解像度の高い上位レイヤの伸張部により伸張された画像と、解像度の低い下位レイヤの伸張部により、伸張された画像をアップサンプリングして出力される画像とを加算して、画像を生成する手順を有することを特徴とする動画像復号化方法。
34. 前記伸張された画像をアップサンプリングする処理は、超解像処理であることを特徴とする請求項３３記載の動画像復号化方法。
35. 前記アップサンプリング部は、アップサンプリング処理として半画素生成処理、または、１／ｎ画素生成処理（ｎは２より大きい整数）をおこなうことを特徴とする請求項３３記載の動画像復号化方法。
36. 複数のレイヤの伸張部から出力される画像に対して、少なくとも一つの画像に関しては予測をおこなわずに復号することを特徴とする請求項３３記載の動画像復号化方法。

Images