JP2013090296A - 符号化装置、送信装置、符号化方法、復号装置、受信装置、復号方法、プログラム、および記録媒体 - Google Patents

Abstract

【課題】コーデックの異なる少なくとも２つのコンポーネントを含むコンテンツを予測符号化する符号化装置において、その符号化効率を向上させる。
【解決手段】スケーラブル符号化部２１は、ベースレイヤエンコーダ２１２とエンハンスメントレイヤエンコーダ２１５とを備え、ベースレイヤエンコーダ２１２がベースレイヤを予測符号化する際に用いた予測パラメータを参照し、エンハンスメントレイヤを予測符号化する。
【選択図】図３

Description

本発明は、コーデック（符号化方式）の異なる複数のコンポーネントとからなるコンテンツを符号化する符号化装置および符号化方法に関する。また、そのような符号化装置を備えた送信装置に関する。更に、本発明は、コーデックの異なる複数のコンポーネントとからなるコンテンツを復号する復号装置および復号方法に関する。また、そのような復号装置を備えた受信装置に関する。加えて、そのような符号化装置、または、そのような復号装置としてコンピュータを機能させるプログラム、および、そのようなプログラムが記録された記録媒体に関する。

コンテンツを伝送する技術の１つとして、複数の伝送経路を通じてコンテンツを伝送するハイブリッド伝送技術が挙げられる。より具体的に言えば、ハイブリッド伝送技術は、コンテンツを構成する各コンポーネントを、コンポーネント毎に独立した伝送経路を通じて伝送する技術である。

ハイブリッド伝送技術に関してはこれまでに様々な発明が成されており、その一例として特許文献１および特許文献２に開示されている発明が挙げられる。

また、ハイブリッド伝送技術に関するその他の技術として、左目（メイン）映像を放送で伝送し右目（サブ）映像を通信で伝送することで、３Ｄ映像コンテンツを伝送する技術が挙げられる。さらに、複数の伝送経路を通じてスケーラブル符号化されたコンテンツを伝送するハイブリッド伝送技術も提案されている。

スケーラブル符号化されたコンテンツは、１層のベースレイヤと１層以上のエンハンスメントレイヤからなり、ベースレイヤのみを参照した低品質再生とベースレイヤおよびエンハンスメントレイヤを参照した高品質再生が可能である。スケーラブル符号化については、例えば、非特許文献１を参照されたい。

特開２００５−２８６７４８号公報（２００５年１０月１３日公開） 特開平１０―１７３６１２号公報（１９９８年６月２６日公開）

ＩＳＯ／ＩＥＣ １４４９６−２：２００４ ＭＰＥＧ−４ ＶＩＤＥＯ規格

ところで、スケーラブル符号化されたコンテンツをハイブリッド伝送する場合、伝送路の特性に応じてレイヤ毎に異なるコーデックを用いた符号化を行なうことが想定される。例えば、ベースレイヤを表すベースレイヤデータを放送網を介して伝送し、エンハンスメントレイヤを表すエンハンスメントレイヤデータを通信網を介して伝送する場合、ベースレイヤの符号化に用いるコーデックは例えばＭＰＥＧ−２であり、エンハンスメントレイヤの符号化に用いるコーデックは例えばＨ．２６４／ＡＶＣである。レイヤ毎に異なるコーデックを用いた符号化を行なう場合、従来、各レイヤの符号化を独立に行なう構成が採用されていた。例えば、ベースレイヤの符号化を行なう際には、ベースレイヤ内のフレームのみを参照した予測符号化を行っていた。

発明者らは、ベースレイヤとエンハンスメントレイヤとは互いに相関のある映像を表しているにも関わらず、これらを独立に符号化する従来の構成には、符号化効率の面で改善の余地があることを見出した。

本発明は、上記課題に鑑みて成されたものであり、その主な目的は、コーデックの異なる少なくとも２つのコンポーネントを含むコンテンツを予測符号化する符号化装置において、その符号化効率を向上させることにある。また、そのような符号化装置に対応した復号装置を実現することにある。

上記課題を解決するために、本発明に係る符号化装置は、少なくとも２つのコンポーネントを含むコンテンツを符号化する符号化装置であって、第１のコンポーネントを第１のコーデックに従って予測符号化する第１の符号化手段と、第２のコンポーネントを第２のコーデックに従って予測符号化する第２の符号化手段と、を備え、上記第２の符号化手段は、上記第１の符号化手段が上記第１のコンポーネントを予測符号化する際に用いた予測パラメータを参照し、上記第２のコンポーネントを予測符号化するものである、ことを特徴とする。

上記の構成によれば、上記第１のコンポーネントを予測符号化する際に用いた予測パラメータを参照して上記第２のコンポーネントを予測符号化する。このため、上記第２のコンポーネントを予測符号化する際の予測精度を向上させることができる。これにより、上記第２のコンポーネントを予測符号化する際の符号化効率を向上させることができる。

本発明に係る符号化装置において、上記第２の符号化手段は、上記第１の符号化手段が上記第１のコーデックに従って導出した第１の予測パラメータと、自身が上記第２のコーデックに従って導出した第２の予測パラメータを比較し、より予測残差が小さくなる予測パラメータを上記第２のコンポーネントの予測符号化に用いる、ことが好ましい。

上記の構成によれば、上記第２のコンポーネントを予測符号化する際の予測精度をより確実に向上させることができる。これにより、上記第２のコンポーネントを予測符号化する際の符号化効率をより確実に向上させることができる。

本発明に係る符号化装置は、上記第１の予測パラメータと、上記第２の予測パラメータと、上記第２の符号化手段が上記第２のコンポーネントの予測符号化に用いた予測パラメータが上記第１の予測パラメータであるか上記第２の予測パラメータであるかを示すフラグとを、上記第２の符号化手段により生成された符号化データに多重化する多重化手段を更に備えている、ことが好ましい。

上記の構成によれば、上記第１のコンポーネントを予測符号化する際に用いた予測パラメータを参照して上記第２のコンポーネントを予測符号化する構成に対応した復号装置であっても、そうでない復号装置であっても、上記符号化装置により生成された符号化データを復号することができる。

本発明に係る符号化装置において、上記第１のコンポーネントおよび上記第２のコンポーネントは、スケーラブル符号化されたコンテンツを構成する互いに異なるレイヤである、ことが好ましい。

上記の構成によれば、スケーラブル符号化の符号化効率を向上させることができる。

なお、上記符号化装置を備えた送信装置であって、上記第１の符号化手段により生成された符号化データと、上記第２の符号化手段により生成された符号化データとを、互いに異なる伝送路を介して送信する送信手段を備えた送信装置も本発明の範疇に含まれる。

また、コンピュータを上記符号化装置として動作させるプログラム、および、そのプログラムが記録された記録媒体も本発明の範疇に含まれる。

上記課題を解決するために、本発明に係る符号化方法は、少なくとも２つのコンポーネントを含むコンテンツを符号化する符号化方法であって、第１のコンポーネントを第１のコーデックに従って予測符号化する第１の符号化ステップと、第２のコンポーネントを第２のコーデックに従って予測符号化する第２の符号化ステップと、を含み、上記第２の符号化ステップは、上記第１の符号化ステップにおいて上記第１のコンポーネントを予測符号化する際に用いた予測パラメータを参照し、上記第２のコンポーネントを予測符号化するものである、ことを特徴とする。

上記の構成によれば、上記符号化装置と同様の効果を奏する。

上記課題を解決するために、本発明に係る復号装置は、少なくとも２つのコンポーネントを含むコンテンツを復号する復号装置であって、第１のコーデックに従って予測符号化された第１のコンポーネントを復号する第１の復号手段と、第２のコーデックに従って予測符号化された第２のコンポーネントを復号する第２の復号手段と、を備え、上記第２の復号手段は、上記第１の復号手段が上記第１のコンポーネントを復号する際に用いた予測パラメータを参照し、上記第２のコンポーネントを復号する、ことを特徴とする。

上記の構成によれば、上記符号化装置により生成された符号化データを復号することが可能な復号装置を実現することができる。

なお、上記復号装置を備えた受信装置であって、上記第１の復号手段により復号される符号化データと、上記第２の復号手段により復号される符号化データとを、互いに異なる伝送路を介して受信する受信手段を備えた受信装置も本発明の範疇に含まれる。

また、コンピュータを上記復号装置として動作させるプログラム、および、そのプログラムが記録された記録媒体も本発明の範疇に含まれる。

上記課題を解決するために、本発明に係る復号方法は、少なくとも２つのコンポーネントを含むコンテンツを復号する復号方法であって、第１のコーデックに従って予測符号化された第１のコンポーネントを復号する第１の復号ステップと、第２のコーデックに従って予測符号化された第２のコンポーネントを復号する第２の復号ステップと、を含み、上記第２の復号ステップは、上記第１の復号ステップにおいて上記第１のコンポーネントを復号する際に用いた予測パラメータを参照し、上記第２のコンポーネントを復号するものである、ことを特徴とする。

上記の構成によれば、上記符号化方法により生成された符号化データを復号することが可能な復号方法を実現することができる。

本発明によれば、コーデックの異なる少なくとも２つのコンポーネントを含むコンテンツを予測符号化する符号化装置において、その符号化効率を向上させることができる。

本発明の一実施形態に係るシステムの構成を示したブロック図である。 図１のシステムに含まれる送信機の構成を示したブロック図である。 図２の送信機に含まれるスケーラブル符号化部の構成を示したブロック図である。 図３のスケーラブル符号化部に含まれるエンハンスメントレイヤエンコーダの構成を示したブロック図である。 図２の送信機から送信されるベースレイヤストリームおよびエンハンスメントレイヤストリームの構造を示した図である。・ 図１のシステムに含まれる受信機の構成を示したブロック図である。 図６の送信機に含まれるスケーラブル復号部の構成を示したブロック図である。 図７のスケーラブル復号部に含まれるエンハンスメントレイヤ復号部の構成を示したブロック図である。

〔システムの構成〕
本実施形態に係るシステム１について、図１を参照して説明する。

図１は、システム１の構成を示すブロック図である。システム１は、コンテンツを配信するためのシステムであり、図１に示すように、コンテンツを表すコンテンツデータを送信する送信機２と、そのコンテンツデータを受信する受信機３とにより構成される。

システム１においては、複数のコンポーネントにより構成されるコンテンツ（マルチコンポーネントコンテンツ）を配信対象とする。特に、本実施形態においては、スケーラブル符号化された映像コンテンツ、すなわち、１層のベースレイヤと１層以上のエンハンスメントレイヤとにより構成される映像コンテンツを配信対象とする。

また、システム１においては、複数のコンポーネントの各々を異なる伝送路を介して伝送（ハイブリッド伝送）する。特に、本実施形態においては、ベースレイヤを表すベースレイヤデータを放送網４を介して伝送し、エンハンスメントレイヤを表すエンハンスメントレイヤデータを通信網５を介して伝送する。

送信機２は、音声データおよびメディアデータをスケーラブル符号化することによって、上述したベースレイヤデータおよびエンハンスメントレイヤデータを生成する。そして、生成したベースレイヤデータおよびエンハンスメントレイヤデータを、それぞれ、放送網４および通信網５を介して送信する。送信機２の詳細については、参照する図面を代えて後述する。

一方、受信機３は、ベースレイヤデータおよびエンハンスメントレイヤデータを、それぞれ、放送網４および通信網５を介して受信する。そして、受信したベースレイヤデータおよびエンハンスメントレイヤデータを復号することによって、音声データおよびメディアデータを生成する。受信機３の詳細については、参照する図面を代えて後述する。

なお、本実施形態においては、スケーラブル符号化されたコンテンツを配信対象とするが、配信対象とするコンテンツはこれに限定されない。例えば、３Ｄ映像コンテンツ、すなわち、左目用映像と右目用映像とにより構成される映像コンテンツを配信対象としてもよい。この場合、例えば、左目用映像（メイン映像）を放送網４を介して伝送し、右目用映像（サブ映像）を通信網５を介して伝送する構成を採用することができる。

また、本実施形態においては、放送網４と通信網５との組み合わせによりハイブリッド伝送を実現しているが、ハイブリッド伝送を実現する伝送路の組み合わせはこれに限定されない。すなわち、放送同士の組み合わせにより、または、通信同士の組み合わせによりハイブリッド伝送を実現してもよい。放送同士の組み合わせとしては、例えば、ワンセグ放送とフルセグ放送との組み合わせなどが挙げられる。また、通信同士の組み合わせとしては、例えば、ブロードキャストとユニキャスト（または、マルチキャスト）との組み合わせなどが挙げられる。

また、本実施形態においては、メディアデータとして４Ｋ映像を想定するが、メディアデータはこれに限定されるものではない。例えば、４Ｋ映像に代えて、任意解像度の動画、任意解像度の静止画、または、これらを組み合わせたものを、スケーラブル符号化して配信する構成を採用してもよい。

〔送信機の構成〕
図１に示すシステムに含まれる送信機２の構成について、図２〜図５を参照して説明する。

図２は、送信機２の構成を示すブロック図である。送信機２は、コンテンツデータを符号化して送信するための装置であり、図１に示すように、スケーラブル符号化部２１、ベースレイヤ送出部２２、エンハンスメントレイヤ送出部２３、メディア情報生成部２４、および音声符号化部２５を備えている。

スケーラブル符号化部２１は、メディアデータをスケーラブル符号化することによって、ベースレイヤストリームおよびエンハンスメントレイヤストリームを生成する。ここで、メディアデータは、例えば、４Ｋ映像（４０９６×２１６０画素）を表す。これに対して、ベースレイヤストリームは、例えば、ＨＤ映像（１９２０×１０８０画素）を表し、エンハンスメントレイヤストリームは、例えば、４Ｋ映像とＨＤ映像との差分映像を表す。スケーラブル符号化部２１により生成されたベースレイヤストリームおよびエンハンスメントレイヤストリームは、それぞれ、ベースレイヤ送出部２２およびエンハンスメントレイヤ送出部２３に供給される。なお、スケーラブル符号化部２１の詳細については、参照する図面を代えて後述する。

ベースレイヤ送出部２２は、スケーラブル符号化部２１から供給されたベースレイヤストリームに、音声符号化部２５から供給された音声ストリームを多重化して送信する。この際、ベースレイヤ送出部２２は、ベースレイヤストリームを複数のセグメントに分割して送信する（図５（ａ）の上段参照）。

これに関連して、本実施形態においては、送信中のセグメントに関する情報をベースレイヤ送出部２２がメディア情報生成部２４に通知する構成が採用されている。特に、本実施形態においては、（１）そのセグメントが属するレイヤ（ベースレイヤ）を他のレイヤ（エンハンスメントレイヤ）と識別するためのレイヤ番号（「１」）、（２）そのセグメントを他のセグメントと識別するためのセグメント識別子（例えば、そのセグメントに含まれる何れかのパケットのＰＩＤ）、（３）そのセグメントの開始位置を示す開始インデックス（例えば、そのセグメントの先頭のパケットに対応するＰＣＲ値）、（４）そのセグメントの終了位置を示す終了インデックス（例えば、そのセグメントの末尾のパケットに対応するＰＣＲ値）を、ベースレイヤ送出部２２がメディア情報生成部２４に通知する構成が採用されている。

これらの情報に加えて、そのセグメントが属するレイヤ（ベースレイヤ）のコーデックを示すコーデック情報や、レイヤ間の依存関係を示す情報（例えば、レイヤがベースレイヤであるかエンハンスメントレイヤであるかを示す情報）、ベース・エンハンス相互の情報（例えば、ベースレイヤの情報をエンハンスメントレイヤデータに送ることを示すだけでなく、エンハンスメントレイヤの情報をベースレイヤデータに送ることを示す情報）をベースレイヤ送出部２２がメディア情報生成部２４に通知するようにしてもよい。

メディア情報生成部２４は、ベースレイヤ送出部２２から通知されたレイヤ番号、セグメント識別子、開始インデックス、終了インデックスを含むメディア情報を生成する（図５（ｂ）参照）。メディア情報生成部２４により生成されるメディア情報は、例えば、レイヤ番号、セグメント識別子、開始インデックス、終了インデックスを、それぞれ、予め定められた変換テーブルに従ってビット列に変換した後、これらのビット列を結合することによって得られる配列である。メディア情報生成部２４は、生成したメディア情報をエンハンスメントレイヤ送出部２３に供給する。

エンハンスメントレイヤ送出部２３は、スケーラブル符号化部２１から供給されたエンハンスメントレイヤストリームに、メディア情報生成部２４から供給されたメディア情報を多重化して送信する。この際、エンハンスメントレイヤ送出部２３は、ベースレイヤ送出部２２と同様、エンハンスメントレイヤストリームを複数のセグメントに分割して送信する（図５（ａ）の下段参照）。エンハンスメントレイヤ送出部２３がエンハンスメントレイヤストリームを分割する位置（タイミング）は、ベースレイヤ送出部２２がベースレイヤストリームを分割する位置（タイミング）と同一である。

なお、エンハンスメントレイヤストリームにメディア情報を多重化する方法としては、エンハンスメントレイヤストリームのパディングパケット（空白パケット）を、セクションパケット化されたメディア情報により置換する方法などが挙げられる。ベースレイヤストリームの各セグメントに関するメディア情報は、そのセグメントと開始位置および終了位置を同じくする、エンハンスメントレイヤストリームのセグメントに多重化される。

図３は、図２に示す送信機２が備えているスケーラブル符号化部２１の構成を示すブロック図である。スケーラブル符号化部２１は、上述したとおり、メディアデータをスケーラブル符号化することによってベースレイヤストリームおよびエンハンスメントレイヤストリームを生成する機能を有し、図３に示すように、縮小処理部２１１、ベースレイヤエンコーダ２１２、ベースレイヤデコーダ２１３、拡大処理部２１４、およびエンハンスメントレイヤエンコーダ２１５とを備えている。

縮小処理部２１１は、メディアデータ（例えば、４Ｋ映像）を構成する各フレームを縮小することによって、ベースデータ（例えば、ＨＤ映像）を生成する。縮小処理部２１１によって生成されたベースデータは、ベースレイヤエンコーダ２１２に供給される。

ベースレイヤエンコーダ２１２は、縮小処理部２１１から供給されたベースデータを符号化することによって、ベースレイヤストリームを生成する。ベースレイヤエンコーダ２１２がベースレイヤデータの符号化に用いるコーデックは、例えば、ＭＰＥＧ−２である。ベースレイヤエンコーダ２１２によって生成されたベースレイヤストリームは、ベースレイヤ送出部２２（図２参照）およびベースレイヤデコーダ２１３に供給される。

ベースレイヤデコーダ２１３は、ベースレイヤエンコーダ２１２より供給されたベースレイヤストリームを復号することによって、ベースデータ（例えば、ＨＤ映像）を復元する。ベースレイヤデコーダ２１４によって復元されたベースデータは、エンコード／デコード過程で生じる誤差を除いて、縮小処理部２１１によって生成されたベースデータと一致する。ベースレイヤデコーダ２１３によって生成されたベースデータは、拡大処理部２１４に供給される。

拡大処理部２１４は、ベースデータデコーダ２１３から供給されたベースデータを構成する各フレームを拡大することによって、メディアデータと同一解像度（例えば、４０９６×２１６０画素）の拡大ベースデータを生成する。拡大処理部２１４によって生成された拡大ベースデータは、エンハンスメントレイヤエンコーダ２１５に供給される。

エンハンスメントレイヤエンコーダ２１５は、メディアデータと拡大ベースデータとの差分映像を符号化することによって、エンハンスメントレイヤストリームを生成する。エンハンスメントレイヤエンコーダが差分映像の符号化に用いるコーデックは、ベースレイヤエンコーダ２１２がベースレイヤデータの符号化に用いるコーデックとは異なるコーデックであり、例えば、Ｈ．２６４／ＡＶＣである。エンハンスメントレイヤエンコーダ２１５によって生成されたエンハンスメントレイヤストリームは、エンハンスメントレイヤ送出部２３（図２参照）に供給される。

スケーラブル符号化部２１において注目すべきは、ベースレイヤエンコーダ２１２からエンハンスメントレイヤエンコーダ２１５にベースレイヤ情報を供給し、エンハンスメントレイヤエンコーダ２１５がベースレイヤ情報を参照してエンハンスメントレイヤストリームを符号化する点である。ベースレイヤエンコーダ２１２からエンハンスメントレイヤエンコーダ２１５に供給されるベースレイヤ情報としては、ベースレイヤエンコーダ２１２がベースレイヤデータを符号化する際に用いた予測パラメータなどが挙げられる。

以下、エンハンスメントレイヤエンコーダ２１５の詳細について、図４を参照して説明する。

図４は、エンハンスメントレイヤエンコーダ２１５の構成を示すブロック図である。エンハンスメントレイヤエンコーダ２１５は、符号化方式としてＨ．２６４／ＡＶＣを採用したエンコーダであり、図４に示すように、減算器２１５ａ〜２１５ｂ、ＤＣＴ／量子化部２１５ｃ、エントロピー符号化部２１５ｄ、逆量子化／ＩＤＣＴ部２１５ｅ、加算器２１５ｆ、ループ内フィルタ２１５ｇ、フレームメモリ２１５ｈ、フレーム内予測部２１５ｉ、フレーム間予測部２１５ｊ、および動き推定部２１５ｋを備えている。

減算器２１５ａは、メディアデータを構成する各フレームから拡大ベースデータを構成する対応フレームを減算することによって、差分画像を生成する。この差分画像は、エンハンスメントレイヤエンコーダ２１５が符号化の対象とする画像なので、以下では、これを符号化対象画像と記載する。減算器２１５ｂは、符号化対象画像からフレーム内予測部２１５ｉまたはフレーム間予測部２１５ｊにより生成された予測画像を減算することによって、予測残差画像を生成する。

ＤＣＴ／量子化部２１５ｃは、予測残差画像を構成する各ブロックについて、空間領域の画像データ（画素値からなる配列）を周波数領域の画像データ（ＤＣＴ係数からなる配列）にＤＣＴ変換する。そして、得られた周波数領域の画像データを構成するＤＣＴ係数を量子化する。ＤＣＴ／量子化部２１５ｃによって生成された周波数領域の画像データ（量子化されたＤＣＴ係数からなる配列）は、エントロピー符号化部２１５ｄおよび逆量子化／ＩＤＣＴ部２１５ｅに供給される。

エントロピー符号化部２１５ｄは、ＤＣＴ／量子化部２１５ｃによって生成された周波数領域の画像データをエントロピー符号化することによって、エンハンスメントレイヤストリームを生成する。この際、エントロピー符号化部２１５ｄは、エンハンスメントレイヤストリームに、フレーム内予測部２１５ｉおよびフレーム間予測部２１５ｊから供給された予測パラメータ（後述）を多重化する。エントロピー符号化部２１５ｄによって生成されたエンハンスメントレイヤストリームは、エンハンスメントレイヤ送出部２３（図２参照）に供給される。

逆量子化／ＩＤＣＴ部２１５ｅは、周波数領域の画像データを構成する量子化されたＤＣＴ係数を逆量子化すると共に、周波数領域の画像データを空間領域の画像データに変換することによって、予測残差画像をブロック毎に復元する。逆量子化／ＩＤＣＴ部２１５ｅにより復元された予測残差画像は、加算器２１５ｆに供給される。

加算機２１５ｆは、逆量子化／ＩＤＣＴ部２１５ｅにより復元された予測残差画像に予測画像を加算することによって、局所復号画像を生成する。加算器２１５ｆによって生成された局所復号画像は、量子化誤差を除いて符号化対象画像に一致する。

加算器２１５ｆによって生成された局所復号画像には、量子化誤差に起因するブロックノイズが含まれる。ループ内フィルタ２１５ｇは、このブロックノイズを除去するための平滑化フィルタである。加算器２１５ｆによって生成された局所復号画像は、ループ内フィルタ２１５ｇによってブロックノイズを除去された後、フレームメモリ２１５ｇに蓄積される。

フレーム内予測部２１５ｉは、符号化中のフレーム（符号化対象画像）の符号化中のブロックの画像データを、フレームメモリ２１５ｇに蓄積された、符号化中のフレーム（局所復号画像）の符号化済ブロックのうち、予測モードに応じて選択された符号化済ブロックの画像データから予測（フレーム内予測）する。フレーム内予測に際し、フレーム内予測部２１５ｉは、各ブロックを複数の予測単位（１６×１６画素、８×８画素、または４×４画素の何れか）に分割し、これら複数の予測単位の各々に予測モードを割り当てる。そして、各ブロックを複数の予測単位に分割する分割方法を示す分割情報と、これら複数の予測単位の各々に割り当てた予測モードを示す予測モード情報とを、予測パラメータとしてエントロピー符号化部２１５ｄに供給する。

ここで、フレーム内予測部２１５ｉは、フレーム内予測に際し、ベースレイヤエンコーダ２１３から供給されたベースレイヤ情報を参照する。

例えば、ベースレイヤ情報に、ベースレイヤのフレーム内予測に用いた分割方法が示されている場合、フレーム内予測部２１５ｉは、自身で決定した分割方法とベースレイヤのフレーム内予測に用いた分割方法とを比較し、より予測残差を小さくできる方の分割方法をエンハンスメントレイヤのフレーム内予測に利用する。この場合、（１）エンハンスメントレイヤのフレーム内予測に利用した分割方法を示す分割情報のみをエンハンスメントレイヤストリームに多重化して受信機３に送信する構成を採用してもよいし、（２）自身で決定した分割方法を示す分割情報とベースレイヤのフレーム内予測に用いた分割方法を示す分割情報とエンハンスメントレイヤのフレーム内予測にどちらの分割方法を利用したかを示すフラグとをエンハンスメントレイヤストリームに多重化して受信機３に送信する構成を採用してもよい。後者の構成であれば、受信機３がベースレイヤとエンハンスメントレイヤとを独立に復号する従来のものであっても、その復号に支障が生じることがない。

なお、自身で決定した分割方法とベースレイヤのフレーム内予測に用いた分割方法とを比較する構成の代わりに、自身で決定した分割方法をベースレイヤのフレーム内予測に用いた分割方法に応じて補正し、補正した分割方法をエンハンスメントレイヤのフレーム内予測に利用する構成を採用してもよい。

また、ベースレイヤ情報に、ベースレイヤのフレーム内予測に用いた予測モードが示されている場合、フレーム内予測部２１５ｉは、自身で割り当てた予測モードとベースレイヤのフレーム内予測に用いた予測モードとを比較し、より予測残差を小さくできる方の予測モードをエンハンスメントレイヤのフレーム内予測に利用する。この場合、（１）エンハンスメントレイヤのフレーム内予測に利用した予測モードを示す予測モード情報のみをエンハンスメントレイヤストリームに多重化して受信機３に送信する構成を採用してもよいし、（２）自身で割り当てた予測モードを示す予測モード情報とベースレイヤのフレーム内予測に用いた予測モードを示す予測モード情報とエンハンスメントレイヤのフレーム内予測にどちらの予測モードを利用したかを示すフラグとをエンハンスメントレイヤストリームに多重化して受信機３に送信する構成を採用してもよい。

なお、自身で割り当てた予測モードとベースレイヤのフレーム内予測に用いた予測モードとを比較する構成の代わりに、自身で割り当てた予測モードをベースレイヤのフレーム内予測に用いた予測モードに応じて補正し、補正した予測モードをエンハンスメントレイヤのフレーム内予測に利用する構成を採用してもよい。

フレーム間予測部２１５ｊは、符号化中のフレーム（符号化対象画像）の符号化中のブロックの画像データを、フレームメモリ２１５ｇに蓄積された、符号化済のフレーム（局所復号画像）のブロックのうち、動き推定部２１５ｋから供給された動きベクトルに応じて選択されたブロックの画像データから予測（フレーム内予測）する。フレーム間予測に際し、フレーム間予測部２１５ｊは、各ブロックを複数の予測単位（１６×１６画素、１６×８画素、８×１６画素、８×８画素、８×４画素、４×８画素、または４×４画素の何れか）に分割し、これら複数の予測単位の各々に動きベクトルを割り当てる。そして、各ブロックを複数の予測単位に分割する分割方法を示す分割情報と、これら複数の予測単位の各々に割り当てた動きベクトルを示す動きベクトル情報とを、予測パラメータとしてエントロピー符号化部２１５ｄに供給する。

ここで、フレーム間予測部２１５ｊは、フレーム間予測に際し、ベースレイヤエンコーダ２１３から供給されたベースレイヤ情報を参照する。

例えば、ベースレイヤ情報に、ベースレイヤのフレーム間予測に用いた分割方法が示されている場合、フレーム間予測部２１５ｊは、自身で決定した分割方法とベースレイヤのフレーム間予測に用いた分割方法とを比較し、より予測残差を小さくできる方の分割方法をエンハンスメントレイヤのフレーム間予測に利用する。この場合、（１）エンハンスメントレイヤのフレーム間予測に利用した分割方法を示す分割情報のみをエンハンスメントレイヤストリームに多重化して受信機３に送信する構成を採用してもよいし、（２）自身で決定した分割方法を示す分割情報とベースレイヤのフレーム間予測に用いた分割方法を示す分割情報とエンハンスメントレイヤのフレーム間予測にどちらの分割方法を利用したかを示すフラグとをエンハンスメントレイヤストリームに多重化して受信機３に送信する構成を採用してもよい。後者の構成であれば、受信機３がベースレイヤとエンハンスメントレイヤとを独立に復号する従来のものであっても、その復号に支障が生じることがない。

なお、自身で決定した分割方法とベースレイヤのフレーム間予測に用いた分割方法とを比較する構成の代わりに、自身で決定した分割方法をベースレイヤのフレーム間予測に用いた分割方法に応じて補正し、補正した分割方法をエンハンスメントレイヤのフレーム間予測に利用する構成を採用してもよい。

また、ベースレイヤ情報に、ベースレイヤのフレーム間予測に用いた動きベクトルが示されている場合、フレーム間予測部２１５ｊは、自身で割り当てた動きベクトルとベースレイヤのフレーム間予測に用いた動きベクトルとを比較し、より予測残差を小さくできる方の動きベクトルをエンハンスメントレイヤのフレーム間予測に利用する。この場合、（１）エンハンスメントレイヤのフレーム間予測に利用した動きベクトルを示す動きベクトル情報のみをエンハンスメントレイヤストリームに多重化して受信機３に送信する構成を採用してもよいし、（２）自身で割り当てた動きベクトルを示す動きベクトル情報とベースレイヤのフレーム間予測に用いた動きベクトルを示す動きベクトル情報とエンハンスメントレイヤのフレーム間予測にどちらの動きベクトルを利用したかを示すフラグとをエンハンスメントレイヤストリームに多重化して受信機３に送信する構成を採用してもよい。

なお、自身で割り当てた動きベクトルとベースレイヤのフレーム間予測に用いた動きベクトルとを比較する構成の代わりに、自身で割り当てた動きベクトルをベースレイヤのフレーム間予測に用いた動きベクトルに応じて補正し、補正した動きベクトルをエンハンスメントレイヤのフレーム間予測に利用する構成を採用してもよい。

図５（ａ）は、送信機２から送信されるコンテンツのデータ構造を表す図である。

送信機２から送信されるコンテンツは、図５（ａ）に示すように、ベースレイヤストリームとエンハンスメントレイヤストリームとにより構成される。各ストリームには、そのストリームを他のストリームの識別するためのレイヤ番号が割り振られる。図５（ａ）に示した例では、ベースレイヤストリームにレイヤ番号「１」が割り振られ、エンハンスメントレイヤストリームにレイヤ番号「２」が割り振られている。

また、ベースレイヤストリームおよびエンハンスメントレイヤストリームは、それぞれ、図５（ａ）に示すように、複数のセグメントに分割される。図５（ａ）に示した例では、ベースレイヤストリームは、セグメントＳ１１と、セグメントＳ１１の次に再生すべきセグメントＳ１２と、セグメントＳ１２の次に再生すべきセグメントＳ１３とに分割されている。同様に、エンハンスメントレイヤストリームは、セグメントＳ２１と、セグメントＳ２１の次に再生すべきセグメントＳ２２と、セグメントＳ２２に続けて再生すべきセグメントＳ２３とに分割されている。各セグメントには、そのセグメントを他のセグメントと識別するためのセグメントＩＤが割り振られる。セグメントＩＤとしては、例えば、そのセグメントに含まれるパケットのＰＩＤを用いることができる。

また、各セグメントは、レイヤ番号、開始インデックス、および終了インデックスによって一意に特定される。ここで、開始インデックスは、そのセグメントの開始位置を示す情報であり、例えば、そのセグメントの先頭にパケットに対応するＰＣＲ（Program Clock Reference）値である。また、終了インデックスは、そのセグメントの終了位置を示す情報であり、例えば、そのセグメントの末尾のパケットに対応するＰＣＲ値である。例えば、ベースレイヤストリームに含まれるセグメントＳ１１は、レイヤ番号＝１、開始インデックス＝ａ０、終了インデックス＝ａ１によって一意に特定される。

〔受信機の構成〕
図１に示すシステムに含まれる受信機３の構成について、図６〜図８を参照して説明する。

図６は、受信機３の構成を示すブロック図である。受信機３は、コンテンツデータを受信して復号するための装置であり、図６に示すように、ベースレイヤ受信部３１、エンハンスメントレイヤ受信部３２、制御部３３、スケーラブル復号部３４、および音声復号部３５を備えている。

ベースレイヤ受信部３１は、送信機２（図１参照）から送信され、放送網４（図１参照）を介して伝送されたベースレイヤデータを受信する。そして、受信したベースレイヤデータから逆多重化した音声ストリームを音声復号部３５に供給する。また、ベースレイヤストリームをスケーラブル復号部３４に供給する。

エンハンスメントレイヤ受信部３２は、送信機２（図１参照）から送信され、通信網５（図１参照）を介して伝送された、エンハンスメントレイヤデータを受信する。そして、受信したエンハンスメントレイヤデータから逆多重化したメディア情報を制御部３３に供給する。また、エンハンスメントレイヤストリームをスケーラブル復号部３４に供給する。

制御部３３は、メディア情報を制御情報に変換し、ベースレイヤ受信部３１とスケーラブル復号部３４に供給する。例えば、エンハンスメントレイヤデータに関するメディア情報を制御情報に変換してベースレイヤ受信部に供給し、ベースレイヤデータを制御する。

スケーラブル復号部３４は、ベースレイヤ受信部３１およびエンハンスメントレイヤ受信部３２から供給されたベースレイヤストリームおよびエンハンスメントレイヤストリームを復号することによって、メディアデータを生成する。なお、スケーラブル復号部３４は、ベースレイヤストリームとエンハンスメントレイヤストリームとのタイミングがあうようにバッファリングも行なう。また、スケーラブル復号部３４は、エンハンスメントレイヤストリームの各セグメントにベースレイヤストリームのどのセグメントが対応するかを、例えば、制御部３３から供給された制御情報（制御情報に変換されたメディア情報）を参照することによって特定する。スケーラブル復号部３４の詳細については、参照する図面を代えて後述する。

音声復号部３５は、音声ストリームを復号することによって、音声データを生成する。

図７は、図６に示す受信機３が備えているスケーラブル復号部３４の構成を示すブロック図である。スケーラブル復号部３４は、上述したとおり、ベースレイヤストリームおよびエンハンスメントレイヤストリームをスケーラブル復号することによってメディアデータを生成する機能を有し、図７に示すように、ベースレイヤデコーダ３４１、拡大処理部３４２、およびエンハンスメントレイヤデコーダ３４３を備えている。

ベースレイヤデコーダ３４１は、ベースレイヤ受信部３１（図６参照）から供給されたベースレイヤストリームを復号することによって、ベースデータ（例えば、ＨＤ映像）を復元する。ベースレイヤデコーダ３４１によって復元されたベースデータは、拡大処理部３４２に供給される。

拡大処理部３４２は、ベースレイヤデコーダ３４１から供給されたベースデータを構成する各フレームを拡大することによって、メディアデータ（例えば、４Ｋ映像）と同一解像度（例えば、４０９６×２１６０画素）の拡大ベースデータを生成する。拡大処理部３４１によって生成された拡大ベースデータは、エンハンスメントレイヤデコーダ３４３に供給される。

エンハンスメントレイヤデコーダ３４３は、エンハンスメントレイヤ受信部３２（図６参照）から供給されたエンハンスメントレイヤストリームを復号することによって、メディアデータと拡大ベースデータとの差分映像を復元する。そして、復元した差分映像と拡大処理部３４２から供給された拡大ベースデータとを加算することによって、メディアデータを復元する。

以下、エンハンスメントレイヤデコーダ３４３の詳細について、図８を参照して説明する。

図８は、エンハンスメントレイヤデコーダ３４３の構成を示すブロック図である。エンハンスメントレイヤデコーダ３４３は、復号方式としてＨ．２６４／ＡＶＣを採用したデコーダであり、図８に示すように、エントロピー復号部３４３ａ、逆量子化／ＩＤＣＴ部３４３ｂ、加算器３４３ｃ、加算器３４３ｄ、ループ内フィルタ３４３ｅ、フレームメモリ３４３ｆ、フレーム内予測部３４３ｇ、およびフレーム間予測部３４３ｈを備えている。

エントロピー復号部３４３ａは、エンハンスメントレイヤストリームをエントロピー復号することによって、周波数領域の画像データ（量子化されたＤＣＴ係数からなる配列）を生成する。エントロピー復号部３４３ａによって生成された周波数領域の画像データは、逆量子化／ＩＤＣＴ部３４３ｂに供給される。

また、エントロピー復号部３４３ａは、エンハンスメントレイヤストリームから予測パラメータを逆多重化する。エントロピー復号部３４３ａによって逆多重化された予測パラメータは、フレーム内予測部３４３ｇまたはフレーム間予測部３４３ｈに供給される。

逆量子化／ＩＤＣＴ部３４３ｂは、エントロピー復号部３４３ａから供給された周波数領域の画像データを構成する量子化されたＤＣＴ係数を逆量子化する。そして、得られた周波数領域の画像データ（ＤＣＴ係数からなる配列）を空間領域の画像データ（画素値からなる配列）にＩＤＣＴ変換する。これにより、予測残差画像がブロック毎に復元される。逆量子化／ＩＤＣＴ部３４３ｂにより復元された予測残差画像は、加算器３４３ｃに供給される。

加算機３４３ｃは、逆量子化／ＩＤＣＴ部３４３ｂにより復元された予測残差画像に予測画像を加算することによって、復号画像を生成する。加算機３４３ｃによって生成された復号画像は、量子化誤差を除いて符号化対象画像（メディアデータの各フレームから拡大ベースデータの対応するフレームを減算することによって得られた差分画像）に一致する。

加算器３４３ｃによって生成された復号画像には、量子化誤差に起因するブロックノイズが含まれる。ループ内フィルタ３４３ｅは、このブロックノイズを除去するための構成である。加算器２１５ｆによって生成された復号画像は、ループ内フィルタ３４３ｅによってブロックノイズを除去された後、加算器３４３ｄに供給されると共に、フレームメモリ３４３ｆに蓄積される。

加算器３４３ｄは、ループ内フィルタ３４３ｅから供給された復号画像に、拡大処理部３４２から供給された拡大ベースデータを加算することによって、メディアデータを復元する。

フレーム内予測部３４３ｇは、復号中のフレーム（復号画像）の復号中のブロックの画像データを、フレームメモリ３４３ｆに蓄積された、復号中のフレーム（復号画像）の復号済ブロックのうち、エントロピー復号部３４３ａから供給された予測パラメータ（予測モード情報）により示された予測モードに応じて選択された復号済ブロックの画像データから予測する。例えば、ベースレイヤのフレーム内予測に用いた予測モードを利用するべきことを示すフラグが予測パラメータに含まれているときには、復号中のフレーム（復号画像）の復号中のブロックの画像データを、ベース情報により示される予測モードに応じて選択された復号済ブロックの画像データから予測する。

フレーム間予測部３４３ｈは、復号中のフレーム（復号画像）の復号中のブロックの画像データを、フレームメモリ３４３ｆに蓄積された、復号済のフレーム（復号画像）のブロックのうち、エントロピー復号部３４３ａから供給された予測パラメータ（動きベクトル情報）により示された動きベクトルに応じて選択されたブロックの画像データから予測する。例えば、ベースレイヤのフレーム間予測に用いた動きベクトルを利用するべきことを示すフラグが予測パラメータに含まれているときには、復号中のフレーム（復号画像）の復号中のブロックの画像データを、ベース情報により示される動きベクトルに応じて選択されたブロックの画像データから予測する。

（プログラム、記憶媒体）
送信装置２の各ブロックは、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。受信装置３についても同様である。

後者の場合、送信装置２は、各機能を実現するプログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである送信装置２の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、送信装置２に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。受信装置３についても同様である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable logic device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。

また、上記プログラムコードは、通信ネットワークを介して送信装置２や受信装置３に供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。

なお、ここで開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明だけではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明は、映像配信等のコンテンツ配信に好適に利用することができる。

２ 送信機（送信装置）
２１ スケーラブル符号化部（符号化装置）
２１１ 縮小処理部
２１２ ベースレイヤエンコーダ（第１の符号化手段）
２１３ ベースレイヤデコーダ
２１４ 拡大処理部
２１５ エンハンスメントレイヤエンコーダ（第２の符号化手段）
２２ ベースレイヤ送出部
２３ エンハンスメントレイヤ送出部（多重化部）
２４ メディア情報生成部
２５ 音声符号化部
３ 受信機（受信装置）
３１ ベースレイヤ受信部
３２ エンハンスメントレイヤ受信部
３３ 制御部
３４ スケーラブル復号部（復号装置）
３４１ ベースレイヤデコーダ（第１の復号手段）
３４２ 拡大処理部
３４３ エンハンスメントレイヤデコーダ（第２の復号手段）
３５ 音声復号部

Claims (12)

1. 少なくとも２つのコンポーネントを含むコンテンツを符号化する符号化装置であって、
   第１のコンポーネントを第１のコーデックに従って予測符号化する第１の符号化手段と、第２のコンポーネントを第２のコーデックに従って予測符号化する第２の符号化手段と、を備え、
   上記第２の符号化手段は、上記第１の符号化手段が上記第１のコンポーネントを予測符号化する際に用いた予測パラメータを参照し、上記第２のコンポーネントを予測符号化するものである、ことを特徴とする符号化装置。
2. 上記第２の符号化手段は、上記第１の符号化手段が上記第１のコーデックに従って導出した第１の予測パラメータと、自身が上記第２のコーデックに従って導出した第２の予測パラメータを比較し、より予測残差が小さくなる予測パラメータを上記第２のコンポーネントの予測符号化に用いる、ことを特徴とする請求項１に記載の符号化装置。
3. 上記第１の予測パラメータと、上記第２の予測パラメータと、上記第２の符号化手段が上記第２のコンポーネントの予測符号化に用いた予測パラメータが上記第１の予測パラメータであるか上記第２の予測パラメータであるかを示すフラグとを、上記第２の符号化手段により生成された符号化データに多重化する多重化手段を更に備えている、ことを特徴とする請求項２に記載の符号化装置。
4. 上記第１のコンポーネントおよび上記第２のコンポーネントは、スケーラブル符号化されたコンテンツを構成する互いに異なるレイヤである、ことを特徴とする請求項１〜３の何れか１項に記載の符号化装置。
5. 請求項１〜４の何れか１項に記載の符号化装置を備えた送信装置であって、上記第１の符号化手段により生成された符号化データと、上記第２の符号化手段により生成された符号化データとを、互いに異なる伝送路を介して送信する送信手段を備えている、ことを特徴とする送信装置。
6. コンピュータを請求項１〜４の何れか１項に記載の符号化装置として動作させるプログラムであって、上記コンピュータを上記符号化装置が備える各手段として機能させるプログラム。
7. 少なくとも２つのコンポーネントを含むコンテンツを符号化する符号化方法であって、
   第１のコンポーネントを第１のコーデックに従って予測符号化する第１の符号化ステップと、第２のコンポーネントを第２のコーデックに従って予測符号化する第２の符号化ステップと、を含み、
   上記第２の符号化ステップは、上記第１の符号化ステップにおいて上記第１のコンポーネントを予測符号化する際に用いた予測パラメータを参照し、上記第２のコンポーネントを予測符号化するものである、ことを特徴とする符号化方法。
8. 少なくとも２つのコンポーネントを含むコンテンツを復号する復号装置であって、
   第１のコーデックに従って予測符号化された第１のコンポーネントを復号する第１の復号手段と、第２のコーデックに従って予測符号化された第２のコンポーネントを復号する第２の復号手段と、を備え、
   上記第２の復号手段は、上記第１の復号手段が上記第１のコンポーネントを復号する際に用いた予測パラメータを参照し、上記第２のコンポーネントを復号するものである、ことを特徴とする復号装置。
9. 請求項８に記載の復号装置を備えた受信装置であって、上記第１の復号手段により復号される符号化データと、上記第２の復号手段により復号される符号化データとを、互いに異なる伝送路を介して受信する受信手段を備えている、ことを特徴とする受信装置。
10. コンピュータを請求項８に記載の復号装置として動作させるプログラムであって、上記コンピュータを上記復号装置が備える各手段として機能させるプログラム。
11. 少なくとも２つのコンポーネントを含むコンテンツを復号する復号方法であって、
    第１のコーデックに従って予測符号化された第１のコンポーネントを復号する第１の復号ステップと、第２のコーデックに従って予測符号化された第２のコンポーネントを復号する第２の復号ステップと、を含み、
    上記第２の復号ステップは、上記第１の復号ステップにおいて上記第１のコンポーネントを復号する際に用いた予測パラメータを参照し、上記第２のコンポーネントを復号するものである、ことを特徴とする復号方法。
12. 請求項６または１０に記載のプログラムが記録されたコンピュータ読み取り可能な記録媒体。

Images