JP2013526199A - 予測誤差から導出されるブロック形状を用いた予測符号化 - Google Patents

Abstract

本発明は、少なくとも二つの色成分を含むビデオ信号のブロック単位の符号化および復号に関する。第一の色成分は、予測を用いて符号化され、第二の成分は、予測誤差に応じて、符号化のために用いられる異なる部分に区切られる。

Description

本発明は、画像符号化／画像復号の方法、装置、これら方法をソフトウェアで実行するプログラムに関する。特に、本発明は、色を符号化するための分割ブロックを導出する方法に関する。

現在、標準的な動画像符号化アルゴリズムの大多数はハイブリッド動画像符号化に基づくものである。典型的には、ハイブリッド動画像符号化方法は、所望の圧縮率を達成するために、それぞれ異なるロスが生じない圧縮方式とロスが生じる圧縮方式とを組み合わせたものである。ハイブリッド動画像符号化は、ＩＳＯ／ＩＥＣ標準規格（ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４のようなＭＰＥＧ−Ｘ標準規格）と同様に、ＩＴＵ−Ｔ標準規格（Ｈ．２６１やＨ．２６３のようなＨ．２６ｘ標準規格）の基礎でもある。最新の動画像符号化標準規格は、Ｈ．２６４／ＭＰＥＧ−４ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＡＶＣ）と称されるものであり、これは、ジョイントビデオチーム（ＪＶＴ）およびＩＴＵ−ＴとＩＳＯ／ＩＥＣのジョイントチームとＭＰＥＧグループとよる標準化活動の成果である。このコーデックは、さらに、高効率動画像符号化（ＨＥＶＣ）の名の下や、高解像度動画像符号化に関する効率の改善を目的の下で、ビデオコーディングの合同共同チーム（ＪＣＴ−ＶＣ）によって開発されつづけている。

エンコーダへ入力される映像信号は、フレームと呼ばれる画像のシーケンスであり、各フレームは２次元配列された画素からなる。ハイブリッド動画像符号化に基づく上記の規格はすべて、個々の動画像フレームを複数の画素から構成される小ブロックへ細分化（再分割）することが含まれている。このブロックのサイズは、例えば、動画像の内容に応じて変化させてもよい。符号化の方法としては、一般的にはブロックの単位で変化させてもよい。そのようなブロックの最大サイズは異なる。一例を挙げると、ＨＥＶＣでは例えばブロックの最大サイズは、６４×６４画素にすることができる。Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣでは、マクロブロック（通常は１６×１６画素のブロックを表す）は、符号化が行われているための基本的な画像要素である。そのマクロブロックは、いくつかの符号化ステップまたは復号ステップが行われる、より小さなサブブロックに分割される場合もある。ＨＥＶＣでは、マクロブロックは、最大のコーディングユニット（ＬＣＵ）である。

典型的には、ハイブリッド動画像符号化における符号化ステップには、空間的および／または時間的予測が含まれる。したがって、各符号化対象ブロックは、まず、例えば既に符号化された動画像フレームから、空間的に隣接したブロックまたは時間的に隣接したブロックを用いて予測される。そして、符号化対象ブロックと、予測残差ブロックとも呼ばれる予測結果との差分ブロックが、求められる。次の符号化ステップでは、残差ブロックが空間（画素）領域から周波数領域へ変換される。この変換の目的は、入力ブロック間の冗長性を削減することである。次の符号化ステップにおいて、上記変換で得た変換係数が量子化される。このステップでは、実質的にはロスが生じる（不可逆的な）圧縮が行われる。通常、上記圧縮変換係数値は、エントロピー符号化によって（ロスを生じさせずに）さらに圧縮される。加えて、符号化映像信号を再構築するために必要な補助情報が符号化され、符号化映像信号とともに提供される。この補助情報は、例えば、空間的および／または時間的予測や量子化量に関するものである。

図１は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣおよび／またはＨＥＶＣ規格に準拠した、典型的なビデオエンコーダ１００の一例を示す。減算器１０５は、まず、動画像（入力信号）の符号化対象ブロックと対応する予測ブロック

との差分ｅを特定する。この差分ｅは、符号化対象ブロックの予測に用いられる。予測信号は、時間的または空間的予測１８０により取得される。予測タイプは、フレーム単位またはブロック単位で異ならせることができる。時間的予測で予測されたブロックおよび／またはフレームは、インター符号化ブロックおよび／またはフレームと呼ばれ、空間的予測で予測されたブロックおよび／またはフレームは、イントラ符号化ブロックおよび／またはフレームと呼ばれる。時間的予測を用いた予測信号はメモリに格納されている符号化画像から導出される。空間的予測を用いた予測信号は、符号化されてメモリに格納された隣接ブロック内の境界画素の画素値から導出される。入力信号と予測信号との差分は予測誤差または残差と称されるが、変換され（１１０）、その結果の係数が、量子化される（１２０）。そして、ロスが生じない方法で格納されるおよび／または送信されるデータ量をさらに削減するために、その量子化係数に対して、エントロピーエンコーダ１９０が適用される。これは、発生確率に基づいて符号語の長さが選ばれる複数の符号語を用いた符号化を行うことにより実現される。

ビデオエンコーダ１００では、復号（再構成）映像信号ｓ’．を取得する復号手段が備えられる。符号化ステップに準拠して、復号ステップには逆量子化・逆変換ステップ（１３０）が含まれる。上記のように取得された予測誤差信号ｅ’は、量子化ノイズとも呼ばれる量子化誤差があるため原予測誤差信号とは異なる。そして、再構築信号ｓ’は、復号予測誤差信号ｅ’を予測信号

に加算する（１４０）ことにより取得される。エンコーダ側とデコーダ側の互換性を保つために、符号化された後に復号された映像信号に基づいて、エンコーダとデコーダの双方に知られる予測信号

が取得される。

量子化によって、量子化ノイズが再構築映像信号に重畳される。ブロック単位での符号化により、重畳されたノイズはしばしば、ブロッキング特性を有し、特に強い量子化がおこなわれた場合は、復号画像のブロック境界が目立つ結果になる。ブロッキングアーチファクトは、人間の視覚的認識上マイナスの効果がある。アーチファクトを削減するために、再構築画像ブロックごとにデブロッキングフィルタが適用される（１５０）。デブロッキングフィルタは、再構築信号ｓ’に適用される。例えば、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣにおけるデブロッキングフィルタは、局所的に適用可能である。ブロッキングノイズの程度が高い場合は、強い（帯域幅が狭い）ローパスフィルタが適用され、ブロッキングノイズの程度が低い場合は、弱い（帯域幅が広い）ローパスフィルタが適用される。ローパスフィルタの強さは、予測信号

と量子化予測誤差信号ｅ’とにより、決定される。デブロッキングフィルタは、通常、ブロックのエッジを平滑化して復号画像の主観的画質を改善する。さらに、画像内のフィルタリング済みの部分が次の画像の動き補償予測に用いられるため、フィルタリングによって予測誤差が削減され、符号化効率を改善することができる。

デブロッキングフィルタの後、既にデブロッキングされた信号ｓ’’を含む画像に対して適応ループフィルタ（１６０）が適用される。デブロッキングフィルタは、主観的画質を改善するのに対して、ＡＬＦは、画素単位の忠実度（客観的な品質）の改善を目的としている。特に、適応ループフィルタ（ＡＬＦ）は、圧縮による画像の歪を補正するために用いられる。典型的には、適応ループフィルタは、再構築されたｓ’とソース画像ｓとで平均二乗誤差（ＭＳＥ）を最小にするよう決定されたフィルタ係数を持つウィナーフィルタ係数である。このＡＬＦのフィルタ係数は、フレーム単位で計算されて送信される。ＡＬＦは、全フレーム（動画像シーケンスの全画像）または局所的な領域（ブロック）に対して適用できる。フィルタ対象領域を示す追加情報が送信されるとしてもよい（ブロックベース、フレームベースまたは四分木ベースで）。

復号されるためには、インター符号化されたブロックは、符号化され、その後、復号された画像の部分が参照フレームバッファ（１７０）内に保存されている必要があります。インター符号化されたブロックは、動き補償予測を採用することにより、予測される（１８０）。まず、動き予測するものによって、符号化された後に復号された動画像フレーム内で、対象ブロックに最適なブロックが検出される。この最適ブロックは予測信号となり、対象ブロックと最適ブロック間の相対的なずれ（動き）が、符号化動画像データとともに提供される補助情報内に含められる３つの成分の動きベクトルの形で動きデータとして信号送信される。この３つの成分は、２つの空間成分と、１つの時間的な成分から構成される。予測精度を最適化するため、１／２画素解像度や１／４画素解像度など空間的な小数画素解像度で動きベクトルを特定してもよい。空間的な小数画素解像度の動きベクトルは、復号フレーム内の、小数画素位置のように実存する画素値がない空間的な位置を指してもよい。したがって、動き補償を行うために、そのような画素値の空間的補間が必要である。このようにして、補間は、補間フィルタ（図１では予測ブロック（１８０）内で統合されている）によって実現される。

イントラ符号化モードおよびインター符号化モードにおいて、対象入力信号と予測信号間の差分ｅが変換されて（１１０）量子化（１２０）され、量子化変換係数が得られる。一般的に、２次元離散コサイン変換（ＤＣＴ）または整数変換のような直交変換が採用される。なぜなら、これにより自然動画像の冗長性を効率的に削減できるからである。変換後、通常、周波数成分は、高周波成分よりも画質にとって重要である。そのため、高周波数よりも低周波数に多くのビットが費やされるように変換される。エントロピーエンコーダでは、２次元配列の量子化係数が１次元配列に変換される。典型的には、２次元配列の左上隅から、右下隅まで所定の順序で走査するいわゆるジグザグ走査によって変換される。典型的には、エネルギーは低周波に相当する２次元配列の係数の左上部分に集中するため、ジグザク走査を行うと、最後のほうの値はゼロ値が続く配列になる。これにより、実際のエントロピー符号化の一部として、またはそれ以前の段階で、ラン−レングス符号を用いた効率的な符号化をおこなうことが可能になる。

ＨＥＶＣと同様に、Ｈ．２６４、ＭＰＥＧ−４ Ｈ．２６４および／またはＭＰＥＧ−４ ＡＶＣ標準規格には、動画像符号化層（ＶＣＬ）とネットワーク抽象レイヤ（ＮＡＬ）という２つの機能層を含んでいる。ＶＣＬは、簡単ではあるが上述した符号化機能を提供する。ＮＡＬは、例えばチャネル上伝送や格納手段への格納など、さらなるアプリケーションに応じて、情報要素を、ＮＡＬユニットと呼ばれる標準単位にカプセル化する。ここで、情報要素とは、例えば、符号化された予測誤差信号、または、例えば予測タイプ、量子化パラメータ、動きベクトルなどの映像信号を復号するために必要なその他の情報である。圧縮動画像データおよびその関連情報を含むＶＣＬ ＮＡＬユニットと呼ばれるものがある。一方、付加データをカプセル化する非ＶＣＬユニットと呼ばれるものもある。付加データは、例えば、動画像シーケンス全体に関するパラメータセットや、復号性能を改善するために用いることができる付加情報を提供する補助的拡張情報（ＳＥＩ）などである。

図２は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣまたはＨＥＶＣの動画像符号化標準規格に準拠した例示的なデコーダ２００を説明する図である。符号化映像信号（デコーダへの入力信号）は、まずエントロピーデコーダ２９０へ送信され、エントロピーデコーダ２９０は量子化係数や動きデータおよび予測モードなどの復号に必要な情報要素を復号する。量子化係数は、逆走査されて２次元配列となり、逆量子化・逆変換２３０へ送信される。逆量子化および逆変換２３０の後、復号（量子化）予測誤差信号ｅ’が得られる。これは、量子化ノイズが導入されず、誤差が発生しない場合にエンコーダへ入力された信号から予測信号を減算して得られた差分に相当する。

予測信号は、時間的予測手段または空間的予測（２８０）からそれぞれ得られる。復号情報要素は、さらに、イントラ予測の場合には予測タイプ、動き補償予測の場合には動きデータなど、予測に必要な情報を含んでいる。空間領域の量子化予測誤差信号は、加算器（２４０）で、動き補償予測またはイントラフレーム予測（２８０）から得られる予測信号と加算される。再構築画像ｓ’は、デブロッキングフィルタ（２５０）と適応ループフィルタ（２６０）に送信されるとしてもよい。その結果得られた復号信号は、メモリ（２７０）に格納され、後続ブロックまたは後続画像の時間的予測または空間的予測に用いられる。

要約すると、Ｈ．２６４または／およびＭＰＥＧ−４ ＡＶＣなど標準化されたハイブリッド動画像を符号化するものは、１つの色成分以上の画像信号（ＹＵＶ，ＹＣｂＣｒ，ＲＧＢ，ＲＧＢＡなど）を符号化するのに用いられる。これらの規格は、予測ステップ１６０、１７０と、後続の予測誤差符号化ステップ１１０に適用される。予測目的として、符号化対象画像はブロックに分割される。ブロック毎に、イントラ予測（１７０）またはインター予測（１６０）が適用される。一般的に、大きな予測誤差の符号化は、高ビットレートに関連付けられており、小さな予測誤差の符号化は、低ビットレートに関連付けられている。これは、異なるサイズのブロックにも利用可能である。適用されたブロックサイズが符号化されて送信されるので、標準化された動画像を符号化するものは、例えば、４×４サンプルなどの最小ブロックサイズを持つ矩形のブロックを適用する。ブロック分割を通知するために必要なビットレートと予測精度との間のトレードオフとして、予測ブロックの形状や大きさに応じた自由度が選ばれる。以下に複数の先行技術文献を挙げる。
・Ken McCann, et al., “Samsung’s Response to the Call for Proposals on Video Compression Technology”, document JCTVC-A124, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 1st Meeting: Dresden, DE, 15-23 April, 2010
・米国特許出願公開第２００９／０１９０６５９号明細書
・米国特許出願公開第２００８／００４３８４０号明細書
・米国特許出願公開第２００８／０００８２３８号明細書

これらには、画像をブロックに分割するために、色成分間の統計的依存性を利用することが有益であることが示されている。例えば、既に復号された１つの色成分の再構築されたサンプルは、別の色成分を後続で符号化するためのブロック分割を導出するために使用される（ＪＣＴＶＣ−Ａ１２４章２．４．３を参照）。この利点は、ブロック分割の導出により、任意の形状を可能にすることである。さらに、デコーダだけでなく、同じ方法で（暗黙的に）エンコーダでも導出することができるのでブロック分割を通知する追加ビットレートは必要とされない。

例えばＨ．２６４および／またはＭＰＥＧ−４ ＡＶＣなどの従来技術に内在する一般的な問題は、矩形のブロック形状に制限があることである。任意のブロック形状を使用することは、予測精度を向上させるが、そのブロック形状を明示的に符号化することは高ビットレートに関連付けられる。任意の形状のブロックを暗黙的に除算することは、ビットレートを増加させることなく、予測精度を向上させる。しかし、上記で引用された従来技術で使用される別の色成分の再構築信号から導出された符号化対象の色成分に対する暗黙的なブロック除算は、正確ではないかもしれないし、不可能でさえあるかもしれない。

従来技術に内在する具体的な問題点は、例えば、静止背景上を移動する物体など、符号化対象の画像コンテンツが、異なる動きの２つの物体に関連している状況で、異なる動きの物体に応じて暗黙的に画像を分割されることを予測ステップで望まれる点である。既に復号された色成分の再構築信号から導出された暗黙的な分割は、すべての従来技術においてなされる方法では、その後できない。
-再構築信号には、物体の動きに関する情報は含まれない、そして、
-再構築信号には、復号された色成分について複数の物体で異なっていない場合、それら物体の境界に関する情報は含まれない。

再構築信号から導出された暗黙的なブロック分割は、正確でない、または不可能であるかもしれないので、符号化効率は、制限される。別の色成分または複数の成分をその後に符号化するために、任意の形状のブロック分割を導出するときに既に復号された色成分の予測誤差を使用することは、本発明の特有のやり方である。

本発明の効果は、画像を任意の形状のブロックに分割するための色成分間の統計的依存関係が効率的に利用することができることである。利点の１つは、本発明に係るブロック分割の導出によれば、任意の形状を許容することである。その形状の暗黙的な導出は、以下の理由から、非常に正確である。関連する変位ベクトルを伴う予測誤差ブロックは、物体の動きに関する情報を含む。例えば、静止背景の上を移動する物体など、異なる動きの２つのオブジェクトに関連する状況において、量子化された予測誤差に応じた暗黙的な分割は、非常に正確である。このような状況では、予測により、小さいまたはゼロであっても予測誤差をもたらすことができる。

特に、本発明の一態様によれば、予測符号化を用いて、第一の色成分のブロックを符号化するステップと、前記第一の色成分の予測誤差に基づいて、別の色成分を符号化するために分割ブロックを導出するステップとを含み、映像信号の少なくとも２つの色成分を符号化する方法を提供できる。

本発明の一態様によれば、予測符号化を用いて、第一の色成分のブロックを復号するステップと、前記第一の色成分の予測誤差に基づいて、別の色成分を復号するために分割ブロックを導出するステップとを含み、映像信号の少なくとも２つの色成分を復号する方法を提供できる。

本発明の別の態様によれば、予測符号化を用いて、第一の色成分のブロックを符号化する符号化部と、前記第一の色成分の予測誤差に基づいて、別の色成分を符号化するために分割ブロックを導出する分割部とを備え、映像信号の少なくとも２つの色成分を符号化する符号化装置を提供することができる。

本発明の別の態様によれば、予測符号化を用いて、第一の色成分のブロックを復号する復号部と、前記第一の色成分の予測誤差に基づいて、別の色成分を復号するために分割ブロックを導出する導出部とを備える復号装置を提供することができる。

本発明における、上記内容、他の目的および特徴は、添付の図面に併せて与えられる以下の説明と、好ましい実施の形態とからより明らかになるだろう。
図１は、従来のＨ．２６４／ＭＰＥＧ−４ ＡＶＣのビデオエンコーダの一例を示すブロック図である。 図２は、従来のＨ．２６４／ＭＰＥＧ−４ ＡＶＣのビデオデコーダの一例を示すブロック図である。 図３は、ブロック単位の時間的予測の予測誤差を示す模式図である。 図４は、第二の成分のブロックの細分割を決定する際の従来技術の問題を説明するための模式図である。 図５は、第一の成分の符号化を示す模式図である。 図６は、対象ブロックを２つの部分に細分割することを示す模式図である。 図７は、第二の成分を符号化することとその結果を示す模式図である。 図８は、本発明の第１の実施形態に係るエンコーダの例を示すブロック図である。 図９は、本発明の第３の実施形態に係るデンコーダの例を示すブロック図である。 図１０Ａは、本発明の第１の実施形態に係る映像信号を符号化する方法を示すフロー図である。 図１０Ｂは、本発明の第１の実施形態に係る画像を複数のブロックに分割する方法を示すフロー図である。 図１１は、本発明の実施形態に係る画像信号を復号する方法を示すフロー図である。 図１２は、本発明の第１の実施形態に係る映像信号を復号する方法を示すフロー図である。 図１３は、本発明の第１の実施形態に係る映像信号を符号化する方法を示すフロー図である。 図１４は、第一の成分と第二の成分との予測誤差に基づいて、第三の成分のブロックを３つの部分に分割することを示す模式図である。 図１５は、第一の成分のサブブロックのＤＣ係数の値に基づいて、第二の成分のブロックを細分割することを示す模式図である。 図１６は、符号化されたＤＣ係数の復号を示すブロック図である。 図１７は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成図である。 図１８は、デジタル放送システムの全体構成図である。 図１９は、テレビの構成例を示すブロック図である。 図２０は、光ディスクである記録メディアに情報の読み書きを行う情報再生／記録部の構成例を示すブロック図である。 図２１は、光ディスクである記録メディアの構成例を示す図である。 図２２Ａは、携帯電話の一例を示す図である。 図２２Ｂは、携帯電話の構成例を示すブロック図である。 図２３は、多重化データの構造を示す図である。 図２４は、各ストリームが多重化データにおいてどのように多重化されているかを模式的に示す図である。 図２５は、ＰＥＳパケット列に、ビデオストリームがどのように格納されるかを更に詳しく示した図である。 図２６は、多重化データにおけるＴＳパケットとソースパケットの構造を示す図である。 図２７は、ＰＭＴのデータ構成を示す図である。 図２８は、多重化データ情報の内部構成を示す図である。 図２９は、ストリーム属性情報の内部構成を示す図である。 図３０は、映像データを識別するステップを示す図である。 図３１は、各実施の形態の動画像符号化方法および動画像復号化方法を実現する集積回路の構成例を示すブロック図である。 図３２は、駆動周波数を切り替える構成を示す図である。 図３３は、映像データを識別し、駆動周波数を切り替えるステップを示す図である。 図３４は、映像データの規格と駆動周波数を対応づけたルックアップテーブルの一例を示す図である。 図３５Ａは、信号処理部のモジュールを共有化する構成の一例を示す図である。 図３５Ｂは、信号処理部のモジュールを共有化する構成の他の一例を示す図である。

例えばＨ．２６４／ＭＰＥＧ−４ ＡＶＣなどの従来技術のハイブリッドビデオコーデックでは、予測に使われるブロックは、典型的には、長方形のブロック形状である。図３に示すように、これは、予測精度を制限する。図３には、参照フレーム３１０と、対象フレーム３５０とが示されている。参照フレーム３１０は、静止背景（小さな丸で表される）と、最初の位置における移動物体３１５（大きな丸で表される）とを含んでいる。対象フレーム３５０は、符号化対象フレーム３５０内で参照フレーム３１０内の静止背景の位置と同じ位置に静止背景を含む。しかし、符号化対象フレーム３５０における移動物体３５５は、参照フレーム３１０内の移動物体に対してずれている、つまり、２つのフレーム間でその物体は動いている。符号化対象画像３５０に位置する対象ブロック３６０の動き予測を行う場合、最も類似するブロックが、参照フレーム３１０内で検索される。この検索は、ベストマッチングアプローチによって、または、動きベクトルの候補の集まりから動きベクトルを選択することによって、または、他の任意の動き推定法によって行われる。図３では、最も良くマッチングしたブロック３２０は、対象ブロックの予測と認定される。図３において、対象ブロック３６０は、主に静止背景の部分と移動物体の小さな部分のみとを含んでいるので、予測ブロック３２０が選択される。従って、得られた動きベクトルは（背景が静的であると仮定しているため）、ゼロ動きベクトルである。これは、予測ブロック３２０が、符号化対象フレーム３５０内の対象ブロック３６０と同じ位置の参照フレーム３１０内に存在することを意味する。予測がブロックごとに行われる場合には、予測誤差ブロック３３０は、符号化対象ブロック３６０と予測ブロック３１０との間の差として得られる。図１に見られるように、矩形ブロック形状の場合の符号化対象ブロックの予測誤差は、静止背景に対応する部分においてゼロである。しかし、予測誤差は、対象ブロックにおいて移動物体３５５の一部が配置されている右下隅では、高くなる。そのようなブロックの予測誤差は、その後符号化効率の低下につながる可能性があり、むしろ大きいかもしれない。

任意のブロック形状の使用により、予測精度を向上させことができる。しかし、そのブロック形状を明示的に符号化することは、再び、そのように符号化されたビデオストリームのビットレートの増加に関連付けられる。任意の形状のブロックへの暗黙の分割は、ビットレートを増加させることなく、予測精度を高めることができる。しかし、例えば、ＪＣＴＶＣ−Ａ１２４、米国特許出願公開第２００９０１９０６５９号明細書、米国特許出願公開第２００８００４３８４０号明細書、または米国特許出願公開第２００８０００８２３８号明細書の従来技術で知られている別の色成分の再構築信号から導出される符号化対象の色成分に対する暗黙のブロック分割は、正確でない、または、可能でないかもしれない。

このことは、図４に示されている。図４は、符号化対象の画像コンテンツが、異なる動きを有する２つの物体、すなわち、別の表現だと静止背景上を移動する物体３１５、３５５（２つの異なる位置それぞれに表示されている）に関連する場合を示している。

異なる動きの物体に応じた画像の暗黙的な分割は、上記予測ステップのために有益である。しかし、既に復号された色成分の再構築信号は物体の運動についての情報を含んでいないので、その再構築信号から導出された暗黙的な分割は、従来技術では行うことはできない。また、復号された色成分に関してそれら物体に違いがない場合、再構築信号は、物体の境界についての情報を含まない。

再構築信号から導出された暗黙的なブロック分割は、正確でない、または、可能でない場合があるので、符号化効率もまた、制限される。ブロック４３０は、第一の復号色成分の再構築信号を表している。しかし、再構築信号の単一の色成分に基づくと、移動物体と静止背景との区切りが不正確であったり、不可能でさえあったりする。

本発明によれば、フレームの色成分の区切りは、別の色成分の予測誤差に基づく。本発明の利点の一つは、非矩形ブロックに分割することも可能になることである。しかし、本発明は、矩形ブロックの細分割化にも適している。

また、本発明は、そのように符号化された映像信号のビットレートをさらに増大させることなく、細分割の決定を暗黙的に行うことができる。

しかし、本発明は、後で示されるように細分割のパラメータを通知することと組み合わせるとしてもよい。関連する変位ベクトルと組み合わせた予測誤差ブロックは、ブロックへの適切な区分を導出するために用いられる物体の動きに関する情報を含むので、本発明に係る形状の暗黙の導出は高精度である。したがって、たとえ符号化対象の画像コンテンツが異なる動き（大きさ及び／又は方向）を有する２つの物体に関連しているというシナリオでさえ、量子化された予測誤差に応じた画像の暗黙の分割は、正確な予測結果（小さな予測誤差）に導きながら行うことができる。

以下では、本発明の実施形態例について説明する。しかし、本発明は、これらの具体的な実施形態に限定されるものではない。これらの実施形態は、互いに組み合わせるとしてもよい。

本発明の第１の実施形態によれば、予測誤差信号が、第一の成分のブロックの画素位置で量子化された予測誤差信号でもなく、量子化及び変換された予測誤差信号でもない方法が提供される。

好ましくは、第一の成分のブロックの位置に対応する第二の（別の）成分のブロックは、閾値演算結果に応じて、２つの部分に細分割される。そして、得られた２つの部分は異なると予想される。

本発明の第１の実施形態に係る画像符号化装置は、図８に例示するブロック毎のハイブリッドエンコーダ８００から構成されている。符号化対象の入力信号８０１の色成分はその後符号化される。符号化目的のために、画像は複数のブロックに分割される。予測信号は、ブロックごとに、イントラ予測または動き補償された画面間予測である予測８７０によって生成される。予測誤差８２１は、符号化された８０１と予測信号８７１との差であり、例えば図１の１１０に示されるように離散コサイン変換と量子化とを組み合わせて、符号化８３０を用いて符号化される。さらに、エントロピー符号化８９０を適用することができる。内部デコーダ８５０では、符号化された予測誤差が復号され、８６０を予測信号８７１に加算して結果的に再構築信号８６１を得る。これは、さらなるその後の予測ステップのためにメモリに格納される。上記の先行技術とは対照的に、予測８７０は量子化された予測誤差信号８３１を利用する。これは、図１０Ａおよび１０Ｂのフローチャートに示されている。図１０Ａには、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣなど従来技術のシステムと同様に符号化対象ブロックの第一の色成分を符号化する１０１０のステップと、復号する１０２０のステップとを含む、本発明に係る方法が示されている。そして、その符号化対象ブロックの色成分をその後に符号化するために、区切りはその第一の色成分の復号予測誤差に基づいて行われる。

具体的には、区切り方法の一例を図１０Ｂに示されている。区切りとその効果の模式図は図５、図６および図７に示されている。図５は、ＹＵＶ信号のＹ成分のように、第一の色成分を符号化する第一のステップを示している。静止背景と移動物体５５５を含んでいる符号化対象フレーム５５０の対象ブロック５６０は、移動物体５１５を有するが、異なる位置に有する前のフレーム５１０のブロック５２０により予測される。

図３を参照して説明された符号化と同様に、予測誤差ブロック５３０は、高い予測誤差の一部と低い予測誤差の一部とを有する。図７は、２つの部分６４１および６４２のために異なる方法で実行された予測を示している。具体的には、異なる変位ベクトルは、これらの別々の部分６４１および６４２のために検出されており、したがって、それらの予測は、より正確になり、低い予測誤差７３０、理想的にはゼロの予測誤差に結果的になる。第二の色成分は、例えば、ＹＵＶ画像のＵ及び／又はＶの成分であってもよい。

図６は、さらに、第二の成分のブロック６４０を、そのブロック６４０が２つの部分６４１、６４２に細分割されることに応じて、区切ることを示している。ここで、第一の部分６４１は、第一の色成分の予測誤差８３１の絶対値が小さい領域を示しており、第二部分６２２は、第一の色成分の予測誤差の絶対値は大きい領域を示している。

図１０Ｂに示すように、区切りは、閾値演算１０４０を用いて行われる。具体的には、第一の色成分の予測誤差の絶対値が閾値よりも小さい場合、その成分は第一の部分６４１に割り当てられる（１５０）。第一の色成分の予測誤差の絶対値が閾値よりも大きい場合、その成分は第二の部分６４２に割り当てられる（１０６０）。

比較は、量子化された予測誤差信号に基づいて行われる。これは、次の理由から有用である。すなわち、その信号はエンコーダとデコーダの両方で利用可能であり、従って、区切りの導出は、付加的に信号を送信する必要とせずに、暗黙的に実行され得るからである。しかし、一般的に、本発明の区切りは、非量子化された予測誤差８２１に基づいて行われてもよい。また、この決定は、例えば、ＤＣＴのような変換後に重要となる、空間領域での量子化信号または周波数領域での量子化信号に基づいて、なされるとしてもよい。

閾値は、同じ値となるようにエンコーダとデコーダで予め定義されているとしてもよい。しかし、本発明はこれに限定されるものではなく、閾値は、エンコーダで決定され、符号化されてデコーダに伝送されるとしてもよい。その決定は、ユーザに可能性を提供して選択させた設定により、または、エンコーダによって自動的に、エンコーダの設定により行われるとしてもよい。また、決定された閾値は、例えばエントロピー符号化手段によって、伝送に必要なビットレートを減らすために符号化されるとしてもよい。

エンコーダによる判定は、例えば、ビットレートのラグランジュコストと平均二乗再構築誤差とを最小化にすることにより、行われるとしてもよい。閾値は、既に復号されたシンボルに基づいてエンコーダとデコーダとで同じように決定されるとしてもよい。

例えば、デコーダは、既に復号された画像領域に対して平均二乗再構築誤差とビットレートのラグランジュコストとを最小化にすることにより閾値を決定することができる。区切り１０３０の後、ブロック６４０における得られた第二の色成分の部分６４１、６４２は、別の予測モードを用いて、符号化１０９０される。例えば、第一の部分６４１は、第一予測モードで符号化され、好ましくは、第一の色成分などの場合に、低い予測誤差となる可能性が高いので、第一の色成分で用いられた第一予測モードで符号化される。ここで、予測モードは、予測対象の信号の一部に対する予測を導出するためのルールを意味する。予測モードは、例えば、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣで用いられるようなイントラ予測モード、または、ＪＣＴＶＣ−Ａ１２４のセクション２．４．３に記述されるイントラ予測モードである。しかし、この予測モードは、参照フレームインデックスと変位ベクトルとして予測ブロックを指定するインター予測モードであってもよい。

第二の部分６４２の符号化は、好ましくは第一の色成分で使用された予測モードと異なる第二予測モードを用いて行われるとしてもよい。第一の色成分で使用された予測モードと同じでは、第一の色成分の場合のように、高い予測誤差となり得るからである。

動画像符号化規格において上記技術を含むように、インター符号化に対するブロックレベルのシンタックスの例が次の表に示されている。

「セグメンテーション・インジケータ」は、エンコーダが区切りを使用することを指定する設定としてもよい。これは、エンコーダおよび／またはデコーダ、または、ユーザによってあらかじめの設定、または、エンコーダ／デコーダで固定的に定義された設定によって、導出されるとしてもよい。

しかし、本発明はこれに限定されるものではない。符号化ビデオストリームのシンタックスは、本発明における区切りが適用されるか否かを示すセグメンテーション・インジケータを含むとしてもよい。このようなインジケータは、例えば、シーケンスまたはスライスレベルで、効果的に含まれているとしてもよい。しかし、それは、第二の実施形態を参照しながら以下で説明するように、ブロックレベルで含まれるとしてもよい。

ブロックレベル（例えば、上記表）において、そのシンタックスは、セグメンテーション・インジケータに応じて、区切りが適用される場合には、２つの色成分に対する追加の変位ベクトルと、２つの色成分に対して対応する量子化予測誤差信号とを含む。

例えば、仮に、図６を参照して説明した上記例を例として挙げる場合、有効である上記シンタックスの要素に対して、対象ブロック６４０の第一の部分６４１は、量子化予測誤差色成分となる変位ベクトルの色成分の１つに従って符号化される。それに加えて、符号化対象ブロックの第二の部分６４２は、量子化予測誤差色成分となる追加の変位ベクトルの色成分の１つに従って符号化される。

なお、上記の表は、本実施形態の特徴を説明するために、シンタックスに関連するブロックの部分を説明しているに過ぎない。しかし、ブロックレベルのシンタックスは、さらなる要素および／またはさらなる色成分を含むとしてもよい。

動画像符号化規格において、上記技術を含むように、イントラ符号化に対するブロックレベルのシンタックスの例が次の表に示されている。

この表は、インター予測の代わりにイントラ予測が対象ブロックの双方の部分に適用されるという点で、前述したものと異なる。具体的には、予測モードの成分のひとつは、第一の成分の空間予測の予測モードを指定する。このモードは、また、第二の色成分の第一の部分６４１を符号化するのに用いられる。「量子化予測誤差色成分の一つ」は、残差信号の値を指定する。類似の要素は、第二の色成分（不図示）に含まれ得る。セグメンテーション・インジケータにより区切りが適用されることが示される場合には、追加の予測モードと残差は、「追加の予測モード色成分の１つ」と、「量子化予測誤差信号成分の１つ」との要素により第二の部分に向けて信号で送られる。

ブロックレベルのシンタックスの上記２つの例は、本発明のアプローチを支持する唯一の可能性ではない。一般的に、この実施形態は、インター予測またはイントラ予測のどちらかで、対象ブロックの部分６４１と６４２の両方を符号化することに限定されない。予測領域はまた、２つのブロックの部分ごとに異なる場合がある。例えば、第一の色成分は、後の表に示される第二の成分の第一の部分６４１と同様に、イントラ符号化されるとしてもよい。しかし、セグメンテーション・インジケータが、区切りが適用されることを示す場合に最初の表で示されているように、第二の色成分の第二の部分６４２は、時間的に予測されるとしてもよい。

セグメンテーション・インジケータは、所定の区切りが適用されるか否かを示す有効なフラグである。しかし、本発明は、これに限定されるものではなく、セグメンテーション・インジケータもまた、さらに第二の色成分に（例えばイントラまたはインターで）適用される予測タイプを示すとしてもよい。また、別のシンタックス要素が、予測のタイプを指定するとしてもよい。セグメンテーション・インジケータもまた、（他の色成分に基づいて、）色成分が区切られる場所および方法を示すとしてもよい。

本発明の第２の実施形態に係る画像符号化装置は、下記のとおりに動作する図６によれば、ブロック・ベースのハイブリッドエンコーダを備える。符号化対象の信号の色成分は、その後符号化される。符号化するために、画像はブロックに分割される。ブロックごとに、予測信号８７１は、イントラ予測または動き補償インター予測のどちらかによって生成される。予測誤差８２１は、符号化対象の信号８０１と予測信号８７１との差であり、例えば離散コサイン変換と量子化とを組み合わせて、あるいは量子化のみで、符号化８３０を用いて符号化される。さらに、エントロピー符号８９０が適用される。内部デコーダ８５０では、符号化された予測誤差８３１が復号され、予測信号８７１に加算することで結果的に再構築信号を得る。これは、さらにその後の予測ステップのためにメモリに格納される。上記の先行技術とは対照的に、予測は、図１３のフローチャートに示されるように、以下の方法で量子化予測誤差信号を用いる。

図１３は、例えば、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣなどの従来技術のシステムのシステムと同様に、符号化対象ブロックの第一色成分における符号化１３１０と復号１３２０とのステップを示している。そして、１３３０、ブロックを区切りか否かを示すセグメンテーション・インジケータを生成するステップが実行される。これは、エンコーダによる判定は、例えば、ビットレートのラグランジュコストと平均二乗再構築誤差とを最小化にすることにより、行われるとしてもよい。

セグメンテーション・インジケータは、符号化され（１３４０）、デコーダに送信される。符号化は、固定長符号化または可変長符号化により行われる。あるいは、またはさらに、予測符号化が行われ得る。

具体的には、セグメンテーション・インジケータの予測は、
a 空間的に隣接するブロックのセグメンテーション・インジケータ、および／または
b 時間的に隣接するブロックのセグメンテーション・インジケータに基づくものであってもよい。

セグメンテーション・インジケータが、ブロックを区切ることを示す場合、対象ブロックのその後の色成分は、復号された第一の色成分の予測誤差に基づいて、区切られる。

１セグメントは、第一予測モードを使用して符号化される。第一の色成分の場合のように低い予測誤差を生じる可能性があるため、好ましくは、１セグメントは、第一色成分に使用されたものを使用して符号化される。２番目のセグメントは、第二予測モードを使用して符号化される。第二予測モードは、第一の色成分の場合のように高い予測誤差を生じる可能性があるため、２番目のセグメントは、好ましくは、第一色成分に使用されたものとはことなるものを使用して符号化される。セグメンテーション・インジケータが、ブロックを区切らないことを示す場合、対象ブロックのその後の色成分は、区切りなしで符号化される。

動画像符号化規格において、上記技術を含む、インター符号化に対するブロックレベルのシンタックスの例が次の表に示されている。

動画像符号化規格において上記技術を含む、イントラ符号化に対するブロックレベルのシンタックスの例が次の表に示されている。

これらの２つの表は、ブロックレベルのシンタックスに含まれるセグメンテーション・インジケータにより、第一の実施形態の範囲内で記述された表とは異なる。

本発明の第３の実施形態によれば、次のように、後述の部と動作を含む図７に示されるように、ブロック・ベースのハイブリッドデコーダを含む、画像復号装置が提供される。

復号装置９００は、エントロピーデコーダ９９０、復号部（デコーダ）９５０、予測部（予測）９７０とおよび加算器９４０を備えている。復号対象の信号９０１の色成分は、その後、復号される。復号するために、画像はブロックに分割される。さらに、エントロピー復号９９０が適用される。各ブロックは、符号化された符号化したもの８２１の前の信号と予測信号８２１と差である予測誤差９４１は、例えば逆離散コサイン変換とスケーリング操作の組み合わせ、もしくは、スケーリング操作のみ、デコーダ９５０を用いて復号される。また、予測信号９７１は、予測モード、動きベクトルなどについて送信される情報を用いて、イントラ予測または動き補償インター予測のいずれかを適用する予測部９７０によって生成される。符号化予測誤差は復号され、９４０が予測信号９７０に加算される。その結果、再構築信号９４１が得られる。これは、さらにその後の予測ステップのためにメモリに格納される。上記の先行技術とは対照的に、予測は、図１１のフローチャートでも示されるように、以下の方法で量子化予測誤差信号９９１を用いる。

具体的には、図１１は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣなどの従来技術のシステムで復号対象ブロックの第一色成分の復号１１１０を示している。復号対象ブロックのその後の色成分の復号のため、区切り１１２０は、第一の色成分の復号予測誤差に基づいて実行される。セグメンテーションのための一つの可能性は、すでに第１の実施の形態について説明した図６に示されるように、ブロックを２つの部分に分割することである。

第一の部分６４１（部分１）は、第一の色成分の予測誤差の絶対値が小さくなっている領域である。第二の部分６４２（部分２）は、第一の色成分の予測誤差の絶対値が大きくなっている領域である。

区切りは、閾値演算を使用して、実行することができる。
− 第一の色成分の予測誤差９９１の絶対値が閾値よりも小さい場合、その信号は第一の部分６４１に割り当てられる。
− 第一の色成分の予測誤差９９１の絶対値が閾値よりも大きい場合、その信号は第二の部分６４２に割り当てられる。

閾値は、エンコーダとデコーダとで予め定められているとしてもよい。また、エンコーダで決定され、符号化されてデコーダに送信されるとしてもよい。閾値は、既に復号されたシンボルに基づいてエンコーダとデコーダとで同じように決定されるとしてもよい。

閾値については、閾値に等しい信号の部分が予め定められた方法で、部分１または部分２に割り当てられるとしてもよい。ここで、その信号は、第二の色成分の特定のピクセルのサンプルによって表されるとしてもよい。なお、直接的かどうかの予測目的で、予測誤差を表すエントロピー復号信号が用いられるとしてもよい。または、（ここでは逆変換および／またはスケーリングについての復号に）復号予測誤差信号は用いられるとしてもよい。

区切り１１２０の後、復号１１３０のステップ、具体的には 第一予測モードを用いた部分１の復号かつ第二予測モードを用いた復号が実行される。

本発明の第４の実施形態によれば、後述の動作を含む図９に示されるように、ブロック・ベースのハイブリッドデコーダを含む、画像復号装置が提供される。復号対象信号の色成分は、その後復号される。復号のために、画像はブロックに分割される。まず、エントロピー復号９９０が適用される。予測誤差８２１は、符号化された信号と予測信号との差であり、例えば逆離散コサイン変換とスケーリング演算とを組み合わせて、デコーダを用いて復号される。また、予測信号は、予測モード、動きベクトルなどについて送信される情報を用いて、イントラ予測または動き補償インター予測のいずれかにより生成される。符号化された予測誤差が復号され、予測信号に加算されることで結果的に再構築信号を得る。これは、さらにその後の予測ステップのためにメモリに格納される。上記の先行技術とは対照的に、予測は、図１２のフローチャートでも示したように、以下の方法で量子化予測誤差信号を用いる。

図１２のフローチャートは、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣなどの従来技術のシステムで復号対象ブロックの第一色成分を復号することを示している。次に、セグメンテーションインジケータは、復号される（１２２０）。復号されたセグメンテーション・インジケータに従って、対象ブロックの区切りが実行される。

具体的には、セグメンテーション・インジケータが、ブロックを区切ることを示す場合、対象ブロックのその後の色成分は、復号された第一の色成分の予測誤差に基づいて、区切られる。次に、第二の色成分は復号される（１２４０）。例えば、第一の部分６４１は、第一予測モードを用いて復号され、第二の部分６４２は、第二予測モードを用いて復号される。

具体的には、セグメンテーション・インジケータが、ブロックを区切ることを示さない場合、対象ブロックのその後の色成分は、区切りなしに、復号される（１２５０）。

本発明の第５の実施形態によれば、本発明の特徴に加えて、その後の色成分のためにブロック分割が導出される前にアップサンプリングステップまたはダウンサンプリングステップが第一の色成分の量子化予測誤差に適用される、画像符号化装置および画像復号化装置が提供される。アップサンプリングは、第二の色成分または他の色成分を除く第一の色成分のために小さなサンプリングレートが用いられるという状況において実行される。ダウンサンプリングは、第二の色成分または他の色成分を除く第一の色成分のために大きなサンプリングレートが用いられるという状況において実行される。小さなまたは大きなサンプリングレートは、例えば、いわゆる４：２：２または４：２：０サンプリングの場合に適用される。

本発明の第６の実施形態によれば、画像符号化装置および画像復号化装置は、さらに、動きベクトル予測を適用する。ブロック分割がインター予測を用いて対象ブロックに実行された場合、動きベクトル予測は、予測誤差が大きい第二の部分６４２の分割のために行うことができ、動きベクトルは、空間的または時間的に隣接するブロックのデータ、例えば動きベクトルから予測できる。これは、隣接するブロックが、画像コンテンツすなわち対象ブロックの第二の部分６４２と同じオブジェクトに属している可能性がある。したがって、それは同じような動きを有すると推定されるとしてもよい。この動きベクトル予測でさらにビットレートの低減を実現することができる。

本発明の第７の実施形態によれば、上述した分割に加えて、さらにブロック分割が適用される、画像符号化装置および画像復号化装置が提供される。

この実施例では、好ましくは、以下の２つのステップが実行される。それぞれの予測に基づいて第二の色成分のブロックの２つの部分を符号化する。そして、当該第二の色成分の予測誤差に基づいて、第三の色成分を符号化するためのブロック分割を導出する。

具体的には、ブロック分割は、図１４に示されるように１以上の色成分を使用するように拡張することができる。図１４は、対象の非セグメント化ブロック１４１０を示している。第一の成分の予測誤差は、符号化／復号により得られ、その結果、黒の部分は予測誤差の高い値を示し、白い部分は予測誤差の低い値を示すブロック１４２０が得られる。したがって、閾値によって、第二の成分ブロック１４３０の細分割が行われ、それに対応して第二の成分が符号化／復号され、第二の成分の誤差予測のブロック１４４０を取得する。この例では、第二の成分の量子化誤差予測ブロック１４４０は、まだ小さい値の部分と高い値の部分とを含む。したがって、第三の成分を符号化するため、閾値処理することにより第二の成分の第二の部分が２つの部分へさらに細分割され、第三の成分１４５０となる。第三の成分の３つの部分のそれぞれは、個別に予測される。例えば、第一の部分は、第一の成分１４１０および第二の成分の第一の部分と同じ方法（小さな予測誤差で）符号化される。第三の成分の第二の部分は、第二の成分の第二の部分と同じように符号化される。第三の部分は、さらなる予測モード（異なる動きベクトルおよび／または異なる予測方向および／または異なる予測タイプ）を用いて符号化される。ブロック１４６０で示されるように、このように符号化される結果、減少した第三の成分の予測誤差が得られる。

これは、色成分の対象ブロック１４１０の符号化に、他のすべての色成分の量子化測誤差信号がブロック分割に使用され得ることを意味する。他の実施形態で説明したように、例えば３つの色成分を符号化するために、第一の２つの色成分が符号化される。第三の色成分では、ブロックは、少なくとも３つの部分に分割される。これは、第二の色成分の分割を用いてなされ、第二の色成分に対して最初に行われたのと同じ方法で第二の色成分を再度２つの部分に分割することによってなされる。独立した予測モードは、第三の色成分の少なくとも３つの部分に用いられ得る。したがって、予測は改善され得、結果的にさらに符号化効率が向上し得る。

本発明の第８の実施形態によれば、第一の色成分の量子化予測誤差の係数に基づきブロック分割が導出される、画像符号化装置および画像復号化装置が提供される。

具体的には、ブロック分割は、所定の閾値と予測誤差信号を比較する閾値演算に基づいて導出される。好ましくは、比較される予測誤差信号は、周波数領域に変換された、第一の色成分のブロックのサブブロックのＤＣ係数である。第一の成分のブロックの位置に対応する第二の成分のブロックは、閾値演算結果に応じて、２つの部分に細分割される。そして、その２つの部分は異なると予想される。

ブロック分割を導出するためにＤＣ係数のみが用いられる場合について図１５に示されている。ブロック分割は、例えば、閾値以下のＤＣ係数情報を有するすべてのブロックに、画像信号の第一の部分を割り当て、閾値以上のＤＣ係数情報を有するすべてのブロックに、画像信号の第二の部分を割り当てることによって、実現される。ＤＣ係数情報は、以下となり得る。
・図１６に示されるように、量子化ＤＣ係数１６３１または
・図１６に示されるように、復号されたＤＣ係数の量子化インデックス１６２１

さらに、ブロック分割は、例えば、第１セットの値と等しいＤＣ符号情報を持つすべてのブロックを第一の部分に割り当て、第２セットの値と等しいＤＣ符号情報を持つすべてのブロックを第二の部分に割り当てることにより、実現され得る。ＤＣ符号情報は、以下となり得る。
・図１６に示されるように、復号シンタックス要素１６１１または
・図１６に示されるように、符号化シンタックス要素１６０１
値のセットは、以下となり得る。
・シンタックス要素のセットまたは
・符号語のセット

図１６は、エンコーダ側でまたはデコーダ側で行うことができるＤＣ係数の復号を示すブロック図である。符号化シンタックス要素１６０１は、符号語により形成され、デコーダ１６１０（例えばエントロピーデコーダ）により復号されて、復号されたシンタックス要素１６１１が得られる。復号されたシンタックス要素１６１１は、さらに、例えば、量子化指標など合同で符号化された要素を解析することによって、復号（１６２０）されて、例えば復号されたＤＣ係数の量子化インデックス１６２１が得られる。量子化インデックス１６２１は、さらにスケーリングを適用することにより、復号（１６３０）されて、量子化ＤＣ係数が得られる。本発明の第９の実施形態によれば、画像符号化装置および画像復号装置は、第１〜第８の実施の形態で説明したブロック分割を行い、さらに、ブロックを分離するかどうかの最終決定を行う。この決定は、好ましくは、各ブロックセグメント内のサンプル数（例えば、部分１と部分２）に基づいており、閾値とに基づいている。この利点は、別の予測モードを符号化する追加のビットレートは非効率であるので、サンプルの数が非常に少ないセグメントを用いないことである。この閾値は、予め定められてもよく、エンコーダで決定されてもよい。そして、この閾値は、符号化され、ビットストリームで送信される。サンプル数が、最小の規則的な矩形の予測ブロックのサンプル数よりも等しいまたは大きい場合には有利である。しかし、本発明はこれに限定されるものではなく、閾値は、他の値でもよい。この判定は、ビットレートのラグランジュコストと平均二乗再構築誤差とを最小化にすることにより、行われるとしてもよい。

以上のように、本実施の形態に係る方法は、区切りがブロック、スライス、ビデオフレームシーケンスのいずれかに適用されるか否かを示すセグメンテーション・インジケータを決定するステップと、符号化予測信号も含む符号化ビットストリームにそのセグメンテーション・インジケータを含むステップとを含む。以下では、上記各実施の形態で示した映像符号化方法及び動画像復号化方法とそれらを用いたシステムの応用例について説明する。

図１７は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０６、ｅｘ１０７、ｅｘ１０８、ｅｘ１０９、ｅｘ１１０が設置されている。

しかし、コンテンツ供給システムｅｘ１００は図１７のような構成に限定されず、いずれかの要素を組合せて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０６からｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。

カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。カメラｅｘ１１６はデジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ｅｘ１１４は、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、若しくはＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式、ＨＳＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）の携帯電話機、等であり、いずれでも構わない。また、携帯電話ｅｘ１１４は、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）であってもよい。

コンテンツ供給システムｅｘ１００では、カメラｅｘ１１３等が基地局ｅｘ１０９、電話網ｅｘ１０４を通じてストリーミングサーバｅｘ１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラｅｘ１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して上記各実施の形態で説明したように符号化処理を行い、ストリーミングサーバｅｘ１０３に送信する。一方、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号化処理して再生する。

なお、撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号化処理はクライアントで行っても、ストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラｅｘ１１３に限らず、カメラｅｘ１１６で撮影した静止画像および／または動画像データを、コンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信してもよい。この場合の符号化処理はカメラｅｘ１１６、コンピュータｅｘ１１１、ストリーミングサーバｅｘ１０３のいずれで行ってもよいし、互いに分担して行ってもよい。

また、これら符号化・復号化処理は、一般的にコンピュータｅｘ１１１や各機器が有するＬＳＩｅｘ５００において処理する。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化・復号化処理を行ってもよい。さらに、携帯電話ｅｘ１１４がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。

また、ストリーミングサーバｅｘ１０３は複数のサーバや複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。

以上のようにして、コンテンツ供給システムｅｘ１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムｅｘ１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号化し、再生することができ、特別な権利や設備を有さないユーザでも個人放送を実現できる。

なお、コンテンツ供給システムｅｘ１００の例に限らず、図１８に示すように、デジタル放送用システムｅｘ２００にも、上記各実施の形態の少なくとも動画像符号化装置または動画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ２０１では映像データに音楽データなどが多重化された多重化データが電波を介して通信または衛星ｅｘ２０２に伝送される。この映像データは上記各実施の形態で説明した動画像符号化方法により符号化されたデータである。これを受けた放送衛星ｅｘ２０２は、放送用の電波を発信する。そして、この電波を衛星放送の受信が可能な家庭のアンテナｅｘ２０４が受信する。

受信した多重化データを、テレビ（受信機）ｅｘ３００またはセットトップボックス（ＳＴＢ）ｅｘ２１７等の装置が復号化して再生する。

また、リーダ／レコーダｅｘ２１８は、ＤＶＤ、ＢＤ等の記録メディアｅｘ２１５に記録した多重化データを読み取り復号化する、または記録メディアｅｘ２１５に映像信号を符号化し、さらに場合によっては音楽信号と多重化したデータを書き込む。リーダ／レコーダｅｘ２１８は、上記各実施の形態で示した動画像復号化装置または動画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示され、多重化データが記録された記録メディアｅｘ２１５により他の装置やシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルｅｘ２０３または衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に動画像復号化装置を実装し、これをテレビｅｘ３００のモニタｅｘ２１９で表示してもよい。このときセットトップボックスではなく、テレビｅｘ３００内に動画像復号化装置を組み込んでもよい。

図１９は、上記各実施の形態で説明した動画像復号化方法および動画像符号化方法を用いたテレビ（受信機）ｅｘ３００を示す図である。テレビｅｘ３００は、上記放送を受信するアンテナｅｘ２０４またはケーブルｅｘ２０３等を介して映像データに音声データが多重化された多重化データを取得、または出力するチューナｅｘ３０１と、受信した多重化データを復調する、または外部に送信する多重化データに変調する変調／復調部ｅｘ３０２と、復調した多重化データを映像データと、音声データとに分離する、または信号処理部ｅｘ３０６で符号化された映像データ、音声データを多重化する多重／分離部ｅｘ３０３を備える。

また、テレビｅｘ３００は、音声データ、映像データそれぞれを復号化する、またはそれぞれの情報を符号化する音声信号処理部ｅｘ３０４、映像信号処理部ｅｘ３０５を有する信号処理部ｅｘ３０６と、復号化した音声信号を出力するスピーカｅｘ３０７、復号化した映像信号を表示するディスプレイ等の表示部ｅｘ３０８を有する出力部ｅｘ３０９とを有する。さらに、テレビｅｘ３００は、ユーザ操作の入力を受け付ける操作入力部ｅｘ３１２等を有するインタフェース部ｅｘ３１７を有する。さらに、テレビｅｘ３００は、各部を統括的に制御する制御部ｅｘ３１０、各部に電力を供給する電源回路部ｅｘ３１１を有する。インタフェース部ｅｘ３１７は、操作入力部ｅｘ３１２以外に、リーダ／レコーダｅｘ２１８等の外部機器と接続されるブリッジｅｘ３１３、ＳＤカード等の記録メディアｅｘ２１６を装着可能とするためのスロット部ｅｘ３１４、ハードディスク等の外部記録メディアと接続するためのドライバｅｘ３１５、電話網と接続するモデムｅｘ３１６等を有していてもよい。なお、記録メディアｅｘ２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。テレビｅｘ３００の各部は同期バスを介して互いに接続されている。

まず、テレビｅｘ３００がアンテナｅｘ２０４等により外部から取得した多重化データを復号化し、再生する構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ｅｘ３１０の制御に基づいて、変調／復調部ｅｘ３０２で復調した多重化データを多重／分離部ｅｘ３０３で分離する。さらにテレビｅｘ３００は、分離した音声データを音声信号処理部ｅｘ３０４で復号化し、分離した映像データを映像信号処理部ｅｘ３０５で上記各実施の形態で説明した復号化方法を用いて復号化する。復号化した音声信号、映像信号は、それぞれ出力部ｅｘ３０９から外部に向けて出力される。出力部ｅｘ３０９が出力する際には、音声信号と映像信号が同期して再生するよう、バッファｅｘ３１８、ｅｘ３１９等に一旦これらの信号を蓄積するとよい。また、テレビｅｘ３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアｅｘ２１５、ｅｘ２１６から多重化データを読み出してもよい。次に、テレビｅｘ３００が音声信号や映像信号を符号化し、外部に送信または記録メディア等に書き込む構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、制御部ｅｘ３１０の制御に基づいて、音声信号処理部ｅｘ３０４で音声信号を符号化し、映像信号処理部ｅｘ３０５で映像信号を上記各実施の形態で説明した符号化方法を用いて符号化する。符号化した音声信号、映像信号は、多重／分離部ｅｘ３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファｅｘ３２０、ｅｘ３２１等に一旦これらの信号を蓄積するとよい。なお、バッファｅｘ３１８、ｅｘ３１９、ｅｘ３２０、ｅｘ３２１は図示しているように複数備えていてもよいし、１つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ｅｘ３０２や多重／分離部ｅｘ３０３の間等でもシステムのオーバフロー、アンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。

また、テレビｅｘ３００は、放送等や記録メディア等から音声データ、映像データを取得する以外に、マイクやカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビｅｘ３００は上記の符号化処理、多重化、および外部出力ができる構成として説明したが、これらの処理を行うことはできず、上記受信、復号化処理、外部出力のみが可能な構成であってもよい。

また、リーダ／レコーダｅｘ２１８で記録メディアから多重化データを読み出す、または書き込む場合には、上記復号化処理または符号化処理はテレビｅｘ３００、リーダ／レコーダｅｘ２１８のいずれで行ってもよいし、テレビｅｘ３００とリーダ／レコーダｅｘ２１８が互いに分担して行ってもよい。

一例として、光ディスクからデータの読み込みまたは書き込みをする場合の情報再生／記録部ｅｘ４００の構成を図２０に示す。情報再生／記録部ｅｘ４００は、以下に説明する要素ｅｘ４０１、ｅｘ４０２、ｅｘ４０３、ｅｘ４０４、ｅｘ４０５、ｅｘ４０６、ｅｘ４０７を備える。光ヘッドｅｘ４０１は、光ディスクである記録メディアｅｘ２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアｅｘ２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ｅｘ４０２は、光ヘッドｅｘ４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ｅｘ４０３は、光ヘッドｅｘ４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアｅｘ２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファｅｘ４０４は、記録メディアｅｘ２１５に記録するための情報および記録メディアｅｘ２１５から再生した情報を一時的に保持する。ディスクモータｅｘ４０５は記録メディアｅｘ２１５を回転させる。サーボ制御部ｅｘ４０６は、ディスクモータｅｘ４０５の回転駆動を制御しながら光ヘッドｅｘ４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。システム制御部ｅｘ４０７は、情報再生／記録部ｅｘ４００全体の制御を行う。上記の読み出しや書き込みの処理はシステム制御部ｅｘ４０７が、バッファｅｘ４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成・追加を行うと共に、変調記録部ｅｘ４０２、再生復調部ｅｘ４０３、サーボ制御部ｅｘ４０６を協調動作させながら、光ヘッドｅｘ４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ｅｘ４０７は例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。

以上では、光ヘッドｅｘ４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。

図２１に光ディスクである記録メディアｅｘ２１５の模式図を示す。記録メディアｅｘ２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックｅｘ２３０には、予めグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックｅｘ２３１の位置を特定するための情報を含んでいる。記録や再生を行う装置において情報トラックｅｘ２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアｅｘ２１５は、データ記録領域ｅｘ２３３、内周領域ｅｘ２３２、外周領域ｅｘ２３４を含んでいる。データ記録領域ｅｘ２３３は、ユーザデータを記録するために用いる領域である。データ記録領域ｅｘ２３３より内周または外周に配置されている内周領域ｅｘ２３２と外周領域ｅｘ２３４はそれぞれ、ユーザデータの記録以外の特定用途に用いられる。情報再生／記録部ｅｘ４００は、このような記録メディアｅｘ２１５のデータ記録領域ｅｘ２３３に対して、符号化された音声データ、映像データまたはそれらのデータを多重化した多重化データの読み書きを行う。

以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。

また、デジタル放送用システムｅｘ２００において、アンテナｅｘ２０５を有する車ｅｘ２１０で衛星ｅｘ２０２等からデータを受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションｅｘ２１１の構成は例えば図１８に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータｅｘ１１１や携帯電話ｅｘ１１４等でも考えられる。

図２２（ａ）は、上記実施の形態で説明した動画像復号化方法および動画像符号化方法を用いた携帯電話ｅｘ１１４を示す図である。携帯電話ｅｘ１１４は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ３５０、映像、静止画を撮ることが可能なカメラ部ｅｘ３６５、カメラ部ｅｘ３６５で撮像した映像、アンテナｅｘ３５０で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ３５８を備える。携帯電話ｅｘ１１４は、さらに、操作キー部ｅｘ３６６を有する本体部、音声を出力するためのスピーカ等である音声出力部ｅｘ３５７、音声を入力するためのマイク等である音声入力部ｅｘ３５６、撮影した映像、静止画、録音した音声、または受信した映像、静止画、メール等の符号化されたデータもしくは復号化されたデータを保存するメモリ部ｅｘ３６７、又は同様にデータを保存する記録メディアとのインタフェース部であるスロット部ｅｘ３６４を備える。

さらに、携帯電話ｅｘ１１４の構成例について、図２２（ｂ）を用いて説明する。携帯電話ｅｘ１１４は、表示部ｅｘ３５８及び操作キー部ｅｘ３６６を備えた本体部の各部を統括的に制御する主制御部ｅｘ３６０に対して、電源回路部ｅｘ３６１、操作入力制御部ｅｘ３６２、映像信号処理部ｅｘ３５５、カメラインタフェース部ｅｘ３６３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ３５９、変調／復調部ｅｘ３５２、多重／分離部ｅｘ３５３、音声信号処理部ｅｘ３５４、スロット部ｅｘ３６４、メモリ部ｅｘ３６７がバスｅｘ３７０を介して互いに接続されている。

電源回路部ｅｘ３６１は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話ｅｘ１１４を動作可能な状態に起動する。

携帯電話ｅｘ１１４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有する主制御部ｅｘ３６０の制御に基づいて、音声通話モード時に音声入力部ｅｘ３５６で収音した音声信号を音声信号処理部ｅｘ３５４でデジタル音声信号に変換する。そして、これを変調／復調部ｅｘ３５２でスペクトラム拡散処理し、送信／受信部ｅｘ３５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ３５０を介して送信する。

また携帯電話ｅｘ１１４は、音声通話モード時にアンテナｅｘ３５０を介して受信した受信データを送信／受信部ｅｘ３５１で増幅して周波数変換処理およびアナログデジタル変換処理を施す。変調／復調部ｅｘ３５２でスペクトラム逆拡散処理し、音声信号処理部ｅｘ３５４でアナログ音声信号に変換した後、これを音声出力部ｅｘ３５７から出力する。

さらにデータ通信モード時に電子メールを送信する場合、本体部の操作キー部ｅｘ３６６等の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３６２を介して主制御部ｅｘ３６０に送出される。主制御部ｅｘ３６０は、テキストデータを変調／復調部ｅｘ３５２でスペクトラム拡散処理をし、送信／受信部ｅｘ３５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ３５０を介して基地局ｅｘ１１０へ送信する。電子メールを受信する場合は、受信したデータに対してこのほぼ逆の処理が行われ、表示部ｅｘ３５８に出力される。

データ通信モード時に、映像、静止画、または映像と音声を送信する場合、映像信号処理部ｅｘ３５５は、カメラ部ｅｘ３６５から供給された映像信号を上記各実施の形態で示した動画像符号化方法によって圧縮符号化し、符号化された映像データを多重／分離部ｅｘ３５３に送出する。また、音声信号処理部ｅｘ３５４は、映像、静止画等をカメラ部ｅｘ３６５で撮像中に音声入力部ｅｘ３５６で収音した音声信号を符号化し、符号化された音声データを多重／分離部ｅｘ３５３に送出する。

多重／分離部ｅｘ３５３は、映像信号処理部ｅｘ３５５から供給された符号化された映像データと音声信号処理部ｅｘ３５４から供給された符号化された音声データを所定の方式で多重化する。

そして、その結果得られる多重化データを変調／復調回路部ｅｘ３５２でスペクトラム拡散処理をし、送信／受信部ｅｘ３５１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ３５０を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、または映像およびもしくは音声が添付された電子メールを受信する場合、アンテナｅｘ３５０を介して受信された多重化データを復号化するために、多重／分離部ｅｘ３５３は、多重化データを分離することにより映像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ３７０を介して符号化された映像データを映像信号処理部ｅｘ３５５に供給するとともに、符号化された音声データを音声信号処理部ｅｘ３５４に供給する。映像信号処理部ｅｘ３５５は、上記各実施の形態で示した動画像符号化方法に対応した動画像復号化方法によって復号化することにより映像信号を復号し、ＬＣＤ制御部ｅｘ３５９を介して表示部ｅｘ３５８から、例えばホームページにリンクされた動画像ファイルに含まれる映像、静止画が表示される。また音声信号処理部ｅｘ３５４は、音声信号を復号し、音声出力部ｅｘ３５７から音声が出力される。

また、上記携帯電話ｅｘ１１４等の端末は、テレビｅｘ３００と同様に、符号化器・復号化器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号化器のみの受信端末という３通りの実装形式が考えられる。さらに、デジタル放送用システムｅｘ２００において、映像データに音楽データなどが多重化された多重化された多重化データを受信、送信するとして説明したが、音声データ以外に映像に関連する文字データなどが多重化されたデータであってもよいし、多重化データではなく映像データ自体であってもよい。

このように、上記各実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能である。そうすることで、上記各実施の形態で説明した効果を得ることができる。

また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

上記各実施の形態で示した動画像符号化方法または装置と、ＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１など異なる規格に準拠した動画像符号化方法または装置とを、必要に応じて適宜切替えることにより、映像データを生成することも可能である。

ここで、それぞれ異なる規格に準拠する複数の映像データを生成した場合、復号する際に、それぞれの規格に対応した復号方法を選択する必要がある。しかしながら、復号する映像データが、どの規格に準拠するものであるか識別できないため、適切な復号方法を選択することができないという課題を生じる。

この課題を解決するために、映像データに音声データなどを多重化した多重化データは、映像データがどの規格に準拠するものであるかを示す識別情報を含む構成とする。上記各実施の形態で示す動画像符号化方法または装置によって生成された映像データを含む多重化データの具体的な構成を以下説明する。多重化データは、ＭＰＥＧ−２トランスポートストリーム形式のデジタルストリームである。

図２３は、多重化データの構成を示す図である。図２３に示すように多重化データは、ビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム（ＰＧ）、インタラクティブグラファイックスストリームのうち、１つ以上を多重化することで得られる。ビデオストリームは映画の主映像および副映像を、オーディオストリーム（ＩＧ）は映画の主音声部分とその主音声とミキシングする副音声を、プレゼンテーショングラフィックスストリームは、映画の字幕をそれぞれ示している。ここで主映像とは画面に表示される通常の映像を示し、副映像とは主映像の中に小さな画面で表示する映像のことである。また、インタラクティブグラフィックスストリームは、画面上にＧＵＩ部品を配置することにより作成される対話画面を示している。ビデオストリームは、上記各実施の形態で示した動画像符号化方法または装置、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠した動画像符号化方法または装置によって符号化されている。オーディオストリームは、ドルビーＡＣ−３、Ｄｏｌｂｙ Ｄｉｇｉｔａｌ Ｐｌｕｓ、ＭＬＰ、ＤＴＳ、ＤＴＳ−ＨＤ、または、リニアＰＣＭのなどの方式で符号化されている。

多重化データに含まれる各ストリームはＰＩＤによって識別される。例えば、映画の映像に利用するビデオストリームには０ｘ１０１１が、オーディオストリームには０ｘ１１００から０ｘ１１１Ｆまでが、プレゼンテーショングラフィックスには０ｘ１２００から０ｘ１２１Ｆまでが、インタラクティブグラフィックスストリームには０ｘ１４００から０ｘ１４１Ｆまでが、映画の副映像に利用するビデオストリームには０ｘ１Ｂ００から０ｘ１Ｂ１Ｆまで、主音声とミキシングする副音声に利用するオーディオストリームには０ｘ１Ａ００から０ｘ１Ａ１Ｆが、それぞれ割り当てられている。

図２４は、多重化データがどのように多重化されるかを模式的に示す図である。まず、複数のビデオフレームからなるビデオストリームｅｘ２３５、複数のオーディオフレームからなるオーディオストリームｅｘ２３８を、それぞれＰＥＳパケット列ｅｘ２３６およびｅｘ２３９に変換し、ＴＳパケットｅｘ２３７およびｅｘ２４０に変換する。同じくプレゼンテーショングラフィックスストリームｅｘ２４１およびインタラクティブグラフィックスｅｘ２４４のデータをそれぞれＰＥＳパケット列ｅｘ２４２およびｅｘ２４５に変換し、さらにＴＳパケットｅｘ２４３およびｅｘ２４６に変換する。多重化データｅｘ２４７はこれらのＴＳパケットを１本のストリームに多重化することで構成される。

図２５は、ＰＥＳパケット列に、ビデオストリームがどのように格納されるかをさらに詳しく示している。図２５における第１段目はビデオストリームのビデオフレーム列を示す。第２段目は、ＰＥＳパケット列を示す。図２５の矢印ｙｙ１，ｙｙ２，ｙｙ３，ｙｙ４に示すように、ビデオストリームにおける複数のＶｉｄｅｏ Ｐｒｅｓｅｎｔａｔｉｏｎ ＵｎｉｔであるＩピクチャ、Ｂピクチャ、Ｐピクチャは、ピクチャ毎に分割され、ＰＥＳパケットのペイロードに格納される。各ＰＥＳパケットはＰＥＳヘッダを持ち、ＰＥＳヘッダには、ピクチャの表示時刻であるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ−Ｓｔａｍｐ）やピクチャの復号時刻であるＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ−Ｓｔａｍｐ）が格納される。

図２６は、多重化データに最終的に書き込まれるＴＳパケットの形式を示している。ＴＳパケットは、ストリームを識別するＰＩＤなどの情報を持つ４ＢｙｔｅのＴＳヘッダとデータを格納する１８４ＢｙｔｅのＴＳペイロードから構成される１８８Ｂｙｔｅ固定長のパケットである。上記ＰＥＳパケットは分割され、ＴＳペイロードにそれぞれ格納される。ＢＤ−ＲＯＭの場合、ＴＳパケットには、４ＢｙｔｅのＴＰ＿Ｅｘｔｒａ＿Ｈｅａｄｅｒが付与され、１９２Ｂｙｔｅのソースパケットを構成する。そのソースパケットは、多重化データに書き込まれる。

ＴＰ＿Ｅｘｔｒａ＿ＨｅａｄｅｒにはＡＴＳ（Ａｒｒｉｖａｌ＿Ｔｉｍｅ＿Ｓｔａｍｐ）などの情報が記載される。ＡＴＳは当該ＴＳパケットのデコーダのＰＩＤフィルタへの転送開始時刻を示す。多重化データには図２６下段に示すようにソースパケットが並ぶこととなる。多重化データの先頭からインクリメントする番号はＳＰＮ（ソースパケットナンバー）と呼ばれる。

また、多重化データに含まれるＴＳパケットには、映像・音声・字幕などの各ストリーム以外にもＰＡＴ（Ｐｒｏｇｒａｍ Ａｓｓｏｃｉａｔｉｏｎ Ｔａｂｌｅ）、ＰＭＴ（Ｐｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ）、ＰＣＲ（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）などがある。ＰＡＴは多重化データ中に利用されるＰＭＴのＰＩＤが何であるかを示し、ＰＡＴ自身のＰＩＤは０で登録される。ＰＭＴは、多重化データ中に含まれる映像・音声・字幕などの各ストリームのＰＩＤと各ＰＩＤに対応するストリームの属性情報を持つ。また、ＰＭＴは、多重化データに関する各種ディスクリプタを持つ。ディスクリプタには多重化データのコピーを許可・不許可を指示するコピーコントロール情報などがある。ＰＣＲは、ＡＴＳの時間軸であるＡＴＣ（Ａｒｒｉｖａｌ Ｔｉｍｅ Ｃｌｏｃｋ）とＰＴＳ・ＤＴＳの時間軸であるＳＴＣ（Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ）の同期を取るために、そのＰＣＲパケットがデコーダに転送されるＡＴＳに対応するＳＴＣ時間の情報を持つ。

図２７はＰＭＴのデータ構造を詳しく説明する図である。ＰＭＴの先頭には、ＰＭＴヘッダが配置される。ＰＭＴヘッダには、そのＰＭＴに含まれるデータの長さなどが記される。その後ろには、多重化データに関するディスクリプタが複数配置される。上記コピーコントロール情報などが、ディスクリプタとして記載される。ディスクリプタの後には、多重化データに含まれる各ストリームに関するストリーム情報が複数配置される。ストリーム情報は、ストリームの圧縮コーデックなどを識別するためストリームタイプ、ストリームのＰＩＤ、ストリームの属性情報（フレームレート、アスペクト比など）が記載されたストリームディスクリプタから構成される。ストリームディスクリプタは多重化データに存在するストリームの数だけ存在する。

記録媒体などに記録する場合には、上記多重化データは、多重化データ情報ファイルと共に記録される。

多重化データ情報ファイルは、図２８に示すように多重化データの管理情報である。多重化データ情報ファイルは、多重化データと１対１に対応し、多重化データ情報、ストリーム属性情報とエントリマップから構成される。

多重化データ情報は図２８に示すようにシステムレート、再生開始時刻、再生終了時刻から構成されている。システムレートは多重化データの、後述するシステムターゲットデコーダのＰＩＤフィルタへの最大転送レートを示す。多重化データ中に含まれるＡＴＳの間隔はシステムレート以下になるように設定されている。再生開始時刻は多重化データの先頭のビデオフレームのＰＴＳである。再生終了時刻は多重化データの終端のビデオフレームのＰＴＳに１フレーム分の再生間隔を足したものが設定される。

ストリーム属性情報は図２９に示すように、多重化データに含まれる各ストリームについての属性情報が、ＰＩＤ毎に登録される。属性情報はビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム、インタラクティブグラフィックスストリーム毎に異なる情報を持つ。ビデオストリーム属性情報は、そのビデオストリームがどのような圧縮コーデックで圧縮されたか、ビデオストリームを構成する個々のピクチャデータの解像度がどれだけであるか、アスペクト比はどれだけであるか、フレームレートはどれだけであるかなどの情報を持つ。オーディオストリーム属性情報は、そのオーディオストリームがどのような圧縮コーデックで圧縮されたか、そのオーディオストリームに含まれるチャンネル数は何であるか、何の言語に対応するか、サンプリング周波数がどれだけであるかなどの情報を持つ。これらの情報は、プレーヤが再生する前のデコーダの初期化などに利用される。

上記多重化データは、ＰＭＴに含まれるストリームタイプに利用される。また、記録媒体に多重化データが記録されている場合には、多重化データ情報に含まれる、ビデオストリーム属性情報を利用する。具体的には、上記各実施の形態で示した動画像符号化方法または装置において、ＰＭＴに含まれるストリームタイプ、または、ビデオストリーム属性情報に対し、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示す固有の情報を設定するステップまたは手段を設ける。この構成により、上記各実施の形態で示した動画像符号化方法または装置によって生成した映像データと、他の規格に準拠する映像データとを識別することが可能になる。

また、本実施の形態における動画像復号化方法のステップを図３０に示す。ステップｅｘＳ１００において、多重化データからＰＭＴに含まれるストリームタイプ、または、多重化データ情報に含まれるビデオストリーム属性情報を取得する。次に、ステップｅｘＳ１０１において、ストリームタイプ、または、ビデオストリーム属性情報が上記各実施の形態で示した動画像符号化方法または装置によって生成された多重化データであることを示しているか否かを判断する。そして、ストリームタイプ、または、ビデオストリーム属性情報が上記各実施の形態で示した動画像符号化方法または装置によって生成されたものであると判断された場合には、ステップｅｘＳ１０２において、上記各実施の形態で示した動画像復号方法により復号を行う。また、ストリームタイプ、または、ビデオストリーム属性情報が、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠するものであることを示している場合には、ステップｅｘＳ１０３において、従来の規格に準拠した動画像復号方法により復号を行う。

このように、ストリームタイプ、または、ビデオストリーム属性情報に新たな固有値を設定することにより、復号する際に、上記各実施の形態で示した動画像復号化方法または装置で復号可能であるかを判断することができる。異なる規格に準拠する多重化データが入力された場合であっても、適切な復号化方法または装置を選択することができる。このようにして、エラーを生じることなく復号することが可能となる。また、本実施の形態で示した動画像符号化方法または装置、または、動画像復号方法または装置を、上述したいずれの機器・システムに用いることも可能である。

上記各実施の形態で示した動画像符号化方法および装置、動画像復号化方法および装置は、典型的には集積回路であるＬＳＩで実現される。一例として、図３１に１チップ化されたＬＳＩｅｘ５００の構成を示す。ＬＳＩｅｘ５００は、以下に説明する要素ｅｘ５０１、ｅｘ５０２、ｅｘ５０３、ｅｘ５０４、ｅｘ５０５、ｅｘ５０６、ｅｘ５０７、ｅｘ５０８、ｅｘ５０９を備え、各要素はバスｅｘ５１０を介して接続している。電源回路部ｅｘ５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。

例えば符号化処理を行う場合には、ＬＳＩｅｘ５００は、ＣＰＵｅｘ５０２、メモリコントローラｅｘ５０３、ストリームコントローラｅｘ５０４、駆動周波数制御部ｅｘ５１２等を有する制御部ｅｘ５０１の制御に基づいて、ＡＶ Ｉ／Ｏｅｘ５０９によりマイクｅｘ１１７やカメラｅｘ１１３等からＡＶ信号を入力する。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリｅｘ５１１に蓄積される。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは処理量や処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られる。そして、信号処理部ｅｘ５０７において音声信号の符号化および／または映像信号の符号化が行われる。ここで映像信号の符号化処理は上記各実施の形態で説明した符号化処理である。信号処理部ｅｘ５０７ではさらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏｅｘ５０６から外部に出力する。この出力された多重化データは、基地局ｅｘ１０７に向けて送信されたり、または記録メディアｅｘ２１５に書き込まれたりする。なお、多重化する際には同期するよう、一旦バッファｅｘ５０８にデータを蓄積するとよい。

なお、上記では、メモリｅｘ５１１がＬＳＩｅｘ５００の外部の構成として説明したが、ＬＳＩｅｘ５００の内部に含まれる構成であってもよい。バッファｅｘ５０８も１つに限ったものではなく、複数のバッファを備えていてもよい。また、ＬＳＩｅｘ５００は１チップ化されてもよいし、複数チップ化されてもよい。

また、上記では、制御部ｅｘ５１０が、ＣＰＵｅｘ５０２、メモリコントローラｅｘ５０３、ストリームコントローラｅｘ５０４、駆動周波数制御部ｅｘ５１２等を有するとしているが、制御部ｅｘ５１０の構成は、この構成に限らない。例えば、信号処理部ｅｘ５０７がさらにＣＰＵを備える構成であってもよい。信号処理部ｅｘ５０７の内部にもＣＰＵを設けることにより、処理速度をより向上させることが可能になる。また、他の例として、ＣＰＵｅｘ５０２が信号処理部ｅｘ５０７、または信号処理部ｅｘ５０７の一部である例えば音声信号処理部を備える構成であってもよい。このような場合には、制御部ｅｘ５０１は、信号処理部ｅｘ５０７、またはその一部を有するＣＰＵｅｘ５０２を備える構成となる。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩による全く新しい技術が登場すればＬＳＩに置き換えてもよい。その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データを復号する場合、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データを復号する場合に比べ、処理量が増加することが考えられる。ＬＳＩｅｘ５００において、従来の規格に準拠する映像データを復号する際のＣＰＵｅｘ５０２の駆動周波数よりも高い駆動周波数に設定する必要がある。しかし、駆動周波数を高くすると、消費電力が高くなるという課題が生じる。

この課題を解決するために、テレビｅｘ３００、ＬＳＩｅｘ５００などの動画像復号化装置は、映像データがどの規格に準拠するものであるかを識別し、規格に応じて駆動周波数を切替える構成とする。図３２は、本実施の形態における構成ｅｘ８００を示している。駆動周波数切替え部ｅｘ８０３は、映像データが、上記各実施の形態で示した動画像符号化方法または装置によって生成されたものである場合には、駆動周波数を高く設定する。そして、駆動周波数切替え部ｅｘ８０３は、上記各実施の形態で示した動画像復号化方法を実行する復号処理部ｅｘ８０１に対し、映像データを復号するよう指示する。一方、映像データが、従来の規格に準拠する映像データである場合には、映像データが、上記各実施の形態で示した動画像符号化方法または装置によって生成されたものである場合に比べ、駆動周波数を低く設定する。そして、駆動周波数切替え部ｅｘ８０３は、従来の規格に準拠する復号処理部ｅｘ８０２に対し、映像データを復号するよう指示する。

より具体的には、駆動周波数切替え部ｅｘ８０３は、図３１のＣＰＵｅｘ５０２と駆動周波数制御部ｅｘ５１２から構成される。また、上記各実施の形態で示した動画像復号化方法を実行する復号処理部ｅｘ８０１、および、従来の規格に準拠する復号処理部ｅｘ８０２は、図３１の信号処理部ｅｘ５０７に該当する。ＣＰＵｅｘ５０２は、映像データがどの規格に準拠するものであるかを識別する。そして、ＣＰＵｅｘ５０２からの信号に基づいて、駆動周波数制御部ｅｘ５１２は、駆動周波数を設定する。また、ＣＰＵｅｘ５０２からの信号に基づいて、信号処理部ｅｘ５０７は、映像データの復号を行う。ここで、映像データの識別には、例えば、識別情報を利用することが考えられる。識別情報に関しては、上述したものに限られず、映像データがどの規格に準拠するか識別できる情報であればよい。例えば、映像データがテレビに利用されるものであるか、ディスクに利用されるものであるかなどを識別する外部信号に基づいて、映像データがどの規格に準拠するものであるか識別可能である場合には、このような外部信号に基づいて識別してもよい。また、ＣＰＵｅｘ５０２における駆動周波数の選択は、例えば、図３４のような映像データの規格と、駆動周波数とを対応付けたルックアップテーブルに基づいて行うことが考えられる。ルックアップテーブルを、バッファｅｘ５０８や、ＬＳＩの内部メモリに格納しておき、ＣＰＵｅｘ５０２がこのルックアップテーブルを参照することにより、駆動周波数を選択することが可能である。

図３３は、本実施の形態の方法を実施するステップを示している。まず、ステップｅｘＳ２００では、信号処理部ｅｘ５０７において、多重化データから識別情報を取得する。次に、ステップｅｘＳ２０１では、ＣＰＵｅｘ５０２において、識別情報に基づいて映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものであるか否かを識別する。映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものである場合には、ステップｅｘＳ２０２において、駆動周波数を高く設定する信号を、ＣＰＵｅｘ５０２が駆動周波数制御部ｅｘ５１２に送る。そして、駆動周波数制御部ｅｘ５１２において、高い駆動周波数に設定される。一方、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、ステップｅｘＳ２０３において、駆動周波数を低く設定する信号を、ＣＰＵｅｘ５０２が駆動周波数制御部ｅｘ５１２に送る。そして、駆動周波数制御部ｅｘ５１２において、映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものである場合に比べ、低い駆動周波数に設定される。

さらに、駆動周波数の切替えに連動して、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を変更することにより、省電力効果をより高めることが可能である。例えば、駆動周波数を低く設定する場合には、これに伴い、駆動周波数を高く設定している場合に比べ、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を低く設定することが考えられる。

また、駆動周波数の設定方法は、復号する際の処理量が大きい場合に、駆動周波数を高く設定し、復号する際の処理量が小さい場合に、駆動周波数を低く設定すればよい。なお、その設定方法は、上述した設定方法に限らない。例えば、ＭＰＥＧ４−ＡＶＣ規格に準拠する映像データを復号する処理量の方が、上記各実施の形態で示した動画像符号化方法または装置により生成された映像データを復号する処理量よりも大きい場合には、駆動周波数の設定を上述した場合の逆にすることが考えられる。

さらに、駆動周波数の設定方法は、駆動周波数を低くする構成に限らない。例えば、識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合には、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を高く設定することが考えられる。識別情報が、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を低く設定することが考えられる。また、他の例としては、識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合には、ＣＰＵｅｘ５０２の駆動を停止させないことも考えられる。識別情報が、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、処理に余裕があるため、ＣＰＵｅｘ５０２の駆動を一時停止させることも考えられる。また、識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合であっても、処理に余裕があれば、ＣＰＵｅｘ５０２の駆動を一時停止させることも考えられる。この場合は、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合に比べて、停止時間を短く設定することが考えられる。

このように、映像データが準拠する規格に応じて、駆動周波数を切替えることにより、省電力化を図ることが可能になる。また、電池を用いてＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置を駆動している場合には、省電力化に伴い、電池の寿命を長くすることが可能である。

テレビや、携帯電話など、上述した機器・システムには、異なる規格に準拠する複数の映像データが入力される場合がある。このように、異なる規格に準拠する複数の映像データが入力された場合にも復号できるようにするために、ＬＳＩｅｘ５００の信号処理部ｅｘ５０７が複数の規格に対応している必要がある。しかし、それぞれの規格に対応する信号処理部ｅｘ５０７を個別に用いると、ＬＳＩｅｘ５００の回路規模が大きくなり、また、コストが増加するという課題が生じる。

この課題を解決するために、上記各実施の形態で示した動画像復号方法を実行するための復号処理部と、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する復号処理部とを一部共有化する構成とする。この構成例を図３５（ａ）のｅｘ９００に示す。例えば、上記各実施の形態で示した動画像復号方法と、ＭＰＥＧ４−ＡＶＣ規格に準拠する動画像復号方法とは、エントロピー符号化、逆量子化、デブロッキング・フィルタ、動き補償などの処理において処理内容が一部共通する。共通する処理内容については、ＭＰＥＧ４−ＡＶＣ規格に対応する復号処理部ｅｘ９０２を共有する構成が考えられる。反対に、ＭＰＥＧ４−ＡＶＣ規格に対応しない、本発明特有の他の処理内容については、専用の復号処理部ｅｘ９０１を用いるという構成が考えられる。例えば、本発明は、空間予測に特徴を有していることから、空間予測については専用の復号処理部ｅｘ９０１を用いることが考えられる。それ以外のエントロピー符号化、逆変換、逆量子化、動き補償のいずれか、または、全ての処理については、復号処理部を共有することが考えられる。復号処理部の共有化に関しては、共通する処理内容については、上記各実施の形態で示した動画像復号化方法を実行するための復号処理部を共有し、ＭＰＥＧ４−ＡＶＣ規格に特有の処理内容については、専用の復号処理部を用いる構成であってもよい。

また、処理を一部共有化する他の例を図３５（ｂ）のｅｘ１０００に示す。この例では、本発明に特有の処理内容に対応した専用の復号処理部ｅｘ１００１と、他の従来規格に特有の処理内容に対応した専用の復号処理部ｅｘ１００２と、本発明の動画像復号方法と他の従来規格の動画像復号方法とに共通する処理内容に対応した共用の復号処理部ｅｘ１００３とを用いる構成としている。ここで、専用の復号処理部ｅｘ１００１、ｅｘ１００２は、必ずしも本発明、または、他の従来規格に特有の処理内容に特化したものではなく、他の汎用処理を実行できるものであってもよい。また、本実施の形態の構成を、ＬＳＩｅｘ５００で実装することも可能である。

このように、本発明の動画像復号方法と、従来の規格の動画像復号方法とで共通する処理内容について、復号処理部を共有することにより、ＬＳＩの回路規模を小さくし、かつ、コストを低減することが可能である。ほとんどの例は、Ｈ．２６４／ＡＶＣベースのビデオコーディングシステムについて概説され、用語は、主に、Ｈ．２６４／ＡＶＣ用語に関連付けられている。しかし、Ｈ．２６４／ＡＶＣベースの符号化に関して様々な実施形態の用語と説明は、そのようなシステムにおける発明の原理やアイデアに限定されることを意図するものではない。

また、Ｈ．２６４／ＡＶＣ規格に準拠した符号化と復号の詳細な説明は、本明細書に記載の例示的な実施形態をよりよく理解することを意図しており、動画像符号化において説明した特定のプロセスや機能の実装に本発明が限定されるものではない。そうは言うものの、ここに提案された改良は容易に説明した動画像符号化に適用することができる。さらに、本発明の概念は、容易にＪＣＴ−ＶＣによって現在議論されているＨ．２６４／ＡＶＣコーディングおよび／またはＨＥＶＣの拡張機能で用いることもできる。

以上のように、本発明は、少なくとも二つの色成分を含むビデオ信号のブロック単位での符号化および復号にも関するものである。第一の成分は、予測を用いて符号化され、第二の成分は、予測誤差に応じて、その符号化のために用いられることなる部分に分割される。

Claims (29)

1. ビデオ信号の少なくとも二つの色成分を符号化するための方法は、
   予測符号化を用いて、第一の色成分のブロックを符号化し、
   前記第一の色成分の予測誤差に基づいて別の色成分を符号化するためのブロック分割を導出する。
2. 請求項１に記載の方法は、
   前記ブロック分割は、予測誤差信号と予め定められた閾値とを比較する閾値演算に基づいて導出される。
3. 請求項２に記載の方法において、比較される前記予測誤差信号は、周波数領域に変換された、前記第一の色成分のブロックのサブブロックのＤＣ係数である。
4. 請求項２に記載の方法において、前記予測誤差信号は、前記第一の成分のブロックの画素位置における量子化予測誤差信号または変換かつ量子化予測誤差信号である。
5. 請求項２〜４のいずれか１項に記載の方法において、
   前記第二の成分のブロックは、前記第一の成分のブロックに位置が対応しており、閾値演算の結果に応じて２つの部分に細分割され、
   前記２つの部分は、別々に予測される。
6. 請求項５に記載の方法において、さらに、
   それぞれの予測に基づいて前記第二の色成分のブロックの２つの部分を符号化し、
   前記第二の色成分の予測誤差に基づいて、第三の色成分を符号化するためのブロック分割を導出する。
7. 請求項１〜６のいずれか１項に記載の方法において、さらに、
   ブロック、スライス、またはビデオシーケンスに区切りが適用されるか否か示すセグメンテーション・インジケータを決定し、
   符号化された前記予測信号も含む符号化ビットストリームにセグメンテーション・インジケータを含める。
8. ビデオ信号の少なくとも二つの色成分を符号化するための方法は、
   予測符号化を用いて、第一の色成分を復号し、前記第一の色成分の予測誤差に基づいて別の色成分を復号するためのブロック分割を導出するステップを含む。
9. 請求項８に記載の方法において、
   前記ブロック分割は、前記予測誤差信号と予め定められた閾値とを比較する閾値演算に基づいて導出される。
10. 請求項９に記載の方法において、比較される前記予測誤差信号は、周波数領域に変換された前記第一の色成分のブロックのサブブロックのＤＣ係数である。
11. 請求項９に記載の方法において、前記予測誤差信号は、前記第一の成分のブロックの画素位置における量子化予測誤差または変換かつ量子化予測誤差である。
12. 請求項９〜１１のいずれか１項に記載の方法において、
    前記第二の成分のブロックは、前記第一の成分のブロックに位置が対応しており、閾値演算の結果に応じて二つの部分に細分割され、
    前記二つの部分は、別々に予測される。
13. 請求項１２に記載の方法において、さらに、
    それぞれの予測に基づいて前記第二の色成分のブロックの前記２つの部分を復号し、
    前記第二の色成分の予測誤差に基づいて、第三の色成分を復号するためのブロック分割を導出する。
14. 請求項８〜１３のいずれか１項に記載の方法において、さらに、
    符号化された予測信号も含む符号化ビットストリームからセグメンテーション・インジケータを抽出し、
    抽出された前記セグメンテーションインジケータに従って、色成分の前記ブロックを区切るかどうかを判定する。
15. 具現化されたコンピュータ読み取り可能なプログラムコードを有するコンピュータで読み取り可能な媒体を含むコンピュータ・プログラム製品であって、前記プログラム・コードは、請求項１〜１４のいずれかに１項に記載の方法を実施するように適合されたものである。
16. ビデオ信号の少なくとも二つの色成分を符号化する符号化装置は、
    予測符号化を用いて、第一の色成分のブロックを符号化する符号化手段と、
    前記第一の色成分の予測誤差に基づいて別の色成分の符号化するためのブロック分割を導出する手段を備える。
17. 請求項１６に記載の符号化装置において、ブロック分割を導出するための前記手段は、所定の閾値と前記予測誤差信号とを比較する閾値演算に基づいて、ブロック分割を導出する。
18. 請求項１７に記載の符号化装置において、比較された前記予測誤差信号は、周波数領域に変換された前記第一の色成分のブロックのサブブロックのＤＣ係数である。
19. 請求項１７に記載の符号化装置において、前記予測誤差信号は、前記第一の成分のブロックの画素位置における量子化予測誤差または変換かつ量子化予測誤差である。
20. 請求項１７〜１９のいずれか１項に記載の符号化装置において、
    前記第二の成分のブロックは、前記第一の成分の前記ブロックの位置に対応しており、前記閾値演算の結果に応じて、２つの部分に細分割され、
    前記符号化手段は、前記二つの部分を別々に予測する。
21. 請求項２０に記載の符号化装置において、
    前記符号化手段は、それぞれの予測に基づいて前記第二の色成分のブロックの前記２つの部分を符号化し、
    前記導出する手段は、前記第二の色成分の予測誤差に基づいて、第三の色成分を符号化するためのブロック分割を導出する。
22. 請求項１６〜２１のいずれか１項に記載の符号化装置は、さらに、
    ブロック、スライス、またはビデオシーケンスに区切りが適用されるか否かを示すセグメンテーション・インジケータを判定する判定部と、
    符号化された予測信号も含む符号化ビットストリームにセグメンテーション・インジケータを含めるインジケータ符号化部とを備える。
23. 復号装置は、
    予測符号化を用いて、第一の色成分のブロックを復号する復号手段と、
    前記第一の色成分の予測誤差に基づいて別の色成分の復号するためのブロック分割を導出する導出部とを備える。
24. 請求項２３に記載の復号装置において、前記導出部は、所定の閾値と前記予測誤差信号とを比較する閾値演算に基づいて、ブロック分割を導出する。
25. 請求項２４に記載の復号装置において、比較された前記予測誤差信号は、周波数領域に変換された前記第一の色成分のブロックのサブブロックのＤＣ係数である。
26. 請求項２４に記載の復号装置において、前記予測誤差信号は、前記第一の成分のブロックの画素位置における量子化予測誤差または変換かつ量子化予測誤差である。
27. 請求項２３〜２６のいずれか１項に記載の復号装置において、
    前記第二の成分のブロックは、前記第一の成分の前記ブロックの位置に対応しており、前記閾値演算の結果に応じて、前記導出部により２つの部分に細分割され、
    前記復号部は、前記二つの部分を別々に予測する。
28. 請求項２７に記載の復号装置において、
    前記復号部は、それぞれの予測に基づいて前記第二の色成分のブロックの前記２つの部分を復号し、
    前記導出部は、前記第二の色成分の前記予測誤差に基づいて、第三の色成分を復号するためのブロック分割を導出する。
29. 請求項２３〜２８のいずれか１項に記載の復号装置は、さらに、
    符号化予測信号も含む符号化ビットストリームからセグメンテーション・インジケータを抽出する抽出部と、
    抽出された前記セグメンテーション・インジケータに従って、色成分の前記ブロックを区切るか否かを判定する判定部とを備える。

Images