JP2020022207A - 復号方法および復号装置 - Google Patents

Abstract

【課題】効率的なデブロッキングフィルタリング手法を用いた復号方法を提供する。【解決手段】復号方法は、隣接する第１ブロックの第１セグメント及び第２ブロックの第１セグメントのそれぞれに含まれる隣接画素にデブロッキングフィルタを適用するか否かを判断し、そのデブロッキングフィルタの幅を示すタイプを選択し、その判断に用いられるサンプル画素は、第１ブロックの第１セグメントと第２ブロックの第１セグメント内それぞれに含まれるサンプル画素のみに含まれ、上述の選択では、上記判断に用いられた画素が属するラインに属する画素のみを用いて、第１ブロックの第１セグメント及び第２ブロックの第１セグメントのそれぞれに含まれる第１境界に垂直な隣接画素が属する全てのラインに適用するデブロッキングフィルタの幅を示すタイプが選択される。【選択図】図２０Ａ

Description

［発明の属する技術分野］
本発明は画像のフィルタリングに関する。特に、本発明は、デブロッキングフィルタリングに関し、画像領域に対するデブロッキングフィルタリングを有効にするか無効にするかについての決定に関する。

［従来技術の説明］
現在、標準的な映像符号化アルゴリズムの大半はハイブリッド映像符号化に基づくものである。通常、ハイブリッド映像符号化方法は、所望の圧縮ゲインを達成するために、いくつかの異なる可逆圧縮方式と不可逆圧縮方式とを組み合わせたものである。ハイブリッド映像符号化は、ＩＳＯ／ＩＥＣ標準規格（ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４のようなＭＰＥＧ−Ｘ標準規格）と同様に、ＩＴＵ−Ｔ標準規格（Ｈ．２６１やＨ．２６３のようなＨ．２６ｘ標準規格）の基礎でもある。最新の映像符号化標準規格は、Ｈ．２６４／ＭＰＥＧ−４ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）と称されるものであり、これは、（ＩＴＵ−ＴグループとＩＳＯ／ＩＥＣ ＭＰＥＧグループとのジョイントチームである）ジョイントビデオチーム（ＪＶＴ）による標準化活動の成果である。このコーデックは、ＨＥＶＣ（Ｈｉｇｈ−Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）という名称の下で、ＪＣＴ−ＶＣ（Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）によってさらに開発が進められており、特に高解像度の映像符号化の効率改善を目的としている。

エンコーダへ入力される映像信号は、フレームと呼ばれる画像のシーケンスであり、各フレームは２次元マトリクス状の複数の画素からなる。ハイブリッド映像符号化に基づく上述の標準規格は全て、個々の映像フレームを、複数の画素からなるより小さなブロックに分割することを含む。ブロックのサイズは、例えば、画像の内容によって異なる。符号化方法は、通常、ブロックごとに異なってもよい。例えばＨＥＶＣにおいて、そのようなブロックに許される最大サイズは６４×６４画素である。この最大サイズは最大符号化単位（ＬＣＵ）と称される。Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣにおいてマクロブロック（通常は１６×１６画素のブロックを指す）は、符号化が実行され、さらに何らかの符号化／復号ステップが適用されるより小さなサブブロックに分割される可能性がある基本の画像要素である。

典型的には、ハイブリッド映像符号化における符号化ステップには、空間的および／または時間的予測が含まれる。したがって、各符号化対象ブロックは、まず、空間的に隣接したブロックまたは時間的に隣接したブロック、つまり符号化済み映像フレームのブロックを用いて予測される。予測残差ブロックとも呼ばれる、符号化対象ブロックと予測との差分ブロックが、次に算出される。次の符号化ステップでは、残差ブロックが空間（画素）領域から周波数領域へ変換される。変換の目的は、入力ブロックの相関性を弱めることである。次の符号化ステップにおいて、変換係数が量子化される。このステップにおいて、実質的にロスが生じる（不可逆的な）圧縮が行われる。通常、圧縮変換係数値は、エントロピー符号化によって（可逆的に）さらに圧縮される。さらに、符号化映像信号を再構成するために必要な補助情報が符号化され、符号化映像信号とともに提供される。この情報は、例えば、空間的および／または時間的予測や量子化量等に関するものである。

図１は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣおよび／またはＨＥＶＣに準拠した、典型的なビデオエンコーダ１００の一例を示す。減算器１０５がまず、入力映像（入力信号ｓ）の符号化対象ブロックと、対応する予測ブロックＳ＾との差分を求める。その差分は、符号化対象ブロックの予測に用いられる。当該予測信号は、時間的予測または空間的予測１８０によって得られる。予測のタイプは、フレームごとまたはブロックごとに異なる可能性がある。時間的予測を用いて予測されたブロックおよび／またはフレームは「インター」符号化されたと称され、空間的予測を用いて予測されたブロックおよび／またはフレームは、「イントラ」符号化されたと称される。時間的予測を用いる予測信号は、メモリに格納されている、符号化済みの画像から導出する。空間的予測を用いる予測信号は、既に符号化・復号済みの、メモリに格納された隣接ブロックの境界画素値から導出される。入力信号と予測信号との差分ｅは、予測誤差または残差と呼ばれ、変換されて（１１０）係数となり、量子化される（１２０）。格納するデータ量をさらに削減し、かつ／または可逆的に送信するために、量子化係数にエントロピー符号化（１９０）を適用する。これは主に、可変長の符号語を有する符号を適用することによって達成される。この符号語の長さは、発生確率に基づいて選択される。

復号（再構成）映像信号ｓ’を得るため、ビデオエンコーダ１００に復号部を組み入れる。上記符号化ステップに合わせて、復号ステップは、逆量子化および逆変換（１３０）を含む。そのようにして得た予測誤差信号ｅ’は、量子化ノイズとも称される量子化誤差が原因で、元の予測誤差信号とは異なる。その後、復号予測誤差信号ｅ’を予測信号Ｓ＾に加える（１４０）ことで、再構成信号ｓ’を得る。エンコーダ側とデコーダ側の互換性を保つため、エンコーダ側とデコーダ側の両方で得られる、符号化され続いて復号された映像信号に基づいて、予測信号Ｓ＾を得る。

量子化の結果、再構成映像信号に量子化ノイズが重畳される。ブロック単位での符号化のため、重畳されたノイズはブロッキング特性を有することが多く、特に強い量子化が行われた場合は、復号画像のブロック境界が目立つことになる。ブロッキングアーチファクトは、人間の視覚認識上マイナス効果を及ぼす。これらのアーチファクトを減らすため、デブロッキングフィルタ１５０を全ての再構成画像ブロックに適用する。デブロッキングフィルタは、再構成信号ｓ’に適用される。例えば、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣにおけるデブロッキングフィルタは、局所的適応能力を有する。ブロッキングノイズの程度が高い場合は、強い（帯域幅が狭い）ローパスフィルタが用いられ、ブロッキングノイズの程度が低い場合は、弱い（帯域幅が広い）ローパスフィルタが用いられる。ローパスフィルタの強度は、予測信号Ｓ＾および量子化予測誤差信号ｅ’によって決定される。デブロッキングフィルタは、概して、ブロックのエッジを平滑化し復号画像の主観的画質を改善する。さらに、画像内のフィルタリング済みの部分が次の画像の動き補償予測に用いられるため、フィルタリングによって予測誤差も減少し、符号化効率を改善することができる。

デブロッキングフィルタの後に、サンプル適応オフセット１５５および／または適応的ループフィルタ１６０を、デブロッキング済み信号ｓ’’を含む画像に適用してもよい。デブロッキングフィルタは主観的品質を改善する。一方で、サンプル適応オフセット（ＳＡＯ）およびＡＬＦは、画素単位の信頼性（「客観的」品質）の改善を目的とする。具体的には、ＳＡＯは、画素の最も近隣に従ってオフセットを追加する。適応的ループフィルタ（ＡＬＦ）は、圧縮によって起こる画像の歪みを補償するために用いられる。通常、適応的ループフィルタは、再構成済み画像ｓ’とソース画像ｓとの平均二乗誤差（ＭＳＥ）が最小化されるように決定されたフィルタ係数を有するウィーナフィルタである。ＡＬＦの係数を、フレーム単位で算出し送信してもよい。ＡＬＦはフレーム全体（映像シーケンスの画像）または局所領域（ブロック）に適用できる。フィルタリングする領域を示す追加的補助情報を、（ブロック単位、フレーム単位、または四分木単位で）送信してもよい。

インター符号化画像を復号するには、符号化および復号済み画像の一部も参照フレームバッファ１７０に格納する必要がある。インター符号化ブロックは、動き補償予測を用いることにより予測される（１８０）。まず、動き検出器により、符号化および復号済み映像フレーム内で対象ブロックに最も適合するブロックを見つける。この最適ブロックは予測信号となり、対象ブロックと最適ブロック間の相対的なずれ（動き）が、３次元の動きベクトルの形で動きデータとして信号で伝えられる。この動きデータは、符号化映像データとともに提供される補助情報内に含められる。３次元とは、２つの空間的な次元と１つの時間的な次元とからなる。予測精度を最適化するため、１／２画素解像度や１／４画素解像度などの空間的サブピクセル解像度で動きベクトルを求めてもよい。空間的サブピクセル解像度の動きベクトルは、復号済みフレーム内の、実存する画素値がない空間的位置、つまりサブピクセル位置を指してもよい。よって、動き補償予測を行うために、そのような画素値の空間的補間が必要である。これは、補間フィルタ（図１では予測ブロック１８０と統合されている）によって達成されてもよい。

イントラ符号化およびインター符号化モードの両方において、対象入力信号と予測信号との差分ｅが変換（１１０）および量子化（１２０）され、量子化係数となる。一般的に、２次元離散コサイン変換（ＤＣＴ）またはその整数バージョンなどの直交変換が使用される。なぜなら、これにより自然映像の相関が効率的に低下するからである。変換後、高周波成分よりも低周波成分の符号化により多くのビットが費やされる。これは通常、高周波成分よりも低周波成分が画質にとって重要であるからである。エントロピーコーダにおいて、２次元配列の量子化係数が１次元配列に変換される。典型的には、いわゆるジグザグスキャンによって変換される。ジグザグスキャンでは、２次元配列の左上隅にあるＤＣ係数から右下隅にあるＡＣ係数まで所定の順序で走査される。エネルギーは一般的に低周波に相当する２次元配列の係数の左上部分に集中するため、ジグザグスキャンを行うと、通常、最後の値がゼロとなる配列になる。これにより、実際のエントロピー符号化の一部として、またはその前処理として、ランレングス符号を用いる効率的な符号化が可能になる。

Ｈ．２６４／ＭＰＥＧ−４ Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣおよびＨＥＶＣは、ビデオ符号化層（ＶＣＬ）とネットワーク抽象化層（ＮＡＬ）の２つの層を有する。ＶＣＬは、簡単に上述したように、符号化の機能性を提供する。ＮＡＬは、チャネルを越える送信や記憶装置への格納といったさらなる用途に合わせて、情報要素を、ＮＡＬユニットと称される標準単位にカプセル化する。情報要素とは、例えば、符号化予測誤差信号、または、予測タイプ、量子化パラメータ、動きベクトル等の映像信号の復号に必要な他の情報である。圧縮映像データと関連情報とを含むＶＣＬ ＮＡＬユニットがあり、映像シーケンス全体に関連するパラメータセットのような追加データをカプセル化しているｎｏｎ−ＶＣＬユニット、または、復号精度の改善に用いられる追加情報を提供する付加拡張情報（ＳＥＩ）もある。

図２は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣまたはＨＥＶＣ映像符号化規格に準拠したデコーダ２００の例を示す。符号化映像信号（デコーダへの入力信号）は、まず、動きデータや予測モード等といった復号に必要な情報要素と量子化係数とを復号するエントロピーデコーダ２９０に送られる。量子化係数は、２次元配列を得るために逆走査され、その後、逆量子化・逆変換部２３０に入力される。逆量子化および逆変換（２３０）後、復号（量子化）予測誤差信号ｅ’が得られる。量子化ノイズが生じず、誤差が生じなかった場合、この復号（量子化）予測誤差信号ｅ’は、エンコーダに入力された信号から予測信号を減算して得た差分に相当する。

予測信号は、時間的または空間的予測（２８０）によって得られる。通常、復号された情報要素はさらに、イントラ予測の場合には予測タイプ、動き補償予測の場合には動きデータなどの予測に必要な情報を含む。空間領域における量子化予測誤差信号は、その後、加算器２４０により、動き補償予測またはフレーム内予測（２８０）から得られた予測信号に加算される。再構成画像ｓ’は、デブロッキングフィルタ２５０、サンプル適応オフセット処理部２５５、および、適応ループフィルタ２６０を介して送られてもよく、その結果得られる復号信号は、メモリ２７０に格納され、後続ブロック／画像の時間的または空間的予測に使用される。

ハイブリッドビデオエンコーダの一例をさらに説明したものを図３に示す。図３のエンコーダが図１のエンコーダと異なる点は、図１のデブロッキングフィルタ１５０が、垂直エッジを水平方向にデブロッキングするフィルタ３５０ａと水平エッジを垂直方向にデブロッキングするフィルタ３５０ｂとに分割されていることである。フィルタ３５０ａは、加算器１４０の出力である再構成信号Ｓ’に適用される。フィルタ３５０ｂの出力、つまり、Ｓ’’と表されるデブロッキング済み垂直エッジを含む画像はフィルタ３５０ｂに入力される。フィルタ３５０ｂの出力信号、つまり、垂直および水平方向にデブロッキングされた画像はＳ’’’と表される。さらに、図３は、エントロピーエンコーダ１９０と水平デブロッキングフィルタ３５０ａと垂直デブロッキングフィルタ３５０ｂとに入力される量子化パラメータＱＰを明示的に示している。

図３の残りのブロックは図１のブロックにそれぞれ対応し、図３と図１において、同等の機能は同じ参照符号で表されている。図３では、適応ループフィルタ１６０がウィーナフィルタとして明示的に記載されており、ブロック１５５（ＳＡＯ）とブロック１６０（ＡＬＦ）が入れ替わっている。しかしながら、これらのステップ順序は本発明において本質的なものではない。また、参照フレームバッファ１７０は、図３では明示的に示されていない。

図１のエンコーダと図２のデコーダの各機能における類似性を考えると、当業者であれば、２つの連続ステップで水平および垂直デブロッキングが明示的になされるデコーダを説明するために、図２をどのように変更すればよいか分かるであろう。したがって、各図は省略する。

画像を圧縮および解凍する際、ブロッキングアーチファクトは通常、ユーザにとって最も不快なものである。再構成画像のブロック間のエッジを平滑化することで、デブロッキングフィルタリングは、ユーザの知覚体験を改善する。デブロッキングフィルタリングの難点の１つは、量子化器の適用が原因でブロッキングにより生じるエッジと、符号化信号の一部であるエッジとを正確に判別することである。圧縮アーチファクトが原因でブロック境界に生じたエッジの場合にのみ、デブロッキングフィルタが適用されることが望ましい。他の場合、デブロッキングフィルタの適用により、再構成信号が歪む可能性がある。別の難点は、デブロッキングフィルタリングに適切なフィルタを選択することである。通常、異なる周波数応答を有する複数のローパスフィルタにおいて決定がなされ、強いまたは弱いローパスフィルタリングが行われる。デブロッキングフィルタリングを適用するかどうかを決定するため、また、適切なフィルタを選択するために、２つのブロックの境界付近に存在する画像データが考慮される。

例えば、隣接ブロックの量子化パラメータを考慮してもよい。代わりに、または、加えて、イントラまたはインターなどの予測モードを考慮してもよい。その他の可能性は、例えば、ゼロに量子化された係数はいくつあるかなど、量子化予測誤差係数を評価することである。また、例えば、同じ参照フレームが対象ブロックと隣接ブロックの予測に用いられたかなど、動き補償予測に用いた参照フレームをフィルタ選択の指標としてもよい。また、決定は、動き補償予測に用いた動きベクトルに基づくものでもよく、対象ブロックの動きベクトルと隣接ブロックの動きベクトルとが同じかそれとも異なるかに基づいてもよい。決定は、ブロックパッチまでの距離といったサンプル空間位置に関するものでもよい。

例えば、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣは、境界がデブロッキングされる２つの隣接ブロックそれぞれの第１の微分の絶対値を評価する。また、例えばＨ．２６４／ＭＰＥＧ−４ＡＶＣ規格の第８．７．２．２項で記載されているように、２つのブロック間のエッジにおける第１の微分の絶対値を評価する。同様の手法は、米国公開第２００７／８５４２０４Ａ号にも記載されている。フィルタリングする全ての画素に対し同じ基準で決定がなされ、ブロック全体に対して選択が行われる。ＨＥＶＣでは同様のメカニズムを採用しているが、第２の微分も用いる。

これらの手法によると、実際のデブロッキングにおいて、デブロッキングするかどうかの決定は、デブロッキングする可能性のあるブロックのエッジ全てに対して行われる。さらに、デブロッキングが有効であれば、個々のラインごとに、適用するフィルタの種類について決定がなされる。これらの決定は、デブロッキングされていない画素サンプルに基づいて行われる。したがって、垂直エッジの水平フィルタリングと水平エッジの垂直フィルタリングの両方に対してデブロッキングフィルタを実際に適用する前に、両デブロッキング方向に対する決定を行わなければならない。その結果、適用する第１デブロッキングフィルタ（例えば、水平フィルタリング）の遅延となる。その上、フィルタＯＮ／フィルタＯＦＦの決定結果を格納する必要がある。あるいは、第２方向（例えば、垂直方向）のデブロッキングに対して行われる決定を遅延させるために、追加のラインメモリが必要になるかもしれない。ラインメモリはかなり高価なため、この手法ではコストが増大してしまう。

従来技術にはこれらの課題があることを考慮すると、メモリ使用効率を向上させた効率的なデブロッキングフィルタリング手法を提供することが有利である。

本発明の具体的な手法では、２ブロック間の境界に対してデブロッキングフィルタを適用するかそれともスキップするかの決定は、ブロック全体に対してではなく、ブロック境界に垂直なラインに沿って各ブロックを少なくとも２つのセグメントに分割することにより行われる。何らかの方法で格納されている画素全てを含むようにセグメントは設定される。なぜなら、デブロッキングフィルタリングを適用するかそれともスキップするかの決定、および／または、各セグメントに隣接する、垂直方向の別のブロック境界に適するフィルタの選択にこれらの画素が必要となるからである。

本発明の一態様によれば、画素からなる画像ブロックをデブロッキングフィルタリングする方法を提供する。当該方法は、第１境界で区別される第１ブロックと第２ブロックとをそれぞれ、当該第１境界に垂直なラインに沿って少なくとも２つのセグメントに分割する分割ステップと、前記第１ブロックと前記第２ブロックとの前記第１境界に隣接する画素にデブロッキングフィルタを適用するか否かを判断する判断ステップとを含む。前記判断ステップは、前記第１境界の両側における隣接セグメントの組に対し、他のセグメントに属する画素は当該判断で用いないように、前記隣接セグメントの組のサンプル画素を用いて個別に行われる。前記分割ステップは、ブロックのセグメントが、デブロッキングフィルタを適用するか否かの判断、および／または、前記第１境界に垂直な、当該ブロックと第３ブロックとの間の第２境界に隣接する画素をデブロッキングする前記デブロッキングフィルタの選択に必要な当該ブロックの画素全てを含むように行われる。

本発明の別の一態様によれば、画素からなる画像ブロックをデブロッキングフィルタリングする装置を提供する。当該装置は、第１境界で区別される第１ブロックと第２ブロックとをそれぞれ、当該第１境界に垂直なラインに沿って少なくとも２つのセグメントに分割する分割部を備える。当該装置は、さらに、前記第１ブロックと前記第２ブロックとの前記第１境界に隣接する画素にデブロッキングフィルタを適用するか否かを判断する判断部を備える。前記判断部は、前記第１境界の両側における隣接セグメントの組に対し、他のセグメントに属する画素は当該判断で用いないように、前記隣接セグメントの組のサンプル画素を用いて個別に判断を行う。前記分割部は、ブロックのセグメントが、デブロッキングフィルタを適用するか否かの判断、および／または、前記第１境界に垂直な、当該ブロックと第３ブロックとの間の第２境界に隣接する画素をデブロッキングする前記デブロッキングフィルタの選択に必要な当該ブロックの画素全てを含むように分割を行う。

付属図面は本発明のいくつかの実施の形態を説明する明細書に組み込まれ、かつ当該明細書の一部をなす。当該図面は実施の形態の説明と共に、本発明の原理を説明するものである。当該図面の目的は、本発明がどのようになされ、用いられるかを示す好適かつ代替可能な例を例示することだけであり、本発明を例示および説明された実施の形態のみに限定するものとして解釈されるべきではない。本発明のさらなる特徴および効果は、付属図面が示すような、下記のような本発明の様々な実施形態の詳細な説明から明らかになる。当該図面において、同じ参照符号は同じ要素を示す。
図１は、ビデオエンコーダの一例を示すブロック図である。 図２は、ビデオデコーダの一例を示すブロック図である。 図３は、ビデオエンコーダの一例を示す別のブロック図である。 図４Ａは、水平デブロッキングフィルタの適用を示す概略図である。 図４Ｂは、垂直デブロッキングフィルタの適用を示す概略図である。 図５は、デブロッキングフィルタリングを適用するか否かの決定、および、デブロッキングフィルタの選択を示す概略図である。 図６Ａは、強いフィルタで行われたデブロッキング演算を示す概略図である。 図６Ｂは、弱いフィルタで行われたデブロッキング演算を示す概略図である。 図７は、８行／列のブロック例から続いて行われる一連のデブロッキング決定を示すフローチャートである。 図８は、図７のフローチャートにおける第１決定を行うために用いられる画素サンプルを示す概略図である。 図９は、図７のフローチャートにおける第２決定を行うために用いられる画素サンプルを示す概略図である。 図１０は、垂直エッジを水平方向にフィルタリングする場合の、図７のフローチャートにおける第３の決定を行うために用いられる画素サンプルを示す概略図である。 図１１は、垂直エッジを水平方向にデブロッキングフィルタリングするために用いられる画素サンプルを示す概略図である。 図１２は、水平エッジを垂直方向にフィルタリングする場合の、図７のフローチャートにおける第３の決定を行うために用いられる画素サンプルを示す概略図である。 図１３は、水平エッジを垂直方向にデブロッキングフィルタリングするために用いられる画素サンプルを示す概略図である。 図１４は、垂直エッジの水平デブロッキングにより修正されるサンプルの説明図である。 図１５は、垂直エッジの水平デブロッキングにより修正されるサンプルの説明図である。 図１６は、水平または垂直デブロッキングにより修正されるサンプルの説明図である。 図１７Ａは、水平方向および垂直方向のフィルタリングにおいて図７のフローチャートの第１決定と第２決定とを平行して行った場合に生じる課題と、本発明に係る当該課題の基本的な克服策を示す概略図である。 図１７Ｂは、水平方向および垂直方向のフィルタリングにおいて図７のフローチャートの第１決定と第２決定とを平行して行った場合に生じる課題と、本発明に係る当該課題の基本的な克服策を示す概略図である。 図１７Ｃは、水平方向および垂直方向のフィルタリングにおいて図７のフローチャートの第１決定と第２決定とを平行して行った場合に生じる課題と、本発明に係る当該課題の基本的な克服策を示す概略図である。 図１７Ｄは、水平方向および垂直方向のフィルタリングにおいて図７のフローチャートの第１決定と第２決定とを平行して行った場合に生じる課題と、本発明に係る当該課題の基本的な克服策を示す概略図である。 図１８は、本発明に係るデブロッキングの依存関係が８×８サンプルに限定されることを示す図である。 図１９Ａは、本発明の一実施形態に係る、デブロッキングフィルタを適用するか否かの決定の一例を示す概略図である。 図１９Ｂは、本発明の一実施形態に係る、デブロッキングフィルタを適用するか否かの決定の一例を示す概略図である。 図２０Ａは、本発明の一実施形態に係る、適切なデブロッキングフィルタを選択する決定の一例を示す概略図である。 図２０Ｂは、本発明の一実施形態に係る、適切なデブロッキングフィルタを選択する決定の一例を示す概略図である。 図２１Ａは、本発明の一実施形態に係る、適切なデブロッキングフィルタを選択する決定の別の一例を示す概略図である。 図２１Ｂは、本発明の一実施形態に係る、適切なデブロッキングフィルタを選択する決定の別の一例を示す概略図である。 図２２Ａは、デブロッキングを適用するか否かの決定を行う際に生じるメモリアクセス問題を示す概略図である。 図２２Ｂは、デブロッキングを適用するか否かの決定を行う際に生じるメモリアクセス問題を示す概略図である。 図２３Ａは、図２２Ａおよび図２２Ｂで示したメモリアクセス問題の解決策を示す概略図である。 図２３Ｂは、図２２Ａおよび図２２Ｂで示したメモリアクセス問題の解決策を示す概略図である。 図２４は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成図である。 図２５は、デジタル放送用システムの全体構成図である。 図２６は、テレビの構成例を示すブロック図である。 図２７は、光ディスクである記録メディアに情報の読み書きを行う情報再生／記録部の構成例を示すブロック図である。 図２８は、光ディスクである記録メディアの構造例を示す図である。 図２９Ａは、携帯電話の一例を示す図である。 図２９Ｂは、携帯電話の構成例を示すブロック図である。 図３０は、多重化データの構成を示す図である。 図３１は、各ストリームが多重化データにおいてどのように多重化されているかを模式的に示す図である。 図３２は、ＰＥＳパケット列に、ビデオストリームがどのように格納されるかを更に詳しく示した図である。 図３３は、多重化データにおけるＴＳパケットとソースパケットの構造を示す図である。 図３４は、ＰＭＴのデータ構成を示す図である。 図３５は、多重化データ情報の内部構成を示す図である。 図３６は、ストリーム属性情報の内部構成を示す図である。 図３７は、映像データを識別するステップを示す図である。 図３８は、各実施の形態の動画像符号化方法および動画像復号化方法を実現する集積回路の構成例を示すブロック図である。 図３９は、駆動周波数を切り替える構成を示す図である。 図４０は、映像データを識別し、駆動周波数を切り替えるステップを示す図である。 図４１は、映像データの規格と駆動周波数を対応づけたルックアップテーブルの一例を示す図である。 図４２Ａは、信号処理部のモジュールを共有化する構成の一例を示す図である。 図４２Ｂは、信号処理部のモジュールを共有化する構成の他の一例を示す図である。

［発明の詳細な説明］
下記に詳述するように、従来の決定手法では、全ての決定を行い、かつ、実際のフィルタリング処理を所望の順序で行うために必要以上のメモリ容量が要求される。本発明の根本的な課題はこの点に基づいている。本発明によれば、メモリコストを削減するために、決定処理を行うためのブロック分割を行って必要なＭＩＣメモリ量を最小限にする。さらに、特定の態様によれば、全体の計算複雑度の低減にも対応する。

図４は、図１、図２、および、図３の説明でそれぞれ記載されたデブロッキングフィルタ（１５０、２５０、３５０ａ、および、３５０ｂなど）の適用例を示す。このようなデブロッキングフィルタは、サンプルごとにブロック境界でフィルタリングを行うか否かを決定してもよい。フィルタリングを行う場合は、ローパスフィルタを適用する。この決定の目的は、上記背景技術に記載したような、ブロック単位の処理に適用される量子化によりブロック境界において大きな信号変化が起こるサンプルにのみ、フィルタリングを行うことである。このフィルタリングにより、ブロック境界において平滑化された信号が得られる。平滑化信号は、ブロッキングアーチファクトよりも、見る人に与える不快感が少ない。符号化対象の原信号に属する、ブロック境界において大きな信号変化が起こるそれらのサンプルは、高周波およびそれによる視覚的鋭さを維持するために、フィルタリングされるべきではない。間違った決定がされた場合、画像は不必要に平滑化されるか、またはブロック境界が歪んだままになる。

図４Ａは、垂直境界に関する決定（水平デブロッキングフィルタでフィルタリングを行うか否か）を示し、図４Ｂは、水平境界に関する決定（垂直デブロッキングフィルタでフィルタリングを行うか否か）を示す。具体的には、図４Ａは、復号対象ブロック３４０とその復号済み隣接ブロック３１０、３２０、および３３０を示す。ライン内の画素３６０に対して決定がなされる。同様に、図４Ｂは、同じ対象ブロック３４０を示し、列内の画素３７０に対して決定がなされる。

Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣと同様に、デブロッキングフィルタを適用するか否かの判断は、以下のように実行されてもよい。図５にも示されるように、６個の画素３６０のラインを例にとると、そのうち最初の３個の画素ｐ２、ｐ１、ｐ０は左の隣接ブロックＡ３３０に属し、続く３個の画素ｑ０、ｑ１、ｑ２は対象ブロックＢ３４０に属する。ライン４１０は、ブロックＡとブロックＢとの境界を示す。画素ｐ０およびｑ０はそれぞれ、左の隣接ブロックＡの画素および対象ブロックＢの画素であり、互いに隣接している。画素ｐ０およびｑ０は、例えば以下の条件が満たされた場合に、デブロッキングフィルタによってフィルタリングされる。

および、

ここで、通常、以下が成立する。

これらの条件は、ｐ０とｑ０の差分がブロッキングアーチファクトに由来するものか否かを検出することを目的としている。これらは、ブロックＡ内、ブロックＢ内、および、ブロックＡＢ間それぞれの第１の微分の評価に相当する。

画素ｐ１は、上記３つの条件に加えて以下の条件も満たした場合にフィルタリングされる。

画素ｑ１は、上記の最初の３つの条件に加えて以下の条件も満たした場合にフィルタリングされる。

これらの条件はそれぞれ、第１ブロック内の第１の微分および第２ブロック内の第１の微分に相当する。上記の条件において、ＱＰは、適用される量子化量を示す量子化パラメータを示す。βおよびαはスカラー定数である。特に、ＱＰ_ＮＥＷは、以下のような、第１ブロックＡおよび第２ブロックＢそれぞれに適用される量子化パラメータＱＰ_ＡおよびＱＰ_Ｂに基づき導出した量子化パラメータである。

ここで、「＞＞ｎ」は右にｎビット分シフトするという意味である（上記の式では１ビットである）。

上記の条件は、ブロック内の第１の微分の評価に相当する。当該決定は、ブロック内の選択された１ラインまたは複数のラインに対してのみ行われてもよいが、画素のフィルタリングは全てのライン３６０に対して適宜行われる。ＨＥＶＣに準拠した決定が行われるライン４３０の例４２０を図５に示す。ライン４３０に基づき、ブロック全体をフィルタリングするか否かの決定がなされる。

ＨＥＶＣにおけるデブロッキングフィルタリングの他の例は、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３およびＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のＪＴＣ−ＶＣのＪＣＴＶＣ−Ｅ６０３ドキュメントの第８．６．１項に記載されており、同ドキュメントは、ｈｔｔｐ：／／ｗｆｔｐ３．ｉｔｕ．ｉｎｔ／ａｖ−ａｒｃｈ／ｊｃｔｖｃ−ｓｉｔｅ／から自由に入手可能である。

これによると、ＨＥＶＣでは、２本のライン４３０を用いて、デブロッキングフィルタリングを適用するか否か、また、どのように適用するのかを決定する。本明細書では、この決定ステップを第１決定ステップＤ１と呼ぶ。例４２０では、水平方向にブロッキングフィルタリングを行うため、３つ目のライン（インデックス２）および６つ目のライン（インデックス５）を評価するとしている。特に、各ブロック内の第２の微分を評価すると、以下のような測度ｄ_ｐおよびｄ_ｑが得られる。

画素ｐはブロックＡに属し、画素ｑはブロックＢに属する。ｐまたはｑの直後の数字は列インデックスを示し、その次の下付きの数字はブロック内の行番号を示す。以下の条件が満たされる場合、例４２０に示される８ライン全てに対するデブロッキングが可能となる。

上記の条件が満たされない場合、デブロッキングは全く適用されない。デブロッキングが可能な場合、本明細書では第２決定ステップＤ２と呼ぶ次の決定ステップにおいて、デブロッキングに用いられるフィルタが決定される。この決定は、ブロックＡＢ間の第１の微分の評価に基づく。特に、ラインｉ（ｉは０〜７の整数）ごとに、強いローパスフィルタと弱いローパスフィルタのどちらを適用するのか決定される。以下の条件が満たされる場合、強いフィルタが選択される。

ＨＥＶＣモデルに従い、「強いフィルタ」は、サンプルｐ３_ｉ、ｐ２_ｉ、ｐ１_ｉ、ｐ０_ｉ、ｑ０_ｉ、ｑ１_ｉ、ｑ２_ｉ、ｑ３_ｉを用いて、サンプルｐ２_ｉ、ｐ１_ｉ、ｐ０_ｉ、ｑ０_ｉ、ｑ１_ｉ、ｑ２_ｉをフィルタリングする。一方、「弱いフィルタ」は、サンプルｐ２_ｉ、ｐ１_ｉ、ｐ０_ｉ、ｑ０_ｉ、ｑ１_ｉ、ｑ２_ｉを用いて、サンプルｐ１_ｉ、ｐ０_ｉ、ｑ０_ｉ、ｑ１_ｉをフィルタリングする。上記の条件において、パラメータβおよびｔ_ｃは両方とも量子化パラメータＱＰ_ｅの関数であり、画像のスライスなどに対して設定してもよい。通常、βおよびｔ_ｃの値は、ルックアップテーブルを用いてＱＰに基づき導出される。

図６は、Ｈ２６４／ＭＰＥＧ−４ ＡＶＣ規格に準拠した強いフィルタ演算および弱いフィルタ演算の例についてより詳細に説明したものである（ＨＥＶＣソフトウェアモデルＨＭ４．０で実装）。

図６Ａの左側の図は、強いフィルタで垂直エッジを水平方向にフィルタリングするのに用いられるサンプルを示している。図６Ａの右側の図は、フィルタにより修正されたサンプルを示している。図から分かるように、この例では、参照符号６１０で示される、境界の両側で境界に最も隣接する４画素に対応するサンプルがフィルタリングに用いられる。これらのうち実際に修正されるものは、図６Ａの左側の図において参照符号６２０で示される、両側で境界に最も近い３画素のみである。実際、以下の式に従って、フィルタリングを行う。

関数Ｃｌｉｐ（ｘ）を以下のように定義する。

ここで、ｍａｘ＿ａｌｌｏｗｅｄ＿ｖａｌｕｅはｘがとり得る最大値である。ｋビットのサンプルを用いたＰＣＭ符号化の場合、最大値は、ｍａｘ＿ａｌｌｏｗｅｄ＿ｖａｌｕｅ＝２^ｋ−１になる。例えば、８ビットのサンプルを用いたＰＣＭ符号化の場合、最大値は、ｍａｘ＿ａｌｌｏｗｅｄ＿ｖａｌｕｅ＝２５５になる。１０ビットのサンプルを用いたＰＣＭ符号化の場合、最大値は、ｍａｘ＿ａｌｌｏｗｅｄ＿ｖａｌｕｅ＝１０２３になる。

上記の式から分かるように、フィルタリングは、ラインごとに（シングルラインインデックスｉ＝０、１、２、３、４、５、６、または、７のみ）個別に行われ、フィルタにより画素を修正する式（フィルタ番号の後のダッシュ記号´で示される）ごとにそれぞれラインが用いられる。サンプルｐ３_ｉおよびｑ３_ｉの場合、修正画素はそれぞれ算出されないが、ｐ２’_ｉおよびｑ２’_ｉの式から、ｐ３_ｉおよびｑ３_ｉが各計算式の右側の項に存在することが分かる。

図６Ｂから分かるように、両側で境界に最も近い３画素を用いて弱いフィルタによるフィルタリングを行う（左側の図におけるサンプル６３０）。これらのうち実際に修正されるものは、境界に最も近い２隣接画素のみである（図６Ｂの右側におけるサンプル６４０）。弱いフィルタリングの計算処理は、強いフィルタリングの場合の計算とかなり異なり、さらなる決定が行われる。まず、識別値Δが以下の式に従って算出される。決定はこの値に基づく。

次に、第３決定ステップＤ３において、全てにおいてフィルタリングを行うか否かを決定する。第３決定によれば、

を満たす場合に、画素サンプル６４０にのみフィルタリングが適用される。

条件を満たした場合、両側で境界に最も近い画素が以下の式に従ってフィルタリングされる。

この際、以下を用いる。

関数Ｃｌｉｐ（ｘ）は上記の定義の通りである。関数Ｃｌｉｐ３（ｘ）を以下のように定義する。

サンプルｐ０およびｑ０をフィルタリングした後、境界から次に最も近い画素サンプルｐ１_ｉおよびｑ１_ｉもフィルタリングするか否かについて第４決定Ｄ４が行われる。第４決定Ｄ４は、境界の両側に対して別個に、つまり、図６ＢのブロックＡに属する画素ｐ１_ｉと図６ＢのブロックＢに属する画素ｑ１_ｉとに対して行われる。

画素ｐ１_ｉの第４決定は、上記パラメータｄ_ｐに基づく。

を満たす場合、

に従ってフィルタリングが行われる。この際、以下を用いる。

を満たす場合、ブロックＢの画素ｑ_ｉに対する決定Ｄ４が行われる。

に従ってフィルタリングが行われる。この際、以下を用いる。

前述において、パラメータｔ_ｃ２は

と定義される。

なお、前述のフィルタリング手順は、垂直エッジの水平フィルタリングに対する例を用いて説明したが、水平方向を垂直方向に、行を列にそれぞれ置き換えることによって水平エッジの垂直フィルタリングにも同じように当てはめることができる。さらに、本明細書では慣例が適用され、「ライン」という用語は列または行を意味する。

図７は、８×８ブロック、つまり、フィルタリング対象ラインを８つ含むブロックという具体例における、決定ステップＤ１、Ｄ２、Ｄ３、および、Ｄ４のシーケンスを示す全体フローチャートである。

図７から分かるように、ステップＳ１０において、８ライン全てに対する１回の決定で、デブロッキングフィルタリングを適用するか否かを決定する。デブロッキングを適用しないと決定がなされれば（フィルタＯＦＦ）、処理は終了する。デブロッキングを適用する場合（フィルタＯＮ）は、次のステップＳ２０_ｊからＳ４５ｊまでの各ステップに対して、フィルタリング処理を（添字ｊ（ｊ＝１、２、〜、８）で示される）ラインごとに個別に行う。簡単化のため、以降の説明では添字ｊはそれぞれ省略する。まず、ステップＳ２０において、各ラインｊごとに、強いフィルタを適用するのか弱いフィルタを適用するのかを決定する（決定Ｄ２）。強いフィルタを適用すると決定した場合は、次のステップＳ３５において、図６Ａを参照して上述したように強いフィルタを適用する。そうではなく、弱いフィルタを適用すると決定した場合は、処理はさらなる決定ステップＳ３０に進む。このステップでは、それぞれのラインｊごとに決定Ｄ３を行う。決定Ｄ３においてフィルタリングを適用しないと決定されれば、処理は終了する。そうでない場合は、ステップＳ３８において、図６Ｂを参照して上述したように、境界に最も近い各ラインｊの画素ｐ０およびｑ０をフィルタリングする。続いて、ステップＳ４０において、さらに、（境界に次に最も近い）ｐ１とｑ１もフィルタリングするかどうかを決定する。フィルタリングしなければ、処理は終了する。フィルタリングする場合は、処理はステップＳ４５に進む。このステップでは、修正画素ｐ１’およびｑ１’を算出する。ステップＳ３０、Ｓ３８、Ｓ４０、および、Ｓ４５の処理の詳細を、図６Ｂの例に基づき説明する。

図８は、決定Ｄ１（つまり、２ブロック間の特定境界に対する全デブロッキングを適用するか否かの決定）を行うのに用いられる画素サンプルを例示している。図は、２行のブロックを示している。各行において、復号済みのブロック８１０と、復号対象のブロック８２０と、次に復号されるブロック８３０とが記載されている。決定Ｄ１は、デブロッキングされていない画像ブロックに対して行われるため、記載されているサンプルは図３の信号Ｓ’に対応する。

上述したように、フィルタリング対象エッジに垂直なフィルタリング方向において３つ目のラインと６つ目のライン（インデックス２およびインデックス５）が決定Ｄ１に用いられる。具体的には、サンプル８６０ａは、復号対象ブロック８２０と当該復号対象ブロック８２０の垂直上側のブロックとの境界をフィルタリングするかどうかを決定する決定Ｄ１を行うのに用いられる２列から構成される。サンプル８６０ｂは、復号対象ブロック８２０と次に復号されるブロック８３０との垂直エッジを水平方向にフィルタリングするか否かの決定Ｄ１を行うのに用いられる２行を示している。同様に、サンプル８６０ｃは、復号済みのブロック８１０と復号対象ブロック８２０との境界に対する決定Ｄ１を行うのに用いられる２行を示している。上記説明のように、サンプルラインごとに決定を行うには、境界の両側において境界から数えて３画素が必要である。

図９は、決定Ｄ２を行うのに用いられる、デブロッキングされていない信号Ｓ’のサンプル画素全てについて概略を示している。これらの決定はラインごとに行われるため、決定がなされる各境界に垂直な全ラインの画素は、図９に示されたサンプル９６０に含まれる。上記説明のように、決定Ｄ２では、評価対象の両側において境界に最も隣接する４画素が必要である。サンプル９６０は、決定Ｄ１を行うのに用いられるサンプルを示している図８と同じ境界に対して、決定Ｄ２を行うのに用いられるサンプルを示している。

図１０は、垂直エッジ、つまり、復号対象ブロック８２０と復号済みブロック８１０との境界および復号対象ブロック８２０と次に復号するブロック８３０との境界の水平フィルタリングに対する決定Ｄ３を行うのに用いられるサンプル１０６０を示している。上記説明のように、当該決定はラインごとに個別に行われるが、両側において境界からの２画素のみが当該決定に用いられる。

図１１は、垂直エッジの水平デブロッキングフィルタリングを行うのに用いられるサンプル１１６０を示している。これから分かるように、図１０とは異なり、境界の両側において４画素の「深さ」がフィルタリングに必要である。

図１２は、水平境界の垂直フィルタリングに対する決定Ｄ３を行うのに用いられるサンプル１２６０を示している。当該決定は垂直エッジの水平デブロッキングを行った後にのみ行われるべきものであり、これらのサンプルは、図３の水平デブロッキング済み信号Ｓ’’から選択される。図１２のブロックと前述の図に示されたブロックとの違いを視覚化するため、各ブロックの参照符号にアポストロフィを付けた。したがって、図１２における、復号済みブロック、復号対象ブロック、および、次に復号されるブロックは、それぞれ、８１０’、８２０’、および、８３０’と表される。

図１３は、水平エッジの垂直デブロッキングフィルタリングを実際に行うのに用いられるサンプル１３６０を示している。図１１が図１０と異なるのと同様に、図１３は図１２と異なる。具体的には、ブロック境界から数えて４画素が、境界の両側においてサンプルとなる。

次の図、図１４から図１６は、修正される可能性がある画素サンプルを示している（決定およびフィルタリングに用いられる画素サンプルとは異なる）。前述の例と同じく、８×８サンプルのブロック（つまり、８行８列、すなわち、各方向に８ライン）を示している。ただし、このブロックサイズは単なる一例である。

具体的には、図１４は、垂直エッジの水平デブロッキングにより修正される可能性があるサンプルの説明図である。ブロックのデブロッキング対象境界に平行な８ラインの画素のうち（図では「８サンプル」と表す）、境界の両側における最大３ラインが修正対象となる。結果として、境界に近い連続した６サンプルが修正対象となる。図１４では、これらのサンプルは網掛けで示される。したがって、８×８ブロック全体において、修正対象ブロック内の２サンプルは各ブロックにおいてそのまま変化しない。

図１５は、垂直エッジの水平デブロッキングにより修正されるサンプルの説明図である。図１５は、基本的に図１４に対応するが、網掛け部分が９０°回転している。

図１６は、水平または垂直デブロッキングにより修正されるサンプルの全体説明図である。図１６は、図１４と図１５を重ね合わせたものに対応する。

上記説明に基づき、本発明の根本的な課題を図１７Ａおよび図１７Ｂに基づく例示によりここで詳細に説明する。本課題の全体的な解決策は図１７Ｃにおいて説明する。

なお、下記の詳細な説明において、ブロックサイズ、格納されるライン数、および、決定を行うのに用いられるライン数は単なる一例として示される。本発明は８×８ブロックに限定されるものではなく、サンプルピクチャ数も下記に示すものに限定されない。請求の範囲で定義するような本発明の範囲内であれば、他のブロックサイズ、異なる格納サンプル数、および、異なる選択サンプル数も可能である。また、本発明は、本明細書に記載され、かつ、図３に示されたように、水平デブロッキングを先に行う例に限定されない。垂直デブロッキングを行ってから水平デブロッキングを行うといった逆の場合にも本発明を同様に適用することができる。

図１７Ａは基本的に図９に対応している。また、参照符号１７７０は、復号対象ブロック８２０と復号対象ブロック８２０の上側のブロックとの垂直境界の決定Ｄ２（強いフィルタか弱いフィルタか）を行うために必要な４ラインのサンプルを示している。

上述したように、決定Ｄ１および決定Ｄ２は、デブロッキングされていないサンプルに対して行うべきである。したがって、これらの決定は、図３のデブロッキングされていない信号Ｓ’が利用可能なうちに、つまり、フィルタ３５０ａにおける水平エッジの垂直フィルタリングが実際に開始されるまでに行わなければならない。言い換えれば、フィルタリング（具体的には、図３のフローチャートに従って最初に行われる垂直エッジの水平フィルタリング）を決定Ｄ１および決定Ｄ２により遅延させ、特に、水平エッジの垂直フィルタリングを遅延させる。その結果、図１７Ａの参照符号１７７０で示された４ラインのサンプル（つまり、各長さは、垂直フィルタリングに対する決定Ｄ２を行うのに必要なデブロッキングされていない信号のピクチャ幅に相当する）は、垂直境界で遅延水平フィルタリングを開始する時点で利用できる。

ハードウェア実装は、次のように実現できる。デブロッキングされていないサンプルをラインメモリに格納し、その後、復号対象ブロックに対し、垂直エッジの水平フィルタリングおよび水平エッジの垂直フィルタリングに対する決定Ｄ１および決定Ｄ２を、格納したデブロッキングされていないサンプルを用いて行う。続いて、垂直エッジの遅延水平フィルタリングを、格納された４ラインを含む領域に対して行う。

しかしながら、このような遅延水平フィルタリングの場合、すでに実行済みの対応ＯＮ／ＯＦＦ決定Ｄ１の結果が必要になる。そのため、当該決定の結果を格納するか、または、再計算する必要がある。この結果が格納されていない場合、上述の従来方式に従った再計算において、格納済みのライン１７７０に属していないラインからのサンプル画素が必要になる。つまり、決定Ｄ１の決定結果を再計算するために、図１７Ｂに示されたサンプル画素１７６０が必要になる（図５のサンプル４３０、つまり、（図５において添字がそれぞれ２および５の）３つ目と６つ目のラインの画素に対応する）。（図５において添字が５の）６つ目のラインは何らかの方法で格納されたラインに属しているが、（図５において添字が２の）３つ目のラインは格納されたラインに属していない。

したがって、遅延水平フィルタリングに対するすでに実行済みの決定Ｄ１の決定結果を格納するか、または、追加ライン（図１７Ｂにおけるライン１７６０の上側ライン）からの同じ画素データを追加的に格納するかしなければならない。しかしながら、ラインメモリはかなり高価なため、後者の選択肢ではコストが上昇する。

さらに別の選択肢として、垂直フィルタリングの遅延を、追加のラインメモリを利用することによって回避することができる。つまり、ラインメモリが２つあれば、一方でデブロッキングされていない信号を保持し、もう一方で水平デブロッキングされた信号を維持することができるため、垂直フィルタリングに対する決定Ｄ１および決定Ｄ２を先送りにすることができる。しかしながら、ラインメモリはかなり高価なので、この選択肢もさらに不利である。

したがって、上述した従来方式では、決定Ｄ１の決定結果か、格納済みのライン（ここでは、４ライン１７７０）に含まれない追加ラインかを遅延フィルタ演算のために格納しなければならないという課題がある。

本発明は、上記格納課題により生じた従来手法の欠点を克服することを目的とする。

本発明によれば、各ブロック（本例では、８ライン（行／列）のブロック）を少なくとも２つのセグメントに分割する。垂直エッジの水平フィルタリングに対する決定全て（Ｄ１：ＯＮ／ＯＦＦ、Ｄ２：強い／弱い）を、（水平エッジの垂直フィルタリングに対する各決定を行うために必要な）格納されたライン１７７０のみに基づき、かつ、他のラインから独立して行うことができるように分割を行う。これにより、決定バッファまたは追加のラインメモリが、垂直エッジの遅延水平フィルタリングにこれ以上必要なくなる。

この考えは、図１７Ｃに示されている。つまり、分割することによって、図１７Ｃの破線囲み部分１７６０ａに含まれるデブロッキングされていない信号Ｓ’のサンプルのみに基づいて決定を行うように、垂直エッジの遅延水平フィルタリングに対する決定Ｄ１を変更するものとする。容易に分かるように、これら全ての画素は格納されたライン１７７０に属している。

具体的には、図１７Ｄを参照しながら、独創的な解決策を説明する。つまり、水平フィルタリングに関係するブロック全てにわたって、水平分割ライン（つまり、デブロッキング対象境界に垂直なライン）に沿ってブロックを分けることにより分割が行われる。簡単化のため、図１７Ｄでは、上段のブロックに対してのみ分割を示す。破線の分割ライン１７００は、各ブロックを上下２つのセグメント（側）に分ける。また、一方のセグメント領域において垂直エッジの水平デブロッキングに対する決定Ｄ１を行う際にそれぞれもう一方の側からのサンプルを必要としないように、決定Ｄ１実行方式を変更する。

言い換えれば、決定Ｄ１は、もはやブロック全体に対して行われるのではなく、セグメント（側）ごとに別々に行われる。第１側の決定を行う場合は、第１側からのサンプル（具体的には、符号１７６０_１で示されるサンプル）のみが用いられる。第２側のセグメント領域に対して決定を行う場合は、第２側のサンプル（具体的には、符号１７６０_２で示されるサンプル）のみが用いられる。

逆もまた同様に、第１側に位置するサンプルは、第２側の垂直エッジ水平フィルタリングを行うのに必要な決定には用いられず、第２側のサンプルは、第１側の垂直エッジ水平フィルタリングを行うのに必要な決定には用いられない。

その結果、格納されていないラインをいずれも参照せずに、格納されたライン１７７０に基づき、第２側に対する決定を行うことができる。このように、すでに決定された結果を高価なラインメモリに格納することも、追加ラインを高価なラインメモリに格納することも、どちらも必要ない。

第１側に関しては、図１７の他の行のブロックとその上側のブロック（図１７には図示せず）との境界に対する垂直デブロッキング決定からそれぞれのラインがまだ格納されているときに分離決定は行うことができる。

本発明に係る決定方式の重要な利点は、ブロックサイズの領域に対するデブロッキングの依存関係を限定することである。そのため、決定用のサンプル領域（ブロック）が適切に選択されれば、それらを並行してデブロッキングすることができる。なお、通常、決定用のサンプル領域（ブロック）は、デブロッキングが適用される境界のブロックとは異なる。

この有利な技術的効果は、図１８に示されている（８×８ブロックを例とする）。

図１８は、概して図１７Ｄに基づいており、ブロック境界がデブロッキング対象である６つの８×８ブロックを示している。また、図１８では、８×８領域１８００が破線の正方形により強調されている。この領域１８００内に、（例えば、小さな破線矩形で示した図１７Ｄのサンプル１７６０_２と同様に）、垂直エッジ１８１０の水平デブロッキングに対する決定に必要なサンプルが示されている。また、領域１８００内の水平エッジ１８２０の垂直デブロッキングフィルタリング用のサンプルがそれぞれ強調されている（垂直向きの小さな破線矩形）。

図１８から分かるように、この領域の外側のサンプルをいずれも参照する必要がなく、全ての決定を８×８ブロック１８００に対して行うことができる。したがって、８×８領域（ブロック）１８００（および、水平および／または垂直方向に８の倍数の画素分シフトした各ブロック）は、デブロッキングフィルタリングで並行して処理できる適切な決定ブロックである。

このような利点は、従来の決定およびフィルタリング方式では達成できない。例えば図８から分かるように、今までの方式では、デブロッキングフィルタリング決定を領域内で独立して行うことができるような、デブロッキング決定用のサンプルが同じ領域に限定される８×８領域（ブロック）は存在しない。このように、従来の方式では、並行化が妨げられていた。

２つの４ラインセグメントに分割された８ラインブロックから決定Ｄ１（デブロッキングフィルタＯＮ／ＯＦＦ）を行う解決策の一例のさらに具体的な説明を、図１９を参照しながら下記に記載する。図１９Ａは、第１側の４ラインセグメントに対するＯＮ／ＯＦＦ決定を示している。図１９Ａから分かるように、（添字が０の）１つ目のラインと（添字が３の）４つ目のラインとだけに基づいて決定がなされる。具体的には、以下のパラメータを算出する。

および

以下の条件を満たせば、フィルタが有効になる。

図１９Ｂは、サンプル１７６０_２に基づき第２側に対してなされる決定を示している。各計算式は以下のとおりである。

および

以下の条件を満たせば、フィルタが有効になる。

上記から分かるように、ブロック分割によって決定Ｄ１を変更したことにより、全体的な計算時間がわずかに増加する。つまり、８ラインのブロックに対して１回ＯＮ／ＯＦＦ決定していた、２０演算必要な従来の方式に代わり、４ラインに対するＯＮ／ＯＦＦ決定を２倍、すなわち、４０演算行わなければならない。したがって、決定Ｄ１だけに必要な演算数は２倍になる。

したがって、本発明の範囲内で、決定Ｄ２、つまり、強いフィルタと弱いフィルタのどちらを適用するのが適切かの決定の実装もさらに変更して計算時間の増加を補うことが好ましい。

図２０は、本発明に係る分割に基づいた、改良型決定Ｄ２に対する第１具体策を示している。上述したように、従来例では、決定Ｄ２はラインごとに個別に行われる。一方、本発明によると、個別決定は、セグメントごとのサブセットのラインに対してのみ行われる。セグメントのサブセットに対する個別決定をもとに、セグメントのライン全てに対して、１つのフィルタ決定が行われる。

具体的には、図２０Ａは、第１側に対する第１具体例に従った改良型決定Ｄ２を示している。この決定は、図２０Ａの符号１９６０_１で示された、（添字が０の）１つ目のラインと（添字が３の）４つ目のラインとに基づいている。添字が０と３の２ラインそれぞれに対し、強いフィルタか弱いフィルタかの決定が（好ましくは、上述した従来の方法で）行われる。両方のラインに対して強いフィルタが選択された場合は、４ライン（０、１、２、３）全てが強くフィルタリングされる。そうでなければ、弱いフィルタが選択される。

第２側のそれぞれの演算方式は図２０Ｂに示される。第２側に対する決定Ｄ２は、符号１９６０_２で示された、添字が４と７の２ラインに基づく。添字が４と７の２ラインそれぞれに対し、強いフィルタか弱いフィルタかの決定が行われる。両方のラインに対して強いフィルタが選択された場合は、４ライン（４、５、６、７）全てが強くフィルタリングされる。そうでなければ、弱いフィルタが選択される。

本発明の実施形態に係る符号化効率が、上述した従来のＨＭ４．０方式に対してわずかに増加することをシミュレーションにより明らかにする。

図１９および図２０を参照して上述した本発明の実施形態の符号化効率を、ＩＳＯおよびＩＴＵの標準化活動においてよく用いられる符号化条件に基づき評価した。文献ＪＣＴＶＣ−Ｅ７００（ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｃｕｒｒｅｎｔ＿ｄｏｃｕｍｅｎｔ．ｐｈｐ？ｉｄ＝２４５４）を参照のこと。本発明では、同じ平均２乗量子化誤差で、平均ビットレートが約０．１５％削減している。

さらに、決定Ｄ１と決定Ｄ２の両方の変更に基づき、全体的な計算時間の低減も実現できている。つまり、上述の従来方式によれば、以下の総演算数が必要となる。
・８ラインに対するＯＮ／ＯＦＦ決定：２０演算
・強／弱決定８回：９６演算
・総計算量：１１６演算
本発明の実施形態によれば、総演算数は以下のとおりである。
・４ラインに対するＯＮ／ＯＦＦ決定×２：４０演算
・強／弱決定４回：４８演算
・総計算量：９６演算

したがって、本発明により、総計算量を約２０％低減することが可能である。

改良型決定Ｄ２の第２例は、上述した第１例と類似している。第１例と同様、添字が０と３の２ラインそれぞれに対する第１側において、強いフィルタか弱いフィルタかの決定が行われる。両方のラインに対して弱いフィルタが選択された場合は、４ライン（０、１、２、３）全てが弱くフィルタリングされる。そうでなければ、強いフィルタが選択される。

同様に、第２側において、添字が４と７の２ラインそれぞれに対し、強いフィルタか弱いフィルタかの決定が行われる。両方のラインに対して弱いフィルタが選択された場合は、４ライン（４、５、６、７）全てが弱くフィルタリングされる。そうでなければ、強いフィルタが選択される。

したがって、次の点において第２例は第１例と異なる。選択された２ラインに対する個別決定が異なる場合に第２例では強いフィルタを選択するが、一方、第１例では異なる場合に必ず弱いフィルタを選択する。弱いフィルタの計算複雑度は、通常、強いフィルタよりも少ないため、第１例のほうがさらに計算時間を低減することが可能である。

第３例によれば、改良型決定Ｄ２は、また、図２０Ａおよび図２０Ｂに示した選択ラインに基づいて行われる。しかしながら、第３例では、決定Ｄ２が決定Ｄ３と組み合わせられる。つまり、選択ラインごとに、強いフィルタと、弱いフィルタと、フィルタなしとを組み合わせた決定が行われる。それぞれの決定は、ルックアップテーブルに基づいて行われる。

具体的には、第１側において、添字が０と３の２ラインそれぞれに対し、強いフィルタか弱いフィルタかフィルタなしかの決定が行われる。２つの決定結果を用いて、以下のルックアップテーブルから、４ライン０、１、２、３全てに対して決定する。

第２側において、添字が４と７の２ラインそれぞれに対し、強いフィルタか弱いフィルタかフィルタなしかの決定が行われる。２つの決定結果を用いて、以下のルックアップテーブルから、４ライン４、５、６、７全てに対して決定する。

上記テーブルから分かるように、２ラインに対する決定が異なる場合は、より低複雑度のものが必ず選択される。したがって、計算時間はさらに抑えられる。

図２１を参照して説明する第４例は、概して第３例と類似している。図２１から分かるように、第１側（図２１Ａ）において、添字が１の２つ目のラインと添字が２の３つ目のラインとが個別決定用に選択される。第２側では、（添字が５と６の）６つ目のラインと７つ目のラインとが選択される。対応するルックアップテーブルを以下に示す。

および

当然のことながら、個別ライン単位ではなくセグメント単位で行われる改良型決定Ｄ２の具体策は、上記４例に限定されるものではない。付属の請求項により定義されるような本発明の範囲内であれば、これらの例の各要素の組み合わせおよび変形例も可能である。上記例において、決定Ｄ２は、２ラインのサンプルに基づいて行われた。しかしながら、本発明は、選択に用いられたこのライン数に限定されない。フィルタ選択は、デブロッキング対象セグメントの各組のライン総数より少ない数のラインまたは１つのラインのみに基づいてもよい。

以下に、図２２および図２３を参照しながら、ＯＮ／ＯＦＦ決定Ｄ１を行う際に生じる第１メモリアクセス問題について説明かつ対応する。図２２は、垂直エッジの水平デブロッキングに対する決定Ｄ１を行う従来のＨＥＶＣ手法の説明図である。

図２２Ａの上側に示すように、第１ステップで、ライン２を読み込み、関連決定値ｄ_ｐ２およびｄ_ｑ２を算出する。第２ステップで、ライン５を読み込み、関連決定値ｄ_ｐ５およびｄ_ｕ５を算出する。

第３ステップで、決定値ｄ_５＝ｄ_ｑ２＋ｄ_ｐ２＋ｄ_ｑ５＋ｄ_ｐ５を算出し、ＯＮ／ＯＦＦ決定Ｄ１を全８ラインに対して行う。そして、強い／弱いフィルタ決定をライン５に対して行い、デブロッキングおよびデブロッキング結果の書き込みをライン５に対して行う。

続く第４ステップでは、残りのライン０、１、２、３、４、６、および、７ごとに、各ラインを読み込み、強い／弱いフィルタリングを決定し、デブロッキングを行ってその結果を書き込む。その結果、次の問題が生じる。８ラインのデブロッキングに対し、ライン２またはライン５を２回読み込む必要がある。１回目は決定Ｄ１のためで２回目はデブロッキングのためである。１ブロックにつき８ラインしか存在しないが、合わせて９回の読み込み動作を行う必要がある。

この問題は、図２３を参照して説明するように、改良型デブロッキング方式を用いて適宜解決することができる。第１ステップで、ライン２（２３６２）を読み込み、関連決定値ｄ_ｂ２およびｄ_ｕ２を算出する。改良型決定値ｄ_２＝２ｘ（ｄ_ｄ２’＋ｄ_ｐ２）を算出し、このラインに有効なＯＮ／ＯＦＦ決定Ｄ１は基準ｄ_２＜βに基づく。続いて、強い／弱いフィルタ決定Ｄ２を行い、デブロッキングをしてその結果を書き込む。第２ステップでは、ライン５（２３６５）を同様に読み込み、関連決定値ｄ_ｂ５およびｄ_ｑ５を算出する。改良型決定値ｄ_５＝２ｘ（ｄ_ｑ５＋ｄ_ｂ５）を算出し、ＯＮ／ＯＦＦ決定Ｄ１は、このラインに有効な基準ｄ_５＜βに基づく。そして、強い／弱いフィルタ決定Ｄ２を行い、デブロッキングおよびデブロッキング結果の書き込みをライン５（２３６５）に対して行う。

続いて、決定値ｄ＝（ｄ_２＋ｄ_５）／２を算出して、図２３Ｂの参照符号２３６０で示すような残りのライン０、１、３、４、６、および、７に対し、有効／無効決定ｄ＜βを行う。続く第４ステップでは、残りのライン０、１、３、４、６、および、７に対し、画素サンプルを読み込み、強い／弱いフィルタ決定を行い、そして、デブロッキングを行ってその結果を書き込む。

メモリアクセス問題を解決する改良型デブロッキングの変形例では、前述したようにステップ１、２、および、４を行う。残りのラインに対して共通決定値ｄを算出しないように、上記ステップ３を改良する。逆に、残りのライン０、１、３、４、６、７に対するステップ３のＯＮ／ＯＦＦ決定は、決定

に基づいて行う。

概して、ブロック全体ではなく、決定基準の算出および適用に用いられる画素サンプルのライン（本例では、ライン２およびライン５）に対して別々に（個別に）決定Ｄ１を行うように、決定Ｄ１の改良型決定方式を実行する。その後、残りのラインに対して決定を行う。

決定Ｄ１を個別に行う各ラインに対する決定方式は、さらに、使用画素サンプルを区別するように、つまり、特定ラインに対する個別決定Ｄ１は当該ラインからの画素サンプルにのみ基づいて行われるように変更する必要がある。ブロックの残りのラインに対する決定方式は、図４および図５で上述したような従来の方式でもよいし、同様に変更してもかまわない。残りのラインに対する決定は、個別決定が行われるライン全ての画素サンプルに基づくものでもよい。

各ラインは１回だけ読み出される必要があるので、ライン読み出し動作は１ブロックのライン数（本例では８）に等しい回数だけ行われるという利点、および、個別に決定が行われるライン（本例ではライン２およびライン５）に対してより正確な決定がなされるという利点は、改良型決定Ｄ１の両バージョンによって実現される。

上記各実施の形態で示した動画像符号化方法（画像符号化方法）または動画像復号化方法（画像復号方法）の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。

さらにここで、上記各実施の形態で示した動画像符号化方法（画像符号化方法）や動画像復号化方法（画像復号方法）の応用例とそれを用いたシステムを説明する。当該システムは、画像符号化方法を用いた画像符号化装置、及び画像復号方法を用いた画像復号装置からなる画像符号化復号装置を有することを特徴とする。システムにおける他の構成について、場合に応じて適切に変更することができる。

（実施の形態Ａ）
図２４は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０６、ex１０７、ex１０８、ex１０９、ex１１０が設置されている。

このコンテンツ供給システムex１００は、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ex１０６からex１１０を介して、コンピュータex１１１、ＰＤＡ（Personal Digital Assistant）ex１１２、カメラex１１３、携帯電話ex１１４、ゲーム機ex１１５などの各機器が接続される。

しかし、コンテンツ供給システムex１００は図２４のような構成に限定されず、いずれかの要素を組合せて接続するようにしてもよい。また、固定無線局である基地局ex１０６からex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。

カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器であり、カメラex１１６はデジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ex１１４は、ＧＳＭ（登録商標）（Global System for Mobile Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＬＴＥ（Long Term Evolution）方式、ＨＳＰＡ(High Speed Packet Access)の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。

コンテンツ供給システムex１００では、カメラex１１３等が基地局ex１０９、電話網ex１０４を通じてストリーミングサーバex１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラex１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して上記各実施の形態で説明したように符号化処理を行い（即ち、本発明の一態様に係る画像符号化装置として機能する）、ストリーミングサーバex１０３に送信する。一方、ストリーミングサーバex１０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４、ゲーム機ex１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号化処理して再生する（即ち、本発明の一態様に係る画像復号装置として機能する）。

なお、撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするストリーミングサーバex１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号化処理はクライアントで行っても、ストリーミングサーバex１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラex１１３に限らず、カメラex１１６で撮影した静止画像および／または動画像データを、コンピュータex１１１を介してストリーミングサーバex１０３に送信してもよい。この場合の符号化処理はカメラex１１６、コンピュータex１１１、ストリーミングサーバex１０３のいずれで行ってもよいし、互いに分担して行ってもよい。

また、これら符号化・復号化処理は、一般的にコンピュータex１１１や各機器が有するＬＳＩex５００において処理する。ＬＳＩex５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化・復号化処理を行ってもよい。さらに、携帯電話ex１１４がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データは携帯電話ex１１４が有するＬＳＩex５００で符号化処理されたデータである。

また、ストリーミングサーバex１０３は複数のサーバや複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。

以上のようにして、コンテンツ供給システムex１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムex１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号化し、再生することができ、特別な権利や設備を有さないユーザでも個人放送を実現できる。

なお、コンテンツ供給システムex１００の例に限らず、図２５に示すように、デジタル放送用システムex２００にも、上記各実施の形態の少なくとも動画像符号化装置（画像符号化装置）または動画像復号化装置（画像復号装置）のいずれかを組み込むことができる。具体的には、放送局ex２０１では映像データに音楽データなどが多重化された多重化データが電波を介して通信または衛星ex２０２に伝送される。この映像データは上記各実施の形態で説明した動画像符号化方法により符号化されたデータである（即ち、本発明の一態様に係る画像符号化装置によって符号化されたデータである）。これを受けた放送衛星ex２０２は、放送用の電波を発信し、この電波を衛星放送の受信が可能な家庭のアンテナex２０４が受信する。受信した多重化データを、テレビ（受信機）ex３００またはセットトップボックス（ＳＴＢ）ex２１７等の装置が復号化して再生する（即ち、本発明の一態様に係る画像復号装置として機能する）。

また、ＤＶＤ、ＢＤ等の記録メディアex２１５に記録した多重化データを読み取り復号化する、または記録メディアex２１５に映像信号を符号化し、さらに場合によっては音楽信号と多重化して書き込むリーダ／レコーダex２１８にも上記各実施の形態で示した動画像復号化装置または動画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタex２１９に表示され、多重化データが記録された記録メディアex２１５により他の装置やシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルex２０３または衛星／地上波放送のアンテナex２０４に接続されたセットトップボックスex２１７内に動画像復号化装置を実装し、これをテレビのモニタex２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に動画像復号化装置を組み込んでもよい。

図２６は、上記各実施の形態で説明した動画像復号化方法および動画像符号化方法を用いたテレビ（受信機）ex３００を示す図である。テレビex３００は、上記放送を受信するアンテナex２０４またはケーブルex２０３等を介して映像データに音声データが多重化された多重化データを取得、または出力するチューナex３０１と、受信した多重化データを復調する、または外部に送信する多重化データに変調する変調／復調部ex３０２と、復調した多重化データを映像データと、音声データとに分離する、または信号処理部ex３０６で符号化された映像データ、音声データを多重化する多重／分離部ex３０３を備える。

また、テレビex３００は、音声データ、映像データそれぞれを復号化する、またはそれぞれの情報を符号化する音声信号処理部ex３０４、映像信号処理部ex３０５（本発明の一態様に係る画像符号化装置または画像復号装置として機能する）を有する信号処理部ex３０６と、復号化した音声信号を出力するスピーカex３０７、復号化した映像信号を表示するディスプレイ等の表示部ex３０８を有する出力部ex３０９とを有する。さらに、テレビex３００は、ユーザ操作の入力を受け付ける操作入力部ex３１２等を有するインタフェース部ex３１７を有する。さらに、テレビex３００は、各部を統括的に制御する制御部ex３１０、各部に電力を供給する電源回路部ex３１１を有する。インタフェース部ex３１７は、操作入力部ex３１２以外に、リーダ／レコーダex２１８等の外部機器と接続されるブリッジex３１３、ＳＤカード等の記録メディアex２１６を装着可能とするためのスロット部ex３１４、ハードディスク等の外部記録メディアと接続するためのドライバex３１５、電話網と接続するモデムex３１６等を有していてもよい。なお記録メディアex２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。テレビex３００の各部は同期バスを介して互いに接続されている。

まず、テレビex３００がアンテナex２０４等により外部から取得した多重化データを復号化し、再生する構成について説明する。テレビex３００は、リモートコントローラex２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ex３１０の制御に基づいて、変調／復調部ex３０２で復調した多重化データを多重／分離部ex３０３で分離する。さらにテレビex３００は、分離した音声データを音声信号処理部ex３０４で復号化し、分離した映像データを映像信号処理部ex３０５で上記各実施の形態で説明した復号化方法を用いて復号化する。復号化した音声信号、映像信号は、それぞれ出力部ex３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファex３１８、ex３１９等に一旦これらの信号を蓄積するとよい。また、テレビex３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアex２１５、ex２１６から多重化データを読み出してもよい。次に、テレビex３００が音声信号や映像信号を符号化し、外部に送信または記録メディア等に書き込む構成について説明する。テレビex３００は、リモートコントローラex２２０等からのユーザ操作を受け、制御部ex３１０の制御に基づいて、音声信号処理部ex３０４で音声信号を符号化し、映像信号処理部ex３０５で映像信号を上記各実施の形態で説明した符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ex３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファex３２０、ex３２１等に一旦これらの信号を蓄積するとよい。なお、バッファex３１８、ex３１９、ex３２０、ex３２１は図示しているように複数備えていてもよいし、１つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ex３０２や多重／分離部ex３０３の間等でもシステムのオーバフロー、アンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。

また、テレビex３００は、放送等や記録メディア等から音声データ、映像データを取得する以外に、マイクやカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビex３００は上記の符号化処理、多重化、および外部出力ができる構成として説明したが、これらの処理を行うことはできず、上記受信、復号化処理、外部出力のみが可能な構成であってもよい。

また、リーダ／レコーダex２１８で記録メディアから多重化データを読み出す、または書き込む場合には、上記復号化処理または符号化処理はテレビex３００、リーダ／レコーダex２１８のいずれで行ってもよいし、テレビex３００とリーダ／レコーダex２１８が互いに分担して行ってもよい。

一例として、光ディスクからデータの読み込みまたは書き込みをする場合の情報再生／記録部ex４００の構成を図２７に示す。情報再生／記録部ex４００は、以下に説明する要素ex４０１、ex４０２、ex４０３、ex４０４、ex４０５、ex４０６、ex４０７を備える。光ヘッドex４０１は、光ディスクである記録メディアex２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアex２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ex４０２は、光ヘッドex４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ex４０３は、光ヘッドex４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアex２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファex４０４は、記録メディアex２１５に記録するための情報および記録メディアex２１５から再生した情報を一時的に保持する。ディスクモータex４０５は記録メディアex２１５を回転させる。サーボ制御部ex４０６は、ディスクモータex４０５の回転駆動を制御しながら光ヘッドex４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。システム制御部ex４０７は、情報再生／記録部ex４００全体の制御を行う。上記の読み出しや書き込みの処理はシステム制御部ex４０７が、バッファex４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成・追加を行うと共に、変調記録部ex４０２、再生復調部ex４０３、サーボ制御部ex４０６を協調動作させながら、光ヘッドex４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ex４０７は例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。

以上では、光ヘッドex４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。

図２８に光ディスクである記録メディアex２１５の模式図を示す。記録メディアex２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックex２３０には、予めグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックex２３１の位置を特定するための情報を含み、記録や再生を行う装置において情報トラックex２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアex２１５は、データ記録領域ex２３３、内周領域ex２３２、外周領域ex２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ex２３３であり、データ記録領域ex２３３より内周または外周に配置されている内周領域ex２３２と外周領域ex２３４は、ユーザデータの記録以外の特定用途に用いられる。情報再生／記録部ex４００は、このような記録メディアex２１５のデータ記録領域ex２３３に対して、符号化された音声データ、映像データまたはそれらのデータを多重化した多重化データの読み書きを行う。

以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。

また、デジタル放送用システムex２００において、アンテナex２０５を有する車ex２１０で衛星ex２０２等からデータを受信し、車ex２１０が有するカーナビゲーションex２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションex２１１の構成は例えば図２６に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータex１１１や携帯電話ex１１４等でも考えられる。

図２９Ａは、上記実施の形態で説明した動画像復号化方法および動画像符号化方法を用いた携帯電話ex１１４を示す図である。携帯電話ex１１４は、基地局ex１１０との間で電波を送受信するためのアンテナex３５０、映像、静止画を撮ることが可能なカメラ部ex３６５、カメラ部ex３６５で撮像した映像、アンテナex３５０で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex３５８を備える。携帯電話ex１１４は、さらに、操作キー部ex３６６を有する本体部、音声を出力するためのスピーカ等である音声出力部ex３５７、音声を入力するためのマイク等である音声入力部ex３５６、撮影した映像、静止画、録音した音声、または受信した映像、静止画、メール等の符号化されたデータもしくは復号化されたデータを保存するメモリ部ex３６７、又は同様にデータを保存する記録メディアとのインタフェース部であるスロット部ex３６４を備える。

さらに、携帯電話ex１１４の構成例について、図２９Ｂを用いて説明する。携帯電話ex１１４は、表示部ex３５８及び操作キー部ex３６６を備えた本体部の各部を統括的に制御する主制御部ex３６０に対して、電源回路部ex３６１、操作入力制御部ex３６２、映像信号処理部ex３５５、カメラインタフェース部ex３６３、ＬＣＤ（Liquid Crystal Display）制御部ex３５９、変調／復調部ex３５２、多重／分離部ex３５３、音声信号処理部ex３５４、スロット部ex３６４、メモリ部ex３６７がバスex３７０を介して互いに接続されている。

電源回路部ex３６１は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話ex１１４を動作可能な状態に起動する。

携帯電話ex１１４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有する主制御部ex３６０の制御に基づいて、音声通話モード時に音声入力部ex３５６で収音した音声信号を音声信号処理部ex３５４でデジタル音声信号に変換し、これを変調／復調部ex３５２でスペクトラム拡散処理し、送信／受信部ex３５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナex３５０を介して送信する。また携帯電話ex１１４は、音声通話モード時にアンテナex３５０を介して受信した受信データを増幅して周波数変換処理およびアナログデジタル変換処理を施し、変調／復調部ex３５２でスペクトラム逆拡散処理し、音声信号処理部ex３５４でアナログ音声信号に変換した後、これを音声出力部ex３５７から出力する。

さらにデータ通信モード時に電子メールを送信する場合、本体部の操作キー部ex３６６等の操作によって入力された電子メールのテキストデータは操作入力制御部ex３６２を介して主制御部ex３６０に送出される。主制御部ex３６０は、テキストデータを変調／復調部ex３５２でスペクトラム拡散処理をし、送信／受信部ex３５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナex３５０を介して基地局ex１１０へ送信する。電子メールを受信する場合は、受信したデータに対してこのほぼ逆の処理が行われ、表示部ex３５８に出力される。

データ通信モード時に映像、静止画、または映像と音声を送信する場合、映像信号処理部ex３５５は、カメラ部ex３６５から供給された映像信号を上記各実施の形態で示した動画像符号化方法によって圧縮符号化し（即ち、本発明の一態様に係る画像符号化装置として機能する）、符号化された映像データを多重／分離部ex３５３に送出する。また、音声信号処理部ex３５４は、映像、静止画等をカメラ部ex３６５で撮像中に音声入力部ex３５６で収音した音声信号を符号化し、符号化された音声データを多重／分離部ex３５３に送出する。

多重／分離部ex３５３は、映像信号処理部ex３５５から供給された符号化された映像データと音声信号処理部ex３５４から供給された符号化された音声データを所定の方式で多重化し、その結果得られる多重化データを変調／復調部（変調／復調回路部）ex３５２でスペクトラム拡散処理をし、送信／受信部ex３５１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex３５０を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、または映像およびもしくは音声が添付された電子メールを受信する場合、アンテナex３５０を介して受信された多重化データを復号化するために、多重／分離部ex３５３は、多重化データを分離することにより映像データのビットストリームと音声データのビットストリームとに分け、同期バスex３７０を介して符号化された映像データを映像信号処理部ex３５５に供給するとともに、符号化された音声データを音声信号処理部ex３５４に供給する。映像信号処理部ex３５５は、上記各実施の形態で示した動画像符号化方法に対応した動画像復号化方法によって復号化することにより映像信号を復号し（即ち、本発明の一態様に係る画像復号装置として機能する）、ＬＣＤ制御部ex３５９を介して表示部ex３５８から、例えばホームページにリンクされた動画像ファイルに含まれる映像、静止画が表示される。また音声信号処理部ex３５４は、音声信号を復号し、音声出力部ex３５７から音声が出力される。

また、上記携帯電話ex１１４等の端末は、テレビex３００と同様に、符号化器・復号化器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号化器のみの受信端末という３通りの実装形式が考えられる。さらに、デジタル放送用システムex２００において、映像データに音楽データなどが多重化された多重化データを受信、送信するとして説明したが、音声データ以外に映像に関連する文字データなどが多重化されたデータであってもよいし、多重化データではなく映像データ自体であってもよい。

このように、上記各実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記各実施の形態で説明した効果を得ることができる。

また、本発明はかかる上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

（実施の形態Ｂ）
上記各実施の形態で示した動画像符号化方法または装置と、ＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１など異なる規格に準拠した動画像符号化方法または装置とを、必要に応じて適宜切替えることにより、映像データを生成することも可能である。

ここで、それぞれ異なる規格に準拠する複数の映像データを生成した場合、復号する際に、それぞれの規格に対応した復号方法を選択する必要がある。しかしながら、復号する映像データが、どの規格に準拠するものであるか識別できないため、適切な復号方法を選択することができないという課題を生じる。

この課題を解決するために、映像データに音声データなどを多重化した多重化データは、映像データがどの規格に準拠するものであるかを示す識別情報を含む構成とする。上記各実施の形態で示す動画像符号化方法または装置によって生成された映像データを含む多重化データの具体的な構成を以下説明する。多重化データは、ＭＰＥＧ−２トランスポートストリーム形式のデジタルストリームである。

図３０は、多重化データの構成を示す図である。図３０に示すように多重化データは、ビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム（ＰＧ）、インタラクティブグラフィックスストリームのうち、１つ以上を多重化することで得られる。ビデオストリームは映画の主映像および副映像を、オーディオストリーム（ＩＧ）は映画の主音声部分とその主音声とミキシングする副音声を、プレゼンテーショングラフィックスストリームは、映画の字幕をそれぞれ示している。ここで主映像とは画面に表示される通常の映像を示し、副映像とは主映像の中に小さな画面で表示する映像のことである。また、インタラクティブグラフィックスストリームは、画面上にＧＵＩ部品を配置することにより作成される対話画面を示している。ビデオストリームは、上記各実施の形態で示した動画像符号化方法または装置、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠した動画像符号化方法または装置によって符号化されている。オーディオストリームは、ドルビーＡＣ−３、Ｄｏｌｂｙ Ｄｉｇｉｔａｌ Ｐｌｕｓ、ＭＬＰ、ＤＴＳ、ＤＴＳ−ＨＤ、または、リニアＰＣＭのなどの方式で符号化されている。

多重化データに含まれる各ストリームはＰＩＤによって識別される。例えば、映画の映像に利用するビデオストリームには０ｘ１０１１が、オーディオストリームには０ｘ１１００から０ｘ１１１Ｆまでが、プレゼンテーショングラフィックスには０ｘ１２００から０ｘ１２１Ｆまでが、インタラクティブグラフィックスストリームには０ｘ１４００から０ｘ１４１Ｆまでが、映画の副映像に利用するビデオストリームには０ｘ１Ｂ００から０ｘ１Ｂ１Ｆまで、主音声とミキシングする副音声に利用するオーディオストリームには０ｘ１Ａ００から０ｘ１Ａ１Ｆが、それぞれ割り当てられている。

図３１は、多重化データがどのように多重化されるかを模式的に示す図である。まず、複数のビデオフレームからなるビデオストリームex２３５、複数のオーディオフレームからなるオーディオストリームex２３８を、それぞれＰＥＳパケット列ex２３６およびex２３９に変換し、ＴＳパケットex２３７およびex２４０に変換する。同じくプレゼンテーショングラフィックスストリームex２４１およびインタラクティブグラフィックスex２４４のデータをそれぞれＰＥＳパケット列ex２４２およびex２４５に変換し、さらにＴＳパケットex２４３およびex２４６に変換する。多重化データex２４７はこれらのＴＳパケットを１本のストリームに多重化することで構成される。

図３２は、ＰＥＳパケット列に、ビデオストリームがどのように格納されるかをさらに詳しく示している。図３２における第１段目はビデオストリームのビデオフレーム列を示す。第２段目は、ＰＥＳパケット列を示す。図３２の矢印ｙｙ１，ｙｙ２，ｙｙ３，ｙｙ４に示すように、ビデオストリームにおける複数のＶｉｄｅｏ Ｐｒｅｓｅｎｔａｔｉｏｎ ＵｎｉｔであるＩピクチャ、Ｂピクチャ、Ｐピクチャは、ピクチャ毎に分割され、ＰＥＳパケットのペイロードに格納される。各ＰＥＳパケットはＰＥＳヘッダを持ち、ＰＥＳヘッダには、ピクチャの表示時刻であるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ−Ｓｔａｍｐ）やピクチャの復号時刻であるＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ−Ｓｔａｍｐ）が格納される。

図３３は、多重化データに最終的に書き込まれるＴＳパケットの形式を示している。ＴＳパケットは、ストリームを識別するＰＩＤなどの情報を持つ４ＢｙｔｅのＴＳヘッダとデータを格納する１８４ＢｙｔｅのＴＳペイロードから構成される１８８Ｂｙｔｅ固定長のパケットであり、上記ＰＥＳパケットは分割されＴＳペイロードに格納される。ＢＤ−ＲＯＭの場合、ＴＳパケットには、４ＢｙｔｅのＴＰ＿Ｅｘｔｒａ＿Ｈｅａｄｅｒが付与され、１９２Ｂｙｔｅのソースパケットを構成し、多重化データに書き込まれる。ＴＰ＿Ｅｘｔｒａ＿ＨｅａｄｅｒにはＡＴＳ（Ａｒｒｉｖａｌ＿Ｔｉｍｅ＿Ｓｔａｍｐ）などの情報が記載される。ＡＴＳは当該ＴＳパケットのデコーダのＰＩＤフィルタへの転送開始時刻を示す。多重化データには図３３下段に示すようにソースパケットが並ぶこととなり、多重化データの先頭からインクリメントする番号はＳＰＮ（ソースパケットナンバー）と呼ばれる。

また、多重化データに含まれるＴＳパケットには、映像・音声・字幕などの各ストリーム以外にもＰＡＴ（Ｐｒｏｇｒａｍ Ａｓｓｏｃｉａｔｉｏｎ Ｔａｂｌｅ）、ＰＭＴ（Ｐｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ）、ＰＣＲ（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）などがある。ＰＡＴは多重化データ中に利用されるＰＭＴのＰＩＤが何であるかを示し、ＰＡＴ自身のＰＩＤは０で登録される。ＰＭＴは、多重化データ中に含まれる映像・音声・字幕などの各ストリームのＰＩＤと各ＰＩＤに対応するストリームの属性情報を持ち、また多重化データに関する各種ディスクリプタを持つ。ディスクリプタには多重化データのコピーを許可・不許可を指示するコピーコントロール情報などがある。ＰＣＲは、ＡＴＳの時間軸であるＡＴＣ（Ａｒｒｉｖａｌ Ｔｉｍｅ Ｃｌｏｃｋ）とＰＴＳ・ＤＴＳの時間軸であるＳＴＣ（Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ）の同期を取るために、そのＰＣＲパケットがデコーダに転送されるＡＴＳに対応するＳＴＣ時間の情報を持つ。

図３４はＰＭＴのデータ構造を詳しく説明する図である。ＰＭＴの先頭には、そのＰＭＴに含まれるデータの長さなどを記したＰＭＴヘッダが配置される。その後ろには、多重化データに関するディスクリプタが複数配置される。上記コピーコントロール情報などが、ディスクリプタとして記載される。ディスクリプタの後には、多重化データに含まれる各ストリームに関するストリーム情報が複数配置される。ストリーム情報は、ストリームの圧縮コーデックなどを識別するためストリームタイプ、ストリームのＰＩＤ、ストリームの属性情報（フレームレート、アスペクト比など）が記載されたストリームディスクリプタから構成される。ストリームディスクリプタは多重化データに存在するストリームの数だけ存在する。

記録媒体などに記録する場合には、上記多重化データは、多重化データ情報ファイルと共に記録される。

多重化データ情報ファイルは、図３５に示すように多重化データの管理情報であり、多重化データと１対１に対応し、多重化データ情報、ストリーム属性情報とエントリマップから構成される。

多重化データ情報は図３５に示すようにシステムレート、再生開始時刻、再生終了時刻から構成されている。システムレートは多重化データの、後述するシステムターゲットデコーダのＰＩＤフィルタへの最大転送レートを示す。多重化データ中に含まれるＡＴＳの間隔はシステムレート以下になるように設定されている。再生開始時刻は多重化データの先頭のビデオフレームのＰＴＳであり、再生終了時刻は多重化データの終端のビデオフレームのＰＴＳに１フレーム分の再生間隔を足したものが設定される。

ストリーム属性情報は図３６に示すように、多重化データに含まれる各ストリームについての属性情報が、ＰＩＤ毎に登録される。属性情報はビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム、インタラクティブグラフィックスストリーム毎に異なる情報を持つ。ビデオストリーム属性情報は、そのビデオストリームがどのような圧縮コーデックで圧縮されたか、ビデオストリームを構成する個々のピクチャデータの解像度がどれだけであるか、アスペクト比はどれだけであるか、フレームレートはどれだけであるかなどの情報を持つ。オーディオストリーム属性情報は、そのオーディオストリームがどのような圧縮コーデックで圧縮されたか、そのオーディオストリームに含まれるチャンネル数は何であるか、何の言語に対応するか、サンプリング周波数がどれだけであるかなどの情報を持つ。これらの情報は、プレーヤが再生する前のデコーダの初期化などに利用される。

本実施の形態においては、上記多重化データのうち、ＰＭＴに含まれるストリームタイプを利用する。また、記録媒体に多重化データが記録されている場合には、多重化データ情報に含まれる、ビデオストリーム属性情報を利用する。具体的には、上記各実施の形態で示した動画像符号化方法または装置において、ＰＭＴに含まれるストリームタイプ、または、ビデオストリーム属性情報に対し、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示す固有の情報を設定するステップまたは手段を設ける。この構成により、上記各実施の形態で示した動画像符号化方法または装置によって生成した映像データと、他の規格に準拠する映像データとを識別することが可能になる。

また、本実施の形態における動画像復号化方法のステップを図３７に示す。ステップexＳ１００において、多重化データからＰＭＴに含まれるストリームタイプ、または、多重化データ情報に含まれるビデオストリーム属性情報を取得する。次に、ステップexＳ１０１において、ストリームタイプ、または、ビデオストリーム属性情報が上記各実施の形態で示した動画像符号化方法または装置によって生成された多重化データであることを示しているか否かを判断する。そして、ストリームタイプ、または、ビデオストリーム属性情報が上記各実施の形態で示した動画像符号化方法または装置によって生成されたものであると判断された場合には、ステップexＳ１０２において、上記各実施の形態で示した動画像復号方法により復号を行う。また、ストリームタイプ、または、ビデオストリーム属性情報が、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠するものであることを示している場合には、ステップexＳ１０３において、従来の規格に準拠した動画像復号方法により復号を行う。

このように、ストリームタイプ、または、ビデオストリーム属性情報に新たな固有値を設定することにより、復号する際に、上記各実施の形態で示した動画像復号化方法または装置で復号可能であるかを判断することができる。従って、異なる規格に準拠する多重化データが入力された場合であっても、適切な復号化方法または装置を選択することができるため、エラーを生じることなく復号することが可能となる。また、本実施の形態で示した動画像符号化方法または装置、または、動画像復号方法または装置を、上述したいずれの機器・システムに用いることも可能である。

（実施の形態Ｃ）
上記各実施の形態で示した動画像符号化方法および装置、動画像復号化方法および装置は、典型的には集積回路であるＬＳＩで実現される。一例として、図３８に１チップ化されたＬＳＩex５００の構成を示す。ＬＳＩex５００は、以下に説明する要素ex５０１、ex５０２、ex５０３、ex５０４、ex５０５、ex５０６、ex５０７、ex５０８、ex５０９を備え、各要素はバスex５１０を介して接続している。電源回路部ex５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。

例えば符号化処理を行う場合には、ＬＳＩex５００は、ＣＰＵex５０２、メモリコントローラex５０３、ストリームコントローラex５０４、駆動周波数制御部ex５１２等を有する制御部ex５０１の制御に基づいて、ＡＶ Ｉ／Ｏex５０９によりマイクex１１７やカメラex１１３等からＡＶ信号を入力する。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリex５１１に蓄積される。制御部ex５０１の制御に基づいて、蓄積したデータは処理量や処理速度に応じて適宜複数回に分けるなどされ信号処理部ex５０７に送られ、信号処理部ex５０７において音声信号の符号化および／または映像信号の符号化が行われる。ここで映像信号の符号化処理は上記各実施の形態で説明した符号化処理である。信号処理部ex５０７ではさらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏex５０６から外部に出力する。この出力された多重化データは、基地局ex１０７に向けて送信されたり、または記録メディアex２１５に書き込まれたりする。なお、多重化する際には同期するよう、一旦バッファex５０８にデータを蓄積するとよい。

なお、上記では、メモリex５１１がＬＳＩex５００の外部の構成として説明したが、ＬＳＩex５００の内部に含まれる構成であってもよい。バッファex５０８も１つに限ったものではなく、複数のバッファを備えていてもよい。また、ＬＳＩex５００は１チップ化されてもよいし、複数チップ化されてもよい。

また、上記では、制御部ex５０１が、ＣＰＵex５０２、メモリコントローラex５０３、ストリームコントローラex５０４、駆動周波数制御部ex５１２等を有するとしているが、制御部ex５０１の構成は、この構成に限らない。例えば、信号処理部ex５０７がさらにＣＰＵを備える構成であってもよい。信号処理部ex５０７の内部にもＣＰＵを設けることにより、処理速度をより向上させることが可能になる。また、他の例として、ＣＰＵex５０２が信号処理部ex５０７、または信号処理部ex５０７の一部である例えば音声信号処理部を備える構成であってもよい。このような場合には、制御部ex５０１は、信号処理部ex５０７、またはその一部を有するＣＰＵex５０２を備える構成となる。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

（実施の形態Ｄ）
上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データを復号する場合、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データを復号する場合に比べ、処理量が増加することが考えられる。そのため、ＬＳＩex５００において、従来の規格に準拠する映像データを復号する際のＣＰＵex５０２の駆動周波数よりも高い駆動周波数に設定する必要がある。しかし、駆動周波数を高くすると、消費電力が高くなるという課題が生じる。

この課題を解決するために、テレビex３００、ＬＳＩex５００などの動画像復号化装置は、映像データがどの規格に準拠するものであるかを識別し、規格に応じて駆動周波数を切替える構成とする。図３９は、本実施の形態における構成ex８００を示している。駆動周波数切替え部ex８０３は、映像データが、上記各実施の形態で示した動画像符号化方法または装置によって生成されたものである場合には、駆動周波数を高く設定する。そして、上記各実施の形態で示した動画像復号化方法を実行する復号処理部ex８０１に対し、映像データを復号するよう指示する。一方、映像データが、従来の規格に準拠する映像データである場合には、映像データが、上記各実施の形態で示した動画像符号化方法または装置によって生成されたものである場合に比べ、駆動周波数を低く設定する。そして、従来の規格に準拠する復号処理部ex８０２に対し、映像データを復号するよう指示する。

より具体的には、駆動周波数切替え部ex８０３は、図３８のＣＰＵex５０２と駆動周波数制御部ex５１２から構成される。また、上記各実施の形態で示した動画像復号化方法を実行する復号処理部ex８０１、および、従来の規格に準拠する復号処理部ex８０２は、図３８の信号処理部ex５０７に該当する。ＣＰＵex５０２は、映像データがどの規格に準拠するものであるかを識別する。そして、ＣＰＵex５０２からの信号に基づいて、駆動周波数制御部ex５１２は、駆動周波数を設定する。また、ＣＰＵex５０２からの信号に基づいて、信号処理部ex５０７は、映像データの復号を行う。ここで、映像データの識別には、例えば、実施の形態Ｂで記載した識別情報を利用することが考えられる。識別情報に関しては、実施の形態Ｂで記載したものに限られず、映像データがどの規格に準拠するか識別できる情報であればよい。例えば、映像データがテレビに利用されるものであるか、ディスクに利用されるものであるかなどを識別する外部信号に基づいて、映像データがどの規格に準拠するものであるか識別可能である場合には、このような外部信号に基づいて識別してもよい。また、ＣＰＵex５０２における駆動周波数の選択は、例えば、図４１のような映像データの規格と、駆動周波数とを対応付けたルックアップテーブルに基づいて行うことが考えられる。ルックアップテーブルを、バッファex５０８や、ＬＳＩの内部メモリに格納しておき、ＣＰＵex５０２がこのルックアップテーブルを参照することにより、駆動周波数を選択することが可能である。

図４０は、本実施の形態の方法を実施するステップを示している。まず、ステップexＳ２００では、信号処理部ex５０７において、多重化データから識別情報を取得する。次に、ステップexＳ２０１では、ＣＰＵex５０２において、識別情報に基づいて映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものであるか否かを識別する。映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものである場合には、ステップexＳ２０２において、駆動周波数を高く設定する信号を、ＣＰＵex５０２が駆動周波数制御部ex５１２に送る。そして、駆動周波数制御部ex５１２において、高い駆動周波数に設定される。一方、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、ステップexＳ２０３において、駆動周波数を低く設定する信号を、ＣＰＵex５０２が駆動周波数制御部ex５１２に送る。そして、駆動周波数制御部ex５１２において、映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものである場合に比べ、低い駆動周波数に設定される。

さらに、駆動周波数の切替えに連動して、ＬＳＩex５００またはＬＳＩex５００を含む装置に与える電圧を変更することにより、省電力効果をより高めることが可能である。例えば、駆動周波数を低く設定する場合には、これに伴い、駆動周波数を高く設定している場合に比べ、ＬＳＩex５００またはＬＳＩex５００を含む装置に与える電圧を低く設定することが考えられる。

また、駆動周波数の設定方法は、復号する際の処理量が大きい場合に、駆動周波数を高く設定し、復号する際の処理量が小さい場合に、駆動周波数を低く設定すればよく、上述した設定方法に限らない。例えば、ＭＰＥＧ４−ＡＶＣ規格に準拠する映像データを復号する処理量の方が、上記各実施の形態で示した動画像符号化方法または装置により生成された映像データを復号する処理量よりも大きい場合には、駆動周波数の設定を上述した場合の逆にすることが考えられる。

さらに、駆動周波数の設定方法は、駆動周波数を低くする構成に限らない。例えば、識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合には、ＬＳＩex５００またはＬＳＩex５００を含む装置に与える電圧を高く設定し、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、ＬＳＩex５００またはＬＳＩex５００を含む装置に与える電圧を低く設定することも考えられる。また、他の例としては、識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合には、ＣＰＵex５０２の駆動を停止させることなく、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、処理に余裕があるため、ＣＰＵex５０２の駆動を一時停止させることも考えられる。識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合であっても、処理に余裕があれば、ＣＰＵex５０２の駆動を一時停止させることも考えられる。この場合は、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合に比べて、停止時間を短く設定することが考えられる。

このように、映像データが準拠する規格に応じて、駆動周波数を切替えることにより、省電力化を図ることが可能になる。また、電池を用いてＬＳＩex５００またはＬＳＩex５００を含む装置を駆動している場合には、省電力化に伴い、電池の寿命を長くすることが可能である。

（実施の形態Ｅ）
テレビや、携帯電話など、上述した機器・システムには、異なる規格に準拠する複数の映像データが入力される場合がある。このように、異なる規格に準拠する複数の映像データが入力された場合にも復号できるようにするために、ＬＳＩex５００の信号処理部ex５０７が複数の規格に対応している必要がある。しかし、それぞれの規格に対応する信号処理部ex５０７を個別に用いると、ＬＳＩex５００の回路規模が大きくなり、また、コストが増加するという課題が生じる。

この課題を解決するために、上記各実施の形態で示した動画像復号方法を実行するための復号処理部と、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する復号処理部とを一部共有化する構成とする。この構成例を図４２Ａのex９００に示す。例えば、上記各実施の形態で示した動画像復号方法と、ＭＰＥＧ４−ＡＶＣ規格に準拠する動画像復号方法とは、エントロピー符号化、逆量子化、デブロッキング・フィルタ、動き補償などの処理において処理内容が一部共通する。共通する処理内容については、ＭＰＥＧ４−ＡＶＣ規格に対応する復号処理部ex９０２を共有し、ＭＰＥＧ４−ＡＶＣ規格に対応しない、本発明の一態様に特有の他の処理内容については、専用の復号処理部ex９０１を用いるという構成が考えられる。特に、本発明の一態様は、逆量子化に特徴を有していることから、例えば、逆量子化については専用の復号処理部ex９０１を用い、それ以外のエントロピー復号、デブロッキング・フィルタ、動き補償のいずれか、または、全ての処理については、復号処理部を共有することが考えられる。復号処理部の共有化に関しては、共通する処理内容については、上記各実施の形態で示した動画像復号化方法を実行するための復号処理部を共有し、ＭＰＥＧ４−ＡＶＣ規格に特有の処理内容については、専用の復号処理部を用いる構成であってもよい。

また、処理を一部共有化する他の例を図４２Ｂのex１０００に示す。この例では、本発明の一態様に特有の処理内容に対応した専用の復号処理部ex１００１と、他の従来規格に特有の処理内容に対応した専用の復号処理部ex１００２と、本発明の一態様に係る動画像復号方法と他の従来規格の動画像復号方法とに共通する処理内容に対応した共用の復号処理部ex１００３とを用いる構成としている。ここで、専用の復号処理部ex１００１、ex１００２は、必ずしも本発明の一態様、または、他の従来規格に特有の処理内容に特化したものではなく、他の汎用処理を実行できるものであってもよい。また、本実施の形態の構成を、ＬＳＩex５００で実装することも可能である。

このように、本発明の一態様に係る動画像復号方法と、従来の規格の動画像復号方法とで共通する処理内容について、復号処理部を共有することにより、ＬＳＩの回路規模を小さくし、かつ、コストを低減することが可能である。

まとめると、本発明は、デブロッキングフィルタリングに関し、画像信号または動画像信号のブロック単位の符号化および復号に適宜利用してもよい。特に、本発明は、ブロックのデブロッキングフィルタリングを適用するかスキップするかの自動決定における改良型メモリ管理、および、デブロッキングフィルタの選択に関する。この決定は、メモリ使用が最適化されるようにブロック分割に基づき行われる。好ましくは、適切なデブロッキングフィルタの選択が計算時間を削減するように改善される。

Claims (2)

1. 複数の画素からなる画像の符号化済み対象ブロックを復号する復号方法であって、
   前記符号化済み対象ブロックを再構成するステップと、
   再構成されたブロックをデブロッキングするフィルタリングステップとを含み、
   前記フィルタリングステップでは、
   第１境界で区別される第１ブロックと第２ブロックとにおいて、前記第１ブロックは当該第１境界に垂直なラインに沿って少なくとも第１セグメント、第２セグメントとを含む複数のセグメントに分割され、前記第２ブロックは当該第１境界に垂直なラインに沿って少なくとも第１セグメント、第２セグメントとを含む複数のセグメントに分割され、
   隣接する前記第１ブロックの第１セグメント及び前記第２ブロックの第１セグメントのそれぞれに含まれる前記第１境界を挟んで隣接する隣接画素にデブロッキングフィルタを適用するか否かを判断し、
   前記隣接画素が属するラインに適用する前記デブロッキングフィルタの幅を示すタイプを複数のタイプから選択し、
   前記判断に用いられるサンプル画素は、前記第１ブロックの第１セグメントと前記第２ブロックの第１セグメント内それぞれに含まれるサンプル画素のみに含まれ、
   前記選択では、前記判断に用いられた画素が属するラインに属する画素のみを用いて、前記第１ブロックの第１セグメント及び前記第２ブロックの第１セグメントのそれぞれに含まれる前記第１境界に垂直な前記隣接画素が属する全てのラインに適用する前記デブロッキングフィルタの幅を示すタイプが選択される、
   復号方法。
2. 複数の画素からなる画像の符号化済み対象ブロックを復号する復号装置であって、
   前記符号化済み対象ブロックを再構成する再構成部と、
   再構成されたブロックをデブロッキングするフィルタリング部とを備え、
   前記フィルタリング部は、
   第１境界で区別される第１ブロックと第２ブロックとにおいて、前記第１ブロックを当該第１境界に垂直なラインに沿って少なくとも第１セグメント、第２セグメントとを含む複数のセグメントに分割し、前記第２ブロックを当該第１境界に垂直なラインに沿って少なくとも第１セグメント、第２セグメントとを含む複数のセグメントに分割する分割部と、
   隣接する前記第１ブロックの第１セグメント及び前記第２ブロックの第１セグメントのそれぞれに含まれる前記第１境界を挟んで隣接する隣接画素にデブロッキングフィルタを適用するか否かを判断する判断部と、
   前記隣接画素が属するラインに適用する前記デブロッキングフィルタの幅を示すタイプを複数のタイプから選択する選択部と、を備え
   前記判断部が行う判断に用いられるサンプル画素は、前記第１ブロックの第１セグメントと前記第２ブロックの第１セグメント内それぞれに含まれるサンプル画素のみに含まれ、
   前記選択部が行う選択では、前記判断に用いられた画素が属するラインに属する画素のみを用いて、前記第１ブロックの第１セグメント及び前記第２ブロックの第１セグメントのそれぞれに含まれる前記第１境界に垂直な前記隣接画素が属する全てのラインに適用する前記デブロッキングフィルタの幅を示すタイプが選択される、
   復号装置。

Images