JP2009522981A - 映像信号のエンコーディング／デコーディング方法 - Google Patents

Abstract

映像信号のエンコーディングまたはデコーディング時に層間テキスチャ予測を行う方法を提供する。
本方法は、基本層の垂直に隣接したフィールドマクロブロック対からフレームマクロブロック対を構成し、選択的に前記構成されたフレームマクロブロック対にデブロッキングフィルタを適用し、該フレームマクロブロック対の各テキスチャ情報を、現在層のフレームマクロブロック対の各テキスチャ予測情報として使用する。
【選択図】図３ａ

Description

本発明は、映像信号をエンコーディング／デコーディングする時の層間の予測方法に関するものである。

スケーラブル映像コーデック（ＳＶＣ：Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｅｃ）方式は、映像信号をエンコーディングする場合において、最高画質でエンコーディングするものの、その結果として生成されたピクチャシーケンスの部分シーケンス（シーケンス全体から間欠的に選択されたフレームのシーケンス）をデコーディングして使用しても低画質の映像表現が可能となるようにする方式である。

ところが、スケーラブル方式でエンコーディングされたピクチャシーケンスは、その部分シーケンスのみを受信して処理することによっても低画質の映像表現が可能であるが、ビットレートが低くなる場合に画質低下が大きくなってしまう。これを解消するために、低い転送率のための別途の補助ピクチャシーケンス、例えば、小画面及び/または秒当たりフレーム数などが低いピクチャシーケンスを少なくとも一つの層として階層的構造で提供することができる。

２個のシーケンスを仮定する時、補助シーケンス（下位シーケンス）を基本層と、主ピクチャシーケンス（上位シーケンス）を拡張層と呼ぶ。ところが、基本層と拡張層は、同じ映像信号源をエンコーディングするものであるから、両層の映像信号には剰余情報（すなわち、リダンダンシ）が存在する。したがって、拡張層のコーディング率を高めるべく、基本層のコーディングされた情報（動き情報またはテキスチャ情報）を用いて拡張層の映像信号をコーディングする。

この時、図１ａに示すように、一つの映像ソース（１）をそれぞれ他の転送率を持つ複数の層にコーディングしても良いが、図１ｂのように、同じコンテンツ２ａに対するものではあるが、相互に異なる走査方式を持つ複数の映像ソース（２ｂ）をそれぞれの層にコーディングしても良い。しかし、この時にも両ソース（２ｂ）は同一コンテンツ（２ａ）であるから、上位層をコーディングするエンコーダは、下位層のコーディングされた情報を利用する層間予測を行うことになると、コーディング利得を高めることができる。

したがって、相互に異なるソースをそれぞれの層にコーディングする時、各映像信号の走査方式を考慮した層間予測方法が必要である。また、飛び越し走査方式の映像をコーディングする時にも、偶数及び奇数フィールドにコーディングしても良く、一つのフレームに奇数及び偶数マクロブロックの対にコーディングしても良い。したがって、飛び越し走査方式の映像信号をコーディングするピクチャの類型も層間予測に共に考慮されなければならない。

また、拡張層は、基本層に比べてピクチャの解像度を上げて提供することが普通である。したがって、相互に異なるソースをそれぞれの層にコーディングする時も、各層のピクチャの解像度が相異なる場合にピクチャの解像度を上げるべく（すなわち、大きさを増大させるべく）インタポレーションを行わねばならないが、層間予測のために使われる基本層のピクチャが、予測コーディングする拡張層のピクチャとイメージが近接するほどコーディング率が高まるので、各層の映像信号の走査方式を考慮してインタポレーションする方法が必要である。

本発明の目的は、両層のうち少なくとも一つの層は飛び越し走査方式の映像信号成分を持つ条件の下に層間予測を行う方法を提供することにある。

本発明の他の目的は、空間的解像度の相異なるピクチャを持つ層間の動き予測をピクチャ類型によって行う方法を提供することにある。

本発明のさらに他の目的は、空間的及び／または時間的解像度の相異なるピクチャを持つ層間のテキスチャ予測を行う方法を提供することにある。

本発明による層間動き予測方法の一つは、基本層の垂直に隣接したインターモードとイントラモードの両マクロブロックに対して、前記インターモードのマクロブロックの動きに関する情報を、前記イントラモードのマクロブロックの動きに関する情報に設定した後、前記両マクロブロックに基づいて、層間動き予測に使われる垂直に隣接したマクロブロック対に関する動き情報を求める。

本発明による層間動き予測方法の他の一つは、基本層の垂直に隣接したインターモードとイントラモードの両マクロブロックのうち、イントラモードのマクロブロックを、動きに関する情報が０であるインターモードのブロックに設定した後、前記両マクロブロックに基づいて、層間動き予測に使われる垂直に隣接したマクロブロック対に関する動き情報を求める。

本発明による層間動き予測方法のさらに他の一つは、基本層の垂直に隣接したフレームマクロブロック対の動き情報から単一マクロブロックに関する動き情報を導出し、該導出された動き情報を、現在層の一つのフィールドマクロブロックの動き情報またはフィールドマクロブロック対の各動き情報の予測情報として用いる。

本発明による層間動き予測方法のさらに他の一つは、基本層の単一フィールドマクロブロックの動き情報または垂直に隣接したフィールドマクロブロック対の中から選択された単一フィールドマクロブロックの動き情報から２個のマクロブロックに関する各動き情報を導出し、該導出された各動き情報を、現在層のフレームマクロブロック対の各動き情報の予測情報として用いる。

本発明による、ピクチャの解像度の相異なる層間動き予測方法は、下位層のピクチャを、ピクチャの類型とピクチャ内のマクロブロックの類型によってフレームマクロブロックに変換する予測方式を選択的に適用して同一解像度のフレームピクチャに変換し、前記フレームピクチャを上位層の解像度と同一となるようにアップサンプリングした後、該アップサンプリングされたフレームピクチャ内のフレームマクロブロックと上位層のピクチャ内のマクロブロックの類型に合う層間予測方式を適用する。

本発明による、ピクチャの解像度の相異なる層間予測方法の他の一つは、下位層のピクチャと上位層のピクチャの類型及び／またはそのピクチャ内のマクロブロックの類型を確認し、その確認結果によって、前記下位層のピクチャに対して単一フィールドマクロブロックのフレームマクロブロック対への予測方式を適用し、前記上位層のピクチャと垂直／水平の比率が同一である仮想ピクチャを構成し、前記仮想ピクチャをアップサンプリングした後、該アップサンプリングされた仮想ピクチャを用いて前記上位層のピクチャに層間動き予測を適用する。

本発明による、ピクチャの解像度の相異なる層間予測方法のさらに他の一つは、下位層のピクチャと上位層のピクチャの類型及び／またはそのピクチャ内のマクロブロックの類型を確認し、その確認結果によって、前記下位層のピクチャに対して単一フィールドマクロブロックのフレームマクロブロック対への予測方式を適用し、前記上位層のピクチャと垂直／水平の比率が同一である仮想ピクチャを構成した後、該構成された仮想ピクチャを用いて前記上位層のピクチャに層間動き予測を適用する。

本発明による、ピクチャの解像度の相異なる層間予測方法のさらに他の一つは、下位層のピクチャと上位層のピクチャの類型を確認し、前記下位層のピクチャの類型がフィールドであり、前記上位層のピクチャの類型が順次走査方式であると確認されると、前記下位層のピクチャ内のブロックの動き情報を複写して仮想ピクチャを構成し、該構成された仮想ピクチャをアップサンプリングした後、該アップサンプリングされた仮想ピクチャと前記上位層のピクチャ間にフレームマクロブロックのフレームマクロブロックへの動き予測方式を適用する。

本発明による、ピクチャの解像度の相異なる層間予測方法のさらに他の一つは、下位層のピクチャと上位層のピクチャの類型を確認し、前記下位層のピクチャの類型がフィールドであり、前記上位層のピクチャの類型が順次走査方式であると確認されると、前記下位層のピクチャ内のブロックの動き情報を複写して仮想ピクチャを構成した後、その仮想ピクチャを用いて前記上位層のピクチャに層間動き予測を適用する。

本発明による一実施例では、層間動き予測において、分割モード、参照インデックス、そして動きベクトルの順に予測する。

本発明による他の実施例では、参照インデックス、動きベクトル、そして分割モードの順に予測する。

本発明による一実施例では、基本層のフレームマクロブロック１対の動き情報から、層間動き予測に使われる仮想基本層のフィールドマクロブロック１対の動き情報を導出する。

本発明による一実施例では、基本層のフレームマクロブロック１対の動き情報から、層間動き予測に使われる仮想基本層の偶数または奇数フィールドピクチャ内の一つのフィールドマクロブロックの動き情報を導出する。

本発明による一実施例では、基本層の１対のフィールドマクロブロックから一つのマクロブロックを選択し、該選択されたマクロブロックの動き情報から、層間動き予測に使われる仮想基本層のフレームマクロブロック１対の動き情報を導出する。

本発明による一実施例では、基本層の偶数または奇数のフィールドピクチャ内の一つのフィールドマクロブロックの動き情報から、層間動き予測に使われる仮想基本層のフレームマクロブロック１対の動き情報を導出する。

本発明による他の実施例では、基本層の偶数または奇数のフィールドピクチャ内の一つのフィールドマクロブロックの情報を複写して仮想のフィールドマクロブロックを追加的に構成し、このように構成された１対のフィールドマクロブロックの動き情報から、層間動き予測に使われる仮想基本層のフレームマクロブロック１対の動き情報を導出する。

本発明による層間のテキスチャ予測方法の一つは、基本層の垂直に隣接したフレームマクロブロック対からフィールドマクロブロック対を構成し、該構成されたフィールドマクロブロック対の各テキスチャ情報を、現在層のフィールドマクロブロック対の各テキスチャ予測情報として用いる。

本発明による層間のテキスチャ予測方法の他の一つは、基本層の垂直に隣接したフレームマクロブロック対から単一フィールドマクロブロックを構成し、該構成された単一フィールドマクロブロックのテキスチャ情報を、現在層のフィールドマクロブロックのテキスチャ予測情報として用いる。

本発明による層間のテキスチャ予測方法のさらに他の一つは、基本層の一つのフィールドマクロブロックまたは垂直に隣接したフィールドマクロブロック対からフレームマクロブロック対を構成し、該構成されたフレームマクロブロック対の各テキスチャ情報を、現在層のフレームマクロブロック対の各テキスチャ予測情報として用いる。

本発明による層間のテキスチャ予測方法のさらに他の一つは、基本層の垂直に隣接したフィールドマクロブロック対からフレームマクロブロックＮ対（Ｎは、１より大きい整数）を構成し、該構成されたフレームマクロブロックＮ対の各テキスチャ情報を、現在層の相互に異なる時間的位置にあるフレームマクロブロックＮ対の各テキスチャ予測情報として用いる。

本発明による層間のテキスチャ予測方法のさらに他の一つは、下位層の各フレームを複数のフィールドピクチャに分離し、前記下位層が上位層と同じ時間的解像度を持つようにし、前記分離された各フィールドピクチャを垂直方向にアップサンプリングして垂直方向に拡張させた後、前記アップサンプリングされた各フィールドピクチャを前記上位層の各フレームの層間のテキスチャ予測に用いる。

本発明による層間のテキスチャ予測方法のさらに他の一つは、下位層の各フィールドピクチャを垂直方向にアップサンプリングして垂直方向に拡張させた後、前記アップサンプリングされた各フィールドピクチャを上位層の各フレームの層間テキスチャ予測に用いる。

本発明による層間テキスチャ予測方法のさらに他の一つは、上位層の各フレームを複数のフィールドピクチャに分離し、下位層の各ピクチャを垂直方向にダウンサンプリングして垂直方向に縮小させた後、前記ダウンサンプリングされたピクチャを前記上位層の分離されたフィールドピクチャの層間テキスチャ予測に用いる。

本発明による層間予測を用いて映像信号をコーディングする一方法は、基本層の任意ピクチャ内の２Ｎブロックを交互に選択して取った各ラインを取った順番で配置して構成した２Ｎブロックの各テキスチャ情報を、層間予測に用いるか、前記基本層の前記２Ｎブロックの中から選択された一つのブロックをインタポレーションして構成した２Ｎブロックの各テキスチャ情報を層間テキスチャ予測に用いるかを決定し、該決定を表す情報をコーディングされた情報に含める。

本発明による層間予測を用いて映像信号をデコーディングする一方法は、受信した信号に特定指示情報が含まれているか確認し、その確認結果によって、基本層の任意ピクチャ内の２Ｎブロックを交互に選択して取ったラインを取った順番で配置して構成した２Ｎブロックの各テキスチャ情報を、層間テキスチャ予測に用いるか、前記基本層の前記２Ｎブロックの中から選択された一つのブロックをインタポレーションして構成した２Ｎブロックの各テキスチャ情報を層間テキスチャ予測に用いるかを決定する。

本発明による一実施例では、上位または下位層の各フレームを２個のフィールドピクチャに分離する。

本発明による一実施例では、前記受信される信号に前記特定指示情報が含まれていないと、その指示情報が０と指定されて受信される場合と同じであると見なし、どのブロックの各テキスチャ情報を層間予測に用いるかを決定する。

本発明による、基本層の映像信号を層間テキスチャ予測に用いる方法の一つは、基本層の飛び越し走査方式の映像信号を偶数フィールド成分と奇数フィールド成分とに分離し、該分離された偶数フィールド成分と奇数フィールド成分をそれぞれ垂直及び／または水平方向に拡大した後、該拡大された偶数フィールド成分と奇数フィールド成分を結合して層間テキスチャ予測に用いる。

本発明による、基本層の映像信号を層間テキスチャ予測に用いる方法の他の一つは、基本層の順次走査方式の映像信号を偶数ライン群と奇数ライン群とに分離し、該分離された偶数ライン群と奇数ライン群をそれぞれ垂直及び／または水平方向に拡大した後、該拡大された偶数ライン群と奇数ライン群を結合して層間テキスチャ予測に用いる。

本発明による、基本層の映像信号を層間テキスチャ予測に用いる方法のさらに他の一つは、基本層の飛び越し走査方式の映像信号を、上位層の順次走査方式の映像信号の解像度と同じ解像度を持つように垂直及び／または水平に拡大し、該拡大された映像信号に基づいて前記上位層の映像信号に対して層間テキスチャ予測を行う。

本発明による、基本層の映像信号を層間テキスチャ予測に用いる方法のさらに他の一つは、基本層の順次走査方式の映像信号を、上位層の飛び越し走査方式の映像信号の解像度と同じ解像度を持つように垂直及び／または水平に拡大し、該拡大された映像信号に基づいて前記上位層の映像信号に対して層間テキスチャ予測を行う。

本発明による一実施例では、前記映像信号の分離及び拡大は、マクロブロックレベルで行われる。

本発明による他の実施例では、前記映像信号の分離及び拡大は、ピクチャレベルで行われる。

本発明による一実施例では、層間テキスチャ予測が適用される両層のピクチャフォーマットが相異なる場合に、すなわち、一つの層は順次走査方式のピクチャで、他の層は飛び越し走査方式のピクチャである場合に、前記映像信号の分離及び拡大を行う。

本発明による他の実施例では、層間テキスチャ予測が適用される両層のピクチャがいずれも飛び越し走査方式である場合に、前記映像信号の分離及び拡大を行う。

以下、本発明の実施例について添付の図面を参照しつつ詳細に説明する。

図２ａは、本発明による層間予測方法が適用される映像信号エンコーディング装置を簡略に示す構成ブロック図である。図２ａの装置は、入力映像信号を２個の層にコーディングしているが、後述する本発明の原理は、もちろん、３個またはそれ以上の層にコーディングする場合にも各層間には適用されることができる。

本発明による層間予測方法は、図２ａの装置において拡張層エンコーダ２０（以下、‘ＥＬエンコーダ’と略す。）で行われ、基本層エンコーダ２１（以下、‘ＢＬエンコーダ'と略す。）では、エンコーディングされた情報（動き情報とテキスチャ情報）を受信し、該受信した情報（必要な場合にはデコーディングしそのデコーディングされた情報）に基づいて層間テキスチャ予測または動き予測を行う。もちろん、本発明は、図２ｂのように、既にコーディングされている基本層の映像ソース（３）を用いて、入力される映像信号をコーディングすることができ、この時にも、以下に説明される層間予測方法が同様に適用される。

図２ａにおいて、ＢＬエンコーダ２１が飛び越し走査方式の映像信号をエンコーディングする方式（または、図２ｂのエンコーディングされている映像ソース（３）のコーディングされた方式）には２種類がありうる。すなわち、図３ａに示すように、フィールド単位そのままエンコーディングし、フィールドシーケンスにエンコーディングする場合と、図３ｂに示すように、偶数及び奇数の両フィールドの各マクロブロックを対としてフレームが構成されたフレームシーケンスにエンコーディングする場合がある。このようにコーディングされているフレーム内で、１対のマクロブロックの上にあるマクロブロックを‘上部（Ｔｏｐ）マクロブロック'と、下にあるマクロブロックを‘下部（Ｂｏｔｔｏｍ）マクロブロック'と呼ぶ。上部マクロブロックが偶数フィールド（または、奇数フィールド）の映像成分からなっていると、下部マクロブロックは奇数フィールド（または、偶数フィールド）の映像成分からなる。このように構成されたフレームをＭＢＡＦＦ（Ｍａｃｒｏ Ｂｌｏｃｋ Ａｄａｐｔｉｖｅ Ｆｒａｍｅ Ｆｉｅｌｄ）フレームという。ただし、ＭＢＡＦＦフレームは、奇数フィールド及び偶数フィールドから構成されたマクロブロック対の他にも、各マクロブロックがフレームＭＢから構成されたマクロブロック対も含むことができる。

したがって、ピクチャ内のマクロブロックが飛び越し走査方式の映像成分である場合（このようなマクロブロックを以下‘フィールドＭＢ'と称する。これに対し、順次走査（ｐｒｏｇｒｅｓｓｉｖｅ）方式の映像成分を持っているマクロブロックは‘フレームＭＢ'と称する。）、当該ブロックがフィールド内のものであっても良く、フレーム内のものであっても良い。

したがって、ＥＬエンコーダ２０がコーディングするマクロブロックの類型と該マクロブロックの層間予測に用いる基本層のマクロブロックの類型がそれぞれ、フレームＭＢなのか、フィールドＭＢなのか、そしてフィールドＭＢである場合にはフィールド内のフィールドＭＢなのかＭＢＡＦＦフレーム内のフィールドＭＢなのかを区分して層間予測方法を決定しなければならない。

以下では、各場合について区分して説明する。その説明に先立ち、現在層と基本層の解像度は相互同一であると仮定する。すなわち、SpatialScalabilityType()を０と仮定する。現在層が基本層の解像度より高い場合について後で説明するものとする。そして、下記説明及び図面の表現において、偶数（または奇数）に対して‘上部'の用語を、奇数（または偶数）に対して‘下部’の用語も併用する。

基本層を用いて拡張層をエンコーディングまたはデコーディングする層間予測のためには、まず、基本層に対するデコーディングが行われなければならないので、これについてまず説明する。

基本層のデコーディングにおいて、分割モード、参照インデックス、動きベクトルのような基本層の動き情報だけでなく、基本層のテキスチャもデコーディングされる。

層間テキスチャ予測のための基本層のテキスチャデコーディングでは、デコーダの負担を減らす目的で、基本層の映像サンプルデータが全てデコーディングされるのではなく、イントラモードのマクロブロックに対しては映像サンプルデータが復元され、インターモードのマクロブロックに対しては隣りピクチャとの動き補償無しで映像サンプルデータ間の誤差データであるレジデュアルデータのみがデコーディングされる。

また、層間テキスチャ予測のための基本層のテキスチャデコーディングは、マクロブロック単位ではなくピクチャ単位で行われ、拡張層のピクチャに時間的にマッチングされる基本層のピクチャが構成されるが、上述したように、イントラモードのマクロブロックから復元される映像サンプルデータと、インターモードのマクロブロックからデコーディングされるレジデュアルデータとから基本層のピクチャが構成される。

このようにイントラモードまたはインターモードの動き補償及びＤＣＴと量子化などの変換は、映像ブロック、例えば、１６×１６の大きさのマクロブロックまたは４×４の大きさのサブブロック単位で行われるから、映像ブロックの境界でブロック化現象が発生し、映像を歪ませる。このようなブロック化現象を減少させるべくデブロッキングフィルタリングが適用されるが、デブロッキングフィルタは、映像ブロックの縁部を滑らかにし、映像フレームの画質を向上させる。

ブロック歪み現象を減らすためのデブロッキングフィルタリングを適用するか否かは、映像ブロックの境界における強度と境界周囲のピクセルの変化による。また、デブロッキングフィルタの強度は、量子化パラメータ、イントラモード、インターモード、ブロックの大きさなどを表す映像ブロックの分割モード、動きベクトル、デブロッキングフィルタリングされる前のピクセル値などによって決定される。

層間予測でデブロッキングフィルタは、拡張層のイントラベースモード（ｉｎｔｒａ Ｂａｓｅ、ｉｎｔｒａＢＬ、またはｉｎｔｒａ ｉｎｔｅｒｌａｙｅｒ ｍｏｄｅ）のマクロブロックのテキスチャ予測の基準となる、基本層のピクチャ内のイントラモードのマクロブロックに適用される。

層間予測方法によってエンコーディングされる両層がいずれも、図２ｃのようにフィールドピクチャシーケンスにエンコーディングされる場合には、両層はいずれもフレームフォーマットと見なされ、フレームフォーマットである場合に対するコーディング過程からデブロッキングフィルタリングを含むエンコーディング／デコーディング過程が容易に導出されることができる。

したがって、本発明の一実施例では、基本層と拡張層のピクチャフォーマットが異なる場合、すなわち、拡張層はフレーム方式（または順次走査フォーマット）で且つ基本層はフィールド方式（または飛び越し走査フォーマット）である場合、または、拡張層はフィールド方式で且つ基本層はフレーム方式である場合、または、拡張層と基本層がいずれもフィールド方式であるが、図２ｃ及び図２ｄのようにいずれか一方はフィールドピクチャシーケンスにエンコーディングされ、他の一方はＭＢＡＦＦフレームにエンコーディングされる場合に、デブロッキングフィルタリングを行う方法について説明する。

図３ａ及び図３ｂは、本発明の一実施例によって、層間テキスチャ予測のために、基本層のピクチャを構成してデブロッキングフィルタリングを行う過程を図式的に示す図である。

図３ａは、拡張層がフレーム方式で且つ基本層はフィールド方式である場合についての例であり、図３ｂは、拡張層はフィールド方式で且つ基本層はフレーム方式である場合についての例である。

本実施例で、層間テキスチャ予測のために、基本層のインターモードのマクロブロックとイントラモードのマクロブロックに対するテキスチャがデコーディングされ、映像サンプルデータとレジデュアルデータとからなる基本層ピクチャが構成され、この構成されたピクチャに、ブロック化現象を減らすためのデブロッキングフィルタが適用された後に、基本層と拡張層の解像度の比（画面大きさの比）によってアップサンプリングされる。

図３ａ及び図３ｂで第１の方法は、基本層を２個のフィールドピクチャに分離してデブロッキングフィルタリングを行う方法で、異なるピクチャフォーマットでエンコーディングされる基本層を用いて拡張層を生成する時に、基本層のピクチャを偶数ラインのフィールドピクチャと奇数ラインのフィールドピクチャとに分け、これらに対してデブロッキングフィルタリングとアップサンプリングをし、２フィールドピクチャを一つのピクチャに結合し、これを基礎として層間テキスチャ予測動作を行う。

この第１の方法は、下記の３段階からなる。

第一の段階である分離段階では、基本層のピクチャが、偶数ラインから構成される上部フィールド（または奇数フィールド）ピクチャと奇数ラインから構成される下部フィールド（または偶数フィールド）ピクチャとに分離されるが、この時、基本層のピクチャは、基本層のデータストリームから動き補償を通じて復元される映像サンプルデータ（イントラモード）とレジデュアルデータ（インターモード）とを含む映像ピクチャである。

第二の段階であるデブロッキング段階では、上記分離段階で分離される各フィールドピクチャがデブロッキングフィルタによってデブロッキングされるが、この時、適用されるデブロッキングフィルタは従来のデブロッキングフィルタとすれば良い。

拡張層と基本層の解像度が異なる場合、前記デブロッキングされる各フィールドピクチャは拡張層と基本層の解像度の比率によってアップサンプリングされる。

第三の段階である結合段階では、アップサンプリングされる上部フィールドピクチャと下部フィールドピクチャが交互にインターレーシングされ、一つのピクチャとして結合される。以降、これを基礎として拡張層のテキスチャに対する予測動作が行われる。

図３ａ及び図３ｂで第２の方法は、異なるピクチャフォーマットでエンコーディングされる基本層を用いて拡張層を生成する時に、基本層のピクチャを、２個のフィールドピクチャに分けることなく直接デブロッキングフィルタリングし、アップサンプリングし、これを基礎として層間テキスチャ予測動作を行う。

この第２の方法では、層間テキスチャ予測によりエンコーディングしようとする拡張層のピクチャに対応する基本層のピクチャが上部フィールドピクチャと下部フィールドピクチャとに分離されずにそのままデブロッキングフィルタリングされ、アップサンプリング動作が行われる。以降、これを基礎として拡張層のテキスチャに対する予測動作が行われる。

層間動き予測のために構成される基本層のピクチャに適用されるデブロッキングフィルタは、レジデュアルデータを含む領域には適用されず、映像サンプルデータを含む領域にのみ、すなわち、イントラモードのマクロブロックからデコーディングされる映像サンプルデータにのみ適用される。

図３ａで基本層がフィールド方式でエンコーディングされている場合、すなわち、基本層が図２ｃのようにフィールドピクチャシーケンスに、または、図２ｄのようにＭＢＡＦＦフレームにエンコーディングされている場合、上記第２の方法を適用するためには、上部フィールドピクチャと下部フィールドピクチャの各ラインを交互にインターレーシングして一つのピクチャとして結合したり（図２ｃの場合）、または、フィールドマクロブロック対の上部マクロブロックと下部マクロブロックの各ラインを交互にインターレーシングして一つのピクチャとして結合する（図２ｄの場合）過程（以降、図８ｄ及び図８ｅを参照しつつ詳細に説明される）が必要である。この時、インターレーシングされる上部と下部フィールドピクチャまたは上部と下部マクロブロックは、動き補償を通じて復元される映像サンプルデータ（イントラモード）とレジデュアルデータ（インターモード）を含むフィールドピクチャまたはマクロブロックに該当する。

また、図２ｄのようなＭＢＡＦＦフレーム内のフィールドマクロブロック対（基本層）において上部と下部のマクロブロックのモードが互いに異なり、このうちイントラモードのブロックが選択されて拡張層のマクロブロック対に対する層間テキスチャ予測に利用される場合（後述される図８ｇの場合）、図２ｄのようなＭＢＡＦＦフレーム内のフィールドマクロブロック対にエンコーディングされた基本層に、拡張層のピクチャに時間的にマッチングされるフレーム（ピクチャ）がない場合（後述される図８ｈの場合）、または、図２ｃのようなフィールドピクチャのフィールドマクロブロックの基本層からマクロブロック対の拡張層のテキスチャが予測される場合（後述される図１０ｄの場合）、選択される一つのフィールドマクロブロックは、臨時のマクロブロック対（図８ｇで８４１、図８ｈで８５１／８５２）または臨時の２個のマクロブロック（図１０ｄで１０２１）にアップサンプリングされ、このうちイントラモードのブロックにはデブロッキングフィルタが適用される。

後述される様々な実施例を通じて説明される層間テキスチャ予測は、図３ａと図３ｂの実施例で説明したデブロッキングフィルタリングされた基本層のピクチャに基づいて行われる。

次に、現在層でコーディングされるマクロブロックの各類型とそのマクロブロックの層間予測に用いられる基本層のマクロブロックの各類型による場合を区分して層間予測方法について説明するが、上述したように、現在層と基本層の空間的解像度は相互同一であると仮定する。

Ｉ．フレームＭＢ→ＭＢＡＦＦフレームのフィールドＭＢの場合
この場合は、現在層（ＥＬ）でＭＢがＭＢＡＦＦフレーム内のフィールドＭＢにコーディングされ、このフィールドＭＢに対する層間予測に利用する基本層（ＢＬ）のＭＢがフレームＭＢにコーディングされている場合で、基本層で上下両マクロブロック（これを‘マクロブロック対'といい、以下では、'対'という表現は、垂直に隣接しているブロックを指すのに使用する。）に含まれている映像信号成分は、現在層の対応位置（ｃｏｌａｃａｔｅｄ）のマクロブロック対のそれぞれに含まれている映像信号成分とそれぞれ同一の成分となる。まず、層間動き予測について説明する。

ＥＬエンコーダ２０は、基本層のマクロブロック対４１０を一つのマクロブロックに併合（垂直方向に１／２に圧縮）させて得たマクロブロック分割モードを、現在マクロブロックの分割モードとして使用する。図４ａは、これを具体的に例示したものである。同図において、基本層の対応マクロブロック対４１０をまず一つのマクロブロックに併合させ（Ｓ４１）、該併合によって得られた分割モードを他の一つに複写して（Ｓ４２）マクロブロック対４１１を構成した後、そのマクロブロック対４１１の各分割モードを仮想基本層のマクロブロック対４１２にそれぞれ適用する（Ｓ４３）。

ところが、対応するマクロブロック対４１０を一つのマクロブロックに併合させる時、分割モードで許容されない分割領域が発生するおそれがあり、これを防止すべくＥＬエンコーダ２０は、下記のような規則によって分割形態を決定する。

１）基本層のマクロブロック対内の２個の上下８×８ブロック（図４ａのＢ８＿０とＢ８＿２）は一つの８×８ブロックに併合するが、対応する８×８ブロックのそれぞれがサブ分割されていないと、これらは２個の８×４ブロックに併合し、一つでもサブ分割されていると、これらは４個の４×４ブロックに併合する（図４ａの４０１）。

２）基本層の８×１６ブロックは８×８ブロックに、１６×８ブロックは水平に隣接した２個の８×４ブロックに、１６×１６ブロックは１６×８ブロックに、それぞれ縮小する。

もし、対応するマクロブロック対のうち少なくともいずれか一つがイントラモードにコーディングされている場合には、ＥＬエンコーダ２０は、上記の併合過程の前に下記の過程を行う。

もし、二つのうち一つのみがイントラモードである場合には、図４ｂに例示するように、インターモードのマクロブロックの動き情報（ＭＢ分割モード、参照インデックス、動きベクトル）を、イントラモードのマクロブロックに複写したり、図４ｃに例示するように、イントラモードのマクロブロックを０の動きベクトルと参照インデックスが０である１６×１６インターモードのマクロブロックと見なしたり、図４ｄに例示するように、イントラモードＭＢに対し、インターモードＭＢの参照インデックスは複写して設定し、動きベクトルは０動きベクトルを持つようにした後に、前述の併合過程を行い、以下で説明する参照インデックス及び動きベクトル導出過程を行う。

ＥＬエンコーダ２０は、現在マクロブロック対４１２の参照インデックスを、対応するマクロブロック対４１０の参照インデックスから導出するために下記の過程を行う。

現在８×８ブロックに対応する基本層の８×８ブロック対が互いに同一回数でサブ分割されていると、その対のうちいずれか一方（上部または下部）の８×８ブロックの参照インデックスを現在８×８ブロックの参照インデックスと決定し、あるいは、サブ分割回数の少ないブロックの参照インデックスを現在８×８ブロックの参照インデックスと決定する。

本発明による他の実施例では、現在８×８ブロックに対応する基本層の８×８ブロック対に指定されている参照インデックスのうち、小さい値の参照インデックスを現在８×８ブロックの参照インデックスと決定する。この決定方法を、図４ｅの例について表すと、
refidx of curr B8_0 = min( refidx of base top frame MB’s B8_0, refidx of base top frame MB’s B8_2 )
refidx of curr B8_1 = min( refidx of base top frame MB’s B8_1, refidx of base top frame MB’s of base B8_3 )
refidx of curr B8_2 = min( refidx of base bottom frame MB’s B8_0, refidx of base bottom frame MB’s B8_2 ),及び
refidx of curr B8_3 = min( refidx of base bottom frame MB’s B8_1, refidx of base bottom frame MB’s B8_3 )
となる。

前述した参照インデックス導出過程は、上部フィールドＭＢと下部フィールドＭＢにいずれも適用することができる。そして、前述したような方式で決定された各８×８ブロックの参照インデックスに２を乗算して最終参照インデックス値とする。これは、デコーディング時にフィールドＭＢが偶数及び奇数フィールドに区分されたピクチャに属することになり、よって、ピクチャ数はフレームシーケンスにおけるより２倍に増加するからである。デコーディングアルゴリズムによっては、下部フィールドＭＢの参照インデックスは２倍にした後に１を加算し、これを最終参照インデックス値と決定しても良い。

ＥＬエンコーダ２０が仮想基本層のマクロブロック対に対する動きベクトルを導出する過程は、下記の通りになる。

動きベクトルは、４×４ブロックを基本として決定されるので、図４ｆに例示するように、基本層の対応する４×８ブロックを確認し、該ブロックがサブ分割されていると、上部または下部の４×４ブロックの動きベクトルを現在４×４ブロックの動きベクトルと決定するか、あるいは、対応する４×８ブロックの動きベクトルを現在４×４ブロックの動きベクトルと決定する。そして、決定された動きベクトルについては、その垂直成分を２で除算したベクトルを最終動きベクトルとして使用する。これは、２個のフレームＭＢに載せられた映像成分が一つのフィールドＭＢの映像成分に相応するようになるので、フィールド映像では大きさが垂直軸に１／２に縮小されるからである。

前記のような方式で仮想基本層のフィールドＭＢ対４１２に対する動き情報が求められると、該動き情報を、現在層、すなわち、拡張層の対象フィールドＭＢ対４１３の層間動き予測のために使用する。以下の説明でも、仮想基本層のＭＢまたはＭＢ対に関する動き情報が求められると、この動き情報は現在層の対応ＭＢまたはＭＢ対に対する層間動き予測に用いられる。したがって、以下の説明で、仮想基本層のＭＢまたはＭＢ対の動き情報を現在層の対応ＭＢまたはＭＢ対の層間動き予測に使用するという言及が別になくても、これは当然ながら適用される過程である。

図５ａは、本発明の他の実施例による、現在マクロブロック対に対応する基本層のフレームＭＢ対の動き情報から、層間予測のために使用する仮想基本層のフィールドＭＢ対５００の動き情報を導出することを図式的に示す図である。本実施例では、同図の如く、仮想ＢＬのフィールドＭＢ対５００の各上部８×８ブロックの参照インデックスは、ＢＬのフレームＭＢ対の上部ＭＢの上部または下部８×８ブロックの参照インデックスを使用し、各下部８×８ブロックの参照インデックスは、ＢＬの下部ＭＢの上部または下部８×８ブロックの参照インデックスを使用する。動きベクトルの場合には、図示のように、仮想ＢＬのフィールドＭＢ対５００の各最上部４×４ブロックに対しては、ＢＬのフレームＭＢ対の上部ＭＢの最上部４×４ブロックの動きベクトルを同様に使用し、各２番目の４×４ブロックに対しては、ＢＬのフレームＭＢ対の上部ＭＢの３番目の４×４ブロックの動きベクトルを同様に使用し、各３番目の４×４ブロックに対しては、ＢＬのフレームＭＢ対の下部ＭＢの最上部４×４ブロックの動きベクトルを同様に使用し、各４番目４×４ブロックに対しては、ＢＬのフレームＭＢ対の下部ＭＢの３番目の４×４ブロックの動きベクトルを同様に使用する。

ところが、図５ａに例示するように、層間予測に用いるために構成されるフィールドマクロブロック対５００内の８×８ブロック内の上部４×４ブロック５０１と下部４×４ブロック５０２は、基本層の相互に異なる８×８ブロック５１１，５１２内の４×４ブロックの動きベクトルを使用するが、これら動きベクトルは相互に異なる基準ピクチャを使用した動きベクトルであっても良い。すなわち、相互に異なる８×８ブロック５１１，５１２は、相互に異なる参照インデックス値を持つことができる。したがって、この場合には、仮想ＢＬのフィールドマクロブロック対５００を構成すべく、ＥＬエンコーダ２０は、図５ｂに例示するように、仮想ＢＬの２番目の４×４ブロック５０２の動きベクトルは、その上部４×４ブロック５０１に対して選択された対応する４×４ブロック５０３の動きベクトルを同様に使用することになる（５２１）。

図４ａ乃至図４ｆを参照して説明した実施例は、ＥＬエンコーダ２０が現在マクロブロック対に関する動き情報を予測するために仮想基本層の動き情報を構成する場合において、基本層の対応マクロブロック対の動き情報に基づいて分割モード、参照インデックスそして動きベクトルの順に導出するものであったが、図５ａ及び５ｂを参照して説明した実施例は、基本層の対応マクロブロック対の動き情報に基づいて、仮想基本層のマクロブロック対に対してまず参照インデックスと動きベクトルを導出した後、該導出された結果に基づいて最後に仮想基本層のマクロブロック対の分割モードを決定する。最後に分割モードを決定する時には、導出された動きベクトルと参照インデックスが同一である４×４ブロック単位を結合した後、その結合されたブロック形態が、許容される分割モードに属すると、結合された形態に指定し、そうでない場合は結合される前の分割形態に指定する。

前述した実施例で、基本層の対応するマクロブロック対４１０がいずれもイントラモードであれば、現在マクロブロック対４１３に対してイントラベース予測のみが行われ（この時は、動き予測は行われない。もちろん、テキスチャ予測の場合には仮想基本層のマクロブロック対も構成されない。）、もし、二つのうち一方のみイントラモードであれば、図４ｂのように、イントラモードのＭＢにインターモードの動き情報を複写したり、または、図４ｃのように、イントラモードのＭＢの動きベクトルと参照インデックスを０に設定したり、または、図４ｄのように、イントラモードＭＢに対して、インターモードＭＢの参照インデックスは複写して設定し、動きベクトルは０動きベクトルを持つようにした後に、前述したように、仮想ＢＬのマクロブロック対に関する動き情報を導出する。

ＥＬエンコーダ２０は、前述したように層間動き予測のための仮想ＢＬのＭＢ対を構成してからは、該ＭＢ対の動き情報を用いて現在のフィールドマクロブロック対４１３の動き情報を予測してコーディングする。

次に、層間テキスチャ予測について説明する。図４ｇは、本場合（フレームＭＢ→ＭＢＡＦＦフレームのフィールドＭＢの場合）に対する層間テキスチャ予測方法の例を示す図である。ＥＬエンコーダ２０は、まず、対応する基本層のフレームマクロブロック対４１０の各ブロックモードを確認する。両方ともイントラモードであるか、インターモードであると、次に説明する方式の通り、対応する基本層のマクロブロック対４１０を臨時のフィールドマクロブロック対４２１に変換し、現在フィールドマクロブロック対４１３に対してイントラベース予測を行ったり（対応するマクロブロック対４１０がいずれもイントラモードである場合、この場合は、臨時のフィールドマクロブロック対４２１が、上述したように、イントラモードの場合デコーディング完了後にデブロッキングフィルタリングされたデータを含んでいる。以下の様々な実施例の説明におけるテキスチャ予測に用いられる基本層のマクロブロックから導出された臨時のマクロブロック対の場合にも同様で在る。）、レジデュアル予測を行う（対応するマクロブロック対４１０がいずれもインターモードである場合）。

しかしながら、両方のうち一方のみがインターモードであれば、層間テキスチャ予測を行わない。層間テキスチャ予測に用いられる基本層のマクロブロック対４１０は、イントラモードの場合にはエンコーディングされなかった元来のイメージデータ（または、デコーディングされた完了したイメージデータ）を有し、インターモードの場合にはエンコーディングされたレジデュアルデータ（または、デコーディングされたレジデュアルデータ）を有する。これは、以下のテキスチャ予測で説明する場合に基本層のマクロブロック対に対しても同様である。

１対のフレームＭＢから層間テキスチャ予測に用いる１対のフィールドＭＢに変換する方法は、図４ｈに示した。図示の如く、１対のフレームマクロブロックＡ，Ｂの偶数ラインを順次に選択して上部フィールドＭＢ（Ａ'）を構成し、１対のフレームマクロブロックＡ，Ｂの奇数ラインを順次に選択して下部フィールドＭＢ（Ｂ'）を構成する。そして、一つのフィールドＭＢ内のラインを埋める時には、上位にあるブロックＡの偶数（または奇数）ラインをまず埋めた後（Ａ＿ｅｖｅｎまたはＡ＿ｏｄｄ）、下位にあるブロックＢの偶数（または奇数）ラインを埋める（Ｂ＿ｅｖｅｎまたはＢ＿ｏｄｄ）。

II．フレームＭＢ→フィールドピクチャのフィールドＭＢの場合
この場合は、現在層のＭＢがフィールドピクチャ内のフィールドＭＢにコーディングされ、該フィールドＭＢに対する層間予測に利用する基本層のＭＢがフレームＭＢにコーディングされている場合で、基本層でマクロブロック対に含まれている映像信号成分は、現在層の対応位置の偶数または奇数フィールド内のマクロブロックに含まれている映像信号成分と同じ成分となる。まず、層間動き予測について説明する。

ＥＬエンコーダ２０は、基本層のマクロブロック対を一つのマクロブロックに併合（垂直方向に１／２に圧縮）させて得たマクロブロック分割モードを、偶数または奇数の仮想基本層のマクロブロックの分割モードとして使用する。図６ａは、これを具体的な例として示す図である。図示のように、基本層の対応マクロブロック対６１０をまず一つのマクロブロック６１１に併合させ（Ｓ６１）、該併合によって得られた分割モードを、現在のマクロブロック６１３の層間動き予測に用いる仮想基本層のマクロブロック６１２に適用する（Ｓ６２）。併合する規則は、前述の場合Ｉと同一であり、対応するマクロブロック対６１０うち少なくともいずれか一つがイントラモードにコーディングされている場合に処理する方式も、前述の場合Ｉと同一である。

そして、参照インデックスと動きベクトルを導出する過程もまた、前述の場合Ｉにおける説明と同一である。ただし、場合Ｉでは、マクロブロックが偶数と奇数の対としてフレーム内に載せられるから、上部ＭＢ及び下部ＭＢに同じ導出過程を適用するが、本場合IIは、現在コーディングするフィールドピクチャ内には基本層のマクロブロック対６１０に対応するマクロブロックが一つのみ存在するので、図６ｂ及び図６ｃに例示するように、一つのフィールドＭＢに対してのみ導出過程を適用する点が異なる。

上記実施例では、ＥＬエンコーダ２０が仮想基本層のマクロブロックに関する動き情報を予測する場合において、基本層の対応マクロブロック対の動き情報に基づいて分割モード、参照インデックスそして動きベクトルの順に導出した。

本発明による他の実施例では、基本層の対応マクロブロック対の動き情報に基づいて、仮想基本層のマクロブロックに対してまず参照インデックスと動きベクトルを導出した後、該導出された結果に基づいて最後に仮想基本層のマクロブロックの分割モードを決定する。図７ａ及び７ｂは、本実施例によって、仮想基本層のフィールドマクロブロックの参照インデックスと動きベクトルが導出されることを図式的に示す図で、この場合は、上部または下部の一つのマクロブロックに対して基本層のマクロブロック対の動き情報を用いて該当動き情報を導出する点が異なるだけで、導出するのに適用される動作は、上記の図５ａ及び図５ｂを参照して説明した場合Ｉと同一である。

最後に分割モードを決定する時は、導出された動きベクトルと参照インデックスが同一である４×４ブロック単位を結合した後、該結合されたブロックが許容される分割モードであれば、結合された形態に指定し、そうでない場合は結合される前の分割モードのままとする。

前述した各実施例で、基本層の対応するマクロブロック対がいずれもイントラモードであれば動き予測は行われず、仮想基本層のマクロブロック対の動き情報も構成せず、一方、両方のうち一方のみイントラモードであれば、動き予測は、この場合について上に説明したようにして行われる。

次に、層間テキスチャ予測について説明する。図６ｄは、本場合（フレームＭＢ→フィールドピクチャのフィールドＭＢの場合）に対する層間テキスチャ予測方法の例を示す図である。ＥＬエンコーダ２０は、まず、対応する基本層のマクロブロック対６１０の各ブロックモードを確認する。両方ともイントラモードまたはインターモードであれば、この１対のフレームマクロブロック６１０から一つの臨時フィールドＭＢ６２１を構成する。この時、現在のマクロブロック６１３が偶数フィールドピクチャに属するＭＢであれば、対応するマクロブロック対６１０の偶数ラインから臨時フィールドＭＢ６２１を構成し、奇数フィールドピクチャに属するＭＢであれば、対応するマクロブロック対６１０の奇数ラインから臨時フィールドＭＢ６２１を構成する。構成する方法は、図４ｈで一つのフィールドＭＢ（Ａ'またはＢ'）を構成する方法と同一である。

臨時フィールドＭＢ ６２１が構成されると、該フィールドＭＢ ６２１内のテキスチャ情報に基づいて、現在フィールドマクロブロック６１３に対してイントラベース予測を行ったり（対応するマクロブロック対６１０がいずれもイントラモードである場合）、レジデュアル予測を行う（対応するマクロブロック対６１０がいずれもインターモードである場合）。

もし、対応するフレームマクロブロック対６１０のうち一方のみがインターモードであれば、層間テキスチャ予測を行わない。

III ．ＭＢＡＦＦフレームのフィールドＭＢ→フレームＭＢの場合
この場合は、現在層のＭＢがフレームＭＢにコーディングされ、該フレームＭＢの層間予測に利用する基本層のＭＢがＭＢＡＦＦフレーム内のフィールドＭＢにコーディングされている場合で、基本層の一つのフィールドＭＢに含まれている映像信号成分は、現在層の対応位置のマクロブロック対に含まれている映像信号成分と同じ成分となる。まず、層間動き予測について説明する。

ＥＬエンコーダ２０は、基本層のあるマクロブロック対内の上部または下部のマクロブロックを伸張（垂直方向に２倍に伸張）させて得たマクロブロック分割モードを、仮想基本層のマクロブロック対の分割モードとして使用する。図８ａは、これを具体的な例として示す図である。以下の説明及び図面では、上部フィールドＭＢが選ばれたとしたが、下部フィールドＭＢが選択された場合にも、下記の説明を同様に適用することができるもちろんである。

図８ａに示すように、基本層の対応マクロブロック対８１０内の上部フィールドＭＢを２倍に伸張させて２個のマクロブロック８１１を構成し（Ｓ８１）、この伸張によって得られた分割形態を仮想基本層のマクロブロック対８１２に適用する（Ｓ８２）。

どころで、対応する一つのフィールドＭＢを垂直に２倍伸張させる時、マクロブロックの分割モードで許容されない分割形態が発生するおそれがあるので、これを防止するためにＥＬエンコーダ２０は、下記のような規則によって伸張された分割形態による分割モードを決定する。

１）基本層の４×４、８×４、そして１６×８のブロックは、垂直に２倍大きくなったそれぞれ４×８、８×８、そして１６×１６のブロックと決定する。

２）基本層の４×８、８×８、８×１６、そして１６×１６のブロックはそれぞれ、２個の同一大きさの上下ブロックと決定する。図８ａに例示するように、基本層の８×８ Ｂ８＿０ブロックは、２個の８×８ブロックと決定される（８０１）。一つの８×１６のブロックと指定しない理由は、その左または右に隣接した伸張されたブロックが８×１６の分割ブロックにならないこともあり、このような場合にはマクロブロックの分割モードが支援されないためである。

もし、対応するマクロブロック対８１０のうちいずれか一方がイントラモードにコーディングされている場合には、ＥＬエンコーダ２０は、イントラモードではなくインターモードの上部または下部のフィールドＭＢを選択して上記の伸張過程を行い、仮想基本層のマクロブロック対８１２の分割モードを決定する。

もし、両方ともイントラモードである場合には、層間テキスチャ予測のみを行い、前述した伸張過程を通じた分割モード決定と、以下で説明される参照インデックス及び動きベクトル導出過程を行わない。

ＥＬエンコーダ２０は、仮想基本層のマクロブロック対８１２の参照インデックスを、対応する一つのフィールドＭＢの参照インデックスから導出すべく、対応する基本層の８×８ブロックＢ８＿０の参照インデックスを、図８ｂに例示するように、２個の上下８×８ブロックの各参照インデックスと決定し、決定された各８×８ブロックの参照インデックスを２で除算し、これを最終参照インデックス値とする。これは、フィールドＭＢに対して偶数及び奇数フィールドに区分されたピクチャを基準にして基準ピクチャの番号を指定し、よって、フレームシーケンスに適用するためにはピクチャ番号を半分に縮める必要があるためである。

ＥＬエンコーダ２０が仮想基本層のフレームマクロブロック対８１２に対する動きベクトルを導出する時は、図８ｃに例示するように、対応する基本層の４×４ブロックの動きベクトルを、仮想基本層のマクロブロック対８１２内の４×８ブロックの動きベクトルと決定し、該決定された動きベクトルに対して垂直成分に２を乗算したベクトルを最終動きベクトルとして使用する。これは、１個のフィールドＭＢに載せられた映像成分が２個のフレームＭＢの映像成分に相応するようになり、フレーム映像では大きさが垂直軸に２倍に拡大されるためである。

前述した実施例では、ＥＬエンコーダ２０が仮想基本層のマクロブロック対に関する動き情報を予測する場合において、基本層の対応フィールドＭＢの動き情報に基づいて分割モード、参照インデックスそして動きベクトルの順に導出した。

本発明による他の実施例では、基本層の対応フィールドＭＢの動き情報に基づいて、現在マクロブロック対の層間予測に用いる仮想ＢＬのＭＢ対の動き情報を、図９ａに例示するように、参照インデックスと動きベクトルをまず求めた後、該求められた結果に基づいて最後に仮想基本層のマクロブロック対の各分割モードを決定する。最後に分割モードを決定する時は、導出された動きベクトルと参照インデックスが同一である４×４ブロック単位を結合した後、該結合されたブロックが許容される分割形態であれば、結合された形態と指定し、そうでない場合は結合される前の分割形態と指定する。

図９ａの実施例についてより詳細に説明すると、図示のように、現在マクロブロック対の動き予測に用いる仮想ＢＬのフレームＭＢ対に対する参照インデックスと動きベクトルを導出すべく、基本層ＢＬのインターモードのフィールドＭＢを選択し、該ＭＢの動きベクトルと参照インデックスを使用する。もし、両マクロブロックがいずれもインターモードであれば、上部または下部ＭＢのうち任意の一つを選択（９０１または９０２）し、そのＭＢの動きベクトルと参照インデックス情報を使用する。参照インデックスに対しては、図示のように、選択されたＭＢの上部８×８ブロックの該当値を仮想ＢＬの上部ＭＢの上部と下部８×８ブロックの参照インデックスに複写し、選択されたＭＢの下部８×８ブロックの該当値を仮想ＢＬの下部ＭＢの上部と下部８×８ブロックの参照インデックスに複写する。動きベクトルに対しては、図示のように、選択されたＭＢの各４×４ブロックの該当値を、仮想ＢＬのマクロＭＢ対の上下隣接した両４×４ブロックの動きベクトルとして同様に使用する。本発明による他の実施例では、図９ａの例示とは違い、仮想ＢＬのフレームＭＢ対の動きベクトルと参照インデックスを導出すべく、対応するＢＬのＭＢ対の動き情報を混合して使用することができる。図９ｂは、本実施例による動きベクトルと参照インデックスの導出過程を例示した図である。前述した動き情報の導出過程の説明と図９ｂの図面から、仮想ＢＬのＭＢ対内の各サブブロック（８×８ブロックと４×４ブロック）の参照インデックスと動きベクトルの対応複写関係は直観的に理解することができるので、その具体的な説明は省略する。

ただし、図９ｂの実施例では、基本層のフィールドＭＢ対の動き情報がいずれも使われるので、両フィールドＭＢ対の中からいずれか一つがイントラモードである場合に、そのＭＢの動き情報を他のインターモードＭＢの動き情報を用いて導出するようになる。すなわち、図４ｂに例示するように、インターモードＭＢの動きベクトルと参照インデックスを複写してイントラモードＭＢの該当情報として構成したり、または、図４ｃに例示するように、イントラモードＭＢを０の動きベクトルと０の参照インデックスを持つインターモードＭＢと見なしたり、または、図４ｄに例示するように、イントラモードＭＢに対して、インターモードＭＢの参照インデックスは複写して設定し、動きベクトルは０の動きベクトルを持つようにした後に、図９ｂに例示するように、仮想ＢＬのＭＢ対の動きベクトルと参照インデックス情報を導出できる。動きベクトルと参照インデックス情報が導出されると、上述したように、該導出された情報に基づいて仮想ＢＬのＭＢ対に対するブロックモードが決定される。

一方、基本層の対応するフィールドＭＢ対がいずれもイントラモードであれば、動き予測は行われない。

次に、層間テキスチャ予測について説明する。図８ｄは、この場合（ＭＢＡＦＦフレームのフィールドＭＢ→フレームＭＢの場合）に対する層間テキスチャ予測方法の例を示す図である。ＥＬエンコーダ２０は、まず、対応する基本層のフィールドマクロブロック対８１０の各ブロックモードを確認する。両方ともイントラモードであるか、インターモードであれば、下記で説明する方式の通り、対応する基本層のフィールドマクロブロック対８１０を臨時のフレームマクロブロック対８２１に変換して現在フレームマクロブロック対８１３に対してイントラベース予測を行ったり（対応するマクロブロック対８１０がいずれもイントラモードである場合−マクロブロック対８１０）は、上述したように、デコーディングが完了したデータを有しており、デブロッキングフィルタはフレームマクロブロック対８２１に適用される。）、レジデュアル予測を行う（対応するマクロブロック対８１０がいずれもインターモードである場合）。

１対のフィールドＭＢから１対のフレームＭＢに変換する方法を図８ｅに示す。図示のように、１対のフィールドマクロブロックＡ，Ｂを交互に選択（Ａ→Ｂ→Ａ→Ｂ→Ａ→，…）しながらそのブロック内のラインを上部から順次に取り、取った順番で上部から順に配置し、１対のフレームＭＢＡ'，Ｂ'を構成する。このように１対のフィールドＭＢのラインを再配置することによって、上部のフレームＭＢ（Ａ'）は１対のフィールドマクロブロックＡ，Ｂの上位半分のラインから構成され、下部のフレームＭＢ（Ｂ'）は、下位半分のラインから構成される。

一方、基本層の対応するフィールドマクロブロック対８１０うちいずれか一方のみがインターモードである場合には、現在のフレームマクロブロック対８１３のブロックモードによって基本層のフィールドマクロブロック対８１０のうち一つのブロックを選択し、これを層間テキスチャ予測に利用する。または、現在のフレームマクロブロック対８１３のブロックモードの決定前に、下記で説明する各方式を適用して層間予測を行った後、そのマクロブロック対８１３の各ブロックモードを決定しても良い。

図８ｆ及び図８ｇは、一つのブロックを選択して層間予測を行う例を示す図である。現在のフレームマクロブロック対８１３がインターモードにコーディングされる場合には（または、インターモードによる予測を行う場合には）、図８ｆのように、基本層のフィールドマクロブロック対８１０からインターモードのブロック８１０ａを選択し、該ブロックを垂直方向にアップサンプリングし、２個のマクロブロックに該当する大きさ８３１にした後、これら２個のマクロブロックを現在フレームマクロブロック対８１３のレジデュアル予測に用いる。現在のフレームマクロブロック対８１３がインターモードにコーディングされなかった場合には（または、イントラモードによる予測を行う場合には）、図８ｇのように、基本層のフィールドマクロブロック対８１０からイントラモードのブロック８１０ｂを選択し、該ブロックを垂直方向にアップサンプリングして２個のマクロブロックに該当する大きさ８４１とし、これにデブロッキングフィルタを適用した後に、これら２個のマクロブロックを現在フレームマクロブロック対８１３のイントラベース予測に用いる。

図８ｆ及び図８ｇに例示された、一つのブロックを選択してアップサンプリングした後、アップサンプリングされたＭＢ対を層間テキスチャ予測に用いる方法は、層間ピクチャレートが相異なる場合にも適用することができる。拡張層のピクチャレートが基本層のピクチャレートよりも高い場合には、拡張層のピクチャシーケンスには時間的に対応する基本層のピクチャが存在しないピクチャが発生することになる。このように時間的に対応するピクチャがない拡張層のピクチャに属するフレームマクロブロック対に対して、それよりも時間的に以前である基本層のピクチャ内の対応位置（ｓｐａｔｉａｌｌｙ ｃｏ−ｌｏｃａｔｅｄ）にあるフィールドマクロブロック対のうち一つを用いて層間テキスチャ予測を行うことができる。

図８ｈは、これに対する例を示すもので、拡張層のピクチャレートが基本層のピクチャレートの２倍である場合を取り上げている。

例示のように、拡張層のピクチャレートが基本層の２倍であるから、ＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）がｎ２の場合のように、２ピクチャに１ピクチャごとにＰＯＣがマッチングされる基本層のピクチャを有することができない。ここで、ＰＯＣがマッチングされるということは、時間的に一致するということを意味する。

このように、時間的にマッチングされるピクチャがない場合には（ＰＯＣ＝ｎ２の場合）、以前のピクチャ（すなわち、ＰＯＣが１小さいピクチャ）の位置に対応するフィールドマクロブロック対内の下部フィールドマクロブロック８０２を垂直にアップサンプリングし（Ｓ８２）、１対の臨時マクロブロック対８５２を生成した後、該臨時マクロブロック対８５２を、現在フレームマクロブロック対８１５に対する層間テキスチャ予測を行うのに使用する。時間的にマッチングされるピクチャがある場合には（ＰＯＣ＝ｎ１の場合）、同時間のピクチャの位置に対応するフィールドマクロブロック対内の上部フィールドマクロブロック８０１を垂直にアップサンプリングし（Ｓ８１）、１対の臨時マクロブロック対８５１を生成し、これを、現在フレームマクロブロック対８１４に対する層間テキスチャ予測を行うのに使用する。この時、アップサンプリングを通じて生成された臨時マクロブロック対８５１または８５２のうち、イントラモードからデコーディングされたブロック対は、デブロッキングフィルタが適用された後に層間テキスチャ予測に用いられる。

本発明による他の実施例では、同時間のピクチャが基本層に存在する場合（図８ｈの例で、ＰＯＣ＝ｎ１の場合）において、図８ｈに例示された方法に代えて、図８ｄに例示された実施例によって１対のフィールドＭＢからフレームＭＢ対を生成した後に層間テキスチャ予測に用いても良い。そして、同時間のピクチャが基本層に存在しないピクチャの場合（図８ｈの例で、ＰＯＣ＝ｎ２の場合）には、図８ｈのように、層間テキスチャ予測を行っても良く、または、当該ピクチャ内のマクロブロックに対しては層間テキスチャ予測を行わなくても良い。

したがって、本発明による一実施例では、層間テキスチャ予測が図８ｄに例示された方法によって行なわれたか、図８ｈに例示された方法によって行なわれたかを表すフラグ‘field_base_flag'を割り当ててコーディング情報に含める。このフラグには、図８ｄのような方法でテキスチャ予測が行われた場合には、例えば‘０'の値が、図８ｈのような方法でテキスチャ予測された場合には、例えば‘１'の値がセットされる。そして、このフラグは、拡張層のシーケンスパラメータセット、スケーラブル拡張子内のシーケンスパラメータセット、ピクチャパラメータセット、スケーラブル拡張子内のピクチャパラメータセット、スライスヘッダ、スケーラブル拡張子内のスライスヘッダ、マクロブロック層、またはスケーラブル拡張子内のマクロブロック層で定義され、デコーダに転送される。

IV．フィールドピクチャのフィールドＭＢ→フレームＭＢの場合
この場合は、現在層（ＥＬ）のＭＢがフレームＭＢにコーディングされ、該フレームＭＢの層間予測に利用する基本層（ＢＬ）のＭＢが、フィールドピクチャ内のフィールドＭＢにコーディングされている場合で、基本層の一つのフィールドＭＢに含まれている映像信号成分は、現在層の対応位置のマクロブロック対に含まれている映像信号成分と同じ成分となる。まず、層間動き予測について説明する。

ＥＬエンコーダ２０は、基本層の偶数または奇数フィールド内の一つのマクロブロックを垂直方向に２倍に伸張させて得た分割モードを、仮想基本層のマクロブロックの分割モードとして使用する。図１０ａは、これを具体的な例に挙げて示している。図１０ａに例示された過程は、ＭＢＡＦＦフレーム内の上部または下部のフィールドＭＢが選択される前述の場合III と比較し、偶数または奇数フィールド内の位置に対応する一つのフィールドＭＢ １０１０が自然に用いられる点が異なるだけで、対応するフィールドＭＢ １０１０を伸張し、この伸張によって得られた２個のマクロブロック１０１１の分割形態を仮想基本層のマクロブロック対１０１２に適用する点は同一である。そして、対応する一つのフィールドＭＢ １０１０を垂直に２倍伸張させる時、マクロブロックの分割モードで許容されない分割形態が発生するおそれがあるが、これを防止するためにＥＬエンコーダ２０が伸張された分割形態による分割モードを決定する規則も、場合III の１）と２）に提示されたそれと同一である。

もし、対応するマクロブロックがイントラモードにコーディングされている場合には、ＥＬエンコーダ２０は、前述した伸張過程を通じた分割モード決定と、以下で説明される参照インデックス及び動きベクトル導出過程を行わない。すなわち、層間動き予測は行われない。

そして、参照インデックスと動きベクトルを導出する過程もまた、前述の場合III において説明したそれと同一である。ただし、場合III では、基本層の対応するマクロブロックが偶数と奇数の対として一つのフレーム内に載せられるようになるから、上部ＭＢ及び下部ＭＢのうち一つを選択して導出過程に適用するが、本場合IVでは、現在コーディングするマクロブロックに対応する基本層の対応するマクロブロックは一つのみ存在するので、マクロブロックの選択過程なしで、図１０ｂ及び１０ｃに例示するように、その対応する一つのフィールドＭＢの動き情報から仮想基本層のマクロブロック対１０１２に対する動き情報を導出した後、これを現在マクロブロック対１０１３の層間動き予測に用いる。

図１１は、本発明の他の実施例によって仮想基本層のマクロブロック対の参照インデックスと動きベクトルが導出されることを図式的に示す図で、この場合は、基本層の偶数または奇数フィールドの一つのマクロブロックの動き情報から仮想基本層のマクロブロック対の動き情報を導出する点が異なるだけで、導出するのに適用される動作は、上記の図９ａを参照して説明した場合と同一である。ただし、対応する基本層（ＢＬ）の一つのフィールド内に上部及び下部マクロブロック対が存在しないので、図９ｂに例示された場合においてマクロブロック対の動き情報を混合して使用する場合は、本場合IVには適用されない。

図１０ａ乃至１０ｃを参照して説明した実施例では、ＥＬエンコーダ２０が仮想基本層のマクロブロック対に関する動き情報を予測する場合において、基本層の対応フィールドＭＢの動き情報に基づいて分割モード、参照インデックスそして動きベクトルの順に導出したが、図１１による他の実施例では、基本層の対応フィールドＭＢの動き情報に基づいて、仮想基本層のマクロブロック対に対し、まず参照インデックスと動きベクトルを導出した後、該導出された結果に基づいて最後に仮想基本層のマクロブロック対の分割モードを決定する。最後に分割モードを決定する時には、導出された動きベクトルと参照インデックスが同一である４×４ブロック単位を結合した後、該結合されたブロックが許容される分割形態であれば、結合された形態と指定し、そうでない場合は結合される前の分割形態と指定する。

前述の各実施例で、テキスチャ予測の場合には、基本層の対応するフィールドＭＢがイントラモードであれば、現在マクロブロックに対してイントラベース予測コーディングが行われ、インターモードであれば、現在マクロブロックがインターモードにコーディングされる場合に層間レジデュアル予測コーディングが行われる。もちろん、この時、予測に用いるフィールドＭＢは、垂直軸にアップサンプリングした後にテキスチャ予測に用いる。

本発明による他の実施例では、奇数または偶数のフィールドに在るフィールドＭＢから仮想のマクロブロックを生成してマクロブロック対を構成した後、該構成されたマクロブロック対から仮想基本層のマクロブロック対の動き情報を導出する。この例が、図１２ａ及び図１２ｂに示されている。

本実施例では、基本層の対応する偶数（または奇数）フィールドＭＢの参照インデックスと動きベクトルを複写（１２０１，１２０２）して仮想の奇数（または偶数）フィールドＭＢを生成し、１対のマクロブロック１２１１を構成し、該構成されたマクロブロック対１２１１の動き情報を混合して仮想基本層のマクロブロック対１２１２の動き情報を導出する（１２０３，１２０４）。動き情報を混合して使用する一例は、図１２ａ及び１２ｂに例示するように、参照インデックスの場合に、対応する上部マクロブロックの上位８×８ブロックは仮想基本層のマクロブロック対１２１２の上部マクロブロックの上位８×８ブロックに、下位８×８ブロックは下部マクロブロックの上位８×８ブロックに、対応する下部マクロブロックの上位８×８ブロックは仮想基本層のマクロブロック対１２１２の上部マクロブロックの下位８×８ブロックに、下位８×８ブロックは下部マクロブロックの下位８×８ブロックに対応させて参照インデックスを適用する（１２０３）。なお、動きベクトルの場合に、参照インデックスによって対応させて適用し（１２０４）、これは、図１２ａ及び１２ｂから直観的に理解できるので、その説明は省略する。

図１２ａ及び図１２ｂに例示された実施例において、仮想基本層のマクロブロック対１２１２の分割モードは、導出された参照インデックスと動きベクトルに基づいて決定し、その方法は前述した通りである。

次に、層間テキスチャ予測について説明する。図１０ｄは、本場合（フィールドピクチャのフィールドＭＢ→フレームＭＢの場合）に対する層間テキスチャ予測方法の例を示す図である。ＥＬエンコーダ２０は、まず、対応する基本層のフィールドマクロブロック１０１０を垂直方向にアップサンプリングし、臨時の２個のマクロブロック１０２１とする。そして、対応するフィールドマクロブロック１０１０がイントラモードであれば、生成された臨時の２個のマクロブロック１０２１にデブロッキングフィルタを適用した後、これを基準として現在フレームマクロブロック対１０１３に対してイントラベース予測を行い、対応するフィールドマクロブロック１０１０がインターモードであれば、生成された臨時の２個のマクロブロック１０２１を基準として現在フレームマクロブロック対１０１３に対してレジデュアル予測を行う。

Ｖ．フィールドＭＢ→フィールドＭＢの場合
この場合は、フィールドＭＢがフィールドピクチャに属したものか、ＭＢＡＦＦフレームに属したものかに細分されるので、下記の４場合に分けられる。
ｉ）基本層と拡張層がＭＢＡＦＦフレームの場合
この場合は、図１３ａに示すように、対応する基本層（ＢＬ）のマクロブロック対の動き情報（分割モード、参照インデックス、動きベクトル）を、仮想基本層のマクロブロック対の動き情報としてそのまま複写して使用する。ただし、複写は、同一パリティのマクロブロック間で行われるようにする。すなわち、動き情報が複写される時、偶数フィールドＭＢは偶数フィールドＭＢに、奇数フィールドＭＢは奇数フィールドＭＢに複写されて、仮想層のマクロブロックを構成し、このマクロブロックが現在層のマクロブロックの動き予測に用いられる。

テキスチャ予測の場合には、公知のフレームＭＢとフレームＭＢ間の層間テキスチャ予測方法が適用される。

ii）基本層がフィールドピクチャでかつ拡張層がＭＢＡＦＦフレームの場合
この場合は、図１３ｂに示すように、対応する基本層（ＢＬ）の一つのフィールドマクロブロックの動き情報（分割モード、参照インデックス、動きベクトル）を、仮想基本層のマクロブロック対の各マクロブロックの動き情報としてそのまま複写して使用する。この時には、単一フィールドＭＢの動き情報を上部及び下部のフィールドＭＢに全て使用することになるので、同一パリティ間複写規則は適用されない。

テキスチャ予測の場合には、同一フィールド属性（偶数フィールド、奇数フィールド）を持つ拡張層のＭＢと基本層のＭＢ間に、イントラベース予測（基本層の対応ブロックがイントラモードである場合）を適用したり、レジデュアル予測（基本層の対応ブロックがインターモードである場合）を適用する。

iii）基本層がＭＢＡＦＦフレームで且つ拡張層がフィールドピクチャの場合
この場合は、図１３ｃに示すように、現在フィールドＭＢに対応する基本層（ＢＬ）のマクロブロック対のうち、同一パリティのフィールドＭＢを選択し、このフィールドＭＢの動き情報（分割モード、参照インデックス、動きベクトル）を、仮想基本層のフィールドマクロブロックの動き情報としてそのまま複写して使用する。

テキスチャ予測の場合には、同一フィールド属性（偶数フィールド、奇数フィールド）を持つ拡張層のＭＢと基本層のＭＢ間に、イントラベース予測（基本層の対応ブロックがイントラモードである場合）を適用したり、レジデュアル予測（基本層の対応ブロックがインターモードである場合）を適用する。

iv）基本層と拡張層がフィールドピクチャである場合
この場合は、図１３ｄに示すように、対応する基本層（ＢＬ）のフィールドマクロブロックの動き情報（分割モード、参照インデックス、動きベクトル）を、仮想基本層のフィールドマクロブロックの動き情報としてそのまま複写して使用する。この時も、複写は同一パリティのマクロブロック間で行われるようにする。

テキスチャ予測の場合には、公知のフレームＭＢとフレームＭＢ間の層間テキスチャ予測方法が適用される。

以上の層間予測の説明は、基本層と拡張層が同一解像度を持つ場合についてのものであった。以下では、拡張層が基本層よりも解像度の高い場合（SpatialScalabilityType()が０より大きい場合）に対して各層のピクチャの類型（順次走査方式のフレーム、ＭＢＡＦＦフレーム、飛び越し走査方式のフィールド）及び／またはピクチャ内のマクロブロックの類型を確認し、該確認された類型によって層間予測方法を適用することについて説明する。まず、層間動き予測について説明する。

Ｍ＿Ａ）．基本層：順次走査方式のフレーム→拡張層：ＭＢＡＦＦフレーム
この場合は、その処理方法を示す図１４ａのように、まず、基本層の対応フレームの全てのマクロブロックの動き情報を複写し、仮想のフレームを生成する。そして、アップサンプリングを行うが、このアップサンプリングでは、基本層のピクチャのテキスチャ情報を用いて、当該ピクチャの解像度（ピクチャ大きさ）が現在層の解像度（ピクチャ大きさ）と同一となるような割合でインタポレーションを行い、また、当該仮想フレームの各マクロブロックの動き情報に基づいてインタポレーションによって拡大されたピクチャの各マクロブロックの動き情報を構成するが、この構成方法は、公知の方法の一つとすれば良い。このように構成された暫定基本層のピクチャは、現在の拡張層ピクチャの解像度と同じ解像度を持つことになる。したがって、前述した層間動き予測を適用することが可能になる。

図１４ａの場合は、基本層がフレームで、現在層がＭＢＡＦＦフレームであるから、該当のピクチャ内の各マクロブロックは、フレームＭＢとＭＢＡＦＦフレーム内フィールドＭＢになる。したがって、前述の場合Ｉを適用して層間動き予測を行う。ところが、上述したように、ＭＢＡＦＦフレームはフィールドＭＢ対の他にフレームＭＢ対も同一フレーム内に含んでいてもよい。したがって、暫定基本層のピクチャ内のマクロブロック対と対応する現在層のマクロブロック対の類型が、フィールドＭＢではなくフレームＭＢと確認される場合には、公知のフレームＭＢ間の動き予測方法、すなわち、ｆｒａｍｅ＿ｔｏ＿ｆｒａｍｅの予測方式（これは、情報の単純な動き情報の複写である。）を適用する。

Ｍ＿Ｂ）．基本層：順次走査方式のフレーム→拡張層：飛び越し走査方式のフィールド
この場合は、その処理方法を示す図１４ｂのように、まず、基本層の対応フレームの全てのマクロブロックの動き情報を複写し、仮想のフレームを生成する。そして、アップサンプリングを行うが、このアップサンプリングでは基本層のピクチャのテキスチャ情報を用いて、当該ピクチャの解像度が現在層の解像度と同一となるような割合でインタポレーションが行われ、また、構成された仮想フレームの各マクロブロックの動き情報に基づいてインタポレーションによって拡大されたピクチャの各マクロブロックの動き情報を構成する。このように構成された暫定基本層のピクチャ内の各マクロブロックはフレームＭＢで、現在層の各マクロブロックはフィールドピクチャ内のフィールドＭＢであるから、前述の場合IIを適用して層間動き予測を行う。

Ｍ＿Ｃ）．基本層：ＭＢＡＦＦフレーム→拡張層：順次走査方式のフレーム
この場合は、その処理方法を示す図１４ｃのように、まず、基本層の対応ＭＢＡＦＦフレームを順次走査方式のフレームに変換する。ＭＢＡＦＦフレームのフィールドＭＢ対に対しては、順次走査方式のフレームに変換するためには前述の場合III の方法を適用し、フレームＭＢ対に対しては、公知のｆｒａｍｅ＿ｔｏ＿ｆｒａｍｅの予測方式を適用する。もちろん、この時のIII の方法適用は、層間予測により得られるデータを用いて仮想のフレームとそのフレーム内の各マクロブロックの動き情報を生成するもので、予測データと実際コーディングする層のデータとの差をコーディングする動作を行うものではない。

仮想のフレームが得られると、その仮想フレームに対してアップサンプリングを行う。このアップサンプリングでは、基本層の解像度が現在層の解像度と同一となるような割合でインタポレーションが行われ、また、公知の方法の一つを用いて、仮想フレームの各マクロブロックの動き情報に基づいて拡大されたピクチャの各マクロブロックの動き情報を構成する。このように構成された暫定基本層のピクチャ内の各マクロブロックはフレームＭＢで、現在層の各マクロブロックもフレームＭＢであるから、公知のフレームＭＢ対フレームＭＢの層間動き予測を行う。

Ｍ＿Ｄ）．基本層：飛び越し走査方式のフィールド→拡張層：順次走査方式のフレーム
図１４ｄは、この場合についての処理方式の一例を示す。この場合は、ピクチャの類型とピクチャ内のマクロブロックの類型が同一である。図示のように、まず、基本層の対応フィールドを順次走査方式のフレームに変換する。この変換されたフレームは現在層のピクチャと同じ垂直／水平の比率を持つ。飛び越し走査方式のフィールドを順次走査方式のフレームに変換するためには、アップサンプリングと前述の場合IVの方法を適用する。もちろん、この時のIVの方法適用も、層間予測により得られるデータを用いて仮想のフレームのテキスチャデータとそのフレーム内の各マクロブロックの動き情報を生成するもので、予測データと実際コーディングする層のデータとの差をコーディングする動作を行うものではない。

仮想のフレームが得られると、該仮想フレームに対してアップサンプリングを行う。このアップサンプリングにおいて、仮想フレームが現在層の解像度と同一となるようにインタポレーションが行われ、また、公知の方法の一つを用いて、仮想フレームの各マクロブロックの動き情報に基づいてインタポレーションされたピクチャの各マクロブロックの動き情報を構成する。このように構成された暫定基本層のピクチャ内の各マクロブロックはフレームＭＢで、現在層の各マクロブロックもフレームＭＢであるから、公知のフレームＭＢ対フレームＭＢの層間動き予測を行う。

図１４ｅは、本発明の他の実施例による、上記Ｍ＿Ｄ）の場合についての処理方式を示す図である。本実施例は、図示のように、基本層の奇数または偶数の対応フィールドを順次走査方式のフレームに変換する。飛び越し走査方式のフィールドを順次走査方式のフレームに変換するためには、図１４ｄのように、アップサンプリングと前述の場合IVの方法を適用する。仮想のフレームが得られると、該仮想フレームに対して、公知の方法の一つである、同一の垂直／水平比率を持つピクチャ間の動き予測方法を、現在層のピクチャと暫定層の仮想のフレーム間に適用し、現在層の順次走査方式のピクチャ内の各マクロブロックの動き情報を予測コーディングする。

図１４ｅに例示された方法は、図１４ｄに例示された方法と比較すると、臨時予測情報が生成されないという点が異なる。
図１４ｆは、本発明のさらに他の実施例による、上記Ｍ＿Ｄ）の場合についての処理方式を示す図である。本実施例は、図示のように、基本層の対応フィールドの全てのマクロブロックの動き情報を複写し、仮想のピクチャを生成する。そして、アップサンプリングを行うが、このアップサンプリングでは、基本層のピクチャのテキスチャ情報を用い、また、垂直及び水平のインタポレーション比率を異ならせることによって、拡大されたピクチャが現在層のピクチャと同一大きさ（同一解像度）を持つようにし、また、公知の方法の一予測方法（例えば、ＥＳＳ（Ｅｘｔｅｎｄｅｄ Ｓｐｅｃｉａｌ Ｓｃａｌａｂｉｌｉｔｙ））を仮想のピクチャに適用し、拡大されたピクチャの動き情報と各種シンタックス情報を構成する。ここで構成される動きベクトルは、拡大された比率に合うように伸張される。暫定基本層のアップサンプリングされたピクチャが構成されると、このピクチャを用いて現在層のピクチャ内の各マクロブロックに対する層間動き予測を適用し、現在層のピクチャ内の各マクロブロックの動き情報をコーディングする。この時に適用する層間予測方式は、公知のフレームＭＢ対フレームＭＢの層間動き予測方式とする。

図１４ｇは、本発明のさらに他の実施例による、上記Ｍ＿Ｄ）の場合についての処理方式を示す図である。本実施例は、図示のように、まず、基本層の対応フィールドの全てのマクロブロックの動き情報を複写し、仮想のピクチャを生成する。その後、基本層のピクチャのテキスチャ情報を用いて垂直／水平比率が異なるようにインタポレーションする動作（この動作によって生成されたテキスチャ情報は、層間テキスチャ予測に用いられる。）が行われ、また、前記仮想のピクチャ内の動き情報を用いて現在層のピクチャ内の各マクロブロックに対する層間動き予測を同時に行う公知の方法の一つ、例えば、ＪＳＶＭ（Ｊｏｉｎｔ Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｍｏｄｅｌ）に定義されたＥＳＳ（Ｅｘｔｅｎｄｅｄ Ｓｐｅｃｉａｌ Ｓｃａｌａｂｉｌｉｔｙ）を適用し、現在層のピクチャに対する動き予測コーディングを行う。

図１４ｇに例示された方法は、図１４ｆに例示された方法と比較すると、臨時予測情報が生成されないという点が異なる。

Ｍ＿Ｅ）．基本層：ＭＢＡＦＦフレーム→拡張層：ＭＢＡＦＦフレーム
この場合は、その処理方法を示す図１４ｈのように、まず、基本層の対応ＭＢＡＦＦフレームを順次走査方式のフレームに変換する。ＭＢＡＦＦフレームを順次走査方式のフレームに変換するためには、フィールドＭＢ対に対して前述の場合III の方法を適用し、フレームＭＢ対に対してはｆｒａｍｅ＿ｔｏ＿ｆｒａｍｅの予測方式を適用する。もちろん、この時のIII の方法適用は、層間予測により得られるデータを用いて仮想のフレームと該フレーム内の各マクロブロックの動き情報を生成するもので、予測データと実際コーディングする層のデータとの差をコーディングする動作を行うものではない。

仮想のフレームが得られると、その仮想フレームに対してアップサンプリングを行う。このアップサンプリングでは、基本層の解像度が現在層の解像度と一致するような割合でインタポレーションが行われ、また、公知の方法の一つを用いて、当該仮想フレームの各マクロブロックの動き情報に基づいて、拡大されたピクチャの各マクロブロックの動き情報を構成する。このように構成された暫定基本層のピクチャ内の各マクロブロックはフレームＭＢで、現在層の各マクロブロックはＭＢＡＦＦフレーム内のフィールドＭＢであるから、前述の方法Ｉを適用して層間動き予測を行う。ところが、上述したように、ＭＢＡＦＦフレームはフィールドＭＢ対の他にフレームＭＢ対も同一フレーム内に含んでいてもよい。したがって、暫定基本層のピクチャ内のマクロブロック対と対応する現在層のマクロブロック対がフィールドＭＢではなくフレームＭＢである場合には、公知のフレームＭＢ間の動き予測方法、すなわち、ｆｒａｍｅ＿ｔｏ＿ｆｒａｍｅの予測方式（動き情報の複写）を適用する。

Ｍ＿Ｆ）．基本層：ＭＢＡＦＦフレーム→拡張層：飛び越し走査方式のフィールド
この場合は、その処理方法を示す図１４ｉのように、まず、基本層の対応ＭＢＡＦＦフレームを順次走査方式のフレームに変換する。ＭＢＡＦＦフレームを順次走査方式のフレームに変換するためには、フィールドＭＢ対に対しては前述の場合III の方法を適用し、フレームＭＢ対に対してはｆｒａｍｅ＿ｔｏ＿ｆｒａｍｅの予測方式を適用する。もちろん、この時のIII の方法適用も、層間予測により得られるデータを用いて仮想のフレームと該フレーム内の各マクロブロックの動き情報を生成するもので、予測データと実際コーディングする層のデータとの差をコーディングする動作を行うものではない。

仮想のフレームが得られると、その仮想フレームに対して現在層の解像度と一致するようにインタポレーションを行い、同時に公知の方法の一つを用いて仮想フレームの各マクロブロックの動き情報に基づいて、拡大されたピクチャの各マクロブロックの動き情報を構成する。このように構成された暫定基本層のピクチャ内の各マクロブロックはフレームＭＢで、現在層の各マクロブロックは偶数または奇数フィールド内のフィールドＭＢであるから、前述のIIの方法を適用して層間動き予測を行う。

Ｍ＿Ｇ）．基本層：飛び越し走査方式のフィールド→拡張層：ＭＢＡＦＦフレーム
この場合は、その処理方法を示す図１４ｊのように、まず、基本層の飛び越し走査方式のフィールドを順次走査方式のフレームに変換する。飛び越し走査方式のフィールドを順次走査方式のフレームに変換するためには、アップサンプリングと前述の場合IVの方法を適用する。もちろん、この時のIVの方法適用も、層間予測により得られるデータを用いて仮想のフレームと該フレーム内の各マクロブロックの動き情報を生成するもので、予測データと実際コーディングする層のデータとの差をコーディングする動作を行うものではない。

仮想のフレームが得られると、その仮想フレームに対してアップサンプリングを行って現在層の解像度と一致するようにし、同時に公知の方法の一つを用いて、拡大されたピクチャの各マクロブロックの動き情報を構成する。このように構成された暫定基本層のピクチャ内の各マクロブロックはフレームＭＢで、現在層の各マクロブロックはＭＢＡＦＦフレーム内のフィールドＭＢであるから、前述のＩの方法を適用して層間動き予測を行う。ところが、ＭＢＡＦＦフレームは、上述したように、フィールドＭＢ対の他にフレームＭＢ対も同一フレーム内に含んでいてもよいので、暫定基本層のピクチャ内のマクロブロック対と対応する現在層のマクロブロック対がフィールドＭＢではなくフレームＭＢである場合には、前述のＩの予測方法ではなく公知のフレームＭＢ間の動き予測方法、すなわち、ｆｒａｍｅ＿ｔｏ＿ｆｒａｍｅの予測方式を適用する。

Ｍ＿Ｈ）．基本層：飛び越し走査方式のフィールド→拡張層：飛び越し走査方式のフィールド
この場合は、その処理方式を示す図１４ｋのように、基本層の対応フィールドの全てのマクロブロックの動き情報を複写して仮想のフィールドを生成した後、この仮想フィールドに対してアップサンプリングを行う。このアップサンプリングは、基本層の解像度が現在層の解像度と同一となるような割合で行われ、公知の方法の一つが用いられ、仮想フィールドの各マクロブロックの動き情報に基づいて、拡大されたピクチャの各マクロブロックの動き情報が構成される。このように構成された暫定基本層のピクチャ内の各マクロブロックはフィールドピクチャ内のフィールドＭＢで、現在層の各マクロブロックもまたフィールドピクチャ内のフィールドＭＢであるから、前述のＶのiv）の場合を適用して層間動き予測を行う。

図１４ａ乃至図１４ｋの実施例の説明において、基本層のピクチャのテキスチャ情報の代わりに、暫定層の仮想フィールドまたは仮想フレームのテキスチャ情報をアップサンプリングで使用したとしたが、基本層のピクチャのテキスチャ情報を使用しても良いことはもちろんである。また、後段で行われる層間動き予測に用いられる暫定層のピクチャの動き情報を導出する場合において、不必要な場合には、前述したアップサンプリング過程でテキスチャ情報を用いたインタポレーション過程は省略されても良い。

一方、前述したテキスチャ予測の説明は、基本層と拡張層が空間的に同一解像度を持つ場合についてのものとしたが、上述したように、両層間に相異なる空間的解像度を持つことができる。拡張層が基本層より解像度が高い場合には、基本層のピクチャを拡張層のピクチャの解像度と同一となるようにする動作を行った後、同一解像度の基本層のピクチャが生成されると、このピクチャ内の各マクロブロックに基づいて上記の各場合（Ｉ乃至Ｖ）において該当する層間テキスチャ方式を選択し、予測コーディングを行うことになる。以下では、ピクチャの解像度を同一にさせる過程について説明する。

層間予測のための２個の層を考慮する時、映像信号の走査方式は順次走査（ｐｒｏｇｒｅｓｓｉｖｅ ｓｃａｎｎｉｎｇ）方式と飛び越し走査（ｉｎｔｅｒｌａｃｅｄ ｓｃａｎｎｉｎｇ）方式が存在するので、両層間にコーディングするピクチャフォーマット（順次走査方式と飛び越し走査方式）の組み合わせは、４つとなる。したがって、この４つの場合を区分して、基本層のピクチャの解像度を上げて層間テキスチャ予測を行う方法について説明する。

Ｔ＿Ａ）．拡張層は順次走査方式で、基本層は飛び越し走査方式である場合
図１５ａは、この場合に対する基本層のピクチャを、層間テキスチャ予測に用いる方法の一実施例を示すものである。図示のように、現在層（拡張層）のピクチャ１５００に時間的に対応する基本層のピクチャ１５０１は、出力時点を別にする偶数及び奇数フィールドを含んでいるので、ＥＬエンコーダ２０は、まず、該ピクチャを偶数と奇数フィールドとに分離する（Ｓ１５１）。この時、基本層のピクチャ１５０１は、イントラモードのマクロブロックの場合にはエンコーディングされなかった元来のイメージデータ（または、デコーディングが完了したイメージデータ）（イントラベース予測に用いられる。）を有し、インターモードのマクロブロックの場合には、エンコーディングされたレジデュアルデータ（または、デコーディングされたレジデュアルデータ）（レジデュアル予測に用いられる。）を有する。これは、以下のテキスチャ予測の説明において基本層のピクチャまたは基本層のマクロブロックに対しても同様である。

ＥＬエンコーダ２０は、対応するピクチャ１５０１を各フィールド成分に分離した後、各分離されたフィールド１５０１ａ，１５０１ｂに対しては垂直及び／または水平方向にインタポレーションを行い、拡大された偶数及び奇数ピクチャ１５０２ａ，１５０２ｂを生成する（Ｓ１５２）。このインタポレーションには、６−ｔａｐフィルタリング、二進線形フィルタリングなどの公知の方法のうち一つの方法を使用する。そして、インタポレーションによりピクチャの解像度（すなわち、大きさ）を高める垂直及び水平比率は、基本層のピクチャ大きさ１５０１に対する拡張層のピクチャ大きさ１５００の垂直及び水平比率と同一である。垂直及び水平比率は相互に同一であっても良い。例えば、拡張層のピクチャと基本層のピクチャの解像度比率が２であれば、インタポレーションが、分離された偶数及び奇数フィールド１５０１ａ，１５０１ｂに行われ、垂直方向及び水平方向に各フィールドの各ピクセル間に一つのピクセルがさらに生成される。

インタポレーションが完了すると、拡大された偶数及び奇数フィールド１５０２ａ，１５０２ｂを結合して一つのピクチャ１５０３を構成する（Ｓ１５３）。この結合では、拡大された偶数及び奇数フィールド１５０２ａ，１５０２ｂを交互（１５０２ａ→１５０２ｂ→１５０２ａ→１５０２ｂ→…）に選択して取った各ラインを、取った順番で配置して結合ピクチャ１５０３を構成する。この時、結合されたピクチャ１５０３内の各マクロブロックに対するブロックモードが決定される。例えば、結合されたピクチャ１５０３内のマクロブロックのブロックモードを、基本層のピクチャ１５０１内の同一映像成分がある領域が属するマクロブロックのブロックモードと決定する（このような決定方法は、以下で説明されるピクチャの拡大時にいずれも適用可能である。）。このように構成された結合ピクチャ１５０３は、拡張層の現在ピクチャ１５００と同一な空間的解像度を持つので、順次走査方式の現在ピクチャ１５００内の各マクロブロックに対して、結合されたピクチャ１５０３の対応マクロブロックに基づいてテキスチャ予測、例えば、フレーム対フレーム（ｆｒａｍｅ＿ｔｏ＿ｆｒａｍｅ）ＭＢ間のテキスチャ予測を行う（Ｓ１５４）。

図１５ｂは、本発明の他の実施例による、基本層のピクチャを層間テキスチャ予測に用いる方法を示す図である。本実施例は、図示のように、出力時点を別にする偶数及び奇数フィールドを含んでいる基本層のピクチャをフィールド属性（ｐａｒｉｔｙ）別に分離せずにそのまま垂直及び／または水平方向にインタポレーションを行い（Ｓ１５５）、拡張層ピクチャの解像度（すなわち、大きさ）と同じ解像度の拡大されたピクチャを構成する。そして、このように構成された拡大されたピクチャを用いて、拡張層の順次走査方式の現在ピクチャに対して層間テキスチャ予測を行う（Ｓ１５６）。

一方、前述の図１５ａは、本発明による、偶数及び奇数フィールドを持つピクチャをフィールド属性別に分離してインタポレーションする過程をピクチャレベルで示したものである。これに対し、ＥＬエンコーダ２０は、図１５ａに例示された過程を行う時にはマクロブロックレベルで行い、図１５ａに例示したのと同じ結果を得ることができる。これについて具体的に説明すると、偶数及び奇数フィールドを持つ基本層がＭＢＡＦＦコーディングされた場合、ピクチャ１５０１内の垂直に接したマクロブロック対（現在テキスチャ予測コーディングを行う拡張層ピクチャ内のマクロブロック対の位置に対応する（ｃｏ−ｌｏｃａｔｅｄ）マクロブロック対）は図１６ａまたは１６ｂのような方式で偶数及び奇数フィールド成分の映像信号を含んでいてもよい。図１６ａは、各マクロブロックＡ，Ｂに偶数フィールドと奇数フィールド成分がインターリービングされている方式（フレームＭＢ対方式）であり、図１６ｂは、マクロブロック対の各マクロブロックＡ，Ｂが同一フィールド属性の映像ラインを含む方式（フィールドＭＢ対方式）である。

したがって、図１６ａの場合には、図１５ａに例示された方式を適用するために、マクロブロック対の各マクロブロックＡ，Ｂの偶数ラインを取って一つの偶数フィールドブロックＡ'を構成し、奇数ラインを取って他の奇数フィールドブロックＢ'を構成することによって、偶数と奇数ラインがインターリービングされたマクロブロック対をそれぞれ偶数と奇数フィールド成分を持つ２個のブロックＡ'，Ｂ'に分離する。このように分離された２個のマクロブロックＡ'，Ｂ'に対してそれぞれインタポレーションを行い、拡大されたブロックを構成する。この拡大されたブロック内で、現在テキスチャ予測コーディングする拡張層ピクチャ内のイントラＢＬ（ｉｎｔｒａ＿ＢＬ）モードまたはレジデュアル予測（ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ）モードのマクロブロックに対応する領域内のデータを用いてテキスチャ予測を行う。一方、図１６ａでは提示されていないが、上記のように個別的に拡大されたブロックをフィールド属性別に合わせると、図１５ａの拡大された偶数と奇数ピクチャ１５０２ａ，１５０２ｂの一部が構成されるので、各マクロブロック対に対して上記の動作を反復し、図１５ａの拡大された偶数と奇数ピクチャ１５０２ａ，１５０２ｂを構成することができる。

図１６ｂのようにマクロブロック対がフィールド属性別に区分されて各マクロブロックを構成している場合には、前述した分離過程は、単に、該当のマクロブロック対から各マクロブロックを複写し、分離された２個のマクロブロックを構成することに該当する。以降の過程は、図１６ａについての説明と同一である。

Ｔ＿Ｂ）．拡張層は飛び越し走査方式で、基本層は順次走査方式である場合
図１７ａは、この場合に対する基本層のピクチャを層間テキスチャ予測に用いる方法の一実施例を示す図である。図示のように、ＥＬエンコーダ２０は、まず、現在層のピクチャ１７００を２個のピクチャとする（Ｓ１７１）。２個のピクチャを構成する方法の例には、対応するピクチャ１７０１の偶数ラインのみを取って一つのピクチャ１７０１ａを構成し、奇数ラインのみを取って他のピクチャ１７０１ｂを構成する。そして、このように構成された２個のピクチャ１７０１ａ，１７０１ｂに対しては垂直及び／または水平方向にインタポレーションを行い、拡大された２個のピクチャ１７０２ａ，１７０２ｂを生成する（Ｓ１７２）。このインタポレーションには、Ｔ＿Ａ）の場合と同様に、６−ｔａｐフィルタリング、二進線形フィルタリングなどの公知の方法のうち一つの方法を使用し、解像度を高める比率もまた、Ｔ＿Ａ）の場合で説明された通りにする。

インタポレーションが完了すると、拡大された２個のピクチャ１７０２ａ，１７０２ｂを結合して一つのピクチャ１７０３を構成する（Ｓ１７３）。この結合では、拡大された２個のピクチャ１７０２ａ，１７０２ｂを交互に（１７０２ａ→１７０２ｂ→１７０２ａ→１７０２ｂ→…）に選択して取った各ラインを、取った順番で配置して結合ピクチャ１７０３を構成する。このように構成されたピクチャ１７０３は、拡張層の現在ピクチャ１７００と同じ空間的解像度を持つので、飛び越し走査方式の現在ピクチャ１７００内の各マクロブロックに対して、結合されたピクチャ１７０３の対応マクロブロックに基づいてテキスチャ予測、例えば、図４ｇを参照して説明したテキスチャ予測、または、公知のフレーム対フレーム（ｆｒａｍｅ−ｔｏ−ｆｒａｍｅ）ＭＢ間のテキスチャ予測を行う（Ｓ１７４）。

図１７ｂは、本発明の他の実施例による、基本層のピクチャを層間テキスチャ予測に用いる方法を示す図である。本実施例は、図示のように、基本層のピクチャを２個のピクチャに分離せずにそのまま垂直及び／または水平方向にインタポレーションを行い（Ｓ１７５）、拡張層ピクチャの解像度（すなわち、大きさ）と同じ解像度の拡大されたピクチャを構成する。そして、このように構成された拡大されたピクチャを用いて、拡張層の飛び越し走査方式の現在ピクチャに対して層間テキスチャ予測を行う（Ｓ１７６）。

一方、図１７ａの説明はピクチャレベルで行われたが、Ｔ＿Ａ）の場合についての説明と同様に、ＥＬエンコーダ２０は、ピクチャの分離過程をマクロブロックレベルで行っても良い。図１７ｂの方法は、一つのピクチャ１７０１を垂直に隣接したマクロブロック対と見なした時、図１７ａに例示した分離及びインタポレーション過程と同一である。この過程は、図１７ａから直観的に理解できるので、詳細な説明は省略する。

Ｔ＿Ｃ）．拡張層と基本層とも飛び越し走査方式である場合
図１８は、この場合に対する基本層のピクチャを層間テキスチャ予測に用いる方法の一実施例を示す図である。図示のように、本場合に対しても、Ｔ＿Ａ）の場合と同様に、現在層のピクチャ１８００に時間的に対応する基本層のピクチャ１８０１を偶数と奇数フィールドに分離し（Ｓ１８１）、各分離されたフィールド１８０１ａ，１８０１ｂに対しては垂直及び／または水平方向にインタポレーションを行い、拡大された偶数及び奇数ピクチャ１８０２ａ，１８０２ｂを生成した後（Ｓ１８２）、該拡大された偶数及び奇数フィールド１８０２ａ，１８０２ｂを結合して一つのピクチャ１８０３を構成し（Ｓ１８３）、飛び越し走査方式の現在ピクチャ１８００内のマクロブロック（ＭＢＡＦＦコーディング方式のフレームＭＢ対）に対して、結合されたピクチャ１８０３の対応マクロブロックに基づいて層間テキスチャ予測、例えば、図４ｇを参照して説明したテキスチャ予測または公知のフレーム対フレーム（ｆｒａｍｅ−ｔｏ−ｆｒａｍｅ）ＭＢ間のテキスチャ予測を行う（Ｓ１８４）。

両層のピクチャフォーマットが同一であるにもかかわらず、基本層のピクチャ１８０１をフィールド属性別に分離し（Ｓ１８１）、個別的に拡大（Ｓ１８２）して結合（Ｓ１８３）する理由は、偶数及び奇数フィールド間に映像信号の変化特性が高い場合、両フィールドが結合されているピクチャ１８０１をそのままインタポレーションすると、拡大されたピクチャは、拡張層の偶数フィールドと奇数フィールドがインターリービングされた飛び越し走査方式のピクチャ１８００とは歪んだ、例えば、境界線のぼけた映像を持つ恐れがあるためである。この点から、両層とも飛び越し走査方式の場合にも、本発明によって基本層のピクチャに対してフィールド属性別に分離して両フィールドを求めた後、それらを個別的に拡大して結合した後に使用するわけである。

もちろん、図１８に例示された方式は、両層とも飛び越し走査方式のピクチャである時、常に用いられず、ピクチャの映像特性に応じて選択的に用いられても良い。

図１８は、本発明による、偶数及び奇数フィールドを持つピクチャをフィールド属性別に分離して拡大する過程をピクチャレベルで示したものであるが、ＥＬエンコーダ２０は、Ｔ＿Ａ）における説明と同様に、図１８に例示された過程を行う時は、図１６ａまたは図１６ｂを参照して説明したマクロブロックレベルでの分離及びインタポレーション動作（すなわち、フレームＭＢ対から偶数ラインと奇数ラインを分離し、各分離されたブロックを個別的に拡大する）、そして結合及び層間テキスチャ予測（各拡大されたブロックのラインを交互に選択しながら構成した拡大されたブロック対を、現在層のフレームＭＢ対のテキスチャ予測に使用）を行い、図１８に例示したのと同じ結果が得られる。

Ｔ＿Ｄ）．拡張層と基本層とも順次走査方式である場合
この場合には、公知の方式によって基本層のピクチャを拡張層ピクチャの大きさに拡大し、該拡大されたピクチャを拡張層の同一ピクチャフォーマットである現在ピクチャの層間テキスチャ予測に用いる。

以上のテキスチャ予測の実施例は、基本層と拡張層が時間的に同一解像度を持つ場合に対するものであったが、両層間に相異なる時間的解像度、すなわち、相互に異なるピクチャレートを有しても良い。また、時間的同一解像度においても層のピクチャ走査方式が相異なると、同一ＰＯＣのピクチャ（時間的に対応するピクチャ）であるとしても出力時点の相異なる映像信号成分を含んでいても良い。以下では、このような場合に対する層間テキスチャ予測方法について説明する。以下の説明で、最初の両層は同じ空間的解像度を有しているとする。もし、相異なる解像度である場合には、前述したように、基本層の各ピクチャをアップサンプリングして同じ空間的解像度にした後に、下記の方式を適用すればよい。

ａ）．拡張層は順次走査方式のフレームで、基本層はＭＢＡＦＦフレームであり、拡張層の時間的解像度が２倍高い場合
図１９ａは、この場合に対する層間テキスチャ予測方式を示す図である。図示のように、基本層の各ＭＢＡＦＦフレームは、出力時点を別にする偶数及び奇数フィールドを含んでいるので、ＥＬエンコーダ２０は、各ＭＢＡＦＦフレームを偶数と奇数フィールドとに分離する（Ｓ１９１）。各ＭＢＡＦＦフレーム内の偶数フィールドに該当する成分、例えば、偶数ラインは偶数フィールドに、奇数フィールドに該当する成分、例えば、奇数ラインは奇数フィールドに分離する。このように一つのＭＢＡＦＦフレームを２フィールドに分離した後、各フィールドに対しては垂直方向にインタポレーションを行い、２倍の解像度を持つようにする（Ｓ１９２）。このインタポレーションには、６−ｔａｐフィルタリング、二進線形フィルタリング、または単純ラインパッディッングなどの公知の方法のうち一つの方法を使用する。インタポレーションが完了すると、拡張層の各フレームは同時間の基本層のピクチャを持つようになるので、拡張層の各フレーム内のマクロブロックに対して公知の層間テキスチャ予測、例えば、フレーム対フレーム（ｆｒａｍｅ−ｔｏ−ｆｒａｍｅ）ＭＢ間の予測を行う（Ｓ１９３）。

前述の過程は層間動き予測にも適用することができる。このときには、ＭＢＡＦＦフレームを２フィールドに分離する時、ＭＢＡＦＦフレーム内のフィールドＭＢ対の各動き情報を同一パリティのフィールド属性のＭＢの動き情報として複写して層間動き予測に用いる。このような方法を使用すると、基本層に同時間のピクチャがない場合にも（ｔ１，ｔ３，…の場合）、前述した方法によって時間同期されるピクチャを生成し、層間動き予測を行うことができる。

前述の方法は、両層間に時間的解像度が２倍差を持つ図１９ａを例にしたものであるが、時間的解像度がＮ倍差を持つ場合にもそのまま適用できる。例えば、３倍差を持つ場合には、分離された両フィールドのうち一つをさらに複写して３個のフィールドを使用することができ、４倍差を持つ場合には、分離された両フィールドをそれぞれ複写して４個のフィールドを使用することができる。いかなる時間的解像度差の場合にも、当業者は創作的思考無しで単純に本発明の原理を適用して層間予測を行うことができることは明らかである。したがって、本明細書で説明されていない時間的解像度差を持つ層間に適用される予測方法も本発明の範囲に属することは当然である。これは、以下に説明される他の場合にも同様である。

もし、基本層がＭＢＡＦＦフレームにコーディングされず、ＰＡＦＦ（Ｐｉｃｔｕｒｅ Ａｄａｐｔｉｖｅ Ｆｉｅｌｄ ＆ Ｆｒａｍｅ）方式でコーディングされる場合には、図１９ｂのように両層が同じ時間的解像度を持つことができる。したがって、この場合には、フレームから両フィールドに分離する過程なしに、直接にインタポレーションを行い、現在層と同じ空間的解像度を持つピクチャを構成した後に、層間テキスチャ予測を行う。

ｂ）．拡張層は、ＭＢＡＦＦフレームで、基本層は順次走査方式のフレームであり、拡張層の時間的解像度が１／２である場合
図２０は、この場合に対する層間テキスチャ予測方式を示す図である。図示のように、拡張層の各ＭＢＡＦＦフレームは出力時点を別にする偶数及び奇数フィールドを含んでいるので、ＥＬエンコーダ２０は、各ＭＢＡＦＦフレームを偶数と奇数フィールドとに分離する（Ｓ２０１）。各ＭＢＡＦＦフレーム内の偶数フィールドに該当する成分、例えば、偶数ラインは偶数フィールドに、奇数フィールドに該当する成分、例えば、奇数ラインは奇数フィールドに分離する。そして、基本層の各フレームに対しては、垂直方向にサブサンプリングを行い、解像度が１／２に下がったピクチャを構成する（Ｓ２０２）。このサブサンプリングには、ラインサブサンプリングやその他の様々な公知のダウン−サンプリング方法のうち一つを使用することができる。図２０の例では、ピクチャインデックスが偶数であるピクチャ（ｔ０，ｔ２，ｔ４，…のピクチャ）に対しては偶数ラインのみを取り、１／２に縮小されたピクチャを求め、ピクチャインデックスが奇数であるピクチャ（ｔ１，ｔ３，…のピクチャ）に対しては奇数ラインのみを取り、１／２に縮小されたピクチャを求める。フレーム分離（Ｓ２０１）とサブサンプリング（Ｓ２０２）の順序を変えて行っても構わない。

上記の２過程（Ｓ２０１，Ｓ２０２）が完了すると、拡張層の各フレームから分離されたフィールド２００１は、同時間の且つ同じ空間的解像度の基本層のピクチャを持つようになるので、各フィールド内のマクロブロックに対して公知の層間テキスチャ予測、例えば、フレーム対フレーム（ｆｒａｍｅ−ｔｏ−ｆｒａｍｅ）ＭＢ間の予測を行う（Ｓ２０３）。

前述の過程は、層間動き予測にも適用可能である。この時は、基本層の各フレームからサブサンプリングをして大きさが縮小されたピクチャを求める時（Ｓ２０２）、垂直に隣接したマクロブロック対の各動き情報から適切な方法、例えば、パーティションが終わっていないブロックの動き情報を取る方法によって、それに対応する一つのマクロブロックの動き情報を求め、この動き情報を層間動き予測に用いることができる。

本場合には、層間予測がＭＢＡＦＦフレームから分離された各フィールドピクチャ２００１に対して行われるので、拡張層のピクチャをＰＡＦＦ方式でコーディングして転送する。

ｃ）．拡張層はＭＢＡＦＦフレームで、基本層は順次走査方式のフレームであり、時間的解像度が同一である場合
図２１は、この場合に対する層間テキスチャ予測方式を示す図である。図示のように、拡張層の各ＭＢＡＦＦフレームは、出力時点を別にする偶数及び奇数フィールドを含んでいるので、ＥＬエンコーダ２０は、各ＭＢＡＦＦフレームを偶数と奇数フィールドとに分離する（Ｓ２１１）。各ＭＢＡＦＦフレーム内の偶数フィールドに該当する成分、例えば、偶数ラインは偶数フィールドに、奇数フィールドに該当する成分、例えば、奇数ラインは奇数フィールドに分離する。そして、基本層の各フレームに対しては、垂直方向にサブサンプリングを行い、解像度が１／２に下がったピクチャを構成する（Ｓ２１２）。このサブサンプリングには、ラインサブサンプリングやその他の多様な公知のダウン−サンプリング方法のうち一つを使用することができる。フレーム分離（Ｓ２１１）とサブサンプリング（Ｓ２１２）の順序を変えて行っても構わない。

一つのＭＢＡＦＦフレームから２個のフィールドを分離する代わりに、一つのフィールド、例えば、偶数フィールドのピクチャのみを構成することができる。両層の時間的解像度が同一なので、一つのフレームから分離された２フィールドのピクチャがいずれも、層間予測に使用可能な対応する基本層のフレームを持つのではなく、一つのみが層間予測に使用可能な対応するフレームを持つためである。

上記の２過程（Ｓ２１１，Ｓ２１２）が完了すると、拡張層の各フレームから分離されたフィールドのうち、偶数（または奇数）フィールドに対してのみ、対応する基本層のサブサンプリングされたピクチャに基づいて、公知の層間テキスチャ予測、例えば、フレーム対フレーム（ｆｒａｍｅ−ｔｏ−ｆｒａｍｅ）ＭＢ間の予測を行う（Ｓ１７３）。

本場合にも、層間テキスチャ予測を行う拡張層の分離されたフィールドに対して、ｂ）の場合で説明したような方式で層間動き予測を行っても良い。

以上では図２ａまたは図２ｂの装置におけるＥＬエンコーダ２０が行う層間予測動作について説明したが、前述した全ての層間予測動作の説明は、基本層からデコーディングされた情報を受信し、拡張層のストリームをデコーディングする拡張層のデコーダにも同様に適用されることができる。エンコーディングとデコーディング過程では、前述した層間予測動作（ピクチャまたはマクロブロック内の映像信号を分離、拡大、結合する動作も含む）が同様に行われ、単に、層間予測以降の動作が異なるだけである。例えば、エンコーダは、動き及びテキスチャ予測を行った後、その予測された情報をまたは予測された情報と実際情報との差情報をデコーダに転送するためにコーディングするが、デコーダは、エンコーダで行われたのと同じ層間動き及びテキスチャ予測によって得た情報をそのまま現マクロブロックに適用し、または、実際受信したマクロブロックのコーディング情報を追加的に用いて、実際動き情報及びテキスチャ情報を求める点が異なるだけである。したがって、エンコーディング観点で前述した本発明の内容とその原理は、受信する両層のデータストリームをデコーディングするデコーダにもそのまま適用される。

ただし、図２０及び図２１で説明したように、ＥＬエンコーダがＭＢＡＦＦフレーム方式の拡張層をフィールドシーケンスに分離して層間予測を行った後、ＰＡＦＦ方式で転送する場合には、デコーダは、現在受信した層に対して、前述したＭＢＡＦＦフレームをフィールドピクチャに分離する過程は行わない。

また、前述したように、ＥＬエンコーダ２０がＭＢ間の層間テキスチャ予測を図８ｄのように行ったか、図８ｈのように行ったかを区分するフラグ‘ｆｉｅｌｄ＿ｂａｓｅ＿ｆｌａｇ'を受信する信号からデコーディングし、該デコーディングされたフラグの値によって、ＭＢ間予測が図８ｄまたは図８ｈのように行われたかを判断し、これにより、テキスチャ予測情報を獲得する。もし、フラグ‘ｆｉｅｌｄ＿ｂａｓｅ＿ｆｌａｇ'に該当する情報が受信されないと、ＥＬデコーダは、該当のフラグが０の値で受信されたと見なす。すなわち、図８ｄのような方式でＭＢ間にテキスチャ予測されたと見なし、現在マクロブロック対に対する予測情報を得、現在マクロブロックまたはマクロブロック対を復元する。

制限された実施例として上述された本発明の少なくとも一つの実施例は、相互に異なる方式の映像信号ソースを用いる場合であっても層間予測を可能にするため、複数層のコーディング時に映像信号のピクチャ類型（飛び越し走査方式信号、順次走査方式信号、ＭＢＡＦＦフレーム方式のピクチャ、フィールドピクチャなど）にかかわらずにデータコーディング率を高めることができる。また、両層のうち一つの層が飛び越し走査方式の映像信号ソースである場合に、予測のためのピクチャのイメージを、予測コーディングする元イメージにより近似するように構成して使用できるようにするため、データコーディング率を向上させることができる。

本発明は以上の具体的な好ましい実施例に限定されることはなく、本発明の要旨を逸脱しない範囲内で様々に改良、変更、代替または付加して実施できるということは、当該技術分野における通常の知識を持つ者にとっては明らかである。したがって、それらの改良、変更、代替または付加による実施が添付の特許請求の範囲の範ちゅうに属するものであれば、その技術思想もまた本発明に属すると言える。

単一映像ソースから複数層にコーディングする方式を例示する図である。 単一映像ソースから複数層にコーディングする方式を例示する図である。 本発明による層間予測方法が適用される映像信号エンコーディング装置の構成を簡略に示す図である。 本発明による層間予測方法が適用される映像信号エンコーディング装置の構成を簡略に示す図である。 飛び越し走査方式の映像信号をエンコーディングするピクチャシーケンスの類型を示す図である。 飛び越し走査方式の映像信号をエンコーディングするピクチャシーケンスの類型を示す図である。 本発明の一実施例によって、層間テキスチャ予測のために、基本層のピクチャを構成してデブロッキングフィルタリングを行う過程を図式的に示す図である。 本発明の一実施例によって、層間テキスチャ予測のために、基本層のピクチャを構成してデブロッキングフィルタリングを行う過程を図式的に示す図である。 本発明の一実施例によって、フレームマクロブロック（ＭＢ）の動き情報を用いて、ＭＢＡＦＦフレーム内のフィールドＭＢの層間動き予測に用いられる仮想基本層のフィールドＭＢの動き情報を導出する過程を図式的に示す図である。 本発明の一実施例によって、フレームマクロブロック（ＭＢ）の動き情報を用いて、ＭＢＡＦＦフレーム内のフィールドＭＢの層間動き予測に用いられる仮想基本層のフィールドＭＢの動き情報を導出する過程を図式的に示す図である。 本発明の一実施例によって、フレームマクロブロック（ＭＢ）の動き情報を用いて、ＭＢＡＦＦフレーム内のフィールドＭＢの層間動き予測に用いられる仮想基本層のフィールドＭＢの動き情報を導出する過程を図式的に示す図である。 本発明の一実施例によって、フレームマクロブロック（ＭＢ）の動き情報を用いて、ＭＢＡＦＦフレーム内のフィールドＭＢの層間動き予測に用いられる仮想基本層のフィールドＭＢの動き情報を導出する過程を図式的に示す図である。 本発明の一実施例によって、フレームマクロブロック（ＭＢ）の動き情報を用いて、ＭＢＡＦＦフレーム内のフィールドＭＢの層間動き予測に用いられる仮想基本層のフィールドＭＢの動き情報を導出する過程を図式的に示す図である。 本発明の一実施例によって、フレームマクロブロック（ＭＢ）の動き情報を用いて、ＭＢＡＦＦフレーム内のフィールドＭＢの層間動き予測に用いられる仮想基本層のフィールドＭＢの動き情報を導出する過程を図式的に示す図である。 本発明の一実施例によって、フレームＭＢ対のテキスチャ情報をＭＢＡＦＦフレーム内のフィールドＭＢ対のテキスチャ予測に使用する過程を図式的に示す図である。 本発明の一実施例によってフレームＭＢ対をフィールドＭＢ対に変換する方法を示す図である。 本発明の他の実施例による、参照インデックスと動き情報の導出過程を例示する図である。 本発明の他の実施例による、参照インデックスと動き情報の導出過程を例示する図である。 本発明の一実施例によって、フレームＭＢの動き情報を用いて仮想基本層のフィールドＭＢの動き情報を導出する過程を図式的に示す図である。 本発明の一実施例によって、フレームＭＢの動き情報を用いて仮想基本層のフィールドＭＢの動き情報を導出する過程を図式的に示す図である。 本発明の一実施例によって、フレームＭＢの動き情報を用いて仮想基本層のフィールドＭＢの動き情報を導出する過程を図式的に示す図である。 本発明の一実施例によって、フレームＭＢ対のテキスチャ情報をフィールドピクチャ内のフィールドＭＢのテキスチャ予測に用いる過程を図式的に示す図である。 本発明の他の実施例による、参照インデックスと動き情報の導出過程を例示する図である。 本発明の他の実施例による、参照インデックスと動き情報の導出過程を例示する図である。 本発明の一実施例によって、ＭＢＡＦＦフレーム内のフィールドＭＢの動き情報を用いて、層間動き予測に用いられる仮想基本層のフィールドＭＢフレームＭＢの動き情報を導出する過程を図式的に示す図である。 本発明の一実施例によって、ＭＢＡＦＦフレーム内のフィールドＭＢの動き情報を用いて、層間動き予測に用いられる仮想基本層のフィールドＭＢフレームＭＢの動き情報を導出する過程を図式的に示す図である。 本発明の一実施例によって、ＭＢＡＦＦフレーム内のフィールドＭＢの動き情報を用いて、層間動き予測に用いられる仮想基本層のフィールドＭＢフレームＭＢの動き情報を導出する過程を図式的に示す図である。 本発明の一実施例によって、ＭＢＡＦＦフレーム内のフィールドＭＢ対のテキスチャ情報をフレームＭＢ対のテキスチャ予測に用いる過程を図式的に示す図である。 本発明の一実施例によってフィールドＭＢ対をフレームＭＢ対に変換する方法を示す図である。 本発明の一実施例によって、ＭＢＡＦＦフレーム内のフィールドＭＢ対のうち一つのＭＢのみがインターモードである場合に、フレームマクロブロック対の層間予測に用いる各過程を図式的に示す図である。 本発明の一実施例によって、ＭＢＡＦＦフレーム内のフィールドＭＢ対のうち一つのＭＢのみがインターモードである場合に、フレームマクロブロック対の層間予測に用いる各過程を図式的に示す図である。 本発明の一実施例によって、層間ピクチャレートが異なる場合に、ＭＢＡＦＦフレーム内のフィールドＭＢ対のテキスチャ情報を複数のフレームＭＢ対のテキスチャ予測に用いる過程を図式的に示す図である。 本発明の他の各実施例による、参照インデックスと動き情報の導出過程を例示する図である。 本発明の他の各実施例による、参照インデックスと動き情報の導出過程を例示する図である。 本発明の一実施例によって、フィールドピクチャ内のフィールドＭＢの動き情報を用いて、層間動き予測に用いられる仮想基本層のフレームＭＢの動き情報を導出する過程を図式的に示す図である。 本発明の一実施例によって、フィールドピクチャ内のフィールドＭＢの動き情報を用いて、層間動き予測に用いられる仮想基本層のフレームＭＢの動き情報を導出する過程を図式的に示す図である。 本発明の一実施例によって、フィールドピクチャ内のフィールドＭＢの動き情報を用いて、層間動き予測に用いられる仮想基本層のフレームＭＢの動き情報を導出する過程を図式的に示す図である。 本発明の一実施例によって、フィールドピクチャ内のフィールドＭＢのテキスチャ情報をフレームＭＢ対のテキスチャ予測に用いる過程を図式的に示す図である。 本発明の他の実施例による、参照インデックスと動き情報の導出過程を例示する図である。 本発明の他の実施例によって、フィールドピクチャ内のフィールドＭＢの動き情報を用いて、層間動き予測に用いられる仮想基本層のフレームＭＢの動き情報を導出する過程を図式的に示す図である。 本発明の他の実施例によって、フィールドピクチャ内のフィールドＭＢの動き情報を用いて、層間動き予測に用いられる仮想基本層のフレームＭＢの動き情報を導出する過程を図式的に示す図である。 本発明の一実施例によって、フィールドＭＢの動き情報を用いて、層間動き予測に用いられる仮想基本層のフィールドＭＢの動き情報を導出する過程を、ピクチャの類型によって区分して図式的に示す図である。 本発明の一実施例によって、フィールドＭＢの動き情報を用いて、層間動き予測に用いられる仮想基本層のフィールドＭＢの動き情報を導出する過程を、ピクチャの類型によって区分して図式的に示す図である。 本発明の一実施例によって、フィールドＭＢの動き情報を用いて、層間動き予測に用いられる仮想基本層のフィールドＭＢの動き情報を導出する過程を、ピクチャの類型によってそれぞれ区分して図式的に示す図である。 本発明の一実施例によって、フィールドＭＢの動き情報を用いて、層間動き予測に用いられる仮想基本層のフィールドＭＢの動き情報を導出する過程を、ピクチャの類型によって区分して図式的に示す図である。 本発明のそれぞれの実施例によって、層間空間的解像度が相異なる場合に層間動き予測を行う方法をピクチャの類型によって区分して示す図である。 本発明のそれぞれの実施例によって、層間空間的解像度が相異なる場合に層間動き予測を行う方法をピクチャの類型によって区分して示す図である。 本発明のそれぞれの実施例によって、層間空間的解像度が相異なる場合に層間動き予測を行う方法をピクチャの類型によって区分して示す図である。 本発明のそれぞれの実施例によって、層間空間的解像度が相異なる場合に層間動き予測を行う方法をピクチャの類型によって区分して示す図である。 本発明のそれぞれの実施例によって、層間空間的解像度が相異なる場合に層間動き予測を行う方法をピクチャの類型によって区分して示す図である。 本発明のそれぞれの実施例によって、層間空間的解像度が相異なる場合に層間動き予測を行う方法をピクチャの類型によって区分して示す図である。 本発明のそれぞれの実施例によって、層間空間的解像度が相異なる場合に層間動き予測を行う方法をピクチャの類型によって区分して示す図である。 本発明のそれぞれの実施例によって、層間空間的解像度が相異なる場合に層間動き予測を行う方法をピクチャの類型によって区分して示す図である。 本発明のそれぞれの実施例によって、層間空間的解像度が相異なる場合に層間動き予測を行う方法をピクチャの類型によって区分して示す図である。 本発明のそれぞれの実施例によって、層間空間的解像度が相異なる場合に層間動き予測を行う方法をピクチャの類型によって区分して示す図である。 本発明のそれぞれの実施例によって、層間空間的解像度が相異なる場合に層間動き予測を行う方法をピクチャの類型によって区分して示す図である。 本発明の一実施例によって、拡張層は順次走査方式であり、基本層は飛び越し走査方式である場合に、空間的解像度の相異なる基本層のピクチャを層間テキスチャ予測に用いる過程を図式的に示す図である。 本発明の一実施例によって、拡張層は順次走査方式であり、基本層は飛び越し走査方式である場合に、空間的解像度の相異なる基本層のピクチャを層間テキスチャ予測に用いる過程を図式的に示す図である。 本発明の一実施例によって、基本層のピクチャを層間テキスチャ予測に用いるべく、ピクチャ内のマクロブロック対を分離し、各分離されたマクロブロックを個別的に拡大する過程を図式的に示す図である。 本発明の一実施例によって、基本層のピクチャを層間テキスチャ予測に用いるべく、ピクチャ内のマクロブロック対を分離し、各分離されたマクロブロックを個別的に拡大する過程を図式的に示す図である。 本発明の一実施例によって、拡張層は飛び越し走査方式であり、基本層は順次走査方式である場合に、空間的解像度の相異なる基本層のピクチャを層間テキスチャ予測に用いる過程を図式的に示す図である。 本発明の一実施例によって、拡張層は飛び越し走査方式であり、基本層は順次走査方式である場合に、空間的解像度の相異なる基本層のピクチャを層間テキスチャ予測に用いる過程を図式的に示す図である。 本発明の一実施例によって、拡張層と基本層とも飛び越し走査方式である場合に、空間的解像度の相異なる基本層のピクチャを層間予測に用いる過程を図式的に示す図である。 本発明の一実施例によって、拡張層が順次走査方式のフレームシーケンスであり、かつ、両層間のピクチャ類型と時間的解像度が相異なる時に層間予測が適用される過程を例示的に示す図である。 本発明の一実施例によって、拡張層が順次走査方式のフレームシーケンスであるとともに、両層間のピクチャ類型が異なり、かつ、時間的解像度が同一である時に、層間予測が適用される過程を例示的に示す図である。 本発明の一実施例によって、基本層が順次走査方式のフレームシーケンスであり、かつ、両層間のピクチャ類型と時間的解像度が相異なる時に、層間予測が適用される過程を例示的に示す図である。 本発明の一実施例によって、基本層が順次走査方式のフレームシーケンスであるとともに、両層間のピクチャ類型が異なり、かつ、時間的解像度が同一である時に、層間予測が適用される過程を例示的に示す図である。

Claims (7)

1. 映像信号のエンコーディングまたはデコーディング時に層間予測を行う方法であって、
   垂直に隣接したフィールドマクロブロック対からフレームマクロブロック対を構成する第１段階と、
   選択的に前記構成されたフレームマクロブロック対にデブロッキングフィルタを適用する第２段階と、
   前記フレームマクロブロック対の各テキスチャ情報を、現在層のフレームマクロブロック対の各テキスチャ予測情報として使用する第３段階と、
   を含む映像信号の層間予測方法。
2. 前記第１段階は、前記フィールドマクロブロック対の上部マクロブロックと下部マクロブロックを交互に選択しながら１ラインずつ順次に取り、取った順番で配置することによって、前記フレームマクロブロック対を構成することを特徴とする、請求項１に記載の映像信号の層間予測方法。
3. 前記フィールドマクロブロック対がいずれもイントラモードである場合、前記構成されたフレームマクロブロック対にデブロッキングフィルタが適用され、前記デブロッキングフィルタが適用されたマクロブロック対の各テキスチャ情報がイントラベース予測情報として使用されることを特徴とする、請求項２に記載の映像信号の層間予測方法。
4. 前記第１段階は、前記フィールドマクロブロック対がそれぞれイントラモードとインターモードであれば、そのうち一つを選択して垂直方向にインタポレーションし、前記フレームマクロブロック対を構成することを特徴とする、請求項１に記載の映像信号の層間予測方法。
5. 前記一つのフィールドマクロブロックがイントラモードであれば、前記構成されたフレームマクロブロック対にデブロッキングフィルタが適用され、前記デブロッキングフィルタリングされたフレームマクロブロック対の各テキスチャ情報がイントラベース予測情報として使用されることを特徴とする、請求項４に記載の映像信号の層間予測方法。
6. 前記垂直に隣接したフィールドマクロブロック対は、飛び越し走査方式の映像信号がＭＢＡＦＦ方式でコーディングされたフレームに属することを特徴とする、請求項１に記載の映像信号の層間予測方法。
7. 前記テキスチャ予測情報として使用されるマクロブロック対のテキスチャ情報は、デコーディングが完了した映像サンプルデータまたは映像サンプルデータ間の差分値であるレジデュアルデータであることを特徴とする、請求項１に記載の映像信号の層間予測方法。

Images