JP2009522890A - インターレイヤ動き予測方法 - Google Patents

Abstract

本発明は、低分解能画像のマクロブロックに関連付けられた動きデータから少なくとも１つの動き予測子を、高分解能画像の少なくとも１つのマクロブロックについて生成する方法に関する。上記方法は、仮想ベース・レイヤ・マクロブロックと呼ばれる重ならないマクロブロックを含む仮想構造を定義する工程と、高分解能画像内の高分解能マクロブロックの位置に基づいて、かつ、低分解能画像の寸法と高分解能画像の寸法との比に基づいて仮想画像内の対応する仮想ベース・レイヤ・マクロブロックを高分解能マクロブロックについて識別する工程と、対応する低分解能マクロブロック対のフィールド／フレーム・モードに基づいて、かつ、高分解能マクロブロックのフィールド／フレーム・モードに基づいて、対応する低分解能マクロブロック対の少なくとも１つのマクロブロックに関連付けられた動きデータから動きデータを、識別された仮想ベース・レイヤ・マクロブロック毎に導出する工程と、対応する仮想ベース・レイヤ・マクロブロックに関連付けられた動きデータを再サンプリングして少なくとも１つの動き予測子を生成する工程とを含む。

Description

本発明は、低分解能系列の画像の画素ブロックに関連付けられた動きデータから少なくとも１つの動き予測子を高分解能系列の画像の画素ブロックについて生成する方法に関する。

従来技術のスケーラブル階層符号化手法は、異なる分解能及び／又は品質レベルにおいて復号化することが可能であるために情報を階層的に符号化することを可能にする。スケーラブル符号化装置によって生成されるデータ・ストリームはよって、いくつかのレイヤ（すなわち、ベース・レイヤ、及び１つ又は複数のエンハンスメント・レイヤに分割される。前述の装置は、一意のデータ・ストリームを可変送信状態（帯域幅、エラー・レート）に適合させ、受信装置の容量（ＣＰＵ、再生装置の特性）にも適合させることを可能にする。空間スケーラブル階層符号化（又は復号化）手法は、ベース・レイヤ画像（ＢＬ画像）とも呼ばれる低分解能画像に関するベース・レイヤと呼ばれる第１のデータ部分を符号化（又は復号化）し、このベース・レイヤから、エンハンスメント・レイヤ画像（ＥＬ画像）とも呼ばれる高分解能画像に関するエンハンスメント・レイヤと呼ばれる少なくとも別のデータ部分を符号化（又は復号化）する。エンハンスメント・レイヤに関する符号化情報又は符号化データは場合によっては、インターレイヤ予測手法又はインターレイヤ継承手法と呼ばれる手法により、ベース・レイヤに関する符号化情報から継承（すなわち、導出）される。高分解能画像の各マクロブロックはよって、古典的予測モード（例えば、双方向予測モード、直接予測モード、前方／後方予測）によって時間予測されるか、又は、インターレイヤ予測モードによって予測される。前者の場合、高分解能マクロブロックに関連付けられた動き情報／データ（例えば、（マクロブロック／ブロックをいくつかのサブブロックに分割するために）高分解能画像の画素のマクロブロック／ブロックに関連付けられた分割パターン）、上記ブロックに関連付けられた符号化モード、場合によっては、動きベクトル、及び、（上記ブロックを予測するために使用される）画像の参照を可能にする、特定のブロックに関連付けられた１つ又は複数の画像参照指数は、低分解能画像又は高分解能画像の形式（すなわち、プログレッシブ又はインタレース）にかかわらず、低分解能画像のマクロブロックに関連付けられた動きデータから導出又は継承されなければならない。

本発明は、低分解能マクロブロックと呼ばれる、低分解能画像のマクロブロックに関連付けられた動きデータから少なくとも１つの動き予測子を、高分解能マクロブロックと呼ばれる、高分解能画像の少なくとも１つのマクロブロックについて生成する、ビデオ信号を符号化又は復号化する処理の一部としての方法に関する。

上記方法は、
仮想ベース・レイヤ・マクロブロックと呼ばれる重ならないマクロブロックを含む仮想構造を定義する工程であって、仮想構造は、低分解能画像と同じ寸法を有する工程と、
高分解能画像内の高分解能マクロブロックの位置に基づいて、かつ、低分解能画像の寸法と高分解能画像の寸法との比に基づいて仮想画像内の対応する仮想ベース・レイヤを高分解能マクロブロックについて識別する工程と、
対応する低分解能マクロブロック対のフィールド／フレーム・モードに基づいて、かつ、高分解能マクロブロックのフィールド／フレーム・モードに基づいて、対応する低分解能マクロブロック対の少なくとも１つのマクロブロックに関連付けられた動きデータから動きデータを、識別された仮想ベース・レイヤ・マクロブロック毎に導出する工程と、
対応する仮想ベース・レイヤ・マクロブロックに関連付けられた動きデータを再サンプリングして少なくとも１つの動き予測子を生成する工程とを含む。

高分解能マクロブロックがフレーム・モードにあり、対応する低分解能マクロブロック対がフィールド・モードにある場合、導出する工程は、
最上部マクロブロック及び底部マクロブロックを含む低分解能マクロブロック対を比２で垂直アップサンプリングする工程であって、アップサンプリング・マクロブロックそれぞれが、アップ部分及びダウン部分を含む工程と、
アップサンプリングされた最上部マクロブロックのアップ部分の動きデータを、アップサンプリングされた底部マクロブロックのアップ部分の動きデータとマージし、アップサンプリングされた最上部マクロブロックのダウン部分の動きデータを、アップサンプリングされた底部マクロブロックのダウン部分の動きデータとマージする工程とを含む。

高分解能マクロブロックがフィールド・モードにあり、対応する低分解能マクロブロック対がフレーム・モードにある場合、導出する工程は、対応する低分解能マクロブロック対に関連付けられた動きデータを比２で垂直ダウンサンプリングする工程を備える。

本発明は、高分解能マクロブロックと呼ばれるマクロブロックを含む高分解能画像系列、及び低分解能マクロブロックと呼ばれる低分解能画像系列を符号化する装置にも関する。上記装置は、
低分解能画像を符号化する第１の符号化手段であって、第１の符号化手段は、低分解能画像のマクロブロックの動きデータを生成する第１の符号化手段と、
低分解能マクロブロックと呼ばれる、低分解能画像のマクロブロックの動きデータから、高分解能マクロブロックと呼ばれる高分解能画像の少なくとも１つのマクロブロックの動きデータを導出する継承手段と、
導出された動きデータを使用して高分解能画像を符号化する第２の符号化手段であって、第２の符号化手段がエンハンスメント・レイヤ・データ・ストリームを生成する第２の符号化手段とを含む。

継承手段は、
仮想ベース・レイヤ・マクロブロックと呼ばれる重ならないマクロブロックを含む仮想構造を定義する手段であって、仮想構造は、低分解能画像と同じ寸法を有する手段と、
高分解能画像内の高分解能マクロブロックの位置に基づいて、かつ、低分解能画像の寸法と高分解能画像の寸法との比に基づいて仮想画像内の対応する仮想ベース・レイヤ・マクロブロックを高分解能マクロブロックについて識別する手段と、
対応する低分解能マクロブロック対のフィールド／フレーム・モードに基づいて、かつ、高分解能マクロブロックのフィールド／フレーム・モードに基づいて、対応する低分解能マクロブロック対の少なくとも１つのマクロブロックに関連付けられた動きデータから動きデータを、識別された仮想ベース層・レイヤ・マクロブロック毎に導出する手段と、
対応する仮想ベース・レイヤ・マクロブロックに関連付けられた動きデータを再サンプリングして少なくとも１つの動き予測子を生成する手段とを備える。

特定の実施例によれば、第１の符号化手段はＭＰＥＧ−４ ＡＶＣビデオ符号器である。

本発明は、少なくとも符号化高分解能画像系列を復号化する装置にも関し、符号化画像はデータ・ストリームの形式で生じ、各画像は、重ならないマクロブロックに分割される。装置は、
少なくとも１つのデータ・ストリーム部分を復号化して、低分解能画像、及び低分解能画像のマクロブロックの動きデータを生成する第１の復号化手段と、
低分解能画像のマクロブロックの動きデータから高分解能画像の少なくとも１つのマクロブロックの動きデータを導出する継承手段と、
導出された動きデータを使用して少なくとも第２のデータ・ストリーム部分を復号化して高分解能画像を示す第２の復号化手段とを備える。

継承手段は、
仮想ベース・レイヤ・マクロブロックと呼ばれる重ならないマクロブロックを含む仮想構造を定義する手段であって、仮想構造は、低分解能画像と同じ寸法を有する手段と、
高分解能画像内の高分解能マクロブロックの位置に基づいて、かつ、低分解能画像の寸法と高分解能画像の寸法との比に基づいて仮想画像内の対応する仮想ベース・レイヤ・マクロブロックを高分解能マクロブロックについて識別する手段と、
対応する低分解能マクロブロック対のフィールド／フレーム・モードに基づいて、かつ、高分解能マクロブロックのフィールド／フレーム・モードに基づいて、対応する低分解能マクロブロック対の少なくとも１つのマクロブロックに関連付けられた動きデータから動きデータを、識別された仮想ベース・レイヤ・マクロブロック毎に導出する手段と、対応する仮想ベース・レイヤ・マクロブロックに関連付けられた動きデータを再サンプリングして少なくとも１つの動き予測子を生成する手段とを備える。

特定の実施例によれば、第１の復号化手段はＭＰＥＧ−４ ＡＶＣビデオ復号器である。

本発明の他の特徴及び利点はその実施例の一部の以下の記載により明らかになるであろう。この記載は、図面に関して行う。

「Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ−Ｊｏｉｎｔ Ｄｒａｆｔ ４」と題し、シリーズにおいてＪＳＶＭ４として参照される、ＩＳＯ／ＩＥＣ ＭＰＥＧ＆ＩＴＵ−Ｔ ＶＣＥＧによる刊行物「ＪＶＴ−Ｑ２０２」においてＪＶＴ（ＭＰＥＧ＆ＩＴＵ）によって現在規定されているＳＶＣ技術標準では、空間スケーラビティは、プログレッシブ・マテリアルについてのみ検討される。連続する２つ（又はそれ以上）の空間レイヤ（ベース・レイヤ及びエンハンスメント・レイヤ）間のインターレイヤ動き予測は、プログレッシブ・ビデオ系列の場合にのみアドレス指定される。本発明は、インタレース／プログレッシブ・スケーラビリティの組み合わせをサポートするために前述のインターレイヤ予測処理を拡張することを提案している。

多くのビデオ符号化標準によれば、別の時点で捕捉された底部フィールドとのインタレースされた最上部フィールドを有するインタレース画像は、２つのフィールド画像として符号化してもよく（フィールド画像モード。２つの画像フィールドが別個に符号化される）、フレーム画像として符号化してもよい（フレーム画像モード。画像は、単一のフレームとして符号化される）。「Ｔｅｘｔ ｏｆ １４４９６−２ Ｔｈｉｒｄ Ｅｄｉｔｉｏｎ」と題する刊行物「ＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＣ ２９／ＷＧ １１ Ｎ５５４６」に記載されたＭＰＥＧ−４ ＡＶＣにより、判定を、画像全体について独立して行うか、又は２つの垂直マクロブロック対おきに独立して行うことが可能になる。判定が画像レベルで行われる場合、これはＰＡＦＦ（ＰＡＦＦは画像適応フレーム／フィールドの略である）符号化と呼ばれ、判定がマクロブロック対レベルで行われる場合、これはＭＢＡＦＦ（ＭＢＡＦＦはマクロブロック適応フレーム／フィールドの略である）と呼ばれる。より詳細には、ＭＰＥＧ−４ ＡＶＣによれば、インタレース画像がフレーム画像として符号化され、ＭＢＡＦＦが可能になった場合、各垂直マクロブロック（ＭＢ）対をインタレース（すなわち、フィールド・モード（図１の右部分））又はプログレッシブ（すなわち、フレーム・モード（図１の左部分））として符号化することができる。図１では、灰色の線は、奇数画像行（すなわち、白色行）とインタレースされた偶数画像行を表す。垂直マクロブロック対がフィールド・モードにある場合、対の各ＭＢはフィールド・マクロブロックにあると言える。垂直マクロブロック対がフレーム・モードにある場合、対の各ＭＢはフレーム・マクロブロックにあると言える。

本発明による方法は、高分解能系列及び低分解能系列の形式（インタレース又はプログレッシブ）にかかわらず、低分解能画像の一部のマクロブロック（ベース・レイヤ・マクロブロックと呼ばれ、ＢＬ ＭＢと表す）に関連付けられた動きデータから高分解能画像（エンハンスメント・レイヤ・マクロブロックと呼ばれ、ＥＬ ＭＢと表す）のマクロブロックの少なくとも１つのインターレイヤ動き予測子を生成することを可能にする。高分解能画像のマクロブロックに関連付けられたインターレイヤ動き予測子（より単純には、動き予測子と呼ばれる）は、動きデータ（例えば、パーティション／サブパーティション・タイプ、場合によっては、参照画像の識別を可能にする参照指数、動きベクトル）が関連付けられたマクロブロックである。ＭＰＥＧ−ＡＶＣによれば、画像系列の画像毎に、以下のように規定された２つの参照リスト（ｌｉｓｔ０及びｌｉｓｔ１）のうちから参照指数が選択される。

各参照指数が、特定の参照画像番号に関連付けられる。

リスト毎に、特定の参照指数が無効とマーキングされる。

各８×８ブロック（すなわち、８×８画素のサイズのブロック）は、リスト毎に、単一の参照指数を使用することが可能である。

無効参照指数は、復号化処理において未だ利用可能でない（復号化されていない）参照フィールド又はフレームに対応する。

動き予測子は、ＪＳＶＭ４刊行物に開示された、ＥＳＳ（拡張空間スケーラビリティ）手法として動きダウンサンプリング手法を使用して生成される。対象の高分解能画像がインタレースの場合、２つのインターレイヤ予測モードは、各ＥＬマクロブロックを符号化又は復号化するよう潜在的に利用可能である。

１． インターレイヤ・インタレース（ＩＬ＿Ｉ）モード： 最上部又は底部フィールド・データに対応するマクロブロック（すなわち、フィールド・マクロブロック）
２． インターレイヤ・プログレッシブ（ＩＬ＿Ｐ）モード： フレーム・データに対応するマクロブロック（すなわち、フレーム・マクロブロック）
本発明は、前述のインターレイヤ・マクロブロック予測子を生成する方法を提案している。この目的で、本発明は、ＪＳＶＭ４に記載された手法を詳細に修正するのではなく、ＢＬ ＭＢから「仮想ベース・レイヤ」（ＶＢＬ）マクロブロックを工程１９０で規定することを含む。「仮想ベース・レイヤ」（ＶＢＬ）マクロブロックは、動きデータが関連付けられる構造である。ＶＢＬ構造の使用は、ＪＳＶＭ４アップサンプリング処理修正を避けるか、又はかなり制限する。インタレースに関する課題の大半が、ＶＢＬデータ導出において報告されている。実際に、「仮想ベース・レイヤ」（ＶＢＬ）マクロブロックは、ＢＬマクロブロックとＥＬマクロブロックとの間の互換性を確実にし、プログレッシブ画像についてＪＳＶＭ４に規定されたインターレイヤ予測の直接的な再利用を容易にする。ＢＬマクロブロックに再サンプリング処理を直接施すかわりに、ＢＬマクロブロックはまず、ＶＢＬマクロブロックに変換される。ＶＢＬマクロブロックは全て、ＥＬマクロブロック・フィールド／フレーム・モードと互換のフィールド／フレーム・モードを有する。実際には、この方法は、ＶＢＬフレーム（ＢＬ画像と同じ寸法を有する）、ＶＢＬ最上部フィールド及びＶＢＬ底部フィールド（ＢＬ画像と同じ幅、及びＢＬ画像の半分の高さを有する）の構造の使用を必要とし、図１７に示すＢＬ画像と同じ寸法のＶＢＬフィールドを形成する。各ＶＢＬ構造は、動きデータが関連付けられるＶＢＬフレームＭＢ、ＶＢＬ最上部フィールドＭＢ、及びＶＢＬ底部フィールドＭＢと呼ばれるマクロブロックに分割される。ＢＬ ＭＢから高分解能画像のＭＢの動き情報を導出するための、ＪＳＶＭ４記載の古典的ＥＳＳダウンサンプリング手法が次いで、元のＢＬＭＢではなくＶＢＬ ＭＢを使用して施される。符号化処理では、潜在的なインターレイヤ動き予測子が全て、計算される。符号化処理は次いで、インターレイヤ予測モード又は古典的予測モードを使用した、現在のＥＬ ＭＢの符号化を選択する。インターレイヤ予測モードが符号化処理によって選択された場合、対応するインターレイヤ予測子のみが復号化処理によって計算される。図２を参照すれば、インターレイヤ・モードＩＬ＿ｍｏｄｅがＩＬ＿Ｐ（すなわち、フレーム・モード）又はＩＬ＿Ｉ（すなわち、フィールド・モード）である現在のＥＬ ＭＢのインターレイヤ動き予測処理は以下の工程を達成する。

対応するＶＢＬマクロブロック｛ｃ０，ｃ１，．．．ｃＮ｝を識別する（２００）
（ｘｉ，ｙｉ）にある対応するＶＢＬマクロブロックｃｉ（ｉ＝０．．Ｎ）毎に、インターレイヤ予測モードに応じてＢＬマクロブロックに関連付けられた動きデータから関連付けられた動きデータを導出する（２１０）
ｈ_ｅｎｈ／ｈ_ｂａｓｅに等しい垂直方向比及びｗ_ｅｎｈ／ｗ_ｂａｓｅに等しい水平方向比で、ＪＳＶＭ４に記載されたＥＳＳ処理を使用して、インターレイヤ動き予測子を各ＶＢＬ ＭＢから導出する（２２０）。ここで、ｈ_ｅｎｈはＨＬピクチャの高さであり、ｗ_ｅｎｈはＨＬピクチャの幅であり、ｈ_ｂａｓｅはＢＬピクチャの高さであり、ｗ_ｂａｓｅはＢＬピクチャの幅である。

復号化側でのインターレイヤ・モードＩＬ＿ｍｏｄｅはビットストリームから導出される。符号化側では、このモードは符号化モード判定手法によって導出される。前述の手法は、例えば、事後基準に基づく（すなわち、歪み及び符号化コストの線形的な組み合わせを最小にするモードを選択する）。

図１８は、低分解能画像がインタレースされ、フレーム画像としてＭＢＡＦＦモードで符号化され、高分解能画像がインタレースされ、フレーム画像としてＭＢＡＦＦモードで符号化される場合のインターレイヤ動き予測処理を例として示す。ＥＬマクロブロック（この例では、黒く塗られ、フレーム・マクロブロックとみなす）の場合、その対応するＶＢＬマクロブロックがまず識別される。対応するＢＬマクロブロックは、ＥＬマクロブロックとは別のフレーム／フィールド・モードのものであり得る。例えば、図１８では、ＢＬマクロブロックの右の対は２つのフィールド・マクロブロックを含む一方、ＥＬマクロブロックはフレーム・モードにある。この場合、ＢＬマクロブロックに関連付けられた動きデータが変換される。この変換動きデータ情報はしたがって、ＥＬマクロブロックと同じフレーム／フィールド・モードを有するＶＬＢマクロブロックに関連付けられる。最後に、インターレイヤ予測が、ＪＳＶＭ４に記載された「標準的な」プログレッシブ再サンプリング処理を使用してＶＢＬマクロブロックからＥＬマクロブロックへのインターレイヤ予測が行われる。

フレームフィールド・マクロブロック変換が以下の場合に必要である。

場合１：ＢＬフレーム及びＥＬフレームはＭＢＡＦＦモードで符号化され、ＥＬ ＭＢはフィールド符号化され、対応するＢＬ ＭＢはフレーム符号化される。これは、フレーム・フィールド変換を必要とする。

場合２：ＥＬ ＭＢはフレーム符号化され、ＢＬはフレーム画像であり、対応するＢＬ ＭＢはフィールド符号化される。その場合、フィールド・フレーム変換が必要である。

場合３：ＢＬ画像はプログレッシブ・フレームであり、ＥＬ ＭＢは、フレーム画像でフィールド符号化されるか、又はフィールド画像に属し、ＥＬフィールド高さＨ_ｅｌ２はＢＬフレーム高さＨ_ｂよりも低い。その場合、フレーム・フィールド変換が必要である。

工程２００は、対応するＶＢＬマクロブロック｛ｃ０，ｃ１，…ｃＮ｝を識別する工程を含む。ＥＬ ＭＢモードがＩＬ＿Ｐの場合、すなわち、ＶＢＬフレームＭＢが使用される場合、対応するＶＢＬ ＭＢは以下の処理を使用して求められる。すかわち、
ｘｓ＝［ｘ^＊ｗ_ｂａｓｅ／ｗ_ｅｎｈ］／１６
ｙｓ＝［ｙ^＊ｈ_ｂａｓｅ／ｈ_ｅｎｈ］／１６
ｘｅ＝［（ｘ＋１５）^＊ｗ_ｂａｓｅ／ｗ_ｅｎｈ］／１６
ｙｅ＝［（ｙ＋１５）^＊ｈ_ｂａｓｅ／ｈ_ｅｎｈ］／１６
ここで（ｘ，ｙ）は、対象のＥＬ ＭＢの左上サンプル位置であり、（Ｗ_ｂａｓｅ，ｈ_ｂａｓｅ）はベース画像の寸法であり、（w_ｅｎｈ，ｈ_ｅｎｈ）はエンハンスメント画像の寸法である。対応するＶＢＬマクロブロック｛ｃ０，ｃ１，…ｃＮ｝は、左上位置（ｘｓ，ｙｓ）及び右下位置（ｘｅ，ｙｅ）で区切られたウィンドウ内にある。

ＥＬ ＭＢモードがＩＬ＿Ｉの場合、すなわち、ＶＢＬ最上部フィールドＭＢ又は底部フィールドＭＢが使用される場合、対応するＶＢＬ ＭＢは以下の処理を使用して求められる。

ｘｓ＝［（ｘ−ｘ_０）^＊ｗ_ｂａｓｅ／ｗ_ｅｎｈ］／１６
ｙｓ＝［（ｙ−ｙ_０）^＊（ｈ_ｂａｓｅ／２）／ｈ_ｅｎｈ］／１６
ｘｅ＝［（ｘ＋１５−ｘ_０）^＊ｗ_ｂａｓｅ／ｗ_ｅｎｈ］／１６
ｙｅ＝［（ｙ＋１５−ｙ_０）^＊（ｈ_ｂａｓｅ／２）／ｈ_ｅｎｈ］／１６
対応するＶＢＬマクロブロック｛ｃ０，ｃ１，．．．ｃＮ｝は、左上位置（ｘｓ，ｙｓ）及び右下位置（ｘｅ，ｙｅ）によって区切られたウィンドウ内にあるものである。

工程２１０は、ＶＢＬ ＭＢを生成する工程を含み、かつ、特に、ＶＢＬ ＭＢに関連付けられた動きデータを導出する工程を含む。ＶＢＬ最上部ＭＢは、ＢＬ画像符号化モードに応じて以下のように生成される。

ＢＬ画像がフレーム画像として符号化された場合、（ｘｉ，２^＊ｙｉ）にあるＢＬ ＭＢがプログレッシブの場合には，ＶＢＬ最上部ＭＢ ｃｉは、（ｘｉ，２^＊ｙｉ＋１）にあるＢＬ ＭＢ及び（ｘｉ，２^＊ｙｉ）にあるＢＬ ＭＢを含むＭＢ対の垂直ダウンサンプリング・バージョンである。図３に表すようなプログレッシブ・マクロブロックの対の垂直ダウンサンプリングされたマクロブロック・バージョンを導出する連続処理において新たなダウンサンプリング処理が規定され、（ｘｉ，２^＊ｙｉ）にあるＢＬ ＭＢがインタレースの場合、ＶＢＬ最上部ＭＮに関連付けられた動きデータは位置（ｘｉ，２^＊ｙｉ）に関連付けられた動きデータの複製である。

ＢＬ画像がフィールド画像として符号化された場合、ＶＢＬ最上部ＭＢ ｃｉに関連付けられた動きデータは、（ｘｉ，ｙｉ）における最上部ＢＬ ＭＢに関連付けられた動きデータの複製である。

ＶＢＬ底部ＭＢは、ＢＬ画像符号化モードに応じて以下のように生成される。

ＢＬ画像がフレーム画像として符号化された場合、（ｘｉ，２^＊ｙｉ＋１）にあるＢＬ ＭＢがプログレッシブの場合には，ＶＢＬ底部ＭＢ ｃｉは、（ｘｉ，２^＊ｙｉ＋１）にあるＢＬ ＭＢ及び（ｘｉ，２^＊ｙｉ）にあるＢＬ ＭＢを含むＭＢ対の垂直ダウンサンプリング・バージョンである。これは、図４に表すような新たなダウンサンプリング処理を使用して生成され、（ｘｉ，２^＊ｙｉ＋１）にあるＢＬ ＭＢがインタレースの場合、ＶＢＬ底部ＭＢ ｃｉに関連付けられた動きデータは位置（ｘｉ，２^＊ｙｉ＋１）にある底部ＢＬ ＭＢに関連付けられた動きデータの複製である。

ＢＬ画像がフィールド画像として符号化された場合、ＶＢＬ底部ＭＢ ｃｉに関連付けられた動きデータは、（ｘｉ，ｙｉ）における底部ＢＬ ＭＢに関連付けられた動きデータの複製である。

ＶＢＬフレームＭＢは、ＢＬ画像符号化モードに応じて以下のように生成される。

図５に表すようにＢＬ画像がフレーム画像に符号化された場合、（ｘｉ．ｙｉ）にあるＢＬ ＭＢがプログレッシブの場合には、ＶＢＬフレームＭＢ ｃｉに関連付けられた動きデータは（ｘｉ，ｙｉ）にあるＢＬ ＭＢに関連付けられた動きデータの直接の複製であり、（ｘｉ，ｙｉ）にあるＢＬ ＭＢがインタレースの場合には、ＶＢＬフレームＭＢ ｃｉは、（ｘｉ，ｙｉ）にあるＢＬ ＭＢ、及び（ｘｉ，ｙｉ＋１−２^＊（ｙｉ％２））にあるＢＬ ＭＢを有するＭＢ対のマージされたバージョンである。新たなマージ処理は、２つのマクロブロックをプログレッシブ・マクロブロックにマージすることを可能にする連続処理において規定される。

この場合、ＭＢ対のＶＢＬフレームのＭＢアップ及びＭＢダウンは同一である。同じ最上部ＢＬ ＭＢ及び底部ＢＬ ＭＢから生成されるからである。

図６に表すようにＢＬ画像がフィールド画像として符号化された場合、ＶＢＬフレームＭＢ ｃｉは、位置（ｘｉ，ｙｉ／２）におけるＢＬ最上部フィールドＭＢ及び位置（ｘｉ，ｙｉ／２）におけるＢＬ底部フィールドＭＢのマージされたバージョンである。このＶＢＬフレームＭＢは、新たなマージ処理を使用して生成される。

プログレッシブ・マクロブロック対の垂直ダウンサンプリングされたマクロブロック・バージョンを導出する新たなダウンサンプリング処理は、プログレッシブ形式で符号化された位置（ｍｂＸ，２^＊ｍｂＹ）及び（ｍｂＸ，２^＊ｍｂＹ＋１）でＢＬマクロブロック対（アップ及びダウン）に施す。これは、比２で垂直ダウンサンプリングする工程を含む（一例を図７に表す）。この処理により、ダウンサンプリングされたマクロブロックが位置（ｍｂＸ，ｍｂＹ）において出力される。図７に表すように、２つのＢＬアップ・マクロブロック及びダウン・マクロブロックはそれぞれ、垂直ダウンサンプリング後に
１６×８パーティションを生成する。よって、基本的には、垂直ダウンサンプリングされたマクロブロックは２つの１６ｘ８パーティションに分割される。垂直ダウンサンプリング処理は、ＭＰＥＧ−４ ＡＶＣ標準によって禁止されている構成を生成することが可能である。例えば、
８×８サブパーティションにおいて異なる参照指数（例えば、ＢＬマクロブロックの１つが４つの８ｘ８ブロックに分割され、近傍の２つのアップ８ｘ８ブロック及びダウン８ｘ８ブロックが同じ参照指数を有しない場合、ダウンサンプリングされると、異なる参照指数を有する２つの８×４ブロックに分割される８×８ブロックを生成する）。あるいは、
２画素の高さのサブパーティション（例えば、入力８×８ブロックが８×４サブパーティションに分割された場合、一度ダウンサンプリングされた８×２のサイズのサブパーティションを生成する）。

したがって、クリーニング処理をＢＬアップＭＢ及びＢＬダウンＭＢにまず施して前述の構成を避ける。プログレッシブＢＬマクロブロック対の各マクロブロックは、無効な動きベクトルを備えたパーティションを避けるためにまず、クリーンアップされる。ＭＢ_ＢＬと表す１つのプログレッシブＢＬマクロブロックについて図８に表す処理は、対のアップＭＢ及びダウンＭＢに連続して施す。これは以下の３つの工程を達成する。

無効なパーティションの除去（８００）
参照指数の均一化（８１０）、並びに
４×４のサブパーティション、４×８のサブパーティションのマージ（８２０）
工程８００は、復号化処理において未だ利用可能でない参照フィールド又はフレームに対応する無効パーティション（すなわち、無効参照指数を使用するパーティション）を除去する工程を含む。

ＭＢ_ＢＬモードがイントラでない場合、以下の処理を施す。

リスト（０又は１）毎に、以下を施す。

まず、無効参照指数を有するパーティションが無効として分類され、他のパーティションが有効として分類される。

次いで、少なくとも１つのパーティションが有効の場合、無効として分類されたパーティション毎に、無効パーティションの除去が達成される。例えば、無効として分類されていないマクロブロックの近傍パーティションのサブパーティション化、動きベクトル、及び参照指数が、無効パーティションに複製される。近傍パーティションは、水平方向、垂直方向、対角線方向の順序で走査することができる。パーティションは次いで有効として分類される。

両方のリストについて、パーティションが全て無効の場合、ＭＢ_ＢＬモードは無効にセットされる。

ＭＢ_ＢＬモードがイントラの場合、何も行われない。

工程８１０は、ＭＢ_ＢＬパーティション内の参照指数を均一化する工程を含む。これは、ＭＢ_ＢＬモードが無効にセットされていない場合にのみあてはまる。

ＢＬマクロブロック・パーティションが１６ｘ８又は８ｘ８に等しい場合、マクロブロックのアップ・パーティション毎に以下の処理が施される。

少なくとも一リスト（０又は１）について、マクロブロックのダウン・パーティションが、異なる参照指数をそのアップ・パーティションとして有する場合、以下がリスト（０又は１）毎にあてはまる。

最小参照指数ｒｌを使用したアップ・パーティション又はダウン・パーティションが識別される（ｒｅｆＰａｒｔと表す）。

他方のパーティションには、同じ参照指数ｒｌ、サブパーティション化（該当する場合）、及び動きベクトルをｒｅｆＰａｒｔとして有するよう強制される。

場合によっては、工程８１５で、パーティション・マージ処理が施される。サブパーティション化されておらず、リスト毎の参照指数及び動きベクトルが同一の場合、パーティションは、単一のパーティションにマージされる。マクロブロック・モードは以下のように修正される：
１６ｘ８及び８ｘ１６は、１６ｘ１６に変換される。

８ｘ８は、以下として変換される。

８×１６（８×８左ブロックが一緒にマージされ、８×８右ブロックが一緒にマージされた場合）
１６×８（８×８アップ・ブロックが一緒にマージされ、８×８ダウン・ブロックが一緒にマージされた場合）、及び
１６×１６（４つの８×８アップ・ブロックが一緒にマージされた場合）。

工程８１５は任意である。

工程８２０は、４×４サブパーティション及び８×４サブパーティションをマージする工程を含む。これは、ＭＢ_ＢＬモードが無効にセットされていない場合にのみあてはまる。ＭＢ_ＢＬモードが無効にもイントラにも等しくなく、マクロブロック・パーティションが８×８に等しい場合、サブパーティションのマージが、マクロブロックの各８×８ブロックに施される。サブパーティション化は８×４又は４×４に等しい。図９に表すように、８×４サブパーティションは８×８サブパーティションにマージされ、４×４サブパーティションは４×８サブパーティションにマージされる。マージ領域それぞれについて、リスト（０又は１）毎に、マージ領域動きベクトルが、マージ対象の２つの部分の平均動きベクトルにセットされる。

クリーニング処理後、ＭＢ_Ｄと呼ばれるダウンサンプリングされたマクロブロックが生成される。これは、対応するクリーニングされた２つのＢＬマクロブロック（ＢＭｂＵｐ及びＢＭｂＤｏｗｎ）を有する。図１０は、ダウンサンプリングされたマクロブロックＭＢ_Ｄを生成するよう施される処理のフローチャートを表す。

ＢＭｂＵｐ及びＢＭｂＤｏｗｎがイントラの場合、ＭＢ_Ｄはイントラにセットされる。

さもなければ、ＢＭｂＵｐ及びＢＭｂＤｏｗｎがイントラ又は無効の場合（３つの場合をここでは考えてみる。ＢＭｂＵｐがイントラであり、ＢＭｂＤｏｗｎが無効の場合、ＢＭｂＵｐが無効であり、ＢＭｂＤｏｗｎがイントラの場合、又はマクロブロックＢＭｂＵｐもマクロブロックＢＭｂＤｏｗｎも無効の場合）、ＭＢ_Ｄは無効にセットされる。

さもなければ、以下の処理があてはまる。

工程１０００で、ＭＢ_Ｄが、２つの１６×８部分（連続して１６×８ＰａｒｔＵｐ及び１６ｘ８ＰａｒｔＤｏｗｎと表す）に分割される。各１６×８部分は、対応する一ＢＬフレーム・マクロブロックを有する（１６ｘ８ＰａｒｔＵｐはＢＭｂＵｐに対応し、１６ｘ８ＰａｒｔＤｏｗｎはＢＭｂＤｏｗｎに対応する）。

工程１２００では、各１６ｘ８部分である１６ｘ８ＰａｒｔＺ（ＺはＵｐ又はＤｏｗｎによって置き換えられる）が、以下の処理（図１１に示す）を使用して構築される。

ＢＭｂＺが無効又はイントラの場合、１６ｘ８ＰａｒｔＺは中立として分類される。

さもなければ、ＢＭｂＺパーティションが１６ｘ１６の場合、１６ｘ８ＰａｒｔＺパーティションは１６ｘ８である（図１１ａ）。リスト毎に、１６ｘ８ＰａｒｔＺ参照指数は、ＢＭｂＺのものである。

さもなければ、１６ｘ８ＰａｒｔＺパーティションは８ｘ８である。１６ｘ８ＰａｒｔＺの２つの８ｘ８ブロックが次いで以下のようにサブパーティション化される。

ＢＭｂＺパーティションが１６×８の場合、サブパーティション化は、何れのブロックも８×４である（図１１ｂ）。

さもなければ、ＢＭｂＺパーティションが８×１６の場合、サブパーティション化は、何れのブロックも８×８である（図１１ｃ）。

さもなければ、ＢＭｂＺのＷ（Ｗは左又は右で置き換える）パーティションが８×８の場合、以下があてはまる（図１１ｄの例）。

ＢＭｂＺのＷ８×８ブロックの少なくとも１つが４×８に分割された場合、Ｗ８×８ブロックのサブパーティション化は４×４である。

さもなければ、Ｗ８×８ブロックのサブパーティション化は８×４である。

１６ｘ８ＰａｒｔＺの導出パーティション／サブパーティションそれぞれは、その参照指数及び動きベクトルを以下のように継承する。

対象パーティション／サブパーティションの４×４左上ブロック座標（ｂ４Ｘ，ｂ４Ｙ）が識別される。

座標が（ｂ４Ｘ，ｂ４Ｙ／２）のＢＭｂＺの４×４ブロックの参照指数及び動きベクトルが対象パーティション／サブパーティションに複製される。

工程１２００は、中立パーティションがある場合、これを除去する工程を含む。２つの１６×８部分の一方が中立と分類された場合、そのコンテンツ（パーティション化／サブパーティション化、参照指数及び動きベクトル）が他方の１６×８部分の内容から複製される。

工程１３００は、ＭＢ_Ｄパーティション化を以下のように導出する工程を含む。

１６ｘ８ＰａｒｔＵｐパーティション及び１６ｘ８ＰａｒｔＤｏｗｎパーティションが１６ｘ８の場合、ＭＢ_Ｄパーティション化は１６×８である。

さもなければ、ＭＢ_Ｄパーティション化は８×８にセットされる。

場合によっては、工程８１５のパーティション・マージ処理が工程１４００で施される。この工程１４００は任意である。

最上部マクロブロック（すなわち、ＢＬ最上部フィールドから）及び底部マクロブロック（すなわち、ＢＬ底部フィールドから）をプログレッシブ・マクロブロック（アップ及びダウン）の対にマージする新たなマージ処理は、インタレース形式で符号化された２つのＢＬマクロブロックにあてはまる。最初に検討されるマクロブロックは、最上部マクロブロックＢｍｂＴｏｐである。第２のマクロブロックは底部マクロブロックＢｍｂＢｏｔである。処理の出力は、図１２に表すプログレッシブ・アップ・マクロブロック及びプログレッシブ・ダウン・マクロブロックの対である。ＢＭｂＴｏｐ及びＢＭｂＢｏｔは以下のように規定される。

ＢＬ画像がフィールド画像として符号化された場合、図１３に表すように、位置（ｍｂＸ，ｍｂＹ）において、ＢＭｂＴｏｐはＢＬ最上部フィールドのマクロブロックであり、ＢＭｂＢｏｔはＢＬ底部フィールドのマクロブロックである。

さもなければ（ＢＬ画像がフレーム画像として符号化された場合）、ＢＭｂＴｏｐ及びＢＭｂＢｏｔは、位置（ｍｂＸ，２^＊ｍｂＹ）及び位置（ｍｂＸ，２^＊ｍｂＹ＋１）におけるＢＬフレームのマクロブロックである。このことは、図１４に表すように、ＢＬフレーム・マクロブロック対がインタレース・モードで符号化された場合にのみ、あてはまる。

図１５を参照すれば、処理は、
比２でＢＭｂＴｏｐ及びＢＭｂＢｏｔを垂直アップサンプリングする工程１５００（この工程は、アップサンプリングされた２つの最上部マクロブロック（すなわち、ＭｂＴｏｐＵｐ及びＭｂＴｏｐＤｏｗｎ）、並びにアップサンプリングされた２つの底部マクロブロック（すなわち、ＭｂＢｏｔｔｏｍＵｐ及びＭｂＢｏｔｔｏｍＤｏｗｎを生成する）と、
アップサンプリングされたマクロブロックＭｂＴｏｐＵｐ及びＭｂＢｏｔｔｏｍＵｐを一マクロブロックＭｂＵｐにマージし、アップサンプリングされたマクロブロックＭｂＴｏｐＤｏｗｎ及びＭｂＢｏｔｔｏｍＤｏｗｎを一マクロブロックＭｂＤｏｗｎにマージする工程５１０との２つの工程を含む。

工程１５００は、比２で垂直方向にマクロブロック・アップサンプリングする工程を含む。この工程は、水平方向の比が１であり、垂直方向の比が２である、ＪＳＶＭ４（ＩＳＯ／ＩＥＣ ＭＰＥＧ及びＩＴＵ−Ｔ ＶＣＥＧ共同ビデオ・チーム（ＪＶＴ） ＪＶＴ−Ｑ２０２、Ｊ．Ｒｅｉｃｈｅｌ、Ｈ．Ｓｃｈｗａｒｚ、Ｍ．Ｗｉｅｎによる「Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ−Ｊｏｉｎｔ Ｄｒａｆｔ ４」）に規定されたＥＳＳアップサンプリング処理を直接施す工程を含む。

工程１５１０は、２つのマクロブロックＭｂｌｎ１及びＭｂｌｎ２に対して施され、マージされた１つのマクロブロックＭｂＯｕｔを生成する。図１５を参照すれば、マクロブロックＭｂｌｎ１及びＭｂｌｎ２がマクロブロックＭｂＴｏｐＵｐ及びＭｂＢｏｔＵｐそれぞれを表す場合にはＭｂＯｕｔはＭｂＵｐを表し、マクロブロックＭｂｌｎ１及びＭｂｌｎ２がマクロブロックＭｂＴｏｐＤｏｗｎ及びＭｂＢｏｔＤｏｗｎそれぞれを表す場合には、ＭｂＯｕｔはＭｂＤｏｗｎを表す。

第１の実施例によれば、Ｍｂｌｎ１に関連付けられた動きデータは、ＭｂＯｕｔに関連付けられる。

ＭｂＯｕｔがイントラでない場合、無効パーティションが、前述の無効パーティション除去処理によって除去される。

ＭｂＯｕｔが無効と分類されている場合、Ｍｂｌｎ２に関連付けられた動きデータはＭｂＯｕｔに関連付けられる。次いで、以下の処理があてはまる。

ＭｂＯｕｔがイントラでない場合、無効パーティションが、前述の無効パーティション除去処理によって除去される。

好ましい実施例によれば、図１６を参照するに、工程１５１０は、以下のサブ工程を施す工程を含む。

サブ工程１６００では、Ｍｂｌｎ１に関連付けられた動きデータはＭｂＯｕｔに関連付けられる。次いで、ＭｂＯｕｔがイントラでない場合、以下の処理を施す。

リスト（０又は１）毎に、以下を施す。

サブ工程１６１０では、無効参照指数を有するパーティションが無効として分類され、他のパーティションが有効として分類される。無効パーティションは以下のように処理される。

サブ工程１６２０では、ＭｂＯｕｔパーティション化が強制的に８×８にされる。無効パーティションは８×８パーティションに分割される。ＭｂＯｕｔモードは強制的に８×８にされる。８×８パーティション毎に、以下があてはまる。

サブ工程１６３０では、Ｍｂｌｎ２における対応する８×８ブロックが有効参照指数を使用した場合、この８×８のＭｂｌｎ２ブロックの、サブパーティション化（サブパーティション化がある場合）、参照指数、及び動きベクトルが、対象の８×８のＭｂＯｕｔパーティションに複製される。このパーティションは有効として分類される。さもなければ、８×８のＭｂＯｕｔパーティションは無効として分類される。

８×８の少なくとも１つのＭｂＯｕｔパーティションが有効の場合、サブ工程１８４０で、無効として分類されたパーティション毎に、無効パーティションの除去が達成される。例えば、無効として分類されていないマクロブロックの近傍パーティションのサブパーティション化、動きベクトル、及び参照指数が、無効パーティションに複製される。近傍パーティションは、水平方向、垂直方向、対角線方向の順序で走査することができる。パーティションは次いで有効として分類される。

両方のリストについて、パーティションが全て無効の場合、モードは無効にセットされる。

サブ工程１６５０で、ＭｂＯｕｔパーティションを、工程８１５のパーティション・マージング処理を施すことにより、マージすることができる。このサブ工程１６５０は任意である。

図２、図８、図１０及び図１６では、表しているボックスは純粋に機能エンティティであり、この機能エンティティは、必ずしも物理的に別個のエンティティに対応しない。すなわち、ソフトウェアの形態で開発してもよく、又は、１つ又はいくつかの集積回路において実現してもよい。

インターレイヤ動き予測子を生成する方法は、ＪＳＶＭ４に記載されたものと同様な、ビデオ信号を符号化する処理のものを使用することができる。

本発明は、図１９に表す符号化装置８にも関する。符号化装置８は、低分解能画像の第１の符号化モジュール８０を備える。モジュール８０は、低分解能画像のベース・レイヤ・データ・ストリーム及び動きデータを生成する。優先的には、モジュール８０は、ＭＰＥＧ４ ＡＶＣ標準と互換のベース・レイヤ・データ・ストリームを生成するよう適合される。符号化装置８は、第１の符号化モジュール８０によって生成される低分解能画像の動きデータから高分解能画像の動きデータを導出するために使用される承継手段８２を備える。承継手段８２は、本発明による方法の工程２００乃至２２０を実現するよう適合される。符号化装置８は、高分解能画像を符号化する第２の符号化モジュール８１を備える。第２の符号化モジュール８１は、承継手段８２が導出した動きデータを使用して高分解能画像を符号化する。第２の符号化モジュール８１はよって、エンハンスメント・レイヤ・データ・ストリームを生成する。優先的には、符号化装置８は、第１の符号化モジュール８０及び第２の符号化モジュール８１それぞれによって供給されるベース・レイヤ・データ・ストリーム及びエンハンスメント・レイヤ・データ・ストリームを合成して単一のデータ・ストリームを生成するモジュール９３（例えば、マルチプレクサ）も備える。したがって、ＥＬ ＭＢが、インターレイヤ予測モードを使用して第２符号化モジュール８１によって符号化された場合、ＥＬ ＭＢに関する動きデータはデータ・ストリームにおいて符号化されない（か、又は、１／４ペル動き精緻化を場合によっては符号化することができる場合があるので、部分的に符号化されるに過ぎない）。モジュール８０によって供給されるＢＬ ＭＢに関する動きデータから導出されるからである。これにより、ビットを多少節減することが可能になる。一方、ＥＬ ＭＢが古典的モード（例えば、双方向モード）を使用して符号化される場合、ＥＬ ＭＢに関する動きデータがデータ・ストリームにおいて符号化される。

本発明は、例えば符号化装置８によって生成されたデータ・ストリームからの高分解能画像を復号化するための、図２０に表す復号化装置９にも関する。復号化装置９は、ベース・レイヤ・データ・ストリームと呼ばれる、データ・ストリームの第１の部分を復号化して、低分解能画像、及び低分解能画像の動きデータを導出する第１の復号化モジュール９１を備える。優先的には、モジュール９１は、ＭＰＥＧ４ ＡＶＣ標準と互換のデータ・ストリームを生成するよう適合される。復号化装置９は、第１の復号化モジュール９１によって生成される低分解能の動きデータから高分解能画像の動きデータを導出するために使用される継承手段８２を備える。継承手段８２は、本発明による方法の工程２００乃至工程２２０を実現するよう適合される。復号化装置９は、エンハンスメント・レイヤ・データ・ストリームと呼ばれる、データ・ストリームの第の部分を復号化する第２の復号化モジュール９２を備える。第２の復号化モジュール９２は、継承手段８２によって導出された動きデータを使用して第２のデータ・ストリーム部分を復号化する。第２の復号化モジュール９２はよって、高分解能画像を生成する。効果的には、装置９は、ベース・レイヤ・データ・ストリーム及びエンハンスメント・レイヤ・データ・ストリームを受信データ・ストリームから抽出する抽出モジュール９０（例えば、復調器）も備える。

別の実施例によれば、復号化装置は２つのデータ・ストリーム（ベース・レイヤ・データ・ストリーム及びエンハンスメント・レイヤ・データ・ストリーム）を受信する。この場合、装置９は、抽出モジュール３０を含むものでない。

垂直方向に配置され、フレーム・モード（図の左部分）又はフィールド・モード（図の右部分）で符号化されたマクロブロック対を表す図である。 本発明による方法のフローチャートを表す図である。 ベース・レイヤの最上部及び底部のインタレースされたマクロブロック対から仮想ベース・レイヤの最上部フィールド・マクロブロック及び底部フィールド・マクロブロックを生成する処理を示す図である。 アップ・プログレッシブ・マクロブロック及びダウン・プログレッシブ・マクロブロックの垂直ダウンサンプリング処理を示す図である。 最上部及び底部のマクロブロック・マージ処理を示す図である。 インタレース・マクロブロック対マージ処理を示す図である。 プログレッシブＢＬマクロブロック（垂直）ダウンサンプリング処理を示す図である。 ＢＬプログレッシブ・マクロブロックのクリーニング処理を表すブロック図である。 ４ｘ４サブパーティション及び８ｘ４のサブパーティションのマージ処理を示す図である。 ダウンサンプリングされたマクロブロック導出処理を表すブロック図である。 種々の垂直ダウンサンプリングのケースを示す図である。 インタレースＢＬの最上部マクロブロック及び底部のマクロブロックのマージ処理を示す図である。 フィールド画像における最上部マクロブロック及び底部マクロブロックを示す図である。 フレーム画像（ＭＢＡＦＦ）における最上部マクロブロック及び底部マクロブロックを示す図である。 インタレースの最上部マクロブロック及び底部マクロブロックのマージ処理の２工程を示す図である。 アップサンプリングされたマクロブロックのコンテンツのマージ処理を表すブロック図である。 仮想ベース・レイヤ構造を表す図である。 本発明による特定のＥＬ ＭＢのインターレイヤ予測処理を表す図である。 本発明による符号化装置を表す図である。 本発明による復号化装置を表す図である。

Claims (7)

1. 低分解能マクロブロックと呼ばれる、低分解能画像のマクロブロックに関連付けられた動きデータから少なくとも１つの動き予測子を、高分解能マクロブロックと呼ばれる、高分解能画像の少なくとも１つのマクロブロックについて生成する、スケーラブル・ビデオ信号符号化又は復号化の処理の一部としての方法であって、
   仮想ベース・レイヤ・マクロブロックと呼ばれる重ならないマクロブロックを含む仮想構造を定義する工程であって、前記仮想構造は、前記低分解能画像と同じ寸法を有する工程と、
   前記高分解能画像内の前記高分解能マクロブロックの位置に基づいて、かつ、前記低分解能画像の寸法と前記高分解能画像の寸法との比に基づいて仮想画像内の対応する仮想ベース・レイヤを前記高分解能マクロブロックについて識別する工程と、
   対応する低分解能マクロブロック対のフィールド／フレーム・モードに基づいて、かつ、前記高分解能マクロブロックのフィールド／フレーム・モードに基づいて、対応する低分解能マクロブロック対の少なくとも１つのマクロブロックに関連付けられた動きデータから動きデータを、識別された仮想ベース・レイヤ・マクロブロックそれぞれに関連付ける工程と、
   前記対応する仮想ベース・レイヤに関連付けられた動きデータを再サンプリングして前記少なくとも１つの動き予測子を生成する工程とを含む方法。
2. 請求項１記載の方法であって、前記高分解能マクロブロックがフレーム・モードにあり、前記対応する低分解能マクロブロック対がフィールド・モードにある場合、前記導出する工程は、
   最上部マクロブロック及び底部マクロブロックを含む前記低分解能マクロブロック対を比２で垂直方向にアップサンプリングする工程であって、アップサンプリングされたマクロブロックそれぞれが、アップ部分及びダウン部分を含む工程と、
   前記アップサンプリングされた最上部マクロブロックのアップ部分の動きデータを、前記アップサンプリングされた底部マクロブロックのアップ部分の動きデータとマージし、前記アップサンプリングされた最上部マクロブロックのダウン部分の動きデータを、前記アップサンプリングされた底部マクロブロックのダウン部分の動きデータとマージする工程とを含む方法。
3. 請求項１又は２に記載の方法であって、前記高分解能マクロブロックがフィールド・モードにあり、前記対応する低分解能マクロブロック対がフレーム・モードにある場合、前記導出する工程は、前記対応する低分解能マクロブロック対に関連付けられた動きデータを比２で垂直方向にダウンサンプリングする工程を含む方法。
4. 高分解能マクロブロックと呼ばれるマクロブロックを含む高分解能画像系列、及び低分解能マクロブロックと呼ばれる低分解能画像系列を符号化する装置であって、
   前記低分解能画像を符号化する第１の符号化手段であって、前記低分解能画像のマクロブロックの動きデータ、及びベース・レイヤ・データ・ストリームを生成する第１の符号化手段と、
   低分解能マクロブロックと呼ばれる、低分解能画像のマクロブロックの動きデータから、 高分解能マクロブロックと呼ばれる高分解能画像の少なくとも１つのマクロブロックの動きデータを導出する継承手段と、
   前記導出された動きデータを使用して前記高分解能画像を符号化する第２の符号化手段であって、エンハンスメント・レイヤ・データ・ストリームを生成する第２の符号化手段とを備え、前記継承手段は、
   仮想ベース・レイヤ・マクロブロックと呼ばれる重ならないマクロブロックを含む仮想構造を定義する手段であって、前記仮想構造は、前記低分解能画像と同じ寸法を有する手段と、
   前記高分解能画像内の前記高分解能マクロブロックの位置に基づいて、かつ、低分解能画像の寸法と高分解能画像の寸法との比に基づいて仮想画像内の対応する仮想ベース・レイヤ・マクロブロックを前記高分解能マクロブロックについて識別する手段と、
   対応する低分解能マクロブロック対のフィールド／フレーム・モードに基づいて、かつ、前記高分解能マクロブロックのフィールド／フレーム・モードに基づいて、前記対応する低分解能マクロブロック対の少なくとも１つのマクロブロックに関連付けられた動きデータから動きデータを、識別された仮想ベース・レイヤ・マクロブロック毎に導出する手段と、
   前記対応する仮想ベース・レイヤに関連付けられた動きデータを再サンプリングして少なくとも１つの動き予測子を生成する手段とを備える装置。
5. 請求項４記載の装置であって、前記第１の符号化手段がＭＰＥＧ−４ＡＶＣビデオ符号器である装置。
6. 少なくとも符号化高分解能画像系列を復号化する装置であって、前記符号化画像はデータ・ストリームの形式で生じ、各画像は、重ならないマクロブロックに分割され、
   少なくとも第１のデータ・ストリーム部分を復号化して、低分解能画像、及び前記低分解能画像のマクロブロックの動きデータを生成する第１の復号化手段と、
   低分解能画像のマクロブロックの動きデータから、高分解能画像の少なくとも一マクロブロックについて動きデータを導出する継承手段と、
   前記導出動きデータを使用して前記データ・ストリームの少なくとも第２の部分を復号化して高分解能画像を生成する第２の復号化手段とを備え、前記継承手段は、
   仮想ベース・レイヤ・マクロブロックと呼ばれる重ならないマクロブロックを含む仮想構造を定義する手段であって、前記仮想構造は、前記低分解能画像と同じ寸法を有する手段と、
   前記高分解能画像内の高分解能マクロブロックの位置に基づいて、かつ、低分解能画像の寸法と高分解能画像の寸法との比に基づいて、仮想画像内の対応する仮想ベース・レイヤ・マクロブロックを前記高分解能マクロブロックについて識別する手段と、
   対応する低分解能マクロブロック対のフィールド／フレーム・モードに基づいて、かつ、前記高分解能マクロブロックのフィールド／フレーム・モードに基づいて、対応する低分解能マクロブロック対の少なくとも１つのマクロブロックに関連付けられた動きデータから動きデータを、識別された仮想ベース・レイヤ・マクロブロック毎に導出する手段と、 前記対応する仮想ベース・レイヤ・マクロブロックに関連付けられた動きデータを再サンプリングして少なくとも１つの動き予測子を生成する手段とを備える装置。
7. 請求項６記載の装置であって、前記第１の復号化手段は、ＭＰＥＧ：４ＡＶＣビデオ復号器である装置。

Images