JP2014524706A

JP2014524706A - 動きベクトル処理

Info

Publication number: JP2014524706A
Application number: JP2014525966A
Authority: JP
Inventors: チワンフェイウー，; トーマスラサート，
Original assignee: テレフオンアクチーボラゲットエルエムエリクソン（パブル）
Priority date: 2011-08-19
Filing date: 2012-05-28
Publication date: 2014-09-22
Also published as: US9736472B2; WO2013028117A1; EP2745514A1; US20140185686A1; US20140198856A1; WO2013028116A1; CN103891290B; CN103891290A; EP2745513A1; EP2745513B1; US10567786B2

Abstract

本発明の実施形態は、複数のカメラ視点（１０、２０）からの多視点映像コンテンツの動きベクトル予測および復号に関する。符号化される現在動きベクトル（３４）に対して、少なくとも１つの候補動きベクトルプレディクタ（５４、６４）が提供される。その後、カメラ視点（１０、２０）間の基準距離に基づいて決定された個々のスケーリング係数を乗じた少なくとも１つの候補動きベクトルプレディクタ（５４、６４）から、動きベクトルプレディクタが決定される。それに応じて、復号時に、現在画素ブロック（３０）に対して、動きベクトルプレディクタ（現在画素ブロック（３０）に対して決定された）に基づいて、動きベクトル（３４）が決定される。

Description

本発明の実施形態は、全般的には、動きベクトルの処理に関し、特に、該動きベクトルの予測および復号に関する。

Ｈ．２６４（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ−４（ＭＰＥＧ−４）としても表わされる）は、最先端の映像符号化標準（ＡＶＣ）である。これは、フレーム間および１フレーム内の冗長性を排除することを利用して、圧縮効率に優れた多くの圧縮技術を使用するハイブリッドコーデックである。符号化処理の出力は、伝送または記憶される前にネットワーク抽象化層（ＮＡＬ）ユニットにさらにカプセル化された映像符号化層（ＶＣＬ）データである。

Ｈ．２６４は、ブロックベースであり、すなわち、映像フレームは１６×１６画素ブロックのマクロブロック（ＭＢ）単位で処理され、これはさらにサブマクロブロック（ｓＭＢ）に分割されてもよい。符号化されるデータ量を最小限に抑えるために、それぞれの非イントラ画素ブロックにおいて動き補償（ＭＣ）と呼ばれる技術が使用される。これは、隣接フレーム内の以前に再構成された画素値を使用して、最大限の努力で現在画素ブロックの画素値を予測するものである。現在画素ブロックを予測するために、参照フレーム内の現在画素ブロックと同様の領域がビットストリームでシグナリングされる。予測画素値を残りの画素値に加算することにより最終再構成を行うことができる。参照フレーム内の現在画素ブロックのベストマッチを見つけるために、通常は、エンコーダ側で動き検出が行われる。これは、現在画素ブロックと可能性のある参照画素ブロックとの間の最も小さい差分二乗和（ＳＳＤ）または差分絶対値和（ＳＡＤ）を見つけようとするものである。動き検出の結果は、参照する参照フレームに信号伝達する参照インデックスおよび参照領域を指し示す動きベクトル（ＭＶ）と呼ばれるオフセットベクトルになる。ＭＶは、映像のビットストリーム内で重要な消費成分である。高い量子化パラメータ（ＱＰ）で符号化された映像の場合、そのビットレートは５０％超まで消費される可能性がある。

動きベクトル符号化
ＭＶは、ＭＶ間の冗長性が利用されるために、直接ビットストリームに符号化されない。隣接するＭＶ間は高い相関関係がある場合が多く、同じ長さおよび方向を有するＭＶはクラスタリングされる場合が多い。これらのクラスタリングされたＭＶは、物体が移動している局所動き、またはパンの動きが存在するグローバル動きに対応すると言える。符号化されるそれぞれのＭＶに対して、最初に、データ量を減らすためにＭＶ予測が行われ、ＭＶとＭＶプレディクタとの間の差分のみが符号化される。Ｈ．２６４において、画素ブロックから左、上、右上までのＭＶのメディアン値を求めることによって、メディアンプレディクタが生成される。この処理は、水平成分および垂直ＭＶ成分それぞれに対して行われる。

多視点映像符号化
「従来」の映像設備は、１つの表現、すなわち、固定カメラ位置の映像を提供するが、近年では、多視点映像表現がかなり重要性を増してきている。多視点表現は、異なるカメラの視野または視点からのコンテンツを表現するものであり、具体的には、シーンが人の目と同じ距離または同様の距離を有する２つのカメラから撮られる「立体映像」のケースがある。適切な表示技術を使用して視聴者に「立体」のコンテンツを提示することにより、視聴者に奥行き知覚を提供することができる。

ＭＶＣは、多視点映像表現を圧縮するのに使用できる映像符号化標準である。異なる層間の情報の冗長性を排除することによって、高い圧縮効率が達成される。ＭＶＣはＡＶＣ標準に基づくので、ＭＶＣはＡＶＣ構造のほとんどを共有するものである。

ＭＶＣ参照ピクチャリスト
ＭＶＣとＡＶＣの主な違いは、参照ピクチャリストの処理プロセスである。参照ピクチャリストは、予測に使用できる画像の集合である。画像リストは、通常、現在フレームまでの距離に基づく順序で分類される。ＡＶＣでは、リスト内の全ての参照ピクチャは同じ視点からの画像である。ＭＶＣでは、同じ視点からの参照ピクチャ以外に、他の視点からの参照ピクチャも存在する。したがって、ＭＶＣ参照ピクチャリスト構築プロセスの第１のステップはＡＶＣと全く同じであり、後で視点間の参照ピクチャが加えられるという点が異なる。複雑さを考慮すると、他の視点からの時間内の同じインスタンスのフレームをＭＶＣのリストに加えることのみが可能である。

高効率映像符号化（ＨＥＶＣ）
ＨＥＶＣは、現在標準化過程にある次世代映像符号化標準である。ＨＥＶＣは、特に、高解像度映像シーケンスに対して、ＡＶＣに比べて大幅に符号化を改善することを目的とするものである。ＨＥＶＣ開発は、最初は、白黒映像、すなわち、単一視点に焦点を合わせている。

動きベクトル競合
Ｈ．２６４のメディアンＭＶプレディクタは、多くの場合、あまり有効でない。ＶＣＥＧＣｏｎｔｒｉｂｕｔｉｏｎ［１］には、動きベクトル競合と表わされる新技術について記載されている。この技術の重要な概念は、現在ＭＶと高い相関がある場合が多い隣接画素ブロックからＭＶを取得して、候補ＭＶのリストを作ることである。この場合、隣接画素ブロックは、空間的に隣接するブロック、すなわち、同じフレーム、または時間的に隣接するブロック、すなわち、異なるフレームのいずれかとすることができる。これらの候補ＭＶは、それぞれの参照フレームまでの時間的距離に応じてスケーリングされる。レート歪み（ＲＤ）基準に基づくプレディクタになるように、リストから１つの候補ＭＶのみが選択されて、リストに対して対応するインデックスエントリがビットストリームで送信される。一般に、動きベクトル競合は、メディアンＭＶ予測に比べて映像符号化性能を向上させるので、ＨＥＶＣ向けに提案される。

動きベクトル競合では、選択された候補ＭＶは、必ずしもＭＶ予測を行うための現在画素ブロックの参照距離と同じ参照距離を有するとは限らないので、通常、候補リストに入れられる前にスケーリングされる必要がある。用語「参照距離」は、ＭＶを含むフレームとＭＶが指し示すフレームとの間のピクチャオーダーカウント（ＰＯＣ）の差を指す。図１では、映像シーケンスの表示順であるＰＯＣ０〜６で示された７つのフレームがある。図示されている例では、ＰＯＣが０、１、３、４、５、６のフレームはすでに符号化されたフレームである。ＰＯＣ＝２のフレームは、符号化される現在フレームであり、フレーム２の中央の画素ブロックは現在画素ブロックであり、それより上の画素ブロックはすでに符号化されている。現在画素ブロックは、参考としてフレーム０から参照領域を使用するインター予測モードを検証しているところである。図面には、３つの候補ＭＶプレディクタが示されており、これらは現在フレーム内の空間的に隣接する画素ブロックからのＭＶＢと、それぞれ現在フレームの前後で時間的に配列されたブロックからのＭＶＡおよびＭＶＣである。これらの候補ＭＶプレディクタが候補リストに採用される前に、スケーリング係数が使用される。スケーリング係数の数式は、以下の通りである。

図１では、ＣｕｒｒＤｉｓｔａｎｃｅは２−０＝２であり、ＲｆＤｉｓｔａｎｃｅはＭＶＡ、ＭＶＢ、ＭＶＣそれぞれに対して、１−０＝１、２−０＝２、３−６＝−３である。したがって、ＭＶＡ、ＭＶＢ、およびＭＶＣのスケーリング係数はそれぞれ、２／１＝２、２／２＝１、−２／３である。それぞれの候補ＭＶプレディクタは、計算されたスケーリング係数に応じて拡大または縮小される。これらのスケーリングされたＭＶプレディクタは、図１の下の部分に示されている。

上述したようなＨＥＶＣ向けに提案された動きベクトル競合は、白黒映像の場合には効果がある。しかし、動きベクトル競合をＨＥＶＣまたは実際ＭＶＣで多視点映像シーケンスに適用した場合には問題が生じる可能性がある。

例えば、動きベクトル競合を多視点映像シーケンスに適用した場合、動きベクトルは同じＰＯＣを含むが別の視点のフレームを指し示す可能性がある、または候補ＭＶプレディクタが別の視点の同じＰＯＣを含むフレームを指し示す可能性がある。これらの場合、上記したスケーリング係数の数式の分子および分母それぞれがゼロになる。その結果、それぞれスケーリング係数はゼロまたは不定となる。

さらに、空間的および時間的に隣接する候補ＭＶプレディクタだけでなく他の視点からのＭＶも使用する可能性がある場合に、候補ＭＶプレディクタを選択する際に圧縮性能が不十分になる可能性がある。

したがって、多視点映像に関して使用するのに適した動きベクトルの効率的な処理の必要性がある。

多視点映像の動きベクトルの効率的な処理を提案することが、本発明の目的である。

本発明の一実施態様は、複数のカメラ視点からの映像コンテンツの多視点映像符号化のための動きベクトル予測方法を定義する。本発明の方法は、現在カメラ視点の現在フレーム内の現在画素ブロックの動きベクトルを推定するステップを含む。動きベクトルは、現在カメラ視点とは異なる参照カメラ視点の参照フレーム内の参照画素領域を識別する。第１のカメラ視点の第１のフレーム内の画素ブロックに関連付けられて前記第１のカメラ視点とは異なる第１の参照カメラ視点の第１の参照フレーム内の画素領域を識別する少なくとも１つの候補動きベクトルプレディクタが提供される。本発明の方法はさらに、現在カメラ視点と参照カメラ視点との間の基準距離および第１のカメラ視点と第１の参照カメラ視点との間の基準距離に基づいて、少なくとも１つの候補動きベクトルプレディクタのスケーリング係数を決定するステップを含む。スケーリング係数を乗じた候補動きベクトルプレディクタに基づいて、少なくとも１つの候補動きベクトルプレディクタに対してスケーリング済み候補動きベクトルプレディクタが決定される。動きベクトルに対して、少なくとも１つのスケーリング済み候補動きベクトルプレディクタに基づいて、動きベクトルプレディクタが決定される。

本発明の実施態様はさらに、複数のカメラ視点からの映像コンテンツの多視点映像符号化のための動きベクトル予測装置を定義する。本発明の装置は、現在カメラ視点の現在フレーム内の現在画素ブロックの動きベクトルを推定する構造である動きベクトル推定器を備える。動きベクトルは、現在カメラ視点とは異なる参照カメラ視点の参照フレーム内の参照画素領域を識別する。プレディクタプロバイダは、第１のカメラ視点の第１のフレーム内の画素ブロックに関連付けられて第１のカメラ視点とは異なる第１の参照カメラ視点の第１の参照フレーム内の画素領域を識別する少なくとも１つの候補動きベクトルプレディクタを提供する構造である。本発明の装置はさらに、現在カメラ視点と参照カメラ視点との間の基準距離および第１のカメラ視点と第１の参照カメラ視点との間の基準距離に基づいて、少なくとも１つの候補動きベクトルプレディクタに対してスケーリング係数を決定する構造であるスケーリング係数決定器を備える。スケーリングプレディクタ決定器は、スケーリング係数を乗じた候補動きベクトルプレディクタに基づいて、少なくとも１つの候補動きベクトルプレディクタに対してスケーリング済み候補動きベクトルプレディクタを決定する構造である。プレディクタ決定器は、動きベクトルに対して、少なくとも１つのスケーリング済み候補動きベクトルプレディクタに基づいて、動きベクトルプレディクタを決定する構造である。

本発明の実施態様はさらに、複数のカメラ視点からの映像コンテンツの多視点映像符号化のための動きベクトルを予測するためのコンピュータプログラムを定義する。コンピュータプログラムは、コンピュータ上で実行する際に、コンピュータに現在カメラ視点の現在フレーム内の現在画素ブロックの動きベクトルを推定させるコード化手段を備える。動きベクトルは、現在カメラ視点とは異なる参照カメラ視点の参照フレーム内の参照画素領域を識別する。コンピュータに、第１のカメラ視点の第１のフレーム内の画素ブロックに関連付けられて第１のカメラ視点とは異なる第１の参照カメラ視点の第１の参照フレーム内の画素領域を識別する少なくとも１つの候補動きベクトルプレディクタを提供させる。さらに、コンピュータに、現在カメラ視点と参照カメラ視点との間の基準距離および第１のカメラ視点と第１の参照カメラ視点との間の基準距離に基づいて、少なくとも１つの候補動きベクトルプレディクタに対してスケーリング係数を決定させる。さらに、コンピュータに、スケーリング係数を乗じた候補動きベクトルプレディクタに基づいて、少なくとも１つの候補動きベクトルプレディクタに対してスケーリング済み候補動きベクトルプレディクタを決定させ、動きベクトルに対して、少なくとも１つのスケーリング済み候補動きベクトルプレディクタに基づいて、動きベクトルプレディクタを決定させる。

本発明の関連する実施態様は、複数のカメラ視点からの符号化された多視点映像の動きベクトル復号方法を定義する。本発明の方法は、現在カメラ視点の現在フレーム内の現在画素ブロックの参照フレームインデックスを提供するステップを含む。参照フレームインデックスは、現在カメラ視点と異なる参照カメラ視点の参照フレームを識別する。第１のカメラ視点の第１のフレーム内の画素ブロックに関連付けられて第１のカメラ視点とは異なる第１の参照カメラ視点の第１の参照フレーム内の画素領域を識別する少なくとも１つの候補動きベクトルプレディクタが、現在画素ブロックに対して識別される。本発明の方法はさらに、現在カメラ視点と参照カメラ視点との間の基準距離および第１のカメラ視点と第１の参照カメラ視点との間の基準距離に基づいて、少なくとも１つの候補動きベクトルプレディクタに対して、個々のスケーリング係数を決定するステップを含む。個々のスケーリング係数を乗じた少なくとも１つの候補動きベクトルプレディクタに基づいて形成された少なくとも１つのスケーリング済み候補動きベクトルプレディクタを含む候補リストが生成される。本発明の方法はさらに、候補リストのスケーリング済み候補動きベクトルプレディクタに基づいて、現在画素ブロックに対して動きベクトルを決定するステップを含む。

本発明の関連する実施態様はさらに、複数のカメラ視点のからの符号化された多視点映像の動きベクトル復号装置を定義する。本発明の装置は、現在カメラ視点の現在フレーム内の現在画素ブロックの参照フレームインデックスを提供する構造であるインデックスプロバイダを備える。参照フレームインデックスは、現在カメラ視点と異なる参照カメラ視点の参照フレームを識別する。プレディクタ識別器は、現在画素ブロックに対して、第１のカメラ視点の第１のフレーム内の画素ブロックに関連付けられて第１のカメラ視点とは異なる第１の参照カメラ視点の第１の参照フレーム内の画素領域を識別する少なくとも１つの候補動きベクトルプレディクタを識別する構造である。本発明の装置はさらに、現在カメラ視点と参照カメラ視点との間の基準距離および第１のカメラ視点と第１の参照カメラ視点との間の基準距離に基づいて、少なくとも１つの候補動きベクトルプレディクタに対して、個々のスケーリング係数を決定するスケーリング係数決定器を備える。リスト生成器は、個々のスケーリング係数を乗じた少なくとも１つの候補動きベクトルプレディクタに基づいて形成された少なくとも１つのスケーリング済み候補動きベクトルプレディクタを含む候補リストを生成する構造である。本発明の装置はさらに、候補リストのスケーリング済み候補動きベクトルプレディクタに基づいて、現在画素ブロックに対して動きベクトルを決定する構造であるベクトル決定器を備える。

本発明の関連する実施態様はさらに、複数のカメラ視点のからの符号化された多視点映像の動きベクトル復号のためのコンピュータプログラムを定義する。コンピュータプログラムは、コンピュータ上で実行する際に、コンピュータに現在カメラ視点の現在フレーム内の現在画素ブロックの参照フレームインデックスを提供させるコード化手段を備える。参照フレームインデックスは、現在カメラ視点と異なる参照カメラ視点の参照フレームを識別する。コンピュータに、現在画素ブロックに対して、第１のカメラ視点の第１のフレーム内の画素ブロックに関連付けられて第１のカメラ視点とは異なる第１の参照カメラ視点の第１の参照フレーム内の画素領域を識別する少なくとも１つの候補動きベクトルプレディクタを識別させる。さらに、コンピュータに、現在カメラ視点と参照カメラ視点との間の基準距離および第１のカメラ視点および第１の参照カメラ視点との間の基準距離に基づいて、少なくとも１つの候補動きベクトルプレディクタに対して、個々のスケーリング係数を決定させる。さらに、コンピュータに、個々のスケーリング係数を乗じた少なくとも１つの候補動きベクトルプレディクタに基づいて形成された少なくとも１つのスケーリング済み候補動きベクトルプレディクタを含む候補リストを生成させ、候補リストのスケーリング済み候補動きベクトルプレディクタに基づいて、現在画素ブロックに対して動きベクトルを決定させる。

基準距離が変化するシナリオであるために、基準距離に基づいてかつ基準距離に比例して候補ＭＶプレディクタのスケーリング係数を決定することは、動きベクトルの符号化効率を向上させる。

本発明、さらに本発明のさらなる目的および利点は、添付図面と併せて以下の説明を参照することで最もよく理解できるであろう。

動きベクトル競合を使用して動きベクトル候補のスケーリング係数を計算する概念を示した概略図である。異なる動きベクトルのタイプを有する概念を示した概略図である。カメラ視点間の変化する基準距離の組を示した図である。一実施形態の動きベクトル予測方法を示したフロー図である。一実施形態の動きベクトル予測装置の略ブロック図である。一実施形態の動きベクトル予測のためのコンピュータプログラムを含むコンピュータプログラム製品を備えたコンピュータの略ブロック図である。多視点映像ストリームの一実施形態の動きベクトル予測を示した図である。一実施形態の動きベクトル復号方法を示したフロー図である。一実施形態の動きベクトル復号装置の略ブロック図である。一実施形態の動きベクトル復号のためのコンピュータプログラムを含むコンピュータプログラム製品を備えたコンピュータの略ブロック図である。一実施形態のエンコーダの略ブロック図である。一実施形態のデコーダの略ブロック図である。一実施形態のユーザ装置によって例示されたメディア端末の略ブロック図である。

図面全体を通して、同じ参照番号は、同様の要素または対応する要素に対して使用されている。

本発明の実施形態は、全般的には、動きベクトルの処理に関し、特に、多視点映像符号化のための動きベクトル予測および符号化された多視点映像の動きベクトル復号に関する。したがって、本発明の実施形態により、異なる視点からのシーンを記録するために複数のカメラ視点が存在する用途において、効率的かつ正確な動きベクトル予測および復号が可能になる。

本発明の実施形態は、有利には、多視点映像符号化および復号化を使用する上述のＨＥＶＣ標準に適用可能である。さらに、本発明の実施形態は、他の多視点映像の符号化・復号化標準および動きベクトル予測を利用するスキームと共に使用可能である。例えば、本発明の実施形態は、動きベクトル予測および復号を可能にするためにＭＶＣと共に使用される。本発明の実施形態は、有利には、多視点映像符号化および復号にも動きベクトル競合を使用できるようにするために、動きベクトル競合の補完として使用される。

しかし、本明細書の記載されている実施形態は、ＨＥＶＣ、ＭＶＣ、または実際に動きベクトル競合に限定されない。対照的に、本発明の実施形態は、任意の多視点映像の用途に関する動きベクトルの予測および復号に使用される。

従来の１つの視点による映像符号化では、動きベクトルは、参照時点の参照フレームから現時点の現在フレームまでの画素予測において使用される。同様に、用語「動きベクトル」は、多視点による映像符号化において、現在視点の参照フレームから現在視点の現在フレームまでの予測、すなわち、「純粋な時間予測」について説明するのに使用される場合がある。現時点の参照視点から現時点の現在視点までの画素予測（「純粋な視点間予測」）においては、用語「視差ベクトル」が使用される場合がある。本明細書において、用語「動きベクトル」は、「純粋な時間予測」「純粋な視点間予測」およびこれらを組み合わせた予測、すなわち、例えば、参照時点の参照視点から現時点の現在視点までの画素予測において使用される。

多視点映像符号化に関して動きベクトル予測を適用する際に、例えば、上述の動きベクトル競合を行う際に、種々のタイプの動きベクトルが可能である。これは、図２に概略的に示されている。図２の動きベクトルＡは、現在視点における現在フレームから時間的に過去（または時間的に先）の参照フレームの方を指し示している。これは、いわゆる時間的動きベクトルに相当し、通常は、映像コンテンツの真の動きを表わしている。動きベクトルＣは、現在フレームの時点であるが別のカメラ視点の参照フレームを指し示している。これは、いわゆる視点間動きベクトルのタイプであり、通常は、２つの視点間、すなわち、視点ゼロと視点１との間の視差を表わしている。動きベクトルＢは、現在フレームとは異なる時点であるが別のカメラ視点の参照フレームを指し示している。この動きベクトルは、一般的には、真の動きと視差との組み合わせを表わしており、時間的かつ視点間動きベクトルのタイプと見なされる。さらに任意の変形形態は、いわゆる空間的動きベクトルタイプであり、動きベクトルＤで示されている。動きベクトルＤは、それ自体が現在フレーム内の符号化画素領域を指し示している。この動きベクトルのタイプは、繰り返しパターンを示すものと考えられる。

多視点映像における動きベクトル予測の問題は、視点間の動きベクトルがカメラ視点間の基準距離に非常に関係するということである。図３は、この概念を示している。この例では、基準距離は、立体表現、すなわち、２つのカメラ視点を有する表現のために変化している。基準距離は、フレーム０、１、２では同じである。基準距離は、フレーム３で増加し始め、フレーム４で最大になり、最後にフレーム６で以前の距離に戻る。視差は、通常、基準距離に比例する。したがって、基準距離に特定の係数を乗じた時に、対応する視差にも同じ係数を乗じる可能性が高くなる。フレーム３の視点間動きベクトルがフレーム２の別の視点間動きベクトルから予測される必要がある場合、基準距離のスケーリングの程度を反映する係数で動きベクトルプレディクタをスケーリングすることは有利である。これは、図４のフロー図に示されている実施形態の態様で達成される。

図４は、この態様の動きベクトル予測方法を示したフロー図である。図４に示されている動きベクトル予測は、複数、すなわち少なくとも２つのカメラ視点１０、２０からの映像コンテンツの多視点映像符号化（図７参照）に適用される。図７は、２つのカメラ視点１０、２０による多視点映像符号化の一例を示した図であり、カメラ視点１０、２０はそれぞれ、画素ブロック３０、４０、５０、６０を含む一連のフレーム１２、１４、１６、２２、２４、２６を記録している。図７では、参照番号４０、５０、６０はすでに符号化された画素ブロックを示しており、それぞれの画素領域４２、５２、６２を指し示しているそれぞれの動きベクトル４４、５４、６４はすでに推定されている。

一般的な実施形態では、本発明の方法は、ステップＳ１において、複数のカメラ視点１０、２０の現在カメラ視点２０の現在フレーム２４内の現在画素ブロック３０に対して、複数のカメラ視点１０、２０の参照カメラ視点２０の参照フレーム２２内の参照画素領域３２を識別する動きベクトル３４を推定するステップを含む。特定の実施形態では、現在カメラ視点２０は、参照カメラ視点２０とは異なる。ステップＳにおいて、複数のカメラ視点１０、２０の第１のカメラ視点１０、２０の第１のフレーム１４、２６内の画素ブロック５０、６０に関連付けられた少なくとも１つの候補動きベクトルプレディクタ５４、６４が提供される。この候補動きベクトルプレディクタ５４、６４は、複数のカメラ視点１０、２０の第１のカメラ視点１０、２０の第１の参照フレーム２６、１６内の画素領域５２、６２を識別する。特定の実施形態では、第１のカメラ視点１０、２０は、第１の参照カメラ視点２０、１０とは異なる。本発明の方法はさらに、ステップＳ３において、現在カメラ視点２０と参照カメラ視点２０との間の基準距離および第１のカメラ視点１０、２０と第１の参照カメラ視点２０、１０との間の基準距離に基づいて、少なくとも１つの候補動きベクトルプレディクタ５４、６４のスケーリング係数を決定するステップを含む。本発明の方法はさらに、ステップＳ４において、スケーリング係数を乗じた候補動きベクトルプレディクタ５４、６４に基づいて、少なくとも１つの候補動きベクトルプレディクタ５４、６４に対してスケーリング済み候補動きベクトルプレディクタを決定するステップを含む。最後に、ステップＳ５において、少なくとも１つのスケーリング済み候補動きベクトルプレディクタに基づいて、動きベクトル３４に対して動きベクトルプレディクタが決定される。

この一般的な実施形態のさまざまな実施形態について、詳述する。

図４の方法は、ステップＳ１で始まり、現在カメラ視点２０の現在フレーム２４内で符号化される現在画素ブロック３０に対して、動きベクトル３４が推定される、または予測される。例えば、動きベクトル３４は、先行技術に従って、動きベクトル推定または探索方法で推定される。このような動きベクトル推定は、好ましくは、現在画素ブロック３０の画素値を異なる画素領域の画素値と比較することを含む。次に、現在画素ブロック３０と候補画素領域との間の最も小さい画素値差（例えば、最も小さいＳＳＤまたはＳＡＤを導く）となる候補画素領域が、現在画素ブロック３０に対する参照画素領域３２として選択される。次に、この参照画素領域３２は、少なくとも一部は、動きベクトル３４によって、任意でフレームインデックスによって識別される。したがって、ステップＳ１で識別された動きベクトル３４は、現在画素ブロック３０に対して参照フレーム２２内の参照画素領域３２を識別する。参照フレーム２２は、現在画素ブロック３０と同じ現在カメラ視点２０のフレームとすることができるが、この場合、現在カメラ視点２０の前フレーム２２（または次フレーム２６）である（図７参照）。あるいは、参照フレームは、複数のカメラ視点１０、２０の異なるカメラ視点１０に属する。しかし、実際には、参照フレームが現在フレーム２４となりえるのは、あまり一般的ではない。

特定の実施形態では、現在カメラ視点２０は、参照カメラ視点とは異なる。

本発明の実施形態によれば、ステップＳ１で予測された動きベクトル３４は、直接ビットストリームで符号化されない。対照的に、動きベクトル（ＭＶ）プレディクタ５４、６４が動きベクトル３４に対して決定され、ＭＶプレディクタ５４、６４と動きベクトル３４との間の差分または残差のみを符号化する必要がある。このことで、一般に、動きベクトル間の冗長性を利用することによって、より効率的な符号化を実現することができる。以降のステップＳ２〜Ｓ５は、最適なＭＶプレディクタ５４、６４を見つけるために、動きベクトル３４に対して実行される。

次のステップＳ２は、動きベクトル３４に対して少なくとも１つの候補ＭＶプレディクタ５４、６４を提供する。それぞれの候補ＭＶプレディクタ５４、６４は、それぞれの第１のカメラ視点１０、２０のそれぞれの第１のフレーム１４、２６内のそれぞれの画素ブロック５０、６０に関連付けられて、それぞれの第１の参照カメラ視点２０、１０のそれぞれの第１の参照フレーム２６、１６内のそれぞれの画素領域５２、６２を識別する。特定の実施形態では、第１のカメラ視点１０、２０は、第１の参照カメラ視点２０、１０とは異なる。

ステップＳ２は、さまざまな実施形態に応じて行われてよい。一実施形態では、特定の候補動きベクトルプレディクタ５４、６４は、少なくとも一部は、現在フレーム２４内の現在画素ブロック３０の位置に基づいて提供されるのが好ましい。特定の実施形態では、ステップＳ２は、現在動きベクトル３４に対して複数の候補動きベクトルプレディクタ４４、５４、６４の組を決定することを含み、この組の決定は、現在画素ブロック３０の位置に基づいて行われる。さらに、複数の候補動きベクトルプレディクタ４４、５４、６４の組は、現在画素ブロック３０の位置の他に、現在フレーム２４の時点および現在カメラ視点２０の識別器または数に基づいて決定されるのが好ましい。

複数の候補動きベクトルプレディクタ４４、５４、６４の組は、空間的候補ＭＶプレディクタ、時間的候補ＭＶプレディクタ４４、時空間的候補ＭＶプレディクタ５４、および視点間候補ＭＶプレディクタ５４、６４の両方を含むことができる。前者の候補ＭＶプレディクタを選択する方法の例は、文献［１］に記載されている。したがって、複数の候補動きベクトルプレディクタ４４、５４、６４の組の決定は、（ｉ）現在フレーム２４内の空間的に隣接する画素ブロック４０に関連付けられた動きベクトル４４、（ｉｉ）現在フレーム２４と異なるが現在カメラ視点２０に属するフレーム２６内の時間的に隣接する画素ブロック６２に関連付けられた動きベクトル６４、（ｉｉｉ）現在カメラ視点２０と異なるカメラ視点１０に属するが現在フレーム２４の時点に等しい時点を有するフレーム１４内の画素ブロック５０に関連付けられた動きベクトル５４のうちの少なくとも１つに基づいて行われるのが好ましい。特定の実施形態では、さらに、特定の実施形態では、上記組を決定する際に、（ｉｖ）現在カメラ視点と異なるカメラ視点に属し、現在フレームの時点と異なる時点を有するフレーム内の画素ブロックに関連付けられた動きベクトルが利用可能である。特定の実施形態では、上記組は、上述の（ｉｉ）および（ｉｉｉ）から選択された少なくとも候補ＭＶプレディクタを含む。

別の実施形態では、ステップＳ２における候補ＭＶプレディクタ５４、６４の提供は、上述の組のようにステップＳ１において予測された動きベクトル３４と同じＭＶタイプの候補ＭＶプレディクタのみに限定される。

現在動きベクトル３４に対して候補ＭＶプレディクタ５４、６４を提供する際に、例えば、動きベクトル競合の時に、候補ＭＶプレディクタの提供に制限を課さなければ、最適ではないＭＶプレディクタが選択される可能性がある。例えば、同じ時点であるが別のカメラ視点によるフレームを指し示す視点間ＭＶタイプの動きベクトルは、通常、動きが含まれない２つのフレームが同時に捕捉されるので、画素の視差を表わす。この場合、一般的には、符号化される現在画素ブロックが現在フレームと同じカメラ視点の前参照フレームまたは次参照フレーム内の画素領域を指し示す動きベクトルを有する時には、視点間動きベクトルタイプの候補ＭＶプレディクタを使用するのは最適ではない。なぜなら、視点間ＭＶタイプの動きベクトルは、一般的に、時間的ＭＶタイプの動きベクトルと相関関係がないからである。その結果、現在動きベクトルに対して「最適な」ＭＶプレディクタが選択されないので、準最適な圧縮性能となる可能性がある。

この特定の実施形態では、図４の方法はさらに、ステップＳ１で予測された動きベクトル３４に対してＭＶタイプを決定するステップを含む。ＭＶタイプは、複数の所定のＭＶタイプから決定される。ステップＳ２におけるＭＶタイプの決定は、現在カメラ視点２０および参照フレーム２２のカメラ視点２０（ここでは、参照カメラ視点と示されている）に基づいて行われる。代替として、または追加として、ＭＶタイプの決定は、現在フレーム２４の時点および参照フレーム２２の時点に基づいて行われる。前者の場合、現在カメラ視点２０の視点の数または識別子と参照カメラ視点２０の視点の数または識別子とが比較される。これらが異なる場合には、動きベクトルは、現在カメラ視点２０と異なるカメラ視点の参照フレーム内の画素領域を指し示す。この場合、動きベクトルは、いわゆる視点間ＭＶタイプの動きベクトルとなる。視点識別子が同じで、代わりに参照フレーム２２が現在カメラ視点２０と同じカメラ視点２０に属するものである場合、ステップＳ１で推定された動きベクトル３４は視点間ＭＶタイプの動きベクトルではない。したがって、現在フレーム２４の時点と参照フレーム２２の時点とが異なる場合、ステップＳ１で予測された動きベクトル３４は、現在フレーム２４に時間に対して過去または将来のフレームを指し示す。この場合、動きベクトル３４は、いわゆる時間的ＭＶタイプの動きベクトルとなる。

この場合、ステップＳ２は、現在動きベクトル３４に対して、少なくとも１つ、好ましくは複数の候補ＭＶプレディクタ４４、５４を提供するステップを含む。これらの実施形態によれば、この少なくとも１つの候補ＭＶプレディクタ４４、５４、６４は、決定されたＭＶタイプのＭＶプレディクタになるように選択される。したがって、現在動きベクトル３４に対して提供された候補ＭＶプレディクタ４４、５４、６４は、現在動きベクトル３４と同じＭＶタイプであるのが好ましい。

一実施形態において、ステップＳ２は、現在動きベクトル３４と同じＭＶタイプである候補ＭＶプレディクタ４４、５４、６４の決定された組を識別することができる。一実施形態では、これらの識別された候補ＭＶプレディクタ４４、５４、６４の組のみが採用され、現在動きベクトル３４のＭＶタイプと異なるＭＶタイプの候補ＭＶプレディクタの組はいずれも破棄される。

上述したように、一実施形態では、現在カメラ視点および参照カメラ視点は、複数のカメラ視点の異なるカメラ視点である。この場合、ステップＳ１で現在画素ブロックに対して予測された動きベクトルは、いわゆる視点間タイプの動きベクトルである、または少なくとも１つの視点間視差成分を含む。

異なるＭＶタイプの動きベクトルをカテゴリ化および分類し、ＭＶタイプに基づいて候補ＭＶプレディクタ選択を制限することは、評価する必要のなる候補ＭＶプレディクタの量を低減する。このことは複雑さが減少することを意味する。同時に、候補の数を減らすことでインデックス付与されるエントリの総量を少なくすることになり、インデックスおよびＭＶプレディクタ選択を表わすためにより短いコードワードが割り当てられるため、符号化効率を向上させることができる。

本発明の方法の次のステップＳ３は、ステップＳ２で提供された少なくとも１つの候補ＭＶプレディクタに対してスケーリング係数を決定する。本発明の実施形態によれば、スケーリング係数は、現在カメラ視点と参照カメラ視点との間の基準距離および第１のカメラ視点と第１の参照カメラ視点との間の基準距離に基づいて決定される。基準距離は変化するので、図３で示されているように、基準処理は異なる時点において異なる可能性がある。したがって、現在カメラ視点と参照カメラ視点との間の基準距離は、現在フレームの時点で決定される現在基準距離であるのが好ましい。したがって、第１のカメラ視点と第１の参照カメラ視点との間の基準距離は、第１のフレームの時点で決定される基準距離であるのが好ましい。

次のステップＳ４は、候補ＭＶプレディクタとステップＳ３で決定されたスケーリング係数とに基づいて、現在候補ＭＶプレディクタに対してスケーリング済み候補ＭＶプレディクタを決定する。特定の実施形態では、スケーリング済み候補ＭＶプレディクタは、スケーリング係数を乗じた候補ＭＶプレディクタに基づいて決定され、好ましくは、スケーリング係数を乗じた候補ＭＶプレディクタに等しい。スケーリング済み候補ＭＶプレディクタは、一般的には、候補ＭＶプレディクタの拡大または縮小されたバージョンであり、場合によっては、候補ＭＶプレディクタと比べて反対方向を指し示す。

この場合、ステップＳ２〜ステップＳ４までのループは、全ての候補ＭＶプレディクタに対して繰り返されるのが好ましい。これは、ラインＬ１で概略的に示されている。したがて、この場合、それぞれのスケーリング係数は、現在動きベクトルに対して提供された個々の候補ＭＶプレディクタに対して決定されるのが好ましい。これらのスケーリング係数は、ステップＳ４で使用されて、個々の候補ＭＶプレディクタにそれぞれのスケーリング係数を乗じることによってそれぞれの候補ＭＶプレディクタを拡大または縮小する。

最後に、ステップＳ５は、現在動きベクトルに対して、ステップＳ４で取得された少なくとも１つのスケーリング済み候補ＭＶプレディクタに基づいて、ＭＶプレディクタを決定する。

ＭＶプレディクタとして使用するための特定のスケーリング済み候補ＭＶプレディクタは、例えば、選択されたＭＶプレディクタをシグナリングする追加のコストと、より正確なＭＶ予測によって得られる利得とのトレードオフを反映するレート歪み基準に基づいて、決定することができる。本発明の実施形態に従って使用可能であるこのレート歪み基準の例は、先行技術文献［１］の３．１．２章に示されており、適切なレート歪み基準に関する教示内容は、参照によって本願明細書に引用したものとする。ステップＳ５においてＭＶプレディクタを決定する際に、レート歪み基準以外の他の基準、例えば、純粋な品質測定法（例えば、ＳＳＤまたはＳＡＤ）を使用することも可能である。

動きベクトルは、ｘ座標もしくは水平成分と、ｙ座標もしくは垂直成分とを備える。図４の方法は、両方のベクトル成分に対して動きベクトルプレディクタを見つけるために複合過程で使用可能である。代替方法では、２つの成分は別々に処理される。この場合、図４のステップＳ２〜Ｓ５は、それぞれのベクトル成分に対して連続してまたは並行して行うことができる。この場合、本発明の方法の結果、動きベクトルの水平成分に対しては第１のＭＶプレディクタ、垂直成分に対しては第２のＭＶプレディクタが得られる。

現在動きベクトルに対してステップＳ５で決定されたＭＶプレディクタは、その後、残差動きベクトルを計算するのに使用されてもよい。したがって、残差動きベクトルは、動きベクトルとＭＶプレディクタとに基づいて、好ましくは、これらの差分として計算される。

他の実施形態では、例えば、スキップモードでは、残差動きベクトルは計算されない。したがって、スキップモードでは、デコーダは、現在画素ブロックに対して動きベクトルをリファインするために、ＭＶ差分もしくはＭＶ残差を使用せずに、現在画素ブロックに対して決定されたＭＶプレディクタを使用することになる。

いくつかのまれなケースでは、適切な候補ＭＶプレディクタが利用できないことが起こり得る。したがって、全ての候補ＭＶプレディクタの組は現在画素ブロックおよび動きベクトルに対して決定されたＭＶタイプとは異なるＭＶタイプである。この場合、代わりにデフォルトＭＶプレディクタが使用されてもよい。このデフォルトＭＶプレディクタの典型的な例は、ゼロベクトル（０，０）とすることができる。

特定の実施形態では、ステップＳ３におけるスケーリング係数の決定は、現在カメラ視点と参照カメラ視点との間の基準距離と、第１のカメラ視点と第１の参照カメラ視点との間の基準距離との商に基づいてスケーリング係数を決定することを含む。

まれなケースでは、現在カメラ視点と参照カメラ視点との間の基準距離または第１のカメラ視点と第１の参照カメラ視点との間の基準距離がゼロであるということが起こり得る。その結果、スケーリング係数が基準距離の商に基づいて決定される場合に、スケーリング係数がゼロまたは不定になる。この場合、スケーリング係数は、固定の所定値、例えば、１に等しくなるように決定されるのが好ましい。したがって、最適な実施形態では、本発明の方法はさらに、現在カメラ視点と参照カメラ視点との間の基準距離をゼロと比較し、第１のカメラ視点と第１の参照カメラ視点との間の基準距離をゼロと比較するステップとを含む。基準距離のいずれかがゼロである場合、ステップＳ３は固定の所定値、好ましくは１に等しいスケーリング係数を決定する。いずれの基準距離もゼロでない場合には、ステップＳ３は基準距離に基づいて、例えば、それらの商に基づいてスケーリング係数を決定する。

特定の実施形態では、ステップＳ３で決定されたスケーリング係数は、現在カメラ視点、参照カメラ視点、第１のカメラ視点、および第１の参照カメラ視点の視点順インデックスを使用して計算される。一実施形態では、視点順インデックスは、カウンタのように、左から右にカメラ視点をカウントする。カメラ間隔が均一である場合、２つの視点順インデックス間の差分は正規化基準距離に等しい。

したがって、この実施形態では、基準距離は、現在カメラ視点のカメラ視点インデックス（ＣＶＯＩｄｘ）と参照カメラ視点のカメラ視点インデックス（ＲｆＶＯＩｄｘ）との差分に基づいて、また第１のカメラ視点のカメラ視点インデックス（ＦＶＯＩｄｘ）と第１の参照カメラ視点のカメラ視点インデックス（ＦＲｆＶＯＩｄｘ）との差分に基づいて決定されるのが好ましい。一実施形態では、スケーリング係数は、ステップＳ３において、
に基づいて決定される。この場合、
、
である。

特定の実施形態において、基準距離のクリッピングが行われ、例えば、
、および
になる。クリッピング関数
は、
の場合に
を出力し、
の場合に
を出力し、それ以外の場合に
を出力する。

一実施形態では、スケーリング係数は、ステップＳ３において、
に基づいて決定される。この場合、＞＞は右シフト演算子であり、
である。例えば、
のように、任意でクリッピングが行われてもよい。

別の特定の実施形態では、少なくとも１つの候補ＭＶプレディクタに対して、合成または多成分のスケーリング係数を決定することができる。このスケーリング係数は、この場合、好ましくは、
に基づいて決定されてもよい。この場合、
は現在カメラ視点と参照カメラ視点との間の基準距離および第１のカメラ視点と第１の参照カメラ視点との間の基準距離に基づいて決定され、
である。ＣＶは現在カメラ視点であり、ＲＶは参照カメラ視点であり、Ｖ１は第１のカメラ視点であり、ＲＶ１は第１の参照カメラ視点である。好適な実施形態では、
であり、別の実施形態では、
である。この場合、
は現在カメラ視点と参照カメラ視点との間の基準距離であり、
は第１のカメラ視点と第１の参照カメラ視点との間の基準距離である。

カメラ視点パラメータは、一般に、カメラ視点の識別子または数であり、現在カメラ視点、参照カメラ視点、および第１のフレームならびに第１の参照フレームのカメラ視点の幾何学的関係に基づいて決定される。例えば、カメラ視点は、カメラ位置がインデックスに対して直線的に変化する場合、線形にインデックス付与される、または番号付けされる。より一般的には、カメラ視点パラメータは、例えば、カメラ距離に基づいて、任意で、カメラの傾斜や回転を処理するために三次元形状を含む幾何学的カメラ位置に基づいて定義される。

均一なカメラ間隔で、カメラ視点に沿って、例えば、左から右またはその逆に移動するとカメラ視点が増加する特殊な場合には、上述のパラメータ

は、実際には、現在カメラ視点と参照カメラ視点との間の基準距離と、第１のカメラ視点と第１の参照カメラ視点との間の基準距離との商を表わすことになる。この場合、好ましくは、合成スケーリング係数
が計算されず、候補ＭＶプレディクタに対するスケーリング係数としてパラメータ
またはパラメータ
が計算される。

上述の実施形態のいずれかと組み合わせることができる別の実施形態では、ステップＳ３において、基本的には、少なくとも、基準距離に依存する第１のスケーリング係数と、例えば、現在フレームのＰＯＣ値（現在ＰＯＣ）、参照フレームのＰＯＣ値（参照ＰＯＣ）、第１のフレームのＰＯＣ値（第１のＰＯＣ）、および第１の参照フレームのＰＯＣ値（第１の参照ＰＯＣ）における差のような参照距離に依存する第２のスケーリング係数とを含む合成スケーリング係数が決定される。

一実施形態では、本発明の方法は、現在ＰＯＣを参照ＰＯＣと比較し、第１のＰＯＣを第１の参照ＰＯＣと比較するステップを含む。現在ＰＯＣが参照ＰＯＣと異なり、第１のＰＯＣが第１の参照ＰＯＣと異なる場合、ステップＳ３は、好ましくは、
に基づいてスケーリング係数を計算することを含む。パラメータ
は、上述したように、基準距離に基づいて決定されるが、パラメータ
はＰＯＣ値に基づいて決定される。特に。特定の実施形態では、
である。

動きベクトル予測を多視点映像符号化に適用する際の先行技術の問題は、先行技術のＭＶ予測で使用される上述のスケーリング関係式は、現在フレーム、参照フレームおよびＭＶプレディクタのフレームのＰＯＣ値によって、スケーリング係数がゼロまたは不定になる可能性があるということである。上述の実施形態では、まず、
、かつ
を検証するのが好ましい。

一実施形態では、
および／または
である場合、ステップＳ３は、
に基づいてスケーリング係数を決定するのが好ましい。このパラメータ
は、この場合、固定の所定値であり、好ましくは、１である。パラメータ
は、上述したように決定される。

基準距離（パラメータ
）および参照距離（パラメータ
またはパラメータ
）に基づいてスケーリング係数を決定する上述の実施形態は、さらに視点距離（パラメータ
）に基づく決定の基準と組み合わされて、例えば、
または
に基づいて決定されてもよい。

現在視点間動きベクトルが視点間ＭＶプレディクタから予測され、先行技術のスケーリング係数の計算式を適用する場合、スケーリング係数はゼロとなり、ひいてはゼロＭＶプレディクタが得られ、これは通常、望ましくない。さらに悪いことには、ゼロ除算が生じて、その結果が未解決値（ｕｎｒｅｓｏｌｖｅｄｖａｌｕｅ）となり、コーダのクラッシュにつながる可能性がある。上述の実施形態は、それ以外の問題が生じる可能性のある特別な場合にスケーリング係数を固定の所定値に設定することによって、これらの問題を解消する。

図５は、第３の態様の多視点映像符号化のためのＭＶ予測装置１００の一実施形態の概略ブロック図である。装置１００は、現在カメラ視点の現在フレーム内の現在画素ブロックに対して動きベクトルを推定または予測する構造であるＭＶ推定器または予測器１１０を備える。推定された動きベクトルは、本明細書において上述したように、参照カメラ視点の参照フレーム内の参照画素領域を識別する。現在カメラ視点と参照カメラ視点は、一実施形態においては、異なるカメラ視点である。

プレディクタプロバイダ１２０は、第１のカメラ視点の第１のフレーム内の画素ブロックに関連付けられて第１の参照カメラ視点の第１の参照フレーム内の画素領域を識別する少なくとも１つの候補動きベクトルプレディクタを提供する構造である。プレディクタプロバイダ１２０は、好ましくは、上述の組から少なくとも１つの候補ＭＶを提供する。一実施形態では、プレディクタプロバイダ１２０は、ＭＶタイプに基づいて候補ＭＶプレディクタを区別せずに候補ＭＶプレディクタを提供することができる。代替の方法では、プレディクタプロバイダ１２０は、ＭＶプレディクタ１１０によって予測された動きベクトルに対して複数の所定のＭＶタイプからＭＶタイプを決定する。プレディクタプロバイダ１２０は、上述したように、現在カメラ視点、参照フレームのカメラ視点、現在フレームの時点、および参照フレームの時点のうちの少なくとも１つに基づいて、ＭＶタイプの決定を実行する。この場合、プレディクタプロバイダ１２０は、好ましくは、決定されたＭＶタイプの少なくとも１つの候補ＭＶプレディクタを提供する。

装置１００はさらに、プレディクタプロバイダ１２０によって提供された少なくとも１つの候補ＭＶプレディクタに対して、個々のスケーリング係数を決定する構造であるＳＦ決定器１３０を備える。ＳＦ決定器１３０は、現在カメラ視点と参照カメラ視点との間の基準距離および第１のカメラ視点と第１の参照カメラ視点との間の基準距離に基づいて、スケーリング係数を決定する構造である。

ＳＦ決定器１３０によって決定されたスケーリング係数は、その後、関連候補ＭＶプレディクタをスケーリングするのに使用されて、スケーリング済みプレディクタ決定器１４０によってスケーリング済み候補ＭＶプレディクタが形成される。このスケーリング済み候補ＭＶプレディクタは、好ましくは、決定されたスケーリング係数を候補ＭＶプレディクタに乗じることによって得られる。プレディクタ決定器１５０は、その後スケール済みプレディクタ決定器４０により決定されるスケーリング済み候補ＭＶプレディクタのうち、動きベクトルに対してＭＶプレディクタを決定する。プレディクタ決定器１５０は、好ましくは、上述のレート歪みメトリックまたは基準に基づいて、この動きベクトル決定または選択を実行する。

特定の実施形態では、ＳＦ決定器１３０は、現在カメラ視点と参照カメラ視点との間の基準距離と、第１のカメラ視点と第１の参照カメラ視点との間の基準距離との商に基づいてスケーリング係数を決定する構造である。

任意の実施形態では、ＳＦ決定器１３０は、基準距離をゼロと比較し、基準距離のいずれかがゼロに等しい場合には、ＳＦ決定器１３０は、固定の所定値、例えば１に等しいスケーリング係数を決定する。

特定の実施形態では、ＳＦ決定器１３０は、商
に基づいて、例えば、
に基づいて、スケーリング係数を決定する構造である。任意で、上述したように、ＳＦ決定器１３０によって、パラメータ
およびスケーリング係数に対してクリッピングが行われてもよい。

種々の実施形態において、ＳＦ決定器１３０は、スケーリング係数を視点距離と基準距離の関数にするために、
に基づいて、または
に等しいスケーリング係数を決定する、またはスケーリング係数を参照距離と基準距離の関数にするために、
もしくは
に基づいて、または
もしくは
に等しいスケーリング係数を決定する、またはスケーリング係数を参照距離、視点距離、および基準距離の関数にするために、
もしくは
に基づいて、または
もしくは
に等しいスケーリング係数を決定する構造にすることができる。

装置１００は、任意で、現在動きベクトルとプレディクタ決定器１５０によって決定された動きベクトルプレディクタとに基づいて、残差動きベクトルを計算する構造であるベクトル計算器１７０を備える。

任意の実施形態では、装置１００は、現在カメラ視点、参照カメラ視点、第１のフレームのカメラ視点、および第１の参照フレームのカメラ視点の幾何学的関係に基づいて、視点パラメータＣＶ、ＲＶ、Ｖ１、およびＲＶ１を決定する構造である任意パラメータ決定器１６０を備える。

装置１００は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアとの組み合わせに実装可能である。装置１００は、例えば、携帯電話、タブレット、デスクトップ、ノート型パソコン、マルチメディアプレイヤ、ビデオ・ストリーミング・サーバ、セットトップボックス、またはコンピュータのようなユーザ装置に実装可能である。また、装置１００は、通信ネットワークまたは通信システム内の無線基地局のようなネットワークノードの形のネットワーク装置、またはネットワークノードに接続されたネットワーク装置に実装されてもよい。装置１００は、有利には、多視点映像コンテンツを符号化するエンコーダの一部として実装される。

図５に関して説明したそれぞれのユニット１１０〜１７０は装置１００内の物理的に別個のユニット１１０〜１７０として示され、全てがＡＳＩＣ（特定用途向け集積回路）のような特殊目的の回路とすることができるが、装置１００の代替形態も可能である。代替形態は、ユニット１１０〜１７０の一部または全てが、汎用プロセッサ上で実行するコンピュータ・プログラム・モジュールとして実装されるものである。この実施形態は、図６に示されている。

図６は、ＤＳＰ（デジタル・シグナル・プロセッサ）またはＣＰＵ（中央処理ユニット）のような処理ユニット７４を有するコンピュータ７０の一実施形態を示した図である。処理ユニット７４は、本明細書で説明する方法の異なるステップを実行するための単一ユニットまたは複数のユニットとすることができる。コンピュータ７０はさらに、複数の視点の記録または生成された映像フレームを受信して、動きベクトルプレディクタまたは符号化された多視点映像コンテンツの符号化ビットストリームを出力するための入出力（Ｉ／Ｏ）ユニット７６を備える。図６では、Ｉ／Ｏユニット７６は単一のユニットとして示されているが、別個の入力ユニットと別個の出力ユニットの形にすることも可能である。

さらに、コンピュータ７０は、例えば、ＥＥＰＲＯＭ（電気的消去可能プログラム可能なＲＯＭ）、フラッシュメモリ、またはディスクドライブのような不揮発メモリ７２の形態の少なくとも１つのコンピュータプラグラム製品を備える。コンピュータプログラム製品は、コンピュータ７０上で実行する時またはコンピュータ７０によって、例えば、処理ユニット７４によって実行される時に、コンピュータ７０に図４に関して上述した方法のステップを実行させるコード手段を含むコンピュータプログラム７８を備える。したがって、一実施形態では、コンピュータプログラム７８内のコード手段は、動きベクトルを推定するまたは予測するためのＭＶ推定モジュールもしくは予測モジュール、またはＭＶ推定器もしくはＭＶ予測器１１０と、少なくとも１つの候補ＭＶプレディクタを提供するためのプレディクタ提供モジュールもしくはプレディクタプロバイダ１２０と、スケーリング係数を決定するためのＳＦ決定モジュールもしくはＳＦ決定器１３０と、スケーリング済み候補ＭＶプレディクタを決定するためのスケーリング済みプレディクタ決定モジュールもしくはスケーリング済みプレディクタ決定器１４０と、ＭＶプレディクタを決定するためのプレディクタ決定モジュールもしくはプレディクタ決定器１５０とを備える。これらのモジュール１１０〜１５０は、基本的には、処理ユニット７４上で実行する時に、図４のフロー図のステップを実行する。したがって、異なるモジュール１１０〜１５０は、処理ユニット７４上で実行される時に、図５の対応ユニット１１０〜１５０に対応する。

コンピュータプログラム７８は、図５に関して開示したように、ベクトル計算モジュールもしくはベクトル計算器および／またはパラメータ決定モジュールもしくはパラメータ決定器をさらに含んでもよい。

本発明の関連する実施態様は、符号化された多視点映像の動きベクトル復号方法を定義する。図８は、その復号方法のフロー図である。本発明の方法は、ステップＳ１０において、現在カメラ視点の現在フレーム内の復号される現在画素ブロックに対する参照フレームインデックスを提供することで始まる。この参照フレームインデックスは、現在画素ブロックに対する参照フレームを識別し、この場合、この参照フレームは、復号時に現在画素ブロックに対するプレディクタとして使用される画素領域を含む。参照フレームインデックスは、通常、ビットストリームから、より詳細には、現在画素ブロックの符号化表現または現在フレームの符号化表現から取得される。

次のステップＳ１１は、現在画素ブロックに対する少なくとも１つの候補ＭＶプレディクタを識別する。このステップＳ１１は、基本的には、図４のステップＳ２に関して上述した方法と同様に行われる。したがって、特定の実施形態では、現在フレーム内の復号される現在画素ブロックの位置、現在フレームの時点、および現在カメラ視点に基づいて、少なくとも１つ（複数であるのが好ましい）の候補ＭＶプレディクタの組が提供される。ステップＳ１１は、ＭＶタイプに関係なく実行可能である。代替の方法では、（ｉ）現在カメラ視点および参照カメラ視点、および／または（ｉｉ）現在フレームの時点および参照フレームの時点に基づいて、現在画素ブロックに対してＭＶタイプが決定される。この場合、ステップＳ１１における少なくとも１つの候補ＭＶプレディクタの識別は、決定されたＭＶタイプの候補ＭＶプレディクタのみの中で行われるのが好ましい。

次のステップＳ１２は、それぞれの識別された候補ＭＶプレディクタに対して個々のスケーリング係数を決定する。このスケーリング係数は、現在カメラ視点と参照カメラ視点との間の基準距離および第１のカメラ視点と第１の参照カメラ視点との間の基準距離に基づいて決定される。ステップＳ１２は、基本的には、図４のステップＳ３に関して上述した方法と同様に行われる。次のステップＳ１３は、候補ＭＶプレディクタとステップＳ１２において候補ＭＶプレディクタに対して決定されたスケーリング係数とに基づいて得られた少なくとも１つのスケーリング済み候補ＭＶプレディクタの候補リストを生成する。このスケーリング済みＭＶプレディクタは、ステップＳ１２において候補ＭＶプレディクタに対して決定されたスケーリング係数を候補ＭＶプレディクタに乗じることによって得られる。

最後に、ステップＳ１５は、ステップＳ１３において生成された候補リストのスケーリング済み候補ＭＶプレディクタに基づいて、現在画素ブロックに対する動きベクトルを決定する。ステップＳ１５において決定された動きベクトルにより、現在画素ブロックに対するプレディクタとして使用される参照フレーム内の画素領域を識別することができる。したがって、現在画素ブロックの画素値が、ビットストリームから得られた、好ましくは、現在画素ブロックの符号化表現から得られた残差画素値に識別画素領域の画素値を加算することによって求められるのが好ましい。

特定の実施形態では、図８の方法は、さらにステップＳ１４を含む。この任意のステップＳ１４は、候補リストに列挙されている少なくとも１つのスケーリング済み候補ＭＶプレディクタから、現在画素ブロックに対するＭＶプレディクタを選択する。このＭＶプレディクタは、好ましくは、現在画素ブロックに関連付けられ、ビットストリームに含まれている、例えば、現在画素ブロックの符号化表現に含まれているプレディクタインデックスに基づいて選択される。この場合、ステップＳ１５は、ステップＳ１４において選択されたＭＶプレディクタおよび現在画素ブロックに関連付けられた残差動きベクトルに基づいて、現在画素ブロックに対して動きベクトルを決定する。この残差動きベクトルは、ビットストリームから、好ましくは、現在画素ブロックの符号化表現から取得される。

他の実施形態では、ビットストリーム内に現在画素ブロックに対する残差動きベクトルは含まれない。例えば、スキップモードによれば、画素ブロックに対するＭＶプレディクタをリファインする残差動きベクトルは存在しない。それに対して、ステップＳ１３において生成された候補リストからの１つまたは複数のスケーリング済みＭＶプレディクタは、画素ブロックに対してステップＳ１５において決定される動きベクトルの基準として使用されることになる。例えば、候補リストは、現在フレーム内の空間的に隣接する画素ブロックに関連付けられ、現在フレーム以外で現在カメラ視点内の他のフレーム内の時間的に隣接する画素ブロックに関連付けられ、および／または現在フレームと同じ時点を有するが現在カメラ視点以外の他のカメラ視点に属するフレーム内にある画素ブロックに関連付けられたスケーリング済み動きベクトルを含むことができる。この場合、画素ブロックの動きベクトルは、本明細書に記載されているように、個々のスケーリング係数を乗じた候補ＭＶプレディクタの少なくとも１つに基づいて決定される。一実施形態では、動きベクトルは、少なくとも１つの候補ＭＶプレディクタのメディアンＭＶもしくは少なくとも１つの候補ＭＶプレディクタの平均ＭＶに等しくまたは少なくとも基づいて決定される。したがって、一実施形態では、ステップＳ１５において決定されるＭＶは、Ｈ．２６４メディアンプレディクタとなるが、このＨ．２６４メディアンプレディクタは、基準距離に基づくスケーリング係数によってスケーリングされる。

ステップＳ１２において決定されるスケーリング係数は、上述したように、基準距離の商に基づいて決定されるのが好ましい。任意の実施形態では、本発明の方法はさらに、基準距離をゼロと比較するステップを含む。いずれかの基準距離がゼロに等しい場合、ステップＳ１２は、好ましくは上述したように、特定の候補ＭＶプレディクタに対して、固定の所定値、例えば１に等しいスケーリング係数を決定する。

ステップＳ１２の一実施形態では、スケーリング係数は、商
に基づいて、例えば、
に基づいて決定される。上述したように、任意で、ステップＳ１２において、パラメータ
およびスケーリング係数に対してクリッピングが行われてもよい。

特定の実施形態では、スケーリング係数は、上述したように、基準距離だけでなく、さらに参照距離および／または視点距離に基づく、すなわち、
、
、
、
または
に基づく、好ましくは
、
、
、
または
に等しい合成スケーリング係数になるように決定される。

図９は、符号化された多視点映像の動きベクトル復号装置２００の概略ブロック図である。装置２００は、現在カメラ視点の現在フレーム内の復号される現在画素ブロックに対して参照フレームインデックスを提供する構造であるインデックスプロバイダ２１０を備える。インデックスプロバイダ２１０は、一般的には、ビットストリームから、特に、画素ブロックの符号化表現または現在フレームの符号化表現からこの参照フレームインデックスを取得する。この参照フレームインデックスは、現在画素ブロックの画素値に対するプレディクタとして使用される画素領域を含む参照フレームを識別するために使用される。

プレディクタ識別器２２０は、上述したように、少なくとも１つの候補ＭＶプレディクタを識別するまたは提供するために、装置２００内に実装される。一実施形態では、プレディクタ識別器２２０は、現在フレーム内の現在画素ブロックの位置、現在フレームの時点、および現在カメラ視点に基づいて、候補ＭＶプレディクタの組を提供する。プレディクタ識別器２２０は、ＭＶタイプに関係なく候補ＭＶプレディクタを識別してもよいし、または最初に現在画素ブロックに対する動きベクトルのＭＶタイプを決定してもよい。後者の場合、好ましくはこうして決定されたＭＶタイプの候補ＭＶプレディクタのみがプレディクタ識別器２２０によって識別される。

装置２００のＳＦ決定器２３０は、上述したように、図５のＳＦ決定器１３０に関連して動作する。したがって、ＳＦ決定器２３０は、プレディクタ識別器２２０によって識別された候補ＭＶプレディクタに対してスケーリング係数を決定するが、この場合、これらのスケーリング係数は、カメラ視点の基準距離に基づいて決定される。

ＳＦ決定器２３０は、好ましくは、現在視点と参照視点との間の基準距離と、第１のフレームと第１の参照フレームとの間の基準距離との商としてスケーリング係数を決定する。ＳＦ決定器２３０は、任意で、基準距離をゼロと比較し、基準距離のいずれかがゼロに等しい場合、ＳＦ決定器２３０は、所定の固定値、例えば１に等しいスケーリング係数を決定する。

ＳＦ決定器２３０は、スケーリング係数は、商
に基づいて、例えば、
に基づいてスケーリング係数を決定することができる。上述したように、任意で、ＳＦ決定器２３０によって、パラメータ
およびスケーリング係数に対してクリッピングが行われてもよい。

さらに、ＳＦ決定器２３０は、上述のように、参照距離（
または
）および／または視点距離（
；
および
のうちの一方）に基づいて、スケーリング係数を決定してもよい。

リスト生成器２４０は、その後、個々のスケーリング係数を乗じた少なくとも１つの候補ＭＶプレディクタに基づいて形成された少なくとも１つ（しかし、複数が好ましい）のスケーリング済み候補ＭＶプレディクタを含む候補リストを生成する。装置２００はさらに、候補リストのスケーリング済み候補ＭＶプレディクタに基づいて、現在画素ブロックに対する動きベクトルを決定する構造であるベクトル決定器２６０を備える。

特定の実施形態では、装置２００は、リスト生成器２４０によって生成された候補リストから現在画素ブロックに対するＭＶプレディクタを選択する構造であるプレディクタ選択器２５０を備える。プレディクタ選択器２５０は、有利には、ビットストリームから、例えば、現在画素ブロックの符号化表現からプレディクタインデックスを取得して、復号する。このプレディクタインデックスは、その後、候補リストからＭＶプレディクタを選択するために使用される。この実施形態では、ベクトル決定器２６０は、プレディクタ選択器２５０によって選択されたＭＶプレディクタと、現在画素ブロックに関連付けられ、好ましくは、符号化ビットストリームから、例えば、上述したように、現在画素ブロックの符号化表現から取得された残差動きベクトルとに基づいて、現在画素ブロックに対する動きベクトルを決定する構造である。

他の実施形態では、例えば、スキップ復号モードで動作する時に、ベクトル決定器２６０は、好ましくは、上述したようなＭＶ残差を利用せずに動きベクトルを決定する。

ＳＦ決定器２３０は、任意で、上述の合成スケーリング係数または基準距離だけでなく参照距離および／または視点距離にも依存するスケーリング係数を決定する。

任意パラメータ決定器２７０は、装置２００に実装されて、図５のパラメータ決定器１６０に関して上述したように動作する。

装置２００は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアとの組み合わせに実装可能である。装置２００は、例えば、携帯電話、タブレット、デスクトップ、ノート型パソコン、マルチメディアプレイヤ、ビデオ・ストリーミング・サーバ、セットトップボックス、またはコンピュータのようなユーザ装置に実装可能である。また、装置２００は、通信ネットワークまたは通信システム内の無線基地局のようなネットワークノードの形のネットワーク装置、またはネットワークノードに接続されたネットワーク装置に実装されてもよい。装置２００は、有利には、符号化された多視点映像コンテンツを復号するデコーダの一部として実装される。

図９に関して説明されているそれぞれのユニット２１０〜２７０は、装置２００内の物理的に別個のユニット２１０〜２７０として示され、全てがＡＳＩＣ（特定用途向け集積回路）のような特殊目的の回路とすることができるが、装置２００の代替形態も可能である。代替形態は、ユニット２１０〜２７０の一部または全てが、汎用プロセッサ上で実行するコンピュータ・プログラム・モジュールとして実装されるものである。この実施形態は、図１０に示されている。

図１０は、図６は、ＤＳＰ（デジタル・シグナル・プロセッサ）またはＣＰＵ（中央処理ユニット）のような処理ユニット８４を有するコンピュータ８０の一実施形態を示した図である。処理ユニット８４は、本明細書で説明する方法の異なるステップを実行するための単一ユニットまたは複数のユニットとすることができる。コンピュータ８０はさらに、符号化画素ブロック表現の符号化ビットストリームを受信して、決定された動きベクトルまたは復号化された画素値を出力するための入出力（Ｉ／Ｏ）ユニット８６を備える。図１０では、Ｉ／Ｏユニット８６は単一のユニットとして示されているが、別個の入力ユニットと別個の出力ユニットの形にすることも可能である。

さらに、コンピュータ８０は、例えば、ＥＥＰＲＯＭ（電気的消去可能プログラム可能なＲＯＭ）、フラッシュメモリ、またはディスクドライブのような不揮発メモリ８２の形態の少なくとも１つのコンピュータプラグラム製品を備える。コンピュータプログラム製品は、コンピュータ８０上で実行する時またはコンピュータ８０によって、例えば、処理ユニット８４によって実行される時に、コンピュータ８０に図８に関して上述した方法のステップを実行させるコード手段を含むコンピュータプログラム８８を備える。したがって、一実施形態では、コンピュータプログラム８８内のコード手段は、参照フレームインデックスを提供するためのインデックス提供モジュールもしくはインデックスプロバイダ２１０と、候補ＭＶプレディクタを識別するためのプレディクタ識別モジュールもしくはプレディクタ識別器２２０と、スケーリング係数を決定するためのＳＦ決定モジュールもしくはＳＦ決定器２３０と、候補リストを生成するためのリスト生成モジュールもしくはリスト生成器２４０と、ＭＶプレディクタを選択するための任意のプレディクタ選択モジュールもしくはプレディクタ選択器２５０と、動きベクトルを決定するためのベクトル決定モジュールもしくはベクトル決定器２６０とを備える。これらのモジュール２１０〜２６０は、基本的には、処理ユニット８４上で実行する時に、図８のフロー図のステップを実行する。したがって、異なるモジュール２１０〜２６０は、処理ユニット８４上で実行される時に、図９の対応ユニット２１０〜２６０に対応する。

コンピュータプログラム８８はさらに、図９に関して説明したようなパラメータ決定モジュールもしくはパラメータ決定器を備えてもよい。

図１１は、一実施形態による多視点映像の画素ブロックを符号化するためのエンコーダの概略ブロック図である。

現在画素ブロックは、動き推定器もしくは動き予測器によって、現在カメラ視点または別のカメラ視点の同じフレーム内または前フレーム内のすでに提供された画素ブロックから、動き予測または動き推定を実行することによって予測される。動き予測の結果は、インター予測の場合、参照フレーム内の画素領域を識別する動きベクトルとなる。動きベクトルは、画素ブロックのインター予測を出力するために動き補償器によって利用される。

イントラ予測器は、現在画素ブロックのイントラ予測を計算する。動き推定器／補償器およびイントラ予測器からの出力は、現在画素ブロックに対してイントラ予測またはインター予測のいずれかを選択する選択器への入力となる。選択器からの出力は、さらに現在画素ブロックの画素値を受信する加算器の形態の誤差計算器への入力となる。加算器は、現在画素ブロックの画素値とそのプレディクタの画素値と間の差として残差誤差を計算して出力する。

誤差は、変換器内で、例えば、離散コサイン変換によって変換され、量子化器によって量子化されて、エンコーダ内で、例えば、エントロピーエンコーダによって符号化される。インター符号化では、さらに、現在画素ブロックの符号化表現を生成するために、推定された動きベクトルがエンコーダに提供される。この（エントロピー）エンコーダは、この場合、図５のＭＶ予測のための装置のユニットの少なくとも一部を備えるか、または図６に示されているプログラムで動作することができる。ＭＶ予測のためのこの装置のＭＣプレディクタは、動き推定器／補償器として実装可能である。

現在画素ブロックに対する変換され量子化された残差誤差は、さらに元の残差誤差を取得するために逆量子化器および逆変換器に提供される。この誤差は、加算器によって動き補償器またはイントラ予測器からの画素ブロックプレディクタ出力に加算されて、次の画素ブロックの予測および符号化に使用することができる参照画素ブロックが作成される。この新規参照ブロックは、任意で、非ブロック化フィルタリングが適用されるか否か、適用される場合には、どのタイプの非ブロック化フィルタを使用すべきかを決定するために、最初にフィルタリング制御装置によって処理される。処理された新規参照画素ブロックは、その後、一時的に、イントラ予測器および動き推定器／補償器が利用できるフレームバッファに記憶される。

図１２は、一実施形態のデコーダの対応概略ブロック図である。デコーダは、量子化および変換残差誤差の組を取得するために、画素ブロックの符号化表現を復号するためのデコーダ、例えば、エントロピーデコーダを備える。デコーダは、好ましくは、図９の動きベクトル復号装置を備えるか、または図１０に示されているプログラムで動作することができる。これらの量子化および変換残差誤差は、残差誤差の組を取得するために、逆量子化器内で逆量子化され、逆変換器内で逆変換される。

これらの残差誤差は、加算器内で、参照画素ブロックまたは参照画素領域の画素値に加算される。参照ブロックは、インター予測が行われるか、イントラ予測が行われるかに応じて、動き推定器／補償器（もしくは動き予測器／補償器）またはイントラ予測器によって決定される。選択器は、加算器、動き推定器／補償器、およびイントラ予測器に相互接続される。加算器によって得られた復号化画素ブロック出力は、ブロック化アーチファクトを非ブロック化フィルタリングするために、任意のフィルタリング制御装置への入力となる。フィルタリングされた画素ブロックは、デコーダからの出力になり、さらに、好ましくは、一時的にフレームバッファに提供されて、次に復号される画素ブロックに対する参照画素ブロックとして使用されてもよい。フレームバッファは、動き推定器／補償器が使用できる記憶画素ブロックを生成するために、動き推定器／補償器に相互接続される。

加算器からの出力は、好ましくは、さらに、イントラ予測器への入力となって、フィルタリングされていない参照画素ブロックとして使用される。

図１３は、動きベクトル復号装置と共にデコーダを収容するメディア端末の概略ブロック図である。メディア端末は、符号化多視点映像フレームの符号化映像ストリーム上で動作することで、映像フレームを復号して、映像データを利用可能にするメディア復号機能を有する任意の装置としてもよい。この装置の非限定的な例として、携帯電話ならびに他のポータブルメディアプレイヤ、コンピュータ、デコーダ、ゲーム機器などが挙げられる。メディア端末は、符号化映像フレームを記憶する構造であるメモリを備える。これらの符号化映像フレームは、メディア端末自身によって生成されたものである場合もある。この場合、メディア端末は、好ましくは、メディアエンジンもしくはレコーダと共に、接続されたエンコーダ（例えば、図２３のエンコーダ）を備える。あるいは、符号化映像フレームは、いくつかの他の装置によって生成されて、メディア端末にワイヤレスまたは有線で送信される。メディア端末は、この場合、データ転送を行うために、トランシーバ（送信機と受信機）または入出力ポートを備える。

符号化映像フレームは、メモリからデコーダ（例えば、図１２に示されているデコーダ）に提供される。デコーダは、その後、符号化映像フレームを復号化映像フレームに復号する。復号化映像フレームは、メディアプレイヤに提供される。メディアプレイヤは、復号化映像フレームをメディア端末のディスプレイもしくはスクリーンまたはメディア端末に接続されたディスプレイもしくはスクリーン上で表示可能な映像データにレンダリングする構造である。

図１３では、メディア端末はデコーダとメディアプレイヤの両方を備えるものとして示されており、デコーダはメディアプレイヤの一部として実装されている。しかし、これは、単に一例に過ぎず、メディア端末の実装形態の非限定的な例であると考えるべきである。また、デコーダとメディアプレイヤが２つの物理的に別個の装置で提供される分散型の実装も可能であり、本発明で使用されるメディア端末の範囲内である。さらに、ディスプレイもメディア端末に接続された別個の装置として設けられてもよく、実際のデータ処理はメディア端末で行われる。

上述の実施形態は、本発明の一部の実施例であると理解すべきである。本発明の範囲から逸脱せずに、上述の実施形態に対して種々の修正、組み合わせ、および変更が行われてもよいことは、当業者には理解できるであろう。特に、異なる実施形態における異なる部分の解決策が、技術的に可能である他の構造に組み込まれてもよい。

参考文献

［１］Ｊｕｎｇ、Ｌａｒｏｃｈｅ著、「Ｃｏｍｐｅｔｉｔｉｏｎ−ＢａｓｅｄＳｃｈｅｍｅｆｏｒＭｏｔｉｏｎＶｅｃｔｏｒＳｅｌｅｃｔｉｏｎａｎｄＣｏｄｉｎｇ」、ＩＴＵ−ＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓＳｔａｎｄａｒｄｉｚａｔｉｏｎＳｅｃｔｏｒ、ＳｔｕｄｙＧｒｏｕｐ１６Ｑｕｅｓｔｉｏｎ１６、ＶＣＥＧ−Ａ０６、２００６年７月１７〜１８日

Claims

複数のカメラ視点（１０、２０）からの映像コンテンツの多視点映像符号化のための動きベクトル予測方法であって、
前記複数のカメラ視点（１０、２０）の現在カメラ視点（２０）の現在フレーム（２４）内の現在画素ブロック（３０）に対して、前記複数のカメラ視点（１０、２０）の前記現在カメラ視点（２０）と異なる参照カメラ視点（２０）の参照フレーム（２２）内の参照画素領域（３２）を識別する動きベクトル（３４）を推定するステップ（Ｓ１）と、
前記複数のカメラ視点（１０、２０）の第１のカメラ視点（１０、２０）の第１のフレーム（１４、２６）内の画素ブロック（５０、６０）に関連付けられて、前記複数のカメラ視点（１０、２０）の前記第１のカメラ視点（１０、２０）と異なる第１の参照カメラ視点（２０、１０）の第１の参照フレーム（２６、１６）内の画素領域（５２、６２）を識別する少なくとも１つの候補動きベクトルプレディクタ（５４、６４）を提供するステップ（Ｓ２）と、
前記少なくとも１つの候補動きベクトルプレディクタ（５４、６４）に対して、前記現在カメラ視点（２０）と前記参照カメラ視点（２０）との間の基準距離および前記第１のカメラ視点（１０、２０）と前記第１の参照カメラ視点（２０、１０）との間の基準距離に基づいて、スケーリング係数を決定するステップ（Ｓ３）と、
前記少なくとも１つの候補動きベクトルプレディクタ（５４、６４）に対して、前記スケーリング係数を乗じた前記候補動きベクトルプレディクタ（５４、６４）に基づいて、スケーリング済み候補動きベクトルプレディクタを決定するステップ（Ｓ４）と、
前記少なくとも１つのスケーリング済み候補動きベクトルプレディクタに基づいて、前記動きベクトル（３４）に対して、動きベクトルプレディクタを決定するステップ（Ｓ５）とを含む方法。
前記スケーリング係数を決定するステップ（Ｓ３）は、前記少なくとも１つの候補動きベクトルプレディクタ（５４、６４）に対して、前記現在カメラ視点（２０）と前記参照カメラ視点（２０）との間の前記基準距離と、前記第１のカメラ視点（１０、２０）と前記第１の参照カメラ視点（２０、１０）との間の前記基準距離との商に基づいて、前記スケーリング係数を決定するステップ（Ｓ３）を含む、請求項１に記載の方法。
前記スケーリング係数を決定するステップ（Ｓ３）は、（ｉ）前記現在カメラ視点と前記参照カメラ視点との間の前記基準距離がゼロである場合に、または（ｉｉ）前記第１のカメラ視点と前記第１の参照カメラ視点との間の前記基準距離がゼロである場合に、固定の所定値に等しい前記スケーリング係数を決定するステップ（Ｓ３）を含む、請求項２に記載の方法。
前記動きベクトル（３４）および前記動きベクトルプレディクタに基づいて、残差動きベクトルを計算するステップをさらに含む、請求項１から３のいずれか一項記載の方法。
前記スケーリング係数を決定するステップ（Ｓ３）は、前記少なくとも１つの候補動きベクトルプレディクタ（５４、６４）に対して、
に基づいて、前記スケーリング係数を決定するステップ（Ｓ３）を含み、この場合、＞＞は右シフト演算子であり、
、
、および
であり、ＣＶＯＩｄｘは前記現在カメラ視点（２０）の視点順インデックスであり、ＲｆＶＯＩｄｘは前記参照カメラ視点（２０）の視点順インデックスであり、ＦＶＯＩｄｘは前記第１のカメラ視点（１０、２０）の視点順インデックスであり、ＦＲｆＶＯＩｄｘは前記第１の参照カメラ視点（２０、１０）のカメラ視点順インデックスである、請求項１から４のいずれか一項に記載の方法。
複数のカメラ視点（１０、２０）からの映像コンテンツの多視点映像符号化のための動きベクトルを予測するためのコンピュータプログラム（７８）であり、コンピュータ（７０）上で実行する時に、前記コンピュータ（７０）に、
前記複数のカメラ視点（１０、２０）の現在カメラ視点（２０）の現在フレーム（２４）内の現在画素ブロック（３０）に対して、前記複数のカメラ視点（１０、２０）の前記現在カメラ視点（２０）と異なる参照カメラ視点（２０）の参照フレーム（２２）内の参照画素領域（３２）を識別する動きベクトル（３４）を推定させ、
前記複数のカメラ視点（１０、２０）の第１のカメラ視点（１０、２０）の第１のフレーム（１４、２６）内の画素ブロック（５０、６０）に関連付けられ、前記複数のカメラ視点（１０、２０）の前記第１のカメラ視点（１０、２０）と異なる第１の参照カメラ視点（２０、１０）の第１の参照フレーム（２６、１６）内の画素領域（５２、６２）を識別する少なくとも１つの候補動きベクトルプレディクタ（５４、６４）を提供させ、
前記少なくとも１つの候補動きベクトルプレディクタ（５４、６４）に対して、前記現在カメラ視点（２０）と前記参照カメラ視点（２０）との間の基準距離および前記第１のカメラ視点（１０、２０）と前記第１の参照カメラ視点（２０、１０）との間の基準距離に基づいて、スケーリング係数を決定させ、
前記少なくとも１つの候補動きベクトルプレディクタ（５４、６４）に対して、前記スケーリング係数を乗じた前記候補動きベクトルプレディクタ（５４、６４）に基づいて、スケーリング済み候補動きベクトルプレディクタを決定させ、さらに
前記動きベクトル（３４）に対して、前記少なくとも１つのスケーリング済み候補動きベクトルプレディクタに基づいて、動きベクトルプレディクタを決定させる
コード手段（１１０、１２０、１３０、１４０、１５０）を備える、コンピュータプログラム（７８）。
複数のカメラ視点（１０、２０）からの映像コンテンツの多視点映像符号化のための動きベクトル予測装置（１００）であって、
前記複数のカメラ視点（１０、２０）の現在カメラ視点（２０）の現在フレーム（２４）内の現在画素ブロック（３０）に対して、前記複数のカメラ視点（１０、２０）の前記現在カメラ視点（２０）と異なる参照カメラ視点（２０）の参照フレーム（２２）内の参照画素領域（３２）を識別する動きベクトル（３４）を推定する構造である動きベクトル推定器（１１０）と、
前記複数のカメラ視点（１０、２０）の第１のカメラ視点（１０、２０）の第１のフレーム（１４、２６）内の画素ブロック（５０、６０）に関連付けられ、前記複数のカメラ視点（１０、２０）の前記第１のカメラ視点（１０、２０）と異なる第１の参照カメラ視点（２０、１０）の第１の参照フレーム（２６、１６）内の画素領域（５２、６２）を識別する少なくとも１つの候補動きベクトルプレディクタ（５４、６４）を提供する構造であるプレディクタプロバイダ（１２０）と、
前記少なくとも１つの候補動きベクトルプレディクタ（５４、６４）に対して、前記現在カメラ視点（２０）と前記参照カメラ視点（２０）との間の基準距離および前記第１のカメラ視点（１０、２０）と前記第１の参照カメラ視点（２０、１０）との間の基準距離に基づいて、スケーリング係数を決定する構造であるスケーリング係数決定器（１３０）と、
前記少なくとも１つの候補動きベクトルプレディクタ（５４、６４）に対して、前記スケーリング係数を乗じた前記候補動きベクトルプレディクタ（５４、６４）に基づいて、スケーリング済み候補動きベクトルプレディクタを決定する構造であるスケーリング済みプレディクタ決定器（１４０）と、
前記動きベクトル（３４）に対して、前記少なくとも１つのスケーリング済み候補動きベクトルプレディクタに基づいて、動きベクトルプレディクタを決定する構造であるプレディクタ決定器（２５０）と
を備える装置。
前記スケーリング係数決定器（１３０）は、前記少なくとも１つの候補動きベクトルプレディクタ（５４、６４）に対して、前記現在カメラ視点（２０）と前記参照カメラ視点（２０）との間の前記基準距離と、前記第１のカメラ視点（１０、２０）と前記第１の参照カメラ視点（２０、１０）との間の前記基準距離との商に基づいて、前記スケーリング係数を決定する構造である、請求項７に記載の装置。
前記スケーリング係数決定器（１３０）は、（ｉ）前記現在カメラ視点と前記参照カメラ視点との間の前記基準距離がゼロである場合に、または（ｉｉ）前記第１のカメラ視点と前記第１の参照カメラ視点との間の前記基準距離がゼロである場合に、固定の所定値に等しい前記スケーリング係数を決定する構造である、請求項８に記載の装置。
現在動きベクトル（２４）および前記動きベクトルプレディクタに基づいて、残差動きベクトルを計算する構造であるベクトル計算器（１７０）をさらに備える、請求項７から９のいずれか一項に記載の装置。
前記少なくとも１つの候補動きベクトルプレディクタ（５４、６４）に対して、
に基づいて、前記スケーリング係数決定器（１３０）は前記スケーリング係数を決定する構造であり、この場合、＞＞は右シフト演算子であり、
、
、および
であり、ＣＶＯＩｄｘは前記現在カメラ視点（２０）の視点順インデックスであり、ＲｆＶＯＩｄｘは前記参照カメラ視点（２０）の視点順インデックスであり、ＦＶＯＩｄｘは前記第１のカメラ視点（１０、２０）の視点順インデックスであり、ＦＲｆＶＯＩｄｘは前記第１の参照カメラ視点（２０、１０）のカメラ視点順インデックスである、請求項７から１０のいずれか一項に記載の装置。
複数のカメラ視点（１０、２０）からの符号化多視点映像の動きベクトル復号方法であって、
前記複数のカメラ視点（１０、２０）の現在カメラ視点（２０）の現在フレーム（２４）内の現在画素ブロック（３０）に対して、前記複数のカメラ視点（１０、２０）の前記現在カメラ視点（２０）と異なる参照カメラ視点（２０）の参照フレーム（２２）を識別する参照フレームインデックスを提供するステップ（Ｓ１０）と、
前記現在画素ブロック（３０）に対して、前記複数のカメラ視点（１０、２０）の第１のカメラ視点（１０、２０）の第１のフレーム（１４、２６）内の画素ブロック（５０、６０）に関連付けられ、前記複数のカメラ視点（１０、２０）の前記第１のカメラ視点（１０、２０）と異なる第１の参照カメラ視点（２０、１０）の第１の参照フレーム（２６、１６）内の画素領域（５２、６２）を識別する少なくとも１つの候補動きベクトルプレディクタ（５４、６４）を識別するステップ（Ｓ１１）と、
前記少なくとも１つの候補動きベクトルプレディクタ（５４、６４）に対して、前記現在カメラ視点（２０）と前記参照カメラ視点（２０）との間の基準距離および前記第１のカメラ視点（１０、２０）と前記第１の参照カメラ視点（２０、１０）との間の基準距離に基づいて、個々のスケーリング係数を決定するステップ（Ｓ１２）と、
前記個々のスケーリング係数を乗じた前記少なくとも１つの候補動きベクトルプレディクタ（５４、６４）に基づいて形成された少なくとも１つのスケーリング済み候補動きベクトルプレディクタを含む候補リストを生成するステップ（Ｓ１３）と、
前記現在画素ブロック（３０）に対して、前記候補リストのスケーリング済み候補動きベクトルプレディクタに基づいて動きベクトル（３４）を決定するステップ（Ｓ１５）と
を含む方法。
前記現在画素ブロック（３０）に対して、前記現在画素ブロック（３０）に関連付けられたプレディクタインデックスに基づいて、前記候補リストから動きベクトルプレディクタを選択するステップ（Ｓ１４）をさらに含み、前記動きベクトル（３４）を決定するステップは、前記現在画素ブロック（３０）に対して、前記選択された動きベクトルプレディクタおよび前記現在画素ブロック（３０）に関連付けられた残差動きベクトルに基づいて、前記動きベクトル（３４）を決定するステップ（Ｓ１５）を含む、請求項１２に記載の方法。
前記個々のスケーリング係数を決定するステップ（Ｓ１２）は、前記少なくとも１つの候補動きベクトルプレディクタ（５４、６４）に対して、前記現在カメラ視点（２０）と前記参照カメラ視点（２０）との間の前記基準距離と、前記第１のカメラ視点（１０、２０）と前記第１の参照カメラ視点（２０、１０）との間の前記基準距離との商に基づいて、前記個々のスケーリング係数を決定するステップ（Ｓ１２）を含む、請求項１２または１３に記載の方法。
前記個々のスケーリング係数を決定するステップ（Ｓ１２）は、前記少なくとも１つの候補動きベクトルプレディクタ（５４、６４）に対して、（ｉ）前記現在カメラ視点と前記参照カメラ視点との間の前記基準距離がゼロである場合に、または（ｉｉ）前記第１のカメラ視点と前記第１の参照カメラ視点との間の前記基準距離がゼロである場合に、固定の所定値に等しい前記個々のスケーリング係数を決定するステップ（Ｓ１２）を含む、請求項１４に記載の方法。
前記個々のスケーリング係数を決定するステップ（Ｓ１２）は、前記少なくとも１つの候補動きベクトルプレディクタ（５４、６４）に対して、
に基づいて前記個々のスケーリング係数を決定するステップ（Ｓ１２）を含み、この場合、＞＞は右シフト演算子であり、
、
、および
であり、ＣＶＯＩｄｘは前記現在カメラ視点（２０）の視点順インデックスであり、ＲｆＶＯＩｄｘは前記参照カメラ視点（２０）の視点順インデックスであり、ＦＶＯＩｄｘは前記第１のカメラ視点（１０、２０）の視点順インデックスであり、ＦＲｆＶＯＩｄｘは前記第１の参照カメラ視点（２０、１０）のカメラ視点順インデックスである、請求項１２から１５のいずれか一項に記載の方法。
複数のカメラ視点（１０、２０）からの符号化多視点映像の動きベクトルを復号するためのコンピュータプログラム（８８）であって、コンピュータ（８０）上で実行する時に、前記コンピュータ（８０）に、
前記複数のカメラ視点（１０、２０）の現在カメラ視点（２０）の現在フレーム（２４）内の現在画素ブロック（３０）に対して、前記複数のカメラ視点（１０、２０）の前記現在カメラ視点（２０）と異なる参照カメラ視点（２０）の参照フレーム（２２）を識別する参照フレームインデックスを提供させ、
前記現在画素ブロック（３０）に対して、前記複数のカメラ視点（１０、２０）の第１のカメラ視点（１０、２０）の第１のフレーム（１４、２６）内の画素ブロック（５０、６０）に関連付けられて前記複数のカメラ視点（１０、２０）の前記第１のカメラ視点（１０、２０）と異なる第１の参照カメラ視点（２０、１０）の第１の参照フレーム（２６、１６）内の画素領域（５２、６２）を識別する少なくとも１つの候補動きベクトルプレディクタ（５４、６４）を識別させ、
前記少なくとも１つの候補動きベクトルプレディクタ（５４、６４）に対して、前記現在カメラ視点（２０）と前記参照カメラ視点（２０）との間の基準距離および前記第１のカメラ視点（１０、２０）と前記第１の参照カメラ視点（２０、１０）との間の基準距離に基づいて個々のスケーリング係数を決定させ、
前記個々のスケーリング係数を乗じた前記少なくとも１つの候補動きベクトルプレディクタ（５４、６４）に基づいて形成された少なくとも１つのスケーリング済み候補動きベクトルプレディクタを含む候補リストを生成させ、さらに
前記現在画素ブロック（３０）に対して、前記候補リストのスケーリング済み候補動きベクトルプレディクタに基づいて、動きベクトル（３４）を決定させる
コード手段（２１０、２２０、２３０、２４０、２５０、２６０）を備える、コンピュータプログラム（８８）。
コンピュータ可読コード手段と、前記コンピュータ可読手段に記憶される請求項６から１７のいずれか一項に記載のコンピュータプログラムとを備えたコンピュータプログラム製品。
複数のカメラ視点（１０、２０）からの符号化多視点映像の動きベクトル復号装置（２００）であって、
前記複数のカメラ視点（１０、２０）の現在カメラ視点（２０）の現在フレーム（２４）内の現在画素ブロック（３０）に対して、前記複数のカメラ視点（１０、２０）の前記現在カメラ視点（２０）と異なる参照カメラ視点（２０）の参照フレーム（２２）を識別する参照フレームインデックスを提供する構造であるインデックスプロバイダ（２１０）と、
前記現在画素ブロック（３０）に対して、前記複数のカメラ視点（１０、２０）の第１のカメラ視点（１０、２０）の第１のフレーム（１４、２６）内の画素ブロック（５０、６０）に関連付けられて前記複数のカメラ視点（１０、２０）の前記第１のカメラ視点（１０、２０）と異なる第１の参照カメラ視点（２０、１０）の第１の参照フレーム（２６、１６）内の画素領域（５２、６２）を識別する少なくとも１つの候補動きベクトルプレディクタ（５４、６４）を識別する構造であるプレディクタ識別器（２２０）と、
前記少なくとも１つの候補動きベクトルプレディクタ（５４、６４）に対して、前記現在カメラ視点（２０）と前記参照カメラ視点（２０）との間の基準距離および前記第１のカメラ視点（１０、２０）と前記第１の参照カメラ視点（２０、１０）との間の基準距離に基づいて、個々のスケーリング係数を決定する構造であるスケーリング係数決定器（２３０）と、
前記個々のスケーリング係数を乗じた前記少なくとも１つの候補動きベクトルプレディクタ（５４、６４）に基づいて形成された少なくとも１つのスケーリング済み候補動きベクトルプレディクタを含む候補リストを生成する構造であるリスト生成器（２４０）と、
前記現在画素ブロック（３０）に対して、前記候補リストのスケーリング済み候補動きベクトルプレディクタに基づいて、動きベクトル（３４）を決定する構造であるベクトル決定器（２６０）と
を備える装置（２００）。
前記現在画素ブロック（３０）に対して、前記現在画素ブロック（３０）に関連付けられたプレディクタインデックスに基づいて、前記候補リストから動きベクトルプレディクタを選択する構造であるプレディクタ選択器（２５０）をさらに備え、前記ベクトル決定器（２６０）は、前記現在画素ブロック（３０）に対して、前記プレディクタ選択器（２５０）によって選択された前記動きベクトルプレディクタおよび前記現在画素ブロック（３０）に関連付けられた残差動きベクトルに基づいて、前記動きベクトル（３４）を決定する構造である、請求項１９に記載の装置。
前記スケーリング係数決定器（２３０）は、前記少なくとも１つの候補動きベクトルプレディクタ（５４、６４）に対して、前記現在カメラ視点（２０）と前記参照カメラ視点（２０）との間の前記基準距離と、前記第１のカメラ視点（１０、２０）と前記第１の参照カメラ視点（２０、１０）との間の前記基準距離との商に基づいて、前記個々のスケーリング係数を決定する構造である、請求項１９または２０に記載の装置。
前記スケーリング係数決定器（２３０）は、前記少なくとも１つの候補動きベクトルプレディクタ（５４、６４）に対して、（ｉ）前記現在カメラ視点と前記参照カメラ視点との間の前記基準距離がゼロである場合に、または（ｉｉ）前記第１のカメラ視点と前記第１の参照カメラ視点との間の前記基準距離がゼロである場合に、固定の所定値に等しい前記個々のスケーリング係数を決定する構造である、請求項２１に記載の装置。
前記スケーリング係数決定器（２３０）は、前記少なくとも１つの候補動きベクトルプレディクタ（５４、６４）に対して、
に基づいて前記個々のスケーリング係数を決定する構造であり、この場合、＞＞は右シフト演算子であり、
、
、および
であり、ＣＶＯＩｄｘは前記現在カメラ視点（２０）の視点順インデックスであり、ＲｆＶＯＩｄｘは前記参照カメラ視点（２０）の視点順インデックスであり、ＦＶＯＩｄｘは前記第１のカメラ視点（１０、２０）の視点順インデックスであり、ＦＲｆＶＯＩｄｘは前記第１の参照カメラ視点（２０、１０）のカメラ視点順インデックスである、請求項１９から２２のいずれか一項に記載の装置。