JP2013066200A - 参照ピクチャー・リスト管理 - Google Patents

Abstract

【課題】参照ピクチャー・リストの効率的な管理を許容するために、H.264/MPEG-4 AVCに基づくマルチビュー符号化規格の高水準シンタックスを変更する。
【解決手段】参照リストに加えられるべきビュー間ピクチャーのインデックスを選択するために使われる式を修正することによって、ビュー間参照ピクチャーが最終参照リストにおいて複製されることを許容し、もとの参照ピクチャーとともにその参照ピクチャーの修正版が一個の参照ピクチャーとして使用できるようにする。また、符号化効率を改善させるために参照ピクチャーの並べ替えを行い、現在のピクチャーにより相関があるピクチャーが参照ピクチャー・リストの低位のインデックスにおいて存在できるようにする。
【選択図】図２

Description

本願は、2007年4月4日に出願された米国仮出願第60/921713号の利益を主張する。該仮出願はここにその全体において参照によって組み込まれる。

本願は、概括的にはビデオのエンコードおよびデコードに、より詳細には高水準シンタックスを使ってマルチビュー符号化された（multi-view coded）ビデオにおける参照ピクチャー・リスト（reference picture list）管理のための方法および装置に関する。

現行のH.264/MPEG-4 AVCに基づくMVCの実装では、参照ソフトウェアは、単一のエンコーダで各ビューをエンコードしビュー横断（cross-view）参照を考慮に入れることによって、マルチビュー予測を達成する。さらに、MVCは異なるビュー間でframe_num〔フレーム番号〕とPOC〔ピクチャー順カウント〕とを分離し、それにより同じframe_numおよびPOCをもつ複数のピクチャー（たとえば異なるビューに属するピクチャー）がデコード済みピクチャー・バッファ（DPB: Decoded Picture Buffer）において存在することを許容する。これらのピクチャーは、それに関連付けられたview_id〔ビューID〕を使って区別される。

ビュー間（inter-view）参照ピクチャーを並べ替えるために使われる参照ピクチャー・リスト並べ替え（Reference Picture List Reordering）コマンドは、ある種のシンタックス要素の値に何らかの制約を課し、さらに、参照リスト中のある特定のview_idをもつピクチャーを複製することを許容しない。参照ピクチャーの複製は、たとえば、もとの参照ピクチャーとともにその参照ピクチャーの修正版が一個の参照ピクチャーとして使用される場合に有用である。これは、重み付けされた予測（weighted prediction）および適応的参照フィルタリング（adaptive reference filtering）において使用される。

本発明の少なくとも一つの実装では、参照ピクチャー・リストの効率的な管理を許容するために、H.264/MPEG-4 AVCに基づくマルチビュー符号化（Multiview Coding）規格の高水準シンタックスへの変更がなされる。具体的には、本発明は、参照リストに加えられるべきビュー間ピクチャーのインデックスを選択するために使われる式を修正することによって、ビュー間参照ピクチャーが最終参照リストにおいて複製されることを許容する。参照ピクチャーの複製は、たとえば、もとの参照ピクチャーとともにその参照ピクチャーの修正版が参照ピクチャーとして使用される場合に有用である。これは、重み付けされた予測および適応的参照フィルタリングにおいて使用される。

本発明の実装を通じて、参照ピクチャーの並べ替えもより効率的に実装される。参照ピクチャーの並べ替えは、たとえば、現在のピクチャーにより相関があるピクチャーが参照ピクチャー・リストの低位のインデックスにおいて存在できるようにすることによって、符号化効率を改善するために有用である。MVC拡張では、ビュー間参照ピクチャーを並べ替えるために、新たなセットのRPLRコマンドが導入された。

本発明の少なくとも一つの実装では、現在のMVC仕様におけるビュー・インデックス値の導出において指定される式が、参照ピクチャー・リストの管理を許容するよう修正される。この修正は、現在の仕様において課される制約を取り除き、さらに参照リスト中でビュー間参照ピクチャーを複製することを許容する。

AVCにおける参照ピクチャー・リスト並べ替えシンタックスを示す図である。 MVCにおける参照ピクチャー・リスト並べ替えシンタックスを示す図である。 MVCにおける参照ピクチャー・リストの並べ替えのためのReordering_of_pics_nums_idc操作を示す図である。

本発明の少なくとも一つの実装では、参照ピクチャー・リストの効率的な管理を許容するために、H.264/MPEG-4 AVCに基づくマルチビュー符号化規格の高水準シンタックスへの変更がなされる。具体的には、本発明は、参照リストに加えられるべきビュー間ピクチャーのインデックスを選択するために使われる式を修正することによって、ビュー間参照ピクチャーが最終参照リストにおいて複製されることを許容する。

H.264/MPEG-4 AVCに基づく現行のMVC〔マルチビュー符号化〕の実装では、参照ソフトウェアはマルチビュー予測を、各ビューを単一のエンコーダでエンコードしビュー横断参照を考慮に入れることによって、マルチビュー予測を達成する。さらに、MVCは異なるビュー間でframe_num〔フレーム番号〕とPOC〔ピクチャー順カウント〕との分離もし、それにより同じframe_numおよびPOCをもつ複数のピクチャー（たとえば異なるビューに属するピクチャー）がDPB〔デコード済みピクチャー・バッファ〕において存在することを許容する。これらのピクチャーは、それに関連付けられたview_id〔ビューID〕を使って区別される。

ビュー間参照ピクチャーを並べ替えるために使われる参照ピクチャー・リスト並べ替えコマンドは、ある種のシンタックス要素の値に何らかの制約を課し、さらに、参照リスト中のある特定のview_idをもつピクチャーを複製することを許容しない。参照ピクチャーの複製は、たとえば、もとの参照ピクチャーとともにその参照ピクチャーの修正版が一個の参照ピクチャーとして使用される場合に有用である。これは、重み付けされた予測および適応的参照フィルタリングにおいて使用される。

H.264/MPEG-4 AVCは、エンコーダ／デコーダが、list0（Bスライスについてはそれとlist1）内の参照ピクチャーのデフォルト順序を、次のデコードされたスライスのために一時的に変更できるようにする。これは、スライス・ヘッダ内に存在する参照ピクチャー・リスト並べ替え（RPLR: Reference Picture List Reordering）コマンドを通じて達成される。これらのRPLRコマンドは、表１におけるPRLRのためのシンタックス・テーブルにおいて示されている。

参照ピクチャーの並べ替えは、たとえば、現在のピクチャーにより相関があるピクチャーが参照ピクチャー・リストの低位のインデックスにおいて存在できるようにすることによって、符号化効率を改善するために有用である。MVC拡張では、ビュー間参照ピクチャーを並べ替えるために、新たなセットのRPLRコマンドが導入された。これは表２に示されている。

新しいRPLRコマンドについての意味内容が表３に示されている。さらに、シンタックスabs_diff_view_idx_minus1は以下の意味内容をもつ。

abs_diff_view_idx_minus1に1を足したものは、参照ピクチャー・リストにおける現在のインデックスに置くべきピクチャーのビュー・インデックスと、ビュー・インデックス予測値との間の差の絶対値を指定する。abs_diff_view_idx_minus1は、現在のデコード・スライスがアンカー・ピクチャーに属する場合には0からnum_anchor_refs_IX[curr_view_id]−1までの範囲にあり、非アンカー・ピクチャーに属する場合には0からnum_non_anchor_refs_IX[curr_view_id]−1までの範囲にある。curr_view_idは現在のスライスを含むビューのview_idに等しい。abs_diff_view_idx_minus1の許容される値はさらに、MVCの下位条項H.8.2.2.3において規定されるように制約される。

ビュー間ピクチャーのビュー・インデックス（view index）は、MVC SPS拡張において現在のデコード・ビューのための依存性において生起するビュー間ピクチャーのview_idの順序を示す。view_indexに等しいビュー・インデックスをもつピクチャーにとって、そのview_idは、現在の符号化スライスがアンカー・ピクチャーに属する場合にはanchor_ref_IX[curr_view_id][view_index]に等しく、非アンカー・ピクチャーに属する場合にはnon_anchor_ref_IX[curr_view_id][view_index]に等しい。

少なくとも一つの実装では、本発明は、参照ピクチャー・リストの管理のための現行のMVC仕様におけるビュー・インデックス値の導出において指定されている式を修正する。この修正は、現行の仕様において課される制約を取り除き、さらに、参照リスト中のビュー間参照ピクチャーを複製することを許容する。

ビュー間ピクチャーの並べ替えプロセスは現在次のように規定されている。

このプロセスへの入力は、参照ピクチャー・リストRefPicListX（Xは0または1）およびこのリスト中へのインデックスrefIdxLXである。

このプロセスの出力は、可能性としては修正されている参照ピクチャー・リストRefPicListX（Xは0または1）およびインクリメントされたインデックスrefIdxLXである。

変数picViewIdxLXは次のように導出される。
・reordering_of_pic_nums_idcが4に等しい場合
picViewIdxLX＝picViewIdxLXPred−(abs_diff_view_idx_minus1＋1) (1)
・そうでない場合（reordering_of_pic_nums_idcが5に等しい）
picViewIdxLX＝picViewIdxLXPred＋(abs_diff_view_idx_minus1+1) (2)。

picViewIdxLXPredは、変数picViewIdxLXについての予測値である。この下位条項で規定されているプロセスがあるスライスについて初めて呼び出されるとき（すなわち、ref_pic_list_reordering()シンタックスにおいて4または5に等しいreordering_of_pic_nums_idcの最初の生起について）、picViewIdxL0PredおよびpicViewIdxL1Predは最初0に等しく設定される。この下位条項で規定されているプロセスがあるスライスについて初めて呼び出され、reordering_of_pic_nums_idcが4に等しく、続かれるabs_diff_view_idx_minus1が0に等しいとき、picViewIdxLXは上記の式を使うことなく、直接0と導かれる。picViewIdxLXの各代入後、picViewIdxLXの値がpicViewIdxLXPredに代入される。

picViewIdxLXに等しいビュー・インデックスをもつビュー間ピクチャーをインデックス位置refIdxLXに入れ、他の任意の残りのピクチャーの位置をリスト中のより後にずらすために、次の手順が実施される。

TargetViewlD＝num_multiview_refs_for_listX[picViewIdxLX]
for(cIdx＝num_ref_idx_IX_active_minus1＋1; cIdx＞refIdxLX; cIdx−−)
RefPicListX[cIdx]＝RefPicListX[cIdx−1]
RefPicListX[refIdxLX＋＋]＝TargetViewIDに等しいビューidをもつビュー間参照ピクチャー
nIdx＝refIdxLX
for(cIdx＝refIdxLX; cIdx＜＝num_ref_idx_IX_active_minus1＋1; cIdx＋＋)
if(ViewID(RefPicListX[cIdx])！＝TargetViewID ｜｜
PictureOrderCnt(RefPicListX[cIdx])！＝CurrPOC)
RefPicListX[nIdx＋＋]＝RefPicListX[cIdx]
ここで、CurrPOCは現在のデコード・ピクチャーのPicOrderCnt()を示す。

上記の記述から見られるように、次の制約が課される：
この下位条項で規定されているプロセスがあるスライスについて初めて呼び出され、reordering_of_pic_nums_idcが4に等しく、abs_diff_view_idx_minus1の次のシンタックス要素が0に等しいとき、picViewIdxLXは上記の式を使うことなく、直接0と導かれる。これは、たとえばpicViewIdxLXPredおよびabs_diff_view_idx_minus1の両方が0の初期値をもつ場合にpicViewIdxLXについての負の値をもつ可能性を排除する。

さらに、式(1)および(2)を使って、参照リスト中のエントリーを複製することは可能ではない。これらの式は正しくない値を生成することになるからである。

これらの問題に対処するため、少なくとも一つの実装は、二つの式(1)および(2)を次のように修正することを提案する。

変数picViewIdxLXは次のように導出される。
・reordering_of_pic_nums_idcが4に等しい場合
if(picViewIdxLXPred−(abs_diff_view_idx_minus1＋1)＜0)
picViewIdxLX＝picViewIdxLXPred−(abs_diff_view_idx_minus1＋1)＋MaxViewIdx (3)
else
picViewIdxLX＝picViewIdxLXPred−(abs_diff_view_idx_minus1＋1)
・そうでない場合（reordering_of_pic_nums_idcが5に等しい）
if(picViewIdxLXPred＋(abs_diff_view_idx_minus1＋1)＞＝MaxViewIdx)
picViewIdxLX＝picViewIdxLXPred＋(abs_diff_view_idx_minus1＋1)−MaxViewIdx (4)
else
picViewIdxLX＝picViewIdxLXPred＋(abs_diff_view_idx_minus1＋1)。

MaxViewIdxは変数であり、式(3)および(4)における値MaxViewIdxはSPS MVC拡張からのシンタックスを使って次のように導出される。

現在ピクチャーがアンカー・ピクチャーである場合、
MaxViewIdx＝num_anchor_refs_IX[curr_view_id]
そうでない場合、
MaxViewIdx＝num_non_anchor_refs_IX[curr_view_id]
明らかに、エンコーダおよびデコーダの両方がMaxViewIdxの値を導出できる。

この方法の利点は、abs_diff_view_idx_minus1を(MaxViewIdx−1)に等しい値にシグナルすることによって、特定のビュー・インデックス値を複製することが可能であるということである。つまり、表２のシンタックスを使ってそのような値をシグナルすることによって、picViewIdxLX＝picViewIdxLXPredとなるので、特定のビュー・インデックス値がデコーダの参照リスト中で複製されることになる。

さらに、この方法は、"reordering_of_pic_nums_idc＝4"がそのスライスについての最初のコマンドであるときのabs_diff_view_idx_minus1の値にもともと課されていた制約条件を取り除く。つまり、picViewIdxLXは自動的に0に設定される必要はない。これは、式(3)のすぐ上の最初の「if」文が（既存の式(1)をもって計算されるような）picViewIdxLXについての潜在的に無効な値の生起を捕捉するからである。

本稿に記載された諸特徴および諸側面は、たとえば、参照ピクチャー・リストにおいてビュー間参照ピクチャーを複製することを許容する。そのような複製は、単に、（ピクセル値を含んでいる）実際の参照ピクチャーへのポインタを複製することを指していてもよい。その場合、参照ピクチャー・リストは、たとえば、一つまたは複数の実際の参照ピクチャーへのポインタの系列を含んでいてもよい。実際の参照ピクチャーはたとえば、デコードされたピクチャー・バッファ中に記憶されてもよい。そのような実装では、参照ピクチャー・リスト中のポインタの一つまたは複数は、それらのポインタが同じ実際の参照ピクチャーをポイントするよう複製される。

参照ピクチャー・リストにおけるビュー間参照ピクチャーの複製は、たとえば、2006年7月18日に出願された「ビデオ符号化のための適応的参照フレーム・フィルタリング」と題する米国仮出願第60/807,645号において記載される適応的参照フィルタリングを実行する際に使用されてもよい。該仮出願の内容全体はここに参照によって組み込まれる。

諸実装がまた、参照ピクチャー・リストにおいて複数のポインタによってポイントされる実際の参照ピクチャーを複製してもよいことは明らかなはずである。さらに、諸実装は、単に実際の参照ピクチャーへのポインタではなく、実際の参照ピクチャーを含む参照ピクチャー・リストを維持してもよい。

記載された実装の諸特徴および諸側面は、他の実装のために適応されてもよい。たとえば、参照ピクチャーのリストを維持する他のエンコード／デコード・プロセスがリスト中の参照ピクチャーの複製を許容してもよい。そのような他のエンコード／デコード・プロセスはそのような複製を、たとえば明示的な信号伝達（signaling）または暗黙的な信号伝達を使って許容してもよい。明示的な信号伝達の一例として、ある実装は、特定の参照ピクチャーがリスト中で複製されるべきかどうかを指示するシンタックスをあらゆるエンコードされるピクチャーとともに含んでもよい。

本稿に記載された実装は、たとえば、方法もしくはプロセス、装置またはソフトウェア・プログラムにおいて実装されうる。たとえ単一の形の実装のコンテキストでしか論じられていないとしても（たとえば方法としてしか論じられていないとしても）、論じられている実装または特徴は他の形（たとえば装置またはプログラム）でも実装されてもよい。装置はたとえば、適切なハードウェア、ソフトウェアおよびファームウェアにおいて実装されてもよい。諸方法はたとえば、デコーダ、エンコーダまたは他の何らかの処理装置などといった装置において実装されてもよい。さらに、諸方法は、処理装置または他の装置によって実行される命令によって実装されてもよく、そのような命令は、たとえばCDもしくは他のコンピュータ可読記憶デバイスといったコンピュータ可読媒体または集積回路上に記憶されてもよい。

当業者には明らかであろうが、諸実装はまた、たとえば記憶または伝送されうる情報を担持するようフォーマットされた信号を生成してもよい。前記情報は、たとえば、方法を実行するための命令または記載された実装の一つによって生成されたデータを含みうる。たとえば、信号は、明示的な信号伝達・シンタックスのための値をデータとして担持するようフォーマットされてもよい。

さらに、他の実装が本出願によって考えられている。たとえば、開示される実装のさまざまな特徴を組み合わせる、削除する、修正するまたは補完することによって、追加的な実装が作り出されうる。

請求項は、さまざまな実装の短いリストを与える。そのリストは網羅的であることは意図されておらず、数多くの可能な実装のうちの少数について短い記載を提供するのみである。

Claims (17)

1. マルチビュー符号化フォーマットにおいて、参照ピクチャー・リストを構築する方法であって：
   特定の参照ピクチャーが参照ピクチャーのリスト上で複製されるべきかどうかを指示する情報をビットストリーム中に提供する段階と；
   前記参照ピクチャー・リストにおいてビュー間ピクチャーの複製を許容するために並べ替える段階とを有する、
   方法。
2. ビュー・インデックス値を計算するための式が前記複製を許容するために修正されている、請求項１記載の方法。
3. 前記式が、ある条件が満たされている場合に最大参照インデックスの値を加算するものである、請求項２記載の方法。
4. 前記式が、ある条件が満たされている場合に最大参照インデックスの値を減算するものである、請求項２記載の方法。
5. 前記最大参照インデックス値がSPSシンタックスから決定される、請求項３または４記載の方法。
6. 前記最大参照インデックス値がアンカー・ピクチャーと非アンカー・ピクチャーについて異なることができる、請求項５記載の方法。
7. 参照ピクチャーのリスト上で特定の参照ピクチャーの複製を達成するための命令を含む情報を提供するよう構成されたエンコーダ。
8. 前記情報が明示的な信号伝達シンタックスの値を含む、請求項７記載のエンコーダ。
9. 参照ピクチャーのリスト中の特定の参照ピクチャーを複製するよう構成されたデコーダ。
10. 前記特定の参照ピクチャーはビュー間参照ピクチャーである、請求項７記載のエンコーダまたは請求項９記載のデコーダ。
11. 複製が実行されることを命令する情報を受け取るようさらに構成されている、請求項９記載のデコーダ。
12. 前記情報が明示的な信号伝達シンタックスの値を含む、請求項１１記載のデコーダ。
13. エンコーダによる使用が可能な方法であって、特定の参照ピクチャーが参照ピクチャーのリスト上で複製されるべきであると命令する情報を提供することを含む、方法。
14. デコーダによる使用が可能な方法であって、参照ピクチャーのリストにおいて特定の参照ピクチャーを複製することを含む、方法。
15. 複製が実行されることを命令する情報を受け取ることをさらに含む、請求項１４記載の方法。
16. ピクチャーをデコードする際に使うためにデコーダによって維持される参照ピクチャーのリストにおいてある参照ピクチャーが複製されるようにする命令を含む、コンピュータ可読媒体。
17. 前記命令が参照ピクチャーが複製されるようにするのが、そのような複製を命令する信号を受け取るのに反応してである、請求項１６記載の媒体。

Images