JP2015536109A

JP2015536109A - ビデオ信号処理方法及び装置

Info

Publication number: JP2015536109A
Application number: JP2015535562A
Authority: JP
Inventors: ムンモク; チウォクチュン; セフンイェ; チンホ; テソプキム; チェウォンスン; ウンヨンソン
Original assignee: LG Electronics Inc
Current assignee: LG Electronics Inc
Priority date: 2012-10-07
Filing date: 2013-10-04
Publication date: 2015-12-17
Anticipated expiration: 2033-10-04
Also published as: US10171836B2; ES2775202T3; KR20150090053A; KR102248074B1; EP2905964A4; EP2905964B1; WO2014054896A1; EP2905964A1; JP6594773B2; CN104782127A; US20150281734A1; CA2887120C; CN104782127B; CA2887120A1

Abstract

本発明は、並列処理情報を用いて現在のコーディングユニットのインタービュー動きベクトルを獲得し、現在のコーディングユニットのインタービュー動きベクトルを用いて、現在のコーディングユニット内の現在の予測ユニットの動きベクトルを並列的に獲得する。ここで、現在の予測ユニットに対応する参照ピクチャの出力順序情報と、対応ブロックに対応する参照ピクチャの出力順序情報とを比較して、現在の予測ユニットの動きベクトル予測値を獲得することを特徴とするビデオ信号処理方法及び装置に関する。本発明は、並列処理過程を通じて、多視点ビデオ映像を迅速に復元することができ、現在の予測ユニットと異なる視点の対応ブロックの参照ピクチャに対応する動き情報を用いて、動きベクトル予測値の正確度を高めることができる。【選択図】図３

Description

本発明は、ビデオ信号のコーディング方法及び装置に関する。

圧縮符号化とは、デジタル化した情報を通信回線を介して伝送したり、格納媒体に適した形態で格納したりする一連の信号処理技術を意味する。圧縮符号化の対象としては、音声、映像、文字などが存在し、特に、映像を対象として圧縮符号化を行う技術をビデオ映像圧縮と称する。多視点ビデオ映像の一般的な特徴は、空間的冗長性、時間的冗長性及び視点間冗長性を有している点にある。

本発明の目的は、ビデオ信号のコーディング効率を高めることにある。

本発明は、多視点ビデオ映像において並列処理情報を用いて現在のコーディングユニットのインタービュー動きベクトルを獲得することができ、現在のコーディングユニットのインタービュー動きベクトルを用いて現在の予測ユニットの動きベクトルを並列的に獲得することができる。

本発明は、現在の予測ユニットに対応する参照ピクチャの出力順序情報と、対応ブロックに対応する参照ピクチャの出力順序情報とを比較して、現在の予測ユニットの動きベクトル予測値を獲得することができる。

本発明は、現在の予測ユニットに対応する参照ピクチャの出力順序情報と、対応ブロックに対応する参照ピクチャの出力順序情報とが同一である場合、対応ブロックの参照ピクチャに対応する動き情報を用いて現在の予測ユニットの動きベクトル予測値を獲得することができる。

本発明は、現在の予測ユニットに対応する参照ピクチャの出力順序情報と、対応ブロックに対応する参照ピクチャの出力順序情報とが異なる場合、現在の予測ユニットに対応する参照ピクチャの出力順序、対応ブロックに対応する参照ピクチャの出力順序及び対応ブロックの参照ピクチャに対応する動き情報を用いて現在の予測ユニットの動きベクトル予測値を獲得することができる。

本発明は、多視点ビデオ映像において並列処理過程を通じて現在のコーディングユニットのインタービュー動きベクトル及び現在の予測ユニットの動きベクトルを獲得して、ビデオ映像を迅速に復元することができる。

本発明は、現在の予測ユニットと異なる視点の対応ブロックの参照ピクチャに対応する動き情報を用いて正確な動きベクトル予測値を獲得することができる。

本発明が適用される一実施例であって、デプスコーディングが適用される放送受信機の内部ブロック図である。本発明が適用される一実施例であって、ビデオデコーダの概略的なブロック図である。本発明が適用される一実施例であって、並列処理情報を用いて現在のユニットのインタービュー動きベクトルを獲得し、現在の予測ユニットの動きベクトルを獲得する方法に対するフローチャートである。本発明が適用される一実施例であって、並列処理情報を用いて現在のコーディングユニットのインタービュー動きベクトルが獲得される一例を示す図である。本発明が適用される一実施例であって、現在のコーディングユニット内の現在の予測ユニットがＮ×Ｎの単位で並列処理される場合の一例を示す図である。本発明が適用される一実施例であって、現在のコーディングユニット内の現在の予測ユニットが２Ｎ×Ｎの単位で並列処理される場合の一例を示す図である。本発明が適用される一実施例であって、現在のコーディングユニット内の現在の予測ユニットがＮ×２Ｎの単位で並列処理される場合の一例を示す図である。本発明が適用される一実施例であって、現在の予測ユニットに対応する参照ピクチャの出力順序、対応ブロックに対応する参照ピクチャの出力順序及び対応ブロックの参照ピクチャに対応する動きベクトルを用いて、現在の予測ユニットの動きベクトル予測値を獲得する方法に対するフローチャートである。本発明が適用される一実施例であって、対応ブロックに対応する参照ピクチャの出力順序が現在の予測ユニットに対応する参照ピクチャの出力順序と同じ場合の現在の予測ユニットの動きベクトル予測値を獲得する方法の一例を示す図である。本発明が適用される一実施例であって、対応ブロックに対応する参照ピクチャの出力順序が現在の予測ユニットに対応する参照ピクチャの出力順序と異なる場合の現在の予測ユニットの動きベクトル予測値を獲得する方法の一例を示す図である。

本発明は、現在のコーディングユニットに対応する隣接ブロックのインタービュー動きベクトルを用いて、現在の並列処理ユニット内の前記現在のコーディングユニットのインタービュー動きベクトルを獲得し、前記現在のコーディングユニットのインタービュー動きベクトルを用いて少なくとも１つの現在の予測ユニットの動きベクトルを並列的に獲得し、前記現在の並列処理ユニットの大きさは並列処理情報を用いて決定され、前記現在のコーディングユニットに対応する隣接ブロックは、前記現在の並列処理ユニットに隣接する並列処理ユニットに含まれ、前記現在のコーディングユニットは、前記少なくとも１つの現在の予測ユニットを含むことを特徴とするビデオ信号処理方法及び装置である。

また、前記現在の並列処理ユニットに隣接する並列処理ユニットは、前記現在の並列処理ユニットの左側下段並列処理ユニット、左側並列処理ユニット、左側上段並列処理ユニット、上段並列処理ユニット及び右側上段並列処理ユニットのうちの少なくとも１つであることを特徴とするビデオ信号処理方法及び装置である。

また、前記現在のコーディングユニットが２Ｎ×２Ｎであり、前記現在の予測ユニットがＮ×Ｎで並列処理される場合、前記現在の予測ユニットは、第１予測ユニット、第２予測ユニット、第３予測ユニット及び第４予測ユニットを含み、前記第１予測ユニットの動きベクトル予測値は、前記第１予測ユニットの左側上段ブロック、前記第１予測ユニットの上段ブロック、前記第１予測ユニットの右側上段ブロック、前記第１予測ユニットの左側ブロック、前記第１予測ユニットの左側下段ブロックの動き情報を用いて獲得され、前記第２予測ユニットの動きベクトル予測値は、前記第２予測ユニットの左側上段ブロック、前記第２予測ユニットの上段ブロック及び前記第２予測ユニットの右側上段ブロックの動き情報を用いて獲得され、前記第３予測ユニットの動きベクトル予測値は、前記第３予測ユニットの左側上段ブロック、前記第３予測ユニットの左側ブロック及び前記第３予測ユニットの左側下段ブロックの動き情報を用いて獲得され、前記第４予測ユニットの動きベクトル予測値は、前記第４予測ユニットの右側上段ブロック及び前記第４予測ユニットの左側下段ブロックの動き情報を用いて獲得されることを特徴とするビデオ信号処理方法及び装置である。

また、本発明は、前記現在のコーディングユニットが２Ｎ×２Ｎであり、前記現在の予測ユニットがＮ×２Ｎで並列処理される場合、前記現在の予測ユニットは、第５予測ユニット及び第６予測ユニットを含み、前記第５予測ユニットの動きベクトル予測値は、前記第５予測ユニットの左側上段ブロック、前記第５予測ユニットの上段ブロック、前記第５予測ユニットの右側上段ブロック、前記第５予測ユニットの左側ブロック及び前記第５予測ユニットの左側下段ブロックの動き情報を用いて獲得され、前記第６予測ユニットの動きベクトル予測値は、前記第６予測ユニットの左側上段ブロック、前記第６予測ユニットの上段ブロック、前記第６予測ユニットの右側上段ブロック、前記第６予測ユニットの左側下段ブロックの動き情報を用いて獲得されることを特徴とするビデオ信号処理方法及び装置である。

また、本発明は、前記現在のコーディングユニットが２Ｎ×２Ｎであり、前記現在の予測ユニットが２Ｎ×Ｎで並列処理される場合、前記現在の予測ユニットは、第７予測ユニット及び第８予測ユニットを含み、前記第７予測ユニットの動きベクトル予測値は、前記第７予測ユニットの左側上段ブロック、前記第７予測ユニットの上段ブロック、前記第７予測ユニットの右側上段ブロック、前記第７予測ユニットの左側ブロック及び前記第７予測ユニットの左側下段ブロックの動き情報を用いて獲得され、前記第８予測ユニットの動きベクトル予測値は、前記第８予測ユニットの左側上段ブロック、前記第８予測ユニットの右側上段ブロック、前記第８予測ユニットの左側ブロック、前記第８予測ユニットの左側下段ブロックの動き情報を用いて獲得されることを特徴とするビデオ信号処理方法及び装置である。

また、本発明は、前記現在の予測ユニットに対応する参照ピクチャの出力順序情報を獲得し、前記インタービュー動きベクトルを用いて対応ブロックに対応する参照ピクチャの出力順序情報を獲得し、前記対応ブロックに対応する参照ピクチャの出力順序情報と、前記現在の予測ユニットに対応する参照ピクチャの出力順序情報とを比較し、前記比較するステップに基づいて前記現在の予測ユニットの動きベクトル予測値を獲得し、前記現在の予測ユニットに対応する参照ピクチャは、前記現在の予測ユニットと同一視点、異なる時間にあり、前記対応ブロックは、前記現在の予測ユニットと異なる視点、同一時間にあり、前記対応ブロックに対応する参照ピクチャは、前記対応ブロックと同一視点、異なる時間にあることを特徴とするビデオ信号処理方法及び装置である。

また、本発明は、前記現在の予測ユニットの動きベクトル予測値を獲得するステップにおいて、隣接ブロックがインタービュー予測ブロックであり、前記対応ブロックに対応する参照ピクチャの出力順序情報と、前記現在の予測ユニットに対応する参照ピクチャの出力順序情報とが同一である場合、前記対応ブロックの参照ピクチャに対応する動きベクトルを用いて前記現在の予測ユニットの動きベクトル予測値を獲得することを特徴とするビデオ信号処理方法及び装置である。

また、本発明は、前記現在の予測ユニットの動きベクトル予測値を獲得するステップにおいて、前記隣接ブロックがインタービュー予測ブロックであり、前記対応ブロックに対応する参照ピクチャの出力順序情報と、前記現在の予測ユニットに対応する参照ピクチャの出力順序情報とが異なる場合、前記対応ブロックに対応する参照ピクチャの出力順序情報、前記現在の予測ユニットに対応する参照ピクチャの出力順序情報及び前記対応ブロックの参照ピクチャに対応する動きベクトルを用いて前記現在の予測ユニットの動きベクトル予測値を獲得することを特徴とするビデオ信号処理方法及び装置である。

また、本発明は、前記現在の予測ユニットの動きベクトル予測値を獲得するステップにおいて、前記隣接ブロックが参照ビュー時間インター予測ブロックであり、前記対応ブロックに対応する参照ピクチャの出力順序情報と、前記現在の予測ユニットに対応する参照ピクチャの出力順序情報とが同一である場合、前記対応ブロックの参照ピクチャに対応する動きベクトルを用いて前記現在の予測ユニットの動きベクトル予測値を獲得することを特徴とするビデオ信号処理方法及び装置である。

多視点ビデオ信号データを圧縮符号化または復号化する技術は、空間的冗長性、時間的冗長性及び視点間に存在する冗長性を考慮している。また、多視点映像の場合、３次元映像を具現するために２つ以上の視点で撮影された多視点テクスチャ映像をコーディングすることができる。また、必要に応じて、多視点テクスチャ映像に対応するデプスデータをさらにコーディングすることもできる。デプスデータをコーディングする際に、空間的冗長性、時間的冗長性または視点間冗長性を考慮して圧縮コーディングできることは勿論である。デプスデータは、カメラと当該画素との間の距離情報を表現したものであり、本明細書内におけるデプスデータは、デプス情報、デプス映像、デプスピクチャ、デプスシーケンス、デプスビットストリームなどのように、デプスに関連する情報として柔軟に解釈することができる。また、本明細書におけるコーディングというのは、エンコーディングとデコーディングの概念を全て含むことができ、本発明の技術的思想及び技術的範囲によって柔軟に解釈することができる。

図１は、本発明が適用される一実施例であって、デプスコーディングが適用される放送受信機の内部ブロック図を示す。

本実施例に係る放送受信機は、地上波放送信号を受信して映像を再生するためのものである。前記放送受信機は、受信されたデプス関連情報を用いて３次元コンテンツを生成することができる。前記放送受信機は、チューナー１００、復調／チャネルデコーダ１０２、トランスポート逆多重化部１０４、パケット解除部１０６、オーディオデコーダ１０８、ビデオデコーダ１１０，ＰＳＩ／ＰＳＩＰ処理部１１４、３Ｄレンダリング部１１６、フォーマッタ１２０及びディスプレイ部１２２を含む。

チューナー１００は、アンテナ（図示せず）を介して入力される多数の放送信号のうち、ユーザが選局したいずれか１つのチャネルの放送信号を選択して出力する。復調／チャネルデコーダ１０２は、チューナー１００からの放送信号を復調し、復調された信号に対してエラー訂正デコーディングを行ってトランスポートストリーム（ＴＳ）を出力する。トランスポート逆多重化部１０４は、トランスポートストリームを逆多重化して、ビデオＰＥＳとオーディオＰＥＳを分離し、ＰＳＩ／ＰＳＩＰ情報を抽出する。パケット解除部１０６は、ビデオＰＥＳとオーディオＰＥＳに対してパケットを解除して、ビデオＥＳとオーディオＥＳを復元する。オーディオデコーダ１０８は、オーディオＥＳをデコーディングしてオーディオビットストリームを出力する。オーディオビットストリームは、デジタル−アナログ変換器（図示せず）によってアナログ音声信号に変換され、増幅器（図示せず）によって増幅された後、スピーカー（図示せず）を介して出力される。ビデオデコーダ１１０は、ビデオＥＳをデコーディングして元の映像を復元する。前記オーディオデコーダ１０８及び前記ビデオデコーダ１１０のデコーディング過程は、ＰＳＩ／ＰＳＩＰ処理部１１４によって確認されるパケットＩＤ（ＰＩＤ）をベースとして行われてもよい。デコーディング過程において、前記ビデオデコーダ１１０はデプス情報を抽出することができる。また、仮想カメラ視点の映像を生成するために必要な付加情報、例えば、カメラ情報、または相対的に前にある客体によって遮られる領域（Ｏｃｃｌｕｓｉｏｎ）を推定するための情報（例えば、客体の輪郭などの幾何学的情報、客体透明度情報及びカラー情報）などを抽出して３Ｄレンダリング部１１６に提供することができる。しかし、本発明の他の実施例においては、前記デプス情報及び／又は付加情報がトランスポート逆多重化部１０４によって分離されてもよい。

ＰＳＩ／ＰＳＩＰ処理部１１４は、トランスポート逆多重化部１０４からのＰＳＩ／ＰＳＩＰ情報を受信し、これをパージングしてメモリ（図示せず）またはレジスターに格納することによって、格納された情報をベースとして放送が再生されるようにする。３Ｄレンダリング部１１６は、復元された映像、デプス情報、付加情報及びカメラパラメータを用いて、仮想カメラ位置でのカラー情報、デプス情報などを生成することができる。

また、３Ｄレンダリング部１１６は、復元された映像、及び前記復元された映像に対するデプス情報を用いて３Ｄワーピング（Ｗａｒｐｉｎｇ）を行うことによって、仮想カメラ位置での仮想映像を生成する。本実施例では、前記３Ｄレンダリング部１１６が前記ビデオデコーダ１１０と別個のブロックとして構成されて説明されているが、これは一実施例に過ぎず、前記３Ｄレンダリング部１１６は、前記ビデオデコーダ１１０に含まれて行われてもよい。

フォーマッタ１２０は、デコーディング過程で復元した映像、すなわち、実際のカメラによって撮影された映像、及び３Ｄレンダリング部１１６によって生成された仮想映像を当該受信機でのディスプレイ方式に合わせてフォーマッティングして、ディスプレイ部１２２を介して３Ｄ映像が表示されるようにする。ここで、前記３Ｄレンダリング部１１６による仮想カメラ位置でのデプス情報及び仮想映像の合成、そして、フォーマッタ１２０による映像フォーマッティングが、ユーザの命令に応答して選択的に行われてもよい。すなわち、視聴者は、リモコン（図示せず）を操作して合成映像が表示されないようにしてもよく、映像合成が行われる時点を指定することもできる。

上記で説明したように、３Ｄ映像を生成するためにデプス情報は３Ｄレンダリング部１１６で利用されているが、他の実施例として、前記ビデオデコーダ１１０で利用されてもよい。以下では、前記ビデオデコーダ１１０でデプス情報を利用する様々な実施例を説明する。

図２は、本発明が適用される実施例であって、ビデオデコーダの概略的なブロック図を示す。

図２を参照すると、前記ビデオデコーダ１１０は、大きくエントロピーデコーディング部２１０、逆量子化部２２０、逆変換部２３０、デブロッキングフィルター部２４０、復号ピクチャバッファ部２５０、インター予測部２６０及びイントラ予測部２７０を含むことができる。ここで、実線はカラーピクチャデータの流れを意味し、点線はデプスピクチャデータの流れを意味する。このように、前記図２では、カラーピクチャデータとデプスピクチャデータを区分して表示したが、これは、別個のビットストリームを意味することができ、または１つのビットストリーム内でデータの流れのみを区分したものと見ることもできる。すなわち、前記カラーピクチャデータと前記デプスピクチャデータは、１つのビットストリーム、または別個のビットストリームとして伝送されてもよく、図２では、データの流れを示しているだけで、１つのデコーダ内で全て行われるものに限定されない。

まず、受信されたデプスビットストリーム２００を復号するために、ＮＡＬ単位でパージングを行う。このとき、ＮＡＬヘッダー領域、ＮＡＬヘッダーの拡張領域、シーケンスヘッダー領域（例えば、シーケンスパラメータセット）、シーケンスヘッダーの拡張領域、ピクチャヘッダー領域（例えば、ピクチャパラメータセット）、ピクチャヘッダーの拡張領域、スライスヘッダー領域、スライスヘッダーの拡張領域、スライスデータ領域、またはマクロブロック領域には、デプスに関連する種々の属性情報が含まれてもよい。デプスコーディングは、別個のコーデックが利用されてもよいが、既存のコーデックとの互換をなす場合であれば、デプスビットストリームである場合に限って、デプスに関連する種々の属性情報を追加することがより効率的であり得る。例えば、前記シーケンスヘッダー領域（例えば、シーケンスパラメータセット）またはシーケンスヘッダーの拡張領域でデプスビットストリームであるか否かを識別できるデプス識別情報を追加することができる。前記デプス識別情報に応じて、入力されたビットストリームがデプスコーディングされたビットストリームである場合に限って、デプスシーケンスに対する属性情報を追加することができる。

パージングされたデプスビットストリーム２００は、エントロピーデコーディング部２１０を介してエントロピーデコーディングされ、各マクロブロックの係数、動きベクトルなどが抽出される。逆量子化部２２０では、受信され量子化された値に一定の定数を乗じることで変換された係数値を獲得し、逆変換部２３０では、前記係数値を逆変換してデプスピクチャのデプス情報を復元する。イントラ予測部２７０では、現在のデプスピクチャの復元されたデプス情報を用いて画面内予測を行う。一方、デブロッキングフィルター部２４０では、ブロック歪み現象を減少させるために、それぞれのコーディングされたマクロブロックにデブロッキングフィルタリングを適用する。フィルターは、ブロックの縁部を滑らかにすることで、デコーディングされたフレームの画質を向上させる。フィルタリング過程の選択は、境界の強さ（ｂｏｕｎｄａｒｙｓｔｒｅｎｔｈ）及び境界の周囲のイメージサンプルの変化（ｇｒａｄｉｅｎｔ）によって左右される。フィルタリングを経たデプスピクチャは、出力されるか、または参照ピクチャとして利用するために復号ピクチャバッファ部２５０に格納される。

復号ピクチャバッファ部（ＤｅｃｏｄｅｄＰｉｃｔｕｒｅＢｕｆｆｅｒｕｎｉｔ）２５０では、画面間予測を行うために以前にコーディングされたデプスピクチャを格納したり、開放したりする役割などを行う。このとき、復号ピクチャバッファ部２５０に格納したり開放したりするために、各ピクチャのｆｒａｍｅ_ｎｕｍとＰＯＣ（ＰｉｃｔｕｒｅＯｒｄｅｒＣｏｕｎｔ）を用いることになる。したがって、デプスコーディングにおいて、前記以前にコーディングされたピクチャのうちには現在のデプスピクチャと異なる視点にあるデプスピクチャもあるので、このようなピクチャを参照ピクチャとして活用するためには、前記ｆｒａｍｅ_ｎｕｍとＰＯＣだけでなく、デプスピクチャの視点を識別するデプス視点情報も共に用いることができる。

また、前記復号ピクチャバッファ部２５０は、デプスピクチャの視点間予測のための参照ピクチャリストを生成するために、デプス視点に対する情報を用いることができる。例えば、デプス−ビュー参照情報（ｄｅｐｔｈ−ｖｉｅｗｒｅｆｅｒｅｎｃｅｉｎｆｏｒｍａｔｉｏｎ）を用いることができる。デプス−ビュー参照情報とは、デプスピクチャの視点間依存関係を示すために用いられる情報のことをいう。例えば、全体デプス視点の数、デプス視点識別番号、デプス−ビュー参照ピクチャの数、デプス−ビュー参照ピクチャのデプス視点識別番号などがあり得る。

前記復号ピクチャバッファ部２５０は、より柔軟に画面間予測を実現するために参照ピクチャを管理する。例えば、適応メモリ管理方法（ＭｅｍｏｒｙＭａｎａｇｅｍｅｎｔＣｏｎｔｒｏｌＯｐｅｒａｔｉｏｎＭｅｔｈｏｄ）及び移動ウィンドウ方法（ＳｌｉｄｉｎｇＷｉｎｄｏｗＭｅｔｈｏｄ）を用いることができる。これは、参照ピクチャと非参照ピクチャのメモリを１つのメモリに統一して管理し、少ないメモリで効率的に管理するためである。デプスコーディングにおいて、デプスピクチャは、復号ピクチャバッファ部内でカラーピクチャなどと区別するために別途の表示でマーキングされてもよく、前記マーキング過程で各デプスピクチャを識別させるための情報が用いられてもよい。このような過程を通じて管理される参照ピクチャは、インター予測部２６０においてデプスコーディングのために用いられてもよい。

図２を参照すると、インター予測部２６０は、動き補償部２６１、仮想視点合成部２６２及びデプスピクチャ予測部２６３を含むことができる。

動き補償部２６１では、エントロピーデコーディング部２１０から伝送された情報を用いて現在のブロックの動きを補償する。ビデオ信号から現在のブロックに隣接するブロックの動きベクトルを抽出し、前記現在のブロックの動きベクトル予測値を獲得する。前記動きベクトル予測値及び前記ビデオ信号から抽出される差分ベクトルを用いて、現在のブロックの動きを補償する。また、このような動き補償は、１つの参照ピクチャを用いて行われてもよく、複数のピクチャを用いて行われてもよい。デプスコーディングにおいて、現在のデプスピクチャが異なる視点にあるデプスピクチャを参照することになる場合、前記復号ピクチャバッファ部２５０に格納されているデプスピクチャの視点間予測のための参照ピクチャリストに対する情報を用いて、動き補償を行うことができる。また、そのデプスピクチャの視点を識別するデプス視点情報を用いて、動き補償を行ってもよい。

また、仮想視点合成部（ＶｉｒｔｕａｌＶｉｅｗＳｙｎｔｈｅｓｉｚｉｎｇＵｎｉｔ）２６２は、現在のカラーピクチャの視点に隣接する視点のカラーピクチャを用いて仮想視点のカラーピクチャを合成する。互いに隣接する視点のカラーピクチャを用いるために又は所望の特定の視点のカラーピクチャを用いるために、前記カラーピクチャの視点を示す視点識別情報を用いることができる。前記仮想視点のカラーピクチャを生成する場合、前記仮想視点のカラーピクチャを生成するか否かを指示するフラグ情報を定義することができる。前記フラグ情報が前記仮想視点のカラーピクチャを生成することを指示する場合、前記視点識別情報を用いて仮想視点のカラーピクチャを生成することができる。前記仮想視点合成部２６２を介して獲得された仮想視点のカラーピクチャはレファレンスピクチャとして用いることができ、この場合、前記仮想視点のカラーピクチャにも前記視点識別情報を割り当てることができることは勿論である。

他の実施例として、前記仮想視点合成部２６２は、現在のデプスピクチャの視点に隣接する視点にあるデプスピクチャを用いて、仮想視点のデプスピクチャを合成することができる。同様に、デプスピクチャの視点を示すためにデプス視点識別情報を用いることができる。ここで、前記デプス視点識別情報は、対応するカラーピクチャの視点識別情報から誘導されてもよい。例えば、前記対応するカラーピクチャは、現在のデプスピクチャと同一のピクチャ出力順序情報及び同一の視点識別情報を有することができる。

デプスピクチャ予測部２６３は、デプスコーディング情報を用いて現在のデプスピクチャを生成することができる。ここで、前記デプスコーディング情報は、カメラと客体との間の距離を示す距離変数（例えば、カメラ座標系上のＺ座標値など）、デプスコーディングのためのマクロブロックタイプ情報、デプスピクチャ内の境界線識別情報、ＲＢＳＰ内のデータがデプスコーディングされたデータを含んでいるか否かを示す情報、またはデータタイプがデプスピクチャデータであるか、カラーピクチャデータであるか、またはパララックスデータであるかを示す情報などを含むことができる。また、前記デプスコーディング情報を用いて現在のデプスピクチャを予測することもできる。すなわち、現在のデプスピクチャに隣接するデプスピクチャを用いたインター予測が可能であり、現在のデプスピクチャ内のデコーディングされたデプス情報を用いたイントラ予測が可能である。

本発明で使用されるユニットは、ビデオ信号に適用する際には、ブロック、サブブロック、マクロブロック、スライス、ピクチャ、フレーム、ピクチャグループ、シーケンスなどの意味を全て含むことができる。したがって、前記ユニットの意味は、それぞれの適用例に応じてそれに相応する意味として解釈しなければならない。また、ビデオ信号だけでなく他の信号などに適用するときには、その信号に適した他の意味として解釈してもよい。コーディングユニットは、ビデオ信号処理過程での基本単位を意味する。ビデオを処理する際にコーディングユニットの大きさは一定でなくてもよい。また、予測ユニットは、予測を行う基本単位である。予測ユニットは、正方形（２Ｎ×２Ｎ，Ｎ×Ｎ）、長方形（２Ｎ×Ｎ，Ｎ×２Ｎ）の大きさを有することができる。予測ユニットの大きさは、コーディングユニットと同一または小さくてもよい。コーディングユニットは複数の予測ユニットに分割されてもよい。そして、本発明において、現在のユニットは、現在のコーディングユニット及び現在の予測ユニットを含むものとして定義することができる。

以下では、並列処理情報を用いて現在のユニットのインタービュー動きベクトルを並列的に獲得し、インタービュー動きベクトルを用いて現在の予測ユニットの動きベクトルを獲得する方法について説明する。本発明における並列処理は、複数のユニットが同時にコーディングされることを示すことができる。

図３は、本発明が適用される一実施例であって、並列処理情報を用いて現在のユニットのインタービュー動きベクトルを獲得し、現在の予測ユニットの動きベクトルを獲得する方法に対するフローチャートを示したものである。

ビットストリームから並列処理情報を獲得することができる（Ｓ３００）。並列処理情報は、並列処理を行うか否かを示し、並列処理ユニットの大きさに関する情報を含むことができる。ここで、並列処理ユニットは、並列処理が適用される基本単位を示すことができる。並列処理情報は、ピクチャ、フレーム、ピクチャグループまたはシーケンス単位で獲得することができる。

並列処理情報を用いて現在のユニットのインタービュー動きベクトルを獲得することができる（Ｓ３１０）。獲得された並列処理情報を通じて、現在の最上位コーディングユニットに対して並列処理が適用されるか否かを判断することができる。ここで、現在の最上位コーディングユニットは、現在のコーディングユニットが含まれたコーディングユニットであって、現在の最上位コーディングユニットの分割を通じて現在のコーディングユニットが獲得され得る。もし、並列処理が適用され、並列処理ユニットの大きさが決定されれば、現在の最上位コーディングユニット内の現在のコーディングユニットのインタービュー動きベクトルは、現在のコーディングユニットの隣接ブロックのインタービュー動きベクトルを用いて獲得することができる。現在のコーディングユニットの隣接ブロックは、現在のコーディングユニットが含まれた現在の並列処理ユニットに隣接する並列処理ユニットに含まれる。現在の並列処理ユニットに隣接する並列処理ユニットは、現在の並列処理ユニットの左側下段並列処理ユニット、左側並列処理ユニット、左側上段並列処理ユニット、上段並列処理ユニット及び右側上段並列処理ユニットのうちの少なくとも１つであってもよい。現在のコーディングユニットのインタービュー動きベクトルが獲得される例は、図４を参照して詳細に説明する。

現在のコーディングユニットは現在の予測ユニットを含むことができる、現在の予測ユニットのインタービュー動きベクトルは、前記獲得された現在のコーディングユニットのインタービュー動きベクトルを用いて獲得することができる。または、現在の予測ユニットのインタービュー動きベクトルは、現在の予測ユニットの隣接ブロックのインタービュー動きベクトルを用いて獲得されてもよい。

現在の予測ユニットの動きベクトルは、現在のコーディングユニットのインタービュー動きベクトルを用いて並列的に獲得することができる（Ｓ３２０）。ここで、現在の予測ユニットの動きベクトルは、現在の予測ユニットの隣接ブロックの動き情報を用いて獲得することができる。現在のコーディングユニット内の現在の予測ユニットが並列処理される一例については、図５乃至図７を参照して説明する。そして、現在の予測ユニットの動きベクトルが現在のコーディングユニットのインタービュー動きベクトルを用いて獲得される一例については、図８乃至図１０を参照して説明する。

以下では、並列処理情報を用いて現在のコーディングユニットのインタービュー動きベクトルが獲得される一例について説明する。

図４は、本発明が適用される一実施例であって、並列処理情報を用いて現在のコーディングユニットのインタービュー動きベクトルが獲得される一例を示したものである。

Ｓ３１０で説明したように、並列処理が適用されるブロック内に現在のコーディングユニットが含まれる場合、現在のコーディングユニットのインタービュー動きベクトルは、隣接ブロックのインタービュー動きベクトルを用いて獲得することができる。

もし、図４のように、現在の最上位コーディングユニットの大きさが１６Ｎ×１６Ｎであり、現在のコーディングユニットの大きさが２Ｎ×２Ｎであり、並列処理が８Ｎ×８Ｎで適用される例を示す。現在のコーディングユニットのインタービュー動きベクトルは、同時に並列処理が行われるユニットではない隣接ユニットのインタービュー動きベクトルを用いて獲得することができる。例えば、現在のコーディングユニットの左側上段ブロック４００、左側ブロック４１０及び左側下段ブロック４２０のインタービュー動きベクトルを用いて現在のコーディングユニットのインタービュー動きベクトルが獲得されてもよい。または、隣接ブロックの一部である左側ブロック４１０のインタービュー動きベクトルのみを用いて獲得されてもよい。現在のコーディングユニットの隣接ブロックが、インタービュー動きベクトルを用いてコーディングされた視点間インター予測ブロックであるか、または参照ビュー時間的インター予測ブロックである場合、現在のコーディングユニットの隣接ブロックに対応するインタービュー動きベクトルを用いて、現在のコーディングユニットのインタービュー動きベクトルが獲得されてもよい。

一方、現在のコーディングユニットの上段ブロック４３０及び右側上段ブロック４４０は、現在のコーディングユニットの隣接ブロックであるが、同時に並列処理されるユニットに含まれる。したがって、現在のコーディングユニットのインタービュー動きベクトル獲得過程に利用されない。

上述した方法を用いて、現在の最上位コーディングユニット内に含まれた全てのコーディングユニットのインタービュー動きベクトルを獲得することができる。

以下では、現在のコーディングユニット内の現在の予測ユニットが並列処理される一例について説明する。

図５は、本発明が適用される一実施例であって、現在のコーディングユニット内の現在の予測ユニットがＮ×Ｎの単位で並列処理される場合の一例を示したものである。

現在のコーディングユニットが２Ｎ×２Ｎであり、現在のコーディングユニット内の現在の予測ユニットはＮ×Ｎの大きさを有する場合、現在のコーディングユニットは４つの現在の予測ユニットを含み、４つの現在の予測ユニットの動きベクトル予測値は、それぞれの隣接ブロックの動きベクトルを用いて同時に獲得することができる。

図５を参照すると、現在のコーディングユニットは、第１予測ユニット、第２予測ユニット、第３予測ユニット及び第４予測ユニットを含む。そして、それぞれの現在の予測ユニットの周辺には隣接ブロックがある。

第１予測ユニットは、隣接する、第１予測ユニットの左側上段ブロック５００、上段ブロック５０１、右側上段ブロック５０２、左側ブロック５０５及び左側下段ブロック５１０の動きベクトルを用いて、動きベクトル予測値が獲得され得る。

第２予測ユニットは、隣接する、第２予測ユニットの左側上段ブロック５０１、上段ブロック５０３、右側上段ブロック５０４の動きベクトルを用いて、動きベクトル予測値が獲得され得る。第２予測ユニットの左側ブロック５０６及び左側下段ブロック５１１は現在のコーディングユニット内のブロックであって、第２予測ユニットの左側ブロック５０６及び左側下段ブロック５１１の動きベクトルは並列処理過程で用いられなくてもよい。

第３予測ユニットは、隣接する、第３予測ユニットの左側上段ブロック５０５、左側ブロック５１２及び左側下段ブロック５１４の動きベクトルを用いて、動きベクトル予測値が獲得され得る。第３予測ユニットの上段ブロック５０６及び右側上段ブロック５０７は現在のコーディングユニット内のブロックであって、第３予測ユニットの上段ブロック５０６及び右側上段ブロック５０７の動きベクトルは並列処理過程で用いられなくてもよい。

第４予測ユニットは、隣接する、第４予測ユニットの右側上段ブロック５０９及び左側下段ブロック５１５の動きベクトルを用いて、動きベクトル予測値が獲得され得る。第４予測ユニットの左側上段ブロック５０６、上段ブロック５０８及び左側ブロック５１３は現在のコーディングユニット内のブロックであって、第４予測ユニットの左側上段ブロック５０６、上段ブロック５０８及び左側ブロック５１３の動きベクトルは並列処理過程で用いられなくてもよい。

図６は、本発明が適用される一実施例であって、現在のコーディングユニット内の現在の予測ユニットがＮ×２Ｎの単位で並列処理される場合の一例を示したものである。

現在のコーディングユニットが２Ｎ×２Ｎであり、現在のコーディングユニット内の現在の予測ユニットがＮ×２Ｎの大きさを有する場合、現在のコーディングユニットは２つの現在の予測ユニットを含み、２つの現在の予測ユニットの動きベクトル予測値は、それぞれの隣接ブロックの動きベクトルを用いて同時に獲得することができる。

図６を参照すると、現在のコーディングユニットは、第５予測ユニット及び第６予測ユニットを含む。そして、それぞれの現在の予測ユニットの周辺には隣接ブロックがある。

第５予測ユニットは、隣接する、第５予測ユニットの左側上段ブロック６００、上段ブロック６０１、右側上段ブロック６０２、左側ブロック６０５及び左側下段ブロック６１０の動きベクトルを用いて、動きベクトル予測値が獲得され得る。

第６予測ユニットは、隣接する、第６予測ユニットの左側上段ブロック６０１、上段ブロック６０３、右側上段ブロック６０４及び左側下段ブロック６１５の動きベクトルを用いて、動きベクトル予測値が獲得され得る。第６予測ユニットブロックの左側ブロック６１３は現在のコーディングユニット内のブロックであって、第６予測ユニットの左側ブロック６１３の動きベクトルは並列処理過程で用いられなくてもよい。

図７は、本発明が適用される一実施例であって、現在のコーディングユニット内の現在の予測ユニットが２Ｎ×Ｎの単位で並列処理される場合の一例を示したものである。

現在のコーディングユニットが２Ｎ×２Ｎであり、現在のコーディングユニット内の現在のコーディングユニットが２Ｎ×Ｎの大きさを有する場合、現在のコーディングユニットは２つの現在の予測ユニットを含み、２つの現在の予測ユニットの動きベクトル予測値は、それぞれの隣接ブロックの動きベクトルを用いて同時に獲得することができる。

図７を参照すると、現在のコーディングユニットは、第７予測ユニット及び第８予測ユニットを含む。そして、それぞれの現在の予測ユニットの周辺には隣接ブロックがある。

第７予測ユニットは、隣接する、第７予測ユニットの左側上段ブロック７００、上段ブロック７０３、右側上段ブロック７０４、左側ブロック７０５及び左側下段ブロック７１０の動きベクトルを用いて、動きベクトル予測値が獲得され得る。

第８予測ユニットは、隣接する、第８予測ユニットの左側上段ブロック７０５、右側上段ブロック７０９、左側ブロック７１２及び左側下段ブロック７１４の動きベクトルを用いて、動きベクトル予測値が獲得され得る。第８予測ユニットブロックの上段ブロック７０８は現在のコーディングユニット内のブロックであって、第８予測ユニットの上段ブロック７０８の動きベクトルは並列処理過程で用いられなくてもよい。

以下では、ステップＳ３１０で獲得されたインタービュー動きベクトルを用いて現在の予測ユニットの動きベクトルを獲得する方法について詳細に説明する。

図８は、本発明が適用される一実施例であって、出力順序及び対応ブロックの参照ピクチャに対応する動きベクトルを用いて現在の予測ユニットの動きベクトルを獲得する方法について説明する。

現在の予測ユニットに対応する参照ピクチャの出力順序情報を獲得することができる（Ｓ８００）。出力順序情報は、ピクチャの出力順序に関する情報を含むことができる。そして、出力順序（Ｐｉｃｔｕｒｅｏｒｄｅｒｃｏｕｎｔ、ＰＯＣ）は、ビデオが出力されるときにピクチャが出力される順序を意味する。現在の予測ユニットは、時間インター予測でコーディングされた場合、現在の予測ユニットに対応する参照ピクチャは、現在の予測ユニットを含む現在のピクチャと同一視点、異なる時間に位置することができる。したがって、同一視点内のピクチャは、同じ出力順序を有することができない。現在の予測ユニットが含まれるピクチャの出力順序は、ＰＯＣ０と仮定することができる。そして、現在の予測ユニットに対応する参照ピクチャの出力順序はＰＯＣ１と仮定することができる。

インタービュー動きベクトルを用いて、対応ブロックに対応する参照ピクチャの出力順序情報及び対応ブロックの参照ピクチャに対応する動きベクトルを獲得することができる（Ｓ８１０）。Ｓ３１０で獲得された現在のコーディングユニットのインタービュー動きベクトルを用いて現在の予測ユニットのインタービュー動きベクトルを獲得することができる。インタービュー動きベクトルを用いて現在の予測ユニットの対応ブロックを獲得することができる。したがって、対応ブロックは、現在の予測ユニットと異なる視点、同一時間に位置することができる。

対応ブロックに対応する参照ピクチャの出力順序情報及び対応ブロックの参照ピクチャに対応する動きベクトルを獲得することができる。インタービュー動きベクトルを用いて探索された対応ブロックは、複数の参照ピクチャを用いた時間インター予測でコーディングすることができる。対応ブロックに対応するＬＯ方向参照ピクチャの出力順序をＰＯＣ２ＬＯ、対応ブロックに対応するＬ１方向参照ピクチャの出力順序をＰＯＣ２Ｌ１と仮定することができる。そして、対応ブロックのＬＯ方向参照ピクチャに対応する動きベクトルをｍｖ２Ｌ０、対応ブロックのＬ１方向参照ピクチャに対応する動きベクトルをｍｖ２Ｌ１と仮定することができる。

現在の予測ユニットに対応する参照ピクチャの出力順序情報と、対応ブロックに対応する参照ピクチャの出力順序情報とを比較して、現在の予測ユニットの動きベクトル予測値を獲得することができる（Ｓ８２０）。現在の予測ユニットに対応する参照ピクチャがＬＯ方向であれば、Ｌ０方向参照ピクチャの出力順序情報を先に比較し、現在の予測ユニットに対応する参照ピクチャがＬ１方向であれば、Ｌ１方向参照ピクチャの出力順序情報を先に比較することができる。現在の予測ユニットに対応する参照ピクチャの出力順序ＰＯＣ１と、対応ブロックに対応する参照ピクチャの出力順序ＰＯＣ２Ｌ０，ＰＯＣ２Ｌ１とを比較すると、対応ブロックに対応する参照ピクチャの出力順序が、現在の予測ユニットに対応する参照ピクチャの出力順序と同一または異なる場合がある。比較結果に基づいて、対応ブロックに対応する参照ピクチャの動きベクトルを用いて現在の予測ユニットの動きベクトルを獲得することができる。対応ブロックに対応する参照ピクチャの出力順序が現在の予測ユニットに対応する参照ピクチャの出力順序と同一である場合における現在の予測ユニットの動きベクトル予測値を獲得する方法は、図９を用いて説明する。反対に、対応ブロックに対応する参照ピクチャの出力順序が現在の予測ユニットに対応する参照ピクチャの出力順序と異なる場合における現在の予測ユニットの動きベクトル予測値を獲得する方法は、図１０を用いて説明する。

動きベクトル予測値を用いて現在の予測ユニットの動きベクトルを獲得することができる（Ｓ８３０）。動きベクトル予測値は、現在の予測ユニットの隣接ブロックの動きベクトルを用いて獲得することができる。隣接ブロックの動きベクトルのうちの１つが、隣接ブロックの動きベクトル予測値として獲得されてもよい。または、隣接ブロックの動きベクトルの平均値が隣接ブロックの動きベクトル予測値として獲得されてもよい。

そして、動きベクトル予測値を用いて現在の予測ユニットの動きベクトルを獲得することができる。動きベクトル予測値は、直ちに現在の予測ユニットの動きベクトルとして用いることができる。または、動きベクトル予測値は、現在の予測ユニットの動きベクトルリストに含まれてもよい。動きベクトルリスト内の優先順位または現在の予測ユニットの動きベクトルインデックスを用いて、現在の予測ユニットの動きベクトルを獲得することができる。

図９は、本発明が適用される一実施例であって、対応ブロックに対応する参照ピクチャの出力順序情報が、現在の予測ユニットに対応する参照ピクチャの出力順序情報と同一である場合における現在の予測ユニットの動きベクトル予測値を獲得する方法の一例を示したものである。

対応ブロックに対応する参照ピクチャの出力順序情報が現在の予測ユニットに対応する参照ピクチャの出力順序情報と同一である場合、現在の予測ユニットは、現在の予測ユニットに対応する参照ピクチャの出力順序と同じ出力順序を有する対応ブロックの参照ピクチャに対応する動きベクトルが動きベクトル予測値として獲得され得る。

図９を参照すると、現在の予測ユニットの参照ピクチャ９１０は、現在の予測ユニットと同一視点、異なる時間に位置している。そして、現在の予測ユニットは、隣接ブロックからインタービュー動きベクトル９００が獲得され得る。現在の予測ユニットのインタービュー動きベクトル９００は対応ブロックを示し、対応ブロックの参照ピクチャ９２０，９３０は、対応ブロックと同一視点、異なる時間に位置している。

現在の予測ユニットに対応する参照ピクチャ９１０の出力順序ＰＯＣ１及び対応ブロックに対応するＬ０方向参照ピクチャ９２０の出力順序ＰＯＣ２Ｌ０は、出力順序が１であって、同じ出力順序を有する。したがって、現在の予測ユニットの動きベクトル予測値は、対応ブロックのＬ０方向参照ピクチャ９２０に対応する動きベクトルｍｖ２Ｌ０として決定され得る。

図１０は、本発明が適用される一実施例であって、対応ブロックに対応する参照ピクチャの出力順序情報が現在の予測ユニットに対応する参照ピクチャの出力順序情報と異なる場合における現在の予測ユニットの動きベクトル予測値を獲得する方法の一例を示したものである。

対応ブロックに対応する参照ピクチャの出力順序情報が現在の予測ユニットに対応する参照ピクチャの出力順序情報と異なる場合、現在の予測ユニットは、対応ブロックの参照ピクチャに対応する動きベクトルをスケーリングして動きベクトル予測値が獲得され得る。

図１０を参照すると、現在の予測ユニットの参照ピクチャ１０１０は、現在の予測ユニットと同一視点、異なる時間に位置している。そして、現在の予測ユニットは、隣接ブロックからインタービュー動きベクトル１０００が獲得され得る。現在の予測ユニットのインタービュー動きベクトル１０００は対応ブロックを示し、対応ブロックの参照ピクチャ１０２０，１０３０は、対応ブロックと同一視点、異なる時間に位置している。

現在の予測ユニットに対応する参照ピクチャ１０１０の出力順序ＰＯＣ１は２であるが、対応ブロックに対応するＬＯ方向参照ピクチャ１０２０の出力順序ＰＯＣ２Ｌ０は１であり、対応ブロックに対応するＬ１方向参照ピクチャ１０３０の出力順序ＰＯＣ２Ｌ１は４である。各参照ピクチャの出力順序が異なるので、現在の予測ユニットは、対応ブロックの参照ピクチャに対応する動きベクトルであるｍｖ２Ｌ０，ｍｖ２Ｌ１を数式１によってスケーリングして、動きベクトル予測値ｍｖ１が獲得され得る。

数式１において、Ｘは、対応ブロックに対応する参照ピクチャの方向に応じて、ＬＯ方向であると０、Ｌ１方向であると１であってもよい。

以下では、現在の予測ユニットのインタービュー動きベクトルの獲得方法によって現在の予測ユニットの動きベクトル予測値を獲得する方法の一例を説明する。

対応ブロックを示すインタービュー動きベクトルが獲得された隣接ブロックのインター予測の種類に応じて、現在の予測ユニットの動きベクトル予測値の獲得方法に差があり得る。図８のステップＳ８１０で説明したように、現在の予測ユニットのインタービュー動きベクトルは、インタービューインター予測でコーディングされた隣接ブロック、または参照ビュー時間インター予測でコーディングされた隣接ブロックから獲得することができる。インタービューインター予測でコーディングされた隣接ブロックは、参照ビュー時間インター予測でコーディングされた隣接ブロックよりも高い正確度のインタービュー動きベクトルを提供することができる。

したがって、現在の予測ユニットのインタービュー動きベクトルが、インタービューインター予測でコーディングされた隣接ブロックから獲得された場合、対応ブロックに対応する参照ピクチャの出力順序が現在の予測ユニットに対応する参照ピクチャの出力順序と同一であるときは、図９で説明した方法を用いて現在の予測ユニットの動きベクトル予測値を獲得し、対応ブロックに対応する参照ピクチャの出力順序が現在の予測ユニットに対応する参照ピクチャの出力順序と異なるときは、図１０で説明した方法を用いて現在の予測ユニットの動きベクトル予測値を獲得することができる。

しかし、現在の予測ユニットのインタービュー動きベクトルが、参照ビュー時間インター予測でコーディングされた隣接ブロックから獲得された場合、対応ブロックに対応する参照ピクチャの出力順序が現在の予測ユニットに対応する参照ピクチャの出力順序と同一であるときは、図９で説明した方法を用いて現在の予測ユニットの動きベクトル予測値を獲得し、対応ブロックに対応する参照ピクチャの出力順序が現在の予測ユニットに対応する参照ピクチャの出力順序と異なるときは、図１０で説明した方法を用いなくてもよい。

以下では、現在の予測ユニットの動きベクトル予測値リストに、図９及び図１０で説明した方法により獲得された動きベクトル予測値を追加する順序について説明する。

図９の方法により獲得された動きベクトル予測値、及び図１０の方法により獲得された動きベクトル予測値は、現在の予測ユニットの動きベクトル予測値リストに異なる順序で追加されてもよい。現在の予測ユニットに対応する参照ピクチャの出力順序と、対応ブロックに対応する参照ピクチャの出力順序とが同じときに獲得された動きベクトル予測値は、現在の予測ユニットに対応する参照ピクチャの出力順序と、対応ブロックに対応する参照ピクチャの出力順序とが異なるときに獲得された動きベクトル予測値よりも優先順位で動きベクトル予測値リストに追加されてもよい。例えば、現在の予測ユニットの動きベクトル予測値のうち、図９の方法により獲得された動きベクトル予測値が存在する場合、動きベクトル予測値は、動きベクトル予測値リストの３番目の順序に追加されてもよい。そして、現在の予測ユニットの動きベクトル予測値のうち、図１０の方法により獲得された動きベクトル予測値が存在する場合、動きベクトル予測値は、動きベクトル予測値リストの５番目の順序に追加されてもよい。

以上で説明したように、本発明が適用されるデコーディング／エンコーディング装置は、ＤＭＢ（ＤｉｇｉｔａｌＭｕｌｔｉｍｅｄｉａＢｒｏａｄｃａｓｔｉｎｇ）のようなマルチメディア放送／受信装置に備えられ、ビデオ信号及びデータ信号などをデコーディングするのに利用することができる。また、前記マルチメディア放送／受信装置は移動通信端末機を含むことができる。

また、本発明が適用されるデコーディング／エンコーディング方法は、コンピュータで実行されるためのプログラムとして製作され、コンピュータ可読記録媒体に格納することができ、本発明に係るデータ構造を有するマルチメディアデータも、コンピュータ可読記録媒体に格納することができる。コンピュータ可読記録媒体は、コンピュータシステムにより読み取られるデータが格納される全ての種類の格納装置を含む。コンピュータ可読記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、光データ格納装置などがあり、なお、搬送波（例えば、インターネットを介した伝送）の形態で具現されるものも含む。また、前記エンコーティング方法により生成されたビットストリームは、コンピュータ可読記録媒体に格納されるか、または有／無線通信網を用いて伝送されてもよい。

本発明は、ビデオ信号をコーディングするのに利用することができる。

Claims

現在のコーディングユニットに対応する隣接ブロックのインタービュー動きベクトルを用いて、現在の並列処理ユニット内の前記現在のコーディングユニットのインタービュー動きベクトルを獲得するステップと、
前記現在のコーディングユニットのインタービュー動きベクトルを用いて少なくとも１つの現在の予測ユニットの動きベクトルを並列的に獲得するステップとを含み、
前記現在の並列処理ユニットの大きさは、並列処理情報を用いて決定され、
前記現在のコーディングユニットに対応する隣接ブロックは、前記現在の並列処理ユニットに隣接する並列処理ユニットに含まれ、
前記現在のコーディングユニットは、前記少なくとも１つの現在の予測ユニットを含む、ビデオ信号処理方法。
前記現在の並列処理ユニットに隣接する並列処理ユニットは、前記現在の並列処理ユニットの左側下段並列処理ユニット、左側並列処理ユニット、左側上段並列処理ユニット、上段並列処理ユニット及び右側上段並列処理ユニットのうちの少なくとも１つである、請求項１に記載のビデオ信号処理方法。
前記現在のコーディングユニットが２Ｎ×２Ｎであり、前記現在の予測ユニットがＮ×Ｎで並列処理される場合、前記現在の予測ユニットは、第１予測ユニット、第２予測ユニット、第３予測ユニット及び第４予測ユニットを含み、
前記第１予測ユニットの動きベクトル予測値は、前記第１予測ユニットの左側上段ブロック、前記第１予測ユニットの上段ブロック、前記第１予測ユニットの右側上段ブロック、前記第１予測ユニットの左側ブロック、前記第１予測ユニットの左側下段ブロックの動き情報を用いて獲得され、
前記第２予測ユニットの動きベクトル予測値は、前記第２予測ユニットの左側上段ブロック、前記第２予測ユニットの上段ブロック及び前記第２予測ユニットの右側上段ブロックの動き情報を用いて獲得され、
前記第３予測ユニットの動きベクトル予測値は、前記第３予測ユニットの左側上段ブロック、前記第３予測ユニットの左側ブロック及び前記第３予測ユニットの左側下段ブロックの動き情報を用いて獲得され、
前記第４予測ユニットの動きベクトル予測値は、前記第４予測ユニットの右側上段ブロック及び前記第４予測ユニットの左側下段ブロックの動き情報を用いて獲得される、請求項１に記載のビデオ信号処理方法。
前記現在のコーディングユニットが２Ｎ×２Ｎであり、前記現在の予測ユニットがＮ×２Ｎで並列処理される場合、前記現在の予測ユニットは、第５予測ユニット及び第６予測ユニットを含み、
前記第５予測ユニットの動きベクトル予測値は、前記第５予測ユニットの左側上段ブロック、前記第５予測ユニットの上段ブロック、前記第５予測ユニットの右側上段ブロック、前記第５予測ユニットの左側ブロック及び前記第５予測ユニットの左側下段ブロックの動き情報を用いて獲得され、
前記第６予測ユニットの動きベクトル予測値は、前記第６予測ユニットの左側上段ブロック、前記第６予測ユニットの上段ブロック、前記第６予測ユニットの右側上段ブロック、前記第６予測ユニットの左側下段ブロックの動き情報を用いて獲得される、請求項１に記載のビデオ信号処理方法。
前記現在のコーディングユニットが２Ｎ×２Ｎであり、前記現在の予測ユニットが２Ｎ×Ｎで並列処理される場合、前記現在の予測ユニットは、第７予測ユニット及び第８予測ユニットを含み、
前記第７予測ユニットの動きベクトル予測値は、前記第７予測ユニットの左側上段ブロック、前記第７予測ユニットの上段ブロック、前記第７予測ユニットの右側上段ブロック、前記第７予測ユニットの左側ブロック及び前記第７予測ユニットの左側下段ブロックの動き情報を用いて獲得され、
前記第８予測ユニットの動きベクトル予測値は、前記第８予測ユニットの左側上段ブロック、前記第８予測ユニットの右側上段ブロック、前記第８予測ユニットの左側ブロック、前記第８予測ユニットの左側下段ブロックの動き情報を用いて獲得される、請求項１に記載のビデオ信号処理方法。
前記現在の予測ユニットの動きベクトルを並列的に獲得するステップは、
前記現在の予測ユニットに対応する参照ピクチャの出力順序情報を獲得するステップと、
前記インタービュー動きベクトルを用いて対応ブロックに対応する参照ピクチャの出力順序情報を獲得するステップと、
前記対応ブロックに対応する参照ピクチャの出力順序情報と、前記現在の予測ユニットに対応する参照ピクチャの出力順序情報とを比較するステップと、
前記比較するステップに基づいて、前記現在の予測ユニットの動きベクトル予測値を獲得するステップとを含み、
前記現在の予測ユニットに対応する参照ピクチャは、前記現在の予測ユニットと同一視点、異なる時間にあり、前記対応ブロックは、前記現在の予測ユニットと異なる視点、同一時間にあり、前記対応ブロックに対応する参照ピクチャは、前記対応ブロックと同一視点、異なる時間にある、請求項１に記載のビデオ信号処理方法。
前記現在の予測ユニットの動きベクトル予測値を獲得するステップにおいて、隣接ブロックがインタービュー予測ブロックであり、前記対応ブロックに対応する参照ピクチャの出力順序情報と、前記現在の予測ユニットに対応する参照ピクチャの出力順序情報とが同一である場合、前記対応ブロックの参照ピクチャに対応する動きベクトルを用いて、前記現在の予測ユニットの動きベクトル予測値を獲得する、請求項６に記載のビデオ信号処理方法。
前記現在の予測ユニットの動きベクトル予測値を獲得するステップにおいて、前記隣接ブロックがインタービュー予測ブロックであり、前記対応ブロックに対応する参照ピクチャの出力順序情報と、前記現在の予測ユニットに対応する参照ピクチャの出力順序情報とが異なる場合、前記対応ブロックに対応する参照ピクチャの出力順序情報、前記現在の予測ユニットに対応する参照ピクチャの出力順序情報及び前記対応ブロックの参照ピクチャに対応する動きベクトルを用いて、前記現在の予測ユニットの動きベクトル予測値を獲得する、請求項６に記載のビデオ信号処理方法。
前記現在の予測ユニットの動きベクトル予測値を獲得するステップにおいて、前記隣接ブロックが参照ビュー時間インター予測ブロックであり、前記対応ブロックに対応する参照ピクチャの出力順序情報と、前記現在の予測ユニットに対応する参照ピクチャの出力順序情報とが同一である場合、前記対応ブロックの参照ピクチャに対応する動きベクトルを用いて、前記現在の予測ユニットの動きベクトル予測値を獲得する、請求項６に記載のビデオ信号処理方法。
現在のコーディングユニットに対応する隣接ブロックのインタービュー動きベクトルを用いて、現在の並列処理ユニット内の前記現在のコーディングユニットのインタービュー動きベクトルを獲得し、前記現在のコーディングユニットのインタービュー動きベクトルを用いて少なくとも１つの現在の予測ユニットの動きベクトルを並列的に獲得するインター予測部を含み、前記現在の並列処理ユニットの大きさは並列処理情報を用いて決定され、前記現在のコーディングユニットに対応する隣接ブロックは、前記現在の並列処理ユニットに隣接する並列処理ユニットに含まれ、前記現在のコーディングユニットは、前記少なくとも１つの現在の予測ユニットを含む、ビデオデコーダ。
前記現在の並列処理ユニットに隣接する並列処理ユニットは、前記現在の並列処理ユニットの左側下段並列処理ユニット、左側並列処理ユニット、左側上段並列処理ユニット、上段並列処理ユニット及び右側上段並列処理ユニットのうちの少なくとも１つである、請求項１０に記載のビデオデコーダ。
前記現在のコーディングユニットが２Ｎ×２Ｎであり、前記現在の予測ユニットがＮ×Ｎで並列処理される場合、前記現在の予測ユニットは、第１予測ユニット、第２予測ユニット、第３予測ユニット及び第４予測ユニットを含み、
前記インター予測部は、前記第１予測ユニットの動きベクトル予測値を、前記第１予測ユニットの左側上段ブロック、前記第１予測ユニットの上段ブロック、前記第１予測ユニットの右側上段ブロック、前記第１予測ユニットの左側ブロック、前記第１予測ユニットの左側下段ブロックの動き情報を用いて獲得し、前記第２予測ユニットの動きベクトル予測値を、前記第２予測ユニットの左側上段ブロック、前記第２予測ユニットの上段ブロック及び前記第２予測ユニットの右側上段ブロックの動き情報を用いて獲得し、前記第３予測ユニットの動きベクトル予測値を、前記第３予測ユニットの左側上段ブロック、前記第３予測ユニットの左側ブロック及び前記第３予測ユニットの左側下段ブロックの動き情報を用いて獲得し、前記第４予測ユニットの動きベクトル予測値を、前記第４予測ユニットの右側上段ブロック及び前記第４予測ユニットの左側下段ブロックの動き情報を用いて獲得する、請求項１０に記載のビデオデコーダ。
前記インター予測部は、前記第５予測ユニットの動きベクトル予測値を、前記第５予測ユニットの左側上段ブロック、前記第５予測ユニットの上段ブロック、前記第５予測ユニットの右側上段ブロック、前記第５予測ユニットの左側ブロック及び前記第５予測ユニットの左側下段ブロックの動き情報を用いて獲得し、前記第６予測ユニットの動きベクトル予測値を、前記第６予測ユニットの左側上段ブロック、前記第６予測ユニットの上段ブロック、前記第６予測ユニットの右側上段ブロック、前記第６予測ユニットの左側下段ブロックの動き情報を用いて獲得し、前記現在のコーディングユニットが２Ｎ×２Ｎであり、前記現在の予測ユニットがＮ×２Ｎで並列処理される場合、前記現在の予測ユニットは第５予測ユニット及び第６予測ユニットを含む、請求項１０に記載のビデオデコーダ。
前記現在のコーディングユニットが２Ｎ×２Ｎであり、前記現在の予測ユニットが２Ｎ×Ｎで並列処理される場合、前記現在の予測ユニットは、第７予測ユニット及び第８予測ユニットを含み、
前記インター予測部は、前記第７予測ユニットの動きベクトル予測値を、前記第７予測ユニットの左側上段ブロック、前記第７予測ユニットの上段ブロック、前記第７予測ユニットの右側上段ブロック、前記第７予測ユニットの左側ブロック及び前記第７予測ユニットの左側下段ブロックの動き情報を用いて獲得し、前記第８予測ユニットの動きベクトル予測値を、前記第８予測ユニットの左側上段ブロック、前記第８予測ユニットの右側上段ブロック、前記第８予測ユニットの左側ブロック、前記第８予測ユニットの左側下段ブロックの動き情報を用いて獲得する、請求項１０に記載のビデオデコーダ。
前記インター予測部は、前記現在の予測ユニットの動きベクトルを並列的に獲得し、前記現在の予測ユニットに対応する参照ピクチャの出力順序情報を獲得し、前記インタービュー動きベクトルを用いて対応ブロックに対応する参照ピクチャの出力順序情報を獲得し、前記対応ブロックに対応する参照ピクチャの出力順序情報と、前記現在の予測ユニットに対応する参照ピクチャの出力順序情報とを比較し、前記比較するステップに基づいて前記現在の予測ユニットの動きベクトル予測値を獲得し、
前記現在の予測ユニットに対応する参照ピクチャは、前記現在の予測ユニットと同一視点、異なる時間にあり、前記対応ブロックは、前記現在の予測ユニットと異なる視点、同一時間にあり、前記対応ブロックに対応する参照ピクチャは、前記対応ブロックと同一視点、異なる時間にある、請求項１０に記載のビデオデコーダ。
前記インター予測部は、前記隣接ブロックがインタービュー予測ブロックであり、前記対応ブロックに対応する参照ピクチャの出力順序情報と、前記現在の予測ユニットに対応する参照ピクチャの出力順序情報とが同一である場合、前記対応ブロックの参照ピクチャに対応する動き情報を用いて、前記現在の予測ユニットの動きベクトル予測値を獲得する、請求項１５に記載のビデオデコーダ。
前記インター予測部は、前記隣接ブロックがインタービュー予測ブロックであり、前記対応ブロックに対応する参照ピクチャの出力順序情報と、前記現在の予測ユニットに対応する参照ピクチャの出力順序情報とが異なる場合、前記対応ブロックに対応する参照ピクチャの出力順序情報、前記現在の予測ユニットに対応する参照ピクチャの出力順序情報及び前記対応ブロックの参照ピクチャに対応する動きベクトルを用いて、前記現在の予測ユニットの動きベクトル予測値を獲得する、請求項１５に記載のビデオデコーダ。
前記インター予測部は、前記隣接ブロックが参照ビュー時間インター予測ブロックであり、前記対応ブロックに対応する参照ピクチャの出力順序情報と、前記現在の予測ユニットに対応する参照ピクチャの出力順序情報とが同一である場合、前記対応ブロックの参照ピクチャに対応する動きベクトルを用いて、前記現在の予測ユニットの動きベクトル予測値を獲得する、請求項１５に記載のビデオデコーダ。