JP2015534416A

JP2015534416A - ビデオ信号処理方法及び装置

Info

Publication number: JP2015534416A
Application number: JP2015541685A
Authority: JP
Inventors: チェウォンスン; セフンヨ; ムンモク; チンホ; テスプキム; チウクチョン; ウンヨンソン
Original assignee: LG Electronics Inc
Current assignee: LG Electronics Inc
Priority date: 2012-11-07
Filing date: 2013-11-07
Publication date: 2015-11-26
Also published as: CN104871541A; EP2919464A4; KR101753592B1; KR20150087257A; EP2919464A1; WO2014073873A1; US20150304676A1

Abstract

【課題】ビデオ信号のコーディング効率を高めるビデオ信号処理方法を提供する。【解決手段】本発明に係るビデオ信号処理方法は、現在ブロックのインタービュー動きベクトルを隣接ブロックのインタービュー動きベクトルを用いて決定することができる。そのために、現在ブロックの隣接ブロックを探索し、インタービュー動きベクトル候補リストを生成し得る。本発明は、様々なインタービュー動きベクトル候補の中からより正確なインタービュー動きベクトル予測を可能にし、これによって、伝送されるレジデュアルデータの量を減らすことによって、コーディング効率を向上させることができる。【選択図】図４

Description

本発明は、ビデオ信号のコーディング方法及び装置に関する。

圧縮符号化とは、デジタル化した情報を通信回線を介して伝送したり、格納媒体に適した形態で格納したりする一連の信号処理技術を意味する。圧縮符号化の対象としては、音声、映像、文字などが存在し、特に、映像を対象として圧縮符号化を行う技術をビデオ映像圧縮と称する。多視点ビデオ映像の一般的な特徴は、空間的冗長性、時間的冗長性及び視点間冗長性を有している点にある。

本発明の目的は、ビデオ信号のコーディング効率を高めることにある。

本発明は、隣接ブロックのインタービュー動きベクトルのうちの少なくとも１つを、既に決定された優先順位に従って探索して、現在ブロックのインタービュー動きベクトルを誘導することを特徴とする。

また、本発明は、隣接ブロックのインタービュー動きベクトルのうちの少なくとも１つを含んだインタービュー動きベクトル候補リストを生成して、現在ブロックのインタービュー動きベクトルを誘導することを特徴とする。

また、本発明は、インタービュー動きベクトル候補に対応するインデックス情報を用いて、現在ブロックのインタービュー動きベクトルを誘導することを特徴とする。

本発明は、インタービュー動きベクトルを用いた視点間インター予測を行うことによって、視点間の相関関係を活用してビデオデータ予測の正確性を高めることができる。

また、隣接ブロックのインタービュー動きベクトルを用いて、正確なインタービュー動きベクトルを誘導することによって視点間インター予測の正確性を高めることができ、伝送されるレジデュアルデータの量を減らすことによってコーディング効率を向上させることができる。

本発明が適用される一実施例であって、デプスコーディングが適用される放送受信機の内部ブロック図である。本発明が適用される一実施例であって、ビデオデコーダの概略的なブロック図である。本発明が適用される一実施例であって、現在ブロックの隣接ブロックに対する一例を示す図である。本発明が適用される一実施例であって、隣接ブロックのコーディングに用いられたインタービュー動きベクトルから、現在ブロックのインタービュー動きベクトルを獲得する第１実施例に対するフローチャートである。本発明が適用される一実施例であって、インタービュー動きベクトルを用いてコーディングされた空間的隣接ブロックの一例を示す図である。本発明が適用される一実施例であって、インタービュー動きベクトルを用いてコーディングされた時間的隣接ブロックの一例を示す図である。本発明が適用される一実施例であって、デコーダにおいて、隣接ブロックのコーディングに用いられたインタービュー動きベクトルから、現在ブロックのインタービュー動きベクトルを獲得する第２実施例に対するフローチャートである。本発明が適用される一実施例であって、エンコーダでインデックス情報を生成してデコーダに伝送するフローチャートの一例を示す図である。本発明が適用される一実施例であって、インタービュー動きベクトル候補リストの一例を示す図である。

本発明は、現在ブロックの左側隣接ブロック及び左側下段隣接ブロックのいずれか１つから第１インタービュー動きベクトルを獲得し、現在ブロックの上段隣接ブロック、右側上段隣接ブロック及び左側上段隣接ブロックのいずれか１つから第２インタービュー動きベクトルを獲得し、インタービュー動きベクトルフラグ情報を獲得し、インタービュー動きベクトルフラグ情報に基づいて、第１インタービュー動きベクトル及び第２インタービュー動きベクトルのいずれか１つを現在ブロックのインタービュー動きベクトルとして決定するビデオ信号処理方法及び装置である。

また、左側隣接ブロックがインタービュー動きベクトルを用いてコーディングされたブロックであるか否かを判断し、左側隣接ブロックがインタービュー動きベクトルを用いてコーディングされたブロックではない場合、左側下段隣接ブロックがインタービュー動きベクトルを用いてコーディングされたブロックであるか否かを判断するビデオ信号処理方法及び装置である。

また、上段隣接ブロックがインタービュー動きベクトルを用いてコーディングされたブロックであるか否かを判断し、上段隣接ブロックがインタービュー動きベクトルを用いてコーディングされたブロックではない場合、右側上段隣接ブロックがインタービュー動きベクトルを用いてコーディングされたブロックであるか否かを判断し、右側上段隣接ブロックがインタービュー動きベクトルを用いてコーディングされたブロックではない場合、左側上段隣接ブロックがインタービュー動きベクトルを用いてコーディングされたブロックであるか否かを判断することを特徴とするビデオ信号処理方法及び装置である。

また、現在ブロックの時間的隣接ブロックのうちの少なくとも１つがインタービュー動きベクトルを用いてコーディングされたブロックである場合、時間的隣接ブロックから第３インタービュー動きベクトルを獲得し、第１インタービュー動きベクトル、第２インタービュー動きベクトル及び第３インタービュー動きベクトルのいずれか１つを用いて現在ブロックのインタービュー動きベクトルを獲得するビデオ信号処理方法及び装置である。

また、時間的隣接ブロックは、同一位置のブロック、及び同一位置のブロックに隣接する隣接ブロックを含んだコーディングブロックのうちの少なくとも１つを含む。

また、現在ブロックの空間的隣接ブロックのうち、インタービュー動きベクトルを用いてコーディングされたブロックを探索し、探索された空間的隣接ブロックのインタービュー動きベクトルを用いてインタービュー動きベクトル候補リストを生成し、現在ブロックのインタービュー動きベクトルを獲得するためのインデックス情報を獲得し、インタービュー動きベクトル候補リスト及びインデックス情報を用いて現在ブロックのインタービュー動きベクトルを獲得するビデオ信号処理方法及び装置である。

また、空間的隣接ブロックは、左側隣接ブロック、上段隣接ブロック、右側上段隣接ブロック、左側下段隣接ブロック及び左側上段隣接ブロックを含み、左側隣接ブロック、上段隣接ブロック、右側上段隣接ブロック、左側下段隣接ブロック、左側上段隣接ブロックの順に、インタービュー動きベクトルを用いてコーディングされたブロックを探索するビデオ信号処理方法及び装置である。

また、現在ブロックの時間的隣接ブロックのうち、インタービュー動きベクトルを用いてコーディングされたブロックを探索し、探索された時間的隣接ブロックのインタービュー動きベクトルをインタービュー動きベクトル候補リストに格納するビデオ信号処理方法及び装置である。

また、時間的隣接ブロックは、同一位置のブロック、及び同一位置のブロックに隣接する隣接ブロックを含んだコーディングブロックのうちの少なくとも１つを含むビデオ信号処理方法及び装置である。

多視点ビデオ信号データを圧縮符号化または復号化する技術は、空間的冗長性、時間的冗長性及び視点間に存在する冗長性を考慮している。また、多視点映像の場合、３次元映像を具現するために２つ以上の視点で撮影された多視点テクスチャ映像をコーディングすることができる。また、必要に応じて、多視点テクスチャ映像に対応するデプスデータをさらにコーディングすることもできる。デプスデータをコーディングする際に、空間的冗長性、時間的冗長性または視点間冗長性を考慮して圧縮コーディングできることは勿論である。デプスデータは、カメラと当該画素との間の距離情報を表現したものであり、本明細書内におけるデプスデータは、デプス情報、デプス映像、デプスピクチャ、デプスシーケンス、デプスビットストリームなどのように、デプスに関連する情報として柔軟に解釈することができる。また、本明細書におけるコーディングというのは、エンコーディングとデコーディングの概念を全て含むことができ、本発明の技術的思想及び技術的範囲によって柔軟に解釈することができる。

図１は、本発明が適用される実施例であって、デプスコーディングが適用される放送受信機の内部ブロック図を示す。

本実施例に係る放送受信機は、地上波放送信号を受信して映像を再生するためのものである。放送受信機は、受信されたデプス関連情報を用いて３次元コンテンツを生成することができる。放送受信機は、チューナー１００、復調／チャネルデコーダ１０２、トランスポート逆多重化部１０４、パケット解除部１０６、オーディオデコーダ１０８、ビデオデコーダ１１０，ＰＳＩ／ＰＳＩＰ処理部１１４、３Ｄレンダリング部１１６、フォーマッタ１２０及びディスプレイ部１２２を含む。

チューナー１００は、アンテナ（図示せず）を介して入力される多数の放送信号のうち、ユーザが選局したいずれか１つのチャネルの放送信号を選択して出力する。復調／チャネルデコーダ１０２は、チューナー１００からの放送信号を復調し、復調された信号に対してエラー訂正デコーディングを行ってトランスポートストリーム（ＴＳ）を出力する。トランスポート逆多重化部１０４は、トランスポートストリームを逆多重化して、ビデオＰＥＳとオーディオＰＥＳを分離し、ＰＳＩ／ＰＳＩＰ情報を抽出する。パケット解除部１０６は、ビデオＰＥＳとオーディオＰＥＳに対してパケットを解除して、ビデオＥＳとオーディオＥＳを復元する。オーディオデコーダ１０８は、オーディオＥＳをデコーディングしてオーディオビットストリームを出力する。オーディオビットストリームは、デジタル−アナログ変換器（図示せず）によってアナログ音声信号に変換され、増幅器（図示せず）によって増幅された後、スピーカー（図示せず）を介して出力される。ビデオデコーダ１１０は、ビデオＥＳをデコーディングして元の映像を復元する。オーディオデコーダ１０８及びビデオデコーダ１１０のデコーディング過程は、ＰＳＩ／ＰＳＩＰ処理部１１４によって確認されるパケットＩＤ（ＰＩＤ）をベースとして行われてもよい。デコーディング過程において、ビデオデコーダ１１０はデプス情報を抽出することができる。また、仮想カメラ視点の映像を生成するために必要な付加情報、例えば、カメラ情報、または相対的に前にある客体によって遮られる領域（Ｏｃｃｌｕｓｉｏｎ）を推定するための情報（例えば、客体の輪郭などの幾何学的情報、客体透明度情報及びカラー情報）などを抽出して３Ｄレンダリング部１１６に提供することができる。しかし、本発明の他の実施例においては、デプス情報及び／又は付加情報がトランスポート逆多重化部１０４によって分離されてもよい。

ＰＳＩ／ＰＳＩＰ処理部１１４は、トランスポート逆多重化部１０４からのＰＳＩ／ＰＳＩＰ情報を受信し、これをパージングしてメモリ（図示せず）またはレジスターに格納することによって、格納された情報をベースとして放送が再生されるようにする。３Ｄレンダリング部１１６は、復元された映像、デプス情報、付加情報及びカメラパラメータを用いて、仮想カメラ位置でのカラー情報、デプス情報などを生成することができる。

また、３Ｄレンダリング部１１６は、復元された映像、及び復元された映像に対するデプス情報を用いて３Ｄワーピング（Ｗａｒｐｉｎｇ）を行うことによって、仮想カメラ位置での仮想映像を生成する。本実施例では、３Ｄレンダリング部１１６がビデオデコーダ１１０と別個のブロックとして構成されて説明されているが、これは一実施例に過ぎず、３Ｄレンダリング部１１６は、ビデオデコーダ１１０に含まれて行われてもよい。

フォーマッタ１２０は、デコーディング過程で復元した映像、すなわち、実際のカメラによって撮影された映像、及び３Ｄレンダリング部１１６によって生成された仮想映像を当該受信機でのディスプレイ方式に合わせてフォーマッティングして、ディスプレイ部１２２を介して３Ｄ映像が表示されるようにする。ここで、３Ｄレンダリング部１１６による仮想カメラ位置でのデプス情報及び仮想映像の合成、そして、フォーマッタ１２０による映像フォーマッティングが、ユーザの命令に応答して選択的に行われてもよい。すなわち、視聴者は、リモコン（図示せず）を操作して合成映像が表示されないようにしてもよく、映像合成が行われる時点を指定することもできる。

上記で説明したように、３Ｄ映像を生成するためにデプス情報は３Ｄレンダリング部１１６で利用されているが、他の実施例として、ビデオデコーダ１１０で利用されてもよい。以下では、ビデオデコーダ１１０でデプス情報を利用する様々な実施例を説明する。

図２は、本発明が適用される実施例であって、ビデオデコーダの概略的なブロック図を示す。

図２を参照すると、ビデオデコーダ１１０は、大きくエントロピーデコーディング部２１０、逆量子化部２２０、逆変換部２３０、デブロッキングフィルター部２４０、復号ピクチャバッファ部２５０、インター予測部２６０及びイントラ予測部２７０を含むことができる。ここで、実線はカラーピクチャデータの流れを意味し、点線はデプスピクチャデータの流れを意味する。このように、図２では、カラーピクチャデータとデプスピクチャデータを区分して表示したが、これは、別個のビットストリームを意味することができ、または１つのビットストリーム内でデータの流れのみを区分したものと見ることもできる。すなわち、カラーピクチャデータとデプスピクチャデータは、１つのビットストリーム、または別個のビットストリームとして伝送されてもよく、図２では、データの流れを示しているだけで、１つのデコーダ内で全て行われるものに限定されない。

まず、受信されたデプスビットストリーム２００を復号するために、ＮＡＬ単位でパージングを行う。このとき、ＮＡＬヘッダー領域、ＮＡＬヘッダーの拡張領域、シーケンスヘッダー領域（例えば、シーケンスパラメータセット）、シーケンスヘッダーの拡張領域、ピクチャヘッダー領域（例えば、ピクチャパラメータセット）、ピクチャヘッダーの拡張領域、スライスヘッダー領域、スライスヘッダーの拡張領域、スライスデータ領域、またはマクロブロック領域には、デプスに関連する種々の属性情報が含まれてもよい。デプスコーディングは、別個のコーデックが利用されてもよいが、既存のコーデックとの互換をなす場合であれば、デプスビットストリームである場合に限って、デプスに関連する種々の属性情報を追加することがより効率的であり得る。例えば、シーケンスヘッダー領域（例えば、シーケンスパラメータセット）またはシーケンスヘッダーの拡張領域でデプスビットストリームであるか否かを識別できるデプス識別情報を追加することができる。デプス識別情報に応じて、入力されたビットストリームがデプスコーディングされたビットストリームである場合に限って、デプスシーケンスに対する属性情報を追加することができる。

パージングされたデプスビットストリーム２００は、エントロピーデコーディング部２１０を介してエントロピーデコーディングされ、各マクロブロックの係数、動きベクトルなどが抽出される。逆量子化部２２０では、受信された量子化された値に一定の定数を乗じることで変換された係数値を獲得し、逆変換部２３０では、係数値を逆変換してデプスピクチャのデプス情報を復元する。イントラ予測部２７０では、現在デプスピクチャの復元されたデプス情報を用いて画面内予測を行う。一方、デブロッキングフィルター部２４０では、ブロック歪み現象を減少させるために、それぞれのコーディングされたマクロブロックにデブロッキングフィルタリングを適用する。フィルターは、ブロックの縁部を滑らかにすることで、デコーディングされたフレームの画質を向上させる。フィルタリング過程の選択は、境界の強さ（ｂｏｕｎｄａｒｙｓｔｒｅｎｔｈ）及び境界の周囲のイメージサンプルの変化（ｇｒａｄｉｅｎｔ）によって左右される。フィルタリングを経たデプスピクチャは、出力されるか、または参照ピクチャとして利用するために復号ピクチャバッファ部２５０に格納される。

復号ピクチャバッファ部（ＤｅｃｏｄｅｄＰｉｃｔｕｒｅＢｕｆｆｅｒｕｎｉｔ）２５０では、画面間予測を行うために以前にコーディングされたデプスピクチャを格納したり、開放したりする役割などを行う。このとき、復号ピクチャバッファ部２５０に格納したり開放したりするために、各ピクチャのｆｒａｍｅ_ｎｕｍとＰＯＣ（ＰｉｃｔｕｒｅＯｒｄｅｒＣｏｕｎｔ）を用いることになる。したがって、デプスコーディングにおいて、以前にコーディングされたピクチャのうちには現在デプスピクチャと異なる視点にあるデプスピクチャもあるので、このようなピクチャを参照ピクチャとして活用するためには、ｆｒａｍｅ_ｎｕｍとＰＯＣだけでなく、デプスピクチャの視点を識別するデプス視点情報も共に用いることができる。

また、復号ピクチャバッファ部２５０は、デプスピクチャの視点間予測のための参照ピクチャリストを生成するために、デプス視点に対する情報を用いることができる。例えば、デプス−ビュー参照情報（ｄｅｐｔｈ−ｖｉｅｗｒｅｆｅｒｅｎｃｅｉｎｆｏｒｍａｔｉｏｎ）を用いることができる。デプス−ビュー参照情報とは、デプスピクチャの視点間依存関係を示すために用いられる情報のことをいう。例えば、全体デプス視点の数、デプス視点識別番号、デプス−ビュー参照ピクチャの数、デプス−ビュー参照ピクチャのデプス視点識別番号などがあり得る。

復号ピクチャバッファ部２５０は、より柔軟に画面間予測を実現するために参照ピクチャを管理する。例えば、適応メモリ管理方法（ＭｅｍｏｒｙＭａｎａｇｅｍｅｎｔＣｏｎｔｒｏｌＯｐｅｒａｔｉｏｎＭｅｔｈｏｄ）及び移動ウィンドウ方法（ＳｌｉｄｉｎｇＷｉｎｄｏｗＭｅｔｈｏｄ）を用いることができる。これは、参照ピクチャと非参照ピクチャのメモリを１つのメモリに統一して管理し、少ないメモリで効率的に管理するためである。デプスコーディングにおいて、デプスピクチャは、復号ピクチャバッファ部内でカラーピクチャなどと区別するために別途の表示でマーキングされてもよく、マーキング過程で各デプスピクチャを識別させるための情報が用いられてもよい。このような過程を通じて管理される参照ピクチャは、インター予測部２６０においてデプスコーディングのために用いられてもよい。

図２を参照すると、インター予測部２６０は、動き補償部２６１、仮想視点合成部２６２及びデプスピクチャ生成部２６３を含むことができる。

動き補償部２６１では、エントロピーデコーディング部２１０から伝送された情報を用いて現在ブロックの動きを補償する。ビデオ信号から現在ブロックに隣接するブロックの動きベクトルを抽出し、現在ブロックの動きベクトル予測値を獲得する。動きベクトル予測値及びビデオ信号から抽出される差分ベクトルを用いて、現在ブロックの動きを補償する。また、このような動き補償は、１つの参照ピクチャを用いて行われてもよく、または複数のピクチャを用いて行われてもよい。デプスコーディングにおいて、現在デプスピクチャが異なる視点にあるデプスピクチャを参照することになる場合、復号ピクチャバッファ部２５０に格納されているデプスピクチャの視点間予測のための参照ピクチャリストに対する情報を用いて、動き補償を行うことができる。また、そのデプスピクチャの視点を識別するデプス視点情報を用いて、動き補償を行ってもよい。

また、仮想視点合成部（ＶｉｒｔｕａｌＶｉｅｗＳｙｎｔｈｅｓｉｚｉｎｇＵｎｉｔ）２６２は、現在カラーピクチャの視点に隣接する視点のカラーピクチャを用いて仮想視点のカラーピクチャを合成する。互いに隣接する視点のカラーピクチャを用いるために又は所望の特定の視点のカラーピクチャを用いるために、カラーピクチャの視点を示す視点識別情報を用いることができる。仮想視点のカラーピクチャを生成する場合、仮想視点のカラーピクチャを生成するか否かを指示するフラグ情報を定義することができる。フラグ情報が、仮想視点のカラーピクチャを生成することを指示する場合、視点識別情報を用いて仮想視点のカラーピクチャを生成することができる。仮想視点合成部２６２を介して獲得された仮想視点のカラーピクチャはレファレンスピクチャとして用いられてもよく、この場合、仮想視点のカラーピクチャにも視点識別情報を割り当てることができることは勿論である。

他の実施例として、仮想視点合成部２６２は、現在デプスピクチャの視点に隣接する視点にあるデプスピクチャを用いて、仮想視点のデプスピクチャを合成することができる。同様に、デプスピクチャの視点を示すためにデプス視点識別情報を用いることができる。ここで、デプス視点識別情報は、対応するカラーピクチャの視点識別情報から誘導されてもよい。例えば、対応するカラーピクチャは、現在デプスピクチャと同一のピクチャ出力順序情報及び同一の視点識別情報を有することができる。

デプスピクチャ生成部２６３は、デプスコーディング情報を用いて現在デプスピクチャを生成することができる。ここで、デプスコーディング情報は、カメラと客体との間の距離を示す距離変数（例えば、カメラ座標系上のＺ座標値など）、デプスコーディングのためのマクロブロックタイプ情報、デプスピクチャ内の境界線識別情報、ＲＢＳＰ内のデータがデプスコーディングされたデータを含んでいるか否かを示す情報、またはデータタイプがデプスピクチャデータであるか、カラーピクチャデータであるか、またはパララックスデータであるかを示す情報などを含むことができる。また、デプスコーディング情報を用いて現在デプスピクチャを予測することもできる。すなわち、現在デプスピクチャに隣接するデプスピクチャを用いたインター予測が可能であり、現在デプスピクチャ内のデコーディングされたデプス情報を用いたイントラ予測が可能である。

以下では、図３を参照して、本発明で示す現在ブロックの隣接ブロックについて説明する。

図３は、本発明が適用される一実施例であって、現在ブロックの隣接ブロックに対する一例を示すものである。

隣接ブロックは、現在ブロック３００に隣接するブロックであって、空間的隣接ブロックと時間的隣接ブロックとに区分することができる。

空間的隣接ブロックは、現在ブロック３００の周囲に位置した、現在ピクチャ内のブロックであって、図３に示すように、左側下段隣接ブロック３１０、左側隣接ブロック３２０、右側上段隣接ブロック３３０、上段隣接ブロック３４０、左側上段隣接ブロック３５０を含むことができる。

時間的隣接ブロックは、同一位置のブロック３６０内に含まれるか、または同一位置のブロック３６０の周囲に位置したブロックであって、同一位置の中心ブロック３７０と、同一位置のブロックに対する右側下段隣接ブロック３８０とを含むことができる。ここで、同一位置のブロック３６０は、現在ブロック３００の中心ピクセルの位置（Ｘｃ，Ｙｃ）に対応する参照ピクチャのピクセル位置（Ｘｒ，Ｙｒ）を含むブロックとして定義することができる。または、現在ブロック３００の左側上段ピクセルの位置に対応する参照ピクチャ内での位置を含むブロックとして定義してもよい。そして、参照ピクチャは、現在ブロック３００を含む現在ピクチャと同一視点及び異なる時間帯に位置したピクチャを意味することができる。同一位置の中心ブロック３７０は、同一位置のブロック３６０の中心ピクセルを含むブロックである。そして、同一位置のブロックに対する右側下段隣接ブロック３８０は、同一位置のブロック３６０の右側下段ピクセルを含むブロックである。

本発明では、上述した隣接ブロックのコーディングに用いられたインタービュー動きベクトルを用いて現在ブロックのインタービュー動きベクトルを獲得する方法について提案する。以下では、現在ブロックのインタービュー動きベクトルを獲得する第１実施例について説明する。

図４は、本発明が適用される一実施例であって、隣接ブロックのコーディングに用いられたインタービュー動きベクトルから現在ブロックのインタービュー動きベクトルを獲得する第１実施例に対するフローチャートを示すものである。

図４を参照すると、現在ブロックの左側隣接ブロック、左側下段隣接ブロックがインタービュー動きベクトルを用いてコーディングされたブロックである場合、左側隣接ブロック、左側下段隣接ブロックのうちの１つから第１インタービュー動きベクトルを獲得することができる（Ｓ４００）。既に決定された順序に従って、左側隣接ブロック、左側下段隣接ブロックがインタービュー動きベクトルを用いてコーディングされたブロックであるか否かを探索し、インタービュー動きベクトルを用いてコーディングされたブロックから第１インタービュー動きベクトルを獲得することができる。ここで、インタービュー動きベクトルを用いてコーディングされたブロックは、インタービュー予測ブロック及び参照ビュー時間的予測ブロックを意味することができる。インタービュー予測ブロックは、インタービュー動きベクトルを用いて獲得された、異なる視点の参照ブロックを用いてコーディングされたブロックを示す。そして、参照ビュー時間的予測ブロックは、インタービュー動きベクトルを用いて獲得された時間的動きベクトルを用いてコーディングされたブロックを示す。インタービュー予測ブロック及び参照ビュー時間的予測ブロックについての例は、図５及び図６を参照して詳細に説明する。

例えば、左側隣接ブロックがインタービュー動きベクトルを用いてコーディングされたブロックである場合、左側隣接ブロックのコーディングに用いられたインタービュー動きベクトルを第１インタービュー動きベクトルとして格納することができる。もし、左側隣接ブロックがインタービュー動きベクトルを用いてコーディングされたブロックではない場合、左側下段隣接ブロックがインタービュー動きベクトルを用いてコーディングされたブロックであるか否かを探索することができる。そして、左側下段隣接ブロックがインタービュー動きベクトルを用いてコーディングされたブロックである場合、左側下段隣接ブロックのコーディングに用いられたインタービュー動きベクトルを第１インタービュー動きベクトルとして格納することができる。

現在ブロックの上段隣接ブロック、右側上段隣接ブロック、左側上段隣接ブロックがインタービュー動きベクトルを用いてコーディングされたブロックである場合、上段隣接ブロック、右側上段隣接ブロック、左側上段隣接ブロックのうちの１つから第２インタービュー動きベクトルを獲得することができる（Ｓ４１０）。既に決定された順序に従って、上段隣接ブロック、右側上段隣接ブロック、左側上段隣接ブロックがインタービュー動きベクトルを用いてコーディングされたブロックであるか否かを探索し、インタービュー動きベクトルを用いてコーディングされたブロックから第２インタービュー動きベクトルを獲得することができる。例えば、上段隣接ブロックがインタービュー動きベクトルを用いてコーディングされたブロックである場合、上段隣接ブロックのコーディングに用いられたインタービュー動きベクトルを第２インタービュー動きベクトルとして格納することができる。もし、上段隣接ブロックがインタービュー動きベクトルを用いてコーディングされたブロックではない場合、右側上段隣接ブロックがインタービュー動きベクトルを用いてコーディングされたブロックであるか否かを探索することができる。そして、右側上段隣接ブロックがインタービュー動きベクトルを用いてコーディングされたブロックである場合、右側上段隣接ブロックのコーディングに用いられたインタービュー動きベクトルを第２インタービュー動きベクトルとして格納することができる。もし、右側上段隣接ブロックがインタービュー動きベクトルを用いてコーディングされたブロックではない場合、左側上段隣接ブロックがインタービュー動きベクトルを用いてコーディングされたブロックであるか否かを探索することができる。そして、左側上段隣接ブロックがインタービュー動きベクトルを用いてコーディングされたブロックである場合、左側上段隣接ブロックのコーディングに用いられたインタービュー動きベクトルを第２インタービュー動きベクトルとして格納することができる。

インタービュー動きベクトルフラグ情報を獲得することができる（Ｓ４２０）。インタービュー動きベクトルフラグ情報は、第１インタービュー動きベクトル及び第２インタービュー動きベクトルの中で現在ブロックの最適のインタービュー動きベクトルを決定するための情報を含むことができる。

インタービュー動きベクトルフラグ情報を用いて、第１インタービュー動きベクトル及び第２インタービュー動きベクトルの中で現在ブロックの最適のインタービュー動きベクトルを決定することができる（Ｓ４３０）。

そして、決定された現在ブロックのインタービュー動きベクトルを用いて、現在ブロックをデコーディングすることができる。

以下では、図５及び図６を参照して、インタービュー動きベクトルを用いてコーディングされた隣接ブロックの例を説明する。

図５は、本発明が適用される一実施例であって、インタービュー動きベクトルを用いてコーディングされた空間的隣接ブロックの一例を示すものである。

図５を参照すると、現在ブロックの左側隣接ブロック５００は、インタービュー予測ブロックであって、インタービュー予測（または、視点間インター予測）を通じてコーディングされたブロックである。ここで、インタービュー予測とは、現在ブロックの予測値を獲得するために、現在ブロックと異なる視点に位置した、参照ピクチャ内の参照ブロックのピクセル値を用いるインター予測である。そして、左側隣接ブロックの参照ブロック５１０は、左側隣接ブロックのインタービュー動きベクトル５２０を用いて特定することができる。左側隣接ブロックのインタービュー動きベクトル５２０は、左側隣接ブロック５００の左側上段ピクセルにおいて、左側隣接ブロックに対する参照ブロック５１０の左側上段ピクセルを指すベクトルである。

また、現在ブロックの上段隣接ブロック５３０は、参照ビュー時間的インター予測ブロックであって、参照ビュー時間的インター予測を通じてコーディングされたブロックである。ここで、参照ビュー時間的インター予測とは、時間的インター予測であって、インタービュー動きベクトルを用いて獲得された時間的動きベクトルを用いたインター予測である。上段隣接ブロックの対応ブロック５４０は、現在ブロックと異なる視点に位置し、時間的インター予測を用いてコーディングされたブロックである。上段隣接ブロック５３０は、対応ブロックの時間的動きベクトル５５０を用いて上段隣接ブロックの参照ブロック５６０を獲得することができる。上段隣接ブロック５３０の左側上段ピクセルにおいて、対応ブロック５４０の左側上段ピクセルを指すベクトルが、上段隣接ブロックのインタービュー動きベクトル５７０である。

図６は、本発明が適用される一実施例であって、インタービュー動きベクトルを用いてコーディングされた時間的隣接ブロックの一例を示すものである。

図６を参照すると、参照ピクチャ内の、現在ブロックと同一位置のブロックに対する右側下段隣接ブロック（ｃｏｌ−ＲＢ）６００は、インタービュー予測ブロックであって、インタービュー予測を通じてコーディングされたブロックである。右側下段隣接ブロックの参照ブロック６１０は、右側下段隣接ブロックのインタービュー動きベクトル６２０を用いて特定することができる。右側下段隣接ブロックのインタービュー動きベクトル６２０は、右側下段隣接ブロック６００の左側上段ピクセルにおいて、右側下段隣接ブロックの参照ブロック６１０の左側上段ピクセルを指すベクトルである。

また、同一位置の中心ブロック（ｃｏｌ−ＣＴＲ）６３０は、参照ビュー時間的インター予測ブロックであって、参照ビュー時間的インター予測を通じてコーディングされたブロックである。同一位置の中心ブロックの対応ブロック６４０は、現在ブロックと異なる視点に位置し、時間的インター予測を用いてコーディングされたブロックである。同一位置の中心ブロック６３０は、対応ブロックの時間的動きベクトル６５０を用いて、同一位置の中心ブロックの参照ブロック６６０を獲得することができる。同一位置の中心ブロック６３０の左側上段ピクセルにおいて、対応ブロック６４０の左側上段ピクセルを指すベクトルが、同一位置の中心ブロックのインタービュー動きベクトル６７０である。

以下では、現在ブロックのインタービュー動きベクトルを獲得する第２実施例について、図７及び図８を参照して説明する。

図７は、本発明が適用される一実施例であって、デコーダにおいて、隣接ブロックのコーディングに用いられたインタービュー動きベクトルから現在ブロックのインタービュー動きベクトルを獲得する第２実施例に対するフローチャートである。

現在ブロックの隣接ブロックを順次探索し、探索された隣接ブロックからインタービュー動きベクトルを獲得する場合、獲得されたインタービュー動きベクトルを順次格納してインタービュー動きベクトル候補リストを生成することができる（Ｓ７００）。ここで、インタービュー動きベクトル候補リストは、隣接ブロックのコーディングに用いられたインタービュー動きベクトルを格納し得るリストである。インタービュー動きベクトル候補リストに格納されたインタービュー動きベクトルは、現在ブロックのインタービュー動きベクトルとなるための候補となり得る。インタービュー動きベクトル候補リストについての一例は、図９を参照して説明する。

本ステップでは、隣接ブロックを探索する優先順位は様々に構成することができる。例えば、時間的隣接ブロックを探索した後に空間的隣接ブロックを探索するか、または、空間的隣接ブロックを探索した後に時間的隣接ブロックを探索するか、または、空間的隣接ブロック又は時間的隣接ブロックのみを探索してもよい。

時間的隣接ブロック内では、同一位置の中心ブロックを探索した後に同一位置のブロックに対する右側下段隣接ブロックを探索するか、または、同一位置のブロックに対する右側下段隣接ブロックを探索した後に同一位置の中心ブロックを探索するか、または、同一位置の中心ブロック又は同一位置のブロックに対する右側下段隣接ブロックのうちの１つのみを探索してもよい。

空間的隣接ブロック内では、左側隣接ブロック、上段隣接ブロック、右側上段隣接ブロック、左側下段隣接ブロック、左側上段隣接ブロックの順に探索してもよい。または、空間的隣接ブロックの一部のみを探索してもよい。例えば、左側隣接ブロックと上段隣接ブロックのみを探索してもよい。

隣接ブロックを探索する優先順位の例は様々に構成することができ、前記で言及した例のみに限定されない。

現在ブロックのインタービュー動きベクトルの獲得のためのインデックス情報を獲得することができる（Ｓ７１０）。ここで、インデックス情報は、現在ブロックのインタービュー動きベクトルを獲得するために用いられるインタービュー動きベクトル候補リスト内のインタービュー動きベクトルを示す情報であってもよい。インデックス情報は、エンコーダから伝送されてビットストリームから獲得されてもよい。エンコーダでインデックス情報を生成してデコーダに伝送する一例は、図８で詳細に後述する。

また、デコーダは、動き補償部でインタービュー動きベクトル候補リスト内のインタービュー動きベクトル候補のうちの最適のインタービュー動きベクトルを獲得することもできる。

インタービュー動きベクトル候補リスト及びインデックス情報を用いて、現在ブロックのインタービュー動きベクトルを決定することができる（Ｓ７２０）。インタービュー動きベクトル候補リスト内のインデックス情報が示すインタービュー動きベクトルを、現在ブロックのインタービュー動きベクトルとして決定することができる。または、インデックス情報が示す、隣接ブロックのコーディングに用いられたインタービュー動きベクトルを、現在ブロックのインタービュー動きベクトルとして決定してもよい。

以下では、図８を参照して、エンコーダでインデックス情報を生成し、伝送するフローチャートについて説明する。

図８は、本発明が適用される一実施例であって、エンコーダでインデックス情報を生成してデコーダに伝送するフローチャートの一例を示すものである。

現在ブロックの隣接ブロックを順次探索し、隣接ブロックからインタービュー動きベクトルを獲得する場合、獲得されたインタービュー動きベクトルを順次格納してインタービュー動きベクトル候補リストを生成することができる（Ｓ８００）。ステップＳ７００と同様の方法でインタービュー動きベクトル候補リストを生成することができる。

インタービュー動きベクトル候補の中から現在ブロックのインタービュー動きベクトルを獲得するために用いられるインタービュー動きベクトルに対応するインデックス情報を生成することができる（Ｓ８１０）。エンコーダは、インタービュー動きベクトル候補リスト内のインタービュー動きベクトル候補のうち、現在ブロックのコーディングのための最適のインタービュー動きベクトルを決定することができる。例えば、インタービュー動きベクトル候補リスト内のそれぞれのインタービュー動きベクトル候補を用いて現在ブロックの予測値を獲得した後、原本映像のピクセル値と現在ブロックの予測値とを比較して、差が最も小さいときのインタービュー動きベクトル候補を現在ブロックのインタービュー動きベクトルとして決定することができる。

そして、エンコーダは、生成されたインデックス情報をビットストリームを介してデコーダに伝送することができる（Ｓ８２０）。

以下では、インタービュー動きベクトル候補リストの一例を、図９を参照して説明する。

図９は、本発明が適用される一実施例であって、インタービュー動きベクトル候補リストの一例を示すものである。

上述したように、インタービュー動きベクトル候補リストは、隣接ブロックのコーディングに用いられたインタービュー動きベクトルを格納できるリストである。インタービュー動きベクトル候補リストに格納されたインタービュー動きベクトルは、現在ブロックのインタービュー動きベクトルとなるための候補となり得る。インタービュー動きベクトルは、インタービュー動きベクトル候補リストに水平成分のみが格納されるか、または、水平成分、垂直成分が共に格納されてもよい。または、インタービュー動きベクトルが獲得される隣接ブロックに関する情報が、インタービュー動きベクトル候補リストに格納されてもよい。

例えば、現在ブロックの空間的隣接ブロックを探索し、左側隣接ブロック、上段隣接ブロック、左側上段隣接ブロックの順に、インタービュー動きベクトルを用いてコーディングされたブロックが探索された場合、図９に示すように、インタービュー動きベクトル候補リストにおいて、インデックス情報０は左側隣接ブロックを示し、インデックス情報１は上段隣接ブロックを示し、インデックス情報２は左側上段隣接ブロックを示すことができる。

エンコーダは、上述した方法でインタービュー動きベクトル候補リストを生成し、格納されたインタービュー動きベクトルから最適のインタービュー動きベクトルを探索することができる。そして、最適のインタービュー動きベクトルを用いてコーディングされた隣接ブロックに対応するインデックス情報をデコーダに伝送することができる。

デコーダは、エンコーダと同様に、上述した方法でインタービュー動きベクトル候補リストを生成することができる。そして、エンコーダからインデックス情報を獲得するか、またはインタービュー動きベクトル候補リストのインタービュー動きベクトルから最適のインタービュー動きベクトルを獲得してもよい。

以上で説明したように、本発明が適用されるデコーディング／エンコーディング装置は、ＤＭＢ（ＤｉｇｉｔａｌＭｕｌｔｉｍｅｄｉａＢｒｏａｄｃａｓｔｉｎｇ）のようなマルチメディア放送送／受信装置に備えられ、ビデオ信号及びデータ信号などをデコーディングするのに利用することができる。また、マルチメディア放送送／受信装置は移動通信端末機を含むことができる。

また、本発明が適用されるデコーディング／エンコーディング方法は、コンピュータで実行されるためのプログラムとして製作され、コンピュータ可読記録媒体に格納することができ、本発明に係るデータ構造を有するマルチメディアデータも、コンピュータ可読記録媒体に格納することができる。コンピュータ可読記録媒体は、コンピュータシステムにより読み取られるデータが格納される全ての種類の格納装置を含む。コンピュータ可読記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、光データ格納装置などがあり、なお、搬送波（例えば、インターネットを介した伝送）の形態で具現されるものも含む。また、エンコーティング方法により生成されたビットストリームは、コンピュータ可読記録媒体に格納されるか、または有／無線通信網を用いて伝送されてもよい。

本発明は、ビデオ信号をコーディングするのに利用することができる。

Claims

現在ブロックの左側隣接ブロック及び左側下段隣接ブロックのいずれか１つから前記第１インタービュー動きベクトルを獲得するステップと、
前記現在ブロックの上段隣接ブロック、右側上段隣接ブロック及び左側上段隣接ブロックのいずれか１つから前記第２インタービュー動きベクトルを獲得するステップと、
インタービュー動きベクトルフラグ情報を獲得するステップと、
前記インタービュー動きベクトルフラグ情報に基づいて、前記第１インタービュー動きベクトル及び前記第２インタービュー動きベクトルのいずれか１つを前記現在ブロックのインタービュー動きベクトルとして決定するステップと、を含む、ビデオ信号処理方法。
前記左側隣接ブロックがインタービュー動きベクトルを用いてコーディングされたブロックであるか否かを判断するステップと、
前記左側隣接ブロックがインタービュー動きベクトルを用いてコーディングされたブロックではない場合、前記左側下段隣接ブロックがインタービュー動きベクトルを用いてコーディングされたブロックであるか否かを判断するステップと、をさらに含む、請求項１に記載のビデオ信号処理方法。
前記上段隣接ブロックがインタービュー動きベクトルを用いてコーディングされたブロックであるか否かを判断するステップと、
前記上段隣接ブロックがインタービュー動きベクトルを用いてコーディングされたブロックではない場合、前記右側上段隣接ブロックがインタービュー動きベクトルを用いてコーディングされたブロックであるか否かを判断するステップと、
前記右側上段隣接ブロックがインタービュー動きベクトルを用いてコーディングされたブロックではない場合、前記左側上段隣接ブロックがインタービュー動きベクトルを用いてコーディングされたブロックであるか否かを判断するステップと、をさらに含む、請求項１に記載のビデオ信号処理方法。
前記現在ブロックの時間的隣接ブロックのうちの少なくとも１つがインタービュー動きベクトルを用いてコーディングされたブロックである場合、時間的隣接ブロックから第３インタービュー動きベクトルを獲得するステップをさらに含み、
前記現在ブロックのインタービュー動きベクトルを決定するステップは、前記第１インタービュー動きベクトル、前記第２インタービュー動きベクトル及び前記第３インタービュー動きベクトルのいずれか１つを用いて前記現在ブロックのインタービュー動きベクトルを獲得する、請求項１に記載のビデオ信号処理方法。
前記時間的隣接ブロックは、同一位置のブロック、及び同一位置のブロックに隣接する隣接ブロックを含んだコーディングブロックのうちの少なくとも１つを含む、請求項４に記載のビデオ信号処理方法。
現在ブロックの空間的隣接ブロックのうち、インタービュー動きベクトルを用いてコーディングされたブロックを探索するステップと、
前記探索された空間的隣接ブロックの前記インタービュー動きベクトルを用いてインタービュー動きベクトル候補リストを生成するステップと、
前記現在ブロックのインタービュー動きベクトルを獲得するためのインデックス情報を獲得するステップと、
前記インタービュー動きベクトル候補リスト及び前記インデックス情報を用いて、前記現在ブロックのインタービュー動きベクトルを獲得するステップと、を含む、ビデオ信号処理方法。
前記空間的隣接ブロックは、左側隣接ブロック、上段隣接ブロック、右側上段隣接ブロック、左側下段隣接ブロック及び左側上段隣接ブロックを含み、
前記インタービュー動きベクトルを用いてコーディングされたブロックであるか否かを探索するステップは、前記左側隣接ブロック、前記上段隣接ブロック、前記右側上段隣接ブロック、前記左側下段隣接ブロック、前記左側上段隣接ブロックの順に、前記インタービュー動きベクトルを用いてコーディングされたブロックを探索する、請求項６に記載のビデオ信号処理方法。
前記現在ブロックの時間的隣接ブロックのうち、インタービュー動きベクトルを用いてコーディングされたブロックを探索するステップと、
前記探索された時間的隣接ブロックの前記インタービュー動きベクトルを前記インタービュー動きベクトル候補リストに格納するステップと、をさらに含む、請求項６に記載のビデオ信号処理方法。
前記時間的隣接ブロックは、同一位置のブロック、及び同一位置のブロックに隣接する隣接ブロックを含んだコーディングブロックのうちの少なくとも１つを含む、請求項８に記載のビデオ信号処理方法。
現在ブロックの左側隣接ブロック及び左側下段隣接ブロックのいずれか１つから前記第１インタービュー動きベクトルを獲得し、前記現在ブロックの上段隣接ブロック、右側上段隣接ブロック及び左側上段隣接ブロックのいずれか１つから前記第２インタービュー動きベクトルを獲得し、
インタービュー動きベクトルフラグ情報を獲得し、前記インタービュー動きベクトルフラグ情報に基づいて、前記第１インタービュー動きベクトル及び前記第２インタービュー動きベクトルのいずれか１つを前記現在ブロックのインタービュー動きベクトルとして決定する、インター予測部を含む、ビデオデコーディング装置。
前記インター予測部は、前記左側隣接ブロックがインタービュー動きベクトルを用いてコーディングされたブロックであるか否かを判断し、前記左側隣接ブロックがインタービュー動きベクトルを用いてコーディングされたブロックではない場合、前記左側下段隣接ブロックがインタービュー動きベクトルを用いてコーディングされたブロックであるか否かを判断する、請求項１０に記載のビデオデコーディング装置。
前記インター予測部は、前記上段隣接ブロックがインタービュー動きベクトルを用いてコーディングされたブロックであるか否かを判断し、前記上段隣接ブロックがインタービュー動きベクトルを用いてコーディングされたブロックではない場合、前記右側上段隣接ブロックがインタービュー動きベクトルを用いてコーディングされたブロックであるか否かを判断し、前記右側上段隣接ブロックがインタービュー動きベクトルを用いてコーディングされたブロックではない場合、前記左側上段隣接ブロックがインタービュー動きベクトルを用いてコーディングされたブロックであるか否かを判断する、請求項１０に記載のビデオデコーディング装置。
前記インター予測部は、前記現在ブロックの時間的隣接ブロックのうちの少なくとも１つがインタービュー動きベクトルを用いてコーディングされたブロックである場合、時間的隣接ブロックから第３インタービュー動きベクトルを獲得し、前記第１インタービュー動きベクトル、前記第２インタービュー動きベクトル及び前記第３インタービュー動きベクトルのいずれか１つを用いて、前記現在ブロックのインタービュー動きベクトルを獲得する、請求項１０に記載のビデオデコーディング装置。
前記時間的隣接ブロックは、同一位置のブロック、及び同一位置のブロックに隣接する隣接ブロックを含んだコーディングブロックのうちの少なくとも１つを含む、請求項１３に記載のビデオデコーディング装置。
現在ブロックの空間的隣接ブロックのうち、インタービュー動きベクトルを用いてコーディングされたブロックを探索し、前記探索された空間的隣接ブロックの前記インタービュー動きベクトルを用いてインタービュー動きベクトル候補リストを生成し、前記現在ブロックのインタービュー動きベクトルを獲得するためのインデックス情報を獲得し、前記インタービュー動きベクトル候補リスト及び前記インデックス情報を用いて前記現在ブロックのインタービュー動きベクトルを獲得する、インター予測部を含む、ビデオデコーディング装置。
前記空間的隣接ブロックは、左側隣接ブロック、上段隣接ブロック、右側上段隣接ブロック、左側下段隣接ブロック及び左側上段隣接ブロックを含み、
前記インター予測部は、前記左側隣接ブロック、前記上段隣接ブロック、前記右側上段隣接ブロック、前記左側下段隣接ブロック、前記左側上段隣接ブロックの順に、前記インタービュー動きベクトルを用いてコーディングされたブロックを探索する、請求項１５に記載のビデオデコーディング装置。
前記インター予測部は、前記現在ブロックの時間的隣接ブロックのうち、インタービュー動きベクトルを用いてコーディングされたブロックを探索し、前記探索された時間的隣接ブロックの前記インタービュー動きベクトルを前記インタービュー動きベクトル候補リストに格納する、請求項１５に記載のビデオデコーディング装置。
前記時間的隣接ブロックは、同一位置のブロック、及び同一位置のブロックに隣接する隣接ブロックを含んだコーディングブロックのうちの少なくとも１つを含む、請求項１７に記載のビデオデコーディング装置。