JP2016519520A - ビデオ信号処理方法及び装置 - Google Patents

ビデオ信号処理方法及び装置 Download PDF

Info

Publication number
JP2016519520A
JP2016519520A JP2016507891A JP2016507891A JP2016519520A JP 2016519520 A JP2016519520 A JP 2016519520A JP 2016507891 A JP2016507891 A JP 2016507891A JP 2016507891 A JP2016507891 A JP 2016507891A JP 2016519520 A JP2016519520 A JP 2016519520A
Authority
JP
Japan
Prior art keywords
block
vector
candidate list
current texture
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016507891A
Other languages
English (en)
Other versions
JP6291032B2 (ja
Inventor
チン ホ
チン ホ
チョンハク ナム
チョンハク ナム
テソプ キム
テソプ キム
セフン イェ
セフン イェ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2016519520A publication Critical patent/JP2016519520A/ja
Application granted granted Critical
Publication of JP6291032B2 publication Critical patent/JP6291032B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】視点合成予測方法を用いたビデオ信号処理方法を提供する。【解決手段】本発明に係るビデオ信号処理方法は、現在テクスチャブロックの変移ベクトルに対応する参照ビュー動きベクトル、現在テクスチャブロックの空間的隣接ブロックの動きベクトル、現在テクスチャブロックの変移ベクトル、現在テクスチャブロックの視点合成予測変移ベクトル及び現在テクスチャブロックの時間的隣接ブロックの動きベクトルを、予め設定された順序で探索するステップと、探索された動きベクトルを予め設定された順序で候補リストに格納するステップと、候補リストに格納された動きベクトルのうちのいずれか１つを用いて、現在テクスチャブロックに対してインター予測を行うステップとを含み、候補リストは、予め設定された数の動きベクトルを格納し、予め設定された順序は、視点合成予測変移ベクトルが常に格納可能なように設定されている。【選択図】図５

Description

本発明は、ビデオ信号の処理方法及び装置に関する。
圧縮符号化とは、デジタル化した情報を通信回線を介して伝送したり、格納媒体に適した形態で格納したりする一連の信号処理技術を意味する。圧縮符号化の対象としては、音声、映像、文字などが存在し、特に、映像を対象として圧縮符号化を行う技術をビデオ映像圧縮と称する。
多視点ビデオ映像の一般的な特徴は、空間的冗長性、時間的冗長性及び視点間冗長性を有している点にある。
本発明の目的は、ビデオ信号のコーディング効率を高めることにある。
本発明は、ビデオ信号のコーディング効率を高めるために視点合成予測を使用できるように動きベクトル候補リストを生成することを特徴とする。
本発明によれば、動きベクトル候補リストに視点合成予測のための情報を格納できるようになる。
したがって、本発明は、視点合成予測方法を用いてインター予測を行うことによって、視点間符号化効率を高めることができる。
本発明の一実施例に係る放送受信機の内部ブロック図である。 本発明の一実施例に係るビデオデコーダの概略的なブロック図である。 本発明の一実施例に係るインター予測部の具体的な構成を説明するためのブロック図である。 本発明の一実施例を説明するための多視点テクスチャ映像のインター予測方法を説明するための図である。 本発明の一実施例に係るビデオ処理装置のインター予測実行方法を説明するフローチャートである。 本発明の一実施例に係る候補リストの探索及び格納順序を説明するための図である。 本発明の一実施例に係る候補リストの探索及び格納方法を説明するためのフローチャートである。 本発明の一実施例に係る視点合成予測のための空間的隣接ブロックの動き情報探索方法を説明するフローチャートである。 本発明の一実施例に係る視点合成予測方法を説明するためのフローチャートである。 本発明の一実施例に係る視点合成予測方法を説明する図である。
本発明の一実施例に係るビデオ信号処理方法は、現在テクスチャブロックの変移ベクトルに対応する参照ビュー動きベクトル、現在テクスチャブロックの空間的隣接ブロックの動きベクトル、現在テクスチャブロックの変移ベクトル、現在テクスチャブロックの視点合成予測変移ベクトル及び現在テクスチャブロックの時間的隣接ブロックの動きベクトルを、予め設定された順序で探索するステップと、探索されたベクトルを予め設定された順序で候補リストに格納するステップと、候補リストに格納されたベクトルのうちのいずれか１つを用いて現在テクスチャブロックに対してインター予測を行うステップとを含み、候補リストは予め設定された数のベクトルを格納し、予め設定された順序は、視点合成予測変移ベクトルが常に格納可能なように設定され得る。
この場合、現在テクスチャブロックの空間的隣接ブロックが視点合成予測を用いてコーディングされた場合、空間的隣接ブロックの視点合成予測変移ベクトルを候補リストに動きベクトルの代わりに格納することができる。
一方、現在テクスチャブロックの空間的隣接ブロックは、左側の空間的隣接ブロック、上段の空間的隣接ブロック、右側上段の空間的隣接ブロック、左側下段の空間的隣接ブロック及び左側上段の空間的隣接ブロックを含むことができる。
ここで、予め設定された順序は、参照ビュー動きベクトル、左側の空間的隣接ブロックの動きベクトル、上段の空間的隣接ブロックの動きベクトル、右側上段の空間的隣接ブロックの動きベクトル、変移ベクトル、視点合成予測変移ベクトル、左側下段の空間的隣接ブロックの動きベクトル、左側上段の空間的隣接ブロックの動きベクトル、時間的隣接ブロックの動きベクトルの順であってもよい。
一方、候補リストにおける視点合成予測変移ベクトルを用いて現在テクスチャブロックに対してインター予測を行う場合、現在テクスチャブロックに対してインター予測を行うステップは、視点合成予測変移ベクトルが指し示す参照視点の対応デプスブロックを獲得するステップと、デプスブロックのデプス値を用いて変形変移ベクトルを誘導するステップと、変形変移ベクトルを用いて、現在テクスチャブロックに対して視点間インター予測を行うステップとを含むことができる。
一方、候補リストは、視点合成予測を用いてインター予測が行われることを示す視点合成予測フラグを、それぞれのベクトルと共に格納することができ、視点合成予測変移ベクトルが候補リストに格納される場合、視点合成予測フラグをセットすることができる。
一方、本発明の一実施例に係るビデオ信号処理装置は、現在テクスチャブロックの変移ベクトルに対応する参照ビュー動きベクトル、現在テクスチャブロックの空間的隣接ブロックの動きベクトル、現在テクスチャブロックの変移ベクトル及び現在テクスチャブロックの視点合成予測変移ベクトルを予め設定された順序で探索し、探索された動きベクトルを予め設定された順序で候補リストに格納する候補リスト生成部と、
候補リストに格納された動きベクトルのうちのいずれか１つを用いて、現在テクスチャブロックに対してインター予測を行うインター予測実行部とを含み、候補リスト生成部は、予め設定された数の動きベクトルを候補リストに格納し、視点合成予測変移ベクトルが常に格納され得るように予め設定された順序を設定することができる。
ここで、現在テクスチャブロックの空間的隣接ブロックが視点合成予測を用いてコーディングされた場合、候補リスト生成部は、空間的隣接ブロックの視点合成予測変移ベクトルを候補リストに動きベクトルの代わりに格納することができる。
一方、現在テクスチャブロックの空間的隣接ブロックは、左側の空間的隣接ブロック、上段の空間的隣接ブロック、右側上段の空間的隣接ブロック、左側下段の空間的隣接ブロック及び左側上段の空間的隣接ブロックを含むことができる。
この場合、予め設定された順序は、参照ビュー動きベクトル、左側の空間的隣接ブロックの動きベクトル、上段の空間的隣接ブロックの動きベクトル、右側上段の空間的隣接ブロックの動きベクトル、変移ベクトル、視点合成予測変移ベクトル、左側下段の空間的隣接ブロックの動きベクトル、左側上段の空間的隣接ブロックの動きベクトル、時間的隣接ブロックの動きベクトルの順であってもよい。
一方、候補リストにおける視点合成予測変移ベクトルを用いて現在テクスチャブロックに対してインター予測を行う場合、インター予測実行部は、視点合成予測変移ベクトルが指し示す参照視点の対応デプスブロックを獲得し、デプスブロックのデプス値を用いて変形変移ベクトルを誘導し、変形変移ベクトルを用いて現在テクスチャブロックに対して視点間インター予測を行うことができる。
一方、候補リストは、視点合成予測を用いてインター予測が行われることを示す視点合成予測フラグを、それぞれのベクトルと共に格納することができ、候補リスト生成部は、視点合成予測変移ベクトルが候補リストに格納される場合、視点合成予測フラグをセットすることができる。
多視点ビデオ信号データを圧縮符号化または復号化する技術は、空間的冗長性、時間的冗長性及び視点間に存在する冗長性を考慮している。また、多視点映像の場合、３次元映像を具現するために２つ以上の視点で撮影された多視点テクスチャ映像をコーディングすることができる。また、必要に応じて、多視点テクスチャ映像に対応するデプスデータをさらにコーディングすることもできる。デプスデータをコーディングする際に、空間的冗長性、時間的冗長性または視点間冗長性を考慮して圧縮コーディングできることは勿論である。デプスデータは、カメラと当該画素との間の距離情報を表現したものであり、本明細書内におけるデプスデータは、デプス情報、デプス映像、デプスピクチャ、デプスシーケンス、デプスビットストリームなどのように、デプスに関連する情報として柔軟に解釈することができる。また、本明細書におけるコーディングというのは、エンコーディングとデコーディングの概念を全て含むことができ、本発明の技術的思想及び技術的範囲によって柔軟に解釈することができる。
一方、本明細書において、現在ブロック、現在ピクチャは、処理（またはコーディング）しようとするブロック、ピクチャを意味し、現在の視点は、処理しようとする視点（Ｖｉｅｗ）を意味する。そして、隣接ブロック、隣接視点は、現在ブロック、現在の視点でない他のブロック、他の視点を意味し得る。多視点ビデオ映像の視点間予測に用いられる参照視点は、ベースビュー（ｂａｓｅ ｖｉｅｗ）または独立視点（ｉｎｄｅｐｅｎｄｅｎｔ ｖｉｅｗ）を意味し得る。
一方、隣接視点のテクスチャブロックは、視点間変移ベクトルを用いて特定され得る。ここで、変移ベクトルは、現在の視点のテクスチャブロックの隣接ブロックの変移ベクトルを用いて誘導する方法、及び現在の視点のテクスチャブロックのデプス値を用いて誘導する方法があり得る。
図１は、本発明の一実施例に係る放送受信機の内部ブロック図である。
本実施例に係る放送受信機は、地上波放送信号を受信して映像を再生するためのものである。放送受信機は、受信されたデプス関連情報を用いて３次元コンテンツを生成することができる。放送受信機は、チューナー１００、復調／チャネルデコーダ１０２、トランスポート逆多重化部１０４、パケット解除部１０６、オーディオデコーダ１０８、ビデオデコーダ１１０，ＰＳＩ／ＰＳＩＰ処理部１１４、３Ｄレンダリング部１１６、フォーマッタ１２０及びディスプレイ部１２２を含む。
チューナー１００は、アンテナ（図示せず）を介して入力される多数の放送信号のうち、ユーザが選局したいずれか１つのチャネルの放送信号を選択して出力する。復調／チャネルデコーダ１０２は、チューナー１００からの放送信号を復調し、復調された信号に対してエラー訂正デコーディングを行ってトランスポートストリーム（ＴＳ）を出力する。トランスポート逆多重化部１０４は、トランスポートストリームを逆多重化して、ビデオＰＥＳとオーディオＰＥＳを分離し、ＰＳＩ／ＰＳＩＰ情報を抽出する。パケット解除部１０６は、ビデオＰＥＳとオーディオＰＥＳに対してパケットを解除し、ビデオＥＳとオーディオＥＳを復元する。オーディオデコーダ１０８は、オーディオＥＳをデコーディングしてオーディオビットストリームを出力する。オーディオビットストリームは、デジタル−アナログ変換器（図示せず）によってアナログ音声信号に変換され、増幅器（図示せず）によって増幅された後、スピーカー（図示せず）を介して出力される。ビデオデコーダ１１０は、ビデオＥＳをデコーディングして元の映像を復元する。オーディオデコーダ１０８及びビデオデコーダ１１０のデコーディング過程は、ＰＳＩ／ＰＳＩＰ処理部１１４によって確認されるパケットＩＤ（ＰＩＤ）をベースとして行われてもよい。デコーディング過程において、ビデオデコーダ１１０はデプス情報を抽出することができる。また、仮想カメラ視点の映像を生成するために必要な付加情報、例えば、カメラ情報、または相対的に前にある客体によって遮られる領域（Ｏｃｃｌｕｓｉｏｎ）を推定するための情報（例えば、客体の輪郭などの幾何学的情報、客体の透明度情報及びカラー情報）などを抽出して３Ｄレンダリング部１１６に提供することができる。しかし、本発明の他の実施例においては、デプス情報及び／又は付加情報がトランスポート逆多重化部１０４によって分離されてもよい。
ＰＳＩ／ＰＳＩＰ処理部１１４は、トランスポート逆多重化部１０４からのＰＳＩ／ＰＳＩＰ情報を受信し、これをパーシングしてメモリ（図示せず）またはレジスターに格納することによって、格納された情報をベースとして放送が再生されるようにする。３Ｄレンダリング部１１６は、復元された映像、デプス情報、付加情報及びカメラパラメータを用いて、仮想カメラ位置でのカラー情報、デプス情報などを生成することができる。
また、３Ｄレンダリング部１１６は、復元された映像、及び復元された映像に対するデプス情報を用いて３Ｄワーピング（Ｗａｒｐｉｎｇ）を行うことによって、仮想カメラ位置での仮想映像を生成する。本実施例では、３Ｄレンダリング部１１６がビデオデコーダ１１０と別個のブロックとして構成されて説明されているが、これは一実施例に過ぎず、３Ｄレンダリング部１１６は、ビデオデコーダ１１０に含まれて行われてもよい。
フォーマッタ１２０は、デコーディング過程で復元した映像、すなわち、実際のカメラによって撮影された映像、及び３Ｄレンダリング部１１６によって生成された仮想映像を当該受信機でのディスプレイ方式に合わせてフォーマッティングし、ディスプレイ部１２２を介して３Ｄ映像が表示されるようにする。ここで、３Ｄレンダリング部１１６による仮想カメラ位置でのデプス情報及び仮想映像の合成、そして、フォーマッタ１２０による映像フォーマッティングが、ユーザの命令に応答して選択的に行われてもよい。すなわち、視聴者は、リモコン（図示せず）を操作して合成映像が表示されないようにしてもよく、映像合成が行われる時点を指定することもできる。
上記で説明したように、３Ｄ映像を生成するために、デプス情報は３Ｄレンダリング部１１６で利用されているが、他の実施例として、ビデオデコーダ１１０で利用されてもよい。以下では、ビデオデコーダ１１０でデプス情報を利用するデコーディングの様々な実施例を説明する。
図２は、本発明が適用される実施例であって、ビデオデコーダの概略的なブロック図を示す。
図２を参照すると、ビデオデコーダ１１０は、ＮＡＬパーシング部２００、エントロピーデコーディング部２１０、逆量子化部２２０、逆変換部２３０、インループフィルタリング部２４０、復号ピクチャバッファ部２５０、インター予測部２６０及びイントラ予測部２７０を含むことができる。ここで、ビットストリームは、テクスチャデータとデプスデータを含むことができる。図２では、テクスチャデータとデプスデータを１つのビットストリームで表示したが、これは、別個のビットストリームで伝送されてもよい。すなわち、テクスチャデータとデプスデータは、１つのビットストリーム、または別個のビットストリームで伝送されてもよい。一方、以下に記述されるピクチャは、テクスチャピクチャ及びデプスピクチャをいずれも含めて意味し得る。
ＮＡＬパーシング部２００は、受信されたビットストリームを復号するために、ＮＡＬ単位でパーシングを行う。このとき、ＮＡＬヘッダー領域、ＮＡＬヘッダーの拡張領域、シーケンスヘッダー領域（例えば、シーケンスパラメータセット）、シーケンスヘッダーの拡張領域、ピクチャヘッダー領域（例えば、ピクチャパラメータセット）、ピクチャヘッダーの拡張領域、スライスヘッダー領域、スライスヘッダーの拡張領域、スライスデータ領域、またはマクロブロック領域には、デプスに関連する種々の属性情報が含まれてもよい。
一方、受信されたビットストリームは、カメラパラメータをさらに含むことができる。カメラパラメータは、固有のカメラパラメータ（ｉｎｔｒｉｎｓｉｃ ｃａｍｅｒａ ｐａｒａｍｅｔｅｒ）及び非固有のカメラパラメータ（ｅｘｔｒｉｎｓｉｃ ｃａｍｅｒａ ｐａｒａｍｅｔｅｒ）があり得、固有のカメラパラメータは、焦点距離（ｆｏｃａｌ ｌｅｎｇｔｈ）、横縦比（ａｓｐｅｃｔ ｒａｔｉｏ）、主点（ｐｒｉｎｃｉｐａｌ ｐｏｉｎｔ）などを含むことができ、非固有のカメラパラメータは、世界座標系でのカメラの位置情報などを含むことができる。
エントロピーデコーディング部２１０は、エントロピーデコーディングを通じて、パーシングされたビットストリームから、量子化された変換係数及びテクスチャピクチャ及びデプスピクチャの予測のためのコーディング情報などが抽出される。
逆量子化部２２０では、量子化された変換係数に一定の定数（量子化パラメータ）を乗じて変換された係数値を獲得し、逆変換部２３０では、係数値を逆変換してテクスチャピクチャデータまたはデプスピクチャデータを復元するようになる。
イントラ予測部２７０では、現在テクスチャピクチャの復元されたテクスチャピクチャデータまたはデプスピクチャデータを用いて画面内予測を行う。ここで、画面内予測のために用いられるコーディング情報は、イントラ予測モード、イントラ予測のパーティション情報を含むことができる。
一方、インループフィルタリング部２４０では、ブロック歪み現象を減少させるために、それぞれのコーディングされたマクロブロックにイン−ループフィルターを適用する。フィルターは、ブロックの縁部を滑らかにすることで、デコーディングされたフレームの画質を向上させる。フィルタリング過程の選択は、境界の強さ（ｂｏｕｎｄａｒｙ ｓｔｒｅｎｔｈ）及び境界の周囲のイメージサンプルの変化（ｇｒａｄｉｅｎｔ）によって左右される。フィルタリングを経たテクスチャピクチャまたはデプスピクチャは、出力されたり、または参照ピクチャとして利用するために復号ピクチャバッファ部２５０に格納されたりする。
復号ピクチャバッファ部（Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ ｕｎｉｔ）２５０では、画面間予測を行うために、以前にコーディングされたテクスチャピクチャまたはデプスピクチャを格納したり開放したりする役割などを行う。このとき、復号ピクチャバッファ部２５０に格納したり開放したりするために、各ピクチャのｆｒａｍｅ_ｎｕｍとＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ、ピクチャの出力順序を示す値）を用いる。したがって、以前にコーディングされたピクチャの中には現在ピクチャと異なる視点にあるピクチャもあるので、このようなピクチャを参照ピクチャとして活用するためには、ｆｒａｍｅ_ｎｕｍとＰＯＣだけでなく、ピクチャの視点を識別する視点情報も共に用いることができる。
また、復号ピクチャバッファ部２５０は、ピクチャの視点間予測のための参照ピクチャリストを生成するために、視点に対する情報を用いることができる。例えば、参照情報（ｒｅｆｅｒｅｎｃｅ ｉｎｆｏｒｍａｔｉｏｎ）を用いることができる。参照情報とは、ピクチャの視点間依存関係を示すために用いられる情報のことをいう。例えば、全体視点の数、視点識別番号、参照ピクチャの数、参照ピクチャのデプス視点識別番号などがあり得る。
インター予測部２６０は、復号ピクチャバッファ部２５０に格納された参照ピクチャ及び動きベクトルを用いて現在ブロックの動き補償を行うことができる。ビデオ信号から現在ブロックに隣接するブロックの動きベクトル（またはモーションベクトル）を抽出し、現在ブロックの動きベクトル予測値を獲得する。動きベクトル予測値及びビデオ信号から抽出される差分ベクトルを用いて、現在ブロックの動きを補償する。また、このような動き補償は、１つの参照ピクチャを用いて行われてもよく、複数のピクチャを用いて行われてもよい。
本明細書において、動き情報は、動きベクトル、レファレンスインデックス情報を含む広義の概念として理解し得る。また、インター予測部２６０は、動き補償を行うために時間的インター予測を行うことができる。時間的インター予測は、現在テクスチャブロックと同じ視点及び異なる時間帯に位置した参照ピクチャ、及び現在テクスチャブロックの動き情報を用いた、インター予測を意味し得る。動き情報は、動きベクトル及びレファレンスインデックス情報を含む概念と解釈し得る。
また、複数個のカメラにより撮影された多視点映像の場合、時間的インター予測だけでなく、視点間インター予測をさらに行うこともできる。視点間インター予測は、現在テクスチャブロックと異なる視点に位置した参照ピクチャ、及び現在テクスチャブロックの動き情報を用いた、インター予測を意味し得る。一方、一般的な時間的インター予測に用いられる動き情報と区分するために、視点間インター予測に用いられる動き情報をインタビュー動き情報と呼ぶ。したがって、本明細書において、インタビュー動き情報は、変移ベクトル及びインタビューレファレンスインデックス情報を含む概念として柔軟に解釈することができる。ここで、変移ベクトルは、隣接視点のテクスチャブロックを特定するために用いることができる。
以下、インター予測部２６０において現在テクスチャブロックのインター予測を行う方法について具体的に説明する。
図３は、本発明の一実施例に係るインター予測部の具体的な構成を説明するためのブロック図である。
図３を参照すると、インター予測部２６０は、候補リスト生成部２６１及びインター予測実行部２６２を含むことができる。本発明に係るインター予測部２６０は、現在テクスチャブロックの隣接ブロック（空間的隣接ブロック、時間的隣接ブロック、または現在テクスチャブロックに対応する参照ビューの隣接ブロック）で動きベクトルを参照して再利用することができる。すなわち、隣接ブロックを予め設定された順に探索して、隣接ブロックの動きベクトルを再利用することができる。具体的に、インター予測部２６０は、インター予測に使用できる動きベクトルを隣接ブロックで探索して候補リストを生成し、候補リストに格納された動きベクトルのいずれか１つを選択してインター予測を行うことができる。ここで、候補リストは、予め設定された順に現在テクスチャブロック及び現在テクスチャブロックの隣接ブロックを探索して生成されたリストを意味し得る。
候補リスト生成部２６１は、現在テクスチャブロックのインター予測に利用できる動きベクトル候補で構成された候補リストを生成することができる。具体的に、候補リスト生成部２６１は、エントロピーデコーディング部から受信した現在テクスチャピクチャの現在テクスチャブロック及び隣接ブロックを予め設定された順に探索し、探索された動きベクトルを、予め設定された順に候補リストに格納することができる。
一方、本発明に係る候補リスト生成部２６１は、予め設定された数の動きベクトルのみを候補リストに格納することができる。すなわち、候補リストに格納できる動きベクトルは限定的であり、先順位で探索された動きベクトルが候補リストに全て格納される場合、後順位で探索された動きベクトルは候補リストに格納されないことがある。一例として、候補リストに格納され得る動きベクトルの数が７である場合、７個の動きベクトルが全て格納されると、８番目に探索された動きベクトルは候補リストに格納することができない。または、候補リストに指定された数の動きベクトルが全て格納される場合、候補リスト生成部２６１は、動きベクトルの探索を中断し得る。
上記のようなプロセスによって、後順位で探索される動きベクトルは候補リストに格納されないため、インター予測に利用できない場合が発生することがある。したがって、候補リストを生成する際に、動きベクトルを探索する順序の設定はコーディング効率に影響を及ぼし得る。ここで、候補リストに動きベクトルを探索して格納する順序については、図５乃至図７を参照して具体的に説明する。
一方、候補リスト生成部２６１は、生成された候補リストを、現在テクスチャブロックの動きベクトルを誘導するための最終的な候補リストとして利用してもよいが、候補リストに格納された動きベクトル間の冗長性の除去などのために候補リストを修正することもできる。例えば、候補リスト生成部２６１は、生成された候補リストにおいて空間的動きベクトルが互いに同一であるか否かを確認することができる。確認の結果、同一の空間的動きベクトルが存在する場合、２つのいずれか一方の動きベクトルをリストから除去することができる。さらに、候補リスト内で動き情報間の冗長性を除去した後に候補リストに残っている動き情報の数が２個未満である場合には、ゼロ動きベクトル（ｚｅｒｏ ｍｏｔｉｏｎ ｖｅｃｔｏｒ）を追加することができる。反面、動き情報間の冗長性を除去した後にも候補リストに残っている動き情報の数が２個を超える場合には、２個の動き情報を除外した残りの動き情報を候補リストから除去することができる。
ここで、候補リストに残っている２個の動き情報は、候補リスト内で相対的に小さいリスト識別インデックスを有する動き情報であり得る。この場合、リスト識別インデックスは、候補リストに含まれた動き情報にそれぞれ割り当てられたものであって、候補リストに含まれたそれぞれの動き情報を識別するための情報を意味し得る。
そして、インター予測実行部２６２は、候補リスト生成部２６１で生成された候補リストから現在テクスチャブロックの動きベクトルを誘導することができる。
インター予測実行部２６２は、まず、現在テクスチャブロックに対する動きベクトル識別情報をビットストリームから抽出することができる。動きベクトル識別情報は、現在テクスチャブロックの動きベクトルまたは予測された動きベクトルとして用いられる動きベクトル候補を特定する情報であり得る。すなわち、抽出された動きベクトル識別情報に対応する動きベクトル候補を候補リストから抽出し、これを、現在テクスチャブロックの動きベクトルまたは予測された動きベクトルとして設定することができる。また、動きベクトル識別情報に対応する動きベクトル候補が現在テクスチャブロックの予測された動きベクトルとして設定される場合、現在テクスチャブロックの動きベクトルを復元するために、動きベクトル差分値を用いることができる。ここで、動きベクトル差分値は、デコーディングされた動きベクトルと予測された動きベクトルとの間の差分ベクトルを意味し得る。したがって、動きベクトルリストから獲得された予測された動きベクトルとビットストリームから抽出された動きベクトルの差分値を用いて、現在テクスチャブロックの動きベクトルをデコーディングすることができる。
デコーディングされた動きベクトル及び参照ピクチャリストを用いて現在テクスチャブロックのピクセル値を予測することができる。ここで、参照ピクチャリストは、時間的インター予測のための参照ピクチャだけでなく、視点間インター予測のための参照ピクチャを含むことができる。
図４を参照すると、参照ピクチャは、既に復元された映像であって、現在コーディング中の映像（Ｖ１，ｔ１）（ここで、Ｖは視点、ｔは時間を意味する）と同じ視点の映像（Ｖ１，ｔ０）と、異なる視点の映像（Ｖ０，ｔ１）とで構成され得る。この場合、現在テクスチャブロックを予測するために参照する参照ピクチャの視点が現在処理中の映像と同じ視点（Ｖ１，ｔ０）である場合を、ＭＣＰ（ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｅｄ ｐｒｅｄｉｃｔｉｏｎ）といい、参照ピクチャの視点が現在処理中の映像と異なる視点（Ｖ０，ｔ１）である場合を、ＤＣＰ（ｄｉｓｐａｒｉｔｙ ｃｏｍｐｅｎｓａｔｅｄ ｐｒｅｄｉｃｔｉｏｎ）という。多視点ビデオ映像の場合には、ＭＣＰだけでなくＤＣＰも可能であるという特徴がある。
以上で説明したように、インター予測部は、候補リストを生成してインター予測を行う。以下では、候補リストに動きベクトルを探索して格納する順序について、図５乃至図７を参照して具体的に説明する。
図５は、本発明の一実施例に係るビデオ処理装置のインター予測実行方法を説明するフローチャートである。
図５を参照すると、ビデオ処理装置は、現在テクスチャブロックの変移ベクトルに対応する参照ビュー動きベクトル、現在テクスチャブロックの空間的隣接ブロックの動きベクトル、現在テクスチャブロックの変移ベクトル、現在テクスチャブロックの視点合成予測変移ベクトル及び現在テクスチャブロックの時間的隣接ブロックの動きベクトルを、予め設定された順序で探索することができる（Ｓ５１０）。
以下で、参照ビュー動きベクトル、空間的隣接ブロックの動きベクトル、時間的隣接ブロックの動きベクトル及び視点合成予測変移ベクトルについて説明する。
参照ビュー動きベクトルは、現在テクスチャブロックと異なる視点に位置した対応ブロックの動きベクトルから誘導することができる。この場合、対応ブロックは、現在テクスチャブロックの変移ベクトルによって指し示されたブロックであり得る。例えば、現在テクスチャブロックの変移ベクトルを用いて異なる視点内の対応ブロックを特定し、特定された異なる視点内の対応ブロックの動きベクトルを現在テクスチャブロックの参照ビュー動きベクトルとして設定することができる。
空間的隣接ブロックの動きベクトルは、現在テクスチャブロックと同じ視点に位置した空間的に隣接する隣接ブロックの動きベクトルから誘導することができる。一方、空間的隣接ブロックは、空間的に隣接する隣接ブロックであって、現在テクスチャブロックの左側、上段、右側上段、左側下段及び左側上段にそれぞれ位置したブロックのうちの少なくとも１つを含むことができる。
時間的隣接ブロックの動きベクトルは、現在テクスチャブロックと同じ視点に位置した時間的に隣接する隣接ブロックの動きベクトルから誘導することができる。例えば、時間的隣接ブロックは、時間的に隣接する隣接ブロックであって、現在テクスチャブロックと同じ視点及び異なる時間帯に位置したピクチャ内で現在テクスチャブロックと同じ位置にあるブロック（ｃｏｌｌｏｃａｔｅｄ ｂｌｏｃｋ）、または現在テクスチャブロックと同じ位置にあるブロックと隣接するブロックが該当し得る。ここで、時間的隣接ブロックを含んでいるピクチャは、インデックス情報によって特定され得る。
変移ベクトルは、上述したように、隣接視点のテクスチャブロックを指し示すブロックを意味し得る。変移ベクトルは、１）デプスデータを用いて誘導することができ（ＤｏＮＢＤＶ、Ｄｅｐｔｈ−ｏｒｉｅｎｔｅｄ Ｎｅｉｇｈｂｏｒｉｎｇ Ｂｌｏｃｋ Ｄｉｓｐａｒｉｔｙ Ｖｅｃｔｏｒ）、２）隣接ブロックの変移ベクトルから誘導することができる（ＮＢＤＶ、Ｎｅｉｇｈｂｏｒｉｎｇ Ｂｌｏｃｋ Ｄｉｓｐａｒｉｔｙ Ｖｅｃｔｏｒ）。
１）デプスデータを用いる変移ベクトル誘導方法
変移ベクトルは、多視点映像における視点間変移を示すことができる。多視点映像の場合、カメラの位置による視点間変移が発生し得、変移ベクトルは、このような視点間変移を補償することもできる。以下では、デプスデータを用いた現在テクスチャブロックの変移ベクトル誘導方法を説明する。
ビットストリームからテクスチャデータ及びデプスデータを獲得することができる。具体的に、デプスデータは、デプスビットストリーム、デプスシーケンス、デプスピクチャなどのようにテクスチャ映像と別途に伝送されるか、または対応するテクスチャ映像に共にコーディングされて伝送されてもよい。したがって、伝送方式に応じて現在テクスチャブロックのデプスデータを獲得することができる。一方、現在テクスチャブロック内に複数個のピクセルが存在する場合、現在テクスチャブロックのコーナーピクセル（ｃｏｒｎｅｒ ｐｉｘｅｌ）に対応するデプスデータが用いられてもよい。または、現在テクスチャブロックの中央ピクセル（ｃｅｎｔｅｒ ｐｉｘｅｌ）に対応するデプスデータが用いられてもよい。または、複数個のピクセルに対応する複数個のデプスデータのうち、最大値、最小値、最頻値のいずれか１つが選択的に用いられてもよく、複数個のデプスデータ間の平均値が用いられてもよい。獲得されたデプスデータとカメラパラメータを用いて、現在テクスチャブロックの変移ベクトルを誘導することができる。具体的な誘導方法は、数式１及び数式２に基づいて説明する。
Figure 2016519520
数式１を参照すると、Ｚは、当該ピクセルのカメラからの距離を意味し、Ｄは、Ｚを量子化した値であって、本発明のデプスデータに対応する。Ｚnear及びＺfarは、デプスデータが属する視点に対して定義されたＺの最小値及び最大値をそれぞれ意味する。また、Ｚnear及びＺfarは、シーケンスパラメータセット、スライスヘッダーなどを介してビットストリームから抽出されてもよく、デコーダ内に予め定義された情報であってもよい。したがって、当該ピクセルのカメラからの距離Ｚを２５６レベルに量子化した場合、数式１のように、デプスデータ、Ｚnear及びＺfarを用いてＺを復元することができる。その後、復元されたＺを用いて、数式２のように、現在テクスチャブロックに対する変移ベクトルを誘導することができる。
Figure 2016519520
数式２において、ｆは、カメラの焦点距離を意味し、Ｂは、カメラ間の距離を意味する。ｆ及びＢは、全てのカメラに対して同一であると仮定することができ、したがって、デコーダに予め定義された情報であり得る。
一方、多視点映像に対してテクスチャデータのみをコーディングする場合には、カメラパラメータに関する情報を用いることができないため、デプスデータから変移ベクトルを誘導する方法を使用することができない。したがって、多視点映像のテクスチャデータのみをコーディングする場合には、変移ベクトルを格納した変移ベクトルマップ（ｄｉｓｐａｒｉｔｙ ｖｅｃｔｏｒ ｍａｐ）を用いることができる。変移ベクトルマップは、水平成分と垂直成分で構成された変移ベクトルが２次元配列で格納されたマップであり得る。本発明の変移ベクトルマップは、様々な大きさで表現されてもよい。例えば、１つのピクチャ毎に１つの変移ベクトルのみを使用する場合には、１ｘ１の大きさを有することができ、ピクチャ内の４ｘ４ブロック毎に変移ベクトルを使用する場合には、ピクチャの大きさに対比して１／４の幅と高さを有するので、変移ベクトルマップはピクチャの１／１６の大きさを有することもできる。また、１つのピクチャ内で現在テクスチャブロックの大きさは適応的に決定されてもよく、当該テクスチャブロック毎に変移ベクトルを格納することもできる。
変移ベクトルは、スライスまたはピクチャのシンタックス（ｓｙｎｔａｘ）から誘導されるグローバル変移ベクトル（Ｇｌｏｂａｌ Ｄｉｓｐａｒｉｔｙ Ｖｅｃｔｏｒ、ＧＤＶ）を用いて誘導することができる。グローバル変移ベクトルは、複数のブロックを含むスライスまたはピクチャ単位において、現在の視点から参照ピクチャが位置する異なる視点を指し示すベクトルである。グローバル変移ベクトルは複数のテクスチャブロックに同一に誘導されるので、各テクスチャブロック毎に互いに異なる変移ベクトルを有する場合、各テクスチャブロックに、正確な参照ブロックを探すために動きベクトルを補償するオフセットベクトルを追加的に伝達することができる。グローバル変移ベクトルとオフセットベクトルのベクトル和を通じて求めた変移ベクトルを、現在テクスチャブロックの変移ベクトル候補に含ませることができる。
上記のような方法で現在テクスチャブロックの変移ベクトルを誘導することができる。
２）隣接ブロックの変移ベクトルから変移ベクトル誘導方法
現在テクスチャブロックに空間的に隣接する隣接ブロックまたは時間的に隣接する隣接ブロックのうち、視点間インター予測でコーディングされた隣接ブロックの動きベクトルから誘導され得る。すなわち、視点間インター予測でコーディングされた隣接ブロックを探索し、視点間インター予測でコーディングされた隣接ブロックの変移ベクトルから現在テクスチャブロックの変移ベクトルを誘導することができる。
視点合成予測変移ベクトルとは、視点合成予測（ＶＳＰ、Ｖｉｅｗ Ｓｙｎｔｈｅｓｉｓ Ｐｒｅｄｉｃｉｔｉｏｎ）に用いられる変移ベクトルを意味する。ここで、視点合成予測とは、デプスデータを使用して参照ピクチャから予測情報を生成する技術を意味する。具体的な説明は、図９及び図１０を参照して説明する。
ステップＳ５１０で探索された動きベクトルを、予め設定された順序で候補リストに格納することができる（Ｓ５２０）。
一方、本発明の一実施例によれば、候補リストは、それぞれの動きベクトルと共に視点合成予測フラグ（ｆｌａｇ）をさらに格納することができる。ここで、視点合成予測フラグは、視点合成予測を用いてインター予測が行われることを示すことができる。
本発明では、視点合成予測変移ベクトルが候補リストに格納されるとき、視点合成予測フラグ値をセットすることができる。
一例として、視点合成フラグ値を０から１にセットすることによって、候補リストに共に格納されている変移ベクトルに基づいて視点合成予測を用いてインター予測を行うことを示すことができる。すなわち、視点合成予測フラグが「１」にセットされた場合、視点合成予測を行うことができる。
本発明の一実施例によれば、候補リストに格納可能な動きベクトルの数は限定的である。したがって、動きベクトルの探索及び格納順序はコーディング効率に影響を及ぼし得る。以下では、候補リストに格納可能な動きベクトルの探索及び格納順序について説明する。
図６は、本発明の一実施例に係る候補リストの探索及び格納順序を説明するための図である。
本発明の一実施例によれば、以下のような順序により動きベクトルを探索し、候補リストに格納することができる。
図６を参照して説明すると、
１）現在テクスチャブロックの変移ベクトルに対応する、参照視点の対応ブロックの動きベクトルである参照ビュー動きベクトル（０）
２）現在テクスチャブロックの左側の空間的隣接ブロックにある動きベクトル（１）
３）現在テクスチャブロックの上段の空間的隣接ブロックにある動きベクトル（２）
４）現在テクスチャブロックの右側上段の空間的隣接ブロックにある動きベクトル（３）
５）現在テクスチャブロックの変移ベクトル（４）
６）現在テクスチャブロックの視点合成予測変移ベクトル（５）
７）現在テクスチャブロックの左側下段の空間的隣接ブロックにある動きベクトル（６）
８）現在テクスチャブロックの左側上段の空間的隣接ブロックにある動きベクトル（７）
９）現在テクスチャブロックの右側下段の時間的隣接ブロックにある動きベクトル（８）
１０）現在テクスチャブロックの中央の時間的隣接ブロックにある動きベクトル（９）
の順に探索して候補リストを生成することができる。
上記のような１）番から探索を始め、動きベクトルのない場合には、次の順序の動きベクトルを探索することができる。一方、一例として、候補リストは、最大６個の動きベクトルを格納することができる場合、上記のように定義した順に探索し、動きベクトル６個を全て格納すると、それ以上探索を行わなくもてよい。
そして、先の例のように、候補リストに格納され得る動きベクトルは最大６個であってもよい。この場合、図６のような順序で候補リストを生成する場合、視点合成予測変移ベクトルは候補リストに常に格納され得る。したがって、視点合成予測モードの活用度が高くなり、コーディング効率を向上させることができる。すなわち、候補リストに格納され得る動きベクトルの数以下に視点合成予測変移ベクトルの探索順序を設定して視点合成予測モードの活用度を高めることができる。
一方、図６のような探索及び格納順序は、実施例に限定されず、視点合成予測変移ベクトルが候補リストに常に格納され得る限度内で変更可能である。
図７は、本発明の一実施例に係る候補リストの探索及び格納方法を説明するためのフローチャートである。図７を説明するに先立ち、候補リストに格納可能な動きベクトルの数は制限的であることを仮定する。
図７を参照すると、ビデオ信号処理装置は、現在テクスチャブロックの変移ベクトルに対応する参照ビュー動きベクトルを探索し、探索される場合（Ｓ７１０、はい）、候補リストに、探索された参照ビュー動きベクトルを格納することができる。探索されない場合（Ｓ７１０、いいえ）、次のステップに進む。
そして、ビデオ信号処理装置は、現在テクスチャブロックの第１空間的隣接ブロックの動きベクトルを探索し、探索される場合（Ｓ７２０、はい）、候補リストに、探索された空間的動きベクトルを格納することができる。探索されない場合（Ｓ７２０、いいえ）、次のステップに進む。
ここで、第１空間的隣接ブロックは、現在テクスチャブロックの左側の空間的隣接ブロック、現在テクスチャブロックの上段の空間的隣接ブロック、現在テクスチャブロックの右側上段の空間的隣接ブロックのうちの少なくとも１つを含むことができる。
その後、ビデオ信号処理装置は、現在テクスチャブロックの変移ベクトルを探索し、探索される場合（Ｓ７３０、はい）、候補リストに、探索された変移ベクトルを格納することができる。探索されない場合（Ｓ７３０、いいえ）、次のステップに進む。
ここで、変移ベクトルは、上述したように、現在テクスチャブロックの対応するデプスデータを用いて誘導された変移ベクトル、視点間インター予測でコーディングされた隣接ブロックの変移ベクトルから誘導されたインタビュー動きベクトルのいずれか１つであってもよい。
その後、ビデオ信号処理装置は、現在テクスチャブロックの視点合成予測変移ベクトルを探索し、探索される場合（Ｓ７４０、はい）、候補リストに、探索された視点合成予測変移ベクトルを格納することができる。ここで、候補リストに動きベクトルが全て格納された場合（Ｓ７４２、はい）、探索を終了することができる。
そして、上述した図５で説明したように、視点合成予測変移ベクトルが候補リストに格納される場合、視点合成予測フラグ値をセットすることができる。
一方、視点合成予測変移ベクトルが探索されない場合（Ｓ７４０、いいえ）、または候補リストに動きベクトルが全て格納されていない場合（Ｓ７４２、いいえ）、次のステップに進む。
その後、ビデオ信号処理装置は、現在テクスチャブロックの第２空間的隣接ブロックの動きベクトルを探索し、探索される場合（Ｓ７５０、はい）、候補リストに、探索された空間的動きベクトルを格納することができる。ここで、候補リストに動きベクトルが全て格納された場合（Ｓ７５２、はい）、探索を終了することができる。
一方、動きベクトルが探索されない場合（Ｓ７５０、いいえ）、または候補リストに動きベクトルが全て格納されていない場合（Ｓ７５２、いいえ）、次のステップに進む。
ここで、第２空間的隣接ブロックは、第１空間的隣接ブロックに含まれない空間的隣接ブロックであって、現在テクスチャブロックの左側下段の空間的隣接ブロック、現在テクスチャブロックの左側上段の空間的隣接ブロックのうちの少なくとも１つを含むことができる。
その後、ビデオ信号処理装置は、現在テクスチャブロックの時間的隣接ブロックの動きベクトルを探索し、探索される場合（Ｓ７６０、はい）、候補リストに、探索された時間的動きベクトルを格納することができる。一方、動きベクトルが探索されない場合（Ｓ７６０、いいえ）、探索を終了することができる。
以上のような順序で動きベクトルを探索して候補リストに格納することによって、視点合成予測モードを常に利用できるようになるので、コーディング効率を向上させることができる。
以下では、図８を参照して、視点合成予測モードの活用度を高めるための動きベクトル探索方法を説明する。
図８は、本発明の一実施例に係る視点合成予測のための空間的隣接ブロックの動き情報探索方法を説明するフローチャートである。図８は、図７のステップＳ７２０及びステップＳ７５０の空間的隣接ブロックの動き探索方法をさらに具体化したものである。
図８を参照すると、ビデオ信号処理装置は、現在テクスチャブロックの空間的隣接ブロックが視点合成予測を用いてコーディングされた場合（Ｓ８１０、はい）、候補リストに、空間的隣接ブロックの視点合成予測変移ベクトルを格納することができる（Ｓ８２０）。
この場合にも、図５で説明したように、視点合成予測フラグ値をセットすることによって、格納された変移ベクトルに基づいて視点合成予測を用いてインター予測を行うことを示すことができる。
逆に、視点合成予測を用いてコーディングされていない場合（Ｓ８１０、いいえ）、図７のように空間的動きベクトルを格納することができる（Ｓ８３０）。
具体的に、各テクスチャブロック毎に、視点合成予測でコーディングされたかを示す視点合成予測利用情報（またはフラグ）を確認し、視点合成予測でコーディングされたかを確認することができる。
図８のように、空間的隣接ブロックの視点合成予測変移ベクトルを候補リストにさらに格納することによって、視点合成予測モードの活用度をより高めることができるようになる。
再び図５に戻って、ビデオ信号処理装置は、候補リストに格納された動きベクトルのいずれか１つを用いて、現在テクスチャブロックに対してインター予測を行うことができる（Ｓ５３０）。参照ビュー動きベクトル、空間的動きベクトル、時間的動きベクトル及び変移ベクトルを用いてインター予測を行う方法については、図３で具体的に説明したので、重複説明は省略する。
以下では、図９及び図１０を参照して、視点合成予測変移ベクトルを用いてインター予測を行う方法について説明する。
上述したように、視点合成予測変移ベクトルとは、視点合成予測（ＶＳＰ、Ｖｉｅｗ Ｓｙｎｔｈｅｓｉｓ Ｐｒｅｄｉｃｉｔｉｏｎ）に用いられる変移ベクトルを意味する。視点合成予測変移ベクトルは、変移ベクトル及び視点合成予測モード情報を含むことができる。視点合成予測モード情報は、視点合成予測でインター予測を行うことを示す情報を意味する。
一方、現在テクスチャブロックの変移ベクトルと視点合成変移ベクトルは同一のベクトルであり得るが、変移ベクトルの場合、ｘ成分のみが候補リストに格納される反面、視点合成変移ベクトルは、ｘ，ｙ成分がいずれも候補リストに格納され得る。一例として、現在テクスチャブロックの変移ベクトルは候補リストに（ｄｖｘ，０）として、視点合成変移ベクトルは候補リストに（ｄｖｘ，ｄｖｙ）として格納され得る。
図９は、本発明の一実施例に係る視点合成予測方法を説明するための図である。
図９を参照すると、ビデオ信号処理装置は、視点合成予測フラグを確認し、視点合成予測フラグがセットされている場合（Ｓ９１０、はい）、共に格納されている視点合成予測変移ベクトルが指し示す参照視点の対応デプスブロックを獲得することができる（Ｓ９２０）。ここで、視点合成予測変移ベクトルが指し示す参照視点の対応デプスブロックは、参照視点の同一の出力順序のデプスピクチャ内の同一の位置で視点合成予測変移ベクトルを考慮した位置のデプスブロックであり得る。
例えば、現在テクスチャブロックの左側上段の位置が（ｐｘ，ｐｙ）であり、視点合成予測変移ベクトルが（ｄｖｘ，ｄｖｙ）である場合、参照視点で現在テクスチャブロックに対応するデプスブロックの左側上段の位置は（ｐｘ＋ｄｖｘ，ｐｙ＋ｄｖｙ）であり得る。または、視点合成予測変移ベクトルのｙ値を無視し、（ｐｘ＋ｄｖｘ，ｐｙ）を、現在テクスチャブロックに対応するデプスブロックの左側上段の位置として決定してもよい。
そして、獲得されたデプスブロックのデプス値を用いて変形変移ベクトルを誘導することができる（Ｓ９３０）。具体的に、デプス値から現在テクスチャブロックの変形変移ベクトルを誘導することができる。デプス値から変移ベクトルを誘導する方法は、上述したように、数式１及び数式２を用いて誘導することができる。
そして、誘導された変形変移ベクトルを用いて、現在テクスチャブロックに対して視点間インター予測を行うことができる（Ｓ９４０）。視点間インター予測は、先に具体的に説明したので重複説明は省略する。
図１０は、本発明の一実施例に係る視点合成予測方法を説明する図である。
図１０を参照すると、視点合成予測のために、現在テクスチャブロックの視点合成予測変移ベクトルＤＶ１が指し示す参照視点Ｖ０の対応デプスブロックを獲得し、獲得されたデプスブロックのデプス値Ｄから変形変移ベクトルＤＶ２を誘導することができる。ここで、参照視点Ｖ０のテクスチャピクチャＢTとデプスピクチャＢDは、現在の視点Ｖ１のテクスチャピクチャよりも先にデコーディングされていることを仮定する。
一方、本発明の一実施例によれば、以上で説明した候補リストの生成はマージ（ｍｅｒｇｅ）モードで生成されてもよい。マージモードとは、動き情報を隣接するブロックで参照して再利用することによって、関連動き情報を伝送せずに、隣接するブロックの情報のみを伝送するモードを意味する。
以上で説明したように、本発明が適用されるビデオ信号処理装置は、ＤＭＢ（Ｄｉｇｉｔａｌ Ｍｕｌｔｉｍｅｄｉａ Ｂｒｏａｄｃａｓｔｉｎｇ）のようなマルチメディア放送送／受信装置に備えられ、ビデオ信号及びデータ信号などをデコーディングするのに利用することができる。また、マルチメディア放送送／受信装置は移動通信端末機を含むことができる。
また、本発明が適用されるビデオ信号処理方法は、コンピュータで実行されるためのプログラムとして製作され、コンピュータ可読記録媒体に格納することができ、本発明に係るデータ構造を有するマルチメディアデータも、コンピュータ可読記録媒体に格納することができる。コンピュータ可読記録媒体は、コンピュータシステムにより読み取られるデータが格納される全ての種類の格納装置を含む。コンピュータ可読記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、光データ格納装置などがあり、なお、搬送波（例えば、インターネットを介した伝送）の形態で具現されるものも含む。また、前記エンコーティング方法により生成されたビットストリームは、コンピュータ可読記録媒体に格納されるか、または有／無線通信網を用いて伝送されてもよい。
本発明は、ビデオ信号をコーディングするのに利用することができる。

Claims (12)

  1. 現在テクスチャブロックの変移ベクトルに対応する参照ビュー動きベクトル、前記現在テクスチャブロックの空間的隣接ブロックの動きベクトル、前記現在テクスチャブロックの変移ベクトル、前記現在テクスチャブロックの視点合成予測変移ベクトル及び前記現在テクスチャブロックの時間的隣接ブロックの動きベクトルを、予め設定された順序で探索するステップと、
    前記探索されたベクトルを前記予め設定された順序で候補リストに格納するステップと、
    前記候補リストに格納されたベクトルのうちのいずれか１つを用いて、前記現在テクスチャブロックに対してインター予測を行うステップと、を含み、
    前記候補リストは、予め設定された数のベクトルを格納し、
    前記予め設定された順序は、前記視点合成予測変移ベクトルが常に格納可能なように設定されることを特徴とする、ビデオ信号処理方法。
  2. 前記現在テクスチャブロックの空間的隣接ブロックが視点合成予測を用いてコーディングされた場合、前記空間的隣接ブロックの視点合成予測変移ベクトルを前記候補リストに動きベクトルの代わりに格納する、請求項１に記載のビデオ信号処理方法。
  3. 前記現在テクスチャブロックの空間的隣接ブロックは、左側の空間的隣接ブロック、上段の空間的隣接ブロック、右側上段の空間的隣接ブロック、左側下段の空間的隣接ブロック及び左側上段の空間的隣接ブロックを含む、請求項１に記載のビデオ信号処理方法。
  4. 前記予め設定された順序は、前記参照ビュー動きベクトル、前記左側の空間的隣接ブロックの動きベクトル、前記上段の空間的隣接ブロックの動きベクトル、前記右側上段の空間的隣接ブロックの動きベクトル、前記変移ベクトル、前記視点合成予測変移ベクトル、前記左側下段の空間的隣接ブロックの動きベクトル、前記左側上段の空間的隣接ブロックの動きベクトル、前記時間的隣接ブロックの動きベクトルの順である、請求項３に記載のビデオ信号処理方法。
  5. 前記候補リストにおける視点合成予測変移ベクトルを用いて現在テクスチャブロックに対してインター予測を行う場合、前記現在テクスチャブロックに対して前記インター予測を行うステップは、
    前記視点合成予測変移ベクトルが指し示す参照視点の対応デプスブロックを獲得するステップと、
    前記デプスブロックのデプス値を用いて変形変移ベクトルを誘導するステップと、
    前記変形変移ベクトルを用いて、現在テクスチャブロックに対して視点間インター予測を行うステップと、を含む、請求項１に記載のビデオ信号処理方法。
  6. 前記候補リストは、視点合成予測を用いてインター予測が行われることを示す視点合成予測フラグを、それぞれのベクトルと共に格納可能であり、
    前記視点合成予測変移ベクトルが前記候補リストに格納される場合、前記視点合成予測フラグをセットする、請求項１に記載のビデオ信号処理方法。
  7. 現在テクスチャブロックの変移ベクトルに対応する参照ビュー動きベクトル、前記現在テクスチャブロックの空間的隣接ブロックの動きベクトル、前記現在テクスチャブロックの変移ベクトル及び前記現在テクスチャブロックの視点合成予測変移ベクトルを予め設定された順序で探索し、前記探索された動きベクトルを前記予め設定された順序で候補リストに格納する候補リスト生成部と、
    前記候補リストに格納された動きベクトルのうちのいずれか１つを用いて、現在テクスチャブロックに対してインター予測を行うインター予測実行部と、を含み、
    前記候補リスト生成部は、
    予め設定された数の動きベクトルを前記候補リストに格納し、前記視点合成予測変移ベクトルが常に格納可能なように前記予め設定された順序を設定することを特徴とする、ビデオ信号処理装置。
  8. 前記現在テクスチャブロックの空間的隣接ブロックが視点合成予測を用いてコーディングされた場合、前記候補リスト生成部は、
    前記空間的隣接ブロックの視点合成予測変移ベクトルを前記候補リストに動きベクトルの代わりに格納する、請求項７に記載のビデオ信号処理装置。
  9. 前記現在テクスチャブロックの空間的隣接ブロックは、
    左側の空間的隣接ブロック、上段の空間的隣接ブロック、右側上段の空間的隣接ブロック、左側下段の空間的隣接ブロック及び左側上段の空間的隣接ブロックを含む、請求項７に記載のビデオ信号処理装置。
  10. 前記予め設定された順序は、前記参照ビュー動きベクトル、前記左側の空間的隣接ブロックの動きベクトル、前記上段の空間的隣接ブロックの動きベクトル、前記右側上段の空間的隣接ブロックの動きベクトル、前記変移ベクトル、前記視点合成予測変移ベクトル、前記左側下段の空間的隣接ブロックの動きベクトル、前記左側上段の空間的隣接ブロックの動きベクトル、前記時間的隣接ブロックの動きベクトルの順である、請求項９に記載のビデオ信号処理装置。
  11. 前記候補リストにおける視点合成予測変移ベクトルを用いて現在テクスチャブロックに対してインター予測を行う場合、前記インター予測実行部は、
    前記視点合成予測変移ベクトルが指し示す参照視点の対応デプスブロックを獲得し、前記デプスブロックのデプス値を用いて変形変移ベクトルを誘導し、前記変形変移ベクトルを用いて現在テクスチャブロックに対して視点間インター予測を行う、請求項７に記載のビデオ信号処理装置。
  12. 前記候補リストは、視点合成予測を用いてインター予測が行われることを示す視点合成予測フラグを、それぞれのベクトルと共に格納可能であり、
    前記候補リスト生成部は、
    前記視点合成予測変移ベクトルが前記候補リストに格納される場合、前記視点合成予測フラグをセットする、請求項７に記載のビデオ信号処理装置。
JP2016507891A 2013-04-11 2014-04-11 ビデオ信号処理方法及び装置 Active JP6291032B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361810728P 2013-04-11 2013-04-11
US61/810,728 2013-04-11
PCT/KR2014/003131 WO2014168443A1 (ko) 2013-04-11 2014-04-11 비디오 신호 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
JP2016519520A true JP2016519520A (ja) 2016-06-30
JP6291032B2 JP6291032B2 (ja) 2018-03-14

Family

ID=51689778

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016507891A Active JP6291032B2 (ja) 2013-04-11 2014-04-11 ビデオ信号処理方法及び装置

Country Status (6)

Country Link
US (1) US20160050429A1 (ja)
EP (1) EP2986000A4 (ja)
JP (1) JP6291032B2 (ja)
KR (1) KR20160002716A (ja)
CN (1) CN105122810B (ja)
WO (1) WO2014168443A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140127177A (ko) * 2013-04-23 2014-11-03 삼성전자주식회사 시점 합성 예측을 이용한 다시점 비디오 부호화 방법 및 그 장치, 다시점 비디오 복호화 방법 및 그 장치
WO2017176092A1 (ko) * 2016-04-08 2017-10-12 한국전자통신연구원 움직임 예측 정보를 유도하는 방법 및 장치
JP6895247B2 (ja) * 2016-10-06 2021-06-30 日本放送協会 符号化装置、復号装置及びプログラム
US10244164B1 (en) 2017-09-11 2019-03-26 Qualcomm Incorporated Systems and methods for image stitching
CN112423989B (zh) 2018-07-13 2022-08-02 惠普发展公司，有限责任合伙企业 具有偏移管嘴的易弯式打印液体供给储存器
WO2020013858A1 (en) 2018-07-13 2020-01-16 Hewlett-Packard Development Company, L.P. Collar for fluid barrier
CN112055658B (zh) 2018-07-13 2022-06-21 惠普发展公司，有限责任合伙企业 用于打印液体供应源的具有楔形叉端的夹板
CN110769242A (zh) * 2019-10-09 2020-02-07 南京航空航天大学 基于时空信息建模的全自动2d视频到3d视频的转换方法
CN111953974B (zh) * 2020-08-26 2021-08-27 珠海大横琴科技发展有限公司 一种运动参数候选列表构建方法、装置及计算机设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014165651A2 (en) * 2013-04-04 2014-10-09 Qualcomm Incorporated Advanced merge mode for three-dimensional (3d) video coding

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100934674B1 (ko) * 2006-03-30 2009-12-31 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR101279573B1 (ko) * 2008-10-31 2013-06-27 에스케이텔레콤 주식회사 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101623062B1 (ko) * 2010-02-23 2016-05-20 니폰덴신뎅와 가부시키가이샤 움직임 벡터 추정 방법, 다시점 영상 부호화 방법, 다시점 영상 복호 방법, 움직임 벡터 추정 장치, 다시점 영상 부호화 장치, 다시점 영상 복호 장치, 움직임 벡터 추정 프로그램, 다시점 영상 부호화 프로그램 및 다시점 영상 복호 프로그램
KR102062821B1 (ko) * 2010-09-29 2020-01-07 한국전자통신연구원 필터 정보 예측을 이용한 영상 부호화/복호화 방법 및 장치
KR20120118780A (ko) * 2011-04-19 2012-10-29 삼성전자주식회사 다시점 비디오의 움직임 벡터 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR20140011481A (ko) * 2011-06-15 2014-01-28 미디어텍 인크. 3d 비디오 코딩을 위한 움직임 벡터 및 변이 벡터의 예측과 보상 방법 및 장치
KR20130030181A (ko) * 2011-09-16 2013-03-26 한국전자통신연구원 움직임 벡터 예측기를 이용한 움직임 벡터 부호화/복호화 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014165651A2 (en) * 2013-04-04 2014-10-09 Qualcomm Incorporated Advanced merge mode for three-dimensional (3d) video coding

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DONG TIAN, ET AL.: "CE1.h: Backward View Synthesis Prediction using Neighbouring Blocks", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSION DEVELOPMENT OF ITU-T SG 16 WP 3 AND ISO/IEC J, vol. JCT3V-C0152, JPN6016045802, 21 January 2013 (2013-01-21) *
GERHARD TECH, ET AL.: "3D-HEVC Test Model 3", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSION DEVELOPMENT OF ITU-T SG 16 WP 3 AND ISO/IEC J, vol. JCT3V-C1005_spec_d1, JPN6016045798, 24 March 2013 (2013-03-24), pages pp.1,50-55 *
GERHARD TECH, ET AL.: "3D-HEVC Test Model 4", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSION DEVELOPMENT OF ITU-T SG 16 WP 3 AND ISO/IEC JT, vol. JCTVC-D1005-spec_v4, JPN6016045799, 24 June 2013 (2013-06-24), pages pp.1,50-54 *
TAESUP KIM, ET AL.: "3D-CE3.h Related: Improvement on Merge Candidate List Construction", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSION DEVELOPMENT OF ITU-T SG 16 WP 3 AND ISO/IEC JT, vol. JCT3V-E0187, JPN6016045801, 30 July 2013 (2013-07-30) *
TAESUP KIM, ET AL.: "CE1.h related : BVSP mode inheritance", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSIONS OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/W, vol. JCT3V-D0092, JPN6016045800, 23 April 2013 (2013-04-23) *

Also Published As

Publication number Publication date
US20160050429A1 (en) 2016-02-18
EP2986000A4 (en) 2016-09-21
CN105122810B (zh) 2018-07-03
WO2014168443A1 (ko) 2014-10-16
EP2986000A1 (en) 2016-02-17
KR20160002716A (ko) 2016-01-08
CN105122810A (zh) 2015-12-02
JP6291032B2 (ja) 2018-03-14

Similar Documents

Publication Publication Date Title
JP6291032B2 (ja) ビデオ信号処理方法及び装置
JP6231560B2 (ja) ビデオ信号処理方法およびビデオ信号処理装置
JP2015527805A (ja) ビデオ信号処理方法及び装置
KR20150085027A (ko) 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램 및 화상 복호 프로그램
US10123007B2 (en) Method and apparatus for processing video signal
KR102248074B1 (ko) 비디오 신호 처리 방법 및 장치
US9998762B2 (en) Method and apparatus for processing video signals
KR101753592B1 (ko) 비디오 신호 처리 방법 및 장치
KR20150079606A (ko) 비디오 신호 처리 방법 및 장치
JP6196372B2 (ja) ビデオ信号処理方法及び装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161206

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170329

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170418

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180208

R150 Certificate of patent or registration of utility model

Ref document number: 6291032

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250